AI With Grove Zero and Codecraft (Scratch 3.0): 5 trinn (med bilder)

2024 Forfatter: John Day | [email protected]. Sist endret: 2024-01-30 11:21

I denne artikkelen skal vi bygge tre prosjekter som bruker AI -funksjoner til Codecraft, et grafisk programmeringsmiljø basert på Scratch 3.0. Codecraft er utviklet og vedlikeholdt av TinkerGen utdanning og er gratis å bruke.

AI og dens undersett, maskinlæring, har blitt en integrert del av våre liv de siste 10 årene. Skoleplaner i mange land inkluderer kunnskap om AI og maskinlæring, men det kan være vanskelig for en gjennomsnittlig lærer å lage undervisningsmateriell for å undervise i dette emnet uten riktige verktøy. Å bruke maskinlæringsbiblioteker, selv de mest brukervennlige, for eksempel Keras, til å bygge et program elevene kan samhandle med, kan være en tidkrevende og skremmende oppgave. Det er her Codecraft kan hjelpe - den har et rikt sett med maskinlæringsdrevne applikasjoner læreren kan bruke til å forklare og demonstrere konsepter knyttet til kunstig intelligens. La oss se på dem!

Trinn 1: Oversikt over AI -utvidelser

Åpne Codecraft online editor på

Klikk på scenemodus og deretter på Legg til utvidelsesknapp nederst på blokkeringsfanen.

Du ser at det er tre AI -utvidelser tilgjengelig:

- Kognitive tjenester --- maskinlæringsmodeller for behandling av live video feed og lyd

- Lærbar maskin --- kan brukes til å trene en klassifiseringsmodell med bilder tatt med kameraet ditt

- Oversett --- bruker maskinlæring for oversettelse

I denne artikkelen vil vi fokusere på kognitive tjenester og bruk av disse funksjonene for å kontrollere Grove Zero -maskinvare. Trådløs kommunikasjon mellom datamaskin og Grove Zero pågår fortsatt, og jeg vil oppdatere artikkelen så snart den blir tilgjengelig. Foreløpig bruker vi kablet tilkobling til å sende meldingene mellom Grove Zero -modulen og datamaskinen.

Trinn 2: Spill Space Invaders With Your Nose

For den første oppgaven bruker vi bare scenemodus uten maskinvare. Codecraft har mange eksempler for å komme i gang med programmering - et av disse eksemplene er å programmere det klassiske spillet Space Invaders i Codecraft Stage -modus. Vi kommer til å utvide dette eksemplet og legge til muligheten til å kontrollere jagerflyet med nesen din ved hjelp av kognitive tjenester.

Klikk på knappen Eksempler. Open SpaceInvaders -eksempel. Vi trenger bare å endre delen som er relevant for bevegelse. For det vil vi få x-posisjon av nesen på ansiktet oppdaget i live video feed, lagre den i variabel pos. Så hvis verdien av pos er større enn 50, flytter vi romfighteren vår til høyre, hvis den er mindre enn -50, flytter vi jagerfly til venstre. Det var det. Prøv det! Hvis du føler at jagerens bevegelseshastighet er for høy, kan du endre endring x med … blokk til et mindre antall.

Deretter vil vi utvide denne funksjonaliteten for å kontrollere Grove Zero -bilen og få den til å bevege seg fremover/bakover/venstre/høyre.

Trinn 3: Kontroller Grove Zero -bilen med Codecraft AI

La oss starte med å skrive kode i scenemodus - dette er delen som er ansvarlig for å analysere videofeed og sende kommandoer til Grove Zero.

1) Vi kjører koden i det første skjermbildet til du trykker på mellomromsknappen. Etter det sender vi stoppkommando.

2) Innvendig gjenta til blokk vi sjekker x-pos og y-pos på nesen til et påvist ansikt og lagrer dem i tilsvarende variabler.

3) Hvis absolutt verdi av x-pos er mindre enn 21 (det vil si mellom -20 og 20, så nær midten av bildet), fortsetter vi med å sjekke y-pos for å avgjøre om bilen skal gå fremover eller bakover

4) Ellers sjekker vi om bilen skal gå til venstre eller høyre

La oss gå til kategorien Enhet og skrive kort kode for Grove Zero -bilen. Vi bruker Når jeg mottar blokk, som er ansvarlig for å motta interne kringkastingskommandoer. Ikke å forveksle med Når radio mottar, som brukes til Bluetooth -kommunikasjon. Se skjermbildet for detaljer, koden er ganske enkel.

Koble den monterte Grove Zero -bilen til datamaskinen og trykk på Koble -knappen i Codecraft. Bytt til online feilsøkingsmodus - som gjør at Grove Mainboard kan motta kringkastningskommandoer over ledningen. Gå deretter til scenemodus og trykk på flagget. Bilen skulle bevege seg nå, prøv å kontrollere den med nesen:)

Trinn 4: Linjefølge med talekontroll

Det er et kart i Grove Zero bilmonteringssett, som opprinnelig er laget for å spille Collect the Coins minispill. Vi kan bruke det på nytt for å bruke stemmegjenkjenning i Codecraft for å gi kommandoer til bilen på hvilken måte å slå på veikrysset.

Scenemodusdelen her er mindre komplisert enn i forrige eksempel. Det vi gjør er:

1) Etter mottak av kringkastingsmelding, velg_retning, gjenkjenne talefragment og lagre det i resultatvariabel.

2) Fortsett å gjenkjenne til resultatet IKKE er ukjent.

3) Sammenlign resultat med to strenger - "venstre" og "høyre". Send tilsvarende melding til Grove Zero -bilen.

Koden som kjører i Grove Zero -bilen er litt mer komplisert denne gangen, men i hovedsak følger den denne logikken:

1) Når du starter, send meldingen videre

2) Når du mottar videresende melding, begynner du å følge linjen. Hvis linjen går tapt, stopper du motorene og sender

velg_retning. Her blir koden i Stage -modus starter utført.

3) Hvis meldingen igjen er mottatt, begynner du å svinge til venstre og bytter deretter tilbake til linjefølge -modus.

Hvis meldingen høyre mottas, begynner du å svinge til høyre og deretter bytte tilbake til linjefølge -modus.

Trinn 5: Bak kulissene

De nevrale nettverksmodellene som brukes i applikasjonen ovenfor, kjøres alle lokalt i nettleseren din, noe som har noen få fordeler sammenlignet med å sende dataene til skyen for behandling: mindre ventetid og bedre personvern. En rekke nevrale nettverk brukes i kognitive tjenester - lydklassifisering for talekommandoer (, Face Landmark Detection, Face Expression Recognition og Age estimation.

I denne artikkelen utforsket vi den grunnleggende funksjonaliteten til en av Codecraft AI -utvidelser - kognitive tjenester. Det er flere måter du kan bygge videre på disse eksemplene for å lage enda mer morsomme og spennende applikasjoner!

Hvis du bestemmer deg for å prøve det, enten det er med Grove Zero eller bare ved å bruke scenemodus, del det i kommentarene nedenfor. For mer informasjon om Grove Zero -serien, Codecraft og annen maskinvare for produsenter og STEM -lærere, besøk vårt nettsted, TinkerGen har opprettet en Kickstarter -kampanje for MARK (Make A Robot Kit), et robotsett for undervisning i koding, robotikk, AI!