AI With Grove Zero og Codecraft (Scratch 3.0): 5 trin (med billeder)

2024 Forfatter: John Day | [email protected]. Sidst ændret: 2024-01-30 08:26

I denne artikel skal vi bygge tre projekter, der anvender AI -funktioner i Codecraft, et grafisk programmeringsmiljø baseret på Scratch 3.0. Codecraft er udviklet og vedligeholdt af TinkerGen uddannelse og er gratis at bruge.

AI og dens delmængde, machine learning, er blevet en integreret del af vores liv i de sidste 10 år. Skolens læreplaner i mange lande omfatter viden om AI og maskinlæring, men det kan være svært for en almindelig lærer at lave lektiemateriale til undervisning i dette emne uden de rigtige værktøjer. Brug af maskinlæringsbiblioteker, selv de mest brugervenlige, f.eks. Keras, til at bygge en applikation, som eleverne kan interagere med, kan være en tidskrævende og skræmmende opgave. Det er her, Codecraft kan hjælpe - det har et rigt sæt af maskinlæringsdrevne applikationer, læreren kan bruge til at forklare og demonstrere begreber relateret til kunstig intelligens. Lad os se på dem!

Trin 1: Oversigt over AI -udvidelser

Åbn Codecraft online editor på

Klik på scenetilstand og derefter på Tilføj udvidelsesknap i bunden af blokeringsfanen.

Du kan se, at der er tre AI -udvidelser til rådighed:

- Kognitive tjenester --- maskinlæringsmodeller til behandling af live video feed og lyd

- Lærbar maskine --- kan bruges til træning af en klassificeringsmodel med billeder taget med dit kamera

- Oversæt --- udnytter maskinlæring til oversættelse

I denne artikel vil vi fokusere på kognitive tjenester og bruge disse funktioner til at styre Grove Zero hardware. Trådløs kommunikation mellem computer og Grove Zero er stadig i gang, og jeg vil opdatere artiklen, så snart den bliver tilgængelig. For nu vil vi bruge kabelforbindelse til at videregive meddelelserne mellem Grove Zero -modulet og computeren.

Trin 2: Spil Space Invaders med din næse

Til den første opgave bruger vi kun scenetilstand uden hardware. Codecraft har et væld af eksempler til at komme i gang med programmering - et af disse eksempler er programmering af et klassisk spil Space Invaders i Codecraft Stage -tilstand. Vi vil udvide dette eksempel og tilføje muligheden for at styre in-game fighter med din næse ved hjælp af kognitive tjenester.

Klik på knappen Eksempler. Open SpaceInvaders eksempel. Vi behøver kun at ændre den del, der er relevant for bevægelse. Til det får vi x-position af næsen på ansigtet registreret i live video feed, gem det i variabel pos. Så hvis værdien af pos er større end 50, flytter vi vores rumfighter til højre, hvis den er mindre end -50, så flytter vi fighter til venstre. Dette er det. Prøve det! Hvis du føler, at fighterens bevægelseshastighed er for hurtig, kan du ændre ændring x med … blokere til et mindre antal.

Dernæst vil vi udvide denne funktionalitet til at styre Grove Zero -bilen og få den til at bevæge sig fremad/bagud/venstre/højre.

Trin 3: Control Grove Zero -bil med Codecraft AI

Lad os starte med at skrive kode i scenetilstand - det er den del, der er ansvarlig for at analysere videofeedet og udsende kommandoer til Grove Zero.

1) Vi udfører koden i det første skærmbillede, indtil der trykkes på mellemrumsknappen. Herefter sender vi stopkommando.

2) Indvendig gentag indtil blok vi kontrollerer x-pos og y-pos af næsen på et detekteret ansigt og gemmer dem i tilsvarende variabler.

3) Hvis den absolutte værdi af x-pos er mindre end 21 (hvilket betyder, at den er mellem -20 og 20, så tæt på midten af billedet), fortsætter vi med at kontrollere y-pos for at afgøre, om bilen skal frem eller tilbage

4) Ellers tjekker vi om bilen skal gå til venstre eller højre

Lad os nu gå til fanen Enhed og skrive kort kode til Grove Zero -bil. Vi vil bruge Når jeg modtager blok, som er ansvarlig for at modtage interne udsendelseskommandoer. For ikke at forveksle med Når radio modtager, som bruges til Bluetooth -kommunikation. Se skærmbilledet for detaljer, koden er ret simpel.

Tilslut din samlede Grove Zero -bil til computeren, og tryk på knappen Tilslut i Codecraft. Skift til online fejlfindingstilstand - det giver Grove Mainboard mulighed for at modtage broadcast -kommandoer over ledningen. Gå derefter til scenetilstand og tryk på flaget. Bilen skulle bevæge sig nu, prøv at styre den med din næse:)

Trin 4: Linjefølge med stemmestyring

Der er et kort i Grove Zero bilsæt, som oprindeligt er beregnet til at spille Collect the Coins mini-game. Vi kan genanvende det for at bruge stemmegenkendelse i Codecraft til at give kommandoer til bilen, på hvilken måde man skal tænde krydset.

Scenen mode del her er mindre kompliceret end i tidligere eksempel. Det vi gør er:

1) Efter modtagelse af broadcast -besked, vælg_direktion, genkend talefragment og gem det i resultatvariabel.

2) Bliv ved med at genkende, indtil resultatet IKKE er ukendt.

3) Sammenlign resultat med to strenge - "venstre" og "højre". Send den tilsvarende besked til Grove Zero -bilen.

Koden, der kører i Grove Zero -bilen, er lidt mere kompliceret denne gang, men i det væsentlige følger den denne logik:

1) Når du starter, skal du sende en meddelelse videre

2) Når du modtager en videresendt besked, skal du begynde at følge linjen. Hvis ledningen går tabt, skal du stoppe motorerne og sende

vælg_retning. Her koden i Stage mode starter bliver eksekveret.

3) Hvis beskeden tilbage er modtaget, skal du begynde at dreje til venstre og derefter vende tilbage til liniefølgende tilstand.

Hvis beskeden til højre modtaget, start med at dreje til højre, og skift derefter tilbage til liniefølgende tilstand.

Trin 5: Bag kulisserne

De neurale netværksmodeller, der bruges i ovenstående applikation, køres alle lokalt i din browser, hvilket har et par forskellige fordele i forhold til at sende data til skyen til behandling: mindre latenstid og bedre privatliv. En række neurale netværk bruges i kognitive tjenester - lydklassificering til talekommandoer (, ansigtsmærkeregistrering, ansigtsudtryksgenkendelse og aldersestimering.

I denne artikel udforskede vi den grundlæggende funktionalitet for en af Codecraft AI -udvidelser - kognitive tjenester. Der er flere måder, du kan bygge videre på disse eksempler på for at lave endnu mere sjove og spændende applikationer!

Hvis du beslutter dig for at prøve det, det være sig med Grove Zero eller bare ved hjælp af scenetilstand, skal du dele i kommentarerne herunder. For mere information om Grove Zero -serien, Codecraft og anden hardware til producenter og STEM -undervisere, besøg vores websted, TinkerGen har oprettet en Kickstarter -kampagne for MARK (Make A Robot Kit), et robotsæt til undervisning i kodning, robotik, AI!