Personlig engelsk træner - AI Voice Assistant: 15 trin

2024 Forfatter: John Day | [email protected]. Sidst ændret: 2024-01-30 08:28

Dette projekt hjælper de studerende, der forbereder enhver sproglig eksamen, hvor de kan trænes ved at interagere med Snips AI.

Trin 1: Historie

Hvorfor byggede vi dette?

Fra min personlige erfaring har jeg set mange mennesker forberede sig på de forskellige sproglige test såsom GRE, TOEFL, IELTS. De har brug for en person til at hjælpe dem med at huske og forstå ordene. Generelt, når en person forbereder sig på sådanne eksamener, har de brug for en person til at kontrollere og rette, hvis de begår en fejl. Med denne løsning kan vi reducere arbejdskraft ved at ansætte en stemmeassistent.

Trin 2: Opbygning af hardware

Først og fremmest vil jeg gerne takke SNIPS og SEEED for at støtte dette projekt med det fantastiske Snips Voice Interaction Development Kit (Base Kit), jeg følte mig virkelig informativ ved hjælp af dette bord og i stand til at opnå nogle af de komplekse projekter integreret i et printkort.

Du kan købe Snips Voice Interaction Base Kit for $ 115 og Snips Voice Interaction Satellite Kit for $ 85

Trin 3: Kom godt i gang med SNIPS

Inden vi går i gang, lad os gennemgå, hvad du har brug for.

• Raspberry Pi 3B/B+ (anbefales) eller Pi 2 Model B (understøttes).
• Micro-USB-kabel og mikro-USB-strømadapter til Raspberry Pi.
• Micro SD -kort (minimum 8 GB) - Et operativsystem er påkrævet for at komme i gang. Du kan downloade Raspbian Stretch og bruge guiderne til Mac OS, Linux og Windows på Raspberry Pi -webstedet.
• Et USB -tastatur og mus og en ekstern HDMI -skærm - vi anbefaler også at have et USB -tastatur og mus samt en HDMI -skærm ved hånden.
• Internetforbindelse (Ethernet eller WiFi)

Snips Voice Interaction Base Kit

Snips Voice Interaction Development Kits giver brugerne mulighed for at komme i gang med deres udvikling af stemmegrænseflader og let integrere Snips AI Voice Platform med hardware. Snips kører på enheden, hvilket betyder, at alle dine stemmekommandoer og data behandles lokalt frem for at blive sendt til skyen. Denne behandling på enheden resulterer i en fuldstændig offline stemmeassistent, der holder dine personlige data private, som de burde være.

Voice Interaction Base Kit giver dig mulighed for at køre hele Snips AI Voice Platform. Drevet af en Raspberry Pi 3 Model B+ og ReSpeaker 2-Mics Pi HAT, er den i stand til at fungere som din hjemmesmart højttaler. Sammen med sættet følger en højttaler, en Grove - temperatur- og luftfugtighedssensor (SHT31), en Grove - relæ og en tavle til at hænge den på en væg eller skabe et smart stativ.

Men det er ikke alt! Voice Interaction Satellite Kit udvider din basestation til at nå hvert værelse i dit hus og giver dig mulighed for at interagere med hardware baseret på, hvor du udsender dine kommandoer!

Dette kit indeholder et Raspberry Pi3 B+ -kort, ReSpeaker 2 -Mics Pi HAT, Grove - Relæ, Grove - Temperatur- og luftfugtighedssensor (SHT31), Højttaler 6 Ohm 2W, MicroSD -kort, Strømadapter med Micro USB -stik, Grove -kabel x 2, Akrylbase panel.

Monteringstrin: (indhold fra SNIPS) Følgende billede er en oversigt over samlingens dele.

Her er monteringsdelene monteret på bundpanelet.

Derefter monteres alle de elektroniske dele på tavlen.

Derefter monteres det akrylbeskyttelsesdæksel oven på Grove -relæet.

Disse 2 dele bruges til at gøre sættet til et bordstativ.

Endelig er du klar til at lege med Snips.

Sættet giver to måder at placere på. Det kan enten placeres på en vandret overflade som et stativ eller kan hænges på en væg ved hjælp af ledninger eller gevind. Vær forsigtig med relæet, når sættet er tændt, da arbejdsspændingen vil være høj.

BEMÆRK: Vi har også et Snips Voice Interaction Satellite Kit, der har en Raspberry Pi zero i stedet for Raspberry Pi 3B+

Trin 4: Interfacing med Snips AI (Basic Project)

• Tænd for sættet med standardadapteren i sættet, eller brug en 5V-2A DC-adapter med et Micro USB-stik.
• Det næste trin er at installere Snips -assistenten i Raspberry Pi. For at spare din opsætningstid er MicroSD -kortet i sættet blevet blinket med det fulde funktionelle systembillede, hvilket betyder, at Snips -assistenten er klar til dine triggerord.
• Vi anbefaler kraftigt, at du studerer installationsvejledningen trin for trin ved at besøge: https://docs.snips.ai/getting-started/quick-start… og lære sam-værktøjet i kommandolinjen.
• Udløs assistenten ved at sige "Hey-snips", og følg kommandoen:

Du kan finde videoen af eksemplet forudinstalleret i Snips Voice Interaction-basesættet herunder.

Trin 5: Interfacing med Snips AI (Project AI)

Så sådan fungerer det. Først bruger vi hotword til at starte Snips -genkendelse. Den forstår sætningen ved hjælp af Snips NLU og bestemmer hensigten. Brug derefter hensigten til at udtrække åbningerne henholdsvis. Med handlingskoden programmerer vi AI -responsen med respektive til slots.

Trin 6: Oprettelse af app og hensigter

• Opret en assistent. I mit tilfælde havde jeg oprettet en assistent med navnet JARVIS og med et hotword JARVIS.
• Opret en brugerdefineret applikation eller for begyndere, brug applikationen fra biblioteket.
• Jeg havde oprettet en applikation med navnet Words
• Opret en hensigt, og begynd at træne AI. Dette spiller en stor rolle i at gøre din AI robust. Træn det med alle de mulige input.
• Opret en plads til at identificere ordene. Placer åbningen ved den forventede sætning i sætningen. For mit eksempel er givenword slotnavnet, og det er fremhævet med blåt.
• Når det er gjort, er din brugerdefinerede ASR klar. Prøv med input. Vi kan finde svaret til højre under assistenten. Dette giver dig ekstraktion af råværdi, hensigtsnavn og slot.
• Definer slots med flere eksempler som angivet nedenfor
• Endelig, implementer din assistent for at opleve din personlige AI.

Trin 7: Brænd Raspbian til SD -kortet

Raspbian er den valgte Linux -distribution, der kører på Raspberry Pi. I denne vejledning bruger vi Lite -versionen, men desktopversionen (som leveres med et grafisk miljø) kan også bruges.

• Download Etcher og installer det.
• Tilslut en SD -kortlæser med SD -kortet indeni.
• Åbn Etcher, og vælg fra din harddisk den Raspberry Pi.img- eller.zip -fil, du vil skrive til SD -kortet
• Vælg det SD -kort, du vil skrive dit billede til.
• Gennemgå dine valg, og klik på 'Flash!' for at begynde at skrive data til SD -kortet

Tilslut enheden til dit netværk

• Aktiver SSH -adgang ved at tilføje tom fil ssh, igen placeret ved roden af bootvolumen på dit SD -kort.
• Indsæt SD -kortet i Raspberry Pi. Det vil starte om cirka 20 sekunder. Du skal nu have SSH -adgang til din Raspberry Pi. Som standard vil dets værtsnavn være raspberrypi.local. Åbn et terminalvindue på din computer, og skriv følgende:

ssh [email protected]

Standardadgangskoden er hindbær

Trin 8: Installer Snips -platformen

Hvis du ikke allerede har gjort det, skal du installere Sam Command Line Interface på din computer. Åbn et terminalvindue, og indtast:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Find din Raspberry Pi på netværket ved at køre:

sam -enheder

Opret derefter en forbindelse til enheden. Du bliver bedt om enhedens brugernavn og adgangskode (standard er henholdsvis pi og hindbær):

sam connect

Vi er nu klar til at installere Snips -platformen på Raspberry Pi. Indtast kommandoen:

sam init

Trin 9: Konfigurer hardwaren

Sam giver nogle kommandoer til let at konfigurere og konfigurere hardwarekomponenter. I dette afsnit vil vi oprette en højttaler og en mikrofon. Afhængigt af din opsætning skal der foretages en tilpasset konfiguration.

sam opsætningslyd

Test højttaleren

For at kontrollere, at højttaleren fungerer, skal du køre

sam testhøjttaler

Hvis alt fungerer fint, skal du høre på din højttaler en stemme, der siger et par ord. Konfigurer mikrofonen Du kan kontrollere, at din mikrofon fungerer:

sam test mikrofon

Forudsat at du har en højttaler, kan du gå videre uden yderligere mikrofonkonfiguration, hvis du tydeligt kan høre, hvad du lige har sagt.

Når du er tilfreds med, at din hardwareopsætning fungerer, er du klar til at gå videre til det næste trin, hvor du vil implementere din første assistent.

Trin 10: Import af AI -model fra konsollen

Når du har oprettet din assistent fra de foregående trin, skal du logge ind på konsollen fra terminalvinduet ved at køre:

sam login

Du bliver bedt om at indtaste dine Snips Console -legitimationsoplysninger.

Installer derefter assistenten:

sam installationsassistent

Hvis du har oprettet flere assistenter i konsollen, bliver du bedt om at vælge, hvilken en du vil installere fra en liste.

Trin 11: Handler & Action Code

For at Raspberry Pi kan reagere, bliver vi nødt til at skrive en håndtererkode. Dette er en kode, der udføres, når en bestemt hændelse sker på Snips -platformen, f.eks. Når hensigt er blevet registreret.

Du har forskellige metoder til at oprette Handler afhængigt af funktionen.

Opret en mappe på din computer, hvor du vil gemme din håndtererkode. Skift til det bibliotek i terminalvinduet, og indtast:

npm init

Dette vil oprette en fil med navnet package.json, som indeholder dit projekts beskrivelse, afhængigheder og mere. Tilføj derefter mqtt -pakkeafhængigheden:

npm installer mqtt --save

Opret nu en fil kaldet index.js, og indsæt følgende kode, og erstat værtsnavnsvariablen med værtsnavnet på din Raspberry Pi (hvis den adskiller sig fra standard raspberrypi):

var mqtt = require ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var klient = mqtt.connect (værtsnavn); client.on ('connect', function () {console.log ("[Snips Log] Tilsluttet MQTT -mægler" + værtsnavn); client.subscribe ('hermes/#');}); client.on ('meddelelse', funktion (emne, besked) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} ellers if (topic === "hermes/asr/stopListening") {onListeningStateChanged (false);} ellers hvis (topic.match (/hermes \/hotword / /.+ \/opdaget/g)! == null) {onHotwordDetected ()} ellers if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (meddelelse));}}); function onIntentDetected (intention) {console.log ("[Snips Log] Intent opdaget:" + JSON.stringify (intention)); } funktion onHotwordDetected () {console.log ("[Snips Log] Hotword registreret"); } funktion onListeningStateChanged (lytter) {console.log ("[Snips Log]" + (lytter? "Start": "Stop") + "lytter"); }

Kør denne kode ved hjælp af Node:

node index.js

Du bør se en besked om en vellykket forbindelse til Snips MQTT -mægleren. Som før skal du udføre en stemmeaktivering med din Raspberry Pi:

Hej Snips, hvad er vejret i Chennai

Du skal se logfilerne opdatere:

[Snips Log] Tilsluttet MQTT -mægler mqtt: //raspberrypi.local

[Snips-log] Hotword registreret [Snips-log] Start med at lytte [Snips-log] Stop med at lytte [Snips-log] Intent opdaget: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" default "," input ":" hvad er vejret i chennai "," intention ": {" intentionName ":" searchWeatherForecast "," probability ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "forecast_locality"}]}

Trin 12: Fejlfinding

Slet den forrige assistent, hvis der er en

$ sudo rm -rf/usr/share/snips/assistent/

For at ændre biblioteket til assistenten

cd/var/lib/snips/skills/

For at klone indholdet af repoen til lokalt

git klon

For at køre setup.sh script

./setup.sh

Aktiver virtuelt miljø

kilde venv/bin/aktivere

Kør handlingskoden

./action-.py

At give tilladelse til Python Script

chmod +x action-.py

Trin 13: Kapsling

• Jeg havde brugt et IP -klassificeret kabinet til dette projekt
• Først lavede jeg nødvendige huller til montering af kredsløb og slots til netledning og HDMI -kabel.
• Derefter placerede jeg hele Raspberry Pi inde i kabinettet og skruede det fast.
• Jeg lavede en lille åbning til højttaleren og mikrofonen og dækkede den med et lille stykke akrylark.
• Tilslut højttaleren til ReSpeaker -hatten.
• Endelig er alle skruerne fast monteret, og strømkablet indsættes via en åbning.
• Sådan ser AI endelig ud: D

Trin 14: Arbejdet med AI

Du kan finde de data, der overvåges ved hjælp af Snips-watch

Nu er det showtime. Jeg begyndte at lave med Simple hilsner AI. Tag et kig på den fungerer.

Trainer AI er programmeret til begrænsede ord. Dette kan forlænges med små ændringer. Dette hjælper eleverne med at huske betydningen hurtigere end den traditionelle metode.

Venlig opmærksomhed: Dette projekt er uddannet til cirka 25 ord. Det kan udvides yderligere ved at foretage mindre tweaks i handlingskoden.

Du kan finde Action -scripts på mit Github -arkiv vedhæftet.

Project Repo for Greetings AI-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Project Repo for Trainer AI-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Link til min ansøgning:

Hele opsætningen koster omkring $ 115, som kan købes fra SNIPS, og denne løsning er meget billig og effektiv i forhold til de traditionelle metoder. Omtrent mere end 100.000 test blev taget i Indien, og dette produkt vil være det bedste supplement til GRE -brugere.

Giv tommelfinger op, hvis det virkelig hjalp dig, og følg min kanal for interessante projekter.:) Del denne video, hvis du vil. Glad for at du har tilmeldt dig: https://console.snips.ai/store/da/skill_xBKlxnE5K… Tak fordi du læste!