Autonom drone med infrarødt kamera til at hjælpe førstehjælpere: 7 trin

2024 Forfatter: John Day | [email protected]. Sidst ændret: 2024-01-30 08:27

Ifølge en rapport fra Verdenssundhedsorganisationen dræber naturkatastrofer hvert år omkring 90.000 mennesker og påvirker næsten 160 millioner mennesker verden over. Naturkatastrofer omfatter jordskælv, tsunamier, vulkanudbrud, jordskred, orkaner, oversvømmelser, naturbrande, hedebølger og tørke. Tiden er afgørende, da chancen for overlevelse begynder at gå ned med hvert minut, der går. Første respondenter kan have problemer med at finde overlevende i huse, der er beskadigede, og sætte deres liv i fare, mens de leder efter dem. At have et system, der eksternt kan lokalisere mennesker, ville i høj grad øge den hastighed, hvormed de første respondenter kan evakuere dem fra bygninger. Efter at have undersøgt andre systemer fandt jeg ud af, at nogle virksomheder har skabt robotter, der er landbaserede eller har skabt droner, der kan spore mennesker, men kun fungerer uden for bygninger. Kombinationen af dybdekameraer sammen med et specielt infrarødt kamera kan muliggøre nøjagtig sporing af det indendørs område og detektering af temperaturændringer, der repræsenterer brand, mennesker og dyr. Ved at implementere sensorer med en brugerdefineret algoritme på et ubemandet luftfartøj (UAV), vil det være muligt at autonomt inspicere huse og identificere placeringen af mennesker og dyr for at redde dem så hurtigt som muligt.

Stem venligst på mig i optik -konkurrencen!

Trin 1: Designkrav

Efter at have undersøgt de tilgængelige teknologier diskuterede jeg mulige løsninger med maskinsyneksperter og en førstehjælper for at finde den bedste metode til at opdage overlevende i farlige områder. Nedenstående oplysninger viser de vigtigste nødvendige funktioner og designelementer til systemet.

• Vision Processing - Systemet skal levere en hurtig behandlingshastighed for udvekslet information mellem sensorerne og kunstig intelligens (AI) respons. For eksempel skal systemet være i stand til at opdage vægge og forhindringer for at undgå dem og samtidig finde mennesker, der er i fare.
• Autonom - Systemet skal kunne fungere uden input fra en bruger eller en operatør. Personale med minimum erfaring med UAV -teknologi bør kunne trykke på en eller et par knapper for at få systemet til at starte scanning af sig selv.
• Område - Området er afstanden mellem systemet og alle andre objekter i nærheden. Systemet skal kunne registrere gange og indgange fra mindst 5 meter væk. Det ideelle minimumsområde er 0,25 m, så tætte objekter kan detekteres. Jo større detekteringsområde, jo kortere er detektionstiden for overlevende.
• Navigation og detekteringsnøjagtighed - Systemet skal være i stand til nøjagtigt at finde alle indgange og ikke ramme nogen genstande, samtidig med at det registrerer pludselig fremkomsten af objekter. Systemet skal være i stand til at finde forskellen mellem mennesker og ikke-levende objekter gennem forskellige sensorer.
• Driftens varighed - Systemet skal kunne vare 10 minutter eller længere afhængigt af hvor mange rum det skal scanne.
• Hastighed - Den skal kunne scanne hele bygningen på mindre end 10 minutter.

Trin 2: Valg af udstyr: Mobilitetsmetode

Quadcopteren blev valgt frem for en fjernbetjeningsbil, for selvom quadcopteren er skrøbelig, er den lettere at kontrollere og ændre i højden for at undgå forhindringer. Quadcopteren kan holde alle sensorerne og stabilisere dem, så de er mere præcise, mens de bevæger sig rundt i forskellige rum. Propellerne er lavet af kulfiber, der er varmebestandige. Sensorerne direkte væk fra vægge for at forhindre ulykker.

• Fjernbetjening Landkøretøj

  • Fordele - Kan bevæge sig hurtigt uden at falde og påvirkes ikke af temperaturen
  • Ulemper - Køretøjet ville sætte sensorerne lavt til jorden, der dækker mindre areal ad gangen og kan blokeres af forhindringer

• Quadcopter

  • Fordele - Løfter sensorer op i luften for at få et 360 -visning af omgivelserne
  • Ulemper - Hvis den løber ind i en væg, kan den falde og ikke komme sig

Trin 3: Valg af udstyr: Mikrocontrollere

De to vigtigste krav til mikrokontrollerne er lille størrelse for at reducere nyttelasten på quadcopter og hastighed til hurtigt at behandle informationen. Kombinationen af Rock64 og DJI Naza er den perfekte kombination af mikrokontrollere, da Rock64 har tilstrækkelig behandlingskraft til hurtigt at opdage mennesker og forhindre quadcopter i at løbe ind i vægge og forhindringer. DJI Naza komplimenterer det godt ved at udføre al den stabilisering og motorstyring, som Rock64 ikke kan udføre. Mikrokontrollerne kommunikerer via en seriel port og giver mulighed for brugerkontrol, hvis det er nødvendigt. Raspberry Pi ville have været et godt alternativ, men da Rock64 havde en bedre processor og bedre forbindelse til sensorerne i den næste tabel, blev Pi ikke valgt. Intel Edison og Pixhawk blev ikke valgt på grund af den manglende support og forbindelse.

• Hindbær Pi

  • Fordele - Kan registrere vægge og faste objekter
  • Ulemper - Kæmper for at holde trit med data fra alle sensorer, så kan ikke se indgange hurtigt nok. Kan ikke udsende motorsignaler og har ingen stabiliserende sensorer til quadcopter

• Rock64

  • Fordele - Kan registrere vægge og indgange med lidt ventetid.
  • Ulemper - Også i stand til at guide systemet i hele huset uden at løbe ind i noget ved hjælp af alle sensorerne. Kan ikke sende signaler hurtigt nok til at styre motorhastigheden og har ingen stabiliserende sensorer til quadcopteren

• Intel Edison

  • Fordele - i stand til at opdage vægge og indgange med en vis forsinkelse
  • Ulemper - Ældre teknologi, mange af sensorerne ville have brug for nye biblioteker, hvilket er meget tidskrævende at oprette
• DJI Naza
  • Fordele - Har integreret gyroskop, accelerometer og magnetometer, så quadcopter kan være stabil i luften med mikrojusteringer til motorhastighed
  • Ulemper - Kan ikke udføre nogen form for visionbehandling

• Pixhawk

  • Fordele - Kompakt og kompatibel med sensorer, der bruges i projektet ved hjælp af General Purpose Input Output (GPIO)
  • Ulemper - Kan ikke udføre nogen form for visionbehandling

Trin 4: Valg af udstyr: Sensorer

En kombination af flere sensorer bruges til at få alle de oplysninger, der kræves for at finde mennesker i farlige områder. De to udvalgte hovedsensorer inkluderer stereo -infrarødt kamera sammen med SOUND Navigation And Ranging (SONAR). Efter nogle test har jeg besluttet at bruge Realsense D435 -kameraet, fordi det er lille og er i stand til nøjagtigt at spore afstande op til 20 meter væk. Den kører med 90 billeder i sekundet, hvilket gør det muligt at foretage mange målinger, før der træffes en beslutning om, hvor objekter er, og hvilken retning quadcopter skal pege hen til. SONAR -sensorer er placeret på toppen og bunden af systemet for at give quadcopteren mulighed for at vide, hvor højt eller lavt det er tilladt at gå, før den kommer i kontakt med en overflade. Der er også en placeret med forsiden fremad, så systemet kan registrere genstande som glas, som stereo infrarød kamerasensor ikke kan registrere. Mennesker og dyr registreres ved hjælp af bevægelses- og objektgenkendelsesalgoritmer. FLIR -kamera vil blive implementeret for at hjælpe det infrarøde stereo -kamera med at spore, hvad der lever, og hvad der ikke skal øge effektiviteten af scanning under ugunstige forhold.

• Kinect V1

  • Fordele - Kan spore 3D -objekter let op til 6 meter væk
  • Ulemper -Har kun 1 infrarød sensor og er for tung til quadcopter

• Realsense D435

  • Fordele - Har 2 infrarøde kameraer og et rødt, grønt, blåt, dybde (RGB -D) kamera til 3D -genkendelse af høj præcision op til 25 meter væk. Den er 6 cm bred, hvilket giver let pasform i quadcopter
  • Ulemper - Kan varme op og kan have brug for en køleventilator

• LIDAR

  • Fordele - Stråle, der kan spore steder op til 40 meter væk i sin sigtelinje
  • Ulemper - Varme i miljøet kan påvirke målepræcisionen

• SONAR

  • Fordele - Bjælke, der kan spore 15 m væk, men er i stand til at registrere transparente genstande som glas og akryl
  • Ulemper - peger kun i en sigtelinje, men kan flyttes af quadcopter til scanningsområde

• Ultralyd

  • Fordele - Har en rækkevidde på op til 3 m og er meget billig
  • Ulemper - peger kun i en sigtelinje og kan meget let være uden for afstandsmåling
• FLIR kamera
  • Fordele - Kan tage dybdebilleder gennem røg uden forstyrrelser og kan registrere levende mennesker gennem varmesignaturer
  • Ulemper - Hvis noget forstyrrer sensorerne, kan afstandsberegningerne beregnes forkert

• PIR sensor

  • Fordele - Kan registrere temperaturændringer
  • Ulemper - Kan ikke fastslå, hvor temperaturforskellen er

Trin 5: Valg af udstyr: Software

Jeg brugte Realsense SDK sammen med Robot Operating System (ROS) til at skabe en problemfri integration mellem alle sensorerne med mikrokontrolleren. SDK leverede en jævn strøm af punktsky -data, som var ideel til at spore alle objekterne og quadcopterens grænser. ROS hjalp mig med at sende alle sensordata til det program, jeg har oprettet, som implementerer kunstig intelligens. AI består af objektdetekteringsalgoritmer og bevægelsesdetekteringsalgoritmer, der gør det muligt for quadcopter at finde bevægelse i sit miljø. Controlleren bruger Pulse Width Modulation (PWM) til at styre quadcopterens position.

• Freenect

  • Fordele - Har et lavere adgangsniveau til at kontrollere alt
  • Ulemper - understøtter kun Kinect V1

• Realsense SDK

  • Fordele - Kan nemt oprette point cloud -data fra informationsstrømmen fra Realsense -kameraet
  • Ulemper - understøtter kun Realsense D435 kamera

• FLIR Linux driver

  • Fordele - Kan hente datastrøm fra FLIR -kamera
  • Ulemper - Dokumentation er meget begrænset

• Robot operativsystem (ROS)

  • Fordele - Operativsystem ideelt til programmering af kamerafunktioner
  • Ulemper - Skal installeres på et hurtigt SD -kort for effektiv dataindsamling

Trin 6: Systemudvikling

Enhedens “øjne” er Realsense D435 stereo infrarød sensor, som er en hyldeføler, der hovedsageligt bruges til robotapplikationer såsom 3D-kortlægning (figur 1). Når denne sensor er installeret på quadcopteren, kan det infrarøde kamera guide og lade quadcopteren bevæge sig autonomt. De data, der genereres af kameraet, kaldes en punktsky, der består af en række punkter i et rum, der har oplysninger om placeringen af et bestemt objekt i kameraets vision. Denne punktsky kan konverteres til et dybdekort, der viser farver som forskellige dybder (figur 2). Rødt er længere væk, mens blå er tættere meter.

For at sikre, at dette system er problemfrit, blev der brugt et open source-operativsystem kaldet ROS, som typisk bruges på robotter. Det giver mulighed for at udføre kontrol på lavt niveau og få adgang til alle sensorer og kompilere data, der skal bruges af andre programmer. ROS kommunikerer med Realsense SDK, som gør det muligt at tænde og slukke forskellige kameraer for at spore, hvor langt objekter er væk fra systemet. Forbindelsen mellem begge giver mig adgang til datastrømmen fra kameraet, som skaber en punktsky. Punktskyoplysningerne kan bestemme, hvor grænser og objekter er inden for 30 meter og en nøjagtighed på 2 cm. De andre sensorer som SONAR -sensorerne og de integrerede sensorer i DJI Naza -controlleren giver mulighed for en mere præcis placering af quadcopteren. Min software bruger AI -algoritmer til at få adgang til punktskyen og gennem lokalisering oprette et kort over hele rummet omkring enheden. Når systemet er lanceret og begynder at scanne, vil det rejse gennem gange og finde indgange til andre rum, hvor det derefter kan foretage en fejning af rummet, der specifikt leder efter mennesker. Systemet gentager denne proces, indtil alle rum er blevet scannet. I øjeblikket kan quadcopteren flyve i omkring 10 minutter, hvilket er nok til at foretage en fuldstændig fejning, men kan forbedres med forskellige batteriordninger. De første respondenter får meddelelser, når folk bliver set, så de kan fokusere deres indsats på udvalgte bygninger.

Trin 7: Diskussion og konklusion

Efter mange forsøg havde jeg oprettet en fungerende prototype, der opfyldte kravene i tabel 1. Ved at bruge Realsense D435 stereo infrarødt kamera med Realsense SDK blev der oprettet et højopløsningsdybdekort over quadcopterens front. Først havde jeg nogle problemer med, at det infrarøde kamera ikke kunne registrere bestemte genstande som glas. Ved at tilføje en SONAR -sensor var jeg i stand til at overvinde dette problem. Kombinationen af Rock64 og DJI Naza var vellykket, da systemet var i stand til at stabilisere quadcopteren, mens det var i stand til at detektere objekter og vægge gennem specialfremstillede computersynsalgoritmer ved hjælp af OpenCV. Selvom det nuværende system er funktionelt og opfylder kravene, kan det drage fordel af nogle fremtidige prototyper.

Dette system kunne forbedres ved at bruge kameraer af højere kvalitet til mere præcist at kunne registrere mennesker. Nogle af de dyrere FLIR -kameraer har evnen til at registrere varmesignaturer, som kan muliggøre mere præcis detektion. Systemet kunne også fungere i forskellige miljøer, f.eks. Lokaler, der er støvede og fyldt med røg. Med ny teknologi og brandsikring kunne dette system sendes i huse, der brænder og hurtigt opdager, hvor folk er, så de første respondenter kan hente de overlevende fra fare.

Tak fordi du læste! Glem ikke at stemme på mig i optik -konkurrencen!