Autonom drone med infrarødt kamera for å hjelpe første respondenter: 7 trinn

2024 Forfatter: John Day | [email protected]. Sist endret: 2024-01-30 11:22

Ifølge en rapport fra Verdens helseorganisasjon dreper naturkatastrofer hvert år rundt 90 000 mennesker og påvirker nesten 160 millioner mennesker over hele verden. Naturkatastrofer inkluderer jordskjelv, tsunamier, vulkanutbrudd, skred, orkaner, flom, skogbranner, hetebølger og tørke. Tiden er avgjørende da sjansen for overlevelse begynner å gå ned for hvert minutt som går. Første respondenter kan ha problemer med å finne overlevende i hus som er skadet og sette livet i fare mens de leter etter dem. Å ha et system som eksternt kan lokalisere mennesker, vil øke hastigheten som første respondenter kan evakuere dem fra bygninger. Etter å ha undersøkt andre systemer fant jeg ut at noen selskaper har laget roboter som er landbaserte eller har laget droner som kan spore mennesker, men bare fungerer utenfor bygninger. Kombinasjonen av dybdekameraer sammen med spesielle infrarøde kameraer kan tillate nøyaktig sporing av innendørsområdet og deteksjon av temperaturendringer som representerer brann, mennesker og dyr. Ved å implementere sensorer med en tilpasset algoritme på et ubemannet luftfartøy (UAV), vil det være mulig å autonomt inspisere hus og identifisere plasseringen av mennesker og dyr for å redde dem så raskt som mulig.

Vennligst stem på meg i optikk -konkurransen!

Trinn 1: Designkrav

Etter å ha undersøkt teknologiene som er tilgjengelig, diskuterte jeg mulige løsninger med maskinsynseksperter og en første responder for å finne den beste metoden for å oppdage overlevende i farlige områder. Informasjonen nedenfor viser de viktigste funksjonene som kreves og designelementer for systemet.

• Vision Processing - Systemet må gi en rask prosesseringshastighet for utvekslet informasjon mellom sensorene og Artificial Intelligence (AI) respons. For eksempel må systemet være i stand til å oppdage vegger og hindringer for å unngå dem, samtidig som det kan finne mennesker som er i fare.
• Autonom - Systemet må kunne fungere uten innspill fra en bruker eller en operatør. Personal med minimum erfaring med UAV -teknologi bør kunne trykke på en eller noen få knapper for å få systemet til å begynne å skanne av seg selv.
• Område - Området er avstanden mellom systemet og alle andre objekter i nærheten. Systemet skal kunne detektere ganger og innganger fra minst 5 meter unna. Det ideelle minimumsområdet er 0,25 m slik at nære objekter kan oppdages. Jo større deteksjonsområde, desto kortere er detekteringstiden for overlevende.
• Navigasjon og oppdagelsesnøyaktighet - Systemet skal være i stand til å finne alle innganger nøyaktig og ikke treffe noen objekter, samtidig som det oppdager plutselig utseende av objekter. Systemet må kunne finne forskjellen mellom mennesker og ikke-levende gjenstander gjennom forskjellige sensorer.
• Driftstid - Systemet skal kunne vare 10 minutter eller lenger, avhengig av hvor mange rom det trenger å skanne.
• Hastighet - Den skal kunne skanne hele bygningen på mindre enn 10 minutter.

Trinn 2: Valg av utstyr: Metode for mobilitet

Quadcopter ble valgt fremfor en fjernkontrollbil fordi selv om quadcopter er skjør, er det lettere å kontrollere og endre høyden for å unngå hindringer. Quadcopter kan holde alle sensorene og stabilisere dem slik at de er mer nøyaktige mens de beveger seg inn i forskjellige rom. Propellene er laget av karbonfiber som er varmebestandige. Sensorene rett bort fra vegger for å forhindre ulykker.

• Fjernkontroll Landkjøretøy

  • Fordeler - Kan bevege seg raskt uten å falle og påvirkes ikke av temperaturen
  • Ulemper - Kjøretøyet vil sette sensorene lavt til bakken som dekker mindre område om gangen og kan bli blokkert av hindringer

• Quadcopter

  • Fordeler - Løfter sensorer opp i luften for å få 360 -visning av omgivelsene
  • Ulemper - Hvis den løper inn i en vegg, kan den falle og ikke komme seg

Trinn 3: Utvalg av utstyr: Mikrokontrollere

De to viktigste kravene til mikrokontrollerne er liten størrelse for å redusere nyttelasten på quadcopter og hastigheten til å behandle informasjonen raskt. Kombinasjonen av Rock64 og DJI Naza er den perfekte kombinasjonen av mikrokontrollere ettersom Rock64 har tilstrekkelig prosessorkraft til å raskt oppdage mennesker og hindre quadcopter i å løpe inn i vegger og hindringer. DJI Naza komplimenterer det godt ved å gjøre all stabilisering og motorisk kontroll som Rock64 ikke kan gjøre. Mikrokontrollerne kommuniserer gjennom en seriell port og tillater brukerkontroll om nødvendig. Raspberry Pi ville ha vært et godt alternativ, men siden Rock64 hadde en bedre prosessor og bedre tilkobling til sensorene i tabellen nedenfor, ble ikke Pi valgt. Intel Edison og Pixhawk ble ikke valgt på grunn av mangel på støtte og tilkobling.

• Bringebær Pi

  • Fordeler - Kan oppdage vegger og faste objekter
  • Ulemper - Sliter med å holde tritt med data fra alle sensorer, så kan ikke se innganger raskt nok. Kan ikke sende ut motorsignaler og har ingen stabiliserende sensorer for quadcopter

• Rock64

  • Fordeler - i stand til å oppdage vegger og innganger med liten ventetid.
  • Ulemper - Også i stand til å lede systemet gjennom huset uten å støte på noe ved hjelp av alle sensorene. Kan ikke sende signaler raskt nok til å kontrollere motorhastigheten og har ingen stabiliserende sensorer for quadcopter

• Intel Edison

  • Fordeler - i stand til å oppdage vegger og innganger med noe forsinkelse
  • Ulemper - Eldre teknologi, mange av sensorene trenger nye biblioteker som er veldig tidkrevende å lage
• DJI Naza
  • Fordeler - Har integrert gyroskop, akselerometer og magnetometer, slik at quadcopter kan være stabilt i luften med mikrojusteringer av motorhastigheten
  • Ulemper - Kan ikke utføre noen form for synbehandling

• Pixhawk

  • Fordeler - Kompakt og kompatibel med sensorer som brukes i prosjektet ved bruk av General Purpose Input Output (GPIO)
  • Ulemper - Kan ikke utføre noen form for synbehandling

Trinn 4: Valg av utstyr: Sensorer

En kombinasjon av flere sensorer brukes for å få all informasjon som kreves for å finne mennesker i farlige områder. De to hovedsensorene som er valgt inkluderer stereo -infrarødt kamera sammen med SOUND Navigation And Ranging (SONAR). Etter noen tester har jeg bestemt meg for å bruke Realsense D435 -kameraet fordi det er lite og er i stand til å spore avstander opptil 20 meter unna nøyaktig. Den går med 90 bilder i sekundet, noe som gjør at mange målinger kan tas før du tar en beslutning om hvor objektene er og hvilken retning quadcopter skal peke til. SONAR -sensorer er plassert på toppen og bunnen av systemet for å la quadcopter vite hvor høyt eller lavt det er lov å gå før det kommer i kontakt med en overflate. Det er også en plassert med forsiden forover slik at systemet kan oppdage gjenstander som glass som stereo infrarød kamerasensor ikke kan oppdage. Mennesker og dyr oppdages ved hjelp av algoritmer for bevegelse og gjenkjenning av gjenstander. FLIR -kamera vil bli implementert for å hjelpe det infrarøde stereokameraet med å spore hva som lever og hva som ikke skal øke effektiviteten ved skanning under ugunstige forhold.

• Kinect V1

  • Fordeler - Kan enkelt spore 3D -objekter opptil 6 meter unna
  • Ulemper -Har bare 1 infrarød sensor og er for tung for quadcopter

• Realsense D435

  • Fordeler - Har 2 infrarøde kameraer og et rødt, grønt, blått, dybde (RGB -D) kamera for 3D -objektgjenkjenning med høy presisjon opptil 25 meter unna. Den er 6 cm bred og gjør det enkelt å passe i quadcopter
  • Ulemper - Kan varme opp og kan trenge en kjølevifte

• LIDAR

  • Fordeler - Stråle som kan spore steder opptil 40 meter unna i siktlinjen
  • Ulemper - Varme i miljøet kan påvirke målepresisjonen

• SONAR

  • Fordeler - Bjelke som kan spore 15 m unna, men er i stand til å oppdage gjennomsiktige gjenstander som glass og akryl
  • Ulemper - Bare punkter i en siktlinje, men kan flyttes av quadcopter til skanneområdet

• Ultralyd

  • Fordeler - Har en rekkevidde på opptil 3 m og er veldig billig
  • Ulemper - Bare peker i en siktlinje og kan være utenfor rekkevidde av avstandssensering veldig lett
• FLIR kamera
  • Fordeler - Kan ta dybdebilder gjennom røyk uten forstyrrelser og kan oppdage levende mennesker gjennom varmesignaturer
  • Ulemper - Hvis noe forstyrrer sensorene, kan avstandsberegningene beregnes feil

• PIR -sensor

  • Fordeler - i stand til å oppdage endring i temperatur
  • Ulemper - Kan ikke finne ut hvor temperaturforskjellen er

Trinn 5: Utstyrsvalg: Programvare

Jeg brukte Realsense SDK sammen med Robot Operating System (ROS) for å lage en sømløs integrasjon mellom alle sensorene med mikrokontrolleren. SDK -en ga en jevn strøm av punktskydata som var ideell for å spore alle objektene og grensene til quadcopter. ROS hjalp meg med å sende alle sensordata til programmet jeg opprettet som implementerer kunstig intelligens. AI består av objektgjenkjenningsalgoritmer og bevegelsesdeteksjonsalgoritmer som lar quadcopter finne bevegelse i omgivelsene. Kontrolleren bruker Pulse Width Modulation (PWM) for å kontrollere plasseringen av quadcopter.

• Freenect

  • Fordeler - Har et lavere tilgangsnivå for å kontrollere alt
  • Ulemper - støtter bare Kinect V1

• Realsense SDK

  • Fordeler - Kan enkelt lage punktsky -data fra informasjonsstrømmen fra Realsense -kameraet
  • Ulemper - støtter bare Realsense D435 -kamera

• FLIR Linux driver

  • Fordeler - Kan hente datastrøm fra FLIR -kamera
  • Ulemper - Dokumentasjon er svært begrenset

• Robotoperativsystem (ROS)

  • Fordeler - Operativsystem ideelt for programmering av kamerafunksjoner
  • Ulemper - Må installeres på et raskt SD -kort for effektiv datainnsamling

Trinn 6: Systemutvikling

"Øynene" til enheten er Realsense D435 stereo infrarød sensor som er en hyltesensor som hovedsakelig brukes til robotapplikasjoner som 3D-kartlegging (figur 1). Når denne sensoren er installert på quadcopter, kan det infrarøde kameraet lede og la quadcopter bevege seg autonomt. Dataene som genereres av kameraet kalles en punktsky som består av en serie punkter i et rom som har informasjon om plasseringen av et bestemt objekt i kameraets visjon. Denne punktskyen kan konverteres til et dybdekart som viser farger som forskjellige dybder (figur 2). Rødt er lenger unna, mens blått er nærmere meter.

For å sikre at dette systemet er sømløst, ble det brukt et åpen kildekode-operativsystem kalt ROS, som vanligvis brukes på roboter. Det gjør det mulig å utføre kontroll på lavt nivå, og få tilgang til alle sensorer og kompilere data som skal brukes av andre programmer. ROS vil kommunisere med Realsense SDK som gjør det mulig å slå på og av forskjellige kameraer for å spore hvor langt unna objektene er fra systemet. Koblingen mellom begge gir meg tilgang til datastrømmen fra kameraet som skaper en punktsky. Punktskyinformasjonen kan bestemme hvor grenser og objekter er innenfor 30 meter og en nøyaktighet på 2 cm. De andre sensorene som SONAR -sensorene og de innebygde sensorene i DJI Naza -kontrolleren gir mulighet for en mer nøyaktig posisjonering av quadcopter. Min programvare bruker AI -algoritmer for å få tilgang til punktskyen og gjennom lokalisering lage et kart over hele rommet rundt enheten. Når systemet er lansert og begynner å skanne, vil det reise gjennom korridorer og finne innganger til andre rom hvor det deretter kan gjøre et sveip av rommet spesielt på jakt etter mennesker. Systemet gjentar denne prosessen til alle rommene er skannet. For øyeblikket kan quadcopter fly i rundt 10 minutter, noe som er nok til å gjøre en full fei, men kan forbedres med forskjellige batteriordninger. De første respondentene vil få varsler når folk blir oppdaget, slik at de kan fokusere innsatsen sin på utvalgte bygninger.

Trinn 7: Diskusjon og konklusjon

Etter mange forsøk hadde jeg laget en fungerende prototype som oppfylte kravene i tabell 1. Ved å bruke Realsense D435 stereo infrarødt kamera med Realsense SDK ble det laget et dybdekart med høy oppløsning på forsiden av quadcopter. Først hadde jeg noen problemer med at det infrarøde kameraet ikke var i stand til å oppdage bestemte objekter som glass. Ved å legge til en SONAR -sensor klarte jeg å overvinne dette problemet. Kombinasjonen av Rock64 og DJI Naza var vellykket ettersom systemet var i stand til å stabilisere quadcopter mens det var i stand til å oppdage objekter og vegger gjennom skreddersydde datavisningsalgoritmer ved hjelp av OpenCV. Selv om dagens system er funksjonelt og oppfyller kravene, kan det ha nytte av noen fremtidige prototyper.

Dette systemet kan forbedres ved å bruke kameraer av høyere kvalitet for å kunne oppdage mennesker mer nøyaktig. Noen av de dyrere FLIR -kameraene har muligheten til å oppdage varmesignaturer som kan gi mer nøyaktig deteksjon. Systemet kan også fungere i forskjellige miljøer, for eksempel rom som er støvete og fylt med røyk. Med ny teknologi og brannsikring kan dette systemet sendes i hus som brenner og raskt oppdager hvor menneskene er, slik at de første som reagerer kan hente de overlevende fra fare.

Takk for at du leste! Ikke glem å stemme på meg i optikk -konkurransen!