IoT: Kontroller HoloLens ved hjelp av øyenbrynene (EMG): 5 trinn

2024 Forfatter: John Day | [email protected]. Sist endret: 2024-01-30 11:22

Dette prosjektet var en del av University of Colorado Boulders NASA SUITS -prosjekt som ble presentert og testet på NASA JSC i april 2019. For årets prosjekt var jeg prosjektleder for maskinvareutvikling, og dette var et av bidragene mine. Les mer om NASA SUITS -utfordringen her.

Med dette prosjektet ønsket jeg å la alle (i dette tilfellet EVA Astronauts) grensesnitt med en Heads-Up-Display (HUD) distribuert i Microsoft HoloLens uten å bruke de innebygde håndbevegelsene eller stemmeinngangene. Jeg taklet dette målet fra et tilgjengelighetsperspektiv, jeg ønsket å utvikle en perifer/bærbar enhet som ville gjøre det mulig for EVA -astronauter å koble til skjermen uten å oppta kommunikasjon med bakkekontroll, og på grunn av deres høyt trykkede hansker er bevegelsesgrensesnitt urimelig. Selv om dette er et domene jeg er litt ukjent med, kan jeg også se at denne eksterne enheten er nyttig for funksjonshemmede, slik at de kan bruke HoloLens eller andre AR/VR -enheter og avstå fra inngangene som er ekskluderende eller skremmende.

Selv om varelisten for dette prosjektet er eksklusiv i seg selv (HoloLens er veldig dyrt!), Kan periferiutstyret brukes med andre AR/VR -enheter.

Hvis du har spørsmål, vil fortsette med arbeidet mitt eller bare kaste rundt ideer, vennligst gjør det på min Twitter: @4Eyes6Senses.

Rekvisita

Microsoft HoloLens (eller annen AR/VR -enhet)

Partikkelfoton

MyoWare muskelsensor - MyoWare -sensoren kan byttes ut med andre EMG breakout -kort. Hvis du ikke er sikker på hva EMG er, foreslår jeg at du leser mer om det her

Biomedisinske sensorputer

Enhet (gratis)

Noen erfaringer med å lage prosjekter i enhet

Metalltråd

Trinn 1: Koble MyoWare til partikkelfotonet

Det er ganske enkelt å koble Particle Photon til MyoWare -kortet. For dette trinnet må du lodde forbindelsene mellom Particle Photon og MyoWare -kortet. Pass på at du har sterke tilkoblinger slik at kablene ikke går i stykker mens du bruker enheten. For å unngå brudd, anbefaler jeg å flette kablene før du lodder dem inn i Photon.

- Lod en ledning inn i "+" - porten på MyoWare -kortet, og lodd deretter den andre enden av kabelen inn i Photons "3v3" - pinne.

- Lod en ledning inn i "-"- porten på MyoWare-kortet, og lodd deretter den andre enden av kabelen inn i Photons "GND" -stift.

- Lod en ledning inn i "SIG" -porten på MyoWare -kortet, og lodd deretter den andre enden av kabelen inn i Photons "A0" -nål.

Trinn 2: Last opp kode til Particle Photon

Last opp.ino -filen ved hjelp av Particle Photons IDE. Plasser MyoWare -kortet på en muskelgruppe og sjekk verdiene for å sikre at enheten din fungerer. Når du ser på koden, vil du legge merke til at det allerede er angitt en "terskel" -variabel. Denne variabelen er minimumsverdien MyoWare leser fra muskelen min når jeg hever øyenbrynet fullt ut. Jeg har også satt variabelen til "600" fordi den tillot meg å ha normale samtaler mens jeg hadde på meg MyoWare uten å lage noen falske positiver (utilsiktet utløsning). Det kan være lurt å leke med verdiene til du finner ønsket terskel for dine bruksområder.

Trinn 3: Plassering av MyoWare

For vårt NASA SUITS -prosjekt valgte jeg å plassere MyoWare Board over øyenbrynet. Jeg ble inspirert til å plassere MyoWare der etter å ha sett på "" Sup Brows "-prosjektet gjort av Adafruit. Etter noen tester ble det klart at øyenbrynene er et flott sted for dette spesifikke prosjektet. Det er en flott beliggenhet fordi sensorene ikke ville bli påvirket av de konstante muskelbevegelsene gjennom armer, ben og torso som EVA -astronauter gjør under romvandringer.

Trinn 4: Koble MyoWare med enhet

Nå er det tid for det siste trinnet, la oss koble MyoWare til Unity! Inkludert i denne instruksjonsboken er skriptet du må inkludere i ditt Unity -prosjekt. Men først må du endre noen få ting i koden. Først må du legge til JSON Object Unity -pluginet i prosjektet ditt. Deretter må du legge til din egen enhets -ID og tilgangstoken til linje 19: particleURI = "https://api.particle.io/v1/devices/[Insert your device id]/Next? Access_token = [Sett inn din tilgangstoken] ". Du kan få enhets -ID -en din fra Particle IDE, etter figur 2, klikk på enhetsfanen (rød boks) og se under enhetsnavnet for å finne din ID (blå boks). Deretter klikker du på kategorien Innstillinger i IDE for å finne tilgangstokenet ditt.

Trinn 5: Ferdig

Etter at du har fullført ditt Unity -prosjekt, vil du ha et EMG -kontrollert HoloLens!

Hvis du har grundige spørsmål, ønsker å lære om menneskelig forstørrelse, vil følge med i arbeidet mitt eller bare kaste rundt ideer, vennligst gjør det på min Twitter:

Hvis du er interessert i å jobbe med teamet vårt for NASA SUITS -utfordringen 2019 - 2020, kan du sende meg en e -post på:

Spesiell takk til modellen på det første bildet, Darren, som også testet designet på NASA. Nok en takk til programmeringspartneren min for prosjektet AJ, som gjorde mye av dette mulig.