Håndbevegelsesgjenkjenning: 5 trinn

2024 Forfatter: John Day | [email protected]. Sist endret: 2024-01-30 11:21

Oversikt

I dette prosjektet lager vi en hanske som kan gjenkjenne noen grunnleggende håndbevegelser ved hjelp av en MicroBit og noen få sensorer. Vi bruker Bluetooth -funksjonene på MicroBit, sammen med en Android -app og en webserver for å trene en maskinlæringsmodell for å identifisere håndbevegelser.

Starter

Et flertall av innsatsen som er involvert i dette prosjektet er på programvaresiden, og all koden som trengs for å kjøre dette prosjektet er tilgjengelig på GitHub. Kodebasen omfatter 3 komponenter, koden for å generere en HEX -fil for MicroBit, Android App -kodebasen som er sterkt basert på MicroBit Foundation's MicroBit Blue -app, med endringer gjort for denne spesifikke brukstilfellet, og en webserver med kode for trene en Tensorflow -basert modell for å identifisere håndbevegelser.

Vi får se hvordan du bygger hansken og kobler den til med appen og webserveren.

Rekvisita

• 1 BBC Microbit
• 1 batteriholder med 2 AAA batterier
• 1 hanske
• Et sett med hoppetråder, krokodilleklipp
• En flex sensor
• En kraftsensor
• Borrelås
• Elektrisk tape
• En Android -telefon
• En PC/bærbar PC

Trinn 1: Trinn 1: Sette opp MicroBit og batteri

• Start med å feste batteriholderen til en borrelåsbit som vist på det første bildet. Bruk elektrisk tape for å feste batteriholderen godt til borrelåsstroppen.
• Lag deretter en sløyfe med elektrisk tape slik at den er klebrig på begge sider, og fest den på toppen av batteripakken.
• Fest MicroBit på tape -sløyfen for å feste MicroBit godt på batteriholderen som vist på det andre bildet.

Trinn 2: Koble til sensorer

• Følg kretsdiagrammet som er vist på bildet for å koble flexsensoren til Pin 1 på MicroBit, og tving sensoren til Pin 0 på MicroBit.
• Fest sensorene på hansken med elektrisk tape som vist på bildene.

Trinn 3: Fullføre maskinvaren

• Bruk endene på borrelåsstroppene til å danne en løkke og skyv løkken over fingrene på hansken, som vist på bildet.
• Du kan bruke stålbånd for å feste ledningene på hansken for å hindre at de beveger seg for mye.

I neste avsnitt ser vi på hvordan du konfigurerer programvaren.

Trinn 4: Programvareoppsett

Koble telefonen til MicroBit

1. For å koble telefonen, må du først kontrollere at Bluetooth er på telefonen.
2. Slå på MicroBit, og trykk og hold inne både A- og B -knappene. Trykk og slipp samtidig tilbakestillingsknappen mens du fortsatt holder A- og B -knappene inne. Mikrobiten skal nå gå inn i paringsmodus.
3. På telefonen finner du MicroBit under listen over Bluetooth -enheter der du vanligvis legger til en ny Bluetooth -enhet, og begynner paringen. På MicroBit ser du en pil som peker på A -knappen. Når du trykker på dette, viser MicroBit en serie med tall som er sammenkoblingskoden du må skrive inn på telefonen. Når du har tastet inn koden på telefonen og valgt par, bør en hake vises på MicroBit.
4. Trykk på tilbakestillingsknappen på MicroBit.

Sette opp programvaren

Følg ReadMe -veiledningene i hver undermappe på GitHub Repository for å konfigurere Android App -prosjektet i Android Studio, for å bygge og blinke HEX -filen til MicroBit, og kjøre webserveren for å kjøre Machine Learning Models.

Trinn 5: Bruk

Internett server

Åpne en terminal i webserverens prosjektkatalog og kjør `python server.py` for å starte serveren etter å ha fulgt instruksjonene i ReadMe for å installere avhengigheter

Android App

1. Bygg og lag en APK for Android -appen fra Android Studio. Kjør appen etter at telefonen er paret med MicroBit (se forrige trinn).
2. På akselerometer -siden kan du angi webserverens URL ved hjelp av innstillingsmenyen øverst til høyre. Sørg for å endre dette til webserverens IP.
3. Vent til akselerometeravlesningene begynner å bli populert fra MicroBit. Du vil se avlesningene endres med annen frekvens. For å endre frekvensen, trykk på B på MicroBit. Ideelt sett kan du bruke en frekvensverdi på 10 (som prøver avlesninger hver 10. ms)
4. Når avlesningene er fylt ut, navngi gesten din ved hjelp av tekstboksen merket 'Gest:', og trykk på opptaksknappen. Så snart du trykker på opptaksknappen, beveger du hånden flere ganger til knappen aktiveres igjen.
5. Gjenta trinn 3 for å registrere flere bevegelser.
6. Trykk på togknappen for å starte modellopplæringen på serveren. Når treningen er fullført (ca. 15 sekunder), kan du fortsette å gjøre spådommer.
7. Trykk på knappen forutsi og beveg/beveg deg. Appen vil prøve å matche den til en av de trente bevegelsene best mulig.