Multimodal musikkstativ: 9 trinn (med bilder)

2024 Forfatter: John Day | [email protected]. Sist endret: 2024-01-30 11:25

Multimodal Music Stand (MMMS) er en ny måte å kontrollere lydsyntese og effekter mens du spiller et tradisjonelt instrument (sax, fløyte, fiolin, you name it), og tilbyr ganske mange ekstra muligheter for utvidede teknikker som kan brukes mens du spiller ! Det er allerede en nettside om vårt gruppeprosjekt ved UC Santa Barbara der vi utviklet MMMS, så i stedet for å gjenta det her, legger jeg ut lenken - sjekk det ut! Multimodal Music Stand Website Et kort klipp av MMMS i aksjon er her, men det er bedre videoer på nettstedet ovenfor … Multimodal refererer til evnen til å føle inngang i mer enn én modalitet (lydinngang, videoinngang og sensorbasert inngang). Lyd- og videoinngangen er ganske grei, og involverer en vanlig mikrofon og et webkamera som er koblet til datamaskinen din, men sensorinngangen er litt mer kompleks, derfor er dette instruerbart … Vi bruker CREATE USB Interface, en enkel krets jeg utviklet for en klasse Jeg underviser ved UCSB, sammen med ThereminVision II-settet for E-field (også kjent som kapasitiv sensing) som vist her: CREATE USB InterfaceThereminVisionII kit Hvis du ikke vet hva en Theremin er, gjør deg selv en tjeneste og søk på Youtube, vant du ikke bli skuffet! MMMS tilsvarer i utgangspunktet 2 Theremins, siden den har 4 E-field sensing-antenner, i tillegg til lyd/video-inngangen selvfølgelig. Hvis du er interessert i å utvide ytelsesteknikkene dine med instrumentet ditt ved å samhandle med en datamaskin, men ikke vil bruke enkle fotpedaler, bygg deg et multimodalt musikkstativ og begynn å øve med det!

Trinn 1: Om CREATE USB -grensesnittet

CREATE USB Interface (CUI) er en enkel PIC-basert programmerbar krets som enten kan bygges helt DIY, eller du kan få en forhåndsbygd en fra meg direkte for $ 50 (+ 5 for frakt), og du trenger ikke å kjøpe en PIC -programmerer siden jeg la bootloaderen på den for deg … se nettstedet for detaljer, eller bare send meg en e -post for å be om en: CREATE USB Interface website CUI kan fungere så mange forskjellige ting, og har nå blitt brukt i hundrevis av interessante prosjekter over hele verden … noen eksempler fra studenter ved UC Santa Barbara er i dette konferansearket (PDF). CUI kan omprogrammeres via USB -kabelen ved hjelp av bootloader, og det er derfor den er så lett å tilpasse - bare bytt fastvare og det er noe annet. For eksempel er det enkelt å gjøre CUI til et trådløst sensorgrensesnitt ved hjelp av en av Bluetooth -modulene fra spark fun - hvis noen er interessert i å gjøre dette, legg inn et notat i kommentarene og be om en annen instruerbar. CUI har 13 kanaler med 10-bits analoge innganger og 16 generelle inngangs-/utgangspinner. Standard firmware som følger med CUI v1.0-kortene sender dem alle som innganger til vertsmaskinen, og fungerer fint med interaktive kunstmiljøer som Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck, etc. Jeg brukte et av CUI v1.0 -brettene for å bygge Multimodal Music Stand i denne instruerbare. Vi bruker Max/MSP/Jitter som et miljø, men du kan for all del tilpasse dette til Pd eller ditt valg av programvare. Jeg er en stor fan av åpen kildekode (CUI selv er åpen kildekode), og det hjelper veldig hvis vi alle står på hverandres skuldre og forbedrer tingene vi lager!

Trinn 2: Om ThereminVision II -settet

ThereminVision II er tilgjengelig både som et sett ($ 50) og forhåndsbygd ($ 80) fra leverandørens nettsted, RobotLand, og er også åpen kildekode - ThereminVision II -håndboken (PDF) inkluderer kretsdiagrammer. For MMMS kjøpte jeg settet og bestemte meg for å gå med den forhåndsbygde denne gangen (dette er den andre MMMSen jeg har bygget). Som en side, hvis du lurer på hvorfor jeg ikke tilbyr en kit -formen til CREATE USB -grensesnittet, er det fordi CUI -opplastingsprogrammet må programmeres med en konvensjonell PIC -programmerer før ny fastvare kan sendes via USB - ellers ville jeg definitivt tilby et sett, selv om det ville innebære overflatemontering lodding … Så tilbake til ThereminVision II - hvis du kjøpte den i settformfaktor, følg (flotte!) instruksjonene i pdf -en: ThereminVision II -manualen Det er mange fine diagrammer over ledningene du må gjøre - det eneste den ikke viser er tilkoblingene til CREATE USB -grensesnittet, så jeg legger ut bildene jeg tok på de neste trinnene … åh, og jeg fikk antennene til ThereminVision (ikke inkludert) fra All Electronics.

Trinn 3: Klargjøre musikkstativet

Gjør Multimodal Music Stand fra et fint musikkstativ, for eksempel "dirigentstativet" som vises her, eller bruk det du har for hånden - enda bedre, lag ditt eget!

Uansett hvilket stativ du bruker, trenger det isolerte fester for de fire antennene i hjørnene av stativet. Begynn med å bore hull i hjørnene - monteringsutstyret jeg hadde rundt arbeidet med en 1/4 borekrone, din vil sannsynligvis være annerledes. Prøv å holde forsiden av overflaten så jevn som mulig for å unngå forstyrrelse av notene.

Trinn 4: Koble til ThereminVision -sensormodulene

Å koble ThereminVision "sensor" -modulene (555 tidskretser) til ThereminVision "prosessor" -modulen diskuteres også mer detaljert i ThereminVision II -håndboken, men her er noen bilder av prosessen …

Trinn 5: Koble ThereminVision til CREATE USB -grensesnittet

Som vi så i det siste trinnet, er det 4 ledninger som kobler hver av sensormodulene til ThereminVision -prosessormodulen. Det er også 6 ledninger som kobler ThereminVision -prosessormodulen til CREATE USB -grensesnittet - de er strøm, jord, sensorutgang, sensorvalg A, sensorvalg B og sensorstopp.

Siden ThereminVision II får strøm fra CREATE USB -grensesnittet (som igjen får strøm fra USB), bestemte jeg meg for å koble strømmen til hver av ThereminVision -sensormodulene direkte til CREATE USB -grensesnittet - dette gjør det litt mindre av et fuglerede på ledningene siden det allerede er mange ledninger som går inn på TherminVision -prosessorkortet. Koble "+" på ThereminVision til "5V" på CUI Connect "-" på ThereminVision til "GND" på CUI Connect "4" (divider med 4 utgang) på ThereminVision til "D7" på CUI Connect "SEL B" på ThereminVision til "D5" på CUI -tilkoblingen "SEL A" på ThereminVision til "D4" på CUI Connect "S" på ThereminVision til "D6" på CUI

Trinn 6: Montering av alt på stativet

Så elektronikken er ferdig, nå er det bare å montere den på stativet - det er mange metoder for å gjøre dette, og det kan være lurt å putte elektronikken din i en beskyttelsesboks osv.

Her er noen bilder av noen av de enkleste monteringsmetodene.

Trinn 7: Opplasting av fastvare for ThereminVision i CUI

ThereminVision sender tidssignaler for sine sensorer i stedet for analoge utganger (eller noen av de vanlige digitale protokollene som I2C eller SPI). Så det var nødvendig med en tilpasset fastvare for å måle timingen for disse signalene … Den første versjonen av Multimodal Music Stand -fastvaren er i zip -filen nedenfor, både kildekoden og den kompilerte hex -filen er inkludert (sammen med en testoppdatering for Max/ MSP/Jitter): CUI -ThereminVision -fastvare Skjermbildet nedenfor viser OS X -programmet Boot Down av Craig Schimmel - et Macintosh -opplastingsverktøy for CUI. Hvis du er på Windows, er det enkleste å bruke Microchips eget verktøy, PDFSUSB.exe som kan lastes ned fra deres nettsted, eller som er inkludert i denne eksempelkoden for CREATE USB Interface. For å sette CUI i "bootloader -modus", hold nede programknappen og trykk på tilbakestillingsknappen (eller bare koble til USB -kabelen mens du holder programknappen nede). CUIs status -LED vil blinke kontinuerlig for å indikere at den er i oppstartsmodus. Nå kan du bruke Boot Down til å sende CUIEfieldBootDown.hex -filen til CREATE USB Interface. Hvis du noen gang vil endre fastvaren for CREATE USB Interface tilbake til originalen, er den her, og det finnes andre eksempler på fastvare for CUI her også.

Trinn 8: Testing av multimodal musikkstativ i Max/MSP/Jitter

Åpne eksempeloppdateringen i Max/MSP/Jitter (en 30-dagers demo kan lastes ned fra www.cycling74.com, og en "runtime" -versjon er også tilgjengelig som ikke tillater lagring av oppdateringer), eller følg konvensjonene i Max-oppdateringen og lag din egen oppdatering i PureData (Pd) … Jitter brukes til å vise 3D -posisjonen til gestusinnganger, hvor z -aksen (mot og bort fra stativet) er kartlagt til den generelle intensiteten til alle 4 antennene - ikke veldig vitenskapelig, men det fungerer! Dataene fra de enkelte sensorene blir også sendt ut som OSC til 127.0.0.1 (localhost) for bruk av andre applikasjoner om nødvendig. Et nyttig objekt i Max/MSP/Jitter for å filtrere pigger ut av sensordata (forårsaket av elektrisk interferens) er Tristan Jehans "jevnere", som kan lastes ned her: jevnere maksobjektTristans nettsted har også en haug med MSP eksternt for Max som vi bruker til lydanalysedelen av Multimodal Music Stand -inngangen - de inkluderer tonehøyde ~, lydstyrke ~, lysstyrke ~, støy ~ og alt-i-ett-analysator ~ -objektet. Når du har data som kommer inn i Max, må du justere følsomheten til ThereminVision-sensorene individuelt med en liten skrutrekker. Gjør dette ved å forlenge antennene hele veien, deretter snu den blå trimpoten mot klokken til den går over i "omvendt registrering" -modus - og skru den deretter tilbake med klokken til du er tilbake i normalt sanseområde. Små justeringer (tuning av sensiviteten, akkurat som tuning av en gitar) kan gjøres ved å endre lengden på antennene, så du trenger ikke å bære den lille skrutrekkeren rundt på spillejobber med deg.

Trinn 9: Bruke multimodal musikkstativ i ytelse! (og utvide den)

Ikke glem at de nye fremføringsteknikkene som Multimodal Music Stand muliggjør, trenger øvelse og utvikling av nye tilordninger og ideer for hva du vil kontrollere med den! Hvis du vil utvide MMMS til å inkludere andre typer sensorer, det vil være mulig å bruke de 13 analoge inngangene på CUI i tillegg til ThereminVision -sensorene i fremtidige versjoner av MMMS -fastvaren, så med noen enkle sensorer (glidere/knapper/fotpedaler) eller andre sensortyper (IR/ultralyd/etc), disse kan brukes sammen med lydinngang og video til datamaskinen. For øyeblikket bruker fastvaren en "seriell-over-USB" -protokoll, men til slutt er planen å bytte til "HID" (Human Input Device) -protokoll som normalt brukes av CREATE USB-grensesnittet. Vær så snill å bidra til innsatsen … Det finnes et lignende åpen kildekode -prosjekt for E -field sensing (også kjent som kapasitiv sensing) som bruker den samme kretstopologien (basert på ThereminVision -designet) kalt CapToolKit - den bruker "lillebroren" "på PIC18F4550, PIC18F2550 som ikke har så mange analoge innganger (10 i stedet for 13). Fastvaren for CapToolKit vil være litt annerledes siden de ikke bruker ThereminVision -prosessorkortet. Vi bruker et enkelt firewire -kamera (webkamera -stil) montert på toppen av musikkstativet for optisk gjenkjenning av fysiske bevegelser og blikkdeteksjon - Hvis du er interessert i datasyn eller lydanalyse og syntese aspekter av gruppens forskning, vennligst se avisene på nettstedet Multimodal Music Stand. Og vær så snill å legg ut opplevelsene dine hvis du bygger et multimodalt musikkstativ … Vi har nå to av dem på UCSB som vist på bildet nedenfor - det ville være flott å ha flere komposisjoner, forestillinger og musikere som bruker dem der ute! Dr. JoAnn Kuchera-Morin skrev den første komposisjonen som involverte MMMS, som ble fremført av fløytisten Jill Felber ved Eastman School of Music i mars 2007.