Multimodal musikstativ: 9 trin (med billeder)

2024 Forfatter: John Day | [email protected]. Sidst ændret: 2024-01-30 08:30

Multimodal Music Stand (MMMS) er en ny måde at styre lydsyntese og effekter, mens du spiller et traditionelt instrument (sax, fløjte, violin, you name it), og tilbyder en hel del ekstra muligheder for udvidede teknikker, der kan bruges, mens du spiller ! Der er allerede en webside om vores gruppeprojekt på UC Santa Barbara, hvor vi udviklede MMMS, så i stedet for at gentage det her, sender jeg linket - tjek det! Multimodal Music Stand Website Et kort klip af MMMS i aktion er her, men der er bedre videoer på stedet ovenfor … Multimodal refererer til evnen til at registrere input i mere end én modalitet (lydindgang, videoindgang og sensorbaseret input). Lyd- og videoindgangen er ret ligetil, der involverer en normal mikrofon og et webcam tilsluttet din computer, men sensorindgangen er lidt mere kompleks, derfor er dette instruerbart … Vi bruger CREATE USB Interface, et simpelt kredsløb, jeg udviklede til en klasse Jeg underviser på UCSB sammen med ThereminVision II-kittet til E-field (også kendt som kapacitiv sansning) som vist her: CREATE USB InterfaceThereminVisionII kit Hvis du ikke ved, hvad en Theremin er, gør dig selv en tjeneste og søg på Youtube, du vandt ikke blive skuffet! MMMS svarer dybest set til 2 Theremins, da den har 4 E-field sensing-antenner ud over audio/video-input selvfølgelig. Hvis du er interesseret i at udvide dine performance-teknikker med dit instrument ved at interagere med en computer, men ikke ønsker at bruge simple fodpedaler, byg dig et Multimodal Music Stand og begynd at øve med det!

Trin 1: Om CREATE USB -grænsefladen

CREATE USB Interface (CUI) er et simpelt PIC-baseret programmerbart kredsløb, der enten kan bygges helt DIY, eller du kan få en forhåndsbygget en fra mig direkte for $ 50 (+ 5 til forsendelse), og du behøver ikke for at købe en PIC -programmør, siden jeg lagde bootloaderen på den til dig … se webstedet for detaljer, eller bare mail mig for at anmode om en: Opret USB -interface -websted CUI'en kan fungere så mange forskellige ting og er nu blevet brugt i hundredvis af interessante projekter over hele verden … et par eksempler fra studerende ved UC Santa Barbara er i dette konferenceoplæg (PDF). CUI'en kan omprogrammeres via USB -kablet ved hjælp af bootloaderen, hvorfor det er så let at tilpasse - bare skift firmware og det er noget andet. For eksempel er det let at gøre CUI til et trådløst sensorinterface ved hjælp af en af Bluetooth -modulerne fra spark fun - hvis nogen er interesseret i at gøre dette, skal du skrive en note i kommentarerne og anmode om en anden instruerbar. CUI'en har 13 kanaler med 10-bit analoge indgange og 16 input/output pins til generelle formål. Standardfirmwaren, der leveres med CUI v1.0-kortene, sender dem alle som input til værtscomputeren og fungerer fint med interaktive kunstfremstillingsmiljøer som Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck osv. Jeg brugte et af CUI v1.0 boards til at bygge Multimodal Music Stand i denne instruerbare. Vi bruger Max/MSP/Jitter som et miljø, men tilpas på alle måder dette til Pd eller dit valg af software. Jeg er en stor fan af open source (CUI selv er open source), og det hjælper meget, hvis vi alle står på hinandens skuldre og forbedrer de ting, vi laver!

Trin 2: Om ThereminVision II -sættet

ThereminVision II er tilgængelig både som et sæt ($ 50) og som en forhåndsbygget ($ 80) fra sælgers websted, RobotLand, og er også åben kildekode - ThereminVision II -manualen (PDF) indeholder kredsløbsdiagrammerne. Til MMMS købte jeg sættet og besluttede derefter at gå med den forudbyggede denne gang (dette er den anden MMMS jeg har bygget). Som en side, hvis du undrer dig over, hvorfor jeg ikke tilbyder en kit form af CREATE USB Interface, det er fordi CUI bootloader skal programmeres med en konventionel PIC programmerer, før ny firmware kan sendes via USB - ellers ville jeg helt sikkert tilbyde et kit, selvom det ville indebære overflademontering lodning … Så tilbage til ThereminVision II - hvis du købte den i kitformfaktor, skal du følge (store!) instruktionerne i pdf'en: ThereminVision II -manualen Der er en masse flotte diagrammer over ledningerne, du skal gøre - det eneste den ikke viser er forbindelserne til CREATE USB Interface, så jeg vil lægge de billeder, jeg tog på de næste par trin… åh, og jeg fik antennerne til ThereminVision (ikke inkluderet) fra All Electronics.

Trin 3: Forberedelse af musikstativet

Gør dit Multimodal Music Stand ud af et lækkert musikstativ som f.eks. "Dirigentstativet" vist her, eller brug det, du har ved hånden - endnu bedre, lav dit eget!

Uanset hvilket stativ du bruger, har det brug for isolerede beslag til de fire antenner i hjørnerne af stativet. Start med at bore huller i hjørnerne - monteringsudstyret, jeg havde lagt rundt, arbejdede med et 1/4 bor, dit vil sandsynligvis være anderledes. Prøv at holde forsiden af overfladen så jævn som muligt for at undgå forstyrrelse af noder.

Trin 4: Tilslutning af ThereminVision Sensor Modules

Tilslutning af ThereminVision "sensor" moduler (555 timer kredsløb) til ThereminVision "processor" modul diskuteres også mere detaljeret i ThereminVision II manualen, men her er et par billeder af processen …

Trin 5: Tilslutning af ThereminVision til CREATE USB -grænsefladen

Som vi så i det sidste trin, er der 4 ledninger, der forbinder hver af sensormodulerne med ThereminVision -processormodulet. Der er også 6 ledninger, der forbinder ThereminVision -processormodulet med CREATE USB -grænsefladen - de er strøm, jord, sensoroutput, sensorvalg A, sensorvalg B og sensorstop.

Da ThereminVision II får sin strøm fra CREATE USB Interface (som igen får sin strøm fra USB), besluttede jeg at tilslutte strømmen til hvert af ThereminVision sensormodulerne direkte til CREATE USB Interface - det gør det lidt mindre af en fuglerede på ledningerne, da der allerede er mange ledninger, der går ind på TherminVision -processorkortet. Tilslut "+" på ThereminVision til "5V" på CUI Connect "-" på ThereminVision til "GND" på CUI Connect "4" (divideret med 4 output) på ThereminVision til "D7" på CUI Connect "SEL B" på ThereminVision til "D5" på CUI -forbindelsen "SEL A" på ThereminVision til "D4" på CUI Connect "S" på ThereminVision til "D6" på CUI

Trin 6: Montering af alt på stativet

Så elektronikken er færdig, monter den nu bare på stativet - der er mange metoder til at gøre dette, og du vil måske lægge din elektronik i en beskyttelsesboks osv. …

Her er nogle fotos af nogle af de enkleste monteringsmetoder.

Trin 7: Bootloading af firmwaren til ThereminVision i CUI

ThereminVision sender timingsignaler til sine sensorer i stedet for analoge udgange (eller nogen af de standard digitale protokoller som I2C eller SPI). Så der var brug for en brugerdefineret firmware til at måle timingen af disse signaler … Den første version af Multimodal Music Stand -firmwaren er i zip -filen herunder, både kildekoden og den kompilerede hex -fil er inkluderet (sammen med en testrettelse til Max/ MSP/Jitter): CUI -ThereminVision -firmware Skærmbilledet herunder viser OS X -programmet Boot Down af Craig Schimmel - et Macintosh -bootloadingsværktøj til CUI. Hvis du er på Windows, er det letteste at bruge Microchips eget værktøj, PDFSUSB.exe, der kan downloades fra deres websted, eller som er inkluderet i denne eksempelkode til CREATE USB Interface. For at sætte CUI'en i "bootloader -tilstand" skal du holde nede programknappen, og tryk på nulstillingsknappen (eller bare tilslut USB -kablet, mens du holder programknappen nede). CUI's status -LED blinker konstant for at angive, at den er i bootloader -tilstand. Nu kan du bruge Boot Down til at sende CUIEfieldBootDown.hex -filen til CREATE USB Interface. Hvis du nogensinde vil ændre firmwaren til CREATE USB Interface tilbage til originalen, er den her, og der er andre eksempler på firmware til CUI også her.

Trin 8: Test af multimodal musikstativ i Max/MSP/Jitter

Åbn eksempelrettelsen i Max/MSP/Jitter (en 30-dages demo kan downloades fra www.cycling74.com, og en "runtime" -version er også tilgængelig, der ikke tillader gemme patches), eller følg konventionerne i Max-patchen og lav din egen patch i PureData (Pd) … Jitter bruges til at vise 3D -positionen for gestale input, hvor z -aksen (mod og væk fra stativet) er kortlagt til den samlede intensitet af alle 4 antenner - ikke særlig videnskabelig, men det virker! Data fra de enkelte sensorer sendes også som OSC til 127.0.0.1 (localhost) til brug af andre applikationer, hvis det er nødvendigt. Et nyttigt objekt i Max/MSP/Jitter til filtrering af pigge ud af sensordata (forårsaget af elektrisk interferens) er Tristan Jehans "glattere", som kan downloades her: glattere max objektTristans websted har også en flok MSP eksternt til Max, som vi bruger til lydanalysedelen af Multimodal Music Stand's input - de inkluderer tonehøjde ~, lydstyrke ~, lysstyrke ~, støj ~ og alt-i-ét analysator ~ objekt. Når du har data, der kommer ind i Max, skal du justere følsomheden af ThereminVision-sensorerne individuelt med en lille skruetrækker. Gør dette ved at forlænge antennerne hele vejen, derefter dreje den blå trimpot mod uret, indtil den går i tilstanden "omvendt registrering" - drej den derefter tilbage med uret, indtil du er tilbage i normalt sanseområde. Små justeringer (tuning af sensiviteten, ligesom tuning af en guitar) kan foretages ved at ændre længden på antennerne, så du behøver ikke at bære den lille skruetrækker rundt til koncerter med dig.

Trin 9: Brug af multimodal musikstativ i performance! (og forlængelse)

Glem ikke, at de nye præstationsteknikker, som Multimodal Music Stand muliggør, kræver øvelse og udvikling af nye kortlægninger og ideer til, hvad du vil kontrollere med det! Hvis du også vil udvide dit MMMS til at inkorporere andre slags sensorer, det vil være muligt at bruge de 13 analoge indgange på CUI ud over ThereminVision -sensorerne i fremtidige versioner af MMMS -firmwaren, så med nogle enkle sensorer (skydere/knapper/fodpedaler) eller andre sensortyper (IR/ultralyd/etc), disse kan bruges sammen med lydindgang og video til computeren. I øjeblikket bruger firmwaren en "seriel-over-USB" -protokol, men i sidste ende er planen at skifte til "HID" (Human Input Device) -protokollen, der normalt bruges af CREATE USB-grænsefladen. Du er velkommen til at bidrage til indsatsen … Der findes et lignende open source -projekt til E -field sensing (også kendt som kapacitiv sensing), der bruger den samme kredsløbstopologi (baseret på ThereminVision -designet) kaldet CapToolKit - den bruger "lillebror" "på PIC18F4550, PIC18F2550, som ikke har så mange analoge indgange (10 i stedet for 13). Firmwaren til CapToolKit vil være lidt anderledes, da de ikke bruger ThereminVision -processorkortet. Vi bruger et simpelt firewire -kamera (webcam -stil) monteret på toppen af musikstativet til optisk genkendelse af fysiske bevægelser og blikdetektering - Hvis du er interesseret i computer vision eller lydanalyse og syntese aspekter af vores gruppes forskning, kan du se papirerne på webstedet Multimodal Music Stand. Og skriv venligst dine oplevelser, hvis du bygger et multimodalt musikstativ … Vi har nu to af dem på UCSB som vist på billedet herunder - det ville være fantastisk at have flere kompositioner, forestillinger og musikere, der bruger dem derude! Dr. JoAnn Kuchera-Morin skrev den første komposition, der involverede MMMS, som blev fremført af fløjtenisten Jill Felber på Eastman School of Music i marts 2007.