Nu op het Weblog

Nu op het fotoblog

Nu op het Videoblog

Nu op het Muziekblog

Nu op het Kookblog

Nu op het Liveblog

3 maart 2010

Quartz Composer - Sound Reactive Engine V1


Dit is een project waar ik al een tijd mee in mijn hoofd zat. Nog steeds niet helemaal zoals ik het wil maar het begin is er.

Ik wil een soort "video orgel" maken waarbij omgevingsgeluid en beweging voor een camera een trigger zijn om videobeelden te generen. Ik wil dit doen met de Quartz Composer software die ingebakken zit in Mac OSX.

Het probleem was een beetje dat er op een makkelijke manier eigenlijk maar twee triggers zouden zijn. Er gebeurd iets voor de lens van de camera of niet en er wordt geluid opgevangen door de microfoon of niet. Da's een beetje weinig om echt iets interessants mee te kunnen doen.

De camera trigger laat ik nog even links liggen. Die wil ik gaan triggeren door Quartz te laten reageren op verschillende kleuren. Ben nog aan het denken hoe dat op een efficiënte manier te doen.

Voor het geluid heb ik bedacht om Quartz Composer bepaalde frequentie bereiken te laten meten, en ieder frequentie bereik geeft twee waarden (de positieve en negatieve waarde) af waarmee ik b.v 3d vormen kan laten bewegen, video lagen mee kan starten, een partikel generator mee kan aansturen etc. Ook kan ik de waarden nog bewerken met verschillende berekeningen of conditionals. Ook meet het progsel het volume van het geluid.

In totaal kan ik 13 frequentie bereiken meten:

30Hz - 200Hz
200Hz - 800Hz
800Hz - 1.15KHz
1.15KHz - 1.6Hz
1.6KHz - 1.75KHz
1.75KHz - 2.6-3KHz
2.6-3KHz - 5.15KHz
5.15KHz - 7.2KHz
7.2KHz - 9.6KHz
9.6KHz - 12KHz
12KHz - 14KHz
14KHz - 16.5KHz
16.5KHz - 18.8KHz

maal twee waarden die ik ook nog eens kan bewerken is dus genoeg data om verassende dingen mee te gaan doen. Plus nog de volume sterkte niet te vergeten!

Makkelijker gezegd dan gedaan. Alhoewel er in Quartz een zogenaamde patch bestaat die verschillende frequenties kan meten, was het één grote puzzel om uit die rauwe data waardes te halen waarmee wat gedaan kon worden. Ook was het lastig om de gevoeligheid van bepaalde frequentie bereiken iets bij te stellen. Hoge tonen worden "zachter" gemeten dan de lage tonen.

Ga proberen om later nog eens uit te leggen hoe en wat ik gedaan heb. Maar hieronder staat de eerste test met de "Quartz Composer - Sound Reactive Engine v1". Het is geen Screensaver of Visueel effect

Wou even testen hoe CPU / GPU intensief het zaakje is (dat wordt nog een probleem!) en hoe makkelijk het is om dingen op b.v YouTube te krijgen.

Het gaat dus nog niet om de vorm maar om de techniek!!

Kost je een vrije dag, maar dan heb je ook niets.

Nu nog de camera input (zit er aan te denken om die alleen op beweging te laten reageren. Hmmmm ...