De toekomst van muziekbeleving: AI, immersieve werelden en virtueel geluid

Er groeit momenteel een hele nieuwe generatie muziekconsumenten op die muziek en media heel anders beleven, vertelt Thijs Verhulst, Business Development Manager bij Warner Music. “Als je kijkt naar jongere doelgroepen, dan zie je dat jongeren van 16 tot 18 jaar veel meer tijd besteden aan visuele media als YouTube Shorts of TikTok. De groep die daarna komt besteedt veel meer tijd in gamingwerelden. Hun aandachtsspanne is korter, maar ook de verwachtingen van een artiest zijn heel anders. Zij verwachten iets wat ze kunnen zien, maar zoeken ook een connectie op basis van meer dan muziek alleen.” Technologie is dus niet alleen een mogelijkheid, maar een noodzaak in het veranderende landschap. We zien al voorbeelden waar technologie succesvol wordt ingezet. “Denk aan de virtuele ABBA-show die succesvol draait, of een concert van Travis Scott in de game Fortnite die 27,7 miljoen bezoekers trok en een boost gaf aan zijn chart-notering. Dichter bij huis won artiest Coloray prijzen voor zijn audiovisuele project ‘Future Static’. Er kan van alles en de verandering zie je al.”

Tot nu toe wordt immersie vooral vaak toegepast in marketingactiviteiten. Jezelf breed profileren als artiest is uiteindelijk the key tot succes. Dat zijn ook logische kansen, legt Verhulst uit. “Door muziek te promoten met meer dan audio vergroot je simpelweg de zichtbaarheid, maar kan je ook opvallen in een markt waar ontzettend veel is. Daarnaast is het heel belangrijk dat je dus een connectie kan maken met fans op een niveau van gedeelde waarden, wat voor binding zorgt. Een groot deel is wel pionieren, vooral als het gaat om een integratie in dat artiest zijn. Het is een ‘blank canvas’ in die zin.”

Toch spelen grote artiesten al met de mogelijkheden. Drake heeft bijvoorbeeld een bizarre shop, waar je in zijn huis ‘The Embassy’ kan rondkijken en producten kan aanklikken. Zo koop je dezelfde koelkastmagneten als de rapper - waar hij vast weer wat inkomsten van meepikt. Diverse sterren verkenden de mogelijkheden van VR, en Dua Lipa en Ellie Goulding gebruikten AR in promotiecampagnes. Verhulst verwacht dat die technologie de komende jaren steeds meer omarmt zal worden door de muziekwereld. Meebewegen en mogelijkheden verkennen zijn dan ook erg belangrijk voor artiesten zelf: “Als jij als artiest niet hiermee bezig bent, wordt het lastig om je carrière van de grond te krijgen over een paar jaar. Nu zie je vooral grote artiesten die hier veel mee doen. Daarom is het ook zoeken naar wat werkt voor jou als artiest, en hoe jij daar een verdienmodel aan kan koppelen. Je kan niet alles doen zoals een wereldster als Dua Lipa die de support van een enorm team heeft hiervoor. Er is geen one-size-fits-all model, elke artiest moet vinden wat voor hen werkt.”

Niet alleen de grote sterren verkennen de grenzen van technologie, ook in Eindhoven wordt er druk geëxperimenteerd. Om technologie toegankelijk te maken voor artiesten heeft Effenaar in 2018 Effenaar Lab opgericht. Effenaar Lab functioneert hierin als een makerspace, waar artiesten kennis opdoen en kunnen experimenteren met VR, AR en streamen. Ontzettend waardevol pionierswerk dus, voor de artiesten én de industrie, stelt Verhulst. “Het is heel belangrijk dat we de kennis over wat allemaal mogelijk is beschikbaar maken voor artiesten. Voor mij is het ook een soort benchmarking; zien hoe artiesten hier zelf in staan en over denken. Maar juist doordat zij de creatieve ruimte krijgen, ontstaan er ook veel originele ideeën, waar ik inspiratie uit opdoe.”

Één van de trajecten binnen Effenaar Lab is Hybrid Music Vibes. Afgelopen maart is de tweede editie van dit programma van start gegaan met een nieuwe lichting artiesten. Na een serie aan kennissessies met experts zijn de artiesten zelf aan de slag gegaan en hebben zij een eigen concept ontwikkeld. Waarna zes artiesten door een vakjury en het publiek zijn uitgekozen om dat concept vervolgens ook echt te realiseren. Samen met specialisten werken ze aan dit eigen project om hun artiestschap te versterken. Veel mogelijkheden, maar ook veel vragen: Hoe kan je fanbeleving en -verbinding versterken? Hoe kan je audiovisueel verrijken? En hoe zet je technologie op een rendabele manier in? Artiesten RHIANNIN, De Toegift, Julia Sabaté, Max Frimout, Hiigo en PXPLE JAZZ onderzoeken met hun concepten de antwoorden op die vragen.

Julia Sabaté is niet zozeer een band. Het is een project van Julia Sabaté, Ruben Sieben en Koen Hermans, waarvan Sabaté het gezicht is. Het trio is erg toekomstgericht, ze zien technologie als gereedschap om hun (live)act te versterken. Sabaté heeft Spaanse roots en zingt ook vaak in het Spaans. Dat zorgt naar haar gevoel voor een afstand tussen haar en de Nederlandse concertbezoekers. “Het maakt het lastiger om het verhaal over te brengen, hoewel luisteraars de emotie vaak wel kunnen voelen en beleven. Ons idee is om daar visuals voor te gebruiken.” De groep sloeg de handen ineen met Bureau Moeilijke Dingen om dat verder uit te werken. De eerste ideeën liepen erg uiteen, maar uiteindelijk is er gekozen om generatieve artificial intelligence in te zetten voor het creëren van de visuals. Het publiek kan beelden insturen, die het algoritme voeden, waarmee het publiek co-creator wordt van de show. Dit wordt dan bij één nummer in de setlist toegepast, vertelt Sieben. “Je kan niet een hele show foto’s laten insturen, dat wordt veel te druk. We gaan op zoek naar een VJ en bij één nummer gaat deze met de ingestuurde beelden visuals genereren. Achteraf zou je ook met dat beeld revenue kunnen opbrengen, maar daar willen we in de toekomst naar kijken. Het belangrijkste is dat wat we nu doen, iets is wat we ook goed kunnen doen en onze act versterkt.”

De groep heeft een sterke pro-technologische houding, welke naar eigen zeggen deel is van hoe Julia Sabaté opereert en het artiestschap aanvliegt. Sabaté ziet Hybrid Music Vibes als een reality check met betrekking tot de toekomst. “Er kan zoveel. Je moet willen begrijpen wat er gaat komen en dat kunnen plaatsen in je vak en welke mogelijkheden het je biedt als artiest." Op het podium draait het nog steeds om de nummers goed spelen en een sterke performance afleveren. Technologie helpt daarin, en verrijkt vooral de toolkit die je als artiest hebt, stelt Sieben. “Als artiest wil je meegaan met de tijd. Dat is soms in je stijl, maar ook qua technologie. Artificial intelligence is nu bijvoorbeeld super actueel en biedt veel kansen, maar je moet wel weten wat er kan. Technologie kan veel werk uit handen nemen, zoals in onze live-set, maar als artiest heb je nog steeds de touwtjes in handen."

Technologie biedt mogelijkheden tijdens shows, maar ook daarbuiten. Het geeft verschillende opties om in contact te blijven met fans of je als artiest breder en persoonlijker te presenteren, iets wat zowel PRXPLE JAZZ, Hiigo, RHIANNIN als De Toegift aanspreekt.

De Nederlandstalige band Hiigo startte met een idee om hun artwork tijdens live shows met VR/AR-brillen tot leven te laten komen. Na de kennissessies concludeerde de groep toch dat een andere koers beter was, vertelt zanger Hans van der Werf. "Dat was natuurlijk onhaalbaar qua kosten en organisatie. Daarna werden we ondergedompeld in wereld van hologrammen en metaverse vol mogelijkheden.” Van het originele idee, bleef alleen het artwork van Laura Gardebroek – de zus van drummer Koen - over in het nieuwe plan. "Ons centrale concept is dat samenzijn, het gevoel van thuis. We willen een omgeving creëren waar onze fans dat ook kunnen ervaren, mee kunnen kijken hoe wij dingen doen en hoe serieus we dat nemen. Bijvoorbeeld hoe al het artwork door Laura gemaakt wordt met echte toewijding, dat we met gepassioneerde videomakers werken, en hoe alles met elkaar verweven is. Ik houd niet zo van de vlakke, commerciële representatie van artiesten. Ik wil juist authenticiteit laten zien. Daarom zoeken we in ons project naar mogelijkheden voor diepgang en verbinding met onze fans.”

Samen met partnerorganisaties wordt er een virtueel huis gebouwd. Na aanschaf van een fysiek product, krijgen fans toegang. “Je kan het artwork bekijken en verkennen, maar ook demo’s luisteren op de werkkamer van Koen. Er zijn ook hologrammen van ons te vinden, die door Dutch Rose Media ontwikkeld worden, en hopelijk kunnen we in de toekomst nog meer bieden. Het wordt erg bijzonder.” De band wil het huis blijven doorontwikkelen tot een ontmoetingsplek voor fans en henzelf. "Een community van fans en muzikanten die wat ze doen tof vinden".

Ook PXRPLE JAZZ wil met haar concept meer binding met haar fans creëren. De zangeres ziet muziek als een onderdeel van het grotere geheel en dat is de performance. “Ik zie mezelf als een artiest die een sfeer en move creëert. Ik ben daarin erg beeldend en dat gebeurt bij mij vanzelf. Dat betekent dat ik de lichten, visuals, dans en dansers, maar ook de boodschap als totaal bekijk. Alle skills die ik heb komen bij elkaar om iets te maken.” Het helpt dan zeker om een brede skillset te hebben, en die te blijven verbreden als artiest.

Ze was al aardig thuis in wat er technisch allemaal mogelijk is, en experimenteerde eerder al met visuals en 3D bij live shows. Maar ditmaal gaat  ze voor het realiseren een immersive website. “Je kan zelf dingen proberen, en dat is heel waardevol, maar je wil de plank niet misslaan als je professionals inhuurt. Het is dus heel belangrijk om jezelf af te vragen wat voor jou werkt en wat je ermee wil bereiken. Voor mij was dat connectie met fans. Ik ben actief op social media, maar alles is versnipperd. Ik wil dat graag samenbrengen." Door middel van gamified elementen kunnen gebruikers op een speelse wijze meer ontdekken over PXRPLE JAZZ. Voor de realisatie van de website wordt samengewerkt met arfected en haar eigen team. De website is nu nog volop in ontwikkeling, dus geen spoilers, maar het doel is helder voor Jazz: “Ik hoop dat dit fans gaat helpen om meer binding met mij te voelen, maar ook om makkelijker contact met elkaar te hebben.”

Met het project RHIANNIN wil zangeres Rianne Wilbers zichzelf uitdrukken in alle facetten van haar artiestschap, wat ze binnen Hybrid Music Vibes doorvertaalt naar een virtueel diorama. “Mijn visie is een esthetisch totaalplaatje, waarbij IJslandse artieste Björk mijn grote inspiratie is. Haar werk is direct herkenbaar in alles wat ze doet, van haar geluid tot kleding en artwork. RHIANNIN is dat voor mij; een identiteit waarin mijn kunst, muziek en ikzelf één beeld vormen." In samenwerking met arfected werkt Wilbers aan een immersieve omgeving, waar mensen haar muziek en schilderijen kunnen ervaren en er als het ware doorheen kunnen lopen. In dat proces wordt ook gebruik gemaakt van het werk dat in een ander project gemaakt wordt door motion designer Gijs Habraken. Zelf is de zangeres geen techneut, dus maakte ze voor de technici als inspiratie een boek met uitgesneden pagina’s om te illustreren wat ze voor ogen had.

Je kunst omvormen tot een wereld met een virtueel karakter, betekent ook dat je vragen moet stellen over je eigen werk. “Veel beeldopmaak en generatie kan je doen met artificial intelligence (AI), maar ik wil het gevoel van authentiek handwerk bewaren en zeker zijn dat mijn stijl terugkomt. Daar zitten veel grapjes in, en surrealisme, dus dat wil ik zelf bedenken en niet genereren. Maar ik had bijvoorbeeld een schilderij van een vogel, waarbij één vleugel is afgesneden en dat kan je met generatieve AI compleet maken voor de website. Zoveel is onbekend terrein voor iedereen, maar het is een enorme verrijking van mijn artiestschap en de ontdekkingsreis voor mij van wat RHIANNIN is en gaat worden."  

Ook de Zeeuwse band De Toegift creëert een virtuele wereld, maar houdt daarbij ook zeker rekening met het karakter van hun werk en zijn. “We zijn eigenlijk een ouderwetse band, dus verkennen wat voor mogelijkheden technologie biedt met Hybrid Music Vibes is wel bijzonder. Onze optredens kennen weinig poespas; we zijn een groep muzikanten op het podium en we spelen kwetsbare muziek die put uit folk, jazz, pop en rock. Daardoor ontstaat een kwetsbaarheid en intieme relatie met het publiek, dat willen we behouden. Maar we zijn hier met een open blik ingestapt", vertelt toetsenist en gitarist Tom Gudde. Het vijftal is enthousiast over hoeveel aspecten en invalshoeken technologie biedt, maar het moet wel aansluiten op wie ze zijn. "Ik zie De Toegift niet snel gebruik maken van LED-schermen of VR/AR toepassingen die de beleving tussen ons en het publiek verstoren.”  

Wel is er buiten het podium nog het een en ander te halen voor de band, waar ze met technologie een antwoord op hopen te vinden. “Onze muziek raakt mensen en we zien dat ze vaak blijven plakken om met ons te praten, maar die tijd is beperkt." Het plan is een virtuele omgeving, waar fans via een QR-code bij shows toegang tot krijgen. Hier kunnen ze vragen stellen, emoties of belevingen delen en zo een connectie met de band opbouwen. Gudde hoopt dat deze omgeving gaat helpen om de relatie met fans te versterken, en dat zit juist in de kwalitatieve één-op-één interacties met fans. “Met dit project creëren we een veilige omgeving, waar we een dag of week later alle tijd kunnen nemen voor dat contact. Ik ben altijd erg benieuwd naar wat mensen te vertellen hebben en ik ontvang ook graag nieuwe verhalen. Dat geldt ook voor de rest van de band, en het past ook bij wie we zijn. We hopen dit bij onze najaarstoer als pilot in te zetten en we zijn erg benieuwd wat het ons brengt.”

Voor de realisatie van de interactieomgeving werkt De Toegift samen met augmented reality experts Dutch Rose Media. Sparren over de keuzes in het project, zette Gudde aan het denken: “We hebben de eerste kick-off gehad en het is heel interessant, want je zit met technici die alle mogelijkheden en trends op scherp hebben. Mijn rol als creatief betekent dat ik daar een doel en stijl aan moet geven en dat betekent keuzes maken. Soms ook tegen de trends in. Een voorbeeld is dat zij aangaven dat alles video is tegenwoordig, maar ik koos voor een tekst-gebaseerde interactie. Er kleeft een romantiek aan brieven en het geschreven woord, die past bij De Toegift.” De gitarist is zich er bewust van dat De Toegift hiermee niet kiest voor een toepassing die de meest ‘cutting edge’ mogelijkheden benut, en ziet de veranderingen die komen, maar ook de noodzaak tot maatwerk: “Wij zijn een ander soort band." 

De meeste mensen denken bij virtual reality aan visueel, maar artiest Max Frimout denkt dat dit een beperkte kijk is op wat VR betekent. Geluid vindt hij veel interessanter en hoe dat interacteert met jouw fysieke positionering als luisteraar: “Er zijn allerlei toepassingen die spelen met een virtuele omgeving. Dat kan een loopband die je het gevoel van beweging geeft, maar ook tactiele interactie. Als je geluid vanuit een virtuele ruimte gaat bekijken, dan is er van alles mogelijk. Het ruimtelijke aspect van geluid vind ik heel bijzonder.”

Tijdens Hybrid Music Vibes gaat Frimout het concept van de app Odio verder uitwerken. Odio werd door een team innovators, waaronder Frimout, ontwikkeld voor de AirPods, volgens Frimout één van de beste VR-devices die beschikbaar is. De app stelt de gebruiker in staat om een soort live remix te maken van hoe geluid op hen afkomt. Maar hoe dat nu echt werkt, is ingewikkeld. De muzikant pakt er een oud mengpaneel bij: “Kijk, voorheen was het reproduceren van geluid in stereo helemaal nieuw. Daarvoor had je mono, waarbij het geluid van één punt komt. Maar met stereogeluid ontstaan dus nieuwe manieren om geluidsbeleving in te richten, omdat je twee punten hebt. Ik heb hier een oud stereo mengpaneel, waarmee ik kan aanpassen hoe alle elementen in dat stereogeluid op mij afkomen als luisteraar en in welke balans. Dat is ook het idee met virtueel geluid in de Odio-app, waar de speakers het mogelijk maken om geluid te simuleren uit alle kanten van de ruimte om je heen. Als gebruiker kan jij alle geluidselementen neerzetten in de ruimte om je heen zoals jij wilt.” 

Om het concept van Odio verder te ontwikkelen werkt Frimout samen iOS developer Unbeatable en Odio media. Wat dat betreft is het pionierswerk, waarin veel mogelijk is, maar waar de geluidskunstenaar ook zijn eigen kunstenaarschap uitdaagt: “Voor mijzelf is het fascinerend om te onderzoeken waar geluid naartoe gaat, maar daarin ook mijzelf kunnen te verbreden en verdiepen. Het is heel bijzonder om te componeren voor Odio, omdat we normaal - in wat ik lineaire structuren noem - denken. Maar denk ook aan videogames, waar geluid op basis van de willekeur van een gebruiker gefragmenteerd moet werken. Dat is met virtueel geluid ook. Het zou mooi zijn als ik met Odio uiteindelijk ook live performances kan doen op die manier.”

De app is momenteel al beschikbaar en werd met 150 duizend downloads een groot succes en won zelfs een Apple Design Award. Waarom is Odio zo succesvol? Frimout ziet meerdere verklaringen: “Spelen met geluid intrigeert mensen, iets met zelf controle hebben. Ook zit er een dimensie van personalisatie aan; het geluid inrichten zoals jij dat het prettigst vindt. Maar goed, nu is de app nog een 2d interface, maar binnen het project wil ik kijken wat er nog meer mogelijk is, nu Apple glasses eraan komt. Voor mij is het ook de vraag of virtueel enkel een nieuwe tool blijkt, of echt een gamechanger is in hoe we over muziek maken denken.”

Benieuwd naar het programma Hybrid Music Vibes? Hier vind je meer over het programma en de deelnemende artiesten. Op 18 oktober presenteert RHIANNIN op een gratis toegankelijke avond haar EP Bodyless en haar nieuwe videoclip. Laat je betoveren door haar wereld waarin je gevangen wordt in een web van kunst, muziek en immersieve technologieën.