Rytm, zanim poznałem beatbox
Moje muzyczne zainteresowania były bardzo szerokie: techno, dubstep, drum and bass, house i muzyka klasyczna. Zawsze ciągnęło mnie do udawania, że gram na perkusji. Aż po raz pierwszy w życiu zobaczyłem beatbox — i pojawił się sposób, żeby samemu tworzyć rytm i brzmienia głosem.
14 lat beatboxu, RC-505 i tworzenie na PC
Beatboxuję od 14 lat. Jako nastolatek intensywnie ćwiczyłem: wracałem do kolejnych umiejętności, dopracowywałem je i próbowałem nowych technik. Rytm, głos i eksperymentowanie z dźwiękiem stały się dla mnie naturalną częścią tworzenia.
Później przyszły eksperymenty z RC-505, a następnie tworzenie muzyki na PC. Każdy z tych etapów prowadził mnie bliżej układania własnej muzyki i szukania swojego sposobu pracy z dźwiękiem.
Beatbox jako wejście do pracy z modelami
Przez ostatnie 2 lata mocno wciągnęło mnie robienie muzyki z wykorzystaniem AI, a ostatnio szczególnie praca z modelami transformerowymi. Beatbox jest głównym materiałem wejściowym w moim procesie: zaczynam od niego, a potem rozwijam pomysł, łącząc modele, własne techniki i kolejne eksperymenty z dźwiękiem.
To osobny projekt twórczy, w którym łączę muzyczną ciekawość z zainteresowaniem działaniem modeli. Efekty publikuję na kanale MistrzdYoda na YouTube.
Pomysły, które przychodzą podczas treningu
Trening hybrydowy daje mi przestrzeń do myślenia. Podczas biegania i innych treningów często przychodzą mi do głowy pomysły muzyczne. Później wracam do nich i próbuję nadać im formę.
Sport, technologia i muzyka spotykają się więc w praktyce: pomysł pojawia się w ruchu, a praca nad nim prowadzi do eksperymentów z dźwiękiem i modelami.
Różne modele, własne techniki i hybrydy
Pracuję między innymi z HeartMuLa i ACE-Step. Stosuję różne modele i własne techniki, a także tworzę własne hybrydy podejść opartych na tych projektach. Szukam sposobów łączenia ich możliwości przy pracy nad muzyką.
Interesuje mnie zarówno rezultat, jak i sam proces: co daje użycie innego modelu, jak zmienia się wpływ tekstu na dźwięk i które połączenia pomagają rozwinąć muzyczny pomysł.
Czego uczę się o modelach multimodalnych
Tworzenie muzyki pomaga mi poznawać architekturę i zasady działania multimodalnych modeli transformerowych. Uczę się, jak reprezentowane są tekst i dźwięk, jak działa warunkowanie generacji oraz jak poszczególne części systemu współpracują przy tworzeniu muzyki.
HeartMuLa opisuje generowanie muzyki warunkowane tekstem utworu i tagami, z reprezentacją dźwięku obsługiwaną przez osobny kodek. ACE-Step łączy generowanie dyfuzyjne, skompresowaną reprezentację audio i transformer. To różne architektury, które dają mi konkretne punkty odniesienia do nauki i własnych eksperymentów.
Gdzie posłuchać
Muzykę publikuję na youtube.com/@MistrzdYoda. Materiały techniczne modeli, z których korzystam, opisują ich autorzy: HeartMuLa / heartlib oraz ACE-Step.