Meta ka njoftuar lançimin e një modeli të ri të inteligjencës artificiale të quajtur MusicGen, i cili është në gjendje të gjenerojë këngë muzikore përmes teksteve. Në thelb, operacioni është shumë i ngjashëm me DALL-E, me ndryshimin se sistemi Meta synon tregun muzikor.
MusicGen bazohet në një model Transformer dhe është në gjendje të rreshtojë kërkesat e tekstit edhe në meloditë ekzistuese. Ekipi i studiuesve përdori mbi 20,000 orë muzikë të licencuar për të trajnuar modelin, dhe në veçanti ata u mbështetën në një grup të dhënash të brendshme prej 10,000 këngë muzikore me cilësi të lartë, si dhe të dhëna nga Shutterstock dhe Pond5.
E veçanta e MusicGen është se ai mund të trajtojë kërkesat e tekstit dhe muzikën. Me tekst, përdoruesit mund të vendosin stilin bazë që do të aplikohet në skedarin audio. Në shembull, ne flasim për një “pushë të lehtë dhe optimiste EDM me bateri të sinkopuar, jastëkë të ajrosur dhe emocione të forta. Rhythm: 130 BPM”, bazuar në “Toccata and Fuga in D minor” të Bach (BWV 565). Rezultati është ajo që mund të dëgjohet drejtpërdrejt përmes kësaj adrese.
Kodi dhe modeli me burim të hapur MusicGen disponohen drejtpërdrejt në Github. Meta ju jep gjithashtu mundësinë për të aksesuar një demo të modelit direkt në Hugging Face.
Discussion about this post