Nowe narzędzie Google generuje muzykę z opisu tekstowego

Zespół naukowców Google zaprezentował swoje kolejne dzieło związane ze sztuczną inteligencją – narzędzie o nazwie MusicLM, które jest w stanie, jak sama nazwa wskazuje, tworzyć pełnoprawne utwory muzyczne na podstawie poleceń użytkownika.

MusicLM pozwala generować muzykę opartą o dzieła sztuki (i nie tylko)

MusicLM działa na dwa sposoby. Pierwszy, najbardziej oczywisty, pozwala wygenerować muzykę na podstawie opisu zawierającego informacje o gatunku, konkretnych instrumentach czy motywach.

Drugi pozwala stworzyć dźwięk na przykład na podstawie… opisu obrazu. W tym przypadku wskazujemy botowi, co jest widoczne na obrazie i jakie emocje się z tym wiążą, a on tworzy pasującą kompozycję.

Na stronie projektu można odsłuchać chociażby kompozycje stworzone na podstawie obrazu “Napoleon przekraczający Przełęcz Świętego Bernarda” Jacques’a-Louisa Davida czy “Tańca” Matissa. Jak dobrze oddają one klimat tych dzieł sztuki, każdy musi odpowiedzieć sobie sam.

Trzeba podkreślić, że MusicLM nie jest pierwszym tego typu narzędziem, natomiast naukowcy Google wskazują, że “MusicLM przewyższa poprzednie systemy zarówno pod względem jakości dźwięku, jak i zgodności z opisem tekstowym”.

O co chodzi z tymi wszystkim narzędziami AI?

Można się zastanawiać, z czego wynika fakt, że nagle zaczęły pojawiać się, jedno po drugim, różnego typu zaawansowane generatory treści. Chociażby ostatnio Google pochwaliło się narzędziem, które pozwala naśladować czyjś głos na podstawie 3-sekundowego klipu.

Inwestor Haomiao Huang uzasadnia nagły wysyp oprogramowania związanego ze sztuczną inteligencją tak:

Podsumowując, przełom w generatywnych modelach obrazu jest połączeniem dwóch postępów w AI. Po pierwsze, głębokie uczenie umożliwia nauczenie się „języka” do reprezentowania obrazów za pomocą ukrytych reprezentacji.

Po drugie, modele mogą wykorzystywać zdolność „translacji” transformatorów za pośrednictwem modelu podstawowego do przechodzenia między światem tekstu a światem obrazów (poprzez tę ukrytą reprezentację).

Mówiąc po ludzku, udało się doprowadzić AI do takiego poziomu, że można szybko i skutecznie tworzyć nowe rozwiązania, korzystając z tej samej podstawy. Sztuczna inteligencja nauczyła się “tłumaczyć” różne języki – nie chodzi tutaj o np. angielski i polski, a język tekstu, język obrazu, dźwięku, DNA, programowania i nie tylko. Co więcej, modele AI nie potrzebują już do działania tak ogromnych mocy obliczeniowych, jak swego czasu, więc łatwiej jest z nimi pracować.

Co o tym wszystkim sądzicie? Chcielibyście sami wypróbować MusicLM? Dajcie koniecznie znać w komentarzach!