A equipe da Meta desenvolveu o AudioCraft, um conjunto de modelos de inteligência artificial (IA) generativa focados em áudio. Essa tecnologia inovadora permite a geração de áudio e música realista de alta qualidade a partir de entradas de texto. Os três modelos principais são o MusicGen, o AudioGen e o EnCodec. O MusicGen cria música a partir de descrições de texto, enquanto o AudioGen gera efeitos sonoros e sons ambientais. O EnCodec é responsável por decodificar o áudio gerado com maior qualidade.
Esses modelos foram projetados para simplificar a geração de áudio e música de alta qualidade a partir de entradas de texto. O AudioCraft facilita a criação de geradores de som e algoritmos de compressão mais avançados no mesmo ambiente. Além disso, a equipe da Meta se compromete com a transparência e responsabilidade em sua pesquisa, e a tecnologia está disponível para a comunidade de pesquisadores sob a forma de código aberto open-source. Eles reconhecem a falta de diversidade nos conjuntos de dados utilizados e buscam reduzir possíveis viés e uso indevido desses modelos.
O processo envolve a aprendizagem de “tokens” discretos de áudio a partir dos sinais de áudio brutos usando o codificador neural de áudio EnCodec. Isso cria uma “vocabulário” fixo para amostras de música. Em seguida, modelos de linguagem autoregressivos são treinados nesses “tokens” para gerar novos sons e músicas.
O objetivo é simplificar a geração de áudio, permitindo que tanto profissionais quanto amadores possam utilizar essa tecnologia para criar composições, efeitos sonoros e muito mais.
No futuro, a IA generativa como o AudioCraft poderá acelerar o processo de iteração em várias indústrias, permitindo feedback mais rápido durante as fases de prototipagem e criação. O AudioCraft é uma evolução significativa na pesquisa de IA generativa no campo de áudio e música, e a equipe da Meta diz que está ansiosa para ver as criações que surgirão a partir dessa tecnologia.
Ficou muito bacana e você pode testar o modelo open-source aqui: https://huggingface.co/spaces/facebook/MusicGen
Para mais detalhes e informações, você pode ler o artigo completo aqui: https://ai.meta.com/blog/audiocraft-musicgen-audiogen-encodec-generative-ai-audio/