Press "Enter" to skip to content
Início » Música » Uma IA que reproduz música assistindo vídeos em silêncio do piano

Uma IA que reproduz música assistindo vídeos em silêncio do piano

Compartilhe

Ser um músico profissional não é para qualquer um. É preciso ter disciplina, persistência, respeitar centenas de horas de estudo e muita dedicação. Ler partitura até que é fácil, mas coordenar as notas musicais com o canto ou o instrumento em execução é uma arte dentro da arte.

Sempre admirei aquelas pessoas que tocam piano, por entender que a execução de tal instrumento só pertence aos muito criativos, ou aqueles que conseguem trabalhar de forma plena com os dois lados do cérebro. Porém, com a tecnologia avançando o tempo todo, não podemos mais dizer que tal atividade está restrita aos humanos.

Agora, até mesmo uma inteligência artificial bem treinada pode reproduzir digitalmente qualquer som de um piano de forma bem realista. E para realizar tal reprodução, nem precisa ouvir o som do instrumento: basta que a IA assista a um vídeo silencioso do piano em ação.

 

 

 

Aprendendo piano sem precisar ouvir o som do instrumento

 

Esse foi o resultado de um estudo realizado por um time de investigadores da Universidade de Washington, que criaram a inteligência chamada Audeo. Sua peculiaridade é incorporar uma espécie de software inteligente que foi previamente treinado com 172 mil pedaços de vídeos do pianista Paul Barton tocando música de compositores clássicos históricos e mundialmente famosos, como são os casos de Mozart e Bach.

O grande diferencial da Audeo é que ela não ouviu o som do piano em execução. Ela analisou o vídeo do instrumento que funcionava em modo silencioso e, dessa forma, a IA foi capaz de determinar com precisão quais eram as teclas que estavam sendo acionadas pelo pianista, a ordem desse acionamento e, assim, determinando quais eram as notas tocadas.

A IA também era capaz de determinar com a simples observação a intensidade do acionamento das notas (mais forte ou mais fraca) e quanto tempo elas se mantinham pressionadas, calculando a intensidade de cada nota durante a melodia e o tempo em que o som dessa nota durava dentro da música, identificando também quais eram as próximas notas que poderiam se encaixar na melodia para completar a música.

De quebra, a IA também levava em consideração as diferentes características acústicas dos pianos que apareceram nos vídeos, para dessa forma reproduzir o som que era o mais aproximado possível do piano em questão.

Depois de analisar todas as imagens em exibição e considerar todas as variáveis, os dados eram convertidos em um formato que só poderia ser interpretado por um sintetizador digital, que reproduzia o arquivo de música com resultados sonoros muito próximos ao da música executada pelo piano original. Isso mostra como esta tecnologia foi bem desenvolvida e bem avançada para esse propósito.

O resultado é surpreendente, e tal IA pode ser utilizada no futuro em projetos de reconhecimento de música, como é o caso do SoundHound, que pode reconhecer a peça musical com uma precisão de aproximadamente 86%. Essa nova tecnologia conseguiu reconhecer 93% do áudio da obra original, o que é um resultado muito promissor para um recurso que ainda está em estudo.


Compartilhe
@oEduardoMoreira