Sony utiliza inteligência artificial para sincronização labial em animes

A Sony divulgou em seu relatório corporativo que desenvolveu um mecanismo de sincronização labial automática para animes, utilizando aprendizado de máquina, um subconjunto da inteligência artificial. A tecnologia está em uso desde 2021 e já foi aplicada em quatro produções, sendo a mais recente o filme Uta no Prince-sama: TABOO NIGHT XXXX, lançado em maio deste ano no Japão. O relatório, que cobre o período de abril de 2024 a março de 2025, foi publicado em 12 de setembro.

Segundo a IBM, aprendizado de máquina é o subconjunto da IA focado em algoritmos que aprendem padrões em dados de treinamento e podem fazer inferências sobre novos dados, permitindo decisões ou previsões sem instruções codificadas explicitamente.

Em março deste ano, a Tech4Gamers informou sobre um pedido de patente da Sony, registrado em agosto de 2023 no Japão (nº 2025-046683), possivelmente relacionado à mesma tecnologia. O sistema descrito na patente utiliza arquivos de áudio ou texto e suas versões traduzidas, decompõe fonemas em movimentos labiais correspondentes e calcula a similaridade entre diferentes traduções e os movimentos originais. Segundo a empresa, isso pode reduzir o desconforto de espectadores em obras traduzidas, auxiliando os animadores a ajustar os movimentos labiais.

No relatório, a Sony afirma que vê a inteligência artificial como um apoio à criatividade. A empresa destaca que busca incentivar seus funcionários a utilizarem a tecnologia de forma responsável, considerando questões como direitos autorais, privacidade e ética. Além disso, a companhia menciona que vem explorando o uso de IA generativa para aumentar a produtividade e fornecer pontos de partida para processos criativos.

Além da sincronização labial, a Sony desenvolve tecnologias de inteligência artificial aplicadas à coloração de animes, em parceria com os estúdios A-1 Pictures e CloverWorks, da Aniplex. Outras produtoras japonesas também estudam aplicações semelhantes: a OLM Digital vê a IA generativa como uma ferramenta de apoio, enquanto a Toei Animation planeja expandir seu uso em coloração, storyboards, interpolação e criação de cenários.