AI da Nvidia transforma fotos em 3D em um piscar de olhos

Entre os entusiastas da tecnologia gráfica e os mágicos da Nvidia, é uma história de amor que já dura muitos anos e é constantemente mantida por grandes performances artísticas. E a equipe verde fez isso novamente com uma nova prova de conceito bastante surpreendente: Instant NeRF, um sistema capaz de transformar um punhado de imagens em renderizações 3D realistas em questão de segundos.

A ideia básica não é nova. Há anos, especialistas tentam converter imagens 2D em espaço 3D, com resultados altamente contrastantes. As pessoas mais velhas lutam para produzir imagens reconhecíveis. Mas o mais recente, baseado em uma tecnologia chamada NeRF, já é capaz de renderizar transformações 3D visualmente aceitáveis, mesmo em altíssima qualidade.

Por outro lado, mesmo os mais avançados sofrem de dois problemas muitas vezes caros. A primeira, como costuma acontecer em projetos relacionados à inteligência artificial, é o tempo de computação; Estes são geralmente algoritmos muito pesados ​​que podem fazer isso Leva muito tempo Para processar algumas fotos.

Um truque de computador mágico em um piscar de olhos

A outra preocupação são os ângulos disponíveis. Com os sistemas da velha escola, é difícil obter um resultado limpo de todos os ângulos, a menos que você use centenas ou mesmo milhares de imagens para a reconstrução 3D. Caso contrário, acabamos com Artefatos visuais, como desfoque ou distorção do produto final (Veja o vídeo acima).
Em suma, esta tecnologia existe, mas é um tema Um compromisso permanente entre qualidade e tempo de processamento; Os melhores sistemas de hoje são capazes de produzir qualidade muito alta em questão de minutos, mas ainda leva horas para treinar o modelo a montante.

Mas com o Instant NeRF, a NVIDIA promete extrair o melhor dos dois mundos para fornecer renderização 3D ultraprecisa a partir de apenas algumas dezenas de imagens e, acima de tudo, com desempenho até 1.000 vezes maior do que os melhores sistemas de hoje – ambos”alguns centésimos de segundo“!

Para alcançar esse desempenho incrível, a Nvidia desenvolveu uma tecnologia chamada “Codificação de rede hash de precisão múltiplaA empresa fornece poucos detalhes de seu trabalho, mas sabe-se que esse conceito produz várias pequenas sub-redes neurais, cada uma significativamente mais rápida para treinar do que uma única rede massiva.

Aplicações potenciais em todos os setores

A prova de conceito é realmente impressionante, mas o mais interessante é que ela tem muitas perspectivas futuras muito tangíveis. Por exemplo, o próximo passo provavelmente será a transferência de velocidade, ou seja, converter imagens não em simples renderizações 3D, mas em objetos digitais reais em 3 dimensões que os profissionais podem manipular.

O comunicado de imprensa afirma, por exemplo, que um sistema como o Instant NeRF pode ser usado na arquitetura ou no mundo do entretenimento. Ele pode então ser usado para criar conteúdo rapidamente; Algumas fotos de um monumento histórico, e um homossexual, aqui ele está embutido em um jogo ou filme em duas etapas, três lances!

O prompt do NeRF pode encontrar aplicativos funcionais. Pensa-se em particular na condução autónoma; De fato, existem muitas máquinas, como carros, drones ou até máquinas industriais, cujo grau de autonomia e confiabilidade depende diretamente de sua capacidade de converter imagens 2D em uma representação 3D de seu ambiente. Você não pode parar o progresso!