Intel Labs, la empresa pública de investigación de Intel, ha realizado una investigación con el juego Grand Theft Auto V (GTA V) con el objetivo de mejorar el realismo en imágenes sintéticas a través de aprendizaje automático, con el que ha conseguido un mayor efecto fotorrealista que con otros métodos utilizados hasta ahora.
Los resultados de la investigación se han compartido en el artículo 'Enhancing Photorealism Enhancement' ('Mejorando el fotorrealismo', en español), en github, y en él han trabajado los investigadores de Intel Labs Stephan Richter, Hassan Abu Al Haija y VladlenKoltun.
El proyecto de aprendizaje automático se basa en el videojuego GTA V, y utiliza colecciones de imágenes reales de ciudades como las de Cityscapes, KITTI y Mapillary Vistas para mejorar el fotorrealismo de las imágenes renderizadas.
Los investigadores han aprovechado la técnica de renderizado conocida como 'sombreado diferido' para obtener información sobre estructuras geométricas, materiales e iluminación recogidos en los búferes intermedios (G-buffers) -que produce el motor del juego durante el proceso de renderizado-, y consideran que gracias a ello "se pueden lograr mejoras sustanciales incluso si solo está disponible un subconjunto de los búferes".
El resultado es que en las imágenes finales en movimiento consiguen añadir brillo y reflejos a los coches, hacer más frondosas las colinas verdes y resecas y reconstruir carreteras en el contexto de experimentos controlados.
Así, la investigación confirma que el aprendizaje automático genera mayor "estabilidad y realismo en comparación con los métodos recientes de traducción de imagen a imagen y una variedad de otras líneas base".
Las imágenes también mejoran gracias a una red convolucional -un tipo de red neuronal- que "aprovecha las representaciones intermedias producidas por fuentes de renderizado convencionales", según detallan en el artículo académico.
