¿Pueden los modelos de inteligencia artificial ayudar a navegar por áreas (calles) en las que nunca antes han sido entrenados o para las cuales no han recibido suficientes datos de entrenamiento? Eso es lo que preocupa a los científicos del equipo de desarrollo de inteligencia artificial DeepMind. Y después de muchos años de incubación, los científicos finalmente lograron el éxito en un proyecto de investigación llamado: "Cross-View Policy Learning for Street Navigation", revelado recientemente en un artículo publicado en Arxiv.org.
En esta investigación, los científicos de DeepMind describen el desarrollo de una política de IA entrenada a partir de un rico almacén de datos con muchos ángulos (principalmente imágenes tomadas de arriba a abajo), dirigidas a diferentes áreas de la ciudad, para una eficiencia de observación más óptima. Los investigadores creen que este enfoque conduciría a mejores resultados de generalización.

En esencia, esta investigación se inspira en el hecho de que las personas pueden adaptarse rápidamente al diseño y la estructura básica de una nueva ciudad examinando cuidadosamente el mapa de esa ciudad muchas veces.
“La capacidad de navegar a partir de observaciones visuales en entornos desconocidos es un componente central en el estudio de la capacidad de los modelos de IA para aprender a navegar. La capacidad de los modelos de IA para navegar por las calles en los casos en los que faltan datos de entrenamiento ha sido hasta ahora relativamente limitada, y confiar en modelos de simulación no es una solución que pueda ser efectiva a largo plazo. Nuestra idea central es combinar la vista terrestre con la vista aérea y explorar políticas comunes que puedan permitir el cambio entre vistas”, dijo un representante del equipo de investigación.
Más concretamente, el primer paso que tendrán que dar los investigadores será recopilar mapas aéreos de la zona por la que pretenden navegar (combinados con modos de observación de calles basados en coordenadas geográficas correspondientes). A continuación, se embarcaron en una misión de teletransportación de tres partes, comenzando con entrenamiento sobre los datos y ajustando el área de origen mediante observaciones aéreas del área, y terminando con el movimiento al área objetivo mediante observaciones terrestres.
El sistema de aprendizaje automático del equipo de investigación contiene un conjunto de 3 módulos separados, que incluyen:
- Módulo convolucional, responsable de la percepción visual.
- El módulo de memoria a corto plazo (LSTM) es responsable de recuperar características específicas de la ubicación.
- El módulo neuronal recurrente de políticas ayuda a crear divisiones a través de acciones.
Este modelo de aprendizaje automático se implementó en StreetAir, un entorno callejero al aire libre con múltiples perspectivas, construido sobre StreetLearn. (StreetLearn es la primera colección interactiva de fotografías panorámicas extraídas de Google Street View y Google Maps).

En StreetAir y StreetLearn, las imágenes aéreas que contienen vistas panorámicas de la ciudad de Nueva York (incluidos el centro de Nueva York y Midtown NYC) y Pittsburgh (campus de Allegheny College y Carnegie Mellon University) están organizadas de manera que en cada latitud, grados y longitudes de coordenadas, el entorno vuelve a ser aéreo. imágenes en un tamaño de 84 x 84, el mismo tamaño que las imágenes desde el suelo.
El sistema de inteligencia artificial, después de recibir capacitación, tendrá la tarea de aprender a localizar y navegar en un gráfico de imágenes panorámicas de Street View con las coordenadas de longitud y latitud del destino.
Los panoramas cubren áreas de 2 a 5 km de lado, a unos 10 m de distancia, y los vehículos (controlados por IA) podrán realizar 1 de 5 acciones por turno: avanzar, girar a la izquierda o a la derecha 22,5 grados o girar a la izquierda o a la derecha 67,5. grados.
Al acercarse a la ubicación objetivo dentro de 100 a 200 metros, estos vehículos recibirán "recompensas" para alentarlos a identificar y pasar las intersecciones de manera rápida y precisa.

En experimentos, los vehículos que aprovecharon imágenes aéreas para adaptarse a nuevos entornos lograron métricas de recompensa de 190 a 100 millones de pasos y 280 a 200 millones de pasos, ambas significativamente más altas en comparación con los vehículos que utilizan solo datos de observación terrestre (50 a 100 millones de pasos y 200 a 200 millones de pasos). millones de pasos). Según los investigadores, los resultados mostraron que su método mejora significativamente la capacidad de los vehículos para adquirir conocimientos de forma más eficaz sobre múltiples áreas de la ciudad objetivo.