Los bots permiten que ChatGPT toque el mundo real, cortesía de Ars Technica de Microsoft

La semana pasada, los investigadores de Microsoft Anunciado un marco experimental para controlar robots y drones utilizando las habilidades lingüísticas de ChatGPT, un popular modelo de IA creado por OpenAI. ChatGPT puede escribir comandos en lenguaje natural utilizando un código especial que controla los movimientos del robot. Luego, el humano revisa los resultados y los ajusta según sea necesario hasta que la tarea se complete con éxito.

La investigación llegó en un artículo llamado “ChatGPT para robótica: Principios de diseño y habilidades de modelado.por Sai Vemprala, Rogerio Bonatti, Arthur Bucker y Ashish Kapoor del Grupo de Robótica y Sistemas Autónomos de Microsoft.

dentro de algo vídeo introductorioMicrosoft mostrará robots, aparentemente controlados por código escrito por ChatGPT y siguiendo instrucciones humanas, usando una mano robótica para colocar bloques en el logotipo de Microsoft, volando un dron para inspeccionar el contenido de un estante o buscando objetos usando un robot con visión.

Para conectar ChatGPT con la robótica, los investigadores enseñaron a ChatGPT una API de robótica personalizada. Cuando ChatGPT da instrucciones como “trae la pelota”, uno puede crear un código de control de robótica como escribir un poema o completar un ensayo. Después de que un humano haya verificado y editado el código para verificar su precisión y seguridad, el usuario puede completar la tarea y evaluar su desempeño.

De esta manera, ChatGPT acelera la programación de control de robots, pero no es un sistema independiente. “Hacemos hincapié en que el uso de ChatGPT en robótica no es un proceso completamente automatizado”, dice, “sino que sirve como una herramienta para aumentar la capacidad humana”.

Si bien parece que la mayoría de los comentarios proporcionados a ChatGPT (sobre el éxito o el fracaso de sus acciones) provienen de humanos en forma de texto, los investigadores también afirman haber tenido éxito al introducir datos visuales en ChatGPT. En un ejemplo, los investigadores encargaron a ChatGPT que le dijera al robot que atrapara una pelota de baloncesto usando la retroalimentación de la cámara: “ChatGPT puede estimar la apariencia de la pelota y el cielo en la imagen de la cámara usando código SVG. Este comportamiento sugiere la posibilidad de que LLM siga un modelo implícito del mundo que va más allá de las probabilidades basadas en texto”.

Si bien los resultados parecen rudimentarios hasta el momento, representan los primeros intentos de aplicar la tecnología más avanzada (modelos de lenguaje grande) al control de robots. Según Microsoft, la interfaz ChatGPT podría abrir la robótica a un público mucho más amplio en el futuro.

“Nuestro objetivo con esta investigación es ver si ChatGPT puede pensar más allá del texto y pensar en el mundo físico para ayudar con las tareas de robótica”, lee Microsoft Research. entrada en el blog. “Queremos ayudar a las personas a interactuar con los robots más fácilmente sin tener que aprender lenguajes de programación complejos o los detalles de los sistemas robóticos”.