Robots, PacMan y las leyes del aprendizaje

Robots, PacMan y las Leyes del Aprendizaje

🌐 Cambiar Idioma

• 🇬🇧 English

🎮 Juegos de Robot

Mostrar animación original

La imagen muestra un robot jugando al PacMan

1) Introducción

Supongamos que estamos aprendiendo una nueva habilidad, por ejemplo jugar al tenis. Podríamos plantearnos diversas preguntas:

• ¿Sería mejor entrenar directamente en una cancha al aire libre, con viento, ruido y cambios de luz?
• ¿O sería más efectivo empezar en un ambiente controlado, como una cancha cubierta, sin distracciones?

La intuición nos dice que entrenar en condiciones lo más similares a la competencia real debería darnos mejores resultados. Pero, ¿y si no fuera así?

Isaac Asimov revolucionó la ciencia ficción con su concepto de robots positrónicos, dotados de inteligencia avanzada y regulados por sus famosas Tres Leyes de la Robótica. Estas leyes, diseñadas para garantizar la seguridad y funcionalidad de los robots, establecían que:

1. Primera Ley:
   Un robot no puede dañar a un ser humano ni, por inacción, permitir que un ser humano sufra daño.

2. Segunda Ley:
   Un robot debe obedecer las órdenes dadas por los seres humanos, excepto si estas órdenes entran en conflicto con la Primera Ley.

3. Tercera Ley:
   Un robot debe proteger su propia existencia en la medida en que esta protección no entre en conflicto con la Primera o la Segunda Ley.

¿Cómo serían las leyes de aprendizaje eficiente para un robot?

2) Un Descubrimiento Sorprendente en Aprendizaje de Robots

Un reciente estudio en aprendizaje por refuerzo, titulado The Indoor-Training Effect: Unexpected Gains from Distribution Shifts in the Transition Function, cuyo objetivo es mejorar el entrenamiento en robots, ha encontrado un resultado sorprendente: en algunos casos, entrenar en un entorno más limpio y estructurado puede llevar a un mejor rendimiento en condiciones difíciles.

Este hallazgo, llamado el Indoor-Training Effect (ITE), desafía la idea convencional de que el mejor entrenamiento es aquel que se asemeja exactamente al entorno donde se aplicará el conocimiento.

3) El Descubrimiento en Inteligencia Artificial

Este trabajo de investigación analizó cómo los agentes de IA aprenden en diferentes entornos mediante juegos clásicos de ATARI (PacMan, Pong y Breakout). Se compararon dos tipos de agentes:

• Learnability Agent (Lδ): entrenado y probado en el mismo entorno ruidoso.
• Generalization Agent (GT): entrenado en un entorno sin ruido y probado en un entorno con ruido.

Contra toda expectativa, el Generalization Agent superó al Learnability Agent en muchas pruebas. Es decir, entrenar en un ambiente más limpio permitió a los agentes desempeñarse mejor en entornos más complejos. El Indoor-Training Effect sugiere que empezar en un ambiente controlado puede mejorar la capacidad de adaptación a escenarios desafiantes, en lugar de simplemente acostumbrarse al ruido del entorno final.

La Fase 2: Juegos Utilizados en el Estudio

Este trabajo de investigación analizó cómo los agentes de inteligencia artificial aprenden mediante juegos clásicos de ATARI: PacMan, Pong y Breakout.

Juegos y Reglas Aplicadas

Los investigadores seleccionaron estos juegos debido a sus dinámicas de acción rápida y la necesidad de planificación estratégica. Por ejemplo, en PacMan, cuyo objetivo es comer todos los puntos sin ser atrapado por los fantasmas, las modificaciones en el ruido fueron alteraciones en la velocidad y trayectoria de los fantasmas.

La siguiente imagen, obtenida de la investigación, muestra el entrenamiento en PacMan
Fuente: The Indoor-Training Effect

El siguiente diagrama muestra las tres fases con que se estructuró el experimento:

1. Creación de entornos
2. Entrenamiento
3. Evaluación

Estas fases se utilizaron para probar esta metodología.

Fuente: Elaboración propia

4) Paralelos con el Aprendizaje Humano

Este fenómeno en inteligencia artificial recuerda un patrón que ocurre en la neurociencia del aprendizaje humano. A lo largo de la evolución, los organismos han desarrollado mecanismos que les permiten aprender de manera estructurada primero y luego generalizar a entornos más complejos.

Por ejemplo, un tenista principiante primero practica en una cancha cerrada, con una máquina que lanza bolas de manera predecible. Solo después de dominar la técnica en ese entorno, se enfrenta a un rival, a cambios en el viento y a la presión de un partido real. Este método ayuda al cerebro a solidificar patrones de movimiento antes de enfrentarse a la variabilidad del mundo real.

5) Reflexión Final y las Leyes de los Robots

En el desarrollo de robots e inteligencia artificial, se ha asumido durante mucho tiempo que entrenar en entornos que imitan exactamente las condiciones del mundo real es la mejor estrategia. Sin embargo, el Indoor-Training Effect (ITE) desafía esta creencia, sugiriendo que entrenar primero en un ambiente limpio y estructurado puede llevar a un mejor rendimiento en condiciones difíciles.

De la misma forma que en los robots, el Indoor-Training Effect sugiere que entrenar paradójicamente primero en un ambiente limpio y estructurado puede llevar a un mejor rendimiento en condiciones difíciles, con un claro paralelismo en la educación humana.

En el caso de los robots, uno podría pensar en tres leyes del aprendizaje, paralelas a las leyes de Asimov:

1. Primera Ley del Aprendizaje
   Un robot debe aprender primero en un entorno estructurado y controlado antes de enfrentar la complejidad del mundo real, salvo que ello impida su capacidad de adaptación.

2. Segunda Ley del Aprendizaje
   Un robot debe ser expuesto progresivamente a la incertidumbre y al ruido del entorno, siempre que esto no comprometa los conocimientos adquiridos en la fase inicial de entrenamiento.

3. Tercera Ley del Aprendizaje
   Un robot debe ser capaz de adaptarse a condiciones inesperadas, siempre que esto no implique desaprender lo aprendido en la fase inicial ni generar errores sistemáticos en su desempeño.

Incluso uno podría imaginar, como Asimov, una Ley Cero del Aprendizaje aplicada al robot:

• 0️⃣ Ley Cero del Aprendizaje
  El aprendizaje de un robot debe optimizar su desempeño en el mundo real, incluso si ello requiere modificar las reglas anteriores.

6) Referencias

• The Indoor-Training Effect: Unexpected Gains from Distribution Shifts in the Transition Function
  Ver Referencia

• Make It Stick: The Science of Successful Learning por Brown, Roediger & McDaniel (2014)
  Ver Referencia