Janus-Pro y la inteligencia artificial multimodal

English Version

Imagen generada por Janus-Pro

Imagen generada por medio de Janus-Pro

1. Introducción

El objetivo de esta nota es analizar el nuevo modelo generador de imágenes, su arquitectura, comparándola con los modelos de difusión.

1.1 ¿Qué es Janus-Pro?

Janus-Pro es un modelo multimodal avanzado desarrollado por DeepSeek-AI, diseñado para integrar y optimizar las capacidades de comprensión y generación de imágenes y texto en un solo marco arquitectónico. Es una evolución directa de su predecesor, Janus, con mejoras significativas en rendimiento, escalabilidad y estabilidad.

2. ¿Cómo Funciona Janus-Pro?

2.1 Arquitectura desacoplada

Los modelos multimodales son sistemas de inteligencia artificial capaces de procesar y combinar múltiples tipos de datos o "modalidades", como texto, imágenes, audio y video, en un mismo modelo.

Janus-Pro se basa en un diseño que resuelve uno de los problemas principales de los modelos multimodales: la interacción entre las tareas de comprensión y generación visual. Este problema surge porque estas tareas requieren representaciones diferentes de la misma entrada (imágenes o texto). Para abordarlo, Janus-Pro introduce una arquitectura desacoplada formada por los componentes siguientes:

A. Codificadores separados:

• Codificador de comprensión: Diseñado específicamente para extraer información semántica de imágenes. Esto incluye identificar objetos, relaciones y patrones dentro de la imagen. Por ejemplo, analizar una imagen para responder preguntas como: "¿Cuántos árboles hay en esta foto?".

• Codificador de generación: Convierte las imágenes en una secuencia de tokens discretos (IDs visuales), lo que facilita su manejo por el modelo de lenguaje. Esto es crucial para generar imágenes basadas en descripciones textuales.

Luego de la comprensión y la generación viene la etapa del transformador:

B. Transformador autorregresivo unificado:

• Ambos tipos de representaciones (textuales y visuales) son procesados por un transformador autorregresivo común, lo que permite una interacción fluida entre texto e imágenes.

• Este transformador:

  • Integra y alinea texto e imágenes en una sola representación.
  • Predice salidas en secuencia, ya sea un texto o una imagen, garantizando coherencia semántica.

2.2 Proceso de generación

El proceso de generación en Janus-Pro está optimizado para traducir texto en imágenes de alta calidad, siguiendo un flujo paso a paso:

1. Conversión del texto en tokens
2. Traducción a características visuales

Ventajas del enfoque

• Precisión semántica: Gracias a los codificadores separados, Janus-Pro entiende mejor los detalles en descripciones textuales y los traduce con mayor fidelidad a imágenes.
• Estabilidad y calidad: La mezcla de datos reales y sintéticos mejora la consistencia y la estética de las imágenes generadas.
• Versatilidad: El uso de tokens visuales permite a Janus-Pro manejar prompts complejos y generar imágenes coherentes incluso con descripciones cortas.

Ejemplo de Arquitectura

La figura representa cómo Janus-Pro maneja dos tareas diferentes: por un lado la comprensión Multimodal (lado izquierdo, azul) y por otro la generación de Imágenes (lado derecho, amarillo). Ambas tareas están conectadas a un transformador autorregresivo unificado, que actúa como el núcleo del modelo, procesando texto e imágenes de manera fluida.
Fuente: Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling

3. ¿Qué es difusión y por qué Janus-Pro no la utiliza?

Los modelos de difusión son un enfoque popular en la generación de imágenes, que funciona eliminando gradualmente el ruido de una imagen hasta generar una visualización coherente. Es como comenzar con un lienzo completamente borroso y mejorar poco a poco los detalles en múltiples pasos. Ejemplos notables incluyen Stable Diffusion y DALL-E.

Sin embargo, Janus-Pro no utiliza este método. En lugar de ello, emplea un transformador autorregresivo, que genera imágenes token por token de manera secuencial, en un flujo unificado que combina texto e imágenes. Este enfoque reduce la necesidad de múltiples iteraciones (características de la difusión), siendo más eficiente y ligero para ciertas tareas.

Tabla comparativa: Modelos de Difusión vs. Janus-Pro

Fuente: Elaboración propia

Conclusión
Se puede observar que si bien los modelos de difusión son potentes para la generación de imágenes de alta resolución y calidad artística, el enfoque basado en transformadores autorregresivos de Janus-Pro logra resultados notables, es ligero y mejor adaptado para combinar tareas de comprensión y generación. Esto lo convierte en una solución ideal para aplicaciones prácticas multimodales.

Referencias

• Janus-Series
• Paper