La demo de “sube una foto y el modelo te dice qué hay” envejeció rápido. Lo interesante de la multimodalidad actual para un dev no es describir imágenes, sino usarlas como entrada estructurada en pipelines donde antes había OCR frágil o trabajo manual.
Casos donde de verdad cambia el trabajo
- Screenshot a código: pasar el pantallazo de un componente y obtener el JSX/HTML aproximado. No sale perfecto, pero arranca el 80% del trabajo tedioso.
- Diagramas a especificación: una foto de una pizarra con cajas y flechas convertida en una descripción textual del flujo o incluso en un esquema.
- Extracción de documentos con layout: facturas, formularios, tablas escaneadas. El modelo entiende la posición, no solo el texto, así que no rompe cuando el layout varía como sí hacía el OCR clásico.
- Debug visual: pasar el screenshot de un bug de renderizado junto al código y preguntar qué CSS lo causa.
Cómo integrarlo sin sorpresas
Las imágenes cuestan tokens, y bastantes: una imagen de alta resolución puede valer lo que varios párrafos. Dos consejos:
- Baja la resolución a lo mínimo legible para tu tarea. El modelo no necesita 4K para leer una factura.
- Sé explícito sobre qué mirar. “Extrae solo la tabla de la esquina inferior” gasta menos atención y acierta más que “analiza esta imagen”.
El límite que sigue ahí
La visión de los LLMs es buena reconociendo y razonando, mala midiendo con precisión. No le pidas coordenadas exactas de píxeles ni conteos finos de elementos densos; ahí falla con confianza. Para lo aproximado y semántico es excelente; para lo métrico y exacto, sigue necesitando una herramienta especializada detrás.
Trátala como un sentido más del modelo, no como un sustituto de tu librería de visión por computador.