¿Qué significa multimodal?
Una modalidad es un tipo de dato: texto, imagen, audio, vídeo. Un modelo multimodal recibe o produce varios de ellos directamente — no haciendo que otro programa le describa antes la imagen, sino viéndola él mismo.
Esa diferencia es lo esencial. El planteamiento antiguo encadenaba sistemas separados: un reconocedor de imágenes describía la foto y el modelo de lenguaje recibía la descripción. En cada paso se perdía información, y el modelo de lenguaje solo veía lo que el otro programa había considerado importante.
En un modelo multimodal no existe ese paso de traducción. La imagen y el texto entran en la misma representación interna y el modelo trabaja con las dos a la vez. Por eso puede hacer cosas que la cadena no podía: puedes preguntarle por un detalle minúsculo de la foto, comparar la diferencia entre dos imágenes o preguntarle qué falta en una.
Qué sabe hacer hoy en la práctica
Imagen como entrada — lo más maduro. Fotografías una factura en papel y la recibes en tabla. Le pegas una captura de un mensaje de error y te dice qué pasa. Le das un boceto dibujado a mano y sale HTML. Fotografías un cuadro de mandos, un plano, una nota manuscrita.
Audio como entrada — fiable, pero depende del idioma. La transcripción en inglés es excelente. En idiomas menores es buena, pero conviene revisar después los términos técnicos y los nombres propios. Si hablan varias personas a la vez, separar a los hablantes sigue siendo el punto débil.
Audio como salida — natural, pero no perfecto. La lectura en voz alta ya no suena robótica. La entonación todavía puede descolocarse en frases largas y complejas, y los nombres extranjeros se pronuncian mal a veces.
Vídeo — lo menos maduro. Varios modelos aceptan vídeo como entrada, pero normalmente descomponiéndolo en fotogramas. Eso significa que el movimiento rápido y la acción continua pueden escapársele.
Lo que de verdad importa en el trabajo diario
No que el modelo «vea». Que el tecleo desaparece del proceso.
Hasta ahora, si querías trabajar con un dato impreso en papel, alguien tenía que teclearlo. Ese era el cuello de botella: ni la decisión ni el análisis, sino la introducción de datos. La multimodalidad recorta justo ese paso.
Tres sitios donde esto se traduce en dinero de inmediato:
- Documentos entrantes — factura, albarán, acta: de una foto a datos estructurados.
- Avisos de incidencia — el cliente fotografía el problema en lugar de describirlo.
- Notas tomadas a pie de obra — una grabación de voz en el coche, un acta terminada en la oficina.
Cuatro cosas en las que no es fiable
Conviene conocer los límites, porque se equivoca con aplomo.
Leer con exactitud de una tabla densa. En la foto de una tabla apretada las columnas pueden solaparse, y el modelo escribirá con total seguridad el número equivocado. Comprueba todo aquello con lo que vayas a calcular.
Escritura a mano. Con el texto impreso se maneja bien; con la letra ligada, de forma menos previsible — y no avisa de los fallos.
Relaciones espaciales. «¿Qué hay detrás de la caja de la izquierda?» — este tipo de preguntas las falla a menudo, aunque en la imagen se vea todo.
Contar cosas en la imagen. Cuántas personas hay en la foto, cuántas cajas en la estantería: un punto sorprendentemente flojo. Si el número importa, que no lo cuente el modelo.
A los cuatro casos les vale la misma regla que a todo lo demás: si no reconocerías una respuesta equivocada, no le encargues el trabajo. De eso trata ¿Es la IA adecuada para esta tarea? .
Cómo preguntar bien sobre una imagen
Di qué buscas. «¿Qué hay en esta foto?» te da una descripción general. «¿Cuál es el total y cuál la fecha de pago?» te da lo que necesitas.
Pide un formato. «Devuélvelo en tabla con columnas: concepto, cantidad, base, IVA.» Así el resultado se puede reutilizar.
Dale un asidero. «Esto es un albarán en húngaro; el formato de fecha es AAAA.MM.DD.» Así el modelo no adivina el formato.
Pídele que señale la incertidumbre. «Donde no se lea con claridad, escribe [ilegible] en vez de adivinar.» Esa sola frase atrapa más errores que ninguna otra cosa.
Qué llevarte
La multimodalidad no es útil por vistosa. Es útil porque el papel y la voz se convierten en entrada, sin teclear. Busca en tus procesos el punto en el que hoy alguien teclea porque el dato llega en el formato equivocado — ahí está la ganancia de verdad.