CLIP · BLIP · Grounding DINO · VLM (Qwen)

Los modelos fundacionales multimodales combinan visión y lenguaje: entienden instrucciones escritas, describen imágenes, detectan objetos a partir de una descripción y razonan sobre lo que ven.

La capacidad zero-shot significa que el modelo puede resolver tareas nuevas sin entrenamiento específico para ellas. Lo que lo hace posible es la composicionalidad: el modelo aprende conceptos atómicos («perro», «rojo», «corriendo») y los combina libremente.

Ejemplo práctico: el modelo solo ha visto nutria, orangután y león. En una imagen nueva, foca y gato (nunca vistos) se proyectan en el espacio semántico cerca de los conceptos aprendidos (foca ≈ nutria, gato ≈ león). Así reconoce clases nuevas sin reentrenar: añadir una categoría es escribirla, con un coste de anotación casi nulo.

Impacto en producción

CLIP relaciona imágenes y texto mediante un entrenamiento contrastivo (contrastive learning) y luego aplica ese conocimiento para tareas como la clasificación zero-shot.

1. Imagen a vector

   La imagen se convierte en un vector (embedding) con el Image Encoder.

2. Textos a vectores

   Los textos de las posibles clases se convierten en vectores con el Text Encoder.

3. Cálculo de similitud

   Se calcula la similitud entre el vector de la imagen y cada vector de texto.

4. Predicción

   La clase con mayor similitud es la predicción final del modelo.

Para qué sirve esto en la práctica: es el motor de la búsqueda por texto en un catálogo de imágenes, de la deduplicación («¿tengo ya esta foto?») y del primer filtro de moderación. En los tres casos se codifica una vez, se guardan los vectores y luego cada consulta es un producto escalar.

Entrenamiento contrastivo a gran escala (400M de pares imagen-texto).

1. La entrada: arquitectura de dos torres

   CLIP utiliza dos codificadores independientes que trabajan en paralelo, proyectando la información a un espacio compartido. El Image Encoder (Vision Transformer o ResNet) convierte la imagen en un vector numérico (embedding). El Text Encoder (un Transformer) convierte la descripción textual en otro vector numérico.

2. El proceso: la matriz de N × N

   El modelo recibe un lote (batch) de N imágenes y sus N textos correspondientes, creando una matriz de N × N posibles parejas. En un lote de 32.768 pares, el tamaño que usó CLIP, hay 32.768 parejas correctas y más de mil millones de combinaciones incorrectas.

3. El objetivo: maximizar la diagonal

   El modelo se entrena con una única regla simple (Contrastive Loss):

   • Aumentar la similitud (producto escalar) de los pares correctos (en la diagonal).
   • Disminuir la similitud de todas las combinaciones incorrectas (fuera de la diagonal).

Ojo con el nombre. Aquí DINO es un detector de la familia DETR (Zhang et al., 2022). No tiene nada que ver con el DINO autosupervisado del tema 4, que aprende representaciones sin etiquetas: solo coinciden en el nombre.

Capacidades avanzadas

Grounding DINO procesa el texto y la imagen por separado y luego los fusiona, para que el texto decida qué buscar.

1. Codificación de texto

   El prompt textual («coche rojo y persona») se transforma en features lingüísticas ricas en significado a través de un modelo BERT.

2. Codificación de imagen

   La imagen de entrada es procesada por un Swin Transformer para extraer features visuales de alta resolución.

3. Fusión de características

   Mediante atención cruzada intermodal, las features de texto guían la interpretación visual, alineando el lenguaje con las regiones espaciales relevantes de la imagen.

4. Cabeza de detección

   Un decoder Transformer usa estas features fusionadas para predecir las bounding boxes y las clases de los objetos a partir del prompt.

Trade-off: los VLM son mucho más pesados y lentos que CLIP o BLIP; para tareas simples bastan CLIP o Grounding DINO. En el cuaderno se usa Qwen3.5-2B, con 4,55 GB de descarga frente a los 7,51 GB de Qwen2.5-VL-3B.

Cada familia de modelos espera un tipo de prompt distinto.

En inglés. CLIP y Grounding DINO aprendieron con textos en inglés. Los ejemplos están traducidos para leerlos mejor, pero en el código van en inglés: «person with helmet . person without helmet». Qwen sí entiende castellano.

Estos modelos se equivocan con mucha seguridad. Estas son las formas habituales de fallar.

Alucinaciones: los modelos generativos pueden inventar detalles que no existen en la imagen. Especialmente común en VLM cuando preguntas sobre aspectos ambiguos.

Sesgos: los datos de entrenamiento contienen sesgos sociales y culturales que se reflejan en las predicciones. Valida siempre con datos representativos de tu población objetivo.

Prompts ambiguos: «encuentra el problema» puede dar resultados inconsistentes.

Estrategias de mitigación

import torch
from PIL import Image
from transformers import CLIPProcessor, CLIPModel

clip_id = "openai/clip-vit-base-patch32"
processor = CLIPProcessor.from_pretrained(clip_id)
model = CLIPModel.from_pretrained(clip_id)

image = Image.open("mi_imagen.jpg").convert("RGB")
# CLIP se entrenó con textos en inglés: las clases van en inglés
clases = ["a photo of an intact metal part",
          "a photo of a rusty metal part",
          "a photo of a broken metal part"]

inputs = processor(text=clases, images=image, return_tensors="pt", padding=True)
with torch.no_grad():
    probs = model(**inputs).logits_per_image.softmax(dim=1)[0]

for clase, p in zip(clases, probs):
    print(f"{p:.2f}  {clase}")

1. La lista de candidatos es completaCon CLIP el modelo elige siempre uno. Si falta la opción «ninguna», te devolverá la menos mala.
2. Prompts en positivo«Tornillos en buen estado» en vez de «sin óxido». Las negaciones se entienden mal.
3. Formato de salida pedido explícitamenteSi esperas JSON, dilo y da un ejemplo de los campos.
4. Alucinaciones buscadas a propósitoPrueba con imágenes donde la respuesta correcta sea «no se ve». Un generativo tiende a inventar.
5. Sesgos revisados con tus datosValida con población y escenarios representativos de tu uso real.
6. Umbral ajustado, no heredadoEmpieza en 0,5 y muévelo según veas falsos positivos o negativos.
7. Humano en el bucle donde importaMedicina, seguridad y decisiones sobre personas siempre con revisión.

1. Guarda una copia en Drive.
2. Cambia imagen y prompts.
3. Contrasta salidas y errores.