Índices IVFFlat vs HNSW

pgvector ofrece IVFFlat (archivo invertido con cuantización gruesa) y HNSW (mundo pequeño navegable jerárquico) para la búsqueda aproximada del vecino más cercano. Elija según los objetivos de recuperación, el presupuesto de RAM y la tolerancia al tiempo de construcción.

Receta

-- IVFFlat: agrupa listas, sondea en tiempo de consulta
CREATE INDEX ON documents
  USING ivfflat (embedding extensions.vector_cosine_ops)
  WITH (lists = 100);
 
SET ivfflat.probes = 10;
 
-- HNSW: índice de grafo (pgvector 0.5+, opción predeterminada para muchas cargas de trabajo)
CREATE INDEX ON documents
  USING hnsw (embedding extensions.vector_cosine_ops)
  WITH (m = 16, ef_construction = 64);
 
SET hnsw.ef_search = 40;

Cuándo recurrir a esto: La tabla supera ~50k vectores y ORDER BY distance LIMIT k exacto no cumple con el SLO de latencia.

Ejemplo de trabajo

-- Evaluar recuperación vs latencia (ejecutar en staging con conjunto de consultas etiquetado)
EXPLAIN (ANALYZE, BUFFERS)
SELECT id, embedding <=> $1 AS dist
FROM documents
ORDER BY embedding <=> $1
LIMIT 10;
 
-- Comparar escaneos de índice
DROP INDEX IF EXISTS documents_ivfflat_idx;
CREATE INDEX documents_ivfflat_idx ON documents
  USING ivfflat (embedding extensions.vector_cosine_ops) WITH (lists = 200);
 
DROP INDEX IF EXISTS documents_hnsw_idx;
CREATE INDEX documents_hnsw_idx ON documents
  USING hnsw (embedding extensions.vector_cosine_ops)
  WITH (m = 16, ef_construction = 128);
 
-- Medir: latencia p50/p95, recall@10 vs fuerza bruta en consultas de muestra

Lo que esto demuestra:

• IVFFlat necesita ajustar lists y ivfflat.probes en tiempo de consulta
• HNSW expone m, ef_construction en la construcción y hnsw.ef_search en la consulta
• EXPLAIN ANALYZE confirma el escaneo de índice frente al escaneo secuencial
• La medición de recuperación requiere un estándar de oro de fuerza bruta en consultas reservadas

Análisis detallado

IVFFlat

Construcción: Agrupa k-means (lists centroides). Cada vector se asigna a la lista más cercana.

Consulta: Busca las probes listas más cercanas, luego la distancia exacta dentro de esas listas.

Pros: Menor memoria que HNSW para algunas formas; maduro en versiones anteriores de pgvector.

Contras: La recuperación es sensible a la distribución de datos; necesita REINDEX después de grandes cambios de datos; las listas deben escalar con la regla general sqrt(filas).

-- heurística de lists para N filas: sqrt(N) a N/1000
-- 1M filas: lists entre 1000 y 10000 dependiendo de las pruebas de referencia

HNSW

Construcción: Grafo en capas que conecta vecinos.

Pros: Buen valor predeterminado de recuperación/latencia para pgvector 0.8+; menos sensible al orden de inserción que IVFFlat.

Contras: Mayor RAM durante la construcción; índice más grande en disco; las interacciones de vacuum necesitan monitorización a escala.

Matriz de decisión

Mantenimiento de índices

-- Después de la importación masiva de embeddings
REINDEX INDEX CONCURRENTLY documents_hnsw_idx;
ANALYZE documents;
 
-- Monitorizar índices inválidos
SELECT indexrelid::regclass FROM pg_index WHERE NOT indisvalid;

Trampas

• IVFFlat antes de cargar los datos - La construcción de una tabla vacía produce centroides inútiles. Solución: Construya el índice después de la carga masiva o use REINDEX después de que la importación se complete.
• lists = 1 - Recuperación absurda. Solución: Comience con sqrt(n) y varíe las sondas en el script de benchmark.
• ef_search demasiado bajo - HNSW omite vecinos. Solución: Aumente hnsw.ef_search hasta que recall@k se estabilice en el conjunto de referencia.
• Desajuste de Opclass - Sigue siendo el principal problema de pgvector. Solución: vector_cosine_ops con <=>.
• Fallo de construcción CONCURRENTLY - Se deja un HNSW inválido. Solución: Elimine el índice inválido; reduzca los picos de maintenance_work_mem o construya fuera de horas pico sin CONCURRENTLY en un clon vacío.
• Comparar manzanas con naranjas - k diferente, métricas diferentes. Solución: k fijo=10, las mismas 100 consultas, el mismo operador de distancia para todas las ejecuciones.

Alternativas

Preguntas frecuentes

Relacionado

• Conceptos básicos de pgvector - operadores y tipos
• pgvector a escala - memoria y vacuum
• Esquema de almacenamiento RAG - diseño del esquema
• REINDEX CONCURRENTLY - reconstrucción en línea
• Mejores prácticas de pgvector - no confíe en los valores predeterminados

Versiones de Stack: Esta página fue escrita para PostgreSQL 18.4 (estable 18, mantenimiento 17), pgvector 0.8+, PostGIS 3.5+, pgbouncer 1.x y Patroni 3.x.