csvlog y Registros JSON

Los registros estructurados de PostgreSQL (csvlog o jsonlog) alimentan SIEM centralizado, Loki o CloudWatch Logs Insights. Analiza una vez, consulta por user_name, application_name y session_id, y retén fuera del host para que una VM de base de datos comprometida no borre la evidencia de auditoría.

Receta

# postgresql.conf
log_destination = 'csvlog'
logging_collector = on
log_line_prefix = '%m [%p] %u@%d %a %h '

# fragmento de filebeat.yml (envía csvlog)
filebeat.inputs:
  - type: log
    paths:
      - /var/lib/postgresql/18/main/log/postgresql-*.log
    fields:
      service: postgresql
      env: prod
output.elasticsearch:
  hosts: ["https://es.internal:9200"]

Cuándo usar esto:

• Retención centralizada de registros SOC2/HIPAA
• Correlación entre servicios con registros de aplicaciones e IdP
• Reemplazar grep en discos de producción para búsqueda de incidentes

Ejemplo de Trabajo

csvlog a Elasticsearch con alternativa JSON en PostgreSQL 15+.

# Opción A: csvlog (ampliamente utilizado)
log_destination = 'csvlog'
logging_collector = on
log_filename = 'postgresql-%Y-%m-%d.log'

# Opción B: jsonlog (PG15+)
log_destination = 'jsonlog'
logging_collector = on

# Vector.dev remap csv a JSON (conceptual)
transforms:
  parse_pg:
    type: remap
    inputs: [postgresql_logs]
    source: |
      . = parse_csv!(string!(.message))
      .service = "postgresql"

-- Forzar una línea de registro de prueba
\set appname test_shipper
SET application_name TO :'appname';
SELECT pg_sleep(0.1);

Lo que esto demuestra:

• csvlog produce columnas consistentes para los analizadores
• jsonlog objeto JSON nativo por línea en versiones compatibles
• application_name aparece en las consultas del shipper para validación canary

Inmersión Profunda

Columnas Clave de csvlog

Envío Gestionado en la Nube

Niveles de Retención

• Caliente (7-30d): búsqueda activa de incidentes
• Templado (90-365d): cumplimiento
• Frío/archivo: almacenamiento de objetos con Object Lock

Trampas

• Envío sin rotación - el disco local todavía se llena si el colector se detiene. Solución: monitorizar el retraso del shipper y las alertas de disco libre.
• Análisis de stderr como CSV - campos rotos. Solución: un log_destination, no ambos mezclados en el mismo glob de archivos.
• Desfase horario - las marcas de tiempo de ES no coinciden con los registros de la aplicación. Solución: NTP UTC en la base de datos y los colectores.
• Trazas de pila multilínea - algunos errores abarcan varias líneas en registros de texto; csvlog mantiene una fila por evento. Solución: preferir csvlog/jsonlog sobre texto plano para errores.
• Registro de sentencias sensibles - SIEM se convierte en almacén de PII. Solución: redactar literales en la ingesta; limitar log_statement.
• Índices de alta cardinalidad en message - clústeres de ES costosos. Solución: indexar solo campos de usuario, db, aplicación, código de error.

Alternativas

Preguntas Frecuentes

Relacionado

• Conceptos Básicos de Registro - prefijo y volumen
• pgaudit y Registro de Cumplimiento - campos de auditoría
• Consultas Forenses - investigación SIEM + SQL
• Mejores Prácticas de Monitorización - métricas complementarias
• Mejores Prácticas de Registro - lista de verificación de políticas

Versiones de Stack: Esta página fue escrita para PostgreSQL 18.4 (estable 18, mantenimiento 17), pgvector 0.8+, PgBouncer 1.x, Patroni 3.x, y PostGIS 3.5+.