Habilidad de Simulacro de Conmutación por Error

## Habilidad de Simulacro de Conmutación por Error - fases
1. Pre-verificación: topología, lag, copias de seguridad actuales
2. Línea base: registrar primaria, réplicas, endpoints de conexión
3. Conmutación por error: switchover controlado o failover del proveedor
4. Verificar: escrituras en la nueva primaria, aplicaciones reconectadas
5. Simulacro de reversión: failback opcional a la topología original
6. Documentar: minutos de RTO, problemas, diferencias en runbooks

# Pre-verificación de Patroni
patronictl -c /etc/patroni/patroni.yml list
psql -h haproxy.internal -c "SELECT inet_server_addr(), pg_is_in_recovery();"

# 1. Verificar lag de replicación
psql -c "SELECT application_name, state, sync_state,
       pg_wal_lsn_diff(pg_current_wal_lsn(), replay_lsn) AS lag_bytes
FROM pg_stat_replication;"
 
# 2. Switchover a replica2
patronictl -c /etc/patroni/patroni.yml switchover --master replica1 --candidate replica2 --force
 
# 3. Verificar nueva primaria
psql -h haproxy.internal -c "SELECT pg_is_in_recovery();"  # esperar f
psql -c "CREATE TABLE failover_drill_20260709 (id int); DROP TABLE failover_drill_20260709;"
 
# 4. Confirmar que la antigua primaria se unió como réplica
patronictl list

# Probar failover solo en la instancia de prueba - NO en producción sin ventana de cambio
aws rds reboot-db-instance \
  --db-instance-identifier myapp-staging-failover-test \
  --force-failover
 
# Observar eventos
aws rds describe-events --source-identifier myapp-staging-failover-test --duration 30

-- Después de la reconexión de la aplicación
SELECT now(), inet_server_addr();
INSERT INTO drill_log (note) VALUES ('post-failover write OK');

SELECT pg_is_in_recovery();
SELECT * FROM pg_stat_replication;  -- en la primaria: réplicas conectadas
SELECT slot_name, active, restart_lsn FROM pg_replication_slots;

- [ ] PgBouncer/pooler detecta el cambio de backend (o es aceptable una breve tormenta de reconexiones)
- [ ] El pool de conexiones del ORM se recicla dentro del tiempo de espera configurado
- [ ] Las rutas de análisis de solo lectura al endpoint de réplica siguen siendo válidas
- [ ] Los trabajos en segundo plano se reanudan sin reinicio manual del pod