Privacidad diferencial

ATLAS (mitigaciones complementarias): AML.M0004 (Limit AI Service Query Volume and Rate), AML.M0002 (Predictive AI Output Obfuscation), AML.M0024 (AI Telemetry Logging)

La auditoría de PhiloCorp no logró distinguir registros de entrenamiento de registros reservados. Es un resultado alentador, pero todavía no responde cuánto protege el entrenamiento a cada contribuyente. Para esa pregunta, necesitás una definición formal y evidencia de implementación.

La privacidad diferencial (DP) limita cuánto puede cambiar la distribución de resultados de un mecanismo cuando cambia una unidad protegida del dataset. Definí qué significa «vecino»: agregar o quitar un registro, reemplazarlo, o cambiar todos los aportes de una persona. Una garantía por registro no se convierte automáticamente en una garantía por usuario.

Epsilon y delta parametrizan esa cota; delta no es simplemente «la probabilidad de que se filtren los datos». La garantía depende del mecanismo, su composición y los supuestos documentados. NIST SP 800-226 ofrece criterios para evaluar esas afirmaciones.

Implementación y evidencia

En DP-SGD, se recortan las contribuciones de gradiente, se agrega ruido calibrado a su agregación y un contador de privacidad (accountant) calcula el gasto acumulado. Documentá unidad protegida, regla de muestreo, clipping, multiplicador de ruido, pasos, accountant y delta elegido. La configuración del entrenamiento debe coincidir con los supuestos del cálculo; cambiar el muestreo o ignorar pasos invalida la lectura del presupuesto.

PATE entrena modelos docentes sobre particiones disjuntas de los datos privados y agrega sus votos con un mecanismo que protege las etiquetas usadas por el modelo estudiante. Registrá particionado, mecanismo de agregación, consultas respondidas y contabilidad de privacidad. No le atribuyas los parámetros de clipping de DP-SGD: son mecanismos distintos.

En ambos casos, conservá versión de la implementación, dataset, release y utilidad observada. Contabilizá también publicaciones y otras operaciones sobre datos privados que consuman presupuesto. Seleccionar modelos con datos privados o volver a entrenar puede requerir gasto adicional; publicar otro resultado no reinicia la privacidad de los mismos datos.

release_id=philocorp-risk-model-lab-02
privacy_unit=synthetic_training_record
neighboring_relation=add_or_remove_one_record
mechanism=DP-SGD
sampling=<documented_scheme_and_rate>
clipping_norm=<configured>
noise_multiplier=<configured>
training_steps=<executed>
delta=<chosen_before_accounting>
epsilon=<computed_from_executed_configuration>
accountant=<name_and_version>
composition_scope=<included_runs_and_releases>
membership_audit=<method_access_sample_size>

Los campos son una ficha por completar, no una configuración lista para entrenar. El dataset sintético permite ensayar el procedimiento; no demuestra qué epsilon sería adecuado para datos o usuarios reales.

Auditoría de la garantía

Separá dos expedientes. La revisión formal comprueba que mecanismo, implementación y contabilidad respaldan la garantía declarada. La auditoría empírica busca fugas observables mediante ataques compatibles con el acceso, como las evaluaciones discutidas en LiRA.

Medí TPR a FPR bajo, AUC, tamaño de muestra e incertidumbre cuando el presupuesto lo permita. Comparar antes y después puede mostrar menor vulnerabilidad a los ataques ensayados. No prueba el epsilon declarado ni exige que toda muestra muestre una reducción visible. Un ataque sin éxito puede ser débil; una auditoría también puede descubrir errores que la configuración escrita no mostraba.

Controles complementarios

DP puede limitar la inferencia sobre contribuciones individuales al entrenamiento. No protege secretos que el sistema recupera en runtime, no corrige autorización RAG y no impide por sí sola aproximar la función del modelo.

Reducí datos de salida, autenticá clientes, aplicá cuotas y registrá consultas con minimización de datos. Sumá al Attack Intelligence Brief la garantía respaldada, la utilidad y los límites de la auditoría. Esa combinación alimenta la decisión del caso C.