Confidential-DPproof: Prueba Confidencial de Entrenamiento Diferencialmente Privado

Las técnicas de auditoría de privacidad a posteriori pueden usarse para probar las garantías de privacidad de un modelo, pero vienen con varias limitaciones: (i) solo pueden establecer límites inferiores sobre la pérdida de privacidad, (ii) las actualizaciones intermedias del modelo y algunos datos deben compartirse con el auditor para obtener una mejor aproximación de la pérdida de privacidad, y (iii) el auditor generalmente enfrenta un alto costo computacional para realizar un gran número de ataques. En este artículo, proponemos generar proactivamente un certificado criptográfico de privacidad durante el entrenamiento para evitar tales limitaciones de auditoría. Introducimos Confidential-DPproof, un marco para la Prueba Confidencial de Entrenamiento Diferencialmente Privado, que mejora el entrenamiento con un certificado de la garantía (ε, δ)-DP lograda. Para obtener este certificado sin revelar información sobre los datos de entrenamiento o el modelo, diseñamos un protocolo de prueba de conocimiento nulo personalizado adaptado a los requisitos introducidos por el entrenamiento diferencialmente privado, incluida la adición de ruido aleatorio y la amplificación de privacidad mediante muestreo. En experimentos con CIFAR-10, Confidential-DPproof entrena un modelo que alcanza una precisión de prueba de vanguardia del 91% con una garantía de privacidad certificada de (ε = 0.55, δ = 10⁻⁵)-DP en aproximadamente 100 horas.