Gobernanza de IA
Definición
La gobernanza de IA es cómo una organización mantiene sus sistemas de IA seguros, legales y responsables: qué datos pueden usar, qué pueden hacer y cómo se revisan y explican sus decisiones.
En profundidad
Datos y cumplimiento
Un sistema de IA está sujeto a las mismas normas que los datos que toca. Los datos de clientes traen la ley de protección de datos, los de salud traen normas sectoriales y muchos clientes piden controles auditados, como SOC 2, antes de conectar nada.
En la Unión Europea, el RGPD regula los datos personales y el Reglamento de IA añade obligaciones por nivel de riesgo, desde prácticas prohibidas hasta deberes de transparencia para los sistemas que hablan con personas. Saber en qué categoría cae un sistema es el primer paso del cumplimiento.
Seguridad para sistemas que leen y actúan
La IA abre superficies de ataque nuevas. La inyección de instrucciones esconde órdenes en el contenido que lee un sistema, una página web, un correo o un documento, para que ignore sus reglas o revele lo que sabe. El riesgo crece con cada herramienta y cada permiso que tiene el sistema.
Las defensas son de estructura, no de instrucciones ingeniosas: el mínimo privilegio que permita la tarea, la separación entre instrucciones y datos leídos, aprobación humana para las acciones que importan y registros de lo que el sistema vio e hizo.
Responsabilidad y confianza
Todo sistema de IA necesita un responsable con nombre, un registro de lo que decidió y por qué, y una vía para que las personas afectadas por una decisión la cuestionen. Sin eso, un error no tiene quien lo arregle ni rastro del que aprender.
La transparencia es parte del producto, no una letra pequeña: decir a las personas cuándo tratan con una IA, qué puede y qué no puede hacer y cómo llegar a una persona. Es lo que permite que la confianza en un sistema crezca a medida que demuestra lo que vale.
Conceptos clave
- Inyección de instrucciones
- Un ataque que esconde órdenes en el contenido que lee una IA para saltarse sus reglas o extraer datos.
- Mínimo privilegio
- Dar a un sistema solo el acceso y las acciones que su tarea exige, nada más.
- Clasificación por riesgo
- Ordenar los usos de la IA según el daño que pueden causar, como hace el Reglamento de IA europeo, para saber qué obligaciones aplican.
- Registro de auditoría
- Constancia de lo que un sistema de IA recibió, decidió e hizo, guardada para poder revisar su comportamiento.
Más sobre este tema
- Medidas contra la inyección de prompts en nuestro agente de IANuestros agentes de IA reciben intentos de inyección de prompts. El rechazo funciona, pero nada los detectaba, registraba ni limitaba hasta ahora.
- Ética de la IA y responsabilidad: construyendo confianza en la inteligencia artificialLa importancia crítica del desarrollo ético de la IA, los desafíos del sesgo y la transparencia. Cómo las organizaciones pueden construir sistemas de inteligencia artificial confiables.
NEWSLETTER
