La incorporación de inteligencia artificial está transformando la forma en que las organizaciones toman decisiones, automatizan procesos y utilizan sus datos. Pero, junto con las oportunidades, aparecen nuevos desafíos: ¿qué sistemas de IA se están utilizando?, ¿qué riesgos implican?, ¿quién los controla? y, sobre todo, ¿cómo garantizar que funcionen de manera responsable y segura?
En el marco del ciclo de webinars sobre Datos e Inteligencia Artificial de DAMA Uruguay, Delfos abordó estas preguntas en el encuentro “De Gobernar los datos a Controlar la IA: el riesgo de una IA sin control”. ¡Ya podes revivirlo en nuestro canal de Youtube!
La charla estuvo a cargo de Pablo Richeri, ingeniero en computación, cofundador y CTO de Delfos Labs, y Christian Apunte, Data & AI Governance Strategist de Delfos.
De gobernar los datos a gobernar la IA
Durante años, las organizaciones desarrollaron prácticas para gestionar la calidad, seguridad, disponibilidad y trazabilidad de sus datos. Para los expositores, ese camino constituye hoy la base para abordar el siguiente desafío: gobernar lo que se construye con esos datos, es decir, los sistemas de inteligencia artificial.
La urgencia de avanzar en esta dirección responde, según se planteó durante el webinar, a tres dimensiones principales.
Por un lado, está el aspecto regulatorio, con normativas como el AI Act europeo, cuyo alcance tiene implicancias para organizaciones que operan más allá de las fronteras de la Unión Europea.
También existe una dimensión de riesgo y reputación, vinculada a problemas como los sesgos algorítmicos, las decisiones automatizadas sin suficiente supervisión y el uso de herramientas de IA sin conocimiento de la organización.
Finalmente, aparece una dimensión de negocio: directorios, áreas de auditoría, clientes y otros actores comienzan a demandar mayor evidencia sobre cómo se utilizan estas tecnologías y qué mecanismos existen para controlar sus riesgos.
La gobernanza, señalaron los expositores, no tiene por qué convertirse en un freno a la innovación. Por el contrario, puede generar las condiciones necesarias para que la IA pueda escalar dentro de una organización con mayor confianza.
Una brecha de visibilidad
Christian Apunte presentó durante el encuentro un dato que permite dimensionar uno de los principales desafíos actuales: la diferencia entre lo que las organizaciones creen conocer sobre sus sistemas de IA y lo que efectivamente pueden identificar.
Según un estudio global de BIA citado durante la charla, el 65% de los CEO considera tener un inventario completo de sus sistemas de IA, mientras que solo el 48% de los responsables técnicos coincide con esa percepción.
Más allá del porcentaje, el dato permite poner el foco en una cuestión central: no se puede gobernar aquello que la organización no sabe que está utilizando.
Por eso, uno de los primeros pasos para avanzar hacia una gobernanza de IA consiste en lograr visibilidad sobre los modelos, herramientas y soluciones que ya están presentes en la organización.
Gobierno de datos y gobierno de IA: una misma lógica
Para explicar la relación entre ambos conceptos, Apunte utilizó una analogía sencilla: el gobierno de datos puede pensarse como el control sobre los ingredientes de una receta —que sean adecuados, estén identificados y tengan la calidad necesaria—, mientras que la gobernanza de IA implica controlar qué hace el “cocinero”, es decir, el modelo.
La relación entre ambos es directa. Una organización difícilmente podrá gobernar adecuadamente sus sistemas de IA si no cuenta con una base sólida de gobierno de datos.
Los riesgos, además, pueden variar según el tipo de inteligencia artificial.
En sistemas de IA predictiva o analítica, uno de los principales desafíos es el sesgo estadístico que puede heredarse de los datos históricos utilizados para entrenar los modelos.
En el caso de la IA generativa, como chats, asistentes y agentes, aparece otro riesgo conocido: las denominadas alucinaciones, cuando un sistema genera información incorrecta o inventada presentándola con aparente seguridad.
A esto se suma el fenómeno conocido como “shadow AI”: el uso de herramientas de inteligencia artificial por parte de empleados sin conocimiento o control de la organización. Entre los ejemplos mencionados se encuentra el ingreso de información confidencial o incluso código propietario en asistentes externos.
Los seis pilares para comenzar a gobernar la IA
Los seis pilares para comenzar a gobernar la IA
Durante el webinar, Delfos presentó un marco de trabajo organizado en seis pilares, pensado para que las organizaciones puedan avanzar de forma gradual.
1. Estructura de gobierno
Definir quiénes son responsables de la gobernanza de IA y cuáles son sus roles.
Entre los roles mínimos sugeridos se encuentran el sponsor ejecutivo, el responsable del negocio, riesgo y legal, tecnología y datos, y auditoría o ética. Estos roles no necesariamente tienen que corresponder a cinco personas diferentes.
2. Políticas
Establecer reglas concretas sobre el uso de herramientas de IA.
Por ejemplo: qué herramientas pueden utilizarse, qué tipo de información puede introducirse, qué usos requieren aprobación y en qué situaciones debe existir supervisión humana.
3. Inventario de sistemas de IA
Crear un catálogo de los modelos y proyectos de IA que existen en la organización.
El punto de partida es simple: no se puede gobernar lo que no se conoce.
4. Gestión del riesgo
No todos los sistemas de IA tienen el mismo impacto ni requieren el mismo nivel de control.
La propuesta es establecer mecanismos de supervisión proporcionales al riesgo que cada sistema representa para clientes, empleados y para el propio negocio.
5. Supervisión humana
Definir en qué situaciones debe intervenir una persona en la toma de decisiones.
El objetivo no es revisar manualmente cada resultado generado por un sistema, sino determinar dónde la intervención humana resulta necesaria.
6. Transparencia y explicabilidad
Las organizaciones necesitan poder comprender y comunicar, en términos accesibles, cómo funciona un sistema, qué información utiliza y qué factores intervienen en sus resultados.
La explicabilidad deja así de ser únicamente una cuestión técnica y comienza a adquirir relevancia también desde las perspectivas legal, regulatoria y de negocio.
¿Qué marcos internacionales pueden utilizarse?
Durante el encuentro también se repasaron distintos marcos y estándares vinculados a la gobernanza y gestión de riesgos de IA.
La recomendación presentada fue entenderlos como herramientas complementarias y no necesariamente como alternativas entre sí.
Entre ellos se mencionaron:
NIST AI Risk Management Framework (AI RMF), como punto de partida para diagnosticar y estructurar la gestión de riesgos.
Principios de IA de la OCDE, como referencia para una utilización responsable de la inteligencia artificial.
ISO/IEC 42001, orientada a los sistemas de gestión de inteligencia artificial.
ISO/IEC 23894, enfocada específicamente en la gestión de riesgos relacionados con IA.
AI Act de la Unión Europea, como referencia regulatoria clave para las organizaciones alcanzadas por su ámbito de aplicación.
Un caso real: Scotiabank en Perú
Para mostrar que estos desafíos ya tienen consecuencias concretas, Christian Apunte presentó el caso de Scotiabank en Perú, analizado por Indecopi, organismo peruano de protección al consumidor.
El caso involucró el análisis de más de un millón de grabaciones de comunicaciones comerciales. Según lo relatado durante el webinar, el banco no pudo explicar adecuadamente la lógica utilizada para determinar determinados contactos con clientes ni acreditar el consentimiento requerido.
El caso terminó con una sanción y permitió poner sobre la mesa una cuestión cada vez más relevante: la necesidad de poder explicar y demostrar cómo se toman determinadas decisiones, incluso cuando la inteligencia artificial es utilizada únicamente como herramienta de apoyo.
La explicabilidad, en este contexto, no es solamente una preocupación tecnológica. También puede convertirse en una cuestión de cumplimiento, riesgo y responsabilidad.
Un camino posible: avanzar paso a paso
La gobernanza de IA no tiene por qué comenzar con una gran transformación tecnológica.
La propuesta presentada por Delfos plantea un camino progresivo:
En los primeros 30 días: formar un comité mínimo y comenzar a construir un inventario de los sistemas de IA existentes.
A los 90 días: clasificar los casos según su nivel de riesgo y establecer una política básica de uso de IA.
A los 6 meses: implementar un proceso formal para la evaluación y aprobación de nuevos modelos.
A los 12 meses: evaluar la posibilidad de avanzar hacia marcos más formales, como una certificación ISO 42001.
Durante la charla también se presentó una escala de cinco niveles de madurez, desde organizaciones sin una estructura de gobernanza de IA hasta aquellas en las que gobernar estos sistemas forma parte natural de la manera de trabajar.
El primer paso: saber qué IA estamos usando
El mensaje final del encuentro fue especialmente concreto.
Las organizaciones que ya tienen experiencia en gobierno de datos cuentan con una base importante para avanzar hacia la gobernanza de inteligencia artificial. El desafío consiste ahora en trasladar esa disciplina a los sistemas que utilizan esos datos para generar predicciones, recomendaciones, decisiones y contenidos.
Por eso, una pregunta sencilla puede convertirse en el primer paso:
¿Qué sistemas de inteligencia artificial estamos utilizando hoy en nuestra organización?
Registrar las respuestas permite comenzar a construir el inventario y, a partir de allí, identificar riesgos, responsables y mecanismos de control.
La gobernanza de IA no comienza necesariamente con una gran inversión ni con una transformación completa. Puede comenzar con algo mucho más simple: conocer qué tenemos, entender qué riesgos implica y definir quién es responsable de controlarlo.
Reviví el webinar completo
Si querés profundizar en estos conceptos y conocer el marco de seis pasos presentado por Delfos, podés revivir el webinar completo de DAMA Uruguay en YouTube.
▶️ Ver el webinar “De Gobernar los datos a Controlar la IA”
Una oportunidad para repasar los principales riesgos de una IA sin control, conocer los marcos internacionales disponibles y comenzar a pensar cómo llevar la gobernanza de IA a tu organización.