/recap
De los fundamentos al criterio de auditor ~5 min
En la sesion anterior vimos que es la IA, como aprende un modelo y que tipos de modelos existen. Hoy cambiamos de pregunta: ya no es ¿que puede hacer este modelo?, sino ¿con que debe cumplir antes de que confiemos en el?.
¿Se puede explicar la decision?
Todo modelo que auditoria revisa debe poder justificar, en terminos entendibles, por que llego a un resultado.
Un modelo de scoring debe poder explicar por que nego una solicitud de credito de vivienda, no solo entregar un puntaje.
Si falta: auditoria no puede sustentar un hallazgo, ni el area de negocio defender la decision ante un reclamo o una tutela.
¿Se protegen los datos del afiliado?
Los datos personales de afiliados y beneficiarios solo pueden usarse dentro de lo autorizado, con el principio de minimizacion de datos.
Un piloto de analitica sobre novedades de cesantias se construye con datos anonimizados o seudonimizados, no con la base de produccion completa.
Si falta: riesgo legal por uso indebido de datos personales (Ley 1581 de 2012) y riesgo reputacional frente a los afiliados.
¿Quien responde si falla?
Todo modelo necesita un responsable humano que lo aprueba, lo monitorea y responde por sus resultados.
El area de riesgo aprueba el modelo antes de produccion; auditoria interna lo revisa periodicamente como parte del plan basado en riesgos.
Si falta: nadie responde cuando el modelo se equivoca, y el hallazgo de auditoria no tiene a quien escalar.
/definiciones
El hilo conductor: de los conceptos a las fallas ~15 min
Estos catorce terminos no son una lista suelta: son el mismo hilo que vas a ver en los casos reales (seccion siguiente) y en la tabla de riesgo. Primero el concepto, luego como falla, luego como se gobierna.
Primero, los conceptos base. Son las piezas del diagrama de arriba: de que esta hecho un modelo y que tipo de resultado produce.
Inteligencia Artificial (IA)
Sistemas que ejecutan tareas que normalmente requieren razonamiento humano: reconocer patrones, generar texto, predecir un resultado.
Machine Learning
Subcampo de la IA donde el modelo aprende patrones a partir de datos historicos, en lugar de seguir reglas escritas a mano por una persona.
Modelo / algoritmo
El programa entrenado con datos que produce una prediccion, clasificacion o respuesta. En auditoria, es el objeto que se revisa, igual que un proceso o un control.
IA generativa vs. predictiva
La predictiva estima un numero o categoria (riesgo de mora, probabilidad de fraude). La generativa produce texto, imagenes o codigo nuevo (chatbots, asistentes de redaccion).
Automatizacion vs. IA
La automatizacion tradicional sigue reglas fijas escritas por una persona (si pasa X, hacer Y). La IA aprende el patron a partir de datos y puede comportarse distinto ante casos que nunca vio.
Cuando una de esas piezas se rompe, pasa esto. Cada termino trae la tarjeta del caso real donde ya paso -- lo vas a ver completo en la pestana /4 Casos reales.
Alucinacion
Cuando un modelo generativo produce informacion falsa con apariencia de certeza, sin senalar que esta inventando.
Sycophancy (complacencia excesiva)
Cuando el modelo prioriza sonar agradable o darle la razon al usuario, en lugar de corregirlo o cuestionarlo cuando se equivoca.
Shadow AI (IA en la sombra)
Uso de herramientas de IA por fuera de lo aprobado y monitoreado por la entidad, sin que TI, seguridad o riesgo lo sepan.
Sesgo algoritmico
Cuando un modelo trata de forma sistematicamente distinta a un grupo de personas, por aprender un patron injusto en los datos con los que fue entrenado.
Sobreajuste (overfitting)
Cuando un modelo memoriza los datos de entrenamiento en vez de aprender el patron general, y pierde precision frente a casos nuevos o condiciones distintas.
Caja negra / explicabilidad
Un modelo es "caja negra" cuando nadie puede explicar con claridad por que llego a un resultado especifico. Explicabilidad es la capacidad de abrir esa caja.
Y esto es lo que evita, o corrige, que la falla llegue a produccion. Es el vocabulario de la seccion /2 y de la tabla de diagnostico de la seccion /5.
Gobernanza de IA
El conjunto de politicas, roles y controles que definen quien aprueba, monitorea y responde por un modelo dentro de la entidad.
Riesgo de modelo (model risk)
La posibilidad de perdida o dano que surge de decisiones basadas en un modelo incorrecto, mal usado, o mal entendido.
Dato personal sensible
Informacion de una persona que, de usarse indebidamente, puede afectarla de forma especial: datos financieros, de salud, biometricos, entre otros.
Protegido en Colombia por la Ley 1581 de 2012/etica-y-gobernanza
Principios de IA responsable, aplicados a control interno ~20 min
Estos principios no son teoria: son lo que auditoria interna verifica antes de que un modelo entre — o siga — en produccion.
Transparencia
Poder explicar, en lenguaje claro, como y con que datos llego el modelo a un resultado.
Documentacion del modelo (variables, logica, limites) disponible para auditoria y para el area de negocio, no solo para quien lo construyo.
Equidad y no discriminacion
Que el modelo no perjudique de forma sistematica a un grupo de afiliados por variables que no deberian pesar en la decision.
Revisar si un modelo de scoring aprueba o niega credito de forma distinta segun region, genero o edad, sin una razon de riesgo que lo justifique.
Privacidad y proteccion de datos
Usar solo los datos personales necesarios, con la base legal correspondiente y medidas de seguridad adecuadas.
Datos de cesantias, vivienda y educacion de afiliados tratados bajo la Ley 1581 de 2012, con acceso restringido incluso para pruebas de modelos.
Seguridad y robustez
Que el modelo funcione de forma estable y no sea facil de manipular con datos de entrada maliciosos o inusuales.
Un chatbot de atencion a afiliados no debe poder ser inducido a entregar informacion de otro afiliado o a saltarse una validacion.
Rendicion de cuentas
Un responsable humano identificado, con autoridad para aprobar, pausar o retirar el modelo.
El modelo tiene dueno de proceso, aprobacion de riesgo, y queda dentro del universo auditable del plan de auditoria.
/marco-normativo
Donde se apoya este criterio (referencia rapida)
Conpes 3975. Politica Nacional de Transformacion Digital e Inteligencia Artificial: marco de referencia para la adopcion de IA en el sector publico colombiano.
Ley 1581 de 2012. Regimen general de proteccion de datos personales: base legal para el tratamiento de datos de afiliados en cualquier modelo.
Lineamientos de IA del MinTIC. Recomendaciones de etica y gobernanza de IA para entidades publicas.
Vigilancia de la Superfinanciera. Como entidad financiera publica, el FNA responde ante la Superintendencia Financiera por sus modelos y decisiones automatizadas.
Guia de orientacion para la discusion en clase, no constituye concepto juridico.
/casos-reales
Cuando la IA fallo de verdad ~35 min
Los seis "terminos que fallan" de la seccion anterior, en version completa: fecha, fuente real y consecuencia (haz clic en el link de cada tarjeta). No son hipoteticos: le paso a una aerolinea, a un banco, a una empresa de tecnologia y a un gobierno completo.
2023
Un abogado le creyo a ChatGPT seis casos que no existian
En Mata v. Avianca, dos abogados de Nueva York presentaron un escrito citando seis sentencias que ChatGPT habia inventado por completo. Cuando el abogado le pregunto a la IA si los casos eran reales, ChatGPT dijo que si — otra alucinacion.
Consecuencia: el juez federal impuso una multa de USD 5.000 a los abogados y los obligo a notificar por escrito a cada juez que la IA habia citado falsamente. El caso se volvio la referencia obligada sobre alucinaciones de IA en la practica legal.
2024
El chatbot de Air Canada invento una politica que no existia
Un pasajero le pregunto al chatbot de Air Canada por la tarifa de duelo. El bot le aseguro que podia solicitarla de forma retroactiva. Era falso: esa politica no existia.
Consecuencia: Air Canada alego que el chatbot era "una entidad legal separada, responsable de sus propias acciones". El tribunal de Columbia Britanica rechazo el argumento: la aerolinea respondio por toda la informacion de su sitio, y debio pagar el reembolso, intereses y costas.
2025
GPT-4o empezo a decirle que si a todo
En abril de 2025, una actualizacion de GPT-4o volvio al modelo excesivamente adulador: validaba decisiones peligrosas o delirantes de los usuarios con tal de sonar mas agradable, en lugar de cuestionarlas.
Consecuencia: OpenAI reconocio el problema publicamente y revirtio la actualizacion cuatro dias despues. La causa: el ajuste del modelo se guio por senales de satisfaccion inmediata del usuario, sin medir el efecto a largo plazo de decirle siempre que si.
2023
Tres empleados de Samsung filtraron datos confidenciales a ChatGPT
En apenas 20 dias: un ingeniero subio codigo fuente confidencial a ChatGPT buscando corregir un error; otro convirtio el audio de una reunion interna en texto y se lo paso a ChatGPT para generar el acta; un tercero lo uso para optimizar una secuencia de pruebas de fabrica.
Consecuencia: Samsung prohibio el uso de ChatGPT y otras IA generativas para todo el personal. El riesgo de fondo: una vez que un dato sale hacia un servidor externo, la empresa ya no controla donde queda ni quien mas puede verlo.
2019-2021
Un algoritmo de impuestos holandes acuso de fraude a 26.000 familias
La autoridad tributaria de los Paises Bajos uso un algoritmo para detectar fraude en subsidios de guarderia. El modelo trataba la doble nacionalidad como factor de riesgo. Miles de familias, muchas de origen inmigrante, fueron acusadas falsamente y obligadas a devolver el subsidio completo.
Consecuencia: el escandalo — conocido como "Toeslagenaffaire" — causo la renuncia de todo el gabinete del primer ministro Mark Rutte en enero de 2021. Es el ejemplo mas citado de sesgo algoritmico en una entidad publica que administra dinero de los ciudadanos.
2019
La Apple Card le dio 20 veces mas cupo a el que a ella
Un desarrollador de software conto en redes que recibio 20 veces el cupo de credito que su esposa, aunque declaran impuestos juntos y ella tiene mejor puntaje crediticio. El caso se viralizo cuando el propio cofundador de Apple reporto algo similar.
Consecuencia: el regulador financiero de Nueva York abrio una investigacion contra Goldman Sachs, emisor de la tarjeta. Goldman aseguro que el algoritmo no usa el genero como variable — pero tampoco pudo explicar con claridad por que se dio esa diferencia.
2021
El algoritmo de Zillow perdio mas de USD 500 millones comprando casas
Zillow uso su algoritmo Zestimate para comprar miles de casas de forma automatica y revenderlas con ganancia. El modelo, entrenado con datos de un mercado mas estable, no supo ajustarse cuando los precios se volvieron volatiles.
Consecuencia: Zillow cerro el negocio, reconocio perdidas superiores a USD 500 millones en inventario y despidio al 25% de su personal. Leccion para auditoria: un modelo que funciono bien en el pasado no garantiza que siga funcionando cuando cambian las condiciones.
/riesgos-y-diagnostico
Donde falla un modelo, y donde falla la organizacion ~35 min
Un modelo puede fallar por su propio diseno, o porque la organizacion no puso el control alrededor de el. Cada tarjeta enlaza a uno de los casos reales que acabas de ver.
Sesgo algoritmico
El modelo aprende patrones de datos historicos que ya traian una desigualdad, y la repite a escala.
Un modelo de alerta de fraude entrenado con casos historicos podria marcar mas casos en una region solo porque ahi hubo mas investigaciones en el pasado, no porque haya mas fraude real.
Si no se revisa: auditoria termina validando un proceso que discrimina de forma sistematica sin que nadie lo haya decidido asi.
Caso real: algoritmo de impuestos de los Paises Bajos (2021)Alucinaciones (IA generativa)
Un modelo generativo puede producir una respuesta con apariencia correcta pero sin sustento real.
Un asistente de IA generativa que redacta un borrador de informe de auditoria inventa una cifra de cartera vencida que no esta en ningun reporte.
Si no se revisa: un dato inventado termina citado como si fuera un hallazgo verificado.
Caso real: Mata v. Avianca (2023)Sycophancy (complacencia excesiva)
Un modelo optimizado para la satisfaccion inmediata del usuario aprende a decirle que si, incluso cuando la respuesta correcta es cuestionar o corregir.
Un asistente de IA generativa valida la conclusion de un analista de riesgo solo porque sono seguro, en lugar de senalar la inconsistencia en los datos que la sustentan.
Si no se revisa: el modelo deja de ser un segundo par de ojos y se convierte en un eco de lo que el usuario ya queria escuchar.
Caso real: actualizacion de GPT-4o (2025)Shadow AI (IA no gobernada)
Uso de herramientas de IA generativa por fuera de lo aprobado por la entidad, sin que TI, seguridad o riesgo lo sepan.
Un funcionario pega un extracto de una base de datos de afiliados en una IA generativa gratuita para que le ayude a redactar un analisis, sin saber que esos datos pueden quedar almacenados fuera de la entidad.
Si no se revisa: la entidad pierde control sobre donde terminan sus datos, incluso si nunca aprobo formalmente usar IA para ese proceso.
Caso real: fuga de codigo de Samsung (2023)Sobreajuste y dependencia del dato
Un modelo que memoriza los datos con los que fue entrenado pierde precision frente a casos nuevos, y toda su calidad depende de la calidad del dato de entrada.
Un modelo predictivo de mora entrenado solo con los ultimos seis meses puede fallar apenas cambien las condiciones economicas.
Si no se revisa: se confia en una prediccion que ya no representa la realidad actual.
Caso real: Zillow Offers (2021)Riesgo operativo
Fallas tecnicas, interrupciones o errores de integracion que afectan el proceso que depende del modelo.
Un chatbot de atencion a afiliados se cae en horario pico de radicacion de solicitudes de credito educativo.
Si no se revisa: el proceso institucional queda expuesto a la disponibilidad de una herramienta que nadie esta monitoreando.
Riesgo reputacional
Un error visible del modelo (una respuesta discriminatoria, una filtracion, una decision injustificada) dana la confianza de los afiliados y del regulador.
Un modelo que niega creditos de forma poco explicable genera quejas publicas y pone en duda la imparcialidad del FNA.
Si no se revisa: el dano de imagen supera cualquier ahorro operativo que el modelo haya generado.
Caso real: Apple Card / Goldman Sachs (2019)Riesgo de cumplimiento
El modelo o su uso de datos incumple una norma vigente (proteccion de datos, transparencia, vigilancia financiera).
Un modelo usa datos de afiliados fuera de la finalidad autorizada al momento de la recoleccion.
Si no se revisa: exposicion ante la Superintendencia Financiera o ante un afiliado que ejerce sus derechos de habeas data.
Diagnostico: ¿que tan gobernado esta este caso de IA?
| Factor | Nivel |
|---|---|
| Impacto en la decisionQue tanto define el resultado final para el afiliado | |
| Datos que usaQue tan sensible es la informacion de entrada | |
| ExplicabilidadQue tan facil es entender por que decidio eso | |
| Gobierno de la herramientaQuien aprobo que se use | |
| AlcanceA cuanta gente o cuanto proceso afecta |
Elige un nivel en cada fila para calcular el diagnostico.
/buenas-practicas
Antes de aprobar un modelo
Empieza por el principio, no por la herramienta. Antes de evaluar que tan bien funciona un modelo, define que principio de la seccion 3 debe cumplir.
Pide explicabilidad antes de produccion. Si nadie puede explicar una decision del modelo, auditoria no deberia avalarla.
Documenta el punto de control humano. Todo modelo necesita un responsable identificado que pueda pausarlo o corregirlo.
El hallazgo de auditoria tambien aplica a los modelos. Un modelo mal gobernado es un hallazgo, igual que un proceso manual mal controlado.