Gobernanza de IA en la Practica
Ejemplos reales de como la inteligencia artificial impacta sectores criticos en Brasil — y por que la gobernanza responsable es indispensable en cada uno de ellos.
Gobernanza de IA no es un concepto abstracto. Los sistemas de inteligencia artificial ya toman o influyen en decisiones que afectan la vida de millones de brasilenos — desde la concesion de beneficios sociales hasta diagnosticos medicos, pasando por decisiones de credito y sentencias judiciales. Sin gobernanza adecuada, estos sistemas operan como cajas negras con poder real sobre derechos fundamentales.
En está página, presentamos 15 casos de uso concretos en 5 sectores de la sociedad brasilena, mostrando los desafios de gobernanza específicos de cada contexto y las propuestas del IBGIA para abordarlos. Para profundizar conceptos, consulte nuestro glosario de gobernanza de IA y la página sobre el marco de gobernanza de IA en Brasil.
Sector Público
IA en decisiones que afectan derechos fundamentales de los ciudadanos
Sistemas de IA en los tribunales
El Poder Judicial brasileno ya utiliza más de 63 sistemas de IA, incluyendo herramientas de predicción de sentencias, clasificación automatica de procesos y análisis documental. Sistemas como Victor (STF) y Elis (TJMG) procesan miles de casos, pero plantean cuestiones serias sobre sesgo algorítmico y falta de transparencia en las decisiones automatizadas.
Desafios de Gobernanza
- Sesgo algorítmico en predicciones judiciales que puede perpetuar desigualdades historicas
- Falta de transparencia sobre como los algoritmos influyen en las decisiones procesales
- Ausencia de mecanismos de auditoria independiente de los sistemas utilizados
- Riesgo de erosion del principio del juez natural y de la motivación de las decisiones
Lo que IBGIA propone
- Implementar marcos de auditoria algorítmica obligatoria para sistemas judiciales, con publicación periodica de informes de sesgo y desempeno
- Establecer requisitos de explicabilidad para cualquier sistema de IA utilizado en decisiones que afecten derechos fundamentales, conforme a los principios del PL 2338/2023
Reconocimiento facial en seguridad pública
El uso de reconocimiento facial por fuerzas de seguridad se ha expandido rapidamente en Brasil, con sistemas implementados en aeropuertos, estadios y vias públicas. Estudios internacionales y casos brasilenos demuestran tasas de falsos positivos significativamente más altas en poblaciones negras, generando detenciones injustas y violaciones de derechos.
Desafios de Gobernanza
- Tasas de error desproporciónadas en poblaciones negras — estudios muestran hasta 10 veces más falsos positivos
- Ausencia de un marco legal específico para el uso de biometría facial por el poder público
- Falta de estudios de impacto antes de la implementación a gran escala
- Efecto inhibidor sobre los derechos de reunion y manifestacion (chilling effect)
Lo que IBGIA propone
- Exigir evaluaciones de impacto algorítmico antes de cualquier implementación de reconocimiento facial, incluyendo análisis de sesgo racial y de genero
- Crear una moratoria para el uso en espacios públicos hasta que se establezcan estándares minimos de precision y equidad por regulación
Algoritmos en beneficios sociales
Los algoritmos se utilizan cada vez más para decidir la concesion de beneficios como INSS, Bolsa Familia y BPC. Los sistemas automatizados analizan perfiles de beneficiarios, calculan elegibilidad y detectan fraudes — decisiones que impactan directamente la supervivencia de millones de brasilenos en situacion de vulnerabilidad.
Desafios de Gobernanza
- Decisiones automatizadas sobre derechos sociales sin posibilidad efectiva de recurso humano
- Datos de entrenamiento que pueden reflejar discriminaciones historicas contra poblaciones vulnerables
- Falta de transparencia para los beneficiarios sobre criterios algorítmicos de elegibilidad
- Riesgo de exclusión digital: las poblaciones que más necesitan los beneficios son las que tienen menor acceso a la tecnología
Lo que IBGIA propone
- Garantizar el derecho a revisión humana para todas las decisiones automatizadas que nieguen o revoquen beneficios sociales
- Implementar mecanismos de explicación accesible para que los beneficiarios comprendan como y por que se tomaron las decisiones
Salud
IA transformando diagnosticos, triaje e investigación clinica
Diagnostico por IA
Los sistemas de IA para detección de cancer, análisis de imagenes medicas y apoyo diagnostico estan siendo adoptados por hospitales y laboratorios brasilenos. Estas herramientas pueden aumentar significativamente la precision y velocidad de los diagnosticos, pero plantean cuestiones complejas sobre la aprobación regulatoria por ANVISA y la responsabilidad medica.
Desafios de Gobernanza
- Aprobacion regulatoria: ANVISA aun está desarrollando marcos para Software como Dispositivo Medico (SaMD) basado en IA
- Responsabilidad medica: quién responde por un diagnostico erroneo asistido por IA — el medico, el hospital o el desarrollador?
- Sesgo en los datos de entrenamiento: modelos entrenados mayoritariamente con datos del hemisferio norte pueden tener un desempeno inferior para la poblacion brasilena
- Falta de validación clinica a gran escala con datos de la poblacion brasilena
Lo que IBGIA propone
- Desarrollar directrices específicas para la validación y certificación de sistemas de IA en salud, en colaboración con ANVISA, CFM y sociedades medicas
- Exigir que los sistemas de IA diagnostica incluyan información sobre las poblaciones en las que fueron entrenados y validados, con pruebas obligatorias en la poblacion brasilena
Triaje de pacientes en el SUS
Los algoritmos se utilizan para priorizar la atención en el Sistema Unico de Salud (SUS), desde la clasificación de riesgo en urgencias hasta la ordenacion de colas para cirugias y consultas especializadas. En un sistema con recursos limitados, estas decisiones algorítmicas determinan literalmente quién es atendido primero.
Desafios de Gobernanza
- Criterios algorítmicos de priorización que pueden reproducir desigualdades de acceso existentes en el SUS
- Falta de transparencia para los pacientes sobre como la IA influye en su posición en la cola
- Riesgo de subnotificacion de urgencias en poblaciones con menor alfabetizacion en salud
- Cuestiones eticas sobre delegar decisiones de asignación de recursos escasos a algoritmos
Lo que IBGIA propone
- Crear comites de etica en IA hospitalaria para supervisar la implementación y monitorear continuamente los resultados de los sistemas de triaje algorítmico
- Garantizar que los pacientes tengan acceso a información clara sobre como la IA participa en las decisiones sobre su atención, con derecho a contestacion
IA en investigación clinica
La inteligencia artificial está acelerando el desarrollo de tratamientos, desde el descubrimiento de nuevos farmacos hasta el análisis de grandes volumenes de datos clinicos. En Brasil, instituciones como Fiocruz y hospitales de referencia ya utilizan IA para el análisis de datos epidemiologicos e identificación de patrones en historias clinicas electrónicas.
Desafios de Gobernanza
- Gobernanza de datos de pacientes: garantizar que los datos sensibles de salud se utilicen de forma etica y en conformidad con la LGPD
- Consentimiento informado: los pacientes no siempre saben que sus datos seran utilizados para entrenar modelos de IA
- Riesgo de concentracion: empresas tecnologicas con mayor acceso a datos pueden monopolizar la investigación basada en IA
- Reproducibilidad cientifica: la opacidad de algunos modelos de IA dificulta la validación por pares
Lo que IBGIA propone
- Establecer protocolos de gobernanza de datos de salud para la investigación con IA, incluyendo requisitos de anonimizacion, consentimiento y comparticion responsable
- Promover la creación de repositorios de datos de salud brasilenos para investigación en IA, con gobernanza pública y acceso regulado
Financiero
IA en decisiones de credito, detección de fraudes y Open Finance
Scoring de credito algorítmico
Los modelos de IA determinan el acceso al credito de millones de brasilenos, analizando cientos de variables para calcular puntuaciones de riesgo. Ademas de los datos tradicionales de bureaus de credito, los nuevos modelos incorporan datos alternativos como comportamiento en redes sociales, patrones de uso del celular y geolocalización — ampliando los riesgos de discriminación.
Desafios de Gobernanza
- Discriminación algorítmica: los modelos pueden usar variables proxy para raza, genero o localidad, violando la LGPD y el Codigo de Defensa del Consumidor
- Opacidad: los consumidores tienen dificultad para entender por que se les nego el credito y como mejorar su puntuacion
- Uso de datos alternativos sin consentimiento explicito o comprension del consumidor
- Efectos acumulativos: una puntuacion baja puede impactar el acceso a vivienda, empleo y otros servicios esenciales
Lo que IBGIA propone
- Exigir evaluaciones periodicas de sesgo en modelos de scoring, con publicación de metricas de equidad por grupos demograficos, conforme a las recomendaciones del BACEN
- Regular el derecho de explicación para decisiones de credito automatizadas, garantizando que los consumidores comprendan los factores determinantes y puedan contestar
Detección de fraudes y prevencion de lavado de dinero
Las instituciones financieras utilizan IA para detectar transacciones sospechosas, identificar patrones de lavado de dinero y prevenir fraudes en tiempo real. Estos sistemas procesan miles de millones de transacciones, pero necesitan equilibrar la eficacia en la detección con la protección de la privacidad y la minimizacion de falsos positivos que bloquean clientes legitimos.
Desafios de Gobernanza
- Equilibrio entre seguridad y privacidad: el monitoreo excesivo puede violar los derechos de los clientes
- Falsos positivos que bloquean indebidamente transacciones de clientes legitimos, con impacto desproporciónado en pequenos negocios y poblaciones de menor renta
- Opacidad de los criterios de detección: los clientes bloqueados muchas veces no reciben una explicación adecuada
- Evolucion constante de las técnicas de fraude exige actualización continua de los modelos, con riesgos de drift algorítmico
Lo que IBGIA propone
- Crear marcos de gobernanza para sistemas antifraude que establezcan limites claros de monitoreo y garanticen derechos de contestacion
- Promover un sandbox regulatorio con el BACEN para probar nuevos enfoques de IA en detección de fraudes con supervisión y metricas de impacto social
IA en Open Finance
Con el avance del Open Finance en Brasil, los sistemas de IA pasaron a analizar datos bancarios compartidos entre instituciones para ofrecer productos personalizados, análisis de perfil financiero y recomendaciones automatizadas. La gobernanza de los datos compartidos y la transparencia sobre como la IA los utiliza son desafios centrales.
Desafios de Gobernanza
- Gobernanza de datos sensibles compartidos: quién es responsable cuando los datos fluyen entre multiples instituciones?
- Consentimiento granular: los consumidores muchas veces no comprenden la extension del compartimiento y uso de sus datos
- Riesgo de concentracion: grandes plataformas tecnologicas pueden acumular ventajas informaciónales desproporciónadas
- Ciberseguridad: superficie de ataque ampliada por el compartimiento de datos entre multiples agentes
Lo que IBGIA propone
- Desarrollar estándares de gobernanza de IA específicos para el ecosistema de Open Finance, en asociación con el BACEN y el sector financiero
- Exigir transparencia algorítmica en todas las recomendaciones financieras automatizadas, con indicacion clara de que una IA participo en la decisión
Juridico
IA en el análisis de decisiones, contratos y compliance regulatorio
Jurimetria y análisis predictivo
La jurimetria — aplicación de metodos cuantitativos e IA al Derecho — ha crecido significativamente en Brasil. Las herramientas de análisis predictivo son utilizadas por el CNJ, tribunales superiores y grandes bufetes de abogados para estimar probabilidades de éxito en acciones, identificar patrones de decisión y optimizar estrategias jurídicas.
Desafios de Gobernanza
- Riesgo de profecia autocumplida: si los abogados ajustan estrategias basandose en predicciones de IA, las predicciones moldean los propios resultados
- Sesgo en los datos historicos: las decisiones pasadas reflejan desigualdades y pueden no representar la jurisprudencia deseable
- Falta de estandarizacion en la recopilacion y estructuración de datos judiciales entre tribunales brasilenos
- Transparencia limitada sobre la metodologia y limitaciones de las herramientas de jurimetria comerciales
Lo que IBGIA propone
- Establecer directrices para el uso etico de la jurimetria, incluyendo requisitos de transparencia metodologica y advertencias sobre las limitaciones de las predicciones
- Promover la creación de conjuntos de datos judiciales abiertos y estandarizados, facilitando la investigación independiente y la auditoria de herramientas comerciales
Contratos inteligentes y revisión automatizada
Las herramientas de IA para revisión, análisis y generación de contratos se estan volviendo comúnes en departamentos jurídicos y bufetes de abogados. Estos sistemas pueden analizar miles de contratos rapidamente, identificar clausulas de riesgo e incluso generar borradores completos — pero plantean cuestiones sobre responsabilidad legal y confiabilidad.
Desafios de Gobernanza
- Responsabilidad legal: quién responde por errores en contratos generados o revisados por IA — el abogado, el bufete o el proveedor de tecnología?
- Alucinaciones en IA generativa: los modelos pueden inventar clausulas, jurisprudencia o referencias normativas inexistentes
- Confidencialidad: datos contractuales sensibles pueden ser utilizados para entrenar modelos, creando riesgos de filtracion
- Sustitucion del análisis humano: la presion por eficiencia puede llevar a la aceptacion acritica de los outputs de la IA
Lo que IBGIA propone
- Desarrollar estándares de calidad y certificación para herramientas de IA jurídica, con requisitos de validación humana obligatoria
- Crear directrices sobre la responsabilidad profesional del abogado en el uso de herramientas de IA, en colaboración con la OAB y el CNJ
Compliance automatizado
Los sistemas de IA se estan utilizando para monitorear el cumplimiento regulatorio en tiempo real, acompanar cambios legislativos, identificar riesgos de incumplimiento y generar informes automaticos. Con la complejidad creciente del entorno regulatorio brasileno — LGPD, PL 2338/2023, normas sectoriales — la automatización del compliance se vuelve cada vez más relevante.
Desafios de Gobernanza
- Complejidad regulatoria: los sistemas necesitan acompanar multiples normas en evolución simultanea (LGPD, PL 2338, regulaciones sectoriales)
- Interpretacion normativa: la IA puede no capturar matices interpretativos y divergencias jurisprudenciales
- Riesgo de falsa seguridad: las organizaciones pueden tratar el compliance automatizado como sustituto completo del análisis jurídico humano
- Accountability: dificultad para rastrear como el sistema llego a una conclusion de conformidad o no conformidad
Lo que IBGIA propone
- Promover la integración de herramientas de compliance automatizado con marcos de gobernanza de IA, garantizando supervisión humana en decisiones criticas
- Desarrollar metodologias de validación continua para sistemas de compliance basados en IA, con pruebas regulares contra escenarios reales y casos limite
Educación
IA en la enseñanza personalizada, evaluación y gestión escolar
Sistemas adaptativos de aprendizaje
Las plataformas de enseñanza personalizadas por IA adaptan el contenido, el ritmo y la metodologia al perfil de cada alumno. En Brasil, estas herramientas estan siendo adoptadas tanto en la red pública como en escuelas privadas. Sin embargo, los datos recopilados sobre ninos y adolescentes requieren protección especial y gobernanza rigurosa.
Desafios de Gobernanza
- Protección de datos de ninos y adolescentes: la LGPD exige consentimiento parental y tratamiento basado en el mejor interes del nino
- Comercializacion de datos educativos: las plataformas privadas pueden utilizar datos de aprendizaje con fines comerciales sin transparencia
- Estandarizacion excesiva: los algoritmos pueden restringir la diversidad pedagogica al optimizar para metricas estrechas de desempeno
- Exclusion digital: los alumnos sin acceso adecuado a la tecnología quedan en desventaja creciente con la digitalización de la enseñanza
Lo que IBGIA propone
- Crear directrices nacionales para el uso etico de IA en educación, con enfoque especial en la protección de datos de menores y la transparencia para padres y responsables
- Exigir evaluaciones de impacto antes de la adopción de plataformas de IA por redes de enseñanza públicas, incluyendo análisis de equidad y accesibilidad
Evaluación automatizada
Las herramientas de IA para correccion de examenes, evaluación de redacciones y análisis de trabajos académicos estan en uso creciente en Brasil — desde el ENEM hasta evaluaciones internas de universidades. Estas herramientas prometen eficiencia y consistencia, pero plantean preocupaciones sobre sesgo linguistico, equidad y la capacidad de evaluar el pensamiento critico.
Desafios de Gobernanza
- Sesgo linguistico: sistemas entrenados en patrones de escritura de determinados grupos pueden penalizar variaciones regiónales y sociolingüísticas
- Equidad: alumnos con acceso a IA generativa para redactar trabajos pueden ser beneficiados en evaluaciones automatizadas que no detectan el uso de IA
- Limitación cualitativa: la IA tiene dificultad para evaluar creatividad, originalidad y pensamiento critico
- Presion sobre los profesores: la reducción de la evaluación a metricas cuantificables puede devaluar el juicio pedagogico humano
Lo que IBGIA propone
- Desarrollar estándares de calidad y equidad para herramientas de evaluación automatizada, con pruebas obligatorias de sesgo linguistico y socioeconomico
- Garantizar que la evaluación automatizada sea siempre complementaria — nunca sustituta — de la evaluación humana en decisiones de alto impacto (aprobación, reprobacion, seleccion)
Gestión escolar algorítmica
Los algoritmos se utilizan en la gestión escolar para la asignación de recursos, predicción de abandono, distribucion de alumnos en clases y planificacion de demanda. Las Secretarias de Educación de grandes municipios brasilenos ya utilizan modelos predictivos para identificar alumnos en riesgo de abandono escolar.
Desafios de Gobernanza
- Transparencia para padres y alumnos: las decisiones algorítmicas sobre asignación y recursos escolares muchas veces son invisibles para la comúnidad escolar
- Estigmatizacion: alumnos identificados como 'en riesgo' por algoritmos pueden sufrir efectos negativos de la rotulacion prematura
- Calidad de los datos: los datos educativos brasilenos son frecuentemente incompletos, desactualizados e inconsistentes entre redes de enseñanza
- Reducción del papel humano: la dependencia excesiva de datos puede alejar a los gestores del contacto directo con la realidad de las escuelas
Lo que IBGIA propone
- Implementar mecanismos de transparencia que permitan a la comúnidad escolar comprender como los algoritmos participan en las decisiones que afectan a alumnos y escuelas
- Establecer protocolos que garanticen la supervisión humana y la contextualización pedagogica de todas las recomendaciones algorítmicas en gestión escolar
Reciba casos prácticos de gobernanza de IA
Suscríbase al boletín del IBGIA y reciba análisis sectoriales, frameworks y estudios de caso sobre IA responsable.
Análisis exclusivos sobre gobernanza de IA
Reciba análisis, alertas regulatorias y frameworks prácticos sobre IA en Brasil. Cada semana en su correo — gratuito.
Profundice su conocimiento
Quiere ayudar a construir la gobernanza de IA en Brasil?
Asóciese al IBGIA y contribuya con su experiencia para enfrentar los desafios practicos de la IA en cada sector de la sociedad.