Glosario de Gobernanza de IA

Secuencia finita de instrucciones o reglas que, al ejecutarse, producen un resultado. En gobernanza de IA, el término se usa frecuentemente para referirse a sistemas automatizados de decisión, incluso cuando involucran aprendizaje automático y no solo reglas fijas.

Categoría de sistemas de IA que presentan riesgo significativo para derechos fundamentales y seguridad. El EU AI Act enumera 8 categorías (biometría, infraestructura crítica, educación, empleo, servicios esenciales, aplicación de la ley, migración, justicia). El PL 2338/2023 adopta una definición más basada en principios, delegando los detalles al regulador.

Fenómeno en el que un modelo de IA generativa produce información factualmente incorrecta, inventada o sin base en los datos de entrenamiento, presentándola con apariencia de veracidad. Representa un riesgo significativo cuando los sistemas de IA se usan en contextos que exigen precisión, como salud, derecho y periodismo.

Autoridad Nacional de Protección de Datos. Órgano regulador responsable de la fiscalización y aplicación de la LGPD en Brasil. Candidata natural a asumir funciones regulatorias en el ámbito del Marco Legal de la IA.

Subcampo de la IA que desarrolla algoritmos capaces de aprender patrones a partir de datos sin ser explícitamente programados. Incluye técnicas como redes neuronales, árboles de decisión y regresión. La mayoría de los sistemas de IA modernos de alto impacto utilizan aprendizaje automático.

Evaluación independiente y sistemática de un sistema de IA para verificar conformidad con estándares técnicos, legales y éticos. Puede abarcar análisis de datos de entrenamiento, métricas de desempeño, sesgos, seguridad y documentación. El EU AI Act exige auditorías para sistemas de alto riesgo. En Brasil, se discute la creación de mecanismos similares.

Principio que asegura al individuo la capacidad de comprender que está interactuando con un sistema de IA, de contestar decisiones automatizadas y de optar por alternativas humanas cuando estén disponibles. Protegido por el derecho de revisión humana en el PL 2338/2023 y por el derecho a no ser sometido a decisión exclusivamente automatizada en la LGPD.

Conjunto de fases del desarrollo y operación de un sistema de IA: planificación, recolección de datos, entrenamiento, validación, implantación, monitoreo y descomisiónamiento. La gobernanza de IA debe abarcar todas las fases, pues los riesgos pueden surgir en cualquier etapa — desde sesgos en la recolección de datos hasta degradación de desempeño en producción.

Propiedad de un sistema de IA que demuestra ser seguro, justo, explicable, robusto y respetuoso de la privacidad. Concepto central en el marco del HLEG de la UE y en el NIST AI Risk Management Framework. No es binaria — se evalúa en grados y depende del contexto de uso.

Conjunto de prácticas que una organización adopta para garantizar que sus sistemas de IA cumplan con las exigencias legales y regulatorias aplicables. Incluye documentación técnica, evaluaciones de impacto, registro de sistemas de alto riesgo e informes de conformidad. Tiende a convertirse en obligación formal con la aprobación del Marco Legal de la IA.

Información relacionada con persona natural identificada o identificable, conforme definido por la LGPD (art. 5º, I). Sistemas de IA que procesan datos personales están sujetos a las obligaciones de la LGPD, incluyendo base legal para tratamiento, minimización y derechos de los titulares. Datos sensibles (raza, salud, biometría) reciben protección reforzada.

Datos generados artificialmente por algoritmos — en lugar de recolectados del mundo real — que preservan las propiedades estadísticas de los datos originales. Usados para entrenar modelos de IA cuando los datos reales son escasos, sensibles o protegidos por privacidad. Plantean cuestiones sobre calidad, representatividad y potencial perpetuación de sesgos.

Contenido sintético — imagen, video o audio — generado por IA para imitar de forma realista la apariencia o voz de una persona real. Representa un riesgo significativo para la desinformación, el fraude y la violación de privacidad. El PL 2338/2023 y el EU AI Act establecen obligaciones de identificación para contenido sintético.

Derecho del individuo afectado por una decisión automatizada de recibir información clara y accesible sobre la lógica utilizada por el sistema de IA. Previsto en la LGPD (art. 20) y reforzado en el PL 2338/2023. Estrechamente relacionado con los principios de explicabilidad y transparencia.

Uso de sistemas de IA generativa para crear o amplificar contenido falso o engañoso a escala — incluyendo textos, imágenes, audio y video (deepfakes). Representa una amenaza a la integridad de elecciones, salud pública y cohesión social. El EU AI Act y el PL 2338/2023 exigen etiquetado de contenido generado por IA.

Cuando un sistema de IA trata de forma desigual e injustificada a personas o grupos con base en características protegidas (raza, género, edad, origen, religión, etc.), directamente o por medio de proxies. Puede ser intencional o surgir involuntariamente de los datos y del diseño del sistema.

Principio regulatorio según el cuál las obligaciones impuestas a desarrolladores y operadores de IA son proporciónales al riesgo que el sistema presenta para derechos fundamentales, seguridad y bienestar. Sistemas de mayor riesgo enfrentan requisitos más rigurosos. Adoptado por el EU AI Act y el PL 2338/2023.

Conjunto de criterios técnicos y éticos utilizados para evaluar si un sistema de IA trata a diferentes grupos de forma justa. Incluye métricas como paridad demográfica, equidad de oportunidades e igualación de error. Diferentes definiciones de equidad pueden ser matemáticamente incompatibles entre sí.

Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, el primer marco regulatorio integral para IA en el mundo. Entró en vigor en agosto de 2024, con aplicación gradual hasta 2027. Adopta un enfoque basado en riesgo con cuatro niveles: inaceptable, alto, limitado y mínimo.

Proceso estructurado para identificar, analizar y mitigar riesgos asociados al desarrollo o implantación de sistemas de IA de alto riesgo. Análogo al EIPD de la LGPD/RGPD, pero enfocado en impactos sociales más amplios: discriminación, acceso a derechos, sesgos, opacidad. Obligatoria para sistemas de alto riesgo en el PL 2338/2023.

Capacidad de un sistema de IA de proporciónar, en lenguaje comprensible, las razones por las cuáles una determinada salida (decisión, recomendación, clasificación) fue producida. Considerada componente fundamental de sistemas de IA confiables. El PL 2338/2023 establece el derecho a la explicación para decisiones de alto riesgo.

Enfoque que coloca el bienestar, los derechos fundamentales y la dignidad humana como criterios centrales en el diseño, regulación y operación de sistemas de IA. Pilar de las directrices del HLEG de la UE y de los OECD AI Principles. Se contrapone a enfoques puramente orientados a la eficiencia o al mercado.

Conjunto de arreglos instituciónales, políticas, procesos, normas y mecanismos que orientan el desarrollo, implantación y uso responsable de sistemas de IA. Abarca dimensiones técnicas, jurídicas, éticas y organizaciónales. No se limita a la regulación estatal — incluye autorregulación, certificaciones, marcos de buenas prácticas y mecanismos de rendición de cuentas.

IA de Propósito General. Categoría creada por el EU AI Act para modelos de IA entrenados a gran escala que pueden usarse para múltiples finalidades. Sujeta a obligaciones de transparencia, documentación técnica y, para modelos de riesgo sistémico (superiores a 10^25 FLOPs), obligaciones adicionales de evaluación.

Sistemas de IA capaces de generar contenido nuevo (texto, imágenes, audio, video, código) a partir de patrones aprendidos durante el entrenamiento. Ejemplos: GPT-4, Claude, Gemini, DALL-E, Midjourney. Presentan desafíos regulatorios específicos, especialmente en relación con derechos de autor, desinformación y deepfakes.

Técnica de formulación de instrucciones textuales (prompts) para obtener respuestas deseadas de modelos de lenguaje. Aunque parezca trivial, es un campo en evolución con impacto directo en la calidad, seguridad y confiabilidad de las salidas de IA generativa. Plantea cuestiones de gobernanza sobre estandarización y control de comportamiento de sistemas.

Norma internacional públicada en 2023 que establece requisitos para un Sistema de Gestión de Inteligencia Artificial (AIMS). Es la primera norma certificable de gestión de IA del mundo, permitiendo que las organizaciones demuestren conformidad con buenas prácticas de gobernanza de IA mediante auditoría independiente.

Tipo de modelo de IA entrenado en vastos volúmenes de texto para comprender y generar lenguaje natural. Ejemplos incluyen GPT-4, Claude y LLaMA. Los LLMs son la base de la mayoría de los sistemas de IA generativa de texto y presentan desafíos específicos de gobernanza, como alucinaciones, sesgos y dificultad de auditoría.

Ley General de Protección de Datos Personales (Ley nº 13.709/2018). Regula el tratamiento de datos personales en Brasil. Se aplica a los sistemas de IA que procesan datos personales, complementando (y en algunos puntos superponiéndose a) el Marco Legal de la IA.

Nivel de sofisticación y amplitud de las prácticas de gobernanza de IA de una organización. IBGIA desarrolló un marco de evaluación de madurez en cinco niveles: Inicial, Básico, Intermedio, Avanzado y Referencia, con ocho dimensiones: Estrategia, Personas, Procesos, Datos, Tecnología, Ética, Compliance y Monitoreo.

Estructura organizada de principios, políticas, procesos y herramientas que una organización o jurisdicción adopta para gobernar el ciclo de vida de sistemas de IA. Ejemplos incluyen el NIST AI RMF, el marco de ISO/IEC 42001 y los marcos de madurez de IBGIA. Se diferencia de la regulación por ser voluntario u organizaciónal.

Denominación informal para el conjunto de normas que regularán el desarrollo y uso de Inteligencia Artificial en Brasil. El principal instrumento legislativo en tramitación es el PL 2338/2023.

Modelo de IA entrenado a gran escala en datos amplios que puede adaptarse para una variedad de tareas. También llamado Large Language Model (LLM) cuando se enfoca en lenguaje. El EU AI Act regula modelos de IA de propósito general (GPAI) con obligaciones específicas para modelos de riesgo sistémico.

Proyecto de Ley nº 2.338/2023, de autoría del Senador Rodrigo Pacheco, que instituye el Marco Legal de la Inteligencia Artificial en Brasil. Elaborado con base en los trabajos de la Comisión de Juristas del Senado Federal para IA (CJIA). Se encuentra en tramitación en la Cámara de Diputados.

Principio que orienta la adopción de medidas preventivas ante riesgos graves o irreversibles, incluso en ausencia de certeza científica completa. Aplicado a la IA, justifica restricciones o moratorias en tecnologías cuyos impactos no son plenamente comprendidos — como sistemas autónomos letales o IA superinteligente.

Principios de IA de la Organización para la Cooperación y el Desarrollo Económicos, adoptados en mayo de 2019 y actualizados en 2024. Establecen un marco de gobernanza adoptado por más de 40 países, incluyendo principios de inclusividad, bienestar, transparencia, robustez y rendición de cuentas.

Principio que exige la incorporación de protecciones a la privacidad desde la concepción de un sistema, y no como medida retroactiva. Aplicado a la IA, implica minimización de datos, anonimización, control de acceso y evaluación de impacto a la privacidad en todas las fases del ciclo de vida del modelo. Previsto en la LGPD y en el RGPD.

Práctica de seguridad en la que un equipo simula ataques adversariales contra un sistema de IA para identificar vulnerabilidades, comportamientos indeseados y riesgos de seguridad antes de la implantación. Incluye pruebas de jailbreaking, extracción de datos de entrenamiento y generación de contenido nocivo. Recomendado por el NIST AI RMF y el EU AI Act para modelos de riesgo sistémico.

Base de datos pública u organizaciónal que cataloga los sistemas de IA en uso, incluyendo finalidad, categoría de riesgo, responsables y evaluaciones realizadas. El EU AI Act exige registro en la base de datos de la UE para sistemas de alto riesgo. En Brasil, un mecanismo similar se discute en el ámbito del PL 2338/2023.

Principio según el cuál debe haber atribución clara de responsabilidad — civil, administrativa, eventualmente penal — cuando un sistema de IA causa daño. Uno de los principales desafíos regulatorios, especialmente en cadenas complejas de desarrollo (creador del modelo, integrador, operador, usuario).

Categoría de sistemas de IA cuyos riesgos son tan graves que justifican su prohibición. En el EU AI Act: sistemas de puntuación social por autoridades públicas, manipulación subliminal, explotación de vulnerabilidades, vigilancia biométrica másiva en espacios públicos. El PL 2338/2023 prohíbe sistemas discriminatorios y manipulativos sin una lista taxativa equivalente.

Capacidad de un sistema de IA de mantener desempeño confiable y predecible ante variaciones en los datos de entrada, condiciones adversariales o perturbaciones. Incluye resistencia a ataques adversariales, ruido en los datos y cambios en la distribución de los datos a lo largo del tiempo (drift). Requisito fundamental en marcos de IA confiable.

Ambiente controlado creado por un órgano regulador para que empresas y desarrolladores prueben tecnologías innovadoras — incluyendo sistemas de IA — bajo supervisión, con requisitos regulatorios flexibilizados por un período limitado. Permite aprendizaje mutuo entre regulador e innovador. Previsto en el EU AI Act y discutido en el contexto del Marco Legal de la IA brasileño.

Tendencia sistemática de un sistema de IA a producir resultados injustos o discriminatorios hacia determinados grupos, generalmente derivada de sesgos en los datos de entrenamiento, en la definición del problema o en las elecciones de diseño del modelo. Puede resultar en discriminación por raza, género, ingreso, origen geográfico u otras características.

Según el PL 2338/2023: sistema basado en proceso computacional que puede, para un conjunto de objetivos definidos por el ser humano, hacer predicciones, recomendaciones o decisiones que influyen en ambientes reales o virtuales. El EU AI Act agrega los elementos de autonomía y adaptabilidad.

Principio según el cuál los sistemas de IA de alto riesgo deben ser diseñados y operados de forma que los seres humanos puedan comprender, monitorear, intervenir y, si es necesario, anular las decisiones del sistema. El EU AI Act exige medidas específicas de supervisión humana para sistemas de alto riesgo.

Principio según el cuál desarrolladores y operadores de IA deben poner a disposición información suficiente sobre como funcionan los sistemas, que datos utilizan y como toman decisiones. Incluye tanto transparencia técnica (para reguladores y auditores) como transparencia para los usuarios afectados.

Práctica de hacer accesibles al público las informaciones sobre como opera un sistema de IA, que datos utiliza, que criterios influyen en sus decisiones y cuáles son sus limitaciones conocidas. Va más allá de la explicabilidad individual y abarca la divulgación proactiva de políticas de uso, fichas de modelo (model cards) e informes de impacto.

Campo interdisciplinario que examina las implicaciones morales del desarrollo y uso de sistemas de IA. Abarca cuestiones como justicia, autonomía, privacidad, dignidad humana y distribución equitativa de beneficios y riesgos. Fundamenta los principios adoptados por regulaciones como el EU AI Act y directrices de la OCDE y UNESCO.

Autoridad pública responsable de supervisar, fiscalizar y aplicar la regulación de sistemas de IA. En Brasil, el PL 2338/2023 prevé la creación o designación de un órgano competente — la ANPD es la principal candidata. El EU AI Act designa autoridades nacionales de supervisión de mercado en cada Estado miembro.