Derecho a la explicación

El derecho a la explicación se refiere al derecho del usuario a conocer cómo funciona un sistema de inteligencia artificial y cómo llega a sus conclusiones. Este derecho implica que las decisiones tomadas por sistemas automatizados deben ser transparentes y comprensibles para los usuarios^[1]​.

Por ejemplo, si un solicitante de empleo es rechazado por un sistema automatizado de selección de currículums, tiene derecho a recibir una explicación clara y detallada sobre cómo se evaluó su currículum y por qué se tomó la decisión de rechazarlo. Esto permite que los usuarios comprendan cómo funcionan estos sistemas y cómo se llega a las decisiones, lo que a su vez fomenta la confianza en la tecnología y ayuda a prevenir la discriminación.

Sin embargo, el derecho a la explicación también plantea implicaciones jurídicas y éticas, ya que algunos sostienen que podría obstaculizar la innovación en I.A al dificultar a las empresas la protección de sus derechos de propiedad intelectual. Aunque otros argumentan que la responsabilidad y la transparencia en los sistemas automatizados son fundamentales para prevenir la discriminación y garantizar la equidad en la toma de decisiones^[2]​. Además, consideran que, a pesar de su importancia, hay mucha resistencia a que el derecho a la explicación sea jurídicamente vinculante.

El derecho a la explicación es un tema de debate en la comunidad de I.A, ya que se trata de un equilibrio entre la innovación y la protección de los derechos de los usuarios. Pero, en última instancia, se busca garantizar la transparencia y la responsabilidad en el uso de sistemas de I.A para construir una tecnología que funcione para todos.

Margot E. Kaminski ha escrito extensamente sobre la responsabilidad algorítmica y el derecho a la explicación. En su artículo "The Right to Explanation, Explained", Kaminski sostiene que el derecho a la explicación es importante porque permite a las personas comprender cómo se toman las decisiones algorítmicas y cuestionarlas si son injustas o discriminatorias.Señala que la toma de decisiones algorítmicas puede ser opaca, compleja y estar sujeta a errores, prejuicios y discriminación, lo que puede tener importantes consecuencias para las personas en ámbitos como el crédito, el empleo y la educación.^[3]​.

Uno de los principales beneficios del derecho a la explicación es una mayor transparencia en los procesos automatizados de toma de decisiones. El derecho a la explicación puede ayudar a resolver este algunos de los problemas mencionados por Kaminski explicando a los ciudadanos cómo se ha tomado una decisión, lo que puede contribuir a aumentar la confianza en los sistemas automatizados de toma de decisiones^[4]​. La transparencia de los sistemas automatizados de toma de decisiones permite la supervisión e intervención humana cuando es necesario, garantizando que las decisiones se toman en consonancia con los valores y expectativas humanas^[5]​. La transparencia puede agilizar los trámites de conformidad legal y evitar a las organizaciones posibles acciones legales en el futuro^[6]​, ayudándolas a demostrar que cumplen la normativa y las directrices pertinentes^[7]​.

Otro beneficio es la rendición de cuentas. Al exigir explicaciones a los sistemas automatizados de toma de decisiones, las personas pueden responsabilizar al sistema y a sus creadores de los errores que puedan haberse producido en el proceso y hace menos probable que las empresas hagan un uso indebido de los algoritmos con fines injustos o discriminatorios^[8]​.

El derecho a la explicación también tiene beneficios para las compañías, puede ayudar en campos con un alto riesgo, como la medicina, las finanzas y el derecho, a reducir el impacto de las predicciones erróneas y/o sesgadas^[9]​^[10]​. También ayudar a mejorar el rendimiento de los sistemas proporcionando retroalimentación a los desarrolladores de forma constante^[11]​ y fomenta el desarrollo de nuevas técnicas y tecnologías, como la IA explicable^[5]​.

Mienstras tanto otros sostienen que el "derecho a la explicación" es, en el mejor de los casos, innecesario y, en el peor, perjudicial, y amenaza con ahogar la innovación. Las críticas específicas incluyen: favorecer las decisiones humanas sobre las decisiones de la máquina, ser redundante con las leyes existentes, y centrarse en el proceso sobre el resultado^[12]​.

Los autores del estudio "Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For" Lilian Edwards y Michael Veale sostienen que el derecho a la explicación no es la solución a los perjuicios causados a las partes interesadas por las decisiones algorítmicas. También afirman que el derecho de explicación en el RGPD está estrechamente definido, y no es compatible con la forma en que se están desarrollando las modernas tecnologías de aprendizaje automático. Con estas limitaciones, definir la transparencia en el contexto de la responsabilidad algorítmica sigue siendo un problema. Por ejemplo, proporcionar el código fuente de los algoritmos puede no ser suficiente y puede crear otros problemas en términos de divulgación de la privacidad y de manipulación de los sistemas técnicos.. Para mitigar este problema, Edwards y Veale sostienen que un sistema de auditoría podría ser más eficaz, permitir a los auditores estudiar las entradas y salidas de un proceso de decisión desde fuera, en otras palabras, "explicar las cajas negras sin abrirlas"^[13]​.

A un nivel más fundamental, muchos algoritmos utilizados en el aprendizaje automático no son fácilmente explicables. Por ejemplo, el resultado de una red neuronal profunda depende de muchas capas de cálculos, conectadas de forma compleja, y puede que ninguna entrada o cálculo sea un factor dominante. El campo de la IA explicable trata de ofrecer mejores explicaciones a partir de los algoritmos existentes, y algoritmos que sean más fácilmente explicables, pero es un campo joven y activo^[14]​^[15]​.

Del mismo modo, las decisiones humanas a menudo no pueden explicarse fácilmente: pueden basarse en la intuición o en una "corazonada" difícil de expresar con palabras. Se puede argumentar que a las máquinas no se les debe exigir un nivel de exigencia mayor que a los humanos.

Otros sostienen que las dificultades de la explicabilidad se deben a que se centra demasiado en las soluciones técnicas, en lugar de conectar la cuestión con los interrogantes más amplios que plantea un "derecho social a la explicación"^[16]​.

Edwards y Veale consideran que el derecho a la explicación proporciona algunos criterios para explicar decisiones concretas. Exponen dos tipos de explicaciones algorítmicas, las explicaciones centradas en el modelo y las explicaciones centradas en el sujeto, SCE por sus siglas en inglés, que se ajustan en líneas generales a las explicaciones sobre sistemas o decisiones^[13]​.

Las SCE se consideran la mejor manera de poner remedio a algunos problemas, aunque con algunas limitaciones severas si los datos son demasiado complejos. Su propuesta consiste en desglosar el modelo completo y centrarse en cuestiones concretas mediante explicaciones pedagógicas a una consulta concreta, "que podría ser real, ser ficticia o exploratoria". Estas explicaciones implican necesariamente un compromiso con la precisión para reducir la complejidad.

Con el creciente interés por la explicación de los sistemas técnicos de toma de decisiones en el campo del diseño de interacción persona-ordenador, investigadores y diseñadores se esfuerzan por abrir la caja negra en términos de modelos matemáticamente interpretables, tan alejados de la ciencia cognitiva y de las necesidades reales de las personas. Los enfoques alternativos consistirían en permitir a los usuarios explorar libremente el comportamiento del sistema mediante explicaciones interactivas.

Una de las propuestas de Edwards y Veale consiste es eliminar parcialmente la transparencia como paso clave necesario para la rendición de cuentas y la reparación de daños. Argumentan que las personas que tratan de resolver problemas de protección de datos desean una acción, no una explicación. El valor real de una explicación no será aliviar o reparar el daño emocional o económico sufrido, sino comprender por qué ocurrió algo y ayudar a garantizar que un error no vuelva a repetirse^[13]​.

A mayor escala, en el estudio Explainable machine learning in deployment, los autores recomiendan crear un marco explicable en el que se establezcan claramente los criterios de selección mediante la identificación de las partes interesadas, la colaboración con ellas y la comprensión de la finalidad de la explicación. Además, en el sistema deben tenerse en cuenta aspectos relacionados con la explicabilidad, como la causalidad, la privacidad y la mejora del rendimiento^[17]​.

El artículo 22 del Reglamento General de Protección de Datos establece que los interesados tienen derecho a no ser objeto de decisiones basadas únicamente en el tratamiento automatizado de datos, incluida la elaboración de perfiles, que produzcan efectos jurídicos sobre ellos o les afecten significativamente de forma similar. Sin embargo, hay excepciones a este derecho, como cuando la decisión automatizada es necesaria para la celebración o ejecución de un contrato, está autorizada por la legislación de la Unión o de los Estados miembros, o se basa en el consentimiento explícito del interesado^[18]​.

El artículo 15 también se considera una fuente potencial de este derecho, ya que ordena que los interesados reciban información significativa sobre la lógica implicada en los sistemas de toma de decisiones automatizadas, así como sobre el significado y las consecuencias previstas de dichos sistemas. Esto suele denominarse "derecho a ser informado"^[19]​.

Sin embargo, existen debates y dudas sobre la existencia legal y la viabilidad de un derecho exhaustivo a la explicación en el RGPD^[19]​^[20]​^[21]​. La polémica surge principalmente debido a cuestiones legales y a la falta de claridad en la redacción del reglamento. Aunque el derecho a la explicación está relacionado con el artículo 22 del RGPD, que aborda las decisiones automatizadas y la elaboración de perfiles, este derecho no se menciona explícitamente en los artículos vinculantes del texto, ya que fue eliminado durante el proceso legislativo^[19]​.

Los académicos de Oxford Bryce Goodman y Seth Flaxman afirman que el RGPD crea un "derecho a la explicación", pero no profundizan mucho más allá de ese punto, señalando las limitaciones del actual RGPD. Los académicos Andrew D Selbst y Julia Powles afirman que el debate debería reorientarse hacia la discusión sobre si se utiliza o no la expresión "derecho a explicación", debe prestarse más atención a los requisitos expresos del RGPD y cómo se relacionan con sus objetivos de fondo, y debe reflexionarse más sobre la determinación de lo que realmente significa el texto legislativo^[22]​.

Además, existen restricciones significativas en cuanto a los tipos de decisiones automatizadas cubiertas — que deben basarse "únicamente" en el tratamiento automatizado y tener efectos jurídicos o de importancia similar — lo que limita considerablemente la gama de sistemas y decisiones automatizados a los que se aplicaría el derecho^[19]​. En particular, es poco probable que el derecho se aplique en muchos de los casos de controversia algorítmica que han aparecido en los medios de comunicación^[13]​.

En virtud de la Ley de igualdad de oportunidades de crédito (Reglamento B del Código de Regulaciones Federales), Título 12, Capítulo X, Parte 1002,§1002.9, Los prestamistas están obligados a notificar a los solicitantes a los que se deniega un crédito los motivos concretos de la denegación. Como se detalla en §1002.9(b)(2):^[23]​

(2) Declaración de motivos específicos. La exposición de motivos de la acción desfavorable requerida por el párrafo (a)(2)(i) de esta sección debe ser específica e indicar el motivo o motivos principales de la acción desfavorable. Las explicaciones de que la acción desfavorable se basó en las normas o políticas internas del acreedor o de que el solicitante, el solicitante conjunto o la otra parte similar no alcanzaron una puntuación de aprobación en el sistema de puntuación crediticia del acreedor son insuficientes.

La interpretación oficial de esta sección detalla qué tipos de declaraciones son aceptables. Los prestamistas cumplen esta normativa facilitando una lista de motivos (generalmente un máximo de 4, según la interpretación de la normativa), consistente en un número correspondiente al código de motivo(como identificador) y una explicación asociada, en la que se identifican los principales factores que afectan a la puntuación crediticia^[24]​. Un ejemplo podría ser:^[25]​

32:Saldos en tarjetas bancarias o cuentas corrientes demasiado elevados en comparación con los límites de crédito.

China ha incorporado el derecho a la explicación en su Ley de Protección de Datos Personales, promulgada en agosto de 2021^[26]​.La ley pone límites a las plataformas de internet que toman decisiones automatizadas mediante algoritmos y amplía el derecho a saber de los usuarios de las plataformas. Los usuarios pueden solicitar a las autoridades públicas transparencia en los resultados de las decisiones automatizadas, así como una explicación a posteriori de las decisiones algorítmicas específicas^[8]​.Sin embargo, la ley recoge algunas excepciones, las autoridades públicas no deben usar el derecho a la explicación como base de decisiones administrativas, en caso de que dar una explicación sea imposible, vulnere secretos comerciales o de terceras partes^[27]​.

En Francia, la Loi pour une République numérique (Ley para una República Digital o loi numérique) de 2016 modifica el código administrativo del país para introducir una nueva disposición relativa a la explicación de las decisiones tomadas por los organismos del sector público sobre las personas^[28]​. Señala que cuando se produzca "una decisión tomada sobre la base de un tratamiento algorítmico", las normas que definen dicho tratamiento y sus "características principales" deben comunicarse al ciudadano previa solicitud, cuando no exista una exclusión (por ejemplo, por seguridad nacional o defensa). Entre ellas deben figurar las siguientes:

1. El grado y el modo de contribución del tratamiento algorítmico a la toma de decisiones.
2. Los datos tratados y su fuente.
3. Los parámetros del tratamiento, y en su caso, su ponderación, aplicados a la situación del interesado.
4. Las operaciones efectuadas por el tratamiento.

Los estudiosos han señalado que este derecho, si bien se limita a las decisiones administrativas, va más allá del derecho de la RGPD al aplicarse explícitamente al apoyo a la toma de decisiones en lugar de a las decisiones basadas "únicamente" en el tratamiento automatizado, además de proporcionar un marco para explicar decisiones específicas^[28]​. De hecho, en los derechos de toma de decisiones automatizadas del RGPD en la Unión Europea, uno de los lugares en los que se ha buscado un "derecho a una explicación", tienen su origen en la legislación francesa de finales de los años setenta^[29]​.

En Canadá, las personas tienen derecho a una explicación razonable y comprensible por parte del gobierno en relación con las decisiones administrativas tomadas por sistemas de decisión automatizados^[30]​. La directiva del Consejo del Tesoro sobre la toma de decisiones automatizada tiene como objetivo principal regular y garantizar la implementación responsable de sistemas automatizados de toma de decisiones, con el propósito de minimizar los riesgos y asegurar la eficiencia, precisión y coherencia de dichas decisiones, de acuerdo con la legislación vigente en el país. Además, también exige una evaluación de las repercusiones de los algoritmos y el mantenimiento del derecho a acceder a los sistemas de decisión automatizados y a hacer las pruebas oportunas^[31]​.

Los ciudadanos de Corea del Sur tienen derechos y salvaguardias para garantizar que las decisiones tomadas exclusivamente sobre la base de procesos automatizados o elaboración de perfiles sean justas, transparentes y responsables^[32]​. La Ley de Protección de Datos Personales (PIPA) otorga a los interesados el derecho a rechazar, objetar o pedir explicaciones sobre las decisiones tomadas por medios totalmente automatizados^[33]​.

• Inteligencia artificial explicable

• Transparencia algorítmica
• Toma de decisiones automatizada
• Regulación de algoritmos
• Responsabilidad algorítmica