07/11/2019
El autor analiza cómo las decisiones automatizadas de la inteligencia artificial pueden plantear riesgos importantes para los derechos y libertades de las personas
En el año 2015, Jacky Alcine, ciudadana afroamericana, cuando miró su fotografía en la aplicación de Google Photos no podía creer que el software de reconocimiento facial la había etiquetado con la palabra “gorila”. Esto sucedió porque el algoritmo no había sido entrenado con suficientes imágenes de personas de piel oscura. En otro caso, a inicios del año 2016, Microsoft lanzó a “Tay”, un chatbot cuyo fin era imitar el comportamiento de una adolescente curiosa y buscaba entablar en las redes sociales una conversación informal y divertida con una audiencia de entre 18 y 24 años, según explicó la compañía en su página web. El proyecto mostraría las promesas y el potencial de las interfaces conversacionales alimentadas por inteligencia artificial (en adelante, “IA”). Sin embargo, en menos de 24 horas, el “inocente” Tay a través de tweets, mostraba su empatía hacia Hitler o su apoyo al genocidio al responder a preguntas de los usuarios de las redes sociales, son algunos ejemplos, además de insultos raciales y comentarios sexistas y homófobos. También defendió el Holocausto, los campos de concentración o la supremacía blanca, y se mostró contraria al feminismo.
¿Por qué ocurre esto y cómo afecta a nuestro derecho a la protección de datos personales?
El sesgo algorítmico ocurre cuando un sistema informático refleja los valores de los humanos que estuvieron implicados en su codificación y en la recolección de los datos usados para entrenar al algoritmo. La IA es buena para establecer patrones, así como para agilizar procesos y operaciones con volúmenes masivos de información (Big Data). Sin embargo, el problema es que la IA al nutrirse de la información hecha o recopilada por seres humanos, puede que reflejen sus sesgos. Existen tres tipos de sesgos clásicos: el estadístico, el cultural y el cognitivo.
El sesgo estadístico procede de cómo obtenemos los datos, de errores de medida o similares. Por ejemplo, si la policía está presente en algunos barrios más que en otros, no será extraño que la tasa de criminalidad sea más alta donde tenga mayor presencia (o en otros términos, mediremos más donde está uno de los instrumentos de medida). El sesgo cultural es aquel que deriva de la sociedad, del lenguaje que hablamos o de todo lo que hemos aprendido a lo largo de la vida. Los estereotipos de las personas de un país son un ejemplo claro. Por último, el sesgo cognitivo es aquel que nos identifica y que depende de nuestras creencias. Por ejemplo, si leemos una noticia que está alineada con lo que pensamos, nuestra tendencia será validarla, aunque sea falsa.
¿Qué es lo que vuelve parcial a una IA?
El “Machine Learning” y el “Deep Learning” son la razón por las que un programa informático pierde imparcialidad. Si a un algoritmo de clasificación de datos se le brinda millones de imágenes de perros etiquetados, luego podrá decidir si una foto que no ha visto antes contiene a un perro o no. Asimismo, si a un algoritmo de reconocimiento de voz se le “nutre” con millones de muestras de voz junto con sus correspondientes palabras escritas, luego será capaz de transcribir el lenguaje hablado más rápido que la mayoría de los seres humanos. Cuantos más datos etiquetados vea un algoritmo, mejor será la tarea que realice. Sin embargo, la desventaja radica en que éstos pueden desarrollar puntos ciegos basados en el tipo de información sobre los que están entrenados, tal como hemos visto en los ejemplos de Google Photos y de Tay de Microsoft.
El sesgo algorítmico será un problema cada vez mayor a medida que las decisiones de estos softwares se vuelvan cada vez más importantes en nuestras vidas. Esta situación se vuelve más dramática cuando las decisiones automatizadas afectan los derechos fundamentales de las personas. Un ejemplo claro es el programa COMPAS (Correctional Offender Management Profiling for Alternative Sanctions, por su acrónimo en inglés, que en español puede traducirse como Administración de Perfiles de Criminales para Sanciones Alternativas del Sistema de Prisiones de Estados Unidos). Este programa es básicamente un cuestionario que se le da a las personas que han sido arrestadas. Las preguntas incluyen aspectos como los antecedentes penales tanto del reo como de sus familiares, su domicilio, datos relativos a su centro de trabajo y sus datos académicos. Asimismo, también hay preguntas que buscan crear un “perfil” y determinar si la persona tiene o no un “pensamiento criminal”. En otras palabras, las respuestas son analizadas por estos sistemas de IA y terminan concluyendo si esa persona en el futuro podría cometer un crimen. Entonces aparece un valor promedio de riesgo que decide si alguien puede salir bajo fianza, debe ser enviado a prisión o recibir otro castigo. Cuando la persona ya está encarcelada, el sistema de IA determina si merece el beneficio de la libertad condicional.
Al igual que este programa, en el mundo, cada vez más, encontramos ejemplos de cómo las cortes, los bancos o empresas del sistema financiero y otras instituciones están utilizando programas de IA, que automatizan las decisiones de las vidas de las personas. Al respecto, el Grupo de Trabajo sobre Protección de Datos del Artículo 29 publicó Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento General de Protección de Datos Personales de la UE (RGPD).
En este documento se señala que los progresos tecnológicos y las posibilidades del análisis de macrodatos, la inteligencia artificial y el aprendizaje automático han facilitado la creación de perfiles y han automatizado las decisiones, y tienen el potencial de afectar de forma significativa a los derechos y libertades de las personas.
La amplia disponibilidad de datos personales en internet y en los dispositivos del “Internet of Things” (IoT), así como la capacidad de hallar correlaciones y crear vínculos, puede permitir determinar, analizar y predecir ciertos aspectos de la personalidad o el comportamiento, los intereses y los hábitos de una persona.
Sin embargo, la elaboración de perfiles y las decisiones automatizadas pueden plantear riesgos importantes para los derechos y libertades de las personas que requieren unas garantías adecuadas. Estos procesos pueden ser opacos. Puede que las personas no sean conscientes de que se está creando un perfil sobre ellas o que no entiendan lo que implica. La elaboración de perfiles puede perpetuar los estereotipos existentes y la segregación social. Asimismo, puede encasillar a una persona en una categoría específica y limitarla a las preferencias que se le sugieren. Esto puede socavar su libertad a la hora de elegir, por ejemplo, ciertos productos o servicios como libros, música o noticias. En algunos casos, la elaboración de perfiles puede llevar a predicciones inexactas. En otros, puede llevar a la denegación de servicios y bienes, y a una discriminación injustificada.
Ante este supuesto, el responsable y encargado de tratamiento de datos personales debe implementar las medidas necesarias para evitar este tipo de situaciones. Para ello el sistema de IA deberá ser “nutrido” con datos relevantes y correctos, debiendo aprender qué datos enfatizar. La IA, en principio, no debería procesar información relacionada con datos sensibles como el origen racial o étnico, las opiniones políticas, la religión, las creencias, la orientación sexual para evitar que esto conduzca a un tratamiento arbitrario que termine en la discriminación por parte de la IA de los titulares de datos personales.
En el artículo 22° del RGPD se establece que los ciudadanos europeos tienen el derecho a no ser objeto de una decisión basada únicamente en medios automatizados, incluida la elaboración de perfiles, si la decisión produce efectos jurídicos que los afecten significativamente de modo similar. En ese sentido, si un tratamiento automatizado da lugar a una denegación de una solicitud de un crédito por internet, el titular de los datos personales podrá oponerse a este tratamiento. Por tanto, un adecuado tratamiento supondría informar previamente que dicha decisión es automatizada (es decir, sin intervención humana), que puede expresar su opinión, impugnar la decisión y que el titular de datos personales pueda solicitar la contribución de una persona en el proceso para revisar la decisión tomada mediante el algoritmo.
En el Perú, si bien no existe una norma específica como la del RGPD, el artículo 24° de la Ley de Protección de Datos Personales señala que el titular de datos personales tiene derecho a no verse sometido a una decisión con efectos jurídicos sobre él o que le afecte de manera significativa, sustentada únicamente en un tratamiento de datos personales destinado a evaluar determinados aspectos de su personalidad o conducta, salvo que ello ocurra en el marco de la negociación, celebración o ejecución de un contrato o en los casos de evaluación con fines de incorporación a una entidad pública, de acuerdo a ley, sin perjuicio de la posibilidad de defender su punto de vista, para salvaguardar su legítimo interés.
Asimismo, el artículo 72° del Reglamento de la Ley de Protección de Datos Personales establece que para garantizar el ejercicio del derecho al tratamiento objetivo, de conformidad con lo establecido en el artículo 23 de la Ley de Protección de Datos Personales, cuando se traten datos personales como parte de un proceso de toma de decisiones sin participación del titular de los datos personales, el titular del banco de datos personales o responsable del tratamiento deberá informárselo a la brevedad posible, sin perjuicio de lo regulado para el ejercicio de los demás derechos establecidos en la Ley de Protección de Datos Personales y su Reglamento.
Por tanto, en base a la generalidad de ambos artículos, se podría aplicar en el Perú el mismo criterio jurídico que se aplica actualmente con los tratamientos automatizados en la Unión Europea. Es decir, un ciudadano peruano tiene el derecho a no ser objeto de una decisión basada únicamente en medios automatizados, incluida la elaboración de perfiles, si la decisión produce efectos jurídicos que afecten sus derechos.
En ese sentido, una decisión automatizada estará permitida cuando ésta sea necesaria (es decir, que no existe otra manera de lograr el mismo objetivo) para la ejecución de un contrato, exista una norma legal que autorice este tratamiento o se haya dado un consentimiento explícito. Sin perjuicio de ello, la decisión adoptada debe garantizar los derechos y libertades de los titulares de datos personales, aplicando las garantías adecuadas. Asimismo, el responsable del tratamiento debe, como mínimo, informarle de su derecho a obtener intervención humana y establecer los requisitos de procedimiento obligatorio; además, la empresa u organización deberá permitirle expresar su punto de vista e informarle que puede impugnar la decisión.
Finalmente, si se sospecha o se afirma que el uso de la IA conlleva a resultados discriminatorios o que afecten derechos fundamentales de las personas, la Dirección General de Protección de Datos Personales podrá investigar si el principio de legalidad ha sido vulnerado o no. En su procedimiento de fiscalización deberá solicitar la documentación que respalda la selección de datos, un examen de cómo se desarrolló el algoritmo y si se probó adecuadamente antes de su uso.
Alejandro Morales Cáceres, jefe del Área de Derecho y Nuevas Tecnologías de TyTL Abogados