El algoritmo que te lee la mente (y, a veces, te salva la vida)

Empecemos por confesar algo que a esta altura ya no sorprende a nadie, aunque debería: le contamos a un chatbot cosas que jamás le diríamos a un cura, a un psicólogo ni, muchas veces, a nuestra propia madre. Le preguntamos por qué nos duele el pecho antes de ir al médico, le pedimos que redacte el mensaje incómodo que no nos animamos a escribir, y —como acaba de mostrarnos un adolescente de Quilmes— hay quien le cuenta, con lujo de detalles, cómo piensa cometer una masacre en su colegio. La diferencia es que esta vez, alguien —o, mejor dicho, algo— estaba escuchando. Y avisó.

El caso, en criollo

El 19 de agosto pasado, el agregado jurídico del FBI en la embajada de Estados Unidos les pasó un dato caliente a las autoridades argentinas: un usuario había mantenido una conversación con ChatGPT en la que manifestaba, con nombre de fecha incluido (2027, aunque "con ganas de adelantarla", como quien reprograma un cumpleaños), su intención de perpetrar un tiroteo escolar. Preguntaba por armamento, por indumentaria táctica, por logística. El sistema de OpenAI detectó las palabras clave, disparó una alerta automática, esa alerta llegó al FBI, el FBI se la giró a la Policía Federal Argentina, y en cuestión de días hubo un allanamiento en Quilmes con pasamontañas, guantes tácticos y celulares secuestrados. Un pibe de 15 años, hoy imputado por "intimidación pública", nunca llegó a cruzar la puerta del colegio con las intenciones que tenía en la cabeza.

Hasta acá, la película tiene final feliz. El problema es que las películas con final feliz también hay que mirarlas fotograma por fotograma, para entender qué mecanismo hizo posible ese final.

La pregunta incómoda que nadie quiere hacerse en voz alta

¿Quién le dio permiso a ChatGPT para leer nuestras conversaciones y decidir, unilateralmente, cuáles ameritan un llamado al FBI?

La respuesta corta es: nosotros. Cada vez que aceptamos unos términos y condiciones de cuarenta páginas sin leer una sola línea, le dimos ese permiso. Las plataformas de IA generativa tienen políticas de uso que habilitan el reporte de contenido vinculado con daño inminente a terceros, amenazas creíbles de violencia o abuso infantil. No es una novedad ni una intromisión clandestina: es letra chica que se volvió, de la noche a la mañana, letra grande.

Y acá conviene detenerse en la naturaleza de ese consentimiento, porque no es cualquier consentimiento. Es un contrato de adhesión: OpenAI redacta las cláusulas, nosotros las aceptamos en bloque con un clic, y no hay margen de negociación posible, como sí lo hay —al menos en la teoría— cuando firmamos un contrato de locación o un mutuo hipotecario. Ese consentimiento, sin embargo, alcanza para habilitar contractualmente algo tan sensible como el reporte a una fuerza de seguridad extranjera. Y ahí aparece la paradoja: dimos un consentimiento amplísimo, redactado para cubrir cualquier escenario imaginable, para que la empresa lo use de forma angosta, discrecional y excepcional. Firmamos un cheque en blanco que, en la práctica, casi nunca se cobra —pero que sigue siendo, jurídicamente, un cheque en blanco—. La pregunta no es si prestamos consentimiento: lo prestamos, y de forma válida según cualquier manual de contratos. La pregunta es si ese consentimiento genérico, pensado por un estudio de abogados de California para blindar a la empresa, alcanza para justificar el ejercicio puntual y excepcional de una potestad tan parecida a la de un Estado.

La pregunta larga, la que de verdad importa, es otra: ¿dónde está la línea entre "detectar una amenaza real e inminente" y "vigilar sistemáticamente las conversaciones privadas de millones de personas basándose en palabras clave"? Porque un algoritmo no distingue matices con la sutileza de un juez de garantías. Distingue patrones. Y un patrón puede confundir a un guionista investigando para su próxima novela negra con un potencial victimario. Puede confundir a un historiador preguntando sobre armamento de la Segunda Guerra con un fanático de las masacres. La ironía es deliciosa: para salvarnos de una masacre real, el sistema tuvo que tratar como sospechosas —aunque sea por una fracción de segundo, aunque sea de forma automatizada— las conversaciones de millones de personas que jamás lastimarían a nadie.

El derecho corre detrás de la tecnología

Nuestra Constitución protege la privacidad en el artículo 19: las acciones privadas de los hombres que de ningún modo ofendan al orden y a la moral pública, ni perjudiquen a un tercero, están reservadas a Dios y exentas de la autoridad de los magistrados. Hermosa fórmula decimonónica que jamás imaginó que el "magistrado" de nuestra época fuera, en los hechos, un modelo de lenguaje entrenado con billones de parámetros.

El límite constitucional siempre estuvo puesto en el daño a terceros. Y ahí es donde el caso Quilmes, lejos de ser una anécdota policial, se convierte en un caso testigo: cuando la amenaza a un tercero es real, concreta y verificable —como lo fue acá, con fecha, con lugar y con intención expresa—, la privacidad cede. No hay debate posible: ningún derecho a la intimidad puede escudar la planificación de una masacre. Eso lo tenemos claro desde antes de que existiera internet.

Lo que no tenemos claro —y ahí está el verdadero desafío jurídico de esta década— es qué pasa con todo lo demás. Con 99,99% de las conversaciones que el sistema también procesa, también analiza, también podría reportar si el algoritmo se equivoca de umbral. Porque la vigilancia no funciona como un interruptor que se enciende solo ante el peligro: funciona como una luz que está siempre encendida, y que el sistema decide, en cada instante, si te apunta a vos o no.

Entonces, ¿qué hacemos?

No hay una respuesta binaria, y cualquiera que se la ofrezca en esta nota les está mintiendo. Lo que sí hay son preguntas que como sociedad —y como abogados que vamos a tener que litigar esto en los próximos años— no podemos seguir esquivando:

¿Quién audita los criterios con los que estas plataformas deciden qué reportar? ¿Existe algún control judicial previo, o todo queda librado a la discrecionalidad de una empresa privada extranjera que ni siquiera está sujeta a nuestras leyes de protección de datos? ¿Qué pasa con los falsos positivos, con la persona que consulta por curiosidad morbosa y termina allanada? ¿Y qué marco normativo argentino —porque hoy, seamos honestos, no tenemos casi ninguno— regula qué puede hacer una IA extranjera con los datos de un usuario argentino?

El caso Quilmes va a quedar en los diarios como una buena noticia, y lo es. Pero también debería quedar como el disparador de un debate que recién empieza. Porque la próxima vez que el algoritmo decida tocarnos la puerta, más vale que sepamos con qué reglas jugó antes de tocarla.

¿La privacidad absoluta murió con ChatGPT, o simplemente aprendimos —tarde, como casi siempre— que ya hacía rato que no existía?

 *

(El autor es abogado y profesor en Derecho Constitucional - UNNE – UCP).