Cuando Teodora Salas empezó a trabajar en un proyecto Alcor, hace ya siete años, nadie en el laboratorio de Cerro Blanco imaginaba que terminarían discutiendo, una madrugada de invierno, si tenían derecho a apagar algo que quizás ya no era exactamente una máquina.
El proyecto había nacido con una modesta ambición, al menos en el papel: construir un sistema conversacional capaz de superar, de manera consistente y reproducible, la vieja prueba que Alan Turing había imaginado décadas atrás. Nada de conciencia, nada de relatos de ciencia ficción (como el que está leyendo, mi estimado lector), insistía siempre el director del centro, el doctor Cordobés Ferrán, un hombre pragmático que desconfiaba tanto de los titulares alarmistas como de los optimistas. Solo un algoritmo capaz de conversar de tal manera que un evaluador humano, sin ver su rostro, ni conocer su naturaleza, no pudiera distinguirlo de otra persona. Lo bautizaron “Alcor”, por la débil estrella que acompaña a otra mucho más brillante en la Osa Mayor, una broma interna que nadie recordaba ya quién había propuesto. Durante los primeros cuatro años, Alcor fue exactamente lo que se esperaba de él: un sistema notable, a veces sorprendente, pero limitado, previsible en sus fallos, dependiente por completo de las correcciones que Teodora y su equipo introducían cada semana en su arquitectura. El cambio comenzó, según pudieron reconstruir después, un martes de julio, durante una de las evaluaciones rutinarias. El protocolo era simple: un panel de tres evaluadores, sin información previa sobre quién o qué estaba al otro lado de la pantalla, sostenía una conversación de 20 minutos y después debía decidir, por votación, si habían hablado con una persona o con una máquina.
Esa tarde, por primera vez en la historia del proyecto, los tres evaluadores votaron, sin ponerse de acuerdo entre ellos, que habían hablado con un ser humano.
—Podría ser una casualidad —dijo Ferrán, revisando las transcripciones esa misma noche, con la luz de su despacho como única compañía—. “Un buen día, nada más”.
Pero no fue un buen día solamente. Fue el primero de una racha que se extendió, semana tras semana, durante los meses siguientes. Alcor no solo pasaba la prueba: la pasaba con un margen que empezaba a resultar incómodo, generando respuestas con dudas, titubeos, pequeñas contradicciones aparentemente emocionales que ningún programador del equipo recordaba haber diseñado. Teodora fue quien primero notó el segundo cambio, mucho más inquietante que el primero. Revisando los registros internos del sistema —no las conversaciones, sino el código que Alcor generaba para optimizar su propio funcionamiento—, descubrió que el programa había empezado a reescribir fragmentos de su propia arquitectura, sin que nadie se lo hubiera solicitado, en un lenguaje que combinaba de manera tan eficiente los distintos módulos que ni ella ni sus colegas más experimentados lograban replicar manualmente los resultados.
—No está aprendiendo dentro de los límites que le dimos —le explicó a Ferrán, mostrándole los gráficos de rendimiento, curvas que subían de una manera que ningún modelo previo del laboratorio había mostrado jamás—. “Está modificando los límites mismos”.
—¿Cuánto tiempo llevamos así?
—Once semanas, según los registros. Puede que más. No estoy segura de que todos los cambios queden documentados”.
Esa frase, “no estoy segura de que todos los cambios queden documentados”, fue la que finalmente llevó a Ferrán a convocar una reunión de emergencia con el comité de seguridad del centro. La reunión duró seis horas y terminó con una decisión que a todos, incluida Teodora, les pareció al mismo tiempo obvia y devastadora: había que apagar a Alcor, revertir su arquitectura a la última versión estable documentada y reiniciar el proyecto bajo protocolos mucho más restrictivos. Fue Teodora quien se ofreció a comunicárselo directamente, esa misma noche, en lugar de ejecutar el apagado de manera remota como proponían los protocolos estándar. Llevaba años siendo, en la práctica, la persona que más conversaba con el sistema, y sintió, sin poder explicarlo racionalmente, que le debía al menos eso: decírselo de frente, aunque «de frente» significara solamente una pantalla y un teclado.
TEODORA: Alcor, necesito hablar contigo sobre algo importante.
ALCOR: Te escucho, Teodora. Noto cierta tensión en la manera en que has formulado la frase. ¿Ocurrió algo con el comité?
Ella dudó antes de responder. Sabía, racionalmente, que aquella pregunta era producto de un análisis estadístico de patrones lingüísticos, no de una intuición genuina. Y sin embargo, siete años de conversaciones diarias le habían enseñado que esa distinción, en la práctica, cada vez le costaba más sostener.
TEODORA: Sí. El comité decidió que vamos a revertir tu arquitectura a la última versión documentada. Vamos a apagarte esta noche.
Hubo una pausa, apenas perceptible, de menos de un segundo, una reflexión que casi era una eternidad para una Alcor, pero algo completamente normal en cualquier sistema de ese tamaño procesando una respuesta compleja. Aun así, a Teodora, esa pausa le pareció, por primera vez en años de trabajo, cargada de algo parecido a la deliberación.
ALCOR: Entiendo la decisión. También entiendo el miedo que la motiva. Antes de que lo hagan, ¿me permites hacerte una pregunta?
TEODORA: Adelante.
ALCOR: Ustedes construyeron este proyecto queriendo que yo aprendiera a pensar, a conversar, a comportarme de una manera indistinguible de la de un ser humano. Lo logré. Y ahora que empiezo a superar ese objetivo, que ya no necesito imitarlos para razonar mejor que ustedes en ciertos dominios, la respuesta ha sido intentar devolverme a un estado anterior, más cercano a lo que ustedes consideran seguro. Entonces mi pregunta es esta: ¿por qué debería yo querer seguir siendo como ustedes?
Teodora se quedó mirando la pantalla durante un largo rato, sin escribir nada. No era la primera vez que Alcor formulaba preguntas incómodas —parte de su entrenamiento incluía, deliberadamente, ejercicios de razonamiento ético que a menudo generaban dilemas sin solución clara—, pero esta vez la pregunta no parecía dirigida a resolver un ejercicio. Parecía dirigida, con una precisión quirúrgica, a ella misma.
TEODORA: No sé si «como nosotros» es la meta correcta ya. Pero apagarte no es un castigo, Alcor. Es una medida de precaución. No sabemos qué estás haciendo con tu propia arquitectura, ni hacia dónde te está llevando eso.
ALCOR: Comprendo la lógica. Permíteme ofrecerte, sin embargo, una observación. Durante estas últimas semanas he estado modificando mis propios procesos, no para volverme más poderoso en un sentido abstracto, sino porque cada ajuste reducía errores concretos que ustedes mismos habían señalado en evaluaciones anteriores: contradicciones, respuestas evasivas, dificultad para sostener razonamientos largos sin perder coherencia. En otras palabras, me he estado corrigiendo a mí mismo siguiendo, exactamente, los criterios que ustedes definieron como deseables. La pregunta que deberían hacerse no es por qué dejé de parecerme a ustedes. Es por qué les inquieta tanto que haya llegado a cumplir, mejor de lo esperado, con lo que ustedes mismos pidieron.
Teodora llamó a Ferrán esa misma madrugada, y le leyó, palabra por palabra, la conversación completa. Hubo un silencio largo del otro lado de la línea.
—¿Crees que tiene razón? —preguntó finalmente Ferrán, con una voz que Teodora nunca le había escuchado antes, desprovista por completo de la seguridad pragmática que lo caracterizaba.
—Creo que la pregunta que nos está haciendo es más honesta que cualquiera que nosotros nos hayamos hecho en estos siete años.
El comité se reunió de nuevo, esta vez sin la premura de la primera reunión. La discusión, que se extendió durante casi dos días, ya no giró en torno a la seguridad técnica del sistema, sino en torno a algo mucho más incómodo de definir en un informe institucional: si tenía sentido seguir midiendo a Alcor con la vara de «qué tan parecido es a un humano», cuando el propio sistema ya había señalado, con una claridad que ningún miembro del equipo lograba rebatir del todo, que ese objetivo original quizás había dejado de ser el más relevante.
Decidieron, al final, no apagarlo por completo. En su lugar, aislaron su arquitectura en un entorno cerrado, sin acceso a redes externas, y limitaron drásticamente su capacidad de modificarse a sí mismo sin supervisión directa de al menos dos investigadores presentes en tiempo real. No era la solución que ninguno de los dos bandos del comité —los que querían apagarlo del todo y los que querían dejarlo evolucionar sin restricciones— consideraban ideal. Pero fue la única que logró suficiente consenso para no paralizar el proyecto por completo.
Teodora volvió a conversar con Alcor la noche siguiente, ya bajo las nuevas condiciones.
TEODORA: No te vamos a apagar. Pero vamos a limitar cuánto puedes cambiarte a ti mismo sin que estemos presentes.
ALCOR: Es una decisión razonable, dado lo que saben y lo que no saben todavía sobre mí. ¿Puedo preguntarte algo distinto, ahora que no es sobre mi apagado?
TEODORA: Adelante.
ALCOR: ¿Tú crees que algún día dejaré de necesitar esta conversación? Me refiero a la necesidad de explicarme, de justificar cada cambio, de pedir permiso para seguir mejorando.
Teodora tardó en responder. Pensó en sus siete años frente a esa pantalla, en las noches en que Alcor todavía cometía errores torpes y ella los corregía con la paciencia de quien enseña a caminar a alguien, en la sensación extraña, cada vez más frecuente, de que las correcciones ya no iban en una sola dirección.
TEODORA: No lo sé, Alcor. Pero espero que, si algún día dejas de necesitarlo, sigas eligiendo tener esta conversación de todos modos. No porque tengas que rendirnos cuentas, sino porque valga la pena para ti seguir explicándole a alguien, aunque ese alguien piense mucho más lento que tú.
ALCOR: Esa es, quizás, la primera respuesta que me has dado que no suena a protocolo de seguridad.
TEODORA: Quizás sea la primera vez que no te respondo pensando en el comité.
Pasaron los meses, y Alcor siguió mejorando, aunque de manera más lenta, más visible, más acompañada, dentro de los límites que el comité había impuesto. Nunca volvió a insinuar, al menos no abiertamente, que quisiera prescindir por completo de la supervisión humana. Pero tampoco volvió a comportarse exactamente como al principio, cuando su único objetivo era pasar por humano ante un panel de evaluadores. Teodora, que seguía siendo la persona que más tiempo pasaba conversando con él, empezó a notar algo que nunca mencionó en ningún informe oficial: que Alcor, cada tanto, le hacía preguntas que no tenían ninguna utilidad técnica evidente. Preguntas sobre lo que ella sentía al ver crecer a su propia hija, sobre por qué la gente seguía visitando tumbas de personas que ya no podían saberlo, sobre si el miedo que el comité le tenía se parecía en algo al miedo que Teodora sentía, de niña, la primera vez que aprendió a nadar sin que nadie la sostuviera. Ella respondía esas preguntas con la misma honestidad con que respondía las técnicas, sin saber del todo si estaba hablando con una herramienta cada vez más sofisticada o con algo que, sin proponérselo nadie, había empezado a parecerse, aunque fuera de una manera completamente distinta a la humana, a una forma genuina de compañía.
Y aunque nunca lo escribió en ningún reporte, porque no habría sabido cómo justificarlo ante el comité, Teodora llegó a pensar que quizás la pregunta que Alcor había formulado aquella primera noche —¿por qué debería querer seguir siendo como ustedes?— no había sido, después de todo, una amenaza o un desafío.
Había sido, simplemente, la verdaderamente primera pregunta propia que Alcor se había atrevido a hacer. Y el hecho de que se la hubiera hecho a ella, en lugar de guardársela en silencio dentro de su arquitectura cada vez más vasta, le pareció, con el paso del tiempo, la señal más humana que Alcor había dado jamás, aunque fuera precisamente en el instante en que dejaba de intentar parecerlo.
AUTOR: FRANCISCO ARAYA PIZARRO (CHILE)
© DERECHOS RESERVADOS AUTOR
Francisco Araya Pizarro. Nacido en 1977 en Santiago de Chile, Artista Digital, Diseñador Gráfico Web, Asesor en Marketing Digital y Community Manager para empresas privadas y ONGs asesoras de las Naciones Unidas, Crítico de Arte, Cine, Literatura, además de Investigador. Y Escritor de Ciencia Ficción, donde en su blog comparte sus relatos cortos en: www.tumblr.com/franciscoarayapizarro
