El Test de Turing está roto

Se supone un juez situado en una habitación, una máquina y un ser humano en otra. El juez debe descubrir cuál es el ser humano y cuál es la máquina, estándoles a los dos permitido mentir al contestar por escrito las preguntas que el juez les hiciera.

Últimamente se ha levantado bastante revuelo porque al parecer por primera vez una máquina ha pasado el test de turing. Por mucho que me gustase dar la razón al artículo, aún no hemos llegado ahí.

¿Qué son los premios Loebner? Es el concurso anual donde se pone a prueba el test de Turing y se premia a aquellos que más se acerquen. Si repasamos su historia, las IAs presentadas al concurso llevan engañando a sus jueces desde el 2010 como poco. ¿Por qué? Desde pequeños trucos como comenter faltas de ortografía a jugar con el contexto del bot.

Entonces, si ya han engañado a los jueces antes, ¿qué tiene este de especial? Simplemente que ha engañado al 33% de ellos, lo que debería ser un paso en la dirección correcta, ¿no?

Pues sí y no.

Aunque es indudable que las IAs van avanzando, y los algoritmos de conversación máquina-humano progresan adecuadamente, también es cierto que tal como se plantea este test de Turing parte de 2 premisas que le restan validez: el contexto que se le da a los bots y la naturaleza de los propios jueces.

Si la premisa del bot es que es un chaval Ucraniano de 13 años que no domina el idioma en el que le van a entrevistar, el propio contexto del bot hace difícil saber si es humano o no. Es decir, ¿saben los entrevistadores cómo son los niños de 13 años? ¿Saben cómo son los niños Ucranianos? Si no saben qué esperar de él, entonces respuestas bastante absurdas pueden pasar por válidas, simplemente porque no tenemos una experiencia previa con la que compararlo. ¿Que nos responde a otra cosa? Puede ser un fallo de la IA o que sea un niño Ucraniano de 13 años, que odia Star Wars y ama Eminem, y yo qué se cómo son los niños Ucranianos, me encaja y ya.

Si digo que mi bot se comporta como un anciano de 93 años con movilidad reducida que está teniendo su primera experiencia con un PC, y le hago pulsar teclas al azar, ¿pasa el test de Turing? Cuanto más nos desviemos de lo que conocemos y más derivemos la conversación hacia el absurdo (el bot parece estar obsesionado con su cobaya, que está implicada en un movimiento de igualdad entre las cobayas) menos diremos de la capacidad de la maquina y más sobre nuestro propio desconocimiento del ser humano en toda su diversidad.

Otra son los propios entrevistadores y las personas que compiten contra los bots: Si un entrevistador no contempla que pueda estar hablando con una máquina, su capacidad de detección será menor. Si está especialidado en la temática (como un Deckard contemporáneo) resultaría difícil que se le engañase con tecnología del 2014. Del mismo modo, si las personas que compiten contra el bot no interpretan bien los comentarios de los jueces, se confunden, o no son buenos demostrando ser humanos (yo mismo no entiendo gran parte de los comentarios de youtube y bien diría que podrían ser de bots) añaden una dificultad extra.

En definitiva, tal como está planteado actualmente el test de Turing es más un test de inteligencia, alerta y percepción humana, que una medición del estado del arte de las Inteligencias Artificiales. Los expertos en el campo, como Raymond Kurzweil estiman que en el 2029 tendremos máquinas que pasan el test de Turing.

Personalmente, creo que cuando lo empiecen a superar no nos enteraremos en los Premios Loebner. Posiblemente un día una teleoperadora llame a tu casa a venderte un servicio, y notes algo raro en sus respuestas pero no sepas identificarlo. Y quizás pienses, algunas respuestas eran algo mecánicas, casi parecía que estaba hablando con un robot. Y voilá. Singularidad tecnológica, accelerando, tecnosociedad… acabamos de dar el salto, y se ha dado para poderte vender una nueva tarifa mucho más barata despidiendo a toda la plantilla y sustituyéndalo por un servidor. Sí, eso me suena mucho más humano.

Lo más probable es que se parezca a esta conversación, que ya me puso los pelos de punta en su día:

En realidad, parece ser que son grabaciones que ejecuta una persona real para no tener que hablar y se vea su acento pero… ¿te imaginas tener una conversación así con una máquina? ¿Te imaginas escuchar esa risa inanimada del final? Eso es pasar el test de Turing, máquinas que te erizan el vello de la nuca, no niños de 13 años hablando de cobayas.