A través de un artículo en slashdot, he llegado a una entrevista con Kevin Warwick en la que comenta una lista de formas de distinguir un chatbot de una persona. Yo me tomaría la lista a la inversa: cosas que hay que mejorar en los chatbots para que pasen el test de Turing:

• Memoria a medio plazo: los chatbots no suelen recordar lo que se les pregunta a medio plazo. Si se les hace una pregunta y dos minutos después la repites, es posible que contesten con la misma respuesta. Habría que trabajar en algo parecido a una «memoria de conversación» para mejorar los chatbots actuales.

• Humor: hay chatbots que empiezan a incorporar chistes en su vocabulario. En la entrevista citan el ejemplo de un chatbot que consigue hacer un buen chiste y engañar al juez en el premio loebner.

• Tendencia a la pasividad: los chatbots no suelen controlar el tema y ritmo de la conversación y en algunos casos son completamente pasivos.

• Preguntas situacionales: preguntas cómo qué tiempo hacía esta mañana, dónde está el aparcamiento camino del trabajo, etc. Las preguntas que implican un contexto además del habitual son muy difíciles de contestar para un chatbot.
  

• Temas de actualidad: hacer preguntas de actualidad general no suele fallar. Pero Warwick cita el ejemplo de una persona confundida con un chatbot al ser preguntado por Sarah Palin. La persona era un bibliotecario francés que nunca había oído hablar de ella.

A corto plazo, creo que no es imprescindible pasar el test de turing para tener un chatbot interesante. Para ciertas aplicaciones puede ser suficiente con pasar el test de turing en un contexto específico, una especie de test limitado. Si alguna vez tenemos un robot que prepare perritos calientes, no le vamos a preguntar por Sarah Palin! Pero es importante que recuerde la información situacional relativa a los perritos, que tenga memoria a corto plazo, no se pierda en la conversación y que no sea completamente pasivo.