Test de Feigenbaum

El test de Feigenbaum es una variación de la test de Turing en la que un sistema informático intenta replicar a un experto en un campo determinado, como la química o el marketing . Fue propuesta por Edward Feigenbaum en un artículo de 2003.​ También es conocido como test de Turing de experto en la materia.

Feigenbaum parte del Test de Turing, en el que un humano ha de tratar de distinguir a otro humano de un ordenador basándose en las respuestas que ambos aporten a las mismas preguntas, para evaluar hasta qué punto dicho ordenador es capaz de emular la inteligencia humana. El problema con este test, sostiene Feigenbaum, es que la inteligencia humana es multidimensional, y el evaluador ha de tener en cuenta todas sus múltiples facetas en su juicio de la máquina, con lo cual, los Sistemas Expertos, sistemas informáticos especializados en áreas específicas introducidos por el propio Feigenbaum en 1965​; serían incapaces de superar la prueba, debido a su falta de flexibilidad. Con esto, plantea su propia versión del test, dirigida a probar la calidad de razonamiento de los Sistemas Expertos en sus áreas de especialización en comparación con humanos expertos en esas áreas.

Planteamiento

El test consiste en lo siguiente​:

Es seleccionado como jugador un experto en algún campo de las ciencias naturales, medicina o ingeniería. En cada ronda del juego, otro académico, experto también en el campo escogido, planteará problemas, pedirá explicaciones, y juzgará las respuestas del jugador y de la inteligencia computacional, sin saber quién se trata de quién. Esto se repetirá con otras dos materias diferentes, con una pareja distinta de expertos como juez y jugador en cada una. El test se considerará superado si uno de los tres jueces es incapaz de distinguir entre el rendimiento del humano y el ordenador.

Test de Feigenbaum aplicado

En 2016, los académicos Qixin Wang, Tianyi Luo y Dong Wang realizaron una investigación para determinar si una red neuronal simple era capaz de imitar a humanos en la creación de arte, centrándose en concreto en la generación de poesía tradicional china​.

Para evaluar la calidad de los poemas creados con Inteligencia Artificial, hicieron servir el Test de Feigenbaum: primero, pidieron a un grupo de expertos en generación de poesía tradicional China que escribieran poemas dentro de 30 temas preestablecidos, y después de recibir 144 sumisiones, generaron el mismo número de poemas dentro de los 30 temas con su red neuronal artificial. Otro experto fue designado para la primera ronda de filtración, tras la que se mantuvieron 83 poemas humanos (57.6%) y 180 poemas generados por ordenador (86.5%).

Los 263 restantes fueron distribuidos entre 24 expertos para ser evaluados, a los que se les pidió que contestaran dos preguntas: 1. Si el poema era de creación humana. 2. La calidad del poema en una escala del 1 al 5. Un 41.27% de los poemas humanos fueron identificados como poemas generados por ordenador, mientras que un 31% de los poemas de ordenador fueron identificados como humanos, lo que supone superar el test, ya que el criterio es engañar a los expertos en un 30% de las pruebas. En cuanto a la puntuación, los poemas generados por IA obtuvieron de media un resultado peor, con un 61.9% de los poemas obteniendo tres puntos o más, en contraposición al 75.6% de los poemas humanos. Por otra parte, de entre los 10 poemas mejor puntuados, las posiciones 1, 2 y 7 fueron tomadas por poemas generados por ordenador, mostrando que aunque los poemas humanos sean mejores de media, la IA es capaz de generar poemas que superen a los autores humanos.