Por: Chandan Singh, investigador senior; Jianfeng Gao, miembro técnico y vicepresidente corporativo.

El problema de la explicabilidad en la neurociencia del lenguaje

En la última década, los LLMs se han convertido en las herramientas más precisas que tenemos para predecir cómo responde el cerebro humano al lenguaje. Si se alimenta a un LLM la misma historia que una persona escucha en un escáner de fMRI, las representaciones internas del modelo pueden predecir la actividad de parches individuales de la corteza con una fidelidad notable. Pero este éxito tiene una condición: nadie puede leer estos modelos. Son millones de parámetros inescrutables que no pueden traducirse de manera directa en interpretaciones. Un modelo que predice la actividad cerebral nos dice que una región responde al lenguaje, pero no a lo que realmente detecta, ya sea comida, lugares, números o cualquier otra cosa distinta. A medida que los modelos de caja negra se expanden, la brecha entre la predicción y la comprensión se ha convertido en uno de los problemas centrales de la neurociencia computacional.

Convertir las cajas negras en teorías comprobables

En un nuevo artículo aceptado en Nature Neuroscience, científicos de Microsoft Research, en colaboración con científicos de la Universidad de California, Berkeley, la Universidad de California, San Francisco y la Universidad de Columbia, presentan un marco para superar esta crisis de explicabilidad: las pruebas causales generativas (GCT, por sus siglas en inglés). GCT destila los modelos de predicción cerebral en relatos breves y legibles de a qué responde cada parche de la corteza, y luego pone a prueba esas afirmaciones. Un LLM escribe nuevas historias diseñadas para activar una zona cerebral específica, los sujetos las escuchan en el escáner y, si la explicación es correcta, la región objetivo se ilumina. El resultado es un método que traduce modelos predictivos ininterpretables de nuevo en la corriente de la ciencia: hipótesis concisas que pueden confirmarse o refutarse en un experimento de seguimiento. Un LLM escribe nuevas historias diseñadas para activar una zona cerebral específica, los sujetos las escuchan en el escáner y, si la explicación es correcta, la región objetivo se ilumina. El resultado es un método que traduce modelos predictivos ininterpretables de nuevo en la corriente de la ciencia: hipótesis concisas que pueden confirmarse o refutarse en un experimento de seguimiento.

Cómo funciona la GCT

GCT tiene dos pasos: explicación y luego verificación. Para generar una explicación, el método parte de un modelo predictivo para un solo vóxel o región e identifica las frases cortas que más impulsan su respuesta predicha. Un LLM resume entonces esas palabras en una explicación verbal concisa, a menudo una sola frase como «preparación de alimentos» o «nombres de lugares».

La crucial segunda etapa cierra el ciclo. Para generar confianza en la explicación, GCT utiliza un LLM para escribir nuevas historias en las que cada párrafo está construido de manera cuidadosa, para guiar una región cerebral según su explicación. Tres sujetos volvieron al escáner para leer estas historias sintéticas. Si la actividad de una región respecto a sus párrafos «impulsivos» era mucho mayor que respecto al texto base, la explicación superaba una prueba causal genuina, no solo correlacional.

En los tres temas, el enfoque central se mantuvo: las historias sintéticas hicieron que sus regiones objetivo superaran la línea base, lo que confirma que las breves explicaciones de GCT capturan algo a lo que la corteza responde de manera genuina. Las explicaciones también eran más fiables donde los modelos subyacentes de predicción cerebral eran más sólidos (cuanto más estable era el modelo, más fiable podía confirmarse su explicación en el escáner). Con el método validado en regiones cuya selectividad ya era conocida, los investigadores aplicaron la GCT a preguntas más difíciles.

La GCT también resultó con la suficiente agudez como para disipar ambigüedades de larga data. Tres regiones vecinas implicadas en los lugares de procesamiento han sido a menudo tratadas como similares a nivel funcional: la corteza retroesplénica (CSR, por sus siglas en inglés), el área del lugar parahipocampal (PPA, por sus siglas en inglés) y el área del lugar occipital (OPA, por sus siglas en inglés). Al principio, las historias escritas para una región también activaban las otras. Pero al generar estímulos diferenciales (historias diseñadas para encender una región mientras mantienen a sus vecinas en silencio), GCT diferenció a los tres. Por ejemplo, RSC responde con mayor fuerza a nombres de ubicación propios, como Tokio o Connecticut, en lugar de ubicación general. Este es el tipo de teoría matizada y específica de región que un modelo predictivo en bruto no puede proporcionar por sí solo.

Más allá de las regiones conocidas, los autores descubrieron nuevas «microregiones» prefrontales. Al escanear una cuadrícula de ubicaciones candidatas y mantener solo las más estables, GCT sacó a la luz estas regiones no cartografiadas de manera previa, ajustadas a conceptos específicos: una selectiva para el diálogo entre personas (palabras como «dijo» o «contó»), otra para menciones de tiempos de reloj («una en punto») y otra para mediciones numéricas («50 pies»). Son distinciones que nadie había buscado; surgieron porque el método podía proponer una hipótesis y ponerla a prueba de inmediato.

Implicaciones y mirar hacia adelante

La importancia de la GCT va mucho más allá de la neurociencia. Los investigadores se enfrentan cada vez más al mismo dilema: un modelo que predice de manera hermosa pero no explica nada. GCT muestra que un modelo basado en datos no tiene por qué ser el fin de la investigación; puede destilarse en una teoría legible y comprobable a nivel experimental, y esa teoría puede compararse con la realidad a través de la generación de nuevos experimentos bajo demanda.

En neurociencia en específico, GCT apunta a una forma más rápida y rica en hipótesis de mapear la corteza—una en la que un sistema de IA propone lo que una región cerebral podría codificar y un experimento en bucle cerrado lo confirma o rechaza dentro de un solo estudio. La misma filosofía de generar y verificar podría extenderse a otros ámbitos donde los potentes modelos predictivos han superado nuestra capacidad para entenderlos. La lección más amplia es esperanzadora: el auge de los modelos de caja negra en la ciencia no significa por necesidad el retroceso de la teoría legible para humanos. Con el marco adecuado, ambos pueden avanzar juntos.

Agradecimientos

Este trabajo fue una colaboración entre Microsoft Research, UC Berkeley (Alex Huth, Bin Yu, Sihang Guo y Aliyah Hsu), la Universidad de Columbia (RJ Antonello, co-líder) y UCSF (Shailee Jain). También agradecemos a los participantes del estudio y a la comunidad más amplia de neurociencia del lenguaje cuyas herramientas y conjuntos de datos hicieron posible esta investigación.

Lean el artículo: «Pruebas causales generativas para unir modelos basados en datos y teorías científicas en neurociencia del lenguaje», aceptado en Nature Neuroscience y el código en Github.