Redes neuronales y el funcionamiento del cerebro

Redes neuronales y el funcionamiento del cerebro

El algoritmo de aprendizaje que permite el éxito desbocado de las redes neuronales profundas no funciona en cerebros biológicos, pero los investigadores están encontrando alternativas que podrían hacerlo.

Funcionamiento de las neuronas

Muchos conocerán la complejidad del cerebro, incluso los expertos en el campo de la neurociencia aún no conocen con precisión cómo está determinado el funcionamiento del pensamiento. De hecho, es uno de los más grandes misterios de la ciencia. Y aunque hoy día es muy conocida, la red neuronal no era considerada como una ciencia seria hace algunos años atrás.

En 2007, algunos de los principales pensadores detrás de las redes neuronales profundas organizaron una reunión «satélite» no oficial al margen de una prestigiosa conferencia anual sobre inteligencia artificial. La conferencia había rechazado su solicitud de un taller oficial; aún faltaban unos años para que las redes neuronales profundas se hicieran cargo de la IA (Inteligencia Artificial). El último orador de la reunión pirata fue Geoffrey Hinton de la Universidad de Toronto, el psicólogo cognitivo y científico informático responsable de algunos de los mayores avances en redes profundas. Comenzó con una broma: “Entonces, hace aproximadamente un año, llegué a casa a cenar y dije: ‘Creo que finalmente descubrí cómo funciona el cerebro’, y mi hija de 15 años dijo: ‘Oh, Papá, otra vez no ‘”. La audiencia se rió. Hinton continuó: «Así es como funciona». Siguieron más risas.

The Godfather of Deep Learning. Geoffrey Hinton is one of the geniuses… |  by Vin Busquet | Medium
Geoffrey Hinton

Los chistes de Hinton desmentían una búsqueda seria: usar la IA para comprender el cerebro. Hoy en día, las redes profundas gobiernan la IA en parte debido a un algoritmo llamado backpropagation o backprop. El algoritmo permite que las redes profundas aprendan de los datos, dándoles la capacidad de clasificar imágenes, reconocer el habla, traducir idiomas, dar sentido a las condiciones de la carretera para los vehículos autónomos y realizar una serie de otras tareas.

Pero es muy poco probable que los cerebros reales se basen en el mismo algoritmo. No se trata solo de que «los cerebros pueden generalizar y aprender mejor y más rápido que los sistemas de IA de última generación», dijo Yoshua Bengio , científico informático de la Universidad de Montreal, director científico del Instituto de Inteligencia Artificial de Quebec. y uno de los organizadores del taller de 2007. Por diversas razones, la retropropagación no es compatible con la anatomía y fisiología del cerebro, particularmente en la corteza.

“El cerebro es un gran misterio. Existe la impresión general de que si podemos desbloquear algunos de sus principios, podría ser útil para la IA ”, dijo Bengio. «Pero también tiene valor por derecho propio».

AI pioneer urges Toronto to back ethical use of artificial intelligence |  The Star
Yoshua Bengio

Durante décadas, las teorías de los neurocientíficos sobre cómo aprenden los cerebros se guiaron principalmente por una regla introducida en 1949 por el psicólogo canadiense Donald Hebb, que a menudo se parafrasea como «Neuronas que se activan juntas, se conectan juntas». Es decir, cuanto más correlacionada sea la actividad de las neuronas adyacentes, más fuertes serán las conexiones sinápticas entre ellas. Este principio, con algunas modificaciones, logró explicar ciertos tipos limitados de tareas de clasificación visual y de aprendizaje.

Pero funcionó mucho menos bien para grandes redes de neuronas que tenían que aprender de los errores; No había una forma directamente dirigida para que las neuronas de la red se enteraran de los errores descubiertos, se actualizaran y cometieran menos errores. “La regla de Hebbian es una forma muy limitada, particular y no muy sensible de usar la información de error”, dijo Daniel Yamins , neurocientífico computacional y científico de la computación de la Universidad de Stanford.

CONCEPTOS BÁSICOS
Simulación de una neurona a partir de las redes neuronales

Sin embargo, era obvio incluso en la década de 1960 que la resolución de problemas más complicados requería una o más capas «ocultas» de neuronas intercaladas entre las capas de entrada y salida. Nadie sabía cómo entrenar eficazmente redes neuronales artificiales con capas ocultas, hasta 1986, cuando Hinton, el difunto David Rumelhart y Ronald Williams (ahora de la Northeastern University) publicaron el algoritmo de retropropagación .

El algoritmo funciona en dos fases. En la fase “directa”, cuando se le da una entrada a la red, infiere una salida, que puede ser errónea. La segunda fase «hacia atrás» actualiza los pesos sinápticos, haciendo que la salida esté más en línea con un valor objetivo.

Para comprender este proceso, piense en una «función de pérdida» que describe la diferencia entre los resultados inferidos y deseados como un paisaje de colinas y valles. Cuando una red hace una inferencia con un conjunto dado de pesos sinápticos, termina en algún lugar del panorama de pérdidas. Para aprender, necesita moverse por la pendiente, o pendiente, hacia algún valle, donde la pérdida se minimiza en la medida de lo posible. La retropropagación es un método para actualizar los pesos sinápticos para descender ese gradiente.

En esencia, la fase inversa del algoritmo calcula cuánto contribuyen los pesos sinápticos de cada neurona al error y luego actualiza esos pesos para mejorar el rendimiento de la red. Este cálculo procede secuencialmente hacia atrás desde la capa de salida a la capa de entrada, de ahí el nombre retropropagación. Haga esto una y otra vez para conjuntos de entradas y salidas deseadas, y eventualmente llegará a un conjunto aceptable de pesos para toda la red neuronal.

La invención de la retropropagación provocó de inmediato el clamor de algunos neurocientíficos, que dijeron que nunca podría funcionar en cerebros reales. El detractor más notable fue Francis Crick, el co-descubridor de la estructura del ADN, ganador del Premio Nobel, que más tarde se convirtió en neurocientífico. En 1989, Crick escribió : «En lo que respecta al proceso de aprendizaje, es poco probable que el cerebro realmente utilice la retropropagación».

Backprop se considera biológicamente inverosímil por varias razones importantes. La primera es que, si bien las computadoras pueden implementar fácilmente el algoritmo en dos fases, hacerlo para las redes neuronales biológicas no es trivial. El segundo es lo que los neurocientíficos computacionales llaman el problema del transporte de peso: el algoritmo backprop copia o “transporta” información sobre todos los pesos sinápticos involucrados en una inferencia y actualiza esos pesos para mayor precisión. Pero en una red biológica, las neuronas solo ven las salidas de otras neuronas, no los pesos sinápticos o los procesos internos que dan forma a esa salida. Desde el punto de vista de una neurona, «está bien conocer sus propios pesos sinápticos», dijo Yamins. «Lo que no está bien es que conozcas el conjunto de pesos sinápticos de alguna otra neurona».

Los modelos desarrollados de forma independiente por Kording en 2001, y más recientemente por Blake Richards de la Universidad McGill y el Instituto de Inteligencia Artificial de Quebec y sus colegas, han demostrado que las neuronas piramidales podrían formar las unidades básicas de una red de aprendizaje profundo haciendo cálculos hacia adelante y hacia atrás simultáneamente. . La clave está en la separación de las señales que ingresan a la neurona para la inferencia progresiva y los errores que fluyen hacia atrás, que podrían ser manejados en el modelo por las dendritas basal y apical, respectivamente. La información para ambas señales se puede codificar en los picos de actividad eléctrica que la neurona envía por su axón como salida.

En el último trabajo del equipo de Richards, “hemos llegado al punto en que podemos demostrar que, usando simulaciones bastante realistas de neuronas, se pueden entrenar redes de neuronas piramidales para realizar varias tareas”, dijo Richards. «Y luego, utilizando versiones un poco más abstractas de estos modelos, podemos hacer que las redes de neuronas piramidales aprendan el tipo de tareas difíciles que las personas hacen en el aprendizaje automático».

“El primer artículo que sostiene que los cerebros hacen [algo como] retropropagación es tan antiguo como la retropropagación”, dijo Konrad Kording , neurocientífico computacional de la Universidad de Pensilvania. Durante la última década, a medida que los éxitos de las redes neuronales artificiales las han llevado a dominar la investigación de inteligencia artificial, los esfuerzos por encontrar un equivalente biológico para backprop se han intensificado.

Dados estos avances, los neurocientíficos computacionales son discretamente optimistas. “Hay muchas formas diferentes en que el cerebro podría estar haciendo retropropagación”, dijo Kording. “Y la evolución es bastante asombrosa. La propagación hacia atrás es útil. Supongo que la evolución nos lleva allí «.

Referencia: quantamagazine.org

Daniel Dávalos

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *