Opinión de Chomsky sobre los Modelos Grandes de Lenguaje como ChatGPT

En esta entrevista en inglés ---aquí en español--- realizada por Polychroniou, Chosmky de nueva cuenta manifiesta su escepticismo ante los Modelos Grandes de Lenguage (LLM, por sus siglas en inglés). Estas fueron mis citas favoritas (el resaltado es mío, más adelante en español):

As I understand them, the founders of AI---Alan Turing, Herbert Simon, Marvin Minsky, and others---regarded it as science, part of the then-emerging cognitive sciences, making use of new technologies and discoveries in the mathematical theory of computation to advance understanding. Over the years those concerns have faded and have largely been displaced by an engineering orientation.

Engineering projects can be useful, or harmful. Both questions arise in the case of engineering AI. Current work with Large Language Models (LLMs), including chatbots, provides tools for disinformation, defamation, and misleading the uninformed. The threats are enhanced when they are combined with artificial images and replication of voice.

These considerations bring up a minor problem with the current LLM enthusiasm: its total absurdity, as in the hypothetical cases where we recognize it at once. But there are much more serious problems than absurdity.

One is that the LLM systems are designed in such a way that they cannot tell us anything about language, learning, or other aspects of cognition, a matter of principle, irremediable. Double the terabytes of data scanned, add another trillion parameters, use even more of California’s energy, and the simulation of behavior will improve, while revealing more clearly the failure in principle of the approach to yield any understanding. The reason is elementary: The systems work just as well with impossible languages that infants cannot acquire as with those they acquire quickly and virtually reflexively.

Data of performance provide evidence about the nature of the internal system, particularly so when they are refined by experiment, as in standard field work. But even the most massive collection of data is necessarily misleading in crucial ways. It keeps to what is normally produced, not the knowledge of the language coded in the brain, the primary object under investigation for those who want to understand the nature of language and its use.

Unless carefully controlled, AI engineering can pose severe threats. Suppose, for example, that care of patients was automated. The inevitable errors that would be overcome by human judgment could produce a horror story. Or suppose that humans were removed from evaluation of the threats determined by automated missile-defense systems. As a shocking historical record informs us, that would be the end of human civilization.

I can easily sympathize with efforts to try to control the threats posed by advanced technology, including this case. I am, however, skeptical about the possibility of doing so. I suspect that the genie is out of the bottle. Malicious actors---institutional or individual---can probably find ways to evade safeguards. Such suspicions are of course no reason not to try, and to exercise vigilance.

Lo mismo pero en su traducción al español:

Entiendo que los padres de la IA ---Alan Turing, Herbert Simon y Marvin Minsky, entre otros--- la consideraban una ciencia, parte de las entonces incipientes ciencias cognitivas, y se valían de las nuevas tecnologías y los nuevos descubrimientos en la teoría matemática de la computación para avanzar en el entendimiento. A lo largo de los años, esa tendencia ha ido desapareciendo y se ha visto desplazada en gran medida por el enfoque de la ingeniería.

Los proyectos de ingeniería pueden ser útiles o perjudiciales. Ambas cuestiones se plantean también en el caso de la ingeniería de IA. El trabajo actual con modelos de lenguaje LLM, como los chatbots, ofrece herramientas para desinformar, difamar y confundir a los que no tienen muchos datos. La amenaza es mayor cuando se combinan con imágenes artificiales y réplicas de voz.

Estas consideraciones sacan a relucir un pequeño problema del entusiasmo actual con los LLM: que son totalmente absurdos, como en los casos hipotéticos, que se veía enseguida. Sin embargo, hay problemas mucho más graves que el absurdo.

Uno de ellos es que los sistemas de LLM están diseñados de tal manera que no nos dicen nada del lenguaje, del aprendizaje ni de otros aspectos cognitivos, y es una cuestión de principio, irremediable. Aunque dupliquemos los terabytes de datos registrados, añadamos unos millones de parámetros más y utilicemos todavía más energía de California, la simulación de comportamiento mejorará, pero al mismo tiempo, revelará con mayor claridad el fracaso de principio de un enfoque que no busca ningún tipo de entendimiento. La razón es evidente: los sistemas funcionan igual de bien con lenguas imposibles de aprender que con las que los niños adquieren rápido y casi instintivamente.

Los datos de la actuación ofrecen pruebas sobre la naturaleza del sistema interno, especialmente cuando los experimentos los hacen más precisos, como es habitual en el trabajo de campo. Pero hasta la recolección de datos más exhaustiva induce necesariamente a error en aspectos cruciales. Se atiene a lo que se produce normalmente, no al conocimiento del lenguaje codificado en el cerebro, objeto principal de investigación para los que quieren entender la naturaleza del lenguaje y su uso.

A menos que se controle con cuidado, la ingeniería de IA puede representar serias amenazas. Supongamos, por ejemplo, que el cuidado de pacientes estuviera automatizado. Los errores inevitables que el juicio humano solucionaría podrían provocar una historia de terror. O imaginemos que apartamos a los humanos de la evaluación de amenazas determinadas por los sistemas automatizados de defensa antimisiles. Como nos indica un documento histórico estremecedor, sería el final de la civilización humana.

Comprendo perfectamente los esfuerzos de quienes intentan controlar las amenazas que supone la tecnología avanzada, también en este caso. Sin embargo, soy escéptico acerca de la posibilidad de llevarlo a cabo. Me temo que la caja de Pandora ya está abierta. Los actores maliciosos ---institucionales o particulares--- seguramente encuentren las vías para eludir las salvaguardias. Aunque estos temores, por supuesto, no son motivo para no intentarlo ni para bajar la guardia.