No estás tirado en el sofá. Estás cumpliendo la ley de Zipf y la ciencia te apoya

Durante meses, Zipf ha estado contando palabras como un contable obsesivo. Contó cada palabra del Ulises, de Joyce. Lo mismo con manuscritos en latín, en chino, en alemán. Y en todas las lenguas, sin excepción, encontró que hacemos trampa: usamos unas pocas palabras cortitas para decirlo casi todo ('el', 'de', 'que') y dejamos las largas y complicadas para cuando no hay más remedio. Es como si la humanidad entera se hubiera puesto de acuerdo en un pacto secreto: ¿para qué molestarnos en decir 'otorrinolaringólogo' cuando podemos arreglárnoslas con 'médico'?

No es pereza, son matemáticas

Pero no queda ahí la cosa. Lo más intrigante es que la palabra más frecuente aparece exactamente el doble de veces que la segunda. La tercera, justo un tercio de veces que la primera. La cuarta, una cuarta parte… Una misteriosa progresión matemática. Antes de que te sientas mal por ser vago, déjame tranquilizarte: sí, lo eres. Y está bien. La evolución favorece a los que gastan menos energía para conseguir los mismos resultados. Usamos palabras cortas para las cosas frecuentes porque funciona mejor. No decimos 'vehículo de tracción a sangre para desplazamiento ecuestre', sino 'caballo'. Y cuando ni eso nos vale reducimos más: 'el bicho ese' y ya está, que nos entendemos.

En 1935, cuando Zipf presentó su hallazgo, los lingüistas lo recibieron con tibieza. Les parecía una curiosidad menor. Pero la cosa fue a más cuando Zipf hizo algunas probaturas fuera de este campo. Y su ley funcionaba como la seda. Urbanismo. Zipf hace las cuentas con las ciudades estadounidenses: Nueva York tiene el doble de habitantes que Chicago, que tiene el doble que Filadelfia. Economía. Revisa las distribuciones de ingresos: mismo patrón.

Aclaremos dos conceptos

Aquí conviene aclarar algo que el propio Zipf nunca llegó a entender del todo: la ley de Zipf (la frecuencia de aparición de palabras en un texto) y el principio del mínimo esfuerzo no son la misma cosa. La ley de Zipf es el patrón estadístico observable: la distribución de frecuencias sigue una curva de potencias perfecta. Esto es descriptivo, es medible. Nadie lo discute. El principio del mínimo esfuerzo, en cambio, es la explicación causal que Zipf propuso para justificar por qué existe ese patrón. Y eso sí que es discutible. Hoy sabemos que la ley de Zipf aparece en muchos sistemas por razones muy diferentes entre sí; no hay una única causa universal. Es como si encontraras que muchos animales tienen simetría bilateral (el patrón es real) y decidieras que todos la tienen por la misma razón (la explicación es falsa). A veces es por locomoción, a veces por defensa, a veces por puro accidente evolutivo.

Y el asunto se puso más vidrioso aún cuando el norteamericano Zipf, que era profesor de alemán y tenía cierta querencia a lo germánico, cometió un desliz imperdonable: intentó aplicar su ley a la geopolítica. Y cuando en 1941 justificó en un libro la expansión nazi, aduciendo que la expansión territorial de Hitler obedecía a urgencias cuantificables que hacían que Alemania no pudiera evitar invadir a sus vecinos, quedó claro que no estaba muy bien del 'tiesto'. Su argumento: las fronteras «naturales» son aquellas que optimizan el equilibrio entre recursos, población y comunicación. Las guerras ocurren cuando el equilibrio se rompe y el sistema no tiene más remedio que «reajustarse».

Pero hay que valorar el genio de Zipf en su análisis de nuestra manera de comunicarnos. Somos vagos, aunque no podemos permitirnos el lujo de serlo completamente. Imagina que tuvieras que comunicarte con el mínimo esfuerzo posible. Si solo importara tu comodidad como hablante, usarías una sola palabra para todo: «¡Eh!». Para comida, peligro, amor, dinero, todo. Un gruñido universal. El problema es que tu oyente no te entendería. Tendrías que estar señalando constantemente, haciendo mímica, modulando «¡eh!» con cien entonaciones diferentes hasta que el otro adivinara.

Ahora imagina el extremo opuesto. Si solo importara la claridad para el oyente, necesitarías una palabra diferente para cada concepto. Una palabra específica para 'manzana roja del tamaño de un puño recién cogida del árbol', otra distinta para 'manzana ligeramente verdosa con tres días en la nevera y un golpe en el lado izquierdo'.

El manuscrito indescifrable

El manuscrito Voynich es un libro del siglo XV, escrito en un alfabeto desconocido, que lleva
más de cien años volviendo locos a los criptógrafos. Ni los descifradores de códigos nazis pudieron con él. Ni los superordenadores modernos. Nadie sabe qué dice. Ni siquiera si dice algo. Durante décadas se debatió si era un código genuino o un fraude medieval diseñado para estafar a... Leer más

El manuscrito Voynich es un libro del siglo XV, escrito en un alfabeto desconocido, que lleva
más de cien años volviendo locos a los criptógrafos. Ni los descifradores de códigos nazis pudieron con él. Ni los superordenadores modernos. Nadie sabe qué dice. Ni siquiera si dice algo. Durante décadas se debatió si era un código genuino o un fraude medieval diseñado para estafar a algún noble crédulo. Hasta que alguien hizo el análisis estadístico. Y resulta que el manuscrito Voynich sigue perfectamente la ley de Zipf. La palabra más frecuente aparece exactamente el doble que la segunda.
La tercera, un tercio de lo que lo hace la primera… Más aún: la entropía de Shannon del texto es baja, comparable a la del lenguaje natural. No es ruido aleatorio. Pero eso no significa que contenga un mensaje real. Porque resulta que es posible fabricar texto artificial que cumpla ambas leyes sin decir absolutamente nada, como demostró Gordon Rugg, un investigador británico que en 2004 inventó una máquina de generar ‘Voynichés’ usando una técnica renacentista: una tabla con sílabas escritas y una rejilla con agujeros que se mueve sobre ella.

Leer menos

El lenguaje real, observó Zipf, encuentra un equilibrio perfecto entre estos dos extremos. Y es una observación magnífica. Pero no puedes basar una ley fundamental en ella. La ley de Zipf no predice nada. Solo describe un patrón. Es como decir 'el tráfico se atasca en hora punta': es verdad, pasa cada día. ¿Pero es una 'ley' que te permite predecir cuándo y por qué? No. Hay causas diferentes cada vez: semáforos mal sincronizados, accidentes, gente que frena para mirar, obras en el carril izquierdo.

Mientras Zipf desvariaba en Harvard; en los laboratorios Bell, un joven ingeniero llamado Claude Shannon estaba revolucionando nuestra comprensión de la comunicación desde un ángulo diferente.

La clave es la sorpresa

Shannon no estaba interesado en filosofías universales. Estaba intentando resolver un problema práctico de ingeniería: cómo enviar mensajes por cables telefónicos de la forma más eficiente posible. Y en 1948 inventó la teoría de la información. Shannon intuyó que información es sorpresa. Si alguien te dice algo que ya sabías, no te ha transmitido información. Si te revela un secreto completamente inesperado, la información es máxima. Y esto se puede cuantificar matemáticamente. Shannon definió la 'entropía' de un mensaje como la cantidad de incertidumbre que contiene.

Un mensaje completamente predecible (como «el sol saldrá mañana») tiene entropía cero. Un mensaje completamente aleatorio (como tirar una moneda) tiene entropía máxima. Y el lenguaje humano estaba en algún punto intermedio. Shannon calculó que el inglés tiene una entropía de aproximadamente 2,62 bits por letra. Eso significa que, en promedio, solo necesitas hacer 2,62 preguntas de «sí/no» para adivinar cada letra de un texto. Mucho menos que los 4,7 bits que necesitarías si las letras fueran completamente aleatorias.

Shannon demostró algo radical: puedes generar texto que parece lenguaje simplemente capturando regularidades estadísticas sin entender nada del significado. Cuanta más estructura estadística captures, más convincente suena. Zipf había encontrado esta estructura desde fuera, mirando distribuciones de frecuencias. Shannon la encontró desde dentro, midiendo la predictibilidad. Y los dos, cada uno a su manera, habían descubierto la misma verdad inquietante: el lenguaje no es tan libre como pensamos. Está profundamente influido por patrones estadísticos. ChatGPT se basa en esos patrones para adivinar la siguiente palabra, que es la palanca que ha revolucionado la inteligencia artificial.

El secreto de ChatGPT

Zipf murió joven, en 1950, con solo 48 años, antes de ver cómo su ley se convertía en pilar de la lingüística computacional. Antes de ver cómo Shannon proporcionaba las bases matemáticas rigurosas que a él le faltaban. Antes de ver cómo la teoría de la información explicaba sus patrones sin necesidad de invocar 'mínimo esfuerzo' como principio universal. Y mucho antes de imaginar que, setenta años después, máquinas entrenadas en estadística pura estarían generando lenguaje tan convincente que puede conversar con humanos, escribir poesía, traducir idiomas, resumir textos, inventar historias… Hoy sabemos que las regularidades estadísticas en el lenguaje son reales y profundas. Los modelos de lenguaje funcionan precisamente porque esas regularidades existen y son explotables. Si el lenguaje fuera totalmente impredecible, ChatGPT no existiría.