Presse-citron.net :
Comme si on l’avait placé dans une machine à voyager dans le temps, ce modèle d’IA a dû se débrouiller seul pour prédire un futur qu’il ne pouvait pas connaître. Une expérience étrange, mais riche en enseignements sur les limites de cette technologie.

Il existe une règle tacite fondamentale en Histoire : les spécialistes de la discipline évitent au maximum de raisonner au conditionnel en utilisant le « si ». Puisqu’ils étudient ce qui a été, ils s’appuient majoritairement sur des traces et des preuves, en introduisant des « si », l’analyse des faits bascule très rapidement vers la spéculation et l’uchronie. Bien qu’un historien refuse de dire ce qui serait arrivé, il utilise parfois le raisonnement contrefactuel pour mesurer le poids d’un événement, mais c’est l’une des rares exceptions.

Pour mener à bien leur projet, Nick Levine, David Duvenaud et Alec Radford (connu pour avoir travaillé chez OpenAI à l’époque de la conception de ChatGPT-2), ces trois pointures de l’IA ont délibérément violé cette règle. C’était obligatoire, puisque leur expérience repose entièrement sur cette transgression. Leur idée était de construire un LLM « vintage », dont la connaissance du monde s’arrête au 31 décembre 1930 et observer ce qu’il était capable de produire à partir de là. Il s’appelle Talkie, un modèle de langage comportant 13 milliards de paramètres entraîné exclusivement sur un corpus de textes antérieurs à cette date, totalisant 260 milliards de tokens, soit l’équivalent approximatif de 650 millions de livres de poches de 350 pages. Qu’a-t-il réussi à faire grâce à tous les journaux, brevets, revues scientifiques, et littérature d’époque ?