Une résurrection technologique : l’IA sur un vieil ordinateur
C’est une incroyable aventure qui montre l’ingéniosité humaine : un ordinateur de 25 ans, équipé d’un processeur Pentium II et de 128 Mo de RAM, refait surface à l’époque de l’intelligence artificielle. Un groupe de chercheurs a réussi à exécuter un modèle de langage inspiré de LLaMA 2 sur cette vieille machine, faisant ainsi un pont entre le passé technologique et le présent.
Une architecture novatrice pour un matériel ancien
Pour surmonter les défis techniques, l’équipe s’est tournée vers une architecture nommée BitNet. Contrairement aux modèles classiques qui nécessitent une quantité considérable de mémoire et des cartes graphiques modernes, BitNet utilise des poids ternaires avec des valeurs de 0, -1 et 1. Cette approche permet de réduire la taille des modèles, rendant possible l’exécution d’un modèle de 7 milliards de paramètres dans seulement 1,38 Go de stockage.
Le modèle utilisé, dénommé stories260K, ne peut pas rivaliser avec la puissance de ChatGPT, mais il peut générer du texte à une vitesse d’environ 39 tokens par seconde. Bien qu’il soit modeste, ce chiffre prouve que l’intelligence artificielle peut effectivement s’adapter à des matériels anciens.
Des ajustements techniques indispensables
L’initiative ne s’est pas contentée d’un simple téléchargement. L’équipe a dû naviguer à travers les limitations d’un PC des années 90. Par exemple, l’utilisation de périphériques modernes comme les claviers USB ou les clés USB était impossible. Ils ont dû revenir aux anciennes connectiques PS/2 et utiliser le FTP pour le transfert de fichiers.
La compilation du code demandait également une approche innovante. Plutôt que d’utiliser des compilateurs modernes, les chercheurs ont choisi Borland C++ 5.02, datant de 1998, pour adapter un code C minimaliste. Des modifications ont été nécessaires pour gérer les types modernes et la gestion manuelle des horloges système.
Un projet à portée humaniste
L’exploit est résumé avec humour par l’équipe : « Si ça fonctionne sur un PC de 1998, ça peut fonctionner n’importe où. » Au-delà de cet exploit technique, l’initiative vise une vision plus grandiose : rendre l’intelligence artificielle accessible à tous. Actuellement, la plupart des modèles d’IA reposent sur des serveurs distants, ce qui représente des coûts élevés et une dépendance importante aux grandes plateformes cloud.
EXO, l’équipe à l’origine de cette innovation, propose une alternative : exécuter des modèles localement sur le matériel des utilisateurs, même si celui-ci est modeste. Avec son approche ultra-compacte, BitNet pourrait théoriquement faire fonctionner un modèle de 100 milliards de paramètres sur un simple CPU, avec une vitesse d’exécution comparable à celle de la lecture humaine, soit autour de 5 à 7 tokens par seconde.
Des perspectives d’innovation
Cette méthode ouvre des perspectives inattendues. Elle pourrait permettre d’intégrer l’intelligence artificielle dans des dispositifs plus anciens, tels que des téléphones obsolètes ou des ordinateurs délaissés, et même dans des appareils embarqués sans connexion permanente au cloud.
Les prochaines étapes d’EXO
EXO prévoit de fournir des outils open source pour ceux qui souhaitent expérimenter sur d’autres machines anciennes. De plus, ils travaillent sur l’intégration de modèles ternaires dans des domaines spécifiques, comme la modélisation des protéines, ouvrant ainsi la voie à de nouvelles applications médicales et scientifiques.
Cette aventure rappelle que même dans un monde technologique en constante évolution, la créativité et la passion peuvent donner vie à des innovations originales et puissantes. Les découvertes réalisées par cette équipe de chercheurs ne font pas que redonner vie à un vieil ordinateur ; elles redéfinissent également la manière dont nous envisageons l’avenir de l’intelligence artificielle, accessible à tous.
