Vaibhaav Tiwari publie une version miniature de DeepSeek-V3 en 190 lignes de JAX
Vaibhaav Tiwari met en ligne une implémentation pédagogique de l’architecture DeepSeek-V3, dont le cœur tient en 190 lignes de JAX. Ce modèle réduit a été entraîné sur un MacBook Air, sans reprendre les poids du modèle de DeepSeek.

Ce qui est nouveau
Le développeur Vaibhaav Tiwari publie sur GitHub une démonstration de l’architecture DeepSeek-V3, accompagnée d’une explication détaillée. Le cœur du modèle tient, selon son décompte, en 190 lignes de JAX, sans les bibliothèques de réseaux de neurones Flax, Equinox ou PyTorch. Des scripts distincts assurent notamment la préparation des données et l’entraînement.
Il ne s’agit pas du modèle original rendu plus compact : cette implémentation possède 36,2 millions de paramètres, dont 13,6 millions activés par jeton de texte. L’auteur indique l’avoir entraînée à partir de zéro sur des romans policiers du domaine public, avec un MacBook Air M5 doté de 24 Go de mémoire. Le dépôt propose les poids obtenus et les données de cette expérience.
Ce qui change et pourquoi
Le rapport technique de DeepSeek décrit un modèle de 671 milliards de paramètres, dont 37 milliards activés par jeton. Le projet de Tiwari en reprend plusieurs mécanismes à une échelle réduite, afin de les rendre lisibles et expérimentables sur son matériel.
L’attention latente multi-têtes, ou MLA, conserve une représentation compressée des informations nécessaires à la génération. Le mélange d’experts, ou MoE, dirige chaque jeton vers une partie des sous-réseaux plutôt que de tous les mobiliser. Le code reprend aussi l’équilibrage de leur utilisation et un objectif d’entraînement prédisant plusieurs jetons.
Pourquoi c’est important
L’intérêt est pédagogique : le projet rapproche une architecture documentée dans un rapport technique d’un code court, accompagné d’un entraînement reproductible à petite échelle. Il donne à examiner ses mécanismes, pas seulement à utiliser des poids préentraînés.
L’auteur présente explicitement le résultat comme une démonstration d’architecture, et non comme un modèle de langage performant. Son entraînement sur un corpus spécialisé ne permet pas de lui attribuer les capacités générales du DeepSeek-V3 original.
Sources
Sélection et relecture humaines, rédaction assistée par IA.