Real Game Dev Reviews Game By Devin.ai

Casey Muratori fait une revue de code d’un jeu entièrement codé par Devin.ai, un outil de développement IA.

Le cas est un peu particulier : le jeu a été codé par un chat Twitch (dont on peut imaginer la qualité moyenne, surtout si ils jouent sur le “potentiel de drôlerie”), à raison d’une requête toutes les 3 minutes pendant 8 heures.

Cependant, après avoir revu 3 projets entièrement “vibe-codés en mode passager” par un non-programmeur (pas de revue du code proposé par l’IA, “auto-accept”), je trouve que les découvertes qu’ils font dans le code sont assez similaires à ce que j’ai pu voir : 

• aucune cohérence interne, code et projet,
• code dupliqué, 5 façons de faire différentes (calcul de distance, affichage d’images / formes sur l’écran, …),
• détails techniques ignorés (coût CPU du calcul de distance, ordre d’affichage des éléments graphiques, …),
• l’architecture en arrière-pensée, des petits bouts collés et cloués là où il y a la place (gestion du cycle de vie des entités, gestion des contrôles, …)
• des béquilles et des pansements ou des sous-systèmes entiers pour corriger de simple bugs

Le code est irrécupérable et indébuggable. Il y en a dans tous les sens.

Cependant, le résultat reste plus-ou-moins fonctionnel et “jouable”. Je trouve que c’est une aussi un bon aperçu de là où en est cette technologie : si on utilise ces trucs sans supervision par un développeur (ce que j’appelle “vibe-codé en mode passager”), on peut arriver à un prototype fonctionnel qu’on peut utiliser pour tester les limites de l’idée, les amélorations potentielles, comparer aux besoins initiaux… Mais il faut bien comprendre que ce prototype est entièrement jetable. Essayer de réutiliser du code généré de cette manière n’est qu’une perte de temps. (Ça peut faire mal à l’égo de celui qui l’a conçu !)

Je pense qu’il y a aussi un certain flou autour de l’utilisation du terme “vibe-codé” : les devs l’utilisent tout autant que les non-devs. L’inverse de ce “mode passager”, c’est je dirais le “mode pilote” : on prend les décisions d’architecture, on guide l’IA pour poser le code au bon endroit et on lui pointe le code qui doit être pris en compte, on valide le code généré si on sait que c’est un point sensible, et on lui laisse carte blanche sur le code moins sensible.

Je me demande si la technologie va évoluer au point qu’il n’y ait même plus besoin de dev pour jouer le “pilote” : J’imagine qu’on verra des frameworks spécialisés qui limitent le scope de chaque composant pour que l’IA se perde moins, formalisent les tests, des IAs et des outils plus performants… Ou bien est-ce qu’on a atteint le plateau de ce cycle de “la fin des développeurs” ? (Sur ce sujet : Le cycle récurrent de la hype du remplacement des développeurs)