Scaffolding d'agent vs. fine-tuning

Le scaffolding, c’est tout ce qui est construit autour d’un modèle pour le rendre utile à une tâche précise : les outils qu’il est autorisé à appeler, le contexte qu’on lui fournit avant qu’il ne réponde, l’évaluation qui note son résultat, les garde-fous qui bloquent les actions néfastes, et les chemins de nouvelle tentative ou d’escalade lorsqu’il échoue. Le fine-tuning est différent : il ajuste les poids internes du modèle lui-même à partir d’exemples de la tâche, de sorte que c’est le modèle qui change, et non ce qui l’entoure.

Ce que chacun change réellement

Le scaffolding ne touche jamais le modèle. Il change ce que le modèle peut voir et faire. Donner à un agent un accès en lecture à l’historique de commandes d’un client, un outil pour consulter le statut d’expédition, et une règle qui signale tout remboursement supérieur à 200 € pour une revue humaine, c’est du scaffolding. Rien de tout cela ne nécessite de réentraîner quoi que ce soit ; cela peut se modifier en quelques minutes en éditant un prompt, en ajoutant un outil, ou en resserrant un garde-fou.

Le fine-tuning change les poids du modèle pour qu’il se comporte différemment sur des entrées formulées d’une manière qu’il n’a pas encore rencontrée. Il nécessite un jeu de données étiqueté, un cycle d’entraînement, et un nouvel artefact de modèle à déployer. Il est plus lent à itérer et plus difficile à auditer, car le comportement qui en résulte est figé dans les poids plutôt que visible dans un prompt.

Pourquoi le scaffolding l’emporte pour la plupart du travail opérationnel

L’échec typique des systèmes agentiques n’est pas que le modèle manque de capacité de raisonnement pour accomplir la tâche. C’est qu’il manque du bon contexte ou du bon outil au moment où il en a besoin : il ne connaît pas le niveau de stock actuel, ne peut pas voir l’historique de dépenses du compte, ou n’a aucun moyen de vérifier sa propre réponse avant de la renvoyer. Faire du fine-tuning sur un modèle pour qu’il « connaisse » des faits qui changent chaque jour ne règle pas ce problème ; les faits seront de nouveau obsolètes d’ici une semaine. Un meilleur contexte et un outil de consultation en direct le règlent immédiatement et restent à jour à mesure que les données sous-jacentes évoluent.

C’est aussi pourquoi l’évaluation compte davantage que le choix du modèle en pratique. Une règle de décision avec un seuil, une grille claire pour juger un résultat correct, et un chemin de nouvelle tentative lorsque la première tentative échoue détecteront et corrigeront plus d’erreurs que le passage à un modèle légèrement plus performant. Le scaffolding est aussi moins coûteux à tester : on peut exécuter un test A/B sur un nouvel outil ou un nouveau garde-fou en une journée, contre des semaines pour un cycle de fine-tuning.

Une règle de décision pour savoir quand le fine-tuning est pertinent

Le fine-tuning justifie son coût lorsqu’une tâche est étroite, stable et à fort volume, avec un format de sortie fixe et suffisamment d’exemples étiquetés pour l’entraînement, à peu près quelques milliers au minimum pour obtenir un changement de comportement significatif. Un exemple : classer des créatifs publicitaires entrants dans l’une de 12 catégories fixes, exécuté des millions de fois par mois, où la taxonomie des catégories n’a pas changé depuis un an et où des milliers d’exemples étiquetés par des humains existent déjà. C’est étroit, stable, à fort volume et bien étiqueté, les quatre conditions réunies à la fois.

À l’opposé, une tâche comme l’optimisation des dépenses Meta sur des comptes ayant des objectifs, des catalogues et une saisonnalité différents. La tâche n’est pas étroite, la bonne réponse change en même temps que le compte et la plateforme, et il n’existe pas de format de sortie fixe, seulement un jugement qui dépend du contexte en direct. Faire du fine-tuning sur un modèle à partir des décisions du dernier trimestre encoderait des hypothèses déjà dépassées au moment où l’entraînement se termine.

Quand le fine-tuning est la solution de facilité coûteuse

Si une équipe se tourne vers le fine-tuning parce que les prompts semblent peu fiables ou que le modèle « ne comprend pas notre activité », il s’agit généralement d’un manque de scaffolding, pas d’un manque de capacité : contexte manquant, outils manquants, ou aucune boucle d’évaluation pour détecter et corriger les mauvais résultats. Faire du fine-tuning sans combler ce manque ajoute du coût et de la rigidité sans traiter l’échec réel. Le test le moins coûteux à essayer d’abord : donner au modèle le contexte ou l’outil manquant, ajouter une vérification sur son résultat, et voir si l’échec disparaît avant d’entraîner quoi que ce soit.

Pour l’argumentaire complet sur la raison pour laquelle cet arbitrage revient sans cesse à mesure que les systèmes agentiques mûrissent, voir fine-tuning vs. scaffolding.