Une faute de frappe, un résultat vide *réussi* : Hermes refuse désormais le mauvais nom d'argument


Vous demandez à l’agent de vérifier les erreurs dans la console du navigateur. Il appelle l’outil navigateur de Playwright avec une lettre de travers — levle au lieu de level. L’outil ne se plaint pas. Il renvoie un résultat normal : Total messages: 0 (Errors: 0, Warnings: 0). L’agent annonce une page propre.

La page comptait douze erreurs. L’argument a été abandonné en silence, l’outil a tourné avec les valeurs par défaut, et tout semblait aller bien. Un succès silencieux est bien plus dangereux qu’un échec — on lit les échecs, on ne lit pas les succès.

La PR #115682, fusionnée le 12 novembre, refuse ce genre d’appel avant qu’il ne s’exécute.

Pourquoi cela réussissait en silence

La réponse tient à un champ du schema : additionalProperties: false.

Les serveurs MCP décrivent en général leurs paramètres avec zod ou pydantic, et ces bibliothèques produisent des schemas qui disent explicitement « cet objet a exactement ces clés ». Cela paraît strict, mais le parse abandonne en général les clés inconnues au lieu de lever une erreur. Donc levle="error" est écarté comme clé en trop, level reprend sa valeur par défaut, l’outil va au bout, et un succès revient.

Le modèle ne voit rien d’anormal, alors il garde la mauvaise orthographe pour le reste de la session.

Ce qui se passe maintenant : refus avant dispatch, avec les noms valides

La règle est courte. Si un outil tiers (MCP ou plugin) ferme son propre schema, une clé de premier niveau non déclarée est refusée avant l’exécution de l’appel.

Vrai @playwright/mcp sur stdio, via le vrai client MCP et le vrai dispatch d’outils :

Appel Avant Après
browser_console_messages(levle="error") Total messages: 0 ... — la faute de frappe abandonnée en silence levle: not a parameter of mcp__pw__browser_console_messages. The tool was NOT invoked. Valid parameters: level, all, filename.
browser_tabs(arguments={"action": "list"}) l’erreur zod du serveur lui-même, à propos de action, sans jamais nommer le wrapper arguments: not a parameter of mcp__pw__browser_tabs. ... Do not wrap the arguments in an "arguments" field (that shape is only for tool_call); pass each one at the top level.
browser_tabs(action="list") résultat normal identique
Outil tiers à schema ouvert avec une clé en trop le handler reçoit la clé identique (inchangé)
Outil intégré avec une clé inconnue s’exécute, le résultat gagne _warning identique (warn-and-run conservé)

Regardez la deuxième ligne. L’erreur du wrapper arguments est l’une des plus faciles à commettre pour un modèle : il a vu la forme arguments de tool_call et suppose que tout appel veut ce wrapper. Avant, vous receviez une erreur zod du serveur qui ne mentionnait que action, et vous deviez comprendre par vous-même que la couche externe était le problème. Désormais, le refus le dit.

Pourquoi les outils intégrés n’ont pas été touchés

Parce que le schema d’un outil intégré n’est pas le même type de promesse. Hermes écrit ces schemas lui-même et garde un contrat plus souple : une clé en trop ne fait pas échouer l’appel, le résultat gagne simplement un _warning indiquant que ce nom n’était pas un paramètre. Le seul outil intégré qui ferme son schema (manage_catalog) refuse déjà les clés inconnues dans son propre handler.

Autrement dit : plus on s’éloigne du code, plus la porte est stricte. La liste properties d’un outil tiers est une promesse faite à ses appelants, elle est donc désormais appliquée comme telle.

Où vit le contrôle, et jusqu’où il porte

Il se trouve dans _closed_schema_refusal, dans tools/arg_validation.py, comme première chose que fait check_tool_args — ce qui signifie qu’il couvre tous les points d’entrée qui exécutent déjà des contrôles d’arguments : ToolRegistry.dispatch (outils MCP, plugin et registry sur toutes les surfaces) et le wrapper de l’exécuteur inline.

Un correctif lié dans le même commit : un schema qui ferme l’objet mais omet properties refuse aussi les extras — « aucun argument déclaré » signifie toujours « seulement ces arguments ». Vingt-cinq outils Playwright MCP ferment leur schema, et six d’entre eux n’ont aucun argument requis ; ces six sont exactement ceux où une faute de frappe devenait un succès silencieux par défaut.

Vos serveurs MCP seront-ils affectés

Le test est direct : cherchez additionalProperties: false dans le schema de l’outil.

  • Les serveurs MCP modernes qui génèrent leurs schemas depuis zod ou pydantic sont fermés, et commenceront à refuser les arguments mal orthographiés.
  • Le JSON Schema écrit à la main, et les formes ouvertes (anyOf, oneOf, $ref, patternProperties), se comportent comme avant — les extras atteignent toujours le handler.
  • Si l’un de vos plugins comptait sur « envoyer une clé en trop et laisser le handler s’en débrouiller », déclarez cette clé dans properties. C’était de toute façon l’interface la plus claire.

Si votre configuration MCP est assemblée à partir de variables d’environnement et de fichiers, il vaut la peine de relire comment les arguments sont injectés dans les variables de contexte de la config MCP et comment la frontière est tracée dans le catalogue MCP et son modèle de sécurité. Un article antérieur sur les schemas $ref locaux couvrait une autre défaillance du même secteur : des arguments totalement invisibles, plutôt que des arguments mal vus et acceptés en silence.

Statut de la release

La PR #115682 a été fusionnée dans main le 12 novembre 2026, avec tests/tools/test_unknown_tool_arguments.py qui fige deux invariants : un schema fermé refuse avant le handler, et un schema ouvert admet toujours les extras. v0.23.1 est sortie le 10 novembre et ne l’inclut pas.

Mise à jour (17/11/2026) : ces changements sont sortis dans la v0.23.2 (16 novembre) : un hermes update les récupère. Le « pas dans la v0.23.1 » ci-dessus est un instantané du jour de publication.

Une note en bas de page : si votre liste d’outils est énorme et que le modèle confond sans cesse les noms de paramètres, la cause racine est peut-être la taille des schemas — l’allègement du schema d’outils est l’autre moitié du même problème.