Hermes Agent ist nicht nur klüger – es beweist jetzt, dass es fertig ist

Das häufigste Versagen von KI-Agenten ist nicht, dass sie die Arbeit nicht erledigen können, sondern dass man nicht sicher sein kann, ob sie wirklich fertig sind. Sie erklären selbstbewusst, dass sie fertig sind, während sie eine Datei vergessen. Sie führen ein Skript aus, ohne die Ausgabe zu prüfen. Sie machen einfach weiter, als ob der vorherige Schritt nicht fehlgeschlagen wäre.

Hermes Agent v0.18.0 — Codename „The Judgment Release“ — baut auf einer Idee auf: der Agent soll beweisen, dass er fertig ist.

Schau dir die vollständigen v0.18.0 Release-Notes für eine Liste aller Änderungen an.

Von „fühlt sich fertig an“ zu „die Evidenz sagt, es ist fertig“

Traditionell stoppt ein Modell, wenn es entscheidet, dass es genug geantwortet hat. Diese Entscheidung ist subjektiv. Sich fertig fühlen ist nicht dasselbe wie Erwartungen zu erfüllen.

Hermes v0.18.0 führt zwei ergänzende Mechanismen ein, die Fertigstellung von einer Intuition in ein überprüfbares Objekt verwandeln:

  • Standing Goals: Eine dauerhafte Zielbedingung, gegen die der Agent kontinuierlich prüft.
  • Completion Contracts: Eine überprüfbare Vereinbarung, die definiert, wie „fertig“ aussieht, inklusive Beweisen und Validierungsschritten.

Kurz gesagt: Statt ihm etwas zu sagen und zu vertrauen, wenn es sagt, es sei fertig, sagst du ihm, was Fertigstellung bedeutet, und es liefert die Beweise.

Warum Selbstverifizierung wichtig ist

Hermes konnte bereits Tools aufrufen, Code schreiben, Tests ausführen und Dateien verwalten. Aber das ließ eine Lücke: Es verifizierte nicht aktiv seine eigene Arbeit.

v0.18.0 ändert das. Nach einer Aktion versucht der Agent zu verifizieren, dass das Ergebnis die festgelegten Bedingungen erfüllt. Das klingt klein, verwandelt Hermes aber von einem reinen Ausführenden in einen verantwortlichen Ausführenden:

  • Es prüft, ob eine Datei nach der Bearbeitung existiert und den Erwartungen entspricht.
  • Es inspiziert Exit-Codes, Logs und Nebenwirkungen nach Befehlen.
  • Es geht die Fertigstellungskriterien durch, bevor es sagt, dass die Aufgabe erledigt ist.

Das ist keine perfekte Garantie, aber es reduziert deutlich die Wahrscheinlichkeit von „sieht fertig aus, ist es aber nicht“.

Standing Goals: Fertigstellungsbedingungen als langfristiger Vertrag

Standing Goals erlauben es, ein langfristiges Ziel zu deklarieren, gegen das der Agent kontinuierlich Fortschritt misst. Typische Anwendungen:

  • „Wandle alle hardkodierten Pfade in src/utils.py in Umgebungsvariablen um.“
  • „Löse alle TODO-Kommentare im Repository.“
  • „Stelle sicher, dass jeder API-Aufruf Retry-Logik hat.“

Diese Aufgaben erledigen sich selten in einer einzigen Aktion. Sie erfordern Prüfen, Bearbeiten und erneutes Prüfen. Standing Goals zwingen den Agenten, sich nach jedem Schritt zu fragen: „Bin ich dem Ziel näher gekommen? Ist das Ziel jetzt erfüllt?“

Du definierst das Ziel; der Agent plant, handelt, verifiziert und iteriert, bis das Ziel erreicht ist oder er auf ein Hindernis stößt, das menschliches Eingreifen erfordert.

Completion Contracts: „Fertig“ überprüfbar machen

Wenn Standing Goals die Frage „Was ist das Ziel?“ beantworten, beantworten Completion Contracts die Frage „Wie wissen wir, dass es fertig ist?“.

Ein Completion Contract kann enthalten:

  1. Fertigstellungskriterien: Bedingungen, die erfüllt sein müssen, z. B. Dateiexistenz, bestehende Tests, korrektes Ausgabeformat oder erfolgreiche Builds.
  2. Verifizierungsmethode: Das Tool oder der Befehl zur Validierung, z. B. pytest, curl, grep oder diff.
  3. Fehlerbehandlung: Was bei fehlgeschlagener Verifizierung passiert — erneut versuchen, zurückrollen oder pausieren und den Benutzer informieren.

Diese Struktur macht das Verhalten des Agenten transparent. Du kannst genau sehen, welchen Standard es zur Bewertung der Fertigstellung verwendet hat, und dieses Urteil später auditieren.

Beispiel: Lass den Agenten seine eigene Korrektur verifizieren

Angenommen, du bittest Hermes, einen Nullwert-Bug in utils/parser.py zu beheben, und verlangst, dass Tests bestehen, bevor die Fertigstellung gemeldet wird. Ein Completion Contract könnte so aussehen:

Ziel: Behebe die Nullwert-Parsing-Ausnahme in utils/parser.py
Fertigstellungskriterien:
  1. Der fehlschlagende Fall wirft keinen TypeError mehr
  2. pytest tests/test_parser.py läuft vollständig durch
  3. Ein Regressionstest für die Ausnahme wird hinzugefügt
Verifizierungsmethode:
  - Führe pytest tests/test_parser.py aus
  - Prüfe, ob der Git diff Änderungen an parser.py und test_parser.py enthält
Fehlerbehandlung:
  - Falls Tests fehlschlagen, analysiere das Log, passe den Code an und versuche es bis zu 3 Mal erneut
  - Falls es weiterhin fehlschlägt, pausiere und berichte dem Benutzer

Hermes führt diesen Vertrag aus: Code ändern, Tests laufen lassen, Diff prüfen, und erst melden, dass es fertig ist, wenn alle drei Kriterien erfüllt sind. Das ist viel zuverlässiger als „Code geändert, Aufgabe erledigt“.

Kombiniert mit Mixture-of-Agents: sorgfältigere Verifizierung

v0.18.0 stärkt auch Mixture-of-Agents (MoA): Mehrere Modelle wirken wie ein Gremium, jedes unabhängig argumentierend, während ein Aggregator die finale Antwort liefert.

Bei der Selbstverifizierung bringt MoA folgende Vorteile:

  • Mehrere Modelle prüfen dieselben Beweise unabhängig.
  • Du siehst das Reasoning jedes Referenzmodells.
  • Die finale Antwort ist eine kreuzvalidierte Schlussfolgerung, nicht der selbstbewussteste Tipp.

Es ist wie ein Peer-Review für das Fertigstellungsurteil des Agenten.

Was Nutzer bemerken werden

Für alltägliche Nutzer bringt v0.18.0 drei konkrete Verbesserungen:

  1. Weniger falsche Fertigmeldungen: Der Agent prüft sich selbst, statt hastig zu enden.
  2. Transparentere Entscheidungen: Du siehst die Kriterien und Beweise, die er verwendet hat.
  3. Stabilere Langläufer: Standing Goals und Completion Contracts halten Automatisierungen auf Kurs.

Diese Änderungen zeigen sich nicht als einzelnes auffälliges Feature, sondern in der Art, wie der Agent sich verhält.

Einschränkungen und Empfehlungen

Selbstverifizierung ist keine Magie. Sie ist begrenzt durch:

  • Wie vollständig deine Fertigstellungskriterien sind.
  • Ob deine Verifizierungswerkzeuge reale Nutzungsszenarien abdecken.
  • Wie genau das Modell die Verifizierungsergebnisse interpretiert.

Daher solltest du:

  • Spezifische und überprüfbare Fertigstellungskriterien schreiben.
  • Verifizierungsmethoden mit klaren Ausgaben und Exit-Codes bevorzugen.
  • Für kritische Aufgaben eine menschliche Überprüfung beibehalten, anstatt das Urteil vollständig dem Agenten zu überlassen.

Wichtigste Erkenntnisse

  • Hermes Agent v0.18.0 „The Judgment Release“ dreht sich um Selbstverifizierung und nachweisbare Fertigstellung.
  • Standing Goals halten den Agenten dabei, Fortschritt gegen ein langfristiges Ziel zu prüfen.
  • Completion Contracts zerlegen „fertig“ in überprüfbare Kriterien, Verifizierungsmethoden und Fehlerbehandlung.
  • Der Agent stoppt nicht mehr auf Grundlage einer Intuition, sondern bewertet Fertigstellung anhand von Beweisen.
  • Mit der Kreuzvalidierung durch Mixture-of-Agents werden Fertigstellungsurteile sorgfältiger und transparenter.
  • Nutzer sollten spezifische, überprüfbare Kriterien schreiben und für kritische Aufgaben menschliche Prüfung beibehalten.

Referenzen: