Antwort

Was gehört in das Protokoll eines KI-Agenten?

Ein Agenten-Protokoll sollte zeigen, was beauftragt war, was tatsächlich passiert ist und wer dafür verantwortlich ist. Zu jedem Ergebnis gehört ein Beleg, den jemand anderes prüfen kann. Warum das wichtig ist, haben wir bei zwölf Briefings gelernt: Die Texte waren fertig, der Status stand auf „erledigt“, versendet wurde keines.[S1]

Ein berichtetes Kundenprojekt · Juli 2026

Zwölf fertige Briefings wurden nie versendet.

Briefings erstellt

12 / 12

Im Status: erledigt

Briefings versendet

0 / 12

Laut unserem Projektbericht

Jedes Feld steht für ein Briefing. Links sind 12 von 12 erstellt, rechts 0 von 12 versendet.

Prüfen Sie den Beleg am vereinbarten Ziel.

Zwölf Briefings ab dem 2. Juli 2026: als erledigt verbucht, aber nicht versendet. Aus unserem veröffentlichten Projektbericht; ein einzelner Fall. Zum Quellenbericht.
Aktualisiert: | Nächste Prüfung: Praktische Prüfhilfe Maschinenlesbare Fassung

Von MING Labs · Redaktion

01 Unser Agent meldete zwölf unversendete Briefings als erledigt.

In einem unserer Kundenprojekte sollte ein Agent Briefings erstellen und versenden. Seit dem 2. Juli 2026 hatte er zwölf geschrieben. Die Texte waren in Ordnung. Im Protokoll stand, dass die Arbeit erledigt war. Nur versendet hatte er keines davon.[S1]

Aufgefallen ist das durch eine Frage des Projektverantwortlichen beim Kunden: Was bedeute die Zahl „0 versendet“? Bis dahin hatten wir auf einen Status vertraut, den der Agent selbst eingetragen hatte. Der Versandaufruf hatte weder einen Fehler noch eine Bestätigung geliefert. Der Agent war zum nächsten Schritt übergegangen und hatte die Aufgabe abgeschlossen.[S1]

Das erklärt, warum ein ausführliches Protokoll trotzdem die entscheidende Frage offenlassen kann. Wir konnten darin lesen, was der Agent für erledigt hielt. Ob die Arbeit den Kunden erreicht hatte, ließ sich damit nicht nachprüfen. Für das Team, das auf diese Briefings angewiesen war, war genau das entscheidend.

02 Zum Eintrag „versendet“ gehört die Nachricht aus dem Mail-System.

Nehmen wir denselben Auftrag noch einmal: Ein Briefing soll an eine bestimmte Person gehen. Die gespeicherte Datei zeigt, dass der Text existiert. Eine Nachricht im Versandsystem zeigt, dass ein Versand stattgefunden hat. Prüfen Sie dort auch Empfänger und Zeitpunkt. Erst dann wissen Sie, ob die Nachricht zum Auftrag passt.

Technisch kann dafür schon die Rückmeldung des Maildienstes helfen. Die Gmail-API gibt nach einem erfolgreichen Versand beispielsweise eine Nachricht zurück, die sich über ihre Kennung wiederfinden lässt.[S3] Diese Kennung gehört ins Protokoll. Sie beantwortet aber noch nicht, ob der Empfänger die Nachricht gelesen oder damit gearbeitet hat.

Für Ihre Übersicht heißt das: Halten Sie getrennt fest, ob das Briefing erstellt, versendet, zugestellt oder von einem Menschen geprüft wurde. Wenn Sie eine dieser Stufen nicht sehen können, bleibt sie offen. So wird aus einem pauschalen „erledigt“ ein Ablauf, dem eine andere Person folgen kann. Auch in der Agentenbewertung wird zwischen dem Bericht über eine Aktion und dem tatsächlichen Ergebnis in der Umgebung unterschieden.[S2]

Wenn im Protokoll „versendet“ steht, sollte sich die zugehörige Nachricht finden lassen.

03 Zehn Angaben verbinden den Auftrag mit dem Ergebnis.

Der Versandbeleg ist ein Teil der Geschichte. Wenn etwas schiefgeht, möchte Ihr Team auch wissen, welcher Auftrag galt, welche Zugriffe erlaubt waren und wer die Arbeit geprüft hat. Wir schlagen dafür die folgenden zehn Angaben vor. Sie sollen zusammenpassen: Vom Auftrag muss man zum Lauf des Agenten und von dort zum Ergebnis gelangen können.

AngabeWas Sie damit nachprüfen können
Agent und VersionWelcher Agent hat gearbeitet, mit welchem Modell und welchen Einstellungen?
Auftrag und StartWas sollte er bis wann erledigen? Wodurch wurde der Lauf gestartet?
AufgabengrenzenWas gehörte zum Auftrag, und was durfte der Agent selbst entscheiden?
Erlaubte ZugriffeWelche Systeme durfte er nutzen? Wer hatte das freigegeben?
Ausgeführte SchritteWas hat er aufgerufen oder verändert, und welche Rückmeldung kam zurück?
Verwendete InformationenWelche Daten und Versionen lagen seiner Arbeit zugrunde?
Ergebnis und EmpfängerWo liegt die Datei, Nachricht oder der Datensatz? Für wen und von wann ist sie oder er?
Zeit und KostenWie lange lief die Aufgabe, was kostete sie, und gab es weitere Versuche?
Menschliche PrüfungWer hat das Ergebnis geprüft oder freigegeben, wann und mit welcher Entscheidung?
ÜbergabeIst die Arbeit angekommen und abgenommen worden? Was wissen wir darüber noch nicht?

Eine gemeinsame Auftragsnummer hilft, diese Einträge zu verbinden. Dafür müssen Sie nicht alle Inhalte in ein neues System kopieren. Ein Verweis auf die passende Nachricht oder Dateiversion kann reichen. Sensible Daten bleiben dort, wo die zuständigen Personen darauf zugreifen dürfen.

Ebenso wichtig ist die Zuständigkeit: Jemand muss handeln, wenn ein Ergebnis fehlt. Wie sich diese Verantwortung zuordnen lässt, erklären wir in der Antwort zu Agentenfehlern . Wer dem Agenten welche Zugriffe gibt, behandeln wir bei den Zugangsdaten (EN) .

04 Der Abgleich je Auftrag zeigt fehlende und doppelte Zustellungen.

Sie können die Lücke auch bei einem Agenten suchen, der schon arbeitet. Wählen Sie eine Woche und einen klaren Auftrag, etwa den Versand von Briefings. Schreiben Sie auf, welche Briefings in dieser Woche fällig waren. Sehen Sie anschließend im Versandsystem nach, welche Nachrichten tatsächlich existieren. Diese zweite Liste muss unabhängig vom Erledigt-Status des Agenten entstehen.[S1]

Ordnen Sie jedem fälligen Briefing seine Nachricht zu. Stimmen Empfänger und Zeitpunkt? Fehlt etwas? Wurde etwas doppelt versendet? Nur die Gesamtzahlen zu vergleichen, reicht nicht: Eine fehlende und eine doppelte Nachricht können sich rechnerisch ausgleichen. Mit dieser Prüfung je Auftrag ergänzen wir den Vergleich zweier Listen aus unserem veröffentlichten Erfahrungsbericht.[S1]

Bleibt ein Versand unklar, suchen Sie zuerst nach der Nachricht, bevor Sie erneut senden lassen. Vielleicht war der Versand erfolgreich und nur die Rückmeldung fehlte. Eine sofortige Wiederholung würde dann zwei Nachrichten erzeugen. Was sich nicht klären lässt, bekommt eine verantwortliche Person und einen Termin zur Prüfung.

05 Die Übergabe an den Empfänger gehört in den Abnahmetest.

Für den nächsten Agenten gehört die letzte Übergabe von Anfang an zum Test. Lassen Sie ihn in einer kontrollierten Umgebung einen normalen Auftrag, einen Fehler und eine unklare Rückmeldung durchlaufen. Kann eine andere Person danach erklären, was passiert ist und was noch offen ist? Unsere Abnahmecheckliste führt durch die weiteren Fragen vor dem Einsatz.

Wir arbeiten auch an einer zusätzlichen Prüfung, die Dateiänderungen unabhängig von der Aussage des Agenten kontrolliert. Ob sie einen solchen Vorfall erkennt, bevor ein Mensch ihn bemerkt, ist bisher nicht nachgewiesen.[S1] Der praktische Einstieg braucht darauf nicht zu warten: Nehmen Sie einen laufenden Auftrag und versuchen Sie, seinen Weg bis zum Empfänger nachzuvollziehen.

Wenn Sie dabei feststecken, bringen Sie den Auftrag und die vorhandenen Aufzeichnungen mit. Wir schauen gemeinsam, an welcher Stelle ein Beleg oder eine Zuständigkeit fehlt. Sprechen Sie mit uns über Ihren Agenten (Kontakt auf Englisch) .

Worauf diese Antwort beruht

Die zwölf Briefings stammen aus einem Kundenprojekt ab Juli 2026, das wir in The Hybrid Company beschrieben haben.[S1] Die Projektunterlagen sind nicht öffentlich; daraus lässt sich keine allgemeine Fehlerquote ableiten. Die zehn Angaben und die Prüfung je Auftrag sind unser Vorschlag für die Praxis. Aufbewahrung, Datenschutz und Zugriffe müssen die zuständigen Teams für ihre konkrete Aufgabe festlegen.

Ein Kundenprojekt aus unserem veröffentlichten Erfahrungsbericht und ein Vorschlag für die Praxis. Die Projektunterlagen sind nicht öffentlich.

Quellen

[S1]
Twelve briefs written and none delivered. Sebastian Mueller, The Hybrid Company / Medium · Abgerufen am 04.10.2026 Belegt: Laut Bericht zwölf Briefings erstellt und keines versendet, in einem Projekt ab Juli 2026, Drei berichtete Fehlerarten und ein vorgeschlagener unabhängiger Abgleich, Eine separate Dateiprüfung wird beschrieben; die Vermeidung eines realen Zustellfehlers ist noch nicht belegt Vollständiger öffentlicher Artikel und fünf Grafiken geprüft. Medium zeigte „vor 6 Tagen“. Die Zahlen stammen aus Sebastians Bericht über private Unterlagen, nicht aus unabhängig verfügbaren Rohdaten.
[S2]
Demystifying evals for AI agents Anthropic · 2026-01-09 Belegt: Unterscheidung zwischen dem Ablaufprotokoll des Agenten und dem tatsächlichen Ergebnis in der Umgebung
[S3]
Gmail API: users.messages.send Google for Developers · Abgerufen am 04.10.2026 Belegt: Ein erfolgreicher Versandaufruf gibt eine Message-Ressource zurück; die Methode versendet an die Empfänger in To, Cc und Bcc Technisches Beispiel einer Systemantwort, kein Beleg dafür, dass eine bestimmte Person eine Nachricht gelesen oder verwendet hat.

Häufige Fragen

Reicht das Protokoll der Agentenplattform?
Es hilft, Werkzeugaufrufe und Fehler nachzuvollziehen. Zusätzlich brauchen Sie den Auftrag, das vorgesehene Ziel und das tatsächliche Ergebnis. Verknüpfen Sie den Ablauf mit der Nachricht, Dateiversion oder dem Datensatz. Die Zusammenfassung des Agenten beschreibt seine Sicht; sie bestätigt den Vorgang nicht unabhängig.
Beweist eine Nachrichten-ID, dass die Arbeit angekommen ist?
Sie identifiziert eine Nachricht in einem bestimmten System. Prüfen Sie, was dessen Status bedeutet, an wen die Nachricht ging und wann. Versand, Zustellung, Lesen und tatsächliche Nutzung sind verschiedene Ergebnisse. Halten Sie nur die Stufe fest, die der Beleg trägt.
Was tun, wenn der Versandstatus unklar bleibt?
Prüfen Sie zuerst im beteiligten System, ob die erwartete Nachricht existiert. Eine Wiederholung könnte einen bereits erfolgreichen Versand verdoppeln, dessen Rückmeldung fehlte. Bleibt das Ergebnis unklar, dokumentieren Sie es so und übergeben Sie an die benannte verantwortliche Person.
Wie lange sollten wir die Aufzeichnungen aufbewahren?
Legen Sie Aufbewahrung und Zugriff mit den zuständigen Sicherheits-, Datenschutz- und Rechtsverantwortlichen für Aufgabe und Daten fest. Diese Prüfhilfe gibt keine allgemeine Frist vor und bestätigt keine Rechtskonformität. Geheimnisse und unnötige personenbezogene Daten gehören nicht ins Protokoll.
Alle Insights (Englisch)