01 Vergleichen Sie die Einstellungen von Demo und Pilotbetrieb
Sebastian Mueller ist Mitgründer von MING Labs. In einem öffentlichen Beitrag beschreibt er zwei Kundenpiloten an einem unangenehmen Punkt: Sie funktionierten, doch mit der Qualität war niemand zufrieden.[S4][S1] Dokumente ließen sich hochladen, Fragen wurden beantwortet. Die Ergebnisse wirkten nur deutlich schlechter als in der früheren Vorführung.
Seine Erklärung war konkret. In der Demo lief ein leistungsfähiges Spitzenmodell in der Cloud des Anbieters, mit Zugriff auf das externe Internet. Der Pilot nutzte die von der IT freigegebene Umgebung: anderes Hosting, ein kleineres Modell, kein externer Internetzugriff. Prompts und Aufbau waren ähnlich, die Bedingungen waren es nicht.[S1]
Für eine Kaufentscheidung ist das relevant. Der Auftraggeber erinnert sich an das Ergebnis auf dem Bildschirm, während das Umsetzungsteam bereits ein anderes System plant. Beide können glauben, über denselben Agenten zu sprechen. Der Unterschied wird erst sichtbar, wenn jemand mit dessen Arbeit weiterarbeiten möchte.
Das sind Sebastians berichtete Beobachtungen, kein kontrollierter Vergleich. Wie groß der Qualitätsunterschied war und welche Änderung ihn verursacht hat, lässt sich daraus nicht bestimmen. Eine hilfreiche Frage ergibt sich trotzdem: Was hat die Vorführung über das System belegt, das wir später betreiben werden?
02 Testen Sie mit dem Modell und den Zugriffsrechten für den späteren Einsatz
Lassen Sie das Umsetzungsteam vor der nächsten Vorführung benennen, welches Modell in welcher Version läuft, wo es betrieben wird, welche Informationen es lesen und welche Aktionen es ausführen darf. Stellen Sie die geplante Betriebsumgebung daneben. Unterschiede gehören auf den Tisch, bevor Sie die Ergebnisse besprechen.
Ein Rechercheagent mit Internetzugriff kann eine andere Aufgabe angehen als einer, der ausschließlich interne Dokumente nutzen darf. Das ist ein Beispiel, kein Urteil darüber, welche Umgebung besser ist. Entscheidend ist, ob die freigegebene Umgebung die vereinbarte Arbeit ermöglicht. Mehr Zugriff ist für sich genommen kein Abnahmekriterium.
In einem weiteren Beitrag schlägt Sebastian vor, einzelne Datenflüsse zu betrachten, bevor über die Ziele von Modellanfragen entschieden wird.[S2] Für die Abnahme wird daraus ein Vorbereitungsschritt: Die zuständigen Personen aus IT, Sicherheit und Datenschutz klären, welche Eingaben, Werkzeuge und Ziele erlaubt sind. Innerhalb dieser Grenzen wird getestet. Eine überzeugende Demo ist kein Grund, sie aufzuweichen.
Ist die vorgesehene Umgebung noch nicht verfügbar, können Sie mögliche Fähigkeiten vorführen und deren Voraussetzungen offen benennen. Ob das System für die spätere Umgebung bereit ist, bleibt dann ungeklärt. Eine Demo kann einen Pilotversuch begründen, ohne schon eine Freigabe für den Betrieb zu rechtfertigen.
03 Vereinbaren Sie, was als nutzbares Ergebnis zählt
Beginnen Sie mit der Person, die die Arbeit erhalten soll. Bei einer beispielhaften Rechercherolle ist „ein Briefing erstellen“ zu ungenau. Der Empfänger braucht vielleicht Quellenlinks, Hinweise auf ungelöste Widersprüche und einen Entwurf in der bestehenden Prüfliste. Halten Sie diese Anforderungen fest, bevor Sie den Text bewerten.
Die folgende MING-Checkliste bereitet die Abnahmeentscheidung vor. Sie trennt gezeigte Fähigkeiten von offenen Nachweisen. Sie ist ein Vorschlag, kein zertifizierter Standard und kein berichtetes Ergebnis der Kundenfälle.
| Was Sie vereinbaren | Welchen Beleg Sie brauchen | Wenn er fehlt |
|---|---|---|
| Modell und Hosting | Tatsächlich verwendetes Modell mit Version und Hosting in Demo und geplantem Betrieb | Unterschied festhalten; vorgesehene Konfiguration vor einer Freigabe testen |
| Informationen und Zugriffe | Freigegebene Eingaben, Datenziele, Werkzeuge und Berechtigungen für die echte Aufgabe | Zugriff oder Aufgabenumfang mit der zuständigen Person klären |
| Nutzbare Arbeit | Typische Aufgaben mit schriftlichen Kriterien und einer Person, die das Ergebnis abnimmt | Bedarf des Empfängers klären, bevor Ausgaben bewertet werden |
| Zustellung und Ausnahmen | Ergebnis am vorgesehenen Prüfort; getestete Übergabe bei fehlenden Belegen oder verweigertem Zugriff | Diesen Arbeitsschritt bis zur geprüften Übergabe unter menschlicher Kontrolle halten |
| Aufwand und Schwankungen | Wiederholte Ergebnisse, Fehlschläge, Wartezeit und menschlicher Prüfaufwand mit Gesamtzahl der Versuche | Unsicherheit benennen; keinen ausgewählten Bestlauf als Ersatz verwenden |
| Abnahme und Änderungen | Verantwortliche Person, vereinbarte Freigabebedingungen und erneute Prüfungen nach Änderungen | Den ungeprüften Umfang aus der Betriebszusage herausnehmen |
Hilfreich wird die Liste, wenn jede Zeile eine zuständige Person und einen Beleg bekommt. „Um Berechtigungen kümmern wir uns später“ ist eine offene Abhängigkeit. „Der Agent kann diese freigegebenen Ordner lesen; beim gesperrten Ordner wurde an die prüfende Person übergeben“ lässt sich dagegen nachvollziehen.
04 Prüfen Sie die fertige Arbeit, auch bei schwierigen Fällen
Anthropics Anleitung zur Agentenbewertung betrachtet Modell und umgebendes Agentensystem gemeinsam. Sie unterscheidet außerdem zwischen der Behauptung, eine Aufgabe erledigt zu haben, und dem tatsächlichen Ergebnis. Weil Ergebnisse schwanken, empfiehlt sie wiederholte Versuche.[S3]
Übertragen Sie das auf das Recherchebeispiel. Ist das Briefing am richtigen Prüfort angekommen? Tragen die Quellen seine Aussagen? Kann der Empfänger damit arbeiten? Testen Sie anschließend ein fehlendes Dokument, widersprüchliche Belege und eine verweigerte Berechtigung. Das sind vorgeschlagene Testfälle, keine Vorfälle aus Sebastians Kundenprojekten.
Erfassen Sie jeden Versuch im gewählten Aufgabensatz, auch unbrauchbare Ergebnisse und menschliche Korrekturen. Legen Sie mit der fachlich verantwortlichen Person fest, welche Abdeckung die möglichen Fehlerfolgen verlangen. Eine sauber aussehende Prozentzahl sagt ohne Aufgaben und Gesamtzahl der Versuche wenig darüber aus, was geprüft wurde. Unser Beispiel zu den Betriebskosten zeigt, warum auch Prüf- und Korrekturzeit in die Entscheidung gehören.
05 Geben Sie eine begrenzte Rolle frei und prüfen Sie weiter
Am Ende muss die Wahl nicht zwischen vollständigem Start und Projektabbruch liegen. Vielleicht geben Sie eine kleinere Rolle frei, behalten für einen schwierigen Schritt die menschliche Freigabe bei oder schließen erst eine fehlende Anbindung. Entscheiden Sie anhand der vereinbarten Kriterien, statt sich an der besten Demo zu orientieren.
Halten Sie die abgenommene Konfiguration und die Testaufgaben bei der Übergabe fest. Ändern sich Modell, Berechtigungen oder Datenquellen, werden die betroffenen Prüfungen wiederholt. Klären Sie auch, wer die Rolle pausieren darf, wenn die Arbeit den vereinbarten Maßstab nicht mehr erfüllt. Unsere Antwort zur Verantwortung für Agentenfehler vertieft diese Zuständigkeit.
Eine hilfreiche Demo zeigt, was der Agent unter den Bedingungen leisten kann, die Ihr Team ihm tatsächlich geben wird.
Bringen Sie MING die Aufgabe, die Demo-Konfiguration und die Rahmenbedingungen des geplanten Betriebs mit. Daraus können wir gemeinsam eine Rolle und einen Abnahmeplan für Ihre Hybrid Organisation (EN) entwickeln. Besprechen Sie mit uns Ihren Piloten und seine Abnahmekriterien (Kontakt auf Englisch) .
Was diese Abnahmehilfe belegt
- Berichtete Erfahrung: Sebastian beschreibt zwei Kundenpiloten und einen Qualitätsunterschied zur Demo. Aufgabenzahlen, Punktwerte, Rohdaten und Ergebnisse nach einer Korrektur sind nicht öffentlich. Der Bericht belegt weder eine Fehlerquote noch, dass ein bestimmtes Modell oder Hosting den Unterschied verursacht hat.[S1]
- Eine vorgeschlagene Methode: Checkliste und Recherchebeispiele sind eine redaktionelle Zusammenführung durch MING, geprüft am 3. Oktober 2026. Sie versprechen keine gemessene Verbesserung und decken nicht jedes Betriebsrisiko ab.
- Datengrenzen: Der Beitrag zu Datenflüssen liefert eine Vorbereitungsfrage. Seine weitergehenden Aussagen zu Rechtskonformität und Leistung werden nicht übernommen. Erforderliche Freigaben bleiben bei den zuständigen Fachleuten.[S2]
- Quelldaten: LinkedIn zeigte gerundete Zeitangaben. Die Quellenliste nennt Abrufdaten statt eines geschätzten Veröffentlichungstags. Die ursprüngliche Besprechungsillustration ist KI-generiert und dient nicht als Beleg für ein Kundengespräch.
