Deep Dive Modul 2 – Quality, Safety & Trust: Evals und Gates für produktionsreife Agenten

In diesem halbtägigen Deep-Dive-Modul arbeiten Sie Online LIVE gemeinsam mit dem Trainer und maximal 11 weiteren Teilnehmenden daran, Safety- und Quality-Gates direkt in die Entscheidungskette Ihrer Agenten einzubauen. Sie lernen, Evals so zu designen, dass reale Produktionsrisiken sichtbar werden – statt sich auf gute Benchmark-Werte zu verlassen – und Compliance-Entscheidungen wie „Echtdaten oder Demo-Daten?” reproduzierbar zu treffen.

Das Modul ist Teil der 4-teiligen Deep-Dive-Reihe „Agentic AI im Produktivalltag”, aber vollständig eigenständig buchbar. Sie verlassen die Session mit einer anwendbaren Safety-Gate-Map für Ihren Delivery-Prozess und einem Mini-Eval-Set für die kritischsten Fehlerszenarien aus Ihrem Umfeld.

Hinweis: Regulatorische Anforderungen wie der EU AI Act werden in diesem Modul bewusst nur angerissen, soweit sie die Safety- und Compliance-Gates betreffen.

Für eine fundierte Vertiefung bieten wir eigene, weiterführende Trainings rund um den EU AI Act und KI-Governance an, an die dieses Modul anschlussfähig ist – etwa KI-Beauftragter – Schulung zu Aufgaben, Rollen & EU AI Act oder KI-Kompetenz für Unternehmen und Organisationen – Sicherheit & EU AI Act.

Ziel der Schulung

So profitieren Sie von diesem Training in Ihrem Arbeitsalltag:

• Sie verankern Safety- und Quality-Gates entlang der gesamten Agentenentscheidungskette.
• Sie designen Evals so, dass reale Produktionsrisiken sichtbar werden – statt nur gute Benchmark-Werte zu erzielen.
• Sie machen Compliance-Entscheidungen reproduzierbar: wann Echtdaten, wann Demo-Daten, wann ein Abbruch nötig ist.
• Sie erarbeiten eine anwendbare Safety-Gate-Map für Ihren eigenen Delivery- und Freigabeprozess.
• Sie nehmen ein Mini-Eval-Set mit den kritischsten Fehlerszenarien aus Ihrem Umfeld mit.

Der Nutzen für Sie

Stellen Sie sich vor, Ihr Agent gibt eine plausible, aber fachlich falsche Antwort – ohne jedes Warnsignal, und niemand bemerkt es, bevor der Fehler beim Kunden ankommt. Nach diesem Training verfügen Sie über Gate-Kriterien, die genau solche Fälle vor der Auslieferung abfangen.

Oder: Ihr Team muss spontan entscheiden, ob personenbezogene Daten in einer Demo gezeigt werden dürfen – und trifft diese Entscheidung von Fall zu Fall, ohne dokumentierte Begründung. Im Training entwickeln Sie dafür eine reproduzierbare Compliance-Regel, die diese Entscheidung nicht mehr von der zufällig anwesenden Person abhängig macht.

Der Effekt: Qualität entsteht nicht mehr erst im nachgelagerten Review, sondern durch klare, dokumentierte Gates im laufenden Agentenprozess selbst – nachvollziehbar für Fachbereiche, Auditoren und Ihr eigenes Team.

Themen im Detail

• Safety- und Quality-Gates entlang der gesamten Agentenentscheidungskette verankern
• Evals so designen, dass reale Produktionsrisiken sichtbar werden (statt nur guter Benchmark-Werte)
• Compliance-Entscheidungen reproduzierbar machen: wann Echtdaten, wann Demo-Daten, wann Abbruch

So arbeiten wir

Keine Compliance-Vorlesung, kein Foliensatz zu Richtlinien. Der Trainer moderiert entlang der realen Fälle der Teilnehmenden und arbeitet direkt am Artefakt. Kleingruppe (max. 12 Teilnehmende).

Was das Training nicht ist: eine allgemeine AI-Safety- oder EU-AI-Act-Compliance-Schulung auf Richtlinienebene (siehe Hinweis oben). Hier geht es um die technische Umsetzung von Safety und Qualität im Agenten selbst.

Wer sollte an der Schulung teilnehmen?

• Sie sind AI/LLM Engineer oder Platform-Verantwortlicher und möchten Qualitäts- und Safety-Denken fest in Ihre Agenten-Architektur einbauen, statt es dem Zufall zu überlassen.
• Sie sind Tech Lead oder Engineering Manager und tragen die Verantwortung dafür, dass Agenten-Entscheidungen im Fehlerfall nachvollziehbar und erklärbar bleiben.
• Sie sind in einem Produktteam für AI-Features tätig und müssen regelmäßig Compliance-Fragen (Echtdaten, personenbezogene Daten, Freigaben) im Team klären.
• Sie erleben, dass gute Benchmark-Werte Ihrer Evals nicht verhindern, dass reale Produktionsrisiken erst im Betrieb auffallen.

Grundverständnis moderner AI-Workflows und Software-Delivery. Das Modul ist unabhängig von den anderen Modulen der Reihe buchbar und durchführbar; Vorkenntnisse aus anderen Modulen der Reihe sind nicht erforderlich.