KI-Agenten - Monitoring, Guardrails und Qualitätssicherung im Betrieb

Diese Schulung zeigt, wie KI-Agenten im produktiven Einsatz kontrolliert werden. Sie erfahren, welche Daten für Analyse und Fehlerbehebung wichtig sind und wie Teams mit Traces, Dashboards und Reviews arbeiten. Das Seminar verbindet Prompt Management, Evaluation, Guardrails und Eskalation. Sie planen Freigaben für kritische Aktionen, prüfen RAG-Qualität und leiten aus Nutzerfeedback konkrete Verbesserungen ab. Am Ende können Sie Abläufe für Betrieb, Qualitätssicherung und Änderungskontrolle aufbauen. Der Kurs unterstützt Sie dabei, Agentensysteme sicherer und verlässlicher zu betreiben. Dieses Seminar ist ein Angebot der PC-COLLEGE Gruppe.

Inhalt:

• Betriebsanforderungen für KI-Agenten - Unterschied zwischen klassischem Softwarebetrieb und Agentenbetrieb - Nichtdeterministisches Verhalten von LLM-basierten Systemen - Risiken durch Tool-Nutzung, Kontextwechsel und autonome Entscheidungen - Typische Fehlerbilder im produktiven Einsatz - Rollen und Verantwortlichkeiten im Betrieb Monitoring und Observability - Logging von Prompts, Antworten und Tool Calls - Tracing von Agentenentscheidungen und Workflow-Schritten - Analyse von Fehlverhalten und unerwarteten Ergebnissen - Metriken für Qualität, Kosten, Latenz und Zuverlässigkeit - Dashboards und Review-Prozesse für Agentensysteme Prompt Engineering und Prompt Management - Systematische Gestaltung von System-, Rollen- und Aufgabenprompts - Prompt Patterns für stabile Agentensteuerung - Versionierung und Vergleich von Prompts - Debugging fehlerhafter Agentenantworten - Reduktion von Halluzinationen und Fehlinterpretationen Evaluation und Model Harness - Aufbau von Testfällen für Agentenverhalten - Vergleich von Modellantworten und Prompt-Varianten - Regressionstests für Prompts, Tools und Workflows - Bewertung von RAG-Qualität und Kontextnutzung - Qualitätssicherung vor Änderungen an Agentensystemen Guardrails und Sicherheitsmechanismen - Prompt Injection und Jailbreak-Risiken - Output Filtering und Content-Regeln - Zugriffskontrolle für Tools und sensible Daten - Begrenzung autonomer Aktionen - Sicherheits- und Freigabekonzepte für kritische Workflows Eskalation und Human-in-the-Loop - Erkennung unsicherer oder kritischer Situationen - Freigabeprozesse für risikobehaftete Aktionen - Übergabe an Menschen bei Unsicherheit oder Regelverletzungen - Fallback-Strategien und Fail-Safe-Mechanismen - Dokumentation und Nachvollziehbarkeit von Entscheidungen Kontinuierliche Verbesserung - Feedback-Schleifen aus Nutzerinteraktionen - Analyse von Fehlerklassen und Optimierungspotenzialen - Anpassung von Prompts, Tools und Wissensquellen - Governance für Änderungen an Agentensystemen - Praxisnaher Betriebsprozess für KI-Agenten

Direktlink zum Kurs!

2 bis 8

1.773,10 € inkl. MwSt. (pro Person)