AI Agent Quality Professional (aixqs) – KI-Agenten systematisch bewerten und verbessern

KI-Agenten entwickeln ist das eine. Nachweisen, dass sie zuverlässig das Richtige tun, ist etwas anderes.

Der AI Agent Quality Professional (aixqs) zeigt, wie Qualität bei LLM-, RAG- und Agentensystemen systematisch entsteht und über den gesamten Entwicklungszyklus abgesichert wird.

Im Mittelpunkt steht die Frage, wie fachliche Erwartungen, Domänenwissen und technisches Verhalten so zusammengeführt werden, dass Qualität nachvollziehbar bewertet und gezielt weiterentwickelt werden kann.

Sie lernen unter anderem:

• fachliche Erwartungen an KI-Agenten präzisieren
• Agentenverhalten in überprüfbare Qualitätskriterien übersetzen
• Testsets und Bewertungsmetriken entwickeln
• Evaluationen mit Rhesis durchführen
• Änderungen an Systemprompt, Modell und Kontext vergleichen
• Regressionen erkennen und fachlich einordnen
• Conversation Flows, Robustheit und Prompt Injection prüfen
• Ergebnisse nachvollziehbar bewerten und Freigabeentscheidungen begründen

Praxis statt Theorie

Über alle vier Trainingstage arbeiten die Teilnehmenden an einem durchgängigen Praxisprojekt. Zur Auswahl stehen unterschiedliche Agenten, beispielsweise ein Support Agent, Travel Agent oder Healthcare Agent.

Mit Rhesis werden Testsets aufgebaut, Evaluationen durchgeführt und Veränderungen zwischen verschiedenen Entwicklungsständen sichtbar gemacht.

Dabei geht es auch um ganz praktische Fragen:

• Ist mein Agent nach einer Woche Arbeit wirklich besser – oder nur anders?
• Erfüllt er die Anforderungen der Fachabteilung?
• Welche Änderung hat tatsächlich eine Verbesserung gebracht?
• Auf welcher Grundlage kann ein Agent freigegeben werden?

Der Kurs verbindet AI Engineering, Agent Evaluation und Qualitätssicherung mit der Zusammenarbeit von Fachbereich, Produkt und Entwicklung.

Abschluss

• Teilnahmebescheinigung der Adinger IT Trainings GmbH
• Zertifikat AI Agent Quality Professional (aixqs) nach bestandener Zertifizierungsprüfung
• Praxisnachweis zur Arbeit mit Rhesis