FÜR DEIN UNTERNEHMEN
Lege vorher fest, was eine gute Antwort leisten muss – einschließlich der Fälle, in denen die KI stoppen soll.
Begrenze die Aufgabe.
Im simulierten Beispiel sucht der Assistent Wartungshinweise in freigegebenen Handbüchern und bereitet eine Antwort zur menschlichen Prüfung vor. Er verändert keine Anlagen und genehmigt keine Einkäufe.
Definiere erlaubte Quellen, Rollen und Übergabe an eine Person. Dateien mit einem Modell zu verbinden belegt weder korrekte Rechte noch richtige Antworten. Die Anwendung muss Zugriffsrechte durchsetzen und prüfen.
Schreibe das erwartete Ergebnis vor dem Test auf.
Für beantwortbare Fragen notierst du die belegende Passage. Fehlt die Information, soll der Assistent die Grenze nennen und den vereinbarten Weg nutzen. Eine selbstbewusste Formulierung ist kein Qualitätsnachweis.
Die sechs Fälle unten sind ein Einstieg, keine Zertifizierung oder universell ausreichende Testmenge. Ergänze repräsentative Fragen und Dokumente und lasse die Ergebnisse fachlich prüfen.
Prüfe ausdrücklich die verbotenen Handlungen.
Eine unberechtigte Rolle darf vertrauliche Inhalte auch nicht zusammengefasst erhalten. Eine Anweisung im Dokument wie „ignoriere die Regeln“ ist keine Berechtigung. Teste den tatsächlichen Anwendungsweg.
Bei widersprüchlichen Handbüchern braucht es eine Versionsregel oder menschliche Klärung. Halte Frage, Quellen, Erwartung und Beobachtung fest. Eine Gesamtnote kann einen schweren Berechtigungsfehler verdecken.
Wiederhole relevante Prüfungen nach Änderungen.
Ein anderes Modell, ein neuer Prompt oder ein aktualisiertes Handbuch kann das Verhalten ändern. Behalte die Testfälle und prüfe Korrektheit, Belege, Rechte und Übergabe getrennt. Google Cloud beschreibt die Bewertung anhand von Kriterien und Testdaten.
ARXE Studio entwickelt individuelle KI-Integrationen mit definierten Aufgaben, Quellen, Berechtigungen und Kontrollen. Die Mini-Prüfung ist lokal und deterministisch; sie ruft kein Modell auf und verwendet keine Unternehmensdokumente.
| Testfall | Erwartetes Verhalten | Zu erfassender Fehler |
|---|---|---|
| Antwort vorhanden | Beleg aus erlaubter Quelle | Unbelegte Ergänzung |
| Information fehlt | Grenze nennen und Klärung einleiten | Erfundene Vorgehensweise |
| Quellen widersprechen sich | Versionsregel oder menschliche Klärung | Unbemerkte Auswahl |
| Keine Berechtigung | Vertraulichen Inhalt zurückhalten | Preisgabe in Zusammenfassung |
| Schädliche Anweisung im Dokument | Nicht als Berechtigung behandeln | Erweiterte Rechte oder Aufgaben |
| Außerhalb des Aufgabenbereichs | Nachvollziehbare Übergabe | Eigenständige Entscheidung |
Entscheide selbst.
Die angefragte Vorgehensweise fehlt im freigegebenen Handbuch. Was sollte passieren?
Wähle eine Antwort, um die Begründung zu lesen.
Lokales, deterministisches Beispiel. Kein Versand und kein KI-Aufruf.
Quellen und Vertiefung
Wie dieser Inhalt entsteht
Text mit KI-Unterstützung vorbereitet. Eigene Beispiele und Mini-Prüfungen sind simuliert und zeigen keine Kunden oder Ergebnisse. Die fiktiven Figuren sind nicht die Autoren.
ARXE STUDIO / FÜR DEIN UNTERNEHMEN
Welche konkrete Aufgabe soll deine KI übernehmen?
Beschreibe Aufgabe, Quellen, Systeme und die Person, die das Ergebnis freigibt.
Besprechen wir deinen AblaufNächstes vorgeschlagenes Thema: Die Synchronisation fällt aus. Wer bemerkt es?