Getäuscht vom Chatbot – Wenn KI-Assistenten Fehler machen

Man nennt diese auch Halluzinationen. Sie stellen keine großen Probleme dar, wenn Menschen zu Hause mit KI-Prompts herumspielen, aber in Unternehmen, die neue Chatbots für eine große Anzahl von Kunden und MitarbeiterInnen einsetzen, kann nur eine einzige KI-Erfindung Unternehmen vor Gericht bringen.

Im vergangenen Frühjahr sanktionierte ein Richter eine Anwaltskanzlei, weil sie in einem Schriftsatz, den ein Chatbot verfasst hatte, Rechtsgutachten mit gefälschten Zitaten zitiert hatte. Die Firma gab zu, dass sie "nicht glaubte, dass ein Stück Technologie Fälle aus einem ganzen Stoff erfinden könnte".

Halluzinationen treten auf, wenn die Daten, die zum Trainieren von LLMs verwendet werden, von schlechter Qualität oder unvollständig sind. Die Häufigkeit liegt bei den meisten KI-Plattformen zwischen 3 % und 8 %.  Bei Customer-Service-Chatbots kann die Bereitstellung falscher Ratschläge oder Informationen wichtige Ziele wie die Kundenzufriedenheit negativ beeinflussen. Sie können auch in hochkomplexen (und regulierten) Sektoren wie dem Gesundheitswesen oder dem Finanzwesen zu Verwirrung und potenziellem Schaden führen.

In IT-Organisationen richten KI-Pannen auch auf andere Weise verheerende Schäden an. Chatbots können Service-Tickets falsch zuweisen, ein Problem ungenau beschreiben oder Arbeitsabläufe stören und zu erheblichen systemischen Problemen führen.

Für IngenieurInnen kann ein KI-generierter Code, der in der Softwareentwicklung verwendet wird, Sicherheitslücken oder geistiges Eigentum enthalten, das während des Trainings aufgenommen wurde. KI-Systeme können auch komplexe Fehler oder Sicherheitsprobleme übersehen, die nur ein Entwickler erkennen und beheben würde.

So können Unternehmen Risiken minimieren:

• Inhaltsfilter: Eine Vielzahl von technischen oder richtlinienbasierten Leitplanken kann vor unangemessenen oder schädlichen Inhalten schützen. Beispielsweise können Inhaltsfilter die Beantwortung von Fragen zu sensiblen Problemen oder Themen ablehnen. Beim Customer-Service sollte ein Chatbot eine Anfrage schnell an einen menschlichen Mitarbeiter übergeben, wenn er verwirrt ist oder nicht in der Lage ist, die genaue Antwort zu finden.
• Besser Datenqualität: Bei der Schulung von LLMs sollten IT-Teams die Daten validieren, um sicherzustellen, dass sie qualitativ hochwertig, relevant und umfassend sind. Trainingsdaten sollten regelmäßig überprüft werden, um sich vor "Modelldrift" oder Leistungseinbußen zu schützen, die aufgrund von Änderungen des zugrunde liegenden Datenmodells im Laufe der Zeit auftreten.
• Leitplanken: Durch die Einschränkung der Fähigkeit der Chatbots, sich mit Apps und Diensten von Drittanbietern zu verbinden, wird die Möglichkeit vermieden, irreführende, ungenaue oder potenziell schädliche Daten zu generieren. Nebeneffekte des Sandboxings des Chatbots auf diese Weise sind eine bessere Leistung (weniger Abhängigkeiten) und eine verbesserte Compliance für die Branchen, in denen dies unerlässlich ist.

Halluzinationen mögen heute ein Problem sein, aber die Forschung ist im Gange, das Problem zu lösen. In dem Bemühen, sowohl die Genauigkeit als auch die Zuverlässigkeit zu verbessern, wird alles untersucht, von der Erstellung größerer Modelle bis hin zur Selbstdurchführung der Faktenprüfung durch LLMs.