FhGenie: Fraunhofer-Gesellschaft führt internen KI-Chatbot ein

Spätestens seit der Veröffentlichung von ChatGPT ist das disruptive Potenzial von generativen KI-Systemen klar. Die zu erwartenden wirtschaftlichen und gesellschaftlichen Auswirkungen sind enorm – daher ist ein schneller und sicherer Zugang zu den bestehenden Systemen für große Forschungsorganisationen essenziell, um weitergehende Erkenntnisse aus erster Hand zu erlangen, technologische Entwicklungen voranzutreiben und Innovationskraft beizubehalten. Die Fraunhofer-Gesellschaft hat nun für ihre Mitarbeitenden den KI-Chatbot FhGenie freigeschaltet. Er basiert auf dem Azure OpenAI Service von Microsoft, durch den Organisationen die neuesten Technologien für generative KI von OpenAI wie GPT-3.5 oder GPT-4, Codex, ChatGPT und DALL-E 2 aus der Microsoft Azure Cloud nutzen können.

»Es freut mich sehr, dass es gelungen ist, in kürzester Zeit mit Microsoft ein speziell an die Anforderungen der Fraunhofer-Gesellschaft angepasstes KI-Chatsystem zu entwickeln«, sagt Prof. Ingo Weber, Direktor Digitalisierung und IuK-Infrastruktur der Fraunhofer-Gesellschaft. »Wir haben festgestellt, dass viele Kolleginnen und Kollegen schon Chat-basierte KI im Rahmen ihrer Arbeit und zu Forschungszwecken nutzen möchten. Für die dienstliche Verwendung sind die bisherigen öffentlichen Angebote allerdings problematisch, unter anderem aus Gründen des Datenschutzes, der Vertraulichkeit und der Informationssicherheit.« Mit FhGenie haben Fraunhofer-Mitarbeitende von Forschung über Management bis zur Verwaltung die Gelegenheit, Erfahrungen zu sammeln: »Der Azure OpenAI Service von Microsoft, auf dem FhGenie basiert, ermöglicht es den Angestellten von Fraunhofer, das Potenzial generativer KI-Systeme für die eigene Arbeit zu nutzen. Vor dem Hintergrund der rasanten technologischen Entwicklung ist es wichtig, sich mit den bereits bestehenden Lösungen vertraut zu machen und die Vorteile für sich zu nutzen«, fasst Alexander Britz, Leiter des Geschäftsbereichs Public Sector bei Microsoft Deutschland zusammen.

DSGVO-konformer interner Chatbot

Die generative Text-KI FhGenie basiert auf dem OpenAI-Sprachmodell GPT-3.5-turbo und soll schnellstmöglich um das leistungsstärkere und multimodale GPT-4.0 erweitert werden, das auch Bilder verarbeiten kann. Derzeit besteht FhGenie aus einer Web-Applikation mit einem Framework auf Basis der Programmiersprache Python und der JavaScript-Laufzeitumgebung Node.js und ist für Mitarbeitende nach der SSO-Authentifizierung per Smartcard einfach über den Browser erreichbar. Um Datensicherheit zu gewährleisten, wurde die Instanz in einer europäischen, Fraunhofer-eigenen Azure-Subscription – also einem abgeschlossenen Bereich innerhalb der Cloud-Plattform von Microsoft – konfiguriert.

Die Anfragen über den ebenfalls dediziert in der Fraunhofer-Subscription implementierten Azure OpenAI Service erfolgen per API Prompt – also einer angepassten Schnittstelle, die die Befehle an das KI-System weitergibt. Via Completion (Auto-Vervollständigen der Antworten) erhalten die Nutzenden ihre Ergebnisse. Alle eingegebenen Daten verbleiben bei der Fraunhofer-Gesellschaft und werden nicht zum Training der KI verwendet. Abgesehen von einem automatisierten Filterprogramm, das auf missbräuchliche Nutzung prüft, erfolgt keine inhaltliche Kontrolle oder Speicherung der eingegebenen Inhalte.

Die DSGVO-konforme Azure-OpenAI-Service-Anwendung kann derzeit mit Zustimmung des Betriebsrats Fraunhofer-weit eingesetzt werden, wobei die Zugangsberechtigungen dezentral von den IT-Verantwortlichen der einzelnen Fraunhofer-Institute und -Einrichtungen vergeben werden. Aktuelle Nutzungszahlen zeigen die Offenheit der Fraunhofer-Belegschaft für das neue Angebot: Stand heute sind bereits über 19 200 der über 30 000 Fraunhofer-Mitarbeitenden für den Dienst registriert, von denen etwa 6500 als aktive User gelten.

Vom Berichtswesen bis zum Wissensmanagement: vielfältige Anwendungsmöglichkeiten

Einsatzmöglichkeiten für den KI-Chatbot gibt es zahlreiche – in ihrer ganzen Bandbreite werden sie wohl erst in Zukunft sichtbar werden. Schon heute bietet FhGenie Fraunhofer-Mitarbeitenden nicht nur Unterstützung beim Erstellen und Verbessern von Texten und Präsentationen z.B. für interne Berichte, sondern kann auch zur schnelleren Entwicklung von Software, Prototypen oder Daten-Analyse-Scripts beitragen. Potenzial liegt auch in der Weiterentwicklung des internen Wissensmanagements, etwa in Form eines »dialogfähigen Intranets«. Forschende der Fraunhofer-Institute können den geschaffenen Experimentierraum nutzen, um schnell bereits vorhandenes Know-how zu erweitern und gemeinsam mit Kunden KI-Modelle zu testen.

Die jeweilige individuelle Nutzung bleibt den Usern selbst überlassen, allein personenbezogene Daten dürfen aus rechtlichen Gründen nicht mit FhGenie verarbeitet werden. »Wir befinden uns derzeit in einer Übergangs- und Experimentierphase, in der es uns wichtig war, schnell eine gut nutzbare Lösung anzubieten, um bei den rasanten technologischen Entwicklungen mit an der Spitze zu stehen«, erklärt Prof. Weber. »Natürlich gibt es noch viele offene Fragen, etwa zum Urheberrecht oder der Haftung für fehlerhafte Ergebnisse. Wir haben daher die Verantwortlichen gebeten, in ihren jeweiligen Instituten und Abteilungen ein Bewusstsein dafür zu schaffen, dass alle Nutzenden für die Qualität der KI-generierten Ergebnisse selbst verantwortlich sind und diese überprüfen müssen.«

KI-Sprachmodelle und Fraunhofer: Access, Adapt, Advance

Zahlreiche Fraunhofer-Institute sind bereits in Initiativen und Projekten rund um die Erforschung und Anwendung von Generativer KI und Foundation Models aktiv – zu nennen ist beispielsweise das Konsortium OpenGPT-X zur Entwicklung großer europäischer KI-Sprachmodelle. Auch aus diesem Grund hat eine Taskforce des Fraunhofer-Verbunds IUK nach der Veröffentlichung von ChatGPT Handlungsempfehlungen für den Umgang mit KI-Sprachmodellen für die Fraunhofer-Gesellschaft entwickelt. Die Freischaltung von FhGenie liegt dabei innerhalb der ersten Stufe eines Dreischritts aus Zugang zu (Access) sowie Anpassung (Adapt) und Weiterentwicklung (Advance) von großen KI-Modellen, wobei weitere Hersteller als Kooperationspartner für die Fraunhofer-Gesellschaft gewonnen werden sollen.

»Große Sprachmodelle und Generative KI ermöglichen neue Produkte und machen unsere Arbeitswelt entscheidend produktiver. Als anwendungsorientierte Forschungseinrichtung mit interdisziplinärer Aufstellung und starken Verbindungen zur Industrie verfügt die Fraunhofer-Gesellschaft über eine hervorragende Ausgangsposition, um diese Innovationen effektiv in die Praxis umzusetzen. Schon jetzt ist entsprechende Technologie bei Unternehmen – etwa der Finanz- und Gesundheitsbranche – im täglichen Einsatz und realisiert Effizienzgewinne von bis zu 50 Prozent. Mit FhGenie sorgen wir gleichzeitig dafür, dass alle bei Fraunhofer sofort und sicher diese Potenziale nutzen und für unsere Kunden und Partner erschließen können«, sagt Prof. Dr. Stefan Wrobel, stellvertretender Vorsitzender des Fraunhofer-Verbunds IUK-Technologie und Institutsleiter am Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS.