Software

Open Source-basierte GenAI-Technologie von Comma Soft emanzipiert europäische Unternehmen von LLM-as-a-Service-Anbietern

In den letzten Monaten verzeichnet die Comma Soft AG eine verstärkte Nachfrage nach unbedenklich in Unternehmen einsetzbarer und zugleich hochperformanter Generativer KI/GenAI. Mit dem Large Language Model (LLM) der Comma Soft AG, das in Deutschland gehostet werden kann und derzeit auf Llama 2 basiert, erhalten Konzerne und große Mittelständler nun eine datenschutz- und regulatorik-konforme Technologie, mit der sie GenAI für ihre spezifischen Business-Zwecke einsetzen können.

Jedes sechste Unternehmen plant laut dem Branchenverband Bitkom den Einsatz von Generativer KI. Gleichzeitig können sich Unternehmen derzeit nicht auf die Qualität von Tools wie ChatGPT verlassen, wie Wissenschaftler:innen der Universitäten Stanford und Berkeley in einer Studie kürzlich herausfanden. „Wir beobachten in den letzten Monaten eine zunehmende Nachfrage seitens unserer Kunden bei einer gleichzeitig kritischen Haltung gegenüber den auf dem Markt verfügbaren LLM-as-a-Service-Lösungen“, bestätigt auch Benjamin Schulte, COO der Comma Soft AG, und ergänzt: „Bei Unternehmen, die im europäischen Raum tätig sind, bestehen bei den Tools von US-Anbietern oftmals Bedenken, ob regulatorische Anforderungen ausreichend erfüllt werden.“ Diese Regularien umfassen bspw. die EU-DSGVO, das Geschäftsgeheimnisgesetz oder branchenspezifische Vorgaben. Hinzu kommt, dass im Business-Kontext eines spezifischen Unternehmens Trainingsdaten für GenAI-Lösungen benötigt werden, die in den bisherigen Tools nicht enthalten sind, z. B. vertrauliche Daten aus eigenen Informationssystemen. „Unternehmen suchen Antworten darauf, wie sie mit diesen Limitierungen umgehen können und fragen uns vermehrt um Rat, da wir mit unserer mehr als zehnjährigen Erfahrung in KI-Forschung, -Beratung und -Lösungsentwicklung für sie der erste Ansprechpartner sind. Mit unserem eigenentwickelten LLM bieten wir unseren Kunden nun die technologische Basis für eine unbedenkliche GenAI-Nutzung und unterstützen sie über den gesamten Prozess von der Evaluation über die Einführung bis zur produktiven Nutzung“, so Benjamin Schulte.

Unbedenklicher GenAI-Einsatz dank Open Source

Das LLM von Comma Soft basiert auf einem Open Source-Foundation-Modell, aktuell Llama 2 von Meta, und kann sowohl on-premises als auch in einer beliebigen Cloud-Umgebung gehostet werden, bspw. in Deutschland. „Unternehmen können damit eine unternehmenseigene GenAI-Lösung schaffen, bei der sie die volle Kontrolle über ihre Daten behalten, da diese nicht extern weitergegeben und auch nicht automatisch für das Modelltraining verwendet werden“, erklärt Dr. Andrej Fischer, Executive Manager und einer der GenAI-Expert:innen der Comma Soft AG. Die Unternehmen behalten so auch die volle Kontrolle, wenn es um das Nachtrainieren mit den unternehmenseigenen Daten geht. Dies ermöglicht es, das LLM für spezielle branchen- sowie fach- und unternehmensspezifische Anwendungsfälle nachzutrainieren sowie bestehende Fachanwendungen und Datenbanken per Plugin zu integrieren.

Mit dieser technologischen Basis können Unternehmen:

  • Eine auf ihre Anforderungen zugeschnittene GenAI-Lösung einführen
  • Regulatorische & Compliance-Anforderungen nachweisbar erfüllen, z. B. die EU-DSGVO
  • GenAI in deutscher Sprache mit hochwertiger Qualität nutzen
  • Mitarbeiter:innen gezielt in ihren Arbeitsabläufen unterstützen
  • Selbst bestimmen, wie ihre GenAI-Lösung gehostet wird, bspw. on-premises oder in einer deutschen Cloud-Umgebung
  • Jetzt & in Zukunft flexibel & kosteneffizient weitere Anwendungsfälle abbilden

„Unternehmen können beim Thema Generative KI nicht länger zögern, da immer mehr Menschen solche Lösungen auch privat nutzen und die schnellen Ergebnisse schätzen. Mitarbeiter:innen wünschen sich einen solchen digitalen Assistenten auch im Arbeitsalltag – und nutzen ihn eventuell bereits ohne das Wissen des Unternehmens. Wir haben deswegen unser eigenes ‚CommaGPT‘ als eine auf der Azure API basierende Weiterentwicklung von ChatGPT-4 bereits seit Mai für alle unsere Mitarbeiter:innen und ausgewählte Kunden im täglichen Einsatz. Da aber neben den rechtlichen Rahmenbedingungen auch Qualität, Relevanz und Konsistenz im Unternehmenskontext enorm wichtig sind, wird bei den marktüblichen LLM-as-a-Service-Lösungen in der Regel ein Nachrüsten erforderlich sein. Das ist mit hohem Aufwand und zusätzlichen Kosten verbunden, wobei letztere durch Pay-per-Token-Modelle gerade für den produktiven Einsatz in Volumenprozessen in Zukunft weiter steigen“, sagt Dr. Andrej Fischer und ergänzt: „Hier können Unternehmen ihre Mitarbeiter:innen unterstützen, indem sie eigene GenAI-Lösungen bereitstellen, die nicht nur die Business-Anforderungen erfüllen, sondern die durch gezielte Weiterentwicklung und Individualisierung auch hilfreicher sein können, als die derzeit auf dem Markt verfügbaren Modelle.“

Skalierbarkeit und Performance ohne Kostenfalle

Die Einführung einer eigenen GenAI-Lösung stellt gerade für mittelständische Unternehmen eine große Herausforderung bezüglich der IT-Ressourcen dar. Aber auch Konzerne sind aufgrund ihrer hohen User-Zahlen darauf angewiesen, dass Performance und Kosten im Verhältnis zueinander stehen. Dr. Lars Flöer, Lead Consultant Artificial Intelligence der Comma Soft AG, entwickelt mit seinem Team das LLM dafür entsprechend skalierbar: „Im Gegensatz zu As-a-Service-Lösungen müssen Unternehmen bedenken, dass sie bei einem selbstbetriebenen LLM neben dem Modell und den Trainingsdaten auch eine entsprechende IT-Infrastruktur benötigen, insbesondere Kapazitäten für das Finetuning und Hosting. Für den großen Mittelstand und selbst für Konzerne ist dies oft mit hohen Investitionen und Umsetzungsrisiken verbunden. Daher war es uns wichtig, bei unserem LLM eine technologische Basis zu schaffen, die dieses Problem löst.“

Um eine sowohl kosteneffiziente als auch hochperformante Operationalisierung zu gewährleisten, setzt die Comma Soft AG bei ihrer LLM-Technologie u. a. auf die folgenden Bausteine:

  • Optimierte Trainingsverfahren, bei denen nicht das gesamte Modell, sondern nur die relevanten Modelteile (nach-)trainiert werden, wodurch weniger Trainingsdaten und Hardware nötig sind (LoRa & QLoRA).
  • Effizientes Hosting, bei dem das fertig trainierte LLM hardware-sparend mit wenigen der kostspieligen und z. T. schwer erhältlichen Grafikkarten betrieben wird (Inferenz-Quantisierung).
  • Maximale Performanz und Skalierbarkeit, bei der auch Tausende Nutzer:innen dank dynamischer Lastverteilung ohne Verzögerungen zeitgleich auf das LLM zugreifen können (Continuous Batching, Autoscaling).

Entwicklungspartnerschaften als Treibstoff für den Wirtschaftsstandort Deutschland

Da derzeit viele Unternehmen vor der Herausforderung stehen, wie sie GenAI selbst kosteneffizient und sicher betreiben können, setzt sich Comma Soft für Entwicklungspartnerschaften ein, wie Benjamin Schulte betont: „Statt jeweils allein an einer Lösung zu arbeiten, können wir mit unserem ‚Schwarmwissen‘ viel mehr bewegen und einen weitaus größeren Nutzen erzielen. Wir laden daher alle interessierten Unternehmen dazu ein, mit uns in den Erfahrungsaustausch zu gehen und gemeinsam GenAI reif für den europäischen Markt zu machen.“

Wenn Sie sich zu diesem Thema austauschen oder bei der Entwicklung der LLM-Technologie von Comma Soft partnerschaftlich mitwirken möchten, wenden Sie sich an den LLM-Taskforce-Leiter der Comma Soft AG Dr. Valentin Kemper: Hier können Sie Kontakt aufnehmen.

Weitere Informationen finden Sie zudem hier:

Über die Comma Soft AG

Die Comma Soft AG mit Sitz in Bonn wurde 1989 gegründet und unterstützt DAX-Konzerne, Familienunternehmen und große Mittelständler aller Branchen bei der Transformation zur Data Driven Company – von der Strategie-Entwicklung über deren Umsetzung bis zur Befähigung aller Mitarbeiter:innen. Die rund 135 vorwiegend naturwissenschaftlich ausgebildeten Mitarbeiter:innen (Physiker:innen, Mathematiker:innen, Informatiker:innen) kombinieren ihre fundierte Expertise und ihr Erfahrungswissen mit praktischen „Hands-on“-Umsetzungskompetenzen. Als ganzheitlicher Lösungspartner und Trusted Advisor erschließt das Consulting- und Softwareunternehmen gemeinsam mit den Kunden bisher unerschlossene Ertragspotenziale, entwickelt neue Prozesse entlang von IT und Business, führt diese ein und realisiert neue digitale Strategien. Das bereichsübergreifende Leistungsspektrum umfasst die Beratung, Entwicklung und Umsetzung von Lösungen auf Basis von neuen digitalen Technologien, zu denen Künstliche Intelligenz, Data Science, Analytics, Cloud-Services und IT-Security zählen. Einen besonderen Fokus legt Comma Soft dabei auf die Verzahnung von Geschäftsstrategie, IT- und Datenstrategie.

Firmenkontakt und Herausgeber der Meldung:

Comma Soft AG
Pützchens Chaussee 202-204a
53229 Bonn
Telefon: +49 (228) 9770-0
Telefax: +49 (228) 9770-200
https://www.comma-soft.com/business/

Ansprechpartner:
Julia Pedak
Senior Marketing Expert Content & Social Media
Telefon: +49 228 97 700
E-Mail: marketing@comma-soft.com
Hanna Wangler
Marketing Expert Content & Social Media
Telefon: +49 (228) 97700
E-Mail: marketing@comma-soft.com
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel