In Welt der KI hat sich zuletzt ein spannendes Konzept etabliert, das als Retrieval-Augmented Generation (RAG) bekannt ist. Diese innovative Technik kombiniert die Stärken von Information Retrieval und generativer KI, um die Qualität und Relevanz von Antworten auf komplexe Fragen erheblich zu verbessern.
Information Retrieval beschäftigt sich mit der Suche und Analyse großer Mengen unstrukturierter und semi-strukturierter Daten, ähnlich wie es Internet-Suchmaschinen tun. Ziel ist es, relevante Informationen aus Quellen wie Textdokumenten, Datenbanken, Webseiten oder anderen Informationssystemen auf Basis einer Suchanfrage zu extrahieren. Ein typisches Beispiel hierfür ist die unternehmensinterne Google-Suche, die in der Regel eine Liste von Links zu relevanten Dokumenten oder Dateien liefert.
RAG geht jedoch einen Schritt weiter: Anstatt nur Links bereitzustellen, generiert RAG eine zusammenfassende Antwort oder einen Text, der auf den abgerufenen Informationen basiert. Das bedeutet, die Ergebnisse beantworten die Fragen der Nutzer direkt, ohne nur auf die Quellen zu verweisen. Dies wird durch die Kombination von Information-Retrieval-Systemen und Sprachmodellen erreicht. Zuerst identifiziert das Retrieval-System die für die Suchanfrage relevanten Dokumente. Anschließend verarbeitet das Sprachmodell diese, um eine passende Antwort zu erstellen.
In der Ausgestaltung, wie sie im PAL-Projekt entwickelt wird, spielt vor allem ein Aspekt eine zentrale Rolle: Die Anfragen werden nicht über Sprachmodelle im Internet abgewickelt, sondern bleiben innerhalb der Unternehmensumgebung. Hierfür kommen lokal gehostete Sprachmodelle zum Einsatz. Unser RAG-Ansatz ermöglicht es, dass das jeweilige Sprachmodell bei der Textgenerierung auf unternehmensspezifische Wissensquellen zugreifen kann. So wird sichergestellt, dass firmenspezifisches Know-how gezielt zur Beantwortung der Fragen genutzt wird.
In den PAL-Unternehmen werden derzeit zwei Varianten unseres RAG-Systems getestet. Die erste Variante liefert auf natürlichsprachliche Anfragen eine Liste relevanter Textpassagen aus Montage- und Bedienungsanleitungen. Die zweite Variante generiert zusätzlich eine formulierte Antwort mithilfe des Sprachmodells.
So simpel?
Trotz der unbestreitbaren Vorteile erfordert der Einsatz von RAG die Schaffung einiger grundsätzlicher Voraussetzungen.
Für den lokalen Einsatz des Sprachmodells innerhalb der Unternehmensgrenzen ist eine leistungsfähige Hardware erforderlich, um ein akzeptables Antwortverhalten zu gewährleisten. Nur bei einer entsprechend kurzen Antwortzeit ist das RAG-System in der Praxis einsetzbar.
Die Qualität der bereitgestellten Informationen hängt stark von den zugrunde liegenden Wissensquellen ab. Wenn die Daten bzw. Dokumente ungenau oder veraltet sind, beeinträchtigt dies die Qualität der generierten Antworten.
Die Dokumente, die in unserer Lösung in Form von PDF-Dateien verarbeitet werden, müssen bestimmten Regeln genügen, damit eine automatische Verarbeitung möglich ist. Welche Anforderungen im Einzelnen erfüllt werden müssen, wird aktuell in den beiden Pilotprojekten ermittelt.
Der Zugriff des RAG auf Einzeldokumente muss geregelt werden, insbesondere wenn diese sensible Informationen enthalten.
Während allgemeine Sprachmodelle auf dem Wissen basieren, mit dem sie zu einem bestimmten Zeitpunkt trainiert wurden, ermöglicht RAG den Zugriff auf ständig aktualisierte Daten. Dies muss durch firmeninterne Regularien, wie Versionierung und regelmäßige Aktualisierung der Wissensquellen, sichergestellt werden.
Es deutet sich an, dass RAG ein vielversprechendes Werkzeug ist, das die Art und Weise, wie Beschäftigte Informationen abrufen und nutzen können, deutlich vereinfacht. Doch um die vollen Vorteile auszuschöpfen, sind die Voraussetzungen zu schaffen und eine kontinuierliche Pflege der Wissensquellen erforderlich.
Die Erprobung erfolgt aktuell bei der TRUMPF Sachsen GmbH und demnächst bei der etapart AG.
Erfahren Sie mehr zum Praxisprojekt