Ziel der Entwicklung

Ziel des Forschungsvorhabens war die Entwicklung eines validen, KI-basierten Dialog- und Recherchesystems für IT-Service-Anfragen. In diesem Bereich wurde ein hoher Bedarf an der Automatisierung wiederkehrender Anfragen und Probleme identifiziert. Typische Beispiele hierfür sind Anfragen zu Raumdaten, zur IT-Ausstattung oder zu Server- bzw. Netzzugängen im Zusammenhang mit Neueinstellungen, dem Einsatz von Werkstudenten oder Hilfskräften sowie nach internen Umzügen. Zudem zeigte sich, dass ein und dasselbe Problem, wie beispielsweise Geräte- und Bedienungsfragen, Internetstörungen oder Zugriffsprobleme auf Server, häufig mehrfach gemeldet wird. Um den Administrationsaufwand zu reduzieren, sollen über einen Chatbot Routineanfragen in natürlicher Sprache faktenbasiert auf der Basis von unternehmensinternen Wissensquellen automatisiert beantwortet werden können. Dabei sollen bestehende Zugriffsberechtigungen berücksichtigt werden.

Vorteile und Lösungen

Im Rahmen des Projekts wurden Möglichkeiten für die Nutzung frei verfügbarer Sprachmodelle (LLMs) für die Umsetzung eines solchen Systems untersucht. Da diese typischerweise nicht mit Daten aus unternehmensinternen IT-Systemen trainiert werden, mussten Wege zur Integration der relevanten Informationen bei der Generierung von Antworten betrachtet werden. Dabei wurde der Fokus auf Methoden der Retrieval-Augmented Generation (RAG) gelegt, die anschließend prototypisch umgesetzt wurden. Zu diesem Zweck wurden zunächst verschiedene RAG-Ansätze beleuchtet und miteinander verglichen. Ein besonderes Augenmerk lag auf neuartigen GraphRAG-Methoden, die auf Daten aus Graphstrukturen, sogenannten Knowledge Graphen (KG), aufbauen. Dieser Ansatz erwies sich insbesondere für die Darstellung von IT-Netzwerken als sehr geeignet. Nach tiefergehenden Untersuchungen und systematischen Vergleichen verschiedener RAG-Architekturen kristallisierte sich ein hybrides Vorgehen als am besten geeignet für das Vorhaben heraus. Für die prototypische Umsetzung wurden Daten aus der NFM-Software InfoCABLE exportiert und in geeignete Text- und Graphformate überführt. Zudem wurden spezialisierte Retriever implementiert, die für eingehende Nutzeranfragen relevante Informationen aus den Datenquellen abrufen können. Dabei kommen für die Textdaten Embedding-Methoden und für die Graphdaten eigens trainierte Graph-Neural-Networks (GNNs) zum Einsatz. Die gefundenen Informationen werden anschließend an ein lokal gehostetes LLM übergeben, um eine faktenbasierte Antwort zu erhalten. Für das System wurde zudem eine webbasierte Nutzeroberfläche implementiert, um eine einfach zugängliche Nutzung zu ermöglichen. Der entstandene Chatbot ermöglicht den einfachen Zugriff auf in InfoCABLE gespeicherte Daten mittels Anfragen in natürlicher Sprache. Somit wird der Administrationsaufwand reduziert, da Routineanfragen automatisiert beantwortet werden können. Die Implementierung erfolgte modular, sodass auch Daten aus anderen NFM-Systemen für den Chatbot nutzbar gemacht werden können.

Zielgruppe und Zielmarkt

Der prototypisch entwickelte Chatbot richtet sich zunächst an den Zielmarkt der Network Facility Management Systeme (NFM). Dazu zählen vor allem Organisationen mit komplexer, geschäftskritischer IT- und Kommunikationsinfrastruktur (Industrie, öffentliche Verwaltung, Versorger, Gesundheitswesen, Rechenzentren, Verkehrsinfrastruktur), in denen solche Systeme bereits etabliert sind. Aus dieser Zielgruppe sollen nach Projektende und Erreichen der Marktreife in einem ersten Schritt Pilotkunden gewonnen werden. Darüber hinaus wurden auch im Data Center Infrastructure Management (DCIM)-Segment Anwendungspotentiale identifiziert. Der Nutzen liegt vor allem in Effizienzgewinnen durch schnelleren, syntaxfreien Zugriff auf Netzdaten, reduziertem Such- und Einarbeitungsaufwand im Netzbetrieb, sowie der Möglichkeit des Zugriffs auf in NFM-Systemen gespeicherten Daten durch ungeschulte Anwender. Bei der Wissensbereitstellung werden abgestufte Zugriffsberechtigungen berücksichtigt. Der Transfer soll im ersten Schritt über die Einführung eines neuen Moduls in die Software InfoCABLE erfolgen. Durch die Anbindung weiterer NFM-Systeme über geeignete Schnittstellen kann der Chatbot künftig auch auf deren Datenbasis faktenbasierte Auskünfte bereitstellen. In ähnlicher Weise ist die Anbindung an Energiemanagement-, Gebäudemanagement- und CAFM-Software möglich.