KI in Ihrer eigenen Software. Wo sie läuft, legen Sie fest.

Wofür sich KI zum Beispiel einsetzen lässt

• Dokumentensuche mit RAG

  Semantische Suche in Handbüchern, Verträgen oder Tickets, mit Antwort und Quellenangabe (Retrieval-Augmented Generation).

• KI-Assistent für interne Systeme

  Anbindung an ein Ticketsystem oder, über freigegebene Schnittstellen, an SAP. SAP & ERP

• Datenpipelines

  Daten aus Quellsystemen extrahieren, aufbereiten und in Zielsysteme laden (ETL).

• Sprach- und Dialoganwendungen

  Anwendungen, die gesprochene Sprache verstehen, antworten und an Ihre Systeme angebunden sind, etwa am Telefon oder an einem Terminal.

• KI in bestehender Software

  Zusammenfassung, Klassifikation oder Textgenerierung als Funktion in Ihrer Anwendung. KI-Agenten produktiv integrieren

• Text-to-SQL

  Abfragen an Datenbanken und Reports in natürlicher Sprache.

• Inferenz optimieren

  Inferenz-Batching und GPU-Auslastung optimieren, Durchsatz und Latenz vorher und nachher messen.

Schnittstellen und Module ohne KI: Software & Schnittstellen →

Zum Beispiel: So ist eine Dokumentensuche aufgebaut

1. Ihre Dokumente
2. Chunking und Vektorindex
3. LLM
4. API
5. Ihre Anwendung

In diesem Beispiel laufen alle Stationen in Ihrer Umgebung.

Wo Ihre Daten bleiben

• IM BETRIEB

  Je nach Lösung laufen Anwendung, Daten und Modelle in Ihrer eigenen Infrastruktur oder bei einem Hosting-Anbieter Ihrer Wahl. Ob ein externer KI-Dienst genutzt wird, steht vorab in der Leistungsbeschreibung.

• IN DER ENTWICKLUNG

  In der Regel entwickeln und prüfen wir mit Testdokumenten oder anonymisierten Daten.

Mehr zum Umgang mit Daten: Arbeitsweise →

Was KI im Produktiv­betrieb braucht

Greift KI schreibend auf Ihre Systeme zu, gelten diese Grundsätze.

• Regeln im Code

  Das LLM schlägt Aktionen vor. Über Zulässigkeit und Ausführung entscheidet deterministischer Anwendungscode.

• Freigabe

  Irreversible Aktionen gibt eine Person frei (Human-in-the-Loop).

• Berechtigungen

  Identität und Rechte stammen aus der authentifizierten Sitzung, nicht aus der Modellantwort.

• Prompt Injection

  Externe Inhalte und Tool-Ausgaben gelten als nicht vertrauenswürdige Daten.

• Ergebnisprüfung

  Ob eine Aktion wirksam wurde, bestätigt das Zielsystem, nicht die Modellantwort.

KI-Agenten produktiv integrieren →Projekt: 22 externe APIs →

Hardware und Betrieb

Sie erhalten die Hardware-Anforderungen, bevor die Arbeit beginnt. Sie hängen von Modellgröße und Zahl der Nutzer ab. Den Betrieb übernimmt Ihr Team oder Ihr Hosting-Anbieter.

Häufige Fragen

Kann ein LLM im eigenen Rechenzentrum laufen?

Ja. Open-Weight-Modelle lassen sich auf eigenen GPU-Servern betreiben. Welches passt, hängt von Hardware, Lizenz und Sprache Ihrer Dokumente ab.

Was ist RAG?

Retrieval-Augmented Generation: Das Sprachmodell (LLM) antwortet auf Grundlage passender Textstellen aus Ihren Dokumenten und nennt die Quelle.

Verlassen Dokumente unser Haus?

Nur nach Abstimmung mit Ihnen. Wir klären vorab, welche Daten für Entwicklung und Betrieb benötigt werden, wo sie verarbeitet werden und ob eine Übermittlung an externe Dienste oder unsere Partnerteams erforderlich ist.

Wie viele Nutzer kann der Dienst gleichzeitig bedienen?

Das hängt von der Hardware ab. Die Zahl wird als Zielwert vereinbart, in unserer Testumgebung gemessen und in Ihrer Umgebung anhand der vereinbarten Prüfungen bestätigt.

Kann der Dienst an SAP angebunden werden?

Ja, über eine fest programmierte Anbindung an veröffentlichte Schnittstellen wie OData-Services. KI-Systeme, die API-Aufrufe selbst planen oder ausführen, erlaubt die SAP API Policy nur über von SAP freigegebene Architekturen.

Wie Umfang, Prüfung und Übergabe geregelt sind: So arbeiten wir →