Fast jedes Unternehmen hat inzwischen jemanden im Haus, der ChatGPT nutzt. Der Sprung vom Ausprobieren zum betrieblichen Werkzeug scheitert aber meist an derselben Stelle: Das öffentliche Modell kennt weder Ihre Preisliste noch Ihre Montageanleitungen noch Ihre Kundenhistorie, und der Datenschutzbeauftragte hat begründete Einwände. Diese Lücke schließt ein eigener KI-Assistent. Dieser Beitrag zeigt, was so ein System ist, wo es im Mittelstand hilft, wo es versagt, welche Pflichten aus DSGVO und EU AI Act folgen und mit welchen Größenordnungen Sie bei Entwicklung und Betrieb rechnen sollten.
Was ist ein KI-Assistent für Unternehmen im Jahr 2026?
Ein Unternehmens-KI-Assistent ist ein Sprachmodell, das drei Dinge zusätzlich hat: Zugriff auf Ihre eigenen Daten, definierte Regeln für sein Verhalten und die Fähigkeit, Aktionen in Ihren Systemen auszulösen. Das Modell selbst ist dabei die austauschbare Komponente, der Wert steckt in dem, was Sie darum herum bauen.
Der Zugriff auf eigene Daten läuft in der Regel über ein Verfahren namens RAG, ausgeschrieben Retrieval Augmented Generation. Vereinfacht gesagt: Ihre Dokumente werden in kleine Abschnitte zerlegt und durchsuchbar abgelegt. Stellt jemand eine Frage, sucht das System zuerst die passenden Abschnitte heraus und legt sie dem Modell zusammen mit der Frage vor. Das Modell antwortet also nicht aus dem Gedächtnis, sondern auf Basis Ihrer Unterlagen, und kann die verwendeten Quellen mit ausgeben. Wichtig für die Bewertung durch Ihren Datenschutzbeauftragten: Bei diesem Verfahren wird das Modell nicht mit Ihren Daten trainiert, die Daten bleiben in Ihrer Datenbank.
Die zweite Ebene sind Werkzeuge. Ein Assistent, der nur redet, spart wenig Zeit. Einer, der einen Urlaubsantrag im HR-System anlegt, einen Lieferstatus im ERP nachschlägt oder einen Angebotsentwurf im CRM ablegt, greift in den Prozess ein. Diese Anbindungen sind der eigentliche Entwicklungsaufwand und der Grund, warum ein betrieblicher Assistent ein Softwareprojekt ist, kein Abonnement.
Der Unterschied zur generischen ChatGPT-Nutzung: Beim öffentlichen Chatbot muss der Mitarbeiter alle Informationen selbst mitbringen und die Antwort selbst prüfen. Beim Unternehmensassistenten bringt das System die Informationen mit, kennt die Rechte des Fragenden und protokolliert, was passiert ist.
Wo bringt ein KI-Assistent im Mittelstand wirklich etwas?
Sechs Einsatzfälle haben sich als verlässlich erwiesen, weil sie eine Gemeinsamkeit haben: Es gibt viel Text, eine wiederkehrende Aufgabe und einen Menschen, der das Ergebnis freigibt. Alles davon abweichende sollten Sie zunächst skeptisch prüfen.
- Interne Wissenssuche in Dokumenten und Wiki: Ein Maschinenbauer mit rund 400 Montage- und Prüfanweisungen als PDF. Der Servicetechniker fragt am Tablet "Welches Anzugsmoment gilt für den Flansch der Baureihe B?" und bekommt die Antwort samt Verweis auf Dokument und Seite, statt zehn Minuten zu blättern.
- Support-Vorqualifizierung: Eingehende Support-Mails werden kategorisiert, mit Kundennummer und Vertragsdaten angereichert, nach Dringlichkeit sortiert und mit einem Antwortvorschlag versehen. Der Mitarbeiter prüft und sendet. Die Ersparnis liegt weniger im Tippen als im Sortieren und Nachschlagen.
- Angebots- und E-Mail-Entwürfe aus Vorlagen: Der Vertrieb erhält eine Anfrage, der Assistent zieht Preisliste, Textbausteine und drei vergleichbare frühere Angebote heran und erzeugt einen Entwurf in der Sprache des Hauses. Der Vertriebler korrigiert Positionen und Konditionen, statt bei null anzufangen.
- Dokumentenextraktion aus Rechnungen und Lieferscheinen: Eingangsrechnungen aus dem Posteingang werden gelesen, die Felder Lieferant, Rechnungsnummer, Datum, Nettobetrag, Steuersatz und Bestellbezug extrahiert und an die Buchhaltungssoftware übergeben. Belege, bei denen das System unsicher ist, landen in einer Prüfliste statt im Buchungsstapel.
- Onboarding-Assistent: Neue Mitarbeitende fragen in den ersten Wochen immer dasselbe: Urlaubsantrag, Zeiterfassung, IT-Ansprechpartner, Reisekostenregel. Ein Assistent auf Basis von Handbuch und Betriebsvereinbarungen entlastet Personalabteilung und Teamleitung spürbar.
- Kundenchat auf der Website mit Übergabe an Menschen: Der Chat beantwortet Fragen zu Produkten, Datenblättern und Lieferzeiten. Sobald es um Preise, Verträge oder Reklamationen geht, übergibt er samt Gesprächsverlauf an einen Mitarbeiter. Die saubere Übergabe ist wichtiger als die perfekte Antwort.
Weitere Beispiele aus konkreten Projekten haben wir in unserem Beitrag zu KI und Automatisierung im KMU zusammengestellt.
Wofür taugt ein KI-Assistent nicht?
Ein Sprachmodell erzeugt plausiblen Text, keine geprüften Fakten. Aus dieser einen Eigenschaft folgen alle wesentlichen Grenzen des Einsatzes.
- Halluzinationen: Findet das System keine passende Quelle, formuliert es im Zweifel trotzdem eine überzeugend klingende Antwort. Gegenmittel sind Quellenangaben, ein ausdrückliches "Dazu finde ich nichts" als erlaubte Ausgabe und Stichproben im Betrieb. Ganz ausschließen lässt sich das nicht.
- Entscheidungen ohne Menschen: Freigaben, Kündigungen, Bonitätsbewertungen, Preiszusagen, Bewerberauswahl: Wo eine Entscheidung Rechtsfolgen für Menschen hat, gehört ein Mensch in die Schleife. Das ist bei automatisierten Einzelfallentscheidungen auch datenschutzrechtlich relevant.
- Schlechte Datenbasis: Der häufigste Grund für enttäuschende Ergebnisse ist nicht das Modell, sondern der Bestand. Drei Versionen desselben Handbuchs, davon zwei veraltet, ergeben veraltete Auskünfte. Was Ihre Fachleute selbst nicht sicher finden, findet der Assistent auch nicht.
- Rechenaufgaben und exakte Zahlen: Summen, Fristen und Kalkulationen gehören in die Fachanwendung. Der Assistent soll sie abrufen, nicht selbst ausrechnen.
Was verlangen DSGVO und EU AI Act in der Praxis?
Ein KI-Assistent ist datenschutzrechtlich kein Sonderfall, sondern eine Verarbeitung wie jede andere: Sie brauchen einen Zweck, eine Rechtsgrundlage, einen Vertrag mit jedem Dienstleister und ein Löschkonzept. Die folgenden Punkte klären wir in Projekten regelmäßig, sie ersetzen aber keine Rechtsberatung, und für die verbindliche Bewertung sollten Sie Ihren Datenschutzbeauftragten und gegebenenfalls einen Fachanwalt einbeziehen.
- Rechtsgrundlage und Zweck: Für interne Assistenten kommt meist das berechtigte Interesse in Betracht, für kundenbezogene Verarbeitungen die Vertragserfüllung. Halten Sie fest, welche Datenarten der Assistent sehen darf, und beschränken Sie den Index technisch darauf.
- Auftragsverarbeitung: Mit dem Modellanbieter und mit dem Hoster brauchen Sie einen AVV nach Artikel 28 DSGVO. Prüfen Sie darin ausdrücklich, dass Ihre Eingaben nicht zum Training verwendet werden und wie lange sie beim Anbieter gespeichert bleiben. Eine ausführliche Darstellung finden Sie in unserem Beitrag zu Datenschutz bei KI-Systemen.
- Hosting-Ort: Eine EU-Region beim API-Anbieter oder ein eigenes Open-Weights-Modell im deutschen Rechenzentrum vermeiden die Diskussion über Drittlandtransfers weitgehend. Achten Sie darauf, dass auch Protokolle, Vektordatenbank und Monitoring in der EU liegen, nicht nur das Modell.
- Keine Personendaten ins Training: RAG braucht kein Training. Wo doch feinjustiert wird, arbeiten Sie mit anonymisierten oder synthetischen Beispielen. Einmal antrainierte Daten bekommen Sie aus einem Modell praktisch nicht wieder heraus, was Auskunfts- und Löschansprüche unerfüllbar macht.
- Transparenzpflicht nach EU AI Act: Wer mit einem KI-System interagiert, muss das erkennen können. Für einen Kundenchat heißt das konkret: Der Hinweis, dass hier eine KI antwortet, gehört sichtbar an den Anfang des Gesprächs, ebenso der Weg zu einem menschlichen Ansprechpartner. Die Pflichten für Anbieter und Betreiber von KI-Systemen greifen gestaffelt, den aktuellen Stand sollten Sie vor dem Start prüfen lassen.
- Protokollierung und Löschung: Chatverläufe sind personenbezogene Daten. Legen Sie fest, was protokolliert wird, wer es einsehen darf und wann gelöscht wird. 30 bis 90 Tage für Qualitätssicherung und Fehlersuche sind ein üblicher Ausgangspunkt.
- Betriebsrat: Sobald ein Assistent Auskunft über Arbeitsverhalten oder Leistung geben könnte, ist er mitbestimmungspflichtig. Beziehen Sie das Gremium vor dem Prototyp ein. Eine Betriebsvereinbarung zu Zweck, Auswertungsverbot und Löschfristen ist schneller verhandelt als eine nachträgliche Genehmigung.
Die allgemeinen Anforderungen an datenschutzkonforme Entwicklung fassen wir in unserer Checkliste für DSGVO-konforme Softwareentwicklung zusammen.
Welche Architektur passt zu Ihrem Fall?
Es gibt drei gangbare Wege, und die Wahl hängt fast immer an der Sensibilität der Daten, nicht an der Technik. Für die überwiegende Mehrheit der KMU-Projekte ist ein API-Modell in der EU-Region der pragmatische Einstieg.
| Kriterium | API-Modell, EU-Region | Self-hosted Open-Weights | Hybrid |
|---|---|---|---|
| Datenschutz | AVV nötig, Daten verlassen das Haus, EU-Verarbeitung vertraglich zusicherbar | Höchste Kontrolle, Daten bleiben in Ihrer Infrastruktur | Sensible Daten lokal, unkritische Anfragen an die API |
| Antwortqualität | Aktuell durchweg das beste verfügbare Niveau | Gut bis sehr gut, je nach Modellgröße und Hardware | Je nach Route unterschiedlich, erfordert klare Regeln |
| Laufende Kosten | Nutzungsabhängig, keine Grundlast | Feste Serverkosten unabhängig von der Nutzung | Beides, dafür bessere Steuerbarkeit |
| Aufwand Einrichtung | Gering, Fokus liegt auf Daten und Integration | Hoch, GPU-Betrieb, Updates und Skalierung inklusive | Am höchsten, zwei Betriebswege parallel |
| Typisch geeignet für | Interne Wissenssuche, Entwürfe, Kundenchat | Gesundheits-, Personal- und Mandantendaten, strenge Vorgaben | Gewachsene Anforderungen mit gemischter Datenlage |
Ein Hinweis aus der Praxis: Sie legen sich nicht auf Dauer fest. Wir bauen die Modellanbindung austauschbar, sodass ein Anbieterwechsel oder der Umzug auf ein eigenes Modell später eine Konfigurationsfrage bleibt.
Wie läuft die Entwicklung ab?
Ein KI-Assistent entsteht in fünf Phasen, von denen die erste die wichtigste ist. Wer ohne klar abgegrenzten Einsatzfall startet, baut ein beeindruckendes Demo-System, das niemand benutzt.
- Use-Case-Workshop (ein bis zwei Tage): Wir bewerten die Kandidaten nach Häufigkeit, Zeitaufwand pro Vorgang und Datenlage und wählen genau einen für den Start. Ergebnis ist eine Beschreibung, welche Frage der Assistent für welche Rolle beantworten soll und woran Erfolg gemessen wird.
- Datencheck (drei bis fünf Tage): Welche Dokumente gibt es, in welchem Format, wie aktuell sind sie, wer darf was sehen? Hier zeigt sich, ob vorher aufgeräumt werden muss. Diese Phase entscheidet über die Qualität des Ergebnisses.
- Prototyp (zwei bis vier Wochen): Ein lauffähiger Assistent auf echten Daten, mit Oberfläche und Quellenangaben, aber ohne Feinschliff bei Rechten und Monitoring. Ziel ist eine belastbare Antwort auf die Frage, ob die Qualität für den Betrieb reicht. Das Vorgehen entspricht dem eines MVP in der Softwareentwicklung.
- Pilot mit echten Nutzern (vier bis acht Wochen): Fünf bis fünfzehn Mitarbeitende arbeiten im Alltag damit und bewerten die Antworten. Aus den schlechten Bewertungen entstehen die Verbesserungen. Ohne diese Phase optimieren Sie an Vermutungen.
- Betrieb mit Monitoring: Kostenüberwachung, Qualitätsstichproben, Aktualisierung des Dokumentenindex, Modellwechsel bei Bedarf. Ein Assistent ist kein Projekt mit Enddatum, sondern ein System, das gepflegt werden muss.
Wie wir Projekte insgesamt aufsetzen, beschreiben wir im Beitrag zum Beauftragen von KI-Softwareentwicklung.
Was kostet ein KI-Assistent?
Als Erfahrungswerte aus vergleichbaren Projekten: Ein Prototyp auf echten Daten liegt im niedrigen fünfstelligen Bereich, ein produktiver Assistent mit Systemanbindung, Rechteverwaltung und Monitoring im mittleren fünfstelligen Bereich. Dazu kommen laufende Modell- und Hostingkosten, die je nach Nutzung typischerweise von wenigen zehn Euro bis zu einigen hundert Euro im Monat reichen.
| Ausbaustufe | Umfang | Größenordnung einmalig | Laufend pro Monat |
|---|---|---|---|
| Prototyp | Ein Einsatzfall, eine Datenquelle, einfache Oberfläche, interner Testkreis | Niedriger fünfstelliger Betrag | Zweistelliger Betrag |
| Produktiver Assistent | Mehrere Datenquellen, Rechte- und Rollenkonzept, Anbindung an ein bis zwei Systeme, Protokollierung, Monitoring | Mittlerer fünfstelliger Betrag | Zwei- bis dreistelliger Betrag |
| Self-hosted Variante | Eigenes Modell auf eigener oder gemieteter GPU-Hardware | Aufschlag für Einrichtung und Betriebskonzept | Feste Serverkosten, deutlich über der API-Variante |
Die Modellkosten sind bei internen Assistenten selten der relevante Posten: Bei 30 täglich aktiven Nutzern liegen die Abrufkosten üblicherweise im Bereich weniger Euro pro Nutzer und Monat. Teuer wird es an anderer Stelle, nämlich bei der Datenaufbereitung, bei Schnittstellen zu Altsystemen ohne dokumentierte API und bei Rechtekonzepten, die nachträglich eingebaut werden müssen. Unsere allgemeinen Konditionen finden Sie auf der Seite Preise.
Woran messen Sie, ob der Assistent etwas bringt?
Drei Kennzahlen genügen, und alle drei sollten Sie vor dem Start festlegen, nicht danach.
- Antwortqualität per Stichprobe: Bewerten Sie wöchentlich 20 bis 30 zufällige Antworten nach richtig, teilweise richtig und falsch. Eine Fachkraft braucht dafür etwa eine Stunde. Diese Stichprobe ist die verlässlichste Aussage über die Qualität, Nutzerzufriedenheit allein täuscht in beide Richtungen.
- Zeitersparnis pro Vorgang: Messen Sie vor dem Start, wie lange die Aufgabe heute dauert, und danach erneut. Ein Angebotsentwurf, der statt 40 Minuten noch 15 Minuten braucht, ist bei 60 Angeboten im Monat eine belegbare Entlastung von 25 Stunden.
- Deflection-Rate im Kundenchat: Der Anteil der Gespräche, die ohne Übergabe an einen Mitarbeiter abgeschlossen werden, und zwar ohne dass der Kunde kurz darauf anruft oder eine Mail schreibt. Die Einschränkung ist entscheidend, sonst messen Sie Abwanderung statt Erfolg.
Welche Fehler kosten am meisten Geld?
Die teuren Fehler passieren fast immer vor der ersten Zeile Code.
- Zu breiter Start. "Ein Assistent für alles" führt zu mittelmäßigen Antworten in allen Bereichen. Ein einzelner, richtig gut gelöster Einsatzfall überzeugt die Belegschaft. Weitere sind danach günstig, weil die Infrastruktur steht.
- Rechte erst am Ende. Wenn der Assistent Gehaltslisten in den Index bekommt, weil das Rechtekonzept später kommen sollte, ist der Vorfall da, bevor die Korrektur fertig ist. Rechte gehören in den Prototyp, mindestens rudimentär.
- Keine Zuständigkeit für Inhalte. Ein Dokumentenbestand ohne Pflege macht den Assistenten über Monate schlechter. Legen Sie fest, wer für die Aktualität der Quellen verantwortlich ist.
- Fehlende Übergabe an Menschen. Kundenchats ohne sichtbaren Ausweg zu einem Mitarbeiter erzeugen Beschwerden, keine Effizienz.
- Abhängigkeit von einer Plattform. Wer seine Prompts, Daten und Logik in ein geschlossenes Werkzeug einbaut, zahlt beim Anbieterwechsel doppelt. Halten Sie Daten und Anwendungslogik in Ihrer Hand.
Wir bauen Ihren KI-Assistenten, mit Ihren Daten
Im kostenlosen Erstgespräch sortieren wir Ihre Einsatzfälle nach Nutzen und Machbarkeit, prüfen Ihre Datenlage und geben Ihnen eine belastbare Einschätzung zu Aufwand, Zeitrahmen und Datenschutz. Betrieb in Deutschland oder der EU, der Quellcode liegt in Ihrem Repository. Für Unternehmen im Rhein-Main-Gebiet gern auch vor Ort.
Kostenloses Erstgespräch vereinbarenHäufige Fragen zum KI-Assistenten
Werden unsere Firmendaten zum Training des Modells verwendet?
Bei der von uns eingesetzten RAG-Architektur nicht. Ihre Dokumente liegen in einer Datenbank in Ihrer Umgebung und werden dem Modell nur für die Dauer einer einzelnen Anfrage als Kontext übergeben. Dass der Modellanbieter Eingaben nicht zum Training nutzt, lassen wir zusätzlich vertraglich im AVV festhalten.
Brauchen wir dafür eine eigene IT-Abteilung?
Nein. Es reicht ein Ansprechpartner im Haus, der dafür sorgt, dass die zugrundeliegenden Dokumente aktuell sind. Den technischen Betrieb inklusive Monitoring, Updates und Kostenkontrolle übernehmen wir auf Wunsch als Wartungsleistung.
Wie lange dauert es bis zum ersten nutzbaren Ergebnis?
Vom Workshop bis zum Prototyp auf echten Daten sind zwei bis vier Wochen realistisch, sofern die Dokumente vorliegen und Zugriff geklärt ist. Bis zum produktiven Einsatz mit Rechten, Integration und abgeschlossener Pilotphase sollten Sie insgesamt zwei bis vier Monate einplanen.
Was passiert, wenn der Assistent eine falsche Auskunft gibt?
Deshalb geben wir bei jeder Antwort die Quelle mit aus und richten die Einsatzfälle so ein, dass ein Mensch das Ergebnis freigibt, bevor es nach außen geht. Falschauskünfte werden über Nutzerbewertungen und Stichproben erfasst und fließen in die Verbesserung von Datenbasis und Regeln ein. Vollständig ausschließen lässt sich das Risiko bei keiner Sprachmodell-Lösung.
Lohnt sich das für ein Unternehmen mit 20 Mitarbeitenden?
Das hängt am Vorgangsvolumen, nicht an der Mitarbeiterzahl. Wenn drei Personen täglich je eine Stunde mit Suchen und Textbausteinen verbringen, ist die Rechnung meist eindeutig. Fällt eine Aufgabe zweimal im Monat an, lohnt sich der Aufwand nicht. Genau das klären wir im Workshop, bevor Sie Geld ausgeben.
Fazit
Ein KI-Assistent für das eigene Unternehmen ist kein Zukunftsthema mehr, sondern ein normales Softwareprojekt mit klaren Bausteinen: ein Sprachmodell, Ihre Daten über RAG, definierte Werkzeuge, ein Rechtekonzept und ein Mensch, der die Ergebnisse prüft. Der Erfolg entscheidet sich nicht am Modell, sondern an der Auswahl des Einsatzfalls und an der Qualität Ihrer Dokumente. Rechnen Sie für den Einstieg mit einem niedrigen fünfstelligen Betrag und einer Prototyp-Phase von zwei bis vier Wochen.
Wenn Sie prüfen möchten, welcher der sechs beschriebenen Einsatzfälle in Ihrem Betrieb den größten Hebel hat, bringen Sie zwei bis drei Kandidaten mit ins Gespräch. Wir bewerten sie gemeinsam nach Aufwand, Datenlage und erwarteter Entlastung und sagen Ihnen offen, wenn sich ein Vorhaben nicht lohnt. Mehr zu unserem Leistungsumfang finden Sie unter KI und Automatisierung, für alles Weitere erreichen Sie uns über das Kontaktformular.