Zum Inhalt springen

KI auf dem Dokumentenbestand ohne Cloud: Wann lohnt sich ein eigenes Sprachmodell im Haus?

Von Lukas Göggel, Goma-IT. Stand:

Ein eigenes Sprachmodell im Haus lohnt sich, wenn Dokumente das Unternehmen nachweislich nicht verlassen dürfen, auch nicht in ein EU-Rechenzentrum. Es braucht eigene GPU-Hardware und Betreuung. Ob ein lokales Modell die Aufgabe gut genug löst, sollte ein Test vor dem Hardwarekauf zeigen.

In Kürze

  • Lokale KI ist für Bestände gedacht, die aus Vertrags-, Konzern- oder Sicherheitsgründen im Haus bleiben müssen.
  • Für viele andere Bestände reicht ein eigener Server in der EU.
  • Lokale Modelle sind kleiner als große Cloud-Modelle; das kann für eine Aufgabe genügen oder nicht.
  • Ein Machbarkeits-Check auf gemieteter Rechenleistung vermeidet Fehlkäufe.

Wann die Frage überhaupt aufkommt

Auch in Unternehmen mit DMS kann es Bestände geben, bei denen die IT oder der Datenschutzbeauftragte bei jedem externen Dienst die Stirn runzelt: Personalakten, Gehaltsunterlagen, Konstruktionsdaten, Verträge mit Geheimhaltungsklausel. Manchmal kommt die Vorgabe auch von außen, etwa von einem Großkunden oder der Konzernmutter. Für diese Bestände stellt sich die Frage, ob KI überhaupt in Frage kommt.

Drei Betriebsarten im Vergleich

  • Allgemeiner Cloud-Dienst: schnell verfügbar, aber oft unklar, wo die Daten verarbeitet werden und wofür sie genutzt werden. Für vertrauliche Bestände meist keine Option.
  • Eigener Server in der EU: die Anwendung läuft auf einem eigenen Server, das Sprachmodell in einer EU-Datenzone ohne Training mit Ihren Daten. Für viele Bestände ausreichend.
  • Lokal im Haus: Anwendung und Sprachmodell laufen auf eigener Hardware. Die Daten verlassen das Firmennetz nicht.

Die Entscheidung sollte je Bestand fallen, nicht für das ganze Unternehmen auf einmal.

Auch die KI-Assistenten der DMS-Hersteller laufen laut deren Angaben teils in der Cloud des Herstellers. M-Files Aino braucht eine Verbindung zur M-Files Cloud, d.velop pilot ist eine App in d.velop cloud. Was das für Installationen im eigenen Haus heißt, steht auf unseren Seiten für M-Files-Anwender und d.velop-Anwender.

Was lokale KI braucht

Eine Grafikkarte mit genug Speicher für das gewählte Modell, einen Platz im Serverraum, Strom und Kühlung, und jemanden, der das System aktuell hält. Dazu kommt die Anbindung an die Ablagen, aus denen das Modell lesen soll. Das geht über eine Schnittstelle des DMS, also einen offiziellen Zugang für andere Programme, oder über einen regelmäßigen Export in einen Ordner.

Wo die Grenzen liegen

Modelle, die auf eigener Hardware laufen, sind in der Regel kleiner als die großen Modelle in der Cloud. Für das Durchsuchen und Zusammenfassen klar strukturierter Dokumente kann das reichen. Bei langen, verschachtelten Verträgen oder sehr fachlichen Fragen zeigt sich der Unterschied eher. Genau deshalb sollte man das vorher testen.

Erst testen, dann kaufen

Ein sinnvoller Weg ist ein Machbarkeits-Check: Die Aufgabe wird mit ausgewählten Testdokumenten auf gemieteter GPU-Rechenleistung in einem EU-Rechenzentrum ausprobiert. Zeigt sich, dass ein Modell dieser Größe die Fragen gut genug beantwortet, folgt die Stückliste für die Hardware. Wenn nicht, haben Sie kein Gerät gekauft, das im Keller steht.

Rechtliches in Kürze

Auch bei lokalem Betrieb gelten die Regeln der DSGVO: Zweck, Zugriffsrechte, Löschfristen und Dokumentation müssen geklärt sein. Lokal heißt nicht automatisch rechtssicher. Diese Hinweise sind allgemein und ersetzen keine Rechtsberatung.

Häufige Fragen

Erfüllen wir mit lokaler KI automatisch die DSGVO?

Nein. Lokaler Betrieb hält die Daten im Haus, aber Zweck, Zugriffsrechte, Löschung und Dokumentation müssen trotzdem geregelt sein. Das ist eine allgemeine Einordnung und ersetzt keine Rechtsberatung.

Welche Hardware braucht man?

Das hängt vom Modell, von der Menge der Dokumente und von der Zahl gleichzeitiger Nutzer ab. Eine pauschale Angabe wäre unseriös. Deshalb steht die Stückliste am Ende des Machbarkeits-Checks, nicht am Anfang.

Kann ein lokales Modell auf unser DMS zugreifen?

Typisch sind zwei Wege: ein direkter Zugang über die Schnittstelle des DMS oder von SharePoint, oder ein regelmäßiger Export in einen freigegebenen Ordner. Welcher bei Ihnen passt, zeigt der Blick auf Ihre Installation.

Wollen Sie das für Ihr Unternehmen klären?

Im kostenlosen Erstgespräch (30 Minuten) besprechen wir Ihre Abläufe und sagen ehrlich, was sinnvoll ist.

Jetzt starten

Lieber gleich reden? Rufen Sie an:
+43 699 17119818