Angebote, Kundenlisten, Produktionsrezepturen, Patientenakten... Viele Unternehmen möchten KI-Werkzeuge ausprobieren, scheuen sich aber, diese Daten in einen Cloud-Dienst hochzuladen. Zu Recht.
Es gibt einen Weg: das Modell auf dem eigenen Server des Unternehmens betreiben. Offene Modelle (wie Llama, Mistral und Qwen) haben sich in den letzten zwei Jahren so weit entwickelt, dass sich auf einem Server mit einer einzigen GPU ein Assistent einrichten lässt, der Fragen anhand interner Dokumente beantwortet.
Eine typische Installation sieht so aus:
- Dokumente (PDF, Word, E-Mail-Archiv) werden im Unternehmen indexiert.
- Kommt eine Frage, werden die passenden Abschnitte gefunden, und das Modell formuliert die Antwort auf dieser Grundlage.
- Der Assistent sieht nur die Dokumente, auf die die fragende Person auch Zugriff hat.
- Keine Daten verlassen das Firmennetz; auch die Protokolle bleiben bei Ihnen.
Nicht für jede Aufgabe geeignet: Die Qualität der größten Cloud-Modelle wird nicht immer erreicht, und die Hardware ist eine Investition. Bei Aufgaben wie der Angebotserstellung, der Suche in technischer Dokumentation und Fragen zu internen Abläufen spart es aber viel Zeit.
SMB Teknoloji installiert und betreut KI-Lösungen, die im Unternehmen selbst laufen (lokales Sprachmodell, Dokumentensuche, Zugriffsberechtigungen).