KI-Modelle und Ollama

Alcilla bringt nicht automatisch ein bestimmtes Sprachmodell mit. Sie entscheiden, welches Modell eingesetzt wird und wo es läuft. Im typischen lokalen Szenario übernimmt Ollama die Bereitstellung der Modelle.

Was ist Ollama?

Ollama ist ein Dienst, mit dem Sprachmodelle auf einem eigenen Arbeitsplatz oder Server betrieben werden können. Alcilla sendet Anfragen an diesen Dienst und erhält die Modellantwort zurück.

Für Sie könnte das interessant sein, weil:

• die Modellverarbeitung in ihrer eigenen Umgebung erfolgen kann,
• unterschiedliche Modelle ausprobiert werden können,
• kein einzelner Cloudanbieter technisch vorgegeben ist,
• Modelle je nach Aufgabe getrennt ausgewählt werden können.

Unterschiedliche Modelle für unterschiedliche Aufgaben

Je nach Konfiguration kann Alcilla verschiedene Profile verwenden, beispielsweise:

• allgemeiner Chat,
• E-Mail-Verarbeitung,
• Recherche,
• Protokollerstellung,
• Aufgabenextraktion,
• Titel und kurze Zusammenfassungen.

So kann ein kleines, schnelles Modell für einfache Aufgaben und ein leistungsfähigeres Modell für komplexe Analysen eingesetzt werden.

Modelle ohne Kommandozeile auswählen

Der Modelle-Bereich von Alcilla unterstützt Anwender und Administratoren bei der Auswahl:

1. Die vorhandene Hardware wird erkannt.
2. Alcilla bewertet, welche Modelle voraussichtlich gut passen.
3. Modelle können direkt aus der Oberfläche geladen werden.
4. Freigegebene Modelle stehen anschließend in den entsprechenden Funktionen zur Auswahl.

Wird keine GPU erkannt, können viele Modelle trotzdem über die CPU betrieben werden. Die Verarbeitung dauert dann in der Regel länger.

Bildfähige Modelle für Vision

Für die Auswertung von Bildern wird ein multimodales, also bildfähiges Modell benötigt. Beispiele sind – abhängig von Verfügbarkeit und eingesetzter Ollama-Version – geeignete Varianten aus Modellfamilien wie Qwen oder Gemma.

Das Vision-Modell wird in Alcilla separat ausgewählt. Dadurch kann für Bildauswertung ein anderes Modell eingesetzt werden als für den allgemeinen Chat.

Alternative Modellendpunkte

Neben einem einfachen Ollama-Setup kann Alcilla – abhängig von der Konfiguration – auch mehrere Modellendpunkte beziehungsweise kompatible Anbieter einbinden. Damit sind beispielsweise folgende Szenarien möglich:

• lokales Modell für vertrauliche Daten,
• zentraler interner Modellserver für mehrere Nutzer,
• separates leistungsfähiges Modell für Recherche,
• Kombination verschiedener kompatibler Schnittstellen.

Ob externe Modellanbieter eingesetzt werden dürfen, sollte immer anhand der Schutzziele und internen Vorgaben entschieden werden.

Modellwechsel und Wissensindex

Wird das Modell für die semantische Suche gewechselt, muss der Wissensindex neu aufgebaut werden.

Wir unterstützen bei der Modellwahl

Die Auswahl ist oft schwieriger als die Installation. Modellgröße, Geschwindigkeit, Sprache, Hardwarebedarf und Antwortqualität müssen zusammenpassen.

Wir unterstützen bei Bedarf bei:

• Hardwareanalyse,
• Modellvergleich mit Ihren Beispieldaten,
• Einrichtung von Ollama,
• Auswahl von Chat-, Such- und Vision-Modellen,
• Aufbau eines zentralen Modellservers,
• Performance- und Qualitätsmessungen,
• Dokumentation der gewählten Konfiguration.