Large Language Model (LLM)

Ein Large Language Model, kurz LLM, ist ein auf umfangreichen Daten trainiertes Modell zur Verarbeitung und Erzeugung von Sprache.

Bei der Textgenerierung berechnet es schrittweise Wahrscheinlichkeiten für das nächste Token. Training, Modellarchitektur und weitere Abstimmung ermöglichen damit Aufgaben wie Zusammenfassen, Übersetzen, Fragen beantworten oder Code bearbeiten.

Wie ein LLM zu seinen Fähigkeiten kommt

Das Training umfasst typischerweise mehrere Phasen. Im Vortraining lernt das Modell statistische Muster aus großen Datensätzen.

Weitere Trainings- und Abstimmungsschritte richten das Verhalten auf Aufgaben, Anweisungen und gewünschte Sicherheitsanforderungen aus. Die genaue Vorgehensweise unterscheidet sich zwischen Modellen und Anbietern.

Zugang, Lizenz und Betriebsmodell

LLMs unterscheiden sich darin, ob Modellgewichte verfügbar sind, welche Lizenzbedingungen gelten und wo das Modell betrieben werden kann.

Manche Angebote sind ausschließlich als verwalteter Dienst verfügbar. Andere stellen Gewichte unter unterschiedlichen, teils einschränkenden Lizenzen bereit und können auf eigener oder gemieteter Infrastruktur betrieben werden.

Für Datenschutz und Informationssicherheit ist das gesamte Betriebsmodell relevant. Dazu gehören Verarbeitungsort, Protokollierung, Aufbewahrung, Unterauftragnehmer, Zugriffsschutz und vertragliche Zusagen.

Selbst betriebene Modelle ermöglichen zusätzliche technische Kontrolle, übertragen dem Unternehmen aber auch die vollständige Betriebs- und Sicherheitsverantwortung.

Wo die technischen Grenzen liegen

Ein LLM erzeugt Ausgaben aus gelernten statistischen Mustern und prüft Aussagen nicht automatisch auf Wahrheit. Dadurch kann es überzeugend formulierte, aber falsche Inhalte erzeugen.

RAG, Werkzeuge und bereitgestellter Kontext können aktuelle Informationen ergänzen, beseitigen das Risiko von Halluzinationen jedoch nicht.

Rechenbedarf, Latenz und Kosten der Inferenz hängen unter anderem von Modell, Kontextlänge und Nutzung ab.