KI und Strategie

LLM oder LCM? Was Large Concept Models wirklich können

Large Concept Models rechnen in Sätzen statt in Wortteilen. Ich habe das Forschungspapier von Meta gelesen und zeige, was trägt, was über LCMs übertrieben wird und was der Ansatz für mehrsprachigen Kundenservice bedeutet.
Björn-Olaf Lange · 18. November 2026 · Lesezeit 10 Minuten
Am Morgen in einer hellen Textildruckerei: Eine Frau mit grau meliertem, hochgestecktem Haar, weißer Bluse und Jeansschürze hält ein bedrucktes weißes T-Shirt hoch und zeigt mit dem Finger auf eine Stelle im verwaschenen bunten Muster. Neben ihr beugt sich ein Servicetechniker mit dunklem Haar, Bart und grauem Poloshirt vor, schaut genau hin und hebt die offene Hand, vor ihm steht eine schwarze Werkzeugtasche. Rechts eine große Druckmaschine mit geöffneter Haube, im Hintergrund Regale mit gefalteten Shirts und Stoffrollen. (Bild mit KI erzeugt)
Mit KI erzeugtes Bild Werkzeug: ChatGPT (OpenAI) Erstellt: November 2026 Motiv frei erfunden, keine realen Personen Idee, Prompt und Auswahl: Björn-Olaf Lange Mehr dazu im Impressum

LLM und was kommt danach? Large Language Models sind das, was uns heute rund um KI bewegt, aber wie geht es damit in der Zukunft weiter, und gibt es schon etwas am Horizont? Vor ein paar Tagen habe ich genau dazu recherchiert, zum Beispiel, was sich rund um die Idee eines möglichen Nachfolgers bewegt, der Large Concept Models.

Angefangen habe ich ganz vorne, bei der Quelle: einem Forschungspapier von Meta aus dem Dezember 2024. Erst danach habe ich gelesen, was sonst über LCMs geschrieben wird, auch in Zusammenfassungen, bei denen mir KI beim Sammeln und Sortieren geholfen hat. In diesem Artikel zeige ich, was ein Large Concept Model ist, was es im Test tatsächlich geleistet hat, welche Aussagen über LCMs dem Original nicht standhalten und was das Ganze für Teams bedeutet, die ihre Kunden in vielen Sprachen bedienen.

Wie heutige Sprachmodelle rechnen

Ein Large Language Model, kurz LLM, also Modelle wie die hinter ChatGPT, Copilot oder Claude, zerlegt Text in Tokens. Ein Token ist je nach Sprache ein Wortteil, ein ganzes Wort oder ein einzelnes Zeichen. Das Modell sagt dann immer das nächste Token voraus, hängt es an und sagt das nächste voraus, Stück für Stück, bis die Antwort fertig ist. Fachleute nennen das autoregressive Generierung.

Das funktioniert erstaunlich gut, hat aber zwei Eigenheiten, die für das Folgende wichtig sind. Lange Texte werden zu sehr langen Ketten aus Tokens, und die Rechenarbeit wächst mit der Länge dieser Kette deutlich. Außerdem plant das Modell nicht ausdrücklich auf der Ebene von Gedanken oder Absätzen, sondern immer nur den nächsten kleinen Schritt.

Die Idee: ein Satz, ein Konzept

Genau hier setzt das Large Concept Model an, kurz LCM. Ein Forschungsteam von Meta FAIR hat es im Dezember 2024 vorgestellt (LCM team, 2024). Statt mit Wortteilen arbeitet es mit ganzen Sätzen. Jeder Satz wird zuerst in einen Bedeutungsvektor übersetzt, eine lange Reihe von Zahlen, die den Inhalt des Satzes beschreibt, unabhängig davon, in welcher Sprache er geschrieben war. Diesen Vektor nennen die Autoren ein Konzept. Das Modell sagt dann nicht das nächste Wort voraus, sondern das nächste Konzept, also den nächsten Satz. Erst ganz am Ende wird aus den Konzepten wieder lesbarer Text.

Für diese Übersetzung nutzt das LCM einen Bedeutungsraum namens SONAR, den Meta schon 2023 vorgestellt hat (Duquenne, Schwenk und Sagot, 2023). SONAR kann Text in 200 Sprachen in diesen Raum übersetzen und wieder heraus, dazu gesprochene Sprache als Eingabe. Ein deutscher und ein spanischer Satz mit derselben Bedeutung landen dort nah beieinander.

Wichtig ist eine Formulierung aus dem Paper: Dass ein Konzept genau einem Satz entspricht, ist eine Annahme “as proof of feasibility”, also für den Nachweis, dass der Ansatz überhaupt funktioniert. Das LCM ist damit eine Machbarkeitsstudie, kein Produkt. Getestet haben die Autoren mehrere Varianten, darunter eine, die mit einem Diffusionsverfahren arbeitet, ähnlich wie Bildgeneratoren, und haben eine davon auf sieben Milliarden Parameter hochskaliert.

Was das Modell im Test gezeigt hat

Verglichen haben die Autoren ihr Modell mit gleich großen LLMs, nämlich Llama 3.1 mit acht Milliarden Parametern sowie Mistral und Gemma mit jeweils sieben Milliarden. Die Aufgaben waren Zusammenfassen und das Gegenteil davon, aus einer Zusammenfassung wieder einen längeren Text zu machen.

Beim Zusammenfassen von Nachrichtentexten lag das LCM beim inhaltlichen Treffer gleichauf oder vorn. Gemessen wird das mit ROUGE-L, einer Kennzahl dafür, wie viel von einer Referenzzusammenfassung sich im erzeugten Text wiederfindet.

TestLCMLlama 3.1 8BMistral 7BGemma 7B
CNN DailyMail, ROUGE-L36,4734,9736,0631,14
XSum, ROUGE-L23,7120,3521,2218,20

Bei der Sprachqualität sieht es anders aus. Ein Prüfmodell für grammatisch saubere Sätze (CoLA) bewertet die Texte des LCM mit 0,77 und 0,68, die der drei LLMs mit rund 0,92 bis 0,97. Die Autoren schreiben selbst, das LCM erzeuge “globally less fluent summaries”, insgesamt weniger flüssige Zusammenfassungen.

Bei langen Dokumenten, eigentlich dem Feld, auf dem der Ansatz glänzen soll, lag das LCM teils vor Mistral und Gemma, aber durchgehend hinter Llama.

Am meisten überrascht hat mich der Test über Sprachgrenzen hinweg. Das LCM wurde ausschließlich mit englischen Texten trainiert, es “has never seen any language other than English”. Trotzdem haben die Autoren es Nachrichten in 42 Sprachen zusammenfassen lassen. Auf Englisch lag es deutlich vor Llama, im Schnitt der sechs Sprachen, die beide Modelle offiziell beherrschen, knapp vorn, und gerade in seltenen Sprachen wie Paschtu, Birmanisch, Hausa oder Walisisch kam es auf gute Werte. Das ist der eigentliche Charme des Ansatzes: Wer in einem sprachunabhängigen Bedeutungsraum rechnet, kann Gelerntes auf Sprachen übertragen, die er nie gesehen hat.

Was die Autoren selbst einschränken

Das Paper ist an dieser Stelle angenehm ehrlich. Im Fazit steht: “We acknowledge that there is still a long path to reach the performance of current flagship LLMs.” Bis zu den heutigen Spitzenmodellen sei es also noch ein langer Weg.

Dazu nennen die Autoren drei offene Baustellen. Die Wahl des Bedeutungsraums: SONAR wurde mit Übersetzungsdaten aus eher kurzen Sätzen trainiert, Sätze mit fast gleicher Bedeutung liegen dort sicher nah beieinander, für Sätze, die nur lose zusammenhängen, gibt es aber “no special guarantees”. Genau die braucht man jedoch, wenn man den nächsten Satz eines Textes vorhersagen will. Die Größe eines Konzepts: Ob ein Satz die richtige Einheit ist, sei “not trivial”, denn Sätze können sehr kurz oder sehr lang sein. Außerdem kann schon ein kleiner Fehler im Bedeutungsraum zu einem Vektor führen, aus dem sich gar kein gültiger Satz mehr machen lässt, und “the factuality of fragile generated sentences may easily be compromised”, die Faktentreue solcher Sätze kann also leicht leiden.

Was man über LCMs liest, und was im Original steht

Mit dem Original im Kopf habe ich danach gelesen, was sonst über LCMs geschrieben wird. Vieles war richtig erklärt, einige Aussagen, die über LCMs kursieren und mir auch in KI-gestützten Zusammenfassungen begegnet sind, halten dem Original aber nicht stand.

Was man über LCMs liestWas das Original sagt
LCMs halluzinieren weniger, weil sie logische Konzepte verknüpfenEine geringere Halluzinationsrate behauptet das Paper nirgends. Die Autoren nennen die Faktentreue im Gegenteil als offenes Risiko.
LCMs nutzen JEPA, die Architektur von Yann LeCunDas Paper schreibt, das LCM ähnele dem JEPA-Ansatz, grenzt sich aber ab: JEPA zielt auf das Lernen von Repräsentationen, das LCM auf die Vorhersage im vorhandenen Bedeutungsraum.
Ein ganzes Buch besteht für ein LCM nur aus wenigen Hundert KonzeptenEin Konzept ist ein Satz, ein Buch hat Tausende Sätze. Die Kette wird kürzer, aber bei Weitem nicht so kurz.
Bild, Ton und Sensorwerte landen im selben Konzeptraum2024 ging es um Text und gesprochene Sprache. Bilder und Videos kamen erst 2026 dazu, für Sensorwerte habe ich keinen Beleg gefunden.
Ein LLM muss für jede Sprache eigens trainiert werdenLLMs lernen viele Sprachen im selben Training. Richtig ist, dass seltene Sprachen schwächer abschneiden, und genau dort zeigt das LCM seine Stärke.
LCMs lösen das Wissensmanagement in Konzernen, eine deutsche Frage findet das spanische HandbuchDas leisten mehrsprachige Bedeutungsräume wie SONAR für die Suche schon heute, dafür braucht es kein LCM.
Die Ära der Konzepte beginntEine Machbarkeitsstudie, deren Autoren selbst von einem langen Weg sprechen.

Für mich ist das die eigentliche Lehre aus dieser Übung. Gerade bei einem neuen Thema klingen Texte, auch solche, die mit KI-Hilfe entstehen, oft sicherer, als das Original es hergibt. Das liegt vermutlich auch an der Arbeitsweise, die ich oben beschrieben habe: Ein LLM schreibt das Wahrscheinliche, und über ein neues Thema, über das viel spekuliert wird, ist das Wahrscheinliche eben oft die Spekulation.

Was seitdem passiert ist

Ganz stehen geblieben ist die Forschung nicht. Im März 2026 kam ein Folgepapier, unter anderem von Paul-Ambroise Duquenne, der schon am LCM mitgearbeitet hat: Mit V-SONAR werden auch Bilder und Videos in den Bedeutungsraum übersetzt, und das darauf aufbauende V-LCM beschreibt Bilder und Videos und beantwortet Fragen dazu (Qiu, Duquenne und Schwenk, 2026). Nach Angabe der Autoren hält es dabei mit spezialisierten Bild-Sprach-Modellen mit und liegt in den meisten von 62 getesteten Sprachen vorn. Auch das ist Forschung, vorgestellt auf der Konferenz ICLR 2026, und kein Werkzeug, das ein Serviceteam heute einkaufen kann.

Was das für mehrsprachigen Service heute heißt

Bei Kornit Digital war ich für Service und Support in Europa verantwortlich, und europaweit zu arbeiten hieß, viel mehr Sprachen zu brauchen, als wir im Team zur Verfügung hatten. Verstehen mussten wir das jeweilige Anliegen am Ende trotzdem, ganz gleich, in welchen Worten es bei uns ankam und egal wie komplex das Thema und auch die Gedanken dahinter waren.

Die Sprachen, die wir selbst nicht hatten, haben wir außerhalb unseres Teams geklärt, zusammen mit unseren lokalen Partnern in den Ländern. Natürlich haben wir auch Übersetzungswerkzeuge wie Google Translate genutzt, richtig gut wurde es aber meistens erst durch die Zusammenarbeit mit den Partnern vor Ort. Das Werkzeug hat die Wörter übersetzt, das Anliegen dahinter haben wir oft erst gemeinsam mit ihnen verstanden.

Genau diese Trennung von Anliegen und Wort steckt im Kern des LCM, und deshalb finde ich die Richtung spannend. Für die Praxis heute heißt das aber etwas anderes, als manche Artikel über LCMs versprechen:

  1. Mehrsprachige Suche gibt es schon. Bedeutungsräume, in denen eine deutsche Frage den passenden englischen oder spanischen Wissensartikel findet, sind Stand der Technik. Wer seine Wissensdatenbank in mehreren Sprachen pflegt, kann das heute nutzen, ohne auf neue Modelle zu warten.
  2. Seltene Sprachen bleiben die Lücke. Genau dort, wo dem Team die Sprache fehlt und auch heutige LLMs schwächer sind, zeigt das LCM seine interessanteste Stärke. Das lohnt sich zu beobachten, gerade für Service in kleinen Märkten.
  3. Flüssige Antworten schreibt weiterhin ein LLM. Selbst das Paper zeigt, dass ein LLM die schöneren Sätze baut. Die Idee, ein Modell plane auf der Ebene der Gedanken und ein anderes formuliere, ist plausibel, aber heute noch eine Vermutung.

Drei Fragen an jedes neue KI-Kürzel

Aus dieser Erfahrung nehme ich drei Fragen mit, die ich künftig jedem neuen Kürzel stelle, bevor ich darüber schreibe oder es einem Kunden empfehle:

  1. Ist es Forschung oder ein Produkt, das man heute einsetzen kann?
  2. Was haben die Autoren tatsächlich gemessen, und womit haben sie verglichen?
  3. Was schränken sie selbst ein?

Für alle drei reicht meistens das Original, oft schon das Abstract und das Fazit. Das kostet eine halbe Stunde und erspart einem den Moment, in dem jemand in den Kommentaren freundlich darauf hinweist, dass es so nicht im Paper steht.

Mein Fazit

Large Concept Models sind eine spannende Idee: weg vom einzelnen Wortteil, hin zum ganzen Gedanken, unabhängig von der Sprache. Im Test haben sie beim Inhalt mit gleich großen LLMs mitgehalten, gerade in seltenen Sprachen, bei der Sprachqualität aber deutlich verloren. Ob daraus eine neue Ära wird, weiß heute niemand, auch nicht die Autoren.

Für mich bleibt etwas anderes hängen. Im Service war es schon immer die Kunst, das Anliegen hinter den Worten zu verstehen. Die Forschung versucht gerade, genau das einer Maschine beizubringen, und ich finde es bemerkenswert, wie nah diese Idee an guter Servicearbeit liegt. Bis es so weit ist, bleibt das Gegenlesen am Original unsere Aufgabe, auch und gerade dann, wenn uns KI beim Recherchieren hilft.

Quellen

Zuerst erschienen auf LinkedIn am 18. November 2026.

Weiterlesen
Björn-Olaf Lange an einer Ziegelwand

Kontakt

Lass uns sprechen.

Kein generischer Erstkontakt. Kein unpersönliches Screening. Wenn das, was du hier gelesen hast, passt, dann ist ein direktes Gespräch der sinnvollste nächste Schritt. Ich freue mich darauf.

← Zurück zur Übersicht