Wird das Token-Limit für LLMs in naher Zukunft explodieren?

KI Explosion

Wird das Token-Limit für LLMs in naher Zukunft explodieren? Microsoft hat ein KI-Modell vorgestellt, das 1 Milliarde Token verarbeiten kann.

OpenAIs GPT kann je nach Version und Verfügbarkeit 32k Token verarbeiten. Viel geläufiger und günstiger ist allerdings der Einsatz der 4k Variante. Das heißt, 4000 Token (ca. 3000 Wörter) kann das Modell verarbeiten. Das macht es schwierig, dem Modell immer die richtigen Informationen zur Verfügung zu stellen, falls diese nicht schon im Modell selbst trainiert wurden.

Es ist schlicht unmöglich, den ganzen Inhalt eines großen Dokuments dem Modell zur Analyse zu geben. Als KI-Entwickler und -Nutzer müssen wir Tricks anwenden, um diesen großen Inhalt zu verdichten. Dazu werden die relevanten Informationen zuerst identifiziert und dann genügend, aber nicht zu viel an das KI-Modell übergeben.

Und 3000 Wörter sind dann schon schnell zu wenig. OpenAI hat kürzlich eine 16k Variante, zu höheren Kosten veröffentlicht, die Abhilfe schafft. Und tatsächlich ist 16k deutlich mehr als 4 mal so nützlich wie 4k, da man mit 4 mal so viel Platz schon viel mehr Information im Zusammenhang unterbringen kann.

Es wird vermutlich auf ein ähnliches Technologierennen hinauslaufen, wie wir das mit Speicherkapazitäten, Bit Tiefen und CPU Taktfrequenzen usw. schon vielfach gesehen haben.

Microsoft Research zeigt jetzt aber in einem Paper schon ein Modell, mit 1 Milliarde Tokens. Stellt euch vor, ihr könntet ein ganzes Buch, eine ganze Website oder sogar das gesamte Internet als eine einzige Sequenz behandeln. Die Fähigkeit, solch lange Prompts zu modellieren, könnte die Art und Weise, wie wir mit KI interagieren, revolutionieren. Von noch tieferen Gesprächen mit Chatbots bis hin zu fortschrittlicheren Textanalysewerkzeugen – die Möglichkeiten sind endlos.

Natürlich gibt es auch hier noch Herausforderungen, aber bei vielen Tests hat sich LongNet schon als sehr fähig gezeigt. Sowohl bei langen als auch bei kurzen Prompts.

Ich finde es sehr interessant, dass Microsoft in vielen verschiedenen Bereichen am Thema KI arbeitet und sich nicht nur darauf verlässt, dass OpenAI das alleine für sie vorantreibt. Es zeigt sich aber auch, welches Entwicklungspotential noch in LLMs steckt. ChatGPT ist immerhin noch kein Jahr alt.