Atruvia AG
Scaling: Wo die KI-Entwicklung steht
Artikel

Scaling: Wo die KI-Entwicklung steht

Eine kurze Pause zwischen den Generationen …

Ethan Mollick
One Useful Thing, 2024
Zum Artikel

Offline lesen oder anhören

Amazon Kindle
  • 0.5×
  • 0.75×
  • 1×
  • 1.25×
  • 1.5×
  • 1.75×
1×

Bewertung der Redaktion

8

Qualitäten

  • Überblick
  • Visionär
  • Hintergrund

Rezension

Immer mehr Unternehmen setzen auf KI-Systeme, um Prozesse zu automatisieren, Daten zu analysieren und die Interaktionen mit Mitarbeitenden und Kunden zu erleichtern. Wie kann die Software diesen ständig steigenden Ansprüchen gerecht werden? Stoßen wir demnächst an eine Grenze, weil das Training einfach zu viele Daten und zu viel Energie frisst? Der KI-Experte Ethan Mollick glaubt, einen Ausweg zu sehen: Indem wir der KI mehr Kapazität zum „Denken“ geben, kann sie sich auch nach dem Training weiter verbessern. Ohne das Blaue vom Himmel zu versprechen, zeigt Mollick, wohin die KI-Reise in den nächsten Jahren gehen könnte.

Zusammenfassung

Um ein KI-Modell spürbar besser zu machen, ist oft das Zehnfache an Daten und Rechenleistung nötig.

In der Welt der KI, insbesondere im Bereich der sogenannten Large Language Models (LLMs) gilt das Skalierungsgesetz: Mit zunehmender Größe des Modells wächst seine Fähigkeit, komplexe Aufgaben zu bewältigen und präzise Ergebnisse zu liefern. Größere Modelle verwenden mehr Parameter – also anpassbare Werte, die das Modell benutzt, um basierend auf den eingegebenen Daten Vorhersagen zu treffen – und entsprechend genauer werden die Ergebnisse. Gefüttert werden LLMs mit enormen Datenmengen, die in Token (oft Wörter oder Wortteile) gemessen werden. Werden mehr Parameter benutzt, um mehr Token zu analysieren, steigt der Rechenaufwand. Dieser wird typischerweise in sogenannten Gleitkommaoperationen (FLOPs) gemessen. Sie geben an, wie viele mathematische Operationen während des Trainings durchgeführt werden.

Eine Skalierung bringt also erhebliche Vorteile, aber die mit ihr steigenden Rechenanforderungen sind eine Herausforderung für sich. Um leistungsfähigere...

Über den Autor

Ethan Mollick ist Managementprofessor an der Wharton School der Universität Pennsylvania. Sein Fokus liegt auf den Themen Innovation, Unternehmertum und KI im Geschäftsleben. Mollicks Forschungsergebnisse wurden unter anderem in Forbes, der New York Times und dem Wall Street Journal publiziert. One Useful Thing ist sein Substack-Newsletter.

Kommentar abgeben