Sprache, Schach, Forschung: Nichts ist vor der künstlichen Intelligenz sicher
Die KI-Modelle lernen und funktionieren auf immer neue Weisen und erlangen Kompetenzen, die bisher den Menschen vorbehalten schienen. Diese Entwicklung wird auch die Wissenschaft vor ungekannte Herausforderungen stellen.
In immer mehr Bereichen liefern Modelle mithilfe von maschinellem Lernen Ergebnisse, die man ihnen bis vor Kurzem nicht zugetraut hätte. Im Feld der Wissenschaft erschien beispielsweise die Generierung von Hypothesen lange die alleinige Domäne von menschlichen Forschern. Doch auch hier gibt es neue Ansätze.
Die Ökonomen Jens Ludwig und Sendhil Mullainathan haben eine 134-seitige Untersuchung mit dem Titel «Machine Learning as a Tool for Hypothesis Generation» publiziert. Sie untersuchen darin ein konkretes Problem, nämlich welche Merkmale in den Gesichtern von Angeklagten das Strafmass beeinflussen, das Richter verhängen. Sind Sie sich nicht sicher, dass Ökonomen so etwas tun sollten? Sie sind nicht auf dem neuesten Stand – diese Debatten sind längst entschieden. Auf der Grundlage von 51 751 Beobachtungen zeigen sie, dass allein die Pixel eines Fahndungsfotos bis zur Hälfte der vorhersagbaren Varianz im Strafmass erklären können. Doch was genau im Gesicht diese Vorhersageleistung erzeugt und ob man es besser verstehen kann, bleibt offen. Sie zeigen, dass maschinelles Lernen Hypothesen erzeugt, die Experten oder der bestehenden psychologischen Literatur nicht bereits bekannt sind. Die Maschine «sieht» also Merkmale der Gesichter, die das Verhalten der Richter vorhersagen, auch wenn Menschen diese Merkmale nicht explizit wahrnehmen oder nicht in Form einer Hypothese ausdrücken können. Zwei besonders relevante Variablen sind dabei gepflegtes Erscheinungsbild (für mich bereits offensichtlich?) und die Frage, ob das Gesicht eher füllig wirkt (für mich weniger offensichtlich).
Ludwig und Mullainathan betonen, dass ihr Ansatz allgemein sei und dass Gesichter von Angeklagten nur ein Beispiel dafür seien, wie maschinelles Lernen neue und interessante Hypothesen generieren könne. Prinzipiell könnten ähnliche Methoden auf beliebige hochdimensionale Datensätze angewandt werden, etwa Mobilfunkdaten, Satellitendaten, Onlinefotos und -bilder, Onlineverhalten, Schülerarbeiten, medizinische Bildgebung, Unternehmensberichte und vieles mehr, einschliesslich jeder Form hochfrequenter Zeitreihen. Mit anderen Worten: Aufbauend auf einer langen Tradition im maschinellen Lernen haben sie eine neue Art der Hypothesengenerierung entwickelt (zumindest neu für die Ökonomie), und einige dieser Hypothesen erweisen sich als tragfähig.
Zu beachten ist, dass es keine einfache Möglichkeit gibt, ihr Modell zusammenzufassen, da ein Machine-Learning-Modell, wie die Autoren betonen, aus Dutzenden Millionen Parametern bestehen könne. Man kann zwar versuchen, einzelne Prädiktoren interpretierbar zu machen, wie Ludwig und Mullainathan es tun, doch letztlich tun die Algorithmen etwas, das für die Forschenden und Gutachter, geschweige denn für gelegentliche Beobachter alles andere als transparent ist.
Modelle für Sprache und Denken
Eine weitere aktuelle Arbeit, eine gigantische Studie von Chris Lu, Cong Lu, Robert Tjarko Lange, Jakob Foerster, Jeff Clune und David Ha, trägt den ambitionierten Titel «The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery». Die Forscher entwickeln darin einen autonomen KI-Wissenschafter, der «neue Forschungsideen generiert, Codes schreibt, Experimente ausführt, Ergebnisse visualisiert, seine Erkenntnisse in Form eines vollständigen wissenschaftlichen Papers beschreibt und anschliessend einen simulierten Peer-Review-Prozess zur Bewertung durchläuft».
Natürlich wäre es fahrlässig, die Large Language Models (LLMs) selbst nicht zu berücksichtigen. Sie können als ein jüngerer Versuch verstanden werden, Sprache und verbales Denken zu modellieren. Früher wandte man sich dafür an Linguisten, Philosophen oder Logiker. Heute stammen die erfolgreichsten Versuche, Sprache und auch Denken zu modellieren, aus der Informatik – nämlich durch Large Language Models und möglicherweise ihre künftigen Ableger.
Der klassische Durchbruch hinter LLMs war die Studie von 2017 mit dem Titel «Attention Is All You Need», wobei «Attention» in diesem Kontext von GPT-4 als «ein Mechanismus beschrieben wird, der lernt, sich selektiv auf Teile einer Eingabesequenz zu konzentrieren, ihnen ‹Aufmerksamkeit› zu geben, während ein Satz oder eine Informationseinheit verarbeitet wird. Dadurch kann das Modell verschiedenen Wörtern oder Zeichen unterschiedliche Gewichtungen zuweisen und so Informationen besser verstehen und dekodieren.»
Für Bilder und Videos verweise ich schlicht auf GPT Image, Midjourney, Veo und viele weitere Innovationen, die derzeit auf den Markt kommen. Wir entwickeln neue Wege, den Prozess der Bild- und Videoerzeugung zu modellieren.
15 Milliarden Schachstellungen
Auch neue Wege zur Modellierung des Schachspiels werden gefunden, und zwar, ohne dass ein spezifisches Schachverständnis erforderlich wäre. Seit 2024 ist es dank Google DeepMind möglich, «Schach auf Grossmeisterniveau ohne Suchverfahren» zu spielen.
Was genau bedeutet das? Eine intuitive Art, das Ergebnis zu beschreiben, ist, dass KIs Schach auf Spitzenniveau spielen können, ohne irgendetwas von Schach zu verstehen und ohne Schachzugbäume zu durchsuchen. Ein typisches Schachprogramm der Spitzenklasse wie Stockfish durchsucht verschiedene Teile des Entscheidungsbaums, bewertet verschiedene mögliche Positionen und wählt dann den besten Zug aus. Es ist nicht schwer, verschiedene Betrachtungsweisen einzurichten oder darauf zuzugreifen, um die wünschenswertesten Teile des Entscheidungsbaums zu bewerten. Die Qualität des Schachprogramms hängt von seiner Rechenleistung, der Qualität seiner Pruning-Algorithmen, den komplexen Heuristiken, mit denen es gefüttert wurde, und davon ab, ob die richtigen «Korrekturen» an ihm vorgenommen wurden, und von vielem mehr. Dennoch lässt sich ganz allgemein sagen, dass das Programm Zugfolgen im Grossen und Ganzen so bewertet, wie es ein erfahrener Mensch tun würde. Es durchsucht Entscheidungsbäume.
Die neue Innovation von DeepMind macht all das überflüssig. Es handelt sich um ein Transformermodell, das mit 15 Milliarden Datenpunkten gefüttert wurde, nämlich einzelnen Schachstellungen, die von Stockfish dahingehend bewertet wurden, welcher Spieler besser oder schlechter ist und um wie viel. In der KI-Fachsprache lässt sich sagen, dass die grosse und bislang beispiellose Anzahl an Schachdatenpunkten – 15 Milliarden – eine erhebliche Investition in die Skalierung darstellt. Im Volksmund könnte man sagen, dass dem Biest mehr in den Rachen gestopft wird.
«Wie man bei KI meist sagen kann, siehst du gerade die schwächste Version dessen, was du jemals sehen wirst.»
Transformatoren tun dann, was Transformatoren eben so tun: Sie nutzen diese Datenpunkte, um herauszufinden, welche Merkmale von Stellungen attraktiv sind und welche nicht, und diese «Urteile» werden in neuronale Netze kodiert, die dann die nachfolgenden Entscheidungen generieren. Im Blitzschach erreicht dieses Wesen eine Elo-Zahl von 2895, was es mit den besten Menschen konkurrenzfähig macht. Es kann auch einen erheblichen Teil schwieriger Schachrätsel lösen. Es ist nicht so gut wie Stockfish 16, das die besten Menschen praktisch immer schlägt, aber diese spezielle Technik wird zum ersten Mal umgesetzt. Wenn DeepMind entscheidet, dass sie weitere Investitionen verdient, werden spätere Generationen dieser Technik vermutlich noch stärker sein. Wie man bei KI meist sagen kann, siehst du gerade die schwächste Version dessen, was du jemals sehen wirst. Falls du dich über den Unterschied zu Alpha Zero wunderst: Alpha Zero «lernt», indem es Millionen von Partien gegen sich selbst spielt. DeepMind «lernt», indem es eine grosse Anzahl von Bewertungen von Stockfish 16 erhält.
Wie die Entwickler dieser Methode anmerken, erinnert sie sie an ein altes Zitat des Schachweltmeisters Capablanca aus den 1920er-Jahren: «Ich sehe nur einen Zug voraus, aber es ist immer der richtige.»
Wohin mit der menschlichen Intuition und auch der wirtschaftlichen Intuition?
Die wahre Komplexität kommt zum Vorschein
Die moderne Wirtschaftswissenschaft entstand aus dem, was ich «marginalistische Revolution» nenne; aber wenn wir ihre Zukunft prognostizieren, ist es derzeit schwer, auch nur einen Zug vorauszusehen, geschweige denn den richtigen.
Es gibt jedoch noch eine etwas beängstigendere Version dieser Geschichte. Vielleicht waren unsere Intuitionen über die Welt, einschliesslich der Wirtschaftswelt, von vornherein nie so stark. Vielleicht haben wir in der Mikroökonomie des 20. Jahrhunderts «intuitiven» Ergebnissen so viel Wert beigemessen – als eine Art Bewältigungsstrategie und auch als Sicherheitsnetz –, um diesen Mangel auszugleichen. Aber unsere Intuitionen waren, selbst wenn man annimmt, dass sie weitgehend richtig waren, immer nur ein kleiner Ausschnitt des Verständnisses, der in einem Meer aus epistemischem Chaos schwamm. Und nun ist die Illusion entlarvt, und die wahre Komplexität ökonomischen Denkens kommt zum Vorschein.
Dieser Essay ist ein übersetzter Auszug aus Tyler Cowens neuem Buch «The Marginal Revolution: Rise and Decline, and the Pending AI Revolution». Das Buch ist auf seiner Website frei zugänglich.
