Das Grundkonzept von ChatGPT ist auf einer gewissen Ebene ziemlich einfach. Sie beginnen mit einer riesigen Auswahl an von Menschen erzeugten Texten aus dem Web, aus Büchern usw. Dann trainieren Sie ein neuronales Netz so, dass es Texte generiert, die »genau so« sind. Sie versetzen es insbesondere in die Lage, mit einer »Eingabe« zu beginnen und dann mit Text fortzufahren, der »so ist, wie der, mit dem es trainiert wurde«.
Das eigentliche neuronale Netz in ChatGPT besteht aus sehr einfachen Elementen – wenn auch Milliarden davon. Die grundlegende Funktionsweise des neuronalen Netzes ist ebenfalls sehr einfach und besteht im Prinzip daraus, dass Eingaben, die aus dem Text, den es bisher generiert hat, abgeleitet werden, für jedes neue Wort (oder jeden Teil eines Wortes), das es generiert, »einmal durch seine Elemente« hindurchgereicht werden (ohne Schleifen usw.).
Das Bemerkenswerte – und Unerwartete – an diesem Prozess ist, dass er Text erzeugen kann, der erfolgreich »genau so« ist, wie das, was es im Web, in Büchern usw. gibt. Und zwar erhalten Sie nicht nur kohärente menschliche Sprache, sondern das System »sagt auch etwas«, das »seiner Eingabe entspricht«, indem es den Inhalt benutzt, den es »gelesen« hat. Es ist nicht immer etwas, das »global gesehen sinnvoll ist« (oder korrekten Berechnungen entspricht) – weil es (ohne zum Beispiel auf die »rechnerischen Superkräfte« von Wolfram|Alpha zuzugreifen) einfach nur etwas sagt, das »richtig klingt«, basierend auf dem, was in seinem Trainingsmaterial »richtig klang«.
Durch die besondere Technik ist ChatGPT ziemlich beeindruckend. Letztendlich aber (zumindest bis es externe Werkzeuge benutzen kann) knüpft ChatGPT »lediglich« einen »kohärenten Strang aus Text« aus den »Statistiken der herkömmlichen Weisheit«, die es angesammelt hat. Es ist jedoch erstaunlich, wie menschenähnlich die Ergebnisse sind.
Und wie ich bereits diskutiert habe, suggeriert dies etwas, das zumindest wissenschaftlich sehr wichtig ist: dass menschliche Sprache (und die Denkmuster, die dahinter stecken) irgendwie einfacher und in ihrer Struktur »gesetzmäßiger« sind, als man gemeinhin dachte. ChatGPT hat das implizit entdeckt. Wir jedoch können dies mit semantischer Grammatik, Computersprache usw. potenziell explizit aufdecken.
Was ChatGPT beim Generieren von Text leistet, ist sehr eindrucksvoll – und die Ergebnisse ähneln tatsächlich stark dem, was wir Menschen produzieren würden. Bedeutet dies, dass ChatGPT wie ein Gehirn funktioniert? Die ihm zugrunde liegende Struktur aus einem künstlichen neuronalen Netz wurde schließlich anhand einer Idealisierung des Gehirns modelliert. Und es scheint ziemlich wahrscheinlich, dass vieles von dem, was passiert, wenn wir Menschen Sprache generieren, ziemlich ähnlich ist.
Beim Training (auch Lernen genannt) zwingen die Unterschiede zwischen der »Hardware« des Gehirns und der von aktuellen Computern (sowie wahrscheinlich einige unerschlossene algorithmische Ideen) ChatGPT dazu, eine Strategie einzusetzen, die vermutlich ganz anders (und in mancherlei Hinsicht weniger effizient) funktioniert als die des Gehirns. Und da ist noch etwas: Anders als sogar bei typischen algorithmischen Berechnungen hat ChatGPT intern keine »Schleifen« oder führt »Neuberechnungen auf Daten« aus. Und das begrenzt ganz zwangsläufig seine Rechenfähigkeiten – im Verhältnis zu aktuellen Computern, vor allem aber im Verhältnis zum Gehirn.
Es ist unklar, wie man das beheben und dennoch die Fähigkeit bewahren kann, das System mit annehmbarer Effizienz zu trainieren. Könnte man es jedoch, dann würde das vermutlich einem künftigen ChatGPT erlauben, noch mehr »gehirnartige Dinge« zu tun. Natürlich gibt es vieles, was Gehirne nicht so gut können – vor allem, wenn es um irreduzierbare Berechnungen geht. Für diese Dinge müssen sowohl Gehirne als auch Systeme wie ChatGPT externe Werkzeuge zu Hilfe nehmen – wie Wolfram Language.
Für den Moment ist es schon sehr aufregend, wozu ChatGPT bereits in der Lage ist. Auf einer gewissen Ebene ist es ein großartiges Beispiel für die grundlegende wissenschaftliche Tatsache, dass große Mengen an einfachen Rechenelementen zu bemerkenswerten und unerwarteten Dingen fähig sind. Es liefert uns aber vermutlich auch den besten Anstoß seit vielleicht 2.000 Jahren, besser zu verstehen, welches die grundsätzlichen Eigenarten und Prinzipien des zentralen Merkmals der menschlichen Gattung sind, das durch die Sprache und die dahinterstehenden Denkprozesse gebildet wird.
Dieser Artikel ist ein Auszug aus dem Buch „Das Geheimnis hinter ChatGPT“ von Stephen Wolfram. Alle Infos zum Buch, das Inhaltsverzeichnis und eine kostenlose Leseprobe findet ihr bei uns im Shop.