Open-Source-KI: LAION ruft zu offenem GPT-4-Nachbau auf – genug Wissen sei da

(This article is also available in English.)

Die in einem Open Letter geforderte Entwicklungspause großer KI-Modelle erregt die Gemüter und Widerspruch etwa von Open-Source-Verfechtern. Das gemeinnützige Large-Scale Artificial Intelligence Network (LAION e.V.) hat einen Gegenstandpunkt veröffentlicht. Statt einer Pause ruft LAION zur Beschleunigung der Forschung auf und zum Einrichten eines gemeinsamen, internationalen Rechenclusters für groß dimensionierte offene Grundlagenmodelle (Large-Scale Foundation Models) der Künstlichen Intelligenz. Als Vorbild dient das Schweizer CERN.

Prominente Mitglieder der KI-Forschungsgemeinschaft unterstützen den Aufruf, etwa der theoretische Physiker Surya Ganguli (Stanford), Jürgen Schmidhuber (Leiter des Schweizer KI-Labors IDSIA), Irina Rish (Machine-Learning-Professorin in Montréal), der Darmstädter KI-Professor Kristian Kersting (Co-Direktor von hessian.AI), Thomas Wolf (Gründer von Hugging Face), Konrad Koerding (University of Pennsylvania) und Joscha Bach (Kognitionswissenschaftler und KI-Forscher bei Intel); auch der Head of Strategy von Stability AI David Ha (in der KI-Szene bekannt unter dem Pseudonym „hardmaru“) und Robin Rombach (Hauptautor von Stable Diffusion) zählen zu den Unterstützern.

Der Verein für Open-Source-KI mit Sitz in Deutschland macht sich für offene KI-Modelle, transparente Forschung und frei zugängliche Datensätze stark. Die gemeinnützige Organisation erforscht große KI-Foundation-Models und stellt Datensätze, Werkzeuge und Modelle bereit. Heute gängige Large (Vision) Language Models für die Text-zu-Bild-Synthese wie etwa Stable Diffusion und Google Imagen beruhen zum großen Teil auf LAION-Datensätzen. Hinter LAION steht eine Community von etwa 20.000 Menschen weltweit, die im Bereich des maschinellen Lernens und der künstlichen Intelligenz forschen.

Die Vereinsziele von LAION sind kritische KI-Sicherheitsforschung, die der Allgemeinheit zugutekommt, und technologische Unabhängigkeit von kommerziellen KI-Modellen großer Konzerne, die zu ihren Produkten keine technischen Details offenlegen, zugleich aber Nutzerdaten zum weiteren Training ihrer Modelle absaugen (Blackboxen wie ChatGPT und GPT-4). Der Aufruf zur Zusammenarbeit richtet sich an die EU, USA, Großbritannien, Kanada und Australien.

CERN-ähnliche Institution für offene KI-Forschung

LAION schlägt vor, die KI-Forschung zu demokratisieren und einen öffentlich finanzierten Supercomputer mit 100.000 leistungsfähigen Beschleunigern (wie etwa grafischen Prozessoreinheiten, kurz GPUs) für das Training von Foundation Models zu errichten, um möglichst zügig ein Open-Source-Replikat von GPT-4 zu erstellen. Der Verein hat ausgeprägte Erfahrung mit Superrechnern und großen Language-Vision-Modellen. Eines der Gründungsmitglieder und wissenschaftlicher Leiter von LAION, Dr. Jenia Jitsev, arbeitet als Forschungsgruppenleiter am Hochleistungs-Rechenzentrum der Helmholtz-Gesellschaft in Jülich (Juelich Supercomputing Center, kurz JSC). Dort steht JUWELS, Deutschlands größter Wissenschafts-Superrechner und eines der größten High-Performance-Rechencluster in Europa. JUWELS ist ausgestattet mit 4.000 NVIDIA A100-GPUs und unter anderem für Quantenberechnungen im Einsatz.

LAION hat die Skalierungsgesetze einer weiteren wichtigen Klasse von Bild-Text-Modellen erforscht: Am Jülicher Rechenzentrum wurden openCLIP-Modelle trainiert, eine offene Alternative zu dem von OpenAI eingeführten Deep-Learning-Modell CLIP (Contrastive Language Image Pre-Training). Der Verein veröffentlichte die zuvor nicht verfügbaren Modelle in Zusammenarbeit mit der openCLIP-Community als Open Source. Bislang bildete CLIP von OpenAI die Trainingsgrundlage generativer und zahlreicher anderer Modelle mit Wort-Bilderkennung, die erste Version von Stable Diffusion etwa war neben den Bilddatensätzen von LAION noch mit CLIP trainiert.

Dr. Jenia Jitsev, einer der Mitbegründer und wissenschaftlicher Leiter von LAION, arbeitet am Juelich Supercomputing Center der Helmholtz Gesellschaft, wo er eine eigene Forschungsgruppe leitet. Dort steht JUWELS, einer der größten Supercomputer Europas, ausgestattet mit über 4000 NVIDIA A100 GPUs. Zusammen mit in LAION eingebundenen Wissenschaftlern wie Ludwig Schmidt von der University of Washington und Irina Rish von der University of Montreal sowie erfahrenen KI-Software-Ingenieuren wie Ross Wightman, dem Author der timm library, beantragte Jitsev Rechenzeiten auf staatlich geförderten Supercomputern wie JUWELS oder auch SUMMIT im Oak Ridge Laboratory in den USA.

Erst solche Großmaschinen ermöglichen KI-Forschung in Größenordnungen, in denen es interessant wird und in denen in den großen Industrielaboren von Google, Meta und Co. geforscht wird, so Jitsev. Allerdings seien auch diese Supercomputer immer noch zu klein im Vergleich zu dem, was in solchen Industrielabs vorhanden ist. Unlängst wurde bekannt, dass etwa OpenAIs Partner Microsoft Tausende von GPUs zusammenkauft, um eine neue Superrechenstruktur zu errichten. Daher sei es laut dem wissenschaftlichen Leiter von LAION unbedingt notwendig, Supercomputer in ausreichender Größe aus öffentlichen Mitteln zu bauen. Nur so lasse sich unabhängige und transparente Forschung in diesem Bereich sichern, der für die Gesellschaft von enormer Bedeutung ist.

In Jülich können sich Forschungsprojekte um Rechnerzugang bewerben. Auf der Website finden sich Informationen zu wissenschaftlichen Clouds, Quantencomputing und eine Dokumentation mit FAQ.

Für Arbeit am Datensatz LAION-5B und dessen Validierung durch openCLIP-Modelle erhielt LAION 2022 den NeurIPS Outstanding Paper Award. openCLIP stelle einen Durchbruch für die Demokratisierung großer Sprach-Visions-Modelle dar, lautet die Begründung der Jury. Die Conference on Neural Information Processing Systems (NeurIPS) gibt es seit 1987. Sie gilt als eine der wichtigsten Konferenzen für Künstliche Intelligenz weltweit, und die Auszeichnung durch eine unabhängige NeurIPS-Jury hat in der Forschungs-Community Gewicht – mehr dazu lässt sich einem Blogeintrag der Veranstalter entnehmen.

Ein offener Datensatz ermöglicht weitreichende Kontrolle und Steuerung, openCLIP verringert Abhängigkeiten von den Präferenzen oder Nachlässigkeiten einzelner kommerzieller Anbieter. CLIP ist dafür bekannt, Vorurteile zu reproduzieren – das erzeugte zahlreiche Probleme, denn der Bias des Datensatzes fließt in das jeweilige Training und Modell mit ein. Mit openCLIP haben Forscherinnen und Forscher mehr Möglichkeiten, das Training ihrer Modelle selbst zu steuern.

LAION setzt sich ein für öffentliche Infrastruktur zum Trainieren zugänglicher großer KI-Modelle auf dem neuesten Stand der Technik, damit unabhängige Fachleute und die Gesellschaft ungefilterten Zugang zu der Grundlagentechnologie haben und Alternativen zu mächtigen Modellen wie GPT-4 entstehen – für die Menschheit wäre es riskant, wenn die Weltbevölkerung über eine einzige API von undurchsichtigen kommerziellen Angeboten weniger Konzerne mit Monopolstellung abhinge, sagte Christoph Schuhmann gegenüber heise Developer. Der Hamburger Informatiklehrer gehört wie Jenia Jitsev zu den sieben Gründungsmitgliedern des Vereins.

KI-Sicherheit: halbherziger Blogpost von OpenAI

Problematisch sei, dass die Anbieter die Beschaffenheit und das Verhalten der Modelle nach Belieben und ohne Wissen oder Mitsprache der Kunden ändern können. Große Konzerne wie Microsoft-OpenAI halten technische Informationen aus Wettbewerbsgründen zurück. So bietet der Technical Report zu GPT-4 keine relevanten Informationen zu Größe, Training, Trainingsdaten und Architektur, sodass unabhängige Sicherheitsforscher nicht mit ihnen arbeiten können.

Ein aktueller Blogeintrag von OpenAI zum Thema KI-Sicherheit hat Privatkunden wie Forscher enttäuscht. Der Text kratzt an der Oberfläche, nennt erneut keine technischen Details und wirkt Marketing-getrieben. Die Botschaft dürfte eine halbherzige Reaktion auf die Ermittlungen gegen OpenAI in den USA, Kanada und Italien sein. In diesen Ländern ermitteln nationale Behörden zurzeit teils wegen Datenschutzbedenken und Sicherheitsrisiken, teils aufgrund vermuteter Wettbewerbsverstöße bei der Markteinführung von GPT-4 und ChatGPT.

Fragwürdiger Umgang mit Nutzerdaten

Existenzielle und bereits bekannte Risiken nennt OpenAI in dem Blogeintrag „Our Approach to AI Safety“ nicht. Auch bleibt unklar, welche Maßnahmen das Unternehmen konkret ergreift, um seine Nutzerinnen und Nutzer zu schützen und worin genau das halbjährige Sicherheitstraining für GPT-4 bestand. Angesichts bereits greifbarer Risiken durch KI wie Desinformation, algorithmische Clusterbildung und weitreichende sowie intransparente Verarbeitung von Nutzerdaten besteht laut LAION dringender Bedarf an Alternativen. Für die neue Grundlagentechnik werden massenhaft öffentliche Daten abgeschöpft und im Falle amerikanischer Daten- und Plattform-Konzerne gewinnorientiert verarbeitet.

OpenAI speichere sämtliche Nutzerdaten für 30 Tage auf amerikanischen Servern und behalte sich vor, diese selbst oder durch nicht weiter deklarierte Dritte auswerten zu lassen. Spätestens bei der geplanten vollständigen Integration von GPT-4 und ChatGPT in die verbreitete Microsoft-Office-Suite werden Milliarden Menschen auf einen Schlag das System nutzen, gibt Schuhmann zu bedenken. Die Öffentlichkeit habe ein Recht auf gemeinnützigen Fortschritt, Zugänglichkeit und Teilhabe – und auf Informationen statt Marketing. Zurzeit seien die Forschung und die gesamte akademische Welt von den finanzkräftigen Techfirmen und deren Hardware abhängig. Selbst der größte NASA-Computer sei nur halb so schnell wie der von Stability AI.

Gemeinsam mit dem YouTuber und KI-Influencer Yannic Kilcher arbeitet LAION an OpenAssistant, einer Open-Source-Variante von ChatGPT. Freiwillge tragen das Chatbot-Projekt den Chatbot: Sie erstellen Musterlösungen und bewerten die Antworten anderer. Anschließend trainieren weitere Beteiligte auf dieser Grundlage Chatmodelle und veröffentlichen sie als Open Source. Mittlerweile gibt es erste Work-in-Progress-Modelle als inoffizielle Demos – Yannic Kilcher stellte sie am 7. April 2023 in seiner YouTube-Sendung vor („OpenAssistant First Models are here: Open-Source ChatGPT„).

LAION und Kilcher planen, die bisher gesammelten Trainingsdaten und ersten offiziellen Chat-Modelle “in ein paar Wochen” zu veröffentlichen, so die Auskunft auf Nachfrage. Wer sich dafür interessiert, kann die Prototypen bereits auf Hugging Face ausprobieren. Weitere Details lassen sich der Projektwebsite von OpenAssistant entnehmen.

Kontrollverlust durch Machtkonzentration in Konzernen

Kritisch sieht auch der Technikphilosoph Armin Grunwald die Macht- und Besitzstrukturen: Ein unverhältnismäßig großer Teil der Forschung zur Digitalisierung und KI konzentriere sich bei privat geführten Unternehmen, vor allem in großen Datenkonzernen aus den USA und aus China. Diese Einsicht belegt auch der soeben veröffentlichte AI Index Report 2023 des Stanford Institute for Human-Centered AI (Stanford HAI) unter Mitwirkung von Hugging Face und Jack Clark (Anthropic), der vor globalen Verwerfungen durch die Konzentration von Forschung und Kapital in den USA und in China warnt. Die Gesellschafts- und Zukunftsvorstellungen weniger Manager und Multimilliardäre in Monopolkonzernen prägen durch ihre Entscheidungen unsere Zukunft ohne öffentliche Debatte, Mitsprachrecht und Legitimierung.

Der eigentliche Kontrollverlust, vor dem wir uns schützen müssen, sei nicht der im offenen Brief genannte Verlust von Kontrolle an Algorithmen, so Grunwald – das wäre eine sinnlose Sorge, da Algorithmen und Rechenprogramme weder Intentionen noch Machtinstinkt besitzen. „Ihre Macher jedoch haben diese reichlich“, warnt der Technikphilosoph. Das Problem aktueller KI-Entwicklung sei nicht der drohende Machtverlust an Algorithmen, sondern die intransparente Machtkonzentration über die künftige Gesellschaft in den Händen weniger. Grunwald gibt zu bedenken: „Selbstverständlich sind zur zukünftigen Entwicklung der KI vorausschauende Überlegungen, Folgenforschung und Ethik gefragt. Aber diese bleiben zahnlos, wenn sich an der genannten Machtkonstellation nichts ändert.“

Genug Wissen da, um GPT-4 zu replizieren

Christoph Schuhmann hält es für möglich, GPT-4 zu replizieren. Aus dem kombinierten Wissen zu ähnlichen Modellen wie LLaMA und Flamingo könne man sich genug Informationen herleiten, um das anzugehen. So sei LLaMA mit 1,5 Trillionen Token trainiert worden, für GPT-4 darf man eine von der zehnfachen Menge ausgehen und das Training enthielt wohl auch Bilder (multimodal). Die Kontextlänge sei erhöht worden und vermutlich kam eine „Mixture of Experts“ zum Einsatz, also ein verschieden gewichtetes Training der unterschiedlichen Layer des Modells. So sei es üblich, etwa zehn bis zwanzig Prozent der mittleren Layer auf bestimmte Aufgaben feinzutunen und das restliche Modell beizubehalten.

Es gebe genügend Forschungspaper, die diesen Ansatz erklären, bei dem lediglich die Parameter der Middle Layers ausgetauscht werden und etwa 80 Prozent des Foundation Models gleich bleibe. Die Middle Layers könne man in den aktiven RAM kopieren und über CPU-Offloading austauschen. Der Durchbruch sei dann, das Training richtig groß aufzuziehen, mit hochwertigen Daten. Vor allem sei es jetzt an der Zeit, da etwa laut Angaben von Anthropic ab 2025/26 der Vorsprung großer, kapitalstarker Tech-Unternehmen unaufholbar werden dürfte. Anthropic plant laut geleakten Geschäftsunterlagen offenbar ein KI-Modell in der Größenordnung von 10 ²⁵ Floating Point Operations (FLOPs, Gleitkommazahlberechnungen) – das KI-System solle zehnmal so leistungsstark sein wie die derzeit stärksten Modelle und Anthropic habe vor, 5 Milliarden US-Dollar in die Entwicklung zu investieren.

Zukunft der KI: LAION-Aufruf und Stellungnahme Ethikrat

Eine ausführliche Darstellung der LAION-Position mit Pro und Contra großer KI-Sprachmodell-Projekte findet sich bei Open Petition. Mehr über den Verein und seine Hintergründe steht in einem Interview mit dem Informatiker Christoph Schuhmann, einem der sieben Gründer von LAION. In den kommenden zwei Monaten sammelt der gemeinnützige Open-Source-KI-Verein LAION Unterschriften für die Forderung nach einem KI-Superrechencluster in öffentlicher Hand.

Zur aktuellen KI-Entwicklung hat der Deutsche Ethikrat im März Stellung bezogen. Die rund 300-seitige Stellungnahme ist öffentlich als PDF-Dokument einsehbar: „Mensch und Maschine – Herausforderungen durch Künstliche Intelligenz„.

(sih)