Marktkonzentration und Eintrittshürden

Die Fähigkeit für viele unterschiedliche Zwecke eingesetzt werden zu können ist das Besondere an den jetzt entwickelten KI-Modellen. Im Allgemeinen benötigt es für jede einzelne Anwendung von Künstlicher Intelligenz ein eigenes Modell. Die genaue Auswahl der mathematischen Architektur und Art des Modells ist in der Praxis entscheidend und je nach Anwendung kommen nur bestimmte Architekturen in Frage. ChatGPT hingegen kann sowohl Inhalte zusammenfassen als auch Code für die Softwareentwicklung schreiben, journalistische Artikel verfassen oder automatisiert visuelle Anzeigen erstellen. Ein solches Modell, welches als Grundlage für viele Anwendungen genutzt werden kann, bezeichnet man auch als «Foundation Model».

Ein derartiges Foundation Model kann im Anschluss weiter verfeinert werden für eine konkrete Anwendung («finetuning»). Dieses mehrstufige Vorgehen erlaubt somit eine Trennung zwischen einem sehr breit und allgemein trainierten und anwendbaren Foundation Model und den jeweils angepassten, kontext-spezifischen Anwendungen. Daher kann ein solches vortrainiertes Foundation Model als eine neue Form von digitaler Plattform angesehen werden – ähnlich zu einem Betriebssystem.

Ein fertig trainiertes Foundation Model wird dann im Anschluss anderen Entwicklern zur Verfügung gestellt, die es für spezifischere Anwendungen und Verwendungszwecke optimieren können.^[1] Die nachgelagerten Entwickler profitieren dabei von den hohen Investitionen in das vorgelagerte Modell, während sie mit ihren eigenen Anwendungen einen Mehrwert schaffen.

Abbildung 1: Die Funktion eines Foundation Models

Quelle: Swiss Economics.

Für die Entwicklung eines Foundation Models gibt es aber drei wichtige Voraussetzungen.

Datensätze

Das Training eines Foundation Models benötigt enorme Datensätze. GPT-3 beispielsweise wurde im Jahr 2020 bereits mit 570 GB Daten trainiert. Da neuere Modelle wie GPT-4 mehr Parameter haben als GPT3, kann man davon ausgehen, dass auch die verwendeten Datensätze heute noch grösser sind; öffentlich sind diese Informationen bisher nicht verfügbar oder überprüfbar.

Derartig umfangreiche Daten haben nur wenige Unternehmen zur Verfügung. Eine wichtige Quelle sind Web-Scraping-Daten. Microsoft und Google sind die einzigen westlichen Unternehmen, die noch systematisches Web-Scraping betreiben. Einige grosse Webseiten sind dadurch unfreiwillig zu wichtigen Lieferanten von Daten geworden. Der News-Aggregator Reddit beispielsweise, auf dessen Seite geschätzt 57 Millionen NutzerInnen aktiv sind, hat als Reaktion angekündigt den Zugang zu seiner API kostenpflichtig zu machen.^[2] Andere Unternehmen spezialisieren sich auf die Erstellung von qualitativ hochwertigen Datensätzen, zum Beispiel SurgeAI.^[3] Unternehmen zahlen zwischen $100’000 und $1 Million für spezifische Datensätze.^[4] Die Investitionskosten für die Erstellung eines ausreichend grossen und qualitativ hochwertigen Datensatzes werden also voraussichtlich weiter steigen.

Abbildung 2: Zeitliche Entwicklung der Grösse von Datensätzen

Quelle: https://dl.acm.org/doi/10.1145/3442188.3445922

Wer bereits über umfassende Datensätze verfügt, um ein Foundation-Modell zu füttern, hat aber nicht nur aus diesem Grund einen Vorteil, sondern auch, weil die bisherigen Nutzeranfragen ein Teil des Datensatzes werden und so laufend zur Verbesserung des Modells beitragen. Die Weiterentwicklung von KI dank menschlichen Feedbacks war ein zentraler Schritt in der Entwicklung von GPT.

Beispielsweise bezahlte OpenAI für die Entwicklung des Vorgängers von ChatGPT, InstructGPT, 40 Personen für das nötige menschliche Feedback. Konkret schrieben die AuftragnehmerInnen passende Antworten zu echten Prompts an InstructGPTs API - insgesamt entstand ein Datensatz aus 13’000 Input-Output Kombinationen. Nachdem die KI auf diesem Datensatz neu trainiert wurde, liess OpenAI seinen Algorithmus zwischen 4 und 9 Antworten pro Prompt ausgeben und von den 40 Personen nach Qualität der Antwort sortieren. Damit wurde es in einem zweiten Schritt möglich, die KI auf möglichst passende Antworten zu optimieren. Die Vorteile des gesammelten Feedbacks von bisherigen Nutzern sind schwer aufzuwiegen und es ist fraglich wie bestreitbar der Markt bleiben wird, wenn Dritte nicht mit diesen Datensätzen arbeiten können.

Abbildung 3: Die drei Schritte des Trainings von InstructGPT

Quelle: https://arxiv.org/pdf/2203.02155.pdf

Berichten zufolge hat OpenAI alleine im zweiten Halbjahr 2022 ungefähr 1000 Personen hauptsächlich in Lateinamerika und Osteuropa angeheuert. Ca. 60% dieser ArbeitnehmerInnen "labeln" Daten, sprich helfen Datensätze mit Input-Output-Kombinationen zu erstellen. Die restlichen 40% sind ProgrammiererInnen, die Coding-Aufgaben lösen und zusätzlich schriftliche, englischsprachige Erklärungen der Lösung erstellen.^[5] All dies dient ausschliesslich dem Erstellen passender, spezifischer und präziser Datensätze um das Modell damit zu trainieren.^[6]

Rechenleistung

Neben den Daten benötigt das Training eines Foundation Modells eine sehr grosse Rechenleistung. Cloudanbieter sind daher unvermeidliche Partner bei der Entwicklung. Microsoft und OpenAI arbeiten bereits seit Jahren zusammen und Microsoft besitzt 49% der Anteile an OpenAI. Das Trainieren von ChatGPT soll beispielsweise weit mehr Rechenleistung gebraucht haben, als Microsofts Systeme je zuvor handhaben mussten.^[7] Insider schätzen, dass ungefähr 10-20% aller Einnahmen von Anwendungen generativer KI an die Cloud-Anbieter geht.^[8] Diese Summen gehen vor allem an Amazon, Microsoft und Google: in Europa hatten in 2020 Amazon (AWS) und Microsoft (Azure) jeweils «Marktanteile zwischen 35% und 40%». Google Cloud Platform (GCP) und Oracle folgen «mit einem Marktanteil zwischen 5 und 10%. Die Kategorie 'Other' enthält Anbieter, die nur einen Marktanteil von wenigen Prozent haben.»^[9]

Die technologische Weiterentwicklung von Mikroprozessoren hat zwar dazu geführt, dass die Rechenkosten pro FLOPS («floating point operations per second») immer weiter gefallen sind, aber gleichzeitig sind die state-of-the-art Modelle immer grösser geworden. Im Effekt sind die Kosten des Trainings von konkurrenzfähigen Modellen im Laufe der Zeit immer weiter angestiegen. Die geschätzten reinen Hardware-Kosten von GPT-4 liegen inzwischen bei mehr als 50 Millionen USD. Diese Investitionskosten zu stemmen erfordert sehr grosse Ressourcen. Cloud-Anbieter und vertikal integrierte Unternehmen haben hier prinzipiell Vorteile, weil sie diese intern zu Selbstkosten verrechnen können.

Abbildung 4: Geschätzte Hardware-Trainingskosten von KI-Modellen

Quelle: Eigene Auswertung Swiss Economics auf Basis Cottier (2023).

Know-how

Darüber hinaus gibt es bis heute nicht viele Software-Entwickler, die derartig grosse KI-Modelle wie Foundation Modelle implementieren und trainieren können. «Ein sehr gutes Modell zu erstellen ist immer noch extrem schwierig. Es gibt nur wenige Menschen auf der Welt, die dazu in der Lage sind». ^[10] Die meisten davon arbeiten bei den grossen Digitalkonzernen. Entsprechend wurden von den elf privaten grossen Foundation Models, die seit dem Durchbruch von GPT-3 im Jahr 2020 veröffentlicht wurden, acht von Internetkonzernen betrieben – fünf von Google/DeepMind, je eines von Meta, Microsoft und Baidu. Seit 2017 wurden 86% der veröffentlichten Foundation Models von Privatunternehmen entwickelt und nur 13% in der Wissenschaft.^[11] 73% der Foundation Models wurden in den USA entwickelt, 15% in China. Die wenigen Modelle aus Europa sind in der Regel kleiner, weniger umfangreich trainiert und passen die GPT-Architektur hauptsächlich an nationale Märkte an. Keines der bekanntesten Modelle, die einen Durchbruch darstellen, stammt aus Europa.

Abbildung 5: Zeitliche Entwicklung von KI-Modellen (Auswahl)

Quelle: Swiss Economics. Anzahl Parameter in Klammern; kursiv geschrieben, wenn die Parameteranzahl geschätzt ist. Open-Source Modelle in Rot.

Was sind die Auswirkungen

Die aktuellen Marktcharakteristika und die Entwicklung hin zu Foundation Models zeigen auf, dass hohe Marktkonzentration und Eintrittshürden den Markt für generative KI auszeichnen werden. Es ist deshalb damit zu rechnen, dass sich nur einige wenige Anbieter etablieren werden können. Die meisten Unternehmen werden hingegen Foundation-Modelle auf Basis von Lizenzen nutzen und für ihre jeweiligen Anwendungen adaptieren.

Gelten Daten schon seit längerem als das Gold des 21. Jahrhunderts, gewinnen diese im Zusammenhang mit generativer KI nochmals an Bedeutung.

Ein Blick in die jüngere Vergangenheit zeigt, wie entscheidend der Datenzugang für den Wettbewerb sein kann. Im Juni 2022 ging die Software Dall-E von OpenAI online, die ausgehend von einer Beschreibung als Prompt realistische Bilder generiert. Im August 2022 kam das konkurrierende Open-Source-Programm Stable Diffusion auf den Markt. Möglich war die Entwicklung von Stable Diffusion nur, weil die Programmierer kostenlosen Zugriff auf umfangreiche Bild-Datensätze hatten.^[12] Daten stellen bei der Entwicklung von generativer KI eine Art «Essential Facility» dar: Ohne den Zugang zu geeigneten Daten zu angemessenen Bedingungen, ist ein Marktzutritt de facto nicht möglich.

Zudem ist es OpenAI nicht nur gelungen, ein Foundation-Modell, das am Anfang der Wertschöpfungskette steht, zu entwickeln. Mittels ChatGPT wird gleichzeitig ein Produkt für die Endnutzer bereitgestellt, welches Eigenschaften einer Platform aufweist. Aktuell gibt es bereits 15 Plugins für ChatGPT, die es ermöglichen via den Chatbot auf andere Dienstleistungen zuzugreifen.^[13] So lassen sich etwa via ChatGPT Reisepläne auf der Buchungsplattform Expedia erstellen. Chatbots wie ChatGPT weisen somit Ähnlichkeiten mit einem App Store auf: Einzelne Plugins werden wie Apps verwendet, der Zugang erfolgt aber immer über den entsprechenden Chatbot. Dies bewirkt starke Netzwerkeffekte: Je mehr Plugins existieren, desto attraktiver wird es, Dienstleistungen über ein einzelnes Interface (z.B. ChatGPT) abzurufen und anzubieten. Und die verstärkte Nutzung des immergleichen Chatbots füttert diesen wiederum mit zusätzlichen Daten, sodass der Algorithmus immer besser wird.^[14]

Abbildung 5: Wertschöpfungskette und Positionierung von OpenAI

Quelle: Swiss Economics.

Bereits heute sind insbesondere Google und Microsoft stark vertikal integriert in der AI-Wertschöpfungskette: sie haben die Webscrape-Datensätze, die Cloud-Architektur und die Technologie. Upstream kontrollieren sie jeweils Foundation Modelle und downstream eine Plattform bzw. ein Ökosystem, in welches die KI integriert werden kann. Diese Märkte sind entsprechend schwer zu bestreiten. Diese Unternehmen haben entsprechend starke Anreize und Möglichkeiten, ihre Marktposition auszunutzen und weiter zu festigen.

Schlussfolgerungen

Die Erfahrungen mit den grossen Tech-Unternehmen haben gezeigt, dass das Wettbewerbsrecht in digitalen Märkten unter Umständen nicht ausreicht, um den Wettbewerb effektiv zu schützen. Die Tendenz zu wenigen dominanten Unternehmen ist so stark und die Entwicklungen teilweise so schnell, dass Entscheidungen in Kartellrechtsfällen oft viel zu spät kommen. Die EU hat auf diese Entwicklungen reagiert und mit dem Digital Services Act (DSA), sowie dem Digital Markets Act (DMA) Spielregeln für digitale Märkte festgelegt. Diese beinhalten unter anderem weitreichende Transparenzanforderungen und Verhaltensauflagen für die grossen Tech-Unternehmen. Im Bereich der KI berät die EU zudem aktuell über den AI Act und Data Act, wobei insbesondere letzterer weitreichende Datenteilungspflichten für Unternehmen vorsieht.

Die zentrale Rolle von Foundation Models ähnelt der «Gatekeeper»-Klassifikation, welche die EU im DMA eingeführt hat. Sprich, Unternehmen bzw. Dienstleistungen, um deren Nutzung man nicht herumkommt. Es ist denkbar, dass es in Zukunft nur einzelne, wenige Zugangspunkte geben wird (Chat-Interfaces), über diese man auf alle Anwendungen zugreift. Die von Microsoft angekündigte Integration von GPT in Windows und Office 365 zeigt die Möglichkeiten dieser Entwicklung. Entsprechend sieht der aktuelle Entwurf des AI Act vor, dass «Gatekeeper» zwingend ihre Foundation Modelle vor Markteintritt registrieren.

In der Schweiz fehlen entsprechende Regeln zurzeit gänzlich. Zwar soll vom UVEK bis im März 2024 eine Vorlage zur Regulierung von grossen Kommunikationsplattformen ausgearbeitet werden. Was diese im Detail beinhalten wird, ist zurzeit noch unklar – erste Äusserungen des UVEK deuten jedoch darauf hin, dass keine wettbewerblichen Spielregeln für grosse Tech-Unternehmen vorgesehen sind. Klar ist jedoch, dass Daten in einer Welt generativer KI immer mehr die Rolle einer «Essential Facility» zu kommen. Daher wäre es zu empfehlen, die Frage nach dem Zugang zu Daten auch in der Schweiz nicht gänzlich ausser Acht zu lassen. Fraglich ist hierbei, ob ein eigener Schweizer Weg überhaupt gangbar ist, angesichts der Grösse der Konzerne und weltweiten Auswirkungen oder ob die Schweiz nicht im eigenen Interesse eine aktive Rolle in der internationalen Debatte ergreifen sollte.^[15]

[1] OpenAI CEO Sam Altman: “One advantage to the next generation of large AI models is that they only need to be trained once with massive amounts of data and supercomputing resources. A company can take a ‘pre-trained’ model and simply fine tune for different tasks with much smaller datasets and resources.” (https://news.microsoft.com/source/features/ai/openai-azure-supercomputer/)

[2] https://www.redditinc.com/blog/apifacts

[3] https://www.surgehq.ai

[4] https://robotic.substack.com/p/rlhf-chatgpt-data-moats

[5] https://www.semafor.com/article/01/27/2023/openai-has-hired-an-army-of-contractors-to-make-basic-coding-obsolete

[6] Dabei sollte nicht vergessen werden, dass auch das Entfernen von rassistischen oder gewalttätigen Inhalten menschliche Arbeit erfordert. OpenAI hat in der Vergangenheit ein Unternehmen in Kenia dafür bezahlt Datensätze entsprechend zu säubern. ArbeitnehmerInnen arbeiteten für weniger als $2 pro Stunde und berichteten, dass die verstörenden Inhalte sie teils schwer gezeichnet haben. https://time.com/6247678/openai-chatgpt-kenya-workers/.

[7] https://www.theinformation.com/articles/microsoft-openai-inside-techs-hottest-romance?rc=ct4xax

[8] https://synthedia.substack.com/p/the-most-interesting-analysis-of?tm_source=substack&utm_campaign=post_embed&utm_medium=web

[9] Vgl. Netherlands Authority for Consumers and Markets, Case no. ACM/21/050317, Market Study Cloud Services, 2022, p. 34

[10] Clement Delangue, CEO von Hugging Face in The Information, “Don’t Sleep on Google in AI Battle with OpenAI and Microsoft”, 2023

[11] LEAM:AI, Large AI Models for Germany -Feasibility Study 2023, p. 56

[12] Diese wurden von der Non-Profit-Organistion «Large-scale Artificial Intelligence Open Network» (LAION) mittels Web Scraping erhoben und gratis veröffentlicht.

[13] Stand 24.07.2023.

[14] Seit April 2023 können Nutzer sich entscheiden, ob ihre Konversationen mit ChatGPT für das weitere Training des Chatbots zur Verfügung stehen.

[15] Im Europarat agiert die Schweiz bereits in einer solchen Rolle in der Entwicklung von Regulierung von Künstlicher Intelligenz.

Quellen:

• Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, and Shmargaret Shmitchell (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT '21). Association for Computing Machinery, New York, NY, USA, 610–623. https://doi.org/10.1145/3442188.3445922
• Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., ... & Lowe, R. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35, 27730-27744. https://arxiv.org/abs/2203.02155
• Ben Cottier (2023), "Trends in the dollar training cost of machine learning systems". Publiziert auf epochai.org. https://epochai.org/blog/trends-in-the-dollar-training-cost-of-machine-learning-systems

Haben Sie Feedback oder Fragen? Bitte wenden Sie sich direkt per Mail an den Autor oder liken/kommentieren/sharen Sie auf LinkedIn.