Einleitung

Seit der Veröffentlichung von ChatGPT im November 2022 wird generative KI von immer mehr Personen im beruflichen oder privaten Kontext genutzt. Sehr früh hat OpenAI auch eine Schnittstelle veröffentlicht, um deren Modelle Entwicklern zur Verfügung zu stellen. Viele Unternehmen haben damals erste Pilotentwicklungen basierend auf der OpenAI Schnittstelle durchgeführt.

Der Trend in der generativen KI hat sich mittlerweile dahinentwickelt, dass unzählige Anbieter große, universelle Basismodelle (sogenannte Foundation Models) kommerziell oder auf Open Source Basis zur Verfügung stellen. Große Cloudanbieter wie AWS, Azure und Google Cloud bieten mittlerweile Services an, um diese Basismodelle in einer eigenen, sicheren Cloudumgebung bereit zustellen. Die Sicherheit, Flexibilität und Skalierbarkeit der Cloud eröffnet in Verbindung mit Open Source Basismodellen beispiellose Möglichkeiten für die Realisierung von Lösungen basierend auf generativer KI.

In diesem Blogbeitrag möchten wir speziell die aktuellen Möglichkeiten zur Bereitstellung von generativer KI mittels des AWS Service Amazon Bedrock beleuchten.

Amazon Bedrock

Amazon Bedrock ist ein vollständig verwalteter Service, mit dessen Hilfe verschiedene aktuelle Basismodelle über eine Schnittstelle bereitgestellt werden können. Da es sich dabei um einen Serverless-Service handelt, muss die zugrundeliegende Computing Infrastruktur nicht selbst verwaltet werden.

Amazon Bedrock kann entweder über das Internet oder über eine private Verbindung direkt aus einer eigenen Virtual Private Cloud (VPC) angesteuert werden. Letzteres ist möglich, sobald ein Interface Endpoint über AWS Private Link erstellt wurde.

Die anwenderspezifischen Daten (Modelleingaben und -ausgaben) werden pro User gekapselt, verschlüsselt und nicht geteilt. Insbesondere werden diese Daten nicht zur Verbesserung der Modelle genutzt. Es ist auch möglich eine Feinabstimmung von Modellen mit eigenen Daten vorzunehmen. In diesem Fall wird das feinabgestimmte Modell als eigene private Instanz (Single Tenant) bereitgestellt, auf die nur der Ersteller Zugriff hat.

Neben der standardmäßigen Verwendung der Basismodelle gibt es in Amazon Bedrock derzeit zwei Optionen, um die großen, universellen Modelle an die eigenen Daten anzupassen:

Retrieval Augmented Generation (RAG)

Bei der Retrieval Augmented Generation wird ein generisches Basismodell genutzt. Die Anpassung auf die Kundendaten erfolgt dabei kontextbasiert, ohne dass das Modell selbst angepasst werden muss. Die spezifische Wissensbasis, die dem Modell beigefügt werden soll, wird in einem ersten Schritt bezüglich der Eingabe durchsucht. Passende Informationen werden dem Modell dann im zweiten Schritt als Kontext mitgegeben, sodass eine zielgerichtete Ausgabe erfolgen kann.

Modellanpassung

Es gibt zwei Arten der Modellanpassung von Basismodellen: Feinabstimmung und fortgesetztes Vortraining. Bei der Feinabstimmung kann die Modellpräzision erhöht werden, indem ein aufgabenspezifischer gelabelter Trainingsdatensatz zur weiteren Anpassung des Basismodells benutzt wird. Das fortgesetzte Vortraining kann dazu genutzt werden, dem Basismodell mehr domänenspezifisches Wissen zu verleihen, indem ein nicht gelabelter Trainingsdatensatz zum Wissensaufbau für das Basismodell genutzt wird.

Amazon Bedrock bietet auch die Möglichkeit mit Basismodellen sogenannte Agenten Systeme aufzubauen. Dabei handelt es sich um autonome Systeme, die die Interaktion von Basismodellen, Datenquellen, Softwareapplikationen und Nutzereingaben orchestrieren. Man kann sie als programmierte Roboter verstehen, die selbstständig und automatisiert spezifische Aufgaben abarbeiten können. Agenten gehen somit über das Prinzip der „nächste Wort Vorhersage“ von LLMs hinaus und ermöglichen nun eigenständige Nutzung von Werkzeugen/Applikationen. Den Agentensystemen wird oftmals ein hohes Potential im Bereich der Automatisierung zugeschrieben.

Bei der Nutzung der Modelle kann zwischen drei Modi gewählt werden: On-Demand, Batch oder bereitgestellter Durchsatz. Beim On-Demand und Batch Modus wird die Nutzung pro Eingabe/Ausgabe Token berechnet, beim bereitgestellten Durchsatz werden die Zeiteinheiten der Bereitstellung berechnet, unabhängig von der Nutzung.

Generative KI-Modelle in Amazon Bedrock

Amazon Bedrock unterstützt verschiedene Basismodelle unterschiedlicher Anbieter. Aktuell unterscheidet sich das Angebot noch recht stark je nach gewählter AWS-Region. Beispielsweise ist das aktuelle Top-Modell Anthropic Claude 3.5 Sonnet bisher nur in der Region North Virginia (us-east-1) verfügbar. Im Folgenden geben wir eine Übersicht über die 8 besten Basismodelle, die aktuell verfügbar sind:

Die Basismodelle sind nach ihrem Ergebnis im Massive Multi-task Language Understanding (MMLU) Benchmark des CRFM Stanford sortiert. Dieser ist ein verbreiteter Benchmark, der darauf abzielt, die Leistung von LLMs in 57 Themenbereichen mit ca. 16000 Multiple Choice Fragen zu testen. Das Leistungsspektrum der hier aufgeführten Basismodelle ist vergleichbar mit den bekannten Basismodellen GPT-3.5 Turbo (68.9%) und GPT4o (84.2%) von OpenAI.

Fazit

Amazon Bedrock bietet eine anwenderfreundliche Lösung zur Bereitstellung von generativer KI. Dank der Serverless-Architektur muss die zugrundeliegende Computing Infrastruktur nicht selbst verwaltet werden. Es sind umfassende Sicherheitsmechanismen implementiert, die die Vertraulichkeit und den Schutz der eigenen Daten gewährleisten. Zur Verfügung stehen hochmoderne Basismodelle in den Bereichen Text und Bild, deren Leistung mit GPT-3.5 oder gar GPT4o von OpenAI vergleichbar sind.

Zusammenfassend stellt Amazon Bedrock eine hervorragende Möglichkeit dar, generative KI einzusetzen und damit innovative Lösungen in der AWS-Cloud zu realisieren.