Support Vector Machines (SVM) sind leistungsfähige, überwachte Lernmodelle, die vor allem für Klassifikationsaufgaben genutzt werden, aber auch bei Regressionsproblemen Anwendung finden können. Sie zeichnen sich besonders dadurch aus, dass sie mit hochdimensionalen Daten umgehen können und Klassen gut trennen, wenn zwischen ihnen ein deutlicher Abstand besteht. Ein Vorteil von SVMs ist ihre Robustheit bei Datensätzen, in denen die Anzahl der Merkmale die Anzahl der Stichproben übersteigt, da sie in solchen Fällen weniger anfällig für Überanpassung (Overfitting) sind.

Overfitting beschreibt das Phänomen, bei dem ein Modell die Trainingsdaten zu genau lernt, inklusive der darin enthaltenen Ausreißer und des Rauschens, wodurch es auf neuen, unbekannten Daten schlechtere Vorhersagen trifft. Um diesem Problem entgegenzuwirken, gibt es verschiedene Techniken wie Kreuzvalidierung, Modellvereinfachung oder Regularisierung – Letztere fügt dem Modell eine Strafkomponente hinzu, die zu hohe Koeffizienten verhindert. Obwohl Regularisierung für lineare Modelle sehr hilfreich ist, wird sie hier erst in einem späteren Kapitel näher erläutert.

Trotz ihrer Vorteile haben SVMs auch Einschränkungen: Sie sind rechenintensiv, was bei sehr großen Datensätzen zu langen Trainingszeiten und hohem Speicherbedarf führt. Zudem zeigen sie bei verrauschten Daten und überlappenden Klassen oft schwächere Leistungen im Vergleich zu flexibleren Algorithmen wie Random Forests oder Gradient Boosting. Um die optimale Leistung zu erzielen, erfordern SVMs eine sorgfältige Abstimmung der Hyperparameter, wie den Kerneltyp oder die Regularisierungsparameter. Zusammenfassend eignen sich SVMs besonders für kleine bis mittelgroße, hochdimensionale Datensätze mit klar getrennten Klassen, weniger jedoch für große, verrauschte oder zeitkritische Anwendungen.

Der k-Nächste-Nachbar-Algorithmus (k-NN) ist ein einfaches, aber effektives überwacht lernendes Verfahren, das sowohl für Klassifikation als auch Regression verwendet wird. Sein grundlegendes Prinzip beruht darauf, dass ähnliche Datenpunkte im Merkmalsraum nahe beieinander liegen. Bei der Vorhersage wird für einen neuen Datenpunkt der k nächste Nachbarn identifiziert, und je nach Aufgabe wird entweder die häufigste Klasse unter diesen Nachbarn bestimmt (Klassifikation) oder deren Werte gemittelt (Regression). Die Wahl von k, also der Anzahl der berücksichtigten Nachbarn, ist entscheidend: Ein kleiner Wert (z. B. k=1) macht das Modell sehr empfindlich gegenüber Ausreißern und Rauschen, während ein großer Wert die Vorhersagen glättet, aber lokale Strukturen ignorieren kann.

Die Bestimmung des optimalen k erfolgt häufig mittels Techniken wie Kreuzvalidierung, um ein Gleichgewicht zwischen Bias und Varianz zu finden. Obwohl k-NN einfach zu verstehen ist, kann der Algorithmus bei großen Datenmengen rechnerisch aufwendig sein, da für jede Vorhersage die Distanzen zu allen Trainingspunkten berechnet werden müssen. Verschiedene Distanzmaße, beispielsweise euklidische oder Manhattan-Distanz, beeinflussen die Performance stark und müssen entsprechend der Datenbeschaffenheit ausgewählt werden.

Eine Visualisierung mit dem Iris-Datensatz zeigt, wie k-NN in einem zweidimensionalen Raum arbeitet: Die Entscheidung, welcher Klasse ein neuer Punkt zugeordnet wird, hängt von der räumlichen Nähe zu Trainingspunkten ab. In der Praxis führt dies dazu, dass Punkte, die nahe an der Grenze zwischen Klassen liegen, gelegentlich falsch klassifiziert werden. Solche Fehler verdeutlichen die Sensitivität des Algorithmus gegenüber der Wahl von k und der Datenstruktur.

Die praktische Anwendung von k-NN, beispielsweise in Cloud-Diensten wie Amazon SageMaker, erfordert die Vorbereitung der Daten und die Auswahl geeigneter Parameter wie k und Distanzmaße. Trotz seiner Einfachheit bleibt k-NN ein vielseitiges Werkzeug, dessen Leistung jedoch stark von einer sorgfältigen Parameterauswahl und der Datenqualität abhängt.

Es ist wichtig zu verstehen, dass sowohl SVM als auch k-NN ihre Stärken und Schwächen im Umgang mit verschiedenen Datentypen und Problemstellungen haben. Die Wahl des passenden Modells hängt nicht nur von der Datengröße und -struktur ab, sondern auch von Anforderungen wie Rechenressourcen, Interpretierbarkeit und Robustheit gegenüber Rauschen. Ein tieferes Verständnis von Überanpassung und Regularisierung sowie der Bedeutung von Hyperparametern ist entscheidend für den erfolgreichen Einsatz dieser Algorithmen. Ebenso sollte der Einfluss der Distanzmessung bei k-NN und die Trennbarkeit der Klassen bei SVM stets kritisch bewertet werden, um fundierte Entscheidungen bei der Modellwahl und -optimierung zu treffen.

Wie lernt eine Maschine selbstständig, sinnvolle Entscheidungen zu treffen?

Im Zentrum der modernen künstlichen Intelligenz steht die Fähigkeit von Maschinen, nicht nur nach festen Regeln zu handeln, sondern auf Grundlage von Daten selbstständig zu lernen. Während Expertensysteme der ersten Generation darauf beruhten, vordefinierte Regeln und Fakten in sogenannten Wissensbasen zu nutzen, um Entscheidungen zu treffen oder Empfehlungen zu geben, ist der maschinelle Lernansatz grundlegend anders: Er ersetzt starre Regeln durch statistische Modelle, die Muster in großen Datenmengen erkennen und daraus lernen.

Maschinelles Lernen (ML) ist ein Teilgebiet der KI, das es Computern ermöglicht, aus vorhandenen Informationen zu lernen, ohne explizit programmiert zu sein, und dieses Gelernte auf neue, ähnliche Aufgaben anzuwenden. Der entscheidende Unterschied zu klassischen Programmen liegt darin, dass das Verhalten der Maschine nicht im Voraus im Code festgelegt wird. Stattdessen wird die Maschine mit Daten versorgt, aus denen sie relevante Strukturen, Trends und Merkmale extrahiert, um auf dieser Basis Vorhersagen zu treffen oder Entscheidungen zu fällen.

Ein anschauliches Beispiel ist die maschinelle Übersetzung: Während ein klassischer Ansatz versuchen würde, durch manuelle Kodierung aller Regeln der Grammatik, Syntax und Semantik zwischen Englisch und Italienisch zu übersetzen – ein nahezu unmögliches Unterfangen –, greift ML auf Modelle zurück, die aus riesigen Textkorpora lernen. Diese Modelle verstehen sprachliche Nuancen, idiomatische Wendungen und semantische Feinheiten. Je mehr Daten sie verarbeiten, desto besser werden ihre Übersetzungen, da sie kontinuierlich neue sprachliche Muster aufnehmen und anwenden können.

Diese Fähigkeit zur kontinuierlichen Verbesserung zeigt sich auch in Empfehlungssystemen großer Plattformen. Amazon nutzt ML, um Bücher auf Basis des bisherigen Kaufverhaltens und der Interessen eines Nutzers vorzuschlagen. Ebenso erstellt Spotify personalisierte Musiktipps, indem es Musikpräferenzen analysiert und diese mit einem breiten Katalog vergleicht. In beiden Fällen basiert der Erfolg der Empfehlungssysteme auf der Fähigkeit der Modelle, aus riesigen Datenmengen sinnvolle Korrelationen abzuleiten und daraus personalisierte Vorhersagen zu generieren.

Damit maschinelles Lernen diese Ergebnisse liefern kann, durchläuft jedes ML-Projekt einen strukturierten Entwicklungszyklus – den sogenannten ML-Lebenszyklus. Am Anfang steht immer die zentrale Frage: Welches konkrete Problem soll gelöst werden, und wie kann maschinelles Lernen dazu beitragen?

Die Definition des ML-Problems ist der entscheidende erste Schritt. Es geht darum, das Geschäftsproblem klar zu formulieren, den Umfang zu bestimmen und zu prüfen, ob maschinelles Lernen eine geeignete Lösung bietet. Dafür muss das verfügbare Datenmaterial analysiert und die Bewertungskriterien für den späteren Erfolg festgelegt werden. Anders als in der klassischen Softwareentwicklung basiert die Problemlösung nicht auf festgelegten Regeln, sondern auf Wahrscheinlichkeiten und statistischen Zusammenhängen. ML-Modelle sind deshalb nicht deterministisch, sondern adaptiv und lernfähig. Ihre Leistung verbessert sich mit neuen Daten und verändertem Kontext, was sie besonders leistungsfähig, aber auch komplex macht.

Die Datenbeschaffung bildet die Grundlage für jeden weiteren Schritt. Dabei müssen Daten nicht nur gesammelt, sondern in Bezug auf Relevanz und Repräsentativität überprüft werden. Je nach Anwendungsfall unterscheiden sich die erforderlichen Datenarten erheblich: Für ein Preismodell im Immobilienbereich sind andere Daten relevant als für ein Kundenverhalten-Modell im E-Commerce. Die Qualität der Daten entscheidet maßgeblich über die Leistungsfähigkeit des späteren Modells.

Im unbearbeiteten Zustand sind die gesammelten Daten jedoch meist unbrauchbar für den direkten Einsatz. Fehlende Werte, Rauschen, Inkonsistenzen und ungleich verteilte Wertebereiche müssen zunächst durch geeignete Verfahren bereinigt werden. Dazu gehören unter anderem Normalisierung, Skalierung und Kodierung der Daten, ebenso wie Feature Engineering – das bewusste Schaffen oder Verändern von Merkmalen, um die Modellqualität zu verbessern. Eine gezielte Vorbereitung der Daten entscheidet über den späteren Lernerfolg des Modells.

Die Auswahl des passenden Algorithmus erfolgt nicht willkürlich, sondern orientiert sich an der Natur des Problems. Geht es um Klassifikation, Regression, Clustering oder Verstärkungslernen? Für einfache Zusammenhänge reicht möglicherweise eine lineare Regression, während komplexe Probleme wie Bilderkennung oder Sprachverarbeitung den Einsatz tiefer neuronaler Netze erfordern. Ziel ist es, ein Modell zu finden, das eine möglichst gute Balance zwischen Genauigkeit, Verständlichkeit und Rechenaufwand bietet. In dieser Phase ist experimentelles Vorgehen – etwa durch Cross-Validation – entscheidend, um das bestgeeignete Modell zu identifizieren.

Die Trainingsphase folgt auf die Auswahl des Algorithmus. Hier wird das Modell mit dem vorbereiteten Trainingsdatensatz konfrontiert, um die zugrundeliegenden Muster zu erlernen. Der Lernprozess erfolgt iterativ: Das Modell passt seine internen Parameter wiederholt an, um den Fehler bei Vorhersagen zu minimieren. Dabei spielen Konzepte wie der Bias-Variance-Tradeoff eine Rolle – also das Gleichgewicht zwischen einem Modell, das zu einfach ist (hoher Bias), und einem, das sich zu stark an die Trainingsdaten anpasst (hohe Varianz). Techniken wie Gradientenabstieg helfen, den optimalen Parameterraum zu finden, in dem das Modell möglichst allgemeingültige Aussagen trifft.

Es ist entscheidend zu verstehen, dass maschinelles Lernen kein einmaliger Prozess ist. Die Lernmodelle sind nur so gut wie die Daten, auf denen sie trainiert wurden. Sobald sich die Realität verändert – etwa durch neue Nutzerverhalten, veränderte Marktbedingungen oder technologische Entwicklungen –, müssen Modelle neu trainiert, angepasst oder sogar ersetzt werden. Damit wird ML zu einem dynamischen und kontinuierlichen Prozess, der ständige Aufmerksamkeit und Pflege verlangt.

Darüber hinaus ist nicht jeder Anwendungsfall für maschinelles Lernen geeignet. Die Entscheidung, ML einzusetzen, sollte auf einer genauen Analyse des Geschäftsproblems und der verfügbaren Daten basieren. Ohne ausreichend qualitativ hochwertige Daten oder klar definierte Zielsetzungen führt auch der beste Algorithmus nicht zum Erfolg. Ebenso wichtig ist die Auswahl geeigneter Metriken zur Bewertung des Modells, etwa Präzision, Recall oder F1-Score – je nach Zielstellung und Kontext.

Wie kann man den Lebenszyklus eines maschinellen Lernmodells effektiv überwachen und optimieren?

Die kontinuierliche Verbesserung und Anpassung eines maschinellen Lernmodells (ML-Modell) ist entscheidend für die Aufrechterhaltung seiner Genauigkeit und Relevanz im Laufe der Zeit. Dies bedeutet, dass neue Daten und Funktionen, die nach dem ursprünglichen Training aufgetaucht sind, regelmäßig integriert werden müssen. Dies erfordert eine regelmäßige Datenexploration und Feature-Engineering, die nach festgelegten Zeitintervallen, basierend auf der Volatilität und Verfügbarkeit der Daten, durchgeführt werden.

Die Implementierung dieses Prinzips erfolgt durch den Einsatz von Amazon SageMaker Data Wrangler, einem der schnellsten und einfachsten Tools, um Daten für ML-Modelle vorzubereiten. Dieses Tool, das bereits in Kapitel 3 behandelt wurde, ermöglicht es, die Daten effizient für die Modellierung zu verarbeiten und anzupassen.

Ein weiterer zentraler Aspekt ist die Einbeziehung des Menschen in den Überwachungsprozess des Modells. Hierbei ist es wichtig, menschliche Gutachter in die Beurteilung der Inferenzvorhersagen des Modells einzubeziehen, insbesondere wenn es sich um Vorhersagen mit geringer Sicherheit oder zufällige Stichproben handelt. Der Vergleich menschlich bewerteter Ergebnisse mit den Vorhersagen des Modells kann helfen, Leistungsverschlechterungen frühzeitig zu identifizieren und zu beheben. Dies wird mit Amazon Augmented AI (A2I) umgesetzt, das eine menschliche Überprüfung von Vorhersagen mit geringer Konfidenz ermöglicht.

Ein weiterer wichtiger Aspekt im Lebenszyklus eines ML-Modells ist die Kostenoptimierung. Diese Säule konzentriert sich darauf, ML-Anwendungen so zu gestalten, dass die notwendigen Geschäftsfunktionen erreicht werden, während die Kosten minimiert werden. Ziel ist es, mit dem geringsten finanziellen Aufwand die genauesten Inferenzvorhersagen zu erzielen. Drei wesentliche Prinzipien zur Kostenoptimierung sind:

Erstens sollte die Nutzung und die Kosten von ML-Aktivitäten überwacht werden. Dies wird durch das Tagging von ML-Ressourcen erreicht, das eine einfache Verwaltung und Identifikation von Cloud-Infrastrukturen ermöglicht. Durch die Verwendung von Tags können ML-Ressourcen basierend auf bestimmten Kriterien gruppiert werden, was eine präzise Kostenanalyse und eine effektive Verwaltung der Ressourcen ermöglicht. AWS Budgets sind ebenfalls ein nützliches Werkzeug, um die Kosten im Auge zu behalten.

Das zweite Prinzip betrifft die Überwachung des Return on Investment (ROI) von ML-Modellen. Sobald ein Modell in die Produktion überführt wurde, ist es entscheidend, den Wert, den es liefert, gegen die laufenden Betriebskosten zu messen. Dies kann durch die Definition von Key Performance Indicators (KPIs) zu Beginn des ML-Lebenszyklus erfolgen. Ein positives ROI könnte zur Skalierung des Modells auf ähnliche Anwendungsfälle führen, während ein negatives ROI dazu führen könnte, dass Maßnahmen ergriffen werden, wie zum Beispiel die Optimierung der Modelllatenz oder die Reduzierung von Betriebskosten.

Das dritte Prinzip betont die Notwendigkeit, die Nutzung von Endpunkten zu überwachen und die Instanzflotte nach Bedarf zu skalieren. Das bedeutet, dass die Compute-Ressourcen, die für die Ausführung des Modells erforderlich sind, entsprechend der Last dynamisch angepasst werden müssen. Amazon CloudWatch und Amazon SageMaker Auto Scaling sind dabei wertvolle Werkzeuge, um die Ressourcennutzung zu überwachen und auf die Anforderungen anzupassen.

Im Zusammenhang mit den Ressourcen spielt auch das Konzept der „Frugalen Architektur“ eine zentrale Rolle. Diese Philosophie behandelt Kosten und Nachhaltigkeit als ebenso wichtige nicht-funktionale Anforderungen wie Sicherheit, Compliance und Leistung. Eine „frugale Architektur“ kann zum Beispiel erreicht werden, indem Amazon FSx für Lustre und Amazon SageMaker AI in derselben Verfügbarkeitszone bereitgestellt werden, um Egress-Kosten zu minimieren.

Die Nachhaltigkeit stellt einen weiteren kritischen Bereich dar. Angesichts der massiven Rechenleistung, die zum Trainieren und Feinabstimmen von Modellen wie GPT-3 erforderlich ist, wird dieser Pfeiler besonders wichtig. Die Reduzierung des Energieverbrauchs und die Optimierung der Ressourcennutzung tragen nicht nur zur Effizienz bei, sondern auch zur Verringerung des CO₂-Fußabdrucks.

Zwei wesentliche Prinzipien betreffen die Nachhaltigkeit. Erstens die Messung der Materialeffizienz, die sich darauf konzentriert, wie effizient eine ML-Workload ihre bereitgestellten Ressourcen pro Arbeitseinheit nutzt. Dies kann durch die Definition von Nachhaltigkeits-KPIs und die kontinuierliche Überwachung von Verbesserungen im Zeitverlauf umgesetzt werden. Das zweite Prinzip betrifft das Retraining von Modellen. Es wird empfohlen, Modelle nur dann neu zu trainieren, wenn es wirklich notwendig ist, anstatt nach einem festen Zeitplan. Eine kontinuierliche Überwachung der Modellleistung in der Produktion hilft, Abweichungen rechtzeitig zu erkennen und nur bei signifikanten Änderungen im Modellverhalten das Retraining auszulösen.

Zur Umsetzung dieses Prinzips bieten sich Werkzeuge wie Amazon SageMaker Model Monitor und Amazon SageMaker Pipelines an. Letzteres ermöglicht die Automatisierung von Retraining-Pipelines, um die Effizienz zu steigern und unnötige Kosten zu vermeiden.

Insgesamt ist es entscheidend, eine ausgewogene Strategie zu verfolgen, die sowohl die Kosten als auch die Nachhaltigkeit berücksichtigt und gleichzeitig sicherstellt, dass das Modell ständig auf dem neuesten Stand bleibt und sich an neue Anforderungen anpasst. Dabei müssen alle Phasen des ML-Lebenszyklus eng miteinander verbunden sein, und eine effektive Überwachung der Ressourcennutzung sowie der langfristigen Auswirkungen auf die Umwelt sind ebenso wichtig wie die Modellgenauigkeit und Geschäftsziele.

Wie sind Meeressäuger und Haie perfekt an ihre Umgebung angepasst?
Wie erschafft man Tiefe, Kontrast und Textur mit Farbstiften?
Wie Mikrotubuli in Zellen dynamisch reagieren und welche Bedeutung sie für die Zellmechanik haben