Wie kann die Integration von IBM Granite 3.0 in VS Code die Programmierumgebung verbessern?

Die Implementierung von IBM Granite 3.0 in eine bestehende Entwicklungsumgebung wie Visual Studio Code (VS Code) bietet nicht nur die Möglichkeit, den Entwicklungsprozess effizienter zu gestalten, sondern auch die Qualität der Programmierhilfe durch KI-gesteuerte Tools erheblich zu verbessern. Dies geschieht durch die Integration verschiedener Modelle und deren Anwendung in einem nahtlosen Workflow. Zu den nützlichen Funktionen gehören unter anderem die Verbesserung von Code-Qualität, Fehlererkennung und die Bereitstellung detaillierter Analysen von Codeabschnitten.

Zu Beginn des Prozesses wird die VS Code-Konfiguration, insbesondere die config.json-Datei, angepasst, um IBM Granite 3.0-Modelle in die Entwicklungsumgebung einzubinden. Diese Modelle, die von IBM empfohlen werden, sind speziell für die Arbeit mit VS Code optimiert. Sobald die Konfiguration vorgenommen wurde, können Entwickler sicherstellen, dass sie auf die neuesten Tools zugreifen, die direkt in ihrem Arbeitsbereich integriert sind. Die Installation und Nutzung dieser Modelle geschieht über einfache Kommandozeilenbefehle, wie sie in der ollama-Befehlszeile zu finden sind.

Nachdem die nötigen Modelle installiert und die Konfiguration durchgeführt wurden, kann der Entwickler mit der Verbesserung seines Codes beginnen. Ein typisches Beispiel ist das Ausführen eines einfachen Java-Programms innerhalb der VS Code-Umgebung, bei dem das System erfolgreich auf das installierte Java Development Kit (JDK) zugreift. Dies ermöglicht es, das entwickelte Programm ohne Fehler auszuführen, was durch die entsprechende Anzeige im TERMINAL von VS Code bestätigt wird. Ebenso zeigt sich, dass der Entwickler in der Lage ist, den gesamten Code eines Java-Programms direkt aus VS Code heraus zu analysieren und zu verbessern.

Das System geht noch einen Schritt weiter, indem es zusätzliche Vorschläge zur Verbesserung des Codes bietet. Diese Verbesserungen werden direkt in VS Code angezeigt, nachdem die KI den markierten Code analysiert hat. In vielen Fällen führt dies zu einer optimierten Version des ursprünglichen Codes, die sowohl effizienter als auch leichter verständlich ist. Die KI geht auf Details wie die Handhabung von Eingaben oder die Verbesserung von Lesbarkeit und Struktur des Codes ein.

Neben den allgemeinen Funktionen zur Verbesserung der Codequalität bietet die Nutzung von IBM Granite auch eine Reihe von speziellen Tools für das Risikomanagement und die Sicherstellung der Qualität der generierten Inhalte. Eines dieser Tools ist das „Granite Guardian“-Modell, das speziell dafür entwickelt wurde, Risiken im Zusammenhang mit der Nutzung von KI und deren Antworten zu erkennen. Das Guardian-Modell prüft insbesondere, ob die Antwort des Systems inhaltlich relevant, korrekt und sinnvoll in Bezug auf die ursprüngliche Anfrage ist. Auf diese Weise können Entwickler sicherstellen, dass ihre Anwendungen nicht nur technisch korrekt, sondern auch ethisch und kontextuell verantwortungsvoll sind.

Ein weiteres Feature, das die Qualitätssicherung unterstützt, ist das Modell für „retrieval-augmented generation“ (RAG). Dieses Modell stellt sicher, dass die Antworten des Systems auf die spezifischen Abfragen der Entwickler nicht nur präzise, sondern auch im Kontext der aktuellen Aufgabe relevant sind. Dies verhindert das sogenannte „Halluzinieren“ von Informationen durch das KI-System, was in vielen Anwendungsfällen problematisch sein kann.

Mit der vollständigen Integration von IBM Granite 3.0 in VS Code erhalten Entwickler nicht nur eine leistungsstarke Entwicklungsumgebung, sondern auch einen zuverlässigen Partner zur kontinuierlichen Verbesserung und Analyse ihrer Programme. Der Workflow wird durch die nahtlose Einbindung der KI-Modelle erheblich vereinfacht, was nicht nur die Produktivität steigert, sondern auch die Codequalität auf ein neues Niveau hebt.

Der entscheidende Vorteil dieser Technologie besteht nicht nur in der Verbesserung des Code-Outputs, sondern auch in der Lernkurve, die durch den ständigen Dialog mit der KI entsteht. Entwickler profitieren von den Vorschlägen und Erklärungen, die die Modelle bieten, und können diese sofort in ihren Arbeitsprozess integrieren. Es entsteht eine Art symbiotische Beziehung zwischen Mensch und Maschine, bei der die KI dem Entwickler hilft, die bestmöglichen Ergebnisse zu erzielen, während der Entwickler das Modell weiter trainiert und verbessert.

Wie beeinflusst die Prompts-Strukturierung die Leistung von KI-Modellen?

In der modernen Ära der künstlichen Intelligenz spielt die Art und Weise, wie Anfragen an Modelle gestellt werden, eine zentrale Rolle für die Qualität der erhaltenen Antworten. Ein bemerkenswerter Bereich dieses Prozesses ist das sogenannte „Prompt Engineering“, das bedeutet, die Eingaben für große Sprachmodelle (Large Language Models, LLMs) so zu gestalten, dass die gewünschten, präzisen und qualitativ hochwertigen Antworten generiert werden. Ein entscheidender Aspekt in diesem Kontext ist die Nutzung von Chain-of-Thought (CoT) und In-Context Learning, Methoden, die die Interaktivität und Anpassungsfähigkeit der Modelle verbessern.

Chain-of-Thought-Prompting ist eine Technik, die es Modellen ermöglicht, ein Problem durch eine Reihe von Zwischenschritten zu lösen, anstatt nur eine sofortige Antwort zu liefern. Diese Methode wurde von Google Research eingeführt und hat gezeigt, dass, wenn die Worte „denk nach“ oder ähnliche Ausdrücke vor eine Anfrage gestellt werden, die Qualität der Antwort erheblich verbessert werden kann. CoT ermutigt das Modell, eine Gedankenkette zu entwickeln, die es ihm ermöglicht, von einem Schritt zum nächsten zu gelangen, bevor es das Endergebnis liefert. Dies ist besonders bei komplexeren oder mehrdeutigen Fragen von Bedeutung, bei denen eine einfache Antwort nicht ausreicht.

Zusätzlich zur CoT-Methode gibt es das Konzept des In-Context Learning, das es Modellen ermöglicht, temporär aus den bereitgestellten Eingabeaufforderungen zu lernen. Diese Methode hat sich als äußerst nützlich erwiesen, wenn es darum geht, Modelle ohne umfangreiche Nachschulungen oder manuelle Anpassungen an spezifische Aufgaben anzupassen. IBM’s Granite 3.0 Modelle, zum Beispiel, verwenden In-Context Learning, um auf verschiedene Fragen zu antworten, indem sie direkt aus den eingegebenen Prompts lernen, ohne auf umfangreiche Trainingsdaten zurückzugreifen.

Das Modell kann alternativ auch direkt über die Kommandozeile des Ollama AI-Systems aufgerufen werden. In diesem Fall wird eine Antwort ohne die detaillierte Aufschlüsselung der Tokens generiert. Der Vorteil dieses Verfahrens liegt in der Vereinfachung der Benutzererfahrung und der schnelleren Bereitstellung der Antwort, während die zugrunde liegende KI weiterhin leistungsfähig bleibt und komplexe Probleme auf eine verständliche Weise lösen kann.

Ein weiteres wichtiges Entwicklungselement in der KI-Modellwelt ist die Anpassung des Verhaltens von LLMs. Die neuesten IBM Granite 3.1 Modelle, die im Januar 2025 aktualisiert wurden, wurden mit 12 Billionen Tokens trainiert und decken 12 moderne Fremdsprachen sowie 116 Programmiersprachen ab. Diese Modelle sind Open-Source und lizenzieren sich unter der Apache-Lizenz, was ihre Integration und Anpassung in verschiedenen Projekten ermöglicht. Diese Modelle bieten zusätzlich die Möglichkeit, benutzerdefinierte Systemaufforderungen zu verwenden, obwohl IBM empfiehlt, die standardisierten Systemaufforderungen zu verwenden, um die beste Leistung zu erzielen.

Die Anpassung des Modells wird noch komplexer, wenn man Funktionen wie Multi-Turn-Konversationen und die Verwendung von externen Tools berücksichtigt. In Multi-Turn-Konversationen werden mehrere Dialoge zwischen dem Benutzer und dem Modell ermöglicht, was zu einer natürlicheren Interaktion führt. IBM empfiehlt, für diese Art der Kommunikation eine spezifische Systemaufforderung zu nutzen, die die Rahmenbedingungen für das Modell festlegt und sicherstellt, dass es in der Lage ist, über mehrere Schritte hinweg auf die Anfrage des Benutzers zu reagieren.

Die neueste Änderung in den IBM Granite 3.1 Modellen betrifft auch die Handhabung von Funktionsaufrufen. Diese werden nun durch einen speziellen Token vorangestellt, um die Integration von externen Tools in den Prozess zu ermöglichen. Beispielsweise kann ein Aufruf wie „<|tool_call|>“ dazu verwendet werden, Tools wie die Wetterabfrage oder die Abfrage von Aktienkursen zu integrieren, die dann direkt in die Antwort des Modells eingebaut werden.

Darüber hinaus sollten Benutzer die Bedeutung der Modellgröße und des Trainingsdatensatzes berücksichtigen. Die neueren Versionen von IBM Granite 3.1 Modellen, die mit einer deutlich größeren Menge an Trainingsdaten und einer breiteren Sprachabdeckung ausgestattet sind, können eine viel präzisere und detailliertere Analyse ermöglichen. In einem professionellen Umfeld, in dem es auf präzise Antworten und die Nutzung spezifischer Daten ankommt, ist die Wahl des richtigen Modells und der richtigen Technik entscheidend.

Wie man mit IBM Granite eine automatische Dokumentation für Python-Code erstellt und HAP-Inhalte erkennt

Der Text, den wir hier betrachten, behandelt die Verwendung von IBM Granite für die automatische Generierung von Dokumentationen für Python-Code sowie für die Erkennung von Hassrede, Missbrauch und vulgärer Sprache (HAP) in Texten. Dieser Prozess ist von besonderem Interesse für Entwickler, die generative KI in ihre Anwendungen integrieren möchten, um Code effizient zu dokumentieren und gleichzeitig sicherzustellen, dass keine schädlichen Inhalte in ihren Systemen auftreten.

Zunächst einmal bietet die IBM Granite-Plattform eine Reihe von Modellen, die auf spezifische Aufgaben wie die Generierung von Entwicklerdokumentationen ausgerichtet sind. Die Anwendung von langen Dokumentenzusammenfassungs-Techniken ist dabei von zentraler Bedeutung. In einem Notebook-Beispiel wird eine Funktion verwendet, um die Dokumentation für jeden Codeblock automatisch zu erstellen. Zunächst muss der Benutzer ein Replicate-Konto erstellen und dieses mit seinem GitHub-Konto verbinden. Nachdem die notwendigen Einstellungen vorgenommen wurden, wie die Erstellung eines API-Tokens, können Entwickler die API nutzen, um ein Modell auszuführen, das automatisch die benötigte Dokumentation generiert. Diese wird dann durch die Integration von zusätzlichen Metadaten wie Funktionsnamen und Parametern ergänzt.

Im Beispiel wird ein einfacher Python-Code verwendet, um die generierte Dokumentation zu erweitern. Die Ausgabe ist detailliert und listet die Funktionalitäten auf, einschließlich Parametern und Rückgabewerten. Diese automatische Dokumentation kann die Effizienz des Entwicklungsprozesses erheblich steigern, da sie oft mühsame manuelle Dokumentationsarbeit übernimmt. Das Modell, das auf IBM Granite basiert, bietet eine präzise und strukturierte Übersicht, die für Entwickler von großer Bedeutung sein kann, besonders bei größeren Projekten, in denen die Dokumentation von Code eine zentrale Rolle spielt.

Neben der Dokumentation gibt es noch eine andere wichtige Anwendung von IBM Granite: die HAP-Analyse. In diesem Kontext wird ein weiteres Beispiel aus einem Jupyter-Notebook betrachtet, das auf das Erkennen von HAP-Inhalten in Texten abzielt. Hierbei wird ein Modell verwendet, das speziell auf die Erkennung von Hassrede, Missbrauch und vulgärer Sprache ausgerichtet ist. Solche Funktionen sind für die Entwicklung von generativen KI-Anwendungen von entscheidender Bedeutung, da sie dazu beitragen, den Umgang mit sensiblen Inhalten zu steuern und die Verwendung von Sprache zu überwachen.

Um ein funktionierendes Modell zu implementieren, wird das HAP-Modell zunächst auf einem RedHat Linux-System eingerichtet. Entwickler müssen sicherstellen, dass sie die neuesten Python-Bibliotheken installieren, wie nltk, transformers und torch, die notwendig sind, um das Modell auszuführen. Besonders bei der Arbeit mit verschiedenen Python-Versionen ist es wichtig, auf die Kompatibilität der Bibliotheken und der Python-Version zu achten. In unserem Beispiel wurde Python 3.11 verwendet, da neuere Versionen wie Python 3.12 zum Zeitpunkt der Implementierung noch nicht vollständig unterstützt wurden.

Die Funktionalität des HAP-Modells wird durch die Verwendung von Tokenizern zur Satzaufspaltung und der Erstellung von Beispiel-Textarrays demonstriert. Diese Arrays bestehen aus Texten, die potenziell gegen die HAP-Kriterien verstoßen könnten. Die Analyse erfolgt dann durch das LLM-Modell von IBM Granite, das die Texte auf HAP-Inhalte überprüft. Das Ergebnis dieser Analyse gibt dem Entwickler ein Flag zurück, das anzeigt, ob ein bestimmter Text als missbräuchlich oder vulgär eingestuft wird.

Ein entscheidender Aspekt der Arbeit mit diesen Modellen ist das Verständnis der Token-Anzahl in den Eingabeaufforderungen. Diese Zahl beeinflusst direkt die Effizienz des Modells. Entwickler sollten darauf achten, ihre Eingabeaufforderungen so zu gestalten, dass sie innerhalb des zulässigen Token-Limits bleiben, um eine optimale Leistung zu gewährleisten. Eine zu hohe Token-Anzahl kann das Modell überlasten und die Antwortgeschwindigkeit verlangsamen.

Ein weiterer wichtiger Punkt, den Entwickler beachten sollten, ist die Möglichkeit, die Modelle für verschiedene Anwendungsfälle anzupassen. Das IBM Granite-Modell für die Dokumentation ist ein hervorragendes Beispiel für ein anpassbares Tool, das Entwickler mit minimalem Aufwand in ihre Arbeitsabläufe integrieren können. Doch auch bei der HAP-Erkennung sollten Entwickler sicherstellen, dass das Modell richtig auf die Bedürfnisse ihrer spezifischen Anwendung abgestimmt ist, da die Sensibilität und Genauigkeit der Analyse je nach Text und Kontext variieren kann.

Wie erstellt man eine IBM Cloud Instanz und verwaltet deren Ressourcen?

Die Arbeit mit der IBM Cloud beginnt mit der Erstellung und Verwaltung von Instanzen und den dazugehörigen Ressourcen. Der gesamte Prozess ist technisch anspruchsvoll und erfordert mehrere Schritte, um sicherzustellen, dass alle Sicherheits- und Konfigurationsanforderungen korrekt umgesetzt werden. Im Folgenden wird beschrieben, wie eine IBM Cloud Instanz erstellt wird, welche Tools und Befehle benötigt werden und wie man die erstellten Ressourcen überwacht.

Zunächst müssen Sie sich in Ihr IBM Cloud Konto einloggen. Hierzu ist es erforderlich, den Account, die Region und die Ressourcengruppe auszuwählen. Ein Login kann mit einem einmaligen Passwortcode erfolgen, was die Sicherheit erhöht. Der Login-Befehl lautet:
ibmcloud login -a https://cloud.ibm.com -u passcode -p <Passcode>. Nach dem erfolgreichen Login wird das gewünschte Ziel (z.B. die Ressourcengruppe) angegeben, mit dem Befehl:
ibmcloud target -g Default.

Im nächsten Schritt müssen einige Konfigurationsvariablen für die Instanz erstellt werden. Dazu gehört die Installation des "infrastructure-service" Plugins, das mit dem Befehl
ibmcloud plugin install infrastructure-service
durchgeführt werden kann. Damit wird der Zugriff auf alle benötigten Infrastruktur-Dienste ermöglicht. Es ist auch ratsam, ein SSH-Schlüssel für das Konto zu erstellen, um die Sicherheit zu gewährleisten. Der Befehl zur Erstellung eines solchen Schlüssels lautet:
ssh-keygen -f ibmcloud -t ed25519.

Dieser SSH-Schlüssel wird anschließend hochgeladen, um den sicheren Zugriff auf die Instanz zu gewährleisten:
ibmcloud is key-create my-ssh-key @ibmcloud.pub --key-type ed25519.

Ein wichtiger Aspekt der Verwaltung von Instanzen in der IBM Cloud ist das Zuweisen einer sogenannten "Floating IP". Diese IP ermöglicht den Zugriff auf die Instanz von außen und wird mit dem Befehl
ibmcloud is floating-ip-reserve graphite-public-ip --zone eu-gb-1
erstellt. Wichtig ist, dass bei der Erstellung von Instanzen und Zuweisung von Floating IPs darauf geachtet wird, die richtige Zone und Region auszuwählen.

Für die eigentliche Instanz-Erstellung müssen verschiedene Parameter definiert werden, wie der Name der Instanz, das VPC (Virtual Private Cloud) sowie das Profil und die Subnetzdetails. Der Befehl zur Erstellung einer Instanz lautet dann:
ibmcloud is instance-create $name $vpc $zone $instance_profile $subnet --image $image --keys $sshkey --boot-volume '{"name": "'${name}'-boot", "volume": {"name": "'${name}'-boot", "capacity": '${disk_size}', "profile": {"name": "general-purpose"}}}' --allow-ip-spoofing false.

Nachdem die Instanz erstellt wurde, muss der SSH-Schlüssel mit der Instanz verbunden werden, um den Zugriff zu ermöglichen. Dies erfolgt mit dem Befehl:
ibmcloud is floating-ip-update $floating_ip --nic primary --in $name.

Eine wichtige Funktionalität für das Management und die Verwaltung der Instanzen ist die Nutzung von InstructLab. InstructLab ist eine Sammlung von Tools, die bei der Interaktion mit Modellen, Daten und Systemen helfen. Der Befehl
ilab
zeigt eine Vielzahl von Optionen zur Konfiguration und Verwaltung an.

Wenn der Bedarf nach den IBM Cloud-Diensten endet, kann die Instanz mit dem Befehl
ibmcloud logout
abgemeldet und die Ressource gekündigt werden.

Die Nutzung von IBM Cloud und insbesondere die Verwendung von RedHat AI und IBM Watson bietet zahlreiche Vorteile, jedoch auch Herausforderungen in der Verwaltung und Preisgestaltung. Es ist wichtig, die verschiedenen Preisoptionen zu verstehen, wie den Standardplan oder den Essentials-Plan, sowie die Möglichkeit von kostenlosen Credits und deren Nutzung innerhalb von IBM Cloud.

Wichtig zu verstehen ist, dass die Arbeit mit Cloud-Infrastrukturen nicht nur technische, sondern auch strategische Entscheidungen erfordert. Die Wahl der richtigen Region, die Zuweisung von Ressourcen und die Sicherstellung der Netzwerkverbindungen beeinflussen die Performance und Sicherheit der Instanz maßgeblich. Die regelmäßige Überprüfung der Ressourcen und Kosten ist ebenso entscheidend, um unnötige Ausgaben zu vermeiden und die Nutzung effizient zu gestalten.

Wie man die Ansible-Integration mit IBM Watsonx Code Assistant in Visual Studio Code einrichtet

Zu Beginn müssen wir die Ansible-Erweiterung für VS Code installieren. Dazu suchen wir nach der Erweiterung im Visual Studio Marketplace und klicken auf die Schaltfläche „Installieren“. Nach der Installation werden wir von VS Code aufgefordert, den Herausgeber zu vertrauen und die Erweiterung zu aktivieren. Einmal installiert, ermöglicht die Ansible-Erweiterung die Verwendung von Ansible Playbooks direkt aus der Entwicklungsumgebung. Der nächste Schritt besteht darin, die notwendigen Anforderungen zu erfüllen, um die Watsonx Code Assistant-Funktionalität zu nutzen. Dies umfasst die Installation des Watsonx Code Assistant über den IBM Cloud Pak für Data und die Konfiguration der Erweiterung.

Die Installation der IBM Watsonx Code Assistant-Erweiterung für VS Code erfolgt ebenfalls über den Visual Studio Marketplace. Hierbei wird darauf geachtet, dass der Watsonx Code Assistant mit den entsprechenden Einstellungen für das Backend konfiguriert wird. Insbesondere muss der Backend-Provider auf „Ollama“ gesetzt werden, was die Ausführung des Inferenzservers ermöglicht. Zudem ist es erforderlich, das Modell „granite-code:8b“ in der Ollama-Bibliothek zu installieren. Nachdem diese Konfiguration abgeschlossen ist, können wir den Watsonx Code Assistant in VS Code verwenden, um Ansible Playbooks effizient zu generieren.

Ein weiterer wichtiger Schritt besteht darin, die Authentifizierung bei Red Hat Ansible Lightspeed durchzuführen. Sobald wir in VS Code eingeloggt sind, können wir die Funktion „Playbook erstellen“ im Ansible Lightspeed-Menü auswählen. Dieser Schritt ist entscheidend, da er es uns ermöglicht, maßgeschneiderte Playbooks basierend auf den spezifischen Anforderungen unseres Projekts zu erstellen. Die Nutzung von Ansible Lightspeed in Verbindung mit Watsonx Code Assistant hilft dabei, die Automatisierung von Infrastrukturanforderungen zu beschleunigen und die Qualität der generierten Playbooks zu erhöhen.

Ein weiteres wesentliches Element ist die Erstellung eines IBM Cloud API-Schlüssels, der für die Verbindung mit dem IBM Cloud-Account erforderlich ist. Nach der Erstellung des API-Schlüssels können wir die Umgebung für das Ansible-Playbook erstellen und die entsprechenden Befehle innerhalb von VS Code ausführen. Dies ermöglicht es uns, Playbooks zu generieren, zu bearbeiten und direkt aus der Entwicklungsumgebung heraus zu implementieren.

Wichtig zu verstehen ist, dass diese Integration nicht nur die Entwicklung von Playbooks erleichtert, sondern auch dazu beiträgt, die Fehlerquote zu reduzieren und die Entwicklungszeit zu verkürzen. Die Nutzung von Watsonx Code Assistant verbessert die Qualität des Codes durch intelligente Vorschläge und optimiert so die gesamte Infrastrukturautomatisierung.