Hogyan telepítsük és konfiguráljuk az IBM Granite 3.0-t RedHat Linux rendszeren?

A RedHat Linux (RHEL 9.2) rendszer konfigurálása és a szükséges könyvtárak telepítése elengedhetetlen a fejlesztői környezet, mint például az IBM Granite 3.0 telepítéséhez. Az alábbiakban bemutatott lépések a rendszergazda felhasználó (root) számára szükségesek ahhoz, hogy biztosítsák a rendszer megfelelő működését és a szükséges fejlesztési eszközök telepítését.

Az első lépés, hogy belépünk a Linux grafikus felületére, majd kiválasztjuk az "Activities" menüt, ahol a "Linux Command" ablak ikonját választjuk. Ezen keresztül hozzáférhetünk a terminálhoz, amely a további telepítési parancsok futtatásához szükséges. A legfontosabb könyvtárak telepítése előtt ellenőrizni kell, hogy a rendszerünk megfelelő aktivációs kulcsot tartalmazza. Ehhez a RedHat weboldalán található aktiválási link segítségével ellenőrizhetjük a kulcsunkat.

A szükséges fejlesztői eszközök telepítéséhez a következő parancsokat kell végrehajtanunk root jogosultságokkal:

go
Copy code
su - root

dnf install gcc gcc-c++ make git python3.11 python3.11-devel

Ezután a rendszerünk telepíti a szükséges csomagokat, és a telepítést a rendszer fel fogja kérni, hogy megerősítsük a telepítési folyamatot. A y billentyű lenyomásával engedélyezzük a csomagok telepítését. A telepítés eredményeként a Python 3.11 és a fejlesztéshez szükséges egyéb könyvtárak is fel lesznek telepítve.

A következő lépés a Python AI könyvtárak telepítése, amelyek nélkül nem tudjuk futtatni az IBM Granite 3.0 modellt. Ehhez a következő parancsot használjuk:

nginx
Copy code
pip install torch numpy transformers datasets tiktoken wandb tqdm

Előfordulhat, hogy a pip telepítő nem található a rendszerünkön, ilyenkor a rendszer automatikusan felajánlja annak telepítését. Miután a pip telepítésre került, sikeresen letölthetjük és telepíthetjük az összes szükséges könyvtárat.

Az IBM Granite 3.0-hoz szükséges Jupyter Lab telepítése is fontos lépés. Ehhez az alábbi parancsot kell kiadni:

nginx
Copy code
pip install jupyterlab

A telepítés után indíthatjuk a Jupyter Lab alkalmazást az alábbi parancs segítségével:

css
Copy code
jupyter lab --allow-root

Ezután a böngészőnkben megjelenik a Jupyter Lab kezdőoldala, ahol kiválaszthatjuk a megfelelő indítót. A Jupyter Lab az IBM Granite 3.0 fejlesztéséhez szükséges környezetet biztosít, és lehetővé teszi a nagy nyelvi modellek kezelését.

Miután a fejlesztési környezet beállításra került, szükséges telepíteni az Ollama rendszert, amely az IBM Granite 3.0 modellek futtatásához szükséges. Az Ollama letöltéséhez és telepítéséhez az alábbi parancsot használhatjuk:

nginx
Copy code
curl -fsSL https://ollama.com/install.sh | sh

Ez a parancs automatikusan letölti és telepíti az Ollama alkalmazást a rendszerünkre. A telepítés után a következő parancsokkal ellenőrizhetjük, hogy az alkalmazás sikeresen fut-e:

perl
Copy code
ps -eaf|grep ollama

A telepítést követően az IBM Granite 3.0 modellek letöltéséhez és kezeléséhez a következő parancsot kell használni:

nginx
Copy code
ollama pull granite3-dense:2b

Ezután indíthatjuk a szervert a következő parancs segítségével:

nginx
Copy code
ollama server

Ha az összes modell sikeresen letöltődött és telepítésre került, a rendszer készen áll a fejlesztésre és az IBM Granite 3.0 modellek használatára. A telepített modellek listáját a következő parancs segítségével ellenőrizhetjük:

nginx
Copy code
ollama list

A telepítés és konfigurálás után a következő Python forrást kódot használhatjuk annak ellenőrzésére, hogy a rendszer helyesen van telepítve és működik:

python
Copy code
import ollama

print(ollama.list())

Ez a parancs visszaadja a telepített modellek listáját, és biztosítja, hogy a rendszer készen áll a fejlesztési feladatokra.

Amennyiben a telepítési folyamat során bármilyen hibába ütköznénk, célszerű ellenőrizni a használt Python verziót is, mivel az IBM Granite 3.0 rendszerhez a Python 3.10 vagy Python 3.11 verziók szükségesek. A RedHat Linux RHEL 9.2 esetében a Python 3.11 verzió az ajánlott és kompatibilis, míg a Python 3.12 verzióval kapcsolatosan bizonyos függőségek nem működnek teljes mértékben 2024 decemberében.

A RHEL rendszer megfelelő konfigurálása, a szükséges könyvtárak és eszközök telepítése lehetővé teszi, hogy a fejlesztői környezet teljes mértékben működőképes legyen, és biztosítja a fejlesztés zökkenőmentes lefolyását.

Hogyan telepítsük és bővítsük a Granite 3.0 rendszert a VMware-en?

A következő fejezet bemutatja a Granite 3.0 rendszer telepítését és konfigurálását a VMware környezetben, különös figyelmet fordítva a szükséges operációs rendszerekre, eszközökre és a telepítési lépésekre. Az IBM Granite 3.0 a nagy nyelvi modellek (LLM) egyik előrehaladott verziója, amely a mesterséges intelligencia és a gépi tanulás különböző alkalmazásainak fejlesztésére szolgál. A telepítés és a rendszerbővítés részletes leírása segít abban, hogy a felhasználó megfelelően felkészült legyen a Granite 3.0 telepítésére, biztosítva a megfelelő szoftveres és hardveres környezetet.

A telepítéshez először szükséges a RedHat Linux RHEL 9.2 operációs rendszer telepítése és konfigurálása VMware környezetben. A telepítés lépéseit a második fejezet tartalmazza, amely részletesen bemutatja a VMware és a RedHat telepítést, valamint a szükséges Python könyvtárak és egyéb szoftverek telepítését. Ezek közé tartozik többek között a torch, numpy, transformers, datasets, tiktoken, wandb és tqdm könyvtárak, amelyek nélkülözhetetlenek a rendszer megfelelő működéséhez.

Az IBM Granite 3.0 telepítése előtt fontos, hogy a felhasználó meggyőződjön a megfelelő mennyiségű szabad lemezterületről. A telepítéshez legalább 250 GB szabad hely szükséges, mivel a rendszer a működése során jelentős mennyiségű adatot és modellt tölt le és dolgoz fel. A RedHat rendszerek közül a RHEL 8.5, 8.8, 9.0 és 9.2 verziók támogatottak, míg a Python 3.12 nem kompatibilis a szükséges függőségekkel, ezért fontos, hogy a telepítéshez Python 3.10 verziót használjunk.

Miután a rendszer előkészítése és a szoftverek telepítése megtörtént, a következő lépés a Granite 3.0 kódletöltésének és beállításának folyamata, amely GitHub-ról történik. A GitHub források segítségével a felhasználó letöltheti a rendszer összes szükséges fájlját és telepítheti azokat. Ezen kívül a felhasználónak bővítenie kell a VMware virtuális gép diskjét, hogy a Granite 3.0 számára elegendő tárhely álljon rendelkezésre.

A bővítés folyamata a következőképpen történik: először is készítsünk biztonsági mentést az aktuális rendszer állapotáról, hogy elkerüljük az adatvesztést a disk bővítés során. Miután sikeresen bővítettük a diszket 500 GB-ról 750 GB-ra, a rendszer automatikusan felismeri az új területet. A partíció bővítése után a Logical Volume Manager (LVM) használatával növelhetjük a rendszer területét, így a Granite 3.0 képes lesz kezelni a szükséges fájlokat és modelleket.

A telepítés után különös figyelmet kell fordítani a rendszer biztonságára és a telepített modellek kezelésére. A Granite 3.0 többféle modellt támogat, mint például az időbeli sorozatok előrejelzésére szolgáló alapmodellek, valamint a nagy nyelvi modellek kiegészítése (Granite Embedding Models). A felhasználók számára hozzáférhetők az IBM saját modelljei is, amelyek lehetővé teszik a különböző mesterséges intelligencia alapú alkalmazások gyors fejlesztését.

Fontos, hogy a telepítés előtt és közben folyamatosan kövessük a legújabb szoftverfrissítéseket és biztonsági ajánlásokat, mivel a rendszer folyamatosan fejlődik és új verziók jelennek meg. A GitHub források naprakészen tartása segít abban, hogy mindig a legújabb fejlesztéseket használhassuk, ezzel biztosítva a kompatibilitást és a rendszer stabilitását.