MI-chat
Az alábbi fenyegetés(ek) ellen nyújt védelmet:
Az MI-chat, vagyis a nagy nyelvi modellek (LLM-ek) használata a ChatGPT 2022-es megjelenése óta egyre elterjedtebb. Az LLM-ek segíthetnek jobb szöveget írni, ismeretlen témákat megérteni és sokféle kérdésre választ kapni. Működésük lényege, hogy hatalmas — nagyrészt a webről összegyűjtött — adatmennyiség alapján statisztikailag megjósolják a válasz következő szavát.
Az LLM-ek adatvédelmi kockázatai
Az MI-modellek tanításához használt adatok óriási mennyiségű, nyilvánosan elérhető, webről begyűjtött információt tartalmazhatnak, köztük érzékeny adatokat, például neveket és címeket. A felhőalapú MI-szoftverek gyakran gyűjtik a bevitt tartalmat, vagyis a beszélgetéseid nem feltétlenül privátak a szolgáltatóval szemben. Ez adatszivárgási kockázatot is jelent. Emellett fennáll annak lehetősége, hogy egy LLM egy későbbi, más felhasználóval folytatott beszélgetésben kiszivárogtasson privát chatinformációkat.
Ha aggódsz emiatt, dönthetsz úgy, hogy nem használsz MI-t, vagy valóban nyílt forráskódú modelleket választasz, amelyek a tanítási adatkészleteiket is nyilvánosságra hozzák és ellenőrizhetővé teszik. Ilyen modell például az Ai2 által készített OLMoE.
Alternatívaként helyben is futtathatsz MI-modelleket, így az adataid soha nem hagyják el az eszközödet és nem kerülnek harmadik félhez. A helyi modellek ezért adatvédelmi és biztonsági szempontból jobb alternatívát jelenthetnek a felhőalapú megoldásoknál, és érzékeny információkat is megoszthatsz velük anélkül, hogy azokat egy külső szolgáltatóhoz küldenéd.
MI-modellek
Hardver helyi MI-modellekhez
A helyi modellek viszonylag széles körben elérhetők. Kisebb modellek alacsonyabb sebességgel akár 8 GB RAM mellett is futtathatók. A legjobb élményt erősebb hardver, például elegendő VRAM-mal rendelkező külön GPU vagy gyors LPDDR5X memóriát használó modern rendszer adja.
Az LLM-eket gyakran a paraméterszámuk alapján különböztetik meg: végfelhasználók számára elérhető nyílt modelleknél ez körülbelül 1,3B és 405B között mozoghat. A 6,7B alatti modellek például főként alapfeladatokra, például összefoglalásra alkalmasak, míg a 7B–13B tartomány jó kompromisszumot kínál minőség és sebesség között. A fejlett következtetési képességű modellek gyakran 70B körüliek.
Fogyasztói hardveren általában kvantált modellek használata ajánlott a minőség és teljesítmény legjobb egyensúlyához. Az alábbi táblázat a különböző méretű kvantált modellek tipikus minimális követelményeit mutatja.
| Modellméret (paraméter) | Minimális RAM | Minimális processzor |
|---|---|---|
| 7B | 8 GB | Modern CPU (AVX2-támogatás) |
| 13B | 16 GB | Modern CPU (AVX2-támogatás) |
| 70B | 72 GB | VRAM-mal rendelkező GPU |
Helyi MI futtatásához egy MI-modellre és egy MI-kliensre is szükséged van.
Modell kiválasztása
Sok megengedő licencű modell tölthető le. A Hugging Face olyan platform, ahol modelleket böngészhetsz, kutathatsz és tölthetsz le elterjedt formátumokban, például GGUF formában. Jó open-weights modelleket kínál többek között a Mistral, a Meta, a Microsoft és a Google, de rengeteg közösségi és finomhangolt modell is elérhető. Ahogy fentebb említettük, fogyasztói hardveren a kvantált modellek általában a legjobb kompromisszumot jelentik minőség és teljesítmény között.
A választáshoz ranglistákat és benchmarkokat is használhatsz. Az egyik legelterjedtebb közösségi ranglista az LM Arena. Az OpenLLM Leaderboard az open-weights modelleket vizsgálja például MMLU-Pro jellegű benchmarkokon. Speciális tesztek is léteznek például az érzelmi intelligenciára, a „cenzúrázatlan általános intelligenciára” és sok más jellemzőre.
MI-chat kliensek
| Funkció | Kobold.cpp | Ollama | Llamafile |
|---|---|---|---|
| GPU-támogatás | |||
| Képgenerálás | |||
| Beszédfelismerés | |||
| Modellek automatikus letöltése | Kevés modell érhető el | ||
| Egyedi paraméterek | |||
| Többplatformos | Méretkorlátok Windowson |
Kobold.cpp
A Kobold.cpp helyben futó MI-kliens Windowsra, Macre és Linuxra. Kiváló választás, ha sok testreszabási és finomhangolási lehetőséget szeretnél, például szerepjátékos használathoz.
Számos szöveges modell mellett képgenerátorokat, például Stable Diffusiont, valamint automatikus beszédfelismerő eszközöket, például Whispert is támogat.
Kompatibilitási problémák
A Kobold.cpp nem feltétlenül fut AVX/AVX2-támogatás nélküli számítógépeken.
A Kobold.cpp-ben módosíthatod például az MI-modell temperature paraméterét és a chat rendszerpromptját. Hálózati tunnelt is tud létrehozni, így más eszközökről — például telefonról — is hozzáférhetsz a helyi MI-modellekhez.
Ollama (CLI)
Az Ollama parancssoros MI-asszisztens macOS-re, Linuxra és Windowsra. Jó választás, ha egyszerűen használható, széles körben kompatibilis és gyors MI-klienst keresel, amely inference-optimalizációkat és más technikákat alkalmaz. Külön kézi beállítást sem igényel.
Számos szöveges modell mellett támogatja a LLaVA modelleket, és kísérleti támogatást nyújt a Meta Llama vision képességeihez.
Az Ollama leegyszerűsíti a helyi MI-chat beállítását azzal, hogy automatikusan letölti a használni kívánt modellt. Az ollama run llama3.2 parancs például automatikusan letölti és elindítja a Llama 3.2 modellt. Az Ollama saját modellkönyvtárat is fenntart, ahol különböző MI-modellek fájljait tárolja. Ez csökkenti a kézi modellhitelesítés szükségességét, és segít abban, hogy a kínált modelleket teljesítmény és biztonság szempontjából is ellenőrizzék.
Llamafile
A Llamafile könnyű, egyetlen futtatható fájlból álló megoldás, amellyel külön telepítési folyamat nélkül futtathatsz LLM-eket helyben. A projektet a Mozilla támogatja, és Linuxon, macOS-en és Windowson érhető el.
A Llamafile a LLaVA-t is támogatja, beszédfelismerést és képgenerálást viszont nem.
A Mozilla csak néhány Llama- és Mistral-modellhez biztosít llamafile-t, és harmadik féltől is kevés ilyen fájl érhető el. Emellett a Windows 4 GB-ra korlátozza az .exe fájlok méretét, miközben sok modell ennél nagyobb.
Ezek a problémák külső súlyok betöltésével kerülhetők meg.
Modellek biztonságos letöltése
Ha olyan MI-klienst használsz, amely saját modellkönyvtárat tart fenn — például Ollama vagy Llamafile —, a modellt onnan érdemes letölteni. Ha viszont a könyvtárban nem szereplő modellt szeretnél, vagy olyan klienst használsz, amely nem tart fenn saját könyvtárat — például Kobold.cpp —, további lépésekkel ellenőrizd, hogy a letöltött MI-modell valódi és biztonságos.
A modellfájlok letöltéséhez a Hugging Face-t ajánljuk, mert több funkcióval is segít ellenőrizni a letöltés hitelességét és biztonságát.
A modell ellenőrzésekor keresd a következőket:
- Egyértelmű dokumentációt tartalmazó model card
- Ellenőrzött szervezeti jelvény
- Közösségi értékelések és használati statisztikák
- „Safe” jelvény a modellfájl mellett (csak Hugging Face)
- Egyező ellenőrzőösszeg1
- Hugging Face-en a hash értékét a modellfájlra kattintva, majd az alatta lévő Copy SHA256 gombnál találod. Ezt hasonlítsd össze a letöltött fájl saját ellenőrzőösszegével.
Egy letöltött modell általában biztonságosnak tekinthető, ha a fenti ellenőrzések mindegyikének megfelel.
Feltételek
Fontos: egyik általunk ajánlott projekttel sem állunk kapcsolatban. Az általános feltételeink mellett egyértelmű követelményrendszert alkalmazunk az objektív ajánlásokhoz. Választás előtt ismerkedj meg ezekkel, és végezz saját kutatást is.
Minimumkövetelmények
- Nyílt forráskódúnak kell lennie.
- Nem továbbíthat személyes adatot, beleértve a chat tartalmát is.
- Több platformon kell működnie.
- Nem követelhet meg GPU-t.
- Támogatnia kell a GPU-val gyorsított inference-t.
- Nem igényelhet internetkapcsolatot.
Ideális eset
Az ideális feltételek azt mutatják, mit szeretnénk látni egy tökéletes projektben ebben a kategóriában. Ajánlásaink nem feltétlenül teljesítik mindegyiket, de amelyek igen, előrébb kerülhetnek ezen az oldalon.
- Egyszerűen letölthetőnek és beállíthatónak kellene lennie, például egykattintásos telepítéssel.
- Beépített modellletöltőt kellene kínálnia.
- A felhasználónak módosítania kellene tudni az LLM paramétereit, például a rendszerpromptot vagy a temperature értéket.
-
A fájl-ellenőrzőösszeg egyfajta manipulációellenes ujjlenyomat. A fejlesztő általában külön letölthető szövegfájlban vagy közvetlenül a letöltési oldalon teszi közzé. Ha a letöltött fájl ellenőrzőösszege megegyezik a fejlesztő által közölttel, az segít igazolni, hogy a fájl valódi és átvitel közben nem módosították. Linuxon és macOS-en például a
sha256sum, Windowson pedig acertutil -hashfile file SHA256paranccsal készíthetsz SHA-256 ellenőrzőösszeget. ↩
A Magánszféra Kalauz a Privacy Guides nem hivatalos magyar változata. Tartalmi eltérés esetén az angol eredeti az irányadó. Eredeti Privacy Guides