A saját AI (Local LLM) bevezetésekor gyakran elgondolkodik az ember: tényleg jó ötlet a cég teljes belső tudásbázisát feltölteni egy amerikai tech óriás szerverére?
A felhő alapú AI (ChatGPT, Claude, Gemini) zseniális, de van két hatalmas rákfenéje, ami minden cégvezető rémálma:
Tegnapig ez volt a „szükséges rossz”. De az n8n legújabb frissítésével a játékszabályok megváltoztak.
Az n8n, a világ legjobb workflow automatizációs eszköze (szerintem, de lassan mindenki szerint), bevezette a „Local LLM” támogatást. Ez a saját AI megoldás nem csak egy új gomb a kezelőfelületen. Ez a függetlenség eszköze.
Gondolj erre úgy, mint a szerverek evolúciójára. A 90-es években minden cégnek volt saját Exchange szervere az e-maileknek. Aztán jött a felhő (Gmail, O365), és mindenki boldogan megszabadult a vasaktól. De most, az AI korszakban, a trend megfordulni látszik. A biztonság és az adat-szuverenitás (Data Sovereignty) miatt a cégek elkezdik hazahozni az intelligenciát.
Pontosan egy ilyen saját AI rendszert építettünk ki mi is az NboMediánál.
Vince nem egy egyszerű ChatGPT ablak. Vince egy valódi digitális munkatárs, aki a cég belső folyamataiba mélyen be van drótozva.
És ami a legfontosabb: Vince soha, semmilyen körülmények között nem „pletykál” kifelé. Minden adat, amit feldolgoz, a saját AI szerverünkön marad.
Hogyan lehetséges ez? A titok az, hogy Vince nem „hallomásból” (az internetről) beszél, hanem a mi saját, belső adatbázisunkból dolgozik. Ezt hívják szaknyelven RAG (Retrieval-Augmented Generation) technológiának.
Ahhoz, hogy professzionális saját AI-d legyen, kell alá egy kis hardver. De nem kell rögtön a NASA szervertermére gondolni.
A mi rendszerünk alapja:
Itt jön képbe egy fontos fogalom: a Quantization (Kvantálás). Nem kell 400 GB VRAM-mal rendelkező szörnyeteg kártya. A kvantálás technológiájával a hatalmas nyelvi modelleket „összenyomjuk” (pl. 4-bites verzióra), így azok elfutnak egy lényegesen olcsóbb, elérhetőbb hardveren is, minimális minőségromlás mellett.
A „Local AI” nem elmélet, hanem egy működő rendszer. De hogyan is épül fel egy ilyen „Vince” típusú ügynök a motorháztető alatt?
A folyamat lépései (Node-ok):
llama3.1:8b (gyors és okos).http://localhost:11434. (Látod? localhost. A kérés el sem hagyja a szervert).A rendszer szívét az Ollama node adja. Míg a hagyományos megoldásoknál itt egy OpenAI API kulcsot és külső szervert használnánk, itt a kérések a localhost-on, azaz a saját AI VPS-ünkön futnak le. Ez garantálja, hogy a szenzitív céges adatok – amiket a Vector Store-ból hívunk be – soha ne kerüljenek ki az internetre. Ez a valódi adatbiztonság 2026-ban.
Sőt, ez a rendszer akár „Air-gapped” (internetkapcsolat nélküli) módban is működhet, ha a modelleket előre letöltötted. Ez a paranoid IT-biztonságiak álma.
Nézzük a számokat:
Nincs „rate limit” (senki nem mondja meg, hány kérdést tehetsz fel percenként). Nincs lassulás csúcsidőben. A te szervered, a te szabályaid.
A testreszabhatóság pedig hab a tortán. A „System Prompt”-ban mi mondjuk meg, hogy Vince egy segítőkész épületgépész asszisztens legyen, vagy egy szigorú pénzügyi ellenőr.
A saját AI futtatása ma már nem csak a tech óriások kiváltsága. Olyan ez, mint amikor a cégek a felhős tárhelyek mellé (vagy helyett) visszahozták a saját NAS szervereiket: visszavették az irányítást az értékeik felett.
Ha te is szeretnél egy saját Vincét, aki 0-24-ben dolgozik neked, de sosem pletykál, és nem kér fizetésemelést (sőt, token díjat sem), akkor van egy jó hírem.
Mi az NboMediánál nem csak beszélünk róla, hanem kulcsrakészen szállítjuk ezt a nyugalmat. Mi felépítjük a „vasat”, beállítjuk az „idegrendszert” (n8n), és megtanítjuk a saját adataidból dolgozni a rendszert.
Kérj konzultációt itt, és építsük meg a saját, privát AI hadseregedet!
