Hozd a saját modelledet, futtass ügynököket helyben vagy bármelyik szolgáltatónál

A MyAgens alapból Claude-on fut, de nem vagy hozzákötve. Ez az útmutató azt fedi le, hogyan futtass ügynököket a saját hardveredhez kötött modellen. Ha inkább a hosztolt háttérrendszerek közül választanál, vagy tartalékot állítanál be a használati korlátokra, lásd a Válassz AI-háttérrendszert útmutatót.

Helyi és önhosztolt modellek

Irányítsd a MyAgenst egy helyi modellre az LM Studio vagy az Ollama segítségével, vagy bármilyen OpenAI-kompatibilis vagy Anthropic-kompatibilis végponthoz. Ezzel minden a saját hardvereden marad, felhős kulcs nélkül, ami ideális privát vagy offline munkához, feltéve hogy elég erős modellt futtatsz helyben.

Ügynökönkénti irányítás

Minden ügynök használhatja a saját modelljét, így oda költhetsz, ahol számít: egy rutinfeladatokat végző Vezető futhat olcsó vagy helyi modellen, az Atlas pedig egy csúcsmodellen. Válts modellt a /model paranccsal.

Így állítsd be

1. Indítsd el a helyi szervert: az LM Studio-ban tölts be egy modellt és indítsd el a szerverét, vagy futtasd az ollama serve parancsot egy letöltött modellel.
2. A MyAgensben nyisd meg a panel modellbeállításait, vagy futtasd a /model parancsot Telegramban, és mutass rá egy ügynökkel a végpontra, például http://127.0.0.1:1234/v1 az LM Studio, vagy http://127.0.0.1:11434 az Ollama esetén.
3. Válaszd ki, melyik ügynök használja. Állítsd be globálisan, vagy Vezetőnként, hogy egy szakértő helyben fusson, míg az Atlas a Claude-on marad.

Mielőtt rá támaszkodnál, adj a helyi modellnek egy valódi feladatot. A kis modellek a csevegést jól kezelik, de megküzdenek a többlépcsős eszközhasználattal, amire az ügynökök építenek, szóval győződj meg róla, hogy megállja a helyét a tényleges munkádon. Az Ollama háttérrendszer egyszerű csevegés, nem egy agentikus CLI, éppen ezért marad gyors és teljesen független bármilyen felhős szolgáltatótól, és éppen ezért rossz választás hosszú, eszközhasználat-igényes feladatokhoz.

Helyi modell tartalékként

Egy helyi modell tartalékként is megéri, akkor is, ha nem ő a fő modelled. Adj egy ügynöknek egy csúcsmodellt elsődlegesnek és egy Ollama tartalékot, és ha elfogy a keret a hosztolt oldalon, az lassabb választ jelent, nem választ nélkülit. A Válassz AI-háttérrendszert útmutató bemutatja, hogyan indul be az átállás, és mi marad meg belőle.

Offline extrák

A szemantikus memória és a hang is futhat offline, helyi embeddingekkel és helyi beszédmodellekkel, így egy teljesen önhosztolt beállítás teljesen privát is marad.

Ahhoz, hogy egy elég erős helyi modellt válassz, és reális elvárásaid legyenek azzal kapcsolatban, mire képes egy ilyen modell, van egy részletes írás itt: Claude Code futtatása helyi modelleken.