Láncreakció

Folytatjuk a múlt héten megkezdett mélyfúrást a nyelvmodellek készítésében, ebben kalauzaink Gyöngyössy Natabara⁠ és ⁠Nemeskey Dávid⁠, a Racka⁠ nyelvmodell fejlesztői. Az adásból kiderül, milyen fázisai és kihívásai vannak a kis nyelvre fejlesztett LLM feltanításának. A nulláról indított tanítás helyett a Qwen 4B modell folytatólagos előtanítását választották, mivel nem állt rendelkezésre elegendő, jó minőségű magyar szövegadat. A tokenizálót ötletesen szabták át a magyar nyelvre, ez 50–60 százalékkal gyorsította a generálást, a Komondor szuperszámítógépen, LoRA-eljárással végzett tanítás pedig összesen 2,1 GPU-évet igényelt. Szó esett még a digitális szuverenitásról, a hazai kutatás finanszírozási kihívásairól, valamint a következő lépésekről is: nagyobb, 30 milliárd paraméteres modellekről és magyar preferenciaadatokra épülő RLHF-fejlesztésről.

Ebben az adásban a hazai nyelvtechnológia legújabb mérföldkövét, a Racka nyelvmodellt mutatjuk be Gyöngyössy Natabara és Nemeskey Dávid segítségével. Megvitatjuk, mi értelme van egy 4 milliárd paraméteres magyar SLM (Small Language Model) fejlesztésének, és hogyan viszonyul ez a korábbi, Dávid által készített HuBERT modellhez vagy a globális GPT-családhoz. Alaposan elemezzük a modellek működési rétegeit az inferenciától az agentic AI irányába mutató kontextuskezelésig és a biztonsági „guardrail”-ekig. Szóba kerül a világ tokenizálása, a multimodális és omnimodellek (mint a Qwen vagy a Google-féle Gemini) térnyerése, valamint a technikai kihívások, mint a KV-cashing memóriaigénye és a spekulatív dekódolás. Végül választ kapunk arra is, miért fontos a kulturális beágyazottság és a lokális, felhőfüggetlen futtathatóság a „digitális gyarmatosítással” szemben, elindulva ezzel a hazai AI-szuverenitás felé.

Ebben az epizódban nyári hírügynökséget játszunk!
A sajtó szerint a bejelentett adatközpont-beruházások fele nem is valósul meg, de a SemiAnalysis elemzése szerint csak korábban összekeverték a hangzatos bejelentéseket a tényleges tervekkel és lehetőségekkel.
Tele vagyunk az Anthropic-kal kapcsolatos hírekkel: Dario Amodei három évvel ezelőtti figyelmeztetéseit a nyílt súlyú modellek veszélyeiről most annak kapcsán hozzák elő, hogy egy kínai open source (GLM 5.2) megközelítette (megelőzte?) a betiltott, majd mégis engedélyezett Mythos 5-öt. Vajon Amodei tényleg aggódik, vagy csak ássa a várárkot a cash cow körül? Aztán itt a Mythos és Fable 5 mellett a Sonnet 5 és a Claude Science is, illetve észrevettünk egy korábbi vatikáni iratot, ami jól rímel Amodei esszéjére, a Machines of Loving Grace című techno-optimista szövegre.
Végül Javier Milei argentin elnök radikális vízióját próbáljuk megérteni, aki jogi személyiséget adna a tisztán AI-vezérelte vállalatoknak (Sociedad Automatizada), amivel egyszerre váltotta ki Yuval Noah Harari rettegését és a Microsoft AI-vezérének éles kritikáját. A háttérben ki mást sejtenénk, mint a környéken letelepedni látszó Peter Thielt.

Vajon tényleg lehetséges örökké élni, vagy legalábbis 150 évig húzni a Putyin és Hszi Csin-ping titkos beszélgetésében elhangzottak szerint? Ebben az adásban a longevity, azaz az élethosszabbítás témáját járjuk körül, megkülönböztetve a szigorú tudományt a Szilícium-völgyi biohacker üzlettől és a transzhumanista ideológiától. Szóba kerül Bryan Johnson és a „Don’t Die” mozgalom, a mérésekre alapozott quantified self mánia, valamint az olyan radikális elképzelések, mint az agy nélküli klónok növesztése és az (egyelőre halálos kimenetelű) fejátültetés. Megvizsgáljuk az adatok és a mesterséges intelligencia szerepét a folyamatban: a fehérjemérnökségtől és a generatív kémiai gyógyszerkutatástól (Insilico Medicine) a biológiai életkort mérő öregedési órákig (például a Horvath-óra). Beszélünk a Sam Altman és Jeff Bezos által pumpált longevity-startupokról, a súlycsökkentő GLP-1 gyógyszerek társadalmi hatásairól, és a 101 millió dolláros XPRIZE Healthspan versenyről is. Végül Kömlődi Ferenc új könyve kapcsán elmerengünk azon, hogy az embergép-kapcsolat és a transzhumanizmus valóban elhozza-e a szingularitást.

Közhely, hogy az MI meg fogja változtatni cégek működését - de hogyan? Mármint hogyan képzeljünk el egy MI vezérelte szervezetet túllépve azon a kevéssé eredeti elképzelésen, hogy minden hatékonyabb lesz. Nos, Jack Dorsey nekiáll megvalósítani egy konkrét víziót, ami ugyan vitatható, de mindenképpen eredeti és érdekes! Hogyan lehet meghaladni a római légió hierarchiáját, a McKinsey-féle 7S -t vagy pl. a holacracy-t egy olyan cégnél, mint a Block, a pénzügyi szolgáltató, ami éppen most bocsátott el négyezer embert, elvileg emiatt az új vízió miatt?