Kaip kuriamas „TildeLM“
Atidžiau pažvelkite į svarbias akimirkas, proveržius ir tai, kas toliau.
Pastabos iš laboratorijos 📋
Mūsų mokslinių tyrimų komandos komentarai, įžvalgos ir naujiniai apie „TildeLM“ kūrimą.
16.07.2025.
Artėja tildelm vystymosi pabaiga! Pamatę 2 trilijonus žetonų, išmokėme pamatinį modelį ir dabar pereiname prie derinimo ir vertinimo. Kai tik bus parengta, suderinti modeliai bus paskelbti apkabintame veide.
09.06.2025.
Didžiuojamės, kad esame viena pirmųjų įmonių, išbandžiusių JUPITERĮ, pirmąjį eksalygmens superkompiuterį Europoje! Suteikę 1,2 mln. GPU valandų, pritaikysime „TildeLM“ naudoti realiuoju laiku, įskaitant daugiakalbę įmonės iešką, kontekstinius asistentus ir kitus saugius AI naudojamus ai įrankius.
27.05.2025.
Puikios naujienos! Per „EuroHPC“ BĮ LUMI gavome papildomų 140 000 GPU valandų. Šie ištekliai bus naudojami modeliui, kaip FFplus finansuojamo projekto daliai, derinti, daugiausia dėmesio skiriant pagrindinėms daugiakalbėms užduotims, pvz., vertimui, apibendrinimui ir atsakymams į klausimus.
Rodyti senesnes pastabas
12.05.2025.
Mes pusiaukelėje su pretraining Vieno trilijono žetonų rodymas užtruko ilgiau, nei tikėtasi, nes beždžionės taisė klaidas ir laukė GPU paskirstymo.
05.05.2025
Pristatėme efektyvesnę pavyzdinę pakavimo strategiją, skirtą prižiūrimam instrukcijų derinimui EleutherAI „GPT-Neox“. Ankstyvasis Profilio apdorojimas rodo apie 90% pakuočių efektyvumą, todėl LUMI GPU išnaudojami beveik taip pat, kaip ir pretraining metu. Kitas patobulinimas – daugiakryptė instruktavimo maskavimo strategija, leidžianti modeliui dalyvauti ilguose daugiakrypčiuose pokalbiuose.
15.04.2025
Mes jau atlikome maždaug trečdalį pretraining. Kad ten patektume, EleutherAI „GPT-Neox“ reikėdavo išmesti daugybę keistybių, vabalų ir kai kurių tikrų menininkų kodų, taip pat porą mūsų pačių bukapročių. Tačiau tam reikėjo tik vieno, labai ankstyvo paleidimo iš naujo, todėl beveik nebuvo prarastas nė vienas GPU laikas!
15.03.2025
Pagaliau pradėjome ilgai lauktą TildeLM pretraining. Pasiskolinęs iš Marko Tveno: „mesti rūkyti lengviausia pasaulyje; aš tai dariau tūkstančius kartų.“ Tikėkimės, kad šis bėgimas nėra klaidinga pradžia ir duoda rezultatų, kurių taip ilgai siekėme!
Pažiūrėkite, kaip iš tikrųjų veikia LLMs
Mūsų tyrėjų sukurtas TildeBench yra viešas vadovas, sekantis, kaip įvairios LLMs tvarko tokias užduotis kaip automatinis vertimas, atsakymai į kontekstinius klausimus ir gramatikai jautrus teksto generavimas – visomis kalbomis, kurios dažnai praleidžiamos. Laikui bėgant jis bus atnaujintas naujomis užduotimis ir modeliais.
Būkite kilpoje
Palikite el. laišką, kad gautumėte pranešimą, kai „TildeLM“ gyvens apsikabinęs veidą.
