Kaip kuriamas TildeOpen LLM

Atidžiau pažvelkite į svarbias akimirkas, proveržius ir tai, kas bus toliau.
2 timeline_uz_tumsa_fona 1 dalis

Pastabos iš laboratorijos 📋

Užkulisiniai komentarai, įžvalgos ir naujinimai iš mūsų tyrimų komanda dėl TildeOpen plėtros.

04.09.2025.

Tildeopen dabar gyvena apsikabinęs veidą Po metų tyrimų ir plėtros sparčiausiuose Europos superkompiuteriuose mūsų komanda paskelbė TildeOpen. Jis paruoštas tyrinėti, eksperimentuoti ir plėtoti.

16.07.2025.

Artėja tildeopen vystymosi pabaiga! Pamatę 2 trilijonus žetonų, išmokėme pamatinį modelį ir dabar pereiname prie derinimo ir vertinimo. Kai tik bus parengta, suderinti modeliai bus paskelbti apkabintame veide.

09.06.2025.

Didžiuojamės, kad esame viena pirmųjų įmonių, išbandžiusių JUPITERĮ, pirmąjį eksalygmens superkompiuterį Europoje! Suteikę 1,2 mln. GPU valandų, pritaikysime TildeOpen naudoti realiuoju laiku, įskaitant daugiakalbę įmonių paiešką, kontekstą žinančius asistentus ir kitus saugius AI naudojamus įrankius.

27.05.2025.

Puikios naujienos! BĮ „EuroHPC“ pagalba papildomai gavome 140 000 GPU valandų darbui su LUMI. Šie ištekliai bus naudojami modeliui derinti pasitelkianti instrukcijas kaip „FFplus“ finansuojamo projekto daliai, daugiausia dėmesio skiriant pagrindinėms daugiakalbėms užduotims, pvz., vertimui, apibendrinimui ir atsakymams į klausimus.

12.05.2025.
Baigėme pusę išankstinio mokymo! Vieno trilijono žetonų peržiūra užtruko ilgiau, nei tikėtasi, nes buvo dinamiškai šalinamos triktys ir laukiama GPU paskirstymo.
05.05.2025
Pritaikėme efektyvesnę pavyzdžių pakavimo strategiją, skirtą prižiūrimam instrukcijų derinimui „EleutherAI“ „GPT-Neox“. Ankstyvuoju profiliavimu nustatytas apie 90 % pakavimo efektyvumas, todėl LUMI GPU išnaudojami beveik taip pat, kaip vykdant išankstinį mokymą. Kitas patobulinimas – instruktavimo keliais etapais maskavimo strategija, leidžianti modeliui dalyvauti ilguose kelis etapus apimančiuose pokalbiuose.
15.04.2025
Baigėme maždaug trečdalį išankstinio mokymo. Kad tai pasiektume, reikėjo sutvarkyti įveikti daugybę vingrybių, trikčių, tikrai menišką „EleutherAI“ „GPT-Neox“ kodą bei porą savo pačių klaidų. Tačiau tam reikėjo tik vieną kartą labai anksti pradėti iš naujo, todėl beveik nepraradome GPU laiko!
15.03.2025

Pagaliau pradėjome ilgai lauktą TildeOpen pretraining. Pasiskolinęs iš Marko Tveno: „mesti rūkyti lengviausia pasaulyje; aš tai dariau tūkstančius kartų.“ Tikėkimės, kad šis bėgimas nėra klaidinga pradžia ir duoda rezultatų, kurių taip ilgai siekėme!

Pažiūrėkite, kaip iš tikrųjų veikia LLM

Mūsų tyrėjų sukurtas TildeBench yra viešas vadovas, sekantis, kaip įvairios LLMs tvarko tokias užduotis kaip automatinis vertimas, atsakymai į kontekstinius klausimus ir gramatikai jautrus teksto generavimas – visomis kalbomis, kurios dažnai praleidžiamos. Laikui bėgant jis bus atnaujintas naujomis užduotimis ir modeliais.

Sukurkite AI, kuri kalba jūsų kalba 

Tildeopen suteikia jums pagrindą kurti saugią ir suverenią AI. Susipažinkite su modeliu dabar
arba pakalbėk su mumis apie jo pritaikymą jūsų poreikiams.