„TildeLM“
Kaip kuriamas „TildeLM“
Atidžiau pažvelkite į svarbias akimirkas, proveržius ir tai, kas toliau.
Pastabos iš laboratorijos 📋
Mūsų mokslinių tyrimų komandos komentarai, įžvalgos ir naujiniai apie „TildeLM“ kūrimą.
27.05.2025.
Puikios naujienos! Per „EuroHPC“ BĮ LUMI gavome papildomų 140 000 GPU valandų. Šie ištekliai bus naudojami modeliui, kaip FFplus finansuojamo projekto daliai, derinti, daugiausia dėmesio skiriant pagrindinėms daugiakalbėms užduotims, pvz., vertimui, apibendrinimui ir atsakymams į klausimus.
12.05.2025.
Mes pusiaukelėje su pretraining Vieno trilijono žetonų rodymas užtruko ilgiau, nei tikėtasi, nes beždžionės taisė klaidas ir laukė GPU paskirstymo.
05.05.2025.
Pristatėme efektyvesnę pavyzdinę pakavimo strategiją, skirtą prižiūrimam instrukcijų derinimui EleutherAI „GPT-Neox“. Ankstyvasis Profilio apdorojimas rodo apie 90% pakuočių efektyvumą, todėl LUMI GPU išnaudojami beveik taip pat, kaip ir pretraining metu. Kitas patobulinimas – daugiakryptė instruktavimo maskavimo strategija, leidžianti modeliui dalyvauti ilguose daugiakrypčiuose pokalbiuose.
Pažiūrėkite, kaip iš tikrųjų veikia LLMs
Mūsų tyrėjų sukurtas TildeBench yra viešas vadovas, sekantis, kaip įvairios LLMs tvarko tokias užduotis kaip automatinis vertimas, atsakymai į kontekstinius klausimus ir gramatikai jautrus teksto generavimas – visomis kalbomis, kurios dažnai praleidžiamos. Laikui bėgant jis bus atnaujintas naujomis užduotimis ir modeliais.
Būkite kilpoje
Palikite el. laišką, kad gautumėte pranešimą, kai „TildeLM“ gyvens apsikabinęs veidą.
