Kā tiek veidots TildeOpen LLM

Tuvāks ieskats svarīgākajos brīžos, sasniegumos un vēl gaidāmajos notikumos.
Laika josla _uz_tumsa_fona 2 (1)

Piezīmes no laboratorijas 📋

Aizkulišu komentāri, ieskati un atjauninājumi no mūsu pētniecības komanda par TildeOpen attīstību.

04.09.2025.

Tildeopen tagad dzīvo uz apskāviena sejas! Pēc gada ilgas pētniecības un izstrādes Eiropas ātrākajos superdatoros mūsu komanda ir publicējusi TildeOpen. Tas ir gatavs izpētei, eksperimentēšanai un izmantošanai.

16.07.2025.

Tildeopen tuvojas attīstības beigas! Pēc tam, kad redzējām 2 triljonus žetonu, pamatmodelis ir apmācīts, un mēs tagad virzāmies uz precizēšanu un novērtēšanu. Kad pielāgotie modeļi būs gatavi, tie tiks publicēti ar apskāvienu.

09.06.2025.

Mēs lepojamies, ka esam starp pirmajiem uzņēmumiem, kas testē JUPITERU, Eiropas pirmo eksalīmeņa superdatoru! Ar 1,2 miljoniem GPU stundu, kas mums piešķirtas, mēs pielāgosim TildeOpen lietošanai reālajā pasaulē, tostarp daudzvalodu uzņēmumu meklēšanai, kontekstam atbilstošiem palīgiem un citiem drošiem AI rīkiem.

27.05.2025.

Lieliska ziņa! Mēs esam nodrošinājuši papildu 140 000 GPU stundas LUMI ar kopuzņēmuma EuroHPC starpniecību. Šie resursi tiks izmantoti, lai instruētu modeļa pielāgošanu FFplus finansētajā projektā, koncentrējoties uz galvenajiem daudzvalodu uzdevumiem, piemēram, tulkošanu, teksta apkopošanu un atbildēšanu uz jautājumiem.

12.05.2025.
Mēs esam pusceļā ar priekšapmācīšanu! Redzot vienu triljonu tekstvienību, haotisko ielāpu (monkey patching) kļūdu labošanai un GPU piešķīrumu gaidīšanas dēļ bija nepieciešams ilgāks laiks, nekā paredzēts.
05.05.2025
Mēs EleutherAI’s GPT‑Neox esam ieviesuši efektīvāku piemēru iepakošanas stratēģiju uzraudzītai instrukciju pielāgošanai. Agrīnā profilēšana uzrāda aptuveni 90% iepakošanas efektivitāti, saglabājot LUMI GPU gandrīz tikpat pilnvērtīgi kā priekšapmācīšanas laikā. Vēl viens uzlabojums ir daudzpagriezienu instrukciju maskēšanas stratēģija, kas ļauj modelim piedalīties garās daudzpagriezienu sarunās.
15.04.2025
Mēs esam pabeiguši aptuveni vienu trešdaļu priekšapmācīšanas. Nokļūt tiktāl nozīmēja, ka no EleutherAI’s GPT-Neox tika izdauzīta vesela kaudze dīvainību, kļūdu un kāda patiesi amatnieciska koda, kā arī pāris mūsu pašu kļūdu. Tomēr tam bija nepieciešama tikai viena ļoti agrīna restartēšana, tāpēc gandrīz netika zaudēts GPU laiks!
15.03.2025

Mēs beidzot esam sākuši ilgi gaidīto TildeOpen pirmsapmācību. Aizņemšanās no Marka Tveina: “smēķēšanas atmešana ir vieglākā lieta pasaulē; es to esmu darījis tūkstošiem reižu.” Cerēsim, ka šis skrējiens nav viltus sākums un sniedz rezultātus, pie kuriem esam tik ilgi strādājuši!

Uzziniet, kā īsti LVM darbojas

TildeBench, ko radījuši mūsu pētnieki, ir publiska līderu tabula, kas seko līdzi tam, kā dažādi LLM veic tādus uzdevumus kā mašīntulkošana, konteksta jautājumu atbildēšana un gramatikai jutīga teksta ģenerēšana — tas viss valodās, kuras bieži vien netiek ievērotas. Laika gaitā tas tiks atjaunināts ar jauniem uzdevumiem un modeļiem.

Veidojiet MI, kas runā jūsu valodā 

TildeOpen sniedz pamatu droša un suverēna MI radīšanai. Izpētiet modeli tūlīt
vai runājiet ar mums par modeļa pielāgošanu jūsu vajadzībām.