Atbalsta:

MĀKSLĪGĀ INTELEKTA PASTIPRINĀŠANA
AI_BOOST logotips

TildeOpen LLM: suverēns Eiropas daudzvalodu MI

Atvērtā pirmkoda, pamata LVM (lielais valodas modelis) Eiropas valodām – drošs, pielāgojams un gatavs darbam valdībās, iestādēs un uzņēmumos. 

2024. gada jūnijs

Tilde uzvar lielu AI

Lielā izaicinājuma 🙌

2024. gada septembris

Piekļuve LUMI
iegūts superdators

2025. gada marts

Sākas
modeļa apmācība
 

2025. gada septembris

Modelis tiek publicēts
platformā Hugging Face 🎉

2026. gada februāris

TildeOpen ir pieejams

Tilde MT

Mūsu valoda ir pelnījusi labāku MI

Lielākā daļa MI modeļu ir veidoti pasaules lielākajām valodām — un vairāk nekā 90% LVM mācību datu ir angļu valodā. Tas nozīmē, ka baltu, slāvu un citas Eiropas valodas atpaliek, kas noved pie zemākas precizitātes, vājākas kultūras izpratnes un ierobežotas piekļuves kvalitatīviem MI rīkiem.
bultiņa _ augšā
bultiņa _ apakšā

Mēs to esam panākuši

Tāpēc mēs izstrādājām TildeOpen LLM — atvērtā pirmkoda lielo valodas pamatmodeli ar vairāk nekā 30 miljardiem parametru, kas izveidots visu Eiropas valodu atbalstam. Pielāgojiet modeli savām vajadzībām un droši izvietojiet — lokāli vai mākonī —, lai veidotu uzticamu MI, kas tiešām runā jūsu valodā. 
Miljardi parametru
25 +
Fokusa valodas
28 +
LUMI GPU stundas
2 M

Kāpēc TildeOpen?

web_llm

MI pamats, kam var uzticēties

TildeOpen ir vairāk nekā tehnoloģisks sasniegums. Tas ir atvērtā pirmkoda pamats pielāgotam mākslīgajam intelektam, kurš var sniegt labumu vairāk nekā 155 miljoniem eiropiešu.

Pielāgoti MI risinājumi uzņēmumiem un organizācijām 💼 

Pielāgojiet TildeOpen savai nozarei, datiem un darbplūsmām — no virtuālajiem palīgiem līdz drošai tulkošanai, runas tehnoloģijām un daudz kam citam.

Valsts valodas modeļa izstrāde valdībām 🏛 ️

Veidojiet iekļaujošus valodas modeļus, kas kalpo sabiedrības vajadzībām, veicina digitālo suverenitāti un atbalsta visas oficiālās ES valodas.

Uzticama veiktspēja visās fokusa valodās

TildeOpen publiskajos testos konsekventi uzrāda augstu valodas precizitātes un izpratnes līmeni.

TildeOpen uzrāda labus rezultātus MultiBLiMP testā, kas mēra modeļa spēju atšķirt gramatiski pareizus teikumus no gramatiski nepareiziem. Zemāks kļūdu īpatsvars liecina par labāku gramatikas modelēšanu un uzticamāku teksta ģenerēšanu. Apskatiet pilnus testa rezultātus šeit.

TildeOpen nodrošina augstāku efektivitāti morfoloģiski bagātās Eiropas valodās, pateicoties īpaši tām pielāgotam tokenizatoram un arhitektūrai. Salīdzinot ar LLaMA-3, tas ir par 41% efektīvāks latviešu valodā, par 37% lietuviešu valodā, par 31% somu valodā un par 28% igauņu un poļu valodā, vienlaikus pārspējot arī GPT un Mistral modeļus. Tas nodrošina ātrāku teksta ģenerēšanu lokālas izvietošanas gadījumos un tādējādi zemākas ekspluatācijas izmaksas par to pašu datu apjomu. Apskatiet pilnus testa rezultātus šeit..

TildeOpen-30B sasniedz nozares līmeņa labāko rezultātu Belebele lasīšanas izpratnes testā, sasniedzot vidējo precizitāti 84,7%. Modelis pārspēj citus lokāli izvietojamus modeļus, piemēram, Gemma-27B, ALIA-40B un EuroLLM-22B. Apskatiet pilnus testa rezultātus šeit..

Darbību nodrošina superdatori, ko atbalsta Eiropa 

TildeOpen attīstību atbalsta Eiropas Komisija, un to nodrošina Kopuzņēmuma EuroHPC augstākā līmeņa superdatori — LUMI un Jupiters. Uzvarot Large AI Grand Challenge, mums ir piešķirti 2 miljoni GPU stundu darbam ar LUMI, lai realizētu šo vērienīgo projektu.

web_llm

Sniedziet savu ieguldījumu daudzvalodu nākotnē

Lai izveidotu spēcīgu daudzvalodu LVM ar vairāk nekā 30 miljardiem parametru, mēs meklējam valodu datus no visas Eiropas. Mēs atzinīgi vērtējam autoru, izdevēju, valsts bibliotēku un citu partneru ieguldījumu, piedāvājot elastīgus nosacījumus. 
web_llm

Datu pakalpojumu sniedzēji, kas jau ir iesaistījušies šajā projektā

Mūsu solījums

Esam atvērti sadarbībai 🤝

Valdības var izmantot TildeOpen, lai izveidotu pielāgotus valodas modeļus, kas uzlabo piekļuvi sabiedriskajiem pakalpojumiem visiem iedzīvotājiem.

Atvērta piekļuve 🔓

TildeOpen būs pieejams gan komerciālai, gan nekomerciālai lietošanai saskaņā ar liberālu licenci, kas tiks publicēta platformā Hugging Face un ELRC-SHARE.

Integritāte un drošība 🛡 ️
Mēs nepārtraukti strādājam pie kaitīga vai neprecīza satura samazināšanas programmā TildeOpen, lai tas varētu būt uzticams resurss dažādiem publiskās lietošanas gadījumiem.
Zināšanu apmaiņa 📚

Mēs esam apņēmušies sadarboties un dalīties ar ieskatiem, aicinot partnerus sadarboties ar mums TildeOpen attīstībā visu labā.

Veidojiet MI, kas runā jūsu valodā 

TildeOpen sniedz pamatu droša un suverēna MI radīšanai. Izpētiet modeli tūlīt
vai runājiet ar mums par modeļa pielāgošanu jūsu vajadzībām.

Bieži uzdotie jautājumi

TildeLM projekta mērķis ir izveidot fundamentālu daudzvalodu lielo valodas modeli, kas koncentrējas uz nepietiekami pārstāvētajām Baltijas un Austrumeiropas valodām, lai sekmētu digitālo vienlīdzību un uzlabotu piekļuvi modernām MI tehnoloģijām šajās kopienās.
Līdzsvara trūkums ietekmē efektivitāti un izmaksas. Piemēram, lai tādu pašu informācijas apjomu kodētu mazāk pārstāvētās valodās, ir nepieciešama garāka secība nekā angļu valodai, līdz ar to modeļi ir mazāk efektīvi un to darbība izmaksā dārgāk. Turklāt šo modeļu orientēšanās uz angļu valodu var novest pie nevēlamas kultūru diskriminācijas. TildeLM tiks apmācīts, lai nodrošinātu vienlīdzību visām atbalstītajām valodām.
Projekta mērķa valodas ir Austrumeiropas un Baltijas valstu valodas, piemēram, bulgāru, horvātu, čehu, igauņu, somu, latviešu, lietuviešu, maķedoniešu, melnkalniešu, poļu, serbu, slovāku, slovēņu un ukraiņu. Modelis līdzvērtīgās proporcijās atbalstīs arī lielākas valodas, piemēram, angļu, franču, vācu un krievu, lai nodrošinātu tulkošanu un ar to saistītos daudzvalodu uzdevumus.
LUMI (Large Unified Modern Infrastructure — lielā vienotā modernā infrastruktūra) superdators ir piektais ātrākais superdators pasaulē un visātrākais Eiropā. Tas ir daļa no kopuzņēmuma EuroHPC, kurā Eiropas Savienība un Eiropas valstis sadarbojas, lai radītu pasaules klases augstas veiktspējas skaitļošanas (High-Performance Computing — HPC) ekosistēmu Eiropā. LUMI superdators atrodas Kajāni, Somijā.
Lielā AI lielā izaicinājuma, ko finansē Eiropas Komisija, mērķis ir paplašināt Eiropas AI robežas, izmantojot liela mēroga AI modeļu potenciālu. Konkursa dalībnieki bija inovatīvi jaunuzņēmumi un MVU ar tehnisko spēju izstrādāt mākslīgā intelekta modeļus, kas palielina Eiropas konkurētspēju ģeneratīvā mākslīgā intelekta jomā. Eiropas Komisija ir paziņojusi par lielā AI lielā izaicinājuma uzvarētājiem. Četri inovatīvi AI uzņēmumi no Eiropas, tostarp Tilde, saņems balvu 1 miljona eiro un 8 miljonu skaitļošanas stundu apmērā, lai veicinātu Eiropas vadošo lomu AI izstrādē.
Tilde ir vadošais Eiropas valodu tehnoloģiju novators un pakalpojumu sniedzējs, kura uzdevums ir veicināt valodu daudzveidību digitālajā laikmetā. Tildē ir vairāk nekā 150 darbinieku trīs birojos Rīgā, Viļņā un Tallinā. Tildes pētniecības komandu veido deviņi doktoranti un viņu pētniecības partneri, un tā ir autore vairāk nekā 260 zinātniskām publikācijām. Gadu gaitā Tilde ir izveidojusi plašu pētniecības un attīstības partnerības tīklu ar vadošajiem ES pētniecības centriem un universitātēm un darbojas kā valodu tehnoloģiju pētniecības centrs Baltijas reģionā. Jaunākās Tildes pētniecības un izstrādes darbības ir vērstas uz fundamentāliem lieliem valodas modeļiem (LLM), LLM precizēšanu pakārtotiem lietojumiem un instrukcijām pielāgotu LLM integrēšanu dabiskās valodas apstrādes lietojumos. (piemēram, mašīntulkošana, virtuālie asistenti, izgūšanas paplašinātās ģenerēšanas sistēmas, runas valodas apstrāde, summēšana utt.).