TildeLM-i
Kuidas TildeLM-i ehitatakse
Lähem pilk võtmehetkedele, läbimurretele ja sellele, mis edasi.
Labori 📋 märkused
Meie uurimisrühma kommentaarid, ülevaated ja värskendused TildeLM-i arendamise kohta.
27.05.2025.
Suurepärane uudis! Me kindlustasime LUMILE veel 140 000 GPU tundi EuroHPC ühisettevõtte kaudu. Neid vahendeid kasutatakse mudeli õpetamiseks FFplus rahastatud projekti raames, keskendudes peamistele mitmekeelsetele ülesannetele, nagu tõlkimine, kokkuvõtted ja küsimustele vastamine.
12.05.2025.
Me oleme pretraining poolel teel! Ühe triljoni žetooni nägemine võttis ootuspärasest kauem aega tänu ahvide lappimisele veaparandustele ja GPU eraldiste ootamisele.
05.05.2025.
Oleme EleutherAI GPT ‑ Neoxis kasutusele võtnud tõhusama näidispakkimisstrateegia juhendatud juhendamise häälestamiseks. Varajane profileerimine näitab ligikaudu 90% pakkimistõhusust, hoides LUMI GPU-sid peaaegu sama täielikult ära kui pretraining ajal. Teine täiendus on mitmepöördeline juhendmaskimise strateegia, mis võimaldab mudelil osaleda pikkades mitmepöördelistes vestlustes.
Vaata, kuidas LLM-id tegelikult toimivad
Meie teadlaste loodud TildeBench on avalik edetabel, mis jälgib, kuidas erinevad LLM-id käsitsevad selliseid ülesandeid nagu masintõlge, kontekstisisene küsimustele vastamine ja grammatikatundlik tekstigenereerimine – kõik keeltes, mis sageli kahe silma vahele jäävad. Seda värskendatakse aja jooksul uute ülesannete ja mudelitega.
Püsige silmuses
Jätke meilisõnum alles, et saada teada, kui TildeLM kallistab nägu.
