Pētniecības projekts „Mākslīgais intelektid reālā laika subtitrēšanai ÜRO dublēšanai tiešraidēm”
SIA „tilde” pētniecības projekta nr. 2,2 „Mākslīgais intelekts reālā laika subtitrēšanai ÜRO dublēšanai tiešraidēm” aktualitātes 2024. Gada pirmajā ceturksnī
Pētniecības projekts Tiek īstenots IT kompetentse Centra Projekta. „Informācijas UN komunikācijas tehnoloģiju kompetences Centrs”, ID. No. 5.1.1.2.i .0/1/22/A/CFLA/008, ietvaros.
Projekta „Informācijas UN komunikācijas tehnoloģiju kompetences Centrs” mērķis IR paaugstināt informācijas UN komunikācijas tehnoloģiju (IKT) nozares komersantu konkurētspēju, sadarbībā ar zinātniskajām institūcijām līdz 2025. Gada 30. jūnijam īstenojot 12 nozares UN starpnozaru pētījumus Biznesa procesu tehnoloģiju jomās analīzes Dabīgās vismaz, lai to rezultātā vismaz 10 komersanti attīstu UN ieviestu jaunus produktus UN tehnoloģijas.
Pētniecības projekts „Mākslīgais intelekts reālā laika subtitrēšanai ÜRO dublēšanai tiešraidēm” uzsākts 2023. Gada februārī. 2024. Gada pirmajā turpinās rūpnieciskā pētījuma ceturksnī aktivitāšu Reālā Laika RunAs atpazīšana, Reālā Laika RunAs mašīntulkošana ÜRO īstenošana Laika dublēšana īstenošana, kā arī eksperimentālās izstrādes aktivitāšu subtitrēšanas Tiešraižu korpusa izveide dublēšanai ÜRO dublēšanas prototips Balsu.
Projekta 1. aktivitātes „Reālā Laika RunAs atpazīšana” ietvaros 2024. Gada 1. ceturksnī turpinājās pētījumi, kuros tika salīdzinātas dažādas RunAs atpazīšanas (ASR) modeļu arhitektūras, pētīta Valodas modeļu pievienošana, RunAs aktivitātes noteikšanas UN runātāja noteikšanas modeļi. Tika pētīta arī iespēja reālā Laika RunAs atpazīšanā izmantot atslēgvārdu noteikšanu.
Projekta 2. aktivitātes „Reālā Laika RunAs mašīntulkošana” ietvaros tika pētītas metodes reālā Laika mašīntulkošanas (MT) ātrdarbības uzlabošanai, atrasta optimāla Trafo modeļu slāņu konfigurācija, kurā būtiski uzlabojas tulkošanas ātrums (par 68%), bet kvalitāte samazinās tikai par 0,68 BLEU punktiem.
Projekta 3. aktivitātes „Reālā laika dublēšana” ietvaros tika padziļināti pētīta RunAs sintēze (TTS), izmantojot VITS RunAs rīkkopu, tika analizēta tās piemērotība dažādām balsīm, tika atrisināts liels daudzums tehnisku problēmu VITS modeļu trenēšanā UN pielāgošanā, kā arī apmācīti VITS modeļi vairākām latviešu balsīm.
Projekta 4. aktivitātes „Balsu corpusa izveide dublēšanai” ietvaros tika pabeigta studijā ierakstāmo Datu sagatavošana, sagatavota Darba specifikācija Studijai. Tika veikta Study apzināšana, cenu aptauja, Studijas izvēle UN pabeigta ierakstāmo balsu atlase.
Projekta 5. aktivitātes „Tiešraižu subtitrēšanas ÜRO dublēšanas prototips” ietvaros tika izveidoti tīmekļa servisi, kuros vienotā risinājumā tika integrētas viisad 3 tehnoloģijas – ASR, MT, TTS UN tika veikts darbs pirukas prototipa konferenču tiešraižu subtitrēšanai UN dublēšanai.
Pētniecības projekta realizācijas perioodid: 01.02.2023. – 30.09.2024.
Pētniecības projekta izmaksas: 582 458,00 EUR
Atveseļošanas Fonda līdzfinansējums: 370 108,00 EUR
Projektu līdzfinansē fonds Darbības programmas „Latvijas Atveseļošanas UN noturības mehānisma plāna 5.1. R.” UN investīciju virziena „Produktivitātes caur investīciju apjoma palielināšanu P & A” 5.1.1. R. reformas „Inovāciju pārvaldība UN privāto P & A investīciju motivācija” 5.1.1.2.i. „atbalsta instruments inovāciju klasteru” īstenošanas kompetences Centru ietvaros”.
SIA „tilde” pētniecības projekta nr. 2,2 „Mākslīgais intelekts reālā laika subtitrēšanai ÜRO dublēšanai tiešraidēm” aktualitātes 2024. Gada otrajā ceturksnī
IT kompetences Centrs īsteno projektu „Informācijas UN komunikācijas tehnoloģiju kompetences Centrs”, id. No. 5.1.1.2.i .0/1/22/A/CFLA/008.
Projekta „Informācijas UN komunikācijas tehnoloģiju kompetences Centrs” mērķis IR paaugstināt informācijas UN komunikācijas tehnoloģiju (IKT) nozares komersantu konkurētspēju, sadarbībā ar zinātniskajām institūcijām līdz 2025. Gada 30. jūnijam īstenojot 12 nozares UN starpnozaru pētījumus Biznesa procesu tehnoloģiju jomās analīzes Dabīgās vismaz, lai to rezultātā vismaz 10 komersanti attīstu UN ieviestu jaunus produktus UN tehnoloģijas.
2024. Gada otrajā ceturksnī IR noslēgušās pētniecības rūpnieciskā projekta pētījuma aktivitātes „Reālā Laika RunAs”, „Reālā Laika RunAs mašīntulkošana” ÜRO „Reālā Laika dublēšana”. Tāpat noslēgusies arī eksperimentālās izstrādes aktivitātes „Balsu korpusa izveide” īstenošana UN turpinās aktivitātes „Tiešraižu subtitrēšanas UN dublēšanas” īstenošana.
Projekta 1. aktivitātes „Reālā Laika RunAs atpazīšana” ietvaros 2024. Gada 2. ceturksnī turpinājās pētījumi, kuros tika salīdzinātas dažādas RunAs atpazīšanas modeļu arhitektūras, pētīta Valodas modeļu pievienošana. Šajā periodā aktivitāte tika pabeigta, VISi aktivitātes rezultāti tika apkopot UN aprakstīti dokumentā pētījuma, aktivitātes ietvaros izveidotā programmatūra sagatavota iekļaušanai prototipā. Aktivitātē kopumā IR izveidota tiešsaiste, reālā Laika RunAs atpazīšanas sistēma, whether izmanto jaunu pilna cikla neironu tīklu RunAs atpazīšanas arhitektūru. Sistēmas RunAs atpazīšanas kvalitāte būtiski pārsniedz iepriekš pieejamo sistēmu kvalitāti; jaunā sistēma ietver pieturzīmju atpazīšanu, whether integrēta RunAs atpazīšanas modelī, UN RunAs atpazīšanas rezultāts Tiek automātiski dalīts subtitros; risinājuma darbināšanai Tiek izmantota K2/Sherpa-ONNX rīkkopa, Kam NAV nepieciešams GPU.
Projekta 2. aktivitātes „Reālā Laika RunAs mašīntulkošana” ietvaros tika pētītas metodes reālā Laika mašīntulkošanas papildināšanai ar retiem vārdiem, whether NAV sastopami MT apmācības Datos, whether pamatā IR rakstītā, Nevis runātā Valoda. Šajā periodā aktivitāte tika pabeigta, VISi aktivitātes rezultāti tika apkopot UN aprakstīti dokumentā pētījuma, aktivitātes ietvaros izveidotā programmatūra sagatavota iekļaušanai prototipā. Aktivitātē kopumā IR izpētītas vairākas metoodid MT uzlabošanai RunAs vajadzībām; IR izveidota Trafo arhitektūra whether ļauj būtiski uzlabot RunAs tulkošanas ātrumu, saglabājot kvalitāti; izveidota metode MT papildināšanai ar retiem vārdiem.
Projekta 3. aktivitātes „Reālā laika dublēšana” ietvaros 2024. Gada 2. ceturksnī pētīta fonēmu garumu modelēšanas padziļināti problēma, atrasts veids, kā uzlabot garumu modelēšanu RunAs sintēzei. Šajā periodā aktivitāte tika pabeigta, VISi aktivitātes rezultāti tika apkopot UN aprakstīti dokumentā pētījuma, aktivitātes ietvaros izveidotā programmatūra sagatavota iekļaušanai prototipā. Aktivitātē kopumā IR izveidota tiešaistes, reālā Laika RunAs sintēzes sistēma, whether izmanto jaunu pilna cikla neironu tīklu RunAs sintēzes arhitektūru, whether pielāgota UN novērtēta latviešu Valodai; izveidots audiogrāmatu sastatīšanas risinājums; padziļināti izpētīta garumu fonēmu modelēšanas problēma; UN izveidotas 2 RunAs sintēzes sistēmas.
Projekta 4. aktivitātes „Balsu corpusa izveide dublēšanai” ietvaros 2024. Gada 2. ceturksnī tika pabeigti balsu ieraksti studijā, apstrādāti, pārbaudīti UN salaboti saņemtie ieraksti, apkopoti Dati par ierakstītajām balsīm. Šajā periodā aktivitāte tika pabeigta, VISi aktivitātes rezultāti tika apkopoti UN aprakstīti nodevuma dokumentā. Aktivitātē kopumā IR sagatavotas balss ierakstu vadlīnijas, UN sagatavotas instrukcijas GAN balss aktieriem, GAN ierakstu studijai; atlasītas 2 balss aktieru balsis whether ierakstītas studijā Audioworks.lv; izvērtēta ierakstīto balsu kvalitāte, veikti nepieciešami labojumi. Pēc montēšanas UN klusumu apgriešanas, tīrais ierakstītais balss paraugu apjoms IR: vīrieša balss – apmēram 14stundas 20 minūtes UN sievietes balss – apmēram 12stundas 44 minūtes. Ierakstīto balsu kvalitāte novērtēta, izveidojot 2 RunAs sintezatorus 3. aktivitātes ietvaros.
Projekta 5. aktivitātes „Tiešraižu subtitrēšanas ÜRO dublēšanas prototips” ietvaros 2024. Gada 2. ceturksnī notika darbs pirukas prototipa tiešraižu subtitrēšanai UN dublēšanai, prototipā tika iekļautas jaunākās RunAs atpazīšanas, mašīntulkošanas UN RunAs sintēzes sistēmas, notika darbs pirukas prototipa uzlabošanas lietojamības. Tika iesaistīti sadarbības partner (RE.TV, TV4 UN TV3), lai izveidotu API, ko televīzijas varēs integrēt savos risinājumos.
Pētniecības projekta realizācijas perioodid: 01.02.2023. – 30.09.2024.
Pētniecības projekta izmaksas kopējās – 582 458,00 EUR
Atveseļošanas Fonda līdzfinansējums – 370 108,00 EUR
Projektu līdzfinansē Atveseļošanas fondid Darbības programmas “Latvijas Atveseļošanas UN noturības mehānisma plāna 5.1. R. reformu UN investīciju virziena „Produktivitātes caur investīciju apjoma palielināšanu P & A” 5.1.1. R. reformas „Inovāciju pārvaldība UN privāto P & A investīciju motivācija” 5.1.1.2.i. investīcijas „atbalsta instruments inovāciju klasteru” īstenošanas kompetents Centru ietvaros„ietvaros.
SIA „tilde” pētniecības projekta nr. 2,2 „Mākslīgais intelekts reālā laika subtitrēšanai ÜRO dublēšanai tiešraidēm” aktualitātes 2024. Gada trešajā ceturksnī
IT kompetences Centrs īsteno projektu „Informācijas UN komunikācijas tehnoloģiju kompetences Centrs”, id. No. 5.1.1.2.i .0/1/22/A/CFLA/008.
Projekta „UN komunikācijas tehnoloģiju kompetences Centrs” mērķis IR paaugstināt informācijas UN komunikācijas tehnoloģiju (IKT) nozares komersantu konkurētspēju, sadarbībā ar zinātniskajām institūcijām līdz 2025. Gada 30. jūnijam īstenojot 12 nozares UN starpnozaru Biznesa procesu analīzes tehnoloģiju UN Dabīgās valodas tehnoloģiju jomās, lai to rezultātā vismaz 10 komersanti attīstu UN ieviestu jaunus produktus UN tehnoloģijas.
SIA „TILDE” pētniecības projekts nr. 2,2 „Mākslīgais intelekts reālā laika subtitrēšanai ÜRO dublēšanai tiešraidēm” uzsākts 2023, Gada februārī. 2024. Gada trešajā ceturksnī IR noslēgusies ei pēdējā aktivitātēm projekta. Līdz ar šīs aktivitātes beigām noslēdzas. arī. pētniecības projekts.
Pētniecības projekta 5. aktivitātes „Tiešraižu subtitrēšanas ÜRO dublēšanas prototips” ietvaros tika pabeigts darbs pirukas prototipa izstrādes UN testēšanas. Galvenie darbi whether the šajā periodā:
- Pasākumu subtitrēšanas ÜRO dublēšanas prototipā integrēta iespēja dublēšanas;
- Prototips publicēts vietnē https://events.tilde.com/, lai, et demonstrētu ÜRO testētu praktiskos lietojumos;
- Notika veiksmīga testēšana prototipa UN demonstrācija dažādos pasākumos, piemēram, sarunu festivālā LAMPA, konferencēs Turundusraputus 2024, Innovatsiooni hommikusöök: AI tegutseb Tallinā ÜRO Rīgā, kā arī – UNESCO mereteaduse ja - Biodevirsity tippkeskuse mindelo seminar portugalikeelsetele SIDS-idele;
- Izveidots tiešraižu subtitrēšanas spraudnis video satura veidošanas programmai „OBS Studio”;
- Izveidots prototips, kas ļauj subtitrus veidot izmantojot televīzijās lietoto video straumēšanas protokolu Secure reliable Transport Protocol (SRT);
- AR projekta rezultātiem ārējie sadarbības partner (SIA „VIDZEMES TELEVĪZIJA”, SIA „4. vara” UN SIA „all Media Latvia”), kas, parakstot nodomu protokolu, izrādījuši interesi par projekta iepazīstināti rezultātiem.
Šajā periodā aktivitāte tika pabeigta, VISi aktivitātes rezultāti tika apkopoti UN aprakstīti nodevuma dokumentā.
Pētniecības projekta realizācijas perioodid: 01.02.2023. – 30.09.2024.
Pētniecības projekta izmaksas – 582 458,00 EUR
Atveseļošanas Fonda līdzfinansējums – 370 108,00 euro t
Projektu līdzfinansē fonds Darbības programmas „Latvijas Atveseļošanas UN noturības mehānisma plāna 5.1. R.” UN investīciju virziena „Produktivitātes caur investīciju apjoma palielināšanu P & A” 5.1.1. R. reformas „Inovāciju pārvaldība UN privāto P & A investīciju motivācija” 5.1.1.2.i. „atbalsta instruments inovāciju klasteru” īstenošanas kompetences Centru ietvaros”.