Pētniecības projekts “Mākslīgais intelekts reālā laika subtitrēšana un dublēšanai tiešraidēm”
Pētniecības Projekta “Mākslīgais intelekts reālā laika subtitrēšana un dublēšanai tiešraidēm” noslēgums
IT kompetences centrs īsteno projektu “Informācijas un komunikācijas tehnoloģiju kompetences centrs”, ID. Nr. 5.1.1.2.i.0/1/22/A/CFLA/008.
Projekta “Informācijas un komunikācijas tehnoloģiju kompetences centrs” mērķis ir paaugstināt Informācijas un komunikācijas tehnoloģiju (IKT) nozares komersantu konkurētspēju, sadarbībā ar zinātniskajām institūcijām līdz 2025. gadam. gada 30. jūnijam īstenojot vismaz 12 nozares un starpnozaru pētījumus Biznesa procesu analīzes tehnoloģiju un Dabīgās valodas tehnoloģiju jomās, lai rezultātā vismaz 10 komersanti un ieviestu ražošanā jaunus produktus un Tehnoloģijas.
SIA “TILDE” pētniecības projekts Nr.2.2 “Mākslīgais intelekts reālā laika subtitrēšana un dublēšanai tiešraidēm” uzsākts 2023. gada februārī. 2024. gada ceturtajā ceturksnī ir noslēgusies eksperimentālās aktivitāte “Tiešraižu subtitrēšanas un dublēšanas prototips”. Līdz ar, lai pētniecības projekta ir veiksmīgi noslēdzies.
Gala rezultātā ir radītas praktiski lietojamas Tehnoloģijas un demonstrējams lietojums (intelektuālā īpašuma objekti), kas ir Tālāk attīstāmi un komercializējami. Pētniecības Projekta rezultāti ir pulcēti 2 zinātniskās publikācijās, kas indeksētas SCOPUS un DBLP datubāzēs:
- Kronis, M., Salimbajevs, A. un Pinnis, M. (2024, maijs). Koda jaukta teksta palielināšana latviešu ASR. 2024. gada kopīgās starptautiskās konferences par datorlingvistiku, valodu resursiem un novērtēšanu (LREC-COLING 2024) (3469. –3479. lpp.).
- Nikmanis, D., Bergmanis, T., Salimbajevs, A., & Pinnis, M. (2024, novembris). Daudzslāņu pieeja sanāksmju runas tulkošanas veiktspējas novērtēšanai. Nākamās tehnoloģiju konferences procesā (128. –137. lpp.). Cham: Springer Nature Šveice.
Pētniecības projekta realizācijas periods: 01.02.2023. – 30.09.2024.
Pētniecības projekta kopējās izmaksas – 582 458,00 EUR
Atveseļošanas Fonda līdzfinansējums – 370 108.00 EUR
Projektu līdzfinansē Atveseļošanas fonds darbības programmas “Latvijas Atveseļošanas un noturības mehānisma plāna 5.1.r. reformu un Investīciju virziena “Produktivitātes paaugstināšana caur Investīciju apjoma palielināšanu P & A” 5.1.1.r. reformas “inovāciju pārvaldība un privāto P & A Investīciju motivācija” 5.1.1.2.i. Investīcijas “atbalsta instrumenti inovāciju klasteru prasība” īstenošanas noteikumi kompetences centru ietvaros”.
SIA “tilde” pētniecības Projekta Nr. 2.2 “Mākslīgais intelekts reālā laika subtitrēšana un dublēšanai tiešraidēm” aktualitātes 2024. gada pirmajā ceturksnī
Pētniecības projekts Tiek īstenots IT kompetences centrs Projekta “Informācijas un komunikācijas tehnoloģiju kompetences centrs”, ID. Nr. 5.1.1.2.i.0/1/22/A/CFLA/008, ietvaros.
Projekta “Informācijas un komunikācijas tehnoloģiju kompetences centrs” mērķis ir paaugstināt informācija un komunikācijas tehnoloģiju (IKT) nozares komersantu konkurētspēju, sadarbībā ar zinātniskajām institūcijām līdz 2025. gadam 30. gads. jūnijam īstenojot vismaz 12 nozares un starpnozaru pētījumus Biznesa procesi analīzes tehnoloģiju un Dabīgās valodas tehnoloģiju jomās, lai rezultātā vismaz 10 komersanti un ieviestu jaunus ražošanā produktus un Tehnoloģijas.
Pētniecības projekts “Mākslīgais intelekts reālā laika subtitrēšana un dublēšanai tiešraidēm” uzsākts 2023. gada februārī. 2024. gada pirmajā ceturksnī turpinās rūpnieciskā pētījuma aktivitāšu “reālā laika runas atpazīšana”, “reālā laika runas mašīntulkošana” un “reālā laika dublēšana”, kā arī eksperimentālās aktivitāšu “Balsu korpusa izveide dublēšanai” un “Tiešraižu subtitrēšanas un dublēšanas prototips” īstenošana.
Projekta 1. aktivitātes “reālā laika runas atpazīšana” ietvaros 2024. gada 1.c eturksnī turpinājās pētījumi, kuros tika salīdzinātas dažādas runas atpazīšanas (ASR) modeļu arhitektūras, pētīta valodas modeļu pievienošana, runas aktivitātes noteikšanas un runātāja noteikšanas modeļi. Tika pētīta arī Iespēja reālā laika runas atpazīšanā izmantot atslēgvārdu noteikšanu.
Projekta 2. aktivitātes “reālā laika runas mašīntulkošana” ietvaros tika pētītas metodes reālā laika mašīntulkošanas (MT) ātrdarbības uzlabošanai, atrasta optimāla Transformators modeļu slāņu konfigurācija, kurā būtiski uzlabojas tulkošanas ātrums (par 68%), bet kvalitāte samazinās tikai par 0,68 BLEU punktiem.
Projekta 3. aktivitātes “reālā laika dublēšana” ietvaros tika padziļināti pētīta runas sintēze (TTS), izmantojot VITA runas rīkkopu, tika analizēta kā piemērotība dažādām balsīm, tika atrisināts liels daudzums tehnisku problēmu VITS modeļu trenēšanā un pielāgošanā, kā arī apmācīti VITS modeļi Latviešu balsīm.
Projekta 4. aktivitātes “Balsu korpusa izveides dublēšanai” ietvaros tika pabeigta studijā ierakstāmo datu sagatavošana, sagatavota darba specifikācija studija. Tika veikta studiju apzināšana, cenu aptauja, studijas izvēle un pabeigta ierakstāmo balsu atlase.
Projekta 5. aktivitātes “Tiešraižu subtitrēšanas un dublēšanas prototipi” ietvaros tika izveidoti tīmekļa servisi, kuros vienotā risinājumā tika integrētas vīzas 3 Tehnoloģijas – ASR, MT, TTS un tika veikts darbs pie prototipa konferenču tiešraižu subtitrēšana un dublēšanai.
Pētniecības projekta realizācijas periods: 01.02.2023. – 30.09.2024.
Pētniecības projekta kopējās izmaksas: 582 458,00 EUR
Atveseļošanas Fonda līdzfinansējums: 370 108.00 EUR
Projektu līdzfinansē Atveseļošanas fonds darbības programmas “Latvijas Atveseļošanas un noturības mehānisma plāna 5.1.r. reformu un Investīciju virziena “Produktivitātes paaugstināšana caur Investīciju apjoma palielināšanu P & A” 5.1.1.r. reformas “inovāciju pārvaldība un privāto P & A Investīciju motivācija” 5.1.1.2.i. Investīcijas “atbalsta instrumenti inovāciju klasteru prasība” īstenošanas noteikumi kompetences centru ietvaros”.
SIA “tilde” pētniecības Projekta Nr. 2.2 “Mākslīgais intelekts reālā laika subtitrēšana un dublēšanai tiešraidēm” aktualitātes 2024. gada otrajā ceturksnī
IT kompetences centrs īsteno projektu informācijas un komunikācijas tehnoloģiju kompetences centrs, ID. Nr. 5.1.1.2.i.0/1/22/A/CFLA/008.
Projekta “Informācijas un komunikācijas tehnoloģiju kompetences centrs” mērķis ir paaugstināt informācija un komunikācijas tehnoloģiju (IKT) nozares komersantu konkurētspēju, sadarbībā ar zinātniskajām institūcijām līdz 2025. gadam 30. gads. jūnijam īstenojot vismaz 12 nozares un starpnozaru pētījumus Biznesa procesi analīzes tehnoloģiju un Dabīgās valodas tehnoloģiju jomās, lai rezultātā vismaz 10 komersanti un ieviestu jaunus ražošanā produktus un Tehnoloģijas.
2024. gada otrajā ceturksnī ir noslēgušās pētniecības Projekta rūpnieciskā pētījuma “reālā laika runas atpazīšana”, “reālā laika runas mašīntulkošana” un “reālā laika dublēšana”. Tāpat noslēgusies arī eksperimentālās izstrādes aktivitātes “Balsu korpusa izveide dublēšanai” īstenošana un turpinās aktivitātes “Tiešraižu subtitrēšanas un dublēšanas prototips”.
Projekta 1. aktivitātes “reālā laika runas atpazīšana” ietvaros 2024. gada 2.c eturksnī turpinājās pētījumi, kuros tika salīdzinātas dažādas runas atpazīšanas arhitektūras, pētīta valodas modeļu pievienošana. Periodā aktivitāte tika pabeigta, Visi aktivitātes rezultāti tika apkopoti un aprakstīti pētījuma dokuments, aktivitātes ietvaros izveidotā programmatūra sagatavota prototipā iekļaušanai. Aktivitātē kopumā ir Izveidota tiešsaistē, reālā laika runas atpazīšanas sistēma, kas izmanto jaunu pilna cikla neironu tīklu runas atpazīšanas arhitektūru. Sistēmas runas atpazīšanas kvalitāte būtiski pārsniedz iepriekš pieejamo sistēmu kvalitāti; jaunas sistēmas ietver pieturzīmju atpazīšanu, kas integrēta runas atpazīšanas modelī, un runas atpazīšanas rezultāts Tiek automātiski dalīts subtitros; risinājuma darbināšanai Tiek izmantota K2/Sherpa-ONNX rīkkopa, kam nav nepieciešams GPU.
Projekta 2. aktivitātes “reālā laika runas mašīntulkošana” ietvaros tika pētītas metodes reālā laika mašīntulkošanas papildināšanai ar retiem vārdiem, kas nav sastopami MT apmācības dati, kas pamatā ir rakstītā, nav runātā valoda. Periodā aktivitāte tika pabeigta, Visi aktivitātes rezultāti tika apkopoti un aprakstīti pētījuma dokuments, aktivitātes ietvaros izveidotā programmatūra sagatavota prototipā iekļaušanai. Aktivitātē kopumā ir izpētītas vairākas metodes MT uzlabošanai runas vajadzībām; ir Izveidota Transformators arhitektūra, kas ļauj būtiski uzlabot runas tulkošanas ātrumu, saglabājot kvalitāti; Izveidota metode MT papildināšanai ar retiem vārdiem.
Projekta 3. aktivitātes “reālā laika dublēšana” ietvaros 2024. gada 2.c eturksnī tika padziļināti pētīta fonēmu garumu modelēšanas problēma, atrasts veids, kā uzlabot garumu modelēšanu runas sintēzei. Periodā aktivitāte tika pabeigta, Visi aktivitātes rezultāti tika apkopoti un aprakstīti pētījuma dokuments, aktivitātes ietvaros izveidotā programmatūra sagatavota prototipā iekļaušanai. Aktivitātē kopumā ir Izveidota tiešaistes, reālā laika runas sintēzes sistēma, kas izmanto jaunu pilna cikla neironu tīklu runas sintēzes arhitektūru, kas pielāgota un novērtēta Latviešu valodai; izveidots audiogrāmatu sastatīšanas risinājums; padziļināti izpētīta fonēmu garumu modelēšanas problēma; ANO 2. izveidotas “Runas” sintēzes sistēmas.
Projekta 4. aktivitātes “Balsu korpusa izveides dublēšanai” ietvaros 2024. gada 2.c eturksnī tika pabeigti balsu ieraksti studijā, apstrādāti, pārbaudīti un salaboti saņemtie ieraksti, apkopoti dati par ierakstītajām balsīm. Periodā aktivitāte tika pabeigta, Visi aktivitātes rezultāti tika apkopoti un aprakstīti nodevuma dokuments. Aktivitātē kopumā ir sagatavotas Balss ierakstu vadlīnijas, ANO sagatavotas instrukcijas gan Balss aktieriem, gan ierakstu studija; atlasītas 2 Balss aktieru balsis, kas ierakstītas studijā “Audioworks.lv”; izvērtēta ierakstīto balsu kvalitāte, veikti nepieciešami labojumi. Pēc montēšanas un ierobežojumu apgriešana, tīrrais ierakstītais Balss paraugu apjoms ir: vīrieša Balss – apmēram 14 stundas 20 minūtes un sievietes Balss – apmēram 12 stundas 44 minūtes. Ierakstīto balsu kvalitāte novērtēta, izveidojot 2 runas sintezatorus 3. aktivitātes ietvaros.
Projekta 5. aktivitātes “Tiešraižu subtitrēšanas un dublēšanas prototipi” ietvaros 2024. gada 2.c eturksnī notika darbs pie prototipa konferenču tiešraižu subtitrēšana un dublēšanai, prototipā tika iekļautas jaunākās runas atpazīšanas, mašīntulkošanas un runas sintēzes sistēmas, notika darbs pie prototipa lietojamības uzlabošanas. Tika iesaistīti sadarbības partneri (RE.TV, TV4 un TV3), tai izveidotu API, ko TV varēs integrē savos risinājumos.
Pētniecības projekta realizācijas periods: 01.02.2023. – 30.09.2024.
Pētniecības projekta kopējās izmaksas – 582 458,00 EUR
Atveseļošanas Fonda līdzfinansējums – 370 108.00 EUR
Projektu līdzfinansē Atveseļošanas fonds darbības programmas “Latvijas Atveseļošanas un noturības mehānisma plāna 5.1.r. reformu un Investīciju virziena “Produktivitātes paaugstināšana caur Investīciju apjoma palielināšanu P & A” 5.1.1.r. reformas “inovāciju pārvaldība un privāto P & A Investīciju motivācija” 5.1.1.2.i. Investīcijas “atbalsta instrumenti inovāciju klasteru Attīstība” īstenošanas noteikumi kompetences centru ietvaros"ietvaros.
SIA “tilde” pētniecības Projekta Nr. 2.2 “Mākslīgais intelekts reālā laika subtitrēšana un dublēšanai tiešraidēm” aktualitātes 2024. gada trešajā ceturksnī
IT kompetences centrs īsteno projektu informācijas un komunikācijas tehnoloģiju kompetences centrs, ID. Nr. 5.1.1.2.i.0/1/22/A/CFLA/008.
Projekta “Informācijas un komunikācijas tehnoloģiju kompetences centrs” mērķis ir paaugstināt Informācijas un komunikācijas tehnoloģiju (IKT) nozares komersantu konkurētspēju, sadarbībā ar zinātniskajām institūcijām līdz 2025. gadam. gada 30. jūnijam īstenojot vismaz 12 nozares un starpnozaru pētījumus Biznesa procesu analīzes tehnoloģiju un Dabīgās valodas tehnoloģiju jomās, lai rezultātā vismaz 10 komersanti un ieviestu ražošanā jaunus produktus un Tehnoloģijas.
SIA “TILDE” pētniecības projekts Nr.2.2 “Mākslīgais intelekts reālā laika subtitrēšana un dublēšanai tiešraidēm” uzsākts 2023. gada februārī. 2024. gada trešajā ceturksnī ir noslēgusies pēdējā bez Projekta aktivitātēm. Līdz ar šīs aktivitātes beigām noslēdzas arī pētniecības projekts.
Pētniecības Projekta 5. aktivitātes “Tiešraižu subtitrēšanas un dublēšanas prototips” ietvaros tika pabeigts darbs pie prototipa izstrādes un testēšana. Galvenie darbi, kas veikti šo periodā:
- Pasākumu subtitrēšanas un dublēšanas prototipā integrēta dublēšanas Iespēja;
- Prototips publicēts vietnē https://events.tilde.com/, tai, lai demonstrētu un testētu praktiskos lietojumus;
- Notika veiksmīga prototipa testēšana un demonstrācija dažādos pasākumos, piemēram, sarunu festivāls LAMPA, konferencēs Mārketinga satricinājums 2024, Inovācijas brokastis: AI darbībā Tallinā un Rīgā, kā arī – UNESCO Mindelo Izcilības centra seminārs par jūras zinātni un biodevīriju portugāļu valodā runājošām SIDS;
- Izveidots tiešraižu subtitrēšanas Spraudnis video satura veidošanas programmai “OBS Studio”;
- Izveidots prototips, kas ļauj subtitrus Veidot, izmantojot televīzijās plaši lietojums video straumēšanas protokolu drošs uzticams transporta protokols (SRT);
- Ar Projekta rezultātiem iepazīstināti ārējie sadarbības partneri (SIA “VIDZEMES TELEVĪZIJA”, SIA “4. vara” un SIA “All Media Latvia”), kas, parakstot nodomu protokolu, izrādījuši interesi par Projekta rezultātiem.
Periodā aktivitāte tika pabeigta, Visi aktivitātes rezultāti tika apkopoti un aprakstīti nodevuma dokuments.
Pētniecības projekta realizācijas periods: 01.02.2023. – 30.09.2024.
Pētniecības projekta kopējās izmaksas – 582 458,00 EUR
Atveseļošanas Fonda līdzfinansējums – 370 108.00 EUR
Projektu līdzfinansē Atveseļošanas fonds darbības programmas “Latvijas Atveseļošanas un noturības mehānisma plāna 5.1.r. reformu un Investīciju virziena “Produktivitātes paaugstināšana caur Investīciju apjoma palielināšanu P & A” 5.1.1.r. reformas “inovāciju pārvaldība un privāto P & A Investīciju motivācija” 5.1.1.2.i. Investīcijas “atbalsta instrumenti inovāciju klasteru prasība” īstenošanas noteikumi kompetences centru ietvaros”.