Pētniecības projekts “Mākslīgais intelekts reālā laiks subtitrēšanai un dublēšanai tiešraidēm”
SIA “Tilde” pētniecības Projekta Nr. 2.2 “Mākslīgais intelekts reālā laiks subtitrēšanai un dublēšanai tiešraidēm” aktualitātes 2024. gadu. gata pirmajā ceturksnī
Pētniecības projekts Tiek īstenots IT kompetences centrs Projekta “Informācijas ANO komunikācijas tehnoloģiju kompetences centri”, ID. Nr. 5.1.1.2.i.0/1/22/A/CFLA/008, ietvaros.
Projekta “Informācijas ANO komunikācijas tehnoloģiju kompetences centrs” mērķis ir paaugstināt informācijas ANO komunikācijas tehnoloģiju (IKT) nozares komersantu konkurētspēju, sadarbībā ar zinātniskajām institūcijām līdz 2025. gads 30. jūnijam īstenojot vismaz 12 nozares ANO starpnozaru pētījumus Biznesa procesu analīzes tehnoloģiju ANO Dabīgās Valodas tehnoloģiju jomās, Lai rezultātā vismaz 10 komersanti ANO tehnoloģijas ražošanā produktus ANO ieviestu.
Pētniecības projekts “Mākslīgais intelekts reālā laiks subtitrēšanai un dublēšanai tiešraidēm” 2023. uzsākts. gata februārī. 2024. gadus pirmajā ceturksnī rūpnieciskā pētījuma aktivitāšu “Reālā laika Runas atpazīšana”, “Reālā laika Runas mašīntulkošana” un “Reālā laika dublēšana” īstenošana, kā arī aktivitāšu “Balsu korpusa Izveide dublēšanai” un “Tiešraižu subtitrēšanas un dublēšanas prototipi”.
Projekta 1. aktivitātes “Reālā laika Runas atpazīšana” 2024. ietvaros. gata 1.c turpinājās pētījumi, kuros tika salīdzinātas dažādas Runas atpazīšanas (ASR) modeļu arhitektūras, pētīta Valodas modeļu pievienošana, Runas aktivitātes noteikšanas ANO runātāja noteikšanas. Tika pētīta arī reālā iespēja laika rindas atpazīšanā mantot atslēgvārdu noteikšanu.
Projekta 2. aktivitātes “Reālā laika Runas mašīntulkošana” ietvaros tika pētītas metodes reālā laika mašīntulkošanas (MT) ātrdarbības uzlabošanai, atrasta optimāla Transformators modeļu slāņu konfigurācija, kurā būtiski tulkošanas ātrums (68. punkts%), likme kvalitāte samazinās tikai par 0,68 BLEU punktiem.
Projekta 3. aktivitātes “Reālā laika dublēšana” ietvaros tika padziļināti pētīta RunAs sintēze (TTS), izmantojot VITS RunAs rīkkopu, tika analizēta piemērotība dažādām balsīm, tika atrisināts Lielās daudzums tehnisku problēmu VITS modeļu trenēšanā un pielāgošanā, kā arī VITS modeļi latviešu balsīm.
Projekta 4. aktivitātes “Balsu korpusa Izveides dublēšanai” ietvaros uz tika pabeigta studijā ierakstāmo datu sagatavošana, sagatavota darba specifikācija studija. Tika veikta studiju apzināšana, cenu aptauja, studiju izvēle un Pabeigta ierakstāmo balsu atlase.
Projekta 5. aktivitātes “Tiešraižu subtitrēšanas un dublēšanas prototipi” ietvaros tika izveidoti tīmekļa servisi, kuros vienotā tika integrētas vīzas 3 tehnoloģijas – ASR, MT, TTS un tika veikts darba pīrāga prototipa konferenču tiešraižu un dublēšanai.
Pētniecības Projekta realizācijas periodi: 01.02.2023. – 30.09.2024.
Pētniecības Projekta kopējās izmaksas: 582 458,00 EUR
Atveseļošanas Fonda līdzfinansējums: 370 108,00 EUR
Projektu līdzfinansē Atveseļošanas fonds Darbības programmas “Latvijas Atveseļošanas ANO noturības mehānisma 5.1.r. reformu ANO investīciju virziena “Produktivitātes paaugstināšana caur investīciju apjomu palielināšanu P & A” 5.1.1.r. reformas “Inovāciju pārvaldība ANO privāto P & A investīciju motivācija” 5.1.1.2.i. investīcijas “atbalsta instrumenti inovāciju klasteru attīstībai” īstenošanas noteikumi kompetences centru ietvaros”.
SIA “Tilde” pētniecības Projekta Nr. 2.2 “Mākslīgais intelekts reālā laiks subtitrēšanai un dublēšanai tiešraidēm” aktualitātes 2024. gadu. gata otrajā ceturksnī
IT kompetences centrs īsteno projektu “Informācijas un komunikācijas tehnoloģiju kompetences centrs”, ID. Nr. 5.1.1.2.i.0/1/22/A/CFLA/008.
Projekta “Informācijas ANO komunikācijas tehnoloģiju kompetences centrs” mērķis ir paaugstināt informācijas ANO komunikācijas tehnoloģiju (IKT) nozares komersantu konkurētspēju, sadarbībā ar zinātniskajām institūcijām līdz 2025. gads 30. jūnijam īstenojot vismaz 12 nozares ANO starpnozaru pētījumus Biznesa procesu analīzes tehnoloģiju ANO Dabīgās Valodas tehnoloģiju jomās, Lai rezultātā vismaz 10 komersanti ANO tehnoloģijas ražošanā produktus ANO ieviestu.
2024. gadu otrajā ceturksnī ir noslēgušās pētniecības Projekta rūpnieciskā pētījuma “Reālā laika Runas atpazīšana”, “Reālā laika Runas mašīntulkošana” un “Reālā laika dublēšana”. Tāpat noslēgusies eksperimentālās izstrādes aktivitātes “Balsu korpusa Izveide dublēšanai” īstenošana ANO turpinās aktivitātes “Tiešraižu subtitrēšanas un dublēšanas prototipi”.
Projekta 1. aktivitātes “Reālā laika Runas atpazīšana” 2024. ietvaros. gata 2.c eturksnī pētījumi, kuros tika salīdzinātas dažādas Runas atpazīšanas modeļu, pētīta Valodas modeļu arhitektūras. Šajā periodā aktivitāte tika pabeigta, Visi aktivitātes rezultāti tika apkopoti un aprakstīti pētījuma dokumentā, aktivitātes ietvaros programmatūra izveidotā prototipā sagatavota iekļaušanai. Aktivitātē kopumā ir izveidota tiešsaiste, reālā laika Runas atpazīšanas sistēma, kas izmanto jaunu Pilna cikla neironu Runas atpazīšanas. Sistēmas Runas atpazīšanas kvalitāte pārsniedz būtiski iepriekš pieejamo sistēmu; jaunā sistēma pieturzīmju atpazīšanu, kas integrēta Runas atpazīšanas modelī, un Runas atpazīšanas rezultāts Tiek automātiski dalīts subtitros; risinājuma darbināšanai Tiek izmantota K2/Sherpa-ONNX rīkkopa, kam nav nepieciešams GPU.
Projekta 2. aktivitātes “Reālā laika Runas mašīntulkošana” ietvaros tika pētītas metodes reālā laiks mašīntulkošanas papildināšanai ar retiem vārdiem, kas nav sastopami MT apmācības dati, kas pamatā ir rakstītā, nevis runātā Valoda. Šajā periodā aktivitāte tika pabeigta, Visi aktivitātes rezultāti tika apkopoti un aprakstīti pētījuma dokumentā, aktivitātes ietvaros programmatūra izveidotā prototipā sagatavota iekļaušanai. Aktivitātē kopumā ir izpētītas vairākas metodes MT uzlabošanai RunAs vajadzībām; ir izveidota Transformators arhitektūra, kas ļauj būtiski uzlabot Runas tulkošanas ātrumu, saglabājot kvalitāti; izveidota metode MT papildināšanai ar retiem vārdiem.
Projekta 3. aktivitātes “Reālā laika dublēšana” 2024. ietvaros. gata 2.c eturksnī tika padziļināti fonēmu garumu modelēšanas problēma, atrasts veids, kā uzlabot garumu modelēšanu Runas sintēzei. Šajā periodā aktivitāte tika pabeigta, Visi aktivitātes rezultāti tika apkopoti un aprakstīti pētījuma dokumentā, aktivitātes ietvaros programmatūra izveidotā prototipā sagatavota iekļaušanai. Aktivitātē kopumā ir izveidota tiešaistes, reālā laika Runas sintēzes sistēma, kas izmanto jaunu Pilna cikla neironu Runas sintēzes arhitektūru, kas pielāgota un novērtēta valodai; izveidots audiogrāmatu sastatīšanas risinājums; padziļināti izpētīta fonēmu garumu modelēšanas problēma; ANO izveidotas 2 Runas sintēzes sistēmas.
Projekta 4. aktivitātes “Balsu korpusa Izveides dublēšanai” ietvaros 2024. gads 2.c eturksnī tika pabeigti balsu ieraksti studijā, apstrādāti, pārbaudīti un salaboti saņemtie ieraksti, apkopoti dati par ierakstītajām balsīm. Šajā periodā aktivitāte tika pabeigts, Visi aktivitātes rezultāti tika apkopoti un aprakstīti nodevums dokumentā. Aktivitātē kopumā ir sagatavotas Balss ierakstu vadlīnijas, ANO sagatavotas instrukcijas gan Balss aktierus, gan ierakstu studija; 2. atlasītas Balss aktieru balsis, kas ierakstītas studijā “Audioworks.lv”; izvērtēta ierakstīto kvalitāte balsu, veikti nepieciešami labojumi. Pēc montēšanas un klusumu apgriešanas, tīrais ierakstītais Balss paraugu apjoms ir: vīrieša Balss – apmēram 14 stundas 20 minūtes un sievietes Balss – apmēram 12 stundas 44 minūtes. Ierakstīto balsu kvalitāte novērtēta, izveidojot 2 Runas sintezatorus 3. aktivitātes ietvaros.
Projekta 5. aktivitātes “Tiešraižu subtitrēšanas un dublēšanas prototipi” 2024. ietvaros. gata 2.c eturksnī notika darba sektoru prototipa konferenču tiešraižu un dublēšanai, prototipā tika iekļautas jaunākās Runas atpazīšanas, mašīntulkošanas un Runas sintēzes sistēmas, notika darba sektoru prototipa lietojamības uzlabošanas. Tika iesaistīti sadarbības partneri (RE.TV, TV4 un TV3), Lai izveidotu API, ko televīzijas varēs savos risinājumos.
Pētniecības Projekta realizācijas periodi: 01.02.2023. – 30.09.2024.
Pētniecības Projekta kopējās izmaksas – 582 458,00 EUR
Atveseļošanas Fonda līdzfinansējums – 370 108,00 EUR
Projektu līdzfinansē Atveseļošanas fonds Darbības programmas “Latvijas Atveseļošanas ANO noturības mehānisma plāna 5.1.r. reforma ANO investīciju virziena “Produktivitātes paaugstināšana caur investīciju apjomu palielināšanu P & A” 5.1.1.r. reformas “Inovāciju pārvaldība ANO privāto P & A investīciju motivācija” 5.1.1.2.i. investīcijas “atbalsta instrumenti inovāciju klasteru attīstībai” īstenošanas noteikumi kompetences centrs ietvarosietvaros.
SIA “Tilde” pētniecības Projekta Nr. 2.2 “Mākslīgais intelekts reālā laiks subtitrēšanai un dublēšanai tiešraidēm” aktualitātes 2024. gadu. gata trešajā ceturksnī
IT kompetences centrs īsteno projektu “Informācijas un komunikācijas tehnoloģiju kompetences centrs”, ID. Nr. 5.1.1.2.i.0/1/22/A/CFLA/008.
Projekta “Informācijas ANO komunikācijas tehnoloģiju kompetences centrs” mērķis ir paaugstināt informācijas ANO komunikācijas tehnoloģiju (IKT) nozares komersantu konkurētspēju institūcijām zinātniskajām 2025. gads 30. jūnijam īstenojot līdz vismaz 12 nozares ANO starpnozaru pētījumus Biznesa procesu analīzes tehnoloģiju un tehnoloģijas Valodas tehnoloģiju jomās, lai rezultātā vismaz 10 komersanti ANO Dabīgās ražošanā jaunus un produktus.
SIA “TILDE” pētniecības projekts Nr. 2.2 “Mākslīgais intelekts reālā laiks subtitrēšanai un dublēšanai tiešraidēm” 2023. uzsākts. gata februārī. 2024. gadus trešajā ceturksnī ir noslēgusies pēdējā nekādu Projekta aktivitātēm. Līdz ar šīs aktivitātes beigām noslēdzas pētniecības projekts.
Pētniecības Projekta 5. aktivitātes “Tiešraižu subtitrēšanas un dublēšanas prototipi” ietvaros tika pabeigts darba sektoru prototips izstrādes un testēšanas. Galvenie Darbi, kas veikti šajā periodā:
- Pasākumu subtitrēšanas ANO dublēšanas prototipā integrēta dublēšanas;
- Prototipi publicēts vietnē https://events.tilde.com/, Lai demonstrētu ANO testētu praktiskos lietojumus;
- Notika veiksmīga prototipa testēšana un demonstrācija dažādos pasākumos, piemēram, sarunu festivālā LAMPA, konferencēs Mārketinga Shake 2024, Inovācijas brokastis: AI darbībā Tallinā ANO Rīgā, kā arī – UNESCO Mindelo izcilības centra seminārs par jūras zinātni un biodevīriju portugāļu valodā runājošajiem SIDS;
- Izveidots tiešraižu subtitrēšanas spraudnis video satura veidošanas “OBS Studio”;
- Izveidots prototips, kas ļauj subtitrus Veidot izmantojot televīzijās protokolu lietoto video straumēšanas plaši drošs uzticams transporta protokols (SRT);
- Ar Projekta rezultātiem iepazīstināti sadarbības partneri (SIA “VIDZEMES TELEVĪZIJA”, SIA “4. vara” un SIA “All Media Latvia”), kas, parakstot nodomu protokolu, izrādījuši interesi par Projekta rezultātiem.
Šajā periodā aktivitāte tika pabeigts, Visi aktivitātes rezultāti tika apkopoti un aprakstīti nodevums dokumentā.
Pētniecības Projekta realizācijas periodi: 01.02.2023. – 30.09.2024.
Pētniecības Projekta kopējās izmaksas – 582 458,00 EUR
Atveseļošanas Fonda līdzfinansējums – 370 108,00 EUR
Projektu līdzfinansē Atveseļošanas fonds Darbības programmas “Latvijas Atveseļošanas ANO noturības mehānisma 5.1.r. reformu ANO investīciju virziena “Produktivitātes paaugstināšana caur investīciju apjomu palielināšanu P & A” 5.1.1.r. reformas “Inovāciju pārvaldība ANO privāto P & A investīciju motivācija” 5.1.1.2.i. investīcijas “atbalsta instrumenti inovāciju klasteru attīstībai” īstenošanas noteikumi kompetences centru ietvaros”.