Pētniecības projekts „Mākslīgais reālā intelekts laika subtitrēšanai UN dublēšanai tiešraidēm“

Pētniecības projekta „Mākslīgais intelekts reālā laika subtitrēšanai UN dublēšanai tiešraidēm“ noslēgums

IT kompetences Centrs īsteno projektu: „Informācijas JT komunikācijas tehnoloģiju kompetences centrus, ID. Nr. 5.1.1.2.i.0/1/22/A/CFLA/008.

Projektas „Informācijas UN komunikācijas tehnoloģiju kompetences Centrs“ mērķis ir paaugstināt UN komunikācijas tehnoloģiju (IKT) nozares komersantu konkurētspēju, sadarbībā ar zinātniskajām līdz 2025. gada 30. jūnijam vismaz īstenojot pētījumus 12 nozares UN starpnozaru Biznesa procesu analīzes tehnoloģiju UN Dabīgās valodas tehnoloģiju jomās, Lai rezultātā 10 komersanti attīstu UN ieviestu vismaz informācijas institūcijām UN tehnoloģijas ražošanā jaunus produktus.

SIA „TILDE“ pētniecības projekts Nr. 2.2 „Mākslīgais intelekts laika subtitrēšanai JT dublēšanai reālā“ uzsākts 2023. gada februārī. 2024. gada ceturtajā ceturksnī ir noslēgusies eksperimentālās izstrādes aktivitāte UN „Tiešraižu subtitrēšanas JT dublēšanas prototips“. Līdz ar, jei norite pētniecības projekts ir veiksmīgi noslēdzies.

Gala rezultātā ir radītas praktiski lietojamas tehnoloģijas JT demonstrējams lietojums (intelektuālā īpašuma objekti), kas ir tālāk attīstāmi JT komercializējami. Pētniecības projektas rezultāti ir pulcēti 2 zinātniskās publikācijās, kas indeksētas SCOPUS UN DBLP datubāzēs:

  • Kronis, M., Salimbajevas, A., & Pinnis, M. (2024 m., gegužės mėn.). Kodinis teksto papildymas latvių ASR kalba. 2024 m. Jungtinėje tarptautinėje informatikos, kalbos išteklių ir vertinimo konferencijoje (LREC-COLING 2024) (p. 3469-3479).
  • Nikmanis, D., Bergmanis, T., Salimbajevs, A., & Pinnis, M. (2024 m., lapkričio mėn.). Daugiasluoksnis požiūris į posėdžių kalbėjimo vertimo veiklos vertinimą. Būsimos technologijų konferencijos metu (p. 128-137). Čame Nature Šveicarija.

Pētniecības projektų realizācijas laikotarpiai: 01.02.2023. – 30.09.2024.

Pētniecības projekta kopējās izmaksas – 582 458,00 EUR

Atveseļošanas Fonda līdzfinansējums – 370 108,00 EUR

Projektu līdzfinansē Atveseļošanas fonds Darbības programmas paaugstināšana Latvijas Atveseļošanas UN noturības mehānisma plāna 5.1.r. reformu UN investīciju investīciju apjoma caur palielināšanu Produktivitātes P & A 5.1.1.r. reformas pārvaldība Inovāciju UN privāto P & A investīciju motivācija““ 5.1.1.2.i. investīcijas virziena atbalsta instruments inovāciju klasteru“ centru centru centru ietvaros attīstībai īstenošanas noteikumi ietvaros kompetences.

SIA „Tilde“ pētniecības projektas Nr. 2.2 „Mākslīgais intelekts laika subtitrēšanai UN dublēšanai“ aktualitātes 2024. gada pirmajā tiešraidēm

Pētniecības projekts Tiek īstenots IT kompetences CENTRA projektaInformācijas JT komunikācijas tehnoloģiju kompetences centrus, ID. Nr. 5.1.1.2.i.0/1/22/A/CFLA/008, ietvaros.

Projektas „Informācijas JT komunikācijas tehnoloģiju kompetences centrus“ mērķis ir paaugstināt informācijas UN komunikācijas tehnoloģiju (IKT) nozares komersantu konkurētspēju, sadarbībā ar zinātniskajām institūcijām līdz 2025. gada 30. jūnijam vismaz īstenojot pētījumus 12 nozares UN starpnozaru Biznesa procesu analīzes tehnoloģiju UN UN Dabīgās valodas tehnoloģiju jomās UN, Lai to rezultātā vismaz 10 komersanti attīstu UN ieviestu UN UN UN UN tehnoloģijas ražošanā jaunus produktus.

Pētniecības projekts „Mākslīgais intelekts laika subtitrēšanai UN dublēšanai tiešraidēm“ uzsākts 2023. gada februārī. 2024. gada pirmajā turpinās rūpnieciskā pētījuma aktivitāšu ceturksnī „„Reālā laika RunAs atpazīšana, Reālā laika RunAs mašīntulkošana eksperimentālās UN Reālā laika dublēšana īstenošana „, kā arī izstrādes aktivitāšu „„balsu korpusa izveide subtitrēšanas „„UN dublēšanas prototips „dublēšanai Tiešraižu īstenošana.

 

1 projektas. aktivitātes „Reālā laika RunAs atpazīšana“ ietvaros 2024. gada 1. ceturksnī turpinājās pētījumi, kuros tika salīdzinātas dažādas runos atpazīšanas (ASR) modeļu arhitektūras, pētīta valodas modeļu pievienošana, runos aktivitātes noteikšanas JT runātāja noteikšanas UN modeļi. Tika pētīta arī reālā iespēja laika RunAs atpazīšanā izmantot atslēgvārdu noteikšanu.

2 projektas. aktivitātes „Reālā laika RunAs mašīntulkošana“ ietvaros tika pētītas metodai reālā laika mašīntulkošanas (MT) ātrdarbības uzlabošanai, atrasta optimāla Transformatorius modeļu slāņu konfigurācija, kurā uzlabojas tulkošanas ātrums būtiski (68 punktas%), bet kvalitāte samazinās tikai 0,68 punkto BLEU punktiem.

3 projektas. aktivitātes „Reālā laika dublēšana“ ietvaros tika padziļināti pētīta RunAs sintēze (TTS), izmantojot VITS RunAs rīkkopu, tika analizēta piemērotība dažādām balsīm, tika atrisināts daudzums tehnisku problēmu VITS modeļu trenēšanā UN pielāgošanā, kā arī VITS modeļi latviešu vairākām apmācīti balsīm.

4 projektas. aktivitātes „balsu korpusa izveide dublēšanai“ ietvaros tika pabeigta studijā ierakstāmo atu sagatavošana, sagatavota dar specifikācija studijai. Tika veikta studiju apzināšana, cenu aptauja, studijas izvēle UN pabeigta ierakstāmo balsu atlase.

5 projektas. aktivitātes „Tiešraižu subtitrēšanas JT dublēšanas prototips“ ietvaros tika izveidoti tīmekļa servisi, kuros risinājumā tika integrētas vizos 3 tehnoloģijas – ASR, MT, TTS UN tika veikts darbs pie prototipa tiešraižu subtitrēšanai UN dublēšanai.

 

Pētniecības projektų realizācijas laikotarpiai: 01.02.2023. – 30.09.2024.

Pētniecības projekta kopējās izmaksas: 582 458,00 EUR

Atveseļošanas Fonda līdzfinansējums: 370 108,00 EUR

 

Projektu līdzfinansē Atveseļošanas fonds Darbības programmas paaugstināšana Latvijas Atveseļošanas UN noturības mehānisma plāna 5.1.r. reformu UN investīciju investīciju apjoma caur palielināšanu Produktivitātes P & A 5.1.1.r. reformas pārvaldība Inovāciju UN privāto P & A investīciju motivācija““ 5.1.1.2.i. investīcijas virziena atbalsta instruments inovāciju klasteru“ centru centru centru ietvaros attīstībai īstenošanas noteikumi ietvaros kompetences.

SIA „Tilde“ pētniecības projektas Nr. 2.2 „Mākslīgais intelekts laika subtitrēšanai UN dublēšanai“ aktualitātes 2024. gada otrajā tiešraidēm

IT kompetences Centrs īsteno projektu „Informācijas UN komunikācijas tehnoloģiju Centrs“, ID. Nr. 5.1.1.2.i.0/1/22/A/CFLA/008. 

Projektas „Informācijas JT komunikācijas tehnoloģiju kompetences centrus“ mērķis ir paaugstināt informācijas UN komunikācijas tehnoloģiju (IKT) nozares komersantu konkurētspēju, sadarbībā ar zinātniskajām institūcijām līdz 2025. gada 30. jūnijam vismaz īstenojot pētījumus 12 nozares UN starpnozaru Biznesa procesu analīzes tehnoloģiju UN UN Dabīgās valodas tehnoloģiju jomās UN, Lai to rezultātā vismaz 10 komersanti attīstu UN ieviestu UN UN UN UN tehnoloģijas ražošanā jaunus produktus. 

2024. gada otrajā ceturksnī ir noslēgušās pētniecības projekta rūpnieciskā aktivitātes pētījuma „„Reālā laika RunAs atpazīšana“, „Reālā laika RunAs mašīntulkošana“ UN „Reālā laika dublēšana“. Tāpat noslēgusies eksperimentālās arī izstrādes „aktivitātes balsu korpusa izveide dublēšanai īstenošana JT turpinās aktivitātes UN JT dublēšanas prototips Tiešraižu subtitrēšanas īstenošana.

 

1 projektas. aktivitātes „Reālā laika RunAs atpazīšana“ ietvaros 2024. gada 2. ceturksnī turpinājās pētījumi, kuros tika salīdzinātas dažādas runos atpazīšanas modeļu,, pētīta valodas modeļu pievienošana arhitektūras. Šajā periodā aktivitāte tika pabeigta, Visi aktivitātes rezultāti tika apkopoti UN aprakstīti pētījuma dokumentā, aktivitātes ietvaros izveidotā programmatūra iekļaušanai sagatavota prototipā. Aktivitātē kopumā ir izveidota tiešsaiste, reālā laika RunAs atpazīšanas sistēma, kas izmanto pilna cikla arhitektūru tīklu RunAs atpazīšanas neironu. Sistēmas runos atpazīšanas kvalitāte būtiski pārsniedz pieejamo iepriekš sistēmu kvalitāti; jaunā sistēma pieturzīmju ietver atpazīšanu, kas integrēta RunAs atpazīšanas modelī, JT RunAs atpazīšanas rezultāts Tiek automātiski dalīts; subtitros; risinājuma darbināšanai Tiek izmantota K2/Sherpa-ONNX rīkkopa, kam NAV nepieciešams GPU. 

2 projektas. aktivitātes „Reālā laika RunAs mašīntulkošana“ ietvaros tika pētītas metodai reālā laika mašīntulkošanas ar retiem vārdiem, kas Na sastopami MT apmācības datos, kas pamatā ir rakstītā, Nevis runātā valoda. Šajā periodā aktivitāte tika pabeigta, Visi aktivitātes rezultāti tika apkopoti UN aprakstīti pētījuma dokumentā, aktivitātes ietvaros izveidotā programmatūra iekļaušanai sagatavota prototipā. Aktivitātē kopumā ir izpētītas vairākas metodes MT uzlabošanai RunAs vajadzībām; ir izveidota Transformatorius arhitektūra, kas ļauj būtiski uzlabot runos tulkošanas ātrumu, saglabājot kvalitāti; izveidota metode MT papildināšanai ar retiem vārdiem. 

3 projektas. aktivitātes „Reālā laika dublēšana“ ietvaros 2024. gada 2. ceturksnī tika padziļināti pētīta modelēšanas garumu problēma fonēmu, atrasts veids, kā uzlabot modelēšanu garumu runAs sintēzei. Šajā periodā aktivitāte tika pabeigta, Visi aktivitātes rezultāti tika apkopoti UN aprakstīti pētījuma dokumentā, aktivitātes ietvaros izveidotā programmatūra iekļaušanai sagatavota prototipā. Aktivitātē kopumā ir izveidota tiešaistes, reālā laika RunAs sintēzes sistēma, kas izmanto pilna cikla jaunu pielāgota RunAs sintēzes neironu, kas tīklu UN novērtēta latviešu arhitektūru valodai; izveidotai, audiogrāmatu sastatīšanas risinājums; padziļināti izpētīta fonēmu modelēšanas garumu problēma; UN izveidotas 2 RunAs sintēzes sistēmas. 

4 projektas. aktivitātes „balsu korpusa izveide dublēšanai“ ietvaros 2024. gada 2. ceturksnī tika pabeigti balsu ieraksti studijā, apstrādāti, pārbaudīti UN salaboti saņemtie ieraksti, apkopoti diena par ierakstītajām balsīm. Šajā periodā aktivitāte tika pabeigta, Visi aktivitātes rezultāti tika apkopoti UN aprakstīti nodevuma dokumentā. Aktivitātē kopumā ir sagatavotas balss ierakstu vadlīnijas, JT sagatavotas instrukcijas gan balss aktieriem, gan ierakstu studijai; 2 atlasītas balss aktieru balsis, kas ierakstītas studijā „Audioworks.lv; izvērtēta ierakstīto balsu kvalitāte, veikti nepieciešami labojumi. Pēc montēšanas JT klusumu apgriešanas, tīrais balss paraugu apjoms ierakstītais ir: vīrieša balss – apmēram 14 stundas 20 minūtes JT sievietes balss – apmēram 12 stundas 44 minūtes. Ierakstīto balsu kvalitāte novērtēta, izveidojot 2 runos sintezatorus 3. aktivitātes ietvaros. 

5 projektas. aktivitātes „Tiešraižu subtitrēšanas JT dublēšanas prototips“ ietvaros 2024. gada 2. ceturksnī darbs pie prototipa tiešraižu subtitrēšanai konferenču UN dublēšanai, prototipā tika iekļautas jaunākās RunAs atpazīšanas, mašīntulkošanas UN RunAs sintēzes lietojamības, notika darbs pie prototipa sistēmas uzlabošanas. Tika iesaistīti sadarbības Partneri (RE.TV, TV4 UN TV3), Lai izveidotu API, ko televīzijas varēs integrēt savos risinājumos. 

 

Pētniecības projektų realizācijas laikotarpiai: 01.02.2023. – 30.09.2024. 

Pētniecības projekta kopējās izmaksas – 582 458,00 EUR 

Atveseļošanas Fonda līdzfinansējums – 370 108,00 EUR 

 

Projektu līdzfinansē Atveseļošanas fondai Darbības programmas „Latvijas Atveseļošanas UN noturības mehānisma plāna 5.1.r. reformu UN investīciju caur investīciju apjoma Produktivitātes paaugstināšana palielināšanu P & A 5.1.1.r. reformas pārvaldība Inovāciju UN privāto P & A investīciju motivācija virziena“ 5.1.1.2.i. investīcijas atbalsta instrumentai inovāciju klasteru attīstībai īstenošanas noteikumi kompetences centru ietvaros- ietvaros. 

SIA „Tilde“ pētniecības projektas Nr. 2.2 „Mākslīgais intelekts laika subtitrēšanai UN dublēšanai“ aktualitātes 2024. gada trešajā tiešraidēm

IT kompetences Centrs īsteno projektu „Informācijas UN komunikācijas tehnoloģiju Centrs“, ID. Nr. 5.1.1.2.i.0/1/22/A/CFLA/008.

Projektas „Informācijas UN komunikācijas tehnoloģiju kompetences Centrs“ mērķis ir paaugstināt UN komunikācijas tehnoloģiju (IKT) nozares komersantu konkurētspēju, sadarbībā ar zinātniskajām līdz 2025. gada 30. jūnijam vismaz īstenojot pētījumus 12 nozares UN starpnozaru Biznesa procesu analīzes tehnoloģiju UN Dabīgās valodas tehnoloģiju jomās, Lai rezultātā 10 komersanti attīstu UN ieviestu vismaz informācijas institūcijām UN tehnoloģijas ražošanā jaunus produktus.

SIA „TILDE“ pētniecības projekts Nr. 2.2 „Mākslīgais intelekts laika subtitrēšanai JT dublēšanai reālā“ uzsākts 2023. gada februārī. 2024. gada trešajā ceturksnī ir noslēgusies pēdējā projekta aktivitātēm. Līdz ar šīs aktivitātes noslēdzas beigām arī. pētniecības projekts.

5 pētniecības projektas. aktivitātes „Tiešraižu subtitrēšanas JT dublēšanas prototips“ ietvaros tika pabeigts darbs pie prototipa izstrādes UN testēšanas. Galvenie darbi, kas veikti šajā periodā:

  • Pasākumu subtitrēšanas JT dublēšanas prototipā integrēta dublēšanas iespēja;
  • Prototips publicēts https://events.tilde.com/, vietnē Lai demonstrētu JT testētu praktiskos lietojumos;
  • Notika veiksmīga prototipa UN demonstrācija dažādos testēšana pasākumos, piemēram, konferencēs festivālā LAMPA, sarunu Rinkodaros kokteilis 2024, Inovacijų pusryčiai: AI veikia Tallinā UN Rīgā, kā arī – UNESCO Mindelo jūrų mokslo ir portugališkai kalbančių SIDS Biodevirsity kompetencijos centro seminaras;
  • Izveidots tiešraižu subtitrēšanas spraudnis video satura veidošanas programmai „OBS Studio“;
  • Izveidots prototips, kas ļauj subtitrus veidot izmantojot televīzijās plaši lietoto video straumēšanas protokolu Secure reliable Transport Protocol (SRT);
  • Ar projekta rezultātiem iepazīstināti sadarbības ārējie Partneri (SAI „VIDZEMES TELEVĪZIJA“, SAI „4. Vara“ UN SAI „All Media Latvia“), kas, parakstot nodomu protokolu, izrādījuši interesi par projekta rezultātiem.

Šajā periodā aktivitāte tika pabeigta, Visi aktivitātes rezultāti tika apkopoti UN aprakstīti nodevuma dokumentā.


Pētniecības projektų realizācijas laikotarpiai: 01.02.2023. – 30.09.2024.

Pētniecības projekta kopējās izmaksas – 582 458,00 EUR

Atveseļošanas Fonda līdzfinansējums – 370 108,00 EUR


Projektu līdzfinansē Atveseļošanas fonds Darbības programmas paaugstināšana Latvijas Atveseļošanas UN noturības mehānisma plāna 5.1.r. reformu UN investīciju investīciju apjoma caur palielināšanu Produktivitātes P & A 5.1.1.r. reformas pārvaldība Inovāciju UN privāto P & A investīciju motivācija““ 5.1.1.2.i. investīcijas virziena atbalsta instruments inovāciju klasteru“ centru centru centru ietvaros attīstībai īstenošanas noteikumi ietvaros kompetences.