Google разви модел за превод на знаковен јазик кој може да конвертира сложени движења на телото во текст користејќи повеќе од 100.000 часа податоци од повеќе од 50 знаковни јазици.
Технологијата, наречена претворање на знаковен јазик во текст (SL2T), сега се префрла од фазата на истражување на потрошувачките уреди, почнувајќи со американскиот знаковен јазик (ASL) на Pixel 11.
Моделот овозможува нови функции за превод од карактер во текст во апликациите Gboard и Live Transcribe. Наместо да пишуваат, корисниците можат да користат гестови за пребарување на интернет, пишување пораки и документи или интеракција со Gemini на Google. Во апликацијата Live Transcribe, корисниците можат да користат и гестови за да одговорат за време на разговор.
За разлика од транскрипцијата на говорот, преводот на знаковен јазик не може едноставно да поврзе низа звуци со зборови. Знаковните јазици се посебни јазици со своја граматика и вокабулар. Значењето може да се пренесе истовремено и преку гестови на рацете, изрази на лицето, положба на главата, рацете и торзото.
Затоа преводот на знаковен јазик е проблем и на компјутерски вид и на јазик. SL2T на Google е дизајниран да се справи со двата аспекта, прво претворајќи ги движењата на корисникот на знаковен јазик во структурирана репрезентација, а потоа преведувајќи ги во текст.
Наместо да испраќа необработени снимки од камерата за превод, системот го користи холистичкиот модел MediaPipe на Google за да ги идентификува точките на положба на телото на една личност користејќи знаковен јазик. Тие вклучуваат геометриски координати што ги претставуваат движењата на рацете, лицето и телото.
Само тие координати се испраќаат до системот за превод, додека оригиналното видео може веднаш да се избрише. Овој пристап е дизајниран да ја намали количината на чувствителни визуелни информации што го напуштаат уредот, а сепак да му обезбеди на моделот информации за тоа како лицето го користи знаковниот јазик.
Потоа SL2T директно преведува низа точки од положбата на телото во текст. Не се потпира на среден чекор наречен „сјајување“ или поедноставени етикети што често се користат во истражувањето на знаковниот јазик за да се претстават индивидуални знаци. Google наведува дека ова му овозможува на моделот подобро да разбере елементи како што се просторните односи и невербалните сигнали.
Системот беше обучен на повеќе од 100.000 часа податоци за знаковен јазик што опфаќаат повеќе од 50 јазици, при што околу една четвртина од податоците доаѓаат од американскиот дијалект. „Гугл“ вели дека обуката за различни јазици, дијалекти и различни нивоа на познавање му помогнала на моделот да ги научи структурите вообичаени за знаковните јазици.
На тестот FLEURS-ASL, Google тврди дека добил резултат од 70 BLEURT поени во режим „нулти удар“, што, според него, е значително подобро од претходно објавените резултати. Компанијата го тестирала моделот и во однос на практични предизвици што би можеле да влијаат на неговата секојдневна употреба.
Системот е дизајниран да преведува во реално време или за време на континуиран стриминг, наместо да обработува готово видео. „Гугл“ вели дека развојот вклучувал работа за намалување на латенцијата, спречување на генерирање на измислена содржина кога некое лице не користи знаковен јазик и подобрување на работата со луѓе кои се левак или користат само една рака.
Користењето на едната рака е особено важно со паметните телефони бидејќи можеби ќе треба да го држи телефонот со едната рака, додека со другата користи знаковен јазик.
Google, исто така, вклучи глуви корисници и организации за време на развојот, вклучително и во тестирањето, собирањето податоци и евалуацијата. Компанијата вели дека технологијата е развиена со придонес од експерти за глуви лица и советодавен одбор што ги претставува организациите за глуви лица.
Првичната верзија поддржува превод од ASL на англиски јазик во апликациите Gboard и Live Transcribe на Pixel 11, а Google вели дека ќе следи поддршка за дополнителни уреди и знаковни јазици.
Оваа работа на крајот би можела да се прошири и надвор од самиот превод, при што Google ќе ги наведе генерирањето на знаковен јазик и други апликации како идни насоки на развој.
The post Google разви модел за преведување на знаковен јазик, овозможувајќи им на корисниците да пребаруваат на интернет користејќи гестови appeared first on Во Центар.
