Komplex környezetben az emberek jobban megérthetik a beszéd jelentését, mint az AI, mert nemcsak a fülünket, hanem a szemünket is használjuk.
Például látjuk, hogy valaki szája mozog, és intuitív módon tudhatja, hogy a hallott hangnak ebből a személyből kell származnia.
A Meta AI egy új AI -párbeszédrendszeren dolgozik, amelynek célja az AI tanítása, hogy megtanulja felismerni a finom korrelációkat a beszélgetésben látott és hallás között.
A VisualVoice hasonló módon tanul, mint az emberek, hogy az emberek megtanulják elsajátítani az új készségeket, lehetővé téve az audiovizuális beszédválasztást azáltal, hogy vizuális és hallási útmutatásokat tanulnak a jelöletlen videókból.
A gépek számára ez jobb észlelést teremt, míg az emberi észlelés javul.
Képzelje el, hogy részt vehet a Metaverse csoportos találkozókon a világ minden tájáról kollégákkal, csatlakozva a kisebb csoportos találkozókhoz, amikor a virtuális téren mozognak, amelynek során a hangjelek és a jelenet hangja a környezet szerint megfelelően alkalmazkodik.
Vagyis audio, video- és szöveges információkat egyszerre szerezhet, és gazdagabb környezeti megértési modelljével rendelkezik, lehetővé téve a felhasználók számára, hogy "nagyon wow" hangélményt kapjanak.
A postai idő: július 20-2022
