そこで新たに開発されたのが、AI（人工知能）で手話をリアルタイムで通訳してくれるシステムだ。
インドの学生が開発したAIモデルは、画面上で手話の動きをすると、瞬時にそれをテキストに変換してくれるという。
広告
リアルタイムで手話を通訳するAIモデル
画像認識技術を応用して作られたその手話通訳AIは、腕や指など体の複数のパーツの動きを分析して、アメリカ式の手話を英語に変換する。開発したのは、インド、ヴェロール大学工学部の学生プリヤンジャリ・グプタさんだ。彼女によると、この開発の原動力になったのは、工学部の学生として人の役に立つ、特別なことにトライしなさいという母親からの励ましだったという。
「私の知識とスキルで何ができるか考えさせられました。それで包括的テクノロジーのアイデアが閃き、一連の計画に着手しました」と語っている。
Brilliant stuff 👏
— Nigel D'Souza (@Nigel__DSouza) February 17, 2022
Priyanjali Gupta, a 3rd year computer science student at Vellore Institute of Technology has built an AI powered model that translates sign languages to English. pic.twitter.com/rB53b4CGyI
開発初期段階だが実現可能なアイデア
手話通訳AIは、聴覚に障害がある人々のコミュニケーションをより円滑にしてくれると大いに期待できるが、今はまだ開発初期段階だ。現在認識できる手話は、「はい」「いいえ」「こんにちは」「ありがとう」、そして「愛してる」の基本的なものだけだ。
こうしたモデルの信頼性を高めるには大量の手話データでAIを学習させねばならない。
今回使われたデータセットは、ウェブカメラを使って手作業で作成されたものだという。それゆえに、1フレームだけしか学習できず、連続した動作はまだ検出することはできないが、このアイデアの可能性は十分実証されただろう。
現在グプタさんは、「LSTM（Long-Short Term Memory network）」という人工回帰型ニューラルネットワークで、複数のフレームを取り込めるよう研究を続けているとのことだ。
またAIの開発には、機械学習の専門家で、人気ユーチューバでもあるニコラス・レノッテ氏からの協力も仰いだとのこと。
Real Time Sign Language Detection with Tensorflow Object Detection and Python | Deep Learning SSD
高性能な手話通訳AIの誕生は近い？
グプタさんはこのAIモデルをソフトウェア開発のプラットフォーム「Github」に公開した。オープンソースにすることで、コミュニティの力を借りながら、課題を解決しつつ、作業をさらに進められるだろうと期待している。なおアメリカにおいて、手話は英語とスペイン語について3番目に話者が多い言語なのだそうだ。
現時点で、そうした需要をズームなどのコミュニケーションアプリが満たしているとは言い難い。しかし昨今のコロナ禍でこの状況に注目が集まっているのだという。
ちなみにケニアでは、手話を音声に変換してくれる「手袋型デバイス」も開発されている。手話の話者とそれを理解しない人との間の言葉の壁は、思っているよりも早くなくなるかもしれない。
References:Priyanjali Gupta Sign Language: Engineering student's AI model turns American Sign Language into English in real-time / written by hiroching / edited by parumo
あわせて読みたい
手話を知らなくても会話できる。手話を言葉に変換する手袋デバイスが開発される
手話をリアルタイムで言葉に変換してくれる手袋が開発される（米研究）
耳の不自由な配達員に感謝の気持ちを伝えたくて、手話を学んだ少女。2人の間に芽生えた友情物語（イギリス）
その声は本物？合成？会話相手の音声がAIかどうかを警告するデバイスが登場
バッタの耳を使って聞くことができるデバイスが開発される
184
6456
13
35
コメント
1. 匿名処理班
マンデラ大統領追悼会のデタラメ手話師を翻訳したら、何が表記されるのか見て見たい。
2. 匿名処理班
パソコン使うなら最初から文字入力でいいんじゃないか
3. 匿名処理班
※2
キー入力より手話の方が速いんじゃないかな。
リアルタイムでの通話を可能にすることを目的としてるんだろう。
4. 匿名処理班
Google翻訳の謎翻訳みたいなの表示されたら笑ってしまうからリアルタイム翻訳は危険
5. 匿名処理班
手話は万国共通語なら言葉の壁って無くなる気がする
6. 匿名処理班
問題は色々ある
手話にはとにかくたくさん方言があり、同じ動きでも意味がまったく変わってしまうこと
聴覚障害者はＡＩが読み取りやすい手話の動き方に対応した変化をしたがらないこと
7. 匿名処理班
昔、「手話のマシンガントーク」なる言葉を耳にしたことがあるのだが対応可能なのかな
8. 匿名処理班
その志の尊さよ。
9. 匿名処理班
サムネの手話は知ってる！
テキサスロングホーンだ！
「ウィー！」
10. 匿名処理班
>>6
前者はともかく後者は偏った見方をしてないか
11. 匿名処理班
※9
まさかスタンハンセンにI love youを伝えられていたとは
12.
13. 匿名処理班
AIしてると言ってくれ
14. 匿名処理班
※5
万国共通じゃないよ。
それぞれの文化背景に応じた手話体系がある。
例えば、親指と人差し指で輪っかを作るのは、
日本だと「お金」、欧米のほとんどでは「OK」、
一部のフランス語圏では「ゼロ、無料」、
ギリシャ・トルコ方面では「穴」の意味だそうです。
あと、小指を立てると「女」、親指を立てると「男」
というのも、日本人同士なら健常者でも直感的に判りやすいが、
他国の人間にはチンプンカンプン。
あと、根本的に、日本語なら
「主語 ＋ 各種の修飾句 ＋ 述語」の文法構成がベースだけど、
欧米だと「主語 ＋ 動詞形 ＋ 目的語」の語順を基本としつつ
手話独特の構文も多いそう（過去を示す語が動詞より前に付く、
目的語が文頭に出る、日本語みたいにS＋O＋Vになる等）。
15. 匿名処理班
※13
どや、冒頭の彼女が常盤 貴子に見えてきたやろ
16. 匿名処理班
かわいくてかしこい
もはや神か