手話をリアルタイムで通訳してくれるAIを開発。動きをテキストで変換

この画像を大きなサイズで見る

　テレビ会議システムなど、オンラインを介したコミュニケーションは一般的になっている。だが、映像と音声を使ったやり取りとなると、耳の不自由な人には困難だ。

　そこで新たに開発されたのが、AI（人工知能）で手話をリアルタイムで通訳してくれるシステムだ。

　インドの学生が開発したAIモデルは、画面上で手話の動きをすると、瞬時にそれをテキストに変換してくれるという。

リアルタイムで手話を通訳するAIモデル

　画像認識技術を応用して作られたその手話通訳AIは、腕や指など体の複数のパーツの動きを分析して、アメリカ式の手話を英語に変換する。

　開発したのは、インド、ヴェロール大学工学部の学生プリヤンジャリ・グプタさんだ。彼女によると、この開発の原動力になったのは、工学部の学生として人の役に立つ、特別なことにトライしなさいという母親からの励ましだったという。

　「私の知識とスキルで何ができるか考えさせられました。それで包括的テクノロジーのアイデアが閃き、一連の計画に着手しました」と語っている。

Brilliant stuff 👏

Priyanjali Gupta, a 3rd year computer science student at Vellore Institute of Technology has built an AI powered model that writtens sign languages to English. pic.twitter.com/rB53b4CGyI

— Nigel D'Souza (@Nigel__DSouza) February 17, 2022

開発初期段階だが実現可能なアイデア

　手話通訳AIは、聴覚に障害がある人々のコミュニケーションをより円滑にしてくれると大いに期待できるが、今はまだ開発初期段階だ。

　現在認識できる手話は、「はい」「いいえ」「こんにちは」「ありがとう」、そして「愛してる」の基本的なものだけだ。

　こうしたモデルの信頼性を高めるには大量の手話データでAIを学習させねばならない。

　今回使われたデータセットは、ウェブカメラを使って手作業で作成されたものだという。それゆえに、1フレームだけしか学習できず、連続した動作はまだ検出することはできないが、このアイデアの可能性は十分実証されただろう。

　現在グプタさんは、「LSTM（Long-Short Term Memory network）」という人工回帰型ニューラルネットワークで、複数のフレームを取り込めるよう研究を続けているとのことだ。

　またAIの開発には、機械学習の専門家で、人気ユーチューバでもあるニコラス・レノッテ氏からの協力も仰いだとのこと。

高性能な手話通訳AIの誕生は近い？

　グプタさんはこのAIモデルをソフトウェア開発のプラットフォーム「Github」に公開した。オープンソースにすることで、コミュニティの力を借りながら、課題を解決しつつ、作業をさらに進められるだろうと期待している。

　なおアメリカにおいて、手話は英語とスペイン語について3番目に話者が多い言語なのだそうだ。

　現時点で、そうした需要をズームなどのコミュニケーションアプリが満たしているとは言い難い。しかし昨今のコロナ禍でこの状況に注目が集まっているのだという。

　ちなみにケニアでは、手話を音声に変換してくれる「手袋型デバイス」も開発されている。手話の話者とそれを理解しない人との間の言葉の壁は、思っているよりも早くなくなるかもしれない。

References:Priyanjali Gupta Sign Language: Engineering student’s AI model turns American Sign Language into English in real-time / written by hiroching / edited by parumo

• #動画
• #人工知能（AI）
• #リアルタイム
• #変換
• #手話