手話をリアルタイムで言葉に変換してくれる手袋が開発される（米研究）

この画像を大きなサイズで見る

　手話を自動的に言葉に変換することができたら、手話ができる人とできない人とのコミュニケーションの壁はぐっと下がるだろう。

　このほどアメリカ・カリフォルニア大学ロサンゼルス校の研究チームが開発したグローブ型のウェアラブルデバイスは、そんな夢を実現してくれる。

　「私たちの願いは、手話を使う人が、それを理解しない人と通訳なしで簡単にコミュニケーションを交わす道筋をつけることです」と、チェン・ジュン氏。それ以外にも、手話を勉強するときの手助けにもなってほしいと語っている。

伸縮性センサーでスマホに送信、手話が言語化

　グローブ型デバイスには、5本の指に沿って薄型の伸縮性センサーが内蔵されている。センサーは導電性糸で作られたもので、手の動きや指の位置を検出することができる。

　そのデータは電気信号に変換され、手の甲のところに内蔵されたコインほどの大きさの回路基盤に送信。ここからさらにワイヤレスでスマホに送信され、アプリによって手話の内容が話し言葉に変換・発音される。

　これまでにも手話の変換システムは考案されていたが、それらは重くかさばり、長時間着用するには不向きだったそうだ。

　しかし今回のグローブ型デバイスは、丈夫でありながら、軽く伸縮性があり、しかも安価なポリマーで作られており、センサー自体が柔軟だ。いつまでも快適に使えることだろう。

この画像を大きなサイズで見る

　また手話では顔の表情も重要な役割を果たしている。そこで研究チームは、眉間と口の両脇に取り付ける顔センサーも開発中だそうだ。

日本語対応に期待

　デバイスを開発する際は、手話の話者に各サインを15回繰り返してもらい、それを専用の機械学習アルゴリズムで解析して、文字・数字・単語・フレーズなどに変換している。

　現時点では、アルファベットや数字など、660種のサインを認識できるそうだ。変換速度は1秒で1単語程度だ。

　すでに特許出願されているが、きちんとした製品を開発するまでにはさらに語彙を増やし、変換速度を向上させる必要があるとのこと。

　また今のところ、アメリカ英語に対応する手話のみで開発が進められているそうなので、いつかは日本語への対応も期待したいところだ。

この研究は『Nature Electronics』（6月29日付）に掲載された。

Sign-to-speech translation using machine-learning-assisted stretchable sensor arrays | Nature Electronics
https://www.nature.com/articles/s41928-020-0428-6

References:Wearable-tech glove writtens sign language into speech in real time | UCLA/ written by hiroching / edited by parumo