手話を言葉に変換する手袋
手話を言葉に変換する手袋 image by:UCLA

 手話を自動的に言葉に変換することができたら、手話ができる人とできない人とのコミュニケーションの壁はぐっと下がるだろう。

 このほどアメリカ・カリフォルニア大学ロサンゼルス校の研究チームが開発したグローブ型のウェアラブルデバイスは、そんな夢を実現してくれる。

 「私たちの願いは、手話を使う人が、それを理解しない人と通訳なしで簡単にコミュニケーションを交わす道筋をつけることです」と、チェン・ジュン氏。それ以外にも、手話を勉強するときの手助けにもなってほしいと語っている。
スポンサードリンク

伸縮性センサーでスマホに送信、手話が言語化


 グローブ型デバイスには、5本の指に沿って薄型の伸縮性センサーが内蔵されている。センサーは導電性糸で作られたもので、手の動きや指の位置を検出することができる。

 そのデータは電気信号に変換され、手の甲のところに内蔵されたコインほどの大きさの回路基盤に送信。ここからさらにワイヤレスでスマホに送信され、アプリによって手話の内容が話し言葉に変換・発音される。


New glove translates sign language to speech

 これまでにも手話の変換システムは考案されていたが、それらは重くかさばり、長時間着用するには不向きだったそうだ。

 しかし今回のグローブ型デバイスは、丈夫でありながら、軽く伸縮性があり、しかも安価なポリマーで作られており、センサー自体が柔軟だ。いつまでも快適に使えることだろう。

1_e4
image by:UCLA

 また手話では顔の表情も重要な役割を果たしている。そこで研究チームは、眉間と口の両脇に取り付ける顔センサーも開発中だそうだ。


日本語対応に期待


 デバイスを開発する際は、手話の話者に各サインを15回繰り返してもらい、それを専用の機械学習アルゴリズムで解析して、文字・数字・単語・フレーズなどに変換している。

 現時点では、アルファベットや数字など、660種のサインを認識できるそうだ。変換速度は1秒で1単語程度だ。

 すでに特許出願されているが、きちんとした製品を開発するまでにはさらに語彙を増やし、変換速度を向上させる必要があるとのこと。

 また今のところ、アメリカ英語に対応する手話のみで開発が進められているそうなので、いつかは日本語への対応も期待したいところだ。

この研究は『Nature Electronics』(6月29日付)に掲載された。
Sign-to-speech translation using machine-learning-assisted stretchable sensor arrays | Nature Electronics
https://www.nature.com/articles/s41928-020-0428-6
References:Wearable-tech glove translates sign language into speech in real time | UCLA/ written by hiroching / edited by parumo
あわせて読みたい
マスクをすると手話が成り立たないから。聴覚障碍者用のマスクを21歳女子大生が開発し無料で発送(アメリカ)


聴覚障碍のある女性が、同じ障碍を持つ愛犬と共に手話でコミュニケーション。犬は手話でお手ができるように(アメリカ)


思いを行動に移したとき、心がつながる。町の住民が手話を覚え、耳の不自由な男性に感動のサプライズ


一緒に笑って一緒に遊ぶ。手話で人間とコミュニケーションがとれるゴリラのココと人生で最高の瞬間を過ごしたロビン・ウィリアムズ


猫、手話を覚える。耳の不自由な猫に手話を教える耳の不自由な女性(アメリカ)

この記事に関連するキーワード

キーワードから記事を探す

    この記事が気に入ったら
    いいね!しよう
    カラパイアの最新記事をお届けします
    この記事をシェア :    

    Facebook

    コメント

    1

    1. 匿名処理班

    • 2020年07月02日 19:05
    • ID:WnY9uvpw0 #

    シュワッチ!!

    2

    2. 匿名処理班

    • 2020年07月02日 19:33
    • ID:SWGu3Za50 #

    これは是非とも商品化を期待します

    3

    3. 匿名処理班

    • 2020年07月02日 20:51
    • ID:SDcbOCWF0 #

    これすごいな。
    なかなか一般人では手話は理解できない。

    4

    4. 匿名処理班

    • 2020年07月02日 21:01
    • ID:zFcr7FNZ0 #

    前にナルトの忍術印結び(手のポーズ)を機械学習で自動解析するっていうのあったよね
    それではカメラで撮影した映像使ってたけど、よく考えたらコレも手話に応用できるのか・・・

    5

    5. 匿名処理班

    • 2020年07月02日 21:06
    • ID:lWakt3LV0 #

    すごいな
    手話って結構口の動きでの補完もあるって聞いたんだけど
    その辺どうなんだろう

    6

    6. 匿名処理班

    • 2020年07月02日 21:23
    • ID:vD.J5MCE0 #

    (手話の)話者の手の動きをカメラで撮影して
    機械学習による画像解析で翻訳という研究が
    結構進んでいるので、実用化&一般化は
    そっちの方が早そうに思えます。

    7

    7. 匿名処理班

    • 2020年07月02日 22:02
    • ID:D3iQIhB70 #

    むしろ言葉を手話に変換してほしい
    手が勝手に動くイメージ

    8

    8. 匿名処理班

    • 2020年07月03日 14:07
    • ID:Cd8HkvTb0 #

    ※6
    これ双方向でできるといいよね。
    ・音声を、スマホの画面上で手話か文章に変換
    ・手話を、スマホで音声か文章に変換

    9

    9. 匿名処理班

    • 2020年07月04日 00:40
    • ID:tiqDsvJi0 #

    手話って日本国内でも共通化してなくて方言というか表現がなかったりあったりして差異多いよ

    10

    10. 匿名処理班

    • 2020年07月04日 15:37
    • ID:d9n7YhQC0 #

    字幕じゃいかんのか?

    11

    11. 匿名処理班

    • 2020年07月12日 14:51
    • ID:KT5zKWlK0 #

    手話の出力にスマホって・・・・
    全聾でもスマホ使えるんやからスマホでそのままメッセージ打てばええやん

    このグローブつかって手話で単語入力させるメリットってなんだ?

    お名前
    スポンサードリンク
    記事検索
    月別アーカイブ
    スマートフォン版
    スマートフォン版QRコード
    「カラパイア」で検索!!
    スポンサードリンク