Googleが開発したAI搭載の手話学習ゲームを日本財団が公開

最終更新日:2024/01/26

日本財団は、国連の「手話言語の国際デー」（9月23日）に合わせて開発した手話学習ゲーム「手話タウン」正式版をリリースしました。手話認識技術を搭載し、通常平面のみしか認識しない一般的なカメラを使って、体の動きや表情、うなずき、口形等の特徴を含めた立体的な手話の動きを認識する認識モデルを開発しました。

このAIニュースのポイント

日本財団は手話学習ゲーム「手話タウン」正式版をリリース
手話認識技術を搭載し、立体的な手話の動きを認識する認識モデルを開発
モデル開発はGoogleが担当しソースコードは無償で公開

日本財団は、国連の「手話言語の国際デー」（9月23日）に合わせて開発した手話学習ゲーム「手話タウン」正式版をリリースしました。「手話タウン」は、ICTを活用してより身近に、より気軽に手話の学習を始められる教材として、日本財団と香港中文大学が共同で開発を進め、Googleおよび関西学院大学の協力のもと完成しました。５月にリリースしたベータ版を約8,500人に利用してもらい、フィードバックに基づいて改善を行っています。

「手話タウン」は、学習者が学んだ手話をパソコンカメラの前で表現すると、その手話表現が学習できたかをAI(人工知能)技術で確認することができる世界初（日本財団調べ）の手話学習ゲームとなります。手話認識技術を搭載し、通常平面のみしか認識しない一般的なカメラを使って、体の動きや表情、うなずき、口形等の特徴を含めた立体的な手話の動きを認識する認識モデルを開発。

ゲーム内では、手話が公用語の架空の町を舞台に、カメラに向かって実際に手話でアイテムを指示しながら、旅行に備えて荷物をまとめたり、宿泊するホテルを探したり、カフェで食べるものを注文したりと、様々なシチュエーションに沿った手話をゲーム感覚で学ぶことができます。また、手話に触れたことがない人から日常的に手話を使う人まで幅広く対象としており、手話のみならず、手話を第一言語とするろう者の文化についても理解を深めることができる情報をゲーム内にちりばめられています。

手話は、手の動きだけでなく、体の動きや表情、うなずき、口形等も文法上重要な役割を果たしています。また、一般的なカメラは通常2Dで平面のみしか認識できず、動きや奥行きのある立体的な手話の動作を認識するためには、専用のカメラや手袋などの特別な設備が必要であり、一般的に普及させるのが難しい状況にありました。しかし、本プロジェクトでは、通常平面のみしか認識しない一般的なカメラを使って立体的な手話の動きを、体の動きや表情、うなずき、口形等の特徴を含め認識する認識モデルを開発しました。

これまでの多くの手話認識モデルは、手の形と動きのみに焦点を当てた認識技術を開発していますが、手話は、上半身の向き、うなずき、表情等と組み合わせて表現するため、それだけでは精度の高い認識を行うことはできません。高精度の動作検出を実現させるためには、上半身、頭、顔、口も認識できる機械学習モデルを設計する必要があります。

これらの手話の重要な文法の特徴を認識するために、Googleが公開する機械学習用オープンソースライブラリTensorFlow（TM）を活用し、３つの機械学習モデルを組み合わせた手話動作の検出技術を開発しました。1つ目の機械学習モデルは人のポーズとジェスチャーを認識するPoseNet、2つ目は口と顔の表情を認識するFacemesh、最後に手の形と指の検出のためのハンドトラッキングです。また、適切な学習データを得るために、日本と香港で手話を日常的に使用しているろう者の手話映像データを収集し、システムに学習させました。

この手話認識技術を活用し、手話学習ゲーム「手話タウン」として展開しました。本アプリは標準ブラウザ上で利用できるため、ダウンロードは必要ありません。さらに、すべてがJavascriptを使用してブラウザ内で実行されるため、速い通信速度で利用でき、ユーザーのプライバシーの観点からも安全です。

なお、「手話タウン」ゲームの基盤となっている手話認識技術のソースコードはオープンソースとして無償で公開。これにより、世界中の開発者や研究者が他の手話でも同様の認識技術を容易に開発することを可能にしています。

日本財団は今後、一般的に普及しているパソコンやスマートフォンのカメラを用いて、手話による自然な会話を認識し、音声言語に変換できる自動翻訳モデルの開発を目指します。

出典：PR TIMES