以前の記事で、聴覚障がいのある方たちのためのテクノロジーについて書きましたが
先日開催されたオリンピック・パラリンピックの実況にて、手話の3DCGが使われているという情報を見まして。
開催当時はよく調べなかったのですが、いまあらためて調べてみると結構面白い技術だと思ったので今回はそれに関する記事を紹介したいと思います。
まずは、3Dモデルに不気味さがあまり感じられないことに驚きました。
私が見たことのある手話CGはもっと簡素というか、ライティングが暗くて表情筋を感じにくいイメージだったので。
こちらで実際の映像が見れます
この手話実況CGは全体的にライトがあたって血色がよく見えますね。肌や服の質感もCG感とリアル感のちょうど間ぐらいです。
フォトリアルかつ顔のモデルとなった方もいますが、顔の造形はモデルの方そのままということはないようにも感じます。
いや、本当はそのままかもしれないのですが、なんとなく輪郭のバランスや目の大きさなどが調整されているように思えます。
違和感というわけではなく、表情をより伝えるためのデフォルメなのかなと。
手も大きくモデリングされているようですしね（腕が細いのかも？）
手話としてのわかりやすさは私にはわからないのですが、フェイシャルアニメーションを見る限りモデルの出来という点ではかなりしっかり作ってあると思います。
この技術や開発の経緯などについてはこちら
『月刊ニューメディア 2021年10月号』に詳しい記事があります。
（全文読みPDFから読めます）
仕組みとしては人力で打ち込まれた競技データをもとに手話をリアルタイムで生成しているということです。
同じ仕組みで「ロボット実況・字幕」というものも作られています。こちらは今回調べていて初めて知りました。
最近のスポーツの放送はリアルタイムで多くの情報を表示してくれますが、
（特に、フィギュアスケート実況で得点状況をリアルタイムで表示されているのを見たときを驚きました）
そのデータをこういった実況作成技術に利用するというアプローチが無かったというのは、少し意外でした。
今回詳しく調べるまではてっきりどこかで既にあった技術なのかと思っていたので。
また、スポーツ中継に手話がつくことはほぼないということも初めて知りました。
もしかしたらスポーツに関しては「見ればわかるだろう」で済まされていたのでしょうか…。
やはり自分がそれを必要としないだけで「ない」ということにすら気づけていないものはたくさんあるのですね。
手話実況UIのペナルティ開設機能についてもその一つです。
スポーツ中継は実況と解説がセットになっていますから、その「解説」があるからこそ初めて見る競技でも状況が理解できるわけですから、補足解説が見られるというのはとてもいいと思いました。
記事を読んでいてふと思ったのですが、
スポーツ中継に手話がつくことが少ないなら、たとえば実況・解説が試合の展開に興奮し感極まったその様子に、こちらも心を揺さぶられるといったようなこともあまりあることではないのでしょうか。
この技術もあくまで競技データをもとにした実況なので、盛り上がりまで演出するには、
やはり翻訳ではなく実際の手話ユーザーによる実況・解説が必要なのかな…と。
そうだとしても、こういった技術によってより多くの人がスポーツ中継を楽しむことができるようになる、その大きな一歩であることは間違いないと思うので、今後の技術開発がどうなっていくかが楽しみでもあります。