石原尚 Hisashi ISHIHARA /動的表情合成システム開発状況
page icon

動的表情合成システム開発状況

多彩で奥深く、また適応的に調整できる表情をロボットやCGアバターなどの人工の顔でダイナミックに実現するために開発した動的表情合成の仕組みの解説資料・関連情報をここにまとめます。

動的表情合成とは

情動や感情、あるいは気分や注意などの心的な状態を表情として伝える顔の「動き」を合成的な手段によって得る手法です。とくに、波形重畳による動的表情合成は、様々な仕草を個別の波として表し、心的状態に応じて波形を変調させた仕草の波を多数重ね合わせて複雑な顔の動きとするものとして提案したものです。人が顔を動かす際に影響する要素を組み込んだ合成のモデルを用意することで、それらの要素を設計者が毎回考慮して動きを設計する必要が無くなります。

解説ポッドキャスト（NotebookLMによるAI生成）

全文書き起こし翻訳2025/3/0 16:272025/3/0 16:44

適用例

動的表情合成によって実現したアンドロイドロボットの表情例です。「徐々に眠くなるように」という簡単な指令を与えるだけで、瞼が重くなり、呼吸も浅くゆっくりに、頭をゆらゆらさせるようになって最後は口をむにゃむにゃさせてあくびをするという動きが自動的に合成されます。

論文

H. Ishihara, R. Hayashi, F. Lavieille, K. Okamoto, T. Okuyama, and K. Osuka, “Automatic Generation of Dynamic Arousal Expression Based on Decaying Wave Synthesis for Robot Faces,” J. Robot. Mechatron., Vol.36 No.6, pp. 1481-1494, 2024.
動的表情合成の仕組みの提案と気分（1次元覚醒度）の表現を試みた研究です。システム開発のための数学的定式化と実装は石原が、システム評価のための実験デザインと解析は林里奈先生（愛知産業大学）が担当しました。
詳しく
顔の動きの設計には、人に見られる自然な顔部分連動、不気味な印象となる連動、感情・気分などの内部状態の動きの出方への反映など、多くの考慮が必要で、動きのパターンを設計することは設計者にとって大きな負担となっていました。この論文では、この負担を低減し、さらに滑らかで豊かな表情をロボットに持たせることができるように、人の顔部位の連動ルールや人の内部状態が動きの出方を調整するルールを組み込んだネットワークを用いることで自動的にさまざまな顔の動きが合成される基本的な仕組みを提案しました。

技術特徴

この技術は、人の声だけでなく顔表情もまた波の合成で再現できる可能性を示すもので、ゲームキャラの表情をインタラクティブに変えたり、複雑なアバター動作を自動生成したりと、ロボット以外の応用先も広く見込まれます。この技術の重要なポイントは以下の通りです。
詳しく
  1. あらかじめ設計されたモーションパターンのツギハギ再生ではなく、空間連動と時間的な波を構成単位として逐次顔の動きを合成する手法です。アンドロイドのように動作箇所の多い顔の動きの事前設計のコストを削減でき、インタラクティブな表情変化の要求にも対応できます。
  1. Action Unitとして知られてきた人の顔運動の空間特徴の構成単位に加えて、時間特徴の構成単位として「減衰波」を新たに導入しました。減衰波の繰り返しの活性化が動的に顔の動きを生み出します。これで、複雑動的な人の表情の時空間的な取り扱いが容易になります。
  1. 顔の動きを波としてモデル化したことにより、ある動きが出るか出ないかのon/offではなく、波形が時空間的に変調されながら多くの動きが常に出ている状態になります。色々な動きが重なった複雑な表情が作り出されます。ぎこちない動きの継ぎはぎもありません。
  1. 確率的ではなく決定論的に顔の動きが合成され、またその過程をパラメトリックに調整できるため、動きの再現性と厳密性が必要な研究に向いています。どんな顔の動きがどんな印象になるかの心理評価実験の刺激を作りやすいです。
  1. 顔運動の時間特徴（どう出てきて消えるのか）と空間特徴（どこがどう連動するか）を分離して設計できるため、両特徴に違う情報を載せられます。論文中では時間特徴に気分の情報を載せました。空間特徴には表情の癖（個性）の情報が載ります。
  1. 表情の時間特徴と空間特徴を決める多くのパラメータを行列として管理できるようにしました。ロボットに実装した表情生成モデルの設定を行列や部分グラフとして論文に明示できるため、異なる研究チームでも動きの再現が可能で、効果的な性能比較ができるようになります。
  1. いくつかのパラメータを元に表情を生成する枠組みを作ったので、誰かがうまく設定したパラメータセットをネットからダウンロードしてきて、自分のロボットやCGアバターに実装して好みの表情を出せるようにするという未来が開けます。
  1. 何十もの顔の動作部分の複雑な動きを少数パラメータ（今回は一次元の覚醒度）で一括操作できるため、感覚入力に応じて表情が変化する仕組みの導入も容易です。大きい音がしたら急に興奮する、静かになると落ち着いて眠くなる、といったインタラクティブな表情変化も簡単にできます。
  1. 連続関数の線型結合として合成される顔の挙動は役割が明確なパラメータで管理されるため、機械学習による調整と相性が良いです。現在は目視によるハンドチューニングで表現は荒いですが、人の表情を教師とした機械学習の適用でさらに洗練されるはず。
  1. 提案論文中では９種類の仕草（連動パターン）が波として重なって表情を作るようにしていますが、表情生成式の行列の列を拡張することで仕草をどんどん追加していけます。研究室では１６種類まで増やして動かしており、複雑な表情をうまく出せています。

プレスリリース記事

アンドロイドの表情に“気分の移ろい”を滑らかに表現 - ResOU

解説動画

提案した表情合成システムの概略図

合成に用いる式の図解

従来方式との比較

 

開発履歴

  • 2024.12.20 1次元気分表現のための動的表情合成の基本的な仕組みを提案
 

メディア報道

  • Electronicsforu ‣