説明

キャラクタ情報処理方法及びキャラクタ情報処理装置

【課題】多彩な表現手法を含み、且つ円滑なコミュニケーションを容易に行うことができ
る技術を提供する。
【解決手段】光源4を表す光源情報と、キャラクタ2a及び2bの心理状態を表す心理状
態情報との少なくとも一方に基づいて、キャラクタ2a及び2bの眼球の状態を変化させ
る。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータにより実現される仮想環境上のキャラクタの表情を変化させるためのキャラクタ情報処理方法及びキャラクタ情報処理装置に関する。
【背景技術】
【0002】
オンラインネットワークゲーム等に代表されるインタラクティブコンテンツでは、複数の参加者の間にコミュニケーションが発生する。
【0003】
この際、匿名性を維持しつつも、コミュニケートする相手と現実の人間に対面したときのような自然なコミュニケーションに近づけることが望ましく、CGで描画するキャラクタの表情に変化をもたせることにより上記の点を満たす試みがなされている(たとえば、非特許文献1参照)。
【非特許文献1】NTT西日本アバターツールホームページ(http://www.ntt-west.co.jp/news/0312/031215.html)
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、キャラクタの表情を変化させる際には、ユーザが常に指示を出さねばならない。さらに、この指示を出すには煩雑なキー入力操作等が必要であり、自然なコミュニケーションを実現できるとは言い難い。
【0005】
このような事情に鑑み本発明は、多彩な表現手法を含み、且つ円滑なコミュニケーションを容易に行うことができる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の本発明は、仮想環境上のキャラクタの表情を変化させるためのキャラクタ情報処理方法であって、仮想環境上に存在する光源を表す光源情報を生成する工程と、キャラクタの心理状態を表す心理状態情報を生成する工程と、光源情報と心理状態情報の少なくとも一方に基づいて、キャラクタの眼球の状態変化を表す状態変化情報を生成する工程とを有することを要旨とする。
【0007】
請求項2に記載の本発明は、請求項1に記載の発明において、状態変化情報は、眼球の瞳孔直径の変化、充血、涙の少なくともいずれかを表す情報を含むことを要旨とする。
【0008】
請求項3に記載の本発明は、請求項1又は2に記載の発明において、光源情報に基づいて眼球の瞳孔直径の変化を表す情報が生成される場合、瞳孔直径は、眼球に入射される光の強度の対数に比例することを要旨とする。
【0009】
請求項4に記載の本発明は、請求項1乃至3のいずれか1項に記載の発明において、光源から発せられる光の強度に対し、光の強度に対する感覚の程度をマグニチュード推定法を用いて求め、瞳孔の面積を感覚の程度に比例させることを要旨とする。
【0010】
請求項5に記載の本発明は、請求項1乃至4のいずれか1項に記載の発明において、仮想空間における光源とキャラクタの位置関係に基づいて瞳孔の直径を決定することを要旨とする。
【0011】
請求項6に記載の本発明は、請求項1の記載の発明において、 状態変化情報として、眼球の瞳孔直径の変化、充血、涙の少なくともいずれか一つを表す情報と、キャラクタの眼の瞬きの変化を表す情報とを含むことを要旨とする。
【0012】
請求項7に記載の本発明は、請求項6の記載の発明において、キャラクタの眼の瞬きの変化を表す情報は、瞬きの時間軸上の回数変化を表す情報であることを要旨とする。
【0013】
請求項8に記載の本発明は、請求項6の記載の発明において、キャラクタの眼の瞬きの変化を表す情報は、瞬きの頻度を表す情報であることを要旨とする。
【0014】
請求項9に記載の本発明は、仮想環境上のキャラクタの表情を変化させるためのキャラクタ情報処理装置であって、仮想環境上に存在する光源を表す光源情報を生成する手段と、キャラクタの心理状態を表す心理状態情報を生成する手段と、光源情報と前記心理状態情報の少なくとも一方に基づいて、キャラクタの眼球の状態変化を表す状態変化情報を生成する手段とを備え、状態変化情報は、眼球の瞳孔直径の変化、充血、涙の少なくともいずれか一つを表す情報を含むことを要旨とする。
【0015】
請求項10に記載の本発明は、請求項9に記載の本発明において、状態変化情報は、眼球の瞳孔直径の変化、充血、涙の少なくともいずれか一つを表す情報を含むとともに、キャラクタの眼の瞬きの変化を表す情報を含むことを要旨とする。
【発明の効果】
【0016】
本発明によれば、多彩な表現手法を含み、且つ円滑なコミュニケーションを容易に行うことが可能となる。
【発明を実施するための最良の形態】
【0017】
以下、本発明の実施例について説明するが、これらの実施例は、あくまでも本発明の説明のためのものであり、本発明の範囲を制限するものではない。したがって、当業者であれば、これらの各要素又は全要素を含んだ各種の実施例を採用することが可能であるが、これらの実施例も本発明の範囲に含まれる。
【実施例】
【0018】
人間のコミュニケーションにおいて重要な要素とされているのは眼球(目)やまぶた(瞬き)である。眼球には人間の感情が最も反映されるが、その反面、瞳孔の大きさなどは自分の意志で操作しにくい。
【0019】
それだけに内面の心理をよく反映するため、眼球の状態や反応は顔の感情を評価する際の貴重な指標となる。
【0020】
また、まぶたの状態「瞬き」は、光が眩しいとき、目にゴミなどが入ったとき、風が当たるとき、あるいは、瞬きが自然に増える心理状態になったときなどに行うもので、光を遮る、目を潤す、コミュニケーションの相手に生き生きした印象、同意、可愛しい印象を与える。従って、瞬きは、眼球の状態とともに顔の感情を評価する際の貴重な指標となる。このまぶたの状態(瞬き)は、瞬きの時間軸上の変化、即ち、回数をもとに評価するものである。
【0021】
なお、「瞬き」と本文中の「目をつぶる」との差異は、「目をつぶる」行為はプログラム中で自動化する行為にはなっておらず、あくまでもゲーム中にユーザがマウスクリックで意図的に「目をつぶる」ようになっていることである。また、「目をつぶる」行為は、一般的には、光を遮る、他者の視線の回避、目の休息などの目的・効果があり、コミュニケーションにおいては、「眠っている」「瞑想している」などのアクティブでない印象を与えることなので、「瞬き」との差別化がされる。
【0022】
このため、本発明においては、感情表現器官としての眼球の動作(状態変化)に注目し、キャラクタを構成させるにあたって、場面や状況に応じて状態(表情)を自動的に変化させる眼球のインタラクションモデルを用い、これによりキャラクタに豊かな表情をもたせる。
【0023】
上記の眼球の状態変化の代表例としては、“瞳孔直径の変化”、“充血”、“涙”が挙げられ、そのプロセスは、図1に示すように、眼球に光が入射されると(S11)、眼球の状態を変化させる要因が抽出され(S12)、一方、キャラクタに何らかの影響があると(S13)、キャラクタの感情が変化し(S14)、上記の変化要因ならびに感情状態に基づいて眼球の状態が決定される(S15)。なお、図示しないが、必要により、まぶたの状態(瞬き)を変化させる要因の抽出も、眼球の状態を変化させる要因の抽出(S12)と同様に行われ、瞬きの状態を決定する。
【0024】
つまり、眼球の状態は、主に外界から眼球に入射する光による刺激(生理的要因)と、心理的要因により変化する。
【0025】
この際、瞳孔直径は、眼球への入射光の明るさ(強度)の対数に比例し、明るければ収縮、暗ければ拡大する。
【0026】
外部からの光刺激に関しては、以下の式(1)及び式(2)に示すように、仮想環境中の光の強度Iに対し、明るさに対する感覚の大きさSをマグニチュード推定法を利用して求め、明るければ収縮するよう瞳孔の面積をSに比例させる。なお、瞬きの操作に関しても、同様に、瞬きの頻度Bを、Sに比例させる。
【数1】

【数2】

【0027】
なお、式中のkは定数であり、rは瞳孔半径であり、nは0より大且つ1より小の冪指数である。
【0028】
仮想環境中の光強度の物理的シミュレーションは、計算量が膨大でありリアルタイム処理を必要とするゲームには適さない。
【0029】
したがって、本実施例においては、キャラクタが進む方向を視線の方向とし、3次元空間内の位置によって光の強度変数Iをあらかじめ設定し、それに対応する瞳孔直径を決定する。ただし時刻tにおけるIの変化量ΔIが0の状態が長時間続く場合は、次第に標準の瞳孔直径に戻し、変化量が閾値を越えて変化したときには、再び上記の式に基づいて瞳孔直径を決定する。
【0030】
また、人間の心理状態によっても瞳孔は変化するが、その対応関係についての解釈は一様ではない。しかしながら、具体的にどのような心理状態で変化が起こるのかは様々な実験から知られている。この変化の一例を表1に示す。
【表1】

【0031】
また、表中の心理的状態の変化量が大きいほど瞳孔直径も変化する。更に、瞬きの頻度も変化する。
【0032】
なお、本発明においては、心理状態による瞳孔の変化を表現するにあたって、感情モデルを用いる。この感情モデルにおいては、“Arousal”、“Valence”、“Stance”からなる3つの軸の値を決めることでキャラクタの心理状態を決定する。この3つの軸の値と眼球の変化との対応関係を表2に示す。
【表2】

【0033】
また、本発明においては、図2に示すとおり、外部光刺激(生理的要因)と心理状態(心理的要因)から、眼球の状態を決定する。この眼球の状態とは瞳孔直径と充血程度(充血の度合)、涙滴量(涙の量)を指す。なお、本実施例においては、図中の生理的要因と心理的要因が対立する場合は心理的要因を優先し採択する。なお、図2の右図は、心理的要因に瞬きの状態を含めた決定モデルである。
【0034】
上記のインタラクションモデルは、アバターチャット等の人対人のコミュニケーションをはじめとする様々な用途に用いることができるが、本実施例においては、これをオンラインゲームに適用した場合を示す。なお、このゲームを実行するためのシステムは、通信ネットワークを介して接続された複数のプレイヤー(ユーザ)端末装置及びサーバからなる。
【0035】
本実施例におけるゲームにおいては、図3に示す仮想空間1が先のプレイヤー端末装置により形成され、プレイヤー(ユーザ)は、眼球自体がボディとなっているキャラクタ2a及び2b(以下、適宜これらを“キャラクタ2”と総称する)を操作する。
【0036】
ゲームは、ステージ3上の任意の点からスタートし、キャラクタ2aを操作するプレイヤーの端末装置にはこのキャラクタの視界が表示され、プレイヤーは、キーボードやマウス等の操作によりキャラクタの位置と視界(視線方向)を変化させる。
【0037】
また、キャラクタ2bを操作するプレイヤーの端末装置にもこのキャラクタの視界が表示され、このプレイヤーもキャラクタの位置と視界を変化させることができる。
【0038】
上記のキャラクタ2は、平坦な円形状のステージ3上を移動でき、このステージ3の外に落下すると負けになる。
【0039】
また、ステージ3上の特定の場所は光源4により明るくなっており、各々の位置における明るさがあらかじめ設定されている。
【0040】
また、ステージ3上には相手の視線を回避することに利用可能な障害物5も存在する。
【0041】
実際にゲームを行うにあたっては、図4に示すように、プレイヤーのキャラクタ2がステージ3上にランダム配置され、プレイヤーがマウスを左クリックすることにより「見る(視認)」動作を行うと、視界がズームアップされ、この「見る」動作を行っている最中に相手のキャラクタ2(本説明文中では2b)を視界内に数秒間収めておくことができれば、キャラクタ2bの動きを止めることができ、この際に自分のキャラクタ2(本説明文中では2a)を相手のキャラクタ2bに接触させることによりステージ3外に落下させることができる。
【0042】
一方、相手プレイヤーは、マウスを右クリックすることにより「目をつぶる(回避)」動作を行うことができる。これにより自分の動きが止められることを防止でき、ステージ3外に落下させられることを避けることができる。
【0043】
相手を見ることと、目をつぶることは、このゲームにおける2つの基本動作となっている。このようにゲームでは、視線の操作が重要な要素となっている。
【0044】
また、キャラクタ2には、上記のインタラクションモデルが用いられているため、キャラクタは自分の居る場所の明るさと、心理状態によって自動的に表情を変化させる。この表情変化の例を図5に示す。図示するとおり本発明におけるキャラクタの表情には、「通常状態」、「見る」、「目をつぶる」、「喜び・満足」、「驚き・恐怖」、「悲しみ・悲嘆」、「怒り・嫌悪」、「疲労」があり、人間の表情のほぼ全てを網羅している。
【0045】
更に、本発明におけるキャラクタの表情に、必要により「瞬き」も含ませるものであり、このときの表情変化は(図示せず)、図5(C)を変形して行うことができる。なお、瞬きの状態は、例えば、眼を開いたまぶた状態から、2秒ごとに起こされる瞬き(まぶたの閉状態)である。
【0046】
上記の表情(感情表現)は、以下の表3に示すゲーム中の各種変化要因がキャラクタに作用し生じるものである。
【表3】

【0047】
次に、上記のキャラクタ2の情報構成について説明する。
図6に示すとおり、キャラクタ2を構成するキャラクタ情報61は、キャラクタ位置情報62、心理的要因情報63、フラグ情報64、眼球状態情報65、その他の情報66からなり、プレイヤー端末装置に記憶される。このその他の情報66は、まぶた(瞬き)の変化情報を含むものである。
【0048】
キャラクタ位置情報62は、キャラクタ2のステージ3における位置を表す情報である。
【0049】
心理的要因情報63は、上記のインタラクションモデルの構成要素であるArousal、Valence、Stanceに基づいたキャラクタ2の心理状態を表す情報である。
【0050】
フラグ情報64は、キャラクタ2の「見る」動作の成功条件等を表す視認動作フラグ情報641と、「目をつぶる」動作の成功条件等を表す回避動作フラグ情報642とからなる。
【0051】
眼球状態情報65は、眼球の状態を表す情報であり、テクスチャ・マッピング等の手法により作成された画像情報を含む。なお、この眼球状態情報65は、眼球形状情報651、視線方向情報652、眼球色情報653、瞳孔半径情報654、涙滴量情報655、充血程度情報656、瞬き情報657に大別される。
【0052】
眼球形状情報651は、キャラクタ2の眼球の形状を表す情報である。
視線方向情報652は、キャラクタ2の視線方向を表す情報である。
瞳孔色情報653は、キャラクタ2の瞳孔の色を表す情報である。
瞳孔半径情報654は、キャラクタ2の瞳孔半径を表す情報であり、これに基づいて瞳孔直径が決定される。
涙滴量情報655は、キャラクタ2の涙の量を表す情報である。
瞬き情報657は、瞬きの時間軸上の回数変化を表す情報である。
その他の情報66は、キャラクタ2の足等の眼球以外の部位、その動作パターンを表す情報等を含む。
【0053】
次に、図7を参照しつつ、本実施例のゲーム全体の情報構成ならびに情報処理動作について説明する。なお、以下の情報処理動作は、サーバがプレイヤー端末装置から各種の情報(上記のキャラクタ情報を含む)を入手し、これに基づいて実行される。
【0054】
まず、図6に示したキャラクタ位置情報62(処理開始時のキャラクタ2aの位置)、視線方向情報652(処理開始時のキャラクタ2aの視線方向)、本図(図7)のプレイヤー操作情報71(位置座標の変化量)とに基づいて、キャラクタ2aの位置情報(視線方向も含む)73と、先の操作におけるマウスクリックの速さ等により規定されるキャラクタ2aの疲労度等を含む操作状況情報74とが生成される。
【0055】
また、前記のプレイヤー操作情報71、相手プレイヤー操作情報72、操作状況情報74によりゲーム状況情報75、つまり相手プレイヤー2bのキャラクタの位置や動作(「見る」、「目をつぶる」等)、これによる勝負の趨勢や勝敗を表す情報が生成される。
【0056】
また、ステージ3上の光源4から発せられ、キャラクタ2aもしくは2bの眼球に入射された光の強度やその変化量を含む生理的要因情報76が生成される。
【0057】
また、操作状況情報74とゲーム状況情報75とに基づいて図6に示した心理的要因情報63が生成される。
【0058】
また、この心理的要因情報63、前記の生理的要因情報76、図6に示した眼球状態情報65とに基づいて眼球の状態変化を示す情報である眼球状態変化情報77が生成される。更に、まぶたの変化を示す瞬き変化情報も眼球状態変化情報77と同様な手法で生成する。なお、「瞬きの回数」は、瞳孔直径と同様に、生理的要因情報と心理的要因情報の両方の要因を受けるものである。
【0059】
プレイヤー端末装置は、眼球状態変化情報77の指示に則り、記憶している眼球状態情報65に基づいて、図5に示したような種々の状況に応じた表情を有するキャラクタ2を生成し、プレイヤーに向けて表示する。
【0060】
上記のとおり、キャラクタ2を生成するために必要不可欠な情報である眼球状態情報65は、サーバではなくプレイヤー端末装置に記憶されており、サーバから受信するのはキャラクタ2の生成を指示する眼球状態変化情報77のみである。したがって、プレイヤー端末装置とサーバとの間で送受される情報の量を大幅に減少させることができ、処理の迅速化が可能となる。
【0061】
また、キャラクタ位置情報62と、心理的要因情報63は絶えず更新され、プレイヤー端末装置に記憶されるため、さらなる処理の迅速化がなされる。
【0062】
なお、本実施例においては、キャラクタが進む方向を視線の方向としている場合を示したが、これに限定されず、キャラクタの進む方向と視線の方向とを別にすることもできる。
【0063】
また、本実施例においては、光の強度変数Iを3次元空間内の位置によってあらかじめ設定する場合を示したが、これに限定されず、仮想空間中の光の強度を計算によって求める構成とすることもできる。
【0064】
また、本実施例においては、ゲームのシステムが複数のプレイヤー端末装置とサーバからなる場合を示したが、サーバを廃し、全ての処理をプレイヤー端末装置に実行させる構成とすることもできる。
【0065】
また、プレイヤー(ユーザ)端末装置及びサーバとしては、CPU(Central Processing Unit)、ハードディスクドライブ、ROM(Read Only Memory)、RAM(Random Access Memory)、キーボード、ディスプレイ、フレキシブルディスクドライブ、通信ネットワークに接続して通信を行うための通信部等を有したコンピュータを用いることができる。
【0066】
また、プレイヤー(ユーザ)端末装置としては、上記のコンピュータの他に、PDA(Personal Digital Assistance)端末装置、携帯電話端末装置やPHS(Personal Handy phone System)端末装置等のあらゆる情報端末装置を用いることができる。
【0067】
以上のとおり本発明によれば、ネットワークゲームに限らず、インタラクティブコンテンツ全般において、その状況に対応したキャラクタの心理的要因や生理的要因に基づいて、眼球の状態を自動的且つ即時的に変化させることができ、これにより、ユーザはキャラクタの表情をよりリアルに、豊かに感じられるようになる。更に、眼球の状態に加え、まぶた(瞬き)の状態を自動的且つ即時的に変化させて機能の向上を図ることができる。
【0068】
また、上記のとおり自分のCGキャラクターの表情を豊かにできることから、心情に富んだコミュニケーションを実現できる。
【0069】
また、キャラクタごとに感情表現方法に差をつけることにより個性を演出し、さらに、人工知能を導入することによりキャラクタにプレイヤーの個性を学習させることも可能である。
【0070】
また、本発明のインタラクションモデルを上記のようなキャラクタだけではなく、人間や動物の3次元CGモデルにおける眼球に適応させ、これを用いることにより汎用的なグラフィックスライブラリを構築することも可能である。
【図面の簡単な説明】
【0071】
【図1】本発明におけるキャラクタの眼球状態の決定要因を示す図である。
【図2】本発明におけるインタラクションモデルの構成を示す図である。
【図3】本発明の一実施例に係るゲームの概略を示す図である。
【図4】本発明の一実施例に係るゲームのフローチャートである。
【図5】図3のキャラクタの表情変化の例を示す図である。
【図6】図3のキャラクタの情報構成を示す図である。
【図7】本発明の一実施例に係るゲームの情報構成を示す図である。
【符号の説明】
【0072】
1…仮想空間
2a、2b…キャラクタ
3…ステージ
4…光源
5…障害物
61…キャラクタ情報
62…キャラクタ位置情報
63…心理的要因情報
64…フラグ情報
65…眼球状態情報
66…その他の情報
71…プレイヤー操作情報
72…相手プレイヤー操作情報
73…位置情報
74…操作状況情報
75…ゲーム状況情報
76…生理的要因情報
77…眼球状態変化情報
641…視認動作フラグ情報
642…回避動作フラグ情報
651…眼球形状情報
652…視線方向情報
653…眼球色情報
654…瞳孔半径情報
655…涙滴量情報
656…充血程度情報
657…瞬き情報

【特許請求の範囲】
【請求項1】
仮想環境上のキャラクタの表情を変化させるためのキャラクタ情報処理方法であって、
前記仮想環境上に存在する光源を表す光源情報を生成する工程と、
前記キャラクタの心理状態を表す心理状態情報を生成する工程と、
前記光源情報と前記心理状態情報の少なくとも一方に基づいて、前記キャラクタの眼球の状態変化を表す状態変化情報を生成する工程と
を有することを特徴とするキャラクタ情報処理方法。
【請求項2】
前記状態変化情報は、前記眼球の瞳孔直径の変化、充血、涙の少なくともいずれかを表す情報を含むことを特徴とする請求項1に記載のキャラクタ情報処理方法。
【請求項3】
前記光源情報に基づいて前記眼球の瞳孔直径の変化を表す情報が生成される場合、該瞳孔直径は、該眼球に入射される光の強度の対数に比例することを特徴とする請求項1又は2に記載のキャラクタ情報処理方法。
【請求項4】
前記光源から発せられる光の強度に対し、該光の強度に対する感覚の程度をマグニチュード推定法を用いて求め、前記瞳孔の面積を該感覚の程度に比例させることを特徴とする請求項1乃至3のいずれか1項に記載のキャラクタ情報処理方法。
【請求項5】
前記仮想空間における前記光源と前記キャラクタの位置関係に基づいて前記瞳孔の直径を決定することを特徴とする請求項1乃至4のいずれか1項に記載のキャラクタ情報処理方法。
【請求項6】
前記状態変化情報は、前記眼球の瞳孔直径の変化、充血、涙の少なくともいずれか一つを表す情報と、前記キャラクタの眼の瞬きの変化を表す情報とを含むことを特徴とする請求項1に記載のキャラクタ情報処理方法。
【請求項7】
前記キャラクタの眼の瞬きの変化を表す情報は、瞬きの時間軸上の回数変化を表す情報であることを特徴とする請求項6に記載のキャラクタ情報処理方法。
【請求項8】
前記キャラクタの眼の瞬きの変化を表す情報は、瞬きの頻度を表す情報であることを特徴とする請求項6に記載のキャラクタ情報処理方法。
【請求項9】
仮想環境上のキャラクタの表情を変化させるためのキャラクタ情報処理装置であって、
前記仮想環境上に存在する光源を表す光源情報を生成する手段と、
前記キャラクタの心理状態を表す心理状態情報を生成する手段と、
前記光源情報と前記心理状態情報の少なくとも一方に基づいて、前記キャラクタの眼球の状態変化を表す状態変化情報を生成する手段とを備え、
前記状態変化情報は、眼球の瞳孔直径の変化、充血、涙の少なくともいずれか一つを表す情報を含むことを特徴とするキャラクタ情報処理装置。
【請求項10】
前記状態変化情報は、前記眼球の瞳孔直径の変化、充血、涙の少なくともいずれか一つを表す情報を含むとともに、前記キャラクタの瞬きの変化を表す情報を含むことを特徴とする請求項9に記載のキャラクタ情報処理装置。

【図1】
image rotate

【図4】
image rotate

【図6】
image rotate

【図7】
image rotate

【図2】
image rotate

【図3】
image rotate

【図5】
image rotate


【公開番号】特開2006−120134(P2006−120134A)
【公開日】平成18年5月11日(2006.5.11)
【国際特許分類】
【出願番号】特願2005−280637(P2005−280637)
【出願日】平成17年9月27日(2005.9.27)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 平成17年6月30日 社団法人電子情報通信学会発行の「電子情報通信学会技術研究報告 信学技報 Vol.105 No.165」に発表
【出願人】(504133110)国立大学法人 電気通信大学 (383)
【Fターム(参考)】