説明

コミュニケーションキャラクター装置、及びそのプログラム

【課題】
本発明の解決すべき課題は、コンピュータ等が形成するキャラクターが現実空間の対象者に対応して動作するコミュニケーションキャラクター装置、及びそのプログラムを提供することにある。
【解決手段】
対象者の画像を撮影する撮像手段16と、コミュニケーションキャラクター30を表示可能な表示手段14と、該対象者画像より対象者22の特定部位の位置及び/又は形状を認識する認識手段26と、前記撮像手段16による撮影画像を前記コミュニケーションキャラクター30の目視領域として設定し、該目視領域内での対象者22の特定部位の位置及び/又は形状により、コミュニケーションキャラクター30に対応動作を取らせるキャラクター動作制御手段26と、を備えたことを特徴とするコミュニケーションキャラクター装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明はコミュニケーションキャラクター装置、及びそのプログラム、特にキャラクター動作制御機構の改良に関する。
【背景技術】
【0002】
近年のコンピュータの急速な発展に伴い、パーソナルコンピュータレベルでも、そのユーザーがあたかもコンピュータ内のキャラクターの一員として仮想空間を移動できるゲーム等が開発され、注目されている(特許文献1〜3等)。
これらの技術によれば、ユーザー自身のデジタル写真などをコンピュータ内に取り込み、キャラクターの表示に用いることで、より臨場感を演出することもできる。
前記従来のゲーム等は、コンピュータ内に形成される仮想空間にユーザーがいかに溶け込めるかという観点が重視されていたが、一方で一部のロボットなどに見られるように現実空間の一員としてキャラクターを引き出すことができれば、単にゲームという枠を超え、日常的なコミュニケーションの対象としてコンピュータが作り出すキャラクタを用いることもできる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−66272
【特許文献2】特開2004−46793
【特許文献3】特開2009−37276
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は前記従来技術に鑑みなされたものであり、その解決すべき課題はコンピュータ等が形成するキャラクターが現実空間の対象者に対応して動作するコミュニケーションキャラクター装置、及びそのプログラムを提供することにある。
【課題を解決するための手段】
【0005】
前記課題を解決するために本発明にかかるコミュニケーションキャラクター装置は、
対象者の画像を撮影する撮像手段と、
コミュニケーションキャラクターを表示可能な表示手段と、
該対象者画像より対象者の特定部位の位置及び/又は形状を認識する認識手段と、
前記撮像手段による撮影画像を、前記コミュニケーションキャラクターによる目視領域として設定し、該目視領域内での対象者の特定部位の位置及び/又は形状により、コミュニケーションキャラクターに対応動作を取らせるキャラクター動作制御手段と、
を備えたことを特徴とする。
【0006】
また、前記装置において、キャラクター動作制御手段は、表示手段の表示面と撮影画面を仮想的に離隔配置し、撮影画面上での対象者顔面位置及び仮想離隔距離により対象者顔面位置を推定し、表示面上のコミュニケーションキャラクターに対象者顔面推定位置方向にキャラクターの視線ないし姿勢を向けさせることが好適である。
また、前記装置において、キャラクター動作制御手段は、コミュニケーションキャラクターを仮想空間内に配置し、対象者顔面推定位置からコミュニケーションキャラクター目視した場合の仮想空間背景を、コミュニケーションキャラクター背景に表示させることが好適である。
また、前記装置において、キャラクター動作制御手段は、撮影画面内に対象者顔面が特定できない場合には仮想空間内の奥にコミュニケーションキャラクターを配置し、撮影画面内に対象者画面が特定された場合は、コミュニケーションキャラクターを前面に移動させることが好適である。
【0007】
また、本発明にかかるプログラムは、対象者の画像を撮影する撮像手段と、コミュニケーションキャラクターを表示可能な表示手段と、を備えたコンピュータまたはゲーム機用プログラムであって、
該対象者画像より対象者の特定部位の位置及び/又は形状を認識する認識手段と、
前記撮像手段による撮影画像を前記コミュニケーションキャラクターによる目視領域として設定し、該目視領域内での対象者の特定部位の位置及び/又は形状により、コミュニケーションキャラクターに対応動作を取らせるキャラクター動作制御手段と、
を備えたことを特徴とする。
【発明の効果】
【0008】
以上説明したように本発明にかかるコミュニケーションキャラクター装置ないしそのプログラムによれば、コンピュータ等で形成されたコミュニケーションキャラクターの目をカメラにより代用させ、対象者の動作を視覚的に認識して仮想空間内で所定の動作を取らせることが可能となる。
【図面の簡単な説明】
【0009】
【図1】本発明の一実施形態にかかるコミュニケーションキャラクター装置の概略構成の説明図である。
【図2】図1に示した装置におけるユーザーとキャラクターの対応動作制御状態を示す説明図である。
【図3】図1に示した装置における、ユーザー位置とキャラクターの相対状態の説明図である。
【図4】図1に示した装置における、ユーザー認知とキャラクターの動作の説明図である。
【図5】図1に示した装置における、ユーザー位置と表示手段上への表示領域の説明図である。
【図6】本発明による表示手段への表示例の説明図である。
【発明を実施するための形態】
【0010】
以下、図面に基づき本発明の好適な実施形態について説明する。
図1は本発明の一実施形態にかかるコミュニケーションキャラクター装置10を示しており、実際には家庭用のパーソナルコンピューターにより代用することができる。
同図に示すように、本実施形態にかかるコミュニケーションキャラクター装置10は、パーソナルコンピュータ12と、モニター14と、USB接続等によりコンピュータに接続されたカメラ16、マイク18、スピーカー20を有する。
そして、前記カメラ16は、たとえばモニター14上部等、ユーザー22のおおよそ正面に位置する部分に設置され、ユーザー22(対象者)の画像を撮影する撮像手段として機能する。
また、モニター14は、コミュニケーションキャラクターを表示可能な表示手段として機能する。
また、コンピュータ12は、カメラによって撮影された画像の認識を行う認識手段24、およびモニター14に表示されるコミュニケーションキャラクターに対して所望の動作を取らせるキャラクター動作制御手段26として機能する。
【0011】
そして、本実施形態においては、モニター14に映し出されるキャラクターの「目」として前記カメラ16を用い、「耳」として前記マイク18を用い、さらに口(音声発生)としてスピーカー20を用いるものである。
すなわち、図2に示すように、本実施形態においては、制御手段26はコミュニケーションキャラクター30および該キャラクター30が存在する仮想空間32を作成する。
そして、キャラクター30は、仮想空間32内を自由に移動でき、キャラクター30の目視領域(カメラ16の視野A)内にユーザー22の顔が認識されない間は、仮想空間奥側(図中、点線キャラクター30)に位置する。
【0012】
これに対し、カメラ視野A内にユーザー22の顔が認識されると、動作制御手段26はキャラクター30を仮想空間前面側(図中、実線キャラクター30)に移動させる。この際、たとえば図2に示すように仮想空間32内に形成された道34にそって移動するようにすることも好適である。
【0013】
そして、ユーザー22は、モニター14をはさんで仮想空間32内のキャラクター30と対峙する。このこめ、仮想空間32の一端面32aに近接してモニター画面14が位置しているように、該モニター画面14にはキャラクター30およびその背景が表示される。すなわち、図2においてカメラ視野A左端にいるユーザー22は、仮想空間32への窓として機能するモニター14を介してキャラクター30、およびその背景(仮想空間右側のモニター表示領域)を見ることができる。そして、カメラ16の画像36内におけるユーザー22の位置により、ユーザー22の実位置を推定することが可能であり、キャラクター30はユーザー22に相対するように視線Bを向ける。このユーザー22の実位置は、ユーザー22とモニター14の一般的な離隔距離Cの位置に撮影画像36を位置させ、画像36内でのユーザー顔面位置から推定することができる。無論、カメラにフェーストラッキング機能及びオートフォーカス機能を持たせ、そのトラッキング及びフォーカス位置からユーザー顔面位置を推定させることもできる。そして、ユーザー22がキャラクター30(モニター)に近づいてくる、あるいは遠ざかる等の距離情報を利用し、キャラクター30の動作(近づく、遠ざかる等)を、よりリアルに実行させることもできる。同様に、顔面の大きさの変化により、ユーザー22とキャラクター30との距離変化を認識することも好適である。
この状態で、ユーザー22の音声をマイク18で採取し、その特定のキーワードなどに反応して、キャラクター30(制御手段26)がスピーカー20を介して返答をするようにしてもよい。
また、ユーザー22はコンピュータに汎用される他の入力手段、たとえばマウス操作、キーボード操作によりキャラクターと会話、動作指示を行うこともできる。
【0014】
図3にはキャラクター30によるユーザー22への相対状態が示されている。
同図に示すようにカメラ16での撮影画像が、そのままキャラクター30の目視領域として設定され、該目視領域の左側にユーザー22の顔が認識されれば、それに対応してキャラクター30は顔、ないし視線Bをユーザー側に向け(同図(A))、同様に目視領域中央にユーザー22が認識されればその方へ(同図(B))、目視領域右側に認識されればそちらへ(同図(C))、それぞれキャラクター30は顔ないし視線Bを向ける。このため、ユーザー22はあたかもキャラクター30が意思を持って現実空間のユーザー22と相対し、対話しているかのように感じることができる。
【0015】
また、図4にはキャラクター30がユーザー22を認識した際の移動状態が示されている。
同図に示すように、カメラ14による撮影画像36(視野A)内にユーザー22が認識されていない状態では、キャラクター30は仮想空間32奥に位置しており、視野A内にユーザー22を認識すると手前に向かい仮想空間内を移動してくる。このため、ユーザー22は、キャラクター30が現実空間におけるユーザーの行動を認識しているかのように感じることができる。
【0016】
さらに、図5は、カメラ視野A内でユーザー22が移動した際のモニター14に表示される画像の変化を示している。
同図に示すように、モニター14は仮想空間32の端面に配置された窓のように設定され、モニター14中心と推定ユーザー22位置を結ぶ線を中心にモニタ14枠で制限された角度領域のキャラクター30およびその背景画像を観察することができる。
なお、本実施形態において、ユーザー22の認識は、カメラによる撮影画像を二値化し、眼窩、鼻梁、口唇部等の顔面特異形状の位置を認識するなど、公知の手法を用いることができる。
【0017】
図6には、モニターへのキャラクターおよび背景(仮想空間)の表示例が示されており、神社境内という仮想空間内に、少女(キャラクター)を配置している。そして、カメラによる撮影画像を二値化した画像が図中右下に表示され、これがキャラクターによるユーザー認識状態である。そして、顔面位置は、顔面特徴点を囲う状態で矩形枠にて示されている。無論、実際の使用時には、このような二値化画像を並置させる必要はない。
また、上記説明においては、キャラクター30は水平面内での移動、あるいはユーザー22への相対動作について説明したが、たとえばカメラ16視野内でユーザー22の顔が上部に位置し、あるいは下部に位置した場合などには、それに対応してキャラクター30の顔、姿勢ないし視線を上下方向に角度変更することができる。
また、本発明において、たとえばユーザーの指の形状を認識可能とし、じゃんけん等の動作を行うこともできる。

【符号の説明】
【0018】
10 コミュニケーションキャラクター装置
14 モニター
16 カメラ
22 ユーザー(対象者)
24 認識手段
26 キャラクター動作制御手段
30 コミュニケーションキャラクター
32 仮想空間
36 撮影画像


【特許請求の範囲】
【請求項1】
対象者の画像を撮影する撮像手段と、
コミュニケーションキャラクターを表示可能な表示手段と、
該対象者画像より対象者の特定部位の位置及び/又は形状を認識する認識手段と、
前記撮像手段による撮影画像を前記コミュニケーションキャラクターの目視領域として設定し、該目視領域内での対象者の特定部位の位置及び/又は形状により、コミュニケーションキャラクターに対応動作を取らせるキャラクター動作制御手段と、
を備えたことを特徴とするコミュニケーションキャラクター装置。
【請求項2】
請求項1記載の装置において、キャラクター動作制御手段は、表示手段の表示面と撮影画面を仮想的に離隔配置し、目視領域面上での対象者顔面位置及び仮想離隔距離により対象者顔面位置を推定し、表示面上のコミュニケーションキャラクターに対象者顔面推定位置方向にキャラクター視線を向けさせることを特徴とするコミュニケーションキャラクター装置。
【請求項3】
請求項1または2記載の装置において、キャラクター動作制御手段は、コミュニケーションキャラクターを仮想空間内に配置し、対象者顔面推定位置からコミュニケーションキャラクター目視した場合の仮想空間背景を、コミュニケーションキャラクター背景に表示させることを特徴とするコミュニケーションキャラクター装置。
【請求項4】
請求項3に記載の装置において、キャラクター動作制御手段は、撮影画面内に対象者顔面が特定できない場合には仮想空間内の奥にコミュニケーションキャラクターを配置し、撮影画面内に対象者画面が特定された場合は、コミュニケーションキャラクターを前面に移動させることを特徴とするコミュニケーションキャラクター装置。
【請求項5】
対象者の画像を撮影する撮像手段と、
コミュニケーションキャラクターを表示可能な表示手段と、を備えたコンピュータまたはゲーム機用プログラムであって、
該対象者画像より対象者の特定部位の位置及び/又は形状を認識する認識手段と、
前記撮像手段による撮影画像を前記コミュニケーションキャラクターの目視領域として設定し、該目視領域内での対象者の特定部位の位置及び/又は形状により、コミュニケーションキャラクターに対応動作を取らせるキャラクター動作制御手段と、
を備えたことを特徴とするコミュニケーションキャラクタープログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2010−244322(P2010−244322A)
【公開日】平成22年10月28日(2010.10.28)
【国際特許分類】
【出願番号】特願2009−92727(P2009−92727)
【出願日】平成21年4月7日(2009.4.7)
【出願人】(509099556)ビットデザイン有限会社 (1)
【Fターム(参考)】