画像処理装置および画像処理方法
【課題】ユーザが感覚的に理解可能なユーザインタフェース技術を提供する。
【解決手段】携帯型ゲーム装置１００は、双方向カメラ２１４により据置モニタ２０２とユーザ２１８を撮像する。携帯モニタ２１２には据置モニタ２０２を撮像した画像のうちキャラクタ２１６の頭部がユーザ２１８の頭部に入れ替わった合成画像を表示させる。携帯型ゲーム装置１００は双方向カメラ２１４を介してユーザの表情を検出し、ユーザの表情に対応づけられている各種の処理を実行する。
【解決手段】携帯型ゲーム装置１００は、双方向カメラ２１４により据置モニタ２０２とユーザ２１８を撮像する。携帯モニタ２１２には据置モニタ２０２を撮像した画像のうちキャラクタ２１６の頭部がユーザ２１８の頭部に入れ替わった合成画像を表示させる。携帯型ゲーム装置１００は双方向カメラ２１４を介してユーザの表情を検出し、ユーザの表情に対応づけられている各種の処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表情認識に基づくユーザインタフェースを提供するための技術、に関する。
【背景技術】
【０００２】
近年、携帯型ゲーム端末や携帯電話をはじめとしてさまざまな携帯型の情報端末（以下、単に「携帯機器」とよぶ）が普及している。これらの携帯機器の中には、ゲームの他にもテレビ放送を受信する機能、音楽や映像を再生する機能などのさまざまな機能を備えたものも多い。携帯機器の高機能化により、ユーザはさまざまなデジタルコンテンツを場所を選ばずに楽めるようになってきた。
【特許文献１】特開２００５−２１６０６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
その一方、携帯機器の操作は、高機能化にともなって複雑化しがちである。特に、コンピュータゲームにとって操作性は重要なポイントであり、ユーザが感覚的に理解可能な「買ってすぐ使える」ユーザインタフェースであることが望ましい。
【０００４】
本発明は、このような課題に鑑みてなされたものであり、その主たる目的は、ユーザが映像コンテンツに没入しやすい感覚的なユーザインタフェースを実現することである。
【課題を解決するための手段】
【０００５】
本発明のある態様は、携帯機器をはじめとする情報処理装置において実行可能な画像処理プログラムである。
この画像処理プログラムは、ユーザ以外の他人が撮像された画像において他人の頭部にあたる領域をユーザの頭部画像と入れ替えることにより、他人の頭部をユーザの頭部に入れ替えた合成画像を生成して画面に表示させる。そして、ユーザの表情に応じてさまざまな処理を実行する。
【０００６】
たとえば、ユーザの表情が「怒りの表情」であるときにはシーンＡを表示させ、「悲しみの表情」であるときにはシーンＢを表示させるといった具合である。ここでいう「他人」とは映画やドラマ、コンピュータゲーム、写真などのさまざまな映像コンテンツに登場する人物であってもよい。ユーザは、合成画像にて「他人」と入れ替わることにより映像コンテンツの一部となることができる。表情認識に基づく直感的な入力とユーザ自身を含む合成画像の出力により、映像コンテンツに対するユーザの没入感・一体感をいっそう向上させることができる。
【０００７】
なお、本発明を方法、装置、システム、記録媒体により表現したものもまた、本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、映像コンテンツに没入しやすいユーザインタフェースを提供できる。
【発明を実施するための最良の形態】
【０００９】
図１は、本実施例における映像コンテンツのユーザインタフェースを説明するための模式図である。
携帯型ゲーム装置１００は、ユーザ２１８によって持ち運び可能な装置である。据置モニタ２０２は一般的なテレビモニタである。同図においては、据置モニタ２０２にテレビ番組が表示されており、キャラクタ２１６が映し出されている。キャラクタ２１６は、テレビ番組に登場している俳優など通常の人物画像である。
【００１０】
携帯型ゲーム装置１００は、双方向カメラ２１４を備える。双方向カメラ２１４は、携帯型ゲーム装置１００の前面側と背面側を同時に撮像可能なカメラである。ユーザ２１８が携帯型ゲーム装置１００を据置モニタ２０２に向けてかざすことにより、双方向カメラ２１４は据置モニタ２０２に映し出されている画像とユーザ２１８自身の画像を同時に撮像する。双方向カメラ２１４は、動画像としてそれぞれの画像を撮像することもできる。双方向カメラ２１４は、２つのカメラが一体形成されたものであってもよいし、ハーフミラーにより１つのカメラで２つの画像を同時に取得できるよう形成されてもよい。
【００１１】
携帯型ゲーム装置１００は、据置モニタ２０２の撮像画像のうち、キャラクタヘッド２０４をユーザヘッド２０８に入れ替えて携帯モニタ２１２に表示させる。キャラクタヘッド２０４は、据置モニタ２０２の撮像画像からキャラクタ２１６の頭部にあたる画像領域を抽出した画像である。ユーザヘッド２０８は、ユーザ２１８の撮像画像からユーザ２１８の頭部にあたる画像領域を抽出した画像である。こうして、携帯型ゲーム装置１００の携帯モニタ２１２には、テレビ番組の画像をベースとしつつも、キャラクタ２１６の顔だけがユーザ２１８の顔に入れ替わった画像（以下、このような画像のことを「合成画像」とよぶ）が表示される。以下、据置モニタ２０２の画像のように、ユーザ２１８が入れ替わる対象となる画像のことを「ベース画像」、ベース画像のうちキャラクタ２１６のようにユーザ２１８が入れ替わりの対象となるキャラクタのことを「ベースキャラクタ」、ユーザ２１８自身を撮像した画像のことを「ユーザ画像」とよぶことにする。ベース画像においてベースキャラクタの頭部にあたる画像領域を、ユーザ画像においてユーザ２１８の頭部にあたる画像領域と入れ替えることにより、合成画像が生成されることになる。
【００１２】
双方向カメラ２１４は、所定の時間間隔、たとえば、３０分の１秒から６０分の１秒間隔で据置モニタ２０２とユーザ２１８を定期的に撮像する。これにあわせて合成画像も定期的に生成されるので、合成画像を動画像として生成することもできる。据置モニタ２０２の表示内容が変化しても、携帯モニタ２１２にはその変化に対応した合成画像が動画表示される。更に詳しくは図３に関連して後述する。据置モニタ２０２で映画が表示されている場合、俳優をベースキャラクタとすれば、ユーザ２１８は携帯モニタ２１２にてあたかも自分が出演しているかのように映画を楽しむことができる。
【００１３】
ベース画像となり得るのは、実写のドラマや映画、スポーツのような映像コンテンツに限らない。たとえば、アニメ番組に登場するキャラクタをベースキャラクタとしてもよい。また、ベースキャラクタは必ずしも人間である必要はなく、擬人化された動物やモノをベースキャラクタとしてもよい。携帯型ゲーム装置１００自体が映像コンテンツを再生してもよい。この場合、携帯型ゲーム装置１００はユーザ画像のみ撮像する。携帯型ゲーム装置１００は映像コンテンツの再生画像を毎フレームサンプリングすることにより定期的にベース画像を取得できるので、合成画像を生成する基本的な原理は同様である。
【００１４】
ベース画像は、コンピュータゲームの画像であってもよい。携帯型ゲーム装置１００が実行するコンピュータゲーム、たとえば、ＣＧ（Computer Graphics）がふんだんに盛り込まれたロールプレイングゲームやアドベンチャーゲームからベース画像を取得してもよい。据置型ゲーム装置２００がコンピュータゲームを実行し、そのゲーム画像が据置モニタ２０２に表示されるときには、携帯型ゲーム装置１００は双方向カメラ２１４によりベース画像となるゲーム画面を撮像してもよい。
主人公に対するユーザの愛着を増すために、ユーザが主人公の名前や姿を設定できるコンピュータゲームは一般的である。本実施例に示す携帯型ゲーム装置１００によれば主人公の顔をユーザ２１８の顔と入れ替えることができるため、ユーザのゲームキャラクタに対する一体感をいっそう高めることができる。
【００１５】
ベース画像は、写真のような静止画であってもよい。たとえば、アイドルの写真を撮像することによりベース画像を取得し、アイドルの顔とユーザ２１８の顔を入れ替えて合成画像を生成することもできる。動画あるいは静止画として生成された合成画像を記録することにより、既存の映像コンテンツから自分参加型の映像コンテンツを簡単に作ることができる。
なお、上記したような機能を携帯型ゲーム装置１００ではなく据置型ゲーム装置２００において実現するという方法も考えられる。たとえば、ユーザ２１８を撮像するためのカメラを据置モニタ２０２の上に設置し、据置型ゲーム装置２００はこのカメラにユーザ画像を撮像させ、合成画像を生成し、据置モニタ２０２に表示させてもよい。本実施例においては、ユーザ画像とベース画像から合成画像を生成する処理（以下、単に「合成処理」とよぶ）は、もっぱら携帯型ゲーム装置１００単体の機能として実現されるものとして説明する。
以下、携帯型ゲーム装置１００の具体的な機能を説明した後、携帯型ゲーム装置１００のさまざまな使用例を説明する。
【００１６】
図２は、携帯型ゲーム装置１００の機能ブロック図である。
ここに示す各ブロックは、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
ここでは、主として各ブロックの発揮すべき機能について、その具体的な作用については、図３以降に関連して説明する。
【００１７】
携帯型ゲーム装置１００は、ユーザインタフェース処理部１１０、通信部１３０、データ処理部１４０およびデータ保持部１６０を含む。
ユーザインタフェース処理部１１０は、携帯型ゲーム装置１００のユーザからの入力処理やユーザに対する情報表示のようにユーザインタフェース全般に関する処理を担当する。通信部１３０は、据置型ゲーム装置２００やコンテンツサーバ（図示せず）など、外部装置との通信処理を担当する。コンテンツサーバとは、コンテンツＩＤとよばれるＩＤ情報と映像や音楽などのデジタルコンテンツを対応づけて保持する１以上のサーバ装置のことである。コンテンツＩＤやコンテンツサーバ、および、これらに関連する処理の詳細については図９に関連して後述する。
【００１８】
データ処理部１４０は、ユーザインタフェース処理部１１０を介した入力操作や通信部１３０から取得されたデータを元にして各種のデータ処理を実行する。データ処理部１４０は、ユーザインタフェース処理部１１０、通信部１３０およびデータ保持部１６０の間のインタフェースの役割も果たす。
データ保持部１６０は、あらかじめ用意された各種データや、データ処理部１４０から受け取ったデータをはじめとするさまざまなデータを格納する。
【００１９】
ユーザインタフェース処理部１１０は、入力部１１２と表示部１２０を含む。入力部１１２はユーザからの操作入力を受け付ける。表示部１２０は携帯モニタ２１２を介してユーザにさまざまな情報を表示する。入力部１１２は双方向カメラ２１４などにより画像を取得する画像取得部１１４を含む。画像取得部１１４は、ユーザ画像取得部１１６によりユーザ画像を取得し、ベース画像取得部１１８によりベース画像を取得する。このほかにもユーザインタフェース処理部１１０は音声入力や音声出力、ボタンインタフェースを介した入力、内蔵バイブレータの制御なども携帯型ゲーム装置１００のユーザインタフェースの一種として提供する。
通信部１３０は、コンテンツサーバからデジタルコンテンツを取得するコンテンツ取得部１３２を含む。
【００２０】
データ処理部１４０は、画像処理部１４２と処理実行部１５６を含む。画像処理部１４２は、合成処理をはじめとする画像処理全般を担当する。処理実行部１５６は、画像処理部１４２の処理結果に応じて携帯型ゲーム装置１００全体を統括的に制御する。処理実行部１５６の処理内容については、図３以降に関連して詳述する。
【００２１】
画像処理部１４２は、ＩＤ抽出部１４４、頭部特定部１４６、合成部１４８、キャラクタ選択部１５８、表情処理部１５０を含む。ＩＤ抽出部１４４はベース画像から図９に関連して詳述するコンテンツＩＤを抽出する。頭部特定部１４６は、ベース画像におけるベースキャラクタの頭部にあたる画像領域、ユーザ画像におけるユーザの頭部にあたる画像領域を特定する。以下、ベース画像やユーザ画像において頭部にあたる画像領域のことを単に「頭部領域」とよぶことにする。頭部領域の特定については既存の技術を応用すればよい。たとえば、数十から数百種類の顔画像を合成した基準画像をあらかじめ用意しておく。頭部特定部１４６はベース画像中に矩形領域を設定し、基準画像と矩形領域の画像を比較して画像としての類似度を数値化する。ベース画像中にさまざまな矩形領域を設定しながら類似度を適宜算出することにより、ベース画像中において「顔らしい」領域を頭部領域として特定する。ユーザ画像からユーザの頭部領域を特定する処理についても同様である。
【００２２】
合成部１４８は、ベース画像とユーザ画像から合成画像を生成する。この合成画像は表示部１２０により携帯モニタ２１２に表示される。表情処理部１５０は、ユーザ画像やベースキャラクタやユーザの表情に基づく各種処理を担当する。表情処理部１５０は、表情判定部１５２と適否判定部１５４を含む。表情判定部１５２は、ユーザやベースキャラクタの表情を検出する。データ保持部１６０の表情パターン保持部１６４には、「怒りの表情」、「悲しみの表情」、「笑いの表情」、「困惑の表情」、「嫌悪の表情」・・・のようにさまざまな人間の表情に対応した画像が保持されている。これらの画像のことを「表情パターン」とよぶことにする。表情判定部１５２は、ユーザの頭部領域と各表情パターンの画像としての類似度（以下、「表情類似度」とよぶ）を計算することにより、ユーザの表情に適合する表情パターンを特定する。ベースキャラクタの表情の特定についても同様である。表情類似度の計算方法については、既存の画像マッチングに関する技術を応用すればよい。適否判定部１５４は、ユーザの表情が所定の表情パターンに適合しているかを判定する。たとえば、ベースキャラクタの表情パターンとユーザの表情パターンが一致しているかを判定する。
【００２３】
なお、表情パターンは上述のように各表情について類型化された画像であってもよいが、各表情ごとの特徴を示すデータ（以下、このようなデータのことを「表情特徴情報」とよぶ）であってもよい。たとえば、「怒りの表情」であれば眉間にシワができるという特徴があるかもしれないし、「笑いの表情」であれば目尻が下がるという特徴を見いだせるかもしれない。このように、表情特徴情報は、眉の角度、目尻の角度、口のかたちなどさまざまな項目について指標化した数値情報である。キャラクタ選択部１５８は、複数のベースキャラクタがベース画像に表示されているときに、入れ替わり対象となるベースキャラクタ（以下、特に「対象ベースキャラクタ」とよぶ）を選択する。選択方法については後述する。
また、頭部領域の検出と表情の検出はいずれが先ということはなく、実質的に同時実行されてもよい。この場合、表情処理部１５０は、表情判定部１５２に加えて頭部特定部１４６の機能を備えてもよい。表情処理部１５０は、パターンマッチングの手法により、撮像画像中から、ある表情パターンにマッチする「顔のような」画像領域を特定する。この画像領域が頭部領域として特定される。更に、さまざまな表情パターンのうち、もっともマッチした表情パターンによりベースキャラクタやユーザの表情が特定される。このような処理方法によれば、頭部領域の検出と表情の検出を実質的に同時実行できる。
【００２４】
データ保持部１６０は、ユーザ画像保持部１６２、表情パターン保持部１６４およびゲームデータ保持部１６６を含む。ユーザ画像保持部１６２は、ユーザのさまざまな表情に対応して複数種類のユーザ画像を保持する。ユーザは、双方向カメラ２１４を使って、あらかじめさまざまな表情にてユーザ画像を撮像しておき、ユーザ画像保持部１６２に格納しておく。双方向カメラ２１４を介してリアルタイムで取得されるユーザ画像ではなく、ユーザ画像保持部１６２の中からユーザが選択するユーザ画像を対象として合成画像を生成することもできる。
【００２５】
表情パターン保持部１６４は、さまざまな表情についての表情パターンを保持する。ゲームデータ保持部１６６は、携帯型ゲーム装置１００上で実行されるゲームソフトウェアのデータを保持する。
【００２６】
図３は、合成画像の生成過程を示すフローチャートである。
同図は、据置モニタ２０２に映し出されているベース画像を対象として合成画像を生成する場合におけるフローチャートである。ベース画像には１人しかベースキャラクタが映し出されていないものとする。
まず、ベース画像取得部１１８は双方向カメラ２１４を介して据置モニタ２０２を撮像することによりベース画像を取得する（Ｓ１０）。頭部特定部１４６は、ベース画像からベースキャラクタの頭部領域を特定する（Ｓ１２）。次に、ユーザ画像取得部１１６は双方向カメラ２１４を介してユーザを撮像することによりユーザ画像を取得する（Ｓ１４）。頭部特定部１４６は、ユーザ画像からユーザの頭部領域を特定する（Ｓ１６）。合成部１４８は、ベース画像におけるベースキャラクタの頭部領域をユーザの頭部領域の画像と差し替えることにより合成画像を生成する（Ｓ１８）。表示部１２０は、合成画像を携帯モニタ２１２に表示させる（Ｓ２０）。ベース画像が動画である場合には、Ｓ１０からＳ２０までの処理は所定の時間間隔にて繰り返し処理され、動画として合成画像が生成される。
【００２７】
なお、ベース画像は、あらかじめデータ保持部１６０に保持されている任意の画像であってもよい。同様に、ユーザ画像はユーザ画像保持部１６２に保持されているユーザ画像の中から任意に選択された画像であってもよい。
【００２８】
携帯モニタ２１２に加えて、あるいは、携帯モニタ２１２の代わりに据置モニタ２０２に合成画像を表示させてもよい。この場合、合成部１４８が生成した合成画像は通信部１３０によって据置型ゲーム装置２００に送信され、据置型ゲーム装置２００は据置モニタ２０２に合成画像を表示させる。携帯モニタ２１２や据置モニタ２０２には、ユーザの顔をベースキャラクタの顔に入れ替えた合成画像（以下、「逆合成画像」とよぶ）が表示されてもよい。逆合成画像の生成方法は合成画像の生成方法と同等である。すなわち、ユーザ画像におけるユーザの頭部領域をベース画像におけるベースキャラクタの頭部領域の画像に置き換えることにより生成できる。
次に、携帯型ゲーム装置１００の特徴的なユーザインタフェースを用いるさまざまな場面について実施例１から４に分けて説明する。
【００２９】
実施例１：
ベース画像、あるいは、ベースキャラクタの表情にあわせてユーザが表情を変化させることにより、携帯モニタ２１２の表示態様が変化するコンピュータゲームＡに関する。コンピュータゲームＡはゲームデータ保持部１６６に格納され、処理実行部１５６により実行制御される。コンピュータゲームＡが実行開始されると「悲しい表情に対応する悲しいシーン」、「笑いの表情に対応する楽しいシーン」のように、携帯モニタ２１２にはさまざまなシーンが所定のタイミングにて動的に切り換え表示される。ユーザはシーンが切り替わるごとにシーンにあった表情をする必要がある。シーンに合った表情であれば適合ポイントとよばれる点数が１点加算され、シーンに合った表情ができなければ適合ポイントが１点減算される。適合ポイントは５０点から開始され、０点になるとゲームオーバーとなる。
【００３０】
図４（ａ）は、実施例１のコンピュータゲームＡの実行中においてユーザの表情がシーンに合っているときの画面図である。
各シーンにおいてはベースキャラクタが１人登場するが、携帯モニタ２１２にはベースキャラクタの頭部はユーザの頭部に入れ替わった合成画像が表示される。シーンが切り替わると、切り替わってから所定時間後、たとえば、３秒後にベース画像取得部１１８はユーザ画像を取得し、表情判定部１５２はユーザの表情を特定する。適否判定部１５４は、ユーザの表情がシーンに合っているかを判定し、合っていれば適合ポイントを１点加算する。逆に合っていなければ適合ポイントを１点減算する。適合ポイントが５０点以上のときには、処理実行部１５６は「星」を携帯モニタ２１２に表示させる。処理実行部１５６は、適合ポイントが高いほど表示部１２０にたくさんの星を表示させる。処理実行部１５６は、適合ポイントが高いほど携帯モニタ２１２を明るく表示させてもよい。
【００３１】
図４（ｂ）は、実施例１のコンピュータゲームＡの実行中においてユーザの表情がシーンに合っていないときの画面図である。
楽しいシーンでユーザが悲しい表情をしたり、悲しいシーンでユーザが笑顔を作ると、適合ポイントが減算されていく。適合ポイントが５０点未満となると、処理実行部１５６は携帯モニタ２１２から星を消去し、代わりに画面全体を暗くしていく。更に適合ポイントが低くなると、携帯モニタ２１２も更に暗くなり、０点になると携帯モニタ２１２は真っ暗となってゲームオーバーとなる。
【００３２】
なお、適合ポイントはそのままゲームのスコアとなってもよい。処理実行部１５６は、ゲームが進行するについれてシーンの切換頻度を高くしたり、シーンの種類を増やしていくことによって徐々にゲームの難易度が向上するように制御する。
【００３３】
このほかにも、処理実行部１５６は、適合ポイントが所定値以上となると、所定の特典画像を表示させる。このような特典画像を表示させることにより、ユーザのゲームに対する継続意欲を喚起しやすくなる。処理実行部１５６は、適合ポイントに応じて、ＢＧＭも変化させる。処理実行部１５６は、適合ポイントが高いときにはアップテンポの曲を流し、適合ポイントが低いときにはスローテンポの曲を流す。適合ポイントが所定値、たとえば、１５点以下となると、処理実行部１５６は内蔵バイブレータを振動させることによりユーザの危機感をあおってもよい。このように、ユーザは表情を変化させるだけでコンピュータゲームＡを楽しむことができる。表情という直感的なユーザインタフェースであるため、ボタン操作に苦手意識を持つユーザであっても、買ってすぐにゲームを楽しむことが可能となる。
【００３４】
図５は、実施例１におけるユーザの表情の適合判定処理を示すフローチャートである。
このフローチャートは、コンピュータゲームＡが実行中であってシーンが切り替わってから３秒後のタイミングで実行されるフローチャートであるとして説明する。図３のＳ１０からＳ２０までの処理が実行され、ユーザの表情の特定から合成画像の生成・表示までがなされているとする。
適否判定部１５４はベース画像に設定されているシーンとユーザの表情が合っているかを判定する（Ｓ３０）。シーンには、シーンに合った表情を示すシーン情報が含まれている。たとえば、シーンＡには「怒りの表情」、シーンＢには「悲しみの表情」のようにシーン情報が設定されている。適否判定部１５４は、切り替わったシーンのシーン情報とユーザの表情を比較することによりＳ３０の判定を行う。
【００３５】
ユーザの表情がシーンに合っていれば（Ｓ３２のＹ）、適否判定部１５４は適合ポイントを加算する（Ｓ３４）。合っていなければ（Ｓ３２のＮ）、適否判定部１５４は適合ポイントを減算する（Ｓ３６）。適合ポイントが０点となると（Ｓ３７のＹ）、処理実行部１５６はゲームを終了させる（Ｓ３８）。０点でなければ（Ｓ３７のＮ）、処理実行部１５６は適合ポイントに応じた演出内容を決定し、表示部１２０は決定された演出表示を行う（Ｓ３９）。このような処理をシーンが切り替わるごとに実行することにより、適合ポイントが加減算され、それにあわせて携帯モニタ２１２の表示態様も変化する。
また、シーンが切り替わってから３秒後のような所定時間経過後の表情ではなく、所定期間内において継続する表情、あるいは、所定期間内における表情の変化に応じて適否を判定してもよい。たとえば、「怒りの表情」に対応するシーンが所定時間、たとえば、１分間継続するとき、ユーザは「怒りの表情」を１分間継続させる。ユーザが怒りの表情を継続できた時間の長いほど多くの適合ポイントが加算される。
各シーンにおいては、明示的に表情を指定する情報を表示させてもよい。たとえば、シーンが切り替わったときに「怒れ」とか「悲しめ」といった文字情報が表示されてもよい。あるいは、シーンに登場するキャラクタや背景色などによってシーンに対応する表情を示唆してもよい。たとえば、背景が無彩色のシーンでは「悲しみの表情」、背景が赤色のシーンでは「怒りの表情」といった具合である。
また、映像コンテンツのストーリー展開に応じて、シーンに適合する表情が変化してもよい。たとえば、「死」や「敗北」、「失望」などが表現される場面や、「勝利」、「誕生」、「達成」などが表現される場面に応じて、ユーザはシーンに合った表情を作る。ユーザが考えるシーンに適合する表情と、実際にそのシーンに対応づけられている表情がマッチしていれば、ユーザは適合ポイントを取得できる。
更に、ユーザは映像コンテンツのストーリー展開を予測して、その予測に基づいて表情を変化させ、その表情がシーンにマッチしたときに適合ポイントが加算されるとしてもよい。たとえば、映像コンテンツの動画再生時において、ユーザは悲しいシーンへの展開が予想されるときには悲しい表情を作る。実際に悲しいシーンにストーリー展開すれば適合ポイントが加算される。このような処理方法によれば、映像コンテンツのストーリー展開の予測というゲーム性を実現できる。
【００３６】
適否判定部１５４は、ベースキャラクタの表情とユーザの表情が合っているかを判定してもよい。たとえば、ベースキャラクタが笑っているときにユーザも笑えば適合ポイントが加算される。一方、ベースキャラクタが笑っているのにユーザが笑っていなければ適合ポイントが減算される。この場合、表情判定部１５２はベースキャラクタの表情を検出し、ベースキャラクタの表情に合う表情パターンを特定する。適否判定部１５４は、Ｓ３０においてベースキャラクタの表情とユーザの表情が同じ表情パターンであるかを判定する。
【００３７】
実施例１は、コンピュータゲームに限らず、既存の映像コンテンツにシーン情報を付加することでも実現できる。たとえば、既存の映像コンテンツを、笑うべきタイミングが発生してから所定時間以内に笑顔を作れれば適合ポイントが加算され、笑うタイミングがずれると適合ポイントが減算されるという映像コンテンツに改変してもよい。このように、既存の映像コンテンツに簡単にゲーム性を付与できることも実施例１に関連したメリットの一つである。
【００３８】
実施例２：
ユーザが表情を変化させることにより、ゲーム展開が変化するコンピュータゲームＢに関する。このコンピュータゲームＢはゲームデータ保持部１６６に格納され、処理実行部１５６により実行制御される。コンピュータゲームＢは、ユーザにさまざまな判断を要求し、ユーザの判断に応じてゲーム展開が変化する。このような操作方法はロールプレイングゲームやアドベンチャーゲームにおいてはごく一般的であるが、実施例２のコンピュータゲームＢはこの選択をユーザの表情によって行っている点に特徴がある。
【００３９】
図６は、実施例２のコンピュータゲームＢがユーザの判断を要求するときの画面図である。
ベースキャラクタは同図向かって右側のキャラクタであり、ユーザヘッド２０８はユーザの頭部画像と入れ替わっている。一方、同図向かって左側のサブキャラクタ２２０は、ベースキャラクタの仲間のキャラクタである。サブキャラクタ２２０は入れ替わりの対象とならないキャラクタであり、ベースキャラクタではない。コンピュータゲームＢにおいては、ユーザがさまざまな状況に直面し、適宜判断を下すことによりストーリーが展開する。同図は、サブキャラクタ２２０とベースキャラクタが敵キャラクタ（図示せず）を倒し、サブキャラクタ２２０がユーザに敵キャラクタを「許す」か、「許さない」かについて２者択一の判断を求めている場面を示している。
【００４０】
ユーザが笑いの表情を作ると「許す」というコマンドが選択され、怒りの表情を作ると「許さない」というコマンドが選択される。いずれのコマンドが選択されるかに応じて、その後のゲーム展開が変化する。「許す」というコマンドが選択されたときには、第１のシナリオに移行し、「許さない」というコマンドが選択されたときには、第２のシナリオに移行する。第１のシナリオが実行されると敵キャラクタが新たな味方となり、第２のシナリオが実行されると敵キャラクタが反撃するため戦闘シーンに移行する。
【００４１】
同図に示す場面において、表情判定部１５２はユーザの表情を特定する。コンピュータゲームＢにおいては「笑う＝許す＝シナリオ１のプログラム実行」、「怒る＝許さない＝シナリオ２のプログラム実行」として表情とコマンド、更にその実行内容が対応づけられている。処理実行部１５６は、ユーザの表情に応じたコマンドを選択し、該当シナリオのプログラムを実行する。ユーザは、表情を変えるだけでゲーム展開を制御できるので、スピーディーなゲーム展開が可能となる。ここでは、明示的にユーザにコマンド選択を要求する場合について示したが、暗黙的な所定タイミングにてユーザの表情を検出し、その表情に応じてゲーム展開を変化させてもよい。ゲーム中にユーザが思わずしてしまった表情によってゲームの展開が変化していくとすれば、ユーザに「入力」という感覚すら持たせることなくゲームを実行することもできる。
【００４２】
実施例３：
ベース画像に複数のベースキャラクタが表示されているときに、対象ベースキャラクタを選択できる映像コンテンツに関する。ドラマや映画などの映像コンテンツを再生する場合、複数の登場人物がベース画像上にあらわれる。実施例３においては、これら複数の登場人物の中から入れ替わり対象となる対象ベースキャラクタが選択される。ここでは、主役であるベースキャラクタＡと脇役であるベースキャラクタＢが登場するドラマを題材として説明する。
【００４３】
図７（ａ）は、実施例３においてユーザが主役と入れ替わるときの画面図である。
同図向かって右側のキャラクタが主役のベースキャラクタＡ、同図向かって左側のキャラクタが脇役のベースキャラクタＢである。ユーザは、主役のキャラクタＡと脇役のキャラクタＢのいずれかを対象ベースキャラクタとして選択する。携帯型ゲーム装置１００に設置される右ボタンを押下すると、キャラクタ選択部１５８は右側のベースキャラクタＡを対象ベースキャラクタと設定する。左ボタンを押下すると左側のベースキャラクタＢが対象ベースキャラクタとなる。ここでは、ユーザはベースキャラクタＡを対象ベースキャラクタとして選択しているとする。ベースキャラクタＡの頭部は、ユーザ画像の頭部領域であるユーザヘッド２０８に入れ替わった合成画像となっている。
【００４４】
図７（ｂ）は、実施例３においてユーザが脇役と入れ替わるときの画面図である。
ここでは、ユーザは脇役のベースキャラクタＢを対象ベースキャラクタとして選択しており、ベースキャラクタＢの頭部はユーザヘッド２０８と入れ替わった合成画像となっている。
【００４５】
このように、ユーザは映像コンテンツの登場人物の中から自分が演じたい登場人物を選択して、映像の中に入り込むことができる。たとえば、ＤＶＤ（Digital Versatile Disk）やＵＭＤ（Universal Media Disc：登録商標）に格納されている映画であれば、登場人物を紹介する画面でユーザは対象ベースキャラクタを選択してもよい。処理実行部１５６は、選択された対象ベースキャラクタの顔の特徴を示す顔特徴情報をデータ保持部１６０に記録する。顔特徴情報とは、口や鼻のかたち、肌の色など、ベースキャラクタの顔を特徴づける情報であればよい。映画が開始されると、頭部特定部１４６は、定期的にベース画像からベースキャラクタ達の頭部領域を特定する。キャラクタ選択部１５８は、特定された頭部領域と対象ベースキャラクタの顔特徴情報を比較することにより、ベース画像から対象ベースキャラクタを特定する。ベース画像に対象ベースキャラクタが登場していれば、合成部１４８は合成処理を実行する。
【００４６】
対象ベースキャラクタの選択は自動的になされてもよい。たとえば、ユーザが女性であるときには、女性のベースキャラクタの中から対象ベースキャラクタを選択可能としてもよい。また、キャラクタ選択部１５８は、ユーザの年齢に最も近い設定年齢の登場人物を対象ベースキャラクタとして自動的に選択してもよい。キャラクタ選択部１５８は、各登場人物の顔特徴情報とユーザの顔特徴情報を比較して、ユーザの顔と最も類似する登場人物を対象ベースキャラクタとして自動的に選択してもよい。
【００４７】
複数のユーザが同じ映画に「共演」することもできる。たとえば、ユーザＡは主役のキャラクタＡを演じ、ユーザＢは脇役のキャラクタＢを演じるとする。このとき、キャラクタＡの頭部はユーザＡの頭部と入れ替わり、キャラクタＢの頭部はユーザＢの頭部と入れ替わる。例として据置型ゲーム装置２００がＤＶＤに記録されている映画を据置モニタ２０２に再生させているとする。ユーザＡの携帯型ゲーム装置１００は、ユーザＡの頭部画像をユーザＢの携帯型ゲーム装置１００に定期的に送信する。ユーザＢの携帯型ゲーム装置１００は、キャラクタＡの頭部画像をユーザＡの頭部画像に入れ替え、キャラクタＢの頭部画像をユーザＢの頭部画像に入れ替える。こうして、ユーザＢの携帯型ゲーム装置１００にはユーザＡとユーザＢが登場する合成画像が表示される。ユーザＡの携帯型ゲーム装置１００に対しても同様の合成画像が表示される。このような処理方法によれば、複数のユーザが１つの映像コンテンツに同時参加できるため、演劇練習などの場面に応用可能である。
【００４８】
対象ベースキャラクタは、ユーザの表情に基づいて選択されてもよい。あるユーザが携帯型ゲーム装置１００にて映像コンテンツを再生している場面を想定する。この映像コンテンツにはベースキャラクタＡとベースキャラクタＢが現れているとする。映像コンテンツ再生中の所定タイミングにおいて、表情判定部１５２は、ベースキャラクタＡ、ベースキャラクタＢ、ユーザの各表情を特定する。キャラクタ選択部１５８は、ベースキャラクタＡとベースキャラクタＢのうち、ユーザの表情に近い表情のベースキャラクタを対象ベースキャラクタとして動的に選択する。このような処理方法によれば、ユーザは自分が演じたいキャラクタに配役されるためには、そのキャラクタの表情にあわせて自分の表情を動的に変化させる必要が生じる。
【００４９】
図８は、実施例３においてユーザの表情に応じて対象ベースキャラクタを選択する処理過程を示すフローチャートである。
ここでは、映画のような映像コンテンツが再生されているとき、複数の登場人物の中からユーザの表情に応じて対象ベースキャラクタを特定する場合について説明する。まず、ベース画像取得部１１８は映像コンテンツから所定の時間間隔でベース画像を定期的に取得する（Ｓ４０）。頭部特定部１４６は、ベース画像に含まれている各ベースキャラクタの頭部領域を特定する（Ｓ４２）。表情判定部１５２は、各ベースキャラクタの表情を特定する（Ｓ４４）。例として、ベース画像に怒りの表情のベースキャラクタＡ、悲しみの表情のベースキャラクタＢが登場しているとする。
【００５０】
次に、ユーザ画像取得部１１６はユーザ画像を取得する（Ｓ４６）。頭部特定部１４６はユーザの頭部領域を特定する（Ｓ４８）。表情判定部１５２は、ユーザの表情を特定する（Ｓ５０）。ここでは、ユーザの表情が悲しみの表情であったとする。適否判定部１５４は、ユーザの表情と各ベースキャラクタの表情を比較して、ユーザの表情に近いベースキャラクタを判定する（Ｓ５２）。ユーザの表情は、キャラクタＡよりもキャラクタＢに近いので、キャラクタ選択部１５８はベースキャラクタＢを対象ベースキャラクタとして選択する（Ｓ５４）。合成部１４８は、キャラクタＢの頭部をユーザの頭部と入れ替えた合成画像を生成する（Ｓ５６）。表示部１２０は合成画像を画面に表示させる（Ｓ５８）。このような処理を所定の時間間隔で繰り返すことにより、合成画像において対象ベースキャラクタが動的に変化する。なお、図８に示す処理は、たとえば、０．１秒間隔の高い頻度で実行し、このうち、Ｓ５２およびＳ５４のキャラクタ選択に関する処理は１０秒間隔の比較的低い頻度で実行するとしてもよい。このような処理方法によれば、対象ベースキャラクタが過度に変化しないように処置できる。
【００５１】
ユーザの表情とベースキャラクタの表情から表情類似度を求めることにより、対象ベースキャラクタを選択してもよい。たとえば、口や目の開き方、眉の角度などを指標化した表情特徴情報により、ユーザとベースキャラクタの表情類似度を求めてもよい。ユーザＡとユーザＢが同じ映像コンテンツにて共演する場合、表情判定部１５２は、ユーザＡ、ユーザＢ、主役のベースキャラクタＡの各表情を特定し、適否判定部１５４はユーザＡとベースキャラクタＡ、ユーザＢとベースキャラクタＡのそれぞれの表情類似度を算出する。そして、表情類似度が高い方のユーザが主役のベースキャラクタＡと入れ替わり、低い方のユーザが脇役のベースキャラクタＢと入れ替わる。
【００５２】
所定の時間間隔、たとえば、１分ごとにこのような判定を行い、複数のユーザが主役の座を争ってもよい。このような処理方法によれば、主役のベースキャラクタＡの表情に近い演技をしたユーザが主役を射止めることになるので、複数のユーザ間で演技力を競うというユニークなゲーム性を実現できる。また、ユーザが１人だけの場合でも、主役の表情と似ていない表情をしてしまうと脇役に降格されるとしてもよい。ベースキャラクタ間に主役と脇役のような優先順位を設けておき、ユーザは表情に応じていずれかのベースキャラクタに動的に配役されていくことになる。そして、映像コンテンツの再生が終了時に、最終的にどの役を獲得できたかを競ってもよい。
【００５３】
実施例４：
ベース画像に含まれているコンテンツＩＤに基づいて特典を受けることが可能な処理モデルに関する。実施例４において、ベース画像にはコンテンツＩＤが記録されている。コンテンツＩＤはＱＲコード（Quick Response code）として含まれてもよいし、電子透かしのかたちで含まれてもよい。一方、所定のコンテンツサーバは、コンテンツＩＤと映像や音楽などのデジタルコンテンツを対応づけて保持している。ベース画像にはシーン情報が設定されている。ユーザがシーン情報に合った表情をすると、ＩＤ抽出部１４４はベース画像からコンテンツＩＤを取得する。あるいは、ユーザがベースキャラクタと同じ表情をすると、ＩＤ抽出部１４４はベース画像からコンテンツＩＤを取得する。コンテンツ取得部１３２は、このコンテンツＩＤをキーとしてコンテンツサーバから特典としてのデジタルコンテンツ、たとえば、ボーナストラックや特典画像などダウンロードできる。このようにして取得されるデジタルコンテンツのことを、以下、「プレミアムコンテンツ」とよぶ。
【００５４】
図９は、実施例４においてプレミアムコンテンツの取得処理過程を示すフローチャートである。
ここでは、ＱＲコードのかたちでコンテンツＩＤが付与された写真集をベース画像として撮像することにより、プレミアムコンテンツを取得する場合について説明する。ベース画像取得部１１８は、この写真集を撮像してコンテンツＩＤ付きのベース画像を取得する（Ｓ６０）。頭部特定部１４６は、ベース画像に含まれるベースキャラクタの頭部領域を特定する（Ｓ６２）。表情判定部１５２は、ベースキャラクタの表情を特定する（Ｓ６４）。
【００５５】
次に、ユーザ画像取得部１１６はユーザ画像を取得する（Ｓ６６）。頭部特定部１４６は、ユーザの頭部領域を特定する（Ｓ６８）。表情判定部１５２はユーザの表情を特定する（Ｓ７０）。適否判定部１５４は、ベースキャラクタの表情とユーザの表情が合っているかを判定する（Ｓ７２）。合っていれば（Ｓ７２のＹ）、ＩＤ抽出部１４４はコンテンツＩＤを抽出する（Ｓ７４）。処理実行部１５６は、コンテンツ取得部１３２に指示して、コンテンツＩＤに対応するプレミアムコンテンツをコンテンツサーバから取得させる（Ｓ７６）。コンテンツ取得部１３２は、コンテンツサーバからプレミアムコンテンツをダウンロードする。Ｓ７２において表情が合っていないときには（Ｓ７２のＮ）、Ｓ７４およびＳ７６の処理はスキップされる。コンテンツＩＤ取得の試行回数は、所定回数、たとえば、３回と区切られてもよい。
【００５６】
以上に示した携帯型ゲーム装置１００によれば、ユーザはさまざまな映像コンテンツに画像の一部として入り込むことができる。また、ユーザの表情に応じてさまざまな操作が可能となっている。子供あるいは人間以外の動物ですら表現可能な「表情」を入力インタフェースとして用いることにより、直感的で理解しやすいユーザインタフェースが実現されている。表情認識に基づく入力インタフェースと合成処理に基づく出力インタフェースによって、ユーザと映像コンテンツの一体感を高めている。
【００５７】
実施例１に関連して説明したように、ユーザの表情に応じて画面の表示態様を変化させることにより、事実上、表情だけを入力インタフェースとする直感的に理解しやすいコンピュータゲームを実現できる。そのため、従来のボタン操作を駆使するタイプのコンピュータゲームに対して苦手意識を持っているユーザや、ごく低年齢のユーザにまでゲームユーザの裾野を広げやすくなる。同様に、実施例２に関連して説明したように、ユーザの表情に応じてゲーム展開が変化するコンピュータゲームを実現することもできる。ユーザは表情を変えるだけなので、切れ目のなくストーリーを展開させやすくなる。
【００５８】
また、実施例３に関連して説明したように、複数のベースキャラクタの中から対象ベースキャラクタを選択することにより、自分が演じたい人物になりきることができる。また、ユーザの表情に応じて対象ベースキャラクタを切り換えることにより、映像コンテンツに対するユーザの没入感をいっそう高めることができる。
【００５９】
更に、実施例４に関連して説明したように、ユーザの表情に応じてプレミアムコンテンツをダウンロード可能としてもよい。たとえば、ＣＤのジャケットにコンテンツＩＤを設定しておき、ユーザは携帯型ゲーム装置１００を使って正しい表情を作ることにより、プレミアムコンテンツをダウンロードできるとしてもよい。あるいは、ウェブページにコンテンツＩＤを設定しておけば、ウェブページに対するユーザの興味を引きつける上でも有効である。このように、携帯型ゲーム装置１００によれば、ユーザの操作負担を増加させることなく映像と人間の関わりを親密化する新しいユーザインタフェースを提供できる。
【００６０】
以上、本発明を実施例をもとに説明した。この実施例はあくまで例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６１】
請求項に記載の合成画像生成機能は、本実施例においては主として合成部１４８によって実現される。合成画像表示機能は、本実施例においては主として表示部１２０の機能として実現されている。表情検出機能は、本実施例においては主として表情判定部１５２により実現されている。請求項に記載のユーザインタフェース機能は、本実施例においては主として処理実行部１５６によって実現されている。適否判定機能は主として適否判定部１５４により実現され、請求項に記載の通信機能は本実施例においては主としてコンテンツ取得部１３２によって実現されている。
これら請求項に記載の各構成要件が果たすべき機能は、本実施例において示された各機能ブロックの単体もしくはそれらの連係によって実現されることも当業者には理解されるところである。
【００６２】
変形例として、ユーザの頭部とベースキャラクタの頭部を完全に入れ替えた合成画像ではなく、たとえば、ベースキャラクタ３０％、ユーザ７０％のようにユーザの顔とベースキャラクタの顔を所定比率にて混ぜ合わせた顔の画像を合成画像上に表示してもよい。顔画像の混ぜ合わせについては既知のモーフィング技術を応用すればよい。
【００６３】
ベース画像において、対象ベースキャラクタは常に正面を向いているとは限らない。このような場合のために、ユーザ画像保持部１６２にはあらかじめユーザをさまざまな角度から見たときの画像を用意しておいてもよい。そして、ベースキャラクタが正面を向いているときにはリアルタイムで撮像したユーザの頭部画像を嵌め込み、ベースキャラクタが横や上を向いていて表情がわからない状態にあるときには、あらかじめ用意していたユーザの頭部画像を嵌め込むとしてもよい。
【図面の簡単な説明】
【００６４】
【図１】本実施例における映像コンテンツのユーザインタフェースを説明するための模式図である。
【図２】携帯型ゲーム装置の機能ブロック図である。
【図３】合成画像の生成過程を示すフローチャートである。
【図４】図４（ａ）は、実施例１のコンピュータゲームＡの実行中においてユーザの表情がシーンに合っているときの画面図である。図４（ｂ）は、実施例１のコンピュータゲームＡの実行中においてユーザの表情がシーンに合っていないときの画面図である。
【図５】実施例１におけるユーザの表情の適合判定処理を示すフローチャートである。
【図６】実施例２のコンピュータゲームＢがユーザの判断を要求するときに表示される画面図である。
【図７】図７（ａ）は、実施例３においてユーザが主役と入れ替わるときの画面図である。図７（ｂ）は、実施例３においてユーザが脇役と入れ替わるときの画面図である。
【図８】実施例３においてユーザの表情に応じて対象ベースキャラクタを選択する処理過程を示すフローチャートである。
【図９】実施例４においてプレミアムコンテンツの取得処理過程を示すフローチャートである。
【符号の説明】
【００６５】
１００ 携帯型ゲーム装置、 １１０ ユーザインタフェース処理部、 １１２ 入力部、 １１４ 画像取得部、 １１６ ユーザ画像取得部、 １１８ ベース画像取得部、 １２０ 表示部、 １３０ 通信部、 １３２ コンテンツ取得部、 １４０ データ処理部、 １４２ 画像処理部、 １４４ ＩＤ抽出部、 １４６ 頭部特定部、 １４８ 合成部、 １５０ 表情処理部、 １５２ 表情判定部、 １５４ 適否判定部、 １５６ 処理実行部、 １５８ キャラクタ選択部、 １６０ データ保持部、 １６２ ユーザ画像保持部、 １６４ 表情パターン保持部、 １６６ ゲームデータ保持部、 ２００ 据置型ゲーム装置、 ２０２ 据置モニタ、 ２１２ 携帯モニタ、 ２１４ 双方向カメラ。
【技術分野】
【０００１】
本発明は、表情認識に基づくユーザインタフェースを提供するための技術、に関する。
【背景技術】
【０００２】
近年、携帯型ゲーム端末や携帯電話をはじめとしてさまざまな携帯型の情報端末（以下、単に「携帯機器」とよぶ）が普及している。これらの携帯機器の中には、ゲームの他にもテレビ放送を受信する機能、音楽や映像を再生する機能などのさまざまな機能を備えたものも多い。携帯機器の高機能化により、ユーザはさまざまなデジタルコンテンツを場所を選ばずに楽めるようになってきた。
【特許文献１】特開２００５−２１６０６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
その一方、携帯機器の操作は、高機能化にともなって複雑化しがちである。特に、コンピュータゲームにとって操作性は重要なポイントであり、ユーザが感覚的に理解可能な「買ってすぐ使える」ユーザインタフェースであることが望ましい。
【０００４】
本発明は、このような課題に鑑みてなされたものであり、その主たる目的は、ユーザが映像コンテンツに没入しやすい感覚的なユーザインタフェースを実現することである。
【課題を解決するための手段】
【０００５】
本発明のある態様は、携帯機器をはじめとする情報処理装置において実行可能な画像処理プログラムである。
この画像処理プログラムは、ユーザ以外の他人が撮像された画像において他人の頭部にあたる領域をユーザの頭部画像と入れ替えることにより、他人の頭部をユーザの頭部に入れ替えた合成画像を生成して画面に表示させる。そして、ユーザの表情に応じてさまざまな処理を実行する。
【０００６】
たとえば、ユーザの表情が「怒りの表情」であるときにはシーンＡを表示させ、「悲しみの表情」であるときにはシーンＢを表示させるといった具合である。ここでいう「他人」とは映画やドラマ、コンピュータゲーム、写真などのさまざまな映像コンテンツに登場する人物であってもよい。ユーザは、合成画像にて「他人」と入れ替わることにより映像コンテンツの一部となることができる。表情認識に基づく直感的な入力とユーザ自身を含む合成画像の出力により、映像コンテンツに対するユーザの没入感・一体感をいっそう向上させることができる。
【０００７】
なお、本発明を方法、装置、システム、記録媒体により表現したものもまた、本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、映像コンテンツに没入しやすいユーザインタフェースを提供できる。
【発明を実施するための最良の形態】
【０００９】
図１は、本実施例における映像コンテンツのユーザインタフェースを説明するための模式図である。
携帯型ゲーム装置１００は、ユーザ２１８によって持ち運び可能な装置である。据置モニタ２０２は一般的なテレビモニタである。同図においては、据置モニタ２０２にテレビ番組が表示されており、キャラクタ２１６が映し出されている。キャラクタ２１６は、テレビ番組に登場している俳優など通常の人物画像である。
【００１０】
携帯型ゲーム装置１００は、双方向カメラ２１４を備える。双方向カメラ２１４は、携帯型ゲーム装置１００の前面側と背面側を同時に撮像可能なカメラである。ユーザ２１８が携帯型ゲーム装置１００を据置モニタ２０２に向けてかざすことにより、双方向カメラ２１４は据置モニタ２０２に映し出されている画像とユーザ２１８自身の画像を同時に撮像する。双方向カメラ２１４は、動画像としてそれぞれの画像を撮像することもできる。双方向カメラ２１４は、２つのカメラが一体形成されたものであってもよいし、ハーフミラーにより１つのカメラで２つの画像を同時に取得できるよう形成されてもよい。
【００１１】
携帯型ゲーム装置１００は、据置モニタ２０２の撮像画像のうち、キャラクタヘッド２０４をユーザヘッド２０８に入れ替えて携帯モニタ２１２に表示させる。キャラクタヘッド２０４は、据置モニタ２０２の撮像画像からキャラクタ２１６の頭部にあたる画像領域を抽出した画像である。ユーザヘッド２０８は、ユーザ２１８の撮像画像からユーザ２１８の頭部にあたる画像領域を抽出した画像である。こうして、携帯型ゲーム装置１００の携帯モニタ２１２には、テレビ番組の画像をベースとしつつも、キャラクタ２１６の顔だけがユーザ２１８の顔に入れ替わった画像（以下、このような画像のことを「合成画像」とよぶ）が表示される。以下、据置モニタ２０２の画像のように、ユーザ２１８が入れ替わる対象となる画像のことを「ベース画像」、ベース画像のうちキャラクタ２１６のようにユーザ２１８が入れ替わりの対象となるキャラクタのことを「ベースキャラクタ」、ユーザ２１８自身を撮像した画像のことを「ユーザ画像」とよぶことにする。ベース画像においてベースキャラクタの頭部にあたる画像領域を、ユーザ画像においてユーザ２１８の頭部にあたる画像領域と入れ替えることにより、合成画像が生成されることになる。
【００１２】
双方向カメラ２１４は、所定の時間間隔、たとえば、３０分の１秒から６０分の１秒間隔で据置モニタ２０２とユーザ２１８を定期的に撮像する。これにあわせて合成画像も定期的に生成されるので、合成画像を動画像として生成することもできる。据置モニタ２０２の表示内容が変化しても、携帯モニタ２１２にはその変化に対応した合成画像が動画表示される。更に詳しくは図３に関連して後述する。据置モニタ２０２で映画が表示されている場合、俳優をベースキャラクタとすれば、ユーザ２１８は携帯モニタ２１２にてあたかも自分が出演しているかのように映画を楽しむことができる。
【００１３】
ベース画像となり得るのは、実写のドラマや映画、スポーツのような映像コンテンツに限らない。たとえば、アニメ番組に登場するキャラクタをベースキャラクタとしてもよい。また、ベースキャラクタは必ずしも人間である必要はなく、擬人化された動物やモノをベースキャラクタとしてもよい。携帯型ゲーム装置１００自体が映像コンテンツを再生してもよい。この場合、携帯型ゲーム装置１００はユーザ画像のみ撮像する。携帯型ゲーム装置１００は映像コンテンツの再生画像を毎フレームサンプリングすることにより定期的にベース画像を取得できるので、合成画像を生成する基本的な原理は同様である。
【００１４】
ベース画像は、コンピュータゲームの画像であってもよい。携帯型ゲーム装置１００が実行するコンピュータゲーム、たとえば、ＣＧ（Computer Graphics）がふんだんに盛り込まれたロールプレイングゲームやアドベンチャーゲームからベース画像を取得してもよい。据置型ゲーム装置２００がコンピュータゲームを実行し、そのゲーム画像が据置モニタ２０２に表示されるときには、携帯型ゲーム装置１００は双方向カメラ２１４によりベース画像となるゲーム画面を撮像してもよい。
主人公に対するユーザの愛着を増すために、ユーザが主人公の名前や姿を設定できるコンピュータゲームは一般的である。本実施例に示す携帯型ゲーム装置１００によれば主人公の顔をユーザ２１８の顔と入れ替えることができるため、ユーザのゲームキャラクタに対する一体感をいっそう高めることができる。
【００１５】
ベース画像は、写真のような静止画であってもよい。たとえば、アイドルの写真を撮像することによりベース画像を取得し、アイドルの顔とユーザ２１８の顔を入れ替えて合成画像を生成することもできる。動画あるいは静止画として生成された合成画像を記録することにより、既存の映像コンテンツから自分参加型の映像コンテンツを簡単に作ることができる。
なお、上記したような機能を携帯型ゲーム装置１００ではなく据置型ゲーム装置２００において実現するという方法も考えられる。たとえば、ユーザ２１８を撮像するためのカメラを据置モニタ２０２の上に設置し、据置型ゲーム装置２００はこのカメラにユーザ画像を撮像させ、合成画像を生成し、据置モニタ２０２に表示させてもよい。本実施例においては、ユーザ画像とベース画像から合成画像を生成する処理（以下、単に「合成処理」とよぶ）は、もっぱら携帯型ゲーム装置１００単体の機能として実現されるものとして説明する。
以下、携帯型ゲーム装置１００の具体的な機能を説明した後、携帯型ゲーム装置１００のさまざまな使用例を説明する。
【００１６】
図２は、携帯型ゲーム装置１００の機能ブロック図である。
ここに示す各ブロックは、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
ここでは、主として各ブロックの発揮すべき機能について、その具体的な作用については、図３以降に関連して説明する。
【００１７】
携帯型ゲーム装置１００は、ユーザインタフェース処理部１１０、通信部１３０、データ処理部１４０およびデータ保持部１６０を含む。
ユーザインタフェース処理部１１０は、携帯型ゲーム装置１００のユーザからの入力処理やユーザに対する情報表示のようにユーザインタフェース全般に関する処理を担当する。通信部１３０は、据置型ゲーム装置２００やコンテンツサーバ（図示せず）など、外部装置との通信処理を担当する。コンテンツサーバとは、コンテンツＩＤとよばれるＩＤ情報と映像や音楽などのデジタルコンテンツを対応づけて保持する１以上のサーバ装置のことである。コンテンツＩＤやコンテンツサーバ、および、これらに関連する処理の詳細については図９に関連して後述する。
【００１８】
データ処理部１４０は、ユーザインタフェース処理部１１０を介した入力操作や通信部１３０から取得されたデータを元にして各種のデータ処理を実行する。データ処理部１４０は、ユーザインタフェース処理部１１０、通信部１３０およびデータ保持部１６０の間のインタフェースの役割も果たす。
データ保持部１６０は、あらかじめ用意された各種データや、データ処理部１４０から受け取ったデータをはじめとするさまざまなデータを格納する。
【００１９】
ユーザインタフェース処理部１１０は、入力部１１２と表示部１２０を含む。入力部１１２はユーザからの操作入力を受け付ける。表示部１２０は携帯モニタ２１２を介してユーザにさまざまな情報を表示する。入力部１１２は双方向カメラ２１４などにより画像を取得する画像取得部１１４を含む。画像取得部１１４は、ユーザ画像取得部１１６によりユーザ画像を取得し、ベース画像取得部１１８によりベース画像を取得する。このほかにもユーザインタフェース処理部１１０は音声入力や音声出力、ボタンインタフェースを介した入力、内蔵バイブレータの制御なども携帯型ゲーム装置１００のユーザインタフェースの一種として提供する。
通信部１３０は、コンテンツサーバからデジタルコンテンツを取得するコンテンツ取得部１３２を含む。
【００２０】
データ処理部１４０は、画像処理部１４２と処理実行部１５６を含む。画像処理部１４２は、合成処理をはじめとする画像処理全般を担当する。処理実行部１５６は、画像処理部１４２の処理結果に応じて携帯型ゲーム装置１００全体を統括的に制御する。処理実行部１５６の処理内容については、図３以降に関連して詳述する。
【００２１】
画像処理部１４２は、ＩＤ抽出部１４４、頭部特定部１４６、合成部１４８、キャラクタ選択部１５８、表情処理部１５０を含む。ＩＤ抽出部１４４はベース画像から図９に関連して詳述するコンテンツＩＤを抽出する。頭部特定部１４６は、ベース画像におけるベースキャラクタの頭部にあたる画像領域、ユーザ画像におけるユーザの頭部にあたる画像領域を特定する。以下、ベース画像やユーザ画像において頭部にあたる画像領域のことを単に「頭部領域」とよぶことにする。頭部領域の特定については既存の技術を応用すればよい。たとえば、数十から数百種類の顔画像を合成した基準画像をあらかじめ用意しておく。頭部特定部１４６はベース画像中に矩形領域を設定し、基準画像と矩形領域の画像を比較して画像としての類似度を数値化する。ベース画像中にさまざまな矩形領域を設定しながら類似度を適宜算出することにより、ベース画像中において「顔らしい」領域を頭部領域として特定する。ユーザ画像からユーザの頭部領域を特定する処理についても同様である。
【００２２】
合成部１４８は、ベース画像とユーザ画像から合成画像を生成する。この合成画像は表示部１２０により携帯モニタ２１２に表示される。表情処理部１５０は、ユーザ画像やベースキャラクタやユーザの表情に基づく各種処理を担当する。表情処理部１５０は、表情判定部１５２と適否判定部１５４を含む。表情判定部１５２は、ユーザやベースキャラクタの表情を検出する。データ保持部１６０の表情パターン保持部１６４には、「怒りの表情」、「悲しみの表情」、「笑いの表情」、「困惑の表情」、「嫌悪の表情」・・・のようにさまざまな人間の表情に対応した画像が保持されている。これらの画像のことを「表情パターン」とよぶことにする。表情判定部１５２は、ユーザの頭部領域と各表情パターンの画像としての類似度（以下、「表情類似度」とよぶ）を計算することにより、ユーザの表情に適合する表情パターンを特定する。ベースキャラクタの表情の特定についても同様である。表情類似度の計算方法については、既存の画像マッチングに関する技術を応用すればよい。適否判定部１５４は、ユーザの表情が所定の表情パターンに適合しているかを判定する。たとえば、ベースキャラクタの表情パターンとユーザの表情パターンが一致しているかを判定する。
【００２３】
なお、表情パターンは上述のように各表情について類型化された画像であってもよいが、各表情ごとの特徴を示すデータ（以下、このようなデータのことを「表情特徴情報」とよぶ）であってもよい。たとえば、「怒りの表情」であれば眉間にシワができるという特徴があるかもしれないし、「笑いの表情」であれば目尻が下がるという特徴を見いだせるかもしれない。このように、表情特徴情報は、眉の角度、目尻の角度、口のかたちなどさまざまな項目について指標化した数値情報である。キャラクタ選択部１５８は、複数のベースキャラクタがベース画像に表示されているときに、入れ替わり対象となるベースキャラクタ（以下、特に「対象ベースキャラクタ」とよぶ）を選択する。選択方法については後述する。
また、頭部領域の検出と表情の検出はいずれが先ということはなく、実質的に同時実行されてもよい。この場合、表情処理部１５０は、表情判定部１５２に加えて頭部特定部１４６の機能を備えてもよい。表情処理部１５０は、パターンマッチングの手法により、撮像画像中から、ある表情パターンにマッチする「顔のような」画像領域を特定する。この画像領域が頭部領域として特定される。更に、さまざまな表情パターンのうち、もっともマッチした表情パターンによりベースキャラクタやユーザの表情が特定される。このような処理方法によれば、頭部領域の検出と表情の検出を実質的に同時実行できる。
【００２４】
データ保持部１６０は、ユーザ画像保持部１６２、表情パターン保持部１６４およびゲームデータ保持部１６６を含む。ユーザ画像保持部１６２は、ユーザのさまざまな表情に対応して複数種類のユーザ画像を保持する。ユーザは、双方向カメラ２１４を使って、あらかじめさまざまな表情にてユーザ画像を撮像しておき、ユーザ画像保持部１６２に格納しておく。双方向カメラ２１４を介してリアルタイムで取得されるユーザ画像ではなく、ユーザ画像保持部１６２の中からユーザが選択するユーザ画像を対象として合成画像を生成することもできる。
【００２５】
表情パターン保持部１６４は、さまざまな表情についての表情パターンを保持する。ゲームデータ保持部１６６は、携帯型ゲーム装置１００上で実行されるゲームソフトウェアのデータを保持する。
【００２６】
図３は、合成画像の生成過程を示すフローチャートである。
同図は、据置モニタ２０２に映し出されているベース画像を対象として合成画像を生成する場合におけるフローチャートである。ベース画像には１人しかベースキャラクタが映し出されていないものとする。
まず、ベース画像取得部１１８は双方向カメラ２１４を介して据置モニタ２０２を撮像することによりベース画像を取得する（Ｓ１０）。頭部特定部１４６は、ベース画像からベースキャラクタの頭部領域を特定する（Ｓ１２）。次に、ユーザ画像取得部１１６は双方向カメラ２１４を介してユーザを撮像することによりユーザ画像を取得する（Ｓ１４）。頭部特定部１４６は、ユーザ画像からユーザの頭部領域を特定する（Ｓ１６）。合成部１４８は、ベース画像におけるベースキャラクタの頭部領域をユーザの頭部領域の画像と差し替えることにより合成画像を生成する（Ｓ１８）。表示部１２０は、合成画像を携帯モニタ２１２に表示させる（Ｓ２０）。ベース画像が動画である場合には、Ｓ１０からＳ２０までの処理は所定の時間間隔にて繰り返し処理され、動画として合成画像が生成される。
【００２７】
なお、ベース画像は、あらかじめデータ保持部１６０に保持されている任意の画像であってもよい。同様に、ユーザ画像はユーザ画像保持部１６２に保持されているユーザ画像の中から任意に選択された画像であってもよい。
【００２８】
携帯モニタ２１２に加えて、あるいは、携帯モニタ２１２の代わりに据置モニタ２０２に合成画像を表示させてもよい。この場合、合成部１４８が生成した合成画像は通信部１３０によって据置型ゲーム装置２００に送信され、据置型ゲーム装置２００は据置モニタ２０２に合成画像を表示させる。携帯モニタ２１２や据置モニタ２０２には、ユーザの顔をベースキャラクタの顔に入れ替えた合成画像（以下、「逆合成画像」とよぶ）が表示されてもよい。逆合成画像の生成方法は合成画像の生成方法と同等である。すなわち、ユーザ画像におけるユーザの頭部領域をベース画像におけるベースキャラクタの頭部領域の画像に置き換えることにより生成できる。
次に、携帯型ゲーム装置１００の特徴的なユーザインタフェースを用いるさまざまな場面について実施例１から４に分けて説明する。
【００２９】
実施例１：
ベース画像、あるいは、ベースキャラクタの表情にあわせてユーザが表情を変化させることにより、携帯モニタ２１２の表示態様が変化するコンピュータゲームＡに関する。コンピュータゲームＡはゲームデータ保持部１６６に格納され、処理実行部１５６により実行制御される。コンピュータゲームＡが実行開始されると「悲しい表情に対応する悲しいシーン」、「笑いの表情に対応する楽しいシーン」のように、携帯モニタ２１２にはさまざまなシーンが所定のタイミングにて動的に切り換え表示される。ユーザはシーンが切り替わるごとにシーンにあった表情をする必要がある。シーンに合った表情であれば適合ポイントとよばれる点数が１点加算され、シーンに合った表情ができなければ適合ポイントが１点減算される。適合ポイントは５０点から開始され、０点になるとゲームオーバーとなる。
【００３０】
図４（ａ）は、実施例１のコンピュータゲームＡの実行中においてユーザの表情がシーンに合っているときの画面図である。
各シーンにおいてはベースキャラクタが１人登場するが、携帯モニタ２１２にはベースキャラクタの頭部はユーザの頭部に入れ替わった合成画像が表示される。シーンが切り替わると、切り替わってから所定時間後、たとえば、３秒後にベース画像取得部１１８はユーザ画像を取得し、表情判定部１５２はユーザの表情を特定する。適否判定部１５４は、ユーザの表情がシーンに合っているかを判定し、合っていれば適合ポイントを１点加算する。逆に合っていなければ適合ポイントを１点減算する。適合ポイントが５０点以上のときには、処理実行部１５６は「星」を携帯モニタ２１２に表示させる。処理実行部１５６は、適合ポイントが高いほど表示部１２０にたくさんの星を表示させる。処理実行部１５６は、適合ポイントが高いほど携帯モニタ２１２を明るく表示させてもよい。
【００３１】
図４（ｂ）は、実施例１のコンピュータゲームＡの実行中においてユーザの表情がシーンに合っていないときの画面図である。
楽しいシーンでユーザが悲しい表情をしたり、悲しいシーンでユーザが笑顔を作ると、適合ポイントが減算されていく。適合ポイントが５０点未満となると、処理実行部１５６は携帯モニタ２１２から星を消去し、代わりに画面全体を暗くしていく。更に適合ポイントが低くなると、携帯モニタ２１２も更に暗くなり、０点になると携帯モニタ２１２は真っ暗となってゲームオーバーとなる。
【００３２】
なお、適合ポイントはそのままゲームのスコアとなってもよい。処理実行部１５６は、ゲームが進行するについれてシーンの切換頻度を高くしたり、シーンの種類を増やしていくことによって徐々にゲームの難易度が向上するように制御する。
【００３３】
このほかにも、処理実行部１５６は、適合ポイントが所定値以上となると、所定の特典画像を表示させる。このような特典画像を表示させることにより、ユーザのゲームに対する継続意欲を喚起しやすくなる。処理実行部１５６は、適合ポイントに応じて、ＢＧＭも変化させる。処理実行部１５６は、適合ポイントが高いときにはアップテンポの曲を流し、適合ポイントが低いときにはスローテンポの曲を流す。適合ポイントが所定値、たとえば、１５点以下となると、処理実行部１５６は内蔵バイブレータを振動させることによりユーザの危機感をあおってもよい。このように、ユーザは表情を変化させるだけでコンピュータゲームＡを楽しむことができる。表情という直感的なユーザインタフェースであるため、ボタン操作に苦手意識を持つユーザであっても、買ってすぐにゲームを楽しむことが可能となる。
【００３４】
図５は、実施例１におけるユーザの表情の適合判定処理を示すフローチャートである。
このフローチャートは、コンピュータゲームＡが実行中であってシーンが切り替わってから３秒後のタイミングで実行されるフローチャートであるとして説明する。図３のＳ１０からＳ２０までの処理が実行され、ユーザの表情の特定から合成画像の生成・表示までがなされているとする。
適否判定部１５４はベース画像に設定されているシーンとユーザの表情が合っているかを判定する（Ｓ３０）。シーンには、シーンに合った表情を示すシーン情報が含まれている。たとえば、シーンＡには「怒りの表情」、シーンＢには「悲しみの表情」のようにシーン情報が設定されている。適否判定部１５４は、切り替わったシーンのシーン情報とユーザの表情を比較することによりＳ３０の判定を行う。
【００３５】
ユーザの表情がシーンに合っていれば（Ｓ３２のＹ）、適否判定部１５４は適合ポイントを加算する（Ｓ３４）。合っていなければ（Ｓ３２のＮ）、適否判定部１５４は適合ポイントを減算する（Ｓ３６）。適合ポイントが０点となると（Ｓ３７のＹ）、処理実行部１５６はゲームを終了させる（Ｓ３８）。０点でなければ（Ｓ３７のＮ）、処理実行部１５６は適合ポイントに応じた演出内容を決定し、表示部１２０は決定された演出表示を行う（Ｓ３９）。このような処理をシーンが切り替わるごとに実行することにより、適合ポイントが加減算され、それにあわせて携帯モニタ２１２の表示態様も変化する。
また、シーンが切り替わってから３秒後のような所定時間経過後の表情ではなく、所定期間内において継続する表情、あるいは、所定期間内における表情の変化に応じて適否を判定してもよい。たとえば、「怒りの表情」に対応するシーンが所定時間、たとえば、１分間継続するとき、ユーザは「怒りの表情」を１分間継続させる。ユーザが怒りの表情を継続できた時間の長いほど多くの適合ポイントが加算される。
各シーンにおいては、明示的に表情を指定する情報を表示させてもよい。たとえば、シーンが切り替わったときに「怒れ」とか「悲しめ」といった文字情報が表示されてもよい。あるいは、シーンに登場するキャラクタや背景色などによってシーンに対応する表情を示唆してもよい。たとえば、背景が無彩色のシーンでは「悲しみの表情」、背景が赤色のシーンでは「怒りの表情」といった具合である。
また、映像コンテンツのストーリー展開に応じて、シーンに適合する表情が変化してもよい。たとえば、「死」や「敗北」、「失望」などが表現される場面や、「勝利」、「誕生」、「達成」などが表現される場面に応じて、ユーザはシーンに合った表情を作る。ユーザが考えるシーンに適合する表情と、実際にそのシーンに対応づけられている表情がマッチしていれば、ユーザは適合ポイントを取得できる。
更に、ユーザは映像コンテンツのストーリー展開を予測して、その予測に基づいて表情を変化させ、その表情がシーンにマッチしたときに適合ポイントが加算されるとしてもよい。たとえば、映像コンテンツの動画再生時において、ユーザは悲しいシーンへの展開が予想されるときには悲しい表情を作る。実際に悲しいシーンにストーリー展開すれば適合ポイントが加算される。このような処理方法によれば、映像コンテンツのストーリー展開の予測というゲーム性を実現できる。
【００３６】
適否判定部１５４は、ベースキャラクタの表情とユーザの表情が合っているかを判定してもよい。たとえば、ベースキャラクタが笑っているときにユーザも笑えば適合ポイントが加算される。一方、ベースキャラクタが笑っているのにユーザが笑っていなければ適合ポイントが減算される。この場合、表情判定部１５２はベースキャラクタの表情を検出し、ベースキャラクタの表情に合う表情パターンを特定する。適否判定部１５４は、Ｓ３０においてベースキャラクタの表情とユーザの表情が同じ表情パターンであるかを判定する。
【００３７】
実施例１は、コンピュータゲームに限らず、既存の映像コンテンツにシーン情報を付加することでも実現できる。たとえば、既存の映像コンテンツを、笑うべきタイミングが発生してから所定時間以内に笑顔を作れれば適合ポイントが加算され、笑うタイミングがずれると適合ポイントが減算されるという映像コンテンツに改変してもよい。このように、既存の映像コンテンツに簡単にゲーム性を付与できることも実施例１に関連したメリットの一つである。
【００３８】
実施例２：
ユーザが表情を変化させることにより、ゲーム展開が変化するコンピュータゲームＢに関する。このコンピュータゲームＢはゲームデータ保持部１６６に格納され、処理実行部１５６により実行制御される。コンピュータゲームＢは、ユーザにさまざまな判断を要求し、ユーザの判断に応じてゲーム展開が変化する。このような操作方法はロールプレイングゲームやアドベンチャーゲームにおいてはごく一般的であるが、実施例２のコンピュータゲームＢはこの選択をユーザの表情によって行っている点に特徴がある。
【００３９】
図６は、実施例２のコンピュータゲームＢがユーザの判断を要求するときの画面図である。
ベースキャラクタは同図向かって右側のキャラクタであり、ユーザヘッド２０８はユーザの頭部画像と入れ替わっている。一方、同図向かって左側のサブキャラクタ２２０は、ベースキャラクタの仲間のキャラクタである。サブキャラクタ２２０は入れ替わりの対象とならないキャラクタであり、ベースキャラクタではない。コンピュータゲームＢにおいては、ユーザがさまざまな状況に直面し、適宜判断を下すことによりストーリーが展開する。同図は、サブキャラクタ２２０とベースキャラクタが敵キャラクタ（図示せず）を倒し、サブキャラクタ２２０がユーザに敵キャラクタを「許す」か、「許さない」かについて２者択一の判断を求めている場面を示している。
【００４０】
ユーザが笑いの表情を作ると「許す」というコマンドが選択され、怒りの表情を作ると「許さない」というコマンドが選択される。いずれのコマンドが選択されるかに応じて、その後のゲーム展開が変化する。「許す」というコマンドが選択されたときには、第１のシナリオに移行し、「許さない」というコマンドが選択されたときには、第２のシナリオに移行する。第１のシナリオが実行されると敵キャラクタが新たな味方となり、第２のシナリオが実行されると敵キャラクタが反撃するため戦闘シーンに移行する。
【００４１】
同図に示す場面において、表情判定部１５２はユーザの表情を特定する。コンピュータゲームＢにおいては「笑う＝許す＝シナリオ１のプログラム実行」、「怒る＝許さない＝シナリオ２のプログラム実行」として表情とコマンド、更にその実行内容が対応づけられている。処理実行部１５６は、ユーザの表情に応じたコマンドを選択し、該当シナリオのプログラムを実行する。ユーザは、表情を変えるだけでゲーム展開を制御できるので、スピーディーなゲーム展開が可能となる。ここでは、明示的にユーザにコマンド選択を要求する場合について示したが、暗黙的な所定タイミングにてユーザの表情を検出し、その表情に応じてゲーム展開を変化させてもよい。ゲーム中にユーザが思わずしてしまった表情によってゲームの展開が変化していくとすれば、ユーザに「入力」という感覚すら持たせることなくゲームを実行することもできる。
【００４２】
実施例３：
ベース画像に複数のベースキャラクタが表示されているときに、対象ベースキャラクタを選択できる映像コンテンツに関する。ドラマや映画などの映像コンテンツを再生する場合、複数の登場人物がベース画像上にあらわれる。実施例３においては、これら複数の登場人物の中から入れ替わり対象となる対象ベースキャラクタが選択される。ここでは、主役であるベースキャラクタＡと脇役であるベースキャラクタＢが登場するドラマを題材として説明する。
【００４３】
図７（ａ）は、実施例３においてユーザが主役と入れ替わるときの画面図である。
同図向かって右側のキャラクタが主役のベースキャラクタＡ、同図向かって左側のキャラクタが脇役のベースキャラクタＢである。ユーザは、主役のキャラクタＡと脇役のキャラクタＢのいずれかを対象ベースキャラクタとして選択する。携帯型ゲーム装置１００に設置される右ボタンを押下すると、キャラクタ選択部１５８は右側のベースキャラクタＡを対象ベースキャラクタと設定する。左ボタンを押下すると左側のベースキャラクタＢが対象ベースキャラクタとなる。ここでは、ユーザはベースキャラクタＡを対象ベースキャラクタとして選択しているとする。ベースキャラクタＡの頭部は、ユーザ画像の頭部領域であるユーザヘッド２０８に入れ替わった合成画像となっている。
【００４４】
図７（ｂ）は、実施例３においてユーザが脇役と入れ替わるときの画面図である。
ここでは、ユーザは脇役のベースキャラクタＢを対象ベースキャラクタとして選択しており、ベースキャラクタＢの頭部はユーザヘッド２０８と入れ替わった合成画像となっている。
【００４５】
このように、ユーザは映像コンテンツの登場人物の中から自分が演じたい登場人物を選択して、映像の中に入り込むことができる。たとえば、ＤＶＤ（Digital Versatile Disk）やＵＭＤ（Universal Media Disc：登録商標）に格納されている映画であれば、登場人物を紹介する画面でユーザは対象ベースキャラクタを選択してもよい。処理実行部１５６は、選択された対象ベースキャラクタの顔の特徴を示す顔特徴情報をデータ保持部１６０に記録する。顔特徴情報とは、口や鼻のかたち、肌の色など、ベースキャラクタの顔を特徴づける情報であればよい。映画が開始されると、頭部特定部１４６は、定期的にベース画像からベースキャラクタ達の頭部領域を特定する。キャラクタ選択部１５８は、特定された頭部領域と対象ベースキャラクタの顔特徴情報を比較することにより、ベース画像から対象ベースキャラクタを特定する。ベース画像に対象ベースキャラクタが登場していれば、合成部１４８は合成処理を実行する。
【００４６】
対象ベースキャラクタの選択は自動的になされてもよい。たとえば、ユーザが女性であるときには、女性のベースキャラクタの中から対象ベースキャラクタを選択可能としてもよい。また、キャラクタ選択部１５８は、ユーザの年齢に最も近い設定年齢の登場人物を対象ベースキャラクタとして自動的に選択してもよい。キャラクタ選択部１５８は、各登場人物の顔特徴情報とユーザの顔特徴情報を比較して、ユーザの顔と最も類似する登場人物を対象ベースキャラクタとして自動的に選択してもよい。
【００４７】
複数のユーザが同じ映画に「共演」することもできる。たとえば、ユーザＡは主役のキャラクタＡを演じ、ユーザＢは脇役のキャラクタＢを演じるとする。このとき、キャラクタＡの頭部はユーザＡの頭部と入れ替わり、キャラクタＢの頭部はユーザＢの頭部と入れ替わる。例として据置型ゲーム装置２００がＤＶＤに記録されている映画を据置モニタ２０２に再生させているとする。ユーザＡの携帯型ゲーム装置１００は、ユーザＡの頭部画像をユーザＢの携帯型ゲーム装置１００に定期的に送信する。ユーザＢの携帯型ゲーム装置１００は、キャラクタＡの頭部画像をユーザＡの頭部画像に入れ替え、キャラクタＢの頭部画像をユーザＢの頭部画像に入れ替える。こうして、ユーザＢの携帯型ゲーム装置１００にはユーザＡとユーザＢが登場する合成画像が表示される。ユーザＡの携帯型ゲーム装置１００に対しても同様の合成画像が表示される。このような処理方法によれば、複数のユーザが１つの映像コンテンツに同時参加できるため、演劇練習などの場面に応用可能である。
【００４８】
対象ベースキャラクタは、ユーザの表情に基づいて選択されてもよい。あるユーザが携帯型ゲーム装置１００にて映像コンテンツを再生している場面を想定する。この映像コンテンツにはベースキャラクタＡとベースキャラクタＢが現れているとする。映像コンテンツ再生中の所定タイミングにおいて、表情判定部１５２は、ベースキャラクタＡ、ベースキャラクタＢ、ユーザの各表情を特定する。キャラクタ選択部１５８は、ベースキャラクタＡとベースキャラクタＢのうち、ユーザの表情に近い表情のベースキャラクタを対象ベースキャラクタとして動的に選択する。このような処理方法によれば、ユーザは自分が演じたいキャラクタに配役されるためには、そのキャラクタの表情にあわせて自分の表情を動的に変化させる必要が生じる。
【００４９】
図８は、実施例３においてユーザの表情に応じて対象ベースキャラクタを選択する処理過程を示すフローチャートである。
ここでは、映画のような映像コンテンツが再生されているとき、複数の登場人物の中からユーザの表情に応じて対象ベースキャラクタを特定する場合について説明する。まず、ベース画像取得部１１８は映像コンテンツから所定の時間間隔でベース画像を定期的に取得する（Ｓ４０）。頭部特定部１４６は、ベース画像に含まれている各ベースキャラクタの頭部領域を特定する（Ｓ４２）。表情判定部１５２は、各ベースキャラクタの表情を特定する（Ｓ４４）。例として、ベース画像に怒りの表情のベースキャラクタＡ、悲しみの表情のベースキャラクタＢが登場しているとする。
【００５０】
次に、ユーザ画像取得部１１６はユーザ画像を取得する（Ｓ４６）。頭部特定部１４６はユーザの頭部領域を特定する（Ｓ４８）。表情判定部１５２は、ユーザの表情を特定する（Ｓ５０）。ここでは、ユーザの表情が悲しみの表情であったとする。適否判定部１５４は、ユーザの表情と各ベースキャラクタの表情を比較して、ユーザの表情に近いベースキャラクタを判定する（Ｓ５２）。ユーザの表情は、キャラクタＡよりもキャラクタＢに近いので、キャラクタ選択部１５８はベースキャラクタＢを対象ベースキャラクタとして選択する（Ｓ５４）。合成部１４８は、キャラクタＢの頭部をユーザの頭部と入れ替えた合成画像を生成する（Ｓ５６）。表示部１２０は合成画像を画面に表示させる（Ｓ５８）。このような処理を所定の時間間隔で繰り返すことにより、合成画像において対象ベースキャラクタが動的に変化する。なお、図８に示す処理は、たとえば、０．１秒間隔の高い頻度で実行し、このうち、Ｓ５２およびＳ５４のキャラクタ選択に関する処理は１０秒間隔の比較的低い頻度で実行するとしてもよい。このような処理方法によれば、対象ベースキャラクタが過度に変化しないように処置できる。
【００５１】
ユーザの表情とベースキャラクタの表情から表情類似度を求めることにより、対象ベースキャラクタを選択してもよい。たとえば、口や目の開き方、眉の角度などを指標化した表情特徴情報により、ユーザとベースキャラクタの表情類似度を求めてもよい。ユーザＡとユーザＢが同じ映像コンテンツにて共演する場合、表情判定部１５２は、ユーザＡ、ユーザＢ、主役のベースキャラクタＡの各表情を特定し、適否判定部１５４はユーザＡとベースキャラクタＡ、ユーザＢとベースキャラクタＡのそれぞれの表情類似度を算出する。そして、表情類似度が高い方のユーザが主役のベースキャラクタＡと入れ替わり、低い方のユーザが脇役のベースキャラクタＢと入れ替わる。
【００５２】
所定の時間間隔、たとえば、１分ごとにこのような判定を行い、複数のユーザが主役の座を争ってもよい。このような処理方法によれば、主役のベースキャラクタＡの表情に近い演技をしたユーザが主役を射止めることになるので、複数のユーザ間で演技力を競うというユニークなゲーム性を実現できる。また、ユーザが１人だけの場合でも、主役の表情と似ていない表情をしてしまうと脇役に降格されるとしてもよい。ベースキャラクタ間に主役と脇役のような優先順位を設けておき、ユーザは表情に応じていずれかのベースキャラクタに動的に配役されていくことになる。そして、映像コンテンツの再生が終了時に、最終的にどの役を獲得できたかを競ってもよい。
【００５３】
実施例４：
ベース画像に含まれているコンテンツＩＤに基づいて特典を受けることが可能な処理モデルに関する。実施例４において、ベース画像にはコンテンツＩＤが記録されている。コンテンツＩＤはＱＲコード（Quick Response code）として含まれてもよいし、電子透かしのかたちで含まれてもよい。一方、所定のコンテンツサーバは、コンテンツＩＤと映像や音楽などのデジタルコンテンツを対応づけて保持している。ベース画像にはシーン情報が設定されている。ユーザがシーン情報に合った表情をすると、ＩＤ抽出部１４４はベース画像からコンテンツＩＤを取得する。あるいは、ユーザがベースキャラクタと同じ表情をすると、ＩＤ抽出部１４４はベース画像からコンテンツＩＤを取得する。コンテンツ取得部１３２は、このコンテンツＩＤをキーとしてコンテンツサーバから特典としてのデジタルコンテンツ、たとえば、ボーナストラックや特典画像などダウンロードできる。このようにして取得されるデジタルコンテンツのことを、以下、「プレミアムコンテンツ」とよぶ。
【００５４】
図９は、実施例４においてプレミアムコンテンツの取得処理過程を示すフローチャートである。
ここでは、ＱＲコードのかたちでコンテンツＩＤが付与された写真集をベース画像として撮像することにより、プレミアムコンテンツを取得する場合について説明する。ベース画像取得部１１８は、この写真集を撮像してコンテンツＩＤ付きのベース画像を取得する（Ｓ６０）。頭部特定部１４６は、ベース画像に含まれるベースキャラクタの頭部領域を特定する（Ｓ６２）。表情判定部１５２は、ベースキャラクタの表情を特定する（Ｓ６４）。
【００５５】
次に、ユーザ画像取得部１１６はユーザ画像を取得する（Ｓ６６）。頭部特定部１４６は、ユーザの頭部領域を特定する（Ｓ６８）。表情判定部１５２はユーザの表情を特定する（Ｓ７０）。適否判定部１５４は、ベースキャラクタの表情とユーザの表情が合っているかを判定する（Ｓ７２）。合っていれば（Ｓ７２のＹ）、ＩＤ抽出部１４４はコンテンツＩＤを抽出する（Ｓ７４）。処理実行部１５６は、コンテンツ取得部１３２に指示して、コンテンツＩＤに対応するプレミアムコンテンツをコンテンツサーバから取得させる（Ｓ７６）。コンテンツ取得部１３２は、コンテンツサーバからプレミアムコンテンツをダウンロードする。Ｓ７２において表情が合っていないときには（Ｓ７２のＮ）、Ｓ７４およびＳ７６の処理はスキップされる。コンテンツＩＤ取得の試行回数は、所定回数、たとえば、３回と区切られてもよい。
【００５６】
以上に示した携帯型ゲーム装置１００によれば、ユーザはさまざまな映像コンテンツに画像の一部として入り込むことができる。また、ユーザの表情に応じてさまざまな操作が可能となっている。子供あるいは人間以外の動物ですら表現可能な「表情」を入力インタフェースとして用いることにより、直感的で理解しやすいユーザインタフェースが実現されている。表情認識に基づく入力インタフェースと合成処理に基づく出力インタフェースによって、ユーザと映像コンテンツの一体感を高めている。
【００５７】
実施例１に関連して説明したように、ユーザの表情に応じて画面の表示態様を変化させることにより、事実上、表情だけを入力インタフェースとする直感的に理解しやすいコンピュータゲームを実現できる。そのため、従来のボタン操作を駆使するタイプのコンピュータゲームに対して苦手意識を持っているユーザや、ごく低年齢のユーザにまでゲームユーザの裾野を広げやすくなる。同様に、実施例２に関連して説明したように、ユーザの表情に応じてゲーム展開が変化するコンピュータゲームを実現することもできる。ユーザは表情を変えるだけなので、切れ目のなくストーリーを展開させやすくなる。
【００５８】
また、実施例３に関連して説明したように、複数のベースキャラクタの中から対象ベースキャラクタを選択することにより、自分が演じたい人物になりきることができる。また、ユーザの表情に応じて対象ベースキャラクタを切り換えることにより、映像コンテンツに対するユーザの没入感をいっそう高めることができる。
【００５９】
更に、実施例４に関連して説明したように、ユーザの表情に応じてプレミアムコンテンツをダウンロード可能としてもよい。たとえば、ＣＤのジャケットにコンテンツＩＤを設定しておき、ユーザは携帯型ゲーム装置１００を使って正しい表情を作ることにより、プレミアムコンテンツをダウンロードできるとしてもよい。あるいは、ウェブページにコンテンツＩＤを設定しておけば、ウェブページに対するユーザの興味を引きつける上でも有効である。このように、携帯型ゲーム装置１００によれば、ユーザの操作負担を増加させることなく映像と人間の関わりを親密化する新しいユーザインタフェースを提供できる。
【００６０】
以上、本発明を実施例をもとに説明した。この実施例はあくまで例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６１】
請求項に記載の合成画像生成機能は、本実施例においては主として合成部１４８によって実現される。合成画像表示機能は、本実施例においては主として表示部１２０の機能として実現されている。表情検出機能は、本実施例においては主として表情判定部１５２により実現されている。請求項に記載のユーザインタフェース機能は、本実施例においては主として処理実行部１５６によって実現されている。適否判定機能は主として適否判定部１５４により実現され、請求項に記載の通信機能は本実施例においては主としてコンテンツ取得部１３２によって実現されている。
これら請求項に記載の各構成要件が果たすべき機能は、本実施例において示された各機能ブロックの単体もしくはそれらの連係によって実現されることも当業者には理解されるところである。
【００６２】
変形例として、ユーザの頭部とベースキャラクタの頭部を完全に入れ替えた合成画像ではなく、たとえば、ベースキャラクタ３０％、ユーザ７０％のようにユーザの顔とベースキャラクタの顔を所定比率にて混ぜ合わせた顔の画像を合成画像上に表示してもよい。顔画像の混ぜ合わせについては既知のモーフィング技術を応用すればよい。
【００６３】
ベース画像において、対象ベースキャラクタは常に正面を向いているとは限らない。このような場合のために、ユーザ画像保持部１６２にはあらかじめユーザをさまざまな角度から見たときの画像を用意しておいてもよい。そして、ベースキャラクタが正面を向いているときにはリアルタイムで撮像したユーザの頭部画像を嵌め込み、ベースキャラクタが横や上を向いていて表情がわからない状態にあるときには、あらかじめ用意していたユーザの頭部画像を嵌め込むとしてもよい。
【図面の簡単な説明】
【００６４】
【図１】本実施例における映像コンテンツのユーザインタフェースを説明するための模式図である。
【図２】携帯型ゲーム装置の機能ブロック図である。
【図３】合成画像の生成過程を示すフローチャートである。
【図４】図４（ａ）は、実施例１のコンピュータゲームＡの実行中においてユーザの表情がシーンに合っているときの画面図である。図４（ｂ）は、実施例１のコンピュータゲームＡの実行中においてユーザの表情がシーンに合っていないときの画面図である。
【図５】実施例１におけるユーザの表情の適合判定処理を示すフローチャートである。
【図６】実施例２のコンピュータゲームＢがユーザの判断を要求するときに表示される画面図である。
【図７】図７（ａ）は、実施例３においてユーザが主役と入れ替わるときの画面図である。図７（ｂ）は、実施例３においてユーザが脇役と入れ替わるときの画面図である。
【図８】実施例３においてユーザの表情に応じて対象ベースキャラクタを選択する処理過程を示すフローチャートである。
【図９】実施例４においてプレミアムコンテンツの取得処理過程を示すフローチャートである。
【符号の説明】
【００６５】
１００ 携帯型ゲーム装置、 １１０ ユーザインタフェース処理部、 １１２ 入力部、 １１４ 画像取得部、 １１６ ユーザ画像取得部、 １１８ ベース画像取得部、 １２０ 表示部、 １３０ 通信部、 １３２ コンテンツ取得部、 １４０ データ処理部、 １４２ 画像処理部、 １４４ ＩＤ抽出部、 １４６ 頭部特定部、 １４８ 合成部、 １５０ 表情処理部、 １５２ 表情判定部、 １５４ 適否判定部、 １５６ 処理実行部、 １５８ キャラクタ選択部、 １６０ データ保持部、 １６２ ユーザ画像保持部、 １６４ 表情パターン保持部、 １６６ ゲームデータ保持部、 ２００ 据置型ゲーム装置、 ２０２ 据置モニタ、 ２１２ 携帯モニタ、 ２１４ 双方向カメラ。
【特許請求の範囲】
【請求項１】
ユーザ以外の他人が撮像された画像において前記他人の頭部にあたる領域をユーザの頭部画像と入れ替えることにより、前記他人の頭部をユーザの頭部に入れ替えた合成画像を生成する合成画像生成部と、
前記合成画像を画面表示させる合成画像表示部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記合成画像生成部は、複数の他人を含む撮像画像において、ユーザの選択に応じて前記複数の他人の中から入れ替え対象者を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
ユーザの表情が異なる複数種類の撮像画像をあらかじめメモリに保持しておき、
前記合成画像生成部は、他人の撮像画像における他人の頭部にあたる領域をユーザにより選択された表情に対応する頭部の画像に入れ替えることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
ユーザとユーザ以外の他人を時間的に並行して撮像可能な双方向カメラ、を更に備え、
前記合成画像生成部は、前記双方向カメラにより撮像された画像から前記合成画像を生成することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記合成画像にて合成されたユーザの表情を検出する表情検出部と、
ユーザの表情に応じて所定の処理を実行するユーザインタフェース処理部と、
を更に備えることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記表情検出部は、複数種類の表情についてあらかじめメモリに格納されている表情パターンから前記検出されたユーザの表情に適合する表情パターンを選択し、
前記ユーザインタフェース処理部は、メモリに格納されている複数種類のプログラムの中から前記選択された表情パターンに応じたプログラムを実行させることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記ユーザインタフェース処理部は、ユーザの表情に応じて画面の表示態様を変化させることを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記ユーザインタフェース処理部は、ユーザにより選択された選択肢に応じてゲーム展開が変化するコンピュータゲームの実行に際し、ユーザの表情に応じて選択肢を特定し、前記特定された選択肢に対応づけられている処理を実行することを特徴とする請求項５から７のいずれかに記載の画像処理装置。
【請求項９】
前記合成画像にて合成されたユーザの表情と、前記合成画像の元となる他人の撮像画像との適否を判定する適否判定部、を更に備え、
前記ユーザインタフェース処理部は、前記適否の判定結果に応じた処理を実行することを特徴とする請求項５から８のいずれかに記載の画像処理装置。
【請求項１０】
前記適否判定部は、ユーザの撮像画像と他人の撮像画像が共に動画像であるときには、ユーザの表情と前記他人の撮像画像との適否を所定の判定タイミングにて継続的に判定し、
前記ユーザインタフェース処理部は、各判定タイミングにおける適否に応じて処理内容を変化させることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記適否判定部は、前記適否の判定として、前記合成画像の元となる他人の撮像画像における他人の表情と前記合成画像にて合成されたユーザの表情との適否を判定することを特徴とする請求項９または１０に記載の画像処理装置。
【請求項１２】
前記合成画像生成部は、複数の他人を含む撮像画像において、前記適否の判定結果に応じて前記複数の他人の中から入れ替えの対象者を特定することを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
前記適否判定部は、ユーザの撮像画像と複数の他人を含む撮像画像が共に動画像であるときには、ユーザの表情と各他人の表情の適否を所定の判定タイミングにて継続的に判定し、
前記合成画像生成部は、各判定タイミングにおける適否に応じて、前記複数の他人の中から入れ替えの対象者を動的に変化させることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記適否判定部は、複数の他人を含む撮像画像においては、ユーザの表情と最も表情が適合する他人を特定し、
前記合成画像生成部は、前記特定された他人を入れ替えの対象者として特定することを特徴とする請求項１２または１３に記載の画像処理装置。
【請求項１５】
外部装置から所定のコンテンツデータを取得する通信部、を更に備え、
前記通信部は、他人の撮像画像にコンテンツデータを特定するためのＩＤ情報が含まれる場合において、ユーザの表情と前記他人の表情が適合したことを条件として、前記ＩＤ情報により指定されるコンテンツデータを前記外部装置から取得することを特徴とする請求項１１に記載の画像処理装置。
【請求項１６】
ユーザ以外の他人が撮像された画像において前記他人の頭部にあたる領域をユーザの頭部画像と入れ替えることにより、前記他人の頭部をユーザの頭部に入れ替えた合成画像を生成する合成画像生成機能と、
前記合成画像を画面表示させる合成画像表示機能と、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【請求項１７】
ユーザを撮像するステップと、
ユーザ以外の他人をユーザの撮像中に撮像するステップと、
ユーザの撮像画像から、ユーザの頭部にあたる領域を抽出するステップと、
前記他人の撮像画像から、前記他人の頭部にあたる領域を抽出するステップと、
前記他人の撮像画像において前記他人の頭部にあたる領域をユーザの頭部にあたる画像と入れ替えることにより、前記他人の頭部をユーザの頭部に入れ替えた合成画像を生成するステップと、
前記合成画像を画面表示させるステップと、
前記合成画像にて合成されたユーザの表情を検出するステップと、
ユーザの表情に応じて所定のユーザインタフェース処理を実行するステップと、
を備えることを特徴とする画像処理方法。
【請求項１】
ユーザ以外の他人が撮像された画像において前記他人の頭部にあたる領域をユーザの頭部画像と入れ替えることにより、前記他人の頭部をユーザの頭部に入れ替えた合成画像を生成する合成画像生成部と、
前記合成画像を画面表示させる合成画像表示部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記合成画像生成部は、複数の他人を含む撮像画像において、ユーザの選択に応じて前記複数の他人の中から入れ替え対象者を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
ユーザの表情が異なる複数種類の撮像画像をあらかじめメモリに保持しておき、
前記合成画像生成部は、他人の撮像画像における他人の頭部にあたる領域をユーザにより選択された表情に対応する頭部の画像に入れ替えることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
ユーザとユーザ以外の他人を時間的に並行して撮像可能な双方向カメラ、を更に備え、
前記合成画像生成部は、前記双方向カメラにより撮像された画像から前記合成画像を生成することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記合成画像にて合成されたユーザの表情を検出する表情検出部と、
ユーザの表情に応じて所定の処理を実行するユーザインタフェース処理部と、
を更に備えることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記表情検出部は、複数種類の表情についてあらかじめメモリに格納されている表情パターンから前記検出されたユーザの表情に適合する表情パターンを選択し、
前記ユーザインタフェース処理部は、メモリに格納されている複数種類のプログラムの中から前記選択された表情パターンに応じたプログラムを実行させることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記ユーザインタフェース処理部は、ユーザの表情に応じて画面の表示態様を変化させることを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記ユーザインタフェース処理部は、ユーザにより選択された選択肢に応じてゲーム展開が変化するコンピュータゲームの実行に際し、ユーザの表情に応じて選択肢を特定し、前記特定された選択肢に対応づけられている処理を実行することを特徴とする請求項５から７のいずれかに記載の画像処理装置。
【請求項９】
前記合成画像にて合成されたユーザの表情と、前記合成画像の元となる他人の撮像画像との適否を判定する適否判定部、を更に備え、
前記ユーザインタフェース処理部は、前記適否の判定結果に応じた処理を実行することを特徴とする請求項５から８のいずれかに記載の画像処理装置。
【請求項１０】
前記適否判定部は、ユーザの撮像画像と他人の撮像画像が共に動画像であるときには、ユーザの表情と前記他人の撮像画像との適否を所定の判定タイミングにて継続的に判定し、
前記ユーザインタフェース処理部は、各判定タイミングにおける適否に応じて処理内容を変化させることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記適否判定部は、前記適否の判定として、前記合成画像の元となる他人の撮像画像における他人の表情と前記合成画像にて合成されたユーザの表情との適否を判定することを特徴とする請求項９または１０に記載の画像処理装置。
【請求項１２】
前記合成画像生成部は、複数の他人を含む撮像画像において、前記適否の判定結果に応じて前記複数の他人の中から入れ替えの対象者を特定することを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
前記適否判定部は、ユーザの撮像画像と複数の他人を含む撮像画像が共に動画像であるときには、ユーザの表情と各他人の表情の適否を所定の判定タイミングにて継続的に判定し、
前記合成画像生成部は、各判定タイミングにおける適否に応じて、前記複数の他人の中から入れ替えの対象者を動的に変化させることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記適否判定部は、複数の他人を含む撮像画像においては、ユーザの表情と最も表情が適合する他人を特定し、
前記合成画像生成部は、前記特定された他人を入れ替えの対象者として特定することを特徴とする請求項１２または１３に記載の画像処理装置。
【請求項１５】
外部装置から所定のコンテンツデータを取得する通信部、を更に備え、
前記通信部は、他人の撮像画像にコンテンツデータを特定するためのＩＤ情報が含まれる場合において、ユーザの表情と前記他人の表情が適合したことを条件として、前記ＩＤ情報により指定されるコンテンツデータを前記外部装置から取得することを特徴とする請求項１１に記載の画像処理装置。
【請求項１６】
ユーザ以外の他人が撮像された画像において前記他人の頭部にあたる領域をユーザの頭部画像と入れ替えることにより、前記他人の頭部をユーザの頭部に入れ替えた合成画像を生成する合成画像生成機能と、
前記合成画像を画面表示させる合成画像表示機能と、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【請求項１７】
ユーザを撮像するステップと、
ユーザ以外の他人をユーザの撮像中に撮像するステップと、
ユーザの撮像画像から、ユーザの頭部にあたる領域を抽出するステップと、
前記他人の撮像画像から、前記他人の頭部にあたる領域を抽出するステップと、
前記他人の撮像画像において前記他人の頭部にあたる領域をユーザの頭部にあたる画像と入れ替えることにより、前記他人の頭部をユーザの頭部に入れ替えた合成画像を生成するステップと、
前記合成画像を画面表示させるステップと、
前記合成画像にて合成されたユーザの表情を検出するステップと、
ユーザの表情に応じて所定のユーザインタフェース処理を実行するステップと、
を備えることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００７−３００５６２（Ｐ２００７−３００５６２Ａ）
【公開日】平成１９年１１月１５日（２００７．１１．１５）
【国際特許分類】
【出願番号】特願２００６−１２８７１１（Ｐ２００６−１２８７１１）
【出願日】平成１８年５月２日（２００６．５．２）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
【公開日】平成１９年１１月１５日（２００７．１１．１５）
【国際特許分類】
【出願日】平成１８年５月２日（２００６．５．２）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
[ Back to top ]