拡張現実感提供装置及び仮想物体の重畳方法
【課題】マーカーを用いることなく、違和感のない拡張現実感を提供することが可能な拡張現実感提供装置を提供する。
【解決手段】地面推定部５は、撮像部１，２で撮像して得られる２つの撮像画像データの各々から顔を検出し、検出した顔の目と口を結ぶ三角形の三次元座標を算出する。地面推定部５は、２つの撮像画像データの一方から前記検出した顔を含む被写体の輪郭を抽出し、この輪郭を前記三角形の三次元座標を用いて三次元空間に逆投影する。地面推定部５は、三次元空間における前記輪郭のデジタルカメラ１００の鉛直線の伸びる方向の端部を含みかつ当該方向に垂直な面を地面と推定する。地面推定部５は、表示部１１に表示される立体映像において、前記推定した地面上に仮想物体を重畳表示させる。
【解決手段】地面推定部５は、撮像部１，２で撮像して得られる２つの撮像画像データの各々から顔を検出し、検出した顔の目と口を結ぶ三角形の三次元座標を算出する。地面推定部５は、２つの撮像画像データの一方から前記検出した顔を含む被写体の輪郭を抽出し、この輪郭を前記三角形の三次元座標を用いて三次元空間に逆投影する。地面推定部５は、三次元空間における前記輪郭のデジタルカメラ１００の鉛直線の伸びる方向の端部を含みかつ当該方向に垂直な面を地面と推定する。地面推定部５は、表示部１１に表示される立体映像において、前記推定した地面上に仮想物体を重畳表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実感を提供する拡張現実感提供装置及び仮想物体の重畳方法に関する。
【背景技術】
【０００２】
カメラで撮影した被写界の画像に、仮想物体を重畳表示させる拡張現実技術が普及してきており、この技術を採用した携帯電話機やヘッドマウントディスプレイ（ＨＭＤ）が登場してきている。
【０００３】
例えば、特許文献１には、デジタルカメラで撮像して得られたマーカーを含む画像をモニタ上に表示すると共に、モニタに表示されているカードのマーカー上に、当該マーカーに対応したオブジェクトの三次元画像（仮想物体）を重畳して表示する拡張現実感提供装置が記載されている。
【０００４】
特許文献１に記載の装置では、仮想物体を重畳させるべき位置を、マーカーを検出することによって決めている。このため、マーカーを含む画像にしか仮想物体を重畳させることができず、汎用性が低い。
【０００５】
特許文献２には、撮影者の視点位置や視線方向等によって被写体の位置関係を特定し、撮像画像上に仮想物体を重畳する技術が記載されている。この技術によれば、マーカーを用いなくとも、撮像画像に仮想物体を重畳させることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−３２２６０２号公報
【特許文献２】特開２００８−７８９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２に記載の技術では、撮影画像における地面の位置までは把握することができないため、仮想物体を地面に対して適当な角度でしか重畳させることができず、ユーザに違和感を与えてしまうことがある。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、マーカーを用いることなく、違和感のない拡張現実感を提供することが可能な拡張現実感提供装置及び仮想物体の重畳方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の拡張現実感提供装置は、使用者に対して拡張現実感を提供する拡張現実感提供装置であって、視差のある２つの撮像画像信号から生成される２つの撮像画像データの一方である第一の撮像画像データに基づく第一の画像、及び、前記２つの撮像画像データの他方である第二の撮像画像データに基づく第二の画像を立体視可能に合成表示する表示部と、前記第一の撮像画像データ及び前記第二の撮像画像データから顔を検出する顔検出処理、前記第一の撮像画像データ及び前記第二の撮像画像データから共通に検出された顔のデータを用いて前記拡張現実感提供装置を原点とする三次元空間における当該顔の座標を算出する顔座標算出処理、前記第一の撮像画像データ又は前記第二の撮像画像データから前記顔を含む被写体の輪郭を抽出する輪郭抽出処理、前記輪郭抽出処理により抽出した輪郭の二次元座標を、前記顔座標算出処理により算出した前記顔の座標に基づいて前記三次元空間における座標に変換する座標変換処理、及び前記三次元空間における前記輪郭の前記拡張現実感提供装置の鉛直線の伸びる方向の端部を含みかつ前記鉛直線に垂直な面を地面と推定する地面推定処理、を行う地面推定部と、前記表示部に表示される立体映像における前記地面推定部によって推定された地面上に、仮想物体を重畳表示させる制御を行う表示制御部とを備えるものである。
【００１０】
本発明の仮想物体の重畳方法は、視差のある２つの撮像画像信号から生成される２つの撮像画像データの一方である第一の撮像画像データに基づく第一の画像、及び、前記２つの撮像画像データの他方である第二の撮像画像データに基づく第二の画像を立体視可能に合成表示し、当該立体視可能に表示される立体映像に仮想物体を重畳表示させて拡張現実感を提供する拡張現実感提供装置における仮想物体の重畳方法であって、前記第一の撮像画像データ及び前記第二の撮像画像データから顔を検出する顔検出ステップと、前記第一の撮像画像データ及び前記第二の撮像画像データから共通に検出された顔のデータを用いて前記拡張現実感提供装置を原点とする三次元空間における当該顔の座標を算出する顔座標算出ステップと、前記第一の撮像画像データ及び前記第二の撮像画像データから前記顔を含む被写体の輪郭を抽出する輪郭抽出ステップと、前記輪郭抽出ステップにより抽出した輪郭の二次元座標を、前記顔座標算出ステップにより算出した前記顔の座標に基づいて前記三次元空間における座標に変換する座標変換ステップと、前記三次元空間における前記輪郭の前記拡張現実感提供装置の鉛直線の伸びる方向の端部を含みかつ前記鉛直線に垂直な面を地面と推定する地面推定ステップと、前記立体映像における前記地面推定ステップによって推定された地面上に、仮想物体を重畳表示させる制御を行う表示制御ステップとを備えるものである。
【発明の効果】
【００１１】
本発明によれば、マーカーを用いることなく、違和感のない拡張現実感を提供することが可能な拡張現実感提供装置及び仮想物体の重畳方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態を説明するための拡張現実感提供装置の一例としてのデジタルカメラの外観図
【図２】図１に示されるデジタルカメラ１００の内部構成を示すブロック図
【図３】図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するためのフローチャート
【図４】図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するための図
【図５】図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するための図
【図６】図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するための図
【図７】図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するための図
【図８】図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するための図
【図９】図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するための図
【図１０】図１に示されるデジタルカメラ１００の拡張現実モード時の撮影状態の例を示す図
【図１１】図１に示されるデジタルカメラ１００の拡張現実モード時の撮影状態の例を示す図
【図１２】図１に示されるデジタルカメラ１００の変形例であるデジタルカメラ２００の内部構成を示すブロック図
【図１３】図１２に示されるデジタルカメラ２００の拡張現実モード時の動作を説明するためのフローチャート
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態を説明するための拡張現実感提供装置について図面を参照して説明する。この拡張現実感提供装置は、距離をあけて配置された左右２つの撮像部を有し、各撮像部で撮像して得られた右撮像画像データ及び左撮像画像データを表示部において立体視可能に合成表示するものとなっている。また、この拡張現実感提供装置は、表示部に表示される立体映像に、コンピュータグラフィックにより形成された仮想物体を重畳表示させるものである。この拡張現実感提供装置によれば、表示部には、撮影中の被写界像に仮想物体が重畳された映像が表示されるため、この表示部を観察する人に対して拡張現実感を与えることができる。
【００１４】
図１は、本発明の一実施形態を説明するための拡張現実感提供装置の一例としてのデジタルカメラの外観図である。図１に示されるデジタルカメラ１００は、箱状のハウジングＫと、ハウジングＫの前面に水平方向（ハウジングＫの長手方向）に距離を空けて設けられた右眼用の撮像部１及び左眼用の撮像部２と、ハウジングＫの上面に設けられたレリーズボタン１６ａとを備える。撮像部１は撮影レンズ１Ｒを備え、撮像部２は撮影レンズ１Ｌを備える。撮影レンズ１Ｒの光軸Ｒと、撮影レンズ１Ｌの光軸Ｌとが交差する角度を輻輳角といい、輻輳角が所定値となるように、撮影レンズ１Ｒと撮影レンズ１Ｌの位置が設定されている。
【００１５】
図２は、図１に示されるデジタルカメラ１００の内部構成を示すブロック図である。
【００１６】
図２に示されるように、デジタルカメラ１００は、撮像部１，２と、画像入力コントローラ３と、画像処理部４と、地面推定部５と、仮想物体データベース（ＤＢ）６と、デジタルカメラ１００全体を統括制御するＣＰＵ（中央演算処理装置）８と、ワークメモリとして使用されるＲＡＭ（ランダムアクセスメモリ）９と、表示部１１が接続された表示制御部１０と、着脱可能な記録媒体１３が接続された記録制御部１２と、マイク及びスピーカ１５が接続された音声制御部１４と、ＣＰＵ８に接続された操作部１６（図１のレリーズボタン１６ａを含む）とを備え、撮像部１，２以外の各部はバス１７で相互に接続されている。
【００１７】
撮像部１，２は、それぞれ、撮影レンズ及び絞り等の光学系、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子、この撮像素子から出力された撮像画像信号にアナログ信号処理を施すアナログ信号処理部、アナログ信号処理部で処理後の信号をデジタル変換するＡＤ変換部、及び撮像素子を駆動する駆動部等を含む。撮像部１と撮像部２は、視差のある２つの撮像画像信号を得るために、水平方向に距離を空けて配置されており、この水平方向が、デジタルカメラ１００において視差の得られる方向となる。
【００１８】
画像入力コントローラ３は、撮像部１，２の各々から出力された撮像画像信号を取り込み、この撮像画像信号をＲＡＭ９に記憶する。
【００１９】
画像処理部４は、ＲＡＭ９に記憶された撮像画像信号に、同時化処理（１画素に３つの色データを持たせる処理）、ホワイトバランス処理、ＲＧＢ−ＹＣ変換処理等の周知のデジタル信号処理を施して、撮像画像データを生成する。ここで生成される撮像画像データのうち、撮像部１から出力された撮像画像信号から生成されたものを右撮像画像データといい、撮像部２から出力された撮像画像信号から生成されたものを左撮像画像データという。右撮像画像データ及び左撮像画像データはＲＡＭ９に記憶される。
【００２０】
表示制御部１０は、画像処理部４にて生成された右撮像画像データに基づく右画像と、画像処理部４にて生成された左撮像画像データに基く左画像とを、表示部１１にて立体視可能に合成表示させる。
【００２１】
表示部１１は、時分割視差画像方式、レンチキュラ方式、及びパララックスバリア方式等に対応した液晶表示装置等で構成され、表示制御部１０の制御により、右画像と左画像とを例えば交互に表示させることで立体視可能な映像（立体映像）を表示する。
【００２２】
仮想物体ＤＢ６は、表示部１１に表示される立体映像に重畳すべき仮想物体のデータが予め登録されているものである。仮想物体のデータは、右画像に重畳するべき右画像用仮想データと、左画像に重畳するべき左画像用仮想データとが登録されている。
【００２３】
地面推定部５は、デジタルカメラ１００の置かれている三次元空間における地面の位置を推定するものである。この三次元空間は、デジタルカメラ１００の重心位置を原点とし、この原点を通りかつ筐体Ｋの長手方向（視差の得られる方向）に伸びる直線をＹ軸とし、この原点を通りかつ撮像部１，２が設けられる筐体Ｋ前面に垂直な方向（撮影方向）に伸びる直線をＸ軸とし、この原点を通りかつＸＹ平面に垂直な直線（筐体Ｋの短手方向に伸びる直線）をＺ軸とした座標によって定義される空間である。なお、撮像部１，２によって撮像して得られる各撮像画像データは、被写体を上記三次元空間のＹＺ平面に投影したものに相当し、各撮像画像データの各画素は、各撮像画像データの中心にある画素を原点とする座標（ｙ，ｚ）によってその位置が特定される。
【００２４】
表示制御部１０は、表示部１１に表示中の立体映像における、地面推定部５によって推定された地面に対応する位置に、仮想物体ＤＢ６から取得した仮想物体のデータに基づく仮想物体画像を重畳表示させる制御も行う。表示制御部１０は、右画像用仮想データに基づく仮想物体画像を右画像に重畳表示させ、左画像用仮想データに基づく仮想物体画像を左画像に重畳表示させることで、立体映像の所定位置に、仮想物体画像を重畳表示させる。
【００２５】
デジタルカメラ１００は、撮像部１と撮像部２によって撮像を行い、当該撮像によって生成された右撮像画像データと左撮像画像データを立体視可能な形式で対応付けて記録媒体１３に記録する３Ｄ撮影モードの他に、撮像部１と撮像部２によって人物を含む被写体の撮像を行い、当該撮像によって生成された右撮像画像データに基づく右画像と左撮像画像データに基づく左画像とを立体映像として表示すると共に、当該立体映像に仮想物体画像を重畳させて、ユーザに拡張現実感を提供する拡張現実モードを設定可能であり、以下では、拡張現実モード時のデジタルカメラ１００の動作を説明する。
【００２６】
図３は、図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するためのフローチャートである。図４〜図９は、図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するための図である。以下では、デジタルカメラ１００のＺ軸方向が地面に対して垂直の状態で撮影がなされることを前提として説明する。
【００２７】
デジタルカメラ１００が拡張現実モードに設定されると、撮像部１及び撮像部２により動画撮影が開始され、表示部１１には、撮影中の被写界像が立体映像として表示される。
【００２８】
動画撮影が開始されると、画像処理部４では、右撮像画像データ及び左撮像画像データがフレーム毎に生成され、ＲＡＭ９に記憶される。ＲＡＭ９に記憶された右撮像画像データ及び左撮像画像データは、表示制御部１０によって表示部１１に立体視可能に表示される。地面推定部５は、右撮像画像データ及び左撮像画像データが生成されるたびに、ＲＡＭ９に記憶された右撮像画像データ及び左撮像画像データの各々に対して顔検出処理を行う（ステップＳ１）。
【００２９】
地面推定部５は、顔検出処理の結果、顔が検出されない場合（ステップＳ２：ＮＯ）は、次フレームの右撮像画像データ及び左撮像画像データに対してステップＳ１の処理を再び行い、顔が検出された場合（ステップＳ２：ＹＥＳ）はステップＳ３の処理を行う。
【００３０】
例えば、デジタルカメラ１００のユーザが、図４に示されるように、表示部１１に表示される撮影中の立体映像に人物が含まれるように画角を決めると、当該人物を含む右撮像画像データ及び左撮像画像データから顔が検出されて、ステップＳ３の処理が行われる。
【００３１】
ステップＳ３では、地面推定部５が、右撮像画像データ及び左撮像画像データの各々から検出した顔から、目と口を抽出する処理を行う。
【００３２】
ステップＳ３において２つの目と１つの口が抽出されると（ステップＳ４：ＹＥＳ）、地面推定部５はステップＳ５の処理を行う。ステップＳ３において２つの目と１つの口が抽出されない場合（ステップＳ４：ＮＯ）、地面推定部５は次フレームの右撮像画像データ及び左撮像画像データに対してステップＳ１の処理を行う。
【００３３】
ステップＳ５では、地面推定部５が、図５に示されるように、右撮像画像データ及び左撮像画像データの各々から抽出した２つの目及び１つの口のそれぞれの中心を結ぶ三角形５０を求め、右撮像画像データに対して求めた三角形５０と、左撮像画像データに対して求めた三角形５０との視差、双方の三角形５０の撮像画像データ上における位置、デジタルカメラ１００の撮像部１，２の設計値（輻輳角、基線長等）等を用いて、三角形５０の三次元空間における座標を算出する。
【００３４】
地面推定部５は、ステップＳ５において、図６に示されるように、三次元空間における三角形５０の３つの頂点の各々の座標（ａ１，ｂ１，ｃ１），（ａ２，ｂ２，ｃ２），（ａ３，ｂ３，ｃ３）を算出する。
【００３５】
次に、地面推定部５は、右撮像画像データ又は左撮像画像データから検出した顔を含む被写体の輪郭を、右撮像画像データ又は左撮像画像データから周知の技術により抽出する（ステップＳ６）。
【００３６】
例えば、地面推定部５は、図７に示されるように、右撮像画像データ７０に含まれる人物の輪郭７１（矩形領域）を抽出し、輪郭７１の４つの頂点の座標データ（（ｙ１，ｚ１），（ｙ２，ｚ２），（ｙ３，ｚ３），（ｙ４，ｚ４））を取得する。また、地面推定部５は、ステップＳ３にて抽出した右撮像画像データ７０に含まれる人物の顔に含まれる目と口を結ぶ三角形５０の３つの頂点の座標データ（（ｙ５，ｚ５），（ｙ６，ｚ６），（ｙ７，ｚ７））を取得する。
【００３７】
座標データ（（ｙ５，ｚ５），（ｙ６，ｚ６），（ｙ７，ｚ７））を三次元空間の座標に変換したものが、図６に示される三角形５０の頂点の座標データ（（ａ１，ｂ１，ｃ１），（ａ２，ｂ２，ｃ２），（ａ３，ｂ３，ｃ３））である。地面推定部５は、座標データ（（ｙ５，ｚ５），（ｙ６，ｚ６），（ｙ７，ｚ７））から座標データ（（ａ１，ｂ１，ｃ１），（ａ２，ｂ２，ｃ２），（ａ３，ｂ３，ｃ３））への座標変換式を求め、座標データ（（ｙ１，ｚ１），（ｙ２，ｚ２），（ｙ３，ｚ３），（ｙ４，ｚ４））を、この座標変換式にしたがって三次元空間の座標に変換する（ステップＳ７）。
【００３８】
ステップＳ７の処理により、図８に示されるように、三次元空間における輪郭７１の座標が求まる。
【００３９】
次に、地面推定部５は、図８に示される三次元空間上の輪郭７１における、Ｚ軸方向下側の端部（図８における輪郭７１の下辺）を含み、かつ、Ｚ軸方向に垂直な平面Ｇを、三次元空間における地面として推定する（ステップＳ８）。
【００４０】
ステップＳ８において地面が推定されると、表示制御部１０は、仮想物体ＤＢ６から仮想物体のデータを読み込み、ステップＳ８にて推定された地面上に仮想物体を配置した立体映像を表示部１１にて表示させる（ステップＳ９）。表示部１１に表示される立体映像は、三次元空間を映像として再現したものであるため、三次元空間における地面が推定できれば、立体映像における地面の位置も推定することができる。ステップＳ９の処理により、表示部１１を見ているユーザは、左画像と右画像による立体映像における推定地面上に仮想物体が重畳された立体映像を見ることができる。
【００４１】
図９は、表示部１１に表示される画面例を示す図であり、撮影中の立体映像に対し、その立体映像中の推定された地面９０上に仮想物体画像９１が重畳されている画面例を示している。ユーザは、このような画面を見ることで、違和感なく、拡張現実感を味わうことができる。なお、図９では地面９０を図示しているが、これは説明のためであり、実際には、表示部１１に地面９０は表示されない。
【００４２】
なお、以上の説明では、図１０（ａ）や図１１（ａ）に示されるように、デジタルカメラ１００のＺ軸が地面に垂直になるようにして撮影を行うことを前提にしているが、実際には、図１０（ｂ）や図１１（ｂ）に示されるように、デジタルカメラ１００のＺ軸が地面と垂直にならない状態で撮影が行われることも有りえる。
【００４３】
図１０（ｂ）や図１１（ｂ）に示される状態で撮影が行われた場合に、地面推定部５が、図３のステップＳ８において、デジタルカメラ１００のＺ軸に垂直な平面を地面として推定してしまうと、推定される地面が、実際の地面に対して傾いたものとなってしまい、仮想物体画像を重畳したときにユーザに違和感を生じさせてしまう。このような違和感を生じさせないためのデジタルカメラの構成を以下に説明する。
【００４４】
図１２は、図１に示されるデジタルカメラ１００の変形例であるデジタルカメラ２００の内部構成を示すブロック図である。図１２に示されるデジタルカメラ２００は、姿勢センサ２０が追加された点を除いては、図２に示されるブロック図と同じである。
【００４５】
姿勢センサ２０は、デジタルカメラ２００の姿勢を検出するものであり、例えばジャイロセンサによって構成される。姿勢センサ２０は、デジタルカメラ２００の重心を通るＺ軸の地面に対する傾き（図１０（ｂ）、図１１（ｂ）における角度θ）を検出し、検出した角度の情報を地面推定部５に通知する。以下、デジタルカメラ２００の拡張現実モード時の動作について説明する。
【００４６】
図１３は、図１２に示されるデジタルカメラ２００の拡張現実モード時の動作を説明するためのフローチャートである。図１３において図３に示される処理と同じ処理には同一符号を付して説明を省略する。
【００４７】
地面推定部５は、ステップＳ７までの処理を行った後、姿勢センサ２０から、デジタルカメラ２００の地面に対する傾きを示す角度情報を取得する（ステップＳ２０）。
【００４８】
次に、地面推定部５は、ステップＳ２０において取得した角度情報を用いて、三次元空間におけるデジタルカメラ２００の鉛直線の伸びる方向（デジタルカメラ２００の重心に錘をつけたときにその錘が垂れる方向）を判定する（ステップＳ２１）。
【００４９】
姿勢センサ２０から取得した角度情報は、三次元空間におけるＺ軸に対する角度の情報であるため、この角度情報を用いることで、三次元空間におけるデジタルカメラ２００の鉛直線方向を判定することができる。
【００５０】
次に、地面推定部５は、ステップＳ２１にて判定した鉛直線方向に垂直な平面であって、ステップＳ７にて変換した三次元空間の輪郭のうちの当該鉛直線方向の端部を含む平面を、三次元空間における地面として推定する（ステップＳ２２）。
【００５１】
例えば、図１０（ｂ），図１１（ｂ）に示されるように、三次元空間における輪郭が符号１１０のように存在していた場合、この輪郭１１０のデジタルカメラ２００の鉛直線方向の端部１１０Ｔを含み、かつ、鉛直線方向に垂直な平面Ｇが地面として推定される。
【００５２】
なお、ユーザが、図１０（ａ）及び図１１（ａ）に示されるような状態で撮影を行っていた場合には、デジタルカメラ２００の傾きθ＝０度となるため、三次元空間におけるＺ軸方向下側と、デジタルカメラ２００の鉛直線方向とが一致する。このため、この場合には、地面推定部５は、ステップＳ２２において図３のステップＳ８の処理と同じ処理によって地面を推定することになる。
【００５３】
ステップＳ２２の後はステップＳ９において、表示部１１に表示中の立体映像における推定した地面上に仮想物体が重畳表示される。
【００５４】
以上のように、デジタルカメラ２００によれば、デジタルカメラ２００を地面に対して傾けて撮影を行った場合でも、地面を精度良く推定することができるため、違和感のない拡張現実感を提供することが可能になる。
【００５５】
なお、ここまでは、撮像画像データから検出される顔の数が１つであることを前提にしてきたが、撮像画像データから顔が複数種類検出された場合（図１３のステップＳ４において、２組以上の顔の目及び口の抽出が成功した場合）には、地面推定部５が、その複数種類の顔の中から１つを選択した後、選択した顔に対し、図１３のステップＳ５〜Ｓ９の処理を行えばよい。複数種類の顔の中からどれを選択するかは、ユーザによって指定可能にしておいてもよいし、個人認識を行って予め登録されている顔との一致度が高いものを選択するようにしてもよい。
【００５６】
また、撮像画像データから顔が複数種類検出された場合（図１３のステップＳ４において２組以上の顔の目及び口の抽出が成功した場合）には、地面推定部５が、その複数種類の顔の中から２つを選択した後、選択した２つの顔の各々に対し、図１３のステップＳ５〜Ｓ２２の処理を行い、選択した２つの顔の各々に対して求められた２つの地面の座標を用いて、この２つの地面と最も相関性の高い地面を最終的な地面（表示制御部１０が仮想物体を重畳させる地面）として推定することで、地面の推定精度を上げることができる。
【００５７】
なお、デジタルカメラ１００，２００は、撮像部１，２の２つの撮像部により視差のある２つの撮像画像信号を得ているが、視差のある２つの撮像画像信号を得ることができれば、撮像部は２つなくてもよい。
【００５８】
例えば、単一の光学系と２つの撮像素子によって視差のある２つの撮像画像信号を出力する撮像部を用いてもよい。または、単一の光学系と単一の撮像素子によって視差のある２つの撮像画像信号を出力可能な撮像部を用いてもよい。単一の光学系と単一の撮像素子によって視差のある２つの撮像画像信号を出力可能な撮像部では、撮像素子として、位相差を検出可能な画素ペア（例えば、遮光膜開口が互いに逆方向に偏心された２つの画素）を二次元状に配置したものを用いることで、視差のある２つの撮像画像信号を出力可能である。また、撮影範囲を連続的に変えながら複数回の撮像を行って視差のある２つの撮像画像信号を取得するような方式の撮像部を用いてもよい。
【００５９】
また、以上の説明では、拡張現実感提供装置が、視差のある２つの撮像画像信号を出力可能な撮像部を有するものとしたが、拡張現実感提供装置に撮像部は搭載されていなくてもよい。例えば、拡張現実感提供装置内の記憶部（記録媒体１３）に、別の撮像部によって撮像して得られた視差のある２つの撮像画像信号（静止画、動画）や、インターネット等からダウンロードした視差のある２つの撮像画像信号（静止画、動画）を予め記憶しておき、拡張現実感提供装置の地面推定部が、記録媒体１３から上記２つの撮像画像信号を取得し、取得した２つの撮像画像信号に対し、図３や図１３に示される処理を行うようにしてもよい。
【００６０】
以上のように、本明細書には以下の事項が開示されている。
【００６１】
開示された拡張現実感提供装置は、使用者に対して拡張現実感を提供する拡張現実感提供装置であって、視差のある２つの撮像画像信号から生成される２つの撮像画像データの一方である第一の撮像画像データに基づく第一の画像、及び、前記２つの撮像画像データの他方である第二の撮像画像データに基づく第二の画像を立体視可能に合成表示する表示部と、前記第一の撮像画像データ及び前記第二の撮像画像データから顔を検出する顔検出処理、前記第一の撮像画像データ及び前記第二の撮像画像データから共通に検出された顔のデータを用いて前記拡張現実感提供装置を原点とする三次元空間における当該顔の座標を算出する顔座標算出処理、前記第一の撮像画像データ又は前記第二の撮像画像データから前記顔を含む被写体の輪郭を抽出する輪郭抽出処理、前記輪郭抽出処理により抽出した輪郭の二次元座標を、前記顔座標算出処理により算出した前記顔の座標に基づいて前記三次元空間における座標に変換する座標変換処理、及び前記三次元空間における前記輪郭の前記拡張現実感提供装置の鉛直線の伸びる方向の端部を含みかつ前記鉛直線に垂直な面を地面と推定する地面推定処理、を行う地面推定部と、前記表示部に表示される立体映像における前記地面推定部によって推定された地面上に、仮想物体を重畳表示させる制御を行う表示制御部とを備えるものである。
【００６２】
開示された拡張現実感提供装置は、前記拡張現実感提供装置の姿勢を検出する姿勢検出部を備え、前記地面推定部は、前記姿勢検出部によって検出された前記拡張現実感提供装置の傾きの情報により、前記鉛直線の伸びる方向を判定するものである。
【００６３】
開示された拡張現実感提供装置は、前記顔検出処理によって検出された顔が複数種類ある場合、前記地面推定部は、当該複数種類の顔の中から１つを選択し、選択した顔を含む被写体に対して、前記顔座標算出処理、前記輪郭抽出処理、前記座標変換処理、及び前記地面推定処理を行って前記地面を推定するものである。
【００６４】
開示された拡張現実感提供装置は、前記顔検出処理によって検出された顔が複数種類ある場合、前記地面推定部は、当該複数種類の顔の中から２つを選択し、選択した２つの顔の各々を含む異なる種類の被写体に対して、前記顔座標算出処理、前記輪郭抽出処理、前記座標変換処理、及び前記地面推定処理を行って２種類の被写体毎に前記地面を推定し、前記２種類の被写体毎に求めた２つの地面と最も相関性の高い平面を、前記仮想物体を重畳させる最終的な地面として推定し、前記表示制御部は、前記地面推定部によって推定された前記最終的な地面上に前記仮想物体を重畳させるものである。
【００６５】
開示された拡張現実感提供装置は、前記視差のある２つの撮像画像信号を出力可能な撮像部を備えるものである。
【００６６】
開示された仮想物体の重畳方法は、視差のある２つの撮像画像信号から生成される２つの撮像画像データの一方である第一の撮像画像データに基づく第一の画像、及び、前記２つの撮像画像データの他方である第二の撮像画像データに基づく第二の画像を立体視可能に合成表示し、当該立体視可能に表示される立体映像に仮想物体を重畳表示させて拡張現実感を提供する拡張現実感提供装置における仮想物体の重畳方法であって、前記第一の撮像画像データ及び前記第二の撮像画像データから顔を検出する顔検出ステップと、前記第一の撮像画像データ及び前記第二の撮像画像データから共通に検出された顔のデータを用いて前記拡張現実感提供装置を原点とする三次元空間における当該顔の座標を算出する顔座標算出ステップと、前記第一の撮像画像データ及び前記第二の撮像画像データから前記顔を含む被写体の輪郭を抽出する輪郭抽出ステップと、前記輪郭抽出ステップにより抽出した輪郭の二次元座標を、前記顔座標算出ステップにより算出した前記顔の座標に基づいて前記三次元空間における座標に変換する座標変換ステップと、前記三次元空間における前記輪郭の前記拡張現実感提供装置の鉛直線の伸びる方向の端部を含みかつ前記鉛直線に垂直な面を地面と推定する地面推定ステップと、前記立体映像における前記地面推定ステップによって推定された地面上に、仮想物体を重畳表示させる制御を行う表示制御ステップとを備えるものである。
【００６７】
開示された仮想物体の重畳方法は、前記拡張現実感提供装置の姿勢を検出する姿勢検出ステップを備え、前記地面推定ステップでは、前記姿勢検出ステップによって検出された前記拡張現実感提供装置の傾きの情報により、前記鉛直線の伸びる方向を判定するものである。
【００６８】
開示された仮想物体の重畳方法は、前記顔検出ステップによって検出された顔が複数種類ある場合、当該複数種類の顔の中から１つを選択し、選択した顔を含む被写体に対して、前記顔座標算出ステップ、前記輪郭抽出ステップ、前記座標変換ステップ、及び前記地面推定ステップを行って前記地面を推定するものである。
【００６９】
開示された仮想物体の重畳方法は、前記顔検出ステップによって検出された顔が複数種類ある場合、当該複数種類の顔の中から２つを選択し、選択した２つの顔の各々を含む異なる種類の被写体に対して、前記顔座標算出ステップ、前記輪郭抽出ステップ、前記座標変換ステップ、及び前記地面推定ステップを行って２種類の被写体毎に前記地面を推定し、前記２種類の被写体毎に求めた２つの地面と最も相関性の高い平面を、前記仮想物体を重畳させる最終的な地面として推定し、当該最終的な地面上に前記仮想物体を重畳させるものである。
【符号の説明】
【００７０】
１，２ 撮像部
５ 地面推定部
２００ デジタルカメラ
【技術分野】
【０００１】
本発明は、拡張現実感を提供する拡張現実感提供装置及び仮想物体の重畳方法に関する。
【背景技術】
【０００２】
カメラで撮影した被写界の画像に、仮想物体を重畳表示させる拡張現実技術が普及してきており、この技術を採用した携帯電話機やヘッドマウントディスプレイ（ＨＭＤ）が登場してきている。
【０００３】
例えば、特許文献１には、デジタルカメラで撮像して得られたマーカーを含む画像をモニタ上に表示すると共に、モニタに表示されているカードのマーカー上に、当該マーカーに対応したオブジェクトの三次元画像（仮想物体）を重畳して表示する拡張現実感提供装置が記載されている。
【０００４】
特許文献１に記載の装置では、仮想物体を重畳させるべき位置を、マーカーを検出することによって決めている。このため、マーカーを含む画像にしか仮想物体を重畳させることができず、汎用性が低い。
【０００５】
特許文献２には、撮影者の視点位置や視線方向等によって被写体の位置関係を特定し、撮像画像上に仮想物体を重畳する技術が記載されている。この技術によれば、マーカーを用いなくとも、撮像画像に仮想物体を重畳させることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−３２２６０２号公報
【特許文献２】特開２００８−７８９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２に記載の技術では、撮影画像における地面の位置までは把握することができないため、仮想物体を地面に対して適当な角度でしか重畳させることができず、ユーザに違和感を与えてしまうことがある。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、マーカーを用いることなく、違和感のない拡張現実感を提供することが可能な拡張現実感提供装置及び仮想物体の重畳方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の拡張現実感提供装置は、使用者に対して拡張現実感を提供する拡張現実感提供装置であって、視差のある２つの撮像画像信号から生成される２つの撮像画像データの一方である第一の撮像画像データに基づく第一の画像、及び、前記２つの撮像画像データの他方である第二の撮像画像データに基づく第二の画像を立体視可能に合成表示する表示部と、前記第一の撮像画像データ及び前記第二の撮像画像データから顔を検出する顔検出処理、前記第一の撮像画像データ及び前記第二の撮像画像データから共通に検出された顔のデータを用いて前記拡張現実感提供装置を原点とする三次元空間における当該顔の座標を算出する顔座標算出処理、前記第一の撮像画像データ又は前記第二の撮像画像データから前記顔を含む被写体の輪郭を抽出する輪郭抽出処理、前記輪郭抽出処理により抽出した輪郭の二次元座標を、前記顔座標算出処理により算出した前記顔の座標に基づいて前記三次元空間における座標に変換する座標変換処理、及び前記三次元空間における前記輪郭の前記拡張現実感提供装置の鉛直線の伸びる方向の端部を含みかつ前記鉛直線に垂直な面を地面と推定する地面推定処理、を行う地面推定部と、前記表示部に表示される立体映像における前記地面推定部によって推定された地面上に、仮想物体を重畳表示させる制御を行う表示制御部とを備えるものである。
【００１０】
本発明の仮想物体の重畳方法は、視差のある２つの撮像画像信号から生成される２つの撮像画像データの一方である第一の撮像画像データに基づく第一の画像、及び、前記２つの撮像画像データの他方である第二の撮像画像データに基づく第二の画像を立体視可能に合成表示し、当該立体視可能に表示される立体映像に仮想物体を重畳表示させて拡張現実感を提供する拡張現実感提供装置における仮想物体の重畳方法であって、前記第一の撮像画像データ及び前記第二の撮像画像データから顔を検出する顔検出ステップと、前記第一の撮像画像データ及び前記第二の撮像画像データから共通に検出された顔のデータを用いて前記拡張現実感提供装置を原点とする三次元空間における当該顔の座標を算出する顔座標算出ステップと、前記第一の撮像画像データ及び前記第二の撮像画像データから前記顔を含む被写体の輪郭を抽出する輪郭抽出ステップと、前記輪郭抽出ステップにより抽出した輪郭の二次元座標を、前記顔座標算出ステップにより算出した前記顔の座標に基づいて前記三次元空間における座標に変換する座標変換ステップと、前記三次元空間における前記輪郭の前記拡張現実感提供装置の鉛直線の伸びる方向の端部を含みかつ前記鉛直線に垂直な面を地面と推定する地面推定ステップと、前記立体映像における前記地面推定ステップによって推定された地面上に、仮想物体を重畳表示させる制御を行う表示制御ステップとを備えるものである。
【発明の効果】
【００１１】
本発明によれば、マーカーを用いることなく、違和感のない拡張現実感を提供することが可能な拡張現実感提供装置及び仮想物体の重畳方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態を説明するための拡張現実感提供装置の一例としてのデジタルカメラの外観図
【図２】図１に示されるデジタルカメラ１００の内部構成を示すブロック図
【図３】図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するためのフローチャート
【図４】図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するための図
【図５】図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するための図
【図６】図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するための図
【図７】図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するための図
【図８】図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するための図
【図９】図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するための図
【図１０】図１に示されるデジタルカメラ１００の拡張現実モード時の撮影状態の例を示す図
【図１１】図１に示されるデジタルカメラ１００の拡張現実モード時の撮影状態の例を示す図
【図１２】図１に示されるデジタルカメラ１００の変形例であるデジタルカメラ２００の内部構成を示すブロック図
【図１３】図１２に示されるデジタルカメラ２００の拡張現実モード時の動作を説明するためのフローチャート
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態を説明するための拡張現実感提供装置について図面を参照して説明する。この拡張現実感提供装置は、距離をあけて配置された左右２つの撮像部を有し、各撮像部で撮像して得られた右撮像画像データ及び左撮像画像データを表示部において立体視可能に合成表示するものとなっている。また、この拡張現実感提供装置は、表示部に表示される立体映像に、コンピュータグラフィックにより形成された仮想物体を重畳表示させるものである。この拡張現実感提供装置によれば、表示部には、撮影中の被写界像に仮想物体が重畳された映像が表示されるため、この表示部を観察する人に対して拡張現実感を与えることができる。
【００１４】
図１は、本発明の一実施形態を説明するための拡張現実感提供装置の一例としてのデジタルカメラの外観図である。図１に示されるデジタルカメラ１００は、箱状のハウジングＫと、ハウジングＫの前面に水平方向（ハウジングＫの長手方向）に距離を空けて設けられた右眼用の撮像部１及び左眼用の撮像部２と、ハウジングＫの上面に設けられたレリーズボタン１６ａとを備える。撮像部１は撮影レンズ１Ｒを備え、撮像部２は撮影レンズ１Ｌを備える。撮影レンズ１Ｒの光軸Ｒと、撮影レンズ１Ｌの光軸Ｌとが交差する角度を輻輳角といい、輻輳角が所定値となるように、撮影レンズ１Ｒと撮影レンズ１Ｌの位置が設定されている。
【００１５】
図２は、図１に示されるデジタルカメラ１００の内部構成を示すブロック図である。
【００１６】
図２に示されるように、デジタルカメラ１００は、撮像部１，２と、画像入力コントローラ３と、画像処理部４と、地面推定部５と、仮想物体データベース（ＤＢ）６と、デジタルカメラ１００全体を統括制御するＣＰＵ（中央演算処理装置）８と、ワークメモリとして使用されるＲＡＭ（ランダムアクセスメモリ）９と、表示部１１が接続された表示制御部１０と、着脱可能な記録媒体１３が接続された記録制御部１２と、マイク及びスピーカ１５が接続された音声制御部１４と、ＣＰＵ８に接続された操作部１６（図１のレリーズボタン１６ａを含む）とを備え、撮像部１，２以外の各部はバス１７で相互に接続されている。
【００１７】
撮像部１，２は、それぞれ、撮影レンズ及び絞り等の光学系、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子、この撮像素子から出力された撮像画像信号にアナログ信号処理を施すアナログ信号処理部、アナログ信号処理部で処理後の信号をデジタル変換するＡＤ変換部、及び撮像素子を駆動する駆動部等を含む。撮像部１と撮像部２は、視差のある２つの撮像画像信号を得るために、水平方向に距離を空けて配置されており、この水平方向が、デジタルカメラ１００において視差の得られる方向となる。
【００１８】
画像入力コントローラ３は、撮像部１，２の各々から出力された撮像画像信号を取り込み、この撮像画像信号をＲＡＭ９に記憶する。
【００１９】
画像処理部４は、ＲＡＭ９に記憶された撮像画像信号に、同時化処理（１画素に３つの色データを持たせる処理）、ホワイトバランス処理、ＲＧＢ−ＹＣ変換処理等の周知のデジタル信号処理を施して、撮像画像データを生成する。ここで生成される撮像画像データのうち、撮像部１から出力された撮像画像信号から生成されたものを右撮像画像データといい、撮像部２から出力された撮像画像信号から生成されたものを左撮像画像データという。右撮像画像データ及び左撮像画像データはＲＡＭ９に記憶される。
【００２０】
表示制御部１０は、画像処理部４にて生成された右撮像画像データに基づく右画像と、画像処理部４にて生成された左撮像画像データに基く左画像とを、表示部１１にて立体視可能に合成表示させる。
【００２１】
表示部１１は、時分割視差画像方式、レンチキュラ方式、及びパララックスバリア方式等に対応した液晶表示装置等で構成され、表示制御部１０の制御により、右画像と左画像とを例えば交互に表示させることで立体視可能な映像（立体映像）を表示する。
【００２２】
仮想物体ＤＢ６は、表示部１１に表示される立体映像に重畳すべき仮想物体のデータが予め登録されているものである。仮想物体のデータは、右画像に重畳するべき右画像用仮想データと、左画像に重畳するべき左画像用仮想データとが登録されている。
【００２３】
地面推定部５は、デジタルカメラ１００の置かれている三次元空間における地面の位置を推定するものである。この三次元空間は、デジタルカメラ１００の重心位置を原点とし、この原点を通りかつ筐体Ｋの長手方向（視差の得られる方向）に伸びる直線をＹ軸とし、この原点を通りかつ撮像部１，２が設けられる筐体Ｋ前面に垂直な方向（撮影方向）に伸びる直線をＸ軸とし、この原点を通りかつＸＹ平面に垂直な直線（筐体Ｋの短手方向に伸びる直線）をＺ軸とした座標によって定義される空間である。なお、撮像部１，２によって撮像して得られる各撮像画像データは、被写体を上記三次元空間のＹＺ平面に投影したものに相当し、各撮像画像データの各画素は、各撮像画像データの中心にある画素を原点とする座標（ｙ，ｚ）によってその位置が特定される。
【００２４】
表示制御部１０は、表示部１１に表示中の立体映像における、地面推定部５によって推定された地面に対応する位置に、仮想物体ＤＢ６から取得した仮想物体のデータに基づく仮想物体画像を重畳表示させる制御も行う。表示制御部１０は、右画像用仮想データに基づく仮想物体画像を右画像に重畳表示させ、左画像用仮想データに基づく仮想物体画像を左画像に重畳表示させることで、立体映像の所定位置に、仮想物体画像を重畳表示させる。
【００２５】
デジタルカメラ１００は、撮像部１と撮像部２によって撮像を行い、当該撮像によって生成された右撮像画像データと左撮像画像データを立体視可能な形式で対応付けて記録媒体１３に記録する３Ｄ撮影モードの他に、撮像部１と撮像部２によって人物を含む被写体の撮像を行い、当該撮像によって生成された右撮像画像データに基づく右画像と左撮像画像データに基づく左画像とを立体映像として表示すると共に、当該立体映像に仮想物体画像を重畳させて、ユーザに拡張現実感を提供する拡張現実モードを設定可能であり、以下では、拡張現実モード時のデジタルカメラ１００の動作を説明する。
【００２６】
図３は、図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するためのフローチャートである。図４〜図９は、図１に示されるデジタルカメラ１００の拡張現実モード時の動作を説明するための図である。以下では、デジタルカメラ１００のＺ軸方向が地面に対して垂直の状態で撮影がなされることを前提として説明する。
【００２７】
デジタルカメラ１００が拡張現実モードに設定されると、撮像部１及び撮像部２により動画撮影が開始され、表示部１１には、撮影中の被写界像が立体映像として表示される。
【００２８】
動画撮影が開始されると、画像処理部４では、右撮像画像データ及び左撮像画像データがフレーム毎に生成され、ＲＡＭ９に記憶される。ＲＡＭ９に記憶された右撮像画像データ及び左撮像画像データは、表示制御部１０によって表示部１１に立体視可能に表示される。地面推定部５は、右撮像画像データ及び左撮像画像データが生成されるたびに、ＲＡＭ９に記憶された右撮像画像データ及び左撮像画像データの各々に対して顔検出処理を行う（ステップＳ１）。
【００２９】
地面推定部５は、顔検出処理の結果、顔が検出されない場合（ステップＳ２：ＮＯ）は、次フレームの右撮像画像データ及び左撮像画像データに対してステップＳ１の処理を再び行い、顔が検出された場合（ステップＳ２：ＹＥＳ）はステップＳ３の処理を行う。
【００３０】
例えば、デジタルカメラ１００のユーザが、図４に示されるように、表示部１１に表示される撮影中の立体映像に人物が含まれるように画角を決めると、当該人物を含む右撮像画像データ及び左撮像画像データから顔が検出されて、ステップＳ３の処理が行われる。
【００３１】
ステップＳ３では、地面推定部５が、右撮像画像データ及び左撮像画像データの各々から検出した顔から、目と口を抽出する処理を行う。
【００３２】
ステップＳ３において２つの目と１つの口が抽出されると（ステップＳ４：ＹＥＳ）、地面推定部５はステップＳ５の処理を行う。ステップＳ３において２つの目と１つの口が抽出されない場合（ステップＳ４：ＮＯ）、地面推定部５は次フレームの右撮像画像データ及び左撮像画像データに対してステップＳ１の処理を行う。
【００３３】
ステップＳ５では、地面推定部５が、図５に示されるように、右撮像画像データ及び左撮像画像データの各々から抽出した２つの目及び１つの口のそれぞれの中心を結ぶ三角形５０を求め、右撮像画像データに対して求めた三角形５０と、左撮像画像データに対して求めた三角形５０との視差、双方の三角形５０の撮像画像データ上における位置、デジタルカメラ１００の撮像部１，２の設計値（輻輳角、基線長等）等を用いて、三角形５０の三次元空間における座標を算出する。
【００３４】
地面推定部５は、ステップＳ５において、図６に示されるように、三次元空間における三角形５０の３つの頂点の各々の座標（ａ１，ｂ１，ｃ１），（ａ２，ｂ２，ｃ２），（ａ３，ｂ３，ｃ３）を算出する。
【００３５】
次に、地面推定部５は、右撮像画像データ又は左撮像画像データから検出した顔を含む被写体の輪郭を、右撮像画像データ又は左撮像画像データから周知の技術により抽出する（ステップＳ６）。
【００３６】
例えば、地面推定部５は、図７に示されるように、右撮像画像データ７０に含まれる人物の輪郭７１（矩形領域）を抽出し、輪郭７１の４つの頂点の座標データ（（ｙ１，ｚ１），（ｙ２，ｚ２），（ｙ３，ｚ３），（ｙ４，ｚ４））を取得する。また、地面推定部５は、ステップＳ３にて抽出した右撮像画像データ７０に含まれる人物の顔に含まれる目と口を結ぶ三角形５０の３つの頂点の座標データ（（ｙ５，ｚ５），（ｙ６，ｚ６），（ｙ７，ｚ７））を取得する。
【００３７】
座標データ（（ｙ５，ｚ５），（ｙ６，ｚ６），（ｙ７，ｚ７））を三次元空間の座標に変換したものが、図６に示される三角形５０の頂点の座標データ（（ａ１，ｂ１，ｃ１），（ａ２，ｂ２，ｃ２），（ａ３，ｂ３，ｃ３））である。地面推定部５は、座標データ（（ｙ５，ｚ５），（ｙ６，ｚ６），（ｙ７，ｚ７））から座標データ（（ａ１，ｂ１，ｃ１），（ａ２，ｂ２，ｃ２），（ａ３，ｂ３，ｃ３））への座標変換式を求め、座標データ（（ｙ１，ｚ１），（ｙ２，ｚ２），（ｙ３，ｚ３），（ｙ４，ｚ４））を、この座標変換式にしたがって三次元空間の座標に変換する（ステップＳ７）。
【００３８】
ステップＳ７の処理により、図８に示されるように、三次元空間における輪郭７１の座標が求まる。
【００３９】
次に、地面推定部５は、図８に示される三次元空間上の輪郭７１における、Ｚ軸方向下側の端部（図８における輪郭７１の下辺）を含み、かつ、Ｚ軸方向に垂直な平面Ｇを、三次元空間における地面として推定する（ステップＳ８）。
【００４０】
ステップＳ８において地面が推定されると、表示制御部１０は、仮想物体ＤＢ６から仮想物体のデータを読み込み、ステップＳ８にて推定された地面上に仮想物体を配置した立体映像を表示部１１にて表示させる（ステップＳ９）。表示部１１に表示される立体映像は、三次元空間を映像として再現したものであるため、三次元空間における地面が推定できれば、立体映像における地面の位置も推定することができる。ステップＳ９の処理により、表示部１１を見ているユーザは、左画像と右画像による立体映像における推定地面上に仮想物体が重畳された立体映像を見ることができる。
【００４１】
図９は、表示部１１に表示される画面例を示す図であり、撮影中の立体映像に対し、その立体映像中の推定された地面９０上に仮想物体画像９１が重畳されている画面例を示している。ユーザは、このような画面を見ることで、違和感なく、拡張現実感を味わうことができる。なお、図９では地面９０を図示しているが、これは説明のためであり、実際には、表示部１１に地面９０は表示されない。
【００４２】
なお、以上の説明では、図１０（ａ）や図１１（ａ）に示されるように、デジタルカメラ１００のＺ軸が地面に垂直になるようにして撮影を行うことを前提にしているが、実際には、図１０（ｂ）や図１１（ｂ）に示されるように、デジタルカメラ１００のＺ軸が地面と垂直にならない状態で撮影が行われることも有りえる。
【００４３】
図１０（ｂ）や図１１（ｂ）に示される状態で撮影が行われた場合に、地面推定部５が、図３のステップＳ８において、デジタルカメラ１００のＺ軸に垂直な平面を地面として推定してしまうと、推定される地面が、実際の地面に対して傾いたものとなってしまい、仮想物体画像を重畳したときにユーザに違和感を生じさせてしまう。このような違和感を生じさせないためのデジタルカメラの構成を以下に説明する。
【００４４】
図１２は、図１に示されるデジタルカメラ１００の変形例であるデジタルカメラ２００の内部構成を示すブロック図である。図１２に示されるデジタルカメラ２００は、姿勢センサ２０が追加された点を除いては、図２に示されるブロック図と同じである。
【００４５】
姿勢センサ２０は、デジタルカメラ２００の姿勢を検出するものであり、例えばジャイロセンサによって構成される。姿勢センサ２０は、デジタルカメラ２００の重心を通るＺ軸の地面に対する傾き（図１０（ｂ）、図１１（ｂ）における角度θ）を検出し、検出した角度の情報を地面推定部５に通知する。以下、デジタルカメラ２００の拡張現実モード時の動作について説明する。
【００４６】
図１３は、図１２に示されるデジタルカメラ２００の拡張現実モード時の動作を説明するためのフローチャートである。図１３において図３に示される処理と同じ処理には同一符号を付して説明を省略する。
【００４７】
地面推定部５は、ステップＳ７までの処理を行った後、姿勢センサ２０から、デジタルカメラ２００の地面に対する傾きを示す角度情報を取得する（ステップＳ２０）。
【００４８】
次に、地面推定部５は、ステップＳ２０において取得した角度情報を用いて、三次元空間におけるデジタルカメラ２００の鉛直線の伸びる方向（デジタルカメラ２００の重心に錘をつけたときにその錘が垂れる方向）を判定する（ステップＳ２１）。
【００４９】
姿勢センサ２０から取得した角度情報は、三次元空間におけるＺ軸に対する角度の情報であるため、この角度情報を用いることで、三次元空間におけるデジタルカメラ２００の鉛直線方向を判定することができる。
【００５０】
次に、地面推定部５は、ステップＳ２１にて判定した鉛直線方向に垂直な平面であって、ステップＳ７にて変換した三次元空間の輪郭のうちの当該鉛直線方向の端部を含む平面を、三次元空間における地面として推定する（ステップＳ２２）。
【００５１】
例えば、図１０（ｂ），図１１（ｂ）に示されるように、三次元空間における輪郭が符号１１０のように存在していた場合、この輪郭１１０のデジタルカメラ２００の鉛直線方向の端部１１０Ｔを含み、かつ、鉛直線方向に垂直な平面Ｇが地面として推定される。
【００５２】
なお、ユーザが、図１０（ａ）及び図１１（ａ）に示されるような状態で撮影を行っていた場合には、デジタルカメラ２００の傾きθ＝０度となるため、三次元空間におけるＺ軸方向下側と、デジタルカメラ２００の鉛直線方向とが一致する。このため、この場合には、地面推定部５は、ステップＳ２２において図３のステップＳ８の処理と同じ処理によって地面を推定することになる。
【００５３】
ステップＳ２２の後はステップＳ９において、表示部１１に表示中の立体映像における推定した地面上に仮想物体が重畳表示される。
【００５４】
以上のように、デジタルカメラ２００によれば、デジタルカメラ２００を地面に対して傾けて撮影を行った場合でも、地面を精度良く推定することができるため、違和感のない拡張現実感を提供することが可能になる。
【００５５】
なお、ここまでは、撮像画像データから検出される顔の数が１つであることを前提にしてきたが、撮像画像データから顔が複数種類検出された場合（図１３のステップＳ４において、２組以上の顔の目及び口の抽出が成功した場合）には、地面推定部５が、その複数種類の顔の中から１つを選択した後、選択した顔に対し、図１３のステップＳ５〜Ｓ９の処理を行えばよい。複数種類の顔の中からどれを選択するかは、ユーザによって指定可能にしておいてもよいし、個人認識を行って予め登録されている顔との一致度が高いものを選択するようにしてもよい。
【００５６】
また、撮像画像データから顔が複数種類検出された場合（図１３のステップＳ４において２組以上の顔の目及び口の抽出が成功した場合）には、地面推定部５が、その複数種類の顔の中から２つを選択した後、選択した２つの顔の各々に対し、図１３のステップＳ５〜Ｓ２２の処理を行い、選択した２つの顔の各々に対して求められた２つの地面の座標を用いて、この２つの地面と最も相関性の高い地面を最終的な地面（表示制御部１０が仮想物体を重畳させる地面）として推定することで、地面の推定精度を上げることができる。
【００５７】
なお、デジタルカメラ１００，２００は、撮像部１，２の２つの撮像部により視差のある２つの撮像画像信号を得ているが、視差のある２つの撮像画像信号を得ることができれば、撮像部は２つなくてもよい。
【００５８】
例えば、単一の光学系と２つの撮像素子によって視差のある２つの撮像画像信号を出力する撮像部を用いてもよい。または、単一の光学系と単一の撮像素子によって視差のある２つの撮像画像信号を出力可能な撮像部を用いてもよい。単一の光学系と単一の撮像素子によって視差のある２つの撮像画像信号を出力可能な撮像部では、撮像素子として、位相差を検出可能な画素ペア（例えば、遮光膜開口が互いに逆方向に偏心された２つの画素）を二次元状に配置したものを用いることで、視差のある２つの撮像画像信号を出力可能である。また、撮影範囲を連続的に変えながら複数回の撮像を行って視差のある２つの撮像画像信号を取得するような方式の撮像部を用いてもよい。
【００５９】
また、以上の説明では、拡張現実感提供装置が、視差のある２つの撮像画像信号を出力可能な撮像部を有するものとしたが、拡張現実感提供装置に撮像部は搭載されていなくてもよい。例えば、拡張現実感提供装置内の記憶部（記録媒体１３）に、別の撮像部によって撮像して得られた視差のある２つの撮像画像信号（静止画、動画）や、インターネット等からダウンロードした視差のある２つの撮像画像信号（静止画、動画）を予め記憶しておき、拡張現実感提供装置の地面推定部が、記録媒体１３から上記２つの撮像画像信号を取得し、取得した２つの撮像画像信号に対し、図３や図１３に示される処理を行うようにしてもよい。
【００６０】
以上のように、本明細書には以下の事項が開示されている。
【００６１】
開示された拡張現実感提供装置は、使用者に対して拡張現実感を提供する拡張現実感提供装置であって、視差のある２つの撮像画像信号から生成される２つの撮像画像データの一方である第一の撮像画像データに基づく第一の画像、及び、前記２つの撮像画像データの他方である第二の撮像画像データに基づく第二の画像を立体視可能に合成表示する表示部と、前記第一の撮像画像データ及び前記第二の撮像画像データから顔を検出する顔検出処理、前記第一の撮像画像データ及び前記第二の撮像画像データから共通に検出された顔のデータを用いて前記拡張現実感提供装置を原点とする三次元空間における当該顔の座標を算出する顔座標算出処理、前記第一の撮像画像データ又は前記第二の撮像画像データから前記顔を含む被写体の輪郭を抽出する輪郭抽出処理、前記輪郭抽出処理により抽出した輪郭の二次元座標を、前記顔座標算出処理により算出した前記顔の座標に基づいて前記三次元空間における座標に変換する座標変換処理、及び前記三次元空間における前記輪郭の前記拡張現実感提供装置の鉛直線の伸びる方向の端部を含みかつ前記鉛直線に垂直な面を地面と推定する地面推定処理、を行う地面推定部と、前記表示部に表示される立体映像における前記地面推定部によって推定された地面上に、仮想物体を重畳表示させる制御を行う表示制御部とを備えるものである。
【００６２】
開示された拡張現実感提供装置は、前記拡張現実感提供装置の姿勢を検出する姿勢検出部を備え、前記地面推定部は、前記姿勢検出部によって検出された前記拡張現実感提供装置の傾きの情報により、前記鉛直線の伸びる方向を判定するものである。
【００６３】
開示された拡張現実感提供装置は、前記顔検出処理によって検出された顔が複数種類ある場合、前記地面推定部は、当該複数種類の顔の中から１つを選択し、選択した顔を含む被写体に対して、前記顔座標算出処理、前記輪郭抽出処理、前記座標変換処理、及び前記地面推定処理を行って前記地面を推定するものである。
【００６４】
開示された拡張現実感提供装置は、前記顔検出処理によって検出された顔が複数種類ある場合、前記地面推定部は、当該複数種類の顔の中から２つを選択し、選択した２つの顔の各々を含む異なる種類の被写体に対して、前記顔座標算出処理、前記輪郭抽出処理、前記座標変換処理、及び前記地面推定処理を行って２種類の被写体毎に前記地面を推定し、前記２種類の被写体毎に求めた２つの地面と最も相関性の高い平面を、前記仮想物体を重畳させる最終的な地面として推定し、前記表示制御部は、前記地面推定部によって推定された前記最終的な地面上に前記仮想物体を重畳させるものである。
【００６５】
開示された拡張現実感提供装置は、前記視差のある２つの撮像画像信号を出力可能な撮像部を備えるものである。
【００６６】
開示された仮想物体の重畳方法は、視差のある２つの撮像画像信号から生成される２つの撮像画像データの一方である第一の撮像画像データに基づく第一の画像、及び、前記２つの撮像画像データの他方である第二の撮像画像データに基づく第二の画像を立体視可能に合成表示し、当該立体視可能に表示される立体映像に仮想物体を重畳表示させて拡張現実感を提供する拡張現実感提供装置における仮想物体の重畳方法であって、前記第一の撮像画像データ及び前記第二の撮像画像データから顔を検出する顔検出ステップと、前記第一の撮像画像データ及び前記第二の撮像画像データから共通に検出された顔のデータを用いて前記拡張現実感提供装置を原点とする三次元空間における当該顔の座標を算出する顔座標算出ステップと、前記第一の撮像画像データ及び前記第二の撮像画像データから前記顔を含む被写体の輪郭を抽出する輪郭抽出ステップと、前記輪郭抽出ステップにより抽出した輪郭の二次元座標を、前記顔座標算出ステップにより算出した前記顔の座標に基づいて前記三次元空間における座標に変換する座標変換ステップと、前記三次元空間における前記輪郭の前記拡張現実感提供装置の鉛直線の伸びる方向の端部を含みかつ前記鉛直線に垂直な面を地面と推定する地面推定ステップと、前記立体映像における前記地面推定ステップによって推定された地面上に、仮想物体を重畳表示させる制御を行う表示制御ステップとを備えるものである。
【００６７】
開示された仮想物体の重畳方法は、前記拡張現実感提供装置の姿勢を検出する姿勢検出ステップを備え、前記地面推定ステップでは、前記姿勢検出ステップによって検出された前記拡張現実感提供装置の傾きの情報により、前記鉛直線の伸びる方向を判定するものである。
【００６８】
開示された仮想物体の重畳方法は、前記顔検出ステップによって検出された顔が複数種類ある場合、当該複数種類の顔の中から１つを選択し、選択した顔を含む被写体に対して、前記顔座標算出ステップ、前記輪郭抽出ステップ、前記座標変換ステップ、及び前記地面推定ステップを行って前記地面を推定するものである。
【００６９】
開示された仮想物体の重畳方法は、前記顔検出ステップによって検出された顔が複数種類ある場合、当該複数種類の顔の中から２つを選択し、選択した２つの顔の各々を含む異なる種類の被写体に対して、前記顔座標算出ステップ、前記輪郭抽出ステップ、前記座標変換ステップ、及び前記地面推定ステップを行って２種類の被写体毎に前記地面を推定し、前記２種類の被写体毎に求めた２つの地面と最も相関性の高い平面を、前記仮想物体を重畳させる最終的な地面として推定し、当該最終的な地面上に前記仮想物体を重畳させるものである。
【符号の説明】
【００７０】
１，２ 撮像部
５ 地面推定部
２００ デジタルカメラ
【特許請求の範囲】
【請求項１】
使用者に対して拡張現実感を提供する拡張現実感提供装置であって、
視差のある２つの撮像画像信号から生成される２つの撮像画像データの一方である第一の撮像画像データに基づく第一の画像、及び、前記２つの撮像画像データの他方である第二の撮像画像データに基づく第二の画像を立体視可能に合成表示する表示部と、
前記第一の撮像画像データ及び前記第二の撮像画像データから顔を検出する顔検出処理、前記第一の撮像画像データ及び前記第二の撮像画像データから共通に検出された顔のデータを用いて前記拡張現実感提供装置を原点とする三次元空間における当該顔の座標を算出する顔座標算出処理、前記第一の撮像画像データ又は前記第二の撮像画像データから前記顔を含む被写体の輪郭を抽出する輪郭抽出処理、前記輪郭抽出処理により抽出した輪郭の二次元座標を、前記顔座標算出処理により算出した前記顔の座標に基づいて前記三次元空間における座標に変換する座標変換処理、及び前記三次元空間における前記輪郭の前記拡張現実感提供装置の鉛直線の伸びる方向の端部を含みかつ前記鉛直線に垂直な面を地面と推定する地面推定処理、を行う地面推定部と、
前記表示部に表示される立体映像における前記地面推定部によって推定された地面上に、仮想物体を重畳表示させる制御を行う表示制御部とを備える拡張現実感提供装置。
【請求項２】
請求項１記載の拡張現実感提供装置であって、
前記拡張現実感提供装置の姿勢を検出する姿勢検出部を備え、
前記地面推定部は、前記姿勢検出部によって検出された前記拡張現実感提供装置の傾きの情報により、前記鉛直線の伸びる方向を判定する拡張現実感提供装置。
【請求項３】
請求項１又は２記載の拡張現実感提供装置であって、
前記顔検出処理によって検出された顔が複数種類ある場合、前記地面推定部は、当該複数種類の顔の中から１つを選択し、選択した顔を含む被写体に対して、前記顔座標算出処理、前記輪郭抽出処理、前記座標変換処理、及び前記地面推定処理を行って前記地面を推定する拡張現実感提供装置。
【請求項４】
請求項１又は２記載の拡張現実感提供装置であって、
前記顔検出処理によって検出された顔が複数種類ある場合、前記地面推定部は、当該複数種類の顔の中から２つを選択し、選択した２つの顔の各々を含む異なる種類の被写体に対して、前記顔座標算出処理、前記輪郭抽出処理、前記座標変換処理、及び前記地面推定処理を行って２種類の被写体毎に前記地面を推定し、前記２種類の被写体毎に求めた２つの地面と最も相関性の高い平面を、前記仮想物体を重畳させる最終的な地面として推定し、
前記表示制御部は、前記地面推定部によって推定された前記最終的な地面上に前記仮想物体を重畳させる拡張現実感提供装置。
【請求項５】
請求項１〜４のいずれか１項記載の拡張現実感提供装置であって、
前記視差のある２つの撮像画像信号を出力可能な撮像部を備える拡張現実感提供装置。
【請求項６】
視差のある２つの撮像画像信号から生成される２つの撮像画像データの一方である第一の撮像画像データに基づく第一の画像、及び、前記２つの撮像画像データの他方である第二の撮像画像データに基づく第二の画像を立体視可能に合成表示し、当該立体視可能に表示される立体映像に仮想物体を重畳表示させて拡張現実感を提供する拡張現実感提供装置における仮想物体の重畳方法であって、
前記第一の撮像画像データ及び前記第二の撮像画像データから顔を検出する顔検出ステップと、
前記第一の撮像画像データ及び前記第二の撮像画像データから共通に検出された顔のデータを用いて前記拡張現実感提供装置を原点とする三次元空間における当該顔の座標を算出する顔座標算出ステップと、
前記第一の撮像画像データ及び前記第二の撮像画像データから前記顔を含む被写体の輪郭を抽出する輪郭抽出ステップと、
前記輪郭抽出ステップにより抽出した輪郭の二次元座標を、前記顔座標算出ステップにより算出した前記顔の座標に基づいて前記三次元空間における座標に変換する座標変換ステップと、
前記三次元空間における前記輪郭の前記拡張現実感提供装置の鉛直線の伸びる方向の端部を含みかつ前記鉛直線に垂直な面を地面と推定する地面推定ステップと、
前記立体映像における前記地面推定ステップによって推定された地面上に、仮想物体を重畳表示させる制御を行う表示制御ステップとを備える仮想物体の重畳方法。
【請求項７】
請求項６記載の仮想物体の重畳方法であって、
前記拡張現実感提供装置の姿勢を検出する姿勢検出ステップを備え、
前記地面推定ステップでは、前記姿勢検出ステップによって検出された前記拡張現実感提供装置の傾きの情報により、前記鉛直線の伸びる方向を判定する仮想物体の重畳方法。
【請求項８】
請求項６又は７記載の仮想物体の重畳方法であって、
前記顔検出ステップによって検出された顔が複数種類ある場合、当該複数種類の顔の中から１つを選択し、選択した顔を含む被写体に対して、前記顔座標算出ステップ、前記輪郭抽出ステップ、前記座標変換ステップ、及び前記地面推定ステップを行って前記地面を推定する仮想物体の重畳方法。
【請求項９】
請求項６又は７記載の仮想物体の重畳方法であって、
前記顔検出ステップによって検出された顔が複数種類ある場合、当該複数種類の顔の中から２つを選択し、選択した２つの顔の各々を含む異なる種類の被写体に対して、前記顔座標算出ステップ、前記輪郭抽出ステップ、前記座標変換ステップ、及び前記地面推定ステップを行って２種類の被写体毎に前記地面を推定し、前記２種類の被写体毎に求めた２つの地面と最も相関性の高い平面を、前記仮想物体を重畳させる最終的な地面として推定し、当該最終的な地面上に前記仮想物体を重畳させる仮想物体の重畳方法。
【請求項１】
使用者に対して拡張現実感を提供する拡張現実感提供装置であって、
視差のある２つの撮像画像信号から生成される２つの撮像画像データの一方である第一の撮像画像データに基づく第一の画像、及び、前記２つの撮像画像データの他方である第二の撮像画像データに基づく第二の画像を立体視可能に合成表示する表示部と、
前記第一の撮像画像データ及び前記第二の撮像画像データから顔を検出する顔検出処理、前記第一の撮像画像データ及び前記第二の撮像画像データから共通に検出された顔のデータを用いて前記拡張現実感提供装置を原点とする三次元空間における当該顔の座標を算出する顔座標算出処理、前記第一の撮像画像データ又は前記第二の撮像画像データから前記顔を含む被写体の輪郭を抽出する輪郭抽出処理、前記輪郭抽出処理により抽出した輪郭の二次元座標を、前記顔座標算出処理により算出した前記顔の座標に基づいて前記三次元空間における座標に変換する座標変換処理、及び前記三次元空間における前記輪郭の前記拡張現実感提供装置の鉛直線の伸びる方向の端部を含みかつ前記鉛直線に垂直な面を地面と推定する地面推定処理、を行う地面推定部と、
前記表示部に表示される立体映像における前記地面推定部によって推定された地面上に、仮想物体を重畳表示させる制御を行う表示制御部とを備える拡張現実感提供装置。
【請求項２】
請求項１記載の拡張現実感提供装置であって、
前記拡張現実感提供装置の姿勢を検出する姿勢検出部を備え、
前記地面推定部は、前記姿勢検出部によって検出された前記拡張現実感提供装置の傾きの情報により、前記鉛直線の伸びる方向を判定する拡張現実感提供装置。
【請求項３】
請求項１又は２記載の拡張現実感提供装置であって、
前記顔検出処理によって検出された顔が複数種類ある場合、前記地面推定部は、当該複数種類の顔の中から１つを選択し、選択した顔を含む被写体に対して、前記顔座標算出処理、前記輪郭抽出処理、前記座標変換処理、及び前記地面推定処理を行って前記地面を推定する拡張現実感提供装置。
【請求項４】
請求項１又は２記載の拡張現実感提供装置であって、
前記顔検出処理によって検出された顔が複数種類ある場合、前記地面推定部は、当該複数種類の顔の中から２つを選択し、選択した２つの顔の各々を含む異なる種類の被写体に対して、前記顔座標算出処理、前記輪郭抽出処理、前記座標変換処理、及び前記地面推定処理を行って２種類の被写体毎に前記地面を推定し、前記２種類の被写体毎に求めた２つの地面と最も相関性の高い平面を、前記仮想物体を重畳させる最終的な地面として推定し、
前記表示制御部は、前記地面推定部によって推定された前記最終的な地面上に前記仮想物体を重畳させる拡張現実感提供装置。
【請求項５】
請求項１〜４のいずれか１項記載の拡張現実感提供装置であって、
前記視差のある２つの撮像画像信号を出力可能な撮像部を備える拡張現実感提供装置。
【請求項６】
視差のある２つの撮像画像信号から生成される２つの撮像画像データの一方である第一の撮像画像データに基づく第一の画像、及び、前記２つの撮像画像データの他方である第二の撮像画像データに基づく第二の画像を立体視可能に合成表示し、当該立体視可能に表示される立体映像に仮想物体を重畳表示させて拡張現実感を提供する拡張現実感提供装置における仮想物体の重畳方法であって、
前記第一の撮像画像データ及び前記第二の撮像画像データから顔を検出する顔検出ステップと、
前記第一の撮像画像データ及び前記第二の撮像画像データから共通に検出された顔のデータを用いて前記拡張現実感提供装置を原点とする三次元空間における当該顔の座標を算出する顔座標算出ステップと、
前記第一の撮像画像データ及び前記第二の撮像画像データから前記顔を含む被写体の輪郭を抽出する輪郭抽出ステップと、
前記輪郭抽出ステップにより抽出した輪郭の二次元座標を、前記顔座標算出ステップにより算出した前記顔の座標に基づいて前記三次元空間における座標に変換する座標変換ステップと、
前記三次元空間における前記輪郭の前記拡張現実感提供装置の鉛直線の伸びる方向の端部を含みかつ前記鉛直線に垂直な面を地面と推定する地面推定ステップと、
前記立体映像における前記地面推定ステップによって推定された地面上に、仮想物体を重畳表示させる制御を行う表示制御ステップとを備える仮想物体の重畳方法。
【請求項７】
請求項６記載の仮想物体の重畳方法であって、
前記拡張現実感提供装置の姿勢を検出する姿勢検出ステップを備え、
前記地面推定ステップでは、前記姿勢検出ステップによって検出された前記拡張現実感提供装置の傾きの情報により、前記鉛直線の伸びる方向を判定する仮想物体の重畳方法。
【請求項８】
請求項６又は７記載の仮想物体の重畳方法であって、
前記顔検出ステップによって検出された顔が複数種類ある場合、当該複数種類の顔の中から１つを選択し、選択した顔を含む被写体に対して、前記顔座標算出ステップ、前記輪郭抽出ステップ、前記座標変換ステップ、及び前記地面推定ステップを行って前記地面を推定する仮想物体の重畳方法。
【請求項９】
請求項６又は７記載の仮想物体の重畳方法であって、
前記顔検出ステップによって検出された顔が複数種類ある場合、当該複数種類の顔の中から２つを選択し、選択した２つの顔の各々を含む異なる種類の被写体に対して、前記顔座標算出ステップ、前記輪郭抽出ステップ、前記座標変換ステップ、及び前記地面推定ステップを行って２種類の被写体毎に前記地面を推定し、前記２種類の被写体毎に求めた２つの地面と最も相関性の高い平面を、前記仮想物体を重畳させる最終的な地面として推定し、当該最終的な地面上に前記仮想物体を重畳させる仮想物体の重畳方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２１６０７７（Ｐ２０１２−２１６０７７Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−８０８９７（Ｐ２０１１−８０８９７）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]