画像処理装置及びその制御方法、並びにプログラム
【課題】立体映像に重畳して表示する顔枠を適切に表示可能な画像処理装置及びその制御方法、並びにプログラムを提供する。
【解決手段】立体撮像装置１０は、取得された２つの映像の各々で顔領域を検出し、一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付け、対応付けられた顔領域を表示させるための位置及び大きさを一致させるように顔領域を制御し、一致された位置及び大きさに応じて顔領域を示す顔領域画像を表示させる位置を含む顔領域関連情報を生成し、生成された顔領域関連情報に応じて顔領域画像を生成し、２つの映像、及び顔領域画像を合成して表示手段を出力する。
【解決手段】立体撮像装置１０は、取得された２つの映像の各々で顔領域を検出し、一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付け、対応付けられた顔領域を表示させるための位置及び大きさを一致させるように顔領域を制御し、一致された位置及び大きさに応じて顔領域を示す顔領域画像を表示させる位置を含む顔領域関連情報を生成し、生成された顔領域関連情報に応じて顔領域画像を生成し、２つの映像、及び顔領域画像を合成して表示手段を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法、並びにプログラムに関し、特に、立体映像が表示可能な画像処理装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、映画等が立体（３Ｄ）映像で提供されることが増えてきており、それに伴い家庭用のテレビも立体表示に対応するものが開発されている。また、立体映像を撮影するものとしては、２つの撮像光学系を有するカメラが知られており、民生向けの立体撮影カメラも登場してきている。
【０００３】
さらに、最近のデジタルカメラやビデオカメラでは撮影の際に人物を検出して、カメラの液晶パネルに表示される顔の領域に顔枠を重畳する機能が搭載されている。カメラは、この顔枠内の映像を用いて露出、合焦等の撮影パラメータを制御することにより、人物に最適化された画像を取得できるようになる。
【０００４】
上記の立体撮影カメラでもカメラ本体に立体視が可能な表示部を設けることにより、立体感を確認しながら撮影することが可能になる。その際には、撮影している被写体は立体表示されるので、前記の顔枠についても立体表示しながら人物の顔の領域に重畳することが求められる。
【０００５】
従来、立体画像データの表示に関して、立体画像上の所定位置を指示するためのマウスポインタ、あるいは立体画像と共に表示させる文字情報を重畳する装置が提案されている（例えば、特許文献１参照）。
【０００６】
これは、通常のパーソナルコンピュータに立体画像表示装置を接続し、マウスを用いて、立体画像を編集したり、キーボードで立体画像上に文字を入力するものである。この装置では、立体画像上にマウスポインタ等の指示手段があるときに、指示手段がある位置の立体画像の視差に合わせ指示手段も視差を有するように表示し、立体画像上の指示手段が見易くなるように制御している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−３２６９４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
このような技術背景において、立体撮像カメラにより撮影される左右の映像で顔の検出を行った場合、顔枠のサイズ及び顔の領域に対する顔枠の相対的な位置は、左右でばらつきが生じる。
【０００９】
このことを、具体的に図２２を用いて説明する。図２２では、立体撮像カメラにより撮影される左右の映像１９０１，１９０２に対して顔検出を行い、その結果に従い顔の領域に顔枠１９０３〜１９０８を重畳して表示している。顔の検出は左右の映像で個別に行っているので、顔枠のサイズ及び顔の領域に対する顔枠の相対的な位置は、左右でばらつきが生じている。
【００１０】
その結果、立体視したときに顔枠が２重にボケて見えたり、顔の立体感と顔枠の立体感にずれが生じたり、人物の移動に伴って左右の顔枠がばらばらに追従して移動するなどにより立体画像が見難くなってしまう。
【００１１】
特許文献１に開示された技術は、マウスポインタ等の指示手段の位置に応じて、指示手段の視差を調整するものである。従って、マウスポインタのサイズ等は予め設定された値となるので、左右の画像でばらつきが生じることはない。また左右の画像のポインタの移動は、マウス操作を検出して、検出結果に応じて表示位置と視差を調整することで対応している。
【００１２】
従って、本件の立体撮像カメラのように左右の撮像系で個別に入力される映像から検出した情報を基に、顔枠等のマーカーを適切な位置に立体表示することはできなかった。
【００１３】
本発明の目的は、立体映像に重畳して表示する顔枠を適切に表示可能な画像処理装置及びその制御方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、請求項１の画像処理装置は、表示手段を備えた画像処理装置であって、被写体を撮像した２つの映像を取得する取得手段と、前記取得手段により取得された２つの映像の各々で顔領域を検出する検出手段と、前記検出手段により一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付け、対応付けられた顔領域を前記表示手段に表示させるための位置及び大きさを一致させるように顔領域を制御する顔領域制御手段と、前記顔領域制御手段により一致された位置及び大きさに応じて顔領域を示す顔領域画像を表示させる前記表示手段における位置を含む顔領域関連情報を生成する顔領域関連情報生成手段と、前記顔領域関連情報生成手段により生成された顔領域関連情報に応じて前記顔領域画像を生成する顔領域画像生成手段と、前記２つの映像、及び前記顔領域画像生成手段により生成された顔領域画像を合成して前記表示手段を出力する出力手段とを備えたことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、立体映像に重畳して表示する顔枠を適切に表示可能な画像処理装置及びその制御方法、並びにプログラムを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施の形態に係る立体撮像装置の概略構成を示す図である。
【図２】図１における顔検出部Ｒの概略構成を示す図である。
【図３】図１の立体撮像装置の表示パネルに表示される映像の一例を示す図である。
【図４】被写体像のずれを説明するための図である。
【図５】投影面により得られる左映像と投影面により得られる右映像を示す図である。
【図６】左右の映像切り替えタイミングを示す図である。
【図７】左右の撮像光学系で人物の被写体を撮影している状態を示す概略図である。
【図８】（Ａ）は、２つの被写体像を示す左右映像を示し、（Ｂ）、（Ｃ）は、それぞれ相関値を示している。
【図９】合成された左右の映像と顔枠の概略図である。
【図１０】左右の撮像光学系により被写体を撮影しているときに、被写体が矢印の位置に移動したときの顔枠を模式的に示した図である。
【図１１】被写体の移動に伴い被写体像と顔枠が移動した状態を示す概略図である。
【図１２】顔領域の検出から表示までの経過を示すタイミングチャートである。
【図１３】図１におけるＭＰＵにより実行される顔枠描画処理の手順を示すフローチャートである。
【図１４】被写体に対して、点線の元の顔枠の位置より顔枠が手前に立体視されるように、視差を補正した例を示す図である。
【図１５】顔領域画像の一例を示す図であり、（Ａ）は矢印状のＧＵＩを用いた例を示し、（Ｂ）は一部が欠けた矩形のＧＵＩを用いた例を示し、（Ｃ）は記号Ａ，Ｂを用いた例を示している。
【図１６】本発明の第２の実施の形態に係る立体撮像装置の概略構成を示す図である。
【図１７】図１６における防振処理部の概略構成図である。
【図１８】（Ａ）は、顔検出部Ｒ、顔検出部Ｌにより検出された被写体像の顔領域の模式図であり、（Ｂ）、（Ｃ）は、それぞれ相関値を示している。
【図１９】表示パネルに出力される左右の映像と顔枠の模式図である。
【図２０】被写体の移動に伴って顔枠を移動する様子を模式的に示したものである。
【図２１】（Ａ）は、顔枠の移動量とアニメーションに要する移動時間を示す図であり、（Ｂ）は移動量を補完するグラフを示す図である。
【図２２】顔枠の相対的な位置のばらつきを説明するための図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【００１８】
なお、本実施の形態では、本発明に係る画像処理装置を立体撮像装置に適用した例について説明する。
【００１９】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る立体撮像装置１０の概略構成を示す図である。
【００２０】
図１において、光学系Ｒ１０１及び光学系Ｌ１０４はレンズ等であり、例えばズームレンズ等を用いることができる。撮像部Ｒ１０２及び撮像部Ｌ１０５は、光学系Ｒ１０１、及び光学系Ｌ１０４を透過した光を撮像するためのＣＭＯＳセンサやＣＣＤセンサなどの撮像素子、ＡＤ変換器等から構成される。信号処理部Ｒ１０３及び信号処理部Ｌ１０６は、撮像部Ｒ１０２、及び撮像部Ｌ１０５の各々から出力された信号の変換等の処理を行う。メモリ１０７は、映像データ、符号化データ、制御データ等を保持する。以下の説明において、光学系Ｒ１０１、撮像部Ｒ１０２、及び信号処理部Ｒ１０３を撮像光学系１３０と表現することがある。同様に、光学系Ｌ１０４、撮像部Ｌ１０５、及び信号処理部Ｌ１０６を撮像光学系１３１と表現することがある。これら撮像光学系１３０及び撮像光学系１３１が被写体を撮像した２つの映像を取得する取得手段に対応する。
【００２１】
顔検出部Ｒ１０８及び顔検出部Ｌ１０９は、撮像光学系１３０及び撮像光学系１３１により取得された２つの映像の各々で顔領域を検出する検出手段に対応する。
【００２２】
視差情報検出部１１０は、顔検出部Ｒ１０８及び顔検出部Ｌ１０９から取得した顔の領域の情報を基に視差情報を検出することで２つの映像から検出された顔領域を対応付ける。すなわち、視差情報検出部１１０は、顔検出部Ｒ１０８及び顔検出部Ｌ１０９により一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付ける。そして対応付けられた顔領域を表示パネル１１４に表示させるための位置及び大きさを一致させるように顔領域を制御する顔領域制御手段に対応する。
【００２３】
顔枠制御部１１１は、顔検出部Ｒ１０８及び顔検出部Ｌ１０９からの顔領域の情報と、視差情報検出部１１０で検出される視差情報を基に、顔枠の表示位置、サイズ及び顔枠移動の制御を行う。すなわち、顔枠制御部１１１は、視差情報検出部１１０により一致された位置及び大きさに応じて顔領域を示す顔領域画像を表示させる表示パネル１１４における位置を含む顔領域関連情報を生成する顔領域関連情報生成手段に対応する。
【００２４】
グラフィック処理部１１２は、撮影画像に重畳するアイコン、文字等のＧＵＩ部品を生成し、さらに顔枠制御部１１１からの情報に基づいて顔枠のＧＵＩ部品を生成し、メモリ１０７の所定の領域に描画する。すなわち、グラフィック処理部１１２は、顔領域関連情報に応じて顔領域画像（例えばアイコン、文字等のＧＵＩ部品）を生成する顔領域画像生成手段に対応する。
【００２５】
ビデオ信号処理部１１３は、光学系Ｒ１０１及び光学系Ｌ１０４を介して得られる撮影中の映像データ及びグラフィック処理部１１２が描画したＧＵＩ部品を合成して表示パネル１１４に出力する。すなわち、ビデオ信号処理部１１３は、２つの映像、及び顔領域画像を合成して表示パネル１１４を出力する出力手段に対応する。
【００２６】
表示パネル１１４（表示手段）は、ビデオ信号処理部１１３で合成された映像信号を表示する。表示パネル１１４として、液晶パネル、有機ＥＬパネル等を用いることができる。立体映像の表示については、後で説明する。
【００２７】
符号化処理部１１５は、メモリ１０７に保持されている左右の映像データを圧縮符号化してメモリ１０７に保持する。また再生の際には、記録媒体から読み出されてメモリ１０７に保持されている圧縮符号化されたデータを復号化してメモリ１０７に保持する。
【００２８】
記録再生処理部１１６は、メモリ１０７に保持されている符号化データの記録媒体１１７への書込み処理を行う。また、記録媒体１１７に記録されているデータの読み出し処理を行う。
【００２９】
記録媒体１１７は、フラッシュメモリやＳＤカード等の半導体メモリ、あるいはＤＶＤやＢＤ等の光ディスク、またハードディスク等を用いることができる。
【００３０】
操作部１１８は、ボタン、スイッチ等の部材の操作状態の検出を行う。また表示パネル１１４の上にタッチパネルを貼りあわせるような構成では、タッチパネルに対する指あるいはペンでのタッチ操作、また動き等を検出する。
【００３１】
ＭＰＵ（マイクロプロセッサ）１１９は、不図示の制御バスを介して各処理ブロックを制御することが可能で、また各種演算処理等を行い、装置全体の制御を行う。
【００３２】
外部接続ＩＦ１２１は、ここでは立体表示のための液晶シャッタメガネ１２０に同期信号等を出力する。
【００３３】
液晶シャッタメガネ１２０は、撮影時あるいは再生時に立体映像を見るために所定の同期信号に従って左右のメガネの液晶シャッタを交互に開閉することができる。
【００３４】
図２は、図１における顔検出部Ｒ１０８の概略構成を示す図である。
【００３５】
撮影された映像は、一旦メモリ１０７に保持されている。そして、顔検出部Ｒ１０８における特徴点抽出部２０２は、右側の撮影映像を入力して特徴点を検出する。特徴点としては、映像のエッジ情報、色情報、輪郭情報等を用いることができる。
【００３６】
抽出された特徴データは、顔領域判定部２０３に与えられて所定の処理により顔領域が判定される。顔領域の判定方法は、種々の公知技術を用いることができる。例えば、エッジ情報から、目、鼻および口といった顔の構成要素であると認められる領域をそれぞれ抽出し、それらの領域の相対位置が所定の関係を満たしている場合に、それらの構成要素の領域を含むより広い領域を、顔領域と判定する方法が考えられる。また、肌色として抽出された領域の形状やサイズが、人物として適当な範囲に収まっている場合に、その肌色の領域を顔領域と判定する方法が考えられる。
【００３７】
顔の位置、サイズ生成部２０４は、顔領域判定部２０３から出力されるデータから、顔領域の中心位置と縦横のサイズが生成される。生成されたデータは視差情報検出部１１０に出力される。
【００３８】
尚、顔検出部Ｌ１０９は、左側の撮影映像を用いること以外は同様の処理であるので、説明は省略する。
【００３９】
図３は、図１の立体撮像装置１０の表示パネル１１４に表示される映像の一例を示す図である。
【００４０】
図３において、立体撮像装置１０に液晶シャッタメガネ１２０がケーブルで接続している。表示パネル１１４は液晶パネルで構成されており、撮影中の映像が表示されている。
【００４１】
立体撮影中の映像は、液晶シャッタを装着しないで見ると、左右の撮像光学系により得られる被写体像１５０，１５１が２重にずれて表示されている。
【００４２】
図４は、被写体像のずれを説明するための図である。
【００４３】
図４において、左右の撮像光学系１３０及び１３１により、被写体１３２を撮影したときに、投影面１３３，１３４に投影される被写体像の位置が異なることにより生じるものである。
【００４４】
図５は、投影面１３３により得られる左映像と投影面１３４により得られる右映像を示す図である。
【００４５】
図５において、被写体像１３５，１３６は被写体１３２の映像である。図５に示されるように、表示される位置が異なっている。表示パネル１１４で、この２つの映像を垂直同期信号に従って交互に表示して、液晶シャッタメガネを通さないで観察すると図３のように２重に見える。
【００４６】
ここで、図５に示すように左右の映像における被写体像の水平方向の位置のずれを視差と呼ぶ。視差は撮像光学系から被写体までの距離に応じて変動する。
【００４７】
図６は、左右の映像切り替えタイミングを示す図である。
【００４８】
図６に示されるように、立体表示する際には、撮影した左右の映像を左１−右１−左２−右２というように交互に切り換えながら表示する。この処理は図１のビデオ信号処理部１１３で行う。この表示の切り換えは垂直同期信号に従って行う。また、映像信号を切り換えるのと同時に外部接続ＩＦ１２１を介して同期信号を出力する。
【００４９】
液晶シャッタメガネ１２０は、この同期信号に従って図６に示すように左シャッタ及び右シャッタの開閉を行う。これにより、左１の映像を表示中は左シャッタのみが開くので、左眼にのみ映像が投影される。また右１の映像の表示中は、右シャッタのみが開き、右眼にのみ映像が投影される。これを交互に繰り返すことにより、撮影者は撮影している映像を立体視することができる。
【００５０】
図７は、左右の撮像光学系で人物の被写体３００，３０１を撮影している状態を示す概略図である。
【００５１】
図８（Ａ）は、２つの被写体像を示す左右映像を示し、（Ｂ）、（Ｃ）は、それぞれ相関値を示している。
【００５２】
図７に示されるように、被写体３００，３０１を撮影した左右の映像は、図８（Ａ）に示すような左映像と右映像のようになる。顔検出部Ｒ１０８、及び顔検出部Ｌ１０９で検出された被写体像３０２，３０３，３０６，３０７に対する顔領域は、各々顔領域３０４，３０５，３０８，３０９で示す矩形領域となっている。
【００５３】
視差情報検出部１１０では、顔検出部Ｒ１０８及び顔検出部Ｌ１０９より得られる顔領域の情報と撮影画像データを用いて、左右の顔領域の間の対応付けと視差の検出を行う。
【００５４】
まず、左映像で検出された顔領域３０４，３０５の情報を用いて、参照画像をメモリ１０７に保持されている撮影映像より取得する。図８（Ｂ）の参照画像３１０は、顔領域３０４を用いて取得した参照画像である。図８（Ｃ）の参照画像３１１は、顔領域３０５を用いて取得した参照画像である。
【００５５】
参照画像３１０に対応する顔領域を、図８（Ａ）の右映像から検出するために、サーチ領域を設定する。ここでは、顔領域３０４の矩形領域の垂直方向の中心と一致する走査線３２０に沿ってサーチ処理を行う。そこで、参照画像３１０の垂直方向の中心を、右映像の走査線３２０に沿って水平方向に移動しながら、所定のサンプル点で参照画像３１０と右映像の相関値を求める。相関値の演算は、公知の技術を用いる。例えば、顔領域３０４の映像を右映像に重ね、顔領域３０４の各画素に対して、顔領域３０４の画素の値とこれと重畳する位置にある右映像の画素の値との差分を求め、各画素の差分の総和を求めることを、顔領域３０４を走査線３２０に沿って移動させるたびに行う。差分を求める２つの画像が類似するほど、この差分は小さくなるので、この差分の総和の逆数を相関値とすればよい。
【００５６】
図８（Ｂ）は、参照画像３１０と右映像の相関値を示したものである。図８（Ｂ）において相関値が大きいほど一致度が高いことを示す。従って、参照画像３１０はピーク位置３１２のときに最も一致度が高く、図８（Ａ）の顔領域３０８が顔領域３０４と対応付けされる。
【００５７】
同様に、顔領域３０５から得られる参照画像３１１を用いて走査線３２１に沿ってサーチ処理した相関値が図８（Ｃ）である。こちらはピーク位置３１３で相関値がピークとなっており、顔領域３０５は顔領域３０９と対応付けされることになる。
【００５８】
なお、対応付けされる顔領域の信頼性を評価するために、ピーク位置での相関値に対して図８（Ｂ）及び図８（Ｃ）に示すしきい値３５０を設定する。そしてピーク値が設定したしきい値以上の場合のみ対応付けを行い、ピーク値がしきい値より小さい場合は対応付けを行わない。対応付けされなかった顔領域は、顔枠を重畳しないので、以降の処理は行わないものとする。これにより、例えば片方の映像にのみ写っている被写体の顔には顔枠が重畳されなくなる。このように、グラフィック処理部１１２は、最も高い相関値が予め定められたしきい値より小さい場合は、顔領域画像を生成しないようになっている。
【００５９】
上記の図８（Ｂ）及び図８（Ｃ）では、右映像の所定の走査線に沿って、水平方向に１ライン分の相関値を求める処理を実行しているが、時間短縮のために右映像で検出された顔領域３０８及び３０９の近傍でのみ相関値を求めるようにしてもよい。
【００６０】
また、ここでは参照画像を左映像の顔領域の情報から生成しているが、右映像から参照画像を生成してもかまわない。以上の一連の処理により、顔領域の間の対応付けができる。
【００６１】
顔枠を重畳するための視差は、対応付けされた顔領域の情報から調整する。ここでは、相関値のピークを与える位置を用いて顔枠の視差を設定する。
【００６２】
即ち、左映像では、顔領域３０４，３０５の水平及び垂直の各中心位置を顔枠の中心として設定する。右映像の顔領域３０８の顔枠は、図８（Ｂ）のピーク位置３１２を水平方向の中心とし、走査線３２０を垂直方向の中心として設定する。顔領域３０９は、ピーク位置３１３を水平方向の中心に、走査線３２１を垂直方向の中心とする。
【００６３】
このように、視差情報検出部１１０は、一方の映像において検出された顔領域を示す画像を参照画像とする。そして他方の映像において参照画像との相関値が最も高い領域を用いて一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付けるようになっている。
【００６４】
また、顔枠のサイズは対応する顔領域のサイズを比較して大きい方に合わせて設定する。従って、図８（Ａ）の顔領域３０４と顔領域３０８では、サイズが大きい顔領域３０８のサイズを顔枠のサイズとして設定する。また顔領域３０５と顔領域３０９では、顔領域３０５のサイズを顔枠のサイズとして設定する。
【００６５】
顔領域のサイズを比較する際には、各顔領域の幅と高さを乗算して面積を求め、面積の大きい方の顔領域の幅及び高さを顔枠のサイズとして選択するものとする。
【００６６】
なお、ここでは面積で比較しているが、その他に幅と高さを各々比較して、最も大きい値を有する顔領域の幅及び高さを選択するものとする。このように、視差情報検出部１１０は、大きさを、対応付けられた顔領域のうち、面積が大きい方の大きさに一致させるようになっている。
【００６７】
視差情報検出部１１０は、上記の処理により生成される対応する顔領域の組み合わせ、各顔領域に設定する顔枠の位置とサイズに関する情報（顔領域関連情報）を生成し、顔枠制御部１１１に出力する。
【００６８】
顔枠制御部１１１は、顔枠を描画する座標、顔枠の色、顔枠の形状に関する情報を所定のタイミングでグラフィック処理部１１２に出力する。グラフィック処理部１１２は、取得した情報を基に顔枠のＧＵＩ部品を生成して、メモリ１０７の所定の領域にＯＳＤ（オンスクリーンディスプレイ）フレームとして描画する。
【００６９】
ビデオ信号処理部１１３は、前記で描画された顔枠を含む左右のＯＳＤフレームと左右の映像をメモリから読み出して合成し、表示パネル１１４に出力する。
【００７０】
図９は、合成された左右の映像と顔枠の概略図である。
【００７１】
被写体像３０２，３０３，３０６，３０７に対して、顔枠３３０，３３１，３３２，３３３が重畳されている。対応する顔領域の顔枠は、前述の処理により視差が調整され、同じサイズで描画されている。
【００７２】
図１０は、左右の撮像光学系により被写体５０１を撮影しているときに、被写体が矢印の位置に移動したときの顔枠を模式的に示した図である。
【００７３】
図１０において、顔枠５０２，５０３は、顔枠の視差から仮想的に被写体空間に配置したもので、被写体の移動に伴い顔枠の視差を調整することにより、顔枠と被写体の立体感を合わせることができる。
【００７４】
図１１は、被写体の移動に伴い被写体像と顔枠が移動した状態を示す概略図である。
【００７５】
被写体が移動することにより、左映像上の被写体像５０７が被写体像５０６の位置に移動し、それに伴い顔枠も５０５から５０４に移動する。同様に右映像でも顔枠が５０９から５０８に移動している。
【００７６】
図１２は、顔領域の検出から表示までの経過を示すタイミングチャートである。
【００７７】
図１３は、図１におけるＭＰＵ１１９により実行される顔枠描画処理の手順を示すフローチャートである。
【００７８】
図１２、図１３を用いて、移動に伴う顔枠の更新のタイミングについて説明する。まず、図１２において、点線で示されるＴ１からＴ１１は垂直同期信号のタイミングを示している。また、図１２において、「顔検出Ｌ」、「顔検出Ｒ」は、顔検出部Ｌ１０９、顔検出部Ｒ１０８の状態を示している。「視差検出・顔枠制御」は、視差情報検出部１１０及び顔枠制御部１１１の制御内容を示している。「グラフィック処理」は、グラフィック処理部１１２の制御内容を示している。「ビデオ信号処理」は、ビデオ信号処理部１１３の制御内容を示している。
【００７９】
図１２において、顔検出部Ｌ１０９及び顔検出部Ｒ１０８では、任意の時刻から顔検出が動作しているが、ここでは、一例として時刻Ｔ１から左右の顔検出が動作するものとする。従って、図１３において、顔検出部Ｌ１０９及び顔検出部Ｒ１０８の処理を動作させ、顔領域の更新を行い（ステップＳ７０１）、更新処理の完了を待つ（ステップＳ７０２）。但し、左右の映像は同一ではないので、顔検出に要する時間は必ずしも同じとはならない。図１２において、顔検出Ｌは、Ｔ３とＴ４の間の時刻で処理が完了し、続いて顔領域の情報が設定される。一方、顔検出ＲはＴ２とＴ３の間で顔検出が完了し、続いて顔領域の設定が行われる。
【００８０】
上記Ｓ７０２では、顔領域が更新されたか否かを検出するが、図１２の時刻Ｔ４１の時点で左右の顔検出の結果が出揃ったことで、更新されたと判別される。次いで、視差情報検出部は左右の顔領域の中心座標とサイズを取得する（ステップＳ７０３）。
【００８１】
そして、左映像の顔領域を基準として参照画像を生成し、視差を検出する（ステップＳ７０４）。次いで視差検出の完了待ちとなる（ステップＳ７０５）。図１２において、時刻Ｔ６１で視差検出が完了すると視差検出が完了したと判別され、Ｓ７０６に移行する。
【００８２】
顔枠制御部１１１では視差情報を基に、左右の顔枠情報の調整を行う（ステップＳ７０６）。そして、図１２において、時刻Ｔ８１で顔枠の情報をグラフィック処理部に設定して、左右の顔枠の描画を実行し（ステップＳ７０７）、描画完了待ちとなる（ステップＳ７０８）。
【００８３】
描画が完了すると（ステップＳ７０８でＹＥＳ）、図１２に示されるように、Ｔ９１でビデオ信号処理部は描画したデータを読み出し、表示パネル１１４に対応した出力の設定を行う（ステップＳ７０９）。そしてＴ１０のタイミングで表示パネルの顔枠が更新され表示され、これまでの表示１の画面から、顔枠の移動した表示２の画面に更新される。上記の一連の処理を繰り返すことにより、顔枠の移動が行われる。
【００８４】
また、図１２に示すように、左右の顔枠の移動は、同じ垂直同期信号のタイミングで実行されるので、左右の顔枠が個別に移動しない構成となっている。
【００８５】
図１４は、被写体４００，４０１に対して、点線の元の顔枠の位置より顔枠４０４，４０５が手前に立体視されるように、視差を補正した例を示す図である。
【００８６】
図１４に示されるように、立体視したときに顔枠４０４，４０５が見易いように、被写体４００，４０１よりも顔枠が手前に立体視されるように顔枠の視差に対するオフセット調整をするようにしてもよい。このように、顔領域画像は、表示パネル１１４において、顔領域画像に対応する顔を示す画像よりも手前に表示されるようにしてもよい。
【００８７】
これにより、被写体の顔が額縁の中にあるように立体視されるので、検出の誤差等により顔枠より顔が手前に飛び出すような違和感を防止することができる。
【００８８】
また、本実施の形態では顔領域を矩形の枠で囲んでいるが、その他のＧＵＩで顔領域を示すこともできる。
【００８９】
図１５は、顔領域画像の一例を示す図であり、（Ａ）は矢印状のＧＵＩを用いた例を示し、（Ｂ）は一部が欠けた矩形のＧＵＩを用いた例を示し、（Ｃ）は記号Ａ，Ｂを用いた例を示している。
【００９０】
図１５において、（Ａ）は、対応する人物の顔ごとに矢印の色を変えて区別できるような表示となっている。図１５（Ｃ）では、例えば、人物の認識処理機能が追加された装置では、記号Ａに替えて登録されている人物の名前等を用いることも可能である。顔領域を示す表示方法は、顔領域が識別できるものであれば、他の形態でも構わない。このように、グラフィック処理部１１２は、対応付けられた顔領域を示す顔領域画像を対応付けられた顔領域ごとに同一の顔領域画像として生成するようにしてもよい。
【００９１】
［第２の実施の形態］
図１６は、本発明の第２の実施の形態に係る立体撮像装置２０の概略構成を示す図である。
【００９２】
第１の実施の形態における立体撮像装置１０との違いは、左右の顔領域の対応付けと顔枠の視差の検出を行う視差情報検出部１８０、及び顔枠の制御を行う顔枠制御部１８１にある。さらに、立体撮影時の振動に対応するための防振処理部１８２を有する装置となっている。
【００９３】
図１７は、図１６における防振処理部１８２の概略構成図である。
【００９４】
図１７において、動き検出部２４０は、撮影映像を１フレーム単位のフレーム画像としてメモリ１０７から入力される。動き検出部２４０では、動きベクトルは連続するフレーム間で検出し、水平及び垂直方向の動き量を生成する。動きベクトルの検出方式は、公知の技術を用いて対応するものとする。
【００９５】
切り出し位置生成部２４１は、動き検出部２４０で検出した動き量に従って元の画像フレームの所定領域を切り出すための情報を生成する。例えば切り出しする始点の座標と幅及び高さの情報などが生成される。映像切り出し部２４２は、切り出し位置生成部２４１で生成した切り出し位置の情報を用いて、メモリ１０７の画像フレームから所定の領域を切り出してメモリ１０７に保持する。
【００９６】
なお、ここでは、メモリに保持されている映像を電子的に切り出して防振処理しているが、レンズシフト等により光学系で防振のための補正をすることも可能であることは言うまでもない。このように、被写体を撮像した２つの映像は、振動による揺れが除去された映像である。
【００９７】
本実施の形態における立体撮像装置２０では、防振処理の動作を操作部１１８のボタン、スイッチ等により有効／無効の設定が可能な構成となっている。そして防振が有効に設定されている場合には、撮影した左右の映像に対して上記の防振処理が施された後に、顔検出以降の顔枠表示のための処理が施される。
【００９８】
図１８（Ａ）は、顔検出部Ｒ１０８、顔検出部Ｌ１０９により検出された被写体像８０３，８０５の顔領域の模式図であり、（Ｂ）、（Ｃ）は、それぞれ相関値を示している。
【００９９】
図１８（Ａ）において、左映像での顔検出結果から得られる顔領域８０２が被写体像８０３からずれた状態となっている。
【０１００】
図１８（Ｂ）は、左映像の顔領域８０２から生成した参照画像８０６を用いて、走査線８０１に沿って右画像との相関演算を行った結果である。ピーク位置８０７で相関のピーク値８０８が得られているが、顔領域の検出誤差の影響で被写体の顔の一部が欠けた参照画像となっている。このため、ピーク位置８０７は、右映像の被写体像８０５の中心から、やや左側にずれた位置となり、これを元に顔枠を設定すると被写体像８０５からずれた位置に描画される。これは、左映像の顔領域を基準に対応付けと視差の調整を行うためである。
【０１０１】
そこで、第２の実施の形態では、図１８（Ｃ）に示すように、右映像の顔領域８０４を元にした参照画像８０９を用いて、左映像との相関を求める。この結果、ピーク位置８１０で相関のピーク値８１１が検出される。
【０１０２】
このように検出される２つのピーク値８０８，８１１を比較して、より相関値の高いピーク値を与える参照画像の方を選択する。ここでは、ピーク値８１１の相関値の方が高いので、参照画像８０９の元になった顔領域８０４を基準として顔枠の設定を行う。
【０１０３】
この結果、視差情報検出部１８０では顔領域８０４の水平・垂直の中心が被写体像８０５の顔枠の中心として設定される。また顔枠のサイズは、対応する左右の顔領域８０２，８０４のうちの大きい方が設定される。左映像では、被写体像８０５に対応する被写体像８０３に対して、顔枠の水平方向の中心をピーク位置８１０、垂直方向の中心を走査線８０１の垂直方向の座標として設定する。
【０１０４】
このように、視差情報検出部１８０は、一方の映像において検出された顔領域を示す画像を第１参照画像（参照画像８０９）とする。そして、他方の映像において第１参照画像との相関値が最も高い領域を探し、さらに他方の映像において検出された顔領域を示す画像を第２参照画像（参照画像８０６）とする。一方の映像において第２参照画像との相関値が最も高い領域を探す。そして、第１参照画像、及び第２参照画像において探した結果、最も高い相関値が得られた領域を用いて、一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付けるようになっている。
【０１０５】
図１９は、表示パネル１１４に出力される左右の映像と顔枠の模式図である。
【０１０６】
図１８で説明したようにすることで、左右の被写体像８０３，８０５に対して顔枠８２０，８２１が適切な位置とサイズで重畳されていることが示されている。
【０１０７】
図２０は、被写体の移動に伴って顔枠９０２を顔枠９０１へ移動し、顔枠９０４を顔枠９０３へ移動する様子を模式的に示したものである。
【０１０８】
この図２０を用いて顔枠制御部１１１の動作について説明する。
【０１０９】
図２０において、左映像における顔枠の移動量は移動量Ａであり、右映像における顔枠の移動量は移動量Ｂである。
【０１１０】
図２０に示すように左右の顔枠の移動量は、被写体の位置や距離によって変動する。移動量が大きいと、顔枠がちらついたように描画され立体視の際に見難くなる。そこで、本実施の形態では左右の顔枠を移動する際に、顔枠の移動量に応じて所定の時間間隔でアニメーション描画することでスムーズな顔枠移動を実現する。
【０１１１】
図２１（Ａ）は、顔枠の移動量とアニメーションに要する移動時間を示す図であり、（Ｂ）は移動量を補完するグラフを示す図である。
【０１１２】
顔枠制御部１１１では、現在の顔枠の座標と次に更新する顔枠の座標から移動量Ａ及び移動量Ｂを算出する。そして移動量Ａ及び移動量Ｂを比較し、移動量の大きい方を参照して、図２１（Ａ）の表により移動時間を設定する。
【０１１３】
例えば、移動量Ａが２０で移動量Ｂが１０の場合、移動量Ａを基に、図２１（Ａ）の表から移動時間５Ｔを選択する。ここでＴは更新周期であり、表示パネルの垂直同期信号の間隔等を用いることができる。
【０１１４】
これにより、左右の顔枠の移動を５Ｔの間隔でアニメーション移動するように顔枠制御部１１１が制御する。ここでは、図２１（Ｂ）に示すように左右の顔枠の更新周期Ｔ毎の移動量を補間して設定するように制御する。
【０１１５】
顔枠９０４は、５Ｔで移動量ＢとなるラインＢを生成し、ラインＢを用いて各Ｔ毎の移動量を補間する。また顔枠９０２は、５Ｔで移動量ＡとなるラインＡを生成し、ラインＡを用いて各Ｔ毎の移動量を補間する。
【０１１６】
顔枠制御部１１１は、左右の顔枠９０４，９０２に対して設定したＴ毎の移動量を用いて、顔枠の中心座標を更新しながらグラフィック処理部に出力する。
【０１１７】
そして、グラフィック処理部１１２は、左右の顔枠の中心座標とサイズを基に顔枠をメモリ１０７のＯＳＤフレームに描画する。
【０１１８】
なお、ここでは垂直同期信号を更新周期として用いているが、所定の時間周期で動作するカウンタ等を用いてもよい。例えば、所定周期の発振器やソフトウェアで構成したタイマー等から更新周期を生成することも可能である。また、更新周期の精度はアニメーションとして滑らかに知覚できる範囲であれば変動しても構わない。
【０１１９】
以上の処理により、対応する左右の顔枠は同期しながら滑らかにアニメーション移動するので、立体視の際に見易い表示画面を提供することができる。
【０１２０】
このように、顔枠制御部１８１は、予め定められたタイミング（垂直同期信号）で顔領域の位置を更新するとともに、検出された顔領域の移動量を算出可能である。算出された移動量に応じて、移動前の位置から移動後の位置までに顔領域画像を表示する位置を補完し、タイミングで補完した位置に顔領域の位置を更新するようになっている。
【０１２１】
（他の実施の形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【０１２２】
１０，２０ 画像処理装置
１０１ 光学系Ｒ
１０２ 撮像部Ｒ
１０３ 信号処理部Ｒ
１０４ 光学系Ｌ
１０５ 撮像部Ｌ
１０６ 信号処理部Ｌ
１０７ メモリ
１０８ 顔検出部Ｒ
１０９ 顔検出部Ｌ
１１０，１８０ 視差情報検出部
１１１，１８１ 顔枠制御部
１１２ グラフィック処理部
１１３ ビデオ信号処理部
１１４ 表示パネル
１１８ 操作部
１１９ ＭＰＵ
１３０，１３１ 撮像光学系
１８２ 防振処理部
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法、並びにプログラムに関し、特に、立体映像が表示可能な画像処理装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、映画等が立体（３Ｄ）映像で提供されることが増えてきており、それに伴い家庭用のテレビも立体表示に対応するものが開発されている。また、立体映像を撮影するものとしては、２つの撮像光学系を有するカメラが知られており、民生向けの立体撮影カメラも登場してきている。
【０００３】
さらに、最近のデジタルカメラやビデオカメラでは撮影の際に人物を検出して、カメラの液晶パネルに表示される顔の領域に顔枠を重畳する機能が搭載されている。カメラは、この顔枠内の映像を用いて露出、合焦等の撮影パラメータを制御することにより、人物に最適化された画像を取得できるようになる。
【０００４】
上記の立体撮影カメラでもカメラ本体に立体視が可能な表示部を設けることにより、立体感を確認しながら撮影することが可能になる。その際には、撮影している被写体は立体表示されるので、前記の顔枠についても立体表示しながら人物の顔の領域に重畳することが求められる。
【０００５】
従来、立体画像データの表示に関して、立体画像上の所定位置を指示するためのマウスポインタ、あるいは立体画像と共に表示させる文字情報を重畳する装置が提案されている（例えば、特許文献１参照）。
【０００６】
これは、通常のパーソナルコンピュータに立体画像表示装置を接続し、マウスを用いて、立体画像を編集したり、キーボードで立体画像上に文字を入力するものである。この装置では、立体画像上にマウスポインタ等の指示手段があるときに、指示手段がある位置の立体画像の視差に合わせ指示手段も視差を有するように表示し、立体画像上の指示手段が見易くなるように制御している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−３２６９４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
このような技術背景において、立体撮像カメラにより撮影される左右の映像で顔の検出を行った場合、顔枠のサイズ及び顔の領域に対する顔枠の相対的な位置は、左右でばらつきが生じる。
【０００９】
このことを、具体的に図２２を用いて説明する。図２２では、立体撮像カメラにより撮影される左右の映像１９０１，１９０２に対して顔検出を行い、その結果に従い顔の領域に顔枠１９０３〜１９０８を重畳して表示している。顔の検出は左右の映像で個別に行っているので、顔枠のサイズ及び顔の領域に対する顔枠の相対的な位置は、左右でばらつきが生じている。
【００１０】
その結果、立体視したときに顔枠が２重にボケて見えたり、顔の立体感と顔枠の立体感にずれが生じたり、人物の移動に伴って左右の顔枠がばらばらに追従して移動するなどにより立体画像が見難くなってしまう。
【００１１】
特許文献１に開示された技術は、マウスポインタ等の指示手段の位置に応じて、指示手段の視差を調整するものである。従って、マウスポインタのサイズ等は予め設定された値となるので、左右の画像でばらつきが生じることはない。また左右の画像のポインタの移動は、マウス操作を検出して、検出結果に応じて表示位置と視差を調整することで対応している。
【００１２】
従って、本件の立体撮像カメラのように左右の撮像系で個別に入力される映像から検出した情報を基に、顔枠等のマーカーを適切な位置に立体表示することはできなかった。
【００１３】
本発明の目的は、立体映像に重畳して表示する顔枠を適切に表示可能な画像処理装置及びその制御方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、請求項１の画像処理装置は、表示手段を備えた画像処理装置であって、被写体を撮像した２つの映像を取得する取得手段と、前記取得手段により取得された２つの映像の各々で顔領域を検出する検出手段と、前記検出手段により一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付け、対応付けられた顔領域を前記表示手段に表示させるための位置及び大きさを一致させるように顔領域を制御する顔領域制御手段と、前記顔領域制御手段により一致された位置及び大きさに応じて顔領域を示す顔領域画像を表示させる前記表示手段における位置を含む顔領域関連情報を生成する顔領域関連情報生成手段と、前記顔領域関連情報生成手段により生成された顔領域関連情報に応じて前記顔領域画像を生成する顔領域画像生成手段と、前記２つの映像、及び前記顔領域画像生成手段により生成された顔領域画像を合成して前記表示手段を出力する出力手段とを備えたことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、立体映像に重畳して表示する顔枠を適切に表示可能な画像処理装置及びその制御方法、並びにプログラムを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施の形態に係る立体撮像装置の概略構成を示す図である。
【図２】図１における顔検出部Ｒの概略構成を示す図である。
【図３】図１の立体撮像装置の表示パネルに表示される映像の一例を示す図である。
【図４】被写体像のずれを説明するための図である。
【図５】投影面により得られる左映像と投影面により得られる右映像を示す図である。
【図６】左右の映像切り替えタイミングを示す図である。
【図７】左右の撮像光学系で人物の被写体を撮影している状態を示す概略図である。
【図８】（Ａ）は、２つの被写体像を示す左右映像を示し、（Ｂ）、（Ｃ）は、それぞれ相関値を示している。
【図９】合成された左右の映像と顔枠の概略図である。
【図１０】左右の撮像光学系により被写体を撮影しているときに、被写体が矢印の位置に移動したときの顔枠を模式的に示した図である。
【図１１】被写体の移動に伴い被写体像と顔枠が移動した状態を示す概略図である。
【図１２】顔領域の検出から表示までの経過を示すタイミングチャートである。
【図１３】図１におけるＭＰＵにより実行される顔枠描画処理の手順を示すフローチャートである。
【図１４】被写体に対して、点線の元の顔枠の位置より顔枠が手前に立体視されるように、視差を補正した例を示す図である。
【図１５】顔領域画像の一例を示す図であり、（Ａ）は矢印状のＧＵＩを用いた例を示し、（Ｂ）は一部が欠けた矩形のＧＵＩを用いた例を示し、（Ｃ）は記号Ａ，Ｂを用いた例を示している。
【図１６】本発明の第２の実施の形態に係る立体撮像装置の概略構成を示す図である。
【図１７】図１６における防振処理部の概略構成図である。
【図１８】（Ａ）は、顔検出部Ｒ、顔検出部Ｌにより検出された被写体像の顔領域の模式図であり、（Ｂ）、（Ｃ）は、それぞれ相関値を示している。
【図１９】表示パネルに出力される左右の映像と顔枠の模式図である。
【図２０】被写体の移動に伴って顔枠を移動する様子を模式的に示したものである。
【図２１】（Ａ）は、顔枠の移動量とアニメーションに要する移動時間を示す図であり、（Ｂ）は移動量を補完するグラフを示す図である。
【図２２】顔枠の相対的な位置のばらつきを説明するための図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【００１８】
なお、本実施の形態では、本発明に係る画像処理装置を立体撮像装置に適用した例について説明する。
【００１９】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る立体撮像装置１０の概略構成を示す図である。
【００２０】
図１において、光学系Ｒ１０１及び光学系Ｌ１０４はレンズ等であり、例えばズームレンズ等を用いることができる。撮像部Ｒ１０２及び撮像部Ｌ１０５は、光学系Ｒ１０１、及び光学系Ｌ１０４を透過した光を撮像するためのＣＭＯＳセンサやＣＣＤセンサなどの撮像素子、ＡＤ変換器等から構成される。信号処理部Ｒ１０３及び信号処理部Ｌ１０６は、撮像部Ｒ１０２、及び撮像部Ｌ１０５の各々から出力された信号の変換等の処理を行う。メモリ１０７は、映像データ、符号化データ、制御データ等を保持する。以下の説明において、光学系Ｒ１０１、撮像部Ｒ１０２、及び信号処理部Ｒ１０３を撮像光学系１３０と表現することがある。同様に、光学系Ｌ１０４、撮像部Ｌ１０５、及び信号処理部Ｌ１０６を撮像光学系１３１と表現することがある。これら撮像光学系１３０及び撮像光学系１３１が被写体を撮像した２つの映像を取得する取得手段に対応する。
【００２１】
顔検出部Ｒ１０８及び顔検出部Ｌ１０９は、撮像光学系１３０及び撮像光学系１３１により取得された２つの映像の各々で顔領域を検出する検出手段に対応する。
【００２２】
視差情報検出部１１０は、顔検出部Ｒ１０８及び顔検出部Ｌ１０９から取得した顔の領域の情報を基に視差情報を検出することで２つの映像から検出された顔領域を対応付ける。すなわち、視差情報検出部１１０は、顔検出部Ｒ１０８及び顔検出部Ｌ１０９により一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付ける。そして対応付けられた顔領域を表示パネル１１４に表示させるための位置及び大きさを一致させるように顔領域を制御する顔領域制御手段に対応する。
【００２３】
顔枠制御部１１１は、顔検出部Ｒ１０８及び顔検出部Ｌ１０９からの顔領域の情報と、視差情報検出部１１０で検出される視差情報を基に、顔枠の表示位置、サイズ及び顔枠移動の制御を行う。すなわち、顔枠制御部１１１は、視差情報検出部１１０により一致された位置及び大きさに応じて顔領域を示す顔領域画像を表示させる表示パネル１１４における位置を含む顔領域関連情報を生成する顔領域関連情報生成手段に対応する。
【００２４】
グラフィック処理部１１２は、撮影画像に重畳するアイコン、文字等のＧＵＩ部品を生成し、さらに顔枠制御部１１１からの情報に基づいて顔枠のＧＵＩ部品を生成し、メモリ１０７の所定の領域に描画する。すなわち、グラフィック処理部１１２は、顔領域関連情報に応じて顔領域画像（例えばアイコン、文字等のＧＵＩ部品）を生成する顔領域画像生成手段に対応する。
【００２５】
ビデオ信号処理部１１３は、光学系Ｒ１０１及び光学系Ｌ１０４を介して得られる撮影中の映像データ及びグラフィック処理部１１２が描画したＧＵＩ部品を合成して表示パネル１１４に出力する。すなわち、ビデオ信号処理部１１３は、２つの映像、及び顔領域画像を合成して表示パネル１１４を出力する出力手段に対応する。
【００２６】
表示パネル１１４（表示手段）は、ビデオ信号処理部１１３で合成された映像信号を表示する。表示パネル１１４として、液晶パネル、有機ＥＬパネル等を用いることができる。立体映像の表示については、後で説明する。
【００２７】
符号化処理部１１５は、メモリ１０７に保持されている左右の映像データを圧縮符号化してメモリ１０７に保持する。また再生の際には、記録媒体から読み出されてメモリ１０７に保持されている圧縮符号化されたデータを復号化してメモリ１０７に保持する。
【００２８】
記録再生処理部１１６は、メモリ１０７に保持されている符号化データの記録媒体１１７への書込み処理を行う。また、記録媒体１１７に記録されているデータの読み出し処理を行う。
【００２９】
記録媒体１１７は、フラッシュメモリやＳＤカード等の半導体メモリ、あるいはＤＶＤやＢＤ等の光ディスク、またハードディスク等を用いることができる。
【００３０】
操作部１１８は、ボタン、スイッチ等の部材の操作状態の検出を行う。また表示パネル１１４の上にタッチパネルを貼りあわせるような構成では、タッチパネルに対する指あるいはペンでのタッチ操作、また動き等を検出する。
【００３１】
ＭＰＵ（マイクロプロセッサ）１１９は、不図示の制御バスを介して各処理ブロックを制御することが可能で、また各種演算処理等を行い、装置全体の制御を行う。
【００３２】
外部接続ＩＦ１２１は、ここでは立体表示のための液晶シャッタメガネ１２０に同期信号等を出力する。
【００３３】
液晶シャッタメガネ１２０は、撮影時あるいは再生時に立体映像を見るために所定の同期信号に従って左右のメガネの液晶シャッタを交互に開閉することができる。
【００３４】
図２は、図１における顔検出部Ｒ１０８の概略構成を示す図である。
【００３５】
撮影された映像は、一旦メモリ１０７に保持されている。そして、顔検出部Ｒ１０８における特徴点抽出部２０２は、右側の撮影映像を入力して特徴点を検出する。特徴点としては、映像のエッジ情報、色情報、輪郭情報等を用いることができる。
【００３６】
抽出された特徴データは、顔領域判定部２０３に与えられて所定の処理により顔領域が判定される。顔領域の判定方法は、種々の公知技術を用いることができる。例えば、エッジ情報から、目、鼻および口といった顔の構成要素であると認められる領域をそれぞれ抽出し、それらの領域の相対位置が所定の関係を満たしている場合に、それらの構成要素の領域を含むより広い領域を、顔領域と判定する方法が考えられる。また、肌色として抽出された領域の形状やサイズが、人物として適当な範囲に収まっている場合に、その肌色の領域を顔領域と判定する方法が考えられる。
【００３７】
顔の位置、サイズ生成部２０４は、顔領域判定部２０３から出力されるデータから、顔領域の中心位置と縦横のサイズが生成される。生成されたデータは視差情報検出部１１０に出力される。
【００３８】
尚、顔検出部Ｌ１０９は、左側の撮影映像を用いること以外は同様の処理であるので、説明は省略する。
【００３９】
図３は、図１の立体撮像装置１０の表示パネル１１４に表示される映像の一例を示す図である。
【００４０】
図３において、立体撮像装置１０に液晶シャッタメガネ１２０がケーブルで接続している。表示パネル１１４は液晶パネルで構成されており、撮影中の映像が表示されている。
【００４１】
立体撮影中の映像は、液晶シャッタを装着しないで見ると、左右の撮像光学系により得られる被写体像１５０，１５１が２重にずれて表示されている。
【００４２】
図４は、被写体像のずれを説明するための図である。
【００４３】
図４において、左右の撮像光学系１３０及び１３１により、被写体１３２を撮影したときに、投影面１３３，１３４に投影される被写体像の位置が異なることにより生じるものである。
【００４４】
図５は、投影面１３３により得られる左映像と投影面１３４により得られる右映像を示す図である。
【００４５】
図５において、被写体像１３５，１３６は被写体１３２の映像である。図５に示されるように、表示される位置が異なっている。表示パネル１１４で、この２つの映像を垂直同期信号に従って交互に表示して、液晶シャッタメガネを通さないで観察すると図３のように２重に見える。
【００４６】
ここで、図５に示すように左右の映像における被写体像の水平方向の位置のずれを視差と呼ぶ。視差は撮像光学系から被写体までの距離に応じて変動する。
【００４７】
図６は、左右の映像切り替えタイミングを示す図である。
【００４８】
図６に示されるように、立体表示する際には、撮影した左右の映像を左１−右１−左２−右２というように交互に切り換えながら表示する。この処理は図１のビデオ信号処理部１１３で行う。この表示の切り換えは垂直同期信号に従って行う。また、映像信号を切り換えるのと同時に外部接続ＩＦ１２１を介して同期信号を出力する。
【００４９】
液晶シャッタメガネ１２０は、この同期信号に従って図６に示すように左シャッタ及び右シャッタの開閉を行う。これにより、左１の映像を表示中は左シャッタのみが開くので、左眼にのみ映像が投影される。また右１の映像の表示中は、右シャッタのみが開き、右眼にのみ映像が投影される。これを交互に繰り返すことにより、撮影者は撮影している映像を立体視することができる。
【００５０】
図７は、左右の撮像光学系で人物の被写体３００，３０１を撮影している状態を示す概略図である。
【００５１】
図８（Ａ）は、２つの被写体像を示す左右映像を示し、（Ｂ）、（Ｃ）は、それぞれ相関値を示している。
【００５２】
図７に示されるように、被写体３００，３０１を撮影した左右の映像は、図８（Ａ）に示すような左映像と右映像のようになる。顔検出部Ｒ１０８、及び顔検出部Ｌ１０９で検出された被写体像３０２，３０３，３０６，３０７に対する顔領域は、各々顔領域３０４，３０５，３０８，３０９で示す矩形領域となっている。
【００５３】
視差情報検出部１１０では、顔検出部Ｒ１０８及び顔検出部Ｌ１０９より得られる顔領域の情報と撮影画像データを用いて、左右の顔領域の間の対応付けと視差の検出を行う。
【００５４】
まず、左映像で検出された顔領域３０４，３０５の情報を用いて、参照画像をメモリ１０７に保持されている撮影映像より取得する。図８（Ｂ）の参照画像３１０は、顔領域３０４を用いて取得した参照画像である。図８（Ｃ）の参照画像３１１は、顔領域３０５を用いて取得した参照画像である。
【００５５】
参照画像３１０に対応する顔領域を、図８（Ａ）の右映像から検出するために、サーチ領域を設定する。ここでは、顔領域３０４の矩形領域の垂直方向の中心と一致する走査線３２０に沿ってサーチ処理を行う。そこで、参照画像３１０の垂直方向の中心を、右映像の走査線３２０に沿って水平方向に移動しながら、所定のサンプル点で参照画像３１０と右映像の相関値を求める。相関値の演算は、公知の技術を用いる。例えば、顔領域３０４の映像を右映像に重ね、顔領域３０４の各画素に対して、顔領域３０４の画素の値とこれと重畳する位置にある右映像の画素の値との差分を求め、各画素の差分の総和を求めることを、顔領域３０４を走査線３２０に沿って移動させるたびに行う。差分を求める２つの画像が類似するほど、この差分は小さくなるので、この差分の総和の逆数を相関値とすればよい。
【００５６】
図８（Ｂ）は、参照画像３１０と右映像の相関値を示したものである。図８（Ｂ）において相関値が大きいほど一致度が高いことを示す。従って、参照画像３１０はピーク位置３１２のときに最も一致度が高く、図８（Ａ）の顔領域３０８が顔領域３０４と対応付けされる。
【００５７】
同様に、顔領域３０５から得られる参照画像３１１を用いて走査線３２１に沿ってサーチ処理した相関値が図８（Ｃ）である。こちらはピーク位置３１３で相関値がピークとなっており、顔領域３０５は顔領域３０９と対応付けされることになる。
【００５８】
なお、対応付けされる顔領域の信頼性を評価するために、ピーク位置での相関値に対して図８（Ｂ）及び図８（Ｃ）に示すしきい値３５０を設定する。そしてピーク値が設定したしきい値以上の場合のみ対応付けを行い、ピーク値がしきい値より小さい場合は対応付けを行わない。対応付けされなかった顔領域は、顔枠を重畳しないので、以降の処理は行わないものとする。これにより、例えば片方の映像にのみ写っている被写体の顔には顔枠が重畳されなくなる。このように、グラフィック処理部１１２は、最も高い相関値が予め定められたしきい値より小さい場合は、顔領域画像を生成しないようになっている。
【００５９】
上記の図８（Ｂ）及び図８（Ｃ）では、右映像の所定の走査線に沿って、水平方向に１ライン分の相関値を求める処理を実行しているが、時間短縮のために右映像で検出された顔領域３０８及び３０９の近傍でのみ相関値を求めるようにしてもよい。
【００６０】
また、ここでは参照画像を左映像の顔領域の情報から生成しているが、右映像から参照画像を生成してもかまわない。以上の一連の処理により、顔領域の間の対応付けができる。
【００６１】
顔枠を重畳するための視差は、対応付けされた顔領域の情報から調整する。ここでは、相関値のピークを与える位置を用いて顔枠の視差を設定する。
【００６２】
即ち、左映像では、顔領域３０４，３０５の水平及び垂直の各中心位置を顔枠の中心として設定する。右映像の顔領域３０８の顔枠は、図８（Ｂ）のピーク位置３１２を水平方向の中心とし、走査線３２０を垂直方向の中心として設定する。顔領域３０９は、ピーク位置３１３を水平方向の中心に、走査線３２１を垂直方向の中心とする。
【００６３】
このように、視差情報検出部１１０は、一方の映像において検出された顔領域を示す画像を参照画像とする。そして他方の映像において参照画像との相関値が最も高い領域を用いて一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付けるようになっている。
【００６４】
また、顔枠のサイズは対応する顔領域のサイズを比較して大きい方に合わせて設定する。従って、図８（Ａ）の顔領域３０４と顔領域３０８では、サイズが大きい顔領域３０８のサイズを顔枠のサイズとして設定する。また顔領域３０５と顔領域３０９では、顔領域３０５のサイズを顔枠のサイズとして設定する。
【００６５】
顔領域のサイズを比較する際には、各顔領域の幅と高さを乗算して面積を求め、面積の大きい方の顔領域の幅及び高さを顔枠のサイズとして選択するものとする。
【００６６】
なお、ここでは面積で比較しているが、その他に幅と高さを各々比較して、最も大きい値を有する顔領域の幅及び高さを選択するものとする。このように、視差情報検出部１１０は、大きさを、対応付けられた顔領域のうち、面積が大きい方の大きさに一致させるようになっている。
【００６７】
視差情報検出部１１０は、上記の処理により生成される対応する顔領域の組み合わせ、各顔領域に設定する顔枠の位置とサイズに関する情報（顔領域関連情報）を生成し、顔枠制御部１１１に出力する。
【００６８】
顔枠制御部１１１は、顔枠を描画する座標、顔枠の色、顔枠の形状に関する情報を所定のタイミングでグラフィック処理部１１２に出力する。グラフィック処理部１１２は、取得した情報を基に顔枠のＧＵＩ部品を生成して、メモリ１０７の所定の領域にＯＳＤ（オンスクリーンディスプレイ）フレームとして描画する。
【００６９】
ビデオ信号処理部１１３は、前記で描画された顔枠を含む左右のＯＳＤフレームと左右の映像をメモリから読み出して合成し、表示パネル１１４に出力する。
【００７０】
図９は、合成された左右の映像と顔枠の概略図である。
【００７１】
被写体像３０２，３０３，３０６，３０７に対して、顔枠３３０，３３１，３３２，３３３が重畳されている。対応する顔領域の顔枠は、前述の処理により視差が調整され、同じサイズで描画されている。
【００７２】
図１０は、左右の撮像光学系により被写体５０１を撮影しているときに、被写体が矢印の位置に移動したときの顔枠を模式的に示した図である。
【００７３】
図１０において、顔枠５０２，５０３は、顔枠の視差から仮想的に被写体空間に配置したもので、被写体の移動に伴い顔枠の視差を調整することにより、顔枠と被写体の立体感を合わせることができる。
【００７４】
図１１は、被写体の移動に伴い被写体像と顔枠が移動した状態を示す概略図である。
【００７５】
被写体が移動することにより、左映像上の被写体像５０７が被写体像５０６の位置に移動し、それに伴い顔枠も５０５から５０４に移動する。同様に右映像でも顔枠が５０９から５０８に移動している。
【００７６】
図１２は、顔領域の検出から表示までの経過を示すタイミングチャートである。
【００７７】
図１３は、図１におけるＭＰＵ１１９により実行される顔枠描画処理の手順を示すフローチャートである。
【００７８】
図１２、図１３を用いて、移動に伴う顔枠の更新のタイミングについて説明する。まず、図１２において、点線で示されるＴ１からＴ１１は垂直同期信号のタイミングを示している。また、図１２において、「顔検出Ｌ」、「顔検出Ｒ」は、顔検出部Ｌ１０９、顔検出部Ｒ１０８の状態を示している。「視差検出・顔枠制御」は、視差情報検出部１１０及び顔枠制御部１１１の制御内容を示している。「グラフィック処理」は、グラフィック処理部１１２の制御内容を示している。「ビデオ信号処理」は、ビデオ信号処理部１１３の制御内容を示している。
【００７９】
図１２において、顔検出部Ｌ１０９及び顔検出部Ｒ１０８では、任意の時刻から顔検出が動作しているが、ここでは、一例として時刻Ｔ１から左右の顔検出が動作するものとする。従って、図１３において、顔検出部Ｌ１０９及び顔検出部Ｒ１０８の処理を動作させ、顔領域の更新を行い（ステップＳ７０１）、更新処理の完了を待つ（ステップＳ７０２）。但し、左右の映像は同一ではないので、顔検出に要する時間は必ずしも同じとはならない。図１２において、顔検出Ｌは、Ｔ３とＴ４の間の時刻で処理が完了し、続いて顔領域の情報が設定される。一方、顔検出ＲはＴ２とＴ３の間で顔検出が完了し、続いて顔領域の設定が行われる。
【００８０】
上記Ｓ７０２では、顔領域が更新されたか否かを検出するが、図１２の時刻Ｔ４１の時点で左右の顔検出の結果が出揃ったことで、更新されたと判別される。次いで、視差情報検出部は左右の顔領域の中心座標とサイズを取得する（ステップＳ７０３）。
【００８１】
そして、左映像の顔領域を基準として参照画像を生成し、視差を検出する（ステップＳ７０４）。次いで視差検出の完了待ちとなる（ステップＳ７０５）。図１２において、時刻Ｔ６１で視差検出が完了すると視差検出が完了したと判別され、Ｓ７０６に移行する。
【００８２】
顔枠制御部１１１では視差情報を基に、左右の顔枠情報の調整を行う（ステップＳ７０６）。そして、図１２において、時刻Ｔ８１で顔枠の情報をグラフィック処理部に設定して、左右の顔枠の描画を実行し（ステップＳ７０７）、描画完了待ちとなる（ステップＳ７０８）。
【００８３】
描画が完了すると（ステップＳ７０８でＹＥＳ）、図１２に示されるように、Ｔ９１でビデオ信号処理部は描画したデータを読み出し、表示パネル１１４に対応した出力の設定を行う（ステップＳ７０９）。そしてＴ１０のタイミングで表示パネルの顔枠が更新され表示され、これまでの表示１の画面から、顔枠の移動した表示２の画面に更新される。上記の一連の処理を繰り返すことにより、顔枠の移動が行われる。
【００８４】
また、図１２に示すように、左右の顔枠の移動は、同じ垂直同期信号のタイミングで実行されるので、左右の顔枠が個別に移動しない構成となっている。
【００８５】
図１４は、被写体４００，４０１に対して、点線の元の顔枠の位置より顔枠４０４，４０５が手前に立体視されるように、視差を補正した例を示す図である。
【００８６】
図１４に示されるように、立体視したときに顔枠４０４，４０５が見易いように、被写体４００，４０１よりも顔枠が手前に立体視されるように顔枠の視差に対するオフセット調整をするようにしてもよい。このように、顔領域画像は、表示パネル１１４において、顔領域画像に対応する顔を示す画像よりも手前に表示されるようにしてもよい。
【００８７】
これにより、被写体の顔が額縁の中にあるように立体視されるので、検出の誤差等により顔枠より顔が手前に飛び出すような違和感を防止することができる。
【００８８】
また、本実施の形態では顔領域を矩形の枠で囲んでいるが、その他のＧＵＩで顔領域を示すこともできる。
【００８９】
図１５は、顔領域画像の一例を示す図であり、（Ａ）は矢印状のＧＵＩを用いた例を示し、（Ｂ）は一部が欠けた矩形のＧＵＩを用いた例を示し、（Ｃ）は記号Ａ，Ｂを用いた例を示している。
【００９０】
図１５において、（Ａ）は、対応する人物の顔ごとに矢印の色を変えて区別できるような表示となっている。図１５（Ｃ）では、例えば、人物の認識処理機能が追加された装置では、記号Ａに替えて登録されている人物の名前等を用いることも可能である。顔領域を示す表示方法は、顔領域が識別できるものであれば、他の形態でも構わない。このように、グラフィック処理部１１２は、対応付けられた顔領域を示す顔領域画像を対応付けられた顔領域ごとに同一の顔領域画像として生成するようにしてもよい。
【００９１】
［第２の実施の形態］
図１６は、本発明の第２の実施の形態に係る立体撮像装置２０の概略構成を示す図である。
【００９２】
第１の実施の形態における立体撮像装置１０との違いは、左右の顔領域の対応付けと顔枠の視差の検出を行う視差情報検出部１８０、及び顔枠の制御を行う顔枠制御部１８１にある。さらに、立体撮影時の振動に対応するための防振処理部１８２を有する装置となっている。
【００９３】
図１７は、図１６における防振処理部１８２の概略構成図である。
【００９４】
図１７において、動き検出部２４０は、撮影映像を１フレーム単位のフレーム画像としてメモリ１０７から入力される。動き検出部２４０では、動きベクトルは連続するフレーム間で検出し、水平及び垂直方向の動き量を生成する。動きベクトルの検出方式は、公知の技術を用いて対応するものとする。
【００９５】
切り出し位置生成部２４１は、動き検出部２４０で検出した動き量に従って元の画像フレームの所定領域を切り出すための情報を生成する。例えば切り出しする始点の座標と幅及び高さの情報などが生成される。映像切り出し部２４２は、切り出し位置生成部２４１で生成した切り出し位置の情報を用いて、メモリ１０７の画像フレームから所定の領域を切り出してメモリ１０７に保持する。
【００９６】
なお、ここでは、メモリに保持されている映像を電子的に切り出して防振処理しているが、レンズシフト等により光学系で防振のための補正をすることも可能であることは言うまでもない。このように、被写体を撮像した２つの映像は、振動による揺れが除去された映像である。
【００９７】
本実施の形態における立体撮像装置２０では、防振処理の動作を操作部１１８のボタン、スイッチ等により有効／無効の設定が可能な構成となっている。そして防振が有効に設定されている場合には、撮影した左右の映像に対して上記の防振処理が施された後に、顔検出以降の顔枠表示のための処理が施される。
【００９８】
図１８（Ａ）は、顔検出部Ｒ１０８、顔検出部Ｌ１０９により検出された被写体像８０３，８０５の顔領域の模式図であり、（Ｂ）、（Ｃ）は、それぞれ相関値を示している。
【００９９】
図１８（Ａ）において、左映像での顔検出結果から得られる顔領域８０２が被写体像８０３からずれた状態となっている。
【０１００】
図１８（Ｂ）は、左映像の顔領域８０２から生成した参照画像８０６を用いて、走査線８０１に沿って右画像との相関演算を行った結果である。ピーク位置８０７で相関のピーク値８０８が得られているが、顔領域の検出誤差の影響で被写体の顔の一部が欠けた参照画像となっている。このため、ピーク位置８０７は、右映像の被写体像８０５の中心から、やや左側にずれた位置となり、これを元に顔枠を設定すると被写体像８０５からずれた位置に描画される。これは、左映像の顔領域を基準に対応付けと視差の調整を行うためである。
【０１０１】
そこで、第２の実施の形態では、図１８（Ｃ）に示すように、右映像の顔領域８０４を元にした参照画像８０９を用いて、左映像との相関を求める。この結果、ピーク位置８１０で相関のピーク値８１１が検出される。
【０１０２】
このように検出される２つのピーク値８０８，８１１を比較して、より相関値の高いピーク値を与える参照画像の方を選択する。ここでは、ピーク値８１１の相関値の方が高いので、参照画像８０９の元になった顔領域８０４を基準として顔枠の設定を行う。
【０１０３】
この結果、視差情報検出部１８０では顔領域８０４の水平・垂直の中心が被写体像８０５の顔枠の中心として設定される。また顔枠のサイズは、対応する左右の顔領域８０２，８０４のうちの大きい方が設定される。左映像では、被写体像８０５に対応する被写体像８０３に対して、顔枠の水平方向の中心をピーク位置８１０、垂直方向の中心を走査線８０１の垂直方向の座標として設定する。
【０１０４】
このように、視差情報検出部１８０は、一方の映像において検出された顔領域を示す画像を第１参照画像（参照画像８０９）とする。そして、他方の映像において第１参照画像との相関値が最も高い領域を探し、さらに他方の映像において検出された顔領域を示す画像を第２参照画像（参照画像８０６）とする。一方の映像において第２参照画像との相関値が最も高い領域を探す。そして、第１参照画像、及び第２参照画像において探した結果、最も高い相関値が得られた領域を用いて、一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付けるようになっている。
【０１０５】
図１９は、表示パネル１１４に出力される左右の映像と顔枠の模式図である。
【０１０６】
図１８で説明したようにすることで、左右の被写体像８０３，８０５に対して顔枠８２０，８２１が適切な位置とサイズで重畳されていることが示されている。
【０１０７】
図２０は、被写体の移動に伴って顔枠９０２を顔枠９０１へ移動し、顔枠９０４を顔枠９０３へ移動する様子を模式的に示したものである。
【０１０８】
この図２０を用いて顔枠制御部１１１の動作について説明する。
【０１０９】
図２０において、左映像における顔枠の移動量は移動量Ａであり、右映像における顔枠の移動量は移動量Ｂである。
【０１１０】
図２０に示すように左右の顔枠の移動量は、被写体の位置や距離によって変動する。移動量が大きいと、顔枠がちらついたように描画され立体視の際に見難くなる。そこで、本実施の形態では左右の顔枠を移動する際に、顔枠の移動量に応じて所定の時間間隔でアニメーション描画することでスムーズな顔枠移動を実現する。
【０１１１】
図２１（Ａ）は、顔枠の移動量とアニメーションに要する移動時間を示す図であり、（Ｂ）は移動量を補完するグラフを示す図である。
【０１１２】
顔枠制御部１１１では、現在の顔枠の座標と次に更新する顔枠の座標から移動量Ａ及び移動量Ｂを算出する。そして移動量Ａ及び移動量Ｂを比較し、移動量の大きい方を参照して、図２１（Ａ）の表により移動時間を設定する。
【０１１３】
例えば、移動量Ａが２０で移動量Ｂが１０の場合、移動量Ａを基に、図２１（Ａ）の表から移動時間５Ｔを選択する。ここでＴは更新周期であり、表示パネルの垂直同期信号の間隔等を用いることができる。
【０１１４】
これにより、左右の顔枠の移動を５Ｔの間隔でアニメーション移動するように顔枠制御部１１１が制御する。ここでは、図２１（Ｂ）に示すように左右の顔枠の更新周期Ｔ毎の移動量を補間して設定するように制御する。
【０１１５】
顔枠９０４は、５Ｔで移動量ＢとなるラインＢを生成し、ラインＢを用いて各Ｔ毎の移動量を補間する。また顔枠９０２は、５Ｔで移動量ＡとなるラインＡを生成し、ラインＡを用いて各Ｔ毎の移動量を補間する。
【０１１６】
顔枠制御部１１１は、左右の顔枠９０４，９０２に対して設定したＴ毎の移動量を用いて、顔枠の中心座標を更新しながらグラフィック処理部に出力する。
【０１１７】
そして、グラフィック処理部１１２は、左右の顔枠の中心座標とサイズを基に顔枠をメモリ１０７のＯＳＤフレームに描画する。
【０１１８】
なお、ここでは垂直同期信号を更新周期として用いているが、所定の時間周期で動作するカウンタ等を用いてもよい。例えば、所定周期の発振器やソフトウェアで構成したタイマー等から更新周期を生成することも可能である。また、更新周期の精度はアニメーションとして滑らかに知覚できる範囲であれば変動しても構わない。
【０１１９】
以上の処理により、対応する左右の顔枠は同期しながら滑らかにアニメーション移動するので、立体視の際に見易い表示画面を提供することができる。
【０１２０】
このように、顔枠制御部１８１は、予め定められたタイミング（垂直同期信号）で顔領域の位置を更新するとともに、検出された顔領域の移動量を算出可能である。算出された移動量に応じて、移動前の位置から移動後の位置までに顔領域画像を表示する位置を補完し、タイミングで補完した位置に顔領域の位置を更新するようになっている。
【０１２１】
（他の実施の形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【０１２２】
１０，２０ 画像処理装置
１０１ 光学系Ｒ
１０２ 撮像部Ｒ
１０３ 信号処理部Ｒ
１０４ 光学系Ｌ
１０５ 撮像部Ｌ
１０６ 信号処理部Ｌ
１０７ メモリ
１０８ 顔検出部Ｒ
１０９ 顔検出部Ｌ
１１０，１８０ 視差情報検出部
１１１，１８１ 顔枠制御部
１１２ グラフィック処理部
１１３ ビデオ信号処理部
１１４ 表示パネル
１１８ 操作部
１１９ ＭＰＵ
１３０，１３１ 撮像光学系
１８２ 防振処理部
【特許請求の範囲】
【請求項１】
表示手段を備えた画像処理装置であって、
被写体を撮像した２つの映像を取得する取得手段と、
前記取得手段により取得された２つの映像の各々で顔領域を検出する検出手段と、
前記検出手段により一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付け、対応付けられた顔領域を前記表示手段に表示させるための位置及び大きさを一致させるように顔領域を制御する顔領域制御手段と、
前記顔領域制御手段により一致された位置及び大きさに応じて顔領域を示す顔領域画像を表示させる前記表示手段における位置を含む顔領域関連情報を生成する顔領域関連情報生成手段と、
前記顔領域関連情報生成手段により生成された顔領域関連情報に応じて前記顔領域画像を生成する顔領域画像生成手段と、
前記２つの映像、及び前記顔領域画像生成手段により生成された顔領域画像を合成して前記表示手段を出力する出力手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記顔領域画像生成手段は、対応付けられた顔領域を示す顔領域画像を対応付けられた顔領域ごとに同一の顔領域画像として生成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記顔領域関連情報生成手段は、予め定められたタイミングで前記顔領域の位置を更新するとともに、前記検出手段により検出された顔領域の移動量を算出可能であり、算出された移動量に応じて、移動前の位置から移動後の位置までに前記顔領域画像を表示する位置を補完し、前記タイミングで補完した位置に前記顔領域の位置を更新することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記顔領域制御手段は、前記一方の映像において前記検出手段により検出された顔領域を示す画像を参照画像とし、前記他方の映像において前記参照画像との相関値が最も高い領域を用いて前記一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付けることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記顔領域制御手段は、前記一方の映像において前記検出手段により検出された顔領域を示す画像を第１参照画像とし、前記他方の映像において前記第１参照画像との相関値が最も高い領域を探し、さらに前記他方の映像において前記検出手段により検出された顔領域を示す画像を第２参照画像とし、前記一方の映像において前記第２参照画像との相関値が最も高い領域を探し、前記第１参照画像、及び前記第２参照画像において探した結果、最も高い相関値が得られた領域を用いて、前記一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付けることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記最も高い相関値が予め定められたしきい値より小さい場合は、前記顔領域画像生成手段は前記顔領域画像を生成しないことを特徴とする請求項４又は５記載の画像処理装置。
【請求項７】
前記顔領域制御手段は、前記大きさを、対応付けられた顔領域のうち、面積が大きい方の大きさに一致させることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記顔領域画像は、前記表示手段において、前記顔領域画像に対応する顔を示す画像よりも手前に表示されることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記被写体を撮像した２つの映像は、振動による揺れが除去された映像であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
表示手段を備えた画像処理装置の制御方法であって、
被写体を撮像した２つの映像を取得する取得ステップと、
前記取得ステップにより取得された２つの映像の各々で顔領域を検出する検出ステップと、
前記検出ステップにより一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付け、対応付けられた顔領域を前記表示手段に表示させるための位置及び大きさを一致させるように顔領域を制御する顔領域制御ステップと、
前記顔領域制御ステップにより一致された位置及び大きさに応じて顔領域を示す顔領域画像を表示させる前記表示手段における位置を含む顔領域関連情報を生成する顔領域関連情報生成ステップと、
前記顔領域関連情報生成ステップにより生成された顔領域関連情報に応じて前記顔領域画像を生成する顔領域画像生成ステップと、
前記２つの映像、及び前記顔領域画像生成ステップにより生成された顔領域画像を合成して前記表示手段を出力する出力ステップと
を備えたことを特徴とする制御方法。
【請求項１１】
表示手段を備えた画像処理装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記制御方法は、
被写体を撮像した２つの映像を取得する取得ステップと、
前記取得ステップにより取得された２つの映像の各々で顔領域を検出する検出ステップと、
前記検出ステップにより一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付け、対応付けられた顔領域を前記表示手段に表示させるための位置及び大きさを一致させるように顔領域を制御する顔領域制御ステップと、
前記顔領域制御ステップにより一致された位置及び大きさに応じて顔領域を示す顔領域画像を表示させる前記表示手段における位置を含む顔領域関連情報を生成する顔領域関連情報生成ステップと、
前記顔領域関連情報生成ステップにより生成された顔領域関連情報に応じて前記顔領域画像を生成する顔領域画像生成ステップと、
前記２つの映像、及び前記顔領域画像生成ステップにより生成された顔領域画像を合成して前記表示手段を出力する出力ステップと
を備えたことを特徴とするプログラム。
【請求項１】
表示手段を備えた画像処理装置であって、
被写体を撮像した２つの映像を取得する取得手段と、
前記取得手段により取得された２つの映像の各々で顔領域を検出する検出手段と、
前記検出手段により一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付け、対応付けられた顔領域を前記表示手段に表示させるための位置及び大きさを一致させるように顔領域を制御する顔領域制御手段と、
前記顔領域制御手段により一致された位置及び大きさに応じて顔領域を示す顔領域画像を表示させる前記表示手段における位置を含む顔領域関連情報を生成する顔領域関連情報生成手段と、
前記顔領域関連情報生成手段により生成された顔領域関連情報に応じて前記顔領域画像を生成する顔領域画像生成手段と、
前記２つの映像、及び前記顔領域画像生成手段により生成された顔領域画像を合成して前記表示手段を出力する出力手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記顔領域画像生成手段は、対応付けられた顔領域を示す顔領域画像を対応付けられた顔領域ごとに同一の顔領域画像として生成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記顔領域関連情報生成手段は、予め定められたタイミングで前記顔領域の位置を更新するとともに、前記検出手段により検出された顔領域の移動量を算出可能であり、算出された移動量に応じて、移動前の位置から移動後の位置までに前記顔領域画像を表示する位置を補完し、前記タイミングで補完した位置に前記顔領域の位置を更新することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記顔領域制御手段は、前記一方の映像において前記検出手段により検出された顔領域を示す画像を参照画像とし、前記他方の映像において前記参照画像との相関値が最も高い領域を用いて前記一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付けることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記顔領域制御手段は、前記一方の映像において前記検出手段により検出された顔領域を示す画像を第１参照画像とし、前記他方の映像において前記第１参照画像との相関値が最も高い領域を探し、さらに前記他方の映像において前記検出手段により検出された顔領域を示す画像を第２参照画像とし、前記一方の映像において前記第２参照画像との相関値が最も高い領域を探し、前記第１参照画像、及び前記第２参照画像において探した結果、最も高い相関値が得られた領域を用いて、前記一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付けることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記最も高い相関値が予め定められたしきい値より小さい場合は、前記顔領域画像生成手段は前記顔領域画像を生成しないことを特徴とする請求項４又は５記載の画像処理装置。
【請求項７】
前記顔領域制御手段は、前記大きさを、対応付けられた顔領域のうち、面積が大きい方の大きさに一致させることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記顔領域画像は、前記表示手段において、前記顔領域画像に対応する顔を示す画像よりも手前に表示されることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記被写体を撮像した２つの映像は、振動による揺れが除去された映像であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
表示手段を備えた画像処理装置の制御方法であって、
被写体を撮像した２つの映像を取得する取得ステップと、
前記取得ステップにより取得された２つの映像の各々で顔領域を検出する検出ステップと、
前記検出ステップにより一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付け、対応付けられた顔領域を前記表示手段に表示させるための位置及び大きさを一致させるように顔領域を制御する顔領域制御ステップと、
前記顔領域制御ステップにより一致された位置及び大きさに応じて顔領域を示す顔領域画像を表示させる前記表示手段における位置を含む顔領域関連情報を生成する顔領域関連情報生成ステップと、
前記顔領域関連情報生成ステップにより生成された顔領域関連情報に応じて前記顔領域画像を生成する顔領域画像生成ステップと、
前記２つの映像、及び前記顔領域画像生成ステップにより生成された顔領域画像を合成して前記表示手段を出力する出力ステップと
を備えたことを特徴とする制御方法。
【請求項１１】
表示手段を備えた画像処理装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記制御方法は、
被写体を撮像した２つの映像を取得する取得ステップと、
前記取得ステップにより取得された２つの映像の各々で顔領域を検出する検出ステップと、
前記検出ステップにより一方の映像で検出された顔領域と他方の映像で検出された顔領域とを対応付け、対応付けられた顔領域を前記表示手段に表示させるための位置及び大きさを一致させるように顔領域を制御する顔領域制御ステップと、
前記顔領域制御ステップにより一致された位置及び大きさに応じて顔領域を示す顔領域画像を表示させる前記表示手段における位置を含む顔領域関連情報を生成する顔領域関連情報生成ステップと、
前記顔領域関連情報生成ステップにより生成された顔領域関連情報に応じて前記顔領域画像を生成する顔領域画像生成ステップと、
前記２つの映像、及び前記顔領域画像生成ステップにより生成された顔領域画像を合成して前記表示手段を出力する出力ステップと
を備えたことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１２−２３９００６（Ｐ２０１２−２３９００６Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０６２１２（Ｐ２０１１−１０６２１２）
【出願日】平成２３年５月１１日（２０１１．５．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１１日（２０１１．５．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]