オブジェクト探索装置、映像表示装置およびオブジェクト探索方法
【課題】簡易な手法で高速かつ精度よくオブジェクトを探索できるようにする。
【解決手段】一実施形態に係るオブジェクト探索装置は、画面フレームに含まれるオブジェクトを探索するオブジェクト探索手段と、オブジェクト探索手段で探索されたオブジェクトを含むオブジェクト探索領域内の中心位置にオブジェクトが位置するように、オブジェクト探索領域の位置を補正するオブジェクト位置補正手段と、オブジェクト探索領域内のオブジェクト以外の背景領域が最小になるようにオブジェクト探索領域の面積をサイズ調整するオブジェクト領域補正手段と、オブジェクト領域補正手段で補正したオブジェクト探索領域に基づいて、オブジェクトの座標位置を検出する座標検出手段と、を備える。
【解決手段】一実施形態に係るオブジェクト探索装置は、画面フレームに含まれるオブジェクトを探索するオブジェクト探索手段と、オブジェクト探索手段で探索されたオブジェクトを含むオブジェクト探索領域内の中心位置にオブジェクトが位置するように、オブジェクト探索領域の位置を補正するオブジェクト位置補正手段と、オブジェクト探索領域内のオブジェクト以外の背景領域が最小になるようにオブジェクト探索領域の面積をサイズ調整するオブジェクト領域補正手段と、オブジェクト領域補正手段で補正したオブジェクト探索領域に基づいて、オブジェクトの座標位置を検出する座標検出手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画面フレーム内のオブジェクトを探索するオブジェクト探索装置、映像表示装置およびオブジェクト探索方法に関する。
【背景技術】
【０００２】
画面フレーム内に存在する人間の顔を検出する技術が提案されている。画面フレームは、１秒間に数十回切り替わるため、各フレームごとに画面フレーム全域から人間の顔を検出しようとすると、かなりの高速処理を強いられることになる。
【０００３】
そこで、画面フレームからオブジェクトが存在する可能性の高い色域を制限して、制限した色域内でオブジェクトを探索する手法が提案されている。
【０００４】
ところが、この手法では、色域を制限する段階で除外されるオブジェクトもあるため、オブジェクトの探索精度を向上させるのは困難である。
【０００５】
最近、立体映像を表示可能な三次元ＴＶが急速に普及してきたが、映像ソースとしては、既存ＴＶとの互換性や価格の問題もあって三次元映像データはまだまだ少ない。そこで、三次元ＴＶでは、既存の二次元映像データを擬似的に三次元映像データに変換する処理を行うことが多い。この場合、二次元映像データの各画面フレームから特徴的なオブジェクトを探索して、奥行き情報（以下、デプス情報）を付加する必要があるが、上述したように、オブジェクトの探索処理に時間を要するため、各画面フレームごとにデプス情報を生成する時間的な余裕がない場合もありうる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−２１６５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、簡易な手法で高速かつ精度よくオブジェクトを探索可能なオブジェクト探索装置、映像表示装置およびオブジェクト探索方法を提供するものである。
【課題を解決するための手段】
【０００８】
本実施形態では、画面フレームに含まれるオブジェクトを探索するオブジェクト探索手段と、
前記オブジェクト探索手段で探索されたオブジェクトを含むオブジェクト探索領域内の中心位置にオブジェクトが位置するように、前記オブジェクト探索領域の位置を補正するオブジェクト位置補正手段と、
前記オブジェクト探索領域内のオブジェクト以外の背景領域が最小になるように前記オブジェクト探索領域の面積をサイズ調整するオブジェクト領域補正手段と、
前記オブジェクト領域補正手段で補正したオブジェクト探索領域に基づいて、前記オブジェクトの座標位置を検出する座標検出手段と、を備えるオブジェクト探索装置が提供される。
【図面の簡単な説明】
【０００９】
【図１】オブジェクト探索装置１を備えた映像表示装置２の概略構成の一例を示すブロック図。
【図２】デプス情報生成部７と三次元データ生成部８の一例を示す詳細なブロック図。
【図３】図１のオブジェクト探索装置１の処理動作を模式化した図。
【図４】オブジェクト探索部３の処理動作の一例を示すフローチャート。
【図５】直列接続された複数の識別器の一例を示す図。
【図６】オブジェクト位置補正部４の処理動作の一例を示すフローチャート。
【図７】オブジェクト探索領域を広げる場合の一例を示すフローチャート。
【図８】オブジェクト探索領域を狭める場合の一例を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、本発明の一実施形態を説明する。
【００１１】
図１は本実施形態に係るオブジェクト探索装置１を備えた映像表示装置２の概略構成を示すブロック図である。まず、オブジェクト探索装置１の内部構成を説明する。
【００１２】
図１のオブジェクト探索装置１は、オブジェクト探索部３と、オブジェクト位置補正部４と、オブジェクト領域補正部５と、座標検出部６と、デプス情報生成部７と、三次元データ生成部８とを備えている。
【００１３】
オブジェクト探索部３は、１つの画面フレーム分のフレーム映像データに含まれるオブジェクトを探索する。オブジェクト探索部３は、探索したオブジェクトを含む所定サイズの画素領域をオブジェクト探索領域として設定する。オブジェクト探索部３は、画面フレームに複数のオブジェクトが含まれる場合は、すべてのオブジェクトを探索し、各オブジェクトごとに、オブジェクト探索領域を設定する。
【００１４】
オブジェクト位置補正部４は、オブジェクト探索領域内の中心位置にオブジェクトが位置するように、オブジェクト探索領域の位置を補正する。
【００１５】
オブジェクト領域補正部５は、オブジェクト探索領域内のオブジェクト以外の背景領域が最小になるようにオブジェクト探索領域の面積をサイズ調整する。すなわち、オブジェクト領域補正部５は、オブジェクトの大きさに合わせて、オブジェクト探索領域のサイズを最適化する。
【００１６】
座標検出部６は、オブジェクト領域補正部５で補正したオブジェクト探索領域に基づいて、オブジェクトの座標位置を検出する。
【００１７】
デプス情報生成部７は、座標検出部６で検出されたオブジェクトに対応するデプス情報を生成する。そして、三次元データ生成部８は、座標検出部６で検出されたオブジェクトと、そのデプス情報とに基づいて、オブジェクトの三次元映像データを生成する。三次元映像データは、右目用視差データと左目用視差データを含んでおり、場合によっては、多視差データを含んでいてもよい。
【００１８】
上述したデプス情報生成部７と三次元データ生成部８は、必ずしも必須ではない。三次元映像データを記録または再生する必要がない場合は、デプス情報生成部７と三次元データ生成部８を設けなくてもよい。
【００１９】
図２はデプス情報生成部７と三次元データ生成部８の詳細なブロック図である。図２に示すように、デプス情報生成部７は、デプステンプレート記憶部１１と、デプスマップ生成部１２と、デプスマップ補正部１３とを有する。三次元データ生成部８は、ディスパリティ変換部１４と視差画像生成部１５とを有する。
【００２０】
デプステンプレート記憶部１１は、オブジェクトの種類ごとに、各オブジェクトの各画素のデプス値（奥行き値）を記述したデプステンプレートを記憶する。
【００２１】
デプスマップ生成部１２は、座標特定部７で検出されたオブジェクトに応じたデプステンプレートをデプステンプレート記憶部１１から読み出して、画像処理部２２から供給されるフレーム映像データの各画素にデプス値を対応づけたデプスマップを生成する。
【００２２】
デプスマップ補正部１３は、デプスマップ上の各画素をその周辺画素にて重み付け平滑化して、各画素のデプス値を補正する。
【００２３】
三次元データ生成部８内のディスパリティ変換部１４は、デプスマップにおける各画素のデプス値から各画素の視差ベクトルを求めて、各画素の視差ベクトルが記述されたディスパリティマップを生成する。視差画像生成部１５は、入力画像とディスパリティマップから視差画像を生成する。
【００２４】
図１の映像表示装置２は、例えば三次元ＴＶであり、図１のオブジェクト探索装置１の他には、受信処理部２１と、画像処理部２２と、三次元表示装置２３とを備えている。
【００２５】
受信処理部２１は、不図示のアンテナで受信した放送受信信号をベースバンド信号に復調した後に、復号処理を行う。画像処理部２２は、受信処理部２１を通過した信号に対してノイズ処理等を施して、図１のオブジェクト探索装置１に供給するためのフレーム映像データを生成する。
【００２６】
三次元表示装置２３は、マトリクス状に配列された画素を有する表示パネル２４と、この表示パネル２４に対向するように配置されて各画素からの光線を制御する複数の射出瞳を有する光線制御素子２５とを有する。表示パネル２４としては、例えば液晶パネルや、プラズマディスプレイ、ＥＬ（ElectroLuminescent）パネル等を用いることができる。光線制御素子２５は、一般的にはパララクスバリアまたは視差バリアとも呼ばれ、光線制御素子２５の各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差（水平視差）のみを与える場合には、複数のスリットを有するスリット版またはレンチキュラーシート（シリンドリカルレンズアレイ）が用いられ、上下視差（垂直視差）も含める場合には、ピンホールアレイまたはレンズアレイが用いられる。すなわち、スリット板のスリットや、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、レンズアレイのレンズが各射出瞳になる。
【００２７】
なお、三次元表示装置２３は、複数の射出瞳を有する光線制御素子２５を備えたもの以外に、パララックスバリアを透過型液晶表示装置などで電子的に発生させ、バリアパターンの形状や位置などを電子的に可変制御する三次元表示装置２３でもよい。すなわち、後述する立体画像表示用の画像が表示可能な表示装置であれば、具体的な三次元表示装置２３の構成は問わない。
【００２８】
また、本実施形態に係るオブジェクト探索装置１は、必ずしもＴＶに内蔵されるものではない。例えば、受信処理部２１で受信した放送受信信号に含まれるフレーム映像データを三次元映像データに変換して、ＨＤＤ（ハードディスクドライブ）や光ディスク（例えばブルーレイディスク）等に記録する記録装置に適用してもよい。
【００２９】
図３は図１のオブジェクト探索装置１の処理動作を模式化した図である。まず、オブジェクト探索部３は、図３（ａ）に示すように、画面フレーム内のオブジェクト３１を探索し、探索されたオブジェクト３１を含むようにオブジェクト探索領域３２を設定する。次に、オブジェクト位置補正部４は、図３（ｂ）に示すように、オブジェクト探索領域３２の位置をずらして、オブジェクト探索領域３２の中央にオブジェクト３１を配置する。次に、オブジェクト領域補正部５は、図３（ｃ）に示すように、オブジェクト探索領域３２のサイズ調整を行って、オブジェクト探索領域３２内のオブジェクト３１以外の背景領域を最小化する。例えば、オブジェクト領域補正部５は、オブジェクト探索領域３２の境界線がオブジェクト３１の輪郭線に接するようにする。
【００３０】
座標検出部６は、オブジェクト領域補正部５でサイズ調整したオブジェクト探索領域３２に基づいて、オブジェクト３１の座標位置を検出する。
【００３１】
図４はオブジェクト探索部３の処理動作の一例を示すフローチャートである。まず、画像処理装置から１画面フレーム分のフレーム映像データが供給されると（ステップＳ１）、この画面フレーム内を探索してオブジェクトを検出する（ステップＳ２）。ここでは、人間の顔を探索対象のオブジェクトとしている。
【００３２】
人間の顔を探索する場合、例えばHaar-like特徴を用いた物体検出方法を利用する。この物体検出方法は、図５に示すように複数の識別器３０を直列接続したものであり、個々の識別器３０は事前に統計学習を行って人間の顔か否かを識別する機能を持っている。個々の識別器３０は、所定の画素領域からなる探索範囲を単位としてHaar-like特徴を用いた物体検出を行う。前段の識別器３０による物体検出結果は後段の識別器３０に入力されるため、後段の識別器３０ほど、より精度よく人間の顔を探索できる。したがって、識別器３０の接続段数を増やすほど、識別力が向上するが、処理に時間がかかり、また識別器３０の実装面積も増大してしまう。したがって、許容可能な実装規模と識別精度との兼ね合いで、識別器３０の接続段数を定めるのが望ましい。
【００３３】
次に、図５の識別器３０の出力に基づいて、人間の顔か否かを判定する（ステップＳ３）。
【００３４】
上述したステップＳ３において、座標位置（Ｘ，Ｙ）で顔と判定されたとすると、その周辺領域（Ｘ−ｘ，Ｙ−ｙ）−（Ｘ＋ｘ，Ｙ＋ｙ）で顔周辺の簡易探索処理を行う（ステップＳ４）。ここでは、図５の複数の識別器３０のうち最終段の識別器３０の出力に基づいて顔の探索処理を行うのではなく、最終段よりも前段側の識別器３０の出力に基づいて人間の顔か否かを判定する。これにより、最終段の識別器３０が識別結果を出力するまで待機しなくて済み、高速処理が可能となる。
【００３５】
なお、座標位置（Ｘ，Ｙ）で人間の顔と判定された場合は、（Ｘ，Ｙ）−（Ｘ＋ａ，Ｙ＋ｂ）の範囲（ａ，ｂは固定値）にオブジェクト探索領域３２が設定される。
【００３６】
ステップＳ４で詳細探索ではなく簡易探索を行う理由は、後に行われるオブジェクト位置補正部４とオブジェクト領域補正部５で詳細探索を行うことから、処理の高速化のために、オブジェクト探索部３では簡易探索を行うようにしたものである。
【００３７】
画面フレーム内に複数の人間の顔が存在する場合は、すべての顔について簡易探索を行って座標位置を検出する。そして、探索された複数の顔座標群から、重複する顔が存在するか否の類似度を検出する顔座標合成処理を行う（ステップＳ５）。
【００３８】
ここでは、重複する顔のそれぞれについて、図５の直列接続された複数の識別器３０のうち、最終段でない途中段の識別器３０の出力を比較して、出力が最大となる顔座標を、重複する顔座標群の代表座標として選択する。そして、この代表座標群を顔の検出座標として出力する（ステップＳ６）。これにより、重複する顔を一つにまとめる。
【００３９】
図６はオブジェクト位置補正部４の処理動作の一例を示すフローチャートである。まず、オブジェクト探索部３が図４の処理で検出した顔座標（Ｘ，Ｙ）を含むオブジェクト探索領域（Ｘ，Ｙ）−（Ｘ＋ａ，Ｙ＋ｂ）内の色情報を入力する（ステップＳ１１）。次に、顔を含むオブジェクト探索領域内の色情報を表すＶ値の平均値Ｖｍを計算する（ステップＳ１２）。ここで、Ｖ値は色空間（カラースペース）を表す３要素ＹＵＶの一つであり、Ｙ値は輝度、Ｕ値は輝度と青の差、Ｖ値は輝度と赤の差である。ステップＳ１２でＶ値を採用する理由は、赤色と輝度は、人間の顔を識別するための重要な色情報であるためである。
【００４０】
上述したステップＳ１２では、オブジェクト探索領域（Ｘ，Ｙ）−（Ｘ＋ａ，Ｙ＋ｂ）の中心付近の領域（Ｘ＋ａ／２−ｃ，Ｙ＋ｂ／２−ｄ）―Ｐ（Ｘ＋ａ／２＋ｃ，Ｙ＋ｂ／２＋ｄ）内の色情報Ｖ値の平均値Ｖｍを算出する。ここでｃ、ｄは平均値を計算するオブジェクト探索領域の中心付近領域の範囲を決める値で、ｃ＝0.1×ａ、ｄ＝0.1×ｂで与えられる。なお、０．１という数字は一例に過ぎない。
【００４１】
そして、オブジェクト探索領域内の各画素のＶ値と平均値Ｖｍとの差分を計算し、各画素の差分値を重みとして、オブジェクト探索領域の重心（MeanShift量）を計算する（重心計算手段、ステップＳ１３）。
【００４２】
ここで、Ｘ方向の重心ＳｘとＹ方向の重心Ｓｙはそれぞれ、以下の（１）式と（２）式で表される。
【００４３】
【数１】
【００４４】
次に、計算された重心位置がオブジェクト探索領域の中心位置と重なるように、オブジェクト探索領域の位置をずらす（オブジェクト領域移動手段、ステップＳ１４）。そして、ずらした後のオブジェクト探索領域の座標位置を出力する（ステップＳ１５）。
【００４５】
例えば、元のオブジェクト探索領域の座標位置が（Ｘ，Ｙ）−（Ｘ＋ａ，Ｙ＋ｂ）であったとすると、ステップＳ１５では、（Ｘ＋Ｓx，Ｙ＋Ｓy）−（Ｘ＋ａ＋Ｓx，Ｙ＋ｂ＋Ｓy）の座標位置にずらされる。
【００４６】
このように、図６のオブジェクト位置補正部４では、検出された人間の顔を含むオブジェクト探索領域内の色情報に関する重心位置とオブジェクト探索領域の座標上の中心位置とが一致するように、オブジェクト探索領域の座標位置をずらす。すなわち、オブジェクト位置補正部４では、オブジェクト探索領域のサイズは変えずに、座標位置だけシフトさせる。
【００４７】
図７および図８はオブジェクト領域補正部５の処理動作の一例を示すフローチャートである。オブジェクト領域補正部５のフローチャートは二つに分けられる。図７はオブジェクト探索部３が設定したオブジェクト探索領域を広げる場合のフローチャートであり、図８はオブジェクト探索部３が設定したオブジェクト探索領域を狭める場合のフローチャートである。
【００４８】
まず、図７の処理を説明する。オブジェクト位置補正部４で座標位置を補正した後のオブジェクト探索領域を入力して、補正後のオブジェクト探索領域内のＶ値の平均値Ｖｍを計算する（ステップＳ２１）。
【００４９】
次に、オブジェクト探索領域のサイズを上下左右に拡張できるか否かを検出する（追加領域設定手段、追加領域重心計算手段、ステップＳ２２）。以下、このステップＳ２２の処理を詳細に説明する。
【００５０】
オブジェクト位置補正部４で座標位置を補正した後のオブジェクト探索領域の座標位置が、（Ｘ，Ｙ）−（Ｘ＋ａ，Ｙ＋ｂ）で表されるものとする。まず、十分に小さな値ｋを用いて、オブジェクト探索領域の左側（Ｘ方向の負側）に小領域（Ｘ−ｋ，Ｙ）−（Ｘ，Ｙ＋ｂ）を生成し（ステップＳ２２）、この小領域のＶ値の平均値Ｖ’ｍを算出する（ステップＳ２３）。
【００５１】
Ｖ’ｍ＜Ｖｍ×１．０５かつＶ’ｍ＞Ｖｍ×０．９５を満たすか否かを判定し（ステップＳ２４）、Ｖ’ｍ＜Ｖｍ×１．０５かつＶ’ｍ＞Ｖｍ×０．９５であれば、オブジェクト探索領域を小領域分拡張した新たなオブジェクト探索領域（Ｘ−ｋ，Ｙ）−（Ｘ＋ａ，Ｙ＋ｂ）を生成する（ステップＳ２５）。すなわち、小領域のＶ’ｍ値が元のオブジェクト探索領域内のＶ’ｍ値から５％以内しかずれていなければ、小領域にも人間の顔の情報が含まれていると判断して、オブジェクト探索領域に小領域を追加することにする。
【００５２】
上述した処理を、オブジェクト探索領域の左側（Ｘ方向の負側）、右側（Ｘ方向の正側）、上側（Ｙ方向の正側）、および下側（Ｙ方向の負側）について順次行い、オブジェクト探索領域の左側、右側、上側および下側に小領域を生成できるか否かを判定する。このとき、それぞれの方向の小領域内のＶ’ｍ値がオブジェクト探索領域のＶ’ｍ値から５％以内しかずれていなければ、その方向の小領域をオブジェクト探索領域に追加することにする。
【００５３】
これにより、オブジェクト探索領域を適正なサイズまで拡張することができる。そして、拡張後のオブジェクト探索領域の座標位置を検出する（オブジェクト領域更新手段、ステップＳ２５）。
【００５４】
一方、図８は、図７とは逆に、オブジェクト探索領域内の上下左右端から内側の小領域を削除できるか否かを検出する。オブジェクト位置補正部４で座標位置を補正した後のオブジェクト探索領域が入力されると（ステップＳ３１）、オブジェクト探索領域内の上下左右端から内側の小領域を削除して（ステップＳ３２）、削除した小領域内のＶ値の平均値Ｖｍを計算する（ステップＳ３３）。ここでは、オブジェクト探索領域の左端から内側の小領域（Ｘ，Ｙ）−（Ｘ−ｋ，Ｙ）を生成し、この小領域のＶ値の平均値Ｖ’ｍを算出する（ステップＳ３３）。
【００５５】
次に、Ｖ’ｍ＜Ｖｍ×１．０５かつＶ’ｍ＞Ｖｍ×０．９５を満たすか否かを判定する（ステップＳ３４）。すなわち、このステップＳ３４では、オブジェクト探索領域のサイズを上下左右端から内側に小領域分だけ削減できるか否かを検出する（削除領域設定手段、周縁領域重心計算手段）。
【００５６】
Ｖ’ｍ＜Ｖｍ×１．０５かつＶ’ｍ＞Ｖｍ×０．９５でなければ、オブジェクト探索領域を小領域分削除した新たなオブジェクト探索領域（Ｘ＋ｋ，Ｙ）−（Ｘ＋ａ，Ｙ＋ｂ）を生成する（オブジェクト領域更新手段、ステップＳ３５）。すなわち、小領域のＶ’ｍ値が元のオブジェクト探索領域内のＶ’ｍ値から５％以上ずれている場合には、小領域には人間の顔の情報は含まれていないと判断して、オブジェクト探索領域から小領域分を削除して、オブジェクト探索領域を狭める。
【００５７】
上述した処理を、オブジェクト探索領域の左側（Ｘ方向の負側）、右側（Ｘ方向の正側）、上側（Ｙ方向の正側）、および下側（Ｙ方向の負側）について順次行い、オブジェクト探索領域の左端、右端、上端および下端から内側に小領域分を削除できるか否かを判定する。このとき、それぞれの方向の小領域内のＶ’ｍ値がオブジェクト探索領域のＶ’ｍ値から５％以上ずれていれば、その方向の小領域分をオブジェクト探索領域から削除することにする。
【００５８】
上述した実施形態では、オブジェクトとして人間の顔を検出する例を説明したが、本実施形態は、人間の顔以外の種々の物体（例えば、乗り物など）をオブジェクトとして探索する場合にも適用可能である。オブジェクトの種類により、主体的な色情報や輝度情報が異なるため、オブジェクトの種類によっては、上述したＶ値に基づいてオブジェクト探索領域の重心位置や小領域の平均値を計算する代わりに、Ｕ値やＹ値を用いて重心位置を計算してもよい。
【００５９】
このように、本実施形態では、オブジェクトを探索する際はまず簡易な探索を行ってオブジェクトの周囲にオブジェクト探索領域を設定し、その後、オブジェクト探索領域の中心にオブジェクトが配置されるようにオブジェクト探索領域の位置補正を行い、最後にオブジェクト探索領域のサイズ調整を行うため、オブジェクトのサイズに見合ったオブジェクト探索領域を設定できる。
【００６０】
したがって、その後の処理で、オブジェクトの動き検出を行う際も、最適化されたサイズのオブジェクト探索領域を基準として動き検出を行えばよいため、動き検出を行う範囲を最小限に留めることができ、処理の高速化が図れる。
【００６１】
また、二次元映像データからオブジェクト探索を行って、探索されたオブジェクトのデプス情報を生成して三次元映像データを生成する場合も、最適化されたサイズのオブジェクト探索領域を基準としてデプス情報を生成すればよいため、デプス情報を生成する範囲を最小限に留めることができ、デプス情報を生成する処理を軽減することができる。
【００６２】
上述した実施形態で説明したオブジェクト探索装置１および映像表示装置２の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、オブジェクト探索装置１および映像表示装置２の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００６３】
また、オブジェクト探索装置１および映像表示装置２の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００６４】
本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【００６５】
１ オブジェクト探索装置
２ 映像表示装置
３ オブジェクト探索部
４ オブジェクト位置補正部
５ オブジェクト領域補正部
６ 座標検出部
７ デプス情報生成部
８ 三次元データ生成部
１１ デプステンプレート記憶部
１２ デプスマップ生成部
１３ デプスマップ補正部
１４ ディスパリティ変換部
１５ 視差画像生成部
２１ 受信処理部
２２ 画像処理部
２３ 三次元表示装置
２４ 表示パネル
２５ 光線制御素子
【技術分野】
【０００１】
本発明の実施形態は、画面フレーム内のオブジェクトを探索するオブジェクト探索装置、映像表示装置およびオブジェクト探索方法に関する。
【背景技術】
【０００２】
画面フレーム内に存在する人間の顔を検出する技術が提案されている。画面フレームは、１秒間に数十回切り替わるため、各フレームごとに画面フレーム全域から人間の顔を検出しようとすると、かなりの高速処理を強いられることになる。
【０００３】
そこで、画面フレームからオブジェクトが存在する可能性の高い色域を制限して、制限した色域内でオブジェクトを探索する手法が提案されている。
【０００４】
ところが、この手法では、色域を制限する段階で除外されるオブジェクトもあるため、オブジェクトの探索精度を向上させるのは困難である。
【０００５】
最近、立体映像を表示可能な三次元ＴＶが急速に普及してきたが、映像ソースとしては、既存ＴＶとの互換性や価格の問題もあって三次元映像データはまだまだ少ない。そこで、三次元ＴＶでは、既存の二次元映像データを擬似的に三次元映像データに変換する処理を行うことが多い。この場合、二次元映像データの各画面フレームから特徴的なオブジェクトを探索して、奥行き情報（以下、デプス情報）を付加する必要があるが、上述したように、オブジェクトの探索処理に時間を要するため、各画面フレームごとにデプス情報を生成する時間的な余裕がない場合もありうる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−２１６５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、簡易な手法で高速かつ精度よくオブジェクトを探索可能なオブジェクト探索装置、映像表示装置およびオブジェクト探索方法を提供するものである。
【課題を解決するための手段】
【０００８】
本実施形態では、画面フレームに含まれるオブジェクトを探索するオブジェクト探索手段と、
前記オブジェクト探索手段で探索されたオブジェクトを含むオブジェクト探索領域内の中心位置にオブジェクトが位置するように、前記オブジェクト探索領域の位置を補正するオブジェクト位置補正手段と、
前記オブジェクト探索領域内のオブジェクト以外の背景領域が最小になるように前記オブジェクト探索領域の面積をサイズ調整するオブジェクト領域補正手段と、
前記オブジェクト領域補正手段で補正したオブジェクト探索領域に基づいて、前記オブジェクトの座標位置を検出する座標検出手段と、を備えるオブジェクト探索装置が提供される。
【図面の簡単な説明】
【０００９】
【図１】オブジェクト探索装置１を備えた映像表示装置２の概略構成の一例を示すブロック図。
【図２】デプス情報生成部７と三次元データ生成部８の一例を示す詳細なブロック図。
【図３】図１のオブジェクト探索装置１の処理動作を模式化した図。
【図４】オブジェクト探索部３の処理動作の一例を示すフローチャート。
【図５】直列接続された複数の識別器の一例を示す図。
【図６】オブジェクト位置補正部４の処理動作の一例を示すフローチャート。
【図７】オブジェクト探索領域を広げる場合の一例を示すフローチャート。
【図８】オブジェクト探索領域を狭める場合の一例を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、本発明の一実施形態を説明する。
【００１１】
図１は本実施形態に係るオブジェクト探索装置１を備えた映像表示装置２の概略構成を示すブロック図である。まず、オブジェクト探索装置１の内部構成を説明する。
【００１２】
図１のオブジェクト探索装置１は、オブジェクト探索部３と、オブジェクト位置補正部４と、オブジェクト領域補正部５と、座標検出部６と、デプス情報生成部７と、三次元データ生成部８とを備えている。
【００１３】
オブジェクト探索部３は、１つの画面フレーム分のフレーム映像データに含まれるオブジェクトを探索する。オブジェクト探索部３は、探索したオブジェクトを含む所定サイズの画素領域をオブジェクト探索領域として設定する。オブジェクト探索部３は、画面フレームに複数のオブジェクトが含まれる場合は、すべてのオブジェクトを探索し、各オブジェクトごとに、オブジェクト探索領域を設定する。
【００１４】
オブジェクト位置補正部４は、オブジェクト探索領域内の中心位置にオブジェクトが位置するように、オブジェクト探索領域の位置を補正する。
【００１５】
オブジェクト領域補正部５は、オブジェクト探索領域内のオブジェクト以外の背景領域が最小になるようにオブジェクト探索領域の面積をサイズ調整する。すなわち、オブジェクト領域補正部５は、オブジェクトの大きさに合わせて、オブジェクト探索領域のサイズを最適化する。
【００１６】
座標検出部６は、オブジェクト領域補正部５で補正したオブジェクト探索領域に基づいて、オブジェクトの座標位置を検出する。
【００１７】
デプス情報生成部７は、座標検出部６で検出されたオブジェクトに対応するデプス情報を生成する。そして、三次元データ生成部８は、座標検出部６で検出されたオブジェクトと、そのデプス情報とに基づいて、オブジェクトの三次元映像データを生成する。三次元映像データは、右目用視差データと左目用視差データを含んでおり、場合によっては、多視差データを含んでいてもよい。
【００１８】
上述したデプス情報生成部７と三次元データ生成部８は、必ずしも必須ではない。三次元映像データを記録または再生する必要がない場合は、デプス情報生成部７と三次元データ生成部８を設けなくてもよい。
【００１９】
図２はデプス情報生成部７と三次元データ生成部８の詳細なブロック図である。図２に示すように、デプス情報生成部７は、デプステンプレート記憶部１１と、デプスマップ生成部１２と、デプスマップ補正部１３とを有する。三次元データ生成部８は、ディスパリティ変換部１４と視差画像生成部１５とを有する。
【００２０】
デプステンプレート記憶部１１は、オブジェクトの種類ごとに、各オブジェクトの各画素のデプス値（奥行き値）を記述したデプステンプレートを記憶する。
【００２１】
デプスマップ生成部１２は、座標特定部７で検出されたオブジェクトに応じたデプステンプレートをデプステンプレート記憶部１１から読み出して、画像処理部２２から供給されるフレーム映像データの各画素にデプス値を対応づけたデプスマップを生成する。
【００２２】
デプスマップ補正部１３は、デプスマップ上の各画素をその周辺画素にて重み付け平滑化して、各画素のデプス値を補正する。
【００２３】
三次元データ生成部８内のディスパリティ変換部１４は、デプスマップにおける各画素のデプス値から各画素の視差ベクトルを求めて、各画素の視差ベクトルが記述されたディスパリティマップを生成する。視差画像生成部１５は、入力画像とディスパリティマップから視差画像を生成する。
【００２４】
図１の映像表示装置２は、例えば三次元ＴＶであり、図１のオブジェクト探索装置１の他には、受信処理部２１と、画像処理部２２と、三次元表示装置２３とを備えている。
【００２５】
受信処理部２１は、不図示のアンテナで受信した放送受信信号をベースバンド信号に復調した後に、復号処理を行う。画像処理部２２は、受信処理部２１を通過した信号に対してノイズ処理等を施して、図１のオブジェクト探索装置１に供給するためのフレーム映像データを生成する。
【００２６】
三次元表示装置２３は、マトリクス状に配列された画素を有する表示パネル２４と、この表示パネル２４に対向するように配置されて各画素からの光線を制御する複数の射出瞳を有する光線制御素子２５とを有する。表示パネル２４としては、例えば液晶パネルや、プラズマディスプレイ、ＥＬ（ElectroLuminescent）パネル等を用いることができる。光線制御素子２５は、一般的にはパララクスバリアまたは視差バリアとも呼ばれ、光線制御素子２５の各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差（水平視差）のみを与える場合には、複数のスリットを有するスリット版またはレンチキュラーシート（シリンドリカルレンズアレイ）が用いられ、上下視差（垂直視差）も含める場合には、ピンホールアレイまたはレンズアレイが用いられる。すなわち、スリット板のスリットや、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、レンズアレイのレンズが各射出瞳になる。
【００２７】
なお、三次元表示装置２３は、複数の射出瞳を有する光線制御素子２５を備えたもの以外に、パララックスバリアを透過型液晶表示装置などで電子的に発生させ、バリアパターンの形状や位置などを電子的に可変制御する三次元表示装置２３でもよい。すなわち、後述する立体画像表示用の画像が表示可能な表示装置であれば、具体的な三次元表示装置２３の構成は問わない。
【００２８】
また、本実施形態に係るオブジェクト探索装置１は、必ずしもＴＶに内蔵されるものではない。例えば、受信処理部２１で受信した放送受信信号に含まれるフレーム映像データを三次元映像データに変換して、ＨＤＤ（ハードディスクドライブ）や光ディスク（例えばブルーレイディスク）等に記録する記録装置に適用してもよい。
【００２９】
図３は図１のオブジェクト探索装置１の処理動作を模式化した図である。まず、オブジェクト探索部３は、図３（ａ）に示すように、画面フレーム内のオブジェクト３１を探索し、探索されたオブジェクト３１を含むようにオブジェクト探索領域３２を設定する。次に、オブジェクト位置補正部４は、図３（ｂ）に示すように、オブジェクト探索領域３２の位置をずらして、オブジェクト探索領域３２の中央にオブジェクト３１を配置する。次に、オブジェクト領域補正部５は、図３（ｃ）に示すように、オブジェクト探索領域３２のサイズ調整を行って、オブジェクト探索領域３２内のオブジェクト３１以外の背景領域を最小化する。例えば、オブジェクト領域補正部５は、オブジェクト探索領域３２の境界線がオブジェクト３１の輪郭線に接するようにする。
【００３０】
座標検出部６は、オブジェクト領域補正部５でサイズ調整したオブジェクト探索領域３２に基づいて、オブジェクト３１の座標位置を検出する。
【００３１】
図４はオブジェクト探索部３の処理動作の一例を示すフローチャートである。まず、画像処理装置から１画面フレーム分のフレーム映像データが供給されると（ステップＳ１）、この画面フレーム内を探索してオブジェクトを検出する（ステップＳ２）。ここでは、人間の顔を探索対象のオブジェクトとしている。
【００３２】
人間の顔を探索する場合、例えばHaar-like特徴を用いた物体検出方法を利用する。この物体検出方法は、図５に示すように複数の識別器３０を直列接続したものであり、個々の識別器３０は事前に統計学習を行って人間の顔か否かを識別する機能を持っている。個々の識別器３０は、所定の画素領域からなる探索範囲を単位としてHaar-like特徴を用いた物体検出を行う。前段の識別器３０による物体検出結果は後段の識別器３０に入力されるため、後段の識別器３０ほど、より精度よく人間の顔を探索できる。したがって、識別器３０の接続段数を増やすほど、識別力が向上するが、処理に時間がかかり、また識別器３０の実装面積も増大してしまう。したがって、許容可能な実装規模と識別精度との兼ね合いで、識別器３０の接続段数を定めるのが望ましい。
【００３３】
次に、図５の識別器３０の出力に基づいて、人間の顔か否かを判定する（ステップＳ３）。
【００３４】
上述したステップＳ３において、座標位置（Ｘ，Ｙ）で顔と判定されたとすると、その周辺領域（Ｘ−ｘ，Ｙ−ｙ）−（Ｘ＋ｘ，Ｙ＋ｙ）で顔周辺の簡易探索処理を行う（ステップＳ４）。ここでは、図５の複数の識別器３０のうち最終段の識別器３０の出力に基づいて顔の探索処理を行うのではなく、最終段よりも前段側の識別器３０の出力に基づいて人間の顔か否かを判定する。これにより、最終段の識別器３０が識別結果を出力するまで待機しなくて済み、高速処理が可能となる。
【００３５】
なお、座標位置（Ｘ，Ｙ）で人間の顔と判定された場合は、（Ｘ，Ｙ）−（Ｘ＋ａ，Ｙ＋ｂ）の範囲（ａ，ｂは固定値）にオブジェクト探索領域３２が設定される。
【００３６】
ステップＳ４で詳細探索ではなく簡易探索を行う理由は、後に行われるオブジェクト位置補正部４とオブジェクト領域補正部５で詳細探索を行うことから、処理の高速化のために、オブジェクト探索部３では簡易探索を行うようにしたものである。
【００３７】
画面フレーム内に複数の人間の顔が存在する場合は、すべての顔について簡易探索を行って座標位置を検出する。そして、探索された複数の顔座標群から、重複する顔が存在するか否の類似度を検出する顔座標合成処理を行う（ステップＳ５）。
【００３８】
ここでは、重複する顔のそれぞれについて、図５の直列接続された複数の識別器３０のうち、最終段でない途中段の識別器３０の出力を比較して、出力が最大となる顔座標を、重複する顔座標群の代表座標として選択する。そして、この代表座標群を顔の検出座標として出力する（ステップＳ６）。これにより、重複する顔を一つにまとめる。
【００３９】
図６はオブジェクト位置補正部４の処理動作の一例を示すフローチャートである。まず、オブジェクト探索部３が図４の処理で検出した顔座標（Ｘ，Ｙ）を含むオブジェクト探索領域（Ｘ，Ｙ）−（Ｘ＋ａ，Ｙ＋ｂ）内の色情報を入力する（ステップＳ１１）。次に、顔を含むオブジェクト探索領域内の色情報を表すＶ値の平均値Ｖｍを計算する（ステップＳ１２）。ここで、Ｖ値は色空間（カラースペース）を表す３要素ＹＵＶの一つであり、Ｙ値は輝度、Ｕ値は輝度と青の差、Ｖ値は輝度と赤の差である。ステップＳ１２でＶ値を採用する理由は、赤色と輝度は、人間の顔を識別するための重要な色情報であるためである。
【００４０】
上述したステップＳ１２では、オブジェクト探索領域（Ｘ，Ｙ）−（Ｘ＋ａ，Ｙ＋ｂ）の中心付近の領域（Ｘ＋ａ／２−ｃ，Ｙ＋ｂ／２−ｄ）―Ｐ（Ｘ＋ａ／２＋ｃ，Ｙ＋ｂ／２＋ｄ）内の色情報Ｖ値の平均値Ｖｍを算出する。ここでｃ、ｄは平均値を計算するオブジェクト探索領域の中心付近領域の範囲を決める値で、ｃ＝0.1×ａ、ｄ＝0.1×ｂで与えられる。なお、０．１という数字は一例に過ぎない。
【００４１】
そして、オブジェクト探索領域内の各画素のＶ値と平均値Ｖｍとの差分を計算し、各画素の差分値を重みとして、オブジェクト探索領域の重心（MeanShift量）を計算する（重心計算手段、ステップＳ１３）。
【００４２】
ここで、Ｘ方向の重心ＳｘとＹ方向の重心Ｓｙはそれぞれ、以下の（１）式と（２）式で表される。
【００４３】
【数１】
【００４４】
次に、計算された重心位置がオブジェクト探索領域の中心位置と重なるように、オブジェクト探索領域の位置をずらす（オブジェクト領域移動手段、ステップＳ１４）。そして、ずらした後のオブジェクト探索領域の座標位置を出力する（ステップＳ１５）。
【００４５】
例えば、元のオブジェクト探索領域の座標位置が（Ｘ，Ｙ）−（Ｘ＋ａ，Ｙ＋ｂ）であったとすると、ステップＳ１５では、（Ｘ＋Ｓx，Ｙ＋Ｓy）−（Ｘ＋ａ＋Ｓx，Ｙ＋ｂ＋Ｓy）の座標位置にずらされる。
【００４６】
このように、図６のオブジェクト位置補正部４では、検出された人間の顔を含むオブジェクト探索領域内の色情報に関する重心位置とオブジェクト探索領域の座標上の中心位置とが一致するように、オブジェクト探索領域の座標位置をずらす。すなわち、オブジェクト位置補正部４では、オブジェクト探索領域のサイズは変えずに、座標位置だけシフトさせる。
【００４７】
図７および図８はオブジェクト領域補正部５の処理動作の一例を示すフローチャートである。オブジェクト領域補正部５のフローチャートは二つに分けられる。図７はオブジェクト探索部３が設定したオブジェクト探索領域を広げる場合のフローチャートであり、図８はオブジェクト探索部３が設定したオブジェクト探索領域を狭める場合のフローチャートである。
【００４８】
まず、図７の処理を説明する。オブジェクト位置補正部４で座標位置を補正した後のオブジェクト探索領域を入力して、補正後のオブジェクト探索領域内のＶ値の平均値Ｖｍを計算する（ステップＳ２１）。
【００４９】
次に、オブジェクト探索領域のサイズを上下左右に拡張できるか否かを検出する（追加領域設定手段、追加領域重心計算手段、ステップＳ２２）。以下、このステップＳ２２の処理を詳細に説明する。
【００５０】
オブジェクト位置補正部４で座標位置を補正した後のオブジェクト探索領域の座標位置が、（Ｘ，Ｙ）−（Ｘ＋ａ，Ｙ＋ｂ）で表されるものとする。まず、十分に小さな値ｋを用いて、オブジェクト探索領域の左側（Ｘ方向の負側）に小領域（Ｘ−ｋ，Ｙ）−（Ｘ，Ｙ＋ｂ）を生成し（ステップＳ２２）、この小領域のＶ値の平均値Ｖ’ｍを算出する（ステップＳ２３）。
【００５１】
Ｖ’ｍ＜Ｖｍ×１．０５かつＶ’ｍ＞Ｖｍ×０．９５を満たすか否かを判定し（ステップＳ２４）、Ｖ’ｍ＜Ｖｍ×１．０５かつＶ’ｍ＞Ｖｍ×０．９５であれば、オブジェクト探索領域を小領域分拡張した新たなオブジェクト探索領域（Ｘ−ｋ，Ｙ）−（Ｘ＋ａ，Ｙ＋ｂ）を生成する（ステップＳ２５）。すなわち、小領域のＶ’ｍ値が元のオブジェクト探索領域内のＶ’ｍ値から５％以内しかずれていなければ、小領域にも人間の顔の情報が含まれていると判断して、オブジェクト探索領域に小領域を追加することにする。
【００５２】
上述した処理を、オブジェクト探索領域の左側（Ｘ方向の負側）、右側（Ｘ方向の正側）、上側（Ｙ方向の正側）、および下側（Ｙ方向の負側）について順次行い、オブジェクト探索領域の左側、右側、上側および下側に小領域を生成できるか否かを判定する。このとき、それぞれの方向の小領域内のＶ’ｍ値がオブジェクト探索領域のＶ’ｍ値から５％以内しかずれていなければ、その方向の小領域をオブジェクト探索領域に追加することにする。
【００５３】
これにより、オブジェクト探索領域を適正なサイズまで拡張することができる。そして、拡張後のオブジェクト探索領域の座標位置を検出する（オブジェクト領域更新手段、ステップＳ２５）。
【００５４】
一方、図８は、図７とは逆に、オブジェクト探索領域内の上下左右端から内側の小領域を削除できるか否かを検出する。オブジェクト位置補正部４で座標位置を補正した後のオブジェクト探索領域が入力されると（ステップＳ３１）、オブジェクト探索領域内の上下左右端から内側の小領域を削除して（ステップＳ３２）、削除した小領域内のＶ値の平均値Ｖｍを計算する（ステップＳ３３）。ここでは、オブジェクト探索領域の左端から内側の小領域（Ｘ，Ｙ）−（Ｘ−ｋ，Ｙ）を生成し、この小領域のＶ値の平均値Ｖ’ｍを算出する（ステップＳ３３）。
【００５５】
次に、Ｖ’ｍ＜Ｖｍ×１．０５かつＶ’ｍ＞Ｖｍ×０．９５を満たすか否かを判定する（ステップＳ３４）。すなわち、このステップＳ３４では、オブジェクト探索領域のサイズを上下左右端から内側に小領域分だけ削減できるか否かを検出する（削除領域設定手段、周縁領域重心計算手段）。
【００５６】
Ｖ’ｍ＜Ｖｍ×１．０５かつＶ’ｍ＞Ｖｍ×０．９５でなければ、オブジェクト探索領域を小領域分削除した新たなオブジェクト探索領域（Ｘ＋ｋ，Ｙ）−（Ｘ＋ａ，Ｙ＋ｂ）を生成する（オブジェクト領域更新手段、ステップＳ３５）。すなわち、小領域のＶ’ｍ値が元のオブジェクト探索領域内のＶ’ｍ値から５％以上ずれている場合には、小領域には人間の顔の情報は含まれていないと判断して、オブジェクト探索領域から小領域分を削除して、オブジェクト探索領域を狭める。
【００５７】
上述した処理を、オブジェクト探索領域の左側（Ｘ方向の負側）、右側（Ｘ方向の正側）、上側（Ｙ方向の正側）、および下側（Ｙ方向の負側）について順次行い、オブジェクト探索領域の左端、右端、上端および下端から内側に小領域分を削除できるか否かを判定する。このとき、それぞれの方向の小領域内のＶ’ｍ値がオブジェクト探索領域のＶ’ｍ値から５％以上ずれていれば、その方向の小領域分をオブジェクト探索領域から削除することにする。
【００５８】
上述した実施形態では、オブジェクトとして人間の顔を検出する例を説明したが、本実施形態は、人間の顔以外の種々の物体（例えば、乗り物など）をオブジェクトとして探索する場合にも適用可能である。オブジェクトの種類により、主体的な色情報や輝度情報が異なるため、オブジェクトの種類によっては、上述したＶ値に基づいてオブジェクト探索領域の重心位置や小領域の平均値を計算する代わりに、Ｕ値やＹ値を用いて重心位置を計算してもよい。
【００５９】
このように、本実施形態では、オブジェクトを探索する際はまず簡易な探索を行ってオブジェクトの周囲にオブジェクト探索領域を設定し、その後、オブジェクト探索領域の中心にオブジェクトが配置されるようにオブジェクト探索領域の位置補正を行い、最後にオブジェクト探索領域のサイズ調整を行うため、オブジェクトのサイズに見合ったオブジェクト探索領域を設定できる。
【００６０】
したがって、その後の処理で、オブジェクトの動き検出を行う際も、最適化されたサイズのオブジェクト探索領域を基準として動き検出を行えばよいため、動き検出を行う範囲を最小限に留めることができ、処理の高速化が図れる。
【００６１】
また、二次元映像データからオブジェクト探索を行って、探索されたオブジェクトのデプス情報を生成して三次元映像データを生成する場合も、最適化されたサイズのオブジェクト探索領域を基準としてデプス情報を生成すればよいため、デプス情報を生成する範囲を最小限に留めることができ、デプス情報を生成する処理を軽減することができる。
【００６２】
上述した実施形態で説明したオブジェクト探索装置１および映像表示装置２の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、オブジェクト探索装置１および映像表示装置２の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００６３】
また、オブジェクト探索装置１および映像表示装置２の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００６４】
本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【００６５】
１ オブジェクト探索装置
２ 映像表示装置
３ オブジェクト探索部
４ オブジェクト位置補正部
５ オブジェクト領域補正部
６ 座標検出部
７ デプス情報生成部
８ 三次元データ生成部
１１ デプステンプレート記憶部
１２ デプスマップ生成部
１３ デプスマップ補正部
１４ ディスパリティ変換部
１５ 視差画像生成部
２１ 受信処理部
２２ 画像処理部
２３ 三次元表示装置
２４ 表示パネル
２５ 光線制御素子
【特許請求の範囲】
【請求項１】
画面フレームに含まれるオブジェクトを探索するオブジェクト探索手段と、
前記オブジェクト探索手段で探索されたオブジェクトを含むオブジェクト探索領域内の中心位置にオブジェクトが位置するように、前記オブジェクト探索領域の位置を補正するオブジェクト位置補正手段と、
前記オブジェクト探索領域内のオブジェクト以外の背景領域が最小になるように前記オブジェクト探索領域の面積をサイズ調整するオブジェクト領域補正手段と、
前記オブジェクト領域補正手段で補正したオブジェクト探索領域に基づいて、前記オブジェクトの座標位置を検出する座標検出手段と、を備えるオブジェクト探索装置。
【請求項２】
前記オブジェクト位置補正手段は、
前記オブジェクト探索領域の重心位置を計算する重心計算手段と、
前記オブジェクト探索領域の中心が前記重心計算手段で計算した重心位置に一致するように前記オブジェクト探索領域を移動させるオブジェクト領域移動手段と、を有する請求項１に記載のオブジェクト探索装置。
【請求項３】
前記重心計算手段は、前記オブジェクト探索領域の色情報についての重心位置を計算する請求項２に記載のオブジェクト探索装置。
【請求項４】
前記オブジェクト探索手段は、Haar-like特徴を用いて人間の顔をオブジェクトとして探索する請求項１乃至３のいずれかに記載のオブジェクト探索装置。
【請求項５】
前記オブジェクト領域補正手段は、
前記オブジェクト探索領域の周囲に所定の面積の追加領域を付加した新たなオブジェクト探索領域を設定する追加領域設定手段と、
前記追加領域内の重心位置を計算する追加領域重心計算手段と、
前記追加領域重心計算手段で計算された重心位置と前記重心計算手段で計算された重心位置との差分の絶対値が所定値以下であれば、前記新たなオブジェクト探索領域を採用するオブジェクト領域更新手段と、を有する請求項１乃至４のいずれかに記載のオブジェクト探索装置。
【請求項６】
前記オブジェクト領域補正手段は、
前記オブジェクト探索領域の周縁部から所定の面積の周縁領域を削除した新たなオブジェクト探索領域を設定する削除領域設定手段と、
前記周縁領域内の重心位置を計算する周縁領域重心計算手段と、
前記周縁領域重心計算手段で計算された重心位置と前記重心計算手段で計算された重心位置との差分の絶対値が所定値以下であれば、前記新たなオブジェクト探索領域を採用するオブジェクト領域更新手段と、を有する請求項１乃至４のいずれかに記載のオブジェクト探索装置。
【請求項７】
前記座標検出手段で座標位置を検出したオブジェクトのデプス情報を生成するデプス情報生成手段と、
前記デプス情報生成手段で生成されたデプス情報に基づいて、対応するオブジェクトを三次元表示するための視差データを生成する三次元データ生成手段と、を備える請求項１乃至６のいずれかに記載のオブジェクト探索装置。
【請求項８】
放送波を受信して復号処理および所定の画像処理を行ってフレーム映像データを生成する受信処理手段と、
前記視差データを表示する表示装置と、を備え、
前記オブジェクト探索手段は、前記フレーム映像データを複数に分割して得られる前記分割フレーム映像データに含まれるオブジェクトを探索する請求項７に記載のオブジェクト探索装置を備えた映像表示装置。
【請求項９】
画面フレームに含まれるオブジェクトを探索するステップと、
前記探索されたオブジェクトを含むオブジェクト探索領域内の中心位置にオブジェクトが位置するように、前記オブジェクト探索領域の位置を補正するステップと、
前記オブジェクト探索領域内のオブジェクト以外の背景領域が最小になるように前記オブジェクト探索領域の面積をサイズ調整するステップと、
位置を補正したオブジェクト探索領域に基づいて、前記オブジェクトの座標位置を検出するステップと、を備えるオブジェクト探索方法。
【請求項１】
画面フレームに含まれるオブジェクトを探索するオブジェクト探索手段と、
前記オブジェクト探索手段で探索されたオブジェクトを含むオブジェクト探索領域内の中心位置にオブジェクトが位置するように、前記オブジェクト探索領域の位置を補正するオブジェクト位置補正手段と、
前記オブジェクト探索領域内のオブジェクト以外の背景領域が最小になるように前記オブジェクト探索領域の面積をサイズ調整するオブジェクト領域補正手段と、
前記オブジェクト領域補正手段で補正したオブジェクト探索領域に基づいて、前記オブジェクトの座標位置を検出する座標検出手段と、を備えるオブジェクト探索装置。
【請求項２】
前記オブジェクト位置補正手段は、
前記オブジェクト探索領域の重心位置を計算する重心計算手段と、
前記オブジェクト探索領域の中心が前記重心計算手段で計算した重心位置に一致するように前記オブジェクト探索領域を移動させるオブジェクト領域移動手段と、を有する請求項１に記載のオブジェクト探索装置。
【請求項３】
前記重心計算手段は、前記オブジェクト探索領域の色情報についての重心位置を計算する請求項２に記載のオブジェクト探索装置。
【請求項４】
前記オブジェクト探索手段は、Haar-like特徴を用いて人間の顔をオブジェクトとして探索する請求項１乃至３のいずれかに記載のオブジェクト探索装置。
【請求項５】
前記オブジェクト領域補正手段は、
前記オブジェクト探索領域の周囲に所定の面積の追加領域を付加した新たなオブジェクト探索領域を設定する追加領域設定手段と、
前記追加領域内の重心位置を計算する追加領域重心計算手段と、
前記追加領域重心計算手段で計算された重心位置と前記重心計算手段で計算された重心位置との差分の絶対値が所定値以下であれば、前記新たなオブジェクト探索領域を採用するオブジェクト領域更新手段と、を有する請求項１乃至４のいずれかに記載のオブジェクト探索装置。
【請求項６】
前記オブジェクト領域補正手段は、
前記オブジェクト探索領域の周縁部から所定の面積の周縁領域を削除した新たなオブジェクト探索領域を設定する削除領域設定手段と、
前記周縁領域内の重心位置を計算する周縁領域重心計算手段と、
前記周縁領域重心計算手段で計算された重心位置と前記重心計算手段で計算された重心位置との差分の絶対値が所定値以下であれば、前記新たなオブジェクト探索領域を採用するオブジェクト領域更新手段と、を有する請求項１乃至４のいずれかに記載のオブジェクト探索装置。
【請求項７】
前記座標検出手段で座標位置を検出したオブジェクトのデプス情報を生成するデプス情報生成手段と、
前記デプス情報生成手段で生成されたデプス情報に基づいて、対応するオブジェクトを三次元表示するための視差データを生成する三次元データ生成手段と、を備える請求項１乃至６のいずれかに記載のオブジェクト探索装置。
【請求項８】
放送波を受信して復号処理および所定の画像処理を行ってフレーム映像データを生成する受信処理手段と、
前記視差データを表示する表示装置と、を備え、
前記オブジェクト探索手段は、前記フレーム映像データを複数に分割して得られる前記分割フレーム映像データに含まれるオブジェクトを探索する請求項７に記載のオブジェクト探索装置を備えた映像表示装置。
【請求項９】
画面フレームに含まれるオブジェクトを探索するステップと、
前記探索されたオブジェクトを含むオブジェクト探索領域内の中心位置にオブジェクトが位置するように、前記オブジェクト探索領域の位置を補正するステップと、
前記オブジェクト探索領域内のオブジェクト以外の背景領域が最小になるように前記オブジェクト探索領域の面積をサイズ調整するステップと、
位置を補正したオブジェクト探索領域に基づいて、前記オブジェクトの座標位置を検出するステップと、を備えるオブジェクト探索方法。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図３】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図３】
【公開番号】特開２０１３−５１６１７（Ｐ２０１３−５１６１７Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８９４９３（Ｐ２０１１−１８９４９３）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]