オブジェクト探索装置、映像表示装置およびオブジェクト探索方法
【課題】簡易な手順で高速かつ精度よくオブジェクトを探索できるようにする。
【解決手段】一実施形態に係るオブジェクト探索装置１は、画面フレームを複数に分割した複数の分割フレーム領域を一つずつ順に探索領域として設定する探索領域設定手段３と、分割フレーム領域に含まれるオブジェクトを探索して、探索されたオブジェクトの座標位置を検出するオブジェクト探索手段４と、探索されたオブジェクトの座標位置を基準として、過去と現在の画面フレームを比較して動き検出を行い、現在の画面フレームでのオブジェクトの座標位置を検出するオブジェクト追従手段５と、探索されたオブジェクトの座標位置と追従されたオブジェクトの座標位置とを比較して、重複する座標位置を削除して、オブジェクトの座標位置を特定する座標合成手段６と、を備える。
【解決手段】一実施形態に係るオブジェクト探索装置１は、画面フレームを複数に分割した複数の分割フレーム領域を一つずつ順に探索領域として設定する探索領域設定手段３と、分割フレーム領域に含まれるオブジェクトを探索して、探索されたオブジェクトの座標位置を検出するオブジェクト探索手段４と、探索されたオブジェクトの座標位置を基準として、過去と現在の画面フレームを比較して動き検出を行い、現在の画面フレームでのオブジェクトの座標位置を検出するオブジェクト追従手段５と、探索されたオブジェクトの座標位置と追従されたオブジェクトの座標位置とを比較して、重複する座標位置を削除して、オブジェクトの座標位置を特定する座標合成手段６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画面フレーム内のオブジェクトを探索するオブジェクト探索装置、映像表示装置およびオブジェクト探索方法に関する。
【背景技術】
【０００２】
画面フレームの中に含まれるオブジェクトを探索し、探索したオブジェクトの動き方向を検出して動き補償を行う技術が提案されている。
【０００３】
ところが、画面フレームからオブジェクトを探索するには、画面フレーム全体について何らかの手法で画像の特徴解析を行うか、あるいは隣接する画面フレーム同士を比較して動きのあるオブジェクトの探索を行う必要がある。これらのオブジェクト探索処理は、画面フレームごとに行わなければならないため、処理負担が大きいという問題がある。
【０００４】
最近、立体映像を表示可能な三次元ＴＶが急速に普及してきたが、映像ソースとしては、既存ＴＶとの互換性や価格の問題もあって三次元映像データはまだまだ少ない。そこで、三次元ＴＶでは、既存の二次元映像データを擬似的に三次元映像データに変換する処理を行うことが多い。この場合、二次元映像データの各画面フレームから特徴的なオブジェクトを探索して、奥行き情報（以下、デプス情報）を付加する必要があるが、上述したように、オブジェクトの探索処理に時間を要するため、各画面フレームごとにデプス情報を生成する時間的な余裕がない場合もありうる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２１６５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、簡易な手順で高速かつ精度よくオブジェクトを探索可能なオブジェクト探索装置、映像表示装置およびオブジェクト探索方法を提供するものである。
【課題を解決するための手段】
【０００７】
本実施形態では、画面フレームを複数に分割した複数の分割フレーム領域を一つずつ順に探索領域として設定する探索領域設定手段と、
前記探索領域として設定された分割フレーム領域に含まれるオブジェクトを探索して、探索されたオブジェクトの座標位置を検出するオブジェクト探索手段と、
前記オブジェクト探索手段で探索されたオブジェクトの座標位置を基準として、過去と現在の画面フレームを比較して動き検出を行い、現在の画面フレームでのオブジェクトの座標位置を検出するオブジェクト追従手段と、
前記オブジェクト探索手段で探索されたオブジェクトの座標位置と前記オブジェクト追従手段で追従されたオブジェクトの座標位置とを比較して、重複する座標位置を削除して、オブジェクトの座標位置を特定する座標合成手段と、を備えるオブジェクト探索装置が提供される。
【図面の簡単な説明】
【０００８】
【図１】図１は本実施形態に係る映像表示装置２の概略構成を示すブロック図。
【図２】デプス情報生成部８と三次元データ生成部９の一実施形態に係る詳細なブロック図。
【図３】図１のオブジェクト探索装置１の処理動作の一例を示すフローチャート。
【図４】図１のオブジェクト探索装置１の処理を模式的に説明する図。
【図５】１つの分割フレーム領域の幅を説明する図。
【図６】座標合成部６の詳細な処理動作を示すフローチャート。
【図７】座標合成部６の処理内容を説明する図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、本発明の一実施形態を説明する。
【００１０】
図１は本実施形態に係るオブジェクト探索装置１を備えた映像表示装置２の概略構成を示すブロック図である。まず、オブジェクト探索装置１の内部構成を説明する。
【００１１】
図１のオブジェクト探索装置１は、探索領域設定部３と、オブジェクト探索部４と、オブジェクト追従部５と、座標合成部６と、デプス情報生成部８と、三次元データ生成部９と、を備えている。
【００１２】
探索領域設定部３は、１つの画面フレームを複数に分割した複数の分割フレーム領域の中から一つずつ順に探索領域として設定する。より具体的には、探索領域設定部３は、複数の分割フレーム領域のそれぞれに識別番号を割り振って、いずれかの識別番号を指定することで、任意の一つの分割フレーム領域を探索領域として設定する。
【００１３】
なお、画面フレームを複数に分割する際は、水平方向に分割してもよいし、垂直方向に分割してもよい。以下では、水平方向に分割する例を説明する。
【００１４】
オブジェクト探索部４は、探索領域として設定された分割フレーム領域に含まれるオブジェクトを探索して、探索されたオブジェクトの座標位置を検出する。このように、オブジェクト探索部４は、画面フレーム全体ではなく、そのうちの一部である一つの分割フレーム領域内のみオブジェクトを探索するため、探索処理に要する時間を短縮できる。
【００１５】
オブジェクト追従部５は、オブジェクト探索部４で検出されたオブジェクトの座標位置を基準として、過去と現在の画面フレームを比較して動き検出を行い、現在の画面フレームでのオブジェクトの座標位置を検出する。より詳細には、オブジェクト追従部５は、オブジェクト探索部４で検出されたオブジェクトの座標位置を含む領域について、現在と過去の画面フレームを比較して動き検出を行う。その結果、移動方向と移動量（動きベクトル）が検出されたら、オブジェクト探索部４で検出されたオブジェクトの座標位置を動きベクトルで修正して、現在の画面フレームでのオブジェクトの座標位置を検出する。
【００１６】
座標合成部６は、オブジェクト探索部４で検出されたオブジェクトの座標位置とオブジェクト追従部５で検出されたオブジェクトの座標位置とを比較して、重複する座標位置を削除する。このとき、オブジェクト探索部４で検出されたオブジェクトの座標位置がＭ個（Ｍは１以上の整数）あり、オブジェクト追従部５で検出されたオブジェクトの座標位置がＮ個（Ｎは１以上の整数）ある場合は、これら（Ｍ＋Ｎ）個の座標位置を総当たりで比較して、重複する座標位置を削除する。オブジェクト探索部４で検出されたオブジェクトの座標位置とオブジェクト追従部５で検出されたオブジェクトの座標位置とが重複する場合は、オブジェクト追従部５で検出されたオブジェクトの座標位置を削除する。その理由は、オブジェクト探索部４で検出されたオブジェクトの座標位置の方が正確性が高いと考えられるためである。座標合成部６の処理により、オブジェクトの座標位置が特定される。
【００１７】
デプス情報生成部８は、座標合成部６で検出されたオブジェクトに対応するデプス情報を生成する。そして、三次元データ生成部９は、座標合成部６で検出されたオブジェクトと、そのデプス情報とに基づいて、オブジェクトの三次元映像データを生成する。三次元映像データは、右目用視差データと左目用視差データを含んでおり、場合によっては、多視差データを含んでいてもよい。
【００１８】
上述したデプス情報生成部８と三次元データ生成部９は、必ずしも必須ではない。三次元映像データを記録または再生する必要がない場合は、デプス情報生成部８と三次元データ生成部９を設けなくてもよい。
【００１９】
図２はデプス情報生成部８と三次元データ生成部９の詳細なブロック図である。図２に示すように、デプス情報生成部８は、デプステンプレート記憶部１１と、デプスマップ生成部１２と、デプスマップ補正部１３とを有する。三次元データ生成部９は、ディスパリティ変換部１４と視差画像生成部１５とを有する。
【００２０】
デプステンプレート記憶部１１は、オブジェクトの種類ごとに、各オブジェクトの各画素のデプス値（奥行き値）を記述したデプステンプレートを記憶する。
【００２１】
デプスマップ生成部１２は、座標合成部６で検出されたオブジェクトに応じたデプステンプレートをデプステンプレート記憶部１１から読み出して、画像処理部２２から供給されるフレーム映像データの各画素にデプス値を対応づけたデプスマップを生成する。
【００２２】
デプスマップ補正部１３は、デプスマップ上の各画素をその周辺画素にて重み付け平滑化して、各画素のデプス値を補正する。
【００２３】
三次元データ生成部９内のディスパリティ変換部１４は、デプスマップにおける各画素のデプス値から各画素の視差ベクトルを求めて、各画素の視差ベクトルが記述されたディスパリティマップを生成する。視差画像生成部１５は、入力画像とディスパリティマップから視差画像を生成する。
【００２４】
図１の映像表示装置２は、例えば三次元ＴＶであり、図１のオブジェクト探索装置１の他には、受信処理部２１と、画像処理部２２と、三次元表示装置２３とを備えている。
【００２５】
受信処理部２１は、不図示のアンテナで受信した放送受信信号をベースバンド信号に復調した後に、復号処理を行う。画像処理部２２は、受信処理部２１を通過した信号に対してノイズ処理等を施して、図１のオブジェクト探索装置１に供給するためのフレーム映像データを生成する。
【００２６】
三次元表示装置２３は、マトリクス状に配列された画素を有する表示パネル２４と、この表示パネル２４に対向するように配置されて各画素からの光線を制御する複数の射出瞳を有する光線制御素子２５とを有する。表示パネル２４としては、例えば液晶パネルや、プラズマディスプレイ、ＥＬ（ElectroLuminescent）パネル等を用いることができる。光線制御素子２５は、一般的にはパララクスバリアまたは視差バリアとも呼ばれ、光線制御素子２５の各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差（水平視差）のみを与える場合には、複数のスリットを有するスリット版またはレンチキュラーシート（シリンドリカルレンズアレイ）が用いられ、上下視差（垂直視差）も含める場合には、ピンホールアレイまたはレンズアレイが用いられる。すなわち、スリット板のスリットや、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、レンズアレイのレンズが各射出瞳になる。
【００２７】
なお、三次元表示装置２３は、複数の射出瞳を有する光線制御素子２５を備えたもの以外に、パララックスバリアを透過型液晶表示装置などで電子的に発生させ、バリアパターンの形状や位置などを電子的に可変制御する三次元表示装置２３でもよい。すなわち、後述する立体画像表示用の画像が表示可能な表示装置であれば、具体的な三次元表示装置２３の構成は問わない。
【００２８】
また、本実施形態に係るオブジェクト探索装置１は、必ずしもＴＶに内蔵されるものではない。例えば、受信処理部２１で受信した放送受信信号に含まれるフレーム映像データを三次元映像データに変換して、ＨＤＤ（ハードディスクドライブ）や光ディスク（例えばブルーレイディスク）等に記録する記録装置に適用してもよい。
【００２９】
図３は図１のオブジェクト探索装置１の処理動作の一例を示すフローチャート、図４は図１のオブジェクト探索装置１の処理を模式的に説明する図である。図４の例では、画面フレームを水平方向に二分割して、２つの分割フレーム領域を生成している。以下、図３と図４を用いて本実施形態の処理動作を説明する。
【００３０】
まず、探索領域設定部３は、画面フレームの中から、オブジェクトの探索を行うべき一つの分割フレーム領域を探索領域として設定する（ステップＳ１）。より具体的には、探索領域設定部３は、特定の分割フレーム領域に対応する識別番号をオブジェクト探索部４に与える。
【００３１】
ここで、隣接する分割フレーム領域は、その一部が重複している。図５は画面フレームを２つの分割フレーム領域に分割する場合の１つの分割フレーム領域の幅を説明する図である。図５の例では、画面フレームの横幅をＷとし、オブジェクトを探索する探索単位の横幅をωとしている。この場合、分割フレーム領域の横幅は（Ｗ＋ω）／２で表される。すなわち、幅ω分が、隣接する分割フレーム領域との重複範囲となる。
【００３２】
このような重複範囲を設けることで、分割フレーム領域の境界付近に存在するオブジェクトを含めて、画面フレームの全域に存在するオブジェクト正しく検出できるようになる。
【００３３】
オブジェクト探索部４は、ステップＳ１で設定した分割フレーム領域について、オブジェクトを探索して、探索されたオブジェクトの座標位置を検出する（ステップＳ２）。図４の例では、まずフレーム０の処理として、左側半分の分割フレーム領域についてオブジェクトの検出を行う。ここでは、人間の顔を探索対象のオブジェクトとしている。
【００３４】
人間の顔を探索する場合、例えばHaar-like特徴を用いた物体検出方法を利用する。この物体検出方法は、複数の識別器を直列接続したものであり、個々の識別器は事前に統計学習を行って人間の顔か否かを識別する機能を持っている。識別器の接続段数を増やすほど、識別力が向上するが、処理に時間がかかり、また識別器の実装面積も増大してしまう。したがって、許容可能な実装規模と識別精度との兼ね合いで、識別器の接続段数を定めるのが望ましい。
【００３５】
Haar-like特徴では、分割フレーム領域内に小さな探索領域を設定して、この探索領域を分割フレーム領域内でシフトさせながら、探索領域内の物体検出を行う。例えば、人間の顔を検出する場合、探索領域内に両目、鼻および上唇が含まれていれば、人間の顔であると判断する。なお、別個のアルゴリズムを追加して、人間の横顔も検出できるようにしてもよい。
【００３６】
次に、オブジェクト追従部５は、検出されたオブジェクトの座標位置を含む領域を基準として、過去と現在の画面フレームを比較して動き検出を行って、現在の画面フレームでのオブジェクトの座標位置を検出する（ステップＳ３）。
【００３７】
なお、このステップＳ３の処理を行う最中に、上述したステップＳ１とＳ２の処理は並行して行われる。すなわち、一つの分割フレーム領域についてのオブジェクト探索処理が終わると、探索領域設定部３は次の分割フレーム領域を設定して、その新たに設定された分割フレーム領域についてオブジェクト探索部４はオブジェクト探索を行い、それに並行して、オブジェクト探索処理により探索されたオブジェクトについて、オブジェクト追従処理が行われる。
【００３８】
以下では、図４を用いて、ステップＳ３の処理を詳細に説明する。図４の例では、フレーム１が現在の画面フレームの場合は、オブジェクト追従部は、過去のフレーム０と現在のフレーム１とを比較して、動き検出を行う。図４では、フレーム０の左側の分割フレーム領域内で探索されたオブジェクトを含む領域を太線の矩形で図示している。ステップＳ３では、この矩形領域についての動き検出を行う。現在の画面フレームであるフレーム１では、探索領域設定部３は右側の分割フレーム領域を設定するが、オブジェクト追従部５は、画面フレーム全体を対象として、矩形領域の動き検出を行う。この結果、左側の分割フレーム領域内の点線領域に移動したことが検出される。図４の矢印線ｙ１は動きベクトルを示している。
【００３９】
動きベクトルが求まると、ステップＳ３で検出したオブジェクトの座標位置に動きベクトル分の差分座標を加算することで、現在の画面フレーム内でのオブジェクトの座標位置を検出することができる。
【００４０】
次に、座標合成部６は、オブジェクト探索部４で検出されたオブジェクトの座標位置とオブジェクト追従部５で検出されたオブジェクトの座標位置とを比較して、重複する座標位置を削除して、オブジェクトの座標位置を特定する（ステップＳ４）。座標合成部６は、オブジェクト探索部４で検出されたオブジェクトのＭ個の検出座標と、オブジェクト追従部５で検出されたオブジェクトのＮ個の追従座標とを互いに総当たりで比較して、重複する座標を削除して、オブジェクトの座標を特定する。より詳しくは、座標合成部６は、Ｍ個の検出座標間での比較と、Ｍ個の検出座標のいずれかとＮ個の追従座標のいずれかとの比較と、Ｎ個の追従座標間での比較とを行う。この座標合成部６の処理内容の詳細については後述する。
【００４１】
図４の例では、フレーム０とフレーム１の両方とも、オブジェクトは左側の分割フレーム領域に存在している。フレーム１では、オブジェクト探索部４は右側の分割フレーム領域内を探索するため、この例では、オブジェクトは探索されない。一方、オブジェクト追従部５は、画面フレーム全体について、フレーム０で探索されたオブジェクトの探索領域の動き検出を行うため、オブジェクトが点線領域に移動したことを正しく検出できる。
【００４２】
なお、フレーム１では、オブジェクト探索部４はオブジェクトを探索できなかったため、座標合成部６は、重複する座標位置はないと判断する。
【００４３】
次に、フレーム２では、オブジェクト探索部４は左側の分割フレーム領域を探索するが、すでにオブジェクトは右側に移動しているため、オブジェクトを探索できない。一方、オブジェクト追従部５は、右側の分割フレーム領域内に移動したオブジェクトを正しく検出でき、フレーム１でのオブジェクトの座標位置を検出できる。フレーム２でも、フレーム１では、オブジェクト探索部４はオブジェクトを探索できないため、座標合成部６は、重複する座標位置はないと判断する。
【００４４】
次に、フレーム３では、オブジェクト探索部４は右側の分割フレーム領域を探索する。この結果、探索した分割フレーム領域内にオブジェクトを探索することができ、オブジェクトの最新の座標位置を検出する。一方、オブジェクト追従部５でも、同様にオブジェクトの動き検出を行って、オブジェクトの現在の座標位置を検出する。座標合成部６は、オブジェクト探索部４とオブジェクト追従部５の双方で、同じオブジェクトの座標位置を検出したことを認識し、オブジェクト追従部５で検出した座標位置を削除し、このオブジェクトについては、オブジェクト探索部４で検出した座標位置を採用する。
【００４５】
図４の例では、画面フレームの中にオブジェクトが一つだけ存在しているが、画面フレーム内にオブジェクトが複数存在する場合は、検出された各オブジェクトごとに、オブジェクト追従部５と座標合成部６の処理が行われて、最終的な座標位置が検出される。
【００４６】
各フレームごとに、上述したステップＳ１〜Ｓ４の処理を行って各オブジェクトの座標位置が検出されると、デプス情報生成部８は、各オブジェクトのデプス情報を生成する（ステップＳ５）。
【００４７】
続いて、三次元データ生成部９は、各フレームごとに、各オブジェクトの視差データを生成する（ステップＳ６）。
【００４８】
以下、座標合成部６の処理を詳細に説明する。上述したように、オブジェクト探索部４は、画面フレームの一部である分割フレーム領域内でだけオブジェクトの探索を行う。これに対して、オブジェクト追従部５は、画面フレームの全域を対象としてオブジェクトを追従する。このため、場合によって、オブジェクト探索部４が探索したオブジェクトとオブジェクト追従部５が追従するオブジェクトとが同じものである場合と、異なるものである場合がある。オブジェクト探索部４とオブジェクト追従部５が同じオブジェクトを重複して探索・追従している場合は、探索・追従されたオブジェクトを一つにまとめる必要がある。
【００４９】
そこで、座標合成部６では、オブジェクト探索部４で探索されたオブジェクトとオブジェクト追従部５で追従するオブジェクトが同じオブジェクトであるかどうかを判断して、同じオブジェクトであれば、重複するオブジェクトの座標を削除する。
【００５０】
図６は座標合成部６の詳細な処理動作を示すフローチャート、図７は座標合成部６の処理内容を説明する図である。座標合成部６は、オブジェクト探索部４で探索されたオブジェクトを含む領域（オブジェクト探索領域）と、オブジェクト追従部５で検出されたオブジェクトを含む領域（オブジェクト追従領域）との重複領域の面積Ｍを算出する（ステップＳ１１）。
【００５１】
図７では、オブジェクト探索領域が座標（ｘ１，ｙ１）と座標（ｘ２，ｙ２）を対角線上の座標とする矩形領域Ｒ１であり、オブジェクト追従領域が座標（ｘ３，ｙ３）と座標（ｘ４，ｙ４）を対角線上の座標とする矩形領域Ｒ２であるとしている。
【００５２】
このとき、図７のオブジェクト探索領域とオブジェクト追従領域の重複面積Ｍは、以下の（１）式で表される。
【００５３】
Ｍ＝｛ｘ２−ｘ１＋ｘ４−ｘ３＋ｍａｘ（ｘ２，ｘ４）−ｍｉｎ（ｘ１，ｘ３）｝
×｛ｙ２−ｙ１＋ｙ４−ｙ３＋ｍａｘ（ｙ２，ｙ４）−ｍｉｎ（ｙ１，ｙ３）｝ …（１）
【００５４】
上記（１）式において、ｍａｘ（ｘ２，ｘ４）は、ｘ２とｘ４のうち大きい方の値を示し、ｍｉｎ（ｘ１，ｘ３）はｘ１とｘ３のうち小さい方の値を示している。
【００５５】
次に、オブジェクト探索領域とオブジェクト追従領域のうち、面積が小さい方の面積ｍを算出する（ステップＳ１２）。
【００５６】
ｍ＝ｍｉｎ（（ｘ２−ｘ１）×（ｙ２−ｙ１），（ｘ４−ｘ３）×（ｙ４−ｙ３）） …（２）
【００５７】
次に、Ｍ＞ｍ×０．５を満たすか否かを判定する（ステップＳ１３）。すなわち、重複面積Ｍが小さい領域の面積ｍの半分より大きいか否かを判定する。
【００５８】
そして、Ｍ＞ｍ×０．５を満たせば、オブジェクト探索領域とオブジェクト追従領域は重複すると判断して、オブジェクト探索領域とオブジェクト追従領域のうち面積の小さい領域の座標を削除する（ステップＳ１４）。一方、ステップＳ１３でＭ≦ｍ×０．５と判定された場合は、双方の領域は重複しないと判断して、座標の削除は行わない（ステップＳ１５）。
【００５９】
このように、座標合成部６は、オブジェクト追従部５で追従を行うオブジェクトと同じオブジェクトを、オブジェクト探索部４が並行して探索を行っていると推定される場合は、オブジェクト追従部５で追従を行うオブジェクトの座標と、オブジェクト探索部４で探索を行うオブジェクトの座標とのいずれか一方を削除する。これにより、オブジェクト探索部４とオブジェクト追従部５が同じオブジェクトを並行して検出しないようにする。
【００６０】
このように、本実施形態では、画面フレーム全体についてオブジェクト探索を行う代わりに、各フレームごとに、分割フレーム領域内のみのオブジェクト探索を行う。オブジェクト探索を行う分割フレーム領域は、フレームごとに順に切り替えるため、複数フレームで画面フレーム全体についてオブジェクト探索を行うことになる。各フレームでは、分割フレーム領域しかオブジェクト探索を行わないため、オブジェクト探索処理を高速に行うことができる。
【００６１】
ただし、このままでは、各フレームごとに一部の領域しかオブジェクト探索を行えないため、それを補償するために、いったん探索されたオブジェクトの動き検出を行う処理を並行して行う。これにより、いったん探索されたオブジェクトについては、オブジェクト探索領域外に移動したとしても、正しくその動き検出を行うことができる。
【００６２】
このように、本実施形態によれば、少ない処理量でオブジェクト探索を行うことができ、かつオブジェクトの動き検出も行えるため、オブジェクト探索処理を高速に行うことができ、その後に各オブジェクトについてデプス情報を検出して三次元データを生成する処理に余裕が出てくる。
【００６３】
上述した実施形態で説明したオブジェクト探索装置１および映像表示装置２の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、オブジェクト探索装置１および映像表示装置２の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００６４】
また、オブジェクト探索装置１および映像表示装置２の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００６５】
本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【００６６】
１ オブジェクト探索装置
２ 映像表示装置
３ 探索領域設定部
４ オブジェクト探索部
５ オブジェクト追従部
６ 座標合成部
８ デプス情報生成部
９ 三次元データ生成部
１１ デプステンプレート記憶部
１２ デプスマップ生成部
１３ デプスマップ補正部
１４ ディスパリティ変換部
１５ 視差画像生成部
２１ 受信処理部
２２ 画像処理部
２３ 三次元表示装置
２４ 表示パネル
２５ 光線制御素子
【技術分野】
【０００１】
本発明の実施形態は、画面フレーム内のオブジェクトを探索するオブジェクト探索装置、映像表示装置およびオブジェクト探索方法に関する。
【背景技術】
【０００２】
画面フレームの中に含まれるオブジェクトを探索し、探索したオブジェクトの動き方向を検出して動き補償を行う技術が提案されている。
【０００３】
ところが、画面フレームからオブジェクトを探索するには、画面フレーム全体について何らかの手法で画像の特徴解析を行うか、あるいは隣接する画面フレーム同士を比較して動きのあるオブジェクトの探索を行う必要がある。これらのオブジェクト探索処理は、画面フレームごとに行わなければならないため、処理負担が大きいという問題がある。
【０００４】
最近、立体映像を表示可能な三次元ＴＶが急速に普及してきたが、映像ソースとしては、既存ＴＶとの互換性や価格の問題もあって三次元映像データはまだまだ少ない。そこで、三次元ＴＶでは、既存の二次元映像データを擬似的に三次元映像データに変換する処理を行うことが多い。この場合、二次元映像データの各画面フレームから特徴的なオブジェクトを探索して、奥行き情報（以下、デプス情報）を付加する必要があるが、上述したように、オブジェクトの探索処理に時間を要するため、各画面フレームごとにデプス情報を生成する時間的な余裕がない場合もありうる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２１６５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、簡易な手順で高速かつ精度よくオブジェクトを探索可能なオブジェクト探索装置、映像表示装置およびオブジェクト探索方法を提供するものである。
【課題を解決するための手段】
【０００７】
本実施形態では、画面フレームを複数に分割した複数の分割フレーム領域を一つずつ順に探索領域として設定する探索領域設定手段と、
前記探索領域として設定された分割フレーム領域に含まれるオブジェクトを探索して、探索されたオブジェクトの座標位置を検出するオブジェクト探索手段と、
前記オブジェクト探索手段で探索されたオブジェクトの座標位置を基準として、過去と現在の画面フレームを比較して動き検出を行い、現在の画面フレームでのオブジェクトの座標位置を検出するオブジェクト追従手段と、
前記オブジェクト探索手段で探索されたオブジェクトの座標位置と前記オブジェクト追従手段で追従されたオブジェクトの座標位置とを比較して、重複する座標位置を削除して、オブジェクトの座標位置を特定する座標合成手段と、を備えるオブジェクト探索装置が提供される。
【図面の簡単な説明】
【０００８】
【図１】図１は本実施形態に係る映像表示装置２の概略構成を示すブロック図。
【図２】デプス情報生成部８と三次元データ生成部９の一実施形態に係る詳細なブロック図。
【図３】図１のオブジェクト探索装置１の処理動作の一例を示すフローチャート。
【図４】図１のオブジェクト探索装置１の処理を模式的に説明する図。
【図５】１つの分割フレーム領域の幅を説明する図。
【図６】座標合成部６の詳細な処理動作を示すフローチャート。
【図７】座標合成部６の処理内容を説明する図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、本発明の一実施形態を説明する。
【００１０】
図１は本実施形態に係るオブジェクト探索装置１を備えた映像表示装置２の概略構成を示すブロック図である。まず、オブジェクト探索装置１の内部構成を説明する。
【００１１】
図１のオブジェクト探索装置１は、探索領域設定部３と、オブジェクト探索部４と、オブジェクト追従部５と、座標合成部６と、デプス情報生成部８と、三次元データ生成部９と、を備えている。
【００１２】
探索領域設定部３は、１つの画面フレームを複数に分割した複数の分割フレーム領域の中から一つずつ順に探索領域として設定する。より具体的には、探索領域設定部３は、複数の分割フレーム領域のそれぞれに識別番号を割り振って、いずれかの識別番号を指定することで、任意の一つの分割フレーム領域を探索領域として設定する。
【００１３】
なお、画面フレームを複数に分割する際は、水平方向に分割してもよいし、垂直方向に分割してもよい。以下では、水平方向に分割する例を説明する。
【００１４】
オブジェクト探索部４は、探索領域として設定された分割フレーム領域に含まれるオブジェクトを探索して、探索されたオブジェクトの座標位置を検出する。このように、オブジェクト探索部４は、画面フレーム全体ではなく、そのうちの一部である一つの分割フレーム領域内のみオブジェクトを探索するため、探索処理に要する時間を短縮できる。
【００１５】
オブジェクト追従部５は、オブジェクト探索部４で検出されたオブジェクトの座標位置を基準として、過去と現在の画面フレームを比較して動き検出を行い、現在の画面フレームでのオブジェクトの座標位置を検出する。より詳細には、オブジェクト追従部５は、オブジェクト探索部４で検出されたオブジェクトの座標位置を含む領域について、現在と過去の画面フレームを比較して動き検出を行う。その結果、移動方向と移動量（動きベクトル）が検出されたら、オブジェクト探索部４で検出されたオブジェクトの座標位置を動きベクトルで修正して、現在の画面フレームでのオブジェクトの座標位置を検出する。
【００１６】
座標合成部６は、オブジェクト探索部４で検出されたオブジェクトの座標位置とオブジェクト追従部５で検出されたオブジェクトの座標位置とを比較して、重複する座標位置を削除する。このとき、オブジェクト探索部４で検出されたオブジェクトの座標位置がＭ個（Ｍは１以上の整数）あり、オブジェクト追従部５で検出されたオブジェクトの座標位置がＮ個（Ｎは１以上の整数）ある場合は、これら（Ｍ＋Ｎ）個の座標位置を総当たりで比較して、重複する座標位置を削除する。オブジェクト探索部４で検出されたオブジェクトの座標位置とオブジェクト追従部５で検出されたオブジェクトの座標位置とが重複する場合は、オブジェクト追従部５で検出されたオブジェクトの座標位置を削除する。その理由は、オブジェクト探索部４で検出されたオブジェクトの座標位置の方が正確性が高いと考えられるためである。座標合成部６の処理により、オブジェクトの座標位置が特定される。
【００１７】
デプス情報生成部８は、座標合成部６で検出されたオブジェクトに対応するデプス情報を生成する。そして、三次元データ生成部９は、座標合成部６で検出されたオブジェクトと、そのデプス情報とに基づいて、オブジェクトの三次元映像データを生成する。三次元映像データは、右目用視差データと左目用視差データを含んでおり、場合によっては、多視差データを含んでいてもよい。
【００１８】
上述したデプス情報生成部８と三次元データ生成部９は、必ずしも必須ではない。三次元映像データを記録または再生する必要がない場合は、デプス情報生成部８と三次元データ生成部９を設けなくてもよい。
【００１９】
図２はデプス情報生成部８と三次元データ生成部９の詳細なブロック図である。図２に示すように、デプス情報生成部８は、デプステンプレート記憶部１１と、デプスマップ生成部１２と、デプスマップ補正部１３とを有する。三次元データ生成部９は、ディスパリティ変換部１４と視差画像生成部１５とを有する。
【００２０】
デプステンプレート記憶部１１は、オブジェクトの種類ごとに、各オブジェクトの各画素のデプス値（奥行き値）を記述したデプステンプレートを記憶する。
【００２１】
デプスマップ生成部１２は、座標合成部６で検出されたオブジェクトに応じたデプステンプレートをデプステンプレート記憶部１１から読み出して、画像処理部２２から供給されるフレーム映像データの各画素にデプス値を対応づけたデプスマップを生成する。
【００２２】
デプスマップ補正部１３は、デプスマップ上の各画素をその周辺画素にて重み付け平滑化して、各画素のデプス値を補正する。
【００２３】
三次元データ生成部９内のディスパリティ変換部１４は、デプスマップにおける各画素のデプス値から各画素の視差ベクトルを求めて、各画素の視差ベクトルが記述されたディスパリティマップを生成する。視差画像生成部１５は、入力画像とディスパリティマップから視差画像を生成する。
【００２４】
図１の映像表示装置２は、例えば三次元ＴＶであり、図１のオブジェクト探索装置１の他には、受信処理部２１と、画像処理部２２と、三次元表示装置２３とを備えている。
【００２５】
受信処理部２１は、不図示のアンテナで受信した放送受信信号をベースバンド信号に復調した後に、復号処理を行う。画像処理部２２は、受信処理部２１を通過した信号に対してノイズ処理等を施して、図１のオブジェクト探索装置１に供給するためのフレーム映像データを生成する。
【００２６】
三次元表示装置２３は、マトリクス状に配列された画素を有する表示パネル２４と、この表示パネル２４に対向するように配置されて各画素からの光線を制御する複数の射出瞳を有する光線制御素子２５とを有する。表示パネル２４としては、例えば液晶パネルや、プラズマディスプレイ、ＥＬ（ElectroLuminescent）パネル等を用いることができる。光線制御素子２５は、一般的にはパララクスバリアまたは視差バリアとも呼ばれ、光線制御素子２５の各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差（水平視差）のみを与える場合には、複数のスリットを有するスリット版またはレンチキュラーシート（シリンドリカルレンズアレイ）が用いられ、上下視差（垂直視差）も含める場合には、ピンホールアレイまたはレンズアレイが用いられる。すなわち、スリット板のスリットや、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、レンズアレイのレンズが各射出瞳になる。
【００２７】
なお、三次元表示装置２３は、複数の射出瞳を有する光線制御素子２５を備えたもの以外に、パララックスバリアを透過型液晶表示装置などで電子的に発生させ、バリアパターンの形状や位置などを電子的に可変制御する三次元表示装置２３でもよい。すなわち、後述する立体画像表示用の画像が表示可能な表示装置であれば、具体的な三次元表示装置２３の構成は問わない。
【００２８】
また、本実施形態に係るオブジェクト探索装置１は、必ずしもＴＶに内蔵されるものではない。例えば、受信処理部２１で受信した放送受信信号に含まれるフレーム映像データを三次元映像データに変換して、ＨＤＤ（ハードディスクドライブ）や光ディスク（例えばブルーレイディスク）等に記録する記録装置に適用してもよい。
【００２９】
図３は図１のオブジェクト探索装置１の処理動作の一例を示すフローチャート、図４は図１のオブジェクト探索装置１の処理を模式的に説明する図である。図４の例では、画面フレームを水平方向に二分割して、２つの分割フレーム領域を生成している。以下、図３と図４を用いて本実施形態の処理動作を説明する。
【００３０】
まず、探索領域設定部３は、画面フレームの中から、オブジェクトの探索を行うべき一つの分割フレーム領域を探索領域として設定する（ステップＳ１）。より具体的には、探索領域設定部３は、特定の分割フレーム領域に対応する識別番号をオブジェクト探索部４に与える。
【００３１】
ここで、隣接する分割フレーム領域は、その一部が重複している。図５は画面フレームを２つの分割フレーム領域に分割する場合の１つの分割フレーム領域の幅を説明する図である。図５の例では、画面フレームの横幅をＷとし、オブジェクトを探索する探索単位の横幅をωとしている。この場合、分割フレーム領域の横幅は（Ｗ＋ω）／２で表される。すなわち、幅ω分が、隣接する分割フレーム領域との重複範囲となる。
【００３２】
このような重複範囲を設けることで、分割フレーム領域の境界付近に存在するオブジェクトを含めて、画面フレームの全域に存在するオブジェクト正しく検出できるようになる。
【００３３】
オブジェクト探索部４は、ステップＳ１で設定した分割フレーム領域について、オブジェクトを探索して、探索されたオブジェクトの座標位置を検出する（ステップＳ２）。図４の例では、まずフレーム０の処理として、左側半分の分割フレーム領域についてオブジェクトの検出を行う。ここでは、人間の顔を探索対象のオブジェクトとしている。
【００３４】
人間の顔を探索する場合、例えばHaar-like特徴を用いた物体検出方法を利用する。この物体検出方法は、複数の識別器を直列接続したものであり、個々の識別器は事前に統計学習を行って人間の顔か否かを識別する機能を持っている。識別器の接続段数を増やすほど、識別力が向上するが、処理に時間がかかり、また識別器の実装面積も増大してしまう。したがって、許容可能な実装規模と識別精度との兼ね合いで、識別器の接続段数を定めるのが望ましい。
【００３５】
Haar-like特徴では、分割フレーム領域内に小さな探索領域を設定して、この探索領域を分割フレーム領域内でシフトさせながら、探索領域内の物体検出を行う。例えば、人間の顔を検出する場合、探索領域内に両目、鼻および上唇が含まれていれば、人間の顔であると判断する。なお、別個のアルゴリズムを追加して、人間の横顔も検出できるようにしてもよい。
【００３６】
次に、オブジェクト追従部５は、検出されたオブジェクトの座標位置を含む領域を基準として、過去と現在の画面フレームを比較して動き検出を行って、現在の画面フレームでのオブジェクトの座標位置を検出する（ステップＳ３）。
【００３７】
なお、このステップＳ３の処理を行う最中に、上述したステップＳ１とＳ２の処理は並行して行われる。すなわち、一つの分割フレーム領域についてのオブジェクト探索処理が終わると、探索領域設定部３は次の分割フレーム領域を設定して、その新たに設定された分割フレーム領域についてオブジェクト探索部４はオブジェクト探索を行い、それに並行して、オブジェクト探索処理により探索されたオブジェクトについて、オブジェクト追従処理が行われる。
【００３８】
以下では、図４を用いて、ステップＳ３の処理を詳細に説明する。図４の例では、フレーム１が現在の画面フレームの場合は、オブジェクト追従部は、過去のフレーム０と現在のフレーム１とを比較して、動き検出を行う。図４では、フレーム０の左側の分割フレーム領域内で探索されたオブジェクトを含む領域を太線の矩形で図示している。ステップＳ３では、この矩形領域についての動き検出を行う。現在の画面フレームであるフレーム１では、探索領域設定部３は右側の分割フレーム領域を設定するが、オブジェクト追従部５は、画面フレーム全体を対象として、矩形領域の動き検出を行う。この結果、左側の分割フレーム領域内の点線領域に移動したことが検出される。図４の矢印線ｙ１は動きベクトルを示している。
【００３９】
動きベクトルが求まると、ステップＳ３で検出したオブジェクトの座標位置に動きベクトル分の差分座標を加算することで、現在の画面フレーム内でのオブジェクトの座標位置を検出することができる。
【００４０】
次に、座標合成部６は、オブジェクト探索部４で検出されたオブジェクトの座標位置とオブジェクト追従部５で検出されたオブジェクトの座標位置とを比較して、重複する座標位置を削除して、オブジェクトの座標位置を特定する（ステップＳ４）。座標合成部６は、オブジェクト探索部４で検出されたオブジェクトのＭ個の検出座標と、オブジェクト追従部５で検出されたオブジェクトのＮ個の追従座標とを互いに総当たりで比較して、重複する座標を削除して、オブジェクトの座標を特定する。より詳しくは、座標合成部６は、Ｍ個の検出座標間での比較と、Ｍ個の検出座標のいずれかとＮ個の追従座標のいずれかとの比較と、Ｎ個の追従座標間での比較とを行う。この座標合成部６の処理内容の詳細については後述する。
【００４１】
図４の例では、フレーム０とフレーム１の両方とも、オブジェクトは左側の分割フレーム領域に存在している。フレーム１では、オブジェクト探索部４は右側の分割フレーム領域内を探索するため、この例では、オブジェクトは探索されない。一方、オブジェクト追従部５は、画面フレーム全体について、フレーム０で探索されたオブジェクトの探索領域の動き検出を行うため、オブジェクトが点線領域に移動したことを正しく検出できる。
【００４２】
なお、フレーム１では、オブジェクト探索部４はオブジェクトを探索できなかったため、座標合成部６は、重複する座標位置はないと判断する。
【００４３】
次に、フレーム２では、オブジェクト探索部４は左側の分割フレーム領域を探索するが、すでにオブジェクトは右側に移動しているため、オブジェクトを探索できない。一方、オブジェクト追従部５は、右側の分割フレーム領域内に移動したオブジェクトを正しく検出でき、フレーム１でのオブジェクトの座標位置を検出できる。フレーム２でも、フレーム１では、オブジェクト探索部４はオブジェクトを探索できないため、座標合成部６は、重複する座標位置はないと判断する。
【００４４】
次に、フレーム３では、オブジェクト探索部４は右側の分割フレーム領域を探索する。この結果、探索した分割フレーム領域内にオブジェクトを探索することができ、オブジェクトの最新の座標位置を検出する。一方、オブジェクト追従部５でも、同様にオブジェクトの動き検出を行って、オブジェクトの現在の座標位置を検出する。座標合成部６は、オブジェクト探索部４とオブジェクト追従部５の双方で、同じオブジェクトの座標位置を検出したことを認識し、オブジェクト追従部５で検出した座標位置を削除し、このオブジェクトについては、オブジェクト探索部４で検出した座標位置を採用する。
【００４５】
図４の例では、画面フレームの中にオブジェクトが一つだけ存在しているが、画面フレーム内にオブジェクトが複数存在する場合は、検出された各オブジェクトごとに、オブジェクト追従部５と座標合成部６の処理が行われて、最終的な座標位置が検出される。
【００４６】
各フレームごとに、上述したステップＳ１〜Ｓ４の処理を行って各オブジェクトの座標位置が検出されると、デプス情報生成部８は、各オブジェクトのデプス情報を生成する（ステップＳ５）。
【００４７】
続いて、三次元データ生成部９は、各フレームごとに、各オブジェクトの視差データを生成する（ステップＳ６）。
【００４８】
以下、座標合成部６の処理を詳細に説明する。上述したように、オブジェクト探索部４は、画面フレームの一部である分割フレーム領域内でだけオブジェクトの探索を行う。これに対して、オブジェクト追従部５は、画面フレームの全域を対象としてオブジェクトを追従する。このため、場合によって、オブジェクト探索部４が探索したオブジェクトとオブジェクト追従部５が追従するオブジェクトとが同じものである場合と、異なるものである場合がある。オブジェクト探索部４とオブジェクト追従部５が同じオブジェクトを重複して探索・追従している場合は、探索・追従されたオブジェクトを一つにまとめる必要がある。
【００４９】
そこで、座標合成部６では、オブジェクト探索部４で探索されたオブジェクトとオブジェクト追従部５で追従するオブジェクトが同じオブジェクトであるかどうかを判断して、同じオブジェクトであれば、重複するオブジェクトの座標を削除する。
【００５０】
図６は座標合成部６の詳細な処理動作を示すフローチャート、図７は座標合成部６の処理内容を説明する図である。座標合成部６は、オブジェクト探索部４で探索されたオブジェクトを含む領域（オブジェクト探索領域）と、オブジェクト追従部５で検出されたオブジェクトを含む領域（オブジェクト追従領域）との重複領域の面積Ｍを算出する（ステップＳ１１）。
【００５１】
図７では、オブジェクト探索領域が座標（ｘ１，ｙ１）と座標（ｘ２，ｙ２）を対角線上の座標とする矩形領域Ｒ１であり、オブジェクト追従領域が座標（ｘ３，ｙ３）と座標（ｘ４，ｙ４）を対角線上の座標とする矩形領域Ｒ２であるとしている。
【００５２】
このとき、図７のオブジェクト探索領域とオブジェクト追従領域の重複面積Ｍは、以下の（１）式で表される。
【００５３】
Ｍ＝｛ｘ２−ｘ１＋ｘ４−ｘ３＋ｍａｘ（ｘ２，ｘ４）−ｍｉｎ（ｘ１，ｘ３）｝
×｛ｙ２−ｙ１＋ｙ４−ｙ３＋ｍａｘ（ｙ２，ｙ４）−ｍｉｎ（ｙ１，ｙ３）｝ …（１）
【００５４】
上記（１）式において、ｍａｘ（ｘ２，ｘ４）は、ｘ２とｘ４のうち大きい方の値を示し、ｍｉｎ（ｘ１，ｘ３）はｘ１とｘ３のうち小さい方の値を示している。
【００５５】
次に、オブジェクト探索領域とオブジェクト追従領域のうち、面積が小さい方の面積ｍを算出する（ステップＳ１２）。
【００５６】
ｍ＝ｍｉｎ（（ｘ２−ｘ１）×（ｙ２−ｙ１），（ｘ４−ｘ３）×（ｙ４−ｙ３）） …（２）
【００５７】
次に、Ｍ＞ｍ×０．５を満たすか否かを判定する（ステップＳ１３）。すなわち、重複面積Ｍが小さい領域の面積ｍの半分より大きいか否かを判定する。
【００５８】
そして、Ｍ＞ｍ×０．５を満たせば、オブジェクト探索領域とオブジェクト追従領域は重複すると判断して、オブジェクト探索領域とオブジェクト追従領域のうち面積の小さい領域の座標を削除する（ステップＳ１４）。一方、ステップＳ１３でＭ≦ｍ×０．５と判定された場合は、双方の領域は重複しないと判断して、座標の削除は行わない（ステップＳ１５）。
【００５９】
このように、座標合成部６は、オブジェクト追従部５で追従を行うオブジェクトと同じオブジェクトを、オブジェクト探索部４が並行して探索を行っていると推定される場合は、オブジェクト追従部５で追従を行うオブジェクトの座標と、オブジェクト探索部４で探索を行うオブジェクトの座標とのいずれか一方を削除する。これにより、オブジェクト探索部４とオブジェクト追従部５が同じオブジェクトを並行して検出しないようにする。
【００６０】
このように、本実施形態では、画面フレーム全体についてオブジェクト探索を行う代わりに、各フレームごとに、分割フレーム領域内のみのオブジェクト探索を行う。オブジェクト探索を行う分割フレーム領域は、フレームごとに順に切り替えるため、複数フレームで画面フレーム全体についてオブジェクト探索を行うことになる。各フレームでは、分割フレーム領域しかオブジェクト探索を行わないため、オブジェクト探索処理を高速に行うことができる。
【００６１】
ただし、このままでは、各フレームごとに一部の領域しかオブジェクト探索を行えないため、それを補償するために、いったん探索されたオブジェクトの動き検出を行う処理を並行して行う。これにより、いったん探索されたオブジェクトについては、オブジェクト探索領域外に移動したとしても、正しくその動き検出を行うことができる。
【００６２】
このように、本実施形態によれば、少ない処理量でオブジェクト探索を行うことができ、かつオブジェクトの動き検出も行えるため、オブジェクト探索処理を高速に行うことができ、その後に各オブジェクトについてデプス情報を検出して三次元データを生成する処理に余裕が出てくる。
【００６３】
上述した実施形態で説明したオブジェクト探索装置１および映像表示装置２の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、オブジェクト探索装置１および映像表示装置２の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００６４】
また、オブジェクト探索装置１および映像表示装置２の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００６５】
本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【００６６】
１ オブジェクト探索装置
２ 映像表示装置
３ 探索領域設定部
４ オブジェクト探索部
５ オブジェクト追従部
６ 座標合成部
８ デプス情報生成部
９ 三次元データ生成部
１１ デプステンプレート記憶部
１２ デプスマップ生成部
１３ デプスマップ補正部
１４ ディスパリティ変換部
１５ 視差画像生成部
２１ 受信処理部
２２ 画像処理部
２３ 三次元表示装置
２４ 表示パネル
２５ 光線制御素子
【特許請求の範囲】
【請求項１】
画面フレームを複数に分割した複数の分割フレーム領域を一つずつ順に探索領域として設定する探索領域設定手段と、
前記探索領域として設定された分割フレーム領域に含まれるオブジェクトを探索して、探索されたオブジェクトの座標位置を検出するオブジェクト探索手段と、
前記オブジェクト探索手段で探索されたオブジェクトの座標位置を基準として、過去と現在の画面フレームを比較して動き検出を行い、現在の画面フレームでのオブジェクトの座標位置を検出するオブジェクト追従手段と、
前記オブジェクト探索手段で探索されたオブジェクトの座標位置と前記オブジェクト追従手段で追従されたオブジェクトの座標位置とを比較して、重複する座標位置を削除して、オブジェクトの座標位置を特定する座標合成手段と、を備えるオブジェクト探索装置。
【請求項２】
前記座標合成手段は、重複する座標位置が検出された場合には、前記オブジェクト追従手段で追従された座標位置を削除
する請求項１に記載のオブジェクト探索装置。
【請求項３】
前記座標合成手段は、
少なくとも一部が重複する２つのオブジェクトの重複面積を検出する重複面積検出手段と、
前記重複する２つのオブジェクトのうち面積の小さいオブジェクトの面積が前記重複面積の所定割合以上か否かを判定する面積割合判定手段と、
前記面積割合判定手段により前記所定割合以上と判定されると、前記面積の小さいオブジェクトの座標位置を削除するオブジェクト削除手段と、を有する請求項１または２に記載のオブジェクト探索装置。
【請求項４】
前記探索領域設定手段は、隣接する２つの分割フレーム領域が一部重なり合うように前記複数の分割フレーム領域を設定する請求項１乃至３のいずれかに記載のオブジェクト探索装置。
【請求項５】
前記オブジェクト探索手段、前記オブジェクト追従手段、前記座標合成手段および前記座標特定手段の各処理は、前記探索領域設定手段が前記複数の分割フレーム領域のすべてを順に設定するまで繰り返し行われる請求項１乃至４のいずれかに記載のオブジェクト探索装置。
【請求項６】
前記オブジェクトは、人間の顔である請求項１乃至５のいずれかに記載のオブジェクト探索装置。
【請求項７】
前記座標特定手段で座標位置を検出したオブジェクトのデプス情報を生成するデプス情報生成手段と、
前記デプス情報生成手段で生成されたデプス情報に基づいて、対応するオブジェクトを三次元表示するための視差データを生成する三次元データ生成手段と、を備える請求項１乃至６のいずれかに記載のオブジェクト探索装置。
【請求項８】
放送波を受信して復号処理および所定の画像処理を行ってフレーム映像データを生成する受信処理手段と、
前記視差データを表示する表示装置と、を備え、
前記オブジェクト探索手段は、前記フレーム映像データを複数に分割して得られる前記分割フレーム映像データに含まれるオブジェクトを探索する請求項７に記載のオブジェクト探索装置を備えた映像表示装置。
【請求項９】
画面フレームを複数に分割した複数の分割フレーム領域の一つを順に設定するステップと、
前記設定された分割フレーム領域に対応する分割フレーム映像データに含まれるオブジェクトを探索するステップと、
過去のフレーム映像データと現在のフレーム映像データとに基づいて、前記オブジェクト探索手段で探索されたオブジェクトの現在の座標位置を検出するステップと、
前記探索されたオブジェクトの座標位置と、前記オブジェクト追従手段で追従された座標位置との中で、重複する座標位置を削除して、
オブジェクトの座標位置を特定するステップと、
を備えるオブジェクト探索方法。
【請求項１】
画面フレームを複数に分割した複数の分割フレーム領域を一つずつ順に探索領域として設定する探索領域設定手段と、
前記探索領域として設定された分割フレーム領域に含まれるオブジェクトを探索して、探索されたオブジェクトの座標位置を検出するオブジェクト探索手段と、
前記オブジェクト探索手段で探索されたオブジェクトの座標位置を基準として、過去と現在の画面フレームを比較して動き検出を行い、現在の画面フレームでのオブジェクトの座標位置を検出するオブジェクト追従手段と、
前記オブジェクト探索手段で探索されたオブジェクトの座標位置と前記オブジェクト追従手段で追従されたオブジェクトの座標位置とを比較して、重複する座標位置を削除して、オブジェクトの座標位置を特定する座標合成手段と、を備えるオブジェクト探索装置。
【請求項２】
前記座標合成手段は、重複する座標位置が検出された場合には、前記オブジェクト追従手段で追従された座標位置を削除
する請求項１に記載のオブジェクト探索装置。
【請求項３】
前記座標合成手段は、
少なくとも一部が重複する２つのオブジェクトの重複面積を検出する重複面積検出手段と、
前記重複する２つのオブジェクトのうち面積の小さいオブジェクトの面積が前記重複面積の所定割合以上か否かを判定する面積割合判定手段と、
前記面積割合判定手段により前記所定割合以上と判定されると、前記面積の小さいオブジェクトの座標位置を削除するオブジェクト削除手段と、を有する請求項１または２に記載のオブジェクト探索装置。
【請求項４】
前記探索領域設定手段は、隣接する２つの分割フレーム領域が一部重なり合うように前記複数の分割フレーム領域を設定する請求項１乃至３のいずれかに記載のオブジェクト探索装置。
【請求項５】
前記オブジェクト探索手段、前記オブジェクト追従手段、前記座標合成手段および前記座標特定手段の各処理は、前記探索領域設定手段が前記複数の分割フレーム領域のすべてを順に設定するまで繰り返し行われる請求項１乃至４のいずれかに記載のオブジェクト探索装置。
【請求項６】
前記オブジェクトは、人間の顔である請求項１乃至５のいずれかに記載のオブジェクト探索装置。
【請求項７】
前記座標特定手段で座標位置を検出したオブジェクトのデプス情報を生成するデプス情報生成手段と、
前記デプス情報生成手段で生成されたデプス情報に基づいて、対応するオブジェクトを三次元表示するための視差データを生成する三次元データ生成手段と、を備える請求項１乃至６のいずれかに記載のオブジェクト探索装置。
【請求項８】
放送波を受信して復号処理および所定の画像処理を行ってフレーム映像データを生成する受信処理手段と、
前記視差データを表示する表示装置と、を備え、
前記オブジェクト探索手段は、前記フレーム映像データを複数に分割して得られる前記分割フレーム映像データに含まれるオブジェクトを探索する請求項７に記載のオブジェクト探索装置を備えた映像表示装置。
【請求項９】
画面フレームを複数に分割した複数の分割フレーム領域の一つを順に設定するステップと、
前記設定された分割フレーム領域に対応する分割フレーム映像データに含まれるオブジェクトを探索するステップと、
過去のフレーム映像データと現在のフレーム映像データとに基づいて、前記オブジェクト探索手段で探索されたオブジェクトの現在の座標位置を検出するステップと、
前記探索されたオブジェクトの座標位置と、前記オブジェクト追従手段で追従された座標位置との中で、重複する座標位置を削除して、
オブジェクトの座標位置を特定するステップと、
を備えるオブジェクト探索方法。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図５】
【図２】
【図３】
【図４】
【図６】
【図７】
【図５】
【公開番号】特開２０１３−５０９１２（Ｐ２０１３−５０９１２Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８９５３１（Ｐ２０１１−１８９５３１）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【特許番号】特許第５０９５８５０号（Ｐ５０９５８５０）
【特許公報発行日】平成２４年１２月１２日（２０１２．１２．１２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【特許番号】特許第５０９５８５０号（Ｐ５０９５８５０）
【特許公報発行日】平成２４年１２月１２日（２０１２．１２．１２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]