立体映像処理装置および立体映像処理方法
【課題】入力映像からユーザの所望の注目オブジェクトを検出し、検出した注目オブジェクトと他のオブジェクトとの間の奥行き方向の位置関係に応じたエンハンサ処理を行う立体映像処理装置を提供する。
【解決手段】立体映像処理装置が、入力画像に含まれるオブジェクトを検出し、オブジェクトの視差量を算出する。立体映像処理装置が、オブジェクトの画像と予め登録された注目対象の画像との相関度に基づき、ユーザが注目する注目オブジェクトを決定する。立体映像処理装置が、注目オブジェクトの視差量と、他のオブジェクトの視差量とに基づき、注目オブジェクトと他のオブジェクトとの奥行き方向の位置関係を判断する。そして、立体映像処理装置が、上記奥行き方向の位置関係に基づき、エンハンサ処理のパラメータを生成し、このパラメータを用いて、入力画像に対してエンハンサ処理を実行する。
【解決手段】立体映像処理装置が、入力画像に含まれるオブジェクトを検出し、オブジェクトの視差量を算出する。立体映像処理装置が、オブジェクトの画像と予め登録された注目対象の画像との相関度に基づき、ユーザが注目する注目オブジェクトを決定する。立体映像処理装置が、注目オブジェクトの視差量と、他のオブジェクトの視差量とに基づき、注目オブジェクトと他のオブジェクトとの奥行き方向の位置関係を判断する。そして、立体映像処理装置が、上記奥行き方向の位置関係に基づき、エンハンサ処理のパラメータを生成し、このパラメータを用いて、入力画像に対してエンハンサ処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像処理装置および立体映像処理方法に関する。
【背景技術】
【０００２】
人間の左右の眼における視差を利用して、左右の眼に異なる映像を見せることで、この人間が擬似的に３次元（以下、３Ｄ）映像を視聴できるようにする画像処理方式が提案されている。このような画像処理方式のうち、眼鏡を用いた方式として、偏光を利用した偏光方式、カラースペクトラム特性の違いを利用した分光方式、左右の映像を時分割表示し、シャッタ式眼鏡を用いて左右の眼に異なる映像を見せる時分割方式が実用化されている。
【０００３】
映像を立体視する際の奥行き感を強調させる技術の例として、特許文献１は、奥行き量に応じてエンハンサ処理のゲイン量を調整して奥行き感を強調し、映像の臨場感を高める画像処理装置を開示している。また、人間の視覚特性として、人間が、奥行きの異なる複数の物体を観察する際に、自然視の状態では、注視物体の位置に調節点があり、その注視物体にピントが合っている。注視物体にピントがあっている場合には、周辺の物体は注視物体と奥行きが異なるので、ぼけた状態で感知される。上記人間の視覚特性を利用した立体映像処理装置として、例えば、特許文献２は、ユーザの眼球の注目方向の検出結果に基づいて、ユーザが注目する注視領域を決定し、決定した注視領域に対して輪郭強調処理を行う立体映像処理装置を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０２１１６３号公報
【特許文献２】特開平１１−１５５１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１が開示する画像処理装置は、奥行き量が小さい画像領域、すなわち、ユーザに対して近い画像領域に対して、エンハンサ処理のゲインを大きくする。エンハンサ処理は、画像の鮮鋭度を調整する処理である。また、この画像処理装置は、奥行き量が大きい画像領域、すなわち、ユーザに対して遠い画像領域に対して、エンハンサ処理のゲインを小さくする。従って、例えば表示対象の映像中に、注目オブジェクトの手前（ユーザ側）に他のオブジェクトが存在する場合には、注目オブジェクトがぼけた状態で表示されてしまう。注目オブジェクトは、ユーザが注目したいオブジェクトや、映像作成者がユーザに注目させるために強調表示したいオブジェクトである。
【０００６】
また、特許文献２が開示する立体映像処理装置は、ユーザの眼球の注目方向の検出結果に基づいて注視領域を決定する。従って、この立体映像処理装置が決定する注視領域のオブジェクトは、ユーザが注目したいオブジェクトや、映像作成者がユーザに注目させるために強調表示したいオブジェクト、つまり、ユーザの所望の注目オブジェクトではない場合がある。その結果、このような場合には、映像の臨場感が損なわれてしまう。
【０００７】
本発明は、入力映像からユーザの所望の注目オブジェクトを検出し、検出した注目オブジェクトと他のオブジェクトとの間の奥行き方向の位置関係に応じたエンハンサ処理を行う立体映像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明の一実施形態の立体映像処理装置は、左眼用画像と右眼用画像とを入力する画像入力手段と、前記左眼用画像と前記右眼用画像に含まれるオブジェクトを検出するオブジェクト検出手段と、前記検出されたオブジェクトの視差量を算出する視差算出手段と、前記オブジェクトの画像と予め登録された注目対象の画像との相関度を算出し、算出した相関度に基づいて、ユーザが注目するオブジェクトである注目オブジェクトを決定する注目オブジェクト決定手段と、前記注目オブジェクトの前記視差量と、前記注目オブジェクト以外のオブジェクトの前記視差量とに基づいて、前記注目オブジェクトと該注目オブジェクト以外のオブジェクトとの奥行き方向の位置関係を判断し、前記判断した奥行き方向の位置関係に基づいて、前記左眼用画像と前記右眼用画像とに対して実行するエンハンサ処理のパラメータを生成するパラメータ生成手段と、前記生成されたパラメータを用いて、前記左眼用画像と前記右眼用画像とに対して前記エンハンサ処理を実行するエンハンサ処理手段とを備える。
【発明の効果】
【０００９】
本発明の立体映像処理装置によれば、入力映像からユーザの所望の注目オブジェクトを検出し、検出した注目オブジェクトと他のオブジェクトとの間の奥行き方向の位置関係に応じたエンハンサ処理を行うことができる。その結果、例えば、注目オブジェクトの手前に他のオブジェクトが存在しても、立体映像の臨場感を保ちながら、ユーザに立体映像を視聴させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の立体映像処理装置の構成を示す図である。
【図２】画像入力部が入力する映像の例を示す図である。
【図３】注目オブジェクトの決定処理の具体例を説明する図である。
【図４】実施例１の立体映像処理装置の動作例を説明するフローチャートである。
【図５】エンハンサゲインの特性とエンハンサ処理とを説明する図である。
【図６】実施例２の立体映像処理装置の構成を示す図である。
【発明を実施するための形態】
【００１１】
図１は、本発明の実施例１の立体映像処理装置の構成を示す図である。図１に示す立体映像処理装置は、画像入力部１、左オブジェクト検出部２、右オブジェクト検出部３、視差算出部４、注目オブジェクト決定部５、パラメータ生成部６、左眼用画像処理部７、右眼用画像処理部８、立体映像表示部９を備える。また、立体映像処理装置は、ＣＰＵ（Central Processing Unit ）１０、メモリ１１を備える。ＣＰＵ１０は、バス１２で接続された各処理部に指示して、立体映像処理装置全体を制御する。
【００１２】
画像入力部１は、左眼用画像と右眼用画像を含む映像を入力する。すなわち、画像入力部１は、左眼用画像と右眼用画像とを入力する画像入力手段として機能する。左眼用画像は、ユーザの左眼に提示される画像である。右眼用画像は、ユーザの右眼に提示される画像である。左眼用画像と右眼用画像とは、両眼視差を有する。
【００１３】
左オブジェクト検出部２は、画像入力部１が入力した左眼用画像に含まれるオブジェクトを検出する。右オブジェクト検出部３は、画像入力部１が入力した右眼用画像に含まれるオブジェクトを検出する。左オブジェクト検出部２、右オブジェクト検出部３は、それぞれ、左眼用画像、右眼用画像から、公知のパターンマッチング法を用いてオブジェクトを検出する。検出されるオブジェクトの種類は、例えば、人、車、木、山等である。また、左オブジェクト検出部２は、検出したオブジェクトの左眼用画像における位置情報を算出する。右オブジェクト検出部３は、検出したオブジェクトの右眼用画像における位置情報を算出する。
【００１４】
図２は、画像入力部が入力する映像の例を示す図である。入力される映像は、図２（Ａ）に示す左眼用画像１００と図２（Ｂ）に示す右眼用画像１０１とが映像フレームに交互に配置された構成を有する。図２（Ａ），（Ｂ）に示す例では、左眼用画像１００及び右眼用画像１０１をユーザに立体視させた際の、各々の画像に含まれるオブジェクトの位置は、表示画面に対してユーザ側から人Ｂ（１０２）、人Ａ（１０３）、山（１０４）の順である。すなわち、ユーザ側から奥行き方向に、人Ｂ（１０２）、人Ａ（１０３）、山（１０４）の順にオブジェクトが並んでいる。ユーザ側から奥行き方向の位置が遠いオブジェクトほどオブジェクトの視差量が小さく、奥行き方向の位置が近いオブジェクトほどオブジェクトの視差量が大きい。オブジェクトの視差量は、オブジェクトの左目画像と右眼用画像とにおける位置に応じて決まる視差の量である。
【００１５】
図１に戻って、視差算出部４は、左オブジェクト検出部２、右オブジェクト検出部３が検出したオブジェクトの視差量を算出する視差算出手段として機能する。具体的には、視差算出部４は、左オブジェクト検出部２が検出したオブジェクトと右オブジェクト検出部３が検出したオブジェクトとを比較して、オブジェクト同士の類似度を算出する。視差算出部４は、オブジェクトの類似度を算出するための公知の技術を用いて、オブジェクト同士の類似度を算出する。
【００１６】
視差算出部４が算出したオブジェクト同士の類似度が予め決められた閾値以上である場合、視差算出部４は、これらのオブジェクトが同一のオブジェクトであると判断する。そして、視差算出部４は、左オブジェクト検出部２、右オブジェクト検出部３がそれぞれ算出したオブジェクトの位置情報を用いて、上記同一のオブジェクトと判断したオブジェクトの視差量を算出する。視差算出部４は、例えば、算出したオブジェクトの視差量を、右眼用画像、左眼用画像それぞれにおける当該オブジェクトの位置情報と対応付けて記憶する。
【００１７】
視差算出部４が算出したオブジェクトの視差量が正の値の場合は、オブジェクトは、表示画面を基準としてユーザ側に存在するように立体視されるとし、視差量がゼロの場合は、表示画面上に存在するように立体視されるとする。視差算出部４が算出したオブジェクトの視差量が負の値の場合は、オブジェクトは、表示画面を基準として奥に存在するように立体視されるとする。視差算出部４は、算出・記憶したオブジェクトの視差量をパラメータ生成部６、注目オブジェクト決定部５に渡す。
【００１８】
注目オブジェクト決定部５は、以下の処理を行って注目オブジェクトを決定する注目オブジェクト決定手段として機能する。注目オブジェクトは、ユーザが注目するオブジェクトである。注目オブジェクトが、映像作成者がユーザに注目させるために強調表示したいオブジェクトであってもよい。注目オブジェクト決定部５は、画像入力部１が入力した画像に含まれるオブジェクトの画像と予めメモリ１１に記憶された注目対象の画像との相関度を算出する。相関度は、双方の画像が一致する度合いである。注目対象の画像は、ユーザが注目したい画像、またはユーザに注目させたい画像である。
【００１９】
注目オブジェクト決定部５は、算出した相関度に基づいて、注目オブジェクトを決定する。これにより、ユーザの所望の注目オブジェクトを検出することが可能となる。注目オブジェクト決定部５が、算出した相関度と、処理対象のオブジェクトの視差量とに基づいて、注目オブジェクトを決定するようにしてもよい。また、注目オブジェクト決定部５が、算出した相関度と、処理対象のオブジェクトの視差量と、注目優先度とに基づいて、注目オブジェクトを決定するようにしてもよい。
【００２０】
注目優先度は、注目オブジェクトの決定に関する優先度である。注目優先度は、オブジェクトの種類に応じて予め決められている。このために、注目優先度とオブジェクトの種類との対応情報が所定の記憶部に予め記憶されている。注目優先度が高い種類のオブジェクトほど、優先的に注目オブジェクトに決定される。注目オブジェクト決定部５は、決定した注目オブジェクトをパラメータ生成部６に渡す。
【００２１】
図３は、注目オブジェクトの決定処理の具体例を説明する図である。図３中のテーブルが含むオブジェクト名は、画像入力部１が入力した画像に含まれるオブジェクトの名称を示す。この例では、各々のオブジェクト名は、図２（Ａ）に示す右眼用画像１０１に含まれる人Ａ、Ｂ、山というオブジェクトに対応している。
【００２２】
注目優先度は、オブジェクトの種類に応じて予め決められた優先度である。この例では、「人」という種類のオブジェクトの注目優先度は１０に設定されている。また、「山」という種類のオブジェクトの注目優先度は３に設定されている。相関度は、右眼用画像１０１に含まれるオブジェクトの画像と、注目対象の画像との相関度である。注目オブジェクト決定部５は、例えば、オブジェクトの画像と注目対象の画像とを、所定の画像領域毎に比較して、比較画像間の差分絶対値和を求める。注目オブジェクト決定部５は、求めた差分絶対値和に基づいて、相関度を求める。差分絶対値和が小さいほどオブジェクトの画像と注目対象の画像との相関度が高くなる。図３中に示す相関度は、正規化された値を持つ。視差量は、オブジェクトの視差量である。図３中に示す視差量は、正規化された値である。注目度は、ユーザにオブジェクトを注目させる度合いを示す。
【００２３】
注目オブジェクト決定部５は、例えば、以下の式（１）に従って、右眼用画像１０１に含まれる各々のオブジェクトの注目度を算出する。
注目度＝注目優先度×相関度＋視差量・・・式（１）
【００２４】
注目オブジェクト決定部５は、上記式（１）に適用する注目優先度を、例えば以下のようにして決定する。注目オブジェクト決定部５は、右オブジェクト検出部３から右眼用画像に含まれる処理対象のオブジェクトの位置情報と、このオブジェクトの種類を取得する。そして、注目オブジェクト決定部５は、予め記憶部に記憶された、注目優先度とオブジェクトの種類との対応情報に基づいて、上記取得したオブジェクトの種類に対応する注目優先度をこのオブジェクトの注目優先度として決定する。
【００２５】
また、注目オブジェクト決定部５は、右オブジェクト検出部３から取得した処理対象のオブジェクトの位置情報に対応する視差量を視差算出部４から取得し、取得した視差量を上記式（１）に適用する視差量とする。例えば、図３に示すように、人Ａの注目優先度は１０であり、相関度は１０であり、視差量は１０である。従って、式（１）に従って算出される人Ａの注目度は１２０である。同様に、算出される人Ｂ、山の注目度は、図３に示すように、それぞれ、−２４、６０である。
【００２６】
この例では、注目オブジェクト決定部５は、注目度が所定の閾値以上であるオブジェクトを注目オブジェクトとして決定する。例えば閾値を７０とすると、図３に示すオブジェクトのうち、注目度が１２０である人Ａが注目オブジェクトとして決定される。
【００２７】
図３を参照して、注目オブジェクト決定部５が、注目優先度、相関度、視差量という３つのパラメータを用いて注目度を算出し、この注目度に基づいて注目オブジェクトを決定する方法について説明したが、注目オブジェクトの決定方法は、この方法に限られない。注目オブジェクト決定部５は、オブジェクトの画像とユーザが登録した画像との相関度を用いて注目オブジェクトを決定すればよい。例えば、注目オブジェクト決定部５は、注目優先度と相関度とから注目オブジェクトを決定してもよく、単に相関度が所定の閾値以上であるものを注目オブジェクトとしてもよい。また、注目優先度、相関度、視差量の求め方は、図３を参照して説明した方法に限られない。また、この例では、右眼用画像１０１を用いて注目オブジェクトを決定する方法を説明したが、注目オブジェクト決定部５が、左眼用画像１００を用いて注目オブジェクトを決定してもよい。
【００２８】
図１に戻って、パラメータ生成部６は、左眼用画像と前記右眼用画像とに対して実行するエンハンサ処理のパラメータを生成するパラメータ生成手段として機能する。エンハンサ処理は、画像の鮮鋭度を調整する処理である。後述する左眼用画像処理部７、右眼用画像処理部８がエンハンサ処理を実行する。本実施例では、エンハンサ処理のパラメータは、エンハンサゲインである。エンハンサゲインは、左眼用画像処理部７、右眼用画像処理部８が実行する、画像領域毎のエンハンサ処理のゲインである。
【００２９】
パラメータ生成部６は、注目オブジェクト決定部５から、決定された注目オブジェクトを通知される。また、パラメータ生成部６は、視差算出部４からオブジェクトの視差量を取得する。そして、パラメータ生成部６は、以下の処理を行って、左眼用画像と右眼用画像とに対して実行するエンハンサゲイン（エンハンサ処理のパラメータ）を生成するパラメータ生成手段として機能する。パラメータ生成部６は、注目オブジェクトの視差量と、注目オブジェクト以外のオブジェクトの視差量とに基づいて、注目オブジェクトと該注目オブジェクト以外のオブジェクトとの奥行き方向の位置関係を判断する。そして、パラメータ生成部６は、上記判断した奥行き方向の位置関係に基づいて、画像領域毎にエンハンサゲインを生成する。
【００３０】
具体的には、パラメータ生成部６は、注目オブジェクトの手前に該注目オブジェクト以外のオブジェクトがあるかを判断する。注目オブジェクトの手前に該注目オブジェクト以外のオブジェクトがない場合、パラメータ生成部６は、エンハンサゲインの特性として第１の特性を決定し、決定した第１の特性を有するエンハンサゲインを生成する。第１の特性は、視差量が大きいオブジェクトほど鮮鋭度が強調されるようにする特性である。注目オブジェクトの手前に該注目オブジェクト以外のオブジェクトがある場合、パラメータ生成部６は、エンハンサゲインの特性として第２の特性を決定し、決定した第２の特性を有するエンハンサゲインを生成する。第２の特性は、注目オブジェクトの鮮鋭度が強調され、該注目オブジェクト以外のオブジェクトの鮮鋭度が落ちるようにする特性である。
【００３１】
左眼用画像処理部７と右眼用画像処理部８は、決定されたエンハンサゲインを用いて、左眼用画像と右眼用画像とに対してエンハンサ処理を実行するエンハンサ処理手段として機能する。左眼用画像処理部７は、パラメータ生成部６から、パラメータ生成部６が生成したエンハンサゲインを受け取る。また、左眼用画像処理部７は、画像入力部１から、画像入力部１が入力した左眼用画像を受け取る。そして、左眼用画像処理部７は、受け取ったエンハンサゲインを用いて、左眼用画像に対して画像領域毎にエンハンサ処理を実行する。これにより、左眼用画像の鮮鋭度が、エンハンサゲインの特性に応じた鮮鋭度に制御される。左眼用画像処理部７は、エンハンサ処理後の左眼用画像を立体映像表示部９に渡す。
【００３２】
また、右眼用画像処理部８は、パラメータ生成部６から、パラメータ生成部６が生成したエンハンサゲインを受け取る。また、右眼用画像処理部８は、画像入力部１から、画像入力部１が入力した右眼用画像を受け取る。そして、右眼用画像処理部８は、受け取ったエンハンサゲインを用いて、右眼用画像に対して画像領域毎にエンハンサ処理を実行する。これにより、右眼用画像の鮮鋭度が、エンハンサゲインの特性に応じた鮮鋭度に制御される。右眼用画像処理部８は、エンハンサ処理後の右眼用画像を立体映像表示部９に渡す。
【００３３】
左眼用画像処理部７と右眼用画像処理部８は、オブジェクトが検出されない画像領域に対しては、例えば、視差量が最小であるオブジェクトのエンハンサゲインのゲイン量を決定し、当該ゲイン量以下のエンハンサゲインを適用する。また、左眼用画像処理部７と右眼用画像処理部８は、オブジェクトとオブジェクトとの境界部分に対しては、鮮鋭度の段差を無くすように小領域を設定し、予め決められた当該小領域用のゲイン量を持つエンハンサゲインを適用する。
【００３４】
立体映像表示部９は、左眼用画像処理部７から受け取った左眼用画像と、右眼用画像処理部８から受け取った右眼用画像とを、例えば時分割で交互に表示画面上に表示する。例えば、ユーザが装着したシャッタ式眼鏡が、左眼用画像と右眼用画像の表示タイミングに同期してシャッタの開閉を制御することにより、左眼用画像がユーザの左眼に提示され、右眼用画像がユーザの右眼に提示される。これにより、ユーザに映像を立体視させることができる。
【００３５】
図４は、実施例１の立体映像処理装置の動作例を説明するフローチャートである。パラメータ生成部６が、注目オブジェクトの手前に注目オブジェクト以外のオブジェクトがあるかを判断する（ステップＳ１）。注目オブジェクトの視差量より大きい視差量のオブジェクトがある場合、パラメータ生成部６が、注目オブジェクトの手前に注目オブジェクト以外のオブジェクトがあると判断する。注目オブジェクトの視差量より大きい視差量のオブジェクトがない場合、パラメータ生成部６が、注目オブジェクトの手前に注目オブジェクト以外のオブジェクトがないと判断する。
【００３６】
パラメータ生成部６が、注目オブジェクトの手前に注目オブジェクト以外のオブジェクトがないと判断した場合、パラメータ生成部６は、エンハンサゲインの特性として強調特性Ａを選択する（ステップＳ２）。強調特性Ａは、前述した第１の特性を有する。そして、パラメータ生成部６は、強調特性Ａを有するエンハンサゲインを生成する。パラメータ生成部６が、注目オブジェクトの手前に注目オブジェクト以外のオブジェクトがあると判断した場合、パラメータ生成部６は、エンハンサゲインの特性として強調特性Ｂを選択する（ステップＳ３）。強調特性Ｂは、前述した第２の特性を有する。そして、パラメータ生成部６は、強調特性Ｂを有するエンハンサゲインを生成する。次に、左眼用画像処理部７、右眼用画像処理部８が、生成されたエンハンサゲインを用いて、エンハンサ処理を実行する（ステップＳ４）。
【００３７】
図５は、エンハンサゲインの特性とエンハンサ処理とを説明する図である。図５（Ａ）は、エンハンサゲインの強調特性Ａを示す。図５（Ｂ）は、エンハンサゲインの強調特性Ｂを示す。図５（Ａ）、（Ｂ）に示すグラフの縦軸はエンハンサゲイン、横軸は視差量を示す。この例では、原点Ｐに近いほど視差量が大きい（奥行きが小さい）。また、原点Ｐから遠いほど視差量が小さい（奥行きが大きい）。
【００３８】
図５（Ａ）に示すように、強調特性Ａは、エンハンサゲインが、奥行きが大きくなるほど減衰する特性である。ここで、処理対象の画像が図５（Ｂ）に示す画像２００であり、注目オブジェクトが人Ｂ（２０２）である場合を想定する。この場合には、図４のステップＳ１において、パラメータ生成部６が、注目オブジェクトの手前に注目オブジェクト以外のオブジェクトがないと判断する。そして、図４のステップＳ３において、強調特性Ａを選択する。従って、画像２００に対して強調特性Ａを有するエンハンサ処理が実行されると、人Ｂ（２０２）の鮮鋭度が強調され、人Ａ（２０１）、山（２０３）の鮮鋭度が落とされる。その結果、立体映像表示部９は、人Ｂ（２０２）にユーザの焦点が合い、人Ａ（２０１）、山（２０３）がぼかされている画像を表示する。
【００３９】
一方、処理対象の画像が図５（Ｄ）に示す画像３００であり、注目オブジェクトが人Ａ（３０１）である場合を想定する。この場合には、図４のステップＳ１において、パラメータ生成部６が、注目オブジェクトの手前に注目オブジェクト以外のオブジェクトがあると判断する。そして、図４のステップＳ２において、強調特性Ｂを選択する。ここで、図５（Ｃ）に示すように、強調特性Ｂは、注目オブジェクトである人Ａの鮮鋭度が強調され、注目オブジェクト以外のオブジェクトの鮮鋭度が落ちるようにする特性である。
【００４０】
従って、画像３００に対して強調特性Ｂを有するエンハンサ処理が実行されると、人Ａ（３０１）の鮮鋭度が強調され、人Ｂ（３０２）、山（３０３）の鮮鋭度が落とされる。その結果、立体映像表示部９は、人Ａ（３０１）にユーザの焦点が合い、人Ｂ（３０２）、山（３０３）がぼかされている画像を表示する。
【００４１】
以上説明した実施例１の立体映像処理装置によれば、入力映像からユーザの所望の注目オブジェクトを検出し、検出した注目オブジェクトと他のオブジェクトとの間の奥行き方向の位置関係に応じたエンハンサ処理を行うことができる。例えば、この立体映像処理装置は、注目オブジェクトの手前に他のオブジェクトが存在する場合に、注目オブジェクトの鮮鋭度を強調し、その他のオブジェクトをぼかす。従って、この立体映像処理装置によれば、注目オブジェクトの手前に他のオブジェクトが存在しても、立体映像の臨場感を保ちながら、ユーザに立体映像を視聴させることが可能となる。また、この立体映像処理装置によれば、注目オブジェクトだけに焦点を合わせてユーザに立体視させることで、視聴時のユーザの疲労を低減する効果を奏することもできる。
【００４２】
図６は、本発明の実施例２の立体映像処理装置の構成を示す図である。図６に示す立体映像処理装置は、画像入力部２１、左オブジェクト検出部２２、右オブジェクト検出部２３、視差算出部２４、パラメータ生成部２５、左眼用画像処理部２６、右眼用画像処理部２７、立体映像表示部２８を備える。また、立体映像処理装置は、ＣＰＵ（Central Processing Unit ）２９、メモリ３０を備える。ＣＰＵ２９は、バス３１で接続された各処理部に指示して、立体映像処理装置全体を制御する。
【００４３】
画像入力部２１は、図１に示す画像入力部１と同様の機能を有する。左オブジェクト検出部２２、右オブジェクト検出部２３は、それぞれ、図１に示す左オブジェクト検出部２、右オブジェクト検出部３と同様の機能を有する。視差算出部２４は、図１に示す視差算出部４と同様の機能を有する。左眼用画像処理部２６、右眼用画像処理部２７は、それぞれ、図１に示す左眼用画像処理部７、右眼用画像処理部８と同様の機能を有する。立体映像表示部２８は、図１に示す立体映像表示部９と同様の機能を有する。
【００４４】
パラメータ生成部２５は、カメラ等の撮像装置から立体映像処理装置に入力された撮影画像のフォーカス情報を受け付ける。フォーカス情報は、例えば、フォーカスの合っている度合いを示す評価値である。パラメータ生成部２５は、入力されたフォーカス情報に基づいて、例えば最も合焦の度合いが高いオブジェクトを注目オブジェクトとして決定する。パラメータ生成部２５が注目オブジェクトを決定した後の処理は、図４に示すフローチャートが示す処理と同様である。
【００４５】
なお、フォーカスの合っている部分は他の部分と比較して高周波成分が多く含まれる。従って、立体映像処理装置が、カメラからのフォーカス情報ではなく画像の空間周波数成分を取得してフォーカス情報の代わりとしてもよい。さらに、ユーザが注目オブジェクトを直接指示するようにしてもよい。実施例２の立体映像処理装置によれば、注目オブジェクトの手前に他のオブジェクトが存在しても、立体映像の臨場感を保ちながら、ユーザに立体映像を視聴させることが可能となる。
【００４６】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００４７】
１ 画像入力部
２ 左オブジェクト検出部
３ 右オブジェクト検出部
４ 視差算出部
５ 注目オブジェクト決定部
６ パラメータ生成部
７ 左眼用画像処理部
８ 右眼用画像処理部
９ 立体映像表示部
【技術分野】
【０００１】
本発明は、立体映像処理装置および立体映像処理方法に関する。
【背景技術】
【０００２】
人間の左右の眼における視差を利用して、左右の眼に異なる映像を見せることで、この人間が擬似的に３次元（以下、３Ｄ）映像を視聴できるようにする画像処理方式が提案されている。このような画像処理方式のうち、眼鏡を用いた方式として、偏光を利用した偏光方式、カラースペクトラム特性の違いを利用した分光方式、左右の映像を時分割表示し、シャッタ式眼鏡を用いて左右の眼に異なる映像を見せる時分割方式が実用化されている。
【０００３】
映像を立体視する際の奥行き感を強調させる技術の例として、特許文献１は、奥行き量に応じてエンハンサ処理のゲイン量を調整して奥行き感を強調し、映像の臨場感を高める画像処理装置を開示している。また、人間の視覚特性として、人間が、奥行きの異なる複数の物体を観察する際に、自然視の状態では、注視物体の位置に調節点があり、その注視物体にピントが合っている。注視物体にピントがあっている場合には、周辺の物体は注視物体と奥行きが異なるので、ぼけた状態で感知される。上記人間の視覚特性を利用した立体映像処理装置として、例えば、特許文献２は、ユーザの眼球の注目方向の検出結果に基づいて、ユーザが注目する注視領域を決定し、決定した注視領域に対して輪郭強調処理を行う立体映像処理装置を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０２１１６３号公報
【特許文献２】特開平１１−１５５１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１が開示する画像処理装置は、奥行き量が小さい画像領域、すなわち、ユーザに対して近い画像領域に対して、エンハンサ処理のゲインを大きくする。エンハンサ処理は、画像の鮮鋭度を調整する処理である。また、この画像処理装置は、奥行き量が大きい画像領域、すなわち、ユーザに対して遠い画像領域に対して、エンハンサ処理のゲインを小さくする。従って、例えば表示対象の映像中に、注目オブジェクトの手前（ユーザ側）に他のオブジェクトが存在する場合には、注目オブジェクトがぼけた状態で表示されてしまう。注目オブジェクトは、ユーザが注目したいオブジェクトや、映像作成者がユーザに注目させるために強調表示したいオブジェクトである。
【０００６】
また、特許文献２が開示する立体映像処理装置は、ユーザの眼球の注目方向の検出結果に基づいて注視領域を決定する。従って、この立体映像処理装置が決定する注視領域のオブジェクトは、ユーザが注目したいオブジェクトや、映像作成者がユーザに注目させるために強調表示したいオブジェクト、つまり、ユーザの所望の注目オブジェクトではない場合がある。その結果、このような場合には、映像の臨場感が損なわれてしまう。
【０００７】
本発明は、入力映像からユーザの所望の注目オブジェクトを検出し、検出した注目オブジェクトと他のオブジェクトとの間の奥行き方向の位置関係に応じたエンハンサ処理を行う立体映像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明の一実施形態の立体映像処理装置は、左眼用画像と右眼用画像とを入力する画像入力手段と、前記左眼用画像と前記右眼用画像に含まれるオブジェクトを検出するオブジェクト検出手段と、前記検出されたオブジェクトの視差量を算出する視差算出手段と、前記オブジェクトの画像と予め登録された注目対象の画像との相関度を算出し、算出した相関度に基づいて、ユーザが注目するオブジェクトである注目オブジェクトを決定する注目オブジェクト決定手段と、前記注目オブジェクトの前記視差量と、前記注目オブジェクト以外のオブジェクトの前記視差量とに基づいて、前記注目オブジェクトと該注目オブジェクト以外のオブジェクトとの奥行き方向の位置関係を判断し、前記判断した奥行き方向の位置関係に基づいて、前記左眼用画像と前記右眼用画像とに対して実行するエンハンサ処理のパラメータを生成するパラメータ生成手段と、前記生成されたパラメータを用いて、前記左眼用画像と前記右眼用画像とに対して前記エンハンサ処理を実行するエンハンサ処理手段とを備える。
【発明の効果】
【０００９】
本発明の立体映像処理装置によれば、入力映像からユーザの所望の注目オブジェクトを検出し、検出した注目オブジェクトと他のオブジェクトとの間の奥行き方向の位置関係に応じたエンハンサ処理を行うことができる。その結果、例えば、注目オブジェクトの手前に他のオブジェクトが存在しても、立体映像の臨場感を保ちながら、ユーザに立体映像を視聴させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の立体映像処理装置の構成を示す図である。
【図２】画像入力部が入力する映像の例を示す図である。
【図３】注目オブジェクトの決定処理の具体例を説明する図である。
【図４】実施例１の立体映像処理装置の動作例を説明するフローチャートである。
【図５】エンハンサゲインの特性とエンハンサ処理とを説明する図である。
【図６】実施例２の立体映像処理装置の構成を示す図である。
【発明を実施するための形態】
【００１１】
図１は、本発明の実施例１の立体映像処理装置の構成を示す図である。図１に示す立体映像処理装置は、画像入力部１、左オブジェクト検出部２、右オブジェクト検出部３、視差算出部４、注目オブジェクト決定部５、パラメータ生成部６、左眼用画像処理部７、右眼用画像処理部８、立体映像表示部９を備える。また、立体映像処理装置は、ＣＰＵ（Central Processing Unit ）１０、メモリ１１を備える。ＣＰＵ１０は、バス１２で接続された各処理部に指示して、立体映像処理装置全体を制御する。
【００１２】
画像入力部１は、左眼用画像と右眼用画像を含む映像を入力する。すなわち、画像入力部１は、左眼用画像と右眼用画像とを入力する画像入力手段として機能する。左眼用画像は、ユーザの左眼に提示される画像である。右眼用画像は、ユーザの右眼に提示される画像である。左眼用画像と右眼用画像とは、両眼視差を有する。
【００１３】
左オブジェクト検出部２は、画像入力部１が入力した左眼用画像に含まれるオブジェクトを検出する。右オブジェクト検出部３は、画像入力部１が入力した右眼用画像に含まれるオブジェクトを検出する。左オブジェクト検出部２、右オブジェクト検出部３は、それぞれ、左眼用画像、右眼用画像から、公知のパターンマッチング法を用いてオブジェクトを検出する。検出されるオブジェクトの種類は、例えば、人、車、木、山等である。また、左オブジェクト検出部２は、検出したオブジェクトの左眼用画像における位置情報を算出する。右オブジェクト検出部３は、検出したオブジェクトの右眼用画像における位置情報を算出する。
【００１４】
図２は、画像入力部が入力する映像の例を示す図である。入力される映像は、図２（Ａ）に示す左眼用画像１００と図２（Ｂ）に示す右眼用画像１０１とが映像フレームに交互に配置された構成を有する。図２（Ａ），（Ｂ）に示す例では、左眼用画像１００及び右眼用画像１０１をユーザに立体視させた際の、各々の画像に含まれるオブジェクトの位置は、表示画面に対してユーザ側から人Ｂ（１０２）、人Ａ（１０３）、山（１０４）の順である。すなわち、ユーザ側から奥行き方向に、人Ｂ（１０２）、人Ａ（１０３）、山（１０４）の順にオブジェクトが並んでいる。ユーザ側から奥行き方向の位置が遠いオブジェクトほどオブジェクトの視差量が小さく、奥行き方向の位置が近いオブジェクトほどオブジェクトの視差量が大きい。オブジェクトの視差量は、オブジェクトの左目画像と右眼用画像とにおける位置に応じて決まる視差の量である。
【００１５】
図１に戻って、視差算出部４は、左オブジェクト検出部２、右オブジェクト検出部３が検出したオブジェクトの視差量を算出する視差算出手段として機能する。具体的には、視差算出部４は、左オブジェクト検出部２が検出したオブジェクトと右オブジェクト検出部３が検出したオブジェクトとを比較して、オブジェクト同士の類似度を算出する。視差算出部４は、オブジェクトの類似度を算出するための公知の技術を用いて、オブジェクト同士の類似度を算出する。
【００１６】
視差算出部４が算出したオブジェクト同士の類似度が予め決められた閾値以上である場合、視差算出部４は、これらのオブジェクトが同一のオブジェクトであると判断する。そして、視差算出部４は、左オブジェクト検出部２、右オブジェクト検出部３がそれぞれ算出したオブジェクトの位置情報を用いて、上記同一のオブジェクトと判断したオブジェクトの視差量を算出する。視差算出部４は、例えば、算出したオブジェクトの視差量を、右眼用画像、左眼用画像それぞれにおける当該オブジェクトの位置情報と対応付けて記憶する。
【００１７】
視差算出部４が算出したオブジェクトの視差量が正の値の場合は、オブジェクトは、表示画面を基準としてユーザ側に存在するように立体視されるとし、視差量がゼロの場合は、表示画面上に存在するように立体視されるとする。視差算出部４が算出したオブジェクトの視差量が負の値の場合は、オブジェクトは、表示画面を基準として奥に存在するように立体視されるとする。視差算出部４は、算出・記憶したオブジェクトの視差量をパラメータ生成部６、注目オブジェクト決定部５に渡す。
【００１８】
注目オブジェクト決定部５は、以下の処理を行って注目オブジェクトを決定する注目オブジェクト決定手段として機能する。注目オブジェクトは、ユーザが注目するオブジェクトである。注目オブジェクトが、映像作成者がユーザに注目させるために強調表示したいオブジェクトであってもよい。注目オブジェクト決定部５は、画像入力部１が入力した画像に含まれるオブジェクトの画像と予めメモリ１１に記憶された注目対象の画像との相関度を算出する。相関度は、双方の画像が一致する度合いである。注目対象の画像は、ユーザが注目したい画像、またはユーザに注目させたい画像である。
【００１９】
注目オブジェクト決定部５は、算出した相関度に基づいて、注目オブジェクトを決定する。これにより、ユーザの所望の注目オブジェクトを検出することが可能となる。注目オブジェクト決定部５が、算出した相関度と、処理対象のオブジェクトの視差量とに基づいて、注目オブジェクトを決定するようにしてもよい。また、注目オブジェクト決定部５が、算出した相関度と、処理対象のオブジェクトの視差量と、注目優先度とに基づいて、注目オブジェクトを決定するようにしてもよい。
【００２０】
注目優先度は、注目オブジェクトの決定に関する優先度である。注目優先度は、オブジェクトの種類に応じて予め決められている。このために、注目優先度とオブジェクトの種類との対応情報が所定の記憶部に予め記憶されている。注目優先度が高い種類のオブジェクトほど、優先的に注目オブジェクトに決定される。注目オブジェクト決定部５は、決定した注目オブジェクトをパラメータ生成部６に渡す。
【００２１】
図３は、注目オブジェクトの決定処理の具体例を説明する図である。図３中のテーブルが含むオブジェクト名は、画像入力部１が入力した画像に含まれるオブジェクトの名称を示す。この例では、各々のオブジェクト名は、図２（Ａ）に示す右眼用画像１０１に含まれる人Ａ、Ｂ、山というオブジェクトに対応している。
【００２２】
注目優先度は、オブジェクトの種類に応じて予め決められた優先度である。この例では、「人」という種類のオブジェクトの注目優先度は１０に設定されている。また、「山」という種類のオブジェクトの注目優先度は３に設定されている。相関度は、右眼用画像１０１に含まれるオブジェクトの画像と、注目対象の画像との相関度である。注目オブジェクト決定部５は、例えば、オブジェクトの画像と注目対象の画像とを、所定の画像領域毎に比較して、比較画像間の差分絶対値和を求める。注目オブジェクト決定部５は、求めた差分絶対値和に基づいて、相関度を求める。差分絶対値和が小さいほどオブジェクトの画像と注目対象の画像との相関度が高くなる。図３中に示す相関度は、正規化された値を持つ。視差量は、オブジェクトの視差量である。図３中に示す視差量は、正規化された値である。注目度は、ユーザにオブジェクトを注目させる度合いを示す。
【００２３】
注目オブジェクト決定部５は、例えば、以下の式（１）に従って、右眼用画像１０１に含まれる各々のオブジェクトの注目度を算出する。
注目度＝注目優先度×相関度＋視差量・・・式（１）
【００２４】
注目オブジェクト決定部５は、上記式（１）に適用する注目優先度を、例えば以下のようにして決定する。注目オブジェクト決定部５は、右オブジェクト検出部３から右眼用画像に含まれる処理対象のオブジェクトの位置情報と、このオブジェクトの種類を取得する。そして、注目オブジェクト決定部５は、予め記憶部に記憶された、注目優先度とオブジェクトの種類との対応情報に基づいて、上記取得したオブジェクトの種類に対応する注目優先度をこのオブジェクトの注目優先度として決定する。
【００２５】
また、注目オブジェクト決定部５は、右オブジェクト検出部３から取得した処理対象のオブジェクトの位置情報に対応する視差量を視差算出部４から取得し、取得した視差量を上記式（１）に適用する視差量とする。例えば、図３に示すように、人Ａの注目優先度は１０であり、相関度は１０であり、視差量は１０である。従って、式（１）に従って算出される人Ａの注目度は１２０である。同様に、算出される人Ｂ、山の注目度は、図３に示すように、それぞれ、−２４、６０である。
【００２６】
この例では、注目オブジェクト決定部５は、注目度が所定の閾値以上であるオブジェクトを注目オブジェクトとして決定する。例えば閾値を７０とすると、図３に示すオブジェクトのうち、注目度が１２０である人Ａが注目オブジェクトとして決定される。
【００２７】
図３を参照して、注目オブジェクト決定部５が、注目優先度、相関度、視差量という３つのパラメータを用いて注目度を算出し、この注目度に基づいて注目オブジェクトを決定する方法について説明したが、注目オブジェクトの決定方法は、この方法に限られない。注目オブジェクト決定部５は、オブジェクトの画像とユーザが登録した画像との相関度を用いて注目オブジェクトを決定すればよい。例えば、注目オブジェクト決定部５は、注目優先度と相関度とから注目オブジェクトを決定してもよく、単に相関度が所定の閾値以上であるものを注目オブジェクトとしてもよい。また、注目優先度、相関度、視差量の求め方は、図３を参照して説明した方法に限られない。また、この例では、右眼用画像１０１を用いて注目オブジェクトを決定する方法を説明したが、注目オブジェクト決定部５が、左眼用画像１００を用いて注目オブジェクトを決定してもよい。
【００２８】
図１に戻って、パラメータ生成部６は、左眼用画像と前記右眼用画像とに対して実行するエンハンサ処理のパラメータを生成するパラメータ生成手段として機能する。エンハンサ処理は、画像の鮮鋭度を調整する処理である。後述する左眼用画像処理部７、右眼用画像処理部８がエンハンサ処理を実行する。本実施例では、エンハンサ処理のパラメータは、エンハンサゲインである。エンハンサゲインは、左眼用画像処理部７、右眼用画像処理部８が実行する、画像領域毎のエンハンサ処理のゲインである。
【００２９】
パラメータ生成部６は、注目オブジェクト決定部５から、決定された注目オブジェクトを通知される。また、パラメータ生成部６は、視差算出部４からオブジェクトの視差量を取得する。そして、パラメータ生成部６は、以下の処理を行って、左眼用画像と右眼用画像とに対して実行するエンハンサゲイン（エンハンサ処理のパラメータ）を生成するパラメータ生成手段として機能する。パラメータ生成部６は、注目オブジェクトの視差量と、注目オブジェクト以外のオブジェクトの視差量とに基づいて、注目オブジェクトと該注目オブジェクト以外のオブジェクトとの奥行き方向の位置関係を判断する。そして、パラメータ生成部６は、上記判断した奥行き方向の位置関係に基づいて、画像領域毎にエンハンサゲインを生成する。
【００３０】
具体的には、パラメータ生成部６は、注目オブジェクトの手前に該注目オブジェクト以外のオブジェクトがあるかを判断する。注目オブジェクトの手前に該注目オブジェクト以外のオブジェクトがない場合、パラメータ生成部６は、エンハンサゲインの特性として第１の特性を決定し、決定した第１の特性を有するエンハンサゲインを生成する。第１の特性は、視差量が大きいオブジェクトほど鮮鋭度が強調されるようにする特性である。注目オブジェクトの手前に該注目オブジェクト以外のオブジェクトがある場合、パラメータ生成部６は、エンハンサゲインの特性として第２の特性を決定し、決定した第２の特性を有するエンハンサゲインを生成する。第２の特性は、注目オブジェクトの鮮鋭度が強調され、該注目オブジェクト以外のオブジェクトの鮮鋭度が落ちるようにする特性である。
【００３１】
左眼用画像処理部７と右眼用画像処理部８は、決定されたエンハンサゲインを用いて、左眼用画像と右眼用画像とに対してエンハンサ処理を実行するエンハンサ処理手段として機能する。左眼用画像処理部７は、パラメータ生成部６から、パラメータ生成部６が生成したエンハンサゲインを受け取る。また、左眼用画像処理部７は、画像入力部１から、画像入力部１が入力した左眼用画像を受け取る。そして、左眼用画像処理部７は、受け取ったエンハンサゲインを用いて、左眼用画像に対して画像領域毎にエンハンサ処理を実行する。これにより、左眼用画像の鮮鋭度が、エンハンサゲインの特性に応じた鮮鋭度に制御される。左眼用画像処理部７は、エンハンサ処理後の左眼用画像を立体映像表示部９に渡す。
【００３２】
また、右眼用画像処理部８は、パラメータ生成部６から、パラメータ生成部６が生成したエンハンサゲインを受け取る。また、右眼用画像処理部８は、画像入力部１から、画像入力部１が入力した右眼用画像を受け取る。そして、右眼用画像処理部８は、受け取ったエンハンサゲインを用いて、右眼用画像に対して画像領域毎にエンハンサ処理を実行する。これにより、右眼用画像の鮮鋭度が、エンハンサゲインの特性に応じた鮮鋭度に制御される。右眼用画像処理部８は、エンハンサ処理後の右眼用画像を立体映像表示部９に渡す。
【００３３】
左眼用画像処理部７と右眼用画像処理部８は、オブジェクトが検出されない画像領域に対しては、例えば、視差量が最小であるオブジェクトのエンハンサゲインのゲイン量を決定し、当該ゲイン量以下のエンハンサゲインを適用する。また、左眼用画像処理部７と右眼用画像処理部８は、オブジェクトとオブジェクトとの境界部分に対しては、鮮鋭度の段差を無くすように小領域を設定し、予め決められた当該小領域用のゲイン量を持つエンハンサゲインを適用する。
【００３４】
立体映像表示部９は、左眼用画像処理部７から受け取った左眼用画像と、右眼用画像処理部８から受け取った右眼用画像とを、例えば時分割で交互に表示画面上に表示する。例えば、ユーザが装着したシャッタ式眼鏡が、左眼用画像と右眼用画像の表示タイミングに同期してシャッタの開閉を制御することにより、左眼用画像がユーザの左眼に提示され、右眼用画像がユーザの右眼に提示される。これにより、ユーザに映像を立体視させることができる。
【００３５】
図４は、実施例１の立体映像処理装置の動作例を説明するフローチャートである。パラメータ生成部６が、注目オブジェクトの手前に注目オブジェクト以外のオブジェクトがあるかを判断する（ステップＳ１）。注目オブジェクトの視差量より大きい視差量のオブジェクトがある場合、パラメータ生成部６が、注目オブジェクトの手前に注目オブジェクト以外のオブジェクトがあると判断する。注目オブジェクトの視差量より大きい視差量のオブジェクトがない場合、パラメータ生成部６が、注目オブジェクトの手前に注目オブジェクト以外のオブジェクトがないと判断する。
【００３６】
パラメータ生成部６が、注目オブジェクトの手前に注目オブジェクト以外のオブジェクトがないと判断した場合、パラメータ生成部６は、エンハンサゲインの特性として強調特性Ａを選択する（ステップＳ２）。強調特性Ａは、前述した第１の特性を有する。そして、パラメータ生成部６は、強調特性Ａを有するエンハンサゲインを生成する。パラメータ生成部６が、注目オブジェクトの手前に注目オブジェクト以外のオブジェクトがあると判断した場合、パラメータ生成部６は、エンハンサゲインの特性として強調特性Ｂを選択する（ステップＳ３）。強調特性Ｂは、前述した第２の特性を有する。そして、パラメータ生成部６は、強調特性Ｂを有するエンハンサゲインを生成する。次に、左眼用画像処理部７、右眼用画像処理部８が、生成されたエンハンサゲインを用いて、エンハンサ処理を実行する（ステップＳ４）。
【００３７】
図５は、エンハンサゲインの特性とエンハンサ処理とを説明する図である。図５（Ａ）は、エンハンサゲインの強調特性Ａを示す。図５（Ｂ）は、エンハンサゲインの強調特性Ｂを示す。図５（Ａ）、（Ｂ）に示すグラフの縦軸はエンハンサゲイン、横軸は視差量を示す。この例では、原点Ｐに近いほど視差量が大きい（奥行きが小さい）。また、原点Ｐから遠いほど視差量が小さい（奥行きが大きい）。
【００３８】
図５（Ａ）に示すように、強調特性Ａは、エンハンサゲインが、奥行きが大きくなるほど減衰する特性である。ここで、処理対象の画像が図５（Ｂ）に示す画像２００であり、注目オブジェクトが人Ｂ（２０２）である場合を想定する。この場合には、図４のステップＳ１において、パラメータ生成部６が、注目オブジェクトの手前に注目オブジェクト以外のオブジェクトがないと判断する。そして、図４のステップＳ３において、強調特性Ａを選択する。従って、画像２００に対して強調特性Ａを有するエンハンサ処理が実行されると、人Ｂ（２０２）の鮮鋭度が強調され、人Ａ（２０１）、山（２０３）の鮮鋭度が落とされる。その結果、立体映像表示部９は、人Ｂ（２０２）にユーザの焦点が合い、人Ａ（２０１）、山（２０３）がぼかされている画像を表示する。
【００３９】
一方、処理対象の画像が図５（Ｄ）に示す画像３００であり、注目オブジェクトが人Ａ（３０１）である場合を想定する。この場合には、図４のステップＳ１において、パラメータ生成部６が、注目オブジェクトの手前に注目オブジェクト以外のオブジェクトがあると判断する。そして、図４のステップＳ２において、強調特性Ｂを選択する。ここで、図５（Ｃ）に示すように、強調特性Ｂは、注目オブジェクトである人Ａの鮮鋭度が強調され、注目オブジェクト以外のオブジェクトの鮮鋭度が落ちるようにする特性である。
【００４０】
従って、画像３００に対して強調特性Ｂを有するエンハンサ処理が実行されると、人Ａ（３０１）の鮮鋭度が強調され、人Ｂ（３０２）、山（３０３）の鮮鋭度が落とされる。その結果、立体映像表示部９は、人Ａ（３０１）にユーザの焦点が合い、人Ｂ（３０２）、山（３０３）がぼかされている画像を表示する。
【００４１】
以上説明した実施例１の立体映像処理装置によれば、入力映像からユーザの所望の注目オブジェクトを検出し、検出した注目オブジェクトと他のオブジェクトとの間の奥行き方向の位置関係に応じたエンハンサ処理を行うことができる。例えば、この立体映像処理装置は、注目オブジェクトの手前に他のオブジェクトが存在する場合に、注目オブジェクトの鮮鋭度を強調し、その他のオブジェクトをぼかす。従って、この立体映像処理装置によれば、注目オブジェクトの手前に他のオブジェクトが存在しても、立体映像の臨場感を保ちながら、ユーザに立体映像を視聴させることが可能となる。また、この立体映像処理装置によれば、注目オブジェクトだけに焦点を合わせてユーザに立体視させることで、視聴時のユーザの疲労を低減する効果を奏することもできる。
【００４２】
図６は、本発明の実施例２の立体映像処理装置の構成を示す図である。図６に示す立体映像処理装置は、画像入力部２１、左オブジェクト検出部２２、右オブジェクト検出部２３、視差算出部２４、パラメータ生成部２５、左眼用画像処理部２６、右眼用画像処理部２７、立体映像表示部２８を備える。また、立体映像処理装置は、ＣＰＵ（Central Processing Unit ）２９、メモリ３０を備える。ＣＰＵ２９は、バス３１で接続された各処理部に指示して、立体映像処理装置全体を制御する。
【００４３】
画像入力部２１は、図１に示す画像入力部１と同様の機能を有する。左オブジェクト検出部２２、右オブジェクト検出部２３は、それぞれ、図１に示す左オブジェクト検出部２、右オブジェクト検出部３と同様の機能を有する。視差算出部２４は、図１に示す視差算出部４と同様の機能を有する。左眼用画像処理部２６、右眼用画像処理部２７は、それぞれ、図１に示す左眼用画像処理部７、右眼用画像処理部８と同様の機能を有する。立体映像表示部２８は、図１に示す立体映像表示部９と同様の機能を有する。
【００４４】
パラメータ生成部２５は、カメラ等の撮像装置から立体映像処理装置に入力された撮影画像のフォーカス情報を受け付ける。フォーカス情報は、例えば、フォーカスの合っている度合いを示す評価値である。パラメータ生成部２５は、入力されたフォーカス情報に基づいて、例えば最も合焦の度合いが高いオブジェクトを注目オブジェクトとして決定する。パラメータ生成部２５が注目オブジェクトを決定した後の処理は、図４に示すフローチャートが示す処理と同様である。
【００４５】
なお、フォーカスの合っている部分は他の部分と比較して高周波成分が多く含まれる。従って、立体映像処理装置が、カメラからのフォーカス情報ではなく画像の空間周波数成分を取得してフォーカス情報の代わりとしてもよい。さらに、ユーザが注目オブジェクトを直接指示するようにしてもよい。実施例２の立体映像処理装置によれば、注目オブジェクトの手前に他のオブジェクトが存在しても、立体映像の臨場感を保ちながら、ユーザに立体映像を視聴させることが可能となる。
【００４６】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００４７】
１ 画像入力部
２ 左オブジェクト検出部
３ 右オブジェクト検出部
４ 視差算出部
５ 注目オブジェクト決定部
６ パラメータ生成部
７ 左眼用画像処理部
８ 右眼用画像処理部
９ 立体映像表示部
【特許請求の範囲】
【請求項１】
左眼用画像と右眼用画像とを入力する画像入力手段と、
前記左眼用画像と前記右眼用画像に含まれるオブジェクトを検出するオブジェクト検出手段と、
前記検出されたオブジェクトの視差量を算出する視差算出手段と、
前記オブジェクトの画像と予め登録された注目対象の画像との相関度を算出し、算出した相関度に基づいて、ユーザが注目するオブジェクトである注目オブジェクトを決定する注目オブジェクト決定手段と、
前記注目オブジェクトの前記視差量と、前記注目オブジェクト以外のオブジェクトの前記視差量とに基づいて、前記注目オブジェクトと該注目オブジェクト以外のオブジェクトとの奥行き方向の位置関係を判断し、前記判断した奥行き方向の位置関係に基づいて、前記左眼用画像と前記右眼用画像とに対して実行するエンハンサ処理のパラメータを生成するパラメータ生成手段と、
前記生成されたパラメータを用いて、前記左眼用画像と前記右眼用画像とに対して前記エンハンサ処理を実行するエンハンサ処理手段とを備える
ことを特徴とする立体映像処理装置。
【請求項２】
前記パラメータ生成手段は、前記注目オブジェクトの手前に該注目オブジェクト以外のオブジェクトがない場合に、前記視差量が大きいオブジェクトほど鮮鋭度が強調されるようにする前記パラメータを生成することを特徴とする請求項１に記載の立体映像処理装置。
【請求項３】
前記パラメータ生成手段は、前記注目オブジェクトの手前に該注目オブジェクト以外のオブジェクトがある場合に、前記注目オブジェクトの鮮鋭度が強調され、該注目オブジェクト以外のオブジェクトの鮮鋭度が落ちるようにする前記パラメータを生成する
ことを特徴とする請求項１に記載の立体映像処理装置。
【請求項４】
前記注目オブジェクト決定手段は、前記オブジェクトの画像と予め登録された注目対象の画像との相関度と、該オブジェクトの前記視差量とに基づいて、前記注目オブジェクトを決定する
ことを特徴とする請求項１乃至３のいずれか１項に記載の立体映像処理装置。
【請求項５】
前記注目オブジェクト決定手段は、前記オブジェクトの画像と予め登録された注目対象の画像との相関度と、該オブジェクトの前記視差量と、該オブジェクトの種類に応じて決まる優先度とに基づいて、前記注目オブジェクトを決定する
ことを特徴とする請求項１乃至３のいずれか１項に記載の立体映像処理装置。
【請求項６】
左眼用画像と右眼用画像とを入力する画像入力工程と、
前記左眼用画像と前記右眼用画像に含まれるオブジェクトを検出するオブジェクト検出工程と、
前記検出されたオブジェクトの視差量を算出する視差算出工程と、
前記オブジェクトの画像と予め登録された注目対象の画像との相関度を算出し、算出した相関度に基づいて、ユーザが注目するオブジェクトである注目オブジェクトを決定する注目オブジェクト決定工程と、
前記注目オブジェクトの前記視差量と、前記注目オブジェクト以外のオブジェクトの前記視差量とに基づいて、前記注目オブジェクトと該注目オブジェクト以外のオブジェクトとの奥行き方向の位置関係を判断し、前記判断した奥行き方向の位置関係に基づいて、前記左眼用画像と前記右眼用画像とに対して実行するエンハンサ処理のパラメータを生成するパラメータ生成工程と、
前記生成されたパラメータを用いて、前記左眼用画像と前記右眼用画像とに対して前記エンハンサ処理を実行するエンハンサ処理工程とを有する
ことを特徴とする立体映像処理方法。
【請求項１】
左眼用画像と右眼用画像とを入力する画像入力手段と、
前記左眼用画像と前記右眼用画像に含まれるオブジェクトを検出するオブジェクト検出手段と、
前記検出されたオブジェクトの視差量を算出する視差算出手段と、
前記オブジェクトの画像と予め登録された注目対象の画像との相関度を算出し、算出した相関度に基づいて、ユーザが注目するオブジェクトである注目オブジェクトを決定する注目オブジェクト決定手段と、
前記注目オブジェクトの前記視差量と、前記注目オブジェクト以外のオブジェクトの前記視差量とに基づいて、前記注目オブジェクトと該注目オブジェクト以外のオブジェクトとの奥行き方向の位置関係を判断し、前記判断した奥行き方向の位置関係に基づいて、前記左眼用画像と前記右眼用画像とに対して実行するエンハンサ処理のパラメータを生成するパラメータ生成手段と、
前記生成されたパラメータを用いて、前記左眼用画像と前記右眼用画像とに対して前記エンハンサ処理を実行するエンハンサ処理手段とを備える
ことを特徴とする立体映像処理装置。
【請求項２】
前記パラメータ生成手段は、前記注目オブジェクトの手前に該注目オブジェクト以外のオブジェクトがない場合に、前記視差量が大きいオブジェクトほど鮮鋭度が強調されるようにする前記パラメータを生成することを特徴とする請求項１に記載の立体映像処理装置。
【請求項３】
前記パラメータ生成手段は、前記注目オブジェクトの手前に該注目オブジェクト以外のオブジェクトがある場合に、前記注目オブジェクトの鮮鋭度が強調され、該注目オブジェクト以外のオブジェクトの鮮鋭度が落ちるようにする前記パラメータを生成する
ことを特徴とする請求項１に記載の立体映像処理装置。
【請求項４】
前記注目オブジェクト決定手段は、前記オブジェクトの画像と予め登録された注目対象の画像との相関度と、該オブジェクトの前記視差量とに基づいて、前記注目オブジェクトを決定する
ことを特徴とする請求項１乃至３のいずれか１項に記載の立体映像処理装置。
【請求項５】
前記注目オブジェクト決定手段は、前記オブジェクトの画像と予め登録された注目対象の画像との相関度と、該オブジェクトの前記視差量と、該オブジェクトの種類に応じて決まる優先度とに基づいて、前記注目オブジェクトを決定する
ことを特徴とする請求項１乃至３のいずれか１項に記載の立体映像処理装置。
【請求項６】
左眼用画像と右眼用画像とを入力する画像入力工程と、
前記左眼用画像と前記右眼用画像に含まれるオブジェクトを検出するオブジェクト検出工程と、
前記検出されたオブジェクトの視差量を算出する視差算出工程と、
前記オブジェクトの画像と予め登録された注目対象の画像との相関度を算出し、算出した相関度に基づいて、ユーザが注目するオブジェクトである注目オブジェクトを決定する注目オブジェクト決定工程と、
前記注目オブジェクトの前記視差量と、前記注目オブジェクト以外のオブジェクトの前記視差量とに基づいて、前記注目オブジェクトと該注目オブジェクト以外のオブジェクトとの奥行き方向の位置関係を判断し、前記判断した奥行き方向の位置関係に基づいて、前記左眼用画像と前記右眼用画像とに対して実行するエンハンサ処理のパラメータを生成するパラメータ生成工程と、
前記生成されたパラメータを用いて、前記左眼用画像と前記右眼用画像とに対して前記エンハンサ処理を実行するエンハンサ処理工程とを有する
ことを特徴とする立体映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１０９７２５（Ｐ２０１２−１０９７２５Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１０−２５６０００（Ｐ２０１０−２５６０００）
【出願日】平成２２年１１月１６日（２０１０．１１．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２２年１１月１６日（２０１０．１１．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]