映像処理装置、映像処理方法及びコンピュータプログラム
【課題】専用の映像表示装置及び特殊な眼鏡を用いず、画像処理のみによって映像の奥行き感を向上させることができる映像処理装置を提供する。
【解決手段】映像取得部１１にて取得した映像の奥行き感を強調する処理を行う映像処理装置１に、前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得する奥行き情報取得部１２と、奥行き情報取得部１２にて取得した奥行き情報及び前記映像に基づいて、映像を前景映像部分及び背景映像部分に分割する映像分割部１３と、映像の奥行きを強調する枠オブジェクトを付与すべきか否かを判定する枠オブジェクト付与判定部１５ａと、枠オブジェクトを付与すべしと判定した場合、背景映像部分に、枠オブジェクトが重畳され、更に枠オブジェクトに、前景映像部分が重畳されるように各映像部分及び枠オブジェクトを合成する映像合成部１６とを備える。
【解決手段】映像取得部１１にて取得した映像の奥行き感を強調する処理を行う映像処理装置１に、前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得する奥行き情報取得部１２と、奥行き情報取得部１２にて取得した奥行き情報及び前記映像に基づいて、映像を前景映像部分及び背景映像部分に分割する映像分割部１３と、映像の奥行きを強調する枠オブジェクトを付与すべきか否かを判定する枠オブジェクト付与判定部１５ａと、枠オブジェクトを付与すべしと判定した場合、背景映像部分に、枠オブジェクトが重畳され、更に枠オブジェクトに、前景映像部分が重畳されるように各映像部分及び枠オブジェクトを合成する映像合成部１６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
入力された映像の奥行き感を強調する処理を行う映像処理装置、映像処理方法、及びコンピュータを前記映像処理装置として動作させるためのコンピュータプログラムに関する。
【背景技術】
【０００２】
テレビ、携帯電話などの映像表示装置に表示される二次元映像の立体感又は奥行き感を高める様々な手法が提案されている。例えば、立体感又は奥行き感を高める方法の一つとして両眼視差を利用した立体視手法が提案されている。立体視手法は、視聴者の左右の目それぞれに、左目用視差画像と、右目用視差画像とを送ることによって、視聴者に錯覚を起こさせ、二次元平面に立体感又は奥行き感を与える手法である。
左右の目それぞれに左目用視差画像及び右目用視差画像を送る方式には、左目用視差画像と右目用視差画像とを交互に切り替えて表示する映像表示装置と、各視差画像の切り替え周波数に同期して、左右のシャッタを切り替えて光路を遮断する眼鏡とを用いた方式がある（例えば、特許文献１）。
また、左目用視差画像及び右目用視差画像を夫々赤色画像及び青色画像に色変換し、色変換された各画像を重畳的に表示する映像表示装置と、赤青眼鏡とを用いることによって、左右の目それぞれに赤色画像及び青色画像を送るアナグリフ方式がある。
更に、左目用視差画像及び右目用視差画像それぞれを異なる偏光にて表示する映像表示装置と、偏光眼鏡とを用いることによって、左右の目それぞれに左目用視差画像及び右目用視差画像を送る方式がある（例えば、特許文献２）。
【０００３】
他方、絵画の分野では、遠近法、陰影法、前進色及び後退色の組み合わせなどの絵画的技巧を利用して絵画の立体感又は奥行き感を高めることが行われている。これらの絵画的技巧を利用して作成される絵画作品は、トリックアート又はトロンプ・ルイユと呼ばれている。トリックアートは、前述の絵画的技巧を利用して、平面作品における背景、各オブジェクト間の重畳関係を描写することで、二次元的に描写されたオブジェクトの一部が恰も現実世界の三次元空間に飛び出しているように錯覚を起こさせ、平面作品に立体感又は奥行き感を与えることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭６０−７２９１号公報
【特許文献２】特開平１−１７１３９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１，２に係るシステムにおいては、専用の映像表示装置及び特殊な眼鏡を用意する必要があった。また、視聴者は特殊な眼鏡の装着を義務付けられ、視聴方法が著しく制限されるという問題があった。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、専用の映像表示装置及び特殊な眼鏡を用いず、画像処理のみによって映像の奥行き感を向上させることができる映像処理装置、映像処理方法及びコンピュータを前記映像処理装置として動作させるためのコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る映像処理装置は、入力された映像の奥行き感を強調する処理を行う映像処理装置であって、前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得する奥行き情報取得手段と、該奥行き情報取得手段にて取得した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割する映像分割手段と、該映像分割手段にて分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調映像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調映像を合成する映像合成手段と、前記映像分割手段にて分割された他の映像部分に基づいて、奥行き強調映像を重畳すべきか否かを判定する判定手段とを備え、前記映像合成手段は、前記判定手段が奥行き強調映像を重畳すべしと判定した場合、奥行き強調映像を重畳するようにしてあることを特徴とする。
【０００８】
本発明に係る映像処理装置は、前記映像分割手段にて分割された他の映像部分であって、入力された映像の端部の映像に対応する映像部分を特定する手段を備え、前記判定手段は、他の映像部分に、入力された映像の端部の映像部分が含まれていない場合、奥行き強調映像を重畳すべしと判定するようにしてあることを特徴とする。
【０００９】
本発明に係る映像処理装置は、前記映像分割手段にて分割された他の映像部分であって、入力された映像の端部の映像に対応する映像部分を特定する手段を備え、前記判定手段は、他の映像部分に、入力された映像の端部の映像部分が含まれている場合、他の映像部分に含まれる端部の映像部分の面積の大小に応じて、奥行き強調映像を重畳すべきか否かを判定するようにしてあることを特徴とする。
【００１０】
本発明に係る映像処理装置は、入力された映像の輝度又は色に基づいて、輝度又は色が該映像と異なる奥行き強調映像を生成する生成手段を備え、前記映像合成手段は、前記生成手段にて生成された奥行き強調映像を合成するようにしてあることを特徴とする。
【００１１】
本発明に係る映像処理装置は、前記生成手段は、前記映像分割手段にて分割された一の映像部分及び／又は他の映像部分の輝度又は色に基づいて、輝度又は色が該映像部分と異なる奥行き強調映像を生成するようにしてあることを特徴とする。
【００１２】
本発明に係る映像処理装置は、時系列順に複数の映像が入力されるように構成されており、奥行き強調映像が合成されていない映像及び奥行き強調映像を合成して得た映像の中から、奥行き強調映像を合成して得た映像を選択する手段を備えることを特徴とする。
【００１３】
本発明に係る映像処理装置は、時系列順に複数の映像が入力されるように構成されており、時系列順に入力された各映像間における映像部分の移動方向を示した移動方向情報を取得する移動方向情報取得手段と、該移動方向情報取得手段にて取得した移動方向情報に応じた形状を有する奥行き強調映像を生成する生成手段とを備え、前記映像合成手段は、前記生成手段にて生成された奥行き強調映像を合成するようにしてあることを特徴とする。
【００１４】
本発明に係る映像処理装置は、時系列順に複数の映像が入力されるように構成されており、時系列順に入力された各映像間における映像部分の移動方向を示した移動方向情報を取得する移動方向情報取得手段を備え、前記生成手段は、該移動方向情報取得手段にて取得した移動方向情報に応じた形状を有する奥行き強調映像を生成するようにしてあることを特徴とする。
【００１５】
本発明に係る映像処理装置は、所定の三次元画像を記憶する記憶手段を備え、前記生成手段は、前記記憶手段が記憶している三次元画像と、前記移動方向情報取得手段にて取得した一の映像部分の移動方向情報が示す移動方向とが所定の位置関係になるように、該三次元画像を回転させる回転処理手段を備え、該回転処理手段にて回転した三次元画像を所定の二次元平面に射影させて得られる二次元形状を有する奥行き強調映像を生成するようにしてあることを特徴とする。
【００１６】
本発明に係る映像処理方法は、入力された映像の奥行き感を強調する処理を行う映像処理方法であって、前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得し、取得した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割し、分割された他の映像部分に基づいて、前記映像の奥行きを強調するための奥行き強調映像を映像部分に重畳すべきか否かを判定し、奥行き強調映像を重畳すべしと判定した場合、分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調映像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調映像を合成することを特徴とする。
【００１７】
本発明に係るコンピュータプログラムは、コンピュータに、映像の奥行き感を強調する処理を実行させるコンピュータプログラムであって、前記コンピュータに、前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割するステップと、分割された他の映像部分に基づいて、前記映像の奥行きを強調するための奥行き強調映像を映像部分に重畳すべきか否かを判定するステップと、奥行き強調映像を重畳すべしと判定した場合、分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調映像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調映像を合成するステップとを実行させることを特徴とする。
【００１８】
本発明にあっては、映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得し、取得した奥行き情報に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割する。そして、分割された他の映像部分に基づいて、奥行き強調映像を映像部分に重畳すべきか否かを判定する。奥行き強調映像を映像部分に重畳すべきでは無いと判定された場合、奥行き強調映像は重畳されない。奥行き強調映像を重畳すべしと判定された場合、少なくとも一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調映像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調映像が合成される。合成された映像は、一の映像部分、奥行き強調映像、及び他の映像部分がこの順で重畳的に合成されたものであるため、一の映像部分及び他の映像部分の奥行きが奥行き強調映像によって強調される。
具体的には、一の映像部分の一部に奥行き強調映像が重畳的に合成された場合、視聴者は、奥行き強調映像が一の映像部分の手前側に位置していると認識する。また、奥行き強調映像の一部に他の映像部分が重畳的に合成された場合、視聴者は、他の映像部分が奥行き強調映像部分の手前側に位置していると認識する。従って、一の映像部分と、他の映像部分とが奥行き方向に離隔しているという奥行き感を、視聴者に与えることが可能になる。
なお、奥行き強調映像の数は１つに限定されず、映像を、３以上の映像部分に分割し、各映像部分間夫々に奥行き強調映像が挿入されるように、各映像部分及び奥行き強調映像を合成する技術的思想も本発明に含まれる。
【００１９】
本発明にあっては、他の映像部分、即ち前景の映像部分が、入力された映像の端部の映像部分を含む場合、奥行き強調映像を重畳すべきで無いと判定し、入力された映像の端部の映像部分を含まない場合、奥行き強調映像を重畳すべしと判定する。
【００２０】
本発明にあっては、他の映像部分、即ち前景の映像部分であって、映像の端部に位置している映像部分の面積の大小に応じて、奥行き強調映像を重畳すべきか否かを判定する。例えば、端部の映像部分の面積が大きい場合、奥行き強調映像を重畳すべきで無いと判定し、端部の映像部分の面積が小さい場合、奥行き強調映像を重畳すべしと判定する。
【００２１】
本発明にあっては、生成手段は、入力された映像の輝度又は色に基づいて、輝度又は色が該映像と異なる奥行き強調映像を生成する。従って、奥行き強調映像と、映像部分とは異なる輝度又は色を有する。よって、一の映像部分及び他の映像部分の奥行きを効果的に強調することが可能になる。
【００２２】
本発明にあっては、生成手段は、一の映像部分及び／又は他の映像部分の輝度又は色に基づいて、輝度又は色が該映像部分と異なる奥行き強調映像を生成する。従って、奥行き強調映像と、映像部分とは異なる輝度又は色を有する。よって、一の映像部分及び他の映像部分の奥行きを効果的に強調することが可能になる。
【００２３】
本発明にあっては、時系列順に入力された複数の映像それぞれに対して、奥行き強調映像を重畳させるか否かを判定し、奥行き強調映像を選択的に重畳させて、奥行きを強調させる。そして、奥行き強調映像が合成されていない映像及び奥行き強調映像を合成して得た映像の中から、奥行き強調映像を合成して得た映像を選択する。従って、奥行きが強調された映像からなる動画を視聴することが可能になる。
【００２４】
本発明にあっては、移動方向情報取得手段は、時系列順に入力された各映像間における映像部分の移動方向を示した移動方向情報を取得する。そして、生成手段は、取得した移動方向情報に応じた形状を有する奥行き強調映像を生成する。つまり、生成手段は、映像部分の移動を強調することが可能な形状を有する奥行き強調映像を生成する。
【００２５】
本発明にあっては、記憶手段は、奥行き強調映像の元になる三次元画像を記憶している。回転処理手段は、記憶手段が記憶している三次元画像と、移動方向情報取得手段にて取得した移動方向情報が示す移動方向とが所定の位置関係になるように、該三次元画像を回転させる。つまり、三次元画像は、映像部分の移動方向を向くように回転する。そして、生成手段は、回転した三次元画像を所定の二次元平面に射影させて得られる二次元形状を有する奥行き強調映像を生成する。従って、合成される奥行き強調映像は、映像部分の移動方向を向いたような形状となる。よって、映像部分の移動が強調される。
なお、三次元画像とは、三次元空間における画像を意味し、三次元画像には、三次元空間における立体的な画像はもちろん、平面的な画像も含まれる。
【発明の効果】
【００２６】
本発明によれば、専用の映像表示装置及び特殊な眼鏡を用いず、画像処理のみによって映像の奥行き感を向上させることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態に係る映像処理装置の一構成例を示すブロック図である。
【図２】映像取得部が取得した映像の一例を示す説明図である。
【図３】奥行き情報を概念的に示す説明図である。
【図４】前景映像部分及び背景映像部分を概念的に示す説明図である。
【図５】飛び出し情報を概念的に示した説明図である。
【図６】枠オブジェクトの付与判定方法を概念的に示した説明図である。
【図７】映像取得部が取得した他の映像の一例を示す説明図である。
【図８】前記他の映像の奥行き情報を概念的に示す説明図である。
【図９】前記他の映像を分割して得た前景映像部分及び背景映像部分を概念的に示す説明図である。
【図１０】枠オブジェクトの付与判定方法を概念的に示した説明図である。
【図１１】原三次元枠オブジェクトを概念的に示す説明図である。
【図１２】枠オブジェクトの形状決定方法を概念的に示す説明図である。
【図１３】枠オブジェクトの輝度及び色の決定方法を概念的に示す説明図である。
【図１４】映像合成部の処理内容を概念的に示す説明図である。
【図１５】動画を構成する複数の映像に対して、枠オブジェクトを選択的に付与して得られた動画を概念的に示す説明図である。
【図１６】映像処理装置が実施する映像処理方法の流れを示すフローチャートである。
【図１７】枠オブジェクト生成部の動作の流れを示すフローチャートである。
【図１８】変形例１に係る映像処理装置の一構成例を示すブロック図である。
【図１９】枠オブジェクトを付与された映像を選択的に並べて得られる動画像を概念的に示す説明図である。
【図２０】変形例２に係る映像処理装置の一構成例を示すブロック図である。
【図２１】変形例３に係る映像処理装置の一構成例を示すブロック図である。
【図２２】奥行き強調映像の一例であるカーテンオブジェクトを示す模式図である。
【図２３】変形例５に係る枠オブジェクトの形状決定方法を概念的に示す説明図である。
【図２４】変形例６に係る映像処理装置を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
図１は、本発明の実施の形態に係る映像処理装置１の一構成例を示すブロック図である。本実施の形態に係る映像処理装置１は、映像取得部１１、奥行き情報取得部１２、映像分割部１３、飛び出し情報取得部１４、枠オブジェクト生成部１５及び映像合成部１６を備える。
【００２９】
＜映像取得部＞
映像取得部１１は、立体感又は奥行き感を向上させる映像処理対象の映像を取得し、取得した映像を映像分割部１３へ出力する。映像取得部１１にて取得される映像は、静止画像又は動画像のいずれでも良い。静止画は、１フレームの映像で構成され、動画像は、時系列順の複数フレームの映像で構成される。また、該映像は、所定の符号化方式、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＭＰＥＧ−２（Moving Picture Expert Group phase2）等で圧縮されたものであっても、非圧縮のものであっても良い。符号化された映像を取得する構成である場合、映像取得部１１は、取得した映像を所定の符号化方式に従って、該映像を例えばＲＧＢ形式やＹＵＶ形式の映像に復号し、復号して得た映像を映像分割部１３へ出力する。
以下、本実施の形態では、説明の簡単のため、主に、静止画又は動画を構成する１フレームの映像に対して行う処理を説明するが、動画の場合、時系列順に連続する各フレームの映像に対して同様の処理を行うものとする。
【００３０】
図２は、映像取得部１１が取得した映像の一例を示す説明図である。図２に示した映像Ｆ１は、二次元に配列された複数の画素夫々の輝度及び色を示したデータであり、奥行き方向の距離が異なる複数のオブジェクト、例えば鳥、木、太陽、空、雲等の被写体に相当する映像から構成されている。以下、図２に示した特定の映像を示す場合、「映像Ｆ１」と表記し、映像取得部１１が取得した任意の映像を、「映像」と表記する。奥行き方向の距離とは、オブジェクトに係る被写体と、所定位置、例えば該映像の撮像に用いた撮影装置の位置との距離をいう。以下、該距離を適宜、奥行きという。
【００３１】
＜奥行き情報取得部＞
奥行き情報取得部１２は、映像取得部１１から得られる映像を構成する複数のオブジェクト夫々の奥行きを示した奥行き情報を取得し、取得した奥行き情報を映像分割部１３へ出力する。本実施の形態では、奥行き方向における撮影装置及び各被写体間の距離を撮像時に計測しておき、計測して得られた距離の情報を有する奥行き情報が映像とは別に映像処理装置１に入力されるものとする。
なお、撮影装置及び各被写体間の距離は、例えばステレオ法を応用して計測すれば良い。具体的には、離隔配置した２つの撮像部で共通の被写体を撮像し、各撮像部で撮像された２枚の映像における被写体の視差を算出し、三角測量の原理により撮像装置と被写体との距離を求める。
また、被写体に赤外線を照射する測距用の赤外線照射部と、被写体で反射された赤外線の強度を測定する赤外線検出部とを撮像装置に設け、各被写体から反射された赤外線の強度に基づいて、撮像装置と被写体との距離を求めても良い。
【００３２】
図３は、奥行き情報を概念的に示す説明図である。図３に示すように、映像を構成する複数のオブジェクト夫々に対応付けられた奥行きの情報を有する画像を奥行き画像Ｇ１という。奥行きは、例えば、距離の短い順に１、２、…、５の昇順の数字で示されている。具体的には、奥行き画像Ｇ１は、入力された映像と同様の複数の画素から構成されており、入力された映像を構成する各画素に対応する奥行きを示した１〜５のいずれかの数値が、奥行き画像Ｇ１の各画素の画素値として割り当てられている。なお、ここでは説明の簡単のために、奥行き情報を５段階で示すものとするが、奥行き情報は５段階未満乃至は５段階より多くても良く、もちろん無段階で示すものとしても問題はない。
【００３３】
＜映像分割部＞
映像分割部１３は、映像取得部１１で取得した映像、例えばＦ１を、奥行き情報取得部１２で取得した奥行き情報に基づいて、前景映像部分Ｆ１１と、背景映像部分Ｆ１２とに分割する（図４参照）。そして、映像分割部１３は、分割した前景映像部分Ｆ１１及び背景映像部分Ｆ１２を、枠オブジェクト生成部１５及び映像合成部１６へ出力する。具体的には、映像分割部１３は、取得した映像の各画素に対応する奥行きと、所定の閾値とを比較し、奥行きが閾値未満である場合、該画素を前景映像部分Ｆ１１の画素とし、奥行きが閾値以上である場合、背景映像部分Ｆ１２の画素とする。閾値は、映像分割部１３が予め記憶している定数である。
各画素を示した変数をｎ＝０、１、２…、前景映像部分Ｆ１１及び背景映像部分Ｆ１２の別を示す変数をＰｘ（ｎ）、各画素の奥行きを示す変数をＤｅｐｔｈ（ｎ）、閾値をＴｈ１とした場合、Ｐｘ（ｎ）は、下記式（１）、（２）で表される。
Ｐｘ（ｎ）＝背景 （Ｔｈ１＜Ｄｅｐｔｈ（ｎ））…（１）
Ｐｘ（ｎ）＝前景 （Ｔｈ１≧Ｄｅｐｔｈ（ｎ））…（２）
【００３４】
図４は、前景映像部分Ｆ１１及び背景映像部分Ｆ１２を概念的に示す説明図である。閾値Ｔｈ１が２である場合、図２に示した映像Ｆ１は、図３に示した奥行き画像Ｇ１及び閾値Ｔｈ１＝２に基づき、前景映像部分Ｆ１１（図４（ａ）中の実線で囲まれた白色領域）と背景映像部分Ｆ１２（図４（ｂ）中の実線で囲まれた白色領域（破線で囲まれたグレー領域を除いた領域））に分割される。
【００３５】
なお、閾値Ｔｈ１は予め映像分割部１３に記録されている値として説明を行ったが、映像処理装置１を使用する視聴者が自由に設定できる値としても良い。また、閾値Ｔｈ１を計算で求めても良い。例えば、閾値Ｔｈ１は、下記式（３）で表される。
Ｔｈ＝（ΣＤｅｐｔｈ（ｎ））／（ｗ＊ｈ）…（３）
但し、ｎは０、１、２、…、ｗ＊ｈの整数、ｈは映像Ｆ１の高さ（垂直方向に配列した画素の数）、ｗは映像Ｆ１の幅（水平方向に配列した画素の数）である。
【００３６】
＜飛び出し情報取得部＞
飛び出し情報取得部１４は、映像Ｆ１内の各オブジェクトに設定された飛び出しの方向を示した飛び出し情報を取得し、取得した飛び出し情報を枠オブジェクト生成部１５へ出力する。ここで、飛び出しの方向とは、映像内の各オブジェクトの飛び出しを強調する際に、どちらの方向に飛び出し感を与えるべきかを示した情報である。
【００３７】
図５は、飛び出し情報を概念的に示した説明図である。飛び出し情報は例えば、図５（ａ）に示すように、映像Ｆ１の縦方向（垂直方向）をＹ軸、横方向（水平方向）をＸ軸、映像面に対して垂直な前後方向の仮想的な軸をＺ軸とした３次元空間における３次元のベクトルで表される。この飛び出し情報は、図５（ｂ）に示すように、オブジェクトごとに指定されているものとする。なお、本実施の形態では飛び出し情報は正規化された単位ベクトルとして扱うものとする。
【００３８】
＜枠オブジェクト生成部＞
枠オブジェクト生成部１５は、映像の奥行きを強調するための枠オブジェクトＨ３（図１４参照）を入力された映像、例えば映像Ｆ１，Ｆ２（図２、図７参照）に付与すべきか否かを判定する枠オブジェクト付与判定部１５ａと、該枠オブジェクトＨ３の基になる情報を記憶する記憶部１５ｂと、飛び出し情報に基づいて、枠オブジェクトＨ３の形状を決定するための回転処理部１５ｃ及び射影変換部１５ｄと、前景映像部分Ｆ１１及び背景映像部分Ｆ１２の輝度及び色に基づいて枠オブジェクトＨ３の輝度及び色を決定する色決定部１５ｅとを備える。ここで枠オブジェクトＨ３とは、前景映像部分Ｆ１１と、背景映像部分Ｆ１２との間に挿入することで前景及び背景との相対的な距離感を与え、視聴者に立体感、奥行き感を知覚させるためのオブジェクトである。本実施の形態では、枠オブジェクトＨ３として、映像Ｆ１の外周を囲う枠状の映像を生成する。特に、本実施の形態では、枠オブジェクト生成部１５は、枠オブジェクトＨ３を入力された映像Ｆ１，Ｆ２に付与した際に、飛び出し感の強調効果があるか否かを判断し、効果があると判断した場合、枠オブジェクトＨ３として、映像の外周を囲う枠状の映像を生成し、逆に飛び出し感の強調効果が低いと判断した場合は、枠オブジェクトＨ３を生成しないように構成されている。
【００３９】
枠オブジェクト付与判定部１５ａは、入力された前景映像部分Ｆ１１及び背景映像部分Ｆ１２に基づいて、枠オブジェクトＨ３を映像Ｆ１に付与することによって、飛び出し感の強調効果があるか否かを判定する。
本実施の形態では、入力された映像Ｆ１を前景映像部分Ｆ１１及び背景映像部分Ｆ１２に分割し、背景映像部分Ｆ１２に枠オブジェクトＨ３及び前景映像部分Ｆ１１を適切に重畳することによって、二次元的に描写されたオブジェクトの一部が恰も現実世界の三次元空間に飛び出しているように錯覚を起こさせ、映像Ｆ１の飛び出し感を強調させる。ここで、視聴者にオブジェクトの一部が現実世界の三次元空間に飛び出していると錯覚を起こさせる為には、飛び出すオブジェクト即ち前景映像部分Ｆ１１の一部が欠けることなく、全て描写されていることが望ましい。
そこで、本実施の形態の枠オブジェクト付与判定部１５ａは、前景映像部分Ｆ１１が欠けることなく描写されているか否かを判定し、この判定結果に基づいて、枠オブジェクトＨ３を生成するか否かを判断する。即ち、前景映像部分Ｆ１１が欠けることなく描写されている場合、枠オブジェクト付与判定部１５ａは枠オブジェクトを生成し、前景映像部分Ｆ１１が欠けている場合、枠オブジェクトＨ３を生成しない。次に、枠オブジェクト付与判定部１５ａで行われる具体的な処理内容を説明する。
【００４０】
まず、枠オブジェクト付与判定部１５ａは、映像分割部１３から出力された前景映像部分Ｆ１１及び背景映像部分Ｆ１２（図４参照）を取得する。そして、枠オブジェクト付与判定部１５ａは、前景映像部分Ｆ１１が、映像の縁へ接しているかどうか、言い換えると、前景映像部分Ｆ１１に、入力された映像Ｆ１の端部の映像が含まれているか否かを判定する。より具体的には、枠オブジェクト付与判定部１５ａは、映像Ｆ１における上辺、下辺、左辺、右辺のいずれかにおいて、前景映像部分Ｆ１１を構成する画素が含まれるか否かを判定する。
【００４１】
図６は、枠オブジェクトの付与判定方法を概念的に示した説明図である。図６（ａ）は、入力された映像Ｆ１の概念図である。映像Ｆ１は、複数の画素Ｐｘ＿ｉｎ（ｘ，ｙ）から構成されている。但し、ｘ（０≦ｘ≦ｗ）は、映像Ｆ１の幅方向（水平方向）の画素位置、ｙ（０≦ｙ≦ｈ）は、高さ方向（垂直方向）の画素位置を示している。各画素Ｐｘ＿ｉｎ（ｘ，ｙ）は、映像Ｆ１の輝度情報を有する。
図６（ｂ）は、前景映像部分Ｆ１１の概念図である。前景映像部分Ｆ１１は、複数の画素Ｐｘ＿ｆｗｄ（ｘ，ｙ）から構成されている。各画素Ｐｘ＿ｆｗｄ（ｘ，ｙ）は、当該画素が前景映像を構成しているか否かを示す情報、前景映像を構成している場合、該前景映像に係る輝度情報を有している。
【００４２】
枠オブジェクト付与判定部１５ａは、前景映像部分Ｆ１１を構成する画素Ｐｘ＿ｆｗｄ（ｘ，ｙ）の情報を用いて、映像Ｆ１の上辺Ｐ０１を構成する画素Ｐｘ＿ｉｎ（ｘ＝１，ｙ＝１）〜Ｐｘ＿ｉｎ（ｘ＝ｗ，ｙ＝１）から前景映像部分Ｆ１１を構成する画素Ｐｘ＿ｉｎ（ｘ，ｙ）を特定し、映像Ｆ１の上辺Ｐ０１に位置する前景映像部分Ｆ１１の画素数を算出する。同様に、枠オブジェクト付与判定部１５ａは、映像Ｆ１の下辺を構成するクセルＰｘ＿ｉｎ（ｘ＝１，ｙ＝ｈ）〜Ｐｘ＿ｉｎ（ｘ＝ｗ，ｙ＝ｈ）、左辺を構成する画素Ｐｘ＿ｉｎ（ｘ＝１，ｙ＝１）〜Ｐｘ＿ｉｎ（ｘ＝１，ｙ＝ｈ）、右辺を構成する画素Ｐｘ＿ｉｎ（ｘ＝ｗ，ｙ＝１）〜Ｐｘ＿ｉｎ（ｘ＝ｗ，ｙ＝ｈ）から前景映像部分Ｆ１１を構成する画素を特定し、映像Ｆ１の上辺Ｐ０１、下辺、左辺、右辺のいずれかに位置する前景映像部分Ｆ１１の画素数を算出する。そして、枠オブジェクト付与判定部１５ａは、映像Ｆ１の上辺Ｐ０１、下辺、左辺、右辺のいずれかに位置する前景映像部分Ｆ１１の画素数が０である場合、枠オブジェクトＨ３を付与すべきと判定し、該画素数が０でない場合、枠オブジェクトＨ３を付与すべきではないと判定する。
映像Ｆ１の場合、前景映像部分Ｆ１１に含まれるオブジェクトは、映像Ｆ１の上辺Ｐ０１、下辺、左辺、右辺のいずれにも接触していないため、つまり、映像Ｆ１の上辺Ｐ０１、下辺、左辺、右辺のいずれかに位置する前景映像部分Ｆ１１の画素数が０であるため、枠オブジェクトＨ３を付与すべしと判定する。この場合、枠オブジェクト生成部１５は、後述する処理手順で枠オブジェクトＨ３を生成し、生成された枠オブジェクトＨ３を映像合成部１６へ出力する。
【００４３】
図７は、映像取得部が取得した他の映像Ｆ２の一例を示す説明図、図８は、前記他の映像Ｆ２の奥行き情報を概念的に示す説明図、図９は、前記他の映像Ｆ２を分割して得た前景映像部分Ｆ２１及び背景映像部分Ｆ２２を概念的に示す説明図、図１０は、枠オブジェクトの付与判定方法を概念的に示した説明図である。上述した同様の手順で、映像取得部１１は、映像Ｆ２を取得し、取得した映像Ｆ２を映像分割部１３へ出力し、奥行き情報取得部１２は、映像Ｆ２の奥行き画像Ｇ２を取得し、取得した奥行き画像Ｇ２を映像分割部１３へ出力する。映像分割部１３は、映像Ｆ２及び奥行き画像Ｇ２を取得し、該映像Ｆ２及び奥行き画像Ｇ２に基づいて、映像Ｆ２を、前景映像部分Ｆ２１及び背景映像部分Ｆ２２に分割し、分割された前景映像部分Ｆ２１及び背景映像部分Ｆ２２を枠オブジェクト生成部１５へ出力する。
【００４４】
枠オブジェクト付与判定部１５ａは、映像Ｆ２に対しても、映像Ｆ１と同様にして、枠オブジェクトＨ３を付与すべきか否かを判定する。映像Ｆ２の場合、前景映像部分Ｆ２１の一部Ｐ０２が、入力された映像Ｆ２の上辺に接しているため、枠オブジェクトＨ３を付与すべきでは無いと判定される。この場合、枠オブジェクト生成部１５は、枠オブジェクトＨ３の生成を行わず、枠オブジェクトＨ３を映像合成部１６へ出力しない。
【００４５】
なお、上述した枠オブジェクトの付与判定方法は一例である。例えば、映像Ｆ１の上辺Ｐ０１、下辺、左辺、右辺のいずれかに位置する前景映像部分Ｆ１１，Ｆ２１の画素数が所定の閾値未満である場合、枠オブジェクトＨ３を付与すべしと判定し、該画素数が所定の閾値以上である場合、枠オブジェクトＨ３を付与すべきではないと判定するように構成しても良い。
また、上述の例では、映像Ｆ１、Ｆ２の端部の映像部分の画素の中から、前景映像部分Ｆ１１，２１を構成する画素を特定する場合を説明したが、言うまでも無く、前景映像部分Ｆ１１，２１を構成する画素の中から、映像Ｆ１、Ｆ２の端部を構成する画素を特定しても良い。
【００４６】
記憶部１５ｂは、枠オブジェクトＨ３の基になる情報を予め記憶している。具体的には、三次元空間における三次元画像を記憶している。以下、該三次元画像を原三次元枠オブジェクトＨ１（図１１参照）という。
【００４７】
図１１は、原三次元枠オブジェクトＨ１を概念的に示す説明図である。原三次元枠オブジェクトＨ１は、三次元空間における原点に中心が位置し、ＸＹ平面に略平行な矩形枠状をなしている。Ｈ２は、原三次元枠オブジェクトＨ１の法線ベクトルＨ２を示している。
【００４８】
まず、枠オブジェクト生成部１５は、原三次元枠オブジェクトＨ１と、飛び出し情報とに基づいて、枠オブジェクトＨ３の形状を決定する。
図１２は、枠オブジェクトＨ３の形状決定方法を概念的に示す説明図である。ここでは、図１２（ａ）に示すように、映像Ｆ３内にオブジェクトＦ３１が存在し、その飛び出し情報が指定されているものとする。なお、映像Ｆ３は、枠オブジェクトＨ３の生成方法を説明すべく、映像Ｆ１を簡略化したものである。枠オブジェクトＨ３の形状は、図１２（ｂ）で示した仮想的な３次元空間中で原三次元枠オブジェクトＨ１を飛び出し方向に応じて回転させ、即ち傾きを与え、傾いた三次元枠オブジェクトＨ１１，Ｈ２１（図１２参照）をＸＹ平面上に射影することによって得られる。以下、詳細に説明する。
【００４９】
まず、原三次元枠オブジェクトＨ１の傾きを規定する傾きベクトルを算出する。傾きベクトルは下記式（４）で表される。
（ｘ１，ｙ１，ｚ１）＝（ａ＊ｘ，ｂ＊ｙ，ｃ＊ｚ）…（４）
但し、（ｘ１，ｙ１，ｚ１）は飛び出し情報、ａ，ｂ，ｃは、枠オブジェクト生成部１５が予め記憶している定数（０≦ａ，ｂ，ｃ≦１．０）である。
【００５０】
そして、回転処理部１５ｃは、原三次元枠オブジェクトＨ１の法線ベクトルＨ２が傾きベクトル（ｘ１，ｙ１，ｚ１）に一致するように、原三次元枠オブジェクトＨ１を回転させる。
【００５１】
次いで、射影変換部１５ｄは、回転処理後の三次元枠オブジェクトＨ１１，Ｈ２１をＸＹ平面に正射影した二次元形状に変換し、該二次元形状を枠オブジェクトＨ３の形状として記憶する。
【００５２】
例えば、図１２（ｂ）に示すようにオブジェクトＦ３１の飛び出し情報が（０，０，１）で与えられ、ａ＝１．０、ｂ＝１．０、ｃ＝１．０である場合、傾きベクトルは（０，０，１）となる。そして、回転処理部１５ｃは、原三次元枠オブジェクトＨ１の法線ベクトルＨ２が傾きベクトル（０，０，１）と略一致するように、該原三次元枠オブジェクトＨ１を回転させる。回転処理後の三次元枠オブジェクトＨ１１をＸＹ平面上に投射した最終的な形状は図１２（ｂ）のＸＹ平面に示した形となる。
【００５３】
また、図１２（ｃ）に示すように、オブジェクトＦ３１の飛び出し情報が（ｘ，０，√（１−ｘ2 ））で与えられ、ａ＝１．０、ｂ＝１．０、ｃ＝１．０である場合、傾きベクトルは（ｘ，０，√（１−ｘ2 ））となる。そして、回転処理部１５ｃは、原三次元枠オブジェクトＨ１の法線ベクトルＨ２が傾きベクトル（ｘ，０，√（１−ｘ2 ）と略一致するように、該原三次元枠オブジェクトＨ１を回転させる。回転処理後の三次元枠オブジェクトＨ２１をＸＹ平面上に投射した最終的な形状は図１２（ｃ）のＸＹ平面に示すような形となる。
【００５４】
次に、枠オブジェクト生成部１５は枠の輝度及び色を決定する。
図１３は、枠オブジェクトＨ３の輝度及び色の決定方法を概念的に示す説明図である。色決定部１５ｅは、枠オブジェクトＨ３の色を映像全体の輝度、つまり前景映像部分Ｆ１１及び背景映像部分Ｆ１２双方の輝度に基づいて決定する。図１３（ａ）は、特にある一の時点で映像取得部１１が取得した映像Ｆ４、図１３（ｂ）は、映像Ｆ４の輝度ヒストグラムであり、映像Ｆ４の輝度の平均値がｆ４で表されている。色決定部１５ｅは、予め閾値Ｔｈ２と、平均輝度ｆ４が閾値Ｔｈ２以上であった場合の枠オブジェクトＨ３の色Ｃ１と、閾値Ｔｈ２未満であった場合の枠オブジェクトＨ３の色Ｃ２を記憶している。なお、色Ｃ１及び色Ｃ２は、異なる輝度を有している。映像Ｆ４の平均輝度ｆ４は閾値Ｔｈ２以上であるため、色決定部１５ｅは、図１３（ｃ）に示すように枠オブジェクトＨ３の色としてＣ１を決定する。
【００５５】
同様に、図１３（ｄ）は他の時点で映像取得部１１が取得した映像Ｆ５、図１３（ｅ）は、映像Ｆ５の輝度ヒストグラムであり、映像Ｆ５の輝度の平均値がｆ５で表されている。映像Ｆ５の平均輝度ｆ５は閾値Ｔｈ２未満であるため、色決定部１５ｅは、図１３（ｆ）に示すように枠オブジェクトＨ３の色として色Ｃ２を決定する。
【００５６】
なお、枠オブジェクトＨ３の色については、特に限定されない。但し、平均輝度が閾値Ｔｈ２以上である場合は閾値Ｔｈ２より輝度が低い色を、平均輝度が閾値Ｔｈ２より低い場合は閾値Ｔｈ２より輝度が高い色を選ぶ方が好ましい。
また、予め定数ｄを色決定部１５ｅに記憶させておき、枠オブジェクトＨ３の輝度を下記式（５）、（６）で決定するようにすると良い。
枠オブジェクトＨ３の輝度＝平均輝度−ｄ （平均輝度≧閾値Ｔｈ２）…（５）
枠オブジェクトＨ３の輝度＝平均輝度＋ｄ （平均輝度＜閾値Ｔｈ２）…（６）
【００５７】
更に、背景映像部分Ｆ１２に基づいて、半透明の枠オブジェクトＨ３を生成するように構成しても良い。枠オブジェクトＨ３が半透明である場合、枠オブジェクトＨ３によって背景映像部分Ｆ１２が覆い隠されても、視聴者は、覆い隠された背景映像部分Ｆ１２の内容を伺い知ることができる。従って、映像の情報削減量を抑え、かつ映像の奥行きを強調することができる。
【００５８】
更にまた、枠オブジェクトＨ３を額縁、窓の枠やテレビの枠などを模したオブジェクトとして配置しても良い。
【００５９】
更にまた、映像Ｆ４，Ｆ５の輝度に基づいて、枠オブジェクトＨ３の色Ｃ１，Ｃ２を決定する例を説明したが、映像Ｆ４，Ｆ５の色、例えば平均彩度に基づいて、枠オブジェクトＨ３の色を映像の色と異なるように決定するように構成しても良い。また、映像Ｆ４，Ｆ５の輝度及び色夫々に基づいて、枠オブジェクトＨ３の輝度及び色を決定するように構成しても良い。
【００６０】
更にまた、映像全体の輝度に基づいて枠オブジェクトＨ３の色及び輝度を決定する例を説明したが、前景映像部分Ｆ１１のみの平均輝度に基づいて、枠オブジェクトＨ３の色及び輝度を決定しても良い。つまり、前景映像部分Ｆ１１の輝度と、枠オブジェクトＨ３の輝度とが異なるように、該枠オブジェクトＨ３の色及び輝度を決定しても良い。この場合、枠オブジェクトＨ３と、前景映像部分Ｆ１１との差異が際だつため、前景映像部分Ｆ１１の奥行きを効果的に強調することが可能になる。
同様に、背景映像部分Ｆ１２のみの平均輝度に基づいて、枠オブジェクトＨ３の色及び輝度を決定しても良い。つまり、背景映像部分Ｆ１２の輝度と、枠オブジェクトＨ３の輝度とが異なるように、該枠オブジェクトＨ３の色及び輝度を決定しても良い。この場合、枠オブジェクトＨ３と、背景映像部分Ｆ１２との差異が際だつため、背景映像部分Ｆ１２の奥行きを効果的に強調することが可能になる。
更に、前景映像部分Ｆ１１及び背景映像部分Ｆ１２の平均輝度を各別に算出し、算出された各平均輝度と、枠オブジェクトＨ３の輝度とが異なるように、該枠オブジェクトＨ３の輝度及び色を決定するように構成しても良い。この場合、枠オブジェクトＨ３、前景映像部分Ｆ１１、背景映像部分Ｆ１２夫々の差異が際だつため、前景映像部分Ｆ１１及び背景映像部分Ｆ１２の奥行きを効果的に強調することが可能になる。
【００６１】
枠オブジェクト生成部１５は、射影変換部１５ｄにて決定した形状と、色決定部１５ｅにて決定した色とを有する枠オブジェクトＨ３を生成し、生成した枠オブジェクトＨ３を映像合成部１６へ出力する。
【００６２】
＜映像合成部＞
映像合成部１６は、映像分割部１３から出力された前景映像部分Ｆ１１及び背景映像部分Ｆ１２と、枠オブジェクト生成部１５から出力された枠オブジェクトＨ３とを取得する。但し、枠オブジェクト生成部１５から枠オブジェクトＨ３が出力されない場合、例えば、映像Ｆ２を処理した場合、前景映像部分Ｆ２１及び背景映像部分Ｆ２２のみを取得する。
枠オブジェクト生成部１５から枠オブジェクトＨ３が出力されなかった場合、背景映像部分Ｆ２２及び前景映像部分Ｆ２１をこの順に合成、即ち入力された映像Ｆ２と同様の映像を生成し、表示部２へ出力する。
枠オブジェクト生成部１５から枠オブジェクトＨ３が出力された場合、以下の処理を実行する。
【００６３】
図１４は、映像合成部１６の処理内容を概念的に示す説明図である。映像合成部１６は、映像分割部１３から出力された前景映像部分Ｆ１１及び背景映像部分Ｆ１２と、枠オブジェクト生成部１５から出力された枠オブジェクトＨ３を入力する。そして、映像合成部１６は、図１４（ａ）、（ｂ）に示すように背景映像部分Ｆ１２に枠オブジェクトＨ３が重畳され、更に枠オブジェクトＨ３に前景映像部分Ｆ１１が重畳されるように、背景映像部分Ｆ１２、枠オブジェクトＨ３及び前景映像部分Ｆ１１を合成する。また、映像及び枠オブジェクトＨ３の形状及び寸法が一致しない場合、図１４（ｂ）に示すように、枠オブジェクトＨ３の外側の領域が発生するが、映像合成部１６は、枠オブジェクトＨ３の外側にはみ出た背景映像部分Ｆ１２を表示させないように、該領域には所定の補完映像Ｉ１，Ｉ２を合成する。なお、枠オブジェクトＨ３の外側にはみ出た前景映像部分Ｆ１１は、そのまま表示させる。つまり、補完映像Ｉ１，Ｉ２に重畳させるように、前景映像部分Ｆ１１を表示させる。補完映像Ｉ１，Ｉ２は、例えば、単色の映像、壁のテクスチャ等の任意の映像である。枠オブジェクトＨ３の外側にはみ出た背景映像部分Ｆ１２をそのまま表示した場合、視聴者が背景映像部分Ｆ１２の奥行きを誤って認識するおそれがあるところ、補完映像Ｉ１，Ｉ２によって、枠オブジェクトＨ３の外側にはみ出た映像部分を覆うことによって、奥行きの誤認を防止することができ、効果的に映像の奥行きを強調することが可能になる。
【００６４】
なお、表示装置周辺の映像を取得できる場合は、該映像を補完映像として表示することとしても良い。
【００６５】
映像合成部１６は、背景映像部分Ｆ１２、枠オブジェクトＨ３及び前景映像部分Ｆ１１の合成によって得られた合成映像を外部の表示部２へ出力する。
【００６６】
以上、１フレームの映像Ｆ１，Ｆ２に対する映像処理手順を説明したが、動画を構成する複数フレームの映像を処理する場合、同様の映像処理を各映像に対して実行すれば良い。
【００６７】
図１５は、動画を構成する複数の映像に対して、枠オブジェクトＨ３を選択的に付与して得られた動画を概念的に示す説明図である。例えば、図１５に示すように動画像Ｑ１が与えられた場合には、該動画像Ｑ１を構成する各フレームの映像に上述の処理を行う。動画像Ｑ１は、複数のフレーム群Ｑ０１〜Ｑ０７から構成されている。特にフレーム群Ｑ０１，Ｑ０４，Ｑ０６を構成する映像は、前景映像部分が映像の端部に接触しておらず、フレーム群Ｑ０２，Ｑ０３，Ｑ０５，Ｑ０７を構成する映像は、前景映像部分が映像の端部に接触している。つまり、動画像Ｑ１は、枠オブジェクトＨ３を付与することで飛び出し感強調の効果が得られると判定されるフレーム群Ｑ０１，Ｑ０４，Ｑ０６と、枠オブジェクトＨ３を付与しても飛び出し感強調の効果が得られないフレーム群Ｑ０２，Ｑ０３，Ｑ０５，Ｑ０７とから成る。この場合、各フレーム群Ｑ０１〜Ｑ０７に上述の処理を実行すると、フレーム群Ｑ０１，Ｑ０４，Ｑ０６を構成する映像に対してのみ枠オブジェクトＨ３が選択的に重畳された動画像Ｑ２が得られる。
【００６８】
表示部２は、例えば液晶表示パネル、プラズマディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイであり、映像処理装置１から出力された合成映像を入力し、合成映像を表示する。
なお、合成映像の出力先として表示部２を例示したが、合成映像を出力することが可能であれば、プリンタ、送信装置その他、各種出力装置を採用しても良い。
【００６９】
図１６は、映像処理装置１が実施する映像処理方法の流れを示すフローチャートである。処理動作開始の指示が与えられた場合、各構成部は動作を開始し、映像取得部１１は、映像処理装置１に入力した映像、例えば映像Ｆ１，Ｆ２を取得し、取得した映像Ｆ１，Ｆ２を映像分割部１３へ出力する（ステップＳ１１）。次いで、奥行き情報取得部１２は、映像処理装置１に入力した奥行き情報を取得し、取得した奥行き情報を映像分割部１３へ出力する（ステップＳ１２）。
【００７０】
そして、映像分割部１３は、映像Ｆ１，Ｆ２及び奥行き情報を入力し、該映像Ｆ１，Ｆ２及び奥行き情報に基づいて、枠オブジェクトＨ３の配置位置を決定する（ステップＳ１３）。次いで、映像分割部１３は、奥行き情報及び映像Ｆ１，Ｆ２を枠オブジェクトＨ３の配置位置に基づいて、映像Ｆ１，Ｆ２を前景映像部分Ｆ１１，Ｆ２１と、背景映像部分Ｆ１２，Ｆ２２とに分割し、分割された前景映像部分Ｆ１１，Ｆ１２及び背景映像部分Ｆ１２，Ｆ２２を枠オブジェクト生成部１５及び映像合成部１６へ出力する（ステップＳ１４）。
【００７１】
次いで、飛び出し情報取得部１４は、映像処理装置１に入力した飛び出し情報を取得し、取得した飛び出し情報を枠オブジェクト生成部１５へ出力する（ステップＳ１５）。
【００７２】
そして、枠オブジェクト生成部１５の枠オブジェクト付与判定部１５ａは、前景映像部分Ｆ１１，Ｆ２１であって、入力された映像Ｆ１，Ｆ２の端部に対応する映像部分を特定する（ステップＳ１６）。例えば、枠オブジェクト付与判定部１５ａは、映像Ｆ１，Ｆ２における上辺、下辺、左辺、右辺のいずれかにおいて、前景映像部分Ｆ１１，Ｆ２１を構成する画素を特定し、その数を算出する。
【００７３】
次いで、枠オブジェクト付与判定部１５ａは、ステップＳ１６で算出した画素の数に基づいて、枠オブジェクトＨ３を付与すべきか否かを判定する（ステップＳ１７）。つまり、枠オブジェクト付与判定部１５ａは、映像Ｆ１，Ｆ２に枠オブジェクトＨ３を付与することによって飛び出し感強調の効果が得られるか否かを判定する。具体的には、枠オブジェクト付与判定部１５ａは、前景映像部分Ｆ１１，Ｆ２１に、入力された映像Ｆ１，Ｆ２の端部の映像部分が含まれていない場合、枠オブジェクトＨ３を付与すべしと判定する。また、枠オブジェクト付与判定部１５ａは、前景映像部分Ｆ１１，Ｆ２１に、入力された映像Ｆ１，Ｆ２の端部の映像部分が含まれている場合であって、前景映像部分Ｆ１１，Ｆ２１に含まれる端部の映像部分の画素数が所定の閾値未満である場合、枠オブジェクトＨ３を付与すべしと判定するようにしても良い。
【００７４】
枠オブジェクトを付与すべきで無いと判定した場合（ステップＳ１７：ＮＯ）、枠オブジェクト生成部１５は、枠オブジェクトＨ３を生成せず、映像合成部１６は、例えば、前景映像部分Ｆ２１及び背景映像部分Ｆ２２をこの順で合成し、合成して得た映像、つまり取得した当初の映像Ｆ２を表示部２へ出力し（ステップＳ２１）、処理を終える。
【００７５】
枠オブジェクトを付与すべきであると判定した場合（ステップＳ１７：ＹＥＳ）、枠オブジェクト生成部１５は、枠オブジェクトＨ３を生成し、生成した枠オブジェクトＨ３を映像合成部１６へ出力する（ステップＳ１８）。
【００７６】
図１７は、枠オブジェクト生成部１５の動作の流れを示すフローチャートである。枠オブジェクト生成部１５は、記憶部１５ｂから原三次元枠オブジェクトＨ１を読み出す（ステップＳ３１）。そして、枠オブジェクト生成部１５の回転処理部１５ｃは、飛び出し情報に応じて、原三次元枠オブジェクトＨ１を回転させる処理を実行し（ステップＳ３２）、射影変換部１５ｄは、回転処理後の三次元枠オブジェクトＨ１１，Ｈ２１の射影変換によって、枠オブジェクトＨ３の形状を決定する（ステップＳ３３）。
【００７７】
そして、色決定部１５ｅは、映像の輝度及び色に基づいて、枠オブジェクトＨ３の輝度及び色を決定し（ステップＳ３４）、枠オブジェクトＨ３の生成に係る処理を終える。
【００７８】
ステップＳ１８の処理に次いで、映像合成部１６は、前景映像部分Ｆ１１及び背景映像部分Ｆ１２と、枠オブジェクトＨ３とを入力し、背景映像部分Ｆ１２、枠オブジェクトＨ３、前景映像部分Ｆ１１をこの順で重畳的に合成し、また補完映像Ｉ１，Ｉ２を合成し、合成して得た合成映像を表示部２へ出力する（ステップＳ１９）。
【００７９】
そして、表示部２は、映像合成部１６から出力された合成映像を入力し、該合成映像を表示し（ステップＳ２０）、処理を終える。
以上、１フレームの映像に対する映像処理手順を説明したが、動画を構成する複数フレームの映像を処理する場合、同様の映像処理を各映像に対して実行すれば良い。
なお、複数フレームの映像に対して枠オブジェクトＨ３の配置位置、形状及び色が急激に変化すると視聴者に違和感を与えるおそれがあるため、時系列順に隣り合う各映像夫々で決定された配置位置、生成された形状及び色の変化量を一定に抑えるローパスフィルタを備えても良い。
【００８０】
このように構成された映像処理装置１及び映像処理方法にあっては、専用の映像表示装置及び特殊な眼鏡を用いず、画像処理のみによって映像の奥行き感を向上させることができる。
【００８１】
なお、本実施の形態に係る映像処理装置１及び映像処理方法は、表示部２を備える液晶テレビ、有機ＥＬテレビ、プラズマテレビ等のテレビ、表示部２を備える静止画カメラ、ビデオカメラ、携帯電話機、ＰＤＡ（Personal Digital Assistants）等の各種携帯機器、パーソナルコンピュータ、インフォメーションディスプレイ、映像を出力するＢＤ（Blu-ray Disc）レコーダ、ＤＶＤ（Digital Versatile Disc）レコーダ、ＨＤＤ（Hard Disk Drive）レコーダ等の各種レコーダ、デジタルフォトフレーム、その他ディスプレイが設けられた各種家具及び家電に適用することが可能である。
【００８２】
（変形例１）
変形例１に係る映像処理装置は、枠オブジェクトＨ３が付与された映像Ｆ１のみを選択的に出力するように構成されている点が、上述の実施の形態とは異なるため、以下では主に上記相異点について説明する。
【００８３】
図１８は、変形例１に係る映像処理装置１０１の一構成例を示すブロック図である。変形例１に係る映像処理装置１０１は、映像合成部１６から出力された映像を取得し、取得した映像を編集して出力する出力映像編集部１１７を備える。
【００８４】
出力映像編集部１１７は、取得した映像の出力の有無を、枠オブジェクトＨ３が付与された映像であるか否かによって切り替えるように構成されている。つまり、出力映像編集部１１７は、取得した映像が、枠オブジェクトＨ３が付与された映像であるか否かを判定し、枠オブジェクトＨ３が付与された映像である場合、該映像を表示部２へ出力し、枠オブジェクトＨ３が付与されていない映像である場合、該映像を表示部２へ出力しない。
【００８５】
図１９は、枠オブジェクトＨ３を付与された映像を選択的に並べて得られる動画像を概念的に示す説明図である。図１９に示すように、動画像Ｑ１を構成する複数の映像に対して選択的に枠オブジェクトＨ３を付与することによって、動画像Ｑ２が得られる。更に、出力映像編集部１１７は、枠オブジェクトＨ３が付与されたフレーム群Ｑ０１，Ｑ０４，Ｑ０６からなる動画像Ｑ３を生成する。その結果、枠オブジェクトＨ３が付与された映像のみ、即ち飛び出し感強調効果がある映像のみで構成された動画像Ｑ３を出力することができる。
【００８６】
（変形例２）
図２０は、変形例２に係る映像処理装置２０１の一構成例を示すブロック図である。本実施の形態では、奥行き情報を映像とは別に取得するように構成されているところ、変形例２に係る映像処理装置２０１は、映像取得部２１１にて取得した映像から各種演算によって奥行き情報を取得するように構成されている。具体的には、映像取得部２１１及び奥行き情報取得部２１２の構成が異なるため、以下では主に上記相異点について説明する。
【００８７】
映像取得部２１１は、立体感又は奥行き感を向上させる映像処理対象の映像を取得し、取得した映像を映像分割部１３へ出力すると共に、奥行き情報取得部２１２へ出力する。
【００８８】
奥行き情報取得部２１２は、映像取得部２１１から出力された映像を入力し、入力した映像に基づいて奥行き情報を算出し、算出して得た奥行き情報を映像分割部１３へ出力する。
【００８９】
奥行き情報の算出方法は、例えば特開平９−１６１０７４号公報に示された方法を利用すれば良い。
【００９０】
また、映像がなんらかの方式で符号化されている場合、その符号化情報から奥行き情報を作成しても良い。例えばＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）によって作られた標準動画規格の一つであるＭＰＥＧ−４（Moving Picture Expert Group phase4）では背景や人物などのオブジェクト単位で符号化することが可能である。映像が該機能を用いて、背景と人物が別々に符号化されていた場合は、この情報を用いて、例えば、背景の奥行きを「２」、人物の奥行きを「１」と割り当てた２段階の奥行き情報を作成する。但し、数字が小さいほど手前側を意味する。
【００９１】
変形例２にあっては、映像処理装置２０１に奥行き情報を与えなくても、映像を前景映像部分Ｆ１１、背景映像部分Ｆ１２に分割し、枠オブジェクトＨ３を挿入することができ、映像の奥行きを強調することができる。
【００９２】
（変形例３）
図２１は、変形例３に係る映像処理装置３０１の一構成例を示すブロック図である。本実施の形態では、飛び出し情報を映像とは別に取得するように構成されているところ、変形例３に係る映像処理装置３０１は、映像取得部３１１にて取得した映像から各種演算によって飛び出し情報を取得するように構成されている。具体的には、映像取得部３１１及び飛び出し情報取得部３１４の構成が異なるため、以下では主に上記相異点について説明する。
【００９３】
映像取得部３１１は、立体感又は奥行き感を向上させる映像処理対象の映像、特に、背景や人物などのオブジェクト単位で符号化された動画の映像を取得し、取得した映像を映像分割部１３へ出力すると共に、飛び出し情報取得部３１４へ出力する。
【００９４】
飛び出し情報取得部３１４は、連続するフレームを構成する映像中のオブジェクトの移動方向及び大きさの変化を算出する。そして、飛び出し情報取得部３１４は、オブジェクトの水平方向の移動量に基づいて、飛び出し情報のＸ軸ベクトル成分を算出する。図１２に示す三次元空間において、オブジェクトがＸ軸正方向へ移動している場合、飛び出し情報のＸ軸ベクトル成分を正の値とし、オブジェクトの移動量が大きい程、該値を大きく設定する。逆に、オブジェクトがＸ軸負方向へ移動している場合、飛び出し情報のＸ軸ベクトル成分を負の値とし、オブジェクトの移動量が大きい程、該値の絶対値を大きく設定する。
同様に、飛び出し情報取得部３１４は、オブジェクトの垂直方向の移動量に基づいて、飛び出し情報のＹ軸ベクトル成分を算出する。
また、飛び出し情報取得部３１４は、オブジェクトの大きさが大きくなる方向へ変化している場合、飛び出し情報のＺ軸ベクトル成分を正の値とし、オブジェクトの大きさの変化量が大きい程、該値を大きく設定する。逆に、オブジェクトの大きさが小さくなる方向へ変化している場合、飛び出し情報のＸ軸ベクトル成分を負の値とし、オブジェクトの大きさの変化量が大きい程、該値の絶対値を大きく設定する。
【００９５】
変形例３にあっては、映像処理装置３０１に飛び出し情報を与えなくても、映像を前景映像部分Ｆ１１、背景映像部分Ｆ１２に分割し、枠オブジェクトＨ３を挿入することができ、映像の奥行きを強調することができる。
【００９６】
なお、変形例２及び変形例３を組み合わせ、映像処理装置３０１に入力した映像から奥行き情報及び飛び出し情報夫々を算出するように構成しても良い。この場合、映像処理装置３０１に奥行き情報及び飛び出し情報の双方を与えなくても、映像の奥行きを強調することができる。
【００９７】
（変形例４）
実施の形態では、映像の奥行きを強調する奥行き強調映像として、額縁型の枠オブジェクトＨ３を例示したところ、変形例４に係る映像処理装置１は、枠オブジェクトＨ３に代えてカーテンオブジェクトＨ４０１を表示するように構成されている。具体的には、変形例４に係る映像処理装置１は、枠オブジェクト生成部１５に代えて、図示しないカーテンオブジェクト生成部を備える。
【００９８】
図２２は、奥行き強調映像の一例であるカーテンオブジェクトＨ４０１を示す模式図である。カーテンオブジェクト生成部は、映像の水平方向両側夫々に位置するカーテン形状のカーテンオブジェクトＨ４０１を記憶しており、該カーテンオブジェクトＨ４０１を映像合成部１６へ出力する。カーテンオブジェクトＨ４０１の形状及び色は映像の内容に拘わらず一定である。なお、言うまでもなく、カーテンオブジェクト生成部が前景映像部分Ｆ１１及び背景映像部分Ｆ１２を入力し、該前景映像部分Ｆ１１及び背景映像部分Ｆ１２の輝度に基づいて、カーテンオブジェクトＨ４０１の色及び輝度を変更するように構成しても良い。また、三次元形状の原三次元カーテンオブジェクトを記憶しておき、飛び出し情報を入力し、該飛び出し情報を用いて原三次元カーテンオブジェクトを回転及び射影変換することによって、二次元形状のカーテンオブジェクトＨ４０１を生成するように構成しても良い。
【００９９】
なお、奥行き強調映像の一例として実施の形態では枠形状、変形例４ではカーテン形状を例示したが、映像の奥行きを強調可能であれば、奥行き強調映像の形状はこれに限定されない。例えば、かぎ括弧形状の奥行き強調映像を採用しても良い。なお、背景映像の主要部分が隠れ無いよう、奥行き強調映像は、映像の端側に位置するように構成する方が好ましい。
【０１００】
（変形例５）
実施の形態では、図１２（ｂ）に示すように映像の飛び出し情報がＺ軸成分のみを有する場合、枠オブジェクトＨ５０３の形状は特に変形しないため、Ｚ軸方向への飛び出しを強調することができない。変形例５に係る映像処理装置１は、飛び出し情報がＺ軸成分のみを有する場合、枠オブジェクトＨ５０３の形状をＺ軸方向へ迫り出すように変更することによって、Ｚ軸方向、つまり視聴者側への飛び出しを強調することができるように構成したものである。実施の形態とは、枠オブジェクト生成部１５の処理内容のみが異なるため、以下では主に上記相異点について説明する。
【０１０１】
図２３は、変形例５に係る枠オブジェクトＨ５０３の形状決定方法を概念的に示す説明図である。枠オブジェクト生成部１５は、飛び出し情報のＺ軸成分のみを含む場合、又はＺ軸成分がＸ軸成分、Ｙ軸成分に比べて所定値以上大きい場合、特にＺ軸成分が正の場合、図２３に示すように、原三次元枠オブジェクトＨ５０１の水平方向略中央部を山としてＸ軸正方向へ迫り出すように屈曲させ、更に原三次元枠オブジェクトＨ５０１の水平枠部分（枠の長辺部分）を垂直方向へ押し広げた立体形状に変形させる。そして、枠オブジェクト生成部１５は、変形後の三次元枠オブジェクトＨ５０１をＸＹ平面に射影変換した二次元形状を算出し、算出された二次元形状を枠オブジェクトＨ５０３の形状として決定する。
【０１０２】
逆に、Ｚ軸成分が負の場合、枠オブジェクト生成部１５は、原三次元枠オブジェクトＨ５０１の水平方向略中央部を谷としてＸ軸負方向へ迫り出すように屈曲させ、更に原三次元枠オブジェクトＨ５０１の水平枠部分（枠の長辺部分）を垂直方向へ押し狭めた立体形状に変形させる。そして、枠オブジェクト生成部１５は、変形後の三次元枠オブジェクトＨ５０１をＸＹ平面に射影変換した二次元形状を算出し、算出された二次元形状を枠オブジェクトの形状として決定する。
【０１０３】
映像合成部１６の処理内容は、本実施の形態と同様である。映像合成部１６は、背景映像部分Ｆ１２に、枠オブジェクトＨ５０３、補完映像Ｉ５０１，Ｉ５０２，Ｉ５０３，Ｉ５０４、及び前景映像部分Ｆ１１が順に重畳させるように合成し、合成して得た合成映像部分を外部へ出力する。
【０１０４】
変形例５に係る映像処理装置１及び映像処理方法にあっては、オブジェクトがＺ軸方向、つまりオブジェクトが手前側に迫ってくるような映像、あるいは手前側に飛び出してくるオブジェクトが２個存在し、各々の飛び出し方向が左右別々である映像、例えば中央に位置する人間が画面左右両端に向かって両手を広げたような映像であっても、飛び出し感を強調することができる。
【０１０５】
（変形例６）
図２４は、変形例６に係る映像処理装置を示すブロック図である。変形例６に係る映像処理装置は、本発明に係るコンピュータプログラム４ａをコンピュータ３に実行させることによって実現される。
【０１０６】
コンピュータ３は、装置全体を制御するＣＰＵ（Central Processing Unit）３１を備える。ＣＰＵ３１は、ＲＯＭ（Read Only Memory）３２と、演算に伴って発生する一時的な情報を記憶するＲＡＭ（Random Access Memory）３３と、本発明の実施の形態に係るコンピュータプログラム４ａを記録した記録媒体４、例えばＣＤ−ＲＯＭからコンピュータプログラム４ａを読み取る外部記憶装置３４と、外部記憶装置３４により読み取ったコンピュータプログラム４ａを記録するハードディスク等の内部記憶装置３５と、入力部３６と、出力部３７とが接続されている。ＣＰＵ３１は、内部記憶装置３５からコンピュータプログラム４ａをＲＡＭ３３に読み出して各種演算処理を実行することによって、本発明に係る映像処理方法を実施する。ＣＰＵ３１の処理手順は、図１６及び図１７に示す通りであり、ステップＳ１１〜２１、ステップＳ３１〜３４の処理手順を実行する。該処理手順は、本実施の形態及び変形例５に係る映像処理装置１を構成した各構成部の処理内容と同様であるため、その詳細な説明を省略する。
【０１０７】
変形例６に係るコンピュータ３及びコンピュータプログラム４ａにあっては、コンピュータ３を本実施の形態に係る映像処理装置として機能させ、また本実施の形態に係る映像処理方法を実施させることができ、本実施の形態及び変形例２〜４と同様の効果を奏する。
【０１０８】
なお、本変形例６に係るコンピュータプログラム４ａは、言うまでもなく記録媒体４に記録されているものに限定されず、有線又は無線の通信網を介してダウンロードし、記憶し、実行されるものであっても良い。
【０１０９】
また、今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１１０】
１ 映像処理装置
２ 表示部
３ コンピュータ
４ 記録媒体
４ａ コンピュータプログラム
１１ 映像取得部
１２ 奥行き情報取得部
１３ 映像分割部
１４ 飛び出し情報取得部
１５ 枠オブジェクト生成部
１６ 映像合成部
１５ａ 枠オブジェクト付与判定部
１５ｂ 記憶部
１５ｃ 回転処理部
１５ｄ 射影変換部
１５ｅ 色決定部
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ 外部記憶装置
３６ 入力部
３７ 出力部
１１７ 出力映像編集部
Ｆ１１ 前景映像部分
Ｆ１２ 背景映像部分
Ｈ１ 原三次元枠オブジェクト
Ｈ３ 枠オブジェクト
【技術分野】
【０００１】
入力された映像の奥行き感を強調する処理を行う映像処理装置、映像処理方法、及びコンピュータを前記映像処理装置として動作させるためのコンピュータプログラムに関する。
【背景技術】
【０００２】
テレビ、携帯電話などの映像表示装置に表示される二次元映像の立体感又は奥行き感を高める様々な手法が提案されている。例えば、立体感又は奥行き感を高める方法の一つとして両眼視差を利用した立体視手法が提案されている。立体視手法は、視聴者の左右の目それぞれに、左目用視差画像と、右目用視差画像とを送ることによって、視聴者に錯覚を起こさせ、二次元平面に立体感又は奥行き感を与える手法である。
左右の目それぞれに左目用視差画像及び右目用視差画像を送る方式には、左目用視差画像と右目用視差画像とを交互に切り替えて表示する映像表示装置と、各視差画像の切り替え周波数に同期して、左右のシャッタを切り替えて光路を遮断する眼鏡とを用いた方式がある（例えば、特許文献１）。
また、左目用視差画像及び右目用視差画像を夫々赤色画像及び青色画像に色変換し、色変換された各画像を重畳的に表示する映像表示装置と、赤青眼鏡とを用いることによって、左右の目それぞれに赤色画像及び青色画像を送るアナグリフ方式がある。
更に、左目用視差画像及び右目用視差画像それぞれを異なる偏光にて表示する映像表示装置と、偏光眼鏡とを用いることによって、左右の目それぞれに左目用視差画像及び右目用視差画像を送る方式がある（例えば、特許文献２）。
【０００３】
他方、絵画の分野では、遠近法、陰影法、前進色及び後退色の組み合わせなどの絵画的技巧を利用して絵画の立体感又は奥行き感を高めることが行われている。これらの絵画的技巧を利用して作成される絵画作品は、トリックアート又はトロンプ・ルイユと呼ばれている。トリックアートは、前述の絵画的技巧を利用して、平面作品における背景、各オブジェクト間の重畳関係を描写することで、二次元的に描写されたオブジェクトの一部が恰も現実世界の三次元空間に飛び出しているように錯覚を起こさせ、平面作品に立体感又は奥行き感を与えることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭６０−７２９１号公報
【特許文献２】特開平１−１７１３９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１，２に係るシステムにおいては、専用の映像表示装置及び特殊な眼鏡を用意する必要があった。また、視聴者は特殊な眼鏡の装着を義務付けられ、視聴方法が著しく制限されるという問題があった。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、専用の映像表示装置及び特殊な眼鏡を用いず、画像処理のみによって映像の奥行き感を向上させることができる映像処理装置、映像処理方法及びコンピュータを前記映像処理装置として動作させるためのコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る映像処理装置は、入力された映像の奥行き感を強調する処理を行う映像処理装置であって、前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得する奥行き情報取得手段と、該奥行き情報取得手段にて取得した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割する映像分割手段と、該映像分割手段にて分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調映像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調映像を合成する映像合成手段と、前記映像分割手段にて分割された他の映像部分に基づいて、奥行き強調映像を重畳すべきか否かを判定する判定手段とを備え、前記映像合成手段は、前記判定手段が奥行き強調映像を重畳すべしと判定した場合、奥行き強調映像を重畳するようにしてあることを特徴とする。
【０００８】
本発明に係る映像処理装置は、前記映像分割手段にて分割された他の映像部分であって、入力された映像の端部の映像に対応する映像部分を特定する手段を備え、前記判定手段は、他の映像部分に、入力された映像の端部の映像部分が含まれていない場合、奥行き強調映像を重畳すべしと判定するようにしてあることを特徴とする。
【０００９】
本発明に係る映像処理装置は、前記映像分割手段にて分割された他の映像部分であって、入力された映像の端部の映像に対応する映像部分を特定する手段を備え、前記判定手段は、他の映像部分に、入力された映像の端部の映像部分が含まれている場合、他の映像部分に含まれる端部の映像部分の面積の大小に応じて、奥行き強調映像を重畳すべきか否かを判定するようにしてあることを特徴とする。
【００１０】
本発明に係る映像処理装置は、入力された映像の輝度又は色に基づいて、輝度又は色が該映像と異なる奥行き強調映像を生成する生成手段を備え、前記映像合成手段は、前記生成手段にて生成された奥行き強調映像を合成するようにしてあることを特徴とする。
【００１１】
本発明に係る映像処理装置は、前記生成手段は、前記映像分割手段にて分割された一の映像部分及び／又は他の映像部分の輝度又は色に基づいて、輝度又は色が該映像部分と異なる奥行き強調映像を生成するようにしてあることを特徴とする。
【００１２】
本発明に係る映像処理装置は、時系列順に複数の映像が入力されるように構成されており、奥行き強調映像が合成されていない映像及び奥行き強調映像を合成して得た映像の中から、奥行き強調映像を合成して得た映像を選択する手段を備えることを特徴とする。
【００１３】
本発明に係る映像処理装置は、時系列順に複数の映像が入力されるように構成されており、時系列順に入力された各映像間における映像部分の移動方向を示した移動方向情報を取得する移動方向情報取得手段と、該移動方向情報取得手段にて取得した移動方向情報に応じた形状を有する奥行き強調映像を生成する生成手段とを備え、前記映像合成手段は、前記生成手段にて生成された奥行き強調映像を合成するようにしてあることを特徴とする。
【００１４】
本発明に係る映像処理装置は、時系列順に複数の映像が入力されるように構成されており、時系列順に入力された各映像間における映像部分の移動方向を示した移動方向情報を取得する移動方向情報取得手段を備え、前記生成手段は、該移動方向情報取得手段にて取得した移動方向情報に応じた形状を有する奥行き強調映像を生成するようにしてあることを特徴とする。
【００１５】
本発明に係る映像処理装置は、所定の三次元画像を記憶する記憶手段を備え、前記生成手段は、前記記憶手段が記憶している三次元画像と、前記移動方向情報取得手段にて取得した一の映像部分の移動方向情報が示す移動方向とが所定の位置関係になるように、該三次元画像を回転させる回転処理手段を備え、該回転処理手段にて回転した三次元画像を所定の二次元平面に射影させて得られる二次元形状を有する奥行き強調映像を生成するようにしてあることを特徴とする。
【００１６】
本発明に係る映像処理方法は、入力された映像の奥行き感を強調する処理を行う映像処理方法であって、前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得し、取得した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割し、分割された他の映像部分に基づいて、前記映像の奥行きを強調するための奥行き強調映像を映像部分に重畳すべきか否かを判定し、奥行き強調映像を重畳すべしと判定した場合、分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調映像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調映像を合成することを特徴とする。
【００１７】
本発明に係るコンピュータプログラムは、コンピュータに、映像の奥行き感を強調する処理を実行させるコンピュータプログラムであって、前記コンピュータに、前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割するステップと、分割された他の映像部分に基づいて、前記映像の奥行きを強調するための奥行き強調映像を映像部分に重畳すべきか否かを判定するステップと、奥行き強調映像を重畳すべしと判定した場合、分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調映像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調映像を合成するステップとを実行させることを特徴とする。
【００１８】
本発明にあっては、映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得し、取得した奥行き情報に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割する。そして、分割された他の映像部分に基づいて、奥行き強調映像を映像部分に重畳すべきか否かを判定する。奥行き強調映像を映像部分に重畳すべきでは無いと判定された場合、奥行き強調映像は重畳されない。奥行き強調映像を重畳すべしと判定された場合、少なくとも一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調映像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調映像が合成される。合成された映像は、一の映像部分、奥行き強調映像、及び他の映像部分がこの順で重畳的に合成されたものであるため、一の映像部分及び他の映像部分の奥行きが奥行き強調映像によって強調される。
具体的には、一の映像部分の一部に奥行き強調映像が重畳的に合成された場合、視聴者は、奥行き強調映像が一の映像部分の手前側に位置していると認識する。また、奥行き強調映像の一部に他の映像部分が重畳的に合成された場合、視聴者は、他の映像部分が奥行き強調映像部分の手前側に位置していると認識する。従って、一の映像部分と、他の映像部分とが奥行き方向に離隔しているという奥行き感を、視聴者に与えることが可能になる。
なお、奥行き強調映像の数は１つに限定されず、映像を、３以上の映像部分に分割し、各映像部分間夫々に奥行き強調映像が挿入されるように、各映像部分及び奥行き強調映像を合成する技術的思想も本発明に含まれる。
【００１９】
本発明にあっては、他の映像部分、即ち前景の映像部分が、入力された映像の端部の映像部分を含む場合、奥行き強調映像を重畳すべきで無いと判定し、入力された映像の端部の映像部分を含まない場合、奥行き強調映像を重畳すべしと判定する。
【００２０】
本発明にあっては、他の映像部分、即ち前景の映像部分であって、映像の端部に位置している映像部分の面積の大小に応じて、奥行き強調映像を重畳すべきか否かを判定する。例えば、端部の映像部分の面積が大きい場合、奥行き強調映像を重畳すべきで無いと判定し、端部の映像部分の面積が小さい場合、奥行き強調映像を重畳すべしと判定する。
【００２１】
本発明にあっては、生成手段は、入力された映像の輝度又は色に基づいて、輝度又は色が該映像と異なる奥行き強調映像を生成する。従って、奥行き強調映像と、映像部分とは異なる輝度又は色を有する。よって、一の映像部分及び他の映像部分の奥行きを効果的に強調することが可能になる。
【００２２】
本発明にあっては、生成手段は、一の映像部分及び／又は他の映像部分の輝度又は色に基づいて、輝度又は色が該映像部分と異なる奥行き強調映像を生成する。従って、奥行き強調映像と、映像部分とは異なる輝度又は色を有する。よって、一の映像部分及び他の映像部分の奥行きを効果的に強調することが可能になる。
【００２３】
本発明にあっては、時系列順に入力された複数の映像それぞれに対して、奥行き強調映像を重畳させるか否かを判定し、奥行き強調映像を選択的に重畳させて、奥行きを強調させる。そして、奥行き強調映像が合成されていない映像及び奥行き強調映像を合成して得た映像の中から、奥行き強調映像を合成して得た映像を選択する。従って、奥行きが強調された映像からなる動画を視聴することが可能になる。
【００２４】
本発明にあっては、移動方向情報取得手段は、時系列順に入力された各映像間における映像部分の移動方向を示した移動方向情報を取得する。そして、生成手段は、取得した移動方向情報に応じた形状を有する奥行き強調映像を生成する。つまり、生成手段は、映像部分の移動を強調することが可能な形状を有する奥行き強調映像を生成する。
【００２５】
本発明にあっては、記憶手段は、奥行き強調映像の元になる三次元画像を記憶している。回転処理手段は、記憶手段が記憶している三次元画像と、移動方向情報取得手段にて取得した移動方向情報が示す移動方向とが所定の位置関係になるように、該三次元画像を回転させる。つまり、三次元画像は、映像部分の移動方向を向くように回転する。そして、生成手段は、回転した三次元画像を所定の二次元平面に射影させて得られる二次元形状を有する奥行き強調映像を生成する。従って、合成される奥行き強調映像は、映像部分の移動方向を向いたような形状となる。よって、映像部分の移動が強調される。
なお、三次元画像とは、三次元空間における画像を意味し、三次元画像には、三次元空間における立体的な画像はもちろん、平面的な画像も含まれる。
【発明の効果】
【００２６】
本発明によれば、専用の映像表示装置及び特殊な眼鏡を用いず、画像処理のみによって映像の奥行き感を向上させることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態に係る映像処理装置の一構成例を示すブロック図である。
【図２】映像取得部が取得した映像の一例を示す説明図である。
【図３】奥行き情報を概念的に示す説明図である。
【図４】前景映像部分及び背景映像部分を概念的に示す説明図である。
【図５】飛び出し情報を概念的に示した説明図である。
【図６】枠オブジェクトの付与判定方法を概念的に示した説明図である。
【図７】映像取得部が取得した他の映像の一例を示す説明図である。
【図８】前記他の映像の奥行き情報を概念的に示す説明図である。
【図９】前記他の映像を分割して得た前景映像部分及び背景映像部分を概念的に示す説明図である。
【図１０】枠オブジェクトの付与判定方法を概念的に示した説明図である。
【図１１】原三次元枠オブジェクトを概念的に示す説明図である。
【図１２】枠オブジェクトの形状決定方法を概念的に示す説明図である。
【図１３】枠オブジェクトの輝度及び色の決定方法を概念的に示す説明図である。
【図１４】映像合成部の処理内容を概念的に示す説明図である。
【図１５】動画を構成する複数の映像に対して、枠オブジェクトを選択的に付与して得られた動画を概念的に示す説明図である。
【図１６】映像処理装置が実施する映像処理方法の流れを示すフローチャートである。
【図１７】枠オブジェクト生成部の動作の流れを示すフローチャートである。
【図１８】変形例１に係る映像処理装置の一構成例を示すブロック図である。
【図１９】枠オブジェクトを付与された映像を選択的に並べて得られる動画像を概念的に示す説明図である。
【図２０】変形例２に係る映像処理装置の一構成例を示すブロック図である。
【図２１】変形例３に係る映像処理装置の一構成例を示すブロック図である。
【図２２】奥行き強調映像の一例であるカーテンオブジェクトを示す模式図である。
【図２３】変形例５に係る枠オブジェクトの形状決定方法を概念的に示す説明図である。
【図２４】変形例６に係る映像処理装置を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
図１は、本発明の実施の形態に係る映像処理装置１の一構成例を示すブロック図である。本実施の形態に係る映像処理装置１は、映像取得部１１、奥行き情報取得部１２、映像分割部１３、飛び出し情報取得部１４、枠オブジェクト生成部１５及び映像合成部１６を備える。
【００２９】
＜映像取得部＞
映像取得部１１は、立体感又は奥行き感を向上させる映像処理対象の映像を取得し、取得した映像を映像分割部１３へ出力する。映像取得部１１にて取得される映像は、静止画像又は動画像のいずれでも良い。静止画は、１フレームの映像で構成され、動画像は、時系列順の複数フレームの映像で構成される。また、該映像は、所定の符号化方式、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＭＰＥＧ−２（Moving Picture Expert Group phase2）等で圧縮されたものであっても、非圧縮のものであっても良い。符号化された映像を取得する構成である場合、映像取得部１１は、取得した映像を所定の符号化方式に従って、該映像を例えばＲＧＢ形式やＹＵＶ形式の映像に復号し、復号して得た映像を映像分割部１３へ出力する。
以下、本実施の形態では、説明の簡単のため、主に、静止画又は動画を構成する１フレームの映像に対して行う処理を説明するが、動画の場合、時系列順に連続する各フレームの映像に対して同様の処理を行うものとする。
【００３０】
図２は、映像取得部１１が取得した映像の一例を示す説明図である。図２に示した映像Ｆ１は、二次元に配列された複数の画素夫々の輝度及び色を示したデータであり、奥行き方向の距離が異なる複数のオブジェクト、例えば鳥、木、太陽、空、雲等の被写体に相当する映像から構成されている。以下、図２に示した特定の映像を示す場合、「映像Ｆ１」と表記し、映像取得部１１が取得した任意の映像を、「映像」と表記する。奥行き方向の距離とは、オブジェクトに係る被写体と、所定位置、例えば該映像の撮像に用いた撮影装置の位置との距離をいう。以下、該距離を適宜、奥行きという。
【００３１】
＜奥行き情報取得部＞
奥行き情報取得部１２は、映像取得部１１から得られる映像を構成する複数のオブジェクト夫々の奥行きを示した奥行き情報を取得し、取得した奥行き情報を映像分割部１３へ出力する。本実施の形態では、奥行き方向における撮影装置及び各被写体間の距離を撮像時に計測しておき、計測して得られた距離の情報を有する奥行き情報が映像とは別に映像処理装置１に入力されるものとする。
なお、撮影装置及び各被写体間の距離は、例えばステレオ法を応用して計測すれば良い。具体的には、離隔配置した２つの撮像部で共通の被写体を撮像し、各撮像部で撮像された２枚の映像における被写体の視差を算出し、三角測量の原理により撮像装置と被写体との距離を求める。
また、被写体に赤外線を照射する測距用の赤外線照射部と、被写体で反射された赤外線の強度を測定する赤外線検出部とを撮像装置に設け、各被写体から反射された赤外線の強度に基づいて、撮像装置と被写体との距離を求めても良い。
【００３２】
図３は、奥行き情報を概念的に示す説明図である。図３に示すように、映像を構成する複数のオブジェクト夫々に対応付けられた奥行きの情報を有する画像を奥行き画像Ｇ１という。奥行きは、例えば、距離の短い順に１、２、…、５の昇順の数字で示されている。具体的には、奥行き画像Ｇ１は、入力された映像と同様の複数の画素から構成されており、入力された映像を構成する各画素に対応する奥行きを示した１〜５のいずれかの数値が、奥行き画像Ｇ１の各画素の画素値として割り当てられている。なお、ここでは説明の簡単のために、奥行き情報を５段階で示すものとするが、奥行き情報は５段階未満乃至は５段階より多くても良く、もちろん無段階で示すものとしても問題はない。
【００３３】
＜映像分割部＞
映像分割部１３は、映像取得部１１で取得した映像、例えばＦ１を、奥行き情報取得部１２で取得した奥行き情報に基づいて、前景映像部分Ｆ１１と、背景映像部分Ｆ１２とに分割する（図４参照）。そして、映像分割部１３は、分割した前景映像部分Ｆ１１及び背景映像部分Ｆ１２を、枠オブジェクト生成部１５及び映像合成部１６へ出力する。具体的には、映像分割部１３は、取得した映像の各画素に対応する奥行きと、所定の閾値とを比較し、奥行きが閾値未満である場合、該画素を前景映像部分Ｆ１１の画素とし、奥行きが閾値以上である場合、背景映像部分Ｆ１２の画素とする。閾値は、映像分割部１３が予め記憶している定数である。
各画素を示した変数をｎ＝０、１、２…、前景映像部分Ｆ１１及び背景映像部分Ｆ１２の別を示す変数をＰｘ（ｎ）、各画素の奥行きを示す変数をＤｅｐｔｈ（ｎ）、閾値をＴｈ１とした場合、Ｐｘ（ｎ）は、下記式（１）、（２）で表される。
Ｐｘ（ｎ）＝背景 （Ｔｈ１＜Ｄｅｐｔｈ（ｎ））…（１）
Ｐｘ（ｎ）＝前景 （Ｔｈ１≧Ｄｅｐｔｈ（ｎ））…（２）
【００３４】
図４は、前景映像部分Ｆ１１及び背景映像部分Ｆ１２を概念的に示す説明図である。閾値Ｔｈ１が２である場合、図２に示した映像Ｆ１は、図３に示した奥行き画像Ｇ１及び閾値Ｔｈ１＝２に基づき、前景映像部分Ｆ１１（図４（ａ）中の実線で囲まれた白色領域）と背景映像部分Ｆ１２（図４（ｂ）中の実線で囲まれた白色領域（破線で囲まれたグレー領域を除いた領域））に分割される。
【００３５】
なお、閾値Ｔｈ１は予め映像分割部１３に記録されている値として説明を行ったが、映像処理装置１を使用する視聴者が自由に設定できる値としても良い。また、閾値Ｔｈ１を計算で求めても良い。例えば、閾値Ｔｈ１は、下記式（３）で表される。
Ｔｈ＝（ΣＤｅｐｔｈ（ｎ））／（ｗ＊ｈ）…（３）
但し、ｎは０、１、２、…、ｗ＊ｈの整数、ｈは映像Ｆ１の高さ（垂直方向に配列した画素の数）、ｗは映像Ｆ１の幅（水平方向に配列した画素の数）である。
【００３６】
＜飛び出し情報取得部＞
飛び出し情報取得部１４は、映像Ｆ１内の各オブジェクトに設定された飛び出しの方向を示した飛び出し情報を取得し、取得した飛び出し情報を枠オブジェクト生成部１５へ出力する。ここで、飛び出しの方向とは、映像内の各オブジェクトの飛び出しを強調する際に、どちらの方向に飛び出し感を与えるべきかを示した情報である。
【００３７】
図５は、飛び出し情報を概念的に示した説明図である。飛び出し情報は例えば、図５（ａ）に示すように、映像Ｆ１の縦方向（垂直方向）をＹ軸、横方向（水平方向）をＸ軸、映像面に対して垂直な前後方向の仮想的な軸をＺ軸とした３次元空間における３次元のベクトルで表される。この飛び出し情報は、図５（ｂ）に示すように、オブジェクトごとに指定されているものとする。なお、本実施の形態では飛び出し情報は正規化された単位ベクトルとして扱うものとする。
【００３８】
＜枠オブジェクト生成部＞
枠オブジェクト生成部１５は、映像の奥行きを強調するための枠オブジェクトＨ３（図１４参照）を入力された映像、例えば映像Ｆ１，Ｆ２（図２、図７参照）に付与すべきか否かを判定する枠オブジェクト付与判定部１５ａと、該枠オブジェクトＨ３の基になる情報を記憶する記憶部１５ｂと、飛び出し情報に基づいて、枠オブジェクトＨ３の形状を決定するための回転処理部１５ｃ及び射影変換部１５ｄと、前景映像部分Ｆ１１及び背景映像部分Ｆ１２の輝度及び色に基づいて枠オブジェクトＨ３の輝度及び色を決定する色決定部１５ｅとを備える。ここで枠オブジェクトＨ３とは、前景映像部分Ｆ１１と、背景映像部分Ｆ１２との間に挿入することで前景及び背景との相対的な距離感を与え、視聴者に立体感、奥行き感を知覚させるためのオブジェクトである。本実施の形態では、枠オブジェクトＨ３として、映像Ｆ１の外周を囲う枠状の映像を生成する。特に、本実施の形態では、枠オブジェクト生成部１５は、枠オブジェクトＨ３を入力された映像Ｆ１，Ｆ２に付与した際に、飛び出し感の強調効果があるか否かを判断し、効果があると判断した場合、枠オブジェクトＨ３として、映像の外周を囲う枠状の映像を生成し、逆に飛び出し感の強調効果が低いと判断した場合は、枠オブジェクトＨ３を生成しないように構成されている。
【００３９】
枠オブジェクト付与判定部１５ａは、入力された前景映像部分Ｆ１１及び背景映像部分Ｆ１２に基づいて、枠オブジェクトＨ３を映像Ｆ１に付与することによって、飛び出し感の強調効果があるか否かを判定する。
本実施の形態では、入力された映像Ｆ１を前景映像部分Ｆ１１及び背景映像部分Ｆ１２に分割し、背景映像部分Ｆ１２に枠オブジェクトＨ３及び前景映像部分Ｆ１１を適切に重畳することによって、二次元的に描写されたオブジェクトの一部が恰も現実世界の三次元空間に飛び出しているように錯覚を起こさせ、映像Ｆ１の飛び出し感を強調させる。ここで、視聴者にオブジェクトの一部が現実世界の三次元空間に飛び出していると錯覚を起こさせる為には、飛び出すオブジェクト即ち前景映像部分Ｆ１１の一部が欠けることなく、全て描写されていることが望ましい。
そこで、本実施の形態の枠オブジェクト付与判定部１５ａは、前景映像部分Ｆ１１が欠けることなく描写されているか否かを判定し、この判定結果に基づいて、枠オブジェクトＨ３を生成するか否かを判断する。即ち、前景映像部分Ｆ１１が欠けることなく描写されている場合、枠オブジェクト付与判定部１５ａは枠オブジェクトを生成し、前景映像部分Ｆ１１が欠けている場合、枠オブジェクトＨ３を生成しない。次に、枠オブジェクト付与判定部１５ａで行われる具体的な処理内容を説明する。
【００４０】
まず、枠オブジェクト付与判定部１５ａは、映像分割部１３から出力された前景映像部分Ｆ１１及び背景映像部分Ｆ１２（図４参照）を取得する。そして、枠オブジェクト付与判定部１５ａは、前景映像部分Ｆ１１が、映像の縁へ接しているかどうか、言い換えると、前景映像部分Ｆ１１に、入力された映像Ｆ１の端部の映像が含まれているか否かを判定する。より具体的には、枠オブジェクト付与判定部１５ａは、映像Ｆ１における上辺、下辺、左辺、右辺のいずれかにおいて、前景映像部分Ｆ１１を構成する画素が含まれるか否かを判定する。
【００４１】
図６は、枠オブジェクトの付与判定方法を概念的に示した説明図である。図６（ａ）は、入力された映像Ｆ１の概念図である。映像Ｆ１は、複数の画素Ｐｘ＿ｉｎ（ｘ，ｙ）から構成されている。但し、ｘ（０≦ｘ≦ｗ）は、映像Ｆ１の幅方向（水平方向）の画素位置、ｙ（０≦ｙ≦ｈ）は、高さ方向（垂直方向）の画素位置を示している。各画素Ｐｘ＿ｉｎ（ｘ，ｙ）は、映像Ｆ１の輝度情報を有する。
図６（ｂ）は、前景映像部分Ｆ１１の概念図である。前景映像部分Ｆ１１は、複数の画素Ｐｘ＿ｆｗｄ（ｘ，ｙ）から構成されている。各画素Ｐｘ＿ｆｗｄ（ｘ，ｙ）は、当該画素が前景映像を構成しているか否かを示す情報、前景映像を構成している場合、該前景映像に係る輝度情報を有している。
【００４２】
枠オブジェクト付与判定部１５ａは、前景映像部分Ｆ１１を構成する画素Ｐｘ＿ｆｗｄ（ｘ，ｙ）の情報を用いて、映像Ｆ１の上辺Ｐ０１を構成する画素Ｐｘ＿ｉｎ（ｘ＝１，ｙ＝１）〜Ｐｘ＿ｉｎ（ｘ＝ｗ，ｙ＝１）から前景映像部分Ｆ１１を構成する画素Ｐｘ＿ｉｎ（ｘ，ｙ）を特定し、映像Ｆ１の上辺Ｐ０１に位置する前景映像部分Ｆ１１の画素数を算出する。同様に、枠オブジェクト付与判定部１５ａは、映像Ｆ１の下辺を構成するクセルＰｘ＿ｉｎ（ｘ＝１，ｙ＝ｈ）〜Ｐｘ＿ｉｎ（ｘ＝ｗ，ｙ＝ｈ）、左辺を構成する画素Ｐｘ＿ｉｎ（ｘ＝１，ｙ＝１）〜Ｐｘ＿ｉｎ（ｘ＝１，ｙ＝ｈ）、右辺を構成する画素Ｐｘ＿ｉｎ（ｘ＝ｗ，ｙ＝１）〜Ｐｘ＿ｉｎ（ｘ＝ｗ，ｙ＝ｈ）から前景映像部分Ｆ１１を構成する画素を特定し、映像Ｆ１の上辺Ｐ０１、下辺、左辺、右辺のいずれかに位置する前景映像部分Ｆ１１の画素数を算出する。そして、枠オブジェクト付与判定部１５ａは、映像Ｆ１の上辺Ｐ０１、下辺、左辺、右辺のいずれかに位置する前景映像部分Ｆ１１の画素数が０である場合、枠オブジェクトＨ３を付与すべきと判定し、該画素数が０でない場合、枠オブジェクトＨ３を付与すべきではないと判定する。
映像Ｆ１の場合、前景映像部分Ｆ１１に含まれるオブジェクトは、映像Ｆ１の上辺Ｐ０１、下辺、左辺、右辺のいずれにも接触していないため、つまり、映像Ｆ１の上辺Ｐ０１、下辺、左辺、右辺のいずれかに位置する前景映像部分Ｆ１１の画素数が０であるため、枠オブジェクトＨ３を付与すべしと判定する。この場合、枠オブジェクト生成部１５は、後述する処理手順で枠オブジェクトＨ３を生成し、生成された枠オブジェクトＨ３を映像合成部１６へ出力する。
【００４３】
図７は、映像取得部が取得した他の映像Ｆ２の一例を示す説明図、図８は、前記他の映像Ｆ２の奥行き情報を概念的に示す説明図、図９は、前記他の映像Ｆ２を分割して得た前景映像部分Ｆ２１及び背景映像部分Ｆ２２を概念的に示す説明図、図１０は、枠オブジェクトの付与判定方法を概念的に示した説明図である。上述した同様の手順で、映像取得部１１は、映像Ｆ２を取得し、取得した映像Ｆ２を映像分割部１３へ出力し、奥行き情報取得部１２は、映像Ｆ２の奥行き画像Ｇ２を取得し、取得した奥行き画像Ｇ２を映像分割部１３へ出力する。映像分割部１３は、映像Ｆ２及び奥行き画像Ｇ２を取得し、該映像Ｆ２及び奥行き画像Ｇ２に基づいて、映像Ｆ２を、前景映像部分Ｆ２１及び背景映像部分Ｆ２２に分割し、分割された前景映像部分Ｆ２１及び背景映像部分Ｆ２２を枠オブジェクト生成部１５へ出力する。
【００４４】
枠オブジェクト付与判定部１５ａは、映像Ｆ２に対しても、映像Ｆ１と同様にして、枠オブジェクトＨ３を付与すべきか否かを判定する。映像Ｆ２の場合、前景映像部分Ｆ２１の一部Ｐ０２が、入力された映像Ｆ２の上辺に接しているため、枠オブジェクトＨ３を付与すべきでは無いと判定される。この場合、枠オブジェクト生成部１５は、枠オブジェクトＨ３の生成を行わず、枠オブジェクトＨ３を映像合成部１６へ出力しない。
【００４５】
なお、上述した枠オブジェクトの付与判定方法は一例である。例えば、映像Ｆ１の上辺Ｐ０１、下辺、左辺、右辺のいずれかに位置する前景映像部分Ｆ１１，Ｆ２１の画素数が所定の閾値未満である場合、枠オブジェクトＨ３を付与すべしと判定し、該画素数が所定の閾値以上である場合、枠オブジェクトＨ３を付与すべきではないと判定するように構成しても良い。
また、上述の例では、映像Ｆ１、Ｆ２の端部の映像部分の画素の中から、前景映像部分Ｆ１１，２１を構成する画素を特定する場合を説明したが、言うまでも無く、前景映像部分Ｆ１１，２１を構成する画素の中から、映像Ｆ１、Ｆ２の端部を構成する画素を特定しても良い。
【００４６】
記憶部１５ｂは、枠オブジェクトＨ３の基になる情報を予め記憶している。具体的には、三次元空間における三次元画像を記憶している。以下、該三次元画像を原三次元枠オブジェクトＨ１（図１１参照）という。
【００４７】
図１１は、原三次元枠オブジェクトＨ１を概念的に示す説明図である。原三次元枠オブジェクトＨ１は、三次元空間における原点に中心が位置し、ＸＹ平面に略平行な矩形枠状をなしている。Ｈ２は、原三次元枠オブジェクトＨ１の法線ベクトルＨ２を示している。
【００４８】
まず、枠オブジェクト生成部１５は、原三次元枠オブジェクトＨ１と、飛び出し情報とに基づいて、枠オブジェクトＨ３の形状を決定する。
図１２は、枠オブジェクトＨ３の形状決定方法を概念的に示す説明図である。ここでは、図１２（ａ）に示すように、映像Ｆ３内にオブジェクトＦ３１が存在し、その飛び出し情報が指定されているものとする。なお、映像Ｆ３は、枠オブジェクトＨ３の生成方法を説明すべく、映像Ｆ１を簡略化したものである。枠オブジェクトＨ３の形状は、図１２（ｂ）で示した仮想的な３次元空間中で原三次元枠オブジェクトＨ１を飛び出し方向に応じて回転させ、即ち傾きを与え、傾いた三次元枠オブジェクトＨ１１，Ｈ２１（図１２参照）をＸＹ平面上に射影することによって得られる。以下、詳細に説明する。
【００４９】
まず、原三次元枠オブジェクトＨ１の傾きを規定する傾きベクトルを算出する。傾きベクトルは下記式（４）で表される。
（ｘ１，ｙ１，ｚ１）＝（ａ＊ｘ，ｂ＊ｙ，ｃ＊ｚ）…（４）
但し、（ｘ１，ｙ１，ｚ１）は飛び出し情報、ａ，ｂ，ｃは、枠オブジェクト生成部１５が予め記憶している定数（０≦ａ，ｂ，ｃ≦１．０）である。
【００５０】
そして、回転処理部１５ｃは、原三次元枠オブジェクトＨ１の法線ベクトルＨ２が傾きベクトル（ｘ１，ｙ１，ｚ１）に一致するように、原三次元枠オブジェクトＨ１を回転させる。
【００５１】
次いで、射影変換部１５ｄは、回転処理後の三次元枠オブジェクトＨ１１，Ｈ２１をＸＹ平面に正射影した二次元形状に変換し、該二次元形状を枠オブジェクトＨ３の形状として記憶する。
【００５２】
例えば、図１２（ｂ）に示すようにオブジェクトＦ３１の飛び出し情報が（０，０，１）で与えられ、ａ＝１．０、ｂ＝１．０、ｃ＝１．０である場合、傾きベクトルは（０，０，１）となる。そして、回転処理部１５ｃは、原三次元枠オブジェクトＨ１の法線ベクトルＨ２が傾きベクトル（０，０，１）と略一致するように、該原三次元枠オブジェクトＨ１を回転させる。回転処理後の三次元枠オブジェクトＨ１１をＸＹ平面上に投射した最終的な形状は図１２（ｂ）のＸＹ平面に示した形となる。
【００５３】
また、図１２（ｃ）に示すように、オブジェクトＦ３１の飛び出し情報が（ｘ，０，√（１−ｘ2 ））で与えられ、ａ＝１．０、ｂ＝１．０、ｃ＝１．０である場合、傾きベクトルは（ｘ，０，√（１−ｘ2 ））となる。そして、回転処理部１５ｃは、原三次元枠オブジェクトＨ１の法線ベクトルＨ２が傾きベクトル（ｘ，０，√（１−ｘ2 ）と略一致するように、該原三次元枠オブジェクトＨ１を回転させる。回転処理後の三次元枠オブジェクトＨ２１をＸＹ平面上に投射した最終的な形状は図１２（ｃ）のＸＹ平面に示すような形となる。
【００５４】
次に、枠オブジェクト生成部１５は枠の輝度及び色を決定する。
図１３は、枠オブジェクトＨ３の輝度及び色の決定方法を概念的に示す説明図である。色決定部１５ｅは、枠オブジェクトＨ３の色を映像全体の輝度、つまり前景映像部分Ｆ１１及び背景映像部分Ｆ１２双方の輝度に基づいて決定する。図１３（ａ）は、特にある一の時点で映像取得部１１が取得した映像Ｆ４、図１３（ｂ）は、映像Ｆ４の輝度ヒストグラムであり、映像Ｆ４の輝度の平均値がｆ４で表されている。色決定部１５ｅは、予め閾値Ｔｈ２と、平均輝度ｆ４が閾値Ｔｈ２以上であった場合の枠オブジェクトＨ３の色Ｃ１と、閾値Ｔｈ２未満であった場合の枠オブジェクトＨ３の色Ｃ２を記憶している。なお、色Ｃ１及び色Ｃ２は、異なる輝度を有している。映像Ｆ４の平均輝度ｆ４は閾値Ｔｈ２以上であるため、色決定部１５ｅは、図１３（ｃ）に示すように枠オブジェクトＨ３の色としてＣ１を決定する。
【００５５】
同様に、図１３（ｄ）は他の時点で映像取得部１１が取得した映像Ｆ５、図１３（ｅ）は、映像Ｆ５の輝度ヒストグラムであり、映像Ｆ５の輝度の平均値がｆ５で表されている。映像Ｆ５の平均輝度ｆ５は閾値Ｔｈ２未満であるため、色決定部１５ｅは、図１３（ｆ）に示すように枠オブジェクトＨ３の色として色Ｃ２を決定する。
【００５６】
なお、枠オブジェクトＨ３の色については、特に限定されない。但し、平均輝度が閾値Ｔｈ２以上である場合は閾値Ｔｈ２より輝度が低い色を、平均輝度が閾値Ｔｈ２より低い場合は閾値Ｔｈ２より輝度が高い色を選ぶ方が好ましい。
また、予め定数ｄを色決定部１５ｅに記憶させておき、枠オブジェクトＨ３の輝度を下記式（５）、（６）で決定するようにすると良い。
枠オブジェクトＨ３の輝度＝平均輝度−ｄ （平均輝度≧閾値Ｔｈ２）…（５）
枠オブジェクトＨ３の輝度＝平均輝度＋ｄ （平均輝度＜閾値Ｔｈ２）…（６）
【００５７】
更に、背景映像部分Ｆ１２に基づいて、半透明の枠オブジェクトＨ３を生成するように構成しても良い。枠オブジェクトＨ３が半透明である場合、枠オブジェクトＨ３によって背景映像部分Ｆ１２が覆い隠されても、視聴者は、覆い隠された背景映像部分Ｆ１２の内容を伺い知ることができる。従って、映像の情報削減量を抑え、かつ映像の奥行きを強調することができる。
【００５８】
更にまた、枠オブジェクトＨ３を額縁、窓の枠やテレビの枠などを模したオブジェクトとして配置しても良い。
【００５９】
更にまた、映像Ｆ４，Ｆ５の輝度に基づいて、枠オブジェクトＨ３の色Ｃ１，Ｃ２を決定する例を説明したが、映像Ｆ４，Ｆ５の色、例えば平均彩度に基づいて、枠オブジェクトＨ３の色を映像の色と異なるように決定するように構成しても良い。また、映像Ｆ４，Ｆ５の輝度及び色夫々に基づいて、枠オブジェクトＨ３の輝度及び色を決定するように構成しても良い。
【００６０】
更にまた、映像全体の輝度に基づいて枠オブジェクトＨ３の色及び輝度を決定する例を説明したが、前景映像部分Ｆ１１のみの平均輝度に基づいて、枠オブジェクトＨ３の色及び輝度を決定しても良い。つまり、前景映像部分Ｆ１１の輝度と、枠オブジェクトＨ３の輝度とが異なるように、該枠オブジェクトＨ３の色及び輝度を決定しても良い。この場合、枠オブジェクトＨ３と、前景映像部分Ｆ１１との差異が際だつため、前景映像部分Ｆ１１の奥行きを効果的に強調することが可能になる。
同様に、背景映像部分Ｆ１２のみの平均輝度に基づいて、枠オブジェクトＨ３の色及び輝度を決定しても良い。つまり、背景映像部分Ｆ１２の輝度と、枠オブジェクトＨ３の輝度とが異なるように、該枠オブジェクトＨ３の色及び輝度を決定しても良い。この場合、枠オブジェクトＨ３と、背景映像部分Ｆ１２との差異が際だつため、背景映像部分Ｆ１２の奥行きを効果的に強調することが可能になる。
更に、前景映像部分Ｆ１１及び背景映像部分Ｆ１２の平均輝度を各別に算出し、算出された各平均輝度と、枠オブジェクトＨ３の輝度とが異なるように、該枠オブジェクトＨ３の輝度及び色を決定するように構成しても良い。この場合、枠オブジェクトＨ３、前景映像部分Ｆ１１、背景映像部分Ｆ１２夫々の差異が際だつため、前景映像部分Ｆ１１及び背景映像部分Ｆ１２の奥行きを効果的に強調することが可能になる。
【００６１】
枠オブジェクト生成部１５は、射影変換部１５ｄにて決定した形状と、色決定部１５ｅにて決定した色とを有する枠オブジェクトＨ３を生成し、生成した枠オブジェクトＨ３を映像合成部１６へ出力する。
【００６２】
＜映像合成部＞
映像合成部１６は、映像分割部１３から出力された前景映像部分Ｆ１１及び背景映像部分Ｆ１２と、枠オブジェクト生成部１５から出力された枠オブジェクトＨ３とを取得する。但し、枠オブジェクト生成部１５から枠オブジェクトＨ３が出力されない場合、例えば、映像Ｆ２を処理した場合、前景映像部分Ｆ２１及び背景映像部分Ｆ２２のみを取得する。
枠オブジェクト生成部１５から枠オブジェクトＨ３が出力されなかった場合、背景映像部分Ｆ２２及び前景映像部分Ｆ２１をこの順に合成、即ち入力された映像Ｆ２と同様の映像を生成し、表示部２へ出力する。
枠オブジェクト生成部１５から枠オブジェクトＨ３が出力された場合、以下の処理を実行する。
【００６３】
図１４は、映像合成部１６の処理内容を概念的に示す説明図である。映像合成部１６は、映像分割部１３から出力された前景映像部分Ｆ１１及び背景映像部分Ｆ１２と、枠オブジェクト生成部１５から出力された枠オブジェクトＨ３を入力する。そして、映像合成部１６は、図１４（ａ）、（ｂ）に示すように背景映像部分Ｆ１２に枠オブジェクトＨ３が重畳され、更に枠オブジェクトＨ３に前景映像部分Ｆ１１が重畳されるように、背景映像部分Ｆ１２、枠オブジェクトＨ３及び前景映像部分Ｆ１１を合成する。また、映像及び枠オブジェクトＨ３の形状及び寸法が一致しない場合、図１４（ｂ）に示すように、枠オブジェクトＨ３の外側の領域が発生するが、映像合成部１６は、枠オブジェクトＨ３の外側にはみ出た背景映像部分Ｆ１２を表示させないように、該領域には所定の補完映像Ｉ１，Ｉ２を合成する。なお、枠オブジェクトＨ３の外側にはみ出た前景映像部分Ｆ１１は、そのまま表示させる。つまり、補完映像Ｉ１，Ｉ２に重畳させるように、前景映像部分Ｆ１１を表示させる。補完映像Ｉ１，Ｉ２は、例えば、単色の映像、壁のテクスチャ等の任意の映像である。枠オブジェクトＨ３の外側にはみ出た背景映像部分Ｆ１２をそのまま表示した場合、視聴者が背景映像部分Ｆ１２の奥行きを誤って認識するおそれがあるところ、補完映像Ｉ１，Ｉ２によって、枠オブジェクトＨ３の外側にはみ出た映像部分を覆うことによって、奥行きの誤認を防止することができ、効果的に映像の奥行きを強調することが可能になる。
【００６４】
なお、表示装置周辺の映像を取得できる場合は、該映像を補完映像として表示することとしても良い。
【００６５】
映像合成部１６は、背景映像部分Ｆ１２、枠オブジェクトＨ３及び前景映像部分Ｆ１１の合成によって得られた合成映像を外部の表示部２へ出力する。
【００６６】
以上、１フレームの映像Ｆ１，Ｆ２に対する映像処理手順を説明したが、動画を構成する複数フレームの映像を処理する場合、同様の映像処理を各映像に対して実行すれば良い。
【００６７】
図１５は、動画を構成する複数の映像に対して、枠オブジェクトＨ３を選択的に付与して得られた動画を概念的に示す説明図である。例えば、図１５に示すように動画像Ｑ１が与えられた場合には、該動画像Ｑ１を構成する各フレームの映像に上述の処理を行う。動画像Ｑ１は、複数のフレーム群Ｑ０１〜Ｑ０７から構成されている。特にフレーム群Ｑ０１，Ｑ０４，Ｑ０６を構成する映像は、前景映像部分が映像の端部に接触しておらず、フレーム群Ｑ０２，Ｑ０３，Ｑ０５，Ｑ０７を構成する映像は、前景映像部分が映像の端部に接触している。つまり、動画像Ｑ１は、枠オブジェクトＨ３を付与することで飛び出し感強調の効果が得られると判定されるフレーム群Ｑ０１，Ｑ０４，Ｑ０６と、枠オブジェクトＨ３を付与しても飛び出し感強調の効果が得られないフレーム群Ｑ０２，Ｑ０３，Ｑ０５，Ｑ０７とから成る。この場合、各フレーム群Ｑ０１〜Ｑ０７に上述の処理を実行すると、フレーム群Ｑ０１，Ｑ０４，Ｑ０６を構成する映像に対してのみ枠オブジェクトＨ３が選択的に重畳された動画像Ｑ２が得られる。
【００６８】
表示部２は、例えば液晶表示パネル、プラズマディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイであり、映像処理装置１から出力された合成映像を入力し、合成映像を表示する。
なお、合成映像の出力先として表示部２を例示したが、合成映像を出力することが可能であれば、プリンタ、送信装置その他、各種出力装置を採用しても良い。
【００６９】
図１６は、映像処理装置１が実施する映像処理方法の流れを示すフローチャートである。処理動作開始の指示が与えられた場合、各構成部は動作を開始し、映像取得部１１は、映像処理装置１に入力した映像、例えば映像Ｆ１，Ｆ２を取得し、取得した映像Ｆ１，Ｆ２を映像分割部１３へ出力する（ステップＳ１１）。次いで、奥行き情報取得部１２は、映像処理装置１に入力した奥行き情報を取得し、取得した奥行き情報を映像分割部１３へ出力する（ステップＳ１２）。
【００７０】
そして、映像分割部１３は、映像Ｆ１，Ｆ２及び奥行き情報を入力し、該映像Ｆ１，Ｆ２及び奥行き情報に基づいて、枠オブジェクトＨ３の配置位置を決定する（ステップＳ１３）。次いで、映像分割部１３は、奥行き情報及び映像Ｆ１，Ｆ２を枠オブジェクトＨ３の配置位置に基づいて、映像Ｆ１，Ｆ２を前景映像部分Ｆ１１，Ｆ２１と、背景映像部分Ｆ１２，Ｆ２２とに分割し、分割された前景映像部分Ｆ１１，Ｆ１２及び背景映像部分Ｆ１２，Ｆ２２を枠オブジェクト生成部１５及び映像合成部１６へ出力する（ステップＳ１４）。
【００７１】
次いで、飛び出し情報取得部１４は、映像処理装置１に入力した飛び出し情報を取得し、取得した飛び出し情報を枠オブジェクト生成部１５へ出力する（ステップＳ１５）。
【００７２】
そして、枠オブジェクト生成部１５の枠オブジェクト付与判定部１５ａは、前景映像部分Ｆ１１，Ｆ２１であって、入力された映像Ｆ１，Ｆ２の端部に対応する映像部分を特定する（ステップＳ１６）。例えば、枠オブジェクト付与判定部１５ａは、映像Ｆ１，Ｆ２における上辺、下辺、左辺、右辺のいずれかにおいて、前景映像部分Ｆ１１，Ｆ２１を構成する画素を特定し、その数を算出する。
【００７３】
次いで、枠オブジェクト付与判定部１５ａは、ステップＳ１６で算出した画素の数に基づいて、枠オブジェクトＨ３を付与すべきか否かを判定する（ステップＳ１７）。つまり、枠オブジェクト付与判定部１５ａは、映像Ｆ１，Ｆ２に枠オブジェクトＨ３を付与することによって飛び出し感強調の効果が得られるか否かを判定する。具体的には、枠オブジェクト付与判定部１５ａは、前景映像部分Ｆ１１，Ｆ２１に、入力された映像Ｆ１，Ｆ２の端部の映像部分が含まれていない場合、枠オブジェクトＨ３を付与すべしと判定する。また、枠オブジェクト付与判定部１５ａは、前景映像部分Ｆ１１，Ｆ２１に、入力された映像Ｆ１，Ｆ２の端部の映像部分が含まれている場合であって、前景映像部分Ｆ１１，Ｆ２１に含まれる端部の映像部分の画素数が所定の閾値未満である場合、枠オブジェクトＨ３を付与すべしと判定するようにしても良い。
【００７４】
枠オブジェクトを付与すべきで無いと判定した場合（ステップＳ１７：ＮＯ）、枠オブジェクト生成部１５は、枠オブジェクトＨ３を生成せず、映像合成部１６は、例えば、前景映像部分Ｆ２１及び背景映像部分Ｆ２２をこの順で合成し、合成して得た映像、つまり取得した当初の映像Ｆ２を表示部２へ出力し（ステップＳ２１）、処理を終える。
【００７５】
枠オブジェクトを付与すべきであると判定した場合（ステップＳ１７：ＹＥＳ）、枠オブジェクト生成部１５は、枠オブジェクトＨ３を生成し、生成した枠オブジェクトＨ３を映像合成部１６へ出力する（ステップＳ１８）。
【００７６】
図１７は、枠オブジェクト生成部１５の動作の流れを示すフローチャートである。枠オブジェクト生成部１５は、記憶部１５ｂから原三次元枠オブジェクトＨ１を読み出す（ステップＳ３１）。そして、枠オブジェクト生成部１５の回転処理部１５ｃは、飛び出し情報に応じて、原三次元枠オブジェクトＨ１を回転させる処理を実行し（ステップＳ３２）、射影変換部１５ｄは、回転処理後の三次元枠オブジェクトＨ１１，Ｈ２１の射影変換によって、枠オブジェクトＨ３の形状を決定する（ステップＳ３３）。
【００７７】
そして、色決定部１５ｅは、映像の輝度及び色に基づいて、枠オブジェクトＨ３の輝度及び色を決定し（ステップＳ３４）、枠オブジェクトＨ３の生成に係る処理を終える。
【００７８】
ステップＳ１８の処理に次いで、映像合成部１６は、前景映像部分Ｆ１１及び背景映像部分Ｆ１２と、枠オブジェクトＨ３とを入力し、背景映像部分Ｆ１２、枠オブジェクトＨ３、前景映像部分Ｆ１１をこの順で重畳的に合成し、また補完映像Ｉ１，Ｉ２を合成し、合成して得た合成映像を表示部２へ出力する（ステップＳ１９）。
【００７９】
そして、表示部２は、映像合成部１６から出力された合成映像を入力し、該合成映像を表示し（ステップＳ２０）、処理を終える。
以上、１フレームの映像に対する映像処理手順を説明したが、動画を構成する複数フレームの映像を処理する場合、同様の映像処理を各映像に対して実行すれば良い。
なお、複数フレームの映像に対して枠オブジェクトＨ３の配置位置、形状及び色が急激に変化すると視聴者に違和感を与えるおそれがあるため、時系列順に隣り合う各映像夫々で決定された配置位置、生成された形状及び色の変化量を一定に抑えるローパスフィルタを備えても良い。
【００８０】
このように構成された映像処理装置１及び映像処理方法にあっては、専用の映像表示装置及び特殊な眼鏡を用いず、画像処理のみによって映像の奥行き感を向上させることができる。
【００８１】
なお、本実施の形態に係る映像処理装置１及び映像処理方法は、表示部２を備える液晶テレビ、有機ＥＬテレビ、プラズマテレビ等のテレビ、表示部２を備える静止画カメラ、ビデオカメラ、携帯電話機、ＰＤＡ（Personal Digital Assistants）等の各種携帯機器、パーソナルコンピュータ、インフォメーションディスプレイ、映像を出力するＢＤ（Blu-ray Disc）レコーダ、ＤＶＤ（Digital Versatile Disc）レコーダ、ＨＤＤ（Hard Disk Drive）レコーダ等の各種レコーダ、デジタルフォトフレーム、その他ディスプレイが設けられた各種家具及び家電に適用することが可能である。
【００８２】
（変形例１）
変形例１に係る映像処理装置は、枠オブジェクトＨ３が付与された映像Ｆ１のみを選択的に出力するように構成されている点が、上述の実施の形態とは異なるため、以下では主に上記相異点について説明する。
【００８３】
図１８は、変形例１に係る映像処理装置１０１の一構成例を示すブロック図である。変形例１に係る映像処理装置１０１は、映像合成部１６から出力された映像を取得し、取得した映像を編集して出力する出力映像編集部１１７を備える。
【００８４】
出力映像編集部１１７は、取得した映像の出力の有無を、枠オブジェクトＨ３が付与された映像であるか否かによって切り替えるように構成されている。つまり、出力映像編集部１１７は、取得した映像が、枠オブジェクトＨ３が付与された映像であるか否かを判定し、枠オブジェクトＨ３が付与された映像である場合、該映像を表示部２へ出力し、枠オブジェクトＨ３が付与されていない映像である場合、該映像を表示部２へ出力しない。
【００８５】
図１９は、枠オブジェクトＨ３を付与された映像を選択的に並べて得られる動画像を概念的に示す説明図である。図１９に示すように、動画像Ｑ１を構成する複数の映像に対して選択的に枠オブジェクトＨ３を付与することによって、動画像Ｑ２が得られる。更に、出力映像編集部１１７は、枠オブジェクトＨ３が付与されたフレーム群Ｑ０１，Ｑ０４，Ｑ０６からなる動画像Ｑ３を生成する。その結果、枠オブジェクトＨ３が付与された映像のみ、即ち飛び出し感強調効果がある映像のみで構成された動画像Ｑ３を出力することができる。
【００８６】
（変形例２）
図２０は、変形例２に係る映像処理装置２０１の一構成例を示すブロック図である。本実施の形態では、奥行き情報を映像とは別に取得するように構成されているところ、変形例２に係る映像処理装置２０１は、映像取得部２１１にて取得した映像から各種演算によって奥行き情報を取得するように構成されている。具体的には、映像取得部２１１及び奥行き情報取得部２１２の構成が異なるため、以下では主に上記相異点について説明する。
【００８７】
映像取得部２１１は、立体感又は奥行き感を向上させる映像処理対象の映像を取得し、取得した映像を映像分割部１３へ出力すると共に、奥行き情報取得部２１２へ出力する。
【００８８】
奥行き情報取得部２１２は、映像取得部２１１から出力された映像を入力し、入力した映像に基づいて奥行き情報を算出し、算出して得た奥行き情報を映像分割部１３へ出力する。
【００８９】
奥行き情報の算出方法は、例えば特開平９−１６１０７４号公報に示された方法を利用すれば良い。
【００９０】
また、映像がなんらかの方式で符号化されている場合、その符号化情報から奥行き情報を作成しても良い。例えばＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）によって作られた標準動画規格の一つであるＭＰＥＧ−４（Moving Picture Expert Group phase4）では背景や人物などのオブジェクト単位で符号化することが可能である。映像が該機能を用いて、背景と人物が別々に符号化されていた場合は、この情報を用いて、例えば、背景の奥行きを「２」、人物の奥行きを「１」と割り当てた２段階の奥行き情報を作成する。但し、数字が小さいほど手前側を意味する。
【００９１】
変形例２にあっては、映像処理装置２０１に奥行き情報を与えなくても、映像を前景映像部分Ｆ１１、背景映像部分Ｆ１２に分割し、枠オブジェクトＨ３を挿入することができ、映像の奥行きを強調することができる。
【００９２】
（変形例３）
図２１は、変形例３に係る映像処理装置３０１の一構成例を示すブロック図である。本実施の形態では、飛び出し情報を映像とは別に取得するように構成されているところ、変形例３に係る映像処理装置３０１は、映像取得部３１１にて取得した映像から各種演算によって飛び出し情報を取得するように構成されている。具体的には、映像取得部３１１及び飛び出し情報取得部３１４の構成が異なるため、以下では主に上記相異点について説明する。
【００９３】
映像取得部３１１は、立体感又は奥行き感を向上させる映像処理対象の映像、特に、背景や人物などのオブジェクト単位で符号化された動画の映像を取得し、取得した映像を映像分割部１３へ出力すると共に、飛び出し情報取得部３１４へ出力する。
【００９４】
飛び出し情報取得部３１４は、連続するフレームを構成する映像中のオブジェクトの移動方向及び大きさの変化を算出する。そして、飛び出し情報取得部３１４は、オブジェクトの水平方向の移動量に基づいて、飛び出し情報のＸ軸ベクトル成分を算出する。図１２に示す三次元空間において、オブジェクトがＸ軸正方向へ移動している場合、飛び出し情報のＸ軸ベクトル成分を正の値とし、オブジェクトの移動量が大きい程、該値を大きく設定する。逆に、オブジェクトがＸ軸負方向へ移動している場合、飛び出し情報のＸ軸ベクトル成分を負の値とし、オブジェクトの移動量が大きい程、該値の絶対値を大きく設定する。
同様に、飛び出し情報取得部３１４は、オブジェクトの垂直方向の移動量に基づいて、飛び出し情報のＹ軸ベクトル成分を算出する。
また、飛び出し情報取得部３１４は、オブジェクトの大きさが大きくなる方向へ変化している場合、飛び出し情報のＺ軸ベクトル成分を正の値とし、オブジェクトの大きさの変化量が大きい程、該値を大きく設定する。逆に、オブジェクトの大きさが小さくなる方向へ変化している場合、飛び出し情報のＸ軸ベクトル成分を負の値とし、オブジェクトの大きさの変化量が大きい程、該値の絶対値を大きく設定する。
【００９５】
変形例３にあっては、映像処理装置３０１に飛び出し情報を与えなくても、映像を前景映像部分Ｆ１１、背景映像部分Ｆ１２に分割し、枠オブジェクトＨ３を挿入することができ、映像の奥行きを強調することができる。
【００９６】
なお、変形例２及び変形例３を組み合わせ、映像処理装置３０１に入力した映像から奥行き情報及び飛び出し情報夫々を算出するように構成しても良い。この場合、映像処理装置３０１に奥行き情報及び飛び出し情報の双方を与えなくても、映像の奥行きを強調することができる。
【００９７】
（変形例４）
実施の形態では、映像の奥行きを強調する奥行き強調映像として、額縁型の枠オブジェクトＨ３を例示したところ、変形例４に係る映像処理装置１は、枠オブジェクトＨ３に代えてカーテンオブジェクトＨ４０１を表示するように構成されている。具体的には、変形例４に係る映像処理装置１は、枠オブジェクト生成部１５に代えて、図示しないカーテンオブジェクト生成部を備える。
【００９８】
図２２は、奥行き強調映像の一例であるカーテンオブジェクトＨ４０１を示す模式図である。カーテンオブジェクト生成部は、映像の水平方向両側夫々に位置するカーテン形状のカーテンオブジェクトＨ４０１を記憶しており、該カーテンオブジェクトＨ４０１を映像合成部１６へ出力する。カーテンオブジェクトＨ４０１の形状及び色は映像の内容に拘わらず一定である。なお、言うまでもなく、カーテンオブジェクト生成部が前景映像部分Ｆ１１及び背景映像部分Ｆ１２を入力し、該前景映像部分Ｆ１１及び背景映像部分Ｆ１２の輝度に基づいて、カーテンオブジェクトＨ４０１の色及び輝度を変更するように構成しても良い。また、三次元形状の原三次元カーテンオブジェクトを記憶しておき、飛び出し情報を入力し、該飛び出し情報を用いて原三次元カーテンオブジェクトを回転及び射影変換することによって、二次元形状のカーテンオブジェクトＨ４０１を生成するように構成しても良い。
【００９９】
なお、奥行き強調映像の一例として実施の形態では枠形状、変形例４ではカーテン形状を例示したが、映像の奥行きを強調可能であれば、奥行き強調映像の形状はこれに限定されない。例えば、かぎ括弧形状の奥行き強調映像を採用しても良い。なお、背景映像の主要部分が隠れ無いよう、奥行き強調映像は、映像の端側に位置するように構成する方が好ましい。
【０１００】
（変形例５）
実施の形態では、図１２（ｂ）に示すように映像の飛び出し情報がＺ軸成分のみを有する場合、枠オブジェクトＨ５０３の形状は特に変形しないため、Ｚ軸方向への飛び出しを強調することができない。変形例５に係る映像処理装置１は、飛び出し情報がＺ軸成分のみを有する場合、枠オブジェクトＨ５０３の形状をＺ軸方向へ迫り出すように変更することによって、Ｚ軸方向、つまり視聴者側への飛び出しを強調することができるように構成したものである。実施の形態とは、枠オブジェクト生成部１５の処理内容のみが異なるため、以下では主に上記相異点について説明する。
【０１０１】
図２３は、変形例５に係る枠オブジェクトＨ５０３の形状決定方法を概念的に示す説明図である。枠オブジェクト生成部１５は、飛び出し情報のＺ軸成分のみを含む場合、又はＺ軸成分がＸ軸成分、Ｙ軸成分に比べて所定値以上大きい場合、特にＺ軸成分が正の場合、図２３に示すように、原三次元枠オブジェクトＨ５０１の水平方向略中央部を山としてＸ軸正方向へ迫り出すように屈曲させ、更に原三次元枠オブジェクトＨ５０１の水平枠部分（枠の長辺部分）を垂直方向へ押し広げた立体形状に変形させる。そして、枠オブジェクト生成部１５は、変形後の三次元枠オブジェクトＨ５０１をＸＹ平面に射影変換した二次元形状を算出し、算出された二次元形状を枠オブジェクトＨ５０３の形状として決定する。
【０１０２】
逆に、Ｚ軸成分が負の場合、枠オブジェクト生成部１５は、原三次元枠オブジェクトＨ５０１の水平方向略中央部を谷としてＸ軸負方向へ迫り出すように屈曲させ、更に原三次元枠オブジェクトＨ５０１の水平枠部分（枠の長辺部分）を垂直方向へ押し狭めた立体形状に変形させる。そして、枠オブジェクト生成部１５は、変形後の三次元枠オブジェクトＨ５０１をＸＹ平面に射影変換した二次元形状を算出し、算出された二次元形状を枠オブジェクトの形状として決定する。
【０１０３】
映像合成部１６の処理内容は、本実施の形態と同様である。映像合成部１６は、背景映像部分Ｆ１２に、枠オブジェクトＨ５０３、補完映像Ｉ５０１，Ｉ５０２，Ｉ５０３，Ｉ５０４、及び前景映像部分Ｆ１１が順に重畳させるように合成し、合成して得た合成映像部分を外部へ出力する。
【０１０４】
変形例５に係る映像処理装置１及び映像処理方法にあっては、オブジェクトがＺ軸方向、つまりオブジェクトが手前側に迫ってくるような映像、あるいは手前側に飛び出してくるオブジェクトが２個存在し、各々の飛び出し方向が左右別々である映像、例えば中央に位置する人間が画面左右両端に向かって両手を広げたような映像であっても、飛び出し感を強調することができる。
【０１０５】
（変形例６）
図２４は、変形例６に係る映像処理装置を示すブロック図である。変形例６に係る映像処理装置は、本発明に係るコンピュータプログラム４ａをコンピュータ３に実行させることによって実現される。
【０１０６】
コンピュータ３は、装置全体を制御するＣＰＵ（Central Processing Unit）３１を備える。ＣＰＵ３１は、ＲＯＭ（Read Only Memory）３２と、演算に伴って発生する一時的な情報を記憶するＲＡＭ（Random Access Memory）３３と、本発明の実施の形態に係るコンピュータプログラム４ａを記録した記録媒体４、例えばＣＤ−ＲＯＭからコンピュータプログラム４ａを読み取る外部記憶装置３４と、外部記憶装置３４により読み取ったコンピュータプログラム４ａを記録するハードディスク等の内部記憶装置３５と、入力部３６と、出力部３７とが接続されている。ＣＰＵ３１は、内部記憶装置３５からコンピュータプログラム４ａをＲＡＭ３３に読み出して各種演算処理を実行することによって、本発明に係る映像処理方法を実施する。ＣＰＵ３１の処理手順は、図１６及び図１７に示す通りであり、ステップＳ１１〜２１、ステップＳ３１〜３４の処理手順を実行する。該処理手順は、本実施の形態及び変形例５に係る映像処理装置１を構成した各構成部の処理内容と同様であるため、その詳細な説明を省略する。
【０１０７】
変形例６に係るコンピュータ３及びコンピュータプログラム４ａにあっては、コンピュータ３を本実施の形態に係る映像処理装置として機能させ、また本実施の形態に係る映像処理方法を実施させることができ、本実施の形態及び変形例２〜４と同様の効果を奏する。
【０１０８】
なお、本変形例６に係るコンピュータプログラム４ａは、言うまでもなく記録媒体４に記録されているものに限定されず、有線又は無線の通信網を介してダウンロードし、記憶し、実行されるものであっても良い。
【０１０９】
また、今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１１０】
１ 映像処理装置
２ 表示部
３ コンピュータ
４ 記録媒体
４ａ コンピュータプログラム
１１ 映像取得部
１２ 奥行き情報取得部
１３ 映像分割部
１４ 飛び出し情報取得部
１５ 枠オブジェクト生成部
１６ 映像合成部
１５ａ 枠オブジェクト付与判定部
１５ｂ 記憶部
１５ｃ 回転処理部
１５ｄ 射影変換部
１５ｅ 色決定部
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ 外部記憶装置
３６ 入力部
３７ 出力部
１１７ 出力映像編集部
Ｆ１１ 前景映像部分
Ｆ１２ 背景映像部分
Ｈ１ 原三次元枠オブジェクト
Ｈ３ 枠オブジェクト
【特許請求の範囲】
【請求項１】
入力された映像の奥行き感を強調する処理を行う映像処理装置であって、
前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得する奥行き情報取得手段と、
該奥行き情報取得手段にて取得した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割する映像分割手段と、
該映像分割手段にて分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調映像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調映像を合成する映像合成手段と、
前記映像分割手段にて分割された他の映像部分に基づいて、奥行き強調映像を重畳すべきか否かを判定する判定手段と
を備え、
前記映像合成手段は、
前記判定手段が奥行き強調映像を重畳すべしと判定した場合、奥行き強調映像を重畳するようにしてある
ことを特徴とする映像処理装置。
【請求項２】
前記映像分割手段にて分割された他の映像部分であって、入力された映像の端部の映像に対応する映像部分を特定する手段を備え、
前記判定手段は、
他の映像部分に、入力された映像の端部の映像部分が含まれていない場合、奥行き強調映像を重畳すべしと判定するようにしてある
ことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記映像分割手段にて分割された他の映像部分であって、入力された映像の端部の映像に対応する映像部分を特定する手段を備え、
前記判定手段は、
他の映像部分に、入力された映像の端部の映像部分が含まれている場合、他の映像部分に含まれる端部の映像部分の面積の大小に応じて、奥行き強調映像を重畳すべきか否かを判定するようにしてある
ことを特徴とする請求項１に記載の映像処理装置。
【請求項４】
入力された映像の輝度又は色に基づいて、輝度又は色が該映像と異なる奥行き強調映像を生成する生成手段を備え、
前記映像合成手段は、
前記生成手段にて生成された奥行き強調映像を合成するようにしてある
ことを特徴とする請求項１から請求項３までのいずれか一つに記載の映像処理装置。
【請求項５】
前記生成手段は、
前記映像分割手段にて分割された一の映像部分及び／又は他の映像部分の輝度又は色に基づいて、輝度又は色が該映像部分と異なる奥行き強調映像を生成するようにしてある
ことを特徴とする請求項４に記載の映像処理装置。
【請求項６】
時系列順に複数の映像が入力されるように構成されており、
奥行き強調映像が合成されていない映像及び奥行き強調映像を合成して得た映像の中から、奥行き強調映像を合成して得た映像を選択する手段を備える
ことを特徴とする請求項１から請求項５までのいずれか一つに記載の映像処理装置。
【請求項７】
時系列順に複数の映像が入力されるように構成されており、
時系列順に入力された各映像間における映像部分の移動方向を示した移動方向情報を取得する移動方向情報取得手段と、
該移動方向情報取得手段にて取得した移動方向情報に応じた形状を有する奥行き強調映像を生成する生成手段と
を備え、
前記映像合成手段は、
前記生成手段にて生成された奥行き強調映像を合成するようにしてある
ことを特徴とする請求項１から請求項３のいずれか一つに記載の映像処理装置。
【請求項８】
時系列順に複数の映像が入力されるように構成されており、
時系列順に入力された各映像間における映像部分の移動方向を示した移動方向情報を取得する移動方向情報取得手段を備え、
前記生成手段は、
該移動方向情報取得手段にて取得した移動方向情報に応じた形状を有する奥行き強調映像を生成するようにしてある
ことを特徴とする請求項４又は請求項５に記載の映像処理装置。
【請求項９】
所定の三次元画像を記憶する記憶手段を備え、
前記生成手段は、
前記記憶手段が記憶している三次元画像と、前記移動方向情報取得手段にて取得した一の映像部分の移動方向情報が示す移動方向とが所定の位置関係になるように、該三次元画像を回転させる回転処理手段を備え、
該回転処理手段にて回転した三次元画像を所定の二次元平面に射影させて得られる二次元形状を有する奥行き強調映像を生成するようにしてある
ことを特徴とする請求項７又は請求項８に記載の映像処理装置。
【請求項１０】
入力された映像の奥行き感を強調する処理を行う映像処理方法であって、
前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得し、
取得した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割し、
分割された他の映像部分に基づいて、前記映像の奥行きを強調するための奥行き強調映像を映像部分に重畳すべきか否かを判定し、
奥行き強調映像を重畳すべしと判定した場合、分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調映像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調映像を合成する
ことを特徴とする映像処理方法。
【請求項１１】
コンピュータに、映像の奥行き感を強調する処理を実行させるコンピュータプログラムであって、
前記コンピュータに、
前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割するステップと、
分割された他の映像部分に基づいて、前記映像の奥行きを強調するための奥行き強調映像を映像部分に重畳すべきか否かを判定するステップと、
奥行き強調映像を重畳すべしと判定した場合、分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調映像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調映像を合成するステップと
を実行させることを特徴とするコンピュータプログラム。
【請求項１】
入力された映像の奥行き感を強調する処理を行う映像処理装置であって、
前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得する奥行き情報取得手段と、
該奥行き情報取得手段にて取得した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割する映像分割手段と、
該映像分割手段にて分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調映像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調映像を合成する映像合成手段と、
前記映像分割手段にて分割された他の映像部分に基づいて、奥行き強調映像を重畳すべきか否かを判定する判定手段と
を備え、
前記映像合成手段は、
前記判定手段が奥行き強調映像を重畳すべしと判定した場合、奥行き強調映像を重畳するようにしてある
ことを特徴とする映像処理装置。
【請求項２】
前記映像分割手段にて分割された他の映像部分であって、入力された映像の端部の映像に対応する映像部分を特定する手段を備え、
前記判定手段は、
他の映像部分に、入力された映像の端部の映像部分が含まれていない場合、奥行き強調映像を重畳すべしと判定するようにしてある
ことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記映像分割手段にて分割された他の映像部分であって、入力された映像の端部の映像に対応する映像部分を特定する手段を備え、
前記判定手段は、
他の映像部分に、入力された映像の端部の映像部分が含まれている場合、他の映像部分に含まれる端部の映像部分の面積の大小に応じて、奥行き強調映像を重畳すべきか否かを判定するようにしてある
ことを特徴とする請求項１に記載の映像処理装置。
【請求項４】
入力された映像の輝度又は色に基づいて、輝度又は色が該映像と異なる奥行き強調映像を生成する生成手段を備え、
前記映像合成手段は、
前記生成手段にて生成された奥行き強調映像を合成するようにしてある
ことを特徴とする請求項１から請求項３までのいずれか一つに記載の映像処理装置。
【請求項５】
前記生成手段は、
前記映像分割手段にて分割された一の映像部分及び／又は他の映像部分の輝度又は色に基づいて、輝度又は色が該映像部分と異なる奥行き強調映像を生成するようにしてある
ことを特徴とする請求項４に記載の映像処理装置。
【請求項６】
時系列順に複数の映像が入力されるように構成されており、
奥行き強調映像が合成されていない映像及び奥行き強調映像を合成して得た映像の中から、奥行き強調映像を合成して得た映像を選択する手段を備える
ことを特徴とする請求項１から請求項５までのいずれか一つに記載の映像処理装置。
【請求項７】
時系列順に複数の映像が入力されるように構成されており、
時系列順に入力された各映像間における映像部分の移動方向を示した移動方向情報を取得する移動方向情報取得手段と、
該移動方向情報取得手段にて取得した移動方向情報に応じた形状を有する奥行き強調映像を生成する生成手段と
を備え、
前記映像合成手段は、
前記生成手段にて生成された奥行き強調映像を合成するようにしてある
ことを特徴とする請求項１から請求項３のいずれか一つに記載の映像処理装置。
【請求項８】
時系列順に複数の映像が入力されるように構成されており、
時系列順に入力された各映像間における映像部分の移動方向を示した移動方向情報を取得する移動方向情報取得手段を備え、
前記生成手段は、
該移動方向情報取得手段にて取得した移動方向情報に応じた形状を有する奥行き強調映像を生成するようにしてある
ことを特徴とする請求項４又は請求項５に記載の映像処理装置。
【請求項９】
所定の三次元画像を記憶する記憶手段を備え、
前記生成手段は、
前記記憶手段が記憶している三次元画像と、前記移動方向情報取得手段にて取得した一の映像部分の移動方向情報が示す移動方向とが所定の位置関係になるように、該三次元画像を回転させる回転処理手段を備え、
該回転処理手段にて回転した三次元画像を所定の二次元平面に射影させて得られる二次元形状を有する奥行き強調映像を生成するようにしてある
ことを特徴とする請求項７又は請求項８に記載の映像処理装置。
【請求項１０】
入力された映像の奥行き感を強調する処理を行う映像処理方法であって、
前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報を取得し、
取得した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割し、
分割された他の映像部分に基づいて、前記映像の奥行きを強調するための奥行き強調映像を映像部分に重畳すべきか否かを判定し、
奥行き強調映像を重畳すべしと判定した場合、分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調映像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調映像を合成する
ことを特徴とする映像処理方法。
【請求項１１】
コンピュータに、映像の奥行き感を強調する処理を実行させるコンピュータプログラムであって、
前記コンピュータに、
前記映像を構成する複数の映像部分夫々の奥行き方向の距離を示した奥行き情報及び前記映像に基づいて、該映像を奥行き方向の距離が異なる複数の映像部分に分割するステップと、
分割された他の映像部分に基づいて、前記映像の奥行きを強調するための奥行き強調映像を映像部分に重畳すべきか否かを判定するステップと、
奥行き強調映像を重畳すべしと判定した場合、分割された一の映像部分に、前記映像の奥行きを強調するための奥行き強調映像が重畳され、更に該奥行き強調映像に、前記一の映像部分よりも奥行き方向の距離が短い他の映像部分が重畳されるように各映像部分及び奥行き強調映像を合成するステップと
を実行させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図７】
【図１１】
【図１２】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２４】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【図２３】
【図２】
【図７】
【図１１】
【図１２】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２４】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【図２３】
【公開番号】特開２０１１−１１９９２６（Ｐ２０１１−１１９９２６Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７４７７５（Ｐ２００９−２７４７７５）
【出願日】平成２１年１２月２日（２００９．１２．２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月２日（２００９．１２．２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]