画像処理装置、画像表示装置、及び画像処理方法
【課題】注目被写体が背景画像の手前又は奥に見えるという新たな視覚効果が得られる３次元画像を作成する画像処理装置を提供することを目的とする。
【解決手段】被写体抽出部２１０は、注目被写体を含む被写体存在画像８１０と、注目被写体を含まず他の条件は同じである被写体背景画像との差分から、注目被写体を抽出する。３次元画像生成部は、表示背景画像８３０に抽出した注目被写体画像を合成し、左眼用画像と右眼用画像とを作成する。ここで、左眼用画像と右眼用画像とでは、表示背景画像８３０に対する注目被写体画像の位置が異なっている。左眼用画像と右眼用画像とを表示制御部５００の制御の下、表示部６００が表示し、左眼用画像を観察者の左眼に、右眼用画像を観察者の右眼に到達させる。その結果、観察者は、表示背景画像８３０に対して注目被写体画像が手前又は奥にあるように認識する。
【解決手段】被写体抽出部２１０は、注目被写体を含む被写体存在画像８１０と、注目被写体を含まず他の条件は同じである被写体背景画像との差分から、注目被写体を抽出する。３次元画像生成部は、表示背景画像８３０に抽出した注目被写体画像を合成し、左眼用画像と右眼用画像とを作成する。ここで、左眼用画像と右眼用画像とでは、表示背景画像８３０に対する注目被写体画像の位置が異なっている。左眼用画像と右眼用画像とを表示制御部５００の制御の下、表示部６００が表示し、左眼用画像を観察者の左眼に、右眼用画像を観察者の右眼に到達させる。その結果、観察者は、表示背景画像８３０に対して注目被写体画像が手前又は奥にあるように認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像表示装置、及び画像処理方法、特に３次元表示を行うための画像処理装置、画像表示装置、及び画像処理方法に関する。
【背景技術】
【０００２】
背景と注目する被写体とが存在する画像から、注目する被写体を切り抜いて、別途用意した他の背景画像に、切り抜いた被写体を合成する技術が知られている。例えば特許文献１には、ある背景の前に被写体が存在する画像を撮影し、次に、被写体が存在しない同じ背景の画像を撮影し、背景画像と被写体が存在する画像との差分情報から、被写体を切り出す機能を有する撮像装置に関する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１８３５６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような、ある画像から注目する被写体を切り抜いて、その被写体を別途用意した背景画像に合成する場合、一般に１枚の合成画像が作成され、２次元表示がなされる。これに対して、切り抜いた注目被写体が、別途用意した背景画像の手前又は奥に見える３次元表示を行えば、新たな視覚効果が得られる。
【０００５】
そこで本発明は、注目被写体が背景画像の手前又は奥に見えるという新たな視覚効果が得られる３次元画像を作成する画像処理装置、その画像処理装置が作成した３次元画像を表示する画像表示装置、及びその画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を果たすため、本発明の画像処理装置の一態様は、注目被写体を含む被写体存在画像のデータを入力し、被写体存在画像のデータから注目被写体の画像のデータを抽出する被写体抽出手段と、抽出された前記注目被写体の画像のデータと表示背景画像のデータとを入力し、観察方向に沿って観察された際に該表示背景画像が表示されていると観察者に認識される面の手前又は奥に位置する面に該注目被写体の画像が表示されていると観察者に認識される３次元画像のデータを作成する３次元画像データ作成手段と、を具備することを特徴とする。
【０００７】
また、前記目的を果たすため、本発明の画像表示装置の一態様は、注目被写体を含む被写体存在画像のデータを入力し、前記被写体存在画像のデータから前記注目被写体の画像のデータを抽出する被写体抽出手段と、抽出された前記注目被写体の画像のデータと表示背景画像のデータとを入力し、観察方向に沿って観察された際に該表示背景画像が表示されていると観察者に認識される面の手前又は奥に位置する面に該注目被写体の画像が表示されていると観察者に認識される３次元画像のデータを作成する３次元画像データ作成手段と、を具備し、前記３次元画像のデータは、両眼視差によって観察者に３次元画像を認識させるためのデータであって、該観察者に左眼で観察させる左眼用画像のデータと該観察者に右眼で観察させる右眼用画像のデータとを含み、前記３次元画像データ作成手段は、前記表示背景画像のデータに前記注目被写体の画像のデータを合成することで前記左眼用画像のデータ及び前記右眼用画像のデータを作成し、前記左眼用画像における前記表示背景画像に対する前記注目被写体の位置は、前記右眼用画像における前記表示背景画像に対する前記注目被写体の位置と、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との前記観察方向に沿った奥行き度に応じて異なる、ことを特徴とする画像処理装置と、前記観察者の左眼に左眼用画像を観察させ、該観察者の右眼に右眼用画像を観察させるように構成された表示手段と、を具備することを特徴とする。
【０００８】
また、前記目的を果たすため、本発明の画像表示装置の一態様は、注目被写体を含む被写体存在画像のデータを入力し、前記被写体存在画像のデータから前記注目被写体の画像のデータを抽出する被写体抽出手段と、抽出された前記注目被写体の画像のデータと表示背景画像のデータとを入力し、観察方向に沿って観察された際に該表示背景画像が表示されていると観察者に認識される面の手前又は奥に位置する面に該注目被写体の画像が表示されていると観察者に認識される３次元画像のデータを作成する３次元画像データ作成手段と、を具備し、前記３次元画像のデータは、前景表示パネルに表示した前景と背景表示パネルに表示した背景とを、前記観察方向に沿って重なり合って見える異なる面に結像させることによって観察者に３次元画像を認識させるためのデータであって、該前景表示パネルに表示させる前景画像のデータと該背景表示パネルに表示させる背景画像のデータとを有し、前記３次元画像データ作成手段は、前記注目被写体の画像のデータに基づいて前記前景画像のデータを作成する前景画像加工手段と、前記表示背景画像のデータに基づいて前記背景画像のデータを作成する背景画像加工手段と、を有する、ことを特徴とする画像処理装置と、前記前景表示パネルと、前記背景表示パネルと、前記前景画像及び前記背景画像を前記異なる面に結像させる光学系と、を有する表示手段と、を具備することを特徴とする。
【０００９】
また、前記目的を果たすため、本発明の画像処理方法の一態様は、注目被写体を含む被写体存在画像のデータを入力して前記被写体存在画像のデータから前記注目被写体の画像のデータを抽出し、抽出された前記注目被写体の画像のデータと表示背景画像のデータとを入力して観察方向に沿って観察された際に該表示背景画像が表示されていると観察者に認識される面の手前又は奥に位置する面に該注目被写体の画像が表示されていると観察者に認識される３次元画像のデータを作成する、ことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、注目被写体が背景画像の手前又は奥に見えるという新たな視覚効果が得られる３次元画像を作成する画像処理装置、その画像処理装置が作成した３次元画像を表示する画像表示装置、及びその画像処理方法を提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る画像表示装置の構成例を示すブロック図。
【図２】第１の実施形態に係る画像表示装置の表示部の構成例を示す図。
【図３】第１の実施形態に係る画像表示装置の画像処理部の動作例を示すフローチャート。
【図４】第１の実施形態に係る画像表示装置の被写体抽出部が実行する被写体抽出処理の一例を示すフローチャート。
【図５】第１の実施形態に係る被写体抽出部が実行する被写体抽出処理により作成される画像を説明するための図。
【図６】第１の実施形態に係る画像表示装置の３次元画像生成部が実行する３次元画像生成処理の一例を示すフローチャート。
【図７】両眼視差による立体視を説明するための図。
【図８】第１の実施形態に係る３次元画像生成処理により作成される画像を説明するための図。
【図９】第１の実施形態に係る３次元画像生成処理により作成される画像によって観察者が認識する画像を説明するための図。
【図１０】第１の実施形態に係る画像表示装置の輪郭画像生成部が実行する輪郭画像生成処理の一例を示すフローチャート。
【図１１】第１の実施形態に係る輪郭画像生成処理により作成される画像を説明するための図。
【図１２】第１の実施形態に係る輪郭画像生成処理により作成される画像によって観察者が認識する画像を説明するための図。
【図１３】第１の実施形態に係る画像表示装置の消失画像生成部が実行する消失画像生成処理の一例を示すフローチャート。
【図１４】第１の実施形態に係る消失画像生成処理により作成される画像を説明するための図。
【図１５】第１の実施形態に係る消失画像生成処理により作成される画像によって観察者が認識する画像を説明するための図。
【図１６】第１の実施形態に係る消失画像生成処理における変数ｐと飛出し率Ｄとの関係の例を示す図。
【図１７】第１の実施形態の第１の変形例に係る画像表示装置の画像処理部の動作例を示すフローチャート。
【図１８】第１の実施形態の第１の変形例に係る画像表示装置の消失画像生成部が実行する消失画像生成処理の一例を示すフローチャート。
【図１９】第１の実施形態の第１の変形例に係る画像表示装置の輪郭画像生成部が実行する輪郭画像生成処理の一例を示すフローチャート。
【図２０】第１の実施形態の第１の変形例に係る輪郭画像生成処理により作成される画像によって観察者が認識する画像を説明するための図。
【図２１】第１の実施形態の第２の変形例に係る画像表示装置の構成例を示すブロック図。
【図２２】第１の実施形態の第２の変形例に係る画像表示装置の画像処理部の動作例を示すフローチャート。
【図２３】第１の実施形態の第２の変形例に係る画像表示装置の動き量検出部が実行する動き量検出処理の一例を示すフローチャート。
【図２４】本発明の第２の実施形態に係る画像表示装置の構成例を示すブロック図。
【図２５】第２の実施形態に係る画像表示装置の表示部の構成例を示す図。
【図２６】第２の実施形態に係る画像表示装置の画像処理部の動作例を示すフローチャート。
【図２７】第２の実施形態に係る画像表示装置の背景画像加工部が実行する背景画像加工処理の一例を示すフローチャート。
【図２８】第２の実施形態に係る背景画像加工処理により作成される画像を説明するための図。
【図２９】第２の実施形態に係る画像表示装置の前景画像加工部が実行する前景画像加工処理の一例を示すフローチャート。
【図３０】第２の実施形態の第１の変形例に係る画像表示装置の画像処理部の動作例を示すフローチャート。
【図３１】第２の実施形態の第２の変形例に係る画像表示装置の画像処理部の動作例を示すフローチャート。
【図３２】第２の実施形態の第３の変形例に係る画像表示装置の画像処理部の動作例を示すフローチャート。
【発明を実施するための形態】
【００１２】
［第１の実施形態］
まず、本発明の第１の実施形態について図面を参照して説明する。本実施形態に係る画像表示装置の構成例を図１に示す。この図に示すように、本画像表示装置は、制御部１００と、画像処理部２００と、画像メモリ３００と、画像入力部４００と、表示制御部５００と、表示部６００とを備える。ここで、画像処理部２００は、被写体抽出部２１０と、３次元画像生成部２２０と、輪郭画像生成部２３０と、消失画像生成部２４０とを有する。
【００１３】
また、本画像表示装置には、画像記録メディア８００が接続される。ここで、画像記録メディア８００は、例えばフラッシュメモリであり、被写体存在画像８１０のデータと、被写体背景画像８２０のデータと、表示背景画像８３０のデータとを記録している。被写体存在画像８１０は、例えば人物等の注目被写体を含む動画像である。被写体存在画像８１０のフレーム数は、Ｆｒであるとする。被写体背景画像８２０は、被写体存在画像８１０と同じ場所で且つ同条件で撮影された、注目被写体が写っていない静止画像である。表示背景画像８３０は、表示部６００に表示させる背景の画像であり、動画でも静止画でもよい。本実施形態の説明では、簡単のため、表示背景画像８３０は、静止画であるものとする。また、被写体存在画像８１０と、被写体背景画像８２０と、表示背景画像８３０とは、それぞれ同じ画像サイズ（同じ画素数）を有しているものとして説明する。被写体存在画像８１０と被写体背景画像８２０と表示背景画像８３０との画像サイズが異なる場合は、公知の技術により画像の拡大又は縮小を行い、サイズを一致させればよい。
【００１４】
制御部１００は、画像処理部２００、画像メモリ３００、画像入力部４００、及び表示制御部５００と接続しており、本画像表示装置全体の動作を制御する。画像入力部４００は、画像記録メディア８００及び画像メモリ３００と接続している。画像入力部４００は、制御部１００の制御の下、画像記録メディア８００に記録されている画像を読み出し、画像メモリ３００に記憶させる。
【００１５】
画像処理部２００は、本発明に係る画像処理装置の一実施形態である。画像処理部２００は、被写体存在画像８１０のデータと、被写体背景画像８２０のデータと、表示背景画像８３０のデータとから、表示部６００に表示させるための画像データを作成する。簡単に説明すると、観察者から見て、表示部６００に表示された画像は、次のように見える。まず、被写体存在画像中の注目被写体が切り出されて、表示背景画像８３０を背景として、切り出された注目被写体は、表示背景画像８３０に対して所定の飛出し度合いで飛出して見える。このように表示背景画像８３０に対して飛出した状態で動く注目被写体が、Ｆｒフレーム分表示される。次に、Ｆｒフレームの表示が終了すると、表示背景画像８３０に対して飛出した状態で、Ｔフレーム分の時間をかけて注目被写体の部分が、当該注目被写体の裏側に相当する部分の表示背景画像８３０に徐々に変更される。その後、Ｕフレーム分の時間をかけて、注目被写体は、大きさを変えながら、表示背景画像８３０に対する飛出し度合いを変化させて、やがて表示背景画像８３０に溶け込むように消える。画像処理部２００は、このように見えるように表示部６００に表示させるための画像データを作成する。
【００１６】
被写体抽出部２１０は、被写体抽出処理を行う。即ち、被写体抽出部２１０は、被写体存在画像８１０のデータと被写体背景画像８２０のデータとを比較する。そして、被写体抽出部２１０は、被写体存在画像８１０のデータと被写体背景画像８２０のデータとの相違度を算出して、画像上の位置に対する相違度を表す相違度マップを作成する。被写体抽出部２１０は、相違度マップに基づいて、広い領域において相違度が高い領域を被写体領域として特定し、被写体領域の画像情報を抽出した被写体抽出画像のデータを作成する。
【００１７】
３次元画像生成部２２０は、表示背景画像８３０に対応する背景画像のデータに注目被写体の画像である前景画像のデータを合成することで、表示部６００に表示させる左眼用画像のデータと右眼用画像のデータとを作成する。表示部６００に表示させた左眼用画像と右眼用画像とを観察した観察者が、前景画像が、背景画像に対して飛出しているように見えるように、３次元画像生成部２２０は、背景画像のデータに対して前景画像のデータを合成する位置を、左眼用画像と右眼用画像とで異ならせるようにする。
【００１８】
輪郭画像生成部２３０は、前記した被写体抽出画像のデータと表示背景画像８３０のデータとに基づいて、被写体輪郭画像のデータを作成する。ここで、輪郭画像生成部２３０は、被写体抽出画像のデータ中の注目被写体の輪郭を抽出し、この輪郭の内部の画像情報を、被写体抽出画像の画像情報と表示背景画像８３０の画像情報とを混合した画像情報とするように、１画素ずつ画像情報を置換して、被写体輪郭画像のデータを作成する。
【００１９】
消失画像生成部２４０は、前記した被写体抽出画像のデータと表示背景画像８３０のデータとに基づいて、被写体消失画像のデータを作成する。ここで、消失画像生成部２４０は、飛出し率Ｄｐと注目被写体の拡大率Ｍとを算出する。消失画像生成部２４０は、算出した拡大率Ｍに基づいて、被写体抽出画像のデータ中の注目被写体を拡大又は縮小して大きさを変更する。更に、消失画像生成部２４０は、大きさを変更した注目被写体の輪郭の内部の画像情報を表示背景画像８３０の相当する部分の画像情報に置き換える。
【００２０】
画像メモリ３００は、例えば、ＤＲＡＭ等により構成され、被写体存在画像８１０のデータ、被写体背景画像８２０のデータ、及び表示背景画像８３０のデータ、並びに、制御部１００、画像処理部２００、被写体抽出部２１０、３次元画像生成部２２０、輪郭画像生成部２３０、及び消失画像生成部２４０等によって処理されるデータ等を一時記憶する。
【００２１】
表示制御部５００は、制御部１００、画像メモリ３００及び表示部６００と接続している。制御部１００の制御の下、表示制御部５００は、画像メモリ３００から、左眼用画像のデータ及び右眼用画像のデータを取得し、それらを表示部６００に出力しつつ、表示部６００を制御して、表示部６００に左眼用画像及び右眼用画像を表示させる。
【００２２】
本実施形態に係る表示部６００は、表示制御部５００の制御下で駆動される、両眼視差を用いる３Ｄ時分割視差表示装置である。表示部６００は、右眼用画像と左眼用画像とを交互に表示させる。表示部６００は、右眼用画像の表示には、右眼方向に向かう指向性を有する光を用い、左眼用画像の表示には、左眼方向に向かう指向性を有する光を用いる。このような表示装置は、例えば特開２００６−３１０２６９号公報に開示されている。
【００２３】
図２を参照して表示部６００の構成を簡単に説明する。表示部６００は、表示パネル６１０と面光源６２０とを有する。表示パネル６１０は、例えば液晶パネル等、画素毎に光の透過率を変更するパネルである。面光源６２０は、表示パネル６１０に対して光を照射するバックライトとして機能する。面光源６２０は、導光板６２２と反射板６２４とを備える。また、面光源６２０は、第１の発光素子６２６と第２の発光素子６２８とを備える。
【００２４】
反射板６２４には、第１の発光素子６２６の出射点と第２の発光素子６２８の出射点との中点を中心とする同心円状の溝が形成されている。この溝の形状のため、反射板６２４で反射される光は、特定の方向に進行する。即ち、第１の発光素子６２６から出射した光は、導光板６２２内を進行し、反射板６２４で反射され、観察者の右眼に入射する。一方、第２の発光素子６２８から出射した光は、導光板６２２内を進行し、反射板６２４で反射され、観察者の左眼に入射する。
【００２５】
したがって、表示パネル６１０に右眼用画像を表示しているときに、第１の発光素子６２６を点灯し第２の発光素子６２８を消灯すると、右眼用画像は、観察者の右眼に到達する。表示パネル６１０に左眼用画像を表示しているときに、第２の発光素子６２８を点灯し第１の発光素子６２６を消灯すると、左眼用画像は、観察者の左眼に到達する。即ち、表示パネル６１０に右眼用画像と左眼用画像とを交互に表示させ、これとタイミングを合わせて、第１の発光素子６２６及び第２の発光素子６２８の点灯と消灯とを制御すると、観察者の右眼に右眼用画像を、観察者の左眼に左眼用画像を、それぞれ観察させることができる。ここで、右眼用画像と左眼用画像とを、視差に応じて異なる画像とすることで、観察者に、３次元の画像を認識させることができる。本３Ｄ時分割視差表示装置によれば、観察者は、裸眼で立体的に認識される画像を観察することができる。
【００２６】
このように、例えば被写体抽出部２１０は、前記被写体存在画像のデータから前記注目被写体の画像のデータを抽出する被写体抽出手段として機能する。また、例えば３次元画像生成部２２０は、注目被写体の画像のデータと表示背景画像のデータとに基づいて、３次元画像のデータ作成手段として機能する。また、例えば輪郭画像生成部２３０は、注目被写体が表示背景画像に溶け込むように認識されるように、注目被写体の画像のデータに変更を施し被写体変更画像のデータを作成する被写体変更手段や、注目被写体が前記表示背景画像に置き換わるように認識されるように、注目被写体の画像のデータに変更を施して被写体変更画像のデータを作成する被写体−背景置換手段や、注目被写体の画像のデータに表示背景画像のデータを混合した被写体輪郭画像のデータを作成する輪郭画像生成手段として機能する。また、例えば消失画像生成部２４０は、注目被写体が表示背景画像に溶け込むように認識されるように、注目被写体の画像のデータに変更を施し被写体変更画像のデータを作成する被写体変更手段や、注目被写体の大きさが順次変化して認識されるように、注目被写体の画像のデータに変更を施して被写体変更画像のデータを作成する被写体サイズ変更手段や、注目被写体を含む画像のデータに変更を施して被写体消失画像のデータを作成し、被写体消失画像に基づいて奥行き度の値を設定する消失画像生成手段として機能する。
【００２７】
次に本実施形態に係る表示装置の動作について説明する。まず、制御部１００の制御の下、画像入力部４００は、画像記録メディア８００に記録された被写体存在画像８１０のデータと、被写体背景画像８２０のデータと、表示背景画像８３０のデータとを読み出し、画像メモリ３００に記憶させる。
【００２８】
制御部１００の制御の下、画像処理部２００は、図３に示すフローチャートのように動作する。ここでまず、その概要を説明する。ステップＳ１０４からステップＳ１１２までのループ処理において、画像処理部２００は、Ｆｒフレームの動画である被写体存在画像８１０からフレーム毎に注目被写体の画像を抽出し、その注目被写体の画像が表示背景画像８３０に対して飛出し率Ｄ０だけ飛出して見える３次元表示のための画像データを、フレーム毎に出力する。
【００２９】
Ｆｒフレームの表示が全て終了したら、ステップＳ１１４からステップＳ１２２までのループ処理において、画像処理部２００は、次のように見える３次元表示のための画像データを出力する。まず、表示背景画像８３０に対して飛出し率Ｄ０だけ飛出して見える位置に、被写体存在画像の最終フレームの注目被写体の輪郭が表示される。そして、この輪郭内の画像情報が、注目被写体の画像情報から、その輪郭内に相当する位置の表示背景画像８３０の画像情報に段階的に置き換わる。
【００３０】
被写体存在画像の最終フレームの注目被写体の輪郭内の画像情報が表示背景画像８３０に置き換わったら、ステップＳ１２４からステップＳ１３２までのループ処理において、画像処理部２００は、次のように見える３次元表示のための画像データを出力する。注目被写体の輪郭内の画像情報が表示背景画像８３０に置き換わっている。そのような注目被写体の画像が、段階的にサイズと飛出し率とを変化させる。そして、最終的に飛出し率は０となり、表示背景画像８３０と注目被写体の輪郭とが判別できない画像となる。
【００３１】
次に図３に示すフローチャートを参照して、画像処理部２００の処理を順に説明する。
ステップＳ１０２において、画像処理部２００は、後述する各種パラメータを初期値に設定する。例えば、ステップＳ１０４からステップＳ１１２までのループ処理のループ回数を制御する変数ｎを１に設定し、ステップＳ１１４からステップＳ１２２までのループ処理のループ回数を制御する変数ｍを０に設定し、ステップＳ１２４からステップＳ１３２までのループ処理のループ回数を制御する変数ｐを０に設定し、飛出し率ＤをＤ０に設定し、拡大率Ｍを１に設定する。
【００３２】
ステップＳ１０４において、画像処理部２００は、変数ｎが被写体存在画像のフレーム数Ｆｒ以下であるか否かを判定する。
ステップＳ１０４の判定の結果、変数ｎがフレーム数Ｆｒ以下であれば、ステップＳ１０６において、画像処理部２００は、画像処理部２００内の被写体抽出部２１０に、被写体抽出処理を実行させる。この被写体抽出処理は、被写体存在画像のデータ中から、例えば人物等の注目被写体を抽出し、被写体抽出画像のデータを作成する処理である。ここで、被写体抽出部２１０が実行する被写体抽出処理を、図４に示すフローチャートを参照して説明する。
【００３３】
ステップＳ２０２において、被写体抽出部２１０は、画像メモリ３００に記憶されている被写体存在画像８１０のｎフレーム目の画像データと被写体背景画像８２０のデータとを読み出す。
ステップＳ２０４において、被写体抽出部２１０は、ステップＳ２０２において読み出した被写体存在画像８１０のｎフレーム目の画像データと被写体背景画像８２０のデータとを重ね合わせるため、それぞれの画像データの特徴点を抽出する。
【００３４】
ステップＳ２０６において、被写体抽出部２１０は、ステップＳ２０４において抽出した特徴点を比較して、被写体存在画像８１０と被写体背景画像８２０との画像のずれである動きベクトルを算出する。より具体的には、例えば被写体背景画像８２０のデータのそれぞれの特徴点について、被写体存在画像８１０のデータ内で探索し、一致度を表す表価値が最もよい点を決定し、各点に関する動きベクトルを算出する。このようにして算出された各点に関する動きベクトルを統計的に処理し、画像全体に関する動きベクトルを算出する。
【００３５】
ステップＳ２０８において、被写体抽出部２１０は、ステップＳ２０６において算出した動きベクトルを用いて、被写体存在画像８１０のデータと被写体背景画像８２０のデータとの位置合せを行う。より具体的には、例えば、ステップＳ２０６において算出した動きベクトルに基づいて、射影変換行列を決定する。この射影変換行列を用いて、被写体背景画像８２０を射影変換することで、被写体存在画像８１０のデータと被写体背景画像８２０のデータとの位置を合わせる。
【００３６】
ステップＳ２１０において、被写体抽出部２１０は、被写体存在画像８１０のデータから注目被写体を抽出するため、ステップＳ２０６において位置合せをした被写体存在画像８１０のデータと被写体背景画像８２０のデータとの、対応する各画素を比較する。そして、被写体抽出部２１０は、各画素についての相違度を算出し、各画素の位置と各画素の相違度との関係を表す相違度マップを作成する。
【００３７】
ステップＳ２１２において、被写体抽出部２１０は、ステップＳ２１０で作成した相違度マップ内の相違度を、所定の閾値で二値化する。
ステップＳ２１４において、被写体抽出部２１０は、ステップＳ２１２で二値化した相違度と、各画素の位置関係を調べ、相違度が高い領域を抽出する。被写体抽出部２１０は、相違度が高い領域のうち、その領域の面積が最も広い領域を選択し、当該領域を被写体領域として特定する。この被写体領域が、例えば人物等の注目被写体を表す領域に相当する。
【００３８】
ステップＳ２１６において、被写体抽出部２１０は、ステップＳ２１４で特定した被写体領域の内部は、被写体存在画像８１０の情報を有しており、被写体領域の外部は、空の画像情報を有する画像である被写体抽出画像のデータを作成する。ここで、空の画像情報は、任意でよく、例えば、黒表示を表す情報としてもよい。
【００３９】
ステップＳ２１８において、被写体抽出部２１０は、ステップＳ２１６で作成した被写体抽出画像のデータを画像メモリ３００に記憶させる。その後、被写体抽出部２１０は、処理を終了する。
本被写体抽出処理によって、例えば図５に示すように、被写体存在画像８１０のデータ及び被写体背景画像８２０のデータから、被写体抽出画像９１０のデータが作成される。
【００４０】
図３に戻って、説明を続ける。ステップＳ１０６における被写体抽出処理によって被写体抽出画像９１０のデータが作成された後、ステップＳ１０８において、画像処理部２００は、画像処理部内の３次元画像生成部２２０に、３次元画像生成処理を実行させる。３次元画像生成処理では、表示部に入力する左眼用画像のデータと右眼用画像のデータとを作成する。
【００４１】
ステップＳ１０６において作成される左眼用画像のデータと右眼用画像のデータとは、表示背景画像８３０のデータに被写体抽出画像９１０のデータを合成して作成される。ここで表示背景画像８３０のデータに被写体抽出画像９１０のデータを合成する際には、左眼用画像のデータの作成にあたっては、それら画像のデータの位置を左眼用画像シフト量ＳＬだけずらして合成し、右眼用画像のデータの作成にあたっては、それら画像のデータの位置を右眼用画像シフト量ＳＲだけずらして合成する。３次元画像生成部２２０が実行する３次元画像生成処理を、図６に示すフローチャートを参照して説明する。
【００４２】
ステップＳ３０２において、３次元画像生成部２２０は、画像メモリ３００に記憶されている前景画像のデータと背景画像のデータとを読み込む。ステップＳ１０８における３次元処理においては、前景画像のデータは、被写体抽出画像９１０のデータであり、背景画像のデータは、表示背景画像８３０のデータである。
【００４３】
ステップＳ３０４において、３次元画像生成部２２０は、飛出し率Ｄに基づいて、公知の３次元表示の技術を用いて、左眼用画像シフト量ＳＬと右眼用画像シフト量ＳＲとを算出する。例えば、一般に図７に示すように、画面に表示する右眼用画像Ｒと左眼用画像Ｌとを位置ずれ量Ｅだけずらして表示すると、観察者からは、右眼用画像Ｒと左眼用画像Ｌとに基づいて、画面から飛出し量Ｄｉだけ飛出した位置に像Ｉｉが認識される。このとき、像Ｉｉの飛出し量Ｄｉは、画面から右眼及び左眼までの距離Ｄｓと、位置ずれ量Ｅと、観察者の右眼と左眼との距離Ａとを用いて、次式（１）で表すことができる。
Ｄｉ＝Ｄｓ・Ｅ／（Ａ−Ｅ） ・・・（１）
また、像Ｉｉの大きさＳｉは、画面に表示されている像の大きさＳｐと、右眼と左眼との距離Ａと、位置ずれ量Ｅとを用いて、次式（２）で表すことができる。
Ｓｉ＝Ｓｐ・Ａ／（Ａ−Ｅ） ・・・（２）
左眼用画像シフト量ＳＬと右眼用画像シフト量ＳＲの算出には、例えばこれらの関係を用いることができる。ステップＳ１０８における３次元処理においては、飛出し率Ｄ＝Ｄｉ／ＤｓがＤ０であるとして、左眼用画像シフト量ＳＬと右眼用画像シフト量ＳＲとを算出する。例えば、表示背景画像８３０に対して、被写体抽出画像９１０を右方向に左眼用画像シフト量ＳＬずらして合成して左眼用画像を作成し、表示背景画像８３０に対して、被写体抽出画像９１０を左方向に右眼用画像シフト量ＳＲずらして合成して右眼用画像を作成する場合、ＳＬ＋ＳＲ＝Ｅの関係を有するようにすればよい。なお、距離Ａは、一般的に知られているヒトの目の間隔の平均値を用いる。
【００４４】
ステップＳ３０６において、３次元画像生成部２２０は、前景画像のデータと背景画像のデータとを左眼用画像シフト量ＳＬだけずらして合成する。この合成では、前景画像のデータの被写体領域に相当する部分について、背景画像の情報を前景画像の情報に置き換える。被写体領域以外の領域については、このような置き換えを行わず、背景画像の情報をそのまま残す。このようにして、背景画像のデータ上に、前景画像のデータの被写体領域が合成された、左眼用画像のデータが作成される。ステップＳ１０８における３次元処理では、ステップＳ３０６において、表示背景画像８３０のデータに被写体抽出画像９１０のデータの注目被写体を、左眼用画像シフト量ＳＬだけずらして合成する。
【００４５】
ステップＳ３０８において、３次元画像生成部２２０は、ステップＳ３０６における左眼用画像のデータの作成と同様に、前景画像のデータと背景画像のデータとを右眼用画像シフト量ＳＲだけずらして合成し、右眼用画像のデータを作成する。ステップＳ１０８における３次元処理では、ステップＳ３０６において、表示背景画像８３０のデータに被写体抽出画像９１０のデータの注目被写体を、右眼用画像シフト量ＳＲだけずらして合成する。
ステップＳ３１０において、３次元画像生成部２２０は、作成した左眼用画像のデータと右眼用画像のデータとを、画像メモリ３００に記憶させる。その後、３次元画像生成部２２０は、処理を終了する。
【００４６】
本被写体抽出処理によって、例えば図８に示すように、表示背景画像８３０のデータ及び被写体抽出画像９１０のデータから、左眼用画像９２０のデータ及び右眼用画像９３０のデータが作成される。なお、図８の左眼用画像９２０のデータ及び右眼用画像９３０のデータにおいて破線で示した枠は、表示背景画像８３０に対する被写体抽出画像９１０の画像範囲を示す。
【００４７】
図３に戻って、説明を続ける。ステップＳ１０８において、３次元画像生成処理が実行され、左眼用画像９２０のデータ及び右眼用画像９３０のデータが作成された後、ステップＳ１１０において、画像処理部２００は、画像メモリ３００に記憶された左眼用画像９２０のデータ及び右眼用画像９３０のデータを、表示制御部５００に出力する。
【００４８】
左眼用画像９２０のデータ及び右眼用画像９３０のデータが入力された表示制御部５００は、表示部６００の表示パネル６１０に、左眼用画像９２０と右眼用画像９３０とを交互に表示させる。ここで、表示制御部５００は、左眼用画像９２０と右眼用画像９３０との表示に同期させて、第１の発光素子６２６と第２の発光素子６２８との点滅を制御する。その結果、観察者にとって、例えば図９に模式的に示すように、注目する被写体である人物が背景の画像に対して飛出し率Ｄ０だけ浮き上がって見える画像が表示される。
【００４９】
ステップＳ１１２において、画像処理部２００は、変数ｎの値を１増加させ、処理をステップＳ１０４に戻す。ステップＳ１０４の判定で、変数ｎがフレーム数Ｆｒ以下である間は、ステップＳ１０６からステップＳ１１０の処理を繰り返す。したがって、ステップＳ１０６からステップＳ１１０の処理を繰り返す間、３次元画像が表示部６００には、表示背景画像８３０を背景として、被写体存在画像８１０中の注目被写体が、飛出し率Ｄ０で浮き上がって認識される、動画像が表示される。
【００５０】
ステップＳ１０４の判定の結果、変数ｎがフレーム数Ｆｒ以下でないとき、画像処理部２００は、処理をステップＳ１１４に移す。ここで、変数ｎがフレーム数Ｆｒ以下でないときとは、動画である被写体存在画像８１０のデータの記録されているフレームが全て再生された後の状態である。これ以降の動作においては、被写体抽出画像９１０のデータとしては、最終フレームの画像データより作成した被写体抽出画像９１０のデータが用いられる。
【００５１】
ステップＳ１１４において、画像処理部２００は、輪郭画像生成部２３０に輪郭画像生成処理を実行させる。輪郭画像生成処理は、被写体抽出画像９１０中の注目被写体の画像情報を、表示背景画像８３０の相当する位置の画像情報に、輪郭を残して段階的に置き換える処理である。輪郭画像生成部２３０が実行する輪郭画像生成処理を、図１０に示すフローチャートを参照して説明する。
【００５２】
ステップＳ４０２において、輪郭画像生成部２３０は、画像メモリ３００から、表示背景画像８３０のデータと被写体抽出画像９１０のデータとを読み出す。
ステップＳ４０４において、輪郭画像生成部２３０は、被写体抽出画像９１０のデータの注目被写体の輪郭を抽出する。即ち、画像情報が存在する部分と、空の画像情報が存在する部分との境界の座標を特定する。例えば、輪郭画像生成部２３０は、空の画像情報を抽出できる閾値を設定して画像データを探索することで境界の座標を特定してもよいし、ハイパスフィルタリングによってエッジを検出することで、境界の座標を特定してもよい。
【００５３】
ステップＳ４０６において、輪郭画像生成部２３０は、被写体抽出画像９１０のデータの、ステップＳ４０４において抽出された輪郭の内部の画像情報ついて次のように更新し、被写体輪郭画像９４０のデータを作成する。即ち、各画素の画像情報について、変数ｍを用いて、背景画像×ｍ／Ｔ＋被写体切り抜き画像×（１−ｍ／Ｔ）で与えられる画像情報に置き換え、被写体輪郭画像のデータを作成する。ここで、Ｔは所定の定数である。
【００５４】
ステップＳ４０８において、輪郭画像生成部２３０は、ステップＳ４０６において作成した被写体輪郭画像のデータを、画像メモリ３００に記憶させる。その後、輪郭画像生成部２３０は、処理を終了する。
【００５５】
本被写体抽出処理によって、例えば図１１に示すように、表示背景画像８３０のデータ及び被写体抽出画像９１０のデータから、被写体輪郭画像９４０のデータが作成される。この図に示すように、被写体輪郭画像９４０のデータは、被写体領域内について、表示背景画像８３０のデータの画像情報と被写体存在画像８１０のデータの画像情報とが混合された画像データとなる。また、被写体領域以外については、例えば黒等の空の画像情報を有している。
【００５６】
図３に戻って、説明を続ける。ステップＳ１１４における輪郭画像作成処理により被写体輪郭画像９４０が作成された後、ステップＳ１１６において、画像処理部２００は、３次元画像生成部２２０に、３次元画像生成処理を実行させる。ステップＳ１１６の３次元画像生成処理では、３次元画像生成部２２０は、表示背景画像８３０のデータに被写体輪郭画像９４０のデータを合成して、左眼用画像のデータと右眼用画像のデータとを作成する。ここで、飛出し率ＤはＤ０とする。したがって、表示部６００に表示させたときに、観察者から見て、表示背景画像８３０から飛出し率Ｄ０だけ手前に、被写体輪郭画像９４０が飛出して見える、左眼用画像のデータと右眼用画像のデータとが作成される。ここで、ステップＳ１１６における３次元画像生成処理は、ステップＳ１０８における３次元画像生成処理と、前景画像のデータが異なり、同じ処理である。
【００５７】
ステップＳ１１６における３次元画像生成処理によって左眼用画像のデータ及び右眼用画像のデータが作成された後、ステップＳ１１８において、画像処理部２００は、画像メモリ３００に記憶された当該左眼用画像のデータ及び右眼用画像のデータを、表示制御部５００に出力する。左眼用画像のデータ及び右眼用画像のデータが入力された表示制御部５００は、第１の発光素子６２６と第２の発光素子６２８との点滅を制御しつつ、表示部６００の表示パネル６１０に、左眼用画像と右眼用画像とを交互に表示させる。
【００５８】
ステップＳ１２０において、画像処理部２００は、変数ｍの値を１増加させる。
ステップＳ１２２において、画像処理部２００は、変数ｍが所定の定数であるＴより大きいか否かを判断する。変数ｍが定数Ｔより大きくないとき、処理をステップＳ１１４に戻す。
【００５９】
変数ｍが定数Ｔより大きくない間、画像処理部２００は、ステップＳ１１４からステップＳ１１８の処理を繰り返す。したがって、図１２に示すように表示部６００には、観察者が、次のように認識する画像が表示される。即ち、表示背景画像８３０を背景として飛出し率Ｄ０だけ浮き上がって見える位置にある注目被写体が、Ｔフレームをかけて徐々に、表示背景画像８３０の注目被写体の裏側に相当する位置の画像に変換されていく。
【００６０】
ステップＳ１２２における判断で、変数ｍが所定の定数であるＴより大きいと判断されたとき、画像処理部２００は、処理をステップＳ１２４に進める。ステップＳ１２４において、画像処理部２００は、消失画像生成部２４０に、消失画像生成処理を実行させる。消失画像生成処理は、飛出し率Ｄの値を変化させ、また、被写体抽出画像９１０の大きさを変化させた被写体消失画像のデータを作成する処理である。消失画像生成部２４０が実行する消失画像生成処理を、図１３に示すフローチャートを参照して説明する。
【００６１】
ステップＳ５０２において、消失画像生成部２４０は、表示背景画像８３０のデータと被写体抽出画像９１０のデータとを読み出す。
ステップＳ５０４において、消失画像生成部２４０は、飛出し率Ｄｐを所定の関数であるＤｐ＝ｆ（ｐ）に基づいて算出する。ここで、ｆ（ｐ）は、例えばｆ（０）＝Ｄ０であり、ｆ（Ｕ）＝０である任意の関数とする。ここでは、例としてｆ（ｐ）は、単調減少関数とする。
ステップＳ５０６において、消失画像生成部２４０は、飛出し率Ｄｐを用いて、注目する被写体の画像の拡大率Ｍを、所定の関数であるＭ＝ｇ（Ｄｐ）に基づいて算出する。ここでは、例として拡大率Ｍは、飛出し率Ｄｐに比例するものとする。
【００６２】
ステップＳ５０８において、消失画像生成部２４０は、拡大率Ｍに基づいて、被写体抽出画像９１０のデータにおいて、注目被写体の大きさを拡大又は縮小する。例えば、注目被写体の領域の重心位置を変化させずに、拡大又は縮小した注目被写体が配置された画像データを作成する。或いは、被写体抽出画像９１０を拡大又は縮小し、元の被写体抽出画像９１０の画像サイズにトリミングして画像データを作成する。
【００６３】
ステップＳ５１０において、消失画像生成部２４０は、拡大又は縮小した被写体抽出画像９１０のデータにおける注目する被写体の輪郭内を、前記した輪郭画像生成処理の場合と同様に、表示背景画像８３０のデータの画像情報に置き換えて、被写体消失画像のデータを作成する。
【００６４】
ステップＳ５１０において、消失画像生成部２４０は、作成した被写体消失画像のデータを、飛出し率Ｄｐと関連付けて、画像メモリ３００に記憶させる。その後、輪郭画像生成部２３０は、処理を終了する。
本被写体抽出処理によって、例えば図１４に示すように、表示背景画像８３０のデータ及び被写体抽出画像９１０のデータから、被写体消失画像９５０のデータが作成される。
【００６５】
図３に戻って、説明を続ける。ステップＳ１２４における消失画像作成処理により被写体消失画像９５０のデータが作成された後、ステップＳ１２６において、画像処理部２００は、３次元画像生成部２２０に、３次元画像生成処理を実行させる。ステップＳ１２６の３次元画像生成処理では、３次元画像生成部２２０は、表示背景画像８３０のデータに被写体消失画像９５０のデータを合成して、左眼用画像のデータと右眼用画像のデータとを作成する。ここで、飛出し率ＤをＤｐとする。したがって、表示部６００に表示させたときに、ユーザから表示背景画像８３０から飛出し率Ｄｐだけ手前に、被写体消失画像９５０が飛び出して見える、左眼用画像のデータと右眼用画像のデータとが作成される。ここで、ステップＳ１２６における３次元画像生成処理は、ステップＳ１０８における３次元画像生成処理と、前景画像のデータが異なり、行われる処理は同じである。
【００６６】
ステップＳ１２６における３次元画像生成処理によって左眼用画像のデータ及び右眼用画像のデータが作成された後、ステップＳ１２８において、画像処理部２００は、画像メモリ３００に記憶された当該左眼用画像のデータ及び右眼用画像のデータを、表示制御部５００に出力する。左眼用画像及び右眼用画像が入力された表示制御部５００は、第１の発光素子６２６と第２の発光素子６２８との点滅を制御しつつ、表示部６００の表示パネル６１０に、左眼用画像と右眼用画像とを交互に表示させる。
【００６７】
ステップＳ１３０において、画像処理部２００は、変数ｐの値を１増加させる。
【００６８】
ステップＳ１３２において、画像処理部２００は、変数ｐが所定の定数であるＵより大きいか否かを判断する。変数ｐが定数Ｕより大きくないとき、処理をステップＳ１２４に戻す。
【００６９】
変数ｐが定数Ｕより大きくない間は、ステップＳ１２４からステップＳ１３２の処理を繰り返すので、ユーザから見ると、表示背景画像８３０を背景として、被写体消失画像９５０における注目被写体は、拡大率Ｍで拡大又は縮小された被写体消失画像９５０における注目被写体が、関数Ｄｐ＝ｆ（ｐ）に従った飛出し率Ｄｐの位置に見える。この拡大率Ｍは変化するので、被写体消失画像９５０における注目被写体の大きさは変化するとともに、飛出し率Ｄｐも変化する。そして、被写体消失画像９５０における注目被写体は、ユーザから見て、表示背景画像８３０に溶け込むように消失するように見える。このような表示の一例の模式図を図１５に示す。図１５の例は、飛出し率Ｄｐが単調に減少し、それに伴って、被写体消失画像９５０における注目被写体も単調に小さくなる場合を示す。
【００７０】
なお、Ｄｐ＝ｆ（ｐ）は、単調減少に限らない。変数ｐと飛出し率Ｄとの関係の例を、図１６に示す。この図に示すように、変数ｐに対する飛出し率Ｄの変化率を様々に変えたり、振動関数としたりしてもよい。また、図１６に示すようなｆ（０）＝Ｄ０かつｆ（Ｕ）＝０という関係に限らなくてもよい。
【００７１】
ステップＳ１３２における判断で、変数ｐが定数Ｕより大きいとき、画像処理部２００は、処理を終了する。
【００７２】
本実施形態によれば、入力された被写体存在画像８１０のデータと、被写体背景画像８２０のデータと、表示背景画像８３０のデータとに基づいて、表示背景画像８３０に対して、被写体存在画像８１０中の注目被写体が浮き上がって見えるという、新たな視覚効果が得られる３次元動画表示が可能となる。更に、動画の終了時に、注目被写体が、徐々に表示背景画像８３０に溶け込んでいくような新たな視覚効果が得られる３次元動画表示が可能となる。
【００７３】
なお、本実施形態の説明では、表示部６００は、特殊な眼鏡などを用いずに３次元画像を認識できる両眼視差を用いる３Ｄ時分割視差表示装置としたが、左眼用画像と右眼用画像とを表示して３次元表示する表示装置であればこれに限らず他の方式を用いてもよい。例えば、時分割表示方式でなく、視差バリアを用いて、左眼用画像と右眼用画像とを同時に表示させつつ、それぞれの画像を観察者の左眼と右眼とに到達させるものでもよい。また、左眼用画像と右眼用画像とを、異なる偏光面を有する光によって表示し、観察者は、特定の偏光を透過する眼鏡を装着して観察する方式の表示装置を用いてもよい。また、左眼用画像と右眼用画像とを表示パネルに時分割に表示し、観察者はシャッタを有する眼鏡を装着し、表示パネルに左眼用画像が表示されているときは、眼鏡の左眼のシャッタを開き右眼のシャッタを閉じ、右眼用画像が表示されているときは眼鏡の右眼のシャッタを開き左眼のシャッタを閉じる機構を有する表示装置を用いてもよい。それぞれの表示装置に応じて、左眼用画像のデータと右眼用画像のデータとの作成にあたって設計的な差異はあるものの、何れの場合にも本質的な差異はない。
【００７４】
また、本実施形態の説明では、注目被写体が、表示背景画像に対して手前に浮き出て見えるとして説明したが、注目被写体が表示背景画像の奥に見えるようにしてもよい。また、表示背景画像８３０に被写体背景画像８２０と同じ画像を用いてもよいことは勿論である。
【００７５】
また、本実施形態の説明では、３次元画像生成処理の後に各フレーム毎に画像データ出力し、画像表示を行わせているが、画像処理部２００は、全てのフレームについて３次元画像生成処理を実行して、予め全てのフレームの画像データを作成して画像メモリ３００に記憶させた後に、記憶させた画像データを表示制御部５００出力して、表示部６００にまとめて画像表示を行わせてもよい。
【００７６】
また、本実施形態では、注目被写体を抽出するために、被写体存在画像８１０のデータと被写体背景画像８２０のデータとを比較して、注目被写体を抽出する技術を用いているが、注目被写体を抽出できる技術であれば他の技術を用いてもよい。例えば、動きのある部分を抽出することで注目被写体を特定してもよい。また、所定の背景の前で注目被写体を撮影し、当該所定の背景以外の部分を注目被写体として特定してもよい。これらの場合、被写体存在画像８１０と被写体背景画像８２０との２つの画像を必要とせず、１つの画像から注目被写体を抽出することができる。
【００７７】
［第１の実施形態の第１の変形例］
次に、本発明の第１の実施形態の第１の変形例について説明する。ここで本変形例の説明では、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第１の実施形態においては、Ｆｒフレーム表示後の表示について、図３を参照して説明したステップＳ１１４からステップＳ１３２までの処理のように、まず、注目被写体の輪郭を残してその輪郭内の画像情報を背景の画像情報に置き換えた輪郭画像を飛出し率Ｄ０の位置に表示し、その後、背景画像に変換された注目被写体の輪郭の表示位置の飛び出し率が徐々に減少し、それと共に注目被写体が小さくなる表示を行う。これに対して本変形例では、Ｆｒフレーム表示後に、注目被写体の飛出し率が徐々に減少するとともに、注目被写体が徐々に小さくなり、それとともに注目被写体の輪郭内が徐々に背景画像と置き換わっていく表示とする。
【００７８】
上記のように表示するため、本変形例の画像処理部２００が行う画像処理は、図１７に示すフローチャートのように行う。即ち、ステップＳ１０２からステップＳ１１２までの処理は、第１の実施形態の場合と同様である。ただし、本実施形態では、変数ｐは用いないので、ステップＳ１０２における変数の初期値の設定において、変数ｐの設定は行わない。
【００７９】
本変形例では、ステップＳ１０４の判定の結果、変数ｎがフレーム数Ｆｒ以下でないとき、画像処理部２００は、処理をステップＳ１４２に移す。ステップＳ１４２において、画像処理部２００は、消失画像生成部２４０に消失画像生成処理を実行させる。ここで行う消失画像生成処理は、第１の実施形態におけるステップＳ１２４の消失画像生成処理と一部が異なる。即ち、図１３を参照して説明した第１の実施形態における消失画像生成処理では、注目被写体の輪郭内の画像情報を、表示背景画像の画像情報に置換していたが、本変形例における処理では、この置換を行わない。したがって、図１８に示すフローチャートのような処理となる。
【００８０】
ステップＳ５２２からステップＳ５２８までの処理は、第１の実施系体におけるステップＳ５０２からステップＳ５０８と同じである。ただし、ステップＳ５２４における変数には、第１の実施形態で用いた変数ｐではなく、変数ｍを用いる。また、本変形例においてはステップＳ５２８において作成する画像のデータを、被写体消失画像のデータとする。ステップ５２８において被写体消失画像のデータを作成したら、ステップＳ５３０において、消失画像生成部２４０は、その被写体消失画像のデータを画像メモリ３００に記憶させ、処理を終了する。
【００８１】
図１７に戻って、説明を続ける。ステップＳ１４２における消失画像生成処理によって被写体消失画像のデータを作成したら、ステップＳ１４４において、画像処理部２００は、輪郭画像生成部２３０に、輪郭画像生成処理を実行させる。ここで、輪郭画像生成処理は、第１の実施形態におけるステップＳ１１４の輪郭画像生成処理と一部が異なる。即ち、図１０を参照して説明した第１の実施形態における輪郭画像生成処理では、被写体抽出画像のデータに対して、その輪郭内の画像情報を徐々に背景画像の画像情報に置き換えているが、本変形例に係る輪郭画像生成処理では、被写体消失画像のデータに対して、その輪郭内の画像情報を徐々に背景画像の画像情報に置き換える。したがって、図１９に示すフローチャートのような処理となる。ステップＳ４２２からステップ４２８までの処理は、図１０を参照して説明した第１の実施形態におけるステップＳ４０２からステップＳ４０８に相当し、被写体抽出画像のデータに代えて被写体消失画像のデータを用いている点が異なる。
【００８２】
図１７に戻って、説明を続ける。ステップＳ１４４における輪郭画像作成処理により被写体輪郭画像が作成された後、ステップＳ１４６において、画像処理部２００は、３次元画像生成部２２０に、３次元画像生成処理を実行させる。ステップＳ１４６の３次元画像生成処理では、３次元画像生成部２２０は、ステップＳ１４２における消失画像生成処理において算出した飛出し率Ｄｍに基づいて、表示背景画像８３０のデータに被写体輪郭画像９４０のデータを合成して、左眼用画像のデータと右眼用画像のデータとを作成する。したがって、表示部６００に表示させたときに、観察者から見て、表示背景画像８３０から飛出し率Ｄｍだけ手前に、被写体輪郭画像９４０が飛出して見える、左眼用画像のデータと右眼用画像のデータとが作成される。
【００８３】
ステップＳ１４６における３次元画像生成処理によって左眼用画像のデータ及び右眼用画像のデータが作成された後、ステップＳ１４８において、画像処理部２００は、画像メモリ３００に記憶された当該左眼用画像のデータ及び右眼用画像のデータを、表示制御部５００に出力する。左眼用画像のデータ及び右眼用画像のデータが入力された表示制御部５００は、第１の発光素子６２６と第２の発光素子６２８との点滅を制御しつつ、表示部６００の表示パネル６１０に、左眼用画像と右眼用画像とを交互に表示させる。
【００８４】
ステップＳ１５０において、画像処理部２００は、変数ｍの値を１増加させる。
ステップＳ１５２において、画像処理部２００は、変数ｍが所定の定数であるＴより大きいか否かを判断する。変数ｍが定数Ｔより大きくないとき、処理をステップＳ１４２に戻す。変数ｍが定数Ｔより大きくない間、画像処理部２００は、ステップＳ１４２からステップＳ１５２の処理を繰り返す。ステップＳ１５２における判断で、変数ｍが所定の定数であるＴより大きいと判断されたとき、画像処理部２００は、処理を終了する。
【００８５】
以上によって、表示部６００には、例えば図２０に模式的に示すように、観察者から見て、表示背景画像８３０を背景として注目被写体が、飛出し率Ｄ０だけ浮き上がって見える位置から、表示背景画像８３０が認識されている面に徐々に飛出し率を変えていき、このとき、注目被写体のサイズも徐々に小さくなり、注目被写体の輪郭内の画像が徐々に背景画像に置き換わっていくような表示がなされる。
【００８６】
本変形例によれば、動画表示後の注目被写体が背景に溶け込む表示において、第１の実施形態とは異なる視覚効果が得られる。
【００８７】
［第１の実施形態の第２の変形例］
次に、本発明の第１の実施形態の第２の変形例について説明する。ここで本変形例の説明では、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第１の実施形態では、被写体存在画像に基づくＦｒフレームの画像を表示する際に、飛出し率ＤはＤ０で一定である。これに対して本変形例では、注目被写体の動きに応じて、飛出し率Ｄが異なる。
【００８８】
本変形例に係る画像表示装置の構成例を図２１に示す。本変形例に係る画像表示装置は、第１の実施形態に係る画像表示装置において、更に画像処理部２００内に動き量検出部２５０を有する。動き量検出部２５０は、異なるフレームの２つの画像データを読み出し、それらの特徴点を抽出し、２つの画像データで対応する特徴点の移動量を算出し、これら２つの画像における動き量を算出する。
【００８９】
本変形例に係る画像処理部２００の動作を図２２に示すフローチャートを参照して説明する。この図に示すように、本変形例に係る画像処理部２００の動作は、図３を参照して説明した第１の実施形態に係る動作の、ステップＳ１０６とステップＳ１０８との間に、ステップＳ１０７を追加している。また、これら追加するステップで用いる変数である動き量Ｖの値を、ステップＳ１０２において初期値に設定する。また、ステップＳ１０８における３次元画像生成処理において、飛出し率Ｄは、後述するステップＳ１０７で算出される飛出し率Ｄｎとする。その他の動作は、第１の実施形態の場合と同様である。
【００９０】
本変形例において、ステップＳ１０６における被写体抽出処理が行われ、被写体抽出画像９１０が作成されたら、ステップＳ１０７において、画像処理部２００は、画像処理部内の動き量検出部２５０に、動き量検出処理を行わせる。ここで、動き量検出処理は、ステップＳ１０６で作成された被写体抽出画像のデータの注目被写体の、ｎ−１フレーム目からｎフレーム目への変化量を算出し、その変化量に基づいて飛出し率Ｄを算出する。ステップＳ１０７における動き量検出処理を図２３に示すフローチャートを参照して説明する。
【００９１】
ステップＳ６０２において、動き量検出部２５０は、画像メモリ３００に記憶されたｎフレーム目の被写体抽出画像のデータとｎ−１フレーム目の被写体抽出画像のデータとを読み出す。
ステップＳ６０４において、動き量検出部２５０は、読み出した２つの被写体抽出画像のデータの特徴点を抽出する。ここで、特徴点の抽出は、図４を参照して説明した被写体抽出部が実行するステップＳ２０４の処理と同様である。
【００９２】
ステップＳ６０６において、動き量検出部２５０は、ステップＳ６０４で抽出したｎフレーム目の被写体抽出画像のデータの特徴点と、対応するｎ−１フレーム目の被写体抽出画像のデータの特徴点との差を表す動きベクトルを算出する。ここで、動きベクトルの算出は、図４を参照して説明した被写体抽出部が実行するステップＳ２０６の処理と同様である。
【００９３】
ステップＳ６０８において、動き量検出部２５０は、ステップＳ６０６において算出された全特徴点に係る動きベクトルに基づいて、被写体抽出画像中の注目被写体のｎ−１フレーム目からｎフレーム目への動き量Ｖｎを統計的に算出する。ここで、例えば動き量Ｖｎは、注目被写体の動き（注目被写体に対応した動きベクトルの大きさ）が大きい程大きな値とする。
【００９４】
ステップＳ６１０において、動き量検出部２５０は、動き量Ｖｎに基づいて、飛出し率ＤｎをＤｎ＝ｈ（Ｖｎ）によって、算出する。ここで、ｈ（Ｖｎ）は、任意の関数である。例えば、単調増加関数でもよい。
【００９５】
ステップＳ６１２において、動き量検出部２５０は、ｎフレーム目の被写体抽出画像のデータと関連付けて、ステップＳ６１０で算出した飛出し率Ｄｎを画像メモリに記憶させる。
なお、ｎ＝１のとき、動き量検出部２５０は、上記の動き量検出処理を行わずに、初期値Ｄ０を１フレーム目の被写体抽出画像のデータと関連付けて画像メモリに記憶させる。
【００９６】
図２２に戻って説明を続ける。ステップＳ１０８において、画像処理部２００は、３次元画像生成部に右眼用画像のデータと左眼用画像のデータとを作成させる。ここで、飛出し率ＤをＤｎとする。
本変形例のその他の動作は、第１の実施形態の場合と同様である。
【００９７】
このように、例えば動き量検出部２５０は、注目被写体の動き量を検出し、それに基づいて表示背景画像が表示されていると認識される面と注目被写体の画像が表示されていると認識される面との奥行き度の値を設定する動き量検出手段として機能する。
【００９８】
本変形例によれば、Ｆｒフレームの動画像を表示する際に、注目被写体の動きに応じて、観察者が認識する注目被写体の飛び出し率が異なる第１の実施形態とは異なる視覚効果が得られる。
【００９９】
なお、本説明では、ステップＳ６０８において動き量Ｖｎを算出するにあたって、ｎ−１フレーム目からｎフレーム目への動きベクトルに基づくとしたが、これに限らずともよい。例えば、滑らかな表示のために、ｎ−１フレーム目以前の動きベクトルも考慮して動き量Ｖを求めてもよい。
また、本変形例は、第１の実施形態の第１の変形例と組み合わせ用いてもよい。
【０１００】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。ここで本実施形態の説明では、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本実施形態に係る画像表示装置の構成例を図２４に示す。第１の実施形態に係る画像表示装置と異なるのは、３次元画像生成部２２０、輪郭画像生成部２３０及び消失画像生成部２４０に代えて、背景画像加工部２６０及び前景画像加工部２７０を有する点と、表示部６００に代えて表示部６５０を有する点と、表示制御部５００に代えて表示制御部５５０を有する点である。
【０１０１】
本実施形態に係る表示部６５０の構成例を図２５に示す。この図に示すように、表示部６５０は、第１のディスプレイ６５１と、第２のディスプレイ６５２と、第１のサーキュラフレネルレンズ６５３と、第２のサーキュラフレネルレンズ６５４と、反射偏光板６５５と、移動支持手段６５６とを有する。
【０１０２】
第１のディスプレイ６５１に表示された画像は、反射偏光板６５５を透過して、観察者に視認される。また、第２のディスプレイ６５２に表示された画像は、反射偏光板６５５で反射され、観察者に視認される。したがって、第１のディスプレイ６５１に表示された画像と、第２のディスプレイ６５２に表示された画像とが重ね合わされた画像が、観察者には視認される。ここで、第１のサーキュラフレネルレンズ６５３と、移動支持手段６５６によって移動可能に支持された第２のサーキュラフレネルレンズ６５４とによって、第２のディスプレイ６５２に表示された画像の結像位置を調整することができる。したがって、表示部６５０は、第２のサーキュラフレネルレンズ６５４の位置を調節することによって、第１のディスプレイ６５１に表示された画像が観察される面に対して、奥行きが異なる様々な面に第２のディスプレイ６５２に表示された画像が観察される表示をすることができる。本実施形態では、表示制御部５５０の制御の下、画像処理部２００が算出した飛出し率Ｄに応じて、移動支持手段６５６に支持された第２のサーキュラフレネルレンズ６５４が移動する。このような表示装置は、例えば特開２００９−０６３９１４号公報に開示されている。
【０１０３】
このように、例えば第２のディスプレイ６５２は、前景表示パネルとして機能し、例えば第１のディスプレイ６５１は、背景表示パネルとして機能し、例えば第１のサーキュラフレネルレンズ６５３と第２のサーキュラフレネルレンズ６５４と反射偏光板６５５とは、前景画像及び背景画像を異なる面に結像させる光学系として機能し、例えば移動支持手段６５６と第２のサーキュラフレネルレンズ６５４とは、奥行き度に基づいて前景画像又は背景画像を結像させる面を変化させる結像面変更手段として機能する。
【０１０４】
表示制御部５５０は、背景画像を第１のディスプレイ６５１に表示させ、前景画像を第２のディスプレイ６５２に表示させ、飛出し率Ｄに応じて、移動支持手段６５６の動作を制御し、第２のサーキュラフレネルレンズ６５４の位置を設定する。
【０１０５】
背景画像加工部２６０は、背景画像のデータの、前景の注目被写体と重なり合う部分の輝度を変更させた加工背景画像のデータを作成する、背景画像加工処理を実行する。前景画像加工部２７０は、前景画像の輝度を変更せた加工前景画像を作成する、前景画像加工処理を実行する。
【０１０６】
次に本実施形態に係る画像表示装置の動作を、図面を参照して説明する。まず、制御部１００の制御の下、画像入力部４００は、画像記録メディア８００に記録された被写体存在画像８１０のデータと、被写体背景画像８２０のデータと、表示背景画像８３０のデータとを読み出し、画像メモリ３００に記憶させる。
【０１０７】
制御部１００の制御の下、画像処理部２００は、図２６に示すフローチャートのように動作する。
ステップＳ１５２において、画像処理部２００は、第１の実施形態のステップＳ１０２と同様に、各種パラメータを初期値に設定する。例えば、変数ｎを１に設定し、飛出し率ＤをＤ０に設定し、拡大率Ｍを１に設定し、変数ｂ１を０に設定し、変数ｂ２を１００に設定する。
【０１０８】
ステップＳ１５４において、画像処理部２００は、第１の実施形態のステップＳ１０４と同様に、変数ｎが被写体存在画像のフレーム数Ｆｒ以下であるか否かを判定する。
ステップＳ１５４の判定の結果、変数ｎがフレーム数Ｆｒ以下であれば、ステップＳ１５６において、画像処理部２００は、第１の実施形態のステップＳ１０６と同様に、画像処理部内の被写体抽出部２１０に、被写体抽出処理を実行させる。この被写体抽出処理は、図４を参照して説明した第１の実施形態における被写体抽出処理と同様であり、被写体抽出画像９１０のデータが作成され画像メモリ３００に記憶される。ここで、本実施形態では、被写体抽出画像９１０において、注目被写体以外の領域は、黒色である画像情報とする。
【０１０９】
ステップＳ１５８において、画像処理部２００は、画像処理部内の背景画像加工部２６０に、背景画像加工処理を実行させる。ここで、背景画像加工処理は、加工背景画像を作成する処理である。本実施形態に係る表示部６５０では、第１のディスプレイ６５１に背景を表示し、第２のディスプレイ６５２に前景を表示する。このとき観察者には、前景と背景とが異なる面にあり、それらが重なり合って見える。したがって、観察者には、前景の画像の裏側に背景が透けて見えることになる。そこで本実施形態では、背景画像の、前景の注目被写体と重なり合う部分を黒色にする。背景画像加工部２６０が実行する背景画像加工処理を図２７に示すフローチャートを参照して説明する。
【０１１０】
ステップＳ７０２において、背景画像加工部２６０は、画像メモリ３００から表示背景画像８３０のデータと被写体抽出画像９１０のデータとを読み出す。
ステップＳ７０４において、背景画像加工部２６０は、被写体抽出画像９１０のデータの被写体領域の輪郭抽出し、その大きさを飛出し量Ｄに依存する拡大率Ｍで拡大する。観察者から見て注目被写体は、背景画像よりも手前に見えるので、注目被写体は、相対的に大きく見える。このステップにおいて、観察者から見て大きく見える分だけ被写体抽出画像９１０のデータの注目被写体を拡大している。飛出し量Ｄと拡大率Ｍとの関係は、幾何学的に求めることができる。
【０１１１】
ステップＳ７０６において、背景画像加工部２６０は、表示背景画像のデータにおいて、拡大した被写体領域の輪郭の内部に相当する領域を選択する。
ステップＳ７０８において、背景画像加工部２６０は、表示背景画像のデータにおけるステップＳ７０４で選択した領域の輝度を元のｂ１／１００％に変更し、加工背景画像を作成する。ここでステップＳ１５８における背景画像生成処理では、ｂ１＝０であるので、選択した領域内の輝度は０、即ち黒色になる。
【０１１２】
ステップＳ７１０において、背景画像加工部２６０は、作成した加工背景画像のデータを画像メモリ３００に記憶させる。
【０１１３】
本被写体抽出処理によって、例えば図２８に示すように、表示背景画像８３０のデータ及び被写体抽出画像９１０のデータから、表示背景画像８３０のデータにおいて注目被写体に相当する領域が黒色に変更された加工背景画像９６０のデータが作成される。
【０１１４】
図２６に戻って、説明を続ける。ステップＳ１５８において、背景画像加工処理が実行され、加工背景画像９６０が作成された後、ステップＳ１５９において、画像処理部２００は、飛出し率Ｄを画像メモリ３００を介して、表示制御部５５０に出力する。
飛出し率Ｄが入力された表示制御部５５０は、飛出し率Ｄに基づいて、移動支持手段６５６を制御し、第２のサーキュラフレネルレンズ６５４を移動させる。ここで、飛出し率Ｄの値と、第２のサーキュラフレネルレンズ６５４の位置との関係は、予め定めておき、図示しない記憶部に記憶させておくことができる。
【０１１５】
ステップＳ１６０において、画像処理部２００は、画像メモリ３００に記憶された被写体抽出画像９１０のデータと加工背景画像９６０のデータとを、表示制御部５５０に出力する。ここで、被写体抽出画像９１０のデータを前景画像のデータとし、加工背景画像９６０のデータを背景画像のデータとする。
被写体抽出画像９１０のデータと加工背景画像９６０のデータとが入力された表示制御部５５０は、表示部６５０の第１のディスプレイ６５１に加工背景画像９６０を表示させ、第２のディスプレイ６５２に被写体抽出画像９１０を表示させる。その結果、観察者にとっては、例えば図９に示した第１の実施形態の場合と同様に、注目する被写体である人物が背景の画像に対して飛出し率Ｄ０だけ浮き上がって見える３次元画像が観察される。
【０１１６】
ステップＳ１６２において、画像処理部２００は、第１の実施形態のステップＳ１１２と同様に、変数ｎの値を１増加させ、処理をステップＳ１５４に戻す。ステップＳ１５４の判定で、変数ｎがフレーム数Ｆｒ以下である間は、ステップＳ１５４からステップＳ１６２までの処理を繰り返す。したがって、ステップＳ１５４からステップＳ１６２の処理を繰り返す間、表示部６５０には、加工背景画像９６０を背景として、飛出し率Ｄ０で浮き上がって認識される、被写体存在画像８１０中の注目被写体が動く動画像が表示される。
【０１１７】
ステップＳ１５４の判定の結果、変数ｎがフレーム数Ｆｒ以下でないとき、画像処理部２００は、処理をステップＳ１６４に移す。ステップＳ１６４において、画像処理部２００は、背景画像加工部２６０に、背景画像加工処理を実行させる。
【０１１８】
ステップＳ１６６において、画像処理部２００は、画像メモリ３００に記憶された被写体抽出画像９１０のデータと加工背景画像９６０のデータとを、表示制御部５５０に出力する。ここで、被写体抽出画像９１０のデータを前景画像のデータとし、加工背景画像９６０のデータを背景画像のデータとする。
【０１１９】
ステップＳ１６８において、画像処理部２００は、変数ｂ１の値を例えば１増加させる。
ステップＳ１７０において、画像処理部２００は、変数ｂ１が１００より大きいか判断する。この判断の結果、変数ｂ１が１００以下であれば処理をステップＳ１６４に戻す。
【０１２０】
ステップＳ１７０の判定で、変数ｂ１が１００以下である間は、変数ｂ１の値を増加させながらステップＳ１６４からステップＳ１７０までの処理を繰り返す。ステップＳ１６４における背景画像加工処理では、注目被写体に対応する選択された領域の輝度は、ｂ１の増加に伴って、徐々に１００％に近づいていく。したがって、ステップＳ１６４からステップＳ１７０までの処理を繰り返す間、表示部６５０には、注目被写体の裏側に背景が徐々に現れる画像が表示される。
【０１２１】
ステップＳ１７０における判断の結果、変数ｂ１が１００より大きくなったら、処理をステップＳ１７２に進める。ステップＳ１７２において、画像処理部２００は、前景画像加工部２７０に、前景画像加工処理を実行させる。ここで、前景画像加工処理は、前景画像の輝度を変更する処理である。前景画像加工処理の動作を図２９に示すフローチャートを参照して説明する。
【０１２２】
ステップＳ８０２において、前景画像加工部２７０は、画像メモリ３００から被写体抽出画像９１０のデータを読み出す。
ステップＳ８０４において、前景画像加工部２７０は、被写体抽出画像９１０のデータにおける輝度を元のｂ２／１００％に変更し、加工前景画像のデータを作成する。
ステップＳ８０６において、前景画像加工部２７０は、作成した加工前景画像のデータを画像メモリ３００に記憶させる。
【０１２３】
図２６に戻って説明を続ける。ステップＳ１７２における前景画像加工処理によって加工前景画像のデータが作成されたら、ステップＳ１７４において、画像処理部２００は、画像メモリ３００に記憶された表示背景画像８３０のデータと加工前景画像のデータとを、表示制御部５５０に出力する。ここで、加工前景画像のデータを前景画像のデータとし、表示背景画像８３０のデータを背景画像のデータとする。
【０１２４】
ステップＳ１７６において、画像処理部２００は、変数ｂ２の値を例えば１減少させる。
ステップＳ１７８において、画像処理部２００は、変数ｂ２が０より小さいか判断する。この判断の結果、変数ｂ２が０以上であれば処理をステップＳ１７２に戻す。
【０１２５】
ステップＳ１７８の判定で、変数ｂ２が０以上である間は、変数ｂ２の値を減少させながらステップＳ１７２からステップＳ１７８までの処理を繰り返す。ステップＳ１７２における前景画像加工処理では、注目被写体の輝度は、ｂ２の減少に伴って徐々に０％に近づいていく。したがって、ステップＳ１７２からステップＳ１７８までの処理を繰り返す間、表示部６５０には、注目被写体が徐々に暗くなり背景が徐々に良く見えるようになり、やがて注目被写体が完全に消える画像が表示される。
ステップＳ１７８の判定で、変数ｂ２が０より小さくなったら、画像処理部２００は処理を終了する。
【０１２６】
このように、例えば背景画像加工部２６０及び前景画像加工部２７０は、注目被写体の画像のデータと表示背景画像のデータとに基づいて、３次元画像データを作成する３次元画像データ作成手段として機能する。また、例えば前景画像加工部２７０は、注目被写体が表示背景画像に溶け込むように認識されるように、注目被写体の画像のデータに変更を施し被写体変更画像のデータを作成する被写体変更手段や、注目被写体が前記表示背景画像に置き換わるように認識されるように、注目被写体の画像のデータに変更を施して被写体変更画像のデータを作成する、被写体−背景置換手段や、注目被写体の画像のデータに基づいて前景画像のデータを作成する前景画像加工手段として機能する。また、例えば背景画像加工部２６０は、表示背景画像のデータに基づいて背景画像のデータを作成する背景画像加工手段として機能する。
【０１２７】
本実施形態によれば、第１の実施形態の場合と同様に、入力された被写体存在画像８１０のデータと、被写体背景画像８２０のデータと、表示背景画像８３０のデータとに基づいて、表示背景画像８３０に対して、被写体存在画像８１０中の注目被写体が浮き上がって見えるという、新たな視覚効果が得られる３次元動画表示が可能となる。更に、動画の終了時に、注目被写体が、徐々に表示背景画像８３０に溶け込んでいくような新たな視覚効果が得られる３次元動画表示が可能となる。
【０１２８】
［第２の実施形態の第１の変形例］
次に、本発明の第２の実施形態の第１の変形例について説明する。ここで本変形例の説明では、第２の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第２の実施形態においては、Ｆｒフレーム表示後の表示について、図２６を参照して説明したステップＳ１６４からステップＳ１７８までの処理のように、まず、注目被写体と重なる部分の背景の画像が表示され、次に注目被写体が消失する表現となっている。これに対して本変形例では、注目被写体と重なる部分の背景の画像が現れる表示と、注目被写体の消失とが同時に起こる表現とする。
【０１２９】
このため、本変形例では、図３０に示すフローチャートのように、ステップＳ１８２において、画像処理部２００は、背景画像加工部２６０に背景画像加工処理を実行させ、加工背景画像のデータを作成させる。次にステップＳ１８４において、画像処理部２００は、前景画像加工部２７０に前景画像加工処理を実行させ、加工前景画像のデータを作成させる。次にステップＳ１８６において、画像処理部２００は、表示制御部５５０に、前景画像のデータとして加工前景画像のデータを、背景画像のデータとして加工背景画像のデータを、それぞれ出力する。次にステップＳ１８８において、画像処理部２００は、変数ｂ１を１増加させる。次にステップＳ１９０において、画像処理部２００は、変数ｂ２を１００−ｂ１に基づいて算出する。次にステップＳ１９２において、画像処理部２００は、変数ｂ１が１００より大きいか判断する。ステップＳ１９２における判断で、変数ｂ１が１００以下ならば、処理をステップＳ１８２に戻し、変数ｂ１が１００より大きければ、処理を終了する。
【０１３０】
本変形例によれば、動画表示後の注目被写体が背景に溶け込む表示において、第２の実施形態とは異なる視覚効果が得られる。
【０１３１】
［第２の実施形態の第２の変形例］
次に、本発明の第２の実施形態の第２の変形例について説明する。ここで本変形例の説明では、第２の実施形態の第１の変形例との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本変形例は、動画表示後の注目被写体が背景に溶け込む表示において、注目被写体が位置すると認識される平面を、徐々に表示背景画像が位置すると認識される平面に近づける表示とする。
【０１３２】
このため、本変形例では、図３１に示すフローチャートのように、ステップＳ１８４に続いて、ステップＳ１８５１において、画像処理部２００は、飛出し率Ｄを、所定の関数Ｄ＝ｋ（ｂ１）を用いて算出する。ここで、例えばｋ（０）＝Ｄ０であり、ｋ（１００）＝０である任意の関数を用いるのもよい。続いて、ステップＳ１８５２において、画像処理部２００は、飛出し率Ｄを表示制御部５５０に出力する。ステップＳ１８５１で算出され、ステップＳ１８５２で出力された飛出し率Ｄを入力した表示制御部５５０は、入力されたＤに応じて、移動支持手段６５６の動きを制御して、第２のサーキュラフレネルレンズ６５４を移動させる。これにより、観察者から注目被写体が認識される平面は、移動する。その後のステップＳ１８６以降の動作は、第２の実施形態の第１の変形例の場合と同じである。
【０１３３】
本変形例によれば、動画表示後の注目被写体が背景に溶け込む表示において、第２の実施形態とは異なる視覚効果が得られる。
【０１３４】
また、第１の実施形態の第１の変形例における表現と同様の表現を行うため、前景画像加工部２７０は、飛出し率Ｄに応じて、注目被写体の大きさを変化させるようにしてもよい。このとき、前景画像加工部２７０は、注目被写体の大きさが変化して認識されるように、注目被写体の画像のデータに変更を施して被写体変更画像を作成する、被写体サイズ変更手段として機能する。このようにしても、動画表示後の注目被写体が背景に溶け込む表示において、第２の実施形態とは異なる視覚効果が得られる。
【０１３５】
［第２の実施形態の第３の変形例］
次に、本発明の第２の実施形態の第３の変形例について説明する。ここで本変形例の説明では、第２の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本変形例は、第１の実施形態の第２の変形例と同様に、注目被写体の動きに応じて、飛出し率Ｄを異ならせる。
本変形例に係る画像表示装置は、図２１を参照して説明した第１の実施形態の第２の変形例の場合と同様に、動き量検出部２５０を有する。
【０１３６】
本変形例の動作を示すフローチャートを、図３２に示す。この図に示すように、ステップＳ１５６の被写体抽出処理の後に、第１の実施形態の第２の変形例の場合のステップＳ１０７と同様の、ステップＳ１５７の動き量検出処理による飛出し率Ｄｎの算出が行われる。
【０１３７】
本変形例によっても、第１の実施形態の第２の変形例の場合と同様に、Ｆｒフレームの動画像を表示する際に、注目被写体の動きに応じて、観察者が認識する注目被写体の飛び出し率が異なる視覚効果が得られる。
【０１３８】
また、本変形例は、第２の実施形態の第１の変形例と組み合わせ用いてもよい。また、第１の実施形態の消失画像生成部が作成する被写体消失画像と同様に、注目被写体が徐々に小さくなるように構成してもよい。
【０１３９】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても、発明が解決しようとする課題の欄で述べられた課題が解決でき、かつ、発明の効果が得られる場合には、この構成要素が削除された構成も発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１４０】
１００…制御部、２００…画像処理部、２１０…被写体抽出部、２２０…３次元画像生成部、２３０…輪郭画像生成部、２４０…消失画像生成部、２５０…動き量検出部、２６０…背景画像加工部、２７０…前景画像加工部、３００…画像メモリ、４００…画像入力部、５００…表示制御部、５５０…表示制御部、６００…表示部、６１０…表示パネル、６２０…面光源、６２２…導光板、６２４…反射板、６２６…第１の発光素子、６２８…第２の発光素子、６５０…表示部、６５１…第１のディスプレイ、６５２…第２のディスプレイ、６５３…第１のサーキュラフレネルレンズ、６５４…第２のサーキュラフレネルレンズ、６５５…反射偏光板、６５６…移動支持手段、８００…画像記録メディア、８１０…被写体存在画像、８２０…被写体背景画像、８３０…表示背景画像、９１０…被写体抽出画像、９２０…左眼用画像、９３０…右眼用画像、９４０…被写体輪郭画像、９５０…被写体消失画像、９６０…加工背景画像。
【技術分野】
【０００１】
本発明は、画像処理装置、画像表示装置、及び画像処理方法、特に３次元表示を行うための画像処理装置、画像表示装置、及び画像処理方法に関する。
【背景技術】
【０００２】
背景と注目する被写体とが存在する画像から、注目する被写体を切り抜いて、別途用意した他の背景画像に、切り抜いた被写体を合成する技術が知られている。例えば特許文献１には、ある背景の前に被写体が存在する画像を撮影し、次に、被写体が存在しない同じ背景の画像を撮影し、背景画像と被写体が存在する画像との差分情報から、被写体を切り出す機能を有する撮像装置に関する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１８３５６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような、ある画像から注目する被写体を切り抜いて、その被写体を別途用意した背景画像に合成する場合、一般に１枚の合成画像が作成され、２次元表示がなされる。これに対して、切り抜いた注目被写体が、別途用意した背景画像の手前又は奥に見える３次元表示を行えば、新たな視覚効果が得られる。
【０００５】
そこで本発明は、注目被写体が背景画像の手前又は奥に見えるという新たな視覚効果が得られる３次元画像を作成する画像処理装置、その画像処理装置が作成した３次元画像を表示する画像表示装置、及びその画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を果たすため、本発明の画像処理装置の一態様は、注目被写体を含む被写体存在画像のデータを入力し、被写体存在画像のデータから注目被写体の画像のデータを抽出する被写体抽出手段と、抽出された前記注目被写体の画像のデータと表示背景画像のデータとを入力し、観察方向に沿って観察された際に該表示背景画像が表示されていると観察者に認識される面の手前又は奥に位置する面に該注目被写体の画像が表示されていると観察者に認識される３次元画像のデータを作成する３次元画像データ作成手段と、を具備することを特徴とする。
【０００７】
また、前記目的を果たすため、本発明の画像表示装置の一態様は、注目被写体を含む被写体存在画像のデータを入力し、前記被写体存在画像のデータから前記注目被写体の画像のデータを抽出する被写体抽出手段と、抽出された前記注目被写体の画像のデータと表示背景画像のデータとを入力し、観察方向に沿って観察された際に該表示背景画像が表示されていると観察者に認識される面の手前又は奥に位置する面に該注目被写体の画像が表示されていると観察者に認識される３次元画像のデータを作成する３次元画像データ作成手段と、を具備し、前記３次元画像のデータは、両眼視差によって観察者に３次元画像を認識させるためのデータであって、該観察者に左眼で観察させる左眼用画像のデータと該観察者に右眼で観察させる右眼用画像のデータとを含み、前記３次元画像データ作成手段は、前記表示背景画像のデータに前記注目被写体の画像のデータを合成することで前記左眼用画像のデータ及び前記右眼用画像のデータを作成し、前記左眼用画像における前記表示背景画像に対する前記注目被写体の位置は、前記右眼用画像における前記表示背景画像に対する前記注目被写体の位置と、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との前記観察方向に沿った奥行き度に応じて異なる、ことを特徴とする画像処理装置と、前記観察者の左眼に左眼用画像を観察させ、該観察者の右眼に右眼用画像を観察させるように構成された表示手段と、を具備することを特徴とする。
【０００８】
また、前記目的を果たすため、本発明の画像表示装置の一態様は、注目被写体を含む被写体存在画像のデータを入力し、前記被写体存在画像のデータから前記注目被写体の画像のデータを抽出する被写体抽出手段と、抽出された前記注目被写体の画像のデータと表示背景画像のデータとを入力し、観察方向に沿って観察された際に該表示背景画像が表示されていると観察者に認識される面の手前又は奥に位置する面に該注目被写体の画像が表示されていると観察者に認識される３次元画像のデータを作成する３次元画像データ作成手段と、を具備し、前記３次元画像のデータは、前景表示パネルに表示した前景と背景表示パネルに表示した背景とを、前記観察方向に沿って重なり合って見える異なる面に結像させることによって観察者に３次元画像を認識させるためのデータであって、該前景表示パネルに表示させる前景画像のデータと該背景表示パネルに表示させる背景画像のデータとを有し、前記３次元画像データ作成手段は、前記注目被写体の画像のデータに基づいて前記前景画像のデータを作成する前景画像加工手段と、前記表示背景画像のデータに基づいて前記背景画像のデータを作成する背景画像加工手段と、を有する、ことを特徴とする画像処理装置と、前記前景表示パネルと、前記背景表示パネルと、前記前景画像及び前記背景画像を前記異なる面に結像させる光学系と、を有する表示手段と、を具備することを特徴とする。
【０００９】
また、前記目的を果たすため、本発明の画像処理方法の一態様は、注目被写体を含む被写体存在画像のデータを入力して前記被写体存在画像のデータから前記注目被写体の画像のデータを抽出し、抽出された前記注目被写体の画像のデータと表示背景画像のデータとを入力して観察方向に沿って観察された際に該表示背景画像が表示されていると観察者に認識される面の手前又は奥に位置する面に該注目被写体の画像が表示されていると観察者に認識される３次元画像のデータを作成する、ことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、注目被写体が背景画像の手前又は奥に見えるという新たな視覚効果が得られる３次元画像を作成する画像処理装置、その画像処理装置が作成した３次元画像を表示する画像表示装置、及びその画像処理方法を提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る画像表示装置の構成例を示すブロック図。
【図２】第１の実施形態に係る画像表示装置の表示部の構成例を示す図。
【図３】第１の実施形態に係る画像表示装置の画像処理部の動作例を示すフローチャート。
【図４】第１の実施形態に係る画像表示装置の被写体抽出部が実行する被写体抽出処理の一例を示すフローチャート。
【図５】第１の実施形態に係る被写体抽出部が実行する被写体抽出処理により作成される画像を説明するための図。
【図６】第１の実施形態に係る画像表示装置の３次元画像生成部が実行する３次元画像生成処理の一例を示すフローチャート。
【図７】両眼視差による立体視を説明するための図。
【図８】第１の実施形態に係る３次元画像生成処理により作成される画像を説明するための図。
【図９】第１の実施形態に係る３次元画像生成処理により作成される画像によって観察者が認識する画像を説明するための図。
【図１０】第１の実施形態に係る画像表示装置の輪郭画像生成部が実行する輪郭画像生成処理の一例を示すフローチャート。
【図１１】第１の実施形態に係る輪郭画像生成処理により作成される画像を説明するための図。
【図１２】第１の実施形態に係る輪郭画像生成処理により作成される画像によって観察者が認識する画像を説明するための図。
【図１３】第１の実施形態に係る画像表示装置の消失画像生成部が実行する消失画像生成処理の一例を示すフローチャート。
【図１４】第１の実施形態に係る消失画像生成処理により作成される画像を説明するための図。
【図１５】第１の実施形態に係る消失画像生成処理により作成される画像によって観察者が認識する画像を説明するための図。
【図１６】第１の実施形態に係る消失画像生成処理における変数ｐと飛出し率Ｄとの関係の例を示す図。
【図１７】第１の実施形態の第１の変形例に係る画像表示装置の画像処理部の動作例を示すフローチャート。
【図１８】第１の実施形態の第１の変形例に係る画像表示装置の消失画像生成部が実行する消失画像生成処理の一例を示すフローチャート。
【図１９】第１の実施形態の第１の変形例に係る画像表示装置の輪郭画像生成部が実行する輪郭画像生成処理の一例を示すフローチャート。
【図２０】第１の実施形態の第１の変形例に係る輪郭画像生成処理により作成される画像によって観察者が認識する画像を説明するための図。
【図２１】第１の実施形態の第２の変形例に係る画像表示装置の構成例を示すブロック図。
【図２２】第１の実施形態の第２の変形例に係る画像表示装置の画像処理部の動作例を示すフローチャート。
【図２３】第１の実施形態の第２の変形例に係る画像表示装置の動き量検出部が実行する動き量検出処理の一例を示すフローチャート。
【図２４】本発明の第２の実施形態に係る画像表示装置の構成例を示すブロック図。
【図２５】第２の実施形態に係る画像表示装置の表示部の構成例を示す図。
【図２６】第２の実施形態に係る画像表示装置の画像処理部の動作例を示すフローチャート。
【図２７】第２の実施形態に係る画像表示装置の背景画像加工部が実行する背景画像加工処理の一例を示すフローチャート。
【図２８】第２の実施形態に係る背景画像加工処理により作成される画像を説明するための図。
【図２９】第２の実施形態に係る画像表示装置の前景画像加工部が実行する前景画像加工処理の一例を示すフローチャート。
【図３０】第２の実施形態の第１の変形例に係る画像表示装置の画像処理部の動作例を示すフローチャート。
【図３１】第２の実施形態の第２の変形例に係る画像表示装置の画像処理部の動作例を示すフローチャート。
【図３２】第２の実施形態の第３の変形例に係る画像表示装置の画像処理部の動作例を示すフローチャート。
【発明を実施するための形態】
【００１２】
［第１の実施形態］
まず、本発明の第１の実施形態について図面を参照して説明する。本実施形態に係る画像表示装置の構成例を図１に示す。この図に示すように、本画像表示装置は、制御部１００と、画像処理部２００と、画像メモリ３００と、画像入力部４００と、表示制御部５００と、表示部６００とを備える。ここで、画像処理部２００は、被写体抽出部２１０と、３次元画像生成部２２０と、輪郭画像生成部２３０と、消失画像生成部２４０とを有する。
【００１３】
また、本画像表示装置には、画像記録メディア８００が接続される。ここで、画像記録メディア８００は、例えばフラッシュメモリであり、被写体存在画像８１０のデータと、被写体背景画像８２０のデータと、表示背景画像８３０のデータとを記録している。被写体存在画像８１０は、例えば人物等の注目被写体を含む動画像である。被写体存在画像８１０のフレーム数は、Ｆｒであるとする。被写体背景画像８２０は、被写体存在画像８１０と同じ場所で且つ同条件で撮影された、注目被写体が写っていない静止画像である。表示背景画像８３０は、表示部６００に表示させる背景の画像であり、動画でも静止画でもよい。本実施形態の説明では、簡単のため、表示背景画像８３０は、静止画であるものとする。また、被写体存在画像８１０と、被写体背景画像８２０と、表示背景画像８３０とは、それぞれ同じ画像サイズ（同じ画素数）を有しているものとして説明する。被写体存在画像８１０と被写体背景画像８２０と表示背景画像８３０との画像サイズが異なる場合は、公知の技術により画像の拡大又は縮小を行い、サイズを一致させればよい。
【００１４】
制御部１００は、画像処理部２００、画像メモリ３００、画像入力部４００、及び表示制御部５００と接続しており、本画像表示装置全体の動作を制御する。画像入力部４００は、画像記録メディア８００及び画像メモリ３００と接続している。画像入力部４００は、制御部１００の制御の下、画像記録メディア８００に記録されている画像を読み出し、画像メモリ３００に記憶させる。
【００１５】
画像処理部２００は、本発明に係る画像処理装置の一実施形態である。画像処理部２００は、被写体存在画像８１０のデータと、被写体背景画像８２０のデータと、表示背景画像８３０のデータとから、表示部６００に表示させるための画像データを作成する。簡単に説明すると、観察者から見て、表示部６００に表示された画像は、次のように見える。まず、被写体存在画像中の注目被写体が切り出されて、表示背景画像８３０を背景として、切り出された注目被写体は、表示背景画像８３０に対して所定の飛出し度合いで飛出して見える。このように表示背景画像８３０に対して飛出した状態で動く注目被写体が、Ｆｒフレーム分表示される。次に、Ｆｒフレームの表示が終了すると、表示背景画像８３０に対して飛出した状態で、Ｔフレーム分の時間をかけて注目被写体の部分が、当該注目被写体の裏側に相当する部分の表示背景画像８３０に徐々に変更される。その後、Ｕフレーム分の時間をかけて、注目被写体は、大きさを変えながら、表示背景画像８３０に対する飛出し度合いを変化させて、やがて表示背景画像８３０に溶け込むように消える。画像処理部２００は、このように見えるように表示部６００に表示させるための画像データを作成する。
【００１６】
被写体抽出部２１０は、被写体抽出処理を行う。即ち、被写体抽出部２１０は、被写体存在画像８１０のデータと被写体背景画像８２０のデータとを比較する。そして、被写体抽出部２１０は、被写体存在画像８１０のデータと被写体背景画像８２０のデータとの相違度を算出して、画像上の位置に対する相違度を表す相違度マップを作成する。被写体抽出部２１０は、相違度マップに基づいて、広い領域において相違度が高い領域を被写体領域として特定し、被写体領域の画像情報を抽出した被写体抽出画像のデータを作成する。
【００１７】
３次元画像生成部２２０は、表示背景画像８３０に対応する背景画像のデータに注目被写体の画像である前景画像のデータを合成することで、表示部６００に表示させる左眼用画像のデータと右眼用画像のデータとを作成する。表示部６００に表示させた左眼用画像と右眼用画像とを観察した観察者が、前景画像が、背景画像に対して飛出しているように見えるように、３次元画像生成部２２０は、背景画像のデータに対して前景画像のデータを合成する位置を、左眼用画像と右眼用画像とで異ならせるようにする。
【００１８】
輪郭画像生成部２３０は、前記した被写体抽出画像のデータと表示背景画像８３０のデータとに基づいて、被写体輪郭画像のデータを作成する。ここで、輪郭画像生成部２３０は、被写体抽出画像のデータ中の注目被写体の輪郭を抽出し、この輪郭の内部の画像情報を、被写体抽出画像の画像情報と表示背景画像８３０の画像情報とを混合した画像情報とするように、１画素ずつ画像情報を置換して、被写体輪郭画像のデータを作成する。
【００１９】
消失画像生成部２４０は、前記した被写体抽出画像のデータと表示背景画像８３０のデータとに基づいて、被写体消失画像のデータを作成する。ここで、消失画像生成部２４０は、飛出し率Ｄｐと注目被写体の拡大率Ｍとを算出する。消失画像生成部２４０は、算出した拡大率Ｍに基づいて、被写体抽出画像のデータ中の注目被写体を拡大又は縮小して大きさを変更する。更に、消失画像生成部２４０は、大きさを変更した注目被写体の輪郭の内部の画像情報を表示背景画像８３０の相当する部分の画像情報に置き換える。
【００２０】
画像メモリ３００は、例えば、ＤＲＡＭ等により構成され、被写体存在画像８１０のデータ、被写体背景画像８２０のデータ、及び表示背景画像８３０のデータ、並びに、制御部１００、画像処理部２００、被写体抽出部２１０、３次元画像生成部２２０、輪郭画像生成部２３０、及び消失画像生成部２４０等によって処理されるデータ等を一時記憶する。
【００２１】
表示制御部５００は、制御部１００、画像メモリ３００及び表示部６００と接続している。制御部１００の制御の下、表示制御部５００は、画像メモリ３００から、左眼用画像のデータ及び右眼用画像のデータを取得し、それらを表示部６００に出力しつつ、表示部６００を制御して、表示部６００に左眼用画像及び右眼用画像を表示させる。
【００２２】
本実施形態に係る表示部６００は、表示制御部５００の制御下で駆動される、両眼視差を用いる３Ｄ時分割視差表示装置である。表示部６００は、右眼用画像と左眼用画像とを交互に表示させる。表示部６００は、右眼用画像の表示には、右眼方向に向かう指向性を有する光を用い、左眼用画像の表示には、左眼方向に向かう指向性を有する光を用いる。このような表示装置は、例えば特開２００６−３１０２６９号公報に開示されている。
【００２３】
図２を参照して表示部６００の構成を簡単に説明する。表示部６００は、表示パネル６１０と面光源６２０とを有する。表示パネル６１０は、例えば液晶パネル等、画素毎に光の透過率を変更するパネルである。面光源６２０は、表示パネル６１０に対して光を照射するバックライトとして機能する。面光源６２０は、導光板６２２と反射板６２４とを備える。また、面光源６２０は、第１の発光素子６２６と第２の発光素子６２８とを備える。
【００２４】
反射板６２４には、第１の発光素子６２６の出射点と第２の発光素子６２８の出射点との中点を中心とする同心円状の溝が形成されている。この溝の形状のため、反射板６２４で反射される光は、特定の方向に進行する。即ち、第１の発光素子６２６から出射した光は、導光板６２２内を進行し、反射板６２４で反射され、観察者の右眼に入射する。一方、第２の発光素子６２８から出射した光は、導光板６２２内を進行し、反射板６２４で反射され、観察者の左眼に入射する。
【００２５】
したがって、表示パネル６１０に右眼用画像を表示しているときに、第１の発光素子６２６を点灯し第２の発光素子６２８を消灯すると、右眼用画像は、観察者の右眼に到達する。表示パネル６１０に左眼用画像を表示しているときに、第２の発光素子６２８を点灯し第１の発光素子６２６を消灯すると、左眼用画像は、観察者の左眼に到達する。即ち、表示パネル６１０に右眼用画像と左眼用画像とを交互に表示させ、これとタイミングを合わせて、第１の発光素子６２６及び第２の発光素子６２８の点灯と消灯とを制御すると、観察者の右眼に右眼用画像を、観察者の左眼に左眼用画像を、それぞれ観察させることができる。ここで、右眼用画像と左眼用画像とを、視差に応じて異なる画像とすることで、観察者に、３次元の画像を認識させることができる。本３Ｄ時分割視差表示装置によれば、観察者は、裸眼で立体的に認識される画像を観察することができる。
【００２６】
このように、例えば被写体抽出部２１０は、前記被写体存在画像のデータから前記注目被写体の画像のデータを抽出する被写体抽出手段として機能する。また、例えば３次元画像生成部２２０は、注目被写体の画像のデータと表示背景画像のデータとに基づいて、３次元画像のデータ作成手段として機能する。また、例えば輪郭画像生成部２３０は、注目被写体が表示背景画像に溶け込むように認識されるように、注目被写体の画像のデータに変更を施し被写体変更画像のデータを作成する被写体変更手段や、注目被写体が前記表示背景画像に置き換わるように認識されるように、注目被写体の画像のデータに変更を施して被写体変更画像のデータを作成する被写体−背景置換手段や、注目被写体の画像のデータに表示背景画像のデータを混合した被写体輪郭画像のデータを作成する輪郭画像生成手段として機能する。また、例えば消失画像生成部２４０は、注目被写体が表示背景画像に溶け込むように認識されるように、注目被写体の画像のデータに変更を施し被写体変更画像のデータを作成する被写体変更手段や、注目被写体の大きさが順次変化して認識されるように、注目被写体の画像のデータに変更を施して被写体変更画像のデータを作成する被写体サイズ変更手段や、注目被写体を含む画像のデータに変更を施して被写体消失画像のデータを作成し、被写体消失画像に基づいて奥行き度の値を設定する消失画像生成手段として機能する。
【００２７】
次に本実施形態に係る表示装置の動作について説明する。まず、制御部１００の制御の下、画像入力部４００は、画像記録メディア８００に記録された被写体存在画像８１０のデータと、被写体背景画像８２０のデータと、表示背景画像８３０のデータとを読み出し、画像メモリ３００に記憶させる。
【００２８】
制御部１００の制御の下、画像処理部２００は、図３に示すフローチャートのように動作する。ここでまず、その概要を説明する。ステップＳ１０４からステップＳ１１２までのループ処理において、画像処理部２００は、Ｆｒフレームの動画である被写体存在画像８１０からフレーム毎に注目被写体の画像を抽出し、その注目被写体の画像が表示背景画像８３０に対して飛出し率Ｄ０だけ飛出して見える３次元表示のための画像データを、フレーム毎に出力する。
【００２９】
Ｆｒフレームの表示が全て終了したら、ステップＳ１１４からステップＳ１２２までのループ処理において、画像処理部２００は、次のように見える３次元表示のための画像データを出力する。まず、表示背景画像８３０に対して飛出し率Ｄ０だけ飛出して見える位置に、被写体存在画像の最終フレームの注目被写体の輪郭が表示される。そして、この輪郭内の画像情報が、注目被写体の画像情報から、その輪郭内に相当する位置の表示背景画像８３０の画像情報に段階的に置き換わる。
【００３０】
被写体存在画像の最終フレームの注目被写体の輪郭内の画像情報が表示背景画像８３０に置き換わったら、ステップＳ１２４からステップＳ１３２までのループ処理において、画像処理部２００は、次のように見える３次元表示のための画像データを出力する。注目被写体の輪郭内の画像情報が表示背景画像８３０に置き換わっている。そのような注目被写体の画像が、段階的にサイズと飛出し率とを変化させる。そして、最終的に飛出し率は０となり、表示背景画像８３０と注目被写体の輪郭とが判別できない画像となる。
【００３１】
次に図３に示すフローチャートを参照して、画像処理部２００の処理を順に説明する。
ステップＳ１０２において、画像処理部２００は、後述する各種パラメータを初期値に設定する。例えば、ステップＳ１０４からステップＳ１１２までのループ処理のループ回数を制御する変数ｎを１に設定し、ステップＳ１１４からステップＳ１２２までのループ処理のループ回数を制御する変数ｍを０に設定し、ステップＳ１２４からステップＳ１３２までのループ処理のループ回数を制御する変数ｐを０に設定し、飛出し率ＤをＤ０に設定し、拡大率Ｍを１に設定する。
【００３２】
ステップＳ１０４において、画像処理部２００は、変数ｎが被写体存在画像のフレーム数Ｆｒ以下であるか否かを判定する。
ステップＳ１０４の判定の結果、変数ｎがフレーム数Ｆｒ以下であれば、ステップＳ１０６において、画像処理部２００は、画像処理部２００内の被写体抽出部２１０に、被写体抽出処理を実行させる。この被写体抽出処理は、被写体存在画像のデータ中から、例えば人物等の注目被写体を抽出し、被写体抽出画像のデータを作成する処理である。ここで、被写体抽出部２１０が実行する被写体抽出処理を、図４に示すフローチャートを参照して説明する。
【００３３】
ステップＳ２０２において、被写体抽出部２１０は、画像メモリ３００に記憶されている被写体存在画像８１０のｎフレーム目の画像データと被写体背景画像８２０のデータとを読み出す。
ステップＳ２０４において、被写体抽出部２１０は、ステップＳ２０２において読み出した被写体存在画像８１０のｎフレーム目の画像データと被写体背景画像８２０のデータとを重ね合わせるため、それぞれの画像データの特徴点を抽出する。
【００３４】
ステップＳ２０６において、被写体抽出部２１０は、ステップＳ２０４において抽出した特徴点を比較して、被写体存在画像８１０と被写体背景画像８２０との画像のずれである動きベクトルを算出する。より具体的には、例えば被写体背景画像８２０のデータのそれぞれの特徴点について、被写体存在画像８１０のデータ内で探索し、一致度を表す表価値が最もよい点を決定し、各点に関する動きベクトルを算出する。このようにして算出された各点に関する動きベクトルを統計的に処理し、画像全体に関する動きベクトルを算出する。
【００３５】
ステップＳ２０８において、被写体抽出部２１０は、ステップＳ２０６において算出した動きベクトルを用いて、被写体存在画像８１０のデータと被写体背景画像８２０のデータとの位置合せを行う。より具体的には、例えば、ステップＳ２０６において算出した動きベクトルに基づいて、射影変換行列を決定する。この射影変換行列を用いて、被写体背景画像８２０を射影変換することで、被写体存在画像８１０のデータと被写体背景画像８２０のデータとの位置を合わせる。
【００３６】
ステップＳ２１０において、被写体抽出部２１０は、被写体存在画像８１０のデータから注目被写体を抽出するため、ステップＳ２０６において位置合せをした被写体存在画像８１０のデータと被写体背景画像８２０のデータとの、対応する各画素を比較する。そして、被写体抽出部２１０は、各画素についての相違度を算出し、各画素の位置と各画素の相違度との関係を表す相違度マップを作成する。
【００３７】
ステップＳ２１２において、被写体抽出部２１０は、ステップＳ２１０で作成した相違度マップ内の相違度を、所定の閾値で二値化する。
ステップＳ２１４において、被写体抽出部２１０は、ステップＳ２１２で二値化した相違度と、各画素の位置関係を調べ、相違度が高い領域を抽出する。被写体抽出部２１０は、相違度が高い領域のうち、その領域の面積が最も広い領域を選択し、当該領域を被写体領域として特定する。この被写体領域が、例えば人物等の注目被写体を表す領域に相当する。
【００３８】
ステップＳ２１６において、被写体抽出部２１０は、ステップＳ２１４で特定した被写体領域の内部は、被写体存在画像８１０の情報を有しており、被写体領域の外部は、空の画像情報を有する画像である被写体抽出画像のデータを作成する。ここで、空の画像情報は、任意でよく、例えば、黒表示を表す情報としてもよい。
【００３９】
ステップＳ２１８において、被写体抽出部２１０は、ステップＳ２１６で作成した被写体抽出画像のデータを画像メモリ３００に記憶させる。その後、被写体抽出部２１０は、処理を終了する。
本被写体抽出処理によって、例えば図５に示すように、被写体存在画像８１０のデータ及び被写体背景画像８２０のデータから、被写体抽出画像９１０のデータが作成される。
【００４０】
図３に戻って、説明を続ける。ステップＳ１０６における被写体抽出処理によって被写体抽出画像９１０のデータが作成された後、ステップＳ１０８において、画像処理部２００は、画像処理部内の３次元画像生成部２２０に、３次元画像生成処理を実行させる。３次元画像生成処理では、表示部に入力する左眼用画像のデータと右眼用画像のデータとを作成する。
【００４１】
ステップＳ１０６において作成される左眼用画像のデータと右眼用画像のデータとは、表示背景画像８３０のデータに被写体抽出画像９１０のデータを合成して作成される。ここで表示背景画像８３０のデータに被写体抽出画像９１０のデータを合成する際には、左眼用画像のデータの作成にあたっては、それら画像のデータの位置を左眼用画像シフト量ＳＬだけずらして合成し、右眼用画像のデータの作成にあたっては、それら画像のデータの位置を右眼用画像シフト量ＳＲだけずらして合成する。３次元画像生成部２２０が実行する３次元画像生成処理を、図６に示すフローチャートを参照して説明する。
【００４２】
ステップＳ３０２において、３次元画像生成部２２０は、画像メモリ３００に記憶されている前景画像のデータと背景画像のデータとを読み込む。ステップＳ１０８における３次元処理においては、前景画像のデータは、被写体抽出画像９１０のデータであり、背景画像のデータは、表示背景画像８３０のデータである。
【００４３】
ステップＳ３０４において、３次元画像生成部２２０は、飛出し率Ｄに基づいて、公知の３次元表示の技術を用いて、左眼用画像シフト量ＳＬと右眼用画像シフト量ＳＲとを算出する。例えば、一般に図７に示すように、画面に表示する右眼用画像Ｒと左眼用画像Ｌとを位置ずれ量Ｅだけずらして表示すると、観察者からは、右眼用画像Ｒと左眼用画像Ｌとに基づいて、画面から飛出し量Ｄｉだけ飛出した位置に像Ｉｉが認識される。このとき、像Ｉｉの飛出し量Ｄｉは、画面から右眼及び左眼までの距離Ｄｓと、位置ずれ量Ｅと、観察者の右眼と左眼との距離Ａとを用いて、次式（１）で表すことができる。
Ｄｉ＝Ｄｓ・Ｅ／（Ａ−Ｅ） ・・・（１）
また、像Ｉｉの大きさＳｉは、画面に表示されている像の大きさＳｐと、右眼と左眼との距離Ａと、位置ずれ量Ｅとを用いて、次式（２）で表すことができる。
Ｓｉ＝Ｓｐ・Ａ／（Ａ−Ｅ） ・・・（２）
左眼用画像シフト量ＳＬと右眼用画像シフト量ＳＲの算出には、例えばこれらの関係を用いることができる。ステップＳ１０８における３次元処理においては、飛出し率Ｄ＝Ｄｉ／ＤｓがＤ０であるとして、左眼用画像シフト量ＳＬと右眼用画像シフト量ＳＲとを算出する。例えば、表示背景画像８３０に対して、被写体抽出画像９１０を右方向に左眼用画像シフト量ＳＬずらして合成して左眼用画像を作成し、表示背景画像８３０に対して、被写体抽出画像９１０を左方向に右眼用画像シフト量ＳＲずらして合成して右眼用画像を作成する場合、ＳＬ＋ＳＲ＝Ｅの関係を有するようにすればよい。なお、距離Ａは、一般的に知られているヒトの目の間隔の平均値を用いる。
【００４４】
ステップＳ３０６において、３次元画像生成部２２０は、前景画像のデータと背景画像のデータとを左眼用画像シフト量ＳＬだけずらして合成する。この合成では、前景画像のデータの被写体領域に相当する部分について、背景画像の情報を前景画像の情報に置き換える。被写体領域以外の領域については、このような置き換えを行わず、背景画像の情報をそのまま残す。このようにして、背景画像のデータ上に、前景画像のデータの被写体領域が合成された、左眼用画像のデータが作成される。ステップＳ１０８における３次元処理では、ステップＳ３０６において、表示背景画像８３０のデータに被写体抽出画像９１０のデータの注目被写体を、左眼用画像シフト量ＳＬだけずらして合成する。
【００４５】
ステップＳ３０８において、３次元画像生成部２２０は、ステップＳ３０６における左眼用画像のデータの作成と同様に、前景画像のデータと背景画像のデータとを右眼用画像シフト量ＳＲだけずらして合成し、右眼用画像のデータを作成する。ステップＳ１０８における３次元処理では、ステップＳ３０６において、表示背景画像８３０のデータに被写体抽出画像９１０のデータの注目被写体を、右眼用画像シフト量ＳＲだけずらして合成する。
ステップＳ３１０において、３次元画像生成部２２０は、作成した左眼用画像のデータと右眼用画像のデータとを、画像メモリ３００に記憶させる。その後、３次元画像生成部２２０は、処理を終了する。
【００４６】
本被写体抽出処理によって、例えば図８に示すように、表示背景画像８３０のデータ及び被写体抽出画像９１０のデータから、左眼用画像９２０のデータ及び右眼用画像９３０のデータが作成される。なお、図８の左眼用画像９２０のデータ及び右眼用画像９３０のデータにおいて破線で示した枠は、表示背景画像８３０に対する被写体抽出画像９１０の画像範囲を示す。
【００４７】
図３に戻って、説明を続ける。ステップＳ１０８において、３次元画像生成処理が実行され、左眼用画像９２０のデータ及び右眼用画像９３０のデータが作成された後、ステップＳ１１０において、画像処理部２００は、画像メモリ３００に記憶された左眼用画像９２０のデータ及び右眼用画像９３０のデータを、表示制御部５００に出力する。
【００４８】
左眼用画像９２０のデータ及び右眼用画像９３０のデータが入力された表示制御部５００は、表示部６００の表示パネル６１０に、左眼用画像９２０と右眼用画像９３０とを交互に表示させる。ここで、表示制御部５００は、左眼用画像９２０と右眼用画像９３０との表示に同期させて、第１の発光素子６２６と第２の発光素子６２８との点滅を制御する。その結果、観察者にとって、例えば図９に模式的に示すように、注目する被写体である人物が背景の画像に対して飛出し率Ｄ０だけ浮き上がって見える画像が表示される。
【００４９】
ステップＳ１１２において、画像処理部２００は、変数ｎの値を１増加させ、処理をステップＳ１０４に戻す。ステップＳ１０４の判定で、変数ｎがフレーム数Ｆｒ以下である間は、ステップＳ１０６からステップＳ１１０の処理を繰り返す。したがって、ステップＳ１０６からステップＳ１１０の処理を繰り返す間、３次元画像が表示部６００には、表示背景画像８３０を背景として、被写体存在画像８１０中の注目被写体が、飛出し率Ｄ０で浮き上がって認識される、動画像が表示される。
【００５０】
ステップＳ１０４の判定の結果、変数ｎがフレーム数Ｆｒ以下でないとき、画像処理部２００は、処理をステップＳ１１４に移す。ここで、変数ｎがフレーム数Ｆｒ以下でないときとは、動画である被写体存在画像８１０のデータの記録されているフレームが全て再生された後の状態である。これ以降の動作においては、被写体抽出画像９１０のデータとしては、最終フレームの画像データより作成した被写体抽出画像９１０のデータが用いられる。
【００５１】
ステップＳ１１４において、画像処理部２００は、輪郭画像生成部２３０に輪郭画像生成処理を実行させる。輪郭画像生成処理は、被写体抽出画像９１０中の注目被写体の画像情報を、表示背景画像８３０の相当する位置の画像情報に、輪郭を残して段階的に置き換える処理である。輪郭画像生成部２３０が実行する輪郭画像生成処理を、図１０に示すフローチャートを参照して説明する。
【００５２】
ステップＳ４０２において、輪郭画像生成部２３０は、画像メモリ３００から、表示背景画像８３０のデータと被写体抽出画像９１０のデータとを読み出す。
ステップＳ４０４において、輪郭画像生成部２３０は、被写体抽出画像９１０のデータの注目被写体の輪郭を抽出する。即ち、画像情報が存在する部分と、空の画像情報が存在する部分との境界の座標を特定する。例えば、輪郭画像生成部２３０は、空の画像情報を抽出できる閾値を設定して画像データを探索することで境界の座標を特定してもよいし、ハイパスフィルタリングによってエッジを検出することで、境界の座標を特定してもよい。
【００５３】
ステップＳ４０６において、輪郭画像生成部２３０は、被写体抽出画像９１０のデータの、ステップＳ４０４において抽出された輪郭の内部の画像情報ついて次のように更新し、被写体輪郭画像９４０のデータを作成する。即ち、各画素の画像情報について、変数ｍを用いて、背景画像×ｍ／Ｔ＋被写体切り抜き画像×（１−ｍ／Ｔ）で与えられる画像情報に置き換え、被写体輪郭画像のデータを作成する。ここで、Ｔは所定の定数である。
【００５４】
ステップＳ４０８において、輪郭画像生成部２３０は、ステップＳ４０６において作成した被写体輪郭画像のデータを、画像メモリ３００に記憶させる。その後、輪郭画像生成部２３０は、処理を終了する。
【００５５】
本被写体抽出処理によって、例えば図１１に示すように、表示背景画像８３０のデータ及び被写体抽出画像９１０のデータから、被写体輪郭画像９４０のデータが作成される。この図に示すように、被写体輪郭画像９４０のデータは、被写体領域内について、表示背景画像８３０のデータの画像情報と被写体存在画像８１０のデータの画像情報とが混合された画像データとなる。また、被写体領域以外については、例えば黒等の空の画像情報を有している。
【００５６】
図３に戻って、説明を続ける。ステップＳ１１４における輪郭画像作成処理により被写体輪郭画像９４０が作成された後、ステップＳ１１６において、画像処理部２００は、３次元画像生成部２２０に、３次元画像生成処理を実行させる。ステップＳ１１６の３次元画像生成処理では、３次元画像生成部２２０は、表示背景画像８３０のデータに被写体輪郭画像９４０のデータを合成して、左眼用画像のデータと右眼用画像のデータとを作成する。ここで、飛出し率ＤはＤ０とする。したがって、表示部６００に表示させたときに、観察者から見て、表示背景画像８３０から飛出し率Ｄ０だけ手前に、被写体輪郭画像９４０が飛出して見える、左眼用画像のデータと右眼用画像のデータとが作成される。ここで、ステップＳ１１６における３次元画像生成処理は、ステップＳ１０８における３次元画像生成処理と、前景画像のデータが異なり、同じ処理である。
【００５７】
ステップＳ１１６における３次元画像生成処理によって左眼用画像のデータ及び右眼用画像のデータが作成された後、ステップＳ１１８において、画像処理部２００は、画像メモリ３００に記憶された当該左眼用画像のデータ及び右眼用画像のデータを、表示制御部５００に出力する。左眼用画像のデータ及び右眼用画像のデータが入力された表示制御部５００は、第１の発光素子６２６と第２の発光素子６２８との点滅を制御しつつ、表示部６００の表示パネル６１０に、左眼用画像と右眼用画像とを交互に表示させる。
【００５８】
ステップＳ１２０において、画像処理部２００は、変数ｍの値を１増加させる。
ステップＳ１２２において、画像処理部２００は、変数ｍが所定の定数であるＴより大きいか否かを判断する。変数ｍが定数Ｔより大きくないとき、処理をステップＳ１１４に戻す。
【００５９】
変数ｍが定数Ｔより大きくない間、画像処理部２００は、ステップＳ１１４からステップＳ１１８の処理を繰り返す。したがって、図１２に示すように表示部６００には、観察者が、次のように認識する画像が表示される。即ち、表示背景画像８３０を背景として飛出し率Ｄ０だけ浮き上がって見える位置にある注目被写体が、Ｔフレームをかけて徐々に、表示背景画像８３０の注目被写体の裏側に相当する位置の画像に変換されていく。
【００６０】
ステップＳ１２２における判断で、変数ｍが所定の定数であるＴより大きいと判断されたとき、画像処理部２００は、処理をステップＳ１２４に進める。ステップＳ１２４において、画像処理部２００は、消失画像生成部２４０に、消失画像生成処理を実行させる。消失画像生成処理は、飛出し率Ｄの値を変化させ、また、被写体抽出画像９１０の大きさを変化させた被写体消失画像のデータを作成する処理である。消失画像生成部２４０が実行する消失画像生成処理を、図１３に示すフローチャートを参照して説明する。
【００６１】
ステップＳ５０２において、消失画像生成部２４０は、表示背景画像８３０のデータと被写体抽出画像９１０のデータとを読み出す。
ステップＳ５０４において、消失画像生成部２４０は、飛出し率Ｄｐを所定の関数であるＤｐ＝ｆ（ｐ）に基づいて算出する。ここで、ｆ（ｐ）は、例えばｆ（０）＝Ｄ０であり、ｆ（Ｕ）＝０である任意の関数とする。ここでは、例としてｆ（ｐ）は、単調減少関数とする。
ステップＳ５０６において、消失画像生成部２４０は、飛出し率Ｄｐを用いて、注目する被写体の画像の拡大率Ｍを、所定の関数であるＭ＝ｇ（Ｄｐ）に基づいて算出する。ここでは、例として拡大率Ｍは、飛出し率Ｄｐに比例するものとする。
【００６２】
ステップＳ５０８において、消失画像生成部２４０は、拡大率Ｍに基づいて、被写体抽出画像９１０のデータにおいて、注目被写体の大きさを拡大又は縮小する。例えば、注目被写体の領域の重心位置を変化させずに、拡大又は縮小した注目被写体が配置された画像データを作成する。或いは、被写体抽出画像９１０を拡大又は縮小し、元の被写体抽出画像９１０の画像サイズにトリミングして画像データを作成する。
【００６３】
ステップＳ５１０において、消失画像生成部２４０は、拡大又は縮小した被写体抽出画像９１０のデータにおける注目する被写体の輪郭内を、前記した輪郭画像生成処理の場合と同様に、表示背景画像８３０のデータの画像情報に置き換えて、被写体消失画像のデータを作成する。
【００６４】
ステップＳ５１０において、消失画像生成部２４０は、作成した被写体消失画像のデータを、飛出し率Ｄｐと関連付けて、画像メモリ３００に記憶させる。その後、輪郭画像生成部２３０は、処理を終了する。
本被写体抽出処理によって、例えば図１４に示すように、表示背景画像８３０のデータ及び被写体抽出画像９１０のデータから、被写体消失画像９５０のデータが作成される。
【００６５】
図３に戻って、説明を続ける。ステップＳ１２４における消失画像作成処理により被写体消失画像９５０のデータが作成された後、ステップＳ１２６において、画像処理部２００は、３次元画像生成部２２０に、３次元画像生成処理を実行させる。ステップＳ１２６の３次元画像生成処理では、３次元画像生成部２２０は、表示背景画像８３０のデータに被写体消失画像９５０のデータを合成して、左眼用画像のデータと右眼用画像のデータとを作成する。ここで、飛出し率ＤをＤｐとする。したがって、表示部６００に表示させたときに、ユーザから表示背景画像８３０から飛出し率Ｄｐだけ手前に、被写体消失画像９５０が飛び出して見える、左眼用画像のデータと右眼用画像のデータとが作成される。ここで、ステップＳ１２６における３次元画像生成処理は、ステップＳ１０８における３次元画像生成処理と、前景画像のデータが異なり、行われる処理は同じである。
【００６６】
ステップＳ１２６における３次元画像生成処理によって左眼用画像のデータ及び右眼用画像のデータが作成された後、ステップＳ１２８において、画像処理部２００は、画像メモリ３００に記憶された当該左眼用画像のデータ及び右眼用画像のデータを、表示制御部５００に出力する。左眼用画像及び右眼用画像が入力された表示制御部５００は、第１の発光素子６２６と第２の発光素子６２８との点滅を制御しつつ、表示部６００の表示パネル６１０に、左眼用画像と右眼用画像とを交互に表示させる。
【００６７】
ステップＳ１３０において、画像処理部２００は、変数ｐの値を１増加させる。
【００６８】
ステップＳ１３２において、画像処理部２００は、変数ｐが所定の定数であるＵより大きいか否かを判断する。変数ｐが定数Ｕより大きくないとき、処理をステップＳ１２４に戻す。
【００６９】
変数ｐが定数Ｕより大きくない間は、ステップＳ１２４からステップＳ１３２の処理を繰り返すので、ユーザから見ると、表示背景画像８３０を背景として、被写体消失画像９５０における注目被写体は、拡大率Ｍで拡大又は縮小された被写体消失画像９５０における注目被写体が、関数Ｄｐ＝ｆ（ｐ）に従った飛出し率Ｄｐの位置に見える。この拡大率Ｍは変化するので、被写体消失画像９５０における注目被写体の大きさは変化するとともに、飛出し率Ｄｐも変化する。そして、被写体消失画像９５０における注目被写体は、ユーザから見て、表示背景画像８３０に溶け込むように消失するように見える。このような表示の一例の模式図を図１５に示す。図１５の例は、飛出し率Ｄｐが単調に減少し、それに伴って、被写体消失画像９５０における注目被写体も単調に小さくなる場合を示す。
【００７０】
なお、Ｄｐ＝ｆ（ｐ）は、単調減少に限らない。変数ｐと飛出し率Ｄとの関係の例を、図１６に示す。この図に示すように、変数ｐに対する飛出し率Ｄの変化率を様々に変えたり、振動関数としたりしてもよい。また、図１６に示すようなｆ（０）＝Ｄ０かつｆ（Ｕ）＝０という関係に限らなくてもよい。
【００７１】
ステップＳ１３２における判断で、変数ｐが定数Ｕより大きいとき、画像処理部２００は、処理を終了する。
【００７２】
本実施形態によれば、入力された被写体存在画像８１０のデータと、被写体背景画像８２０のデータと、表示背景画像８３０のデータとに基づいて、表示背景画像８３０に対して、被写体存在画像８１０中の注目被写体が浮き上がって見えるという、新たな視覚効果が得られる３次元動画表示が可能となる。更に、動画の終了時に、注目被写体が、徐々に表示背景画像８３０に溶け込んでいくような新たな視覚効果が得られる３次元動画表示が可能となる。
【００７３】
なお、本実施形態の説明では、表示部６００は、特殊な眼鏡などを用いずに３次元画像を認識できる両眼視差を用いる３Ｄ時分割視差表示装置としたが、左眼用画像と右眼用画像とを表示して３次元表示する表示装置であればこれに限らず他の方式を用いてもよい。例えば、時分割表示方式でなく、視差バリアを用いて、左眼用画像と右眼用画像とを同時に表示させつつ、それぞれの画像を観察者の左眼と右眼とに到達させるものでもよい。また、左眼用画像と右眼用画像とを、異なる偏光面を有する光によって表示し、観察者は、特定の偏光を透過する眼鏡を装着して観察する方式の表示装置を用いてもよい。また、左眼用画像と右眼用画像とを表示パネルに時分割に表示し、観察者はシャッタを有する眼鏡を装着し、表示パネルに左眼用画像が表示されているときは、眼鏡の左眼のシャッタを開き右眼のシャッタを閉じ、右眼用画像が表示されているときは眼鏡の右眼のシャッタを開き左眼のシャッタを閉じる機構を有する表示装置を用いてもよい。それぞれの表示装置に応じて、左眼用画像のデータと右眼用画像のデータとの作成にあたって設計的な差異はあるものの、何れの場合にも本質的な差異はない。
【００７４】
また、本実施形態の説明では、注目被写体が、表示背景画像に対して手前に浮き出て見えるとして説明したが、注目被写体が表示背景画像の奥に見えるようにしてもよい。また、表示背景画像８３０に被写体背景画像８２０と同じ画像を用いてもよいことは勿論である。
【００７５】
また、本実施形態の説明では、３次元画像生成処理の後に各フレーム毎に画像データ出力し、画像表示を行わせているが、画像処理部２００は、全てのフレームについて３次元画像生成処理を実行して、予め全てのフレームの画像データを作成して画像メモリ３００に記憶させた後に、記憶させた画像データを表示制御部５００出力して、表示部６００にまとめて画像表示を行わせてもよい。
【００７６】
また、本実施形態では、注目被写体を抽出するために、被写体存在画像８１０のデータと被写体背景画像８２０のデータとを比較して、注目被写体を抽出する技術を用いているが、注目被写体を抽出できる技術であれば他の技術を用いてもよい。例えば、動きのある部分を抽出することで注目被写体を特定してもよい。また、所定の背景の前で注目被写体を撮影し、当該所定の背景以外の部分を注目被写体として特定してもよい。これらの場合、被写体存在画像８１０と被写体背景画像８２０との２つの画像を必要とせず、１つの画像から注目被写体を抽出することができる。
【００７７】
［第１の実施形態の第１の変形例］
次に、本発明の第１の実施形態の第１の変形例について説明する。ここで本変形例の説明では、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第１の実施形態においては、Ｆｒフレーム表示後の表示について、図３を参照して説明したステップＳ１１４からステップＳ１３２までの処理のように、まず、注目被写体の輪郭を残してその輪郭内の画像情報を背景の画像情報に置き換えた輪郭画像を飛出し率Ｄ０の位置に表示し、その後、背景画像に変換された注目被写体の輪郭の表示位置の飛び出し率が徐々に減少し、それと共に注目被写体が小さくなる表示を行う。これに対して本変形例では、Ｆｒフレーム表示後に、注目被写体の飛出し率が徐々に減少するとともに、注目被写体が徐々に小さくなり、それとともに注目被写体の輪郭内が徐々に背景画像と置き換わっていく表示とする。
【００７８】
上記のように表示するため、本変形例の画像処理部２００が行う画像処理は、図１７に示すフローチャートのように行う。即ち、ステップＳ１０２からステップＳ１１２までの処理は、第１の実施形態の場合と同様である。ただし、本実施形態では、変数ｐは用いないので、ステップＳ１０２における変数の初期値の設定において、変数ｐの設定は行わない。
【００７９】
本変形例では、ステップＳ１０４の判定の結果、変数ｎがフレーム数Ｆｒ以下でないとき、画像処理部２００は、処理をステップＳ１４２に移す。ステップＳ１４２において、画像処理部２００は、消失画像生成部２４０に消失画像生成処理を実行させる。ここで行う消失画像生成処理は、第１の実施形態におけるステップＳ１２４の消失画像生成処理と一部が異なる。即ち、図１３を参照して説明した第１の実施形態における消失画像生成処理では、注目被写体の輪郭内の画像情報を、表示背景画像の画像情報に置換していたが、本変形例における処理では、この置換を行わない。したがって、図１８に示すフローチャートのような処理となる。
【００８０】
ステップＳ５２２からステップＳ５２８までの処理は、第１の実施系体におけるステップＳ５０２からステップＳ５０８と同じである。ただし、ステップＳ５２４における変数には、第１の実施形態で用いた変数ｐではなく、変数ｍを用いる。また、本変形例においてはステップＳ５２８において作成する画像のデータを、被写体消失画像のデータとする。ステップ５２８において被写体消失画像のデータを作成したら、ステップＳ５３０において、消失画像生成部２４０は、その被写体消失画像のデータを画像メモリ３００に記憶させ、処理を終了する。
【００８１】
図１７に戻って、説明を続ける。ステップＳ１４２における消失画像生成処理によって被写体消失画像のデータを作成したら、ステップＳ１４４において、画像処理部２００は、輪郭画像生成部２３０に、輪郭画像生成処理を実行させる。ここで、輪郭画像生成処理は、第１の実施形態におけるステップＳ１１４の輪郭画像生成処理と一部が異なる。即ち、図１０を参照して説明した第１の実施形態における輪郭画像生成処理では、被写体抽出画像のデータに対して、その輪郭内の画像情報を徐々に背景画像の画像情報に置き換えているが、本変形例に係る輪郭画像生成処理では、被写体消失画像のデータに対して、その輪郭内の画像情報を徐々に背景画像の画像情報に置き換える。したがって、図１９に示すフローチャートのような処理となる。ステップＳ４２２からステップ４２８までの処理は、図１０を参照して説明した第１の実施形態におけるステップＳ４０２からステップＳ４０８に相当し、被写体抽出画像のデータに代えて被写体消失画像のデータを用いている点が異なる。
【００８２】
図１７に戻って、説明を続ける。ステップＳ１４４における輪郭画像作成処理により被写体輪郭画像が作成された後、ステップＳ１４６において、画像処理部２００は、３次元画像生成部２２０に、３次元画像生成処理を実行させる。ステップＳ１４６の３次元画像生成処理では、３次元画像生成部２２０は、ステップＳ１４２における消失画像生成処理において算出した飛出し率Ｄｍに基づいて、表示背景画像８３０のデータに被写体輪郭画像９４０のデータを合成して、左眼用画像のデータと右眼用画像のデータとを作成する。したがって、表示部６００に表示させたときに、観察者から見て、表示背景画像８３０から飛出し率Ｄｍだけ手前に、被写体輪郭画像９４０が飛出して見える、左眼用画像のデータと右眼用画像のデータとが作成される。
【００８３】
ステップＳ１４６における３次元画像生成処理によって左眼用画像のデータ及び右眼用画像のデータが作成された後、ステップＳ１４８において、画像処理部２００は、画像メモリ３００に記憶された当該左眼用画像のデータ及び右眼用画像のデータを、表示制御部５００に出力する。左眼用画像のデータ及び右眼用画像のデータが入力された表示制御部５００は、第１の発光素子６２６と第２の発光素子６２８との点滅を制御しつつ、表示部６００の表示パネル６１０に、左眼用画像と右眼用画像とを交互に表示させる。
【００８４】
ステップＳ１５０において、画像処理部２００は、変数ｍの値を１増加させる。
ステップＳ１５２において、画像処理部２００は、変数ｍが所定の定数であるＴより大きいか否かを判断する。変数ｍが定数Ｔより大きくないとき、処理をステップＳ１４２に戻す。変数ｍが定数Ｔより大きくない間、画像処理部２００は、ステップＳ１４２からステップＳ１５２の処理を繰り返す。ステップＳ１５２における判断で、変数ｍが所定の定数であるＴより大きいと判断されたとき、画像処理部２００は、処理を終了する。
【００８５】
以上によって、表示部６００には、例えば図２０に模式的に示すように、観察者から見て、表示背景画像８３０を背景として注目被写体が、飛出し率Ｄ０だけ浮き上がって見える位置から、表示背景画像８３０が認識されている面に徐々に飛出し率を変えていき、このとき、注目被写体のサイズも徐々に小さくなり、注目被写体の輪郭内の画像が徐々に背景画像に置き換わっていくような表示がなされる。
【００８６】
本変形例によれば、動画表示後の注目被写体が背景に溶け込む表示において、第１の実施形態とは異なる視覚効果が得られる。
【００８７】
［第１の実施形態の第２の変形例］
次に、本発明の第１の実施形態の第２の変形例について説明する。ここで本変形例の説明では、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第１の実施形態では、被写体存在画像に基づくＦｒフレームの画像を表示する際に、飛出し率ＤはＤ０で一定である。これに対して本変形例では、注目被写体の動きに応じて、飛出し率Ｄが異なる。
【００８８】
本変形例に係る画像表示装置の構成例を図２１に示す。本変形例に係る画像表示装置は、第１の実施形態に係る画像表示装置において、更に画像処理部２００内に動き量検出部２５０を有する。動き量検出部２５０は、異なるフレームの２つの画像データを読み出し、それらの特徴点を抽出し、２つの画像データで対応する特徴点の移動量を算出し、これら２つの画像における動き量を算出する。
【００８９】
本変形例に係る画像処理部２００の動作を図２２に示すフローチャートを参照して説明する。この図に示すように、本変形例に係る画像処理部２００の動作は、図３を参照して説明した第１の実施形態に係る動作の、ステップＳ１０６とステップＳ１０８との間に、ステップＳ１０７を追加している。また、これら追加するステップで用いる変数である動き量Ｖの値を、ステップＳ１０２において初期値に設定する。また、ステップＳ１０８における３次元画像生成処理において、飛出し率Ｄは、後述するステップＳ１０７で算出される飛出し率Ｄｎとする。その他の動作は、第１の実施形態の場合と同様である。
【００９０】
本変形例において、ステップＳ１０６における被写体抽出処理が行われ、被写体抽出画像９１０が作成されたら、ステップＳ１０７において、画像処理部２００は、画像処理部内の動き量検出部２５０に、動き量検出処理を行わせる。ここで、動き量検出処理は、ステップＳ１０６で作成された被写体抽出画像のデータの注目被写体の、ｎ−１フレーム目からｎフレーム目への変化量を算出し、その変化量に基づいて飛出し率Ｄを算出する。ステップＳ１０７における動き量検出処理を図２３に示すフローチャートを参照して説明する。
【００９１】
ステップＳ６０２において、動き量検出部２５０は、画像メモリ３００に記憶されたｎフレーム目の被写体抽出画像のデータとｎ−１フレーム目の被写体抽出画像のデータとを読み出す。
ステップＳ６０４において、動き量検出部２５０は、読み出した２つの被写体抽出画像のデータの特徴点を抽出する。ここで、特徴点の抽出は、図４を参照して説明した被写体抽出部が実行するステップＳ２０４の処理と同様である。
【００９２】
ステップＳ６０６において、動き量検出部２５０は、ステップＳ６０４で抽出したｎフレーム目の被写体抽出画像のデータの特徴点と、対応するｎ−１フレーム目の被写体抽出画像のデータの特徴点との差を表す動きベクトルを算出する。ここで、動きベクトルの算出は、図４を参照して説明した被写体抽出部が実行するステップＳ２０６の処理と同様である。
【００９３】
ステップＳ６０８において、動き量検出部２５０は、ステップＳ６０６において算出された全特徴点に係る動きベクトルに基づいて、被写体抽出画像中の注目被写体のｎ−１フレーム目からｎフレーム目への動き量Ｖｎを統計的に算出する。ここで、例えば動き量Ｖｎは、注目被写体の動き（注目被写体に対応した動きベクトルの大きさ）が大きい程大きな値とする。
【００９４】
ステップＳ６１０において、動き量検出部２５０は、動き量Ｖｎに基づいて、飛出し率ＤｎをＤｎ＝ｈ（Ｖｎ）によって、算出する。ここで、ｈ（Ｖｎ）は、任意の関数である。例えば、単調増加関数でもよい。
【００９５】
ステップＳ６１２において、動き量検出部２５０は、ｎフレーム目の被写体抽出画像のデータと関連付けて、ステップＳ６１０で算出した飛出し率Ｄｎを画像メモリに記憶させる。
なお、ｎ＝１のとき、動き量検出部２５０は、上記の動き量検出処理を行わずに、初期値Ｄ０を１フレーム目の被写体抽出画像のデータと関連付けて画像メモリに記憶させる。
【００９６】
図２２に戻って説明を続ける。ステップＳ１０８において、画像処理部２００は、３次元画像生成部に右眼用画像のデータと左眼用画像のデータとを作成させる。ここで、飛出し率ＤをＤｎとする。
本変形例のその他の動作は、第１の実施形態の場合と同様である。
【００９７】
このように、例えば動き量検出部２５０は、注目被写体の動き量を検出し、それに基づいて表示背景画像が表示されていると認識される面と注目被写体の画像が表示されていると認識される面との奥行き度の値を設定する動き量検出手段として機能する。
【００９８】
本変形例によれば、Ｆｒフレームの動画像を表示する際に、注目被写体の動きに応じて、観察者が認識する注目被写体の飛び出し率が異なる第１の実施形態とは異なる視覚効果が得られる。
【００９９】
なお、本説明では、ステップＳ６０８において動き量Ｖｎを算出するにあたって、ｎ−１フレーム目からｎフレーム目への動きベクトルに基づくとしたが、これに限らずともよい。例えば、滑らかな表示のために、ｎ−１フレーム目以前の動きベクトルも考慮して動き量Ｖを求めてもよい。
また、本変形例は、第１の実施形態の第１の変形例と組み合わせ用いてもよい。
【０１００】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。ここで本実施形態の説明では、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本実施形態に係る画像表示装置の構成例を図２４に示す。第１の実施形態に係る画像表示装置と異なるのは、３次元画像生成部２２０、輪郭画像生成部２３０及び消失画像生成部２４０に代えて、背景画像加工部２６０及び前景画像加工部２７０を有する点と、表示部６００に代えて表示部６５０を有する点と、表示制御部５００に代えて表示制御部５５０を有する点である。
【０１０１】
本実施形態に係る表示部６５０の構成例を図２５に示す。この図に示すように、表示部６５０は、第１のディスプレイ６５１と、第２のディスプレイ６５２と、第１のサーキュラフレネルレンズ６５３と、第２のサーキュラフレネルレンズ６５４と、反射偏光板６５５と、移動支持手段６５６とを有する。
【０１０２】
第１のディスプレイ６５１に表示された画像は、反射偏光板６５５を透過して、観察者に視認される。また、第２のディスプレイ６５２に表示された画像は、反射偏光板６５５で反射され、観察者に視認される。したがって、第１のディスプレイ６５１に表示された画像と、第２のディスプレイ６５２に表示された画像とが重ね合わされた画像が、観察者には視認される。ここで、第１のサーキュラフレネルレンズ６５３と、移動支持手段６５６によって移動可能に支持された第２のサーキュラフレネルレンズ６５４とによって、第２のディスプレイ６５２に表示された画像の結像位置を調整することができる。したがって、表示部６５０は、第２のサーキュラフレネルレンズ６５４の位置を調節することによって、第１のディスプレイ６５１に表示された画像が観察される面に対して、奥行きが異なる様々な面に第２のディスプレイ６５２に表示された画像が観察される表示をすることができる。本実施形態では、表示制御部５５０の制御の下、画像処理部２００が算出した飛出し率Ｄに応じて、移動支持手段６５６に支持された第２のサーキュラフレネルレンズ６５４が移動する。このような表示装置は、例えば特開２００９−０６３９１４号公報に開示されている。
【０１０３】
このように、例えば第２のディスプレイ６５２は、前景表示パネルとして機能し、例えば第１のディスプレイ６５１は、背景表示パネルとして機能し、例えば第１のサーキュラフレネルレンズ６５３と第２のサーキュラフレネルレンズ６５４と反射偏光板６５５とは、前景画像及び背景画像を異なる面に結像させる光学系として機能し、例えば移動支持手段６５６と第２のサーキュラフレネルレンズ６５４とは、奥行き度に基づいて前景画像又は背景画像を結像させる面を変化させる結像面変更手段として機能する。
【０１０４】
表示制御部５５０は、背景画像を第１のディスプレイ６５１に表示させ、前景画像を第２のディスプレイ６５２に表示させ、飛出し率Ｄに応じて、移動支持手段６５６の動作を制御し、第２のサーキュラフレネルレンズ６５４の位置を設定する。
【０１０５】
背景画像加工部２６０は、背景画像のデータの、前景の注目被写体と重なり合う部分の輝度を変更させた加工背景画像のデータを作成する、背景画像加工処理を実行する。前景画像加工部２７０は、前景画像の輝度を変更せた加工前景画像を作成する、前景画像加工処理を実行する。
【０１０６】
次に本実施形態に係る画像表示装置の動作を、図面を参照して説明する。まず、制御部１００の制御の下、画像入力部４００は、画像記録メディア８００に記録された被写体存在画像８１０のデータと、被写体背景画像８２０のデータと、表示背景画像８３０のデータとを読み出し、画像メモリ３００に記憶させる。
【０１０７】
制御部１００の制御の下、画像処理部２００は、図２６に示すフローチャートのように動作する。
ステップＳ１５２において、画像処理部２００は、第１の実施形態のステップＳ１０２と同様に、各種パラメータを初期値に設定する。例えば、変数ｎを１に設定し、飛出し率ＤをＤ０に設定し、拡大率Ｍを１に設定し、変数ｂ１を０に設定し、変数ｂ２を１００に設定する。
【０１０８】
ステップＳ１５４において、画像処理部２００は、第１の実施形態のステップＳ１０４と同様に、変数ｎが被写体存在画像のフレーム数Ｆｒ以下であるか否かを判定する。
ステップＳ１５４の判定の結果、変数ｎがフレーム数Ｆｒ以下であれば、ステップＳ１５６において、画像処理部２００は、第１の実施形態のステップＳ１０６と同様に、画像処理部内の被写体抽出部２１０に、被写体抽出処理を実行させる。この被写体抽出処理は、図４を参照して説明した第１の実施形態における被写体抽出処理と同様であり、被写体抽出画像９１０のデータが作成され画像メモリ３００に記憶される。ここで、本実施形態では、被写体抽出画像９１０において、注目被写体以外の領域は、黒色である画像情報とする。
【０１０９】
ステップＳ１５８において、画像処理部２００は、画像処理部内の背景画像加工部２６０に、背景画像加工処理を実行させる。ここで、背景画像加工処理は、加工背景画像を作成する処理である。本実施形態に係る表示部６５０では、第１のディスプレイ６５１に背景を表示し、第２のディスプレイ６５２に前景を表示する。このとき観察者には、前景と背景とが異なる面にあり、それらが重なり合って見える。したがって、観察者には、前景の画像の裏側に背景が透けて見えることになる。そこで本実施形態では、背景画像の、前景の注目被写体と重なり合う部分を黒色にする。背景画像加工部２６０が実行する背景画像加工処理を図２７に示すフローチャートを参照して説明する。
【０１１０】
ステップＳ７０２において、背景画像加工部２６０は、画像メモリ３００から表示背景画像８３０のデータと被写体抽出画像９１０のデータとを読み出す。
ステップＳ７０４において、背景画像加工部２６０は、被写体抽出画像９１０のデータの被写体領域の輪郭抽出し、その大きさを飛出し量Ｄに依存する拡大率Ｍで拡大する。観察者から見て注目被写体は、背景画像よりも手前に見えるので、注目被写体は、相対的に大きく見える。このステップにおいて、観察者から見て大きく見える分だけ被写体抽出画像９１０のデータの注目被写体を拡大している。飛出し量Ｄと拡大率Ｍとの関係は、幾何学的に求めることができる。
【０１１１】
ステップＳ７０６において、背景画像加工部２６０は、表示背景画像のデータにおいて、拡大した被写体領域の輪郭の内部に相当する領域を選択する。
ステップＳ７０８において、背景画像加工部２６０は、表示背景画像のデータにおけるステップＳ７０４で選択した領域の輝度を元のｂ１／１００％に変更し、加工背景画像を作成する。ここでステップＳ１５８における背景画像生成処理では、ｂ１＝０であるので、選択した領域内の輝度は０、即ち黒色になる。
【０１１２】
ステップＳ７１０において、背景画像加工部２６０は、作成した加工背景画像のデータを画像メモリ３００に記憶させる。
【０１１３】
本被写体抽出処理によって、例えば図２８に示すように、表示背景画像８３０のデータ及び被写体抽出画像９１０のデータから、表示背景画像８３０のデータにおいて注目被写体に相当する領域が黒色に変更された加工背景画像９６０のデータが作成される。
【０１１４】
図２６に戻って、説明を続ける。ステップＳ１５８において、背景画像加工処理が実行され、加工背景画像９６０が作成された後、ステップＳ１５９において、画像処理部２００は、飛出し率Ｄを画像メモリ３００を介して、表示制御部５５０に出力する。
飛出し率Ｄが入力された表示制御部５５０は、飛出し率Ｄに基づいて、移動支持手段６５６を制御し、第２のサーキュラフレネルレンズ６５４を移動させる。ここで、飛出し率Ｄの値と、第２のサーキュラフレネルレンズ６５４の位置との関係は、予め定めておき、図示しない記憶部に記憶させておくことができる。
【０１１５】
ステップＳ１６０において、画像処理部２００は、画像メモリ３００に記憶された被写体抽出画像９１０のデータと加工背景画像９６０のデータとを、表示制御部５５０に出力する。ここで、被写体抽出画像９１０のデータを前景画像のデータとし、加工背景画像９６０のデータを背景画像のデータとする。
被写体抽出画像９１０のデータと加工背景画像９６０のデータとが入力された表示制御部５５０は、表示部６５０の第１のディスプレイ６５１に加工背景画像９６０を表示させ、第２のディスプレイ６５２に被写体抽出画像９１０を表示させる。その結果、観察者にとっては、例えば図９に示した第１の実施形態の場合と同様に、注目する被写体である人物が背景の画像に対して飛出し率Ｄ０だけ浮き上がって見える３次元画像が観察される。
【０１１６】
ステップＳ１６２において、画像処理部２００は、第１の実施形態のステップＳ１１２と同様に、変数ｎの値を１増加させ、処理をステップＳ１５４に戻す。ステップＳ１５４の判定で、変数ｎがフレーム数Ｆｒ以下である間は、ステップＳ１５４からステップＳ１６２までの処理を繰り返す。したがって、ステップＳ１５４からステップＳ１６２の処理を繰り返す間、表示部６５０には、加工背景画像９６０を背景として、飛出し率Ｄ０で浮き上がって認識される、被写体存在画像８１０中の注目被写体が動く動画像が表示される。
【０１１７】
ステップＳ１５４の判定の結果、変数ｎがフレーム数Ｆｒ以下でないとき、画像処理部２００は、処理をステップＳ１６４に移す。ステップＳ１６４において、画像処理部２００は、背景画像加工部２６０に、背景画像加工処理を実行させる。
【０１１８】
ステップＳ１６６において、画像処理部２００は、画像メモリ３００に記憶された被写体抽出画像９１０のデータと加工背景画像９６０のデータとを、表示制御部５５０に出力する。ここで、被写体抽出画像９１０のデータを前景画像のデータとし、加工背景画像９６０のデータを背景画像のデータとする。
【０１１９】
ステップＳ１６８において、画像処理部２００は、変数ｂ１の値を例えば１増加させる。
ステップＳ１７０において、画像処理部２００は、変数ｂ１が１００より大きいか判断する。この判断の結果、変数ｂ１が１００以下であれば処理をステップＳ１６４に戻す。
【０１２０】
ステップＳ１７０の判定で、変数ｂ１が１００以下である間は、変数ｂ１の値を増加させながらステップＳ１６４からステップＳ１７０までの処理を繰り返す。ステップＳ１６４における背景画像加工処理では、注目被写体に対応する選択された領域の輝度は、ｂ１の増加に伴って、徐々に１００％に近づいていく。したがって、ステップＳ１６４からステップＳ１７０までの処理を繰り返す間、表示部６５０には、注目被写体の裏側に背景が徐々に現れる画像が表示される。
【０１２１】
ステップＳ１７０における判断の結果、変数ｂ１が１００より大きくなったら、処理をステップＳ１７２に進める。ステップＳ１７２において、画像処理部２００は、前景画像加工部２７０に、前景画像加工処理を実行させる。ここで、前景画像加工処理は、前景画像の輝度を変更する処理である。前景画像加工処理の動作を図２９に示すフローチャートを参照して説明する。
【０１２２】
ステップＳ８０２において、前景画像加工部２７０は、画像メモリ３００から被写体抽出画像９１０のデータを読み出す。
ステップＳ８０４において、前景画像加工部２７０は、被写体抽出画像９１０のデータにおける輝度を元のｂ２／１００％に変更し、加工前景画像のデータを作成する。
ステップＳ８０６において、前景画像加工部２７０は、作成した加工前景画像のデータを画像メモリ３００に記憶させる。
【０１２３】
図２６に戻って説明を続ける。ステップＳ１７２における前景画像加工処理によって加工前景画像のデータが作成されたら、ステップＳ１７４において、画像処理部２００は、画像メモリ３００に記憶された表示背景画像８３０のデータと加工前景画像のデータとを、表示制御部５５０に出力する。ここで、加工前景画像のデータを前景画像のデータとし、表示背景画像８３０のデータを背景画像のデータとする。
【０１２４】
ステップＳ１７６において、画像処理部２００は、変数ｂ２の値を例えば１減少させる。
ステップＳ１７８において、画像処理部２００は、変数ｂ２が０より小さいか判断する。この判断の結果、変数ｂ２が０以上であれば処理をステップＳ１７２に戻す。
【０１２５】
ステップＳ１７８の判定で、変数ｂ２が０以上である間は、変数ｂ２の値を減少させながらステップＳ１７２からステップＳ１７８までの処理を繰り返す。ステップＳ１７２における前景画像加工処理では、注目被写体の輝度は、ｂ２の減少に伴って徐々に０％に近づいていく。したがって、ステップＳ１７２からステップＳ１７８までの処理を繰り返す間、表示部６５０には、注目被写体が徐々に暗くなり背景が徐々に良く見えるようになり、やがて注目被写体が完全に消える画像が表示される。
ステップＳ１７８の判定で、変数ｂ２が０より小さくなったら、画像処理部２００は処理を終了する。
【０１２６】
このように、例えば背景画像加工部２６０及び前景画像加工部２７０は、注目被写体の画像のデータと表示背景画像のデータとに基づいて、３次元画像データを作成する３次元画像データ作成手段として機能する。また、例えば前景画像加工部２７０は、注目被写体が表示背景画像に溶け込むように認識されるように、注目被写体の画像のデータに変更を施し被写体変更画像のデータを作成する被写体変更手段や、注目被写体が前記表示背景画像に置き換わるように認識されるように、注目被写体の画像のデータに変更を施して被写体変更画像のデータを作成する、被写体−背景置換手段や、注目被写体の画像のデータに基づいて前景画像のデータを作成する前景画像加工手段として機能する。また、例えば背景画像加工部２６０は、表示背景画像のデータに基づいて背景画像のデータを作成する背景画像加工手段として機能する。
【０１２７】
本実施形態によれば、第１の実施形態の場合と同様に、入力された被写体存在画像８１０のデータと、被写体背景画像８２０のデータと、表示背景画像８３０のデータとに基づいて、表示背景画像８３０に対して、被写体存在画像８１０中の注目被写体が浮き上がって見えるという、新たな視覚効果が得られる３次元動画表示が可能となる。更に、動画の終了時に、注目被写体が、徐々に表示背景画像８３０に溶け込んでいくような新たな視覚効果が得られる３次元動画表示が可能となる。
【０１２８】
［第２の実施形態の第１の変形例］
次に、本発明の第２の実施形態の第１の変形例について説明する。ここで本変形例の説明では、第２の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第２の実施形態においては、Ｆｒフレーム表示後の表示について、図２６を参照して説明したステップＳ１６４からステップＳ１７８までの処理のように、まず、注目被写体と重なる部分の背景の画像が表示され、次に注目被写体が消失する表現となっている。これに対して本変形例では、注目被写体と重なる部分の背景の画像が現れる表示と、注目被写体の消失とが同時に起こる表現とする。
【０１２９】
このため、本変形例では、図３０に示すフローチャートのように、ステップＳ１８２において、画像処理部２００は、背景画像加工部２６０に背景画像加工処理を実行させ、加工背景画像のデータを作成させる。次にステップＳ１８４において、画像処理部２００は、前景画像加工部２７０に前景画像加工処理を実行させ、加工前景画像のデータを作成させる。次にステップＳ１８６において、画像処理部２００は、表示制御部５５０に、前景画像のデータとして加工前景画像のデータを、背景画像のデータとして加工背景画像のデータを、それぞれ出力する。次にステップＳ１８８において、画像処理部２００は、変数ｂ１を１増加させる。次にステップＳ１９０において、画像処理部２００は、変数ｂ２を１００−ｂ１に基づいて算出する。次にステップＳ１９２において、画像処理部２００は、変数ｂ１が１００より大きいか判断する。ステップＳ１９２における判断で、変数ｂ１が１００以下ならば、処理をステップＳ１８２に戻し、変数ｂ１が１００より大きければ、処理を終了する。
【０１３０】
本変形例によれば、動画表示後の注目被写体が背景に溶け込む表示において、第２の実施形態とは異なる視覚効果が得られる。
【０１３１】
［第２の実施形態の第２の変形例］
次に、本発明の第２の実施形態の第２の変形例について説明する。ここで本変形例の説明では、第２の実施形態の第１の変形例との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本変形例は、動画表示後の注目被写体が背景に溶け込む表示において、注目被写体が位置すると認識される平面を、徐々に表示背景画像が位置すると認識される平面に近づける表示とする。
【０１３２】
このため、本変形例では、図３１に示すフローチャートのように、ステップＳ１８４に続いて、ステップＳ１８５１において、画像処理部２００は、飛出し率Ｄを、所定の関数Ｄ＝ｋ（ｂ１）を用いて算出する。ここで、例えばｋ（０）＝Ｄ０であり、ｋ（１００）＝０である任意の関数を用いるのもよい。続いて、ステップＳ１８５２において、画像処理部２００は、飛出し率Ｄを表示制御部５５０に出力する。ステップＳ１８５１で算出され、ステップＳ１８５２で出力された飛出し率Ｄを入力した表示制御部５５０は、入力されたＤに応じて、移動支持手段６５６の動きを制御して、第２のサーキュラフレネルレンズ６５４を移動させる。これにより、観察者から注目被写体が認識される平面は、移動する。その後のステップＳ１８６以降の動作は、第２の実施形態の第１の変形例の場合と同じである。
【０１３３】
本変形例によれば、動画表示後の注目被写体が背景に溶け込む表示において、第２の実施形態とは異なる視覚効果が得られる。
【０１３４】
また、第１の実施形態の第１の変形例における表現と同様の表現を行うため、前景画像加工部２７０は、飛出し率Ｄに応じて、注目被写体の大きさを変化させるようにしてもよい。このとき、前景画像加工部２７０は、注目被写体の大きさが変化して認識されるように、注目被写体の画像のデータに変更を施して被写体変更画像を作成する、被写体サイズ変更手段として機能する。このようにしても、動画表示後の注目被写体が背景に溶け込む表示において、第２の実施形態とは異なる視覚効果が得られる。
【０１３５】
［第２の実施形態の第３の変形例］
次に、本発明の第２の実施形態の第３の変形例について説明する。ここで本変形例の説明では、第２の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本変形例は、第１の実施形態の第２の変形例と同様に、注目被写体の動きに応じて、飛出し率Ｄを異ならせる。
本変形例に係る画像表示装置は、図２１を参照して説明した第１の実施形態の第２の変形例の場合と同様に、動き量検出部２５０を有する。
【０１３６】
本変形例の動作を示すフローチャートを、図３２に示す。この図に示すように、ステップＳ１５６の被写体抽出処理の後に、第１の実施形態の第２の変形例の場合のステップＳ１０７と同様の、ステップＳ１５７の動き量検出処理による飛出し率Ｄｎの算出が行われる。
【０１３７】
本変形例によっても、第１の実施形態の第２の変形例の場合と同様に、Ｆｒフレームの動画像を表示する際に、注目被写体の動きに応じて、観察者が認識する注目被写体の飛び出し率が異なる視覚効果が得られる。
【０１３８】
また、本変形例は、第２の実施形態の第１の変形例と組み合わせ用いてもよい。また、第１の実施形態の消失画像生成部が作成する被写体消失画像と同様に、注目被写体が徐々に小さくなるように構成してもよい。
【０１３９】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても、発明が解決しようとする課題の欄で述べられた課題が解決でき、かつ、発明の効果が得られる場合には、この構成要素が削除された構成も発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１４０】
１００…制御部、２００…画像処理部、２１０…被写体抽出部、２２０…３次元画像生成部、２３０…輪郭画像生成部、２４０…消失画像生成部、２５０…動き量検出部、２６０…背景画像加工部、２７０…前景画像加工部、３００…画像メモリ、４００…画像入力部、５００…表示制御部、５５０…表示制御部、６００…表示部、６１０…表示パネル、６２０…面光源、６２２…導光板、６２４…反射板、６２６…第１の発光素子、６２８…第２の発光素子、６５０…表示部、６５１…第１のディスプレイ、６５２…第２のディスプレイ、６５３…第１のサーキュラフレネルレンズ、６５４…第２のサーキュラフレネルレンズ、６５５…反射偏光板、６５６…移動支持手段、８００…画像記録メディア、８１０…被写体存在画像、８２０…被写体背景画像、８３０…表示背景画像、９１０…被写体抽出画像、９２０…左眼用画像、９３０…右眼用画像、９４０…被写体輪郭画像、９５０…被写体消失画像、９６０…加工背景画像。
【特許請求の範囲】
【請求項１】
注目被写体を含む被写体存在画像のデータを入力し、前記被写体存在画像のデータから前記注目被写体の画像のデータを抽出する被写体抽出手段と、
抽出された前記注目被写体の画像のデータと表示背景画像のデータとを入力し、観察方向に沿って観察された際に該表示背景画像が表示されていると観察者に認識される面の手前又は奥に位置する面に該注目被写体の画像が表示されていると観察者に認識される３次元画像のデータを作成する３次元画像データ作成手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記注目被写体が前記表示背景画像に溶け込むように認識されるように、前記注目被写体の画像のデータに変更を施し被写体変更画像のデータを作成する被写体変更手段を更に具備し、
前記３次元画像データ作成手段は更に、前記被写体変更画像のデータと前記表示背景画像のデータとに基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被写体変更手段は、前記注目被写体が前記表示背景画像に置き換わるように認識されるように、前記注目被写体の画像のデータに変更を施して前記被写体変更画像のデータを作成する、被写体−背景置換手段を有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記被写体変更手段は、前記注目被写体の大きさが順次変化して認識されるように、前記注目被写体の画像のデータに変更を施して前記被写体変更画像のデータを作成する被写体サイズ変更手段を有することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記被写体サイズ変更手段は、認識される前記注目被写体の大きさに基づいて、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との奥行き度の値を設定し、
前記３次元画像データ作成手段は、設定された前記奥行き度に基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記３次元画像は、動画像であって、
注目するフレームの前記注目被写体と他のフレームの前記注目被写体との差異である動き量を検出し、
前記動き量に基づいて、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との奥行き度の値を設定する、
動き量検出手段を更に具備し、
前記３次元画像データ作成手段は、設定された前記奥行き度に基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項１乃至５のうち何れか１項に記載の画像処理装置。
【請求項７】
前記３次元画像のデータは、両眼視差によって観察者に３次元画像を認識させるためのデータであって、該観察者に左眼で観察させる左眼用画像のデータと該観察者に右眼で観察させる右眼用画像のデータとを含み、
前記３次元画像データ作成手段は、前記表示背景画像のデータに前記注目被写体の画像のデータを合成することで前記左眼用画像のデータ及び前記右眼用画像のデータを作成し、
前記左眼用画像における前記表示背景画像に対する前記注目被写体の位置は、前記右眼用画像における前記表示背景画像に対する前記注目被写体の位置と、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との前記観察方向に沿った奥行き度に応じて異なる、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記注目被写体が前記表示背景画像に置き換わっていくように認識されるように、前記注目被写体の画像のデータに前記表示背景画像のデータを混合した被写体輪郭画像のデータを作成する輪郭画像生成手段を更に具備し、
前記３次元画像データ作成手段は更に、前記被写体輪郭画像のデータと前記表示背景画像のデータとに基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記注目被写体の大きさが順次変化して認識されるように、該注目被写体を含む画像のデータに変更を施して被写体消失画像のデータを作成し、
前記被写体消失画像における前記注目被写体の大きさに基づいて、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との奥行き度の値を設定する、
消失画像生成手段を更に具備し、
前記３次元画像データ作成手段は更に、前記被写体消失画像のデータと前記表示背景画像のデータと前記奥行き度の値とに基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記３次元画像は、動画像であって、
注目するフレームの前記注目被写体と他のフレームの前記注目被写体との差異である動き量を検出し、
前記動き量に基づいて、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との奥行き度の値を設定する、
動き量検出手段を更に具備し、
前記３次元画像データ作成手段は、設定された前記奥行き度に基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項７乃至９のうち何れか１項に記載の画像処理装置。
【請求項１１】
前記３次元画像のデータは、前景表示パネルに表示した前景と背景表示パネルに表示した背景とを、前記観察方向に沿って重なり合って見える異なる面に結像させることによって観察者に３次元画像を認識させるためのデータであって、該前景表示パネルに表示させる前景画像のデータと該背景表示パネルに表示させる背景画像のデータとを有し、
前記３次元画像データ作成手段は、
前記注目被写体の画像のデータに基づいて前記前景画像のデータを作成する前景画像加工手段と、
前記表示背景画像のデータに基づいて前記背景画像のデータを作成する背景画像加工手段と、
を有する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記背景画像加工手段は、前記注目被写体の画像を前記前景表示パネルに表示し前記表示背景画像を前記背景表示パネルに表示したときに、該表示背景画像のうち前記観察者から見て該注目被写体と重なる領域の該表示背景画像のデータの輝度を変更して前記背景画像のデータを作成する、ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記注目被写体が前記表示背景画像に置き換わっていくように認識されるように、
前記前景画像加工手段は、前記注目被写体の画像の輝度を変更し、
前記背景画像加工手段は、前記注目被写体の画像を前記前景表示パネルに表示し前記表示背景画像を前記背景表示パネルに表示したときに、該表示背景画像のうち前記観察者から見て該注目被写体と重なる領域の該表示背景画像のデータの輝度を変更する、
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記前景画像加工手段は、前記注目被写体の大きさが順次変化して認識されるように、該注目被写体の画像のデータに変更を施し、
前記背景画像加工手段は、前記変更された注目被写体の画像を前記前景表示パネルに表示し前記表示背景画像を前記背景表示パネルに表示したときに、該表示背景画像のうち前記観察者から見て該注目被写体と重なる領域の該表示背景画像のデータの輝度を変更する、
ことを特徴とする請求項１２又は１３に記載の画像処理装置。
【請求項１５】
前記３次元画像は、動画像であって、
注目するフレームの前記注目被写体と他のフレームの前記注目被写体との差異である動き量を検出し、
前記動き量に基づいて、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との奥行き度の値を算出する、
動き量検出手段を更に具備し、
前記算出された前記奥行き度の値を出力する、
ことを特徴とする請求項１１乃至１４のうち何れか１項に記載の画像処理装置。
【請求項１６】
前記被写体抽出手段は、背景が同じであり前記注目被写体を含まない、前記被写体存在画像のデータと同条件で得られた被写体背景画像のデータと、前記被写体存在画像のデータとの差分から該注目被写体の画像のデータを抽出することを特徴とする請求項１乃至１５のうち何れか１項に記載の画像処理装置。
【請求項１７】
請求項７乃至１０のうち何れか１項に記載の画像処理装置と、
前記観察者の左眼に左眼用画像を観察させ、該観察者の右眼に右眼用画像を観察させるように構成された表示手段と、
を具備することを特徴とする画像表示装置。
【請求項１８】
請求項１１乃至１４のうち何れか１項に記載の画像処理装置と、
前記前景表示パネルと、
前記背景表示パネルと、
前記前景画像及び前記背景画像を前記異なる面に結像させる光学系と、
を有する表示手段と、
を具備することを特徴とする画像表示装置。
【請求項１９】
請求項１５に記載の画像処理装置と、
前記前景表示パネルと、
前記背景表示パネルと、
前記前景画像及び前記背景画像を前記異なる面に結像させる光学系と、
前記奥行き度の値に基づいて前記前景画像又は前記背景画像を結像させる面を変化させる結像面変更手段と、
を有する表示手段と、
を具備することを特徴とする画像表示装置。
【請求項２０】
注目被写体を含む被写体存在画像のデータを入力して前記被写体存在画像のデータから前記注目被写体の画像のデータを抽出し、
抽出された前記注目被写体の画像のデータと表示背景画像のデータとを入力して観察方向に沿って観察された際に該表示背景画像が表示されていると観察者に認識される面の手前又は奥に位置する面に該注目被写体の画像が表示されていると観察者に認識される３次元画像のデータを作成する、
ことを特徴とする画像処理方法。
【請求項２１】
前記注目被写体が前記表示背景画像に溶け込むように認識されるように、前記注目被写体の画像のデータに変更を施し被写体変更画像のデータを作成し、
前記被写体変更画像のデータと前記表示背景画像のデータとに基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項２０に記載の画像処理方法。
【請求項２２】
前記注目被写体が前記表示背景画像に置き換わるように認識されるように、前記注目被写体の画像のデータに変更を施して前記被写体変更画像のデータを作成することを特徴とする請求項２１に記載の画像処理方法。
【請求項２３】
前記注目被写体の大きさが順次変化して認識されるように、前記注目被写体の画像のデータに変更を施して前記被写体変更画像のデータを作成することを特徴とする請求項２１又は２２記載の画像処理方法。
【請求項２４】
認識される前記注目被写体の大きさに基づいて、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との奥行き度の値を設定し、
設定された前記奥行き度に基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項２３に記載の画像処理方法。
【請求項２５】
前記３次元画像は、動画像であって、
注目するフレームの前記注目被写体と他のフレームの前記注目被写体との差異である動き量を検出し、
前記動き量に基づいて、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との奥行き度の値を設定し、
設定された前記奥行き度の値に基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項２０乃至２４のうち何れか１項に記載の画像処理方法。
【請求項１】
注目被写体を含む被写体存在画像のデータを入力し、前記被写体存在画像のデータから前記注目被写体の画像のデータを抽出する被写体抽出手段と、
抽出された前記注目被写体の画像のデータと表示背景画像のデータとを入力し、観察方向に沿って観察された際に該表示背景画像が表示されていると観察者に認識される面の手前又は奥に位置する面に該注目被写体の画像が表示されていると観察者に認識される３次元画像のデータを作成する３次元画像データ作成手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記注目被写体が前記表示背景画像に溶け込むように認識されるように、前記注目被写体の画像のデータに変更を施し被写体変更画像のデータを作成する被写体変更手段を更に具備し、
前記３次元画像データ作成手段は更に、前記被写体変更画像のデータと前記表示背景画像のデータとに基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被写体変更手段は、前記注目被写体が前記表示背景画像に置き換わるように認識されるように、前記注目被写体の画像のデータに変更を施して前記被写体変更画像のデータを作成する、被写体−背景置換手段を有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記被写体変更手段は、前記注目被写体の大きさが順次変化して認識されるように、前記注目被写体の画像のデータに変更を施して前記被写体変更画像のデータを作成する被写体サイズ変更手段を有することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記被写体サイズ変更手段は、認識される前記注目被写体の大きさに基づいて、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との奥行き度の値を設定し、
前記３次元画像データ作成手段は、設定された前記奥行き度に基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記３次元画像は、動画像であって、
注目するフレームの前記注目被写体と他のフレームの前記注目被写体との差異である動き量を検出し、
前記動き量に基づいて、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との奥行き度の値を設定する、
動き量検出手段を更に具備し、
前記３次元画像データ作成手段は、設定された前記奥行き度に基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項１乃至５のうち何れか１項に記載の画像処理装置。
【請求項７】
前記３次元画像のデータは、両眼視差によって観察者に３次元画像を認識させるためのデータであって、該観察者に左眼で観察させる左眼用画像のデータと該観察者に右眼で観察させる右眼用画像のデータとを含み、
前記３次元画像データ作成手段は、前記表示背景画像のデータに前記注目被写体の画像のデータを合成することで前記左眼用画像のデータ及び前記右眼用画像のデータを作成し、
前記左眼用画像における前記表示背景画像に対する前記注目被写体の位置は、前記右眼用画像における前記表示背景画像に対する前記注目被写体の位置と、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との前記観察方向に沿った奥行き度に応じて異なる、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記注目被写体が前記表示背景画像に置き換わっていくように認識されるように、前記注目被写体の画像のデータに前記表示背景画像のデータを混合した被写体輪郭画像のデータを作成する輪郭画像生成手段を更に具備し、
前記３次元画像データ作成手段は更に、前記被写体輪郭画像のデータと前記表示背景画像のデータとに基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記注目被写体の大きさが順次変化して認識されるように、該注目被写体を含む画像のデータに変更を施して被写体消失画像のデータを作成し、
前記被写体消失画像における前記注目被写体の大きさに基づいて、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との奥行き度の値を設定する、
消失画像生成手段を更に具備し、
前記３次元画像データ作成手段は更に、前記被写体消失画像のデータと前記表示背景画像のデータと前記奥行き度の値とに基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記３次元画像は、動画像であって、
注目するフレームの前記注目被写体と他のフレームの前記注目被写体との差異である動き量を検出し、
前記動き量に基づいて、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との奥行き度の値を設定する、
動き量検出手段を更に具備し、
前記３次元画像データ作成手段は、設定された前記奥行き度に基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項７乃至９のうち何れか１項に記載の画像処理装置。
【請求項１１】
前記３次元画像のデータは、前景表示パネルに表示した前景と背景表示パネルに表示した背景とを、前記観察方向に沿って重なり合って見える異なる面に結像させることによって観察者に３次元画像を認識させるためのデータであって、該前景表示パネルに表示させる前景画像のデータと該背景表示パネルに表示させる背景画像のデータとを有し、
前記３次元画像データ作成手段は、
前記注目被写体の画像のデータに基づいて前記前景画像のデータを作成する前景画像加工手段と、
前記表示背景画像のデータに基づいて前記背景画像のデータを作成する背景画像加工手段と、
を有する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記背景画像加工手段は、前記注目被写体の画像を前記前景表示パネルに表示し前記表示背景画像を前記背景表示パネルに表示したときに、該表示背景画像のうち前記観察者から見て該注目被写体と重なる領域の該表示背景画像のデータの輝度を変更して前記背景画像のデータを作成する、ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記注目被写体が前記表示背景画像に置き換わっていくように認識されるように、
前記前景画像加工手段は、前記注目被写体の画像の輝度を変更し、
前記背景画像加工手段は、前記注目被写体の画像を前記前景表示パネルに表示し前記表示背景画像を前記背景表示パネルに表示したときに、該表示背景画像のうち前記観察者から見て該注目被写体と重なる領域の該表示背景画像のデータの輝度を変更する、
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記前景画像加工手段は、前記注目被写体の大きさが順次変化して認識されるように、該注目被写体の画像のデータに変更を施し、
前記背景画像加工手段は、前記変更された注目被写体の画像を前記前景表示パネルに表示し前記表示背景画像を前記背景表示パネルに表示したときに、該表示背景画像のうち前記観察者から見て該注目被写体と重なる領域の該表示背景画像のデータの輝度を変更する、
ことを特徴とする請求項１２又は１３に記載の画像処理装置。
【請求項１５】
前記３次元画像は、動画像であって、
注目するフレームの前記注目被写体と他のフレームの前記注目被写体との差異である動き量を検出し、
前記動き量に基づいて、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との奥行き度の値を算出する、
動き量検出手段を更に具備し、
前記算出された前記奥行き度の値を出力する、
ことを特徴とする請求項１１乃至１４のうち何れか１項に記載の画像処理装置。
【請求項１６】
前記被写体抽出手段は、背景が同じであり前記注目被写体を含まない、前記被写体存在画像のデータと同条件で得られた被写体背景画像のデータと、前記被写体存在画像のデータとの差分から該注目被写体の画像のデータを抽出することを特徴とする請求項１乃至１５のうち何れか１項に記載の画像処理装置。
【請求項１７】
請求項７乃至１０のうち何れか１項に記載の画像処理装置と、
前記観察者の左眼に左眼用画像を観察させ、該観察者の右眼に右眼用画像を観察させるように構成された表示手段と、
を具備することを特徴とする画像表示装置。
【請求項１８】
請求項１１乃至１４のうち何れか１項に記載の画像処理装置と、
前記前景表示パネルと、
前記背景表示パネルと、
前記前景画像及び前記背景画像を前記異なる面に結像させる光学系と、
を有する表示手段と、
を具備することを特徴とする画像表示装置。
【請求項１９】
請求項１５に記載の画像処理装置と、
前記前景表示パネルと、
前記背景表示パネルと、
前記前景画像及び前記背景画像を前記異なる面に結像させる光学系と、
前記奥行き度の値に基づいて前記前景画像又は前記背景画像を結像させる面を変化させる結像面変更手段と、
を有する表示手段と、
を具備することを特徴とする画像表示装置。
【請求項２０】
注目被写体を含む被写体存在画像のデータを入力して前記被写体存在画像のデータから前記注目被写体の画像のデータを抽出し、
抽出された前記注目被写体の画像のデータと表示背景画像のデータとを入力して観察方向に沿って観察された際に該表示背景画像が表示されていると観察者に認識される面の手前又は奥に位置する面に該注目被写体の画像が表示されていると観察者に認識される３次元画像のデータを作成する、
ことを特徴とする画像処理方法。
【請求項２１】
前記注目被写体が前記表示背景画像に溶け込むように認識されるように、前記注目被写体の画像のデータに変更を施し被写体変更画像のデータを作成し、
前記被写体変更画像のデータと前記表示背景画像のデータとに基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項２０に記載の画像処理方法。
【請求項２２】
前記注目被写体が前記表示背景画像に置き換わるように認識されるように、前記注目被写体の画像のデータに変更を施して前記被写体変更画像のデータを作成することを特徴とする請求項２１に記載の画像処理方法。
【請求項２３】
前記注目被写体の大きさが順次変化して認識されるように、前記注目被写体の画像のデータに変更を施して前記被写体変更画像のデータを作成することを特徴とする請求項２１又は２２記載の画像処理方法。
【請求項２４】
認識される前記注目被写体の大きさに基づいて、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との奥行き度の値を設定し、
設定された前記奥行き度に基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項２３に記載の画像処理方法。
【請求項２５】
前記３次元画像は、動画像であって、
注目するフレームの前記注目被写体と他のフレームの前記注目被写体との差異である動き量を検出し、
前記動き量に基づいて、前記表示背景画像が表示されていると認識される面と前記注目被写体の画像が表示されていると認識される面との奥行き度の値を設定し、
設定された前記奥行き度の値に基づいて、前記３次元画像のデータを作成する、
ことを特徴とする請求項２０乃至２４のうち何れか１項に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【公開番号】特開２０１２−７３７９２（Ｐ２０１２−７３７９２Ａ）
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願番号】特願２０１０−２１７７６６（Ｐ２０１０−２１７７６６）
【出願日】平成２２年９月２８日（２０１０．９．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願日】平成２２年９月２８日（２０１０．９．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]