表示装置及び表示方法
【課題】奥行方向の情報を正確且つ容易に認識する。
【解決手段】表示装置は、入力部101と奥行方向位置情報処理部103と表示処理部104とを備えている。入力部101には、奥行方向位置情報が、入力される。奥行方向位置情報は、被写体の奥行方向の位置及び情報の少なくともいずれか一方に対応する情報である。この奥行方向位置情報は、被写体に対応する2次元画像の少なくとも一部に、設定される。奥行方向位置情報処理部103は2次元情報を処理する。2次元情報は、水平方向位置情報及び垂直方向位置情報のいずれか一方と、奥行方向位置情報とから構成される。水平方向位置情報は、被写体の水平方向の位置に対応する情報である。垂直方向位置情報は、被写体の垂直方向の位置に対応する情報である。表示処理部104は、奥行方向位置情報処理部103において処理された2次元情報に対応する画像を、表示する。
【解決手段】表示装置は、入力部101と奥行方向位置情報処理部103と表示処理部104とを備えている。入力部101には、奥行方向位置情報が、入力される。奥行方向位置情報は、被写体の奥行方向の位置及び情報の少なくともいずれか一方に対応する情報である。この奥行方向位置情報は、被写体に対応する2次元画像の少なくとも一部に、設定される。奥行方向位置情報処理部103は2次元情報を処理する。2次元情報は、水平方向位置情報及び垂直方向位置情報のいずれか一方と、奥行方向位置情報とから構成される。水平方向位置情報は、被写体の水平方向の位置に対応する情報である。垂直方向位置情報は、被写体の垂直方向の位置に対応する情報である。表示処理部104は、奥行方向位置情報処理部103において処理された2次元情報に対応する画像を、表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像情報を表示する表示装置、特に、立体画像における被写体の前後の位置関係を表す奥行方向位置情報を表示する表示装置に関する。また、本発明は、上記の表示装置において実行される表示方法に関する。
【背景技術】
【0002】
近年、立体画像(3D画像)を表示する表示装置や、それら立体画像を撮像する撮像装置に注目が集まっている。表示方法には様々な方式が提案されているが、いずれの方式も基本原理は同じである。この基本原理では、左眼及び右眼の視差を人工的に作り出して、見ている人の脳内で立体像を認知させる。
立体画像を撮像する場合、撮像される被写体が手前に位置しすぎて、視差が大きくなりすぎると、人間の脳がうまく立体像を融合できず、不快に感じるという問題点がある。このため、撮影現場では、大きな視差をつけないように、輻輳角、水平画角、及び/又は被写体の前後の位置関係を表す奥行方向位置情報などを調整して、撮影を行っている。
奥行方向位置情報を2次元表示装置で可視化する方法としては、距離画像がある。距離画像の主な表示方法としては、元画像の画素に対する奥行方向位置情報に基づいて、画素を色相で表現する方法がある。この場合、例えば、画素の位置が手前から奥に向かうにつれて、画素の色相が、光の波長の高い色(赤)から光の波長の低い色(紫)へと変化する。また、上記とは別の表示方法として、元画像の画素に対する奥行方向位置情報に基づいて、画素を無彩色の明度(グレースケール)で表現する方法もある。この場合、例えば、画素の位置が手前から奥に向かうにつれて、画素の明度が、輝度の高い白から輝度の低い黒へと変化する。
【0003】
奥行方向位置情報を表示する方法として、3次元形状データから表面の各点の向きを抽出し、抽出した向きを識別可能に出力する方法が開示されている(特許文献1を参照)。ここでは、抽出した向きを線分の方向と長さとで表現したり、色の色相と彩度とで表現したりしている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平6−111027号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では、元画像に変換処理を施すことによって、上記の距離画像が生成され表示されていた。そして、距離画像の色相や明度等によって、奥行き情報が把握されていた。しかしながら、距離画像の色相や明度では、対象の位置を感覚的に把握することはできても、対象の位置を正確には把握することが困難であった。このように、従来の技術では、奥行方向の情報を正確且つ容易に認識することができないという課題があった。
【課題を解決するための手段】
【0006】
本発明は、上記従来の課題を解決するためになされたものである。本発明の表示装置は、入力部と、奥行方向位置情報処理部と、表示処理部とを、備えている。入力部には、奥行方向位置情報が、入力される。奥行方向位置情報は、被写体の奥行方向の位置及び情報の少なくともいずれか一方に対応する情報である。この奥行方向位置情報は、被写体に対応する2次元画像の少なくとも一部に、設定される。奥行方向位置情報処理部は、2次元情報を処理する。2次元情報は、水平方向位置情報及び垂直方向位置情報のいずれか一方と、奥行方向位置情報とから構成される。水平方向位置情報は、被写体の水平方向の位置に対応する情報である。水平方向位置情報は、2次元画像の少なくとも一部に設定される。垂直方向位置情報は、被写体の垂直方向の位置に対応する情報である。垂直方向位置情報は、2次元画像の少なくとも一部に設定される。表示処理部は、奥行方向位置情報処理部において処理された2次元情報に対応する画像を、表示する。
【発明の効果】
【0007】
上記の構成により、奥行方向の情報を正確且つ容易に認識することができる。また、この奥行方向の情報に基づいて、表示画面端の物体切れ調整や基準面調整等を容易に実行することができる。
【図面の簡単な説明】
【0008】
【図1】奥行方向位置情報表示装置の構成の一例を示すブロック図
【図2】奥行方向位置情報表示装置の動作の一例を示すフローチャートを示す図
【図3】実施の形態における被写体の3次元空間での位置情報の一例を示す図
【図4】実施の形態における被写体の2次元画像の一例を示す図
【図5】実施の形態における奥行方向位置情報画像の一例を示す図
【図6】実施の形態における被写体の2次元画像の一例を示す図
【図7】実施の形態における奥行方向位置情報画像の一例を示す図
【図8】実施の形態における合成表示画像の一例を示す図
【図9】実施の形態における合成表示画像の一例を示す図
【図10】実施の形態における合成表示画像の一例を示す図
【図11】実施の形態における合成表示画像の一例を示す図
【図12】実施の形態における奥行方向位置情報画像の一例を示す図
【図13】実施の形態における合成表示画像の一例を示す図
【図14】実施の形態における被写体の3次元空間での位置情報の一例を示す図
【図15】実施の形態における被写体の2次元画像の一例を示す図
【図16】実施の形態における奥行方向位置情報画像の一例を示す図
【図17】実施の形態における合成表示画像の一例を示す図
【図18】実施の形態における奥行方向位置情報画像の一例を示す図
【図19】実施の形態における奥行方向位置情報画像の一例を示す図
【発明を実施するための形態】
【0009】
以下に、実施の形態について、図面を参照しながら説明する。
[実施の形態]
図1は、実施の形態における奥行方向位置情報表示装置の構成の一例を示すブロック図である。なお、以下では、「画像」「画素」「情報」「視差量」「距離」「座標」等の文言が用いられるが、これら文言は、「画像データ」「画素データ」「情報データ」「視差量データ」「距離データ」「座標データ」等の意味で用いられる場合がある。また、「画像」という文言は、「被写体を撮影することによって得られた画像」という意味で用いられる場合がある。
奥行方向位置情報表示装置100は、入力部101、画像処理部102、奥行方向位置情報処理部103、表示処理部104および設定部109、で構成される。
【0010】
入力部101には、画像及び奥行方向位置情報が入力される。すると、入力部101は、画像を画像処理部102へ出力し、奥行方向位置情報を奥行方向位置情報処理部103へ出力する。奥行方向位置情報は、画像を水平方向と垂直方向とからなる2次元平面で表した場合に、2次元平面上の画像(2次元画像)の少なくとも一部の領域(例えば、被写体、ブロック、画素等)に対して、設定される。
ここで入力される画像(入力画像)は、例えば、1フィールドごとや1フレームごとの静止画像である。また、入力画像は、例えば、連続した静止画像であってもよい。この場合、入力画像は動画像として取り扱われる。
入力画像には、例えば、1つの画像や、両眼視差を持つ左眼画像及び右眼画像、及びCGなどのサーフェスモデルで表現された3次元画像等が、含まれる。
【0011】
奥行方向位置情報には、例えば、計測で得られた被写体までの奥行方向の距離(奥行座標)、両眼視差を持つ左眼画像と右眼画像の視差量、及び3次元画像におけるテクスチャ情報やモデルの頂点ごとの3次元空間での位置情報を示す座標等が、含まれる。なお、視差量は、例えば、左眼画像と右眼画像とで互いに対応する領域における、水平方向の位置情報の変化量に対応する。
以下では、入力画像に基づいて、奥行方向位置情報を設定する形態について、説明する。まず、1つの画像に基づいて、奥行方向の距離を算出する形態について、具体的に説明する。図3に示すカメラは、画像、及びカメラから被写体までの距離を測定可能である。このカメラによって、図3に示すような被写体が撮像された場合、例えば、1つの画像は、図4に示すように、水平方向及び垂直方向を基準方向とした2次元画像となる。また、この場合、各被写体までの奥行方向の距離は、例えば、各被写体の少なくとも一部の領域に対する測定で得られた実測距離となる。
【0012】
次に、両眼視差を持つ左眼画像と右眼画像とに基づいて、その視差量を設定する形態について、具体的に説明する。図3に示すような被写体を、2眼式カメラで撮像した場合、両眼視差を持つ左眼画像と右眼画像とは、例えば、それぞれが水平方向及び垂直方向を基準方向とした2次元画像となる。この場合、例えば、左眼画像と右眼画像とにおいて互いに対応する領域が、検知される。そして、この領域を含むブロックにおいて、ブロックマッチングが行われる。そして、画像の領域ごとの視差量、例えば水平方向において位置情報の変化量(画素数)が、算出される。そして、画像全体の水平サイズに対する、位置情報の変化量の割合が、奥行方向位置情報として設定される。
なお、以下では、左眼画像と右眼画像とが一致する面、すなわち水平方向及び垂直方向によって構成される両眼視差のない平面を、基準面と定義する。例えば、左眼画像及び右眼画像に基づいて視差がゼロとなる平面が計算され、この平面が基準面として設定される。例えば、2眼式カメラを用いた撮像時には、この基準面によって、各被写体の位置関係を把握することができ、立体撮像を容易に行うことができる。ここで、「両眼視差のない平面」及び「視差がゼロになる平面」という文言は、「両眼視差が所定の誤差の範囲内である平面」及び「視差がゼロを基準とした所定の誤差の範囲内である平面」という意味を含んでいる。
【0013】
最後に、CGなどのサーフェスモデルで表現された3次元画像に基づいて、このモデルの頂点ごとの3次元空間での位置情報を示す座標を設定する形態について、具体的に説明する。図3に示すような被写体が、サーフェスモデルで表現されている場合、画像は、例えば、カメラの位置を視点とする、水平方向及び垂直方向を基準とした2次元画像となる。また、奥行方向位置情報は、例えば、カメラの位置を視点としたときの、モデルの頂点ごとの3次元空間での位置情報を示す座標となる。なお、画像は、3次元画像の状態で情報を保持し、後の処理で視点変換しても良い。
設定部109は、奥行方向位置情報の表示に関する設定を行う。設定部109は、画像処理部102と、奥行方向位置情報処理部103と、表示処理部104とに、対応する設定情報を出力する。奥行方向位置情報の表示に関する設定としては、例えば、以下のようなものがある。
【0014】
(1)基準となる奥行方向位置情報、すなわち基準面位置情報(視差の測定開始位置、両眼視差のない位置など)の設定。
基準となる奥行方向位置情報、すなわち基準面位置情報は、実測に基づいて設定される場合や、画像から相対的に計算して設定される場合がある。例えば、図3に示すような被写体を、カメラから被写体までの距離を測定できるカメラで撮像した場合、カメラの位置を示す情報が、基準面位置情報として設定される。このように、基準面位置情報が設定されると、この基準面位置情報に基づいて基準面が設定される。
また、別の形態としては、3次元画像として表示する際に両眼視差がなくなる位置を示す情報が、基準面位置情報として設定される。例えば、図3に示すような被写体を2眼式カメラで撮像した場合、上記の視差量の設定において説明した形態で、両眼視差がない領域を規定するための情報が、基準面位置情報として設定される。さらに、例えば、図3に示すような被写体が、サーフェスモデルで表現されている場合、3次元画像として表示する際に左眼画像と右眼画像との視差量がない面を規定するための情報が、基準面位置情報として設定される。このように、基準面位置情報が設定されると、この基準面位置情報に基づいて基準面が設定される。
【0015】
(2)奥行方向位置情報とともに用いる位置情報(水平方向位置情報、又は垂直方向位置情報)の設定。
水平方向位置情報及び垂直方向位置情報は、画像の水平方向の位置(水平座標)及び垂直方向の位置(垂直座標)を定義するためのものである。水平方向位置情報及び垂直方向位置情報は、画像を水平方向と垂直方向とからなる2次元平面で表した場合に、2次元平面上の画像(2次元画像)の少なくとも一部の領域(例えば、被写体、ブロック、画素等)に対して、設定される。
ここでは、奥行方向位置情報画像を表示するために、水平方向位置情報又は奥行方向位置情報が選択される。例えば、図3に示すような被写体に対する奥行方向位置情報画像は、水平方向位置情報及び奥行方向位置情報を用いて、図5のように示される。より具体的には、水平方向位置情報及び奥行方向位置情報を2次元グラフにプロットすることによって、図5に示すような奥行方向位置情報画像が生成される。これにより、被写体間の奥行方向位置関係と水平方向位置関係を容易に把握することができる。この奥行方向位置情報画像(2次元グラフ)では、横軸が水平方向に設定され、縦軸が奥行方向に設定されている。
【0016】
また、図3に示すような被写体に対する奥行方向位置情報画像は、垂直方向位置情報及び奥行方向位置情報を用いて、図12のように示される。より具体的には、垂直方向位置情報及び奥行方向位置情報を2次元グラフにプロットすることによって、図12に示すような奥行方向位置情報画像が生成される。これにより、被写体間の奥行方向位置関係と垂直方向位置関係を容易に把握することができる。この奥行方向位置情報画像(2次元グラフ)では、横軸が奥行方向に設定され、縦軸が垂直方向に設定されている。なお、この場合、被写体Dと被写体Eは同じ奥行方向位置情報にあるため、重なって表示されている。
なお、画像が3次元情報を有している場合は、視点位置を変更する設定を実行してもよい。例えば、視点位置が変更された場合、視点変更後の水平方向位置情報、視点変更後の垂直方向位置情報、及び視点変換後の奥行方向位置情報を用いて、上記のような処理を行ってもよい。
【0017】
このように、奥行方向位置情報を、水平方向位置情報及び垂直方向位置情報を用いて表示することによって、被写体の位置関係を様々な視点から確認することができる。すなわち、立体撮像時に各被写体の位置関係を把握でき、立体撮像を容易に行うことができる。
(3)表示する奥行方向位置情報の奥行方向の範囲の設定。
ここでは、奥行方向位置情報の表示範囲が、設定される。例えば、図3に示すような被写体に対する、奥行方向位置情報の表示範囲(図3の破線)が設定された場合、表示範囲外に存在する被写体(図3の被写体A及び被写体C)の奥行方向位置情報は、非表示に設定してもよい。
また、これとは別の形態として、表示範囲外に存在する被写体(図3の被写体A及び被写体C)の奥行方向位置情報が、表示範囲内に収まるように、奥行方向位置情報を変換する処理を行ってもよい。この場合、例えば、図5に示すように、被写体Aの奥行方向位置情報は表示範囲の下辺に表示され、被写体Cの奥行方向位置情報は表示範囲の上辺に表示される。
【0018】
ここで、表示範囲外に存在する被写体の奥行方向位置情報を、色付け表示したり、点滅表示させたりしてもよい。これによって、被写体が表示範囲外に存在することを、報知することができる。また、奥行方向位置情報の表示範囲内において、立体視の際に視差が大きくなりすぎて不快と感じる範囲が存在する場合は、この範囲を、図14に示すように、視差注意領域(斜線部の領域)として設定してもよい。この場合、例えば、図16に示すように視差注意領域の背景を色付け表示したり、視差注意領域にプロットした奥行方向位置情報そのものを、色付け表示したり点滅表示させたりしてもよい。
同様に、立体視の際に手前に飛び出る被写体が画面の端で切れてしまう場合、図18に示すように、この範囲を視差注意領域(斜線部の領域)として示してもよい。さらに、図16と図18で示した領域(斜線部の領域)を、図19のように合わせて示してもよい。
【0019】
このように、被写体が奥行方向位置情報の表示範囲外に存在する場合、この被写体の奥行方向位置情報が明示的に表示されるので、立体視の際に視差が大きくなりすぎて不快と感じる恐れのある被写体を、立体撮像時にあらかじめ撮影者に知らせることができる。また、表示範囲外の被写体に対する奥行方向位置情報を、表示範囲内に表示可能に変換することによって、奥行方向位置情報の表示範囲を変更することなく、全ての被写体の奥行方向位置情報を把握することができる。
(4)2次元画像の全領域の奥行方向位置情報を用いるか2次元画像の部分的な領域の奥行方向位置情報を用いるかの設定。
ここでは、例えば、図3に示すような被写体に対応する、図4に示した画像全体の領域が、奥行方向位置情報を表示する領域として、設定される。この場合、図5に示すように、画像全体の被写体に対応する奥行方向位置情報が、奥行方向位置情報画像として、表示される。
【0020】
また、ここでは、例えば、図3に示すような被写体に対応する、図6に示した画像の一部の領域(採用領域)が、奥行方向位置情報を表示する領域として、設定される。この場合、図7に示すように、画像の一部の領域に写る被写体部分に対応する奥行方向位置情報が、奥行方向位置情報画像として、表示される。なお、図7では、採用領域内の被写体A及び被写体Fの奥行方向位置情報が、部分的に表示されている。また、図6では被写体Bが採用領域外に位置しているため、図7では被写体Bの奥行方向位置情報は表示されていない。
(5)画像の表示位置の設定と表示サイズの設定。
ここでは、画像の表示位置の設定と表示サイズの設定が行われる。例えば、画像の合成に関する設定、画像の切り替え表示に関する設定、及び別の表示装置へ出力する画像を作成するための設定等が、行われる。
【0021】
例えば、図4に示すように画像全体を表示する設定や、図6に示すように採用領域の画像のみを部分的に表示する設定が、行われる。また、図11や図13で示すように画像を縮小表示する設定や、注目したい領域だけを拡大表示する設定が、行われる。また、図9に示すように、奥行方向位置情報画像に重なる部分の画像、又は画像全体を、モノクロ画像に変換する設定が、行われる。また、注目したい領域やその領域以外の領域を、所定の色に色変換する設定が、行われる。
また、図15で示したように、2眼式カメラなどで撮像した場合の左眼画像と右眼画像とを重ね合わせて表示する設定が、行われる。さらに、画像が3次元情報を有している場合は、3次元情報に基づいて、2次元画像を作成する設定を、行う。この場合は、視点位置を変更する設定を実行し、視点変換後に2次元画像を作成してもよい。
【0022】
なお、ここに示した設定は一例であって、他の画像の表示位置の設定と他の表示サイズの設定を、行ってもよい。
(6)奥行方向位置情報画像を画像と合成して表示するかしないかの設定。奥行方向位置情報画像を合成して表示する場合、全画面に重ねて表示するか部分的な領域に表示するかの設定。奥行方向位置情報画像の表示位置の設定と表示サイズの設定。
ここでは、画像と奥行方向位置情報画像とを合成して表示するか否かが、設定される。例えば、以下のような様々な表示を指示するための設定が、実行される。
合成しない場合は、奥行方向位置情報画像のみが表示される。また、この場合、奥行方向位置情報画像を、メインの表示装置とは異なる他の表示装置で表示してもよい。さらに、この場合、画像と奥行方向位置情報画像とを、1つの表示装置で切換表示してもよい。
【0023】
一方で、例えば、図4に示した画像に図5のような奥行方向位置情報画像を合成して表示する場合、図8に示すように、奥行方向位置情報画像の水平方向位置情報と、画像の画素の水平位置とを一致させることによって、奥行方向位置情報が、画像の一部に重ねて表示される。これにより、水平位置情報と被写体との関連を把握しやすくなる。この場合、図4で示した被写体Bの画像は、非表示である。このため、図9で示すように、奥行方向位置情報画像を画像の上に半透明のレイヤとして重ねて表示しても良い。これにより、被写体Bの画像を把握することができる。また、図11のように、奥行方向位置情報画像と画像とを、縮小表示して並べて表示してもよい。また、図5の奥行方向位置情報画像を半透明のレイヤに変換し、図4の画像全体に重ねてもよい。
また、画像の全体構成を把握する場合は、図10で示すように、奥行方向位置情報画像を子画面として画像の一部に重ねて表示してもよい。また、図4に示した画像に、図12のような奥行方向位置情報画像を合成して表示してもよい。この場合、例えば図13のように合成することによって、垂直位置情報と被写体との関連を容易に把握することができる。なお、図4に示した画像と、図12のような奥行方向位置情報画像との合成は、上記で説明した他の合成表示でもよい。
【0024】
画像処理部102は、入力部101から入力された画像を処理することによって、2次元画像を作成し、表示処理部104へ出力する。ここでの画像処理によって、設定部109で設定された表示形態に対応する2次元画像が、生成される。画像処理としては、例えば、上記(5)で設定したような、両眼視差を持つ左眼画像と右眼画像を重ね合わせた合成画像の作成、モノクロ画像の作成、画像サイズの変換、一部の表示領域の抽出、3次元画像の所定の視点から見た2次元画像への変換等が、ある。
奥行方向位置情報処理部103は、設定部109で設定した表示になるように、入力部101から出力された奥行方向位置情報を処理することによって、2次元画像(奥行方向位置情報画像)を作成し表示処理部104へ出力する。
ここでは、2次元画像の作成に必要な情報を抽出することによって、奥行方向位置情報が処理される。例えば、上記(2)で設定したような、画像の設定領域における、奥行方向位置情報とその水平方向位置情報、又は奥行方向位置情報とその垂直方向位置情報が、奥行方向位置情報画像の作成に必要な情報として、抽出される。そして、抽出された情報に対して、例えば、上記(3)、(5)で設定したような、指定した表示範囲内に奥行方向位置情報を収める変換や、3次元画像において設定した視点から見た2次元画像に対応する奥行方向位置情報への変換が、行われる。
【0025】
奥行方向位置情報を示す2次元画像(奥行方向位置情報画像)は、例えば、奥行方向位置情報とその水平方向位置情報を、垂直方向と水平方向とから構成される画像情報に変換し、2次元のグラフとしてプロットすることによって、作成される。また、奥行方向位置情報画像は、奥行方向位置情報とその垂直方向位置情報を、水平方向と垂直方向とから構成される画像情報に変換し、2次元のグラフとしてプロットすることによって、作成される。なお、2次元画像には、グラフを見やすくするための色付け処理や、点滅処理等を、
などが施してもよい。また、2次元画像には、例えば、上記(1)で設定した基準面を表示してもよい。
表示処理部104は、画像処理部102から入力された画像と、奥行方向位置情報処理部103から入力された画像とを合成し、合成後の画像を表示する。具体的には、表示処理部104は、設定部109における表示設定、例えば上記(4)、(6)の表示設定に基づいて、画像処理部102で出力した画像と、奥行方向位置情報処理部103で出力した画像とを、合成し表示する。
【0026】
以上、実施の形態における奥行方向位置情報表示装置の構成の一例を、ブロック図を用いて説明した。
図2は、実施の形態における奥行方向位置情報表示装置の動作の一例を示すフローチャートである。ここでは、例えば、入力情報が、両眼視差を持つ左眼画像及び右眼画像と、その画素ごとの視差量とであり、最終表示として図17に示すような合成表示画像が表示される場合の処理を、説明する。
この場合、設定部109では、次のように処理される。まず、設定部109は、基準となる奥行方向位置情報を設定する。例えば、図14に示すように、基準面位置情報が、基準となる奥行方向位置情報として、設定される。基準面位置情報は、立体表示の際に両眼視差がない位置を示す情報である。次に、設定部109は、奥行方向位置情報と水平方向位置情報とを用いて、奥行方向位置情報の表示範囲を、図14に示した範囲に設定する。ここでは、例えば、基準面位置情報により設定される基準面に対して、視差量が画像の水平方向サイズの±3%以内に収まるように、表示範囲が設定される。ここに示す表示範囲は、奥行方向の表示範囲である。
【0027】
続いて、設定部109は、視差注意領域を、図14に示した範囲に設定する。設定部109は、例えば、基準面位置情報により設定される基準面に対して、画像の水平方向サイズの+2%を超える、又は−2%を下回る視差量の奥行方向の範囲に、視差注意領域を設定する。ここでは、設定部109は、視差注意領域を色付け表示する設定も行う。
続いて、設定部109は、図4に示した2次元画像の全領域に対する奥行方向位置情報を用いて、図16に示した奥行方向位置情報画像を作成する設定を、行う。続いて、設定部109は、図15に示した合成画像、例えば2眼式カメラなどで撮像したときの左眼画像と右眼画像を重ね合わせた画像を、作成する設定を、行う。続いて、設定部109は、図16の奥行方向位置情報画像と図15の画像とを、図17に示すように合成して表示する設定を、行う。例えば、図17では、奥行方向位置情報画像が半透明に設定され、画像の下から1/3の領域において、水平方向位置情報と画像の画素の水平位置とが一致するように、画像と奥行方向位置情報画像とが合成して表示されている。
【0028】
上記のような設定が設定部109において行われると、この設定に基づいて、各種の処理が以下のように実行される。
まず、入力処理P1において、入力部101に、両眼視差を持つ左眼画像と右眼画像と、左眼画像及び右眼画像の画素ごとの視差量とが、入力される。視差量は左眼画像に対するものでもよいし、右眼画像に対するものでもよいし、左眼画像及び右眼画像の両方でもよい。次に、入力部101は、画像を画像処理部102へ出力し、奥行方向位置情報を奥行方向位置情報処理部103へ出力する。ここでは、画像に対応する奥行方向位置情報の位置は、水平方向位置情報と垂直方向位置情報とによって定義される。
画像変換処理P2において、画像処理部102は、設定部109の表示設定に従って、画像を作成する。例えば、画像処理部102は、両眼視差を持つ左眼画像と右眼画像とにおいて同位置の画素値を加算して、その結果を2で除算する処理を行う。このようにして、画像処理部102は、図15のような画像を作成する。ここでは、同位置の画素値は、両眼視差を持つ左眼画像と右眼画像とにおいて水平方向及び垂直方向から構成される平面上の同位置に存在する画素値に、対応している。
【0029】
図15では、基準面にある被写体Dと被写体Eの被写体は、両眼視差がないので、左眼画像と右眼画像とは同位置で重なって表示されている。また、基準面にない被写体は、両眼視差が存在しているので、左眼画像と右眼画像とは、2重にぶれたように表示されている。
奥行方向位置情報変換処理P3において、奥行方向位置情報処理部103は、設定部109の表示設定に基づいて、2次元画像の全領域に対する、奥行方向位置情報とその水平方向位置情報を、抽出する。奥行方向位置情報処理部103は、上述した2次元グラフに、基準面位置情報によって設定される基準面を表示する。また、奥行方向位置情報処理部103は、この基準面を基準として、画像の水平方向サイズの±3%以内の視差量を、2次元グラフにプロットする。例えば、画像の水平サイズが1920画素である場合、画像の水平方向サイズの±3%の視差量は、±58画素である。ここでは、+側は水平方向の右側へシフトさせた方向に定義し、−側は水平方向の左側へシフトさせた方向に定義している。この場合、奥行方向位置情報処理部103は、画素ごとの視差量が+58画素から−58画素までの範囲の視差量、すなわち奥行方向表示範囲の視差量を、2次元グラフにプロットする。
【0030】
ここで、視差量が奥行方向表示範囲を超えている対象については、この対象の視差量は、採用領域内にある視差量(この場合は全画面が採用領域であるので、全視差量)の上限値又は下限値に、設定される。例えば、対象の視差量が+58画素を超えている場合は、この対象の視差量は、+58画素に設定される。また、対象の視差量が−58画素を下回っている場合は、この対象の視差量が−58画素に設定される。
また、ここでは、画像の水平方向サイズの±2%の範囲外である視差量に対応する領域が、視差注意領域として、設定されている。例えば、画像の水平サイズが1920画素である場合、画像の水平方向サイズの±2%の視差量は、±38画素である。この場合、奥行方向位置情報処理部103は、上記の奥行方向表示範囲の場合と同様に、±38画素の範囲外の視差量を、2次元グラフにプロットする。そして、奥行方向位置情報処理部103は、視差注意領域を報知するために、グラフ背景に、例えば黄色や赤色などの色付けをし、図16のような奥行方向位置情報画像を作成する。
【0031】
合成設定判定P4において、画像と奥行方向位置情報画像との合成の設定がなされているか否かが、判定される。本実施の形態では、図17に示したような表示の設定がなされているため、ここでは合成処理P5へ進む。
合成処理P5において、表示処理部104は、画像と奥行方向位置情報画像を合成し、合成表示画像を作成する。例えば、奥行方向位置情報画像がフルサイズで生成されている場合、表示処理部104は、奥行方向位置情報画像を半透明に変換し、奥行方向位置情報画像の縦軸(奥行方向)サイズを1/3に縮小変換する。そして、表示処理部104は、変換後の奥行方向位置情報画像を、画像の下から1/3の領域に重ね合わせる。詳細には、表示処理部104は、画像の下から1/3の領域において、奥行方向位置情報画像の水平方向位置情報と、画像の画素の水平位置とを、一致させる。これにより、変換後の奥行方向位置情報画像が画像の下から1/3の領域に重ね合わせられ、合成表示画像が作成される。より詳細には、例えば、画像の下から1/3の領域の画像の輝度を上げ、輝度を上げた画像と変換後の奥行方向位置情報画像とにおいて同位置の画素値を加算して、その結果を2で割る処理を行うことによって、合成表示画像は作成される。
【0032】
表示処理P6においては、表示処理部104は、合成処理P5において生成された合成後の画像を、表示する。これにより、例えば、設定部109における表示設定に対応する画像が、表示される。
以上では、実施の形態における奥行方向位置情報表示装置の動作の一例を、フローチャートを用いて説明した。
上述した奥行方向位置情報表示装置100における各種の設定及び処理は、図示しない制御部において、実行されえる。制御部は、例えば、ROM(Read Only Memory)及びCPU(Central Processing Unit)等により構成される。ROMには、各種の設定及び処理を実行するためのプログラム等が、格納されている。制御部は、ROMのプログラムをCPUに実行させることにより、入力部101、画像処理部102、奥行方向位置情報処理部103、表示処理部104、及び設定部109の設定及び処理を制御する。なお、各種の設定及び処理を実行する場合には、データを一時的に格納するための記録部(図示しない)例えばRAM(Random Access Memory)が、用いられる。
【0033】
上記の奥行方向位置情報表示装置100では、奥行方向の情報を正確且つ容易に認識することができる。また、この奥行方向の情報に基づいて、表示画面端の物体切れ調整や、基準面調整等を容易に実行することができる。さらに、奥行方向位置情報画像を用いて、視差注意領域に被写体がかからないように、撮影時に指示したり、記録済みの画像を補正したり、左右の視差量がない基準面の奥行方向位置情報を調整したりすることができる。
[他の実施の形態]
(a)前記実施形態では、画素ごとの視差量を奥行方向位置情報として用いたが、ブロックごとや領域ごと又は被写体ごとの視差量を、奥行方向位置情報として用いても良い。また、説明を容易にするために、人物や物等の被写体を対象として説明を行ったが、視差量を有する被写体すべてに対して、上記のように処理することができる。例えば、図15に示すように、壁などの背景についても同様に処理することができる。
(b)前記実施形態では、図15に示すように右眼画像と左眼画像とを重ね合わせることによって、表示画像を生成する場合の例を示したが、画像の一部例えば右眼画像及び左眼画像のいずれか一方だけを、表示画像として用いてもよい。
(c)前記実施形態では、奥行方向位置情報画像に、奥行距離を示すメジャー(メートル、画素数など)を組み込むことによって、奥行方向位置情報を報知するようにしてもよい。これにより、ユーザは、奥行方向位置情報を、より分かりやすく把握することができる。
(d)前記実施形態では、右眼画像と左眼画像とを平均的に重ね合わせることによって、合成画像を生成する場合の例を示したが、合成画像の生成形態は、前記実施形態に限定されず、どのようにしてもよい。例えば、右眼画像と左眼画像とを交互に高速表示することによって、合成画像を生成してもよい。また、右眼画像及び左眼画像それぞれを1ライン毎に重ね合わせることによって、合成画像を生成してもよい。
(e)前記実施形態では、設定部109において奥行方向位置情報の表示に関する設定を行ったが、奥行方向位置情報の表示に関する設定は、上記の(1)〜(6)の内容に限定するものではなく、どのようにしてもよい。上記の(1)〜(6)とは異なる形態で奥行方向位置情報の表示に関する設定したとしても、設定に応じて動作させることができる。
(f)前記実施形態では、奥行方向位置情報が入力部101に入力される場合の例を示したが、奥行方向位置情報は、入力部101に入力された画像に基づいて、生成してもよい。
(g)前記実施形態では、例えば、水平方向位置情報が水平方向座標(ex. x座標)を含み、垂直方向位置情報が垂直方向座標(ex. y座標)を含み、奥行方向位置情報が奥行方向座標(ex. z座標)を含む場合の例を示した。すなわち、前記実施形態では、画像の3次元位置情報が、3次元直交座標系において定義されていたが、画像の3次元位置情報は、どのように定義してもよい。例えば、画像の3次元位置情報は、基準点からの距離r、基準点まわりの角度θ、基準点からの高さyからなる極座標系によって、定義してもよい。基準点(原点)は、任意に設定可能である。
【産業上の利用可能性】
【0034】
ここに開示された技術は、立体画像の情報を表示する表示装置に広く適用することができる。
【符号の説明】
【0035】
100 表示装置
101 入力部
102 画像処理部
103 奥行方向位置情報処理部
104 表示処理部
109 設定部
【技術分野】
【0001】
本発明は、画像情報を表示する表示装置、特に、立体画像における被写体の前後の位置関係を表す奥行方向位置情報を表示する表示装置に関する。また、本発明は、上記の表示装置において実行される表示方法に関する。
【背景技術】
【0002】
近年、立体画像(3D画像)を表示する表示装置や、それら立体画像を撮像する撮像装置に注目が集まっている。表示方法には様々な方式が提案されているが、いずれの方式も基本原理は同じである。この基本原理では、左眼及び右眼の視差を人工的に作り出して、見ている人の脳内で立体像を認知させる。
立体画像を撮像する場合、撮像される被写体が手前に位置しすぎて、視差が大きくなりすぎると、人間の脳がうまく立体像を融合できず、不快に感じるという問題点がある。このため、撮影現場では、大きな視差をつけないように、輻輳角、水平画角、及び/又は被写体の前後の位置関係を表す奥行方向位置情報などを調整して、撮影を行っている。
奥行方向位置情報を2次元表示装置で可視化する方法としては、距離画像がある。距離画像の主な表示方法としては、元画像の画素に対する奥行方向位置情報に基づいて、画素を色相で表現する方法がある。この場合、例えば、画素の位置が手前から奥に向かうにつれて、画素の色相が、光の波長の高い色(赤)から光の波長の低い色(紫)へと変化する。また、上記とは別の表示方法として、元画像の画素に対する奥行方向位置情報に基づいて、画素を無彩色の明度(グレースケール)で表現する方法もある。この場合、例えば、画素の位置が手前から奥に向かうにつれて、画素の明度が、輝度の高い白から輝度の低い黒へと変化する。
【0003】
奥行方向位置情報を表示する方法として、3次元形状データから表面の各点の向きを抽出し、抽出した向きを識別可能に出力する方法が開示されている(特許文献1を参照)。ここでは、抽出した向きを線分の方向と長さとで表現したり、色の色相と彩度とで表現したりしている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平6−111027号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では、元画像に変換処理を施すことによって、上記の距離画像が生成され表示されていた。そして、距離画像の色相や明度等によって、奥行き情報が把握されていた。しかしながら、距離画像の色相や明度では、対象の位置を感覚的に把握することはできても、対象の位置を正確には把握することが困難であった。このように、従来の技術では、奥行方向の情報を正確且つ容易に認識することができないという課題があった。
【課題を解決するための手段】
【0006】
本発明は、上記従来の課題を解決するためになされたものである。本発明の表示装置は、入力部と、奥行方向位置情報処理部と、表示処理部とを、備えている。入力部には、奥行方向位置情報が、入力される。奥行方向位置情報は、被写体の奥行方向の位置及び情報の少なくともいずれか一方に対応する情報である。この奥行方向位置情報は、被写体に対応する2次元画像の少なくとも一部に、設定される。奥行方向位置情報処理部は、2次元情報を処理する。2次元情報は、水平方向位置情報及び垂直方向位置情報のいずれか一方と、奥行方向位置情報とから構成される。水平方向位置情報は、被写体の水平方向の位置に対応する情報である。水平方向位置情報は、2次元画像の少なくとも一部に設定される。垂直方向位置情報は、被写体の垂直方向の位置に対応する情報である。垂直方向位置情報は、2次元画像の少なくとも一部に設定される。表示処理部は、奥行方向位置情報処理部において処理された2次元情報に対応する画像を、表示する。
【発明の効果】
【0007】
上記の構成により、奥行方向の情報を正確且つ容易に認識することができる。また、この奥行方向の情報に基づいて、表示画面端の物体切れ調整や基準面調整等を容易に実行することができる。
【図面の簡単な説明】
【0008】
【図1】奥行方向位置情報表示装置の構成の一例を示すブロック図
【図2】奥行方向位置情報表示装置の動作の一例を示すフローチャートを示す図
【図3】実施の形態における被写体の3次元空間での位置情報の一例を示す図
【図4】実施の形態における被写体の2次元画像の一例を示す図
【図5】実施の形態における奥行方向位置情報画像の一例を示す図
【図6】実施の形態における被写体の2次元画像の一例を示す図
【図7】実施の形態における奥行方向位置情報画像の一例を示す図
【図8】実施の形態における合成表示画像の一例を示す図
【図9】実施の形態における合成表示画像の一例を示す図
【図10】実施の形態における合成表示画像の一例を示す図
【図11】実施の形態における合成表示画像の一例を示す図
【図12】実施の形態における奥行方向位置情報画像の一例を示す図
【図13】実施の形態における合成表示画像の一例を示す図
【図14】実施の形態における被写体の3次元空間での位置情報の一例を示す図
【図15】実施の形態における被写体の2次元画像の一例を示す図
【図16】実施の形態における奥行方向位置情報画像の一例を示す図
【図17】実施の形態における合成表示画像の一例を示す図
【図18】実施の形態における奥行方向位置情報画像の一例を示す図
【図19】実施の形態における奥行方向位置情報画像の一例を示す図
【発明を実施するための形態】
【0009】
以下に、実施の形態について、図面を参照しながら説明する。
[実施の形態]
図1は、実施の形態における奥行方向位置情報表示装置の構成の一例を示すブロック図である。なお、以下では、「画像」「画素」「情報」「視差量」「距離」「座標」等の文言が用いられるが、これら文言は、「画像データ」「画素データ」「情報データ」「視差量データ」「距離データ」「座標データ」等の意味で用いられる場合がある。また、「画像」という文言は、「被写体を撮影することによって得られた画像」という意味で用いられる場合がある。
奥行方向位置情報表示装置100は、入力部101、画像処理部102、奥行方向位置情報処理部103、表示処理部104および設定部109、で構成される。
【0010】
入力部101には、画像及び奥行方向位置情報が入力される。すると、入力部101は、画像を画像処理部102へ出力し、奥行方向位置情報を奥行方向位置情報処理部103へ出力する。奥行方向位置情報は、画像を水平方向と垂直方向とからなる2次元平面で表した場合に、2次元平面上の画像(2次元画像)の少なくとも一部の領域(例えば、被写体、ブロック、画素等)に対して、設定される。
ここで入力される画像(入力画像)は、例えば、1フィールドごとや1フレームごとの静止画像である。また、入力画像は、例えば、連続した静止画像であってもよい。この場合、入力画像は動画像として取り扱われる。
入力画像には、例えば、1つの画像や、両眼視差を持つ左眼画像及び右眼画像、及びCGなどのサーフェスモデルで表現された3次元画像等が、含まれる。
【0011】
奥行方向位置情報には、例えば、計測で得られた被写体までの奥行方向の距離(奥行座標)、両眼視差を持つ左眼画像と右眼画像の視差量、及び3次元画像におけるテクスチャ情報やモデルの頂点ごとの3次元空間での位置情報を示す座標等が、含まれる。なお、視差量は、例えば、左眼画像と右眼画像とで互いに対応する領域における、水平方向の位置情報の変化量に対応する。
以下では、入力画像に基づいて、奥行方向位置情報を設定する形態について、説明する。まず、1つの画像に基づいて、奥行方向の距離を算出する形態について、具体的に説明する。図3に示すカメラは、画像、及びカメラから被写体までの距離を測定可能である。このカメラによって、図3に示すような被写体が撮像された場合、例えば、1つの画像は、図4に示すように、水平方向及び垂直方向を基準方向とした2次元画像となる。また、この場合、各被写体までの奥行方向の距離は、例えば、各被写体の少なくとも一部の領域に対する測定で得られた実測距離となる。
【0012】
次に、両眼視差を持つ左眼画像と右眼画像とに基づいて、その視差量を設定する形態について、具体的に説明する。図3に示すような被写体を、2眼式カメラで撮像した場合、両眼視差を持つ左眼画像と右眼画像とは、例えば、それぞれが水平方向及び垂直方向を基準方向とした2次元画像となる。この場合、例えば、左眼画像と右眼画像とにおいて互いに対応する領域が、検知される。そして、この領域を含むブロックにおいて、ブロックマッチングが行われる。そして、画像の領域ごとの視差量、例えば水平方向において位置情報の変化量(画素数)が、算出される。そして、画像全体の水平サイズに対する、位置情報の変化量の割合が、奥行方向位置情報として設定される。
なお、以下では、左眼画像と右眼画像とが一致する面、すなわち水平方向及び垂直方向によって構成される両眼視差のない平面を、基準面と定義する。例えば、左眼画像及び右眼画像に基づいて視差がゼロとなる平面が計算され、この平面が基準面として設定される。例えば、2眼式カメラを用いた撮像時には、この基準面によって、各被写体の位置関係を把握することができ、立体撮像を容易に行うことができる。ここで、「両眼視差のない平面」及び「視差がゼロになる平面」という文言は、「両眼視差が所定の誤差の範囲内である平面」及び「視差がゼロを基準とした所定の誤差の範囲内である平面」という意味を含んでいる。
【0013】
最後に、CGなどのサーフェスモデルで表現された3次元画像に基づいて、このモデルの頂点ごとの3次元空間での位置情報を示す座標を設定する形態について、具体的に説明する。図3に示すような被写体が、サーフェスモデルで表現されている場合、画像は、例えば、カメラの位置を視点とする、水平方向及び垂直方向を基準とした2次元画像となる。また、奥行方向位置情報は、例えば、カメラの位置を視点としたときの、モデルの頂点ごとの3次元空間での位置情報を示す座標となる。なお、画像は、3次元画像の状態で情報を保持し、後の処理で視点変換しても良い。
設定部109は、奥行方向位置情報の表示に関する設定を行う。設定部109は、画像処理部102と、奥行方向位置情報処理部103と、表示処理部104とに、対応する設定情報を出力する。奥行方向位置情報の表示に関する設定としては、例えば、以下のようなものがある。
【0014】
(1)基準となる奥行方向位置情報、すなわち基準面位置情報(視差の測定開始位置、両眼視差のない位置など)の設定。
基準となる奥行方向位置情報、すなわち基準面位置情報は、実測に基づいて設定される場合や、画像から相対的に計算して設定される場合がある。例えば、図3に示すような被写体を、カメラから被写体までの距離を測定できるカメラで撮像した場合、カメラの位置を示す情報が、基準面位置情報として設定される。このように、基準面位置情報が設定されると、この基準面位置情報に基づいて基準面が設定される。
また、別の形態としては、3次元画像として表示する際に両眼視差がなくなる位置を示す情報が、基準面位置情報として設定される。例えば、図3に示すような被写体を2眼式カメラで撮像した場合、上記の視差量の設定において説明した形態で、両眼視差がない領域を規定するための情報が、基準面位置情報として設定される。さらに、例えば、図3に示すような被写体が、サーフェスモデルで表現されている場合、3次元画像として表示する際に左眼画像と右眼画像との視差量がない面を規定するための情報が、基準面位置情報として設定される。このように、基準面位置情報が設定されると、この基準面位置情報に基づいて基準面が設定される。
【0015】
(2)奥行方向位置情報とともに用いる位置情報(水平方向位置情報、又は垂直方向位置情報)の設定。
水平方向位置情報及び垂直方向位置情報は、画像の水平方向の位置(水平座標)及び垂直方向の位置(垂直座標)を定義するためのものである。水平方向位置情報及び垂直方向位置情報は、画像を水平方向と垂直方向とからなる2次元平面で表した場合に、2次元平面上の画像(2次元画像)の少なくとも一部の領域(例えば、被写体、ブロック、画素等)に対して、設定される。
ここでは、奥行方向位置情報画像を表示するために、水平方向位置情報又は奥行方向位置情報が選択される。例えば、図3に示すような被写体に対する奥行方向位置情報画像は、水平方向位置情報及び奥行方向位置情報を用いて、図5のように示される。より具体的には、水平方向位置情報及び奥行方向位置情報を2次元グラフにプロットすることによって、図5に示すような奥行方向位置情報画像が生成される。これにより、被写体間の奥行方向位置関係と水平方向位置関係を容易に把握することができる。この奥行方向位置情報画像(2次元グラフ)では、横軸が水平方向に設定され、縦軸が奥行方向に設定されている。
【0016】
また、図3に示すような被写体に対する奥行方向位置情報画像は、垂直方向位置情報及び奥行方向位置情報を用いて、図12のように示される。より具体的には、垂直方向位置情報及び奥行方向位置情報を2次元グラフにプロットすることによって、図12に示すような奥行方向位置情報画像が生成される。これにより、被写体間の奥行方向位置関係と垂直方向位置関係を容易に把握することができる。この奥行方向位置情報画像(2次元グラフ)では、横軸が奥行方向に設定され、縦軸が垂直方向に設定されている。なお、この場合、被写体Dと被写体Eは同じ奥行方向位置情報にあるため、重なって表示されている。
なお、画像が3次元情報を有している場合は、視点位置を変更する設定を実行してもよい。例えば、視点位置が変更された場合、視点変更後の水平方向位置情報、視点変更後の垂直方向位置情報、及び視点変換後の奥行方向位置情報を用いて、上記のような処理を行ってもよい。
【0017】
このように、奥行方向位置情報を、水平方向位置情報及び垂直方向位置情報を用いて表示することによって、被写体の位置関係を様々な視点から確認することができる。すなわち、立体撮像時に各被写体の位置関係を把握でき、立体撮像を容易に行うことができる。
(3)表示する奥行方向位置情報の奥行方向の範囲の設定。
ここでは、奥行方向位置情報の表示範囲が、設定される。例えば、図3に示すような被写体に対する、奥行方向位置情報の表示範囲(図3の破線)が設定された場合、表示範囲外に存在する被写体(図3の被写体A及び被写体C)の奥行方向位置情報は、非表示に設定してもよい。
また、これとは別の形態として、表示範囲外に存在する被写体(図3の被写体A及び被写体C)の奥行方向位置情報が、表示範囲内に収まるように、奥行方向位置情報を変換する処理を行ってもよい。この場合、例えば、図5に示すように、被写体Aの奥行方向位置情報は表示範囲の下辺に表示され、被写体Cの奥行方向位置情報は表示範囲の上辺に表示される。
【0018】
ここで、表示範囲外に存在する被写体の奥行方向位置情報を、色付け表示したり、点滅表示させたりしてもよい。これによって、被写体が表示範囲外に存在することを、報知することができる。また、奥行方向位置情報の表示範囲内において、立体視の際に視差が大きくなりすぎて不快と感じる範囲が存在する場合は、この範囲を、図14に示すように、視差注意領域(斜線部の領域)として設定してもよい。この場合、例えば、図16に示すように視差注意領域の背景を色付け表示したり、視差注意領域にプロットした奥行方向位置情報そのものを、色付け表示したり点滅表示させたりしてもよい。
同様に、立体視の際に手前に飛び出る被写体が画面の端で切れてしまう場合、図18に示すように、この範囲を視差注意領域(斜線部の領域)として示してもよい。さらに、図16と図18で示した領域(斜線部の領域)を、図19のように合わせて示してもよい。
【0019】
このように、被写体が奥行方向位置情報の表示範囲外に存在する場合、この被写体の奥行方向位置情報が明示的に表示されるので、立体視の際に視差が大きくなりすぎて不快と感じる恐れのある被写体を、立体撮像時にあらかじめ撮影者に知らせることができる。また、表示範囲外の被写体に対する奥行方向位置情報を、表示範囲内に表示可能に変換することによって、奥行方向位置情報の表示範囲を変更することなく、全ての被写体の奥行方向位置情報を把握することができる。
(4)2次元画像の全領域の奥行方向位置情報を用いるか2次元画像の部分的な領域の奥行方向位置情報を用いるかの設定。
ここでは、例えば、図3に示すような被写体に対応する、図4に示した画像全体の領域が、奥行方向位置情報を表示する領域として、設定される。この場合、図5に示すように、画像全体の被写体に対応する奥行方向位置情報が、奥行方向位置情報画像として、表示される。
【0020】
また、ここでは、例えば、図3に示すような被写体に対応する、図6に示した画像の一部の領域(採用領域)が、奥行方向位置情報を表示する領域として、設定される。この場合、図7に示すように、画像の一部の領域に写る被写体部分に対応する奥行方向位置情報が、奥行方向位置情報画像として、表示される。なお、図7では、採用領域内の被写体A及び被写体Fの奥行方向位置情報が、部分的に表示されている。また、図6では被写体Bが採用領域外に位置しているため、図7では被写体Bの奥行方向位置情報は表示されていない。
(5)画像の表示位置の設定と表示サイズの設定。
ここでは、画像の表示位置の設定と表示サイズの設定が行われる。例えば、画像の合成に関する設定、画像の切り替え表示に関する設定、及び別の表示装置へ出力する画像を作成するための設定等が、行われる。
【0021】
例えば、図4に示すように画像全体を表示する設定や、図6に示すように採用領域の画像のみを部分的に表示する設定が、行われる。また、図11や図13で示すように画像を縮小表示する設定や、注目したい領域だけを拡大表示する設定が、行われる。また、図9に示すように、奥行方向位置情報画像に重なる部分の画像、又は画像全体を、モノクロ画像に変換する設定が、行われる。また、注目したい領域やその領域以外の領域を、所定の色に色変換する設定が、行われる。
また、図15で示したように、2眼式カメラなどで撮像した場合の左眼画像と右眼画像とを重ね合わせて表示する設定が、行われる。さらに、画像が3次元情報を有している場合は、3次元情報に基づいて、2次元画像を作成する設定を、行う。この場合は、視点位置を変更する設定を実行し、視点変換後に2次元画像を作成してもよい。
【0022】
なお、ここに示した設定は一例であって、他の画像の表示位置の設定と他の表示サイズの設定を、行ってもよい。
(6)奥行方向位置情報画像を画像と合成して表示するかしないかの設定。奥行方向位置情報画像を合成して表示する場合、全画面に重ねて表示するか部分的な領域に表示するかの設定。奥行方向位置情報画像の表示位置の設定と表示サイズの設定。
ここでは、画像と奥行方向位置情報画像とを合成して表示するか否かが、設定される。例えば、以下のような様々な表示を指示するための設定が、実行される。
合成しない場合は、奥行方向位置情報画像のみが表示される。また、この場合、奥行方向位置情報画像を、メインの表示装置とは異なる他の表示装置で表示してもよい。さらに、この場合、画像と奥行方向位置情報画像とを、1つの表示装置で切換表示してもよい。
【0023】
一方で、例えば、図4に示した画像に図5のような奥行方向位置情報画像を合成して表示する場合、図8に示すように、奥行方向位置情報画像の水平方向位置情報と、画像の画素の水平位置とを一致させることによって、奥行方向位置情報が、画像の一部に重ねて表示される。これにより、水平位置情報と被写体との関連を把握しやすくなる。この場合、図4で示した被写体Bの画像は、非表示である。このため、図9で示すように、奥行方向位置情報画像を画像の上に半透明のレイヤとして重ねて表示しても良い。これにより、被写体Bの画像を把握することができる。また、図11のように、奥行方向位置情報画像と画像とを、縮小表示して並べて表示してもよい。また、図5の奥行方向位置情報画像を半透明のレイヤに変換し、図4の画像全体に重ねてもよい。
また、画像の全体構成を把握する場合は、図10で示すように、奥行方向位置情報画像を子画面として画像の一部に重ねて表示してもよい。また、図4に示した画像に、図12のような奥行方向位置情報画像を合成して表示してもよい。この場合、例えば図13のように合成することによって、垂直位置情報と被写体との関連を容易に把握することができる。なお、図4に示した画像と、図12のような奥行方向位置情報画像との合成は、上記で説明した他の合成表示でもよい。
【0024】
画像処理部102は、入力部101から入力された画像を処理することによって、2次元画像を作成し、表示処理部104へ出力する。ここでの画像処理によって、設定部109で設定された表示形態に対応する2次元画像が、生成される。画像処理としては、例えば、上記(5)で設定したような、両眼視差を持つ左眼画像と右眼画像を重ね合わせた合成画像の作成、モノクロ画像の作成、画像サイズの変換、一部の表示領域の抽出、3次元画像の所定の視点から見た2次元画像への変換等が、ある。
奥行方向位置情報処理部103は、設定部109で設定した表示になるように、入力部101から出力された奥行方向位置情報を処理することによって、2次元画像(奥行方向位置情報画像)を作成し表示処理部104へ出力する。
ここでは、2次元画像の作成に必要な情報を抽出することによって、奥行方向位置情報が処理される。例えば、上記(2)で設定したような、画像の設定領域における、奥行方向位置情報とその水平方向位置情報、又は奥行方向位置情報とその垂直方向位置情報が、奥行方向位置情報画像の作成に必要な情報として、抽出される。そして、抽出された情報に対して、例えば、上記(3)、(5)で設定したような、指定した表示範囲内に奥行方向位置情報を収める変換や、3次元画像において設定した視点から見た2次元画像に対応する奥行方向位置情報への変換が、行われる。
【0025】
奥行方向位置情報を示す2次元画像(奥行方向位置情報画像)は、例えば、奥行方向位置情報とその水平方向位置情報を、垂直方向と水平方向とから構成される画像情報に変換し、2次元のグラフとしてプロットすることによって、作成される。また、奥行方向位置情報画像は、奥行方向位置情報とその垂直方向位置情報を、水平方向と垂直方向とから構成される画像情報に変換し、2次元のグラフとしてプロットすることによって、作成される。なお、2次元画像には、グラフを見やすくするための色付け処理や、点滅処理等を、
などが施してもよい。また、2次元画像には、例えば、上記(1)で設定した基準面を表示してもよい。
表示処理部104は、画像処理部102から入力された画像と、奥行方向位置情報処理部103から入力された画像とを合成し、合成後の画像を表示する。具体的には、表示処理部104は、設定部109における表示設定、例えば上記(4)、(6)の表示設定に基づいて、画像処理部102で出力した画像と、奥行方向位置情報処理部103で出力した画像とを、合成し表示する。
【0026】
以上、実施の形態における奥行方向位置情報表示装置の構成の一例を、ブロック図を用いて説明した。
図2は、実施の形態における奥行方向位置情報表示装置の動作の一例を示すフローチャートである。ここでは、例えば、入力情報が、両眼視差を持つ左眼画像及び右眼画像と、その画素ごとの視差量とであり、最終表示として図17に示すような合成表示画像が表示される場合の処理を、説明する。
この場合、設定部109では、次のように処理される。まず、設定部109は、基準となる奥行方向位置情報を設定する。例えば、図14に示すように、基準面位置情報が、基準となる奥行方向位置情報として、設定される。基準面位置情報は、立体表示の際に両眼視差がない位置を示す情報である。次に、設定部109は、奥行方向位置情報と水平方向位置情報とを用いて、奥行方向位置情報の表示範囲を、図14に示した範囲に設定する。ここでは、例えば、基準面位置情報により設定される基準面に対して、視差量が画像の水平方向サイズの±3%以内に収まるように、表示範囲が設定される。ここに示す表示範囲は、奥行方向の表示範囲である。
【0027】
続いて、設定部109は、視差注意領域を、図14に示した範囲に設定する。設定部109は、例えば、基準面位置情報により設定される基準面に対して、画像の水平方向サイズの+2%を超える、又は−2%を下回る視差量の奥行方向の範囲に、視差注意領域を設定する。ここでは、設定部109は、視差注意領域を色付け表示する設定も行う。
続いて、設定部109は、図4に示した2次元画像の全領域に対する奥行方向位置情報を用いて、図16に示した奥行方向位置情報画像を作成する設定を、行う。続いて、設定部109は、図15に示した合成画像、例えば2眼式カメラなどで撮像したときの左眼画像と右眼画像を重ね合わせた画像を、作成する設定を、行う。続いて、設定部109は、図16の奥行方向位置情報画像と図15の画像とを、図17に示すように合成して表示する設定を、行う。例えば、図17では、奥行方向位置情報画像が半透明に設定され、画像の下から1/3の領域において、水平方向位置情報と画像の画素の水平位置とが一致するように、画像と奥行方向位置情報画像とが合成して表示されている。
【0028】
上記のような設定が設定部109において行われると、この設定に基づいて、各種の処理が以下のように実行される。
まず、入力処理P1において、入力部101に、両眼視差を持つ左眼画像と右眼画像と、左眼画像及び右眼画像の画素ごとの視差量とが、入力される。視差量は左眼画像に対するものでもよいし、右眼画像に対するものでもよいし、左眼画像及び右眼画像の両方でもよい。次に、入力部101は、画像を画像処理部102へ出力し、奥行方向位置情報を奥行方向位置情報処理部103へ出力する。ここでは、画像に対応する奥行方向位置情報の位置は、水平方向位置情報と垂直方向位置情報とによって定義される。
画像変換処理P2において、画像処理部102は、設定部109の表示設定に従って、画像を作成する。例えば、画像処理部102は、両眼視差を持つ左眼画像と右眼画像とにおいて同位置の画素値を加算して、その結果を2で除算する処理を行う。このようにして、画像処理部102は、図15のような画像を作成する。ここでは、同位置の画素値は、両眼視差を持つ左眼画像と右眼画像とにおいて水平方向及び垂直方向から構成される平面上の同位置に存在する画素値に、対応している。
【0029】
図15では、基準面にある被写体Dと被写体Eの被写体は、両眼視差がないので、左眼画像と右眼画像とは同位置で重なって表示されている。また、基準面にない被写体は、両眼視差が存在しているので、左眼画像と右眼画像とは、2重にぶれたように表示されている。
奥行方向位置情報変換処理P3において、奥行方向位置情報処理部103は、設定部109の表示設定に基づいて、2次元画像の全領域に対する、奥行方向位置情報とその水平方向位置情報を、抽出する。奥行方向位置情報処理部103は、上述した2次元グラフに、基準面位置情報によって設定される基準面を表示する。また、奥行方向位置情報処理部103は、この基準面を基準として、画像の水平方向サイズの±3%以内の視差量を、2次元グラフにプロットする。例えば、画像の水平サイズが1920画素である場合、画像の水平方向サイズの±3%の視差量は、±58画素である。ここでは、+側は水平方向の右側へシフトさせた方向に定義し、−側は水平方向の左側へシフトさせた方向に定義している。この場合、奥行方向位置情報処理部103は、画素ごとの視差量が+58画素から−58画素までの範囲の視差量、すなわち奥行方向表示範囲の視差量を、2次元グラフにプロットする。
【0030】
ここで、視差量が奥行方向表示範囲を超えている対象については、この対象の視差量は、採用領域内にある視差量(この場合は全画面が採用領域であるので、全視差量)の上限値又は下限値に、設定される。例えば、対象の視差量が+58画素を超えている場合は、この対象の視差量は、+58画素に設定される。また、対象の視差量が−58画素を下回っている場合は、この対象の視差量が−58画素に設定される。
また、ここでは、画像の水平方向サイズの±2%の範囲外である視差量に対応する領域が、視差注意領域として、設定されている。例えば、画像の水平サイズが1920画素である場合、画像の水平方向サイズの±2%の視差量は、±38画素である。この場合、奥行方向位置情報処理部103は、上記の奥行方向表示範囲の場合と同様に、±38画素の範囲外の視差量を、2次元グラフにプロットする。そして、奥行方向位置情報処理部103は、視差注意領域を報知するために、グラフ背景に、例えば黄色や赤色などの色付けをし、図16のような奥行方向位置情報画像を作成する。
【0031】
合成設定判定P4において、画像と奥行方向位置情報画像との合成の設定がなされているか否かが、判定される。本実施の形態では、図17に示したような表示の設定がなされているため、ここでは合成処理P5へ進む。
合成処理P5において、表示処理部104は、画像と奥行方向位置情報画像を合成し、合成表示画像を作成する。例えば、奥行方向位置情報画像がフルサイズで生成されている場合、表示処理部104は、奥行方向位置情報画像を半透明に変換し、奥行方向位置情報画像の縦軸(奥行方向)サイズを1/3に縮小変換する。そして、表示処理部104は、変換後の奥行方向位置情報画像を、画像の下から1/3の領域に重ね合わせる。詳細には、表示処理部104は、画像の下から1/3の領域において、奥行方向位置情報画像の水平方向位置情報と、画像の画素の水平位置とを、一致させる。これにより、変換後の奥行方向位置情報画像が画像の下から1/3の領域に重ね合わせられ、合成表示画像が作成される。より詳細には、例えば、画像の下から1/3の領域の画像の輝度を上げ、輝度を上げた画像と変換後の奥行方向位置情報画像とにおいて同位置の画素値を加算して、その結果を2で割る処理を行うことによって、合成表示画像は作成される。
【0032】
表示処理P6においては、表示処理部104は、合成処理P5において生成された合成後の画像を、表示する。これにより、例えば、設定部109における表示設定に対応する画像が、表示される。
以上では、実施の形態における奥行方向位置情報表示装置の動作の一例を、フローチャートを用いて説明した。
上述した奥行方向位置情報表示装置100における各種の設定及び処理は、図示しない制御部において、実行されえる。制御部は、例えば、ROM(Read Only Memory)及びCPU(Central Processing Unit)等により構成される。ROMには、各種の設定及び処理を実行するためのプログラム等が、格納されている。制御部は、ROMのプログラムをCPUに実行させることにより、入力部101、画像処理部102、奥行方向位置情報処理部103、表示処理部104、及び設定部109の設定及び処理を制御する。なお、各種の設定及び処理を実行する場合には、データを一時的に格納するための記録部(図示しない)例えばRAM(Random Access Memory)が、用いられる。
【0033】
上記の奥行方向位置情報表示装置100では、奥行方向の情報を正確且つ容易に認識することができる。また、この奥行方向の情報に基づいて、表示画面端の物体切れ調整や、基準面調整等を容易に実行することができる。さらに、奥行方向位置情報画像を用いて、視差注意領域に被写体がかからないように、撮影時に指示したり、記録済みの画像を補正したり、左右の視差量がない基準面の奥行方向位置情報を調整したりすることができる。
[他の実施の形態]
(a)前記実施形態では、画素ごとの視差量を奥行方向位置情報として用いたが、ブロックごとや領域ごと又は被写体ごとの視差量を、奥行方向位置情報として用いても良い。また、説明を容易にするために、人物や物等の被写体を対象として説明を行ったが、視差量を有する被写体すべてに対して、上記のように処理することができる。例えば、図15に示すように、壁などの背景についても同様に処理することができる。
(b)前記実施形態では、図15に示すように右眼画像と左眼画像とを重ね合わせることによって、表示画像を生成する場合の例を示したが、画像の一部例えば右眼画像及び左眼画像のいずれか一方だけを、表示画像として用いてもよい。
(c)前記実施形態では、奥行方向位置情報画像に、奥行距離を示すメジャー(メートル、画素数など)を組み込むことによって、奥行方向位置情報を報知するようにしてもよい。これにより、ユーザは、奥行方向位置情報を、より分かりやすく把握することができる。
(d)前記実施形態では、右眼画像と左眼画像とを平均的に重ね合わせることによって、合成画像を生成する場合の例を示したが、合成画像の生成形態は、前記実施形態に限定されず、どのようにしてもよい。例えば、右眼画像と左眼画像とを交互に高速表示することによって、合成画像を生成してもよい。また、右眼画像及び左眼画像それぞれを1ライン毎に重ね合わせることによって、合成画像を生成してもよい。
(e)前記実施形態では、設定部109において奥行方向位置情報の表示に関する設定を行ったが、奥行方向位置情報の表示に関する設定は、上記の(1)〜(6)の内容に限定するものではなく、どのようにしてもよい。上記の(1)〜(6)とは異なる形態で奥行方向位置情報の表示に関する設定したとしても、設定に応じて動作させることができる。
(f)前記実施形態では、奥行方向位置情報が入力部101に入力される場合の例を示したが、奥行方向位置情報は、入力部101に入力された画像に基づいて、生成してもよい。
(g)前記実施形態では、例えば、水平方向位置情報が水平方向座標(ex. x座標)を含み、垂直方向位置情報が垂直方向座標(ex. y座標)を含み、奥行方向位置情報が奥行方向座標(ex. z座標)を含む場合の例を示した。すなわち、前記実施形態では、画像の3次元位置情報が、3次元直交座標系において定義されていたが、画像の3次元位置情報は、どのように定義してもよい。例えば、画像の3次元位置情報は、基準点からの距離r、基準点まわりの角度θ、基準点からの高さyからなる極座標系によって、定義してもよい。基準点(原点)は、任意に設定可能である。
【産業上の利用可能性】
【0034】
ここに開示された技術は、立体画像の情報を表示する表示装置に広く適用することができる。
【符号の説明】
【0035】
100 表示装置
101 入力部
102 画像処理部
103 奥行方向位置情報処理部
104 表示処理部
109 設定部
【特許請求の範囲】
【請求項1】
被写体の奥行方向の位置及び情報の少なくともいずれか一方に対応し、前記被写体に対応する2次元画像の少なくとも一部に、設定される奥行方向位置情報が、入力される入力部と、
前記被写体の水平方向の位置に対応し前記2次元画像の少なくとも一部に設定される水平方向位置情報、及び被写体の垂直方向の位置に対応し前記2次元画像の少なくとも一部に設定される垂直方向位置情報のいずれか一方と、前記奥行方向位置情報とから構成される2次元情報を、処理する奥行方向位置情報処理部と、
前記奥行方向位置情報処理部において処理された前記2次元情報に対応する画像を、表示する表示処理部と、
を備える表示装置。
【請求項2】
被写体画像が入力される入力部と、
被写体の奥行方向の位置及び情報の少なくともいずれか一方に対応し、前記被写体に対応する2次元画像の少なくとも一部に、設定される奥行方向位置情報を、前記被写体画像に基づいて算出し、且つ前記被写体の水平方向の位置に対応し前記2次元画像の少なくとも一部に設定される水平方向位置情報、及び前記被写体の垂直方向の位置に対応し前記2次元画像の少なくとも一部に設定される垂直方向位置情報のいずれか一方と、前記奥行方向位置情報とから構成される2次元情報を、処理する奥行方向位置情報処理部と、
前記奥行方向位置情報処理部において処理された前記2次元情報に対応する画像を、表示する表示処理部と、
を備える表示装置。
【請求項3】
前記奥行方向位置情報は、前記2次元画像の奥行方向の位置を示す位置情報、及び前記2次元画像の相対的な距離情報の少なくともいずれか一方を、有している、
請求項1又は2に記載の表示装置。
【請求項4】
前記入力部に入力される被写体画像の少なくとも一部を、2次元画像に変換する画像処理部
をさらに備え、
前記奥行方向位置情報処理部は、前記被写体画像の少なくとも一部に対応する前記2次元情報を、処理し、
前記表示処理部は、前記画像処理部において変換された前記2次元画像、及び前記被写体画像の少なくとも一部に対応する前記2次元情報に対応する画像の少なくともいずれか一方を、表示する、
請求項1から3のいずれかに記載の表示装置。
【請求項5】
前記奥行方向位置情報処理部は、前記2次元情報に対応する前記画像において、前記奥行方向位置情報を定義するための基準面を、設定する、
請求項1から4のいずれかに記載の表示装置。
【請求項6】
前記基準面は、前記画像を立体表示した場合に両眼視差のない位置に設定され、
前記奥行方向位置情報処理部は、前記2次元情報に対応する前記画像において、前記基準面を表示する、
請求項5に記載の表示装置。
【請求項7】
前記奥行方向位置情報処理部は、前記2次元情報に対応する画像において、前記奥行方向位置情報の所定の範囲内の表示形態を、変更する、
請求項1から6のいずれかに記載の表示装置。
【請求項8】
前記奥行方向位置情報処理部は、前記2次元情報に対応する画像において、前記奥行方向位置情報が所定値を超える場合に、前記奥行方向位置情報を前記所定値に設定する、
請求項1から9のいずれかに記載の表示装置。
【請求項9】
被写体の奥行方向の位置及び情報の少なくともいずれか一方に対応し、前記被写体に対応する2次元画像の少なくとも一部に、設定される奥行方向位置情報が、入力される入力ステップと、
前記被写体の水平方向の位置に対応し前記2次元画像の少なくとも一部に設定される水平方向位置情報、及び被写体の垂直方向の位置に対応し前記2次元画像の少なくとも一部に設定される垂直方向位置情報のいずれか一方と、前記奥行方向位置情報とから構成される2次元情報を、処理する奥行方向位置情報処理ステップと、
前記奥行方向位置情報処理部において処理された前記2次元情報に対応する画像を、表示する表示処理ステップと、
を備える表示方法。
【請求項10】
被写体画像が入力される入力ステップと、
被写体の奥行方向の位置及び情報の少なくともいずれか一方に対応し、前記被写体に対応する2次元画像の少なくとも一部に、設定される奥行方向位置情報を、前記被写体画像に基づいて算出し、且つ前記被写体の水平方向の位置に対応し前記2次元画像の少なくとも一部に設定される水平方向位置情報、及び前記被写体の垂直方向の位置に対応し前記2次元画像の少なくとも一部に設定される垂直方向位置情報のいずれか一方と、前記奥行方向位置情報とから構成される2次元情報を、処理する奥行方向位置情報処理ステップと、
前記奥行方向位置情報処理部において処理された前記2次元情報に対応する画像を、表示する表示処理ステップと、
を備える表示方法。
【請求項1】
被写体の奥行方向の位置及び情報の少なくともいずれか一方に対応し、前記被写体に対応する2次元画像の少なくとも一部に、設定される奥行方向位置情報が、入力される入力部と、
前記被写体の水平方向の位置に対応し前記2次元画像の少なくとも一部に設定される水平方向位置情報、及び被写体の垂直方向の位置に対応し前記2次元画像の少なくとも一部に設定される垂直方向位置情報のいずれか一方と、前記奥行方向位置情報とから構成される2次元情報を、処理する奥行方向位置情報処理部と、
前記奥行方向位置情報処理部において処理された前記2次元情報に対応する画像を、表示する表示処理部と、
を備える表示装置。
【請求項2】
被写体画像が入力される入力部と、
被写体の奥行方向の位置及び情報の少なくともいずれか一方に対応し、前記被写体に対応する2次元画像の少なくとも一部に、設定される奥行方向位置情報を、前記被写体画像に基づいて算出し、且つ前記被写体の水平方向の位置に対応し前記2次元画像の少なくとも一部に設定される水平方向位置情報、及び前記被写体の垂直方向の位置に対応し前記2次元画像の少なくとも一部に設定される垂直方向位置情報のいずれか一方と、前記奥行方向位置情報とから構成される2次元情報を、処理する奥行方向位置情報処理部と、
前記奥行方向位置情報処理部において処理された前記2次元情報に対応する画像を、表示する表示処理部と、
を備える表示装置。
【請求項3】
前記奥行方向位置情報は、前記2次元画像の奥行方向の位置を示す位置情報、及び前記2次元画像の相対的な距離情報の少なくともいずれか一方を、有している、
請求項1又は2に記載の表示装置。
【請求項4】
前記入力部に入力される被写体画像の少なくとも一部を、2次元画像に変換する画像処理部
をさらに備え、
前記奥行方向位置情報処理部は、前記被写体画像の少なくとも一部に対応する前記2次元情報を、処理し、
前記表示処理部は、前記画像処理部において変換された前記2次元画像、及び前記被写体画像の少なくとも一部に対応する前記2次元情報に対応する画像の少なくともいずれか一方を、表示する、
請求項1から3のいずれかに記載の表示装置。
【請求項5】
前記奥行方向位置情報処理部は、前記2次元情報に対応する前記画像において、前記奥行方向位置情報を定義するための基準面を、設定する、
請求項1から4のいずれかに記載の表示装置。
【請求項6】
前記基準面は、前記画像を立体表示した場合に両眼視差のない位置に設定され、
前記奥行方向位置情報処理部は、前記2次元情報に対応する前記画像において、前記基準面を表示する、
請求項5に記載の表示装置。
【請求項7】
前記奥行方向位置情報処理部は、前記2次元情報に対応する画像において、前記奥行方向位置情報の所定の範囲内の表示形態を、変更する、
請求項1から6のいずれかに記載の表示装置。
【請求項8】
前記奥行方向位置情報処理部は、前記2次元情報に対応する画像において、前記奥行方向位置情報が所定値を超える場合に、前記奥行方向位置情報を前記所定値に設定する、
請求項1から9のいずれかに記載の表示装置。
【請求項9】
被写体の奥行方向の位置及び情報の少なくともいずれか一方に対応し、前記被写体に対応する2次元画像の少なくとも一部に、設定される奥行方向位置情報が、入力される入力ステップと、
前記被写体の水平方向の位置に対応し前記2次元画像の少なくとも一部に設定される水平方向位置情報、及び被写体の垂直方向の位置に対応し前記2次元画像の少なくとも一部に設定される垂直方向位置情報のいずれか一方と、前記奥行方向位置情報とから構成される2次元情報を、処理する奥行方向位置情報処理ステップと、
前記奥行方向位置情報処理部において処理された前記2次元情報に対応する画像を、表示する表示処理ステップと、
を備える表示方法。
【請求項10】
被写体画像が入力される入力ステップと、
被写体の奥行方向の位置及び情報の少なくともいずれか一方に対応し、前記被写体に対応する2次元画像の少なくとも一部に、設定される奥行方向位置情報を、前記被写体画像に基づいて算出し、且つ前記被写体の水平方向の位置に対応し前記2次元画像の少なくとも一部に設定される水平方向位置情報、及び前記被写体の垂直方向の位置に対応し前記2次元画像の少なくとも一部に設定される垂直方向位置情報のいずれか一方と、前記奥行方向位置情報とから構成される2次元情報を、処理する奥行方向位置情報処理ステップと、
前記奥行方向位置情報処理部において処理された前記2次元情報に対応する画像を、表示する表示処理ステップと、
を備える表示方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【公開番号】特開2012−124885(P2012−124885A)
【公開日】平成24年6月28日(2012.6.28)
【国際特許分類】
【出願番号】特願2011−206781(P2011−206781)
【出願日】平成23年9月22日(2011.9.22)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
【公開日】平成24年6月28日(2012.6.28)
【国際特許分類】
【出願日】平成23年9月22日(2011.9.22)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
[ Back to top ]