立体画像の分析方法及び分析装置
【課題】画像の立体ペアの右目画像と左目画像とを識別する場合に、統計的な推定への依存を減らす立体画像の分析方法を提供する。
【解決手段】立体ペアの左目及び右目画像を識別するための方法であって、画像を比較して、一方の画像だけに可視である遮蔽された領域を探すステップと、画像境界を検出するステップと、画像境界が前記遮蔽された領域の左側の境界と一直線になる右目画像を識別し、画像境界が前記遮蔽された領域の右側の境界と一直線になる左目画像を識別するステップと、を含む。
【解決手段】立体ペアの左目及び右目画像を識別するための方法であって、画像を比較して、一方の画像だけに可視である遮蔽された領域を探すステップと、画像境界を検出するステップと、画像境界が前記遮蔽された領域の左側の境界と一直線になる右目画像を識別し、画像境界が前記遮蔽された領域の右側の境界と一直線になる左目画像を識別するステップと、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体画像の分析に関し、例えば、立体画像中のエラーの検出及び修正に関する。本発明は立体的な動画に適用されてもよい。
【背景技術】
【０００２】
観察者の左右の目が同一の場面の異なった画像を見るような配置による「３Ｄ（三次元）」画像の描写が知られている。そのような画像は通常、それぞれの視点から場面を眺める、互いに水平方向に間隔を開けて配置された２つのカメラを備える「立体」カメラによって作成される。このときの水平方向に開ける間隔は、観察者の左目と右目との間の間隔と同様である。
この技術は「静止画」及び「動画」に対して利用されている。現在、立体的な動画に対して高精細テレビの電子画像取得、処理、格納、及び配信の技術を使用することに対する高い関心がある。
【０００３】
立体画像シーケンス（一続きの立体画像の場面）を配信するための多くの方法が提案されている。１つの例は左目と右目の画像に対して別個の画像データストリームまたは物理搬送媒体を使用することである。もう１つの例は、本来、単一の画像用のフレーム又はラスターに左目画像と右目画像の「並列」表示である。他の方法としては、１つの画像のピクセルを２つのインターリービングされたグループに分け、１つのグループを左目画像に割り当て、もう１つのグループを右目画像に割り当てる方法等がある。例えば、ピクセルの１つおきの列を２つの画像のために利用することができる。
【０００４】
視聴者に対して正しい深さの錯視を与えるために、視聴者の左目が左側の視点から、そして右目が右側の視点から画像を見る必要がある。左目と右目の画像が入れ替わってしまい、左目が右からの場面を、右目が左からの場面を見てしまうと、現実的な深さの錯視が起こらず、視聴者に不快感を与えてしまうだろう。この事は、類似したステレオ（立体音響）の音声再生の場合とは全く異なる。ステレオの音声再生の場合、左側と右側の音声チャンネルが入れ替わっても、（同じではないが）有効で、同等な程度に満足な聴覚上の体験を与える。
【０００５】
立体画像の伝送フォーマットの多様性は左と右の画像の不注意な入れ替わりの可能性を高めてしまっている。入れ替わりによって生ずる全く容認できない視聴体験は、任意の画像の「立体ペア」に対して、どちらか左目画像で、どちらが右目画像であるかを検出するための方法の必要性を高めている。本明細書にいて、用語「立体極性」は立体画像処理又は表示システムの２つの画像経路への、画像の立体ペア（左目画像と右目画像とのペア）の割り当てを示すために使用される。立体極性が正しい場合、視聴者の左右の目には有効な深さの錯視のために正しい画像が与えられる。
【０００６】
画像の立体ペアにおいて、深さは、その立体ペアの２つの画像における特定の対象物の表示の水平方向の差（水平不一致）によって表される。表示装置の表示平面上に現れると意図される物体は不一致を全く持たず、表示平面の後ろの物体は左画面において左側に移動させられ、右画面において右側に移動させられる。そして、表示平面より前の物体は左画面において右側に移動させられ、右画面において左側に移動させられる。
【０００７】
描かれた対象物の全部（又は大部分）が表示平面の後ろに描かれるように意図された場合、不一致の測定により左目と右目の画像の識別が可能であること、詳細には、左目画像において対象物が右目画像より大きく左に移動すること、及び、右目画像において対象物が左目画像より大きく右に移動することが知られている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第６，２６８，８８１号明細書
【特許文献２】米国特許出願公開第２０１０／００６０７２０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、一般的には対象物は表示平面の前又は後ろに描かれ、そして立体動画シーケンスを作成する工程の一部として、１組の画像の不一致へ一定の値が可算または減算されることがある。これらの理由により、立体ペアの左目及び右目画像を識別するために、水平不一致の単純な測定を信頼することはできない。
画像描写に対して統計的な推定をすることによって、この問題を解決する試みがなされている。特に、画像の下方に現れる物体は画像の高い部分に現れる物体の前に位置すると推定される。これに関しては特許文献１及び、特許文献２に開示されている。多くの画像ペアにおいて、このような推定が信用できないことは明らかである。より強固な検出のため、統計的な推定への依存を減らすことが望まれる。
【課題を解決するための手段】
【００１０】
本発明は立体表示のための１組の画像（第１画像と第２画像）を分析して、その一組の画像の左目画像及び右目画像を識別する方法及び装置である。
適当なものとして、１組の画像の第１画像が分析され、その画像内、第２画像において可視でない領域（遮蔽された領域）が特定される。
好ましくは、分析ステップは、画像の境界を検出することを含み、識別ステップは、より多くの画像境界が前記領域の左側の境界と一直線になる（一致する）右目画像を識別し、より多くの画像境界が前記領域の右側の境界と一直線になる左目画像を識別する。
【００１１】
有利なものとして、第１画像の前記領域の境界の水平方向の位置は第１画像内の描かれた境界（検出した画像の境界）の水平方向の位置と比較される。
好ましい実施形態において、第１画像の前記領域の少なくとも１つの領域の右側の境界の位置が特定され、前記右側境界の水平位置が第１画像内の描かれた境界の水平位置と一致した場合に第１画像は左目画像として識別される。
加えて又は代替的に、第１画像の前記領域の少なくとも１つの領域の左側の境界の位置が特定され、前記左側境界の水平位置が第１画像内の描かれた境界の位置と一致した場合に第１画像は右目画像として識別される。
１つの実施形態において、第１画像の前記領域の境界の水平位置は第１画像の高ピクセル値水平勾配の位置と比較される。
適当なものとして、第１画像の前記領域は前記第１及び第２画像における、それぞれのピクセルグループに対するピクセル値の比較によって識別される。
加えて又は代替的に、第１画像の前記領域は前記第１及び第２画像における、それぞれのピクセルに対して導き出された、それぞれの動きベクトルの比較によって識別される。
そして、好ましい実施形態において、画像の立体極性の尺度（立体極性標識）を決定するために画像水平勾配値とオクルージョン境界値（オクルージョン境界データ）の積が画像の全部又は一部にわたって合計される。
【００１２】
もう１つの態様として、本発明は左目及び右目画像を識別するために立体表示のための１組の画像を分析するための装置であって、一方の画像だけに可視である１つ又は複数の遮蔽された領域（遮蔽された領域）を探すように構成されるオクルージョン検出器と、オクルージョン境界処理部と、水平勾配検出器と、オクルージョン境界処理部及び水平勾配検出器の出力から立体極性標識を導き出すための立体極性処理部（極性処理部）と、を備える。
【００１３】
前記オクルージョン境界処理部は、
遮蔽された領域の左側の境界に水平方向に近い画像要素と、
遮蔽された領域の右側の境界に水平方向に近い画像要素と、を別個に識別するように構成されていてもよい。
前記立体極性処理部は、
比較的多くの画素が比較的大きな水平勾配を有し（所定数より多い画素が、予め設定した閾値より大きな水平勾配を有し）、遮蔽された領域の左側の境界に水平方向に近い右立体標識と、
比較的多くの画素が比較的大きな水平勾配を有し、遮蔽された領域の右側の境界に水平方向に近い左立体標識と、を導き出すように構成されている。
【００１４】
さらにもう１つの態様として、本発明は立体表示のための１組の画像の左目及び右目画像を識別するための方法であって、立体ペアの画像を比較して、一方の画像だけに可視である１つ又は複数の領域（遮蔽された領域）を探すステップと、画像境界を検出するステップと、立体ペアの画像のうち、右目画像として、探した領域の左側の境界と一直線になる画像境界が、右側の境界と一直線になる画像境界より多い画像を識別し、左目画像として、探した領域の右側の境界と一直線になる画像境界が、左側の境界と一直線になる画像境界より多い画像を識別するステップを含む。
【発明の効果】
【００１５】
本発明によれば、画像の立体ペアの右目画像と左目画像とを識別する場合に、統計的な推定への依存を減らすことが可能となる。
【図面の簡単な説明】
【００１６】
【図１】２つの対象物及び２つの水平方向に間隔を開けた視点を示す場面の平面図である。
【図２】図１の視点から見た視野の間の関係を示す図である。
【図３】２つの対象物及び２つの水平方向に間隔を開けた視点を示す他の場面の平面図である。
【図４】図３の視点から見た視野の間の関係を示す図である。
【図５】本発明の１つの実施形態の画像分析処理の構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下の説明において、画像はピクセルアレイのデータとして表示及び処理されるものとする。しかしながら、本発明の方法が空間的にサンプリング又はデジタイズされないフォーマットを含む、他の画像フォーマットを使用して実施することも可能であることは当業者に明白であるだろう。
【００１８】
三次元の場面の左目及び右目視野の間の明白かつ測定可能な差異は、各視野がもう一方の視野には存在しない「背景」ピクセルを有することである。左目は「前景」の対象物の左側により多くの背景ピクセルを見ることになり、右目は前景対象物の右側により多くの背景ピクセルを見ることになる。このような「オクルージョン」は２つの視野を比較することによって識別することができる。本明細書において、立体ペアの第１画像に存在し、かつ立体ペアの第２画像に存在しない画像領域は、第１画像の遮蔽された領域（又はオクルージョン領域）と称する。したがって、オクルージョンは第２画像の中身に依存する第１画像内の領域の特性である。
【００１９】
多数の画像比較技術が知られており、特に、「動き補正」画像処理で使用される「動きベクトル」の検出で使用される方法はオクルージョン領域の検出に有効である。本明細書において、用語「動きベクトル」は立体ペアの２つの画像内の描かれた対象物の位置の差を記述するベクトルを意味する。異なる時間に取得された２つの画像の間の動きによる位置の違いを決定するために使用される画像比較方法は立体的不一致の決定に対しても同様に適用可能である。通常、第１画像の領域が同一の大きさ及び形状を有する第２画像の領域と比較され、その結果は変位フレーム差値又はＤＦＤ（Displaced-Frame-Difference、変位フレーム差）と称する。第１画像の領域に関連する第２画像の領域の位置が、画像相関処理から導き出される「候補」動きベクトルに従って選ばてもよいし、又は第２画像内の多数の領域が、適切な探索手法に従って比較のために選択されてもよい。
【００２０】
ＤＦＤを計算するための多くの方法が存在し、通常は、ピクセル値の差が合計される。差の空間フィルタリングを使用して、一致させる領域の中央に近いピクセルにより大きな重み付けを与えてもよい。低値ＤＦＤは一致度の高い領域の組に関連付けられるだろう。動き推定において、低いＤＦＤを有する、第１画像内の領域に関連する第２画像内の領域の位置を示すベクトルは、第１画像領域の１つ又は複数のピクセルに対する良好な動きベクトルであると見なされる。
【００２１】
画像の立体ペアから選択された１つの画像において、遮蔽された画像領域は立体ペアのもう一方の画像に対する高値ＤＦＤによって特徴付けられ、これらの遮蔽された領域は通常、もう一方の画像内のどの領域とも一致しない。したがって、画像の各ピクセルに対するＤＦＤが評価されかつ閾値と比較され、それぞれのＤＦＤが閾値を越えた場合、それらのピクセルは「遮蔽されている」として類別される。
【００２２】
遮蔽された領域を検出するためのもう１つの方法は、「遮蔽された領域に対しては有効な動きベクトルが得ることができない」という事を利用することである。画像内の遮蔽された領域を検出するために、動きベクトルは左目画像から右目画像に対して評価され、そしてまた右目画像から左目画像に対して評価される。これらのベクトルは、動き補正映像処理の既知の方法の場合と同様に、それぞれのピクセルに割り当てられる。例えば、位相相関処理から導き出されるブロックベースの動きベクトルは、特定のピクセルを中心にする領域が候補ベクトルによって移動され、立体ペアのもう一方の画像と比較されたときに最低のＤＦＤを与えるベクトルを選ぶことによって画像のピクセルに割り当てることができる。
【００２３】
立体ペアの第１画像内のピクセルについて、ベクトルから導出されるオクルージョン値はそのピクセルに対する動きベクトルを立体ペアの第２画像内のピクセルまで「たどる」こと、及び第２画像のピクセルに対する動きベクトルに従って第１画像まで「もどる」ことによって得られる。戻り点と第１画像のピクセルの位置の間の距離は第１画像ピクセルのオクルージョン値である。これは数学的に以下のように表すことができる。
【００２４】
Ｖ［ｘＡ，ｙＡ］を、それぞれ水平及び垂直成分Ｖｘ［ｘＡ，ｙＡ］及びＶｙ［ｘＡ，ｙＡ］を有する、画像Ａの座標［ｘＡ，ｙＡ］のピクセルに対する画像Ａから画像Ｂまでの動きベクトルとし、
Ｗ［ｘ，ｙ］を画像Ｂの座標［ｘ，ｙ］のピクセルに対する画像Ｂから画像Ａまでの動きベクトルとすると、
ＯｃｃＡ［ｘＡ，ｙＡ］＝
｜Ｖ［ｘＡ，ｙＡ］−Ｗ［（ｘＡ＋Ｖｘ［ｘＡ，ｙＡ］），（ｙＡ＋Ｖｙ［ｘＡ，ｙＡ］）］｜
となる。ここで、ＯｃｃＡ［ｘＡ，ｙＡ］は画像Ａの座標［ｘＡ，ｙＡ］のピクセルに対するオクルージョン値であり、｜Ｘ｜はベクトルＸの絶対値である。
【００２５】
特に、視点の水平位置の差によるオクルージョンは立体知覚に関連するものであるので、上述の式で示された大きさではなく、動きベクトルの差の水平方向の成分の絶対値をオクルージョン値として用いることが好ましい。各ピクセルのオクルージョン値は閾値と比較され、閾値より大きい場合、ピクセルは遮蔽されたピクセルとして識別され得る。
【００２６】
立体知覚において、前景と背景の対象物の間等の、場面内の異なる深さの対象物の間の変化から生ずる画像境界の特徴は立体極性に関する情報を含む。本発明の１つの態様の方法において、画像内の垂直な境界の位置はその画像の遮蔽された領域の垂直な境界の位置と比較される。図１〜４は、この比較がどのように左目と右目画像の識別を可能にするかを示している。
【００２７】
図１を参照すると、２つの平らな長方形の対象物Ｆ及びＢ１が２つの視点Ｌ及びＲから観察されている。対象物Ｆは対象物Ｂ１より視点に近い。対象物Ｆは、Ｂ１全体がＬから可視であり、かつＢ１の左側部分だけがＲから可視であるようにＢ１の右側の端に水平方向に重なっている。Ｂ１のそれぞれの可視領域はＬ及びＲからＦの左側の端を通るそれぞれの視線によって限定されており、図において、これらは線（１）及び（２）で示されている。
図２はＬ及びＲに配置されたカメラによって観察されるそれぞれの視野を示している。Ｌからの視野（左目視野）（２０）は両方の対象物の全体を示している。Ｒからの視野（右目視野）（２１）はＦの全体を示しているが、Ｂ１については左側部分だけを示している。したがって、Ｂ１の線（２２）の右側の部分は遮蔽された領域である。
２つの視野を上記のオクルージョン検出方法を使用して分析すると、Ｆを表すピクセルは両方の画像で一致することとなり、低いＤＦＤ及び／又は低い動きベクトル差を与える。これは矢印（２３）で示されている。
【００２８】
同様に、Ｂ１の左側部分を表すピクセルは一致することとなり、低い動きベクトル差を有する。（ただし、この動きベクトルはＦに対する動きベクトルとは異なるだろう。）これは矢印（２４）で示されている。
しかしながら、Ｌからの視野（２０）におけるＢ１の右側部分を表すピクセルはＲからの視野のピクセルとは確実には一致しない。これらのピクセルは高いＤＦＤを有し、それらに対する動きベクトルを生成しようとする試みは非常にとっぴな結果をもたらすだろう。これは矢印（２５）で示されている。
したがって、Ｌからの視野（２０）から成る画像において、Ｂ１の線（２２）の右側の部分は遮蔽された領域として検出される。この領域は、左側が、画像自体には関係の無い観念上の構造である線（２２）によって境界付けられており、そして右側が、画像の特徴である、Ｂ１とＦとの間の境界によって境界付けられている。
【００２９】
図３及び４は類似の配置を示しており、対象物Ｆは、より遠くに位置する対象物Ｂ２全体がＲから可視であり、かつＢ２の右側部分だけがＬから可視であるようにＢ２の左側の端に水平方向に重なっている。ここで、Ｒからの視野（右目視野）（４１）から成る画像の分析は、遮蔽された領域として、左側が、画像の特徴である、ＦとＢ２との間の境界によって境界付けられ、右側が、画像自体には関係の無い観念上の構造である線（４２）によって境界付けられている領域を識別するだろう。
したがって、左目画像はそれの遮蔽された領域の右側の境界と一直線になる（一列に並ぶ、一致する）画像の境界を含む傾向があり、そして右目画像はそれの遮蔽された領域の左側の境界と一直線になる画像の境界を含む傾向があると言える。
【００３０】
図５は画像Ａ及びＢの組の「立体極性」を突き止めるために、この原理を利用する処理のブロック図を示している。この図を参照すると、画像Ａを表す入力データ及び画像Ｂを表す入力データは、オクルージョン検出器（５０１）及び（５０２）で比較され、それぞれの遮蔽された領域が検出される。オクルージョン検出器（５０１）は画像Ｂに対応するピクセルが存在しない画像Ａ内のピクセルを識別し、そして、オクルージョン検出器（５０２）は画像Ａに対応するピクセルが存在しない画像Ｂ内のピクセルを識別する。例えば、これらの検出器は上述したＤＦＤに基づいた、又は動きベクトルに基づいた方法のどちらを使用してもよい。
【００３１】
画像Ａ及びＢに対する入力画像データはまた、それぞれの水平勾配検出器（５０３）及び（５０４）にも入力される。これらはそれぞれの入力画像の各ピクセルに対して水平勾配値を導き出す。適切な水平勾配値は以下の式によって与えられる。
【００３２】
ＧｒａｄＡ［ｘ，ｙ］＝｜ｐ［（ｘ＋１），ｙ］−ｐ［（ｘ−１），ｙ］｜
ここで、ＧｒａｄＡ［ｘ，ｙ］は画像Ａの座標［ｘ，ｙ］にあるピクセルに対する水平勾配値であり、ｐ［ｘ，ｙ］は座標［ｘ，ｙ］にあるピクセルの輝度値であり、｜ｘ｜はｘの絶対値である。
【００３３】
オクルージョン検出器（５０１）及び（５０２）からの２組のオクルージョンピクセルデータは、画像Ａ及びＢに対するそれぞれのオクルージョン境界データの組を生成するためにそれぞれのオクルージョン境界処理部（５０５）及び（５０６）で処理される。このデータ（オクルージョン境界データ、オクルージョン境界値ともいう）は遮蔽された領域の境界に水平方向に近いピクセルを識別する。詳細には、左側及び右側のオクルージョン境界に近いピクセルは別々に識別される。適切な方法は、水平方向に隣接したピクセルに対するオクルージョン値の間の差等の、それぞれのオクルージョン値に対する符号付きの水平勾配値を検出することである。図示された例において、現在のピクセルの左側のピクセルの値が現在のピクセルの値から減算される。この結果はオクルージョンの左側の境界で正の値を有し、右側の境界で負の値を有するだろう。この信号は、該信号をそれ自体の遅れさせられた複製及び進められた複製と非線形に結合することによって「拡げられ」てもよい。正の信号に対し、この拡大は「拡張」（dilation）処理であり、負の信号に対しては「減退」(erosion)処理である。
【００３４】
したがって、オクルージョン境界処理部（５０５）及び（５０６）の出力はオクルージョンの左側の境界に水平方向に近いピクセルに対して正であり、オクルージョンの右側の境界に水平方向に近いピクセルに対して負である。これらの２つの出力は乗算器（５０７）及び（５０８）において、それぞれの画像水平勾配絶対値によって乗算される。
【００３５】
乗算器（５０７）からの出力はオクルージョンの左側の境界に近くに位置する（どちらかの極性の）急な勾配を有する画像Ａのピクセルに対して大きな正の値を有し、オクルージョンの右側の境界に近くに位置する（どちらかの極性の）急な勾配を有するピクセルに対して大きな負の値を有する。これらの値は加算ブロック（５０９）において、画像Ａの全てのピクセル対して合計される。この値は、画像Ａが右目画像である場合に大きな正の値になり、画像Ａが左目画像である場合に負の値になる可能性が高い。
【００３６】
同様に、乗算器（５０８）からの出力は加算ブロック（５１０）において、画像Ｂの全てのピクセル対して合計される。この結果は、画像Ｂが右目画像である場合に大きな正の値になり、画像Ｂが左目画像である場合に負の値になる可能性が高い。
これらの２つの合計は画像Ａ及びＢの組の「立体極性」の尺度（立体極性標識）を得るために比較ブロック（５１１）において比較される。加算ブロック（５０９）からの出力が加算ブロック（５１０）の出力を越えている場合、画像Ａが右目画像であれば、画像Ａ及びＢの立体極性は正しい。この比較の結果は端子（５１２）に出力される。
【００３７】
異なった深さを有する対象物が描かれる場合のみ、左目と右目を識別することが可能である。動画シーケンス（一続きの動画）においては、通常、シーケンス中の複数の画像の結果の分析を組み合わせることが有用であるだろう。立体極性が頻繁に変わらない場合、この一時的なフィルタリングは変更の発見の遅延と引き換えに検出の信頼性を増大させるために使用することができる。また、分析結果に意味のある変更が見出されるまで検出された極性が報告されないようにするためにヒステリシスを用いることもできる。図５において、加算ブロック（５０９）、（５１０）、及び比較ブロック（５１１）は、オクルージョン境界処理部（５０５）、（５０６）、及び水平勾配検出器（５０３）、（５０４）の出力から立体極性標識を導き出すように構成される極性処理部としての機能を実現する。
【００３８】
立体動画シーケンスを分配及び格納するための方法のいくつかは同一の時点に対応しない左目及び右目画像を使用する。この場合、動きによって各立体ペアの画像の間に付加的な不一致が導入されてしまう。この問題は、各画像を２つの反対側の目の画像、時間的に早い１つの画像と時間的に遅い１つの画像と比較することによって解決することができる。これらの２つの比較において動きによって引き起こされる不一致は反対方向であるのに対し、深さに関連する不一致は同様な方向である。
画像フレームの境界は強度のオクルージョンを生じさせるが、それらは生成処理の一部として故意に修正されることがある。したがって、立体極性の決定においては、フレームの境界でのオクルージョンを無視することが有用であることが多い。
【００３９】
本発明には多数の代替的な実施が存在する。副標本化され、フィルタリングされた画像が使用されてもよい。垂直方向の不一致は深さの描写に対して関連性が少ないので、分析された画像の空間解像度は垂直方向において、水平方向と比較して故意に低減されてもよい。
２つの画像の間の「動き推定」処理は完全に水平方向であってもよいし、又は動きベクトルの垂直成分が破棄されてもよい。
ＤＦＤを使用したオクルージョン検出方法はベクトル差方法と組み合わされ、それによってピクセルに対する動きベクトル差とＤＦＤの組み合わせがそのピクセルのオクルージョン値として使用されてもよい。
画像の境界の位置とオクルージョン境界の相関において、上述したようにオクルージョン境界を拡張させる代わりに、画像境界データが拡張させられてもよい。７つのピクセルによるオクルージョン境界の拡張／減退が効果的であることが判明したが、他の数が使用されてもよい。
【００４０】
オクルージョンを検出するために使用される閾値は固定値である必要はなく、閾値は処理される画像の分析又は処理される画像を記述するメタデータから導き出されてもよい。
画像中の境界又は変化の位置を特定するために輝度以外のピクセル値を使用することもできる。輝度とクロミナンス情報の組み合わせは、対象物の間の画像の変化の位置がより良好に特定されることを可能にする。
領域の右側の境界と一直線になる（一致する）画像境界の数よりも多くの数の画像境界が前記領域の左側の境界と一直線になるかどうか、又は領域の左側の境界と一直線になる画像境界の数よりも多くの数の画像境界が前記領域の右側の境界と一直線になるかどうかを決定するために乗算と合計以外の技術が使用されてもよい。
【００４１】
なお、本発明は上記に示す実施形態に限定されるものではない。本発明の範囲において、上記実施形態の各要素を、当業者であれば容易に考えうる内容に変更、追加、変換することが可能である。
【符号の説明】
【００４２】
２０、４０ Ｌからの視野（左目視野）
２１、４１ Ｒからの視野（右目視野）
５０１、５０２ オクルージョン検出器
５０３、５０４ 水平勾配検出器
５０５、５０６ オクルージョン境界処理部
５０７、５０８ 乗算器
５０９、５１０ 加算ブロック（５１０）
５１１ 比較ブロック
５１２ 端子
【技術分野】
【０００１】
本発明は立体画像の分析に関し、例えば、立体画像中のエラーの検出及び修正に関する。本発明は立体的な動画に適用されてもよい。
【背景技術】
【０００２】
観察者の左右の目が同一の場面の異なった画像を見るような配置による「３Ｄ（三次元）」画像の描写が知られている。そのような画像は通常、それぞれの視点から場面を眺める、互いに水平方向に間隔を開けて配置された２つのカメラを備える「立体」カメラによって作成される。このときの水平方向に開ける間隔は、観察者の左目と右目との間の間隔と同様である。
この技術は「静止画」及び「動画」に対して利用されている。現在、立体的な動画に対して高精細テレビの電子画像取得、処理、格納、及び配信の技術を使用することに対する高い関心がある。
【０００３】
立体画像シーケンス（一続きの立体画像の場面）を配信するための多くの方法が提案されている。１つの例は左目と右目の画像に対して別個の画像データストリームまたは物理搬送媒体を使用することである。もう１つの例は、本来、単一の画像用のフレーム又はラスターに左目画像と右目画像の「並列」表示である。他の方法としては、１つの画像のピクセルを２つのインターリービングされたグループに分け、１つのグループを左目画像に割り当て、もう１つのグループを右目画像に割り当てる方法等がある。例えば、ピクセルの１つおきの列を２つの画像のために利用することができる。
【０００４】
視聴者に対して正しい深さの錯視を与えるために、視聴者の左目が左側の視点から、そして右目が右側の視点から画像を見る必要がある。左目と右目の画像が入れ替わってしまい、左目が右からの場面を、右目が左からの場面を見てしまうと、現実的な深さの錯視が起こらず、視聴者に不快感を与えてしまうだろう。この事は、類似したステレオ（立体音響）の音声再生の場合とは全く異なる。ステレオの音声再生の場合、左側と右側の音声チャンネルが入れ替わっても、（同じではないが）有効で、同等な程度に満足な聴覚上の体験を与える。
【０００５】
立体画像の伝送フォーマットの多様性は左と右の画像の不注意な入れ替わりの可能性を高めてしまっている。入れ替わりによって生ずる全く容認できない視聴体験は、任意の画像の「立体ペア」に対して、どちらか左目画像で、どちらが右目画像であるかを検出するための方法の必要性を高めている。本明細書にいて、用語「立体極性」は立体画像処理又は表示システムの２つの画像経路への、画像の立体ペア（左目画像と右目画像とのペア）の割り当てを示すために使用される。立体極性が正しい場合、視聴者の左右の目には有効な深さの錯視のために正しい画像が与えられる。
【０００６】
画像の立体ペアにおいて、深さは、その立体ペアの２つの画像における特定の対象物の表示の水平方向の差（水平不一致）によって表される。表示装置の表示平面上に現れると意図される物体は不一致を全く持たず、表示平面の後ろの物体は左画面において左側に移動させられ、右画面において右側に移動させられる。そして、表示平面より前の物体は左画面において右側に移動させられ、右画面において左側に移動させられる。
【０００７】
描かれた対象物の全部（又は大部分）が表示平面の後ろに描かれるように意図された場合、不一致の測定により左目と右目の画像の識別が可能であること、詳細には、左目画像において対象物が右目画像より大きく左に移動すること、及び、右目画像において対象物が左目画像より大きく右に移動することが知られている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第６，２６８，８８１号明細書
【特許文献２】米国特許出願公開第２０１０／００６０７２０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、一般的には対象物は表示平面の前又は後ろに描かれ、そして立体動画シーケンスを作成する工程の一部として、１組の画像の不一致へ一定の値が可算または減算されることがある。これらの理由により、立体ペアの左目及び右目画像を識別するために、水平不一致の単純な測定を信頼することはできない。
画像描写に対して統計的な推定をすることによって、この問題を解決する試みがなされている。特に、画像の下方に現れる物体は画像の高い部分に現れる物体の前に位置すると推定される。これに関しては特許文献１及び、特許文献２に開示されている。多くの画像ペアにおいて、このような推定が信用できないことは明らかである。より強固な検出のため、統計的な推定への依存を減らすことが望まれる。
【課題を解決するための手段】
【００１０】
本発明は立体表示のための１組の画像（第１画像と第２画像）を分析して、その一組の画像の左目画像及び右目画像を識別する方法及び装置である。
適当なものとして、１組の画像の第１画像が分析され、その画像内、第２画像において可視でない領域（遮蔽された領域）が特定される。
好ましくは、分析ステップは、画像の境界を検出することを含み、識別ステップは、より多くの画像境界が前記領域の左側の境界と一直線になる（一致する）右目画像を識別し、より多くの画像境界が前記領域の右側の境界と一直線になる左目画像を識別する。
【００１１】
有利なものとして、第１画像の前記領域の境界の水平方向の位置は第１画像内の描かれた境界（検出した画像の境界）の水平方向の位置と比較される。
好ましい実施形態において、第１画像の前記領域の少なくとも１つの領域の右側の境界の位置が特定され、前記右側境界の水平位置が第１画像内の描かれた境界の水平位置と一致した場合に第１画像は左目画像として識別される。
加えて又は代替的に、第１画像の前記領域の少なくとも１つの領域の左側の境界の位置が特定され、前記左側境界の水平位置が第１画像内の描かれた境界の位置と一致した場合に第１画像は右目画像として識別される。
１つの実施形態において、第１画像の前記領域の境界の水平位置は第１画像の高ピクセル値水平勾配の位置と比較される。
適当なものとして、第１画像の前記領域は前記第１及び第２画像における、それぞれのピクセルグループに対するピクセル値の比較によって識別される。
加えて又は代替的に、第１画像の前記領域は前記第１及び第２画像における、それぞれのピクセルに対して導き出された、それぞれの動きベクトルの比較によって識別される。
そして、好ましい実施形態において、画像の立体極性の尺度（立体極性標識）を決定するために画像水平勾配値とオクルージョン境界値（オクルージョン境界データ）の積が画像の全部又は一部にわたって合計される。
【００１２】
もう１つの態様として、本発明は左目及び右目画像を識別するために立体表示のための１組の画像を分析するための装置であって、一方の画像だけに可視である１つ又は複数の遮蔽された領域（遮蔽された領域）を探すように構成されるオクルージョン検出器と、オクルージョン境界処理部と、水平勾配検出器と、オクルージョン境界処理部及び水平勾配検出器の出力から立体極性標識を導き出すための立体極性処理部（極性処理部）と、を備える。
【００１３】
前記オクルージョン境界処理部は、
遮蔽された領域の左側の境界に水平方向に近い画像要素と、
遮蔽された領域の右側の境界に水平方向に近い画像要素と、を別個に識別するように構成されていてもよい。
前記立体極性処理部は、
比較的多くの画素が比較的大きな水平勾配を有し（所定数より多い画素が、予め設定した閾値より大きな水平勾配を有し）、遮蔽された領域の左側の境界に水平方向に近い右立体標識と、
比較的多くの画素が比較的大きな水平勾配を有し、遮蔽された領域の右側の境界に水平方向に近い左立体標識と、を導き出すように構成されている。
【００１４】
さらにもう１つの態様として、本発明は立体表示のための１組の画像の左目及び右目画像を識別するための方法であって、立体ペアの画像を比較して、一方の画像だけに可視である１つ又は複数の領域（遮蔽された領域）を探すステップと、画像境界を検出するステップと、立体ペアの画像のうち、右目画像として、探した領域の左側の境界と一直線になる画像境界が、右側の境界と一直線になる画像境界より多い画像を識別し、左目画像として、探した領域の右側の境界と一直線になる画像境界が、左側の境界と一直線になる画像境界より多い画像を識別するステップを含む。
【発明の効果】
【００１５】
本発明によれば、画像の立体ペアの右目画像と左目画像とを識別する場合に、統計的な推定への依存を減らすことが可能となる。
【図面の簡単な説明】
【００１６】
【図１】２つの対象物及び２つの水平方向に間隔を開けた視点を示す場面の平面図である。
【図２】図１の視点から見た視野の間の関係を示す図である。
【図３】２つの対象物及び２つの水平方向に間隔を開けた視点を示す他の場面の平面図である。
【図４】図３の視点から見た視野の間の関係を示す図である。
【図５】本発明の１つの実施形態の画像分析処理の構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下の説明において、画像はピクセルアレイのデータとして表示及び処理されるものとする。しかしながら、本発明の方法が空間的にサンプリング又はデジタイズされないフォーマットを含む、他の画像フォーマットを使用して実施することも可能であることは当業者に明白であるだろう。
【００１８】
三次元の場面の左目及び右目視野の間の明白かつ測定可能な差異は、各視野がもう一方の視野には存在しない「背景」ピクセルを有することである。左目は「前景」の対象物の左側により多くの背景ピクセルを見ることになり、右目は前景対象物の右側により多くの背景ピクセルを見ることになる。このような「オクルージョン」は２つの視野を比較することによって識別することができる。本明細書において、立体ペアの第１画像に存在し、かつ立体ペアの第２画像に存在しない画像領域は、第１画像の遮蔽された領域（又はオクルージョン領域）と称する。したがって、オクルージョンは第２画像の中身に依存する第１画像内の領域の特性である。
【００１９】
多数の画像比較技術が知られており、特に、「動き補正」画像処理で使用される「動きベクトル」の検出で使用される方法はオクルージョン領域の検出に有効である。本明細書において、用語「動きベクトル」は立体ペアの２つの画像内の描かれた対象物の位置の差を記述するベクトルを意味する。異なる時間に取得された２つの画像の間の動きによる位置の違いを決定するために使用される画像比較方法は立体的不一致の決定に対しても同様に適用可能である。通常、第１画像の領域が同一の大きさ及び形状を有する第２画像の領域と比較され、その結果は変位フレーム差値又はＤＦＤ（Displaced-Frame-Difference、変位フレーム差）と称する。第１画像の領域に関連する第２画像の領域の位置が、画像相関処理から導き出される「候補」動きベクトルに従って選ばてもよいし、又は第２画像内の多数の領域が、適切な探索手法に従って比較のために選択されてもよい。
【００２０】
ＤＦＤを計算するための多くの方法が存在し、通常は、ピクセル値の差が合計される。差の空間フィルタリングを使用して、一致させる領域の中央に近いピクセルにより大きな重み付けを与えてもよい。低値ＤＦＤは一致度の高い領域の組に関連付けられるだろう。動き推定において、低いＤＦＤを有する、第１画像内の領域に関連する第２画像内の領域の位置を示すベクトルは、第１画像領域の１つ又は複数のピクセルに対する良好な動きベクトルであると見なされる。
【００２１】
画像の立体ペアから選択された１つの画像において、遮蔽された画像領域は立体ペアのもう一方の画像に対する高値ＤＦＤによって特徴付けられ、これらの遮蔽された領域は通常、もう一方の画像内のどの領域とも一致しない。したがって、画像の各ピクセルに対するＤＦＤが評価されかつ閾値と比較され、それぞれのＤＦＤが閾値を越えた場合、それらのピクセルは「遮蔽されている」として類別される。
【００２２】
遮蔽された領域を検出するためのもう１つの方法は、「遮蔽された領域に対しては有効な動きベクトルが得ることができない」という事を利用することである。画像内の遮蔽された領域を検出するために、動きベクトルは左目画像から右目画像に対して評価され、そしてまた右目画像から左目画像に対して評価される。これらのベクトルは、動き補正映像処理の既知の方法の場合と同様に、それぞれのピクセルに割り当てられる。例えば、位相相関処理から導き出されるブロックベースの動きベクトルは、特定のピクセルを中心にする領域が候補ベクトルによって移動され、立体ペアのもう一方の画像と比較されたときに最低のＤＦＤを与えるベクトルを選ぶことによって画像のピクセルに割り当てることができる。
【００２３】
立体ペアの第１画像内のピクセルについて、ベクトルから導出されるオクルージョン値はそのピクセルに対する動きベクトルを立体ペアの第２画像内のピクセルまで「たどる」こと、及び第２画像のピクセルに対する動きベクトルに従って第１画像まで「もどる」ことによって得られる。戻り点と第１画像のピクセルの位置の間の距離は第１画像ピクセルのオクルージョン値である。これは数学的に以下のように表すことができる。
【００２４】
Ｖ［ｘＡ，ｙＡ］を、それぞれ水平及び垂直成分Ｖｘ［ｘＡ，ｙＡ］及びＶｙ［ｘＡ，ｙＡ］を有する、画像Ａの座標［ｘＡ，ｙＡ］のピクセルに対する画像Ａから画像Ｂまでの動きベクトルとし、
Ｗ［ｘ，ｙ］を画像Ｂの座標［ｘ，ｙ］のピクセルに対する画像Ｂから画像Ａまでの動きベクトルとすると、
ＯｃｃＡ［ｘＡ，ｙＡ］＝
｜Ｖ［ｘＡ，ｙＡ］−Ｗ［（ｘＡ＋Ｖｘ［ｘＡ，ｙＡ］），（ｙＡ＋Ｖｙ［ｘＡ，ｙＡ］）］｜
となる。ここで、ＯｃｃＡ［ｘＡ，ｙＡ］は画像Ａの座標［ｘＡ，ｙＡ］のピクセルに対するオクルージョン値であり、｜Ｘ｜はベクトルＸの絶対値である。
【００２５】
特に、視点の水平位置の差によるオクルージョンは立体知覚に関連するものであるので、上述の式で示された大きさではなく、動きベクトルの差の水平方向の成分の絶対値をオクルージョン値として用いることが好ましい。各ピクセルのオクルージョン値は閾値と比較され、閾値より大きい場合、ピクセルは遮蔽されたピクセルとして識別され得る。
【００２６】
立体知覚において、前景と背景の対象物の間等の、場面内の異なる深さの対象物の間の変化から生ずる画像境界の特徴は立体極性に関する情報を含む。本発明の１つの態様の方法において、画像内の垂直な境界の位置はその画像の遮蔽された領域の垂直な境界の位置と比較される。図１〜４は、この比較がどのように左目と右目画像の識別を可能にするかを示している。
【００２７】
図１を参照すると、２つの平らな長方形の対象物Ｆ及びＢ１が２つの視点Ｌ及びＲから観察されている。対象物Ｆは対象物Ｂ１より視点に近い。対象物Ｆは、Ｂ１全体がＬから可視であり、かつＢ１の左側部分だけがＲから可視であるようにＢ１の右側の端に水平方向に重なっている。Ｂ１のそれぞれの可視領域はＬ及びＲからＦの左側の端を通るそれぞれの視線によって限定されており、図において、これらは線（１）及び（２）で示されている。
図２はＬ及びＲに配置されたカメラによって観察されるそれぞれの視野を示している。Ｌからの視野（左目視野）（２０）は両方の対象物の全体を示している。Ｒからの視野（右目視野）（２１）はＦの全体を示しているが、Ｂ１については左側部分だけを示している。したがって、Ｂ１の線（２２）の右側の部分は遮蔽された領域である。
２つの視野を上記のオクルージョン検出方法を使用して分析すると、Ｆを表すピクセルは両方の画像で一致することとなり、低いＤＦＤ及び／又は低い動きベクトル差を与える。これは矢印（２３）で示されている。
【００２８】
同様に、Ｂ１の左側部分を表すピクセルは一致することとなり、低い動きベクトル差を有する。（ただし、この動きベクトルはＦに対する動きベクトルとは異なるだろう。）これは矢印（２４）で示されている。
しかしながら、Ｌからの視野（２０）におけるＢ１の右側部分を表すピクセルはＲからの視野のピクセルとは確実には一致しない。これらのピクセルは高いＤＦＤを有し、それらに対する動きベクトルを生成しようとする試みは非常にとっぴな結果をもたらすだろう。これは矢印（２５）で示されている。
したがって、Ｌからの視野（２０）から成る画像において、Ｂ１の線（２２）の右側の部分は遮蔽された領域として検出される。この領域は、左側が、画像自体には関係の無い観念上の構造である線（２２）によって境界付けられており、そして右側が、画像の特徴である、Ｂ１とＦとの間の境界によって境界付けられている。
【００２９】
図３及び４は類似の配置を示しており、対象物Ｆは、より遠くに位置する対象物Ｂ２全体がＲから可視であり、かつＢ２の右側部分だけがＬから可視であるようにＢ２の左側の端に水平方向に重なっている。ここで、Ｒからの視野（右目視野）（４１）から成る画像の分析は、遮蔽された領域として、左側が、画像の特徴である、ＦとＢ２との間の境界によって境界付けられ、右側が、画像自体には関係の無い観念上の構造である線（４２）によって境界付けられている領域を識別するだろう。
したがって、左目画像はそれの遮蔽された領域の右側の境界と一直線になる（一列に並ぶ、一致する）画像の境界を含む傾向があり、そして右目画像はそれの遮蔽された領域の左側の境界と一直線になる画像の境界を含む傾向があると言える。
【００３０】
図５は画像Ａ及びＢの組の「立体極性」を突き止めるために、この原理を利用する処理のブロック図を示している。この図を参照すると、画像Ａを表す入力データ及び画像Ｂを表す入力データは、オクルージョン検出器（５０１）及び（５０２）で比較され、それぞれの遮蔽された領域が検出される。オクルージョン検出器（５０１）は画像Ｂに対応するピクセルが存在しない画像Ａ内のピクセルを識別し、そして、オクルージョン検出器（５０２）は画像Ａに対応するピクセルが存在しない画像Ｂ内のピクセルを識別する。例えば、これらの検出器は上述したＤＦＤに基づいた、又は動きベクトルに基づいた方法のどちらを使用してもよい。
【００３１】
画像Ａ及びＢに対する入力画像データはまた、それぞれの水平勾配検出器（５０３）及び（５０４）にも入力される。これらはそれぞれの入力画像の各ピクセルに対して水平勾配値を導き出す。適切な水平勾配値は以下の式によって与えられる。
【００３２】
ＧｒａｄＡ［ｘ，ｙ］＝｜ｐ［（ｘ＋１），ｙ］−ｐ［（ｘ−１），ｙ］｜
ここで、ＧｒａｄＡ［ｘ，ｙ］は画像Ａの座標［ｘ，ｙ］にあるピクセルに対する水平勾配値であり、ｐ［ｘ，ｙ］は座標［ｘ，ｙ］にあるピクセルの輝度値であり、｜ｘ｜はｘの絶対値である。
【００３３】
オクルージョン検出器（５０１）及び（５０２）からの２組のオクルージョンピクセルデータは、画像Ａ及びＢに対するそれぞれのオクルージョン境界データの組を生成するためにそれぞれのオクルージョン境界処理部（５０５）及び（５０６）で処理される。このデータ（オクルージョン境界データ、オクルージョン境界値ともいう）は遮蔽された領域の境界に水平方向に近いピクセルを識別する。詳細には、左側及び右側のオクルージョン境界に近いピクセルは別々に識別される。適切な方法は、水平方向に隣接したピクセルに対するオクルージョン値の間の差等の、それぞれのオクルージョン値に対する符号付きの水平勾配値を検出することである。図示された例において、現在のピクセルの左側のピクセルの値が現在のピクセルの値から減算される。この結果はオクルージョンの左側の境界で正の値を有し、右側の境界で負の値を有するだろう。この信号は、該信号をそれ自体の遅れさせられた複製及び進められた複製と非線形に結合することによって「拡げられ」てもよい。正の信号に対し、この拡大は「拡張」（dilation）処理であり、負の信号に対しては「減退」(erosion)処理である。
【００３４】
したがって、オクルージョン境界処理部（５０５）及び（５０６）の出力はオクルージョンの左側の境界に水平方向に近いピクセルに対して正であり、オクルージョンの右側の境界に水平方向に近いピクセルに対して負である。これらの２つの出力は乗算器（５０７）及び（５０８）において、それぞれの画像水平勾配絶対値によって乗算される。
【００３５】
乗算器（５０７）からの出力はオクルージョンの左側の境界に近くに位置する（どちらかの極性の）急な勾配を有する画像Ａのピクセルに対して大きな正の値を有し、オクルージョンの右側の境界に近くに位置する（どちらかの極性の）急な勾配を有するピクセルに対して大きな負の値を有する。これらの値は加算ブロック（５０９）において、画像Ａの全てのピクセル対して合計される。この値は、画像Ａが右目画像である場合に大きな正の値になり、画像Ａが左目画像である場合に負の値になる可能性が高い。
【００３６】
同様に、乗算器（５０８）からの出力は加算ブロック（５１０）において、画像Ｂの全てのピクセル対して合計される。この結果は、画像Ｂが右目画像である場合に大きな正の値になり、画像Ｂが左目画像である場合に負の値になる可能性が高い。
これらの２つの合計は画像Ａ及びＢの組の「立体極性」の尺度（立体極性標識）を得るために比較ブロック（５１１）において比較される。加算ブロック（５０９）からの出力が加算ブロック（５１０）の出力を越えている場合、画像Ａが右目画像であれば、画像Ａ及びＢの立体極性は正しい。この比較の結果は端子（５１２）に出力される。
【００３７】
異なった深さを有する対象物が描かれる場合のみ、左目と右目を識別することが可能である。動画シーケンス（一続きの動画）においては、通常、シーケンス中の複数の画像の結果の分析を組み合わせることが有用であるだろう。立体極性が頻繁に変わらない場合、この一時的なフィルタリングは変更の発見の遅延と引き換えに検出の信頼性を増大させるために使用することができる。また、分析結果に意味のある変更が見出されるまで検出された極性が報告されないようにするためにヒステリシスを用いることもできる。図５において、加算ブロック（５０９）、（５１０）、及び比較ブロック（５１１）は、オクルージョン境界処理部（５０５）、（５０６）、及び水平勾配検出器（５０３）、（５０４）の出力から立体極性標識を導き出すように構成される極性処理部としての機能を実現する。
【００３８】
立体動画シーケンスを分配及び格納するための方法のいくつかは同一の時点に対応しない左目及び右目画像を使用する。この場合、動きによって各立体ペアの画像の間に付加的な不一致が導入されてしまう。この問題は、各画像を２つの反対側の目の画像、時間的に早い１つの画像と時間的に遅い１つの画像と比較することによって解決することができる。これらの２つの比較において動きによって引き起こされる不一致は反対方向であるのに対し、深さに関連する不一致は同様な方向である。
画像フレームの境界は強度のオクルージョンを生じさせるが、それらは生成処理の一部として故意に修正されることがある。したがって、立体極性の決定においては、フレームの境界でのオクルージョンを無視することが有用であることが多い。
【００３９】
本発明には多数の代替的な実施が存在する。副標本化され、フィルタリングされた画像が使用されてもよい。垂直方向の不一致は深さの描写に対して関連性が少ないので、分析された画像の空間解像度は垂直方向において、水平方向と比較して故意に低減されてもよい。
２つの画像の間の「動き推定」処理は完全に水平方向であってもよいし、又は動きベクトルの垂直成分が破棄されてもよい。
ＤＦＤを使用したオクルージョン検出方法はベクトル差方法と組み合わされ、それによってピクセルに対する動きベクトル差とＤＦＤの組み合わせがそのピクセルのオクルージョン値として使用されてもよい。
画像の境界の位置とオクルージョン境界の相関において、上述したようにオクルージョン境界を拡張させる代わりに、画像境界データが拡張させられてもよい。７つのピクセルによるオクルージョン境界の拡張／減退が効果的であることが判明したが、他の数が使用されてもよい。
【００４０】
オクルージョンを検出するために使用される閾値は固定値である必要はなく、閾値は処理される画像の分析又は処理される画像を記述するメタデータから導き出されてもよい。
画像中の境界又は変化の位置を特定するために輝度以外のピクセル値を使用することもできる。輝度とクロミナンス情報の組み合わせは、対象物の間の画像の変化の位置がより良好に特定されることを可能にする。
領域の右側の境界と一直線になる（一致する）画像境界の数よりも多くの数の画像境界が前記領域の左側の境界と一直線になるかどうか、又は領域の左側の境界と一直線になる画像境界の数よりも多くの数の画像境界が前記領域の右側の境界と一直線になるかどうかを決定するために乗算と合計以外の技術が使用されてもよい。
【００４１】
なお、本発明は上記に示す実施形態に限定されるものではない。本発明の範囲において、上記実施形態の各要素を、当業者であれば容易に考えうる内容に変更、追加、変換することが可能である。
【符号の説明】
【００４２】
２０、４０ Ｌからの視野（左目視野）
２１、４１ Ｒからの視野（右目視野）
５０１、５０２ オクルージョン検出器
５０３、５０４ 水平勾配検出器
５０５、５０６ オクルージョン境界処理部
５０７、５０８ 乗算器
５０９、５１０ 加算ブロック（５１０）
５１１ 比較ブロック
５１２ 端子
【特許請求の範囲】
【請求項１】
立体表示のための１組の画像の左目及び右目画像を識別するための方法であって、
立体ペアの画像を比較して、一方の画像だけに可視である１つ又は複数の領域を探すステップと、
画像境界を検出するステップと、
探した領域の左側の境界と一直線になる画像境界が、右側の境界と一直線になる画像境界より多い場合に右目画像と識別し、探した領域の右側の境界と一直線になる画像境界が、左側の境界と一直線になる画像境界より多い場合に左目画像と識別するステップと、を備える方法。
【請求項２】
立体表示のための画像を処理するための方法であって、
立体ペアの画像を比較して一方の画像だけに可視である１つ又は複数の領域を探すステップと、
前記領域の境界を特定するステップと、
前記境界又は前記境界の１つ又は複数の部分と前記画像内の特徴とを相関させるステップと、
前記立体ペアから前記立体ペアの左目画像と右目画像とを識別するステップと、を備える方法。
【請求項３】
前記境界と前記画像内の特徴とを相関させるステップが、前記境界の垂直方向に延在する部分と前記画像内の垂直方向に延在する境界の特徴を相関させることを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記立体ペアの第１画像内の探した領域の境界の水平位置と、前記第１画像内の描かれた境界の水平位置とを比較することを特徴とする請求項３に記載の方法。
【請求項５】
前記第１画像の前記領域のうちの少なくとも１つの右側の境界が特定され、前記右側の境界の水平位置が第１画像内の描かれた境界の水平位置に一致する場合、前記第１画像を左目画像として識別することを特徴とする請求項４に記載の方法。
【請求項６】
前記第１画像の前記領域のうちの少なくとも１つの左側の境界が特定され、前記左側の境界の水平位置が前記第１画像内の描かれた境界の位置に一致する場合、前記第１画像を右目画像として識別することを特徴とする請求項３又は４に記載の方法。
【請求項７】
前記第１画像の前記領域の境界の水平位置が前記第１画像の高ピクセル値水平勾配と比較されることを特徴とする請求項４乃至６のいずれか一項に記載の方法。
【請求項８】
前記第１画像の前記領域が前記第１及び第２画像内のそれぞれのピクセルグループに対するピクセル値の比較によって識別される、請求項４乃至７のいずれか一項に記載の方法。
【請求項９】
前記第１画像の前記領域が前記第１及び第２画像内のそれぞれのピクセルに対して導き出された、それぞれの動きベクトルの比較によって識別されることを特徴とする請求項４乃至８のいずれか一項に記載の方法。
【請求項１０】
画像の立体極性の尺度を決定するために画像水平勾配値とオクルージョン境界値の積が画像の全部又は一部にわたって合計されることを特徴とする請求項４乃至９のいずれか一項に記載の方法。
【請求項１１】
立体表示のための１組の画像を分析して左目画像と右目画像とを識別する装置であって、
一方の画像だけに可視である領域を探すように構成されるオクルージョン検出器と、
オクルージョン境界処理部と、
水平勾配検出器と、
前記オクルージョン境界処理部及び前記水平勾配検出器の出力から立体極性標識を導き出すように構成される極性処理部と、を備える分析装置。
【請求項１２】
前記オクルージョン境界処理部が、
（１）オクルージョン領域の左側の境界へ水平方向に近い画像要素と、
（２）オクルージョン領域の右側の境界へ水平方向に近い画像要素と、を別個に識別するように構成されていることを特徴とする請求項１１に記載の分析装置。
【請求項１３】
前記極性処理部が、
（１）画素が水平勾配を有し、オクルージョン領域の左側の境界へ水平方向に近い右立体標識と、
（２）画素が水平勾配を有し、オクルージョン領域の右側の境界へ水平方向に近い左立体標識と、を導き出すように構成されている、請求項１２に記載の分析装置。
【請求項１】
立体表示のための１組の画像の左目及び右目画像を識別するための方法であって、
立体ペアの画像を比較して、一方の画像だけに可視である１つ又は複数の領域を探すステップと、
画像境界を検出するステップと、
探した領域の左側の境界と一直線になる画像境界が、右側の境界と一直線になる画像境界より多い場合に右目画像と識別し、探した領域の右側の境界と一直線になる画像境界が、左側の境界と一直線になる画像境界より多い場合に左目画像と識別するステップと、を備える方法。
【請求項２】
立体表示のための画像を処理するための方法であって、
立体ペアの画像を比較して一方の画像だけに可視である１つ又は複数の領域を探すステップと、
前記領域の境界を特定するステップと、
前記境界又は前記境界の１つ又は複数の部分と前記画像内の特徴とを相関させるステップと、
前記立体ペアから前記立体ペアの左目画像と右目画像とを識別するステップと、を備える方法。
【請求項３】
前記境界と前記画像内の特徴とを相関させるステップが、前記境界の垂直方向に延在する部分と前記画像内の垂直方向に延在する境界の特徴を相関させることを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記立体ペアの第１画像内の探した領域の境界の水平位置と、前記第１画像内の描かれた境界の水平位置とを比較することを特徴とする請求項３に記載の方法。
【請求項５】
前記第１画像の前記領域のうちの少なくとも１つの右側の境界が特定され、前記右側の境界の水平位置が第１画像内の描かれた境界の水平位置に一致する場合、前記第１画像を左目画像として識別することを特徴とする請求項４に記載の方法。
【請求項６】
前記第１画像の前記領域のうちの少なくとも１つの左側の境界が特定され、前記左側の境界の水平位置が前記第１画像内の描かれた境界の位置に一致する場合、前記第１画像を右目画像として識別することを特徴とする請求項３又は４に記載の方法。
【請求項７】
前記第１画像の前記領域の境界の水平位置が前記第１画像の高ピクセル値水平勾配と比較されることを特徴とする請求項４乃至６のいずれか一項に記載の方法。
【請求項８】
前記第１画像の前記領域が前記第１及び第２画像内のそれぞれのピクセルグループに対するピクセル値の比較によって識別される、請求項４乃至７のいずれか一項に記載の方法。
【請求項９】
前記第１画像の前記領域が前記第１及び第２画像内のそれぞれのピクセルに対して導き出された、それぞれの動きベクトルの比較によって識別されることを特徴とする請求項４乃至８のいずれか一項に記載の方法。
【請求項１０】
画像の立体極性の尺度を決定するために画像水平勾配値とオクルージョン境界値の積が画像の全部又は一部にわたって合計されることを特徴とする請求項４乃至９のいずれか一項に記載の方法。
【請求項１１】
立体表示のための１組の画像を分析して左目画像と右目画像とを識別する装置であって、
一方の画像だけに可視である領域を探すように構成されるオクルージョン検出器と、
オクルージョン境界処理部と、
水平勾配検出器と、
前記オクルージョン境界処理部及び前記水平勾配検出器の出力から立体極性標識を導き出すように構成される極性処理部と、を備える分析装置。
【請求項１２】
前記オクルージョン境界処理部が、
（１）オクルージョン領域の左側の境界へ水平方向に近い画像要素と、
（２）オクルージョン領域の右側の境界へ水平方向に近い画像要素と、を別個に識別するように構成されていることを特徴とする請求項１１に記載の分析装置。
【請求項１３】
前記極性処理部が、
（１）画素が水平勾配を有し、オクルージョン領域の左側の境界へ水平方向に近い右立体標識と、
（２）画素が水平勾配を有し、オクルージョン領域の右側の境界へ水平方向に近い左立体標識と、を導き出すように構成されている、請求項１２に記載の分析装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１９８３６６（Ｐ２０１１−１９８３６６Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１１−５９３３４（Ｐ２０１１−５９３３４）
【出願日】平成２３年３月１７日（２０１１．３．１７）
【出願人】（５０４２８１８８０）スネル リミテッド (10)
【氏名又は名称原語表記】ＳＮＥＬＬ ＬＩＭＩＴＥＤ
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２３年３月１７日（２０１１．３．１７）
【出願人】（５０４２８１８８０）スネル リミテッド (10)
【氏名又は名称原語表記】ＳＮＥＬＬ ＬＩＭＩＴＥＤ
【Ｆターム（参考）】
[ Back to top ]