立体画像３次元奥行き測定方法
【課題】立体画像の３次元の奥行きを測定する。
【解決手段】左目及び右目入力画像を受けて、これらにエッジ抽出フィルタを適用する。エッジを抽出した左目及び右目画像の対応する画素の分離距離を求めることで、各画素について、３次元の奥行き、つまり、視差を求める。画像全体の各画素について視差を求めたら、視差値に応じて色づけしてプロットし、視差分布を作成しても良い。
【解決手段】左目及び右目入力画像を受けて、これらにエッジ抽出フィルタを適用する。エッジを抽出した左目及び右目画像の対応する画素の分離距離を求めることで、各画素について、３次元の奥行き、つまり、視差を求める。画像全体の各画素について視差を求めたら、視差値に応じて色づけしてプロットし、視差分布を作成しても良い。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して音響映像データ・ストリームの試験に関し、特に、立体ビデオ・ストリームにおける３次元（３Ｄ）映像の奥行きの程度を測定するための方法に関する。
【背景技術】
【０００２】
立体（つまり、３Ｄ）画像及び映像は、２つ別々のわずかに異なる画像を左右の目に夫々提供することで正常に機能する。これら画像は、ある特定のシーンを視聴者が左右の目で夫々何を見るかを各画像についてエミュレートしているために異なっており、左右の目は互いに約１０ｃｍ間隔が空いたものとなっている。両目間の見る角度の変化によって、人間（そして他の目が前にある動物、主に捕食動物）は、いわゆる視差によって、奥行きを感じることができる。
【０００３】
立体メディアは、左右の目が夫々の画像を別々に（つまり、右目は左目の画像を全く見ることがなく、その逆も同様）そして同時に見られる場合にだけ機能する。
【０００４】
この分離しつつ同時の表示を可能にする技術には、異なる多数のものがあり、アナグリフ（anaglyph：２つの色彩的に反対の色（補色）のフィルタを使う）、偏光式（passive polarised：９０度異なる（典型的には水平及び垂直の）偏光フィルタを使う）及びアクティブ・シャッター式（左右の目を交互に暗くする）が含まれる。最初の２つの方法では、左右の目の画像が両方同時に示されるが、夫々はカラー・フィルタ又は偏光フィルタを用いて反対側の目の画像を視界から除くことで、各目は正しい画像のみを見ることができる。一方、アクティブ・シャッター方式では、アクティブに制御された眼鏡を表示装置にリンクし、どちらの画像が画面上に現れているかに応じて、眼鏡が左右の目を交互に遮る。このように、アクティブ・シャッター方式では、常に一度に左右の目の画像の一方のみが現れ、人間の脳が交互の表示を１つの画像に結合するのを利用している（これは、２４フレーム毎秒のフィルム映画が、フルモーション（動画）として感じられるのと良く似ている）。
【０００５】
左右の目の画像を別々なものとするため、立体画像又は映像について、異なる種々の方法でのエンコードが考えられる。例えば、立体映像を順次連続的（シーケンシャル）に、つまり、順次連続的な複数画像のストリームとしてエンコードし、左右の目の表示を交互に行う（これは、フィルタを用いて単一の「２重」画像に処理される）。さらには、立体画像のストリームが、２つを並べて（side by side：サイド・バイ・サイドで）エンコードされる、つまり、画像ストリームは左右の目の画像を両方含み、これらが順次連続して処理されて、これら画像が左右の目夫々への表示のためにストリーム中で分離されても良い。
【０００６】
エンコード方法に関係なく、３Ｄ画像を見る視聴者は、パッシブ（Passive：アクティブでない）又はアクティブな３Ｄ眼鏡を用いて、２つの異なる画像を、１つは左目で、２つ目は右目で見ることになる。これは、パッシブ眼鏡の場合は、偏光フィルタ／カラー・フィルタを用いて実現され、アクティブ眼鏡の場合では、アクティブ・シャッターを用いて実現される。なお、アクティブ眼鏡は、３Ｄ映像を表示するデバイスと同期している必要がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平５−２５６６１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
３Ｄ画像は、人間が実際の生活で見るであろうものをエミュレートしているので、３Ｄ画像が見るようにするには、眼鏡を使うたけでなく、表示画面まで適当な距離が必要となる。もしこの距離が適切でないか、エンコードされた画像の奥行きが適切でないと、画像が不自然になり、これは目にストレスを与える。
【０００９】
現在のところ、３Ｄコンテンツがビデオ・ストリーム中に存在するのか、それは自然に見えるのか、正しくエンコードされているのか、を客観的に判断するのは難しい。
【００１０】
そこで、本願で記述する発明は、３Ｄ映像／画像の奥行きの状態を視覚化及び分析するための方法を提供する。
【課題を解決するための手段】
【００１１】
本発明による立体画像の３次元（３Ｄ）奥行き測定方法は、左目及び右目入力画像を供給するステップと、エッジ抽出フィルタを左目及び右目入力画像に適用し、左目及び右目エッジ抽出画像を生成するステップと、左目及び右目エッジ抽出画像を用いて立体画像の３次元奥行きを求めるステップとを具えている。
【００１２】
説明する方法及び装置では、立体画像又は映像において認識される３次元の視覚的奥行き（つまり、視差）の度合いを推定すると共に、理解を容易にするために、多数の異なる２次元表示の選択肢を用意し、その中に推定された奥行きを視覚化又は図示する手段を提供する。
【００１３】
オプションとして、上記エッジ抽出フィルタは色分けされた（color coded）ものでも良く、本発明の方法が、色分けされた左目及び右目エッジ抽出画像を単一の画面に重ねてユーザに表示するステップを更に具えていても良い。
【００１４】
オプションとして、エッジ抽出フィルタが、左目及び右目画像中の各画素の輝度成分に適用されても良い。
【００１５】
オプションとして、本発明の方法は、立体画像中の各画素について、３次元の奥行きを示す視差値を求めるステップを更に具えていても良い。
【００１６】
オプションとして、上記視差値を求めるステップが、左目又は右目エッジ抽出画像の一方にある複数画素からなる比較のためのカーネル（一方の目のカーネル）を選択するステップと、左目又は右目エッジ抽出画像の他方において最も類似する複数画素の集合（他方の目のカーネル）を選択して求めるステップと、選択されたカーネルの一方の目のエッジ抽出画像から他方の目のエッジ抽出画像まで相対的な位置間の距離を供給するステップとを有していても良い。
【００１７】
オプションとして、最も類似する複数画素の集合を選択して求めるステップが、左目エッジ抽出画像又は右目エッジ抽出画像の一方に由来する複数画素からなる選択されたカーネルについて、左目エッジ抽出画像又は右目エッジ抽出画像の他方に由来する複数画素からなる範囲に対して相関を求めるステップを有していても良い。
【００１８】
オプションとして、上述の相関を求めるのに、左目及び右目エッジ抽出画像の対応する画素間の差の絶対値の合計の逆数を用いても良い。
【００１９】
オプションとして、左目エッジ抽出画像又は右目エッジ抽出画像の他方に由来する複数画素の範囲には検索ウインドウが含まれ、この検索ウインドウは、複数画素からなるカーネルと同じ高さとユーザ定義の長さとを持つか、又は、複数画素からなるカーネルより大きいユーザ定義の高さとユーザ定義の長さとを持つようにしても良い。複数画素からなるカーネルに比較して上乗せされた高さを持つ検索ウインドウを用いることによって、複数のレンズの垂直方向のずれを検出して補正できる。
【００２０】
オプションとして、最も類似する複数画素の集合を選択して求めるステップが、合致している可能性の高さを示す十分なピークの大きさを用いて、比較された位置を選択するステップを更に有しても良い。そして、推定視差値を、その画像についての視差分布リストに追加しても良い。
【００２１】
オプションとして、もし十分なピークの大きさが見つからない場合には、その被測定画素についての視差値を省略しても良い。
【００２２】
オプションとして、本発明の方法は、求めた視差値がユーザ定義のプラス又はマイナス閾値を超えているか否か判断するステップを更に具えていても良い。
【００２３】
オプションとして、本発明の方法は、画素に属する視差の量に従って少なくとも１つの色を当てはめるステップと、立体画像の色分けされた階調表現バージョンを表示することで、立体画像に関する視差の分布を示すステップとを更に具えていても良い。
【００２４】
本発明は、別の観点では、立体画像３次元奥行き測定装置であって、立体画像を受ける入力部と、上記立体画像の左目及び右目部分をフィルタする少なくとも１つのエッジ抽出フィルタと、上述した方法のいずれかを実行する処理手段とを具えていても良い。
【００２５】
オプションとして、上記立体画像３次元奥行き測定装置は、視差推定ユニットと、比較／相関ユニットとを更に具えていても良い。
【００２６】
本発明では、また、上述した装置を含むテレビジョン放送システムの試験（又は他の聴視覚試験装置）において利用される操作モニタ装置を提供するようにしても良い。
【００２７】
本発明は、別の観点では、３次元画像の分離距離の量を視覚的に表示する方法であって、色分けされたフィルタを立体画像の左目及び右目画像の輝度成分に適用するステップと、得られる２つの画像を単一の表示上に重ねるステップとを具えている。
【００２８】
本発明は、別の観点では、３次元画像中のオブジェクトの相対的な奥行きを表示する方法であって、画像のモノクローム・バージョン中に奥行きを表す色を用いるステップを具え、このとき、左目又は右目画像のどちらか一方の輝度成分にエッジ検出フィルタが適用され、各エッジに適用される色が、画像中における相対的な奥行きを表すようにしても良い。例えば、画面から飛び足すように見えるオブジェクト（つまり、マイナスの視差）には赤を使用し、ゼロ視差に近づくと白へと薄くなり、遠景に見えるオブジェクト（つまり、プラスの視差）に近づくと青くなるとしても良い。
【００２９】
本発明は、別の観点では、視差分布ヒストグラムを提供する方法であって、画像全体に渡って使われている視差の割合を表示する視差分布ヒストグラムをプロットするようにしても良い。これは、各画素の視差をプロットすることで実現される。アラームを発するためのリミットを、ユーザが定義する視差レベルに適用し、モニタ装置を駆動するようにしても良い。
【００３０】
ここに提案する方法及び装置の全ては、アナグリフやサイド・バイ・サイドのような左目及び右目画像を送信するのに用いられる方法からは、独立したものである。従って、本発明は、左目及び右目画像間の同期方法がわかっていれば、どのような３次元画像／映像送信方法に対しても適用可能である。
【００３１】
立体画像における３次元奥行き測定に関する方法や装置について、添付の図面を参照して以下に説明していくが、これらは単に例に過ぎない。
【図面の簡単な説明】
【００３２】
【図１】図１は、オリジナル画像と、本発明の実施形態によるエッジ抽出フィルタを適用した同じ画像を示す図である。
【図２】図２は、本発明の実施形態によるエッジを抽出した左右の目の画像を重ねて１つの画像にしたものを示す図である。
【図３】図３は、本発明の実施形態による選択した１画素についての視差推定値分布のサンプル示す図である。
【図４】図４は、オリジナル画像と、本発明の実施形態における左右のエッジ抽出画像を重ねたバージョン及び立体画像の相対的な奥行きを示す温度表示を示した図である。
【図５】図５は、本発明の実施形態による画像全体についての視差分布グラフである。
【図６】図６は、本発明の実施形態による立体映像３次元分析方法のハイレベル・フローチャートを示す。
【図７】図７は、本発明の実施形態による立体映像３次元分析方法の視差推定部分のより詳細なフローチャートを示す。
【図８】図８は、本発明の実施形態による立体映像３次元奥行き測定装置のハイレベル・ブロック図である。
【発明を実施するための最良の形態】
【００３３】
以下に、添付の図面を参照しつつ、本発明の実施形態を説明するが、同じ又は同様のもの又はステップについては、同じ又は類似の符号を付している。
【００３４】
［左目フレーム及び右目フレームについてのエッジ検出］
本発明の実施形態による立体映像の３次元（３Ｄ）奥行き分析方法の最初のステップは、２つの入力フレーム（夫々左目及び右目フレーム）に対してエッジ検出フィルタを適用することである。エッジ検出フィルタは、典型的には画像を構成する画素の輝度成分に働くもので、２つの入力フレームに対して分離可能な畳み込みフィルタを適用することによって実現される。この処理に適したエッジ検出フィルタとしては種々のものが利用可能であり、例えば、とりわけ、ソーベル（Sobel）、プレウィット（Prewitt）及びカーシュ（Kirsch）エッジ・フィルタなどである。各種フィルタのパフォーマンスは、画像のコンテンツに依存することが多い。つまり、例えば、あるフィルタは、人間や動物を含むコンテツで良好である一方、他のフィルタは風景で良好であるというようなことである。例えば、実地試験においては、ソーベル・フィルタは、前景中にオブジェクトがある映像において特に効果的であることを示す。なお、エッジ検出は、エッジ抽出としても知られている。
【００３５】
図１は、オリジナル画像１１０と、エッジ抽出フィルタをオリジナル画像１１０に適用した結果得られた画像１２０を示す例である。エッジを抽出した画像は、大部分が黒／暗い色であるが、抽出されたエッジだけが大きな輝度値を示す。
【００３６】
［２重エッジ表示］
左目及び右目入力フレームの２つのエッジを抽出したものが生成された時点で、２つのエッジ抽出入力フレームを各目に関して異なる色（例えば、左目用を緑、右目用を青としたり、左右をそれぞれ赤及び青としても良い。ここで用いる色の選択はアナグリフでの色の選択とは関係がなく、単に視覚的に大きな相違があり、眼鏡無しで識別できるように選択したものである。）を用いて表示し、同じ表示装置で示すために、一緒に重ねても良い。これにより、何らかの３Ｄ効果がサンプル画像内にあるかどうかを（ここに説明する方法及び装置による試験装置のユーザは）視覚的に容易に識別でき、また、これにより、以下でより詳細に説明するように、どのオブジェクトにマイナスの視差やプラスの視差があるかが視覚的に示される。
【００３７】
図２は、上述の如く処理した２重エッジ抽出表示画像２００の例を示す。画像内のどこにアイテムにあるべきかを主観的に推定するのは人間にとっては容易であるが、奥行きに関しては、コンテンツ（内容）に応じて、機械には客観的な試験が必要であるし、更には、ユーザにとっても測定可能なパラメータが必要なことがある。
【００３８】
奥行きは、次のように客観的に試験しても良い。図２の画像から、画像中の人の顔と眼鏡は、マイナスの視差（つまり、画面から出ているように見える）を有し、一方、背景にあるコンピュータ・モニタはプラスの視差（つまり、画面奥に引っ込んでいるように見える）が有ることが推測できる。これは、眼鏡／顔については緑のエッジが青のエッジの左にある一方、コンピュータ・モニタについては緑のエッジが青のエッジの右にあることからわかる。
【００３９】
各場合において、画素を単位としたときに同じ特徴に関する２つの色の線間の距離は、そのオブジェクトに感じられる奥行き（つまり、視差）に対応する。
【００４０】
従って、左目及び右目エッジ抽出画像内の同じ特徴間の相対的な水平距離は、画像の分離の大きさであり、３Ｄ画像が視聴者にどれくらい自然にみえるかと直接関連する。分離が著しいレベルにあると、視聴者は不快に感じ、更には気持ち悪くさえ感じることがある。放送局及び標準化団体は、３Ｄ映像／画像素材に関する画像分離距離の許容レベルについて、いずれ規制を設けるであろうと考えられる。
【００４１】
［視差の推定］
左右両目についてエッジ抽出フレームの演算を行った後、左右の目の２つのエッジ抽出画像を相関を用いて互いに比較することによって、各画素に関する視差が推定される。
【００４２】
ここで、小さなスケールの典型的な相関について説明する。しかし、本発明は、この説明する小さなスケールの相関に限定されるものではない。
【００４３】
ある画素Ｐについて、左目エッジ抽出画像中の画面座標を（Ｘ，Ｙ）とすると、画素Ｐを中心とした複数画素からなるカーネル（kernel：核）が形成される。こうしたカーネルの例を、３×３行例の形で、以下に示す。これは、カーネルに含まれる画素の座標を詳しく記述したものである。もし座標Ｘ，Ｙの画素が評価される画素、つまり、被試験画素であるなら、次の表１となる。
【００４４】
【表１】
【００４５】
カーネルの大きさは、他のものでも良い。簡単のため、画像の一番端にある画素については、完全なカーネルが利用できないので、無視しても良い。加えて、こうした端の部分は、視聴者の注意が集まるわけでないので、あまり重要ではないと考えられる。カーネルは、他方の目の画像中のユーザが選択した検索ウインドウ（Ｍ×Ｎ）に対して相関が取られる（つまり、２つの間の類似性が評価される）。左右の目の画像は空間的に位置が揃っていると考えられるので、簡単のため、この比較は、左目エッジ抽出画像から生じるカーネル（以下、簡単のため、左目カーネルとも呼ぶ）と、右目エッジ抽出画像中の検索ウインドウとの間で行われる。もちろん、相関の計算は、逆方向でも実行できる（つまり、カーネルは右目エッジ抽出画像からのもので、検索ウインドウは左目エッジ抽出画像からのもの）。後述のように、左目カーネルは、検索ウインドウ内での位置を順次ずらしながら（オフセットを変えながら）、その位置における検索ウインドウ内の画素との間で相関が求められる。検索ウインドウ内の各オフセット位置において、左目カーネルを構成する複数画素とそれぞれ対応する検索ウインドウ内の複数画素から構成される集合は、右目エッジ抽出画像中の画素の集合であるので、右目カーネルと呼ぶ。
【００４６】
検索ウインドウの高さＮは、典型的には、サンプル・カーネルの高さで決められる。これは、立体視の効果は水平方向にのみ働くので、相関が典型的には水平（横）方向に（つまり、左又は右の方向へと）実行されるからである。一方、検索ウインドウの長さＭは、入力画像／映像素材のパラメータ及び所望のパフォーマンンス特性に応じて、ユーザが特定する。１例では、検索ウインドウを＋／−１００画素としても良いが、別の検索ウインドウの大きさでも同じく利用できる。カーネルに対する検索ウインドウの大きさが大きくなると、相関を求める時間が増加するが、正確さは改善されると思われる。しかし、一方で、視差はそれほど大きくはないと予想されるので、もっと小さい検索ウインドウで充分である。
【００４７】
更に進んだ実施形態では、検索ウインドウを高さ方向に関してカーネルより大きくしても良く、これにより、垂直面に関しても相関をある程度調査できる。これによって、３Ｄカメラを構成する２つのレンズ間の垂直位置のずれを検出し、自動的（カメラにモータによるレンズ移動機構がある場合）に補正するか、カメラマンに通知し、カメラマンが手動でレンズを調整するようにできる。また、３Ｄ画像が既に撮られていて、レンズ調整ができない場合には、垂直位置ずれの量を検出することで、後処理で、２つの画像の一方について、その一方の画像のストリ−ムを上又は下にシフトすることで、２つの画像ストリ−ムの位置を後から揃え、ずれを相殺できる。これによって、他にも使えない３Ｄ映像／画像コンテンツ（実際的には、何となく「ぼやっと」している画像など）として分類されたものを救済できることがある。
【００４８】
最大オフセットは、典型的には、画像サイズ及び最大許容視差によって定められる。
【００４９】
この例では、２つの左目及び右目カーネル間の相関は、対応する画素間の差の絶対値の合計の逆数として定義される。よって、この場合、２つの左目及び右目カーネル間の相関を求めると、相関指数は次の式１で示される。
【００５０】
【数１】
【００５１】
ここで、ｉ、ｊは、使用中の画素の座標である。しかし、シフト不変パターン・マッチング・アルゴリズム（Shift-Invariant pattern matching algorithm）のような他の形式の相関を用いても良い。
【００５２】
この単純化した例では、注目する画素（つまり、関心のある画素）は、左目エッジ抽出フレーム中の左上から右下への対角線の一部である。
【００５３】
３×３画素のカーネルを構成したとき、これが上述の特定画素と、その周辺画素を含んでいると、その結果は次の表２に示す行列となる。
【００５４】
【表２】
【００５５】
これらは画像のエッジ抽出バージョンにおける「エッジの強さ」の値、つまり、輝度値である。エッジ抽出画像中では、エッジだけに輝度値があり、残りの部分はゼロかゼロに近い値であることに注意されたい。
【００５６】
さて、もし右目フレーム中の３つの同じ画素の行（横の列）が次の表３に示す値を有しているとするなら（この例は、とても小さい画像（高さ３×幅７の画素）だけである）、
【００５７】
【表３】
【００５８】
この場合、上述の左目カーネルをこれら３行と相関させようとすると、最も合致するのは最後の部分、つまり、一番右手側であることがわかる。これは、同じ対角線構造で、とてもよく似た値の組み（セット）を示しているからである。この場合、カーネルの最も良い配置位置は、最初の開始点から４画素右である。従って、オフセット、よって、視差は、４つ右にオフセット、つまり＋４である。
【００５９】
異なるオフセットについて、左目エッジ抽出フレーム中のカーネルと、右目エッジ抽出フレーム中の検索ウインドウとの各オフセット位置における相関指数を計算すると、図３に示すような相関グラフ（値は正規化したもの）が得られる。
【００６０】
もし十分な大きさの単一のピークが見つかれば、その画素における視差が推定できたと判断され、この推定値が視差分布リストに追加される。何をもって「十分な大きさ」とするかは、パラメータの設定によって変化する。今の場合、上述の相関の式は、０と無限（この場合、完全一致で、分母が０）の間で大きさが変化することがあり得る。しかし、実際に実施する場合では、処理するハードウェアでの計算を速く、効率良くするため、値を（例えば、最大を１００に）正規化しても良い。この場合、十分な値は、例えば、６０％を超えるものとして考えても良い。
【００６１】
使用する厳密な閾値は、最初のパス（処理）において不十分な結果が見つかれば適宜変更しても良い。例えば、画像の最初のパスにおいて適切な合致が見つからなければ、十分な大きさについて設定されたレベルを減少させ、いくつかの画素が確実に十分な大きさを持つようにしても良い。
【００６２】
時として、画質が悪いか、画像コンテンツが繰り返しコンテンツ（チェックのシャツなど）であるために、複数の合致可能性が生じるなどで、各画素について視差を推定できないこともあり得るが、その画素については分布リストに値を追加しない。また、ユーザが、分析するコンテンツ素材に応じて、大きさの閾値を調整したいこともあり得る。
【００６３】
アベレージング（平均化）その他の誤った（spurious：にせ物の）結果を排除する仕組みを採用しても良い。例えば、１つの画素について推定された画素の視差を隣接する画素の視差と比較し、もし著しく予想外の結果（例えば、全てプラスのなかで１つだけ−５など）があれば、その誤った結果を無視するか、特定の局所的グループの平均に基づく視差値を用いて補正しても良い。
【００６４】
図３では、１つの画素Ｐについての視差推定値分布のサンプル３００を示し、ここでは視差となり得る値が３つあり、２つの低いピーク３１０が−４と−６とに夫々あり、そして、明らかなピークの大きさ３２０が−５にある。従って、この値が、その視差についての値として最も確からしいと考えられるので、この値が視差分布リストに追加される。
【００６５】
同じ処理が、左目エッジ抽出画像中の各画素について、最も端の画素を除いて実行される。
【００６６】
［温度表示］
可能な限り完全な視差分布リストが得られた時点で、各画素についての推定視差を表示装置上にプロットし、画像全体について俯瞰的に視差を示すようにしても良い。これは、温度表示（temperature display）とも呼ばれ、ここでは画像中のエッジに対応する各画素は、その推定視差に従って色づけされる。
【００６７】
カメラから前に出てくるオブジェクト（つまり、マイナスの推定視差を持つもの）は、暖かいと考えて赤色で表示される。一方、カメラから奥に引っ込むオブジェクト（つまり、プラスの推定視差を持つもの）は冷たいと考えて、青色で表示される。視差ゼロのオブジェクトは、白とする。もちろん他の色を用いても良く、また、これら色はアナグリフの３Ｄ画像表示に使用される色とは関係がない。更に、これら色は、エッジ抽出画像に関して上述した青／緑色とも関係がない（繰り返しだが、これら色は、データを表示した時に、何が起きているかがユーザに明確にわかるように任意に選択すれば良い）。
【００６８】
図４は、上述した３つの処理についての画像を示す。これは、オリジナル画像４１０、その左右のエッジ抽出画像を重ねたバージョン４２０、最終的な温度表示バージョン４３０である。この例では、視差を推定できなかった画素については温度をプロットしていない。こうした画素については、視差の推定がどの程度可能であったを強調するために、別の色でプロットするのがわかりやすいと思われる。
【００６９】
図４の温度表示４３０では、右下の紫の花が半分赤で半分青に見られ、これはプラス及びマイナスの両方の視差の部分を示している（一部分は画面から飛び出し、一部分は画面より引っ込んでいる）。
【００７０】
上述したように、もし推定視差値を持つことができない画素が見られれば、十分な大きさについての閾値を、より多くの画素が推定値を持てるように調整しても良い。一方で、視差推定値が多すぎるときも、閾値を調整しても良い。
【００７１】
こうした温度表示は、好ましくは、その場でリアルタイムで示され、これによって、コンテンツ制作者及び放送業者は、放送している（又は放送しようと意図している）３Ｄ画像／映像で使われているオブジェクトの相対的な奥行きを、単純な２次元表示（これは理解するのがより簡単である）を用いて確認できる。この表示のキーとなるのは、オリジナル画像の彩度（chroma：クロマ）コンテンツを異なる色（例えば、赤と青）で表される相対的な奥行きを示す情報に置き換えることである。選択した色の色相（hue）のスケールを用いて、表示機能を向上させることも可能である。例えば、上述の赤色／青色手法では、暗い青が最も深い３次元の奥行きがあることを表し、明るい青は３次元の奥行きがわずかであること表すとしても良い。同じことが、飽和した赤、不飽和の赤についても言える（ただし、その方向は逆である）。
【００７２】
［視差分布］
ここまでの説明のように、立体画像中の各画素について３次元の奥行き（つまり、視差）の測定が可能であるが、これは、３Ｄ画像／映像コンテンツが何らかの３Ｄ効果を含んでいて、それによって典型的な視聴者が不快に感じるか、気持ち悪く感じることがあるかを判断するのに使うと有益と思われる。例えば、放送される３Ｄ映像が、関連する運営機関が定める３次元の奥行きに関する規格制限内に、確実に収まるようにするのに役立つであろう。もしこうした不快感を与える素材が見つかれば、それを補正することができ、外へ出さないようにするか、使わないようにできる。
【００７３】
これを行うため、十分な大きさの単一のピークが見つけられた画素を、ヒストグラムにプロットするようにしても良い。このヒストグラムは、ｘ軸に推定視差値を用い、ｙ軸に視差レベルに対する画素数を用いている。
【００７４】
図５は、ヒストグラム５００の例を示し、ここでは１０１０画素がゼロ視差（これは、左目フレームと右目フレームの間のオフセットが０の場合に最大の相関が見つかったことを意味する）に含まれる。プラス値が画像のスクリーンからの遠景（奥に引っ込む）の割合を示すのに比べて、マイナス視差値は画像のスクリーンから飛び出ている割合を示す。
【００７５】
ｘ軸は、視差又は左右の分離距離（separation）のパーセントを示すように調整して、代わりの新たな単位を用いても良い。これは、単純に画像の水平方向のサイズに対する割合としての視差の度合いである。例えば、もし、２００画素の幅の画像において、左目エッジ抽出フレームと右目エッジ抽出フレームとの間に５画素の分離距離（separation）があるなら、視差は−５の代わりに−２．５％として計算できる。
【００７６】
視聴者が不快を感じたり、気分が悪くなることがないように、３Ｄ立体画像／映像で使用が許される視差の量に応じた範囲を設定した方がよいと考えられる。こうした制限は、今後、定義されるであろうが、その数値はマイナスは１％程度まで、プラスは２％程度までと思われる。
【００７７】
そこで、コンテンツの制作者や配給者が、その３Ｄ素材が許容範囲内かどうかわかるように、これに対応したプラス及びマイナス視差の垂直閾値をユーザが特定し、これを視差分布ヒストグラムに適用するのが有用である。図５では、中央に「範囲内」部分５１０（ここの視差は許容できる）、左側に「マイナス過ぎ」部分５２０、そして右側に「プラス過ぎ」部分５３０が見られる。
【００７８】
もし被試験立体画像／映像に、（図５の場合のような）中央許容部分５１０から外れた視差値が現れたら、本発明による３Ｄ立体奥行きモニタ装置において、アラーム（警告）を生成（トリガ）するようにしても良い。こうした方法及び装置は、無人操作を可能にするだけでなく、（３Ｄ眼鏡を使って）人間だけで３Ｄコンテンツをチェックするよりも、エラーを減らすことができる。
【００７９】
図６は、上述した立体画像／映像の３次元奥行き分析方法６００のハイレベル・フローチャートである。
【００８０】
この方法は、入力３Ｄ映像を左右の目夫々の画像に処理するステップ６１０で始まる。これは、例えば、連続する３Ｄビデオ・ストリームのインタリーブを分離するか、左右が並んでいるビデオ・ストリームを左右の目夫々の部分に切り分けることによって行っても良い。
【００８１】
次に、ステップ６２０において、エッジ検出／抽出フィルタを左右の被試験画像に適用する。適したエッジ抽出フィルタとしては、ソーベル（Sobel）、プレウィット（Prewitt）及びカーシュ（Kirsch）エッジ・フィルタなどがある。
【００８２】
そして、ステップ６３０において、左右のエッジ抽出画像は、夫々のオリジナル画像のどの部分に３次元の奥行きがあるかを求めるために、相関が取られる。最も単純な場合では、これは、２つのエッジ抽出画像（夫々はグレースケール（濃淡又は明暗による階調表現）バージョンだが、互いに異なる色）を互いに重ね、その結果をステップ６４０においてユーザに表示する。ユーザは、どの部分に３次元の奥行きがあるか、そして、これらの部分が前景に出てくるように見えるのか、又は、遠景に引っ込むように見えるのかを、先に詳しく説明したように、各目の画像の線の周りにおいて、他方の目の画像の線がどちら側に表示されるかに応じて、視覚的に判断しても良い。
【００８３】
表示ステップ６４０（そして、表示ステップ６６０及び６８０）は、オプションであるため、破線で示されている。オプションという意味は、こうした表示を行う試験測定装置は、本発明に従って適宜変更されるもので、ユーザの選択に従って、異なる表示６４０、６６０及び６８０の１つ又はいくつかを表示するように設定され得るということである。典型的には、これは、試験測定装置（デバイス）上でユーザが選択をすることで実現される。試験測定装置は、多機能で、それ故、３Ｄ奥行き測定を全く表示しないようにも設定でき、その代わりに、ビット・レート、使用するエンコード規格などのような放送送信の他の観点に関するパラメータを表示しても良い。
【００８４】
次のステップ６５０では、先に詳しく説明したようにして、特徴点間の距離を比較することによって、オリジナル画像の各画素についての視差の実測値を求める。これは、推定処理であって、エッジ抽出画像中のピーク画素輝度の大きさのようなユーザ定義のパラメータに従って、最も合致すると思われるものを選択する。
【００８５】
試験測定装置は、オプションとして、ステップ６６０において、特定の画素の視差値として可能性のある候補を表示するようにしても良く、その選択がどの程度確実なものか、それとも選択肢がないのか、どうしてそうしたことになるのかの理由を示す、などといった情報をユーザに提供するようにしても良い。
【００８６】
オリジナル画像全体（もし画像の一部分のみ関心がある場合は、その一部分のみ）についての視差値が求められたら、これら結果はその画像全体について視差分布（この処理の完成をステップ６７０で示す）であって、これを上述したようにヒストグラムや温度表示としてユーザに（オプションで）表示しても良い（ステップ６８０）。
【００８７】
視差分布は、推定視差値がある閾値（図５に示したようなもの）を超えているか判断するために評価され、それに従って、３Ｄ画像／映像中の関心のある視差値、よって３次元の奥行きの量が、ユーザ定義のある値を超えているかどうかをユーザに示し、アラームを発する（通知ステップ６９０）かどうか決定する。アラームは、音によるものや視覚的なもの、その他形式でも良い。更に、この通知を用いて何らかの形の自動映像補正を自動的に起動し、認識される３次元の奥行きを減少させるようにしても良い。この場合、この方法は、３次元奥行きリミッタの機能を提供するものとなり、コンピュータで生成した３Ｄコンテンツを評価し、出力映像の補正をもっと素早く実現する、といった特有の利用法も考えられる。また、３次元奥行きリミッタの出力を、３Ｄ画像の生成を制御するアルゴリズムにフィードバックするようにしても良い。
【００８８】
図７は、ステップ６５０における視差推定方法のより詳細なフローチャートを示す。
【００８９】
視差推定方法は、左目又は右目のエッジ抽出画像のどちらか一方から、複数画素から構成されるカーネルを選択するステップ７１０で始まる（図７では、左目エッジ抽出画像からカーネルを選択した例で説明する）。カーネルは、他方の目の画像中の検索ウインドウと比較される。
【００９０】
ステップ７２０では、先に詳細に説明したように、左目エッジ抽出画像からのカーネル（左目カーネル）が、視差値を示す最も合致する位置を決めるために、右目エッジ抽出画像中の検索ウインドウ内における複数の異なるオフセット位置において、その各位置における左目カーネルの複数画素にそれぞれ対応する複数画素の集合（右目カーネル）に対して比較される。３次元の奥行きは、左右の目の角度の変化による水平方向の距離間隔の関数であるので、この検索処理は、水平方向にのみ動作する。しかし、オプションで、２つのレンズ間のずれを検出し、制御するために垂直方向の評価を用いても良い。
【００９１】
いずれの場合でも、十分な大きさの単一のピークがあるかどうか判断される（ステップ７３０）。もしある場合には、左目エッジ抽出画像のピークの大きさと、右目エッジ抽出画像中の同じ特徴のピークの大きさとの距離が、ステップ７５０において、視差分布リスト中に記録される。もし単一の十分な大きさのピークがなければ、その画素について視差は無視される（ステップ７４０）。
【００９２】
上述の方法においては、推定視差に関してある程度確実性のある画素のみを用いるので、歪みのある結果は回避される。
【００９３】
図８は、上述の方法を実行するのに利用できるハードウェア８００の代表的な形態を示す。
【００９４】
入力３Ｄ画像又は映像８１０が、ハードウェア８００に供給される。その形式にもよるが、入力画像又は映像８１０は、分離装置８２０において、左目及び右目映像フレームに分離する必要のある場合もある。
【００９５】
左目及び右目映像フレームは、エッジ抽出フィルタ８３０で処理され、重ねた結果が表示装置８５０上にオプションで表示される。
【００９６】
エッジが抽出された左右の画像フレームは、視差推定ユニット８４０で利用されて、オリジナル画像についての視差分布が形成され、これを表示装置８５０上で表示しても良い。
【００９７】
比較ユニット８７０は、視差推定の結果と、ユーザ定義リミット８６０とを受けて、もし視差リミットを超えているなら、警告システム８８０を通して警告をユーザに提供する。警告システム８８０は、実際的には、他のシステムを制御したり、３次元奥行き調整ユニット（図示せず）にフィードバックする機能を含んでいても良い。
【００９８】
このハードウェアは、典型的には、３Ｄ画像及び映像コンテンツを処理するスタジオ、放送ユニットその他の映像送信設備に配備された多機能な試験測定装置に組み込まれる。
【００９９】
上述では、フレームの観点から説明して来たが、フィールドや、その他のマクロブロック（macroblock）、スライス（slice）などのような同時に現れる複数画素から構成されるグループについても、基本的に同様の処理を利用できることは明らかであろう。
【０１００】
上述の方法及び装置は、エンコード形式にとらわれない。つまり、これらは、例えば、標準（ＳＤ）及び高品位（ＨＤ）立体画像及び映像データの両方についてのＭＰＥＧ−４、Ｈ．２６４やＶＣ−１などのような、どの既知のエンコード方式でも機能するし、将来出現するエンコード方式でも機能するであろう。
【０１０１】
上述の方法は、適切に構成されるか設計されたどのようなハードウェアで実行するようにしても良い。この方法の一部は、コンピュータで読み出し可能なメディア上に記憶された命令のセットの中で実現されても良い。この命令のセットは、デジタル・シグナル・プロセッサ（ＤＳＰ）などを有するコンピュータやプロセッサにロードされ、コンピュータやプロセッサに上述した方法を実行させる。
【０１０２】
同様に、この方法は、特別にプログラムされるか、ハードウェアとして設計された集積回路（ＩＣ）として実施されても良く、これは上記ＩＣにロードされたときに、上述の立体奥行き推定／測定方法を実行するように動作する。このＩＣは、パソコンのような汎用のコンピュータ装置の一部として形成されても良し、また、ハードウェアの試験測定装置などのようなもっと専門的な装置の一部として形成されても良い。
【０１０３】
典型的なハードウェア実施形態の１つとしては、上述した装置を提供するか又は上述した方法を実行するようにプログラムされたＦＰＧＡ（Field Programmable Gate Array）があり、このＦＰＧＡは試験測定装置内に実装される。
【０１０４】
本発明による典型的なハードウェア実施形態の他のものとしては、１又は複数のＡＳＩＣ（特定用途向け集積回路）があり、試験測定装置内に実装される。
【０１０５】
ハードウェア（つまり、ＰＦＧＡ又はＡＳＩＣ）による実施は、３Ｄ奥行き測定をリアルタイムで行う場合に特に有益であろう。
【０１０６】
ここに説明した方法を実行するステップの適切な順番及び内容は、スピード、品質など、実行にあたってのパラメータの特定の組合せによる要求に応じて、変更可能であることは当業者には明らかであろう。瞬間的な誤った測定値を抑えるために、アベレージング（平均化）をオプションで用いても良く、実施におけるパラメータに応じて利用の度合いを調整する。更に、開示した装置と異なる実施形態により、本発明のいくつかの機能を、本発明の特定部分の実施に必要なことに応じて、異なる組合せで選択的に実行しても良いことも明らかであろう。よって、請求項の順番は、請求項間でその特徴を動かすことに何らの制限を与えるものではない。
【符号の説明】
【０１０７】
８１０ 入力３Ｄ画像又は映像
８２０ 分離装置
８３０ エッジ抽出フィルタ
８４０ 視差推定ユニット
８５０ 表示装置
８６０ ユーザ定義リミット
８７０ 比較ユニット
８８０ 警告システム
【技術分野】
【０００１】
本発明は、概して音響映像データ・ストリームの試験に関し、特に、立体ビデオ・ストリームにおける３次元（３Ｄ）映像の奥行きの程度を測定するための方法に関する。
【背景技術】
【０００２】
立体（つまり、３Ｄ）画像及び映像は、２つ別々のわずかに異なる画像を左右の目に夫々提供することで正常に機能する。これら画像は、ある特定のシーンを視聴者が左右の目で夫々何を見るかを各画像についてエミュレートしているために異なっており、左右の目は互いに約１０ｃｍ間隔が空いたものとなっている。両目間の見る角度の変化によって、人間（そして他の目が前にある動物、主に捕食動物）は、いわゆる視差によって、奥行きを感じることができる。
【０００３】
立体メディアは、左右の目が夫々の画像を別々に（つまり、右目は左目の画像を全く見ることがなく、その逆も同様）そして同時に見られる場合にだけ機能する。
【０００４】
この分離しつつ同時の表示を可能にする技術には、異なる多数のものがあり、アナグリフ（anaglyph：２つの色彩的に反対の色（補色）のフィルタを使う）、偏光式（passive polarised：９０度異なる（典型的には水平及び垂直の）偏光フィルタを使う）及びアクティブ・シャッター式（左右の目を交互に暗くする）が含まれる。最初の２つの方法では、左右の目の画像が両方同時に示されるが、夫々はカラー・フィルタ又は偏光フィルタを用いて反対側の目の画像を視界から除くことで、各目は正しい画像のみを見ることができる。一方、アクティブ・シャッター方式では、アクティブに制御された眼鏡を表示装置にリンクし、どちらの画像が画面上に現れているかに応じて、眼鏡が左右の目を交互に遮る。このように、アクティブ・シャッター方式では、常に一度に左右の目の画像の一方のみが現れ、人間の脳が交互の表示を１つの画像に結合するのを利用している（これは、２４フレーム毎秒のフィルム映画が、フルモーション（動画）として感じられるのと良く似ている）。
【０００５】
左右の目の画像を別々なものとするため、立体画像又は映像について、異なる種々の方法でのエンコードが考えられる。例えば、立体映像を順次連続的（シーケンシャル）に、つまり、順次連続的な複数画像のストリームとしてエンコードし、左右の目の表示を交互に行う（これは、フィルタを用いて単一の「２重」画像に処理される）。さらには、立体画像のストリームが、２つを並べて（side by side：サイド・バイ・サイドで）エンコードされる、つまり、画像ストリームは左右の目の画像を両方含み、これらが順次連続して処理されて、これら画像が左右の目夫々への表示のためにストリーム中で分離されても良い。
【０００６】
エンコード方法に関係なく、３Ｄ画像を見る視聴者は、パッシブ（Passive：アクティブでない）又はアクティブな３Ｄ眼鏡を用いて、２つの異なる画像を、１つは左目で、２つ目は右目で見ることになる。これは、パッシブ眼鏡の場合は、偏光フィルタ／カラー・フィルタを用いて実現され、アクティブ眼鏡の場合では、アクティブ・シャッターを用いて実現される。なお、アクティブ眼鏡は、３Ｄ映像を表示するデバイスと同期している必要がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平５−２５６６１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
３Ｄ画像は、人間が実際の生活で見るであろうものをエミュレートしているので、３Ｄ画像が見るようにするには、眼鏡を使うたけでなく、表示画面まで適当な距離が必要となる。もしこの距離が適切でないか、エンコードされた画像の奥行きが適切でないと、画像が不自然になり、これは目にストレスを与える。
【０００９】
現在のところ、３Ｄコンテンツがビデオ・ストリーム中に存在するのか、それは自然に見えるのか、正しくエンコードされているのか、を客観的に判断するのは難しい。
【００１０】
そこで、本願で記述する発明は、３Ｄ映像／画像の奥行きの状態を視覚化及び分析するための方法を提供する。
【課題を解決するための手段】
【００１１】
本発明による立体画像の３次元（３Ｄ）奥行き測定方法は、左目及び右目入力画像を供給するステップと、エッジ抽出フィルタを左目及び右目入力画像に適用し、左目及び右目エッジ抽出画像を生成するステップと、左目及び右目エッジ抽出画像を用いて立体画像の３次元奥行きを求めるステップとを具えている。
【００１２】
説明する方法及び装置では、立体画像又は映像において認識される３次元の視覚的奥行き（つまり、視差）の度合いを推定すると共に、理解を容易にするために、多数の異なる２次元表示の選択肢を用意し、その中に推定された奥行きを視覚化又は図示する手段を提供する。
【００１３】
オプションとして、上記エッジ抽出フィルタは色分けされた（color coded）ものでも良く、本発明の方法が、色分けされた左目及び右目エッジ抽出画像を単一の画面に重ねてユーザに表示するステップを更に具えていても良い。
【００１４】
オプションとして、エッジ抽出フィルタが、左目及び右目画像中の各画素の輝度成分に適用されても良い。
【００１５】
オプションとして、本発明の方法は、立体画像中の各画素について、３次元の奥行きを示す視差値を求めるステップを更に具えていても良い。
【００１６】
オプションとして、上記視差値を求めるステップが、左目又は右目エッジ抽出画像の一方にある複数画素からなる比較のためのカーネル（一方の目のカーネル）を選択するステップと、左目又は右目エッジ抽出画像の他方において最も類似する複数画素の集合（他方の目のカーネル）を選択して求めるステップと、選択されたカーネルの一方の目のエッジ抽出画像から他方の目のエッジ抽出画像まで相対的な位置間の距離を供給するステップとを有していても良い。
【００１７】
オプションとして、最も類似する複数画素の集合を選択して求めるステップが、左目エッジ抽出画像又は右目エッジ抽出画像の一方に由来する複数画素からなる選択されたカーネルについて、左目エッジ抽出画像又は右目エッジ抽出画像の他方に由来する複数画素からなる範囲に対して相関を求めるステップを有していても良い。
【００１８】
オプションとして、上述の相関を求めるのに、左目及び右目エッジ抽出画像の対応する画素間の差の絶対値の合計の逆数を用いても良い。
【００１９】
オプションとして、左目エッジ抽出画像又は右目エッジ抽出画像の他方に由来する複数画素の範囲には検索ウインドウが含まれ、この検索ウインドウは、複数画素からなるカーネルと同じ高さとユーザ定義の長さとを持つか、又は、複数画素からなるカーネルより大きいユーザ定義の高さとユーザ定義の長さとを持つようにしても良い。複数画素からなるカーネルに比較して上乗せされた高さを持つ検索ウインドウを用いることによって、複数のレンズの垂直方向のずれを検出して補正できる。
【００２０】
オプションとして、最も類似する複数画素の集合を選択して求めるステップが、合致している可能性の高さを示す十分なピークの大きさを用いて、比較された位置を選択するステップを更に有しても良い。そして、推定視差値を、その画像についての視差分布リストに追加しても良い。
【００２１】
オプションとして、もし十分なピークの大きさが見つからない場合には、その被測定画素についての視差値を省略しても良い。
【００２２】
オプションとして、本発明の方法は、求めた視差値がユーザ定義のプラス又はマイナス閾値を超えているか否か判断するステップを更に具えていても良い。
【００２３】
オプションとして、本発明の方法は、画素に属する視差の量に従って少なくとも１つの色を当てはめるステップと、立体画像の色分けされた階調表現バージョンを表示することで、立体画像に関する視差の分布を示すステップとを更に具えていても良い。
【００２４】
本発明は、別の観点では、立体画像３次元奥行き測定装置であって、立体画像を受ける入力部と、上記立体画像の左目及び右目部分をフィルタする少なくとも１つのエッジ抽出フィルタと、上述した方法のいずれかを実行する処理手段とを具えていても良い。
【００２５】
オプションとして、上記立体画像３次元奥行き測定装置は、視差推定ユニットと、比較／相関ユニットとを更に具えていても良い。
【００２６】
本発明では、また、上述した装置を含むテレビジョン放送システムの試験（又は他の聴視覚試験装置）において利用される操作モニタ装置を提供するようにしても良い。
【００２７】
本発明は、別の観点では、３次元画像の分離距離の量を視覚的に表示する方法であって、色分けされたフィルタを立体画像の左目及び右目画像の輝度成分に適用するステップと、得られる２つの画像を単一の表示上に重ねるステップとを具えている。
【００２８】
本発明は、別の観点では、３次元画像中のオブジェクトの相対的な奥行きを表示する方法であって、画像のモノクローム・バージョン中に奥行きを表す色を用いるステップを具え、このとき、左目又は右目画像のどちらか一方の輝度成分にエッジ検出フィルタが適用され、各エッジに適用される色が、画像中における相対的な奥行きを表すようにしても良い。例えば、画面から飛び足すように見えるオブジェクト（つまり、マイナスの視差）には赤を使用し、ゼロ視差に近づくと白へと薄くなり、遠景に見えるオブジェクト（つまり、プラスの視差）に近づくと青くなるとしても良い。
【００２９】
本発明は、別の観点では、視差分布ヒストグラムを提供する方法であって、画像全体に渡って使われている視差の割合を表示する視差分布ヒストグラムをプロットするようにしても良い。これは、各画素の視差をプロットすることで実現される。アラームを発するためのリミットを、ユーザが定義する視差レベルに適用し、モニタ装置を駆動するようにしても良い。
【００３０】
ここに提案する方法及び装置の全ては、アナグリフやサイド・バイ・サイドのような左目及び右目画像を送信するのに用いられる方法からは、独立したものである。従って、本発明は、左目及び右目画像間の同期方法がわかっていれば、どのような３次元画像／映像送信方法に対しても適用可能である。
【００３１】
立体画像における３次元奥行き測定に関する方法や装置について、添付の図面を参照して以下に説明していくが、これらは単に例に過ぎない。
【図面の簡単な説明】
【００３２】
【図１】図１は、オリジナル画像と、本発明の実施形態によるエッジ抽出フィルタを適用した同じ画像を示す図である。
【図２】図２は、本発明の実施形態によるエッジを抽出した左右の目の画像を重ねて１つの画像にしたものを示す図である。
【図３】図３は、本発明の実施形態による選択した１画素についての視差推定値分布のサンプル示す図である。
【図４】図４は、オリジナル画像と、本発明の実施形態における左右のエッジ抽出画像を重ねたバージョン及び立体画像の相対的な奥行きを示す温度表示を示した図である。
【図５】図５は、本発明の実施形態による画像全体についての視差分布グラフである。
【図６】図６は、本発明の実施形態による立体映像３次元分析方法のハイレベル・フローチャートを示す。
【図７】図７は、本発明の実施形態による立体映像３次元分析方法の視差推定部分のより詳細なフローチャートを示す。
【図８】図８は、本発明の実施形態による立体映像３次元奥行き測定装置のハイレベル・ブロック図である。
【発明を実施するための最良の形態】
【００３３】
以下に、添付の図面を参照しつつ、本発明の実施形態を説明するが、同じ又は同様のもの又はステップについては、同じ又は類似の符号を付している。
【００３４】
［左目フレーム及び右目フレームについてのエッジ検出］
本発明の実施形態による立体映像の３次元（３Ｄ）奥行き分析方法の最初のステップは、２つの入力フレーム（夫々左目及び右目フレーム）に対してエッジ検出フィルタを適用することである。エッジ検出フィルタは、典型的には画像を構成する画素の輝度成分に働くもので、２つの入力フレームに対して分離可能な畳み込みフィルタを適用することによって実現される。この処理に適したエッジ検出フィルタとしては種々のものが利用可能であり、例えば、とりわけ、ソーベル（Sobel）、プレウィット（Prewitt）及びカーシュ（Kirsch）エッジ・フィルタなどである。各種フィルタのパフォーマンスは、画像のコンテンツに依存することが多い。つまり、例えば、あるフィルタは、人間や動物を含むコンテツで良好である一方、他のフィルタは風景で良好であるというようなことである。例えば、実地試験においては、ソーベル・フィルタは、前景中にオブジェクトがある映像において特に効果的であることを示す。なお、エッジ検出は、エッジ抽出としても知られている。
【００３５】
図１は、オリジナル画像１１０と、エッジ抽出フィルタをオリジナル画像１１０に適用した結果得られた画像１２０を示す例である。エッジを抽出した画像は、大部分が黒／暗い色であるが、抽出されたエッジだけが大きな輝度値を示す。
【００３６】
［２重エッジ表示］
左目及び右目入力フレームの２つのエッジを抽出したものが生成された時点で、２つのエッジ抽出入力フレームを各目に関して異なる色（例えば、左目用を緑、右目用を青としたり、左右をそれぞれ赤及び青としても良い。ここで用いる色の選択はアナグリフでの色の選択とは関係がなく、単に視覚的に大きな相違があり、眼鏡無しで識別できるように選択したものである。）を用いて表示し、同じ表示装置で示すために、一緒に重ねても良い。これにより、何らかの３Ｄ効果がサンプル画像内にあるかどうかを（ここに説明する方法及び装置による試験装置のユーザは）視覚的に容易に識別でき、また、これにより、以下でより詳細に説明するように、どのオブジェクトにマイナスの視差やプラスの視差があるかが視覚的に示される。
【００３７】
図２は、上述の如く処理した２重エッジ抽出表示画像２００の例を示す。画像内のどこにアイテムにあるべきかを主観的に推定するのは人間にとっては容易であるが、奥行きに関しては、コンテンツ（内容）に応じて、機械には客観的な試験が必要であるし、更には、ユーザにとっても測定可能なパラメータが必要なことがある。
【００３８】
奥行きは、次のように客観的に試験しても良い。図２の画像から、画像中の人の顔と眼鏡は、マイナスの視差（つまり、画面から出ているように見える）を有し、一方、背景にあるコンピュータ・モニタはプラスの視差（つまり、画面奥に引っ込んでいるように見える）が有ることが推測できる。これは、眼鏡／顔については緑のエッジが青のエッジの左にある一方、コンピュータ・モニタについては緑のエッジが青のエッジの右にあることからわかる。
【００３９】
各場合において、画素を単位としたときに同じ特徴に関する２つの色の線間の距離は、そのオブジェクトに感じられる奥行き（つまり、視差）に対応する。
【００４０】
従って、左目及び右目エッジ抽出画像内の同じ特徴間の相対的な水平距離は、画像の分離の大きさであり、３Ｄ画像が視聴者にどれくらい自然にみえるかと直接関連する。分離が著しいレベルにあると、視聴者は不快に感じ、更には気持ち悪くさえ感じることがある。放送局及び標準化団体は、３Ｄ映像／画像素材に関する画像分離距離の許容レベルについて、いずれ規制を設けるであろうと考えられる。
【００４１】
［視差の推定］
左右両目についてエッジ抽出フレームの演算を行った後、左右の目の２つのエッジ抽出画像を相関を用いて互いに比較することによって、各画素に関する視差が推定される。
【００４２】
ここで、小さなスケールの典型的な相関について説明する。しかし、本発明は、この説明する小さなスケールの相関に限定されるものではない。
【００４３】
ある画素Ｐについて、左目エッジ抽出画像中の画面座標を（Ｘ，Ｙ）とすると、画素Ｐを中心とした複数画素からなるカーネル（kernel：核）が形成される。こうしたカーネルの例を、３×３行例の形で、以下に示す。これは、カーネルに含まれる画素の座標を詳しく記述したものである。もし座標Ｘ，Ｙの画素が評価される画素、つまり、被試験画素であるなら、次の表１となる。
【００４４】
【表１】
【００４５】
カーネルの大きさは、他のものでも良い。簡単のため、画像の一番端にある画素については、完全なカーネルが利用できないので、無視しても良い。加えて、こうした端の部分は、視聴者の注意が集まるわけでないので、あまり重要ではないと考えられる。カーネルは、他方の目の画像中のユーザが選択した検索ウインドウ（Ｍ×Ｎ）に対して相関が取られる（つまり、２つの間の類似性が評価される）。左右の目の画像は空間的に位置が揃っていると考えられるので、簡単のため、この比較は、左目エッジ抽出画像から生じるカーネル（以下、簡単のため、左目カーネルとも呼ぶ）と、右目エッジ抽出画像中の検索ウインドウとの間で行われる。もちろん、相関の計算は、逆方向でも実行できる（つまり、カーネルは右目エッジ抽出画像からのもので、検索ウインドウは左目エッジ抽出画像からのもの）。後述のように、左目カーネルは、検索ウインドウ内での位置を順次ずらしながら（オフセットを変えながら）、その位置における検索ウインドウ内の画素との間で相関が求められる。検索ウインドウ内の各オフセット位置において、左目カーネルを構成する複数画素とそれぞれ対応する検索ウインドウ内の複数画素から構成される集合は、右目エッジ抽出画像中の画素の集合であるので、右目カーネルと呼ぶ。
【００４６】
検索ウインドウの高さＮは、典型的には、サンプル・カーネルの高さで決められる。これは、立体視の効果は水平方向にのみ働くので、相関が典型的には水平（横）方向に（つまり、左又は右の方向へと）実行されるからである。一方、検索ウインドウの長さＭは、入力画像／映像素材のパラメータ及び所望のパフォーマンンス特性に応じて、ユーザが特定する。１例では、検索ウインドウを＋／−１００画素としても良いが、別の検索ウインドウの大きさでも同じく利用できる。カーネルに対する検索ウインドウの大きさが大きくなると、相関を求める時間が増加するが、正確さは改善されると思われる。しかし、一方で、視差はそれほど大きくはないと予想されるので、もっと小さい検索ウインドウで充分である。
【００４７】
更に進んだ実施形態では、検索ウインドウを高さ方向に関してカーネルより大きくしても良く、これにより、垂直面に関しても相関をある程度調査できる。これによって、３Ｄカメラを構成する２つのレンズ間の垂直位置のずれを検出し、自動的（カメラにモータによるレンズ移動機構がある場合）に補正するか、カメラマンに通知し、カメラマンが手動でレンズを調整するようにできる。また、３Ｄ画像が既に撮られていて、レンズ調整ができない場合には、垂直位置ずれの量を検出することで、後処理で、２つの画像の一方について、その一方の画像のストリ−ムを上又は下にシフトすることで、２つの画像ストリ−ムの位置を後から揃え、ずれを相殺できる。これによって、他にも使えない３Ｄ映像／画像コンテンツ（実際的には、何となく「ぼやっと」している画像など）として分類されたものを救済できることがある。
【００４８】
最大オフセットは、典型的には、画像サイズ及び最大許容視差によって定められる。
【００４９】
この例では、２つの左目及び右目カーネル間の相関は、対応する画素間の差の絶対値の合計の逆数として定義される。よって、この場合、２つの左目及び右目カーネル間の相関を求めると、相関指数は次の式１で示される。
【００５０】
【数１】
【００５１】
ここで、ｉ、ｊは、使用中の画素の座標である。しかし、シフト不変パターン・マッチング・アルゴリズム（Shift-Invariant pattern matching algorithm）のような他の形式の相関を用いても良い。
【００５２】
この単純化した例では、注目する画素（つまり、関心のある画素）は、左目エッジ抽出フレーム中の左上から右下への対角線の一部である。
【００５３】
３×３画素のカーネルを構成したとき、これが上述の特定画素と、その周辺画素を含んでいると、その結果は次の表２に示す行列となる。
【００５４】
【表２】
【００５５】
これらは画像のエッジ抽出バージョンにおける「エッジの強さ」の値、つまり、輝度値である。エッジ抽出画像中では、エッジだけに輝度値があり、残りの部分はゼロかゼロに近い値であることに注意されたい。
【００５６】
さて、もし右目フレーム中の３つの同じ画素の行（横の列）が次の表３に示す値を有しているとするなら（この例は、とても小さい画像（高さ３×幅７の画素）だけである）、
【００５７】
【表３】
【００５８】
この場合、上述の左目カーネルをこれら３行と相関させようとすると、最も合致するのは最後の部分、つまり、一番右手側であることがわかる。これは、同じ対角線構造で、とてもよく似た値の組み（セット）を示しているからである。この場合、カーネルの最も良い配置位置は、最初の開始点から４画素右である。従って、オフセット、よって、視差は、４つ右にオフセット、つまり＋４である。
【００５９】
異なるオフセットについて、左目エッジ抽出フレーム中のカーネルと、右目エッジ抽出フレーム中の検索ウインドウとの各オフセット位置における相関指数を計算すると、図３に示すような相関グラフ（値は正規化したもの）が得られる。
【００６０】
もし十分な大きさの単一のピークが見つかれば、その画素における視差が推定できたと判断され、この推定値が視差分布リストに追加される。何をもって「十分な大きさ」とするかは、パラメータの設定によって変化する。今の場合、上述の相関の式は、０と無限（この場合、完全一致で、分母が０）の間で大きさが変化することがあり得る。しかし、実際に実施する場合では、処理するハードウェアでの計算を速く、効率良くするため、値を（例えば、最大を１００に）正規化しても良い。この場合、十分な値は、例えば、６０％を超えるものとして考えても良い。
【００６１】
使用する厳密な閾値は、最初のパス（処理）において不十分な結果が見つかれば適宜変更しても良い。例えば、画像の最初のパスにおいて適切な合致が見つからなければ、十分な大きさについて設定されたレベルを減少させ、いくつかの画素が確実に十分な大きさを持つようにしても良い。
【００６２】
時として、画質が悪いか、画像コンテンツが繰り返しコンテンツ（チェックのシャツなど）であるために、複数の合致可能性が生じるなどで、各画素について視差を推定できないこともあり得るが、その画素については分布リストに値を追加しない。また、ユーザが、分析するコンテンツ素材に応じて、大きさの閾値を調整したいこともあり得る。
【００６３】
アベレージング（平均化）その他の誤った（spurious：にせ物の）結果を排除する仕組みを採用しても良い。例えば、１つの画素について推定された画素の視差を隣接する画素の視差と比較し、もし著しく予想外の結果（例えば、全てプラスのなかで１つだけ−５など）があれば、その誤った結果を無視するか、特定の局所的グループの平均に基づく視差値を用いて補正しても良い。
【００６４】
図３では、１つの画素Ｐについての視差推定値分布のサンプル３００を示し、ここでは視差となり得る値が３つあり、２つの低いピーク３１０が−４と−６とに夫々あり、そして、明らかなピークの大きさ３２０が−５にある。従って、この値が、その視差についての値として最も確からしいと考えられるので、この値が視差分布リストに追加される。
【００６５】
同じ処理が、左目エッジ抽出画像中の各画素について、最も端の画素を除いて実行される。
【００６６】
［温度表示］
可能な限り完全な視差分布リストが得られた時点で、各画素についての推定視差を表示装置上にプロットし、画像全体について俯瞰的に視差を示すようにしても良い。これは、温度表示（temperature display）とも呼ばれ、ここでは画像中のエッジに対応する各画素は、その推定視差に従って色づけされる。
【００６７】
カメラから前に出てくるオブジェクト（つまり、マイナスの推定視差を持つもの）は、暖かいと考えて赤色で表示される。一方、カメラから奥に引っ込むオブジェクト（つまり、プラスの推定視差を持つもの）は冷たいと考えて、青色で表示される。視差ゼロのオブジェクトは、白とする。もちろん他の色を用いても良く、また、これら色はアナグリフの３Ｄ画像表示に使用される色とは関係がない。更に、これら色は、エッジ抽出画像に関して上述した青／緑色とも関係がない（繰り返しだが、これら色は、データを表示した時に、何が起きているかがユーザに明確にわかるように任意に選択すれば良い）。
【００６８】
図４は、上述した３つの処理についての画像を示す。これは、オリジナル画像４１０、その左右のエッジ抽出画像を重ねたバージョン４２０、最終的な温度表示バージョン４３０である。この例では、視差を推定できなかった画素については温度をプロットしていない。こうした画素については、視差の推定がどの程度可能であったを強調するために、別の色でプロットするのがわかりやすいと思われる。
【００６９】
図４の温度表示４３０では、右下の紫の花が半分赤で半分青に見られ、これはプラス及びマイナスの両方の視差の部分を示している（一部分は画面から飛び出し、一部分は画面より引っ込んでいる）。
【００７０】
上述したように、もし推定視差値を持つことができない画素が見られれば、十分な大きさについての閾値を、より多くの画素が推定値を持てるように調整しても良い。一方で、視差推定値が多すぎるときも、閾値を調整しても良い。
【００７１】
こうした温度表示は、好ましくは、その場でリアルタイムで示され、これによって、コンテンツ制作者及び放送業者は、放送している（又は放送しようと意図している）３Ｄ画像／映像で使われているオブジェクトの相対的な奥行きを、単純な２次元表示（これは理解するのがより簡単である）を用いて確認できる。この表示のキーとなるのは、オリジナル画像の彩度（chroma：クロマ）コンテンツを異なる色（例えば、赤と青）で表される相対的な奥行きを示す情報に置き換えることである。選択した色の色相（hue）のスケールを用いて、表示機能を向上させることも可能である。例えば、上述の赤色／青色手法では、暗い青が最も深い３次元の奥行きがあることを表し、明るい青は３次元の奥行きがわずかであること表すとしても良い。同じことが、飽和した赤、不飽和の赤についても言える（ただし、その方向は逆である）。
【００７２】
［視差分布］
ここまでの説明のように、立体画像中の各画素について３次元の奥行き（つまり、視差）の測定が可能であるが、これは、３Ｄ画像／映像コンテンツが何らかの３Ｄ効果を含んでいて、それによって典型的な視聴者が不快に感じるか、気持ち悪く感じることがあるかを判断するのに使うと有益と思われる。例えば、放送される３Ｄ映像が、関連する運営機関が定める３次元の奥行きに関する規格制限内に、確実に収まるようにするのに役立つであろう。もしこうした不快感を与える素材が見つかれば、それを補正することができ、外へ出さないようにするか、使わないようにできる。
【００７３】
これを行うため、十分な大きさの単一のピークが見つけられた画素を、ヒストグラムにプロットするようにしても良い。このヒストグラムは、ｘ軸に推定視差値を用い、ｙ軸に視差レベルに対する画素数を用いている。
【００７４】
図５は、ヒストグラム５００の例を示し、ここでは１０１０画素がゼロ視差（これは、左目フレームと右目フレームの間のオフセットが０の場合に最大の相関が見つかったことを意味する）に含まれる。プラス値が画像のスクリーンからの遠景（奥に引っ込む）の割合を示すのに比べて、マイナス視差値は画像のスクリーンから飛び出ている割合を示す。
【００７５】
ｘ軸は、視差又は左右の分離距離（separation）のパーセントを示すように調整して、代わりの新たな単位を用いても良い。これは、単純に画像の水平方向のサイズに対する割合としての視差の度合いである。例えば、もし、２００画素の幅の画像において、左目エッジ抽出フレームと右目エッジ抽出フレームとの間に５画素の分離距離（separation）があるなら、視差は−５の代わりに−２．５％として計算できる。
【００７６】
視聴者が不快を感じたり、気分が悪くなることがないように、３Ｄ立体画像／映像で使用が許される視差の量に応じた範囲を設定した方がよいと考えられる。こうした制限は、今後、定義されるであろうが、その数値はマイナスは１％程度まで、プラスは２％程度までと思われる。
【００７７】
そこで、コンテンツの制作者や配給者が、その３Ｄ素材が許容範囲内かどうかわかるように、これに対応したプラス及びマイナス視差の垂直閾値をユーザが特定し、これを視差分布ヒストグラムに適用するのが有用である。図５では、中央に「範囲内」部分５１０（ここの視差は許容できる）、左側に「マイナス過ぎ」部分５２０、そして右側に「プラス過ぎ」部分５３０が見られる。
【００７８】
もし被試験立体画像／映像に、（図５の場合のような）中央許容部分５１０から外れた視差値が現れたら、本発明による３Ｄ立体奥行きモニタ装置において、アラーム（警告）を生成（トリガ）するようにしても良い。こうした方法及び装置は、無人操作を可能にするだけでなく、（３Ｄ眼鏡を使って）人間だけで３Ｄコンテンツをチェックするよりも、エラーを減らすことができる。
【００７９】
図６は、上述した立体画像／映像の３次元奥行き分析方法６００のハイレベル・フローチャートである。
【００８０】
この方法は、入力３Ｄ映像を左右の目夫々の画像に処理するステップ６１０で始まる。これは、例えば、連続する３Ｄビデオ・ストリームのインタリーブを分離するか、左右が並んでいるビデオ・ストリームを左右の目夫々の部分に切り分けることによって行っても良い。
【００８１】
次に、ステップ６２０において、エッジ検出／抽出フィルタを左右の被試験画像に適用する。適したエッジ抽出フィルタとしては、ソーベル（Sobel）、プレウィット（Prewitt）及びカーシュ（Kirsch）エッジ・フィルタなどがある。
【００８２】
そして、ステップ６３０において、左右のエッジ抽出画像は、夫々のオリジナル画像のどの部分に３次元の奥行きがあるかを求めるために、相関が取られる。最も単純な場合では、これは、２つのエッジ抽出画像（夫々はグレースケール（濃淡又は明暗による階調表現）バージョンだが、互いに異なる色）を互いに重ね、その結果をステップ６４０においてユーザに表示する。ユーザは、どの部分に３次元の奥行きがあるか、そして、これらの部分が前景に出てくるように見えるのか、又は、遠景に引っ込むように見えるのかを、先に詳しく説明したように、各目の画像の線の周りにおいて、他方の目の画像の線がどちら側に表示されるかに応じて、視覚的に判断しても良い。
【００８３】
表示ステップ６４０（そして、表示ステップ６６０及び６８０）は、オプションであるため、破線で示されている。オプションという意味は、こうした表示を行う試験測定装置は、本発明に従って適宜変更されるもので、ユーザの選択に従って、異なる表示６４０、６６０及び６８０の１つ又はいくつかを表示するように設定され得るということである。典型的には、これは、試験測定装置（デバイス）上でユーザが選択をすることで実現される。試験測定装置は、多機能で、それ故、３Ｄ奥行き測定を全く表示しないようにも設定でき、その代わりに、ビット・レート、使用するエンコード規格などのような放送送信の他の観点に関するパラメータを表示しても良い。
【００８４】
次のステップ６５０では、先に詳しく説明したようにして、特徴点間の距離を比較することによって、オリジナル画像の各画素についての視差の実測値を求める。これは、推定処理であって、エッジ抽出画像中のピーク画素輝度の大きさのようなユーザ定義のパラメータに従って、最も合致すると思われるものを選択する。
【００８５】
試験測定装置は、オプションとして、ステップ６６０において、特定の画素の視差値として可能性のある候補を表示するようにしても良く、その選択がどの程度確実なものか、それとも選択肢がないのか、どうしてそうしたことになるのかの理由を示す、などといった情報をユーザに提供するようにしても良い。
【００８６】
オリジナル画像全体（もし画像の一部分のみ関心がある場合は、その一部分のみ）についての視差値が求められたら、これら結果はその画像全体について視差分布（この処理の完成をステップ６７０で示す）であって、これを上述したようにヒストグラムや温度表示としてユーザに（オプションで）表示しても良い（ステップ６８０）。
【００８７】
視差分布は、推定視差値がある閾値（図５に示したようなもの）を超えているか判断するために評価され、それに従って、３Ｄ画像／映像中の関心のある視差値、よって３次元の奥行きの量が、ユーザ定義のある値を超えているかどうかをユーザに示し、アラームを発する（通知ステップ６９０）かどうか決定する。アラームは、音によるものや視覚的なもの、その他形式でも良い。更に、この通知を用いて何らかの形の自動映像補正を自動的に起動し、認識される３次元の奥行きを減少させるようにしても良い。この場合、この方法は、３次元奥行きリミッタの機能を提供するものとなり、コンピュータで生成した３Ｄコンテンツを評価し、出力映像の補正をもっと素早く実現する、といった特有の利用法も考えられる。また、３次元奥行きリミッタの出力を、３Ｄ画像の生成を制御するアルゴリズムにフィードバックするようにしても良い。
【００８８】
図７は、ステップ６５０における視差推定方法のより詳細なフローチャートを示す。
【００８９】
視差推定方法は、左目又は右目のエッジ抽出画像のどちらか一方から、複数画素から構成されるカーネルを選択するステップ７１０で始まる（図７では、左目エッジ抽出画像からカーネルを選択した例で説明する）。カーネルは、他方の目の画像中の検索ウインドウと比較される。
【００９０】
ステップ７２０では、先に詳細に説明したように、左目エッジ抽出画像からのカーネル（左目カーネル）が、視差値を示す最も合致する位置を決めるために、右目エッジ抽出画像中の検索ウインドウ内における複数の異なるオフセット位置において、その各位置における左目カーネルの複数画素にそれぞれ対応する複数画素の集合（右目カーネル）に対して比較される。３次元の奥行きは、左右の目の角度の変化による水平方向の距離間隔の関数であるので、この検索処理は、水平方向にのみ動作する。しかし、オプションで、２つのレンズ間のずれを検出し、制御するために垂直方向の評価を用いても良い。
【００９１】
いずれの場合でも、十分な大きさの単一のピークがあるかどうか判断される（ステップ７３０）。もしある場合には、左目エッジ抽出画像のピークの大きさと、右目エッジ抽出画像中の同じ特徴のピークの大きさとの距離が、ステップ７５０において、視差分布リスト中に記録される。もし単一の十分な大きさのピークがなければ、その画素について視差は無視される（ステップ７４０）。
【００９２】
上述の方法においては、推定視差に関してある程度確実性のある画素のみを用いるので、歪みのある結果は回避される。
【００９３】
図８は、上述の方法を実行するのに利用できるハードウェア８００の代表的な形態を示す。
【００９４】
入力３Ｄ画像又は映像８１０が、ハードウェア８００に供給される。その形式にもよるが、入力画像又は映像８１０は、分離装置８２０において、左目及び右目映像フレームに分離する必要のある場合もある。
【００９５】
左目及び右目映像フレームは、エッジ抽出フィルタ８３０で処理され、重ねた結果が表示装置８５０上にオプションで表示される。
【００９６】
エッジが抽出された左右の画像フレームは、視差推定ユニット８４０で利用されて、オリジナル画像についての視差分布が形成され、これを表示装置８５０上で表示しても良い。
【００９７】
比較ユニット８７０は、視差推定の結果と、ユーザ定義リミット８６０とを受けて、もし視差リミットを超えているなら、警告システム８８０を通して警告をユーザに提供する。警告システム８８０は、実際的には、他のシステムを制御したり、３次元奥行き調整ユニット（図示せず）にフィードバックする機能を含んでいても良い。
【００９８】
このハードウェアは、典型的には、３Ｄ画像及び映像コンテンツを処理するスタジオ、放送ユニットその他の映像送信設備に配備された多機能な試験測定装置に組み込まれる。
【００９９】
上述では、フレームの観点から説明して来たが、フィールドや、その他のマクロブロック（macroblock）、スライス（slice）などのような同時に現れる複数画素から構成されるグループについても、基本的に同様の処理を利用できることは明らかであろう。
【０１００】
上述の方法及び装置は、エンコード形式にとらわれない。つまり、これらは、例えば、標準（ＳＤ）及び高品位（ＨＤ）立体画像及び映像データの両方についてのＭＰＥＧ−４、Ｈ．２６４やＶＣ−１などのような、どの既知のエンコード方式でも機能するし、将来出現するエンコード方式でも機能するであろう。
【０１０１】
上述の方法は、適切に構成されるか設計されたどのようなハードウェアで実行するようにしても良い。この方法の一部は、コンピュータで読み出し可能なメディア上に記憶された命令のセットの中で実現されても良い。この命令のセットは、デジタル・シグナル・プロセッサ（ＤＳＰ）などを有するコンピュータやプロセッサにロードされ、コンピュータやプロセッサに上述した方法を実行させる。
【０１０２】
同様に、この方法は、特別にプログラムされるか、ハードウェアとして設計された集積回路（ＩＣ）として実施されても良く、これは上記ＩＣにロードされたときに、上述の立体奥行き推定／測定方法を実行するように動作する。このＩＣは、パソコンのような汎用のコンピュータ装置の一部として形成されても良し、また、ハードウェアの試験測定装置などのようなもっと専門的な装置の一部として形成されても良い。
【０１０３】
典型的なハードウェア実施形態の１つとしては、上述した装置を提供するか又は上述した方法を実行するようにプログラムされたＦＰＧＡ（Field Programmable Gate Array）があり、このＦＰＧＡは試験測定装置内に実装される。
【０１０４】
本発明による典型的なハードウェア実施形態の他のものとしては、１又は複数のＡＳＩＣ（特定用途向け集積回路）があり、試験測定装置内に実装される。
【０１０５】
ハードウェア（つまり、ＰＦＧＡ又はＡＳＩＣ）による実施は、３Ｄ奥行き測定をリアルタイムで行う場合に特に有益であろう。
【０１０６】
ここに説明した方法を実行するステップの適切な順番及び内容は、スピード、品質など、実行にあたってのパラメータの特定の組合せによる要求に応じて、変更可能であることは当業者には明らかであろう。瞬間的な誤った測定値を抑えるために、アベレージング（平均化）をオプションで用いても良く、実施におけるパラメータに応じて利用の度合いを調整する。更に、開示した装置と異なる実施形態により、本発明のいくつかの機能を、本発明の特定部分の実施に必要なことに応じて、異なる組合せで選択的に実行しても良いことも明らかであろう。よって、請求項の順番は、請求項間でその特徴を動かすことに何らの制限を与えるものではない。
【符号の説明】
【０１０７】
８１０ 入力３Ｄ画像又は映像
８２０ 分離装置
８３０ エッジ抽出フィルタ
８４０ 視差推定ユニット
８５０ 表示装置
８６０ ユーザ定義リミット
８７０ 比較ユニット
８８０ 警告システム
【特許請求の範囲】
【請求項１】
左目及び右目入力画像を供給するステップと、
上記左目及び右目入力画像の夫々にエッジ抽出フィルタを適用するステップと、
上記左目及び右目エッジ抽出画像を用いて立体画像の３次元奥行きを求めるステップと
を具える立体画像３次元奥行き測定方法。
【請求項２】
上記左目又は右目エッジ抽出画像の一方にある複数画素からなる比較のためのカーネルを選択するステップと、
上記左目又は右目エッジ抽出画像の他方において最も類似する複数画素の集合を選択して求めるステップと、
選択された上記カーネルの一方の目の上記エッジ抽出画像から他方の目の上記エッジ抽出画像まで相対的な位置間の距離を供給するステップと
を有する上記立体画像の各画素についての上記３次元奥行きを示す視差を求めるステップを更に具える請求項１記載の立体画像３次元奥行き測定方法。
【請求項３】
上記各画素の上記視差の量に応じて少なくとも１つの色を当てはめるステップと、
上記立体画像の色分けされた階調表現バージョンを表示することで、上記立体画像に関する上記視差の分布を示すステップと
を更に具える請求項２記載の立体画像３次元奥行き測定方法。
【請求項１】
左目及び右目入力画像を供給するステップと、
上記左目及び右目入力画像の夫々にエッジ抽出フィルタを適用するステップと、
上記左目及び右目エッジ抽出画像を用いて立体画像の３次元奥行きを求めるステップと
を具える立体画像３次元奥行き測定方法。
【請求項２】
上記左目又は右目エッジ抽出画像の一方にある複数画素からなる比較のためのカーネルを選択するステップと、
上記左目又は右目エッジ抽出画像の他方において最も類似する複数画素の集合を選択して求めるステップと、
選択された上記カーネルの一方の目の上記エッジ抽出画像から他方の目の上記エッジ抽出画像まで相対的な位置間の距離を供給するステップと
を有する上記立体画像の各画素についての上記３次元奥行きを示す視差を求めるステップを更に具える請求項１記載の立体画像３次元奥行き測定方法。
【請求項３】
上記各画素の上記視差の量に応じて少なくとも１つの色を当てはめるステップと、
上記立体画像の色分けされた階調表現バージョンを表示することで、上記立体画像に関する上記視差の分布を示すステップと
を更に具える請求項２記載の立体画像３次元奥行き測定方法。
【図３】
【図５】
【図６】
【図７】
【図８】
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１】
【図２】
【図４】
【公開番号】特開２０１１−２２３５８２（Ｐ２０１１−２２３５８２Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１１−８７３７８（Ｐ２０１１−８７３７８）
【出願日】平成２３年４月１１日（２０１１．４．１１）
【出願人】（５０３０５０９５１）テクトロニクス・インターナショナル・セールス・ゲーエムベーハー (35)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２３年４月１１日（２０１１．４．１１）
【出願人】（５０３０５０９５１）テクトロニクス・インターナショナル・セールス・ゲーエムベーハー (35)
【Ｆターム（参考）】
[ Back to top ]