画像解析装置、画像解析方法及びプログラム
【課題】３Ｄカメラ装置の設定を容易にすること。
【解決手段】あるシーンのそれぞれ異なるビューを表す一連のペア画像を含む３Ｄビデオ信号を処理して画像の奥行き指標を生成するための画像解析装置を提供する。当該画像解析装置は、あるペア画像を構成する２つの画像のうち一方における画像領域と他方における画像領域とを相関させ、前記２つの画像間で対応する画像領域の変位を検出する相関器と、前記ペア画像の全域において、想定される範囲の変位値について、前記変位の分布を示すグラフィックスを生成するグラフィックス生成器生成器と、現在のペア画像の現在の表示位置に関する前記グラフィックスと、複数の先行するペア画像の他の表示位置に関する前記グラフィックスとを表示のために生成することで、前記変位の分布における変動を時間ベースで表示する表示生成器とを具備する。
【解決手段】あるシーンのそれぞれ異なるビューを表す一連のペア画像を含む３Ｄビデオ信号を処理して画像の奥行き指標を生成するための画像解析装置を提供する。当該画像解析装置は、あるペア画像を構成する２つの画像のうち一方における画像領域と他方における画像領域とを相関させ、前記２つの画像間で対応する画像領域の変位を検出する相関器と、前記ペア画像の全域において、想定される範囲の変位値について、前記変位の分布を示すグラフィックスを生成するグラフィックス生成器生成器と、現在のペア画像の現在の表示位置に関する前記グラフィックスと、複数の先行するペア画像の他の表示位置に関する前記グラフィックスとを表示のために生成することで、前記変位の分布における変動を時間ベースで表示する表示生成器とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元（３Ｄ）ビデオ素材を解析するための画像解析装置、画像解析方法及びプログラムに関する。
【背景技術】
【０００２】
３次元テレビは、近年、消費者にも利用できるようになり、３Ｄ機器や３Ｄ番組制作の量が急速に増加すると予想される。
【０００３】
３Ｄテレビは両眼視差方式に依存し、それにより、一定の距離、例えば、典型的にはユーザの両眼の間隔分だけ水平にずらした（すなわち、実質的に水平画像方向にある）それぞれのカメラによりペア画像がキャプチャされる。したがって、ペア画像は、同じシーンのわずかに異なるビューを表している。一般的に、ペア画像は（おそらく画像の末端は除いて）同じシーン内において同じアイテムを含んでいるが、その２つの画像間におけるアイテムの相対位置は、カメラのアライメントや、そのアイテムのカメラ装置からの距離などの要因に依存する。
【０００４】
画像が表示される際、重要なのは、ユーザがそれぞれの眼で（少なくとも主に）ペア画像のうちの１つの画像を見ることである。実際にはこれは、偏光眼鏡やシャッタ眼鏡（時分割方式）、またはカラーフィルタ付き眼鏡をユーザが装着する方法、あるいは、２つの画像のそれぞれを視聴者の眼のそれぞれの位置に向ける特別なレンズ装置をテレビ画面自体に備えさせる方法など、様々な方法で実現される。これらの中でも、カラーフィルタ技術は、３Ｄ映画の初期の試みでは一般的であったが、３Ｄテレビ技術では一般的に使用されていない。
【０００５】
３Ｄカメラシステムに話を戻すと、各ペア画像は、独自のレンズと画像キャプチャ装置（例えばＣＣＤ装置）を有する独立したカメラによってキャプチャされる。しかし、視聴者の３Ｄ錯覚を維持するために、重要なのは、各ペア画像を構成する２つの画像が画像キャプチャ特性に関して厳密に適合していることである。専門的なビデオカメラのカメラマンは、調整可能な様々なパラメータを利用できるが、現在のシーンのために様々なパラメータを正確に設定する必要があるだけでなく、３Ｄカメラ装置を構成する２台のカメラが同一の画像特性を有する画像を生成する必要があるため、３Ｄカメラ装置を設定する作業は従来の（単一の）ビデオカメラを設定する作業よりもかなり難しい。国産のビデオカメラの場合、ユーザが行うことができる調整の範囲は、さらに制限され、同一の画像特性を提供するために２台のカメラを設定するのがいっそう難しくなっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】欧州特許出願公開第２１６６７４８号明細書
【特許文献２】米国特許出願公開第２００９−０２３１４５４号明細書
【特許文献３】特開２００４−２８９２１４号
【特許文献４】特開２００８−１０３８２０号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
３Ｄビデオキャプチャにおいて注意が必要なさらなる側面は、ビデオに対する視聴者の知覚という側面である。ビデオ製作者は、特に、オブジェクトが画面のはるか前方に見えるようにオブジェクトを（３Ｄビデオで見られるように）表示するように、３Ｄ効果を過剰使用する可能性がある。これにより、視聴者は主観的な不快感や嫌悪感さえも引き起こすことがある。同様に、表示奥行きの突然のまたは急激な変化も主観的な不快感を引き起こすことがある。これは、３Ｄ表示がヒトの心理視覚システムに、視聴者から表示画面までの距離とは異なる距離にオブジェクトがあると信じ込ませるためだと想定される。視聴者の眼は、特に、オブジェクトが表示画面よりも視聴者に近くなるほど、認識したオブジェクトの３Ｄ位置に無意識に焦点を合わせようとする。しかし、３Ｄビデオを見るために、眼はもちろん表示画面の平面に焦点を合わせ続けなければならない。
【課題を解決するための手段】
【０００８】
本発明は、あるシーンのそれぞれ異なるビューを表す一連のペア画像を含む３Ｄビデオ信号を処理して画像の奥行き指標を生成するための画像解析装置を提供する。当該画像解析装置は、
あるペア画像を構成する２つの画像のうち一方における画像領域と他方における画像領域とを相関させ、前記２つの画像間で対応する画像領域の変位を検出する相関器と、
前記ペア画像の全域において、想定される範囲の変位値について、前記変位の分布を示すグラフィックスを生成するグラフィックス生成器生成器と、
現在のペア画像の現在の表示位置に関する前記グラフィックスと、複数の先行するペア画像の他の表示位置に関する前記グラフィックスとを表示のために生成することで、前記変位の分布における変動を時間ベースで表示する表示生成器と
を具備する。
【０００９】
本発明はまた、画像を処理して画像の焦点の指標を生成するための画像解析装置であって、前記画像の複数のブロックに対するそれぞれの局所焦点の推定値を検出し、前記局所焦点の推定値を組み合わせて当該画像の画像焦点指標を生成する焦点検出器を具備する画像解析装置を提供する。
【００１０】
本発明のさらなる側面および特徴は、添付の特許請求の範囲で定義される。
【図面の簡単な説明】
【００１１】
【図１】３Ｄカメラシステムを示す図である。
【図２】３Ｄビデオ解析装置を示す図である。
【図３】３Ｄビデオ解析装置の他の実施形態を示す図である。
【図４】ビデオプロセッサを示す図である。
【図５】セルプロセッサを示す図である。
【図６】受信した３Ｄ（Ｌ／Ｒ）ビデオ信号に関するビデオプロセッサの動作の概要を示す図である。
【図７】奥行き検出器および奥行きガイドタイムプロット部を示す図である。
【図８】画像の例を示す図である。
【図９】図８の画像の一部を示す図である。
【図１０】カラー表示スケールを示す図である。
【図１１】奥行きヒストグラムを示す図である。
【図１２】ヒストグラムの履歴表示を示す図である。
【図１３】フレームバイオレーションの状態を示す図である。
【図１４】３Ｄ画像の左右のエッジの近くにあるオブジェクトに関する正負の視差を示す図である。
【図１５】フレームバイオレーション検出器を示す図である。
【図１６】焦点ミスマッチ検出器を示す図である。
【図１７】２つのコントラストマップを示す図である。
【図１８】局所のコントラストエラー検出プロセスを示す図である。
【発明を実施するための形態】
【００１２】
以下、例示としてのみ、添付の図面を参照しながら、本発明の実施形態について説明する。
【００１３】
本発明の実施形態は、３次元（３Ｄ）テレビ信号に関しする処理を実行する。本実施形態は、一般的にこのような信号の生成元とは無関係である。すなわち、本装置は、生成元を問わず本装置に供給される３Ｄテレビ信号の質的評価を生成するように動作することができる。このような３Ｄ信号は、３Ｄカメラ装置から直接供給される３Ｄ信号、コンピュータ処理された、または、コンピュータ処理により画質を向上させた３Ｄ信号、記録媒体で再生される３Ｄ信号、伝送媒体を介して他のプロバイダから受信した３Ｄ信号、画像ミキサーなどの３Ｄビデオ処理装置から出力される３Ｄ信号等であってもよい。しかし、念のために、このような３Ｄ信号の生成元の１つとして、３Ｄカメラ装置の簡単な説明を行う。
【００１４】
図１には、３Ｄ画像を生成するために使用されるシーンの画像をキャプチャするシステム１００が示されている。システム１００は、２台のカメラが取り付けられたカメラリグ１１５を有する。この２台のカメラ１０５Ｌおよび１０５Ｒは、ビデオカメラやスチルカメラでもよい。以降の説明は、ビデオカメラに関して行うが、ホン技術のうち、一連のビデオフレームの時間的関係に依存しない側面についてはスチルカメラにも同様に適用可能であることが理解されよう。
【００１５】
図１には明確に図示していないが、相互関係にあるカメラ１０５のヨーを変化させることができる。特に、カメラ１０５がカメラリグ１１５に取り付けられると、各カメラ１０５のピッチとロールは通常、相互に固定される。しかし、カメラ１０５のヨーは相互に独立して調整することができる。これにより、カメラの収束角、すなわち「トーイン」を変化させることができる。カメラを定位置に固定した時点で、カメラリグ１１５のヨー、ピッチ、およびロールと、カメラとを一致して移動させることができる。カメラリグ１１５のヨー、ピッチ、およびロールは、アーム１２０によって移動される。カメラリグ１１５の位置は、アーム１２０を回転させることで、定位置に固定することができる。
【００１６】
各カメラ１０５からの出力は、３Ｄビデオ信号を構成する左（Ｌ）信号および右（Ｒ）信号をそれぞれ含んでいる。したがって、これら出力は画像データを含んでいる。しかし、他のデータも各カメラから供給することができる。例えば、各カメラからメタデータを供給することもできる。メタデータは、各カメラの絞り設定、焦点距離および／またはズームなどのカメラ設定に関するものであってもよい。さらに、メタデータはカメラマンに関する情報や「グッドショットマーカ」などを含んでもよい。カメラ１０５からの出力は、有線により、またはネットワークを介して次の処理装置に接続させることができる。カメラ１０５と後続の処理装置とは、無線で接続されてもよい。
【００１７】
図２は、本発明の一実施形態に係る３Ｄビデオ解析装置を示す図である。図２の装置は、ビデオプロセッサ２００、ディスプレイ２１０、およびユーザコントロール２２０を具備する。本発明の実施形態では、リアルタイムで解析を行うことができる。すなわち、ビデオフレームに関する解析をビデオフレーム期間内に完了することができる。
【００１８】
ＲおよびＬビデオストリームを（少なくとも）含む３Ｄビデオ信号１３０は、ビデオプロセッサ２００に供給される。ビデオプロセッサ２００は、解析モードで動作する。すなわち、ビデオプロセッサ２００は、ビデオ信号パスの一部を構成しないが、必ずしもビデオ信号を修正することなく、ビデオ信号を解析する。したがって、図２において、ビデオプロセッサ２００は、主要なビデオ信号パスにブランチとして接続された状態で示されており、ＬおよびＲビデオストリームがビデオプロセッサ２００の動作によって変化することなく（１３０’を通って）次の処理装置、ディスプレイまたは記憶部に渡されている。
【００１９】
ビデオプロセッサ２００は、３Ｄビデオ信号１３０の解析を行う。解析の機能を以下に説明する。解析結果はディスプレイ２１０に表示したり、次の処理および／または記憶のためにデータストリーム２４０として供給したりすることができる。
【００２０】
ユーザコントロールは、キーボードやマウスなどの従来のコントロールを含み、ユーザはビデオプロセッサ２００の動作を制御することができる。
【００２１】
図３は、ビデオプロセッサ２００の他の動作モードを示す図である。動作は多くの点で図２に示す動作と同様である。しかし、ビデオテープレコーダ、ハードディスクレコーダ、および光ディスクレコーダなどのビデオ記憶装置２３０も提供される。
【００２２】
信号処理は以下の通りである。受信した３Ｄ信号１３０は、解析のためにビデオプロセッサ２００に供給され、記憶するために記憶装置２３０にも供給される。ビデオプロセッサ２００からの解析結果は、（上述のように）ディスプレイ２１０にデータ出力２４０として任意に供給される。しかし、解析結果はまた、記憶された３Ｄビデオ信号と関連するメタデータとして記憶装置２３０に記憶される。
【００２３】
ビデオ信号と関連するメタデータの記憶は、様々な方法で実現可能である。例えば、メタデータの項目と、記憶されたビデオ信号における対応する一時的な位置との間の明確な関連性を提供するために、（記憶されたタイムコード変数などの）リンクが与えられることによって、メタデータを独立して記憶することができる。この状態においては、実際には、メタデータをビデオ信号として同じ記憶媒体に記憶する必要はなく、ひいては同じ物理的装置に記憶する必要さえない。したがって、図３に分かりやすくするために「記憶装置」として示されたブロックが、実際には、２つ以上の物理的装置または論理装置を含むことができる。少なくともこれらのうち１つは、ビデオプロセッサ２００の一部として物理的に具体化することができる。別の方法としては、例えば、メタデータをユーザデータとしてビデオ信号と関連するデータフォーマット内に記憶することで、記憶されたビデオ信号にメタデータを埋め込むことができる。このためには、使用するビデオ記憶装置の種類に応じて、ビデオプロセッサ２００によって得られるメタデータがビデオデータに埋め込まれる準備ができるまで、バッファ（図示せず）にビデオフレームの記録を遅らせる必要がある場合もある。これはテープ記憶装置などの線形媒体についてはあり得るが、ディスクベースの記憶装置などのランダムアクセスメディアにはあまり（または全く）必要ないであろう。システムがリアルタイムで動作するためには、ビデオプロセッサ２００がビデオフレームの処理をシングルフレーム期間内に完了するのが望ましいので、例えば、シングルフレームバッファを使用することができる。
【００２４】
記憶されたビデオ信号は、ビデオプロセッサ２００が生成したメタデータを有していても、または有していなくても、出力３Ｄビデオ信号１３０"として再生することができる。
【００２５】
図３の構成では、ビデオプロセッサは、実際のビデオ信号に対して（メタデータをビデオ信号と関連付けること以外）直接的な効果をまだ有していない。しかし、本実施形態は、ビデオプロセッサがビデオ信号を修正することを妨げない。以下に説明する具体的な機能は、ビデオ信号１３０の修正ではなくその解析に関する。
【００２６】
図３において、ユーザは記憶装置２３０に記憶されたビデオ信号の再生を開始することができる。これは、ユーザコントロールが記憶装置２３０と直接相互作用できるという意味では直接的な再生と言え、記憶されたビデオ信号の再生を順々に開始するビデオプロセッサ２００とユーザが相互作用できるという意味では間接的な再生と言える。このような種類の動作の関連性を以下に説明する。
【００２７】
ビデオプロセッサ２００は、適切なソフトウェア制御の下で動作するパーソナルコンピュータなどの汎用のデータ処理マシンとして実装することができる。しかし、本発明の実施形態においては、ビデオプロセッサ２００は、適切なソフトウェア制御の下で動作するＳｏｎｙ（登録商標）ＭＰＥ−２００（商標）立体画像プロセッサとして実装されている。実際のビデオ信号の記憶に関する記憶装置または記憶装置の機能の少なくとも一部は、Ｓｏｎｙ（登録商標）ＳＲＷ−５１００（商標）高解像度立体ビデオテープレコーダによって実装することができる。これら装置の両方とも本願の優先日時点で購入可能である。
【００２８】
図４は、ＭＰＥ−２００ビデオプロセッサおよび関連するハードウェアの構造を示す概略ブロック図である。ビデオプロセッサ２００の動作に関する技術背景を提供するために簡単に説明する。
【００２９】
図４に示すように、ビデオプロセッサ２００は、立体処理装置３００（ＭＰＥ−２００装置として実装してもよい）および制御コンピュータ４００を具備する。
【００３０】
ここで、装置２００または４００のどちらかの動作を制御するソフトウェア、および／またはそのようなソフトウェアを記憶し、または供給する記憶部または他の機械可読媒体を含むコンピュータプログラム製品は、本発明の実施形態を構成すると考えられることが理解されよう。
【００３１】
立体処理装置３００は、（例えば）セル（Cell）プロセッサ３１０を中心に設計し、バス構成により接続されたランダムアクセスメモリ（ＲＡＭ）３２０、専用のビデオランダムアクセスメモリ（ＶＲＡＭ）３４０を有するリアリティシンセサイザーグラフィックスユニット（ＲＳＸ）３３０、および入出力（Ｉ／Ｏ）ブリッジ３５０を具備する。Ｉ／Ｏブリッジ３５０は、周辺構成要素にインタフェースを提供する。周辺構成要素は、高解像度シリアルデジタルインタフェース（ＨＤ−ＳＤＩ）入力３６０およびＨＤ−ＳＤＩ出力３７０、ＲＳ−２３２ＣデータＩ／Ｏポート３８０、１つまたは複数のネットワークインタフェース３９０、不揮発性記憶部４００（例えばハードディスク）、並びにビデオ同期信号入力４１０をなどのビデオ入出力接続を含む。
【００３２】
制御コンピュータ４００は、ネットワークインタフェースおよび制御コンピュータ上の対応するインタフェース（図示せず）を介して立体処理装置３００に接続されている。制御コンピュータは、セルプロセッサではなく従来のパーソナルコンピュータ処理装置を使用する点を除いて、立体処理装置と同様の内部構造を有する。制御コンピュータ４００は、立体処理装置の動作を制御するためのユーザインタフェースを提供し、独自のパーソナルコンピュータフォーマットディスプレイ２１０とユーザコントロール２２０に接続されている。立体処理装置は、ＨＤ−ＳＤＩ出力端子を介して接続された独自のディスプレイを有することもできる。
【００３３】
ＲＳＸユニット３３０は、セルプロセッサ３１０が生成したビデオレンダリングコマンドのリストを処理し描画するＮＶｉｄｉａ（登録商標）Ｇ７０／７１アーキテクチャに基づいたビデオアクセラレータである。
【００３４】
図５に示すように、セルプロセッサ３１０は、４つの基本的な構成要素を含むアーキテクチャを有する。４つの基本的な構成要素は、メモリコントローラ３１２（システムＲＡＭ３２０と相互作用するため）および立体処理装置３００の他の構成要素と相互作用するためのデュアルバスインタフェースコントローラ３１４を具備する外部入出力機構、電力処理要素（ＰＰＥ；Power Processing Element）３１６と呼ばれるメインプロセッサ、相乗演算処理要素（ＳＰＥｓ；Synergistic Processing Elements）３１８Ａ−Ｈと呼ばれる８つのコプロセッサ、および上述の構成要素と接続し要素相互接続バス３２２と呼ばれる円形のデータバスからなる。
【００３５】
ＰＰＥ３１６は、関連する５１２ｋＢレベル２（Ｌ２）キャッシュおよび３２ｋＢレベル１（Ｌ１）キャッシュを有する両方向同時マルチスレッドＰｏｗｅｒＰＣコアに基づいている。ＰＰＥ３１６の主要な役割は、コンピュータの作業負荷のほとんどを処理する相乗演算処理要素３１８Ａ−Ｈのコントローラとして作用することである。動作にあたっては、ＰＰＥ３１６は、相乗演算処理要素３１８Ａ−Ｈのジョブのスケジューリングを行い、その進捗状況を監視してジョブキューを維持する。そのため、各相乗演算処理要素３１８Ａ−Ｈは、ジョブをフェッチして実行しＰＰＥ３１６と同期させる役割を持つカーネルを実行する。
【００３６】
各相乗演算処理要素３１８Ａ−Ｈは、相乗演算処理ユニット（ＳＰＵ）、メモリコントローラ、およびバスインタフェースをそれぞれ具備する。ＳＰＥの内部構造は、図５を明確にするために図示していない。各ＳＰＵは、単一クロックサイクルあたり４個の単精度浮動小数点メンバ、４個の３２ビット数、８個の１６ビット整数、または１６個の８ビット整数で動作することができるＲＩＳＣプロセッサである。同じクロックサイクルでは、メモリ操作を行うこともできる。
【００３７】
ＥＩＢ３２２は、上述のプロセッサ要素と接続するセルプロセッサ３１０の内部にある、論理的には円形の双方向通信バスである。接続された要素は、クロックサイクルあたり８バイトでバスに同時に読み書きできる。
【００３８】
動作にあたっては、ＰＰＥおよびＳＰＥは、ソフトウェア制御の下で動作する。ソフトウェアは、不揮発性記憶部４００から読み出され、および／またはネットワークインタフェース３９０を介して受信され、実行するためにＲＡＭ３２０に記憶される。操作命令および設定を含む制御信号は、制御コンピュータ４００によって供給される。ＰＰＥ３１６はこのような制御信号に応答して、タスクを割り当てて、個々のＳＰＥの動作を制御する。
【００３９】
本発明の実施形態では、立体処理装置は、ビデオを処理できるだけでなく、リアルタイムで映像面に対して陰影を付けたり、明るくしたり、マッピングしたりすることで、３Ｄオブジェクトを操作することができる。しかし、本実施形態においては、立体処理装置は受信した３Ｄビデオ信号の品質を評価するために使用される。ここで、これを実現するための技術について説明する。
【００４０】
図６は、受信した３Ｄ（Ｌ／Ｒ）ビデオ信号に関するビデオプロセッサ２００の動作の概要を示す図である。
【００４１】
ビデオプロセッサ２００は、ダウンサンプラ４８０、奥行き検出器５００、焦点検出器５２０、フレームバイオレーション検出器５４０、および奥行きガイドタイムプロット部５６０として作用する。奥行きガイドタイムプロット部５６０、焦点検出器５２０、およびフレームバイオレーション検出器５４０が生成した出力データは、制御コンピュータ４００によって描画され（ディスプレイ２１０上に）表示される。ビデオプロセッサ２００のこれら機能は、適切なソフトウェア制御の下で動作するセルプロセッサ３１０のＳＰＥによって実装される。これら機能が動作する方法、および解析結果を表示する方法を以下に説明する。
【００４２】
［ダウンサンプリング］
ダウンサンプラ４８０は、単一のＳＰＵを使用して、受信した左右の画像を４分の１のサイズに、例えば受信した１９２０ｘ１０８０ｉのビデオを４８０ｘ１３５のビデオにダウンサンプルする。これにより、次の処理は、ダウンサンプルを行ったビデオに対して、顕著な解析ロスなしに、より効率的に動作することができる。ダウンサンプリングのプロセス自体は従来のものである。
【００４３】
［奥行き解析］
図７は、奥行き検出器５００および奥行きガイドタイムプロット部５６０を示す図である。本発明の実施形態において、これは画像の奥行き指標を生成するために、あるシーンのそれぞれの異なるビューを表す一連のペア画像を含む３Ｄビデオ信号を処理するために機能する。
【００４４】
奥行き検出器５００は、垂直エッジ検出器５０２、ブロックマッチング部５０４、奥行きガイドレンダリング装置５０６、および視差ヒストグラム生成器５０８を具備する。本発明の実施形態において、様々な処理に割り当てられたＳＰＵの数（すなわち、ＳＰＥの数）を丸括弧で示す。
【００４５】
奥行き解析における第１の段階は、左の画像にある垂直エッジの検出である。垂直エッジは、右の画像の垂直エッジと同一であると推定される。エッジの識別のための左の画像の選択は、任意のものであり、右の画像が選択されても構わない。これを実現するため、垂直エッジ検出器５０２は、（ダウンサンプラ４８０が出力する）４分の１のサイズになった画像を８ｘ８のブロックに分解し、垂直ソベルエッジ検出器を使用して各ブロックのエッジを検出する。各ブロックの出力は単一のエッジ位置またはそのブロックではエッジが発見されなかった（すなわち、強いエッジがない）ことの指標を含む。強いエッジが発見された場合、すなわち、エッジが（ａ）垂直であるかまたは垂直に近い（例えば垂直から閾角度内にある）こと、および／または（ｂ）画像ブロック内で明瞭であることが示唆されており、エッジ検出処理が閾値エッジ尤度を超えた場合、上記単一のエッジ位置が出力される。したがって、例えば、垂直から閾角度以上離れたエッジに関しては、それが明瞭であったとしても、エッジが検出されていないと見なすことができる。これら出力は、画像全体におけるエッジ位置のリストに加えられる。
【００４６】
その後、エッジ位置のリストは、ブロックマッチング部５０４（ＳＰＵで再び実行される）に使用される。ブロックマッチング部５０４は、あるペア画像における画像領域と他のペア画像における画像領域とを相関させ、その２つのペア画像間で一致する画像領域の変位を検出する相関器として動作する。ブロックマッチング部５０４は、各検出されたエッジ（上述の基準にしたがって検出されたエッジ）に対して動作し、そのエッジ位置を中心とする４分の１のサイズの左の画像の１６ｘ１６のブロックと、右の画像の周辺エリアの対応するブロックまたは探索エリアとの間の類似性を探索する。
【００４７】
すなわち、ブロックマッチング部５０４は、対応する画像領域間の空間的なオフセットを検出するために、左の画像内で検出されたエッジの周辺の領域と右の画像内の同様または実質的に同一の画像内容の領域とを一致させようとする。しっかりと設定された設備によって製作された３Ｄビデオにおいて、上記空間的なオフセットは、水平方向にのみ存在することが予想される。すなわち、理想的には、２つのカメラ１０５Ｌ、Ｒが、垂直方向の高さが揃うように、（図１に示したような）３Ｄビデオカメラを設定するべきである。これに基づいて、変位の垂直成分は、以下に説明する処理において無視することができる。
【００４８】
ブロックマッチングプロセスは、エッジを含むことが検出されなかったブロックについては、ブロックマッチングを行わない。
【００４９】
対応する画像特徴間の水平方向のオフセット量は、カメラ位置に関連するその特徴の奥行き、すなわち、画像平面に対して垂直なカメラ位置からのその画像特徴までの距離の指標である。カメラが収束するように配列されるカメラ配置において、２台のカメラの画像平面は、平行からわずかにずらされる。そのような場合、奥行きは、部分的に、２つの画像平面に関連する２つの垂直方向の平均を表す方向に存在するカメラ位置からの距離を表すと考えられる。
【００５０】
水平方向のオフセット量は、それ自体では、カメラ位置からの厳密な距離を表すものではない。カメラの水平距離およびカメラの収束角などの他の要因にも関係がある。これら他の要因は、ビデオ信号と関連するメタデータにおいて定義できるが、左右の画像からのみでは検出することができない。しかし、絶対距離の算出のためにさらなる情報が必要だとしても、水平距離および収束角が一定のままだった場合（これは大いにあり得ることだが）、水平補正は３Ｄカメラからの距離の有用な質的指標となる。これを考慮して、説明を簡単にするために、本実施形態では、「奥行き」という用語は、２つの画像の水平方向のオフセット量のみに依存する量を示す用語として使用する。したがって、「奥行き」量は、コンテンツをキャプチャした際のカメラからの実際の物理的距離ではなく、画像を見たときの視聴者による奥行きの知覚と関連する。画像を見た際、奥行きはオブジェクトが位置しているように見える画面から手前の距離または背後の距離の量である。この量は視聴者の表示画面のサイズに部分的に依存している。
【００５１】
右の画像の探索エリアは、元の位置の周辺±４８画素および±３ライン、すなわち、左の画像内で検出されたエッジ位置に対応する、右の画像における位置の周辺領域である。ブロックマッチングプロセスは、周知の「絶対差の和」（ＳＡＤ）技術を使って、右の画像内で最も近い適合位置を探索する。すなわち、左の画像の１６×１６ブロックにおける対応する画素と右の画像の１６×１６試験ブロックにおける対応する画素間の絶対差が合計され、このような合計値の中で最も低い合計値を生じさせる（右の画像の）ブロック位置が、左右の画像間の画像内容が最も適合する位置を表すものと見なされる。
【００５２】
ＳＡＤ解析を用いたブロックマッチングに関する周知の問題は、特に、右の画像の探索エリアに繰り返しパターンが含まれている場合に、いわゆるエイリアシングが発生することである。繰り返しパターンがあるとＳＡＤデータ間で複数の最小値が検出されることがあり、その結果、水平方向のオフセット量が曖昧になる可能性がある。この潜在的な問題を解決するために、画像に繰り返しパターンがあることを示すブロックマッチングの結果においてＳＡＤの複数の最小値が検出されたことに基づいて、各ブロックマッチングの結果毎に「エイリアシングの可能性」も算出する。単一の「極小値」または第一次極小値が存在するかもしれないが、他の最小値が、（ａ）極小である場合、及び、（ｂ）（オプションとして）対象ブロックについて、ブロック位置において第一次極小値から少なくとも所定の距離離れている場合、当該他の最小値が検出される。エイリアシングの可能性が高いことを示す結果（すなわちブロックマッチングプロセスによりＳＡＤの複数の最小値が生成された結果）は、奥行き結果から除外される。
【００５３】
一致が発見されたブロックの数に等しい「範囲推定値」は、ブロックの総数で除算されて、生成される。これは、ブロックマッチングデータにおける信頼の程度を示す。
【００５４】
ブロックマッチング部によって検出された水平オフセット量は、奥行きガイドレンダリング部５０６に渡される。当該奥行きガイドレンダリング部５０６は、平面（アルファ値０）テクスチャバッファに色付きの奥行きマーカを描画するもう１つのＳＰＵプロセスとして動作する。当該奥行きマーカーは、さらにビデオ信号の解析ディスプレイにオーバーレイとして描画され、ユーザが設定した「奥行き量」を超えた点を示すことができる。あるいは、測定した全ての視差を描画することができ、これは左右の入力が正しい順であることをチェックするのに有用である。
【００５５】
３Ｄビデオディスプレイの奥行きを視聴者が正確に心地よく知覚できるかどうかは、いくつかの要因によって決まる。しかし、本装置による解析に役立つ重要な要因の１つとして、画像における奥行き値（すなわち、検出された水平オフセット量）が、ビデオ製作者が設定した奥行き量の範囲内にあるかどうかという要因が挙げられる。典型的には、奥行き量は＋３％とすることができる。すなわち、左右の画像内の対応する特徴間の水平オフセット量の絶対値は、画像の水平サイズの３％を決して超えるべきではない。
【００５６】
図８はこれらの概念を示す図であり、また便利な方法で、奥行きガイドレンダリング装置５０６がビデオプロセッサ２００のオペレータに（画像の奥行きの指標を表す）奥行き値を示す手段を概略的に示している。
【００５７】
図８は、ディスプレイ２１０などの２次元ディスプレイ上に表示するために描画された３Ｄ画像を示す図である。描画プロセスは、左右の画像を組み合わせる。左右の画像はそれぞれ異なる位置からキャプチャされるので、カメラ位置からの対応する画像特徴の距離に応じて、レンダリング画像内の異なる位置において異なる量の水平オフセット量が存在する。図８に示すレンダリング画像は、画像解析システムの一部として提供されるので、そのような水平オフセットをマスクしようとするのではなく、示すのが望ましい。
【００５８】
水平オフセットにより多くの画像特徴が二重像として出現するので、左右の画像を単純に組み合わせる（例えば、それぞれ５０％ずつ）ことで、２Ｄレンダリング画像が生成される。しかしこの２Ｄレンダリング画像の評価は難しい。そのような単純な組み合わせからは、そのような二重像のどの部分が左の画像に由来し、どの部分が右の画像に由来するのかは明らかでないであろう。したがって、レンダリング画像をユーザにとって明確にするために、カラー表示を採用する。
【００５９】
特に、３Ｄ画像は、２Ｄ表示画像が
Ｒｏｕｔ＝ＲＬ；Ｇｏｕｔ＝ＧＲ；Ｂｏｕｔ＝ＢＲ
を含むように、レッド／シアンのアナグリフとして描画されて、表示される。ここで、Ｒ、Ｇ、Ｂはそれぞれ、レッド、グリーン、ブルーの成分を表し、下付き文字「ｏｕｔ」は表示用の値、下付き文字ＬおよびＲはそれぞれ左の画像および右の画像の成分を示す。
【００６０】
このカラー表示は、（ａ）２つの画像（ＬおよびＲ）がディスプレイ上で容易に区別できること、および（ｂ）ユーザが水平オフセットの方向を簡単に判断できることを意味する。３Ｄカメラである左右のカメラのカメラ軸が収束する点にオブジェクトがある場合、水平オフセットは存在しないので、オブジェクトは色の付いたオブジェクトとして正確に描画されて出現する。オブジェクトが３Ｄカメラから収束点よりも離れている場合、右の画像の右側、および左の画像の左側にずれて出現する。したがって、シアン境界を右側に、レッド境界を左側に有することになる。オブジェクトが３Ｄカメラから収束点よりも近い場合、右の画像の左側、および左の画像の右側にずれて出現する。したがってオブジェクトは、レッド境界を右側に、シアン境界を左側に有することになる。実際の色は画像の前景または背景がより明るいか否かによって決まるが、本実施形態の目的のために、使用されるカラー表示は標準のレッド／シアンのアナグリフと同一である。したがって、これら状況をカラー表示により容易に区別できる。もちろん、これは２つの３Ｄ画像を単一の２Ｄ画像として表示するフォーマットの１つの例に過ぎない。２つの画像を単純に５０：５０の比率で融合するなど、他のフォーマットも利用することができる。その目的は、エラーマーカまたは品質マーカ（以下参照）を表示またはオーバーレイすることができる土台を生成するために、３Ｄ素材を２Ｄ表示することである。
【００６１】
図８は、モノクロの特許図面であるので、シェーディングを利用してこれら着色境界を示している。実際の画像では、着色境界の効果は、もちろん、左右のカメラの収束点に位置するオブジェクトを表す画像特徴以外の、全ての画像特徴に適用される。しかし、図を明確にするために、図８の全てのオブジェクトに注釈を付けて着色境界を示しているわけではない。特に、前方にいる人６００、後方にいる人６１０、およびボール６２０についてのみ、注釈を付けている。シェーディングは、人６００およびボール６２０が３Ｄカメラの収束点６３０の前方に位置し、一方、人６１０は収束点６３０の後方に位置することを示す。
【００６２】
奥行きガイドレンダリング装置５０６は、このタイプの画像の奥行き情報を描画する。上述のように、奥行きガイドレンダリング装置５０６は、空白画像、すなわちアルファ値が０の画像を含むテクスチャ（または画像）バッファに奥行きガイド情報を描画することでこれを実現する。アルファ値は関連する画像の透明度を決定し、０は完全透明を表す。したがって、アルファ値が０の画像領域を他の画像と組み合わせても、他の画像に対して何の効果も持たない。奥行きマーカが例えばアルファ値０．５（透明度５０％）など０ではないアルファ値を有するような方法で奥行きマーカが、このアルファ値０の背景に描画されるので、奥行きガイドレンダリング装置の出力および２Ｄレンダリング画像の組み合わせの上に奥行きマーカが描画されても、下にある２Ｄレンダリング画像を完全に覆い隠すことはない。
【００６３】
一実施形態において、奥行きガイドレンダリング装置は、検出された水平オフセット値の絶対値が、設定奥行き量（ユーザコントロール２２０を利用してオペレータが予め定め、または設定することができる）よりも大きい場合、画像領域に関する指標のみを生成する。そのような指標の使用の例を図９に概略的に示す。図９は図８のボール６２０のみを示すが、（図を明確にするために）ボールの模様は示していない。ボールは３Ｄカメラに最も近いオブジェクトであり、左右の画像間で検出されたその水平オフセット値は、このビデオ信号のために設定された奥行き量を超えている。このことを示すために、奥行きガイドレンダリング装置５０６によってマーカ６４０、６５０が描画され、奥行き量を超えた位置を示している。なお、マーカはボールの形状の垂直特徴に沿って示されている。ボールの特徴の多くは垂直エッジよりも水平に近いので、垂直エッジ検出器が使用する許容値に応じて、ボールの形状の一部だけがエッジを含んでいるとして検出される場合がある。本発明の実施例では、垂直に近い直線区間を有するボールの輪郭の部分だけが、垂直エッジを有するとして検出される。本発明の実施形態では、垂直エッジが検出されたこれら位置のみが次の処理（ブロックマッチングおよび奥行きガイドレンダリング）に渡されるので、奥行き量警告マーカはそのような位置で生成される。
【００６４】
上述のように、奥行きガイド指標は、垂直エッジが連続して検出される全ての画像位置に関して、奥行きガイドレンダリング装置によって生成される。その位置で検出された奥行き（すなわち、水平オフセット値）を示すために、指標を（例えば）色分けすることができる。色分けは奥行き値に基づいて行うことができるので、奥行き値の符号とは無関係に色分けされてもよいし、正の水平オフセット値と負の水平オフセット値で異なる色分けがなされてもよい。色分けは一群の奥行き値に基づいて行うことができる。例えば、奥行き値が画像の幅の２％未満の場合は第１の色、奥行き値が画像の幅の２〜５％の場合は第２の色、奥行き値が画像の幅の５％を超えた場合は第３の色とすることができる。あるいは、（例えば）奥行き値０を緑の指標で表し、奥行き値が負になるほど指標の色が徐々に黄色、それから赤くなるように、色の変更を段階的に行うことができる。そのような一連の色の変動の例を（モノクロの図面によって与えられた制限内で）図１０に示す。
【００６５】
奥行き値の符号が示されている場合、例えば、オブジェクトがカメラに収束点よりも近いことを示す奥行き値が負の奥行き値であり、オブジェクトがカメラに収束点よりも遠いことを示す奥行き値が正の奥行き値であるとみなされるように、ルールが適用される。しかし、これは単なるルールに過ぎず、他の極性を利用して奥行き値を表すこともできる。
【００６６】
したがって、図９の図面に関して図１０のカラー表示を利用すると、ボール６２０はカメラに収束点よりも近いので、奥行き値は負であると考えられる。したがって、マーカ６４０、６５０は、奥行き値に応じて、両方とも黄色または赤となる。
【００６７】
なお、実施形態によっては、図１０に記載されたタイプの色分けを、上記設定奥行き量によって決めることができる。したがって、例えば、緑と黄色の間の境界を、ほぼ設定奥行き量のレベル（この例では−３％）で位置させ、さらなる色の変化が起こる第２のより高い閾値（図１０の例では±４％）をユーザが設定できるように構成することができる。したがって、ユーザが設定奥行き量および１つまたは複数の他の閾値を設定し、一般的に重要な色の変化が閾値と同調するように、奥行き値に対して図１０と同様の色の変動をシステムがマッピングする。もちろん、色の変動は図１０においては連続的なので、ある色と隣の色との間に単一のはっきりとした境界はない。しかし、ここで説明するように、色が主にある色から主に他の色に変わる概念上の境界を得て、設定奥行き量および他の閾値に対して位置させることができる。
【００６８】
ブロックマッチング部が（画像全体において）測定した水平オフセット値も組み合わせて、視差ヒストグラム生成器５０８により、水平視差ヒストグラムを構成する。ヒストグラム生成には、沿う礼される各オフセット値または「ビン」毎に水平オフセット値をカウントすることが含まれる。ビンはブロックマッチング部が検出した画素オフセット値（検出された変位）にしたがって並び替えられる。すなわち、−４８から＋４８画素までのオフセット値間にある９７のビンが提供される。なお、これら画素のオフセット値は、処理された４分の１のサイズの画像の画素に関して得られ、（ａ）問題となる画像の画素の幅で除算し、（ｂ）１００で乗算することで、容易に奥行き値のパーセンテージに変換することができる。なお、ビンがより少なくなるように構成することができるが、各ビンは様々な画素のオフセット値を含む。例えば、ビンの幅は数画素とすることができる。したがって、各ビンは、１つまたは複数の変位値を表す。
【００６９】
ヒストグラムデータの色は、図１０で記載したスキームと同一の色分けスキームを利用して、割り当てられている。なお、図１０は、奥行き値のパーセンテージで目盛りを付けている。一方、ビンは画素のオフセット値によって構成できるが、上述のように、容易に他のビンに変換することができる。
【００７０】
色分けされたヒストグラムの概略的な例を図１１に示す。ヒストグラムは画素のオフセット値ではなく奥行き値にしたがって表示されている。図１０の色分けスキームを採用し、実際、水平（ビン）軸の表示の一部として表示されている。任意の水平位置におけるヒストグラムの垂直範囲は、その奥行き値における対応するビンの母集団を示す。陰影付きの領域６６０は、水平位置に関連する色にしたがって色付けされている。したがって、陰影付きの領域６６０内では、水平位置により図１０の色分けスキームにしたがって色が変化する。しかし、垂直位置にしたがって色は変化しない。
【００７１】
図１０のヒストグラムは、ビデオ信号の各一連の画像毎に更新される。ヒストグラムの表示も、各画像区間において更新される。
【００７２】
奥行きガイドタイムプロット部５６０は、視差ヒストグラムの新しい履歴を記憶して、表示する。そのような履歴表示の概略的な例を図１２に示す。この表示は図１１の表示と同じ画面上に同時に示すことができる。
【００７３】
時間は垂直軸で表され、現在の時刻までの時間の経過は、表示の底部からの距離が増えることで表される。表示は行７００、７１０…によって分割される。説明のために、行の境界（水平線）を図１２に示す。ただし、これら境界は実際の表示画面には表示されない。
【００７４】
表示の最終行７００を使用して、現在の画像（例えば、現在のフレーム）で得られた奥行きヒストグラムを表示する。表示は狭い行に限定されているので、図１０と同一の方法でヒストグラムのこの側面を表すのは難しい。したがって、その代わりに、ビンまたは奥行き値と関連する色を有する対応する表示点の輝度または明度によって、ヒストグラムの高さ、またはビン占有率を表す。したがって、高さは表示輝度によって表すことができる。変位値は、表示位置によって、または表示点の色によって、あるいはその両方によって表すことができる。これは、その位置におけるヒストグラムの高さによって決まる行に沿った位置と関連付けて、上記アルファ値（透明度）を設定することで実現され、アルファ値はヒストグラムの高さが大きいほど大きくなる（透明度が低くなり、より不透明になる）。その行における表示可能点は、表示可能点の連結線を表すことができる。行７００の上に、過去のヒストグラムの各行に関する同様の行を表示する（図１２には図示せず）。
【００７５】
各新たな画像が処理されると、それまで表示されていたのヒストグラム行７００が次に高い位置である７１０に移動され、新しい現在のヒストグラムが現在のペアの表示位置、すなわち行７００に描画されるように、グラフィック描写が再描画される。時間順に並んだ多数の表示点からなる直線が構成され、各直線はペア画像の時間順におけるそれぞれのペア画像のヒストグラム表示に対応する。一般的に言うと、新しい行７００が利用できる場合、表示の一番上にあり廃棄される行を除いて、表示全体の各行は１行だけ上に移動する。これにより、ビデオ信号の画像率によって乗算された行の数に等しい期間におけるヒストグラムデータの表示履歴が提供される。その結果、奥行きデータにおける傾向を、パターン７２０などの垂直に表示されたパターンとして観察することができる。
【００７６】
これを実現するため、奥行きガイドタイムプロット部５６０は、最も新しいｎ個のヒストグラムを記憶するためのバッファメモリを具備する。ｎは図１２のディスプレイに表示することができる行の数である。奥行きガイドタイムプロット部は、記憶されたヒストグラムを一連の行としてディスプレイに描画するための論理回路も具備する。
【００７７】
上記表示履歴は、３Ｄ素材の品質を定義するメタデータを記憶装置２３０に記憶することができる。これは、ビデオプロセッサ２００が記憶装置２３０の再生コントロールを有する図３の実施形態における使用にも適している。例えば、ビデオプロセッサのオペレータが図１２の途切れ７２２などの過去の奥行きデータの途切れに気付いた場合、オペレータは記憶装置２３０に（ユーザコントロール２２０を介して）途切れ周辺のビデオの部分、例えば、途切れの２秒前から途切れの２秒後までの部分を再生するよう指示することができる。オペレータはこれを、例えば、奥行きデータ表示履歴の領域内における所望の一時的な再生位置でマウスコントロールをダブルクリックすることにより行うことができる。したがって、ビデオプロセッサは、１つまたは複数のグラフィック描写のユーザ選択に応答して、記憶されたバージョンの３Ｄビデオ信号の再生を制御するための再生コントローラを提供することができる。
【００７８】
より一般的には、図３の構成を利用して、受信した３Ｄビデオに関する品質情報を取得することができ、オペレータは品質データ、および、必要に応じて添付のビデオ素材を後でレビューすることができる。オペレータは手動で再生位置を選択することができる。また、ビデオプロセッサは、記憶された品質データを自動的にレビューし、例えば記憶された任意のデータ値における途切れ、許容限界を超えた偏位（例えば１０％などの「警告」閾値を超えた奥行き値の偏位）などがある位置をオペレータのレビューのために選択することができる。
【００７９】
したがって、奥行きガイドレンダリング装置５０６は、ペア画像における様々な変位値に関して、変位の分布のグラフィック描写を生成するグラフィックス生成器として作用する。奥行きガイドタイムプロット部５６０は、変位の分布における時間ベースの変動の表示を提供するように、現在のペアの表示位置において画像の現在のペアに関するグラフィック描写および他の表示位置における複数の先行するペア画像に関するグラフィック描写を生成するための表示生成器として作用する。本発明の実施形態において、グラフィックス生成器が作用した変位データは、検出された画像変位の水平成分のみを含む。
【００８０】
［フレーム（エッジ）バイオレーション］
フレーム（エッジ）バイオレーション検出プロセスの目的は、画像の左右のエッジにあるオブジェクトが画面の前方にあるかどうか決定することである。
【００８１】
３Ｄテレビにおいては、負の視差を有するオブジェクト（すなわち、３Ｄ表示によって表示画面の平面の前方にあるように表示されるオブジェクト）がカメラから消える、すなわち表示を離れる際に、潜在的な問題が生じる可能性がある。オブジェクトが片方の眼の画像からもう片方の眼の画像より先に離れることからこの問題は起こり得る。この構成は実際の生活では起こらないので、それをディスプレイ上で見ると、３Ｄシーンを見ているという視聴者の錯覚が途切れてしまう。特に、オブジェクトが画面をゆっくり離れて一方あるいはもう一方に移動する場合が問題である。
【００８２】
オブジェクトが画面の前方に出現するかどうかという問題は、カメラの収束点に関するオブジェクトの位置に依存する。したがって、１つの解決法として、視界に入る全てのオブジェクトが画面の後方に来るように収束点を変えることが挙げられる。他の解決法としては、どちらかの眼から見えるオブジェクトを除去するように左右の画像をトリミングすることが挙げられる。しかし、これは画像の芸術的な安定性に重大で好ましくない影響を及ぼす可能性がある。第３の技術は、その画像におけるオブジェクトの存在を減らして、他の画像と一致するように１つの画像のみをトリミングすることである。これは「フローティングウィンドウ」または「フローティングクロップ」を画像に追加する技術として周知である。フローティングウィンドウでは、左右の画像のエッジが劇的にトリミングされる。これに基づいて、オブジェクトが画面のエッジ上に、またはエッジ近くに位置する。この機能における一時的なフローティングウィンドウの有用性は、慎重に実行すれば、ユーザはその存在に気付かない可能性が高いことである。
【００８３】
すなわち、適切なフローティングウィンドウが適用されないが、オブジェクトが画像の左右のエッジの近くにあり、かつ画面平面の前方にある場合、画像は片方の眼には不自然に途切れた状態で出現する可能性がある。例えば、画像の左端における画面の前方にあるオブジェクトは、右眼には途切れた状態で出現する。これは、オブジェクトが画面の周りのウィンドウの後方にあるかのように、右眼が左眼よりもオブジェクトをより多く見ようとするからである。説明したように、シーンにおいて、このようにオブジェクトが明らかに不正確に途切れてしまうと、視聴者が不快感を引き起こし、３Ｄ錯覚が途切れてしまう可能性がある。
【００８４】
画面の前方にあり、かつ画像の左右の端に位置するオブジェクトを「フレームバイオレーション」と呼ぶ。
【００８５】
図１３は、表示画面８１０に表示された３Ｄ画像に関連して、視聴者の左右の眼のビューを示す図である。画面８１０の前方（画面８１０よりも視聴者に近い位置）にある、３Ｄシステムによって表示される２つのオブジェクト８２０の例を示す。図１４の上の行は、そのようなオブジェクトに対する左右の眼のビューを示す図である。視聴者はオブジェクトが不正確にトリミングされた、すなわち、「間違った」眼用にトリミングされたと感じる。この理由の一部として、３Ｄ表示の錯覚は、表示画面は３Ｄ世界への窓を表しているというユーザの認識に依存していることが挙げられる。本物の窓はオブジェクトをその背後で期待された通りにトリミングするが、図１４の上の行に示すような不正確なトリミングを行うことはない。これに対して、図１４の下の行は、許容されるトリミングを示す図である。この場合、オブジェクトがフレームのエッジ上に位置しているが、表示画面８１０の平面の背後に位置している。
【００８６】
したがって、本発明の実施形態は、あるシーンに対する左右の眼のビューを表す３Ｄペア画像を処理するためのフレームバイオレーション検出器５４０を具備する画像解析装置を提供する。
【００８７】
図１５は、フレームバイオレーション検出器５４０をより詳細に示す図である。フレームバイオレーション検出器５４０は、フローティングウィンドウ検出器８３０、ブロックマッチング部８４０、右のブロックマッチング部８５０、および比較器８６０を具備する。図１５は、左端におけるフレームバイオレーションの検出のために使用される機能を表す。右端におけるフレームバイオレーションの検出には全く同じ技術を利用する（右と左は交換される）が、図を明確にするため、左端の検出のみを示す。
【００８８】
画面の端におけるフレームバイオレーションを検出するために、画像の左右の端上の１６ｘ１６画素のブロックの２列だけを処理して、画像をブロックに分割する。左のブロックマッチング部８４０は、右の画像内における（左の画像の各端の２列内で）左の画像の各ブロックを探索する。右のブロックマッチング部８５０は、左の画像内における（右の画像の各端の２列内で）右の画像の各ブロックを探索する。画像端からのブロックの２列の領域内の検出は、端からの閾値距離（この例では３２画素）内での検出を表す。また、他の閾値距離を代わりに利用することもできる。本発明の実施例では、閾値距離は両方の端において同一であるが、必要に応じて異なるものとすることができる。
【００８９】
左側の端では、左の画像ブロックが右側の画像内で発見されれば、フレームバイオレーションはない。しかし、右の画像ブロックが左の画像内で発見されたが（右の画像内の位置よりもさらに右）、左の画像ブロックが右の画像内で発見されなかった場合、フレームバイオレーションが発生する。
【００９０】
これに対応するテストが、画像の右の端にも適応される。
【００９１】
左の画像の左の端の（３２画素などの）閾値距離内の画像特徴が右の画像で発見されない場合、または右の画像の右の端の閾値距離内の画像特徴が左の画像で発見されない場合、フレームバイオレーションが存在するとして検出されるので、試験を要約することができる。
【００９２】
しかし、フローティングウィンドウがすでに入力ビデオ上に存在する場合、フレームバイオレーションを検出する処理は画像の新しい端のみにおいて始めるべきである。すなわち、フレームバイオレーションの検出は、任意に検出された画像トリミング（フローティングウィンドウ）を除いて、画像の領域内で発生する。すなわち、試験される画素ブロックの２列は、フローティングウィンドウの内部の端、すなわち、フローティングウィンドウによってトリミングされていない画素の第１の列において開始するように配列されるべきである。したがって、閾値距離は検出されたフローティングウィンドウの内部端（からの測定値）で始まる。
【００９３】
フローティングウィンドウが以前に正確に画像に適用されていれば、通常は、フレームバイオレーションは発生しない。しかし、たとえフローティングウィンドウが適用されても、例えば、フローティングウィンドウがフレームバイオレーションをマスクするのに十分に大きくない場合、フレームバイオレーションが検出される可能性は依然としてある。
【００９４】
したがって、フレームバイオレーション検出器５４０は、画像の左側および右側の端においてブラックビデオの存在を検出し、ブラックビデオが検出された場合、その幅を測定するフローティングウィンドウ検出器が提供する（左の画像の左端上および右の画像の右端上の）フローティングウィンドウを検出する前処理ステップによって、１つの画像または両方の画像の側面（左または右の）端における画像トリミングを検出する画像トリミング検出器を提供する。なお、フローティングウィンドウは、通常、ブラックであり、画像の側面端に対して垂直であるように構成され、画像の高さを完全に超えると仮定される。しかし、ブラックの代わりに単純に同一の色にすることができる。これにより、画像トリミングの検出プロセスは、１つ画像の側面端における画像の高さを占める同一の色の一部の存在を検出することができる。暗い色を使用することが多い。０から４のフローティングウィンドウを、ペア画像に関して検出することができる（その４つは２つの画像の各側面端におけるフローティングウィンドウである）。２つ以上の隣接するフローティングウィンドウが特定の端、例えば、複数の隣接する領域において検出された場合、各同一の色（であるが異なる色）、画像の高さ、システムは、複数の領域の幅を組み合わせた単一の複合フローティングウィンドウとしてそれらを処理する。
【００９５】
例えば、左の画像の左側の端上で３画素の幅のフローティングウィンドウが検出された場合、フレームバイオレーションを検出するための（左のブロックマッチング部８４０および右のブロックマッチング部８５０による）画像の左の端上の処理は、画像の下の端から３画素内から始まる。
【００９６】
フレームバイオレーションが検出された場合、検出された各フレームバイオレーションの画像に関連する位置を表す指標を示すように、本装置によって画像の表示を拡張することができる。例えば、ビデオ出力に重ね合わせてフレームバイオレーションの存在や位置を示すことができるテクスチャバッファ（背景：アルファ値０のブラック）に矢印または他のマーカを描画することができる。すなわち、奥行きガイドレンダリング装置が警告マーカを画像に導入して表示画面２１０に表示させるために使用する技術と同じ技術を利用することができる。カメラの収束点の前方において、キャプチャした画像の端の位置で飛んでいる鳥に関して、このような警告マーカの例８７０を図８に概略的に示す。
【００９７】
上述のように、フレームバイオレーションの検出処理は、各端を処理するための単一のＳＰＵ（したがって全部で２つのＳＰＵ）を利用して４分の１のサイズのビデオに対して行う。
【００９８】
［焦点ミスマッチの検出］
本発明の実施形態は、画像解析を利用して左右の画像間の焦点における任意の差異を検出し、ユーザに警告する焦点ミスマッチの警告機能を提供する。このアルゴリズムは焦点レベルで全体のミスマッチを検出しようとし、焦点にミスマッチがあるかもしれない画像の具体的な領域を検出して表示する奥行き検出器５００のブロックマッチング部５０４によって得られるデータを使用し続ける。以下で実装されているアルゴリズムは、画像を処理して画像の複数のブロックに関してそれぞれの局所焦点推定値を検出し、局所焦点推定値を組み合わせて画像焦点の指標を生成する焦点検出器を具備する、画像焦点の指標を生成するための画像解析装置の動作を表す。
【００９９】
全体的な焦点ミスマッチ検出プロセスは、画像全体に焦点が合っているかどうかに関係なく、シーン全体における焦点のミスマッチを検出することを意図している。このようにして、フィールドの奥行き効果や芸術的なピンぼけの原因となる。しかし、少なくとも１つの画像に実質的に焦点が合っている場合、焦点ミスマッチに対する感受性はより大きくなる。
【０１００】
局所焦点ミスマッチの検出は、それぞれのブロックのうちいくつか、または各ブロックの周りにある１群の画素における画像コントラストを検出することによって局所焦点の推定値を検出する。本発明の実施形態において、独立して生成された水平オフセットデータを使用して左右の画像の対応する局所領域の焦点を比較することができる。ミスマッチの具体的な位置は、このようにしてユーザに示される。しかし、ブロックマッチングプロセスのみが１つの画像（本実施形態における左の画像）で発見された垂直エッジの位置において水平オフセット情報を生成するので、局所焦点ミスマッチの警告は、画像に焦点がよく合っている位置においてのみ生成される。
【０１０１】
図１６に、焦点検出器５２０を概略的に示す。
【０１０２】
焦点検出器５２０への入力は、４分の１のサイズのフォーマットにおける左の画像（９００）および右（９１０）の画像、および左右のペア画像に関してブロックマッチング部５０４によって生成された画素のオフセット値のデータである。
【０１０３】
左右の画像は、ＳＰＵ処理として動作し、左右の画像のコントラストマップを生成するそれぞれのコントラストマップ生成器に渡される。そのために、実施形態の１例として、１群の画素、例えば、３ｘ３ウィンドウなどの正方形の画素アレイが、画像内の全ての可能な位置に配置される。また、各点におけるコントラストはウィンドウ内の画素の最大輝度（明度）値−ウィンドウ内の画素の最小輝度（明度）値であると推定される。これは８ビット表示で０〜２５５の値として表現される。本発明の実施形態において、その１群は、それぞれのブロックの周りに位置することができるので、本発明の実施例において、（コントラスト値が関連する）ウィンドウ位置に関する画素または点は、例えば、３ｘ３ウィンドウの中心画素に位置することができる。
【０１０４】
全平均演算／比較器９５０は、左右それぞれの平均値を生成するために、左右の画像の全体のコントラストの平均値を得る。左右の平均値の差異が算出され、左右の画像の全体の焦点の差異の指標として使用される。全平均演算／比較器９５０は、左右の画像の焦点に重大な差異があると決定するために差異値を閾値と比較する。焦点における重大な差異があることは、適切なユーザ表示によってユーザに示すことができる。画像に関連するメタデータに記録することも可能である。
【０１０５】
図１７は、左右の画像の例およびその対応するコントラストマップを示す図である。本装置は、各画像に関する（全体平均などの）焦点の指標を検出し、ペア画像が同程度の焦点を有するかどうかを検出するために焦点の指標を比較する。図に示す例において、左の画像は右の画像よりも焦点が合っているので、コントラストマップのために生成された値はわずかに異なる。平均コントラストも２つのコントラストマップ間で異なる。
【０１０６】
焦点検出器５２０の動作の一部を構成し、図１６に局所のコントラスト平均比較器として記載されている局所の焦点警告プロセスは、ブロックマッチング部５０４が生成した水平オフセット値のデータを使用して、左右の画像の対応する小領域間の焦点を比較することができる。特に、焦点検出器はペア画像の対応する領域の局所焦点の推定値間の差異を検出するように構成することができる。上述のように、焦点検出は、ペア画像における画像特徴間の変位を示す（水平オフセット値のデータなどの）変位データに応答することができる。焦点検出器はペア画像の対応する領域の選択における変位データを適用するように構成される。
【０１０７】
したがって、焦点検出プロセスは、各ペア画像のブロック内の画像コントラストを検出するコントラスト検出器、およびペア画像のそれぞれの領域間のコントラストの差異を検出するコントラスト差検出器を利用する。それぞれの領域は、上述のブロックマッチングプロセスで検出された変位に応答して、比較のために選択される。
【０１０８】
なお、ブロックマッチング部５０４は、左の画像において垂直エッジが検出された画像のこれら小領域上でのみ動作する。すなわち、コントラスト差検出プロセスは、エッジ検出器によってエッジが検出されない画像領域に関するコントラスト差を検出しないように構成される。
【０１０９】
また、ブロックマッチング部５０４は水平オフセット値を得ようとするが、おそらくＳＡＤデータにおいてエイリアシングが検出されることが原因で、水平オフセット値を得ることができない領域も存在する可能性がある。したがって、画像領域の中には関連する水平オフセット値のデータを有する領域もあれば、関連する水平オフセット値のデータを有しない領域もあるので、ブロックマッチング部５０４が出力するデータは少ない。
【０１１０】
左右の画像はインタレースビデオのために６４ｘ６０画素、または６４ｘ３０画素の固定された格子に分割されると考えられる。この格子内の位置を格子位置と呼ぶ。格子のそのような各ブロック内の水平オフセット値（があれば、それ）は、そのブロックの水平視差の単一の平均推定値へと組み合わせられる。ブロック内に水平オフセット値が発見されなければ、そのブロックは無視される。
【０１１１】
図１８に関して、ブロックマッチング部５０４によって水平オフセット値のデータが連続して入手された画像位置を示す小さな四角いアイコン１０１０とともに画像例１０００が示されている。説明を明らかにするために、画像１０００の小領域を拡大図１０２０として示す。
【０１１２】
プロセスの次の部分は、各格子位置のために行われる。格子位置に関する左のコントラストマップ１０３０、および格子位置からの（格子位置に適用可能である）平均水平視差による位置補正のための右のコントラストマップ１０４０がアクセスを受ける。コントラストマップの２つのサブ領域の平均コントラストは、それぞれ左の平均演算部１０５０、および右の平均演算部１０６０によって算出される。減算器１０７０は、一方からもう一方を減算し、絶対差として表現可能な差分を得る。
【０１１３】
比較器１０８０により差分を閾値と比較して、格子位置（すなわち、本実施形態の左のコントラストマップ１０３０に関して使用される格子位置）に関する局所の焦点エラーが存在するかどうかを決定することができる。（減算器１０７０の出力における）差異は、元のブロックマッチングプロセスにおけるエラーを受けやすいので、局所の焦点差異を検出するための閾値は、全体の焦点差異の１０倍である必要がある。局所の焦点差異が検出された領域を、例えば、赤枠で囲むことにより画面上で目立たせることができる。図８において、そのような枠の例を枠１１００として示す。
【技術分野】
【０００１】
本発明は、３次元（３Ｄ）ビデオ素材を解析するための画像解析装置、画像解析方法及びプログラムに関する。
【背景技術】
【０００２】
３次元テレビは、近年、消費者にも利用できるようになり、３Ｄ機器や３Ｄ番組制作の量が急速に増加すると予想される。
【０００３】
３Ｄテレビは両眼視差方式に依存し、それにより、一定の距離、例えば、典型的にはユーザの両眼の間隔分だけ水平にずらした（すなわち、実質的に水平画像方向にある）それぞれのカメラによりペア画像がキャプチャされる。したがって、ペア画像は、同じシーンのわずかに異なるビューを表している。一般的に、ペア画像は（おそらく画像の末端は除いて）同じシーン内において同じアイテムを含んでいるが、その２つの画像間におけるアイテムの相対位置は、カメラのアライメントや、そのアイテムのカメラ装置からの距離などの要因に依存する。
【０００４】
画像が表示される際、重要なのは、ユーザがそれぞれの眼で（少なくとも主に）ペア画像のうちの１つの画像を見ることである。実際にはこれは、偏光眼鏡やシャッタ眼鏡（時分割方式）、またはカラーフィルタ付き眼鏡をユーザが装着する方法、あるいは、２つの画像のそれぞれを視聴者の眼のそれぞれの位置に向ける特別なレンズ装置をテレビ画面自体に備えさせる方法など、様々な方法で実現される。これらの中でも、カラーフィルタ技術は、３Ｄ映画の初期の試みでは一般的であったが、３Ｄテレビ技術では一般的に使用されていない。
【０００５】
３Ｄカメラシステムに話を戻すと、各ペア画像は、独自のレンズと画像キャプチャ装置（例えばＣＣＤ装置）を有する独立したカメラによってキャプチャされる。しかし、視聴者の３Ｄ錯覚を維持するために、重要なのは、各ペア画像を構成する２つの画像が画像キャプチャ特性に関して厳密に適合していることである。専門的なビデオカメラのカメラマンは、調整可能な様々なパラメータを利用できるが、現在のシーンのために様々なパラメータを正確に設定する必要があるだけでなく、３Ｄカメラ装置を構成する２台のカメラが同一の画像特性を有する画像を生成する必要があるため、３Ｄカメラ装置を設定する作業は従来の（単一の）ビデオカメラを設定する作業よりもかなり難しい。国産のビデオカメラの場合、ユーザが行うことができる調整の範囲は、さらに制限され、同一の画像特性を提供するために２台のカメラを設定するのがいっそう難しくなっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】欧州特許出願公開第２１６６７４８号明細書
【特許文献２】米国特許出願公開第２００９−０２３１４５４号明細書
【特許文献３】特開２００４−２８９２１４号
【特許文献４】特開２００８−１０３８２０号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
３Ｄビデオキャプチャにおいて注意が必要なさらなる側面は、ビデオに対する視聴者の知覚という側面である。ビデオ製作者は、特に、オブジェクトが画面のはるか前方に見えるようにオブジェクトを（３Ｄビデオで見られるように）表示するように、３Ｄ効果を過剰使用する可能性がある。これにより、視聴者は主観的な不快感や嫌悪感さえも引き起こすことがある。同様に、表示奥行きの突然のまたは急激な変化も主観的な不快感を引き起こすことがある。これは、３Ｄ表示がヒトの心理視覚システムに、視聴者から表示画面までの距離とは異なる距離にオブジェクトがあると信じ込ませるためだと想定される。視聴者の眼は、特に、オブジェクトが表示画面よりも視聴者に近くなるほど、認識したオブジェクトの３Ｄ位置に無意識に焦点を合わせようとする。しかし、３Ｄビデオを見るために、眼はもちろん表示画面の平面に焦点を合わせ続けなければならない。
【課題を解決するための手段】
【０００８】
本発明は、あるシーンのそれぞれ異なるビューを表す一連のペア画像を含む３Ｄビデオ信号を処理して画像の奥行き指標を生成するための画像解析装置を提供する。当該画像解析装置は、
あるペア画像を構成する２つの画像のうち一方における画像領域と他方における画像領域とを相関させ、前記２つの画像間で対応する画像領域の変位を検出する相関器と、
前記ペア画像の全域において、想定される範囲の変位値について、前記変位の分布を示すグラフィックスを生成するグラフィックス生成器生成器と、
現在のペア画像の現在の表示位置に関する前記グラフィックスと、複数の先行するペア画像の他の表示位置に関する前記グラフィックスとを表示のために生成することで、前記変位の分布における変動を時間ベースで表示する表示生成器と
を具備する。
【０００９】
本発明はまた、画像を処理して画像の焦点の指標を生成するための画像解析装置であって、前記画像の複数のブロックに対するそれぞれの局所焦点の推定値を検出し、前記局所焦点の推定値を組み合わせて当該画像の画像焦点指標を生成する焦点検出器を具備する画像解析装置を提供する。
【００１０】
本発明のさらなる側面および特徴は、添付の特許請求の範囲で定義される。
【図面の簡単な説明】
【００１１】
【図１】３Ｄカメラシステムを示す図である。
【図２】３Ｄビデオ解析装置を示す図である。
【図３】３Ｄビデオ解析装置の他の実施形態を示す図である。
【図４】ビデオプロセッサを示す図である。
【図５】セルプロセッサを示す図である。
【図６】受信した３Ｄ（Ｌ／Ｒ）ビデオ信号に関するビデオプロセッサの動作の概要を示す図である。
【図７】奥行き検出器および奥行きガイドタイムプロット部を示す図である。
【図８】画像の例を示す図である。
【図９】図８の画像の一部を示す図である。
【図１０】カラー表示スケールを示す図である。
【図１１】奥行きヒストグラムを示す図である。
【図１２】ヒストグラムの履歴表示を示す図である。
【図１３】フレームバイオレーションの状態を示す図である。
【図１４】３Ｄ画像の左右のエッジの近くにあるオブジェクトに関する正負の視差を示す図である。
【図１５】フレームバイオレーション検出器を示す図である。
【図１６】焦点ミスマッチ検出器を示す図である。
【図１７】２つのコントラストマップを示す図である。
【図１８】局所のコントラストエラー検出プロセスを示す図である。
【発明を実施するための形態】
【００１２】
以下、例示としてのみ、添付の図面を参照しながら、本発明の実施形態について説明する。
【００１３】
本発明の実施形態は、３次元（３Ｄ）テレビ信号に関しする処理を実行する。本実施形態は、一般的にこのような信号の生成元とは無関係である。すなわち、本装置は、生成元を問わず本装置に供給される３Ｄテレビ信号の質的評価を生成するように動作することができる。このような３Ｄ信号は、３Ｄカメラ装置から直接供給される３Ｄ信号、コンピュータ処理された、または、コンピュータ処理により画質を向上させた３Ｄ信号、記録媒体で再生される３Ｄ信号、伝送媒体を介して他のプロバイダから受信した３Ｄ信号、画像ミキサーなどの３Ｄビデオ処理装置から出力される３Ｄ信号等であってもよい。しかし、念のために、このような３Ｄ信号の生成元の１つとして、３Ｄカメラ装置の簡単な説明を行う。
【００１４】
図１には、３Ｄ画像を生成するために使用されるシーンの画像をキャプチャするシステム１００が示されている。システム１００は、２台のカメラが取り付けられたカメラリグ１１５を有する。この２台のカメラ１０５Ｌおよび１０５Ｒは、ビデオカメラやスチルカメラでもよい。以降の説明は、ビデオカメラに関して行うが、ホン技術のうち、一連のビデオフレームの時間的関係に依存しない側面についてはスチルカメラにも同様に適用可能であることが理解されよう。
【００１５】
図１には明確に図示していないが、相互関係にあるカメラ１０５のヨーを変化させることができる。特に、カメラ１０５がカメラリグ１１５に取り付けられると、各カメラ１０５のピッチとロールは通常、相互に固定される。しかし、カメラ１０５のヨーは相互に独立して調整することができる。これにより、カメラの収束角、すなわち「トーイン」を変化させることができる。カメラを定位置に固定した時点で、カメラリグ１１５のヨー、ピッチ、およびロールと、カメラとを一致して移動させることができる。カメラリグ１１５のヨー、ピッチ、およびロールは、アーム１２０によって移動される。カメラリグ１１５の位置は、アーム１２０を回転させることで、定位置に固定することができる。
【００１６】
各カメラ１０５からの出力は、３Ｄビデオ信号を構成する左（Ｌ）信号および右（Ｒ）信号をそれぞれ含んでいる。したがって、これら出力は画像データを含んでいる。しかし、他のデータも各カメラから供給することができる。例えば、各カメラからメタデータを供給することもできる。メタデータは、各カメラの絞り設定、焦点距離および／またはズームなどのカメラ設定に関するものであってもよい。さらに、メタデータはカメラマンに関する情報や「グッドショットマーカ」などを含んでもよい。カメラ１０５からの出力は、有線により、またはネットワークを介して次の処理装置に接続させることができる。カメラ１０５と後続の処理装置とは、無線で接続されてもよい。
【００１７】
図２は、本発明の一実施形態に係る３Ｄビデオ解析装置を示す図である。図２の装置は、ビデオプロセッサ２００、ディスプレイ２１０、およびユーザコントロール２２０を具備する。本発明の実施形態では、リアルタイムで解析を行うことができる。すなわち、ビデオフレームに関する解析をビデオフレーム期間内に完了することができる。
【００１８】
ＲおよびＬビデオストリームを（少なくとも）含む３Ｄビデオ信号１３０は、ビデオプロセッサ２００に供給される。ビデオプロセッサ２００は、解析モードで動作する。すなわち、ビデオプロセッサ２００は、ビデオ信号パスの一部を構成しないが、必ずしもビデオ信号を修正することなく、ビデオ信号を解析する。したがって、図２において、ビデオプロセッサ２００は、主要なビデオ信号パスにブランチとして接続された状態で示されており、ＬおよびＲビデオストリームがビデオプロセッサ２００の動作によって変化することなく（１３０’を通って）次の処理装置、ディスプレイまたは記憶部に渡されている。
【００１９】
ビデオプロセッサ２００は、３Ｄビデオ信号１３０の解析を行う。解析の機能を以下に説明する。解析結果はディスプレイ２１０に表示したり、次の処理および／または記憶のためにデータストリーム２４０として供給したりすることができる。
【００２０】
ユーザコントロールは、キーボードやマウスなどの従来のコントロールを含み、ユーザはビデオプロセッサ２００の動作を制御することができる。
【００２１】
図３は、ビデオプロセッサ２００の他の動作モードを示す図である。動作は多くの点で図２に示す動作と同様である。しかし、ビデオテープレコーダ、ハードディスクレコーダ、および光ディスクレコーダなどのビデオ記憶装置２３０も提供される。
【００２２】
信号処理は以下の通りである。受信した３Ｄ信号１３０は、解析のためにビデオプロセッサ２００に供給され、記憶するために記憶装置２３０にも供給される。ビデオプロセッサ２００からの解析結果は、（上述のように）ディスプレイ２１０にデータ出力２４０として任意に供給される。しかし、解析結果はまた、記憶された３Ｄビデオ信号と関連するメタデータとして記憶装置２３０に記憶される。
【００２３】
ビデオ信号と関連するメタデータの記憶は、様々な方法で実現可能である。例えば、メタデータの項目と、記憶されたビデオ信号における対応する一時的な位置との間の明確な関連性を提供するために、（記憶されたタイムコード変数などの）リンクが与えられることによって、メタデータを独立して記憶することができる。この状態においては、実際には、メタデータをビデオ信号として同じ記憶媒体に記憶する必要はなく、ひいては同じ物理的装置に記憶する必要さえない。したがって、図３に分かりやすくするために「記憶装置」として示されたブロックが、実際には、２つ以上の物理的装置または論理装置を含むことができる。少なくともこれらのうち１つは、ビデオプロセッサ２００の一部として物理的に具体化することができる。別の方法としては、例えば、メタデータをユーザデータとしてビデオ信号と関連するデータフォーマット内に記憶することで、記憶されたビデオ信号にメタデータを埋め込むことができる。このためには、使用するビデオ記憶装置の種類に応じて、ビデオプロセッサ２００によって得られるメタデータがビデオデータに埋め込まれる準備ができるまで、バッファ（図示せず）にビデオフレームの記録を遅らせる必要がある場合もある。これはテープ記憶装置などの線形媒体についてはあり得るが、ディスクベースの記憶装置などのランダムアクセスメディアにはあまり（または全く）必要ないであろう。システムがリアルタイムで動作するためには、ビデオプロセッサ２００がビデオフレームの処理をシングルフレーム期間内に完了するのが望ましいので、例えば、シングルフレームバッファを使用することができる。
【００２４】
記憶されたビデオ信号は、ビデオプロセッサ２００が生成したメタデータを有していても、または有していなくても、出力３Ｄビデオ信号１３０"として再生することができる。
【００２５】
図３の構成では、ビデオプロセッサは、実際のビデオ信号に対して（メタデータをビデオ信号と関連付けること以外）直接的な効果をまだ有していない。しかし、本実施形態は、ビデオプロセッサがビデオ信号を修正することを妨げない。以下に説明する具体的な機能は、ビデオ信号１３０の修正ではなくその解析に関する。
【００２６】
図３において、ユーザは記憶装置２３０に記憶されたビデオ信号の再生を開始することができる。これは、ユーザコントロールが記憶装置２３０と直接相互作用できるという意味では直接的な再生と言え、記憶されたビデオ信号の再生を順々に開始するビデオプロセッサ２００とユーザが相互作用できるという意味では間接的な再生と言える。このような種類の動作の関連性を以下に説明する。
【００２７】
ビデオプロセッサ２００は、適切なソフトウェア制御の下で動作するパーソナルコンピュータなどの汎用のデータ処理マシンとして実装することができる。しかし、本発明の実施形態においては、ビデオプロセッサ２００は、適切なソフトウェア制御の下で動作するＳｏｎｙ（登録商標）ＭＰＥ−２００（商標）立体画像プロセッサとして実装されている。実際のビデオ信号の記憶に関する記憶装置または記憶装置の機能の少なくとも一部は、Ｓｏｎｙ（登録商標）ＳＲＷ−５１００（商標）高解像度立体ビデオテープレコーダによって実装することができる。これら装置の両方とも本願の優先日時点で購入可能である。
【００２８】
図４は、ＭＰＥ−２００ビデオプロセッサおよび関連するハードウェアの構造を示す概略ブロック図である。ビデオプロセッサ２００の動作に関する技術背景を提供するために簡単に説明する。
【００２９】
図４に示すように、ビデオプロセッサ２００は、立体処理装置３００（ＭＰＥ−２００装置として実装してもよい）および制御コンピュータ４００を具備する。
【００３０】
ここで、装置２００または４００のどちらかの動作を制御するソフトウェア、および／またはそのようなソフトウェアを記憶し、または供給する記憶部または他の機械可読媒体を含むコンピュータプログラム製品は、本発明の実施形態を構成すると考えられることが理解されよう。
【００３１】
立体処理装置３００は、（例えば）セル（Cell）プロセッサ３１０を中心に設計し、バス構成により接続されたランダムアクセスメモリ（ＲＡＭ）３２０、専用のビデオランダムアクセスメモリ（ＶＲＡＭ）３４０を有するリアリティシンセサイザーグラフィックスユニット（ＲＳＸ）３３０、および入出力（Ｉ／Ｏ）ブリッジ３５０を具備する。Ｉ／Ｏブリッジ３５０は、周辺構成要素にインタフェースを提供する。周辺構成要素は、高解像度シリアルデジタルインタフェース（ＨＤ−ＳＤＩ）入力３６０およびＨＤ−ＳＤＩ出力３７０、ＲＳ−２３２ＣデータＩ／Ｏポート３８０、１つまたは複数のネットワークインタフェース３９０、不揮発性記憶部４００（例えばハードディスク）、並びにビデオ同期信号入力４１０をなどのビデオ入出力接続を含む。
【００３２】
制御コンピュータ４００は、ネットワークインタフェースおよび制御コンピュータ上の対応するインタフェース（図示せず）を介して立体処理装置３００に接続されている。制御コンピュータは、セルプロセッサではなく従来のパーソナルコンピュータ処理装置を使用する点を除いて、立体処理装置と同様の内部構造を有する。制御コンピュータ４００は、立体処理装置の動作を制御するためのユーザインタフェースを提供し、独自のパーソナルコンピュータフォーマットディスプレイ２１０とユーザコントロール２２０に接続されている。立体処理装置は、ＨＤ−ＳＤＩ出力端子を介して接続された独自のディスプレイを有することもできる。
【００３３】
ＲＳＸユニット３３０は、セルプロセッサ３１０が生成したビデオレンダリングコマンドのリストを処理し描画するＮＶｉｄｉａ（登録商標）Ｇ７０／７１アーキテクチャに基づいたビデオアクセラレータである。
【００３４】
図５に示すように、セルプロセッサ３１０は、４つの基本的な構成要素を含むアーキテクチャを有する。４つの基本的な構成要素は、メモリコントローラ３１２（システムＲＡＭ３２０と相互作用するため）および立体処理装置３００の他の構成要素と相互作用するためのデュアルバスインタフェースコントローラ３１４を具備する外部入出力機構、電力処理要素（ＰＰＥ；Power Processing Element）３１６と呼ばれるメインプロセッサ、相乗演算処理要素（ＳＰＥｓ；Synergistic Processing Elements）３１８Ａ−Ｈと呼ばれる８つのコプロセッサ、および上述の構成要素と接続し要素相互接続バス３２２と呼ばれる円形のデータバスからなる。
【００３５】
ＰＰＥ３１６は、関連する５１２ｋＢレベル２（Ｌ２）キャッシュおよび３２ｋＢレベル１（Ｌ１）キャッシュを有する両方向同時マルチスレッドＰｏｗｅｒＰＣコアに基づいている。ＰＰＥ３１６の主要な役割は、コンピュータの作業負荷のほとんどを処理する相乗演算処理要素３１８Ａ−Ｈのコントローラとして作用することである。動作にあたっては、ＰＰＥ３１６は、相乗演算処理要素３１８Ａ−Ｈのジョブのスケジューリングを行い、その進捗状況を監視してジョブキューを維持する。そのため、各相乗演算処理要素３１８Ａ−Ｈは、ジョブをフェッチして実行しＰＰＥ３１６と同期させる役割を持つカーネルを実行する。
【００３６】
各相乗演算処理要素３１８Ａ−Ｈは、相乗演算処理ユニット（ＳＰＵ）、メモリコントローラ、およびバスインタフェースをそれぞれ具備する。ＳＰＥの内部構造は、図５を明確にするために図示していない。各ＳＰＵは、単一クロックサイクルあたり４個の単精度浮動小数点メンバ、４個の３２ビット数、８個の１６ビット整数、または１６個の８ビット整数で動作することができるＲＩＳＣプロセッサである。同じクロックサイクルでは、メモリ操作を行うこともできる。
【００３７】
ＥＩＢ３２２は、上述のプロセッサ要素と接続するセルプロセッサ３１０の内部にある、論理的には円形の双方向通信バスである。接続された要素は、クロックサイクルあたり８バイトでバスに同時に読み書きできる。
【００３８】
動作にあたっては、ＰＰＥおよびＳＰＥは、ソフトウェア制御の下で動作する。ソフトウェアは、不揮発性記憶部４００から読み出され、および／またはネットワークインタフェース３９０を介して受信され、実行するためにＲＡＭ３２０に記憶される。操作命令および設定を含む制御信号は、制御コンピュータ４００によって供給される。ＰＰＥ３１６はこのような制御信号に応答して、タスクを割り当てて、個々のＳＰＥの動作を制御する。
【００３９】
本発明の実施形態では、立体処理装置は、ビデオを処理できるだけでなく、リアルタイムで映像面に対して陰影を付けたり、明るくしたり、マッピングしたりすることで、３Ｄオブジェクトを操作することができる。しかし、本実施形態においては、立体処理装置は受信した３Ｄビデオ信号の品質を評価するために使用される。ここで、これを実現するための技術について説明する。
【００４０】
図６は、受信した３Ｄ（Ｌ／Ｒ）ビデオ信号に関するビデオプロセッサ２００の動作の概要を示す図である。
【００４１】
ビデオプロセッサ２００は、ダウンサンプラ４８０、奥行き検出器５００、焦点検出器５２０、フレームバイオレーション検出器５４０、および奥行きガイドタイムプロット部５６０として作用する。奥行きガイドタイムプロット部５６０、焦点検出器５２０、およびフレームバイオレーション検出器５４０が生成した出力データは、制御コンピュータ４００によって描画され（ディスプレイ２１０上に）表示される。ビデオプロセッサ２００のこれら機能は、適切なソフトウェア制御の下で動作するセルプロセッサ３１０のＳＰＥによって実装される。これら機能が動作する方法、および解析結果を表示する方法を以下に説明する。
【００４２】
［ダウンサンプリング］
ダウンサンプラ４８０は、単一のＳＰＵを使用して、受信した左右の画像を４分の１のサイズに、例えば受信した１９２０ｘ１０８０ｉのビデオを４８０ｘ１３５のビデオにダウンサンプルする。これにより、次の処理は、ダウンサンプルを行ったビデオに対して、顕著な解析ロスなしに、より効率的に動作することができる。ダウンサンプリングのプロセス自体は従来のものである。
【００４３】
［奥行き解析］
図７は、奥行き検出器５００および奥行きガイドタイムプロット部５６０を示す図である。本発明の実施形態において、これは画像の奥行き指標を生成するために、あるシーンのそれぞれの異なるビューを表す一連のペア画像を含む３Ｄビデオ信号を処理するために機能する。
【００４４】
奥行き検出器５００は、垂直エッジ検出器５０２、ブロックマッチング部５０４、奥行きガイドレンダリング装置５０６、および視差ヒストグラム生成器５０８を具備する。本発明の実施形態において、様々な処理に割り当てられたＳＰＵの数（すなわち、ＳＰＥの数）を丸括弧で示す。
【００４５】
奥行き解析における第１の段階は、左の画像にある垂直エッジの検出である。垂直エッジは、右の画像の垂直エッジと同一であると推定される。エッジの識別のための左の画像の選択は、任意のものであり、右の画像が選択されても構わない。これを実現するため、垂直エッジ検出器５０２は、（ダウンサンプラ４８０が出力する）４分の１のサイズになった画像を８ｘ８のブロックに分解し、垂直ソベルエッジ検出器を使用して各ブロックのエッジを検出する。各ブロックの出力は単一のエッジ位置またはそのブロックではエッジが発見されなかった（すなわち、強いエッジがない）ことの指標を含む。強いエッジが発見された場合、すなわち、エッジが（ａ）垂直であるかまたは垂直に近い（例えば垂直から閾角度内にある）こと、および／または（ｂ）画像ブロック内で明瞭であることが示唆されており、エッジ検出処理が閾値エッジ尤度を超えた場合、上記単一のエッジ位置が出力される。したがって、例えば、垂直から閾角度以上離れたエッジに関しては、それが明瞭であったとしても、エッジが検出されていないと見なすことができる。これら出力は、画像全体におけるエッジ位置のリストに加えられる。
【００４６】
その後、エッジ位置のリストは、ブロックマッチング部５０４（ＳＰＵで再び実行される）に使用される。ブロックマッチング部５０４は、あるペア画像における画像領域と他のペア画像における画像領域とを相関させ、その２つのペア画像間で一致する画像領域の変位を検出する相関器として動作する。ブロックマッチング部５０４は、各検出されたエッジ（上述の基準にしたがって検出されたエッジ）に対して動作し、そのエッジ位置を中心とする４分の１のサイズの左の画像の１６ｘ１６のブロックと、右の画像の周辺エリアの対応するブロックまたは探索エリアとの間の類似性を探索する。
【００４７】
すなわち、ブロックマッチング部５０４は、対応する画像領域間の空間的なオフセットを検出するために、左の画像内で検出されたエッジの周辺の領域と右の画像内の同様または実質的に同一の画像内容の領域とを一致させようとする。しっかりと設定された設備によって製作された３Ｄビデオにおいて、上記空間的なオフセットは、水平方向にのみ存在することが予想される。すなわち、理想的には、２つのカメラ１０５Ｌ、Ｒが、垂直方向の高さが揃うように、（図１に示したような）３Ｄビデオカメラを設定するべきである。これに基づいて、変位の垂直成分は、以下に説明する処理において無視することができる。
【００４８】
ブロックマッチングプロセスは、エッジを含むことが検出されなかったブロックについては、ブロックマッチングを行わない。
【００４９】
対応する画像特徴間の水平方向のオフセット量は、カメラ位置に関連するその特徴の奥行き、すなわち、画像平面に対して垂直なカメラ位置からのその画像特徴までの距離の指標である。カメラが収束するように配列されるカメラ配置において、２台のカメラの画像平面は、平行からわずかにずらされる。そのような場合、奥行きは、部分的に、２つの画像平面に関連する２つの垂直方向の平均を表す方向に存在するカメラ位置からの距離を表すと考えられる。
【００５０】
水平方向のオフセット量は、それ自体では、カメラ位置からの厳密な距離を表すものではない。カメラの水平距離およびカメラの収束角などの他の要因にも関係がある。これら他の要因は、ビデオ信号と関連するメタデータにおいて定義できるが、左右の画像からのみでは検出することができない。しかし、絶対距離の算出のためにさらなる情報が必要だとしても、水平距離および収束角が一定のままだった場合（これは大いにあり得ることだが）、水平補正は３Ｄカメラからの距離の有用な質的指標となる。これを考慮して、説明を簡単にするために、本実施形態では、「奥行き」という用語は、２つの画像の水平方向のオフセット量のみに依存する量を示す用語として使用する。したがって、「奥行き」量は、コンテンツをキャプチャした際のカメラからの実際の物理的距離ではなく、画像を見たときの視聴者による奥行きの知覚と関連する。画像を見た際、奥行きはオブジェクトが位置しているように見える画面から手前の距離または背後の距離の量である。この量は視聴者の表示画面のサイズに部分的に依存している。
【００５１】
右の画像の探索エリアは、元の位置の周辺±４８画素および±３ライン、すなわち、左の画像内で検出されたエッジ位置に対応する、右の画像における位置の周辺領域である。ブロックマッチングプロセスは、周知の「絶対差の和」（ＳＡＤ）技術を使って、右の画像内で最も近い適合位置を探索する。すなわち、左の画像の１６×１６ブロックにおける対応する画素と右の画像の１６×１６試験ブロックにおける対応する画素間の絶対差が合計され、このような合計値の中で最も低い合計値を生じさせる（右の画像の）ブロック位置が、左右の画像間の画像内容が最も適合する位置を表すものと見なされる。
【００５２】
ＳＡＤ解析を用いたブロックマッチングに関する周知の問題は、特に、右の画像の探索エリアに繰り返しパターンが含まれている場合に、いわゆるエイリアシングが発生することである。繰り返しパターンがあるとＳＡＤデータ間で複数の最小値が検出されることがあり、その結果、水平方向のオフセット量が曖昧になる可能性がある。この潜在的な問題を解決するために、画像に繰り返しパターンがあることを示すブロックマッチングの結果においてＳＡＤの複数の最小値が検出されたことに基づいて、各ブロックマッチングの結果毎に「エイリアシングの可能性」も算出する。単一の「極小値」または第一次極小値が存在するかもしれないが、他の最小値が、（ａ）極小である場合、及び、（ｂ）（オプションとして）対象ブロックについて、ブロック位置において第一次極小値から少なくとも所定の距離離れている場合、当該他の最小値が検出される。エイリアシングの可能性が高いことを示す結果（すなわちブロックマッチングプロセスによりＳＡＤの複数の最小値が生成された結果）は、奥行き結果から除外される。
【００５３】
一致が発見されたブロックの数に等しい「範囲推定値」は、ブロックの総数で除算されて、生成される。これは、ブロックマッチングデータにおける信頼の程度を示す。
【００５４】
ブロックマッチング部によって検出された水平オフセット量は、奥行きガイドレンダリング部５０６に渡される。当該奥行きガイドレンダリング部５０６は、平面（アルファ値０）テクスチャバッファに色付きの奥行きマーカを描画するもう１つのＳＰＵプロセスとして動作する。当該奥行きマーカーは、さらにビデオ信号の解析ディスプレイにオーバーレイとして描画され、ユーザが設定した「奥行き量」を超えた点を示すことができる。あるいは、測定した全ての視差を描画することができ、これは左右の入力が正しい順であることをチェックするのに有用である。
【００５５】
３Ｄビデオディスプレイの奥行きを視聴者が正確に心地よく知覚できるかどうかは、いくつかの要因によって決まる。しかし、本装置による解析に役立つ重要な要因の１つとして、画像における奥行き値（すなわち、検出された水平オフセット量）が、ビデオ製作者が設定した奥行き量の範囲内にあるかどうかという要因が挙げられる。典型的には、奥行き量は＋３％とすることができる。すなわち、左右の画像内の対応する特徴間の水平オフセット量の絶対値は、画像の水平サイズの３％を決して超えるべきではない。
【００５６】
図８はこれらの概念を示す図であり、また便利な方法で、奥行きガイドレンダリング装置５０６がビデオプロセッサ２００のオペレータに（画像の奥行きの指標を表す）奥行き値を示す手段を概略的に示している。
【００５７】
図８は、ディスプレイ２１０などの２次元ディスプレイ上に表示するために描画された３Ｄ画像を示す図である。描画プロセスは、左右の画像を組み合わせる。左右の画像はそれぞれ異なる位置からキャプチャされるので、カメラ位置からの対応する画像特徴の距離に応じて、レンダリング画像内の異なる位置において異なる量の水平オフセット量が存在する。図８に示すレンダリング画像は、画像解析システムの一部として提供されるので、そのような水平オフセットをマスクしようとするのではなく、示すのが望ましい。
【００５８】
水平オフセットにより多くの画像特徴が二重像として出現するので、左右の画像を単純に組み合わせる（例えば、それぞれ５０％ずつ）ことで、２Ｄレンダリング画像が生成される。しかしこの２Ｄレンダリング画像の評価は難しい。そのような単純な組み合わせからは、そのような二重像のどの部分が左の画像に由来し、どの部分が右の画像に由来するのかは明らかでないであろう。したがって、レンダリング画像をユーザにとって明確にするために、カラー表示を採用する。
【００５９】
特に、３Ｄ画像は、２Ｄ表示画像が
Ｒｏｕｔ＝ＲＬ；Ｇｏｕｔ＝ＧＲ；Ｂｏｕｔ＝ＢＲ
を含むように、レッド／シアンのアナグリフとして描画されて、表示される。ここで、Ｒ、Ｇ、Ｂはそれぞれ、レッド、グリーン、ブルーの成分を表し、下付き文字「ｏｕｔ」は表示用の値、下付き文字ＬおよびＲはそれぞれ左の画像および右の画像の成分を示す。
【００６０】
このカラー表示は、（ａ）２つの画像（ＬおよびＲ）がディスプレイ上で容易に区別できること、および（ｂ）ユーザが水平オフセットの方向を簡単に判断できることを意味する。３Ｄカメラである左右のカメラのカメラ軸が収束する点にオブジェクトがある場合、水平オフセットは存在しないので、オブジェクトは色の付いたオブジェクトとして正確に描画されて出現する。オブジェクトが３Ｄカメラから収束点よりも離れている場合、右の画像の右側、および左の画像の左側にずれて出現する。したがって、シアン境界を右側に、レッド境界を左側に有することになる。オブジェクトが３Ｄカメラから収束点よりも近い場合、右の画像の左側、および左の画像の右側にずれて出現する。したがってオブジェクトは、レッド境界を右側に、シアン境界を左側に有することになる。実際の色は画像の前景または背景がより明るいか否かによって決まるが、本実施形態の目的のために、使用されるカラー表示は標準のレッド／シアンのアナグリフと同一である。したがって、これら状況をカラー表示により容易に区別できる。もちろん、これは２つの３Ｄ画像を単一の２Ｄ画像として表示するフォーマットの１つの例に過ぎない。２つの画像を単純に５０：５０の比率で融合するなど、他のフォーマットも利用することができる。その目的は、エラーマーカまたは品質マーカ（以下参照）を表示またはオーバーレイすることができる土台を生成するために、３Ｄ素材を２Ｄ表示することである。
【００６１】
図８は、モノクロの特許図面であるので、シェーディングを利用してこれら着色境界を示している。実際の画像では、着色境界の効果は、もちろん、左右のカメラの収束点に位置するオブジェクトを表す画像特徴以外の、全ての画像特徴に適用される。しかし、図を明確にするために、図８の全てのオブジェクトに注釈を付けて着色境界を示しているわけではない。特に、前方にいる人６００、後方にいる人６１０、およびボール６２０についてのみ、注釈を付けている。シェーディングは、人６００およびボール６２０が３Ｄカメラの収束点６３０の前方に位置し、一方、人６１０は収束点６３０の後方に位置することを示す。
【００６２】
奥行きガイドレンダリング装置５０６は、このタイプの画像の奥行き情報を描画する。上述のように、奥行きガイドレンダリング装置５０６は、空白画像、すなわちアルファ値が０の画像を含むテクスチャ（または画像）バッファに奥行きガイド情報を描画することでこれを実現する。アルファ値は関連する画像の透明度を決定し、０は完全透明を表す。したがって、アルファ値が０の画像領域を他の画像と組み合わせても、他の画像に対して何の効果も持たない。奥行きマーカが例えばアルファ値０．５（透明度５０％）など０ではないアルファ値を有するような方法で奥行きマーカが、このアルファ値０の背景に描画されるので、奥行きガイドレンダリング装置の出力および２Ｄレンダリング画像の組み合わせの上に奥行きマーカが描画されても、下にある２Ｄレンダリング画像を完全に覆い隠すことはない。
【００６３】
一実施形態において、奥行きガイドレンダリング装置は、検出された水平オフセット値の絶対値が、設定奥行き量（ユーザコントロール２２０を利用してオペレータが予め定め、または設定することができる）よりも大きい場合、画像領域に関する指標のみを生成する。そのような指標の使用の例を図９に概略的に示す。図９は図８のボール６２０のみを示すが、（図を明確にするために）ボールの模様は示していない。ボールは３Ｄカメラに最も近いオブジェクトであり、左右の画像間で検出されたその水平オフセット値は、このビデオ信号のために設定された奥行き量を超えている。このことを示すために、奥行きガイドレンダリング装置５０６によってマーカ６４０、６５０が描画され、奥行き量を超えた位置を示している。なお、マーカはボールの形状の垂直特徴に沿って示されている。ボールの特徴の多くは垂直エッジよりも水平に近いので、垂直エッジ検出器が使用する許容値に応じて、ボールの形状の一部だけがエッジを含んでいるとして検出される場合がある。本発明の実施例では、垂直に近い直線区間を有するボールの輪郭の部分だけが、垂直エッジを有するとして検出される。本発明の実施形態では、垂直エッジが検出されたこれら位置のみが次の処理（ブロックマッチングおよび奥行きガイドレンダリング）に渡されるので、奥行き量警告マーカはそのような位置で生成される。
【００６４】
上述のように、奥行きガイド指標は、垂直エッジが連続して検出される全ての画像位置に関して、奥行きガイドレンダリング装置によって生成される。その位置で検出された奥行き（すなわち、水平オフセット値）を示すために、指標を（例えば）色分けすることができる。色分けは奥行き値に基づいて行うことができるので、奥行き値の符号とは無関係に色分けされてもよいし、正の水平オフセット値と負の水平オフセット値で異なる色分けがなされてもよい。色分けは一群の奥行き値に基づいて行うことができる。例えば、奥行き値が画像の幅の２％未満の場合は第１の色、奥行き値が画像の幅の２〜５％の場合は第２の色、奥行き値が画像の幅の５％を超えた場合は第３の色とすることができる。あるいは、（例えば）奥行き値０を緑の指標で表し、奥行き値が負になるほど指標の色が徐々に黄色、それから赤くなるように、色の変更を段階的に行うことができる。そのような一連の色の変動の例を（モノクロの図面によって与えられた制限内で）図１０に示す。
【００６５】
奥行き値の符号が示されている場合、例えば、オブジェクトがカメラに収束点よりも近いことを示す奥行き値が負の奥行き値であり、オブジェクトがカメラに収束点よりも遠いことを示す奥行き値が正の奥行き値であるとみなされるように、ルールが適用される。しかし、これは単なるルールに過ぎず、他の極性を利用して奥行き値を表すこともできる。
【００６６】
したがって、図９の図面に関して図１０のカラー表示を利用すると、ボール６２０はカメラに収束点よりも近いので、奥行き値は負であると考えられる。したがって、マーカ６４０、６５０は、奥行き値に応じて、両方とも黄色または赤となる。
【００６７】
なお、実施形態によっては、図１０に記載されたタイプの色分けを、上記設定奥行き量によって決めることができる。したがって、例えば、緑と黄色の間の境界を、ほぼ設定奥行き量のレベル（この例では−３％）で位置させ、さらなる色の変化が起こる第２のより高い閾値（図１０の例では±４％）をユーザが設定できるように構成することができる。したがって、ユーザが設定奥行き量および１つまたは複数の他の閾値を設定し、一般的に重要な色の変化が閾値と同調するように、奥行き値に対して図１０と同様の色の変動をシステムがマッピングする。もちろん、色の変動は図１０においては連続的なので、ある色と隣の色との間に単一のはっきりとした境界はない。しかし、ここで説明するように、色が主にある色から主に他の色に変わる概念上の境界を得て、設定奥行き量および他の閾値に対して位置させることができる。
【００６８】
ブロックマッチング部が（画像全体において）測定した水平オフセット値も組み合わせて、視差ヒストグラム生成器５０８により、水平視差ヒストグラムを構成する。ヒストグラム生成には、沿う礼される各オフセット値または「ビン」毎に水平オフセット値をカウントすることが含まれる。ビンはブロックマッチング部が検出した画素オフセット値（検出された変位）にしたがって並び替えられる。すなわち、−４８から＋４８画素までのオフセット値間にある９７のビンが提供される。なお、これら画素のオフセット値は、処理された４分の１のサイズの画像の画素に関して得られ、（ａ）問題となる画像の画素の幅で除算し、（ｂ）１００で乗算することで、容易に奥行き値のパーセンテージに変換することができる。なお、ビンがより少なくなるように構成することができるが、各ビンは様々な画素のオフセット値を含む。例えば、ビンの幅は数画素とすることができる。したがって、各ビンは、１つまたは複数の変位値を表す。
【００６９】
ヒストグラムデータの色は、図１０で記載したスキームと同一の色分けスキームを利用して、割り当てられている。なお、図１０は、奥行き値のパーセンテージで目盛りを付けている。一方、ビンは画素のオフセット値によって構成できるが、上述のように、容易に他のビンに変換することができる。
【００７０】
色分けされたヒストグラムの概略的な例を図１１に示す。ヒストグラムは画素のオフセット値ではなく奥行き値にしたがって表示されている。図１０の色分けスキームを採用し、実際、水平（ビン）軸の表示の一部として表示されている。任意の水平位置におけるヒストグラムの垂直範囲は、その奥行き値における対応するビンの母集団を示す。陰影付きの領域６６０は、水平位置に関連する色にしたがって色付けされている。したがって、陰影付きの領域６６０内では、水平位置により図１０の色分けスキームにしたがって色が変化する。しかし、垂直位置にしたがって色は変化しない。
【００７１】
図１０のヒストグラムは、ビデオ信号の各一連の画像毎に更新される。ヒストグラムの表示も、各画像区間において更新される。
【００７２】
奥行きガイドタイムプロット部５６０は、視差ヒストグラムの新しい履歴を記憶して、表示する。そのような履歴表示の概略的な例を図１２に示す。この表示は図１１の表示と同じ画面上に同時に示すことができる。
【００７３】
時間は垂直軸で表され、現在の時刻までの時間の経過は、表示の底部からの距離が増えることで表される。表示は行７００、７１０…によって分割される。説明のために、行の境界（水平線）を図１２に示す。ただし、これら境界は実際の表示画面には表示されない。
【００７４】
表示の最終行７００を使用して、現在の画像（例えば、現在のフレーム）で得られた奥行きヒストグラムを表示する。表示は狭い行に限定されているので、図１０と同一の方法でヒストグラムのこの側面を表すのは難しい。したがって、その代わりに、ビンまたは奥行き値と関連する色を有する対応する表示点の輝度または明度によって、ヒストグラムの高さ、またはビン占有率を表す。したがって、高さは表示輝度によって表すことができる。変位値は、表示位置によって、または表示点の色によって、あるいはその両方によって表すことができる。これは、その位置におけるヒストグラムの高さによって決まる行に沿った位置と関連付けて、上記アルファ値（透明度）を設定することで実現され、アルファ値はヒストグラムの高さが大きいほど大きくなる（透明度が低くなり、より不透明になる）。その行における表示可能点は、表示可能点の連結線を表すことができる。行７００の上に、過去のヒストグラムの各行に関する同様の行を表示する（図１２には図示せず）。
【００７５】
各新たな画像が処理されると、それまで表示されていたのヒストグラム行７００が次に高い位置である７１０に移動され、新しい現在のヒストグラムが現在のペアの表示位置、すなわち行７００に描画されるように、グラフィック描写が再描画される。時間順に並んだ多数の表示点からなる直線が構成され、各直線はペア画像の時間順におけるそれぞれのペア画像のヒストグラム表示に対応する。一般的に言うと、新しい行７００が利用できる場合、表示の一番上にあり廃棄される行を除いて、表示全体の各行は１行だけ上に移動する。これにより、ビデオ信号の画像率によって乗算された行の数に等しい期間におけるヒストグラムデータの表示履歴が提供される。その結果、奥行きデータにおける傾向を、パターン７２０などの垂直に表示されたパターンとして観察することができる。
【００７６】
これを実現するため、奥行きガイドタイムプロット部５６０は、最も新しいｎ個のヒストグラムを記憶するためのバッファメモリを具備する。ｎは図１２のディスプレイに表示することができる行の数である。奥行きガイドタイムプロット部は、記憶されたヒストグラムを一連の行としてディスプレイに描画するための論理回路も具備する。
【００７７】
上記表示履歴は、３Ｄ素材の品質を定義するメタデータを記憶装置２３０に記憶することができる。これは、ビデオプロセッサ２００が記憶装置２３０の再生コントロールを有する図３の実施形態における使用にも適している。例えば、ビデオプロセッサのオペレータが図１２の途切れ７２２などの過去の奥行きデータの途切れに気付いた場合、オペレータは記憶装置２３０に（ユーザコントロール２２０を介して）途切れ周辺のビデオの部分、例えば、途切れの２秒前から途切れの２秒後までの部分を再生するよう指示することができる。オペレータはこれを、例えば、奥行きデータ表示履歴の領域内における所望の一時的な再生位置でマウスコントロールをダブルクリックすることにより行うことができる。したがって、ビデオプロセッサは、１つまたは複数のグラフィック描写のユーザ選択に応答して、記憶されたバージョンの３Ｄビデオ信号の再生を制御するための再生コントローラを提供することができる。
【００７８】
より一般的には、図３の構成を利用して、受信した３Ｄビデオに関する品質情報を取得することができ、オペレータは品質データ、および、必要に応じて添付のビデオ素材を後でレビューすることができる。オペレータは手動で再生位置を選択することができる。また、ビデオプロセッサは、記憶された品質データを自動的にレビューし、例えば記憶された任意のデータ値における途切れ、許容限界を超えた偏位（例えば１０％などの「警告」閾値を超えた奥行き値の偏位）などがある位置をオペレータのレビューのために選択することができる。
【００７９】
したがって、奥行きガイドレンダリング装置５０６は、ペア画像における様々な変位値に関して、変位の分布のグラフィック描写を生成するグラフィックス生成器として作用する。奥行きガイドタイムプロット部５６０は、変位の分布における時間ベースの変動の表示を提供するように、現在のペアの表示位置において画像の現在のペアに関するグラフィック描写および他の表示位置における複数の先行するペア画像に関するグラフィック描写を生成するための表示生成器として作用する。本発明の実施形態において、グラフィックス生成器が作用した変位データは、検出された画像変位の水平成分のみを含む。
【００８０】
［フレーム（エッジ）バイオレーション］
フレーム（エッジ）バイオレーション検出プロセスの目的は、画像の左右のエッジにあるオブジェクトが画面の前方にあるかどうか決定することである。
【００８１】
３Ｄテレビにおいては、負の視差を有するオブジェクト（すなわち、３Ｄ表示によって表示画面の平面の前方にあるように表示されるオブジェクト）がカメラから消える、すなわち表示を離れる際に、潜在的な問題が生じる可能性がある。オブジェクトが片方の眼の画像からもう片方の眼の画像より先に離れることからこの問題は起こり得る。この構成は実際の生活では起こらないので、それをディスプレイ上で見ると、３Ｄシーンを見ているという視聴者の錯覚が途切れてしまう。特に、オブジェクトが画面をゆっくり離れて一方あるいはもう一方に移動する場合が問題である。
【００８２】
オブジェクトが画面の前方に出現するかどうかという問題は、カメラの収束点に関するオブジェクトの位置に依存する。したがって、１つの解決法として、視界に入る全てのオブジェクトが画面の後方に来るように収束点を変えることが挙げられる。他の解決法としては、どちらかの眼から見えるオブジェクトを除去するように左右の画像をトリミングすることが挙げられる。しかし、これは画像の芸術的な安定性に重大で好ましくない影響を及ぼす可能性がある。第３の技術は、その画像におけるオブジェクトの存在を減らして、他の画像と一致するように１つの画像のみをトリミングすることである。これは「フローティングウィンドウ」または「フローティングクロップ」を画像に追加する技術として周知である。フローティングウィンドウでは、左右の画像のエッジが劇的にトリミングされる。これに基づいて、オブジェクトが画面のエッジ上に、またはエッジ近くに位置する。この機能における一時的なフローティングウィンドウの有用性は、慎重に実行すれば、ユーザはその存在に気付かない可能性が高いことである。
【００８３】
すなわち、適切なフローティングウィンドウが適用されないが、オブジェクトが画像の左右のエッジの近くにあり、かつ画面平面の前方にある場合、画像は片方の眼には不自然に途切れた状態で出現する可能性がある。例えば、画像の左端における画面の前方にあるオブジェクトは、右眼には途切れた状態で出現する。これは、オブジェクトが画面の周りのウィンドウの後方にあるかのように、右眼が左眼よりもオブジェクトをより多く見ようとするからである。説明したように、シーンにおいて、このようにオブジェクトが明らかに不正確に途切れてしまうと、視聴者が不快感を引き起こし、３Ｄ錯覚が途切れてしまう可能性がある。
【００８４】
画面の前方にあり、かつ画像の左右の端に位置するオブジェクトを「フレームバイオレーション」と呼ぶ。
【００８５】
図１３は、表示画面８１０に表示された３Ｄ画像に関連して、視聴者の左右の眼のビューを示す図である。画面８１０の前方（画面８１０よりも視聴者に近い位置）にある、３Ｄシステムによって表示される２つのオブジェクト８２０の例を示す。図１４の上の行は、そのようなオブジェクトに対する左右の眼のビューを示す図である。視聴者はオブジェクトが不正確にトリミングされた、すなわち、「間違った」眼用にトリミングされたと感じる。この理由の一部として、３Ｄ表示の錯覚は、表示画面は３Ｄ世界への窓を表しているというユーザの認識に依存していることが挙げられる。本物の窓はオブジェクトをその背後で期待された通りにトリミングするが、図１４の上の行に示すような不正確なトリミングを行うことはない。これに対して、図１４の下の行は、許容されるトリミングを示す図である。この場合、オブジェクトがフレームのエッジ上に位置しているが、表示画面８１０の平面の背後に位置している。
【００８６】
したがって、本発明の実施形態は、あるシーンに対する左右の眼のビューを表す３Ｄペア画像を処理するためのフレームバイオレーション検出器５４０を具備する画像解析装置を提供する。
【００８７】
図１５は、フレームバイオレーション検出器５４０をより詳細に示す図である。フレームバイオレーション検出器５４０は、フローティングウィンドウ検出器８３０、ブロックマッチング部８４０、右のブロックマッチング部８５０、および比較器８６０を具備する。図１５は、左端におけるフレームバイオレーションの検出のために使用される機能を表す。右端におけるフレームバイオレーションの検出には全く同じ技術を利用する（右と左は交換される）が、図を明確にするため、左端の検出のみを示す。
【００８８】
画面の端におけるフレームバイオレーションを検出するために、画像の左右の端上の１６ｘ１６画素のブロックの２列だけを処理して、画像をブロックに分割する。左のブロックマッチング部８４０は、右の画像内における（左の画像の各端の２列内で）左の画像の各ブロックを探索する。右のブロックマッチング部８５０は、左の画像内における（右の画像の各端の２列内で）右の画像の各ブロックを探索する。画像端からのブロックの２列の領域内の検出は、端からの閾値距離（この例では３２画素）内での検出を表す。また、他の閾値距離を代わりに利用することもできる。本発明の実施例では、閾値距離は両方の端において同一であるが、必要に応じて異なるものとすることができる。
【００８９】
左側の端では、左の画像ブロックが右側の画像内で発見されれば、フレームバイオレーションはない。しかし、右の画像ブロックが左の画像内で発見されたが（右の画像内の位置よりもさらに右）、左の画像ブロックが右の画像内で発見されなかった場合、フレームバイオレーションが発生する。
【００９０】
これに対応するテストが、画像の右の端にも適応される。
【００９１】
左の画像の左の端の（３２画素などの）閾値距離内の画像特徴が右の画像で発見されない場合、または右の画像の右の端の閾値距離内の画像特徴が左の画像で発見されない場合、フレームバイオレーションが存在するとして検出されるので、試験を要約することができる。
【００９２】
しかし、フローティングウィンドウがすでに入力ビデオ上に存在する場合、フレームバイオレーションを検出する処理は画像の新しい端のみにおいて始めるべきである。すなわち、フレームバイオレーションの検出は、任意に検出された画像トリミング（フローティングウィンドウ）を除いて、画像の領域内で発生する。すなわち、試験される画素ブロックの２列は、フローティングウィンドウの内部の端、すなわち、フローティングウィンドウによってトリミングされていない画素の第１の列において開始するように配列されるべきである。したがって、閾値距離は検出されたフローティングウィンドウの内部端（からの測定値）で始まる。
【００９３】
フローティングウィンドウが以前に正確に画像に適用されていれば、通常は、フレームバイオレーションは発生しない。しかし、たとえフローティングウィンドウが適用されても、例えば、フローティングウィンドウがフレームバイオレーションをマスクするのに十分に大きくない場合、フレームバイオレーションが検出される可能性は依然としてある。
【００９４】
したがって、フレームバイオレーション検出器５４０は、画像の左側および右側の端においてブラックビデオの存在を検出し、ブラックビデオが検出された場合、その幅を測定するフローティングウィンドウ検出器が提供する（左の画像の左端上および右の画像の右端上の）フローティングウィンドウを検出する前処理ステップによって、１つの画像または両方の画像の側面（左または右の）端における画像トリミングを検出する画像トリミング検出器を提供する。なお、フローティングウィンドウは、通常、ブラックであり、画像の側面端に対して垂直であるように構成され、画像の高さを完全に超えると仮定される。しかし、ブラックの代わりに単純に同一の色にすることができる。これにより、画像トリミングの検出プロセスは、１つ画像の側面端における画像の高さを占める同一の色の一部の存在を検出することができる。暗い色を使用することが多い。０から４のフローティングウィンドウを、ペア画像に関して検出することができる（その４つは２つの画像の各側面端におけるフローティングウィンドウである）。２つ以上の隣接するフローティングウィンドウが特定の端、例えば、複数の隣接する領域において検出された場合、各同一の色（であるが異なる色）、画像の高さ、システムは、複数の領域の幅を組み合わせた単一の複合フローティングウィンドウとしてそれらを処理する。
【００９５】
例えば、左の画像の左側の端上で３画素の幅のフローティングウィンドウが検出された場合、フレームバイオレーションを検出するための（左のブロックマッチング部８４０および右のブロックマッチング部８５０による）画像の左の端上の処理は、画像の下の端から３画素内から始まる。
【００９６】
フレームバイオレーションが検出された場合、検出された各フレームバイオレーションの画像に関連する位置を表す指標を示すように、本装置によって画像の表示を拡張することができる。例えば、ビデオ出力に重ね合わせてフレームバイオレーションの存在や位置を示すことができるテクスチャバッファ（背景：アルファ値０のブラック）に矢印または他のマーカを描画することができる。すなわち、奥行きガイドレンダリング装置が警告マーカを画像に導入して表示画面２１０に表示させるために使用する技術と同じ技術を利用することができる。カメラの収束点の前方において、キャプチャした画像の端の位置で飛んでいる鳥に関して、このような警告マーカの例８７０を図８に概略的に示す。
【００９７】
上述のように、フレームバイオレーションの検出処理は、各端を処理するための単一のＳＰＵ（したがって全部で２つのＳＰＵ）を利用して４分の１のサイズのビデオに対して行う。
【００９８】
［焦点ミスマッチの検出］
本発明の実施形態は、画像解析を利用して左右の画像間の焦点における任意の差異を検出し、ユーザに警告する焦点ミスマッチの警告機能を提供する。このアルゴリズムは焦点レベルで全体のミスマッチを検出しようとし、焦点にミスマッチがあるかもしれない画像の具体的な領域を検出して表示する奥行き検出器５００のブロックマッチング部５０４によって得られるデータを使用し続ける。以下で実装されているアルゴリズムは、画像を処理して画像の複数のブロックに関してそれぞれの局所焦点推定値を検出し、局所焦点推定値を組み合わせて画像焦点の指標を生成する焦点検出器を具備する、画像焦点の指標を生成するための画像解析装置の動作を表す。
【００９９】
全体的な焦点ミスマッチ検出プロセスは、画像全体に焦点が合っているかどうかに関係なく、シーン全体における焦点のミスマッチを検出することを意図している。このようにして、フィールドの奥行き効果や芸術的なピンぼけの原因となる。しかし、少なくとも１つの画像に実質的に焦点が合っている場合、焦点ミスマッチに対する感受性はより大きくなる。
【０１００】
局所焦点ミスマッチの検出は、それぞれのブロックのうちいくつか、または各ブロックの周りにある１群の画素における画像コントラストを検出することによって局所焦点の推定値を検出する。本発明の実施形態において、独立して生成された水平オフセットデータを使用して左右の画像の対応する局所領域の焦点を比較することができる。ミスマッチの具体的な位置は、このようにしてユーザに示される。しかし、ブロックマッチングプロセスのみが１つの画像（本実施形態における左の画像）で発見された垂直エッジの位置において水平オフセット情報を生成するので、局所焦点ミスマッチの警告は、画像に焦点がよく合っている位置においてのみ生成される。
【０１０１】
図１６に、焦点検出器５２０を概略的に示す。
【０１０２】
焦点検出器５２０への入力は、４分の１のサイズのフォーマットにおける左の画像（９００）および右（９１０）の画像、および左右のペア画像に関してブロックマッチング部５０４によって生成された画素のオフセット値のデータである。
【０１０３】
左右の画像は、ＳＰＵ処理として動作し、左右の画像のコントラストマップを生成するそれぞれのコントラストマップ生成器に渡される。そのために、実施形態の１例として、１群の画素、例えば、３ｘ３ウィンドウなどの正方形の画素アレイが、画像内の全ての可能な位置に配置される。また、各点におけるコントラストはウィンドウ内の画素の最大輝度（明度）値−ウィンドウ内の画素の最小輝度（明度）値であると推定される。これは８ビット表示で０〜２５５の値として表現される。本発明の実施形態において、その１群は、それぞれのブロックの周りに位置することができるので、本発明の実施例において、（コントラスト値が関連する）ウィンドウ位置に関する画素または点は、例えば、３ｘ３ウィンドウの中心画素に位置することができる。
【０１０４】
全平均演算／比較器９５０は、左右それぞれの平均値を生成するために、左右の画像の全体のコントラストの平均値を得る。左右の平均値の差異が算出され、左右の画像の全体の焦点の差異の指標として使用される。全平均演算／比較器９５０は、左右の画像の焦点に重大な差異があると決定するために差異値を閾値と比較する。焦点における重大な差異があることは、適切なユーザ表示によってユーザに示すことができる。画像に関連するメタデータに記録することも可能である。
【０１０５】
図１７は、左右の画像の例およびその対応するコントラストマップを示す図である。本装置は、各画像に関する（全体平均などの）焦点の指標を検出し、ペア画像が同程度の焦点を有するかどうかを検出するために焦点の指標を比較する。図に示す例において、左の画像は右の画像よりも焦点が合っているので、コントラストマップのために生成された値はわずかに異なる。平均コントラストも２つのコントラストマップ間で異なる。
【０１０６】
焦点検出器５２０の動作の一部を構成し、図１６に局所のコントラスト平均比較器として記載されている局所の焦点警告プロセスは、ブロックマッチング部５０４が生成した水平オフセット値のデータを使用して、左右の画像の対応する小領域間の焦点を比較することができる。特に、焦点検出器はペア画像の対応する領域の局所焦点の推定値間の差異を検出するように構成することができる。上述のように、焦点検出は、ペア画像における画像特徴間の変位を示す（水平オフセット値のデータなどの）変位データに応答することができる。焦点検出器はペア画像の対応する領域の選択における変位データを適用するように構成される。
【０１０７】
したがって、焦点検出プロセスは、各ペア画像のブロック内の画像コントラストを検出するコントラスト検出器、およびペア画像のそれぞれの領域間のコントラストの差異を検出するコントラスト差検出器を利用する。それぞれの領域は、上述のブロックマッチングプロセスで検出された変位に応答して、比較のために選択される。
【０１０８】
なお、ブロックマッチング部５０４は、左の画像において垂直エッジが検出された画像のこれら小領域上でのみ動作する。すなわち、コントラスト差検出プロセスは、エッジ検出器によってエッジが検出されない画像領域に関するコントラスト差を検出しないように構成される。
【０１０９】
また、ブロックマッチング部５０４は水平オフセット値を得ようとするが、おそらくＳＡＤデータにおいてエイリアシングが検出されることが原因で、水平オフセット値を得ることができない領域も存在する可能性がある。したがって、画像領域の中には関連する水平オフセット値のデータを有する領域もあれば、関連する水平オフセット値のデータを有しない領域もあるので、ブロックマッチング部５０４が出力するデータは少ない。
【０１１０】
左右の画像はインタレースビデオのために６４ｘ６０画素、または６４ｘ３０画素の固定された格子に分割されると考えられる。この格子内の位置を格子位置と呼ぶ。格子のそのような各ブロック内の水平オフセット値（があれば、それ）は、そのブロックの水平視差の単一の平均推定値へと組み合わせられる。ブロック内に水平オフセット値が発見されなければ、そのブロックは無視される。
【０１１１】
図１８に関して、ブロックマッチング部５０４によって水平オフセット値のデータが連続して入手された画像位置を示す小さな四角いアイコン１０１０とともに画像例１０００が示されている。説明を明らかにするために、画像１０００の小領域を拡大図１０２０として示す。
【０１１２】
プロセスの次の部分は、各格子位置のために行われる。格子位置に関する左のコントラストマップ１０３０、および格子位置からの（格子位置に適用可能である）平均水平視差による位置補正のための右のコントラストマップ１０４０がアクセスを受ける。コントラストマップの２つのサブ領域の平均コントラストは、それぞれ左の平均演算部１０５０、および右の平均演算部１０６０によって算出される。減算器１０７０は、一方からもう一方を減算し、絶対差として表現可能な差分を得る。
【０１１３】
比較器１０８０により差分を閾値と比較して、格子位置（すなわち、本実施形態の左のコントラストマップ１０３０に関して使用される格子位置）に関する局所の焦点エラーが存在するかどうかを決定することができる。（減算器１０７０の出力における）差異は、元のブロックマッチングプロセスにおけるエラーを受けやすいので、局所の焦点差異を検出するための閾値は、全体の焦点差異の１０倍である必要がある。局所の焦点差異が検出された領域を、例えば、赤枠で囲むことにより画面上で目立たせることができる。図８において、そのような枠の例を枠１１００として示す。
【特許請求の範囲】
【請求項１】
あるシーンのそれぞれ異なるビューを表す一連の画像のペアを含む３Ｄビデオ信号を処理して画像の奥行き指標を生成する画像解析装置であって、
あるペア画像を構成する２つの画像のうち一方における画像領域と他方における画像領域とを相関させ、前記２つの画像間で対応する画像領域の変位を検出する相関器と、
前記ペア画像の全域において、想定される範囲の変位値について、前記変位の分布を示すグラフィックスを生成するグラフィックス生成器と、
現在のペア画像の現在の表示位置に関するグラフィックスと、複数の先行するペア画像の他の表示位置に関する前記グラフィックスとを表示のために生成することで、前記変位の分布における変動を時間ベースで表示する表示生成器と
を具備する画像解析装置。
【請求項２】
請求項１に記載の画像解析装置であって、
前記グラフィックス生成器は、それぞれが１つまたは複数の想定される変位値を表す複数の想定されるビンの全域において、前記検出された変位を表すヒストグラムを生成する
画像解析装置。
【請求項３】
請求項２に記載の画像解析装置であって、
前記グラフィックス生成器は、対応する表示点の表示輝度によって各ビンの占有率を示す
画像解析装置。
【請求項４】
請求項２または３に記載の画像解析装置であって、
前記グラフィックス生成器は、対応する表示点の色によって、前記ビンを用いて表された前記１つまたは複数の変位値を示す
画像解析装置。
【請求項５】
請求項３または４に記載の画像解析装置であって、
前記グラフィックス生成器は、前記表示点の連結線によってヒストグラムを示す
画像解析装置。
【請求項６】
請求項５に記載の画像解析装置であって、
前記表示生成器は、それぞれが前記ペア画像の時間順におけるヒストグラムに対応する、時間順の多数の表示点からなる直線を表示する
画像解析装置。
【請求項７】
請求項６に記載の画像解析装置であって、
前記表示生成器は、各一連のペア画像に関するヒストグラムが新たに生成されると、当該新たに生成されたヒストグラムのために前記現在のペア画像の表示位置において前記グラフィックスを再描画し、以前のあるペア画像に対応する位置における前記直線内で複数のグラフィックスを再描画する
画像解析装置。
【請求項８】
請求項１〜７のいずれかに記載の画像解析装置であって、
前記相関器は、前記一連の画像のうちのある画像のブロックと前記画像のうちの他の画像の対応する探索エリアとを比較するためのブロックマッチング部を具備する
画像解析装置。
【請求項９】
請求項８に記載の画像解析装置であって、
前記相関器は、前記一連の画像のうちのある画像内のエッジを検出するためのエッジ検出器を具備し、
前記ブロックマッチング部は、エッジを含んでいることが検出されないブロックに関してはブロックマッチングを行わない
画像解析装置。
【請求項１０】
請求項９に記載の画像解析装置であって、
前記エッジ検出器は、垂直から閾角度以上離れたエッジを検出しない
画像解析装置。
【請求項１１】
請求項９または１０に記載の画像解析装置であって、
前記画像のペア間の焦点ミスマッチを検出するための焦点ミスマッチ検出器を具備し、
前記焦点ミスマッチ検出器は、
前記各ペア画像のブロック内で画像コントラストを検出するコントラスト検出器と、
前記ペア画像のそれぞれの領域間のコントラスト差を検出するコントラスト差検出器とを有し、
前記それぞれの領域は、前記相関器によって検出された前記変位に応じて、比較のために選択される
画像解析装置。
【請求項１２】
請求項１１に記載の画像解析装置であって、
前記コントラスト差検出器は、前記エッジ検出器によってエッジが検出されない画像領域に関しては前記コントラスト差を検出しない
画像解析装置。
【請求項１３】
請求項１〜１０のいずれかに記載の画像解析装置であって、
前記画像の複数のブロックに関して、それぞれの局所焦点の推定値を検出し、前記局所焦点の推定値を組み合わせて、当該画像に関する画像焦点指標を生成する焦点検出器を具備する
画像解析装置。
【請求項１４】
請求項１〜１３のいずれかに記載の画像解析装置であって、
前記グラフィックス生成器により処理された前記変位データは、前記検出された画像の変位のうち水平成分のみを含む
画像解析装置。
【請求項１５】
請求項１〜１４のいずれかに記載の画像解析装置であって、
１つまたは複数の前記グラフィック描写のユーザ選択に応答して、記憶されたバージョンの３Ｄビデオ信号の再生を制御する再生コントローラを具備する
画像解析装置。
【請求項１６】
あるシーンのそれぞれ異なるビューを表す一連のペア画像を含む３Ｄビデオ信号を処理して画像の奥行き指標を生成する画像解析方法であって、
あるペア画像を構成する２つの画像のうち一方における画像領域と他方における画像領域とを相関させ、前記２つの画像間で対応する画像領域の変位を検出し、
前記ペア画像の全域において、想定される範囲の変位値について、前記変位の分布を示すグラフィックスを生成し、
現在のペア画像の現在の表示位置に関する前記グラフィックスと、複数の先行するペア画像の他の表示位置に関する前記グラフィックスとを表示のために生成して、前記変位の分布における変動を時間ベースで表示する
画像解析方法。
【請求項１７】
画像を処理して画像焦点指標を生成する画像解析装置であって、
前記画像の複数のブロックに関して、それぞれの局所焦点の推定値を検出し、前記局所焦点の推定値を組み合わせて、その画像に関する前記画像焦点指標を生成する焦点検出器を具備する
画像解析装置。
【請求項１８】
請求項１７に記載の画像解析装置であって、
前記焦点検出器は、前記それぞれのブロックの周囲の一群の画素における画像コントラストを検出することで、前記局所焦点推定値を検出する
画像解析装置。
【請求項１９】
請求項１８に記載の画像解析装置であって、
前記一群の画素は、前記それぞれのブロックを中心として配列された正方形画素アレイを含む
画像解析装置。
【請求項２０】
請求項１８または１９に記載の画像解析装置であって、
前記焦点検出器は、ある群における画素の輝度の最大値と画素の輝度の最小値との差を検出することで、その群における画像コントラストを検出する
画像解析装置。
【請求項２１】
請求項１７〜２０のいずれかに記載の画像解析装置であって、
各ブロックは、それぞれの１つの画素の画像を有する
画像解析装置。
【請求項２２】
請求項１７〜２１のいずれかに記載の画像解析装置であって、
前記画像は、あるシーンのそれぞれ異なるビューを表す３Ｄペア画像であり、
前記焦点検出器は、前記ペア画像の各画像に関して前記焦点指標を検出し、
前記画像解析装置は、前記ペア画像に関する前記焦点指標を比較して、前記ペア画像が同程度の焦点を有するかどうかを検出する
画像解析装置。
【請求項２３】
請求項２２に記載の画像解析装置であって、
前記焦点検出器は、前記ペア画像の対応する領域の局所焦点推定値間の差を検出する
画像解析装置。
【請求項２４】
請求項２３に記載の画像解析装置であって、
当該画像解析装置は、前記ペア画像における画像特徴間の変位を示す変位データを取得し、
前記焦点検出器は、前記変位データを、前記ペア画像の対応する領域の選択に用いる
画像解析装置。
【請求項２５】
画像を処理して画像焦点指標を生成する画像解析方法であって、
前記画像の複数のブロックに関して、それぞれの局所焦点の推定値を検出するステップと、
前記局所焦点の推定値を組み合わせて、前記画像に関する前記画像焦点指標を生成するステップと
を含む画像解析方法。
【請求項２６】
コンピュータに、請求項１６または２５に記載の方法における各ステップを実行させるプログラム。
【請求項２７】
請求項２６に記載のプログラムを記憶した記憶媒体。
【請求項１】
あるシーンのそれぞれ異なるビューを表す一連の画像のペアを含む３Ｄビデオ信号を処理して画像の奥行き指標を生成する画像解析装置であって、
あるペア画像を構成する２つの画像のうち一方における画像領域と他方における画像領域とを相関させ、前記２つの画像間で対応する画像領域の変位を検出する相関器と、
前記ペア画像の全域において、想定される範囲の変位値について、前記変位の分布を示すグラフィックスを生成するグラフィックス生成器と、
現在のペア画像の現在の表示位置に関するグラフィックスと、複数の先行するペア画像の他の表示位置に関する前記グラフィックスとを表示のために生成することで、前記変位の分布における変動を時間ベースで表示する表示生成器と
を具備する画像解析装置。
【請求項２】
請求項１に記載の画像解析装置であって、
前記グラフィックス生成器は、それぞれが１つまたは複数の想定される変位値を表す複数の想定されるビンの全域において、前記検出された変位を表すヒストグラムを生成する
画像解析装置。
【請求項３】
請求項２に記載の画像解析装置であって、
前記グラフィックス生成器は、対応する表示点の表示輝度によって各ビンの占有率を示す
画像解析装置。
【請求項４】
請求項２または３に記載の画像解析装置であって、
前記グラフィックス生成器は、対応する表示点の色によって、前記ビンを用いて表された前記１つまたは複数の変位値を示す
画像解析装置。
【請求項５】
請求項３または４に記載の画像解析装置であって、
前記グラフィックス生成器は、前記表示点の連結線によってヒストグラムを示す
画像解析装置。
【請求項６】
請求項５に記載の画像解析装置であって、
前記表示生成器は、それぞれが前記ペア画像の時間順におけるヒストグラムに対応する、時間順の多数の表示点からなる直線を表示する
画像解析装置。
【請求項７】
請求項６に記載の画像解析装置であって、
前記表示生成器は、各一連のペア画像に関するヒストグラムが新たに生成されると、当該新たに生成されたヒストグラムのために前記現在のペア画像の表示位置において前記グラフィックスを再描画し、以前のあるペア画像に対応する位置における前記直線内で複数のグラフィックスを再描画する
画像解析装置。
【請求項８】
請求項１〜７のいずれかに記載の画像解析装置であって、
前記相関器は、前記一連の画像のうちのある画像のブロックと前記画像のうちの他の画像の対応する探索エリアとを比較するためのブロックマッチング部を具備する
画像解析装置。
【請求項９】
請求項８に記載の画像解析装置であって、
前記相関器は、前記一連の画像のうちのある画像内のエッジを検出するためのエッジ検出器を具備し、
前記ブロックマッチング部は、エッジを含んでいることが検出されないブロックに関してはブロックマッチングを行わない
画像解析装置。
【請求項１０】
請求項９に記載の画像解析装置であって、
前記エッジ検出器は、垂直から閾角度以上離れたエッジを検出しない
画像解析装置。
【請求項１１】
請求項９または１０に記載の画像解析装置であって、
前記画像のペア間の焦点ミスマッチを検出するための焦点ミスマッチ検出器を具備し、
前記焦点ミスマッチ検出器は、
前記各ペア画像のブロック内で画像コントラストを検出するコントラスト検出器と、
前記ペア画像のそれぞれの領域間のコントラスト差を検出するコントラスト差検出器とを有し、
前記それぞれの領域は、前記相関器によって検出された前記変位に応じて、比較のために選択される
画像解析装置。
【請求項１２】
請求項１１に記載の画像解析装置であって、
前記コントラスト差検出器は、前記エッジ検出器によってエッジが検出されない画像領域に関しては前記コントラスト差を検出しない
画像解析装置。
【請求項１３】
請求項１〜１０のいずれかに記載の画像解析装置であって、
前記画像の複数のブロックに関して、それぞれの局所焦点の推定値を検出し、前記局所焦点の推定値を組み合わせて、当該画像に関する画像焦点指標を生成する焦点検出器を具備する
画像解析装置。
【請求項１４】
請求項１〜１３のいずれかに記載の画像解析装置であって、
前記グラフィックス生成器により処理された前記変位データは、前記検出された画像の変位のうち水平成分のみを含む
画像解析装置。
【請求項１５】
請求項１〜１４のいずれかに記載の画像解析装置であって、
１つまたは複数の前記グラフィック描写のユーザ選択に応答して、記憶されたバージョンの３Ｄビデオ信号の再生を制御する再生コントローラを具備する
画像解析装置。
【請求項１６】
あるシーンのそれぞれ異なるビューを表す一連のペア画像を含む３Ｄビデオ信号を処理して画像の奥行き指標を生成する画像解析方法であって、
あるペア画像を構成する２つの画像のうち一方における画像領域と他方における画像領域とを相関させ、前記２つの画像間で対応する画像領域の変位を検出し、
前記ペア画像の全域において、想定される範囲の変位値について、前記変位の分布を示すグラフィックスを生成し、
現在のペア画像の現在の表示位置に関する前記グラフィックスと、複数の先行するペア画像の他の表示位置に関する前記グラフィックスとを表示のために生成して、前記変位の分布における変動を時間ベースで表示する
画像解析方法。
【請求項１７】
画像を処理して画像焦点指標を生成する画像解析装置であって、
前記画像の複数のブロックに関して、それぞれの局所焦点の推定値を検出し、前記局所焦点の推定値を組み合わせて、その画像に関する前記画像焦点指標を生成する焦点検出器を具備する
画像解析装置。
【請求項１８】
請求項１７に記載の画像解析装置であって、
前記焦点検出器は、前記それぞれのブロックの周囲の一群の画素における画像コントラストを検出することで、前記局所焦点推定値を検出する
画像解析装置。
【請求項１９】
請求項１８に記載の画像解析装置であって、
前記一群の画素は、前記それぞれのブロックを中心として配列された正方形画素アレイを含む
画像解析装置。
【請求項２０】
請求項１８または１９に記載の画像解析装置であって、
前記焦点検出器は、ある群における画素の輝度の最大値と画素の輝度の最小値との差を検出することで、その群における画像コントラストを検出する
画像解析装置。
【請求項２１】
請求項１７〜２０のいずれかに記載の画像解析装置であって、
各ブロックは、それぞれの１つの画素の画像を有する
画像解析装置。
【請求項２２】
請求項１７〜２１のいずれかに記載の画像解析装置であって、
前記画像は、あるシーンのそれぞれ異なるビューを表す３Ｄペア画像であり、
前記焦点検出器は、前記ペア画像の各画像に関して前記焦点指標を検出し、
前記画像解析装置は、前記ペア画像に関する前記焦点指標を比較して、前記ペア画像が同程度の焦点を有するかどうかを検出する
画像解析装置。
【請求項２３】
請求項２２に記載の画像解析装置であって、
前記焦点検出器は、前記ペア画像の対応する領域の局所焦点推定値間の差を検出する
画像解析装置。
【請求項２４】
請求項２３に記載の画像解析装置であって、
当該画像解析装置は、前記ペア画像における画像特徴間の変位を示す変位データを取得し、
前記焦点検出器は、前記変位データを、前記ペア画像の対応する領域の選択に用いる
画像解析装置。
【請求項２５】
画像を処理して画像焦点指標を生成する画像解析方法であって、
前記画像の複数のブロックに関して、それぞれの局所焦点の推定値を検出するステップと、
前記局所焦点の推定値を組み合わせて、前記画像に関する前記画像焦点指標を生成するステップと
を含む画像解析方法。
【請求項２６】
コンピュータに、請求項１６または２５に記載の方法における各ステップを実行させるプログラム。
【請求項２７】
請求項２６に記載のプログラムを記憶した記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−２２７９２４（Ｐ２０１２−２２７９２４Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−８５５９４（Ｐ２０１２−８５５９４）
【出願日】平成２４年４月４日（２０１２．４．４）
【出願人】（５９３０８１４０８）ソニー ヨーロッパ リミテッド (93)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１２−８５５９４（Ｐ２０１２−８５５９４）
【出願日】平成２４年４月４日（２０１２．４．４）
【出願人】（５９３０８１４０８）ソニー ヨーロッパ リミテッド (93)
【Ｆターム（参考）】
[ Back to top ]