立体画像の差分データ生成方法並びに画像処理方法及び装置
【課題】３次元立体画像の像差及びミスマッチを測定し、視聴者が不快に感じるレベルを示す。
【解決手段】ダウン・サンプラ３１０は、左画像及び右画像を含む立体映像信号を受けて、垂直方向にダウン・サンプルを行う。アンシャープ・マスク画像生成ブロック３２０は、ダウン・サンプル画像ラインにアンシャープ・マスクをかける。差分測定ブロック３３０は、左画像及び右画像間の複数の相対的シフト量における左画像及び右画像間の複数の比較結果を出力する。画像生成ブロック３４０は、比較結果を受けて、ミスマッチ画像と像差画像を生成する。
【解決手段】ダウン・サンプラ３１０は、左画像及び右画像を含む立体映像信号を受けて、垂直方向にダウン・サンプルを行う。アンシャープ・マスク画像生成ブロック３２０は、ダウン・サンプル画像ラインにアンシャープ・マスクをかける。差分測定ブロック３３０は、左画像及び右画像間の複数の相対的シフト量における左画像及び右画像間の複数の比較結果を出力する。画像生成ブロック３４０は、比較結果を受けて、ミスマッチ画像と像差画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、立体映像の立体特性の測定に関し、特に、左右画像の像差に関する測定に関する。
【背景技術】
【０００２】
本願は、２０１０年１２月２８日に出願された米国仮特許出願第６１／４２７７４３号を基礎とする優先権を主張するものである。
【０００３】
３次元（立体）映像は、わずかに異なる２つの画像（立体画像として知られる）を一定距離にある２つの目に同時に提供するものであるが、この技術が改良されたことで、今、復興のまっただ中にある技術として注目されている。左右の目が水平方向に像差（disparity）のある立体画像の各部分を見たとき、人間の脳はその像差から奥行き感という錯覚（illusion：イリュージョン）を生じる。像差（disparity）とは、左目画像と右目画像の差異のことであり、両眼視差と呼ばれることもある（非特許文献２参照）。初期の立体映画では、異なる色のフィルタを両目それぞれの前に設けることで奥行き感効果を生じさせていたが、この手法は、フルカラーのスクリーン画像には使えない。新しい技術では、両目それぞれの画像を分離するのに偏光フィルタを用いている。多くの映画館がデジタル・プロジェクタを採用し、従来の設備よりも立体画像を容易に投影できるようになったことで、より多く観客にとってこうした技術が身近なものとなっている。図１は、立体画像が見えるメカニズムを状況１０として示したものである。左目２及び右目４は、同じスクリーン６に焦点を合わせているが、フィルタ１２及び１４は、叙述したようなフィルタ技術か、又は別の技術を用いて、各目にわずかに異なる画像が見えるようにしている。脳は、空間的像差、特に、左右の画像中の同じ又は類似する物体の水平方向の像差を、その物体が奥行きを持つとして解釈する。もちろん、実際は、左右の画像それぞれにある２つの物体は同じスクリーン６上に投影されている。そこで、立体画像中の像差を正確に測定し、測定値を理解しやすい情報としてユーザに提供したいというニーズがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許７４０６４９３号公報
【特許文献２】米国特許公開第２００８／０１５２２５７号公報
【特許文献３】米国特許公開第２０１０／０２２６５９２号公報
【非特許文献】
【０００５】
【非特許文献１】「高密度２フレーム・ステレオ対応アルゴリズムの分類法及び評価（A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms）」、［online］、マイクロソフト社技術レポート、MSR-TR-２００１-８１、［平成２３年１２月９日検索］、インターネット（URL: www.research.microsoft.com）
【非特許文献２】「両眼視差」、Wikipedia 日本語版、［平成２３年１２月２２日検索］、インターネット（URL: http://ja.wikipedia.org/wiki/%E4%B8%A1%E7%9C%BC%E8%A6%96%E5%B7%AE）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
３次元画像の空間的像差を測定する方法は複数ある。例えば、www.research.microsoft.comから入手可能なマイクロソフト社技術レポート、MSR-TR-２００１-８１、「高密度２フレーム・ステレオ対応アルゴリズムの分類法及び評価（A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms）」に記載されているものなどである。しかし、これらは複雑で高い演算能力が必要であり、リアルタイム分析に使用するには必要な処理が多すぎて満足できるものではない。
【０００７】
本発明は、従来技術のこれら問題やその他の限界を解決しようとするものである。
【課題を解決するための手段】
【０００８】
本発明の第１観点は、
立体画像の左及び右画像を受けるステップと、
差分データ・グループを生成するステップと、
ミスマッチ画像を生成するステップであって、上記差分データ・グループのマッチング・レベルを示す色を上記ミスマッチ画像上の複数の部分に配置することによって上記ミスマッチ画像を生成するステップと
を具える画像処理方法である。
【０００９】
本発明の第２観点は、第１観点の画像処理方法において、上記左及び右画像が高さと幅を有し、上記差分データ・グループが上記左及び右画像の垂直にダウン・サンプルされたバージョンから生成されることを特徴としている。
【００１０】
本発明の第３観点は、第２観点の画像処理方法において、上記差分データ・グループのそれぞれが、上記左及び右画像の垂直ダウン・サンプル画像ラインの１つに対応することを特徴としている。
【００１１】
本発明の第４観点は、第２観点の画像処理方法において、上記ミスマッチ画像を生成するステップが、上記差分データ・グループの１つのグループから上記ミスマッチ画像の１ラインを生成するステップを有し、上記ミスマッチ画像の上記１ラインが該１ラインが生成される元となった上記立体画像の領域に対応する上記ミスマッチ画像の領域を満たすように垂直に拡大されることを特徴としている。
【００１２】
本発明の第５観点は、左及び右画像の要素を有する立体画像から差分データを生成する立体画像の差分データ生成方法であって、
上記左及び右画像のそれぞれを垂直にダウン・サンプルして、複数のダウン・サンプル画像ラインから構成されるグループを生成するステップと、
ＩＩＲローパス・フィルタを用いて少なくとも１つの上記ダウン・サンプル画像ラインをフィルタ処理してフィルタ処理ダウン・サンプル画像ラインを生成し、該フィルタ処理ダウン・サンプル画像ラインの成分を少なくとも１つの上記ダウン・サンプル画像ラインから除去することによって、少なくとも１つの上記ダウン・サンプル画像ラインのアンシャープ・マスク・バージョンを生成するステップと
を具えている。
【００１３】
本発明の第６観点は、第５観点の立体画像の差分データ生成方法において、上記ダウン・サンプル画像ラインをそれ自身の上記アンシャープ・マスク・バージョンと比較し、その比較結果を記憶することによって、少なくとも１つの上記ダウン・サンプル画像ラインについての差分データのグループを生成するステップを更に具えることを特徴としている。
【００１４】
本発明の第７観点は、第６観点の立体画像の差分データ生成方法であって、記録された上記比較結果は上記左画像についてのものであって、
上記ダウン・サンプル画像ラインをそれ自身の上記アンシャープ・マスク・バージョンと比較し、その比較結果を記憶することによって、上記右画像における少なくとも１つのダウン・サンプル画像ラインについての差分データのグループを生成するステップと、
上記左画像及び上記右画像に由来する記憶した上記比較結果データのグループを互いに比較するステップと
を更に具えていることを特徴としている。
【００１５】
本発明の第８観点は、第７観点の立体画像の差分データ生成方法であって、記憶した上記比較結果データを互いに比較するステップが、記憶した上記比較結果データ間の差分値を定量化するステップと、定量化した上記差分値からアンシャープ・マスク差分の大きさの部分平均値のグループを生成するステップとを有していることを特徴としている。
【００１６】
本発明の第９観点は、第８観点の立体画像の差分データ生成方法において、上記アンシャープ・マスク差分の大きさの部分平均値のグループからミスマッチ画像を生成するステップを更に具えることを特徴としている。
【００１７】
本発明の第１０観点は、第９観点の立体画像の差分データ生成方法において、上記アンシャープ・マスク差分の大きさの部分平均値のグループから像差画像を生成するステップを更に具えることを特徴としている。
【００１８】
本発明の第１１観点は、第６観点の立体画像の差分データ生成方法において、
上記左及び右画像のそれぞれを水平にダウン・サンプルして、複数のダウン・サンプル画像ラインから構成されるグループを生成するか、又は、垂直のダウン・サンプルによって生成された複数の上記ダウン・サンプル画像ラインから構成されるグループを水平にダウン・サンプルするステップを更に具えることを特徴としている。
【００１９】
本発明の第１２観点は、第５観点の立体画像の差分データ生成方法であって、上記ＩＩＲフィルタがａ１＝１−ｂ０の係数を有することを特徴としている。
【００２０】
本発明の第１３観点は、第７観点の立体画像の差分データ生成方法であって、上記差分データのグループを生成するステップが、ａ１＝１−ｂ０の係数を有する双方向ＩＩＲフィルタを用いて上記ダウン・サンプル画像ラインをフィルタ処理するステップを有することを特徴としている。
【００２１】
本発明の第１４観点は、画像処理装置であって、
左画像及び右画像を含む立体映像信号を受ける入力部と、
上記左画像及び上記右画像間の複数の相対的シフト量における上記左画像及び上記右画像間の複数の比較結果を示す出力結果を生成するよう構成された差分測定部と、
上記差分測定部の上記出力結果を入力として受けて、上記左画像及び上記右画像の複数の部分間の相対的像差量を示す複数の画像領域を有するミスマッチ画像を生成するミスマッチ画像生成部と
を具えている。
【００２２】
本発明の第１５観点は、第１４観点の画像処理装置において、上記左画像及び上記右画像をダウン・サンプルするよう構成されたダウン・サンプラを更に具えることを特徴としている。
【００２３】
本発明の第１６観点は、第１５観点の画像処理装置において、上記ダウン・サンプラが、第１ダウン・サンプリング輝度入力部を有する垂直ダウン・サンプラと、第２ダウン・サンプリング輝度入力部を有する水平ダウン・サンプラとを有していることを特徴としている。
【００２４】
本発明の第１７観点は、第１４観点の画像処理装置において、上記左画像及び上記右画像を入力として受けて、アンシャープ・マスクされた画像をそれぞれ出力するアンシャープ・マスク映像生成部を更に具えることを特徴としている。
【００２５】
本発明の第１８観点は、第１４観点の画像処理装置において、アンシャープ・マスク映像生成部が、ａ１＝１−ｂ０の係数を有する双方向ＩＩＲフィルタを有することを特徴としている。
【００２６】
本発明の第１９観点は、第１４観点の画像処理装置において、上記ミスマッチ画像が、上記立体映像入力信号の画像と同じ大きさを持つように大きさが調整されることを特徴としている。
【００２７】
本発明の第２０観点は、第１４観点の画像処理装置において、上記差分測定部の出力を入力として受けて、上記左画像及び上記右画像の複数の部分間の相対的像差を示す複数の画像領域を有する像差画像を生成する像差画像生成部を更に具えることを特徴としている。
【００２８】
本発明の第２１観点は、第２０観点の画像処理装置において、上記像差画像生成部が、ａ１＝１−ｂ０の係数を有する双方向ＩＩＲフィルタを有することを特徴としている。
【００２９】
本発明の目的、効果及び他の新規な点は、以下の詳細な説明を添付の特許請求の範囲及び図面とともに読むことによって明らかとなろう。
【図面の簡単な説明】
【００３０】
【図１】図１は、従来の３Ｄ表示システムの一例のブロック図である。
【図２Ａ】図２Ａは、本発明の実施形態における左目に見えるテスト画像である。
【図２Ｂ】図２Ｂは、本発明の実施形態における右目に見えるテスト画像である。図２Ａ及び図２Ｂを合わせて１つの立体画像と呼ぶ。
【図３】図３は、立体映像における像差を効率よく測定する本発明による実施形態の例のフローチャートである。
【図４】図４は、映像フレームから垂直方向にダウン・サンプルした立体画像の各ラインの平均輝度値の本発明の実施形態によるグラフである。
【図５】図５は、映像フレームから垂直方向にダウン・サンプルした立体画像の各ラインの平均輝度値の本発明の実施形態によるグラフである。
【図６】図６は、図４に描いた左画像の輝度値の連続的な部分平均の本発明の実施形態によるグラフである。
【図７】図７は、図４に描いた右画像の輝度値の連続的な部分平均の本発明の実施形態によるグラフである。
【図８】図８は、左右両方の画像について、ダウン・サンプル画像ラインをそれ自身の部分的平均と比較することによって形成される差分値の本発明の実施形態によるグラフである。
【図９】図９は、部分平均アンシャープ・マスク値の差分の大きさを計算することによって生成された出力結果例を描いた２次元データ・プロット画像である。
【図１０Ａ】図１０Ａは、図９に描かれた垂直サブ画像についてのデータ・プロットのマッチングの測定結果を描いたグラフである。
【図１０Ｂ】図１０Ｂは、図９に描かれた立体画像の特定の１画素のマッチングの測定結果を描いたグラフである。
【図１１】図１１は、本発明の実施形態によって生成された差分値から形成されたミスマッチ画像である。
【図１２】図１２は、本発明の実施形態によって生成された差分値から形成された像差画像である。
【図１３】図１３は、本発明の実施形態を実行するためのシステムの例の機能ブロック図である。
【発明を実施するための形態】
【００３１】
本発明による実施形態は、画像の左右の像差の大きさを測定すると共に、左右画像を同時に見た時の視聴者の潜在的な不快感の指標を測定するためのシステム及び方法に関する。水平方向像差が少ないか又は無い画像については、潜在的な不快感を垂直軸に沿って測定しても良い。
【００３２】
上述の技術レポートで左右画像の対応関係アルゴリズムに関して列挙しているように、像差測定値の生成は、一般的には次の処理ステップからなる。
ａ）各部分（ローカル：局所）レベルで左右画像それぞれの各部分の空間的な合致（マッチング）の程度を示す測定値を定量化する。
ｂ）定量化した各部分レベルの結果を収集する。
ｃ）像差の計算／最適化
ｄ）像差の再調整（refinement）
本発明による実施形態では、これら主要なステップを含むと共に、従来技術の方法のリソースを一部用いながら、もっと良い結果が得られるようにした改良部分が含まれる。
【００３３】
本発明による実施形態は、比較される画像を変更するための１つ以上の事前処理ステップで始めても良い。図２Ａ、図２Ｂ及び図３を参照すると、好ましい実施形態では、立体画像の左右画像（図２Ａ及び図２Ｂ）は、ステップ１０２において、最初に垂直方向にダウン・サンプルされる。例えば、もしオリジナル（元々の）立体画像が、標準のＨＤ映像フレームのような垂直方向に１０８０画素で水平方向に１９２０画素であれば、各画像を１０×１９２０画素画像にダウン・サンプルするとしても良い。これによって、それぞれ１９２０画素の長さがあるぴったり１０個の水平ラインをそれぞれ有する左右１対の画像が形成される。この例では、各ラインは、そのラインを形成するに使われたオリジナル立体画像の１０８個のラインを組合せたものを表し、垂直ダウン・サンプル画像ラインと呼ぶ。なお、実施例では、グレー・スケール画像を描いているが、本発明の実施形態はカラー画像においても同様にうまく動作する。
【００３４】
１０８ラインから１つの垂直ダウン・サンプル画像ラインを生成するには、種々の技術が利用できる。１つの実施形態では、１区画中の１０８ラインそれぞれの第１画素を平均して単一の平均画素値を生成する。次に、１０８ラインそれぞれの全ての第２画素が平均化されて、その垂直ダウン・サンプル画像ライン中の第２画素を生成し、そして同様のことを、１９２０画素の１つの垂直ダウン・サンプル画像ラインが生成されるまで行う。図４は、図２Ａ及び図２Ｂそれぞれについての第１垂直ダウン・サンプル画像ラインに関する平均輝度値をプロットしたグラフである。図５は、図２Ａ及び図２Ｂの第２垂直ダウン・サンプル画像ラインに関する平均輝度値をプロットしたグラフである。図４では、参照符号２０は、図２Ａを１０８０ラインから１０ラインに垂直ダウン・サンプルしたときの第１垂直ダウン・サンプル画像ラインについての平均輝度値をグラフにしたものである。参照符号２２は、図２Ｂをダウン・サンプルしたときの第１垂直ダウン・サンプル画像ラインについての平均輝度値をグラフにしたものである。同様に、図５では、参照符号３０は、図２Ａを垂直方向にダウン・サンプルして得られた第２垂直ダウン・サンプル画像ラインについての平均輝度値を示し、参照符号３２は、図２Ｂに関しての同じものを示す。
【００３５】
その他の事前処理手続では、複数の垂直ダウン・サンプル画像ライン（この例では、長さ１９２０画素）は、ステップ１０４（図３）において、同様に水平方向にダウン・サンプルされて、もっと短いラインとなるようにしても良い。これは、例えば、立体画像の評価に使用するモニタ用の表示装置が１９２０画素の幅より短い場合に有益である。他の実施形態としては、後処理をもっと少ない画素で実行したい場合に水平方向のダウン・サンプルをしても良く、これは演算能力が充分でない場合には重要である。垂直ダウン・サンプル画像ラインを特定の画素数にダウン・サンプルするのではなく、例えば、オリジナルの長さの７０％の長さにするなどように、所与のパーセントでダウン・サンプルするようにしても良い。しかし、こうしたダウン・サンプリングは、システムの演算速度と、測定値全般に関する精度との間でトレードオフ（二律背反）の関係にある。実施形態によっては、垂直及び水平ダウン・サンプリング係数をユーザが調整して入力可能とし、ユーザが演算速度と精度との間でバランスが取れるように、これら係数を調整できるようにしても良い。
【００３６】
実施形態によっては、アンチ・エイリアス・フィルタをサブ・サンプリング（ダウン・サンプリングや、サンプリングされたデータを更にサンプリングしてデータを間引くなどにより、データ量を少なくする処理）の前に用いるようにしても良い。使用するアンチ・エイリアス・フィルタの選択は、利用可能な演算リソースに応じて定めるようにしても良い。例えば、もしハードウェア及びソフトウェア・リソースを十分に利用可能ならば、米国特許７４０６４９３号公報に記載されているようなシーガル・フィルタ（Seagull filter）を用いても良い。これの代わりに、もし演算速度がなかなか得られないのであれば、米国特許公開第２００８／０１５２２５７号公報や米国特許公開第２０１０／０２２６５９２号公報に記載されている双方向ＩＩＲ（無限インパルス応答）ローパス・フィルタをシステムで用いても良い。これら双方向ＩＩＲフィルタは、サブ・サンプリングをする前に用いられる。効率的な演算によるダウン・サンプリングを用いるかもしれない他の方法には、上述と同様な方法を用いた平均化が含まれる。更に、もしアンチ・エイリアス・フィルタ処理に演算リソースを利用できないのであれば、エイリアシングはやむを得ないとして、上述の垂直ダウン・サンプリングで得られた平均を表すラインを単純に間引いて得られる値を用いる（間引きで捨てられた値は用いない）。このように、全ての場合において、全てのデータを用いる必要はない。
【００３７】
次に、実施形態によっては、左右画像それぞれに得られる垂直ダウン・サンプル画像ラインについて、それぞれを双方向ＩＩＲローパス・フィルタでフィルタ処理したもの（バージョン）を用意し、そして、左右画像の垂直ダウン・サンプル画像ラインのそれぞれから、それぞれの双方向ＩＩＲローパス・フィルタ処理バージョンを引き算することによってアンシャープ・マスクをかけても良い。アンシャープ・マスク処理は、画像の鮮鋭度（シャープネス）を高める処理のひとつであり、一般に、オリジナル画像をボカ（アンシャープ）し、オリジナル画像とボカした画像との差分を取る処理を行う。なお、この処理において、上述の米国特許公開公報に開示されているような双方向ＩＩＲローパス・フィルタを用いても良いが、別の技術を用いても良い。これらは、フローチャート１００のステップ１０６として記載されている。双方向ＩＩＲローパス・フィルタの係数としては、ａ１＝１−ｂ０を用いても良い。これによって、垂直ダウン・サンプル画像ラインそれぞれのＤＣ（低周波数）ラインが生成される。図６及び図７は、１つのグラフ上に２つのラインを重ねたものである。図６の基準ライン２０は、図４の基準ライン２０と同じであるが、図６ではｘ軸を長くしている。図６の参照番号２１で示されているラインは、上述した基準ライン２０が双方向ＩＩＲローパス・フィルタを通過した後の出力信号である。同様に、図７の参照番号２３で示されているラインは、図４の基準ライン２２が双方向ＩＩＲローパス・フィルタを通過した後の出力信号であり、部分的（local：ローカル、局所的）な平均値（所定画素数分を平均した値）を連続的に生成する。図６及び７において、ライン２１及び２３をオリジナルのデータ・ライン２０及び２２と比較すれば良く目立つが、双方向ＩＩＲローパス・フィルタにデータを通過させると、効率よく部分的平均値を生成する。
【００３８】
次に、変更を加えた左画像及び右画像から生成された差分値は、上記技術レポート記載の標準的な４つの対応関係測定ステップに送られるが、このとき、有効な結果を生成しつつ、更に演算リソースを低減するために、いくつか異なる処理も行う。技術レポートにおける像差測定処理の第１ステップは、「マッチング・コスト計算」であり、これにおいて、複数の立体画像の各部分を空間的に一致（マッチング）させる値が測定される。技術レポートは、左右画像の差分絶対値、差分の２乗、相互相関、位相又はウェーブレット（wavelet）位相を用いて、差分が計算されると記載している。実際上は、左右画像が互いにシフトされ、複数の異なるシフト量において比較されて、各シフトにおいて各部分が一致するための定量的結果を得る。
【００３９】
本発明による実施形態では、図３及び図６を参照すると、ステップ１０６に示されるように、垂直ダウン・サンプル画像ラインと、それぞれの部分平均値との間の差分値を生成することによって、このステップにおける第１部分が実現される。つまり、オリジナル垂直ダウン・サンプル画像ラインについて計算されたオリジナル輝度値（図４及び図６の基準ライン２０）が、同じ基準ラインのＩＩＲフィルタ処理バージョン（図６の基準ライン２１：部分平均値）と比較されて、そのライン中の１画素につき１個の差分値が生成される。この差分値が図８に示されており、この中で、プロット４０は図２Ａに示す左側立体画像から生じた基準ライン２０及び２１のついての差分値であり、プロット４２は図２Ｂに示す右側立体画像から生じた基準ライン２２及び２３のついての差分値である。図の基準ライン４０及び４２としてプロットされたこれら差分値は、各信号のＡＣ（高周波数）部分であるので、ＡＣラインとも呼ばれる。
【００４０】
本発明による実施形態において、像差（disparity）測定の第２部分は、第１部分で計算された差分値を互いに比較することによって行われる（ステップ１１０）。実施形態によっては、全画素のそれぞれを別の全ての画素のそれぞれと比較するのを省略したり、これの代わりに、ライン中の所定数の画素については比較を省略することによって、演算の節約及び効率化を行うようにしても良い。例えば、図８のライン４０中の各画素をライン４２中の全画素と比較する必要はない。これは、上述したダウン・サンプルにおける間引きと同じ考え方であり、データの新しいコピーを作る必要はない。
【００４１】
技術レポートにおける対応関係を計算する第２ステップは、第１ステップで得られた各部分の結果を集めることである。これらは、典型的には総和（summation）又はＦＩＲ（有限インパルス応答）フィルタを用いて、サイズ、位相等が可変の矩形窓、ガウシアン窓などのような窓関数で定義されるサポート領域を用いて計算される。
【００４２】
本発明による実施形態は、演算効率と精度を改善するものであるが、上述の如く生成された差分値を双方向ＩＩＲローパス・フィルタに通すことによる収集（aggregation）ステップにも言及している。この双方向ＩＩＲローパス・フィルタとしては、例えば、上述の米国特許公開公報に開示されてものとしても良い。このように、収集ステップは、この実施形態の例では、フィルタ処理によって実現している。また、このフィルタ処理を実施するのに、上述の米国特許公開公報で用いているａ１＝１−ｂ０のＩＩＲフィルタ係数と同じ双方向ＩＩＲフィルタ係数を用いても良い。これについては、図３のステップ１１２に記載されている。ローパス・フィルタの出力は、２次元出力で、各列（column：縦の列）は、シフト量を表すデータから形成される。出力例が、図９にデータ・プロット２００として描かれている。１０８０×１９２０の立体画像については、図３のステップ１０２で１０個の水平バンドにダウン・サンプルされ、ステップ１１２で、それぞれが各垂直ダウン・サンプル画像ラインに対応する１０個のデータ・プロット２００が生成される。
【００４３】
より具体的には、図９を参照すると、データ・プロット２００は、シフト量に対して画素レベルの部分的な（局所的な：ローカルな）誤差（error）を示す誤差画像である。例えば、実施形態によっては、データ・プロット２００の一番上のラインは、左画像についての垂直ダウン・サンプル画像ラインを持ってきて、これを右画像についての垂直ダウン・サンプル画像ラインと比較することによって形成されても良い。こうした比較値は、各画素の差分の絶対値としても良い。図９は、図２Ａ及び図２Ｂに描かれたオリジナル立体画像の左右画像の一部分の例を示している。例えば、椅子の背もたれの隙間から見える外のオブジェクトが左右画像間で異なるので、この部分で差分（誤差）が大きいことが、デ―タ・プロット２００の対応する部分の色の変化から読み取れる。左右画像の一部分２０２及び２０４は、第１シフト量において互いに比較され、各画素レベルの比較結果がデータ・プロット２００のデータ要素として記録される。１９２０画素あるラインの比較は、典型的には、データ・プロット２００の各ラインにつき、１９２０−｜シフト量｜（相対的なシフト量の画素数の絶対値）の回数だけ行われる。
【００４４】
データ・プロット中の第２ラインは、ある量だけ左右画像の一部分２０２及び２０４を互いにシフトさせることによって生成される。演算リソースが充分に利用可能なシステムにおいては、左右画像の一部分２０２及び２０４を各比較において１画素だけシフトさせるようにしても良い。しかし、最も典型的には、１度のシフト量を複数画素にして、１度にもっと大きくシフトするようにする。所望の比較が全て終わったら、比較値を記録し、データ・プロット２００が完成する。
【００４５】
技術レポートにおける対応関係を計算する第３ステップは、像差演算／最適化である。これは、典型的には、各画像の部分毎に最もマッチング（合致）するものを取ることによって、素早く実行可能である。例えば、像差の演算は、像差の観点で立体の対応関係を測定するのならば、画素単位で行っても良い。しかし、全ての画素シフト量が計算された後は、そのシフト量のグループ（同じ種類のデータの集合）について、アプリケーションよっては、「滑らかさ（スムースネス：smoothness）」、つまり、問題のありそうな不連続性を評価しても良い。ノイズ・フィルタ、メディアン・フィルタその他のフィルタ処理を用いても良い。本発明の実施形態では、スムースネスが全ての映像で有効になっていると仮定しており、よって、あまり一致（マッチ）しない画像の一部分について像差値を生成することよりも、立体画像中の不一致（no-match：全くマッチしない）領域を検出することの方が価値が高い。
【００４６】
この段階では、本発明の実施形態は、データ・プロット２００から２つのマップ又は画像を生成する。最初に、データ・プロット ２００の各列（column：縦の列）について、最小誤差値が選択され、その値は、図１１に示すミスマッチ画像２１０の画素としてコード化される。このプロセスは、図３では、ステップ１１４として示されている。ミスマッチ画像２１０の一番上のラインは、最初（第１）のデータ・プロット２００の各列における最小値を選択することで形成され、これが垂直ダウン・サンプル処理ステップ１０２（図３参照）によるデータ減少分を補うために、更に１０７回繰り返される（合計１０８回）。つまり、ミスマッチ画像２１０の第１組目の１０８ラインは同一である。これは、この実施形態においては、ミスマッチ画像２１０と、図２Ａ及び図２Ｂに示すオリジナル立体画像が同じ大きさを有することを意味する。同様に、ミスマッチ画像２１０中の２組目の１０８ラインは、第２のデータ・プロット２００から形成されるが、これは、上述のように、第２の垂直ダウン・サンプル画像ライン中の左右画像の一方を他方と比較することによって形成される。このように、比較処理で生成されるデータ・プロット２００のそれぞれは、ミスマッチ画像２１０の対応する水平ラインを生成するのに利用される。全てのデータ・プロット２００から全ての最小誤差値が選択された後、ミスマッチ画像のコントラストが最大になるようにこれら値が正規化（normalize）される。これは、例えば、最小誤差値を０として、０がミスマッチ画像上で黒に見えるようにコード化し、最大誤差値を例えば２１０として、２１０が白に見えるようにコード化するとしても良い。このとき、最大誤差値の２１０というのは、この例において、全てのデータ・プロット２００の全ての列における複数の最小値の中での最大値である。
【００４７】
このミスマッチ画像２１０は、視聴者が立体画像の特定区画について３次元の奥行きをうまく認識できるかどうかを示すものとして機能する。即ち、ミスマッチのレベルが高いほど（これは明るい領域として見える）、視聴者の頭の中で立体画像の左右画像をうまく融像（fusion：２つの左右画像を１つの３Ｄ画像として認識）できるかに関して、視聴者が問題をかかえる可能性が高いことを示している。
【００４８】
また、図９のデータ・プロット２００から、図１２に示すような像差画像２２０が生成される。これは、図３では、ステップ１１６として示されている。像差画像２２０の各画素は、上述のように測定された最小誤差を得るために水平ラインに沿って各画素がシフトしなければならない画素数を表す。即ち、図１１のミスマッチ画像が列それぞれの実際の最小比較値を取ることで形成されたのと異なり、図１２の像差画像は、最小値が現れた各列（column：縦のライン）のライン数に対応するシフト量を図１２の像差画像中にプロットすることで形成される。この実施形態におけるシフト量は、「シフト量＝ライン数×シフト増加量＋初期シフト量」の式によって、ライン数と関係づけられる。ミスマッチ画像２１０と同様に、像差画像２２０は、その１ラインを更に１０７回繰り返すことで形成される。また、ミスマッチ画像２１０と同様に、像差画像中の各水平ラインは、データ・プロット２００の１つに対応する。よって、像差画像２２０も、図２Ａ及び図２Ｂに示すオリジナル立体画像と同じ大きさを有する。
【００４９】
図１０Ａは、図９に示すサブ画像（部分画像）に関するマッチングの測定結果を示すグラフである。このグラフでは、最大値（複数）は、最小差分の大きさを示し、これは、また、部分的（ローカル）平均差分絶対値と補完関係（complement）にある。図１０Ａのカーブの集合は、マッチング（垂直）対画素（水平）のマッチング・カーブがどういうものか示し、各新しいカーブは、計算に使われた新しいオフセット（像差：disparity、つまり、シフト量）を表す。図１０Ｂは、１つの画素（図９に示した第２サブ画像における一番左の５５０番目の画素）についてのマッチングの測定結果を示すもので、マッチング（垂直）対シフト量（水平）のグラフである。グラフにした値も、部分的平均差分絶対値と補完関係にあり（complement）、最小差分の大きさが最大値として示されることを意味している。２つのほぼ同じ大きさの明確なピークがあり、これらはもし必要であれば既知の方法を用いて選択される。
【００５０】
技術レポートにおける対応関係を計算する第４ステップは、第３ステップの像差計算／最適化ステップを再調整（refinement）するものである。再調整は、従来、図１２の像差マップ２２０のような像差マップのデータのある位置の間を補間することで行われている。しかし、本発明の実施形態では、異なる再調整処理を行う。
【００５１】
本発明の実施形態における再調整の第１オプションは、最小値を検索するときに、拡張した水平検索を行うことである。例えば、図３のステップ１１４及び１１６におけるミスマッチ画像及び像差画像を生成するのに使われる最小値が、最小値選択処理において、その満たすべき条件として達するべきしきい値を定めるようにしても良い。これら検索は、検索される値近辺のウィンドウ内で実行されることを思い出してほしい。拡張検索では、もっと大きなウィンドウが作られて検索され、この場合において、水平検索はもちろんであるが、更に垂直検索を含めても良い。
【００５２】
再調整の第２オプションには、サブ領域検索の実行が含まれる。例えば、図９のデータ・プロット２００を検索したときに、もし複数同一の変位が見つかるか、又は、ミスマッチ画像の生成処理で悪いミスマッチが示されたら、特定の垂直区画を２つ（それぞれは、例えば、１０８個のライン代わりに、５４個のラインを平均することで形成される）に分割し、このプロセスをもっと良いマッチング（合致）が見つかるまで繰り返す。この処理は、最小値がしきい値を満たすように、必要ならば、複数回行っても良い。これは、特に、オリジナル立体画像が複数の異なる奥行き平面を含んでいる場合に行われる。
【００５３】
再調整の第３オプションには、映像の一部分である立体画像について、時間適応型検索を行うことが含まれる。映像では、連続するフレームが、現在のフレームにおける像差を予測するのに、前のフレームの像差情報及び差分像差（像差の動き）を利用する。これは、初めから再調整なしで、より良いマッチングの取れた映像を生成する効果がある。具体的には、立体画像の最初の左右フレームについて各画素がマッチング（又はミスマッチ）するためのシフト量を得る処理が終わった後、この情報は、後に続くフレームの各画素をマッチングさせるための開始点として利用される。これは、予測を利用しないシステムに比較して、検索範囲を小さくできるという利点があり、結果として、演算リソースが少なくて済むと同時に、より良い結果が得られる。範囲は、人の目のトラッキング（tracking：追跡、追尾）速度（視角の度数／秒で測定される）及び輻輳（vergence：１つの両眼視を得るための両目の互いに逆向きの動き）調整トラッキング速度に対応したものに制限しても良い。また、例えば、物体トラッキング、線形予測符号化、映像圧縮アルゴリズムにおける既知の動き補償方法など、検索範囲を狭くする以外の技術を本発明と共に用いても良い。
【００５４】
図１３は、効果的に立体像差を測定し、３Ｄ画像の測定値を生成する本発明の実施形態によるシステムの例のブロック図である。分析装置３００は、単体の装置か、又は、もっと大きなシステムの一部分としても良い。分析装置３００は、商用のＯＳが動作し、図示した種々の機能をソフトウェア処理で実現できる汎用コンピュータ（パソコンなど）上で実現しても良い。これらの処理は、個々の処理でも良いし、全てがもっと大きなプログラムのサブ・コンポーネントであっても良い。また、これらの代わりに、分析装置３００が、ＦＰＧＡのような周知のプログラム可能なデバイスの中に形成されるようにしても良い。生産コストの保証があれば、分析装置３００をＡＳＩＣ（特定用途向けＩＣ）の中に実現しても良い。しかし、最も典型的には、分析装置３００は、上述した構成要素のいくつかを組み合わせて１つの装置の中にまとめることで形成される。例えば、ＦＰＧＡを大きな処理のために用いる一方で、汎用コンピュータのハードウェアで動くソフトウェア・ルーチンは、分析装置３００を動作させる際の選択肢をユーザに提供するメニュー・システムを実行するようにしても良い。処理をどのように実現するかの詳細は、仕様の問題であり、一般に上述の種々の実現方法と、これらの利点と欠点に精通したシステム設計者の設計事項である。
【００５５】
左右画像を含む立体映像入力信号が、分析装置３００に入力される。ダウン・サンプル・プロセッサ（ダウン・サンプラ）３１０は、動作の仕様に応じて、垂直又は水平ダウン・サンプル処理を実行するように構成される。ダウン・サンプルする立体画像を多くするほど、必要な演算リソースは減少するが、精密さと正確さが低下するという犠牲も生じる。垂直及び水平ダウン・サンプル処理は異なっていても良く、この場合、画像は水平よりも垂直方向により多くダウン・サンプルされる。
【００５６】
ダウン・サンプルに続いて、アンシャープ・マスク処理プロセッサ３２０は、ダウン・サンプル・プロセッサ３１０の出力を、そのローパス・フィルタ処理したバージョンとを比較することによって、アンシャープ・マスクをかけた画像を生成する。上述のように、ローパス・フィルタ３２２は、ＩＩＲ双方向フィルタを含んでも良い。アンシャープ・マスク処理画像出力は、差分測定ブロック３３０に渡され、これは、左右の両画像について、アンシャープ・マスク処理画像ライン間の差分を、異なる相対的なシフト量において測定する処理を行う。差分測定ブロック３３０は、上述の如く初期差分計算を行うために、絶対値測定機能３３２などの種々のものを用いても良い。次に、差分値は、もう１つ別のＩＩＲローパス・フィルタ３３４のような別の処理に渡され、アンシャープ・マスク差分の大きさの部分的（ローカル）平均出力結果を生成する。この出力結果は、上述のように、２次元のデータ・プロットであり、これは、垂直ダウン・サンプル画像ラインのそれぞれについて生成される。このデータ・プロットは、画像生成ブロック３４０の基本データとして役割を果たし、画像生成ブロック３４０は、データ・プロットからミスマッチ画像と像差画像を生成する。もっと具体的には、像差画像及びミスマッチ画像は、オリジナルの立体画像中の両画像が互いにどの程度マッチング（合致）しているかを示す。像差画像は、各画像の各区画が、他方の画像の対応部分に対して相対的にどの程度離れているかという情報を観察者に提供する。一方、ミスマッチ画像は、この空間シフト量における実際の最小誤差に関する情報であって、左右画像間のミスマッチ量に対応する。ミスマッチ量は、画像を見たときに経験する視覚的不快感を良く表す指標となる。これら画像は、表示画像や分析用記憶画像としてユーザに提供される。
【００５７】
以上、上述した実施形態は、多種多様な置き換えが可能であって、単に説明の都合上に合わせて説明したものに過ぎず、本発明の範囲はこれらに限定されるものではない。
【符号の説明】
【００５８】
２０ 左画像の第１垂直ダウン・サンプル画像ラインの平均輝度値プロット
２１ 基準ライン２０が双方向ＩＩＲローパス・フィルタを通過した後の出力信号
２２ 右画像の第１垂直ダウン・サンプル画像ラインの平均輝度値プロット
２３ 基準ライン２２が双方向ＩＩＲローパス・フィルタを通過した後の出力信号
３０ 左画像の第２垂直ダウン・サンプル画像ラインの平均輝度値プロット
３２ 右画像の第２垂直ダウン・サンプル画像ラインの平均輝度値プロット
４０ 左側立体画像から生じた基準ライン２０及び２１の差分値
４２ 右側立体画像から生じた基準ライン２２及び２３の差分値
２００ データ・プロット
２０２ 図２Ａに示す左画像の一部分
２０４ 図２Ｂに示す右画像の一部分
２０６ 部分画像に関するマッチングの測定結果
２０８ １つの画素のマッピングの測定結果
２１０ ミスマッチ画像
２２０ 像差画像
３００ ３Ｄ画像分析処理装置
３１０ ダウン・サンプル・プロセッサ（ダウン・サンプラ）
３１２ 垂直ダウン・サンプル処理ブロック
３１４ 水平ダウン・サンプル処理ブロック
３２０ アンシャープ・マスク処理プロセッサ
３２２ ローパス・フィルタ
３３０ 差分測定ブロック
３３２ 絶対値測定機能ブロック
３３４ ローパス・フィルタ
３４０ 画像生成ブロック
【技術分野】
【０００１】
本願発明は、立体映像の立体特性の測定に関し、特に、左右画像の像差に関する測定に関する。
【背景技術】
【０００２】
本願は、２０１０年１２月２８日に出願された米国仮特許出願第６１／４２７７４３号を基礎とする優先権を主張するものである。
【０００３】
３次元（立体）映像は、わずかに異なる２つの画像（立体画像として知られる）を一定距離にある２つの目に同時に提供するものであるが、この技術が改良されたことで、今、復興のまっただ中にある技術として注目されている。左右の目が水平方向に像差（disparity）のある立体画像の各部分を見たとき、人間の脳はその像差から奥行き感という錯覚（illusion：イリュージョン）を生じる。像差（disparity）とは、左目画像と右目画像の差異のことであり、両眼視差と呼ばれることもある（非特許文献２参照）。初期の立体映画では、異なる色のフィルタを両目それぞれの前に設けることで奥行き感効果を生じさせていたが、この手法は、フルカラーのスクリーン画像には使えない。新しい技術では、両目それぞれの画像を分離するのに偏光フィルタを用いている。多くの映画館がデジタル・プロジェクタを採用し、従来の設備よりも立体画像を容易に投影できるようになったことで、より多く観客にとってこうした技術が身近なものとなっている。図１は、立体画像が見えるメカニズムを状況１０として示したものである。左目２及び右目４は、同じスクリーン６に焦点を合わせているが、フィルタ１２及び１４は、叙述したようなフィルタ技術か、又は別の技術を用いて、各目にわずかに異なる画像が見えるようにしている。脳は、空間的像差、特に、左右の画像中の同じ又は類似する物体の水平方向の像差を、その物体が奥行きを持つとして解釈する。もちろん、実際は、左右の画像それぞれにある２つの物体は同じスクリーン６上に投影されている。そこで、立体画像中の像差を正確に測定し、測定値を理解しやすい情報としてユーザに提供したいというニーズがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許７４０６４９３号公報
【特許文献２】米国特許公開第２００８／０１５２２５７号公報
【特許文献３】米国特許公開第２０１０／０２２６５９２号公報
【非特許文献】
【０００５】
【非特許文献１】「高密度２フレーム・ステレオ対応アルゴリズムの分類法及び評価（A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms）」、［online］、マイクロソフト社技術レポート、MSR-TR-２００１-８１、［平成２３年１２月９日検索］、インターネット（URL: www.research.microsoft.com）
【非特許文献２】「両眼視差」、Wikipedia 日本語版、［平成２３年１２月２２日検索］、インターネット（URL: http://ja.wikipedia.org/wiki/%E4%B8%A1%E7%9C%BC%E8%A6%96%E5%B7%AE）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
３次元画像の空間的像差を測定する方法は複数ある。例えば、www.research.microsoft.comから入手可能なマイクロソフト社技術レポート、MSR-TR-２００１-８１、「高密度２フレーム・ステレオ対応アルゴリズムの分類法及び評価（A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms）」に記載されているものなどである。しかし、これらは複雑で高い演算能力が必要であり、リアルタイム分析に使用するには必要な処理が多すぎて満足できるものではない。
【０００７】
本発明は、従来技術のこれら問題やその他の限界を解決しようとするものである。
【課題を解決するための手段】
【０００８】
本発明の第１観点は、
立体画像の左及び右画像を受けるステップと、
差分データ・グループを生成するステップと、
ミスマッチ画像を生成するステップであって、上記差分データ・グループのマッチング・レベルを示す色を上記ミスマッチ画像上の複数の部分に配置することによって上記ミスマッチ画像を生成するステップと
を具える画像処理方法である。
【０００９】
本発明の第２観点は、第１観点の画像処理方法において、上記左及び右画像が高さと幅を有し、上記差分データ・グループが上記左及び右画像の垂直にダウン・サンプルされたバージョンから生成されることを特徴としている。
【００１０】
本発明の第３観点は、第２観点の画像処理方法において、上記差分データ・グループのそれぞれが、上記左及び右画像の垂直ダウン・サンプル画像ラインの１つに対応することを特徴としている。
【００１１】
本発明の第４観点は、第２観点の画像処理方法において、上記ミスマッチ画像を生成するステップが、上記差分データ・グループの１つのグループから上記ミスマッチ画像の１ラインを生成するステップを有し、上記ミスマッチ画像の上記１ラインが該１ラインが生成される元となった上記立体画像の領域に対応する上記ミスマッチ画像の領域を満たすように垂直に拡大されることを特徴としている。
【００１２】
本発明の第５観点は、左及び右画像の要素を有する立体画像から差分データを生成する立体画像の差分データ生成方法であって、
上記左及び右画像のそれぞれを垂直にダウン・サンプルして、複数のダウン・サンプル画像ラインから構成されるグループを生成するステップと、
ＩＩＲローパス・フィルタを用いて少なくとも１つの上記ダウン・サンプル画像ラインをフィルタ処理してフィルタ処理ダウン・サンプル画像ラインを生成し、該フィルタ処理ダウン・サンプル画像ラインの成分を少なくとも１つの上記ダウン・サンプル画像ラインから除去することによって、少なくとも１つの上記ダウン・サンプル画像ラインのアンシャープ・マスク・バージョンを生成するステップと
を具えている。
【００１３】
本発明の第６観点は、第５観点の立体画像の差分データ生成方法において、上記ダウン・サンプル画像ラインをそれ自身の上記アンシャープ・マスク・バージョンと比較し、その比較結果を記憶することによって、少なくとも１つの上記ダウン・サンプル画像ラインについての差分データのグループを生成するステップを更に具えることを特徴としている。
【００１４】
本発明の第７観点は、第６観点の立体画像の差分データ生成方法であって、記録された上記比較結果は上記左画像についてのものであって、
上記ダウン・サンプル画像ラインをそれ自身の上記アンシャープ・マスク・バージョンと比較し、その比較結果を記憶することによって、上記右画像における少なくとも１つのダウン・サンプル画像ラインについての差分データのグループを生成するステップと、
上記左画像及び上記右画像に由来する記憶した上記比較結果データのグループを互いに比較するステップと
を更に具えていることを特徴としている。
【００１５】
本発明の第８観点は、第７観点の立体画像の差分データ生成方法であって、記憶した上記比較結果データを互いに比較するステップが、記憶した上記比較結果データ間の差分値を定量化するステップと、定量化した上記差分値からアンシャープ・マスク差分の大きさの部分平均値のグループを生成するステップとを有していることを特徴としている。
【００１６】
本発明の第９観点は、第８観点の立体画像の差分データ生成方法において、上記アンシャープ・マスク差分の大きさの部分平均値のグループからミスマッチ画像を生成するステップを更に具えることを特徴としている。
【００１７】
本発明の第１０観点は、第９観点の立体画像の差分データ生成方法において、上記アンシャープ・マスク差分の大きさの部分平均値のグループから像差画像を生成するステップを更に具えることを特徴としている。
【００１８】
本発明の第１１観点は、第６観点の立体画像の差分データ生成方法において、
上記左及び右画像のそれぞれを水平にダウン・サンプルして、複数のダウン・サンプル画像ラインから構成されるグループを生成するか、又は、垂直のダウン・サンプルによって生成された複数の上記ダウン・サンプル画像ラインから構成されるグループを水平にダウン・サンプルするステップを更に具えることを特徴としている。
【００１９】
本発明の第１２観点は、第５観点の立体画像の差分データ生成方法であって、上記ＩＩＲフィルタがａ１＝１−ｂ０の係数を有することを特徴としている。
【００２０】
本発明の第１３観点は、第７観点の立体画像の差分データ生成方法であって、上記差分データのグループを生成するステップが、ａ１＝１−ｂ０の係数を有する双方向ＩＩＲフィルタを用いて上記ダウン・サンプル画像ラインをフィルタ処理するステップを有することを特徴としている。
【００２１】
本発明の第１４観点は、画像処理装置であって、
左画像及び右画像を含む立体映像信号を受ける入力部と、
上記左画像及び上記右画像間の複数の相対的シフト量における上記左画像及び上記右画像間の複数の比較結果を示す出力結果を生成するよう構成された差分測定部と、
上記差分測定部の上記出力結果を入力として受けて、上記左画像及び上記右画像の複数の部分間の相対的像差量を示す複数の画像領域を有するミスマッチ画像を生成するミスマッチ画像生成部と
を具えている。
【００２２】
本発明の第１５観点は、第１４観点の画像処理装置において、上記左画像及び上記右画像をダウン・サンプルするよう構成されたダウン・サンプラを更に具えることを特徴としている。
【００２３】
本発明の第１６観点は、第１５観点の画像処理装置において、上記ダウン・サンプラが、第１ダウン・サンプリング輝度入力部を有する垂直ダウン・サンプラと、第２ダウン・サンプリング輝度入力部を有する水平ダウン・サンプラとを有していることを特徴としている。
【００２４】
本発明の第１７観点は、第１４観点の画像処理装置において、上記左画像及び上記右画像を入力として受けて、アンシャープ・マスクされた画像をそれぞれ出力するアンシャープ・マスク映像生成部を更に具えることを特徴としている。
【００２５】
本発明の第１８観点は、第１４観点の画像処理装置において、アンシャープ・マスク映像生成部が、ａ１＝１−ｂ０の係数を有する双方向ＩＩＲフィルタを有することを特徴としている。
【００２６】
本発明の第１９観点は、第１４観点の画像処理装置において、上記ミスマッチ画像が、上記立体映像入力信号の画像と同じ大きさを持つように大きさが調整されることを特徴としている。
【００２７】
本発明の第２０観点は、第１４観点の画像処理装置において、上記差分測定部の出力を入力として受けて、上記左画像及び上記右画像の複数の部分間の相対的像差を示す複数の画像領域を有する像差画像を生成する像差画像生成部を更に具えることを特徴としている。
【００２８】
本発明の第２１観点は、第２０観点の画像処理装置において、上記像差画像生成部が、ａ１＝１−ｂ０の係数を有する双方向ＩＩＲフィルタを有することを特徴としている。
【００２９】
本発明の目的、効果及び他の新規な点は、以下の詳細な説明を添付の特許請求の範囲及び図面とともに読むことによって明らかとなろう。
【図面の簡単な説明】
【００３０】
【図１】図１は、従来の３Ｄ表示システムの一例のブロック図である。
【図２Ａ】図２Ａは、本発明の実施形態における左目に見えるテスト画像である。
【図２Ｂ】図２Ｂは、本発明の実施形態における右目に見えるテスト画像である。図２Ａ及び図２Ｂを合わせて１つの立体画像と呼ぶ。
【図３】図３は、立体映像における像差を効率よく測定する本発明による実施形態の例のフローチャートである。
【図４】図４は、映像フレームから垂直方向にダウン・サンプルした立体画像の各ラインの平均輝度値の本発明の実施形態によるグラフである。
【図５】図５は、映像フレームから垂直方向にダウン・サンプルした立体画像の各ラインの平均輝度値の本発明の実施形態によるグラフである。
【図６】図６は、図４に描いた左画像の輝度値の連続的な部分平均の本発明の実施形態によるグラフである。
【図７】図７は、図４に描いた右画像の輝度値の連続的な部分平均の本発明の実施形態によるグラフである。
【図８】図８は、左右両方の画像について、ダウン・サンプル画像ラインをそれ自身の部分的平均と比較することによって形成される差分値の本発明の実施形態によるグラフである。
【図９】図９は、部分平均アンシャープ・マスク値の差分の大きさを計算することによって生成された出力結果例を描いた２次元データ・プロット画像である。
【図１０Ａ】図１０Ａは、図９に描かれた垂直サブ画像についてのデータ・プロットのマッチングの測定結果を描いたグラフである。
【図１０Ｂ】図１０Ｂは、図９に描かれた立体画像の特定の１画素のマッチングの測定結果を描いたグラフである。
【図１１】図１１は、本発明の実施形態によって生成された差分値から形成されたミスマッチ画像である。
【図１２】図１２は、本発明の実施形態によって生成された差分値から形成された像差画像である。
【図１３】図１３は、本発明の実施形態を実行するためのシステムの例の機能ブロック図である。
【発明を実施するための形態】
【００３１】
本発明による実施形態は、画像の左右の像差の大きさを測定すると共に、左右画像を同時に見た時の視聴者の潜在的な不快感の指標を測定するためのシステム及び方法に関する。水平方向像差が少ないか又は無い画像については、潜在的な不快感を垂直軸に沿って測定しても良い。
【００３２】
上述の技術レポートで左右画像の対応関係アルゴリズムに関して列挙しているように、像差測定値の生成は、一般的には次の処理ステップからなる。
ａ）各部分（ローカル：局所）レベルで左右画像それぞれの各部分の空間的な合致（マッチング）の程度を示す測定値を定量化する。
ｂ）定量化した各部分レベルの結果を収集する。
ｃ）像差の計算／最適化
ｄ）像差の再調整（refinement）
本発明による実施形態では、これら主要なステップを含むと共に、従来技術の方法のリソースを一部用いながら、もっと良い結果が得られるようにした改良部分が含まれる。
【００３３】
本発明による実施形態は、比較される画像を変更するための１つ以上の事前処理ステップで始めても良い。図２Ａ、図２Ｂ及び図３を参照すると、好ましい実施形態では、立体画像の左右画像（図２Ａ及び図２Ｂ）は、ステップ１０２において、最初に垂直方向にダウン・サンプルされる。例えば、もしオリジナル（元々の）立体画像が、標準のＨＤ映像フレームのような垂直方向に１０８０画素で水平方向に１９２０画素であれば、各画像を１０×１９２０画素画像にダウン・サンプルするとしても良い。これによって、それぞれ１９２０画素の長さがあるぴったり１０個の水平ラインをそれぞれ有する左右１対の画像が形成される。この例では、各ラインは、そのラインを形成するに使われたオリジナル立体画像の１０８個のラインを組合せたものを表し、垂直ダウン・サンプル画像ラインと呼ぶ。なお、実施例では、グレー・スケール画像を描いているが、本発明の実施形態はカラー画像においても同様にうまく動作する。
【００３４】
１０８ラインから１つの垂直ダウン・サンプル画像ラインを生成するには、種々の技術が利用できる。１つの実施形態では、１区画中の１０８ラインそれぞれの第１画素を平均して単一の平均画素値を生成する。次に、１０８ラインそれぞれの全ての第２画素が平均化されて、その垂直ダウン・サンプル画像ライン中の第２画素を生成し、そして同様のことを、１９２０画素の１つの垂直ダウン・サンプル画像ラインが生成されるまで行う。図４は、図２Ａ及び図２Ｂそれぞれについての第１垂直ダウン・サンプル画像ラインに関する平均輝度値をプロットしたグラフである。図５は、図２Ａ及び図２Ｂの第２垂直ダウン・サンプル画像ラインに関する平均輝度値をプロットしたグラフである。図４では、参照符号２０は、図２Ａを１０８０ラインから１０ラインに垂直ダウン・サンプルしたときの第１垂直ダウン・サンプル画像ラインについての平均輝度値をグラフにしたものである。参照符号２２は、図２Ｂをダウン・サンプルしたときの第１垂直ダウン・サンプル画像ラインについての平均輝度値をグラフにしたものである。同様に、図５では、参照符号３０は、図２Ａを垂直方向にダウン・サンプルして得られた第２垂直ダウン・サンプル画像ラインについての平均輝度値を示し、参照符号３２は、図２Ｂに関しての同じものを示す。
【００３５】
その他の事前処理手続では、複数の垂直ダウン・サンプル画像ライン（この例では、長さ１９２０画素）は、ステップ１０４（図３）において、同様に水平方向にダウン・サンプルされて、もっと短いラインとなるようにしても良い。これは、例えば、立体画像の評価に使用するモニタ用の表示装置が１９２０画素の幅より短い場合に有益である。他の実施形態としては、後処理をもっと少ない画素で実行したい場合に水平方向のダウン・サンプルをしても良く、これは演算能力が充分でない場合には重要である。垂直ダウン・サンプル画像ラインを特定の画素数にダウン・サンプルするのではなく、例えば、オリジナルの長さの７０％の長さにするなどように、所与のパーセントでダウン・サンプルするようにしても良い。しかし、こうしたダウン・サンプリングは、システムの演算速度と、測定値全般に関する精度との間でトレードオフ（二律背反）の関係にある。実施形態によっては、垂直及び水平ダウン・サンプリング係数をユーザが調整して入力可能とし、ユーザが演算速度と精度との間でバランスが取れるように、これら係数を調整できるようにしても良い。
【００３６】
実施形態によっては、アンチ・エイリアス・フィルタをサブ・サンプリング（ダウン・サンプリングや、サンプリングされたデータを更にサンプリングしてデータを間引くなどにより、データ量を少なくする処理）の前に用いるようにしても良い。使用するアンチ・エイリアス・フィルタの選択は、利用可能な演算リソースに応じて定めるようにしても良い。例えば、もしハードウェア及びソフトウェア・リソースを十分に利用可能ならば、米国特許７４０６４９３号公報に記載されているようなシーガル・フィルタ（Seagull filter）を用いても良い。これの代わりに、もし演算速度がなかなか得られないのであれば、米国特許公開第２００８／０１５２２５７号公報や米国特許公開第２０１０／０２２６５９２号公報に記載されている双方向ＩＩＲ（無限インパルス応答）ローパス・フィルタをシステムで用いても良い。これら双方向ＩＩＲフィルタは、サブ・サンプリングをする前に用いられる。効率的な演算によるダウン・サンプリングを用いるかもしれない他の方法には、上述と同様な方法を用いた平均化が含まれる。更に、もしアンチ・エイリアス・フィルタ処理に演算リソースを利用できないのであれば、エイリアシングはやむを得ないとして、上述の垂直ダウン・サンプリングで得られた平均を表すラインを単純に間引いて得られる値を用いる（間引きで捨てられた値は用いない）。このように、全ての場合において、全てのデータを用いる必要はない。
【００３７】
次に、実施形態によっては、左右画像それぞれに得られる垂直ダウン・サンプル画像ラインについて、それぞれを双方向ＩＩＲローパス・フィルタでフィルタ処理したもの（バージョン）を用意し、そして、左右画像の垂直ダウン・サンプル画像ラインのそれぞれから、それぞれの双方向ＩＩＲローパス・フィルタ処理バージョンを引き算することによってアンシャープ・マスクをかけても良い。アンシャープ・マスク処理は、画像の鮮鋭度（シャープネス）を高める処理のひとつであり、一般に、オリジナル画像をボカ（アンシャープ）し、オリジナル画像とボカした画像との差分を取る処理を行う。なお、この処理において、上述の米国特許公開公報に開示されているような双方向ＩＩＲローパス・フィルタを用いても良いが、別の技術を用いても良い。これらは、フローチャート１００のステップ１０６として記載されている。双方向ＩＩＲローパス・フィルタの係数としては、ａ１＝１−ｂ０を用いても良い。これによって、垂直ダウン・サンプル画像ラインそれぞれのＤＣ（低周波数）ラインが生成される。図６及び図７は、１つのグラフ上に２つのラインを重ねたものである。図６の基準ライン２０は、図４の基準ライン２０と同じであるが、図６ではｘ軸を長くしている。図６の参照番号２１で示されているラインは、上述した基準ライン２０が双方向ＩＩＲローパス・フィルタを通過した後の出力信号である。同様に、図７の参照番号２３で示されているラインは、図４の基準ライン２２が双方向ＩＩＲローパス・フィルタを通過した後の出力信号であり、部分的（local：ローカル、局所的）な平均値（所定画素数分を平均した値）を連続的に生成する。図６及び７において、ライン２１及び２３をオリジナルのデータ・ライン２０及び２２と比較すれば良く目立つが、双方向ＩＩＲローパス・フィルタにデータを通過させると、効率よく部分的平均値を生成する。
【００３８】
次に、変更を加えた左画像及び右画像から生成された差分値は、上記技術レポート記載の標準的な４つの対応関係測定ステップに送られるが、このとき、有効な結果を生成しつつ、更に演算リソースを低減するために、いくつか異なる処理も行う。技術レポートにおける像差測定処理の第１ステップは、「マッチング・コスト計算」であり、これにおいて、複数の立体画像の各部分を空間的に一致（マッチング）させる値が測定される。技術レポートは、左右画像の差分絶対値、差分の２乗、相互相関、位相又はウェーブレット（wavelet）位相を用いて、差分が計算されると記載している。実際上は、左右画像が互いにシフトされ、複数の異なるシフト量において比較されて、各シフトにおいて各部分が一致するための定量的結果を得る。
【００３９】
本発明による実施形態では、図３及び図６を参照すると、ステップ１０６に示されるように、垂直ダウン・サンプル画像ラインと、それぞれの部分平均値との間の差分値を生成することによって、このステップにおける第１部分が実現される。つまり、オリジナル垂直ダウン・サンプル画像ラインについて計算されたオリジナル輝度値（図４及び図６の基準ライン２０）が、同じ基準ラインのＩＩＲフィルタ処理バージョン（図６の基準ライン２１：部分平均値）と比較されて、そのライン中の１画素につき１個の差分値が生成される。この差分値が図８に示されており、この中で、プロット４０は図２Ａに示す左側立体画像から生じた基準ライン２０及び２１のついての差分値であり、プロット４２は図２Ｂに示す右側立体画像から生じた基準ライン２２及び２３のついての差分値である。図の基準ライン４０及び４２としてプロットされたこれら差分値は、各信号のＡＣ（高周波数）部分であるので、ＡＣラインとも呼ばれる。
【００４０】
本発明による実施形態において、像差（disparity）測定の第２部分は、第１部分で計算された差分値を互いに比較することによって行われる（ステップ１１０）。実施形態によっては、全画素のそれぞれを別の全ての画素のそれぞれと比較するのを省略したり、これの代わりに、ライン中の所定数の画素については比較を省略することによって、演算の節約及び効率化を行うようにしても良い。例えば、図８のライン４０中の各画素をライン４２中の全画素と比較する必要はない。これは、上述したダウン・サンプルにおける間引きと同じ考え方であり、データの新しいコピーを作る必要はない。
【００４１】
技術レポートにおける対応関係を計算する第２ステップは、第１ステップで得られた各部分の結果を集めることである。これらは、典型的には総和（summation）又はＦＩＲ（有限インパルス応答）フィルタを用いて、サイズ、位相等が可変の矩形窓、ガウシアン窓などのような窓関数で定義されるサポート領域を用いて計算される。
【００４２】
本発明による実施形態は、演算効率と精度を改善するものであるが、上述の如く生成された差分値を双方向ＩＩＲローパス・フィルタに通すことによる収集（aggregation）ステップにも言及している。この双方向ＩＩＲローパス・フィルタとしては、例えば、上述の米国特許公開公報に開示されてものとしても良い。このように、収集ステップは、この実施形態の例では、フィルタ処理によって実現している。また、このフィルタ処理を実施するのに、上述の米国特許公開公報で用いているａ１＝１−ｂ０のＩＩＲフィルタ係数と同じ双方向ＩＩＲフィルタ係数を用いても良い。これについては、図３のステップ１１２に記載されている。ローパス・フィルタの出力は、２次元出力で、各列（column：縦の列）は、シフト量を表すデータから形成される。出力例が、図９にデータ・プロット２００として描かれている。１０８０×１９２０の立体画像については、図３のステップ１０２で１０個の水平バンドにダウン・サンプルされ、ステップ１１２で、それぞれが各垂直ダウン・サンプル画像ラインに対応する１０個のデータ・プロット２００が生成される。
【００４３】
より具体的には、図９を参照すると、データ・プロット２００は、シフト量に対して画素レベルの部分的な（局所的な：ローカルな）誤差（error）を示す誤差画像である。例えば、実施形態によっては、データ・プロット２００の一番上のラインは、左画像についての垂直ダウン・サンプル画像ラインを持ってきて、これを右画像についての垂直ダウン・サンプル画像ラインと比較することによって形成されても良い。こうした比較値は、各画素の差分の絶対値としても良い。図９は、図２Ａ及び図２Ｂに描かれたオリジナル立体画像の左右画像の一部分の例を示している。例えば、椅子の背もたれの隙間から見える外のオブジェクトが左右画像間で異なるので、この部分で差分（誤差）が大きいことが、デ―タ・プロット２００の対応する部分の色の変化から読み取れる。左右画像の一部分２０２及び２０４は、第１シフト量において互いに比較され、各画素レベルの比較結果がデータ・プロット２００のデータ要素として記録される。１９２０画素あるラインの比較は、典型的には、データ・プロット２００の各ラインにつき、１９２０−｜シフト量｜（相対的なシフト量の画素数の絶対値）の回数だけ行われる。
【００４４】
データ・プロット中の第２ラインは、ある量だけ左右画像の一部分２０２及び２０４を互いにシフトさせることによって生成される。演算リソースが充分に利用可能なシステムにおいては、左右画像の一部分２０２及び２０４を各比較において１画素だけシフトさせるようにしても良い。しかし、最も典型的には、１度のシフト量を複数画素にして、１度にもっと大きくシフトするようにする。所望の比較が全て終わったら、比較値を記録し、データ・プロット２００が完成する。
【００４５】
技術レポートにおける対応関係を計算する第３ステップは、像差演算／最適化である。これは、典型的には、各画像の部分毎に最もマッチング（合致）するものを取ることによって、素早く実行可能である。例えば、像差の演算は、像差の観点で立体の対応関係を測定するのならば、画素単位で行っても良い。しかし、全ての画素シフト量が計算された後は、そのシフト量のグループ（同じ種類のデータの集合）について、アプリケーションよっては、「滑らかさ（スムースネス：smoothness）」、つまり、問題のありそうな不連続性を評価しても良い。ノイズ・フィルタ、メディアン・フィルタその他のフィルタ処理を用いても良い。本発明の実施形態では、スムースネスが全ての映像で有効になっていると仮定しており、よって、あまり一致（マッチ）しない画像の一部分について像差値を生成することよりも、立体画像中の不一致（no-match：全くマッチしない）領域を検出することの方が価値が高い。
【００４６】
この段階では、本発明の実施形態は、データ・プロット２００から２つのマップ又は画像を生成する。最初に、データ・プロット ２００の各列（column：縦の列）について、最小誤差値が選択され、その値は、図１１に示すミスマッチ画像２１０の画素としてコード化される。このプロセスは、図３では、ステップ１１４として示されている。ミスマッチ画像２１０の一番上のラインは、最初（第１）のデータ・プロット２００の各列における最小値を選択することで形成され、これが垂直ダウン・サンプル処理ステップ１０２（図３参照）によるデータ減少分を補うために、更に１０７回繰り返される（合計１０８回）。つまり、ミスマッチ画像２１０の第１組目の１０８ラインは同一である。これは、この実施形態においては、ミスマッチ画像２１０と、図２Ａ及び図２Ｂに示すオリジナル立体画像が同じ大きさを有することを意味する。同様に、ミスマッチ画像２１０中の２組目の１０８ラインは、第２のデータ・プロット２００から形成されるが、これは、上述のように、第２の垂直ダウン・サンプル画像ライン中の左右画像の一方を他方と比較することによって形成される。このように、比較処理で生成されるデータ・プロット２００のそれぞれは、ミスマッチ画像２１０の対応する水平ラインを生成するのに利用される。全てのデータ・プロット２００から全ての最小誤差値が選択された後、ミスマッチ画像のコントラストが最大になるようにこれら値が正規化（normalize）される。これは、例えば、最小誤差値を０として、０がミスマッチ画像上で黒に見えるようにコード化し、最大誤差値を例えば２１０として、２１０が白に見えるようにコード化するとしても良い。このとき、最大誤差値の２１０というのは、この例において、全てのデータ・プロット２００の全ての列における複数の最小値の中での最大値である。
【００４７】
このミスマッチ画像２１０は、視聴者が立体画像の特定区画について３次元の奥行きをうまく認識できるかどうかを示すものとして機能する。即ち、ミスマッチのレベルが高いほど（これは明るい領域として見える）、視聴者の頭の中で立体画像の左右画像をうまく融像（fusion：２つの左右画像を１つの３Ｄ画像として認識）できるかに関して、視聴者が問題をかかえる可能性が高いことを示している。
【００４８】
また、図９のデータ・プロット２００から、図１２に示すような像差画像２２０が生成される。これは、図３では、ステップ１１６として示されている。像差画像２２０の各画素は、上述のように測定された最小誤差を得るために水平ラインに沿って各画素がシフトしなければならない画素数を表す。即ち、図１１のミスマッチ画像が列それぞれの実際の最小比較値を取ることで形成されたのと異なり、図１２の像差画像は、最小値が現れた各列（column：縦のライン）のライン数に対応するシフト量を図１２の像差画像中にプロットすることで形成される。この実施形態におけるシフト量は、「シフト量＝ライン数×シフト増加量＋初期シフト量」の式によって、ライン数と関係づけられる。ミスマッチ画像２１０と同様に、像差画像２２０は、その１ラインを更に１０７回繰り返すことで形成される。また、ミスマッチ画像２１０と同様に、像差画像中の各水平ラインは、データ・プロット２００の１つに対応する。よって、像差画像２２０も、図２Ａ及び図２Ｂに示すオリジナル立体画像と同じ大きさを有する。
【００４９】
図１０Ａは、図９に示すサブ画像（部分画像）に関するマッチングの測定結果を示すグラフである。このグラフでは、最大値（複数）は、最小差分の大きさを示し、これは、また、部分的（ローカル）平均差分絶対値と補完関係（complement）にある。図１０Ａのカーブの集合は、マッチング（垂直）対画素（水平）のマッチング・カーブがどういうものか示し、各新しいカーブは、計算に使われた新しいオフセット（像差：disparity、つまり、シフト量）を表す。図１０Ｂは、１つの画素（図９に示した第２サブ画像における一番左の５５０番目の画素）についてのマッチングの測定結果を示すもので、マッチング（垂直）対シフト量（水平）のグラフである。グラフにした値も、部分的平均差分絶対値と補完関係にあり（complement）、最小差分の大きさが最大値として示されることを意味している。２つのほぼ同じ大きさの明確なピークがあり、これらはもし必要であれば既知の方法を用いて選択される。
【００５０】
技術レポートにおける対応関係を計算する第４ステップは、第３ステップの像差計算／最適化ステップを再調整（refinement）するものである。再調整は、従来、図１２の像差マップ２２０のような像差マップのデータのある位置の間を補間することで行われている。しかし、本発明の実施形態では、異なる再調整処理を行う。
【００５１】
本発明の実施形態における再調整の第１オプションは、最小値を検索するときに、拡張した水平検索を行うことである。例えば、図３のステップ１１４及び１１６におけるミスマッチ画像及び像差画像を生成するのに使われる最小値が、最小値選択処理において、その満たすべき条件として達するべきしきい値を定めるようにしても良い。これら検索は、検索される値近辺のウィンドウ内で実行されることを思い出してほしい。拡張検索では、もっと大きなウィンドウが作られて検索され、この場合において、水平検索はもちろんであるが、更に垂直検索を含めても良い。
【００５２】
再調整の第２オプションには、サブ領域検索の実行が含まれる。例えば、図９のデータ・プロット２００を検索したときに、もし複数同一の変位が見つかるか、又は、ミスマッチ画像の生成処理で悪いミスマッチが示されたら、特定の垂直区画を２つ（それぞれは、例えば、１０８個のライン代わりに、５４個のラインを平均することで形成される）に分割し、このプロセスをもっと良いマッチング（合致）が見つかるまで繰り返す。この処理は、最小値がしきい値を満たすように、必要ならば、複数回行っても良い。これは、特に、オリジナル立体画像が複数の異なる奥行き平面を含んでいる場合に行われる。
【００５３】
再調整の第３オプションには、映像の一部分である立体画像について、時間適応型検索を行うことが含まれる。映像では、連続するフレームが、現在のフレームにおける像差を予測するのに、前のフレームの像差情報及び差分像差（像差の動き）を利用する。これは、初めから再調整なしで、より良いマッチングの取れた映像を生成する効果がある。具体的には、立体画像の最初の左右フレームについて各画素がマッチング（又はミスマッチ）するためのシフト量を得る処理が終わった後、この情報は、後に続くフレームの各画素をマッチングさせるための開始点として利用される。これは、予測を利用しないシステムに比較して、検索範囲を小さくできるという利点があり、結果として、演算リソースが少なくて済むと同時に、より良い結果が得られる。範囲は、人の目のトラッキング（tracking：追跡、追尾）速度（視角の度数／秒で測定される）及び輻輳（vergence：１つの両眼視を得るための両目の互いに逆向きの動き）調整トラッキング速度に対応したものに制限しても良い。また、例えば、物体トラッキング、線形予測符号化、映像圧縮アルゴリズムにおける既知の動き補償方法など、検索範囲を狭くする以外の技術を本発明と共に用いても良い。
【００５４】
図１３は、効果的に立体像差を測定し、３Ｄ画像の測定値を生成する本発明の実施形態によるシステムの例のブロック図である。分析装置３００は、単体の装置か、又は、もっと大きなシステムの一部分としても良い。分析装置３００は、商用のＯＳが動作し、図示した種々の機能をソフトウェア処理で実現できる汎用コンピュータ（パソコンなど）上で実現しても良い。これらの処理は、個々の処理でも良いし、全てがもっと大きなプログラムのサブ・コンポーネントであっても良い。また、これらの代わりに、分析装置３００が、ＦＰＧＡのような周知のプログラム可能なデバイスの中に形成されるようにしても良い。生産コストの保証があれば、分析装置３００をＡＳＩＣ（特定用途向けＩＣ）の中に実現しても良い。しかし、最も典型的には、分析装置３００は、上述した構成要素のいくつかを組み合わせて１つの装置の中にまとめることで形成される。例えば、ＦＰＧＡを大きな処理のために用いる一方で、汎用コンピュータのハードウェアで動くソフトウェア・ルーチンは、分析装置３００を動作させる際の選択肢をユーザに提供するメニュー・システムを実行するようにしても良い。処理をどのように実現するかの詳細は、仕様の問題であり、一般に上述の種々の実現方法と、これらの利点と欠点に精通したシステム設計者の設計事項である。
【００５５】
左右画像を含む立体映像入力信号が、分析装置３００に入力される。ダウン・サンプル・プロセッサ（ダウン・サンプラ）３１０は、動作の仕様に応じて、垂直又は水平ダウン・サンプル処理を実行するように構成される。ダウン・サンプルする立体画像を多くするほど、必要な演算リソースは減少するが、精密さと正確さが低下するという犠牲も生じる。垂直及び水平ダウン・サンプル処理は異なっていても良く、この場合、画像は水平よりも垂直方向により多くダウン・サンプルされる。
【００５６】
ダウン・サンプルに続いて、アンシャープ・マスク処理プロセッサ３２０は、ダウン・サンプル・プロセッサ３１０の出力を、そのローパス・フィルタ処理したバージョンとを比較することによって、アンシャープ・マスクをかけた画像を生成する。上述のように、ローパス・フィルタ３２２は、ＩＩＲ双方向フィルタを含んでも良い。アンシャープ・マスク処理画像出力は、差分測定ブロック３３０に渡され、これは、左右の両画像について、アンシャープ・マスク処理画像ライン間の差分を、異なる相対的なシフト量において測定する処理を行う。差分測定ブロック３３０は、上述の如く初期差分計算を行うために、絶対値測定機能３３２などの種々のものを用いても良い。次に、差分値は、もう１つ別のＩＩＲローパス・フィルタ３３４のような別の処理に渡され、アンシャープ・マスク差分の大きさの部分的（ローカル）平均出力結果を生成する。この出力結果は、上述のように、２次元のデータ・プロットであり、これは、垂直ダウン・サンプル画像ラインのそれぞれについて生成される。このデータ・プロットは、画像生成ブロック３４０の基本データとして役割を果たし、画像生成ブロック３４０は、データ・プロットからミスマッチ画像と像差画像を生成する。もっと具体的には、像差画像及びミスマッチ画像は、オリジナルの立体画像中の両画像が互いにどの程度マッチング（合致）しているかを示す。像差画像は、各画像の各区画が、他方の画像の対応部分に対して相対的にどの程度離れているかという情報を観察者に提供する。一方、ミスマッチ画像は、この空間シフト量における実際の最小誤差に関する情報であって、左右画像間のミスマッチ量に対応する。ミスマッチ量は、画像を見たときに経験する視覚的不快感を良く表す指標となる。これら画像は、表示画像や分析用記憶画像としてユーザに提供される。
【００５７】
以上、上述した実施形態は、多種多様な置き換えが可能であって、単に説明の都合上に合わせて説明したものに過ぎず、本発明の範囲はこれらに限定されるものではない。
【符号の説明】
【００５８】
２０ 左画像の第１垂直ダウン・サンプル画像ラインの平均輝度値プロット
２１ 基準ライン２０が双方向ＩＩＲローパス・フィルタを通過した後の出力信号
２２ 右画像の第１垂直ダウン・サンプル画像ラインの平均輝度値プロット
２３ 基準ライン２２が双方向ＩＩＲローパス・フィルタを通過した後の出力信号
３０ 左画像の第２垂直ダウン・サンプル画像ラインの平均輝度値プロット
３２ 右画像の第２垂直ダウン・サンプル画像ラインの平均輝度値プロット
４０ 左側立体画像から生じた基準ライン２０及び２１の差分値
４２ 右側立体画像から生じた基準ライン２２及び２３の差分値
２００ データ・プロット
２０２ 図２Ａに示す左画像の一部分
２０４ 図２Ｂに示す右画像の一部分
２０６ 部分画像に関するマッチングの測定結果
２０８ １つの画素のマッピングの測定結果
２１０ ミスマッチ画像
２２０ 像差画像
３００ ３Ｄ画像分析処理装置
３１０ ダウン・サンプル・プロセッサ（ダウン・サンプラ）
３１２ 垂直ダウン・サンプル処理ブロック
３１４ 水平ダウン・サンプル処理ブロック
３２０ アンシャープ・マスク処理プロセッサ
３２２ ローパス・フィルタ
３３０ 差分測定ブロック
３３２ 絶対値測定機能ブロック
３３４ ローパス・フィルタ
３４０ 画像生成ブロック
【特許請求の範囲】
【請求項１】
左及び右画像の要素を有する立体画像から差分データを生成する立体画像の差分データ生成方法であって、
上記左及び右画像のそれぞれを垂直にダウン・サンプルして、複数のダウン・サンプル画像ラインから構成されるグループを生成するステップと、
ＩＩＲローパス・フィルタを用いて少なくとも１つの上記ダウン・サンプル画像ラインをフィルタ処理してフィルタ処理ダウン・サンプル画像ラインを生成し、該フィルタ処理ダウン・サンプル画像ラインの成分を少なくとも１つの上記ダウン・サンプル画像ラインから除去することによって、少なくとも１つの上記ダウン・サンプル画像ラインのアンシャープ・マスク・バージョンを生成するステップと
を具える立体画像の差分データ生成方法。
【請求項２】
上記ダウン・サンプル画像ラインをそれ自身の上記アンシャープ・マスク・バージョンと比較し、その比較結果を記憶することによって、少なくとも１つの上記ダウン・サンプル画像ラインについての差分データのグループを生成するステップを更に具える請求項１記載の立体画像の差分データ生成方法。
【請求項３】
請求項２記載の立体画像の差分データ生成方法において、記録された上記比較結果は上記左画像についてのものであって、
上記ダウン・サンプル画像ラインをそれ自身の上記アンシャープ・マスク・バージョンと比較し、その比較結果を記憶することによって、上記右画像における少なくとも１つのダウン・サンプル画像ラインについての差分データのグループを生成するステップと、
上記左画像及び上記右画像に由来する記憶した上記比較結果データのグループを互いに比較するステップと
を更に具える請求項２記載の立体画像の差分データ生成方法。
【請求項４】
左画像及び右画像を含む立体映像信号を受ける入力部と、
上記左画像及び上記右画像間の複数の相対的シフト量における上記左画像及び上記右画像間の複数の比較結果を示す出力結果を生成するよう構成された差分測定部と、
上記差分測定部の上記出力結果を入力として受けて、上記左画像及び上記右画像の部分間の相対的像差量を示す複数の画像領域を有するミスマッチ画像を生成するミスマッチ画像生成部と
を具える画像処理装置。
【請求項５】
立体画像の左及び右画像を受けるステップと、
差分データ・グループを生成するステップと、
上記差分データ・グループのマッチング・レベルを示す色を配置することによってミスマッチ画像を生成するステップと
を具える画像処理方法。
【請求項１】
左及び右画像の要素を有する立体画像から差分データを生成する立体画像の差分データ生成方法であって、
上記左及び右画像のそれぞれを垂直にダウン・サンプルして、複数のダウン・サンプル画像ラインから構成されるグループを生成するステップと、
ＩＩＲローパス・フィルタを用いて少なくとも１つの上記ダウン・サンプル画像ラインをフィルタ処理してフィルタ処理ダウン・サンプル画像ラインを生成し、該フィルタ処理ダウン・サンプル画像ラインの成分を少なくとも１つの上記ダウン・サンプル画像ラインから除去することによって、少なくとも１つの上記ダウン・サンプル画像ラインのアンシャープ・マスク・バージョンを生成するステップと
を具える立体画像の差分データ生成方法。
【請求項２】
上記ダウン・サンプル画像ラインをそれ自身の上記アンシャープ・マスク・バージョンと比較し、その比較結果を記憶することによって、少なくとも１つの上記ダウン・サンプル画像ラインについての差分データのグループを生成するステップを更に具える請求項１記載の立体画像の差分データ生成方法。
【請求項３】
請求項２記載の立体画像の差分データ生成方法において、記録された上記比較結果は上記左画像についてのものであって、
上記ダウン・サンプル画像ラインをそれ自身の上記アンシャープ・マスク・バージョンと比較し、その比較結果を記憶することによって、上記右画像における少なくとも１つのダウン・サンプル画像ラインについての差分データのグループを生成するステップと、
上記左画像及び上記右画像に由来する記憶した上記比較結果データのグループを互いに比較するステップと
を更に具える請求項２記載の立体画像の差分データ生成方法。
【請求項４】
左画像及び右画像を含む立体映像信号を受ける入力部と、
上記左画像及び上記右画像間の複数の相対的シフト量における上記左画像及び上記右画像間の複数の比較結果を示す出力結果を生成するよう構成された差分測定部と、
上記差分測定部の上記出力結果を入力として受けて、上記左画像及び上記右画像の部分間の相対的像差量を示す複数の画像領域を有するミスマッチ画像を生成するミスマッチ画像生成部と
を具える画像処理装置。
【請求項５】
立体画像の左及び右画像を受けるステップと、
差分データ・グループを生成するステップと、
上記差分データ・グループのマッチング・レベルを示す色を配置することによってミスマッチ画像を生成するステップと
を具える画像処理方法。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０Ａ】
【図１０Ｂ】
【図１３】
【図２Ａ】
【図２Ｂ】
【図９】
【図１１】
【図１２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０Ａ】
【図１０Ｂ】
【図１３】
【図２Ａ】
【図２Ｂ】
【図９】
【図１１】
【図１２】
【公開番号】特開２０１２−１４２９４５（Ｐ２０１２−１４２９４５Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−２８９３５９（Ｐ２０１１−２８９３５９）
【出願日】平成２３年１２月２８日（２０１１．１２．２８）
【出願人】（３９１００２３４０）テクトロニクス・インコーポレイテッド (234)
【氏名又は名称原語表記】ＴＥＫＴＲＯＮＩＸ，ＩＮＣ．
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年１２月２８日（２０１１．１２．２８）
【出願人】（３９１００２３４０）テクトロニクス・インコーポレイテッド (234)
【氏名又は名称原語表記】ＴＥＫＴＲＯＮＩＸ，ＩＮＣ．
【Ｆターム（参考）】
[ Back to top ]