説明

立体画像の位置決め及びカラー・バランス評価用表示生成方法及び立体映像信号分析用表示装置

【課題】立体画像の位置決め及びカラー・バランス評価を容易に行えるようにする。
【解決手段】2台のカメラからの左右画像信号を左右の変換行列を使って所望の映像コンポーネント信号に変換する。映像コンポーネント信号のそれぞれについて、左右画像の対応する画素の値の和及び差を取って、デカルト・プロットのx及びy入力としてプロットし、それぞれの2Dヒストグラムを生成する。例えば、4つの2Dヒストグラムを生成し、クワッド・ダイヤモンド表示として表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像の試験測定に関し、特に、3次元(3D)画像の画像位置決め及びカラー・バランスを評価する方法及び装置に関する。
【背景技術】
【0002】
本願は、2011年2月24日に出願された米国仮出願番号61/446170号、発明の名称「立体画像位置決め及びカラー・バランス評価用表示」に基づく優先権を主張するものである。
【0003】
今日、現場における3D立体画像の制作には、典型的には、左画像と右画像の2つの画像を分離して生成するため、2つのカメラを具えた装置を必要としている。これら2つカメラは、幾何学的又は空間的なミスマッチ(不整合又は不一致)を除去するために次のような設定と位置決めをしなければならない。
1)垂直ずれ 2)角度ずれ(必要な視差は除く) 3)回転誤差 4)ズーム又は焦点距離不整合 5)シーン合成
【0004】
また、2つのカメラは、次に関するミスマッチも緩和するよう調整する必要がある。
6)時間的なタイミングのミスマッチはもちろんのこと、カメラ又は撮像装置間の輝度/コントラスト(絞り又は利得)及びカラー・バランス
【0005】
これらの差分をマッチング(整合)させて除去するためのカメラの調整は、現在のところ、次のような方法を用いている。
a)ピクチャ・モニタの2つの画像に分かれた画面を見ながら横に並べて比較
b)チェッカーボード(格子縞模様)パターンを用いるが、このとき、隣接する四角を左画像と右画像間で交互に切り換え、1つの画像上でのマッチングを容易に行えるようにしている
c)波形モニタ又はベクトル表示を用いて、2つのカメラの信号レベルとカラー・バランスを正確にマッチング(整合)させ、輝度/コントラスト及びカラー・バランスにおけるミスマッチを軽減する
【0006】
本願の発明者による米国特許5307087号「3次元RGBコンポーネント・ベクトル表示」は、緑(G)及び青(B)コンポーネント(成分)と、緑(G)及び赤(R)コンポーネントのような2組の信号対を組合せて、標準的な2次元映像表示のための3次元表示技術を開示している。2組の組合せ信号をベクトル表示装置の入力端子に交互に供給し、対称軸の周りに対称的な表示を形成する。このとき、表示の半分は青コンポーネント信号の特性を表し、他方の半分は赤コンポーネント信号の特性を表し、これら両半分で緑コンポーネント信号の特性を表す。得られるダイヤモンド型表示には、3つのカラー・コンポーネント信号についてカラー・ガマット領域を定められるように、各半分表示に対して格子状の目盛りが設けられ、これによってユーザは、カラー映像信号がRGB中の適切なカラー空間を表しているか否か確認できる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】米国特許第5307087号明細書
【特許文献2】特許第2929063号明細書
【発明の概要】
【発明が解決しようとする課題】
【0008】
2カメラ立体映像システムで生成される立体画像に関する立体画像位置決め(左右画像がどの程度正確に重ね合わせられるか)評価及びカラー・バランス評価においても、ユーザがこれを容易に行えるようにするための表示方法及び表示装置が必要である。こうした方法及び装置は、左右画像間のカメラのカラー・バランス、絞り(利得)、タイミング・ミスマッチに影響される信号レベルを正確にマッチングできなければならない。また、画像表示上に特別な表示要素を設けて参照したりせずに、左右のカメラの相対的な傾き、回転、ズーム(拡大率)を調整して、ミスマッチを無くすことができるように、幾何学的に最適な位置決めの指標を提供することが望ましい。
【課題を解決するための手段】
【0009】
従って、本発明は、立体画像の位置決め及びカラー・バランス評価用表示方法及び装置を提供するものであり、ユーザが高品質の立体映像信号を生成できるよう使用する2台のカメラの種々の特性を整合させられるようにしたり、立体映像信号を受けてその品質を分析できるようにするものである。これらカメラは、それぞれ左画像と右画像を生成し、これら画像は、Y(輝度)、R(赤)、G(緑)及びB(青)のような所望の映像コンポーネント(成分)信号に変換される。映像コンポーネント信号のそれぞれについて、左右画像の対応する画素が比較され、デカルト・プロットへのx及びy入力としてプロットされ、映像コンポーネント信号のそれぞれについての2次元(2D)ヒストグラムが生成される。複数のダイヤモンド型表示(以下、単にダイヤモンド表示と呼ぶ)から、ユーザは、それぞれの画像を位置合わせし、2つの画像間のカラー・バランスを生成すると共に改善された高品質の立体映像信号が得られるようにカメラを適切に調整したり、また、既存の立体映像信号の品質を評価したりできる。ユーザは、複数のダイヤモンド表示を2つの画像間の相対的像差(disparity)の指標として用いて、試験用チャート又はシーンに対して、カメラの視差(parallax)又は奥行きの調整を容易に行えるようにしても良い。
【0010】
より具体的には、本発明の第1概念は、立体画像の位置決め及びカラー・バランス評価用表示を生成する方法であって、
立体映像信号が有する左画像及び右画像の対応関係にある左画像画素及び右画像画素を、上記立体映像信号の特定映像コンポーネント信号を表す2次元ヒストグラムとしてプロットするステップと、
観察者が見えるように、得られた上記2次元ヒストグラムを表示画面上に表示するステップとを具えている。
【0011】
本発明の第2概念は、第1概念の方法において、
上記特定映像コンポーネント信号中の上記左画像画素及び上記右画像画素を生成するステップと、
上記特定映像コンポーネント信号中の上記左画像画素及び上記右画像画素を比較し、加算値と差分値を生成する比較ステップと、
上記加算値及び上記差分値をそれぞれデカルト・プロットの直交座標に入力し、上記2次元ヒストグラムを生成するステップと
を更に具えることを特徴としている。
【0012】
本発明の第3概念は、第1概念の方法において、更に、上記プロットするステップより前において、上記左画像画素及び上記右画像画素に水平方向に関してローパス・フィルタ処理を行い、上記左画像画素及び上記右画像画素の限定的な平均値を生成するステップを更に具えることを特徴としている。
【0013】
本発明の第4概念は、第2概念の方法において、更に、上記比較ステップより前において、上記映像コンポーネント信号をローパス・フィルタ処理するステップを具えることを特徴としている。
【0014】
本発明の第5概念は、第1概念の方法において、上記映像コンポーネント信号を輝度、赤、青、緑、色相及び明度コンポーネント信号で構成されるグループから選択することを特徴としている。
【0015】
本発明の第6概念は、第1概念の方法において、上記映像コンポーネント信号として、輝度コンポーネント信号、赤コンポーネント信号、青コンポーネント信号及び緑コンポーネント信号が含まれることを特徴としている。
【0016】
本発明の第7概念は、第6概念の方法において、上記2次元ヒストグラムがクワッド・ダイヤモンド表示として表されることを特徴としている。
【0017】
本発明の第8概念は、第1概念の方法において、上記プロットするステップが、上記立体映像信号の複数の異なる映像コンポーネント信号に関する複数の2次元ヒストグラムをプロットするステップを有していることを特徴としている。
【0018】
本発明の第9概念は、立体映像信号の分析に使用する表示装置であって、
上記映像信号の特定のカラー・コンポーネント信号に関する左画像画素及び対応する右画像画素を入力とするデカルト・プロットを生成することで2次元ヒストグラムを生成する手段と、
上記2次元ヒストグラムを表示し、上記左画像画素及び上記右画像画素に関し、特定の上記カラー・コンポーネント信号がどの程度マッチしているかを観察者に示す表示画面とを具えている。
【0019】
本発明の第10概念は、第9概念の表示装置であって、上記カラー・コンポーネント信号を輝度、赤、青、緑、色相及び明度コンポーネント信号で構成されるグループから選択することを特徴としている。
【0020】
本発明の第11概念は、第9概念の表示装置であって、上記カラー・コンポーネント信号は、輝度、赤、緑及び青コンポーネント信号であって、上記2次元ヒストグラムは上記表示画面上でクワッド・ダイヤモンド表示として表示されることを特徴としている。
【0021】
本発明の第12概念は、第9概念の表示装置であって、上記立体映像信号の異なるカラー・コンポーネント信号から複数のデカルト・プロットを生成し、各デカルト・プロットは、複数の異なるカラー・コンポーネント信号の1つを2次元ヒストグラムで表したもので、複数の上記2次元ヒストグラムが上記表示画面上で同時に表示されることを特徴としている。
【0022】
本発明の目的、効果及び他の新規な点は、以下の詳細な説明を添付の特許請求の範囲及び図面とともに読むことによって明らかとなろう。
【図面の簡単な説明】
【0023】
【図1】図1は、従来技術による2次元映像表示に関する3次元ベクトル・ダイヤモンド表示を示す図である。
【図2】図2は、立体画像を構成することとなる2つの2次元映像表示と、本発明の実施形態による関連する2次元ヒストグラムである「クワッド・ダイヤモンド(quad-diamond)」表示を示す図である。
【図3】図3は、2つの輝度フレームのサンプルから構成されるアナグリフを示す図である。
【図4】図4は、本発明による図3のアナグリフのカラー・コンポーネント信号に関するダイヤモンド表示を示す図である。
【図5】図5は、本発明によるカメラのマッチングが異なる場合の図4のダイヤモンド表示の2つの例を示す図である。
【図6】図6は、本発明によるクワッド・ダイヤモンド表示を生成するシステムのブロック図である。
【発明を実施するための形態】
【0024】
2つの信号電圧を比較する一般的な方法は、一方をx値とし、他方をy値としてデカルト・プロット(直交プロット)上にプロットするものである。これは、2つの信号が、コンスタレーション表示やベクトル表示で使われるようなコンポジット信号の直交コンポーネント(成分)を表す場合に広く利用されている。しかし、デカルト・プロットは、これら信号がこうした直交コンポーネントでない場合でも、ステレオ・オーディオ(音響)で使われるリサージュ表示でのように、信号の共通する依存関係(common signal dependence)を示すためにもしばしば利用される。このようにして、複数の信号の振幅は比較され、信号が正弦曲線の場合には、相対的な位相及び周波数を決定できる。
【0025】
上述の米国特許5307087号「3次元RGBコンポーネント・ベクトル表示」では、コンポーネントRGB映像信号を対にして、x軸及びy軸上で、いわゆる「デュアル・ダイヤモンド」表示を生成する(デュアル・ダイヤモンド表示=ダイヤモンド形(ひし形)が2つ(デュアル)ある表示)。この表示では、信号レベルが有効なコンポーネントRGB信号空間を表しているか、そして、それはどの程度かを判断するために、複数の信号を比較するための指標を提供する。これは、赤(R)、緑(G)及び青(B)コンポーネント信号のそれぞれが3次元(3D)デカルト(直交)カラー空間の3軸の1つを表している点で有益である。デュアル・ダイヤモンド表示は、信号マッチングに関して有益な特徴があり、これは、x及びyコンポーネント信号がマッチングしている場合、つまり、時間に関して同じ波形となる場合には、信号波形がどういう形状であっても、デカルト・プロットが直線となるためである。例えば、高解像度画像の1つフレーム全体の全てのR、G及びB画素を比較することで、完全にR=G=Bであるかどうか、それによって、図1に示すような理想的なモノクロ−ム画像を表しているかどうかを判断できる。
【0026】
デュアル・ダイヤモンド表示は、多くの場合、ラスタ・スキャン表示メモリ内で2次元(2D)ヒストグラムとして実現され、このとき、一方の信号はx座標を構成し、他方の信号はy座標を構成する。この場合、得られるデカルト・プロット上のポイントの強さ(intensity:表示上では輝度の強さ)は、回数、つまり、特定のビン(bin:信号ポイント)のx及びy座標に2つの信号が何回アドレスしたかを表すビン・カウント(ビンのカウント値)に関係する。ビン・カウントは、一般的な表示輝度レンジに比較してダイナミック・レンジが広いので、これを表示できる範囲に収める(制限する)ために、ビン・カウントを輝度に非線形に変換することがしばしば行われている。図1は、これら2Dヒストグラムの対105及び110を示している。2Dヒストグラムの対105及び110は、45度回転して線を描くにも関わらず、2つの信号はマッチングしている画素を、45度傾いた方向ではなくて、垂直方向に描くことに注意されたい。
【0027】
ところで、本発明の実施形態の1つでは、3D立体映像信号の複数の異なるカラー・コンポーネント信号の対応関係にある左右画像の画素が、複数の2Dヒストグラムとしてプロットされる。
【0028】
本発明の別の実施形態では、上述したような望ましい立体画像の画像位置決め評価及びカラー・バランス評価を行うために、図2に示すような4つの2Dヒストグラムを導入し、いわゆる「クワッド・ダイヤモンド」表示200を生成する(クワッド・ダイヤモンド表示=4つ(Quad:クワッド)のダイヤモンド形(ひし形)がある表示)。このとき、輝度コンポーネント信号の組、YR(右(R)画像の輝度(Y))対YL(左(L)画像の輝度(Y))は、左右画像の輝度レベルの比較及びマッチングを行うための1つの2Dヒストグラム205を形成する。この他の3つの2Dヒストグラム、つまり、RR(右(R)画像の赤(R)コンポーネント信号)対RL(左(L)画像の赤(R)コンポーネント信号)の2Dヒストグラム210、GR(右(R)画像の緑(G)コンポーネント信号)対GL(左(L)画像の緑(G)コンポーネント信号)の2Dヒストグラム215及びBR(右(R)画像の青(B)コンポーネント信号)対BL(左(L)画像の青(B)コンポーネント信号)の2Dヒストグラム220は、カラー・マッチングに利用される。図示しないが、Hue_R(右(R)画像の色相(Hue))対Hue_L(左(L)画像の色相(Hue))の2Dヒストグラムなど、その他の比較も、もちろん有益である。
【0029】
本発明の実施形態の1つでは、これら信号の水平成分についてローパス・フィルタ処理する一方、垂直成分については行わないようにする。これによると、左右画像において水平方向に限定した平均化が行われ、垂直方向のディテールについては平均化されない。この方法では、マッチングしない左右画像の値(垂直ラインからの偏位)があれば、それは2つの画像の水平方向のミスマッチというよりは、垂直方向のミスマッチが主な原因である。これによって得られる表示では、望ましくない垂直方向の相違に対する感度がとても良くなり、その結果、垂直オフセットを1ライン未満にまで無くすこともできるようになる。
【0030】
水平ローパス・フィルタは、立体的奥行きを生成するのに利用される意図的な左右の視差が原因のヒストグラムにおける像差の範囲、つまり、垂直ラインからの偏位の範囲を、もっと広い画面幅のコンポーネント信号に対して平均化することによって制限し、これによって、全体の色及び輝度のミスマッチを、より簡単に比較できるようにする。1MHz帯域のローパス・フィルタ帯域幅は、標準画質(SD)立体映像に対して良く機能し、2〜5MHz帯域のローパス・フィルタ帯域幅は、高解像度(HD)立体映像に対して良く機能する。
【0031】
図2は、左カメラ画像225を上に、右カメラ画像230を下にして積み重ねた画像として提供される立体画像の例を示す。この例では、左カメラ画像225は、右カメラ画像230と比べて赤が若干弱く、カラー・ミスマッチが生じている。この点は、クワッド・ダイヤモンド表示200の赤(R)2Dヒストグラム210において、左右共通画素値(垂直ライン)の右側のウェイトが高くなるという形で観測され、これは右画像中に赤がより多いという偏りがあることを示す。また、輝度(YR対YL)についても、右側画像のウェイトがわずかに高いことにも注意されたい。一方、ヒストグラム215及び220によれば、緑(G)及び青(B)の左右画像のマッチングは良いように見える。
【0032】
例として、図3は、処理対象として、2つのサンプル輝度フレームである左画像輝度YL及び右画像輝度YRからなるアナグリフ300を示している。図4は、YL及びYRからローパス・フィルタ処理及び間引き処理されて生成された画素YLd及びYRdのデカルト・プロットを示し、これによって、上述した2Dヒストグラムをシミュレーションしてみることにする。
【0033】
y軸及びx軸に関する式Dy及びDxを、次のように定義する。
【0034】
【数1】

【0035】
【数2】

【0036】
これら式の結果は、デカルト(直交)xyプロットを45度回転させるもので、これによって、左右で同じ輝度値を有する画素は、中央の垂直ラインに現れるようになる。Dy及びDxの値は、プロットされると、図2のクワッド・ダイヤモンド表示の例のように、2Dヒストグラムのビンにおいて指標として機能する。垂直エラー、ズーム・エラー、回転位置決めエラーが原因でなく、奥行き視差が原因で左右画像で同じ値を共有していない画素に関しては、左右画像間の水平方向の像差が、ダイヤモンド・プロット領域の中央垂直ラインの周りに水平に広がるプロットとして現れる。この水平方向の広がりの幅は、奥行き視差の量に関係する一方、中央垂直ラインから離れてゆがんだプロットは、2つの画像間のレベル又は利得のミスマッチを示す。
【0037】
同様な等式の組を用いることで、立体映像信号の左右画像の赤、緑、青、色相、明度などのカラー・コンポーネント信号について、右対左のダイヤモンド表示を生成できる。4つのコンポーネント信号を表す4つのダイヤモンド表示の組合せれば、図2のクワッド・ダイヤモンド表示が生成される。
【0038】
図5は、カメラのマッチング関係が異なる図4のダイヤモンド表示の2つの例500及び505を示す。左側の表示500は、左右画像間の空間的マッチングが完璧で、利得のミスマッチもない場合を示している。この場合の表示では、垂直ラインのプロットが細くなることが示され、また、立体の奥行きのために視差角度を設定する前の状態において、立体カメラが理想的に設定されていることを示している。右側の表示505は、左右画像間に望ましい水平視差(奥行きのための左右画像間の像差)がある程度あるものの、同時に、望ましくない10%の輝度利得又はコントラストのミスマッチ(左カメラは、右カメラより10%低い)がある(これは、例えば、カメラの自動絞り機能が原因)場合を示している。
【0039】
図6を参照すると、1つの実施形態では、左立体カメラからの左コンポーネント映像信号値(YL、CrL、CbL)が左変換行列601に入力される一方、右コンポーネント映像信号値(YR、CrR、CbR)が右変換行列602に入力される。輝度値YL及びYRと、変換行列601及び602からのRGBコンポーネント信号値(RL、GL及びBL並びにRR、GR及びBR)は、対応するマッチング処理パス610、630、650及び670にそれぞれ入力される。パス610は、立体輝度コンポーネント信号YL及びYRを比較するためのものである。パス630は、立体赤コンポーネント信号RL及びRRを比較するためのものである。パス650は、立体緑コンポーネント信号GL及びGRを比較するためのものである。パス670は、立体青コンポーネント信号BL及びBRを比較するためのものである。この例では、パス610、630、650及び670のそれぞれは、2つある立体コンポーネント信号の入力部のそれぞれにローパス・フィルタ(LPF)を有し、ローパス・フィルタに続いてサンプル・レート・デシメータ(間引き回路:間引き率N)があり、水平ラインをフィルタ処理すると共に、不必要な過剰サンプリングを無している。各パスの2つのデシメータから得られた間引きされた2つの値は、加算回路で加算されると共に、引き算回路で引き算され、それぞれで得られる結果は、これらに続く2分の1除算回路でそれぞれ平均化される。各マッチング処理パスの出力部に得られる結果は、対応するデカルト・プロットのx及びy入力にそれぞれ供給され、上述の如く、それぞれ対応する2Dヒストグラム620、640、660及び680の表示を生成する。その結果は、図2に示すようなクワッド・ダイヤモンド表示である。
【0040】
以上、高品質の立体映像信号を生成するためのカメラ調整に関して主に説明してきたが、上述の発明は、与えられた立体映像信号の品質を評価するためにも利用可能なことが容易に理解されるであろう。
【0041】
このように、本発明は、カメラ設定に必要となる、ライブの3D映像素材でも利用可能な左右画像に関する信号レベル及びカラーのマッチングや位置合わせ(重ね合わせ)のためのシンプルな指標を提供する。一方の画像をミラーで反転させた場合では、本発明を適用するためには、その画素については反転させないようにする。本発明は、立体映像信号画像の生成を主に意図してはいるが、カラー修正が必要となるような3D用立体映像信号の品質を管理するためにも有益である。
【符号の説明】
【0042】
200 クワッド・ダイヤモンド表示
205 YR対YL2Dヒストグラム
210 RR対RL2Dヒストグラム
215 GR対GL2Dヒストグラム
220 BR対BL2Dヒストグラム
225 左カメラ画像
230 右カメラ画像
300 アナグリフ画像サンプル
400 アナグリフ画像のカラー・コンポーネント信号のダイヤモンド表示
500 理想的マッチング状態の左右画像から生じるダイヤモンド表示
505 ミスマッチのある左右画像から生じるダイヤモンド表示
601 左変換行列回路
602 右変換行列回路
610 輝度コンポーネント信号用マッチング処理パス
620 左右輝度コンポーネント信号によるXY2Dヒストグラム
630 赤コンポーネント信号用マッチング処理パス
640 左右赤コンポーネント信号によるXY2Dヒストグラム
650 緑コンポーネント信号用マッチング処理パス
660 左右緑コンポーネント信号によるXY2Dヒストグラム
670 青コンポーネント信号用マッチング処理パス
680 左右青コンポーネント信号によるXY2Dヒストグラム

【特許請求の範囲】
【請求項1】
立体映像信号が有する左画像及び右画像の対応関係にある左画像画素及び右画像画素を、上記立体映像信号の特定の映像コンポーネント信号を表す2次元ヒストグラムとしてプロットするステップと、
得られた上記2次元ヒストグラムを表示画面上に表示するステップと
を具える立体画像の位置決め及びカラー・バランス評価用表示生成方法。
【請求項2】
上記特定映像コンポーネント信号中の上記左画像画素及び上記右画像画素を生成するステップと、
上記特定映像コンポーネント信号中の上記左画像画素及び上記右画像画素を比較し、加算値と差分値を生成するステップと、
上記加算値及び上記差分値をそれぞれデカルト・プロットの直交座標に入力し、上記2次元ヒストグラムを生成するステップと
を更に具える請求項1記載の立体画像の位置決め及びカラー・バランス評価用表示生成方法。
【請求項3】
上記プロットするステップが、上記立体映像信号の複数の異なる映像コンポーネント信号に関する複数の2次元ヒストグラムをプロットするステップを有することを特徴とする請求項1又は2記載の立体画像の位置決め及びカラー・バランス評価用表示生成方法。
【請求項4】
上記映像信号の特定のカラー・コンポーネント信号に関する左画像画素及び対応する右画像画素を入力とするデカルト・プロットを生成することで2次元ヒストグラムを生成する手段と、
上記2次元ヒストグラムを表示し、上記左画像画素及び上記右画像画素に関し、特定の上記カラー・コンポーネント信号がどの程度マッチしているかを示す表示画面と
を具える立体映像信号分析用表示装置。

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2012−178827(P2012−178827A)
【公開日】平成24年9月13日(2012.9.13)
【国際特許分類】
【出願番号】特願2012−38408(P2012−38408)
【出願日】平成24年2月24日(2012.2.24)
【出願人】(391002340)テクトロニクス・インコーポレイテッド (234)
【氏名又は名称原語表記】TEKTRONIX,INC.
【Fターム(参考)】