説明

画像処理装置及びその制御方法

【課題】 立体視可能な左眼用画像と右眼用画像とを白とびや黒つぶれを生じないように補正できるγカーブを設定し、左眼用画像及び右眼用画像を適正に補正することができる画像処理装置を提供する。
【解決手段】 左眼用画像ヒストグラムの各階調の度数と、右眼用画像ヒストグラムの各階調の度数とを比較し、前記左眼用画像のヒストグラムの各階調の度数と、前記右眼用画像のヒストグラムの各階調の度数とのうち少なくとも大きいほうの度数を用いて統合ヒストグラムを作成する。作成した統合ヒストグラムに基づいた階調補正パラメータを設定し、階調補正パラメータを用いて前記左眼用画像及び右眼用画像の階調を補正する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及びその制御方法に関する。
【背景技術】
【0002】
フレームごとに、そのフレームの平均輝度レベル(APL)や輝度ヒストグラムなどの特徴量に基づいて階調補正パラメータ(γカーブ)を設定することで、表示画像の階調を好適に補正する技術がある(特許文献1)。以後、このような階調補正処理をダイナミックγ処理と表記する。
【0003】
現在、2次元の表示画面上に、両眼視差を利用した左眼用映像及び右眼用映像からなる3次元(3D)映像を表示することによって立体視を行う、立体視システムが知られている。しかし、立体視可能な1組の左眼用画像と右眼用画像とをそれぞれフレームごとにダイナミックγ処理したことにより、左眼用画像の階調と右眼用画像の階調とに大きな差が生じると、立体視しづらくなったり眼の疲労感が増大したりする。
【0004】
そのため、左眼用画像と右眼用画像との差が大きくならないように補正する方法として、左眼用画像と右眼用画像の共通領域の画像に基づいてγカーブを設定し、そのγカーブを左眼用画像と右眼用画像とに適用する技術が特許文献2に開示されている。また、左眼用画像及び右眼用画像における輝度などの特性の平均値に基づいて、左眼用画像と右眼用画像とを補正する技術が特許文献3に開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平03−126377号公報
【特許文献2】特開2005−159755号公報
【特許文献3】特開2007−151125号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本来、3D画像における左眼用画像と右眼用画像とは、異なる視点からの画像であるため、左眼用画像と右眼用画像とに共通して映っている領域の画像であっても、左眼用画像と右眼用画像とでは若干画像が異なる。にもかかわらず上記の特許文献2では、左眼用画像と右眼用画像とのどちらかの画像の共通領域からγカーブを設定するのか、左眼用画像と右眼用画像との共通領域の画像を用いてどのようにγカーブを設定するかについて具体的な記載がない。
【0007】
また、上記の特許文献3においては、左眼用画像及び右眼用画像における輝度などの特性の平均値とは、具体的にどのような値を用いるかについて具体的な記載がない。例えば、左眼用画像の輝度と右眼用画像の輝度を用いて、左眼用画像の輝度と右眼用画像の輝度の平均値を算出し、その平均値の階調を元に作成したγカーブを用いて左眼用画像及び右眼用画像を補正するとする。この場合、左眼用画像及び右眼用画像の画像内で該平均値付近の輝度の領域は適正に補正されるが、該平均値以外の輝度の領域は適正に補正することができないことがある。該平均値よりも大きい輝度を持つ特殊領域が右眼用画像のみに含まれていた場合、前述の例のγカーブでは該平均値の階調値に多くの階調が割りあてられて、該特殊領域の輝度の階調値には多くの階調が割りあてられていないため適正に補正できない。
【0008】
そこで本発明は、立体視可能な左眼用画像及び右眼用画像の補正を行う際に、左眼用画像の特徴と右眼用画の特徴とを反映したγカーブを設定し、左眼用画像及び右眼用画像を適正に補正することができる画像処理装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の画像処理装置は、左眼用画像及び右眼用画像を表示部に立体視可能なように表示する画像処理装置であって、入力された前記左眼用画像及び右眼用画像のそれぞれのヒストグラムを作成する第1作成手段と、前記第1作成手段で作成された前記左眼用画像のヒストグラムの各階調の度数と、前記右眼用画像のヒストグラムの各階調の度数とを比較し、前記左眼用画像のヒストグラムの各階調の度数と、前記右眼用画像のヒストグラムの各階調の度数とのうち少なくとも大きいほうの度数を用いて統合ヒストグラムを作成する第2作成手段と、前記統合ヒストグラムに基づいた階調補正パラメータを設定する設定手段と、前記設定手段で設定された前記階調補正パラメータを用いて前記左眼用画像及び右眼用画像の階調を補正する補正手段とを有することを特徴とする。
【発明の効果】
【0010】
以上のように本発明は、立体視可能な左眼用画像及び右眼用画像の補正を行う際に、左眼用画像の特徴と右眼用画の特徴とを反映したγカーブを設定し、左眼用画像及び右眼用画像を適正に補正することができる画像処理装置及びその制御方法を提供できる。
【図面の簡単な説明】
【0011】
【図1】画像処理装置の機能構成を示すブロック図である。
【図2】統合ヒストグラムを作成するフローチャートである。
【図3】左眼用画像ヒストグラムの具体例を示す図である。
【図4】右眼用画像ヒストグラムの具体例を示す図である。
【図5】実施例1の統合ヒストグラムの具体例を示す図である。
【図6】図5のヒストグラムから得られるγカーブを示す図である。
【図7】実施例2の統合ヒストグラムの具体例を示す図である。
【図8】図7のヒストグラムから得られるγカーブを示す図である。
【発明を実施するための形態】
【0012】
(実施例1)
以下、本発明の実施形態に係る画像処理装置及びその制御方法の具体的な実施例について説明する。図1は本実施例に係る画像処理装置の機能構成を示すブロック図である。図1に示すように、本実施例に係る画像処理装置100は、左眼用画像入力端子101と右眼用画像入力端子102、左眼用画像ヒストグラム作成部103と右眼用画像ヒストグラム作成部104、統合ヒストグラム作成部105、γカーブ設定部106を有する。更に、左眼用画像γ補正部107と右眼用画像γ補正部108、左眼用画像出力端子109と右眼用画像出力端子110を有する。
【0013】
左眼用画像入力端子101及び右眼用画像入力端子102にそれぞれ、立体視可能な左眼用画像及び右眼用画像の画像信号が入力される。左眼用画像ヒストグラム作成部103は、入力された左眼用画像のヒストグラムを作成する。右眼用画像ヒストグラム作成部104は、入力された右眼用画像のヒストグラムを作成する。本実施例においては輝度ヒストグラムを作成する構成で説明を行う。
【0014】
左眼用画像ヒストグラム作成部103と右眼用画像ヒストグラム作成部104は、それぞれ左眼用画像と右眼用画像の1フレーム内での、各輝度値の画素数を度数としたヒストグラムを作成する。左眼用画像及び右眼用画像の各画素の輝度値として0〜255の8ビット256階調をとり得るとする。本実施例では説明の便宜上から、左眼用画像ヒストグラム作成部103または右眼用画像ヒストグラム作成部104が作成するヒストグラムは、輝度値が0〜31のものをクラス0、輝度値が32〜63のものをクラス1、輝度値が64〜95のものをクラス2、輝度値が96〜127のものをクラス3、輝度値が128〜159のものをクラス4、輝度値が160〜191のものをクラス5、輝度値が192〜223のものをクラス6、輝度値が224〜255のものをクラス7として、8つのクラス(階調)に分類して作成される。即ち、輝度値が0〜31の画素はクラス0として、輝度値が32〜63の画素はクラス1として度数がカウントされる。このように本実施例における輝度ヒストグラムは、8階調の精度で作成されるものとする。これに限らず、128階調や、256階調の精度で作成されてもよい。
【0015】
統合ヒストグラム作成部105は、左眼用画像ヒストグラム作成部103及び右眼用画像ヒストグラム作成部104で作成された、左眼用画像ヒストグラム及び右眼用画像ヒストグラムから、左眼用画像及右眼用画像の補正に用いる統合ヒストグラムを作成する。統合ヒストグラムの作成方法は後述する。
【0016】
γカーブ設定部106では、統合ヒストグラム作成部105で作成された統合ヒストグラムから、左眼用画像及右眼用画像の階調補正に用いる階調補正パラメータであるγカーブを設定する。フレームごとに画像の階調補正を行うダイナミックγ処理では、ヒストグラムにおいて度数が多いクラスに多くの階調を割りあてるようなγカーブを設定して、画像の補正を行う。そのため、ヒストグラムにおいて度数が多いクラスに対しては、γカーブの傾きが大きくなる。
【0017】
左眼用画像γ補正部107及び右眼用画像γ補正部108では、γカーブ設定部106で設定されたγカーブを用いて、左眼用画像及び右眼用画像のγ補正処理を行う。γ補正処理された左眼用画像及び右眼用画像はそれぞれ、左眼用画像出力端子109及び右眼用画像出力端子110から図示しない表示部へ出力される。
【0018】
本実施例における、統合ヒストグラム作成部105での統合ヒストグラムの作成方法について説明する。図2に統合ヒストグラムを作成するフローチャートを示す。図2の中で、iはクラス、hL(i)は左眼用画像ヒストグラムにおけるクラスiの度数、hR(i)は、右眼用画像ヒストグラムにおける階調iの度数、H(i)は統合ヒストグラムのクラスiの度数を示す。
【0019】
ステップS201ではクラスiを0に初期化し、ステップS202に処理を進める。ステップS202では、hL(i)とhR(i)とが等しいかどうかを判定する。hL(i)とhR(i)とが等しい場合はステップS203へ進み、hL(i)とhR(i)とが異なる場合はステップS204へ進む。ステップS203では、統合ヒストグラムの度数H(i)がhL(i)の値に決定される。
【0020】
ステップS204では、hL(i)がhR(i)より大きい値か否かを判定する。hL(i)がhR(i)より大きい場合はステップS205に進み、hL(i)がhR(i)より小さい場合はステップS206に進む。
【0021】
ステップS205では、hR(i)/hL(i)が閾値Th以下であるか否かを判定する。ステップS205においては、hL(i)がhR(i)より大きいので、閾値Thは1より小さい任意の値を設定できる。ここでは例えばThを0.7とする。この場合ステップS205では、hR(i)がhL(i)の0.7倍の値以下であるか否かを判定していることになる。hR(i)/hL(i)が閾値Th以下の場合はステップS203へ処理を進め、hR(i)/hL(i)が閾値Thより大きい場合は、後述するステップS208へ処理を進める。
【0022】
ステップS205で、hR(i)/hL(i)が閾値Th以下であると判定された場合には、統合ヒストグラムの度数H(i)がhL(i)の値に決定される(ステップS203)。
【0023】
ステップS204で、hL(i)がhR(i)より小さいと判定された場合には、ステップS206でhL(i)/hR(i)が閾値Th以下であるか否かを判定する。このステップにおいてもステップS205と同様に、閾値Thは1より小さい任意の値に設定できる。例えば閾値Thを0.7とした場合、hL(i)がhR(i)の0.7倍の値以下であるか否かを判定していることになる。hL(i)/hR(i)が閾値Th以下の場合はステップS207へ処理を進め、hL(i)/hR(i)が閾値Thより大きい場合は、ステップS208へ処理を進める。
【0024】
ステップS207では、統合ヒストグラムの度数H(i)がhR(i)の値に決定される。ステップS208では、統合ヒストグラムの度数H(i)は、(hL(i)+hR(i))/2の値に決定される。
【0025】
ステップS203、ステップS207、ステップS208のいずれかで、統合ヒストグラムの度数H(i)が決定されたらステップS209へ進む。本実施例ではヒストグラムが、クラス0乃至7の8階調の精度で作成されているため、ステップS209ではクラスiが7以上の値であるか否かを判定する。クラスiが7未満であれば、統合ヒストグラムの中で度数が決定していないクラスが存在するため、ステップS210に進み、iに1を加算してステップS202の処理に進む。クラスiが7以上の値であれば、処理を終了する。
【0026】
上記ではステップS202にて、hL(i)とhR(i)とが等しいと判定された場合に、ステップS203へ処理を進めたが、ステップS207やステップS208へ処理を進めてもよく、いずれの場合も決定される統合ヒストグラムの度数H(i)は同じである。
【0027】
具体例として、左眼用画像ヒストグラム作成部103及び右眼用画像ヒストグラム作成部104にて作成された、左眼用画像ヒストグラム及び右眼用画像ヒストグラムが、図3及び図4に示すものであった場合を説明する。左眼用画像ヒストグラムの各クラスにおける度数が図3(A)となるとき、左眼用画像ヒストグラムは図3(B)のようになる。右眼用画像ヒストグラムの各クラスにおける度数が図4(A)となるとき、右眼用画像ヒストグラムは図4(B)のようになる。
【0028】
図2のフローチャートの処理に従って、統合ヒストグラム作成部105が、図3及び図4に示す左眼用画像ヒストグラム及び右眼用画像ヒストグラムから、閾値Thを0.7として作成した統合ヒストグラムを図5に示す。統合ヒストグラムの各クラスにおける度数が図5(A)となるとき、統合ヒストグラムは図5(B)のようになる。図5(B)に示す統合ヒストグラムでのクラス0、2、6におけるそれぞれの度数は、右眼用画像ヒストグラムでのクラス0、2、6におけるそれぞれの度数と等しい。統合ヒストグラムでのクラス1における度数は、左眼用画像ヒストグラムでのクラス1における度数と等しい。統合ヒストグラムでのクラス3、4、5、7におけるそれぞれの度数は、右眼用画像ヒストグラム及び左眼用画像ヒストグラムでのクラス3、4、5、7におけるそれぞれの度数の平均値と等しい。
【0029】
γカーブ設定部106は、統合ヒストグラム作成部105で作成された図5(B)の統合ヒストグラムに基づいて、γカーブを設定する。図6に、γカーブ設定部106で設定されたγカーブA1、図3(B)の左眼用画像ヒストグラムから得られるγカーブB、図4(B)の右眼用画像ヒストグラムから得られるγカーブCを示す。図6のγカーブのグラフは、入力レベルが0=x(0)乃至1=x(7)で変化するときの出力レベルが0乃至1となるように設定される。本実施例においてはヒストグラムが8階調の精度で作成されているため、ヒストグラムからγカーブを設定する方法としては公知の技術を用いることができる。
【0030】
本実施例では、統合ヒストグラム作成部105で作成した統合ヒストグラムを累積加算し、統合ヒストグラムの度数の総和で除算して正規化することでγカーブを設定する。度数の多いクラスに対しては多くの階調を割りあてるために、γカーブの傾きが大きくなるようにγカーブを設定することが望ましい。図5の統合ヒストグラムでのクラスiの度数は、図6の入力レベルがx(i−1)からx(i)でのγカーブの傾きに反映される。例えばクラス2の度数が高い場合のγカーブは、入力レベルx(1)からx(2)での傾きが大きくなる。
【0031】
図6のように、左眼用画像ヒストグラムから得られるγカーブBは、右眼用画像ヒストグラムにおいて度数の高いクラス6に対して、多くの階調を割りあてることが出来ず、入力レベルx(5)からx(6)での傾きが小さくなる。そのため、左眼用画像ヒストグラムから得られるγカーブBで右眼用画像を補正するとクラス6付近の色がつぶれて補正されてしまう。また、右眼用画像ヒストグラムから得られるγカーブCは、左眼用画像ヒストグラムにおいて度数の高いクラス2に対して、多くの階調を割りあてることが出来ず、入力レベルx(1)からx(2)での傾きが小さくなる。そのため、右眼用画像ヒストグラムから得られるγカーブCで左眼用画像を補正するとクラス2付近の色がつぶれて補正されてしまう。
【0032】
これに対し、統合ヒストグラムから得られるγカーブA1は、左眼用画像ヒストグラムと右眼用画像ヒストグラムにおいて度数の多いクラス2やクラス6に対して、入力レベルx(1)からx(2)での傾きと、x(5)からx(6)での傾きが共に大きく設定されている。よって、多くの階調を割りあてることができるため、γカーブA1で左眼用画像及び右眼用画像を補正しても、どちらの画像でも色つぶれが生じないように補正される。
【0033】
本実施例においては、輝度ヒストグラムを作成する構成で説明を行ってきたが、これに限定されず、ヒストグラムに基づいて設定されるγカーブを用いて画像の補正するものであればよい。例えば本実施例では、各画素の輝度値についてのヒストグラムを用いたが、各画素のRGBの中で最も高い階調値についてのヒストグラムを左眼用画像と右眼用画像とそれぞれ作成して、統合ヒストグラムを作成してもよい。例えば、ある画素のRGBの中でGの階調値がRとBの階調値よりも高い場合は、該画素の階調値はGの階調値としてカウントして、ヒストグラムを作成する。また、各画素のRGBの色階調について、Rヒストグラム、Gヒストグラム、Bヒストグラムをそれぞれ作成し、左眼用画像ヒストグラムと右眼用画像ヒストグラムに基づいて統合ヒストグラムをR、G、Bそれぞれについて作成する。作成したRの統合ヒストグラム、Gの統合ヒストグラム、Bの統合ヒストグラムから、それぞれRγカーブ、Gγカーブ、Bγカーブを設定して画像の補正に用いてもよい。
【0034】
以上のように、本実施例において作成された統合ヒストグラムから設定したγカーブを左眼用画像及び右眼用画像の補正に用いることにより、左眼用画像及び右眼用画像を適正に補正することができる。
【0035】
(実施例2)
実施例1では、統合ヒストグラムを作成する際に閾値Thを設けて、左眼用画像ヒストグラムと右眼用画像ヒストグラムの各クラスの度数に閾値Th以上の違いがある場合とない場合とに応じて、統合ヒストグラムに用いる度数を決定した。本実施例においては、左眼用画像ヒストグラムと右眼用画像ヒストグラムの各クラスの度数を比較し、より大きい度数の値を統合ヒストグラムの各階調の度数とする場合を説明する。
【0036】
本実施例に係る画像処理装置の機能構成は、図1と同様であるため説明を割愛する。本実施例においては、統合ヒストグラム作成部105において、実施例1と異なる処理を行う。統合ヒストグラム作成部105は、左眼用画像ヒストグラム作成部103及び右眼用画像ヒストグラム作成部104で作成された、左眼用画像ヒストグラム及び右眼用画像ヒストグラムから統合ヒストグラムを作成する。
【0037】
統合ヒストグラム作成部105における、統合ヒストグラムの作成方法は、実施例1と同様に、左眼用画像ヒストグラムの各クラスの度数と、右眼用画像ヒストグラムの各階調の度数とで、各クラスの度数を比較する。そして本実施例では、比較の結果、各クラスにおける前記左眼用画像の度数と前記右眼用画像の度数のうち大きい度数を統合ヒストグラムの各クラスの度数とする。
【0038】
本実施例における統合ヒストグラムを図7に、統合ヒストグラムから設定されたγカーブを図8に示す。統合ヒストグラムの各クラスにおける度数が図7(A)となるとき、統合ヒストグラムは図7(B)のようになる。図8に、図7(B)の統合ヒストグラムから得られるγカーブA2、図3(B)の左眼用画像ヒストグラムから得られるγカーブB、図4(B)の右眼用画像ヒストグラムから得られるγカーブCを示す。図8のγカーブB及びγカーブCは、図6のγカーブB及びγカーブCと同じである。ヒストグラムからγカーブを設定する方法としては実施例1と同様に公知の技術を用いることができる。
【0039】
図8に示す統合ヒストグラムから得られるγカーブA2は、左眼用画像ヒストグラムと右眼用画像ヒストグラムにおいて度数の多いクラス2やクラス6に対して、入力レベルx(1)からx(2)での傾きと、x(5)からx(6)での傾きが共に大きく設定されている。よって、多くの階調を割りあてることができるため、γカーブA1で左眼用画像及び右眼用画像を補正しても、どちらの画像でも色つぶれが生じないように補正される。
【0040】
以上のように、本実施例によれば、左眼用画像ヒストグラムと右眼用画像ヒストグラムで度数の多いクラスに対して多くの階調を割りあてたγカーブを設定できるので、立体視可能な左眼用画像と右眼用画像とを適正に補正できる。
【符号の説明】
【0041】
103 左眼用画像ヒストグラム作成部
104 右眼用画像ヒストグラム作成部
105 統合ヒストグラム作成部
106 γカーブ設定部
107 左眼用画像γ補正部
108 右眼用画像γ補正部

【特許請求の範囲】
【請求項1】
左眼用画像及び右眼用画像を表示部に立体視可能なように表示する画像処理装置において、
入力された前記左眼用画像及び右眼用画像のそれぞれのヒストグラムを作成する第1作成手段と、
前記第1作成手段で作成された前記左眼用画像のヒストグラムの各階調の度数と、前記右眼用画像のヒストグラムの各階調の度数とを比較し、前記左眼用画像のヒストグラムの各階調の度数と、前記右眼用画像のヒストグラムの各階調の度数とのうち少なくとも大きいほうの度数を用いて統合ヒストグラムを作成する第2作成手段と、
前記統合ヒストグラムに基づいた階調補正パラメータを設定する設定手段と、
前記設定手段で設定された前記階調補正パラメータを用いて前記左眼用画像及び右眼用画像の階調を補正する補正手段とを有することを特徴とする画像処理装置。
【請求項2】
前記第2作成手段は、前記左眼用画像のヒストグラムの各階調の度数と、前記右眼用画像のヒストグラムの各階調の度数との差が所定値以上であった場合、前記統合ヒストグラムの該階調の度数は、前記左眼用画像のヒストグラムの該階調の度数と、前記右眼用画像のヒストグラムの該階調の度数とのうち大きいほうの度数とすることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第2作成手段は、前記左眼用画像のヒストグラムの各階調の度数と、前記右眼用画像のヒストグラムの各階調の度数との差が所定値未満であった場合、前記統合ヒストグラムの該階調の度数は、前記左眼用画像のヒストグラムの該階調の度数と、前記右眼用画像のヒストグラムの該階調の度数との平均値とすることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記作成手段が作成するヒストグラムは、輝度に関するヒストグラムであることを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。
【請求項5】
左眼用画像及び右眼用画像を表示部に立体視可能なように表示する画像処理装置の制御方法において、
入力された前記左眼用画像及び右眼用画像のそれぞれのヒストグラムを作成する第1作成ステップと、
前記第1作成ステップで作成された前記左眼用画像のヒストグラムの各階調の度数と、前記右眼用画像のヒストグラムの各階調の度数とを比較し、前記左眼用画像のヒストグラムの各階調の度数と、前記右眼用画像のヒストグラムの各階調の度数とのうち少なくとも大きいほうの度数を用いて統合ヒストグラムを作成する第2作成ステップと、
前記統合ヒストグラムに基づいた階調補正パラメータを設定する設定ステップと、
前記設定ステップで設定された前記階調補正パラメータを用いて前記左眼用画像及び右眼用画像の階調を補正する補正ステップとを有することを特徴とする画像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2012−15654(P2012−15654A)
【公開日】平成24年1月19日(2012.1.19)
【国際特許分類】
【出願番号】特願2010−148210(P2010−148210)
【出願日】平成22年6月29日(2010.6.29)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】