説明

画像処理装置およびその制御方法

【課題】 複数の領域に分割された各画像の画像処理を行う各画像処理部から送信するデータ量を削減することでデータ送信時間を削減し、画像処理を行うための時間を確保する。
【解決手段】 複数の領域に分割して得られた複数の分割画像からヒストグラムを作成し、ヒストグラムから各分割画像における階調の代表値と、該分割画像と他の分割画像とが接する領域に関する階調の境界値とを含む中間データを作成する。複数の分割画像の中間データから作成した補正用データに基づいて分割画像の補正処理を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を複数の領域に分割して処理を行う画像処理装置に関するものである。
【背景技術】
【0002】
画像や表示装置の高解像度化に伴い、画像を複数の領域に分割して複数の画像処理部を用いて画像補正する技術がある。下記の特許文献1には、複数の領域に分割された各画像から各画像処理部が検出したヒストグラムなどの総和データを用いて画像処理を行う技術が開示されている。複数の画像処理部が検出した複数の総和データを統計値算出部が取得し、取得した総和データから作成した統計値に基づいて各画像処理部が画像処理を行う。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−71938号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1では、各画像処理部から統計値算出部へ送信するデータは、各画像から検出した値そのものであるヒストグラムなどの総和データであるため、送信するデータ量が多いのでデータ送信に時間がかかってしまう。データ送信に時間がかかると、画像処理を行うための時間が削減されたり、実時間での画像処理が難しくなったりするという問題があった。
【0005】
よって本発明においては、複数の領域に分割された各画像の画像処理を行う各画像処理部から送信するデータ量を削減することでデータ送信時間を削減し、画像処理を行うための時間を確保することを可能とすることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明は、入力画像を複数の領域に分割して得られた複数の分割画像を複数の画像処理部を用いて画像処理を行う画像処理装置において、前記複数の分割画像の各々におけるヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラムから、各分割画像における階調の代表値と、各分割画像内で他の分割画像と接する領域に関する階調の境界値とを含む中間データを作成する中間データ作成手段と、前記中間データを送信する送信手段と、前記送信手段により送信された複数の分割画像の各々における前記中間データから、各分割画像の階調を補正するための各分割画像の補正用データを作成する補正用データ作成手段と、前記補正用データ作成手段で作成された前記補正用データに基づいて各分割画像の階調を補正する処理を行うための補正処理手段と、を有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、複数の領域に分割された各画像の画像処理を行う各画像処理部から送信するデータ量を削減することでデータ送信時間を削減し、画像処理を行うための時間を確保することができる。
【図面の簡単な説明】
【0008】
【図1】実施例1にかかる画像処理装置のブロック図である。
【図2】入力画像と分割画像の関係を示す図である。
【図3】実施例1にかかる画像処理部のブロック図である。
【図4】分割画像と単位領域の関係を示す図である。
【図5】注目階調の検出方法を説明する図である。
【図6】分割画像Saの代表値及び分割画像Saの境界値を示す図である。
【図7】実施例1にかかる補正用データ作成部のブロック図である。
【図8】補正用データに含まれる補正用境界値の単位領域を説明する図である。
【図9】全画面γカーブの変換特性を示す図である。
【図10】画素Pにおける局所補正値をバイリニア補間により求める処理を説明する図である。
【図11】局所γカーブの変換特性を示す図である。
【図12】実施例2にかかる画像処理装置のブロック図である。
【図13】実施例2にかかる画像処理部のブロック図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本発明の実施例を説明する。
【0010】
(実施例1)
図1は本実施例のブロック図である。図1に示す画像処理装置100は、画像分割部102と、画像処理部103a、103b、103c、103dと、補正用データ作成部104、画像結合部105から構成されている。本実施例では、一つの画像処理部は一つのIC(Integrated Circuit)に実装されているものとする。以上のように構成された画像処理装置100の動作を以下で説明する。
【0011】
画像分割部102は、入力画像を複数の領域に分割して複数の分割画像を作成する。図2は画像分割部102による入力画像の分割方法を説明する図である。図2(a)は画像分割部102に入力される入力画像Sを示している。本実施例では、入力画像Sの解像度は、3840×2160画素とする。図2(b)は、画像分割部102により作成される分割画像を示すものであり、本実施例では入力画像Sを4つの分割画像Sa、Sb、Sc、Sdに分割する。分割画像Sa、Sb、Sc、Sdは画像処理部103a、103b、103c、103dにそれぞれ出力されて、各画像処理部で画像処理される。分割画像Sa、Sb、Sc、Sdの解像度は1920×1080画素とする。
【0012】
次に、画像処理部103aについて説明する。画像処理部103b、103c、103dは画像処理部103aと同様の構成であり、同様の処理を行うため、本実施例では画像処理部103aについてのみ説明する。
【0013】
図3は、画像処理部103aの内部構成を示すブロック図である。画像処理部103aは、ヒストグラム作成部10a、注目階調検出部11a、中間データ作成部12a、差分値算出部13a、全画面γ生成部14a、局所γ生成部15a、γ補正処理部16a、IF(インターフェース)部17aから構成されている。また、注目階調検出部11a、中間データ作成部12a、差分値算出部13a、全画面γ生成部14aは、マイコン18aの内部にあるものとする。全画面γ生成部14aは、マイコン18aの外部にあってもよい。
【0014】
ヒストグラム作成部10aは、分割画像Saを複数に分割した各単位領域における輝度ヒストグラムHa(i)を検出する。本実施例では例えば、図4のように分割画像Saを横5×縦3=15個の単位領域a0〜a14に分割する。従って、ヒストグラム作成部10aからは15個の輝度ヒストグラムHa(0)〜Ha(14)が検出される。輝度ヒストグラムHa(i)は例えば輝度を0〜255の256階調で各階調の画素数をカウントしたものとする。ヒストグラム作成部10aで検出された輝度ヒストグラムHa(0)〜Ha(14)は、注目階調検出部11aに出力される。
【0015】
注目階調検出部11aは、各輝度ヒストグラムHa(i)から暗部注目階調Nba(i)及び明部注目階調Nwa(i)を検出する。図5は、輝度ヒストグラムHa(i)から暗部注目階調Nba(i)及び明部注目階調Nwa(i)を検出する方法について説明する図である。
【0016】
輝度ヒストグラムHa(i)における注目階調とは、階調性を高めることが望ましい階調値である。注目階調とは輝度ヒストグラムHa(i)において(1)度数が所定の閾値以上かつ(2)極大値となる階調値で、かつ(3)該階調値を含む所定範囲内の度数の変動量が所定の基準より小さい階調値であり、以上(1)〜(3)の3つの条件を満たす階調値である。ここで(2)の条件での度数が極大値か否かは、例えば、注目階調か否かの対象とする階調値の度数と、その前後それぞれm個の階調値(mは1以上の整数)の度数とを比較することにより判断すればよい。比較する階調値の度数の中での最大値を極大値とする。なお、対象とする階調値の前後それぞれm個の階調値とは、対象とする階調値よりも小さなm個の階調値と、対象とする階調値よりも大きなm個の階調値を意味する。(3)の条件は、画像が同一色(同一の階調値)の領域(例えば、レターボックスや、データ放送などの図形や文字)を含む場合に局所的に度数の変動量が大きくなる階調値を除外するための条件である。(3)の条件を満たすか否かは、注目階調か否かの対象とする階調値の度数と、その階調値を除く±nの階調値(nは1以上の整数)の度数の総和に所定値を乗算した値とを比較することなどにより判断すればよい。
【0017】
輝度ヒストグラムHa(i)における暗部注目階調は、階調値が低階調側の注目階調である。本実施例では、輝度ヒストグラムが256階調の場合、階調値が2〜126の範囲で上記の条件を満たす注目階調の中の最小注目階調を暗部注目階調とする。階調値が2〜126の範囲に注目階調がない場合は、暗部注目階調は128とする。輝度ヒストグラムHa(i)における明部注目階調は、階調値が高階調側の注目階調である。本実施例は、輝度ヒストグラムが256階調の場合、階調値が130〜253の範囲で上記の条件を満たす注目階調の中の最大注目階調を明部注目階調とする。階調値が130〜253の範囲に注目階調がない場合は、明部注目階調は128とする。階調値0、1、127、128、129、254、255は、上下それぞれ2つの階調値の度数を注目階調の検出に用いるために注目階調の範囲から除外している。
【0018】
図4のように分割画像Saを単位領域に分割した場合、注目階調検出部11aは、輝度ヒストグラムHa(0)〜Ha(14)から暗部注目階調Nba(0)〜Nba(14)及び明部注目階調Nwa(0)〜Nwa(14)をそれぞれ検出する。検出した暗部注目階調Nba(0)〜Nba(14)及び明部注目階調Nwa(0)〜Nwa(14)は中間データ作成部12aおよび差分値算出部13aに出力される。
【0019】
中間データ作成部12aは、暗部注目階調Nba(0)〜Nba(14)及び明部注目階調Nwa(0)〜Nwa(14)から分割画像Saの中間データMaを作成する。分割画像Saの中間データMaとは、以下で述べる分割画像Saの代表値と境界値からなるデータである。
【0020】
代表値とは、複数の暗部注目階調Nba(0)〜Nba(14)の中の最小値mina、及び、複数の明部注目階調Nwa(0)〜Nwa(14)の中の最大値maxaからなる。図4のように分割画像Saを単位領域に分割した場合、最小値mina及び最大値maxaは以下の式1,2により求められる。
mina=min[Nba(0)〜Hba(14)](式1)
min[ ]:[ ]内の最小値
maxa=max[Nwa(0)〜Nwa(14)](式2)
max[ ]:[ ]内の最大値
一方境界値とは、分割画像Sa内で、他の分割画像Sb、Sc、Sdと接している単位領域の暗部注目階調Nba(i)及び明部注目階調Nwa(i)のことである。
【0021】
図6を用いて分割画像Saの代表値と境界値について説明する。図6は、図4のように単位領域a0〜a14に分割された分割画像Saの各単位領域の暗部注目階調Nba(i)及び明部注目階調Nwa(i)を表した例である。図6(a)の例において15個の暗部注目階調Nba(0)〜Nba(14)の最小値minaは36である。また、図6(b)において15個の明部注目階調Nwa(0)〜Nwa(14)の最大値maxaは225である。以上より、最小値mina=36および、最大値maxa=225が分割画像Saの代表値となる。
【0022】
また、分割画像Saは、図2(b)に示すように右に分割画像Sb、右下に分割画像Sd、下に分割画像Scがあり、図6の灰色で塗りつぶした単位領域a4、a9〜a14が他の分割画像Sb、Sc、Sdと接している。よって分割画像Saの境界値は、単位領域a4、a9〜a14各々の暗部注目階調Nba(i)及び明部注目階調Nwa(i)からなる。入力画像が分割画像Sa及び分割画像Sbからなる場合(入力画像を2つに分割し、分割画像Saの右に分割画像Sbがある場合)、分割画像Saの境界値は単位領域a4、a9、a14各々の暗部注目階調Nba(i)及び明部注目階調Nwa(i)からなる。
【0023】
中間データ作成部12aで作成された、分割画像Saの代表値及び分割画像Saの境界値からなる分割画像Saの中間データMaは、IF部17aを通して補正用データ作成部104へ出力される。
【0024】
補正用データ作成部104は、画像処理部103a、103b、103c、103dの各々の中間データ作成部で作成された中間データMa、Mb、Mc、Mdから補正用データUa、Ub、Uc、Udを作成する。中間データMbは分割画像Sbの代表値(minb,maxb)及び境界値からなり、中間データMcは分割画像Scの代表値(minc,maxc)及び境界値からなり、中間データMdは分割画像Sdの代表値(mind,maxd)及び境界値からなる。補正用データ作成部104における動作について図7を用いて説明する。
【0025】
本実施例において補正用データUa、Ub、Uc、Udはそれぞれ、以下で述べる全画面補正値と補正用境界値を含む。全画面補正値は、全画面暗部値B及び全画面明部値Wからなり、補正用データUa、Ub、Uc、Udにそれぞれ含まれる全画面補正値の全画面暗部値B及び全画面明部値Wは、いずれも同じ値で共通の値である。補正用境界値とは、任意の分割画像に接する他の分割画像内の単位領域における暗部注目階調及び明部注目階調である。
【0026】
補正用データ作成部104において中間データ受信部71は、画像処理部103a、103b、103c、103dから送信された中間データMa、Mb、Mc、Mdを受信する。分離部72は各中間データから代表値と境界値とを分離し、各中間データの代表値を全画面補正値算出部73に送信し、各中間データの境界値を補正用境界値決定部74に送信する。
【0027】
全画面補正値算出部73は、全画面暗部値B及び全画面明部値Wからなる全画面補正値を算出する。全画面暗部値Bとは、中間データMa、Mb、Mc、Mdに含まれる各分割画像の代表値のうち最小値mina、minb、minc、mindの中の最小値である。また全画面明部値Wとは、各分割画像の代表値のうち最大値maxa、maxb、maxc、maxdの中の最大値である。つまり、全画面暗部値B及び全画面明部値Wは以下の式3,4により求められる。
B=min[mina、minb、minc、mind](式3)
W=max[maxa、maxb、maxc、maxd](式4)
【0028】
補正用データに含まれる補正用境界値を、補正用データUaを例に説明する。補正用データUaに含まれる補正用境界値は、分割画像Saに接する他の分割画像の単位領域における暗部注目階調及び明部注目階調である。図8は、補正用データUaに含まれる補正用境界値について説明する図である。分割画像Saに接する他の分割画像の単位領域は、図8に灰色で示した分割画像Sbのb0、b5、b10及び分割画像Scのc0〜c4、及び分割画像Sdのd0である。よって、補正用データUaに含まれる分割画像Saの補正用境界値は、単位領域b0、b5、b10、c0〜c4、d0各々における暗部注目階調及び明部注目階調である。入力画像が分割画像Sa及び分割画像Sbからなる場合、補正用データUaに含まれる分割画像Saの補正用境界値は、単位領域b0、b5、b10各々における暗部注目階調及び明部注目階調である。
【0029】
以上のように補正用データUaに含まれる分割画像Saの補正用境界値を、補正用境界値決定部74において分離部72から送信された境界値の中から決定する。同様の処理で、補正用データUbに含まれる分割画像Sbの補正用境界値、補正用データUcに含まれる分割画像Scの補正用境界値、補正用データUdに含まれる分割画像Sdの補正用境界値をそれぞれ決定する。
【0030】
補正用データ出力部は、全画面補正値算出部73で算出された全画面補正値と、補正用境界値決定部74で決定された各分割画像の補正用境界値とを各分割画像の補正用データUa、Ub、Uc、Udとして、各画像処理部に出力する。例えば分割画像Saの補正用データUaは、全画面補正値である全画面暗部値B及び全画面明部値Wと、分割画像Saの補正用境界値である単位領域b0、b5、b10、c0〜c4、d0における各暗部注目階調及び明部注目階調からなる。
【0031】
補正用データ作成部104から出力された補正用データUa、Ub、Uc、Udは、それぞれ画像処理部103a、103b、103c、103dへ転送される。画像処理部103aのIF部17aは、補正用データ作成部104が出力した補正用データUaを受信する。
【0032】
以上のように本実施例では、中間データと補正用データを複数の画像処理部と補正用データ作成部との間で転送する。複数の画像処理部と補正用データ作成部との間でデータを転送するバスとしては、例えばPCI(Peripheral Component Interconnect)などがある。中間データ、補正用データはヒストグラムなどの統計量と比較してデータ量が少ないため、データ転送に要する時間を低減することが可能である。
【0033】
IF部17aで受信した補正用データUaは差分値算出部13aに出力される。このとき、補正用データUaのうち全画面補正値である全画面暗部値B及び全画面明部値Wは、差分値算出部13aだけでなく全画面γ生成部14aにも出力される。
【0034】
本実施例でのγ補正は、全画面γ生成部14aにおいて補正用データUaに含まれる全画面補正値から求められる全画面γカーブで入力画像全体を一律に補正する。更に、差分値算出部13a及び局所γ生成部15aから求められる局所γカーブで入力画像内の各画素に応じた局所補正を行う。
【0035】
まず、全画面γカーブの生成方法について説明する。全画面γ生成部14aは、IF部17aで受信した補正用データUaに含まれる全画面補正値の全画面暗部値B及び全画面明部値Wから全画面γカーブを生成する。本実施例の全画面γカーブは、低階調データを補正する暗部カーブγB、高階調データを補正する明部カーブγWと、中間階調を補正する中間カーブγMから成る。
【0036】
図9は全画面γカーブの元となる暗部カーブγB(g)及び明部カーブγW(g)の変換特性を示している。本実施例では画像データの階調分解能は8bit(0〜255階調)であるものとする。暗部カーブγB(g)は階調値0〜128の入力データをγ補正するカーブであり、明部カーブγW(g)は階調値192〜255の入力データをγ補正するカーブである。暗部カーブγB(g)及び明部カーブγW(g)のデータは、画像処理部103a内の不図示のメモリにあらかじめ格納してある。
【0037】
図9に示すように、暗部カーブγB(g)は126種類(g:2〜126、128)用意されている。式3により求められた全画面暗部値Bに応じて126種類の暗部カーブγB(g)(g:2〜126,128)の中から一つの暗部カーブγB(B)が選択される。全画面暗部値Bは、式3で求められるように各分割画像の代表値における暗部注目階調の最小値であるので、2〜126、128のいずれかの値をとる。暗部カーブγB(B)は、全画面暗部値B周辺の範囲の階調値における階調性を高めるための階調補正パラメータである。
【0038】
図9に示すように、明部カーブγW(g)は125種類(g:128、130〜253)用意されている。式4により求められた全画面明部値Wに応じて125種類の明部カーブγW(g)(g:128、130〜253)から一つの明部カーブγW(W)が選択される。全画面明部値Wは、式4で求められるように各分割画像の代表値における明部注目階調の最大値であるので、128、130〜253のいずれかの値をとる。明部カーブγW(W)は、全画面明部値W周辺の範囲の階調値における階調性を高めるための階調補正パラメータである。
【0039】
このように低階調データ及び高階調データを補正するγカーブを選択することにより、全画面暗部値Bが低い場合ほど暗部に階調を割り付けるカーブが生成され、全画面明部値Wが高い場合ほど明部に階調を割り付けるカーブが生成される。以上のように決定したγカーブを用いて補正をすることで暗部と明部の視認性を上げることが可能である。
【0040】
中間カーブγMは階調値129〜191の入力データをγ補正するカーブである。中間γカーブγMは選択された暗部カーブγB(B)と明部カーブγW(W)の間の階調を直線補間により補間した変換特性とする。以上のように全画面γ生成部14aにおいて、暗部カーブγB、明部カーブγW及び中間カーブγMにより全画面γカーブが生成される。
【0041】
次に局所γカーブの生成方法について説明する。差分値算出部13aは、IF部17aから補正用データUaを受信し、注目階調検出部11aから分割画像Saの各単位領域における暗部注目階調Nba(i)及び明部注目階調Nwa(i)を受信する。つまり、差分値算出部13aは、全画面暗部値B及び全画面明部値Wからなる全画面補正値と、分割画像Saの各単位領域及び分割画像Saと接している他の分割画像内の単位領域のそれぞれにおける暗部注目階調及び明部注目階調とを受信する。そして受信した値を用いて、各単位領域の暗部注目階調と全画面暗部値Bとの差分である暗部差分値と、各単位領域の明部注目階調と全画面明部値Wとの差分である明部差分値とを求める。
【0042】
暗部差分値及び明部差分値は、分割画像Saの各単位領域a0〜a14、及び補正用データUaに補正用境界値が含まれる単位領域b0、b5、b10、c0〜c4、d0の計24の各単位領域で求められる。補正用データUaに補正用境界値が含まれる単位領域b0、b5、b10、c0〜c4、d0は、分割画像Saに接する他の分割画像の単位領域である。以下の説明において、a0〜a14それぞれの単位領域で求められる暗部差分値及び明部差分値は、暗部差分値dba(j)及び明部差分値dwa(j)(j=0〜14)とする。また、b0、b5、b10、c0〜c4、d0それぞれの単位領域で求められる暗部差分値及び明部差分値は、暗部差分値dba(j)及び明部差分値dwa(j)(j=15〜23)とする。
【0043】
まず、暗部差分値dba(j)として、分割画像Saの各単位領域a0〜a14及び単位領域b0、b5、b10、c0〜c4、d0における暗部注目階調Nba(i)、Nbb(i)、Nbc(i)、Nbd(i)と全画面暗部値Bとのそれぞれの差分を求める。分割画像Sa内の単位領域a0〜a14における暗部差分値dba(0)〜dba(14)は、下記の式で求められる。分割画像Sa内の各単位領域における暗部注目階調Nba(i)は、注目階調検出部11aから送信された値である。
dba(j)=Nba(i)−B,j=0〜14,i:0〜14 (式5)
【0044】
次に、分割画像Saに接する分割画像Sbの単位領域b0、b5、b10における暗部差分値dba(15)〜dba(17)は式6で求められる。分割画像Scの単位領域c0〜c4における暗部差分値dba(18)〜dba(22)、分割画像Sdの単位領域d0における暗部差分値dba(23)はそれぞれ下記の式7、式8で求められる。単位領域b0、b5、b10、c0〜c4、d0における暗部注目階調Nbb(i),Nbc(i),Nbd(i)は、補正用データ作成部104より送信された補正用データUaに含まれる各分割画像の補正用境界値を用いる。
dba(j)=Nbb(i)−B,j=15〜17,i:0、5、10 (式6)
dba(j)=Nbc(i)−B,j=18〜22,i:0〜4 (式7)
dba(j)=Nbd(i)−B,j=23, i:0 (式8)
暗部差分値dba(j)(j:0〜23)は24個のデータである。また、全画面暗部値Bは式3より全画面における暗部注目階調の最小値であるため、暗部差分値dba(j)のいずれの暗部差分値も必ず0以上の値となる。
【0045】
明部差分値dwa(j)も暗部差分値dba(j)と同様に求める。明部差分値dwa(j)として、各単位領域における明部注目階調Nwa(i)、Nwb(i)、Nwc(i)、Nwd(i)と全画面明部値Wとのそれぞれの差分を求める。分割画像Sa内の単位領域a0〜a14における、明部差分値dwa(0)〜dwa(14)は、下記の式で求められる。分割画像Sa内の各単位領域における明部注目階調Nwa(i)は、注目階調検出部11aから送信された値である。
dwa(j)=W−Nwa(i),j=0〜14,i:0〜14 (式9)
【0046】
次に、分割画像Saに接する分割画像Sbの単位領域b0、b5、b10における明部差分値dwa(15)〜dwa(17)は式10で求められる。分割画像Scの単位領域c0〜c4における明部差分値dwa(18)〜dwa(22)、分割画像Sdの単位領域d0における明部差分値dwa(23)はそれぞれ下記の式11、式12で求められる。単位領域b0、b5、b10、c0〜c4、d0における、明部注目階調Nwb(i),Nwc(i),Nwd(i)は、補正用データ作成部104より送信された補正用データUaに含まれる各分割画像の補正用境界値を用いる。
dwa(j)=W−Nwb(i),j=15〜17,i:0、5、10 (式10)
dwa(j)=W−Nwc(i),j=18〜22,i:0〜4 (式11)
dwa(j)=W−Nwd(i),j=23,i:0 (式12)
明部差分値dwa(j)(j:0〜23)は24個のデータである。また、全画面明部値Wは式4より全画面における明部注目階調の最大値であるため、明部差分値dwa(j)のいずれの明部差分値も必ず0以上の値となる。
【0047】
差分値算出部13aは求めた暗部差分値dba(j)及び明部差分値dwa(j)を局所γ生成部15aに送信する。局所γ生成部15aは、差分値算出部13aで算出した暗部差分値dba(j)及び明部差分値dwa(j)から、分割画像Saの局所補正を行う局所γカーブを生成するための局所補正値を算出し、局所補正値を用いて局所γカーブを求める。局所γ生成部15aでの、分割画像Sa内の各画素における局所補正値の算出方法を説明する。局所補正値は、分割画像Sa内の各画素における局所暗部値dbaP(x、y)及び局所明部値dwaP(x、y)からなる。
【0048】
各画素における局所補正値である局所暗部値dbaP(x、y)及び局所明部値dwaP(x、y)は、差分値算出部13aにおいて算出された各単位領域における暗部差分値dba(j)及び明部差分値dwa(j)から求める。各単位領域境界において、局所暗部値dbaP(x、y)及び局所明部値dwaP(x、y)が急激な変化をすると、局所γ補正後の画像に不連続な部分が発生する。そのため本実施例では、局所暗部値dbaP(x、y)及び局所明部値dwaP(x、y)が滑らかに変化するように、画素位置に応じてバイリニア補間を行って局所暗部値dbaP(x、y)及び局所明部値dwaP(x、y)を求める。
【0049】
図10は、画素P(x、y)における局所暗部値dbaP(x、y)をバイリニア補間により求める処理を説明する図である。図10は分割領域Sa内の単位領域a0、a1、a5、a6を示している。差分値算出部13aから出力された暗部差分値dba(0)、dba(1)、dba(5)、dba(6)がそれぞれ、各単位領域a0、a1、a5、a6の中央の画素P0、P1、P5、P6の局所暗部値dbaP(x、y)であるとしてバイリニア補間を行う。暗部差分値dbaP(x、y)は暗部差分値dba(0)、dba(1)、dba(5)、dba(6)を、距離x0、x1、y0、y1に応じてバイリニア補間した値である。つまり、局所暗部値dbaP(x、y)は以下の式13により求められる。
dbaP(x、y)=(dba(0)×x1+dba(1)×x0)×y1
+(dba(5)×x1+dba(6)×x0)×y0 (式13)
但し、x0+x1=1、y0+y1=1とする。
【0050】
局所明部値dwaP(x、y)も、局所暗部値dbaP(x、y)と同様に式14を用いてバイリニア補間により画素ごとに求められる。単位領域a0、a1、a5、a6の各明部差分値はそれぞれdwa(0)、dwa(1)、dwa(5)、dwa(6)である。
dwaP(x、y)=(dwa0×x1+dwa1×x0)×y1
+(dwa5×x1+dwa6×x0)×y0 (式14)
但し、x0+x1=1、y0+y1=1とする。
【0051】
以上のように、局所γ生成部15aにおいて、各画素P(x、y)における局所補正値として局所暗部値dbaP(x、y)及び局所明部値dwaP(x、y)が算出される。
【0052】
局所γ生成部15aにおいて、算出された局所補正値に基づいて画素毎に補正する局所γカーブを生成する。局所γカーブは、低階調データを補正する暗部カーブγBp(h)、高階調データを補正する明部カーブγWp(h)と、中間階調を補正する中間カーブγMp(h)から成る。
【0053】
図11は局所γカーブの元となる暗部カーブγBp(h)及び明部カーブγWp(h)の変換特性を示している。暗部カーブγBp(h)及び明部カーブγWp(h)のデータは、画像処理部103a内の不図示のメモリにあらかじめ格納してある。
【0054】
図11に示すように、暗部カーブγBp(h)は127種類(h:0〜126)用意されている。式13により求められた局所暗部値dbaP(x、y)に応じて127種類の暗部カーブγBp(h)(h:0〜126)の中から一つの暗部カーブγBp(dbaP(x、y))が選択される。局所暗部値dbaP(x、y)は、各単位領域における暗部差分値dba(j)から求められるので、0〜126のいずれかの値をとる。
【0055】
図11に示すように、明部カーブγWp(h)は126種類(h:0〜125)用意されている。式14により求められた局所明部値dwaP(x、y)に応じて126種類の明部カーブγWp(h)(h:0〜125)から一つの明部カーブγWp(dwaP(x、y))が選択される。局所明部値dwaP(x、y)は、各単位領域における明部差分値dwa(j)から求められるので、0〜125のいずれかの値をとる。
【0056】
このように低階調データ及び高階調データを補正するγカーブを選択することにより、各画素の暗部注目階調と全画面暗部値Bとの差分である局所暗部値dbaP(x、y)が大きい画素ほど、暗部の階調を圧縮するカーブが選択される。一方、明部注目階調とW全画面明部値Wとの差分である局所明部値dwaP(x、y)が大きい画素ほど、明部の階調を圧縮するカーブが選択される。中間カーブγMpは選択された暗部カーブγBp(dbaP(x、y))と明部カーブγWp(dwaP(x、y))の間の階調を直線補間によりつないだ変換特性とする。以上のように暗部カーブγBp、明部カーブγWp及び中間カーブγMpから局所γカーブは作成される。
【0057】
全画面γ生成部14aで生成された全画面γカーブ、及び局所γ生成部15aで生成された局所γカーブを用いて、γ補正処理部16aにおいて分割画像Saのγ補正処理を行う。γ補正処理部16aにおけるγ補正処理は、まず全画面γカーブで入力画像全体を一律に補正した後、局所γカーブで入力画像内の各画素応じた局所補正を行う。γ補正処理部16aは、γ補正処理を行った分割画像Saを分割出力画像Taとして画像結合部105に出力する。
【0058】
以上、画像処理部103aでの処理について説明したが、画像処理部103b、103c、103dでも画像処理部103aと同様の構成であり、同様の処理を行うものとする。
【0059】
画像結合部105は、画像処理部103a、103b、103c、103dから出力されるγ補正処理された分割出力画像Ta、Tb、Tc、Tdを結合した出力画像を表示装置等に出力する。
【0060】
本実施例は画像処理部を4つ用いた例を記載したが、本発明の画像処理部は4つに限られるものではない。また、局所γカーブは画素毎に求める構成で説明を行ったが、各画素における局所暗部値dbaP(x、y)及び局所明部値dwaP(x、y)が、急激に変化しない程度に設けた複数の画素からなる小ブロックごとに局所γカーブを求めてγ補正してもよい。また、各分割画像の代表値及び境界値を求める際に、暗部注目階調及び明部注目階調を用いる方法について説明を行ったが、各分割画像の代表値及び境界値として各分割画像のヒストグラムの最大階調値または平均値を用いてもよい。
【0061】
以上のように本発明によれば、各画像処理部及び補正用データ作成部間のデータ転送時間を低減することにより画像補正処理を行う時間を確保することが可能になる。さらに本発明によれば、複数の画像処理部を用いて局所γ補正を行う場合において、他の画像処理部が補正処理を行う分割画像に接する一部の単位領域の境界値を転送することにより、領域毎の画像処理の不連続性を低減することが可能となる。
【0062】
(実施例2)
本実施例では実施例1と異なり、図1の補正用データ作成部104を用いない画像処理装置について説明を行う。実施例1では、各画像処理部は各分割画像の代表値及び境界値を補正用データ作成部104に送信したのに対し、本実施例では、各画像処理部は各分割画像の代表値及び境界値を他の画像処理部に送信する。
【0063】
図12は本実施例の回路ブロック図である。図12に示す画像処理装置1100は、画像分割部1102と、画像処理部1103a、1103b、1103c、1103dと、画像結合部1105から構成されている。実施例1と同様に、一つの画像処理部は一つのIC(Integrated Circuit)に実装されているものとする。画像処理装置1100の動作を以下で説明する。
【0064】
画像分割部1102は、入力画像を複数の領域に分割して複数の分割画像を作成する。本実施例においても実施例1と同様に図2に示す入力画像Sを用いて説明する。入力画像Sの解像度は、3840×2160画素とする。画像分割部1102は図2(b)に示すように入力画像Sを4つの分割画像Sa、Sb、Sc、Sdに分割し、それぞれ画像処理部1103a、1103b、1103c、1103dに出力する。分割画像Sa、Sb、Sc、Sdの解像度は1920×1080画素とする。
【0065】
次に、画像処理部1103aについて説明する。画像処理部1103b、1103c、1103dは画像処理部1103aと同様の構成であり、同様の処理を行うため、本実施例では画像処理部1103aについてのみ説明する。
【0066】
図13は、画像処理部1103aの内部構成を示すブロック図である。実施例1の画像処理部103aに対して、中間データ作成部131aの処理が中間データ作成部12aの処理と異なり、全画面補正値算出部132aが追加されている点で異なる。図13において図2と同符号のブロックは実施例1と同様の処理を行うため詳細は省略して説明を行う。
【0067】
実施例1と同様に、注目階調検出部11aは図4のように分割された分割画像Saの各単位領域の輝度ヒストグラムHa(i)(i:0〜14)から各暗部注目階調Nba(i)及び明部注目階調Nwa(i)を検出する。注目階調検出部11aは検出した暗部注目階調Nba(i)及び明部注目階調Nwa(i)を中間データ作成部131a及び差分値算出部13aに出力する。
【0068】
中間データ作成部131aでは、暗部注目階調Nba(0)〜Nba(14)及び明部注目階調Nwa(0)〜Nwa(14)から画像処理部1103b、1103c、1103dに出力する中間データMab、Mac、Madを作成する。
【0069】
本実施例における中間データ作成部131aで作成する中間データMabは画像処理部1103bに、中間データMacは画像処理部1103cに、中間データMadは画像処理部1103dにそれぞれ送信される。つまり中間データMab、Mac、Madは他の分割画像用中間データである。中間データMab、Mac、Madはそれぞれ、分割画像Saの代表値および境界値からなる。分割画像Saの代表値とは、実施例1と同様に、暗部注目階調Nba(0)〜Nba(14)の中の最小値mina、及び、複数の明部注目階調Nwa(0)〜Nwa(14)の中の最大値maxaからなり、式1及び2により求められる。
【0070】
本実施例における中間データMab、Mac、Madに含まれる境界値は実施例1と異なる。中間データMabに含まれる境界値は、分割画像Sbと接している分割画像Sa内の単位領域の暗部注目階調Nba(i)及び明部注目階調Nwa(i)からなる。入力画像Sが図7のように分割画像Sa〜Sdそれぞれが単位領域a0〜a14、b0〜b14、c0〜c14、d0〜d14に分割されているとする。この場合中間データMabに含まれる境界値は単位領域a4、a9、a14の暗部注目階調Nba(i)及び明部注目階調Nwa(i)である。
【0071】
同様に、中間データMacに含まれる境界値は分割画像Scと接している単位領域a10〜a14の暗部注目階調Nba(i)及び明部注目階調Nwa(i)である。中間データMadに含まれる境界値は分割画像Sdと接している単位領域a14における暗部注目階調Nba(i)及び明部注目階調Nwa(i)である。
【0072】
入力画像が分割画像Sa及び分割画像Sbからなる場合(入力画像を2つに分割し、分割画像Saの右に分割画像Sbがある場合)、中間データ作成部131aは中間データMabを作成する。中間データMabに含まれる境界値は、分割画像Sbと接している分割画像Sa内の単位領域a4、a9、a14各々の暗部注目階調Nba(i)及び明部注目階調Nwa(i)からなる。
【0073】
中間データ作成部131aは作成した中間データMab、Mac、Madを、IF部17aを通してそれぞれ画像処理部1103b、1103c、1103dに出力し、分割画像Saの代表値を差分値算出部13a及び全画面補正値算出部132aに送信する。
【0074】
画像処理部1103b内の中間データ作成部131bは、画像処理部1103aと同様に中間データMba、Mbc、Mbdを作成する。画像処理部1103c内の中間データ作成部131cは、中間データMca、Mcb、Mcdを作成し、画像処理部1103d内の中間データ作成部131dは、中間データMda、Mdb、Mdcを作成する。各画像処理部は作成した中間データを、中間データに含まれる境界値を有する単位領域が接している分割画像の処理を行う画像処理部に送信する。
【0075】
画像処理部1103aはIF部17aを通して、画像処理部1103b、1103c、1103dから中間データMba、Mca、Mdaを受信する。受信した中間データMba、Mca、Mdaは差分算出部13aに出力される。中間データMba、Mca、Mdaのそれぞれに含まれる、分割画像Sbの代表値、分割画像Scの代表値、分割画像Sdの代表値は全画面補正値算出部132aにも送信される。
【0076】
以上の処理により全画面補正値算出部132aは、中間データ作成部131a及びIF部17aから、分割画像Saの代表値、分割画像Sbの代表値、分割画像Scの代表値、分割画像Sdの代表値を受信する。全画面補正値算出部132aは実施例1における図7の全画面補正値算出部73と同様に、全画面暗部値B及び全画面明部値Wからなる全画面補正値を算出する。全画面補正値算出部132aは算出した全画面補正値を全画面γ生成部14a及び差分値算出部13aに送信する。
【0077】
以上の処理により差分値算出部13aは分割画像Saの各単位領域における暗部注目階調Nba(i)及び明部注目階調Nwa(i)(i:0〜14)を注目階調検出部11aから受信する。また、分割画像Saと接している他の分割画像内の単位領域のそれぞれにおける暗部注目階調Nba(i)及び明部注目階調Nwa(i)を、IF部17aから受信した中間データMba、Mca、Mdaそれぞれに含まれている境界値から取得する。更に、全画面補正値を全画面補正値算出部132aから受信する。つまり差分値算出部13aは実施例1と同様に、分割画像Saの各単位領域、及び分割画像Saと接している他の分割画像内の単位領域のそれぞれにおける暗部注目階調Nba(i)及び明部注目階調Nwa(i)と全画面補正値を受信する。
【0078】
全画面補正値算出部132aと全画面γ生成部14aとにおいて、分割画像Saの階調の補正処理を行う全画面階調補正パラメータを生成する。また、差分値算出部13aと局所γ生成部15aとにおいて、前記任意の分割画像の各画素の階調を補正するための局所階調補正パラメータを生成する。
【0079】
差分値算出部13aは実施例1と同様に、各単位領域の暗部注目階調と全画面暗部値Bとの差分である暗部差分値dba(j)と、各単位領域の明部注目階調と全画面明部値Wとの差分である明部差分値dwa(j)とを算出する。差分値算出部13aは算出した暗部差分値dba(j)及び明部差分値dwa(j)を局所γ生成部15aに出力する。
【0080】
実施例1と同様に局所γ生成部15aでは局所γカーブを生成する。γ補正処理部16aでは、全画面γ生成部14aで生成された全画面γカーブ及び局所γ生成部15aで生成された局所γカーブを用いて分割画像Saのγ補正処理を行い、分割出力画像Taを画像結合部1105に出力する。
【0081】
以上、画像処理部1103aでの処理について説明したが、画像処理部1103b、1103c、1103dでも画像処理部1103aと同様の構成であり、同様の処理を行うものとする。画像結合部1105は、画像処理部1103a、1103b、1103c、1103dから出力されるγ補正された分割出力画像Ta、Tb、Tc、Tdを結合し、出力画像を表示装置等に出力する。
【0082】
以上のように本発明によれば、データ転送時間を低減することにより画像補正処理を行う時間を確保することが可能になる。さらに、複数の画像処理部を用いて局所γ補正を行う場合において、複数の画像処理部間で他の画像処理部が補正処理を行う分割画像に接する一部の単位領域の境界値を転送することにより、領域毎の画像処理の不連続性を低減することが可能となる。
【符号の説明】
【0083】
102 画像分割部
103a〜103d 画像処理部
104 補正用データ作成部
105 画像結合部
11a 注目階調検出部
12a 中間データ作成部
13a 差分値算出部
14a 全画面γ生成部
15a 局所γ生成部

【特許請求の範囲】
【請求項1】
入力画像を複数の領域に分割して得られた複数の分割画像を複数の画像処理部を用いて画像処理を行う画像処理装置において、
前記複数の分割画像の各々におけるヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラムから、各分割画像における階調の代表値と、各分割画像内で他の分割画像と接する領域に関する階調の境界値とを含む中間データを作成する中間データ作成手段と、
前記中間データを送信する送信手段と、
前記送信手段により送信された複数の分割画像の各々における前記中間データから、各分割画像の階調を補正するための各分割画像の補正用データを作成する補正用データ作成手段と、
前記補正用データ作成手段で作成された前記補正用データに基づいて各分割画像の階調を補正する処理を行うための補正処理手段と、を有することを特徴とする画像処理装置。
【請求項2】
前記ヒストグラム作成手段で作成されたヒストグラムにおいて、度数が所定の閾値以上かつ極大値である階調値であって、局所的な度数の変動量が所定の基準よりも小さい階調値である注目階調を検出する注目階調検出手段を有し、
前記ヒストグラム作成手段は、分割画像を複数に分割した単位領域の各々におけるヒストグラムを作成し、
前記注目階調検出手段は、前記分割画像の各単位領域における前記ヒストグラムの注目階調のうち階調値が低階調側の暗部注目階調及び高階調側の明部注目階調を検出し、
前記中間データ作成手段が作成する各分割画像における中間データは、前記分割画像の各単位領域における前記暗部注目階調及び明部注目階調に基づいた、前記分割画像における階調の代表値と、前記分割画像内で他の分割画像と接する単位領域における暗部注目階調及び明部注目階調からなる、前記分割画像における階調の境界値とを含むことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記注目階調検出手段は、前記分割画像の各単位領域における前記ヒストグラムの注目階調のうち階調値が低階調側の中の最小値を暗部注目階調とし、高階調側の中の最大値を明部注目階調として検出し、
前記中間データ作成手段により作成される各分割画像における中間データに含まれる前記代表値は、前記分割画像の各単位領域における前記暗部注目階調の中の最小値及び前記明部注目階調の中の最大値であり、
前記補正用データ作成手段が作成する各分割画像の補正用データは、全画面補正値及び各分割画像の補正用境界値を含み、
前記全画面補正値は、前記複数の分割画像の各々における前記中間データの代表値の中から、階調値が最小の全画面暗部値及び階調値が最大の全画面暗部値であり、
前記分割画像の補正用データは、前記複数の中間データの境界値の中から、各分割画像に接する他の分割画像内の単位領域における前記暗部注目階調及び明部注目階調からなることを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記補正処理手段は、前記補正用データ作成手段により作成された前記補正用データの前記全画面補正値に含まれる前記全画面暗部値及び全画面明部値の周辺の範囲の階調性を高めるための全画面階調補正パラメータを用いて、前記分割画像の階調の補正処理を行うことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記補正処理手段は、前記注目階調検出手段で検出された分割画像の各単位領域における暗部注目階調及び明部注目階調と、前記補正用データ作成手段で作成された前記補正用データに含まれる全画面補正値及び各分割画像の補正用境界値と、から作成された前記分割画像の各画素の階調を補正する局所階調補正パラメータを用いて、前記分割画像の各画素の階調の補正処理を行うことを特徴とする請求項4に記載の画像処理装置。
【請求項6】
入力画像を複数の領域に分割して得られた複数の分割画像を複数の画像処理部を用いて画像処理を行う画像処理装置において、
各画像処理部は、
対応する分割画像のヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラムから、前記分割画像における階調の代表値と、前記分割画像内で他の分割画像と接する領域に関する階調の境界値とを含む中間データを作成する中間データ作成手段と、
前記中間データを他の画像処理部に送信する送信手段と、
前記分割画像における階調の代表値と、前記他の画像処理部の送信手段から送信された前記他の分割画像の中間データとから、前記分割画像の階調の補正処理を行う全画面階調補正パラメータを作成する全画面階調補正パラメータ生成手段と、
前記全画面階調補正パラメータに基づいて前記分割画像の階調を補正する処理を行うための補正処理手段と、を有することを特徴とする画像処理装置。
【請求項7】
前記ヒストグラム作成手段で作成されたヒストグラムにおいて、度数が所定の閾値以上かつ極大値である階調値であって、局所的な度数の変動量が所定の基準よりも小さい階調値である注目階調を検出する注目階調検出手段を有し、
前記ヒストグラム作成手段は、分割画像を複数に分割した単位領域の各々におけるヒストグラムを作成し、
前記注目階調検出手段は、前記分割画像の各単位領域における前記ヒストグラムの注目階調のうち階調値が低階調側の暗部注目階調及び高階調側の明部注目階調を検出し、
前記中間データ作成手段が作成する前記中間データは、前記分割画像の各単位領域における前記暗部注目階調及び明部注目階調に基づいた、前記分割画像における階調の代表値と、前記分割画像内で他の分割画像と接する単位領域における暗部注目階調及び明部注目階調からなる、前記分割画像における階調の境界値とを含むことを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記分割画像の各単位領域における暗部注目階調及び明部注目階調、及び前記送信手段により他の画像処理部から送信された他の分割画像の中間データに含まれる前記境界値、及び前記全画面階調補正パラメータ生成手段で生成された前記全画面階調補正パラメータから、前記分割画像の各画素の階調を補正するための局所階調補正パラメータを作成する局所階調補正パラメータ生成手段と、を有し、
前記補正処理手段は、前記全画面階調補正パラメータ及び前記局所階調補正パラメータに基づいて前記分割画像の階調を補正することを特徴とする請求項7に記載の画像処理装置。
【請求項9】
入力画像を複数の領域に分割して得られた複数の分割画像を複数の画像処理部を用いて画像処理を行う画像処理装置の制御方法において、
前記複数の分割画像の各々におけるヒストグラムを作成するヒストグラム作成工程と、
前記ヒストグラムから、各分割画像における階調の代表値と、各分割画像内で他の分割画像と接する領域に関する階調の境界値とを含む中間データを作成する中間データ作成工程と、
前記中間データを送信する送信工程と、
前記送信工程で送信された複数の分割画像の各々における前記中間データから、各分割画像の階調を補正するための各分割画像の補正用データを作成する補正用データ作成工程と、
前記補正用データ作成工程で作成された前記補正用データに基づいて各分割画像の階調を補正する処理を行うための補正処理工程と、を有することを特徴とする画像処理装置の制御方法。
【請求項10】
入力画像を複数の領域に分割して得られた複数の分割画像を複数の画像処理部を用いて画像処理を行う画像処理装置の制御方法において、
各画像処理部は、
対応する分割画像のヒストグラムを作成するヒストグラム作成工程と、
前記ヒストグラムから、前記分割画像における階調の代表値と、前記分割画像内で他の分割画像と接する領域に関する階調の境界値とを含む中間データを作成する中間データ作成工程と、
前記中間データを他の画像処理部に送信する送信工程と、
前記分割画像における階調の代表値と、前記他の画像処理部から送信された前記他の分割画像の中間データとから、前記分割画像の階調の補正処理を行う全画面階調補正パラメータを作成する全画面階調補正パラメータ生成工程と、
前記全画面階調補正パラメータに基づいて前記分割画像の階調を補正する処理を行うための補正処理工程と、を有することを特徴とする画像処理装置の制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2012−90230(P2012−90230A)
【公開日】平成24年5月10日(2012.5.10)
【国際特許分類】
【出願番号】特願2010−237467(P2010−237467)
【出願日】平成22年10月22日(2010.10.22)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】