画像表示装置、画像表示方法、および画像処理装置
【課題】画像表示装置における過度のコントラスト強調を防止する技術に関し、過度のコントラスト強調を防止する技術において、低輝度や高輝度部分の無効化を防止する。
【解決手段】作成部401は、入力画像データ406から補正前ヒストグラムデータ407を演算する。クリップ処理部402は、補正前ヒストグラムデータ407中で画素数値が上限閾値以上となる階調の画素数値を上限閾値にクリップする。割付け処理部404は、各階調でクリップした画素数の総和を、第1の輝度値から第2の輝度値の間にあるヒストグラムデータの各階調の画素数値に分配して割り付けて補正後ヒストグラムデータを出力する。補正部405は、このヒストグラムに基づき、入力画像データ406を出力画像データ409に補正する。
【解決手段】作成部401は、入力画像データ406から補正前ヒストグラムデータ407を演算する。クリップ処理部402は、補正前ヒストグラムデータ407中で画素数値が上限閾値以上となる階調の画素数値を上限閾値にクリップする。割付け処理部404は、各階調でクリップした画素数の総和を、第1の輝度値から第2の輝度値の間にあるヒストグラムデータの各階調の画素数値に分配して割り付けて補正後ヒストグラムデータを出力する。補正部405は、このヒストグラムに基づき、入力画像データ406を出力画像データ409に補正する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コントラストを改善した画像表示装置および方法に関する。
【背景技術】
【0002】
例えば外光の影響の大きい場所で画像表示装置を使用する場合、外光の映り込みにより、パネルに表示された画像が見え難くなるという問題がある。この原因は、映り込みにより表示画像のダイナミックレンジが狭まることにある。外光照射後の画質低下の改善のためには、コントラストを増大させて、レンジの階調幅全体を有効に利用する必要がある。
【0003】
暗部から明部にかけてレンジの階調幅全体を有効活用する手法として、輝度分布(ヒストグラム)のイコライズ(平坦化)技術が知られている。(例えば特許文献1)。
【0004】
また、画像の輝度分布(ヒストグラム)を生成し、輝度ごとに所定数以上の画素をクリップした後、全輝度に於けるクリップした画素総数を、全輝度に対して均一に割り付けることで、過度のコントラスト強調を抑止する技術も存在する。(例えば特許文献2)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平11−331598号公報
【特許文献2】特開2002−140700号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、前述したヒストグラムのイコライズ(平坦化)技術においては、元画像によっては、補正後の画質が、傾きの急な階調で過補正になったり、傾きの平らな階調でコントラスト(階調差)がつかなくなったりする問題が生じる。
【0007】
また、前述したクリップを利用した技術においては、階調特性(トーンカーブ)の傾きが一定以上になることを防ぐために、ヒストグラムにおいて分布する画素数が閾値以上となる輝度については、クリップ処理を行う。そしてクリップした画素総数を、全輝度に渡り均一に割り当てるため、入力画像のヒストグラムにおいて画素の分布がない領域にも画素が割り当てられる。よって、割当後のヒストグラムを使って生成した補正曲線により、特に、低輝度や高輝度に割当がなされると、割当後のヒストグラムで入力輝度値が例えば0であっても出力輝度値が例えば2になるような場合がある。この結果、本来の真っ黒(例えば輝度値0)が少し明るい黒(例えば輝度値2)に補正されてしまう。つまり、出力輝度においては、例えば輝度値0〜2までは使われず、ダイナミックレンジは真っ黒(輝度値0)の部分までは拡張されない。こういった現象は高輝度(輝度値255の白)においても同様である。
【0008】
そこで、本発明の課題は、過度のコントラスト強調を防止する技術において、低輝度や高輝度部分が無効化することを防止することである。
【課題を解決するための手段】
【0009】
態様の一例では、コンピュータの画像装置であって、入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、その画素数値を前記上限閾値にクリップするクリップ処理部と、各階調でクリップした画素数の総和を、第1の階調閾値から第2の階調閾値の間にあるヒストグラムデータの各階調の画素数値に分配して割り付けて補正後ヒストグラムデータを出力する割付け処理部と、補正後ヒストグラムデータに基づいて、入力画像データを出力画像データに補正する補正部とを有する。
【発明の効果】
【0010】
過度のコントラスト強調を防止する技術において、低輝度や高輝度部分を有効化することが可能となる。
【図面の簡単な説明】
【0011】
【図1】画像のイコライズ(平坦化)技術とその問題点の説明図である。
【図2】ブレンド手法の説明図である。
【図3】クリップ手法と盛上げ手法の説明図である。
【図4】画像表示装置の第1の実施形態の機能ブロック図である。
【図5】第2の実施形態の説明図である。
【図6】第2の実施形態にて使用されるデータ構成図である。
【図7】第2の実施形態の制御動作を示すフローチャートである。
【図8】第3の実施形態の説明図である。
【図9】第3の実施形態で追加されるデータの構成図である。
【図10】第3の実施形態の制御動作を示すフローチャートである。
【図11】第4の実施形態の説明図である。
【図12】第4の実施形態の制御動作を示すフローチャートである。
【図13】第5の実施形態の説明図である。
【図14】実施形態のトーンカーブを適用した画像と、従来手法(イコライズ)のトーンカーブを適用した画像の補正前後の階調、およびコントラスト(明度の差)の比較図である。
【図15】従来技術(イコライズ)および実施形態における、画像処理前後の各画像のヒストグラムの比較図である。
【図16】実施形態の装置を実現できるコンピュータのハードウェア構成の一例を示す図
【発明を実施するための形態】
【0012】
以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
【0013】
以下の説明では、まず、通常考えられる過度のコントラスト強調防止技術とそれらの問題点および本実施形態との関係について説明をする。その後に、本実施形態の構成および動作について説明をする。
【0014】
図1は、一般的に考えられる画像のイコライズ(平坦化)技術とその問題点の説明図である。画像のイコライズ(平坦化)は、画像のヒストグラムから各階調の画素数を積算して、トーンカーブを生成し、このトーンカーブを画像の濃度変換曲線として用いて画質補正を行う手法である。すなわちまず、図1(a)に示されるように、補正前画像(元画像)から輝度分布、すなわちヒストグラムが生成される。このヒストグラムにおいては、暗い明度に対応する輝度値から明るい明度に対応する輝度値までの各輝度値の階調毎に、補正前画像において、その階調の輝度値を有する画素数が計数される。次に、このヒストグラムに基づいて、暗い明度に対応する輝度値から順に各階調の画素数を積算することにより、図1(b)に示されるトーンカーブが生成される。そして、このトーンカーブが、補正前画像の各画素の輝度値の元階調を補正後階調に変換するための濃度変換曲線として用いられる。
【0015】
この手法では、画素数が多い階調ほどトーンカーブの傾きは急になる。一方画素数が少ない階調では、トーンカーブの傾きが緩やかになる。従って、元画像の性質によっては、図1(b)に示されるトーンカーブによる補正後の画像の画質が、トーンカーブの傾きの急な階調で過補正になったり、傾きの平らな階調でコントラスト(階調差)がつかなくなったりする問題が生じる。
【0016】
この問題を緩和する技術として、画像のブレンド手法が考えられる。ブレンドは、図2に示されるように、補正前画像(元画像)と補正後画像の色度の比率α%を任意の大きさに変えて、画質を調整する手法である。
【0017】
このように、イコライズ後の画像(補正後画像)と補正前画像(元画像)をブレンドして画質を調整する手法によれば、補正後の画質を改善できる場合がある。一方で、イコライズやブレンドだけでは、過補正またはコントラスト低下を調整することができず、かえって元画像に比べて画質が悪化する場合もある。
【0018】
さらにこの問題を解決するために、次のようなクリップ手法の技術が考えられる。すなわち、図3(a)の301から図3(b)の302として示されるように、補正前画像から生成されるヒストグラムにおいて、画素数がクリップ用の上限閾値以上となる階調については、上限閾値以上の画素を上限閾値にクリップする。そして、各階調でクリップした画素数の総和を、全階調範囲に均等に割付け総画素数を元のヒストグラムの値と同じにしておく。例えば、ある階調の画素数が8300、上限閾値が5000の場合、クリップされる画素数は3300となる。そして例えば、クリップした画素数の総和が25600で、これを全階調(例えば階調数128)に均等に割付ける場合、各階調に割付ける画素数は200となる。
【0019】
一方、図3(a)の補正前ヒストグラムで、画素数が下限閾値よりも少ない階調について、図3(b)に示されるように、下限閾値まで盛上げを行う手法も考えられる。例えば、下限閾値が200の場合、これより画素数が少ない階調全てに画素数200だけ盛上げを行う。
【0020】
このようなクリップ手法または盛上げ手法の技術を用いて生成された図3(b)に示されるような画素処理後ヒストグラムを用いて、図3(c)に示されるような画素数を積算したトーンカーブが生成される。そして、このトーンカーブが、補正前画像の各画素の輝度値の元階調を補正後階調に変換するための濃度変換曲線として用いられる。このようなトーンカーブにおいては、図3(c)の304に示されるように、クリップ処理により、過度の傾きが抑制され、また、図3(c)の305に示されるように、盛上げ処理により、画素数の少ない階調に階調差がつくようになり、平坦性が回避される。この結果、過度のコントラスト強調やコントラストの平坦化を抑止することが期待される。
【0021】
しかし、上述の単純なクリップ手法や単純な盛上げ手法の技術では、クリップした画素総数を、全輝度に渡り均一に割り当てるため、入力画像のヒストグラムにおいて画素の分布がない領域にも画素が割り当てられる。よって、割当後のヒストグラムを使って生成した補正曲線により、特に、低輝度や高輝度に割当がなされると、割当後のヒストグラムで入力輝度値が例えば0であっても出力輝度値が例えば2になるような場合がある。この結果、本来の真っ黒(例えば輝度値0)が少し明るい黒(例えば輝度値2)に補正されてしまう。つまり、出力輝度においては、例えば輝度値0〜2までは使われず、ダイナミックレンジは真っ黒(輝度値0)の部分までは拡張されない。こういった現象は高輝度(輝度値255の白)においても同様である。
【0022】
以下、第1から第5の実施形態について、順次説明を行う。
図4は、画像処理装置たとえば画像表示装置の第1の実施形態の機能ブロック図である。各機能ブロックによる構成は、コンピュータの画素表示装置に適用される。ここでいうコンピュータとは、パーソナルコンピュータのほか、携帯電話、携帯型コンピュータ、カーナビゲーション装置、デジタルカメラ等、画像表示装置を備える全ての機器をいう。
【0023】
図4に示した機能部ロックの各処理部は、コンピュータのCPUが、図7,10,12に示す処理の少なくとも一部を実行させるプログラムを実行することで、実現される。
【0024】
作成部401は、入力される入力画像データ406から輝度分布を示す補正前ヒストグラムデータ407を演算する。
【0025】
クリップ処理部402は、補正前ヒストグラムデータ407の輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、その画素数値を上限閾値にクリップする。
【0026】
盛上げ処理部403は、補正前ヒストグラムデータ407において、第1の階調閾値すなわち第1の輝度値と第2の階調閾値すなわち第2の輝度値の間の各階調の画素数値が所定の下限閾値より小さくなる階調については、その画素数値を下限閾値に盛り上げる。
【0027】
割付け処理部404は、各階調でクリップした画素数の総和を、第1の輝度値から第2の輝度値の間にあるヒストグラムデータの各階調の画素数値に分配して割り付けて、補正後ヒストグラムデータ408を出力する。なお、盛上げ処理部および割付処理部は、加算部に相当する。加算部は、第1の輝度値から第2の輝度値の間にある各階調の画素数値に、クリップされた画素数値の少なくとも一部を補完する画素数値を加算する。
【0028】
補正部405は、補正後ヒストグラムデータ408に基づいて、入力画像データ406を出力画像データ409に補正して出力する。より具体的には、補正部405は、補正後ヒストグラムデータ408から画素数を積算したトーンカーブを生成する。そして、補正部405は、このトーンカーブを入力画像データ406の各画素の輝度値の元階調を出力画像データ409の階調に変換するための濃度変換曲線として用いる。
【0029】
調整部410は、補正後ヒストグラムデータ408の総画素数が補正前ヒストグラムデータ407の総画素数を超えた場合に、補正前ヒストグラムデータ407の総画素数に所定の誤差範囲で一致するように、調整を行う。すなわち、第1の輝度値から第2の輝度値の間にある補正後ヒストグラムデータ408の各階調の画素数値を、各階調で均等にまたは画素数値の大きい階調から優先的に減らす調整を行う。
【0030】
そこで、以上に説明した第1の実施形態では、クリップした画素数を均等に割り付けたり、盛上げを行うことのできる階調を第1の輝度値と第2の輝度値を設けた。これにより、過度のコントラスト強調やコントラストの平坦化を抑止すると同時に、第1の輝度
値以下の低輝度領域と第2の輝度値以上の高輝度領域への出力輝度の割当てを適切に行うことが可能となる。
【0031】
なお、本実施例の画像処理装置は、クリップ処理と割付け処理とを行うこととして説明したが、本発明はこれに限られない。例えば、本実施例の画像処理装置は、クリップ処理と盛り上げ処理とを行ってもよい。なお、盛り上げ処理は、SDからHLまでの領域について、加減閾値以下の画素数となる階調に対して行われる。
【0032】
以上の第1の実施形態の構成において、盛上げ処理部403と調整部410を含まない構成は、第2の実施形態に対応する。
【0033】
また、盛上げ処理部403を含み調整部410は含まない構成は、第3の実施形態に対応する。
【0034】
また、第2の実施形態では、割付け処理部404は、各階調でクリップした画素数の総和を、第1の輝度値から第2の輝度値の間の全ての階調の画素数値に分配して割り付ける。
【0035】
一方、第4の実施形態では、割付け処理部404は、各階調でクリップした画素数の総和を、第1の輝度値から第2の輝度値の間の各階調の範囲内で画素数値が下限閾値以上となる各階調の画素数値に割り付ける。
さらに、調整部410を含む構成は、第5の実施形態に対応する。
【0036】
以上の構成に基づいて、まず、画像表示装置の第2の実施形態について説明する。図5は、第2の実施形態の説明図である。まず、図4の作成部401が、入力画像データ406から、図5(a)に示される山形の特性の補正前ヒストグラムデータ407を生成する。図5(a)において、横軸は、入力画像データ406の輝度値の階調を示し、縦軸は、各階調毎の画素数値を示す。図5(b)(c)、および後述する図10、図13、図15においても同様である。
【0037】
次に、図4のクリップ処理部402は、補正前ヒストグラムデータ407の輝度値の各階調において、画素数値が図5(a)に示される上限閾値以上となる階調については、その画素数値を上限閾値にクリップする。これにより、図5(b)に示されるように、上限閾値以上の山形の部分が、平らな特性にカットされる。
【0038】
次に、割付け処理部404は、各階調でクリップした画素数の総和を、第1の輝度値SDから第2の輝度値HLの間にある補正前ヒストグラムデータ407の各階調の画素数値に分配して割り付ける(図5(b)参照)。より具体的には、各階調でクリップした画素数の総和を、SD+1からHL−1までの階調数で除算し、その除算結果を、SD+1からHL−1までの各階調の補正前ヒストグラムデータ407の各画素数値に加算する。そして、それぞれの加算結果を、SD+1からHL−1までの各階調の補正後ヒストグラムデータ408の各画素数値として出力する。また、0からSDまでと、HLから最大階調値までの各階調の補正前ヒストグラムデータ407の各画素数値は、そのまま対応する補正後ヒストグラムデータ408の各画素数値として出力する。なお、0からSDまでと、HLから最大階調値までの各階調の補正後ヒストグラムデータ408の各画素数値としては強制的に0を出力してもよい。
【0039】
ここで、第1の輝度値は例えば、輝度値がゼロ近傍の値となる階調値SD(シャドウ)であり、また、第2の輝度値は例えば、輝度値が最大値近傍の値となる階調値HL(ハイライト)である。
【0040】
補正部405は、図5(b)に示される補正後ヒストグラムデータ408から、画素数を積算した図5(c)に示されるトーンカーブを生成する。そして、補正部405は、図5(c)に示されるトーンカーブを、入力画像データ406の各画素の輝度値の元階調を出力画像データ409の補正後の階調に変換するための濃度変換曲線として用いる。
【0041】
以上のようにして生成された図5(b)に示される補正後ヒストグラムデータ408において、SD以下の階調の画素数値、すなわち色でいうと真っ黒に近い階調の画素数値に、クリップによる画素の割付けが行われることはなくなる。同様に、HL以上の階調の画素数値、すなわち色でいうと真っ白に近い階調の画素数値に、クリップによる画素の割付けが行われることはなくなる。従って、この補正後ヒストグラムデータ408から生成される積算トーンカーブに基づいて入力画像データ406を補正することにより、出力画像データ409において、低輝度値や高輝度値を適切に保持することが可能となる。
【0042】
例えば、横800画素×縦400画素の画像における総画素数は32万画素である。全256階調のヒストグラムにおいて、クリップの上限閾値が2000、第1の輝度値SDの階調値20、第2の輝度値HLの階調値221とする。このとき、クリップ処理部402は、上限閾値2000を超える画素数値を有する階調については、その画素数値を2000にクリップする。そして、クリップ処理部402がクリップした画素数の総数が50000とすると、割付け処理部404は、階調21〜220までの200階調に画素数50000を均等に割付ける。よって、各階調に割付ける画素数値は250となる。第2の実施形態の場合、クリップした箇所の画素数は2250となる。なお、クリップした階調には画素数を割付けずに、画素数値2000のままでも良い。
【0043】
図6は、第2の実施形態にて使用されるデータ構成図である。これらのデータは、画像表示装置が内蔵する特には図示しないメモリまたはプロセッサ内部のレジスタに記憶される。
【0044】
図6(a)のIin[k]は、入力画像データ406の輝度値を示し、1画面分でk=0からk=K−1までのK画素分の輝度値の配列データである。
図6(b)は、上限閾値のレジスタデータを示す。
図6(c)は、第1の輝度値SDのレジスタデータを示す。
図6(d)は、第2の輝度値HLのレジスタデータを示す。
図6(e)のHin[i]は、補正前ヒストグラムデータ407を示し、例えば0〜255階調までの256階調分の画素数値の配列データである。
図6(f)は、図4のクリップ処理部402が出力する、クリップされた総画素数のレジスタデータを示す。
図6(g)は、図4の割付け処理部404が割り付けるクリップ画素割付け数のレジスタデータを示す。
図6(h)のHout [i]は、補正後ヒストグラムデータ408を示し、例えば0〜255階調までの256階調分の画素数値の配列データである。
図6(i)のT[i]は、図4の補正部405が内部で生成する積算トーンカーブを示し、例えば0〜255階調までの256階調分の画素数値の配列データである。
図6(j)のIout [k]は、出力画像データ409の輝度値を示し、1画面分でk=0からk=K−1までのK画素分の輝度値の配列データである。
【0045】
図7は、以上のデータ構成に基づいて第2の実施形態の画像表示装置が実行する制御動作を示すフローチャートである。このフローチャートは例えば、画像表示装置内の画像処理プロセッサが画像表示装置内のプログラムメモリに記憶された制御プログラムを実行する動作である。或いは、画像処理専用ハードウェアが実行する動作である。
【0046】
まず、1画面分の入力画像データ406の配列データIin[k](k=0〜K−1)がメモリから読み込まれて、各輝度値の配列データIin[k]の階調が判定される。例えば、配列データIin[0]の輝度値が0の場合、補正前ヒストグラムデータ407の階調0に対応するメモリ上(図6(e))の配列データ値Hin[0]の値がプラス1される。一般的には、配列データIin[k]の輝度値がiの場合、補正前ヒストグラムデータ407の階調iに対応するメモリ上の配列データ値Hin[i]の値がプラス1される。この結果、0から255までの256階調分の画素数値を計数した補正前ヒストグラムデータ407の配列データHin[i](i=0〜255)が演算され、メモリ上に確保される(以上、ステップS701)。以上の処理は、図4の作成部401の機能に対応する。
【0047】
次に、第1の輝度値SDと第2の輝度値HLの各データがメモリ(図6(c)、(d))からプロセッサ内部のレジスタに読み込まれて、図5(b)に示される補正階調範囲が決定される(ステップS702)。
【0048】
次に、クリップ処理のための上限閾値のデータがメモリ(図6(b))からプロセッサ内部のレジスタに読み込まれる。また、クリップ総画素数のレジスタ(図6(f))がプロセッサ内に確保される。そして、補正前ヒストグラムデータ407の各階調の画素数値の配列データHin[i](i=0〜255)が、メモリから読み込まれて判定される。そして、各配列データ値が上限閾値のレジスタ値以上となる階調xについては、その階調に対応する配列データ値Hin[x]が、上限閾値のレジスタ値に置き換えられてクリップされ、メモリに書き戻される。このとき、
クリップされた画素数=元のHin[x]値−上限閾値
が、クリップ総画素数のレジスタに累算される(以上、ステップS703)。この処理は、図4のクリップ処理部402の機能に対応する。
【0049】
次に、各階調でクリップした画素数の総和が、第1の輝度値SDから第2の輝度値HLの間にあるヒストグラムデータの各階調の画素数値に分配して割り付けられる。具体的には、クリップ総画素数のレジスタ値と、第1、第2の輝度値SD、HLの各レジスタ値の間にある補正前ヒストグラムデータ407の各階調に対応するメモリ上の配列データ値Hin[SD+1]〜Hin[HL−1]が各々加算される。そして、それぞれの加算結果が、SD+1からHL−1までの各階調に対応する補正後ヒストグラムデータ408の配列データ値Hout [SD+1]〜Hout [HL−1]として演算され、メモリ(図6(h))に書き込まれる。また、0からSDまでと、HLから最大階調値までの各階調の補正前ヒストグラムデータ407の各画素数値は、そのまま対応する補正後ヒストグラムデータ408の各階調の画素数値として出力される。すなわち、各配列データ値Hin[0]〜Hin[SD]、Hin[HL]〜Hin[255]は、そのまま対応する各配列データ値Hout [0]〜Hout [SD]、Hout [HL]〜Hout [255]として、メモリに書き込まれる。なお、0からSDまでと、HLから最大階調値までの各階調の補正後ヒストグラムデータ408の各画素数値としては、強制的に0を出力してもよい。すなわち、各配列データ値Hout [0]〜Hout [SD]、Hout [HL]〜Hout [255]は、全て強制的に0としてもよい(以上、ステップS704)。この処理は、図4の割付け処理部404の機能に対応する。
【0050】
次に、メモリから補正後ヒストグラムデータ408の配列データHout [i](i=0〜255)が読み込まれる。そして、i=0から順に、配列データ値Hout [i]が順次累算されることにより、積算トーンカーブの配列データ値T[i](i=0〜255)が生成される。すなわち、i=0からi=255まで順に、
T[i]=Hout [i] (i=0の場合)
T[i]=Hout [i−1]+Hout [i] (i=0以外の場合)
が計算される。次に、積算トーンカーブT[i](i=0〜255)における最大値T[255]が最大階調値255になるように、T[i](i=0〜255)が正規化される。すなわち、
A=255/T[255]
として、
T[i]=T[i]×A (i=0〜255)
が計算され、メモリ(図6(i))に書き込まれる(以上、ステップS705)。この処理は、図4の補正部405の一部の機能に対応する。
【0051】
以上のようにしてメモリ上に生成された積算トーンカーブT[i](i=0〜255)を使って、入力画像データ406が変換され、出力画像データ409として出力される。具体的には、入力画像データ406の各配列データ値Iin[k](k=1〜K−1)が順次読み込まれて、
Iout [k]=T[Iin[k]] (k=1〜K−1)
が計算され、メモリ(図6(j))に書き込まれる。そして、このようにして補正された出力画像データ409の各配列データ値Iout [k](k=1〜K−1)が、画像表示のために出力される(以上、ステップS706)。この処理は、図4の補正部405の一部の機能に対応する。
【0052】
次に、画像表示装置の第3の実施形態について説明する。
図8は、第3の実施形態の説明図である。
【0053】
まず、補正前ヒストグラムデータ407において画素数値が上限閾値以上となる階調については、その画素数値を上限閾値にクリップする構成は、第1の実施形態の場合と同様である。また、クリップ総画素数を、第2の輝度値SD+1から第2の輝度値HL−1までの階調に均等に割り付ける構成も、第2の実施形態の場合と同様である。
【0054】
第3の実施形態の構成が第1の実施形態の構成と異なる点は、図4の画像表示装置の構成において、第2の実施形態の構成に加えて、盛上げ処理部403を有する点である。
【0055】
盛上げ処理部403は、図8(a)に示される補正前ヒストグラムデータ407において、SDとHLの間の各階調の画素数値が盛上げのための下限閾値より小さくなる階調については、画素数値を下限閾値に盛り上げる。この結果、図8(b)に示されるように、801として示される矢印の階調範囲において、画素数値が下限閾値に盛り上げられる。
【0056】
そして、図4の補正部405は、図8(b)に示される補正後ヒストグラムデータ408から生成される積算トーンカーブを、入力画像データ406を出力画像データ409に変換するための濃度変換曲線として用いる。
【0057】
以上のようにして生成された図8(b)に示される補正後ヒストグラムデータ408において、第2の実施形態の場合と同様に、SD以下とHL以上の階調の画素数値に、クリップによる画素の割付けが行われることはなくなる。従って、この補正後ヒストグラムデータ408から生成される積算トーンカーブに基づいて入力画像データ406を補正することにより、出力画像データ409において、低輝度値や高輝度値を適切に保持することが可能となる。これに加えて、第3の実施形態では、適切な範囲での盛上げ処理により、画素数の少ない階調に階調差がつけることができるようになり、平坦性を回避させることが可能となる。
【0058】
図9は、図6に示される第2の実施形態にて使用されるデータ構成図に加えて、第3の実施形態で追加されるデータの構成図である。このデータは、画像表示装置が内蔵する特には図示しないメモリまたはプロセッサ内部のレジスタに記憶される。すなわち、図9は、下限閾値のレジスタデータを示す。この下限閾値は、図8(a)に示されるように、盛上げ処理を判定するための閾値として使用される。
【0059】
図10は、図6と図9のデータ構成に基づいて第3の実施形態の画像表示装置が実行する制御動作を示すフローチャートである。このフローチャートは例えば、第1の実施形態の場合と同様に、画像表示装置内の画像処理プロセッサが画像表示装置内のプログラムメモリに記憶された制御プログラムを実行する動作である。或いは、画像処理専用ハードウェアが実行する動作である。
【0060】
図10のフローチャートにおいて、図7の第2の実施形態の場合と同じ番号を付してあるステップについては、図7の場合と同様の処理を実行するため、その説明は省略する。
【0061】
第3の実施形態においては、ステップS703にてクリップ処理が実行されると共に、次の盛上げ処理が実行される。
【0062】
すなわち、ステップS702の処理の後、盛上げ処理のための下限閾値のデータがメモリ(図9)からプロセッサ内部のレジスタに読み込まれる。次に、補正前ヒストグラムデータ407の各階調の画素数値の配列データHin[i](i=0〜255)がメモリから読み込まれて、第1の輝度値SD+1から第2の輝度値HL−1の間の階調の各配列データHin[SL+1]〜Hin[HL−1]が判定される。そして、画素数値が下限閾値のレジスタ値以上となる階調yについては、その階調に対応する配列データ値Hin[y]が、下限閾値のレジスタ値に置き換えられて盛り上げられ、メモリに書き戻される(以上、ステップS1001)。この処理は、図4の盛上げ処理部403の機能に対応する。
ステップS1001以外の図10に示される処理は、図7の場合と同様である。
【0063】
次に、画像表示装置の第4の実施形態について説明する。
図11は、第4の実施形態の説明図である。
【0064】
まず、図11(a)に示されるように、補正前ヒストグラムデータ407において画素数値が上限閾値以上となる階調については、その画素数値を上限閾値にクリップする構成は、第1の実施形態の場合と同様である。また図11(a)に示されるように、補正前ヒストグラムデータ407において、SDとHLの間の各階調の画素数値が盛上げのための下限閾値より小さくなる階調については、画素数値を下限閾値に盛り上げる構成は、第2の実施形態の場合と同様である。
【0065】
第4の実施形態の構成が、第2、第3の実施形態と異なる点は、次の通りである。即ち、図11(b)において、クリップ総画素数が、SD+1からHL−1までの階調内であって、盛上げが行われた範囲1102以外の階調範囲1101に均等に割り付けられる点である。この処理は、図4の割付け処理部404が実行する。
【0066】
これにより、盛上げが行われた階調については、それ以上の過度の補正が行われてしまうことを回避することが可能となる。
【0067】
図12は、第4の実施形態の画像表示装置が実行する制御動作を示すフローチャートである。このフローチャートは例えば、第2、第5の実施形態の場合と同様に、画像表示装置内の画像処理プロセッサが画像表示装置内のプログラムメモリに記憶された制御プログラムを実行する動作である。或いは、画像処理専用ハードウェアが実行する動作である。
【0068】
また、図12のフローチャートが示す制御動作において使用されるデータの構成は、第2の実施形態に関連する図6と第3の実施形態に関連する図9のデータ構成に基づく。
【0069】
図12のフローチャートにおいて、図7の第2の実施形態の場合および図10の第3の実施形態の場合と同じ番号を付してあるステップについては、図7、図10の場合と同様の処理を実行するため、その説明は省略する。
【0070】
第4の実施形態においては、図4の割付け処理部404の機能に対応するステップ1201の処理において、以下の処理が実行される。
【0071】
すなわち、各階調でクリップした画素数の総和が、第1の輝度値SDから第2の輝度値HLの間にあるヒストグラムデータの各階調のうち、画素数値がステップS1001で判定された盛上げのための下限閾値より大きい各階調に分配して割り付けられる。具体的には、まず、メモリ(図6(e))から、第1、第2の輝度値SD、HLの各レジスタ値の間にある補正前ヒストグラムデータ407の各階調に対応するメモリ上の配列データ値Hin[SD+1]〜Hin[HL−1]が読み込まれる。そして、これらの配列データ値のうち、画素数値が下限閾値のレジスタ値より大きい各階調の配列データが選択される。そして、クリップ総画素数のレジスタ値と上述の選択された各配列データ値が各々加算される。そして、それぞれの加算結果が、上述の選択された配列データの各階調に対応する補正後ヒストグラムデータ408の配列データ値Hout [i]として演算され、メモリ(図6(h))に書き込まれる。
【0072】
また、配列データ値Hin[SD+1]〜Hin[HL−1]のうち、画素数値が下限閾値のレジスタ値以下の各階調の配列データについては、そのまま対応する補正後ヒストグラムデータ408の各配列データ値として出力される。
【0073】
0からSDまでと、HLから最大階調値までの各階調の補正前ヒストグラムデータ407の各画素数値と補正後ヒストグラムデータの対応する各階調の各画素数値との対応関係は、第2の実施形態の場合と同様である。
【0074】
以上のステップS1201の処理は、図4の割付け処理部404の機能に対応する。
ステップS1201以外の図12に示される処理は、図7、図10の場合と同様である。
【0075】
次に、画像表示装置の第5の実施形態について説明する。
図13は、第5の実施形態の説明図である。
【0076】
第5の実施形態では、例えば第2の実施形態の場合と同様に、クリップ処理と割付け処理によって補正された図13(a)に示されるような補正後ヒストグラムデータ408の状態が判定される。そして、補正後ヒストグラムデータ408の総画素数が補正前ヒストグラムデータ407の総画素数を超えた場合に、両者の総画素数が所定の誤差範囲で一致するように、以下の調整が実行される。
【0077】
すなわち、図13(a)に示されるように、第1の輝度値SD+1から第2の輝度値HL−1の間にある補正後ヒストグラムデータ408の各階調の画素数値を、各階調で均等に減らす調整が行われる。
【0078】
或いは、SD+1からHL−1の間にある補正後ヒストグラムデータ408の各階調の画素数値を、画素数値の大きい階調から優先的に減らす調整が行われるように構成されてもよい。
【0079】
この結果、図13(b)に示されるように、再調整後の補正後ヒストグラムデータ408において、図13(a)に示される調整前のヒストグラムデータに比べて、全体的に高さが若干低くなるようなヒストグラムデータが得られる。
【0080】
そして、図4の補正部405は、図13(b)に示されるように再調整された補正後ヒストグラムデータ408から生成される積算トーンカーブを、入力画像データ406を出力画像データ409に変換するための濃度変換曲線として用いる。
【0081】
この結果、第4の実施形態では、入力画像データ406と出力画像データ409の画像バランスを整えることが可能となる。
【0082】
図14は、上述した第1〜第5の実施形態のトーンカーブを適用した画像と、従来手法(イコライズ)のトーンカーブを適用した画像の補正前後の階調、およびコントラスト(明度の差)の比較図である。これらの結果例からわかるように、外光照射ありの条件より、本実施形態の結果は、元画像に比べて全階調範囲で、コントラストを増加できていることがわかる。一方、従来手法の結果では、元画像よりコントラストが悪化したり、極端に増加する(過補正)階調があったりしている。また、外光照射がないときの条件では、本実施形態の結果は、元画像のコントラスト状態を比較的良く維持しているが、従来手法の結果では、元画像から極端にコントラストが変わってしまっている。
【0083】
以上の結果例より、本実施形態では、外光照射がある場合には元画像のコントラストを良く改善し、外光照射がない場合には元画像のコントラストを良く維持することが可能となる。 図15は、従来技術(イコライズ)および実施形態における、画像処理前後の各画像のヒストグラムの比較図である。従来技術では、図15(a)に示されるように、補正前ヒストグラムデータに対して、画質補正後の出力画像データのヒストグラムは、不自然に平坦化されてしまっている。これに対して、本実施形態では、図15(b)に示されるように、補正前ヒストグラムデータ407に対して、画質補正後の出力画像データ409のヒストグラムは、元のヒストグラム特性を良く残しながら、コントラスト調整が行えていることがわかる。
【0084】
図16は、上述の各実施形態の装置を実現できるコンピュータのハードウェア構成の一例を示す図である。
【0085】
図16に示されるコンピュータは、CPU1601、メモリ1602、入出力装置1603、外部記憶装置1605、可搬記録媒体1609が挿入される可搬記録媒体駆動装置1606、及び通信インターフェース1607を有し、これらがバス1608によって相互に接続された構成を有する。
【0086】
CPU1601は、当該コンピュータ全体の制御を行う。メモリ1602は、プログラムの実行、データ更新等の際に、外部記憶装置1605(或いは可搬記録媒体1609)に記憶されているプログラム又はデータを一時的に格納するRAM等のメモリである。CUP1601は、プログラムをメモリ1602に読み出して実行することにより、全体の制御を行う。
【0087】
入出力装置1603は、ユーザによるキーボードやマウス等による入力操作を検出し、その検出結果をCPU1601に通知し、CPU1601の制御によって送られてくるデータを表示装置や印刷装置に出力する。
【0088】
外部記憶装置1605は、例えばハードディスク記憶装置である。可搬記録媒体駆動装置1606は、可搬記録媒体1609を収容するものである。通信インターフェース1607は、例えばLAN(ローカルエリアネットワーク)の通信回線を接続するための装置である。
【0089】
実施形態による装置は、図4の機能ブロックを実現する各フローチャートに対応する各制御プログラムを、CPU1601が実行することで実現される。そのプログラムは、例えば外部記憶装置1605や可搬記録媒体1609に記録され、或いは通信インターフェース1607によりネットワークから取得できるようにしてもよい。
【0090】
(付記1)
入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、
前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップするクリップ処理部と、
前記補正前ヒストグラムデータにおいて、第1の輝度値から第2の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力する加算部と、
前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する補正部と、
を有することを特徴とする画像表示装置。
(付記2)
前記加算部は、前記各階調でクリップした画素数の総和を、第1の輝度値から第2の輝度値の間にある前記ヒストグラムデータの各階調の画素数値に分配して割り付けて補正後ヒストグラムデータを出力することを特徴とする付記1記載の画像表示装置。
(付記3)
前記第1の輝度値は、前記輝度値がゼロ近傍の値となる階調値であり、
前記第2の輝度値は、前記輝度値が最大値近傍の値となる階調値である、
ことを特徴とする付記1に記載の画像表示装置。
(付記4)
前記加算部は、前記補正前ヒストグラムデータの輝度値の各階調において、前記第1の輝度値と前記第2の輝度値の間の各階調の画素数値が所定の下限閾値より小さくなる階調については、前記画素数値を前記下限閾値に盛り上げることを特徴とする付記1乃至付記3のいずれかに記載の画像表示装置。
(付記5)
前記加算部は、前記各階調でクリップした画素数の総和を、前記第1の輝度値から前記第2の輝度値の間の各階調の範囲内で画素数値が前記下限閾値以上となる各階調の画素数値に分配して割り付ける、
ことを特徴とする付記4に記載の画像表示装置。
(付記6)
前記補正後ヒストグラムデータの総画素数が前記補正前ヒストグラムデータの総画素数を超えた場合に、前記補正前のヒストグラムデータの総画素数に所定の誤差範囲で一致するように、前記第1の輝度値から前記第2の輝度値の間にある前記補正前ヒストグラムデータの各階調の画素数値を、前記各階調で均等にまたは画素数値の大きい階調から優先的に減らす調整部をさらに有する、
ことを特徴とする付記1に記載の画像表示装置。
(付記7)
コンピュータにより、
入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算し、
前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップし、
前記補正前ヒストグラムデータにおいて、第1の輝度値から第2の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力し、
前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する、
ことを特徴とする画像表示方法。
(付記8)
前記各階調でクリップした画素数の総和を、第1の輝度値から第2の輝度値の間にある前記ヒストグラムデータの各階調の画素数値に分配して割り付けて補正後ヒストグラムデータを出力することを特徴とする付記7記載の画像表示方法。
(付記9)
前記第1の輝度値は、前記輝度値がゼロ近傍の値となる階調値であり、
前記第2の輝度値は、前記輝度値が最大値近傍の値となる階調値である、
ことを特徴とする付記7に記載の画像表示方法。
(付記10)
前記補正前ヒストグラムデータの輝度値の各階調において、前記第1の輝度値と前記第2の輝度値の間の各階調の画素数値が所定の下限閾値より小さくなる階調については、前記画素数値を前記下限閾値に盛り上げることを特徴とする付記7乃至付記9のいずれかに記載の画像表示方法。
(付記11)
前記各階調でクリップした画素数の総和を、前記第1の輝度値から前記第2の輝度値の間の各階調の範囲内で画素数値が前記下限閾値以上となる各階調の画素数値に分配して割り付ける、
ことを特徴とする付記10に記載の画像表示方法。
(付記12)
前記補正後ヒストグラムデータの総画素数が前記補正前ヒストグラムデータの総画素数を超えた場合に、前記補正前のヒストグラムデータの総画素数に所定の誤差範囲で一致するように、前記第1の輝度値から前記第2の輝度値の間にある前記補正前ヒストグラムデータの各階調の画素数値を、前記各階調で均等にまたは画素数値の大きい階調から優先的に減らす、
ことを特徴とする付記7に記載の画像表示方法。
(付記13)
入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、
前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップするクリップ処理部と、
前記補正前ヒストグラムデータにおいて、第1の輝度値から第2の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力する加算部と、
前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する補正部と、
を有することを特徴とする画像処理装置。
【符号の説明】
【0091】
401 作成部
402 クリップ処理部
403 盛上げ処理部
404 割付け処理部
405 補正部
406 入力画像データ
407 補正前ヒストグラムデータ
408 補正後ヒストグラムデータ
409 出力画像データ
410 調整部
【技術分野】
【0001】
本発明は、コントラストを改善した画像表示装置および方法に関する。
【背景技術】
【0002】
例えば外光の影響の大きい場所で画像表示装置を使用する場合、外光の映り込みにより、パネルに表示された画像が見え難くなるという問題がある。この原因は、映り込みにより表示画像のダイナミックレンジが狭まることにある。外光照射後の画質低下の改善のためには、コントラストを増大させて、レンジの階調幅全体を有効に利用する必要がある。
【0003】
暗部から明部にかけてレンジの階調幅全体を有効活用する手法として、輝度分布(ヒストグラム)のイコライズ(平坦化)技術が知られている。(例えば特許文献1)。
【0004】
また、画像の輝度分布(ヒストグラム)を生成し、輝度ごとに所定数以上の画素をクリップした後、全輝度に於けるクリップした画素総数を、全輝度に対して均一に割り付けることで、過度のコントラスト強調を抑止する技術も存在する。(例えば特許文献2)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平11−331598号公報
【特許文献2】特開2002−140700号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、前述したヒストグラムのイコライズ(平坦化)技術においては、元画像によっては、補正後の画質が、傾きの急な階調で過補正になったり、傾きの平らな階調でコントラスト(階調差)がつかなくなったりする問題が生じる。
【0007】
また、前述したクリップを利用した技術においては、階調特性(トーンカーブ)の傾きが一定以上になることを防ぐために、ヒストグラムにおいて分布する画素数が閾値以上となる輝度については、クリップ処理を行う。そしてクリップした画素総数を、全輝度に渡り均一に割り当てるため、入力画像のヒストグラムにおいて画素の分布がない領域にも画素が割り当てられる。よって、割当後のヒストグラムを使って生成した補正曲線により、特に、低輝度や高輝度に割当がなされると、割当後のヒストグラムで入力輝度値が例えば0であっても出力輝度値が例えば2になるような場合がある。この結果、本来の真っ黒(例えば輝度値0)が少し明るい黒(例えば輝度値2)に補正されてしまう。つまり、出力輝度においては、例えば輝度値0〜2までは使われず、ダイナミックレンジは真っ黒(輝度値0)の部分までは拡張されない。こういった現象は高輝度(輝度値255の白)においても同様である。
【0008】
そこで、本発明の課題は、過度のコントラスト強調を防止する技術において、低輝度や高輝度部分が無効化することを防止することである。
【課題を解決するための手段】
【0009】
態様の一例では、コンピュータの画像装置であって、入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、その画素数値を前記上限閾値にクリップするクリップ処理部と、各階調でクリップした画素数の総和を、第1の階調閾値から第2の階調閾値の間にあるヒストグラムデータの各階調の画素数値に分配して割り付けて補正後ヒストグラムデータを出力する割付け処理部と、補正後ヒストグラムデータに基づいて、入力画像データを出力画像データに補正する補正部とを有する。
【発明の効果】
【0010】
過度のコントラスト強調を防止する技術において、低輝度や高輝度部分を有効化することが可能となる。
【図面の簡単な説明】
【0011】
【図1】画像のイコライズ(平坦化)技術とその問題点の説明図である。
【図2】ブレンド手法の説明図である。
【図3】クリップ手法と盛上げ手法の説明図である。
【図4】画像表示装置の第1の実施形態の機能ブロック図である。
【図5】第2の実施形態の説明図である。
【図6】第2の実施形態にて使用されるデータ構成図である。
【図7】第2の実施形態の制御動作を示すフローチャートである。
【図8】第3の実施形態の説明図である。
【図9】第3の実施形態で追加されるデータの構成図である。
【図10】第3の実施形態の制御動作を示すフローチャートである。
【図11】第4の実施形態の説明図である。
【図12】第4の実施形態の制御動作を示すフローチャートである。
【図13】第5の実施形態の説明図である。
【図14】実施形態のトーンカーブを適用した画像と、従来手法(イコライズ)のトーンカーブを適用した画像の補正前後の階調、およびコントラスト(明度の差)の比較図である。
【図15】従来技術(イコライズ)および実施形態における、画像処理前後の各画像のヒストグラムの比較図である。
【図16】実施形態の装置を実現できるコンピュータのハードウェア構成の一例を示す図
【発明を実施するための形態】
【0012】
以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
【0013】
以下の説明では、まず、通常考えられる過度のコントラスト強調防止技術とそれらの問題点および本実施形態との関係について説明をする。その後に、本実施形態の構成および動作について説明をする。
【0014】
図1は、一般的に考えられる画像のイコライズ(平坦化)技術とその問題点の説明図である。画像のイコライズ(平坦化)は、画像のヒストグラムから各階調の画素数を積算して、トーンカーブを生成し、このトーンカーブを画像の濃度変換曲線として用いて画質補正を行う手法である。すなわちまず、図1(a)に示されるように、補正前画像(元画像)から輝度分布、すなわちヒストグラムが生成される。このヒストグラムにおいては、暗い明度に対応する輝度値から明るい明度に対応する輝度値までの各輝度値の階調毎に、補正前画像において、その階調の輝度値を有する画素数が計数される。次に、このヒストグラムに基づいて、暗い明度に対応する輝度値から順に各階調の画素数を積算することにより、図1(b)に示されるトーンカーブが生成される。そして、このトーンカーブが、補正前画像の各画素の輝度値の元階調を補正後階調に変換するための濃度変換曲線として用いられる。
【0015】
この手法では、画素数が多い階調ほどトーンカーブの傾きは急になる。一方画素数が少ない階調では、トーンカーブの傾きが緩やかになる。従って、元画像の性質によっては、図1(b)に示されるトーンカーブによる補正後の画像の画質が、トーンカーブの傾きの急な階調で過補正になったり、傾きの平らな階調でコントラスト(階調差)がつかなくなったりする問題が生じる。
【0016】
この問題を緩和する技術として、画像のブレンド手法が考えられる。ブレンドは、図2に示されるように、補正前画像(元画像)と補正後画像の色度の比率α%を任意の大きさに変えて、画質を調整する手法である。
【0017】
このように、イコライズ後の画像(補正後画像)と補正前画像(元画像)をブレンドして画質を調整する手法によれば、補正後の画質を改善できる場合がある。一方で、イコライズやブレンドだけでは、過補正またはコントラスト低下を調整することができず、かえって元画像に比べて画質が悪化する場合もある。
【0018】
さらにこの問題を解決するために、次のようなクリップ手法の技術が考えられる。すなわち、図3(a)の301から図3(b)の302として示されるように、補正前画像から生成されるヒストグラムにおいて、画素数がクリップ用の上限閾値以上となる階調については、上限閾値以上の画素を上限閾値にクリップする。そして、各階調でクリップした画素数の総和を、全階調範囲に均等に割付け総画素数を元のヒストグラムの値と同じにしておく。例えば、ある階調の画素数が8300、上限閾値が5000の場合、クリップされる画素数は3300となる。そして例えば、クリップした画素数の総和が25600で、これを全階調(例えば階調数128)に均等に割付ける場合、各階調に割付ける画素数は200となる。
【0019】
一方、図3(a)の補正前ヒストグラムで、画素数が下限閾値よりも少ない階調について、図3(b)に示されるように、下限閾値まで盛上げを行う手法も考えられる。例えば、下限閾値が200の場合、これより画素数が少ない階調全てに画素数200だけ盛上げを行う。
【0020】
このようなクリップ手法または盛上げ手法の技術を用いて生成された図3(b)に示されるような画素処理後ヒストグラムを用いて、図3(c)に示されるような画素数を積算したトーンカーブが生成される。そして、このトーンカーブが、補正前画像の各画素の輝度値の元階調を補正後階調に変換するための濃度変換曲線として用いられる。このようなトーンカーブにおいては、図3(c)の304に示されるように、クリップ処理により、過度の傾きが抑制され、また、図3(c)の305に示されるように、盛上げ処理により、画素数の少ない階調に階調差がつくようになり、平坦性が回避される。この結果、過度のコントラスト強調やコントラストの平坦化を抑止することが期待される。
【0021】
しかし、上述の単純なクリップ手法や単純な盛上げ手法の技術では、クリップした画素総数を、全輝度に渡り均一に割り当てるため、入力画像のヒストグラムにおいて画素の分布がない領域にも画素が割り当てられる。よって、割当後のヒストグラムを使って生成した補正曲線により、特に、低輝度や高輝度に割当がなされると、割当後のヒストグラムで入力輝度値が例えば0であっても出力輝度値が例えば2になるような場合がある。この結果、本来の真っ黒(例えば輝度値0)が少し明るい黒(例えば輝度値2)に補正されてしまう。つまり、出力輝度においては、例えば輝度値0〜2までは使われず、ダイナミックレンジは真っ黒(輝度値0)の部分までは拡張されない。こういった現象は高輝度(輝度値255の白)においても同様である。
【0022】
以下、第1から第5の実施形態について、順次説明を行う。
図4は、画像処理装置たとえば画像表示装置の第1の実施形態の機能ブロック図である。各機能ブロックによる構成は、コンピュータの画素表示装置に適用される。ここでいうコンピュータとは、パーソナルコンピュータのほか、携帯電話、携帯型コンピュータ、カーナビゲーション装置、デジタルカメラ等、画像表示装置を備える全ての機器をいう。
【0023】
図4に示した機能部ロックの各処理部は、コンピュータのCPUが、図7,10,12に示す処理の少なくとも一部を実行させるプログラムを実行することで、実現される。
【0024】
作成部401は、入力される入力画像データ406から輝度分布を示す補正前ヒストグラムデータ407を演算する。
【0025】
クリップ処理部402は、補正前ヒストグラムデータ407の輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、その画素数値を上限閾値にクリップする。
【0026】
盛上げ処理部403は、補正前ヒストグラムデータ407において、第1の階調閾値すなわち第1の輝度値と第2の階調閾値すなわち第2の輝度値の間の各階調の画素数値が所定の下限閾値より小さくなる階調については、その画素数値を下限閾値に盛り上げる。
【0027】
割付け処理部404は、各階調でクリップした画素数の総和を、第1の輝度値から第2の輝度値の間にあるヒストグラムデータの各階調の画素数値に分配して割り付けて、補正後ヒストグラムデータ408を出力する。なお、盛上げ処理部および割付処理部は、加算部に相当する。加算部は、第1の輝度値から第2の輝度値の間にある各階調の画素数値に、クリップされた画素数値の少なくとも一部を補完する画素数値を加算する。
【0028】
補正部405は、補正後ヒストグラムデータ408に基づいて、入力画像データ406を出力画像データ409に補正して出力する。より具体的には、補正部405は、補正後ヒストグラムデータ408から画素数を積算したトーンカーブを生成する。そして、補正部405は、このトーンカーブを入力画像データ406の各画素の輝度値の元階調を出力画像データ409の階調に変換するための濃度変換曲線として用いる。
【0029】
調整部410は、補正後ヒストグラムデータ408の総画素数が補正前ヒストグラムデータ407の総画素数を超えた場合に、補正前ヒストグラムデータ407の総画素数に所定の誤差範囲で一致するように、調整を行う。すなわち、第1の輝度値から第2の輝度値の間にある補正後ヒストグラムデータ408の各階調の画素数値を、各階調で均等にまたは画素数値の大きい階調から優先的に減らす調整を行う。
【0030】
そこで、以上に説明した第1の実施形態では、クリップした画素数を均等に割り付けたり、盛上げを行うことのできる階調を第1の輝度値と第2の輝度値を設けた。これにより、過度のコントラスト強調やコントラストの平坦化を抑止すると同時に、第1の輝度
値以下の低輝度領域と第2の輝度値以上の高輝度領域への出力輝度の割当てを適切に行うことが可能となる。
【0031】
なお、本実施例の画像処理装置は、クリップ処理と割付け処理とを行うこととして説明したが、本発明はこれに限られない。例えば、本実施例の画像処理装置は、クリップ処理と盛り上げ処理とを行ってもよい。なお、盛り上げ処理は、SDからHLまでの領域について、加減閾値以下の画素数となる階調に対して行われる。
【0032】
以上の第1の実施形態の構成において、盛上げ処理部403と調整部410を含まない構成は、第2の実施形態に対応する。
【0033】
また、盛上げ処理部403を含み調整部410は含まない構成は、第3の実施形態に対応する。
【0034】
また、第2の実施形態では、割付け処理部404は、各階調でクリップした画素数の総和を、第1の輝度値から第2の輝度値の間の全ての階調の画素数値に分配して割り付ける。
【0035】
一方、第4の実施形態では、割付け処理部404は、各階調でクリップした画素数の総和を、第1の輝度値から第2の輝度値の間の各階調の範囲内で画素数値が下限閾値以上となる各階調の画素数値に割り付ける。
さらに、調整部410を含む構成は、第5の実施形態に対応する。
【0036】
以上の構成に基づいて、まず、画像表示装置の第2の実施形態について説明する。図5は、第2の実施形態の説明図である。まず、図4の作成部401が、入力画像データ406から、図5(a)に示される山形の特性の補正前ヒストグラムデータ407を生成する。図5(a)において、横軸は、入力画像データ406の輝度値の階調を示し、縦軸は、各階調毎の画素数値を示す。図5(b)(c)、および後述する図10、図13、図15においても同様である。
【0037】
次に、図4のクリップ処理部402は、補正前ヒストグラムデータ407の輝度値の各階調において、画素数値が図5(a)に示される上限閾値以上となる階調については、その画素数値を上限閾値にクリップする。これにより、図5(b)に示されるように、上限閾値以上の山形の部分が、平らな特性にカットされる。
【0038】
次に、割付け処理部404は、各階調でクリップした画素数の総和を、第1の輝度値SDから第2の輝度値HLの間にある補正前ヒストグラムデータ407の各階調の画素数値に分配して割り付ける(図5(b)参照)。より具体的には、各階調でクリップした画素数の総和を、SD+1からHL−1までの階調数で除算し、その除算結果を、SD+1からHL−1までの各階調の補正前ヒストグラムデータ407の各画素数値に加算する。そして、それぞれの加算結果を、SD+1からHL−1までの各階調の補正後ヒストグラムデータ408の各画素数値として出力する。また、0からSDまでと、HLから最大階調値までの各階調の補正前ヒストグラムデータ407の各画素数値は、そのまま対応する補正後ヒストグラムデータ408の各画素数値として出力する。なお、0からSDまでと、HLから最大階調値までの各階調の補正後ヒストグラムデータ408の各画素数値としては強制的に0を出力してもよい。
【0039】
ここで、第1の輝度値は例えば、輝度値がゼロ近傍の値となる階調値SD(シャドウ)であり、また、第2の輝度値は例えば、輝度値が最大値近傍の値となる階調値HL(ハイライト)である。
【0040】
補正部405は、図5(b)に示される補正後ヒストグラムデータ408から、画素数を積算した図5(c)に示されるトーンカーブを生成する。そして、補正部405は、図5(c)に示されるトーンカーブを、入力画像データ406の各画素の輝度値の元階調を出力画像データ409の補正後の階調に変換するための濃度変換曲線として用いる。
【0041】
以上のようにして生成された図5(b)に示される補正後ヒストグラムデータ408において、SD以下の階調の画素数値、すなわち色でいうと真っ黒に近い階調の画素数値に、クリップによる画素の割付けが行われることはなくなる。同様に、HL以上の階調の画素数値、すなわち色でいうと真っ白に近い階調の画素数値に、クリップによる画素の割付けが行われることはなくなる。従って、この補正後ヒストグラムデータ408から生成される積算トーンカーブに基づいて入力画像データ406を補正することにより、出力画像データ409において、低輝度値や高輝度値を適切に保持することが可能となる。
【0042】
例えば、横800画素×縦400画素の画像における総画素数は32万画素である。全256階調のヒストグラムにおいて、クリップの上限閾値が2000、第1の輝度値SDの階調値20、第2の輝度値HLの階調値221とする。このとき、クリップ処理部402は、上限閾値2000を超える画素数値を有する階調については、その画素数値を2000にクリップする。そして、クリップ処理部402がクリップした画素数の総数が50000とすると、割付け処理部404は、階調21〜220までの200階調に画素数50000を均等に割付ける。よって、各階調に割付ける画素数値は250となる。第2の実施形態の場合、クリップした箇所の画素数は2250となる。なお、クリップした階調には画素数を割付けずに、画素数値2000のままでも良い。
【0043】
図6は、第2の実施形態にて使用されるデータ構成図である。これらのデータは、画像表示装置が内蔵する特には図示しないメモリまたはプロセッサ内部のレジスタに記憶される。
【0044】
図6(a)のIin[k]は、入力画像データ406の輝度値を示し、1画面分でk=0からk=K−1までのK画素分の輝度値の配列データである。
図6(b)は、上限閾値のレジスタデータを示す。
図6(c)は、第1の輝度値SDのレジスタデータを示す。
図6(d)は、第2の輝度値HLのレジスタデータを示す。
図6(e)のHin[i]は、補正前ヒストグラムデータ407を示し、例えば0〜255階調までの256階調分の画素数値の配列データである。
図6(f)は、図4のクリップ処理部402が出力する、クリップされた総画素数のレジスタデータを示す。
図6(g)は、図4の割付け処理部404が割り付けるクリップ画素割付け数のレジスタデータを示す。
図6(h)のHout [i]は、補正後ヒストグラムデータ408を示し、例えば0〜255階調までの256階調分の画素数値の配列データである。
図6(i)のT[i]は、図4の補正部405が内部で生成する積算トーンカーブを示し、例えば0〜255階調までの256階調分の画素数値の配列データである。
図6(j)のIout [k]は、出力画像データ409の輝度値を示し、1画面分でk=0からk=K−1までのK画素分の輝度値の配列データである。
【0045】
図7は、以上のデータ構成に基づいて第2の実施形態の画像表示装置が実行する制御動作を示すフローチャートである。このフローチャートは例えば、画像表示装置内の画像処理プロセッサが画像表示装置内のプログラムメモリに記憶された制御プログラムを実行する動作である。或いは、画像処理専用ハードウェアが実行する動作である。
【0046】
まず、1画面分の入力画像データ406の配列データIin[k](k=0〜K−1)がメモリから読み込まれて、各輝度値の配列データIin[k]の階調が判定される。例えば、配列データIin[0]の輝度値が0の場合、補正前ヒストグラムデータ407の階調0に対応するメモリ上(図6(e))の配列データ値Hin[0]の値がプラス1される。一般的には、配列データIin[k]の輝度値がiの場合、補正前ヒストグラムデータ407の階調iに対応するメモリ上の配列データ値Hin[i]の値がプラス1される。この結果、0から255までの256階調分の画素数値を計数した補正前ヒストグラムデータ407の配列データHin[i](i=0〜255)が演算され、メモリ上に確保される(以上、ステップS701)。以上の処理は、図4の作成部401の機能に対応する。
【0047】
次に、第1の輝度値SDと第2の輝度値HLの各データがメモリ(図6(c)、(d))からプロセッサ内部のレジスタに読み込まれて、図5(b)に示される補正階調範囲が決定される(ステップS702)。
【0048】
次に、クリップ処理のための上限閾値のデータがメモリ(図6(b))からプロセッサ内部のレジスタに読み込まれる。また、クリップ総画素数のレジスタ(図6(f))がプロセッサ内に確保される。そして、補正前ヒストグラムデータ407の各階調の画素数値の配列データHin[i](i=0〜255)が、メモリから読み込まれて判定される。そして、各配列データ値が上限閾値のレジスタ値以上となる階調xについては、その階調に対応する配列データ値Hin[x]が、上限閾値のレジスタ値に置き換えられてクリップされ、メモリに書き戻される。このとき、
クリップされた画素数=元のHin[x]値−上限閾値
が、クリップ総画素数のレジスタに累算される(以上、ステップS703)。この処理は、図4のクリップ処理部402の機能に対応する。
【0049】
次に、各階調でクリップした画素数の総和が、第1の輝度値SDから第2の輝度値HLの間にあるヒストグラムデータの各階調の画素数値に分配して割り付けられる。具体的には、クリップ総画素数のレジスタ値と、第1、第2の輝度値SD、HLの各レジスタ値の間にある補正前ヒストグラムデータ407の各階調に対応するメモリ上の配列データ値Hin[SD+1]〜Hin[HL−1]が各々加算される。そして、それぞれの加算結果が、SD+1からHL−1までの各階調に対応する補正後ヒストグラムデータ408の配列データ値Hout [SD+1]〜Hout [HL−1]として演算され、メモリ(図6(h))に書き込まれる。また、0からSDまでと、HLから最大階調値までの各階調の補正前ヒストグラムデータ407の各画素数値は、そのまま対応する補正後ヒストグラムデータ408の各階調の画素数値として出力される。すなわち、各配列データ値Hin[0]〜Hin[SD]、Hin[HL]〜Hin[255]は、そのまま対応する各配列データ値Hout [0]〜Hout [SD]、Hout [HL]〜Hout [255]として、メモリに書き込まれる。なお、0からSDまでと、HLから最大階調値までの各階調の補正後ヒストグラムデータ408の各画素数値としては、強制的に0を出力してもよい。すなわち、各配列データ値Hout [0]〜Hout [SD]、Hout [HL]〜Hout [255]は、全て強制的に0としてもよい(以上、ステップS704)。この処理は、図4の割付け処理部404の機能に対応する。
【0050】
次に、メモリから補正後ヒストグラムデータ408の配列データHout [i](i=0〜255)が読み込まれる。そして、i=0から順に、配列データ値Hout [i]が順次累算されることにより、積算トーンカーブの配列データ値T[i](i=0〜255)が生成される。すなわち、i=0からi=255まで順に、
T[i]=Hout [i] (i=0の場合)
T[i]=Hout [i−1]+Hout [i] (i=0以外の場合)
が計算される。次に、積算トーンカーブT[i](i=0〜255)における最大値T[255]が最大階調値255になるように、T[i](i=0〜255)が正規化される。すなわち、
A=255/T[255]
として、
T[i]=T[i]×A (i=0〜255)
が計算され、メモリ(図6(i))に書き込まれる(以上、ステップS705)。この処理は、図4の補正部405の一部の機能に対応する。
【0051】
以上のようにしてメモリ上に生成された積算トーンカーブT[i](i=0〜255)を使って、入力画像データ406が変換され、出力画像データ409として出力される。具体的には、入力画像データ406の各配列データ値Iin[k](k=1〜K−1)が順次読み込まれて、
Iout [k]=T[Iin[k]] (k=1〜K−1)
が計算され、メモリ(図6(j))に書き込まれる。そして、このようにして補正された出力画像データ409の各配列データ値Iout [k](k=1〜K−1)が、画像表示のために出力される(以上、ステップS706)。この処理は、図4の補正部405の一部の機能に対応する。
【0052】
次に、画像表示装置の第3の実施形態について説明する。
図8は、第3の実施形態の説明図である。
【0053】
まず、補正前ヒストグラムデータ407において画素数値が上限閾値以上となる階調については、その画素数値を上限閾値にクリップする構成は、第1の実施形態の場合と同様である。また、クリップ総画素数を、第2の輝度値SD+1から第2の輝度値HL−1までの階調に均等に割り付ける構成も、第2の実施形態の場合と同様である。
【0054】
第3の実施形態の構成が第1の実施形態の構成と異なる点は、図4の画像表示装置の構成において、第2の実施形態の構成に加えて、盛上げ処理部403を有する点である。
【0055】
盛上げ処理部403は、図8(a)に示される補正前ヒストグラムデータ407において、SDとHLの間の各階調の画素数値が盛上げのための下限閾値より小さくなる階調については、画素数値を下限閾値に盛り上げる。この結果、図8(b)に示されるように、801として示される矢印の階調範囲において、画素数値が下限閾値に盛り上げられる。
【0056】
そして、図4の補正部405は、図8(b)に示される補正後ヒストグラムデータ408から生成される積算トーンカーブを、入力画像データ406を出力画像データ409に変換するための濃度変換曲線として用いる。
【0057】
以上のようにして生成された図8(b)に示される補正後ヒストグラムデータ408において、第2の実施形態の場合と同様に、SD以下とHL以上の階調の画素数値に、クリップによる画素の割付けが行われることはなくなる。従って、この補正後ヒストグラムデータ408から生成される積算トーンカーブに基づいて入力画像データ406を補正することにより、出力画像データ409において、低輝度値や高輝度値を適切に保持することが可能となる。これに加えて、第3の実施形態では、適切な範囲での盛上げ処理により、画素数の少ない階調に階調差がつけることができるようになり、平坦性を回避させることが可能となる。
【0058】
図9は、図6に示される第2の実施形態にて使用されるデータ構成図に加えて、第3の実施形態で追加されるデータの構成図である。このデータは、画像表示装置が内蔵する特には図示しないメモリまたはプロセッサ内部のレジスタに記憶される。すなわち、図9は、下限閾値のレジスタデータを示す。この下限閾値は、図8(a)に示されるように、盛上げ処理を判定するための閾値として使用される。
【0059】
図10は、図6と図9のデータ構成に基づいて第3の実施形態の画像表示装置が実行する制御動作を示すフローチャートである。このフローチャートは例えば、第1の実施形態の場合と同様に、画像表示装置内の画像処理プロセッサが画像表示装置内のプログラムメモリに記憶された制御プログラムを実行する動作である。或いは、画像処理専用ハードウェアが実行する動作である。
【0060】
図10のフローチャートにおいて、図7の第2の実施形態の場合と同じ番号を付してあるステップについては、図7の場合と同様の処理を実行するため、その説明は省略する。
【0061】
第3の実施形態においては、ステップS703にてクリップ処理が実行されると共に、次の盛上げ処理が実行される。
【0062】
すなわち、ステップS702の処理の後、盛上げ処理のための下限閾値のデータがメモリ(図9)からプロセッサ内部のレジスタに読み込まれる。次に、補正前ヒストグラムデータ407の各階調の画素数値の配列データHin[i](i=0〜255)がメモリから読み込まれて、第1の輝度値SD+1から第2の輝度値HL−1の間の階調の各配列データHin[SL+1]〜Hin[HL−1]が判定される。そして、画素数値が下限閾値のレジスタ値以上となる階調yについては、その階調に対応する配列データ値Hin[y]が、下限閾値のレジスタ値に置き換えられて盛り上げられ、メモリに書き戻される(以上、ステップS1001)。この処理は、図4の盛上げ処理部403の機能に対応する。
ステップS1001以外の図10に示される処理は、図7の場合と同様である。
【0063】
次に、画像表示装置の第4の実施形態について説明する。
図11は、第4の実施形態の説明図である。
【0064】
まず、図11(a)に示されるように、補正前ヒストグラムデータ407において画素数値が上限閾値以上となる階調については、その画素数値を上限閾値にクリップする構成は、第1の実施形態の場合と同様である。また図11(a)に示されるように、補正前ヒストグラムデータ407において、SDとHLの間の各階調の画素数値が盛上げのための下限閾値より小さくなる階調については、画素数値を下限閾値に盛り上げる構成は、第2の実施形態の場合と同様である。
【0065】
第4の実施形態の構成が、第2、第3の実施形態と異なる点は、次の通りである。即ち、図11(b)において、クリップ総画素数が、SD+1からHL−1までの階調内であって、盛上げが行われた範囲1102以外の階調範囲1101に均等に割り付けられる点である。この処理は、図4の割付け処理部404が実行する。
【0066】
これにより、盛上げが行われた階調については、それ以上の過度の補正が行われてしまうことを回避することが可能となる。
【0067】
図12は、第4の実施形態の画像表示装置が実行する制御動作を示すフローチャートである。このフローチャートは例えば、第2、第5の実施形態の場合と同様に、画像表示装置内の画像処理プロセッサが画像表示装置内のプログラムメモリに記憶された制御プログラムを実行する動作である。或いは、画像処理専用ハードウェアが実行する動作である。
【0068】
また、図12のフローチャートが示す制御動作において使用されるデータの構成は、第2の実施形態に関連する図6と第3の実施形態に関連する図9のデータ構成に基づく。
【0069】
図12のフローチャートにおいて、図7の第2の実施形態の場合および図10の第3の実施形態の場合と同じ番号を付してあるステップについては、図7、図10の場合と同様の処理を実行するため、その説明は省略する。
【0070】
第4の実施形態においては、図4の割付け処理部404の機能に対応するステップ1201の処理において、以下の処理が実行される。
【0071】
すなわち、各階調でクリップした画素数の総和が、第1の輝度値SDから第2の輝度値HLの間にあるヒストグラムデータの各階調のうち、画素数値がステップS1001で判定された盛上げのための下限閾値より大きい各階調に分配して割り付けられる。具体的には、まず、メモリ(図6(e))から、第1、第2の輝度値SD、HLの各レジスタ値の間にある補正前ヒストグラムデータ407の各階調に対応するメモリ上の配列データ値Hin[SD+1]〜Hin[HL−1]が読み込まれる。そして、これらの配列データ値のうち、画素数値が下限閾値のレジスタ値より大きい各階調の配列データが選択される。そして、クリップ総画素数のレジスタ値と上述の選択された各配列データ値が各々加算される。そして、それぞれの加算結果が、上述の選択された配列データの各階調に対応する補正後ヒストグラムデータ408の配列データ値Hout [i]として演算され、メモリ(図6(h))に書き込まれる。
【0072】
また、配列データ値Hin[SD+1]〜Hin[HL−1]のうち、画素数値が下限閾値のレジスタ値以下の各階調の配列データについては、そのまま対応する補正後ヒストグラムデータ408の各配列データ値として出力される。
【0073】
0からSDまでと、HLから最大階調値までの各階調の補正前ヒストグラムデータ407の各画素数値と補正後ヒストグラムデータの対応する各階調の各画素数値との対応関係は、第2の実施形態の場合と同様である。
【0074】
以上のステップS1201の処理は、図4の割付け処理部404の機能に対応する。
ステップS1201以外の図12に示される処理は、図7、図10の場合と同様である。
【0075】
次に、画像表示装置の第5の実施形態について説明する。
図13は、第5の実施形態の説明図である。
【0076】
第5の実施形態では、例えば第2の実施形態の場合と同様に、クリップ処理と割付け処理によって補正された図13(a)に示されるような補正後ヒストグラムデータ408の状態が判定される。そして、補正後ヒストグラムデータ408の総画素数が補正前ヒストグラムデータ407の総画素数を超えた場合に、両者の総画素数が所定の誤差範囲で一致するように、以下の調整が実行される。
【0077】
すなわち、図13(a)に示されるように、第1の輝度値SD+1から第2の輝度値HL−1の間にある補正後ヒストグラムデータ408の各階調の画素数値を、各階調で均等に減らす調整が行われる。
【0078】
或いは、SD+1からHL−1の間にある補正後ヒストグラムデータ408の各階調の画素数値を、画素数値の大きい階調から優先的に減らす調整が行われるように構成されてもよい。
【0079】
この結果、図13(b)に示されるように、再調整後の補正後ヒストグラムデータ408において、図13(a)に示される調整前のヒストグラムデータに比べて、全体的に高さが若干低くなるようなヒストグラムデータが得られる。
【0080】
そして、図4の補正部405は、図13(b)に示されるように再調整された補正後ヒストグラムデータ408から生成される積算トーンカーブを、入力画像データ406を出力画像データ409に変換するための濃度変換曲線として用いる。
【0081】
この結果、第4の実施形態では、入力画像データ406と出力画像データ409の画像バランスを整えることが可能となる。
【0082】
図14は、上述した第1〜第5の実施形態のトーンカーブを適用した画像と、従来手法(イコライズ)のトーンカーブを適用した画像の補正前後の階調、およびコントラスト(明度の差)の比較図である。これらの結果例からわかるように、外光照射ありの条件より、本実施形態の結果は、元画像に比べて全階調範囲で、コントラストを増加できていることがわかる。一方、従来手法の結果では、元画像よりコントラストが悪化したり、極端に増加する(過補正)階調があったりしている。また、外光照射がないときの条件では、本実施形態の結果は、元画像のコントラスト状態を比較的良く維持しているが、従来手法の結果では、元画像から極端にコントラストが変わってしまっている。
【0083】
以上の結果例より、本実施形態では、外光照射がある場合には元画像のコントラストを良く改善し、外光照射がない場合には元画像のコントラストを良く維持することが可能となる。 図15は、従来技術(イコライズ)および実施形態における、画像処理前後の各画像のヒストグラムの比較図である。従来技術では、図15(a)に示されるように、補正前ヒストグラムデータに対して、画質補正後の出力画像データのヒストグラムは、不自然に平坦化されてしまっている。これに対して、本実施形態では、図15(b)に示されるように、補正前ヒストグラムデータ407に対して、画質補正後の出力画像データ409のヒストグラムは、元のヒストグラム特性を良く残しながら、コントラスト調整が行えていることがわかる。
【0084】
図16は、上述の各実施形態の装置を実現できるコンピュータのハードウェア構成の一例を示す図である。
【0085】
図16に示されるコンピュータは、CPU1601、メモリ1602、入出力装置1603、外部記憶装置1605、可搬記録媒体1609が挿入される可搬記録媒体駆動装置1606、及び通信インターフェース1607を有し、これらがバス1608によって相互に接続された構成を有する。
【0086】
CPU1601は、当該コンピュータ全体の制御を行う。メモリ1602は、プログラムの実行、データ更新等の際に、外部記憶装置1605(或いは可搬記録媒体1609)に記憶されているプログラム又はデータを一時的に格納するRAM等のメモリである。CUP1601は、プログラムをメモリ1602に読み出して実行することにより、全体の制御を行う。
【0087】
入出力装置1603は、ユーザによるキーボードやマウス等による入力操作を検出し、その検出結果をCPU1601に通知し、CPU1601の制御によって送られてくるデータを表示装置や印刷装置に出力する。
【0088】
外部記憶装置1605は、例えばハードディスク記憶装置である。可搬記録媒体駆動装置1606は、可搬記録媒体1609を収容するものである。通信インターフェース1607は、例えばLAN(ローカルエリアネットワーク)の通信回線を接続するための装置である。
【0089】
実施形態による装置は、図4の機能ブロックを実現する各フローチャートに対応する各制御プログラムを、CPU1601が実行することで実現される。そのプログラムは、例えば外部記憶装置1605や可搬記録媒体1609に記録され、或いは通信インターフェース1607によりネットワークから取得できるようにしてもよい。
【0090】
(付記1)
入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、
前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップするクリップ処理部と、
前記補正前ヒストグラムデータにおいて、第1の輝度値から第2の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力する加算部と、
前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する補正部と、
を有することを特徴とする画像表示装置。
(付記2)
前記加算部は、前記各階調でクリップした画素数の総和を、第1の輝度値から第2の輝度値の間にある前記ヒストグラムデータの各階調の画素数値に分配して割り付けて補正後ヒストグラムデータを出力することを特徴とする付記1記載の画像表示装置。
(付記3)
前記第1の輝度値は、前記輝度値がゼロ近傍の値となる階調値であり、
前記第2の輝度値は、前記輝度値が最大値近傍の値となる階調値である、
ことを特徴とする付記1に記載の画像表示装置。
(付記4)
前記加算部は、前記補正前ヒストグラムデータの輝度値の各階調において、前記第1の輝度値と前記第2の輝度値の間の各階調の画素数値が所定の下限閾値より小さくなる階調については、前記画素数値を前記下限閾値に盛り上げることを特徴とする付記1乃至付記3のいずれかに記載の画像表示装置。
(付記5)
前記加算部は、前記各階調でクリップした画素数の総和を、前記第1の輝度値から前記第2の輝度値の間の各階調の範囲内で画素数値が前記下限閾値以上となる各階調の画素数値に分配して割り付ける、
ことを特徴とする付記4に記載の画像表示装置。
(付記6)
前記補正後ヒストグラムデータの総画素数が前記補正前ヒストグラムデータの総画素数を超えた場合に、前記補正前のヒストグラムデータの総画素数に所定の誤差範囲で一致するように、前記第1の輝度値から前記第2の輝度値の間にある前記補正前ヒストグラムデータの各階調の画素数値を、前記各階調で均等にまたは画素数値の大きい階調から優先的に減らす調整部をさらに有する、
ことを特徴とする付記1に記載の画像表示装置。
(付記7)
コンピュータにより、
入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算し、
前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップし、
前記補正前ヒストグラムデータにおいて、第1の輝度値から第2の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力し、
前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する、
ことを特徴とする画像表示方法。
(付記8)
前記各階調でクリップした画素数の総和を、第1の輝度値から第2の輝度値の間にある前記ヒストグラムデータの各階調の画素数値に分配して割り付けて補正後ヒストグラムデータを出力することを特徴とする付記7記載の画像表示方法。
(付記9)
前記第1の輝度値は、前記輝度値がゼロ近傍の値となる階調値であり、
前記第2の輝度値は、前記輝度値が最大値近傍の値となる階調値である、
ことを特徴とする付記7に記載の画像表示方法。
(付記10)
前記補正前ヒストグラムデータの輝度値の各階調において、前記第1の輝度値と前記第2の輝度値の間の各階調の画素数値が所定の下限閾値より小さくなる階調については、前記画素数値を前記下限閾値に盛り上げることを特徴とする付記7乃至付記9のいずれかに記載の画像表示方法。
(付記11)
前記各階調でクリップした画素数の総和を、前記第1の輝度値から前記第2の輝度値の間の各階調の範囲内で画素数値が前記下限閾値以上となる各階調の画素数値に分配して割り付ける、
ことを特徴とする付記10に記載の画像表示方法。
(付記12)
前記補正後ヒストグラムデータの総画素数が前記補正前ヒストグラムデータの総画素数を超えた場合に、前記補正前のヒストグラムデータの総画素数に所定の誤差範囲で一致するように、前記第1の輝度値から前記第2の輝度値の間にある前記補正前ヒストグラムデータの各階調の画素数値を、前記各階調で均等にまたは画素数値の大きい階調から優先的に減らす、
ことを特徴とする付記7に記載の画像表示方法。
(付記13)
入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、
前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップするクリップ処理部と、
前記補正前ヒストグラムデータにおいて、第1の輝度値から第2の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力する加算部と、
前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する補正部と、
を有することを特徴とする画像処理装置。
【符号の説明】
【0091】
401 作成部
402 クリップ処理部
403 盛上げ処理部
404 割付け処理部
405 補正部
406 入力画像データ
407 補正前ヒストグラムデータ
408 補正後ヒストグラムデータ
409 出力画像データ
410 調整部
【特許請求の範囲】
【請求項1】
入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、
前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップするクリップ処理部と、
前記補正前ヒストグラムデータにおいて、第1の輝度値から第2の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力する加算部と、
前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する補正部と、
を有することを特徴とする画像表示装置。
【請求項2】
前記加算部は、前記各階調でクリップした画素数の総和を、第1の輝度値から第2の輝度値の間にある前記ヒストグラムデータの各階調の画素数値に分配して割り付けて補正後ヒストグラムデータを出力することを特徴とする請求項1記載の画像表示装置。
【請求項3】
前記第1の輝度値は、前記輝度値がゼロ近傍の値となる階調値であり、
前記第2の輝度値は、前記輝度値が最大値近傍の値となる階調値である、
ことを特徴とする請求項1に記載の画像表示装置。
【請求項4】
前記加算部は、前記補正前ヒストグラムデータの輝度値の各階調において、前記第1の輝度値と前記第2の輝度値の間の各階調の画素数値が所定の下限閾値より小さくなる階調については、前記画素数値を前記下限閾値に盛り上げることを特徴とする請求項1乃至請求項3のいずれかに記載の画像表示装置。
【請求項5】
前記加算部は、前記各階調でクリップした画素数の総和を、前記第1の輝度値から前記第2の輝度値の間の各階調の範囲内で画素数値が前記下限閾値以上となる各階調の画素数値に分配して割り付ける、
ことを特徴とする請求項4に記載の画像表示装置。
【請求項6】
前記補正後ヒストグラムデータの総画素数が前記補正前ヒストグラムデータの総画素数を超えた場合に、前記補正前のヒストグラムデータの総画素数に所定の誤差範囲で一致するように、前記第1の輝度値から前記第2の輝度値の間にある前記補正前ヒストグラムデータの各階調の画素数値を、前記各階調で均等にまたは画素数値の大きい階調から優先的に減らす調整部をさらに有する、
ことを特徴とする請求項1に記載の画像表示装置。
【請求項7】
コンピュータにより、
入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算し、
前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップし、
前記補正前ヒストグラムデータにおいて、第1の輝度値から第2の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力し、
前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する、
ことを特徴とする画像表示方法。
【請求項8】
入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、
前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップするクリップ処理部と、
前記補正前ヒストグラムデータにおいて、第1の輝度値から第2の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力する加算部と、
前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する補正部と、
を有することを特徴とする画像処理装置。
【請求項1】
入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、
前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップするクリップ処理部と、
前記補正前ヒストグラムデータにおいて、第1の輝度値から第2の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力する加算部と、
前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する補正部と、
を有することを特徴とする画像表示装置。
【請求項2】
前記加算部は、前記各階調でクリップした画素数の総和を、第1の輝度値から第2の輝度値の間にある前記ヒストグラムデータの各階調の画素数値に分配して割り付けて補正後ヒストグラムデータを出力することを特徴とする請求項1記載の画像表示装置。
【請求項3】
前記第1の輝度値は、前記輝度値がゼロ近傍の値となる階調値であり、
前記第2の輝度値は、前記輝度値が最大値近傍の値となる階調値である、
ことを特徴とする請求項1に記載の画像表示装置。
【請求項4】
前記加算部は、前記補正前ヒストグラムデータの輝度値の各階調において、前記第1の輝度値と前記第2の輝度値の間の各階調の画素数値が所定の下限閾値より小さくなる階調については、前記画素数値を前記下限閾値に盛り上げることを特徴とする請求項1乃至請求項3のいずれかに記載の画像表示装置。
【請求項5】
前記加算部は、前記各階調でクリップした画素数の総和を、前記第1の輝度値から前記第2の輝度値の間の各階調の範囲内で画素数値が前記下限閾値以上となる各階調の画素数値に分配して割り付ける、
ことを特徴とする請求項4に記載の画像表示装置。
【請求項6】
前記補正後ヒストグラムデータの総画素数が前記補正前ヒストグラムデータの総画素数を超えた場合に、前記補正前のヒストグラムデータの総画素数に所定の誤差範囲で一致するように、前記第1の輝度値から前記第2の輝度値の間にある前記補正前ヒストグラムデータの各階調の画素数値を、前記各階調で均等にまたは画素数値の大きい階調から優先的に減らす調整部をさらに有する、
ことを特徴とする請求項1に記載の画像表示装置。
【請求項7】
コンピュータにより、
入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算し、
前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップし、
前記補正前ヒストグラムデータにおいて、第1の輝度値から第2の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力し、
前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する、
ことを特徴とする画像表示方法。
【請求項8】
入力される入力画像データから輝度分布を示す補正前ヒストグラムデータを演算する作成部と、
前記補正前ヒストグラムデータの輝度値の各階調において、画素数値が所定の上限閾値以上となる階調については、前記画素数値を前記上限閾値にクリップするクリップ処理部と、
前記補正前ヒストグラムデータにおいて、第1の輝度値から第2の輝度値の間にある各階調の画素数値に、クリップされた前記画素数値の少なくとも一部を補完する画素数値を加算した補正後ヒストグラムデータを出力する加算部と、
前記補正後ヒストグラムデータに基づいて、前記入力画像データを出力画像データに補正する補正部と、
を有することを特徴とする画像処理装置。
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図1】
【図2】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図1】
【図2】
【公開番号】特開2012−120139(P2012−120139A)
【公開日】平成24年6月21日(2012.6.21)
【国際特許分類】
【出願番号】特願2010−270967(P2010−270967)
【出願日】平成22年12月3日(2010.12.3)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
【公開日】平成24年6月21日(2012.6.21)
【国際特許分類】
【出願日】平成22年12月3日(2010.12.3)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
[ Back to top ]