画像処理方法及びコンピュータプログラム
【目的】入力画像の輝度に関するコントラストを調整した出力画像を得る。
【構成】入力画像に含まれる各画素の輝度値を調整する画像処理方法において、まず、入力画像中の複数の画素からなる閉領域β（ｘ，ｙ）を演算対象領域として区画し、前記演算対象領域を前記入力画像内で所定の画素単位で移動させる。このとき、前記演算対象領域内における輝度配列として定義される輝度エネルギーの最大値と最小値とをそれぞれ算出し、その輝度エネルギーの差分データを算出する（ステップＳ４）。次に、入力画像にステップＳ４で算出した差分データを適応することにより出力画像を生成する（ステップＳ６）。
【構成】入力画像に含まれる各画素の輝度値を調整する画像処理方法において、まず、入力画像中の複数の画素からなる閉領域β（ｘ，ｙ）を演算対象領域として区画し、前記演算対象領域を前記入力画像内で所定の画素単位で移動させる。このとき、前記演算対象領域内における輝度配列として定義される輝度エネルギーの最大値と最小値とをそれぞれ算出し、その輝度エネルギーの差分データを算出する（ステップＳ４）。次に、入力画像にステップＳ４で算出した差分データを適応することにより出力画像を生成する（ステップＳ６）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの階調を調整する画像処理に関し、入力画像のコントラストを高めるデジタル画像の画像処理方法及びコンピュータプログラムに関するものである。
【背景技術】
【０００２】
入力された画像データ（これを「入力画像」という。）に含まれる輝度や三原色（ＲＧＢ）のヒストグラム（階調分布）をとり、そのヒストグラムを補正することにより、デジタル画像のコントラストが高められる。ヒストグラムの補正方法には、平坦化と伸長化が知られている。
【０００３】
例えば、露出時間などの関係から光量が多すぎて全体的に白っぽく霧がかかったように見えるデジタル画像（本明細書ではこれを「霧画像」という。）や、逆に光量が足りず全体的に黒っぽく暗い感じに見えるデジタル画像は、入力画像の輝度値のヒストグラムをとり、ヒストグラムを平坦化又は伸長化することによって入力画像の輝度値を適切な値に補正し、コントラストを高めた鮮明な画像に調整できることが知られている（例えば、特許文献１〜３等参照）。
【０００４】
【特許文献１】特開昭６３−０４０４７１号公報
【特許文献２】特開２００６−１９１４０１号公報
【特許文献３】特開２００７−２９２８０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、ヒストグラムに基づく画像処理方法では、入力画像の階調を一律に平均化したり伸長化したりするため、もともとコントラストが十分にある領域も補正されるという問題がある。
【０００６】
すなわち、入力画像の中には、もともと十分なコントラストが得られている領域と、逆にコントラストが不十分な領域とが偏在している場合に、入力画像全体のヒストグラムを用いて一律に補正してしまうと、高い階調を持つ画素の影響がその周囲の領域に及ぶことになる。その結果、画像処理後もなお、局所的にはコントラストが不十分となったり、画像処理の結果、微小な重要な画像が目立たなくなってしまったりする。
【０００７】
本発明は、上記に鑑みてなされたものであり、入力画像に多様なコントラストが偏在して含まれている場合にも、適切なコントラストに調整し、特に輪郭を強調した出力画像を得ることができる画像処理方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理方法は、入力画像に含まれる各画素の輝度値を調整する画像処理方法において、まず、入力画像中の複数の画素からなる閉領域β（ｘ，ｙ）を演算対象領域として区画し、前記演算対象領域を前記入力画像内で所定の画素単位で移動させる。このとき、前記演算対象領域内における輝度配列として定義される輝度エネルギーの最大値と最小値とをそれぞれ算出し、その輝度エネルギーの差分データを算出する（ステップＳ４）。次に、入力画像にステップＳ４で算出した差分データを適応することにより出力画像を生成する（ステップＳ６）。
【０００９】
本発明に係る画像処理方法は、いずれもコンピュータに実行させるコンピュータプログラムによって実現することができる。また上記コンピュータ及びプログラムをデジタルカメラ、デジタルテレビその他デジタル画像を表示する機器に実装することもできる。
【発明の効果】
【００１０】
本発明に係る画像処理方法によると、入力画像に多様なコントラストが偏在して含まれている場合にも、適切なコントラストに調整し、特に輪郭を強調した出力画像を得ることができる。また、各ステップの一部を選択的に実行した場合でも、入力画像に応じた一定の効果が得られる。その詳細については下記の実施形態において説明する。
【発明を実施するための最良の形態】
【００１１】
（第１の実施形態）−適応コントラストフィルタ処理について−
図１は、コンピュータに各ステップを実行させる場合の処理の流れを示すフローチャートである。この一連の画像処理のことを、以下、本明細書では、「適応コントラストフィルタ」と呼ぶ。本発明に係る画像処理方法は、デジタル画像に含まれる輝度に関する特徴点を抽出し、所定の演算を行うことを特徴とするものであり、好ましい実施形態としては、大きく分けて、次の６つのステップからなる：
Ｓ１．平均輝度シフト
Ｓ２．特徴部分抽出
Ｓ３．特徴部分の補完
Ｓ４．ブロック輝度抽出
Ｓ５．適応処理
Ｓ６．画像データ出力
【００１２】
上記ステップＳ１〜Ｓ６は、コンピュータやデジタルカメラその他種々のデジタル画像機器に搭載されたコンピュータ上で実行される。
【００１３】
第１の実施形態で説明する例は、下記（Ｉ）〜（ＩＩＩ）のそれぞれ独立した複数の要素から成り立っている。
（Ｉ）ステップＳ４による、ブロック輝度抽出に関する本発明の基本ステップ
（ＩＩ）ステップＳ１及びＳ５（平均輝度シフト及び線形変換）による輝度の適切な範囲でのスケーリングのステップ
（ＩＩＩ）ステップＳ２及びＳ３（特徴部分抽出除去及び補完）による急激な点状の輝度変化を抽出するための特徴点の抽出と除去および補完のステップ
【００１４】
各ステップの詳細については後述するが、本発明の技術的思想の最も重要な部分は、ステップＳ４において、演算対象領域内の最小輝度エネルギー配列と最大輝度エネルギー配列をそれぞれ別々に算出することによって輝度エネルギーの差分画像を生成し、ステップＳ６において、最終的に画像データを出力する点にある。その他のステップ（Ｓ１及びＳ２〜Ｓ３）は、より画像処理の精度を高めるための補助的なステップとして位置づけられる。
【００１５】
以上のような演算処理を行うことにより、微小な重要な画像を除去することなく、全体として入力画像よりも高いコントラストのデジタル画像を得ることができる。
【００１６】
Ｓ１．平均輝度シフト
最初のステップでは、入力画像全体の平均輝度値の分布を算出し、次に、算出された平均輝度値を、輝度分布の波形が変わらないように平行移動させる。このステップは、適応コントラストフィルタを行うための初期化処理処理として行うものである。入力画像に含まれる輝度分布の変化が小さい領域のコントラストを十分に大きくするため、全体的に輝度の振れ幅の平均値となるように輝度値をシフト（並行移動）させている。このステップは、入力画像によっては省略することもできる。
【００１７】
図２（ａ）は、入力画像全体の平均輝度値の分布（ｙ座標を固定したｘ座標）を表している。輝度値の階調は８ビットの場合２５６段階（０〜２５５）であるから、入力画像の輝度値の最大は２５５である。このときの平均輝度がＩ０であったとする。
【００１８】
図２（ｂ）は、入力画像に対し、入力画像全体の平均輝度値を算出すると共に平均輝度値と後述するステップ（Ｓ５）における線形変換後の輝度値の最大値とに基づいて定められる一定量の輝度値を入力画像の輝度分布に加算することにより輝度分布の波形が変わらないように、すなわち、輝度値の値域の最大値をＩ２（＝５１２）とし、輝度平均Ｉ１が最大値Ｉ２の２分の１（＝２５６）と一致するように、平行移動した様子を示している。
【００１９】
これは、線形変換後の輝度値が０〜２５５の範囲に収まるようにしなければならないという要請に基づくものである。すなわち、輝度値の座標軸上の最大値をＩ２とする。この最大値Ｉ２は、輝度分布の平均値Ｉ1 =Ｉ２ ／２と一致するように平行移動させた時、輝度値の値域が０未満とＩ２を超えることがないような「安全な」値としなければならない。そして、最も安全なＩ２の値は輝度の階調が８ビットの場合、２５６×２＝５１２である。これを超えると桁上がりが生じるなどの理由から処理速度が低下したり適切な出力画像が得られなかったりするといった問題が生じる。
【００２０】
Ｓ２．特徴部分抽出
このステップＳ２と次のステップＳ３は、入力画像の中に高い階調を持つ画素が狭い領域に集中している部分を特徴部分として予め抽出して除去し、除去した座標については輝度が０になってしまうため入力画像の平均輝度で補完するというステップである。
【００２１】
後述する適応処理のステップ（Ｓ５）では、輝度の変化を大きくするために輝度値を線形変換するため、入力画像中に光源や太陽などのような高い輝度が集中している領域（以下、「高輝度集中領域」という。）が存在していると、高輝度集中領域の画素の影響を受けて、その周囲にある低輝度領域の輝度が平均的に上がってしまう問題がある。その結果、画像処理後もなお、輝度の変化が小さい暗い部分は殆どコントラストが強調されず、黒っぽいまま殆ど変化がなかったり、画像処理の結果、高輝度集中領域のそばにある微小な重要な画像が目立たなくなってしまったりする。本発明では、このような問題を回避するため、入力画像から予め輝度が集中している特徴部分を抽出し、その部分を除去する処理を行っている。
【００２２】
本件発明者らの実験では、特徴部分の抽出に、特徴点を抽出するための演算方法として知られている「モラベックオペレータ」を利用した。モラベックオペレータはいわゆる「エッジ処理」と異なり、線と線との交点などの特徴を強く抽出する特徴がある。
【００２３】
図３は、「モラベックオペレータ」の演算手順について説明する図であり、この図に示す表（ウインドウ）は、演算対象領域となる複数の画素からなる閉領域β（ｘ，ｙ）を表している。図３に示すように、演算対象領域内の中心をＩ０，０と表し、これを中心とする正方形のブロック内を演算対象領域とし、その中にある画素の輝度値がスカラー量（８ビットの場合、０〜２５５）で表されている。演算対象領域の大きさは任意に取ることができるが、大きくすればするほど入力画像の影響が強くなり滑らかな画像になる。
【００２４】
モラベックオペレータの演算式は以下に示す（式１）により表される。
（式１）
【００２５】
このオペレータは、２つのステップから構成されている。第１のステップでは、ウインドウ内の上下、左右、対角の４方向で、各方向上にある画素の値とウインドウ内の中心画素Ｉ０，０との差の二乗和を計算する。そして、４つの値から最小値を選択する。このウインドウ処理を画像全体に適用する。第２のステップでは、第１段階で出力された画像から極大値を選択して、最終的にオペレータの出力とする。この演算値は特徴部分すなわちこの適用例では輝度値の差の大小関係を反映した値であり、「モラベックオペレータ値」と呼ばれるスカラー量である。
【００２６】
Ｓ３．特徴部分の補完
適応処理の精度を上げるためには、輝度と集中度が高い画素のみを取り除かなければならない。しかし、モラベックオペレータ値は、輝度の差が出力値と比例関係を持つため、輝度の差が大きい微小面積の点などの重要な特徴部分まで抽出し除去してしまう危険性がある。そこで、輝度と集中度の両方が共に高い画素のみを除去することを考える。この発明では、集中度だけでなく輝度にも比例する値を計算により求めている。以下、これにより求められた値を「画素の輝度集中度」と定義する。画素の輝度集中度の演算式はモラベックオペレータ値と輝度値の積であり、以下に示す（式２）により表される。
【００２７】
（式２）
【００２８】
そして、この輝度集中度の値に閾値を設けて、閾値以上の画素を除去してその画素には輝度分布の平均値であるＩ１を補完する。この操作によって輝度の差の大きい微小領域を除去することなく、高輝度集中領域の画素の影響を受けて、その周囲にある低輝度領域の輝度が平均的に上がってしまうことを防ぐことができる。
【００２９】
Ｓ４．ブロック輝度抽出
図４（ａ）は、入力画像１の中に任意に区画される演算対象領域２を表している。演算対象領域２は複数の画素からなる閉領域β（ｘ，ｙ）であり、その大きさは入力画像の中で任意の大きさに設定することができる。
【００３０】
図４（ｂ）は、ある任意の位置で固定した閉領域β１の内部の輝度値の配列を表している。この配列から、閉領域β１の中で最も高い輝度値が５６、最も低い輝度値が１２であったことが読み取れる。次に、ｙを固定した状態で、任意の画素数分だけ演算対象領域２をｘ方向に移動させる。このときなるべく重なり合うように移動する。例えば１画素ｘ方向に移動した閉領域をβ２とすると、図４（ｃ）は、閉領域β２の内部の輝度値の配列を示している。座標で表現すると、β１（ｘ，ｙ）に対し、β２（ｘ＋ｄｘ，ｙ）となる。なお、図４（ｂ）、（ｃ）では、斜め下方向に移動したように表しているが表現の便宜上のためであり、ｙは固定しているのでここでは無視しても構わない。閉領域β２の配列から、閉領域β２の中で最も高い輝度値が５４、最も低い輝度値が１０であったことが読み取れる。
【００３１】
そして、演算対象領域２における最大輝度エネルギーと最小エネルギーの値を、演算対象領域２を移動させるたびごとに加算して、最後に移動回数で除算する。こうして得られた値を、「輝度エネルギー」と定義する。
【００３２】
図５（ａ）及び（ｂ）は、最大輝度エネルギー配列Ｅｍａｘと最小輝度エネルギー配列Ｅｍｉｎ の一例を示している。移動回数３（β１〜β３）の場合、最大輝度エネルギー配列Ｅｍａｘ＝｛Ｂ１，Ｂ２，Ｂ３｝、最小輝度エネルギー配列Ｅｍｉｎ＝｛ｂ１，ｂ２，ｂ３｝と表され、最大輝度エネルギーｅｍａｘ＝｛Ｂ１＋Ｂ２＋Ｂ３｝／３、最小輝度エネルギーＥｍｉｎ＝｛ｂ１＋ｂ２＋ｂ３｝／３と求められる。そして、輝度エネルギーの差分データは以下に示す（式３）により表される。
【００３３】
（式３）
【００３４】
なお、移動回数３として説明しているが実際には入力画像、演算対象領域及び移動する画素単位によって膨大な回数になるが、演算対象領域２の大きさや移動の画素単位は画像処理の目的や入力画像の内容によって適宜最適なものとすることができる。より演算対象領域が大きいほど、また、移動画素の単位が小さいほど、計算量は増大するがより高精度のブロック輝度抽出ができると考えられる。
【００３５】
演算対象領域がある一定の広がりを持っているため、移動する画素単位が小さい場合には輝度エネルギーの計算上重複して輝度値がカウントされることになるが、精度を上げる上でこの点が非常に重要である。また、説明の便宜上、ｙを固定してｘを動かすとして説明をしたが、実際にはどのように移動しても構わない。
【００３６】
次に、求められた最大輝度エネルギー配列Ｅｍａｘと最小輝度エネルギー配列Ｅｍｉｎの差分Ｅｄｉｆｆ＝Ｅｍａｘ−Ｅｍｉｎを算出する。この値は、微分されたコントラスト幅であるため、ある画素のコントラスト幅をもとめることができる。これにより、ステップＳ−１の平均輝度シフト処理でシフトした領域内で、次のステップＳ５で画素毎の適応的なコントラストの引き伸ばしを行う。
【００３７】
Ｓ５．線形変換
図６（ａ）は、入力画像内の（ｘ，ｙ）座標において、ｙ＝ｊと固定したときの、最大輝度エネルギーと最小エネルギーの分布を示している。ある任意のｘ座標ｉにおける最大輝度エネルギーと最小輝度エネルギーの差分は上で述べた（式３）で計算される。
【００３８】
Ｓ５の適応処理のステップとは、線形変換、すなわち輝度の差を線形的に引き伸ばして、コントラストを高めるための処理である。この適応処理のステップＳ５の詳細は次のとおりである。
【００３９】
Ｓ５−１：任意の画素の０〜ｅｍｉｎの幅と、ｅｍａｘ 〜Ｉ２までの幅とを比較し、幅が小さい方の値をＬとする。すなわち、
Ｌ＝ｍｉｎ（Ｉ２−ｅｍａｘ，ｅｍｉｎ）
と定義する。
Ｓ５−２：ｅ’ｍａｘ＝ｅｍａｘ＋Ｌ、ｅ’ｍｉｎ＝ｅｍｉｎ−Ｌ、ｅ’ｄｉｆｆ＝ｅｍａｘ−ｅｍｉｎとして、画素上のシフト後の輝度値ｐ（Ｌ，ｊ）をｅｍｉｎ〜ｅｍａｘをｅ’ｍｉｎ〜ｅ’ｍａｘと変化させるように線形変換する。変換した値をｐ’（ｉ，ｊ）とおく。
Ｓ５−３：（Ｓ５−１）〜（Ｓ５−２）を全ての画素に適用する。
Ｓ５−４：変換された値の最大値・最小値を求め、８ビットの場合、０〜２５５の範囲に収まるように線形変換する。このときの線形変換は以下の一次関数の式（式４）により表される。
【００４０】
（式４）
【００４１】
図６（ｂ）は、上記ステップＳ５−１〜Ｓ５−４を図示したものである。ただし、ｐ（ｉ，ｊ）：（ｙ，ｘ）＝（ｉ，ｊ）上におけるステップＳ１（平均輝度シフト）後の輝度値、ｐ’（ｉ，ｊ）：（ｙ，ｘ）＝（ｉ，ｊ）上におけるステップＳ５（適応処理）後の輝度値を、それぞれ表している。
【００４２】
既に述べたように、線形変換にあたり、事前のステップＳ１において引き延ばしの上限（線形変換後の輝度値のとりうる値域の最大値Ｉ２）を設定しているため、適応処理後の輝度値が最適な範囲（ｅ’ｍｉｎ〜ｅ’ｍａｘ）で分布するようになる。
【００４３】
Ｓ６．適応処理による画像データ出力
図１の全体フローチャートに示すように、最終的に、平均輝度シフトを行った入力画像に対し、輝度エネルギーの差分画像を各画素に適応させることにより、出力画像が得られる。
【００４４】
（第１の実施形態の変形例）
第１の実施形態では、最も好ましい態様として、上述の（Ｉ）〜（ＩＩＩ）の全ての要素（すなわち、ステップ（Ｓ１〜Ｓ６）の全部）を実行する場合について説明したが、入力画像或いは求める出力画像によっては、必須のステップであるステップＳ４（及びＳ６）さえ含んでいれば、その他のステップについては下記（１）〜（３）のように、一部のステップのみを実行してもよい。
【００４５】
（１）ステップＳ４→Ｓ６（変形例１）
（２）ステップＳ１→Ｓ４→Ｓ５→Ｓ６（変形例２）
（３）ステップＳ２→Ｓ３→Ｓ４→Ｓ６（変形例３）
【００４６】
（変形例１）ステップＳ４→Ｓ６
変形例１は、入力画像に対し、第１の実施形態で説明したブロック輝度抽出のステップＳ４のみを実行する場合である。霧画像のように、輝度の急激な差が存在しないような画像、すなわちコントラスト幅が一様な画像を入力画像とする場合には、ステップＳ４を実行するだけでも、実用性の高い画像処理を実現することができる。
【００４７】
図１０（ａ）は入力画像の例を、図１０（ｂ）は、この入力画像にステップＳ４及びＳ６を実行して得られた出力画像を示している。両画像中で特徴ある差異が現れた部分を枠で囲って示している。入力画像は画面全体が白っぽく輝度の差が小さいため、画像内に何が写っているのか、被写体の輪郭を識別することは殆どできない。このような画像に対して、第１の実施形態において説明した、ステップＳ４（ブロック輝度抽出）を行うことで、図１０（ｂ）のような、高コントラストの分布画像を得ることができる。
【００４８】
（変形例２）ステップＳ１→Ｓ４→Ｓ５→Ｓ６
変形例２は、入力画像に対し、第１の実施形態で説明したブロック輝度抽出のステップＳ４と、平均輝度シフト及び線形変換のステップＳ１及びＳ５を実行する場合である。この場合も、変形例１と同様に霧画像のように、輝度の急激な差が存在しないような画像、すなわちコントラスト幅が一様な画像を入力画像とする場合に効果がある。変形例２では、入力画像のコントラスト幅が一様である場合には、出力画像のコントラスト幅が適切な範囲に調整されるため、出力画像の中の白つぶれや黒つぶれを防ぐことができる。
【００４９】
図１０（ｃ）は入力画像の例を、図１０（ｄ）は、この入力画像にステップＳ１、Ｓ４、Ｓ５及びＳ６を実行して得られた出力画像を示している。両画像中で特徴ある差異が現れた部分を枠で囲って示している。入力画像は画面全体が白っぽく輝度の差が小さいため、画像内に何が写っているのか、被写体の輪郭を識別することは殆どできない。しかし、この処理を行うことで図１０（ｄ）のような、高コントラストの分布画像を得ることができる。
【００５０】
（変形例３）ステップＳ２→Ｓ３→Ｓ４→Ｓ６
変形例３は、入力画像に対し、第１の実施形態で説明したブロック輝度抽出のステップＳ４の前処理として、特徴部分の抽出・除去と補完を行うためのステップＳ２及びＳ３を実行する場合である。この場合、暗い領域の中に輝度の高い点状の光などがあった場合のように、輝度の急激な差が存在するような画像である場合に、コントラスト幅を適切な範囲に調整することができる。
【００５１】
図１０（ｅ）は入力画像の例を、図１０（ｆ）は、この入力画像にステップＳ２、Ｓ３、Ｓ４及びＳ６を実行して得られた出力画像を示している。両画像中で特徴ある差異が現れた部分を枠で囲って示している。入力画像は画面全体中に高輝度集中領域を持つが、それ以外の部分は輝度の調整が不適切であるため、黒っぽく表示されて画像内に何が写っているのか、被写体の輪郭を識別することは殆どできない。しかし、この処理を行うことで図１０（ｆ）のような、暗い領域の中に輝度の高い点状の光などがあった場合でも、適切にコントラスト分布を広げることが出来る。
【００５２】
（第２の実施形態）
第２の実施形態は、パーソナルコンピュータ等のコンピュータ上で実行される画像処理用アプリケーションプログラムとして、本発明の画像処理方法を実現するコンピュータプログラムを提供する形態を示している。
【００５３】
図７は、本発明の第２の実施形態における画像処理装置の構成を示すブロック図である。パーソナルコンピュータに本発明に係る各画像処理方法の各ステップを実行させるプログラムをインストールした画像処理装置２０は、装置全体を制御するＣＰＵ（Central Processing Unit）２１、ＲＡＭ（Random Access Memory）等の一時記憶手段２２、ハードディスクなどの記憶手段２３、記録媒体から各データを読み取る光学ディスクドライブ等の補助記憶手段２４、マウス及びキーボード等の入力手段２５、モニタやプリンタ等の出力手段２６を備えている。記録媒体に記録された本発明に係るコンピュータプログラムを記憶手段２３に読み取り、制御手段２１の制御により、オペレーティングシステム上で実行させることにより、パーソナルコンピュータは本発明に係る画像処理装置２０として動作する。
【００５４】
画像処理装置２０では、記憶手段２２に記憶させたコンピュータプログラムを制御手段２１の制御に基づいて第１の実施形態（又はその変形例）で説明した各ステップを実行することにより、記憶手段２３などに記憶している画像や外部とのインターフェース２７を通じて入力を受け付けた画像を入力画像に対し、画像処理を行い、出力手段２６から出力画像を出力する。
【００５５】
図８（ａ）及び図９（ａ）は、本発明に係る画像処理装置２０の入力画像の一例を示している。輝度の調整が不十分であり、背景の夕陽以外は暗くて殆ど判別不能である。図８（ｂ）及び図９（ｂ）は、比較例として、入力画像に対し、ヒストグラム平坦化処理を行った結果得られる出力画像を示している。太陽が昼間のように明るく強調されているが、太陽の近傍では、太陽の輝度に引きずられて輪郭がぼやけている。
【００５６】
図８（ｃ）及び図９（ｃ）は、入力画像に対し、本発明に係る適応コントラストフィルタ処理を行った出力画像を示している。コントラストが適切に調整され、全ての輪郭が鮮明に表示された出力画像が得られた。
【産業上の利用可能性】
【００５７】
本発明は、入力画像が多様なコントラストを持つ場合でも、その輪郭を強調することができる点で、特定の腫瘤などを抽出する画像診断などの医療分野或いは特定の人物などを抽出する防犯や安全装置などの分野などへの応用が期待される。従って、本発明の産業上利用可能性は極めて大きい。
【図面の簡単な説明】
【００５８】
【図１】コンピュータに各ステップを実行させる場合の処理の流れを示すフローチャートである。
【図２】（ａ）は、入力画像全体の平均輝度値の分布（ｙ座標を固定したｘ座標）を、（ｂ）は、輝度値をＩ２（＝５１２）とし、輝度平均がＩ２（＝２５６）と一致するように平行移動した様子を示している。
【図３】「モラベックオペレータ」について説明する図である。
【図４】（ａ）は、入力画像１の中に任意に区画される演算対象領域２を表す。（ｂ）は、ある任意の位置で固定した閉領域β１の内部の輝度値の配列を表す。（ｃ）は、ある任意の位置で固定した閉領域β１の内部の輝度値の配列を表す。
【図５】（ａ）及び（ｂ）は、最大輝度エネルギー配列Ｅｍａｘと最小輝度エネルギー配列Ｅｍｉｎ の一例を示す図である。
【図６】（ａ）は、入力画像内の（ｘ，ｙ）座標において、ｙ＝ｊと固定したときの、最大輝度エネルギーと最小エネルギーの分布を示す図である。（ｂ）は、適応処理ステップＳ５の詳細を図示したものである。
【図７】本発明の第２の実施形態における画像処理装置の構成を示すブロック図である。
【図８】（ａ）は、入力画像の一例を示している。（ｂ）は、ヒストグラム平坦化処理を行った結果を示す出力画像（比較例）である。（ｃ）は、本発明に係る画像処理方法を適用した出力画像を示している。
【図９】（ａ）は、入力画像の他の例を示している。（ｂ）は、ヒストグラム平坦化処理を行った結果を示す出力画像（比較例）である。（ｃ）は、本発明に係る画像処理方法を適用した出力画像を示している。
【図１０】（ａ）、（ｃ）、（ｅ）は、入力画像の他の例を示している。（ｂ）、（ｄ）、（ｆ）は、第１の実施形態の変形例（１〜３）を実施した各結果を示す出力画像である。
【符号の説明】
【００５９】
２０ 本発明のプログラムをインストールした画像処理装置
２１ ＣＰＵ（Central Processing Unit）
２２ 一時記憶手段（ＲＡＭ）
２３ 記憶手段（ハードディスク）
２４ 補助記憶手段（光学ディスクドライブ等）
２５ 入力手段（マウス及びキーボード等）
２６ 出力手段（モニタやプリンタ等）
２７ 入出力インターフェース
【技術分野】
【０００１】
本発明は、画像データの階調を調整する画像処理に関し、入力画像のコントラストを高めるデジタル画像の画像処理方法及びコンピュータプログラムに関するものである。
【背景技術】
【０００２】
入力された画像データ（これを「入力画像」という。）に含まれる輝度や三原色（ＲＧＢ）のヒストグラム（階調分布）をとり、そのヒストグラムを補正することにより、デジタル画像のコントラストが高められる。ヒストグラムの補正方法には、平坦化と伸長化が知られている。
【０００３】
例えば、露出時間などの関係から光量が多すぎて全体的に白っぽく霧がかかったように見えるデジタル画像（本明細書ではこれを「霧画像」という。）や、逆に光量が足りず全体的に黒っぽく暗い感じに見えるデジタル画像は、入力画像の輝度値のヒストグラムをとり、ヒストグラムを平坦化又は伸長化することによって入力画像の輝度値を適切な値に補正し、コントラストを高めた鮮明な画像に調整できることが知られている（例えば、特許文献１〜３等参照）。
【０００４】
【特許文献１】特開昭６３−０４０４７１号公報
【特許文献２】特開２００６−１９１４０１号公報
【特許文献３】特開２００７−２９２８０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、ヒストグラムに基づく画像処理方法では、入力画像の階調を一律に平均化したり伸長化したりするため、もともとコントラストが十分にある領域も補正されるという問題がある。
【０００６】
すなわち、入力画像の中には、もともと十分なコントラストが得られている領域と、逆にコントラストが不十分な領域とが偏在している場合に、入力画像全体のヒストグラムを用いて一律に補正してしまうと、高い階調を持つ画素の影響がその周囲の領域に及ぶことになる。その結果、画像処理後もなお、局所的にはコントラストが不十分となったり、画像処理の結果、微小な重要な画像が目立たなくなってしまったりする。
【０００７】
本発明は、上記に鑑みてなされたものであり、入力画像に多様なコントラストが偏在して含まれている場合にも、適切なコントラストに調整し、特に輪郭を強調した出力画像を得ることができる画像処理方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理方法は、入力画像に含まれる各画素の輝度値を調整する画像処理方法において、まず、入力画像中の複数の画素からなる閉領域β（ｘ，ｙ）を演算対象領域として区画し、前記演算対象領域を前記入力画像内で所定の画素単位で移動させる。このとき、前記演算対象領域内における輝度配列として定義される輝度エネルギーの最大値と最小値とをそれぞれ算出し、その輝度エネルギーの差分データを算出する（ステップＳ４）。次に、入力画像にステップＳ４で算出した差分データを適応することにより出力画像を生成する（ステップＳ６）。
【０００９】
本発明に係る画像処理方法は、いずれもコンピュータに実行させるコンピュータプログラムによって実現することができる。また上記コンピュータ及びプログラムをデジタルカメラ、デジタルテレビその他デジタル画像を表示する機器に実装することもできる。
【発明の効果】
【００１０】
本発明に係る画像処理方法によると、入力画像に多様なコントラストが偏在して含まれている場合にも、適切なコントラストに調整し、特に輪郭を強調した出力画像を得ることができる。また、各ステップの一部を選択的に実行した場合でも、入力画像に応じた一定の効果が得られる。その詳細については下記の実施形態において説明する。
【発明を実施するための最良の形態】
【００１１】
（第１の実施形態）−適応コントラストフィルタ処理について−
図１は、コンピュータに各ステップを実行させる場合の処理の流れを示すフローチャートである。この一連の画像処理のことを、以下、本明細書では、「適応コントラストフィルタ」と呼ぶ。本発明に係る画像処理方法は、デジタル画像に含まれる輝度に関する特徴点を抽出し、所定の演算を行うことを特徴とするものであり、好ましい実施形態としては、大きく分けて、次の６つのステップからなる：
Ｓ１．平均輝度シフト
Ｓ２．特徴部分抽出
Ｓ３．特徴部分の補完
Ｓ４．ブロック輝度抽出
Ｓ５．適応処理
Ｓ６．画像データ出力
【００１２】
上記ステップＳ１〜Ｓ６は、コンピュータやデジタルカメラその他種々のデジタル画像機器に搭載されたコンピュータ上で実行される。
【００１３】
第１の実施形態で説明する例は、下記（Ｉ）〜（ＩＩＩ）のそれぞれ独立した複数の要素から成り立っている。
（Ｉ）ステップＳ４による、ブロック輝度抽出に関する本発明の基本ステップ
（ＩＩ）ステップＳ１及びＳ５（平均輝度シフト及び線形変換）による輝度の適切な範囲でのスケーリングのステップ
（ＩＩＩ）ステップＳ２及びＳ３（特徴部分抽出除去及び補完）による急激な点状の輝度変化を抽出するための特徴点の抽出と除去および補完のステップ
【００１４】
各ステップの詳細については後述するが、本発明の技術的思想の最も重要な部分は、ステップＳ４において、演算対象領域内の最小輝度エネルギー配列と最大輝度エネルギー配列をそれぞれ別々に算出することによって輝度エネルギーの差分画像を生成し、ステップＳ６において、最終的に画像データを出力する点にある。その他のステップ（Ｓ１及びＳ２〜Ｓ３）は、より画像処理の精度を高めるための補助的なステップとして位置づけられる。
【００１５】
以上のような演算処理を行うことにより、微小な重要な画像を除去することなく、全体として入力画像よりも高いコントラストのデジタル画像を得ることができる。
【００１６】
Ｓ１．平均輝度シフト
最初のステップでは、入力画像全体の平均輝度値の分布を算出し、次に、算出された平均輝度値を、輝度分布の波形が変わらないように平行移動させる。このステップは、適応コントラストフィルタを行うための初期化処理処理として行うものである。入力画像に含まれる輝度分布の変化が小さい領域のコントラストを十分に大きくするため、全体的に輝度の振れ幅の平均値となるように輝度値をシフト（並行移動）させている。このステップは、入力画像によっては省略することもできる。
【００１７】
図２（ａ）は、入力画像全体の平均輝度値の分布（ｙ座標を固定したｘ座標）を表している。輝度値の階調は８ビットの場合２５６段階（０〜２５５）であるから、入力画像の輝度値の最大は２５５である。このときの平均輝度がＩ０であったとする。
【００１８】
図２（ｂ）は、入力画像に対し、入力画像全体の平均輝度値を算出すると共に平均輝度値と後述するステップ（Ｓ５）における線形変換後の輝度値の最大値とに基づいて定められる一定量の輝度値を入力画像の輝度分布に加算することにより輝度分布の波形が変わらないように、すなわち、輝度値の値域の最大値をＩ２（＝５１２）とし、輝度平均Ｉ１が最大値Ｉ２の２分の１（＝２５６）と一致するように、平行移動した様子を示している。
【００１９】
これは、線形変換後の輝度値が０〜２５５の範囲に収まるようにしなければならないという要請に基づくものである。すなわち、輝度値の座標軸上の最大値をＩ２とする。この最大値Ｉ２は、輝度分布の平均値Ｉ1 =Ｉ２ ／２と一致するように平行移動させた時、輝度値の値域が０未満とＩ２を超えることがないような「安全な」値としなければならない。そして、最も安全なＩ２の値は輝度の階調が８ビットの場合、２５６×２＝５１２である。これを超えると桁上がりが生じるなどの理由から処理速度が低下したり適切な出力画像が得られなかったりするといった問題が生じる。
【００２０】
Ｓ２．特徴部分抽出
このステップＳ２と次のステップＳ３は、入力画像の中に高い階調を持つ画素が狭い領域に集中している部分を特徴部分として予め抽出して除去し、除去した座標については輝度が０になってしまうため入力画像の平均輝度で補完するというステップである。
【００２１】
後述する適応処理のステップ（Ｓ５）では、輝度の変化を大きくするために輝度値を線形変換するため、入力画像中に光源や太陽などのような高い輝度が集中している領域（以下、「高輝度集中領域」という。）が存在していると、高輝度集中領域の画素の影響を受けて、その周囲にある低輝度領域の輝度が平均的に上がってしまう問題がある。その結果、画像処理後もなお、輝度の変化が小さい暗い部分は殆どコントラストが強調されず、黒っぽいまま殆ど変化がなかったり、画像処理の結果、高輝度集中領域のそばにある微小な重要な画像が目立たなくなってしまったりする。本発明では、このような問題を回避するため、入力画像から予め輝度が集中している特徴部分を抽出し、その部分を除去する処理を行っている。
【００２２】
本件発明者らの実験では、特徴部分の抽出に、特徴点を抽出するための演算方法として知られている「モラベックオペレータ」を利用した。モラベックオペレータはいわゆる「エッジ処理」と異なり、線と線との交点などの特徴を強く抽出する特徴がある。
【００２３】
図３は、「モラベックオペレータ」の演算手順について説明する図であり、この図に示す表（ウインドウ）は、演算対象領域となる複数の画素からなる閉領域β（ｘ，ｙ）を表している。図３に示すように、演算対象領域内の中心をＩ０，０と表し、これを中心とする正方形のブロック内を演算対象領域とし、その中にある画素の輝度値がスカラー量（８ビットの場合、０〜２５５）で表されている。演算対象領域の大きさは任意に取ることができるが、大きくすればするほど入力画像の影響が強くなり滑らかな画像になる。
【００２４】
モラベックオペレータの演算式は以下に示す（式１）により表される。
（式１）
【００２５】
このオペレータは、２つのステップから構成されている。第１のステップでは、ウインドウ内の上下、左右、対角の４方向で、各方向上にある画素の値とウインドウ内の中心画素Ｉ０，０との差の二乗和を計算する。そして、４つの値から最小値を選択する。このウインドウ処理を画像全体に適用する。第２のステップでは、第１段階で出力された画像から極大値を選択して、最終的にオペレータの出力とする。この演算値は特徴部分すなわちこの適用例では輝度値の差の大小関係を反映した値であり、「モラベックオペレータ値」と呼ばれるスカラー量である。
【００２６】
Ｓ３．特徴部分の補完
適応処理の精度を上げるためには、輝度と集中度が高い画素のみを取り除かなければならない。しかし、モラベックオペレータ値は、輝度の差が出力値と比例関係を持つため、輝度の差が大きい微小面積の点などの重要な特徴部分まで抽出し除去してしまう危険性がある。そこで、輝度と集中度の両方が共に高い画素のみを除去することを考える。この発明では、集中度だけでなく輝度にも比例する値を計算により求めている。以下、これにより求められた値を「画素の輝度集中度」と定義する。画素の輝度集中度の演算式はモラベックオペレータ値と輝度値の積であり、以下に示す（式２）により表される。
【００２７】
（式２）
【００２８】
そして、この輝度集中度の値に閾値を設けて、閾値以上の画素を除去してその画素には輝度分布の平均値であるＩ１を補完する。この操作によって輝度の差の大きい微小領域を除去することなく、高輝度集中領域の画素の影響を受けて、その周囲にある低輝度領域の輝度が平均的に上がってしまうことを防ぐことができる。
【００２９】
Ｓ４．ブロック輝度抽出
図４（ａ）は、入力画像１の中に任意に区画される演算対象領域２を表している。演算対象領域２は複数の画素からなる閉領域β（ｘ，ｙ）であり、その大きさは入力画像の中で任意の大きさに設定することができる。
【００３０】
図４（ｂ）は、ある任意の位置で固定した閉領域β１の内部の輝度値の配列を表している。この配列から、閉領域β１の中で最も高い輝度値が５６、最も低い輝度値が１２であったことが読み取れる。次に、ｙを固定した状態で、任意の画素数分だけ演算対象領域２をｘ方向に移動させる。このときなるべく重なり合うように移動する。例えば１画素ｘ方向に移動した閉領域をβ２とすると、図４（ｃ）は、閉領域β２の内部の輝度値の配列を示している。座標で表現すると、β１（ｘ，ｙ）に対し、β２（ｘ＋ｄｘ，ｙ）となる。なお、図４（ｂ）、（ｃ）では、斜め下方向に移動したように表しているが表現の便宜上のためであり、ｙは固定しているのでここでは無視しても構わない。閉領域β２の配列から、閉領域β２の中で最も高い輝度値が５４、最も低い輝度値が１０であったことが読み取れる。
【００３１】
そして、演算対象領域２における最大輝度エネルギーと最小エネルギーの値を、演算対象領域２を移動させるたびごとに加算して、最後に移動回数で除算する。こうして得られた値を、「輝度エネルギー」と定義する。
【００３２】
図５（ａ）及び（ｂ）は、最大輝度エネルギー配列Ｅｍａｘと最小輝度エネルギー配列Ｅｍｉｎ の一例を示している。移動回数３（β１〜β３）の場合、最大輝度エネルギー配列Ｅｍａｘ＝｛Ｂ１，Ｂ２，Ｂ３｝、最小輝度エネルギー配列Ｅｍｉｎ＝｛ｂ１，ｂ２，ｂ３｝と表され、最大輝度エネルギーｅｍａｘ＝｛Ｂ１＋Ｂ２＋Ｂ３｝／３、最小輝度エネルギーＥｍｉｎ＝｛ｂ１＋ｂ２＋ｂ３｝／３と求められる。そして、輝度エネルギーの差分データは以下に示す（式３）により表される。
【００３３】
（式３）
【００３４】
なお、移動回数３として説明しているが実際には入力画像、演算対象領域及び移動する画素単位によって膨大な回数になるが、演算対象領域２の大きさや移動の画素単位は画像処理の目的や入力画像の内容によって適宜最適なものとすることができる。より演算対象領域が大きいほど、また、移動画素の単位が小さいほど、計算量は増大するがより高精度のブロック輝度抽出ができると考えられる。
【００３５】
演算対象領域がある一定の広がりを持っているため、移動する画素単位が小さい場合には輝度エネルギーの計算上重複して輝度値がカウントされることになるが、精度を上げる上でこの点が非常に重要である。また、説明の便宜上、ｙを固定してｘを動かすとして説明をしたが、実際にはどのように移動しても構わない。
【００３６】
次に、求められた最大輝度エネルギー配列Ｅｍａｘと最小輝度エネルギー配列Ｅｍｉｎの差分Ｅｄｉｆｆ＝Ｅｍａｘ−Ｅｍｉｎを算出する。この値は、微分されたコントラスト幅であるため、ある画素のコントラスト幅をもとめることができる。これにより、ステップＳ−１の平均輝度シフト処理でシフトした領域内で、次のステップＳ５で画素毎の適応的なコントラストの引き伸ばしを行う。
【００３７】
Ｓ５．線形変換
図６（ａ）は、入力画像内の（ｘ，ｙ）座標において、ｙ＝ｊと固定したときの、最大輝度エネルギーと最小エネルギーの分布を示している。ある任意のｘ座標ｉにおける最大輝度エネルギーと最小輝度エネルギーの差分は上で述べた（式３）で計算される。
【００３８】
Ｓ５の適応処理のステップとは、線形変換、すなわち輝度の差を線形的に引き伸ばして、コントラストを高めるための処理である。この適応処理のステップＳ５の詳細は次のとおりである。
【００３９】
Ｓ５−１：任意の画素の０〜ｅｍｉｎの幅と、ｅｍａｘ 〜Ｉ２までの幅とを比較し、幅が小さい方の値をＬとする。すなわち、
Ｌ＝ｍｉｎ（Ｉ２−ｅｍａｘ，ｅｍｉｎ）
と定義する。
Ｓ５−２：ｅ’ｍａｘ＝ｅｍａｘ＋Ｌ、ｅ’ｍｉｎ＝ｅｍｉｎ−Ｌ、ｅ’ｄｉｆｆ＝ｅｍａｘ−ｅｍｉｎとして、画素上のシフト後の輝度値ｐ（Ｌ，ｊ）をｅｍｉｎ〜ｅｍａｘをｅ’ｍｉｎ〜ｅ’ｍａｘと変化させるように線形変換する。変換した値をｐ’（ｉ，ｊ）とおく。
Ｓ５−３：（Ｓ５−１）〜（Ｓ５−２）を全ての画素に適用する。
Ｓ５−４：変換された値の最大値・最小値を求め、８ビットの場合、０〜２５５の範囲に収まるように線形変換する。このときの線形変換は以下の一次関数の式（式４）により表される。
【００４０】
（式４）
【００４１】
図６（ｂ）は、上記ステップＳ５−１〜Ｓ５−４を図示したものである。ただし、ｐ（ｉ，ｊ）：（ｙ，ｘ）＝（ｉ，ｊ）上におけるステップＳ１（平均輝度シフト）後の輝度値、ｐ’（ｉ，ｊ）：（ｙ，ｘ）＝（ｉ，ｊ）上におけるステップＳ５（適応処理）後の輝度値を、それぞれ表している。
【００４２】
既に述べたように、線形変換にあたり、事前のステップＳ１において引き延ばしの上限（線形変換後の輝度値のとりうる値域の最大値Ｉ２）を設定しているため、適応処理後の輝度値が最適な範囲（ｅ’ｍｉｎ〜ｅ’ｍａｘ）で分布するようになる。
【００４３】
Ｓ６．適応処理による画像データ出力
図１の全体フローチャートに示すように、最終的に、平均輝度シフトを行った入力画像に対し、輝度エネルギーの差分画像を各画素に適応させることにより、出力画像が得られる。
【００４４】
（第１の実施形態の変形例）
第１の実施形態では、最も好ましい態様として、上述の（Ｉ）〜（ＩＩＩ）の全ての要素（すなわち、ステップ（Ｓ１〜Ｓ６）の全部）を実行する場合について説明したが、入力画像或いは求める出力画像によっては、必須のステップであるステップＳ４（及びＳ６）さえ含んでいれば、その他のステップについては下記（１）〜（３）のように、一部のステップのみを実行してもよい。
【００４５】
（１）ステップＳ４→Ｓ６（変形例１）
（２）ステップＳ１→Ｓ４→Ｓ５→Ｓ６（変形例２）
（３）ステップＳ２→Ｓ３→Ｓ４→Ｓ６（変形例３）
【００４６】
（変形例１）ステップＳ４→Ｓ６
変形例１は、入力画像に対し、第１の実施形態で説明したブロック輝度抽出のステップＳ４のみを実行する場合である。霧画像のように、輝度の急激な差が存在しないような画像、すなわちコントラスト幅が一様な画像を入力画像とする場合には、ステップＳ４を実行するだけでも、実用性の高い画像処理を実現することができる。
【００４７】
図１０（ａ）は入力画像の例を、図１０（ｂ）は、この入力画像にステップＳ４及びＳ６を実行して得られた出力画像を示している。両画像中で特徴ある差異が現れた部分を枠で囲って示している。入力画像は画面全体が白っぽく輝度の差が小さいため、画像内に何が写っているのか、被写体の輪郭を識別することは殆どできない。このような画像に対して、第１の実施形態において説明した、ステップＳ４（ブロック輝度抽出）を行うことで、図１０（ｂ）のような、高コントラストの分布画像を得ることができる。
【００４８】
（変形例２）ステップＳ１→Ｓ４→Ｓ５→Ｓ６
変形例２は、入力画像に対し、第１の実施形態で説明したブロック輝度抽出のステップＳ４と、平均輝度シフト及び線形変換のステップＳ１及びＳ５を実行する場合である。この場合も、変形例１と同様に霧画像のように、輝度の急激な差が存在しないような画像、すなわちコントラスト幅が一様な画像を入力画像とする場合に効果がある。変形例２では、入力画像のコントラスト幅が一様である場合には、出力画像のコントラスト幅が適切な範囲に調整されるため、出力画像の中の白つぶれや黒つぶれを防ぐことができる。
【００４９】
図１０（ｃ）は入力画像の例を、図１０（ｄ）は、この入力画像にステップＳ１、Ｓ４、Ｓ５及びＳ６を実行して得られた出力画像を示している。両画像中で特徴ある差異が現れた部分を枠で囲って示している。入力画像は画面全体が白っぽく輝度の差が小さいため、画像内に何が写っているのか、被写体の輪郭を識別することは殆どできない。しかし、この処理を行うことで図１０（ｄ）のような、高コントラストの分布画像を得ることができる。
【００５０】
（変形例３）ステップＳ２→Ｓ３→Ｓ４→Ｓ６
変形例３は、入力画像に対し、第１の実施形態で説明したブロック輝度抽出のステップＳ４の前処理として、特徴部分の抽出・除去と補完を行うためのステップＳ２及びＳ３を実行する場合である。この場合、暗い領域の中に輝度の高い点状の光などがあった場合のように、輝度の急激な差が存在するような画像である場合に、コントラスト幅を適切な範囲に調整することができる。
【００５１】
図１０（ｅ）は入力画像の例を、図１０（ｆ）は、この入力画像にステップＳ２、Ｓ３、Ｓ４及びＳ６を実行して得られた出力画像を示している。両画像中で特徴ある差異が現れた部分を枠で囲って示している。入力画像は画面全体中に高輝度集中領域を持つが、それ以外の部分は輝度の調整が不適切であるため、黒っぽく表示されて画像内に何が写っているのか、被写体の輪郭を識別することは殆どできない。しかし、この処理を行うことで図１０（ｆ）のような、暗い領域の中に輝度の高い点状の光などがあった場合でも、適切にコントラスト分布を広げることが出来る。
【００５２】
（第２の実施形態）
第２の実施形態は、パーソナルコンピュータ等のコンピュータ上で実行される画像処理用アプリケーションプログラムとして、本発明の画像処理方法を実現するコンピュータプログラムを提供する形態を示している。
【００５３】
図７は、本発明の第２の実施形態における画像処理装置の構成を示すブロック図である。パーソナルコンピュータに本発明に係る各画像処理方法の各ステップを実行させるプログラムをインストールした画像処理装置２０は、装置全体を制御するＣＰＵ（Central Processing Unit）２１、ＲＡＭ（Random Access Memory）等の一時記憶手段２２、ハードディスクなどの記憶手段２３、記録媒体から各データを読み取る光学ディスクドライブ等の補助記憶手段２４、マウス及びキーボード等の入力手段２５、モニタやプリンタ等の出力手段２６を備えている。記録媒体に記録された本発明に係るコンピュータプログラムを記憶手段２３に読み取り、制御手段２１の制御により、オペレーティングシステム上で実行させることにより、パーソナルコンピュータは本発明に係る画像処理装置２０として動作する。
【００５４】
画像処理装置２０では、記憶手段２２に記憶させたコンピュータプログラムを制御手段２１の制御に基づいて第１の実施形態（又はその変形例）で説明した各ステップを実行することにより、記憶手段２３などに記憶している画像や外部とのインターフェース２７を通じて入力を受け付けた画像を入力画像に対し、画像処理を行い、出力手段２６から出力画像を出力する。
【００５５】
図８（ａ）及び図９（ａ）は、本発明に係る画像処理装置２０の入力画像の一例を示している。輝度の調整が不十分であり、背景の夕陽以外は暗くて殆ど判別不能である。図８（ｂ）及び図９（ｂ）は、比較例として、入力画像に対し、ヒストグラム平坦化処理を行った結果得られる出力画像を示している。太陽が昼間のように明るく強調されているが、太陽の近傍では、太陽の輝度に引きずられて輪郭がぼやけている。
【００５６】
図８（ｃ）及び図９（ｃ）は、入力画像に対し、本発明に係る適応コントラストフィルタ処理を行った出力画像を示している。コントラストが適切に調整され、全ての輪郭が鮮明に表示された出力画像が得られた。
【産業上の利用可能性】
【００５７】
本発明は、入力画像が多様なコントラストを持つ場合でも、その輪郭を強調することができる点で、特定の腫瘤などを抽出する画像診断などの医療分野或いは特定の人物などを抽出する防犯や安全装置などの分野などへの応用が期待される。従って、本発明の産業上利用可能性は極めて大きい。
【図面の簡単な説明】
【００５８】
【図１】コンピュータに各ステップを実行させる場合の処理の流れを示すフローチャートである。
【図２】（ａ）は、入力画像全体の平均輝度値の分布（ｙ座標を固定したｘ座標）を、（ｂ）は、輝度値をＩ２（＝５１２）とし、輝度平均がＩ２（＝２５６）と一致するように平行移動した様子を示している。
【図３】「モラベックオペレータ」について説明する図である。
【図４】（ａ）は、入力画像１の中に任意に区画される演算対象領域２を表す。（ｂ）は、ある任意の位置で固定した閉領域β１の内部の輝度値の配列を表す。（ｃ）は、ある任意の位置で固定した閉領域β１の内部の輝度値の配列を表す。
【図５】（ａ）及び（ｂ）は、最大輝度エネルギー配列Ｅｍａｘと最小輝度エネルギー配列Ｅｍｉｎ の一例を示す図である。
【図６】（ａ）は、入力画像内の（ｘ，ｙ）座標において、ｙ＝ｊと固定したときの、最大輝度エネルギーと最小エネルギーの分布を示す図である。（ｂ）は、適応処理ステップＳ５の詳細を図示したものである。
【図７】本発明の第２の実施形態における画像処理装置の構成を示すブロック図である。
【図８】（ａ）は、入力画像の一例を示している。（ｂ）は、ヒストグラム平坦化処理を行った結果を示す出力画像（比較例）である。（ｃ）は、本発明に係る画像処理方法を適用した出力画像を示している。
【図９】（ａ）は、入力画像の他の例を示している。（ｂ）は、ヒストグラム平坦化処理を行った結果を示す出力画像（比較例）である。（ｃ）は、本発明に係る画像処理方法を適用した出力画像を示している。
【図１０】（ａ）、（ｃ）、（ｅ）は、入力画像の他の例を示している。（ｂ）、（ｄ）、（ｆ）は、第１の実施形態の変形例（１〜３）を実施した各結果を示す出力画像である。
【符号の説明】
【００５９】
２０ 本発明のプログラムをインストールした画像処理装置
２１ ＣＰＵ（Central Processing Unit）
２２ 一時記憶手段（ＲＡＭ）
２３ 記憶手段（ハードディスク）
２４ 補助記憶手段（光学ディスクドライブ等）
２５ 入力手段（マウス及びキーボード等）
２６ 出力手段（モニタやプリンタ等）
２７ 入出力インターフェース
【特許請求の範囲】
【請求項１】
入力画像に含まれる各画素の輝度値を調整する画像処理方法において、
前記入力画像中の複数の画素からなる閉領域β（ｘ，ｙ）を演算対象領域として区画し、前記演算対象領域を前記入力画像内で所定の画素単位で移動させることにより、
前記演算対象領域内における輝度配列として定義される輝度エネルギーの最大値と最小値とをそれぞれ算出し、その輝度エネルギーの差分データを算出するステップ（Ｓ４）と、
前記入力画像に前記差分データを適応することにより出力画像を生成するステップ（Ｓ６）とを含む、画像処理方法。
【請求項２】
請求項１記載の画像処理方法において、
前記差分データを算出するステップ（Ｓ４）の後に、前記差分データに基づいて各座標における輝度値を１次関数に基づいて線形変換するステップ（Ｓ５）を更に含むと共に、
前記入力画像に対し、前記入力画像全体の平均輝度値（Ｉ０）を算出し、前記平均輝度値（Ｉ０）とステップ（Ｓ５）における線形変換後の輝度値の最大値（Ｉ２）とに基づいて定められる一定量の輝度値（Ｉ１／２−Ｉ０）を、前記入力画像の輝度分布に加算するステップ（Ｓ１）を含む、画像処理方法。
【請求項３】
請求項１記載の画像処理方法において、
前記差分データを算出するステップ（Ｓ４）の前に、前記入力画像に対し、前記演算対象領域内において中心画素と前記領域内の任意の画素との輝度値の差が最も大きい部分に関する座標データとその輝度値の差の大小関係を反映した演算値とを求めるステップ（Ｓ２）及び前記演算値と前記入力画像中の輝度値との積を演算することにより各座標毎の画素の輝度集中度を算出すると共に、前記輝度集中度が予め設定した閾値以上の座標における輝度値ついては別途算出した前記演算値を輝度平均値と置換することで輝度値を補完するステップ（Ｓ３）を含む、画像処理方法。
【請求項４】
入力画像に含まれる各画素の輝度値を調整する画像処理方法において、
入力画像中の複数の画素からなる閉領域β（ｘ，ｙ）を演算対象領域として区画し、前記演算対象領域を前記入力画像内で所定の画素単位で移動させることにより、前記入力画像に含まれる輝度値の差が大きい特徴部分に関する座標データと輝度値の差の大小関係を反映した演算値とを求めるステップ（Ｓ２）と、
前記演算値と前記入力画像中の輝度値との積を演算することにより各座標毎の画素の輝度集中度を算出すると共に、前記輝度集中度が予め設定した閾値以上の座標における輝度値ついては別途算出した前記演算値を輝度平均値と置換することで輝度値を補完するステップ（Ｓ３）と、
前記輝度値の補完が行われた以外の座標における輝度値について、各座標毎の前記演算対象領域内における輝度配列として定義される輝度エネルギーの最大値と最小値とをそれぞれ算出し、その輝度エネルギーの差分データを算出するステップ（Ｓ４）と、
前記差分データに基づいて各座標における輝度値を線形変換するステップ（Ｓ５）と、
前記入力画像に対し、前記入力画像全体の平均輝度値（Ｉ０）を算出し、前記平均輝度値（Ｉ０）とステップ（Ｓ５）における線形変換後の輝度値の最大値（Ｉ２）とに基づいて定められる一定量の輝度値（Ｉ１／２−Ｉ０）を、前記入力画像の輝度分布に加算するステップ（Ｓ１）と、
前記入力画像に含まれる各画素に対し前記線形変換した輝度値を適応することにより出力画像を生成するステップ（Ｓ６）とを含んでいる、
画像処理方法。
【請求項５】
請求項１乃至４のいずれか１項に記載の各ステップを、コンピュータに実行させるためのコンピュータプログラム。
【請求項１】
入力画像に含まれる各画素の輝度値を調整する画像処理方法において、
前記入力画像中の複数の画素からなる閉領域β（ｘ，ｙ）を演算対象領域として区画し、前記演算対象領域を前記入力画像内で所定の画素単位で移動させることにより、
前記演算対象領域内における輝度配列として定義される輝度エネルギーの最大値と最小値とをそれぞれ算出し、その輝度エネルギーの差分データを算出するステップ（Ｓ４）と、
前記入力画像に前記差分データを適応することにより出力画像を生成するステップ（Ｓ６）とを含む、画像処理方法。
【請求項２】
請求項１記載の画像処理方法において、
前記差分データを算出するステップ（Ｓ４）の後に、前記差分データに基づいて各座標における輝度値を１次関数に基づいて線形変換するステップ（Ｓ５）を更に含むと共に、
前記入力画像に対し、前記入力画像全体の平均輝度値（Ｉ０）を算出し、前記平均輝度値（Ｉ０）とステップ（Ｓ５）における線形変換後の輝度値の最大値（Ｉ２）とに基づいて定められる一定量の輝度値（Ｉ１／２−Ｉ０）を、前記入力画像の輝度分布に加算するステップ（Ｓ１）を含む、画像処理方法。
【請求項３】
請求項１記載の画像処理方法において、
前記差分データを算出するステップ（Ｓ４）の前に、前記入力画像に対し、前記演算対象領域内において中心画素と前記領域内の任意の画素との輝度値の差が最も大きい部分に関する座標データとその輝度値の差の大小関係を反映した演算値とを求めるステップ（Ｓ２）及び前記演算値と前記入力画像中の輝度値との積を演算することにより各座標毎の画素の輝度集中度を算出すると共に、前記輝度集中度が予め設定した閾値以上の座標における輝度値ついては別途算出した前記演算値を輝度平均値と置換することで輝度値を補完するステップ（Ｓ３）を含む、画像処理方法。
【請求項４】
入力画像に含まれる各画素の輝度値を調整する画像処理方法において、
入力画像中の複数の画素からなる閉領域β（ｘ，ｙ）を演算対象領域として区画し、前記演算対象領域を前記入力画像内で所定の画素単位で移動させることにより、前記入力画像に含まれる輝度値の差が大きい特徴部分に関する座標データと輝度値の差の大小関係を反映した演算値とを求めるステップ（Ｓ２）と、
前記演算値と前記入力画像中の輝度値との積を演算することにより各座標毎の画素の輝度集中度を算出すると共に、前記輝度集中度が予め設定した閾値以上の座標における輝度値ついては別途算出した前記演算値を輝度平均値と置換することで輝度値を補完するステップ（Ｓ３）と、
前記輝度値の補完が行われた以外の座標における輝度値について、各座標毎の前記演算対象領域内における輝度配列として定義される輝度エネルギーの最大値と最小値とをそれぞれ算出し、その輝度エネルギーの差分データを算出するステップ（Ｓ４）と、
前記差分データに基づいて各座標における輝度値を線形変換するステップ（Ｓ５）と、
前記入力画像に対し、前記入力画像全体の平均輝度値（Ｉ０）を算出し、前記平均輝度値（Ｉ０）とステップ（Ｓ５）における線形変換後の輝度値の最大値（Ｉ２）とに基づいて定められる一定量の輝度値（Ｉ１／２−Ｉ０）を、前記入力画像の輝度分布に加算するステップ（Ｓ１）と、
前記入力画像に含まれる各画素に対し前記線形変換した輝度値を適応することにより出力画像を生成するステップ（Ｓ６）とを含んでいる、
画像処理方法。
【請求項５】
請求項１乃至４のいずれか１項に記載の各ステップを、コンピュータに実行させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−１５２５３６（Ｐ２０１０−１５２５３６Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２００８−３２８３９６（Ｐ２００８−３２８３９６）
【出願日】平成２０年１２月２４日（２００８．１２．２４）
【出願人】（０００１１６０２４）ローム株式会社 (3,539)
【出願人】（５０７０２２８０２）Ｔａｋｕｍｉ Ｖｉｓｉｏｎ株式会社 (14)
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願日】平成２０年１２月２４日（２００８．１２．２４）
【出願人】（０００１１６０２４）ローム株式会社 (3,539)
【出願人】（５０７０２２８０２）Ｔａｋｕｍｉ Ｖｉｓｉｏｎ株式会社 (14)
【Ｆターム（参考）】
[ Back to top ]