霞除去画像処理装置、霞除去画像処理方法及び霞除去画像処理プログラム
【課題】高速かつ高精度に画像中の霞を除去できるようにすることを目的とする。
【解決手段】大気光補正部３００は、入力画像を大気光の画素値で補正する。領域算出部４００は、入力画像の注目画素に対して、最小画素値を求めるのに適切な領域を算出する。最小画素値算出部５００は、大気光により補正された入力画像における算出された領域内での最小画素値を選択する。透過率算出部６００は、最小画素値から注目画素の透過率を算出する。霞除去画像生成部７００は、透過率を用いて入力画像から霞を除去する。
【解決手段】大気光補正部３００は、入力画像を大気光の画素値で補正する。領域算出部４００は、入力画像の注目画素に対して、最小画素値を求めるのに適切な領域を算出する。最小画素値算出部５００は、大気光により補正された入力画像における算出された領域内での最小画素値を選択する。透過率算出部６００は、最小画素値から注目画素の透過率を算出する。霞除去画像生成部７００は、透過率を用いて入力画像から霞を除去する。
【発明の詳細な説明】
【技術分野】
【０００１】
画像からの霞を除去する霞除去画像処理装置、霞除去画像処理方法及び霞除去画像処理プログラムに関する。
【背景技術】
【０００２】
風景写真を撮影するとしばしば遠くの山などに霞が掛かって見えることがある。そこで、霞の密度を推定し、霞の除去に関する技術として、例えば、非特許文献１が発表されている。この論文では、以下の手順で霞を除去する。まず、入力画像の各画素のＲＧＢを大気光のＲＧＢで割ることで入力画像を補正する。補正した入力画像に対して、ダークチャネルと呼ばれる局所領域でのＲＧＢの最小値を使い霞の密度を推定する。この霞密度から粗い精度の透過率を求める。さらにソフトマッティングと呼ばれる手法で、細かい精度の透過率を求める。この透過率を使って画像から霞を除去する処理を行う。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】K. He, J. Sun and X. Tang、“Single Image Haze Removal Using Dark Channel Prior”CVPR, 2009
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ダークチャネルを求めるために使用する局所領域は、透過率がほぼ一定とみなされる領域が望ましい。しかし非特許文献１の方法では、局所領域は、ダークチャネルを求めようとする画素を中心にした予め定められた大きさの正方形が常に用いられているため、局所領域内で、透過率が異なる場合が発生する。そのため推定した透過率は、粗い精度のものとなってしまう。そこで、透過率精度を上げるために、ソフトマッティングを行っているが、ソフトマッティングは膨大な演算量が必要になり、実用上、時間がかかりすぎるという課題がある。
【０００５】
本発明は、上記の点に鑑みてなされたもので、高速かつ高精度に画像中の霞を除去する霞除去画像処理装置、霞除去画像処理方法及び霞除去画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置の一態様は、入力画像を大気光の画素値で補正する大気光補正部と、入力画像の注目画素に対して、最小画素値を求めるのに適切な領域を算出する領域算出部と、大気光の画素値により補正された入力画像における前記算出された領域内での最小画素値を選択する最小画素値選択部と、最小画素値から前記注目画素の透過率を算出する透過率算出部と、透過率を用いて前記入力画像から霞成分を除去する霞除去画像生成部と、を有することを特徴とする。
【０００７】
また、本発明の画像処理方法の一態様は、入力画像を大気光の画素値で補正するステップと、入力画像の注目画素に対して、最小画素値を求めるのに適切な領域を算出するステップと、大気光の画素値により補正された入力画像における算出された領域内での最小画素値を選択するステップと、最小画素値から前記注目画素の透過率を算出するステップと、透過率を用いて入力画像から霞成分を除去するステップと、を有することを特徴とする。
【０００８】
また、本発明の画像処理プログラムの一態様は、入力画像を大気光の画素値で補正するステップと、入力画像の注目画素に対して、最小画素値を求めるのに適切な領域を算出するステップと、大気光の画素値により補正された入力画像における算出された領域内での最小画素値を選択するステップと、最小画素値から注目画素の透過率を算出するステップと、透過率を用いて入力画像から霞成分を除去するステップと、をコンピュータに発揮させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ダークチャネルを求めるために使用する領域をダークチャネルを求めようとする画素ごとに求めることで、高速かつ高精度に画像中の霞を除去する霞除去画像処理装置、霞除去画像処理方法、霞除去画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係る霞除去画像処理装置の構成図。
【図２】ダークチャネルと透過率の関係を示すグラフ。
【図３】領域算出部による領域決定のフローチャート。
【図４】類似度計算の変換関数の例を示す図。
【図５】第２実施形態に係る霞除去画像処理装置の構成図。
【図６】領域算出部の構成図。
【図７】第３実施形態に係る霞除去画像処理装置の構成図。
【図８】第４実施形態に係る霞除去画像処理装置における候補領域の一例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態を図面を参照して説明する。
［第１実施形態］
図１に示すように、本発明の第１実施形態に係る霞除去画像処理装置１００は、大気光画素値算出部２００と、大気光補正部３００と、領域算出部４００と、最小画素値算出部５００と、透過率算出部６００と、霞除去画像生成部７００と、を有している。大気光画素値算出部２００は、大気光補正部３００と霞除去画像生成部７００と接続している。大気光補正部３００は、最小画素値算出部５００に接続している。領域算出部４００は、最小画素値算出部５００と接続している。最小画素値算出部５００は、透過率算出部６００と接続している。透過率算出部６００は、霞除去画像生成部７００と接続している。
【００１２】
なお、ここで霞とは大気中の粒子のため遠くにある被写体がはっきりと見えない現象をいう。また、霧、靄、煙霧等の気象現象により被写体が見えづらくなる現象も含む。
【００１３】
遠方にある被写体を撮像する場合等において、被写体が大気光の影響を受け白く霞むことがある。ここで、大気光とは、大気中の粒子による散乱光のことを示す。画像の画素値のうち、粒子の散乱光により得られる成分を大気光画素値とする。入力画像が入力されると、大気光画素値算出部２００は大気光画素値を算出し、出力する。大気光画素値の算出方法は、非特許文献１記載の方法により算出する。本実施例では、大気光画素値算出部２００は入力画像全体に対し一つの大気光画素値を求める。また、非特許文献１では入力画像のダークチャネルを用いて大気光画素値を算出しているが、領域算出部４００で求めた領域を用いたダークチャネルを利用して大気光画素値を求めてもよい。
【００１４】
なお、大気光画素値の求め方は、入力画像から求めるこの方法に限られたものではない。例えば、ユーザが大気光画素値を設定してもよい。
【００１５】
大気光補正部３００は、入力画像と大気光画素値算出部２００により算出された大気光画素値を入力する。入力画像の各画素値を大気光画素値で割った値を画素値とする画像を出力する。割り算はチャネル毎に行う。例えば、画像がＲ、Ｇ、Ｂの３チャネルから成るＲＧＢ画像の場合、入力画像の各画素において、各画素のＲを大気光のＲで、各画素のＧを大気光のＧで、各画素のＢを大気光のＢで、それぞれ割る。入力画像が輝度１チャネルから成るＹ画像の場合、入力画像の各画素のＹを大気光のＹで割る。この大気光補正部３００の出力画像を以後、大気光補正画像と呼ぶ。
【００１６】
領域算出部４００は、入力画像を入力し、入力画像の注目画素のダークチャネルを求めるための領域を算出し、算出された領域を表す情報を出力する。領域算出の詳細については後述する。
【００１７】
ここで注目画素のダークチャネルとは、注目画素を含む局所領域内の全ての画素の全てのチャネルの値の最小値をいう。Ｒ、Ｇ、Ｂの３チャネルから成るＲＧＢ画像の場合、注目画素のダークチャネルは、注目画素を含む局所領域内の全ての画素のＲ、Ｇ、Ｂのうちの最小値となる。輝度１チャネルから成るＹ画像の場合は、注目画素のダークチャネルは、その画素を含む局所領域内の全ての画素のＹの最小値となる。なお、入力画像は、ＲＧＢ画像やＹ画像とは異なるチャネルで構成される画像であっても構わない。
【００１８】
ダークチャネルを求めるための領域は、透過率がほぼ一定とみなされる領域が望ましい。そこで、画素毎に、ダークチャネルを求めるのに適切な領域として、透過率がほぼ一定とみなせることができる領域を決定する。透過率に関しては後述する。
【００１９】
最小画素値算出部５００は、大気光補正部３００により出力された大気光補正画像と領域算出部４００により算出されたダークチャネルを求めるための領域を表す情報を入力する。そして、大気光補正画像の画素ごとに、領域算出部４００により算出された情報で示される局所領域に基づきダークチャネルを求め出力する。
【００２０】
透過率は、ダークチャネルとの関数式より算出することができる。透過率算出部６００は、最小画素値算出部５００が出力した画素ごとに算出されたダークチャネルを入力して、以下の式（１）を用いて透過率を画素ごとに求める。
Ｔｒｎ＝１−ω×Ｄｒｋ （１）
ここで、Ｄｒｋはダークチャネル、Ｔｒｎは透過率、ωは霞除去の強さを制御するために予め与えられたパラメータである。
【００２１】
なお、霞除去後の画像のノイズや不自然さの原因になり易い小さすぎる透過率を避けるため、透過率Ｔｒｎが予め定めた閾値Ｔｒｎ０より小さかったら、Ｔｒｎ０に置き換えることも可能である。つまり、
Ｔｒｎ＝ｍａｘ（Ｔｒｎ，Ｔｒｎ０） （２）
ここで、ｍａｘ（ａ，ｂ）は、ａとｂのうち大きい方を表す。図２は、このようにして求めた透過率とダークチャネルの関係を示すグラフである。透過率算出部６００は、求めた透過率を出力する。
【００２２】
霞除去画像生成部７００は、入力画像と大気光画素値算出部２００により算出された大気光画素値と、透過率算出部６００により算出された透過率を入力し、画素ごとに以下の式（３）を計算することで、霞を除去した画像を求める。
【００２３】
【数１】
ここで、入力画像の画素値と大気光の画素値は、ｃ個のチャネルから成っているとする。また、Ａｉは大気光のｉ番目のチャネルの値、Ｉｉ（ｐ）は入力画像の座標ｐの画素のｉ番目のチャネルの値、Ｊｉ（ｐ）は霞を除去した画像の座標ｐの画素のｉ番目のチャネルの値とする。
【００２４】
次に、領域算出部４００による領域決定方法を図３のフローチャートを用いて説明する。本実施形態では注目画素を含む複数の候補領域の中から注目画素のダークチャネルを求めるための領域を選択する方法について説明する。本実施例では全ての候補領域の画素数が同一ではない場合について説明する。
【００２５】
ステップＳ３０１で、候補領域の画素数を大きいほうから順にＮ（１）、Ｎ（２）、・・・、Ｎ（ｍ）と設定する。ここで、候補領域の画素数の大きさの順位１、２、・・・、ｍを画素数順位と呼ぶことにする。例えば、Ｎ（１）＝６４とすれば、画素数Ｎ（１）の候補領域の例として、８×８の正方形で注目画素の位置が右上の頂点の場合、注目画素の位置が右下の頂点の場合、注目画素の位置が左下の頂点の場合、注目画素の位置が左下の頂点の場合、注目画素の位置が中心の場合、の５通りと、さらに４×１６の長方形で注目画素の位置が右上の頂点の場合、注目画素の位置が右下の頂点の場合、注目画素の位置が左下の頂点の場合、注目画素の位置が左下の頂点の場合、注目画素の位置が中心の場合、の５通りの１０種類の候補領域を挙げることができる。ここで、候補領域の形は四角以外でもよく、また注目画素の位置も領域内であればどこでもよく、画素数の同じ候補領域の種類もいくつであっても構わない。画素数順位をｉとする。ステップＳ３０２で、画素数順位ｉを１に設定する。ステップＳ３０３で、選択された画素数Ｎ（ｉ）の全ての候補領域と注目画素との類似度を、候補領域ごとに求める。候補領域Ωと注目画素ｐとの類似度は、次のようにして計算する。
【００２６】
【数２】
ここで♯Ωは領域Ωに含まれる画素数、Ｆは予め定められた関数とする。
【００２７】
必ずしもこの式でなくてもよく、例えば、
【００２８】
【数３】
でもよい。ここで、ｗｉは、第ｉチャネルの重みとする。
また、
【００２９】
【数４】
でもよい。
変換関数Ｆとしては、例えば、傾きが０以下の１次関数でもよいし、傾きが０以下の複数の直線で構成される折れ線関数でもよいし、入力がある閾値より小さい場合は１、そうでない場合は０を出力する関数でもよい。図４に（ａ）１次関数の場合、（ｂ）折れ線関数の場合、（ｃ）閾値による関数を示す。また、ガウス関数でもよいし、予め定められたルックアップテーブルでもよい。
【００３０】
ステップＳ３０４で、最大類似度Ｓｍａｘを探索し、最大類似度を有する候補領域を求める。ステップＳ３０５で、画素数順位ｉが最後の画素数順位ｍに達したかを判定する。最後の画素数順位ｍに達した場合、ステップＳ３０６で、最大類似度を持つ候補領域を、注目画素のダークチャネル求めるのに適切な領域と決定する。最後の画素数順位ｍに達していない場合は、ステップＳ３０７で、最大類似度が予め定められた閾値Ｕより小さいかどうかを判定する。閾値よりも最大類似度が小さくない場合、ステップＳ３０６で、この最大類似度を持つ候補領域を注目画素のダークチャネルを求めるのに適切な領域に決定する。閾値よりも最大類似度が小さい場合、ステップＳ３０８で画素数順位ｉを一つ増やして、同様の処理を実施する。以下、注目画素のダークチャネルを求めるのに適切な領域が決定するまで、このような処理を繰り返していく。
【００３１】
そして、領域決定後、領域算出部４００は、決定された領域情報を出力する。
以上のように、領域算出部４００は、ダークチャネルを求めるのに最適な領域を注目画素ごとに決定する。そのため、本実施形態では、ソフトマッティングを使わなくても、ダークチャネルから細かい精度の透過率を推定することが可能となる。
【００３２】
注目画素のダークチャネルを求める領域の画素数が少なすぎると、ダークチャネルが霞の密度と対応しなくなってしまう可能性が高くなる。一方、ダークチャネルを求める領域の画素数が多すぎると領域内の透過率がほぼ一定と見なせなくなる可能性が高くなる。本実施形態では、候補領域のうち画素数が多いものから探索し、注目画素と十分に類似していなければ、画素数のより少ない領域の中から探索することで、出来る限り大きい領域で、しかも透過率がほぼ一定と見なすことができる領域を、ダークチャネルを求めるのに適切な領域として設定することができる。
【００３３】
また、候補領域の中から適切な領域を選択するため、演算量が少なくて済む。
なお、本実施例では全ての候補領域の画素数が同一ではない場合について説明したが全ての候補領域の画素数を同一とすることも可能である。この場合、領域算出部４００は、全ての候補領域の個数をＮ（１）に設定する（ステップ３０１）。全ての候補領域を選択する（ステップＳ３０２）。選択された全ての候補領域と注目画素との類似度を前述の式より求める（ステップＳ３０３）。最大類似度Ｓｍａｘを求める（ステップＳ３０４）。そして、最大類似度を有する候補領域を注目画素のダークチャネルを求める領域に決定する（ステップＳ３０６）。つまり、図３のフローチャートのうち、ステップＳ３０５，ステップＳ３０７，ステップＳ３０８が省略されたフローとなる。
【００３４】
［第２実施形態］
図５は、本発明の第２実施形態の霞除去画像処理装置の構成図である。第１実施形態の領域算出部４００を領域算出部８００に変更したものであり、それ以外の部分は第１実施形態と同様の構成となる。第１実施形態と重複する部分に関しては説明を省略し、ここでは領域算出部８００について説明する。
【００３５】
図６は、領域算出部８００の構成図である。類似度算出部８０１では、注目画素とその周囲の予め定められた範囲の画素との類似度を求める。ここで予め定められた範囲は、ダークチャネルを求めるための範囲よりも大きな領域とする。類似度は、例えば、二つの画素のチャネル毎の値の差の絶対値の和を、予め定められた関数で変換して求める。つまり、
【００３６】
【数５】
ここで、Ｓ（ｐ、ｑ）は、座標ｐの注目画素とその周囲の定められた範囲内の座標ｑの画素との類似度としＩｉ（ｐ）は座標ｐの画素の第ｉチャネルの値、ｃはチャネル数、Ｆは予め定められた関数とする。
【００３７】
また、二つの画素のチャネル毎の値の差の絶対値に予め定められたチャネル毎の重みを掛けた重み付き和を用いてもよい。つまり、
【００３８】
【数６】
ここでｗｉは、第ｉチャネルの重みとする。
さらに、二つの画素のチャネル毎の値の差の絶対値の和の代わりに、二つの画素のチャネル毎の値の差の二乗の和を使ってもよい。つまり、
【００３９】
【数７】
変換関数Ｆとしては、例えば、傾きが０以下の１次関数でもよいし、傾きが０以下の複数の直線で構成される折れ線関数でもよいし、入力がある閾値より小さい場合は１、そうでない場合は０を出力する関数でもよい。
【００４０】
次に、重心座標算出部８０２は類似度算出部８０１が求めた類似度を重みとした重心座標ｒを次のようにして求める。
【００４１】
【数８】
ここで、Ωは座標ｐの周囲の定められた範囲を示す。
共分散行列算出部８０３は類似度を重みにした重み付け共分散行列Ｍを次のようにして求める。
【００４２】
【数９】
ここでｑｘ、ｒｘは、座標ｑと座標ｒのｘ座標、ｑｙ、ｒｙは、座標ｑと座標ｒのｙ座標とする。
【００４３】
重心座標算出部８０２が求めた重心座標ｒと共分散行列算出部８０３が求めた共分散行列Ｍを使って、座標ｐの画素のダークチャネルを求めるのに適切な領域Ψを次のように決める。
【００４４】
【数１０】
この式は、重心座標ｒとのマハラノビス距離の二乗がＴ未満となる領域Ω内の座標を、座標ｐの画素のダークチャネルを求めるのに適切な領域Ψとするということを意味している。ここでＴは、予め与えられた閾値、Ｍ−１は、共分散行列Ｍの逆行列とする。
【００４５】
このように重心座標と共分散行列Ｍは、座標ｐの画素のダークチャネルを求めるのに適切であると決定した領域を表す情報となるので、領域算出部８００は、この重心座標ｒと共分散行列Ｍを、決定した領域を表す情報として出力する。最小画素値算出部５００は、この重心座標ｒと共分散行列Ｍを受けて、上記式（１２）より領域Ψを求め、最小画素値を算出する。
【００４６】
このようにして領域を決定することで、座標ｐの画素に類似度の高い画素が分布している領域を見つけることができる。このような領域は、透過率がほぼ一定とみなしても良いので、ダークチャネルを求めるのに適切な領域となり、ダークチャネルを求めるのに最適な領域を画素ごとに決定するので精度の高い透過率を算出できるようになる。また、ソフトマッティングを行うことなく精度の高い透過率を算出するため、演算量を低減した処理を行うことが可能となる。
［第３実施形態］
図７は、第３実施形態の霞除去画像装置の構成図である。第１実施形態と異なる点は、透過率ノイズ除去部９００が追加されている点である。それ以外の部分は第１実施形態と同様の構成となる。第１実施形態と重複する部分に関しては説明を省略し、ここでは透過率ノイズ除去部９００について説明する。
【００４７】
透過率ノイズ除去部９００は、透過率算出部６００が出力した透過率を入力し、ノイズを除去した透過率を出力する。ノイズ除去の方法はいろいろな方法が考えられるが、例えば、メディアンフィルタが挙げられる。
【００４８】
ソフトマッティングを用いる代わりに、画素毎にダークチャネルを求めるのに適切な領域を決定して、その領域を用いて求めたダークチャネルから透過率を推定する場合に発生する透過率のノイズを、透過率ノイズ除去手段によって、除去することで、霞を除去した画像の画質を向上させることができる。
【００４９】
なお、本実施形態の透過率ノイズ除去部９００は、上記第２実施形態にも同様に適用可能なことは勿論である。
［第４実施形態］
本実施形態の霞除去画像装置は、第１実施形態と同様の構成となる。よって、第１実施形態と重複する部分に関しては説明を省略し、ここでは候補領域内における注目画素の位置について説明する。
【００５０】
第１実施形態では、候補領域の画素数、形状、注目画素の位置は、様々なものが可能だが、本実施形態では、候補領域の画素数と形状は一定とし、注目画素の位置だけが異なる場合とする。
【００５１】
ここでは、簡単化のために、候補領域の画素数及び形状を、例えば７×７の正方形として説明する。
【００５２】
この場合、図８に示すように、注目画素８１１に対する候補領域として、次の５つの領域候補の中から注目画素との類似度が最も高い候補領域を求める。
【００５３】
ここで、注目画素８１１の座標を（ｘ，ｙ）とする。注目画素と、（ｘ−６，ｙ−６）、（ｘ−６，ｙ）、（ｘ，ｙ−６）を頂点とする図８（Ａ）の領域８２１、注目画素８１１と、（ｘ，ｙ−６）、（ｘ＋６，ｙ−６）、（ｘ＋６，ｙ）を頂点とする図８（Ｂ）の領域８２２、注目画素８１１と、（ｘ−６，ｙ）、（ｘ−６，ｙ＋６）、（ｘ，ｙ＋６）を頂点とする図８（Ｃ）の領域８２３、注目画素８１１と、（ｘ，ｙ＋６）、（ｘ＋６，ｙ）、（ｘ＋６，ｙ＋６）を頂点とする図８（Ｄ）の領域８２４、（ｘ−３，ｙ−３）、（ｘ−３，ｙ＋３）、（ｘ＋３，ｙ−３）、（ｘ＋３，ｙ＋３）を頂点とする図８（Ｅ）の領域８２５、の５つの領域が候補領域となる。
【００５４】
領域算出部４００は、これら５つの領域候補の中から注目画素との類似度が最も高い候補領域を求める。計算は前述の方法により求める。各候補領域と注目画素との類似度を計算し、最大類似度を求める。最大類似度を有する候補領域をダークチャネルを求める領域と決定する。
【００５５】
このように領域算出部４００により、ダークチャネルを求めるのに最適な領域を画素ごとに決定するので精度の高い透過率を算出できるようになる。
【００５６】
また候補領域の画素数と形状が決まっているので、比較的容易な演算で類似度を調べることができる。
【００５７】
以上、実施形態を用いて説明したように、本発明によれば、ダークチャネルを求めるのに最適な領域を注目画素ごとに決定するので、演算量の多いソフトマッティングを用いることなく、精度の高い透過率を算出できるようになり、精度の高い透過率を用いて入力画像中から霞を高速に除去することができる。
【００５８】
また、本発明は、注目画素と複数の候補領域との類似度を算出し、類似度が最も大きい候補領域を適切な領域として選択することが可能である。よって、最も注目画素と類似度の高い候補領域をダークチャネルを求めるのに最適な領域として選択できるので、精度の高い透過率を算出できるようになる。
【００５９】
また、本発明は、画素数が異なる複数の候補領域からダークチャネルを求めるのに適切な領域を選択することが可能である。これにより、画素数が一定の候補領域から選択する場合に比べより適切な領域を注目画素ごとに設定することができる。
【００６０】
また、本発明は、画素数と形状は一定で、注目画素の位置だけが異なる複数の候補領域からダークチャネルを求めるのに適切な領域を選択することが可能である。これにより、比較的容易な演算で、注目画素ごとに適切な領域を設定することができる。
【００６１】
また、本発明では、候補領域を、注目画素を右下の頂点とする正方形、注目画素を右上の頂点とする正方形、注目画素を左下の頂点とする正方形、注目画素を左上の頂点とする正方形、注目画素を中心とする正方形、とすることで、簡単な演算で、注目画素ごとに適切な領域を設定することができる。
【００６２】
また、本発明では、画素値の平均値と注目画素の画素値との差の絶対値が小さいとき、前記候補領域と前記注目画素との類似度が高いとする。これにより、注目画素と候補領域との類似度を容易に算出することが可能である。
【００６３】
また、本発明では、ソフトマッティングを用いる代わりに、画素毎にダークチャネルを求めるのに適切な領域を決定して、その領域を用いて求めたダークチャネルから透過率を推定する場合に発生する透過率のノイズを除去し、ノイズ除去後の透過率を用いて画像から霞を除去することで、霞を除去した画像の画質を向上させることができる。
【００６４】
以上、実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。
【００６５】
また、上記実施形態からは種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られるのであればこの構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００６６】
１００…画像処理装置、 ２００…大気光画素値算出部、 ３００…大気光補正部、 ４００…領域算出部、 ５００…最小画素値算出部、 ６００…透過率算出部、 ７００…霞除去画像生成部、 ８００…領域算出部、 ８０１…類似度算出部、 ８０２…最小画素値算出部、 ８０３…領域算出部、 ９００…透過率ノイズ除去部。
【技術分野】
【０００１】
画像からの霞を除去する霞除去画像処理装置、霞除去画像処理方法及び霞除去画像処理プログラムに関する。
【背景技術】
【０００２】
風景写真を撮影するとしばしば遠くの山などに霞が掛かって見えることがある。そこで、霞の密度を推定し、霞の除去に関する技術として、例えば、非特許文献１が発表されている。この論文では、以下の手順で霞を除去する。まず、入力画像の各画素のＲＧＢを大気光のＲＧＢで割ることで入力画像を補正する。補正した入力画像に対して、ダークチャネルと呼ばれる局所領域でのＲＧＢの最小値を使い霞の密度を推定する。この霞密度から粗い精度の透過率を求める。さらにソフトマッティングと呼ばれる手法で、細かい精度の透過率を求める。この透過率を使って画像から霞を除去する処理を行う。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】K. He, J. Sun and X. Tang、“Single Image Haze Removal Using Dark Channel Prior”CVPR, 2009
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ダークチャネルを求めるために使用する局所領域は、透過率がほぼ一定とみなされる領域が望ましい。しかし非特許文献１の方法では、局所領域は、ダークチャネルを求めようとする画素を中心にした予め定められた大きさの正方形が常に用いられているため、局所領域内で、透過率が異なる場合が発生する。そのため推定した透過率は、粗い精度のものとなってしまう。そこで、透過率精度を上げるために、ソフトマッティングを行っているが、ソフトマッティングは膨大な演算量が必要になり、実用上、時間がかかりすぎるという課題がある。
【０００５】
本発明は、上記の点に鑑みてなされたもので、高速かつ高精度に画像中の霞を除去する霞除去画像処理装置、霞除去画像処理方法及び霞除去画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置の一態様は、入力画像を大気光の画素値で補正する大気光補正部と、入力画像の注目画素に対して、最小画素値を求めるのに適切な領域を算出する領域算出部と、大気光の画素値により補正された入力画像における前記算出された領域内での最小画素値を選択する最小画素値選択部と、最小画素値から前記注目画素の透過率を算出する透過率算出部と、透過率を用いて前記入力画像から霞成分を除去する霞除去画像生成部と、を有することを特徴とする。
【０００７】
また、本発明の画像処理方法の一態様は、入力画像を大気光の画素値で補正するステップと、入力画像の注目画素に対して、最小画素値を求めるのに適切な領域を算出するステップと、大気光の画素値により補正された入力画像における算出された領域内での最小画素値を選択するステップと、最小画素値から前記注目画素の透過率を算出するステップと、透過率を用いて入力画像から霞成分を除去するステップと、を有することを特徴とする。
【０００８】
また、本発明の画像処理プログラムの一態様は、入力画像を大気光の画素値で補正するステップと、入力画像の注目画素に対して、最小画素値を求めるのに適切な領域を算出するステップと、大気光の画素値により補正された入力画像における算出された領域内での最小画素値を選択するステップと、最小画素値から注目画素の透過率を算出するステップと、透過率を用いて入力画像から霞成分を除去するステップと、をコンピュータに発揮させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ダークチャネルを求めるために使用する領域をダークチャネルを求めようとする画素ごとに求めることで、高速かつ高精度に画像中の霞を除去する霞除去画像処理装置、霞除去画像処理方法、霞除去画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係る霞除去画像処理装置の構成図。
【図２】ダークチャネルと透過率の関係を示すグラフ。
【図３】領域算出部による領域決定のフローチャート。
【図４】類似度計算の変換関数の例を示す図。
【図５】第２実施形態に係る霞除去画像処理装置の構成図。
【図６】領域算出部の構成図。
【図７】第３実施形態に係る霞除去画像処理装置の構成図。
【図８】第４実施形態に係る霞除去画像処理装置における候補領域の一例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態を図面を参照して説明する。
［第１実施形態］
図１に示すように、本発明の第１実施形態に係る霞除去画像処理装置１００は、大気光画素値算出部２００と、大気光補正部３００と、領域算出部４００と、最小画素値算出部５００と、透過率算出部６００と、霞除去画像生成部７００と、を有している。大気光画素値算出部２００は、大気光補正部３００と霞除去画像生成部７００と接続している。大気光補正部３００は、最小画素値算出部５００に接続している。領域算出部４００は、最小画素値算出部５００と接続している。最小画素値算出部５００は、透過率算出部６００と接続している。透過率算出部６００は、霞除去画像生成部７００と接続している。
【００１２】
なお、ここで霞とは大気中の粒子のため遠くにある被写体がはっきりと見えない現象をいう。また、霧、靄、煙霧等の気象現象により被写体が見えづらくなる現象も含む。
【００１３】
遠方にある被写体を撮像する場合等において、被写体が大気光の影響を受け白く霞むことがある。ここで、大気光とは、大気中の粒子による散乱光のことを示す。画像の画素値のうち、粒子の散乱光により得られる成分を大気光画素値とする。入力画像が入力されると、大気光画素値算出部２００は大気光画素値を算出し、出力する。大気光画素値の算出方法は、非特許文献１記載の方法により算出する。本実施例では、大気光画素値算出部２００は入力画像全体に対し一つの大気光画素値を求める。また、非特許文献１では入力画像のダークチャネルを用いて大気光画素値を算出しているが、領域算出部４００で求めた領域を用いたダークチャネルを利用して大気光画素値を求めてもよい。
【００１４】
なお、大気光画素値の求め方は、入力画像から求めるこの方法に限られたものではない。例えば、ユーザが大気光画素値を設定してもよい。
【００１５】
大気光補正部３００は、入力画像と大気光画素値算出部２００により算出された大気光画素値を入力する。入力画像の各画素値を大気光画素値で割った値を画素値とする画像を出力する。割り算はチャネル毎に行う。例えば、画像がＲ、Ｇ、Ｂの３チャネルから成るＲＧＢ画像の場合、入力画像の各画素において、各画素のＲを大気光のＲで、各画素のＧを大気光のＧで、各画素のＢを大気光のＢで、それぞれ割る。入力画像が輝度１チャネルから成るＹ画像の場合、入力画像の各画素のＹを大気光のＹで割る。この大気光補正部３００の出力画像を以後、大気光補正画像と呼ぶ。
【００１６】
領域算出部４００は、入力画像を入力し、入力画像の注目画素のダークチャネルを求めるための領域を算出し、算出された領域を表す情報を出力する。領域算出の詳細については後述する。
【００１７】
ここで注目画素のダークチャネルとは、注目画素を含む局所領域内の全ての画素の全てのチャネルの値の最小値をいう。Ｒ、Ｇ、Ｂの３チャネルから成るＲＧＢ画像の場合、注目画素のダークチャネルは、注目画素を含む局所領域内の全ての画素のＲ、Ｇ、Ｂのうちの最小値となる。輝度１チャネルから成るＹ画像の場合は、注目画素のダークチャネルは、その画素を含む局所領域内の全ての画素のＹの最小値となる。なお、入力画像は、ＲＧＢ画像やＹ画像とは異なるチャネルで構成される画像であっても構わない。
【００１８】
ダークチャネルを求めるための領域は、透過率がほぼ一定とみなされる領域が望ましい。そこで、画素毎に、ダークチャネルを求めるのに適切な領域として、透過率がほぼ一定とみなせることができる領域を決定する。透過率に関しては後述する。
【００１９】
最小画素値算出部５００は、大気光補正部３００により出力された大気光補正画像と領域算出部４００により算出されたダークチャネルを求めるための領域を表す情報を入力する。そして、大気光補正画像の画素ごとに、領域算出部４００により算出された情報で示される局所領域に基づきダークチャネルを求め出力する。
【００２０】
透過率は、ダークチャネルとの関数式より算出することができる。透過率算出部６００は、最小画素値算出部５００が出力した画素ごとに算出されたダークチャネルを入力して、以下の式（１）を用いて透過率を画素ごとに求める。
Ｔｒｎ＝１−ω×Ｄｒｋ （１）
ここで、Ｄｒｋはダークチャネル、Ｔｒｎは透過率、ωは霞除去の強さを制御するために予め与えられたパラメータである。
【００２１】
なお、霞除去後の画像のノイズや不自然さの原因になり易い小さすぎる透過率を避けるため、透過率Ｔｒｎが予め定めた閾値Ｔｒｎ０より小さかったら、Ｔｒｎ０に置き換えることも可能である。つまり、
Ｔｒｎ＝ｍａｘ（Ｔｒｎ，Ｔｒｎ０） （２）
ここで、ｍａｘ（ａ，ｂ）は、ａとｂのうち大きい方を表す。図２は、このようにして求めた透過率とダークチャネルの関係を示すグラフである。透過率算出部６００は、求めた透過率を出力する。
【００２２】
霞除去画像生成部７００は、入力画像と大気光画素値算出部２００により算出された大気光画素値と、透過率算出部６００により算出された透過率を入力し、画素ごとに以下の式（３）を計算することで、霞を除去した画像を求める。
【００２３】
【数１】
ここで、入力画像の画素値と大気光の画素値は、ｃ個のチャネルから成っているとする。また、Ａｉは大気光のｉ番目のチャネルの値、Ｉｉ（ｐ）は入力画像の座標ｐの画素のｉ番目のチャネルの値、Ｊｉ（ｐ）は霞を除去した画像の座標ｐの画素のｉ番目のチャネルの値とする。
【００２４】
次に、領域算出部４００による領域決定方法を図３のフローチャートを用いて説明する。本実施形態では注目画素を含む複数の候補領域の中から注目画素のダークチャネルを求めるための領域を選択する方法について説明する。本実施例では全ての候補領域の画素数が同一ではない場合について説明する。
【００２５】
ステップＳ３０１で、候補領域の画素数を大きいほうから順にＮ（１）、Ｎ（２）、・・・、Ｎ（ｍ）と設定する。ここで、候補領域の画素数の大きさの順位１、２、・・・、ｍを画素数順位と呼ぶことにする。例えば、Ｎ（１）＝６４とすれば、画素数Ｎ（１）の候補領域の例として、８×８の正方形で注目画素の位置が右上の頂点の場合、注目画素の位置が右下の頂点の場合、注目画素の位置が左下の頂点の場合、注目画素の位置が左下の頂点の場合、注目画素の位置が中心の場合、の５通りと、さらに４×１６の長方形で注目画素の位置が右上の頂点の場合、注目画素の位置が右下の頂点の場合、注目画素の位置が左下の頂点の場合、注目画素の位置が左下の頂点の場合、注目画素の位置が中心の場合、の５通りの１０種類の候補領域を挙げることができる。ここで、候補領域の形は四角以外でもよく、また注目画素の位置も領域内であればどこでもよく、画素数の同じ候補領域の種類もいくつであっても構わない。画素数順位をｉとする。ステップＳ３０２で、画素数順位ｉを１に設定する。ステップＳ３０３で、選択された画素数Ｎ（ｉ）の全ての候補領域と注目画素との類似度を、候補領域ごとに求める。候補領域Ωと注目画素ｐとの類似度は、次のようにして計算する。
【００２６】
【数２】
ここで♯Ωは領域Ωに含まれる画素数、Ｆは予め定められた関数とする。
【００２７】
必ずしもこの式でなくてもよく、例えば、
【００２８】
【数３】
でもよい。ここで、ｗｉは、第ｉチャネルの重みとする。
また、
【００２９】
【数４】
でもよい。
変換関数Ｆとしては、例えば、傾きが０以下の１次関数でもよいし、傾きが０以下の複数の直線で構成される折れ線関数でもよいし、入力がある閾値より小さい場合は１、そうでない場合は０を出力する関数でもよい。図４に（ａ）１次関数の場合、（ｂ）折れ線関数の場合、（ｃ）閾値による関数を示す。また、ガウス関数でもよいし、予め定められたルックアップテーブルでもよい。
【００３０】
ステップＳ３０４で、最大類似度Ｓｍａｘを探索し、最大類似度を有する候補領域を求める。ステップＳ３０５で、画素数順位ｉが最後の画素数順位ｍに達したかを判定する。最後の画素数順位ｍに達した場合、ステップＳ３０６で、最大類似度を持つ候補領域を、注目画素のダークチャネル求めるのに適切な領域と決定する。最後の画素数順位ｍに達していない場合は、ステップＳ３０７で、最大類似度が予め定められた閾値Ｕより小さいかどうかを判定する。閾値よりも最大類似度が小さくない場合、ステップＳ３０６で、この最大類似度を持つ候補領域を注目画素のダークチャネルを求めるのに適切な領域に決定する。閾値よりも最大類似度が小さい場合、ステップＳ３０８で画素数順位ｉを一つ増やして、同様の処理を実施する。以下、注目画素のダークチャネルを求めるのに適切な領域が決定するまで、このような処理を繰り返していく。
【００３１】
そして、領域決定後、領域算出部４００は、決定された領域情報を出力する。
以上のように、領域算出部４００は、ダークチャネルを求めるのに最適な領域を注目画素ごとに決定する。そのため、本実施形態では、ソフトマッティングを使わなくても、ダークチャネルから細かい精度の透過率を推定することが可能となる。
【００３２】
注目画素のダークチャネルを求める領域の画素数が少なすぎると、ダークチャネルが霞の密度と対応しなくなってしまう可能性が高くなる。一方、ダークチャネルを求める領域の画素数が多すぎると領域内の透過率がほぼ一定と見なせなくなる可能性が高くなる。本実施形態では、候補領域のうち画素数が多いものから探索し、注目画素と十分に類似していなければ、画素数のより少ない領域の中から探索することで、出来る限り大きい領域で、しかも透過率がほぼ一定と見なすことができる領域を、ダークチャネルを求めるのに適切な領域として設定することができる。
【００３３】
また、候補領域の中から適切な領域を選択するため、演算量が少なくて済む。
なお、本実施例では全ての候補領域の画素数が同一ではない場合について説明したが全ての候補領域の画素数を同一とすることも可能である。この場合、領域算出部４００は、全ての候補領域の個数をＮ（１）に設定する（ステップ３０１）。全ての候補領域を選択する（ステップＳ３０２）。選択された全ての候補領域と注目画素との類似度を前述の式より求める（ステップＳ３０３）。最大類似度Ｓｍａｘを求める（ステップＳ３０４）。そして、最大類似度を有する候補領域を注目画素のダークチャネルを求める領域に決定する（ステップＳ３０６）。つまり、図３のフローチャートのうち、ステップＳ３０５，ステップＳ３０７，ステップＳ３０８が省略されたフローとなる。
【００３４】
［第２実施形態］
図５は、本発明の第２実施形態の霞除去画像処理装置の構成図である。第１実施形態の領域算出部４００を領域算出部８００に変更したものであり、それ以外の部分は第１実施形態と同様の構成となる。第１実施形態と重複する部分に関しては説明を省略し、ここでは領域算出部８００について説明する。
【００３５】
図６は、領域算出部８００の構成図である。類似度算出部８０１では、注目画素とその周囲の予め定められた範囲の画素との類似度を求める。ここで予め定められた範囲は、ダークチャネルを求めるための範囲よりも大きな領域とする。類似度は、例えば、二つの画素のチャネル毎の値の差の絶対値の和を、予め定められた関数で変換して求める。つまり、
【００３６】
【数５】
ここで、Ｓ（ｐ、ｑ）は、座標ｐの注目画素とその周囲の定められた範囲内の座標ｑの画素との類似度としＩｉ（ｐ）は座標ｐの画素の第ｉチャネルの値、ｃはチャネル数、Ｆは予め定められた関数とする。
【００３７】
また、二つの画素のチャネル毎の値の差の絶対値に予め定められたチャネル毎の重みを掛けた重み付き和を用いてもよい。つまり、
【００３８】
【数６】
ここでｗｉは、第ｉチャネルの重みとする。
さらに、二つの画素のチャネル毎の値の差の絶対値の和の代わりに、二つの画素のチャネル毎の値の差の二乗の和を使ってもよい。つまり、
【００３９】
【数７】
変換関数Ｆとしては、例えば、傾きが０以下の１次関数でもよいし、傾きが０以下の複数の直線で構成される折れ線関数でもよいし、入力がある閾値より小さい場合は１、そうでない場合は０を出力する関数でもよい。
【００４０】
次に、重心座標算出部８０２は類似度算出部８０１が求めた類似度を重みとした重心座標ｒを次のようにして求める。
【００４１】
【数８】
ここで、Ωは座標ｐの周囲の定められた範囲を示す。
共分散行列算出部８０３は類似度を重みにした重み付け共分散行列Ｍを次のようにして求める。
【００４２】
【数９】
ここでｑｘ、ｒｘは、座標ｑと座標ｒのｘ座標、ｑｙ、ｒｙは、座標ｑと座標ｒのｙ座標とする。
【００４３】
重心座標算出部８０２が求めた重心座標ｒと共分散行列算出部８０３が求めた共分散行列Ｍを使って、座標ｐの画素のダークチャネルを求めるのに適切な領域Ψを次のように決める。
【００４４】
【数１０】
この式は、重心座標ｒとのマハラノビス距離の二乗がＴ未満となる領域Ω内の座標を、座標ｐの画素のダークチャネルを求めるのに適切な領域Ψとするということを意味している。ここでＴは、予め与えられた閾値、Ｍ−１は、共分散行列Ｍの逆行列とする。
【００４５】
このように重心座標と共分散行列Ｍは、座標ｐの画素のダークチャネルを求めるのに適切であると決定した領域を表す情報となるので、領域算出部８００は、この重心座標ｒと共分散行列Ｍを、決定した領域を表す情報として出力する。最小画素値算出部５００は、この重心座標ｒと共分散行列Ｍを受けて、上記式（１２）より領域Ψを求め、最小画素値を算出する。
【００４６】
このようにして領域を決定することで、座標ｐの画素に類似度の高い画素が分布している領域を見つけることができる。このような領域は、透過率がほぼ一定とみなしても良いので、ダークチャネルを求めるのに適切な領域となり、ダークチャネルを求めるのに最適な領域を画素ごとに決定するので精度の高い透過率を算出できるようになる。また、ソフトマッティングを行うことなく精度の高い透過率を算出するため、演算量を低減した処理を行うことが可能となる。
［第３実施形態］
図７は、第３実施形態の霞除去画像装置の構成図である。第１実施形態と異なる点は、透過率ノイズ除去部９００が追加されている点である。それ以外の部分は第１実施形態と同様の構成となる。第１実施形態と重複する部分に関しては説明を省略し、ここでは透過率ノイズ除去部９００について説明する。
【００４７】
透過率ノイズ除去部９００は、透過率算出部６００が出力した透過率を入力し、ノイズを除去した透過率を出力する。ノイズ除去の方法はいろいろな方法が考えられるが、例えば、メディアンフィルタが挙げられる。
【００４８】
ソフトマッティングを用いる代わりに、画素毎にダークチャネルを求めるのに適切な領域を決定して、その領域を用いて求めたダークチャネルから透過率を推定する場合に発生する透過率のノイズを、透過率ノイズ除去手段によって、除去することで、霞を除去した画像の画質を向上させることができる。
【００４９】
なお、本実施形態の透過率ノイズ除去部９００は、上記第２実施形態にも同様に適用可能なことは勿論である。
［第４実施形態］
本実施形態の霞除去画像装置は、第１実施形態と同様の構成となる。よって、第１実施形態と重複する部分に関しては説明を省略し、ここでは候補領域内における注目画素の位置について説明する。
【００５０】
第１実施形態では、候補領域の画素数、形状、注目画素の位置は、様々なものが可能だが、本実施形態では、候補領域の画素数と形状は一定とし、注目画素の位置だけが異なる場合とする。
【００５１】
ここでは、簡単化のために、候補領域の画素数及び形状を、例えば７×７の正方形として説明する。
【００５２】
この場合、図８に示すように、注目画素８１１に対する候補領域として、次の５つの領域候補の中から注目画素との類似度が最も高い候補領域を求める。
【００５３】
ここで、注目画素８１１の座標を（ｘ，ｙ）とする。注目画素と、（ｘ−６，ｙ−６）、（ｘ−６，ｙ）、（ｘ，ｙ−６）を頂点とする図８（Ａ）の領域８２１、注目画素８１１と、（ｘ，ｙ−６）、（ｘ＋６，ｙ−６）、（ｘ＋６，ｙ）を頂点とする図８（Ｂ）の領域８２２、注目画素８１１と、（ｘ−６，ｙ）、（ｘ−６，ｙ＋６）、（ｘ，ｙ＋６）を頂点とする図８（Ｃ）の領域８２３、注目画素８１１と、（ｘ，ｙ＋６）、（ｘ＋６，ｙ）、（ｘ＋６，ｙ＋６）を頂点とする図８（Ｄ）の領域８２４、（ｘ−３，ｙ−３）、（ｘ−３，ｙ＋３）、（ｘ＋３，ｙ−３）、（ｘ＋３，ｙ＋３）を頂点とする図８（Ｅ）の領域８２５、の５つの領域が候補領域となる。
【００５４】
領域算出部４００は、これら５つの領域候補の中から注目画素との類似度が最も高い候補領域を求める。計算は前述の方法により求める。各候補領域と注目画素との類似度を計算し、最大類似度を求める。最大類似度を有する候補領域をダークチャネルを求める領域と決定する。
【００５５】
このように領域算出部４００により、ダークチャネルを求めるのに最適な領域を画素ごとに決定するので精度の高い透過率を算出できるようになる。
【００５６】
また候補領域の画素数と形状が決まっているので、比較的容易な演算で類似度を調べることができる。
【００５７】
以上、実施形態を用いて説明したように、本発明によれば、ダークチャネルを求めるのに最適な領域を注目画素ごとに決定するので、演算量の多いソフトマッティングを用いることなく、精度の高い透過率を算出できるようになり、精度の高い透過率を用いて入力画像中から霞を高速に除去することができる。
【００５８】
また、本発明は、注目画素と複数の候補領域との類似度を算出し、類似度が最も大きい候補領域を適切な領域として選択することが可能である。よって、最も注目画素と類似度の高い候補領域をダークチャネルを求めるのに最適な領域として選択できるので、精度の高い透過率を算出できるようになる。
【００５９】
また、本発明は、画素数が異なる複数の候補領域からダークチャネルを求めるのに適切な領域を選択することが可能である。これにより、画素数が一定の候補領域から選択する場合に比べより適切な領域を注目画素ごとに設定することができる。
【００６０】
また、本発明は、画素数と形状は一定で、注目画素の位置だけが異なる複数の候補領域からダークチャネルを求めるのに適切な領域を選択することが可能である。これにより、比較的容易な演算で、注目画素ごとに適切な領域を設定することができる。
【００６１】
また、本発明では、候補領域を、注目画素を右下の頂点とする正方形、注目画素を右上の頂点とする正方形、注目画素を左下の頂点とする正方形、注目画素を左上の頂点とする正方形、注目画素を中心とする正方形、とすることで、簡単な演算で、注目画素ごとに適切な領域を設定することができる。
【００６２】
また、本発明では、画素値の平均値と注目画素の画素値との差の絶対値が小さいとき、前記候補領域と前記注目画素との類似度が高いとする。これにより、注目画素と候補領域との類似度を容易に算出することが可能である。
【００６３】
また、本発明では、ソフトマッティングを用いる代わりに、画素毎にダークチャネルを求めるのに適切な領域を決定して、その領域を用いて求めたダークチャネルから透過率を推定する場合に発生する透過率のノイズを除去し、ノイズ除去後の透過率を用いて画像から霞を除去することで、霞を除去した画像の画質を向上させることができる。
【００６４】
以上、実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。
【００６５】
また、上記実施形態からは種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られるのであればこの構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００６６】
１００…画像処理装置、 ２００…大気光画素値算出部、 ３００…大気光補正部、 ４００…領域算出部、 ５００…最小画素値算出部、 ６００…透過率算出部、 ７００…霞除去画像生成部、 ８００…領域算出部、 ８０１…類似度算出部、 ８０２…最小画素値算出部、 ８０３…領域算出部、 ９００…透過率ノイズ除去部。
【特許請求の範囲】
【請求項１】
入力画像を大気光の画素値で補正する大気光補正部と、
前記入力画像の注目画素に対して、最小画素値を求めるのに適切な領域を算出する領域算出部と、
前記大気光の画素値により補正された入力画像における前記算出された領域内での最小画素値を選択する最小画素値選択部と、
前記最小画素値から前記注目画素の透過率を算出する透過率算出部と、
前記透過率を用いて前記入力画像から霞成分を除去する霞除去画像生成部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記領域算出部は、前記注目画素と複数の候補領域との類似度を算出し、前記類似度が最も大きい候補領域を最小画素値を求めるのに適切な領域として選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域算出部は、画素数の異なる候補領域の最大画素数の領域の前記類似度から最大類似度を算出し、前記最大類似度が所定の閾値以上であれば前記最大類似度を有する候補領域を選択し、前記所定の閾値未満であれば画素数が次に多い領域の前記類似度から最大類似度を算出し、閾値と比較する処理を領域が選択されるまで繰り返すことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記領域算出部は、画素数と形状は一定で、前記注目画素の位置だけが異なる複数の候補領域から最小画素値を求めるのに適切な領域を選択することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記候補領域は、前記注目画素を右下の頂点とする正方形、前記注目画素を右上の頂点とする正方形、前記注目画素を左下の頂点とする正方形、前記注目画素を左上の頂点とする正方形、前記注目画素を中心とする正方形、であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記領域算出部は、前記候補領域内の画素値の平均値と注目画素の画素値との差の絶対値が小さいとき、前記候補領域と前記注目画素との類似度が高いとすることを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記透過率算出部により算出された前記透過率にノイズ除去を施す透過率ノイズ除去部をさらに有し、
前記霞除去画像生成部は、ノイズ除去後の透過率を用いて前記入力画像から霞成分を除去することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
入力画像を大気光の画素値で補正する大気光補正部と、
前記入力画像の注目画素と注目画素の周辺画素との類似度を算出し、最小画素値を求めるのに適切な領域を算出する領域算出部と、
前記大気光の画素値により補正された入力画像における前記算出された領域内での最小画素値を選択する最小画素値選択部と、
前記最小画素値から前記注目画素の透過率を算出する透過率算出部と、
前記透過率を用いて前記入力画像から霞成分を除去する霞除去画像生成部と、
を有することを特徴とする画像処理装置。
【請求項９】
前記領域算出部は、前記類似度を重みとした重心座標を求め、前記周辺画素の類似度と前記重心座標を入力して、類似度を重みとする重み付き共分散行列を計算し、重心座標と重み付き共分散行列と予め与えられた閾値から最小画素値を求めるのに適切な領域を求めることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
入力画像を大気光の画素値で補正するステップと、
前記入力画像の注目画素に対して、最小画素値を求めるのに適切な領域を算出するステップと、
前記大気光の画素値により補正された入力画像における前記算出された領域内での最小画素値を選択するステップと、
前記最小画素値から前記注目画素の透過率を算出するステップと、
前記透過率を用いて前記入力画像から霞成分を除去するステップと、
を有することを特徴とする画像処理方法。
【請求項１１】
前記透過率算出部により算出された前記透前記過率にノイズ除去を施すステップをさらに有し、
ノイズ除去後の透過率を用いて前記入力画像から霞成分を除去することを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
入力画像を大気光の画素値で補正するステップと、
前記入力画像の注目画素に対して、最小画素値を求めるのに適切な領域を算出するステップと、
前記大気光の画素値により補正された入力画像における前記算出された領域内での最小画素値を選択するステップと、
前記最小画素値から前記注目画素の透過率を算出するステップと、
前記透過率を用いて前記入力画像から霞成分を除去するステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【請求項１３】
前記透過率算出部により算出された前記透前記過率にノイズ除去を施すステップをさらに有し、
ノイズ除去後の透過率を用いて前記入力画像から霞成分を除去することを特徴とする請求項１２に記載の画像処理プログラム。
【請求項１】
入力画像を大気光の画素値で補正する大気光補正部と、
前記入力画像の注目画素に対して、最小画素値を求めるのに適切な領域を算出する領域算出部と、
前記大気光の画素値により補正された入力画像における前記算出された領域内での最小画素値を選択する最小画素値選択部と、
前記最小画素値から前記注目画素の透過率を算出する透過率算出部と、
前記透過率を用いて前記入力画像から霞成分を除去する霞除去画像生成部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記領域算出部は、前記注目画素と複数の候補領域との類似度を算出し、前記類似度が最も大きい候補領域を最小画素値を求めるのに適切な領域として選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域算出部は、画素数の異なる候補領域の最大画素数の領域の前記類似度から最大類似度を算出し、前記最大類似度が所定の閾値以上であれば前記最大類似度を有する候補領域を選択し、前記所定の閾値未満であれば画素数が次に多い領域の前記類似度から最大類似度を算出し、閾値と比較する処理を領域が選択されるまで繰り返すことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記領域算出部は、画素数と形状は一定で、前記注目画素の位置だけが異なる複数の候補領域から最小画素値を求めるのに適切な領域を選択することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記候補領域は、前記注目画素を右下の頂点とする正方形、前記注目画素を右上の頂点とする正方形、前記注目画素を左下の頂点とする正方形、前記注目画素を左上の頂点とする正方形、前記注目画素を中心とする正方形、であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記領域算出部は、前記候補領域内の画素値の平均値と注目画素の画素値との差の絶対値が小さいとき、前記候補領域と前記注目画素との類似度が高いとすることを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記透過率算出部により算出された前記透過率にノイズ除去を施す透過率ノイズ除去部をさらに有し、
前記霞除去画像生成部は、ノイズ除去後の透過率を用いて前記入力画像から霞成分を除去することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
入力画像を大気光の画素値で補正する大気光補正部と、
前記入力画像の注目画素と注目画素の周辺画素との類似度を算出し、最小画素値を求めるのに適切な領域を算出する領域算出部と、
前記大気光の画素値により補正された入力画像における前記算出された領域内での最小画素値を選択する最小画素値選択部と、
前記最小画素値から前記注目画素の透過率を算出する透過率算出部と、
前記透過率を用いて前記入力画像から霞成分を除去する霞除去画像生成部と、
を有することを特徴とする画像処理装置。
【請求項９】
前記領域算出部は、前記類似度を重みとした重心座標を求め、前記周辺画素の類似度と前記重心座標を入力して、類似度を重みとする重み付き共分散行列を計算し、重心座標と重み付き共分散行列と予め与えられた閾値から最小画素値を求めるのに適切な領域を求めることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
入力画像を大気光の画素値で補正するステップと、
前記入力画像の注目画素に対して、最小画素値を求めるのに適切な領域を算出するステップと、
前記大気光の画素値により補正された入力画像における前記算出された領域内での最小画素値を選択するステップと、
前記最小画素値から前記注目画素の透過率を算出するステップと、
前記透過率を用いて前記入力画像から霞成分を除去するステップと、
を有することを特徴とする画像処理方法。
【請求項１１】
前記透過率算出部により算出された前記透前記過率にノイズ除去を施すステップをさらに有し、
ノイズ除去後の透過率を用いて前記入力画像から霞成分を除去することを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
入力画像を大気光の画素値で補正するステップと、
前記入力画像の注目画素に対して、最小画素値を求めるのに適切な領域を算出するステップと、
前記大気光の画素値により補正された入力画像における前記算出された領域内での最小画素値を選択するステップと、
前記最小画素値から前記注目画素の透過率を算出するステップと、
前記透過率を用いて前記入力画像から霞成分を除去するステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【請求項１３】
前記透過率算出部により算出された前記透前記過率にノイズ除去を施すステップをさらに有し、
ノイズ除去後の透過率を用いて前記入力画像から霞成分を除去することを特徴とする請求項１２に記載の画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２２１２３７（Ｐ２０１２−２２１２３７Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８６５９９（Ｐ２０１１−８６５９９）
【出願日】平成２３年４月８日（２０１１．４．８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月８日（２０１１．４．８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]