ダイナミックレンジ圧縮装置およびプログラム
【課題】 少ない演算量で、入力画像の元の内容を損なうことなくダイナミックレンジ圧縮を行うことを可能にする。
【解決手段】 可変ゲイン増幅部１３０は、入力画像メモリ１１０内の入力画像の各画素の画素値を可変のゲインにより増幅し、出力画像を構成する各画素の画素値を出力画像メモリ１２０に書き込む。ゲイン制御部１４０は、入力画像を構成する各画素を各々注目画素とし、入力画像において注目画素を含む所定範囲内の画素の平均輝度を算出する一方、入力輝度を出力輝度に対応付けるベース関数に対し、注目画素を含む所定範囲内の画素の平均輝度を入力輝度として与え、これによりベース関数から得られる出力輝度の入力輝度に対する比を注目画素に適用するゲインとして可変ゲイン増幅部１３０に与える。
【解決手段】 可変ゲイン増幅部１３０は、入力画像メモリ１１０内の入力画像の各画素の画素値を可変のゲインにより増幅し、出力画像を構成する各画素の画素値を出力画像メモリ１２０に書き込む。ゲイン制御部１４０は、入力画像を構成する各画素を各々注目画素とし、入力画像において注目画素を含む所定範囲内の画素の平均輝度を算出する一方、入力輝度を出力輝度に対応付けるベース関数に対し、注目画素を含む所定範囲内の画素の平均輝度を入力輝度として与え、これによりベース関数から得られる出力輝度の入力輝度に対する比を注目画素に適用するゲインとして可変ゲイン増幅部１３０に与える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像等のダイナミックレンジ圧縮に好適なダイナミックレンジ圧縮装置およびプログラムに関する。
【背景技術】
【０００２】
近年の撮像素子技術の進歩により、広いダイナミックレンジを持った画像の得られる撮像素子が提供されるようになった。この撮像素子から得られる画像のダイナミックレンジに比べると、一般に表示装置が出力可能な画像のダイナミックレンジは狭い。このため、撮像素子から得られる画像をディスプレイに表示させるに当たっては、画像のダイナミックレンジ圧縮を行うことが必要になる。よく知られているダイナミックレンジ圧縮のための方法として、リニア変換と対数変換がある。ここで、リニア変換は、ダイナミックレンジ圧縮の対象である入力画像の各画素値に対し、１より小さなゲインを乗算することにより、ダイナミックレンジ圧縮後の出力画像の各画素値を算出する方法である。また、対数変換は、次式に従い、入力画像の画素値ｘを、出力画像の画素値ｙに変換する方法である。
ｙ
＝Ｙｍａｘ＊ｌｏｇ（１＋ｘ／（Ｘｍａｘ＊ｄｅｌｔａ））／ｌｏｇ（１＋１／ｄｅｌｔａ）
……（１）
ここで、ｄｅｌｔａは、対数曲線ｙの全体としての傾きを決定するパラメータであり、ｄｅｌｔａが小さくなる程、対数曲線ｙは、より凸な曲線となる。また、“＊”は乗算を示す。
【特許文献１】特開２００６−２２９２７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
図９は、リニア変換および対数変換における変換前の入力画像の各画素の輝度である入力輝度と変換後の出力画像の各画素の輝度である出力輝度との関係を示すものである。図９において、横軸は入力輝度の対数値、縦軸は出力輝度の対数値である。
【０００４】
図９に示すように、リニア変換における入力輝度と出力輝度の関係は、勾配が１の直線によって表される。そして、この直線の横軸方向の位置は、入力輝度に乗じられるゲインにより定まる。図９では、リニア変換の例としてリニア変換１および２が示されているが、左側に示されているリニア変換１は、右側に示されているリニア変換２よりも高いゲインを用いて、入力輝度から出力輝度への変換を行っている。
【０００５】
図９に示すように、ゲインの高いリニア変換１では、入力輝度が高い領域（図９ではＡ部）では、出力輝度が表示装置によって定まる最大値に対してオーバーフローする。このため、出力輝度がオーバーフローしている領域が真っ白になる、いわゆる白飛びが出力画像に表れる。
【０００６】
一方、ゲインの低いリニア変換２では、白飛びを防止することはできるが、入力輝度が低い領域（図９ではＢ部）では、出力輝度が表示装置の表現可能な輝度の下限値を下回る。このため、出力輝度が下限値を下回っている領域が真っ黒になる、いわゆる黒潰れが出力画像に現れる。
【０００７】
対数変換では、リニア変換において発生する白飛びや黒潰れの問題は発生しない。しかし、対数変換では、入力輝度の高い領域（図９ではＣ部）において、入力輝度が変化しているのに出力輝度が殆ど変化しなくなるコントラストの低下が起こる。
【０００８】
このようにリニア変換や対数変換では、入力画像が広いダイナミックレンジを持っている場合に、変換後の出力画像において入力画像の元の内容が損なわれる場合がある（Ａ部、Ｂ部、Ｃ部参照）。
【０００９】
このような不都合が発生する広いダイナミックレンジを持った入力画像の例として、１つの撮像素子により室内と室内の窓越しに見える外の風景を同時に撮像した場合に得られる画像が挙げられる。この場合、室内は輝度が低いのに対し、窓越しに見える外の風景は輝度が高い。このため、撮像素子から得られた画像に対し、例えば対数変換によるダイナミックレンジ圧縮を行うと、出力画像において、輝度の低い室内の画像は見ることができるが、窓越しに見えるはずの外の風景は、白飛びこそ生じないものの、コントラストが低下し、はっきり見えない風景となる。さらに、出力画像において、窓越しに見える外の風景は全体的に白っぽくなり、色の再現性が低下する、という問題が発生する。
【００１０】
以上のように、従来のリニア変換や対数変換では、広いダイナミックレンジを持った入力画像を元の内容を損なうことなく狭いダイナミックレンジの出力画像に変換することは困難であった。また、リニア変換や対数変換以外にもダイナミックレンジ圧縮の方法はあるが、動画処理に耐えうるような少ない演算量で、入力画像の元の内容を損なうことなくダイナミックレンジ圧縮を行うことができる技術は従来提供されていなかった。
【００１１】
この発明は、以上説明した事情に鑑みてなされたものであり、少ない演算量で、入力画像の元の内容を損なうことなくダイナミックレンジ圧縮を行うことを可能にする技術的手段を提供することを目的とする。
【課題を解決するための手段】
【００１２】
この発明は、入力画像を構成する各画素の画素値を指示されたゲインで増幅し、出力画像を構成する各画素の画素値を出力する可変ゲイン増幅手段と、前記入力画像を構成する各画素を各々注目画素とし、前記入力画像において注目画素を含む所定範囲内の画素の平均輝度を算出する一方、入力輝度を出力輝度に対応付けるベース関数に対し、注目画素を含む所定範囲内の画素の平均輝度を入力輝度として与え、これによりベース関数から得られる出力輝度の入力輝度に対する比を注目画素に適用するゲインとして前記可変ゲイン増幅手段に指示するゲイン制御手段とを具備することを特徴とするダイナミックレンジ圧縮装置およびコンピュータを前記各手段として機能させるコンピュータプログラムを提供する。
【００１３】
かかる発明によれば、入力画像を構成する各画素が注目画素とされ、注目画素を含む所定範囲内の画素の平均輝度が入力輝度としてベース関数に与えられ、これによりベース関数から得られる出力輝度の入力輝度に対する比が注目画素に適用するゲインとされる。従って、入力画像がダイナミックレンジの広い画像であり、輝度が大きく異なる複数の領域に分かれている場合に、ダイナミックレンジ圧縮後の各領域の出力輝度はベース関数曲線に沿ったものとなる。また、各領域に着目すると、領域内の各画素を注目画素としたときの各平均輝度はほぼ同じ値になるので、領域内の各画素にはほぼ同じゲインが適用され、リニア変換に近い変換が行われる。従って、各領域内のコントラストが良好な出力画像が得られる。
【００１４】
なお、ダイナミックレンジ圧縮時のコントラスト改善に関する技術として特許文献１に開示のものがある。この特許文献１に開示の技術では、入力画像の各画素値に対し、２次元ＬＰＦ（ローパスフィルタ）処理を施すことにより、高周波成分を除いて、画面のポイント毎の特徴信号を取得し、この特徴信号により白バランス出力信号の入出力特性を変化させて、画面の特徴に最適な入出力特性を得るものである。しかし、この特許文献１に開示の技術は、入力画像を構成する各画素を注目画素とし、注目画素を含む所定範囲内の画素の平均輝度を入力輝度としてベース関数に与え、これによりベース関数から得られる出力輝度の入力輝度に対する比を注目画素に適用するゲインとするものではなく、本発明とは全く異なる技術である。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照し、この発明の一実施形態について説明する。図１は、この発明の一実施形態によるダイナミックレンジ圧縮装置１００の構成を示すブロック図である。このダイナミックレンジ圧縮装置１００は、例えば表示装置を備えたパーソナルコンピュータ等の機器や表示装置自体に実装される装置であり、動画を構成する一連の入力画像の各画素値を例えばカメラから所定のフレームレートで受け取り、フレーム毎に入力画像の各画素値のダイナミックレンジ圧縮を行い、ダイナミックレンジ圧縮後の出力画像の画素値を表示装置に供給する装置である。なお、この発明の実施の態様には、図１に示すダイナミックレンジ圧縮装置１００を専用のハードウェアとして実現する態様の他、コンピュータを図１に示すダイナミックレンジ圧縮装置１００の各部として機能させるコンピュータプログラムとして実現する態様も含まれる。
【００１６】
図１に示すように、ダイナミックレンジ圧縮装置１００は、入力画像メモリ１１０と、出力画像メモリ１２０と、可変ゲイン増幅部１３０と、ゲイン制御部１４０とを有する。ここで、入力画像メモリ１１０は、ダイナミックレンジ圧縮の対象である入力画像の各画素値を記憶するメモリである。カメラから供給される入力画像の各画素値はこの入力画像メモリ１１０に書き込まれる。また、出力画像メモリ１２０は、ダイナミックレンジ圧縮後の出力画像の各画素値を記憶するメモリである。この出力画像メモリ１２０に記憶された出力画像の各画素値が後段の表示装置（図示略）により表示される。可変ゲイン増幅部１３０は、入力画像メモリ１１０から読み出される各画素値を可変のゲインにより増幅する装置である。この可変ゲイン増幅部１３０により増幅された画素値が出力画像の画素値として出力画像メモリ１２０に書き込まれる。
【００１７】
ゲイン制御部１４０は、入力画像メモリに入力画像の各画素値毎に、画素値を増幅する際のゲインを演算し、そのゲインでの画素値の増幅を可変ゲイン増幅部１３０に指示する装置である。このゲイン制御部１４０は、図１に示すように、平均化処理部１４１と、ゲイン算出処理部１４２とを有する。
【００１８】
平均化処理部１４１は、入力画像メモリ１１０に画素値が記憶された入力画像の各画素を各々注目画素とし、入力画像において注目画素を含む所定範囲内の画素の平均輝度を算出する手段である。より具体的には、平均化処理部１４１は、入力画像における第ｉ行、第ｊ列の画素Ｐ（ｉ，ｊ）を注目画素とした場合、まず、この注目画素Ｐ（ｉ、ｊ）を中心としたＭ×Ｍ画素（Ｍは２以上の整数）の範囲内の各画素Ｐ（ｕ、ｖ）（ただし、ｕは行番号ｉを中心とした幅Ｍの範囲内の行番号、ｖは列番号ｊを中心とした幅Ｍの範囲内の列番号である。）の輝度Ｙｉｎ（ｕ、ｖ）を算出する。ここで、入力画像がモノクロ画像である場合は、各画素値をそのまま輝度Ｙｉｎ（ｕ、ｖ）とする。また、入力画像がカラー画像であり、各画素の画素値がＲ、Ｇ、Ｂの成分を持つ場合には、Ｒ、Ｇ、Ｂの成分に所定の重み係数を乗算して加算することにより輝度Ｙｉｎ（ｕ、ｖ）を算出する。そして、Ｍ×Ｍ画素の範囲内の各画素Ｐ（ｕ、ｖ）の輝度Ｙｉｎ（ｕ、ｖ）のうち注目画素Ｐ（ｉ、ｊ）の輝度Ｙｉｎ（ｉ、ｊ）を基準とした所定範囲内の輝度、より具体的には１／ｋ１＜Ｙｉｎ（ｕ、ｖ）／Ｙｉｎ（ｉ、ｊ）＜ｋ２を満たす輝度Ｙｉｎ（ｕ、ｖ）のみを平均化し、注目画素Ｐ（ｉ、ｊ）を中心としたＭ×Ｍ画素の範囲内の各画素の平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）を算出する。ただし、ｋ１およびｋ２は、所定のパラメータである。なお、注目画素Ｐ（ｉ、ｊ）が入力画像を囲う上下左右の各辺近傍にある場合には、注目画素Ｐ（ｉ、ｊ）を中心としたＭ×Ｍ画素の範囲が入力画像の上下左右のいずれかの辺からはみ出る場合がある。勿論、この場合には、Ｍ×Ｍ画素の範囲のうち入力画像の上下左右の各辺の内側に収まっている画素のみが平均化処理の対象となる。
【００１９】
図２は、Ｍ＝５である場合を例に平均化処理部１４１の処理内容を例示する図である。図示の例では、入力画像において、ある境界において画素の輝度が大きく変化しており、白丸は境界の一方の側の輝度の高い画素群を、黒丸は境界の他方の側の輝度の低い画素群を各々示している。
【００２０】
このような入力画像において、画素Ｐ（ｉ、ｊａ）が注目画素である場合、この注目画素Ｐ（ｉ、ｊａ）を中心とした５×５画素の範囲内の各画素Ｐ（ｕ、ｖ）は全て輝度が高い画素群の画素（白丸の画素）である。そして、この例では、５×５画素の範囲内の各画素Ｐ（ｕ、ｖ）の輝度Ｙｉｎ（ｕ、ｖ）と注目画素Ｐ（ｉ、ｊａ）の輝度Ｙｉｎ（ｉ、ｊａ）は、１／ｋ１＜Ｙｉｎ（ｕ、ｖ）／Ｙｉｎ（ｉ、ｊａ）＜ｋ２なる関係を満たす。従って、画素Ｐ（ｉ、ｊａ）が注目画素である場合には、注目画素Ｐ（ｉ、ｊａ）を中心とした５×５画素の範囲内の全ての画素Ｐ（ｕ、ｖ）の輝度Ｙｉｎ（ｕ、ｖ）を平均化することにより平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊａ）が算出される。
【００２１】
また、画素Ｐ（ｉ、ｊｂ）が注目画素である場合に、この注目画素Ｐ（ｉ、ｊｂ）を中心とした５×５画素の範囲内には輝度の高い画素群の画素（白丸の画素）と輝度の低い画素群の画素（黒丸の画素）とが含まれる。そして、注目画素Ｐ（ｉ、ｊｂ）自体は、輝度の高い画素（白丸の画素）である。このため、注目画素Ｐ（ｉ、ｊｂ）を中心とした５×５画素の範囲内のうち輝度の高い画素Ｐ（ｕ、ｖ）（白丸の画素）の輝度Ｙｉｎ（ｕ、ｖ）のみが１／ｋ１＜Ｙｉｎ（ｕ、ｖ）／Ｙｉｎ（ｉ、ｊｂ）＜ｋ２なる関係を満たし、これらの画素Ｐ（ｕ、ｖ）（白丸の画素）の輝度Ｙｉｎ（ｕ、ｖ）のみを平均化することにより平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊｂ）が算出される。
【００２２】
画素（ｉ、ｊｂ）の左隣の画素Ｐ（ｉ、ｊｃ）が注目画素である場合、この注目画素Ｐ（ｉ、ｊｃ）を中心とした５×５画素の範囲内にも輝度の高い画素群の画素（白丸の画素）と輝度の低い画素群の画素とが含まれる。しかし、注目画素Ｐ（ｉ、ｊｃ）自体は、輝度の低い画素（黒丸の画素）である。このため、注目画素Ｐ（ｉ、ｊｃ）を中心とした５×５画素の範囲内のうち輝度の低い画素Ｐ（ｕ、ｖ）（黒丸の画素）の輝度Ｙｉｎ（ｕ、ｖ）のみが１／ｋ１＜Ｙｉｎ（ｕ、ｖ）／Ｙｉｎ（ｉ、ｊｃ）＜ｋ２なる関係を満たし、これらの画素Ｐ（ｕ、ｖ）（黒丸の画素）の輝度Ｙｉｎ（ｕ、ｖ）のみを平均化することにより平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊｃ）が算出される。
【００２３】
このように、平均化処理部１４１は、注目画素Ｐ（ｉ、ｊ）の輝度Ｙｉｎ（ｉ、ｊ）を基準とした所定の範囲内の輝度Ｙｉｎ（ｕ、ｖ）のみを用いて平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）を算出する。このため、注目画素Ｐ（ｉ、ｊ）の近傍に輝度が大きく変化する境界があっても、算出される平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）が注目画素Ｐ（ｉ、ｊ）の輝度Ｙｉｎ（ｉ、ｊ）から大きく外れることはなく、平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）は注目画素Ｐ（ｉ、ｊ）の輝度Ｙｉｎ（ｉ、ｊ）に近い値となる。そして、入力画像を各々輝度の近い画素群からなる複数の領域に分けることができるような場合には、各領域に着目すると、領域内の各画素Ｐ（ｉ、ｊ）を注目画素としたときの各平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）は互いに接近した値となる。領域内の各画素Ｐ（ｉ、ｊ）を注目画素とした平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）の算出処理では、領域外の画素の輝度が平均化の対象から除外されるからである。
【００２４】
ゲイン算出処理部１４２は、入力画像を構成する画素Ｐ（ｉ、ｊ）毎に可変ゲイン増幅部１３０に指示する増幅用のゲインを算出する手段である。このゲイン算出処理部１４２は、次式に示すように、平均化処理部１４１が入力画像を構成する各画素Ｐ（ｉ、ｊ）を注目画素として算出した各平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）と、所定のベース関数ｙ＝ｆ（ｘ）とを用いることにより、入力画像を構成する画素Ｐ（ｉ、ｊ）毎に、画素Ｐ（ｉ、ｊ）に適用するゲインＧ（ｉ、ｊ）を算出する。
Ｇ（ｉ、ｊ）
＝ｆ（Ｙｉｎ＿ａｖ（ｉ、ｊ））／Ｙｉｎ＿ａｖ（ｉ、ｊ） ……（２）
【００２５】
ここで、ベース関数ｙ＝ｆ（ｘ）は、独立変数ｘの対数値に対する従属変数ｙの対数値の勾配が１より小さい関数である。このベース関数ｙ＝ｆ（ｘ）として好適な例を示すと次の通りである。
＜例１＞
ｙ
＝ｆ（ｘ）
＝０．５＊Ｙｍａｘ＊ｌｏｇ（１＋ｘ／（Ｘｍａｘ＊ｄｅｌｔａ））
／ｌｏｇ（１＋１／ｄｅｌｔａ） ……（３）
このベース関数ｙ＝ｆ（ｘ）は、対数関数である。ここで、ｄｅｌｔａは例えば０．００１である。
＜例２＞
ｙ
＝ｆ（ｘ）
＝１６＊ｘ＾０．４ ……（４）
ここで、“＾”はべき乗を示す。
【００２６】
可変ゲイン増幅部１３０は、入力画像メモリ１１０に記憶された各画素Ｐ（ｉ、ｊ）の画素値に対し、ゲイン算出処理部１４２により算出された各画素Ｐ（ｉ、ｊ）に対応したゲインＧ（ｉ、ｊ）を各々乗算し、各乗算結果を出力画像の各画素値として出力画像メモリ１２０に書き込む手段である。
以上が本実施形態によるダイナミックレンジ変換装置１００の構成の詳細である。
【００２７】
図３は、本実施形態によるダイナミックレンジ圧縮装置１００のダイナミックレンジ圧縮特性を示す図である。図３において、横軸は入力画像の各画素の輝度Ｙｉｎ（ｉ、ｊ）の対数値、縦軸はダイナミックレンジ圧縮後の出力画像の各画素の輝度Ｙｏｕｔ（ｉ、ｊ）の対数値である。なお、図３では、本実施形態の従来技術との相違を明らかにするため、前掲図９のリニア変換１および２と対数変換のダイナミックレンジ圧縮特性が併せて図示されている。
【００２８】
図３において、ベース関数ｆ（ｘ）は、例えば前掲式（３）で表されるような対数関数である。上述したように、本実施形態では、入力画像を構成する各画素Ｐ（ｉ、ｊ）を注目画素とした場合において、前掲式（２）に示すように、注目画素Ｐ（ｉ、ｊ）を含む所定範囲内の画素の平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）を入力輝度ｘとしてベース関数ｆ（ｘ）に与え、これによりベース関数から得られる出力輝度ｆ（Ｙｉｎ＿ａｖ（ｉ、ｊ））の入力輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）に対する比が注目画素Ｐ（ｉ、ｊ）に適用されるゲインＧ（ｉ、ｊ）となる。すなわち、各注目画素Ｐ（ｉ、ｊ）に適用されるゲインＧ（ｉ、ｊ）は、その注目画素Ｐ（ｉ、ｊ）を中心とした所定範囲内の画素の平均輝度により決定される。このため、例えば前掲図２のように、入力画像がある境界において輝度の高い領域（白丸画素の領域）と輝度の低い領域（黒丸画素の領域）に分かれている場合、本実施形態によるダイナミックレンジ圧縮では、次のようなことが起こる。
【００２９】
まず、入力画像において輝度の高い領域では、領域内の各画素Ｐ（ｉ、ｊ）を注目画素とした場合の各平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）が互いに接近した値であると、各画素Ｐ（ｉ、ｊ）にはほぼ同じゲインが適用される。このため、入力画像において輝度の高い領域の各画素Ｐ（ｉ、ｊ）（白丸画素）についての入力輝度Ｙｉｎ（ｉ、ｊ）と出力輝度Ｙｏｕｔ（ｉ、ｊ）＝Ｇ（ｉ、ｊ）＊Ｙｉｎ（ｉ、ｊ）の組を示すプロットは、ベース関数ｆ（ｘ）上の当該領域（輝度の高い領域）の平均輝度に対応した点を通過し、勾配が１である直線上に分布する。一方、輝度の低い領域でも、領域内の各画素Ｐ（ｉ、ｊ）を注目画素とした場合の各平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）が互いに接近した値であると、各画素Ｐ（ｉ、ｊ）にはほぼ同じゲインが適用される。このため、入力画像において輝度の低い領域の各画素Ｐ（ｉ、ｊ）（黒丸画素）についての入力輝度Ｙｉｎ（ｉ、ｊ）と出力輝度Ｙｏｕｔ（ｉ、ｊ）＝Ｇ（ｉ、ｊ）＊Ｙｉｎ（ｉ、ｊ）の組を示すプロットも、ベース関数ｆ（ｘ）上の当該領域（輝度の低い領域）の平均輝度に対応した点を通過し、傾きが１である直線上に分布する。
【００３０】
以上、説明を簡単にするため、入力画像が輝度の高い領域と輝度の低い領域に分かれている場合を例に説明したが、入力画像が輝度の大きく異なった３つ以上の領域に分かれている場合についても同様である。本実施形態によれば、入力画像のダイナミックレンジが広く、入力画像が輝度の大きく異なる複数の領域に分かれている場合に、各領域に着目すると、その領域内の各画素の入力輝度と出力輝度の組を示すプロット群は、その領域内の各画素の平均輝度とこの平均輝度をベース関数に入力輝度として与えることにより得られる出力輝度の組を中心に分布する。従って、ダイナミックレンジ圧縮における入力輝度と出力輝度の組は、大局的に見ると、ベース関数曲線に沿ったものとなり、ダイナミックレンジ圧縮において白飛びや黒潰れが発生しない。
【００３１】
また、本実施形態によれば、入力画像のダイナミックレンジが広く、入力画像が輝度の大きく異なる複数の領域に分かれている場合であっても、各領域に着目すると、領域内の各画素間の入力輝度に変化がある場合に、その変化は両対数グラフ上において傾きが１の直線に沿った出力輝度の変化となって現れる。すなわち、領域内の各画素に対応した平均輝度が同じまたは近似しているような領域では、領域内の各画素についてのダイナミックレンジ圧縮として、リニア変換に近い変換が行われる。例えば図３において、右側に描かれた傾き１の直線上にプロットされる全ての画素は、平均輝度ａに近い輝度を有している。また、ベース関数ｆ（ｘ）において、この平均輝度に対応した関数値ｆ（ａ）はｂである。従って、この直線上にプロットされる各画素には、Ｇ＝ｂ／ａなるゲインが適用される。すなわち、この直線上にプロットされる各画素のうち平均輝度ａから隔たった輝度ａ’を有する画素にもこのゲインＧが適用され、この画素の輝度ｂ’は、ｂ’＝（ｂ／ａ）ａ’となる。図３において、左側に描かれた傾き１の直線上にプロットされる各画素についても同様である。従って、入力画像が輝度の大きく異なる複数の領域に分かれている場合に、出力画像では領域毎に高いコントラストを得ることができる。この場合において、例えば入力画像において輝度の高い領域内の一部の画素のダイナミックレンジ圧縮後の出力輝度が、入力画像において輝度の低い領域内の一部の画素のダイナミックレンジ圧縮後の出力輝度よりも低くなる逆転現象が生じることがある。しかし、人間の視覚は、ある程度離れた２点の輝度差を正確に認知することが困難である。従って、このような逆転現象が生じたとしても、ダイナミックレンジ圧縮後の出力画像を視認する者に大きな違和感を与えることはない。
【００３２】
また、本実施形態によれば、注目画素を中心とした所定範囲内の画素の平均輝度を求めるに当たり、注目画素の輝度から所定範囲内の輝度のみを平均化の対象としている。従って、入力画像において注目画素の近傍に輝度が大きく変化する境界がある場合に、その注目画素に対応した平均輝度をその境界の外側の画素の輝度の影響を受けない適正な値にすることができ、注目画素に適用するゲインを適正なものにすることができる。仮に注目画素を中心とした所定範囲内の画素の平均輝度を求めるに当たり、所定範囲内の全ての画素の輝度を平均化の対象にしたとすると、その所定範囲内を輝度が大きく変化する境界が含まれている場合に次の不具合が生じる。まず、注目画素の輝度が高いが所定範囲内に輝度がかなり低い画素が含まれている場合には、注目画素の輝度に対して平均輝度が顕著に低くなるため、前掲図３のダイナミックレンジ圧縮特性において注目画素のプロットが乗る勾配１の直線が左側にシフトし、注目画素の輝度に対応した変換後の輝度がより高い値となる。一方、注目画素の輝度が低いが所定範囲内に輝度がかなり高い画素が含まれている場合には、注目画素の輝度に対して平均輝度が顕著に高くなるため、前掲図３のダイナミックレンジ圧縮特性において注目画素のプロットが乗る勾配１の直線が右側にシフトし、注目画素の輝度に対応した変換後の輝度がより低い値となる。従って、入力画像に輝度が大きく変化する境界部があると、出力画像では、輝度が高い部分は輝度がより高くなり、輝度が低い部分は輝度がより低くなり、輝度の変化が不自然に強調され、境界から離れるとその症状がなくなる。これに対し、本実施形態では、注目画素を中心とした所定範囲内の画素の平均輝度を求めるに当たり、注目画素の輝度から所定範囲内の輝度のみを平均化の対象としている。従って、このような不具合は生じない。
【００３３】
次に図４および図５を参照し、本実施形態の効果をさらに具体的に説明する。図４は、本実施形態によるダイナミックレンジ圧縮の対象となる入力画像の例を示すものである。この例において、入力画像は、あるビルの中の室内の風景の画像である。入力画像において、室内には窓があり、この窓の手前には額が立て掛けてある。また、窓越しに外の風景とビルの外壁が見えている。図５において、Ｙｉｎは、図４に示す入力画像においてＸ軸上の並んだ一行分の画素の入力輝度を示す。図４において、Ｘ軸上の一連の画素を左から順に見ると、まず、窓越しに見える外の風景を示す画素領域Ａ１があり、次に額を示す画素領域Ａ２があり、次に窓越しに見える外の風景を示す画素領域Ａ３があり、次に窓越しに見えるビルの外壁を示す画素領域Ａ４があり、次に室内の壁を示す画素領域Ａ５がある。図５にも、これらの画素領域Ａ１〜Ａ５を示した。
【００３４】
図５に示すように、窓越しに見える外の風景の画素領域Ａ１およびＡ３の各画素の入力輝度Ｙｉｎは、各画素領域内において細かな起伏があるものの各画素を注目画素とした平均輝度Ｙｉｎ＿ａｖは総じて高く、各画素領域内における画素間の平均輝度Ｙｉｎ＿ａｖの変動は少ない。また、額の画素領域Ａ２や壁の画素領域Ａ５の各画素の入力輝度Ｙｉｎは、各画素領域内において小さな起伏があるものの各画素を注目画素とした平均輝度Ｙｉｎ＿ａｖは総じて低く、画素領域内の各画素間の平均輝度Ｙｉｎ＿ａｖの変動は少ない。このため、画素領域Ａ１、Ａ２、Ａ３、Ａ５については、各画素領域毎の平均輝度により定まるゲインが適用される。
【００３５】
本実施形態では、全体としてベース関数曲線に沿うようにダイナミックレンジ圧縮が行われるため、出力画像における画素領域Ａ１、Ａ２、Ａ３、Ａ５の各間の出力輝度Ｙｏｕｔの差は、入力画像における画素領域Ａ１、Ａ２、Ａ３、Ａ５の各間の入力輝度Ｙｉｎの差よりも小さくなる。しかしながら、画素領域Ａ１、Ａ２、Ａ３、Ａ５の各画素領域内の画素に着目すると、各画素領域内では、各画素にほぼ同じゲインが適用され、リニア変換に近い変換が行われる。このため、各画素領域に着目すると、入力画像が持っていた画素間の入力輝度Ｙｉｎの起伏が損なわれることなく、出力画像の画素間の出力輝度Ｙｏｕｔの起伏となって反映される。従って、出力画像では、窓越しに外に風景がはっきりと見え、額に描かれた絵もはっきりと見え、壁の表面状態もはっきりと分かる、という具合に各領域毎に良好なコントラストが得られる。
【００３６】
参考のため、図５には、図４のＸ軸上の入力画像の各画素に対し、従来の対数変換によるダイナミックレンジ圧縮を行った場合に得られる出力画像の各画素の出力輝度Ｙｏｕｔ’を示した。図示のように、対数変換を行った場合には、特に入力輝度が高い画素領域Ａ１およびＡ３において画素に適用されるゲインが著しく低くなるため、入力画像の画素間の入力輝度Ｙｉｎの差がある箇所でも、出力画像では、出力輝度Ｙｏｕｔ’の画素間の差が極端に低下し、コントラストが著しく低下する。これに対し、本実施形態では、このような不具合は生じず、入力輝度Ｙｉｎの高い領域、入力輝度Ｙｉｎの低い領域のいずれにおいても、良好なコントラストを持った出力画像が得られる。
【００３７】
＜第２実施形態＞
上記第１実施形態では、注目画素Ｐ（ｉ、ｊ）を含むＭ×Ｍ画素の範囲の画素の輝度Ｙｉｎ（ｕ、ｖ）を平均化して平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）を算出した。この場合、Ｍの値を大きくすると、平均化の対象となる画素の範囲が広がるので、同じ平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）を共有する注目画素Ｐ（ｉ、ｊ）の入力画像平面内での範囲が広がるとともに、それらの注目画素Ｐ（ｉ、ｊ）の入力輝度Ｙｉｎ（ｉ、ｊ）の範囲が広くなる。このため、前掲図３のダイナミックレンジ圧縮特性では、ベース関数曲線と交差する傾きが１の一本の直線上にプロットされる入力輝度Ｙｉｎ（ｉ、ｊ）および出力輝度Ｙｏｕｔ（ｉ、ｊ）の組数（すなわち、画素Ｐ（ｉ、ｊ）の個数）が増える。従って、出力画像のコントラストが上昇する。これに対し、Ｍの値を小さくすると、平均化の対象となる画素の範囲が狭くなるので、同じ平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）を共有する注目画素Ｐ（ｉ、ｊ）の入力画像平面内での範囲が狭くなるとともに、それらの注目画素Ｐ（ｉ、ｊ）の入力輝度Ｙｉｎ（ｉ、ｊ）の範囲が狭くなる。このため、前掲図３のダイナミックレンジ圧縮特性では、ベース関数曲線と交差する傾きが１の一本の直線が多数発生し、かつ、それらの直線上にプロットされる入力輝度Ｙｉｎ（ｉ、ｊ）および出力輝度Ｙｏｕｔ（ｉ、ｊ）の組数（すなわち、画素Ｐ（ｉ、ｊ）の個数）は少なくなる。従って、Ｍの値が大きい場合に比べ、出力画像のコントラストが低下する。このように、良好なコントラストを得るためには、Ｍの値は大きい方が良い。しかし、Ｍの値を大きくすると、平均化の対象となる画素数Ｍ×Ｍが急激に大きくなり、演算の処理負荷が増大し、リアルタイムでのダイナミックレンジ圧縮が難しくなる。本実施形態は、以上の点に鑑み、少ない演算量で、広い範囲を平均化の対象として平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）の算出を行うことを可能にしたものである。
【００３８】
以下、図６および図７を参照し、本実施形態における平均化処理部１４１（図１参照）の処理内容を説明する。なお、図６および図７では、図面が煩雑になるのを防ぐため、入力画像を構成する各画素Ｐ（ｉ、ｊ）（ｉ＝１、２、〜、ｊ＝１、２、〜）のうち第ｊｘ列の画素Ｐ（ｉ、ｊ）（ｉ＝１、２、〜、ｊ＝ｊｘ）のみの処理過程が図示されている。また、これらの図において、白丸は輝度の高い画素、黒丸は輝度の低い画素である。
【００３９】
本実施形態における平均化処理部１４１は、以下説明する各過程を実行する。
＜＜輝度行列生成過程＞＞
この輝度行列生成過程では、入力画像の各画素Ｐ（ｉ、ｊ）（ｉ＝１、２、〜、ｊ＝１、２、〜）の入力輝度Ｙｉｎ（ｉ、ｊ）（ｉ＝１、２、〜、ｊ＝１、２、〜）を要素とする輝度行列を生成する。図６において、Ｌ０列に示された白丸および黒丸は、この輝度行列生成過程により生成された輝度行列の第ｊｘ列の各要素である。
【００４０】
＜＜ダウンサンプリング過程＞＞
このダウンサンプリング過程では、先行する過程において得られた輝度行列を処理対象とし、処理対象である輝度行列を、処理対象である輝度行列において離散的に分布した各要素を注目要素とし、各注目要素に対応した平均輝度であって、各注目要素を中心とした所定範囲内の各要素が示す輝度のうち当該注目要素が示す輝度に近い輝度がより寄与の度合いが高く反映された平均輝度を要素とする輝度行列に変換する。このダウンサンプリング過程には、各種の態様が考えられるが、本実施形態におけるダウンサンプリング過程は次の２つの過程からなる。
【００４１】
＜＜＜平均化過程＞＞＞
この平均化過程では、処理対象である輝度行列の各要素を注目要素とし、注目要素を含む所定範囲内に位置する要素であって、注目要素を基準とした所定範囲内の値を持つ要素のみを平均化した平均輝度を算出し、平均輝度を要素とする輝度行列を生成する。図６に示す例では、注目要素を中心とする５×５要素の範囲を平均化の対象範囲としている。図６において、Ｌ０’列の白丸および黒丸は、輝度行列生成過程により得られた輝度行列に平均化過程の平均化処理を施すことにより得られた輝度行列の第ｊｘ列の各要素である。
【００４２】
第１実施形態と同様、平均化過程では、注目要素を含む５×５要素の範囲内の各要素のうち注目要素を基準とした所定範囲内の値を持つもののみが平均化の対象となる。従って、図６に示す例において、第ｉａ行第ｊｘ列の注目要素に対応した平均輝度を算出するに当たり、第ｉａ−２行第ｊｘ列〜第ｉａ＋２行第ｊｘ列までの５要素は、平均化の対象に含まれる。しかし、第ｉｂ行第ｊｘ列の注目要素に対応した平均輝度を算出するに当たり、第ｉｂ−２行第ｊｘ列〜第ｉｂ行第ｊｘ列までの３要素は平均化の対象に含まれるが、第ｉｂ＋１行第ｊｘ列〜第ｉｂ＋２行第ｊｘ列までの２要素は平均化の対象に含まれない。また、第ｉｂ＋１行第ｊｘ列の注目要素に対応した平均輝度を算出するに当たり、第ｉｂ＋１行第ｊｘ列〜第ｉｂ＋３行第ｊｘ列までの３要素は平均化の対象に含まれるが、第ｉｂ−１行第ｊｘ列〜第ｉｂ行第ｊｘ列までの２要素は平均化の対象に含まれない。
【００４３】
＜＜＜間引き過程＞＞＞
この間引き過程では、平均化過程において得られた輝度行列を行方向および列方向に間引き、行数および列数が半分の輝度行列を生成する。この例では、輝度行列における偶数行の要素および偶数列の要素を間引いている。また、この例では、第ｊｘ列の要素は、間引き過程において間引きの対象にならない列であることを前提としている。図６において、Ｌ１列は、Ｌ０’列に示された輝度行列を間引き過程において間引くことにより得られた輝度行列の第ｊｘ列の各要素である。この例では、間引き過程での間引きにより、輝度の高い領域と輝度の低い領域の境界にある第ｉｂ＋１行第ｊｘ列の要素（黒丸の要素）が失われている。
【００４４】
以上述べたダウンサンプリング過程は複数回繰り返される。図６に示す例では、ダウンサンプリング過程を構成する平均化過程および間引き過程が４回繰り返されている。列Ｌ０から列Ｌ０’への遷移が１回目の平均化過程、列Ｌ０’から列Ｌ１への遷移が１回目の間引き過程、列Ｌ１から列Ｌ１’への遷移が２回目の平均化過程、列Ｌ１’から列Ｌ２への遷移が２回目の間引き過程、列Ｌ２から列Ｌ２’への遷移が３回目の平均化過程、列Ｌ２’から列Ｌ３への遷移が３回目の間引き過程、列Ｌ３から列Ｌ３’への遷移が４回目の平均化過程、列Ｌ３’から列Ｌ４への遷移が４回目の間引き過程である。このように４回に亙ってダウンサンプリング過程が繰り返される結果、入力画像において各要素に対応した位置の分布の密度が順次低くなる４個の輝度行列が順次生成される。具体的には、例えば入力画像から６４０×４８０要素の輝度行列が得られたとすると、この輝度行列は、３２０×２４０要素、１６０×１２０要素、８０×６０要素の各輝度行列に順次変換され、最後に４０×３０要素の輝度行列に変換される（Ｌ４列）。ここで、最終的に得られた輝度行列の各要素は、入力画像における要素の分布密度を低下させつつ各要素を中心とする所定範囲の要素を平均化する操作、具体的には５×５要素の範囲内の平均化を行って半分に間引くという操作を４回に亙って階層的に行った結果であるので、最終的に得られた輝度行列の各要素は、元の入力画像から得られた輝度行列において、５×５要素よりも広い範囲の要素を平均化したものとなる。しかし、ダウンサンプリング過程は、間引き過程を含むため、輝度行列の変換が繰り返されるに従い、輝度行列において輝度が大きく変化する境界が、元の入力画像において輝度が大きく変化する境界から次第にずれてゆく。
【００４５】
このような輝度の境界のずれをなくし、元の入力画像が持っていた輝度の境界を再現するために、平均化処理部１４１は、以下説明するアップサンプリング過程を、ダウンサンプリング過程の繰り返し回数と同じ回数だけ繰り返す。図７は、このアップサンプリング過程が繰り返される過程を示している。なお、この図では、先行する過程とのつながりを分かりやすくするため、前掲図６におけるＬ０〜Ｌ４の各列の内容が併せて示されている。
【００４６】
＜＜アップサンプリング過程＞＞
アップサンプリング過程では、先行する過程において得られた輝度行列を処理対象とし、処理対象である輝度行列を、入力画像における各要素に対応した位置の分布の密度がより高い輝度行列に変換する。さらに詳述すると、アップサンプリング過程では、変換後の輝度行列の各要素を算出するに当たり、輝度行列生成過程において生成された輝度行列の各要素のうち入力画像において算出対象である要素と同じ位置を占める要素を基準要素とし、処理対象である輝度行列において算出対象である要素に対応した位置を中心とした所定範囲内に属する各要素が示す各輝度のうち算出対象である要素に対応した基準要素が示す輝度に近い輝度がより寄与の度合いが高く反映された平均輝度を算出し、変換後の輝度行列の要素とする。
アップサンプリング過程には各種の態様が考えられるが、本実施形態におけるアップサンプリング過程は次の過程からなる。
【００４７】
＜＜＜補充過程＞＞＞
この補充過程では、処理対象である輝度行列において各要素のコピーを行方向隣、列方向隣、行方向および列方向隣に補充することにより行数および列数が２倍の輝度行列を生成する。１回目の補充過程では、最終回の間引き過程において得られた輝度行列が処理対象となる。２回目以降の補充過程では、後述する平均化過程（アップサンプリング過程の平均化過程）において得られた輝度行列が処理対象となる。図７において、Ｌ３ａ列は、最終回の間引き過程において得られた輝度行列に１回目の補充過程の処理を施すことにより得られた輝度行列の第ｊｘ列の要素である。また、図７において、白三角は、白丸により示す高い輝度の要素をコピーすることにより輝度行列に補充された要素、黒三角は、黒丸により示す低い輝度の要素をコピーすることにより輝度行列に補充された要素である。
【００４８】
＜＜＜平均化過程＞＞＞
この平均化過程においては、補充過程において得られた輝度行列の各要素を注目要素とし、輝度行列生成過程において得られた輝度行列の要素であって、入力画像において注目要素に相当する位置を占める画素を基準要素とし、補充過程において得られた輝度行列において注目要素を含む所定範囲（この例では５×５要素の範囲）内に位置する要素のうち基準要素を基準とした所定範囲内の値を持つ要素を平均化した平均輝度を算出し、平均輝度を要素とする輝度行列を生成する。
【００４９】
図７において、Ｌ３ｂ列に示す白丸または黒丸は、１回目の補充過程において得られた輝度行列（Ｌ３ａ列）に対し、１回目の平均化過程の処理を施すことにより得られた輝度行列の第ｊｘ列の要素である。
【００５０】
Ｌ３ａ列に示す輝度行列において、上側にある白三角で示す要素Ｙｔ１が注目要素である場合、輝度行列生成過程において得られた輝度行列の要素であって、入力画像において注目要素Ｙｔ１に相当する位置を占める画素の輝度を示す要素である基準要素は、Ｌ０列に示す第ｉａ行第ｊｘ列の要素Ｙｒ１である。この例では、他からのコピーである注目画素Ｙｔ１が輝度の高い要素であり、一方、この注目要素Ｙｔ１に対応した基準要素Ｙｒ１も輝度の高い要素である。このため、注目画素Ｙｔ１に対応した平均輝度の算出では、先行する補充過程において得られた輝度行列において注目要素Ｙｔ１を含む５×５要素の範囲内に位置する要素のうち基準要素Ｙｒ１を基準とした所定範囲内の値を持つ要素、例えばＬ３ａ列に示す要素Ｙｔ１、Ｙｔ２、Ｙｔ３、Ｙｔ４が平均化の対象に含まれる。
【００５１】
これに対し、Ｌ３ａ列の最も下に記した白三角の要素Ｙｔ４が注目要素である場合、輝度行列生成過程において得られた輝度行列の要素であって、入力画像において注目要素Ｙｔ４に相当する位置を占める画素の輝度を示す要素である基準要素は、Ｌ０列に示す第ｉｂ＋６行第ｊｘ列の要素Ｙｒ４である。この例では、他からのコピーである注目画素Ｙｔ４が輝度の高い要素であるのに対し、この注目要素Ｙｔ４に対応した基準要素Ｙｒ４は輝度の低い要素である。このため、この例では、注目要素Ｙｔ４は、基準要素Ｙｒ４に比べて輝度が高いために平均化の対象に含まれない。なお、注目要素Ｙｔ４を含む５×５要素の範囲内の各要素の中に基準要素Ｙｒ４を基準とした所定範囲内の要素があれば、その要素が平均化の対象に含まれることとなる。
【００５２】
平均化処理部１４１は、以上の補充過程および平均化過程からなるアップサンプリング過程をダウンサンプリング過程の繰り返し回数と同じ回数だけ繰り返す。図７に示す例では、補充過程および平均化過程からなるアップサンプリング過程が４回繰り返されている。列Ｌ４から列Ｌ３ａへの遷移が１回目の補充過程、列Ｌ３ａから列Ｌ３ｂへの遷移が１回目の平均化過程、列Ｌ３ｂから列Ｌ２ａへの遷移が２回目の補充過程、列Ｌ２ａから列Ｌ２ｂへの遷移が２回目の平均化過程、列Ｌ２ｂから列Ｌ１ａへの遷移が３回目の補充過程、列Ｌ１ａから列Ｌ１ｂへの遷移が３回目の平均化過程、列Ｌ１ｂから列Ｌ０ａへの遷移が４回目の補充過程、列Ｌ０ａから列Ｌ０ｂへの遷移が４回目の平均化過程である。このように４回に亙ってアップサンプリング過程が繰り返される結果、例えば４０×３０要素の輝度行列が元の入力画像から得られた６４０×４８０要素の輝度行列の要素を基準要素として参照することにより順次詳細化され、輝度行列において輝度が大きく変化する境界が次第に正確なものに戻り、５×５要素の範囲よりも広い範囲の画素の輝度を平均化した平均輝度を要素とする６４０×４８０要素の輝度行列（すなわち、入力画像における各要素に対応した密度が輝度行列生成過程において生成された輝度行列と同じである輝度行列）が得られる。ゲイン算出処理部１４２は、このようにして得られた輝度行列に基づき、入力画像の各画素に適用するゲインを算出する。この場合のゲインの算出方法は上記第１実施形態と同様である。
【００５３】
本実施形態によれば、少ない演算量で、広い範囲に亙る平均輝度を注目画素毎に算出することができ、演算負担を掛けることなく出力画像のコントラストを高めることができる。
【００５４】
＜他の実施形態＞
以上、この発明の一実施形態を説明したが、この発明には、他にも各種の実施形態が考えられる。例えば次の通りである。
【００５５】
（１）上記各実施形態において平均化処理部１４１は、注目画素を含む所定範囲内の画素の輝度のうち注目画素の輝度を基準とする所定範囲内の輝度のみを平均化の対象としたが、注目画素の輝度からのずれに応じた重み係数を用いて、注目画素を含む所定範囲内の画素の輝度の荷重平均を求め、これを平均輝度としてもよい。例えば図８に例示するように、注目画素の輝度Ｙｉｎ（ｉ、ｊ）に対するＭ×Ｍ画素の範囲内の画素の輝度Ｙｉｎ（ｕ、ｖ）の比Ｙｉｎ（ｕ、ｖ）／Ｙｉｎ（ｉ、ｊ）が１／ｋ１を跨いで増加する過程において０から１まで緩やかに立ち上がり、比Ｙｉｎ（ｕ、ｖ）／Ｙｉｎ（ｉ、ｊ）がｋ２を跨いで増加する過程において１から０まで緩やかに立ち下がるように重み係数αｉをＭ×Ｍ画素の範囲内の各画素の輝度Ｙｉｎ（ｕ、ｖ）に適用する重み係数αｉを定める。そして、次式に従い、平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）を算出するのである。
Ｙｉｎ＿ａｖ（ｉ、ｊ）＝（Σａｉ＊Ｙｉｎ（ｕ、ｖ））／（Σａｉ） ……（５）
【００５６】
この態様においても、上記実施形態と同様な効果が得られる。このように平均輝度は、注目画素を含む所定範囲内に位置する各画素の輝度のうち注目画素の輝度に近い輝度の前記平均輝度への寄与の度合いが高くなり、注目画素の輝度から離れた輝度の前記平均輝度への寄与の度合いが低くなる演算方法により算出したものであればよい。上記実施形態における平均輝度の算出方法は、上記式（５）における重み係数αｉを、１／ｋ１＜Ｙｉｎ（ｕ、ｖ）／Ｙｉｎ（ｉ、ｊ）＜ｋ２の領域では１、それ以外の領域では０とした例である。
【００５７】
（２）上記第２実施形態では、ダウンサンプリング過程を平均化過程と間引き過程により構成したが、それ以外の構成としてもよい。例えば平均化過程を行ってから間引き過程を行うのでなく、平均化過程において、間引き過程において間引かれる輝度行列の要素の算出を省略してもよい。すなわち、輝度行列において離散的に分布する要素を注目要素とし、これらの注目要素に対応した平均輝度を変換後の輝度行列の要素とするのである。また、上記第２実施形態では、アップサンプリング過程を補充過程と平均化過程により構成したが、それ以外の構成としてもよい。例えば変換前の輝度行列の複数の要素から変換後の輝度行列の各要素を合成することにより、入力画像における各要素の位置の分布がより高い輝度行列を生成し、その過程において、入力画像の各画素の輝度を参照して、輝度行列における輝度の境界を入力画像のものに近づける操作を行えばよい。
【００５８】
（３）ゲインの算出に用いるベース関数やベース関数のパラメータ（例えば上述した＜例１＞におけるｄｅｌｔａ等）を例えばダイナミックレンジ圧縮装置に設けられた操作子の操作により各種変えることが可能な構成としてもよい。また、注目画素を中心とした平均化の対象となる範囲（Ｍ×Ｍ画素の範囲）のサイズや、平均化の対象とする輝度の範囲を定めるパラメータ（上述したｋ１、ｋ２に相当するもの）を操作子の操作により変えることが可能な構成としてもよい。
【図面の簡単な説明】
【００５９】
【図１】この発明の第１実施形態によるダイナミックレンジ圧縮装置１００の構成を示すブロック図である。
【図２】同実施形態における平均化処理部１４１の処理内容を例示する図である。
【図３】同実施形態におけるダイナミックレンジ圧縮特性を例示する図である。
【図４】同実施形態によるダイナミックレンジ圧縮の対象となる入力画像の例を示す図である。
【図５】同実施形態の効果を具体的に説明する図である。
【図６】この発明の第２実施形態における平均化処理部１４１の処理内容を示す図である。
【図７】同実施形態における平均化処理部１４１の処理内容を示す図である。
【図８】平均化処理部１４１の他の処理形態の例を示す図である。
【図９】従来のダイナミックレンジ圧縮の例であるリニア変換と対数変換のダイナミックレンジ圧縮特性を例示する図である。
【符号の説明】
【００６０】
１１０……入力画像メモリ、１２０……出力画像メモリ、１３０……可変ゲイン増幅部、１４０……ゲイン制御部、１４１……平均化処理部、１４２……ゲイン算出処理部、１００……ダイナミックレンジ圧縮装置。
【技術分野】
【０００１】
この発明は、動画像等のダイナミックレンジ圧縮に好適なダイナミックレンジ圧縮装置およびプログラムに関する。
【背景技術】
【０００２】
近年の撮像素子技術の進歩により、広いダイナミックレンジを持った画像の得られる撮像素子が提供されるようになった。この撮像素子から得られる画像のダイナミックレンジに比べると、一般に表示装置が出力可能な画像のダイナミックレンジは狭い。このため、撮像素子から得られる画像をディスプレイに表示させるに当たっては、画像のダイナミックレンジ圧縮を行うことが必要になる。よく知られているダイナミックレンジ圧縮のための方法として、リニア変換と対数変換がある。ここで、リニア変換は、ダイナミックレンジ圧縮の対象である入力画像の各画素値に対し、１より小さなゲインを乗算することにより、ダイナミックレンジ圧縮後の出力画像の各画素値を算出する方法である。また、対数変換は、次式に従い、入力画像の画素値ｘを、出力画像の画素値ｙに変換する方法である。
ｙ
＝Ｙｍａｘ＊ｌｏｇ（１＋ｘ／（Ｘｍａｘ＊ｄｅｌｔａ））／ｌｏｇ（１＋１／ｄｅｌｔａ）
……（１）
ここで、ｄｅｌｔａは、対数曲線ｙの全体としての傾きを決定するパラメータであり、ｄｅｌｔａが小さくなる程、対数曲線ｙは、より凸な曲線となる。また、“＊”は乗算を示す。
【特許文献１】特開２００６−２２９２７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
図９は、リニア変換および対数変換における変換前の入力画像の各画素の輝度である入力輝度と変換後の出力画像の各画素の輝度である出力輝度との関係を示すものである。図９において、横軸は入力輝度の対数値、縦軸は出力輝度の対数値である。
【０００４】
図９に示すように、リニア変換における入力輝度と出力輝度の関係は、勾配が１の直線によって表される。そして、この直線の横軸方向の位置は、入力輝度に乗じられるゲインにより定まる。図９では、リニア変換の例としてリニア変換１および２が示されているが、左側に示されているリニア変換１は、右側に示されているリニア変換２よりも高いゲインを用いて、入力輝度から出力輝度への変換を行っている。
【０００５】
図９に示すように、ゲインの高いリニア変換１では、入力輝度が高い領域（図９ではＡ部）では、出力輝度が表示装置によって定まる最大値に対してオーバーフローする。このため、出力輝度がオーバーフローしている領域が真っ白になる、いわゆる白飛びが出力画像に表れる。
【０００６】
一方、ゲインの低いリニア変換２では、白飛びを防止することはできるが、入力輝度が低い領域（図９ではＢ部）では、出力輝度が表示装置の表現可能な輝度の下限値を下回る。このため、出力輝度が下限値を下回っている領域が真っ黒になる、いわゆる黒潰れが出力画像に現れる。
【０００７】
対数変換では、リニア変換において発生する白飛びや黒潰れの問題は発生しない。しかし、対数変換では、入力輝度の高い領域（図９ではＣ部）において、入力輝度が変化しているのに出力輝度が殆ど変化しなくなるコントラストの低下が起こる。
【０００８】
このようにリニア変換や対数変換では、入力画像が広いダイナミックレンジを持っている場合に、変換後の出力画像において入力画像の元の内容が損なわれる場合がある（Ａ部、Ｂ部、Ｃ部参照）。
【０００９】
このような不都合が発生する広いダイナミックレンジを持った入力画像の例として、１つの撮像素子により室内と室内の窓越しに見える外の風景を同時に撮像した場合に得られる画像が挙げられる。この場合、室内は輝度が低いのに対し、窓越しに見える外の風景は輝度が高い。このため、撮像素子から得られた画像に対し、例えば対数変換によるダイナミックレンジ圧縮を行うと、出力画像において、輝度の低い室内の画像は見ることができるが、窓越しに見えるはずの外の風景は、白飛びこそ生じないものの、コントラストが低下し、はっきり見えない風景となる。さらに、出力画像において、窓越しに見える外の風景は全体的に白っぽくなり、色の再現性が低下する、という問題が発生する。
【００１０】
以上のように、従来のリニア変換や対数変換では、広いダイナミックレンジを持った入力画像を元の内容を損なうことなく狭いダイナミックレンジの出力画像に変換することは困難であった。また、リニア変換や対数変換以外にもダイナミックレンジ圧縮の方法はあるが、動画処理に耐えうるような少ない演算量で、入力画像の元の内容を損なうことなくダイナミックレンジ圧縮を行うことができる技術は従来提供されていなかった。
【００１１】
この発明は、以上説明した事情に鑑みてなされたものであり、少ない演算量で、入力画像の元の内容を損なうことなくダイナミックレンジ圧縮を行うことを可能にする技術的手段を提供することを目的とする。
【課題を解決するための手段】
【００１２】
この発明は、入力画像を構成する各画素の画素値を指示されたゲインで増幅し、出力画像を構成する各画素の画素値を出力する可変ゲイン増幅手段と、前記入力画像を構成する各画素を各々注目画素とし、前記入力画像において注目画素を含む所定範囲内の画素の平均輝度を算出する一方、入力輝度を出力輝度に対応付けるベース関数に対し、注目画素を含む所定範囲内の画素の平均輝度を入力輝度として与え、これによりベース関数から得られる出力輝度の入力輝度に対する比を注目画素に適用するゲインとして前記可変ゲイン増幅手段に指示するゲイン制御手段とを具備することを特徴とするダイナミックレンジ圧縮装置およびコンピュータを前記各手段として機能させるコンピュータプログラムを提供する。
【００１３】
かかる発明によれば、入力画像を構成する各画素が注目画素とされ、注目画素を含む所定範囲内の画素の平均輝度が入力輝度としてベース関数に与えられ、これによりベース関数から得られる出力輝度の入力輝度に対する比が注目画素に適用するゲインとされる。従って、入力画像がダイナミックレンジの広い画像であり、輝度が大きく異なる複数の領域に分かれている場合に、ダイナミックレンジ圧縮後の各領域の出力輝度はベース関数曲線に沿ったものとなる。また、各領域に着目すると、領域内の各画素を注目画素としたときの各平均輝度はほぼ同じ値になるので、領域内の各画素にはほぼ同じゲインが適用され、リニア変換に近い変換が行われる。従って、各領域内のコントラストが良好な出力画像が得られる。
【００１４】
なお、ダイナミックレンジ圧縮時のコントラスト改善に関する技術として特許文献１に開示のものがある。この特許文献１に開示の技術では、入力画像の各画素値に対し、２次元ＬＰＦ（ローパスフィルタ）処理を施すことにより、高周波成分を除いて、画面のポイント毎の特徴信号を取得し、この特徴信号により白バランス出力信号の入出力特性を変化させて、画面の特徴に最適な入出力特性を得るものである。しかし、この特許文献１に開示の技術は、入力画像を構成する各画素を注目画素とし、注目画素を含む所定範囲内の画素の平均輝度を入力輝度としてベース関数に与え、これによりベース関数から得られる出力輝度の入力輝度に対する比を注目画素に適用するゲインとするものではなく、本発明とは全く異なる技術である。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照し、この発明の一実施形態について説明する。図１は、この発明の一実施形態によるダイナミックレンジ圧縮装置１００の構成を示すブロック図である。このダイナミックレンジ圧縮装置１００は、例えば表示装置を備えたパーソナルコンピュータ等の機器や表示装置自体に実装される装置であり、動画を構成する一連の入力画像の各画素値を例えばカメラから所定のフレームレートで受け取り、フレーム毎に入力画像の各画素値のダイナミックレンジ圧縮を行い、ダイナミックレンジ圧縮後の出力画像の画素値を表示装置に供給する装置である。なお、この発明の実施の態様には、図１に示すダイナミックレンジ圧縮装置１００を専用のハードウェアとして実現する態様の他、コンピュータを図１に示すダイナミックレンジ圧縮装置１００の各部として機能させるコンピュータプログラムとして実現する態様も含まれる。
【００１６】
図１に示すように、ダイナミックレンジ圧縮装置１００は、入力画像メモリ１１０と、出力画像メモリ１２０と、可変ゲイン増幅部１３０と、ゲイン制御部１４０とを有する。ここで、入力画像メモリ１１０は、ダイナミックレンジ圧縮の対象である入力画像の各画素値を記憶するメモリである。カメラから供給される入力画像の各画素値はこの入力画像メモリ１１０に書き込まれる。また、出力画像メモリ１２０は、ダイナミックレンジ圧縮後の出力画像の各画素値を記憶するメモリである。この出力画像メモリ１２０に記憶された出力画像の各画素値が後段の表示装置（図示略）により表示される。可変ゲイン増幅部１３０は、入力画像メモリ１１０から読み出される各画素値を可変のゲインにより増幅する装置である。この可変ゲイン増幅部１３０により増幅された画素値が出力画像の画素値として出力画像メモリ１２０に書き込まれる。
【００１７】
ゲイン制御部１４０は、入力画像メモリに入力画像の各画素値毎に、画素値を増幅する際のゲインを演算し、そのゲインでの画素値の増幅を可変ゲイン増幅部１３０に指示する装置である。このゲイン制御部１４０は、図１に示すように、平均化処理部１４１と、ゲイン算出処理部１４２とを有する。
【００１８】
平均化処理部１４１は、入力画像メモリ１１０に画素値が記憶された入力画像の各画素を各々注目画素とし、入力画像において注目画素を含む所定範囲内の画素の平均輝度を算出する手段である。より具体的には、平均化処理部１４１は、入力画像における第ｉ行、第ｊ列の画素Ｐ（ｉ，ｊ）を注目画素とした場合、まず、この注目画素Ｐ（ｉ、ｊ）を中心としたＭ×Ｍ画素（Ｍは２以上の整数）の範囲内の各画素Ｐ（ｕ、ｖ）（ただし、ｕは行番号ｉを中心とした幅Ｍの範囲内の行番号、ｖは列番号ｊを中心とした幅Ｍの範囲内の列番号である。）の輝度Ｙｉｎ（ｕ、ｖ）を算出する。ここで、入力画像がモノクロ画像である場合は、各画素値をそのまま輝度Ｙｉｎ（ｕ、ｖ）とする。また、入力画像がカラー画像であり、各画素の画素値がＲ、Ｇ、Ｂの成分を持つ場合には、Ｒ、Ｇ、Ｂの成分に所定の重み係数を乗算して加算することにより輝度Ｙｉｎ（ｕ、ｖ）を算出する。そして、Ｍ×Ｍ画素の範囲内の各画素Ｐ（ｕ、ｖ）の輝度Ｙｉｎ（ｕ、ｖ）のうち注目画素Ｐ（ｉ、ｊ）の輝度Ｙｉｎ（ｉ、ｊ）を基準とした所定範囲内の輝度、より具体的には１／ｋ１＜Ｙｉｎ（ｕ、ｖ）／Ｙｉｎ（ｉ、ｊ）＜ｋ２を満たす輝度Ｙｉｎ（ｕ、ｖ）のみを平均化し、注目画素Ｐ（ｉ、ｊ）を中心としたＭ×Ｍ画素の範囲内の各画素の平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）を算出する。ただし、ｋ１およびｋ２は、所定のパラメータである。なお、注目画素Ｐ（ｉ、ｊ）が入力画像を囲う上下左右の各辺近傍にある場合には、注目画素Ｐ（ｉ、ｊ）を中心としたＭ×Ｍ画素の範囲が入力画像の上下左右のいずれかの辺からはみ出る場合がある。勿論、この場合には、Ｍ×Ｍ画素の範囲のうち入力画像の上下左右の各辺の内側に収まっている画素のみが平均化処理の対象となる。
【００１９】
図２は、Ｍ＝５である場合を例に平均化処理部１４１の処理内容を例示する図である。図示の例では、入力画像において、ある境界において画素の輝度が大きく変化しており、白丸は境界の一方の側の輝度の高い画素群を、黒丸は境界の他方の側の輝度の低い画素群を各々示している。
【００２０】
このような入力画像において、画素Ｐ（ｉ、ｊａ）が注目画素である場合、この注目画素Ｐ（ｉ、ｊａ）を中心とした５×５画素の範囲内の各画素Ｐ（ｕ、ｖ）は全て輝度が高い画素群の画素（白丸の画素）である。そして、この例では、５×５画素の範囲内の各画素Ｐ（ｕ、ｖ）の輝度Ｙｉｎ（ｕ、ｖ）と注目画素Ｐ（ｉ、ｊａ）の輝度Ｙｉｎ（ｉ、ｊａ）は、１／ｋ１＜Ｙｉｎ（ｕ、ｖ）／Ｙｉｎ（ｉ、ｊａ）＜ｋ２なる関係を満たす。従って、画素Ｐ（ｉ、ｊａ）が注目画素である場合には、注目画素Ｐ（ｉ、ｊａ）を中心とした５×５画素の範囲内の全ての画素Ｐ（ｕ、ｖ）の輝度Ｙｉｎ（ｕ、ｖ）を平均化することにより平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊａ）が算出される。
【００２１】
また、画素Ｐ（ｉ、ｊｂ）が注目画素である場合に、この注目画素Ｐ（ｉ、ｊｂ）を中心とした５×５画素の範囲内には輝度の高い画素群の画素（白丸の画素）と輝度の低い画素群の画素（黒丸の画素）とが含まれる。そして、注目画素Ｐ（ｉ、ｊｂ）自体は、輝度の高い画素（白丸の画素）である。このため、注目画素Ｐ（ｉ、ｊｂ）を中心とした５×５画素の範囲内のうち輝度の高い画素Ｐ（ｕ、ｖ）（白丸の画素）の輝度Ｙｉｎ（ｕ、ｖ）のみが１／ｋ１＜Ｙｉｎ（ｕ、ｖ）／Ｙｉｎ（ｉ、ｊｂ）＜ｋ２なる関係を満たし、これらの画素Ｐ（ｕ、ｖ）（白丸の画素）の輝度Ｙｉｎ（ｕ、ｖ）のみを平均化することにより平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊｂ）が算出される。
【００２２】
画素（ｉ、ｊｂ）の左隣の画素Ｐ（ｉ、ｊｃ）が注目画素である場合、この注目画素Ｐ（ｉ、ｊｃ）を中心とした５×５画素の範囲内にも輝度の高い画素群の画素（白丸の画素）と輝度の低い画素群の画素とが含まれる。しかし、注目画素Ｐ（ｉ、ｊｃ）自体は、輝度の低い画素（黒丸の画素）である。このため、注目画素Ｐ（ｉ、ｊｃ）を中心とした５×５画素の範囲内のうち輝度の低い画素Ｐ（ｕ、ｖ）（黒丸の画素）の輝度Ｙｉｎ（ｕ、ｖ）のみが１／ｋ１＜Ｙｉｎ（ｕ、ｖ）／Ｙｉｎ（ｉ、ｊｃ）＜ｋ２なる関係を満たし、これらの画素Ｐ（ｕ、ｖ）（黒丸の画素）の輝度Ｙｉｎ（ｕ、ｖ）のみを平均化することにより平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊｃ）が算出される。
【００２３】
このように、平均化処理部１４１は、注目画素Ｐ（ｉ、ｊ）の輝度Ｙｉｎ（ｉ、ｊ）を基準とした所定の範囲内の輝度Ｙｉｎ（ｕ、ｖ）のみを用いて平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）を算出する。このため、注目画素Ｐ（ｉ、ｊ）の近傍に輝度が大きく変化する境界があっても、算出される平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）が注目画素Ｐ（ｉ、ｊ）の輝度Ｙｉｎ（ｉ、ｊ）から大きく外れることはなく、平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）は注目画素Ｐ（ｉ、ｊ）の輝度Ｙｉｎ（ｉ、ｊ）に近い値となる。そして、入力画像を各々輝度の近い画素群からなる複数の領域に分けることができるような場合には、各領域に着目すると、領域内の各画素Ｐ（ｉ、ｊ）を注目画素としたときの各平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）は互いに接近した値となる。領域内の各画素Ｐ（ｉ、ｊ）を注目画素とした平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）の算出処理では、領域外の画素の輝度が平均化の対象から除外されるからである。
【００２４】
ゲイン算出処理部１４２は、入力画像を構成する画素Ｐ（ｉ、ｊ）毎に可変ゲイン増幅部１３０に指示する増幅用のゲインを算出する手段である。このゲイン算出処理部１４２は、次式に示すように、平均化処理部１４１が入力画像を構成する各画素Ｐ（ｉ、ｊ）を注目画素として算出した各平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）と、所定のベース関数ｙ＝ｆ（ｘ）とを用いることにより、入力画像を構成する画素Ｐ（ｉ、ｊ）毎に、画素Ｐ（ｉ、ｊ）に適用するゲインＧ（ｉ、ｊ）を算出する。
Ｇ（ｉ、ｊ）
＝ｆ（Ｙｉｎ＿ａｖ（ｉ、ｊ））／Ｙｉｎ＿ａｖ（ｉ、ｊ） ……（２）
【００２５】
ここで、ベース関数ｙ＝ｆ（ｘ）は、独立変数ｘの対数値に対する従属変数ｙの対数値の勾配が１より小さい関数である。このベース関数ｙ＝ｆ（ｘ）として好適な例を示すと次の通りである。
＜例１＞
ｙ
＝ｆ（ｘ）
＝０．５＊Ｙｍａｘ＊ｌｏｇ（１＋ｘ／（Ｘｍａｘ＊ｄｅｌｔａ））
／ｌｏｇ（１＋１／ｄｅｌｔａ） ……（３）
このベース関数ｙ＝ｆ（ｘ）は、対数関数である。ここで、ｄｅｌｔａは例えば０．００１である。
＜例２＞
ｙ
＝ｆ（ｘ）
＝１６＊ｘ＾０．４ ……（４）
ここで、“＾”はべき乗を示す。
【００２６】
可変ゲイン増幅部１３０は、入力画像メモリ１１０に記憶された各画素Ｐ（ｉ、ｊ）の画素値に対し、ゲイン算出処理部１４２により算出された各画素Ｐ（ｉ、ｊ）に対応したゲインＧ（ｉ、ｊ）を各々乗算し、各乗算結果を出力画像の各画素値として出力画像メモリ１２０に書き込む手段である。
以上が本実施形態によるダイナミックレンジ変換装置１００の構成の詳細である。
【００２７】
図３は、本実施形態によるダイナミックレンジ圧縮装置１００のダイナミックレンジ圧縮特性を示す図である。図３において、横軸は入力画像の各画素の輝度Ｙｉｎ（ｉ、ｊ）の対数値、縦軸はダイナミックレンジ圧縮後の出力画像の各画素の輝度Ｙｏｕｔ（ｉ、ｊ）の対数値である。なお、図３では、本実施形態の従来技術との相違を明らかにするため、前掲図９のリニア変換１および２と対数変換のダイナミックレンジ圧縮特性が併せて図示されている。
【００２８】
図３において、ベース関数ｆ（ｘ）は、例えば前掲式（３）で表されるような対数関数である。上述したように、本実施形態では、入力画像を構成する各画素Ｐ（ｉ、ｊ）を注目画素とした場合において、前掲式（２）に示すように、注目画素Ｐ（ｉ、ｊ）を含む所定範囲内の画素の平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）を入力輝度ｘとしてベース関数ｆ（ｘ）に与え、これによりベース関数から得られる出力輝度ｆ（Ｙｉｎ＿ａｖ（ｉ、ｊ））の入力輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）に対する比が注目画素Ｐ（ｉ、ｊ）に適用されるゲインＧ（ｉ、ｊ）となる。すなわち、各注目画素Ｐ（ｉ、ｊ）に適用されるゲインＧ（ｉ、ｊ）は、その注目画素Ｐ（ｉ、ｊ）を中心とした所定範囲内の画素の平均輝度により決定される。このため、例えば前掲図２のように、入力画像がある境界において輝度の高い領域（白丸画素の領域）と輝度の低い領域（黒丸画素の領域）に分かれている場合、本実施形態によるダイナミックレンジ圧縮では、次のようなことが起こる。
【００２９】
まず、入力画像において輝度の高い領域では、領域内の各画素Ｐ（ｉ、ｊ）を注目画素とした場合の各平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）が互いに接近した値であると、各画素Ｐ（ｉ、ｊ）にはほぼ同じゲインが適用される。このため、入力画像において輝度の高い領域の各画素Ｐ（ｉ、ｊ）（白丸画素）についての入力輝度Ｙｉｎ（ｉ、ｊ）と出力輝度Ｙｏｕｔ（ｉ、ｊ）＝Ｇ（ｉ、ｊ）＊Ｙｉｎ（ｉ、ｊ）の組を示すプロットは、ベース関数ｆ（ｘ）上の当該領域（輝度の高い領域）の平均輝度に対応した点を通過し、勾配が１である直線上に分布する。一方、輝度の低い領域でも、領域内の各画素Ｐ（ｉ、ｊ）を注目画素とした場合の各平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）が互いに接近した値であると、各画素Ｐ（ｉ、ｊ）にはほぼ同じゲインが適用される。このため、入力画像において輝度の低い領域の各画素Ｐ（ｉ、ｊ）（黒丸画素）についての入力輝度Ｙｉｎ（ｉ、ｊ）と出力輝度Ｙｏｕｔ（ｉ、ｊ）＝Ｇ（ｉ、ｊ）＊Ｙｉｎ（ｉ、ｊ）の組を示すプロットも、ベース関数ｆ（ｘ）上の当該領域（輝度の低い領域）の平均輝度に対応した点を通過し、傾きが１である直線上に分布する。
【００３０】
以上、説明を簡単にするため、入力画像が輝度の高い領域と輝度の低い領域に分かれている場合を例に説明したが、入力画像が輝度の大きく異なった３つ以上の領域に分かれている場合についても同様である。本実施形態によれば、入力画像のダイナミックレンジが広く、入力画像が輝度の大きく異なる複数の領域に分かれている場合に、各領域に着目すると、その領域内の各画素の入力輝度と出力輝度の組を示すプロット群は、その領域内の各画素の平均輝度とこの平均輝度をベース関数に入力輝度として与えることにより得られる出力輝度の組を中心に分布する。従って、ダイナミックレンジ圧縮における入力輝度と出力輝度の組は、大局的に見ると、ベース関数曲線に沿ったものとなり、ダイナミックレンジ圧縮において白飛びや黒潰れが発生しない。
【００３１】
また、本実施形態によれば、入力画像のダイナミックレンジが広く、入力画像が輝度の大きく異なる複数の領域に分かれている場合であっても、各領域に着目すると、領域内の各画素間の入力輝度に変化がある場合に、その変化は両対数グラフ上において傾きが１の直線に沿った出力輝度の変化となって現れる。すなわち、領域内の各画素に対応した平均輝度が同じまたは近似しているような領域では、領域内の各画素についてのダイナミックレンジ圧縮として、リニア変換に近い変換が行われる。例えば図３において、右側に描かれた傾き１の直線上にプロットされる全ての画素は、平均輝度ａに近い輝度を有している。また、ベース関数ｆ（ｘ）において、この平均輝度に対応した関数値ｆ（ａ）はｂである。従って、この直線上にプロットされる各画素には、Ｇ＝ｂ／ａなるゲインが適用される。すなわち、この直線上にプロットされる各画素のうち平均輝度ａから隔たった輝度ａ’を有する画素にもこのゲインＧが適用され、この画素の輝度ｂ’は、ｂ’＝（ｂ／ａ）ａ’となる。図３において、左側に描かれた傾き１の直線上にプロットされる各画素についても同様である。従って、入力画像が輝度の大きく異なる複数の領域に分かれている場合に、出力画像では領域毎に高いコントラストを得ることができる。この場合において、例えば入力画像において輝度の高い領域内の一部の画素のダイナミックレンジ圧縮後の出力輝度が、入力画像において輝度の低い領域内の一部の画素のダイナミックレンジ圧縮後の出力輝度よりも低くなる逆転現象が生じることがある。しかし、人間の視覚は、ある程度離れた２点の輝度差を正確に認知することが困難である。従って、このような逆転現象が生じたとしても、ダイナミックレンジ圧縮後の出力画像を視認する者に大きな違和感を与えることはない。
【００３２】
また、本実施形態によれば、注目画素を中心とした所定範囲内の画素の平均輝度を求めるに当たり、注目画素の輝度から所定範囲内の輝度のみを平均化の対象としている。従って、入力画像において注目画素の近傍に輝度が大きく変化する境界がある場合に、その注目画素に対応した平均輝度をその境界の外側の画素の輝度の影響を受けない適正な値にすることができ、注目画素に適用するゲインを適正なものにすることができる。仮に注目画素を中心とした所定範囲内の画素の平均輝度を求めるに当たり、所定範囲内の全ての画素の輝度を平均化の対象にしたとすると、その所定範囲内を輝度が大きく変化する境界が含まれている場合に次の不具合が生じる。まず、注目画素の輝度が高いが所定範囲内に輝度がかなり低い画素が含まれている場合には、注目画素の輝度に対して平均輝度が顕著に低くなるため、前掲図３のダイナミックレンジ圧縮特性において注目画素のプロットが乗る勾配１の直線が左側にシフトし、注目画素の輝度に対応した変換後の輝度がより高い値となる。一方、注目画素の輝度が低いが所定範囲内に輝度がかなり高い画素が含まれている場合には、注目画素の輝度に対して平均輝度が顕著に高くなるため、前掲図３のダイナミックレンジ圧縮特性において注目画素のプロットが乗る勾配１の直線が右側にシフトし、注目画素の輝度に対応した変換後の輝度がより低い値となる。従って、入力画像に輝度が大きく変化する境界部があると、出力画像では、輝度が高い部分は輝度がより高くなり、輝度が低い部分は輝度がより低くなり、輝度の変化が不自然に強調され、境界から離れるとその症状がなくなる。これに対し、本実施形態では、注目画素を中心とした所定範囲内の画素の平均輝度を求めるに当たり、注目画素の輝度から所定範囲内の輝度のみを平均化の対象としている。従って、このような不具合は生じない。
【００３３】
次に図４および図５を参照し、本実施形態の効果をさらに具体的に説明する。図４は、本実施形態によるダイナミックレンジ圧縮の対象となる入力画像の例を示すものである。この例において、入力画像は、あるビルの中の室内の風景の画像である。入力画像において、室内には窓があり、この窓の手前には額が立て掛けてある。また、窓越しに外の風景とビルの外壁が見えている。図５において、Ｙｉｎは、図４に示す入力画像においてＸ軸上の並んだ一行分の画素の入力輝度を示す。図４において、Ｘ軸上の一連の画素を左から順に見ると、まず、窓越しに見える外の風景を示す画素領域Ａ１があり、次に額を示す画素領域Ａ２があり、次に窓越しに見える外の風景を示す画素領域Ａ３があり、次に窓越しに見えるビルの外壁を示す画素領域Ａ４があり、次に室内の壁を示す画素領域Ａ５がある。図５にも、これらの画素領域Ａ１〜Ａ５を示した。
【００３４】
図５に示すように、窓越しに見える外の風景の画素領域Ａ１およびＡ３の各画素の入力輝度Ｙｉｎは、各画素領域内において細かな起伏があるものの各画素を注目画素とした平均輝度Ｙｉｎ＿ａｖは総じて高く、各画素領域内における画素間の平均輝度Ｙｉｎ＿ａｖの変動は少ない。また、額の画素領域Ａ２や壁の画素領域Ａ５の各画素の入力輝度Ｙｉｎは、各画素領域内において小さな起伏があるものの各画素を注目画素とした平均輝度Ｙｉｎ＿ａｖは総じて低く、画素領域内の各画素間の平均輝度Ｙｉｎ＿ａｖの変動は少ない。このため、画素領域Ａ１、Ａ２、Ａ３、Ａ５については、各画素領域毎の平均輝度により定まるゲインが適用される。
【００３５】
本実施形態では、全体としてベース関数曲線に沿うようにダイナミックレンジ圧縮が行われるため、出力画像における画素領域Ａ１、Ａ２、Ａ３、Ａ５の各間の出力輝度Ｙｏｕｔの差は、入力画像における画素領域Ａ１、Ａ２、Ａ３、Ａ５の各間の入力輝度Ｙｉｎの差よりも小さくなる。しかしながら、画素領域Ａ１、Ａ２、Ａ３、Ａ５の各画素領域内の画素に着目すると、各画素領域内では、各画素にほぼ同じゲインが適用され、リニア変換に近い変換が行われる。このため、各画素領域に着目すると、入力画像が持っていた画素間の入力輝度Ｙｉｎの起伏が損なわれることなく、出力画像の画素間の出力輝度Ｙｏｕｔの起伏となって反映される。従って、出力画像では、窓越しに外に風景がはっきりと見え、額に描かれた絵もはっきりと見え、壁の表面状態もはっきりと分かる、という具合に各領域毎に良好なコントラストが得られる。
【００３６】
参考のため、図５には、図４のＸ軸上の入力画像の各画素に対し、従来の対数変換によるダイナミックレンジ圧縮を行った場合に得られる出力画像の各画素の出力輝度Ｙｏｕｔ’を示した。図示のように、対数変換を行った場合には、特に入力輝度が高い画素領域Ａ１およびＡ３において画素に適用されるゲインが著しく低くなるため、入力画像の画素間の入力輝度Ｙｉｎの差がある箇所でも、出力画像では、出力輝度Ｙｏｕｔ’の画素間の差が極端に低下し、コントラストが著しく低下する。これに対し、本実施形態では、このような不具合は生じず、入力輝度Ｙｉｎの高い領域、入力輝度Ｙｉｎの低い領域のいずれにおいても、良好なコントラストを持った出力画像が得られる。
【００３７】
＜第２実施形態＞
上記第１実施形態では、注目画素Ｐ（ｉ、ｊ）を含むＭ×Ｍ画素の範囲の画素の輝度Ｙｉｎ（ｕ、ｖ）を平均化して平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）を算出した。この場合、Ｍの値を大きくすると、平均化の対象となる画素の範囲が広がるので、同じ平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）を共有する注目画素Ｐ（ｉ、ｊ）の入力画像平面内での範囲が広がるとともに、それらの注目画素Ｐ（ｉ、ｊ）の入力輝度Ｙｉｎ（ｉ、ｊ）の範囲が広くなる。このため、前掲図３のダイナミックレンジ圧縮特性では、ベース関数曲線と交差する傾きが１の一本の直線上にプロットされる入力輝度Ｙｉｎ（ｉ、ｊ）および出力輝度Ｙｏｕｔ（ｉ、ｊ）の組数（すなわち、画素Ｐ（ｉ、ｊ）の個数）が増える。従って、出力画像のコントラストが上昇する。これに対し、Ｍの値を小さくすると、平均化の対象となる画素の範囲が狭くなるので、同じ平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）を共有する注目画素Ｐ（ｉ、ｊ）の入力画像平面内での範囲が狭くなるとともに、それらの注目画素Ｐ（ｉ、ｊ）の入力輝度Ｙｉｎ（ｉ、ｊ）の範囲が狭くなる。このため、前掲図３のダイナミックレンジ圧縮特性では、ベース関数曲線と交差する傾きが１の一本の直線が多数発生し、かつ、それらの直線上にプロットされる入力輝度Ｙｉｎ（ｉ、ｊ）および出力輝度Ｙｏｕｔ（ｉ、ｊ）の組数（すなわち、画素Ｐ（ｉ、ｊ）の個数）は少なくなる。従って、Ｍの値が大きい場合に比べ、出力画像のコントラストが低下する。このように、良好なコントラストを得るためには、Ｍの値は大きい方が良い。しかし、Ｍの値を大きくすると、平均化の対象となる画素数Ｍ×Ｍが急激に大きくなり、演算の処理負荷が増大し、リアルタイムでのダイナミックレンジ圧縮が難しくなる。本実施形態は、以上の点に鑑み、少ない演算量で、広い範囲を平均化の対象として平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）の算出を行うことを可能にしたものである。
【００３８】
以下、図６および図７を参照し、本実施形態における平均化処理部１４１（図１参照）の処理内容を説明する。なお、図６および図７では、図面が煩雑になるのを防ぐため、入力画像を構成する各画素Ｐ（ｉ、ｊ）（ｉ＝１、２、〜、ｊ＝１、２、〜）のうち第ｊｘ列の画素Ｐ（ｉ、ｊ）（ｉ＝１、２、〜、ｊ＝ｊｘ）のみの処理過程が図示されている。また、これらの図において、白丸は輝度の高い画素、黒丸は輝度の低い画素である。
【００３９】
本実施形態における平均化処理部１４１は、以下説明する各過程を実行する。
＜＜輝度行列生成過程＞＞
この輝度行列生成過程では、入力画像の各画素Ｐ（ｉ、ｊ）（ｉ＝１、２、〜、ｊ＝１、２、〜）の入力輝度Ｙｉｎ（ｉ、ｊ）（ｉ＝１、２、〜、ｊ＝１、２、〜）を要素とする輝度行列を生成する。図６において、Ｌ０列に示された白丸および黒丸は、この輝度行列生成過程により生成された輝度行列の第ｊｘ列の各要素である。
【００４０】
＜＜ダウンサンプリング過程＞＞
このダウンサンプリング過程では、先行する過程において得られた輝度行列を処理対象とし、処理対象である輝度行列を、処理対象である輝度行列において離散的に分布した各要素を注目要素とし、各注目要素に対応した平均輝度であって、各注目要素を中心とした所定範囲内の各要素が示す輝度のうち当該注目要素が示す輝度に近い輝度がより寄与の度合いが高く反映された平均輝度を要素とする輝度行列に変換する。このダウンサンプリング過程には、各種の態様が考えられるが、本実施形態におけるダウンサンプリング過程は次の２つの過程からなる。
【００４１】
＜＜＜平均化過程＞＞＞
この平均化過程では、処理対象である輝度行列の各要素を注目要素とし、注目要素を含む所定範囲内に位置する要素であって、注目要素を基準とした所定範囲内の値を持つ要素のみを平均化した平均輝度を算出し、平均輝度を要素とする輝度行列を生成する。図６に示す例では、注目要素を中心とする５×５要素の範囲を平均化の対象範囲としている。図６において、Ｌ０’列の白丸および黒丸は、輝度行列生成過程により得られた輝度行列に平均化過程の平均化処理を施すことにより得られた輝度行列の第ｊｘ列の各要素である。
【００４２】
第１実施形態と同様、平均化過程では、注目要素を含む５×５要素の範囲内の各要素のうち注目要素を基準とした所定範囲内の値を持つもののみが平均化の対象となる。従って、図６に示す例において、第ｉａ行第ｊｘ列の注目要素に対応した平均輝度を算出するに当たり、第ｉａ−２行第ｊｘ列〜第ｉａ＋２行第ｊｘ列までの５要素は、平均化の対象に含まれる。しかし、第ｉｂ行第ｊｘ列の注目要素に対応した平均輝度を算出するに当たり、第ｉｂ−２行第ｊｘ列〜第ｉｂ行第ｊｘ列までの３要素は平均化の対象に含まれるが、第ｉｂ＋１行第ｊｘ列〜第ｉｂ＋２行第ｊｘ列までの２要素は平均化の対象に含まれない。また、第ｉｂ＋１行第ｊｘ列の注目要素に対応した平均輝度を算出するに当たり、第ｉｂ＋１行第ｊｘ列〜第ｉｂ＋３行第ｊｘ列までの３要素は平均化の対象に含まれるが、第ｉｂ−１行第ｊｘ列〜第ｉｂ行第ｊｘ列までの２要素は平均化の対象に含まれない。
【００４３】
＜＜＜間引き過程＞＞＞
この間引き過程では、平均化過程において得られた輝度行列を行方向および列方向に間引き、行数および列数が半分の輝度行列を生成する。この例では、輝度行列における偶数行の要素および偶数列の要素を間引いている。また、この例では、第ｊｘ列の要素は、間引き過程において間引きの対象にならない列であることを前提としている。図６において、Ｌ１列は、Ｌ０’列に示された輝度行列を間引き過程において間引くことにより得られた輝度行列の第ｊｘ列の各要素である。この例では、間引き過程での間引きにより、輝度の高い領域と輝度の低い領域の境界にある第ｉｂ＋１行第ｊｘ列の要素（黒丸の要素）が失われている。
【００４４】
以上述べたダウンサンプリング過程は複数回繰り返される。図６に示す例では、ダウンサンプリング過程を構成する平均化過程および間引き過程が４回繰り返されている。列Ｌ０から列Ｌ０’への遷移が１回目の平均化過程、列Ｌ０’から列Ｌ１への遷移が１回目の間引き過程、列Ｌ１から列Ｌ１’への遷移が２回目の平均化過程、列Ｌ１’から列Ｌ２への遷移が２回目の間引き過程、列Ｌ２から列Ｌ２’への遷移が３回目の平均化過程、列Ｌ２’から列Ｌ３への遷移が３回目の間引き過程、列Ｌ３から列Ｌ３’への遷移が４回目の平均化過程、列Ｌ３’から列Ｌ４への遷移が４回目の間引き過程である。このように４回に亙ってダウンサンプリング過程が繰り返される結果、入力画像において各要素に対応した位置の分布の密度が順次低くなる４個の輝度行列が順次生成される。具体的には、例えば入力画像から６４０×４８０要素の輝度行列が得られたとすると、この輝度行列は、３２０×２４０要素、１６０×１２０要素、８０×６０要素の各輝度行列に順次変換され、最後に４０×３０要素の輝度行列に変換される（Ｌ４列）。ここで、最終的に得られた輝度行列の各要素は、入力画像における要素の分布密度を低下させつつ各要素を中心とする所定範囲の要素を平均化する操作、具体的には５×５要素の範囲内の平均化を行って半分に間引くという操作を４回に亙って階層的に行った結果であるので、最終的に得られた輝度行列の各要素は、元の入力画像から得られた輝度行列において、５×５要素よりも広い範囲の要素を平均化したものとなる。しかし、ダウンサンプリング過程は、間引き過程を含むため、輝度行列の変換が繰り返されるに従い、輝度行列において輝度が大きく変化する境界が、元の入力画像において輝度が大きく変化する境界から次第にずれてゆく。
【００４５】
このような輝度の境界のずれをなくし、元の入力画像が持っていた輝度の境界を再現するために、平均化処理部１４１は、以下説明するアップサンプリング過程を、ダウンサンプリング過程の繰り返し回数と同じ回数だけ繰り返す。図７は、このアップサンプリング過程が繰り返される過程を示している。なお、この図では、先行する過程とのつながりを分かりやすくするため、前掲図６におけるＬ０〜Ｌ４の各列の内容が併せて示されている。
【００４６】
＜＜アップサンプリング過程＞＞
アップサンプリング過程では、先行する過程において得られた輝度行列を処理対象とし、処理対象である輝度行列を、入力画像における各要素に対応した位置の分布の密度がより高い輝度行列に変換する。さらに詳述すると、アップサンプリング過程では、変換後の輝度行列の各要素を算出するに当たり、輝度行列生成過程において生成された輝度行列の各要素のうち入力画像において算出対象である要素と同じ位置を占める要素を基準要素とし、処理対象である輝度行列において算出対象である要素に対応した位置を中心とした所定範囲内に属する各要素が示す各輝度のうち算出対象である要素に対応した基準要素が示す輝度に近い輝度がより寄与の度合いが高く反映された平均輝度を算出し、変換後の輝度行列の要素とする。
アップサンプリング過程には各種の態様が考えられるが、本実施形態におけるアップサンプリング過程は次の過程からなる。
【００４７】
＜＜＜補充過程＞＞＞
この補充過程では、処理対象である輝度行列において各要素のコピーを行方向隣、列方向隣、行方向および列方向隣に補充することにより行数および列数が２倍の輝度行列を生成する。１回目の補充過程では、最終回の間引き過程において得られた輝度行列が処理対象となる。２回目以降の補充過程では、後述する平均化過程（アップサンプリング過程の平均化過程）において得られた輝度行列が処理対象となる。図７において、Ｌ３ａ列は、最終回の間引き過程において得られた輝度行列に１回目の補充過程の処理を施すことにより得られた輝度行列の第ｊｘ列の要素である。また、図７において、白三角は、白丸により示す高い輝度の要素をコピーすることにより輝度行列に補充された要素、黒三角は、黒丸により示す低い輝度の要素をコピーすることにより輝度行列に補充された要素である。
【００４８】
＜＜＜平均化過程＞＞＞
この平均化過程においては、補充過程において得られた輝度行列の各要素を注目要素とし、輝度行列生成過程において得られた輝度行列の要素であって、入力画像において注目要素に相当する位置を占める画素を基準要素とし、補充過程において得られた輝度行列において注目要素を含む所定範囲（この例では５×５要素の範囲）内に位置する要素のうち基準要素を基準とした所定範囲内の値を持つ要素を平均化した平均輝度を算出し、平均輝度を要素とする輝度行列を生成する。
【００４９】
図７において、Ｌ３ｂ列に示す白丸または黒丸は、１回目の補充過程において得られた輝度行列（Ｌ３ａ列）に対し、１回目の平均化過程の処理を施すことにより得られた輝度行列の第ｊｘ列の要素である。
【００５０】
Ｌ３ａ列に示す輝度行列において、上側にある白三角で示す要素Ｙｔ１が注目要素である場合、輝度行列生成過程において得られた輝度行列の要素であって、入力画像において注目要素Ｙｔ１に相当する位置を占める画素の輝度を示す要素である基準要素は、Ｌ０列に示す第ｉａ行第ｊｘ列の要素Ｙｒ１である。この例では、他からのコピーである注目画素Ｙｔ１が輝度の高い要素であり、一方、この注目要素Ｙｔ１に対応した基準要素Ｙｒ１も輝度の高い要素である。このため、注目画素Ｙｔ１に対応した平均輝度の算出では、先行する補充過程において得られた輝度行列において注目要素Ｙｔ１を含む５×５要素の範囲内に位置する要素のうち基準要素Ｙｒ１を基準とした所定範囲内の値を持つ要素、例えばＬ３ａ列に示す要素Ｙｔ１、Ｙｔ２、Ｙｔ３、Ｙｔ４が平均化の対象に含まれる。
【００５１】
これに対し、Ｌ３ａ列の最も下に記した白三角の要素Ｙｔ４が注目要素である場合、輝度行列生成過程において得られた輝度行列の要素であって、入力画像において注目要素Ｙｔ４に相当する位置を占める画素の輝度を示す要素である基準要素は、Ｌ０列に示す第ｉｂ＋６行第ｊｘ列の要素Ｙｒ４である。この例では、他からのコピーである注目画素Ｙｔ４が輝度の高い要素であるのに対し、この注目要素Ｙｔ４に対応した基準要素Ｙｒ４は輝度の低い要素である。このため、この例では、注目要素Ｙｔ４は、基準要素Ｙｒ４に比べて輝度が高いために平均化の対象に含まれない。なお、注目要素Ｙｔ４を含む５×５要素の範囲内の各要素の中に基準要素Ｙｒ４を基準とした所定範囲内の要素があれば、その要素が平均化の対象に含まれることとなる。
【００５２】
平均化処理部１４１は、以上の補充過程および平均化過程からなるアップサンプリング過程をダウンサンプリング過程の繰り返し回数と同じ回数だけ繰り返す。図７に示す例では、補充過程および平均化過程からなるアップサンプリング過程が４回繰り返されている。列Ｌ４から列Ｌ３ａへの遷移が１回目の補充過程、列Ｌ３ａから列Ｌ３ｂへの遷移が１回目の平均化過程、列Ｌ３ｂから列Ｌ２ａへの遷移が２回目の補充過程、列Ｌ２ａから列Ｌ２ｂへの遷移が２回目の平均化過程、列Ｌ２ｂから列Ｌ１ａへの遷移が３回目の補充過程、列Ｌ１ａから列Ｌ１ｂへの遷移が３回目の平均化過程、列Ｌ１ｂから列Ｌ０ａへの遷移が４回目の補充過程、列Ｌ０ａから列Ｌ０ｂへの遷移が４回目の平均化過程である。このように４回に亙ってアップサンプリング過程が繰り返される結果、例えば４０×３０要素の輝度行列が元の入力画像から得られた６４０×４８０要素の輝度行列の要素を基準要素として参照することにより順次詳細化され、輝度行列において輝度が大きく変化する境界が次第に正確なものに戻り、５×５要素の範囲よりも広い範囲の画素の輝度を平均化した平均輝度を要素とする６４０×４８０要素の輝度行列（すなわち、入力画像における各要素に対応した密度が輝度行列生成過程において生成された輝度行列と同じである輝度行列）が得られる。ゲイン算出処理部１４２は、このようにして得られた輝度行列に基づき、入力画像の各画素に適用するゲインを算出する。この場合のゲインの算出方法は上記第１実施形態と同様である。
【００５３】
本実施形態によれば、少ない演算量で、広い範囲に亙る平均輝度を注目画素毎に算出することができ、演算負担を掛けることなく出力画像のコントラストを高めることができる。
【００５４】
＜他の実施形態＞
以上、この発明の一実施形態を説明したが、この発明には、他にも各種の実施形態が考えられる。例えば次の通りである。
【００５５】
（１）上記各実施形態において平均化処理部１４１は、注目画素を含む所定範囲内の画素の輝度のうち注目画素の輝度を基準とする所定範囲内の輝度のみを平均化の対象としたが、注目画素の輝度からのずれに応じた重み係数を用いて、注目画素を含む所定範囲内の画素の輝度の荷重平均を求め、これを平均輝度としてもよい。例えば図８に例示するように、注目画素の輝度Ｙｉｎ（ｉ、ｊ）に対するＭ×Ｍ画素の範囲内の画素の輝度Ｙｉｎ（ｕ、ｖ）の比Ｙｉｎ（ｕ、ｖ）／Ｙｉｎ（ｉ、ｊ）が１／ｋ１を跨いで増加する過程において０から１まで緩やかに立ち上がり、比Ｙｉｎ（ｕ、ｖ）／Ｙｉｎ（ｉ、ｊ）がｋ２を跨いで増加する過程において１から０まで緩やかに立ち下がるように重み係数αｉをＭ×Ｍ画素の範囲内の各画素の輝度Ｙｉｎ（ｕ、ｖ）に適用する重み係数αｉを定める。そして、次式に従い、平均輝度Ｙｉｎ＿ａｖ（ｉ、ｊ）を算出するのである。
Ｙｉｎ＿ａｖ（ｉ、ｊ）＝（Σａｉ＊Ｙｉｎ（ｕ、ｖ））／（Σａｉ） ……（５）
【００５６】
この態様においても、上記実施形態と同様な効果が得られる。このように平均輝度は、注目画素を含む所定範囲内に位置する各画素の輝度のうち注目画素の輝度に近い輝度の前記平均輝度への寄与の度合いが高くなり、注目画素の輝度から離れた輝度の前記平均輝度への寄与の度合いが低くなる演算方法により算出したものであればよい。上記実施形態における平均輝度の算出方法は、上記式（５）における重み係数αｉを、１／ｋ１＜Ｙｉｎ（ｕ、ｖ）／Ｙｉｎ（ｉ、ｊ）＜ｋ２の領域では１、それ以外の領域では０とした例である。
【００５７】
（２）上記第２実施形態では、ダウンサンプリング過程を平均化過程と間引き過程により構成したが、それ以外の構成としてもよい。例えば平均化過程を行ってから間引き過程を行うのでなく、平均化過程において、間引き過程において間引かれる輝度行列の要素の算出を省略してもよい。すなわち、輝度行列において離散的に分布する要素を注目要素とし、これらの注目要素に対応した平均輝度を変換後の輝度行列の要素とするのである。また、上記第２実施形態では、アップサンプリング過程を補充過程と平均化過程により構成したが、それ以外の構成としてもよい。例えば変換前の輝度行列の複数の要素から変換後の輝度行列の各要素を合成することにより、入力画像における各要素の位置の分布がより高い輝度行列を生成し、その過程において、入力画像の各画素の輝度を参照して、輝度行列における輝度の境界を入力画像のものに近づける操作を行えばよい。
【００５８】
（３）ゲインの算出に用いるベース関数やベース関数のパラメータ（例えば上述した＜例１＞におけるｄｅｌｔａ等）を例えばダイナミックレンジ圧縮装置に設けられた操作子の操作により各種変えることが可能な構成としてもよい。また、注目画素を中心とした平均化の対象となる範囲（Ｍ×Ｍ画素の範囲）のサイズや、平均化の対象とする輝度の範囲を定めるパラメータ（上述したｋ１、ｋ２に相当するもの）を操作子の操作により変えることが可能な構成としてもよい。
【図面の簡単な説明】
【００５９】
【図１】この発明の第１実施形態によるダイナミックレンジ圧縮装置１００の構成を示すブロック図である。
【図２】同実施形態における平均化処理部１４１の処理内容を例示する図である。
【図３】同実施形態におけるダイナミックレンジ圧縮特性を例示する図である。
【図４】同実施形態によるダイナミックレンジ圧縮の対象となる入力画像の例を示す図である。
【図５】同実施形態の効果を具体的に説明する図である。
【図６】この発明の第２実施形態における平均化処理部１４１の処理内容を示す図である。
【図７】同実施形態における平均化処理部１４１の処理内容を示す図である。
【図８】平均化処理部１４１の他の処理形態の例を示す図である。
【図９】従来のダイナミックレンジ圧縮の例であるリニア変換と対数変換のダイナミックレンジ圧縮特性を例示する図である。
【符号の説明】
【００６０】
１１０……入力画像メモリ、１２０……出力画像メモリ、１３０……可変ゲイン増幅部、１４０……ゲイン制御部、１４１……平均化処理部、１４２……ゲイン算出処理部、１００……ダイナミックレンジ圧縮装置。
【特許請求の範囲】
【請求項１】
入力画像を構成する各画素の画素値を指示されたゲインで増幅し、出力画像を構成する各画素の画素値を出力する可変ゲイン増幅手段と、
前記入力画像を構成する各画素を各々注目画素とし、前記入力画像において注目画素を含む所定範囲内の画素の平均輝度を算出する一方、入力輝度を出力輝度に対応付けるベース関数に対し、注目画素を含む所定範囲内の画素の平均輝度を入力輝度として与え、これによりベース関数から得られる出力輝度の入力輝度に対する比を注目画素に適用するゲインとして前記可変ゲイン増幅手段に指示するゲイン制御手段と
を具備することを特徴とするダイナミックレンジ圧縮装置。
【請求項２】
前記ゲイン制御手段は、前記注目画素を含む所定範囲内に位置する各画素の輝度のうち前記注目画素の輝度に近い輝度の前記平均輝度への寄与の度合いが高くなり、前記注目画素の輝度から離れた輝度の前記平均輝度への寄与の度合いが低くなる演算方法により前記平均輝度を算出することを特徴とする請求項１に記載のダイナミックレンジ圧縮装置。
【請求項３】
前記ゲイン制御手段は、前記注目画素を含む所定範囲内に位置する画素の輝度のうち前記注目画素の輝度を基準とした所定範囲内の値を持つ輝度のみを平均化することにより前記平均輝度を算出することを特徴とする請求項２に記載のダイナミックレンジ圧縮装置。
【請求項４】
前記ゲイン制御手段は、
前記入力画像の各画素の輝度を要素とする輝度行列を生成する輝度行列生成過程を実行した後、
先行する過程において得られた輝度行列を処理対象とし、前記処理対象である輝度行列を、前記処理対象である輝度行列において離散的に分布した各要素を注目要素とし、各注目要素に対応した平均輝度であって、各注目要素を中心とした所定範囲内の各要素が示す輝度のうち当該注目要素が示す輝度に近い輝度がより寄与の度合いが高く反映された平均輝度を要素とする輝度行列に変換するダウンサンプリング過程を所定回数繰り返すことにより、前記入力画像において各要素に対応した位置の分布の密度が順次低くなる所定個数の輝度行列を順次生成し、その後、
先行する過程において得られた輝度行列を処理対象とし、前記処理対象である輝度行列を、前記入力画像における各要素に対応した位置の分布の密度がより高い輝度行列に変換する過程であって、変換後の輝度行列の各要素を算出するに当たり、前記輝度行列生成過程において生成された輝度行列の各要素のうち前記入力画像において算出対象である要素と同じ位置に対応した要素を基準要素とし、前記処理対象である輝度行列において算出対象である要素に対応した位置を中心とした所定範囲内に属する各要素が示す各輝度のうち算出対象である要素に対応した基準要素が示す輝度に近い輝度がより寄与の度合いが高く反映された平均輝度を算出し、変換後の輝度行列の要素とするアップサンプリング過程を前記ダウンサンプリング過程と同じ回数繰り返し、
前記アップサンプリング過程において最終的に得られた輝度行列の要素を入力画像の各画素を注目画素とした場合の各平均輝度とすることを特徴とする請求項２に記載のダイナミックレンジ圧縮装置。
【請求項５】
コンピュータを、
入力画像を構成する各画素の画素値を指示されたゲインで増幅し、出力画像を構成する各画素の画素値を出力する可変ゲイン増幅手段と、
前記入力画像を構成する各画素を各々注目画素とし、前記入力画像において注目画素を含む所定範囲内の画素の平均輝度を算出する一方、入力輝度を出力輝度に対応付けるベース関数に対し、注目画素を含む所定範囲内の画素の平均輝度を入力輝度として与え、これによりベース関数から得られる出力輝度の入力輝度に対する比を注目画素に適用するゲインとして前記可変ゲイン増幅手段に指示するゲイン制御手段と
して機能させることを特徴とするコンピュータプログラム。
【請求項１】
入力画像を構成する各画素の画素値を指示されたゲインで増幅し、出力画像を構成する各画素の画素値を出力する可変ゲイン増幅手段と、
前記入力画像を構成する各画素を各々注目画素とし、前記入力画像において注目画素を含む所定範囲内の画素の平均輝度を算出する一方、入力輝度を出力輝度に対応付けるベース関数に対し、注目画素を含む所定範囲内の画素の平均輝度を入力輝度として与え、これによりベース関数から得られる出力輝度の入力輝度に対する比を注目画素に適用するゲインとして前記可変ゲイン増幅手段に指示するゲイン制御手段と
を具備することを特徴とするダイナミックレンジ圧縮装置。
【請求項２】
前記ゲイン制御手段は、前記注目画素を含む所定範囲内に位置する各画素の輝度のうち前記注目画素の輝度に近い輝度の前記平均輝度への寄与の度合いが高くなり、前記注目画素の輝度から離れた輝度の前記平均輝度への寄与の度合いが低くなる演算方法により前記平均輝度を算出することを特徴とする請求項１に記載のダイナミックレンジ圧縮装置。
【請求項３】
前記ゲイン制御手段は、前記注目画素を含む所定範囲内に位置する画素の輝度のうち前記注目画素の輝度を基準とした所定範囲内の値を持つ輝度のみを平均化することにより前記平均輝度を算出することを特徴とする請求項２に記載のダイナミックレンジ圧縮装置。
【請求項４】
前記ゲイン制御手段は、
前記入力画像の各画素の輝度を要素とする輝度行列を生成する輝度行列生成過程を実行した後、
先行する過程において得られた輝度行列を処理対象とし、前記処理対象である輝度行列を、前記処理対象である輝度行列において離散的に分布した各要素を注目要素とし、各注目要素に対応した平均輝度であって、各注目要素を中心とした所定範囲内の各要素が示す輝度のうち当該注目要素が示す輝度に近い輝度がより寄与の度合いが高く反映された平均輝度を要素とする輝度行列に変換するダウンサンプリング過程を所定回数繰り返すことにより、前記入力画像において各要素に対応した位置の分布の密度が順次低くなる所定個数の輝度行列を順次生成し、その後、
先行する過程において得られた輝度行列を処理対象とし、前記処理対象である輝度行列を、前記入力画像における各要素に対応した位置の分布の密度がより高い輝度行列に変換する過程であって、変換後の輝度行列の各要素を算出するに当たり、前記輝度行列生成過程において生成された輝度行列の各要素のうち前記入力画像において算出対象である要素と同じ位置に対応した要素を基準要素とし、前記処理対象である輝度行列において算出対象である要素に対応した位置を中心とした所定範囲内に属する各要素が示す各輝度のうち算出対象である要素に対応した基準要素が示す輝度に近い輝度がより寄与の度合いが高く反映された平均輝度を算出し、変換後の輝度行列の要素とするアップサンプリング過程を前記ダウンサンプリング過程と同じ回数繰り返し、
前記アップサンプリング過程において最終的に得られた輝度行列の要素を入力画像の各画素を注目画素とした場合の各平均輝度とすることを特徴とする請求項２に記載のダイナミックレンジ圧縮装置。
【請求項５】
コンピュータを、
入力画像を構成する各画素の画素値を指示されたゲインで増幅し、出力画像を構成する各画素の画素値を出力する可変ゲイン増幅手段と、
前記入力画像を構成する各画素を各々注目画素とし、前記入力画像において注目画素を含む所定範囲内の画素の平均輝度を算出する一方、入力輝度を出力輝度に対応付けるベース関数に対し、注目画素を含む所定範囲内の画素の平均輝度を入力輝度として与え、これによりベース関数から得られる出力輝度の入力輝度に対する比を注目画素に適用するゲインとして前記可変ゲイン増幅手段に指示するゲイン制御手段と
して機能させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２８６９４（Ｐ２０１０−２８６９４Ａ）
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願番号】特願２００８−１９０４８６（Ｐ２００８−１９０４８６）
【出願日】平成２０年７月２４日（２００８．７．２４）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２０年度、文部科学省、知的クラスター創生事業第ＩＩ期、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【出願人】（３０４０２７３４９）国立大学法人豊橋技術科学大学 (391)
【Ｆターム（参考）】
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願日】平成２０年７月２４日（２００８．７．２４）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２０年度、文部科学省、知的クラスター創生事業第ＩＩ期、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【出願人】（３０４０２７３４９）国立大学法人豊橋技術科学大学 (391)
【Ｆターム（参考）】
[ Back to top ]