画像処理装置、画像表示装置、画像処理プログラム及び画像処理方法
【課題】表示部に照度の高い外光が照射される場合でも、表示画像の視認性を向上させることを課題とする。
【解決手段】画像処理装置１は、照度検出部から得られる照度を用いて、入力画像の低周波成分に適用する圧縮ゲインと、該入力画像の高周波成分に適用する拡大ゲインを導出するゲイン導出部２を有する。さらに、画像処理装置１は、ゲイン導出部２によって導出された圧縮ゲイン及び拡大ゲインに基づき、入力画像が有する画素値を補正した表示用画像を生成する表示用画像生成部３を有する。
【解決手段】画像処理装置１は、照度検出部から得られる照度を用いて、入力画像の低周波成分に適用する圧縮ゲインと、該入力画像の高周波成分に適用する拡大ゲインを導出するゲイン導出部２を有する。さらに、画像処理装置１は、ゲイン導出部２によって導出された圧縮ゲイン及び拡大ゲインに基づき、入力画像が有する画素値を補正した表示用画像を生成する表示用画像生成部３を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像表示装置、画像処理プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
従来より、表示画像の視認性を向上させることが求められている。かかる表示画像の視認性には、表示部に差し込む外光の明るさが影響する。ところが、表示部が必ずしも閲覧者の見やすい環境にあるとは限らない。
【０００３】
例えば、日光が表示部を直射する場合には、表示部で反射した日光の反射光が表示画像の視認性を悪化させる。特に、日光の反射光の照度が表示部から閲覧者へ到達する光量よりも大きい場合には、画面から閲覧者に届く光は、表示画像そのものの濃淡よりも、日光の反射光が支配的となってしまう。よって、日光の表示部への直射は、表示装置が出力した表示画像を、閲覧者にとって白くぼやけて視認される表示画像へ変えてしまう。つまり、表示部に照度が高い光が照射されると、閲覧者が視認する画像は、表示部に出力されている表示画像のコントラストよりも低下した画像となる。以上のように、画像全体の濃淡差がなくなることで、視認性が悪化する。
【０００４】
特許文献１には、表示部の周囲の照度に応じて階調補正および彩度補正を行う画像表示装置が開示されている。ここで、階調補正とは、入力画像で画素値が低い部分（以下、シャドー部と記載）ほど多くの階調を割り当て、入力画像で画素値が高い部分（以下、ハイライト部と記載）ほど少ない階調を割り当てる補正を指す。なお、画素値とは、各画素の輝度や明るさを示し、例えば「１〜２５６」の数値で表現される。また、彩度補正とは、類似する色の区別がつきやすいように、彩度を高くすることにより色の純度を高める補正である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２８５０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術には、表示部に照度の高い外光が照射される場合に表示画像の視認性を向上させるにはおのずから限界がある。
【０００７】
詳述すると、階調補正は、入力画像で画素値が低い部分ほど多くの階調を割り当てる反面で、入力画像で画素値が高い部分に割り当てることができる階調の幅が小さくなってしまう。言い換えれば、上記の従来技術は、ハイライト部の階調を犠牲にしてシャドー部に多くの階調を割り当てるに過ぎない。このように、ハイライト部へ割り当てる階調を犠牲にしたのでは、ハイライト部の含まれる画素における互いの階調の差が圧縮される。つまり、ハイライト部が白く飽和する。この結果、上記の従来技術では、原画像における微細な濃淡の違いが表示画像に再現されず、ハイライト部における視認性が悪化してしまう。
【０００８】
また、彩度補正によっては、鮮やかさが変わるだけであって、明暗のコントラストにはなんら向上効果はない。よって、彩度補正は、上述のハイライト部の視認性の低下を十分に解消することはできない。
【０００９】
本発明は、上記の課題に鑑みてなされたものであって、表示部に照度の高い外光が照射される場合でも、表示画像の視認性を向上させることができる画像処理装置、画像表示装置、画像処理プログラム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本願の開示する画像処理装置は、ゲイン導出部を有する。前記ゲイン導出部は、照度検出部から得られる照度を用いて、入力画像の低周波成分に適用する圧縮ゲインと、該入力画像の高周波成分に適用する拡大ゲインを導出する。前記画像処理装置は、表示用画像生成部を有する。前記表示用画像生成部は、前記ゲイン導出部によって導出された前記圧縮ゲイン及び前記拡大ゲインに基づき、前記入力画像が有する画素値を補正した表示用画像を生成する。
【発明の効果】
【００１１】
本願の開示する画像処理装置の一つの態様によれば、表示部に照度の高い外光が照射される場合でも、表示画像の視認性を向上させることが可能になるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施例１に係る画像処理装置の構成を示すブロック図である。
【図２Ａ】図２Ａは、入力画像の線分Ａ−Ａ´における低周波成分の画素値と高周波成分の画素値を示す図である。
【図２Ｂ】図２Ｂは、表示用画像の線分Ａ−Ａ´における低周波成分の画素値と高周波成分の画素値を示す図である。
【図３】図３は、実施例２に係る画像表示装置の構成を示すブロック図である。
【図４】図４は、高周波成分抽出部の構成を示すブロック図である。
【図５Ａ】図５Ａは、高周波成分（小）における画素値の分布を示すヒストグラムである。
【図５Ｂ】図５Ｂは、高周波成分（大）における画素値の分布を示すヒストグラムである。
【図６Ａ】図６Ａは、入力画像の一例を示す図である。
【図６Ｂ】図６Ｂは、低周波成分を示す図である。
【図６Ｃ】図６Ｃは、拡大後の高周波成分の一例を示す図である。
【図６Ｄ】図６Ｄは、補正画像の一例を示す図である。
【図７】図７は、実施例２に係る画像表示処理の手順を示すフローチャートである。
【図８】図８は、実施例３に係る画像表示装置の構成を示すブロック図である。
【図９】図９は、照度検出部の検出領域の一例を示す図である。
【図１０】図１０は、複数の照度が入力される場合における合成比の算出要領を説明するための説明図である。
【図１１】図１１は、実施例３に係る画像表示処理の手順を示すフローチャートである。
【図１２】図１２は、応用例を説明するための説明図である。
【図１３】図１３は、実施例４に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。
【発明を実施するための形態】
【００１３】
以下に、本願の開示する画像処理装置、画像表示装置、画像処理プログラム及び画像処理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１４】
図１は、実施例１に係る画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、ゲイン導出部２と、表示用画像生成部３とを有する。
【００１５】
ゲイン導出部２は、照度検出部から得られる照度を用いて、入力画像の低周波成分に適用する圧縮ゲインと、入力画像の高周波成分に適用する拡大ゲインを導出する。なお、低周波成分は、入力画像における輝度変化が、ある一定よりも小さい部分である。一方、高周波成分は、入力画像における輝度変化が、ある一定よりも大きい部分である。低周波成分と高周波成分との分離は、フィルタを用いるなどの従来技術によって行う。なお、上述のある一定とは、フィルタのサイズなどによって決まる。
【００１６】
表示用画像生成部３は、ゲイン導出部２によって導出された低周波成分の圧縮ゲイン及び高周波成分の拡大ゲインに基づき、表示部に表示させる表示用画像を生成する。
【００１７】
すなわち、表示用画像生成部３は、低周波成分のダイナミックレンジを圧縮するとともに高周波成分を拡大した上で低周波成分および高周波成分を合成することにより表示用画像を生成する。かかる低周波成分の圧縮により、表示用画像生成部３は、入力画像で画素値が低い部分（以下、シャドー部と記載）及び入力画像で画素値が高い部分（以下、ハイライト部と記載）の両方のダイナミックレンジを引き延ばす。さらに、高周波成分の拡大により、表示用画像生成部３は、シャドー部及びハイライト部の両方で入力画像における微細な濃淡の違いを際立たせる。ここで、低周波成分は、撮影した環境下における照明光などを反映するので、照明成分と呼ぶ。また、高周波成分は、撮影した環境によらない物体の濃淡情報そのものエッジを反映するので、反射率成分と呼ぶ。
【００１８】
この表示用画像の生成要領を図２Ａ及び図２Ｂを用いて説明する。図２Ａは、入力画像の線分Ａ−Ａ´における低周波成分の画素値と高周波成分の画素値を示す図である。図２Ｂは、表示用画像の線分Ａ−Ａ´における低周波成分の画素値と高周波成分の画素値を示す図である。図２Ａの右側に示す画像は、入力画像である。図２Ｂの右側に示す画像は、表示用画像である。また、図２Ａ及び図２Ｂの左側に示すグラフの横軸は、各画像の線分Ａ−Ａ´における画素の位置を示す。さらに、図２Ａ及び図２Ｂの左側に示すグラフの縦軸は、各画素の画素値を示す。
【００１９】
図２Ａ及び図２Ｂに示すように、表示用画像生成部３は、低周波成分の圧縮ゲインにしたがって、図２Ａに示す入力画像における低周波成分のダイナミックレンジを図２Ｂに示す表示用画像における低周波成分のダイナミックレンジまで圧縮する。さらに、表示用画像生成部３は、高周波成分の拡大ゲインにしたがって、図２Ａに示す入力画像における高周波成分を図２Ｂに示す高周波成分へ拡大する。
【００２０】
すでに、上述の処理により、低周波成分に対応する照明成分のダイナミックレンジを圧縮するとともに、高周波成分に対応する反射成分を拡大する。よって、本実施の形態の技術は、ハイライト部およびシャドー部それぞれにおいてコントラストを改善し、外光の影響を緩和させることができる画像を生成することが出来る。しかし、高周波成分のダイナミックレンジの引き延ばし等の処理は、もとの画像を変えるため、特に、画面にあたる外光の照度が低い場合は、過剰なコントラストに見えるケースも発生し得る。
【００２１】
そこで、ゲイン導出部２では、表示部に対して照射される外光の照度を用いて、低周波成分の圧縮ゲインと高周波成分の拡大ゲインを導出する。一例としては、ゲイン導出部２は、照度が高くなるほど圧縮ゲイン及び拡大ゲインを高くし、また、照度が低くなるほど圧縮ゲイン及び拡大ゲインを低くする。
【００２２】
このため、表示用画像生成部３は、表示部周辺の照度が低い場合に、ダイナミックレンジの引き延ばし並びに原画像の濃淡の強調を抑制した制御を実現できる。また、表示用画像生成部３は、表示部周辺の照度が高い場合に、ダイナミックレンジの引き延ばし並びに原画像の濃淡の強調を強化した制御を実現できる。
【００２３】
このように、本実施例に係る画像処理装置１では、表示部周辺の照度に追従してダイナミックレンジの引き延ばし並びに原画像の濃淡の強調を実行するので、シャドー部及びハイライト部の両方でコントラストを改善できる。したがって、本実施例に係る画像処理装置１によれば、表示部に照度の高い外光が照射される場合でも、表示画像の視認性を向上させることが可能になる。
【実施例２】
【００２４】
続いて、実施例２に係る画像表示装置について説明する。図３は、実施例２に係る画像表示装置の構成を示すブロック図である。図３に示すように、画像表示装置１０は、表示部１１と、入力画像受付部１２と、照度検出部１３と、表示制御部１４と、画像処理部１５とを有する。なお、画像表示装置１０は、静止画を表示する場合、或いは動画を表示する場合のいずれにも好適に適用できる。また、上記の実施例１におけるゲイン導出部２は、例えば図３に示す合成比演算部１７に対応する。また、上記の実施例１における表示用画像生成部３は、例えば図３に示す視認性補正部１８に対応する。
【００２５】
このうち、表示部１１は、各種の情報、例えば図示しない記憶部や外部装置から供給される画像を表示する表示デバイスであり、例えば、モニタ、ディスプレイやタッチパネルなどである。
【００２６】
入力画像受付部１２は、入力画像を受け付ける処理部である。一例としては、入力画像受付部１２は、所定の撮像装置から撮画像を受信することにより入力画像を受け付けることができる。また、入力画像受付部１２は、ネットワークを介して接続される外部装置から画像をダウンロードすることにより入力画像を受け付けることもできる。また、入力画像受付部１２は、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ（Digital Versatile Disc）などの可搬記録媒体に記録された画像を読み出すことにより入力画像を受け付けることもできる。また、入力画像受付部１２は、図示しない記憶部に記憶された画像を読み出すことにより入力画像を受け付けることもできる。このように、入力画像受付部１２は、撮像装置、読取装置または通信インタフェースなどの手段を任意に選択して実現できる。
【００２７】
照度検出部１３は、照度を検出する処理部である。一例としては、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像装置をはじめ、フォトトランジスタやフォトダイオードなどを含んで構成される照度センサを用いることができる。
【００２８】
この照度検出部１３は、表示部１１に入射する外光の照度を検出できる位置に配置されるのが好ましい。例えば、照度検出部１３として撮像装置を用いる場合には、撮像装置の撮像範囲が表示部１１の前面の所定の領域、例えば表示部１１の画面が面する半径５０ｃｍの範囲に含まれるように配置するのがよい。このほか、撮像装置は、表示部１１の画面が撮像装置の撮像範囲に含まれるように配置してもよい。また、照度検出部１３として照度センサを用いる場合には、表示部１１の前部に付設するのが好ましい。
【００２９】
表示制御部１４は、表示部１１の表示制御を行う処理部である。例えば、表示制御部１４は、後述する画像処理部１５によって入力画像の視認性が補正された場合には、補正画像を表示させる。また、入力画像の補正が実行されなかった場合には、入力画像受付部１２によって受け付けられた入力画像をそのまま表示させる。
【００３０】
画像処理部１５は、各種の画像処理を行う処理部であり、高周波成分抽出部１６と、合成比演算部１７と、視認性補正部１８とを有する。
【００３１】
このうち、高周波成分抽出部１６は、入力画像から高周波成分を抽出する処理部である。かかる高周波成分の抽出要領を図４〜図６を用いて説明する。図４は、高周波成分抽出部の構成を示すブロック図である。図５Ａは、高周波成分（小）における画素値の分布を示すヒストグラムである。図５Ｂは、高周波成分（大）における画素値の分布を示すヒストグラムである。図５Ａ及び図５Ｂに示すグラフの横軸は画素値を示す。図５Ａ及び図５Ｂに示すグラフの縦軸は画素数を示す。また、図５Ｂのグラフには、図５Ａに示したヒストグラムと同様のものを点線で図示した。図６Ａは、入力画像の一例を示す図である。図６Ｂは、低周波成分を示す図である。図６Ｃは、拡大後の高周波成分の一例を示す図である。図６Ｄは、補正画像の一例を示す図である。
【００３２】
図４に示すように、高周波成分抽出部１６は、ローパスフィルタ１６ａと、差分抽出部１６ｂと、高周波成分拡大部１６ｃとを有する。
【００３３】
このうち、ローパスフィルタ（Low Pass Filter）１６ａは、所定のフィルタテーブルを用いて、入力画像Ｘの演算対象画素の画素値及びその周辺画素の画素値に対して畳み込み演算を行うことにより低周波成分Ｙの画素値を算出するフィルタ回路である。例えば、ローパスフィルタ１６ａは、図６Ａに示す入力画像Ｘから図６Ｂに示す低周波成分Ｙを算出する。図６Ｂに示すように、入力画像Ｘにローパスフィルタ１６ａを適用して得られる低周波成分Ｙは、入力画像Ｘの画素値が平滑化されるので、被写体全体がぼやけた画像となる。ローパスフィルタには、エッジ保存型のローパスフィルタを用いればよい。エッジ保存型ローパスフィルタによって分離される成分は、照明成分と反射成分となる。なお、エッジ保存型のローパスフィルタは、バイラテラルフィルタなどを用いればよい。また、フィルタサイズは入力画像短辺の３分の１程度の行数または列数に相当するものを定義することが好ましい。なお、ローパスフィルタはエッジ保存型ローパスフィルタに限らず、一般的なローパスフィルタを用いても良い。
【００３４】
差分抽出部１６ｂは、入力画像Ｘおよび低周波成分Ｙの差分を抽出する処理部である。一例としては、差分抽出部１６ｂは、入力画像Ｘおよび低周波成分Ｙの同一座標の画素を対象とし、入力画像Ｘの画素値から低周波成分Ｙの画素値を減算する処理を画素ごとに行うことにより高周波成分（小）の画素値を算出する。なお、以下では、差分抽出部１６ｂによって抽出された高周波成分と、後段の高周波成分拡大部１６ｃによって拡大された高周波成分とを区別する便宜上、前者を高周波成分（小）、後者を高周波成分（大）と記載することとする。
【００３５】
高周波成分拡大部１６ｃは、高周波成分（小）を拡大する処理部である。ここで、高周波成分（小）を拡大するのは、高周波成分（小）が入力画像Ｘと低周波成分Ｙの差分画像であり、後段の視認生補正部１８における補正に高周波成分（小）を使用するには高周波成分（小）の画素値の振幅が小さすぎるからである。
【００３６】
このため、高周波成分拡大部１６ｃでは、高周波成分（小）における画素の最大値および最小値をもとに線形補間を行って高周波成分（小）の画素値のレンジを広げる。一例としては、高周波成分拡大部１６ｃは、高周波成分（小）における画素の最小値を画素値「１」とし、画素の最大値を画素値「２５６」として高周波成分（小）の全画素に線形補間を行う。図５Ａ及び図５Ｂの例で言えば、図５Ａに示す高周波成分（小）の画素値に線形補間が行われることにより、高周波成分（小）の画素値のレンジがレンジＲ１からレンジＲ２に広げられることになる。
【００３７】
このような高周波成分（小）の階調補正を行った上で、高周波成分拡大部１６ｃは、レンジＲ２に対するレンジＲ１の割合、すなわちレンジＲ２をレンジＲ１で除した除算結果を拡大率αとして算出する。そして、高周波成分拡大部１６ｃは、このようにして決定した拡大率αにしたがって高周波成分（小）を拡大する。これによって高周波成分（大）が得られる。図６Ｃに示す例では、低周波成分Ｙの除去並びに高周波成分（小）の拡大により、入力画像Ｘにおける微細な濃淡の違いが強調された高周波成分（大）が得られたことを示す。図６Ｃに示す高周波成分（大）は、理論上、最良視認性を有する画像となる。
【００３８】
図３の説明に戻り、合成比演算部１５は、照度検出部１３から得られる照度を用いて、高周波成分（大）の合成比ａを演算する処理部である。なお、ここでは、合成比演算部１５は、低周波成分Ｙとの間の合成比ではなく、高周波成分（大）と入力画像Ｘとの間での合成比を算出するものとする。しかし、入力画像Ｘには、低周波成分Ｙが含まれており、低周波成分及び高周波成分の合成比を求める場合と実質的に同一である。なお、合成比ａは、「０≦ａ≦１」であるものとする。
【００３９】
これを説明すると、合成比演算部１５は、入力画像および高周波成分を合成する時の高周波成分（大）の合成比が「ａ」であるから、入力画像Ｘの合成比は「１−ａ」となる。そして、図４に示すように、入力画像はＸ、低周波成分はＹ、高周波成分（小）はＺ／α、高周波成分（大）はＺであるので、入力画像及び高周波成分（大）の合成画像（以下、補正画像と記載）は「Ｘ（１−ａ）＋ａＺ」となる。入力画像Ｘへ「Ｘ＝Ｙ＋Ｚ／α」を代入して、Ｘ、Ｙの項でくくると、「Ｙ（１−ａ）＋Ｚ／α（αａ＋１−ａ）」となる。このため、合成比ａを演算することは、低周波成分Ｙの圧縮ゲインとして（１−ａ）を演算していることと変わらず、また、高周波成分（小）Ｚ／αの拡大ゲインとして（αａ＋１−ａ）を演算していることと同義である。したがって、合成比演算部１５は、低周波成分Ｙの圧縮ゲインと、高周波成分（小）Ｚ／αの拡大ゲインとを演算するのと同義であると言える。
【００４０】
続いて、合成比演算部１５による合成比αの演算要領を説明する。合成比演算部１５は、照度検出部１３によって検出された照度が高いほど合成比ａが大きくなるように合成比ａの演算を行う。一例としては、合成比演算部１５は、５００Ｌｕｘの時の合成比ａを０とし、１０万Ｌｕｘの時の合成比ａを０．８と定義した線形関数を保持する。そして、合成比演算部１５は、照度検出部１３によって照度が検出された場合にその照度を線形関数に代入することにより合成比ａを演算する。なお、合成比演算部１５は、照度検出部１３によって検出された照度が所定の閾値、例えば５００Ｌｕｘ未満である場合には、外光が表示部１１に及ぼす影響が微細なものであると見做し、合成比ａの演算は実行しない。もちろん、合成の比率は所定の範囲で一律の傾きを有する線形関数にすることに限定されるわけではない。例えば、合成の比率は、１０万Ｌｕｘで０．８、２万Ｌｕｘで０．２、５００Ｌｕｘの時に０とし、その間を線形としても良い。
【００４１】
視認性補正部１８は、入力画像Ｘの視認性を向上させるための補正を行う処理部である。すなわち、視認性補正部１８は、合成比演算部１５によって演算された合成比ａを用いて、入力画像Ｘおよび高周波成分（大）Ｚを合成する。かかる合成について説明すると、視認性補正部１８は、入力画像および高周波成分（大）の同一座標の画素を対象とし、入力画像の画素値に入力画像の合成比（１−ａ）を乗算するとともに高周波成分（大）の画素値に高周波成分（大）の合成比ａを乗算する。そして、視認性補正部１８は、入力画像の画素値及び合成比（１−ａ）の乗算値と、高周波成分（大）の画素値及び合成比ａの乗算値とを足し合わせることにより、補正画像の画素値を算出する。このようにして、視認性補正部１８は、入力画像Ｘおよび高周波成分（大）の全画素について演算を実行することにより補正画像を得ることができる。
【００４２】
例えば、図６Ｄに示す例では、表示部１１周辺の照度に追従してダイナミックレンジの引き延ばし並びに原画像の濃淡の強調が実行された補正画像を得ることができる。この図６Ｄに示す補正画像を図６Ａに示した入力画像Ｘと対比すると、入力画像Ｘでは、図中の下部のシャドー部で黒くつぶれていた「車道」や「車」を補正画像でははっきりと視認できる。さらに、補正画像では、入力画像Ｘでは黒くつぶれていた図中の左側の「木」の節や木目をはっきりと視認できる。
【００４３】
なお、画像処理部１５の機能は、情報処理装置に搭載することで実現することもできる。かかる情報処理装置としては、既知のパーソナルコンピュータ、ワークステーションなどの固定端末、さらには、カーナビゲーションシステム、携帯電話、ＰＨＳ端末またはＰＤＡなどの移動体端末が挙げられる。特に、画像処理部１５の機能を移動体端末に搭載した場合には、所在位置の変化により表示部へ入射する外光の照度が著しく変化することが想定されるので、より一層の効果が期待できる。
【００４４】
また、入力画像受付部１２、表示制御部１４、画像処理部１５は、集積回路や電子回路により実現される。集積回路としては、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などを適用できる。また、電子回路としては、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などを適用できる。
【００４５】
［処理の流れ］
次に、本実施例に係る画像表示装置の処理の流れを説明する。図７は、実施例２に係る画像表示処理の手順を示すフローチャートである。この画像表示処理は、画像処理装置の電源がＯＮ状態である場合に、入力画像受付部１２によって入力画像が受け付けられると起動する。
【００４６】
図７に示すように、入力画像を受け付けると（ステップＳ１０１肯定）、合成比演算部１５は、照度検出部１３によって検出された照度が所定の閾値、例えば５００Ｌｕｘ以上であるか否かを判定する（ステップＳ１０２）。
【００４７】
このとき、照度が所定の閾値未満であれば（ステップＳ１０２否定）、表示制御部１４は、外光が表示部１１に及ぼす影響が微細なものであり補正が不要であるので、入力画像をそのまま表示部１１に表示させ（ステップＳ１０３）、処理を終了する。
【００４８】
一方、照度が所定の閾値以上であれば（ステップＳ１０２肯定）、合成比演算部１５は、照度検出部１３から得られる照度を用いて、高周波成分（大）の合成比ａを演算する（ステップＳ１０４）。
【００４９】
そして、高周波成分抽出部１６は、入力画像Ｘにローパスフィルタ１６ａを適用して低周波成分Ｙを算出する。そして、高周波成分抽出部１６は、これら入力画像Ｘおよび低周波成分Ｙの差分を抽出することにより、高周波成分（小）を算出する（ステップＳ１０５）。
【００５０】
続いて、高周波成分抽出部１６は、高周波成分（小）の階調補正を行った上で、階調補正後の高周波成分（小）の画素値のレンジを階調補正前の高周波成分（小）の画素値のレンジで除算することにより拡大率αを算出する（ステップＳ１０６）。その後、高周波成分拡大部１６ｃは、このようにして決定した拡大率αにしたがって高周波成分（小）を拡大する（ステップＳ１０７）。つまり、高周波成分拡大部１６ｃは、高周波成分（大）を生成する。
【００５１】
そして、視認性補正部１８は、合成比演算部１５によって演算された合成比ａを用いて、入力画像Ｘと高周波成分（大）Ｚとを合成する（ステップＳ１０８）。続いて、表示制御部１４は、視認性補正部１８によって補正された補正画像を表示させ（ステップＳ１０９）、処理を終了する。
【００５２】
なお、図７に示したフローチャートでは、照度が所定の閾値未満である場合（ステップＳ１０２否定）に、ステップＳ１０３で入力画像を表示させることとしたが、ステップＳ１０４に移行させてもかまわない。なぜなら、合成比演算部１５は、照度が所定の閾値以下である場合には、合成比ａをゼロと算出するので、結果として、入力画像が表示されることになるからである。
【００５３】
また、図７に示したフローチャートでは、入力画像を受け付ける度に合成比演算部１５が合成比ａを演算する場合を示したが、必ずしも合成比ａを毎回演算する必要はない。例えば、入力画像を受け付けた場合に所定回数のうち１回だけ合成比ａを算出させることとし、それまでは前回に演算した合成比ａを流用させることとしてもよい。また、前回に合成比ａを算出してから所定期間が経過するまで前回に演算した合成比ａを流用させることとしてもよい。
【００５４】
［実施例２の効果］
上述してきたように、本実施例に係る画像表示装置１０では、表示部１１周辺の照度に追従してダイナミックレンジの引き延ばし並びに原画像の濃淡の強調を実行するので、シャドー部及びハイライト部の両方でコントラストを改善できる。したがって、本実施例に係る画像処理装置１０によれば、表示部１１に照度の高い外光が照射される場合でも、表示画像の視認性を向上させることが可能である。
【実施例３】
【００５５】
さて、上記の実施例２では、画像表示装置１０が１つの照度検出部１３を有する例を説明したが、照度検出部は必ずしも１つである必要はない。そこで、実施例３では、画像表示装置３０が複数の照度検出部３１−１及び照度検出部３１−２を有する場合について説明する。
【００５６】
図８は、実施例３に係る画像表示装置の構成を示すブロック図である。図８に示すように、画像表示装置３０は、図３に示した画像表示装置１０と比較して、複数の照度検出部３１−１及び３１−２を有する点が異なる。さらに、図８に示すように、図３に示した画像表示装置１０とは処理内容が一部異なる合成比演算部３３及び視認性補正部３４を画像処理部３２に有する点が異なる。
【００５７】
これら照度検出部３１−１及び３１−２の検出領域の一例を説明する。図９は、照度検出部の検出領域の一例を示す図である。図９に示す例では、表示部１１の画面を正面視した場合における画面左側の領域が照度検出部３１−１の検出領域であり、また、画面右側の領域が照度検出部３１−２の検出領域であることを示す。なお、ここでは、２つの照度検出部３１−１及び３１−２を有する場合を例示したが、開示の装置は照度検出部の個数が１つまたは２つに限定されない。すなわち、任意の個数の照度検出部を設ける場合にも開示の装置を同様に適用できる。また、照度検出部３１−１及び３１−２の検出領域が重複しない例を説明したが、検出領域の一部が重複することとしてもかまわない。
【００５８】
また、合成比演算部３３は、照度検出部３１−１及び３１−２から得られる照度を用いて、高周波成分（大）の合成比ａを演算する。ここで、図３に示した合成比演算部１７との相違点を説明すると、図３に示した合成比演算部１７は、全ての画素に対して同じ合成比ａを用いる場合を説明したが、図８の合成比演算部３３では、全ての画素に対して同じ合成比ａは適用しない。
【００５９】
これを説明すると、合成比演算部３３は、照度検出部３１−１及び照度検出部３１−２の検出領域それぞれ個別に合成比を演算する。かかる検出領域別の合成比の演算は図３に示した合成比演算部１７と同様であるので、説明を省略する。例えば、図９に示すように、合成比演算部３３が照度検出部３１−１の検出領域における合成比としてａ１を算出し、照度検出部３１−２の検出領域における合成比としてａ２を算出した場合を想定する。
【００６０】
図１０は、複数の照度が入力される場合における合成比の算出要領を説明するための説明図である。図１０に示すグラフの横軸は画素位置のＸ座標である。図１０に示すグラフの縦軸は合成比を指す。図１０の例では、表示部１１を正面視した場合における画面の左端のＸ座標が０（最小値）であり、画面の右端であるＸ座標がＭ（最大値）である場合を想定する。図１０の例では、合成比演算部３３は、Ｘ座標が最小値０である場合の合成比をａ１と定義し、Ｘ座標が最大値Ｍである場合の合成比をａ２と定義する。そして、合成比演算部３３は、これら２点から定まる線形関数に対して視認性補正の対象とする画素のＸ座標を入力することにより、そのＸ座標を持つ画素で視認性補正に使用する合成比ａ´を演算する。
【００６１】
図８の説明に戻り、視認性補正部３４は、合成比演算部１５によって演算された合成比ａを用いて、入力画像Ｘおよび高周波成分（大）Ｚを合成する。ここで、図３に示した視認性補正部１８との相違点を説明すると、図３に示した視認性補正部１８は、全ての画素に対して同じ合成比ａを用いる場合を説明したが、視認性補正部３４では、全ての画素に対して同じ合成比を用いずにＸ座標により変化する合成比ａ´を用いる。
【００６２】
これを説明すると、視認性補正部３４は、補正画像の画素値の算出対象とする画素のＸ座標を合成比演算部３３に通知し、それに対する応答として合成比ａ´を取得する。このようにして合成比ａ´の応答が得られると、視認性補正部３４は、入力画像の画素値に入力画像の合成比（１−ａ´）を乗算するとともに高周波成分（大）の画素値に高周波成分（大）の合成比ａ´を乗算する。そして、視認性補正部３４は、入力画像の画素値及び合成比（１−ａ´）の乗算値と、高周波成分（大）の画素値及び合成比ａ´の乗算値とを足し合わせることにより、補正画像の画素値を算出する。このようにして、視認性補正部３４は、入力画像Ｘおよび高周波成分（大）の全画素について演算を実行することにより補正画像を得る。
【００６３】
次に、本実施例に係る画像処理装置の処理の流れを説明する。図１１は、実施例３に係る画像表示処理の手順を示すフローチャートである。この画像表示処理は、画像処理装置の電源がＯＮ状態である場合に、入力画像受付部１２によって入力画像が受け付けられると起動する。
【００６４】
図１１に示すように、入力画像を受け付けると（ステップＳ２０１肯定）、合成比演算部３３は、照度検出部３１−１によって検出された照度が所定の閾値、例えば５００Ｌｕｘ以上であるか否かを判定する（ステップＳ２０２）。
【００６５】
このとき、照度検出部３１−１によって検出された照度が所定の閾値未満であれば（ステップＳ２０２否定）、合成比演算部３３は、照度検出部３１−２によって検出された照度が所定の閾値以上であるか否かをさらに判定する（ステップＳ２０３）。
【００６６】
そして、照度検出部３１−２によって検出された照度も所定の閾値未満であれば（ステップＳ２０３否定）、表示制御部１４は、入力画像をそのまま表示部１１に表示させ（ステップＳ２０４）、処理を終了する。
【００６７】
一方、照度検出部３１−１又は３１−２によって検出された照度のいずれかが所定の閾値以上であれば（ステップＳ２０２肯定又はＳ２０３肯定）、合成比演算部３３は、検出領域別に合成比ａ１及び合成比ａ２を演算する（ステップＳ２０５）。
【００６８】
そして、高周波成分抽出部１６は、入力画像Ｘにローパスフィルタ１６ａを適用して低周波成分Ｙを算出し、これら入力画像Ｘおよび低周波成分Ｙの差分を抽出することにより、高周波成分（小）を算出する（ステップＳ２０６）。
【００６９】
続いて、高周波成分抽出部１６は、高周波成分（小）の階調補正を行った上で、階調補正後の高周波成分（小）の画素値のレンジを階調補正前の高周波成分（小）の画素値のレンジで除算することにより拡大率αを算出する（ステップＳ２０７）。その後、高周波成分拡大部１６ｃは、このようにして決定した拡大率αにしたがって高周波成分（小）を拡大する（ステップＳ２０８）。
【００７０】
そして、視認性補正部３４は、補正画像の画素値の算出対象とする画素のＸ座標を合成比演算部３３に通知することにより、そのＸ座標の合成比ａ´を合成比演算部３３に演算させる（ステップＳ２０９）。
【００７１】
その後、合成比演算部３３から合成比ａ´の応答が得られると、視認性補正部３４は、入力画像Ｘおよび高周波成分（大）Ｚの画素値を合成比ａ´で合成することにより補正画像の画素値を算出する（ステップＳ２１０）。
【００７２】
そして、補正画像の画素値を全ての画素について処理が終了するまで（ステップＳ２１１否定）、上記のステップＳ２０９〜Ｓ２１１の処理を繰り返し行う。その後、補正画像の画素値を全ての画素について処理が終了すると（ステップＳ２１１肯定）、表示制御部１４は、視認性補正部１８によって補正された補正画像を表示させ（ステップＳ２１２）、処理を終了する。
【００７３】
上述してきたように、本実施例に係る画像表示装置３０においても、上記の実施例１及び２と同様に、表示部１１に照度の高い外光が照射される場合でも、表示画像の視認性を向上させることが可能である。
【００７４】
また、本実施例に係る画像表示装置３０では、複数の照度検出部３１−１及び３１−２から得られる照度を用いて、高周波成分（大）Ｚの合成比ａ´を演算する。このため、本実施例に係る画像表示装置３０によれば、照度検出部の検出領域別に合成比ａ´を演算できる。さらに、本実施例に係る画像表示装置３０によれば、照度検出部の検出領域別の合成比ａ´を用いて、各検出領域間の合成比ａ´を線形補間できる。また、本実施例に係る画像表示装置３０によれば、表示部１１に照射される外光の照度にばらつきがある場合でも、そのばらつきに追従して入力画像Ｘ及び高周波成分（大）Ｚを合成することが可能である。
【実施例４】
【００７５】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【００７６】
［応用例］
例えば、開示の装置は、入力画像Ｘに含まれる画素値の大きさに応じて、高周波成分（大）Ｚの合成比を導出することもできる。図１２は、応用例を説明するための説明図である。図１２に示すグラフの横軸は画素値である。図１２に示すグラフの縦軸は合成比である。図１２に示す例では、照度が２万Ｌｕｘである場合に合成比の導出に使用する波形、照度が５万Ｌｕｘである場合に合成比の導出に使用する波形、照度が１０万Ｌｕｘである場合に合成比の導出に使用する波形が与えられている。このような照度別の波形を予め記憶しておけば、合成比演算部は、照度検出部によって照度が検出された時点でいずれの波形を利用するかを特定できる。さらに、どの波形を利用するのかを決めれば、合成比演算部は、入力画像Ｘの画素値に対応する合成比を導出できる。
【００７７】
このように、入力画像Ｘに含まれる画素値の大きさに応じて高周波成分（大）の合成比を導出することで、例えば画素値の最低値の近傍または最高値の近傍における合成比ａをなだらかにするなど、視認性補正を行うにあたって柔軟な補正が可能になる。
【００７８】
また、開示の装置は、画像を表示する表示部を有する画像表示装置と、画像表示装置に接続されるサーバ装置とを有する画像処理システムとすることもできる。すなわち、図３に示した画像処理部１５、或いは図８に示した画像処理部３２をサーバ装置とし、表示部及び照度検出部を有するクライアント端末に対して、画像データの視認性補正サービスを提供させる。一例としては、クライアント装置は、表示部の周辺に所在する照度検出部から得られた照度をサーバ装置へ通知する。一方、サーバ装置は、クライアント端末から通知された照度を用いて、入力画像の低周波成分に適用される圧縮ゲインと、入力画像の高周波成分に適用する拡大ゲインを導出する。そして、サーバ装置は、導出した低周波成分の圧縮ゲイン及び高周波成分の拡大ゲインに基づき、クライアント端末の表示部に表示させる表示用画像を生成し、生成した表示用画像をクライアント端末へ送信する。
【００７９】
また、開示の装置では、高周波成分（大）Ｚの合成比の導出履歴を記憶する導出履歴記憶部をさらに設けることもできる。その上で、開示の装置は、合成比演算部１７又は３３によって今回に演算された合成比ａ、ａ１、ａ２及び／又はａ´が導出履歴記憶部に導出履歴として記憶された合成比ａ、ａ１、ａ２及び／又はａ´から所定範囲を超えて逸脱するか否かを判定する。そして、ゲイン導出部２は、所定範囲を超えて逸脱する場合に、合成比ａ、ａ１、ａ２及び／又はａ´が所定範囲に収まるように合成比演算部１７又は３３に再演算させるようにしてもよい。これによって、前回の入力画像と今回の入力画像との間で合成比が急激にばらつくことがなくなる。このため、閲覧者が表示画像に違和感を覚えることを防止できる。
【００８０】
また、上記の実施例１〜３では、入力画像に対する階調補正や彩度補正を行わずに視認性補正だけを行う場合を例示したが、階調補正及び／又は彩度補正を組み合わせて行うこともできる。
【００８１】
［適用例］
なお、上記の実施例２及び３では、入力画像Ｘと高周波成分（大）Ｚを合成する視認性補正を例示したが、開示の装置はこれに限定されるものではない。すなわち、開示の装置は、低周波成分と高周波成分のゲインを変える技術全般に適用できる。例えば、人間の視覚特性をモデル化した「Ｃｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ Ｒｅｔｉｎｅｘ」と呼ばれる画質改善手法にも開示の装置を同様に適用できる。
【００８２】
なお、上記の実施例２及び３では、合成比演算部１７又は３３が照度検出部から照度を受け取った場合に合成比ａ、合成比ａ´を算出することとしたが、照度と合成比を対応付けて記憶するテーブル等を画像表示装置１０又は３０に保持させることとしてもよい。
【００８３】
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、画像処理部１５または３２を画像表示装置の外部装置としてネットワーク経由で接続するようにしてもよい。また、高周波成分抽出部１６、合成比演算部１７又は視認性補正部１８を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の画像処理装置または画像表示装置の機能を実現するようにしてもよい。
【００８４】
［画像処理プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１３を用いて、上記の実施例と同様の機能を有する画像処理プログラムを実行するコンピュータの一例について説明する。なお、図１３は、実施例４に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。
【００８５】
図１３に示すように、実施例４におけるコンピュータ１００は、操作部１１０ａと、マイク１１０ｂと、スピーカ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ（Hard Disk Drive）１７０と、ＲＡＭ（Random Access Memory）１８０と有する。これら１１０〜１８０の各部はバス１４０を介して接続される。
【００８６】
ＲＯＭ１６０には、上記の実施例２で示した高周波成分抽出部１６と、合成比演算部１７と、視認性補正部１８と同様の機能を発揮する制御プログラムが予め記憶される。つまり、ＲＯＭ１６０には、図１３に示すように、高周波成分抽出プログラム１６０ａと、合成比演算プログラム１６０ｂと、視認性補正プログラム１６０ｃとが記憶される。なお、これらのプログラム１６０ａ〜１６０ｃについては、図３に示した画像処理部１５の各構成要素と同様、適宜統合又は分離しても良い。
【００８７】
そして、ＣＰＵ１５０が、これらのプログラム１６０ａ〜１６０ｃをＲＯＭ１６０から読み出して実行する。これによって、ＣＰＵ１５０は、図１３に示すように、各プログラム１６０ａ〜１６０ｃについては、高周波成分抽出プロセス１５０ａ、合成比演算プロセス１５０ｂ及び視認性補正プロセス１５０ｃとして機能するようになる。なお、各プロセス１５０ａ〜１５０ｃは、図３に示した、高周波成分抽出部１６と、合成比演算部１７と、視認性補正部１８とにそれぞれ対応する。
【００８８】
そして、ＨＤＤ１７０には、入力画像１７０ａが設けられる。続いて、ＣＰＵ１５０は、入力画像１７０ａを読み出してＲＡＭ１８０に格納する。さらに、ＣＰＵ１５０は、ＲＡＭ１８０に格納された入力画像データ１８０ａを用いて、高周波成分データ１８０ｂを生成する。さらに、ＣＰＵ１５０は、入力画像データ１８０ａ及び高周波成分データ１８０ｂを用いて、補正画像を生成することにより、画像処理プログラムを実行する。
【符号の説明】
【００８９】
１ 画像処理装置
２ ゲイン導出部
３ 表示用画像生成部
１０ 画像表示装置
１１ 表示部
１２ 入力画像受付部
１３ 照度検出部
１４ 表示制御部
１５ 画像処理部
１６ 高周波成分抽出部
１６ａ ローパスフィルタ
１６ｂ 差分抽出部
１６ｃ 高周波成分拡大部
１７ 合成比演算部
１８ 視認性補正部
【技術分野】
【０００１】
本発明は、画像処理装置、画像表示装置、画像処理プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
従来より、表示画像の視認性を向上させることが求められている。かかる表示画像の視認性には、表示部に差し込む外光の明るさが影響する。ところが、表示部が必ずしも閲覧者の見やすい環境にあるとは限らない。
【０００３】
例えば、日光が表示部を直射する場合には、表示部で反射した日光の反射光が表示画像の視認性を悪化させる。特に、日光の反射光の照度が表示部から閲覧者へ到達する光量よりも大きい場合には、画面から閲覧者に届く光は、表示画像そのものの濃淡よりも、日光の反射光が支配的となってしまう。よって、日光の表示部への直射は、表示装置が出力した表示画像を、閲覧者にとって白くぼやけて視認される表示画像へ変えてしまう。つまり、表示部に照度が高い光が照射されると、閲覧者が視認する画像は、表示部に出力されている表示画像のコントラストよりも低下した画像となる。以上のように、画像全体の濃淡差がなくなることで、視認性が悪化する。
【０００４】
特許文献１には、表示部の周囲の照度に応じて階調補正および彩度補正を行う画像表示装置が開示されている。ここで、階調補正とは、入力画像で画素値が低い部分（以下、シャドー部と記載）ほど多くの階調を割り当て、入力画像で画素値が高い部分（以下、ハイライト部と記載）ほど少ない階調を割り当てる補正を指す。なお、画素値とは、各画素の輝度や明るさを示し、例えば「１〜２５６」の数値で表現される。また、彩度補正とは、類似する色の区別がつきやすいように、彩度を高くすることにより色の純度を高める補正である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２８５０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術には、表示部に照度の高い外光が照射される場合に表示画像の視認性を向上させるにはおのずから限界がある。
【０００７】
詳述すると、階調補正は、入力画像で画素値が低い部分ほど多くの階調を割り当てる反面で、入力画像で画素値が高い部分に割り当てることができる階調の幅が小さくなってしまう。言い換えれば、上記の従来技術は、ハイライト部の階調を犠牲にしてシャドー部に多くの階調を割り当てるに過ぎない。このように、ハイライト部へ割り当てる階調を犠牲にしたのでは、ハイライト部の含まれる画素における互いの階調の差が圧縮される。つまり、ハイライト部が白く飽和する。この結果、上記の従来技術では、原画像における微細な濃淡の違いが表示画像に再現されず、ハイライト部における視認性が悪化してしまう。
【０００８】
また、彩度補正によっては、鮮やかさが変わるだけであって、明暗のコントラストにはなんら向上効果はない。よって、彩度補正は、上述のハイライト部の視認性の低下を十分に解消することはできない。
【０００９】
本発明は、上記の課題に鑑みてなされたものであって、表示部に照度の高い外光が照射される場合でも、表示画像の視認性を向上させることができる画像処理装置、画像表示装置、画像処理プログラム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本願の開示する画像処理装置は、ゲイン導出部を有する。前記ゲイン導出部は、照度検出部から得られる照度を用いて、入力画像の低周波成分に適用する圧縮ゲインと、該入力画像の高周波成分に適用する拡大ゲインを導出する。前記画像処理装置は、表示用画像生成部を有する。前記表示用画像生成部は、前記ゲイン導出部によって導出された前記圧縮ゲイン及び前記拡大ゲインに基づき、前記入力画像が有する画素値を補正した表示用画像を生成する。
【発明の効果】
【００１１】
本願の開示する画像処理装置の一つの態様によれば、表示部に照度の高い外光が照射される場合でも、表示画像の視認性を向上させることが可能になるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施例１に係る画像処理装置の構成を示すブロック図である。
【図２Ａ】図２Ａは、入力画像の線分Ａ−Ａ´における低周波成分の画素値と高周波成分の画素値を示す図である。
【図２Ｂ】図２Ｂは、表示用画像の線分Ａ−Ａ´における低周波成分の画素値と高周波成分の画素値を示す図である。
【図３】図３は、実施例２に係る画像表示装置の構成を示すブロック図である。
【図４】図４は、高周波成分抽出部の構成を示すブロック図である。
【図５Ａ】図５Ａは、高周波成分（小）における画素値の分布を示すヒストグラムである。
【図５Ｂ】図５Ｂは、高周波成分（大）における画素値の分布を示すヒストグラムである。
【図６Ａ】図６Ａは、入力画像の一例を示す図である。
【図６Ｂ】図６Ｂは、低周波成分を示す図である。
【図６Ｃ】図６Ｃは、拡大後の高周波成分の一例を示す図である。
【図６Ｄ】図６Ｄは、補正画像の一例を示す図である。
【図７】図７は、実施例２に係る画像表示処理の手順を示すフローチャートである。
【図８】図８は、実施例３に係る画像表示装置の構成を示すブロック図である。
【図９】図９は、照度検出部の検出領域の一例を示す図である。
【図１０】図１０は、複数の照度が入力される場合における合成比の算出要領を説明するための説明図である。
【図１１】図１１は、実施例３に係る画像表示処理の手順を示すフローチャートである。
【図１２】図１２は、応用例を説明するための説明図である。
【図１３】図１３は、実施例４に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。
【発明を実施するための形態】
【００１３】
以下に、本願の開示する画像処理装置、画像表示装置、画像処理プログラム及び画像処理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１４】
図１は、実施例１に係る画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、ゲイン導出部２と、表示用画像生成部３とを有する。
【００１５】
ゲイン導出部２は、照度検出部から得られる照度を用いて、入力画像の低周波成分に適用する圧縮ゲインと、入力画像の高周波成分に適用する拡大ゲインを導出する。なお、低周波成分は、入力画像における輝度変化が、ある一定よりも小さい部分である。一方、高周波成分は、入力画像における輝度変化が、ある一定よりも大きい部分である。低周波成分と高周波成分との分離は、フィルタを用いるなどの従来技術によって行う。なお、上述のある一定とは、フィルタのサイズなどによって決まる。
【００１６】
表示用画像生成部３は、ゲイン導出部２によって導出された低周波成分の圧縮ゲイン及び高周波成分の拡大ゲインに基づき、表示部に表示させる表示用画像を生成する。
【００１７】
すなわち、表示用画像生成部３は、低周波成分のダイナミックレンジを圧縮するとともに高周波成分を拡大した上で低周波成分および高周波成分を合成することにより表示用画像を生成する。かかる低周波成分の圧縮により、表示用画像生成部３は、入力画像で画素値が低い部分（以下、シャドー部と記載）及び入力画像で画素値が高い部分（以下、ハイライト部と記載）の両方のダイナミックレンジを引き延ばす。さらに、高周波成分の拡大により、表示用画像生成部３は、シャドー部及びハイライト部の両方で入力画像における微細な濃淡の違いを際立たせる。ここで、低周波成分は、撮影した環境下における照明光などを反映するので、照明成分と呼ぶ。また、高周波成分は、撮影した環境によらない物体の濃淡情報そのものエッジを反映するので、反射率成分と呼ぶ。
【００１８】
この表示用画像の生成要領を図２Ａ及び図２Ｂを用いて説明する。図２Ａは、入力画像の線分Ａ−Ａ´における低周波成分の画素値と高周波成分の画素値を示す図である。図２Ｂは、表示用画像の線分Ａ−Ａ´における低周波成分の画素値と高周波成分の画素値を示す図である。図２Ａの右側に示す画像は、入力画像である。図２Ｂの右側に示す画像は、表示用画像である。また、図２Ａ及び図２Ｂの左側に示すグラフの横軸は、各画像の線分Ａ−Ａ´における画素の位置を示す。さらに、図２Ａ及び図２Ｂの左側に示すグラフの縦軸は、各画素の画素値を示す。
【００１９】
図２Ａ及び図２Ｂに示すように、表示用画像生成部３は、低周波成分の圧縮ゲインにしたがって、図２Ａに示す入力画像における低周波成分のダイナミックレンジを図２Ｂに示す表示用画像における低周波成分のダイナミックレンジまで圧縮する。さらに、表示用画像生成部３は、高周波成分の拡大ゲインにしたがって、図２Ａに示す入力画像における高周波成分を図２Ｂに示す高周波成分へ拡大する。
【００２０】
すでに、上述の処理により、低周波成分に対応する照明成分のダイナミックレンジを圧縮するとともに、高周波成分に対応する反射成分を拡大する。よって、本実施の形態の技術は、ハイライト部およびシャドー部それぞれにおいてコントラストを改善し、外光の影響を緩和させることができる画像を生成することが出来る。しかし、高周波成分のダイナミックレンジの引き延ばし等の処理は、もとの画像を変えるため、特に、画面にあたる外光の照度が低い場合は、過剰なコントラストに見えるケースも発生し得る。
【００２１】
そこで、ゲイン導出部２では、表示部に対して照射される外光の照度を用いて、低周波成分の圧縮ゲインと高周波成分の拡大ゲインを導出する。一例としては、ゲイン導出部２は、照度が高くなるほど圧縮ゲイン及び拡大ゲインを高くし、また、照度が低くなるほど圧縮ゲイン及び拡大ゲインを低くする。
【００２２】
このため、表示用画像生成部３は、表示部周辺の照度が低い場合に、ダイナミックレンジの引き延ばし並びに原画像の濃淡の強調を抑制した制御を実現できる。また、表示用画像生成部３は、表示部周辺の照度が高い場合に、ダイナミックレンジの引き延ばし並びに原画像の濃淡の強調を強化した制御を実現できる。
【００２３】
このように、本実施例に係る画像処理装置１では、表示部周辺の照度に追従してダイナミックレンジの引き延ばし並びに原画像の濃淡の強調を実行するので、シャドー部及びハイライト部の両方でコントラストを改善できる。したがって、本実施例に係る画像処理装置１によれば、表示部に照度の高い外光が照射される場合でも、表示画像の視認性を向上させることが可能になる。
【実施例２】
【００２４】
続いて、実施例２に係る画像表示装置について説明する。図３は、実施例２に係る画像表示装置の構成を示すブロック図である。図３に示すように、画像表示装置１０は、表示部１１と、入力画像受付部１２と、照度検出部１３と、表示制御部１４と、画像処理部１５とを有する。なお、画像表示装置１０は、静止画を表示する場合、或いは動画を表示する場合のいずれにも好適に適用できる。また、上記の実施例１におけるゲイン導出部２は、例えば図３に示す合成比演算部１７に対応する。また、上記の実施例１における表示用画像生成部３は、例えば図３に示す視認性補正部１８に対応する。
【００２５】
このうち、表示部１１は、各種の情報、例えば図示しない記憶部や外部装置から供給される画像を表示する表示デバイスであり、例えば、モニタ、ディスプレイやタッチパネルなどである。
【００２６】
入力画像受付部１２は、入力画像を受け付ける処理部である。一例としては、入力画像受付部１２は、所定の撮像装置から撮画像を受信することにより入力画像を受け付けることができる。また、入力画像受付部１２は、ネットワークを介して接続される外部装置から画像をダウンロードすることにより入力画像を受け付けることもできる。また、入力画像受付部１２は、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ（Digital Versatile Disc）などの可搬記録媒体に記録された画像を読み出すことにより入力画像を受け付けることもできる。また、入力画像受付部１２は、図示しない記憶部に記憶された画像を読み出すことにより入力画像を受け付けることもできる。このように、入力画像受付部１２は、撮像装置、読取装置または通信インタフェースなどの手段を任意に選択して実現できる。
【００２７】
照度検出部１３は、照度を検出する処理部である。一例としては、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像装置をはじめ、フォトトランジスタやフォトダイオードなどを含んで構成される照度センサを用いることができる。
【００２８】
この照度検出部１３は、表示部１１に入射する外光の照度を検出できる位置に配置されるのが好ましい。例えば、照度検出部１３として撮像装置を用いる場合には、撮像装置の撮像範囲が表示部１１の前面の所定の領域、例えば表示部１１の画面が面する半径５０ｃｍの範囲に含まれるように配置するのがよい。このほか、撮像装置は、表示部１１の画面が撮像装置の撮像範囲に含まれるように配置してもよい。また、照度検出部１３として照度センサを用いる場合には、表示部１１の前部に付設するのが好ましい。
【００２９】
表示制御部１４は、表示部１１の表示制御を行う処理部である。例えば、表示制御部１４は、後述する画像処理部１５によって入力画像の視認性が補正された場合には、補正画像を表示させる。また、入力画像の補正が実行されなかった場合には、入力画像受付部１２によって受け付けられた入力画像をそのまま表示させる。
【００３０】
画像処理部１５は、各種の画像処理を行う処理部であり、高周波成分抽出部１６と、合成比演算部１７と、視認性補正部１８とを有する。
【００３１】
このうち、高周波成分抽出部１６は、入力画像から高周波成分を抽出する処理部である。かかる高周波成分の抽出要領を図４〜図６を用いて説明する。図４は、高周波成分抽出部の構成を示すブロック図である。図５Ａは、高周波成分（小）における画素値の分布を示すヒストグラムである。図５Ｂは、高周波成分（大）における画素値の分布を示すヒストグラムである。図５Ａ及び図５Ｂに示すグラフの横軸は画素値を示す。図５Ａ及び図５Ｂに示すグラフの縦軸は画素数を示す。また、図５Ｂのグラフには、図５Ａに示したヒストグラムと同様のものを点線で図示した。図６Ａは、入力画像の一例を示す図である。図６Ｂは、低周波成分を示す図である。図６Ｃは、拡大後の高周波成分の一例を示す図である。図６Ｄは、補正画像の一例を示す図である。
【００３２】
図４に示すように、高周波成分抽出部１６は、ローパスフィルタ１６ａと、差分抽出部１６ｂと、高周波成分拡大部１６ｃとを有する。
【００３３】
このうち、ローパスフィルタ（Low Pass Filter）１６ａは、所定のフィルタテーブルを用いて、入力画像Ｘの演算対象画素の画素値及びその周辺画素の画素値に対して畳み込み演算を行うことにより低周波成分Ｙの画素値を算出するフィルタ回路である。例えば、ローパスフィルタ１６ａは、図６Ａに示す入力画像Ｘから図６Ｂに示す低周波成分Ｙを算出する。図６Ｂに示すように、入力画像Ｘにローパスフィルタ１６ａを適用して得られる低周波成分Ｙは、入力画像Ｘの画素値が平滑化されるので、被写体全体がぼやけた画像となる。ローパスフィルタには、エッジ保存型のローパスフィルタを用いればよい。エッジ保存型ローパスフィルタによって分離される成分は、照明成分と反射成分となる。なお、エッジ保存型のローパスフィルタは、バイラテラルフィルタなどを用いればよい。また、フィルタサイズは入力画像短辺の３分の１程度の行数または列数に相当するものを定義することが好ましい。なお、ローパスフィルタはエッジ保存型ローパスフィルタに限らず、一般的なローパスフィルタを用いても良い。
【００３４】
差分抽出部１６ｂは、入力画像Ｘおよび低周波成分Ｙの差分を抽出する処理部である。一例としては、差分抽出部１６ｂは、入力画像Ｘおよび低周波成分Ｙの同一座標の画素を対象とし、入力画像Ｘの画素値から低周波成分Ｙの画素値を減算する処理を画素ごとに行うことにより高周波成分（小）の画素値を算出する。なお、以下では、差分抽出部１６ｂによって抽出された高周波成分と、後段の高周波成分拡大部１６ｃによって拡大された高周波成分とを区別する便宜上、前者を高周波成分（小）、後者を高周波成分（大）と記載することとする。
【００３５】
高周波成分拡大部１６ｃは、高周波成分（小）を拡大する処理部である。ここで、高周波成分（小）を拡大するのは、高周波成分（小）が入力画像Ｘと低周波成分Ｙの差分画像であり、後段の視認生補正部１８における補正に高周波成分（小）を使用するには高周波成分（小）の画素値の振幅が小さすぎるからである。
【００３６】
このため、高周波成分拡大部１６ｃでは、高周波成分（小）における画素の最大値および最小値をもとに線形補間を行って高周波成分（小）の画素値のレンジを広げる。一例としては、高周波成分拡大部１６ｃは、高周波成分（小）における画素の最小値を画素値「１」とし、画素の最大値を画素値「２５６」として高周波成分（小）の全画素に線形補間を行う。図５Ａ及び図５Ｂの例で言えば、図５Ａに示す高周波成分（小）の画素値に線形補間が行われることにより、高周波成分（小）の画素値のレンジがレンジＲ１からレンジＲ２に広げられることになる。
【００３７】
このような高周波成分（小）の階調補正を行った上で、高周波成分拡大部１６ｃは、レンジＲ２に対するレンジＲ１の割合、すなわちレンジＲ２をレンジＲ１で除した除算結果を拡大率αとして算出する。そして、高周波成分拡大部１６ｃは、このようにして決定した拡大率αにしたがって高周波成分（小）を拡大する。これによって高周波成分（大）が得られる。図６Ｃに示す例では、低周波成分Ｙの除去並びに高周波成分（小）の拡大により、入力画像Ｘにおける微細な濃淡の違いが強調された高周波成分（大）が得られたことを示す。図６Ｃに示す高周波成分（大）は、理論上、最良視認性を有する画像となる。
【００３８】
図３の説明に戻り、合成比演算部１５は、照度検出部１３から得られる照度を用いて、高周波成分（大）の合成比ａを演算する処理部である。なお、ここでは、合成比演算部１５は、低周波成分Ｙとの間の合成比ではなく、高周波成分（大）と入力画像Ｘとの間での合成比を算出するものとする。しかし、入力画像Ｘには、低周波成分Ｙが含まれており、低周波成分及び高周波成分の合成比を求める場合と実質的に同一である。なお、合成比ａは、「０≦ａ≦１」であるものとする。
【００３９】
これを説明すると、合成比演算部１５は、入力画像および高周波成分を合成する時の高周波成分（大）の合成比が「ａ」であるから、入力画像Ｘの合成比は「１−ａ」となる。そして、図４に示すように、入力画像はＸ、低周波成分はＹ、高周波成分（小）はＺ／α、高周波成分（大）はＺであるので、入力画像及び高周波成分（大）の合成画像（以下、補正画像と記載）は「Ｘ（１−ａ）＋ａＺ」となる。入力画像Ｘへ「Ｘ＝Ｙ＋Ｚ／α」を代入して、Ｘ、Ｙの項でくくると、「Ｙ（１−ａ）＋Ｚ／α（αａ＋１−ａ）」となる。このため、合成比ａを演算することは、低周波成分Ｙの圧縮ゲインとして（１−ａ）を演算していることと変わらず、また、高周波成分（小）Ｚ／αの拡大ゲインとして（αａ＋１−ａ）を演算していることと同義である。したがって、合成比演算部１５は、低周波成分Ｙの圧縮ゲインと、高周波成分（小）Ｚ／αの拡大ゲインとを演算するのと同義であると言える。
【００４０】
続いて、合成比演算部１５による合成比αの演算要領を説明する。合成比演算部１５は、照度検出部１３によって検出された照度が高いほど合成比ａが大きくなるように合成比ａの演算を行う。一例としては、合成比演算部１５は、５００Ｌｕｘの時の合成比ａを０とし、１０万Ｌｕｘの時の合成比ａを０．８と定義した線形関数を保持する。そして、合成比演算部１５は、照度検出部１３によって照度が検出された場合にその照度を線形関数に代入することにより合成比ａを演算する。なお、合成比演算部１５は、照度検出部１３によって検出された照度が所定の閾値、例えば５００Ｌｕｘ未満である場合には、外光が表示部１１に及ぼす影響が微細なものであると見做し、合成比ａの演算は実行しない。もちろん、合成の比率は所定の範囲で一律の傾きを有する線形関数にすることに限定されるわけではない。例えば、合成の比率は、１０万Ｌｕｘで０．８、２万Ｌｕｘで０．２、５００Ｌｕｘの時に０とし、その間を線形としても良い。
【００４１】
視認性補正部１８は、入力画像Ｘの視認性を向上させるための補正を行う処理部である。すなわち、視認性補正部１８は、合成比演算部１５によって演算された合成比ａを用いて、入力画像Ｘおよび高周波成分（大）Ｚを合成する。かかる合成について説明すると、視認性補正部１８は、入力画像および高周波成分（大）の同一座標の画素を対象とし、入力画像の画素値に入力画像の合成比（１−ａ）を乗算するとともに高周波成分（大）の画素値に高周波成分（大）の合成比ａを乗算する。そして、視認性補正部１８は、入力画像の画素値及び合成比（１−ａ）の乗算値と、高周波成分（大）の画素値及び合成比ａの乗算値とを足し合わせることにより、補正画像の画素値を算出する。このようにして、視認性補正部１８は、入力画像Ｘおよび高周波成分（大）の全画素について演算を実行することにより補正画像を得ることができる。
【００４２】
例えば、図６Ｄに示す例では、表示部１１周辺の照度に追従してダイナミックレンジの引き延ばし並びに原画像の濃淡の強調が実行された補正画像を得ることができる。この図６Ｄに示す補正画像を図６Ａに示した入力画像Ｘと対比すると、入力画像Ｘでは、図中の下部のシャドー部で黒くつぶれていた「車道」や「車」を補正画像でははっきりと視認できる。さらに、補正画像では、入力画像Ｘでは黒くつぶれていた図中の左側の「木」の節や木目をはっきりと視認できる。
【００４３】
なお、画像処理部１５の機能は、情報処理装置に搭載することで実現することもできる。かかる情報処理装置としては、既知のパーソナルコンピュータ、ワークステーションなどの固定端末、さらには、カーナビゲーションシステム、携帯電話、ＰＨＳ端末またはＰＤＡなどの移動体端末が挙げられる。特に、画像処理部１５の機能を移動体端末に搭載した場合には、所在位置の変化により表示部へ入射する外光の照度が著しく変化することが想定されるので、より一層の効果が期待できる。
【００４４】
また、入力画像受付部１２、表示制御部１４、画像処理部１５は、集積回路や電子回路により実現される。集積回路としては、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などを適用できる。また、電子回路としては、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などを適用できる。
【００４５】
［処理の流れ］
次に、本実施例に係る画像表示装置の処理の流れを説明する。図７は、実施例２に係る画像表示処理の手順を示すフローチャートである。この画像表示処理は、画像処理装置の電源がＯＮ状態である場合に、入力画像受付部１２によって入力画像が受け付けられると起動する。
【００４６】
図７に示すように、入力画像を受け付けると（ステップＳ１０１肯定）、合成比演算部１５は、照度検出部１３によって検出された照度が所定の閾値、例えば５００Ｌｕｘ以上であるか否かを判定する（ステップＳ１０２）。
【００４７】
このとき、照度が所定の閾値未満であれば（ステップＳ１０２否定）、表示制御部１４は、外光が表示部１１に及ぼす影響が微細なものであり補正が不要であるので、入力画像をそのまま表示部１１に表示させ（ステップＳ１０３）、処理を終了する。
【００４８】
一方、照度が所定の閾値以上であれば（ステップＳ１０２肯定）、合成比演算部１５は、照度検出部１３から得られる照度を用いて、高周波成分（大）の合成比ａを演算する（ステップＳ１０４）。
【００４９】
そして、高周波成分抽出部１６は、入力画像Ｘにローパスフィルタ１６ａを適用して低周波成分Ｙを算出する。そして、高周波成分抽出部１６は、これら入力画像Ｘおよび低周波成分Ｙの差分を抽出することにより、高周波成分（小）を算出する（ステップＳ１０５）。
【００５０】
続いて、高周波成分抽出部１６は、高周波成分（小）の階調補正を行った上で、階調補正後の高周波成分（小）の画素値のレンジを階調補正前の高周波成分（小）の画素値のレンジで除算することにより拡大率αを算出する（ステップＳ１０６）。その後、高周波成分拡大部１６ｃは、このようにして決定した拡大率αにしたがって高周波成分（小）を拡大する（ステップＳ１０７）。つまり、高周波成分拡大部１６ｃは、高周波成分（大）を生成する。
【００５１】
そして、視認性補正部１８は、合成比演算部１５によって演算された合成比ａを用いて、入力画像Ｘと高周波成分（大）Ｚとを合成する（ステップＳ１０８）。続いて、表示制御部１４は、視認性補正部１８によって補正された補正画像を表示させ（ステップＳ１０９）、処理を終了する。
【００５２】
なお、図７に示したフローチャートでは、照度が所定の閾値未満である場合（ステップＳ１０２否定）に、ステップＳ１０３で入力画像を表示させることとしたが、ステップＳ１０４に移行させてもかまわない。なぜなら、合成比演算部１５は、照度が所定の閾値以下である場合には、合成比ａをゼロと算出するので、結果として、入力画像が表示されることになるからである。
【００５３】
また、図７に示したフローチャートでは、入力画像を受け付ける度に合成比演算部１５が合成比ａを演算する場合を示したが、必ずしも合成比ａを毎回演算する必要はない。例えば、入力画像を受け付けた場合に所定回数のうち１回だけ合成比ａを算出させることとし、それまでは前回に演算した合成比ａを流用させることとしてもよい。また、前回に合成比ａを算出してから所定期間が経過するまで前回に演算した合成比ａを流用させることとしてもよい。
【００５４】
［実施例２の効果］
上述してきたように、本実施例に係る画像表示装置１０では、表示部１１周辺の照度に追従してダイナミックレンジの引き延ばし並びに原画像の濃淡の強調を実行するので、シャドー部及びハイライト部の両方でコントラストを改善できる。したがって、本実施例に係る画像処理装置１０によれば、表示部１１に照度の高い外光が照射される場合でも、表示画像の視認性を向上させることが可能である。
【実施例３】
【００５５】
さて、上記の実施例２では、画像表示装置１０が１つの照度検出部１３を有する例を説明したが、照度検出部は必ずしも１つである必要はない。そこで、実施例３では、画像表示装置３０が複数の照度検出部３１−１及び照度検出部３１−２を有する場合について説明する。
【００５６】
図８は、実施例３に係る画像表示装置の構成を示すブロック図である。図８に示すように、画像表示装置３０は、図３に示した画像表示装置１０と比較して、複数の照度検出部３１−１及び３１−２を有する点が異なる。さらに、図８に示すように、図３に示した画像表示装置１０とは処理内容が一部異なる合成比演算部３３及び視認性補正部３４を画像処理部３２に有する点が異なる。
【００５７】
これら照度検出部３１−１及び３１−２の検出領域の一例を説明する。図９は、照度検出部の検出領域の一例を示す図である。図９に示す例では、表示部１１の画面を正面視した場合における画面左側の領域が照度検出部３１−１の検出領域であり、また、画面右側の領域が照度検出部３１−２の検出領域であることを示す。なお、ここでは、２つの照度検出部３１−１及び３１−２を有する場合を例示したが、開示の装置は照度検出部の個数が１つまたは２つに限定されない。すなわち、任意の個数の照度検出部を設ける場合にも開示の装置を同様に適用できる。また、照度検出部３１−１及び３１−２の検出領域が重複しない例を説明したが、検出領域の一部が重複することとしてもかまわない。
【００５８】
また、合成比演算部３３は、照度検出部３１−１及び３１−２から得られる照度を用いて、高周波成分（大）の合成比ａを演算する。ここで、図３に示した合成比演算部１７との相違点を説明すると、図３に示した合成比演算部１７は、全ての画素に対して同じ合成比ａを用いる場合を説明したが、図８の合成比演算部３３では、全ての画素に対して同じ合成比ａは適用しない。
【００５９】
これを説明すると、合成比演算部３３は、照度検出部３１−１及び照度検出部３１−２の検出領域それぞれ個別に合成比を演算する。かかる検出領域別の合成比の演算は図３に示した合成比演算部１７と同様であるので、説明を省略する。例えば、図９に示すように、合成比演算部３３が照度検出部３１−１の検出領域における合成比としてａ１を算出し、照度検出部３１−２の検出領域における合成比としてａ２を算出した場合を想定する。
【００６０】
図１０は、複数の照度が入力される場合における合成比の算出要領を説明するための説明図である。図１０に示すグラフの横軸は画素位置のＸ座標である。図１０に示すグラフの縦軸は合成比を指す。図１０の例では、表示部１１を正面視した場合における画面の左端のＸ座標が０（最小値）であり、画面の右端であるＸ座標がＭ（最大値）である場合を想定する。図１０の例では、合成比演算部３３は、Ｘ座標が最小値０である場合の合成比をａ１と定義し、Ｘ座標が最大値Ｍである場合の合成比をａ２と定義する。そして、合成比演算部３３は、これら２点から定まる線形関数に対して視認性補正の対象とする画素のＸ座標を入力することにより、そのＸ座標を持つ画素で視認性補正に使用する合成比ａ´を演算する。
【００６１】
図８の説明に戻り、視認性補正部３４は、合成比演算部１５によって演算された合成比ａを用いて、入力画像Ｘおよび高周波成分（大）Ｚを合成する。ここで、図３に示した視認性補正部１８との相違点を説明すると、図３に示した視認性補正部１８は、全ての画素に対して同じ合成比ａを用いる場合を説明したが、視認性補正部３４では、全ての画素に対して同じ合成比を用いずにＸ座標により変化する合成比ａ´を用いる。
【００６２】
これを説明すると、視認性補正部３４は、補正画像の画素値の算出対象とする画素のＸ座標を合成比演算部３３に通知し、それに対する応答として合成比ａ´を取得する。このようにして合成比ａ´の応答が得られると、視認性補正部３４は、入力画像の画素値に入力画像の合成比（１−ａ´）を乗算するとともに高周波成分（大）の画素値に高周波成分（大）の合成比ａ´を乗算する。そして、視認性補正部３４は、入力画像の画素値及び合成比（１−ａ´）の乗算値と、高周波成分（大）の画素値及び合成比ａ´の乗算値とを足し合わせることにより、補正画像の画素値を算出する。このようにして、視認性補正部３４は、入力画像Ｘおよび高周波成分（大）の全画素について演算を実行することにより補正画像を得る。
【００６３】
次に、本実施例に係る画像処理装置の処理の流れを説明する。図１１は、実施例３に係る画像表示処理の手順を示すフローチャートである。この画像表示処理は、画像処理装置の電源がＯＮ状態である場合に、入力画像受付部１２によって入力画像が受け付けられると起動する。
【００６４】
図１１に示すように、入力画像を受け付けると（ステップＳ２０１肯定）、合成比演算部３３は、照度検出部３１−１によって検出された照度が所定の閾値、例えば５００Ｌｕｘ以上であるか否かを判定する（ステップＳ２０２）。
【００６５】
このとき、照度検出部３１−１によって検出された照度が所定の閾値未満であれば（ステップＳ２０２否定）、合成比演算部３３は、照度検出部３１−２によって検出された照度が所定の閾値以上であるか否かをさらに判定する（ステップＳ２０３）。
【００６６】
そして、照度検出部３１−２によって検出された照度も所定の閾値未満であれば（ステップＳ２０３否定）、表示制御部１４は、入力画像をそのまま表示部１１に表示させ（ステップＳ２０４）、処理を終了する。
【００６７】
一方、照度検出部３１−１又は３１−２によって検出された照度のいずれかが所定の閾値以上であれば（ステップＳ２０２肯定又はＳ２０３肯定）、合成比演算部３３は、検出領域別に合成比ａ１及び合成比ａ２を演算する（ステップＳ２０５）。
【００６８】
そして、高周波成分抽出部１６は、入力画像Ｘにローパスフィルタ１６ａを適用して低周波成分Ｙを算出し、これら入力画像Ｘおよび低周波成分Ｙの差分を抽出することにより、高周波成分（小）を算出する（ステップＳ２０６）。
【００６９】
続いて、高周波成分抽出部１６は、高周波成分（小）の階調補正を行った上で、階調補正後の高周波成分（小）の画素値のレンジを階調補正前の高周波成分（小）の画素値のレンジで除算することにより拡大率αを算出する（ステップＳ２０７）。その後、高周波成分拡大部１６ｃは、このようにして決定した拡大率αにしたがって高周波成分（小）を拡大する（ステップＳ２０８）。
【００７０】
そして、視認性補正部３４は、補正画像の画素値の算出対象とする画素のＸ座標を合成比演算部３３に通知することにより、そのＸ座標の合成比ａ´を合成比演算部３３に演算させる（ステップＳ２０９）。
【００７１】
その後、合成比演算部３３から合成比ａ´の応答が得られると、視認性補正部３４は、入力画像Ｘおよび高周波成分（大）Ｚの画素値を合成比ａ´で合成することにより補正画像の画素値を算出する（ステップＳ２１０）。
【００７２】
そして、補正画像の画素値を全ての画素について処理が終了するまで（ステップＳ２１１否定）、上記のステップＳ２０９〜Ｓ２１１の処理を繰り返し行う。その後、補正画像の画素値を全ての画素について処理が終了すると（ステップＳ２１１肯定）、表示制御部１４は、視認性補正部１８によって補正された補正画像を表示させ（ステップＳ２１２）、処理を終了する。
【００７３】
上述してきたように、本実施例に係る画像表示装置３０においても、上記の実施例１及び２と同様に、表示部１１に照度の高い外光が照射される場合でも、表示画像の視認性を向上させることが可能である。
【００７４】
また、本実施例に係る画像表示装置３０では、複数の照度検出部３１−１及び３１−２から得られる照度を用いて、高周波成分（大）Ｚの合成比ａ´を演算する。このため、本実施例に係る画像表示装置３０によれば、照度検出部の検出領域別に合成比ａ´を演算できる。さらに、本実施例に係る画像表示装置３０によれば、照度検出部の検出領域別の合成比ａ´を用いて、各検出領域間の合成比ａ´を線形補間できる。また、本実施例に係る画像表示装置３０によれば、表示部１１に照射される外光の照度にばらつきがある場合でも、そのばらつきに追従して入力画像Ｘ及び高周波成分（大）Ｚを合成することが可能である。
【実施例４】
【００７５】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【００７６】
［応用例］
例えば、開示の装置は、入力画像Ｘに含まれる画素値の大きさに応じて、高周波成分（大）Ｚの合成比を導出することもできる。図１２は、応用例を説明するための説明図である。図１２に示すグラフの横軸は画素値である。図１２に示すグラフの縦軸は合成比である。図１２に示す例では、照度が２万Ｌｕｘである場合に合成比の導出に使用する波形、照度が５万Ｌｕｘである場合に合成比の導出に使用する波形、照度が１０万Ｌｕｘである場合に合成比の導出に使用する波形が与えられている。このような照度別の波形を予め記憶しておけば、合成比演算部は、照度検出部によって照度が検出された時点でいずれの波形を利用するかを特定できる。さらに、どの波形を利用するのかを決めれば、合成比演算部は、入力画像Ｘの画素値に対応する合成比を導出できる。
【００７７】
このように、入力画像Ｘに含まれる画素値の大きさに応じて高周波成分（大）の合成比を導出することで、例えば画素値の最低値の近傍または最高値の近傍における合成比ａをなだらかにするなど、視認性補正を行うにあたって柔軟な補正が可能になる。
【００７８】
また、開示の装置は、画像を表示する表示部を有する画像表示装置と、画像表示装置に接続されるサーバ装置とを有する画像処理システムとすることもできる。すなわち、図３に示した画像処理部１５、或いは図８に示した画像処理部３２をサーバ装置とし、表示部及び照度検出部を有するクライアント端末に対して、画像データの視認性補正サービスを提供させる。一例としては、クライアント装置は、表示部の周辺に所在する照度検出部から得られた照度をサーバ装置へ通知する。一方、サーバ装置は、クライアント端末から通知された照度を用いて、入力画像の低周波成分に適用される圧縮ゲインと、入力画像の高周波成分に適用する拡大ゲインを導出する。そして、サーバ装置は、導出した低周波成分の圧縮ゲイン及び高周波成分の拡大ゲインに基づき、クライアント端末の表示部に表示させる表示用画像を生成し、生成した表示用画像をクライアント端末へ送信する。
【００７９】
また、開示の装置では、高周波成分（大）Ｚの合成比の導出履歴を記憶する導出履歴記憶部をさらに設けることもできる。その上で、開示の装置は、合成比演算部１７又は３３によって今回に演算された合成比ａ、ａ１、ａ２及び／又はａ´が導出履歴記憶部に導出履歴として記憶された合成比ａ、ａ１、ａ２及び／又はａ´から所定範囲を超えて逸脱するか否かを判定する。そして、ゲイン導出部２は、所定範囲を超えて逸脱する場合に、合成比ａ、ａ１、ａ２及び／又はａ´が所定範囲に収まるように合成比演算部１７又は３３に再演算させるようにしてもよい。これによって、前回の入力画像と今回の入力画像との間で合成比が急激にばらつくことがなくなる。このため、閲覧者が表示画像に違和感を覚えることを防止できる。
【００８０】
また、上記の実施例１〜３では、入力画像に対する階調補正や彩度補正を行わずに視認性補正だけを行う場合を例示したが、階調補正及び／又は彩度補正を組み合わせて行うこともできる。
【００８１】
［適用例］
なお、上記の実施例２及び３では、入力画像Ｘと高周波成分（大）Ｚを合成する視認性補正を例示したが、開示の装置はこれに限定されるものではない。すなわち、開示の装置は、低周波成分と高周波成分のゲインを変える技術全般に適用できる。例えば、人間の視覚特性をモデル化した「Ｃｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ Ｒｅｔｉｎｅｘ」と呼ばれる画質改善手法にも開示の装置を同様に適用できる。
【００８２】
なお、上記の実施例２及び３では、合成比演算部１７又は３３が照度検出部から照度を受け取った場合に合成比ａ、合成比ａ´を算出することとしたが、照度と合成比を対応付けて記憶するテーブル等を画像表示装置１０又は３０に保持させることとしてもよい。
【００８３】
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、画像処理部１５または３２を画像表示装置の外部装置としてネットワーク経由で接続するようにしてもよい。また、高周波成分抽出部１６、合成比演算部１７又は視認性補正部１８を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の画像処理装置または画像表示装置の機能を実現するようにしてもよい。
【００８４】
［画像処理プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１３を用いて、上記の実施例と同様の機能を有する画像処理プログラムを実行するコンピュータの一例について説明する。なお、図１３は、実施例４に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。
【００８５】
図１３に示すように、実施例４におけるコンピュータ１００は、操作部１１０ａと、マイク１１０ｂと、スピーカ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ（Hard Disk Drive）１７０と、ＲＡＭ（Random Access Memory）１８０と有する。これら１１０〜１８０の各部はバス１４０を介して接続される。
【００８６】
ＲＯＭ１６０には、上記の実施例２で示した高周波成分抽出部１６と、合成比演算部１７と、視認性補正部１８と同様の機能を発揮する制御プログラムが予め記憶される。つまり、ＲＯＭ１６０には、図１３に示すように、高周波成分抽出プログラム１６０ａと、合成比演算プログラム１６０ｂと、視認性補正プログラム１６０ｃとが記憶される。なお、これらのプログラム１６０ａ〜１６０ｃについては、図３に示した画像処理部１５の各構成要素と同様、適宜統合又は分離しても良い。
【００８７】
そして、ＣＰＵ１５０が、これらのプログラム１６０ａ〜１６０ｃをＲＯＭ１６０から読み出して実行する。これによって、ＣＰＵ１５０は、図１３に示すように、各プログラム１６０ａ〜１６０ｃについては、高周波成分抽出プロセス１５０ａ、合成比演算プロセス１５０ｂ及び視認性補正プロセス１５０ｃとして機能するようになる。なお、各プロセス１５０ａ〜１５０ｃは、図３に示した、高周波成分抽出部１６と、合成比演算部１７と、視認性補正部１８とにそれぞれ対応する。
【００８８】
そして、ＨＤＤ１７０には、入力画像１７０ａが設けられる。続いて、ＣＰＵ１５０は、入力画像１７０ａを読み出してＲＡＭ１８０に格納する。さらに、ＣＰＵ１５０は、ＲＡＭ１８０に格納された入力画像データ１８０ａを用いて、高周波成分データ１８０ｂを生成する。さらに、ＣＰＵ１５０は、入力画像データ１８０ａ及び高周波成分データ１８０ｂを用いて、補正画像を生成することにより、画像処理プログラムを実行する。
【符号の説明】
【００８９】
１ 画像処理装置
２ ゲイン導出部
３ 表示用画像生成部
１０ 画像表示装置
１１ 表示部
１２ 入力画像受付部
１３ 照度検出部
１４ 表示制御部
１５ 画像処理部
１６ 高周波成分抽出部
１６ａ ローパスフィルタ
１６ｂ 差分抽出部
１６ｃ 高周波成分拡大部
１７ 合成比演算部
１８ 視認性補正部
【特許請求の範囲】
【請求項１】
照度検出部から得られる照度を用いて、入力画像の低周波成分に適用する圧縮ゲインと、該入力画像の高周波成分に適用する拡大ゲインを導出するゲイン導出部と、
前記ゲイン導出部によって導出された前記圧縮ゲイン及び前記拡大ゲインに基づき、前記入力画像が有する画素値を補正した表示用画像を生成する表示用画像生成部と
を有することを特徴とする画像処理装置。
【請求項２】
前記ゲイン導出部は、前記入力画像が有する前記画素値の大きさに応じて、前記圧縮ゲイン及び前記拡大ゲインを導出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ゲイン導出部は、複数の照度検出部のそれぞれから得られる照度を用いて、該それぞれの照度に応じた前記圧縮ゲイン及び前記拡大ゲインを複数導出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記ゲイン導出部は、導出した圧縮ゲイン及び／又は拡大ゲインが、過去に導出した導出履歴圧縮ゲイン及び／又は導出履歴拡大ゲインの値から所定範囲に収まるか否かを判定するとともに、該所定範囲を逸脱する場合は、前記導出した圧縮ゲイン及び前記拡大ゲインが該所定範囲に収まるように演算することを特徴とする請求項１、２または３に記載の画像処理装置。
【請求項５】
画像を表示する表示部と、
前記表示部の周辺に配される照度検出部と、
前記照度検出部から得られる照度を用いて、入力画像の低周波成分に適用する圧縮ゲインと、該入力画像の高周波成分に適用する拡大ゲインを導出するゲイン導出部と、
前記ゲイン導出部によって導出された前記圧縮ゲイン及び前記拡大ゲインに基づき、前記入力画像が有する画素値を補正した表示用画像を生成する表示用画像生成部と
を有することを特徴とする画像表示装置。
【請求項６】
コンピュータに、
照度検出部から得られる照度を用いて、入力画像の低周波成分に適用する圧縮ゲインと、該入力画像の高周波成分に適用する拡大ゲインを導出するゲイン導出手順と、
前記ゲイン導出手順によって導出された前記圧縮ゲイン及び前記拡大ゲインに基づき、前記入力画像が有する画素値を補正した表示用画像を生成する表示用画像生成手順と
を実行させることを特徴とする画像処理プログラム。
【請求項７】
画像を表示する表示部を有する画像表示装置と、前記画像表示装置に接続されるサーバ装置とを有する画像処理システムによる画像処理方法であって、
前記画像表示装置が、
前記表示部の周辺に所在する照度検出部から得られた照度を前記サーバ装置へ通知する照度通知ステップを含み、
前記サーバ装置が、
前記照度通知ステップによって通知された照度を用いて、入力画像の低周波成分に適用する圧縮ゲインと、該入力画像の高周波成分に適用する拡大ゲインを導出するゲイン導出ステップと、
前記ゲイン導出ステップによって導出された前記圧縮ゲイン及び前記拡大ゲインに基づき、前記入力画像が有する画素値を補正した表示用画像を生成する表示用画像生成ステップと
前記表示用画像生成ステップによって生成された表示用画像を前記画像表示装置へ送信する表示用画像送信ステップと
を含んだことを特徴とする画像処理方法。
【請求項１】
照度検出部から得られる照度を用いて、入力画像の低周波成分に適用する圧縮ゲインと、該入力画像の高周波成分に適用する拡大ゲインを導出するゲイン導出部と、
前記ゲイン導出部によって導出された前記圧縮ゲイン及び前記拡大ゲインに基づき、前記入力画像が有する画素値を補正した表示用画像を生成する表示用画像生成部と
を有することを特徴とする画像処理装置。
【請求項２】
前記ゲイン導出部は、前記入力画像が有する前記画素値の大きさに応じて、前記圧縮ゲイン及び前記拡大ゲインを導出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ゲイン導出部は、複数の照度検出部のそれぞれから得られる照度を用いて、該それぞれの照度に応じた前記圧縮ゲイン及び前記拡大ゲインを複数導出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記ゲイン導出部は、導出した圧縮ゲイン及び／又は拡大ゲインが、過去に導出した導出履歴圧縮ゲイン及び／又は導出履歴拡大ゲインの値から所定範囲に収まるか否かを判定するとともに、該所定範囲を逸脱する場合は、前記導出した圧縮ゲイン及び前記拡大ゲインが該所定範囲に収まるように演算することを特徴とする請求項１、２または３に記載の画像処理装置。
【請求項５】
画像を表示する表示部と、
前記表示部の周辺に配される照度検出部と、
前記照度検出部から得られる照度を用いて、入力画像の低周波成分に適用する圧縮ゲインと、該入力画像の高周波成分に適用する拡大ゲインを導出するゲイン導出部と、
前記ゲイン導出部によって導出された前記圧縮ゲイン及び前記拡大ゲインに基づき、前記入力画像が有する画素値を補正した表示用画像を生成する表示用画像生成部と
を有することを特徴とする画像表示装置。
【請求項６】
コンピュータに、
照度検出部から得られる照度を用いて、入力画像の低周波成分に適用する圧縮ゲインと、該入力画像の高周波成分に適用する拡大ゲインを導出するゲイン導出手順と、
前記ゲイン導出手順によって導出された前記圧縮ゲイン及び前記拡大ゲインに基づき、前記入力画像が有する画素値を補正した表示用画像を生成する表示用画像生成手順と
を実行させることを特徴とする画像処理プログラム。
【請求項７】
画像を表示する表示部を有する画像表示装置と、前記画像表示装置に接続されるサーバ装置とを有する画像処理システムによる画像処理方法であって、
前記画像表示装置が、
前記表示部の周辺に所在する照度検出部から得られた照度を前記サーバ装置へ通知する照度通知ステップを含み、
前記サーバ装置が、
前記照度通知ステップによって通知された照度を用いて、入力画像の低周波成分に適用する圧縮ゲインと、該入力画像の高周波成分に適用する拡大ゲインを導出するゲイン導出ステップと、
前記ゲイン導出ステップによって導出された前記圧縮ゲイン及び前記拡大ゲインに基づき、前記入力画像が有する画素値を補正した表示用画像を生成する表示用画像生成ステップと
前記表示用画像生成ステップによって生成された表示用画像を前記画像表示装置へ送信する表示用画像送信ステップと
を含んだことを特徴とする画像処理方法。
【図１】
【図３】
【図４】
【図５Ａ】
【図６Ｄ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２Ａ】
【図２Ｂ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図３】
【図４】
【図５Ａ】
【図６Ｄ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２Ａ】
【図２Ｂ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【公開番号】特開２０１１−１１７９９７（Ｐ２０１１−１１７９９７Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７２８２９（Ｐ２００９−２７２８２９）
【出願日】平成２１年１１月３０日（２００９．１１．３０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１１月３０日（２００９．１１．３０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]