画像処理装置、表示システム、及び、画像処理方法
【課題】ヒストグラムの度数の集中に起因した不具合を緩和しつつ、ヒストグラムを用いて画像のコントラストを適切に強調する。
【解決手段】画像表示システムでは、ヒストグラム生成部61が表示対象となる画像のヒストグラムを生成し、ヒストグラム補正部62がそのヒストグラムにおける全ての輝度の度数に「1」未満の一定の係数Kを乗算した後、全ての輝度の度数にオフセット値Dを加算してヒストグラムを補正する。そして、ヒストグラム累積部63がこの補正後のヒストグラムの累積ヒストグラムを生成し、画像補正部64がその累積ヒストグラムを補正カーブとして用いて画像の画素値を補正する。したがって、度数の集中に起因した不具合を緩和しつつ、各輝度の度数に応じて画像のコントラストを適切に強調できる
【解決手段】画像表示システムでは、ヒストグラム生成部61が表示対象となる画像のヒストグラムを生成し、ヒストグラム補正部62がそのヒストグラムにおける全ての輝度の度数に「1」未満の一定の係数Kを乗算した後、全ての輝度の度数にオフセット値Dを加算してヒストグラムを補正する。そして、ヒストグラム累積部63がこの補正後のヒストグラムの累積ヒストグラムを生成し、画像補正部64がその累積ヒストグラムを補正カーブとして用いて画像の画素値を補正する。したがって、度数の集中に起因した不具合を緩和しつつ、各輝度の度数に応じて画像のコントラストを適切に強調できる
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヒストグラムを用いて画像を処理する技術に関する。
【背景技術】
【0002】
従来より、画像のコントラストを強調する各種の画像処理が提案されている。このような画像処理の一つとして、ヒストグラムイコライゼーションと呼ばれる手法が知られている。この手法は、画像の輝度のヒストグラムを生成し、そのヒストグラムの累積ヒストグラムを補正カーブとして用いて、画像の画素値を補正するものである。この手法は、適用後の画像のヒストグラムの度数がおよそ均一化されることから、ヒストグラムイコライゼーションと呼ばれる。
【0003】
ヒストグラムイコライゼーションを行った場合、画像において、度数が比較的高い輝度の領域のコントラストが拡大し、度数が比較的低い輝度の領域のコントラストが縮小する。これにより、画像全体としてのコントラストを強調することができる(例えば、特許文献1,2参照。)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−223636号公報
【特許文献2】特開平10−210323号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のヒストグラムイコライゼーションは、画像のコントラストを強調する効果が非常に高いため、特定の画像においては処理後に不具合が生じる。具体的には、ヒストグラムの度数がある輝度に集中するような画像にヒストグラムイコライゼーションを適用すると、度数が集中する輝度の領域のコントラストが過度に拡大される。その結果、処理後の画像の画質が大きく劣化する。
【0006】
例えば、比較的広く非常に明るい背景を有する画像にヒストグラムイコライゼーションを適用した場合、背景の輝度の度数が多いことから、画像中の背景のコントラストが過度に拡大される。その結果、補正後の画像では、本来は明るい背景が暗くなったり、背景以外の被写体の像が暗くなりすぎるなどの不具合が生じる。
【0007】
逆に、比較的広く非常に暗い背景を有する画像にヒストグラムイコライゼーションを適用した場合にも、背景の輝度の度数が多いことから、画像中の背景のコントラストが過度に拡大される。その結果、補正後の画像では、本来は暗い背景が明るくなったり、ノイズ成分が大きく強調されるなどの不具合が生じる。
【0008】
このようなことから、ヒストグラムイコライゼーションを適用する場合におけるヒストグラムの度数の集中に起因した不具合を緩和する技術が要望されていた。
【0009】
本発明は、上記課題に鑑みてなされたものであり、ヒストグラムの度数の集中に起因した不具合を緩和しつつ、画像のコントラストを適切に強調できる技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決するため、請求項1の発明は、画像処理装置であって、画像の輝度のヒストグラムを生成する生成手段と、前記ヒストグラムにおける全ての輝度の度数に一定のオフセット値を加算し、前記ヒストグラムを補正するヒストグラム補正手段と、補正後の前記ヒストグラムの累積ヒストグラムを生成する累積手段と、前記累積ヒストグラムを補正カーブとして用いて、前記画像の画素値を補正する画像補正手段と、を備えている。
【0011】
また、請求項2の発明は、請求項1に記載の画像処理装置において、前記ヒストグラム補正手段は、前記ヒストグラムにおける前記全ての輝度の度数に1未満の一定の係数を乗算した後、前記全ての輝度の度数に前記オフセット値を加算して、前記ヒストグラムを補正する。
【0012】
また、請求項3の発明は、請求項1に記載の画像処理装置において、前記ヒストグラム補正手段は、前記ヒストグラムの度数に係数を乗算した後、前記全ての輝度の度数に前記オフセット値を加算して、前記ヒストグラムを補正するものであり、前記係数は、前記ヒストグラムの輝度に応じて異なる。
【0013】
また、請求項4の発明は、請求項3に記載の画像処理装置において、前記ヒストグラムの輝度を、相対的に低い低輝度部分と、中輝度部分と、相対的に高い高輝度部分とに区分したとき、前記中輝度部分の前記係数は、前記低輝度部分及び前記高輝度部分と比較して高い。
【0014】
また、請求項5の発明は、請求項1ないし4のいずれかに記載の画像処理装置において、前記画像が、相対的に階調が多い多階調画像と、相対的に階調が少ない少階調画像とのいずれであるかを判定する判定手段、を備え、前記画像補正手段は、前記画像が前記多階調画像の場合には前記累積ヒストグラムを前記補正カーブとして用い、前記画像が前記少階調画像の場合には前記累積ヒストグラムを前記補正カーブとして用いない。
【0015】
また、請求項6の発明は、請求項1ないし5のいずれかに記載の画像処理装置において、前記画像の輝度のばらつきの程度を示す統計量を導出する導出手段、を備え、前記ヒストグラム補正手段は、前記統計量が閾値より大きい場合は、前記ヒストグラムを補正しない。
【0016】
また、請求項7の発明は、請求項1ないし6のいずれかに記載の画像処理装置において、前記画像を表示する表示装置の画面に影響を与える外光の照度を取得する取得手段と、前記外光の照度が閾値より大きい場合に、前記画像補正手段を有効化する有効化手段と、をさらに備えている。
【0017】
また、請求項8の発明は、請求項7に記載の画像処理装置において、前記外光の照度が大きいほど、前記係数を大きく設定する設定手段と、をさらに備えている。
【0018】
また、請求項9の発明は、画像を表示する表示システムであって、請求項1ないし8のいずれかに記載の画像処理装置と、前記画像処理装置で処理された画像を表示する表示手段と、を備えている。
【0019】
また、請求項10の発明は、画像処理方法であって、画像の輝度のヒストグラムを生成する工程と、前記ヒストグラムにおける全ての輝度の度数に一定のオフセット値を加算し、前記ヒストグラムを補正する工程と、補正後の前記ヒストグラムの累積ヒストグラムを生成する工程と、前記累積ヒストグラムを補正カーブとして用いて、前記画像の画素値を補正する工程と、を備えている。
【発明の効果】
【0020】
請求項1ないし10の発明によれば、ヒストグラムにおける全ての輝度の度数に一定のオフセット値を加算することから、ヒストグラムの度数を全体的に底上げして、ヒストグラムの度数の集中を緩和できる。したがって、度数の集中に起因した不具合を緩和しつつ、各輝度の度数に応じて画像のコントラストを適切に強調できる。
【0021】
また、特に請求項2の発明によれば、ヒストグラムにおける全ての輝度の度数に1未満の一定の係数を乗算することから、ヒストグラムの比較的高い度数を低下させて、ヒストグラムの度数の集中を緩和できる。したがって、度数の集中に起因した不具合をさらに緩和しつつ、各輝度の度数に応じて画像のコントラストを適切に強調できる。
【0022】
また、特に請求項3の発明によれば、ヒストグラムにおける度数に輝度に応じて異なる係数を乗算してヒストグラムを補正することから、画像における特定の輝度の領域のコントラストを高めることができる。
【0023】
また、特に請求項4の発明によれば、中輝度部分の係数は低輝度部分及び高輝度部分と比較して高いことから、画像の中輝度部分に対応する領域のコントラストを高めることができる。
【0024】
また、特に請求項5の発明によれば、画像が多階調画像の場合には累積ヒストグラムを補正カーブとして用いる一方、画像が少階調画像の場合には累積ヒストグラムを補正カーブとして用いない。このため、画像の種類に合わせて適切に画像の視認性を向上できる。
【0025】
また、特に請求項6の発明によれば、画像の輝度のばらつきの程度を示す統計量が比較的大きく、度数の集中に起因した不具合が生じない場合は、ヒストグラムを補正しない。このため、不要な処理を省略できる。
【0026】
また、特に請求項7の発明によれば、外光の照度が閾値より大きい場合に画像補正手段を有効化するため、比較的高い照度の外光の影響による視認性の低下を防止できる。
【0027】
また、特に請求項8の発明によれば、外光の照度が大きいほど係数を大きく設定するため、外光の影響が大きいほど画像のコントラストを強調して視認性を向上できる。
【図面の簡単な説明】
【0028】
【図1】図1は、画像表示システムの構成を示すブロック図である。
【図2】図2は、第1の実施の形態の画像処理装置の詳細な構成を示す図である。
【図3】図3は、画像のヒストグラムと、該ヒストグラムに基づく補正カーブとを示す図である。
【図4】図4は、補正前の画像の一例を示す図である。
【図5】図5は、画像のヒストグラムと、該ヒストグラムに基づく補正カーブとを示す図である。
【図6】図6は、補正後の画像の一例を示す図である。
【図7】図7は、補正前の画像の一例を示す図である。
【図8】図8は、画像のヒストグラムと、該ヒストグラムに基づく補正カーブとを示す図である。
【図9】図9は、第1の実施の形態のヒストグラムの補正の手法を説明する図である。
【図10】図10は、補正後のヒストグラムと、該ヒストグラムに基づく補正カーブとを示す図である。
【図11】図11は、補正後のヒストグラムと、該ヒストグラムに基づく補正カーブとを示す図である。
【図12】図12は、ヒストグラムを補正する他の手法を示す図である。
【図13】図13は、第1の実施の形態の画像処理装置の処理の流れを示す図である。
【図14】図14は、ナビモードで用いる補正カーブを示す図である。
【図15】図15は、ナビモードで表示される画像の一例を示す図である。
【図16】図16は、第2の実施の形態においてヒストグラムの補正に用いる係数を示す図である。
【図17】図17は、第2の実施の形態のヒストグラムの補正の手法を説明する図である。
【図18】図18は、補正後のヒストグラムと、該ヒストグラムに基づく補正カーブとを示す図である。
【図19】図19は、補正後のヒストグラムと、該ヒストグラムに基づく補正カーブとを示す図である。
【図20】図20は、画像の輝度のばらつきを比較する図である。
【図21】図21は、第3の実施の形態の画像処理装置の詳細な構成を示す図である。
【図22】図22は、第3の実施の形態の画像処理装置の処理の流れを示す図である。
【図23】図23は、補正カーブの形状を比較する図である。
【図24】図24は、第4の実施の形態の画像処理装置の詳細な構成を示す図である。
【図25】図25は、第4の実施の形態の画像処理装置の処理の流れを示す図である。
【発明を実施するための形態】
【0029】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【0030】
<1.第1の実施の形態>
<1−1.全体構成>
図1は、本実施の形態の画像表示システム1の構成を示すブロック図である。画像表示システム1は、例えば、自動車などの車両で用いられるナビゲーションシステムであり、各種の画像を表示する機能を有している。
【0031】
画像表示システム1は、互いに表示する画像の種類が異なる複数の動作モードを備えている。この複数の動作モードには、テレビモード、カメラモード、ディスクモード及びナビモードが含まれている。
【0032】
テレビモードは、車両に搭載されるアンテナ91で受信したテレビジョン放送の放送内容を示す画像を表示する動作モードである。カメラモードは、車両に搭載される車載カメラ92で撮影された車両の周辺を示す画像を表示する動作モードである。ディスクモードは、DVDなどの映像ディスク93の記録内容を示す画像を表示する動作モードである。また、ナビモードは、ルート案内用の地図画像などナビゲーション機能に必要な画像を表示する動作モードである。
【0033】
図1に示すように、画像表示システム1は、システム全体を制御するシステム制御部10と、ユーザが操作する操作部8とを備えている。システム制御部10は、例えば、CPU、RAM及びROMなどを備えたマイクロコンピュータである。システム制御部10のCPUが所定のプログラムに従って演算処理を行うことで、システム全体を制御するための各種の制御機能が実現される。
【0034】
システム制御部10は、操作部8からのユーザの操作の内容を示す信号に応じて画像表示システム1を制御する。これにより、画像表示システム1はユーザの操作に応じた動作を行う。画像表示システム1の動作モードは、ユーザの操作に基づいてシステム制御部10によって切り替えられる。
【0035】
また、画像表示システム1は、各種の画像を表示する表示装置4と、表示装置4の表示に係る制御を行う表示制御装置3と、表示装置4に表示するための画像を提供する映像提供部2と、外光の照度を検出する照度センサ5とを備えている。これら映像提供部2、表示制御装置3、表示装置4及び照度センサ5の動作は、システム制御部10によって統括的に制御される。
【0036】
映像提供部2は、様々な映像ソースの映像信号を出力する。映像提供部2は、放送受信部21、カメラ入力部22、ディスク読取部23、及び、ナビゲーション部24を備えている。これらの映像提供部2の各部21,22,23,24は、所定の周期(例えば、1/30秒)で画像(フレーム)を含む映像信号を出力する。この映像信号に含まれる画像が、表示装置4への表示対象とする画像となる。
【0037】
放送受信部21は、アンテナ91で受信したテレビジョン放送の放送信号をデコードし、その放送内容を示す画像を取得して表示制御装置3に出力する。カメラ入力部22は、車載カメラ92と接続され、車載カメラ92で撮影された車両の周辺を示す画像を取得して表示制御装置3に出力する。ディスク読取部23は、映像ディスク93を読み取り、映像ディスク93の記録内容を示す画像を取得して表示制御装置3に出力する。また、ナビゲーション部24は、ナビゲーション機能を提供する電子基板であり、ナビゲーション機能に必要な画像を表示制御装置3に出力する。
【0038】
表示装置4は、画像を表示する画面となる液晶パネル41と、その液晶パネル41を照明するバックライト42とを備えている。液晶パネル41がユーザである車両の乗員から視認できるように、表示装置4は車両のインストルメントパネルなどに設置される。
【0039】
液晶パネル41は、例えば、縦横二次元に配列された複数のドットを備えている。液晶パネル41は、バックライト42の光の透過率をドットごとに変更することで画像を表示する。また、バックライト42は、発光ダイオード(LED)などの光源を備えており、液晶パネル41を背面から照明する。バックライト42は、表示制御装置3から送出されるデューティ比が設定された制御信号に基づいて発光する。バックライト42の光量は、制御信号のデューティ比が高いほど大きくなる。
【0040】
照度センサ5は、受光素子を備えており、受光素子に入射した光の照度を検出する。受光素子は表示装置4の画面となる液晶パネル41の周縁近傍に配置される。したがって、照度センサ5は、表示装置4の画面を前面から照明する外光(すなわち、表示装置4の画面の視認性に影響を与える外光)の照度を検出する。照度センサ5の検出結果である外光の照度は、表示制御装置3に入力される。
【0041】
表示制御装置3は、例えば、ASIC(Application Specific Integrated Circuit)などのハードウェア回路であり、表示装置4の表示に係る制御を行う。表示制御装置3は、画像取得部31、画像処理装置6、画像出力部33、及び、バックライト制御部7を備えている。
【0042】
画像取得部31は、画像を含む映像信号を映像提供部2から取得する。画像取得部31は、システム制御部10からの動作モードを示す信号に基づいてスイッチングを行い、映像提供部2の各部21,22,23,24から出力される映像信号のうち、その時点の動作モードに応じた一つの映像信号を取得する。そして、画像取得部31は、取得した映像信号に含まれる画像を画像処理装置6及びバックライト制御部7に提供する。この画像は、表示装置4への表示対象となる。
【0043】
画像処理装置6は、画像取得部31から入力される表示対象となる画像のコントラストを強調する画像処理を行う。画像処理装置6は、画像の輝度のヒストグラムを用いて画像のコントラストを強調する。このコントラストを強調する画像処理は、直射日光が入射する場合など、表示装置4の画面の視認性に影響を与える外光の照度が比較的高い場合に行われる。外光の照度が比較的高い場合は、画面における外光の反射等に起因して表示装置4の画面の視認性が低下する。具体的には、表示装置4に表示される画像のコントラストや色が全体的に薄くなってしまう。このため、画像処理装置6は、外光の照度が比較的高い場合に表示対象となる画像のコントラストを強調することで、画像の視認性を向上する。
【0044】
画像出力部33は、画像処理装置6で処理された画像を、表示装置4に出力して表示させる。外光の照度が比較的高い場合は画像処理装置6でコントラストが強調された画像が表示装置4の液晶パネル41に表示される。これにより、表示装置4の画面の視認性が向上する。
【0045】
バックライト制御部7は、デューティ比を設定した制御信号をバックライト42に出力することで、バックライト42の光量を調整する。バックライト制御部7は、表示対象となる画像の輝度のヒストグラムに基づいて、バックライト42の光量を調整する。バックライト42の光量は、表示対象となる画像が比較的明るい場合は大きくされ、逆に、表示対象となる画像が比較的暗い場合は小さくされる。
【0046】
<1−2.画像処理装置>
次に、ヒストグラムを用いて画像のコントラストを強調する画像処理装置6について詳細に説明する。図2は、画像処理装置6の詳細な構成を示す図である。
【0047】
図2に示すように、画像処理装置6は、画像取得部31から入力される表示対象となる画像を処理するための処理部として、ヒストグラム生成部61、ヒストグラム補正部62、ヒストグラム累積部63、及び、画像補正部64を備えている。これらの処理部61〜64により、表示対象となる画像のコントラストを強調する画像処理が行われる。なお、ヒストグラム生成部61は画像の輝度のヒストグラムを生成する機能を有するが、このヒストグラム生成部61が生成したヒストグラムをバックライト制御部7に入力してもよい。この場合、バックライト制御部7は、画像の輝度のヒストグラムを生成する機能が不要となる。
【0048】
また、画像処理装置6は、メモリ65、照度取得部66、有効化部67及びモード判定部68をさらに備えている。
【0049】
メモリ65は、各種のデータを記憶可能な不揮発性メモリである。メモリ65には、画像のコントラストを強調する処理部61〜64で用いられる各種のデータが記憶される。
【0050】
照度取得部66は、表示装置4の画面の視認性に影響を与える外光の照度を照度センサ5から取得する。照度取得部66は、取得した外光の照度を有効化部67に入力する。
【0051】
有効化部67は、入力された外光の照度と所定の閾値とを比較し、外光の照度が閾値より大きい場合に、画像のコントラストを強調する処理部61〜64を有効化する。これにより、外光の照度が比較的高い場合に、画像のコントラストを強調する画像処理が実行される。
【0052】
また、モード判定部68は、システム制御部10からの信号に基づいて、画像表示システム1の現時点の動作モードを判定する。モード判定部68の判定結果は、画像補正部64に入力される。画像補正部64は、動作モードの判定結果に応じて処理の内容を変更する。
【0053】
画像処理装置6の処理部61〜64は、ヒストグラムイコライゼーションと呼ばれる手法によって画像のコントラストを強調する。以下、一般的なヒストグラムイコライゼーションについて説明する。
【0054】
ヒストグラムイコライゼーションにおいては、まず、画像の明るさを示す輝度のヒストグラムが生成される。図3の左側に示すように、このヒストグラムHは、横軸を画像の輝度とし、縦軸を各輝度の度数(各輝度となる画素の数)としたものである。本実施の形態では、画像の輝度を8ビット(0〜255)で表現する。
【0055】
次に、このヒストグラムHの度数を累積した累積ヒストグラムが生成される。図3の右側は、この累積ヒストグラムを、最大値が255、最小値が0となるように正規化したものである。そして、このように正規化した累積ヒストグラムを、横軸を入力レベル(0〜255)、縦軸を出力レベル(0〜255)とする補正カーブ(トーンカーブ)Cとして用いて、画像の画素値が補正される。
【0056】
なお、図中においては、ヒストグラムの輝度のレベルと、そのヒストグラムに基づく補正カーブの入力レベルとで対応する部分に同一の符号を付している(以降の図においても同様。)。
【0057】
図3に示すように、ヒストグラムH(図3の左側)の度数が比較的高い部分B2,B4,B6においては、補正カーブC(図3の右側)の傾きが比較的大きくなる。したがって、画像において度数が比較的高い輝度の領域のコントラスト(レベルの差)は拡大する。また逆に、ヒストグラムH(図3の左側)の度数が比較的低い部分B1,B3,B5,B7においては、補正カーブC(図3の右側)の傾きが比較的小さくなる。したがって、画像において度数が比較的低い輝度の領域のコントラスト(レベルの差)は縮小する。これにより、画像全体としてのコントラストを強調することができる。
【0058】
このようなヒストグラムイコライゼーションは、ヒストグラムの度数がある程度分散している画像のコントラストの強調に向いており、このような画像の視認性の向上に有効である。一方で、ヒストグラムイコライゼーションは、ヒストグラムの度数がある一つの輝度に集中する画像への適用には向いていない。度数がある輝度に集中する画像にヒストグラムイコライゼーションを適用すると、度数が集中する輝度の領域のコントラストが過度に拡大されてしまう結果、処理後の画像の画質が大きく劣化するという不具合が生じる。
【0059】
例えば、図4に示すような、比較的広く非常に明るい背景Saと被写体の像Sbとが存在する画像P1に、ヒストグラムイコライゼーションを適用する場合を想定する。
【0060】
図5の左側は、図4の画像P1の輝度のヒストグラムHを示している。このヒストグラムHにおいては、背景Saに対応する高輝度の部分A3に度数が集中し、また、低輝度の部分A1に度数はほぼ存在していない。図5の右側は、このヒストグラムHに基づく補正カーブ(正規化した累積ヒストグラム)Cを示している。この補正カーブCは、部分A3において他の部分と比較して極端に大きな傾きを有する一方、部分A1において傾きはおよそ「0」となっている。
【0061】
この補正カーブCを用いて図4の画像P1を補正すると、背景Saのコントラストが過度に拡大されてしまう。その結果、処理後の画像は、全体が明るいはずの背景のSaが部分的に暗くなる不自然な画像となる。
【0062】
また、画像P1の輝度のヒストグラムHにおいて、被写体の像Sbの輝度は部分A2に対応する。そして、補正カーブCでは、この部分A2の入力レベルは、比較的低い出力レベルに対応する。したがって、この補正カーブCを用いて図4に示す画像P1を補正すると、図6に示す画像P1aのように、被写体の像Sbが暗くなりすぎてしまい、画像の画質が大きく劣化することになる。
【0063】
次に、図7に示すような、花火の画像P2にヒストグラムイコライゼーションを適用する場合を想定する。花火の画像P2は、その大部分が非常に暗い背景Scとなる。
【0064】
図8の左側は、図7の画像P2の輝度のヒストグラムHを示している。このヒストグラムHにおいては、背景Scに対応する低輝度の部分A4に度数が集中する。図8の右側は、このヒストグラムHに基づく補正カーブ(正規化した累積ヒストグラム)Cを示している。この補正カーブCは、部分A4において極端に大きな傾きを有し、他の部分A5においては僅かな傾きのみを有している。
【0065】
この補正カーブCを用いて図7の画像P2を補正すると、背景Scのコントラストが過度に拡大されてしまう。その結果、処理後の画像は、全体が暗いはずの背景のScが部分的に明るくなった不自然な画像となる。また、画像P2の比較的低い輝度にはノイズ成分も含まれるため、処理後の画像においてはノイズ成分も大きく強調されてしまい、画像の画質が大きく劣化することになる。
【0066】
このように度数がある輝度に集中する画像に一般的なヒストグラムイコライゼーションを単純に適用すると、処理後の画像に不具合が生じる。このため、本実施の形態の画像表示システム1の画像処理装置6は、補正カーブC(累積ヒストグラム)を生成する前のヒストグラムを度数の集中が緩和するように補正して、このような度数の集中に起因した不具合を緩和するようにしている。
【0067】
具体的には、図9に示すように、画像処理装置6は、表示対象となる画像の正規化したヒストグラムH1の全ての輝度の度数に「1」未満の一定の係数Kを乗算する。これにより、ヒストグラムH1の比較的高い度数(ピーク)を低下させる。さらに、画像処理装置6は、ヒストグラムH1の全ての輝度の度数に一定のオフセット値Dを加算する。これにより、ヒストグラムH1の度数が全体的に底上げされる。このような補正によって、補正後のヒストグラムH2においては、補正前のヒストグラムH1と比較して度数の集中が緩和される。
【0068】
係数Kは、予め設定された「0」より大きく「1」より小さい値となっている。係数Kを小さくするほど、ヒストグラムにおける度数の集中を緩和する効果が大きい。本実施の形態では、例えば「K=0.8」とされている。また、オフセット値Dは、予め設定された「0」より大きく「255」より小さい値となっている。オフセット値Dを大きくするほど、ヒストグラムにおける度数の集中を緩和する効果が大きい。本実施の形態では、例えば「D=10」とされている。
【0069】
図10の左側は、図4に示す画像P1の補正前のヒストグラムH1と、補正後のヒストグラムH2とを示している。そして、図10の右側は、補正後のヒストグラムH2に基づく補正カーブ(正規化した累積ヒストグラム)C1を示している。
【0070】
この補正カーブC1においては、図5の補正カーブCと比較して、極端に大きな、あるいは、極端に小さな傾きが緩和されている。すなわち、図10の補正カーブC1では、補正前のヒストグラムH1において度数が集中する部分A3における傾きが小さくなっている。また、図10の補正カーブC1は、補正前のヒストグラムH1において度数がほぼ存在しない部分A1にも一定以上の傾きを有している。
【0071】
したがって、このような補正後のヒストグラムH2に基づく補正カーブC1を用いて画像P1を補正することで、背景Saのコントラストが過度に拡大されることが無くなり、被写体の像Sbが暗くなるという不具合を緩和することができる。
【0072】
また、図11の左側は、図7に示す画像P2の補正前のヒストグラムH1と、補正後のヒストグラムH2とを示している。そして、図11の右側は、補正後のヒストグラムH2に基づく補正カーブ(正規化した累積ヒストグラム)C1を示している。
【0073】
この補正カーブC1においても、図8の補正カーブCと比較して、極端に大きな、あるいは、極端に小さな傾きが緩和されている。すなわち、図11の補正カーブC1では、補正前のヒストグラムH1において度数が集中する部分A4における傾きが小さくなり、他の部分A5においても一定以上の傾きを有している。
【0074】
したがって、このような補正後のヒストグラムH2に基づく補正カーブC1を用いて画像P2を補正することで、背景Scのコントラストが過度に拡大されることが無くなり、ノイズ成分が強調されるという不具合を緩和することができる。
【0075】
また、ヒストグラムの度数がある程度分散するような画像のヒストグラムに同様の補正を行った場合においても度数の集中が緩和されるが、この場合、画像処理の結果に大きく影響しない。したがって、このようなヒストグラムの補正によって、度数の集中に起因した不具合を緩和しつつ、画像のコントラストを適切に強調できる。
【0076】
なお、図12に示すように、上限値及び下限値を設定し、画像の輝度のヒストグラムHxにおいて上限値より大きい度数を上限値に下げるとともに、下限値より小さい度数を下限値まで上げることで、ヒストグラムの度数の集中を緩和する手法も考えられる。しかしながら、この手法を採用した場合においては、補正後のヒストグラムHyでは、補正前のヒストグラムHxにおける上限値より大きい部分、及び、下限値より小さい部分のカーブ形状が失われてしまう。すなわち、ヒストグラムの補正によって、各輝度の度数の情報が失われることになる。このため、画像の各輝度の度数に応じてコントラストを適切に強調することができなくなる。
【0077】
これに対して、本実施の形態の手法では、係数Kの乗算、及び、オフセット値Dの加算によりヒストグラムの度数の集中を緩和することから、補正後のヒストグラムにおいても補正前のヒストグラムのカーブ形状をおよそ保持している。すなわち、各輝度の度数の相対的な関係を保持したままヒストグラムを補正することができる。したがって、画像の各輝度の度数に応じてコントラストを適切に強調できることになる。
【0078】
<1−3.処理の流れ>
次に、画像処理装置6の処理の流れについて説明する。図13は、画像処理装置6の処理の流れを示す図である。画像表示システム1は、電源がオンとなっている間、その時点の動作モードに応じた種類の画像を表示装置4に表示する動作を所定の周期(例えば、1/30秒)で繰り返す。画像処理装置6は、この画像を表示する周期に同期して図13に示す処理を繰り返し実行する。この処理の開始時点では、画像のコントラストを強調する処理部61〜64は無効化されている。
【0079】
まず、照度取得部66が、表示装置4の画面の視認性に影響を与える外光の照度を照度センサ5から取得する(ステップS11)。照度取得部66は、取得した外光の照度を有効化部67に入力する。
【0080】
次に、有効化部67が、入力された外光の照度と所定の閾値とを比較し、外光の照度が閾値より大きいか否かを判定する。この閾値は、直射日光などの外光の影響を受けて表示装置4の画面の視認性が悪化するか否かを判断するためのものであり、例えば5,000(lx)とされる。外光の照度が閾値よりも大きい場合(ステップS12にてYes)は、表示装置4の視認性を改善するために、有効化部67が処理部61〜64を有効化する(ステップS13)。これにより、以降、処理部61〜64により画像のコントラストを強調する処理が実行される。
【0081】
一方、外光の照度が閾値よりも小さい場合(ステップS12にてNo)は、有効化部67は処理部61〜64を有効化せず、そのまま処理が終了する。この場合は、画像のコントラストは強調されず、表示対象となる画像がそのまま表示装置4に出力されて表示される。なお、外光の照度が閾値と同じ場合はいずれの判断分岐に含めてもよい。
【0082】
ステップS13において有効化部67が処理部61〜64を有効化すると、次に、モード判定部68がその時点の画像表示システム1の動作モードを、システム制御部10からの信号に基づいて判定する。そして以降、動作モードがナビモード以外の場合(ステップS14にてNo)はステップS15,S17,S18,S19の処理が実行され、動作モードがナビモードの場合(ステップS14にてYes)はステップS20,S21の処理が実行される。
【0083】
動作モードがナビモード以外の場合(ステップS14にてNo)は、まず、ヒストグラム生成部61が表示対象とする画像の輝度のヒストグラムを生成する(ステップS15)。
【0084】
次に、ヒストグラム補正部62が、度数の集中が緩和するようにヒストグラムを補正する(ステップS17)。具体的にはまず、ヒストグラム補正部62は、次の数1によって、ヒストグラム生成部61が生成した補正前のヒストグラムH0(n)に基づいて、正規化したヒストグラムH1(n)を得る。nは輝度(0〜255)を示す。
【0085】
【数1】
数1において、Fmaxは補正前のヒストグラムH0(n)の最大の度数、Fminは補正前のヒストグラムH0(n)の最小の度数である。これにより、ヒストグラムH1(n)は、最大の度数が255、最小の度数が0となるように正規化される。このようにヒストグラムを正規化することにより、補正における係数K及びオフセット値Dの影響が一定とされる。
【0086】
次に、ヒストグラム補正部62は、次の数2に示すように、正規化されたヒストグラムH1(n)に係数Kを乗算し、さらに、オフセット値Dを加算する。
【0087】
【数2】
これらの係数K及びオフセット値Dはメモリ65に予め記憶される。これにより、度数の集中が緩和されたヒストグラムH2(n)が得られる。
【0088】
補正後のヒストグラムH2(n)が得られると次に、ヒストグラム累積部63が、ヒストグラムH2(n)に基づいて補正カーブとして用いるための累積ヒストグラムを生成する。
【0089】
具体的にはまず、ヒストグラム累積部63は、次の数3によって、ヒストグラムH2(n)の累積ヒストグラムC0(n)を生成する。
【0090】
【数3】
数3に示すように、累積ヒストグラムCO(n)は、各輝度nの値を、ヒストグラムH2(m)における0からnまでの全ての輝度の度数を加算した結果としたものである。
【0091】
次に、ヒストグラム累積部63は、次の数4によって、累積ヒストグラムCO(n)に基づいて正規化した累積ヒストグラムC1(n)を得る。
【0092】
【数4】
数4において、Cmaxは累積ヒストグラムCO(n)の最大値、Cminは累積ヒストグラムCO(n)の最小値である。これにより、累積ヒストグラムC1(n)は、最大値が255、最小値が0となるように正規化される。この累積ヒストグラムC1(n)のカーブ形状は、0から255まで右肩上がりで上昇するものとなる。
【0093】
このようにして累積ヒストグラムC1(n)が得られると、次に、画像補正部64が、この累積ヒストグラムC1(n)を補正カーブ(トーンカーブ)として用いて画像の画素値を補正する。画像の画素値は、R値、G値、B値の3つの値を含む。画像補正部64このR値、G値、B値のそれぞれを、補正カーブを用いて補正する。その結果、画像のコントラストが強調されることになる。度数の集中が緩和するようにヒストグラムを補正しているため、補正後の画像においては度数の集中に起因した不具合も緩和されることになる。
【0094】
このように補正された画像は、表示装置4に出力される。これにより、コントラストが強調された画像が表示装置4に表示され、表示装置4の視認性が向上することになる。
【0095】
なお、画像補正部64は、画像の画素値として輝度のみ、あるいは、G値のみを補正するようにしてもよい。ただし、本実施の形態のように、画像のR値、G値、B値のそれぞれを補正カーブを用いて補正することで、画像のコントラストのみならず、画像の色も強調することができる。したがって、外光の影響によりコントラストとともに色が全体的に薄くなった画像の視認性を効果的に改善することができる。
【0096】
また、ステップS14において動作モードがナビモードの場合は、画像補正部64がメモリ65から、図14に示す所定の補正カーブC2を取得する(ステップS20)。そして、画像補正部64は、累積ヒストグラムではなく、このメモリ65に記憶された補正カーブC2を用いて画像の画素値を補正する(ステップS21)。これにより、画像の比較的低輝度の部分が明るくなり、画像の視認性が向上する。このようにして補正された画像は、表示装置4に出力されて表示されることになる。
【0097】
ナビモードにおいては、図15に示す地図の画像P3などのようにイラストの画像が表示装置4に表示される。これに対して、ナビモード以外のテレビモード、カメラモード、ディスクモードにおいては、人物や自然風景などの画像が表示装置4に表示される。人物や自然風景などの画像は相対的に階調(輝度の段階)が多い「多階調画像」であるといえ、イラストの画像は相対的に階調が少ない「少階調画像」といえる。つまり、ナビモード以外では多階調画像が表示対象となり、ナビモードでは少階調画像が表示対象となる。
【0098】
ヒストグラムイコライゼーションは多階調画像に適した手法であり、ヒストグラムが離散的となる少階調画像には適していない。このため、画像補正部64は、動作モードがナビモード以外の場合(すなわち、表示対象となる画像が多階調画像の場合)は、累積ヒストグラムを補正カーブとして用いるヒストグラムイコライゼーションを実行する。しかしながら一方で、画像補正部64は、動作モードがナビモードの場合(すなわち、表示対象となる画像が少階調画像の場合)は、累積ヒストグラムを補正カーブとして用いずに、所定の補正カーブC2を用いる。このようにすることで、表示対象とする画像の種類に適した手法で補正を行うことができ、適切に画像の視認性を向上することができる。
【0099】
なお、図13のステップS14においてモード判定部68は動作モードがナビモードか否かを判定するが、この際、モード判定部68は、表示対象となる画像が、相対的に階調が多い多階調画像と、相対的に階調が少ない少階調画像とのいずれであるかを実質的に判定することになる。
【0100】
以上のように、本実施の形態の画像表示システム1では、ヒストグラム生成部61が表示対象となる画像のヒストグラムを生成し、ヒストグラム補正部62がそのヒストグラムにおける全ての輝度の度数に「1」未満の一定の係数Kを乗算した後、全ての輝度の度数にオフセット値Dを加算してヒストグラムを補正する。そして、ヒストグラム累積部63がこの補正後のヒストグラムの累積ヒストグラムを生成し、画像補正部64がその累積ヒストグラムを補正カーブとして用いて画像の画素値を補正する。
【0101】
このように画像表示システム1ではヒストグラムにおける全ての輝度の度数に一定のオフセット値Dを加算することから、ヒストグラムの度数を全体的に底上げして、ヒストグラムの度数の集中を緩和できる。また、ヒストグラムにおける全ての輝度の度数に「1」未満の一定の係数Kを乗算することから、ヒストグラムの比較的高い度数を低下させて、ヒストグラムの度数の集中をさらに緩和できる。したがって、度数の集中に起因した不具合を緩和しつつ、各輝度の度数に応じて画像のコントラストを適切に強調できる。
【0102】
また、画像補正部64は、表示対象となる画像が多階調画像の場合には累積ヒストグラムを補正カーブとして用い、表示対象となる画像が少階調画像の場合には累積ヒストグラムを補正カーブとして用いない。このため、画像の種類に合わせて適切に画像の視認性を向上できる。
【0103】
また、有効化部67は、外光の照度が閾値より大きい場合に画像補正部64を有効化するため、比較的高い照度の外光の影響による視認性の低下を防止できる。
【0104】
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態の画像表示システム1の構成及び処理は、第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。第1の実施の形態では、ヒストグラムの全ての輝度の度数に一定の係数を乗算していた。これに対して、第2の実施の形態では、ヒストグラムの度数に、輝度に応じて異なる値の係数を乗算するようにしている。
【0105】
図16は、第2の実施の形態において、ヒストグラムの補正に用いられる係数Lを示す図である。図中の横軸は、ヒストグラムの輝度(0〜255)に対応している。このような係数Lは、画像処理装置6のメモリ65に予め記憶されている。
【0106】
図に示すように係数Lは、ヒストグラムの輝度に応じて異なる「0」以上「1」以下の値となっている。この係数Lのカーブ形状は上に凸となっている。すなわち、ヒストグラムの輝度(0〜255)を、相対的に低い低輝度部分Alと、中輝度部分Amと、相対的に高い高輝度部分Ahとに区分したとき、中輝度部分Amの係数Lは、低輝度部分Al及び高輝度部分Ahと比較して高くなっている。本実施の形態では、低輝度部分Alと中輝度部分Amとの境界の輝度は例えば「50」とされ、中輝度部分Amと高輝度部分Ahとの境界の輝度は例えば「150」とされている。
【0107】
本実施の形態の画像処理装置6のヒストグラム補正部62は、この係数Lを用いてヒストグラムを補正する。具体的には、図17に示すように、画像処理装置6は、表示対象となる画像の正規化したヒストグラムH1の全ての輝度の度数に、輝度に応じて異なる係数Lを乗算する。これにより、ヒストグラムH1の低輝度部分及び高輝度部分に存在する度数が大きく低下する一方で、中輝度部分に存在する度数はあまり低下しない。
【0108】
さらに、画像処理装置6は、第1の実施の形態と同様に、ヒストグラムH1の全ての輝度の度数に「1」未満の一定の係数Kを乗算するとともに、全ての輝度の度数に一定のオフセット値Dを加算する。このような補正によって、補正後のヒストグラムH2においては、補正前のヒストグラムH1と比較して、低輝度部分及び高輝度部分における度数の集中が大きく緩和される。
【0109】
このヒストグラム補正部62の処理は、次の数5の演算で表現できる。すなわち、ヒストグラム補正部62は、正規化されたヒストグラムH1(n)に、輝度nに応じた係数L(n)と一定の係数Kとを乗算し、さらに、オフセット値Dを加算する。これにより、補正後のヒストグラムH2(n)が得られる。
【0110】
【数5】
本実施の形態のヒストグラム補正部62は、第1の実施の形態の数2の演算に代えて、この数5の演算を行う。ヒストグラム累積部63は、この数5の演算により得られたヒストグラムH2(n)に基づいて、第1の実施の形態と同様の演算を行って、累積ヒストグラムC1(n)を生成する。そして、画像補正部64は、この累積ヒストグラムC1(n)を補正カーブとして用いて画像の画素値を補正する。
【0111】
画像のコントラストを強調するためには、処理前の画像において明るい領域は明るいまま保持し、処理前の画像において暗い領域は暗いまま保持することが望ましい。また一方で、外光の影響を受けやすい中程度の輝度の領域のコントラストは高めることが望ましい。
【0112】
このため、本実施の形態では、ヒストグラムの輝度に応じて異なる係数Lを用いてヒストグラムを補正することで、画像における特定の輝度の領域のコントラストを高めるようにしている。すなわち、中輝度部分Amで相対的に高くなる係数Lを用いることで、補正前の画像における中輝度部分Amに対応する領域のコントラストを高めることができる。また、低輝度部分Al及び高輝度部分Ahで相対的に低くなる係数Lを用いることで、補正前の画像において高輝度部分Ahに対応する領域は明るいまま保持することができ、補正前の画像において低輝度部分Alに対応する領域は暗いまま保持することができる。その結果、外光の影響を受けた場合における画像の視認性をより効果的に向上できる。
【0113】
もちろん、本実施の形態においても、ヒストグラムの度数の集中に起因した不具合を緩和することができる。特に、ヒストグラムの高輝度部分Ah及び低輝度部分Alにおける度数を大きく低下させることから、高輝度部分Ah及び低輝度部分Alにおける度数の集中に起因した不具合を大きく緩和することができる。
【0114】
図18の左側は、図4に示す画像P1の補正前のヒストグラムH1と、本実施の形態の手法による補正後のヒストグラムH2とを示している。補正後のヒストグラムH2では、補正前のヒストグラムH1と比較して、比較的高輝度の部分A3において度数が大きく低下している。
【0115】
図18の右側は、この補正後のヒストグラムH2に基づく補正カーブ(正規化した累積ヒストグラム)C1を示している。この補正カーブC1は、図5の補正カーブCと比較して極端な傾きが大きく緩和されており、そのカーブ形状は比較的直線的に延びている。このような補正カーブC1を用いて画像P1を補正することで、明るい背景Saは補正後の画像においても明るいまま保持することができる。そして、比較的高輝度の部分A3における度数の集中に起因する不具合を大きく緩和できる。
【0116】
また、図19の左側は、図7に示す画像P2の補正前のヒストグラムH1と、本実施の形態の手法による補正後のヒストグラムH2とを示している。補正後のヒストグラムH2では、補正前のヒストグラムH1と比較して、比較的低輝度の部分A4において度数が大きく低下している。
【0117】
図19の右側は、この補正後のヒストグラムH2に基づく補正カーブ(正規化した累積ヒストグラム)C1を示している。この補正カーブC1は、図8の補正カーブCと比較して極端な傾きが大きく緩和されており、そのカーブ形状は比較的直線的に延びている。このような補正カーブC1を用いて画像P2を補正することで、暗い背景Scは補正後の画像においても暗いまま保持することができる。そして、比較的低輝度の部分A4における度数の集中に起因する不具合を緩和できる。
【0118】
以上のように、第2の実施の形態の画像表示システム1では、輝度に応じて異なる係数を度数に乗算してヒストグラムを補正することから、画像における特定の輝度の領域のコントラストを高めることができる。また、中輝度部分Amの係数は低輝度部分Al及び高輝度部分Ahと比較して高いことから、画像の中輝度部分Amに対応する領域のコントラストを高めることができる。
【0119】
<3.第3の実施の形態>
次に、第3の実施の形態について説明する。第3の実施の形態の画像表示システム1の構成及び処理は、第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。第1の実施の形態では画像の輝度のばらつきの程度を考慮していなかったが、第3の実施の形態では画像の輝度のばらつきの程度に応じて画像処理の内容を変更する。
【0120】
前述のように、度数がある輝度に集中する画像に一般的なヒストグラムイコライゼーションを単純に適用すると、処理後の画像に不具合が生じる。すなわち、図20の下側に示すように、輝度のばらつきの程度が比較的小さい画像に一般的なヒストグラムイコライゼーションを単純に適用した場合に、補正後の画像に不具合が生じる。一方で、図20の上側に示すように、輝度のばらつきの程度が比較的大きい画像に一般的なヒストグラムイコライゼーションを単純に適用した場合には、補正後の画像に不具合は生じない。
【0121】
このため、第3の実施の形態の画像処理装置6は、表示対象とする画像の輝度のばらつきの程度を判断し、ばらつきの程度が比較的大きい場合においては、ヒストグラムの度数の集中を緩和する補正を実行しないようになっている。
【0122】
第3の実施の形態の画像処理装置6は、表示対象とする画像の輝度のばらつきの程度を示す統計量を導出する機能を有している。図21は、第3の実施の形態の画像処理装置6の詳細な構成を示す図である。第3の実施の形態の画像処理装置6は、図2に示す構成に加えて、統計量導出部69をさらに備えている。
【0123】
統計量導出部69は、標準偏差や分散など、ばらつきの程度を示す統計量を導出する。統計量導出部69は、表示対象とする画像に基づいて、その画像の輝度のばらつきの程度を示す統計量を導出する。また、統計量導出部69は、導出した統計量と所定の閾値とを比較し、統計量が閾値よりも大きいか否かを判定する。
【0124】
図22は、第3の実施の形態の画像処理装置6の処理の流れを示す図である。図22に示す処理は、図13に示す処理におけるステップS15とステップS17との間に、ステップS16a,S16bを加えたものとなっている。
【0125】
すなわち、ステップS15においてヒストグラム生成部61が表示対象とする画像の輝度のヒストグラムを生成すると、続いて、統計量導出部69が表示対象とする画像の輝度のばらつきの程度を示す統計量を導出する(ステップS16a)。
【0126】
次に、統計量導出部69は、導出した統計量が所定の閾値よりも大きいか否かを判定する(ステップS16b)。これにより、統計量導出部69は、ヒストグラムイコライゼーションによる補正後の画像に不具合が生じるか否かを実質的に判定する。この判定結果は、ヒストグラム補正部62に入力される。
【0127】
統計量が所定の閾値よりも小さい場合は、ばらつきの程度が比較的小さいことから補正後の画像に不具合が生じる。したがってこの場合(ステップS16bにてNo)は、ヒストグラム補正部62は、度数の集中が緩和するようにヒストグラムを補正する(ステップS17)。
【0128】
一方、統計量が所定の閾値よりも大きい場合は、ばらつきの程度が比較的大きいことから補正後の画像に不具合が生じない。したがってこの場合(ステップS16bにてYes)は、ヒストグラム補正部62はヒストグラムを補正せず、そのまま処理はステップS18に進む。これにより、未補正のヒストグラムに基づいて累積ヒストグラムが生成され(ステップS18)、この累積ヒストグラムを補正カーブとして用いて画像が補正される(ステップS19)。つまり、一般的なヒストグラムイコライゼーションが実行されることになる。
【0129】
以上のように、第3の実施の形態の画像表示システム1では、画像の輝度のばらつきの程度を示す統計量が導出される。そして、この統計量と閾値とを比較し、統計量が比較的大きく度数の集中に起因した不具合が生じない場合は、ヒストグラムを補正しない。このため、不要な処理を省略することができる。なお、本実施の形態では、ヒストグラムの補正を第1の実施の形態の手法で行うものとしているが、第2の実施の形態の手法で行うものであってもよい。
【0130】
<4.第4の実施の形態>
次に、第4の実施の形態について説明する。第4の実施の形態の画像表示システム1の構成及び処理は、第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。第1の実施の形態ではヒストグラムの補正に用いる係数Kは固定されていたが、第3の実施の形態では外光の照度に応じて係数Kを変更するようになっている。
【0131】
図23に示すように、補正カーブCのカーブ形状は係数Kに応じて変わり、ヒストグラムの補正に用いる係数Kが小さいほど、補正カーブCのカーブ形状はより直線的となる。したがって、係数Kが大きいほど画像のコントラストを強調する効果が大きくなり、係数Kが小さいほど画像のコントラストを強調する効果が小さくなる。また一方で、外光の照度が大きいほど、外光の影響が大きくなって表示装置4の視認性は低下する。このため、第3の実施の形態の画像処理装置6は、外光の照度が大きいほど係数Kを大きくして、画像のコントラストを強調する効果を高めるようにしている。
【0132】
図24は、第4の実施の形態の画像処理装置6の詳細な構成を示す図である。第4の実施の形態の画像処理装置6は、図2に示す構成に加えて、係数設定部70をさらに備えている。
【0133】
係数設定部70は、照度取得部66が取得した外光の照度に応じて、係数Kを設定する。具体的には、係数設定部70は、外光の照度が大きいほど、係数Kを大きく設定する。
【0134】
図25は、第4の実施の形態の画像処理装置6の処理の流れを示す図である。図25に示す処理は、図13に示す処理におけるステップS15とステップS17との間に、ステップS16cを加えたものとなっている。
【0135】
すなわち、ステップS15においてヒストグラム生成部61が表示対象とする画像の輝度のヒストグラムを生成すると、続いて、係数設定部70が照度取得部66が取得した外光の照度を参照する。そして、係数設定部70は、外光の照度が大きいほど係数Kを大きく、外光の照度が小さいほど係数Kを小さく設定する(ステップS16c)。係数設定部70は、「0」より大きく「1」より小さい範囲で係数Kを設定する。外光の照度と係数Kとの関係は、テーブルや関数などにより予め定められている。
【0136】
係数設定部70が設定した係数Kは、ヒストグラム補正部62に入力される。そして、ヒストグラム補正部62は、この外光の照度に応じた係数Kを用いてヒストグラムを補正する(ステップS17)。以降の処理は、第1の実施の形態と同様である。
【0137】
以上のように、第4の実施の形態では、外光の照度が大きいほど係数Kを大きく設定するため、外光の影響が大きいほど画像のコントラストを強調して視認性を向上できる。なお、本実施の形態では、外光の照度に応じて設定した係数Kを第1の実施の形態の手法に適用するものとしているが、第2の実施の形態の手法に適用してもよい。
【0138】
<5.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【0139】
第1の実施の形態では、係数Kは「1」より小さい値としていたが、係数Kは「1」であってもよい。この場合は、オフセット値Dのみによりヒストグラムにおける度数の集中が緩和される。また、第2の実施の形態でも係数Kは「1」であってもよい。この場合は、係数Lのみがヒストグラムの度数に乗算される。また、第1の実施の形態では係数Kは「0」であってもよい。この場合は、補正カーブのカーブ形状は直線となる。
【0140】
また、上記実施の形態では、画像のヒストグラムを正規化した後に、係数及びオフセット値を用いてヒストグラムを補正していたが、このような正規化を省略してもよい。
【0141】
また、上記実施の形態では、有効化部67が、画像のコントラストを強調する処理部61〜64の全体を外光の照度に応じて有効化していた。これに対して、処理部61〜63は常に有効化しておき、有効化部67が、画像補正部64のみを外光の照度に応じて有効化するようにしてもよい。
【0142】
また、第3の実施の形態の係数Lのカーブ形状は図16に示すものに限定されない。この係数Lのカーブ形状のピークを所望の輝度にすることで、画像における当該輝度の領域のコントラストを高めることができる。
【0143】
また、第4の実施の形態では、外光の照度に応じて係数Kを変更していたが、外光の照度に応じてオフセット値Dを変更するようにしてもよい。オフセット値Dが大きいほど画像のコントラストを強調する効果が小さくなり、オフセット値Dが小さいほど画像のコントラストを強調する効果が大きくなる。したがって、画像処理装置6が備える設定部が、外光の照度が大きいほどオフセット値Dを小さくして、画像のコントラストを強調する効果を高めるようにしてもよい。
【0144】
また、上記実施の形態において、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【0145】
6 画像処理装置
61 ヒストグラム生成部
62 ヒストグラム補正部
63 ヒストグラム累積部
64 画像補正部
66 照度取得部
67 有効化部
68 モード判定部
69 統計量導出部
70 係数設定部
【技術分野】
【0001】
本発明は、ヒストグラムを用いて画像を処理する技術に関する。
【背景技術】
【0002】
従来より、画像のコントラストを強調する各種の画像処理が提案されている。このような画像処理の一つとして、ヒストグラムイコライゼーションと呼ばれる手法が知られている。この手法は、画像の輝度のヒストグラムを生成し、そのヒストグラムの累積ヒストグラムを補正カーブとして用いて、画像の画素値を補正するものである。この手法は、適用後の画像のヒストグラムの度数がおよそ均一化されることから、ヒストグラムイコライゼーションと呼ばれる。
【0003】
ヒストグラムイコライゼーションを行った場合、画像において、度数が比較的高い輝度の領域のコントラストが拡大し、度数が比較的低い輝度の領域のコントラストが縮小する。これにより、画像全体としてのコントラストを強調することができる(例えば、特許文献1,2参照。)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−223636号公報
【特許文献2】特開平10−210323号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のヒストグラムイコライゼーションは、画像のコントラストを強調する効果が非常に高いため、特定の画像においては処理後に不具合が生じる。具体的には、ヒストグラムの度数がある輝度に集中するような画像にヒストグラムイコライゼーションを適用すると、度数が集中する輝度の領域のコントラストが過度に拡大される。その結果、処理後の画像の画質が大きく劣化する。
【0006】
例えば、比較的広く非常に明るい背景を有する画像にヒストグラムイコライゼーションを適用した場合、背景の輝度の度数が多いことから、画像中の背景のコントラストが過度に拡大される。その結果、補正後の画像では、本来は明るい背景が暗くなったり、背景以外の被写体の像が暗くなりすぎるなどの不具合が生じる。
【0007】
逆に、比較的広く非常に暗い背景を有する画像にヒストグラムイコライゼーションを適用した場合にも、背景の輝度の度数が多いことから、画像中の背景のコントラストが過度に拡大される。その結果、補正後の画像では、本来は暗い背景が明るくなったり、ノイズ成分が大きく強調されるなどの不具合が生じる。
【0008】
このようなことから、ヒストグラムイコライゼーションを適用する場合におけるヒストグラムの度数の集中に起因した不具合を緩和する技術が要望されていた。
【0009】
本発明は、上記課題に鑑みてなされたものであり、ヒストグラムの度数の集中に起因した不具合を緩和しつつ、画像のコントラストを適切に強調できる技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決するため、請求項1の発明は、画像処理装置であって、画像の輝度のヒストグラムを生成する生成手段と、前記ヒストグラムにおける全ての輝度の度数に一定のオフセット値を加算し、前記ヒストグラムを補正するヒストグラム補正手段と、補正後の前記ヒストグラムの累積ヒストグラムを生成する累積手段と、前記累積ヒストグラムを補正カーブとして用いて、前記画像の画素値を補正する画像補正手段と、を備えている。
【0011】
また、請求項2の発明は、請求項1に記載の画像処理装置において、前記ヒストグラム補正手段は、前記ヒストグラムにおける前記全ての輝度の度数に1未満の一定の係数を乗算した後、前記全ての輝度の度数に前記オフセット値を加算して、前記ヒストグラムを補正する。
【0012】
また、請求項3の発明は、請求項1に記載の画像処理装置において、前記ヒストグラム補正手段は、前記ヒストグラムの度数に係数を乗算した後、前記全ての輝度の度数に前記オフセット値を加算して、前記ヒストグラムを補正するものであり、前記係数は、前記ヒストグラムの輝度に応じて異なる。
【0013】
また、請求項4の発明は、請求項3に記載の画像処理装置において、前記ヒストグラムの輝度を、相対的に低い低輝度部分と、中輝度部分と、相対的に高い高輝度部分とに区分したとき、前記中輝度部分の前記係数は、前記低輝度部分及び前記高輝度部分と比較して高い。
【0014】
また、請求項5の発明は、請求項1ないし4のいずれかに記載の画像処理装置において、前記画像が、相対的に階調が多い多階調画像と、相対的に階調が少ない少階調画像とのいずれであるかを判定する判定手段、を備え、前記画像補正手段は、前記画像が前記多階調画像の場合には前記累積ヒストグラムを前記補正カーブとして用い、前記画像が前記少階調画像の場合には前記累積ヒストグラムを前記補正カーブとして用いない。
【0015】
また、請求項6の発明は、請求項1ないし5のいずれかに記載の画像処理装置において、前記画像の輝度のばらつきの程度を示す統計量を導出する導出手段、を備え、前記ヒストグラム補正手段は、前記統計量が閾値より大きい場合は、前記ヒストグラムを補正しない。
【0016】
また、請求項7の発明は、請求項1ないし6のいずれかに記載の画像処理装置において、前記画像を表示する表示装置の画面に影響を与える外光の照度を取得する取得手段と、前記外光の照度が閾値より大きい場合に、前記画像補正手段を有効化する有効化手段と、をさらに備えている。
【0017】
また、請求項8の発明は、請求項7に記載の画像処理装置において、前記外光の照度が大きいほど、前記係数を大きく設定する設定手段と、をさらに備えている。
【0018】
また、請求項9の発明は、画像を表示する表示システムであって、請求項1ないし8のいずれかに記載の画像処理装置と、前記画像処理装置で処理された画像を表示する表示手段と、を備えている。
【0019】
また、請求項10の発明は、画像処理方法であって、画像の輝度のヒストグラムを生成する工程と、前記ヒストグラムにおける全ての輝度の度数に一定のオフセット値を加算し、前記ヒストグラムを補正する工程と、補正後の前記ヒストグラムの累積ヒストグラムを生成する工程と、前記累積ヒストグラムを補正カーブとして用いて、前記画像の画素値を補正する工程と、を備えている。
【発明の効果】
【0020】
請求項1ないし10の発明によれば、ヒストグラムにおける全ての輝度の度数に一定のオフセット値を加算することから、ヒストグラムの度数を全体的に底上げして、ヒストグラムの度数の集中を緩和できる。したがって、度数の集中に起因した不具合を緩和しつつ、各輝度の度数に応じて画像のコントラストを適切に強調できる。
【0021】
また、特に請求項2の発明によれば、ヒストグラムにおける全ての輝度の度数に1未満の一定の係数を乗算することから、ヒストグラムの比較的高い度数を低下させて、ヒストグラムの度数の集中を緩和できる。したがって、度数の集中に起因した不具合をさらに緩和しつつ、各輝度の度数に応じて画像のコントラストを適切に強調できる。
【0022】
また、特に請求項3の発明によれば、ヒストグラムにおける度数に輝度に応じて異なる係数を乗算してヒストグラムを補正することから、画像における特定の輝度の領域のコントラストを高めることができる。
【0023】
また、特に請求項4の発明によれば、中輝度部分の係数は低輝度部分及び高輝度部分と比較して高いことから、画像の中輝度部分に対応する領域のコントラストを高めることができる。
【0024】
また、特に請求項5の発明によれば、画像が多階調画像の場合には累積ヒストグラムを補正カーブとして用いる一方、画像が少階調画像の場合には累積ヒストグラムを補正カーブとして用いない。このため、画像の種類に合わせて適切に画像の視認性を向上できる。
【0025】
また、特に請求項6の発明によれば、画像の輝度のばらつきの程度を示す統計量が比較的大きく、度数の集中に起因した不具合が生じない場合は、ヒストグラムを補正しない。このため、不要な処理を省略できる。
【0026】
また、特に請求項7の発明によれば、外光の照度が閾値より大きい場合に画像補正手段を有効化するため、比較的高い照度の外光の影響による視認性の低下を防止できる。
【0027】
また、特に請求項8の発明によれば、外光の照度が大きいほど係数を大きく設定するため、外光の影響が大きいほど画像のコントラストを強調して視認性を向上できる。
【図面の簡単な説明】
【0028】
【図1】図1は、画像表示システムの構成を示すブロック図である。
【図2】図2は、第1の実施の形態の画像処理装置の詳細な構成を示す図である。
【図3】図3は、画像のヒストグラムと、該ヒストグラムに基づく補正カーブとを示す図である。
【図4】図4は、補正前の画像の一例を示す図である。
【図5】図5は、画像のヒストグラムと、該ヒストグラムに基づく補正カーブとを示す図である。
【図6】図6は、補正後の画像の一例を示す図である。
【図7】図7は、補正前の画像の一例を示す図である。
【図8】図8は、画像のヒストグラムと、該ヒストグラムに基づく補正カーブとを示す図である。
【図9】図9は、第1の実施の形態のヒストグラムの補正の手法を説明する図である。
【図10】図10は、補正後のヒストグラムと、該ヒストグラムに基づく補正カーブとを示す図である。
【図11】図11は、補正後のヒストグラムと、該ヒストグラムに基づく補正カーブとを示す図である。
【図12】図12は、ヒストグラムを補正する他の手法を示す図である。
【図13】図13は、第1の実施の形態の画像処理装置の処理の流れを示す図である。
【図14】図14は、ナビモードで用いる補正カーブを示す図である。
【図15】図15は、ナビモードで表示される画像の一例を示す図である。
【図16】図16は、第2の実施の形態においてヒストグラムの補正に用いる係数を示す図である。
【図17】図17は、第2の実施の形態のヒストグラムの補正の手法を説明する図である。
【図18】図18は、補正後のヒストグラムと、該ヒストグラムに基づく補正カーブとを示す図である。
【図19】図19は、補正後のヒストグラムと、該ヒストグラムに基づく補正カーブとを示す図である。
【図20】図20は、画像の輝度のばらつきを比較する図である。
【図21】図21は、第3の実施の形態の画像処理装置の詳細な構成を示す図である。
【図22】図22は、第3の実施の形態の画像処理装置の処理の流れを示す図である。
【図23】図23は、補正カーブの形状を比較する図である。
【図24】図24は、第4の実施の形態の画像処理装置の詳細な構成を示す図である。
【図25】図25は、第4の実施の形態の画像処理装置の処理の流れを示す図である。
【発明を実施するための形態】
【0029】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【0030】
<1.第1の実施の形態>
<1−1.全体構成>
図1は、本実施の形態の画像表示システム1の構成を示すブロック図である。画像表示システム1は、例えば、自動車などの車両で用いられるナビゲーションシステムであり、各種の画像を表示する機能を有している。
【0031】
画像表示システム1は、互いに表示する画像の種類が異なる複数の動作モードを備えている。この複数の動作モードには、テレビモード、カメラモード、ディスクモード及びナビモードが含まれている。
【0032】
テレビモードは、車両に搭載されるアンテナ91で受信したテレビジョン放送の放送内容を示す画像を表示する動作モードである。カメラモードは、車両に搭載される車載カメラ92で撮影された車両の周辺を示す画像を表示する動作モードである。ディスクモードは、DVDなどの映像ディスク93の記録内容を示す画像を表示する動作モードである。また、ナビモードは、ルート案内用の地図画像などナビゲーション機能に必要な画像を表示する動作モードである。
【0033】
図1に示すように、画像表示システム1は、システム全体を制御するシステム制御部10と、ユーザが操作する操作部8とを備えている。システム制御部10は、例えば、CPU、RAM及びROMなどを備えたマイクロコンピュータである。システム制御部10のCPUが所定のプログラムに従って演算処理を行うことで、システム全体を制御するための各種の制御機能が実現される。
【0034】
システム制御部10は、操作部8からのユーザの操作の内容を示す信号に応じて画像表示システム1を制御する。これにより、画像表示システム1はユーザの操作に応じた動作を行う。画像表示システム1の動作モードは、ユーザの操作に基づいてシステム制御部10によって切り替えられる。
【0035】
また、画像表示システム1は、各種の画像を表示する表示装置4と、表示装置4の表示に係る制御を行う表示制御装置3と、表示装置4に表示するための画像を提供する映像提供部2と、外光の照度を検出する照度センサ5とを備えている。これら映像提供部2、表示制御装置3、表示装置4及び照度センサ5の動作は、システム制御部10によって統括的に制御される。
【0036】
映像提供部2は、様々な映像ソースの映像信号を出力する。映像提供部2は、放送受信部21、カメラ入力部22、ディスク読取部23、及び、ナビゲーション部24を備えている。これらの映像提供部2の各部21,22,23,24は、所定の周期(例えば、1/30秒)で画像(フレーム)を含む映像信号を出力する。この映像信号に含まれる画像が、表示装置4への表示対象とする画像となる。
【0037】
放送受信部21は、アンテナ91で受信したテレビジョン放送の放送信号をデコードし、その放送内容を示す画像を取得して表示制御装置3に出力する。カメラ入力部22は、車載カメラ92と接続され、車載カメラ92で撮影された車両の周辺を示す画像を取得して表示制御装置3に出力する。ディスク読取部23は、映像ディスク93を読み取り、映像ディスク93の記録内容を示す画像を取得して表示制御装置3に出力する。また、ナビゲーション部24は、ナビゲーション機能を提供する電子基板であり、ナビゲーション機能に必要な画像を表示制御装置3に出力する。
【0038】
表示装置4は、画像を表示する画面となる液晶パネル41と、その液晶パネル41を照明するバックライト42とを備えている。液晶パネル41がユーザである車両の乗員から視認できるように、表示装置4は車両のインストルメントパネルなどに設置される。
【0039】
液晶パネル41は、例えば、縦横二次元に配列された複数のドットを備えている。液晶パネル41は、バックライト42の光の透過率をドットごとに変更することで画像を表示する。また、バックライト42は、発光ダイオード(LED)などの光源を備えており、液晶パネル41を背面から照明する。バックライト42は、表示制御装置3から送出されるデューティ比が設定された制御信号に基づいて発光する。バックライト42の光量は、制御信号のデューティ比が高いほど大きくなる。
【0040】
照度センサ5は、受光素子を備えており、受光素子に入射した光の照度を検出する。受光素子は表示装置4の画面となる液晶パネル41の周縁近傍に配置される。したがって、照度センサ5は、表示装置4の画面を前面から照明する外光(すなわち、表示装置4の画面の視認性に影響を与える外光)の照度を検出する。照度センサ5の検出結果である外光の照度は、表示制御装置3に入力される。
【0041】
表示制御装置3は、例えば、ASIC(Application Specific Integrated Circuit)などのハードウェア回路であり、表示装置4の表示に係る制御を行う。表示制御装置3は、画像取得部31、画像処理装置6、画像出力部33、及び、バックライト制御部7を備えている。
【0042】
画像取得部31は、画像を含む映像信号を映像提供部2から取得する。画像取得部31は、システム制御部10からの動作モードを示す信号に基づいてスイッチングを行い、映像提供部2の各部21,22,23,24から出力される映像信号のうち、その時点の動作モードに応じた一つの映像信号を取得する。そして、画像取得部31は、取得した映像信号に含まれる画像を画像処理装置6及びバックライト制御部7に提供する。この画像は、表示装置4への表示対象となる。
【0043】
画像処理装置6は、画像取得部31から入力される表示対象となる画像のコントラストを強調する画像処理を行う。画像処理装置6は、画像の輝度のヒストグラムを用いて画像のコントラストを強調する。このコントラストを強調する画像処理は、直射日光が入射する場合など、表示装置4の画面の視認性に影響を与える外光の照度が比較的高い場合に行われる。外光の照度が比較的高い場合は、画面における外光の反射等に起因して表示装置4の画面の視認性が低下する。具体的には、表示装置4に表示される画像のコントラストや色が全体的に薄くなってしまう。このため、画像処理装置6は、外光の照度が比較的高い場合に表示対象となる画像のコントラストを強調することで、画像の視認性を向上する。
【0044】
画像出力部33は、画像処理装置6で処理された画像を、表示装置4に出力して表示させる。外光の照度が比較的高い場合は画像処理装置6でコントラストが強調された画像が表示装置4の液晶パネル41に表示される。これにより、表示装置4の画面の視認性が向上する。
【0045】
バックライト制御部7は、デューティ比を設定した制御信号をバックライト42に出力することで、バックライト42の光量を調整する。バックライト制御部7は、表示対象となる画像の輝度のヒストグラムに基づいて、バックライト42の光量を調整する。バックライト42の光量は、表示対象となる画像が比較的明るい場合は大きくされ、逆に、表示対象となる画像が比較的暗い場合は小さくされる。
【0046】
<1−2.画像処理装置>
次に、ヒストグラムを用いて画像のコントラストを強調する画像処理装置6について詳細に説明する。図2は、画像処理装置6の詳細な構成を示す図である。
【0047】
図2に示すように、画像処理装置6は、画像取得部31から入力される表示対象となる画像を処理するための処理部として、ヒストグラム生成部61、ヒストグラム補正部62、ヒストグラム累積部63、及び、画像補正部64を備えている。これらの処理部61〜64により、表示対象となる画像のコントラストを強調する画像処理が行われる。なお、ヒストグラム生成部61は画像の輝度のヒストグラムを生成する機能を有するが、このヒストグラム生成部61が生成したヒストグラムをバックライト制御部7に入力してもよい。この場合、バックライト制御部7は、画像の輝度のヒストグラムを生成する機能が不要となる。
【0048】
また、画像処理装置6は、メモリ65、照度取得部66、有効化部67及びモード判定部68をさらに備えている。
【0049】
メモリ65は、各種のデータを記憶可能な不揮発性メモリである。メモリ65には、画像のコントラストを強調する処理部61〜64で用いられる各種のデータが記憶される。
【0050】
照度取得部66は、表示装置4の画面の視認性に影響を与える外光の照度を照度センサ5から取得する。照度取得部66は、取得した外光の照度を有効化部67に入力する。
【0051】
有効化部67は、入力された外光の照度と所定の閾値とを比較し、外光の照度が閾値より大きい場合に、画像のコントラストを強調する処理部61〜64を有効化する。これにより、外光の照度が比較的高い場合に、画像のコントラストを強調する画像処理が実行される。
【0052】
また、モード判定部68は、システム制御部10からの信号に基づいて、画像表示システム1の現時点の動作モードを判定する。モード判定部68の判定結果は、画像補正部64に入力される。画像補正部64は、動作モードの判定結果に応じて処理の内容を変更する。
【0053】
画像処理装置6の処理部61〜64は、ヒストグラムイコライゼーションと呼ばれる手法によって画像のコントラストを強調する。以下、一般的なヒストグラムイコライゼーションについて説明する。
【0054】
ヒストグラムイコライゼーションにおいては、まず、画像の明るさを示す輝度のヒストグラムが生成される。図3の左側に示すように、このヒストグラムHは、横軸を画像の輝度とし、縦軸を各輝度の度数(各輝度となる画素の数)としたものである。本実施の形態では、画像の輝度を8ビット(0〜255)で表現する。
【0055】
次に、このヒストグラムHの度数を累積した累積ヒストグラムが生成される。図3の右側は、この累積ヒストグラムを、最大値が255、最小値が0となるように正規化したものである。そして、このように正規化した累積ヒストグラムを、横軸を入力レベル(0〜255)、縦軸を出力レベル(0〜255)とする補正カーブ(トーンカーブ)Cとして用いて、画像の画素値が補正される。
【0056】
なお、図中においては、ヒストグラムの輝度のレベルと、そのヒストグラムに基づく補正カーブの入力レベルとで対応する部分に同一の符号を付している(以降の図においても同様。)。
【0057】
図3に示すように、ヒストグラムH(図3の左側)の度数が比較的高い部分B2,B4,B6においては、補正カーブC(図3の右側)の傾きが比較的大きくなる。したがって、画像において度数が比較的高い輝度の領域のコントラスト(レベルの差)は拡大する。また逆に、ヒストグラムH(図3の左側)の度数が比較的低い部分B1,B3,B5,B7においては、補正カーブC(図3の右側)の傾きが比較的小さくなる。したがって、画像において度数が比較的低い輝度の領域のコントラスト(レベルの差)は縮小する。これにより、画像全体としてのコントラストを強調することができる。
【0058】
このようなヒストグラムイコライゼーションは、ヒストグラムの度数がある程度分散している画像のコントラストの強調に向いており、このような画像の視認性の向上に有効である。一方で、ヒストグラムイコライゼーションは、ヒストグラムの度数がある一つの輝度に集中する画像への適用には向いていない。度数がある輝度に集中する画像にヒストグラムイコライゼーションを適用すると、度数が集中する輝度の領域のコントラストが過度に拡大されてしまう結果、処理後の画像の画質が大きく劣化するという不具合が生じる。
【0059】
例えば、図4に示すような、比較的広く非常に明るい背景Saと被写体の像Sbとが存在する画像P1に、ヒストグラムイコライゼーションを適用する場合を想定する。
【0060】
図5の左側は、図4の画像P1の輝度のヒストグラムHを示している。このヒストグラムHにおいては、背景Saに対応する高輝度の部分A3に度数が集中し、また、低輝度の部分A1に度数はほぼ存在していない。図5の右側は、このヒストグラムHに基づく補正カーブ(正規化した累積ヒストグラム)Cを示している。この補正カーブCは、部分A3において他の部分と比較して極端に大きな傾きを有する一方、部分A1において傾きはおよそ「0」となっている。
【0061】
この補正カーブCを用いて図4の画像P1を補正すると、背景Saのコントラストが過度に拡大されてしまう。その結果、処理後の画像は、全体が明るいはずの背景のSaが部分的に暗くなる不自然な画像となる。
【0062】
また、画像P1の輝度のヒストグラムHにおいて、被写体の像Sbの輝度は部分A2に対応する。そして、補正カーブCでは、この部分A2の入力レベルは、比較的低い出力レベルに対応する。したがって、この補正カーブCを用いて図4に示す画像P1を補正すると、図6に示す画像P1aのように、被写体の像Sbが暗くなりすぎてしまい、画像の画質が大きく劣化することになる。
【0063】
次に、図7に示すような、花火の画像P2にヒストグラムイコライゼーションを適用する場合を想定する。花火の画像P2は、その大部分が非常に暗い背景Scとなる。
【0064】
図8の左側は、図7の画像P2の輝度のヒストグラムHを示している。このヒストグラムHにおいては、背景Scに対応する低輝度の部分A4に度数が集中する。図8の右側は、このヒストグラムHに基づく補正カーブ(正規化した累積ヒストグラム)Cを示している。この補正カーブCは、部分A4において極端に大きな傾きを有し、他の部分A5においては僅かな傾きのみを有している。
【0065】
この補正カーブCを用いて図7の画像P2を補正すると、背景Scのコントラストが過度に拡大されてしまう。その結果、処理後の画像は、全体が暗いはずの背景のScが部分的に明るくなった不自然な画像となる。また、画像P2の比較的低い輝度にはノイズ成分も含まれるため、処理後の画像においてはノイズ成分も大きく強調されてしまい、画像の画質が大きく劣化することになる。
【0066】
このように度数がある輝度に集中する画像に一般的なヒストグラムイコライゼーションを単純に適用すると、処理後の画像に不具合が生じる。このため、本実施の形態の画像表示システム1の画像処理装置6は、補正カーブC(累積ヒストグラム)を生成する前のヒストグラムを度数の集中が緩和するように補正して、このような度数の集中に起因した不具合を緩和するようにしている。
【0067】
具体的には、図9に示すように、画像処理装置6は、表示対象となる画像の正規化したヒストグラムH1の全ての輝度の度数に「1」未満の一定の係数Kを乗算する。これにより、ヒストグラムH1の比較的高い度数(ピーク)を低下させる。さらに、画像処理装置6は、ヒストグラムH1の全ての輝度の度数に一定のオフセット値Dを加算する。これにより、ヒストグラムH1の度数が全体的に底上げされる。このような補正によって、補正後のヒストグラムH2においては、補正前のヒストグラムH1と比較して度数の集中が緩和される。
【0068】
係数Kは、予め設定された「0」より大きく「1」より小さい値となっている。係数Kを小さくするほど、ヒストグラムにおける度数の集中を緩和する効果が大きい。本実施の形態では、例えば「K=0.8」とされている。また、オフセット値Dは、予め設定された「0」より大きく「255」より小さい値となっている。オフセット値Dを大きくするほど、ヒストグラムにおける度数の集中を緩和する効果が大きい。本実施の形態では、例えば「D=10」とされている。
【0069】
図10の左側は、図4に示す画像P1の補正前のヒストグラムH1と、補正後のヒストグラムH2とを示している。そして、図10の右側は、補正後のヒストグラムH2に基づく補正カーブ(正規化した累積ヒストグラム)C1を示している。
【0070】
この補正カーブC1においては、図5の補正カーブCと比較して、極端に大きな、あるいは、極端に小さな傾きが緩和されている。すなわち、図10の補正カーブC1では、補正前のヒストグラムH1において度数が集中する部分A3における傾きが小さくなっている。また、図10の補正カーブC1は、補正前のヒストグラムH1において度数がほぼ存在しない部分A1にも一定以上の傾きを有している。
【0071】
したがって、このような補正後のヒストグラムH2に基づく補正カーブC1を用いて画像P1を補正することで、背景Saのコントラストが過度に拡大されることが無くなり、被写体の像Sbが暗くなるという不具合を緩和することができる。
【0072】
また、図11の左側は、図7に示す画像P2の補正前のヒストグラムH1と、補正後のヒストグラムH2とを示している。そして、図11の右側は、補正後のヒストグラムH2に基づく補正カーブ(正規化した累積ヒストグラム)C1を示している。
【0073】
この補正カーブC1においても、図8の補正カーブCと比較して、極端に大きな、あるいは、極端に小さな傾きが緩和されている。すなわち、図11の補正カーブC1では、補正前のヒストグラムH1において度数が集中する部分A4における傾きが小さくなり、他の部分A5においても一定以上の傾きを有している。
【0074】
したがって、このような補正後のヒストグラムH2に基づく補正カーブC1を用いて画像P2を補正することで、背景Scのコントラストが過度に拡大されることが無くなり、ノイズ成分が強調されるという不具合を緩和することができる。
【0075】
また、ヒストグラムの度数がある程度分散するような画像のヒストグラムに同様の補正を行った場合においても度数の集中が緩和されるが、この場合、画像処理の結果に大きく影響しない。したがって、このようなヒストグラムの補正によって、度数の集中に起因した不具合を緩和しつつ、画像のコントラストを適切に強調できる。
【0076】
なお、図12に示すように、上限値及び下限値を設定し、画像の輝度のヒストグラムHxにおいて上限値より大きい度数を上限値に下げるとともに、下限値より小さい度数を下限値まで上げることで、ヒストグラムの度数の集中を緩和する手法も考えられる。しかしながら、この手法を採用した場合においては、補正後のヒストグラムHyでは、補正前のヒストグラムHxにおける上限値より大きい部分、及び、下限値より小さい部分のカーブ形状が失われてしまう。すなわち、ヒストグラムの補正によって、各輝度の度数の情報が失われることになる。このため、画像の各輝度の度数に応じてコントラストを適切に強調することができなくなる。
【0077】
これに対して、本実施の形態の手法では、係数Kの乗算、及び、オフセット値Dの加算によりヒストグラムの度数の集中を緩和することから、補正後のヒストグラムにおいても補正前のヒストグラムのカーブ形状をおよそ保持している。すなわち、各輝度の度数の相対的な関係を保持したままヒストグラムを補正することができる。したがって、画像の各輝度の度数に応じてコントラストを適切に強調できることになる。
【0078】
<1−3.処理の流れ>
次に、画像処理装置6の処理の流れについて説明する。図13は、画像処理装置6の処理の流れを示す図である。画像表示システム1は、電源がオンとなっている間、その時点の動作モードに応じた種類の画像を表示装置4に表示する動作を所定の周期(例えば、1/30秒)で繰り返す。画像処理装置6は、この画像を表示する周期に同期して図13に示す処理を繰り返し実行する。この処理の開始時点では、画像のコントラストを強調する処理部61〜64は無効化されている。
【0079】
まず、照度取得部66が、表示装置4の画面の視認性に影響を与える外光の照度を照度センサ5から取得する(ステップS11)。照度取得部66は、取得した外光の照度を有効化部67に入力する。
【0080】
次に、有効化部67が、入力された外光の照度と所定の閾値とを比較し、外光の照度が閾値より大きいか否かを判定する。この閾値は、直射日光などの外光の影響を受けて表示装置4の画面の視認性が悪化するか否かを判断するためのものであり、例えば5,000(lx)とされる。外光の照度が閾値よりも大きい場合(ステップS12にてYes)は、表示装置4の視認性を改善するために、有効化部67が処理部61〜64を有効化する(ステップS13)。これにより、以降、処理部61〜64により画像のコントラストを強調する処理が実行される。
【0081】
一方、外光の照度が閾値よりも小さい場合(ステップS12にてNo)は、有効化部67は処理部61〜64を有効化せず、そのまま処理が終了する。この場合は、画像のコントラストは強調されず、表示対象となる画像がそのまま表示装置4に出力されて表示される。なお、外光の照度が閾値と同じ場合はいずれの判断分岐に含めてもよい。
【0082】
ステップS13において有効化部67が処理部61〜64を有効化すると、次に、モード判定部68がその時点の画像表示システム1の動作モードを、システム制御部10からの信号に基づいて判定する。そして以降、動作モードがナビモード以外の場合(ステップS14にてNo)はステップS15,S17,S18,S19の処理が実行され、動作モードがナビモードの場合(ステップS14にてYes)はステップS20,S21の処理が実行される。
【0083】
動作モードがナビモード以外の場合(ステップS14にてNo)は、まず、ヒストグラム生成部61が表示対象とする画像の輝度のヒストグラムを生成する(ステップS15)。
【0084】
次に、ヒストグラム補正部62が、度数の集中が緩和するようにヒストグラムを補正する(ステップS17)。具体的にはまず、ヒストグラム補正部62は、次の数1によって、ヒストグラム生成部61が生成した補正前のヒストグラムH0(n)に基づいて、正規化したヒストグラムH1(n)を得る。nは輝度(0〜255)を示す。
【0085】
【数1】
数1において、Fmaxは補正前のヒストグラムH0(n)の最大の度数、Fminは補正前のヒストグラムH0(n)の最小の度数である。これにより、ヒストグラムH1(n)は、最大の度数が255、最小の度数が0となるように正規化される。このようにヒストグラムを正規化することにより、補正における係数K及びオフセット値Dの影響が一定とされる。
【0086】
次に、ヒストグラム補正部62は、次の数2に示すように、正規化されたヒストグラムH1(n)に係数Kを乗算し、さらに、オフセット値Dを加算する。
【0087】
【数2】
これらの係数K及びオフセット値Dはメモリ65に予め記憶される。これにより、度数の集中が緩和されたヒストグラムH2(n)が得られる。
【0088】
補正後のヒストグラムH2(n)が得られると次に、ヒストグラム累積部63が、ヒストグラムH2(n)に基づいて補正カーブとして用いるための累積ヒストグラムを生成する。
【0089】
具体的にはまず、ヒストグラム累積部63は、次の数3によって、ヒストグラムH2(n)の累積ヒストグラムC0(n)を生成する。
【0090】
【数3】
数3に示すように、累積ヒストグラムCO(n)は、各輝度nの値を、ヒストグラムH2(m)における0からnまでの全ての輝度の度数を加算した結果としたものである。
【0091】
次に、ヒストグラム累積部63は、次の数4によって、累積ヒストグラムCO(n)に基づいて正規化した累積ヒストグラムC1(n)を得る。
【0092】
【数4】
数4において、Cmaxは累積ヒストグラムCO(n)の最大値、Cminは累積ヒストグラムCO(n)の最小値である。これにより、累積ヒストグラムC1(n)は、最大値が255、最小値が0となるように正規化される。この累積ヒストグラムC1(n)のカーブ形状は、0から255まで右肩上がりで上昇するものとなる。
【0093】
このようにして累積ヒストグラムC1(n)が得られると、次に、画像補正部64が、この累積ヒストグラムC1(n)を補正カーブ(トーンカーブ)として用いて画像の画素値を補正する。画像の画素値は、R値、G値、B値の3つの値を含む。画像補正部64このR値、G値、B値のそれぞれを、補正カーブを用いて補正する。その結果、画像のコントラストが強調されることになる。度数の集中が緩和するようにヒストグラムを補正しているため、補正後の画像においては度数の集中に起因した不具合も緩和されることになる。
【0094】
このように補正された画像は、表示装置4に出力される。これにより、コントラストが強調された画像が表示装置4に表示され、表示装置4の視認性が向上することになる。
【0095】
なお、画像補正部64は、画像の画素値として輝度のみ、あるいは、G値のみを補正するようにしてもよい。ただし、本実施の形態のように、画像のR値、G値、B値のそれぞれを補正カーブを用いて補正することで、画像のコントラストのみならず、画像の色も強調することができる。したがって、外光の影響によりコントラストとともに色が全体的に薄くなった画像の視認性を効果的に改善することができる。
【0096】
また、ステップS14において動作モードがナビモードの場合は、画像補正部64がメモリ65から、図14に示す所定の補正カーブC2を取得する(ステップS20)。そして、画像補正部64は、累積ヒストグラムではなく、このメモリ65に記憶された補正カーブC2を用いて画像の画素値を補正する(ステップS21)。これにより、画像の比較的低輝度の部分が明るくなり、画像の視認性が向上する。このようにして補正された画像は、表示装置4に出力されて表示されることになる。
【0097】
ナビモードにおいては、図15に示す地図の画像P3などのようにイラストの画像が表示装置4に表示される。これに対して、ナビモード以外のテレビモード、カメラモード、ディスクモードにおいては、人物や自然風景などの画像が表示装置4に表示される。人物や自然風景などの画像は相対的に階調(輝度の段階)が多い「多階調画像」であるといえ、イラストの画像は相対的に階調が少ない「少階調画像」といえる。つまり、ナビモード以外では多階調画像が表示対象となり、ナビモードでは少階調画像が表示対象となる。
【0098】
ヒストグラムイコライゼーションは多階調画像に適した手法であり、ヒストグラムが離散的となる少階調画像には適していない。このため、画像補正部64は、動作モードがナビモード以外の場合(すなわち、表示対象となる画像が多階調画像の場合)は、累積ヒストグラムを補正カーブとして用いるヒストグラムイコライゼーションを実行する。しかしながら一方で、画像補正部64は、動作モードがナビモードの場合(すなわち、表示対象となる画像が少階調画像の場合)は、累積ヒストグラムを補正カーブとして用いずに、所定の補正カーブC2を用いる。このようにすることで、表示対象とする画像の種類に適した手法で補正を行うことができ、適切に画像の視認性を向上することができる。
【0099】
なお、図13のステップS14においてモード判定部68は動作モードがナビモードか否かを判定するが、この際、モード判定部68は、表示対象となる画像が、相対的に階調が多い多階調画像と、相対的に階調が少ない少階調画像とのいずれであるかを実質的に判定することになる。
【0100】
以上のように、本実施の形態の画像表示システム1では、ヒストグラム生成部61が表示対象となる画像のヒストグラムを生成し、ヒストグラム補正部62がそのヒストグラムにおける全ての輝度の度数に「1」未満の一定の係数Kを乗算した後、全ての輝度の度数にオフセット値Dを加算してヒストグラムを補正する。そして、ヒストグラム累積部63がこの補正後のヒストグラムの累積ヒストグラムを生成し、画像補正部64がその累積ヒストグラムを補正カーブとして用いて画像の画素値を補正する。
【0101】
このように画像表示システム1ではヒストグラムにおける全ての輝度の度数に一定のオフセット値Dを加算することから、ヒストグラムの度数を全体的に底上げして、ヒストグラムの度数の集中を緩和できる。また、ヒストグラムにおける全ての輝度の度数に「1」未満の一定の係数Kを乗算することから、ヒストグラムの比較的高い度数を低下させて、ヒストグラムの度数の集中をさらに緩和できる。したがって、度数の集中に起因した不具合を緩和しつつ、各輝度の度数に応じて画像のコントラストを適切に強調できる。
【0102】
また、画像補正部64は、表示対象となる画像が多階調画像の場合には累積ヒストグラムを補正カーブとして用い、表示対象となる画像が少階調画像の場合には累積ヒストグラムを補正カーブとして用いない。このため、画像の種類に合わせて適切に画像の視認性を向上できる。
【0103】
また、有効化部67は、外光の照度が閾値より大きい場合に画像補正部64を有効化するため、比較的高い照度の外光の影響による視認性の低下を防止できる。
【0104】
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態の画像表示システム1の構成及び処理は、第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。第1の実施の形態では、ヒストグラムの全ての輝度の度数に一定の係数を乗算していた。これに対して、第2の実施の形態では、ヒストグラムの度数に、輝度に応じて異なる値の係数を乗算するようにしている。
【0105】
図16は、第2の実施の形態において、ヒストグラムの補正に用いられる係数Lを示す図である。図中の横軸は、ヒストグラムの輝度(0〜255)に対応している。このような係数Lは、画像処理装置6のメモリ65に予め記憶されている。
【0106】
図に示すように係数Lは、ヒストグラムの輝度に応じて異なる「0」以上「1」以下の値となっている。この係数Lのカーブ形状は上に凸となっている。すなわち、ヒストグラムの輝度(0〜255)を、相対的に低い低輝度部分Alと、中輝度部分Amと、相対的に高い高輝度部分Ahとに区分したとき、中輝度部分Amの係数Lは、低輝度部分Al及び高輝度部分Ahと比較して高くなっている。本実施の形態では、低輝度部分Alと中輝度部分Amとの境界の輝度は例えば「50」とされ、中輝度部分Amと高輝度部分Ahとの境界の輝度は例えば「150」とされている。
【0107】
本実施の形態の画像処理装置6のヒストグラム補正部62は、この係数Lを用いてヒストグラムを補正する。具体的には、図17に示すように、画像処理装置6は、表示対象となる画像の正規化したヒストグラムH1の全ての輝度の度数に、輝度に応じて異なる係数Lを乗算する。これにより、ヒストグラムH1の低輝度部分及び高輝度部分に存在する度数が大きく低下する一方で、中輝度部分に存在する度数はあまり低下しない。
【0108】
さらに、画像処理装置6は、第1の実施の形態と同様に、ヒストグラムH1の全ての輝度の度数に「1」未満の一定の係数Kを乗算するとともに、全ての輝度の度数に一定のオフセット値Dを加算する。このような補正によって、補正後のヒストグラムH2においては、補正前のヒストグラムH1と比較して、低輝度部分及び高輝度部分における度数の集中が大きく緩和される。
【0109】
このヒストグラム補正部62の処理は、次の数5の演算で表現できる。すなわち、ヒストグラム補正部62は、正規化されたヒストグラムH1(n)に、輝度nに応じた係数L(n)と一定の係数Kとを乗算し、さらに、オフセット値Dを加算する。これにより、補正後のヒストグラムH2(n)が得られる。
【0110】
【数5】
本実施の形態のヒストグラム補正部62は、第1の実施の形態の数2の演算に代えて、この数5の演算を行う。ヒストグラム累積部63は、この数5の演算により得られたヒストグラムH2(n)に基づいて、第1の実施の形態と同様の演算を行って、累積ヒストグラムC1(n)を生成する。そして、画像補正部64は、この累積ヒストグラムC1(n)を補正カーブとして用いて画像の画素値を補正する。
【0111】
画像のコントラストを強調するためには、処理前の画像において明るい領域は明るいまま保持し、処理前の画像において暗い領域は暗いまま保持することが望ましい。また一方で、外光の影響を受けやすい中程度の輝度の領域のコントラストは高めることが望ましい。
【0112】
このため、本実施の形態では、ヒストグラムの輝度に応じて異なる係数Lを用いてヒストグラムを補正することで、画像における特定の輝度の領域のコントラストを高めるようにしている。すなわち、中輝度部分Amで相対的に高くなる係数Lを用いることで、補正前の画像における中輝度部分Amに対応する領域のコントラストを高めることができる。また、低輝度部分Al及び高輝度部分Ahで相対的に低くなる係数Lを用いることで、補正前の画像において高輝度部分Ahに対応する領域は明るいまま保持することができ、補正前の画像において低輝度部分Alに対応する領域は暗いまま保持することができる。その結果、外光の影響を受けた場合における画像の視認性をより効果的に向上できる。
【0113】
もちろん、本実施の形態においても、ヒストグラムの度数の集中に起因した不具合を緩和することができる。特に、ヒストグラムの高輝度部分Ah及び低輝度部分Alにおける度数を大きく低下させることから、高輝度部分Ah及び低輝度部分Alにおける度数の集中に起因した不具合を大きく緩和することができる。
【0114】
図18の左側は、図4に示す画像P1の補正前のヒストグラムH1と、本実施の形態の手法による補正後のヒストグラムH2とを示している。補正後のヒストグラムH2では、補正前のヒストグラムH1と比較して、比較的高輝度の部分A3において度数が大きく低下している。
【0115】
図18の右側は、この補正後のヒストグラムH2に基づく補正カーブ(正規化した累積ヒストグラム)C1を示している。この補正カーブC1は、図5の補正カーブCと比較して極端な傾きが大きく緩和されており、そのカーブ形状は比較的直線的に延びている。このような補正カーブC1を用いて画像P1を補正することで、明るい背景Saは補正後の画像においても明るいまま保持することができる。そして、比較的高輝度の部分A3における度数の集中に起因する不具合を大きく緩和できる。
【0116】
また、図19の左側は、図7に示す画像P2の補正前のヒストグラムH1と、本実施の形態の手法による補正後のヒストグラムH2とを示している。補正後のヒストグラムH2では、補正前のヒストグラムH1と比較して、比較的低輝度の部分A4において度数が大きく低下している。
【0117】
図19の右側は、この補正後のヒストグラムH2に基づく補正カーブ(正規化した累積ヒストグラム)C1を示している。この補正カーブC1は、図8の補正カーブCと比較して極端な傾きが大きく緩和されており、そのカーブ形状は比較的直線的に延びている。このような補正カーブC1を用いて画像P2を補正することで、暗い背景Scは補正後の画像においても暗いまま保持することができる。そして、比較的低輝度の部分A4における度数の集中に起因する不具合を緩和できる。
【0118】
以上のように、第2の実施の形態の画像表示システム1では、輝度に応じて異なる係数を度数に乗算してヒストグラムを補正することから、画像における特定の輝度の領域のコントラストを高めることができる。また、中輝度部分Amの係数は低輝度部分Al及び高輝度部分Ahと比較して高いことから、画像の中輝度部分Amに対応する領域のコントラストを高めることができる。
【0119】
<3.第3の実施の形態>
次に、第3の実施の形態について説明する。第3の実施の形態の画像表示システム1の構成及び処理は、第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。第1の実施の形態では画像の輝度のばらつきの程度を考慮していなかったが、第3の実施の形態では画像の輝度のばらつきの程度に応じて画像処理の内容を変更する。
【0120】
前述のように、度数がある輝度に集中する画像に一般的なヒストグラムイコライゼーションを単純に適用すると、処理後の画像に不具合が生じる。すなわち、図20の下側に示すように、輝度のばらつきの程度が比較的小さい画像に一般的なヒストグラムイコライゼーションを単純に適用した場合に、補正後の画像に不具合が生じる。一方で、図20の上側に示すように、輝度のばらつきの程度が比較的大きい画像に一般的なヒストグラムイコライゼーションを単純に適用した場合には、補正後の画像に不具合は生じない。
【0121】
このため、第3の実施の形態の画像処理装置6は、表示対象とする画像の輝度のばらつきの程度を判断し、ばらつきの程度が比較的大きい場合においては、ヒストグラムの度数の集中を緩和する補正を実行しないようになっている。
【0122】
第3の実施の形態の画像処理装置6は、表示対象とする画像の輝度のばらつきの程度を示す統計量を導出する機能を有している。図21は、第3の実施の形態の画像処理装置6の詳細な構成を示す図である。第3の実施の形態の画像処理装置6は、図2に示す構成に加えて、統計量導出部69をさらに備えている。
【0123】
統計量導出部69は、標準偏差や分散など、ばらつきの程度を示す統計量を導出する。統計量導出部69は、表示対象とする画像に基づいて、その画像の輝度のばらつきの程度を示す統計量を導出する。また、統計量導出部69は、導出した統計量と所定の閾値とを比較し、統計量が閾値よりも大きいか否かを判定する。
【0124】
図22は、第3の実施の形態の画像処理装置6の処理の流れを示す図である。図22に示す処理は、図13に示す処理におけるステップS15とステップS17との間に、ステップS16a,S16bを加えたものとなっている。
【0125】
すなわち、ステップS15においてヒストグラム生成部61が表示対象とする画像の輝度のヒストグラムを生成すると、続いて、統計量導出部69が表示対象とする画像の輝度のばらつきの程度を示す統計量を導出する(ステップS16a)。
【0126】
次に、統計量導出部69は、導出した統計量が所定の閾値よりも大きいか否かを判定する(ステップS16b)。これにより、統計量導出部69は、ヒストグラムイコライゼーションによる補正後の画像に不具合が生じるか否かを実質的に判定する。この判定結果は、ヒストグラム補正部62に入力される。
【0127】
統計量が所定の閾値よりも小さい場合は、ばらつきの程度が比較的小さいことから補正後の画像に不具合が生じる。したがってこの場合(ステップS16bにてNo)は、ヒストグラム補正部62は、度数の集中が緩和するようにヒストグラムを補正する(ステップS17)。
【0128】
一方、統計量が所定の閾値よりも大きい場合は、ばらつきの程度が比較的大きいことから補正後の画像に不具合が生じない。したがってこの場合(ステップS16bにてYes)は、ヒストグラム補正部62はヒストグラムを補正せず、そのまま処理はステップS18に進む。これにより、未補正のヒストグラムに基づいて累積ヒストグラムが生成され(ステップS18)、この累積ヒストグラムを補正カーブとして用いて画像が補正される(ステップS19)。つまり、一般的なヒストグラムイコライゼーションが実行されることになる。
【0129】
以上のように、第3の実施の形態の画像表示システム1では、画像の輝度のばらつきの程度を示す統計量が導出される。そして、この統計量と閾値とを比較し、統計量が比較的大きく度数の集中に起因した不具合が生じない場合は、ヒストグラムを補正しない。このため、不要な処理を省略することができる。なお、本実施の形態では、ヒストグラムの補正を第1の実施の形態の手法で行うものとしているが、第2の実施の形態の手法で行うものであってもよい。
【0130】
<4.第4の実施の形態>
次に、第4の実施の形態について説明する。第4の実施の形態の画像表示システム1の構成及び処理は、第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。第1の実施の形態ではヒストグラムの補正に用いる係数Kは固定されていたが、第3の実施の形態では外光の照度に応じて係数Kを変更するようになっている。
【0131】
図23に示すように、補正カーブCのカーブ形状は係数Kに応じて変わり、ヒストグラムの補正に用いる係数Kが小さいほど、補正カーブCのカーブ形状はより直線的となる。したがって、係数Kが大きいほど画像のコントラストを強調する効果が大きくなり、係数Kが小さいほど画像のコントラストを強調する効果が小さくなる。また一方で、外光の照度が大きいほど、外光の影響が大きくなって表示装置4の視認性は低下する。このため、第3の実施の形態の画像処理装置6は、外光の照度が大きいほど係数Kを大きくして、画像のコントラストを強調する効果を高めるようにしている。
【0132】
図24は、第4の実施の形態の画像処理装置6の詳細な構成を示す図である。第4の実施の形態の画像処理装置6は、図2に示す構成に加えて、係数設定部70をさらに備えている。
【0133】
係数設定部70は、照度取得部66が取得した外光の照度に応じて、係数Kを設定する。具体的には、係数設定部70は、外光の照度が大きいほど、係数Kを大きく設定する。
【0134】
図25は、第4の実施の形態の画像処理装置6の処理の流れを示す図である。図25に示す処理は、図13に示す処理におけるステップS15とステップS17との間に、ステップS16cを加えたものとなっている。
【0135】
すなわち、ステップS15においてヒストグラム生成部61が表示対象とする画像の輝度のヒストグラムを生成すると、続いて、係数設定部70が照度取得部66が取得した外光の照度を参照する。そして、係数設定部70は、外光の照度が大きいほど係数Kを大きく、外光の照度が小さいほど係数Kを小さく設定する(ステップS16c)。係数設定部70は、「0」より大きく「1」より小さい範囲で係数Kを設定する。外光の照度と係数Kとの関係は、テーブルや関数などにより予め定められている。
【0136】
係数設定部70が設定した係数Kは、ヒストグラム補正部62に入力される。そして、ヒストグラム補正部62は、この外光の照度に応じた係数Kを用いてヒストグラムを補正する(ステップS17)。以降の処理は、第1の実施の形態と同様である。
【0137】
以上のように、第4の実施の形態では、外光の照度が大きいほど係数Kを大きく設定するため、外光の影響が大きいほど画像のコントラストを強調して視認性を向上できる。なお、本実施の形態では、外光の照度に応じて設定した係数Kを第1の実施の形態の手法に適用するものとしているが、第2の実施の形態の手法に適用してもよい。
【0138】
<5.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【0139】
第1の実施の形態では、係数Kは「1」より小さい値としていたが、係数Kは「1」であってもよい。この場合は、オフセット値Dのみによりヒストグラムにおける度数の集中が緩和される。また、第2の実施の形態でも係数Kは「1」であってもよい。この場合は、係数Lのみがヒストグラムの度数に乗算される。また、第1の実施の形態では係数Kは「0」であってもよい。この場合は、補正カーブのカーブ形状は直線となる。
【0140】
また、上記実施の形態では、画像のヒストグラムを正規化した後に、係数及びオフセット値を用いてヒストグラムを補正していたが、このような正規化を省略してもよい。
【0141】
また、上記実施の形態では、有効化部67が、画像のコントラストを強調する処理部61〜64の全体を外光の照度に応じて有効化していた。これに対して、処理部61〜63は常に有効化しておき、有効化部67が、画像補正部64のみを外光の照度に応じて有効化するようにしてもよい。
【0142】
また、第3の実施の形態の係数Lのカーブ形状は図16に示すものに限定されない。この係数Lのカーブ形状のピークを所望の輝度にすることで、画像における当該輝度の領域のコントラストを高めることができる。
【0143】
また、第4の実施の形態では、外光の照度に応じて係数Kを変更していたが、外光の照度に応じてオフセット値Dを変更するようにしてもよい。オフセット値Dが大きいほど画像のコントラストを強調する効果が小さくなり、オフセット値Dが小さいほど画像のコントラストを強調する効果が大きくなる。したがって、画像処理装置6が備える設定部が、外光の照度が大きいほどオフセット値Dを小さくして、画像のコントラストを強調する効果を高めるようにしてもよい。
【0144】
また、上記実施の形態において、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【0145】
6 画像処理装置
61 ヒストグラム生成部
62 ヒストグラム補正部
63 ヒストグラム累積部
64 画像補正部
66 照度取得部
67 有効化部
68 モード判定部
69 統計量導出部
70 係数設定部
【特許請求の範囲】
【請求項1】
画像処理装置であって、
画像の輝度のヒストグラムを生成する生成手段と、
前記ヒストグラムにおける全ての輝度の度数に一定のオフセット値を加算し、前記ヒストグラムを補正するヒストグラム補正手段と、
補正後の前記ヒストグラムの累積ヒストグラムを生成する累積手段と、
前記累積ヒストグラムを補正カーブとして用いて、前記画像の画素値を補正する画像補正手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
前記ヒストグラム補正手段は、前記ヒストグラムにおける前記全ての輝度の度数に1未満の一定の係数を乗算した後、前記全ての輝度の度数に前記オフセット値を加算して、前記ヒストグラムを補正することを特徴とする画像処理装置。
【請求項3】
請求項1に記載の画像処理装置において、
前記ヒストグラム補正手段は、前記ヒストグラムの度数に係数を乗算した後、前記全ての輝度の度数に前記オフセット値を加算して、前記ヒストグラムを補正するものであり、
前記係数は、前記ヒストグラムの輝度に応じて異なることを特徴とする画像処理装置。
【請求項4】
請求項3に記載の画像処理装置において、
前記ヒストグラムの輝度を、相対的に低い低輝度部分と、中輝度部分と、相対的に高い高輝度部分とに区分したとき、
前記中輝度部分の前記係数は、前記低輝度部分及び前記高輝度部分と比較して高いことを特徴とする画像処理装置。
【請求項5】
請求項1ないし4のいずれかに記載の画像処理装置において、
前記画像が、相対的に階調が多い多階調画像と、相対的に階調が少ない少階調画像とのいずれであるかを判定する判定手段、
を備え、
前記画像補正手段は、
前記画像が前記多階調画像の場合には前記累積ヒストグラムを前記補正カーブとして用い、
前記画像が前記少階調画像の場合には前記累積ヒストグラムを前記補正カーブとして用いないことを特徴とする画像処理装置。
【請求項6】
請求項1ないし5のいずれかに記載の画像処理装置において、
前記画像の輝度のばらつきの程度を示す統計量を導出する導出手段、
を備え、
前記ヒストグラム補正手段は、前記統計量が閾値より大きい場合は、前記ヒストグラムを補正しないことを特徴とする画像処理装置。
【請求項7】
請求項1ないし6のいずれかに記載の画像処理装置において、
前記画像を表示する表示装置の画面に影響を与える外光の照度を取得する取得手段と、
前記外光の照度が閾値より大きい場合に、前記画像補正手段を有効化する有効化手段と、
をさらに備えることを特徴とする画像処理装置。
【請求項8】
請求項7に記載の画像処理装置において、
前記外光の照度が大きいほど、前記係数を大きく設定する設定手段と、
をさらに備えることを特徴とする画像処理装置。
【請求項9】
画像を表示する表示システムであって、
請求項1ないし8のいずれかに記載の画像処理装置と、
前記画像処理装置で処理された画像を表示する表示手段と、
を備えることを特徴とする表示システム。
【請求項10】
画像処理方法であって、
画像の輝度のヒストグラムを生成する工程と、
前記ヒストグラムにおける全ての輝度の度数に一定のオフセット値を加算し、前記ヒストグラムを補正する工程と、
補正後の前記ヒストグラムの累積ヒストグラムを生成する工程と、
前記累積ヒストグラムを補正カーブとして用いて、前記画像の画素値を補正する工程と、
を備えることを特徴とする画像処理方法。
【請求項1】
画像処理装置であって、
画像の輝度のヒストグラムを生成する生成手段と、
前記ヒストグラムにおける全ての輝度の度数に一定のオフセット値を加算し、前記ヒストグラムを補正するヒストグラム補正手段と、
補正後の前記ヒストグラムの累積ヒストグラムを生成する累積手段と、
前記累積ヒストグラムを補正カーブとして用いて、前記画像の画素値を補正する画像補正手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
前記ヒストグラム補正手段は、前記ヒストグラムにおける前記全ての輝度の度数に1未満の一定の係数を乗算した後、前記全ての輝度の度数に前記オフセット値を加算して、前記ヒストグラムを補正することを特徴とする画像処理装置。
【請求項3】
請求項1に記載の画像処理装置において、
前記ヒストグラム補正手段は、前記ヒストグラムの度数に係数を乗算した後、前記全ての輝度の度数に前記オフセット値を加算して、前記ヒストグラムを補正するものであり、
前記係数は、前記ヒストグラムの輝度に応じて異なることを特徴とする画像処理装置。
【請求項4】
請求項3に記載の画像処理装置において、
前記ヒストグラムの輝度を、相対的に低い低輝度部分と、中輝度部分と、相対的に高い高輝度部分とに区分したとき、
前記中輝度部分の前記係数は、前記低輝度部分及び前記高輝度部分と比較して高いことを特徴とする画像処理装置。
【請求項5】
請求項1ないし4のいずれかに記載の画像処理装置において、
前記画像が、相対的に階調が多い多階調画像と、相対的に階調が少ない少階調画像とのいずれであるかを判定する判定手段、
を備え、
前記画像補正手段は、
前記画像が前記多階調画像の場合には前記累積ヒストグラムを前記補正カーブとして用い、
前記画像が前記少階調画像の場合には前記累積ヒストグラムを前記補正カーブとして用いないことを特徴とする画像処理装置。
【請求項6】
請求項1ないし5のいずれかに記載の画像処理装置において、
前記画像の輝度のばらつきの程度を示す統計量を導出する導出手段、
を備え、
前記ヒストグラム補正手段は、前記統計量が閾値より大きい場合は、前記ヒストグラムを補正しないことを特徴とする画像処理装置。
【請求項7】
請求項1ないし6のいずれかに記載の画像処理装置において、
前記画像を表示する表示装置の画面に影響を与える外光の照度を取得する取得手段と、
前記外光の照度が閾値より大きい場合に、前記画像補正手段を有効化する有効化手段と、
をさらに備えることを特徴とする画像処理装置。
【請求項8】
請求項7に記載の画像処理装置において、
前記外光の照度が大きいほど、前記係数を大きく設定する設定手段と、
をさらに備えることを特徴とする画像処理装置。
【請求項9】
画像を表示する表示システムであって、
請求項1ないし8のいずれかに記載の画像処理装置と、
前記画像処理装置で処理された画像を表示する表示手段と、
を備えることを特徴とする表示システム。
【請求項10】
画像処理方法であって、
画像の輝度のヒストグラムを生成する工程と、
前記ヒストグラムにおける全ての輝度の度数に一定のオフセット値を加算し、前記ヒストグラムを補正する工程と、
補正後の前記ヒストグラムの累積ヒストグラムを生成する工程と、
前記累積ヒストグラムを補正カーブとして用いて、前記画像の画素値を補正する工程と、
を備えることを特徴とする画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【公開番号】特開2012−227800(P2012−227800A)
【公開日】平成24年11月15日(2012.11.15)
【国際特許分類】
【出願番号】特願2011−94728(P2011−94728)
【出願日】平成23年4月21日(2011.4.21)
【出願人】(000237592)富士通テン株式会社 (3,383)
【Fターム(参考)】
【公開日】平成24年11月15日(2012.11.15)
【国際特許分類】
【出願日】平成23年4月21日(2011.4.21)
【出願人】(000237592)富士通テン株式会社 (3,383)
【Fターム(参考)】
[ Back to top ]