画像処理装置及び画像表示装置
【課題】画像に階調補正処理を行う際に、階調補正処理を行う画像領域と階調範囲の指定を可能とし、階調補正処理を注目領域の内部と外部とで独立に行うことで、ユーザが注目したい細部情報を的確に強調する。
【解決手段】画像表示装置は、入力画像に対して注目領域を設定する注目領域取得部１，画像分割部２と、設定した注目領域の中心輝度値を決定する中心輝度値決定部３と、決定した中心輝度値に基づいて階調補正特性を決定する注目領域内階調補正特性決定部４と、決定した階調補正特性に基づいて注目領域内の階調補正を行う注目領域内階調補正計算部５と、画像分割部２で設定した注目領域外の画素について統計量を算出し、算出した統計量に基づいて階調補正特性を決定する注目領域外階調補正特性決定部６と、決定した階調補正特性に基づいて注目領域外の階調補正を行う注目領域外階調補正計算部７とを備える。
【解決手段】画像表示装置は、入力画像に対して注目領域を設定する注目領域取得部１，画像分割部２と、設定した注目領域の中心輝度値を決定する中心輝度値決定部３と、決定した中心輝度値に基づいて階調補正特性を決定する注目領域内階調補正特性決定部４と、決定した階調補正特性に基づいて注目領域内の階調補正を行う注目領域内階調補正計算部５と、画像分割部２で設定した注目領域外の画素について統計量を算出し、算出した統計量に基づいて階調補正特性を決定する注目領域外階調補正特性決定部６と、決定した階調補正特性に基づいて注目領域外の階調補正を行う注目領域外階調補正計算部７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像表示装置に関し、より詳細には、入力画像信号に対して階調補正処理を行う機能を備えた画像処理装置及び画像表示装置に関する。
【背景技術】
【０００２】
液晶ディスプレイ等の画像表示装置では、画質の向上を目的として、コントラスト強調などの階調補正処理が行われている。これらの処理の際には、画像信号の画素値を解析し、そのヒストグラムやその他の統計量などによって補正レベルを動的に変化させている。しかし、画像全体にわたってコントラスト感を向上させることは容易ではなく、特に、明暗が混在する画像に対しては、暗い領域や明るい領域において細部情報が消失しやすいという問題がある。
【０００３】
上記の問題に対して、例えば、特許文献１には、画像内でユーザが注目する領域（以下、注目領域と呼ぶ）を定め、注目領域内のコントラストが良くなるように画像全体を調整するコントラスト調整装置が記載されている。
【０００４】
図１５は、従来のコントラスト調整装置の機能的構成の一例を示すブロック図で、図中、１０１は注目領域設定部、１０２は階調補正特性決定部、１０３は階調補正計算部を示す。注目領域設定部１０１は、入力画像の中央部の矩形領域を注目領域として設定する。階調補正係数決定部１０２は、入力画像の輝度値のヒストグラムを生成するが、単純な度数を用いるのではなく、注目領域外の画素には１より小さい係数をかけたものをヒストグラムの度数として加算する。このように作成された注目領域内の画素の寄与が大きいヒストグラムを用いて、階調補正の程度を制御する階調補正特性が算出される。階調補正計算部１０３は、入力画像に対して、作成した階調補正特性に基づきコントラスト強調を行う。
【０００５】
図１６は、図１５に示した従来のコントラスト調整装置の階調補正特性の一例を示す。横軸は階調補正前の輝度値を示し、縦軸は階調補正後の輝度値を示す。なお、説明の便宜上、輝度値は正規化した値を示し、最小値を０％、最大値を１００％とする。階調補正特性のグラフにおいて、傾きが１より大きい階調範囲内ではコントラストが強調され、傾きが１未満の階調範囲内では、コントラストが抑制される。この例では、横軸が７７％以下では傾きが１．２９の直線であり、この階調範囲内でのコントラストは強調される。横軸が７７％以上では傾きが０の直線であり、この入力階調範囲内では、出力階調の変化が完全に抑制される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１２００３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
図１６の例から分かるように、コントラスト強調を行うと、コントラストが抑制される階調範囲が別に生じる。すなわち、傾きが１より大きい階調範囲を作ると、傾きが１未満になる階調範囲が別に生じる。このため、注目領域内に明暗が混在する画像に対して、図１５に示した従来のコントラスト調整装置では、注目領域内にコントラストが抑制される階調範囲を含む場合がある。この場合、注目したい細部情報が消失してしまうという問題がある。
【０００８】
本発明は、上述のごとき実情に鑑みてなされたものであり、画像に階調補正処理を行う際に、階調補正処理を行う画像領域と階調範囲の指定を可能とし、階調補正処理を注目領域の内部と外部とで独立に行うことで、ユーザが注目したい細部情報を的確に強調する画像処理装置及び画像表示装置を提供すること、を目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、第１の技術手段は、入力画像に対して階調補正を行う画像処理装置であって、入力画像に対して注目領域を設定する注目領域設定部と、該設定した注目領域の中心画素値を取得する中心画素値取得部と、該取得した中心画素値に基づいて階調補正特性を決定する注目領域内階調補正特性決定部と、該決定した階調補正特性に基づいて前記注目領域内の階調補正を行う注目領域内階調補正計算部と、前記注目領域設定部で設定した注目領域外の画素について画素値の統計量を算出し、該算出した画素値の統計量に基づいて階調補正特性を決定する注目領域外階調補正特性決定部と、該決定した階調補正特性に基づいて前記注目領域外の階調補正を行う注目領域外階調補正計算部とを備えたことを特徴としたものである。
【００１０】
第２の技術手段は、第１の技術手段において、前記注目領域内階調補正特性決定部は、前記注目領域設定部で設定した注目領域内の画素について画素値の統計量を算出し、該算出した画素値の統計量と、前記中心画素値取得部により取得した中心画素値とに基づいて、階調補正特性を決定することを特徴としたものである。
【００１１】
第３の技術手段は、第１の技術手段において、入力画像全体の画素について画素値の統計量を算出し、該算出した画素値の統計量に基づいて階調補正特性を決定する全体階調補正特性決定部と、該決定した階調補正特性に基づいて前記入力画像全体の階調補正を行う全体階調補正計算部とを備え、前記中心画素値取得部は、前記全体階調補正計算部で階調補正された前記入力画像全体に対して、前記注目領域設定部で設定された注目領域の中心画素値を取得することを特徴としたものである。
【００１２】
第４の技術手段は、第１の技術手段において、ユーザによる入力に基づいて、前記注目領域内の階調補正特性を調整するための修正係数を取得する修正係数取得部を備え、前記注目領域内階調補正特性決定部は、前記中心画素値取得部により取得した中心画素値と、前記修正係数取得部により取得した修正係数とに基づいて、階調補正特性を決定することを特徴としたものである。
【００１３】
第５の技術手段は、第１〜第４のいずれか１の技術手段において、前記注目領域設定部は、ユーザの操作入力に従って、前記入力画像に対して前記注目領域を設定することを特徴としたものである。
【００１４】
第６の技術手段は、第１〜第５のいずれか１の技術手段において、前記統計量は、輝度ヒストグラムであることを特徴としたものである。
【００１５】
第７の技術手段は、第１〜第６のいずれか１の技術手段において、入力画像のフレーム間における動きベクトルに基づいて、前記注目領域設定部により設定された注目領域を追従する注目領域追従部を備え、前記注目領域内階調補正計算部は、前記注目領域追従部により追従される注目領域内に対して、前記注目領域内階調補正特性決定部で決定された階調補正特性に基づく階調補正を行い、前記注目領域外階調補正計算部は、前記注目領域追従部により追従される注目領域外に対して、前記注目領域外階調補正特性決定部で決定された階調補正特性に基づく階調補正を行うことを特徴としたものである。
【００１６】
第８の技術手段は、第１〜第７のいずれか１の技術手段において、前記注目領域内階調補正特性決定部で決定される注目領域内階調補正特性は、コントラストが強調される入力輝度範囲と、コントラストが抑制される入力輝度範囲とを含み、前記中心画素値取得部で取得される中心画素値は、前記コントラストが強調される入力輝度範囲に含まれることを特徴としたものである。
【００１７】
第９の技術手段は、第６〜第８のいずれか１の技術手段において、前記注目領域外階調補正特性決定部は、前記輝度ヒストグラムの度数を輝度値の高いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第１の注目領域外閾値を超えない最大の輝度値を白飽和値として決定し、また、前記輝度ヒストグラムの度数を輝度値の低いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第２の注目領域外閾値を超えない最小の輝度値を黒飽和値として決定し、前記階調補正特性は、入力輝度値が前記黒飽和値以上で前記白飽和値以下の範囲でコントラストを強調する特性とすることを特徴としたものである。
【００１８】
第１０の技術手段は、第１〜第９のいずれか１の技術手段における画像処理装置と、入力画像を表示する表示部とを備えたことを特徴とする画像表示装置である。
【発明の効果】
【００１９】
本発明によれば、画像に階調補正処理を行う際に、階調補正処理を行う画像領域と階調範囲の指定を可能とし、階調補正処理を注目領域の内部と外部とで独立に行うことで、ユーザが注目したい細部情報を的確に強調することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第一の実施形態に係る画像表示装置の概略構成例を示すブロック図である。
【図２】注目領域内階調補正特性決定部で作成される階調補正特性の一例を示す図である。
【図３】図１に示す注目領域内階調補正特性決定部の処理の流れの一例を説明するためのフロー図である。
【図４】注目領域内階調補正特性決定部で作成される階調補正特性の他の例を示す図である。
【図５】注目領域外階調補正特性決定部で作成される階調補正特性の一例を示す図である。
【図６】図１に示す注目領域外階調補正特性決定部の処理の流れの一例を説明するためのフロー図である。
【図７】注目領域外階調補正特性決定部で算出される注目領域外の輝度ヒストグラムの一例を示す図である。
【図８】本発明の第二の実施形態に係る画像表示装置の概略構成例を示すブロック図である。
【図９】注目領域内階調補正特性決定部で作成される階調補正特性の他の例を示す図である。
【図１０】図８に示す注目領域内階調補正特性決定部の処理の流れの一例を説明するためのフロー図である。
【図１１】本発明の第三の実施形態に係る画像表示装置の概略構成例を示すブロック図である。
【図１２】本発明の第四の実施形態に係る画像表示装置の概略構成例を示すブロック図である。
【図１３】注目領域内階調補正特性決定部で作成される階調補正特性の一例を示す図である。
【図１４】本発明の第五の実施形態に係る画像表示装置の概略構成例を示すブロック図である。
【図１５】従来のコントラスト調整装置の機能的構成の一例を示すブロック図である。
【図１６】従来のコントラスト調整装置で作成される階調補正特性の一例を示す図である。
【発明を実施するための形態】
【００２１】
以下、添付図面を参照しながら、本発明の画像処理装置及び画像表示装置に係る好適な実施の形態について、画像処理装置と表示部とを備えた画像表示装置を例示して説明する。なお、各実施形態の各図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。
【００２２】
（第一の実施形態）
図１は、本発明の第一の実施形態に係る画像表示装置の概略構成例を示すブロック図で、図中、１は注目領域位置取得部、２は画像分割部、３は中心輝度値決定部、４は注目領域内階調補正特性決定部、５は注目領域内階調補正計算部、６は注目領域外階調補正特性決定部、７は注目領域外階調補正計算部、８は表示部を示す。
【００２３】
注目領域位置取得部１は、ユーザからの入力により、注目領域位置を取得し、これを画像分割部２と中心輝度値決定部３に出力する。以下、注目領域の形状は円形を例示して説明する。円は、中心と半径によって指定することができるが、中心位置は、例えば、表示部８がタッチパネル機能を備えている場合は、画面上の表示画像においてユーザが注目したい領域の中心を、ユーザがタッチパネルを用いて指示することで取得される。また、例えば、リモートコントローラを用いてユーザが指示してもよい。または、図示しない視線検出装置によって検知したユーザの視線方向から算出した画像位置を用いてもよい。半径は、タッチパネルやリモートコントローラ、その他の図示しない入力装置によってユーザが指示してもよいし、予め設定した固定値としてもよい。なお、注目領域の形状は円形に限定するものではなく、楕円や四角形などの他の形状であってもよい。
【００２４】
画像分割部２は、注目領域位置取得部１で取得された注目領域位置に基づいて、入力画像の全画素を、注目領域内と注目領域外の２つに分割する。円の中心と半径が入力された場合は、円周とその内部に含まれる画素を注目領域内とし、それ以外の画素を注目領域外とする。分割した結果は、例えば、注目領域内を“１”、注目領域外を“０”とする二値のマスク画像にして出力する。上記の注目領域位置取得部１及び画像分割部２は、注目領域設定部に相当する。
【００２５】
中心輝度値決定部３は、中心画素値取得部に相当し、注目領域位置取得部１で取得された注目領域位置に基づき、入力画像の対応する画素値を取得し、中心輝度値を決定する。例えば、円の中心座標を中心とした縦横５画素（合計２５画素）に対して、輝度値のメディアンを算出し、これを中心輝度値とする。メディアンの代わりに平均値や加重平均値などその他の統計量を用いてもよい。また、縦横５画素の代わりに縦横３画素など他の領域を用いてもよいし、１画素だけを用いてもよい。
【００２６】
注目領域内階調補正特性決定部４は、中心輝度値決定部３で決定された中心輝度値の近傍の階調を強調するための階調補正特性を作成する。図２は、注目領域内階調補正特性決定部４で作成される注目領域内階調補正特性の一例を示すグラフである。前述の図１６と同様に、横軸は補正前輝度値（％）、縦軸は補正後輝度値（％）である。図中、ｃは注目領域内階調補正特性決定部４に入力される中心輝度値であり、ｗは予め設定した強調輝度幅である。ａは予め設定した強調レベル（ａ＞１）であり、入力輝度値がｃ−ｗ／２からｃ＋ｗ／２の範囲において、傾きがａとなるように階調補正特性を定める。これによって、中心輝度値ｃの近傍の階調のコントラストが強調され、ａの値が大きいほど強く強調される。横軸の残りの範囲では、全て傾きをｂとし、ｂはａとｗから次式を用いて算出する。
【００２７】
ｂ＝（１００−ｗａ）／（１００−ｗ） ・・・式（１）
ｂ＜１となるため、傾きがｂの階調範囲内では、コントラストが抑制される。階調補正特性のグラフは、３本の直線から成る折れ線によって作成する。折れ線全体として原点と（１００，１００）の２点を通り、かつ単調増加となるように作成する。ただし、ｂが０以上となるように、予めａとｗを設定する必要がある。
【００２８】
図３に、注目領域内階調補正特性決定部４での処理の流れの一例を示す。まず、中心輝度値ｃ、強調輝度幅ｗ、強調レベルａから、式（１）を用いて傾きｂを算出する（ステップＳ１）。そして、前述の図２のグラフを構成する３直線の式を算出する（ステップＳ２）。この算出方法は明らかなので説明を省く。最後に、階調補正特性を記したルックアップテーブル（ＬＵＴ）を作成し、出力する（ステップＳ３）。
【００２９】
なお、ｃ−ｗ／２＜０もしくはｃ＋ｗ／２＞１００となる場合は、修正が必要である。修正方法として、ｃ−ｗ／２＜０の場合、例えばｂの算出の際に、式（１）の代わりに次式を用いる。
【００３０】
ｂ＝｛１００−（ｃ＋ｗ／２）ａ｝／｛１００−（ｃ＋ｗ／２）｝ ・・・式（２）
ｃ−ｗ／２＜０の場合の階調補正特性の例を図４に示す。また、ｃ＋ｗ／２＞１００の場合についても同様に修正を行う。修正方法は、この例に限らず、ｃやｗの値を直接修正してもよい。
【００３１】
図１において、注目領域内階調補正計算部５は、注目領域内の画素の輝度値に対して、注目領域内階調補正特性決定部４で作成した注目領域内階調補正特性が記録されたＬＵＴに基づいて階調補正を行い、表示部８に出力する。補正方法はＬＵＴに限定するものではなく、入出力の関係を示す関数を用いるなど他の方法を用いてもよい。
【００３２】
次に、注目領域外の画素に対しては、注目領域外階調補正特性決定部６は、注目領域外（マスク画像の画素値が“０”）の画素値だけを統計的に分析し、注目領域外の階調補正特性を決定する。
【００３３】
図５は、注目領域外階調補正特性決定部６で作成される注目領域外階調補正特性の一例を示すグラフである。図中、ＸｍａｘとＸｍｉｎは、それぞれ白飽和値、黒飽和値と呼び、画像の輝度分布から算出される特徴量である。傾きａは、強調レベルを表し、次式で算出する。
【００３４】
ａ＝１００／（Ｘｍａｘ−Ｘｍｉｎ） ・・・式（３）
階調補正特性のグラフは、３本の直線から成る折れ線によって作成する。入力輝度値がＸｍｉｎからＸｍａｘの範囲の傾きをａ、残りの範囲での傾きを０となるように定める。また、折れ線全体として、原点と（１００，１００）の２点を通り、かつ単調増加となるように作成する。これによって、中間輝度レベルでのコントラストが強調され、ａの値が大きいほど強く強調される。残りの傾きが０の範囲では、出力輝度値の階調変化が抑制される。
【００３５】
この注目領域外階調補正特性決定部６の処理の流れの一例を図６に示す。図６において、まず、注目領域外階調補正特性決定部６は、入力画像に設定された注目領域外の画素の輝度値のヒストグラムを作成する（ステップＳ１１）。次に、輝度ヒストグラムに基づいて白飽和値Ｘｍａｘを算出する（ステップＳ１２）。例えば、ヒストグラムの度数を輝度値の高いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第１の閾値を超えない最大の輝度値を白飽和値Ｘｍａｘとする。そして、輝度ヒストグラムに基づいて黒飽和値Ｘｍｉｎを算出する（ステップＳ１３）。例えば、ヒストグラムの度数を輝度値の低いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第２の閾値を超えない最小の輝度値を黒飽和値Ｘｍｉｎとする。輝度ヒストグラムと白飽和値、黒飽和値、第１の閾値、第２の閾値の関係を図７に示す。
【００３６】
次に、上記式（３）を用いて傾きａを算出する（ステップＳ１４）。そして、前述の図５に示したグラフを構成する３直線の式を算出する（ステップＳ１５）。最後に、階調補正特性を記したルックアップテーブル（ＬＵＴ）を作成し、出力する（ステップＳ１６）。
【００３７】
なお、上記例では、入力輝度値がＸｍａｘ以上かＸｍｉｎ以下の範囲での傾きを０としたが、０に限定するものではない。また、黒飽和値と白飽和値を基にして階調補正特性を決定したが、この例に限定するものではなく、画素値の統計量を用いた他のコントラスト調整手法を用いてもよい。また、画素値の統計量としてヒストグラムを用いたが、ヒストグラムに限定するものではなく、他の統計量を用いてもよい。
【００３８】
注目領域外階調補正計算部７は、注目領域外の画素の輝度値に対して、注目領域外階調補正特性決定部６で決定した注目領域外階調補正特性を用いて階調補正を行い、補正後の画像を表示部８に出力する。
【００３９】
そして、表示部８は、注目領域内階調補正計算部５と注目領域外階調補正計算部７とから出力された画像を合成し、この合成画像を表示出力する。この表示部８は例えばＬＣＤ（Liquid Crystal Display）などで構成される。
【００４０】
なお、上記例では注目領域内階調補正特性決定部４と注目領域外階調補正特性決定部６において折れ線状グラフで表される階調補正特性を作成したが、折れ線に限定するものではなく、折れ線の折れ曲がり部分を修正して曲線状にしたり、最初から曲線状の特性を作成してもよい。また、上記例では輝度値を用いたコントラスト強調について述べたが、輝度値に限定するものでなく、明度など、明るさに関する他の指標を用いてもよい。
【００４１】
上述のとおり、本実施形態の画像表示装置によれば、階調補正処理を行う画像領域と階調範囲の指定を可能とし、階調補正処理を注目領域の内部と外部とで独立に行うことで、ユーザが注目したい細部情報を的確に強調して表示することができる。
（第二の実施形態）
図８は、本発明の第二の実施形態に係る画像表示装置の概略構成例を示すブロック図であり、図中、９は注目領域内階調補正特性決定部を示す。第一の実施形態の図１の構成と異なるのは、注目領域内階調補正特性決定部９へ入力画像とマスク画像が入力される点である。本実施形態は、注目領域内階調補正特性の決定の際に、中心輝度値だけでなく、さらに画素値の統計量も考慮できるようにしたものである。
【００４２】
図９は、注目領域内階調補正特性決定部９で作成される注目領域内階調補正特性の一例を示すグラフである。図中、ｃは中心輝度値であり、ｗは予め設定した強調輝度幅である。ａは予め設定した強調レベル（ａ＞１）であり、入力輝度値がｃ−ｗ／２からｃ＋ｗ／２の範囲において、傾きがａとなるように階調補正特性を定める。これによって、中心輝度値ｃの近傍の階調のコントラストが強調され、ａの値が大きいほど強く強調される。白飽和値Ｘｍａｘと黒飽和値Ｘｍｉｎは、画像の輝度分布から算出される特徴量である。入力輝度値がＸｍａｘ以上の範囲とＸｍｉｎ以下の範囲では、傾きを０とし、出力輝度値の階調変化を抑制する。横軸の残りの範囲では、傾きをｂとし、この傾きｂは次式を用いて算出する。
【００４３】
ｂ＝（１００−ｗａ）／（Ｘｍａｘ−Ｘｍｉｎ−ｗ） ・・・式（４）
このように、階調補正特性のグラフを５本の直線から成る折れ線として作成する。ただし、ｂが０以上となる範囲で、予めａとｗを設定する必要がある。
【００４４】
図１０に、注目領域内階調補正特性決定部９での処理の流れの一例を示す。本例のステップＳ２１からステップＳ２３までは第一の実施形態での注目領域外階調補正特性決定部６の流れを示す図６と同様である。ステップＳ２４では、上記式（４）を用いて傾きｂを算出する。そして、前述の図９に示したグラフを構成する５直線の式を算出する（ステップ２５）。最後に、階調補正特性を記したルックアップテーブル（ＬＵＴ）を作成し、出力する（ステップＳ２６）。
【００４５】
なお、上記例では、入力輝度値がＸｍａｘ以上かＸｍｉｎ以下の範囲での傾きを０としたが、０に限定するものではない。
【００４６】
上述のとおり、本実施形態の画像表示装置によれば、ユーザが注目する領域のコントラストを強調し、かつ注目領域内でのコントラスト感を向上させることができる。
【００４７】
（第三の実施形態）
図１１は、本発明の第三の実施形態に係る画像表示装置の概略構成例を示すブロック図であり、図中、１０は全体階調補正特性決定部、１１は全体階調補正計算部、１２は中心輝度値決定部、１３は注目領域内階調補正特性決定部、１４は注目領域内階調補正計算部、１５は表示部を示す。本実施形態は、画像全体で階調補正を行った後に、注目領域内のみ再度階調補正を行う点が、第一の実施形態と異なる。
【００４８】
まず、全体階調補正特性決定部１０において、画像全体の画素値の統計量に基づいて全体階調補正特性を作成する。これは、第一の実施形態の注目領域外階調補正特性決定部６と同様の手法で、画像全体での画素値の統計量を算出して行う。全体階調補正計算部１１では、全体階調補正特性に基づいて階調補正を行い、表示部１５に出力する。
【００４９】
中心輝度値決定部１２では、第一の実施形態と同様の手法で中心輝度値を決定するが、既に全体階調補正計算部１１で階調補正が行われた画像の輝度値から算出する点が異なる。
【００５０】
注目領域内階調補正特性決定部１３では、第一の実施形態と同様の手法で注目領域内の階調補正特性を作成する。注目領域内階調補正計算部１４では、既に階調補正が行われた画像の注目領域内に対して、第一の実施形態と同様の手法で階調補正を行う。表示部１５では、全体階調補正計算部１１で出力された補正後画像の注目領域内の画素を、注目領域内階調補正計算部１４から出力された補正後画像の画素値に置き換えて表示する。
【００５１】
上述のとおり、本実施形態の画像表示装置によれば、ユーザが注目する領域のコントラストを強調し、かつ注目領域内でのコントラスト感を向上させることができる。
【００５２】
（第四の実施形態）
図１２は、本発明の第四の実施形態に係る画像表示装置の概略構成例を示すブロック図で、図中、１６は修正係数取得部、１７は注目領域内補正特性決定部を示す。本実施形態では、注目領域内階調補正特性を、第一の実施形態と同様に中心輝度値から決定した後に、さらに、修正係数をユーザの入力によって設定し、注目領域内階調補正特性を調整できるようにしたものである。
【００５３】
修正係数取得部１６は、ユーザからの入力により、注目領域内の階調補正特性の一例である輝度レベルを調整するための修正係数を取得し、注目領域内補正特性決定部１７に出力する。注目領域内補正特性決定部１７は、中心輝度値と修正係数に基づき、注目領域内階調補正特性を作成する。
【００５４】
修正係数取得部１６では、例えば、第一の実施形態で用いた強調レベルａを修正するための修正係数を取得する。表示部８に修正係数取得用画面を表示させ、ユーザがタッチパネルあるいはリモートコントローラの操作によって、画面上から「強く」あるいは「弱く」という入力を行う。これらの入力が行われると、修正係数取得部１６は、予め指定した修正係数を設定する。この修正係数としては、例えば、入力が「強く」の場合は１．１、「弱く」の場合は０．９という値を予め指定しておく。注目領域内補正特性決定部１７は、予め指定された固定の強調レベルａに修正係数を掛けた後、第一の実施形態と同様の手法で階調補正特性を作成する。これによって、注目領域内階調補正特性が調整される。
【００５５】
ここで、ユーザが「強く」あるいは「弱く」の入力を複数回行うことで、その回数に応じて修正係数を複数回掛け合わせてもよい。また、修正係数の数値を直接入力する手段を備えてもよい。これにより補正のレベルをユーザの意図に合わせて自在に調整することができる。
【００５６】
修正係数取得部１６の他の例として、輝度レベルを補正する係数を取得するようにしてもよい。上記例と同様の手段で、ユーザは「明るく」あるいは「暗く」という入力を行う。これらの入力が行われると、修正係数取得部１６は、予め指定した修正係数を設定する。例えば、入力が「明るく」の場合は＋１０、「暗く」の場合は−１０という値を予め指定しておく。注目領域内補正特性決定部１７は、第一の実施形態と同様の手法で作成した階調補正特性に対して、修正係数を加算する。図１３に、修正された階調補正特性の一例を示す。修正係数の加算によって出力輝度値が１００％を超えた場合は１００に、０％未満になった場合は０にクリップ処理を行う。
【００５７】
上述のとおり、本実施形態の画像表示装置によれば、画像に階調補正処理を行う場合に、ユーザの意図を取り入れ、補正の程度を調整することができる。
【００５８】
（第五の実施形態）
図１４は、本発明の第五の実施形態に係る画像表示装置の概略構成例を示すブロック図で、図中、１８は動きベクトル検出部、１９は注目領域追従部、２０はフレームメモリ、２１はメモリを示す。なお、図１４において、注目領域位置取得部１、画像分割部２、中心輝度値決定部３、注目領域内階調補正特性決定部４、及び注目領域外階調補正特性決定部６の記載は省略しているものとする。
【００５９】
この第五の実施形態では、入力画像が動画像の場合に、注目領域を画像の動きに合わせて追従する構成を追加したものである。注目領域追従部１９は、入力画像のフレーム間における動きベクトルに基づいて、画像分割部２で設定した注目領域を追従する。ここでは、第一の実施形態で説明したように、画像表示装置はユーザが指定した注目領域内とそれ以外の注目領域外でそれぞれ階調補正を行う。その際、次の入力フレーム画像のために、前フレーム画像と前フレームマスク画像とをフレームメモリ２０に記憶し、前フレーム画像の注目領域内階調補正特性と注目領域外階調補正特性とをメモリ２１に記憶しておく。
【００６０】
図１４において、次の入力フレーム画像に対して、動きベクトル検出部１８は、入力フレーム画像と前フレーム画像の間の各画素の動きベクトルを検出する。この動きベクトルの検出は、例えばブロックマッチングなどの公知技術を用いて行うことができる。次に、注目領域追従部１９は、動きベクトル検出部１８で求めた動きベクトルと前フレームマスク画像とから、入力フレーム画像におけるマスク画像を作成する。これは、前フレームマスク画像の画素値が“１”の各画素の座標に対して、その画素に対応する動きベクトルを加え、得られた座標について、入力フレーム画像のマスク画像の画素値を“１”にし、入力フレーム画像のマスク画像の残りの画素の画素値を“０”にする。このように、注目領域追従部１９を備えることにより、注目領域を画像の動きに合わせて追従させることができる。
【００６１】
そして、注目領域内階調補正計算部５及び注目領域外階調補正計算部７は、注目領域追従部１９で作成したマスク画像を用いて、注目領域内と注目領域外とを区別し、それぞれの領域に対して前述の第一の実施形態と同様に階調補正を行う。ただし、注目領域内階調補正特性と注目領域外階調補正特性は、前フレーム画像で記憶した値をそのまま用いるほうが望ましい。これは、階調補正特性を変更すると補正の程度がフレーム間で変化してしまい、これにより見た目の滑らかさが失われることを防止するためである。
【００６２】
上述のとおり、本実施形態の画像表示装置によれば、動画像に階調補正処理を行う場合に、画像の動きに合わせて、補正の程度を領域ごとに制御することができる。
【００６３】
以上において、本発明の画像表示装置に係る各実施形態について説明したが、本発明は表示部を持たない画像処理装置の形態としてもよいことは言うまでもない。また、本発明の画像処理装置あるいは画像表示装置としての機能をコンピュータに実行させるためのプログラムとしての形態も、また、そのプログラムを記録したコンピュータ読み取り可能な記録媒体としての形態としてもよい。
【符号の説明】
【００６４】
１…注目領域位置取得部、２…画像分割部、３…中心輝度値決定部、４…注目領域内階調補正特性決定部、５…注目領域内階調補正計算部、６…注目領域外階調補正特性決定部、７…注目領域外階調補正計算部、８…表示部、９…注目領域内階調補正特性決定部、１０…全体階調補正特性決定部、１１…全体階調補正特性計算部、１２…中心輝度値決定部、１３…注目領域内階調補正特性決定部、１４…注目領域内階調補正計算部、１５…表示部、１６…修正係数取得部、１７…注目領域内階調補正特性決定部、１８…動きベクトル検出部、１９…注目領域追従部、２０…フレームメモリ、２１…メモリ。
【技術分野】
【０００１】
本発明は、画像処理装置及び画像表示装置に関し、より詳細には、入力画像信号に対して階調補正処理を行う機能を備えた画像処理装置及び画像表示装置に関する。
【背景技術】
【０００２】
液晶ディスプレイ等の画像表示装置では、画質の向上を目的として、コントラスト強調などの階調補正処理が行われている。これらの処理の際には、画像信号の画素値を解析し、そのヒストグラムやその他の統計量などによって補正レベルを動的に変化させている。しかし、画像全体にわたってコントラスト感を向上させることは容易ではなく、特に、明暗が混在する画像に対しては、暗い領域や明るい領域において細部情報が消失しやすいという問題がある。
【０００３】
上記の問題に対して、例えば、特許文献１には、画像内でユーザが注目する領域（以下、注目領域と呼ぶ）を定め、注目領域内のコントラストが良くなるように画像全体を調整するコントラスト調整装置が記載されている。
【０００４】
図１５は、従来のコントラスト調整装置の機能的構成の一例を示すブロック図で、図中、１０１は注目領域設定部、１０２は階調補正特性決定部、１０３は階調補正計算部を示す。注目領域設定部１０１は、入力画像の中央部の矩形領域を注目領域として設定する。階調補正係数決定部１０２は、入力画像の輝度値のヒストグラムを生成するが、単純な度数を用いるのではなく、注目領域外の画素には１より小さい係数をかけたものをヒストグラムの度数として加算する。このように作成された注目領域内の画素の寄与が大きいヒストグラムを用いて、階調補正の程度を制御する階調補正特性が算出される。階調補正計算部１０３は、入力画像に対して、作成した階調補正特性に基づきコントラスト強調を行う。
【０００５】
図１６は、図１５に示した従来のコントラスト調整装置の階調補正特性の一例を示す。横軸は階調補正前の輝度値を示し、縦軸は階調補正後の輝度値を示す。なお、説明の便宜上、輝度値は正規化した値を示し、最小値を０％、最大値を１００％とする。階調補正特性のグラフにおいて、傾きが１より大きい階調範囲内ではコントラストが強調され、傾きが１未満の階調範囲内では、コントラストが抑制される。この例では、横軸が７７％以下では傾きが１．２９の直線であり、この階調範囲内でのコントラストは強調される。横軸が７７％以上では傾きが０の直線であり、この入力階調範囲内では、出力階調の変化が完全に抑制される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１２００３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
図１６の例から分かるように、コントラスト強調を行うと、コントラストが抑制される階調範囲が別に生じる。すなわち、傾きが１より大きい階調範囲を作ると、傾きが１未満になる階調範囲が別に生じる。このため、注目領域内に明暗が混在する画像に対して、図１５に示した従来のコントラスト調整装置では、注目領域内にコントラストが抑制される階調範囲を含む場合がある。この場合、注目したい細部情報が消失してしまうという問題がある。
【０００８】
本発明は、上述のごとき実情に鑑みてなされたものであり、画像に階調補正処理を行う際に、階調補正処理を行う画像領域と階調範囲の指定を可能とし、階調補正処理を注目領域の内部と外部とで独立に行うことで、ユーザが注目したい細部情報を的確に強調する画像処理装置及び画像表示装置を提供すること、を目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、第１の技術手段は、入力画像に対して階調補正を行う画像処理装置であって、入力画像に対して注目領域を設定する注目領域設定部と、該設定した注目領域の中心画素値を取得する中心画素値取得部と、該取得した中心画素値に基づいて階調補正特性を決定する注目領域内階調補正特性決定部と、該決定した階調補正特性に基づいて前記注目領域内の階調補正を行う注目領域内階調補正計算部と、前記注目領域設定部で設定した注目領域外の画素について画素値の統計量を算出し、該算出した画素値の統計量に基づいて階調補正特性を決定する注目領域外階調補正特性決定部と、該決定した階調補正特性に基づいて前記注目領域外の階調補正を行う注目領域外階調補正計算部とを備えたことを特徴としたものである。
【００１０】
第２の技術手段は、第１の技術手段において、前記注目領域内階調補正特性決定部は、前記注目領域設定部で設定した注目領域内の画素について画素値の統計量を算出し、該算出した画素値の統計量と、前記中心画素値取得部により取得した中心画素値とに基づいて、階調補正特性を決定することを特徴としたものである。
【００１１】
第３の技術手段は、第１の技術手段において、入力画像全体の画素について画素値の統計量を算出し、該算出した画素値の統計量に基づいて階調補正特性を決定する全体階調補正特性決定部と、該決定した階調補正特性に基づいて前記入力画像全体の階調補正を行う全体階調補正計算部とを備え、前記中心画素値取得部は、前記全体階調補正計算部で階調補正された前記入力画像全体に対して、前記注目領域設定部で設定された注目領域の中心画素値を取得することを特徴としたものである。
【００１２】
第４の技術手段は、第１の技術手段において、ユーザによる入力に基づいて、前記注目領域内の階調補正特性を調整するための修正係数を取得する修正係数取得部を備え、前記注目領域内階調補正特性決定部は、前記中心画素値取得部により取得した中心画素値と、前記修正係数取得部により取得した修正係数とに基づいて、階調補正特性を決定することを特徴としたものである。
【００１３】
第５の技術手段は、第１〜第４のいずれか１の技術手段において、前記注目領域設定部は、ユーザの操作入力に従って、前記入力画像に対して前記注目領域を設定することを特徴としたものである。
【００１４】
第６の技術手段は、第１〜第５のいずれか１の技術手段において、前記統計量は、輝度ヒストグラムであることを特徴としたものである。
【００１５】
第７の技術手段は、第１〜第６のいずれか１の技術手段において、入力画像のフレーム間における動きベクトルに基づいて、前記注目領域設定部により設定された注目領域を追従する注目領域追従部を備え、前記注目領域内階調補正計算部は、前記注目領域追従部により追従される注目領域内に対して、前記注目領域内階調補正特性決定部で決定された階調補正特性に基づく階調補正を行い、前記注目領域外階調補正計算部は、前記注目領域追従部により追従される注目領域外に対して、前記注目領域外階調補正特性決定部で決定された階調補正特性に基づく階調補正を行うことを特徴としたものである。
【００１６】
第８の技術手段は、第１〜第７のいずれか１の技術手段において、前記注目領域内階調補正特性決定部で決定される注目領域内階調補正特性は、コントラストが強調される入力輝度範囲と、コントラストが抑制される入力輝度範囲とを含み、前記中心画素値取得部で取得される中心画素値は、前記コントラストが強調される入力輝度範囲に含まれることを特徴としたものである。
【００１７】
第９の技術手段は、第６〜第８のいずれか１の技術手段において、前記注目領域外階調補正特性決定部は、前記輝度ヒストグラムの度数を輝度値の高いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第１の注目領域外閾値を超えない最大の輝度値を白飽和値として決定し、また、前記輝度ヒストグラムの度数を輝度値の低いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第２の注目領域外閾値を超えない最小の輝度値を黒飽和値として決定し、前記階調補正特性は、入力輝度値が前記黒飽和値以上で前記白飽和値以下の範囲でコントラストを強調する特性とすることを特徴としたものである。
【００１８】
第１０の技術手段は、第１〜第９のいずれか１の技術手段における画像処理装置と、入力画像を表示する表示部とを備えたことを特徴とする画像表示装置である。
【発明の効果】
【００１９】
本発明によれば、画像に階調補正処理を行う際に、階調補正処理を行う画像領域と階調範囲の指定を可能とし、階調補正処理を注目領域の内部と外部とで独立に行うことで、ユーザが注目したい細部情報を的確に強調することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第一の実施形態に係る画像表示装置の概略構成例を示すブロック図である。
【図２】注目領域内階調補正特性決定部で作成される階調補正特性の一例を示す図である。
【図３】図１に示す注目領域内階調補正特性決定部の処理の流れの一例を説明するためのフロー図である。
【図４】注目領域内階調補正特性決定部で作成される階調補正特性の他の例を示す図である。
【図５】注目領域外階調補正特性決定部で作成される階調補正特性の一例を示す図である。
【図６】図１に示す注目領域外階調補正特性決定部の処理の流れの一例を説明するためのフロー図である。
【図７】注目領域外階調補正特性決定部で算出される注目領域外の輝度ヒストグラムの一例を示す図である。
【図８】本発明の第二の実施形態に係る画像表示装置の概略構成例を示すブロック図である。
【図９】注目領域内階調補正特性決定部で作成される階調補正特性の他の例を示す図である。
【図１０】図８に示す注目領域内階調補正特性決定部の処理の流れの一例を説明するためのフロー図である。
【図１１】本発明の第三の実施形態に係る画像表示装置の概略構成例を示すブロック図である。
【図１２】本発明の第四の実施形態に係る画像表示装置の概略構成例を示すブロック図である。
【図１３】注目領域内階調補正特性決定部で作成される階調補正特性の一例を示す図である。
【図１４】本発明の第五の実施形態に係る画像表示装置の概略構成例を示すブロック図である。
【図１５】従来のコントラスト調整装置の機能的構成の一例を示すブロック図である。
【図１６】従来のコントラスト調整装置で作成される階調補正特性の一例を示す図である。
【発明を実施するための形態】
【００２１】
以下、添付図面を参照しながら、本発明の画像処理装置及び画像表示装置に係る好適な実施の形態について、画像処理装置と表示部とを備えた画像表示装置を例示して説明する。なお、各実施形態の各図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。
【００２２】
（第一の実施形態）
図１は、本発明の第一の実施形態に係る画像表示装置の概略構成例を示すブロック図で、図中、１は注目領域位置取得部、２は画像分割部、３は中心輝度値決定部、４は注目領域内階調補正特性決定部、５は注目領域内階調補正計算部、６は注目領域外階調補正特性決定部、７は注目領域外階調補正計算部、８は表示部を示す。
【００２３】
注目領域位置取得部１は、ユーザからの入力により、注目領域位置を取得し、これを画像分割部２と中心輝度値決定部３に出力する。以下、注目領域の形状は円形を例示して説明する。円は、中心と半径によって指定することができるが、中心位置は、例えば、表示部８がタッチパネル機能を備えている場合は、画面上の表示画像においてユーザが注目したい領域の中心を、ユーザがタッチパネルを用いて指示することで取得される。また、例えば、リモートコントローラを用いてユーザが指示してもよい。または、図示しない視線検出装置によって検知したユーザの視線方向から算出した画像位置を用いてもよい。半径は、タッチパネルやリモートコントローラ、その他の図示しない入力装置によってユーザが指示してもよいし、予め設定した固定値としてもよい。なお、注目領域の形状は円形に限定するものではなく、楕円や四角形などの他の形状であってもよい。
【００２４】
画像分割部２は、注目領域位置取得部１で取得された注目領域位置に基づいて、入力画像の全画素を、注目領域内と注目領域外の２つに分割する。円の中心と半径が入力された場合は、円周とその内部に含まれる画素を注目領域内とし、それ以外の画素を注目領域外とする。分割した結果は、例えば、注目領域内を“１”、注目領域外を“０”とする二値のマスク画像にして出力する。上記の注目領域位置取得部１及び画像分割部２は、注目領域設定部に相当する。
【００２５】
中心輝度値決定部３は、中心画素値取得部に相当し、注目領域位置取得部１で取得された注目領域位置に基づき、入力画像の対応する画素値を取得し、中心輝度値を決定する。例えば、円の中心座標を中心とした縦横５画素（合計２５画素）に対して、輝度値のメディアンを算出し、これを中心輝度値とする。メディアンの代わりに平均値や加重平均値などその他の統計量を用いてもよい。また、縦横５画素の代わりに縦横３画素など他の領域を用いてもよいし、１画素だけを用いてもよい。
【００２６】
注目領域内階調補正特性決定部４は、中心輝度値決定部３で決定された中心輝度値の近傍の階調を強調するための階調補正特性を作成する。図２は、注目領域内階調補正特性決定部４で作成される注目領域内階調補正特性の一例を示すグラフである。前述の図１６と同様に、横軸は補正前輝度値（％）、縦軸は補正後輝度値（％）である。図中、ｃは注目領域内階調補正特性決定部４に入力される中心輝度値であり、ｗは予め設定した強調輝度幅である。ａは予め設定した強調レベル（ａ＞１）であり、入力輝度値がｃ−ｗ／２からｃ＋ｗ／２の範囲において、傾きがａとなるように階調補正特性を定める。これによって、中心輝度値ｃの近傍の階調のコントラストが強調され、ａの値が大きいほど強く強調される。横軸の残りの範囲では、全て傾きをｂとし、ｂはａとｗから次式を用いて算出する。
【００２７】
ｂ＝（１００−ｗａ）／（１００−ｗ） ・・・式（１）
ｂ＜１となるため、傾きがｂの階調範囲内では、コントラストが抑制される。階調補正特性のグラフは、３本の直線から成る折れ線によって作成する。折れ線全体として原点と（１００，１００）の２点を通り、かつ単調増加となるように作成する。ただし、ｂが０以上となるように、予めａとｗを設定する必要がある。
【００２８】
図３に、注目領域内階調補正特性決定部４での処理の流れの一例を示す。まず、中心輝度値ｃ、強調輝度幅ｗ、強調レベルａから、式（１）を用いて傾きｂを算出する（ステップＳ１）。そして、前述の図２のグラフを構成する３直線の式を算出する（ステップＳ２）。この算出方法は明らかなので説明を省く。最後に、階調補正特性を記したルックアップテーブル（ＬＵＴ）を作成し、出力する（ステップＳ３）。
【００２９】
なお、ｃ−ｗ／２＜０もしくはｃ＋ｗ／２＞１００となる場合は、修正が必要である。修正方法として、ｃ−ｗ／２＜０の場合、例えばｂの算出の際に、式（１）の代わりに次式を用いる。
【００３０】
ｂ＝｛１００−（ｃ＋ｗ／２）ａ｝／｛１００−（ｃ＋ｗ／２）｝ ・・・式（２）
ｃ−ｗ／２＜０の場合の階調補正特性の例を図４に示す。また、ｃ＋ｗ／２＞１００の場合についても同様に修正を行う。修正方法は、この例に限らず、ｃやｗの値を直接修正してもよい。
【００３１】
図１において、注目領域内階調補正計算部５は、注目領域内の画素の輝度値に対して、注目領域内階調補正特性決定部４で作成した注目領域内階調補正特性が記録されたＬＵＴに基づいて階調補正を行い、表示部８に出力する。補正方法はＬＵＴに限定するものではなく、入出力の関係を示す関数を用いるなど他の方法を用いてもよい。
【００３２】
次に、注目領域外の画素に対しては、注目領域外階調補正特性決定部６は、注目領域外（マスク画像の画素値が“０”）の画素値だけを統計的に分析し、注目領域外の階調補正特性を決定する。
【００３３】
図５は、注目領域外階調補正特性決定部６で作成される注目領域外階調補正特性の一例を示すグラフである。図中、ＸｍａｘとＸｍｉｎは、それぞれ白飽和値、黒飽和値と呼び、画像の輝度分布から算出される特徴量である。傾きａは、強調レベルを表し、次式で算出する。
【００３４】
ａ＝１００／（Ｘｍａｘ−Ｘｍｉｎ） ・・・式（３）
階調補正特性のグラフは、３本の直線から成る折れ線によって作成する。入力輝度値がＸｍｉｎからＸｍａｘの範囲の傾きをａ、残りの範囲での傾きを０となるように定める。また、折れ線全体として、原点と（１００，１００）の２点を通り、かつ単調増加となるように作成する。これによって、中間輝度レベルでのコントラストが強調され、ａの値が大きいほど強く強調される。残りの傾きが０の範囲では、出力輝度値の階調変化が抑制される。
【００３５】
この注目領域外階調補正特性決定部６の処理の流れの一例を図６に示す。図６において、まず、注目領域外階調補正特性決定部６は、入力画像に設定された注目領域外の画素の輝度値のヒストグラムを作成する（ステップＳ１１）。次に、輝度ヒストグラムに基づいて白飽和値Ｘｍａｘを算出する（ステップＳ１２）。例えば、ヒストグラムの度数を輝度値の高いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第１の閾値を超えない最大の輝度値を白飽和値Ｘｍａｘとする。そして、輝度ヒストグラムに基づいて黒飽和値Ｘｍｉｎを算出する（ステップＳ１３）。例えば、ヒストグラムの度数を輝度値の低いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第２の閾値を超えない最小の輝度値を黒飽和値Ｘｍｉｎとする。輝度ヒストグラムと白飽和値、黒飽和値、第１の閾値、第２の閾値の関係を図７に示す。
【００３６】
次に、上記式（３）を用いて傾きａを算出する（ステップＳ１４）。そして、前述の図５に示したグラフを構成する３直線の式を算出する（ステップＳ１５）。最後に、階調補正特性を記したルックアップテーブル（ＬＵＴ）を作成し、出力する（ステップＳ１６）。
【００３７】
なお、上記例では、入力輝度値がＸｍａｘ以上かＸｍｉｎ以下の範囲での傾きを０としたが、０に限定するものではない。また、黒飽和値と白飽和値を基にして階調補正特性を決定したが、この例に限定するものではなく、画素値の統計量を用いた他のコントラスト調整手法を用いてもよい。また、画素値の統計量としてヒストグラムを用いたが、ヒストグラムに限定するものではなく、他の統計量を用いてもよい。
【００３８】
注目領域外階調補正計算部７は、注目領域外の画素の輝度値に対して、注目領域外階調補正特性決定部６で決定した注目領域外階調補正特性を用いて階調補正を行い、補正後の画像を表示部８に出力する。
【００３９】
そして、表示部８は、注目領域内階調補正計算部５と注目領域外階調補正計算部７とから出力された画像を合成し、この合成画像を表示出力する。この表示部８は例えばＬＣＤ（Liquid Crystal Display）などで構成される。
【００４０】
なお、上記例では注目領域内階調補正特性決定部４と注目領域外階調補正特性決定部６において折れ線状グラフで表される階調補正特性を作成したが、折れ線に限定するものではなく、折れ線の折れ曲がり部分を修正して曲線状にしたり、最初から曲線状の特性を作成してもよい。また、上記例では輝度値を用いたコントラスト強調について述べたが、輝度値に限定するものでなく、明度など、明るさに関する他の指標を用いてもよい。
【００４１】
上述のとおり、本実施形態の画像表示装置によれば、階調補正処理を行う画像領域と階調範囲の指定を可能とし、階調補正処理を注目領域の内部と外部とで独立に行うことで、ユーザが注目したい細部情報を的確に強調して表示することができる。
（第二の実施形態）
図８は、本発明の第二の実施形態に係る画像表示装置の概略構成例を示すブロック図であり、図中、９は注目領域内階調補正特性決定部を示す。第一の実施形態の図１の構成と異なるのは、注目領域内階調補正特性決定部９へ入力画像とマスク画像が入力される点である。本実施形態は、注目領域内階調補正特性の決定の際に、中心輝度値だけでなく、さらに画素値の統計量も考慮できるようにしたものである。
【００４２】
図９は、注目領域内階調補正特性決定部９で作成される注目領域内階調補正特性の一例を示すグラフである。図中、ｃは中心輝度値であり、ｗは予め設定した強調輝度幅である。ａは予め設定した強調レベル（ａ＞１）であり、入力輝度値がｃ−ｗ／２からｃ＋ｗ／２の範囲において、傾きがａとなるように階調補正特性を定める。これによって、中心輝度値ｃの近傍の階調のコントラストが強調され、ａの値が大きいほど強く強調される。白飽和値Ｘｍａｘと黒飽和値Ｘｍｉｎは、画像の輝度分布から算出される特徴量である。入力輝度値がＸｍａｘ以上の範囲とＸｍｉｎ以下の範囲では、傾きを０とし、出力輝度値の階調変化を抑制する。横軸の残りの範囲では、傾きをｂとし、この傾きｂは次式を用いて算出する。
【００４３】
ｂ＝（１００−ｗａ）／（Ｘｍａｘ−Ｘｍｉｎ−ｗ） ・・・式（４）
このように、階調補正特性のグラフを５本の直線から成る折れ線として作成する。ただし、ｂが０以上となる範囲で、予めａとｗを設定する必要がある。
【００４４】
図１０に、注目領域内階調補正特性決定部９での処理の流れの一例を示す。本例のステップＳ２１からステップＳ２３までは第一の実施形態での注目領域外階調補正特性決定部６の流れを示す図６と同様である。ステップＳ２４では、上記式（４）を用いて傾きｂを算出する。そして、前述の図９に示したグラフを構成する５直線の式を算出する（ステップ２５）。最後に、階調補正特性を記したルックアップテーブル（ＬＵＴ）を作成し、出力する（ステップＳ２６）。
【００４５】
なお、上記例では、入力輝度値がＸｍａｘ以上かＸｍｉｎ以下の範囲での傾きを０としたが、０に限定するものではない。
【００４６】
上述のとおり、本実施形態の画像表示装置によれば、ユーザが注目する領域のコントラストを強調し、かつ注目領域内でのコントラスト感を向上させることができる。
【００４７】
（第三の実施形態）
図１１は、本発明の第三の実施形態に係る画像表示装置の概略構成例を示すブロック図であり、図中、１０は全体階調補正特性決定部、１１は全体階調補正計算部、１２は中心輝度値決定部、１３は注目領域内階調補正特性決定部、１４は注目領域内階調補正計算部、１５は表示部を示す。本実施形態は、画像全体で階調補正を行った後に、注目領域内のみ再度階調補正を行う点が、第一の実施形態と異なる。
【００４８】
まず、全体階調補正特性決定部１０において、画像全体の画素値の統計量に基づいて全体階調補正特性を作成する。これは、第一の実施形態の注目領域外階調補正特性決定部６と同様の手法で、画像全体での画素値の統計量を算出して行う。全体階調補正計算部１１では、全体階調補正特性に基づいて階調補正を行い、表示部１５に出力する。
【００４９】
中心輝度値決定部１２では、第一の実施形態と同様の手法で中心輝度値を決定するが、既に全体階調補正計算部１１で階調補正が行われた画像の輝度値から算出する点が異なる。
【００５０】
注目領域内階調補正特性決定部１３では、第一の実施形態と同様の手法で注目領域内の階調補正特性を作成する。注目領域内階調補正計算部１４では、既に階調補正が行われた画像の注目領域内に対して、第一の実施形態と同様の手法で階調補正を行う。表示部１５では、全体階調補正計算部１１で出力された補正後画像の注目領域内の画素を、注目領域内階調補正計算部１４から出力された補正後画像の画素値に置き換えて表示する。
【００５１】
上述のとおり、本実施形態の画像表示装置によれば、ユーザが注目する領域のコントラストを強調し、かつ注目領域内でのコントラスト感を向上させることができる。
【００５２】
（第四の実施形態）
図１２は、本発明の第四の実施形態に係る画像表示装置の概略構成例を示すブロック図で、図中、１６は修正係数取得部、１７は注目領域内補正特性決定部を示す。本実施形態では、注目領域内階調補正特性を、第一の実施形態と同様に中心輝度値から決定した後に、さらに、修正係数をユーザの入力によって設定し、注目領域内階調補正特性を調整できるようにしたものである。
【００５３】
修正係数取得部１６は、ユーザからの入力により、注目領域内の階調補正特性の一例である輝度レベルを調整するための修正係数を取得し、注目領域内補正特性決定部１７に出力する。注目領域内補正特性決定部１７は、中心輝度値と修正係数に基づき、注目領域内階調補正特性を作成する。
【００５４】
修正係数取得部１６では、例えば、第一の実施形態で用いた強調レベルａを修正するための修正係数を取得する。表示部８に修正係数取得用画面を表示させ、ユーザがタッチパネルあるいはリモートコントローラの操作によって、画面上から「強く」あるいは「弱く」という入力を行う。これらの入力が行われると、修正係数取得部１６は、予め指定した修正係数を設定する。この修正係数としては、例えば、入力が「強く」の場合は１．１、「弱く」の場合は０．９という値を予め指定しておく。注目領域内補正特性決定部１７は、予め指定された固定の強調レベルａに修正係数を掛けた後、第一の実施形態と同様の手法で階調補正特性を作成する。これによって、注目領域内階調補正特性が調整される。
【００５５】
ここで、ユーザが「強く」あるいは「弱く」の入力を複数回行うことで、その回数に応じて修正係数を複数回掛け合わせてもよい。また、修正係数の数値を直接入力する手段を備えてもよい。これにより補正のレベルをユーザの意図に合わせて自在に調整することができる。
【００５６】
修正係数取得部１６の他の例として、輝度レベルを補正する係数を取得するようにしてもよい。上記例と同様の手段で、ユーザは「明るく」あるいは「暗く」という入力を行う。これらの入力が行われると、修正係数取得部１６は、予め指定した修正係数を設定する。例えば、入力が「明るく」の場合は＋１０、「暗く」の場合は−１０という値を予め指定しておく。注目領域内補正特性決定部１７は、第一の実施形態と同様の手法で作成した階調補正特性に対して、修正係数を加算する。図１３に、修正された階調補正特性の一例を示す。修正係数の加算によって出力輝度値が１００％を超えた場合は１００に、０％未満になった場合は０にクリップ処理を行う。
【００５７】
上述のとおり、本実施形態の画像表示装置によれば、画像に階調補正処理を行う場合に、ユーザの意図を取り入れ、補正の程度を調整することができる。
【００５８】
（第五の実施形態）
図１４は、本発明の第五の実施形態に係る画像表示装置の概略構成例を示すブロック図で、図中、１８は動きベクトル検出部、１９は注目領域追従部、２０はフレームメモリ、２１はメモリを示す。なお、図１４において、注目領域位置取得部１、画像分割部２、中心輝度値決定部３、注目領域内階調補正特性決定部４、及び注目領域外階調補正特性決定部６の記載は省略しているものとする。
【００５９】
この第五の実施形態では、入力画像が動画像の場合に、注目領域を画像の動きに合わせて追従する構成を追加したものである。注目領域追従部１９は、入力画像のフレーム間における動きベクトルに基づいて、画像分割部２で設定した注目領域を追従する。ここでは、第一の実施形態で説明したように、画像表示装置はユーザが指定した注目領域内とそれ以外の注目領域外でそれぞれ階調補正を行う。その際、次の入力フレーム画像のために、前フレーム画像と前フレームマスク画像とをフレームメモリ２０に記憶し、前フレーム画像の注目領域内階調補正特性と注目領域外階調補正特性とをメモリ２１に記憶しておく。
【００６０】
図１４において、次の入力フレーム画像に対して、動きベクトル検出部１８は、入力フレーム画像と前フレーム画像の間の各画素の動きベクトルを検出する。この動きベクトルの検出は、例えばブロックマッチングなどの公知技術を用いて行うことができる。次に、注目領域追従部１９は、動きベクトル検出部１８で求めた動きベクトルと前フレームマスク画像とから、入力フレーム画像におけるマスク画像を作成する。これは、前フレームマスク画像の画素値が“１”の各画素の座標に対して、その画素に対応する動きベクトルを加え、得られた座標について、入力フレーム画像のマスク画像の画素値を“１”にし、入力フレーム画像のマスク画像の残りの画素の画素値を“０”にする。このように、注目領域追従部１９を備えることにより、注目領域を画像の動きに合わせて追従させることができる。
【００６１】
そして、注目領域内階調補正計算部５及び注目領域外階調補正計算部７は、注目領域追従部１９で作成したマスク画像を用いて、注目領域内と注目領域外とを区別し、それぞれの領域に対して前述の第一の実施形態と同様に階調補正を行う。ただし、注目領域内階調補正特性と注目領域外階調補正特性は、前フレーム画像で記憶した値をそのまま用いるほうが望ましい。これは、階調補正特性を変更すると補正の程度がフレーム間で変化してしまい、これにより見た目の滑らかさが失われることを防止するためである。
【００６２】
上述のとおり、本実施形態の画像表示装置によれば、動画像に階調補正処理を行う場合に、画像の動きに合わせて、補正の程度を領域ごとに制御することができる。
【００６３】
以上において、本発明の画像表示装置に係る各実施形態について説明したが、本発明は表示部を持たない画像処理装置の形態としてもよいことは言うまでもない。また、本発明の画像処理装置あるいは画像表示装置としての機能をコンピュータに実行させるためのプログラムとしての形態も、また、そのプログラムを記録したコンピュータ読み取り可能な記録媒体としての形態としてもよい。
【符号の説明】
【００６４】
１…注目領域位置取得部、２…画像分割部、３…中心輝度値決定部、４…注目領域内階調補正特性決定部、５…注目領域内階調補正計算部、６…注目領域外階調補正特性決定部、７…注目領域外階調補正計算部、８…表示部、９…注目領域内階調補正特性決定部、１０…全体階調補正特性決定部、１１…全体階調補正特性計算部、１２…中心輝度値決定部、１３…注目領域内階調補正特性決定部、１４…注目領域内階調補正計算部、１５…表示部、１６…修正係数取得部、１７…注目領域内階調補正特性決定部、１８…動きベクトル検出部、１９…注目領域追従部、２０…フレームメモリ、２１…メモリ。
【特許請求の範囲】
【請求項１】
入力画像に対して階調補正を行う画像処理装置であって、
入力画像に対して注目領域を設定する注目領域設定部と、該設定した注目領域の中心画素値を取得する中心画素値取得部と、該取得した中心画素値に基づいて階調補正特性を決定する注目領域内階調補正特性決定部と、該決定した階調補正特性に基づいて前記注目領域内の階調補正を行う注目領域内階調補正計算部と、前記注目領域設定部で設定した注目領域外の画素について画素値の統計量を算出し、該算出した画素値の統計量に基づいて階調補正特性を決定する注目領域外階調補正特性決定部と、該決定した階調補正特性に基づいて前記注目領域外の階調補正を行う注目領域外階調補正計算部とを備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、前記注目領域内階調補正特性決定部は、前記注目領域設定部で設定した注目領域内の画素について画素値の統計量を算出し、該算出した画素値の統計量と、前記中心画素値取得部により取得した中心画素値とに基づいて、階調補正特性を決定することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、入力画像全体の画素について画素値の統計量を算出し、該算出した画素値の統計量に基づいて階調補正特性を決定する全体階調補正特性決定部と、該決定した階調補正特性に基づいて前記入力画像全体の階調補正を行う全体階調補正計算部とを備え、前記中心画素値取得部は、前記全体階調補正計算部で階調補正された前記入力画像全体に対して、前記注目領域設定部で設定された注目領域の中心画素値を取得することを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、ユーザによる入力に基づいて、前記注目領域内の階調補正特性を調整するための修正係数を取得する修正係数取得部を備え、前記注目領域内階調補正特性決定部は、前記中心画素値取得部により取得した中心画素値と、前記修正係数取得部により取得した修正係数とに基づいて、階調補正特性を決定することを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれか１項に記載の画像処理装置において、前記注目領域設定部は、ユーザの操作入力に従って、前記入力画像に対して前記注目領域を設定することを特徴とする画像処理装置。
【請求項６】
請求項１〜５のいずれか１項に記載の画像処理装置において、前記統計量は、輝度ヒストグラムであることを特徴とする画像処理装置。
【請求項７】
請求項１〜６のいずれか１項に記載の画像処理装置において、入力画像のフレーム間における動きベクトルに基づいて、前記注目領域設定部により設定された注目領域を追従する注目領域追従部を備え、前記注目領域内階調補正計算部は、前記注目領域追従部により追従される注目領域内に対して、前記注目領域内階調補正特性決定部で決定された階調補正特性に基づく階調補正を行い、前記注目領域外階調補正計算部は、前記注目領域追従部により追従される注目領域外に対して、前記注目領域外階調補正特性決定部で決定された階調補正特性に基づく階調補正を行うことを特徴とする画像処理装置。
【請求項８】
請求項１〜７のいずれか１項に記載の画像処理装置において、前記注目領域内階調補正特性決定部で決定される注目領域内階調補正特性は、コントラストが強調される入力輝度範囲と、コントラストが抑制される入力輝度範囲とを含み、前記中心画素値取得部で取得される中心画素値は、前記コントラストが強調される入力輝度範囲に含まれることを特徴とする画像処理装置。
【請求項９】
請求項６〜８のいずれか１項に記載の画像処理装置において、前記注目領域外階調補正特性決定部は、前記輝度ヒストグラムの度数を輝度値の高いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第１の注目領域外閾値を超えない最大の輝度値を白飽和値として決定し、また、前記輝度ヒストグラムの度数を輝度値の低いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第２の注目領域外閾値を超えない最小の輝度値を黒飽和値として決定し、前記階調補正特性は、入力輝度値が前記黒飽和値以上で前記白飽和値以下の範囲でコントラストを強調する特性とすることを特徴とする画像処理装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の画像処理装置と、入力画像を表示する表示部とを備えたことを特徴とする画像表示装置。
【請求項１】
入力画像に対して階調補正を行う画像処理装置であって、
入力画像に対して注目領域を設定する注目領域設定部と、該設定した注目領域の中心画素値を取得する中心画素値取得部と、該取得した中心画素値に基づいて階調補正特性を決定する注目領域内階調補正特性決定部と、該決定した階調補正特性に基づいて前記注目領域内の階調補正を行う注目領域内階調補正計算部と、前記注目領域設定部で設定した注目領域外の画素について画素値の統計量を算出し、該算出した画素値の統計量に基づいて階調補正特性を決定する注目領域外階調補正特性決定部と、該決定した階調補正特性に基づいて前記注目領域外の階調補正を行う注目領域外階調補正計算部とを備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、前記注目領域内階調補正特性決定部は、前記注目領域設定部で設定した注目領域内の画素について画素値の統計量を算出し、該算出した画素値の統計量と、前記中心画素値取得部により取得した中心画素値とに基づいて、階調補正特性を決定することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、入力画像全体の画素について画素値の統計量を算出し、該算出した画素値の統計量に基づいて階調補正特性を決定する全体階調補正特性決定部と、該決定した階調補正特性に基づいて前記入力画像全体の階調補正を行う全体階調補正計算部とを備え、前記中心画素値取得部は、前記全体階調補正計算部で階調補正された前記入力画像全体に対して、前記注目領域設定部で設定された注目領域の中心画素値を取得することを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、ユーザによる入力に基づいて、前記注目領域内の階調補正特性を調整するための修正係数を取得する修正係数取得部を備え、前記注目領域内階調補正特性決定部は、前記中心画素値取得部により取得した中心画素値と、前記修正係数取得部により取得した修正係数とに基づいて、階調補正特性を決定することを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれか１項に記載の画像処理装置において、前記注目領域設定部は、ユーザの操作入力に従って、前記入力画像に対して前記注目領域を設定することを特徴とする画像処理装置。
【請求項６】
請求項１〜５のいずれか１項に記載の画像処理装置において、前記統計量は、輝度ヒストグラムであることを特徴とする画像処理装置。
【請求項７】
請求項１〜６のいずれか１項に記載の画像処理装置において、入力画像のフレーム間における動きベクトルに基づいて、前記注目領域設定部により設定された注目領域を追従する注目領域追従部を備え、前記注目領域内階調補正計算部は、前記注目領域追従部により追従される注目領域内に対して、前記注目領域内階調補正特性決定部で決定された階調補正特性に基づく階調補正を行い、前記注目領域外階調補正計算部は、前記注目領域追従部により追従される注目領域外に対して、前記注目領域外階調補正特性決定部で決定された階調補正特性に基づく階調補正を行うことを特徴とする画像処理装置。
【請求項８】
請求項１〜７のいずれか１項に記載の画像処理装置において、前記注目領域内階調補正特性決定部で決定される注目領域内階調補正特性は、コントラストが強調される入力輝度範囲と、コントラストが抑制される入力輝度範囲とを含み、前記中心画素値取得部で取得される中心画素値は、前記コントラストが強調される入力輝度範囲に含まれることを特徴とする画像処理装置。
【請求項９】
請求項６〜８のいずれか１項に記載の画像処理装置において、前記注目領域外階調補正特性決定部は、前記輝度ヒストグラムの度数を輝度値の高いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第１の注目領域外閾値を超えない最大の輝度値を白飽和値として決定し、また、前記輝度ヒストグラムの度数を輝度値の低いものから順に加算していき、その合計度数が注目領域外の画素数に占める割合が、予め指定した第２の注目領域外閾値を超えない最小の輝度値を黒飽和値として決定し、前記階調補正特性は、入力輝度値が前記黒飽和値以上で前記白飽和値以下の範囲でコントラストを強調する特性とすることを特徴とする画像処理装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の画像処理装置と、入力画像を表示する表示部とを備えたことを特徴とする画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−２５６５３６（Ｐ２０１０−２５６５３６Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２００９−１０５１４４（Ｐ２００９−１０５１４４）
【出願日】平成２１年４月２３日（２００９．４．２３）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２１年４月２３日（２００９．４．２３）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]