画像処理装置
【課題】環境光の強度と入力画像の特徴量とに基づく画像処理を行って、消費電流を抑制しつつ主観画質の劣化を回避する。
【解決手段】画像処理装置１００ａは、環境光の強度に基づいて自発光型デバイスのパネル輝度を制御するパネル輝度制御部１０１と、入力画像の見え方を補正するための階調変換関数を入力画像の特徴量及びパネル輝度に基づいて算出する算出部１０３，１０４，１０５，１０６と、前記入力画像に対して前記階調変換関数を適用して出力画像を得る変換部１０８とを具備する。
【解決手段】画像処理装置１００ａは、環境光の強度に基づいて自発光型デバイスのパネル輝度を制御するパネル輝度制御部１０１と、入力画像の見え方を補正するための階調変換関数を入力画像の特徴量及びパネル輝度に基づいて算出する算出部１０３，１０４，１０５，１０６と、前記入力画像に対して前記階調変換関数を適用して出力画像を得る変換部１０８とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の処理に関する。
【背景技術】
【０００２】
人間の視覚特性として、同一の色が環境光に応じて異なる見え方をすることが知られている。非特許文献１には、「色の見えモデル」に基づくカラーマネジメントの手法が開示されている。また、パネル輝度、階調値などを環境光に適応して制御することにより画像の見え方を一定にするための技術が提案されている。例えば特許文献１には、照明条件に基づいて算出された色の見え指標を用いて画像表示装置を制御する技術が記載されている。
【０００３】
ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの自発光型デバイスは、表示コンテンツ（例えば、表示画像の輝度値）に応じて消費電流が大きく変動する。特許文献２には、平均階調値に基づいてピーク輝度値を制御することにより、ＯＬＥＤディスプレイの消費電流を抑制または一定化する技術が記載されている。また、特許文献３には、ピーク輝度値を抑制しつつ、暗部シーンに関してダイナミックレンジを拡大することにより階調感を向上させ、かつ、明部シーンに関して高頻度な階調におけるコントラスト感を優先して復元することにより主観的なコントラスト感の低下を回避しながら消費電力を削減する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３００６３９号公報
【特許文献２】特開２００７−１４７８６８号公報
【特許文献３】特開２００９−３００５１７号公報
【非特許文献】
【０００５】
【非特許文献１】CIE Publication No.159, A colour appearance model for colour management systems: CIECAM02
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来、環境光に基づいてパネル輝度、階調値などを制御して色の見え方を維持する技術と、画像の特徴量（例えば、ＡＰＬ（Average Picture Level））に基づいてピーク輝度値を制御して消費電流を抑制する技術とが知られている。しかしながら、両者を効果的に組み合わせるための方針は、明らかでない。これらの技術を単純に組み合わせて実行すると、消費電流の抑制を重視するあまり主観画質が大きく劣化したり、主観画質の維持を重視するあまり消費電流を十分に抑制できなかったりするおそれがある。
【０００７】
従って、本発明は、消費電流を抑制しつつ主観画質の劣化を回避することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る画像処理装置は、環境光の強度に基づいて自発光型デバイスのパネル輝度を制御するパネル輝度制御部と、入力画像の見え方を補正するための階調変換関数を前記入力画像の特徴量及び前記パネル輝度に基づいて算出する算出部と、前記入力画像に対して前記階調変換関数を適用して出力画像を得る変換部とを具備する。
【０００９】
本発明の他の態様に係る画像処理装置は、環境光の強度に基づいて自発光型デバイスのパネル輝度を制御し、前記パネル輝度に応じた階調変換を設定するパネル輝度制御部と、入力画像の特徴量及び前記パネル輝度に基づいて前記入力画像に割り当てるピーク輝度を算出し、入力階調値が前記ピーク輝度以下となるように補正するための階調補正関数を算出し、前記階調補正関数によって補正された入力階調値に対して前記パネル輝度に応じた階調変換を行うための階調変換関数を算出する算出部と、前記入力画像に対して前記階調変換関数を適用して出力画像を得る変換部とを具備する。
【発明の効果】
【００１０】
本発明によれば、消費電流を抑制しつつ主観画質の劣化を回避できる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る画像処理装置に対応する画像処理機能を備える携帯電話機を示すブロック図。
【図２】第１の実施形態に係る画像処理装置が行う処理を示すフローチャート。
【図３】図２のステップＳ００６の処理を示すフローチャート。
【図４】図３のステップＳ１０８の処理を示すフローチャート。
【図５】図４のステップＳ２０３の処理を示すフローチャート。
【図６】理想的なパネル特性のダイナミックレンジの拡大処理の説明図。
【図７】ＡＰＬとゲインとの対応関係を示すグラフ。
【図８】階調値のヒストグラム。
【図９】図８の部分ヒストグラム。
【図１０】図８の部分ヒストグラム。
【図１１】階調補正関数の生成処理の説明図。
【図１２】階調補正関数の生成処理の説明図。
【図１３】第１の実施形態に係る画像処理装置を示すブロック図。
【図１４】第２の実施形態に係る画像処理装置を示すブロック図。
【図１５】様々な環境下でのＡＰＬ（Average Picture Level）と修正済みゲインとの対応関係を示すグラフ。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施形態について説明する。
（第１の実施形態）
本発明の第１の実施形態に係る画像処理装置は、例えば携帯電話機などの情報処理装置に備えられるＣＰＵ（Central Processing Unit）などのプロセッサがプログラムを実行することにより実現される。以降の説明では、携帯電話機に搭載される制御部がプログラムを実行することによって、本実施形態に係る画像処理装置に対応する画像処理機能を実現する場合を仮定する。尚、本実施形態に係る画像処理装置の一部または全部を、デジタル回路などのハードウェアによって実現してもよい。
【００１３】
図１に示すように、上記携帯電話機は、アンテナ１０、無線部１１、信号処理部１２、マイクロホン１３、スピーカ１４、Ｉ／Ｆ（インタフェース）２０、アンテナ３０、チューナ３１、表示部４０、表示制御部４１、入力部５０、記憶部６０、照度センサ７０及び制御部１００を有する。
【００１４】
無線部１１は、制御部１００からの指示に従って、信号処理部１２からのベースバンドの送信信号をＲＦ（Radio Frequency）帯にアップコンバートし、このＲＦ帯の送信信号をアンテナ１０を介して送信する。アンテナ１０から送信された信号は、移動通信網ＮＷに収容される基地局ＢＳによって受信される。また、無線部１１は、基地局ＢＳから送信されたＲＦ帯の信号をアンテナ１０を介して受信し、このＲＦ帯の受信信号をベースバンドにダウンコンバートし、信号処理部１２に入力する。その他、無線部１１は、送信処理においてフィルタリング、電力増幅などを行ってもよいし、受信処理においてフィルタリング、低雑音増幅などを行ってもよい。
【００１５】
信号処理部１２は、制御部１００からの指示に従って、送信データに基づいて搬送波を変調することによりベースバンドの送信信号を生成し、無線部１１に入力する。音声通信を行う場合には、マイクロホン１３に入力された音声信号を符号化することにより生成された音声データが上記送信データとして処理される。一方、ストリーミング配信によって動画像データを受信する場合には、符号化ストリームを受信するために配信元へ送信される制御データが上記送信データとして処理される。制御データは、制御部１００から入力される。符号化ストリームには、動画像データが多重されている。
【００１６】
また、信号処理部１２は、無線部１１からのベースバンドの受信信号を復調し、受信データを得る。音声通信が行われる場合には、信号処理部１２は、上記受信データを復号して音声信号を生成し、スピーカ１４から出力する。一方、ストリーミング配信によって動画像を受信する場合には、信号処理部１２は受信データから符号化ストリームを抽出し、制御部１００に入力する。
【００１７】
インタフェース２０は、リムーバブルメディアＲＭなどの記憶媒体を制御部１００に物理的及び電気的に接続し、この記憶媒体と制御部１００との間でのデータの交換に利用される。尚、リムーバブルメディアには、符号化ストリームが記憶されていてもよい。チューナ３１は、アンテナ３０を介して放送局ＢＣからのテレビジョン放送信号を受信し、この放送信号から符号化ストリームを抽出する。チューナ３１は、符号化ストリームを制御部１００に入力する。
【００１８】
表示部４０は、例えばＯＬＥＤディスプレイなどの自発光型デバイスである。表示部４０は、動画像、静止画像、Webブラウザ等のコンテンツを表示できる。尚、自発光型デバイスは、表示コンテンツ次第で消費電流が大きく変動する。表示制御部４１は、制御部１００からの指示に従って表示部４０を駆動制御する。表示制御部４１は、制御部１００から入力される表示データに基づく画像を表示部４０に表示させる。
【００１９】
入力部５０は、複数のキースイッチ（例えば、テンキー）、タッチパネルなどの入力デバイスを備える。入力部５０は、この入力デバイスを介してユーザからの要求を受け付けるユーザインタフェースである。
【００２０】
記憶部６０は、半導体記憶媒体（例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）など）、磁気記憶媒体（例えば、ハードディスクなど）などの記憶媒体である。記憶部６０は、制御部１００の制御プログラムまたは制御データ、ユーザが作成した種々のデータ（例えば、電話帳データなど）を記憶する。また、記憶部６０は、チューナ３１によって受信された符号化ストリームや、リムーバブルメディアＲＭに符号化ストリームを記録するための制御データなどを記憶してもよい。
【００２１】
照度センサ部７０は、周辺照度を検出するための照度センサを含む。照度センサは、一般に、フォトトランジスタ、フォトダイオードなどの光電変換素子を含む。照度センサ部７０は、周辺照度を（例えばルクス（Ｌｘ）換算の）定量的な値として制御部１００に入力する。尚、照度センサ部７０は、環境光の強度を示すその他の指標を検出するためのセンサ部に置き換えられてもよい。
【００２２】
制御部１００は、ＣＰＵなどのプロセッサを備える。制御部１００は、図１の携帯電話機の各構成要素を統括制御する。具体的には、制御部１００は、音声通信、テレビジョン放送の受信、ストリーミング配信されるコンテンツの受信などの一部または全部を制御する。また、制御部１００は、テレビジョン放送の受信、ストリーミング配信、記憶部６０の読み出しなどによって得られる符号化ストリームに多重されている動画像データを復号化する機能を備えてもよい。更に、制御部１００は、本実施形態に係る画像処理装置に相当する画像処理機能１００ａを備える。画像処理機能１００ａは、制御部１００に備えられるプロセッサが、記憶部６０などに記憶されるプログラム、制御データなどに従って動作することにより実現される。以降の説明において、画像処理機能１００ａ及び画像処理装置１００ａを同様の意味で使用する。
【００２３】
図１３に示すように、画像処理装置１００ａは、パネル輝度制御部１０１、パネル輝度制御パラメータ蓄積部１０２、ヒストグラム生成部１０３、ＡＰＬ算出部１０４、ピーク輝度制御部１０５、階調変換関数算出部１０６、階調変換ＬＵＴ（Look-Up Table）記憶部１０７及び映像変換部１０８を有する。パネル輝度制御部１０１、ヒストグラム生成部１０３、ＡＰＬ算出部１０４、ピーク輝度制御部１０５、階調変換関数算出部１０６及び映像変換部１０８は、制御部１００に備えられたプロセッサによって実現されるソフトウェアモジュールである。また、パネル輝度制御パラメータ蓄積部１０２及び階調変換ＬＵＴ記憶部１０７は、記憶部６０などのプロセッサからアクセス可能な記憶手段によって実現される。
【００２４】
以下、画像処理装置１００ａが行う処理を図２を用いて説明する。尚、図２のフローチャートにおいて各ステップの実行順は例示に過ぎない。即ち、処理間の依存関係が無い限り、複数のステップの処理を並列的に実行してもよいし、図２と異なる順序で実行してもよい。
【００２５】
ステップＳ００１において、パネル輝度制御部１０１は、照度センサ部７０から周辺照度を示すセンサ値Ｌｘ（ｔ）を取得する。ステップＳ００１は、周期的に実行されてよく、例えば画像処理装置１００ａが処理対象とする復号画像のフレームレート（１５Ｈｚ、３０Ｈｚなど）に同期して実行されてもよいし、フレームレートの所定倍（例えば２倍）の周期で実行されてもよいし、フレームレートに関係なく固定の周期で実行されてもよい。
【００２６】
次に、パネル輝度制御部１０１は、ステップＳ００１において取得したセンサ値Ｌｘ（ｔ）を用いて現時刻の環境照度Ｌｘ＿ｔを算出する（ステップＳ００２）。具体的には、パネル輝度制御部１０１は、センサ値Ｌｘ（ｔ）をそのまま現時刻の環境照度Ｌｘ＿ｔとして算出してもよいし、過去数周期分のセンサ値Ｌｘ（ｔ）の平均値を現時刻の環境照度Ｌｘ＿ｔとして算出してもよい。また、パネル輝度制御部１０１は、前回の周期において算出した環境照度Ｌｘ＿ｔと現在の周期において取得したセンサ値Ｌｘ（ｔ）との間の差分によって現時刻の環境照度Ｌｘ＿ｔの算出手法を切り替えてもよい。即ち、パネル輝度制御部１０１は、差分が所定の閾値ＴＨ＿ｌｘ未満であれば周辺環境光に大きな変動はないと考えられるので、過去数周期分のセンサ値Ｌｘ（ｔ）の平均値を現時刻の環境照度Ｌｘ＿ｔとして算出してもよい。一方、パネル輝度制御部１０１は、差分が閾値ＴＨ＿ｌｘ以上であれば周辺環境光が大きく変動したと考えられるので、センサ値Ｌｘ（ｔ）をそのまま現時刻の環境照度Ｌｘ＿ｔとして算出してもよい。
【００２７】
次に、パネル輝度制御部１０１は、ステップＳ００２において算出した、現時刻の環境照度Ｌｘ＿ｔに対応するパネル輝度制御パラメータをパネル輝度制御パラメータ蓄積部１０２から取得する（ステップＳ００３）。パネル輝度制御パラメータは、環境照度Ｌｘ＿ｔに適したパネル輝度ＰＬ（Ｌｘ）と、環境照度Ｌｘ＿ｔに適した階調変換γ（Ｌｘ，ｘ）との２つのパラメータを含む。ここで、ｘは入力階調値を意味し、画像を構成する画素の階調値が８ビットで表現されるならば、ｘは「０」から「２５５」までの２５６階調を取り得る。パネル輝度制御部１０１は、パネル輝度ＰＬ（Ｌｘ）をピーク輝度制御部１０５及び表示制御部４１に入力する。また、パネル輝度制御部１０１は、階調変換γ（Ｌｘ，ｘ）を階調変換関数算出部１０６に入力する。
【００２８】
パネル輝度ＰＬ（Ｌｘ）は、現時刻の環境照度Ｌｘ＿ｔにおいて必要な白輝度（ｃｄ／ｍ２）を表示するために必要な表示部４０（例えば、ＯＬＥＤディスプレイ）へのパネル設定値を表す。一般に、人間に知覚される映像感を現時刻の環境照度Ｌｘ＿ｔに関わらず維持するために、パネル輝度は環境照度Ｌｘ＿ｔの増加に連動して増加するように設計される。一方、階調変換γ（Ｌｘ，ｘ）は、入力階調値ｘが現時刻の環境照度Ｌｘ＿ｔに関わらず同一の色として見えるように設計されたγ変換を意味している。具体的には、階調変換γ（Ｌｘ，ｘ）は、バートルソン−ブレナマン効果などの環境光に応じた色の見え方の違いを補正するように設計されている。尚、バートルソン−ブレナマン効果とは、同一の映像を暗環境及び明環境で夫々視聴した場合にコントラスト感の相違が生じる現象を意味する。これらパネル輝度ＰＬ（Ｌｘ）及び階調変換γ（Ｌｘ，ｘ）は、例えば非特許文献１に記載される手法によって事前設計され、照度Ｌｘに対応付けられてパネル輝度制御パラメータ蓄積部１０２に蓄積されている。
【００２９】
一方、ステップＳ００４において、ヒストグラム生成部１０３は、画像処理装置１００ａに入力される復号画像（入力画像）のフレーム毎に、画素の階調値のヒストグラムを生成する。ヒストグラム生成部１０３は、生成したヒストグラムをＡＰＬ算出部１０４に入力する。画素信号はＹＵＶ形式、ＲＧＢ形式またはその他の形式であってもよい。具体的には、ヒストグラム生成部１０３は、所定幅の階調範囲毎にその階調範囲に属する階調値を持つ画素の数をカウントする。ヒストグラム生成部１０３は、各階調範囲を代表する階調値（代表階調値）と、その階調範囲の頻度（画素のカウント数）とを対応付けるヒストグラムを生成する。例えば、階調幅が「３２」である場合には、図８に示すようなヒストグラムが得られる。階調幅は、階調値の総数とヒストグラムの階級とによって決まる。例えば、階調幅（例えば「３２」）は、階調値の総数（例えば「２５６」）をヒストグラムの階級（例えば「８」）を用いて除算した値である。図８において、横軸に沿って代表階調値が示されている。代表階調値は、各階調範囲に含まれる階調値の平均値であってもよいし、その他の値であってもよい。
【００３０】
ヒストグラム生成部１０３は、画素信号の全ての要素に関してヒストグラムを生成する必要はない。例えば、画素信号がＹＵＶ形式であれば、ヒストグラム生成部１０３はＹ信号のみに関してヒストグラムを生成すればよい。また、画素信号がＲＧＢ形式であれば、ヒストグラム生成部１０３は明度のみに関してヒストグラムを生成すればよい。明度は、ＲＧＢの各成分のうち最も大きい階調値に等しい。
【００３１】
階調幅を大きくするほどヒストグラムを生成するために必要なメモリ容量を削減できる。例えば、階調幅が「３２」であれば、８ビットのうち上位３ビットによって代表階調値を表現できる（下位５ビットは例えば「０００００」に固定できる）。一方、階調幅が「１」であれば、代表階調値を表現するために８ビットの全てが使用される。尚、ステップＳ００４の処理は、前述のステップＳ００１からステップＳ００３までの処理とは独立して実行可能である。
【００３２】
次に、ＡＰＬ算出部１０４は、ステップＳ００４において生成されたヒストグラムから１フレームの入力画像の画面平均輝度（ＡＰＬ（Ａｖｅｒａｇｅ Ｐｉｃｔｕｒｅ Ｌｅｖｅｌ）ともいう）を算出する（ステップＳ００５）。具体的には、ＡＰＬ算出部１０４は、次の数式（１）または数式（２）に従って、ヒストグラムからＡＰＬを算出する。
【数１】
【００３３】
【数２】
【００３４】
数式（１）及び数式（２）において、ｈ（ｉ）は階調ｉにおけるヒストグラムを表している。尚、ｈ（ｉ）は階調ｉが代表階調値に一致する場合を除き零となる。数式（１）によれば、入力画像の各画素の階調値を代表階調値に変換した場合における階調値の算術平均を示すＡＰＬが得られる。一方、数式（２）によれば、入力画像の各画素の階調値を代表階調値に変換し、更にγ変換（γ＝２．２）を用いて正規化した場合における正規化値の算術平均を示すＡＰＬが得られる。尚、ＡＰＬ算出部１０４は、例えば中央値などＡＰＬ以外の特徴量を画像特徴量として算出してもよい。画像特徴量は、入力画像が明部シーンまたは暗部シーンのいずれであるかを判定するために有用であることが望ましい。
【００３５】
次に、ピーク輝度制御部１０５が入力画像に割り当てられるピーク輝度の制御を行い、階調変換関数算出部１０６が階調補正関数ｆ（ｘ）を算出する（ステップＳ００６）。尚、ステップＳ００６における処理の詳細は、図３を用いて後述する。
【００３６】
次に、階調変換算出部１０６は、ステップＳ００６において生成した階調補正関数ｆ（ｘ）と、ステップＳ００３において取得された階調変換γ（Ｌｘ，ｘ）とを用いて、次の数式（３）に従って、階調変換関数Ｆ（ｘ）を生成する（ステップＳ００７）。階調変換算出部１０６は、階調変換関数Ｆ（ｘ）を階調変換ＬＵＴ記憶部１０７に記憶させる。即ち、階調変換ＬＵＴ記憶部１０７には、出力階調値Ｆ（ｘ）が入力階調値ｘに対応付けられて記憶される。
【数３】
【００３７】
次に、映像変換部１０８は、ステップＳ００７において算出された階調変換関数Ｆ（ｘ）を用いて、入力画像の各画素の階調値を変換し、階調変換画像を生成する（ステップＳ００８）。映像変換部１０８は、階調変換画像を表示画像情報として表示制御部４１に入力する。具体的には、映像変換部１０８は、入力画像の各画素の階調値に対応する変換階調値を階調変換ＬＵＴ記憶部１０７から取得する。次に、表示制御部４１は階調変換画像の表示タイミングに同期してステップＳ００３において取得されたパネル設定値を表示部４０に設定し（ステップＳ００９）、図２の処理は終了する。
【００３８】
以下、図３を用いて、図２のステップＳ００６における処理の詳細を説明する。
ステップＳ１０１において、ピーク輝度制御部１０５は、ステップＳ００４において算出されたＡＰＬに応じたgainを算出する。gainは、ピーク輝度の制御及び理想的なパネル特性のダイナミックレンジの制御のための比率であるが、後述するようにステップＳ１０２において修正される。具体的には、ピーク輝度制御部１０５は、例えば図７に示すような、ＡＰＬとgainとの対応関係に従って、ＡＰＬに応じたgainを算出する。尚、図７の対応関係は例示に過ぎない。この対応関係は、図７のように線形関数を組み合わせて表現されてもよいし、ガウス分布によってモデル化された関数で表現されてもよい。ピーク制御部１０５は、上記対応関係をＬＵＴとして用意（保持）し、このＬＵＴを参照することによりgainを算出してもよいし、上記対応関係を示す関数をＡＰＬに適用することによりgainを算出してもよい。ピーク輝度制御部１０５は、入力画像が暗部シーンに対応する（例えば、ＡＰＬが低い）場合には、階調感向上のために１以上のgainを算出することが望ましい。一方、ピーク輝度制御部１０５は、入力画像が明部シーンに対応する（例えば、ＡＰＬが高い）場合には、低消費電力化のために１未満のgainを算出することが望ましい。但し、ピーク輝度制御部１０５は、暗部シーンに関して階調感向上以外の目的のために１未満のgainを算出したり、明部シーンに関して低消費電力化以外の目的のために１以上のgainを算出したりしてもよい。
【００３９】
次に、ピーク輝度制御部１０５は、ステップＳ００３において取得されたパネル輝度ＰＬ（Ｌｘ）に基づいて、ステップＳ１０１において算出したgainを修正する（ステップＳ１０２）。
【００４０】
以下、gainを修正することの技術的意義を説明する。
一般に、ＯＬＥＤディスプレイなどの自発光型デバイスは、パネル輝度が異なれば同一の映像（階調値）を表示する際の消費電力が異なる。即ち、パネル輝度を抑制することにより白輝度の明るさ（ｃｄ／ｍ２）を低下させるほど、消費電力を削減できる。ここで、ピーク輝度の抑制によってパネルの消費電力を一定割合だけ削減するように階調補正関数を算出したとする。パネル輝度が明るく設定されている場合、本来の消費電力量が相対的に大きいので、この階調補正関数の適用による消費電力の削減効果も相対的に大きくなる。一方、パネル輝度が暗く設定されている場合、本来の消費電力量が相対的に小さいので、この階調補正関数の適用による消費電力の削減効果も相対的に小さくなる。即ち、パネル輝度が暗く設定されている場合には、本来の消費電力量が小さく、ピーク輝度の抑制による消費電力の削減効果はあまり期待できない。
【００４１】
また、人間の視覚特性として、光強度（ｃｄ／ｍ２）の１／３乗に比例して明るさ感を知覚することが知られている。即ち、人間は、高い階調に比べて低い階調における明るさの変化に敏感である。ここで、ピーク輝度を一定割合だけ抑制するように階調補正関数を算出したとする。パネル輝度が明るく設定されている場合、この階調補正関数の適用による明るさ感の劣化は相対的に小さい。一方、パネル輝度が暗く設定されている場合、この階調補正関数の適用による明るさ感の劣化は相対的に大きい。
【００４２】
以上のように、パネル輝度が高い（明るい）場合には、ピーク輝度の抑制は消費電力の削減の観点及び明るさ感の劣化の観点から望ましいと考えられる。一方、パネル輝度が低い（暗い）場合には、ピーク輝度の抑制は消費電力の削減の観点及び明るさ感の劣化の観点から必ずしも望ましくないと考えられる。故に、ピーク輝度制御部１０５は、ピーク輝度を効果的に制御するために、ＡＰＬによって決まるgainをパネル輝度ＰＬ（Ｌｘ）の増加に対して単調減少する値gain_cに修正する。
具体的には、ピーク輝度制御部１０５は、次の数式（４）に従って、暗環境向けゲインgain_lを算出する。
【数４】
【００４３】
数式（４）によれば、ステップＳ１０１において算出されたgain及び「１」のうち大きい方が暗環境向けゲインgain_lに代入される。尚、ピーク輝度制御部１０５は、数式（４）以外の手法で暗環境向けゲインgain_lを算出してもよい。ピーク輝度制御部１０５は、次の数式（５）に従って、修正済みゲインgain_cを算出する。
【数５】
【００４４】
数式（５）において、ＰＬにはステップＳ００３において取得されたパネル輝度ＰＬ（Ｌｘ）が代入される。また、ＰＬ＿ｈは明環境判定用の閾値を表し、ＰＬ＿ｌは暗環境判定用の閾値を表す。尚、前述の通りパネル輝度は環境照度に連動して増加するように設計されているので、以降の説明において環境光の明暗をパネル輝度の明暗と同様の意味で使用する。即ち、明環境とはパネル輝度の高い環境の意味で使用され、暗環境とはパネル輝度の低い環境の意味で使用される。Ｃｄ（ＰＬ）は、パネル輝度ＰＬを設定したときの白輝度を表す。尚、数式（５）において白輝度を用いて条件分岐を規定しているが、パネル輝度を用いて条件分岐を規定してもよい。即ち、「if(Cd(PL)<Cd(PL_l))」は「if(PL<PL_l)」に書き換えられてもよいし、「if(Cd(PL_h)<Cd(PL))」は「if(PL_h<PL)」に書き換えられてもよい。数式（５）は、暗環境、通常環境（暗環境及び明環境以外の環境）及び明環境における、修正済みゲインgain_cを夫々表す。具体的には、暗環境において、修正済みゲインgain_cは暗環境向けゲインgain_lとなる。明環境において、修正済みゲインgain_cはgain（即ち、修正なし）となる。通常環境において、修正済みゲインgain_cは、gain及びgain_lの線形内挿により算出される。図１５は、数式（５）によって算出される、修正済みゲインgain_cとＡＰＬとの対応関係を示している。図１５は、左側から順に、暗環境、通常環境及び明環境の修正済みゲインgain_cを示している。尚、修正済みゲインgain_cは、数式（５）以外の手法で算出されてもよい。例えば、ピーク輝度制御部１０５は、ガウス分布などによりモデル化された関数に従って、修正済みゲインgain_cを算出してもよい。
【００４５】
ピーク輝度制御部１０５は、修正済みゲインgain_cを用いて、ピーク輝度Ｙｐｅａｋを次の数式（６）に従って算出する。
【数６】
【００４６】
数式（６）においてclip(a, b)は、aがb未満である場合にａ、ａがｂ以上である場合にｂを夫々返すクリップ関数である。また、INT()は、整数への丸め関数である。即ち、修正済みゲインgain_cが「１」未満であれば、ピーク輝度Ｙｐｅａｋはgain_cと「２５５」との積を整数に丸めた値となる。一方、修正済みゲインgain_cが「１」以上であれば、ピーク輝度Ｙｐｅａｋは「２５５」となる。ピーク輝度制御部１０５は、修正済みゲインgain_c及びピーク輝度Ｙｐｅａｋを階調変換関数算出部１０６に入力する。
【００４７】
次に、階調変換関数算出部１０６は、修正済みゲインgain_cが「１」未満であるか否かを判定する（ステップＳ１０３）。修正済みゲインgain_cが「１」未満であれば処理はステップＳ１０４に進み、そうでなければ処理はステップＳ１０６に進む。
【００４８】
ステップＳ１０４において、階調変換関数算出部１０６は、表示部４０の理想的な階調−明るさ特性Ｇ（ｙ）を、次の数式（７）によって定義する。数式（７）の右辺は、８ビットの階調値ｙに対応する理想的な明るさを、表示部４０が再現可能な最大の明るさを「１．０」として正規化している。階調変換関数算出部１０６は、例えばＬＵＴの形式で数式（７）の右辺を保持してもよい。
【数７】
【００４９】
即ち、階調変換関数算出部１０６は、数式（７）の右辺のダイナミックレンジを維持する。図６における２点鎖線は、この特性Ｇ（ｙ）を示している。尚、階調変換関数算出部１０６は、階調−明るさ特性Ｇ（ｙ）に代えて、均等色空間において定義されている明度に関する階調−明度特性ＧＬ＊（ｙ）を利用してもよい。階調−明度特性ＧＬ＊（ｙ）と、階調−明るさ特性Ｇ（ｙ）との関係を、次の数式（８）に示す。階調変換関数算出部１０６は、例えばＬＵＴの形式で数式（８）を保持してもよい。
【数８】
【００５０】
階調変換関数算出部１０６は、次の数式（９）に示すように、表示部４０の階調−明るさ特性ｇ（ｙ）に理想的な階調−明るさ特性Ｇ（ｙ）を設定し（ステップＳ１０５）、処理はステップＳ１０８に進む。前述のように、理想的な階調−明るさ特性Ｇ（ｙ）は数式（７）の右辺のダイナミックレンジを維持しているので、表示部４０は入力階調ｙに対応する全ての明るさＧ（ｙ）を再現できる。
【数９】
【００５１】
尚、階調変換関数算出部１０６は、表示部４０の階調−明るさ特性ｇ（ｙ）に代えて、階調−明度特性ｇＬ＊（ｙ）を、次の数式（１０）に従って設定してもよい。
【数１０】
【００５２】
ステップＳ１０６において、階調変換関数算出部１０６は、表示部４０の理想的な階調−明るさ特性Ｇ（ｙ）を、次の数式（１１）によって定義する。
【数１１】
【００５３】
即ち、階調変換関数算出部１０６は、数式（７）の右辺のダイナミックレンジを修正済みゲインgain_c倍に拡大している。図６における実線は、この特性Ｇ（ｙ）を示している。尚、図６から明らかなように、この特性Ｇ（ｙ）は表示部４０が再現不可能な明るさ（「１．０」を超える明るさ）を含んでいる。
【００５４】
尚、階調変換関数算出部１０６は、階調−明るさ特性Ｇ（ｙ）に代えて、階調−明度特性ＧＬ＊（ｙ）を利用してもよい。階調変換関数算出部１０６は、次の数式（１２）によって、階調−明度特性ＧＬ＊（ｙ）を定義できる。
【数１２】
【００５５】
階調変換関数算出部１０６は、次の数式（１３）に示すように、表示部４０の階調−明るさ特性ｇ（ｙ）に理想的な階調−明るさ特性Ｇ（ｙ）を上限付きで設定し（ステップＳ１０７）、処理はステップＳ１０８に進む。前述のように、理想的な階調−明るさ特性Ｇ（ｙ）は、数式（７）の右辺のダイナミックレンジを拡大しているので、表示部４０が再現不可能な明るさを含む。
【数１３】
【００５６】
数式（１３）によれば、ｙに対応する明るさＧ（ｙ）が「１．０」未満であればＧ（ｙ）、「１．０」以上であれば「１．０」が表示部４０の階調−明るさ特性ｇ（ｙ）に夫々設定される。図６における破線は、この階調−明るさ特性ｇ（ｙ）を示している。尚、階調変換関数算出部１０６は、表示部４０の階調−明るさ特性ｇ（ｙ）に代えて、階調−明度特性ｇＬ＊（ｙ）を次の数式（１４）に従って設定してもよい。
【数１４】
【００５７】
ステップＳ１０８において、階調変換関数算出部１０６は、理想的な階調−明るさ特性Ｇ（ｙ）、表示部４０の階調−明るさ特性ｇ（ｙ）及びステップＳ００４において生成されたヒストグラムを用いて階調補正関数ｆ（ｘ）を決定し、図３の処理は終了する。尚、階調−明るさ特性Ｇ（ｙ）及び階調−明度特性ＧＬ＊（ｙ）は、いずれも理想的なパネル特性として参照されてもよい。また、階調−明るさ特性ｇ（ｙ）及び階調−明度特性ｇＬ＊（ｙ）は、いずれも表示部４０のパネル特性として参照されてもよい。階調変換関数算出部１０６は、ｆ（０）＝０、ｆ（２５５）＝ピーク輝度Ｙｐｅａｋとして階調補正関数ｆ（ｘ）を初期化する。また、階調変換関数算出部１０６は、ｆ（１）からｆ（２５４）までを、上記ｆ（０）及びｆ（２５５）を用いた線形補間などによって初期化する。
【００５８】
以下、図４を用いて、図３のステップＳ１０８における処理の詳細を説明する。
ステップＳ２０１において、階調変換関数算出部１０６は、入力階調Ｘｔを選択する。例えば、階調変換関数算出部１０６は、ステップＳ００４において生成されたヒストグラムの代表階調値を入力階調Ｘｔとして順次選択する。例えば、階調変換関数算出部１０６は、「０」と「２５５」との中間である「１２８」を入力階調Ｘｔとして最初に選択し（図１１を参照）、「０」と「１２８」との中間である「６４」または「１２８」と「２５６」の中間である「１９２」を入力階調Ｘｔとして続けて選択する（図１２を参照）。
【００５９】
図４の処理によって、階調変換関数算出部１０６は、様々な入力階調Ｘｔに関して、後述する評価値Ｅが最小となる出力階調Ｙを夫々導出する。そして、階調変換関数算出部１０６は、ｆ（Ｘｔ）＝Ｙを決定する。尚、入力階調Ｘｔは処理負荷軽減の観点から離散値であることが望ましい。階調変換関数算出部１０６は、入力階調Ｘｔとして選択されない入力階調に対応する出力階調を、決定済みの出力階調Ｙの線形補間などによって導出できる。勿論、階調変換関数算出部１０６は、全ての入力階調を入力階調Ｘｔとして選択し、図４の処理を行ってもよい。
【００６０】
次に、階調変換関数算出部１０６は、ステップＳ２０１において選択した入力階調Ｘｔに関して部分ヒストグラムを生成する（ステップＳ２０２）。具体的には、階調変換関数算出部１０６は、入力階調Ｘｔを挟む２つの処理済みの入力階調Ｘ０及びＸ１の間の範囲の部分ヒストグラムを生成する。部分ヒストグラムは、最小階調Ｘ０以上入力階調Ｘｔ未満の範囲の頻度と、入力階調Ｘｔ以上最大階調Ｘ１以下の範囲の頻度との２つを含む。例えば、入力階調Ｘｔ＝「１２８」であれば、階調変換関数算出部１０６は、入力階調Ｘｔを挟む２つの処理済みの入力階調Ｘ０＝「０」及びＸ１＝「２５５」の間の範囲の部分ヒストグラムを次の数式（１５）に従って生成する（図１０を参照）。また、入力階調Ｘｔ＝「６４」または「１９２」であれば、階調変換関数算出部１０６は、入力階調Ｘｔを挟む２つの処理済みの入力階調Ｘ０＝「０」または「１２８」及びＸ１＝「１２８」または「２５６」の間の範囲の部分ヒストグラムを生成する（図９を参照）。
【数１５】
【００６１】
次に、階調変換関数算出部１０６は、ステップＳ２０２において算出した部分ヒストグラムなどに基づく評価値Ｅが最小となる出力階調Ｙを算出する（ステップＳ２０３）。ステップＳ２０３における処理の詳細は、図５を用いて後述する。次に、階調変換関数算出部１０６は、全ての入力階調Ｘｔについて処理が完了したか否かを判定する（ステップＳ２０４）。全ての入力階調Ｘｔについて処理が完了していれば図４の処理は終了し、そうでなければ処理はステップＳ２０１に戻る。
【００６２】
以下、図５を用いて、図４のステップＳ２０３における処理の詳細を説明する。
ステップＳ３０１において、階調変換関数算出部１０６は、出力階調Ｙ及び最小評価値Ｅminを例えば次の数式（１６）に従って初期化し、処理はステップＳ３０２に進む。
【数１６】
【００６３】
尚、数式（１６）において、ＭＡＸ＿ＶＡＬはＥminに関して十分に大きな値である。
ステップＳ３０２において、階調変換関数算出部１０６は、評価値Ｅ１及び評価値Ｅ２を例えば次の数式（１７）に従って初期化する。
【数１７】
【００６４】
次に、階調変換関数算出部１０６は、評価値Ｅ１を算出する（ステップＳ３０３）。具体的には、階調変換関数算出部１０６は、次の数式（１８）、数式（１９）または数式（２０）に従って、評価値Ｅ１を算出する。
【数１８】
【００６５】
数式（１８）によれば、評価値Ｅ１は、入力階調Ｘｔに対応する理想的な明るさＧ（Ｘｔ）と、出力階調Ｙに対応する表示部４０の明るさｇ（Ｙ）との差分絶対値に、ステップＳ２０２において生成した部分ヒストグラムの総和を乗じた値となる。
【数１９】
【００６６】
数式（１９）によれば、評価値Ｅ１は、入力階調Ｘｔに対応する理想的な明るさＧ（Ｘｔ）と、出力階調Ｙに対応する表示部４０の明るさｇ（Ｙ）との二乗誤差に、ステップＳ２０２において生成した部分ヒストグラムの総和を乗じた値となる。
【数２０】
【００６７】
数式（２０）によれば、評価値Ｅ１は、入力階調Ｘｔに対応する理想的な明度ＧＬ＊（Ｘｔ）と、出力階調Ｙに対応する表示部４０の明度ｇＬ＊（ｙ）との二乗誤差に、ステップＳ２０２において生成した部分ヒストグラムの総和を乗じた値となる。
【００６８】
また、階調変換関数算出部１０６は、評価値Ｅ２を算出する（ステップＳ３０４）。尚、ステップＳ３０３とステップＳ３０４は逆順に行われてもよいし、並列して行われてもよい。具体的には、階調変換関数算出部１０６は、次の数式（２１）に従って、入力階調Ｘｔに関する勾配ΔＧ（Ｘ０，Ｘｔ）及びΔＧ（Ｘt，Ｘ１）を算出する。
【数２１】
【００６９】
数式（２１）によれば、勾配ΔＧ（Ｘ０，Ｘｔ）は、入力階調Ｘｔに対応する理想的な明るさＧ（Ｘｔ）から最小階調Ｘ０に対応する理想的な明るさＧ（Ｘ０）を減じた値となる。一方、数式（２１）によれば、勾配ΔＧ（Ｘｔ，Ｘ１）は、最大階調Ｘ１に対応する理想的な明るさＧ（Ｘ１）から入力階調Ｘｔに対応する理想的な明るさＧ（Ｘｔ）を減じた値となる。尚、数式（２１）は、理想的な階調−明度特性ＧＬ＊（ｘ）に関して書き換えられてもよい。
【００７０】
また、階調変換関数算出部１０６は、次の数式（２２）に従って、入力階調Ｘｔに関する勾配Δｇ（ｆ（Ｘ０），Ｙ）及びΔｇ（Ｙ，ｆ（Ｘ１））を算出する。
【数２２】
【００７１】
数式（２２）によれば、勾配Δｇ（ｆ（Ｘ０），Ｙ）は、出力階調Ｙに対応する表示部４０の明るさｇ（Ｙ）から出力階調ｆ（Ｘ０）に対応する表示部４０の明るさｇ（ｆ（Ｘ０））を減じた値となる。一方、数式（２２）によれば、勾配Δｇ（Ｙ，ｆ（Ｘ１））は、出力階調ｆ（Ｘ１）に対応する表示部４０の明るさｇ（ｆ（Ｘ１））から出力階調Ｙに対応する表示部４０の明るさｇ（Ｙ）を減じた値となる。尚、数式（２２）は、表示部４０の階調−明度特性ｇＬ＊（ｘ）に関して書き換えられてもよい。
【００７２】
そして、階調変換関数算出部１０６は、以下の数式（２３）、数式（２４）または数式（２５）に従って、評価値Ｅ２を算出する。
【数２３】
【００７３】
数式（２３）によれば、評価値Ｅ２は、勾配ΔＧ（Ｘ０，Ｘｔ）と勾配Δｇ（ｆ（Ｘ０），Ｙ）の差分絶対値に最小階調Ｘ０以上入力階調Ｘｔ未満の範囲の頻度Ｈ（Ｘ０，Ｘｔ−１）を乗じた値と、勾配ΔＧ（Ｘｔ，Ｘ１）と勾配Δｇ（Ｙ，ｆ（Ｘ１））の差分絶対値に入力階調Ｘｔ以上最大階調Ｘ１未満の範囲の頻度Ｈ（Ｘｔ，Ｘ１）を乗じた値との和となる。
【数２４】
【００７４】
数式（２４）によれば、評価値Ｅ２は、勾配ΔＧ（Ｘ０，Ｘｔ）と勾配Δｇ（ｆ（Ｘ０），Ｙ）の二乗誤差に最小階調Ｘ０以上入力階調Ｘｔ未満の範囲の頻度Ｈ（Ｘ０，Ｘｔ−１）を乗じた値と、勾配ΔＧ（Ｘｔ，Ｘ１）と勾配Δｇ（Ｙ，ｆ（Ｘ１））の二乗誤差に入力階調Ｘｔ以上最大階調Ｘ１未満の範囲の頻度Ｈ（Ｘｔ，Ｘ１）を乗じた値との和となる。
【数２５】
【００７５】
数式（２５）によれば、評価値Ｅ２は、勾配ΔＧＬ＊（Ｘ０，Ｘｔ）と勾配ΔｇＬ＊（ｆ（Ｘ０），Ｙ）の二乗誤差に最小階調Ｘ０以上入力階調Ｘｔ未満の範囲の頻度Ｈ（Ｘ０，Ｘｔ−１）を乗じた値と、勾配ΔＧＬ＊（Ｘｔ，Ｘ１）と勾配ΔｇＬ＊（Ｙ，ｆ（Ｘ１））の二乗誤差に入力階調Ｘｔ以上最大階調Ｘ１未満の範囲の頻度Ｈ（Ｘｔ，Ｘ１）を乗じた値との和となる。
【００７６】
次に、階調変換関数算出部１０６は、ステップＳ３０３において算出した評価値Ｅ１及びステップＳ３０４において算出した評価値Ｅ２を用いて、次の数式（２６）に従って、評価値Ｅを算出する（ステップＳ３０５）。
【数２６】
【００７７】
数式（２６）において、λは０以上１以下の重み係数である。
次に、階調変換関数算出部１０６は、ステップＳ３０５において算出した評価値Ｅとその時点における最小評価値Ｅminとを比較する（ステップＳ３０６）。評価値Ｅが最小評価値Ｅmin未満であれば処理はステップＳ３０７に進み、そうでなければ処理はステップＳ３０９に進む。
【００７８】
ステップＳ３０７において、階調変換関数算出部１０６は、最小評価値ＥminをステップＳ３０５において算出した評価値Ｅによって更新する。また、階調変換算出部１０６は、入力階調Ｘｔに対応する出力階調ｆ（Ｘｔ）をＹに更新し（ステップＳ３０８）、処理はステップＳ３０９に進む。
【００７９】
ステップＳ３０９において、階調変換関数算出部１０６は、全ての出力階調Ｙについて処理が完了したか否かを判定する（ステップＳ３０９）。全ての出力階調Ｙについて処理が完了していれば図５の処理は終了し、そうでなければ処理はステップＳ３１０に進む。例えば、出力階調Ｙの上限としてｆ（Ｘ１）またはこれに近い値が設定されてよい。ステップＳ３１０において、階調変換関数算出部１０６は、出力階調Ｙを更新（例えば「１」だけインクリメント）し、処理はステップＳ３０２に戻る。
【００８０】
ＡＰＬが小さく、修正済みゲインgain_cが１以上の暗部シーンにおいて、理想的なパネル特性のダイナミックレンジが修正済みゲインgain_cに基づいて拡大される。このダイナミックレンジが拡大された理想的なパネル特性と、ヒストグラムとに基づいて階調補正関数ｆ（ｘ）が算出される。階調変換関数Ｆ（ｘ）は、入力階調値ｘに対応する補正階調値ｆ（ｘ）に、パネル輝度に応じた階調変換を適用する。故に、階調変換画像は、入力階調値ｘに上記階調変換を適用した場合に比べて、明るさ感は擬似的に増加する一方、階調つぶれは発生しないので、階調感が向上する。
【００８１】
一方、ＡＰＬが高く、修正済みゲインgain_cが１未満の明部シーンにおいて、ピーク輝度Ｙｐｅａｋが修正済みゲインgain_cに基づいて抑制される。この抑制されたピーク輝度Ｙｐｅａｋと、理想的なパネル特性と、ヒストグラムとに基づいて階調補正関数ｆ（ｘ）が算出される。具体的には、階調補正関数ｆ（ｘ）は、理想的なパネル特性が持つコントラスト感を高頻度な階調において優先的に復元する。階調変換関数Ｆ（ｘ）は、入力階調値ｘに対応する補正階調値ｆ（ｘ）に、パネル輝度に応じた階調変換を適用する。故に、階調変換画像は、入力階調値ｘに上記階調変換を適用した場合に比べて、主観的なコントラスト感の低下を回避しつつ消費電力を削減できる。
【００８２】
本実施形態に係る画像処理装置１００ａは、修正済みゲインgain_cを用いて、理想的なパネル特性のダイナミックレンジ及びピーク輝度Ｙｐｅａｋを制御する。この修正済みゲインgain_cは、ＡＰＬによって決まるgainをパネル輝度の増加に対して単調減少する値に修正することによって算出される。結果的に、明環境（高パネル輝度）において明部シーンを表示する場合には、ピーク輝度Ｙｐｅａｋはより大きく抑制される。一方、暗環境（低パネル輝度）において暗部シーンを表示する場合には、理想的なパネル特性のダイナミックレンジはより大きく拡大される。即ち、高パネル輝度において明部シーンを表示する場合には、ピーク輝度Ｙｐｅａｋの大幅な抑制によって消費電力が効果的に削減される。一方、低パネル輝度において暗部シーンを表示する場合には理想的なパネル特性のダイナミックレンジの大幅な拡大によって高い階調感が維持される。また、任意のＡＰＬに関して、パネル輝度が高くなるほど消費電力の削減が重視され、パネル輝度が低くなるほど階調感の向上が重視される。一方、任意のパネル輝度に関して、ＡＰＬが高くなるほど消費電力の削減が重視され、ＡＰＬが低くなるほど階調感の向上が重視される。従って、画像処理装置１００ａによれば、人間の視覚特性と自発光型デバイスの消費電流特性とに適う効果的な画像処理が実現できる。
【００８３】
以上説明したように、本発明の第１の実施形態に係る画像処理装置は、環境光の強度にと入力画像の特徴量とに基づく画像処理を行う。具体的には、本実施形態に係る画像処理装置は、明環境及び明部シーンに関して消費電力の削減を重視し、暗環境及び暗部シーンに関して階調感の向上を重視する。従って、本実施形態に係る画像処理装置によれば、消費電流を抑制しつつ主観画質の劣化を回避できる。
【００８４】
（第２の実施形態）
図１４に示すように、本発明の第２の実施形態に係る画像処理装置１００ａは、パネル輝度制御部１０１、パネル輝度制御パラメータ蓄積部１０２、ヒストグラム生成部１０３、ＡＰＬ算出部１０４、階調変換関数算出部２００、ピーク輝度ゲインパラメータ蓄積部２０１、階調変換ＬＵＴ記憶部１０７及び映像変換部１０８を有する。以下の説明では、図１４において図１３と同一部分には同一符号を付して示し、異なる部分を中心に述べる。
【００８５】
階調変換関数算出部２００は、ＡＰＬ算出部１０４からＡＰＬを入力され、パネル輝度制御部１０１から階調変換γ（Ｌｘ，ｘ）及びパネル輝度ＰＬ（Ｌｘ）を入力される。ピーク輝度ゲインパラメータ蓄積部２０１は、ＡＰＬ及びパネル輝度ＰＬ（Ｌｘ）に対応する修正済みゲインgain_cが記憶される２次元ＬＵＴを保持している。この２次元ＬＵＴは、予めオフラインで作成されてもよい。階調変換関数算出部２００は、ＡＰＬ及びパネル輝度ＰＬ（Ｌｘ）に対応する修正済みゲインgain_cをピーク輝度ゲインパラメータ蓄積部２０１から取得する。即ち、階調変換関数算出部２００は、ＡＰＬ及びパネル輝度ＰＬ（Ｌｘ）に対応する修正済みゲインgain_cを前述のピーク輝度制御部１０５よりも短時間で導出できる。階調変換算出部２００は、この修正済みゲインgain_cを用いて階調変換関数Ｆ（ｘ）を算出する。
【００８６】
以上説明したように、本発明の第２の実施形態に係る画像処理装置は、ＡＰＬ及びパネル輝度ＰＬ（Ｌｘ）に対応する修正済みゲインgain_cが記憶される２次元ＬＵＴを利用して、入力されるパネル輝度制御パラメータに応じた修正済みゲインgain_cを取得する。従って、本実施形態に係る画像処理装置によれば、修正済みゲインgain_cを第１の実施形態に比べて短時間で導出できるので、一連の画像処理を短時間で完了できる。
【００８７】
尚、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記各実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、各実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【００８８】
例えば、上記各実施形態の処理を実現するプログラムを、コンピュータで読み取り可能な記憶媒体に格納して提供することも可能である。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなど、プログラムを記憶でき、かつ、コンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【００８９】
また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【符号の説明】
【００９０】
１０・・・アンテナ
１１・・・無線部
１２・・・信号処理部
１３・・・マイクロホン
１４・・・スピーカ
２０・・・Ｉ／Ｆ
３０・・・アンテナ
３１・・・チューナ
４０・・・表示部
４１・・・表示制御部
５０・・・入力部
６０・・・記憶部
７０・・・照度センサ
１００・・・制御部
１００ａ・・・画像処理機能（画像処理装置）
１０１・・・パネル輝度制御部
１０２・・・パネル輝度制御パラメータ蓄積部
１０３・・・ヒストグラム生成部
１０４・・・ＡＰＬ算出部
１０５・・・ピーク輝度制御部
１０６・・・階調変換関数算出部
１０７・・・階調変換ＬＵＴ記憶部
１０８・・・映像変換部
２００・・・階調変換関数算出部
２０１・・・ピーク輝度ゲインパラメータ蓄積部
【技術分野】
【０００１】
本発明は、画像の処理に関する。
【背景技術】
【０００２】
人間の視覚特性として、同一の色が環境光に応じて異なる見え方をすることが知られている。非特許文献１には、「色の見えモデル」に基づくカラーマネジメントの手法が開示されている。また、パネル輝度、階調値などを環境光に適応して制御することにより画像の見え方を一定にするための技術が提案されている。例えば特許文献１には、照明条件に基づいて算出された色の見え指標を用いて画像表示装置を制御する技術が記載されている。
【０００３】
ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの自発光型デバイスは、表示コンテンツ（例えば、表示画像の輝度値）に応じて消費電流が大きく変動する。特許文献２には、平均階調値に基づいてピーク輝度値を制御することにより、ＯＬＥＤディスプレイの消費電流を抑制または一定化する技術が記載されている。また、特許文献３には、ピーク輝度値を抑制しつつ、暗部シーンに関してダイナミックレンジを拡大することにより階調感を向上させ、かつ、明部シーンに関して高頻度な階調におけるコントラスト感を優先して復元することにより主観的なコントラスト感の低下を回避しながら消費電力を削減する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３００６３９号公報
【特許文献２】特開２００７−１４７８６８号公報
【特許文献３】特開２００９−３００５１７号公報
【非特許文献】
【０００５】
【非特許文献１】CIE Publication No.159, A colour appearance model for colour management systems: CIECAM02
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来、環境光に基づいてパネル輝度、階調値などを制御して色の見え方を維持する技術と、画像の特徴量（例えば、ＡＰＬ（Average Picture Level））に基づいてピーク輝度値を制御して消費電流を抑制する技術とが知られている。しかしながら、両者を効果的に組み合わせるための方針は、明らかでない。これらの技術を単純に組み合わせて実行すると、消費電流の抑制を重視するあまり主観画質が大きく劣化したり、主観画質の維持を重視するあまり消費電流を十分に抑制できなかったりするおそれがある。
【０００７】
従って、本発明は、消費電流を抑制しつつ主観画質の劣化を回避することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る画像処理装置は、環境光の強度に基づいて自発光型デバイスのパネル輝度を制御するパネル輝度制御部と、入力画像の見え方を補正するための階調変換関数を前記入力画像の特徴量及び前記パネル輝度に基づいて算出する算出部と、前記入力画像に対して前記階調変換関数を適用して出力画像を得る変換部とを具備する。
【０００９】
本発明の他の態様に係る画像処理装置は、環境光の強度に基づいて自発光型デバイスのパネル輝度を制御し、前記パネル輝度に応じた階調変換を設定するパネル輝度制御部と、入力画像の特徴量及び前記パネル輝度に基づいて前記入力画像に割り当てるピーク輝度を算出し、入力階調値が前記ピーク輝度以下となるように補正するための階調補正関数を算出し、前記階調補正関数によって補正された入力階調値に対して前記パネル輝度に応じた階調変換を行うための階調変換関数を算出する算出部と、前記入力画像に対して前記階調変換関数を適用して出力画像を得る変換部とを具備する。
【発明の効果】
【００１０】
本発明によれば、消費電流を抑制しつつ主観画質の劣化を回避できる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る画像処理装置に対応する画像処理機能を備える携帯電話機を示すブロック図。
【図２】第１の実施形態に係る画像処理装置が行う処理を示すフローチャート。
【図３】図２のステップＳ００６の処理を示すフローチャート。
【図４】図３のステップＳ１０８の処理を示すフローチャート。
【図５】図４のステップＳ２０３の処理を示すフローチャート。
【図６】理想的なパネル特性のダイナミックレンジの拡大処理の説明図。
【図７】ＡＰＬとゲインとの対応関係を示すグラフ。
【図８】階調値のヒストグラム。
【図９】図８の部分ヒストグラム。
【図１０】図８の部分ヒストグラム。
【図１１】階調補正関数の生成処理の説明図。
【図１２】階調補正関数の生成処理の説明図。
【図１３】第１の実施形態に係る画像処理装置を示すブロック図。
【図１４】第２の実施形態に係る画像処理装置を示すブロック図。
【図１５】様々な環境下でのＡＰＬ（Average Picture Level）と修正済みゲインとの対応関係を示すグラフ。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施形態について説明する。
（第１の実施形態）
本発明の第１の実施形態に係る画像処理装置は、例えば携帯電話機などの情報処理装置に備えられるＣＰＵ（Central Processing Unit）などのプロセッサがプログラムを実行することにより実現される。以降の説明では、携帯電話機に搭載される制御部がプログラムを実行することによって、本実施形態に係る画像処理装置に対応する画像処理機能を実現する場合を仮定する。尚、本実施形態に係る画像処理装置の一部または全部を、デジタル回路などのハードウェアによって実現してもよい。
【００１３】
図１に示すように、上記携帯電話機は、アンテナ１０、無線部１１、信号処理部１２、マイクロホン１３、スピーカ１４、Ｉ／Ｆ（インタフェース）２０、アンテナ３０、チューナ３１、表示部４０、表示制御部４１、入力部５０、記憶部６０、照度センサ７０及び制御部１００を有する。
【００１４】
無線部１１は、制御部１００からの指示に従って、信号処理部１２からのベースバンドの送信信号をＲＦ（Radio Frequency）帯にアップコンバートし、このＲＦ帯の送信信号をアンテナ１０を介して送信する。アンテナ１０から送信された信号は、移動通信網ＮＷに収容される基地局ＢＳによって受信される。また、無線部１１は、基地局ＢＳから送信されたＲＦ帯の信号をアンテナ１０を介して受信し、このＲＦ帯の受信信号をベースバンドにダウンコンバートし、信号処理部１２に入力する。その他、無線部１１は、送信処理においてフィルタリング、電力増幅などを行ってもよいし、受信処理においてフィルタリング、低雑音増幅などを行ってもよい。
【００１５】
信号処理部１２は、制御部１００からの指示に従って、送信データに基づいて搬送波を変調することによりベースバンドの送信信号を生成し、無線部１１に入力する。音声通信を行う場合には、マイクロホン１３に入力された音声信号を符号化することにより生成された音声データが上記送信データとして処理される。一方、ストリーミング配信によって動画像データを受信する場合には、符号化ストリームを受信するために配信元へ送信される制御データが上記送信データとして処理される。制御データは、制御部１００から入力される。符号化ストリームには、動画像データが多重されている。
【００１６】
また、信号処理部１２は、無線部１１からのベースバンドの受信信号を復調し、受信データを得る。音声通信が行われる場合には、信号処理部１２は、上記受信データを復号して音声信号を生成し、スピーカ１４から出力する。一方、ストリーミング配信によって動画像を受信する場合には、信号処理部１２は受信データから符号化ストリームを抽出し、制御部１００に入力する。
【００１７】
インタフェース２０は、リムーバブルメディアＲＭなどの記憶媒体を制御部１００に物理的及び電気的に接続し、この記憶媒体と制御部１００との間でのデータの交換に利用される。尚、リムーバブルメディアには、符号化ストリームが記憶されていてもよい。チューナ３１は、アンテナ３０を介して放送局ＢＣからのテレビジョン放送信号を受信し、この放送信号から符号化ストリームを抽出する。チューナ３１は、符号化ストリームを制御部１００に入力する。
【００１８】
表示部４０は、例えばＯＬＥＤディスプレイなどの自発光型デバイスである。表示部４０は、動画像、静止画像、Webブラウザ等のコンテンツを表示できる。尚、自発光型デバイスは、表示コンテンツ次第で消費電流が大きく変動する。表示制御部４１は、制御部１００からの指示に従って表示部４０を駆動制御する。表示制御部４１は、制御部１００から入力される表示データに基づく画像を表示部４０に表示させる。
【００１９】
入力部５０は、複数のキースイッチ（例えば、テンキー）、タッチパネルなどの入力デバイスを備える。入力部５０は、この入力デバイスを介してユーザからの要求を受け付けるユーザインタフェースである。
【００２０】
記憶部６０は、半導体記憶媒体（例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）など）、磁気記憶媒体（例えば、ハードディスクなど）などの記憶媒体である。記憶部６０は、制御部１００の制御プログラムまたは制御データ、ユーザが作成した種々のデータ（例えば、電話帳データなど）を記憶する。また、記憶部６０は、チューナ３１によって受信された符号化ストリームや、リムーバブルメディアＲＭに符号化ストリームを記録するための制御データなどを記憶してもよい。
【００２１】
照度センサ部７０は、周辺照度を検出するための照度センサを含む。照度センサは、一般に、フォトトランジスタ、フォトダイオードなどの光電変換素子を含む。照度センサ部７０は、周辺照度を（例えばルクス（Ｌｘ）換算の）定量的な値として制御部１００に入力する。尚、照度センサ部７０は、環境光の強度を示すその他の指標を検出するためのセンサ部に置き換えられてもよい。
【００２２】
制御部１００は、ＣＰＵなどのプロセッサを備える。制御部１００は、図１の携帯電話機の各構成要素を統括制御する。具体的には、制御部１００は、音声通信、テレビジョン放送の受信、ストリーミング配信されるコンテンツの受信などの一部または全部を制御する。また、制御部１００は、テレビジョン放送の受信、ストリーミング配信、記憶部６０の読み出しなどによって得られる符号化ストリームに多重されている動画像データを復号化する機能を備えてもよい。更に、制御部１００は、本実施形態に係る画像処理装置に相当する画像処理機能１００ａを備える。画像処理機能１００ａは、制御部１００に備えられるプロセッサが、記憶部６０などに記憶されるプログラム、制御データなどに従って動作することにより実現される。以降の説明において、画像処理機能１００ａ及び画像処理装置１００ａを同様の意味で使用する。
【００２３】
図１３に示すように、画像処理装置１００ａは、パネル輝度制御部１０１、パネル輝度制御パラメータ蓄積部１０２、ヒストグラム生成部１０３、ＡＰＬ算出部１０４、ピーク輝度制御部１０５、階調変換関数算出部１０６、階調変換ＬＵＴ（Look-Up Table）記憶部１０７及び映像変換部１０８を有する。パネル輝度制御部１０１、ヒストグラム生成部１０３、ＡＰＬ算出部１０４、ピーク輝度制御部１０５、階調変換関数算出部１０６及び映像変換部１０８は、制御部１００に備えられたプロセッサによって実現されるソフトウェアモジュールである。また、パネル輝度制御パラメータ蓄積部１０２及び階調変換ＬＵＴ記憶部１０７は、記憶部６０などのプロセッサからアクセス可能な記憶手段によって実現される。
【００２４】
以下、画像処理装置１００ａが行う処理を図２を用いて説明する。尚、図２のフローチャートにおいて各ステップの実行順は例示に過ぎない。即ち、処理間の依存関係が無い限り、複数のステップの処理を並列的に実行してもよいし、図２と異なる順序で実行してもよい。
【００２５】
ステップＳ００１において、パネル輝度制御部１０１は、照度センサ部７０から周辺照度を示すセンサ値Ｌｘ（ｔ）を取得する。ステップＳ００１は、周期的に実行されてよく、例えば画像処理装置１００ａが処理対象とする復号画像のフレームレート（１５Ｈｚ、３０Ｈｚなど）に同期して実行されてもよいし、フレームレートの所定倍（例えば２倍）の周期で実行されてもよいし、フレームレートに関係なく固定の周期で実行されてもよい。
【００２６】
次に、パネル輝度制御部１０１は、ステップＳ００１において取得したセンサ値Ｌｘ（ｔ）を用いて現時刻の環境照度Ｌｘ＿ｔを算出する（ステップＳ００２）。具体的には、パネル輝度制御部１０１は、センサ値Ｌｘ（ｔ）をそのまま現時刻の環境照度Ｌｘ＿ｔとして算出してもよいし、過去数周期分のセンサ値Ｌｘ（ｔ）の平均値を現時刻の環境照度Ｌｘ＿ｔとして算出してもよい。また、パネル輝度制御部１０１は、前回の周期において算出した環境照度Ｌｘ＿ｔと現在の周期において取得したセンサ値Ｌｘ（ｔ）との間の差分によって現時刻の環境照度Ｌｘ＿ｔの算出手法を切り替えてもよい。即ち、パネル輝度制御部１０１は、差分が所定の閾値ＴＨ＿ｌｘ未満であれば周辺環境光に大きな変動はないと考えられるので、過去数周期分のセンサ値Ｌｘ（ｔ）の平均値を現時刻の環境照度Ｌｘ＿ｔとして算出してもよい。一方、パネル輝度制御部１０１は、差分が閾値ＴＨ＿ｌｘ以上であれば周辺環境光が大きく変動したと考えられるので、センサ値Ｌｘ（ｔ）をそのまま現時刻の環境照度Ｌｘ＿ｔとして算出してもよい。
【００２７】
次に、パネル輝度制御部１０１は、ステップＳ００２において算出した、現時刻の環境照度Ｌｘ＿ｔに対応するパネル輝度制御パラメータをパネル輝度制御パラメータ蓄積部１０２から取得する（ステップＳ００３）。パネル輝度制御パラメータは、環境照度Ｌｘ＿ｔに適したパネル輝度ＰＬ（Ｌｘ）と、環境照度Ｌｘ＿ｔに適した階調変換γ（Ｌｘ，ｘ）との２つのパラメータを含む。ここで、ｘは入力階調値を意味し、画像を構成する画素の階調値が８ビットで表現されるならば、ｘは「０」から「２５５」までの２５６階調を取り得る。パネル輝度制御部１０１は、パネル輝度ＰＬ（Ｌｘ）をピーク輝度制御部１０５及び表示制御部４１に入力する。また、パネル輝度制御部１０１は、階調変換γ（Ｌｘ，ｘ）を階調変換関数算出部１０６に入力する。
【００２８】
パネル輝度ＰＬ（Ｌｘ）は、現時刻の環境照度Ｌｘ＿ｔにおいて必要な白輝度（ｃｄ／ｍ２）を表示するために必要な表示部４０（例えば、ＯＬＥＤディスプレイ）へのパネル設定値を表す。一般に、人間に知覚される映像感を現時刻の環境照度Ｌｘ＿ｔに関わらず維持するために、パネル輝度は環境照度Ｌｘ＿ｔの増加に連動して増加するように設計される。一方、階調変換γ（Ｌｘ，ｘ）は、入力階調値ｘが現時刻の環境照度Ｌｘ＿ｔに関わらず同一の色として見えるように設計されたγ変換を意味している。具体的には、階調変換γ（Ｌｘ，ｘ）は、バートルソン−ブレナマン効果などの環境光に応じた色の見え方の違いを補正するように設計されている。尚、バートルソン−ブレナマン効果とは、同一の映像を暗環境及び明環境で夫々視聴した場合にコントラスト感の相違が生じる現象を意味する。これらパネル輝度ＰＬ（Ｌｘ）及び階調変換γ（Ｌｘ，ｘ）は、例えば非特許文献１に記載される手法によって事前設計され、照度Ｌｘに対応付けられてパネル輝度制御パラメータ蓄積部１０２に蓄積されている。
【００２９】
一方、ステップＳ００４において、ヒストグラム生成部１０３は、画像処理装置１００ａに入力される復号画像（入力画像）のフレーム毎に、画素の階調値のヒストグラムを生成する。ヒストグラム生成部１０３は、生成したヒストグラムをＡＰＬ算出部１０４に入力する。画素信号はＹＵＶ形式、ＲＧＢ形式またはその他の形式であってもよい。具体的には、ヒストグラム生成部１０３は、所定幅の階調範囲毎にその階調範囲に属する階調値を持つ画素の数をカウントする。ヒストグラム生成部１０３は、各階調範囲を代表する階調値（代表階調値）と、その階調範囲の頻度（画素のカウント数）とを対応付けるヒストグラムを生成する。例えば、階調幅が「３２」である場合には、図８に示すようなヒストグラムが得られる。階調幅は、階調値の総数とヒストグラムの階級とによって決まる。例えば、階調幅（例えば「３２」）は、階調値の総数（例えば「２５６」）をヒストグラムの階級（例えば「８」）を用いて除算した値である。図８において、横軸に沿って代表階調値が示されている。代表階調値は、各階調範囲に含まれる階調値の平均値であってもよいし、その他の値であってもよい。
【００３０】
ヒストグラム生成部１０３は、画素信号の全ての要素に関してヒストグラムを生成する必要はない。例えば、画素信号がＹＵＶ形式であれば、ヒストグラム生成部１０３はＹ信号のみに関してヒストグラムを生成すればよい。また、画素信号がＲＧＢ形式であれば、ヒストグラム生成部１０３は明度のみに関してヒストグラムを生成すればよい。明度は、ＲＧＢの各成分のうち最も大きい階調値に等しい。
【００３１】
階調幅を大きくするほどヒストグラムを生成するために必要なメモリ容量を削減できる。例えば、階調幅が「３２」であれば、８ビットのうち上位３ビットによって代表階調値を表現できる（下位５ビットは例えば「０００００」に固定できる）。一方、階調幅が「１」であれば、代表階調値を表現するために８ビットの全てが使用される。尚、ステップＳ００４の処理は、前述のステップＳ００１からステップＳ００３までの処理とは独立して実行可能である。
【００３２】
次に、ＡＰＬ算出部１０４は、ステップＳ００４において生成されたヒストグラムから１フレームの入力画像の画面平均輝度（ＡＰＬ（Ａｖｅｒａｇｅ Ｐｉｃｔｕｒｅ Ｌｅｖｅｌ）ともいう）を算出する（ステップＳ００５）。具体的には、ＡＰＬ算出部１０４は、次の数式（１）または数式（２）に従って、ヒストグラムからＡＰＬを算出する。
【数１】
【００３３】
【数２】
【００３４】
数式（１）及び数式（２）において、ｈ（ｉ）は階調ｉにおけるヒストグラムを表している。尚、ｈ（ｉ）は階調ｉが代表階調値に一致する場合を除き零となる。数式（１）によれば、入力画像の各画素の階調値を代表階調値に変換した場合における階調値の算術平均を示すＡＰＬが得られる。一方、数式（２）によれば、入力画像の各画素の階調値を代表階調値に変換し、更にγ変換（γ＝２．２）を用いて正規化した場合における正規化値の算術平均を示すＡＰＬが得られる。尚、ＡＰＬ算出部１０４は、例えば中央値などＡＰＬ以外の特徴量を画像特徴量として算出してもよい。画像特徴量は、入力画像が明部シーンまたは暗部シーンのいずれであるかを判定するために有用であることが望ましい。
【００３５】
次に、ピーク輝度制御部１０５が入力画像に割り当てられるピーク輝度の制御を行い、階調変換関数算出部１０６が階調補正関数ｆ（ｘ）を算出する（ステップＳ００６）。尚、ステップＳ００６における処理の詳細は、図３を用いて後述する。
【００３６】
次に、階調変換算出部１０６は、ステップＳ００６において生成した階調補正関数ｆ（ｘ）と、ステップＳ００３において取得された階調変換γ（Ｌｘ，ｘ）とを用いて、次の数式（３）に従って、階調変換関数Ｆ（ｘ）を生成する（ステップＳ００７）。階調変換算出部１０６は、階調変換関数Ｆ（ｘ）を階調変換ＬＵＴ記憶部１０７に記憶させる。即ち、階調変換ＬＵＴ記憶部１０７には、出力階調値Ｆ（ｘ）が入力階調値ｘに対応付けられて記憶される。
【数３】
【００３７】
次に、映像変換部１０８は、ステップＳ００７において算出された階調変換関数Ｆ（ｘ）を用いて、入力画像の各画素の階調値を変換し、階調変換画像を生成する（ステップＳ００８）。映像変換部１０８は、階調変換画像を表示画像情報として表示制御部４１に入力する。具体的には、映像変換部１０８は、入力画像の各画素の階調値に対応する変換階調値を階調変換ＬＵＴ記憶部１０７から取得する。次に、表示制御部４１は階調変換画像の表示タイミングに同期してステップＳ００３において取得されたパネル設定値を表示部４０に設定し（ステップＳ００９）、図２の処理は終了する。
【００３８】
以下、図３を用いて、図２のステップＳ００６における処理の詳細を説明する。
ステップＳ１０１において、ピーク輝度制御部１０５は、ステップＳ００４において算出されたＡＰＬに応じたgainを算出する。gainは、ピーク輝度の制御及び理想的なパネル特性のダイナミックレンジの制御のための比率であるが、後述するようにステップＳ１０２において修正される。具体的には、ピーク輝度制御部１０５は、例えば図７に示すような、ＡＰＬとgainとの対応関係に従って、ＡＰＬに応じたgainを算出する。尚、図７の対応関係は例示に過ぎない。この対応関係は、図７のように線形関数を組み合わせて表現されてもよいし、ガウス分布によってモデル化された関数で表現されてもよい。ピーク制御部１０５は、上記対応関係をＬＵＴとして用意（保持）し、このＬＵＴを参照することによりgainを算出してもよいし、上記対応関係を示す関数をＡＰＬに適用することによりgainを算出してもよい。ピーク輝度制御部１０５は、入力画像が暗部シーンに対応する（例えば、ＡＰＬが低い）場合には、階調感向上のために１以上のgainを算出することが望ましい。一方、ピーク輝度制御部１０５は、入力画像が明部シーンに対応する（例えば、ＡＰＬが高い）場合には、低消費電力化のために１未満のgainを算出することが望ましい。但し、ピーク輝度制御部１０５は、暗部シーンに関して階調感向上以外の目的のために１未満のgainを算出したり、明部シーンに関して低消費電力化以外の目的のために１以上のgainを算出したりしてもよい。
【００３９】
次に、ピーク輝度制御部１０５は、ステップＳ００３において取得されたパネル輝度ＰＬ（Ｌｘ）に基づいて、ステップＳ１０１において算出したgainを修正する（ステップＳ１０２）。
【００４０】
以下、gainを修正することの技術的意義を説明する。
一般に、ＯＬＥＤディスプレイなどの自発光型デバイスは、パネル輝度が異なれば同一の映像（階調値）を表示する際の消費電力が異なる。即ち、パネル輝度を抑制することにより白輝度の明るさ（ｃｄ／ｍ２）を低下させるほど、消費電力を削減できる。ここで、ピーク輝度の抑制によってパネルの消費電力を一定割合だけ削減するように階調補正関数を算出したとする。パネル輝度が明るく設定されている場合、本来の消費電力量が相対的に大きいので、この階調補正関数の適用による消費電力の削減効果も相対的に大きくなる。一方、パネル輝度が暗く設定されている場合、本来の消費電力量が相対的に小さいので、この階調補正関数の適用による消費電力の削減効果も相対的に小さくなる。即ち、パネル輝度が暗く設定されている場合には、本来の消費電力量が小さく、ピーク輝度の抑制による消費電力の削減効果はあまり期待できない。
【００４１】
また、人間の視覚特性として、光強度（ｃｄ／ｍ２）の１／３乗に比例して明るさ感を知覚することが知られている。即ち、人間は、高い階調に比べて低い階調における明るさの変化に敏感である。ここで、ピーク輝度を一定割合だけ抑制するように階調補正関数を算出したとする。パネル輝度が明るく設定されている場合、この階調補正関数の適用による明るさ感の劣化は相対的に小さい。一方、パネル輝度が暗く設定されている場合、この階調補正関数の適用による明るさ感の劣化は相対的に大きい。
【００４２】
以上のように、パネル輝度が高い（明るい）場合には、ピーク輝度の抑制は消費電力の削減の観点及び明るさ感の劣化の観点から望ましいと考えられる。一方、パネル輝度が低い（暗い）場合には、ピーク輝度の抑制は消費電力の削減の観点及び明るさ感の劣化の観点から必ずしも望ましくないと考えられる。故に、ピーク輝度制御部１０５は、ピーク輝度を効果的に制御するために、ＡＰＬによって決まるgainをパネル輝度ＰＬ（Ｌｘ）の増加に対して単調減少する値gain_cに修正する。
具体的には、ピーク輝度制御部１０５は、次の数式（４）に従って、暗環境向けゲインgain_lを算出する。
【数４】
【００４３】
数式（４）によれば、ステップＳ１０１において算出されたgain及び「１」のうち大きい方が暗環境向けゲインgain_lに代入される。尚、ピーク輝度制御部１０５は、数式（４）以外の手法で暗環境向けゲインgain_lを算出してもよい。ピーク輝度制御部１０５は、次の数式（５）に従って、修正済みゲインgain_cを算出する。
【数５】
【００４４】
数式（５）において、ＰＬにはステップＳ００３において取得されたパネル輝度ＰＬ（Ｌｘ）が代入される。また、ＰＬ＿ｈは明環境判定用の閾値を表し、ＰＬ＿ｌは暗環境判定用の閾値を表す。尚、前述の通りパネル輝度は環境照度に連動して増加するように設計されているので、以降の説明において環境光の明暗をパネル輝度の明暗と同様の意味で使用する。即ち、明環境とはパネル輝度の高い環境の意味で使用され、暗環境とはパネル輝度の低い環境の意味で使用される。Ｃｄ（ＰＬ）は、パネル輝度ＰＬを設定したときの白輝度を表す。尚、数式（５）において白輝度を用いて条件分岐を規定しているが、パネル輝度を用いて条件分岐を規定してもよい。即ち、「if(Cd(PL)<Cd(PL_l))」は「if(PL<PL_l)」に書き換えられてもよいし、「if(Cd(PL_h)<Cd(PL))」は「if(PL_h<PL)」に書き換えられてもよい。数式（５）は、暗環境、通常環境（暗環境及び明環境以外の環境）及び明環境における、修正済みゲインgain_cを夫々表す。具体的には、暗環境において、修正済みゲインgain_cは暗環境向けゲインgain_lとなる。明環境において、修正済みゲインgain_cはgain（即ち、修正なし）となる。通常環境において、修正済みゲインgain_cは、gain及びgain_lの線形内挿により算出される。図１５は、数式（５）によって算出される、修正済みゲインgain_cとＡＰＬとの対応関係を示している。図１５は、左側から順に、暗環境、通常環境及び明環境の修正済みゲインgain_cを示している。尚、修正済みゲインgain_cは、数式（５）以外の手法で算出されてもよい。例えば、ピーク輝度制御部１０５は、ガウス分布などによりモデル化された関数に従って、修正済みゲインgain_cを算出してもよい。
【００４５】
ピーク輝度制御部１０５は、修正済みゲインgain_cを用いて、ピーク輝度Ｙｐｅａｋを次の数式（６）に従って算出する。
【数６】
【００４６】
数式（６）においてclip(a, b)は、aがb未満である場合にａ、ａがｂ以上である場合にｂを夫々返すクリップ関数である。また、INT()は、整数への丸め関数である。即ち、修正済みゲインgain_cが「１」未満であれば、ピーク輝度Ｙｐｅａｋはgain_cと「２５５」との積を整数に丸めた値となる。一方、修正済みゲインgain_cが「１」以上であれば、ピーク輝度Ｙｐｅａｋは「２５５」となる。ピーク輝度制御部１０５は、修正済みゲインgain_c及びピーク輝度Ｙｐｅａｋを階調変換関数算出部１０６に入力する。
【００４７】
次に、階調変換関数算出部１０６は、修正済みゲインgain_cが「１」未満であるか否かを判定する（ステップＳ１０３）。修正済みゲインgain_cが「１」未満であれば処理はステップＳ１０４に進み、そうでなければ処理はステップＳ１０６に進む。
【００４８】
ステップＳ１０４において、階調変換関数算出部１０６は、表示部４０の理想的な階調−明るさ特性Ｇ（ｙ）を、次の数式（７）によって定義する。数式（７）の右辺は、８ビットの階調値ｙに対応する理想的な明るさを、表示部４０が再現可能な最大の明るさを「１．０」として正規化している。階調変換関数算出部１０６は、例えばＬＵＴの形式で数式（７）の右辺を保持してもよい。
【数７】
【００４９】
即ち、階調変換関数算出部１０６は、数式（７）の右辺のダイナミックレンジを維持する。図６における２点鎖線は、この特性Ｇ（ｙ）を示している。尚、階調変換関数算出部１０６は、階調−明るさ特性Ｇ（ｙ）に代えて、均等色空間において定義されている明度に関する階調−明度特性ＧＬ＊（ｙ）を利用してもよい。階調−明度特性ＧＬ＊（ｙ）と、階調−明るさ特性Ｇ（ｙ）との関係を、次の数式（８）に示す。階調変換関数算出部１０６は、例えばＬＵＴの形式で数式（８）を保持してもよい。
【数８】
【００５０】
階調変換関数算出部１０６は、次の数式（９）に示すように、表示部４０の階調−明るさ特性ｇ（ｙ）に理想的な階調−明るさ特性Ｇ（ｙ）を設定し（ステップＳ１０５）、処理はステップＳ１０８に進む。前述のように、理想的な階調−明るさ特性Ｇ（ｙ）は数式（７）の右辺のダイナミックレンジを維持しているので、表示部４０は入力階調ｙに対応する全ての明るさＧ（ｙ）を再現できる。
【数９】
【００５１】
尚、階調変換関数算出部１０６は、表示部４０の階調−明るさ特性ｇ（ｙ）に代えて、階調−明度特性ｇＬ＊（ｙ）を、次の数式（１０）に従って設定してもよい。
【数１０】
【００５２】
ステップＳ１０６において、階調変換関数算出部１０６は、表示部４０の理想的な階調−明るさ特性Ｇ（ｙ）を、次の数式（１１）によって定義する。
【数１１】
【００５３】
即ち、階調変換関数算出部１０６は、数式（７）の右辺のダイナミックレンジを修正済みゲインgain_c倍に拡大している。図６における実線は、この特性Ｇ（ｙ）を示している。尚、図６から明らかなように、この特性Ｇ（ｙ）は表示部４０が再現不可能な明るさ（「１．０」を超える明るさ）を含んでいる。
【００５４】
尚、階調変換関数算出部１０６は、階調−明るさ特性Ｇ（ｙ）に代えて、階調−明度特性ＧＬ＊（ｙ）を利用してもよい。階調変換関数算出部１０６は、次の数式（１２）によって、階調−明度特性ＧＬ＊（ｙ）を定義できる。
【数１２】
【００５５】
階調変換関数算出部１０６は、次の数式（１３）に示すように、表示部４０の階調−明るさ特性ｇ（ｙ）に理想的な階調−明るさ特性Ｇ（ｙ）を上限付きで設定し（ステップＳ１０７）、処理はステップＳ１０８に進む。前述のように、理想的な階調−明るさ特性Ｇ（ｙ）は、数式（７）の右辺のダイナミックレンジを拡大しているので、表示部４０が再現不可能な明るさを含む。
【数１３】
【００５６】
数式（１３）によれば、ｙに対応する明るさＧ（ｙ）が「１．０」未満であればＧ（ｙ）、「１．０」以上であれば「１．０」が表示部４０の階調−明るさ特性ｇ（ｙ）に夫々設定される。図６における破線は、この階調−明るさ特性ｇ（ｙ）を示している。尚、階調変換関数算出部１０６は、表示部４０の階調−明るさ特性ｇ（ｙ）に代えて、階調−明度特性ｇＬ＊（ｙ）を次の数式（１４）に従って設定してもよい。
【数１４】
【００５７】
ステップＳ１０８において、階調変換関数算出部１０６は、理想的な階調−明るさ特性Ｇ（ｙ）、表示部４０の階調−明るさ特性ｇ（ｙ）及びステップＳ００４において生成されたヒストグラムを用いて階調補正関数ｆ（ｘ）を決定し、図３の処理は終了する。尚、階調−明るさ特性Ｇ（ｙ）及び階調−明度特性ＧＬ＊（ｙ）は、いずれも理想的なパネル特性として参照されてもよい。また、階調−明るさ特性ｇ（ｙ）及び階調−明度特性ｇＬ＊（ｙ）は、いずれも表示部４０のパネル特性として参照されてもよい。階調変換関数算出部１０６は、ｆ（０）＝０、ｆ（２５５）＝ピーク輝度Ｙｐｅａｋとして階調補正関数ｆ（ｘ）を初期化する。また、階調変換関数算出部１０６は、ｆ（１）からｆ（２５４）までを、上記ｆ（０）及びｆ（２５５）を用いた線形補間などによって初期化する。
【００５８】
以下、図４を用いて、図３のステップＳ１０８における処理の詳細を説明する。
ステップＳ２０１において、階調変換関数算出部１０６は、入力階調Ｘｔを選択する。例えば、階調変換関数算出部１０６は、ステップＳ００４において生成されたヒストグラムの代表階調値を入力階調Ｘｔとして順次選択する。例えば、階調変換関数算出部１０６は、「０」と「２５５」との中間である「１２８」を入力階調Ｘｔとして最初に選択し（図１１を参照）、「０」と「１２８」との中間である「６４」または「１２８」と「２５６」の中間である「１９２」を入力階調Ｘｔとして続けて選択する（図１２を参照）。
【００５９】
図４の処理によって、階調変換関数算出部１０６は、様々な入力階調Ｘｔに関して、後述する評価値Ｅが最小となる出力階調Ｙを夫々導出する。そして、階調変換関数算出部１０６は、ｆ（Ｘｔ）＝Ｙを決定する。尚、入力階調Ｘｔは処理負荷軽減の観点から離散値であることが望ましい。階調変換関数算出部１０６は、入力階調Ｘｔとして選択されない入力階調に対応する出力階調を、決定済みの出力階調Ｙの線形補間などによって導出できる。勿論、階調変換関数算出部１０６は、全ての入力階調を入力階調Ｘｔとして選択し、図４の処理を行ってもよい。
【００６０】
次に、階調変換関数算出部１０６は、ステップＳ２０１において選択した入力階調Ｘｔに関して部分ヒストグラムを生成する（ステップＳ２０２）。具体的には、階調変換関数算出部１０６は、入力階調Ｘｔを挟む２つの処理済みの入力階調Ｘ０及びＸ１の間の範囲の部分ヒストグラムを生成する。部分ヒストグラムは、最小階調Ｘ０以上入力階調Ｘｔ未満の範囲の頻度と、入力階調Ｘｔ以上最大階調Ｘ１以下の範囲の頻度との２つを含む。例えば、入力階調Ｘｔ＝「１２８」であれば、階調変換関数算出部１０６は、入力階調Ｘｔを挟む２つの処理済みの入力階調Ｘ０＝「０」及びＸ１＝「２５５」の間の範囲の部分ヒストグラムを次の数式（１５）に従って生成する（図１０を参照）。また、入力階調Ｘｔ＝「６４」または「１９２」であれば、階調変換関数算出部１０６は、入力階調Ｘｔを挟む２つの処理済みの入力階調Ｘ０＝「０」または「１２８」及びＸ１＝「１２８」または「２５６」の間の範囲の部分ヒストグラムを生成する（図９を参照）。
【数１５】
【００６１】
次に、階調変換関数算出部１０６は、ステップＳ２０２において算出した部分ヒストグラムなどに基づく評価値Ｅが最小となる出力階調Ｙを算出する（ステップＳ２０３）。ステップＳ２０３における処理の詳細は、図５を用いて後述する。次に、階調変換関数算出部１０６は、全ての入力階調Ｘｔについて処理が完了したか否かを判定する（ステップＳ２０４）。全ての入力階調Ｘｔについて処理が完了していれば図４の処理は終了し、そうでなければ処理はステップＳ２０１に戻る。
【００６２】
以下、図５を用いて、図４のステップＳ２０３における処理の詳細を説明する。
ステップＳ３０１において、階調変換関数算出部１０６は、出力階調Ｙ及び最小評価値Ｅminを例えば次の数式（１６）に従って初期化し、処理はステップＳ３０２に進む。
【数１６】
【００６３】
尚、数式（１６）において、ＭＡＸ＿ＶＡＬはＥminに関して十分に大きな値である。
ステップＳ３０２において、階調変換関数算出部１０６は、評価値Ｅ１及び評価値Ｅ２を例えば次の数式（１７）に従って初期化する。
【数１７】
【００６４】
次に、階調変換関数算出部１０６は、評価値Ｅ１を算出する（ステップＳ３０３）。具体的には、階調変換関数算出部１０６は、次の数式（１８）、数式（１９）または数式（２０）に従って、評価値Ｅ１を算出する。
【数１８】
【００６５】
数式（１８）によれば、評価値Ｅ１は、入力階調Ｘｔに対応する理想的な明るさＧ（Ｘｔ）と、出力階調Ｙに対応する表示部４０の明るさｇ（Ｙ）との差分絶対値に、ステップＳ２０２において生成した部分ヒストグラムの総和を乗じた値となる。
【数１９】
【００６６】
数式（１９）によれば、評価値Ｅ１は、入力階調Ｘｔに対応する理想的な明るさＧ（Ｘｔ）と、出力階調Ｙに対応する表示部４０の明るさｇ（Ｙ）との二乗誤差に、ステップＳ２０２において生成した部分ヒストグラムの総和を乗じた値となる。
【数２０】
【００６７】
数式（２０）によれば、評価値Ｅ１は、入力階調Ｘｔに対応する理想的な明度ＧＬ＊（Ｘｔ）と、出力階調Ｙに対応する表示部４０の明度ｇＬ＊（ｙ）との二乗誤差に、ステップＳ２０２において生成した部分ヒストグラムの総和を乗じた値となる。
【００６８】
また、階調変換関数算出部１０６は、評価値Ｅ２を算出する（ステップＳ３０４）。尚、ステップＳ３０３とステップＳ３０４は逆順に行われてもよいし、並列して行われてもよい。具体的には、階調変換関数算出部１０６は、次の数式（２１）に従って、入力階調Ｘｔに関する勾配ΔＧ（Ｘ０，Ｘｔ）及びΔＧ（Ｘt，Ｘ１）を算出する。
【数２１】
【００６９】
数式（２１）によれば、勾配ΔＧ（Ｘ０，Ｘｔ）は、入力階調Ｘｔに対応する理想的な明るさＧ（Ｘｔ）から最小階調Ｘ０に対応する理想的な明るさＧ（Ｘ０）を減じた値となる。一方、数式（２１）によれば、勾配ΔＧ（Ｘｔ，Ｘ１）は、最大階調Ｘ１に対応する理想的な明るさＧ（Ｘ１）から入力階調Ｘｔに対応する理想的な明るさＧ（Ｘｔ）を減じた値となる。尚、数式（２１）は、理想的な階調−明度特性ＧＬ＊（ｘ）に関して書き換えられてもよい。
【００７０】
また、階調変換関数算出部１０６は、次の数式（２２）に従って、入力階調Ｘｔに関する勾配Δｇ（ｆ（Ｘ０），Ｙ）及びΔｇ（Ｙ，ｆ（Ｘ１））を算出する。
【数２２】
【００７１】
数式（２２）によれば、勾配Δｇ（ｆ（Ｘ０），Ｙ）は、出力階調Ｙに対応する表示部４０の明るさｇ（Ｙ）から出力階調ｆ（Ｘ０）に対応する表示部４０の明るさｇ（ｆ（Ｘ０））を減じた値となる。一方、数式（２２）によれば、勾配Δｇ（Ｙ，ｆ（Ｘ１））は、出力階調ｆ（Ｘ１）に対応する表示部４０の明るさｇ（ｆ（Ｘ１））から出力階調Ｙに対応する表示部４０の明るさｇ（Ｙ）を減じた値となる。尚、数式（２２）は、表示部４０の階調−明度特性ｇＬ＊（ｘ）に関して書き換えられてもよい。
【００７２】
そして、階調変換関数算出部１０６は、以下の数式（２３）、数式（２４）または数式（２５）に従って、評価値Ｅ２を算出する。
【数２３】
【００７３】
数式（２３）によれば、評価値Ｅ２は、勾配ΔＧ（Ｘ０，Ｘｔ）と勾配Δｇ（ｆ（Ｘ０），Ｙ）の差分絶対値に最小階調Ｘ０以上入力階調Ｘｔ未満の範囲の頻度Ｈ（Ｘ０，Ｘｔ−１）を乗じた値と、勾配ΔＧ（Ｘｔ，Ｘ１）と勾配Δｇ（Ｙ，ｆ（Ｘ１））の差分絶対値に入力階調Ｘｔ以上最大階調Ｘ１未満の範囲の頻度Ｈ（Ｘｔ，Ｘ１）を乗じた値との和となる。
【数２４】
【００７４】
数式（２４）によれば、評価値Ｅ２は、勾配ΔＧ（Ｘ０，Ｘｔ）と勾配Δｇ（ｆ（Ｘ０），Ｙ）の二乗誤差に最小階調Ｘ０以上入力階調Ｘｔ未満の範囲の頻度Ｈ（Ｘ０，Ｘｔ−１）を乗じた値と、勾配ΔＧ（Ｘｔ，Ｘ１）と勾配Δｇ（Ｙ，ｆ（Ｘ１））の二乗誤差に入力階調Ｘｔ以上最大階調Ｘ１未満の範囲の頻度Ｈ（Ｘｔ，Ｘ１）を乗じた値との和となる。
【数２５】
【００７５】
数式（２５）によれば、評価値Ｅ２は、勾配ΔＧＬ＊（Ｘ０，Ｘｔ）と勾配ΔｇＬ＊（ｆ（Ｘ０），Ｙ）の二乗誤差に最小階調Ｘ０以上入力階調Ｘｔ未満の範囲の頻度Ｈ（Ｘ０，Ｘｔ−１）を乗じた値と、勾配ΔＧＬ＊（Ｘｔ，Ｘ１）と勾配ΔｇＬ＊（Ｙ，ｆ（Ｘ１））の二乗誤差に入力階調Ｘｔ以上最大階調Ｘ１未満の範囲の頻度Ｈ（Ｘｔ，Ｘ１）を乗じた値との和となる。
【００７６】
次に、階調変換関数算出部１０６は、ステップＳ３０３において算出した評価値Ｅ１及びステップＳ３０４において算出した評価値Ｅ２を用いて、次の数式（２６）に従って、評価値Ｅを算出する（ステップＳ３０５）。
【数２６】
【００７７】
数式（２６）において、λは０以上１以下の重み係数である。
次に、階調変換関数算出部１０６は、ステップＳ３０５において算出した評価値Ｅとその時点における最小評価値Ｅminとを比較する（ステップＳ３０６）。評価値Ｅが最小評価値Ｅmin未満であれば処理はステップＳ３０７に進み、そうでなければ処理はステップＳ３０９に進む。
【００７８】
ステップＳ３０７において、階調変換関数算出部１０６は、最小評価値ＥminをステップＳ３０５において算出した評価値Ｅによって更新する。また、階調変換算出部１０６は、入力階調Ｘｔに対応する出力階調ｆ（Ｘｔ）をＹに更新し（ステップＳ３０８）、処理はステップＳ３０９に進む。
【００７９】
ステップＳ３０９において、階調変換関数算出部１０６は、全ての出力階調Ｙについて処理が完了したか否かを判定する（ステップＳ３０９）。全ての出力階調Ｙについて処理が完了していれば図５の処理は終了し、そうでなければ処理はステップＳ３１０に進む。例えば、出力階調Ｙの上限としてｆ（Ｘ１）またはこれに近い値が設定されてよい。ステップＳ３１０において、階調変換関数算出部１０６は、出力階調Ｙを更新（例えば「１」だけインクリメント）し、処理はステップＳ３０２に戻る。
【００８０】
ＡＰＬが小さく、修正済みゲインgain_cが１以上の暗部シーンにおいて、理想的なパネル特性のダイナミックレンジが修正済みゲインgain_cに基づいて拡大される。このダイナミックレンジが拡大された理想的なパネル特性と、ヒストグラムとに基づいて階調補正関数ｆ（ｘ）が算出される。階調変換関数Ｆ（ｘ）は、入力階調値ｘに対応する補正階調値ｆ（ｘ）に、パネル輝度に応じた階調変換を適用する。故に、階調変換画像は、入力階調値ｘに上記階調変換を適用した場合に比べて、明るさ感は擬似的に増加する一方、階調つぶれは発生しないので、階調感が向上する。
【００８１】
一方、ＡＰＬが高く、修正済みゲインgain_cが１未満の明部シーンにおいて、ピーク輝度Ｙｐｅａｋが修正済みゲインgain_cに基づいて抑制される。この抑制されたピーク輝度Ｙｐｅａｋと、理想的なパネル特性と、ヒストグラムとに基づいて階調補正関数ｆ（ｘ）が算出される。具体的には、階調補正関数ｆ（ｘ）は、理想的なパネル特性が持つコントラスト感を高頻度な階調において優先的に復元する。階調変換関数Ｆ（ｘ）は、入力階調値ｘに対応する補正階調値ｆ（ｘ）に、パネル輝度に応じた階調変換を適用する。故に、階調変換画像は、入力階調値ｘに上記階調変換を適用した場合に比べて、主観的なコントラスト感の低下を回避しつつ消費電力を削減できる。
【００８２】
本実施形態に係る画像処理装置１００ａは、修正済みゲインgain_cを用いて、理想的なパネル特性のダイナミックレンジ及びピーク輝度Ｙｐｅａｋを制御する。この修正済みゲインgain_cは、ＡＰＬによって決まるgainをパネル輝度の増加に対して単調減少する値に修正することによって算出される。結果的に、明環境（高パネル輝度）において明部シーンを表示する場合には、ピーク輝度Ｙｐｅａｋはより大きく抑制される。一方、暗環境（低パネル輝度）において暗部シーンを表示する場合には、理想的なパネル特性のダイナミックレンジはより大きく拡大される。即ち、高パネル輝度において明部シーンを表示する場合には、ピーク輝度Ｙｐｅａｋの大幅な抑制によって消費電力が効果的に削減される。一方、低パネル輝度において暗部シーンを表示する場合には理想的なパネル特性のダイナミックレンジの大幅な拡大によって高い階調感が維持される。また、任意のＡＰＬに関して、パネル輝度が高くなるほど消費電力の削減が重視され、パネル輝度が低くなるほど階調感の向上が重視される。一方、任意のパネル輝度に関して、ＡＰＬが高くなるほど消費電力の削減が重視され、ＡＰＬが低くなるほど階調感の向上が重視される。従って、画像処理装置１００ａによれば、人間の視覚特性と自発光型デバイスの消費電流特性とに適う効果的な画像処理が実現できる。
【００８３】
以上説明したように、本発明の第１の実施形態に係る画像処理装置は、環境光の強度にと入力画像の特徴量とに基づく画像処理を行う。具体的には、本実施形態に係る画像処理装置は、明環境及び明部シーンに関して消費電力の削減を重視し、暗環境及び暗部シーンに関して階調感の向上を重視する。従って、本実施形態に係る画像処理装置によれば、消費電流を抑制しつつ主観画質の劣化を回避できる。
【００８４】
（第２の実施形態）
図１４に示すように、本発明の第２の実施形態に係る画像処理装置１００ａは、パネル輝度制御部１０１、パネル輝度制御パラメータ蓄積部１０２、ヒストグラム生成部１０３、ＡＰＬ算出部１０４、階調変換関数算出部２００、ピーク輝度ゲインパラメータ蓄積部２０１、階調変換ＬＵＴ記憶部１０７及び映像変換部１０８を有する。以下の説明では、図１４において図１３と同一部分には同一符号を付して示し、異なる部分を中心に述べる。
【００８５】
階調変換関数算出部２００は、ＡＰＬ算出部１０４からＡＰＬを入力され、パネル輝度制御部１０１から階調変換γ（Ｌｘ，ｘ）及びパネル輝度ＰＬ（Ｌｘ）を入力される。ピーク輝度ゲインパラメータ蓄積部２０１は、ＡＰＬ及びパネル輝度ＰＬ（Ｌｘ）に対応する修正済みゲインgain_cが記憶される２次元ＬＵＴを保持している。この２次元ＬＵＴは、予めオフラインで作成されてもよい。階調変換関数算出部２００は、ＡＰＬ及びパネル輝度ＰＬ（Ｌｘ）に対応する修正済みゲインgain_cをピーク輝度ゲインパラメータ蓄積部２０１から取得する。即ち、階調変換関数算出部２００は、ＡＰＬ及びパネル輝度ＰＬ（Ｌｘ）に対応する修正済みゲインgain_cを前述のピーク輝度制御部１０５よりも短時間で導出できる。階調変換算出部２００は、この修正済みゲインgain_cを用いて階調変換関数Ｆ（ｘ）を算出する。
【００８６】
以上説明したように、本発明の第２の実施形態に係る画像処理装置は、ＡＰＬ及びパネル輝度ＰＬ（Ｌｘ）に対応する修正済みゲインgain_cが記憶される２次元ＬＵＴを利用して、入力されるパネル輝度制御パラメータに応じた修正済みゲインgain_cを取得する。従って、本実施形態に係る画像処理装置によれば、修正済みゲインgain_cを第１の実施形態に比べて短時間で導出できるので、一連の画像処理を短時間で完了できる。
【００８７】
尚、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記各実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、各実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【００８８】
例えば、上記各実施形態の処理を実現するプログラムを、コンピュータで読み取り可能な記憶媒体に格納して提供することも可能である。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなど、プログラムを記憶でき、かつ、コンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【００８９】
また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【符号の説明】
【００９０】
１０・・・アンテナ
１１・・・無線部
１２・・・信号処理部
１３・・・マイクロホン
１４・・・スピーカ
２０・・・Ｉ／Ｆ
３０・・・アンテナ
３１・・・チューナ
４０・・・表示部
４１・・・表示制御部
５０・・・入力部
６０・・・記憶部
７０・・・照度センサ
１００・・・制御部
１００ａ・・・画像処理機能（画像処理装置）
１０１・・・パネル輝度制御部
１０２・・・パネル輝度制御パラメータ蓄積部
１０３・・・ヒストグラム生成部
１０４・・・ＡＰＬ算出部
１０５・・・ピーク輝度制御部
１０６・・・階調変換関数算出部
１０７・・・階調変換ＬＵＴ記憶部
１０８・・・映像変換部
２００・・・階調変換関数算出部
２０１・・・ピーク輝度ゲインパラメータ蓄積部
【特許請求の範囲】
【請求項１】
環境光の強度に基づいて自発光型デバイスのパネル輝度を制御するパネル輝度制御部と、
入力画像の見え方を補正するための階調変換関数を前記入力画像の特徴量及び前記パネル輝度に基づいて算出する算出部と、
前記入力画像に対して前記階調変換関数を適用して出力画像を得る変換部と
を具備する画像処理装置。
【請求項２】
前記パネル輝度制御部は、前記パネル輝度に応じた階調変換を設定し、
前記算出部は、前記入力画像の特徴量及び前記パネル輝度に基づいて階調補正関数を算出し、前記階調補正関数によって補正された入力階調値に対して前記パネル輝度に応じた階調変換を行うように前記階調変換関数を算出する、請求項１記載の画像処理装置。
【請求項３】
前記算出部は、前記入力画像の特徴量に対応する第１のゲインが前記パネル輝度に基づいて修正された第２のゲインを算出し、前記第２のゲインに基づいて前記階調補正関数を算出する、請求項２記載の画像処理装置。
【請求項４】
前記第２のゲインは、前記パネル輝度の増加に対して単調減少する値である、請求項３記載の画像処理装置。
【請求項５】
前記第２のゲインは、前記パネル輝度が第１の閾値未満であれば前記第１のゲイン以上の所定値であり、前記パネル輝度が前記第１の閾値以上かつ前記第２の閾値未満であれば前記第１のゲイン以上前記所定値以下の値であり、前記パネル輝度が前記第２の閾値以上でれば前記第１のゲインに等しい、請求項３記載の画像処理装置。
【請求項６】
前記所定値は、前記第１のゲインが１以上であれば前記第１のゲインに等しく、前記第１のゲインが１未満であれば１に等しい、請求項５記載の画像処理装置。
【請求項７】
前記入力画像の特徴量は、前記入力画像のシーンの明るさを示す指標であり、
前記第１のゲインは、前記入力画像の特徴量が示す前記入力画像のシーンの明るさの増加に対して単調減少する値である、
請求項３記載の画像処理装置。
【請求項８】
環境光の強度に基づいて自発光型デバイスのパネル輝度を制御し、前記パネル輝度に応じた階調変換を設定するパネル輝度制御部と、
入力画像の特徴量及び前記パネル輝度に基づいて前記入力画像に割り当てるピーク輝度を算出し、入力階調値が前記ピーク輝度以下となるように補正するための階調補正関数を算出し、前記階調補正関数によって補正された入力階調値に対して前記パネル輝度に応じた階調変換を行うための階調変換関数を算出する算出部と、
前記入力画像に対して前記階調変換関数を適用して出力画像を得る変換部と
を具備する画像処理装置。
【請求項９】
前記算出部は、前記入力画像の特徴量に対応する第１のゲインが前記パネル輝度に基づいて修正された第２のゲインを算出し、前記第２のゲインに基づいて前記ピーク輝度を算出する、請求項８記載の画像処理装置。
【請求項１０】
前記第２のゲインは、前記パネル輝度の増加に対して単調減少する値である、請求項９記載の画像処理装置。
【請求項１１】
前記第２のゲインは、前記パネル輝度が第１の閾値未満であれば前記第１のゲイン以上の所定値であり、前記パネル輝度が前記第１の閾値以上かつ前記第２の閾値未満であれば前記第１のゲイン以上前記所定値以下の値であり、前記パネル輝度が前記第２の閾値以上でれば前記第１のゲインに等しい、請求項９記載の画像処理装置。
【請求項１２】
前記所定値は、前記第１のゲインが１以上であれば前記第１のゲインに等しく、前記第１のゲインが１未満であれば１に等しい、請求項１１記載の画像処理装置。
【請求項１３】
前記算出部は、前記第２のゲインが１以上であれば前記入力階調値の上限値を前記ピーク輝度として算出し、前記第２のゲインが１未満であれば前記入力階調値の上限値に前記第２のゲインを乗じた値を前記ピーク輝度として算出する、請求項９記載の画像処理装置。
【請求項１４】
前記入力画像の特徴量は、前記入力画像のシーンの明るさを示す指標であり、
前記第１のゲインは、前記入力画像の特徴量が示す前記入力画像のシーンの明るさの増加に対して単調減少する値である、
請求項９記載の画像処理装置。
【請求項１】
環境光の強度に基づいて自発光型デバイスのパネル輝度を制御するパネル輝度制御部と、
入力画像の見え方を補正するための階調変換関数を前記入力画像の特徴量及び前記パネル輝度に基づいて算出する算出部と、
前記入力画像に対して前記階調変換関数を適用して出力画像を得る変換部と
を具備する画像処理装置。
【請求項２】
前記パネル輝度制御部は、前記パネル輝度に応じた階調変換を設定し、
前記算出部は、前記入力画像の特徴量及び前記パネル輝度に基づいて階調補正関数を算出し、前記階調補正関数によって補正された入力階調値に対して前記パネル輝度に応じた階調変換を行うように前記階調変換関数を算出する、請求項１記載の画像処理装置。
【請求項３】
前記算出部は、前記入力画像の特徴量に対応する第１のゲインが前記パネル輝度に基づいて修正された第２のゲインを算出し、前記第２のゲインに基づいて前記階調補正関数を算出する、請求項２記載の画像処理装置。
【請求項４】
前記第２のゲインは、前記パネル輝度の増加に対して単調減少する値である、請求項３記載の画像処理装置。
【請求項５】
前記第２のゲインは、前記パネル輝度が第１の閾値未満であれば前記第１のゲイン以上の所定値であり、前記パネル輝度が前記第１の閾値以上かつ前記第２の閾値未満であれば前記第１のゲイン以上前記所定値以下の値であり、前記パネル輝度が前記第２の閾値以上でれば前記第１のゲインに等しい、請求項３記載の画像処理装置。
【請求項６】
前記所定値は、前記第１のゲインが１以上であれば前記第１のゲインに等しく、前記第１のゲインが１未満であれば１に等しい、請求項５記載の画像処理装置。
【請求項７】
前記入力画像の特徴量は、前記入力画像のシーンの明るさを示す指標であり、
前記第１のゲインは、前記入力画像の特徴量が示す前記入力画像のシーンの明るさの増加に対して単調減少する値である、
請求項３記載の画像処理装置。
【請求項８】
環境光の強度に基づいて自発光型デバイスのパネル輝度を制御し、前記パネル輝度に応じた階調変換を設定するパネル輝度制御部と、
入力画像の特徴量及び前記パネル輝度に基づいて前記入力画像に割り当てるピーク輝度を算出し、入力階調値が前記ピーク輝度以下となるように補正するための階調補正関数を算出し、前記階調補正関数によって補正された入力階調値に対して前記パネル輝度に応じた階調変換を行うための階調変換関数を算出する算出部と、
前記入力画像に対して前記階調変換関数を適用して出力画像を得る変換部と
を具備する画像処理装置。
【請求項９】
前記算出部は、前記入力画像の特徴量に対応する第１のゲインが前記パネル輝度に基づいて修正された第２のゲインを算出し、前記第２のゲインに基づいて前記ピーク輝度を算出する、請求項８記載の画像処理装置。
【請求項１０】
前記第２のゲインは、前記パネル輝度の増加に対して単調減少する値である、請求項９記載の画像処理装置。
【請求項１１】
前記第２のゲインは、前記パネル輝度が第１の閾値未満であれば前記第１のゲイン以上の所定値であり、前記パネル輝度が前記第１の閾値以上かつ前記第２の閾値未満であれば前記第１のゲイン以上前記所定値以下の値であり、前記パネル輝度が前記第２の閾値以上でれば前記第１のゲインに等しい、請求項９記載の画像処理装置。
【請求項１２】
前記所定値は、前記第１のゲインが１以上であれば前記第１のゲインに等しく、前記第１のゲインが１未満であれば１に等しい、請求項１１記載の画像処理装置。
【請求項１３】
前記算出部は、前記第２のゲインが１以上であれば前記入力階調値の上限値を前記ピーク輝度として算出し、前記第２のゲインが１未満であれば前記入力階調値の上限値に前記第２のゲインを乗じた値を前記ピーク輝度として算出する、請求項９記載の画像処理装置。
【請求項１４】
前記入力画像の特徴量は、前記入力画像のシーンの明るさを示す指標であり、
前記第１のゲインは、前記入力画像の特徴量が示す前記入力画像のシーンの明るさの増加に対して単調減少する値である、
請求項９記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−２２７２５７（Ｐ２０１１−２２７２５７Ａ）
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願番号】特願２０１０−９６２６８（Ｐ２０１０−９６２６８）
【出願日】平成２２年４月１９日（２０１０．４．１９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願日】平成２２年４月１９日（２０１０．４．１９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]