画像処理装置、画像処理方法、および画像処理プログラム
【課題】階調分布に偏りのある画像であっても階調をより適切に配分し、より見栄えのするポスタライズ画像が得られるようにする。
【解決手段】画像処理部３００は、入力画像に対して第１の階調変換特性を用いて第１の階調変換処理を行い、第１の階調変換処理後の画像を構成する画素の各画素値のヒストグラムの分散が、第１の階調変換処理前の画像のヒストグラムの分散に比して増すようにするヒストグラム拡張処理部３１０と、ヒストグラム拡張処理部３１０で処理された画像に対し、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、第２の階調変換処理前の画像に比して階調数の減じられたポスタライズ画像を生成するポスタリゼーション処理部３２０とを備える。
【解決手段】画像処理部３００は、入力画像に対して第１の階調変換特性を用いて第１の階調変換処理を行い、第１の階調変換処理後の画像を構成する画素の各画素値のヒストグラムの分散が、第１の階調変換処理前の画像のヒストグラムの分散に比して増すようにするヒストグラム拡張処理部３１０と、ヒストグラム拡張処理部３１０で処理された画像に対し、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、第２の階調変換処理前の画像に比して階調数の減じられたポスタライズ画像を生成するポスタリゼーション処理部３２０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の階調数を減じる処理をして絵画調の画像を得る技術に関する。
【背景技術】
【０００２】
デジタルスチルカメラ、ムービーカメラ、スキャナ等の画像入力機器で画像入力を行って得られる画像データは、例えばＢ（青）、Ｇ（緑）、Ｒ（赤）各色８ビットといったビット深度を有する。そのため、従来の銀塩写真に迫る階調特性の画像を得ることができる。本明細書中では、このような画像を写真画質画像と称する。
【０００３】
また、画像データは数値データであるため、加工性に優れる。その特質を活かして、画像データに対して様々な処理を施し、より多彩な表現の画像を得ることが行われている。その一つとして、写真画質画像の階調数を意図的に減じて絵画調の画像を得る方法が知られている。写真画質画像の階調数を減じる際には、ポスタリゼーション処理が行われる。画像の階調特性を変化させる際にトーンカーブを適用することが行われる。トーンカーブは、入力画像の各階調値（入力値）に対応して出力画像の各階調値（出力値）を決定する際の階調変換特性を決定するためのものである。このトーンカーブの形状を、連続した直線や曲線ではなく、不連続な階段関数とすることにより、ポスタリゼーション処理された出力画像を得ることが可能となる。
【０００４】
ポスタリゼーション処理は、入力値の最小値から最大値までを限られた数の帯域に分割し、分割されたそれぞれの帯域に対応するそれぞれの出力値を決めたものを階調変換特性とし、この階調変換特性に基づき、入力画像の画素値に対応して出力画像の画素値を導出する処理である。ポスタリゼーション処理の結果、入力画像中の、ある帯域に収まる画素値は、その帯域を代表する一つの画素値に集約される。その結果、生成される画像のトーンは不連続（段階的）となり、絵画のような画像を得ることが可能となる。
【０００５】
特許文献１には、ポスタリゼーション処理をしてイラスト化処理画像を得る際に、Ｒ、Ｇ、Ｂデータを色相、明度および彩度データに色変換し、色相、明度および彩度データの階調数を減じ、それを再びＲ、Ｇ、Ｂデータに逆変換する技術が開示される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１−３１４３８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
カメラで撮影して得られた画像は、階調分布が特定の階調に偏っていることが多い。さらに、画像内の局所領域ではさらに階調の偏りが顕著となる。そのような画像に対してポスタリゼーション処理を行うと、本来は階調が存在していることが望ましい領域において階調を失う場合がある。例えば、ローキーの画像で、階調に偏りがあり、画素値の低い側にヒストグラムのピークが偏っているような画像を考える。このような画像において、ポスタリゼーション処理前の写真画質画像では暗めの領域で階調が確認できていたとしても、それを単純にポスタリゼーション処理すると、暗めの領域の階調が失われることがある。結果として得られる画像は、暗い部分が単色の塗料でベタ塗りされたような画像となってしまう場合がある。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、階調分布に偏りのある画像であっても階調をより適切に配分し、より見栄えのするポスタライズ画像が得られるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明のある態様によれば、画像処理装置が、入力画像に対して第１の階調変換特性を用いて第１の階調変換処理を行い、当該第１の階調変換処理後の画像を構成する画素の各画素値のヒストグラムの分散が、当該第１の階調変換処理前の画像のヒストグラムの分散に比して増すようにするヒストグラム拡張処理部と、
前記ヒストグラム拡張処理部で処理された画像に対し、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、当該第２の階調変換処理前の画像に比して階調数の減じられたポスタライズ画像を生成するポスタリゼーション処理部とを備える。
【００１０】
本発明のある態様によれば、画像処理方法が、
入力画像に対して第１の階調変換特性を用いて第１の階調変換処理を行い、当該第１の階調変換処理後の画像を構成する画素の各画素値のヒストグラムの分散が、当該第１の階調変換処理前の画像のヒストグラムの分散に比して増すようにすることと、
前記第１の階調変換処理が行われた画像に対し、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、当該第２の階調変換処理前の画像に比して階調数の減じられたポスタライズ画像を生成することとを備える。
【００１１】
本発明のある態様によれば、入力画像からポスタライズ画像を生成する処理をコンピュータに実行させるための画像処理プログラムが、
入力画像に対して第１の階調変換特性を用いて第１の階調変換処理を行い、当該第１の階調変換処理後の画像を構成する画素の各画素値のヒストグラムの分散が、当該第１の階調変換処理前の画像のヒストグラムの分散に比して増すようにするヒストグラム分布拡張処理ステップと、
前記第１の階調変換処理が行われた画像に対し、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、当該第２の階調変換処理前の画像に比して階調数の減じられたポスタライズ画像を生成するポスタリゼーション処理ステップと
を備える。
【発明の効果】
【００１２】
本発明によれば、階調分布に偏りのある画像であっても階調をより適切に配分し、より見栄えのするポスタライズ画像が得られる。
【図面の簡単な説明】
【００１３】
【図１】デジタルカメラの概略的構成を説明するブロック図である。
【図２】コンピュータの概略的内部構成を説明するブロック図であり、画像処理プログラムをコンピュータが実行することにより画像処理部が実現される例を説明する図である。
【図３】本発明の第１の実施の形態に係る画像処理部の概略的構成を説明するブロック図である。
【図４】ヒストグラム平坦化処理の一例を概念的に説明する図であり、（ａ）は処理前の入力画像の階調ヒストグラムを、（ｂ）は（ａ）に示される階調ヒストグラムの累積頻度を導出した結果を、（ｃ）はヒストグラム平坦化処理をした後の階調ヒストグラムを、それぞれ示す図である。
【図５】ポスタリゼーション処理に際して設定される階調変換特性の例を概念的に示す図である。
【図６】第１の実施の形態に係る画像処理部で実行される画像処理手順を説明するフローチャートである。
【図７】第２の実施の形態に係る画像処理部の概略的構成を説明するブロック図である。
【図８】目標ヒストグラムの設定方法を概念的に説明する図であり、（ａ）は処理前の入力画像の階調ヒストグラムを、（ｂ）は（ａ）に示される階調ヒストグラムの累積頻度を導出した結果を、（ｃ）はヒストグラム平坦化処理をした後の階調ヒストグラムを、（ｄ）はある範囲内に属する画素値の分布を所望の分布範囲に広がるように目標ヒストグラムを設定する例を、それぞれ示す図である。
【図９】設定された目標ヒストグラムをもとに階調変換特性を決定する方法を概念的に説明する図であり、（ａ）は図８（ｄ）に示される目標ヒストグラムから累積密度関数を導出する様子を、（ｂ）は導出された累積密度関数の逆関数を階調変換特性として設定する様子を、それぞれ示す図である。
【図１０】第２の実施の形態に係る画像処理部で実行される画像処理手順を説明するフローチャートである。
【図１１】第３の実施の形態に係る画像処理部の概略的構成を説明するブロック図である。
【図１２】第３の実施の形態に係る画像処理部で実行される画像処理手順を説明するフローチャートである。
【発明を実施するための形態】
【００１４】
図１は、デジタルカメラ１００の概略的構成を説明するブロック図である。デジタルカメラ１００は、スチルカメラであってもムービーカメラであってもよい。あるいは、携帯電話等に組み込まれるカメラであってもよい。デジタルカメラ１００がスチルカメラまたはムービーカメラであるとき、撮影レンズが固定式のものであっても、交換可能に構成されていてもよい。
【００１５】
デジタルカメラ１００は、撮影光学系１１０と、レンズ駆動部１１２と、撮像部１２０と、アナログ・フロントエンド（図１中では「ＡＦＥ」と表記される）１２２と、画像記録媒体１３０と、操作部１４０と、表示部１５０と、記憶部１６０と、ＣＰＵ１７０と、ＤＳＰ（ディジタル・シグナル・プロセッサ）１９０と、システムバス１８０とを備える。記憶部１６０は、ＲＯＭ１６２とＲＡＭ１６４とを備える。ＤＳＰ１９０には、画像処理部３００が実装される。
【００１６】
レンズ駆動部１１２、撮像部１２０、アナログ・フロントエンド１２２、画像記録媒体１３０、操作部１４０、表示部１５０、記憶部１６０、ＣＰＵ１７０、ＤＳＰ１９０は、システムバス１８０を介して電気的に接続される。ＲＡＭ１６４は、ＣＰＵ１７０およびＤＳＰ１９０の双方からアクセス可能に構成される。
【００１７】
撮影光学系１１０は、被写体像を撮像部１２０の受光エリア上に形成する。レンズ駆動部１１２は、撮影光学系１１０の焦点調節動作を行う。また、撮影光学系１１０が可変焦点距離光学系である場合には、撮影光学系１１０がレンズ駆動部１１２によって駆動されて焦点距離を変更することが可能に構成されていてもよい。
【００１８】
撮像部１２０は、シャッタと撮像素子とを含んで構成され、撮影光学系１１０を透過した被写体光は、シャッタが開いている間、撮像素子に入射する。撮像素子の受光エリア上に形成される被写体像が光電変換され、アナログ画像信号が生成される。なお、撮像素子が電気的に露光時間（光電変換時間）の制御を行うことが可能な、電子シャッタの機能を有する場合、シャッタは必ずしも備えられていなくてもよい。アナログ画像信号はアナログ・フロントエンド１２２に入力される。アナログ・フロントエンド１２２は、撮像部１２０から入力した画像信号にノイズ低減、増幅、Ａ／Ｄ変換等の処理をしてデジタル画像信号を生成する。このデジタル画像信号は、ＲＡＭ１６４に一時的に記憶される。
【００１９】
ＤＳＰ１９０は、ＲＡＭ１６４に一時的に記憶されたデジタル画像信号に対してデモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のさまざまなデジタル信号処理を施し、必要に応じて画像記録媒体１３０に記録したり、表示部１５０に出力したりする。
【００２０】
画像記録媒体１３０は、フラッシュメモリや磁気記録装置等で構成され、デジタルカメラ１００に対して着脱可能に装着される。あるいは、画像記録媒体１３０がデジタルカメラ１００に内蔵されていてもよい。その場合、ＲＯＭ１６２内に画像データ記録のための領域が確保されて、それを画像記録媒体１３０とすることが可能である。
【００２１】
操作部１４０は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうちいずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。表示部１５０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。なお、表示部１５０は表示インターフェースを備えていて、ＲＡＭ１６４上に設けられるＶＲＡＭ領域内に書き込まれる画像データを表示インターフェースが読み出して画像や文字等の情報が表示部１５０に表示されるものとする。
【００２２】
ＲＯＭ１６２は、フラッシュメモリ等で構成され、ＣＰＵ１７０により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいはデジタルカメラ１００の電源が入っていない状態でも保持する必要のある情報等が記憶される。ＲＡＭ１６４は、ＳＤＲＡＭ等で構成され、比較的高速のアクセス速度を有する。ＣＰＵ１７０は、ＲＯＭ１６２からＲＡＭ１６４に転送されたファームウェアを解釈・実行してデジタルカメラ１００の動作を統括的に制御する。
【００２３】
ＤＳＰ１９０は、ＲＡＭ１６４に一時的に記憶されるデジタル画像信号に上述した様々な処理を施し、記録用画像データ、表示用画像データ等を生成する。
【００２４】
デジタルカメラ１００は、撮影時にポスタライズ画像を生成可能に構成される。また、過去に撮影して得られた画像に対して後処理を施し、ポスタライズ画像を生成可能に構成されていてもよい。
【００２５】
図２は、記録媒体に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理部３００としての機能が実装される例を説明するブロック図である。コンピュータ２００は、ＣＰＵ２１０と、メモリ２２０と、補助記憶装置２３０と、インターフェース２４０と、メモリカードインターフェース２５０と、光ディスクドライブ２６０と、ネットワークインターフェース２７０と、表示部２８０とを備える。ＣＰＵ２１０と、メモリカードインターフェース２５０と、光ディスクドライブ２６０と、ネットワークインターフェース２７０と、表示部２８０とは、インターフェース２４０を介して電気的に接続される。
【００２６】
メモリ２２０は、ＤＤＲ ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリである。補助記憶装置２３０は、ハードディスクドライブ、あるいはソリッドステートドライブ（ＳＳＤ）等で構成され、比較的大きな記憶容量を備える。
【００２７】
メモリカードインターフェース２５０は、メモリカードＭＣを着脱自在に装着可能に構成される。デジタルカメラ等で撮影動作が行われて生成され、メモリカードＭＣ内に記憶された画像データは、このメモリカードインターフェース２５０を介してコンピュータ２００内に読み込むことができる。また、コンピュータ２００内の画像データをメモリカードＭＣに書き込むこともできる。
【００２８】
光ディスクドライブ２６０は、光ディスクＯＤからデータを読み取ることが可能に構成される。光ディスクドライブ２６０はまた、必要に応じて光ディスクＯＤにデータを書き込むことが可能に構成されていてもよい。
【００２９】
ネットワークインターフェース２７０は、ネットワークＮＷを介して接続されるサーバ等の外部情報処理装置とコンピュータ２００との間で情報を授受可能に構成される。
【００３０】
表示部２８０は、フラットパネルディスプレイ装置等で構成され、文字、アイコン、カラー画像等を表示可能に構成される。
【００３１】
画像処理部３００は、メモリ２２０上にロードされた画像処理プログラムをＣＰＵ２１０が解釈・実行することにより実現される。この画像処理プログラムは、メモリカードＭＣや光ディスクＯＤ等の記録媒体に記録されてコンピュータ２００のユーザに頒布される。あるいは、ネットワークＮＷを介して、サーバ等の外部情報処理装置からダウンロードされた画像処理プログラムが補助記憶装置２３０に記憶されてもよい。また、他の有線や無線の形態のインターフェースを介して外部情報処理装置等から画像処理プログラムがダウンロードされて補助記憶装置２３０に記憶されてもよい。
【００３２】
画像処理部３００は、補助記憶装置２３０に記憶された画像データ、あるいはメモリカードＭＣ、光ディスクＯＤ、ネットワークＮＷ等を介して入力した画像データに後述する画像処理を行う。以下、画像処理部３００における処理について二つの実施の形態で説明する。処理対象の画像データとしては、電子カメラで撮影して得られた静止画や動画の画像データであってもよいし、スキャナ等から得られた静止画の画像データであってもよい。
【００３３】
− 第１の実施の形態 −
図３は、画像処理部３００の構成を概略的に説明するブロック図である。画像処理部３００は、先に説明したように、デジタルカメラ１００内のＤＳＰ１９０に実装されていてもよいし、コンピュータ２００のＣＰＵ２１０が画像処理プログラムを実行することにより実現されてもよい。
【００３４】
画像処理部３００は、ヒストグラム拡張処理部３１０と、ポスタリゼーション処理部３２０と、階段関数保持部３３０とを備える。以下では画像処理部３００が図１に示されるデジタルカメラ１００に実装される場合を例に説明をする。画像処理部３００は、ライブビュー表示のための画像データを入力画像とし、処理後の画像データを出力画像として表示部１５０に出力してもよい。あるいは、撮影して一連の前処理が行われて得られた画像データを入力画像とし、処理後の画像データを出力画像として画像記録媒体１３０等に記録してもよい。一連の前処理としては、固定パターンノイズ除去、アナログゲイン調整、Ａ／Ｄ変換、デモザイク、ホワイトバランス調整、そしてノイズ低減処理などがある。必要に応じて色空間の変換等の処理が行われても良い。画像処理部３００はまた、動画像記録モードでの撮影中に得られる動画像データを入力画像とし、処理後の画像データを出力画像として画像記録媒体１３０等に逐次記録することも可能である。
【００３５】
入力画像はヒストグラム拡張処理部３１０に入力される。ヒストグラム拡張処理部３１０は、入力画像のヒストグラムを解析した結果に基づき、入力画像に対して第１の階調変換特性による第１の階調変換処理をした後、ポスタリゼーション処理部３２０に出力する。ポスタリゼーション処理部３２０は、ヒストグラム拡張処理部３１０から入力した画像に対し、階段関数保持部３３０から入力した階段関数の情報に基づく第２の階調変換特性で第２の階調変換処理を施し、出力画像として出力する。この出力画像は、必要に応じてアンシャープマスク、圧縮等の後処理が行われて画像記録媒体１３０に記録される。
【００３６】
上述した各処理ブロックで行われる処理の詳細について以下に説明する。
【００３７】
ヒストグラム拡張処理部３１０は、入力画像に対して第１の階調変換特性による第１の階調変換処理を行い、入力画像を構成する画素の各画素値度数分布を表すヒストグラムの分散が、第１の階調変換処理前のヒストグラムの分散に比して増すようにする。ここで「ヒストグラムの分散が増す」とは、第１の階調変換処理前後の画像の画素値をそれぞれ統計処理して分散を導出したときに、第１の階調変換処理後の画像の分散が増加することを意味する。例えば、一つの山のような形の分布曲線が形成されるものとして、その山の高さが減じられて裾野の幅が増加したような分布曲線となるとき、ヒストグラムの分散は増す。本明細書では、ヒストグラムをこのように変化させることを「ヒストグラム分布を拡張する」、あるいは「ヒストグラムを拡張する」と称する。
【００３８】
第１の階調変換処理としては、ヒストグラム平坦化処理を利用可能である。ヒストグラム平坦化処理は、入力画像を構成する各画素の画素値のヒストグラム（度数分布）を求め、各階級値に属する度数の分布がより平坦化されるような（ヒストグラム分布の山、谷がならされて平らに近づくように）階調変換特性を導出し、導出された階調変換特性を適用して階調変換をする処理である。
【００３９】
ここで図４を参照して第１の階調変換処理の一例について説明する。図４中に示される三つのグラフにおいて、横軸には画素値が、縦軸には頻度がとられている。いずれも最小値が０、最大値が１となるように規格化されている。
【００４０】
図４（ａ）は、入力画像のヒストグラムの一例を示す。図４（ａ）に示される例は、全体的に暗く、コントラストが低めの画像に相当するものとなっている。図４（ａ）では、画素値が７つの階級に区分されて、画素値の低い側から１段目、２段目、３段目の階級内に画素値が集中している様子が示されている。画素値がｒの画素の頻度がＰｒ（ｒ）で示されている。つまり、図４（ａ）に示されるヒストグラム曲線は、Ｐｒ（ｒ）で表される。
【００４１】
図４（ｂ）は、図４（ａ）に示されるヒストグラム特性を有する画像の画素値から累積頻度曲線Ｔ（ｒ）を求める様子を概念的に示す。０からｒまでの画素値を有する画素の累積頻度ｓをＴ（ｒ）で表すと、
【００４２】
【数１】
で表すことができる。
【００４３】
式（１）で示される累積頻度の特性を第１の階調変換特性として、入力画像に第１の階調変換処理を施すと、図４（ｃ）に示されるように平坦化されたヒストグラムＰｓ（ｓ）が得られる。このようにヒストグラム平坦化の処理を行うことにより、図４（ａ）において０からｒ１の範囲内の画素値を有していた、第１の階調変換処理前の画素は、第１の階調変換処理後、図４（ｃ）において１段目から２段目の階級にかけて分布するようになる。
【００４４】
上述したヒストグラム拡張処理部３１０での処理は、入力画像中の全画素に対して一律の階調変換特性を適用するものであってもよいし、以下に説明するようにスペースバリアントに階調変換特性が導出されて各画素に適用されるものであっても良い。
【００４５】
スペースバリアントに階調変換特性が適用される例としては、入力画像中の一つの注目画素を囲う部分領域を入力画像中で画定し、画定した部分領域に含まれる画素の画素値から図４（ａ）に例示されるようなヒストグラムＰｒ（ｒ）を求め、そのヒストグラムＰｒ（ｒ）の分散がより増すように階調変換特性を定め、その階調変換特性を注目画素の画素値に適用することが可能である。部分領域としては、例えば注目画素を中心とする、縦・横に３１画素の矩形領域などとすることが可能である。この処理を、画像内の全画素について点順次に行うことにより、スペースバリアントなヒストグラム拡張処理を行うことが可能となる。
【００４６】
このとき、例えば画像の最外縁において注目画素を設定した場合に、その注目画素を囲う部分領域を画定することができない。何故ならば、画像の最外縁より外側には画素が存在しないからである。これに対応する方法としては、入力画像で形成される画像の周囲を囲繞するように矩形の枠状の領域の画像を付加することを上記ヒストグラム拡張処理に先立って行うことが可能である。上述した例のように、注目画素を中心とする縦・横に３１画素の矩形領域を画定する場合、１５画素の幅を有する枠状の領域の画像を元の画像に付加すればよい。このとき、元の画像の外縁から内側に向かって１５画素の幅の領域内の画素値を、元の画像の外縁に沿って折り返すようにしてコピーすることが可能である。また、コーナー部では、対角方向に折り返すようにコピーすることが可能である。このようにして得た画像は、第１の階調変換処理後に破棄される。
【００４７】
ところで、以上に説明したスペースバリアントな階調変換処理（ヒストグラム拡張処理）において、処理前の入力画像を元画像と称すると、元画像中の画素値を点順次に階調変換後の画素値に置き換えることは行われず、注目画素を階調変換して得た画素値を寄せ集めるようにして複製画像が生成される。理由は、スペースバリアントに処理をする際、注目画素を中心として設定される部分領域中に、以前の処理で階調変換された画素が含まれると、以後の処理結果が影響を受けるからである。
【００４８】
スペースバリアントなヒストグラム拡張処理の別例としては、画像認識処理等の技術を用い、入力画像中で注目被写体の写る領域と、それ以外の領域とを抽出し、それぞれの領域に対して異なる階調変換特性を適用してヒストグラム拡張処理を行うことも可能である。
【００４９】
ポスタリゼーション処理部３２０は、ヒストグラム拡張処理部３１０において第１の階調変換特性による第１の階調変換処理が施された画像に対し、第２の階調変換特性による第２の階調変換処理を行ってポスタライズ画像を生成する。すなわち、ポスタリゼーション処理部３２０は、ヒストグラム拡張処理部３１０でヒストグラム分布を拡張する処理が行われた入力画像にポスタリゼーション処理を行う。このとき、ポスタリゼーション処理部３２０は、階段関数保持部３３０に保持される階段関数の情報を参照してポスタリゼーション処理を行う。
【００５０】
図５は、階段関数保持部に保持される階段関数の例を概念的に示す図である。この階段関数は、ポスタリゼーション処理を行う際の階調変換特性を特定するものである。図５に示す例において、横軸には入力値がとられ、縦軸には出力値が取られている。そして、０から１までの入力値（Ｉｖ）が、０≦Ｉｖ＜Ｉ１、Ｉ１≦Ｉｖ＜Ｉ２、…、Ｉ６≦Ｉｖ≦１の７つの連像区間に区分され、各連続区間で定義される範囲の入力値（Ｉｖ）に対してＯ１、Ｏ２、…、Ｏ７が対応する出力値（Ｏｖ）として導出される。この階調変換特性を第２の階調変換特性として第２の階調変換処理をすることにより、処理後の画像の階調数は７に減じられる。
【００５１】
図５中、階調変換特性を表す各線分の端部に付加される黒丸、白丸は、各線分の端点に対応する入力値を含む／含まない、の区別を示している。図４のグラフ中、０≦Ｉｖ＜Ｉ１に対応する、左下隅の線分を例に説明すると、その線分の左端に黒丸が、右端に白丸が付されている。つまり、この線分は０以上Ｉ１未満の範囲を定義している。
【００５２】
ポスタリゼーション処理に際して、画像データのフォーマット（表色系、色空間）は、目的に応じて様々である。例えばＢ、Ｇ、Ｒ各色８ビットのビット深度で表される画像データに対しては、各色の画素値（０〜２５５）それぞれに対してポスタリゼーション処理をすることが可能である。あるいは、ＲＧＢ色空間の画像を異なる色空間、例えばＬａ＊ｂ＊、ＨＳＶ、ＹＣｂＣｒ等の色空間に変換してポスタリゼーション処理をしてもよい。このとき、上述した色空間中のＬ値、Ｖ値、Ｙ値のみを対象にポスタリゼーション処理をすることもできる。入力値、出力値それぞれがとりうる値の範囲は、０から１や、０から２５５などといったものに限られず、さまざまな値に設定可能である。また、入力値の最小値から最大値の間で設定される区間の数は、ユーザの好み、求められる仕様等に応じて変更可能である。階段関数保持部３３０に複数の階段関数の情報が記憶されていて、その中からいずれかが自動選択されてもよいし、ユーザによって選択可能に構成されていてもよい。あるいは、ポスタリゼーション処理のための階調変換特性をユーザが設定可能に構成されていて、ユーザにより設定された階調変換特性に対応する階段関数の情報が階段関数保持部３３０に記憶されていてもよい。
【００５３】
図５に例示される階段関数においては、入力値（Ｉｖ）の各連続区間が略等しい区間長で設定される例が示されているが、不等間隔に設定されていてもよい。また、入力値（Ｉｖ）の各連続区間に対応する出力値Ｏ１、Ｏ２、…、Ｏ７が略等間隔に設定される例が図４には示されている（図５では、各連続区間で定義される入力値の範囲中、それぞれの最小値が出力値Ｏ１、Ｏ２、…、Ｏ７として設定されている）が、必ずしもこのように設定される必要はない。この出力値Ｏ１、Ｏ２、…、Ｏ７については、入力画像の特性に応じて以下のように設定することも可能である。
【００５４】
図４（ａ）に例示されるような、入力画像を構成する画素の各画素値の度数分布を表すヒストグラムにおいて、度数分布を求める際の階級幅を、上記階段関数の各連続区間で定義される入力値の範囲に合わせて設定する。図５の例では、階段関数の各連続区間として０≦Ｉｖ＜Ｉ１、Ｉ１≦Ｉｖ＜Ｉ２、…、Ｉ６≦Ｉｖ≦１が設定される例が示されているが、これらの連続区間で定義される入力値の範囲それぞれに対応してヒストグラムの階級（図４における１段目、２段目、…）を設定する。そして、各階級に属する画素値をもとに、階級ごとの代表値として平均値を求める。階級ごとの代表値としては平均値以外に最頻値、中央値等を求めてもよい。そして、各階級に対応する代表値を出力値Ｏ１、Ｏ２、…として設定することが可能である。入力画像の画素値のヒストグラムのプロファイルによって、出力値がＯ１からＯ２、Ｏ２からＯ３、…Ｏ６からＯ７へと変化する際の差分は、略等しい場合もあれば不等となる場合もある。
【００５５】
上記のように、ポスタリゼーション処理部３２０でポスタリゼーション処理を行う際の階調変換特性を入力画像に応じて適応的に変化させる処理は、階段関数保持部３３０で行われても良いし、ポスタリゼーション処理部３２０で行われても良い。
【００５６】
図６は、画像処理部３００において上述した処理が行われる際の処理手順を説明するフローチャートである。この処理は、図１を参照して説明したデジタルカメラ１００の画像処理部３００で行われる。あるいは、図２を参照して説明したコンピュータ２００の画像処理部３００で行うことも可能である。
【００５７】
Ｓ６００において画像処理部３００は、入力画像を取得する。画像処理部３００がデジタルカメラ１００に内蔵されるものである場合、この入力画像は以下の４つのうちのいずれかである。すなわち、デジタルカメラ１００が撮影準備動作中にライブビュー画像表示を行うことが可能に構成されるものである場合、このライブビュー画像表示用に撮像して得た画像を入力画像とすることができる。デジタルカメラ１００が動画像記録モードで動作している場合、撮像動作中に逐次生成される記録用の動画像を入力画像とすることができる。デジタルカメラ１００が静止画像記録モードで動作している場合、撮像して得られた記録用静止画像を入力画像とすることができる。また、デジタルカメラ１００が再生モードに切り換えられ、過去に撮像して得られた画像をもとに再生表示される画像を観たユーザが、ポスタライズ画像を生成する操作をした場合に、再生表示されている画像に対応する画像データを入力画像とすることができる。
【００５８】
また、画像処理部３００がコンピュータ２００のＣＰＵ２１０でソフトウェアを実行することにより実現される場合、補助記憶装置２３０、メモリカードＭＣ、光ディスクＯＤ等から読み出された画像データや、ネットワークＮＷを介して取得した画像を入力画像とすることができる。あるいはＵＳＢインターフェースやＨＤＭＩ（登録商標）インターフェース等を介して逐次入力される動画像を入力画像とすることができる。
【００５９】
Ｓ６０２において画像処理部３００は、入力画像に対して第１の階調変換特性による第１の階調変換処理を行い、ヒストグラム分布を拡張する。Ｓ６０２での処理を終えた入力画像を構成する画素の画素値について統計学上の分散を導出した結果は、処理前の入力画像の分散よりも増加する。Ｓ６０２で行われる処理は、図３のヒストグラム拡張処理部３１０での処理に相当する。
【００６０】
Ｓ６０４において画像処理部３００は、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、ポスタライズ画像を生成する。Ｓ６０４で行われる処理は、図３のポスタリゼーション処理部３２０において、階段関数保持部３３０から読み出した階段関数の情報をもとに行う階調変換処理（ポスタリゼーション処理）に相当する。
【００６１】
Ｓ６０６において画像処理部３００は、処理後の画像を出力する。画像処理部３００がデジタルカメラ１００に内蔵されるものである場合、Ｓ６０６の処理は、処理後の画像を表示部１５０や画像記録媒体１３０に出力する処理に相当する。また、画像処理部３００がコンピュータ２００のＣＰＵ２１０でソフトウェアを実行することにより実現される場合、補助記憶装置２３０、メモリカードＭＣ、光ディスクＯＤ、表示部２８０等に出力する処理に相当する。
【００６２】
画像処理部３００で以上の処理が行われた結果、図４（ａ）に例示されるヒストグラムを有する入力画像において、１段目の階級に分布する画素値の画素は、第１の階調変換処理が行われてヒストグラムの分散が増加し、図４（ｃ）に示されるように１段目および２段目の階級に分布するようになる。その結果、第１の階調変換処理を経ない場合にはポスタライズ画像中で一つの階調（Ｏ１）に集約されて階調を失ってしまう画素が、本実施の形態で説明した処理をすることにより、二つの階調（Ｏ１、Ｏ２）を有するようになる。その結果、階調分布が特定の階調に偏っている入力画像からポスタライズ画像を得る場合でも、画像の要所に階調が残されてメリハリのある絵画調の画像を得ることが可能となる。
【００６３】
− 第２の実施の形態 −
図７は、第２の実施の形態に係る画像処理部３００Ａの構成を概略的に説明するブロック図である。以下では第１の実施の形態に係る画像処理部３００との違いを中心に説明する。画像処理部３００Ａは、ヒストグラム拡張処理部３１０Ａと、ポスタリゼーション処理部３２０と、階段関数保持部３３０Ａとを備える。第１の実施の形態に係る画像処理部３００との違いは、以下の二点にある。
【００６４】
一つは、階段関数保持部３３０Ａに保持される階段関数の情報がポスタリゼーション処理部３２０だけでなく、ヒストグラム拡張処理部３１０Ａにも出力される点である。もう一つは、ヒストグラム拡張処理部３１０Ａが階段関数保持部３３０Ａから出力された階段関数の情報を参照してヒストグラム拡張処理を行う点である。以下、ヒストグラム拡張処理部３１０Ａで行われる処理の詳細について、図８および図９を参照して説明する。図８、図９中に示されるグラフにおいて、横軸には画素値が、縦軸には頻度がとられている。いずれも最小値が０、最大値が１となるように規格化されている。
【００６５】
図８（ａ）は、入力画像のヒストグラムの一例を示す。図８（ａ）に示される例は、図４（ａ）に示されるものと同様、全体的に暗く、コントラストが低めの画像に相当するものとなっている。また、図４（ａ）を参照して説明したのと同様に、画素値を７つの階級に区分し、画素値の低い側から１段目、２段目、３段目の階級内に画素値が集中している様子が示されている。画素値がｒの画素の頻度をＰｒ（ｒ）で示す。
【００６６】
図８（ｂ）は、図８（ａ）に示されるヒストグラム特性を有する画像の画素値から累積頻度曲線Ｔ（ｒ）を求める様子を概念的に示している。０からｒまでの画素値を有する画素の累積頻度ｓをＴ（ｒ）で表すと、先に説明した式（１）により求めることができる。
【００６７】
式（１）で示される累積頻度の特性を階調変換特性として、入力画像にこの階調変換処理を施すと、図８（ｃ）に示されるような平坦化されたヒストグラムＰｓ（ｓ）が得られる。入力画像中で０からｒ１までの画素値を有する画素の累積頻度、つまり図８（ａ）においてハッチングの施された部分に対応する画素は、階調変換処理後、図８（ｃ）に示されるヒストグラム平坦化処理後のヒストグラム中でハッチングの施された部分に分布するようになる。本例では、階調変換処理前に０からｒ１の画素値を有していた画素はヒストグラム平坦化処理後も図８（ｃ）に示されるように依然として１段目の階級の中に存在する。この状態でポスタリゼーション処理をすると、暗部での階調が失われた画像となってしまう。従って、入力画像中で０からｒ１の範囲にある画素値を有する部分の画像についてはヒストグラム拡張処理の効果が得られないことになる。
【００６８】
この問題に対処するため、第２の実施の形態においてヒストグラム拡張処理部３１０Ａは、以下に説明する方法によってヒストグラムの分散を増加する処理を行う。すなわち、ヒストグラム拡張処理部３１０Ａは、階段関数保持部３３０Ａから入力した階段関数情報を参照して目標ヒストグラムを設定する。次に、設定された目標ヒストグラムに基づいて第１の階調変換特性を決定する。そして、この第１の階調変換特性に基づいて第１の階調変換処理を行う。以下、これらの処理の詳細について説明する。
【００６９】
目標ヒストグラムの設定は、一例として以下のように行われる。ここで、階段関数保持部３３０Ａから入力される階段関数情報が、図５に例示される階調変換特性に対応するものである場合を例に説明する。図５に例示される階調変換特性では、０から１の入力値が０≦Ｉｖ＜Ｉ１、Ｉ１≦Ｉｖ＜Ｉ２、…、Ｉ６≦Ｉｖ≦１の７つの連像区間に区分されて階段関数が設定される。
【００７０】
ヒストグラム拡張処理部３１０Ａは、階段関数中の上述した７つの連続区間で定義される入力値の範囲に対応してヒストグラムの階級を定める。そして、階調変換処理前の入力画像中、０からｒ１までの画素値を有する画素の部分で階調を残すことが望ましいと判定される場合、これらの画素が階段関数の０≦Ｉｖ＜Ｉ１、およびＩ１≦Ｉｖ＜Ｉ２の、二つの連続区間に対応する、１段目および２段目の階級に分布するように目標ヒストグラムを定める。一例として、図８（ａ）においてハッチングを施した部分の領域と、図８（ｄ）においてハッチングを施した部分の領域とが略同じ面積となるようになるように目標ヒストグラムを定める。図８（ｄ）に示される目標ヒストグラムのプロファイルは一例であり、任意のプロファイルに設定可能である。また、１段目、２段目の二つの階級に分布させるだけでなく、三つ以上の階級に分布させるように目標ヒストグラムを設定することも可能である。表示部に表示されるプレビュー画像を観ながら、ユーザが目標ヒストグラムを設定可能に構成されていてもよい。また、図８（ｄ）において、３段目以降は平坦化されたプロファイルとなっているが、入力画像の特性等に応じて様々なプロファイルに設定することができる。
【００７１】
ヒストグラム拡張処理部３１０Ａは、図８（ｄ）に例示されるように設定された目標ヒストグラムから、以下の式、すなわち、
【００７２】
【数２】
により、目標とするヒストグラムの累積密度関数を導出する。
【００７３】
上述した、目標とするヒストグラムの累積密度関数Ｇ（ｚ）のグラフを図９（ａ）に示す。ヒストグラム拡張処理部３１０Ａは、目標とするヒストグラムの累積密度関数の逆関数、すなわち、
【００７４】
【数３】
を求め、これを第１の階調変換特性として第１の階調変換処理をすることにより、入力画像を構成する画素の画素値のヒストグラムを変更して目標ヒストグラムに近づけることが可能となる。
【００７５】
上述したヒストグラム拡張の処理に際して、入力画像の全画素の画素値から導出したヒストグラムが目標とするヒストグラムに近づくように、全画素に対して一律の階調変換特性を適用して処理することが可能である。あるいは、第１の実施の形態で説明した方法により、スペースバリアントに導出した階調変換特性を用いて処理をすることも可能である。
【００７６】
以上のようにして第１の階調変換処理が行われた画像がポスタリゼーション処理部３２０で処理され、ポスタライズ画像が生成される。
【００７７】
ポスタリゼーション処理に際しては、第１の実施の形態で図５を参照して説明した階段関数を第２の階調変換特性として第２の階調変換処理が行われる。階段関数に関しては、第１の実施の形態で説明したのと同様である。すなわち、デフォルト設定されている階段関数を様々な入力画像に対して一律に適用するものであっても、階段関数の入力値に対する出力値の関係を、入力画像のヒストグラム特性に応じて変化させるようにしてもよい。
【００７８】
図１０は、画像処理部３００Ａにおいて上述した処理が行われる際の処理手順を説明するフローチャートである。この処理は、図１を参照して説明したデジタルカメラ１００内で行われる。あるいは、図２を参照して説明したコンピュータ２００内で行うことも可能である。
【００７９】
Ｓ１０００において画像処理部３００Ａは、入力画像を取得する。この処理は、第１の実施の形態における図６のフローチャート中、Ｓ６００の処理に相当する。
【００８０】
Ｓ１００２において画像処理部３００Ａは、入力画像を構成する画素の画素値から導出したヒストグラムと、階段関数保持部３３０Ａから読み出した階段関数情報とから目標ヒストグラムを設定し、第１の階調変換特性を導出する。
【００８１】
Ｓ１００４において画像処理部３００Ａは、入力画像に対して第１の階調変換特性による第１の階調変換処理を行い、ヒストグラム分布を拡張する。上記Ｓ１００２およびＳ１００４の処理は、図８、図９を参照して説明した、ヒストグラム拡張処理部３１０Ａでの処理に相当する。
【００８２】
Ｓ１００６において画像処理部３００Ａは、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、ポスタライズ画像を生成する。Ｓ１００６で行われる処理は、図７のポスタリゼーション処理部３２０において、階段関数保持部３３０Ａから読み出した階段関数の情報をもとに行う階調変換処理（ポスタリゼーション処理）に相当する。
【００８３】
Ｓ１００８において画像処理部３００Ａは、処理後の画像を出力する。この処理は、第１の実施の形態における図６のフローチャート中、Ｓ６０６での処理に相当する。
【００８４】
画像処理部３００Ａで以上の処理が行われた結果、図８（ａ）に例示されるヒストグラムを有する入力画像において、０からｒ１までの範囲に分布する画素値の画素は、第１の階調変換処理が行われてヒストグラムの分散が増加し、図８（ｄ）に例示されるように１段目および２段目の階級に分布するようになる。その結果、第１の階調変換処理を経ない場合にはポスタライズ画像中で一つの階調に集約されて階調を失ってしまう画素が、本実施の形態で説明した処理をすることにより、二つの階調を有するようになる。
【００８５】
このように、第２の実施の形態によれば、入力画像のヒストグラムと、ポスタリゼーション処理のための階段関数情報とから第１の階調変換特性が導出される。その結果、階調分布が特定の階調に偏っている入力画像からポスタライズ画像を得る場合でも、より適切に階調を配分して画像の要所に階調が残されてメリハリのある絵画調の画像を得ることが可能となる。
【００８６】
− 第３の実施の形態 −
図１１は、第３の実施の形態に係る画像処理部３００Ｂの構成を概略的に説明するブロック図である。以下では第２の実施の形態に係る画像処理部３００Ａとの違いを中心に説明する。画像処理部３００Ｂは、ヒストグラム拡張処理部３１０Ａと、ポスタリゼーション処理部３２０Ｂと、階段関数保持部３３０Ａと、合成処理部３４０と、特定画像領域検出部３５０とを備える。ポスタリゼーション処理部３２０Ｂは、第１ポスタリゼーション処理部３２１と第２ポスタリゼーション処理部３２２とを備える。
【００８７】
ヒストグラム拡張処理部３１０Ａは、第２の実施の形態で図８、図９を参照して説明したのと同様の処理を行う。すなわち、入力画像を構成する画素の画素値から導出したヒストグラムと、階段関数保持部３３０Ａから読み出した階段関数情報とから目標ヒストグラムを設定し、第１の階調変換特性を導出する。そして、導出された第１の階調変換特性で第１の階調変換処理を行い、ヒストグラムの分散を増した画像をポスタリゼーション処理部３２０Ｂ内の第１ポスタリゼーション処理部３２１に出力する。このとき、第１の階調変換特性としては、第１、第２の実施の形態で説明したのと同様、入力画像の全画素に対して一律の階調変換特性が適用されても、スペースバリアントに導出された階調変換特性が画素ごとに適用されてもよい。
【００８８】
第１ポスタリゼーション処理部３２１は、ヒストグラム拡張処理部３１０Ａから出力された画像を、階段関数保持部３３０Ａから出力された階段関数情報に基づく第２の階調変換特性で第２の階調変換処理を行う。第２ポスタリゼーション処理部３２２は、ヒストグラム拡張処理部３１０Ａで処理されていない入力画像を、階段関数保持部３３０Ａから出力された階段関数情報に基づく第２の階調変換特性で第２の階調変換処理を行う。
【００８９】
階段関数に関しては、第１の実施の形態で説明したのと同様である。すなわち、デフォルト設定されている階段関数を様々な入力画像に対して一律に適用するものであっても、階段関数の入力値に対する出力値の関係を、入力画像のヒストグラム特性に応じて変化させるようにしてもよい。
【００９０】
特定画像領域検出部３５０は、入力画像を解析して、入力画像中において特定の被写体の画像の写る領域（以下では特定画像領域と称する）を検出する処理を行い、特定画像領域が検出された場合に、入力画像内で特定画像領域を特定可能な情報である領域情報を合成処理部３４０に出力する。特定画像領域検出部３５０によって一つの入力画像中で検出される特定画像領域の数は、一つであっても複数であってもよい。ここでは特定の被写体が顔であり、特定画像領域は顔の画像の写る領域である場合について説明をする。
【００９１】
合成処理部３４０は、第１ポスタリゼーション処理部３２１、第２ポスタリゼーション処理部３２２で生成された画像を合成して出力画像を生成する処理を行う。このとき、合成処理部３４０は、特定画像領域検出部３５０から出力された顔領域情報を参照し、画像内で顔の写る領域とそれ以外の領域とで、二つの画像を合成する際の合成比率を変化させる。例えば、顔画像の存在する部分において、第２ポスタリゼーション処理部３２２で生成された画像の合成比率がより高まるように合成処理をすることが可能である。同様に、顔画像の存在しない部分において、第１ポスタリゼーション処理部３２１で生成された画像の合成比率がより高まるように合成処理をすることが可能である。
【００９２】
合成比率としては１：０、０：１といった比率が設定されてもよい。その場合、合成後の画像中で、第１ポスタリゼーション処理部３２１、第２ポスタリゼーション処理部３２２で生成された画像のうち、いずれかの画像が合成後の画像中の場所に応じて選択されることになる。あるいは、１：９、６：４、５：５などといった比率が設定されて、二つの画像が適宜の混合比率で混合されてもよい。その場合、顔画像の存在する部分と、それ以外の部分との間で合成比率を徐々に変化させることにより、画像を滑らかに接合することが可能となる。
【００９３】
合成処理部３４０で上述した合成処理が行われる際に、顔画像の存在する部分の画像が程よい明るさとなるように明るさの調節を行うようにしてもよい。
【００９４】
図１２は、画像処理部３００Ｂにおいて上述した処理が行われる際の処理手順を説明するフローチャートである。この処理は、図１を参照して説明したデジタルカメラ１００内で行われる。あるいは、図２を参照して説明したコンピュータ２００内で行うことも可能である。
【００９５】
Ｓ１２００において画像処理部３００Ｂは、入力画像を取得する。この処理は、第１の実施の形態における図６のフローチャート中、Ｓ６００の処理に相当する。
【００９６】
Ｓ１２０２において画像処理部３００Ｂは、入力画像を構成する画素の画素値から導出したヒストグラムと、階段関数保持部３３０Ａから読み出した階段関数情報とから目標ヒストグラムを設定し、第１の階調変換特性を導出する。
【００９７】
Ｓ１２０４において画像処理部３００Ｂは、入力画像に対して第１の階調変換特性を用いて第１の階調変換処理を行い、ヒストグラム分布を拡張する。上記Ｓ１２０２およびＳ１２０４の処理は、図１１に示すヒストグラム拡張処理部３１０Ａでの処理に相当する。
【００９８】
Ｓ１２０６において画像処理部３００Ｂは、Ｓ１２０４で階調変換処理された画像に対して第２の階調変換特性による第２の階調変換処理を行い、第１ポスタライズ画像を生成する。Ｓ１２０６で行われる処理は、図１１の第１ポスタリゼーション処理部３２１において行われる処理に相当する。
【００９９】
Ｓ１２０８において画像処理部３００Ｂは、Ｓ１２００で取得した入力画像に対して第２の階調変換特性による第２の階調変換処理を行い、第２ポスタライズ画像を生成する。Ｓ１２０８で行われる処理は、図１１に示す第２ポスタリゼーション処理部３２２において行われる処理に相当する。
【０１００】
Ｓ１２１０において画像処理部３００Ｂは、Ｓ１２００で取得した入力画像を解析して特定画像領域検出処理、本例では顔検出処理を行い、入力画像中の特定画像領域、本例では顔領域を特定する処理を行う。Ｓ１２１０で行われる処理は、図１１に示す特定画像領域検出部３５０において行われる処理に相当する。
【０１０１】
Ｓ１２１２において画像処理部３００Ｂは、第１ポスタライズ画像および第２ポスタライズ画像を合成する処理を行う。このとき画像処理部３００Ｂは、Ｓ１２１０での特定領域検出処理の結果に基づき、画像中の特定画像領域、本例では顔領域において第２ポスタライズ画像の合成比率が高められるようにして上記合成の処理を行う。Ｓ１２１２で行われる処理は、図１１に示す合成処理部３４０において行われる処理に相当する。
【０１０２】
Ｓ１２１４において画像処理部３００Ｂは、処理後の画像を出力する。この処理は、第１の実施の形態における図６のフローチャート中、Ｓ６０６での処理に相当する。
【０１０３】
以上では、ポスタリゼーション処理部３２０Ｂが第１ポスタリゼーション処理部３２１と第２ポスタリゼーション処理部３２２とを備えるものとして説明したが、ポスタリゼーション処理部３２０Ｂが必ずしもこれら二つのポスタリゼーション処理部３２１、３２２を備えていなくてもよい。つまり、入力画像と、ヒストグラム拡張処理部３１０Ａで処理された画像とを、一つのポスタリゼーション処理部で時系列に処理し、処理後の画像を一時的に記憶しておけばよい。
【０１０４】
画像処理部３００Ｂはまた、ヒストグラム拡張処理部３１０Ａに代えて、第１の実施の形態で説明したヒストグラム拡張処理部３１０を備えていてもよい。この場合、第１の階調変換特性は階段関数保持部３３０Ａから出力される階段関数情報を参照せずにヒストグラム拡張処理が行われる。
【０１０５】
画像処理部３００Ｂで以上の処理が行われることにより、特定の階調に階調分布が偏っている画像でもメリハリのある絵画調の画像を得ることが出来る。さらに、入力画像中の特定画像領域、例えば顔画像の写る部分にはメリハリがつくことを防止することができる。
【０１０６】
以上では、顔の写る部分を例にメリハリがつくことを防止する例について説明したが、顔に限らず、メリハリをつけたくない領域、例えば空の写る領域などを検出し、上述したのと同様の処理を行っても良い。
【０１０７】
また、ユーザが特定の被写体を指定することが可能に構成されていて、ユーザにより指定された被写体が写る領域に対して上述したのと同様の処理を行っても良い。
【０１０８】
本発明は、放送用据え置き型カメラ、ＥＮＧカメラ、民生用ハンディカメラ、デジタルカメラ等の製品に適用可能である。また、画像編集装置やビデオレコーダ等に適用することも可能である。さらに、動画や静止画を処理する画像処理プログラムに適用することも可能である。
【０１０９】
以上、いくつかの実施形態に基づいて本発明について説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１１０】
また、上記実施形態からは種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られるのであればこの構成要件が削除された構成もまた発明として抽出され得る。
【符号の説明】
【０１１１】
１００ … デジタルカメラ
１１０ … 撮影光学系
１１２ … レンズ駆動部
１２０ … 撮像部
１３０ … 画像記録媒体
１５０、２８０ … 表示部
１６０ … 記憶部
１９０ … ＤＳＰ（ディジタル・シグナル・プロセッサ）
２００ … コンピュータ
２１０ … ＣＰＵ
２２０ … メモリ
２３０ … 補助記憶装置
２５０ … メモリカードインターフェース
２６０ … 光ディスクドライブ
２７０ … ネットワークインターフェース
３００、３００Ａ、３００Ｂ … 画像処理部
３１０、３１０Ａ … ヒストグラム拡張処理部
３２０、３２０Ａ、３２０Ｂ … ポスタリゼーション処理部
３２１ … 第１ポスタリゼーション処理部
３２２ … 第２ポスタリゼーション処理部
３３０、３３０Ａ … 階段関数保持部
３４０ … 合成処理部
３５０ … 特定画像領域検出部
【技術分野】
【０００１】
本発明は、画像の階調数を減じる処理をして絵画調の画像を得る技術に関する。
【背景技術】
【０００２】
デジタルスチルカメラ、ムービーカメラ、スキャナ等の画像入力機器で画像入力を行って得られる画像データは、例えばＢ（青）、Ｇ（緑）、Ｒ（赤）各色８ビットといったビット深度を有する。そのため、従来の銀塩写真に迫る階調特性の画像を得ることができる。本明細書中では、このような画像を写真画質画像と称する。
【０００３】
また、画像データは数値データであるため、加工性に優れる。その特質を活かして、画像データに対して様々な処理を施し、より多彩な表現の画像を得ることが行われている。その一つとして、写真画質画像の階調数を意図的に減じて絵画調の画像を得る方法が知られている。写真画質画像の階調数を減じる際には、ポスタリゼーション処理が行われる。画像の階調特性を変化させる際にトーンカーブを適用することが行われる。トーンカーブは、入力画像の各階調値（入力値）に対応して出力画像の各階調値（出力値）を決定する際の階調変換特性を決定するためのものである。このトーンカーブの形状を、連続した直線や曲線ではなく、不連続な階段関数とすることにより、ポスタリゼーション処理された出力画像を得ることが可能となる。
【０００４】
ポスタリゼーション処理は、入力値の最小値から最大値までを限られた数の帯域に分割し、分割されたそれぞれの帯域に対応するそれぞれの出力値を決めたものを階調変換特性とし、この階調変換特性に基づき、入力画像の画素値に対応して出力画像の画素値を導出する処理である。ポスタリゼーション処理の結果、入力画像中の、ある帯域に収まる画素値は、その帯域を代表する一つの画素値に集約される。その結果、生成される画像のトーンは不連続（段階的）となり、絵画のような画像を得ることが可能となる。
【０００５】
特許文献１には、ポスタリゼーション処理をしてイラスト化処理画像を得る際に、Ｒ、Ｇ、Ｂデータを色相、明度および彩度データに色変換し、色相、明度および彩度データの階調数を減じ、それを再びＲ、Ｇ、Ｂデータに逆変換する技術が開示される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１−３１４３８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
カメラで撮影して得られた画像は、階調分布が特定の階調に偏っていることが多い。さらに、画像内の局所領域ではさらに階調の偏りが顕著となる。そのような画像に対してポスタリゼーション処理を行うと、本来は階調が存在していることが望ましい領域において階調を失う場合がある。例えば、ローキーの画像で、階調に偏りがあり、画素値の低い側にヒストグラムのピークが偏っているような画像を考える。このような画像において、ポスタリゼーション処理前の写真画質画像では暗めの領域で階調が確認できていたとしても、それを単純にポスタリゼーション処理すると、暗めの領域の階調が失われることがある。結果として得られる画像は、暗い部分が単色の塗料でベタ塗りされたような画像となってしまう場合がある。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、階調分布に偏りのある画像であっても階調をより適切に配分し、より見栄えのするポスタライズ画像が得られるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明のある態様によれば、画像処理装置が、入力画像に対して第１の階調変換特性を用いて第１の階調変換処理を行い、当該第１の階調変換処理後の画像を構成する画素の各画素値のヒストグラムの分散が、当該第１の階調変換処理前の画像のヒストグラムの分散に比して増すようにするヒストグラム拡張処理部と、
前記ヒストグラム拡張処理部で処理された画像に対し、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、当該第２の階調変換処理前の画像に比して階調数の減じられたポスタライズ画像を生成するポスタリゼーション処理部とを備える。
【００１０】
本発明のある態様によれば、画像処理方法が、
入力画像に対して第１の階調変換特性を用いて第１の階調変換処理を行い、当該第１の階調変換処理後の画像を構成する画素の各画素値のヒストグラムの分散が、当該第１の階調変換処理前の画像のヒストグラムの分散に比して増すようにすることと、
前記第１の階調変換処理が行われた画像に対し、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、当該第２の階調変換処理前の画像に比して階調数の減じられたポスタライズ画像を生成することとを備える。
【００１１】
本発明のある態様によれば、入力画像からポスタライズ画像を生成する処理をコンピュータに実行させるための画像処理プログラムが、
入力画像に対して第１の階調変換特性を用いて第１の階調変換処理を行い、当該第１の階調変換処理後の画像を構成する画素の各画素値のヒストグラムの分散が、当該第１の階調変換処理前の画像のヒストグラムの分散に比して増すようにするヒストグラム分布拡張処理ステップと、
前記第１の階調変換処理が行われた画像に対し、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、当該第２の階調変換処理前の画像に比して階調数の減じられたポスタライズ画像を生成するポスタリゼーション処理ステップと
を備える。
【発明の効果】
【００１２】
本発明によれば、階調分布に偏りのある画像であっても階調をより適切に配分し、より見栄えのするポスタライズ画像が得られる。
【図面の簡単な説明】
【００１３】
【図１】デジタルカメラの概略的構成を説明するブロック図である。
【図２】コンピュータの概略的内部構成を説明するブロック図であり、画像処理プログラムをコンピュータが実行することにより画像処理部が実現される例を説明する図である。
【図３】本発明の第１の実施の形態に係る画像処理部の概略的構成を説明するブロック図である。
【図４】ヒストグラム平坦化処理の一例を概念的に説明する図であり、（ａ）は処理前の入力画像の階調ヒストグラムを、（ｂ）は（ａ）に示される階調ヒストグラムの累積頻度を導出した結果を、（ｃ）はヒストグラム平坦化処理をした後の階調ヒストグラムを、それぞれ示す図である。
【図５】ポスタリゼーション処理に際して設定される階調変換特性の例を概念的に示す図である。
【図６】第１の実施の形態に係る画像処理部で実行される画像処理手順を説明するフローチャートである。
【図７】第２の実施の形態に係る画像処理部の概略的構成を説明するブロック図である。
【図８】目標ヒストグラムの設定方法を概念的に説明する図であり、（ａ）は処理前の入力画像の階調ヒストグラムを、（ｂ）は（ａ）に示される階調ヒストグラムの累積頻度を導出した結果を、（ｃ）はヒストグラム平坦化処理をした後の階調ヒストグラムを、（ｄ）はある範囲内に属する画素値の分布を所望の分布範囲に広がるように目標ヒストグラムを設定する例を、それぞれ示す図である。
【図９】設定された目標ヒストグラムをもとに階調変換特性を決定する方法を概念的に説明する図であり、（ａ）は図８（ｄ）に示される目標ヒストグラムから累積密度関数を導出する様子を、（ｂ）は導出された累積密度関数の逆関数を階調変換特性として設定する様子を、それぞれ示す図である。
【図１０】第２の実施の形態に係る画像処理部で実行される画像処理手順を説明するフローチャートである。
【図１１】第３の実施の形態に係る画像処理部の概略的構成を説明するブロック図である。
【図１２】第３の実施の形態に係る画像処理部で実行される画像処理手順を説明するフローチャートである。
【発明を実施するための形態】
【００１４】
図１は、デジタルカメラ１００の概略的構成を説明するブロック図である。デジタルカメラ１００は、スチルカメラであってもムービーカメラであってもよい。あるいは、携帯電話等に組み込まれるカメラであってもよい。デジタルカメラ１００がスチルカメラまたはムービーカメラであるとき、撮影レンズが固定式のものであっても、交換可能に構成されていてもよい。
【００１５】
デジタルカメラ１００は、撮影光学系１１０と、レンズ駆動部１１２と、撮像部１２０と、アナログ・フロントエンド（図１中では「ＡＦＥ」と表記される）１２２と、画像記録媒体１３０と、操作部１４０と、表示部１５０と、記憶部１６０と、ＣＰＵ１７０と、ＤＳＰ（ディジタル・シグナル・プロセッサ）１９０と、システムバス１８０とを備える。記憶部１６０は、ＲＯＭ１６２とＲＡＭ１６４とを備える。ＤＳＰ１９０には、画像処理部３００が実装される。
【００１６】
レンズ駆動部１１２、撮像部１２０、アナログ・フロントエンド１２２、画像記録媒体１３０、操作部１４０、表示部１５０、記憶部１６０、ＣＰＵ１７０、ＤＳＰ１９０は、システムバス１８０を介して電気的に接続される。ＲＡＭ１６４は、ＣＰＵ１７０およびＤＳＰ１９０の双方からアクセス可能に構成される。
【００１７】
撮影光学系１１０は、被写体像を撮像部１２０の受光エリア上に形成する。レンズ駆動部１１２は、撮影光学系１１０の焦点調節動作を行う。また、撮影光学系１１０が可変焦点距離光学系である場合には、撮影光学系１１０がレンズ駆動部１１２によって駆動されて焦点距離を変更することが可能に構成されていてもよい。
【００１８】
撮像部１２０は、シャッタと撮像素子とを含んで構成され、撮影光学系１１０を透過した被写体光は、シャッタが開いている間、撮像素子に入射する。撮像素子の受光エリア上に形成される被写体像が光電変換され、アナログ画像信号が生成される。なお、撮像素子が電気的に露光時間（光電変換時間）の制御を行うことが可能な、電子シャッタの機能を有する場合、シャッタは必ずしも備えられていなくてもよい。アナログ画像信号はアナログ・フロントエンド１２２に入力される。アナログ・フロントエンド１２２は、撮像部１２０から入力した画像信号にノイズ低減、増幅、Ａ／Ｄ変換等の処理をしてデジタル画像信号を生成する。このデジタル画像信号は、ＲＡＭ１６４に一時的に記憶される。
【００１９】
ＤＳＰ１９０は、ＲＡＭ１６４に一時的に記憶されたデジタル画像信号に対してデモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のさまざまなデジタル信号処理を施し、必要に応じて画像記録媒体１３０に記録したり、表示部１５０に出力したりする。
【００２０】
画像記録媒体１３０は、フラッシュメモリや磁気記録装置等で構成され、デジタルカメラ１００に対して着脱可能に装着される。あるいは、画像記録媒体１３０がデジタルカメラ１００に内蔵されていてもよい。その場合、ＲＯＭ１６２内に画像データ記録のための領域が確保されて、それを画像記録媒体１３０とすることが可能である。
【００２１】
操作部１４０は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうちいずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。表示部１５０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。なお、表示部１５０は表示インターフェースを備えていて、ＲＡＭ１６４上に設けられるＶＲＡＭ領域内に書き込まれる画像データを表示インターフェースが読み出して画像や文字等の情報が表示部１５０に表示されるものとする。
【００２２】
ＲＯＭ１６２は、フラッシュメモリ等で構成され、ＣＰＵ１７０により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいはデジタルカメラ１００の電源が入っていない状態でも保持する必要のある情報等が記憶される。ＲＡＭ１６４は、ＳＤＲＡＭ等で構成され、比較的高速のアクセス速度を有する。ＣＰＵ１７０は、ＲＯＭ１６２からＲＡＭ１６４に転送されたファームウェアを解釈・実行してデジタルカメラ１００の動作を統括的に制御する。
【００２３】
ＤＳＰ１９０は、ＲＡＭ１６４に一時的に記憶されるデジタル画像信号に上述した様々な処理を施し、記録用画像データ、表示用画像データ等を生成する。
【００２４】
デジタルカメラ１００は、撮影時にポスタライズ画像を生成可能に構成される。また、過去に撮影して得られた画像に対して後処理を施し、ポスタライズ画像を生成可能に構成されていてもよい。
【００２５】
図２は、記録媒体に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理部３００としての機能が実装される例を説明するブロック図である。コンピュータ２００は、ＣＰＵ２１０と、メモリ２２０と、補助記憶装置２３０と、インターフェース２４０と、メモリカードインターフェース２５０と、光ディスクドライブ２６０と、ネットワークインターフェース２７０と、表示部２８０とを備える。ＣＰＵ２１０と、メモリカードインターフェース２５０と、光ディスクドライブ２６０と、ネットワークインターフェース２７０と、表示部２８０とは、インターフェース２４０を介して電気的に接続される。
【００２６】
メモリ２２０は、ＤＤＲ ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリである。補助記憶装置２３０は、ハードディスクドライブ、あるいはソリッドステートドライブ（ＳＳＤ）等で構成され、比較的大きな記憶容量を備える。
【００２７】
メモリカードインターフェース２５０は、メモリカードＭＣを着脱自在に装着可能に構成される。デジタルカメラ等で撮影動作が行われて生成され、メモリカードＭＣ内に記憶された画像データは、このメモリカードインターフェース２５０を介してコンピュータ２００内に読み込むことができる。また、コンピュータ２００内の画像データをメモリカードＭＣに書き込むこともできる。
【００２８】
光ディスクドライブ２６０は、光ディスクＯＤからデータを読み取ることが可能に構成される。光ディスクドライブ２６０はまた、必要に応じて光ディスクＯＤにデータを書き込むことが可能に構成されていてもよい。
【００２９】
ネットワークインターフェース２７０は、ネットワークＮＷを介して接続されるサーバ等の外部情報処理装置とコンピュータ２００との間で情報を授受可能に構成される。
【００３０】
表示部２８０は、フラットパネルディスプレイ装置等で構成され、文字、アイコン、カラー画像等を表示可能に構成される。
【００３１】
画像処理部３００は、メモリ２２０上にロードされた画像処理プログラムをＣＰＵ２１０が解釈・実行することにより実現される。この画像処理プログラムは、メモリカードＭＣや光ディスクＯＤ等の記録媒体に記録されてコンピュータ２００のユーザに頒布される。あるいは、ネットワークＮＷを介して、サーバ等の外部情報処理装置からダウンロードされた画像処理プログラムが補助記憶装置２３０に記憶されてもよい。また、他の有線や無線の形態のインターフェースを介して外部情報処理装置等から画像処理プログラムがダウンロードされて補助記憶装置２３０に記憶されてもよい。
【００３２】
画像処理部３００は、補助記憶装置２３０に記憶された画像データ、あるいはメモリカードＭＣ、光ディスクＯＤ、ネットワークＮＷ等を介して入力した画像データに後述する画像処理を行う。以下、画像処理部３００における処理について二つの実施の形態で説明する。処理対象の画像データとしては、電子カメラで撮影して得られた静止画や動画の画像データであってもよいし、スキャナ等から得られた静止画の画像データであってもよい。
【００３３】
− 第１の実施の形態 −
図３は、画像処理部３００の構成を概略的に説明するブロック図である。画像処理部３００は、先に説明したように、デジタルカメラ１００内のＤＳＰ１９０に実装されていてもよいし、コンピュータ２００のＣＰＵ２１０が画像処理プログラムを実行することにより実現されてもよい。
【００３４】
画像処理部３００は、ヒストグラム拡張処理部３１０と、ポスタリゼーション処理部３２０と、階段関数保持部３３０とを備える。以下では画像処理部３００が図１に示されるデジタルカメラ１００に実装される場合を例に説明をする。画像処理部３００は、ライブビュー表示のための画像データを入力画像とし、処理後の画像データを出力画像として表示部１５０に出力してもよい。あるいは、撮影して一連の前処理が行われて得られた画像データを入力画像とし、処理後の画像データを出力画像として画像記録媒体１３０等に記録してもよい。一連の前処理としては、固定パターンノイズ除去、アナログゲイン調整、Ａ／Ｄ変換、デモザイク、ホワイトバランス調整、そしてノイズ低減処理などがある。必要に応じて色空間の変換等の処理が行われても良い。画像処理部３００はまた、動画像記録モードでの撮影中に得られる動画像データを入力画像とし、処理後の画像データを出力画像として画像記録媒体１３０等に逐次記録することも可能である。
【００３５】
入力画像はヒストグラム拡張処理部３１０に入力される。ヒストグラム拡張処理部３１０は、入力画像のヒストグラムを解析した結果に基づき、入力画像に対して第１の階調変換特性による第１の階調変換処理をした後、ポスタリゼーション処理部３２０に出力する。ポスタリゼーション処理部３２０は、ヒストグラム拡張処理部３１０から入力した画像に対し、階段関数保持部３３０から入力した階段関数の情報に基づく第２の階調変換特性で第２の階調変換処理を施し、出力画像として出力する。この出力画像は、必要に応じてアンシャープマスク、圧縮等の後処理が行われて画像記録媒体１３０に記録される。
【００３６】
上述した各処理ブロックで行われる処理の詳細について以下に説明する。
【００３７】
ヒストグラム拡張処理部３１０は、入力画像に対して第１の階調変換特性による第１の階調変換処理を行い、入力画像を構成する画素の各画素値度数分布を表すヒストグラムの分散が、第１の階調変換処理前のヒストグラムの分散に比して増すようにする。ここで「ヒストグラムの分散が増す」とは、第１の階調変換処理前後の画像の画素値をそれぞれ統計処理して分散を導出したときに、第１の階調変換処理後の画像の分散が増加することを意味する。例えば、一つの山のような形の分布曲線が形成されるものとして、その山の高さが減じられて裾野の幅が増加したような分布曲線となるとき、ヒストグラムの分散は増す。本明細書では、ヒストグラムをこのように変化させることを「ヒストグラム分布を拡張する」、あるいは「ヒストグラムを拡張する」と称する。
【００３８】
第１の階調変換処理としては、ヒストグラム平坦化処理を利用可能である。ヒストグラム平坦化処理は、入力画像を構成する各画素の画素値のヒストグラム（度数分布）を求め、各階級値に属する度数の分布がより平坦化されるような（ヒストグラム分布の山、谷がならされて平らに近づくように）階調変換特性を導出し、導出された階調変換特性を適用して階調変換をする処理である。
【００３９】
ここで図４を参照して第１の階調変換処理の一例について説明する。図４中に示される三つのグラフにおいて、横軸には画素値が、縦軸には頻度がとられている。いずれも最小値が０、最大値が１となるように規格化されている。
【００４０】
図４（ａ）は、入力画像のヒストグラムの一例を示す。図４（ａ）に示される例は、全体的に暗く、コントラストが低めの画像に相当するものとなっている。図４（ａ）では、画素値が７つの階級に区分されて、画素値の低い側から１段目、２段目、３段目の階級内に画素値が集中している様子が示されている。画素値がｒの画素の頻度がＰｒ（ｒ）で示されている。つまり、図４（ａ）に示されるヒストグラム曲線は、Ｐｒ（ｒ）で表される。
【００４１】
図４（ｂ）は、図４（ａ）に示されるヒストグラム特性を有する画像の画素値から累積頻度曲線Ｔ（ｒ）を求める様子を概念的に示す。０からｒまでの画素値を有する画素の累積頻度ｓをＴ（ｒ）で表すと、
【００４２】
【数１】
で表すことができる。
【００４３】
式（１）で示される累積頻度の特性を第１の階調変換特性として、入力画像に第１の階調変換処理を施すと、図４（ｃ）に示されるように平坦化されたヒストグラムＰｓ（ｓ）が得られる。このようにヒストグラム平坦化の処理を行うことにより、図４（ａ）において０からｒ１の範囲内の画素値を有していた、第１の階調変換処理前の画素は、第１の階調変換処理後、図４（ｃ）において１段目から２段目の階級にかけて分布するようになる。
【００４４】
上述したヒストグラム拡張処理部３１０での処理は、入力画像中の全画素に対して一律の階調変換特性を適用するものであってもよいし、以下に説明するようにスペースバリアントに階調変換特性が導出されて各画素に適用されるものであっても良い。
【００４５】
スペースバリアントに階調変換特性が適用される例としては、入力画像中の一つの注目画素を囲う部分領域を入力画像中で画定し、画定した部分領域に含まれる画素の画素値から図４（ａ）に例示されるようなヒストグラムＰｒ（ｒ）を求め、そのヒストグラムＰｒ（ｒ）の分散がより増すように階調変換特性を定め、その階調変換特性を注目画素の画素値に適用することが可能である。部分領域としては、例えば注目画素を中心とする、縦・横に３１画素の矩形領域などとすることが可能である。この処理を、画像内の全画素について点順次に行うことにより、スペースバリアントなヒストグラム拡張処理を行うことが可能となる。
【００４６】
このとき、例えば画像の最外縁において注目画素を設定した場合に、その注目画素を囲う部分領域を画定することができない。何故ならば、画像の最外縁より外側には画素が存在しないからである。これに対応する方法としては、入力画像で形成される画像の周囲を囲繞するように矩形の枠状の領域の画像を付加することを上記ヒストグラム拡張処理に先立って行うことが可能である。上述した例のように、注目画素を中心とする縦・横に３１画素の矩形領域を画定する場合、１５画素の幅を有する枠状の領域の画像を元の画像に付加すればよい。このとき、元の画像の外縁から内側に向かって１５画素の幅の領域内の画素値を、元の画像の外縁に沿って折り返すようにしてコピーすることが可能である。また、コーナー部では、対角方向に折り返すようにコピーすることが可能である。このようにして得た画像は、第１の階調変換処理後に破棄される。
【００４７】
ところで、以上に説明したスペースバリアントな階調変換処理（ヒストグラム拡張処理）において、処理前の入力画像を元画像と称すると、元画像中の画素値を点順次に階調変換後の画素値に置き換えることは行われず、注目画素を階調変換して得た画素値を寄せ集めるようにして複製画像が生成される。理由は、スペースバリアントに処理をする際、注目画素を中心として設定される部分領域中に、以前の処理で階調変換された画素が含まれると、以後の処理結果が影響を受けるからである。
【００４８】
スペースバリアントなヒストグラム拡張処理の別例としては、画像認識処理等の技術を用い、入力画像中で注目被写体の写る領域と、それ以外の領域とを抽出し、それぞれの領域に対して異なる階調変換特性を適用してヒストグラム拡張処理を行うことも可能である。
【００４９】
ポスタリゼーション処理部３２０は、ヒストグラム拡張処理部３１０において第１の階調変換特性による第１の階調変換処理が施された画像に対し、第２の階調変換特性による第２の階調変換処理を行ってポスタライズ画像を生成する。すなわち、ポスタリゼーション処理部３２０は、ヒストグラム拡張処理部３１０でヒストグラム分布を拡張する処理が行われた入力画像にポスタリゼーション処理を行う。このとき、ポスタリゼーション処理部３２０は、階段関数保持部３３０に保持される階段関数の情報を参照してポスタリゼーション処理を行う。
【００５０】
図５は、階段関数保持部に保持される階段関数の例を概念的に示す図である。この階段関数は、ポスタリゼーション処理を行う際の階調変換特性を特定するものである。図５に示す例において、横軸には入力値がとられ、縦軸には出力値が取られている。そして、０から１までの入力値（Ｉｖ）が、０≦Ｉｖ＜Ｉ１、Ｉ１≦Ｉｖ＜Ｉ２、…、Ｉ６≦Ｉｖ≦１の７つの連像区間に区分され、各連続区間で定義される範囲の入力値（Ｉｖ）に対してＯ１、Ｏ２、…、Ｏ７が対応する出力値（Ｏｖ）として導出される。この階調変換特性を第２の階調変換特性として第２の階調変換処理をすることにより、処理後の画像の階調数は７に減じられる。
【００５１】
図５中、階調変換特性を表す各線分の端部に付加される黒丸、白丸は、各線分の端点に対応する入力値を含む／含まない、の区別を示している。図４のグラフ中、０≦Ｉｖ＜Ｉ１に対応する、左下隅の線分を例に説明すると、その線分の左端に黒丸が、右端に白丸が付されている。つまり、この線分は０以上Ｉ１未満の範囲を定義している。
【００５２】
ポスタリゼーション処理に際して、画像データのフォーマット（表色系、色空間）は、目的に応じて様々である。例えばＢ、Ｇ、Ｒ各色８ビットのビット深度で表される画像データに対しては、各色の画素値（０〜２５５）それぞれに対してポスタリゼーション処理をすることが可能である。あるいは、ＲＧＢ色空間の画像を異なる色空間、例えばＬａ＊ｂ＊、ＨＳＶ、ＹＣｂＣｒ等の色空間に変換してポスタリゼーション処理をしてもよい。このとき、上述した色空間中のＬ値、Ｖ値、Ｙ値のみを対象にポスタリゼーション処理をすることもできる。入力値、出力値それぞれがとりうる値の範囲は、０から１や、０から２５５などといったものに限られず、さまざまな値に設定可能である。また、入力値の最小値から最大値の間で設定される区間の数は、ユーザの好み、求められる仕様等に応じて変更可能である。階段関数保持部３３０に複数の階段関数の情報が記憶されていて、その中からいずれかが自動選択されてもよいし、ユーザによって選択可能に構成されていてもよい。あるいは、ポスタリゼーション処理のための階調変換特性をユーザが設定可能に構成されていて、ユーザにより設定された階調変換特性に対応する階段関数の情報が階段関数保持部３３０に記憶されていてもよい。
【００５３】
図５に例示される階段関数においては、入力値（Ｉｖ）の各連続区間が略等しい区間長で設定される例が示されているが、不等間隔に設定されていてもよい。また、入力値（Ｉｖ）の各連続区間に対応する出力値Ｏ１、Ｏ２、…、Ｏ７が略等間隔に設定される例が図４には示されている（図５では、各連続区間で定義される入力値の範囲中、それぞれの最小値が出力値Ｏ１、Ｏ２、…、Ｏ７として設定されている）が、必ずしもこのように設定される必要はない。この出力値Ｏ１、Ｏ２、…、Ｏ７については、入力画像の特性に応じて以下のように設定することも可能である。
【００５４】
図４（ａ）に例示されるような、入力画像を構成する画素の各画素値の度数分布を表すヒストグラムにおいて、度数分布を求める際の階級幅を、上記階段関数の各連続区間で定義される入力値の範囲に合わせて設定する。図５の例では、階段関数の各連続区間として０≦Ｉｖ＜Ｉ１、Ｉ１≦Ｉｖ＜Ｉ２、…、Ｉ６≦Ｉｖ≦１が設定される例が示されているが、これらの連続区間で定義される入力値の範囲それぞれに対応してヒストグラムの階級（図４における１段目、２段目、…）を設定する。そして、各階級に属する画素値をもとに、階級ごとの代表値として平均値を求める。階級ごとの代表値としては平均値以外に最頻値、中央値等を求めてもよい。そして、各階級に対応する代表値を出力値Ｏ１、Ｏ２、…として設定することが可能である。入力画像の画素値のヒストグラムのプロファイルによって、出力値がＯ１からＯ２、Ｏ２からＯ３、…Ｏ６からＯ７へと変化する際の差分は、略等しい場合もあれば不等となる場合もある。
【００５５】
上記のように、ポスタリゼーション処理部３２０でポスタリゼーション処理を行う際の階調変換特性を入力画像に応じて適応的に変化させる処理は、階段関数保持部３３０で行われても良いし、ポスタリゼーション処理部３２０で行われても良い。
【００５６】
図６は、画像処理部３００において上述した処理が行われる際の処理手順を説明するフローチャートである。この処理は、図１を参照して説明したデジタルカメラ１００の画像処理部３００で行われる。あるいは、図２を参照して説明したコンピュータ２００の画像処理部３００で行うことも可能である。
【００５７】
Ｓ６００において画像処理部３００は、入力画像を取得する。画像処理部３００がデジタルカメラ１００に内蔵されるものである場合、この入力画像は以下の４つのうちのいずれかである。すなわち、デジタルカメラ１００が撮影準備動作中にライブビュー画像表示を行うことが可能に構成されるものである場合、このライブビュー画像表示用に撮像して得た画像を入力画像とすることができる。デジタルカメラ１００が動画像記録モードで動作している場合、撮像動作中に逐次生成される記録用の動画像を入力画像とすることができる。デジタルカメラ１００が静止画像記録モードで動作している場合、撮像して得られた記録用静止画像を入力画像とすることができる。また、デジタルカメラ１００が再生モードに切り換えられ、過去に撮像して得られた画像をもとに再生表示される画像を観たユーザが、ポスタライズ画像を生成する操作をした場合に、再生表示されている画像に対応する画像データを入力画像とすることができる。
【００５８】
また、画像処理部３００がコンピュータ２００のＣＰＵ２１０でソフトウェアを実行することにより実現される場合、補助記憶装置２３０、メモリカードＭＣ、光ディスクＯＤ等から読み出された画像データや、ネットワークＮＷを介して取得した画像を入力画像とすることができる。あるいはＵＳＢインターフェースやＨＤＭＩ（登録商標）インターフェース等を介して逐次入力される動画像を入力画像とすることができる。
【００５９】
Ｓ６０２において画像処理部３００は、入力画像に対して第１の階調変換特性による第１の階調変換処理を行い、ヒストグラム分布を拡張する。Ｓ６０２での処理を終えた入力画像を構成する画素の画素値について統計学上の分散を導出した結果は、処理前の入力画像の分散よりも増加する。Ｓ６０２で行われる処理は、図３のヒストグラム拡張処理部３１０での処理に相当する。
【００６０】
Ｓ６０４において画像処理部３００は、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、ポスタライズ画像を生成する。Ｓ６０４で行われる処理は、図３のポスタリゼーション処理部３２０において、階段関数保持部３３０から読み出した階段関数の情報をもとに行う階調変換処理（ポスタリゼーション処理）に相当する。
【００６１】
Ｓ６０６において画像処理部３００は、処理後の画像を出力する。画像処理部３００がデジタルカメラ１００に内蔵されるものである場合、Ｓ６０６の処理は、処理後の画像を表示部１５０や画像記録媒体１３０に出力する処理に相当する。また、画像処理部３００がコンピュータ２００のＣＰＵ２１０でソフトウェアを実行することにより実現される場合、補助記憶装置２３０、メモリカードＭＣ、光ディスクＯＤ、表示部２８０等に出力する処理に相当する。
【００６２】
画像処理部３００で以上の処理が行われた結果、図４（ａ）に例示されるヒストグラムを有する入力画像において、１段目の階級に分布する画素値の画素は、第１の階調変換処理が行われてヒストグラムの分散が増加し、図４（ｃ）に示されるように１段目および２段目の階級に分布するようになる。その結果、第１の階調変換処理を経ない場合にはポスタライズ画像中で一つの階調（Ｏ１）に集約されて階調を失ってしまう画素が、本実施の形態で説明した処理をすることにより、二つの階調（Ｏ１、Ｏ２）を有するようになる。その結果、階調分布が特定の階調に偏っている入力画像からポスタライズ画像を得る場合でも、画像の要所に階調が残されてメリハリのある絵画調の画像を得ることが可能となる。
【００６３】
− 第２の実施の形態 −
図７は、第２の実施の形態に係る画像処理部３００Ａの構成を概略的に説明するブロック図である。以下では第１の実施の形態に係る画像処理部３００との違いを中心に説明する。画像処理部３００Ａは、ヒストグラム拡張処理部３１０Ａと、ポスタリゼーション処理部３２０と、階段関数保持部３３０Ａとを備える。第１の実施の形態に係る画像処理部３００との違いは、以下の二点にある。
【００６４】
一つは、階段関数保持部３３０Ａに保持される階段関数の情報がポスタリゼーション処理部３２０だけでなく、ヒストグラム拡張処理部３１０Ａにも出力される点である。もう一つは、ヒストグラム拡張処理部３１０Ａが階段関数保持部３３０Ａから出力された階段関数の情報を参照してヒストグラム拡張処理を行う点である。以下、ヒストグラム拡張処理部３１０Ａで行われる処理の詳細について、図８および図９を参照して説明する。図８、図９中に示されるグラフにおいて、横軸には画素値が、縦軸には頻度がとられている。いずれも最小値が０、最大値が１となるように規格化されている。
【００６５】
図８（ａ）は、入力画像のヒストグラムの一例を示す。図８（ａ）に示される例は、図４（ａ）に示されるものと同様、全体的に暗く、コントラストが低めの画像に相当するものとなっている。また、図４（ａ）を参照して説明したのと同様に、画素値を７つの階級に区分し、画素値の低い側から１段目、２段目、３段目の階級内に画素値が集中している様子が示されている。画素値がｒの画素の頻度をＰｒ（ｒ）で示す。
【００６６】
図８（ｂ）は、図８（ａ）に示されるヒストグラム特性を有する画像の画素値から累積頻度曲線Ｔ（ｒ）を求める様子を概念的に示している。０からｒまでの画素値を有する画素の累積頻度ｓをＴ（ｒ）で表すと、先に説明した式（１）により求めることができる。
【００６７】
式（１）で示される累積頻度の特性を階調変換特性として、入力画像にこの階調変換処理を施すと、図８（ｃ）に示されるような平坦化されたヒストグラムＰｓ（ｓ）が得られる。入力画像中で０からｒ１までの画素値を有する画素の累積頻度、つまり図８（ａ）においてハッチングの施された部分に対応する画素は、階調変換処理後、図８（ｃ）に示されるヒストグラム平坦化処理後のヒストグラム中でハッチングの施された部分に分布するようになる。本例では、階調変換処理前に０からｒ１の画素値を有していた画素はヒストグラム平坦化処理後も図８（ｃ）に示されるように依然として１段目の階級の中に存在する。この状態でポスタリゼーション処理をすると、暗部での階調が失われた画像となってしまう。従って、入力画像中で０からｒ１の範囲にある画素値を有する部分の画像についてはヒストグラム拡張処理の効果が得られないことになる。
【００６８】
この問題に対処するため、第２の実施の形態においてヒストグラム拡張処理部３１０Ａは、以下に説明する方法によってヒストグラムの分散を増加する処理を行う。すなわち、ヒストグラム拡張処理部３１０Ａは、階段関数保持部３３０Ａから入力した階段関数情報を参照して目標ヒストグラムを設定する。次に、設定された目標ヒストグラムに基づいて第１の階調変換特性を決定する。そして、この第１の階調変換特性に基づいて第１の階調変換処理を行う。以下、これらの処理の詳細について説明する。
【００６９】
目標ヒストグラムの設定は、一例として以下のように行われる。ここで、階段関数保持部３３０Ａから入力される階段関数情報が、図５に例示される階調変換特性に対応するものである場合を例に説明する。図５に例示される階調変換特性では、０から１の入力値が０≦Ｉｖ＜Ｉ１、Ｉ１≦Ｉｖ＜Ｉ２、…、Ｉ６≦Ｉｖ≦１の７つの連像区間に区分されて階段関数が設定される。
【００７０】
ヒストグラム拡張処理部３１０Ａは、階段関数中の上述した７つの連続区間で定義される入力値の範囲に対応してヒストグラムの階級を定める。そして、階調変換処理前の入力画像中、０からｒ１までの画素値を有する画素の部分で階調を残すことが望ましいと判定される場合、これらの画素が階段関数の０≦Ｉｖ＜Ｉ１、およびＩ１≦Ｉｖ＜Ｉ２の、二つの連続区間に対応する、１段目および２段目の階級に分布するように目標ヒストグラムを定める。一例として、図８（ａ）においてハッチングを施した部分の領域と、図８（ｄ）においてハッチングを施した部分の領域とが略同じ面積となるようになるように目標ヒストグラムを定める。図８（ｄ）に示される目標ヒストグラムのプロファイルは一例であり、任意のプロファイルに設定可能である。また、１段目、２段目の二つの階級に分布させるだけでなく、三つ以上の階級に分布させるように目標ヒストグラムを設定することも可能である。表示部に表示されるプレビュー画像を観ながら、ユーザが目標ヒストグラムを設定可能に構成されていてもよい。また、図８（ｄ）において、３段目以降は平坦化されたプロファイルとなっているが、入力画像の特性等に応じて様々なプロファイルに設定することができる。
【００７１】
ヒストグラム拡張処理部３１０Ａは、図８（ｄ）に例示されるように設定された目標ヒストグラムから、以下の式、すなわち、
【００７２】
【数２】
により、目標とするヒストグラムの累積密度関数を導出する。
【００７３】
上述した、目標とするヒストグラムの累積密度関数Ｇ（ｚ）のグラフを図９（ａ）に示す。ヒストグラム拡張処理部３１０Ａは、目標とするヒストグラムの累積密度関数の逆関数、すなわち、
【００７４】
【数３】
を求め、これを第１の階調変換特性として第１の階調変換処理をすることにより、入力画像を構成する画素の画素値のヒストグラムを変更して目標ヒストグラムに近づけることが可能となる。
【００７５】
上述したヒストグラム拡張の処理に際して、入力画像の全画素の画素値から導出したヒストグラムが目標とするヒストグラムに近づくように、全画素に対して一律の階調変換特性を適用して処理することが可能である。あるいは、第１の実施の形態で説明した方法により、スペースバリアントに導出した階調変換特性を用いて処理をすることも可能である。
【００７６】
以上のようにして第１の階調変換処理が行われた画像がポスタリゼーション処理部３２０で処理され、ポスタライズ画像が生成される。
【００７７】
ポスタリゼーション処理に際しては、第１の実施の形態で図５を参照して説明した階段関数を第２の階調変換特性として第２の階調変換処理が行われる。階段関数に関しては、第１の実施の形態で説明したのと同様である。すなわち、デフォルト設定されている階段関数を様々な入力画像に対して一律に適用するものであっても、階段関数の入力値に対する出力値の関係を、入力画像のヒストグラム特性に応じて変化させるようにしてもよい。
【００７８】
図１０は、画像処理部３００Ａにおいて上述した処理が行われる際の処理手順を説明するフローチャートである。この処理は、図１を参照して説明したデジタルカメラ１００内で行われる。あるいは、図２を参照して説明したコンピュータ２００内で行うことも可能である。
【００７９】
Ｓ１０００において画像処理部３００Ａは、入力画像を取得する。この処理は、第１の実施の形態における図６のフローチャート中、Ｓ６００の処理に相当する。
【００８０】
Ｓ１００２において画像処理部３００Ａは、入力画像を構成する画素の画素値から導出したヒストグラムと、階段関数保持部３３０Ａから読み出した階段関数情報とから目標ヒストグラムを設定し、第１の階調変換特性を導出する。
【００８１】
Ｓ１００４において画像処理部３００Ａは、入力画像に対して第１の階調変換特性による第１の階調変換処理を行い、ヒストグラム分布を拡張する。上記Ｓ１００２およびＳ１００４の処理は、図８、図９を参照して説明した、ヒストグラム拡張処理部３１０Ａでの処理に相当する。
【００８２】
Ｓ１００６において画像処理部３００Ａは、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、ポスタライズ画像を生成する。Ｓ１００６で行われる処理は、図７のポスタリゼーション処理部３２０において、階段関数保持部３３０Ａから読み出した階段関数の情報をもとに行う階調変換処理（ポスタリゼーション処理）に相当する。
【００８３】
Ｓ１００８において画像処理部３００Ａは、処理後の画像を出力する。この処理は、第１の実施の形態における図６のフローチャート中、Ｓ６０６での処理に相当する。
【００８４】
画像処理部３００Ａで以上の処理が行われた結果、図８（ａ）に例示されるヒストグラムを有する入力画像において、０からｒ１までの範囲に分布する画素値の画素は、第１の階調変換処理が行われてヒストグラムの分散が増加し、図８（ｄ）に例示されるように１段目および２段目の階級に分布するようになる。その結果、第１の階調変換処理を経ない場合にはポスタライズ画像中で一つの階調に集約されて階調を失ってしまう画素が、本実施の形態で説明した処理をすることにより、二つの階調を有するようになる。
【００８５】
このように、第２の実施の形態によれば、入力画像のヒストグラムと、ポスタリゼーション処理のための階段関数情報とから第１の階調変換特性が導出される。その結果、階調分布が特定の階調に偏っている入力画像からポスタライズ画像を得る場合でも、より適切に階調を配分して画像の要所に階調が残されてメリハリのある絵画調の画像を得ることが可能となる。
【００８６】
− 第３の実施の形態 −
図１１は、第３の実施の形態に係る画像処理部３００Ｂの構成を概略的に説明するブロック図である。以下では第２の実施の形態に係る画像処理部３００Ａとの違いを中心に説明する。画像処理部３００Ｂは、ヒストグラム拡張処理部３１０Ａと、ポスタリゼーション処理部３２０Ｂと、階段関数保持部３３０Ａと、合成処理部３４０と、特定画像領域検出部３５０とを備える。ポスタリゼーション処理部３２０Ｂは、第１ポスタリゼーション処理部３２１と第２ポスタリゼーション処理部３２２とを備える。
【００８７】
ヒストグラム拡張処理部３１０Ａは、第２の実施の形態で図８、図９を参照して説明したのと同様の処理を行う。すなわち、入力画像を構成する画素の画素値から導出したヒストグラムと、階段関数保持部３３０Ａから読み出した階段関数情報とから目標ヒストグラムを設定し、第１の階調変換特性を導出する。そして、導出された第１の階調変換特性で第１の階調変換処理を行い、ヒストグラムの分散を増した画像をポスタリゼーション処理部３２０Ｂ内の第１ポスタリゼーション処理部３２１に出力する。このとき、第１の階調変換特性としては、第１、第２の実施の形態で説明したのと同様、入力画像の全画素に対して一律の階調変換特性が適用されても、スペースバリアントに導出された階調変換特性が画素ごとに適用されてもよい。
【００８８】
第１ポスタリゼーション処理部３２１は、ヒストグラム拡張処理部３１０Ａから出力された画像を、階段関数保持部３３０Ａから出力された階段関数情報に基づく第２の階調変換特性で第２の階調変換処理を行う。第２ポスタリゼーション処理部３２２は、ヒストグラム拡張処理部３１０Ａで処理されていない入力画像を、階段関数保持部３３０Ａから出力された階段関数情報に基づく第２の階調変換特性で第２の階調変換処理を行う。
【００８９】
階段関数に関しては、第１の実施の形態で説明したのと同様である。すなわち、デフォルト設定されている階段関数を様々な入力画像に対して一律に適用するものであっても、階段関数の入力値に対する出力値の関係を、入力画像のヒストグラム特性に応じて変化させるようにしてもよい。
【００９０】
特定画像領域検出部３５０は、入力画像を解析して、入力画像中において特定の被写体の画像の写る領域（以下では特定画像領域と称する）を検出する処理を行い、特定画像領域が検出された場合に、入力画像内で特定画像領域を特定可能な情報である領域情報を合成処理部３４０に出力する。特定画像領域検出部３５０によって一つの入力画像中で検出される特定画像領域の数は、一つであっても複数であってもよい。ここでは特定の被写体が顔であり、特定画像領域は顔の画像の写る領域である場合について説明をする。
【００９１】
合成処理部３４０は、第１ポスタリゼーション処理部３２１、第２ポスタリゼーション処理部３２２で生成された画像を合成して出力画像を生成する処理を行う。このとき、合成処理部３４０は、特定画像領域検出部３５０から出力された顔領域情報を参照し、画像内で顔の写る領域とそれ以外の領域とで、二つの画像を合成する際の合成比率を変化させる。例えば、顔画像の存在する部分において、第２ポスタリゼーション処理部３２２で生成された画像の合成比率がより高まるように合成処理をすることが可能である。同様に、顔画像の存在しない部分において、第１ポスタリゼーション処理部３２１で生成された画像の合成比率がより高まるように合成処理をすることが可能である。
【００９２】
合成比率としては１：０、０：１といった比率が設定されてもよい。その場合、合成後の画像中で、第１ポスタリゼーション処理部３２１、第２ポスタリゼーション処理部３２２で生成された画像のうち、いずれかの画像が合成後の画像中の場所に応じて選択されることになる。あるいは、１：９、６：４、５：５などといった比率が設定されて、二つの画像が適宜の混合比率で混合されてもよい。その場合、顔画像の存在する部分と、それ以外の部分との間で合成比率を徐々に変化させることにより、画像を滑らかに接合することが可能となる。
【００９３】
合成処理部３４０で上述した合成処理が行われる際に、顔画像の存在する部分の画像が程よい明るさとなるように明るさの調節を行うようにしてもよい。
【００９４】
図１２は、画像処理部３００Ｂにおいて上述した処理が行われる際の処理手順を説明するフローチャートである。この処理は、図１を参照して説明したデジタルカメラ１００内で行われる。あるいは、図２を参照して説明したコンピュータ２００内で行うことも可能である。
【００９５】
Ｓ１２００において画像処理部３００Ｂは、入力画像を取得する。この処理は、第１の実施の形態における図６のフローチャート中、Ｓ６００の処理に相当する。
【００９６】
Ｓ１２０２において画像処理部３００Ｂは、入力画像を構成する画素の画素値から導出したヒストグラムと、階段関数保持部３３０Ａから読み出した階段関数情報とから目標ヒストグラムを設定し、第１の階調変換特性を導出する。
【００９７】
Ｓ１２０４において画像処理部３００Ｂは、入力画像に対して第１の階調変換特性を用いて第１の階調変換処理を行い、ヒストグラム分布を拡張する。上記Ｓ１２０２およびＳ１２０４の処理は、図１１に示すヒストグラム拡張処理部３１０Ａでの処理に相当する。
【００９８】
Ｓ１２０６において画像処理部３００Ｂは、Ｓ１２０４で階調変換処理された画像に対して第２の階調変換特性による第２の階調変換処理を行い、第１ポスタライズ画像を生成する。Ｓ１２０６で行われる処理は、図１１の第１ポスタリゼーション処理部３２１において行われる処理に相当する。
【００９９】
Ｓ１２０８において画像処理部３００Ｂは、Ｓ１２００で取得した入力画像に対して第２の階調変換特性による第２の階調変換処理を行い、第２ポスタライズ画像を生成する。Ｓ１２０８で行われる処理は、図１１に示す第２ポスタリゼーション処理部３２２において行われる処理に相当する。
【０１００】
Ｓ１２１０において画像処理部３００Ｂは、Ｓ１２００で取得した入力画像を解析して特定画像領域検出処理、本例では顔検出処理を行い、入力画像中の特定画像領域、本例では顔領域を特定する処理を行う。Ｓ１２１０で行われる処理は、図１１に示す特定画像領域検出部３５０において行われる処理に相当する。
【０１０１】
Ｓ１２１２において画像処理部３００Ｂは、第１ポスタライズ画像および第２ポスタライズ画像を合成する処理を行う。このとき画像処理部３００Ｂは、Ｓ１２１０での特定領域検出処理の結果に基づき、画像中の特定画像領域、本例では顔領域において第２ポスタライズ画像の合成比率が高められるようにして上記合成の処理を行う。Ｓ１２１２で行われる処理は、図１１に示す合成処理部３４０において行われる処理に相当する。
【０１０２】
Ｓ１２１４において画像処理部３００Ｂは、処理後の画像を出力する。この処理は、第１の実施の形態における図６のフローチャート中、Ｓ６０６での処理に相当する。
【０１０３】
以上では、ポスタリゼーション処理部３２０Ｂが第１ポスタリゼーション処理部３２１と第２ポスタリゼーション処理部３２２とを備えるものとして説明したが、ポスタリゼーション処理部３２０Ｂが必ずしもこれら二つのポスタリゼーション処理部３２１、３２２を備えていなくてもよい。つまり、入力画像と、ヒストグラム拡張処理部３１０Ａで処理された画像とを、一つのポスタリゼーション処理部で時系列に処理し、処理後の画像を一時的に記憶しておけばよい。
【０１０４】
画像処理部３００Ｂはまた、ヒストグラム拡張処理部３１０Ａに代えて、第１の実施の形態で説明したヒストグラム拡張処理部３１０を備えていてもよい。この場合、第１の階調変換特性は階段関数保持部３３０Ａから出力される階段関数情報を参照せずにヒストグラム拡張処理が行われる。
【０１０５】
画像処理部３００Ｂで以上の処理が行われることにより、特定の階調に階調分布が偏っている画像でもメリハリのある絵画調の画像を得ることが出来る。さらに、入力画像中の特定画像領域、例えば顔画像の写る部分にはメリハリがつくことを防止することができる。
【０１０６】
以上では、顔の写る部分を例にメリハリがつくことを防止する例について説明したが、顔に限らず、メリハリをつけたくない領域、例えば空の写る領域などを検出し、上述したのと同様の処理を行っても良い。
【０１０７】
また、ユーザが特定の被写体を指定することが可能に構成されていて、ユーザにより指定された被写体が写る領域に対して上述したのと同様の処理を行っても良い。
【０１０８】
本発明は、放送用据え置き型カメラ、ＥＮＧカメラ、民生用ハンディカメラ、デジタルカメラ等の製品に適用可能である。また、画像編集装置やビデオレコーダ等に適用することも可能である。さらに、動画や静止画を処理する画像処理プログラムに適用することも可能である。
【０１０９】
以上、いくつかの実施形態に基づいて本発明について説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１１０】
また、上記実施形態からは種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られるのであればこの構成要件が削除された構成もまた発明として抽出され得る。
【符号の説明】
【０１１１】
１００ … デジタルカメラ
１１０ … 撮影光学系
１１２ … レンズ駆動部
１２０ … 撮像部
１３０ … 画像記録媒体
１５０、２８０ … 表示部
１６０ … 記憶部
１９０ … ＤＳＰ（ディジタル・シグナル・プロセッサ）
２００ … コンピュータ
２１０ … ＣＰＵ
２２０ … メモリ
２３０ … 補助記憶装置
２５０ … メモリカードインターフェース
２６０ … 光ディスクドライブ
２７０ … ネットワークインターフェース
３００、３００Ａ、３００Ｂ … 画像処理部
３１０、３１０Ａ … ヒストグラム拡張処理部
３２０、３２０Ａ、３２０Ｂ … ポスタリゼーション処理部
３２１ … 第１ポスタリゼーション処理部
３２２ … 第２ポスタリゼーション処理部
３３０、３３０Ａ … 階段関数保持部
３４０ … 合成処理部
３５０ … 特定画像領域検出部
【特許請求の範囲】
【請求項１】
入力画像に対して第１の階調変換特性を用いて第１の階調変換処理を行い、当該第１の階調変換処理後の画像を構成する画素の各画素値のヒストグラムの分散が、当該第１の階調変換処理前の画像のヒストグラムの分散に比して増すようにするヒストグラム拡張処理部と、
前記ヒストグラム拡張処理部で処理された画像に対し、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、当該第２の階調変換処理前の画像に比して階調数の減じられたポスタライズ画像を生成するポスタリゼーション処理部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記ヒストグラム拡張処理部は、前記ヒストグラム拡張処理部で処理される前の画像のヒストグラムにおいて、前記階段関数における複数の連続区間それぞれで定義される入力値の範囲に対応する階級に属する画素値の頻度に基づいて前記第１の階調変換特性を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ヒストグラム拡張処理部は、前記ヒストグラム拡張処理部で処理される前の画像のヒストグラムにおいて、前記階段関数中の一つの連続区間で定義される入力値の範囲に対応する階級に属していた画素値が、隣接する複数の連続区間で定義される入力値の範囲に対応する階級にわたって分布するように前記第１の階調変換特性を決定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記ヒストグラム拡張処理部は、
前記入力画像を複数の領域に分割し、領域ごとに独立して前記第１の階調変換特性を導出して前記第１の階調変換処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記入力画像中で特定の被写体の画像の写る領域である特定画像領域の検出を行う特定画像領域検出部と、
前記特定画像領域とその他の領域とに対応して異なる合成比率を設定して第１のポスタライズ画像と第２のポスタライズ画像とを一つの画像に合成する合成処理部と
をさらに備え、
前記ポスタリゼーション処理部が、
前記ヒストグラム拡張処理部の処理を経た画像に前記第２の階調変換処理を行ったものを前記第１のポスタライズ画像として生成し、前記ヒストグラム拡張処理部の処理を経ていない画像に前記第２の階調変換処理を行ったものを第２のポスタライズ画像として生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記特定画像領域検出部は、顔の画像の写る領域を検出し、
前記合成処理部は、前記顔の画像の写る領域において、前記第２のポスタライズ画像の合成比率を高める
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記特定画像領域検出部は、空の画像の写る領域を検出し、
前記合成処理部は、前記空の画像の写る領域において、前記第２のポスタライズ画像の合成比率を高める
ことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記特定画像領域検出部は、ユーザによって指定された被写体の写る領域を検出し、
前記合成処理部は、前記ユーザによって指定された被写体の写る領域において、前記第２のポスタライズ画像の合成比率を高める
ことを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記第１の階調変換処理は、
入力画像を構成する各画素の画素値のヒストグラムの分布がより平坦化されるように階調変換をする処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記第２の階調変換特性は、前記入力画像の画素値の度数分布に基づき、導出されることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記第２の階調変換特性は、
前記入力値に対する前記出力値の関係を定める前記階段関数における複数の連続区間それぞれで定義される入力値の範囲に対応して設定した階級で、前記入力画像を構成する画素の画素値を分類し、前記階級のそれぞれにおいて、当該階級に分類される画素値の最頻値、平均値、および中央値のいずれかに基づいて各階級を代表する値として決定された画素値が、前記複数の連続区間それぞれで定義される入力値の範囲に対応する出力値として定められた階段関数で定義されるものであることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
入力画像に対して第１の階調変換特性を用いて第１の階調変換処理を行い、当該第１の階調変換処理後の画像を構成する画素の各画素値のヒストグラムの分散が、当該第１の階調変換処理前の画像のヒストグラムの分散に比して増すようにすることと、
前記第１の階調変換処理が行われた画像に対し、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、当該第２の階調変換処理前の画像に比して階調数の減じられたポスタライズ画像を生成することと
を備えることを特徴とする画像処理方法。
【請求項１３】
入力画像からポスタライズ画像を生成する処理をコンピュータに実行させるための画像処理プログラムであって、
入力画像に対して第１の階調変換特性を用いて第１の階調変換処理を行い、当該第１の階調変換処理後の画像を構成する画素の各画素値のヒストグラムの分散が、当該第１の階調変換処理前の画像のヒストグラムの分散に比して増すようにするヒストグラム分布拡張処理ステップと、
前記第１の階調変換処理が行われた画像に対し、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、当該第２の階調変換処理前の画像に比して階調数の減じられたポスタライズ画像を生成するポスタリゼーション処理ステップと
を備えることを特徴とする画像処理プログラム。
【請求項１】
入力画像に対して第１の階調変換特性を用いて第１の階調変換処理を行い、当該第１の階調変換処理後の画像を構成する画素の各画素値のヒストグラムの分散が、当該第１の階調変換処理前の画像のヒストグラムの分散に比して増すようにするヒストグラム拡張処理部と、
前記ヒストグラム拡張処理部で処理された画像に対し、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、当該第２の階調変換処理前の画像に比して階調数の減じられたポスタライズ画像を生成するポスタリゼーション処理部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記ヒストグラム拡張処理部は、前記ヒストグラム拡張処理部で処理される前の画像のヒストグラムにおいて、前記階段関数における複数の連続区間それぞれで定義される入力値の範囲に対応する階級に属する画素値の頻度に基づいて前記第１の階調変換特性を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ヒストグラム拡張処理部は、前記ヒストグラム拡張処理部で処理される前の画像のヒストグラムにおいて、前記階段関数中の一つの連続区間で定義される入力値の範囲に対応する階級に属していた画素値が、隣接する複数の連続区間で定義される入力値の範囲に対応する階級にわたって分布するように前記第１の階調変換特性を決定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記ヒストグラム拡張処理部は、
前記入力画像を複数の領域に分割し、領域ごとに独立して前記第１の階調変換特性を導出して前記第１の階調変換処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記入力画像中で特定の被写体の画像の写る領域である特定画像領域の検出を行う特定画像領域検出部と、
前記特定画像領域とその他の領域とに対応して異なる合成比率を設定して第１のポスタライズ画像と第２のポスタライズ画像とを一つの画像に合成する合成処理部と
をさらに備え、
前記ポスタリゼーション処理部が、
前記ヒストグラム拡張処理部の処理を経た画像に前記第２の階調変換処理を行ったものを前記第１のポスタライズ画像として生成し、前記ヒストグラム拡張処理部の処理を経ていない画像に前記第２の階調変換処理を行ったものを第２のポスタライズ画像として生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記特定画像領域検出部は、顔の画像の写る領域を検出し、
前記合成処理部は、前記顔の画像の写る領域において、前記第２のポスタライズ画像の合成比率を高める
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記特定画像領域検出部は、空の画像の写る領域を検出し、
前記合成処理部は、前記空の画像の写る領域において、前記第２のポスタライズ画像の合成比率を高める
ことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記特定画像領域検出部は、ユーザによって指定された被写体の写る領域を検出し、
前記合成処理部は、前記ユーザによって指定された被写体の写る領域において、前記第２のポスタライズ画像の合成比率を高める
ことを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記第１の階調変換処理は、
入力画像を構成する各画素の画素値のヒストグラムの分布がより平坦化されるように階調変換をする処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記第２の階調変換特性は、前記入力画像の画素値の度数分布に基づき、導出されることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記第２の階調変換特性は、
前記入力値に対する前記出力値の関係を定める前記階段関数における複数の連続区間それぞれで定義される入力値の範囲に対応して設定した階級で、前記入力画像を構成する画素の画素値を分類し、前記階級のそれぞれにおいて、当該階級に分類される画素値の最頻値、平均値、および中央値のいずれかに基づいて各階級を代表する値として決定された画素値が、前記複数の連続区間それぞれで定義される入力値の範囲に対応する出力値として定められた階段関数で定義されるものであることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
入力画像に対して第１の階調変換特性を用いて第１の階調変換処理を行い、当該第１の階調変換処理後の画像を構成する画素の各画素値のヒストグラムの分散が、当該第１の階調変換処理前の画像のヒストグラムの分散に比して増すようにすることと、
前記第１の階調変換処理が行われた画像に対し、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、当該第２の階調変換処理前の画像に比して階調数の減じられたポスタライズ画像を生成することと
を備えることを特徴とする画像処理方法。
【請求項１３】
入力画像からポスタライズ画像を生成する処理をコンピュータに実行させるための画像処理プログラムであって、
入力画像に対して第１の階調変換特性を用いて第１の階調変換処理を行い、当該第１の階調変換処理後の画像を構成する画素の各画素値のヒストグラムの分散が、当該第１の階調変換処理前の画像のヒストグラムの分散に比して増すようにするヒストグラム分布拡張処理ステップと、
前記第１の階調変換処理が行われた画像に対し、入力値に対する出力値の関係が階段関数で定義される第２の階調変換特性を用いて第２の階調変換処理を行い、当該第２の階調変換処理前の画像に比して階調数の減じられたポスタライズ画像を生成するポスタリゼーション処理ステップと
を備えることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−７０１３２（Ｐ２０１３−７０１３２Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０５６０７（Ｐ２０１１−２０５６０７）
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]