画像処理装置、画像処理方法及びプログラム
【課題】撮像される画像についての露出の状況をより直感的にユーザに認識させること。
【解決手段】撮像素子を用いて撮像された入力画像を加工することにより出力画像を生成する画像処理装置であって、ユーザにより注目されるべき注目領域を設定する設定部と、前記入力画像の輝度を増加又は減少させることにより対比画像を生成する対比画像生成部と、前記入力画像の前記注目領域における部分画像と前記注目領域以外の領域である非注目領域における前記対比画像の部分画像とを結合することにより前記出力画像を生成する出力画像生成部と、を備える画像処理装置を提供する。
【解決手段】撮像素子を用いて撮像された入力画像を加工することにより出力画像を生成する画像処理装置であって、ユーザにより注目されるべき注目領域を設定する設定部と、前記入力画像の輝度を増加又は減少させることにより対比画像を生成する対比画像生成部と、前記入力画像の前記注目領域における部分画像と前記注目領域以外の領域である非注目領域における前記対比画像の部分画像とを結合することにより前記出力画像を生成する出力画像生成部と、を備える画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
一般的なスチルカメラ又はビデオカメラなどの撮像装置では、カメラパラメータの設定に応じて撮像される画像の明るさを変化させることができる。例えば、スチルカメラにおいては、絞り値と露光時間（シャッタスピード）とにより露出（露光ともいう）が決定され、露出が大きいほど明るい画像が撮像される。しかし、露出が大き過ぎる場合には、強い光が当たっている被写体のグラデーションが失われて真っ白になる「白とび」と呼ばれる現象が生じる。また、露出が小さすぎる場合には、光があまり当たっていない被写体のグラデーションが失われて真っ黒になる「黒つぶれ」という現象が生じる。また、「白とび」又は「黒つぶれ」が生じない場合であっても、露出の調整が適当になされていない場合には、ユーザが意図する適正な画像を得ることはできない。
【０００３】
そこで、例えば多くのデジタルスチルカメラにおいては、ユーザによる露出の調整を支援する目的で、図１Ａ又は図１Ｂに示したような輝度ヒストグラムをディスプレイ上に表示する機能を有している。図１Ａを参照すると、横軸に輝度、縦軸に画素数を表した輝度ヒストグラムが示されている。図１Ａの例では、全ての画素の輝度の値はゼロから最大値（ＭＡＸ）の間に含まれている。従って、少なくとも図１Ａの状態で撮像された画像において「白とび」又は「黒つぶれ」は生じないことを、ユーザは認識することができる。これに対して、図１Ｂの例では、一部の画素の輝度の値が最大値（ＭＡＸ）を超えている。従って、図１Ｂの状態で撮像された画像において「白とび」が生じる可能性が高いことを、ユーザは認識することができる。
【０００４】
また、撮像画像における露出の状態を装置が自動的に評価し、その評価の結果に応じて撮像画像を補正する技術も存在する。例えば、下記特許文献１は、露出を変化させながら複数の画像を撮像し、明るい領域については露出の小さい画像、暗い領域については露出の大きい画像を用いて１つの出力画像を生成することにより、人物を綺麗に出力することを提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−６５３５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、装置が自動的に撮像画像を補正する場合には、ユーザが意図する露出の通りの出力画像が生成されることは保証されない。また、輝度ヒストグラムに基づく露出の調整は、豊富な経験を積んだユーザ以外のユーザにとっては簡単ではない。また、例えば、ユーザは、撮像装置のライブビュー機能を用いて事前に画像を確認し、又は画像再生機能を用いて事後的に画像を確認することはできる。しかし、ディスプレイの特性又は周囲の環境の明るさに応じて視認される画像の印象が変化することから、そのように画像を確認した場合であっても、撮像終了後に表示又は印刷した画像がユーザの意図する画像となっていないケースは少なくなかった。
【０００７】
そこで、本発明は、撮像される画像についての露出の状況をより直感的にユーザに認識させることを可能とする、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００８】
本発明のある実施形態によれば、撮像素子を用いて撮像された入力画像を加工することにより出力画像を生成する画像処理装置であって、ユーザにより注目されるべき注目領域を設定する設定部と、上記入力画像の輝度を増加又は減少させることにより対比画像を生成する対比画像生成部と、上記入力画像の上記注目領域における部分画像と上記注目領域以外の領域である非注目領域における上記対比画像の部分画像とを結合することにより上記出力画像を生成する出力画像生成部と、を備える、画像処理装置が提供される。
【０００９】
かかる構成によれば、出力画像生成部は、ユーザにより注目されるべき注目領域においては入力画像、非注目領域においては入力画像の輝度を増加又は減少させた対比画像を結合して、出力画像を生成する。このような出力画像は、後に説明するアンダーソンの錯視を積極的に利用して、ユーザによる露出の把握を支援することのできる画像となり得る。
【００１０】
また、上記対比画像生成部は、上記入力画像の輝度を増加させることにより第１対比画像を生成し、及び、上記入力画像の輝度を減少させることにより第２対比画像を生成し、上記出力画像生成部は、上記第１対比画像を用いて第１出力画像を生成し、及び、上記第２対比画像を用いて第２出力画像を生成し、上記画像処理装置は、上記入力画像、上記第１出力画像及び上記第２出力画像を表示装置に表示させる表示制御部、をさらに備えてもよい。
【００１１】
また、上記対比画像生成部は、上記入力画像と白色画像とを混合することにより上記第１対比画像を生成し、及び、上記入力画像と黒色画像とを混合することにより上記第２対比画像を生成してもよい。
【００１２】
また、上記対比画像生成部は、上記入力画像の輝度を減少させることにより上記対比画像を生成し、上記画像処理装置は、上記画像処理装置が低消費電力モードで動作している場合に上記出力画像生成部により生成される上記出力画像を表示装置に表示させる表示制御部、をさらに備えてもよい。
【００１３】
また、上記対比画像生成部は、アンダーソンの錯視を利用し、上記入力画像の上記注目領域における部分画像が上記出力画像を視認したユーザにより明るく又は暗く見えるように、上記対比画像を生成してもよい。
【００１４】
また、本発明の別の実施形態によれば、撮像素子を用いて撮像された入力画像を加工することにより出力画像を生成するための画像処理方法であって、ユーザにより注目されるべき注目領域を設定するステップと、上記入力画像の輝度を増加又は減少させることにより対比画像を生成するステップと、上記入力画像の上記注目領域における部分画像と上記注目領域以外の領域である非注目領域における上記対比画像の部分画像とを結合することにより上記出力画像を生成するステップと、を含む、画像処理方法が提供される。
【００１５】
また、本発明の別の実施形態によれば、撮像素子を用いて撮像された入力画像を加工することにより出力画像を生成する画像処理装置を制御するコンピュータを、ユーザにより注目されるべき注目領域を設定する設定部と、上記入力画像の輝度を増加又は減少させることにより対比画像を生成する対比画像生成部と、上記入力画像の上記注目領域における部分画像と上記注目領域以外の領域である非注目領域における上記対比画像の部分画像とを結合することにより上記出力画像を生成する出力画像生成部と、として機能させるための、プログラムが提供される。
【発明の効果】
【００１６】
以上説明したように、本発明に係る画像処理装置、画像処理方法及びプログラムによれば、撮像される画像についての露出の状況をより直感的にユーザに認識させる出力画像を提供することができる。
【図面の簡単な説明】
【００１７】
【図１Ａ】輝度ヒストグラムの一例を示す説明図である。
【図１Ｂ】輝度ヒストグラムの他の例を示す説明図である。
【図２】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図３】アンダーソンの錯視について説明するための説明図である。
【図４】本発明の第１の実施形態に係る画像加工部の構成の一例を示すブロック図である。
【図５】本発明の第１の実施形態において表示される画像の一例を示す説明図である。
【図６】本発明の第１の実施形態に係る処理の流れの一例を示すフローチャートである。
【図７】本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。
【図８】本発明の第２の実施形態に係る画像加工部の構成の一例を示すブロック図である。
【図９】本発明の第２の実施形態に係る処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００１９】
＜１．第１の実施形態＞
まず、図２〜図６を用いて、本発明の第１の実施形態に係る画像処理装置１００について説明する。なお、ここでは、画像処理装置１００がデジタルスチルカメラである例について主に説明する。しかしながら、画像処理装置１００の構成は、かかる例に限定されず、デジタルビデオカメラ、カメラ付き携帯電話若しくはゲーム端末などの任意の装置、又はこれら装置に搭載される画像処理モジュールなどにも適用可能である。
【００２０】
［１−１．装置の構成例］
図２は、本発明の第１の実施形態に係る画像処理装置１００の構成を示すブロック図である。図２を参照すると、画像処理装置１００は、撮像部１１０、バス１２０、ＡＥ（Automatic Exposure）検波部１２２、ＣＰＵ（Central Processing Unit）１２４、信号処理部１２６、ＤＲＡＭ（Dynamic Random Access Memory）１２８、フラッシュメモリ１３０、画像加工部１４０、表示制御部１６０、表示部１７０及び操作部１８０を備える。
【００２１】
（撮像部）
撮像部１１０は、ＣＣＤ（Charge Coupled Device Image Sensor）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて、外界の光を撮像し、撮像画像を生成する。また、撮像部１１０は、上述した撮像素子の他に、レンズ、シャッター及び絞りなどの一般的なカメラ機構を有する。そして、後述するＣＰＵ１２４（又は操作部１８０）がシャッタースピード及び絞り値などのパラメータを設定することで、撮像部１１０により撮像される画像の露出が変化する。撮像部１１０により撮像された撮像画像は、ＡＥ検波部１２２及び信号処理部１２６へ出力される。
【００２２】
（バス）
バス１２０は、ＡＥ検波部１２２、ＣＰＵ１２４、信号処理部１２６、ＤＲＡＭ１２８、フラッシュメモリ１３０、画像加工部１４０、表示制御部１６０及び操作部１８０を相互に接続する。
【００２３】
（ＡＥ検波部）
ＡＥ検波部１２２は、撮像部１１０から入力される撮像画像について、画像全体の平均輝度値、分割領域ごとの平均輝度値、及び輝度ヒストグラムなどの評価値を算出する。ＡＥ検波部１２２により算出された各評価値は、ＣＰＵ１２４へ出力される。
【００２４】
（ＣＰＵ）
ＣＰＵ１２４は、画像処理装置１００の制御部として動作し、例えばフラッシュメモリ１３０に予め格納されるプログラムを実行することにより、画像処理装置１００の機能全般を制御する。例えば、ＣＰＵ１２４は、ＡＥ検波部１２２から入力される平均輝度値及び輝度ヒストグラムなどの評価値に基づいて最適と判断される露出を決定し、信号処理部１２６に露出の補正を指示する。
【００２５】
（信号処理部）
信号処理部１２６は、ＣＰＵ１２４からの指示に応じて、露出の補正、手ブレの補正又はコントラストの調整などの一般的な撮像画像に対する信号処理を行う。信号処理部１２６による信号処理後の撮像画像は、ＤＲＡＭ１２８へ出力される。
【００２６】
（ＤＲＡＭ）
ＤＲＡＭ１２８は、揮発性の記憶媒体である。ＤＲＡＭ１２８は、例えば、ＣＰＵ１２４により実行されるプログラム及びデータの一時的な記憶のために用いられる。また、ＤＲＡＭ１２８は、信号処理部１２６による信号処理後の撮像画像を一時的に記憶する。ＤＲＡＭ１２８により記憶される撮像画像は、例えば、画像処理装置１００がライブビュー機能を有する場合には、表示制御部１６０を介して表示部１７０へ出力される。また、本実施形態において、ＤＲＡＭ１２８により記憶される撮像画像は、画像加工部１４０へ入力され、後に詳しく説明する画像処理のための入力画像として扱われる。
【００２７】
（フラッシュメモリ）
フラッシュメモリ１３０は、不揮発性の記憶媒体である。フラッシュメモリ１３０は、例えば、ＣＰＵ１２４により実行されるプログラムを予め記憶する。また、フラッシュメモリ１３０は、ユーザがレリーズボタンを押下することにより最終的に撮像された（信号処理後の）撮像画像を記憶する。フラッシュメモリ１３０により記憶されている撮像画像は、画像処理装置１００の画像再生機能により、表示制御部１６０を介して表示部１７０へ出力され得る。また、本実施形態において、フラッシュメモリ１３０により記憶されている撮像画像も、画像加工部１４０へ入力され、後に詳しく説明する画像処理のための入力画像として扱われてよい。
【００２８】
（画像加工部）
画像加工部１４０は、ＤＲＡＭ１２８により一時的に記憶される撮像画像、又はフラッシュメモリ１３０により記憶されている撮像画像を入力画像として取得し、当該入力画像を加工することにより、出力画像を生成する。画像加工部１４０により生成される出力画像とは、撮像される画像についての露出の状況を、ユーザに直感的に認識させるための画像である。より具体的には、画像加工部１４０は、いわゆるアンダーソンの錯視を利用して、入力画像の注目領域に映った被写体が出力画像を視認したユーザにより明るく又は暗く見えるように、出力画像を生成する。
【００２９】
図３は、アンダーソンの錯視について説明するための説明図である。アンダーソンの錯視とは、明るさの錯視の一種である。アンダーソンの錯視によれば、人間の視覚は、明るさの同じ領域に注目した際、暗い領域に囲まれている場合には注目領域が明るく見え、明るい領域に囲まれている場合には注目領域が暗く見えるという特性を有する。
【００３０】
図３を参照すると、２つの画像３ａ及び３ｂが左右に並べられている。各画像３ａ、３ｂの中央には、円形の注目領域がそれぞれ設定されている。また、画像３ａにおいて、注目領域の周囲の領域の輝度は、全体的に暗くなっている。一方、画像３ｂにおいては、注目領域の周囲の領域の輝度は、全体的に明るくなっている。そして、これら２つの画像３ａ及び３ｂの円形の注目領域に着目すると、注目領域の明るさは、画像３ｂよりも画像３ａの方が明るく感じられる。しかしながら、実際には、画像３ａにおける注目領域の明るさは、画像３ｂにおける注目領域の明るさと等しい。これがアンダーソンの錯視である。
【００３１】
画像加工部１４０は、このようなアンダーソンの錯視を利用して、以下に詳しく説明するように、入力画像の注目領域に映った被写体が出力画像を視認したユーザにより明るく又は暗く見えるようにするための出力画像を生成する。
【００３２】
図４は、画像加工部１４０の具体的な構成の一例を示すブロック図である。図４を参照すると、画像加工部１４０は、注目領域設定部１４２、対比画像生成部１４６及び出力画像生成部１４８を含む。
【００３３】
（画像加工部：注目領域設定部）
注目領域設定部１４２は、ユーザにより注目されるべき画像内の注目領域を設定する。ユーザにより注目されるべき注目領域とは、例えば、予めフラッシュメモリ１３０に登録される固定的な位置及び大きさを有する領域であってもよい。この場合、例えば、画像中央の所定の幅及び高さを有する矩形領域、又は画像中央の所定の半径を有する円形領域などが、注目領域として設定され得る。その代わりに、ユーザにより注目されるべき注目領域とは、例えば、注目領域設定部１４２が動的に設定する領域であってもよい。例えば、公知の顔画像認識技術を用いて認識される入力画像内の顔領域が、注目領域として設定されてもよい。また、例えば、入力画像についての輝度ヒストグラムの解析により認識される「白とび」又は「黒つぶれ」が生じる可能性の高い領域が、注目領域として設定されてもよい。注目領域設定部１４２は、このように設定した注目領域を特定するデータ（矩形の頂点の座標など）を、出力画像生成部１４８へ出力する。
【００３４】
（画像加工部：対比画像生成部）
対比画像生成部１４６は、入力画像の輝度を増加又は減少させることにより、対比画像を生成する。より具体的には、本実施形態において、対比画像生成部１４６は、入力画像の輝度を増加させることにより第１対比画像を生成し、及び、入力画像の輝度を減少させることにより第２対比画像を生成する。
【００３５】
例えば、対比画像生成部１４６は、予め用意される白色画像と入力画像とを一定の割合で混合することにより、入力画像の輝度を増加させた第１対比画像を生成することができる。白色画像の各画素の画素値をＩＭｗ、入力画像の各画素の画素値をＩＭｉｎとすると、第１対比画像の各画素の画素値ＩＭｃ１は、次式により算出され得る。
【００３６】
【数１】
【００３７】
また、例えば、対比画像生成部１４６は、予め用意される黒色画像と入力画像とを一定の割合で混合することにより、入力画像の輝度を減少させた第２対比画像を生成することができる。黒色画像の各画素の画素値をＩＭｂとすると、第２対比画像の各画素の画素値ＩＭｃ２は、次式により算出され得る。
【００３８】
【数２】
【００３９】
なお、例えば、ＲＧＢごとに８ビットで画素値が表現される場合には、白色画像は全ての画素値が（２５５，２５５，２５５）である画像、黒色画像は全ての画素値が（０，０，０）である画像であってよい。また、混合比αの値は、予め設定される固定的な値であってもよく、又はユーザによる操作に応じて変化し得る可変的な値であってもよい。
【００４０】
対比画像生成部１４６は、このように生成した第１対比画像及び第２対比画像を、出力画像生成部１４８へ出力する。
【００４１】
（画像加工部：出力画像生成部）
出力画像生成部１４８は、入力画像の注目領域における部分画像と、注目領域以外の領域である非注目領域における対比画像の部分画像とを結合することにより、出力画像を生成する。本実施形態においては、出力画像生成部１４８は、入力画像と第１対比画像から第１出力画像を生成すると共に、入力画像と第２対比画像から第２出力画像を生成する。
【００４２】
より具体的には、出力画像生成部１４８は、例えば、まず、画像内の各画素を走査し、注目領域設定部１４２から入力されるデータにより特定される注目領域に各画素が含まれるか否かを判定する。そして、出力画像生成部１４８は、注目領域に含まれる画素については入力画像の画素値、注目領域に含まれない画素については対比画像の画素値を出力画像の画素値として選択する。その結果、入力画像の注目領域における部分画像と、非注目領域における対比画像の部分画像とを結合させた出力画像が生成される。出力画像生成部１４８は、このような処理を第１対比画像と第２対比画像についてそれぞれ行い、第１出力画像と第２出力画像とを生成する。従って、第１出力画像は、注目領域の周囲の領域が注目領域よりも明るく変化した画像となる。また、第２出力画像は、注目領域の周囲の領域が注目領域よりも暗く変化した画像となる。出力画像生成部１４８は、このように生成した第１出力画像と第２出力画像とを、表示制御部１６０へ出力する。
【００４３】
（表示制御部）
表示制御部１６０は、表示部１７０に表示させる画像の選択、変形、情報の付加、又はユーザ操作に応じた切換えなどの、表示に関する制御を行う。例えば、本実施形態において、表示制御部１６０は、入力画像、第１出力画像及び第２出力画像を適宜縮小して１つの画面内に配置した表示画像を生成し、表示部１７０へ出力する。ここでの入力画像とは、例えば、ＤＲＡＭ１２８に記憶されている信号処理部１２６による信号処理後の撮像画像であってよい。第１出力画像及び第２出力画像は、上述したように、画像加工部１４０から入力される。
【００４４】
（表示部）
表示部１７０は、ＬＣＤ（Liquid Crystal Display）又はＯＬＥＤ（Organic Light-Emitting Diode）などの表示装置を用いて、表示制御部１６０から入力される画像を画面上に表示する。
【００４５】
図５は、本実施形態において表示部１７０により表示される画像の一例を示す説明図である。図５を参照すると、表示部１７０の画面上に、入力画像ＩＭ０、第１出力画像ＩＭ１及び第２出力画像ＩＭ２が表示されている。また、入力画像ＩＭ０には、注目領域設定部１４２により設定された注目領域の境界を示す枠が重畳されている。
【００４６】
ここまでの説明から理解されるように、３つの画像ＩＭ０、ＩＭ１及びＩＭ２における注目領域内の部分画像は同一である。しかしながら、周囲の領域の輝度が増加された第１出力画像ＩＭ１における注目領域内の部分画像は、３つの画像を対比した場合には、人間の視覚の特性により比較的暗く見える。同様に、周囲の領域の輝度が減少された第２出力画像ＩＭ２における注目領域内の部分画像は、３つの画像を対比した場合には、人間の視覚の特性により比較的明るく見える。このような表示により、ユーザは、入力画像だけでなく、視覚的に露出が大きいと感じさせる画像及び視覚的に露出が小さいと感じさせる画像に基づいて、現在の設定による露出が適正か否かを判断することができる。
【００４７】
例えば、一般的に、入力画像ＩＭ０のみを見た場合に注目領域が過度に暗いと感じると、ユーザは、露出を大きくして撮像を行う。このとき、注目領域が暗いと感じた原因が実際にはディスプレイの特性又は撮像環境の明るさなどであった場合には、露出を大きくした結果、露出オーバーとなる可能性がある。しかし、図５に例示した画面を表示し、例えば人間の視覚の特性により注目領域が比較的明るく見える第２出力画像ＩＭ２が提供されることにより、ユーザは、現在の露出が十分大きいものであると気付くことができる。
【００４８】
同様に、一般的に、入力画像ＩＭ０のみを見た場合に注目領域が過度に明るいと感じると、ユーザは、露出を小さくして撮像を行う。このとき、注目領域が明るいと感じた原因が実際にはディスプレイの特性又は撮像環境の暗さなどであった場合には、露出を小さくした結果、露出アンダーとなる可能性がある。しかし、図５に例示した画面を表示し、例えば人間の視覚の特性により注目領域が比較的暗く見える第１出力画像ＩＭ１が提供されることにより、ユーザは、現在の露出が大きすぎるものではないと気付くことができる。
【００４９】
（操作部）
操作部１８０は、ボタン、スイッチ、レバー、ダイヤル又はタッチパネルなどの入力装置を用いてユーザの操作を検出し、検出した操作に応じた信号を出力する。例えば、マニュアル（手動）による露出の調整は、操作部１８０を介して行われ得る。また、例えば、ユーザがレリーズボタンを押下することにより、表示部１７０に表示されている入力画像が、最終的な撮像画像としてフラッシュメモリ１３０に記憶される。
【００５０】
［１−２．処理の流れ］
図６は、本実施形態に係る画像処理装置１００の画像加工部１４０及び表示制御部１６０による処理の流れの一例を示すフローチャートである。
【００５１】
図６を参照すると、まず、画像加工部１４０は、ＤＲＡＭ１２８又はフラッシュメモリ１３０から入力画像を取得する（ステップＳ１０２）。次に、画像加工部１４０の注目領域設定部１４２は、ユーザにより注目されるべき注目領域を設定する（ステップＳ１０４）。次に、対比画像生成部１４６は、白色画像と黒色画像とを取得する（ステップＳ１０６）。次に、対比画像生成部１４６は、入力画像と白色画像とを混合することにより、入力画像の輝度を増加させた第１対比画像を生成する（ステップＳ１０８）。また、対比画像生成部１４６は、入力画像と黒色画像とを混合することにより、入力画像の輝度を減少させた第２対比画像を生成する（ステップＳ１１０）。
【００５２】
次に、出力画像生成部１４８は、注目領域における入力画像の部分画像と、非注目領域における第１対比画像の部分画像とを結合することにより、第１出力画像を生成する（ステップＳ１１２）。また、出力画像生成部１４８は、注目領域における入力画像の部分画像と、非注目領域における第２対比画像の部分画像とを結合することにより、第２出力画像を生成する（ステップＳ１１４）。そして、表示制御部１６０は、図５を用いて説明したように、入力画像、第１出力画像及び第２出力画像を、１つの画面上に配置して表示部１７０に表示させる（ステップＳ１１６）。
【００５３】
＜２．第２の実施形態＞
上述した第１の実施形態では、入力画像に加えて、人間の視覚の特性上注目領域が明るく見える画像と注目領域が暗く見える画像とを並列的に表示する画面をユーザに提供する構成について説明した。本発明の第２の実施形態では、このような人間の視覚の特性を利用する手法を、低消費電力モードにおける撮像の失敗の防止に応用する。以下、図７〜図９を用いて、本発明の第２の実施形態に係る画像処理装置２００について説明する。
【００５４】
［２−１．装置の構成例］
図７は、本発明の第２の実施形態に係る画像処理装置２００の構成を示すブロック図である。図７を参照すると、画像処理装置２００は、撮像部１１０、バス１２０、ＡＥ検波部１２２、ＣＰＵ２２４、信号処理部１２６、ＤＲＡＭ１２８、フラッシュメモリ１３０、画像加工部２４０、表示制御部２６０、表示部１７０及び操作部１８０を備える。
【００５５】
（ＣＰＵ）
ＣＰＵ２２４は、画像処理装置２００のプロセッサとして動作し、例えばフラッシュメモリ１３０に予め格納されるプログラムを実行することにより、画像処理装置２００の機能全般を制御する。例えば、ＣＰＵ２２４は、第１の実施形態に係るＣＰＵ１２４と同様の処理を行うほかに、表示部１７０による消費電力を制御する。
【００５６】
より具体的には、例えば、ＣＰＵ２２４は、画像処理装置２００が有する電池の残量が少ない場合、又は一定時間ユーザの操作が検出されない場合に、低消費電力モードで画像処理装置２００を動作させることを決定する。そして、ＣＰＵ２２４は、低消費電力モードにおいては、表示部１７０の画面の輝度を下げる（例えばＬＣＤのバックライトの点灯数を少なくする）ことにより、電力の消費を抑制する。さらに、ＣＰＵ２２４は、現時点での消費電力モード（通常モード又は低消費電力モード）を、表示制御部２６０へ通知する。
【００５７】
（画像加工部）
画像加工部２４０は、ＤＲＡＭ１２８により一時的に記憶される撮像画像、又はフラッシュメモリ１３０により記憶されている撮像画像を入力画像として取得し、当該入力画像を加工することにより、出力画像を生成する。本実施形態において、画像加工部２４０により生成される出力画像は、いわゆるアンダーソンの錯視を利用して、入力画像の注目領域に映った被写体が出力画像を視認したユーザにより明るく見えるように生成される画像である。
【００５８】
図８は、画像加工部２４０の具体的な構成の一例を示すブロック図である。図８を参照すると、画像加工部２４０は、注目領域設定部１４２、対比画像生成部２４６及び出力画像生成部２４８を含む。
【００５９】
対比画像生成部２４６は、例えば上述した式（２）に従って、予め用意される黒色画像と入力画像とを一定の割合で混合することにより、入力画像の輝度を減少させた対比画像を生成する。そして、対比画像生成部２４６は、生成した対比画像を出力画像生成部２４８へ出力する。
【００６０】
出力画像生成部２４８は、入力画像の注目領域における部分画像と、非注目領域における対比画像の部分画像とを結合することにより、出力画像を生成する。本実施形態において出力画像生成部２４８により生成される出力画像は、注目領域の周囲の領域が注目領域よりも暗く変化した画像となる。出力画像生成部２４８は、このように生成した出力画像を、表示制御部２６０へ出力する。
【００６１】
（表示制御部）
表示制御部２６０は、表示部１７０に表示させる画像の選択、変形、情報の付加、又はユーザ操作に応じた切換えなどの、表示に関する制御を行う。また、本実施形態において、表示制御部２６０は、画像処理装置２００が低消費電力モードで動作している場合には出力画像生成部２４８により生成される出力画像を、画像処理装置２００が通常モードで動作している場合には入力画像を、表示部１７０に表示させる。表示制御部２６０による表示の切り替えは、ＣＰＵ２２４からのモード通知に応じて行われる。従って、表示部１７０により、通常モードにおいては図５に例示した画像ＩＭ０、低消費電力モードにおいては図５に例示した画像ＩＭ２にそれぞれ相当する画像が、画面上に表示され得る（画像の大きさは適宜調整される）。
【００６２】
このような表示により、低消費電力モードにおいて表示部１７０の画面の輝度が抑えられている場合であっても、人間の視覚を通して感じられる注目領域の明るさを、通常モードの場合の明るさに近付けることができる。それにより、ユーザが露出が適正か否かを誤認して撮像を失敗する可能性が低減される。
【００６３】
［２−２．処理の流れ］
図９は、本実施形態に係る表示制御部２６０による処理の流れの一例を示すフローチャートである。
【００６４】
図９を参照すると、まず、表示制御部２６０は、ＣＰＵ２２４から現在の消費電力モードを取得する（ステップＳ２０２）。次に、表示制御部２６０は、取得した消費電力モードが低消費電力モードであるか否かを判定する（ステップＳ２０４）。ここで、現在の消費電力モードが低消費電力モードである場合には、処理はステップＳ２０６へ進む。一方、現在の消費電力モードが通常モードである場合には、処理はステップＳ２０８へ進む。
【００６５】
現在の消費電力モードが低消費電力モードである場合には、表示制御部２６０は、黒色画像を用いて画像加工部２４０により生成された出力画像を、表示部１７０に表示させるべき画像として選択する（ステップＳ２０６）。一方、現在の消費電力モードが通常モードである場合には、表示制御部２６０は、ＤＲＡＭ１２８又はフラッシュメモリ１３０から取得される入力画像を、表示部１７０に表示させるべき画像として選択する（ステップＳ２０８）。そして、表示制御部２６０は、選択した画像を、表示部１７０へ出力する（ステップＳ２１０）。
【００６６】
＜３．まとめ＞
ここまで、図２〜図９を用いて、本発明の第１の実施形態及び第２の実施形態について説明した。これら実施形態によれば、ユーザにより注目されるべき注目領域においては入力画像の部分画像、非注目領域においては入力画像の輝度を増加又は減少させることにより生成された対比画像の部分画像が含まれる出力画像が、画面上に表示される。それにより、注目領域における部分画像が、その実際の輝度よりも暗く又は明るくユーザの視覚を通じて直感的に認識される。従って、露出が適正か否かを誤認し易い状況下において、ユーザによる露出の把握を支援し、露出オーバー又は露出アンダーなどの撮像の失敗のリスクを低減することができる。また、低消費電力モードにおいて画面の輝度が低下している状況においても、注目領域の直感的な明るさを通常モードの場合の明るさに近付けて、ユーザに感じさせることができる。
【００６７】
なお、本明細書において説明した第１又は第２の実施形態に係る一連の処理をハードウェアで実現するかソフトウェアで実現するかは問わない。一連の処理又はその一部をソフトウェアで実現する場合には、ソフトウェアを構成するプログラムが、予め半導体メモリ又はハードディスクなどの記憶媒体に格納され、ＣＰＵなどのプロセッサにより実行される。
【００６８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６９】
１００，２００ 画像処理装置
１４０，２４０ 画像加工部
１４２ 注目領域設定部（設定部）
１４６，２４６ 対比画像生成部
１４８，２４８ 出力画像生成部
１６０，２６０ 表示制御部
１７０ 表示部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
一般的なスチルカメラ又はビデオカメラなどの撮像装置では、カメラパラメータの設定に応じて撮像される画像の明るさを変化させることができる。例えば、スチルカメラにおいては、絞り値と露光時間（シャッタスピード）とにより露出（露光ともいう）が決定され、露出が大きいほど明るい画像が撮像される。しかし、露出が大き過ぎる場合には、強い光が当たっている被写体のグラデーションが失われて真っ白になる「白とび」と呼ばれる現象が生じる。また、露出が小さすぎる場合には、光があまり当たっていない被写体のグラデーションが失われて真っ黒になる「黒つぶれ」という現象が生じる。また、「白とび」又は「黒つぶれ」が生じない場合であっても、露出の調整が適当になされていない場合には、ユーザが意図する適正な画像を得ることはできない。
【０００３】
そこで、例えば多くのデジタルスチルカメラにおいては、ユーザによる露出の調整を支援する目的で、図１Ａ又は図１Ｂに示したような輝度ヒストグラムをディスプレイ上に表示する機能を有している。図１Ａを参照すると、横軸に輝度、縦軸に画素数を表した輝度ヒストグラムが示されている。図１Ａの例では、全ての画素の輝度の値はゼロから最大値（ＭＡＸ）の間に含まれている。従って、少なくとも図１Ａの状態で撮像された画像において「白とび」又は「黒つぶれ」は生じないことを、ユーザは認識することができる。これに対して、図１Ｂの例では、一部の画素の輝度の値が最大値（ＭＡＸ）を超えている。従って、図１Ｂの状態で撮像された画像において「白とび」が生じる可能性が高いことを、ユーザは認識することができる。
【０００４】
また、撮像画像における露出の状態を装置が自動的に評価し、その評価の結果に応じて撮像画像を補正する技術も存在する。例えば、下記特許文献１は、露出を変化させながら複数の画像を撮像し、明るい領域については露出の小さい画像、暗い領域については露出の大きい画像を用いて１つの出力画像を生成することにより、人物を綺麗に出力することを提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−６５３５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、装置が自動的に撮像画像を補正する場合には、ユーザが意図する露出の通りの出力画像が生成されることは保証されない。また、輝度ヒストグラムに基づく露出の調整は、豊富な経験を積んだユーザ以外のユーザにとっては簡単ではない。また、例えば、ユーザは、撮像装置のライブビュー機能を用いて事前に画像を確認し、又は画像再生機能を用いて事後的に画像を確認することはできる。しかし、ディスプレイの特性又は周囲の環境の明るさに応じて視認される画像の印象が変化することから、そのように画像を確認した場合であっても、撮像終了後に表示又は印刷した画像がユーザの意図する画像となっていないケースは少なくなかった。
【０００７】
そこで、本発明は、撮像される画像についての露出の状況をより直感的にユーザに認識させることを可能とする、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００８】
本発明のある実施形態によれば、撮像素子を用いて撮像された入力画像を加工することにより出力画像を生成する画像処理装置であって、ユーザにより注目されるべき注目領域を設定する設定部と、上記入力画像の輝度を増加又は減少させることにより対比画像を生成する対比画像生成部と、上記入力画像の上記注目領域における部分画像と上記注目領域以外の領域である非注目領域における上記対比画像の部分画像とを結合することにより上記出力画像を生成する出力画像生成部と、を備える、画像処理装置が提供される。
【０００９】
かかる構成によれば、出力画像生成部は、ユーザにより注目されるべき注目領域においては入力画像、非注目領域においては入力画像の輝度を増加又は減少させた対比画像を結合して、出力画像を生成する。このような出力画像は、後に説明するアンダーソンの錯視を積極的に利用して、ユーザによる露出の把握を支援することのできる画像となり得る。
【００１０】
また、上記対比画像生成部は、上記入力画像の輝度を増加させることにより第１対比画像を生成し、及び、上記入力画像の輝度を減少させることにより第２対比画像を生成し、上記出力画像生成部は、上記第１対比画像を用いて第１出力画像を生成し、及び、上記第２対比画像を用いて第２出力画像を生成し、上記画像処理装置は、上記入力画像、上記第１出力画像及び上記第２出力画像を表示装置に表示させる表示制御部、をさらに備えてもよい。
【００１１】
また、上記対比画像生成部は、上記入力画像と白色画像とを混合することにより上記第１対比画像を生成し、及び、上記入力画像と黒色画像とを混合することにより上記第２対比画像を生成してもよい。
【００１２】
また、上記対比画像生成部は、上記入力画像の輝度を減少させることにより上記対比画像を生成し、上記画像処理装置は、上記画像処理装置が低消費電力モードで動作している場合に上記出力画像生成部により生成される上記出力画像を表示装置に表示させる表示制御部、をさらに備えてもよい。
【００１３】
また、上記対比画像生成部は、アンダーソンの錯視を利用し、上記入力画像の上記注目領域における部分画像が上記出力画像を視認したユーザにより明るく又は暗く見えるように、上記対比画像を生成してもよい。
【００１４】
また、本発明の別の実施形態によれば、撮像素子を用いて撮像された入力画像を加工することにより出力画像を生成するための画像処理方法であって、ユーザにより注目されるべき注目領域を設定するステップと、上記入力画像の輝度を増加又は減少させることにより対比画像を生成するステップと、上記入力画像の上記注目領域における部分画像と上記注目領域以外の領域である非注目領域における上記対比画像の部分画像とを結合することにより上記出力画像を生成するステップと、を含む、画像処理方法が提供される。
【００１５】
また、本発明の別の実施形態によれば、撮像素子を用いて撮像された入力画像を加工することにより出力画像を生成する画像処理装置を制御するコンピュータを、ユーザにより注目されるべき注目領域を設定する設定部と、上記入力画像の輝度を増加又は減少させることにより対比画像を生成する対比画像生成部と、上記入力画像の上記注目領域における部分画像と上記注目領域以外の領域である非注目領域における上記対比画像の部分画像とを結合することにより上記出力画像を生成する出力画像生成部と、として機能させるための、プログラムが提供される。
【発明の効果】
【００１６】
以上説明したように、本発明に係る画像処理装置、画像処理方法及びプログラムによれば、撮像される画像についての露出の状況をより直感的にユーザに認識させる出力画像を提供することができる。
【図面の簡単な説明】
【００１７】
【図１Ａ】輝度ヒストグラムの一例を示す説明図である。
【図１Ｂ】輝度ヒストグラムの他の例を示す説明図である。
【図２】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図３】アンダーソンの錯視について説明するための説明図である。
【図４】本発明の第１の実施形態に係る画像加工部の構成の一例を示すブロック図である。
【図５】本発明の第１の実施形態において表示される画像の一例を示す説明図である。
【図６】本発明の第１の実施形態に係る処理の流れの一例を示すフローチャートである。
【図７】本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。
【図８】本発明の第２の実施形態に係る画像加工部の構成の一例を示すブロック図である。
【図９】本発明の第２の実施形態に係る処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００１９】
＜１．第１の実施形態＞
まず、図２〜図６を用いて、本発明の第１の実施形態に係る画像処理装置１００について説明する。なお、ここでは、画像処理装置１００がデジタルスチルカメラである例について主に説明する。しかしながら、画像処理装置１００の構成は、かかる例に限定されず、デジタルビデオカメラ、カメラ付き携帯電話若しくはゲーム端末などの任意の装置、又はこれら装置に搭載される画像処理モジュールなどにも適用可能である。
【００２０】
［１−１．装置の構成例］
図２は、本発明の第１の実施形態に係る画像処理装置１００の構成を示すブロック図である。図２を参照すると、画像処理装置１００は、撮像部１１０、バス１２０、ＡＥ（Automatic Exposure）検波部１２２、ＣＰＵ（Central Processing Unit）１２４、信号処理部１２６、ＤＲＡＭ（Dynamic Random Access Memory）１２８、フラッシュメモリ１３０、画像加工部１４０、表示制御部１６０、表示部１７０及び操作部１８０を備える。
【００２１】
（撮像部）
撮像部１１０は、ＣＣＤ（Charge Coupled Device Image Sensor）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて、外界の光を撮像し、撮像画像を生成する。また、撮像部１１０は、上述した撮像素子の他に、レンズ、シャッター及び絞りなどの一般的なカメラ機構を有する。そして、後述するＣＰＵ１２４（又は操作部１８０）がシャッタースピード及び絞り値などのパラメータを設定することで、撮像部１１０により撮像される画像の露出が変化する。撮像部１１０により撮像された撮像画像は、ＡＥ検波部１２２及び信号処理部１２６へ出力される。
【００２２】
（バス）
バス１２０は、ＡＥ検波部１２２、ＣＰＵ１２４、信号処理部１２６、ＤＲＡＭ１２８、フラッシュメモリ１３０、画像加工部１４０、表示制御部１６０及び操作部１８０を相互に接続する。
【００２３】
（ＡＥ検波部）
ＡＥ検波部１２２は、撮像部１１０から入力される撮像画像について、画像全体の平均輝度値、分割領域ごとの平均輝度値、及び輝度ヒストグラムなどの評価値を算出する。ＡＥ検波部１２２により算出された各評価値は、ＣＰＵ１２４へ出力される。
【００２４】
（ＣＰＵ）
ＣＰＵ１２４は、画像処理装置１００の制御部として動作し、例えばフラッシュメモリ１３０に予め格納されるプログラムを実行することにより、画像処理装置１００の機能全般を制御する。例えば、ＣＰＵ１２４は、ＡＥ検波部１２２から入力される平均輝度値及び輝度ヒストグラムなどの評価値に基づいて最適と判断される露出を決定し、信号処理部１２６に露出の補正を指示する。
【００２５】
（信号処理部）
信号処理部１２６は、ＣＰＵ１２４からの指示に応じて、露出の補正、手ブレの補正又はコントラストの調整などの一般的な撮像画像に対する信号処理を行う。信号処理部１２６による信号処理後の撮像画像は、ＤＲＡＭ１２８へ出力される。
【００２６】
（ＤＲＡＭ）
ＤＲＡＭ１２８は、揮発性の記憶媒体である。ＤＲＡＭ１２８は、例えば、ＣＰＵ１２４により実行されるプログラム及びデータの一時的な記憶のために用いられる。また、ＤＲＡＭ１２８は、信号処理部１２６による信号処理後の撮像画像を一時的に記憶する。ＤＲＡＭ１２８により記憶される撮像画像は、例えば、画像処理装置１００がライブビュー機能を有する場合には、表示制御部１６０を介して表示部１７０へ出力される。また、本実施形態において、ＤＲＡＭ１２８により記憶される撮像画像は、画像加工部１４０へ入力され、後に詳しく説明する画像処理のための入力画像として扱われる。
【００２７】
（フラッシュメモリ）
フラッシュメモリ１３０は、不揮発性の記憶媒体である。フラッシュメモリ１３０は、例えば、ＣＰＵ１２４により実行されるプログラムを予め記憶する。また、フラッシュメモリ１３０は、ユーザがレリーズボタンを押下することにより最終的に撮像された（信号処理後の）撮像画像を記憶する。フラッシュメモリ１３０により記憶されている撮像画像は、画像処理装置１００の画像再生機能により、表示制御部１６０を介して表示部１７０へ出力され得る。また、本実施形態において、フラッシュメモリ１３０により記憶されている撮像画像も、画像加工部１４０へ入力され、後に詳しく説明する画像処理のための入力画像として扱われてよい。
【００２８】
（画像加工部）
画像加工部１４０は、ＤＲＡＭ１２８により一時的に記憶される撮像画像、又はフラッシュメモリ１３０により記憶されている撮像画像を入力画像として取得し、当該入力画像を加工することにより、出力画像を生成する。画像加工部１４０により生成される出力画像とは、撮像される画像についての露出の状況を、ユーザに直感的に認識させるための画像である。より具体的には、画像加工部１４０は、いわゆるアンダーソンの錯視を利用して、入力画像の注目領域に映った被写体が出力画像を視認したユーザにより明るく又は暗く見えるように、出力画像を生成する。
【００２９】
図３は、アンダーソンの錯視について説明するための説明図である。アンダーソンの錯視とは、明るさの錯視の一種である。アンダーソンの錯視によれば、人間の視覚は、明るさの同じ領域に注目した際、暗い領域に囲まれている場合には注目領域が明るく見え、明るい領域に囲まれている場合には注目領域が暗く見えるという特性を有する。
【００３０】
図３を参照すると、２つの画像３ａ及び３ｂが左右に並べられている。各画像３ａ、３ｂの中央には、円形の注目領域がそれぞれ設定されている。また、画像３ａにおいて、注目領域の周囲の領域の輝度は、全体的に暗くなっている。一方、画像３ｂにおいては、注目領域の周囲の領域の輝度は、全体的に明るくなっている。そして、これら２つの画像３ａ及び３ｂの円形の注目領域に着目すると、注目領域の明るさは、画像３ｂよりも画像３ａの方が明るく感じられる。しかしながら、実際には、画像３ａにおける注目領域の明るさは、画像３ｂにおける注目領域の明るさと等しい。これがアンダーソンの錯視である。
【００３１】
画像加工部１４０は、このようなアンダーソンの錯視を利用して、以下に詳しく説明するように、入力画像の注目領域に映った被写体が出力画像を視認したユーザにより明るく又は暗く見えるようにするための出力画像を生成する。
【００３２】
図４は、画像加工部１４０の具体的な構成の一例を示すブロック図である。図４を参照すると、画像加工部１４０は、注目領域設定部１４２、対比画像生成部１４６及び出力画像生成部１４８を含む。
【００３３】
（画像加工部：注目領域設定部）
注目領域設定部１４２は、ユーザにより注目されるべき画像内の注目領域を設定する。ユーザにより注目されるべき注目領域とは、例えば、予めフラッシュメモリ１３０に登録される固定的な位置及び大きさを有する領域であってもよい。この場合、例えば、画像中央の所定の幅及び高さを有する矩形領域、又は画像中央の所定の半径を有する円形領域などが、注目領域として設定され得る。その代わりに、ユーザにより注目されるべき注目領域とは、例えば、注目領域設定部１４２が動的に設定する領域であってもよい。例えば、公知の顔画像認識技術を用いて認識される入力画像内の顔領域が、注目領域として設定されてもよい。また、例えば、入力画像についての輝度ヒストグラムの解析により認識される「白とび」又は「黒つぶれ」が生じる可能性の高い領域が、注目領域として設定されてもよい。注目領域設定部１４２は、このように設定した注目領域を特定するデータ（矩形の頂点の座標など）を、出力画像生成部１４８へ出力する。
【００３４】
（画像加工部：対比画像生成部）
対比画像生成部１４６は、入力画像の輝度を増加又は減少させることにより、対比画像を生成する。より具体的には、本実施形態において、対比画像生成部１４６は、入力画像の輝度を増加させることにより第１対比画像を生成し、及び、入力画像の輝度を減少させることにより第２対比画像を生成する。
【００３５】
例えば、対比画像生成部１４６は、予め用意される白色画像と入力画像とを一定の割合で混合することにより、入力画像の輝度を増加させた第１対比画像を生成することができる。白色画像の各画素の画素値をＩＭｗ、入力画像の各画素の画素値をＩＭｉｎとすると、第１対比画像の各画素の画素値ＩＭｃ１は、次式により算出され得る。
【００３６】
【数１】
【００３７】
また、例えば、対比画像生成部１４６は、予め用意される黒色画像と入力画像とを一定の割合で混合することにより、入力画像の輝度を減少させた第２対比画像を生成することができる。黒色画像の各画素の画素値をＩＭｂとすると、第２対比画像の各画素の画素値ＩＭｃ２は、次式により算出され得る。
【００３８】
【数２】
【００３９】
なお、例えば、ＲＧＢごとに８ビットで画素値が表現される場合には、白色画像は全ての画素値が（２５５，２５５，２５５）である画像、黒色画像は全ての画素値が（０，０，０）である画像であってよい。また、混合比αの値は、予め設定される固定的な値であってもよく、又はユーザによる操作に応じて変化し得る可変的な値であってもよい。
【００４０】
対比画像生成部１４６は、このように生成した第１対比画像及び第２対比画像を、出力画像生成部１４８へ出力する。
【００４１】
（画像加工部：出力画像生成部）
出力画像生成部１４８は、入力画像の注目領域における部分画像と、注目領域以外の領域である非注目領域における対比画像の部分画像とを結合することにより、出力画像を生成する。本実施形態においては、出力画像生成部１４８は、入力画像と第１対比画像から第１出力画像を生成すると共に、入力画像と第２対比画像から第２出力画像を生成する。
【００４２】
より具体的には、出力画像生成部１４８は、例えば、まず、画像内の各画素を走査し、注目領域設定部１４２から入力されるデータにより特定される注目領域に各画素が含まれるか否かを判定する。そして、出力画像生成部１４８は、注目領域に含まれる画素については入力画像の画素値、注目領域に含まれない画素については対比画像の画素値を出力画像の画素値として選択する。その結果、入力画像の注目領域における部分画像と、非注目領域における対比画像の部分画像とを結合させた出力画像が生成される。出力画像生成部１４８は、このような処理を第１対比画像と第２対比画像についてそれぞれ行い、第１出力画像と第２出力画像とを生成する。従って、第１出力画像は、注目領域の周囲の領域が注目領域よりも明るく変化した画像となる。また、第２出力画像は、注目領域の周囲の領域が注目領域よりも暗く変化した画像となる。出力画像生成部１４８は、このように生成した第１出力画像と第２出力画像とを、表示制御部１６０へ出力する。
【００４３】
（表示制御部）
表示制御部１６０は、表示部１７０に表示させる画像の選択、変形、情報の付加、又はユーザ操作に応じた切換えなどの、表示に関する制御を行う。例えば、本実施形態において、表示制御部１６０は、入力画像、第１出力画像及び第２出力画像を適宜縮小して１つの画面内に配置した表示画像を生成し、表示部１７０へ出力する。ここでの入力画像とは、例えば、ＤＲＡＭ１２８に記憶されている信号処理部１２６による信号処理後の撮像画像であってよい。第１出力画像及び第２出力画像は、上述したように、画像加工部１４０から入力される。
【００４４】
（表示部）
表示部１７０は、ＬＣＤ（Liquid Crystal Display）又はＯＬＥＤ（Organic Light-Emitting Diode）などの表示装置を用いて、表示制御部１６０から入力される画像を画面上に表示する。
【００４５】
図５は、本実施形態において表示部１７０により表示される画像の一例を示す説明図である。図５を参照すると、表示部１７０の画面上に、入力画像ＩＭ０、第１出力画像ＩＭ１及び第２出力画像ＩＭ２が表示されている。また、入力画像ＩＭ０には、注目領域設定部１４２により設定された注目領域の境界を示す枠が重畳されている。
【００４６】
ここまでの説明から理解されるように、３つの画像ＩＭ０、ＩＭ１及びＩＭ２における注目領域内の部分画像は同一である。しかしながら、周囲の領域の輝度が増加された第１出力画像ＩＭ１における注目領域内の部分画像は、３つの画像を対比した場合には、人間の視覚の特性により比較的暗く見える。同様に、周囲の領域の輝度が減少された第２出力画像ＩＭ２における注目領域内の部分画像は、３つの画像を対比した場合には、人間の視覚の特性により比較的明るく見える。このような表示により、ユーザは、入力画像だけでなく、視覚的に露出が大きいと感じさせる画像及び視覚的に露出が小さいと感じさせる画像に基づいて、現在の設定による露出が適正か否かを判断することができる。
【００４７】
例えば、一般的に、入力画像ＩＭ０のみを見た場合に注目領域が過度に暗いと感じると、ユーザは、露出を大きくして撮像を行う。このとき、注目領域が暗いと感じた原因が実際にはディスプレイの特性又は撮像環境の明るさなどであった場合には、露出を大きくした結果、露出オーバーとなる可能性がある。しかし、図５に例示した画面を表示し、例えば人間の視覚の特性により注目領域が比較的明るく見える第２出力画像ＩＭ２が提供されることにより、ユーザは、現在の露出が十分大きいものであると気付くことができる。
【００４８】
同様に、一般的に、入力画像ＩＭ０のみを見た場合に注目領域が過度に明るいと感じると、ユーザは、露出を小さくして撮像を行う。このとき、注目領域が明るいと感じた原因が実際にはディスプレイの特性又は撮像環境の暗さなどであった場合には、露出を小さくした結果、露出アンダーとなる可能性がある。しかし、図５に例示した画面を表示し、例えば人間の視覚の特性により注目領域が比較的暗く見える第１出力画像ＩＭ１が提供されることにより、ユーザは、現在の露出が大きすぎるものではないと気付くことができる。
【００４９】
（操作部）
操作部１８０は、ボタン、スイッチ、レバー、ダイヤル又はタッチパネルなどの入力装置を用いてユーザの操作を検出し、検出した操作に応じた信号を出力する。例えば、マニュアル（手動）による露出の調整は、操作部１８０を介して行われ得る。また、例えば、ユーザがレリーズボタンを押下することにより、表示部１７０に表示されている入力画像が、最終的な撮像画像としてフラッシュメモリ１３０に記憶される。
【００５０】
［１−２．処理の流れ］
図６は、本実施形態に係る画像処理装置１００の画像加工部１４０及び表示制御部１６０による処理の流れの一例を示すフローチャートである。
【００５１】
図６を参照すると、まず、画像加工部１４０は、ＤＲＡＭ１２８又はフラッシュメモリ１３０から入力画像を取得する（ステップＳ１０２）。次に、画像加工部１４０の注目領域設定部１４２は、ユーザにより注目されるべき注目領域を設定する（ステップＳ１０４）。次に、対比画像生成部１４６は、白色画像と黒色画像とを取得する（ステップＳ１０６）。次に、対比画像生成部１４６は、入力画像と白色画像とを混合することにより、入力画像の輝度を増加させた第１対比画像を生成する（ステップＳ１０８）。また、対比画像生成部１４６は、入力画像と黒色画像とを混合することにより、入力画像の輝度を減少させた第２対比画像を生成する（ステップＳ１１０）。
【００５２】
次に、出力画像生成部１４８は、注目領域における入力画像の部分画像と、非注目領域における第１対比画像の部分画像とを結合することにより、第１出力画像を生成する（ステップＳ１１２）。また、出力画像生成部１４８は、注目領域における入力画像の部分画像と、非注目領域における第２対比画像の部分画像とを結合することにより、第２出力画像を生成する（ステップＳ１１４）。そして、表示制御部１６０は、図５を用いて説明したように、入力画像、第１出力画像及び第２出力画像を、１つの画面上に配置して表示部１７０に表示させる（ステップＳ１１６）。
【００５３】
＜２．第２の実施形態＞
上述した第１の実施形態では、入力画像に加えて、人間の視覚の特性上注目領域が明るく見える画像と注目領域が暗く見える画像とを並列的に表示する画面をユーザに提供する構成について説明した。本発明の第２の実施形態では、このような人間の視覚の特性を利用する手法を、低消費電力モードにおける撮像の失敗の防止に応用する。以下、図７〜図９を用いて、本発明の第２の実施形態に係る画像処理装置２００について説明する。
【００５４】
［２−１．装置の構成例］
図７は、本発明の第２の実施形態に係る画像処理装置２００の構成を示すブロック図である。図７を参照すると、画像処理装置２００は、撮像部１１０、バス１２０、ＡＥ検波部１２２、ＣＰＵ２２４、信号処理部１２６、ＤＲＡＭ１２８、フラッシュメモリ１３０、画像加工部２４０、表示制御部２６０、表示部１７０及び操作部１８０を備える。
【００５５】
（ＣＰＵ）
ＣＰＵ２２４は、画像処理装置２００のプロセッサとして動作し、例えばフラッシュメモリ１３０に予め格納されるプログラムを実行することにより、画像処理装置２００の機能全般を制御する。例えば、ＣＰＵ２２４は、第１の実施形態に係るＣＰＵ１２４と同様の処理を行うほかに、表示部１７０による消費電力を制御する。
【００５６】
より具体的には、例えば、ＣＰＵ２２４は、画像処理装置２００が有する電池の残量が少ない場合、又は一定時間ユーザの操作が検出されない場合に、低消費電力モードで画像処理装置２００を動作させることを決定する。そして、ＣＰＵ２２４は、低消費電力モードにおいては、表示部１７０の画面の輝度を下げる（例えばＬＣＤのバックライトの点灯数を少なくする）ことにより、電力の消費を抑制する。さらに、ＣＰＵ２２４は、現時点での消費電力モード（通常モード又は低消費電力モード）を、表示制御部２６０へ通知する。
【００５７】
（画像加工部）
画像加工部２４０は、ＤＲＡＭ１２８により一時的に記憶される撮像画像、又はフラッシュメモリ１３０により記憶されている撮像画像を入力画像として取得し、当該入力画像を加工することにより、出力画像を生成する。本実施形態において、画像加工部２４０により生成される出力画像は、いわゆるアンダーソンの錯視を利用して、入力画像の注目領域に映った被写体が出力画像を視認したユーザにより明るく見えるように生成される画像である。
【００５８】
図８は、画像加工部２４０の具体的な構成の一例を示すブロック図である。図８を参照すると、画像加工部２４０は、注目領域設定部１４２、対比画像生成部２４６及び出力画像生成部２４８を含む。
【００５９】
対比画像生成部２４６は、例えば上述した式（２）に従って、予め用意される黒色画像と入力画像とを一定の割合で混合することにより、入力画像の輝度を減少させた対比画像を生成する。そして、対比画像生成部２４６は、生成した対比画像を出力画像生成部２４８へ出力する。
【００６０】
出力画像生成部２４８は、入力画像の注目領域における部分画像と、非注目領域における対比画像の部分画像とを結合することにより、出力画像を生成する。本実施形態において出力画像生成部２４８により生成される出力画像は、注目領域の周囲の領域が注目領域よりも暗く変化した画像となる。出力画像生成部２４８は、このように生成した出力画像を、表示制御部２６０へ出力する。
【００６１】
（表示制御部）
表示制御部２６０は、表示部１７０に表示させる画像の選択、変形、情報の付加、又はユーザ操作に応じた切換えなどの、表示に関する制御を行う。また、本実施形態において、表示制御部２６０は、画像処理装置２００が低消費電力モードで動作している場合には出力画像生成部２４８により生成される出力画像を、画像処理装置２００が通常モードで動作している場合には入力画像を、表示部１７０に表示させる。表示制御部２６０による表示の切り替えは、ＣＰＵ２２４からのモード通知に応じて行われる。従って、表示部１７０により、通常モードにおいては図５に例示した画像ＩＭ０、低消費電力モードにおいては図５に例示した画像ＩＭ２にそれぞれ相当する画像が、画面上に表示され得る（画像の大きさは適宜調整される）。
【００６２】
このような表示により、低消費電力モードにおいて表示部１７０の画面の輝度が抑えられている場合であっても、人間の視覚を通して感じられる注目領域の明るさを、通常モードの場合の明るさに近付けることができる。それにより、ユーザが露出が適正か否かを誤認して撮像を失敗する可能性が低減される。
【００６３】
［２−２．処理の流れ］
図９は、本実施形態に係る表示制御部２６０による処理の流れの一例を示すフローチャートである。
【００６４】
図９を参照すると、まず、表示制御部２６０は、ＣＰＵ２２４から現在の消費電力モードを取得する（ステップＳ２０２）。次に、表示制御部２６０は、取得した消費電力モードが低消費電力モードであるか否かを判定する（ステップＳ２０４）。ここで、現在の消費電力モードが低消費電力モードである場合には、処理はステップＳ２０６へ進む。一方、現在の消費電力モードが通常モードである場合には、処理はステップＳ２０８へ進む。
【００６５】
現在の消費電力モードが低消費電力モードである場合には、表示制御部２６０は、黒色画像を用いて画像加工部２４０により生成された出力画像を、表示部１７０に表示させるべき画像として選択する（ステップＳ２０６）。一方、現在の消費電力モードが通常モードである場合には、表示制御部２６０は、ＤＲＡＭ１２８又はフラッシュメモリ１３０から取得される入力画像を、表示部１７０に表示させるべき画像として選択する（ステップＳ２０８）。そして、表示制御部２６０は、選択した画像を、表示部１７０へ出力する（ステップＳ２１０）。
【００６６】
＜３．まとめ＞
ここまで、図２〜図９を用いて、本発明の第１の実施形態及び第２の実施形態について説明した。これら実施形態によれば、ユーザにより注目されるべき注目領域においては入力画像の部分画像、非注目領域においては入力画像の輝度を増加又は減少させることにより生成された対比画像の部分画像が含まれる出力画像が、画面上に表示される。それにより、注目領域における部分画像が、その実際の輝度よりも暗く又は明るくユーザの視覚を通じて直感的に認識される。従って、露出が適正か否かを誤認し易い状況下において、ユーザによる露出の把握を支援し、露出オーバー又は露出アンダーなどの撮像の失敗のリスクを低減することができる。また、低消費電力モードにおいて画面の輝度が低下している状況においても、注目領域の直感的な明るさを通常モードの場合の明るさに近付けて、ユーザに感じさせることができる。
【００６７】
なお、本明細書において説明した第１又は第２の実施形態に係る一連の処理をハードウェアで実現するかソフトウェアで実現するかは問わない。一連の処理又はその一部をソフトウェアで実現する場合には、ソフトウェアを構成するプログラムが、予め半導体メモリ又はハードディスクなどの記憶媒体に格納され、ＣＰＵなどのプロセッサにより実行される。
【００６８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６９】
１００，２００ 画像処理装置
１４０，２４０ 画像加工部
１４２ 注目領域設定部（設定部）
１４６，２４６ 対比画像生成部
１４８，２４８ 出力画像生成部
１６０，２６０ 表示制御部
１７０ 表示部
【特許請求の範囲】
【請求項１】
撮像素子を用いて撮像された入力画像を加工することにより出力画像を生成する画像処理装置であって、
ユーザにより注目されるべき注目領域を設定する設定部と、
前記入力画像の輝度を増加又は減少させることにより対比画像を生成する対比画像生成部と、
前記入力画像の前記注目領域における部分画像と前記注目領域以外の領域である非注目領域における前記対比画像の部分画像とを結合することにより前記出力画像を生成する出力画像生成部と、
を備える、画像処理装置。
【請求項２】
前記対比画像生成部は、前記入力画像の輝度を増加させることにより第１対比画像を生成し、及び、前記入力画像の輝度を減少させることにより第２対比画像を生成し、
前記出力画像生成部は、前記第１対比画像を用いて第１出力画像を生成し、及び、前記第２対比画像を用いて第２出力画像を生成し、
前記画像処理装置は、
前記入力画像、前記第１出力画像及び前記第２出力画像を表示装置に表示させる表示制御部、
をさらに備える、
請求項１に記載の画像処理装置。
【請求項３】
前記対比画像生成部は、前記入力画像と白色画像とを混合することにより前記第１対比画像を生成し、及び、前記入力画像と黒色画像とを混合することにより前記第２対比画像を生成する、請求項２に記載の画像処理装置。
【請求項４】
前記対比画像生成部は、前記入力画像の輝度を減少させることにより前記対比画像を生成し、
前記画像処理装置は、
前記画像処理装置が低消費電力モードで動作している場合に前記出力画像生成部により生成される前記出力画像を表示装置に表示させる表示制御部、
をさらに備える、
請求項１に記載の画像処理装置。
【請求項５】
前記対比画像生成部は、アンダーソンの錯視を利用し、前記入力画像の前記注目領域における部分画像が前記出力画像を視認したユーザにより明るく又は暗く見えるように、前記対比画像を生成する、請求項１に記載の画像処理装置。
【請求項６】
撮像素子を用いて撮像された入力画像を加工することにより出力画像を生成するための画像処理方法であって、
ユーザにより注目されるべき注目領域を設定するステップと、
前記入力画像の輝度を増加又は減少させることにより対比画像を生成するステップと、
前記入力画像の前記注目領域における部分画像と前記注目領域以外の領域である非注目領域における前記対比画像の部分画像とを結合することにより前記出力画像を生成するステップと、
を含む、画像処理方法。
【請求項７】
撮像素子を用いて撮像された入力画像を加工することにより出力画像を生成する画像処理装置を制御するコンピュータを、
ユーザにより注目されるべき注目領域を設定する設定部と、
前記入力画像の輝度を増加又は減少させることにより対比画像を生成する対比画像生成部と、
前記入力画像の前記注目領域における部分画像と前記注目領域以外の領域である非注目領域における前記対比画像の部分画像とを結合することにより前記出力画像を生成する出力画像生成部と、
として機能させるための、プログラム。
【請求項１】
撮像素子を用いて撮像された入力画像を加工することにより出力画像を生成する画像処理装置であって、
ユーザにより注目されるべき注目領域を設定する設定部と、
前記入力画像の輝度を増加又は減少させることにより対比画像を生成する対比画像生成部と、
前記入力画像の前記注目領域における部分画像と前記注目領域以外の領域である非注目領域における前記対比画像の部分画像とを結合することにより前記出力画像を生成する出力画像生成部と、
を備える、画像処理装置。
【請求項２】
前記対比画像生成部は、前記入力画像の輝度を増加させることにより第１対比画像を生成し、及び、前記入力画像の輝度を減少させることにより第２対比画像を生成し、
前記出力画像生成部は、前記第１対比画像を用いて第１出力画像を生成し、及び、前記第２対比画像を用いて第２出力画像を生成し、
前記画像処理装置は、
前記入力画像、前記第１出力画像及び前記第２出力画像を表示装置に表示させる表示制御部、
をさらに備える、
請求項１に記載の画像処理装置。
【請求項３】
前記対比画像生成部は、前記入力画像と白色画像とを混合することにより前記第１対比画像を生成し、及び、前記入力画像と黒色画像とを混合することにより前記第２対比画像を生成する、請求項２に記載の画像処理装置。
【請求項４】
前記対比画像生成部は、前記入力画像の輝度を減少させることにより前記対比画像を生成し、
前記画像処理装置は、
前記画像処理装置が低消費電力モードで動作している場合に前記出力画像生成部により生成される前記出力画像を表示装置に表示させる表示制御部、
をさらに備える、
請求項１に記載の画像処理装置。
【請求項５】
前記対比画像生成部は、アンダーソンの錯視を利用し、前記入力画像の前記注目領域における部分画像が前記出力画像を視認したユーザにより明るく又は暗く見えるように、前記対比画像を生成する、請求項１に記載の画像処理装置。
【請求項６】
撮像素子を用いて撮像された入力画像を加工することにより出力画像を生成するための画像処理方法であって、
ユーザにより注目されるべき注目領域を設定するステップと、
前記入力画像の輝度を増加又は減少させることにより対比画像を生成するステップと、
前記入力画像の前記注目領域における部分画像と前記注目領域以外の領域である非注目領域における前記対比画像の部分画像とを結合することにより前記出力画像を生成するステップと、
を含む、画像処理方法。
【請求項７】
撮像素子を用いて撮像された入力画像を加工することにより出力画像を生成する画像処理装置を制御するコンピュータを、
ユーザにより注目されるべき注目領域を設定する設定部と、
前記入力画像の輝度を増加又は減少させることにより対比画像を生成する対比画像生成部と、
前記入力画像の前記注目領域における部分画像と前記注目領域以外の領域である非注目領域における前記対比画像の部分画像とを結合することにより前記出力画像を生成する出力画像生成部と、
として機能させるための、プログラム。
【図１Ａ】
【図１Ｂ】
【図２】
【図４】
【図６】
【図７】
【図８】
【図９】
【図３】
【図５】
【図１Ｂ】
【図２】
【図４】
【図６】
【図７】
【図８】
【図９】
【図３】
【図５】
【公開番号】特開２０１１−１３５１７３（Ｐ２０１１−１３５１７３Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９０７７６（Ｐ２００９−２９０７７６）
【出願日】平成２１年１２月２２日（２００９．１２．２２）
【出願人】（５００５４８８８４）三星テクウィン株式会社 (156)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２２日（２００９．１２．２２）
【出願人】（５００５４８８８４）三星テクウィン株式会社 (156)
【Ｆターム（参考）】
[ Back to top ]