撮像装置及び画像処理方法
【課題】被写体画像に対して、ユーザが望む領域に所望の画像処理を施す。
【解決手段】被写体像が結像されて被写体の画像データを取得する撮像素子１７０と、画像データに基づいて画像を表示する表示部１０２と、表示部１０２内の任意の領域を指定する領域指定部１２０と、撮像した画像データについて、領域の内外で異なる画像処理を行う画像処理部１８０と、を備える。
【解決手段】被写体像が結像されて被写体の画像データを取得する撮像素子１７０と、画像データに基づいて画像を表示する表示部１０２と、表示部１０２内の任意の領域を指定する領域指定部１２０と、撮像した画像データについて、領域の内外で異なる画像処理を行う画像処理部１８０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、被写体画像から自動的に人物(顔)などのある領域を特定し、その領域に適した処理を適用する技術が知られている。また、予めユーザが選択できる撮影シーン別モード(夜景、ポートレート、など)を用意し、撮影時にユーザがモードを指定することで、撮影シーンに適した画像を生成する手法なども知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２７９６０１号公報
【特許文献２】特開２００９−１２４２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ユーザが意図的に撮像画像のある領域に対して優先的な画像処理を望む場合が想定される。上記従来技術では、このような場合にユーザの意向を反映して撮影を行うことができない問題がある。つまり、上記の技術では、画像中の特定の領域に、ユーザが指定した内容の画像処理を反映させて撮影することができなかった。
【０００５】
例えば撮像装置が自動的に人の顔を検出する場合においては、多人数の被写体から自動検出された複数の顔の中に、ユーザが優先して検出して欲しい人物が含まれていない場合が生じる。このような場合、優先して検出して欲しい人物にユーザが望む所望の画像処理をすることはできなかった。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、被写体画像に対して、ユーザが望む領域に所望の画像処理を施すことが可能な、新規かつ改良された撮像装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、被写体像が結像されて被写体の画像データを取得する撮像素子と、前記画像データに基づいて画像を表示する表示部と、ユーザの入力に応じて前記表示部内の任意の領域を指定する領域指定部と、撮像した画像データについて、前記領域の内外で異なる画像処理を行う画像処理部と、を備える撮像装置が提供される。かかる構成によれば、撮像素子によって取得された画像データに基づいて表示部に画像が表示され、ユーザの入力に応じて表示部内の任意の領域が指定される。そして、撮像した画像データについて、領域の内外で異なる画像処理が行われる。従って、ユーザが望む領域に所望の画像処理を施すことが可能となる。
【０００８】
また、上記課題を解決するために、本発明の別の観点によれば、被写体像が結像されて被写体の画像データを取得する撮像素子と、前記画像データに基づいて画像を表示する表示部と、前記画像から特定のオブジェクトの領域を検出するオブジェクト検出部と、ユーザの入力に応じて前記オブジェクトの検出範囲を指定する領域指定部と、撮像した画像データについて、検出されたオブジェクトの領域の内外で異なる画像処理を行う画像処理部と、を備える撮像装置が提供される。かかる構成によれば、撮像素子によって取得された画像データに基づいて表示部に画像が表示され、画像から特定のオブジェクトの領域が検出され、ユーザの入力に応じてオブジェクトの検出範囲が指定される。そして、撮像した画像データについて、検出されたオブジェクトの領域の内外で異なる画像処理が行われる。従って、ユーザが望むオブジェクトに対して所望の画像処理を施すことが可能となる。
【０００９】
また、ユーザの入力に応じて、前記領域を補正する領域補正部を備える。かかる構成によれば、ユーザの入力に応じて領域が補正されるため、撮像装置の移動、手振れなどによって領域が変化した場合であっても、所望の領域に補正することができる。
【００１０】
また、ユーザによる操作情報の入力に応じて、前記領域を削除する領域削除部を備える。かかる構成によれば、ユーザによる操作情報の入力に応じて領域が削除されるため、ユーザが意図しない領域に応じて画像処理が行われることを回避できる。
【００１１】
また、前記画像データに基づいて被写体の動きを検出する動き検出部と、前記被写体の動きに基づいて、前記領域を補正する領域補正部と、を備える。かかる構成によれば、画像データに基づいて被写体の動きが検出され、被写体の動きに基づいて領域が補正されるため、撮像装置の移動、手振れなどによって領域が変化した場合であっても、所望の領域に補正することができる。
【００１２】
また、前記画像データに基づいて被写体の動きを検出する動き検出部と、前記被写体の動きに基づいて、前記領域を削除する領域削除部と、を備える。かかる構成によれば、画像データに基づいて被写体の動きが検出され、被写体の動きに基づいて領域が削除されるため、ユーザが意図しない領域に応じて画像処理が行われることを回避できる。
【００１３】
また、各画素の座標に応じて、前記領域の内外における画像処理結果を切り換えて出力するセレクタを備える。かかる構成によれば、各画素の座標に応じて領域の内外における画像処理結果が切り換えられて出力されるため、領域の内外で異なる画像処理を行うことができる。
【００１４】
また、前記領域の内外における画像処理結果を合成し、前記領域の中央からの距離に応じて、合成比率を変更して出力する合成部を備える。かかる構成によれば、領域の内外における画像処理結果が合成され、領域の中央からの距離に応じて合成比率が変更されるため、領域の内外で滑らかに画像処理を変化させることができる。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、被写体像が結像される撮像素子から被写体の画像データを取得するステップと、前記画像データに基づいて画像を表示するステップと、表示された画像の任意の領域を指定するステップと、撮像した画像データについて、前記領域の内外で異なる画像処理を行うステップと、を備える画像処理方法が提供される。かかる構成によれば、撮像素子によって取得された画像データに基づいて画像が表示され、表示された画像の任意の領域が指定される。そして、撮像した画像データについて、領域の内外で異なる画像処理が行われる。従って、ユーザが望む領域に所望の画像処理を施すことが可能となる。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、被写体像が結像される撮像素子から被写体の画像データを取得するステップと、前記画像データに基づいて画像を表示するステップと、前記画像から特定のオブジェクトの領域を検出するステップと、ユーザの入力に応じて前記オブジェクトの検出範囲を指定するステップと、撮像した画像データについて、検出されたオブジェクトの領域の内外で異なる画像処理を行うステップと、を備える画像処理方法が提供される。かかる構成によれば、撮像素子によって取得された画像データに基づいて画像が表示され、画像から特定のオブジェクトの領域が検出され、ユーザの入力に応じてオブジェクトの検出範囲が指定される。そして、撮像した画像データについて、検出されたオブジェクトの領域の内外で異なる画像処理が行われる。従って、ユーザが望むオブジェクトに対して所望の画像処理を施すことが可能となる。
【発明の効果】
【００１７】
本発明によれば、被写体画像に対して、ユーザが望む領域に所望の画像処理を施すことが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る撮像装置の外観を示す模式図である。
【図２】ユーザが始点にタッチし、終点までドラッグすることにより、始点と終点を結ぶ直線を対角線とする矩形の領域Ａ１を指定した場合を示す模式図である。
【図３】ユーザが始点にタッチし、フリーハンドで終点までドラッグすることにより、ユーザが所望の領域Ａ２を指定した場合を示す模式図である。
【図４】本実施形態に係る撮像装置の処理を示すフローチャートである。
【図５】図３で説明した顔検出を行う場合の処理を示すフローチャートである。
【図６】補正処理を行う場合の表示画面の推移例を示す模式図である。
【図７】指定領域をマニュアル操作で補正する例を示す模式図である。
【図８】領域選択中に一定時間が経過したことにより、指定された領域をキャンセルする例を示す模式図である。
【図９】領域選択中に撮像装置の移動に伴って指定された領域内のオブジェクトが移動した場合に、選択を解除するか否かをユーザに選択させる例を示す模式図である。
【図１０】領域選択中にユーザの意思で選択を解除する場合を示す模式図である。
【図１１】撮像装置１００の機能ブロック構成を示す模式図である。
【図１２】第１の画像処理部での画像処理で用いられるオート用のトーン補正処理カーブを示す特性図である。
【図１３】第２の画像処理部での画像処理に用いられるポートレート用のトーン補正処理カーブを示す特性図である。
【図１４】指定領域の境界付近で画像処理を段階的に変化させる場合の構成を示す模式図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
図１は、本発明の一実施形態に係る撮像装置１００の外観を示す模式図である。図１は、撮像装置１００を背面から見た状態を示しており、撮像装置１００の背面には液晶表示パネル等から構成される表示部１０２が設けられている。撮像装置１００は、図１に示す反対側の面に撮像光学系を備え、撮像光学系により被写体像が撮像素子の撮像面に結像されて、被写体像が画像信号に変換される。表示部１０２は、撮像素子で取得された画像信号に基づいてビュー画像（ライブ画像）を表示する。なお、図１の左側はデジタルカメラの一例を示しており、右側は携帯電話の機能を備えたＰＤＡの一例を示している。
【００２１】
また、撮像装置１００には、シャッターボタン、領域指定ボタンなどの各種ポインティングデバイスが設けられている。本実施形態において、ユーザは、表示部１０２に表示されているビュー画像に対して、ポインティングデバイスを指で操作することにより、特定のエリア（以下、指定領域または選択領域と称する）を１つまたは複数指定することができる。そして、その指定エリアに対して所定の画像処理を選択して適用させることができる。なお、表示部１０２に透明電極からなるタッチパネル式のセンサが設けられている場合、領域指定はタッチパネルの操作により行うことができる。
【００２２】
以下、本実施形態における領域の指定について、図面に基づいて説明する。以下では、表示部１０２にタッチパネル式のセンサが設けられている場合について説明する。なお、領域指定の方法はタッチパネルに限定されるものではなく、操作ボタンによる領域指定であっても構わない。
【００２３】
図２は、ユーザが始点にタッチし、終点までドラッグすることにより、始点と終点を結ぶ直線を対角線とする矩形の領域Ａ１を指定した場合を示している。なお、図２では矩形の領域を示しているが、円または楕円の領域であってもよい。図２に示すように、表示部１０２に表示された人の顔を中心とした領域Ａ１を指定することにより、顔の近辺の指定領域内で所定の画像処理を行うことができる。
【００２４】
図３は、ユーザが始点にタッチし、フリーハンドで終点までドラッグすることにより、ユーザが所望の領域Ａ２を指定した場合を示している。図３は、撮像装置１００が備える顔検出機能により複数の顔が検出されている場合に、自動的に検出された顔以外の顔をユーザが指定して所定の画像処理を施す場合を示している。ここで、撮像装置１００の顔検出機能は、一度に３つまで顔を検出できる設定とする。
【００２５】
図３の最も上に示す図は、撮像装置１００の顔検出機能により、表示部１０２内に３つの顔が自動的に検出された状態を示している。検出された３つの顔は、矩形の領域Ａ３で示されている。ユーザが表示部１０２の最も左に位置する人の顔検出を望んでおらず、表示部１０２の右に位置する複数の人の中から３つの顔を検出したい場合、右側に位置する複数の顔を含む領域をフリーハンド（点線）で描いて、領域Ａ２を指定する（図３の真中の図）。
【００２６】
以上のようにして領域Ａ２を指定した後、例えばユーザが表示画面１０２を１回だけタッチすると、図３の最も下の図に示すように、ユーザが指定した領域Ａ２内で顔検出をした結果、３つの顔のエリア（矩形の領域Ａ４）が表示される。これにより、ユーザが指定した領域Ａ２内で３つの顔が検出されたことになる。顔検出のリリース後、ユーザは必要に応じて、矩形のマークの角や線分にタッチしてドラッグすることで、顔エリアをリサイズすることができる。
【００２７】
また、領域指定後、ユーザが表示画面１０２をダブルタップ(素早く２回タッチ)すると、処理選択メニュー１０４が表示される（図２の下の図を参照）。ユーザは、指定した領域の画像処理について、「シャープ」、「ソフト」、「コントラスト」、「あざやか」、「カスタム」などの項目を指定することにより、指定した領域（図２の領域Ａ２、図３の領域Ａ４）に対して撮影時に所望の画像処理を行うことができる。例えば、ユーザが「シャープ」の項目を選択した場合、指定した領域内の画像を領域外よりもシャープにする画像処理が行われる。
【００２８】
なお、ユーザによって領域が指定されていない状態でダブルタップした場合には、画面全体に対してユーザが選択した処理を適用する。また、タッチした状態でドラッグがされていない場合、領域指定がされていないものとして、数秒待機した後、処理選択メニュー表示するようにしても良い。選択できる画像処理は、プリセットのもの、ユーザが自分で登録したものなどを含むことができる。
【００２９】
図４は、本実施形態に係る撮像装置１００の処理を示すフローチャートであって、図２に示す通常の領域指定の場合に対応する。先ず、ステップＳ１０では表示部１０２にビュー画像を表示する。次のステップＳ１２では、ユーザによる領域指定があったか否かを判定し、領域指定があった場合はステップＳ１４へ進む。ステップＳ１４では、ユーザの操作に応じて表示部１０２に画像処理メニューを表示する。図２に示したように、画像処理メニューはポップアップの画面により表示することができる。次のステップＳ１６では、ユーザにより表示画面１０２上の画像処理メニューが選択される。次のステップＳ１８では、選択されたメニューに従って画像処理パラメータを更新する。ステップＳ１８では、図２に示したような「シャープ」、「ソフト」、「コントラスト」、「あざやか」、「カスタム」などの項目からユーザが１つの項目を選択した場合、選択した項目に対応するように画像処理のパラメータの設定を更新する。
【００３０】
ステップＳ１８の後は、ステップＳ２０へ進む。また、ステップＳ１２でユーザによる領域指定がなかった場合もステップＳ２０へ進む。ステップＳ２０では、ユーザによりシャッターボタンが押し下げられ、撮像素子にて被写体の画像データが取得される。次のステップＳ２２では、ステップＳ１８で更新された画像処理パラメータによって撮像された被写体の画像データに対する画像処理が行われる。なお、ステップＳ１２でユーザによる領域指定がなかった場合は、デフォルトのパラメータによって画像処理を行う。次のステップＳ２４では、画像処理が施された撮影画像のデータを表示部１０２に表示し、また外部メモリなどのメモリに保存する。
【００３１】
また、図５は、図３で説明した顔検出を行う場合の処理を示すフローチャートである。この場合、先ずステップＳ３０にて表示部１０２にビュー画像を表示する。次のステップＳ３２では、表示部１０２内において、画像の特徴量から顔検出を行う。次のステップＳ３４では、ユーザによる領域指定があったか否かを判定し、領域指定があった場合はステップＳ３６へ進む。ステップＳ３６では、指定された領域に関する情報（指定領域情報）を生成し、ステップＳ３２へ戻る。この場合、ステップＳ３２では、ステップＳ３６で生成した指定領域情報に基づいて顔検出を行なう。これにより、指定領域内で顔検出が再度行われる。
【００３２】
ステップＳ３４で領域指定がない場合は、ステップＳ３８へ進む。ステップＳ３８では、ユーザによりシャッターボタンが押し下げられ、撮像素子にて被写体の画像データが取得される。次のステップＳ４０では、検出された顔エリアにおいて顔に適した所定の画像処理を行う。上述したメニュー画面により特定の項目が選択されている場合は、その項目に適した画像処理を行う。次のステップＳ４２では、画像処理が施された画像データを表示部１０２に表示し、またメモリに保存する。
【００３３】
次に、ユーザによって指定された領域を補正する手法について説明する。通常、撮像装置１００はユーザが手に持って撮影するため、領域を選択した後、手振れなどの要因により、領域指定された対象（物)が選択領域またはビュー画面から外れてしまうことが想定される。このような場合、以下の処理を行う。
【００３４】
先ず、指定領域を補正する場合は、指定領域内のオブジェクトに対してオブジェクトの特徴量に基づいて動きを追跡し、動きに応じて指定領域位置を補正する。
【００３５】
図６は、補正処理を行う場合の表示画面１０２の推移例を示す模式図である。図６に示す例では、図３と同様に右上の複数の顔を含む領域（破線で示す領域Ａ２）を指定した後、領域を確定する前に撮像装置１００の位置が移動したことによって、表示部１０２内で４人の顔の位置が左側に移動した場合を示している。この場合、指定領域Ａ２内のオブジェクト（顔）の動きをその特徴量から追跡し、顔の移動に応じて指定領域Ａ２を移動させる。なお、指定領域の確定は、表示部１０２を所定回数タップすること、ポインティングデバイスを操作すること、シャッターボタンを半押しにすること等の動作により行うことができる。
【００３６】
また、図７は、指定領域をマニュアル操作で補正する例を示している。右側の４人の顔を含む領域を指定しているときに撮像装置１００が移動し、指定した領域（破線で示す領域Ａ２）が４人の顔の位置から外れた場合、ユーザが指定領域Ａ２（選択エリア）をドラッグして動かすことにより指定領域を補正する。これにより、撮像装置１００が動いた場合に、ユーザの意図しない領域が指定されてしまうことを抑止できる。
【００３７】
次に、ユーザによって指定された領域をキャンセルする手法について説明する。撮像装置１００は、指定領域内の特徴量(ヒストグラム、エッジ)を取得してモニタしておき、一定量以上の変化があった場合にその指定領域をキャンセルする。または、撮像装置１００は、キャンセルして良いかユーザに問い合わせる表示を行う。ユーザがキャンセルを許可した場合、指定領域のキャンセル操作を行う。
【００３８】
図８は、領域選択中に一定時間が経過したことにより、指定された領域をキャンセルする例を示す模式図である。図８の上段の図は、図２と同様に、破線で示す矩形領域Ａ１を選択している状態を示している。この領域選択中に撮像装置１００が移動し、指定した領域（破線で示す矩形領域）が顔の位置から外れた場合（図８の中段の図）、一定時間が経過した後に指定領域の選択を解除する（図８の下段の図）。撮像装置１００の移動により指定領域が外れたか否かは、指定領域内の特徴量の変化に基づいて行う。
【００３９】
また、図９は、領域選択中に撮像装置１００の移動に伴って指定された領域内のオブジェクトが移動した場合に、選択を解除するか否かをユーザに選択させる例を示す模式図である。図９の上段の図は、破線で示す矩形領域Ａ１を選択している状態を示している。この領域選択中に撮像装置１００または被写体が移動し、指定した領域（破線で示す矩形領域Ａ１）が顔の位置から外れた場合、選択を削除するか否かをユーザが指定するためのメニュー画面１０６が表示される（図９の中段の図）。ユーザが選択を解除する旨（Ｙｅｓ）を選択した場合、指定領域の選択を解除する（図９の下段の図）。この場合においても、撮像装置１００の移動により指定領域が外れたか否かは、指定領域内の特徴量の変化に基づいて行う。
【００４０】
図１０は、領域選択中にユーザの意思で選択を解除する場合を示している。図１０の上段の図は、破線で示す矩形領域Ａ１を選択している状態を示している。ユーザは、選択した領域をキャンセルしたい場合は、タッチパネル上で矩形領域Ａ１の境界を左右にこする操作をすることにより（図１０の中段の図）、選択を解除することができる（図１０の下段の図）。なお、選択を解除する方法は、この他にも様々な手法が考えられ、例えば撮像装置１００のポインティングデバイスにキャンセルボタンを設定しておき、ユーザがこれを操作した場合は選択を解除するようにしても良い。
【００４１】
次に、上述の機能を実現する構成と、ユーザに選択された領域に対する画像処理を行う構成について説明する。図１１は、撮像装置１００の機能ブロック構成を示す模式図である。図１１に示すように、撮像装置１００は、入力部１１０、領域指定部１２０、領域補正部１３０、顔検出部１４０、動き検出部１５０、表示処理部１６０、画像入力部１７０、画像処理部１８０、セレクタ１９０、領域信号生成部２００、画像記録部２１０を有して構成される。図１１に示す各ブロックは、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）により構成することができる。このプログラムは、撮像装置１００が備えるメモリ、または撮像装置１００に外部から接続されるメモリなどの記録媒体に格納されることができる。
【００４２】
図１１において、入力部１１０は、上述したタッチパネル、またはポインティングデバイスに対応する。領域指定部１２０は、入力部１１０への入力に応じて指定領域を指定するブロックである。また領域指定部１２０は、上述した手法で指定した領域を解除する領域指定解除部としての機能も備えている。領域補正部１３０は、撮像装置１００や被写体の移動に伴って指定された領域のオブジェクトが移動した場合に、オブジェクトの移動に伴って指定領域を移動させるブロックである。顔検出部１４０は、画像の特徴量により顔を検出するブロックである。顔検出の手法としては公知のものを用いることができる。顔検出部１４０は、図３で説明したように、領域指定部１２０によって領域Ａ２が指定された場合は、領域Ａ２内で再度顔検出を行う。このため、領域検出部１２０は、顔検出などのオブジェクトを検出する場合は、オブジェクトの検索範囲を指定する機能を担う。
【００４３】
画像入力部１７０は、上述した撮像素子に対応するもので、ＣＭＯＳ、ＣＣＤなどのセンサから構成され、被写体の画像データを入力する。表示処理部１６０は、画像入力部１７０から入力されるビュー画像と、領域指定部１２０によって指定された領域を表示部１０２に表示するための処理を行う。また、表示処理部１６０は、図２に示した画像処理メニュー１０４などのポップアップを表示する処理を行う。動き検出部１５０は、画像入力部１７０から入力されるビュー画像について、指定領域の特徴量をモニタし、特徴量が移動した場合は移動量、移動方向を検出する。領域補正部１３０は、動き検出部１５０で検出された移動量、移動方向に基づいて指定領域を移動させる。また、領域補正部１３０は、補正された指定領域の座標を示す選択領域座標情報を領域信号生成部２００へ送る。なお、撮像装置１００や被写体が移動せず、領域補正が必要ない場合は、領域指定部１２０によって指定された指定領域の座標を示す選択領域座標情報が領域信号生成部２００に送られる。
【００４４】
画像処理部１８０は、シャッターボタンが押し下げられた際に、画像入力部１７０から入力された画像データについて、指定された領域の情報に基づいて領域内と領域外で異なる画像処理を行うブロックである。このため、画像処理部１８０は、第１の画像処理部１８２と第２の画像処理部１８４を備える。第１の画像処理部１８２は指定領域外に対応する画像処理を行い、第２の画像処理部１８４は指定領域内に対応する画像処理を行う。領域信号生成部２００は、選択領域座標情報を受けて、入力された座標の画素が指定領域内であるか指定領域外であるかを示す領域内外信号をセレクタ１９０へ出力する。セレクタ１９０は、各画素の領域内外信号に基づいて、各画素について第１の画像処理部１８２の出力と第２の画像処理部１８４の出力の一方を選択し、画像記録部２１０へ出力する。この際、セレクタ１９０は、指定領域外の画素については第１の画像処理部１８２の処理結果を画像記録部２１０へ出力し、指定領域内の画素については第２の画像処理部１８４の処理結果を画像記録部２１０へ出力する。画像記録部２１０は、外部メモリなどに、セレクタ１９０から出力された画像処理されたデータを記録する。
【００４５】
図１１に示す構成例では、画像処理部１８０は、選択領域の内外で、画像のエッジ検出強度、コントラスト、トーン等の画像処理について、第１の画像処理部１８２と第２の画像処理部１８４とで異なる処理を行う。
【００４６】
以下、画像のトーンについての画像処理を例に挙げて説明する。図１２は、第１の画像処理部１８２での画像処理で用いられるオート（Auto）用のトーン補正（Tone Correction）処理カーブを示す特性図である。また、図１３は、第２の画像処理部１８４での画像処理に用いられるポートレート用のトーン補正処理カーブを示す特性図である。図１２及び図１３において、横軸は画像入力部１７０から入力される画素の輝度値を示しており、縦軸は画像処理後の出力を示している。このように、図１３の特性によれば、図１２の特性に比べてよりコントラストを高める処理が可能となる。
【００４７】
例えば、指定領域の内外でトーンの処理を変える場合、第１の画像処理部１８２は、図１２に示すオート（Auto）用のトーン補正（Tone Correction）処理カーブを用い、第２の画像処理部１８４は、図１３に示すポートレート用のトーン補正処理カーブを用いる。これにより、指定した領域内に人の顔がある場合は、指定した領域内で第２の画像処理部１８４によるポートレート用のトーンカーブで画像処理を行うことにより、人の顔に適した画像処理を行うことができる。また、指定した領域外では、通常のオート用のトーン補正処理を行うことができる。
【００４８】
また、ユーザが指定する領域には、ユーザによる指示のあいまいさ、構図のブレ、または被写体位置の変更等に起因して、実際よりも指定領域が狭くなることが考えられる。このため、領域信号生成部２００では、これらの影響を考慮して、領域指定部１２０、領域補正部１３０から受け取った領域座標に対して、領域を広めに設定した上で領域内外信号を出力するようにしても良い。これにより、ユーザが指定した領域よりも広い領域を設定することができ、ユーザが着目していたオブジェクトに対して確実に所望の画像処理を行うことができる。
【００４９】
図１１の構成では、指定領域の内外で画像処理が切り換わるが、指定領域の境界付近で画像処理を段階的に変化させることもできる。図１４は、指定領域の境界付近で画像処理を段階的に変化させる場合の構成を示す模式図である。なお、図１４において、図１１と同一の構成要素については、一部図示を省略している。この場合、図１１のセレクタの代わりに合成部２２０が設けられる。
【００５０】
図１４に示す構成の場合、領域信号生成部２００によって生成した領域信号に応じて、第１の画像処理部１８２および第２の画像処理部１８４の結果を合成部２２０にて合成した結果を出力する。以下では、画像処理部１８０でエッジ強調処理を行う場合を例に挙げて説明する。この場合、指定領域外については第１の画像処理部１８２から通常モード用のエッジ強調ゲインＧ１を出力し、指定領域内については第２の画像処理部１８４からシャープネス強調用のエッジ強調ゲインＧ２を出力する。合成部２２０では、領域信号ｒｇに応じて、以下の式で求まるＧ３を合成したエッジ強調ゲインとして、各画素のエッジ強調処理をした結果を出力する。
Ｇ３＝((２５５−ｒｇ)＊Ｇ１＋ｒｇ＊Ｇ２)／２５５
【００５１】
これにより、選択領域中心からの距離によって、第１の画像処理部１８２の出力と第２の画像処理部１８４の出力との合成バランスを適応的に決定できる。このとき、領域信号ｒｇは、選択領域座標情報および画像データの座標から、選択領域中心座標から遠ざかるに従って生成する信号の大きさが決定されるものとする。領域信号ｒｇは、各画素について指定領域の中心からの距離を表す信号であり、０から２５５までの値（８ｂｉｔ）とする。領域信号生成部２００は、領域指定部１２０または領域補正部１３０から送られた指定領域の座標から、指定領域の中心座標を求め、各画素について中心座標からの距離を求め、これを規格化して領域信号ｒｇを算出する。
【００５２】
図１１及び図１４で説明したセレクタ１９０による選択、合成部２２０による合成の対象となる処理は、画像処理として適用される様々な各処理に対し、様々な構成例として採用可能である。またユーザの選択領域が２つ以上ある場合には、切り替え対象となる画像処理は３つ以上にすることができる。または、２つ以上の指定領域の全てに第２の画像処理部１８４による処理を適用させることもできる。
【００５３】
以上説明したように本実施形態によれば、撮影時に指定領域の内外で異なる画像処理を適用することができる。従って、ユーザは、特定の領域に好みの画像処理を施すことができ、所望の画像を撮影することが可能となる。
【００５４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００５５】
１００ 撮像装置
１７０ 画像入力部
１０２ 表示部
１２０ 領域指定部
１８０ 画像処理部
【技術分野】
【０００１】
本発明は、撮像装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、被写体画像から自動的に人物(顔)などのある領域を特定し、その領域に適した処理を適用する技術が知られている。また、予めユーザが選択できる撮影シーン別モード(夜景、ポートレート、など)を用意し、撮影時にユーザがモードを指定することで、撮影シーンに適した画像を生成する手法なども知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２７９６０１号公報
【特許文献２】特開２００９−１２４２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ユーザが意図的に撮像画像のある領域に対して優先的な画像処理を望む場合が想定される。上記従来技術では、このような場合にユーザの意向を反映して撮影を行うことができない問題がある。つまり、上記の技術では、画像中の特定の領域に、ユーザが指定した内容の画像処理を反映させて撮影することができなかった。
【０００５】
例えば撮像装置が自動的に人の顔を検出する場合においては、多人数の被写体から自動検出された複数の顔の中に、ユーザが優先して検出して欲しい人物が含まれていない場合が生じる。このような場合、優先して検出して欲しい人物にユーザが望む所望の画像処理をすることはできなかった。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、被写体画像に対して、ユーザが望む領域に所望の画像処理を施すことが可能な、新規かつ改良された撮像装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、被写体像が結像されて被写体の画像データを取得する撮像素子と、前記画像データに基づいて画像を表示する表示部と、ユーザの入力に応じて前記表示部内の任意の領域を指定する領域指定部と、撮像した画像データについて、前記領域の内外で異なる画像処理を行う画像処理部と、を備える撮像装置が提供される。かかる構成によれば、撮像素子によって取得された画像データに基づいて表示部に画像が表示され、ユーザの入力に応じて表示部内の任意の領域が指定される。そして、撮像した画像データについて、領域の内外で異なる画像処理が行われる。従って、ユーザが望む領域に所望の画像処理を施すことが可能となる。
【０００８】
また、上記課題を解決するために、本発明の別の観点によれば、被写体像が結像されて被写体の画像データを取得する撮像素子と、前記画像データに基づいて画像を表示する表示部と、前記画像から特定のオブジェクトの領域を検出するオブジェクト検出部と、ユーザの入力に応じて前記オブジェクトの検出範囲を指定する領域指定部と、撮像した画像データについて、検出されたオブジェクトの領域の内外で異なる画像処理を行う画像処理部と、を備える撮像装置が提供される。かかる構成によれば、撮像素子によって取得された画像データに基づいて表示部に画像が表示され、画像から特定のオブジェクトの領域が検出され、ユーザの入力に応じてオブジェクトの検出範囲が指定される。そして、撮像した画像データについて、検出されたオブジェクトの領域の内外で異なる画像処理が行われる。従って、ユーザが望むオブジェクトに対して所望の画像処理を施すことが可能となる。
【０００９】
また、ユーザの入力に応じて、前記領域を補正する領域補正部を備える。かかる構成によれば、ユーザの入力に応じて領域が補正されるため、撮像装置の移動、手振れなどによって領域が変化した場合であっても、所望の領域に補正することができる。
【００１０】
また、ユーザによる操作情報の入力に応じて、前記領域を削除する領域削除部を備える。かかる構成によれば、ユーザによる操作情報の入力に応じて領域が削除されるため、ユーザが意図しない領域に応じて画像処理が行われることを回避できる。
【００１１】
また、前記画像データに基づいて被写体の動きを検出する動き検出部と、前記被写体の動きに基づいて、前記領域を補正する領域補正部と、を備える。かかる構成によれば、画像データに基づいて被写体の動きが検出され、被写体の動きに基づいて領域が補正されるため、撮像装置の移動、手振れなどによって領域が変化した場合であっても、所望の領域に補正することができる。
【００１２】
また、前記画像データに基づいて被写体の動きを検出する動き検出部と、前記被写体の動きに基づいて、前記領域を削除する領域削除部と、を備える。かかる構成によれば、画像データに基づいて被写体の動きが検出され、被写体の動きに基づいて領域が削除されるため、ユーザが意図しない領域に応じて画像処理が行われることを回避できる。
【００１３】
また、各画素の座標に応じて、前記領域の内外における画像処理結果を切り換えて出力するセレクタを備える。かかる構成によれば、各画素の座標に応じて領域の内外における画像処理結果が切り換えられて出力されるため、領域の内外で異なる画像処理を行うことができる。
【００１４】
また、前記領域の内外における画像処理結果を合成し、前記領域の中央からの距離に応じて、合成比率を変更して出力する合成部を備える。かかる構成によれば、領域の内外における画像処理結果が合成され、領域の中央からの距離に応じて合成比率が変更されるため、領域の内外で滑らかに画像処理を変化させることができる。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、被写体像が結像される撮像素子から被写体の画像データを取得するステップと、前記画像データに基づいて画像を表示するステップと、表示された画像の任意の領域を指定するステップと、撮像した画像データについて、前記領域の内外で異なる画像処理を行うステップと、を備える画像処理方法が提供される。かかる構成によれば、撮像素子によって取得された画像データに基づいて画像が表示され、表示された画像の任意の領域が指定される。そして、撮像した画像データについて、領域の内外で異なる画像処理が行われる。従って、ユーザが望む領域に所望の画像処理を施すことが可能となる。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、被写体像が結像される撮像素子から被写体の画像データを取得するステップと、前記画像データに基づいて画像を表示するステップと、前記画像から特定のオブジェクトの領域を検出するステップと、ユーザの入力に応じて前記オブジェクトの検出範囲を指定するステップと、撮像した画像データについて、検出されたオブジェクトの領域の内外で異なる画像処理を行うステップと、を備える画像処理方法が提供される。かかる構成によれば、撮像素子によって取得された画像データに基づいて画像が表示され、画像から特定のオブジェクトの領域が検出され、ユーザの入力に応じてオブジェクトの検出範囲が指定される。そして、撮像した画像データについて、検出されたオブジェクトの領域の内外で異なる画像処理が行われる。従って、ユーザが望むオブジェクトに対して所望の画像処理を施すことが可能となる。
【発明の効果】
【００１７】
本発明によれば、被写体画像に対して、ユーザが望む領域に所望の画像処理を施すことが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る撮像装置の外観を示す模式図である。
【図２】ユーザが始点にタッチし、終点までドラッグすることにより、始点と終点を結ぶ直線を対角線とする矩形の領域Ａ１を指定した場合を示す模式図である。
【図３】ユーザが始点にタッチし、フリーハンドで終点までドラッグすることにより、ユーザが所望の領域Ａ２を指定した場合を示す模式図である。
【図４】本実施形態に係る撮像装置の処理を示すフローチャートである。
【図５】図３で説明した顔検出を行う場合の処理を示すフローチャートである。
【図６】補正処理を行う場合の表示画面の推移例を示す模式図である。
【図７】指定領域をマニュアル操作で補正する例を示す模式図である。
【図８】領域選択中に一定時間が経過したことにより、指定された領域をキャンセルする例を示す模式図である。
【図９】領域選択中に撮像装置の移動に伴って指定された領域内のオブジェクトが移動した場合に、選択を解除するか否かをユーザに選択させる例を示す模式図である。
【図１０】領域選択中にユーザの意思で選択を解除する場合を示す模式図である。
【図１１】撮像装置１００の機能ブロック構成を示す模式図である。
【図１２】第１の画像処理部での画像処理で用いられるオート用のトーン補正処理カーブを示す特性図である。
【図１３】第２の画像処理部での画像処理に用いられるポートレート用のトーン補正処理カーブを示す特性図である。
【図１４】指定領域の境界付近で画像処理を段階的に変化させる場合の構成を示す模式図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
図１は、本発明の一実施形態に係る撮像装置１００の外観を示す模式図である。図１は、撮像装置１００を背面から見た状態を示しており、撮像装置１００の背面には液晶表示パネル等から構成される表示部１０２が設けられている。撮像装置１００は、図１に示す反対側の面に撮像光学系を備え、撮像光学系により被写体像が撮像素子の撮像面に結像されて、被写体像が画像信号に変換される。表示部１０２は、撮像素子で取得された画像信号に基づいてビュー画像（ライブ画像）を表示する。なお、図１の左側はデジタルカメラの一例を示しており、右側は携帯電話の機能を備えたＰＤＡの一例を示している。
【００２１】
また、撮像装置１００には、シャッターボタン、領域指定ボタンなどの各種ポインティングデバイスが設けられている。本実施形態において、ユーザは、表示部１０２に表示されているビュー画像に対して、ポインティングデバイスを指で操作することにより、特定のエリア（以下、指定領域または選択領域と称する）を１つまたは複数指定することができる。そして、その指定エリアに対して所定の画像処理を選択して適用させることができる。なお、表示部１０２に透明電極からなるタッチパネル式のセンサが設けられている場合、領域指定はタッチパネルの操作により行うことができる。
【００２２】
以下、本実施形態における領域の指定について、図面に基づいて説明する。以下では、表示部１０２にタッチパネル式のセンサが設けられている場合について説明する。なお、領域指定の方法はタッチパネルに限定されるものではなく、操作ボタンによる領域指定であっても構わない。
【００２３】
図２は、ユーザが始点にタッチし、終点までドラッグすることにより、始点と終点を結ぶ直線を対角線とする矩形の領域Ａ１を指定した場合を示している。なお、図２では矩形の領域を示しているが、円または楕円の領域であってもよい。図２に示すように、表示部１０２に表示された人の顔を中心とした領域Ａ１を指定することにより、顔の近辺の指定領域内で所定の画像処理を行うことができる。
【００２４】
図３は、ユーザが始点にタッチし、フリーハンドで終点までドラッグすることにより、ユーザが所望の領域Ａ２を指定した場合を示している。図３は、撮像装置１００が備える顔検出機能により複数の顔が検出されている場合に、自動的に検出された顔以外の顔をユーザが指定して所定の画像処理を施す場合を示している。ここで、撮像装置１００の顔検出機能は、一度に３つまで顔を検出できる設定とする。
【００２５】
図３の最も上に示す図は、撮像装置１００の顔検出機能により、表示部１０２内に３つの顔が自動的に検出された状態を示している。検出された３つの顔は、矩形の領域Ａ３で示されている。ユーザが表示部１０２の最も左に位置する人の顔検出を望んでおらず、表示部１０２の右に位置する複数の人の中から３つの顔を検出したい場合、右側に位置する複数の顔を含む領域をフリーハンド（点線）で描いて、領域Ａ２を指定する（図３の真中の図）。
【００２６】
以上のようにして領域Ａ２を指定した後、例えばユーザが表示画面１０２を１回だけタッチすると、図３の最も下の図に示すように、ユーザが指定した領域Ａ２内で顔検出をした結果、３つの顔のエリア（矩形の領域Ａ４）が表示される。これにより、ユーザが指定した領域Ａ２内で３つの顔が検出されたことになる。顔検出のリリース後、ユーザは必要に応じて、矩形のマークの角や線分にタッチしてドラッグすることで、顔エリアをリサイズすることができる。
【００２７】
また、領域指定後、ユーザが表示画面１０２をダブルタップ(素早く２回タッチ)すると、処理選択メニュー１０４が表示される（図２の下の図を参照）。ユーザは、指定した領域の画像処理について、「シャープ」、「ソフト」、「コントラスト」、「あざやか」、「カスタム」などの項目を指定することにより、指定した領域（図２の領域Ａ２、図３の領域Ａ４）に対して撮影時に所望の画像処理を行うことができる。例えば、ユーザが「シャープ」の項目を選択した場合、指定した領域内の画像を領域外よりもシャープにする画像処理が行われる。
【００２８】
なお、ユーザによって領域が指定されていない状態でダブルタップした場合には、画面全体に対してユーザが選択した処理を適用する。また、タッチした状態でドラッグがされていない場合、領域指定がされていないものとして、数秒待機した後、処理選択メニュー表示するようにしても良い。選択できる画像処理は、プリセットのもの、ユーザが自分で登録したものなどを含むことができる。
【００２９】
図４は、本実施形態に係る撮像装置１００の処理を示すフローチャートであって、図２に示す通常の領域指定の場合に対応する。先ず、ステップＳ１０では表示部１０２にビュー画像を表示する。次のステップＳ１２では、ユーザによる領域指定があったか否かを判定し、領域指定があった場合はステップＳ１４へ進む。ステップＳ１４では、ユーザの操作に応じて表示部１０２に画像処理メニューを表示する。図２に示したように、画像処理メニューはポップアップの画面により表示することができる。次のステップＳ１６では、ユーザにより表示画面１０２上の画像処理メニューが選択される。次のステップＳ１８では、選択されたメニューに従って画像処理パラメータを更新する。ステップＳ１８では、図２に示したような「シャープ」、「ソフト」、「コントラスト」、「あざやか」、「カスタム」などの項目からユーザが１つの項目を選択した場合、選択した項目に対応するように画像処理のパラメータの設定を更新する。
【００３０】
ステップＳ１８の後は、ステップＳ２０へ進む。また、ステップＳ１２でユーザによる領域指定がなかった場合もステップＳ２０へ進む。ステップＳ２０では、ユーザによりシャッターボタンが押し下げられ、撮像素子にて被写体の画像データが取得される。次のステップＳ２２では、ステップＳ１８で更新された画像処理パラメータによって撮像された被写体の画像データに対する画像処理が行われる。なお、ステップＳ１２でユーザによる領域指定がなかった場合は、デフォルトのパラメータによって画像処理を行う。次のステップＳ２４では、画像処理が施された撮影画像のデータを表示部１０２に表示し、また外部メモリなどのメモリに保存する。
【００３１】
また、図５は、図３で説明した顔検出を行う場合の処理を示すフローチャートである。この場合、先ずステップＳ３０にて表示部１０２にビュー画像を表示する。次のステップＳ３２では、表示部１０２内において、画像の特徴量から顔検出を行う。次のステップＳ３４では、ユーザによる領域指定があったか否かを判定し、領域指定があった場合はステップＳ３６へ進む。ステップＳ３６では、指定された領域に関する情報（指定領域情報）を生成し、ステップＳ３２へ戻る。この場合、ステップＳ３２では、ステップＳ３６で生成した指定領域情報に基づいて顔検出を行なう。これにより、指定領域内で顔検出が再度行われる。
【００３２】
ステップＳ３４で領域指定がない場合は、ステップＳ３８へ進む。ステップＳ３８では、ユーザによりシャッターボタンが押し下げられ、撮像素子にて被写体の画像データが取得される。次のステップＳ４０では、検出された顔エリアにおいて顔に適した所定の画像処理を行う。上述したメニュー画面により特定の項目が選択されている場合は、その項目に適した画像処理を行う。次のステップＳ４２では、画像処理が施された画像データを表示部１０２に表示し、またメモリに保存する。
【００３３】
次に、ユーザによって指定された領域を補正する手法について説明する。通常、撮像装置１００はユーザが手に持って撮影するため、領域を選択した後、手振れなどの要因により、領域指定された対象（物)が選択領域またはビュー画面から外れてしまうことが想定される。このような場合、以下の処理を行う。
【００３４】
先ず、指定領域を補正する場合は、指定領域内のオブジェクトに対してオブジェクトの特徴量に基づいて動きを追跡し、動きに応じて指定領域位置を補正する。
【００３５】
図６は、補正処理を行う場合の表示画面１０２の推移例を示す模式図である。図６に示す例では、図３と同様に右上の複数の顔を含む領域（破線で示す領域Ａ２）を指定した後、領域を確定する前に撮像装置１００の位置が移動したことによって、表示部１０２内で４人の顔の位置が左側に移動した場合を示している。この場合、指定領域Ａ２内のオブジェクト（顔）の動きをその特徴量から追跡し、顔の移動に応じて指定領域Ａ２を移動させる。なお、指定領域の確定は、表示部１０２を所定回数タップすること、ポインティングデバイスを操作すること、シャッターボタンを半押しにすること等の動作により行うことができる。
【００３６】
また、図７は、指定領域をマニュアル操作で補正する例を示している。右側の４人の顔を含む領域を指定しているときに撮像装置１００が移動し、指定した領域（破線で示す領域Ａ２）が４人の顔の位置から外れた場合、ユーザが指定領域Ａ２（選択エリア）をドラッグして動かすことにより指定領域を補正する。これにより、撮像装置１００が動いた場合に、ユーザの意図しない領域が指定されてしまうことを抑止できる。
【００３７】
次に、ユーザによって指定された領域をキャンセルする手法について説明する。撮像装置１００は、指定領域内の特徴量(ヒストグラム、エッジ)を取得してモニタしておき、一定量以上の変化があった場合にその指定領域をキャンセルする。または、撮像装置１００は、キャンセルして良いかユーザに問い合わせる表示を行う。ユーザがキャンセルを許可した場合、指定領域のキャンセル操作を行う。
【００３８】
図８は、領域選択中に一定時間が経過したことにより、指定された領域をキャンセルする例を示す模式図である。図８の上段の図は、図２と同様に、破線で示す矩形領域Ａ１を選択している状態を示している。この領域選択中に撮像装置１００が移動し、指定した領域（破線で示す矩形領域）が顔の位置から外れた場合（図８の中段の図）、一定時間が経過した後に指定領域の選択を解除する（図８の下段の図）。撮像装置１００の移動により指定領域が外れたか否かは、指定領域内の特徴量の変化に基づいて行う。
【００３９】
また、図９は、領域選択中に撮像装置１００の移動に伴って指定された領域内のオブジェクトが移動した場合に、選択を解除するか否かをユーザに選択させる例を示す模式図である。図９の上段の図は、破線で示す矩形領域Ａ１を選択している状態を示している。この領域選択中に撮像装置１００または被写体が移動し、指定した領域（破線で示す矩形領域Ａ１）が顔の位置から外れた場合、選択を削除するか否かをユーザが指定するためのメニュー画面１０６が表示される（図９の中段の図）。ユーザが選択を解除する旨（Ｙｅｓ）を選択した場合、指定領域の選択を解除する（図９の下段の図）。この場合においても、撮像装置１００の移動により指定領域が外れたか否かは、指定領域内の特徴量の変化に基づいて行う。
【００４０】
図１０は、領域選択中にユーザの意思で選択を解除する場合を示している。図１０の上段の図は、破線で示す矩形領域Ａ１を選択している状態を示している。ユーザは、選択した領域をキャンセルしたい場合は、タッチパネル上で矩形領域Ａ１の境界を左右にこする操作をすることにより（図１０の中段の図）、選択を解除することができる（図１０の下段の図）。なお、選択を解除する方法は、この他にも様々な手法が考えられ、例えば撮像装置１００のポインティングデバイスにキャンセルボタンを設定しておき、ユーザがこれを操作した場合は選択を解除するようにしても良い。
【００４１】
次に、上述の機能を実現する構成と、ユーザに選択された領域に対する画像処理を行う構成について説明する。図１１は、撮像装置１００の機能ブロック構成を示す模式図である。図１１に示すように、撮像装置１００は、入力部１１０、領域指定部１２０、領域補正部１３０、顔検出部１４０、動き検出部１５０、表示処理部１６０、画像入力部１７０、画像処理部１８０、セレクタ１９０、領域信号生成部２００、画像記録部２１０を有して構成される。図１１に示す各ブロックは、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）により構成することができる。このプログラムは、撮像装置１００が備えるメモリ、または撮像装置１００に外部から接続されるメモリなどの記録媒体に格納されることができる。
【００４２】
図１１において、入力部１１０は、上述したタッチパネル、またはポインティングデバイスに対応する。領域指定部１２０は、入力部１１０への入力に応じて指定領域を指定するブロックである。また領域指定部１２０は、上述した手法で指定した領域を解除する領域指定解除部としての機能も備えている。領域補正部１３０は、撮像装置１００や被写体の移動に伴って指定された領域のオブジェクトが移動した場合に、オブジェクトの移動に伴って指定領域を移動させるブロックである。顔検出部１４０は、画像の特徴量により顔を検出するブロックである。顔検出の手法としては公知のものを用いることができる。顔検出部１４０は、図３で説明したように、領域指定部１２０によって領域Ａ２が指定された場合は、領域Ａ２内で再度顔検出を行う。このため、領域検出部１２０は、顔検出などのオブジェクトを検出する場合は、オブジェクトの検索範囲を指定する機能を担う。
【００４３】
画像入力部１７０は、上述した撮像素子に対応するもので、ＣＭＯＳ、ＣＣＤなどのセンサから構成され、被写体の画像データを入力する。表示処理部１６０は、画像入力部１７０から入力されるビュー画像と、領域指定部１２０によって指定された領域を表示部１０２に表示するための処理を行う。また、表示処理部１６０は、図２に示した画像処理メニュー１０４などのポップアップを表示する処理を行う。動き検出部１５０は、画像入力部１７０から入力されるビュー画像について、指定領域の特徴量をモニタし、特徴量が移動した場合は移動量、移動方向を検出する。領域補正部１３０は、動き検出部１５０で検出された移動量、移動方向に基づいて指定領域を移動させる。また、領域補正部１３０は、補正された指定領域の座標を示す選択領域座標情報を領域信号生成部２００へ送る。なお、撮像装置１００や被写体が移動せず、領域補正が必要ない場合は、領域指定部１２０によって指定された指定領域の座標を示す選択領域座標情報が領域信号生成部２００に送られる。
【００４４】
画像処理部１８０は、シャッターボタンが押し下げられた際に、画像入力部１７０から入力された画像データについて、指定された領域の情報に基づいて領域内と領域外で異なる画像処理を行うブロックである。このため、画像処理部１８０は、第１の画像処理部１８２と第２の画像処理部１８４を備える。第１の画像処理部１８２は指定領域外に対応する画像処理を行い、第２の画像処理部１８４は指定領域内に対応する画像処理を行う。領域信号生成部２００は、選択領域座標情報を受けて、入力された座標の画素が指定領域内であるか指定領域外であるかを示す領域内外信号をセレクタ１９０へ出力する。セレクタ１９０は、各画素の領域内外信号に基づいて、各画素について第１の画像処理部１８２の出力と第２の画像処理部１８４の出力の一方を選択し、画像記録部２１０へ出力する。この際、セレクタ１９０は、指定領域外の画素については第１の画像処理部１８２の処理結果を画像記録部２１０へ出力し、指定領域内の画素については第２の画像処理部１８４の処理結果を画像記録部２１０へ出力する。画像記録部２１０は、外部メモリなどに、セレクタ１９０から出力された画像処理されたデータを記録する。
【００４５】
図１１に示す構成例では、画像処理部１８０は、選択領域の内外で、画像のエッジ検出強度、コントラスト、トーン等の画像処理について、第１の画像処理部１８２と第２の画像処理部１８４とで異なる処理を行う。
【００４６】
以下、画像のトーンについての画像処理を例に挙げて説明する。図１２は、第１の画像処理部１８２での画像処理で用いられるオート（Auto）用のトーン補正（Tone Correction）処理カーブを示す特性図である。また、図１３は、第２の画像処理部１８４での画像処理に用いられるポートレート用のトーン補正処理カーブを示す特性図である。図１２及び図１３において、横軸は画像入力部１７０から入力される画素の輝度値を示しており、縦軸は画像処理後の出力を示している。このように、図１３の特性によれば、図１２の特性に比べてよりコントラストを高める処理が可能となる。
【００４７】
例えば、指定領域の内外でトーンの処理を変える場合、第１の画像処理部１８２は、図１２に示すオート（Auto）用のトーン補正（Tone Correction）処理カーブを用い、第２の画像処理部１８４は、図１３に示すポートレート用のトーン補正処理カーブを用いる。これにより、指定した領域内に人の顔がある場合は、指定した領域内で第２の画像処理部１８４によるポートレート用のトーンカーブで画像処理を行うことにより、人の顔に適した画像処理を行うことができる。また、指定した領域外では、通常のオート用のトーン補正処理を行うことができる。
【００４８】
また、ユーザが指定する領域には、ユーザによる指示のあいまいさ、構図のブレ、または被写体位置の変更等に起因して、実際よりも指定領域が狭くなることが考えられる。このため、領域信号生成部２００では、これらの影響を考慮して、領域指定部１２０、領域補正部１３０から受け取った領域座標に対して、領域を広めに設定した上で領域内外信号を出力するようにしても良い。これにより、ユーザが指定した領域よりも広い領域を設定することができ、ユーザが着目していたオブジェクトに対して確実に所望の画像処理を行うことができる。
【００４９】
図１１の構成では、指定領域の内外で画像処理が切り換わるが、指定領域の境界付近で画像処理を段階的に変化させることもできる。図１４は、指定領域の境界付近で画像処理を段階的に変化させる場合の構成を示す模式図である。なお、図１４において、図１１と同一の構成要素については、一部図示を省略している。この場合、図１１のセレクタの代わりに合成部２２０が設けられる。
【００５０】
図１４に示す構成の場合、領域信号生成部２００によって生成した領域信号に応じて、第１の画像処理部１８２および第２の画像処理部１８４の結果を合成部２２０にて合成した結果を出力する。以下では、画像処理部１８０でエッジ強調処理を行う場合を例に挙げて説明する。この場合、指定領域外については第１の画像処理部１８２から通常モード用のエッジ強調ゲインＧ１を出力し、指定領域内については第２の画像処理部１８４からシャープネス強調用のエッジ強調ゲインＧ２を出力する。合成部２２０では、領域信号ｒｇに応じて、以下の式で求まるＧ３を合成したエッジ強調ゲインとして、各画素のエッジ強調処理をした結果を出力する。
Ｇ３＝((２５５−ｒｇ)＊Ｇ１＋ｒｇ＊Ｇ２)／２５５
【００５１】
これにより、選択領域中心からの距離によって、第１の画像処理部１８２の出力と第２の画像処理部１８４の出力との合成バランスを適応的に決定できる。このとき、領域信号ｒｇは、選択領域座標情報および画像データの座標から、選択領域中心座標から遠ざかるに従って生成する信号の大きさが決定されるものとする。領域信号ｒｇは、各画素について指定領域の中心からの距離を表す信号であり、０から２５５までの値（８ｂｉｔ）とする。領域信号生成部２００は、領域指定部１２０または領域補正部１３０から送られた指定領域の座標から、指定領域の中心座標を求め、各画素について中心座標からの距離を求め、これを規格化して領域信号ｒｇを算出する。
【００５２】
図１１及び図１４で説明したセレクタ１９０による選択、合成部２２０による合成の対象となる処理は、画像処理として適用される様々な各処理に対し、様々な構成例として採用可能である。またユーザの選択領域が２つ以上ある場合には、切り替え対象となる画像処理は３つ以上にすることができる。または、２つ以上の指定領域の全てに第２の画像処理部１８４による処理を適用させることもできる。
【００５３】
以上説明したように本実施形態によれば、撮影時に指定領域の内外で異なる画像処理を適用することができる。従って、ユーザは、特定の領域に好みの画像処理を施すことができ、所望の画像を撮影することが可能となる。
【００５４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００５５】
１００ 撮像装置
１７０ 画像入力部
１０２ 表示部
１２０ 領域指定部
１８０ 画像処理部
【特許請求の範囲】
【請求項１】
被写体像が結像されて被写体の画像データを取得する撮像素子と、
前記画像データに基づいて画像を表示する表示部と、
ユーザの入力に応じて前記表示部内の任意の領域を指定する領域指定部と、
撮像した画像データについて、前記領域の内外で異なる画像処理を行う画像処理部と、
を備えることを特徴とする、撮像装置。
【請求項２】
被写体像が結像されて被写体の画像データを取得する撮像素子と、
前記画像データに基づいて画像を表示する表示部と、
前記画像から特定のオブジェクトの領域を検出するオブジェクト検出部と、
ユーザの入力に応じて前記オブジェクトの検出範囲を指定する領域指定部と、
撮像した画像データについて、検出されたオブジェクトの領域の内外で異なる画像処理を行う画像処理部と、
を備えることを特徴とする、撮像装置。
【請求項３】
ユーザの入力に応じて、前記領域を補正する領域補正部を備えることを特徴とする、請求項１に記載の撮像装置。
【請求項４】
ユーザによる操作情報の入力に応じて、前記領域を削除する領域削除部を備えることを特徴とする、請求項１に記載の撮像装置。
【請求項５】
前記画像データに基づいて被写体の動きを検出する動き検出部と、
前記被写体の動きに基づいて、前記領域を補正する領域補正部と、を備えることを特徴とする、請求項１に記載の撮像装置。
【請求項６】
前記画像データに基づいて被写体の動きを検出する動き検出部と、
前記被写体の動きに基づいて、前記領域を削除する領域削除部と、を備えることを特徴とする、請求項１に記載の撮像装置。
【請求項７】
各画素の座標に応じて、前記領域の内外における画像処理結果を切り換えて出力するセレクタを備えることを特徴とする、請求項１に記載の撮像装置。
【請求項８】
前記領域の内外における画像処理結果を合成し、前記領域の中央からの距離に応じて、合成比率を変更して出力する合成部を備えることを特徴とする、請求項１に記載の撮像装置。
【請求項９】
被写体像が結像される撮像素子から被写体の画像データを取得するステップと、
前記画像データに基づいて画像を表示するステップと、
表示された画像の任意の領域を指定するステップと、
撮像した画像データについて、前記領域の内外で異なる画像処理を行うステップと、
を備えることを特徴とする、画像処理方法。
【請求項１０】
被写体像が結像される撮像素子から被写体の画像データを取得するステップと、
前記画像データに基づいて画像を表示するステップと、
前記画像から特定のオブジェクトの領域を検出するステップと、
ユーザの入力に応じて前記オブジェクトの検出範囲を指定するステップと、
撮像した画像データについて、検出されたオブジェクトの領域の内外で異なる画像処理を行うステップと、
を備えることを特徴とする、画像処理方法。
【請求項１】
被写体像が結像されて被写体の画像データを取得する撮像素子と、
前記画像データに基づいて画像を表示する表示部と、
ユーザの入力に応じて前記表示部内の任意の領域を指定する領域指定部と、
撮像した画像データについて、前記領域の内外で異なる画像処理を行う画像処理部と、
を備えることを特徴とする、撮像装置。
【請求項２】
被写体像が結像されて被写体の画像データを取得する撮像素子と、
前記画像データに基づいて画像を表示する表示部と、
前記画像から特定のオブジェクトの領域を検出するオブジェクト検出部と、
ユーザの入力に応じて前記オブジェクトの検出範囲を指定する領域指定部と、
撮像した画像データについて、検出されたオブジェクトの領域の内外で異なる画像処理を行う画像処理部と、
を備えることを特徴とする、撮像装置。
【請求項３】
ユーザの入力に応じて、前記領域を補正する領域補正部を備えることを特徴とする、請求項１に記載の撮像装置。
【請求項４】
ユーザによる操作情報の入力に応じて、前記領域を削除する領域削除部を備えることを特徴とする、請求項１に記載の撮像装置。
【請求項５】
前記画像データに基づいて被写体の動きを検出する動き検出部と、
前記被写体の動きに基づいて、前記領域を補正する領域補正部と、を備えることを特徴とする、請求項１に記載の撮像装置。
【請求項６】
前記画像データに基づいて被写体の動きを検出する動き検出部と、
前記被写体の動きに基づいて、前記領域を削除する領域削除部と、を備えることを特徴とする、請求項１に記載の撮像装置。
【請求項７】
各画素の座標に応じて、前記領域の内外における画像処理結果を切り換えて出力するセレクタを備えることを特徴とする、請求項１に記載の撮像装置。
【請求項８】
前記領域の内外における画像処理結果を合成し、前記領域の中央からの距離に応じて、合成比率を変更して出力する合成部を備えることを特徴とする、請求項１に記載の撮像装置。
【請求項９】
被写体像が結像される撮像素子から被写体の画像データを取得するステップと、
前記画像データに基づいて画像を表示するステップと、
表示された画像の任意の領域を指定するステップと、
撮像した画像データについて、前記領域の内外で異なる画像処理を行うステップと、
を備えることを特徴とする、画像処理方法。
【請求項１０】
被写体像が結像される撮像素子から被写体の画像データを取得するステップと、
前記画像データに基づいて画像を表示するステップと、
前記画像から特定のオブジェクトの領域を検出するステップと、
ユーザの入力に応じて前記オブジェクトの検出範囲を指定するステップと、
撮像した画像データについて、検出されたオブジェクトの領域の内外で異なる画像処理を行うステップと、
を備えることを特徴とする、画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１３５３７６（Ｐ２０１１−１３５３７６Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９３４７２（Ｐ２００９−２９３４７２）
【出願日】平成２１年１２月２４日（２００９．１２．２４）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２４日（２００９．１２．２４）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
[ Back to top ]