画像処理装置、画像処理方法、及びプログラム
【課題】同じような構図で撮影した場合であっても、多彩な画像処理効果を容易に得る。
【解決手段】制御部（ＣＰＵ）２０は、シャッタ半押し状態で、画像取得部１０、アナログ信号処理部１５でリアルタイムで取り込まれるスルー画像上の複数の箇所における、デジタルカメラから対象物までの距離（距離情報）、合焦程度（合焦情報）、顔認証（顔情報）を取得し、シャッタ全押し時に、画像データと、そのときの複数の箇所における特徴パラメータとを取り込んで画像メモリ３１に保存する。また、制御部（ＣＰＵ）２０は、これら特徴パラメータと予め設定されている順位とに従って、画像データ内の複数の箇所に対して順位付けを行い、該順位付けに従って、処理程度を変えて画像処理（モザイク、ぼかしなど）を施す。
【解決手段】制御部（ＣＰＵ）２０は、シャッタ半押し状態で、画像取得部１０、アナログ信号処理部１５でリアルタイムで取り込まれるスルー画像上の複数の箇所における、デジタルカメラから対象物までの距離（距離情報）、合焦程度（合焦情報）、顔認証（顔情報）を取得し、シャッタ全押し時に、画像データと、そのときの複数の箇所における特徴パラメータとを取り込んで画像メモリ３１に保存する。また、制御部（ＣＰＵ）２０は、これら特徴パラメータと予め設定されている順位とに従って、画像データ内の複数の箇所に対して順位付けを行い、該順位付けに従って、処理程度を変えて画像処理（モザイク、ぼかしなど）を施す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、デジタルカメラにおいて、撮影画像から人物の顔を検出し、該顔部分に対して輪郭強調処理、それ以外にはボカシ処理といった主被写体とそれ以外を分けて画像処理を施す技術が知られている（例えば、特許文献１参照）。
【０００３】
また、主被写体とそれ以外とを自動的に特定する技術として、撮影画面上で複数の箇所を測距し、主被写体を含む対象物までの距離を検出し、該距離に応じてボカシ処理や、輪郭強調の程度を変える技術が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２５７５８５号公報
【特許文献２】特開２００３−０８７５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、単純に、特定人物の顔に輪郭強調処理を施したり、対象物までの距離に応じてボカシ処理や、輪郭強調の程度を変えるだけであり、同じような構図で撮影した場合には、いつも同じような画像処理が施されるだけであり、バリエーションに欠けるという問題があった。
【０００６】
そこで本発明は、同じような構図で撮影した場合であっても、多彩な画像処理効果を容易に得ることができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的達成のため、請求項１記載の発明は、撮影された画像中の複数の箇所を順位付けする順位付け手段と、前記順位付け手段により施された順位付けに基づいて、前記画像中の複数の箇所に対して、所定の画像処理を施す画像処理実行手段とを備えることを特徴とする画像処理装置である。
【０００８】
また、好ましい態様として、例えば請求項２記載のように、請求項１に記載の画像処理装置において、前記画像中の複数の箇所の特徴パラメータを取得する特徴パラメータ取得手段を備え、 前記順位付け手段は、前記特徴パラメータ取得手段により取得された複数の箇所の特徴パラメータに基づいて、前記画像中の複数の箇所に対して順位付けすることを特徴とする。
【０００９】
また、好ましい態様として、例えば請求項３記載のように、請求項２に記載の画像処理装置において、前記特徴パラメータと、該特徴パラメータに対してどのように順位付けを施すかを示す複数組の順位付け情報とを対応付けて記憶する順位付け記憶手段と、前記順位付け記憶手段に記憶されている複数組の順位付け情報から１組の順位付け情報を選択する選択手段とを備え、前記順位付け手段は、前記選択手段により選択された順位付け情報と前記特徴パラメータ取得手段により取得された画像中の複数の箇所の特徴パラメータとに基づいて、前記画像中の複数の箇所を順位付けすることを特徴とする。
【００１０】
また、好ましい態様として、例えば請求項４記載のように、請求項２または３に記載の画像処理装置において、記特徴パラメータ取得手段は、少なくとも、前記画像中の複数の箇所の撮影位置からの距離を示す距離情報、前記画像中の複数の箇所における合焦度合、前記画像中の複数の箇所に対する顔認識により特定された人物情報のいずれか１つを取得することを特徴とする。
【００１１】
また、好ましい態様として、例えば請求項５記載のように、請求項１乃至４に記載の画像処理装置において、前記画像処理実行手段は、ぼかし処理、モザイク処理、ホワイトバランス処理、色処理、階調処理、輸郭強調処理のいずれかを実行することを特徴とする。
【００１２】
また、上記目的達成のため、請求項６記載の発明は、撮影された画像中の複数の箇所を順位付けする順位付けステップと、前記順位付けに基づいて、前記画像中の複数の箇所に対して、所定の画像処理を施す画像処理実行ステップとを含むことを特徴とする画像処理方法である。
【００１３】
また、好ましい態様として、例えば請求項７記載のように、請求項６記載の画像処理方法において、前記画像中の複数の箇所の特徴パラメータを取得する特徴パラメータ取得ステップを含み、前記順位付けステップは、前記取得された特徴パラメータに基づいて、前記画像中の複数の箇所に対して順位付けすることを特徴とする。
【００１４】
また、好ましい態様として、例えば請求項８記載のように、請求項７記載の画像処理方法において、前記特徴パラメータと、該特徴パラメータに対してどのように順位付けを施すかを示す複数組の順位付け情報とを対応付けて記憶する順位付け記憶ステップと、前記記憶されている複数組の順位付け情報から１組の順位付け情報を選択する選択ステップとを含み、前記順位付けステップは、前記選択された順位付け情報と前記取得された画像中の複数の箇所の特徴パラメータとに基づいて、前記画像中の複数の箇所を順位付けすることを特徴とする。
【００１５】
また、好ましい態様として、例えば請求項９記載のように、請求項７または８に記載の画像処理方法において、前記特徴パラメータ取得ステップは、少なくとも、前記画像中の複数の箇所の撮影位置からの距離を示す距離情報、前記画像中の複数の箇所における合焦度合、前記画像中の複数の箇所に対する顔認識により特定された人物情報のいずれか１つを取得することを特徴とする。
【００１６】
また、好ましい態様として、例えば請求項１０記載のように、請求項６乃至９に記載の画像処理方法において、前記画像処理実行ステップは、ぼかし処理、モザイク処理、ホワイトバランス処理、色処理、階調処理、輸郭強調処理のいずれかを実行することを特徴とする。
【００１７】
また、上記目的達成のため、請求項１１記載の発明は、撮影された画像に対して所定の画像処理を施す画像処理装置のコンピュータに、撮影された画像中の複数の箇所を順位付けする順位付け機能、前記順位付けに基づいて、前記画像中の複数の箇所に対して、所定の画像処理を施す画像処理実行機能、を実行させることを特徴とするプログラムである。
【発明の効果】
【００１８】
この発明によれば、同じような構図で撮影した場合であっても、多彩な画像処理効果を容易に得ることができるという利点が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態によるデジタルカメラの構成を示すブロック図である。
【図２】本実施形態による、対象物までの距離と該距離に応じて施される画像処理の順位との対応関係を示す概念図である。
【図３】本実施形態による、対象物の合焦度合と該合焦度合に応じて施される画像処理の順位との対応関係を示す概念図である。
【図４】本実施形態による、顔認識と該顔認識に応じて施される画像処理の順位との対応関係を示す概念図である。
【図５】本実施形態において、各順位と画像処理の程度との対応関係を示す概念図である。
【図６】本実施形態において、各々、距離、合焦程度、顔認識に対して、例えば、ＡｕｔｏＡが設定された場合の画像処理の程度を示す概念図である。
【図７】本実施形態のデジタルカメラにおいて、検出すべき特徴パラメータ、実行すべき画像処理、及び順位を設定する際の動作を説明するためのフローチャートである。
【図８】本実施形態のデジタルカメラによる撮影時の動作を説明するためのフローチャートである。
【図９】本実施形態のデジタルカメラによる、動作の一例を説明するための概念図である。
【図１０】本実施形態のデジタルカメラによる、動作の一例を説明するための模式図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態を、図面を参照して説明する。
【００２１】
Ａ．実施形態の構成
図１は、本発明の実施形態によるデジタルカメラの構成を示すブロック図である。図において、画像取得部１０は、レンズ１１、シャッタ１２、ＬＰＦ１３からなる。レンズ１１は、通常の光学レンズであり、非球面レンズを重ねたレンズ群からなる。シャッタ１２は、シャッタボタンが操作されると、制御部２０によって駆動されるドライバ１４により動作する、所謂メカニカルシャッタである。なお、デジタルカメラによっては、メカニカルシャッタを備えない場合もあり、沈胴式のレンズ構造、メカニカルズームを搭載する機種の場合、これらの駆動制御もドライバ１４で行なう。ＬＰＦ１３は、水晶ローパスフィルタであり、モアレの発生を防ぐために搭載されている。
【００２２】
次に、アナログ信号処理部１５は、撮像センサ（ＣＣＤ，ＣＭＯＳ）１６、サンプリング／信号増幅処理部１７、Ａ／Ｄコンバータ１８からなる。撮像センサ１６は、被写体画像（イメージ）を結像し、ＲＧＢの各色の光の強さを、電流値に変換する。サンプリング／信号増幅処理部１７は、ノイズや色むらを抑えるための相関二重サンプリング処理や信号増幅処理を行なう。Ａ／Ｄコンバータ１８は、アナログフロントエンドとも呼ばれ、サンプリング・増幅したアナログ信号をデジタル信号に変換する（ＲＧＢ，ＣＭＹＧ各色について１２ｂｉｔデータに変換してバスラインに出力する）。
【００２３】
次に、制御部（ＣＰＵ）２０は、後述するプログラムメモリ３０に格納されるプログラムを実行してデジタルカメラ（撮像装置）の全体を制御する。特に、本実施形態では、制御部（ＣＰＵ）２０は、シャッタ半押し状態で、画像取得部１０、アナログ信号処理部１５でリアルタイムで取り込まれるスルー画像上の複数の箇所における、デジタルカメラから対象物までの距離（距離情報）、合焦程度（合焦情報）、顔認証（顔情報）（これらを総称して特徴パラメータとする）を取得し、シャッタ全押し時に、画像取得部１０、アナログ信号処理部１５でリアルタイムで取り込まれた画像データと、そのときの複数の箇所における特徴パラメータとを取り込んで画像メモリ３１に保存する。
【００２４】
また、制御部（ＣＰＵ）２０は、これら特徴パラメータと予め設定されている順位とに従って、画像データ内の複数の箇所に対して順位付けを行い、該順位付けに従って、処理程度を変えて画像処理（モザイク処理、ぼかし処理など）を施すようになっている。この画像処理は、撮影時に行うようにしてもよいし、撮影した画像データを再生するときに行うようにしてもよい。なお、上記予め設定されている順位については後述する。
【００２５】
プレビューエンジン２２は、録画モード（記録モード、撮影モードともいう）において、画像取得部１０、アナログ信号処理部１５を介して入力されたデジタルデータ、もしくはシャッタ操作検出直後、イメージバッファ２６に格納されたデジタルデータ、および、画像メモリ３１に格納されたデジタルデータを表示部２５に表示させるために間引き処理を行なう。
【００２６】
Ｄ／Ａコンバータ２３は、プレビューエンジン２２により間引き処理されたデジタルデータを変換し、後段のドライバ２４に出力する。ドライバ２４は、後段の表示部２５に表示されるデジタルデータを一時記憶するバッファ領域を備え、キー操作部２７、制御部２０を介して入力された制御信号に基づいて表示部２５を駆動させる。表示部２５は、カラーＴＦＴ液晶や、ＳＴＮ液晶などからなり、スルー画像や、撮影後の画像データ、設定メニューなどを表示する。
【００２７】
イメージバッファ２６は、アナログ信号処理部１５、もしくはデジタル信号処理部２８を介して入力され、デジタル信号処理部２８に渡すまで一時的に撮影直後のデジタルデータを格納する。キー操作部２７は、シャッタボタンを含め、記録／再生モードの切り換えキー、十字キー、メニューキー等などの各種操作キーなどからなる。デジタル信号処理部２８は、アナログ信号処理部１５を介して入力されたデジタルデータ（非圧縮のＲＡＷイメージデータ）に対して、ホワイトバランス処理、色処理、階調処理、輸郭強調、モザイク処理、ぼかし処理などを行なう。画像圧縮／伸張処理部２９は、デジタル信号処理部２８を介して入力されたデジタルデータ（非圧縮のＲＡＷイメージデータ）をＪＰＥＧ方式に圧縮符号化したり、再生モードにおいては、ＪＰＥＧ形式のファイルを伸張する。
【００２８】
プログラムメモリ３０は、制御部２０にロードされる各種プログラムなどを格納する。画像メモリ３１は、各種ファイル形式に変換されたデジタルデータを格納する。カードＩ／Ｆ３２は、外部記録媒体３３と撮像装置本体との間のデータ交換を制御する。外部記録媒体３３は、コンパクトフラッシュ（登録商標）、メモリースティック、ＳＤカード等からなる。
【００２９】
マイクロフォン３６は、動画撮影時などに音声を入力する。スピーカ３７は、動画再生時などに音声を出力する。音声処理部３８は、所定のコーディックにより符号化（圧縮）／復号化（伸張）などを行うことにより、スピーカ３７へ出力する音声データのアナログ化、マイクロフォン３６からの音声信号のデジタル化などを行う。
【００３０】
次に、図２は、本実施形態による、対象物までの距離と該距離に応じて施される画像処理の順位との対応関係を示す概念図である。順位には、予め設定されているＡｕｔｏＡ〜Ｄとユーザが任意に設定可能なマニュアルとがある。ＡｕｔｏＡ〜Ｄのいずれを設定するかは、ユーザにより変更可能である。例えば、ＡｕｔｏＡの場合、対象物までの距離が０〜２ｍまでは順位「１」、２〜∞までは順位「４」が設定されている。つまり、距離が０〜２ｍまでの対象物に対しては、「１」に順位付けされ、２〜∞までの対象物に対しては、「４」に順位付けされる。
【００３１】
同様に、ＡｕｔｏＢの場合、対象物までの距離が０〜２ｍまでは「１」、２〜５ｍまでは「２」、５〜１５ｍまでは「３」、１５〜∞までは「４」が設定されている。つまり、距離が０〜２ｍまでの対象物に対しては、「１」に順位付けされ、２〜５ｍまでの対象物に対しては、「２」に順位付けされ、５〜１５の対象物に対しては、「３」に順位付けされ、１５〜∞までの対象物に対しては、「４」に順位付けされる。以下、ＡｕｔｏＣ、ＡｕｔｏＤについても同様である。マニュアルでは、各距離に対して任意の順位が設定可能である。
【００３２】
次に、図３は、本実施形態による、対象物の合焦度合と該合焦度合に応じて施される画像処理の順位との対応関係を示す概念図である。順位には、予め設定されているＡｕｔｏＡ〜Ｄとユーザが任意に設定可能なマニュアルとがある。ＡｕｔｏＡ〜Ｄのいずれを設定するかは、ユーザにより変更可能である。例えば、ＡｕｔｏＡの場合、対象物の合焦度合が（−８０％以下）−４０％までには「３」、（１００％以下）−８０％までには「２」、１００％には「１」、（１００％以上）＋１２０％までには「２」、（＋１２０％以上）＋１６０％までには「３」が設定されている。
【００３３】
つまり、合焦程度が１００％の対象物に対しては、「１」に順位付けされ、（１００％以下）−８０％まで、及び（１００％以上）＋１２０％までの対象物には、「２」に順位付けされ、（−８０％以下）−４０％まで、及び（＋１２０％以上）＋１６０％までの対象物には、「３」に順位付けされる。同様に、ＡｕｔｏＢの場合、合焦程度が１００％の対象物に対しては、「２」に順位付けされ、それ以外の対象物に対しては、「１」に順位付けされる。以下、ＡｕｔｏＣ、ＡｕｔｏＤについても同様である。マニュアルでは、各合焦程度に対して任意の順位が設定可能である。
【００３４】
次に、図４は、本実施形態による、顔認識と該顔認識に応じて施される画像処理の順位との対応関係を示す概念図である。順位には、予め設定されているＡｕｔｏＡ〜Ｄとユーザが任意に設定可能なマニュアルとがある。ＡｕｔｏＡ〜Ｄのいずれを設定するかは、ユーザにより変更可能である。例えば、ＡｕｔｏＡの場合、人物「Ａ」さんの顔である認識された対象物に対しては、「１」に順位付けされ、人物「Ｂ」さんの顔である認識された対象物に対しては、「２」に順位付けされ、人物「Ｃ」さんの顔である認識された対象物に対しては、「３」に順位付けされ、人物「Ｄ」さんの顔である認識された対象物に対しては、「４」に順位付けされる。
【００３５】
なお、図２乃至図４に示す特徴パラメータの分割数や、順位は、一例であり、必要に応じて、適宜変更可能であることは言うまでもない。
【００３６】
次に、図５は、本実施形態において、各順位と画像処理の程度との対応関係を示す概念図である。上述した順位には、画像処理の程度が対応付けられている。画像処理としてモザイク処理の場合、「１」に順位付けされた対象物には「−（なし）」、「２」に順位付けされた対象物には「２（２ピクセルを１ピクセルに）」、「３」に順位付けされた対象物には「４（４ピクセルを１ピクセルに）」、「４」に順位付けされた対象物には「８（８ピクセルを１ピクセルに）」が対応付けられている。つまり、「１」に順位付けされた対象物には、モザイク処理は施されず、「２」、「３」、「４」に順位付けされた対象物には、その順位に応じて強いモザイク処理が施される。
【００３７】
同様に、画像処理としてぼかし処理の場合、「１」に順位付けされた対象物には「−（なし）」、「２」に順位付けされた対象物には「弱」、「３」に順位付けされた対象物には「中」、「４」に順位付けされた対象物には「強」が対応付けられている。つまり、「１」に順位付けされた対象物には、ぼかし処理は施されず、「２」、「３」、「４」に順位付けされた対象物には、「３」に順位付けされた対象物に対する画像処理の程度「中」を基準として、「２」に順位付けされた対象物には「中」より弱いぼかし処理が施され、「４」に順位付けされた対象物には「中」より強くぼかし処理が施される。
【００３８】
なお、図５に示す画像処理の程度は、一例であり、必要に応じて、あるいは画像処理の内容に応じて適宜変更可能であることは言うまでもない。
【００３９】
次に、図６（ａ）〜（ｃ）は、本実施形態において、各々、距離、合焦程度、顔認識に対して、例えば、ＡｕｔｏＡが設定された場合の画像処理の程度を示す概念図である。対象物までの距離に対しては、図６（ａ）に示すように、ＡｕｔｏＡが設定された場合、ぼかし処理であれば、０〜２ｍまでの対象物は「１」に順位付けされているので無処理であり、２〜∞までの対象物は「４」に順位付けされていので強いぼかし処理が施される。
【００４０】
同様に、モザイク処理であれば、０〜２ｍまでの対象物は「１」に順位付けされているので無処理であり、２〜∞までの対象物は「４」に順位付けされていので８ピクセルを１ピクセルとする、強いモザイク処理が施される。
【００４１】
対象物の合焦度合に対しては、図６（ｂ）に示すように、ＡｕｔｏＡが設定された場合、ぼかし処理であれば、合焦程度が１００％の対象物は「１」に順位付けされるので無処理であり、（１００％以下）−８０％まで、及び（１００％以上）＋１２０％までの対象物は「２」に順位付けされるので弱いぼかし処理が施され、（−８０％以下）−４０％まで、及び（＋１２０％以上）＋１６０％までの対象物は「３」に順位付けされるので中程度（基準値）のぼかし処理が施される。
【００４２】
同様に、モザイク処理であれば、合焦程度が１００％の対象物は「１」に順位付けされるので無処理であり、（１００％以下）−８０％まで、及び（１００％以上）＋１２０％までの対象物は「２」に順位付けされるので２ピクセルを１ピクセルとする、弱いモザイク処理が施され、（−８０％以下）−４０％まで、及び（＋１２０％以上）＋１６０％までの対象物は「３」に順位付けされるので４ピクセルを１ピクセルとする、やや強いモザイク処理が施される。
【００４３】
また、対象物の顔認識に対しては、図６（ｃ）に示すように、ＡｕｔｏＡが設定された場合、ぼかし処理であれば、人物「Ａ」さんの顔である認識された対象物は「１」に順位付けされるので無処理であり、人物「Ｂ」さんの顔である認識された対象物は「２」に順位付けされるので弱いぼかし処理が施され、人物「Ｃ」さんの顔である認識された対象物は「３」に順位付けされるので中程度（基準）のぼかし処理が施され、人物「Ｄ」さんの顔である認識された対象物は「４」に順位付けされるので強くぼかし処理が施される。
【００４４】
同様に、モザイク処理であれば、人物「Ａ」さんの顔である認識された対象物は「１」に順位付けされるので無処理であり、人物「Ｂ」さんの顔である認識された対象物は「２」に順位付けされるので２ピクセルを１ピクセルとする、弱いモザイク処理が施され、人物「Ｃ」さんの顔である認識された対象物は「３」に順位付けされるので４ピクセルを１ピクセルとする、やや強いモザイク処理が施され、人物「Ｄ」さんの顔である認識された対象物は「４」に順位付けされるので８ピクセルを１ピクセルとする、強いモザイク処理が施される。
【００４５】
Ｂ．実施形態の動作
次に、上述した実施形態の動作について説明する。
図７は、本実施形態のデジタルカメラにおいて、検出すべき特徴パラメータ、実行すべき画像処理、及び順位を設定する際の動作を説明するためのフローチャートである。ユーザが設定モードを選択すると、まず、特徴パラメータの設定（特徴パラメータの設定操作）であるか否かを判断し（ステップＳ１０）、特徴パラメータの設定が指示された場合には、選択すべき特徴パラメータとして、距離、合焦度合、及び顔認識のいずれかを選択させ（ステップＳ１２）、選択された特徴パラメータを検出すべき特徴パラメータとして設定する（ステップＳ１４）。次に、全ての設定が終了したか否か（設定モードの終了操作）を判断し（ステップＳ３２）、設定モードの終了操作がない場合には、ステップＳ１０に戻る。
【００４６】
また、特徴パラメータの設定でない場合には、画像処理の設定（画像処理の設定操作）であるか否かを判断し（ステップＳ１６）、画像処理の設定が指示された場合には、選択すべき画像処理として、モザイク処理、またはぼかし処理のいずれかを選択させ（ステップＳ１８）、選択された画像処理を、実行すべき画像処理として設定する（ステップＳ２０）。次に、上述したステップＳ３２で、全ての設定が終了したか否か（設定モードの終了操作）を判断し、設定モードの終了操作がない場合には、ステップＳ１０に戻る。
【００４７】
また、特徴パラメータでも、画像処理の設定でもない場合には、順位の設定（順位の設定操作）であるか否かを判断し（ステップＳ２２）、順位の設定が指示された場合には、予め設定されている順位から選択するか、マニュアルで設定するかを判断する（ステップＳ２４）。そして、予め設定されている順位から選択することが指示された場合には、現在設定されている画像処理で設定可能な上述したＡｕｔｏＡ〜ＡｕｔｏＤのいずれかを選択させ（ステップＳ２６）、選択された順位を適用すべき順位として設定する（ステップＳ３０）。なお、デフォルトとして、ＡｕｔｏＡが設定されているものとする。次に、上述したステップＳ３２で、全ての設定が終了したか否か（設定モードの終了操作）を判断し、設定モードの終了操作がない場合には、ステップＳ１０に戻る。
【００４８】
一方、マニュアル設定が指示された場合には、キー操作部２７からの入力に従って順位を決定し（ステップＳ２８）、該決定した順位を適用すべき順位として設定する（ステップＳ３０）。次に、上述したステップＳ３２で、全ての設定が終了したか否か（設定モードの終了操作）を判断し、設定モードの終了操作がない場合には、ステップＳ１０に戻る。一方、設定モードの終了操作があった場合には、当該処理を終了する。
【００４９】
図８は、本実施形態のデジタルカメラによる撮影時の動作を説明するためのフローチャートである。ユーザにより撮影モードが選択されると、まず、画像取得部１０、アナログ信号処理部１５でリアルタイムで取り込まれるスルー画像を表示部２５に表示し（ステップＳ４０）、シャッタが半押しされたか否かを判断する（ステップＳ４２）。そして、シャッタが半押しされない場合には、ステップＳ４０へ戻り、スルー画像の表示を継続する。
【００５０】
一方、シャッタが半押しされると、オートフォーカスエリアの対象物に自動的に合焦するオートフォーカス処理を実行し（ステップＳ４４）、露出を調節する露出処理を実行する（ステップＳ４６）。該オートフォーカスや、露出の状態は、表示部２５にリアルタイムで表示される。次に、画像取得部１０、アナログ信号処理部１５でリアルタイムで取り込まれるスルー画像から、設定内容に応じて特徴パラメータ（距離、合焦度合、顔認識）を取得する（ステップＳ４８）。次に、シャッタが全押しされたか否かを判断し（ステップＳ５０）、シャッタが全押しされない場合には、ステップＳ４０に戻り、上述した処理を繰り返す。
【００５１】
したがって、シャッタが全押しされず、半押し状態が継続している間は、画像取得部１０、アナログ信号処理部１５でリアルタイムで取り込まれるスルー画像から、設定内容に応じて特徴パラメータ（距離、合焦度合、顔認識）を取得する動作を継続する。
【００５２】
そして、シャッタが全押しされると、画像取得部１０、アナログ信号処理部１５でリアルタイムで取り込まれる画像データとともに、特徴パラメータ（距離、合焦度合、顔認識）を画像メモリ３１に保存する（ステップＳ５２）。次に、特徴パラメータと予め設定されている順位とに基づいて、撮影された画像データの各部を順位付けし（ステップＳ５４）、該順位付けに基づいて、撮影された画像データの各部に対して、予め設定されている画像処理を実施する（ステップＳ５６）。
【００５３】
次に、ユーザ操作により撮影モードが終了したか否かを判断し（ステップＳ５８）、終了操作がない場合には、ステップＳ４０に戻り、上述した処理を繰り返す。一方、終了操作があった場合には、当該処理を終了する。
【００５４】
例えば、図９（ａ）に示すように、特徴パラメータとして「距離」、順位としてＡｕｔｏＡ、画像処理として「ぼかし」が設定され、図１０に示すように、人物Ａ（１．５ｍ）、Ｂ（４ｍ）、Ｃ（８ｍ）がカメラから徐々に離れるような位置で撮影された場合には、人物Ａを含む同距離に位置する対象物の順位は「１」、人物Ｂ、Ｃを含む同距離に位置する対象物の順位は「４」となる。したがって、人物Ａを含む同距離に位置する対象物に対しては、ぼかし処理が施されず（無処理）、人物Ｂ、Ｃを含む同距離に位置する対象物に対しては、強いぼかし処理が施されることになる。
【００５５】
また、図９（ｂ）に示すように、特徴パラメータとして「顔認識」、順位としてＡｕｔｏＢ、画像処理として「モザイク」が設定され、図１０に示すような画像が得られた場合には、人物Ａの順位は「４」、人物Ｂの順位は「１」、人物Ｃの順位は「２」となる。したがって、人物Ａに対しては、８ピクセルを１ピクセルとする、強いモザイク処理が施され、人物Ｂに対しては、モザイク処理が施されず（無処理）、人物Ｃに対しては、２ピクセルを１ピクセルとする、弱いモザイク処理が施されることになる。
【００５６】
上述した実施形態によれば、撮影画像の各部に対して、各部の特徴パラメータに基づいて順位付けし、該順位付けに基づいて撮影画像の各部に画像処理を施すようにしたので、特徴パラメータや、順位付け方法、実施する画像処理を適宜変更することで、多彩な画像処理効果を得ることができる。例えば、特定の距離に位置する被写体や、特定の合焦度合にある被写体、あるいは特定の人物を、強調したり、ぼかしたり、モザイクをかけたりと、撮影目的や、撮影状況に応じた画像処理を容易に施すことができる。また、ユーザは、画像処理の具体値や、単位などを熟知していなくても、処理程度を考慮した順位を指定するだけでよいので、容易に多彩な画像処理効果を得ることができる。
【００５７】
なお、上述した実施形態では、撮影時に画像処理を施すようにしたが、これに限らず、撮影時には、特徴パラメータとともに画像データを保存しておき、再生時に、適用する順位を選択し、特徴パラメータに基づいて再生する画像データの各部における順位を特定し、該順位に基づいて画像処理を施すようにしてもよい。
【００５８】
また、上述した実施形態では、画像処理として、ぼかし処理、モザイク処理を挙げたが、これに以外にも、ホワイトバランス処理や、色処理、階調処理、輸郭強調処理などを実行するようにしてもよい。
【００５９】
また、上述した実施形態では、１つの特徴パラメータを取得し、その特徴パラメータに基づいて画像の各部に順位付けするようにしたが、２つ以上の特徴パラメータ、例えば、顔認識と距離、顔認識と合焦度合などを組み合わせてもよい。
【符号の説明】
【００６０】
１０ 画像取得部
１１ レンズ
１２ シャッタ
１３ ＬＰＦ
１４ ドライバ
１５ アナログ信号処理部
１６ 撮像センサ
１７ サンプリング／信号増幅処理部
１８ Ａ／Ｄコンバータ
２０ 制御部（ＣＰＵ）
２２ プレビューエンジン
２３ Ｄ／Ａコンバータ
２４ ドライバ
２５ 表示部
２６ イメージバッファ
２７ キー操作部
２８ デジタル信号処理部
２９ 画像圧縮／伸張処理部
３０ プログラムメモリ
３１ 画像メモリ
３２ カードＩ／Ｆ
３３ 外部記録媒体
３８ 音声処理部
３６ マイクロフォン
３７ スピーカ
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、デジタルカメラにおいて、撮影画像から人物の顔を検出し、該顔部分に対して輪郭強調処理、それ以外にはボカシ処理といった主被写体とそれ以外を分けて画像処理を施す技術が知られている（例えば、特許文献１参照）。
【０００３】
また、主被写体とそれ以外とを自動的に特定する技術として、撮影画面上で複数の箇所を測距し、主被写体を含む対象物までの距離を検出し、該距離に応じてボカシ処理や、輪郭強調の程度を変える技術が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２５７５８５号公報
【特許文献２】特開２００３−０８７５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、単純に、特定人物の顔に輪郭強調処理を施したり、対象物までの距離に応じてボカシ処理や、輪郭強調の程度を変えるだけであり、同じような構図で撮影した場合には、いつも同じような画像処理が施されるだけであり、バリエーションに欠けるという問題があった。
【０００６】
そこで本発明は、同じような構図で撮影した場合であっても、多彩な画像処理効果を容易に得ることができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的達成のため、請求項１記載の発明は、撮影された画像中の複数の箇所を順位付けする順位付け手段と、前記順位付け手段により施された順位付けに基づいて、前記画像中の複数の箇所に対して、所定の画像処理を施す画像処理実行手段とを備えることを特徴とする画像処理装置である。
【０００８】
また、好ましい態様として、例えば請求項２記載のように、請求項１に記載の画像処理装置において、前記画像中の複数の箇所の特徴パラメータを取得する特徴パラメータ取得手段を備え、 前記順位付け手段は、前記特徴パラメータ取得手段により取得された複数の箇所の特徴パラメータに基づいて、前記画像中の複数の箇所に対して順位付けすることを特徴とする。
【０００９】
また、好ましい態様として、例えば請求項３記載のように、請求項２に記載の画像処理装置において、前記特徴パラメータと、該特徴パラメータに対してどのように順位付けを施すかを示す複数組の順位付け情報とを対応付けて記憶する順位付け記憶手段と、前記順位付け記憶手段に記憶されている複数組の順位付け情報から１組の順位付け情報を選択する選択手段とを備え、前記順位付け手段は、前記選択手段により選択された順位付け情報と前記特徴パラメータ取得手段により取得された画像中の複数の箇所の特徴パラメータとに基づいて、前記画像中の複数の箇所を順位付けすることを特徴とする。
【００１０】
また、好ましい態様として、例えば請求項４記載のように、請求項２または３に記載の画像処理装置において、記特徴パラメータ取得手段は、少なくとも、前記画像中の複数の箇所の撮影位置からの距離を示す距離情報、前記画像中の複数の箇所における合焦度合、前記画像中の複数の箇所に対する顔認識により特定された人物情報のいずれか１つを取得することを特徴とする。
【００１１】
また、好ましい態様として、例えば請求項５記載のように、請求項１乃至４に記載の画像処理装置において、前記画像処理実行手段は、ぼかし処理、モザイク処理、ホワイトバランス処理、色処理、階調処理、輸郭強調処理のいずれかを実行することを特徴とする。
【００１２】
また、上記目的達成のため、請求項６記載の発明は、撮影された画像中の複数の箇所を順位付けする順位付けステップと、前記順位付けに基づいて、前記画像中の複数の箇所に対して、所定の画像処理を施す画像処理実行ステップとを含むことを特徴とする画像処理方法である。
【００１３】
また、好ましい態様として、例えば請求項７記載のように、請求項６記載の画像処理方法において、前記画像中の複数の箇所の特徴パラメータを取得する特徴パラメータ取得ステップを含み、前記順位付けステップは、前記取得された特徴パラメータに基づいて、前記画像中の複数の箇所に対して順位付けすることを特徴とする。
【００１４】
また、好ましい態様として、例えば請求項８記載のように、請求項７記載の画像処理方法において、前記特徴パラメータと、該特徴パラメータに対してどのように順位付けを施すかを示す複数組の順位付け情報とを対応付けて記憶する順位付け記憶ステップと、前記記憶されている複数組の順位付け情報から１組の順位付け情報を選択する選択ステップとを含み、前記順位付けステップは、前記選択された順位付け情報と前記取得された画像中の複数の箇所の特徴パラメータとに基づいて、前記画像中の複数の箇所を順位付けすることを特徴とする。
【００１５】
また、好ましい態様として、例えば請求項９記載のように、請求項７または８に記載の画像処理方法において、前記特徴パラメータ取得ステップは、少なくとも、前記画像中の複数の箇所の撮影位置からの距離を示す距離情報、前記画像中の複数の箇所における合焦度合、前記画像中の複数の箇所に対する顔認識により特定された人物情報のいずれか１つを取得することを特徴とする。
【００１６】
また、好ましい態様として、例えば請求項１０記載のように、請求項６乃至９に記載の画像処理方法において、前記画像処理実行ステップは、ぼかし処理、モザイク処理、ホワイトバランス処理、色処理、階調処理、輸郭強調処理のいずれかを実行することを特徴とする。
【００１７】
また、上記目的達成のため、請求項１１記載の発明は、撮影された画像に対して所定の画像処理を施す画像処理装置のコンピュータに、撮影された画像中の複数の箇所を順位付けする順位付け機能、前記順位付けに基づいて、前記画像中の複数の箇所に対して、所定の画像処理を施す画像処理実行機能、を実行させることを特徴とするプログラムである。
【発明の効果】
【００１８】
この発明によれば、同じような構図で撮影した場合であっても、多彩な画像処理効果を容易に得ることができるという利点が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態によるデジタルカメラの構成を示すブロック図である。
【図２】本実施形態による、対象物までの距離と該距離に応じて施される画像処理の順位との対応関係を示す概念図である。
【図３】本実施形態による、対象物の合焦度合と該合焦度合に応じて施される画像処理の順位との対応関係を示す概念図である。
【図４】本実施形態による、顔認識と該顔認識に応じて施される画像処理の順位との対応関係を示す概念図である。
【図５】本実施形態において、各順位と画像処理の程度との対応関係を示す概念図である。
【図６】本実施形態において、各々、距離、合焦程度、顔認識に対して、例えば、ＡｕｔｏＡが設定された場合の画像処理の程度を示す概念図である。
【図７】本実施形態のデジタルカメラにおいて、検出すべき特徴パラメータ、実行すべき画像処理、及び順位を設定する際の動作を説明するためのフローチャートである。
【図８】本実施形態のデジタルカメラによる撮影時の動作を説明するためのフローチャートである。
【図９】本実施形態のデジタルカメラによる、動作の一例を説明するための概念図である。
【図１０】本実施形態のデジタルカメラによる、動作の一例を説明するための模式図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態を、図面を参照して説明する。
【００２１】
Ａ．実施形態の構成
図１は、本発明の実施形態によるデジタルカメラの構成を示すブロック図である。図において、画像取得部１０は、レンズ１１、シャッタ１２、ＬＰＦ１３からなる。レンズ１１は、通常の光学レンズであり、非球面レンズを重ねたレンズ群からなる。シャッタ１２は、シャッタボタンが操作されると、制御部２０によって駆動されるドライバ１４により動作する、所謂メカニカルシャッタである。なお、デジタルカメラによっては、メカニカルシャッタを備えない場合もあり、沈胴式のレンズ構造、メカニカルズームを搭載する機種の場合、これらの駆動制御もドライバ１４で行なう。ＬＰＦ１３は、水晶ローパスフィルタであり、モアレの発生を防ぐために搭載されている。
【００２２】
次に、アナログ信号処理部１５は、撮像センサ（ＣＣＤ，ＣＭＯＳ）１６、サンプリング／信号増幅処理部１７、Ａ／Ｄコンバータ１８からなる。撮像センサ１６は、被写体画像（イメージ）を結像し、ＲＧＢの各色の光の強さを、電流値に変換する。サンプリング／信号増幅処理部１７は、ノイズや色むらを抑えるための相関二重サンプリング処理や信号増幅処理を行なう。Ａ／Ｄコンバータ１８は、アナログフロントエンドとも呼ばれ、サンプリング・増幅したアナログ信号をデジタル信号に変換する（ＲＧＢ，ＣＭＹＧ各色について１２ｂｉｔデータに変換してバスラインに出力する）。
【００２３】
次に、制御部（ＣＰＵ）２０は、後述するプログラムメモリ３０に格納されるプログラムを実行してデジタルカメラ（撮像装置）の全体を制御する。特に、本実施形態では、制御部（ＣＰＵ）２０は、シャッタ半押し状態で、画像取得部１０、アナログ信号処理部１５でリアルタイムで取り込まれるスルー画像上の複数の箇所における、デジタルカメラから対象物までの距離（距離情報）、合焦程度（合焦情報）、顔認証（顔情報）（これらを総称して特徴パラメータとする）を取得し、シャッタ全押し時に、画像取得部１０、アナログ信号処理部１５でリアルタイムで取り込まれた画像データと、そのときの複数の箇所における特徴パラメータとを取り込んで画像メモリ３１に保存する。
【００２４】
また、制御部（ＣＰＵ）２０は、これら特徴パラメータと予め設定されている順位とに従って、画像データ内の複数の箇所に対して順位付けを行い、該順位付けに従って、処理程度を変えて画像処理（モザイク処理、ぼかし処理など）を施すようになっている。この画像処理は、撮影時に行うようにしてもよいし、撮影した画像データを再生するときに行うようにしてもよい。なお、上記予め設定されている順位については後述する。
【００２５】
プレビューエンジン２２は、録画モード（記録モード、撮影モードともいう）において、画像取得部１０、アナログ信号処理部１５を介して入力されたデジタルデータ、もしくはシャッタ操作検出直後、イメージバッファ２６に格納されたデジタルデータ、および、画像メモリ３１に格納されたデジタルデータを表示部２５に表示させるために間引き処理を行なう。
【００２６】
Ｄ／Ａコンバータ２３は、プレビューエンジン２２により間引き処理されたデジタルデータを変換し、後段のドライバ２４に出力する。ドライバ２４は、後段の表示部２５に表示されるデジタルデータを一時記憶するバッファ領域を備え、キー操作部２７、制御部２０を介して入力された制御信号に基づいて表示部２５を駆動させる。表示部２５は、カラーＴＦＴ液晶や、ＳＴＮ液晶などからなり、スルー画像や、撮影後の画像データ、設定メニューなどを表示する。
【００２７】
イメージバッファ２６は、アナログ信号処理部１５、もしくはデジタル信号処理部２８を介して入力され、デジタル信号処理部２８に渡すまで一時的に撮影直後のデジタルデータを格納する。キー操作部２７は、シャッタボタンを含め、記録／再生モードの切り換えキー、十字キー、メニューキー等などの各種操作キーなどからなる。デジタル信号処理部２８は、アナログ信号処理部１５を介して入力されたデジタルデータ（非圧縮のＲＡＷイメージデータ）に対して、ホワイトバランス処理、色処理、階調処理、輸郭強調、モザイク処理、ぼかし処理などを行なう。画像圧縮／伸張処理部２９は、デジタル信号処理部２８を介して入力されたデジタルデータ（非圧縮のＲＡＷイメージデータ）をＪＰＥＧ方式に圧縮符号化したり、再生モードにおいては、ＪＰＥＧ形式のファイルを伸張する。
【００２８】
プログラムメモリ３０は、制御部２０にロードされる各種プログラムなどを格納する。画像メモリ３１は、各種ファイル形式に変換されたデジタルデータを格納する。カードＩ／Ｆ３２は、外部記録媒体３３と撮像装置本体との間のデータ交換を制御する。外部記録媒体３３は、コンパクトフラッシュ（登録商標）、メモリースティック、ＳＤカード等からなる。
【００２９】
マイクロフォン３６は、動画撮影時などに音声を入力する。スピーカ３７は、動画再生時などに音声を出力する。音声処理部３８は、所定のコーディックにより符号化（圧縮）／復号化（伸張）などを行うことにより、スピーカ３７へ出力する音声データのアナログ化、マイクロフォン３６からの音声信号のデジタル化などを行う。
【００３０】
次に、図２は、本実施形態による、対象物までの距離と該距離に応じて施される画像処理の順位との対応関係を示す概念図である。順位には、予め設定されているＡｕｔｏＡ〜Ｄとユーザが任意に設定可能なマニュアルとがある。ＡｕｔｏＡ〜Ｄのいずれを設定するかは、ユーザにより変更可能である。例えば、ＡｕｔｏＡの場合、対象物までの距離が０〜２ｍまでは順位「１」、２〜∞までは順位「４」が設定されている。つまり、距離が０〜２ｍまでの対象物に対しては、「１」に順位付けされ、２〜∞までの対象物に対しては、「４」に順位付けされる。
【００３１】
同様に、ＡｕｔｏＢの場合、対象物までの距離が０〜２ｍまでは「１」、２〜５ｍまでは「２」、５〜１５ｍまでは「３」、１５〜∞までは「４」が設定されている。つまり、距離が０〜２ｍまでの対象物に対しては、「１」に順位付けされ、２〜５ｍまでの対象物に対しては、「２」に順位付けされ、５〜１５の対象物に対しては、「３」に順位付けされ、１５〜∞までの対象物に対しては、「４」に順位付けされる。以下、ＡｕｔｏＣ、ＡｕｔｏＤについても同様である。マニュアルでは、各距離に対して任意の順位が設定可能である。
【００３２】
次に、図３は、本実施形態による、対象物の合焦度合と該合焦度合に応じて施される画像処理の順位との対応関係を示す概念図である。順位には、予め設定されているＡｕｔｏＡ〜Ｄとユーザが任意に設定可能なマニュアルとがある。ＡｕｔｏＡ〜Ｄのいずれを設定するかは、ユーザにより変更可能である。例えば、ＡｕｔｏＡの場合、対象物の合焦度合が（−８０％以下）−４０％までには「３」、（１００％以下）−８０％までには「２」、１００％には「１」、（１００％以上）＋１２０％までには「２」、（＋１２０％以上）＋１６０％までには「３」が設定されている。
【００３３】
つまり、合焦程度が１００％の対象物に対しては、「１」に順位付けされ、（１００％以下）−８０％まで、及び（１００％以上）＋１２０％までの対象物には、「２」に順位付けされ、（−８０％以下）−４０％まで、及び（＋１２０％以上）＋１６０％までの対象物には、「３」に順位付けされる。同様に、ＡｕｔｏＢの場合、合焦程度が１００％の対象物に対しては、「２」に順位付けされ、それ以外の対象物に対しては、「１」に順位付けされる。以下、ＡｕｔｏＣ、ＡｕｔｏＤについても同様である。マニュアルでは、各合焦程度に対して任意の順位が設定可能である。
【００３４】
次に、図４は、本実施形態による、顔認識と該顔認識に応じて施される画像処理の順位との対応関係を示す概念図である。順位には、予め設定されているＡｕｔｏＡ〜Ｄとユーザが任意に設定可能なマニュアルとがある。ＡｕｔｏＡ〜Ｄのいずれを設定するかは、ユーザにより変更可能である。例えば、ＡｕｔｏＡの場合、人物「Ａ」さんの顔である認識された対象物に対しては、「１」に順位付けされ、人物「Ｂ」さんの顔である認識された対象物に対しては、「２」に順位付けされ、人物「Ｃ」さんの顔である認識された対象物に対しては、「３」に順位付けされ、人物「Ｄ」さんの顔である認識された対象物に対しては、「４」に順位付けされる。
【００３５】
なお、図２乃至図４に示す特徴パラメータの分割数や、順位は、一例であり、必要に応じて、適宜変更可能であることは言うまでもない。
【００３６】
次に、図５は、本実施形態において、各順位と画像処理の程度との対応関係を示す概念図である。上述した順位には、画像処理の程度が対応付けられている。画像処理としてモザイク処理の場合、「１」に順位付けされた対象物には「−（なし）」、「２」に順位付けされた対象物には「２（２ピクセルを１ピクセルに）」、「３」に順位付けされた対象物には「４（４ピクセルを１ピクセルに）」、「４」に順位付けされた対象物には「８（８ピクセルを１ピクセルに）」が対応付けられている。つまり、「１」に順位付けされた対象物には、モザイク処理は施されず、「２」、「３」、「４」に順位付けされた対象物には、その順位に応じて強いモザイク処理が施される。
【００３７】
同様に、画像処理としてぼかし処理の場合、「１」に順位付けされた対象物には「−（なし）」、「２」に順位付けされた対象物には「弱」、「３」に順位付けされた対象物には「中」、「４」に順位付けされた対象物には「強」が対応付けられている。つまり、「１」に順位付けされた対象物には、ぼかし処理は施されず、「２」、「３」、「４」に順位付けされた対象物には、「３」に順位付けされた対象物に対する画像処理の程度「中」を基準として、「２」に順位付けされた対象物には「中」より弱いぼかし処理が施され、「４」に順位付けされた対象物には「中」より強くぼかし処理が施される。
【００３８】
なお、図５に示す画像処理の程度は、一例であり、必要に応じて、あるいは画像処理の内容に応じて適宜変更可能であることは言うまでもない。
【００３９】
次に、図６（ａ）〜（ｃ）は、本実施形態において、各々、距離、合焦程度、顔認識に対して、例えば、ＡｕｔｏＡが設定された場合の画像処理の程度を示す概念図である。対象物までの距離に対しては、図６（ａ）に示すように、ＡｕｔｏＡが設定された場合、ぼかし処理であれば、０〜２ｍまでの対象物は「１」に順位付けされているので無処理であり、２〜∞までの対象物は「４」に順位付けされていので強いぼかし処理が施される。
【００４０】
同様に、モザイク処理であれば、０〜２ｍまでの対象物は「１」に順位付けされているので無処理であり、２〜∞までの対象物は「４」に順位付けされていので８ピクセルを１ピクセルとする、強いモザイク処理が施される。
【００４１】
対象物の合焦度合に対しては、図６（ｂ）に示すように、ＡｕｔｏＡが設定された場合、ぼかし処理であれば、合焦程度が１００％の対象物は「１」に順位付けされるので無処理であり、（１００％以下）−８０％まで、及び（１００％以上）＋１２０％までの対象物は「２」に順位付けされるので弱いぼかし処理が施され、（−８０％以下）−４０％まで、及び（＋１２０％以上）＋１６０％までの対象物は「３」に順位付けされるので中程度（基準値）のぼかし処理が施される。
【００４２】
同様に、モザイク処理であれば、合焦程度が１００％の対象物は「１」に順位付けされるので無処理であり、（１００％以下）−８０％まで、及び（１００％以上）＋１２０％までの対象物は「２」に順位付けされるので２ピクセルを１ピクセルとする、弱いモザイク処理が施され、（−８０％以下）−４０％まで、及び（＋１２０％以上）＋１６０％までの対象物は「３」に順位付けされるので４ピクセルを１ピクセルとする、やや強いモザイク処理が施される。
【００４３】
また、対象物の顔認識に対しては、図６（ｃ）に示すように、ＡｕｔｏＡが設定された場合、ぼかし処理であれば、人物「Ａ」さんの顔である認識された対象物は「１」に順位付けされるので無処理であり、人物「Ｂ」さんの顔である認識された対象物は「２」に順位付けされるので弱いぼかし処理が施され、人物「Ｃ」さんの顔である認識された対象物は「３」に順位付けされるので中程度（基準）のぼかし処理が施され、人物「Ｄ」さんの顔である認識された対象物は「４」に順位付けされるので強くぼかし処理が施される。
【００４４】
同様に、モザイク処理であれば、人物「Ａ」さんの顔である認識された対象物は「１」に順位付けされるので無処理であり、人物「Ｂ」さんの顔である認識された対象物は「２」に順位付けされるので２ピクセルを１ピクセルとする、弱いモザイク処理が施され、人物「Ｃ」さんの顔である認識された対象物は「３」に順位付けされるので４ピクセルを１ピクセルとする、やや強いモザイク処理が施され、人物「Ｄ」さんの顔である認識された対象物は「４」に順位付けされるので８ピクセルを１ピクセルとする、強いモザイク処理が施される。
【００４５】
Ｂ．実施形態の動作
次に、上述した実施形態の動作について説明する。
図７は、本実施形態のデジタルカメラにおいて、検出すべき特徴パラメータ、実行すべき画像処理、及び順位を設定する際の動作を説明するためのフローチャートである。ユーザが設定モードを選択すると、まず、特徴パラメータの設定（特徴パラメータの設定操作）であるか否かを判断し（ステップＳ１０）、特徴パラメータの設定が指示された場合には、選択すべき特徴パラメータとして、距離、合焦度合、及び顔認識のいずれかを選択させ（ステップＳ１２）、選択された特徴パラメータを検出すべき特徴パラメータとして設定する（ステップＳ１４）。次に、全ての設定が終了したか否か（設定モードの終了操作）を判断し（ステップＳ３２）、設定モードの終了操作がない場合には、ステップＳ１０に戻る。
【００４６】
また、特徴パラメータの設定でない場合には、画像処理の設定（画像処理の設定操作）であるか否かを判断し（ステップＳ１６）、画像処理の設定が指示された場合には、選択すべき画像処理として、モザイク処理、またはぼかし処理のいずれかを選択させ（ステップＳ１８）、選択された画像処理を、実行すべき画像処理として設定する（ステップＳ２０）。次に、上述したステップＳ３２で、全ての設定が終了したか否か（設定モードの終了操作）を判断し、設定モードの終了操作がない場合には、ステップＳ１０に戻る。
【００４７】
また、特徴パラメータでも、画像処理の設定でもない場合には、順位の設定（順位の設定操作）であるか否かを判断し（ステップＳ２２）、順位の設定が指示された場合には、予め設定されている順位から選択するか、マニュアルで設定するかを判断する（ステップＳ２４）。そして、予め設定されている順位から選択することが指示された場合には、現在設定されている画像処理で設定可能な上述したＡｕｔｏＡ〜ＡｕｔｏＤのいずれかを選択させ（ステップＳ２６）、選択された順位を適用すべき順位として設定する（ステップＳ３０）。なお、デフォルトとして、ＡｕｔｏＡが設定されているものとする。次に、上述したステップＳ３２で、全ての設定が終了したか否か（設定モードの終了操作）を判断し、設定モードの終了操作がない場合には、ステップＳ１０に戻る。
【００４８】
一方、マニュアル設定が指示された場合には、キー操作部２７からの入力に従って順位を決定し（ステップＳ２８）、該決定した順位を適用すべき順位として設定する（ステップＳ３０）。次に、上述したステップＳ３２で、全ての設定が終了したか否か（設定モードの終了操作）を判断し、設定モードの終了操作がない場合には、ステップＳ１０に戻る。一方、設定モードの終了操作があった場合には、当該処理を終了する。
【００４９】
図８は、本実施形態のデジタルカメラによる撮影時の動作を説明するためのフローチャートである。ユーザにより撮影モードが選択されると、まず、画像取得部１０、アナログ信号処理部１５でリアルタイムで取り込まれるスルー画像を表示部２５に表示し（ステップＳ４０）、シャッタが半押しされたか否かを判断する（ステップＳ４２）。そして、シャッタが半押しされない場合には、ステップＳ４０へ戻り、スルー画像の表示を継続する。
【００５０】
一方、シャッタが半押しされると、オートフォーカスエリアの対象物に自動的に合焦するオートフォーカス処理を実行し（ステップＳ４４）、露出を調節する露出処理を実行する（ステップＳ４６）。該オートフォーカスや、露出の状態は、表示部２５にリアルタイムで表示される。次に、画像取得部１０、アナログ信号処理部１５でリアルタイムで取り込まれるスルー画像から、設定内容に応じて特徴パラメータ（距離、合焦度合、顔認識）を取得する（ステップＳ４８）。次に、シャッタが全押しされたか否かを判断し（ステップＳ５０）、シャッタが全押しされない場合には、ステップＳ４０に戻り、上述した処理を繰り返す。
【００５１】
したがって、シャッタが全押しされず、半押し状態が継続している間は、画像取得部１０、アナログ信号処理部１５でリアルタイムで取り込まれるスルー画像から、設定内容に応じて特徴パラメータ（距離、合焦度合、顔認識）を取得する動作を継続する。
【００５２】
そして、シャッタが全押しされると、画像取得部１０、アナログ信号処理部１５でリアルタイムで取り込まれる画像データとともに、特徴パラメータ（距離、合焦度合、顔認識）を画像メモリ３１に保存する（ステップＳ５２）。次に、特徴パラメータと予め設定されている順位とに基づいて、撮影された画像データの各部を順位付けし（ステップＳ５４）、該順位付けに基づいて、撮影された画像データの各部に対して、予め設定されている画像処理を実施する（ステップＳ５６）。
【００５３】
次に、ユーザ操作により撮影モードが終了したか否かを判断し（ステップＳ５８）、終了操作がない場合には、ステップＳ４０に戻り、上述した処理を繰り返す。一方、終了操作があった場合には、当該処理を終了する。
【００５４】
例えば、図９（ａ）に示すように、特徴パラメータとして「距離」、順位としてＡｕｔｏＡ、画像処理として「ぼかし」が設定され、図１０に示すように、人物Ａ（１．５ｍ）、Ｂ（４ｍ）、Ｃ（８ｍ）がカメラから徐々に離れるような位置で撮影された場合には、人物Ａを含む同距離に位置する対象物の順位は「１」、人物Ｂ、Ｃを含む同距離に位置する対象物の順位は「４」となる。したがって、人物Ａを含む同距離に位置する対象物に対しては、ぼかし処理が施されず（無処理）、人物Ｂ、Ｃを含む同距離に位置する対象物に対しては、強いぼかし処理が施されることになる。
【００５５】
また、図９（ｂ）に示すように、特徴パラメータとして「顔認識」、順位としてＡｕｔｏＢ、画像処理として「モザイク」が設定され、図１０に示すような画像が得られた場合には、人物Ａの順位は「４」、人物Ｂの順位は「１」、人物Ｃの順位は「２」となる。したがって、人物Ａに対しては、８ピクセルを１ピクセルとする、強いモザイク処理が施され、人物Ｂに対しては、モザイク処理が施されず（無処理）、人物Ｃに対しては、２ピクセルを１ピクセルとする、弱いモザイク処理が施されることになる。
【００５６】
上述した実施形態によれば、撮影画像の各部に対して、各部の特徴パラメータに基づいて順位付けし、該順位付けに基づいて撮影画像の各部に画像処理を施すようにしたので、特徴パラメータや、順位付け方法、実施する画像処理を適宜変更することで、多彩な画像処理効果を得ることができる。例えば、特定の距離に位置する被写体や、特定の合焦度合にある被写体、あるいは特定の人物を、強調したり、ぼかしたり、モザイクをかけたりと、撮影目的や、撮影状況に応じた画像処理を容易に施すことができる。また、ユーザは、画像処理の具体値や、単位などを熟知していなくても、処理程度を考慮した順位を指定するだけでよいので、容易に多彩な画像処理効果を得ることができる。
【００５７】
なお、上述した実施形態では、撮影時に画像処理を施すようにしたが、これに限らず、撮影時には、特徴パラメータとともに画像データを保存しておき、再生時に、適用する順位を選択し、特徴パラメータに基づいて再生する画像データの各部における順位を特定し、該順位に基づいて画像処理を施すようにしてもよい。
【００５８】
また、上述した実施形態では、画像処理として、ぼかし処理、モザイク処理を挙げたが、これに以外にも、ホワイトバランス処理や、色処理、階調処理、輸郭強調処理などを実行するようにしてもよい。
【００５９】
また、上述した実施形態では、１つの特徴パラメータを取得し、その特徴パラメータに基づいて画像の各部に順位付けするようにしたが、２つ以上の特徴パラメータ、例えば、顔認識と距離、顔認識と合焦度合などを組み合わせてもよい。
【符号の説明】
【００６０】
１０ 画像取得部
１１ レンズ
１２ シャッタ
１３ ＬＰＦ
１４ ドライバ
１５ アナログ信号処理部
１６ 撮像センサ
１７ サンプリング／信号増幅処理部
１８ Ａ／Ｄコンバータ
２０ 制御部（ＣＰＵ）
２２ プレビューエンジン
２３ Ｄ／Ａコンバータ
２４ ドライバ
２５ 表示部
２６ イメージバッファ
２７ キー操作部
２８ デジタル信号処理部
２９ 画像圧縮／伸張処理部
３０ プログラムメモリ
３１ 画像メモリ
３２ カードＩ／Ｆ
３３ 外部記録媒体
３８ 音声処理部
３６ マイクロフォン
３７ スピーカ
【特許請求の範囲】
【請求項１】
撮影された画像中の複数の箇所を順位付けする順位付け手段と、
前記順位付け手段により施された順位付けに基づいて、前記画像中の複数の箇所に対して、所定の画像処理を施す画像処理実行手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像中の複数の箇所の特徴パラメータを取得する特徴パラメータ取得手段を備え、 前記順位付け手段は、
前記特徴パラメータ取得手段により取得された複数の箇所の特徴パラメータに基づいて、前記画像中の複数の箇所に対して順位付けすることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記特徴パラメータと、該特徴パラメータに対してどのように順位付けを施すかを示す複数組の順位付け情報とを対応付けて記憶する順位付け記憶手段と、
前記順位付け記憶手段に記憶されている複数組の順位付け情報から１組の順位付け情報を選択する選択手段と
を備え、
前記順位付け手段は、
前記選択手段により選択された順位付け情報と前記特徴パラメータ取得手段により取得された画像中の複数の箇所の特徴パラメータとに基づいて、前記画像中の複数の箇所を順位付けすることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記特徴パラメータ取得手段は、
少なくとも、前記画像中の複数の箇所の撮影位置からの距離を示す距離情報、前記画像中の複数の箇所における合焦度合、前記画像中の複数の箇所に対する顔認識により特定された人物情報のいずれか１つを取得することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記画像処理実行手段は、
ぼかし処理、モザイク処理、ホワイトバランス処理、色処理、階調処理、輸郭強調処理のいずれかを実行することを特徴とする請求項１乃至４に記載の画像処理装置。
【請求項６】
撮影された画像中の複数の箇所を順位付けする順位付けステップと、
前記順位付けに基づいて、前記画像中の複数の箇所に対して、所定の画像処理を施す画像処理実行ステップと
を含むことを特徴とする画像処理方法。
【請求項７】
前記画像中の複数の箇所の特徴パラメータを取得する特徴パラメータ取得ステップを含み、
前記順位付けステップは、
前記取得された特徴パラメータに基づいて、前記画像中の複数の箇所に対して順位付けすることを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記特徴パラメータと、該特徴パラメータに対してどのように順位付けを施すかを示す複数組の順位付け情報とを対応付けて記憶する順位付け記憶ステップと、
前記記憶されている複数組の順位付け情報から１組の順位付け情報を選択する選択ステップと
を含み、
前記順位付けステップは、
前記選択された順位付け情報と前記取得された画像中の複数の箇所の特徴パラメータとに基づいて、前記画像中の複数の箇所を順位付けすることを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記特徴パラメータ取得ステップは、
少なくとも、前記画像中の複数の箇所の撮影位置からの距離を示す距離情報、前記画像中の複数の箇所における合焦度合、前記画像中の複数の箇所に対する顔認識により特定された人物情報のいずれか１つを取得することを特徴とする請求項７または８に記載の画像処理方法。
【請求項１０】
前記画像処理実行ステップは、
ぼかし処理、モザイク処理、ホワイトバランス処理、色処理、階調処理、輸郭強調処理のいずれかを実行することを特徴とする請求項６乃至９に記載の画像処理方法。
【請求項１１】
撮影された画像に対して所定の画像処理を施す画像処理装置のコンピュータに、
撮影された画像中の複数の箇所を順位付けする順位付け機能、
前記順位付けに基づいて、前記画像中の複数の箇所に対して、所定の画像処理を施す画像処理実行機能、
を実行させることを特徴とするプログラム。
【請求項１】
撮影された画像中の複数の箇所を順位付けする順位付け手段と、
前記順位付け手段により施された順位付けに基づいて、前記画像中の複数の箇所に対して、所定の画像処理を施す画像処理実行手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像中の複数の箇所の特徴パラメータを取得する特徴パラメータ取得手段を備え、 前記順位付け手段は、
前記特徴パラメータ取得手段により取得された複数の箇所の特徴パラメータに基づいて、前記画像中の複数の箇所に対して順位付けすることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記特徴パラメータと、該特徴パラメータに対してどのように順位付けを施すかを示す複数組の順位付け情報とを対応付けて記憶する順位付け記憶手段と、
前記順位付け記憶手段に記憶されている複数組の順位付け情報から１組の順位付け情報を選択する選択手段と
を備え、
前記順位付け手段は、
前記選択手段により選択された順位付け情報と前記特徴パラメータ取得手段により取得された画像中の複数の箇所の特徴パラメータとに基づいて、前記画像中の複数の箇所を順位付けすることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記特徴パラメータ取得手段は、
少なくとも、前記画像中の複数の箇所の撮影位置からの距離を示す距離情報、前記画像中の複数の箇所における合焦度合、前記画像中の複数の箇所に対する顔認識により特定された人物情報のいずれか１つを取得することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記画像処理実行手段は、
ぼかし処理、モザイク処理、ホワイトバランス処理、色処理、階調処理、輸郭強調処理のいずれかを実行することを特徴とする請求項１乃至４に記載の画像処理装置。
【請求項６】
撮影された画像中の複数の箇所を順位付けする順位付けステップと、
前記順位付けに基づいて、前記画像中の複数の箇所に対して、所定の画像処理を施す画像処理実行ステップと
を含むことを特徴とする画像処理方法。
【請求項７】
前記画像中の複数の箇所の特徴パラメータを取得する特徴パラメータ取得ステップを含み、
前記順位付けステップは、
前記取得された特徴パラメータに基づいて、前記画像中の複数の箇所に対して順位付けすることを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記特徴パラメータと、該特徴パラメータに対してどのように順位付けを施すかを示す複数組の順位付け情報とを対応付けて記憶する順位付け記憶ステップと、
前記記憶されている複数組の順位付け情報から１組の順位付け情報を選択する選択ステップと
を含み、
前記順位付けステップは、
前記選択された順位付け情報と前記取得された画像中の複数の箇所の特徴パラメータとに基づいて、前記画像中の複数の箇所を順位付けすることを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記特徴パラメータ取得ステップは、
少なくとも、前記画像中の複数の箇所の撮影位置からの距離を示す距離情報、前記画像中の複数の箇所における合焦度合、前記画像中の複数の箇所に対する顔認識により特定された人物情報のいずれか１つを取得することを特徴とする請求項７または８に記載の画像処理方法。
【請求項１０】
前記画像処理実行ステップは、
ぼかし処理、モザイク処理、ホワイトバランス処理、色処理、階調処理、輸郭強調処理のいずれかを実行することを特徴とする請求項６乃至９に記載の画像処理方法。
【請求項１１】
撮影された画像に対して所定の画像処理を施す画像処理装置のコンピュータに、
撮影された画像中の複数の箇所を順位付けする順位付け機能、
前記順位付けに基づいて、前記画像中の複数の箇所に対して、所定の画像処理を施す画像処理実行機能、
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２３２９６１（Ｐ２０１０−２３２９６１Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−７８１７０（Ｐ２００９−７８１７０）
【出願日】平成２１年３月２７日（２００９．３．２７）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月２７日（２００９．３．２７）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]