画像処理装置および画像処理プログラム、撮像装置
【課題】 本発明の目的は、例えば画像の分類又は検索用の情報の取得を目的とした自動認識と、例えば画作りを目的とした自動認識などの異なる目的で自動認識を行う際にも、各々の自動認識を確実、かつ最適に行うことの可能な画像処理装置および画像処理プログラム、それらを備えた撮像装置を提供することである。
【解決手段】 本発明の画像処理装置（４，５，７〜１２）は、入力された画像の被写体及び／又は撮影シーンを認識する認識手段（４）を備え、その認識手段（４）が、異なる基準を用いて目的毎に前記認識を行う。
【解決手段】 本発明の画像処理装置（４，５，７〜１２）は、入力された画像の被写体及び／又は撮影シーンを認識する認識手段（４）を備え、その認識手段（４）が、異なる基準を用いて目的毎に前記認識を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびその画像処理プログラム、それらを備えた撮像装置に関する。
【背景技術】
【０００２】
画像から被写体及び／又は撮影シーンを自動認識する技術が、従来から、数多く提案されている。
【０００３】
例えば、特許文献１には、撮影シーンを自動認識して画像処理の内容を決定する技術が提案されている。この技術では、自動認識によって決定した画像処理パラメータの内容を制限することで、自動認識において撮影シーンの誤認識が生じた場合にも、撮影画像に対し画像処理による著しい画質劣化等を与えることがなく、無難な内容の撮影画像を得ることを可能としている。
【０００４】
また、例えば、特許文献２には、画像の被写体及び／又は撮影シーンの自動認識結果を、当該画像に関連付けて記録し、当該画像の分類又は検索用の情報として用いる技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１８４５３号公報
【特許文献２】特開２０００−１１３０９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、撮影シーンを自動認識して画像処理の内容を決定する場合、誤認識をできるだけ少なくする必要がある。例えば、自動認識で、花のクローズアップ画像を人の顔のクローズアップ画像であると誤って認識し、画像処理の内容を、肌をなめらかにするような内容に決定した場合、画像処理が施された画像は花の部分がのっぺりとしたものとなり、結果、ユーザーにとって好ましい画像が得られなくなる。従って、画像処理の内容を決定するための自動認識においては、認識の精度を高くして、誤認識をできるだけ少なくする必要がある。
【０００７】
しかし、従来技術では、画像に対し、制限されたパラメータにより画像処理を施すことで、誤認識が生じた場合にも著しい画質劣化等のない無難な内容の画像を得ることができるものの、結局、その画像処理は、撮影シーンに応じた適切な内容では行われないので、ユーザーにとって好ましい画像を得ることはできない。すなわち、従来技術では、誤認識による画像処理への影響を回避することができなかった。
【０００８】
また、従来技術では、画像の被写体及び／又は撮影シーンの自動認識結果を当該画像の分類又は検索用の情報として用いるが、その場合の自動認識においては、被写体や撮影シーンなどといった所望の条件に合う画像を漏れなく検出する必要がある。しかしながら、このような「画像の分類又は検索用の情報の取得」を目的とした自動認識（第２の認識）は、上記の画像処理の内容を決定するための自動認識、即ち「画作り」を目的とした自動認識（第１の認識）には用いることができなかった。なぜならば、第１の認識では、特定の被写体及び／又は特定の撮影シーンに該当する画像を、高精度、かつ確実に認識（抽出）する（誤抽出を少なくする）必要があり、一方、第２の認識では、特定の被写体及び／又は特定の撮影シーンに該当する画像を、いくらかの誤認識が生じることも考慮した上で、漏れなく検出する（抽出漏れを少なくする）必要があるからである。つまり、第１の認識と第２の認識とでは、認識に必要とされる精度が異なるからである。
【０００９】
本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、例えば画像の分類又は検索用の情報の取得を目的とした自動認識と、例えば画作りを目的とした自動認識などの異なる目的で自動認識を行う際にも、各々の自動認識を確実、かつ最適に行うことの可能な画像処理装置および画像処理プログラム、それらを備えた撮像装置を提供することである。
【課題を解決するための手段】
【００１０】
第１の発明の画像処理装置は、入力された画像の被写体及び／又は撮影シーンを認識する認識手段を備え、その認識手段が、異なる基準を用いて目的毎に前記認識を行う。
【００１１】
第２の発明は、第１の発明において、前記異なる基準は、前記認識の信頼度を示す値である。
【００１２】
第３の発明は、第１の発明又は第２の発明において、認識手段が、前記異なる基準に代えて、異なる手法を用いて目的毎に前記認識を行う。
【００１３】
第４の発明は、第１〜第３の発明の何れか一の発明において、認識手段が、前記認識により取得した目的毎の認識結果の少なくとも１つを、画像に関連付けて記録する。
【００１４】
第５の発明は、第４の発明において、記録された認識結果の１つは、画像に施す画像処理の内容を決定するための情報である。
【００１５】
第６の発明は、第４の発明又は第５の発明において、記録された認識結果の１つは、画像の分類または検索のための情報である。
【００１６】
第７の発明は、第１〜第６の発明の何れか一の発明において、認識手段が、前記認識により取得した目的毎の認識結果の全てを、画像に関連付けて識別可能に記録する。
【００１７】
第８の発明は、第１〜第７の発明の何れか一の発明において、認識手段が、第１の認識処理と、それとは目的の異なる第２の認識処理との何れか一方を実行した後、その認識結果に応じて、もう一方の実行／不実行を切り換える。
【００１８】
第９の発明の撮像装置は、第１〜第８の発明の何れか一の発明の画像処理装置と、撮像手段とを備え、撮像手段が、被写体像を撮影すると共に、撮影した画像を画像処理装置へ入力する。
【００１９】
第１０の発明の画像処理プログラムは、入力された画像の被写体及び／又は撮影シーンを認識する認識手順をコンピュータに実行させる画像処理プログラムであって、認識手順では、異なる基準を用いて目的毎に前記認識を行う。
【００２０】
第１１の発明は、第１０の発明において、認識手順では、前記認識により取得した目的毎の認識結果の少なくとも１つを、画像に関連付けて記録する。
【００２１】
第１２の発明は、第１０の発明又は第１１の発明において、認識手順では、第１の認識処理と、それとは目的の異なる第２の認識処理との何れか一方を実行した後、その認識結果に応じて、もう一方の実行／不実行を切り換える。
【発明の効果】
【００２２】
本発明を利用すれば、例えば画像の分類又は検索用の情報の取得を目的とした自動認識と、例えば画作りを目的とした自動認識などの異なる目的で自動認識を行う際にも、各々の自動認識を確実、かつ最適に行うことが可能になる。
【図面の簡単な説明】
【００２３】
【図１】第１実施形態のデジタルカメラのブロック図である。
【図２】第１実施形態の被写体及び／又は撮影シーンの認識動作を示す流れ図である。
【図３】変形例１の被写体及び／又は撮影シーンの認識動作を示す流れ図である。
【図４】変形例２の被写体及び／又は撮影シーンの認識動作を示す流れ図である。
【発明を実施するための形態】
【００２４】
（第１実施形態）
以下、本発明の第１実施形態を説明する。本実施形態は、デジタルカメラの実施形態である。
【００２５】
図１は、第１実施形態のデジタルカメラのブロック図である。
【００２６】
図１において、デジタルカメラ本体１００は、撮像素子１と、撮影レンズ２と、レンズ駆動回路３と、制御回路４と、操作部材５と、撮像素子駆動回路６と、信号処理回路７と、データ処理回路８と、圧縮／伸張回路９と、モニタ１１と、表示制御回路１２と、測光回路１３とを有し、さらに記録媒体１０が設けられている。
【００２７】
記録媒体１０は、メモリカード、小型ハードディスク、ＤＶＤ等の光ディスクなどで構成される。なお、記録媒体１０は、デジタルカメラ本体１００に内蔵されるものであっても、着脱可能に装着されるものであってもよいし、本体１００の外部に設けられるものであってもよい。外部に設けられる場合、記録媒体１０とデジタルカメラ本体１００とは、有線または無線で電気的に接続される。
【００２８】
撮影レンズ２は、撮影光学系を構成する複数枚のレンズ群で構成され、撮像素子１の撮像面上に被写体像を結像させる。
【００２９】
撮影レンズ２は、不図示のフォーカスレンズを含み、レンズ駆動回路３がフォーカスレンズを光軸方向に進退駆動することにより、撮影レンズ２のフォーカス調節が行われる。また、撮影レンズ２は、不図示のズームレンズを含み、レンズ駆動回路３がズームレンズを光軸方向に進退駆動することにより、撮影レンズ２のズーム調節が行われる。
【００３０】
なお、簡単のため、図１では撮影レンズ２を１枚のレンズとして図示している。
【００３１】
レンズ駆動回路３は、制御回路４から出力されるレンズ駆動指令に応じてレンズ駆動信号を発生し、このレンズ駆動信号により不図示のレンズ駆動機構を駆動することで、撮影レンズ２の各レンズを移動させる。
【００３２】
撮像素子１は、連写画像の撮影が可能な撮像素子であり、例えば、ＣＣＤ型撮像素子、あるいはＣＭＯＳ型撮像素子などによって構成される。なお、撮像素子１は、勿論、１フレーム毎の静止画像の撮影も可能である。
【００３３】
撮像素子駆動回路６は、制御回路４から出力される指令に応じて所定タイミングの駆動信号を発生し、この駆動信号を撮像素子１へ供給する。撮像素子１は、供給された駆動信号によって、電荷の蓄積（撮像）や蓄積した電荷の読み出しが制御される。
【００３４】
制御回路４は、測光回路１３による被写体の測光データを用いて被写界の明るさの情報を求め、この明るさの情報に基づいて、撮像素子１の電荷蓄積時間、撮影レンズ２の絞り、および撮像素子１から出力される画像信号の増幅率などの撮影条件を決定する。
【００３５】
なお、被写界の明るさの情報は、撮像素子１から出力される画像信号に基づき、制御回路４が求める構成としてもよい。但し、そうした場合には、撮像素子１が測光回路１３の機能を司る。
【００３６】
信号処理回路７は、制御回路４からの指令に応じて、撮像素子１から出力される画像信号に対し、ＣＤＳ（相関二重サンプリング）、増幅（ゲイン調整）、Ａ／Ｄ変換、ホワイトバランスなどの信号処理を施す。そして、信号処理回路７は、その信号処理後のデータを画像データとしてデータ処理回路８へ出力する。
【００３７】
また、信号処理回路７は、制御回路４からの指令に基づきゲイン調整の調整量（増幅率）を設定し、それによってＩＳＯ感度に相当する撮影感度の調整を行う。
【００３８】
データ処理回路８は、制御回路４からの指令に応じて、信号処理回路７から出力される画像データに対し、輪郭強調、カラー調整、ガンマ補正、解像度変換（画素数変換）などの画像処理を施す。なお、解像度変換（画素数変換）は、モニタ１１に画像データの再生画像を表示させる場合などに必要な処理である。
【００３９】
そして、データ処理回路８は、制御回路４からの指令に応じて、画像処理後の画像データをモニタ１１に表示させるために表示制御回路１２へ出力する。また、データ処理回路８は、制御回路４からの指令に応じて、画像処理後の画像データを圧縮／伸張回路９へ出力する。
【００４０】
表示制御回路１２は、制御回路４からの指令に応じて、データ処理回路８から出力される画像データに所定の信号処理を施してモニタ１１へ出力する。表示制御回路１２は、さらに、撮影メニューやカーソルなどのオーバレイ画像データを前記画像データに重畳する処理を行う。これにより、オーバレイ画像が重畳された被写体画像がモニタ１１に表示される。
【００４１】
圧縮／伸張回路９は、制御回路４からの指令に応じて、データ処理回路８から出力される画像データに、例えばＪＰＥＧ（Joint Photographic Experts Group）形式等の所定の形式で圧縮処理を施し、その圧縮後の画像データを記録媒体１０へ記録する。但し、操作部材５の操作により非圧縮記録が指示された場合には、圧縮／伸張回路９は、画像データを、圧縮処理を施すことなく記録媒体１０へ記録する。
【００４２】
圧縮／伸張回路９は、可逆圧縮（いわゆるロスレス符号化）を行うことも可能な構成となっている。
【００４３】
また、デジタルカメラ本体１００は、記録媒体１０に記録されている画像データの再生画像をモニタ１１に表示することも可能とするように構成される（再生モード）。
【００４４】
この場合、圧縮／伸張回路９は、再生モード時に、制御回路４からの指令に応じて、記録媒体１０に記録されている画像データを読み出して復号処理を施し、その復号後の画像データをデータ処理回路８へ出力する。そして、データ処理回路８は、復号後の画像データに解像度変換処理を施して、その変換処理後の画像データを表示制御回路１２へ出力する。これにより、画像データの再生画像がモニタ１１に表示される。なお、記録媒体１０に記録されているうちの非圧縮の画像データが読み出された場合には、圧縮／伸張回路９による復号処理は行われない。
【００４５】
操作部材５は、レリーズ釦を含み、部材操作の内容に応じた操作信号を制御回路４へ送る。制御回路４は、操作部材５から撮影を指示する操作信号を受けると、撮像素子１から出力される画像信号のうち、撮影画面内にあらかじめ設定されているフォーカス検出領域に対応する信号を用いて、公知のコントラスト方式のＡＦ（オートフォーカス）動作を行う。
【００４６】
具体的には、制御回路４は、信号処理回路７により信号処理が施された画像データのうち、フォーカス検出領域に対応するデータについての高周波数成分の積算値（いわゆる焦点評価値）を最大とするように、レンズ駆動指令（フォーカス調節信号）をレンズ駆動回路３へ与える。ここで、焦点評価値が最大となるフォーカスレンズの位置は、撮像素子１により撮影される被写体像のエッジのぼけをなくし、画像のコントラストを最大とした（尖鋭度を高めた）合焦位置である。
【００４７】
なお、コントラスト方式のＡＦ動作に加えて、公知の瞳分割方式による位相差ＡＦ動作を行うように構成してもよい。もちろん、位相差ＡＦ動作のみを行う構成としてもよい。
【００４８】
また、撮影被写体が移動する場合には、上記の当初のフォーカス検出領域を、被写体の移動に伴って追尾させ、常に特定の被写体に焦点が合うように制御する構成としてもよい。
【００４９】
操作部材５は、ズーム操作部材も含む。制御回路４は、操作部材５からズーム操作に応じたズーム操作信号を受けると、レンズ駆動指令（ズーム調節信号）をレンズ駆動回路３へ与え、撮影レンズ２のズームレンズを進退駆動させる。これにより、撮像素子１の撮像面上に結像される被写体像が拡大もしくは縮小し、光学的にズーム調節される。
【００５０】
制御回路４は、さらにズーム操作信号を受けると、データ処理回路８へ指令を与えて、画像データに対する解像度変換処理の変換比率をズーム操作信号に応じて変化させる。なお、解像度変換処理の変換比率は電子ズームの倍率に対応する。これにより、モニタ１１に表示される再生画像が拡大もしくは縮小し、電気的にズーム調節される（電子ズーム）。
【００５１】
電子ズームにおいて、データ処理回路８がズーム倍率を高める方向に変換比率を変える場合は、再生画像の一部が拡大されてモニタ１１に表示される。この場合、表示される再生画像は、拡大率が上がるが、画像の表示範囲は狭くなる。反対に、データ処理回路８がズーム倍率を低くする方向に変換比率を変える場合は、モニタ１１に表示される再生画像は、拡大率が下がるが、画像の表示範囲は広くなる。
【００５２】
ここで、撮影モード設定時および撮影時のデジタルカメラの動作を簡単に説明する。
【００５３】
モード釦等の操作によりデジタルカメラが撮影モードに設定されると、制御回路４は、レンズ駆動回路３、撮像素子駆動回路６、信号処理回路７およびデータ処理回路８を駆動してスルー画像の撮影を開始する。
【００５４】
このとき、撮像素子１はドラフトモード（間引き読み出しモード）で駆動され、スルー画像の画像データが信号処理回路７およびデータ処理回路８を介して、順次、表示制御回路１２へ出力される。
【００５５】
制御回路４は、表示制御回路１２を駆動して、スルー画像をモニタ１１に表示させる。また、制御回路４は、信号処理回路７を介して出力されるスルー画像の画像データを基に、レンズ駆動回路３と協働してＡＦ動作を行う。さらに、制御回路４は、測光回路１３による被写体の測光データから決定した画像信号の増幅率などの撮影条件に基づき、信号処理回路７のゲイン調整等の露出制御などを行う。
【００５６】
撮影モードで動作中にレリーズ釦が全押しされると、制御回路４は、測光回路１３による被写体の測光データを用いて求めた被写界の明るさの情報に基づき撮影条件（絞り値、シャッター速度、フラッシュ発光の有無など）を決定すると共に、その決定した撮影条件の下でレンズ駆動回路３、撮像素子駆動回路６、信号処理回路７およびデータ処理回路８を駆動して本撮影を行う。
【００５７】
このとき、撮像素子１はフレームモード（全画素読み出しモード）で駆動され、撮影された本撮影画像の画像データが信号処理回路７およびデータ処理回路８を介して表示制御回路１２と圧縮／伸張回路９へ出力される。
【００５８】
制御回路４は、表示制御回路１２を駆動して本撮影画像をモニタ１１に表示させ、また、圧縮／伸張回路９を駆動して本撮影画像の画像データに圧縮処理を施し、その圧縮処理後の画像データを記録媒体１０へ記録する。
【００５９】
以下、デジタルカメラの被写体及び／又は撮影シーンの認識の動作を、図２の流れ図を参照して説明する。図２は、デジタルカメラが撮影モードに設定されたときに繰り返し実行されるフローである。
【００６０】
ステップ１０１：制御回路４は、撮像素子駆動回路６を駆動して、撮像素子１をドラフトモード（間引き読み出しモード）で駆動させ、スルー画像の撮影を開始する。
【００６１】
ステップ１０２：制御回路４は、信号処理回路７を介して出力された１フレーム分のスルー画像を取得する。
【００６２】
ステップ１０３：制御回路４は、取得したスルー画像に対し、第１の認識処理を行う。この第１の認識処理は、本撮影の撮影条件および本撮影で実施する画像処理の内容を決定するため、即ち「画作り」を目的とした処理である。
【００６３】
具体的には、制御回路４は、スルー画像に特定の被写体（人の顔や花など、予め定められた特定の物体）が写っているかの認識処理を行う。なお、以下では、特定の被写体が人の「顔」であるものとして説明を行う。また、特定の被写体（「顔」）の認識処理には、例えば、特開２００６−１５５０９６号公報などで開示された従来の顔認識処理の技術を用いることができる。
【００６４】
制御回路４は、また、スルー画像に対し、特定の撮影シーン（晴れ、曇り、夕焼けなど、予め定められた特定のシーン）であるかの認識処理を行う。なお、以下では、特定の撮影シーンが「曇り」であるものとして説明を行う。また、特定の撮影シーンの認識は、画像の色分布を調べることなどによって行える。
【００６５】
なお、第１の認識処理での特定の被写体及び／又は特定の撮影シーンの認識は、従来技術の認識処理よりも認識精度が高くなるようにして行うとよい。なぜならば、第１の認識処理は「画作り」を目的とした処理なので、本撮影の撮影条件および本撮影で実施する画像処理の内容を誤ったものとしないように、認識処理での誤認識をできるだけ少なくして確実に認識を行う必要があるからである。
【００６６】
ステップ１０４：制御回路４は、第１の認識処理において、特定の被写体（「顔」）又は特定の撮影シーン（「曇り」）を認識できたか否かを判定する。
【００６７】
制御回路４は、「顔」又は「曇り」又はそれら双方が認識できた場合（Ｙｅｓ側）にはステップ１０５へ移行し、一方、いずれも認識できない場合（Ｎｏ側）にはステップ１０７へ移行する。
【００６８】
ステップ１０５：制御回路４は、第１の認識処理の結果（第１の認識結果）を不図示のメモリなどへ記録する。
【００６９】
なお、第１の認識処理において、「顔」と「曇り」の両方が認識された場合、メモリ（不図示）などには、例えば「画作り用の認識結果：被写体［顔］＝”検出ＯＫ”，撮影シーン［曇り］＝”検出ＯＫ”」とのような内容の認識結果が記録される。
【００７０】
また、「顔」又は「曇り」が認識された場合、メモリ（不図示）などには、例えば「画作り用の認識結果：被写体［顔］＝”検出ＯＫ”，撮影シーン［曇り］＝”検出ＮＧ”」又は「画作り用の認識結果：被写体［顔］＝”検出ＮＧ”，撮影シーン［曇り］＝”検出ＯＫ”」とのような内容の認識結果が記録される。
【００７１】
ステップ１０６：制御回路４は、第１の認識結果に応じて、本撮影の撮影条件（絞り値、シャッター速度、フラッシュ発光の有無など）および本撮影で実施する画像処理の内容を適切なものに決定する。
【００７２】
なお、画像処理の内容であるが、第１の認識結果に「顔」が認識されていれば、画像処理の内容は、例えば、「顔の部分がのっぺりとした画像にならないように階調性を重視して、かつ顔の肌色が綺麗になるようにカラー調整処理を施す」とのような内容に決定される。
【００７３】
また、第１の認識結果に「曇り」が認識されていれば、撮影される画像は、色温度が高く、カラーバランスが青に偏り、コントラストが低くなりがちであるので、画像処理の内容は、例えば、「それらを補償するようにカラー調整処理やコントラスト補正処理を施す」とのような内容に決定される。
【００７４】
そして、制御回路４は、ステップ１０８へ移行する。
【００７５】
ステップ１０７：制御回路４は、通常のデジタルカメラのオートモード（自動露出モードなど）によって、本撮影の撮影条件（絞り値、シャッター速度、フラッシュ発光の有無など）および本撮影で実施する画像処理の内容を決定する。
【００７６】
ステップ１０８：制御回路４は、取得したスルー画像に対し、第２の認識処理を行う。この第２の認識処理は、本撮影により撮影される本撮影画像の分類または検索に使用するための情報の取得を目的とした処理である。
【００７７】
具体的には、制御回路４は、スルー画像に特定の被写体（「顔」）が写っているかの認識処理を行う。また、制御回路４は、スルー画像に対し、特定の撮影シーン（「曇り」）であるかの認識処理を行う。
【００７８】
なお、この第２の認識処理においては、第１の認識処理よりも緩いレベルで被写体および撮影シーンの認識が行われる。これにより、第１の認識処理では特定の被写体及び／又は撮影シーンが認識されなかったスルー画像も、第２の認識処理においては認識されるようになる。即ち、第１の認識処理では、「画作り」を目的とするため、特定の被写体及び／又は撮影シーンを確実に認識できたとする範囲にある画像のみが検出される。一方、第２の認識処理では、分類または検索のための情報の取得を目的とするため、誤認識があることも考慮した上で、特定の被写体及び／又は撮影シーンを認識できたとする画像が漏れなく検出される。
【００７９】
このように、第１の認識処理と第２の認識処理とでは認識の範囲が異なっており、第２の認識処理の方が認識範囲が広くなっている。
【００８０】
また、第２の認識処理での特定の被写体及び／又は撮影シーンの認識は、従来技術の認識処理（例えば、顔認識処理など）よりも緩いレベルで行われてもよい。なぜならば、上記の第２の認識処理の目的から、特定の被写体及び／又は撮影シーンを認識できたとする画像を、誤認識があることも考慮した上で、漏れなく検出できる必要があるからである。
【００８１】
特定の被写体及び／又は撮影シーンの認識範囲を異なるものとするために、第１の認識処理と第２の認識処理とでは、それぞれ異なる認識の手法を採用する。
【００８２】
例えば、第１の認識処理では、認識精度が高く明るい画像において認識された「顔」のみを特定の被写体（「顔」）と認識し、一方、第２の認識処理では、明るい画像において認識された「顔」だけでなく、認識精度が低くなりがちな暗い画像において認識された「顔」も特定の被写体（「顔」）と認識するようにする。一般的に、画像の明るさにより認識の信頼度は異なり、明るい画像において認識される特定の被写体（「顔」など）の方が、暗い画像において認識される特定の被写体（「顔」など）よりも誤認識が少ないので、この場合、第１の認識処理の方が第２の認識処理よりも誤認識が少なく、信頼度が高くなる。
【００８３】
このような処理とすることで、第１の認識処理においては「顔」の誤認識が少なくなり、一方、第２の認識処理においては、誤認識は生じえるが、「顔」の認識漏れが少なくなる。
【００８４】
なお、”画像の明るさ”は、スルー画像の画像データから求めてもよく、測光回路１３から出力される被写体の測光データを用いて求めてもよい。
【００８５】
また、”画像の明るさ”に代えて、あるいはそれに加えて、例えば、”画像のボケ度合い”などの情報を用いて上記の認識処理を行うようにしてもよい。画像のボケ度合いを用いる場合、特定の被写体及び／又は撮影シーンを、第１の認識処理においてはボケ度合いの小さいものについて認識し、一方、第２の認識処理においてはボケ度合いの大きいものまで認識するようにする。なお、画像のボケ度合いは、例えば位相差ＡＦセンサから出力されたデフォーカス量や画像データの高周波数成分を基にして求めることができる。
【００８６】
また、特定の被写体及び／又は撮影シーンの認識範囲を異なるものとするために、第１の認識処理と第２の認識処理とに同一の認識処理を採用し、そして、第１の認識処理と第２の認識処理とでそれぞれ異なる認識の基準を用いて認識結果を出力するようにしてもよい。
【００８７】
ここで、認識の基準は、認識処理の精度に応じて予め決定した認識の信頼度を示す値である。例えば、認識処理の精度が画像の明るさ（平均輝度など）に依存する場合は、その明るさに応じて認識の信頼度を示す値を予め決定する。例えば、明るい場合には、認識処理の精度が高くなるので、その値を高い信頼度を示す０．９５などに、一方、暗い場合には、認識処理の精度が低くなるので、その値を低い信頼度を示す０．１などというように、明るさに応じた信頼度を示す値を予め決定する。
【００８８】
同一の認識処理を採用する場合、第１の認識処理と第２の認識処理との双方に、例えば、認識精度が低くなりがちな暗い画像において認識された「顔」も特定の被写体（「顔」）と認識する、認識範囲の広い認識処理を採用する。但し、この場合、誤認識が多くなり、信頼度が低くなる。
【００８９】
そして、第１の認識処理では、例えば、認識の基準に、高い信頼度を示す０．９５の値を用い、画像から特定の被写体（「顔」）が認識された場合に、当該画像の明るさを基に得られた認識の信頼度を示す値が、その基準以上、即ち０．９５以上であれば、特定の被写体（「顔」）を認識できたとする認識結果を出力する。また、第２の認識処理では、例えば、認識の基準に、低い信頼度を示す０．１の値を用い、画像から特定の被写体（「顔」）が認識された場合に、当該画像の明るさを基に得られた認識の信頼度を示す値が、その基準以上、即ち０．１以上であれば、特定の被写体（「顔」）を認識できたとする認識結果を出力する。
【００９０】
なお、認識処理の精度が、画像の明るさではなく、焦点距離、ズーム倍率や前述の画像のボケ度合いなどに依存する場合にも上記と同様の処理を行うことができる。その場合、焦点距離、ズーム倍率や前述の画像のボケ度合いなどに応じて予め決定した認識の信頼度を示す値を用いるようにすればよい。
【００９１】
上記の他に、サポートベクターマシンなどのパターン識別器を用いて自動認識を行う場合には、例えば識別器のパラメータを調整することで、信頼度を変更する構成としてもよい。
【００９２】
ステップ１０９：制御回路４は、第２の認識処理において、特定の被写体（「顔」）又は特定の撮影シーン（「曇り」）を認識できたか否かを判定する。
【００９３】
制御回路４は、「顔」又は「曇り」又はそれら双方が認識できた場合（Ｙｅｓ側）にはステップ１１０へ移行し、一方、いずれも認識できない場合（Ｎｏ側）にはステップ１１１へ移行する。
【００９４】
ステップ１１０：制御回路４は、第２の認識処理の結果（第２の認識結果）を不図示のメモリなどへ記録する。
【００９５】
なお、第２の認識処理において、「顔」と「曇り」の両方が認識された場合、メモリ（不図示）などには、例えば「分類検索用の認識結果：被写体［顔］＝”検出ＯＫ”，撮影シーン［曇り］＝”検出ＯＫ”」とのような内容の認識結果が記録される。
【００９６】
また、「顔」又は「曇り」が認識された場合、メモリ（不図示）などには、例えば「分類検索用の認識結果：被写体［顔］＝”検出ＯＫ”，撮影シーン［曇り］＝”検出ＮＧ”」又は「分類検索用の認識結果：被写体［顔］＝”検出ＮＧ”，撮影シーン［曇り］＝”検出ＯＫ”」とのような内容の認識結果が記録される。
【００９７】
ステップ１１１：制御回路４は、表示制御回路１２を駆動して、スルー画像をモニタ１１に表示させる。
【００９８】
このとき、モニタ１１の画面には、上記の処理において認識された特定の被写体（「顔」）及び／又は特定の撮影シーン（「曇り」）に関する情報が重畳されたスルー画像が表示される。この表示においては、第１の認識処理で認識された情報のみ、又は第２の認識処理で認識された情報のみを重畳表示してもよく、また、それら双方の認識処理で認識された情報を、第１の認識処理と第２の認識処理とに分けた形で重畳表示するようにしてもよい。
【００９９】
なお、スルー画像に重畳表示される情報とは、特定の被写体（「顔」など）及び特定の撮影シーン（「曇り」など）のシンボルマークのアイコンである。
【０１００】
ステップ１１２：制御回路４は、操作部材５から撮影を指示する操作信号が送られたか、即ちレリーズ釦が全押しされたか否かを判定する。
【０１０１】
制御回路４は、レリーズ釦が全押しされた場合（Ｙｅｓ側）にはステップ１１３へ移行し、一方、全押しされていない場合（Ｎｏ側）にはステップ１０２へ移行して上記の処理を繰り返す。
【０１０２】
ステップ１１３：制御回路４は、撮像素子駆動回路６を駆動して、スルー画像の撮影を終了する。
【０１０３】
ステップ１１４：制御回路４は、上記のステップ１０６又はステップ１０７で決定した撮影条件の下でレンズ駆動回路３、撮像素子駆動回路６、信号処理回路７およびデータ処理回路８を駆動して本撮影を実施する。このとき、撮像素子１はフレームモード（全画素読み出しモード）で駆動される。
【０１０４】
また、制御回路４は、データ処理回路８を駆動して、撮影された本撮影画像の画像データに対して画像処理を施す。なお、この画像処理は、上記のステップ１０６又はステップ１０７で決定した画像処理の内容に基づいて行われる。
【０１０５】
ステップ１１５：制御回路４は、表示制御回路１２を駆動して、データ処理回路８による画像処理後の本撮影画像をモニタ１１に表示させる。
【０１０６】
ステップ１１６：制御回路４は、圧縮／伸張回路９を駆動して、データ処理回路８による画像処理後の本撮影画像に対して圧縮処理を施すと共に、その圧縮処理後の画像データを記録媒体１０へ記録する。このとき、圧縮処理後の本撮影画像の画像データは、不図示のメモリなどから読み出した第１の認識結果と第２の認識結果との情報と共に、記憶媒体１０へ画像ファイルとして記録される。
【０１０７】
但し、不図示のメモリなどに第１の認識結果の記録が無い場合には、例えば「画作り用の認識結果：被写体［顔］＝”検出ＮＧ”，撮影シーン［曇り］＝”検出ＮＧ”」とのような内容の情報が第１の認識結果の情報として画像ファイルに記録される。また、不図示のメモリなどに第２の認識結果の記録が無い場合には、例えば「分類検索用の認識結果：被写体［顔］＝”検出ＮＧ”，撮影シーン［曇り］＝”検出ＮＧ”」とのような内容の情報が第２の認識結果の情報として画像ファイルに記録される。
【０１０８】
なお、画像ファイルがＥｘｉｆ規格の形式に基づくものであれば、第１の認識結果と第２の認識結果の情報は、画像ファイルのメーカーノート（ＭａｋｅｒＮｏｔｅ）タグの情報として記録される。
【０１０９】
このように、本撮影画像に対する第１の認識結果と第２の認識結果が、当該本撮影画像に関連付けて記録される。
【０１１０】
（第１実施形態の作用効果）
以下、第１実施形態の作用効果を説明する。
【０１１１】
第１実施形態のデジタルカメラでは、スルー画像に対し、「画作り」を目的とした第１の認識処理が実施され、第１の認識処理で特定の被写体及び／又は特定の撮影シーンが認識された場合には、その認識結果に応じて、本撮影の撮影条件および本撮影で実施する画像処理の内容が適切なものに決定される。また、第１の認識処理で特定の被写体と特定の撮影シーンとがどちらも認識されなかった場合は、通常のオートモード（自動露出モードなど）によって本撮影の撮影条件および本撮影で実施する画像処理の内容が決定される。そして、撮影が指示されると、決定された撮影条件の下で本撮影が行われると共に、決定された内容で本撮影画像に画像処理が施される。
【０１１２】
なお、第１の認識処理では、本撮影の撮影条件および本撮影で実施する画像処理の内容が誤ったものとならないように高い精度で認識が行われるので、特定の被写体及び／又は特定の撮影シーンが確実に認識される。
【０１１３】
したがって、本実施形態のデジタルカメラによれば、画作りを目的とした自動認識を確実、かつ最適に行うことができる。そして、その結果、撮影シーンに応じた適切な内容の画像処理が施された本撮影画像、即ち、ユーザーにとって好ましい画像を得ることができる。
【０１１４】
また、第１実施形態のデジタルカメラでは、スルー画像に対し、「画像の分類又は検索用の情報の取得」を目的とした第２の認識処理が実施され、第２の認識処理で特定の被写体及び／又は特定の撮影シーンが認識された場合には、その内容が認識結果として、本撮影画像に関連付けて記録される。また、第２の認識処理で特定の被写体と特定の撮影シーンとがどちらも認識されなかった場合は、認識されなかった旨の情報が認識結果として、本撮影画像に関連付けて記録される。
【０１１５】
なお、第２の認識処理は特定の被写体及び撮影シーンの認識範囲が広いので、第２の認識処理では、誤認識があることも考慮した上で、特定の被写体及び／又は撮影シーンを認識できたとする画像が漏れなく検出される。
【０１１６】
したがって、本実施形態のデジタルカメラによれば、画像の分類又は検索用の情報の取得を目的とした自動認識を確実、かつ最適に行うことができる。
【０１１７】
また、第１実施形態のデジタルカメラでは、スルー画像に対し、「画作り」を目的とした第１の認識処理が実施され、第１の認識処理で特定の被写体及び／又は特定の撮影シーンが認識された場合には、その内容が第１の認識結果として、第２の認識処理における認識結果と共に本撮影画像に関連付けて記録される。
また、第１の認識処理で特定の被写体と特定の撮影シーンとがどちらも認識されなかった場合は、認識されなかった旨の情報が第１の認識結果として、第２の認識処理における認識結果と共に本撮影画像に関連付けて記録される。
【０１１８】
このような、本撮影画像に関連付けて記録される認識結果の情報は、「画作り」また「画像の分類又は検索」のために最適な情報である。
【０１１９】
したがって、本実施形態のデジタルカメラによれば、「画作り」また「画像の分類又は検索」のための最適、かつ有用な情報が関連付けられた本撮影画像を確実に取得することができる。
【０１２０】
以下、第１実施形態の１番目の変形例（変形例１）を説明する。
【０１２１】
変形例１は、第１実施形態で実行される図２のフローの変形例である。この変形例１では、デジタルカメラが撮影モードに設定されたときに、図３のフローが繰り返し実行される。なお、図３のステップ２０１〜２０３およびステップ２１３〜２１８の処理は、図２のステップ１０１〜１０３およびステップ１１１〜１１６の処理と同一であるため、ここでは、第１実施形態との相違点である図３のステップ２０４〜２１２の処理のみ説明する。
【０１２２】
第１実施形態では、第１の認識処理において特定の被写体（「顔」）及び／又は特定の撮影シーン（「曇り」）を認識できた場合にも第２の認識処理を実行する。
【０１２３】
しかし、変形例１では、第１の認識処理で認識できた特定の被写体（「顔」）又は特定の撮影シーン（「曇り」）については、第２の認識処理でも認識できたものとみなして、第２の認識処理は実行しない。なぜならば、第１の認識処理の方が第２の認識処理よりも特定の被写体及び撮影シーンの認識範囲が狭いため、第１の認識処理において認識できた特定の被写体又は撮影シーンは、第２の認識処理においても必ず認識できるからである。
【０１２４】
ステップ２０４：制御回路４は、第１の認識処理において、特定の被写体（「顔」）又は特定の撮影シーン（「曇り」）を認識できたか否かを判定する。
【０１２５】
制御回路４は、「顔」と「曇り」のどちらも認識できない場合（Ｎｏ側）にはステップ２０５へ移行し、一方、「顔」又は「曇り」又はそれら双方が認識できた場合（Ｙｅｓ側）にはステップ２０６へ移行する。
【０１２６】
ステップ２０５：制御回路４は、通常のデジタルカメラのオートモード（自動露出モードなど）によって、本撮影の撮影条件（絞り値、シャッター速度、フラッシュ発光の有無など）および本撮影で実施する画像処理の内容を決定する。そして、制御回路４は、ステップ２１０へ移行する。
【０１２７】
ステップ２０６：制御回路４は、第１の認識処理の結果（第１の認識結果）を不図示のメモリなどへ記録する。
【０１２８】
ステップ２０７：制御回路４は、第１の認識結果に応じて、本撮影の撮影条件（絞り値、シャッター速度、フラッシュ発光の有無など）および本撮影で実施する画像処理の内容を適切なものに決定する。
【０１２９】
ステップ２０８：制御回路４は、第１の認識処理において、特定の被写体（「顔」）と特定の撮影シーン（「曇り」）との双方が認識できたか否かを判定する。
【０１３０】
制御回路４は、双方が認識できた場合（Ｙｅｓ側）にはステップ２０９へ移行し、一方、双方を認識できなかった場合（Ｎｏ側）にはステップ２１０へ移行する。
【０１３１】
ステップ２０９：制御回路４は、第１の認識結果を第２の認識結果として不図示のメモリなどへ記録する。そして、制御回路４は、ステップ２１３へ移行する。
【０１３２】
このように、第１の認識処理において特定の被写体（「顔」）と特定の撮影シーン（「曇り」）との双方が認識できた場合は、その第１の認識処理の結果が第２の認識処理の結果とみなされ、第２の認識処理はスキップされて実行されない。
【０１３３】
ステップ２１０：制御回路４は、取得したスルー画像に対し、第２の認識処理を行う。この第２の認識処理は、本撮影により撮影される本撮影画像の分類または検索に使用するための情報の取得を目的とした処理である。
【０１３４】
具体的には、制御回路４は、スルー画像に特定の被写体（「顔」）が写っているかの認識処理を行う。また、制御回路４は、スルー画像に対し、特定の撮影シーン（「曇り」）であるかの認識処理を行う。但し、制御回路４は、第１の認識処理で認識できた特定の被写体又は撮影シーンについては、第２の認識処理においても認識できたものとみなし、その特定の被写体又は撮影シーンについての第２の認識処理は実行しない。
【０１３５】
例えば、第１の認識処理でスルー画像から特定の被写体（「顔」）のみ認識された場合（ステップ２０８の判定により本ステップへ移行するルート）、本ステップの第２の認識処理においても特定の被写体（「顔」）については認識されたものとみなす。そして、スルー画像に対しては、特定の被写体が写っているかの認識処理は行わず、特定の撮影シーン（「曇り」）であるかの認識処理のみを行う。
【０１３６】
これにより、第２の認識結果には、少なくとも特定の被写体（「顔」）が認識されたことを示す内容が出力される。
【０１３７】
ステップ２１１：制御回路４は、第２の認識処理において、特定の被写体（「顔」）又は特定の撮影シーン（「曇り」）を認識できたか否かを判定する。
【０１３８】
制御回路４は、「顔」又は「曇り」又はそれら双方が認識できた場合（Ｙｅｓ側）にはステップ２１２へ移行し、一方、いずれも認識できない場合（Ｎｏ側）にはステップ２１３へ移行する。
【０１３９】
ステップ２１２：制御回路４は、第２の認識処理の結果（第２の認識結果）を不図示のメモリなどへ記録する。
【０１４０】
（第１実施形態の１番目の変形例の作用効果）
以下、第１実施形態の１番目の変形例（変形例１）の作用効果を説明する。
【０１４１】
変形例１のデジタルカメラでは、第１の認識処理で特定の被写体（「顔」）と特定の撮影シーン（「曇り」）との双方が認識された場合は、第２の認識処理でもそれらは認識されたとみなされて第２の認識結果に反映される。このため、第２の認識処理はスキップされて実行されない。
【０１４２】
また、第１の認識処理で特定の被写体（「顔」）と特定の撮影シーン（「曇り」）との何れか一方が認識された場合は、第２の認識処理でもその一方については認識されたとみなされて第２の認識結果に反映される。このため、第１の認識処理で認識された特定の被写体（「顔」）又は特定の撮影シーン（「曇り」）については、第２の認識処理はスキップされて実行されない。
【０１４３】
したがって、変形例１のデジタルカメラによれば、画像の分類又は検索用の情報の取得を目的とした自動認識を効率的に行うことができる。
【０１４４】
以下、第１実施形態の２番目の変形例（変形例２）を説明する。
【０１４５】
変形例２は、第１実施形態で実行される図２のフローの変形例である。この変形例２では、デジタルカメラが撮影モードに設定されたときに、図４のフローが繰り返し実行される。なお、図４のステップ３０１，３０２およびステップ３１１〜３１６の処理は、図２のステップ１０１，１０２およびステップ１１１〜１１６の処理と同一であるため、ここでは、第１実施形態との相違点である図４のステップ３０３〜３１０の処理のみ説明する。
【０１４６】
第１実施形態では、第１の認識処理を実行した後に、第２の認識処理を実行する。
【０１４７】
しかし、変形例２では、それらを逆にして、第２の認識処理を実行した後に、第１の認識処理を実行するようにする。そして、先に実行される第２の認識処理において特定の被写体又は特定の撮影シーン又はそれら双方が認識できた場合の画像に対し、第１の認識処理が実行される。
【０１４８】
なぜならば、第２の認識処理の方が第１の認識処理よりも特定の被写体及び撮影シーンの認識範囲が広いため、第２の認識処理において特定の被写体又は特定の撮影シーンを認識できない画像は、第１の認識処理においてもそれらを認識できないからである。
【０１４９】
ステップ３０３：制御回路４は、取得したスルー画像に対し、第２の認識処理を行う。この第２の認識処理は、本撮影により撮影される本撮影画像の分類または検索に使用するための情報の取得を目的とした処理である。
【０１５０】
具体的には、制御回路４は、スルー画像に特定の被写体（「顔」）が写っているかの認識処理を行う。また、制御回路４は、スルー画像に対し、特定の撮影シーン（「曇り」）であるかの認識処理を行う。
【０１５１】
ステップ３０４：制御回路４は、第２の認識処理において、特定の被写体（「顔」）又は特定の撮影シーン（「曇り」）を認識できたか否かを判定する。
【０１５２】
制御回路４は、「顔」と「曇り」のどちらも認識できない場合（Ｎｏ側）にはステップ３０５へ移行し、一方、「顔」又は「曇り」又はそれら双方が認識できた場合（Ｙｅｓ側）にはステップ３０６へ移行する。
【０１５３】
ステップ３０５：制御回路４は、通常のデジタルカメラのオートモード（自動露出モードなど）によって、本撮影の撮影条件（絞り値、シャッター速度、フラッシュ発光の有無など）および本撮影で実施する画像処理の内容を決定する。そして、制御回路４は、第１の認識処理を実行することなくステップ３１１へ移行する。
【０１５４】
このように、先に行われる第２の認識処理で特定の被写体（「顔」）と特定の撮影シーン（「曇り」）のどちらも認識できない場合は、第１の認識処理においても当然それらを認識することができないので、第１の認識処理は実行されずにスキップされる。なぜならば、第１の認識処理は、第２の認識処理よりも特定の被写体及び撮影シーンの認識範囲が狭いからである。
【０１５５】
ステップ３０６：制御回路４は、第２の認識処理の結果（第２の認識結果）を不図示のメモリなどへ記録する。
【０１５６】
ステップ３０７：制御回路４は、取得したスルー画像に対し、第１の認識処理を行う。この第１の認識処理は、本撮影の撮影条件および本撮影で実施する画像処理の内容を決定するため、即ち「画作り」を目的とした処理である。
【０１５７】
具体的には、制御回路４は、スルー画像に特定の被写体（「顔」）が写っているかの認識処理を行う。また、制御回路４は、スルー画像に対し、特定の撮影シーン（「曇り」）であるかの認識処理を行う。但し、制御回路４は、第２の認識処理で認識できなかった特定の被写体又は撮影シーンについては、第１の認識処理においても認識できなかったものとみなし、その特定の被写体又は撮影シーンについての第１の認識処理は実行しない。
【０１５８】
例えば、ステップ３０３の第２の認識処理でスルー画像から特定の被写体（「顔」）のみが認識された場合、本ステップの第１の認識処理においては特定の撮影シーン（「曇り」）については認識されなかったものとみなす。そして、スルー画像に対しては、特定の撮影シーンであるかの認識処理は行わず、特定の被写体（「顔」）が写っているかの認識処理のみを行う。
【０１５９】
ステップ３０８：制御回路４は、第１の認識処理において、特定の被写体（「顔」）又は特定の撮影シーン（「曇り」）を認識できたか否かを判定する。
【０１６０】
制御回路４は、「顔」と「曇り」のどちらも認識できない場合（Ｎｏ側）にはステップ３０５へ移行し、一方、「顔」又は「曇り」又はそれら双方が認識できた場合（Ｙｅｓ側）にはステップ３０９へ移行する。
【０１６１】
ステップ３０９：制御回路４は、第１の認識処理の結果（第１の認識結果）を不図示のメモリなどへ記録する。
【０１６２】
ステップ３１０：制御回路４は、第１の認識結果に応じて、本撮影の撮影条件（絞り値、シャッター速度、フラッシュ発光の有無など）および本撮影で実施する画像処理の内容を適切なものに決定する。
【０１６３】
（第１実施形態の２番目の変形例の作用効果）
以下、第１実施形の２番目の変形例（変形例２）の作用効果を説明する。
【０１６４】
変形例２のデジタルカメラでは、先に行われる第２の認識処理で特定の被写体（「顔」）と特定の撮影シーン（「曇り」）とが何れも認識されなかった場合には、その次に行われるべき第１の認識処理はスキップされて実行されない。
【０１６５】
また、第２の認識処理で特定の被写体（「顔」）と特定の撮影シーン（「曇り」）との何れか一方が認識された場合、認識された一方については第１の認識処理が実行されるが、認識されなかったもう一方については第１の認識処理がスキップされて実行されない。
【０１６６】
したがって、変形例２のデジタルカメラによれば、画作りを目的とした自動認識を効率的に行うことができる。
【０１６７】
（その他）
なお、上記の変形例１では、ステップ２０８で「特定の被写体と特定の撮影シーンとの双方が認識できたか」の判定を行っているが、これについては「それらの何れか一方が認識できたか」を判定するようにしてもよい。その場合、認識できた一方については第２の認識処理の実行をスキップ（省略）して、認識できなかったもう一方のみに第２の認識処理を実行するようにする。
【０１６８】
また、上記の変形例２では、ステップ３０４で「特定の被写体と特定の撮影シーンとの何れか一方が認識できたか」の判定を行っているが、これについては「それらの双方が認識できたか」を判定するようにしてもよい。そして、それらの双方が認識できた場合は、双方とも第１の認識処理を実行するようにする。また、双方とも認識できなかった場合は、それらに対する第１の認識処理の実行をスキップ（省略）する。また、それらの何れか一方が認識できなかった場合は、認識できなかった一方については第１の認識処理の実行をスキップ（省略）して、認識できたもう一方のみに第１の認識処理を実行するようにする。
【０１６９】
つまり、第１の認識処理と第２の認識処理との何れか一方の認識処理を実行した後、その認識結果に応じて、残るもう一方の認識処理の実行／不実行を切り換えるようにする。
【０１７０】
そうすれば、先に実行した第１の認識処理で認識された特定の被写体及び／又は撮影シーンについては第２の認識処理が実行されず、また、先に実行した第２の認識処理で認識されなかった被写体及び／又は撮影シーンについては第１の認識処理が実行されない。そのため、認識に係る処理時間を低減することができる。
【０１７１】
また、上記第１実施形態のステップ１１６では、第１の認識結果と第２の認識結果との双方を本撮影画像に関連付けて記録しているが、何れか一方のみを記録するようにしてもよい。つまり、それらの認識結果のうちの少なくとも１つを本撮影画像に関連付けて記録するようにすればよい。
【０１７２】
また、上記では、特定の被写体（「顔」）と特定の撮影シーン（「曇り」）とを一度の動作で認識する例を説明した。しかし、上記の動作はこれに限定されず、特定の被写体（「顔」）だけ、あるいは特定の撮影シーン（「曇り」）だけを一度の動作で認識するようにしてもよい。さらに、特定の複数の被写体、例えば（「顔」及び「花」）など、あるいは特定の複数の撮影シーン、例えば（「晴れ」及び「曇り」及び「夕焼け」）などを一度の動作で認識するようにしてもよい。もちろん、特定の複数の被写体、例えば（「顔」及び「花」）と、特定の複数の撮影シーン、例えば（「晴れ」及び「曇り」及び「夕焼け」）とを一度の動作で認識するようにしてもよい。
【０１７３】
また、上記では、本撮影画像の分類または検索用の情報の取得を目的とした処理である第２の認識処理を、スルー画像に対して実施するように説明したが、記録媒体１０へ記録する前の本撮影画像、或いはそれへの記録後の本撮影画像に対して実施してもよい。
【０１７４】
また、第２の認識処理は、パーソナルコンピュータ（ＰＣ）などのデジタルカメラ外部の機器で実施するようにしてもよい。
【０１７５】
また、本撮影画像の「画作り」を目的とした処理である第１の認識処理の認識結果を、例えばＰＣで画像のレタッチを行うなど、デジタルカメラ外部の機器で行う画像処理のために利用するようにしてもよい。
【０１７６】
その場合、デジタルカメラでは、第１の認識処理を実施して、その第１の認識結果の情報を本撮影画像の画像データと共に記録媒体１０へ画像ファイルとして記録する。この際、本撮影画像は、ＲＡＷ画像であることが望ましい。
【０１７７】
その後、デジタルカメラ外部のＰＣ等において、記録媒体１０の画像ファイルを読み込み、画像ファイルから第１の認識結果の情報を取得する。そして、その情報に基づき、ＰＣ等で適当な画像処理を本撮影画像に対して施すようにする。この際、本撮影画像に施す画像処理の内容は、例えば、画像ファイルがＥｘｉｆ規格の形式に基づくものであれば、そのメーカーノート（ＭａｋｅｒＮｏｔｅ）タグの情報などとして記録された撮影情報（露出時間、絞り値、焦点距離、ＩＳＯ感度など）を基に決定するようにすればよい。
【０１７８】
また、第１の認識処理において特定の被写体（「顔」）を認識できた際に、画像中の「顔」の領域の情報を取得し、その情報についても本撮影画像に関連付けて画像ファイルに記録するようにすれば、後で、デジタルカメラ外部のＰＣ等において、前記のように本撮影画像に画像処理を施す際に、自動的に、「顔」の領域に適当な画像処理を施すようにすることもできる。
【０１７９】
また、第１の認識処理は、デジタルカメラ内部に限らず、ＰＣ等、デジタルカメラ外部の機器での画像処理の際に実施するようにしてもよい。
【０１８０】
また、上述したデジタルカメラの動作に係るプログラムは、その一部または全部をコンピュータなどの外部処理装置に実行させてもよい。その場合、必要なプログラムがＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体やインターネット等の通信網などを介して外部処理装置へインストールされる。
【符号の説明】
【０１８１】
１…撮像素子，２…撮影レンズ，３…レンズ駆動回路，４…制御回路，５…操作部材，６…撮像素子駆動回路，７…信号処理回路，８…データ処理回路，９…圧縮／伸張回路，１０…記録媒体，１１…モニタ，１２…表示制御回路，１３…測光回路，１００…デジタルカメラ本体
【技術分野】
【０００１】
本発明は、画像処理装置およびその画像処理プログラム、それらを備えた撮像装置に関する。
【背景技術】
【０００２】
画像から被写体及び／又は撮影シーンを自動認識する技術が、従来から、数多く提案されている。
【０００３】
例えば、特許文献１には、撮影シーンを自動認識して画像処理の内容を決定する技術が提案されている。この技術では、自動認識によって決定した画像処理パラメータの内容を制限することで、自動認識において撮影シーンの誤認識が生じた場合にも、撮影画像に対し画像処理による著しい画質劣化等を与えることがなく、無難な内容の撮影画像を得ることを可能としている。
【０００４】
また、例えば、特許文献２には、画像の被写体及び／又は撮影シーンの自動認識結果を、当該画像に関連付けて記録し、当該画像の分類又は検索用の情報として用いる技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１８４５３号公報
【特許文献２】特開２０００−１１３０９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、撮影シーンを自動認識して画像処理の内容を決定する場合、誤認識をできるだけ少なくする必要がある。例えば、自動認識で、花のクローズアップ画像を人の顔のクローズアップ画像であると誤って認識し、画像処理の内容を、肌をなめらかにするような内容に決定した場合、画像処理が施された画像は花の部分がのっぺりとしたものとなり、結果、ユーザーにとって好ましい画像が得られなくなる。従って、画像処理の内容を決定するための自動認識においては、認識の精度を高くして、誤認識をできるだけ少なくする必要がある。
【０００７】
しかし、従来技術では、画像に対し、制限されたパラメータにより画像処理を施すことで、誤認識が生じた場合にも著しい画質劣化等のない無難な内容の画像を得ることができるものの、結局、その画像処理は、撮影シーンに応じた適切な内容では行われないので、ユーザーにとって好ましい画像を得ることはできない。すなわち、従来技術では、誤認識による画像処理への影響を回避することができなかった。
【０００８】
また、従来技術では、画像の被写体及び／又は撮影シーンの自動認識結果を当該画像の分類又は検索用の情報として用いるが、その場合の自動認識においては、被写体や撮影シーンなどといった所望の条件に合う画像を漏れなく検出する必要がある。しかしながら、このような「画像の分類又は検索用の情報の取得」を目的とした自動認識（第２の認識）は、上記の画像処理の内容を決定するための自動認識、即ち「画作り」を目的とした自動認識（第１の認識）には用いることができなかった。なぜならば、第１の認識では、特定の被写体及び／又は特定の撮影シーンに該当する画像を、高精度、かつ確実に認識（抽出）する（誤抽出を少なくする）必要があり、一方、第２の認識では、特定の被写体及び／又は特定の撮影シーンに該当する画像を、いくらかの誤認識が生じることも考慮した上で、漏れなく検出する（抽出漏れを少なくする）必要があるからである。つまり、第１の認識と第２の認識とでは、認識に必要とされる精度が異なるからである。
【０００９】
本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、例えば画像の分類又は検索用の情報の取得を目的とした自動認識と、例えば画作りを目的とした自動認識などの異なる目的で自動認識を行う際にも、各々の自動認識を確実、かつ最適に行うことの可能な画像処理装置および画像処理プログラム、それらを備えた撮像装置を提供することである。
【課題を解決するための手段】
【００１０】
第１の発明の画像処理装置は、入力された画像の被写体及び／又は撮影シーンを認識する認識手段を備え、その認識手段が、異なる基準を用いて目的毎に前記認識を行う。
【００１１】
第２の発明は、第１の発明において、前記異なる基準は、前記認識の信頼度を示す値である。
【００１２】
第３の発明は、第１の発明又は第２の発明において、認識手段が、前記異なる基準に代えて、異なる手法を用いて目的毎に前記認識を行う。
【００１３】
第４の発明は、第１〜第３の発明の何れか一の発明において、認識手段が、前記認識により取得した目的毎の認識結果の少なくとも１つを、画像に関連付けて記録する。
【００１４】
第５の発明は、第４の発明において、記録された認識結果の１つは、画像に施す画像処理の内容を決定するための情報である。
【００１５】
第６の発明は、第４の発明又は第５の発明において、記録された認識結果の１つは、画像の分類または検索のための情報である。
【００１６】
第７の発明は、第１〜第６の発明の何れか一の発明において、認識手段が、前記認識により取得した目的毎の認識結果の全てを、画像に関連付けて識別可能に記録する。
【００１７】
第８の発明は、第１〜第７の発明の何れか一の発明において、認識手段が、第１の認識処理と、それとは目的の異なる第２の認識処理との何れか一方を実行した後、その認識結果に応じて、もう一方の実行／不実行を切り換える。
【００１８】
第９の発明の撮像装置は、第１〜第８の発明の何れか一の発明の画像処理装置と、撮像手段とを備え、撮像手段が、被写体像を撮影すると共に、撮影した画像を画像処理装置へ入力する。
【００１９】
第１０の発明の画像処理プログラムは、入力された画像の被写体及び／又は撮影シーンを認識する認識手順をコンピュータに実行させる画像処理プログラムであって、認識手順では、異なる基準を用いて目的毎に前記認識を行う。
【００２０】
第１１の発明は、第１０の発明において、認識手順では、前記認識により取得した目的毎の認識結果の少なくとも１つを、画像に関連付けて記録する。
【００２１】
第１２の発明は、第１０の発明又は第１１の発明において、認識手順では、第１の認識処理と、それとは目的の異なる第２の認識処理との何れか一方を実行した後、その認識結果に応じて、もう一方の実行／不実行を切り換える。
【発明の効果】
【００２２】
本発明を利用すれば、例えば画像の分類又は検索用の情報の取得を目的とした自動認識と、例えば画作りを目的とした自動認識などの異なる目的で自動認識を行う際にも、各々の自動認識を確実、かつ最適に行うことが可能になる。
【図面の簡単な説明】
【００２３】
【図１】第１実施形態のデジタルカメラのブロック図である。
【図２】第１実施形態の被写体及び／又は撮影シーンの認識動作を示す流れ図である。
【図３】変形例１の被写体及び／又は撮影シーンの認識動作を示す流れ図である。
【図４】変形例２の被写体及び／又は撮影シーンの認識動作を示す流れ図である。
【発明を実施するための形態】
【００２４】
（第１実施形態）
以下、本発明の第１実施形態を説明する。本実施形態は、デジタルカメラの実施形態である。
【００２５】
図１は、第１実施形態のデジタルカメラのブロック図である。
【００２６】
図１において、デジタルカメラ本体１００は、撮像素子１と、撮影レンズ２と、レンズ駆動回路３と、制御回路４と、操作部材５と、撮像素子駆動回路６と、信号処理回路７と、データ処理回路８と、圧縮／伸張回路９と、モニタ１１と、表示制御回路１２と、測光回路１３とを有し、さらに記録媒体１０が設けられている。
【００２７】
記録媒体１０は、メモリカード、小型ハードディスク、ＤＶＤ等の光ディスクなどで構成される。なお、記録媒体１０は、デジタルカメラ本体１００に内蔵されるものであっても、着脱可能に装着されるものであってもよいし、本体１００の外部に設けられるものであってもよい。外部に設けられる場合、記録媒体１０とデジタルカメラ本体１００とは、有線または無線で電気的に接続される。
【００２８】
撮影レンズ２は、撮影光学系を構成する複数枚のレンズ群で構成され、撮像素子１の撮像面上に被写体像を結像させる。
【００２９】
撮影レンズ２は、不図示のフォーカスレンズを含み、レンズ駆動回路３がフォーカスレンズを光軸方向に進退駆動することにより、撮影レンズ２のフォーカス調節が行われる。また、撮影レンズ２は、不図示のズームレンズを含み、レンズ駆動回路３がズームレンズを光軸方向に進退駆動することにより、撮影レンズ２のズーム調節が行われる。
【００３０】
なお、簡単のため、図１では撮影レンズ２を１枚のレンズとして図示している。
【００３１】
レンズ駆動回路３は、制御回路４から出力されるレンズ駆動指令に応じてレンズ駆動信号を発生し、このレンズ駆動信号により不図示のレンズ駆動機構を駆動することで、撮影レンズ２の各レンズを移動させる。
【００３２】
撮像素子１は、連写画像の撮影が可能な撮像素子であり、例えば、ＣＣＤ型撮像素子、あるいはＣＭＯＳ型撮像素子などによって構成される。なお、撮像素子１は、勿論、１フレーム毎の静止画像の撮影も可能である。
【００３３】
撮像素子駆動回路６は、制御回路４から出力される指令に応じて所定タイミングの駆動信号を発生し、この駆動信号を撮像素子１へ供給する。撮像素子１は、供給された駆動信号によって、電荷の蓄積（撮像）や蓄積した電荷の読み出しが制御される。
【００３４】
制御回路４は、測光回路１３による被写体の測光データを用いて被写界の明るさの情報を求め、この明るさの情報に基づいて、撮像素子１の電荷蓄積時間、撮影レンズ２の絞り、および撮像素子１から出力される画像信号の増幅率などの撮影条件を決定する。
【００３５】
なお、被写界の明るさの情報は、撮像素子１から出力される画像信号に基づき、制御回路４が求める構成としてもよい。但し、そうした場合には、撮像素子１が測光回路１３の機能を司る。
【００３６】
信号処理回路７は、制御回路４からの指令に応じて、撮像素子１から出力される画像信号に対し、ＣＤＳ（相関二重サンプリング）、増幅（ゲイン調整）、Ａ／Ｄ変換、ホワイトバランスなどの信号処理を施す。そして、信号処理回路７は、その信号処理後のデータを画像データとしてデータ処理回路８へ出力する。
【００３７】
また、信号処理回路７は、制御回路４からの指令に基づきゲイン調整の調整量（増幅率）を設定し、それによってＩＳＯ感度に相当する撮影感度の調整を行う。
【００３８】
データ処理回路８は、制御回路４からの指令に応じて、信号処理回路７から出力される画像データに対し、輪郭強調、カラー調整、ガンマ補正、解像度変換（画素数変換）などの画像処理を施す。なお、解像度変換（画素数変換）は、モニタ１１に画像データの再生画像を表示させる場合などに必要な処理である。
【００３９】
そして、データ処理回路８は、制御回路４からの指令に応じて、画像処理後の画像データをモニタ１１に表示させるために表示制御回路１２へ出力する。また、データ処理回路８は、制御回路４からの指令に応じて、画像処理後の画像データを圧縮／伸張回路９へ出力する。
【００４０】
表示制御回路１２は、制御回路４からの指令に応じて、データ処理回路８から出力される画像データに所定の信号処理を施してモニタ１１へ出力する。表示制御回路１２は、さらに、撮影メニューやカーソルなどのオーバレイ画像データを前記画像データに重畳する処理を行う。これにより、オーバレイ画像が重畳された被写体画像がモニタ１１に表示される。
【００４１】
圧縮／伸張回路９は、制御回路４からの指令に応じて、データ処理回路８から出力される画像データに、例えばＪＰＥＧ（Joint Photographic Experts Group）形式等の所定の形式で圧縮処理を施し、その圧縮後の画像データを記録媒体１０へ記録する。但し、操作部材５の操作により非圧縮記録が指示された場合には、圧縮／伸張回路９は、画像データを、圧縮処理を施すことなく記録媒体１０へ記録する。
【００４２】
圧縮／伸張回路９は、可逆圧縮（いわゆるロスレス符号化）を行うことも可能な構成となっている。
【００４３】
また、デジタルカメラ本体１００は、記録媒体１０に記録されている画像データの再生画像をモニタ１１に表示することも可能とするように構成される（再生モード）。
【００４４】
この場合、圧縮／伸張回路９は、再生モード時に、制御回路４からの指令に応じて、記録媒体１０に記録されている画像データを読み出して復号処理を施し、その復号後の画像データをデータ処理回路８へ出力する。そして、データ処理回路８は、復号後の画像データに解像度変換処理を施して、その変換処理後の画像データを表示制御回路１２へ出力する。これにより、画像データの再生画像がモニタ１１に表示される。なお、記録媒体１０に記録されているうちの非圧縮の画像データが読み出された場合には、圧縮／伸張回路９による復号処理は行われない。
【００４５】
操作部材５は、レリーズ釦を含み、部材操作の内容に応じた操作信号を制御回路４へ送る。制御回路４は、操作部材５から撮影を指示する操作信号を受けると、撮像素子１から出力される画像信号のうち、撮影画面内にあらかじめ設定されているフォーカス検出領域に対応する信号を用いて、公知のコントラスト方式のＡＦ（オートフォーカス）動作を行う。
【００４６】
具体的には、制御回路４は、信号処理回路７により信号処理が施された画像データのうち、フォーカス検出領域に対応するデータについての高周波数成分の積算値（いわゆる焦点評価値）を最大とするように、レンズ駆動指令（フォーカス調節信号）をレンズ駆動回路３へ与える。ここで、焦点評価値が最大となるフォーカスレンズの位置は、撮像素子１により撮影される被写体像のエッジのぼけをなくし、画像のコントラストを最大とした（尖鋭度を高めた）合焦位置である。
【００４７】
なお、コントラスト方式のＡＦ動作に加えて、公知の瞳分割方式による位相差ＡＦ動作を行うように構成してもよい。もちろん、位相差ＡＦ動作のみを行う構成としてもよい。
【００４８】
また、撮影被写体が移動する場合には、上記の当初のフォーカス検出領域を、被写体の移動に伴って追尾させ、常に特定の被写体に焦点が合うように制御する構成としてもよい。
【００４９】
操作部材５は、ズーム操作部材も含む。制御回路４は、操作部材５からズーム操作に応じたズーム操作信号を受けると、レンズ駆動指令（ズーム調節信号）をレンズ駆動回路３へ与え、撮影レンズ２のズームレンズを進退駆動させる。これにより、撮像素子１の撮像面上に結像される被写体像が拡大もしくは縮小し、光学的にズーム調節される。
【００５０】
制御回路４は、さらにズーム操作信号を受けると、データ処理回路８へ指令を与えて、画像データに対する解像度変換処理の変換比率をズーム操作信号に応じて変化させる。なお、解像度変換処理の変換比率は電子ズームの倍率に対応する。これにより、モニタ１１に表示される再生画像が拡大もしくは縮小し、電気的にズーム調節される（電子ズーム）。
【００５１】
電子ズームにおいて、データ処理回路８がズーム倍率を高める方向に変換比率を変える場合は、再生画像の一部が拡大されてモニタ１１に表示される。この場合、表示される再生画像は、拡大率が上がるが、画像の表示範囲は狭くなる。反対に、データ処理回路８がズーム倍率を低くする方向に変換比率を変える場合は、モニタ１１に表示される再生画像は、拡大率が下がるが、画像の表示範囲は広くなる。
【００５２】
ここで、撮影モード設定時および撮影時のデジタルカメラの動作を簡単に説明する。
【００５３】
モード釦等の操作によりデジタルカメラが撮影モードに設定されると、制御回路４は、レンズ駆動回路３、撮像素子駆動回路６、信号処理回路７およびデータ処理回路８を駆動してスルー画像の撮影を開始する。
【００５４】
このとき、撮像素子１はドラフトモード（間引き読み出しモード）で駆動され、スルー画像の画像データが信号処理回路７およびデータ処理回路８を介して、順次、表示制御回路１２へ出力される。
【００５５】
制御回路４は、表示制御回路１２を駆動して、スルー画像をモニタ１１に表示させる。また、制御回路４は、信号処理回路７を介して出力されるスルー画像の画像データを基に、レンズ駆動回路３と協働してＡＦ動作を行う。さらに、制御回路４は、測光回路１３による被写体の測光データから決定した画像信号の増幅率などの撮影条件に基づき、信号処理回路７のゲイン調整等の露出制御などを行う。
【００５６】
撮影モードで動作中にレリーズ釦が全押しされると、制御回路４は、測光回路１３による被写体の測光データを用いて求めた被写界の明るさの情報に基づき撮影条件（絞り値、シャッター速度、フラッシュ発光の有無など）を決定すると共に、その決定した撮影条件の下でレンズ駆動回路３、撮像素子駆動回路６、信号処理回路７およびデータ処理回路８を駆動して本撮影を行う。
【００５７】
このとき、撮像素子１はフレームモード（全画素読み出しモード）で駆動され、撮影された本撮影画像の画像データが信号処理回路７およびデータ処理回路８を介して表示制御回路１２と圧縮／伸張回路９へ出力される。
【００５８】
制御回路４は、表示制御回路１２を駆動して本撮影画像をモニタ１１に表示させ、また、圧縮／伸張回路９を駆動して本撮影画像の画像データに圧縮処理を施し、その圧縮処理後の画像データを記録媒体１０へ記録する。
【００５９】
以下、デジタルカメラの被写体及び／又は撮影シーンの認識の動作を、図２の流れ図を参照して説明する。図２は、デジタルカメラが撮影モードに設定されたときに繰り返し実行されるフローである。
【００６０】
ステップ１０１：制御回路４は、撮像素子駆動回路６を駆動して、撮像素子１をドラフトモード（間引き読み出しモード）で駆動させ、スルー画像の撮影を開始する。
【００６１】
ステップ１０２：制御回路４は、信号処理回路７を介して出力された１フレーム分のスルー画像を取得する。
【００６２】
ステップ１０３：制御回路４は、取得したスルー画像に対し、第１の認識処理を行う。この第１の認識処理は、本撮影の撮影条件および本撮影で実施する画像処理の内容を決定するため、即ち「画作り」を目的とした処理である。
【００６３】
具体的には、制御回路４は、スルー画像に特定の被写体（人の顔や花など、予め定められた特定の物体）が写っているかの認識処理を行う。なお、以下では、特定の被写体が人の「顔」であるものとして説明を行う。また、特定の被写体（「顔」）の認識処理には、例えば、特開２００６−１５５０９６号公報などで開示された従来の顔認識処理の技術を用いることができる。
【００６４】
制御回路４は、また、スルー画像に対し、特定の撮影シーン（晴れ、曇り、夕焼けなど、予め定められた特定のシーン）であるかの認識処理を行う。なお、以下では、特定の撮影シーンが「曇り」であるものとして説明を行う。また、特定の撮影シーンの認識は、画像の色分布を調べることなどによって行える。
【００６５】
なお、第１の認識処理での特定の被写体及び／又は特定の撮影シーンの認識は、従来技術の認識処理よりも認識精度が高くなるようにして行うとよい。なぜならば、第１の認識処理は「画作り」を目的とした処理なので、本撮影の撮影条件および本撮影で実施する画像処理の内容を誤ったものとしないように、認識処理での誤認識をできるだけ少なくして確実に認識を行う必要があるからである。
【００６６】
ステップ１０４：制御回路４は、第１の認識処理において、特定の被写体（「顔」）又は特定の撮影シーン（「曇り」）を認識できたか否かを判定する。
【００６７】
制御回路４は、「顔」又は「曇り」又はそれら双方が認識できた場合（Ｙｅｓ側）にはステップ１０５へ移行し、一方、いずれも認識できない場合（Ｎｏ側）にはステップ１０７へ移行する。
【００６８】
ステップ１０５：制御回路４は、第１の認識処理の結果（第１の認識結果）を不図示のメモリなどへ記録する。
【００６９】
なお、第１の認識処理において、「顔」と「曇り」の両方が認識された場合、メモリ（不図示）などには、例えば「画作り用の認識結果：被写体［顔］＝”検出ＯＫ”，撮影シーン［曇り］＝”検出ＯＫ”」とのような内容の認識結果が記録される。
【００７０】
また、「顔」又は「曇り」が認識された場合、メモリ（不図示）などには、例えば「画作り用の認識結果：被写体［顔］＝”検出ＯＫ”，撮影シーン［曇り］＝”検出ＮＧ”」又は「画作り用の認識結果：被写体［顔］＝”検出ＮＧ”，撮影シーン［曇り］＝”検出ＯＫ”」とのような内容の認識結果が記録される。
【００７１】
ステップ１０６：制御回路４は、第１の認識結果に応じて、本撮影の撮影条件（絞り値、シャッター速度、フラッシュ発光の有無など）および本撮影で実施する画像処理の内容を適切なものに決定する。
【００７２】
なお、画像処理の内容であるが、第１の認識結果に「顔」が認識されていれば、画像処理の内容は、例えば、「顔の部分がのっぺりとした画像にならないように階調性を重視して、かつ顔の肌色が綺麗になるようにカラー調整処理を施す」とのような内容に決定される。
【００７３】
また、第１の認識結果に「曇り」が認識されていれば、撮影される画像は、色温度が高く、カラーバランスが青に偏り、コントラストが低くなりがちであるので、画像処理の内容は、例えば、「それらを補償するようにカラー調整処理やコントラスト補正処理を施す」とのような内容に決定される。
【００７４】
そして、制御回路４は、ステップ１０８へ移行する。
【００７５】
ステップ１０７：制御回路４は、通常のデジタルカメラのオートモード（自動露出モードなど）によって、本撮影の撮影条件（絞り値、シャッター速度、フラッシュ発光の有無など）および本撮影で実施する画像処理の内容を決定する。
【００７６】
ステップ１０８：制御回路４は、取得したスルー画像に対し、第２の認識処理を行う。この第２の認識処理は、本撮影により撮影される本撮影画像の分類または検索に使用するための情報の取得を目的とした処理である。
【００７７】
具体的には、制御回路４は、スルー画像に特定の被写体（「顔」）が写っているかの認識処理を行う。また、制御回路４は、スルー画像に対し、特定の撮影シーン（「曇り」）であるかの認識処理を行う。
【００７８】
なお、この第２の認識処理においては、第１の認識処理よりも緩いレベルで被写体および撮影シーンの認識が行われる。これにより、第１の認識処理では特定の被写体及び／又は撮影シーンが認識されなかったスルー画像も、第２の認識処理においては認識されるようになる。即ち、第１の認識処理では、「画作り」を目的とするため、特定の被写体及び／又は撮影シーンを確実に認識できたとする範囲にある画像のみが検出される。一方、第２の認識処理では、分類または検索のための情報の取得を目的とするため、誤認識があることも考慮した上で、特定の被写体及び／又は撮影シーンを認識できたとする画像が漏れなく検出される。
【００７９】
このように、第１の認識処理と第２の認識処理とでは認識の範囲が異なっており、第２の認識処理の方が認識範囲が広くなっている。
【００８０】
また、第２の認識処理での特定の被写体及び／又は撮影シーンの認識は、従来技術の認識処理（例えば、顔認識処理など）よりも緩いレベルで行われてもよい。なぜならば、上記の第２の認識処理の目的から、特定の被写体及び／又は撮影シーンを認識できたとする画像を、誤認識があることも考慮した上で、漏れなく検出できる必要があるからである。
【００８１】
特定の被写体及び／又は撮影シーンの認識範囲を異なるものとするために、第１の認識処理と第２の認識処理とでは、それぞれ異なる認識の手法を採用する。
【００８２】
例えば、第１の認識処理では、認識精度が高く明るい画像において認識された「顔」のみを特定の被写体（「顔」）と認識し、一方、第２の認識処理では、明るい画像において認識された「顔」だけでなく、認識精度が低くなりがちな暗い画像において認識された「顔」も特定の被写体（「顔」）と認識するようにする。一般的に、画像の明るさにより認識の信頼度は異なり、明るい画像において認識される特定の被写体（「顔」など）の方が、暗い画像において認識される特定の被写体（「顔」など）よりも誤認識が少ないので、この場合、第１の認識処理の方が第２の認識処理よりも誤認識が少なく、信頼度が高くなる。
【００８３】
このような処理とすることで、第１の認識処理においては「顔」の誤認識が少なくなり、一方、第２の認識処理においては、誤認識は生じえるが、「顔」の認識漏れが少なくなる。
【００８４】
なお、”画像の明るさ”は、スルー画像の画像データから求めてもよく、測光回路１３から出力される被写体の測光データを用いて求めてもよい。
【００８５】
また、”画像の明るさ”に代えて、あるいはそれに加えて、例えば、”画像のボケ度合い”などの情報を用いて上記の認識処理を行うようにしてもよい。画像のボケ度合いを用いる場合、特定の被写体及び／又は撮影シーンを、第１の認識処理においてはボケ度合いの小さいものについて認識し、一方、第２の認識処理においてはボケ度合いの大きいものまで認識するようにする。なお、画像のボケ度合いは、例えば位相差ＡＦセンサから出力されたデフォーカス量や画像データの高周波数成分を基にして求めることができる。
【００８６】
また、特定の被写体及び／又は撮影シーンの認識範囲を異なるものとするために、第１の認識処理と第２の認識処理とに同一の認識処理を採用し、そして、第１の認識処理と第２の認識処理とでそれぞれ異なる認識の基準を用いて認識結果を出力するようにしてもよい。
【００８７】
ここで、認識の基準は、認識処理の精度に応じて予め決定した認識の信頼度を示す値である。例えば、認識処理の精度が画像の明るさ（平均輝度など）に依存する場合は、その明るさに応じて認識の信頼度を示す値を予め決定する。例えば、明るい場合には、認識処理の精度が高くなるので、その値を高い信頼度を示す０．９５などに、一方、暗い場合には、認識処理の精度が低くなるので、その値を低い信頼度を示す０．１などというように、明るさに応じた信頼度を示す値を予め決定する。
【００８８】
同一の認識処理を採用する場合、第１の認識処理と第２の認識処理との双方に、例えば、認識精度が低くなりがちな暗い画像において認識された「顔」も特定の被写体（「顔」）と認識する、認識範囲の広い認識処理を採用する。但し、この場合、誤認識が多くなり、信頼度が低くなる。
【００８９】
そして、第１の認識処理では、例えば、認識の基準に、高い信頼度を示す０．９５の値を用い、画像から特定の被写体（「顔」）が認識された場合に、当該画像の明るさを基に得られた認識の信頼度を示す値が、その基準以上、即ち０．９５以上であれば、特定の被写体（「顔」）を認識できたとする認識結果を出力する。また、第２の認識処理では、例えば、認識の基準に、低い信頼度を示す０．１の値を用い、画像から特定の被写体（「顔」）が認識された場合に、当該画像の明るさを基に得られた認識の信頼度を示す値が、その基準以上、即ち０．１以上であれば、特定の被写体（「顔」）を認識できたとする認識結果を出力する。
【００９０】
なお、認識処理の精度が、画像の明るさではなく、焦点距離、ズーム倍率や前述の画像のボケ度合いなどに依存する場合にも上記と同様の処理を行うことができる。その場合、焦点距離、ズーム倍率や前述の画像のボケ度合いなどに応じて予め決定した認識の信頼度を示す値を用いるようにすればよい。
【００９１】
上記の他に、サポートベクターマシンなどのパターン識別器を用いて自動認識を行う場合には、例えば識別器のパラメータを調整することで、信頼度を変更する構成としてもよい。
【００９２】
ステップ１０９：制御回路４は、第２の認識処理において、特定の被写体（「顔」）又は特定の撮影シーン（「曇り」）を認識できたか否かを判定する。
【００９３】
制御回路４は、「顔」又は「曇り」又はそれら双方が認識できた場合（Ｙｅｓ側）にはステップ１１０へ移行し、一方、いずれも認識できない場合（Ｎｏ側）にはステップ１１１へ移行する。
【００９４】
ステップ１１０：制御回路４は、第２の認識処理の結果（第２の認識結果）を不図示のメモリなどへ記録する。
【００９５】
なお、第２の認識処理において、「顔」と「曇り」の両方が認識された場合、メモリ（不図示）などには、例えば「分類検索用の認識結果：被写体［顔］＝”検出ＯＫ”，撮影シーン［曇り］＝”検出ＯＫ”」とのような内容の認識結果が記録される。
【００９６】
また、「顔」又は「曇り」が認識された場合、メモリ（不図示）などには、例えば「分類検索用の認識結果：被写体［顔］＝”検出ＯＫ”，撮影シーン［曇り］＝”検出ＮＧ”」又は「分類検索用の認識結果：被写体［顔］＝”検出ＮＧ”，撮影シーン［曇り］＝”検出ＯＫ”」とのような内容の認識結果が記録される。
【００９７】
ステップ１１１：制御回路４は、表示制御回路１２を駆動して、スルー画像をモニタ１１に表示させる。
【００９８】
このとき、モニタ１１の画面には、上記の処理において認識された特定の被写体（「顔」）及び／又は特定の撮影シーン（「曇り」）に関する情報が重畳されたスルー画像が表示される。この表示においては、第１の認識処理で認識された情報のみ、又は第２の認識処理で認識された情報のみを重畳表示してもよく、また、それら双方の認識処理で認識された情報を、第１の認識処理と第２の認識処理とに分けた形で重畳表示するようにしてもよい。
【００９９】
なお、スルー画像に重畳表示される情報とは、特定の被写体（「顔」など）及び特定の撮影シーン（「曇り」など）のシンボルマークのアイコンである。
【０１００】
ステップ１１２：制御回路４は、操作部材５から撮影を指示する操作信号が送られたか、即ちレリーズ釦が全押しされたか否かを判定する。
【０１０１】
制御回路４は、レリーズ釦が全押しされた場合（Ｙｅｓ側）にはステップ１１３へ移行し、一方、全押しされていない場合（Ｎｏ側）にはステップ１０２へ移行して上記の処理を繰り返す。
【０１０２】
ステップ１１３：制御回路４は、撮像素子駆動回路６を駆動して、スルー画像の撮影を終了する。
【０１０３】
ステップ１１４：制御回路４は、上記のステップ１０６又はステップ１０７で決定した撮影条件の下でレンズ駆動回路３、撮像素子駆動回路６、信号処理回路７およびデータ処理回路８を駆動して本撮影を実施する。このとき、撮像素子１はフレームモード（全画素読み出しモード）で駆動される。
【０１０４】
また、制御回路４は、データ処理回路８を駆動して、撮影された本撮影画像の画像データに対して画像処理を施す。なお、この画像処理は、上記のステップ１０６又はステップ１０７で決定した画像処理の内容に基づいて行われる。
【０１０５】
ステップ１１５：制御回路４は、表示制御回路１２を駆動して、データ処理回路８による画像処理後の本撮影画像をモニタ１１に表示させる。
【０１０６】
ステップ１１６：制御回路４は、圧縮／伸張回路９を駆動して、データ処理回路８による画像処理後の本撮影画像に対して圧縮処理を施すと共に、その圧縮処理後の画像データを記録媒体１０へ記録する。このとき、圧縮処理後の本撮影画像の画像データは、不図示のメモリなどから読み出した第１の認識結果と第２の認識結果との情報と共に、記憶媒体１０へ画像ファイルとして記録される。
【０１０７】
但し、不図示のメモリなどに第１の認識結果の記録が無い場合には、例えば「画作り用の認識結果：被写体［顔］＝”検出ＮＧ”，撮影シーン［曇り］＝”検出ＮＧ”」とのような内容の情報が第１の認識結果の情報として画像ファイルに記録される。また、不図示のメモリなどに第２の認識結果の記録が無い場合には、例えば「分類検索用の認識結果：被写体［顔］＝”検出ＮＧ”，撮影シーン［曇り］＝”検出ＮＧ”」とのような内容の情報が第２の認識結果の情報として画像ファイルに記録される。
【０１０８】
なお、画像ファイルがＥｘｉｆ規格の形式に基づくものであれば、第１の認識結果と第２の認識結果の情報は、画像ファイルのメーカーノート（ＭａｋｅｒＮｏｔｅ）タグの情報として記録される。
【０１０９】
このように、本撮影画像に対する第１の認識結果と第２の認識結果が、当該本撮影画像に関連付けて記録される。
【０１１０】
（第１実施形態の作用効果）
以下、第１実施形態の作用効果を説明する。
【０１１１】
第１実施形態のデジタルカメラでは、スルー画像に対し、「画作り」を目的とした第１の認識処理が実施され、第１の認識処理で特定の被写体及び／又は特定の撮影シーンが認識された場合には、その認識結果に応じて、本撮影の撮影条件および本撮影で実施する画像処理の内容が適切なものに決定される。また、第１の認識処理で特定の被写体と特定の撮影シーンとがどちらも認識されなかった場合は、通常のオートモード（自動露出モードなど）によって本撮影の撮影条件および本撮影で実施する画像処理の内容が決定される。そして、撮影が指示されると、決定された撮影条件の下で本撮影が行われると共に、決定された内容で本撮影画像に画像処理が施される。
【０１１２】
なお、第１の認識処理では、本撮影の撮影条件および本撮影で実施する画像処理の内容が誤ったものとならないように高い精度で認識が行われるので、特定の被写体及び／又は特定の撮影シーンが確実に認識される。
【０１１３】
したがって、本実施形態のデジタルカメラによれば、画作りを目的とした自動認識を確実、かつ最適に行うことができる。そして、その結果、撮影シーンに応じた適切な内容の画像処理が施された本撮影画像、即ち、ユーザーにとって好ましい画像を得ることができる。
【０１１４】
また、第１実施形態のデジタルカメラでは、スルー画像に対し、「画像の分類又は検索用の情報の取得」を目的とした第２の認識処理が実施され、第２の認識処理で特定の被写体及び／又は特定の撮影シーンが認識された場合には、その内容が認識結果として、本撮影画像に関連付けて記録される。また、第２の認識処理で特定の被写体と特定の撮影シーンとがどちらも認識されなかった場合は、認識されなかった旨の情報が認識結果として、本撮影画像に関連付けて記録される。
【０１１５】
なお、第２の認識処理は特定の被写体及び撮影シーンの認識範囲が広いので、第２の認識処理では、誤認識があることも考慮した上で、特定の被写体及び／又は撮影シーンを認識できたとする画像が漏れなく検出される。
【０１１６】
したがって、本実施形態のデジタルカメラによれば、画像の分類又は検索用の情報の取得を目的とした自動認識を確実、かつ最適に行うことができる。
【０１１７】
また、第１実施形態のデジタルカメラでは、スルー画像に対し、「画作り」を目的とした第１の認識処理が実施され、第１の認識処理で特定の被写体及び／又は特定の撮影シーンが認識された場合には、その内容が第１の認識結果として、第２の認識処理における認識結果と共に本撮影画像に関連付けて記録される。
また、第１の認識処理で特定の被写体と特定の撮影シーンとがどちらも認識されなかった場合は、認識されなかった旨の情報が第１の認識結果として、第２の認識処理における認識結果と共に本撮影画像に関連付けて記録される。
【０１１８】
このような、本撮影画像に関連付けて記録される認識結果の情報は、「画作り」また「画像の分類又は検索」のために最適な情報である。
【０１１９】
したがって、本実施形態のデジタルカメラによれば、「画作り」また「画像の分類又は検索」のための最適、かつ有用な情報が関連付けられた本撮影画像を確実に取得することができる。
【０１２０】
以下、第１実施形態の１番目の変形例（変形例１）を説明する。
【０１２１】
変形例１は、第１実施形態で実行される図２のフローの変形例である。この変形例１では、デジタルカメラが撮影モードに設定されたときに、図３のフローが繰り返し実行される。なお、図３のステップ２０１〜２０３およびステップ２１３〜２１８の処理は、図２のステップ１０１〜１０３およびステップ１１１〜１１６の処理と同一であるため、ここでは、第１実施形態との相違点である図３のステップ２０４〜２１２の処理のみ説明する。
【０１２２】
第１実施形態では、第１の認識処理において特定の被写体（「顔」）及び／又は特定の撮影シーン（「曇り」）を認識できた場合にも第２の認識処理を実行する。
【０１２３】
しかし、変形例１では、第１の認識処理で認識できた特定の被写体（「顔」）又は特定の撮影シーン（「曇り」）については、第２の認識処理でも認識できたものとみなして、第２の認識処理は実行しない。なぜならば、第１の認識処理の方が第２の認識処理よりも特定の被写体及び撮影シーンの認識範囲が狭いため、第１の認識処理において認識できた特定の被写体又は撮影シーンは、第２の認識処理においても必ず認識できるからである。
【０１２４】
ステップ２０４：制御回路４は、第１の認識処理において、特定の被写体（「顔」）又は特定の撮影シーン（「曇り」）を認識できたか否かを判定する。
【０１２５】
制御回路４は、「顔」と「曇り」のどちらも認識できない場合（Ｎｏ側）にはステップ２０５へ移行し、一方、「顔」又は「曇り」又はそれら双方が認識できた場合（Ｙｅｓ側）にはステップ２０６へ移行する。
【０１２６】
ステップ２０５：制御回路４は、通常のデジタルカメラのオートモード（自動露出モードなど）によって、本撮影の撮影条件（絞り値、シャッター速度、フラッシュ発光の有無など）および本撮影で実施する画像処理の内容を決定する。そして、制御回路４は、ステップ２１０へ移行する。
【０１２７】
ステップ２０６：制御回路４は、第１の認識処理の結果（第１の認識結果）を不図示のメモリなどへ記録する。
【０１２８】
ステップ２０７：制御回路４は、第１の認識結果に応じて、本撮影の撮影条件（絞り値、シャッター速度、フラッシュ発光の有無など）および本撮影で実施する画像処理の内容を適切なものに決定する。
【０１２９】
ステップ２０８：制御回路４は、第１の認識処理において、特定の被写体（「顔」）と特定の撮影シーン（「曇り」）との双方が認識できたか否かを判定する。
【０１３０】
制御回路４は、双方が認識できた場合（Ｙｅｓ側）にはステップ２０９へ移行し、一方、双方を認識できなかった場合（Ｎｏ側）にはステップ２１０へ移行する。
【０１３１】
ステップ２０９：制御回路４は、第１の認識結果を第２の認識結果として不図示のメモリなどへ記録する。そして、制御回路４は、ステップ２１３へ移行する。
【０１３２】
このように、第１の認識処理において特定の被写体（「顔」）と特定の撮影シーン（「曇り」）との双方が認識できた場合は、その第１の認識処理の結果が第２の認識処理の結果とみなされ、第２の認識処理はスキップされて実行されない。
【０１３３】
ステップ２１０：制御回路４は、取得したスルー画像に対し、第２の認識処理を行う。この第２の認識処理は、本撮影により撮影される本撮影画像の分類または検索に使用するための情報の取得を目的とした処理である。
【０１３４】
具体的には、制御回路４は、スルー画像に特定の被写体（「顔」）が写っているかの認識処理を行う。また、制御回路４は、スルー画像に対し、特定の撮影シーン（「曇り」）であるかの認識処理を行う。但し、制御回路４は、第１の認識処理で認識できた特定の被写体又は撮影シーンについては、第２の認識処理においても認識できたものとみなし、その特定の被写体又は撮影シーンについての第２の認識処理は実行しない。
【０１３５】
例えば、第１の認識処理でスルー画像から特定の被写体（「顔」）のみ認識された場合（ステップ２０８の判定により本ステップへ移行するルート）、本ステップの第２の認識処理においても特定の被写体（「顔」）については認識されたものとみなす。そして、スルー画像に対しては、特定の被写体が写っているかの認識処理は行わず、特定の撮影シーン（「曇り」）であるかの認識処理のみを行う。
【０１３６】
これにより、第２の認識結果には、少なくとも特定の被写体（「顔」）が認識されたことを示す内容が出力される。
【０１３７】
ステップ２１１：制御回路４は、第２の認識処理において、特定の被写体（「顔」）又は特定の撮影シーン（「曇り」）を認識できたか否かを判定する。
【０１３８】
制御回路４は、「顔」又は「曇り」又はそれら双方が認識できた場合（Ｙｅｓ側）にはステップ２１２へ移行し、一方、いずれも認識できない場合（Ｎｏ側）にはステップ２１３へ移行する。
【０１３９】
ステップ２１２：制御回路４は、第２の認識処理の結果（第２の認識結果）を不図示のメモリなどへ記録する。
【０１４０】
（第１実施形態の１番目の変形例の作用効果）
以下、第１実施形態の１番目の変形例（変形例１）の作用効果を説明する。
【０１４１】
変形例１のデジタルカメラでは、第１の認識処理で特定の被写体（「顔」）と特定の撮影シーン（「曇り」）との双方が認識された場合は、第２の認識処理でもそれらは認識されたとみなされて第２の認識結果に反映される。このため、第２の認識処理はスキップされて実行されない。
【０１４２】
また、第１の認識処理で特定の被写体（「顔」）と特定の撮影シーン（「曇り」）との何れか一方が認識された場合は、第２の認識処理でもその一方については認識されたとみなされて第２の認識結果に反映される。このため、第１の認識処理で認識された特定の被写体（「顔」）又は特定の撮影シーン（「曇り」）については、第２の認識処理はスキップされて実行されない。
【０１４３】
したがって、変形例１のデジタルカメラによれば、画像の分類又は検索用の情報の取得を目的とした自動認識を効率的に行うことができる。
【０１４４】
以下、第１実施形態の２番目の変形例（変形例２）を説明する。
【０１４５】
変形例２は、第１実施形態で実行される図２のフローの変形例である。この変形例２では、デジタルカメラが撮影モードに設定されたときに、図４のフローが繰り返し実行される。なお、図４のステップ３０１，３０２およびステップ３１１〜３１６の処理は、図２のステップ１０１，１０２およびステップ１１１〜１１６の処理と同一であるため、ここでは、第１実施形態との相違点である図４のステップ３０３〜３１０の処理のみ説明する。
【０１４６】
第１実施形態では、第１の認識処理を実行した後に、第２の認識処理を実行する。
【０１４７】
しかし、変形例２では、それらを逆にして、第２の認識処理を実行した後に、第１の認識処理を実行するようにする。そして、先に実行される第２の認識処理において特定の被写体又は特定の撮影シーン又はそれら双方が認識できた場合の画像に対し、第１の認識処理が実行される。
【０１４８】
なぜならば、第２の認識処理の方が第１の認識処理よりも特定の被写体及び撮影シーンの認識範囲が広いため、第２の認識処理において特定の被写体又は特定の撮影シーンを認識できない画像は、第１の認識処理においてもそれらを認識できないからである。
【０１４９】
ステップ３０３：制御回路４は、取得したスルー画像に対し、第２の認識処理を行う。この第２の認識処理は、本撮影により撮影される本撮影画像の分類または検索に使用するための情報の取得を目的とした処理である。
【０１５０】
具体的には、制御回路４は、スルー画像に特定の被写体（「顔」）が写っているかの認識処理を行う。また、制御回路４は、スルー画像に対し、特定の撮影シーン（「曇り」）であるかの認識処理を行う。
【０１５１】
ステップ３０４：制御回路４は、第２の認識処理において、特定の被写体（「顔」）又は特定の撮影シーン（「曇り」）を認識できたか否かを判定する。
【０１５２】
制御回路４は、「顔」と「曇り」のどちらも認識できない場合（Ｎｏ側）にはステップ３０５へ移行し、一方、「顔」又は「曇り」又はそれら双方が認識できた場合（Ｙｅｓ側）にはステップ３０６へ移行する。
【０１５３】
ステップ３０５：制御回路４は、通常のデジタルカメラのオートモード（自動露出モードなど）によって、本撮影の撮影条件（絞り値、シャッター速度、フラッシュ発光の有無など）および本撮影で実施する画像処理の内容を決定する。そして、制御回路４は、第１の認識処理を実行することなくステップ３１１へ移行する。
【０１５４】
このように、先に行われる第２の認識処理で特定の被写体（「顔」）と特定の撮影シーン（「曇り」）のどちらも認識できない場合は、第１の認識処理においても当然それらを認識することができないので、第１の認識処理は実行されずにスキップされる。なぜならば、第１の認識処理は、第２の認識処理よりも特定の被写体及び撮影シーンの認識範囲が狭いからである。
【０１５５】
ステップ３０６：制御回路４は、第２の認識処理の結果（第２の認識結果）を不図示のメモリなどへ記録する。
【０１５６】
ステップ３０７：制御回路４は、取得したスルー画像に対し、第１の認識処理を行う。この第１の認識処理は、本撮影の撮影条件および本撮影で実施する画像処理の内容を決定するため、即ち「画作り」を目的とした処理である。
【０１５７】
具体的には、制御回路４は、スルー画像に特定の被写体（「顔」）が写っているかの認識処理を行う。また、制御回路４は、スルー画像に対し、特定の撮影シーン（「曇り」）であるかの認識処理を行う。但し、制御回路４は、第２の認識処理で認識できなかった特定の被写体又は撮影シーンについては、第１の認識処理においても認識できなかったものとみなし、その特定の被写体又は撮影シーンについての第１の認識処理は実行しない。
【０１５８】
例えば、ステップ３０３の第２の認識処理でスルー画像から特定の被写体（「顔」）のみが認識された場合、本ステップの第１の認識処理においては特定の撮影シーン（「曇り」）については認識されなかったものとみなす。そして、スルー画像に対しては、特定の撮影シーンであるかの認識処理は行わず、特定の被写体（「顔」）が写っているかの認識処理のみを行う。
【０１５９】
ステップ３０８：制御回路４は、第１の認識処理において、特定の被写体（「顔」）又は特定の撮影シーン（「曇り」）を認識できたか否かを判定する。
【０１６０】
制御回路４は、「顔」と「曇り」のどちらも認識できない場合（Ｎｏ側）にはステップ３０５へ移行し、一方、「顔」又は「曇り」又はそれら双方が認識できた場合（Ｙｅｓ側）にはステップ３０９へ移行する。
【０１６１】
ステップ３０９：制御回路４は、第１の認識処理の結果（第１の認識結果）を不図示のメモリなどへ記録する。
【０１６２】
ステップ３１０：制御回路４は、第１の認識結果に応じて、本撮影の撮影条件（絞り値、シャッター速度、フラッシュ発光の有無など）および本撮影で実施する画像処理の内容を適切なものに決定する。
【０１６３】
（第１実施形態の２番目の変形例の作用効果）
以下、第１実施形の２番目の変形例（変形例２）の作用効果を説明する。
【０１６４】
変形例２のデジタルカメラでは、先に行われる第２の認識処理で特定の被写体（「顔」）と特定の撮影シーン（「曇り」）とが何れも認識されなかった場合には、その次に行われるべき第１の認識処理はスキップされて実行されない。
【０１６５】
また、第２の認識処理で特定の被写体（「顔」）と特定の撮影シーン（「曇り」）との何れか一方が認識された場合、認識された一方については第１の認識処理が実行されるが、認識されなかったもう一方については第１の認識処理がスキップされて実行されない。
【０１６６】
したがって、変形例２のデジタルカメラによれば、画作りを目的とした自動認識を効率的に行うことができる。
【０１６７】
（その他）
なお、上記の変形例１では、ステップ２０８で「特定の被写体と特定の撮影シーンとの双方が認識できたか」の判定を行っているが、これについては「それらの何れか一方が認識できたか」を判定するようにしてもよい。その場合、認識できた一方については第２の認識処理の実行をスキップ（省略）して、認識できなかったもう一方のみに第２の認識処理を実行するようにする。
【０１６８】
また、上記の変形例２では、ステップ３０４で「特定の被写体と特定の撮影シーンとの何れか一方が認識できたか」の判定を行っているが、これについては「それらの双方が認識できたか」を判定するようにしてもよい。そして、それらの双方が認識できた場合は、双方とも第１の認識処理を実行するようにする。また、双方とも認識できなかった場合は、それらに対する第１の認識処理の実行をスキップ（省略）する。また、それらの何れか一方が認識できなかった場合は、認識できなかった一方については第１の認識処理の実行をスキップ（省略）して、認識できたもう一方のみに第１の認識処理を実行するようにする。
【０１６９】
つまり、第１の認識処理と第２の認識処理との何れか一方の認識処理を実行した後、その認識結果に応じて、残るもう一方の認識処理の実行／不実行を切り換えるようにする。
【０１７０】
そうすれば、先に実行した第１の認識処理で認識された特定の被写体及び／又は撮影シーンについては第２の認識処理が実行されず、また、先に実行した第２の認識処理で認識されなかった被写体及び／又は撮影シーンについては第１の認識処理が実行されない。そのため、認識に係る処理時間を低減することができる。
【０１７１】
また、上記第１実施形態のステップ１１６では、第１の認識結果と第２の認識結果との双方を本撮影画像に関連付けて記録しているが、何れか一方のみを記録するようにしてもよい。つまり、それらの認識結果のうちの少なくとも１つを本撮影画像に関連付けて記録するようにすればよい。
【０１７２】
また、上記では、特定の被写体（「顔」）と特定の撮影シーン（「曇り」）とを一度の動作で認識する例を説明した。しかし、上記の動作はこれに限定されず、特定の被写体（「顔」）だけ、あるいは特定の撮影シーン（「曇り」）だけを一度の動作で認識するようにしてもよい。さらに、特定の複数の被写体、例えば（「顔」及び「花」）など、あるいは特定の複数の撮影シーン、例えば（「晴れ」及び「曇り」及び「夕焼け」）などを一度の動作で認識するようにしてもよい。もちろん、特定の複数の被写体、例えば（「顔」及び「花」）と、特定の複数の撮影シーン、例えば（「晴れ」及び「曇り」及び「夕焼け」）とを一度の動作で認識するようにしてもよい。
【０１７３】
また、上記では、本撮影画像の分類または検索用の情報の取得を目的とした処理である第２の認識処理を、スルー画像に対して実施するように説明したが、記録媒体１０へ記録する前の本撮影画像、或いはそれへの記録後の本撮影画像に対して実施してもよい。
【０１７４】
また、第２の認識処理は、パーソナルコンピュータ（ＰＣ）などのデジタルカメラ外部の機器で実施するようにしてもよい。
【０１７５】
また、本撮影画像の「画作り」を目的とした処理である第１の認識処理の認識結果を、例えばＰＣで画像のレタッチを行うなど、デジタルカメラ外部の機器で行う画像処理のために利用するようにしてもよい。
【０１７６】
その場合、デジタルカメラでは、第１の認識処理を実施して、その第１の認識結果の情報を本撮影画像の画像データと共に記録媒体１０へ画像ファイルとして記録する。この際、本撮影画像は、ＲＡＷ画像であることが望ましい。
【０１７７】
その後、デジタルカメラ外部のＰＣ等において、記録媒体１０の画像ファイルを読み込み、画像ファイルから第１の認識結果の情報を取得する。そして、その情報に基づき、ＰＣ等で適当な画像処理を本撮影画像に対して施すようにする。この際、本撮影画像に施す画像処理の内容は、例えば、画像ファイルがＥｘｉｆ規格の形式に基づくものであれば、そのメーカーノート（ＭａｋｅｒＮｏｔｅ）タグの情報などとして記録された撮影情報（露出時間、絞り値、焦点距離、ＩＳＯ感度など）を基に決定するようにすればよい。
【０１７８】
また、第１の認識処理において特定の被写体（「顔」）を認識できた際に、画像中の「顔」の領域の情報を取得し、その情報についても本撮影画像に関連付けて画像ファイルに記録するようにすれば、後で、デジタルカメラ外部のＰＣ等において、前記のように本撮影画像に画像処理を施す際に、自動的に、「顔」の領域に適当な画像処理を施すようにすることもできる。
【０１７９】
また、第１の認識処理は、デジタルカメラ内部に限らず、ＰＣ等、デジタルカメラ外部の機器での画像処理の際に実施するようにしてもよい。
【０１８０】
また、上述したデジタルカメラの動作に係るプログラムは、その一部または全部をコンピュータなどの外部処理装置に実行させてもよい。その場合、必要なプログラムがＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体やインターネット等の通信網などを介して外部処理装置へインストールされる。
【符号の説明】
【０１８１】
１…撮像素子，２…撮影レンズ，３…レンズ駆動回路，４…制御回路，５…操作部材，６…撮像素子駆動回路，７…信号処理回路，８…データ処理回路，９…圧縮／伸張回路，１０…記録媒体，１１…モニタ，１２…表示制御回路，１３…測光回路，１００…デジタルカメラ本体
【特許請求の範囲】
【請求項１】
入力された画像の被写体及び／又は撮影シーンを認識する認識手段を備えた画像処理装置であって、
前記認識手段は、異なる基準を用いて目的毎に前記認識を行う
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記異なる基準は、前記認識の信頼度を示す値である
ことを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記認識手段は、前記異なる基準に代えて、異なる手法を用いて目的毎に前記認識を行う
ことを特徴とする画像処理装置。
【請求項４】
請求項１〜請求項３の何れか一項に記載の画像処理装置において、
前記認識手段は、前記認識により取得した前記目的毎の認識結果の少なくとも１つを、前記画像に関連付けて記録する
ことを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記記録された認識結果の１つは、前記画像に施す画像処理の内容を決定するための情報である
ことを特徴とする画像処理装置。
【請求項６】
請求項４又は請求項５に記載の画像処理装置において、
前記記録された認識結果の１つは、前記画像の分類または検索のための情報である
ことを特徴とする画像処理装置。
【請求項７】
請求項１〜請求項６の何れか一項に記載の画像処理装置において、
前記認識手段は、前記認識により取得した前記目的毎の認識結果の全てを、前記画像に関連付けて識別可能に記録する
ことを特徴とする画像処理装置。
【請求項８】
請求項１〜請求項７の何れか一項に記載の画像処理装置において、
前記認識手段は、第１の認識処理と、それとは目的の異なる第２の認識処理との何れか一方を実行した後、その認識結果に応じて、もう一方の実行／不実行を切り換える
ことを特徴とする画像処理装置。
【請求項９】
請求項１〜請求項８の何れか一項に記載の画像処理装置と、
被写体像を撮影すると共に、前記撮影した画像を前記画像処理装置へ入力する撮像手段と
を備えることを特徴とする撮像装置。
【請求項１０】
入力された画像の被写体及び／又は撮影シーンを認識する認識手順をコンピュータに実行させる画像処理プログラムであって、
前記認識手順では、異なる基準を用いて目的毎に前記認識を行う
ことを特徴とする画像処理プログラム。
【請求項１１】
請求項１０に記載の画像処理プログラムにおいて、
前記認識手順では、前記認識により取得した前記目的毎の認識結果の少なくとも１つを、前記画像に関連付けて記録する
ことを特徴とする画像処理プログラム。
【請求項１２】
請求項１０又は請求項１１に記載の画像処理プログラムにおいて、
前記認識手順では、第１の認識処理と、それとは目的の異なる第２の認識処理との何れか一方を実行した後、その認識結果に応じて、もう一方の実行／不実行を切り換える
ことを特徴とする画像処理プログラム。
【請求項１】
入力された画像の被写体及び／又は撮影シーンを認識する認識手段を備えた画像処理装置であって、
前記認識手段は、異なる基準を用いて目的毎に前記認識を行う
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記異なる基準は、前記認識の信頼度を示す値である
ことを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記認識手段は、前記異なる基準に代えて、異なる手法を用いて目的毎に前記認識を行う
ことを特徴とする画像処理装置。
【請求項４】
請求項１〜請求項３の何れか一項に記載の画像処理装置において、
前記認識手段は、前記認識により取得した前記目的毎の認識結果の少なくとも１つを、前記画像に関連付けて記録する
ことを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記記録された認識結果の１つは、前記画像に施す画像処理の内容を決定するための情報である
ことを特徴とする画像処理装置。
【請求項６】
請求項４又は請求項５に記載の画像処理装置において、
前記記録された認識結果の１つは、前記画像の分類または検索のための情報である
ことを特徴とする画像処理装置。
【請求項７】
請求項１〜請求項６の何れか一項に記載の画像処理装置において、
前記認識手段は、前記認識により取得した前記目的毎の認識結果の全てを、前記画像に関連付けて識別可能に記録する
ことを特徴とする画像処理装置。
【請求項８】
請求項１〜請求項７の何れか一項に記載の画像処理装置において、
前記認識手段は、第１の認識処理と、それとは目的の異なる第２の認識処理との何れか一方を実行した後、その認識結果に応じて、もう一方の実行／不実行を切り換える
ことを特徴とする画像処理装置。
【請求項９】
請求項１〜請求項８の何れか一項に記載の画像処理装置と、
被写体像を撮影すると共に、前記撮影した画像を前記画像処理装置へ入力する撮像手段と
を備えることを特徴とする撮像装置。
【請求項１０】
入力された画像の被写体及び／又は撮影シーンを認識する認識手順をコンピュータに実行させる画像処理プログラムであって、
前記認識手順では、異なる基準を用いて目的毎に前記認識を行う
ことを特徴とする画像処理プログラム。
【請求項１１】
請求項１０に記載の画像処理プログラムにおいて、
前記認識手順では、前記認識により取得した前記目的毎の認識結果の少なくとも１つを、前記画像に関連付けて記録する
ことを特徴とする画像処理プログラム。
【請求項１２】
請求項１０又は請求項１１に記載の画像処理プログラムにおいて、
前記認識手順では、第１の認識処理と、それとは目的の異なる第２の認識処理との何れか一方を実行した後、その認識結果に応じて、もう一方の実行／不実行を切り換える
ことを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−１８３５０５（Ｐ２０１０−１８３５０５Ａ）
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願番号】特願２００９−２７４２９（Ｐ２００９−２７４２９）
【出願日】平成２１年２月９日（２００９．２．９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願日】平成２１年２月９日（２００９．２．９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]