撮像装置撮像装置、撮像システム、及び撮像装置の制御方法
【課題】 本発明の目的は、入力画像の撮影シーンをより精度良く判別することが可能な撮像装置を提供することである。
【解決手段】 被写体像を撮像し、画像データを出力する撮像手段と、前記画像データに基づいて前記撮像手段から出力される画像データの撮影シーンを判別する判別処理を行う判別手段と、を備えた撮像装置であって、前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得手段と、前記撮影情報を外部装置に送信し、前記撮影情報に対応する前記画像データの撮影シーンの判別を補助する補助情報を、前記外部装置から受信する通信手段と、を備え、前記判別手段は、前記通信手段により受信した前記補助情報に基づいて、前記判別処理を行うことを特徴とする。
【解決手段】 被写体像を撮像し、画像データを出力する撮像手段と、前記画像データに基づいて前記撮像手段から出力される画像データの撮影シーンを判別する判別処理を行う判別手段と、を備えた撮像装置であって、前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得手段と、前記撮影情報を外部装置に送信し、前記撮影情報に対応する前記画像データの撮影シーンの判別を補助する補助情報を、前記外部装置から受信する通信手段と、を備え、前記判別手段は、前記通信手段により受信した前記補助情報に基づいて、前記判別処理を行うことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置入力画像データと外部の情報処理装置に蓄積された情報とに基づいて撮像装置撮像されるシーンのシーン判別を行う撮像装置に関するものである。
【背景技術】
【０００２】
従来、入力された画像データの特徴に基づいて、画像の撮影シーン（被写体の種類）を判別し、判別した撮影シーンに応じた画像処理を行う撮像装置があった。例えば、特許文献１では、風景、夕景、夜景等の複数の候補から、自動で現在の撮影シーンを判別することが可能なカメラにおいて、自動で判別する場合とユーザが手動で撮影モードを設定する場合とで、画像処理の内容を異ならせる技術が開示されている。
【０００３】
一方、撮影シーンに応じた画像処理の制御を、外部の情報処理装置上に蓄積された補助的な情報に基づいて行うことが可能な撮像装置の技術が知られている。例えば、特許文献２では、撮影時のプレビュー画像に類似した参照画像を外部データベースから検索し、その参照画像を撮影した際のカメラ設定パラメータを取得し、設定することが可能なカメラの技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０１８４５３号公報
【特許文献２】特開２００９−０７７１５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像データの特徴に応じて撮影シーンを判別する従来技術では、撮影シーンを誤判別する場合があった。例えば、色温度の低い照明で照らされた室内を、同じ色味を持つ夕焼け空と誤判別してしまう場合があった。
【０００６】
また、外部の情報処理装置に蓄積された参照画像に基づき撮影シーンを判別する従来技術では、ユーザが撮影しようとする画像によく類似した参照画像が存在しない場合には、撮影シーンの判別を精度良く行うことが困難であるという問題があった。
【０００７】
そこで、本発明の目的は、入力画像の撮影シーンを精度良く判別することが可能な撮像装置を提供することである。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の撮像装置は、請求項１に記載のとおり、被写体像を撮像し、画像データを出力する撮像手段と、前記画像データに基づいて前記撮像手段から出力される画像データの撮影シーンを判別する判別処理を行う判別手段と、を備えた撮像装置であって、前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得手段と、前記撮影情報を外部装置に送信し、前記撮影情報に対応する前記画像データの撮影シーンの判別を補助する補助情報を、前記外部装置から受信する通信手段と、を備え、前記判別手段は、前記通信手段により受信した前記補助情報に基づいて、前記判別処理を行うことを特徴とする。
【０００９】
また、本発明の撮像システムは、請求項１３に記載のとおり、撮像装置と情報処理装置からなる撮像システムであって、被写体を撮像し、画像データを取得する撮像手段と、前記画像データに基づいて、前記画像データの撮影シーンを判別する判別処理を行う判別手段と、前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得手段と、前記撮像装置と前記情報処理装置との間の通信を行う通信手段と、前記撮影情報と対応付けが可能な複数のデータを記憶する記憶手段と、前記記憶手段に記憶された前記複数のデータと前記撮影情報とに基づいて、前記撮影情報に対応する撮影シーンの判別を補助する補助情報を生成する生成手段と、を備え、前記判別手段は、前記生成手段により生成された前記補助情報に基づいて、前記判別処理を行うことを特徴とする。
【００１０】
また、本発明の撮像装置の制御方法は、請求項１６に記載のとおり、被写体像を撮像し、画像データを出力する撮像手段と、前記画像データに基づいて前記撮像手段から出力される画像データの撮影シーンを判別する判別処理を行う判別手段と、を備えた撮像装置の制御方法であって、前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得ステップと、前記撮影情報を外部装置に送信し、前記撮影情報に対応する前記画像データの撮影シーンの判別を補助する補助情報を、前記外部装置から受信する通信ステップと、を備え、前記判別手段は、前記通信ステップにて受信した前記補助情報に基づいて、前記判別処理を行うことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、入力画像の撮影シーンの判別を、より精度良く行うことが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る撮像システムの構成を示す図である。
【図３】本発明の第１の実施形態に係る撮像システムの処理動作を表すシーケンス図である。
【図４】本発明の第１の実施形態に係る画像データの概要を示す図である。
【図５】本発明の第１の実施形態に係る撮影シーン判別処理の流れを示すフローチャートである。
【図６】本発明の第１の実施形態に係る撮影シーン判別処理の内容を表す図である。
【図７】本発明の第１の実施形態に係る撮影シーン判別処理の制御の流れを示すフローチャートである。
【図８】本発明の第２の実施形態に係る撮像システムの処理動作を表すシーケンス図である。
【図９】本発明の第３の実施形態に係る撮像システムの処理動作を表すシーケンス図である。
【図１０】本発明の第３の実施形態に係る画像データの概要を示す図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１４】
以下の実施形態では、本発明の撮像装置を備えたデジタルカメラを用いる撮像システムの場合を例に取り、説明する。また、撮影シーンとして、人物を含むシーンを撮影する「ポートレート」、夕焼け空を含むシーンを撮影する「夕焼け空」、青空を含むシーンを撮影する「青空」、夜景を撮影する「夜景」、風景を撮影する「風景」の５種類の撮影シーンを判別する場合で説明する。しかし、本発明を用いて判別するシーンはこれらに限られない。
【００１５】
［第１の実施形態］
以下、図１〜図７を参照して、本発明の第１の実施形態による撮像装置について説明する。
【００１６】
図２に示したのは、第１の実施形態に係る撮影システムの構成の概要を示した図である。図２において、２０１は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星であり、測位のためのＧＰＳ信号を出力する。１０１は、カメラであり、画像を撮影する。また、カメラ１０１は、アクセスポイント２０２、及び、ネットワーク２０３を介して、画像サーバ２０４（情報処理装置）と通信する。画像サーバ２０４は、画像サーバ制御部２０５、画像データベース（ＤＢ）２０６、画像ＤＢ検索部２０７を備える。画像サーバ制御部２０５は、画像サーバ２０４内の各部の処理を制御する。画像ＤＢ２０６は、画像ファイルや後述する撮影シーン判別補助情報を記憶した記憶装置からなる。画像ＤＢ検索部２０７は、画像ＤＢ２０６内のデータを指定された条件で検索する。
【００１７】
次に、図１を参照して、カメラ１０１の構成と動作を説明する。
【００１８】
図１に示したのは、カメラ１０１の主要な構成を示したブロック図である。図１において、１０２は、被写体の光束を結像する撮像光学系であり、不図示のレンズや絞り等で構成される。１０３は入射した光束を光電変換し、電気信号として出力する撮像素子である。１０４は、撮像素子１０３で生成された電気信号を画像信号に変換する画像信号生成部である。画像信号は、輝度信号（Ｙ）、及び色信号（Ｒ、Ｇ、Ｂ）から成る。１０５は、後述する撮影シーン判別結果を受け、画像信号に対して判別された撮影シーンに対応するホワイトバランス補正、ガンマ処理、色相・彩度補正、エッジ強調などの補正処理を行う画像信号補正部である。１０６は、画像データを記録する記録部である。
【００１９】
１０７は、ユーザが撮影動作を制御するためのシャッタ釦である。１０８は、シャッタスイッチ（ＳＷ１）であり、シャッタ釦１０７の半押し状態でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理などの動作開始を指示する。１０９はシャッタスイッチ（ＳＷ２）であり、シャッタ釦１０７の全押し状態でＯＮとなり、画像信号の読み出しから画像を記録するまでの一連の撮影動作の開始を指示する。
【００２０】
１１０は、カメラ１０１の各構成要素の動作を制御するカメラ制御部である。１１１は、画像信号に基づいて撮影シーンを判別する撮影シーン判別部である。１１２は、撮影シーン判別部１１１での撮影シーン判別を制御する撮影シーン判別制御部である。１１３は、ユーザの操作を受け付ける操作部である。１１４は、ユーザにプレビュー画像などを表示する表示部である。１１５は、ＧＰＳ衛星からのＧＰＳ信号を受信するＧＰＳセンサである。１１６は、アクセスポイント２０２とネットワーク２０３を介して、画像サーバ２０４と通信する通信部である。１１７は、画像信号に基づいて、画像中の人物の顔を検出する顔検出部である。
【００２１】
次に、図１の撮像装置の処理動作について説明する。
【００２２】
撮像光学系１０２を通過した被写体像は撮像素子１０３上に結像される。撮像素子１０３は、入射された光束を電気信号に変換した後、画像信号生成部１０４に出力する。画像信号生成部１０４は、輝度信号（Ｙ）、及び色信号（Ｒ，Ｇ，Ｂ）を生成し、画像信号補正部１０５、及び、撮影シーン判別部１１１へ出力する。撮影シーン判別部１１１は、入力された画像信号に基づいて撮影シーンの判別を行い、判別結果をカメラ制御部１１０を介して、画像信号補正部１０５へ出力する。撮影シーン判別部１１１での撮影シーン判別処理の詳細は後述する。
【００２３】
画像信号補正部１０５は、撮影シーン判別部１１１での撮影シーン判別結果に基づき、入力された画像信号に対する補正を行い、表示部１１４、及び記録部１０６に出力する。表示部１１４は、入力された画像信号を、プレビュー画像としてユーザに提示する。
【００２４】
ユーザは、プレビュー画像を確認した後、シャッタ釦１０７を操作し、ＳＷ１（１０８）をＯＮにする。ＳＷ１（１０８）がＯＮにされると、カメラ制御部１１０がカメラ１０１の各部を制御し、ＡＦ処理、ＡＥ処理などを開始させる。次に、ユーザが、ＳＷ２（１０９）をＯＮにすると、カメラ制御部１１０が、カメラ１０１の各部を制御し、撮像素子１０３より画像信号を読み出してから記録部１０６へ記録するまでの一連の処理を実行する。
【００２５】
次に、本実施形態の特徴部分である撮影シーン判別処理に関る撮影システムの動作について図３のフローチャートを用いて説明する。以下のカメラ１０１による一連の処理は、カメラ制御部１１０の制御に従って、画像プレビュー中に実行されるものである。
【００２６】
まず、ステップＳ３０１では、カメラ制御部１１０が、カメラの状態（撮影条件）を表す情報であるカメラ情報（撮影情報）の取得を行う。本実施形態では、カメラ情報として撮影場所を表す位置情報、及び撮影時刻、時間帯を表す時間情報を用いる場合で説明する。カメラ情報を取得するために、カメラ制御部１１０は、ＧＰＳセンサ１１５に対して位置情報と時間情報の取得要求を送信する。ＧＰＳセンサ１１５は、取得要求を受信すると、ＧＰＳ衛星２０１からのＧＰＳ信号を受信し、現在の日時、及び位置の情報を算出して、カメラ制御部１１０へ出力する。
【００２７】
ステップＳ３０２では、カメラ制御部１１０が、通信部１１６を介して、位置情報と時間情報をカメラ情報として画像サーバ２０４へ送信し、加えてカメラ情報に対応する撮影シーン判別補助情報を要求する。
【００２８】
ステップＳ３０３では、画像サーバ２０４の画像ＤＢ検索部２０７が、受信したカメラ情報に対応する撮影シーン判別補助情報の検索を行う。ここで、撮影シーン判別補助情報とは、画像ＤＢ２０６に蓄積された情報に基づいて生成され、後述する撮影シーンの判別に際して補助的に用いられる情報を指す。
【００２９】
本実施形態では、画像ＤＢ２０６に蓄積された画像データのうち、カメラ１０１のカメラ情報と合致、又は所定の誤差範囲内の類似したカメラ情報を持つ画像データを検索する。そしてそれらの画像データの撮影された撮影シーンに対して評価を行った評価情報を撮影シーン判別補助情報として用いる。具体的には、撮影頻度の高い撮影シーン（第１の撮影シーン）を撮影頻度の低いシーン（第２の撮影シーン）よりも評価の高い撮影シーンと見なし、最も撮影頻度の高い撮影シーンの情報を撮影シーン判別補助情報として用いる。
【００３０】
図４を参照しながら、撮影シーン判別補助情報の検索について具体的に説明する。
【００３１】
図４は、画像ＤＢ２０６に蓄積されている画像データの概略を表した図である。図に示したように、参照画像ファイルのそれぞれに対して、対応するカメラ情報、撮影シーンのデータが関連付けられて記録されている。ここで、参照画像ファイルの撮影シーンのデータは、参照画像撮影時に参照画像の撮影者がカメラに設定した撮影モード情報あるいはカメラが判別したシーン情報を記録したものである。例えば、参照画像撮影時に夕焼け空モードが設定されていた場合、撮影シーンを夕焼け空と判断し、記録する。なお、画像ＤＢ２０６に記憶されるデータとしてはカメラ情報と対応付けが行えるデータを持つものであればよく、必ずしも画像データは必要としない。しかし、現在撮影しようとしている撮影条件で撮影された画像の見本となる画像データも記憶されていることで、ユーザが当該画像データを見本として自分でカメラ設定を行うなどということもできるようになる。
【００３２】
画像ＤＢ検索部２０７は、カメラ１０１よりカメラ情報と撮影シーン判別補助情報の検索要求を受信すると、画像ＤＢ２０６の中から、カメラ１０１より送信されたカメラ情報の規定する条件、あるいは類似した条件の下で撮影されている画像データを検索する。具体的には、カメラ１０１より送信された位置情報、時間情報と一致、又は、近い位置情報、時間情報を持つ画像データを検索し、抽出する。画像ＤＢ検索部２０７は、抽出した画像データを画像サーバ制御部２０５へ出力する。
【００３３】
画像サーバ制御部２０５は、抽出された画像データに基づいて、カメラ１０１へ送信する撮影シーン判別補助情報を決定する。具体的には、抽出された画像データについて撮影頻度の最も高い撮影シーンを判定し、その撮影シーンの情報をカメラ１０１へ送信する。例えば、緯度３５度３９分、経度１３９度４４分の撮影場所で１５：００に撮影されているというカメラ情報がカメラから送られているとすると、画像ＤＢ検索部２０７によって図４のような複数の画像データが抽出される。抽出された６件のデータのうち、夕焼け空シーンとして撮影された画像データが４件あり、最も撮影頻度が高い。この場合、画像サーバ制御部２０５は、最も撮影頻度が高い撮影シーンが夕焼け空シーンであることを表す情報を、撮影シーン判別補助情報として決定する。
【００３４】
ステップＳ３０４では、画像サーバ制御部２０５が、決定した撮影シーン判別補助情報を、カメラ１０１へ送信する。
【００３５】
ステップＳ３０５では、撮影シーン判別制御部１１２が、通信部１１６を介して画像サーバ２０４より受信した撮影シーン判別補助情報に基づき、撮影シーン判別処理に用いる撮影シーン判別閾値を算出し、撮影シーン判別部１１１へ出力する。ここでの撮影シーン判別閾値の算出方法については、後で詳しく説明する。
【００３６】
ステップＳ３０６では、撮影シーン判別部１１１が、撮影シーン判別制御部１１２より受信した撮影シーン判別閾値と、画像信号生成部１０４より受信した画像信号とに基づき、撮影シーンの判別処理を行う。ここでの撮影シーン判別処理の内容については、後で詳しく説明する。撮影シーン判別部１１１は、撮影シーン判別結果をカメラ制御部１１０へ送信する。
【００３７】
ステップＳ３０７では、カメラ制御部１１０が、受信した撮影シーン判別結果に基づき、撮影シーンに最適な画質となるようカメラ１０１の各部の動作を制御する。
例えば、撮影シーン判別結果が夕焼け空であれば、カメラ制御部１１０は、画像信号補正部１０５を制御して画像信号の赤色成分にゲインをかけ、撮像光学系１０２を制御して露出をややアンダーに設定し、夕焼け空の撮影に適するようカメラ１０１の各部を制御する。
【００３８】
同様に、撮影シーン判別結果が青空であれば、画像信号の青色成分に対してゲインをかけ、青空の色を強調するようカメラ１０１の各部を制御する。撮影シーン判別結果がポートレートであれば、人物の顔に対して適正な露出となるよう露出を設定し、人物の撮影に適するようカメラ１０１の各部を制御する。撮影シーン判別結果が夜景であれば、合焦位置を遠方、又は無限遠に設定し、露光時間を長くすることで、夜景の撮影に適するようカメラ１０１の各部を制御する。撮影シーン判別結果が風景であれば、画像信号に対して彩度方向にゲインをかけ、風景の撮影に適した設定となるようカメラ１０１の各部を制御する。以上が、撮影シーン判別処理に関る撮影システムの処理動作の概要である。
【００３９】
次に、図５を用いて、ステップＳ３０６における撮影シーン判別処理の内容について説明し、その後、図７を用いて、ステップＳ３０５における撮影シーン判別閾値の算出方法について説明する。撮影された画像が各シーンの条件を満たすかどうかを判定するために、画像データからシーンに応じた画像特徴量を算出し、それを判別閾値と比較して、シーン判別を行う。
【００４０】
図５に示したのは、撮影シーン判別部１１１が行う撮影シーン判別処理の流れを表すフローチャートである。
【００４１】
ステップＳ５０１では、撮影シーン判別部１１１が顔検出部１１７に対して顔検出処理を行うよう要求する。顔検出部１１７は、検出要求に応じて、画像中の人物の顔を検出する。具体的には、顔検出部１１７は、種々の顔パターンをテンプレートとして予め用意しておき、入力された画像データとの間でパターンマッチングを行うことにより、人物の顔を検出する。顔検出部１１７は、画像中に人物の顔が検出されたか否かを、検出された場合には顔の位置や大きさの情報を撮影シーン判別部１１１へ出力する。
【００４２】
ステップＳ５０２では、撮影シーン判別部１１１が、顔検出部１１７において顔が検出されており、かつ、そのサイズが所定の顔サイズ閾値より大きいか否かを判定する。条件が満たされる場合はステップＳ５０８へ進み、条件が満たされない場合はステップＳ５０３へ進む。
【００４３】
ステップＳ５０３では、撮影シーン判別部１１１が、画像をブロック（例えば、８×８ブロック）に分割し、ブロック毎の色差信号（Ｒ−Ｙ，Ｂ−Ｙ）の平均値を算出する。
【００４４】
次に、ステップＳ５０４では、撮影シーン判別部１１１が、各画像ブロックを、その画像信号に基づいて夕日色、青空色、夜景、その他のブロックの４種類に分類する。
【００４５】
以下、ブロックの分類方法を説明する。
【００４６】
夕日色ブロック、及び青空色ブロックは、その輝度信号、及び、色差信号が所定の範囲内の値であるか否かによって判定する。図６に色差平面上における、夕日色ブロックの定義域（ＳｕｎｓｅｔＡｒｅａ）、青空色ブロックの定義域（ＳｋｙＡｒｅａ）を示した。例えば、各画像ブロックのうち、輝度信号が所定の輝度閾値以上であり、かつ、色差信号が図６のＳｕｎｓｅｔＡｒｅａ（ＳｋｙＡｒｅａ）に含まれるブロックは、夕日色ブロック（青空色ブロック）に分類される。
【００４７】
また、夜景ブロックは、各画素の輝度信号に基づいて判定する。具体的には、各ブロックのうち、その平均輝度が所定の輝度閾値以下であり、かつ、高輝度画素が所定の閾値以上の数含まれるブロックは、夜景ブロックに分類される。
【００４８】
また、上記のどの条件も満たさないブロックは、その他のブロックに分類される。
【００４９】
撮影シーン判別部１１１は、各ブロックを上述のように分類した後、種類毎にブロックの存在割合を算出する。具体的には、全ブロックのうち夕日色ブロックに分類されたブロックの割合を夕日色ブロック割合として算出する。同様にして、撮影シーン判別部１１１は、青空色ブロック割合、夜景ブロック割合を算出する。
【００５０】
次に、撮影シーン判別部１１１は、算出したブロック割合に基づいて撮影シーンの判別を行う。
【００５１】
まず、ステップＳ５０５では、撮影シーン判別部１１１が、夕日色ブロック割合を所定の夕日色ブロック割合閾値と比較する。夕日色ブロック割合が夕日色ブロック割合閾値より高い場合にはステップＳ５０９へ進み、低い場合にはステップＳ５０６へ進む。
【００５２】
ステップＳ５０６では、撮影シーン判別部１１１が、青空色ブロック割合を所定の青空色ブロック割合閾値と比較する。青空色ブロック割合が青空色ブロック割合閾値より高い場合にはステップＳ５１０へ進み、低い場合にはステップＳ５０７へ進む。
【００５３】
ステップＳ５０７では、撮影シーン判別部１１１が、夜景ブロック割合を所定の夜景ブロック割合閾値と比較する。夜景ブロック割合が所定の夜景ブロック割合閾値より高い場合にはステップＳ５１１へ進み、低い場合にはステップＳ５１２へ進む。
【００５４】
ステップＳ５０８では、撮影シーン判別部１１１が、現在の撮影シーンをポートレートと判別する。
【００５５】
ステップＳ５０９では、撮影シーン判別部１１１が、現在の撮影シーンを夕焼け空と判別する。
【００５６】
ステップＳ５１０では、撮影シーン判別部１１１が、現在の撮影シーンを青空と判別する。
【００５７】
ステップＳ５１１では、撮影シーン判別部１１１が、現在の撮影シーンを夜景と判別する。
【００５８】
ステップＳ５１２では、撮影シーン判別部１１１が、現在の撮影シーンを風景と判別する。
【００５９】
ステップＳ５１３では、撮影シーン判別部１１１が、撮影シーンの判別結果をカメラ制御部１１０へ出力する。
【００６０】
以上が、図３のステップＳ３０６で行われる撮影シーン判別処理である。
【００６１】
次に、図３のステップＳ３０５での、撮影シーン判別制御部１１２が行う撮影シーン判別閾値の算出方法について説明する。撮影シーン判別制御部１１２は、画像サーバ２０４より受信した撮影シーン判別補助情報に基づいて、撮影シーン判別に用いる閾値の値を算出し、撮影シーン判別部１１１に出力する。本実施形態では、撮影シーン判別補助情報として受信した撮影頻度の高い撮影シーンについて、対応する撮影シーン判別閾値を通常より低い値に設定する場合で説明する。
【００６２】
以下、図７のフローチャートを用いて、撮影シーン判別制御部１１２が行う処理の流れを説明する。
【００６３】
ステップＳ７０１では、撮影シーン判別制御部１１２が、予め設定された各撮影シーンに対する判別閾値の基準値を、不図示のメモリより読み出す。
【００６４】
ステップＳ７０２では、撮影シーン判別制御部１１２が、画像サーバ２０４より受信した撮影シーン判別補助情報の撮影シーンがポートレートであるか否かを判定する。ポートレートである場合はステップＳ７０６へ進み、そうでない場合はステップＳ７０３へ進む。
【００６５】
ステップＳ７０３では、撮影シーン判別制御部１１２が、撮影シーン判別補助情報の撮影シーンが夕焼け空であるか否かを判定する。夕焼け空である場合はステップＳ７０７へ進み、そうでない場合はステップＳ７０４へ進む。
【００６６】
ステップＳ７０４では、撮影シーン判別制御部１１２が、撮影シーン判別補助情報の撮影シーンが青空であるか否かを判定する。青空である場合はステップＳ７０８へ進み、そうでない場合はステップＳ７０５へ進む。
【００６７】
ステップＳ７０５では、撮影シーン判別制御部１１２が、撮影シーン判別補助情報の撮影シーンが夜景であるか否かを判定する。夜景である場合はステップＳ７０９へ進み、そうでない場合はステップＳ７１０へ進む。
【００６８】
ステップＳ７０６では、撮影シーン判別制御部１１２が、顔サイズ閾値を、ステップＳ７０１で読み出した基準値より所定の量だけ低い値に決定する。
【００６９】
ステップＳ７０７では、撮影シーン判別制御部１１２が、夕日色ブロック割合閾値を、ステップＳ７０１で読み出した基準値より所定の量だけ低い値に決定する。
【００７０】
ステップＳ７０８では、撮影シーン判別制御部１１２が、青空色ブロック割合閾値を、ステップＳ７０１で読み出した基準値より所定の量だけ低い値に決定する。
【００７１】
ステップＳ７０９では、撮影シーン判別制御部１１２が、夜景ブロック割合閾値を、ステップＳ７０１で読み出した基準値より所定の量だけ低い値に決定する。
【００７２】
ステップＳ７１０では、撮影シーン判別制御部１１２が、決定した各撮影シーンの撮影シーン判別閾値を撮影シーン判別部１１１へ出力する。
【００７３】
したがって、撮影シーン判別補助情報の撮影シーンに対応する撮影シーン判別閾値は、基準値より所定の量だけ低い値が、それ以外の撮影シーン判別閾値は基準値が、撮影シーン判別部１１１へ出力されることとなる。
【００７４】
以上、説明したように、本発明では、画像信号に基づいて撮影シーンを判別する撮像装置において、外部データベースから撮影シーン判別に用いる補助情報を取得し、その補助情報に基づいて撮影シーン判別処理を制御した。具体的には、撮影場所、撮影時間帯が一致、または近い状況において撮影頻度の高い撮影シーンに対する撮影シーン判別閾値を低い値に設定した。これにより、撮影頻度の高い、すなわち評価の高い撮影シーンは、撮影シーン判別結果として選択されやすくなり、撮影シーンの判別精度をより向上させることが可能となる。
【００７５】
また、外部データベース中の参照画像の撮影シーンを、そのまま現在の撮影シーンとして使用する方法では、入力画像と合致する参照画像が存在しない場合に撮影シーンの判別が適切に行えないという問題があった。これに対し、本実施形態の方法では、外部から取得した情報を補助的に用いながら、入力画像信号の特徴を解析して撮影シーンを判別する。これにより、入力画像と合致する参照画像が存在しない場合でも、撮影シーンの判別を適切に行うことが可能となる。
【００７６】
なお、上記実施形態では、撮影シーンをポートレート、夕焼け空、青空、夜景、風景の５種類とする場合で説明したが、本発明は撮影シーンの内容をこれに限定するものではない。すなわち、画像信号の特徴に基づき、撮影シーンや被写体の種類を判別するものであれば、どのような撮影シーンに対する判別を行っても構わない。例えば、画像信号の彩度の高い領域の面積などを特徴量として、撮影シーンがあざやかなシーンであるか否かを判別するようにしても良い。この場合、上記実施形態の場合と同様にして、撮影頻度の高い撮影シーンがあざやかなシーンである場合に、あざやかなシーンに対する判別閾値を低く設定するようにする。このように、様々な撮影シーンに対して、ユーザの知覚や意図にあったシーン判別を行うことが可能となる。
【００７７】
また、上記実施形態では、各撮影シーンの判別方法として、人物の顔の有無、及び、画像をブロックに分割し、分類した結果とに基づいて判別する場合で説明したが、本発明は撮影シーンの判別方法をこれに限定するものではない。すなわち、画像信号の特徴に基づき、撮影シーンを判別する方法であれば、どのような方法を用いても構わない。例えば、夕焼け空を判別する際に、画素単位で画像信号の分布を判定し、夕焼け空色の領域が画像全体に占める割合を算出するようにしても良い。この場合、夕焼け空色の領域の割合に対する閾値を、シーン判別補助情報に基づいて制御すれば良い。このように判別条件を追加することにより、撮影シーンの判別精度をより向上させることが可能となる。
【００７８】
また、上記実施形態では、カメラ情報として時間情報、位置情報を用いる場合で説明したが、本発明はカメラ情報の内容をこれに限定するものではない。すなわち、撮影時のカメラの状態（撮影条件）を表す情報であれば、どのようなものを用いても構わない。例えば、カメラの機種情報、撮影時の日付を表す日付情報、撮影方向を表す方位情報、撮影範囲を表す画角情報、撮影季節を表す季節情報、撮影場所の天候を表す天候情報などをカメラ情報に含めるようにしても良い。これにより、撮影シーン判別補助情報の抽出の精度を向上させることが可能となる。
【００７９】
また、上記実施形態では、撮影シーン判別処理、及び撮影シーン判別閾値の設定を画像プレビュー中に繰り返し行う場合で説明したが、本発明は、撮影シーン判別処理、及び撮影シーン判別閾値の設定を行うタイミングをこれに限定するものではない。例えば、ユーザがシャッタ釦１０７を操作し、ＳＷ１（１０８）をＯＮにしたことを検知したタイミングで、撮影シーン判別処理、及び撮影シーン判別閾値の設定を開始するようにしても良い。これにより、撮影シーンの判別処理に関る撮像装置の処理負荷を低減することが可能となる。
【００８０】
また、上記実施形態では、撮影頻度の最も高い撮影シーンを、撮影シーン判別補助情報として用いる場合で説明したが、本発明は、撮影シーン判別補助情報の内容をこれに限定するものではない。例えば、撮影頻度の高いものから順に３種類の撮影シーンを抽出し、その情報を撮影シーン判別情報として用いるようにしても良い。この場合、抽出した３種類の撮影シーンに対応する撮影シーン判別閾値を通常より低い値に設定すれば良い。
【００８１】
また、上記実施形態では、撮影シーンに対する評価値として撮影頻度を用いる場合で説明したが、本発明は、撮影シーンの評価方法をこれに限定するものではない。例えば、画像撮影後に、撮影者が撮影シーン判別の結果が適切であったか否かを判断し、その結果を画像サーバ上で記録するようにしても良い。この場合、撮影者により適切であると判断された回数の最も多い撮影シーンを、評価の高い撮影シーンとみなし、撮影シーン判別補助情報として用いる。これにより、撮影者の意図や知覚をより適切に撮影シーン判別の制御に反映させることが可能となる。
【００８２】
また、上記実施形態では、撮影頻度の最も高い撮影シーンの判定処理を、画像サーバ上で行う場合で説明したが、本発明は、撮影シーン判別補助情報の生成方法をこれに限定するものではない。例えば、カメラ情報に対応した画像データの検索までを画像サーバ上で行い、抽出された画像データをカメラへ送信し、カメラ１０１のカメラ制御部１１０において撮影頻度の高い撮影シーンを判断するようにしても良い。これにより、画像サーバの処理負荷を低減することが可能となる。
【００８３】
また、上記実施形態では、撮影シーン判別結果に応じて、画像信号に対する補正処理を制御する場合で説明したが、本発明は、撮影シーン判別結果の出力方法をこれに限定するものではない。例えば、撮影シーン判別結果を表示部においてユーザに提示するようにしても良い。また、画像信号に対する補正処理の制御に、撮影シーン判別補助情報も用いるようにしても良い。具体的には、撮影シーン判別補助情報に応じて、画像信号に対する補正量を制御する。例えば、撮影シーン判別結果が、撮影シーン判別補助情報の撮影シーンと一致しない場合には、撮影シーンの誤判別の可能性がある。撮影シーンを誤判別している場合に、撮影シーン判別結果に従って画像信号を補正すると、撮影画像の画質を悪化させてしまう。これを防ぐために、撮影シーン判別結果が、撮影シーン判別補助情報の撮影シーンと一致しなかった場合は、一致した場合に比べて、画像信号に対する補正量を小さい値に設定するよう制御しても良い。これにより、撮影シーンの誤判別の可能性がある場合には撮影画像の画質が著しく悪化することを防ぐと共に、誤判別の可能性が低い場合には撮影シーンに最適な補正処理を行うことが可能となる。
【００８４】
また、上記実施形態では、撮影シーン判別処理の制御として、撮影頻度の高い撮影シーンの撮影シーン判別閾値を低く設定する場合で説明したが、本発明は撮影シーン判別処理の制御内容をこれに限定するものではない。例えば、撮影頻度の低い撮影シーンの撮影シーン判別閾値を基準値より高く設定するようにしてもよい。すなわち、撮影頻度の低い撮影シーンは、現在の撮影環境に適していない可能性があるので、撮影シーン判別結果として選択され難くする。これにより、撮影シーン判別結果が、撮影環境に対して適さない撮影シーンとなることを抑えることが可能となる。
【００８５】
また、撮影シーン間の優先順位を制御するようにしても良い。具体的には、撮影シーン間の優先度を予め設定しておき、１つでなく複数の撮影シーン判別条件が満たされた場合には、撮影シーン判別条件が満たされた撮影シーンの中で、最も優先度の高い撮影シーンを現在の撮影シーンとして選択する。この時、撮影シーン判別補助情報として受信した撮影シーンに対しては、その優先度を予め設定された優先度より高く設定するようにする。これにより、評価の高い撮影シーンが選択されやすくなり、ユーザの意図に合った撮影シーン判別を行うことが可能となる。
【００８６】
また、プレビュー中に順次、入力されるフレーム画像のそれぞれに対して撮影シーン判別処理を行い、それらの複数のフレーム画像に対する撮影シーン判別結果を総合して現在の撮影シーンを決定することとし、その場合の判別条件を制御するようにしても良い。例えば、所定のフレーム数に対して同一の撮影シーン判別結果が連続した場合にのみ現在の撮影シーンを特定するものとし、上述のフレーム数に対する条件を制御するようにしても良い。すなわち、撮影シーン判別補助情報として受信した撮影シーンを特定する際には、フレーム数に対する閾値を通常より低く設定するようにしても良い。これにより、評価の高い撮影シーンが選択されやすくなり、ユーザの意図に合った撮影シーン判別を行うことが可能となる。
【００８７】
［第２の実施形態］
第１の実施形態では、評価の高い撮影シーンの情報を、撮影シーン判別補助情報として外部の画像サーバから取得する場合について説明した。
【００８８】
以下、本発明の第２の実施形態として、カメラ設定パラメータ（撮像制御パラメータ）から撮影シーン判別補助情報を生成する場合について説明する。
【００８９】
本実施形態の撮影システム、及び撮像装置の構成はそれぞれ図２、図１に示した第１の実施形態の場合と同様であるため、ここでは詳しい説明は省略する。
【００９０】
次に、第２の実施形態に関る撮像装置の処理動作について説明する。図８に、本実施形態における撮影シーン判別処理に関る処理動作の流れを示すフローチャートを示した。図３に示した第１の実施形態の場合と比べて、ステップＳ８０５での高評価撮影シーンの判別処理が追加されている。
【００９１】
ステップＳ８０１、Ｓ８０２における一連の処理は、図３のステップＳ３０１、Ｓ３０２に示した第１の実施形態の場合と同様であるため、ここでは説明は省略する。
【００９２】
ステップＳ８０３では、ステップＳ３０３と同様にして、画像サーバ２０４の画像ＤＢ検索部２０７が、受信したカメラ情報に対応する撮影シーン判別補助情報の検索を行う。
【００９３】
図９（ａ）に、画像ＤＢ２０６に記録されている画像データの形式の例を示した。図４に示した第１の実施形態の場合では、カメラ情報と撮影シーンの情報が対応付けられていたが、図９（ａ）に示した本実施形態の場合では、カメラ情報とカメラ設定パラメータとが対応付けられている。ここでのカメラ設定パラメータとは、参照画像を撮像した時点でカメラに設定されていたパラメータを指す。
【００９４】
画像ＤＢ検索部２０７は、カメラ１０１よりカメラ情報と、撮影シーン判別補助情報の検索要求を受信すると、画像ＤＢ２０６の中から、カメラ１０１より受信したカメラ情報に対応する画像データを検索する。具体的には、カメラ１０１より受信した位置情報、時間情報と一致、又は、近い位置情報、時間情報を持つ画像データを検索し、抽出する。画像ＤＢ検索部２０７は、抽出した画像データを画像サーバ制御部２０５へ出力する。
【００９５】
画像サーバ制御部２０５は、抽出された画像データに基づいて、カメラ１０１へ送信する撮影シーン判別補助情報を決定する。具体的には、抽出された画像データについて、使用頻度の高いカメラ設定パラメータを判定し、そのカメラ設定パラメータの評価情報をカメラ１０１へ送信する。すなわち、使用頻度の高いカメラ設定パラメータ（第１の撮像制御パラメータ）には、使用頻度の低いカメラ設定パラメータ（第２の撮像制御パラメータ）に比べて高い評価を与えて、カメラ設定パラメータの評価情報とする。例えば、図９（ａ）が、あるカメラ情報に基づいて抽出された画像データであるとすると、抽出された６件のデータのうち、ホワイトバランスの設定は太陽光モードで撮影された画像データが３件であり、最も使用頻度が高く、評価が高い。同様に、合焦位置については、遠方に設定された画像データが４件であり、最も使用頻度が高く評価高い。又は、使用頻度の高いカメラ設定パラメータの範囲を判定しても良い。例えば、露出時間については、１／２５０〜１／５００の範囲が使用頻度が高く評価の高い範囲となっている。絞り値については、７．１〜８．０の範囲が使用頻度が高く評価の高い範囲となっている。このようにして抽出したカメラ設定パラメータの例を図９（ｂ）に示した。
【００９６】
ステップＳ８０４では、画像サーバ制御部２０５が、決定した撮影シーン判別補助情報を、カメラ１０１へ送信する。
【００９７】
ステップＳ８０５では、撮影シーン判別制御部１１２が、撮影シーン判別補助情報として受信したカメラ設定パラメータに基づいて、評価の高い撮影シーンの推定を行う。このため、撮影シーン判別制御部１１２は、各撮影シーンについて、その撮影シーンに適したカメラ設定パラメータをカメラ制御部１１０より読み出す。読み出したカメラ設定パラメータの例を図９（ｃ）に示した。次に、各撮影シーンの中から、図９（ｂ）に示した使用頻度の高いカメラ設定パラメータと合致、又は近い値のカメラ設定パラメータを持つ撮影シーンを抽出する。例えば、図９（ｃ）の場合であれば、夕焼け空、青空の２つの撮影シーンが、使用頻度の高いカメラ設定パラメータと合致している。このことから、撮影頻度が高い撮影シーンは、夕焼け空、又は青空であると判断することができる。
【００９８】
撮影シーン判別制御部１１２は、上述のように撮影頻度の高い撮影シーンを推定した後、その結果に基づいて、撮影シーン判別処理に用いる撮影シーン判別閾値を算出する。ここでの撮影シーン判別閾値の算出、及び、この後のステップＳ８０６〜Ｓ８０８における処理内容は、図３のステップＳ３０５〜Ｓ３０７に示した第１の実施形態の場合と同様であるため、ここではその詳細な説明は省略する。
【００９９】
以上、説明したように、本発明では、画像信号に基づいて撮影シーンを判別する撮像装置において、外部データベースから撮影シーン判別に用いる補助情報を取得し、その補助情報に基づいて撮影シーン判別処理を制御した。特に本実施形態では、撮影シーン判別補助情報として、使用頻度の高いカメラ設定パラメータの情報を受信し、その情報に基づいて評価の高い撮影シーンを推定し、撮影シーン判別の制御に用いるようにした。これにより、外部データベースに蓄積された情報に、撮影シーン（撮影モード）の情報が含まれない場合でも、精度の良い撮影シーン判別を行うことが可能となる。
【０１００】
［第３の実施形態］
第１、第２の実施形態では、画像プレビュー中に、撮影シーン判別処理の制御を繰り返し行う場合について説明した。以下、本発明の第３の実施形態として、外部の画像サーバへの撮影シーン判別補助情報の問い合わせを行うか否かを判断する場合について説明する。
【０１０１】
本実施形態の撮影システム、及び撮像装置の構成はそれぞれ図２、図１に示した第１の実施形態の場合と同様であるため、ここでは説明は省略する。
【０１０２】
次に、第３の実施形態に関る撮像装置の処理動作について説明する。
【０１０３】
図１０に、本実施形態における撮影シーン判別処理に関る処理動作の流れを示すフローチャートを示した。これら一連の動作はカメラ制御部１１０の制御に従って、画像プレビュー中に繰り返し実行される。
【０１０４】
まず、ステップＳ１００１では、撮影シーン判別制御部１１２が、予め設定された各撮影シーンに対する判別閾値の基準値を、不図示のメモリより読み出し、撮影シーン判別部１１１へ出力する。
【０１０５】
ステップＳ１００２では、撮影シーン判別部１１１が、入力された撮影シーン判別閾値を用いて、撮影シーン判別処理を行う。ここでの判別処理の内容は、図５で説明した第１の実施形態の場合と同様であるため、ここではその詳細な説明は省略する。
【０１０６】
ステップＳ１００３では、撮影シーン判別部１１１が、撮影シーン判別の信頼度を表す撮影シーン判別信頼度を算出し、カメラ制御部１１０へ出力する。撮影シーン判別信頼度の算出方法は後述する。
【０１０７】
ステップＳ１００４では、カメラ制御部１１０が、算出された撮影シーン判別信頼度と予め設定された撮影シーン判別信頼度閾値とを比較する。撮影シーン判別信頼度が閾値より高い場合はステップＳ１００５へ進み、低い場合はステップＳ１００６へ進む。
【０１０８】
ステップＳ１００５では、図３のステップＳ３０７と同様にして、カメラ制御部１１０が撮影シーン判別結果に応じた画像信号に対する補正処理を実行するようカメラ１０１の各部へ指示する。
【０１０９】
ステップＳ１００６〜Ｓ１０１０では、カメラ１０１が、画像サーバより撮影シーン判別補助情報を取得し、撮影シーン判別の制御を実行する。ここでの一連の処理動作は、図３のステップＳ３０１〜Ｓ３０５における一連の処理動作と同様であるため、ここではその詳細な説明は省略する。
【０１１０】
この後、ステップＳ１００２へ戻り、それ以降の一連の処理動作を繰り返し実行する。したがって、２回目以降の撮影シーン判別処理においては、撮影シーン判別補助情報に基づいて決定された撮影シーン判別閾値が用いられる。
【０１１１】
次に、撮影シーン判別部１１１による撮影シーン判別に対する信頼度の算出方法について説明する。本実施形態では、画像の特徴量と撮影シーン判別閾値との比較に基づいて撮影シーン判別信頼度を算出する。例えば、撮影シーン判別結果が夕焼け空である場合に、夕日色ブロックが画像全体を占めているならば、撮影シーン判別への信頼度は高いと考えられる。他の撮影シーンについても同様に考え、信頼度を以下の式で定義する。
信頼度（夕焼け空） ＝ 夕日色ブロック割合 ― 夕日色ブロック割合閾値
信頼度（青空）＝ 青空色ブロック割合 ― 青空色ブロック割合閾値
信頼度（夜景）＝ 夜景ブロック割合 ― 夜景ブロック割合閾値
信頼度（ポートレート）＝ 主顔サイズ ― 顔サイズ閾値
撮影シーン判別部１１１は、上述の式を用いて、ステップＳ１００２で選択された撮影シーンに対する信頼度を算出し、カメラ制御部１１０へ出力する。
【０１１２】
以上、説明したように、本発明では、画像信号に基づいて撮影シーンを判別する撮像装置において、外部データベースから撮影シーン判別に用いる補助情報を取得し、その補助情報に基づいて撮影シーン判別処理を制御した。加えて本実施形態では、撮影シーン判別の信頼度を算出し、信頼度が所定の閾値より低い場合にのみ、外部サーバとの通信や撮影シーン判別処理の制御を実行するようにした。これにより、外部サーバや撮像装置の処理負荷を低減することが可能となる。
【０１１３】
なお、本実施形態では、撮影シーン判別に対する信頼度の算出方法を、ブロック割合に基づいて行う場合で説明したが、本発明は信頼度の算出方法をこれに限定するものではない。すなわち、画像の特徴に応じて行う撮影シーン判別処理の信頼度を評価するものであればどのようなものを用いても構わない。例えば、ある撮影シーンを判別する際に、複数個の判別条件を用いている場合には、条件が満たされた判別条件の個数に応じて信頼度を算出するようにしても良い。この場合、条件が満たされる判別条件の数が多いほど、信頼度を高く算出する。
【０１１４】
又は、複数種類の被写体や複数種類の撮影シーンの特徴が検出された場合に、撮影シーン判別信頼度を低く算出するようにしてもよい。例えば、撮影シーン判別結果が夕焼け空である場合に、同時に青空色ブロックも存在する場合や、顔サイズ閾値より小さい人物の顔が検出された場合には、撮影シーン判別結果を夕焼け空と判別したことへの信頼度は低いと考えられる。したがって、上述の条件が満たされる場合に、信頼度を低く算出するようにしても良い。これにより、撮影シーン判別に対する信頼度の算出をより精度良く行うことが可能となる。
【０１１５】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【０１１６】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【０１１７】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【０１１８】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【０１１９】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【０１２０】
１０１ カメラ
１０２ 撮像光学系
１０３ 撮像素子
１０４ 画像信号生成部
１０５ 画像信号補正部
１１０ カメラ制御部
１１１ 撮影シーン判別部
１１２ 撮影シーン判別制御部
１１５ ＧＰＳセンサ撮影情報
１１６ 通信部
【技術分野】
【０００１】
本発明は、撮像装置入力画像データと外部の情報処理装置に蓄積された情報とに基づいて撮像装置撮像されるシーンのシーン判別を行う撮像装置に関するものである。
【背景技術】
【０００２】
従来、入力された画像データの特徴に基づいて、画像の撮影シーン（被写体の種類）を判別し、判別した撮影シーンに応じた画像処理を行う撮像装置があった。例えば、特許文献１では、風景、夕景、夜景等の複数の候補から、自動で現在の撮影シーンを判別することが可能なカメラにおいて、自動で判別する場合とユーザが手動で撮影モードを設定する場合とで、画像処理の内容を異ならせる技術が開示されている。
【０００３】
一方、撮影シーンに応じた画像処理の制御を、外部の情報処理装置上に蓄積された補助的な情報に基づいて行うことが可能な撮像装置の技術が知られている。例えば、特許文献２では、撮影時のプレビュー画像に類似した参照画像を外部データベースから検索し、その参照画像を撮影した際のカメラ設定パラメータを取得し、設定することが可能なカメラの技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０１８４５３号公報
【特許文献２】特開２００９−０７７１５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像データの特徴に応じて撮影シーンを判別する従来技術では、撮影シーンを誤判別する場合があった。例えば、色温度の低い照明で照らされた室内を、同じ色味を持つ夕焼け空と誤判別してしまう場合があった。
【０００６】
また、外部の情報処理装置に蓄積された参照画像に基づき撮影シーンを判別する従来技術では、ユーザが撮影しようとする画像によく類似した参照画像が存在しない場合には、撮影シーンの判別を精度良く行うことが困難であるという問題があった。
【０００７】
そこで、本発明の目的は、入力画像の撮影シーンを精度良く判別することが可能な撮像装置を提供することである。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の撮像装置は、請求項１に記載のとおり、被写体像を撮像し、画像データを出力する撮像手段と、前記画像データに基づいて前記撮像手段から出力される画像データの撮影シーンを判別する判別処理を行う判別手段と、を備えた撮像装置であって、前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得手段と、前記撮影情報を外部装置に送信し、前記撮影情報に対応する前記画像データの撮影シーンの判別を補助する補助情報を、前記外部装置から受信する通信手段と、を備え、前記判別手段は、前記通信手段により受信した前記補助情報に基づいて、前記判別処理を行うことを特徴とする。
【０００９】
また、本発明の撮像システムは、請求項１３に記載のとおり、撮像装置と情報処理装置からなる撮像システムであって、被写体を撮像し、画像データを取得する撮像手段と、前記画像データに基づいて、前記画像データの撮影シーンを判別する判別処理を行う判別手段と、前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得手段と、前記撮像装置と前記情報処理装置との間の通信を行う通信手段と、前記撮影情報と対応付けが可能な複数のデータを記憶する記憶手段と、前記記憶手段に記憶された前記複数のデータと前記撮影情報とに基づいて、前記撮影情報に対応する撮影シーンの判別を補助する補助情報を生成する生成手段と、を備え、前記判別手段は、前記生成手段により生成された前記補助情報に基づいて、前記判別処理を行うことを特徴とする。
【００１０】
また、本発明の撮像装置の制御方法は、請求項１６に記載のとおり、被写体像を撮像し、画像データを出力する撮像手段と、前記画像データに基づいて前記撮像手段から出力される画像データの撮影シーンを判別する判別処理を行う判別手段と、を備えた撮像装置の制御方法であって、前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得ステップと、前記撮影情報を外部装置に送信し、前記撮影情報に対応する前記画像データの撮影シーンの判別を補助する補助情報を、前記外部装置から受信する通信ステップと、を備え、前記判別手段は、前記通信ステップにて受信した前記補助情報に基づいて、前記判別処理を行うことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、入力画像の撮影シーンの判別を、より精度良く行うことが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る撮像システムの構成を示す図である。
【図３】本発明の第１の実施形態に係る撮像システムの処理動作を表すシーケンス図である。
【図４】本発明の第１の実施形態に係る画像データの概要を示す図である。
【図５】本発明の第１の実施形態に係る撮影シーン判別処理の流れを示すフローチャートである。
【図６】本発明の第１の実施形態に係る撮影シーン判別処理の内容を表す図である。
【図７】本発明の第１の実施形態に係る撮影シーン判別処理の制御の流れを示すフローチャートである。
【図８】本発明の第２の実施形態に係る撮像システムの処理動作を表すシーケンス図である。
【図９】本発明の第３の実施形態に係る撮像システムの処理動作を表すシーケンス図である。
【図１０】本発明の第３の実施形態に係る画像データの概要を示す図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１４】
以下の実施形態では、本発明の撮像装置を備えたデジタルカメラを用いる撮像システムの場合を例に取り、説明する。また、撮影シーンとして、人物を含むシーンを撮影する「ポートレート」、夕焼け空を含むシーンを撮影する「夕焼け空」、青空を含むシーンを撮影する「青空」、夜景を撮影する「夜景」、風景を撮影する「風景」の５種類の撮影シーンを判別する場合で説明する。しかし、本発明を用いて判別するシーンはこれらに限られない。
【００１５】
［第１の実施形態］
以下、図１〜図７を参照して、本発明の第１の実施形態による撮像装置について説明する。
【００１６】
図２に示したのは、第１の実施形態に係る撮影システムの構成の概要を示した図である。図２において、２０１は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星であり、測位のためのＧＰＳ信号を出力する。１０１は、カメラであり、画像を撮影する。また、カメラ１０１は、アクセスポイント２０２、及び、ネットワーク２０３を介して、画像サーバ２０４（情報処理装置）と通信する。画像サーバ２０４は、画像サーバ制御部２０５、画像データベース（ＤＢ）２０６、画像ＤＢ検索部２０７を備える。画像サーバ制御部２０５は、画像サーバ２０４内の各部の処理を制御する。画像ＤＢ２０６は、画像ファイルや後述する撮影シーン判別補助情報を記憶した記憶装置からなる。画像ＤＢ検索部２０７は、画像ＤＢ２０６内のデータを指定された条件で検索する。
【００１７】
次に、図１を参照して、カメラ１０１の構成と動作を説明する。
【００１８】
図１に示したのは、カメラ１０１の主要な構成を示したブロック図である。図１において、１０２は、被写体の光束を結像する撮像光学系であり、不図示のレンズや絞り等で構成される。１０３は入射した光束を光電変換し、電気信号として出力する撮像素子である。１０４は、撮像素子１０３で生成された電気信号を画像信号に変換する画像信号生成部である。画像信号は、輝度信号（Ｙ）、及び色信号（Ｒ、Ｇ、Ｂ）から成る。１０５は、後述する撮影シーン判別結果を受け、画像信号に対して判別された撮影シーンに対応するホワイトバランス補正、ガンマ処理、色相・彩度補正、エッジ強調などの補正処理を行う画像信号補正部である。１０６は、画像データを記録する記録部である。
【００１９】
１０７は、ユーザが撮影動作を制御するためのシャッタ釦である。１０８は、シャッタスイッチ（ＳＷ１）であり、シャッタ釦１０７の半押し状態でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理などの動作開始を指示する。１０９はシャッタスイッチ（ＳＷ２）であり、シャッタ釦１０７の全押し状態でＯＮとなり、画像信号の読み出しから画像を記録するまでの一連の撮影動作の開始を指示する。
【００２０】
１１０は、カメラ１０１の各構成要素の動作を制御するカメラ制御部である。１１１は、画像信号に基づいて撮影シーンを判別する撮影シーン判別部である。１１２は、撮影シーン判別部１１１での撮影シーン判別を制御する撮影シーン判別制御部である。１１３は、ユーザの操作を受け付ける操作部である。１１４は、ユーザにプレビュー画像などを表示する表示部である。１１５は、ＧＰＳ衛星からのＧＰＳ信号を受信するＧＰＳセンサである。１１６は、アクセスポイント２０２とネットワーク２０３を介して、画像サーバ２０４と通信する通信部である。１１７は、画像信号に基づいて、画像中の人物の顔を検出する顔検出部である。
【００２１】
次に、図１の撮像装置の処理動作について説明する。
【００２２】
撮像光学系１０２を通過した被写体像は撮像素子１０３上に結像される。撮像素子１０３は、入射された光束を電気信号に変換した後、画像信号生成部１０４に出力する。画像信号生成部１０４は、輝度信号（Ｙ）、及び色信号（Ｒ，Ｇ，Ｂ）を生成し、画像信号補正部１０５、及び、撮影シーン判別部１１１へ出力する。撮影シーン判別部１１１は、入力された画像信号に基づいて撮影シーンの判別を行い、判別結果をカメラ制御部１１０を介して、画像信号補正部１０５へ出力する。撮影シーン判別部１１１での撮影シーン判別処理の詳細は後述する。
【００２３】
画像信号補正部１０５は、撮影シーン判別部１１１での撮影シーン判別結果に基づき、入力された画像信号に対する補正を行い、表示部１１４、及び記録部１０６に出力する。表示部１１４は、入力された画像信号を、プレビュー画像としてユーザに提示する。
【００２４】
ユーザは、プレビュー画像を確認した後、シャッタ釦１０７を操作し、ＳＷ１（１０８）をＯＮにする。ＳＷ１（１０８）がＯＮにされると、カメラ制御部１１０がカメラ１０１の各部を制御し、ＡＦ処理、ＡＥ処理などを開始させる。次に、ユーザが、ＳＷ２（１０９）をＯＮにすると、カメラ制御部１１０が、カメラ１０１の各部を制御し、撮像素子１０３より画像信号を読み出してから記録部１０６へ記録するまでの一連の処理を実行する。
【００２５】
次に、本実施形態の特徴部分である撮影シーン判別処理に関る撮影システムの動作について図３のフローチャートを用いて説明する。以下のカメラ１０１による一連の処理は、カメラ制御部１１０の制御に従って、画像プレビュー中に実行されるものである。
【００２６】
まず、ステップＳ３０１では、カメラ制御部１１０が、カメラの状態（撮影条件）を表す情報であるカメラ情報（撮影情報）の取得を行う。本実施形態では、カメラ情報として撮影場所を表す位置情報、及び撮影時刻、時間帯を表す時間情報を用いる場合で説明する。カメラ情報を取得するために、カメラ制御部１１０は、ＧＰＳセンサ１１５に対して位置情報と時間情報の取得要求を送信する。ＧＰＳセンサ１１５は、取得要求を受信すると、ＧＰＳ衛星２０１からのＧＰＳ信号を受信し、現在の日時、及び位置の情報を算出して、カメラ制御部１１０へ出力する。
【００２７】
ステップＳ３０２では、カメラ制御部１１０が、通信部１１６を介して、位置情報と時間情報をカメラ情報として画像サーバ２０４へ送信し、加えてカメラ情報に対応する撮影シーン判別補助情報を要求する。
【００２８】
ステップＳ３０３では、画像サーバ２０４の画像ＤＢ検索部２０７が、受信したカメラ情報に対応する撮影シーン判別補助情報の検索を行う。ここで、撮影シーン判別補助情報とは、画像ＤＢ２０６に蓄積された情報に基づいて生成され、後述する撮影シーンの判別に際して補助的に用いられる情報を指す。
【００２９】
本実施形態では、画像ＤＢ２０６に蓄積された画像データのうち、カメラ１０１のカメラ情報と合致、又は所定の誤差範囲内の類似したカメラ情報を持つ画像データを検索する。そしてそれらの画像データの撮影された撮影シーンに対して評価を行った評価情報を撮影シーン判別補助情報として用いる。具体的には、撮影頻度の高い撮影シーン（第１の撮影シーン）を撮影頻度の低いシーン（第２の撮影シーン）よりも評価の高い撮影シーンと見なし、最も撮影頻度の高い撮影シーンの情報を撮影シーン判別補助情報として用いる。
【００３０】
図４を参照しながら、撮影シーン判別補助情報の検索について具体的に説明する。
【００３１】
図４は、画像ＤＢ２０６に蓄積されている画像データの概略を表した図である。図に示したように、参照画像ファイルのそれぞれに対して、対応するカメラ情報、撮影シーンのデータが関連付けられて記録されている。ここで、参照画像ファイルの撮影シーンのデータは、参照画像撮影時に参照画像の撮影者がカメラに設定した撮影モード情報あるいはカメラが判別したシーン情報を記録したものである。例えば、参照画像撮影時に夕焼け空モードが設定されていた場合、撮影シーンを夕焼け空と判断し、記録する。なお、画像ＤＢ２０６に記憶されるデータとしてはカメラ情報と対応付けが行えるデータを持つものであればよく、必ずしも画像データは必要としない。しかし、現在撮影しようとしている撮影条件で撮影された画像の見本となる画像データも記憶されていることで、ユーザが当該画像データを見本として自分でカメラ設定を行うなどということもできるようになる。
【００３２】
画像ＤＢ検索部２０７は、カメラ１０１よりカメラ情報と撮影シーン判別補助情報の検索要求を受信すると、画像ＤＢ２０６の中から、カメラ１０１より送信されたカメラ情報の規定する条件、あるいは類似した条件の下で撮影されている画像データを検索する。具体的には、カメラ１０１より送信された位置情報、時間情報と一致、又は、近い位置情報、時間情報を持つ画像データを検索し、抽出する。画像ＤＢ検索部２０７は、抽出した画像データを画像サーバ制御部２０５へ出力する。
【００３３】
画像サーバ制御部２０５は、抽出された画像データに基づいて、カメラ１０１へ送信する撮影シーン判別補助情報を決定する。具体的には、抽出された画像データについて撮影頻度の最も高い撮影シーンを判定し、その撮影シーンの情報をカメラ１０１へ送信する。例えば、緯度３５度３９分、経度１３９度４４分の撮影場所で１５：００に撮影されているというカメラ情報がカメラから送られているとすると、画像ＤＢ検索部２０７によって図４のような複数の画像データが抽出される。抽出された６件のデータのうち、夕焼け空シーンとして撮影された画像データが４件あり、最も撮影頻度が高い。この場合、画像サーバ制御部２０５は、最も撮影頻度が高い撮影シーンが夕焼け空シーンであることを表す情報を、撮影シーン判別補助情報として決定する。
【００３４】
ステップＳ３０４では、画像サーバ制御部２０５が、決定した撮影シーン判別補助情報を、カメラ１０１へ送信する。
【００３５】
ステップＳ３０５では、撮影シーン判別制御部１１２が、通信部１１６を介して画像サーバ２０４より受信した撮影シーン判別補助情報に基づき、撮影シーン判別処理に用いる撮影シーン判別閾値を算出し、撮影シーン判別部１１１へ出力する。ここでの撮影シーン判別閾値の算出方法については、後で詳しく説明する。
【００３６】
ステップＳ３０６では、撮影シーン判別部１１１が、撮影シーン判別制御部１１２より受信した撮影シーン判別閾値と、画像信号生成部１０４より受信した画像信号とに基づき、撮影シーンの判別処理を行う。ここでの撮影シーン判別処理の内容については、後で詳しく説明する。撮影シーン判別部１１１は、撮影シーン判別結果をカメラ制御部１１０へ送信する。
【００３７】
ステップＳ３０７では、カメラ制御部１１０が、受信した撮影シーン判別結果に基づき、撮影シーンに最適な画質となるようカメラ１０１の各部の動作を制御する。
例えば、撮影シーン判別結果が夕焼け空であれば、カメラ制御部１１０は、画像信号補正部１０５を制御して画像信号の赤色成分にゲインをかけ、撮像光学系１０２を制御して露出をややアンダーに設定し、夕焼け空の撮影に適するようカメラ１０１の各部を制御する。
【００３８】
同様に、撮影シーン判別結果が青空であれば、画像信号の青色成分に対してゲインをかけ、青空の色を強調するようカメラ１０１の各部を制御する。撮影シーン判別結果がポートレートであれば、人物の顔に対して適正な露出となるよう露出を設定し、人物の撮影に適するようカメラ１０１の各部を制御する。撮影シーン判別結果が夜景であれば、合焦位置を遠方、又は無限遠に設定し、露光時間を長くすることで、夜景の撮影に適するようカメラ１０１の各部を制御する。撮影シーン判別結果が風景であれば、画像信号に対して彩度方向にゲインをかけ、風景の撮影に適した設定となるようカメラ１０１の各部を制御する。以上が、撮影シーン判別処理に関る撮影システムの処理動作の概要である。
【００３９】
次に、図５を用いて、ステップＳ３０６における撮影シーン判別処理の内容について説明し、その後、図７を用いて、ステップＳ３０５における撮影シーン判別閾値の算出方法について説明する。撮影された画像が各シーンの条件を満たすかどうかを判定するために、画像データからシーンに応じた画像特徴量を算出し、それを判別閾値と比較して、シーン判別を行う。
【００４０】
図５に示したのは、撮影シーン判別部１１１が行う撮影シーン判別処理の流れを表すフローチャートである。
【００４１】
ステップＳ５０１では、撮影シーン判別部１１１が顔検出部１１７に対して顔検出処理を行うよう要求する。顔検出部１１７は、検出要求に応じて、画像中の人物の顔を検出する。具体的には、顔検出部１１７は、種々の顔パターンをテンプレートとして予め用意しておき、入力された画像データとの間でパターンマッチングを行うことにより、人物の顔を検出する。顔検出部１１７は、画像中に人物の顔が検出されたか否かを、検出された場合には顔の位置や大きさの情報を撮影シーン判別部１１１へ出力する。
【００４２】
ステップＳ５０２では、撮影シーン判別部１１１が、顔検出部１１７において顔が検出されており、かつ、そのサイズが所定の顔サイズ閾値より大きいか否かを判定する。条件が満たされる場合はステップＳ５０８へ進み、条件が満たされない場合はステップＳ５０３へ進む。
【００４３】
ステップＳ５０３では、撮影シーン判別部１１１が、画像をブロック（例えば、８×８ブロック）に分割し、ブロック毎の色差信号（Ｒ−Ｙ，Ｂ−Ｙ）の平均値を算出する。
【００４４】
次に、ステップＳ５０４では、撮影シーン判別部１１１が、各画像ブロックを、その画像信号に基づいて夕日色、青空色、夜景、その他のブロックの４種類に分類する。
【００４５】
以下、ブロックの分類方法を説明する。
【００４６】
夕日色ブロック、及び青空色ブロックは、その輝度信号、及び、色差信号が所定の範囲内の値であるか否かによって判定する。図６に色差平面上における、夕日色ブロックの定義域（ＳｕｎｓｅｔＡｒｅａ）、青空色ブロックの定義域（ＳｋｙＡｒｅａ）を示した。例えば、各画像ブロックのうち、輝度信号が所定の輝度閾値以上であり、かつ、色差信号が図６のＳｕｎｓｅｔＡｒｅａ（ＳｋｙＡｒｅａ）に含まれるブロックは、夕日色ブロック（青空色ブロック）に分類される。
【００４７】
また、夜景ブロックは、各画素の輝度信号に基づいて判定する。具体的には、各ブロックのうち、その平均輝度が所定の輝度閾値以下であり、かつ、高輝度画素が所定の閾値以上の数含まれるブロックは、夜景ブロックに分類される。
【００４８】
また、上記のどの条件も満たさないブロックは、その他のブロックに分類される。
【００４９】
撮影シーン判別部１１１は、各ブロックを上述のように分類した後、種類毎にブロックの存在割合を算出する。具体的には、全ブロックのうち夕日色ブロックに分類されたブロックの割合を夕日色ブロック割合として算出する。同様にして、撮影シーン判別部１１１は、青空色ブロック割合、夜景ブロック割合を算出する。
【００５０】
次に、撮影シーン判別部１１１は、算出したブロック割合に基づいて撮影シーンの判別を行う。
【００５１】
まず、ステップＳ５０５では、撮影シーン判別部１１１が、夕日色ブロック割合を所定の夕日色ブロック割合閾値と比較する。夕日色ブロック割合が夕日色ブロック割合閾値より高い場合にはステップＳ５０９へ進み、低い場合にはステップＳ５０６へ進む。
【００５２】
ステップＳ５０６では、撮影シーン判別部１１１が、青空色ブロック割合を所定の青空色ブロック割合閾値と比較する。青空色ブロック割合が青空色ブロック割合閾値より高い場合にはステップＳ５１０へ進み、低い場合にはステップＳ５０７へ進む。
【００５３】
ステップＳ５０７では、撮影シーン判別部１１１が、夜景ブロック割合を所定の夜景ブロック割合閾値と比較する。夜景ブロック割合が所定の夜景ブロック割合閾値より高い場合にはステップＳ５１１へ進み、低い場合にはステップＳ５１２へ進む。
【００５４】
ステップＳ５０８では、撮影シーン判別部１１１が、現在の撮影シーンをポートレートと判別する。
【００５５】
ステップＳ５０９では、撮影シーン判別部１１１が、現在の撮影シーンを夕焼け空と判別する。
【００５６】
ステップＳ５１０では、撮影シーン判別部１１１が、現在の撮影シーンを青空と判別する。
【００５７】
ステップＳ５１１では、撮影シーン判別部１１１が、現在の撮影シーンを夜景と判別する。
【００５８】
ステップＳ５１２では、撮影シーン判別部１１１が、現在の撮影シーンを風景と判別する。
【００５９】
ステップＳ５１３では、撮影シーン判別部１１１が、撮影シーンの判別結果をカメラ制御部１１０へ出力する。
【００６０】
以上が、図３のステップＳ３０６で行われる撮影シーン判別処理である。
【００６１】
次に、図３のステップＳ３０５での、撮影シーン判別制御部１１２が行う撮影シーン判別閾値の算出方法について説明する。撮影シーン判別制御部１１２は、画像サーバ２０４より受信した撮影シーン判別補助情報に基づいて、撮影シーン判別に用いる閾値の値を算出し、撮影シーン判別部１１１に出力する。本実施形態では、撮影シーン判別補助情報として受信した撮影頻度の高い撮影シーンについて、対応する撮影シーン判別閾値を通常より低い値に設定する場合で説明する。
【００６２】
以下、図７のフローチャートを用いて、撮影シーン判別制御部１１２が行う処理の流れを説明する。
【００６３】
ステップＳ７０１では、撮影シーン判別制御部１１２が、予め設定された各撮影シーンに対する判別閾値の基準値を、不図示のメモリより読み出す。
【００６４】
ステップＳ７０２では、撮影シーン判別制御部１１２が、画像サーバ２０４より受信した撮影シーン判別補助情報の撮影シーンがポートレートであるか否かを判定する。ポートレートである場合はステップＳ７０６へ進み、そうでない場合はステップＳ７０３へ進む。
【００６５】
ステップＳ７０３では、撮影シーン判別制御部１１２が、撮影シーン判別補助情報の撮影シーンが夕焼け空であるか否かを判定する。夕焼け空である場合はステップＳ７０７へ進み、そうでない場合はステップＳ７０４へ進む。
【００６６】
ステップＳ７０４では、撮影シーン判別制御部１１２が、撮影シーン判別補助情報の撮影シーンが青空であるか否かを判定する。青空である場合はステップＳ７０８へ進み、そうでない場合はステップＳ７０５へ進む。
【００６７】
ステップＳ７０５では、撮影シーン判別制御部１１２が、撮影シーン判別補助情報の撮影シーンが夜景であるか否かを判定する。夜景である場合はステップＳ７０９へ進み、そうでない場合はステップＳ７１０へ進む。
【００６８】
ステップＳ７０６では、撮影シーン判別制御部１１２が、顔サイズ閾値を、ステップＳ７０１で読み出した基準値より所定の量だけ低い値に決定する。
【００６９】
ステップＳ７０７では、撮影シーン判別制御部１１２が、夕日色ブロック割合閾値を、ステップＳ７０１で読み出した基準値より所定の量だけ低い値に決定する。
【００７０】
ステップＳ７０８では、撮影シーン判別制御部１１２が、青空色ブロック割合閾値を、ステップＳ７０１で読み出した基準値より所定の量だけ低い値に決定する。
【００７１】
ステップＳ７０９では、撮影シーン判別制御部１１２が、夜景ブロック割合閾値を、ステップＳ７０１で読み出した基準値より所定の量だけ低い値に決定する。
【００７２】
ステップＳ７１０では、撮影シーン判別制御部１１２が、決定した各撮影シーンの撮影シーン判別閾値を撮影シーン判別部１１１へ出力する。
【００７３】
したがって、撮影シーン判別補助情報の撮影シーンに対応する撮影シーン判別閾値は、基準値より所定の量だけ低い値が、それ以外の撮影シーン判別閾値は基準値が、撮影シーン判別部１１１へ出力されることとなる。
【００７４】
以上、説明したように、本発明では、画像信号に基づいて撮影シーンを判別する撮像装置において、外部データベースから撮影シーン判別に用いる補助情報を取得し、その補助情報に基づいて撮影シーン判別処理を制御した。具体的には、撮影場所、撮影時間帯が一致、または近い状況において撮影頻度の高い撮影シーンに対する撮影シーン判別閾値を低い値に設定した。これにより、撮影頻度の高い、すなわち評価の高い撮影シーンは、撮影シーン判別結果として選択されやすくなり、撮影シーンの判別精度をより向上させることが可能となる。
【００７５】
また、外部データベース中の参照画像の撮影シーンを、そのまま現在の撮影シーンとして使用する方法では、入力画像と合致する参照画像が存在しない場合に撮影シーンの判別が適切に行えないという問題があった。これに対し、本実施形態の方法では、外部から取得した情報を補助的に用いながら、入力画像信号の特徴を解析して撮影シーンを判別する。これにより、入力画像と合致する参照画像が存在しない場合でも、撮影シーンの判別を適切に行うことが可能となる。
【００７６】
なお、上記実施形態では、撮影シーンをポートレート、夕焼け空、青空、夜景、風景の５種類とする場合で説明したが、本発明は撮影シーンの内容をこれに限定するものではない。すなわち、画像信号の特徴に基づき、撮影シーンや被写体の種類を判別するものであれば、どのような撮影シーンに対する判別を行っても構わない。例えば、画像信号の彩度の高い領域の面積などを特徴量として、撮影シーンがあざやかなシーンであるか否かを判別するようにしても良い。この場合、上記実施形態の場合と同様にして、撮影頻度の高い撮影シーンがあざやかなシーンである場合に、あざやかなシーンに対する判別閾値を低く設定するようにする。このように、様々な撮影シーンに対して、ユーザの知覚や意図にあったシーン判別を行うことが可能となる。
【００７７】
また、上記実施形態では、各撮影シーンの判別方法として、人物の顔の有無、及び、画像をブロックに分割し、分類した結果とに基づいて判別する場合で説明したが、本発明は撮影シーンの判別方法をこれに限定するものではない。すなわち、画像信号の特徴に基づき、撮影シーンを判別する方法であれば、どのような方法を用いても構わない。例えば、夕焼け空を判別する際に、画素単位で画像信号の分布を判定し、夕焼け空色の領域が画像全体に占める割合を算出するようにしても良い。この場合、夕焼け空色の領域の割合に対する閾値を、シーン判別補助情報に基づいて制御すれば良い。このように判別条件を追加することにより、撮影シーンの判別精度をより向上させることが可能となる。
【００７８】
また、上記実施形態では、カメラ情報として時間情報、位置情報を用いる場合で説明したが、本発明はカメラ情報の内容をこれに限定するものではない。すなわち、撮影時のカメラの状態（撮影条件）を表す情報であれば、どのようなものを用いても構わない。例えば、カメラの機種情報、撮影時の日付を表す日付情報、撮影方向を表す方位情報、撮影範囲を表す画角情報、撮影季節を表す季節情報、撮影場所の天候を表す天候情報などをカメラ情報に含めるようにしても良い。これにより、撮影シーン判別補助情報の抽出の精度を向上させることが可能となる。
【００７９】
また、上記実施形態では、撮影シーン判別処理、及び撮影シーン判別閾値の設定を画像プレビュー中に繰り返し行う場合で説明したが、本発明は、撮影シーン判別処理、及び撮影シーン判別閾値の設定を行うタイミングをこれに限定するものではない。例えば、ユーザがシャッタ釦１０７を操作し、ＳＷ１（１０８）をＯＮにしたことを検知したタイミングで、撮影シーン判別処理、及び撮影シーン判別閾値の設定を開始するようにしても良い。これにより、撮影シーンの判別処理に関る撮像装置の処理負荷を低減することが可能となる。
【００８０】
また、上記実施形態では、撮影頻度の最も高い撮影シーンを、撮影シーン判別補助情報として用いる場合で説明したが、本発明は、撮影シーン判別補助情報の内容をこれに限定するものではない。例えば、撮影頻度の高いものから順に３種類の撮影シーンを抽出し、その情報を撮影シーン判別情報として用いるようにしても良い。この場合、抽出した３種類の撮影シーンに対応する撮影シーン判別閾値を通常より低い値に設定すれば良い。
【００８１】
また、上記実施形態では、撮影シーンに対する評価値として撮影頻度を用いる場合で説明したが、本発明は、撮影シーンの評価方法をこれに限定するものではない。例えば、画像撮影後に、撮影者が撮影シーン判別の結果が適切であったか否かを判断し、その結果を画像サーバ上で記録するようにしても良い。この場合、撮影者により適切であると判断された回数の最も多い撮影シーンを、評価の高い撮影シーンとみなし、撮影シーン判別補助情報として用いる。これにより、撮影者の意図や知覚をより適切に撮影シーン判別の制御に反映させることが可能となる。
【００８２】
また、上記実施形態では、撮影頻度の最も高い撮影シーンの判定処理を、画像サーバ上で行う場合で説明したが、本発明は、撮影シーン判別補助情報の生成方法をこれに限定するものではない。例えば、カメラ情報に対応した画像データの検索までを画像サーバ上で行い、抽出された画像データをカメラへ送信し、カメラ１０１のカメラ制御部１１０において撮影頻度の高い撮影シーンを判断するようにしても良い。これにより、画像サーバの処理負荷を低減することが可能となる。
【００８３】
また、上記実施形態では、撮影シーン判別結果に応じて、画像信号に対する補正処理を制御する場合で説明したが、本発明は、撮影シーン判別結果の出力方法をこれに限定するものではない。例えば、撮影シーン判別結果を表示部においてユーザに提示するようにしても良い。また、画像信号に対する補正処理の制御に、撮影シーン判別補助情報も用いるようにしても良い。具体的には、撮影シーン判別補助情報に応じて、画像信号に対する補正量を制御する。例えば、撮影シーン判別結果が、撮影シーン判別補助情報の撮影シーンと一致しない場合には、撮影シーンの誤判別の可能性がある。撮影シーンを誤判別している場合に、撮影シーン判別結果に従って画像信号を補正すると、撮影画像の画質を悪化させてしまう。これを防ぐために、撮影シーン判別結果が、撮影シーン判別補助情報の撮影シーンと一致しなかった場合は、一致した場合に比べて、画像信号に対する補正量を小さい値に設定するよう制御しても良い。これにより、撮影シーンの誤判別の可能性がある場合には撮影画像の画質が著しく悪化することを防ぐと共に、誤判別の可能性が低い場合には撮影シーンに最適な補正処理を行うことが可能となる。
【００８４】
また、上記実施形態では、撮影シーン判別処理の制御として、撮影頻度の高い撮影シーンの撮影シーン判別閾値を低く設定する場合で説明したが、本発明は撮影シーン判別処理の制御内容をこれに限定するものではない。例えば、撮影頻度の低い撮影シーンの撮影シーン判別閾値を基準値より高く設定するようにしてもよい。すなわち、撮影頻度の低い撮影シーンは、現在の撮影環境に適していない可能性があるので、撮影シーン判別結果として選択され難くする。これにより、撮影シーン判別結果が、撮影環境に対して適さない撮影シーンとなることを抑えることが可能となる。
【００８５】
また、撮影シーン間の優先順位を制御するようにしても良い。具体的には、撮影シーン間の優先度を予め設定しておき、１つでなく複数の撮影シーン判別条件が満たされた場合には、撮影シーン判別条件が満たされた撮影シーンの中で、最も優先度の高い撮影シーンを現在の撮影シーンとして選択する。この時、撮影シーン判別補助情報として受信した撮影シーンに対しては、その優先度を予め設定された優先度より高く設定するようにする。これにより、評価の高い撮影シーンが選択されやすくなり、ユーザの意図に合った撮影シーン判別を行うことが可能となる。
【００８６】
また、プレビュー中に順次、入力されるフレーム画像のそれぞれに対して撮影シーン判別処理を行い、それらの複数のフレーム画像に対する撮影シーン判別結果を総合して現在の撮影シーンを決定することとし、その場合の判別条件を制御するようにしても良い。例えば、所定のフレーム数に対して同一の撮影シーン判別結果が連続した場合にのみ現在の撮影シーンを特定するものとし、上述のフレーム数に対する条件を制御するようにしても良い。すなわち、撮影シーン判別補助情報として受信した撮影シーンを特定する際には、フレーム数に対する閾値を通常より低く設定するようにしても良い。これにより、評価の高い撮影シーンが選択されやすくなり、ユーザの意図に合った撮影シーン判別を行うことが可能となる。
【００８７】
［第２の実施形態］
第１の実施形態では、評価の高い撮影シーンの情報を、撮影シーン判別補助情報として外部の画像サーバから取得する場合について説明した。
【００８８】
以下、本発明の第２の実施形態として、カメラ設定パラメータ（撮像制御パラメータ）から撮影シーン判別補助情報を生成する場合について説明する。
【００８９】
本実施形態の撮影システム、及び撮像装置の構成はそれぞれ図２、図１に示した第１の実施形態の場合と同様であるため、ここでは詳しい説明は省略する。
【００９０】
次に、第２の実施形態に関る撮像装置の処理動作について説明する。図８に、本実施形態における撮影シーン判別処理に関る処理動作の流れを示すフローチャートを示した。図３に示した第１の実施形態の場合と比べて、ステップＳ８０５での高評価撮影シーンの判別処理が追加されている。
【００９１】
ステップＳ８０１、Ｓ８０２における一連の処理は、図３のステップＳ３０１、Ｓ３０２に示した第１の実施形態の場合と同様であるため、ここでは説明は省略する。
【００９２】
ステップＳ８０３では、ステップＳ３０３と同様にして、画像サーバ２０４の画像ＤＢ検索部２０７が、受信したカメラ情報に対応する撮影シーン判別補助情報の検索を行う。
【００９３】
図９（ａ）に、画像ＤＢ２０６に記録されている画像データの形式の例を示した。図４に示した第１の実施形態の場合では、カメラ情報と撮影シーンの情報が対応付けられていたが、図９（ａ）に示した本実施形態の場合では、カメラ情報とカメラ設定パラメータとが対応付けられている。ここでのカメラ設定パラメータとは、参照画像を撮像した時点でカメラに設定されていたパラメータを指す。
【００９４】
画像ＤＢ検索部２０７は、カメラ１０１よりカメラ情報と、撮影シーン判別補助情報の検索要求を受信すると、画像ＤＢ２０６の中から、カメラ１０１より受信したカメラ情報に対応する画像データを検索する。具体的には、カメラ１０１より受信した位置情報、時間情報と一致、又は、近い位置情報、時間情報を持つ画像データを検索し、抽出する。画像ＤＢ検索部２０７は、抽出した画像データを画像サーバ制御部２０５へ出力する。
【００９５】
画像サーバ制御部２０５は、抽出された画像データに基づいて、カメラ１０１へ送信する撮影シーン判別補助情報を決定する。具体的には、抽出された画像データについて、使用頻度の高いカメラ設定パラメータを判定し、そのカメラ設定パラメータの評価情報をカメラ１０１へ送信する。すなわち、使用頻度の高いカメラ設定パラメータ（第１の撮像制御パラメータ）には、使用頻度の低いカメラ設定パラメータ（第２の撮像制御パラメータ）に比べて高い評価を与えて、カメラ設定パラメータの評価情報とする。例えば、図９（ａ）が、あるカメラ情報に基づいて抽出された画像データであるとすると、抽出された６件のデータのうち、ホワイトバランスの設定は太陽光モードで撮影された画像データが３件であり、最も使用頻度が高く、評価が高い。同様に、合焦位置については、遠方に設定された画像データが４件であり、最も使用頻度が高く評価高い。又は、使用頻度の高いカメラ設定パラメータの範囲を判定しても良い。例えば、露出時間については、１／２５０〜１／５００の範囲が使用頻度が高く評価の高い範囲となっている。絞り値については、７．１〜８．０の範囲が使用頻度が高く評価の高い範囲となっている。このようにして抽出したカメラ設定パラメータの例を図９（ｂ）に示した。
【００９６】
ステップＳ８０４では、画像サーバ制御部２０５が、決定した撮影シーン判別補助情報を、カメラ１０１へ送信する。
【００９７】
ステップＳ８０５では、撮影シーン判別制御部１１２が、撮影シーン判別補助情報として受信したカメラ設定パラメータに基づいて、評価の高い撮影シーンの推定を行う。このため、撮影シーン判別制御部１１２は、各撮影シーンについて、その撮影シーンに適したカメラ設定パラメータをカメラ制御部１１０より読み出す。読み出したカメラ設定パラメータの例を図９（ｃ）に示した。次に、各撮影シーンの中から、図９（ｂ）に示した使用頻度の高いカメラ設定パラメータと合致、又は近い値のカメラ設定パラメータを持つ撮影シーンを抽出する。例えば、図９（ｃ）の場合であれば、夕焼け空、青空の２つの撮影シーンが、使用頻度の高いカメラ設定パラメータと合致している。このことから、撮影頻度が高い撮影シーンは、夕焼け空、又は青空であると判断することができる。
【００９８】
撮影シーン判別制御部１１２は、上述のように撮影頻度の高い撮影シーンを推定した後、その結果に基づいて、撮影シーン判別処理に用いる撮影シーン判別閾値を算出する。ここでの撮影シーン判別閾値の算出、及び、この後のステップＳ８０６〜Ｓ８０８における処理内容は、図３のステップＳ３０５〜Ｓ３０７に示した第１の実施形態の場合と同様であるため、ここではその詳細な説明は省略する。
【００９９】
以上、説明したように、本発明では、画像信号に基づいて撮影シーンを判別する撮像装置において、外部データベースから撮影シーン判別に用いる補助情報を取得し、その補助情報に基づいて撮影シーン判別処理を制御した。特に本実施形態では、撮影シーン判別補助情報として、使用頻度の高いカメラ設定パラメータの情報を受信し、その情報に基づいて評価の高い撮影シーンを推定し、撮影シーン判別の制御に用いるようにした。これにより、外部データベースに蓄積された情報に、撮影シーン（撮影モード）の情報が含まれない場合でも、精度の良い撮影シーン判別を行うことが可能となる。
【０１００】
［第３の実施形態］
第１、第２の実施形態では、画像プレビュー中に、撮影シーン判別処理の制御を繰り返し行う場合について説明した。以下、本発明の第３の実施形態として、外部の画像サーバへの撮影シーン判別補助情報の問い合わせを行うか否かを判断する場合について説明する。
【０１０１】
本実施形態の撮影システム、及び撮像装置の構成はそれぞれ図２、図１に示した第１の実施形態の場合と同様であるため、ここでは説明は省略する。
【０１０２】
次に、第３の実施形態に関る撮像装置の処理動作について説明する。
【０１０３】
図１０に、本実施形態における撮影シーン判別処理に関る処理動作の流れを示すフローチャートを示した。これら一連の動作はカメラ制御部１１０の制御に従って、画像プレビュー中に繰り返し実行される。
【０１０４】
まず、ステップＳ１００１では、撮影シーン判別制御部１１２が、予め設定された各撮影シーンに対する判別閾値の基準値を、不図示のメモリより読み出し、撮影シーン判別部１１１へ出力する。
【０１０５】
ステップＳ１００２では、撮影シーン判別部１１１が、入力された撮影シーン判別閾値を用いて、撮影シーン判別処理を行う。ここでの判別処理の内容は、図５で説明した第１の実施形態の場合と同様であるため、ここではその詳細な説明は省略する。
【０１０６】
ステップＳ１００３では、撮影シーン判別部１１１が、撮影シーン判別の信頼度を表す撮影シーン判別信頼度を算出し、カメラ制御部１１０へ出力する。撮影シーン判別信頼度の算出方法は後述する。
【０１０７】
ステップＳ１００４では、カメラ制御部１１０が、算出された撮影シーン判別信頼度と予め設定された撮影シーン判別信頼度閾値とを比較する。撮影シーン判別信頼度が閾値より高い場合はステップＳ１００５へ進み、低い場合はステップＳ１００６へ進む。
【０１０８】
ステップＳ１００５では、図３のステップＳ３０７と同様にして、カメラ制御部１１０が撮影シーン判別結果に応じた画像信号に対する補正処理を実行するようカメラ１０１の各部へ指示する。
【０１０９】
ステップＳ１００６〜Ｓ１０１０では、カメラ１０１が、画像サーバより撮影シーン判別補助情報を取得し、撮影シーン判別の制御を実行する。ここでの一連の処理動作は、図３のステップＳ３０１〜Ｓ３０５における一連の処理動作と同様であるため、ここではその詳細な説明は省略する。
【０１１０】
この後、ステップＳ１００２へ戻り、それ以降の一連の処理動作を繰り返し実行する。したがって、２回目以降の撮影シーン判別処理においては、撮影シーン判別補助情報に基づいて決定された撮影シーン判別閾値が用いられる。
【０１１１】
次に、撮影シーン判別部１１１による撮影シーン判別に対する信頼度の算出方法について説明する。本実施形態では、画像の特徴量と撮影シーン判別閾値との比較に基づいて撮影シーン判別信頼度を算出する。例えば、撮影シーン判別結果が夕焼け空である場合に、夕日色ブロックが画像全体を占めているならば、撮影シーン判別への信頼度は高いと考えられる。他の撮影シーンについても同様に考え、信頼度を以下の式で定義する。
信頼度（夕焼け空） ＝ 夕日色ブロック割合 ― 夕日色ブロック割合閾値
信頼度（青空）＝ 青空色ブロック割合 ― 青空色ブロック割合閾値
信頼度（夜景）＝ 夜景ブロック割合 ― 夜景ブロック割合閾値
信頼度（ポートレート）＝ 主顔サイズ ― 顔サイズ閾値
撮影シーン判別部１１１は、上述の式を用いて、ステップＳ１００２で選択された撮影シーンに対する信頼度を算出し、カメラ制御部１１０へ出力する。
【０１１２】
以上、説明したように、本発明では、画像信号に基づいて撮影シーンを判別する撮像装置において、外部データベースから撮影シーン判別に用いる補助情報を取得し、その補助情報に基づいて撮影シーン判別処理を制御した。加えて本実施形態では、撮影シーン判別の信頼度を算出し、信頼度が所定の閾値より低い場合にのみ、外部サーバとの通信や撮影シーン判別処理の制御を実行するようにした。これにより、外部サーバや撮像装置の処理負荷を低減することが可能となる。
【０１１３】
なお、本実施形態では、撮影シーン判別に対する信頼度の算出方法を、ブロック割合に基づいて行う場合で説明したが、本発明は信頼度の算出方法をこれに限定するものではない。すなわち、画像の特徴に応じて行う撮影シーン判別処理の信頼度を評価するものであればどのようなものを用いても構わない。例えば、ある撮影シーンを判別する際に、複数個の判別条件を用いている場合には、条件が満たされた判別条件の個数に応じて信頼度を算出するようにしても良い。この場合、条件が満たされる判別条件の数が多いほど、信頼度を高く算出する。
【０１１４】
又は、複数種類の被写体や複数種類の撮影シーンの特徴が検出された場合に、撮影シーン判別信頼度を低く算出するようにしてもよい。例えば、撮影シーン判別結果が夕焼け空である場合に、同時に青空色ブロックも存在する場合や、顔サイズ閾値より小さい人物の顔が検出された場合には、撮影シーン判別結果を夕焼け空と判別したことへの信頼度は低いと考えられる。したがって、上述の条件が満たされる場合に、信頼度を低く算出するようにしても良い。これにより、撮影シーン判別に対する信頼度の算出をより精度良く行うことが可能となる。
【０１１５】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【０１１６】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【０１１７】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【０１１８】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【０１１９】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【０１２０】
１０１ カメラ
１０２ 撮像光学系
１０３ 撮像素子
１０４ 画像信号生成部
１０５ 画像信号補正部
１１０ カメラ制御部
１１１ 撮影シーン判別部
１１２ 撮影シーン判別制御部
１１５ ＧＰＳセンサ撮影情報
１１６ 通信部
【特許請求の範囲】
【請求項１】
被写体像を撮像し、画像データを出力する撮像手段と、前記画像データに基づいて前記撮像手段から出力される画像データの撮影シーンを判別する判別処理を行う判別手段と、を備えた撮像装置であって、
前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得手段と、
前記撮影情報を外部装置に送信し、前記撮影情報に対応する前記画像データの撮影シーンの判別を補助する補助情報を、前記外部装置から受信する通信手段と、を備え、
前記判別手段は、前記通信手段により受信した前記補助情報に基づいて、前記判別処理を行うことを特徴とする撮像装置。
【請求項２】
前記撮影情報は、前記画像データの撮影場所を表す位置情報を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮影情報は、前記撮像装置による画像データの撮影方向を表す方位情報、撮影された日付を表す日付情報、撮影された時間を表す時間情報、撮影範囲を表す画角情報のうち少なくとも１つを含むことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記補助情報は、前記撮影情報に対応する撮影シーンの評価情報を含むことを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
【請求項５】
前記撮影シーンの評価情報とは、前記外部装置に記憶されている前記撮影情報に対応する複数のデータに基づいて、前記撮影情報の規定する条件の下で撮影されている頻度が高い第１の撮影シーンに、前記第１の撮影シーンより撮影されている頻度の低い第２の撮影シーンよりも高い評価が与えられているような情報であることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記補助情報は、前記撮影情報に対応する前記撮像手段の撮像制御パラメータの評価情報を含むことを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
【請求項７】
前記撮像制御パラメータの評価情報とは、前記撮影情報の規定する条件の下で撮影されている頻度が高い第１の撮像制御パラメータに、前記第１の撮像制御パラメータより撮影されている頻度の低い第２の撮像制御パラメータよりも高い評価が与えられるような情報であることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記判別手段は、前記撮影シーンの評価情報で評価の高い撮影シーンが選択されやすくなるよう前記判別処理の判別条件を補正することを特徴とする請求項４または５に記載の撮像装置。
【請求項９】
前記判別手段は、前記画像データから画像特徴量を算出し、当該画像特徴量と所定の判別閾値とを比較して前記画像データの撮影シーンを判別する際に、前記補助情報で評価の高い撮影シーンが選択されやすくなるように、当該評価の高い撮影シーンに対応する判別閾値あるいは画像特徴量を補正することを特徴とする請求項１乃至８のいずれか１つに記載の撮像装置。
【請求項１０】
前記判別手段は、予め設定された撮影シーンの優先度に基づき撮影シーンを判別し、
前記制御手段は、前記補助情報で評価の高い撮影シーンが選択されやすくなるように、当該評価の高い撮影シーンに対応する撮影シーンの優先度を上げることを特徴とする請求項１乃至８のいずれか１つに記載の撮像装置。
【請求項１１】
前記判別手段は、前記判別処理での判別結果に対する信頼度を算出し、
前記通信手段は、前記信頼度が所定の信頼度閾値より低い場合に、前記外部装置と通信を行い、前記補助情報を取得することを特徴とする請求項１乃至１０のいずれか１つに記載の撮像装置。
【請求項１２】
前記判別手段の判別結果に応じて前記画像データを補正する補正手段を備え、
前記補正手段による前記画像データへの補正量は、前記補助情報に基づいて決定されることを特徴とする請求項１乃至７のいずれか１つに記載の撮像装置。
【請求項１３】
撮像装置と情報処理装置からなる撮像システムであって、
被写体を撮像し、画像データを取得する撮像手段と、
前記画像データに基づいて、前記画像データの撮影シーンを判別する判別処理を行う判別手段と、
前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得手段と、
前記撮像装置と前記情報処理装置との間の通信を行う通信手段と、
前記撮影情報と対応付けが可能な複数のデータを記憶する記憶手段と、
前記記憶手段に記憶された前記複数のデータと前記撮影情報とに基づいて、前記撮影情報に対応する撮影シーンの判別を補助する補助情報を生成する生成手段と、を備え、
前記判別手段は、前記生成手段により生成された前記補助情報に基づいて、前記判別処理を行うことを特徴とする撮像システム。
【請求項１４】
前記複数のデータはそれぞれが、撮影場所を表す位置情報、及び撮影時刻を表す時間情報と撮影シーンが関連付けられて記憶されているデータであることを特徴とする請求項１２に記載の撮像システム。
【請求項１５】
前記複数のデータはそれぞれが、画像データ、当該画像データが撮影された場所を表す位置情報、撮影時刻を表す時間情報、及び当該画像データの撮影時に判定された撮影シーンが関連付けられて記憶されているデータであることを特徴とする請求項１２に記載の撮像システム。
【請求項１６】
被写体像を撮像し、画像データを出力する撮像手段と、前記画像データに基づいて前記撮像手段から出力される画像データの撮影シーンを判別する判別処理を行う判別手段と、を備えた撮像装置の制御方法であって、
前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得ステップと、
前記撮影情報を外部装置に送信し、前記撮影情報に対応する前記画像データの撮影シーンの判別を補助する補助情報を、前記外部装置から受信する通信ステップと、を備え、
前記判別手段は、前記通信ステップにて受信した前記補助情報に基づいて、前記判別処理を行うことを特徴とする撮像装置の制御方法。
【請求項１７】
請求項１６に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１８】
請求項１６に記載の撮像装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項１】
被写体像を撮像し、画像データを出力する撮像手段と、前記画像データに基づいて前記撮像手段から出力される画像データの撮影シーンを判別する判別処理を行う判別手段と、を備えた撮像装置であって、
前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得手段と、
前記撮影情報を外部装置に送信し、前記撮影情報に対応する前記画像データの撮影シーンの判別を補助する補助情報を、前記外部装置から受信する通信手段と、を備え、
前記判別手段は、前記通信手段により受信した前記補助情報に基づいて、前記判別処理を行うことを特徴とする撮像装置。
【請求項２】
前記撮影情報は、前記画像データの撮影場所を表す位置情報を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮影情報は、前記撮像装置による画像データの撮影方向を表す方位情報、撮影された日付を表す日付情報、撮影された時間を表す時間情報、撮影範囲を表す画角情報のうち少なくとも１つを含むことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記補助情報は、前記撮影情報に対応する撮影シーンの評価情報を含むことを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
【請求項５】
前記撮影シーンの評価情報とは、前記外部装置に記憶されている前記撮影情報に対応する複数のデータに基づいて、前記撮影情報の規定する条件の下で撮影されている頻度が高い第１の撮影シーンに、前記第１の撮影シーンより撮影されている頻度の低い第２の撮影シーンよりも高い評価が与えられているような情報であることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記補助情報は、前記撮影情報に対応する前記撮像手段の撮像制御パラメータの評価情報を含むことを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
【請求項７】
前記撮像制御パラメータの評価情報とは、前記撮影情報の規定する条件の下で撮影されている頻度が高い第１の撮像制御パラメータに、前記第１の撮像制御パラメータより撮影されている頻度の低い第２の撮像制御パラメータよりも高い評価が与えられるような情報であることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記判別手段は、前記撮影シーンの評価情報で評価の高い撮影シーンが選択されやすくなるよう前記判別処理の判別条件を補正することを特徴とする請求項４または５に記載の撮像装置。
【請求項９】
前記判別手段は、前記画像データから画像特徴量を算出し、当該画像特徴量と所定の判別閾値とを比較して前記画像データの撮影シーンを判別する際に、前記補助情報で評価の高い撮影シーンが選択されやすくなるように、当該評価の高い撮影シーンに対応する判別閾値あるいは画像特徴量を補正することを特徴とする請求項１乃至８のいずれか１つに記載の撮像装置。
【請求項１０】
前記判別手段は、予め設定された撮影シーンの優先度に基づき撮影シーンを判別し、
前記制御手段は、前記補助情報で評価の高い撮影シーンが選択されやすくなるように、当該評価の高い撮影シーンに対応する撮影シーンの優先度を上げることを特徴とする請求項１乃至８のいずれか１つに記載の撮像装置。
【請求項１１】
前記判別手段は、前記判別処理での判別結果に対する信頼度を算出し、
前記通信手段は、前記信頼度が所定の信頼度閾値より低い場合に、前記外部装置と通信を行い、前記補助情報を取得することを特徴とする請求項１乃至１０のいずれか１つに記載の撮像装置。
【請求項１２】
前記判別手段の判別結果に応じて前記画像データを補正する補正手段を備え、
前記補正手段による前記画像データへの補正量は、前記補助情報に基づいて決定されることを特徴とする請求項１乃至７のいずれか１つに記載の撮像装置。
【請求項１３】
撮像装置と情報処理装置からなる撮像システムであって、
被写体を撮像し、画像データを取得する撮像手段と、
前記画像データに基づいて、前記画像データの撮影シーンを判別する判別処理を行う判別手段と、
前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得手段と、
前記撮像装置と前記情報処理装置との間の通信を行う通信手段と、
前記撮影情報と対応付けが可能な複数のデータを記憶する記憶手段と、
前記記憶手段に記憶された前記複数のデータと前記撮影情報とに基づいて、前記撮影情報に対応する撮影シーンの判別を補助する補助情報を生成する生成手段と、を備え、
前記判別手段は、前記生成手段により生成された前記補助情報に基づいて、前記判別処理を行うことを特徴とする撮像システム。
【請求項１４】
前記複数のデータはそれぞれが、撮影場所を表す位置情報、及び撮影時刻を表す時間情報と撮影シーンが関連付けられて記憶されているデータであることを特徴とする請求項１２に記載の撮像システム。
【請求項１５】
前記複数のデータはそれぞれが、画像データ、当該画像データが撮影された場所を表す位置情報、撮影時刻を表す時間情報、及び当該画像データの撮影時に判定された撮影シーンが関連付けられて記憶されているデータであることを特徴とする請求項１２に記載の撮像システム。
【請求項１６】
被写体像を撮像し、画像データを出力する撮像手段と、前記画像データに基づいて前記撮像手段から出力される画像データの撮影シーンを判別する判別処理を行う判別手段と、を備えた撮像装置の制御方法であって、
前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得ステップと、
前記撮影情報を外部装置に送信し、前記撮影情報に対応する前記画像データの撮影シーンの判別を補助する補助情報を、前記外部装置から受信する通信ステップと、を備え、
前記判別手段は、前記通信ステップにて受信した前記補助情報に基づいて、前記判別処理を行うことを特徴とする撮像装置の制御方法。
【請求項１７】
請求項１６に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１８】
請求項１６に記載の撮像装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１００１７３（Ｐ２０１２−１００１７３Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４７８５９（Ｐ２０１０−２４７８５９）
【出願日】平成２２年１１月４日（２０１０．１１．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１１月４日（２０１０．１１．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]