撮影装置、撮影画像処理方法、およびプログラム
【課題】撮影対象のシーンをより細かく特定することを可能にした撮影装置を提供する。
【解決手段】画像データに基づいてシーンを検出する画像検出手段と、匂いデータに基づいてシーンを検出する匂い検出手段と、画像検出手段で検出されたシーンと匂い検出手段で検出されたシーンとに基づいてシーンを特定するシーン検出手段と、を有する。
【解決手段】画像データに基づいてシーンを検出する画像検出手段と、匂いデータに基づいてシーンを検出する匂い検出手段と、画像検出手段で検出されたシーンと匂い検出手段で検出されたシーンとに基づいてシーンを特定するシーン検出手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、撮影画像処理方法、およびコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラおよびデジタルビデオカメラ等の撮影装置には、画像処理情報から撮影シーンを判定し、判定した撮影シーンに最適な露出値を算出する機能を有しているものがある（特許文献１参照）。特許文献１に開示されたカメラは、主被写体が画面上に占める主被写体領域と背景が画面上に占める背景領域との占有比率にしたがって、判別対象の撮影シーンが接写シーン、ポートレートシーンおよび風景シーンのうち、いずれの撮影シーンに該当するかを判別している。
【０００３】
なお、撮影した画像データと共に、検知した匂いに関する情報を記録可能にしたカメラが特許文献２に開示されている。また、匂いを検知する匂いセンサの一例が非特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−７５３５１号公報
【特許文献２】特開２０１０−８７９４０号公報
【非特許文献】
【０００５】
【非特許文献１】瀬山倫子，外１名，「プラズマ有機薄膜を用いたニオイセンサ」，ＮＴＴ技術ジャーナル，日本電信電話株式会社，２００３年１２月１日，２００３ ｖｏｌ．１５ Ｎｏ．１２，ｐ．４７−５０
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されたカメラでは、撮影シーンの判別が正しく行われたとしても、撮影シーンが大まかにしか分類されていないため、より細かく撮影条件を設定することができないという問題があった。
【０００７】
本発明は上述したような技術が有する問題点を解決するためになされたものであり、撮影対象のシーンをより細かく特定することを可能にした撮影装置、撮影画像処理方法、およびコンピュータに実行させるためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための本発明の撮影装置は、
画像データに基づいてシーンを検出する画像検出手段と、
匂いデータに基づいてシーンを検出する匂い検出手段と、
前記画像検出手段で検出されたシーンと前記匂い検出手段で検出されたシーンとに基づいてシーンを特定するシーン検出手段と、
を有する構成である。
【０００９】
また、本発明の撮影画像処理方法は、
画像データに基づいてシーンを検出し、
匂いデータに基づいてシーンを検出し、
前記画像データで検出されたシーンと前記匂いデータで検出されたシーンとに基づいてシーンを特定するものである。
【００１０】
さらに、本発明のプログラムは、コンピュータに実行させるためのプログラムであって、
画像データに基づいてシーンを検出し、
匂いデータに基づいてシーンを検出し、
前記画像データで検出されたシーンと前記匂いデータで検出されたシーンとに基づいてシーンを特定する処理を前記コンピュータに実行させるものである。
【発明の効果】
【００１１】
本発明によれば、シーンがより細かく特定されるので、シーンに特化した効果を画像に対してかけることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態の撮影装置の一構成例を示すブロック図である。
【図２】図１に示した撮影装置の動作を説明するためのフローチャートである。
【図３】本実施形態のデジタルカメラの一構成例を示すブロック図である。
【図４】本実施形態のデジタルカメラの動作の一例を示すシーケンス図である。
【図５】画像データに基づくシーン検出条件の例を示す表である。
【図６】画像信号処理部が実行するシーン検出動作の手順を示すフローチャートである。
【図７】匂いデータに基づくシーン検出の例を示す図である。
【図８】シーン判定画像データとシーン判定匂いデータを組み合わせることで特定されるシーンの例を示す表である。
【図９】特定されたシーンに対応する、画像処理の設定情報の例を示す表である。
【発明を実施するための形態】
【００１３】
本発明の一実施形態の撮影装置の構成を説明する。図１は本発明の一実施形態の撮影装置の一構成例を示すブロック図である。
【００１４】
図１に示すように、撮影装置１１は、画像データに基づいてシーンを検出する画像検出手段１２と、検出される匂いに関する情報である匂いデータに基づいてシーンを検出する匂い検出手段１３と、画像検出手段１２で検出されたシーンと匂い検出手段１３で検出されたシーンとに基づいてシーンを特定するシーン検出手段１４と、を有する。
【００１５】
図１に示した撮影装置１１が実行する撮影画像処理方法を説明する。図２は図１に示した撮影装置の動作を説明するためのフローチャートである。
【００１６】
図２に示すように、画像検出手段１２が画像データに基づいてシーンを検出し（ステップ１０１）、匂い検出手段１３が匂いデータに基づいてシーンを検出する（ステップ１０２）。さらに、シーン検出手段１４が画像データで検出されたシーンと匂いデータで検出されたシーンとに基づいてシーンを特定する（ステップ１０３）。
【００１７】
なお、本発明の撮影装置を、スマートフォンを含むカメラ付き携帯電話のカメラに適用することも可能である。また、本発明の撮影装置の機能を、例えば、ゲーム機、タブレットＰＣ（Personal Computer）、ノートＰＣ、ＤＶＤ（Digital Versatile Disk）レコーダおよびブルーレイディスク（登録商標）レコーダなどの情報処理装置に設けてもよい。以下では、本発明の撮影装置の機能を備えたデジタルカメラの場合についての実施形態を説明する。
【００１８】
本実施形態のデジタルカメラの構成を説明する。図３は本実施形態のデジタルカメラの一構成例を示すブロック図である。
【００１９】
図３に示すように、本実施形態のデジタルカメラは、レンズ１および撮像素子２を含むモジュール２１と、撮像素子２から受信する信号を処理する画像信号処理部３と、撮像素子２で取り込まれた画像を表示する表示デバイス５と、画像データを保存する記憶部６と、録音用のマイク７と、匂いを検出する匂いセンサ８と、各部を構成するＭＰＵ（Micro Processing Unit）４とを有する。
【００２０】
太陽光などの光が被写体で反射した光がレンズ１を介して撮像素子２の受光部（不図示）に入力される。モジュール２１には、位置制御に関する制御信号を画像信号処理部３から受信すると、レンズ１を光軸方向に移動させる駆動機構（不図示）が設けられ、駆動機構は撮像素子２の受光部で被写体の像のピントが合うようにレンズ１の位置を調節する。撮像素子２は、レンズ１を介して受光部に入力される光を電気信号に変換して画像信号処理部３に送信する。表示デバイス５は、例えば、液晶ディスプレイである。記憶部６は、例えば、不揮発性メモリおよびハードディスクドライブなどの記憶装置である。
【００２１】
匂いセンサ８は、匂い物質を捕捉すると電気信号を発生するセンサがアレイ化して複数設けられている。この複数のセンサのそれぞれは、発生する電気信号の大きさが匂い物質の種類で異なるため、検出対象の匂いに応じて、複数のセンサから出力される電気信号のパターンが異なる。匂いセンサ８は、匂いを検出したときに複数のセンサから出力される電気信号のパターンを、匂いデータとしてＭＰＵ４に送信する。なお、本実施形態の匂いセンサ８に、特許文献２に開示された匂いセンサを用いてもよく、この場合、特許文献２の図２の表に示される検出値のパターンが匂いデータに相当する。
【００２２】
画像信号処理部３は、静止画／動画のライブビューモードの動作開始の指示を含む制御信号をＭＰＵ４から受信すると、撮像素子２およびレンズ１を起動する。画像信号処理部３は、撮像素子２からＢａｙｅｒ画像データを受信すると、Ｂａｙｅｒ画像データを用いてＡＥ（Auto Exposure：自動露出）／ＡＦ（Auto Focus）の検波を行い、ピントが合うようにレンズ１の位置制御を行い、適切な光量になるように撮像素子２の露光制御を行う。また、画像信号処理部３は、静止画のライブビュー、動画のライブビュー／録画のいずれのモードでも、Ｂａｙｅｒ画像データに対して、ＷＢ（ホワイトバランス）、ガンマ補正、エッジ強調、ノイズリダクションおよび色処理等の処理を行った後、最終的に映像データであるＹＵＶ画像データに変換してＭＰＵ４に送信する。ＹＵＶは、画像の色情報を表す形式の一種であり、輝度信号（Ｙ）と、輝度信号と青色成分の差（Ｕ）、および輝度信号と赤色成分の差（Ｖ）の３つの情報を意味する。画像信号処理部３は、ＭＰＵ４から静止画のライブビューのモードで静止画キャプチャの指示を受け取ると、表示デバイス５で表示される１画像分のＹＵＶ画像データを最終的にＪＰＥＧ（Joint Photograph Experts Group）データに変換してＭＰＵ４に送信する。
【００２３】
また、画像信号処理部３は、一定の周期でＢａｙｅｒ画像データを受信すると、被写体までの距離および画像データの明るさ等の情報から利用者が撮影しようとしているシーンを検出し、被写体に人物を含むか否か等の情報を含む検出結果をＭＰＵ４に送信する。以下では、この検出結果の情報を「シーン判定画像データ」と称する。また、画像信号処理部３は、ＭＰＵ４から画像処理に関する設定情報を受け取ると、その設定情報を反映させたＹＵＶ画像データをＭＰＵ４に送信する。画像信号処理部３のシーン検出動作およびシーン判定画像データについては、図５および図６を参照して詳しく説明する。
【００２４】
ＭＰＵ４は、プログラムを格納するメモリ４１を有し、プログラムにしたがって処理を実行することで、図３に示す制御部４２、シーン検出部４３およびシーン判定部４４が仮想的に構成される。メモリ４１には、匂いデータからシーンを特定するための匂い基準テーブルが予め格納されている。匂い基準テーブルには、複数のシーンのそれぞれに対応して、各種匂いの典型的な電気信号のパターンを示す匂いパターンが登録されている。匂いパターンの電気信号のパターンは、匂いデータの電子信号のパターンに対応している。
【００２５】
制御部４２は、利用者から操作部（不図示）を介して静止画／動画のライブビューモードを起動する旨の指示が入力されると、動作開始の指示を含む制御信号を画像信号処理部３に送信し、画像信号処理部３からＹＵＶ画像データを受信すると、ＹＵＶ画像データを表示デバイス５に送信し、画像を表示デバイス５に表示させる。利用者から操作部（不図示）を介して静止画キャプチャの指示が入力されると、制御部４２は、画像信号処理部３から受信するＪＰＥＧデータを記憶部６に格納する。動画録画時、制御部４２は、画像信号処理部３から受信するＹＵＶ画像データと、マイク７を介して入力される音のデータであるサウンドデータとを結合して動画データを作成し、動画データを記憶部６に格納する。
【００２６】
続いて、シーン検出部４３とシーン判定部４４について説明する。匂いデータに基づくシーン検出処理、および２種類のデータに基づくシーン特定処理は、静止画のライブビュー／キャプチャ時、動画のライブビュー／録画時のいずれでの場合でも行うことが可能であるが、ここでは、静止画ライブビューの場合で説明する。
【００２７】
シーン検出部４３は、匂いセンサ８から受信する匂いデータに対して、一定の周期で、メモリ４１に予め格納されている匂い基準テーブルを参照し、受信した匂いデータを匂い基準テーブルに登録された匂いパターンと照合する。そして、シーン検出部４３は、受信した匂いデータに最も近い匂いパターンを選択し、選択した匂いパターンに対応するシーンを匂い基準テーブルから読み出し、読み出したシーンを検出結果として保持する。以下では、この検出結果の情報を「シーン判定匂いデータ」と称する。
【００２８】
シーン検出部４３は、シーン判定匂いデータを保持している状態で、シーン判定部４４からシーン判定匂いデータの要求があると、保持していたシーン判定匂いデータをシーン判定部４４に渡す。本実施形態では、シーン判定匂いデータを、シーンを特定するためのデータの１つとして利用することに特徴がある。
【００２９】
なお、本実施形態では、メモリ４１に格納された匂い基準テーブルに、森林、潮、火薬、ミルク、化粧品、動物、花および食べ物のそれぞれの匂いパターンが予め登録されているものとする。ここでは、化粧品、動物、花および食べ物の匂いについては詳しく記載しないが、化粧品、動物、花および食べ物のジャンルのそれぞれについて、複数種の匂いが登録されていてもよい。
【００３０】
シーン判定部４４は、画像信号処理部３からシーン判定画像データを受信すると、シーン検出部４３にシーン判定匂いデータを要求し、シーン検出部４３から受信するシーン判定匂いデータと画像信号処理部３から受信したシーン判定画像データとを用いてシーンを特定する。つまり、シーン判定部４４は、画像信号処理部３がＢａｙｅｒ画像データから検出したシーンと、シーン検出部４３が匂いセンサ８を介して受信した匂いデータから検出したシーンとの２種類のデータに基づいて、シーンを特定する。そして、シーン判定部４４は、特定したシーンに対応する設定情報を画像信号処理部３に送信する。
【００３１】
画像処理に関する設定情報として、シーン毎に最適な設定情報を記述した設定情報テーブルをメモリ４１に予め保存しておいてもよい。この場合、シーン判定部４４は、シーンを特定すると、設定情報テーブルを参照し、特定したシーンに応じた設定情報を読み出して画像信号処理部３に送信し、画像信号処理部３に対して設定変更を実行させる。
【００３２】
シーン判定部４４が特定したシーンに対応して、画像処理の設定変更を行うことで、レンズ１の位置、撮像素子２の露光、および画像信号処理部３の画像処理が、シーンに応じて変更される。その結果、設定変更が反映されたＹＵＶ画像データがＭＰＵ４を介して表示デバイス５に送られ、そのデータの画像が表示デバイス５に表示される。また、設定変更は静止画キャプチャモードのキャプチャ画像にも反映されるため、キャプチャした場合は、設定変更が反映されたＪＰＥＧデータが記憶部６に保存される。
【００３３】
次に、本実施形態のデジタルカメラの動作を説明する。図４は本実施形態のデジタルカメラの動作の一例を示すシーケンス図であり、本実施形態のデジタルカメラがシーンの特定を一定の周期で繰り返し行う場合を示す。ここでは、静止画ライブビューモードの場合で説明する。
【００３４】
利用者が本実施形態のデジタルカメラに静止画ライブビューモードを起動する旨の指示を入力すると、画像信号処理部３およびＭＰＵ４のシーン検出部４３のそれぞれはシーンの検出を開始する。画像信号処理部３およびシーン検出部４３は一定の周期でシーンの検出を繰り返す。図４に示す例では、シーン検出にかかる時間が画像信号処理部３よりもシーン検出部４３の方が短いため、シーン検出部４３は、匂いデータからシーンを検出すると、検出したシーンの情報を含むシーン判定匂いデータを保持する（図４に示す番号２０１）。シーン検出にかかる時間は、画像信号処理部３の方がシーン検出部４３よりも短くてもよい。
【００３５】
続いて、画像信号処理部３がＢａｙｅｒ画像データからシーンを検出すると、検出したシーンの情報を含むシーン判定画像データをＭＰＵ４のシーン判定部４４に送信する（図４に示す番号２０２）。シーン判定部４４は、シーン判定画像データを画像信号処理部３から受信すると、シーン判定匂いデータをシーン検出部４３に要求し、シーン判定匂いデータをシーン検出部４３から受け取る（図４に示す番号２０３）。
【００３６】
シーン判定部４４は、シーン判定画像データおよびシーン判定匂いデータの２種類のデータに基づいてシーンを特定する（図４に示す番号２０４）。その後、シーン判定部４４は、特定したシーンに対応する設定情報を画像信号処理部３に送信する（図４に示す番号２０５）。その結果、画像処理に関する設定情報の最適値が画像信号処理部３に通知される。さらに、シーン判定部４４は、シーンの特定が終了したことを画像信号処理部３に通知する（図４に示す番号２０６）。画像信号処理部３は、シーンの特定が終了した旨の情報をシーン判定部４４から受信すると、撮像素子２から受信するＢａｙｅｒ画像データを用いて、次のシーンの検出を行う。
【００３７】
このようにして、利用者が本実施形態のデジタルカメラに静止画ライブビューモード停止の指示を入力するまで、画像信号処理部３およびシーン検出部４３のそれぞれが同じ周期であるが、非同期でシーンの検出を繰り返し、シーン判定部４４が２種類のデータに基づいてシーンを特定し、特定したシーンに対応して画像処理の設定を行う。
【００３８】
次に、図４に示したフロー図において、画像信号処理部３がＢａｙｅｒ画像データからシーンを検出する際の動作を説明する。図５は画像データに基づくシーン検出条件の例を示す表であり、図６は画像信号処理部が実行するシーン検出動作の手順を示すフローチャートである。
【００３９】
図５に示す表には、検出シーンがＮｏ．１〜７に分類され、各検出シーンに対応して、検出条件が記述されている。Ｎｏ．１〜７のいずれにも該当しない場合、シーン検出対象外（Ｎｏ．８）として判定される。図５に示す表がメモリ４１に予め格納されている。
【００４０】
図５に示す表において、Ｄは本実施形態のデジタルカメラから被写体までの距離がマクロ距離であるか否かの閾値である。Ｂｖ１、Ｂｖ２、Ｂｖ３およびＢｖ４のそれぞれは、明るさ（ブライトバリュー）を判定するための閾値であり、画像に風景、トワイライトおよび夜景のうち、いずれが含まれているかを判定するための基準値となる。大きさの関係は、Ｂｖ４＜Ｂｖ３＜Ｂｖ２＜Ｂｖ１である。Ｔ１およびＴ２は色温度を判定するための閾値である。大きさの関係は、Ｔ２＜Ｔ１である。
【００４１】
表５のＮｏ．５〜Ｎｏ．７の検出シーンの検出条件を比較すると、夜間の風景である夜景よりも昼間の風景の方が明るいので、明るさについて、Ｎｏ．５の検出条件はＢｖ１以上になっており、Ｎｏ．７の検出条件はＢｖ４より小さい。このことは、表５のＮｏ．２とＮｏ．３の検出条件についても同様である。
【００４２】
また、トワイライト（Ｎｏ．６の検出シーン）の撮影では、明るさが昼間の風景の場合よりも暗く、夜景の場合よりも明るいので、明るさの検出条件はＢｖ３以上、Ｂｖ２未満となっている。このことは、色温度にも反映され、色温度での検出条件は、昼間の風景の場合がＴ１以上であるのに対し、トワイライトの場合はＴ２（＜Ｔ１）以上になっている。色情報での検出条件では、トワイライトの撮影では空が赤みを帯びているので、画像に「赤色」が含まれるのに対し、昼間の風景では「緑色」や「青色」が画像に含まれている。
【００４３】
図６に示すように、画像信号処理部３は、自装置から被写体までの距離がＤ以下か否かを調べることで、その距離がマクロ距離か否かを判定する（ステップ３０１）。画像信号処理部３は、ステップ３０１において、自装置から被写体までの距離がＤ以下で、マクロ距離と判定すると、画像から人物の顔を検出できるか否かを調べる（ステップ３０２）。画像信号処理部３は、画像から顔を検出した場合、人物を接写するシーンと判定し（ステップ３０３）、画像から顔を検出できない場合、利用者がマクロで人物以外の被写体を撮影するシーンと判定する（ステップ３０４）。なお、ステップ３０３の場合は、図５に示すＮｏ．４の検出シーンに含まれる。
【００４４】
ステップ３０１において、画像信号処理部３は、自装置から被写体までの距離がＤより小さく、マクロ距離でないと判定すると、画像から人物の顔を検出できるか否かを調べる（ステップ３０５）。画像信号処理部３は、画像から顔を検出すると、画像データから明るさ、色温度および色情報を参照し、画像から風景を検出できるか否かを調べる（ステップ３０６）。画像信号処理部３は、画像データから明るさ≧Ｂｖ１、および色温度≧Ｔ１を検出し、色情報として青色および緑色を検出すると、利用者が人物と風景を撮影するシーンと判定する（ステップ３０７）。ステップ３０６で風景を検出できなければ、画像信号処理部３は、明るさ、色温度および色情報を参照し、画像から夜景を検出できるか否かを調べる（ステップ３０８）。画像信号処理部３は、画像データから明るさ＜Ｂｖ４を検出すると、利用者が人物と夜景を撮影するシーンと判定する（ステップ３０９）。画像から風景も夜景も検出できない場合、画像信号処理部３は、利用者が人物を主にして撮影するシーンと判定する（ステップ３１０）。
【００４５】
一方、ステップ３０５において、画像信号処理部３は、画像から人物の顔を検出できない場合、画像データから明るさ、色温度および色情報を参照し、画像から風景、トワイライトおよび夜景のいずれかが検出できるか判定する（ステップ３１１、３１３、３１５）。画像信号処理部３は、画像データから明るさ≧Ｂｖ１、および色温度≧Ｔ１を検出し、色情報として青色および緑色を検出すると、利用者が風景を撮影するシーンと判定する（ステップ３１２）。画像信号処理部３は、画像データからＢｖ３≦明るさ＜Ｂｖ２、および色温度≧Ｔ２を検出し、色情報として赤色を検出すると、利用者がトワイライトを撮影するシーンと判定する（ステップ３１４）。画像信号処理部３は、画像データから明るさ＜Ｂｖ４を検出すると、利用者が夜景を撮影するシーンと判定する（ステップ３１６）。画像信号処理部３は、画像から風景、トワイライトおよび夜景のいずれも検出できない場合、シーン検出の対象外であると判定する（ステップ３１７）。
【００４６】
画像信号処理部３は、図５に示す表を参照しながら、図６に示す手順にしたがって利用者の撮影シーンを検出すると、図５に示す表における検出シーンの項目の「マクロ」、「人物＋風景」、・・・、「夜景」のうちのいずれかのシーンまたは「シーン外」を、検出したシーンの情報として、シーン判定画像データに含める。
【００４７】
次に、図４に示したシーケンス図において、シーン検出部４３が匂いデータからシーンを検出する際の動作を、図７を参照して説明する。図７は匂いデータに基づくシーン検出の例を示す図である。図７は、検出される匂いと匂い基準テーブルに登録されているシーンとの組み合わせを示す表の一例である。
【００４８】
図７に示すように、シーン検出部４３は、匂いデータに最も近い匂いパターンが森林の匂いのパターンであると、森林が被写体に含まれていると判定する。また、シーン検出部４３は、匂いデータに最も近い匂いパターンが潮の匂いのパターンであると、海が被写体に含まれていると判定する。
【００４９】
また、シーン検出部４３は、匂いデータに最も近い匂いパターンが火薬の匂いのパターンであると、花火が被写体に含まれていると判定する。シーン検出部４３は、匂いデータに最も近い匂いパターンがミルクの匂いのパターンであると、赤ちゃんが被写体に含まれていると判定する。シーン検出部４３は、匂いデータに最も近い匂いパターンが化粧品の匂いのパターンであると、女性が被写体に含まれていると判定する。シーン検出部４３は、匂いデータに最も近い匂いパターンが動物の匂いのパターンであると、ペットが被写体に含まれていると判定する。
【００５０】
図７では、「各種花」の匂いに対応して「各種花」が記述されている。これは、複数種の花のそれぞれの匂いに、複数種の花のそれぞれが対応していることを意味しており、花の種類に応じて匂いと花の名前を組み合わせて記述することを、省略している。図７に示す「各種食べ物」についても、花の場合と同様に、複数種の食べ物のそれぞれの匂いに、複数種の食べ物のそれぞれが対応している。
【００５１】
シーン検出部４３は、匂いデータからシーンを検出すると、図７に示す表における検出シーンの「森林」、「海」、・・・、「各種食べ物」のうち、１以上の要素を、検出したシーンの情報として、シーン判定匂いデータに含める。シーン判定匂いデータには、被写体の情報が含まれることになる。また、シーン検出部４３が匂いデータから複数の要素を検出した場合、シーン判定匂いデータに２以上の要素が含まれることになる。
【００５２】
なお、本実施形態では、シーン検出部４３が匂いデータから複数の要素を検出すると、検出した要素を全てシーン判定匂いデータに含める場合で説明しているが、予め決められた優先順位にしたがって、シーン判定匂いデータに含める要素の数を絞ってもよい。例えば、優先度が大きいほど優先順位が高いとすると、優先度を「赤ちゃん＞女性＞ペット＞森林＞海」のように予め決めておき、優先度の最も大きい２つの要素をシーン判定匂いデータに含めるようにしてもよい。優先度の順位はこの場合に限らない。ただし、検出シーンが図５に示した「人物＋風景」および「風景」の場合には、シーン特定の際、「森林」または「海」の要素が必要になるため、シーン検出部４３は、「森林」または「海」の要素を検出した場合、その要素を常にシーン判定匂いデータに含めるようにしてもよい。
【００５３】
次に、シーン判定部４４が２種類のデータに基づいてシーンを特定する際の動作を説明する。図８はシーン判定画像データとシーン判定匂いデータを組み合わせることで特定されるシーンの例を示す表である。図８に示す表がメモリ４１に予め格納されている。
【００５４】
図８に示すように、シーン判定画像データのシーンの情報に対応して、特定されるシーンが「マクロ」〜「夜景」および「シーン外」の８つのグループに分類されている。図８に示すように、シーン判定画像データで特定される各グループについて、シーン判定匂いデータのシーンの情報に対応して、「花火」、「海」、・・・、および「各種食べ物」などに分類されている。例えば、シーン判定画像データで「マクロ」に分類されたグループでは、匂いデータで「花火」、「各種花」、「各種食べ物」、および「それ以外」に細分化されている。
【００５５】
シーン判定画像データに基づいて、人物が含まれると判定されたシーンのグループでは、シーン判定匂いデータに基づいて、人物が赤ちゃん／女性に細分化され、風景が森林／海／花火に細分化され、人物以外に含まれる被写体としてペット／各種花／各種食べ物に細分化されている。
【００５６】
シーン判定画像データに基づいて「風景」と判定されたシーンのグループでは、シーン判定匂いデータに基づいて、風景が森林／海に細分化され、風景と共に画像に含まれる被写体がペット／各種花に細分化されている。シーン判定画像データに基づいて「トワイライト」と判定されたシーンのグループでは、シーン判定匂いデータに基づいて、海とそれ以外に細分化されている。
【００５７】
シーン判定画像データに基づいて「夜景」と判定されたシーンのグループでは、シーン判定匂いデータに基づいて、花火とそれ以外に細分化されている。シーン判定画像データからは、「マクロ」〜「夜景」の７つのグループのいずれにも該当しないと判定されたシーンのグループでは、シーン判定匂いデータに基づいて、被写体が森林／海／花火／ペット／各種花／各種食べもの／それ以外に細分化されている。
【００５８】
シーン判定部４４は、図８の表に示すように、シーン判定画像データの情報に基づいて、８つの分類から１つのグループを選択し、シーン判定匂いデータの情報に基づいて、画像に含まれる被写体となる要素を選択することで、最終的なシーンを特定する。例えば、シーン判定画像データに「人物＋風景」の情報が含まれており、シーン判定匂いデータに「女性」の情報が含まれている場合、シーン判定部４４は、図８の表に示すＮｏ．８の「女性＋風景」のシーンと特定する。
【００５９】
次に、シーン判定部４４が特定したシーンに対応して、画像信号処理部３に通知する設定情報の具体例を説明する。図９は、シーン判定部が特定したシーンに対応する、画像処理の設定情報の例を示す表である。図９に示す表がメモリ４１に予め格納されている。
【００６０】
シーン判定部４４は、特定したシーンに応じて、画像のコントラスト、明るさ、シャープネス、および色合いなどを、シーン判定匂いデータで特定される被写体に応じて最適化する設定情報を画像信号処理部３に通知する。また、シーン判定部４４は、被写体に応じて、画像信号処理部３に対して画像変換の処理を指示してもよい。画像変換の処理とは、例えば、被写体が女性であれば、検出した顔の小じわ、シミおよびくすみなどを消去したり、顔の中で目や口などのパーツを大きくしたりすることである。小じわ、シミおよびくすみなどを消去することで、透明感のある肌にする効果が得られ、目や口を大きくすることで、目や口元の存在感がアップする効果が得られる。
【００６１】
図９に示す小項目が「赤ちゃん」の場合の設定に示すように、シーン判定部４４は、被写体の人物が笑顔になったことを検出したときの画像をキャプチャする「スマイルシャッター」をＯＮにする旨の設定を、画像信号処理部３に対して行ってもよい。
【００６２】
本実施形態によれば、シーン特定のための情報として、画像データだけでなく、画像とは情報の種類が異なる匂いデータも使用しているため、シーンをより細かく特定することが可能になる。シーンを細かく特定することで、シーンに特化した効果を画像に対してかけることができる。また、シーン特定に使用する匂いデータに被写体の情報が反映されているので、画像データの被写体に対して画像処理を設定することが可能である。よって、本実施形態では、画像処理が間違って設定されてしまうことを抑制でき、利用者は自分が想定するシーンにより合致したシーンの画像を取得できる。
【００６３】
なお、本実施形態では、Ｂａｙｅｒ画像データからのシーン検出および匂いデータからのシーン検出を、画像信号処理部３およびＭＰＵ４で別々に実行させる場合で説明したが、これらのシーン検出の両方をＭＰＵ４に実行させてもよい。この場合、ＭＰＵ４は、画像信号処理部３からシーン検出に使用するＢａｙｅｒ画像データを受け取り、図５および図６を参照して説明したように、画像データからシーンの検出を行う。
【００６４】
また、匂いデータでは赤ちゃんが検出されているが、画像データでは人物の顔が検出されていない場合や、匂いデータから森林が検出されているが、画像データでは風景が検出されていない場合など、匂いデータで検出されたシーンと画像データで検出されたシーンとが合致しない場合も起こり得る。このような場合に、画像処理をどのように設定するかを決めておいてもよい。シーンをより細かく特定できるようになるため、シーンの細分化およびシーン検出精度の向上を図ることができる。
【００６５】
また、画像データの圧縮形式はＪＰＥＧに限らず、画像データの形式はＢａｙｅｒ画像データおよびＹＵＶ画像データに限らない。例えば、表示部デバイス５に画像を表示させる際、制御部４２がＹＵＶ画像データをＲＧＢ画像データに変換して表示デバイス５に送信してもよい。
【００６６】
また、本実施形態では、説明を簡単にするために、被写体が動いている場合や撮影が逆光の場合を除外し、検出対象のシーンが一般的なシーンの場合で説明したが、本実施形態のデジタルカメラに加速度センサを設け、加速度センサが行う手ブレ検出、ならびに画像信号処理部３が行う動体検出および逆光判定のうち、少なくともいずれかの要素を、画像データおよび匂いデータのそれぞれから検出されるシーンに組み合わせることで、特定するシーンをより細分化してもよい。
【符号の説明】
【００６７】
１ レンズ
２ 撮像素子
３ 画像信号処理部
４ ＭＰＵ
５ 表示デバイス
６ 記憶部
７ マイク
８ 匂いセンサ
１１ 撮影装置
１２ 画像検出手段
１３ 匂い検出手段
１４ シーン検出手段
【技術分野】
【０００１】
本発明は、撮影装置、撮影画像処理方法、およびコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラおよびデジタルビデオカメラ等の撮影装置には、画像処理情報から撮影シーンを判定し、判定した撮影シーンに最適な露出値を算出する機能を有しているものがある（特許文献１参照）。特許文献１に開示されたカメラは、主被写体が画面上に占める主被写体領域と背景が画面上に占める背景領域との占有比率にしたがって、判別対象の撮影シーンが接写シーン、ポートレートシーンおよび風景シーンのうち、いずれの撮影シーンに該当するかを判別している。
【０００３】
なお、撮影した画像データと共に、検知した匂いに関する情報を記録可能にしたカメラが特許文献２に開示されている。また、匂いを検知する匂いセンサの一例が非特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−７５３５１号公報
【特許文献２】特開２０１０−８７９４０号公報
【非特許文献】
【０００５】
【非特許文献１】瀬山倫子，外１名，「プラズマ有機薄膜を用いたニオイセンサ」，ＮＴＴ技術ジャーナル，日本電信電話株式会社，２００３年１２月１日，２００３ ｖｏｌ．１５ Ｎｏ．１２，ｐ．４７−５０
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されたカメラでは、撮影シーンの判別が正しく行われたとしても、撮影シーンが大まかにしか分類されていないため、より細かく撮影条件を設定することができないという問題があった。
【０００７】
本発明は上述したような技術が有する問題点を解決するためになされたものであり、撮影対象のシーンをより細かく特定することを可能にした撮影装置、撮影画像処理方法、およびコンピュータに実行させるためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための本発明の撮影装置は、
画像データに基づいてシーンを検出する画像検出手段と、
匂いデータに基づいてシーンを検出する匂い検出手段と、
前記画像検出手段で検出されたシーンと前記匂い検出手段で検出されたシーンとに基づいてシーンを特定するシーン検出手段と、
を有する構成である。
【０００９】
また、本発明の撮影画像処理方法は、
画像データに基づいてシーンを検出し、
匂いデータに基づいてシーンを検出し、
前記画像データで検出されたシーンと前記匂いデータで検出されたシーンとに基づいてシーンを特定するものである。
【００１０】
さらに、本発明のプログラムは、コンピュータに実行させるためのプログラムであって、
画像データに基づいてシーンを検出し、
匂いデータに基づいてシーンを検出し、
前記画像データで検出されたシーンと前記匂いデータで検出されたシーンとに基づいてシーンを特定する処理を前記コンピュータに実行させるものである。
【発明の効果】
【００１１】
本発明によれば、シーンがより細かく特定されるので、シーンに特化した効果を画像に対してかけることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態の撮影装置の一構成例を示すブロック図である。
【図２】図１に示した撮影装置の動作を説明するためのフローチャートである。
【図３】本実施形態のデジタルカメラの一構成例を示すブロック図である。
【図４】本実施形態のデジタルカメラの動作の一例を示すシーケンス図である。
【図５】画像データに基づくシーン検出条件の例を示す表である。
【図６】画像信号処理部が実行するシーン検出動作の手順を示すフローチャートである。
【図７】匂いデータに基づくシーン検出の例を示す図である。
【図８】シーン判定画像データとシーン判定匂いデータを組み合わせることで特定されるシーンの例を示す表である。
【図９】特定されたシーンに対応する、画像処理の設定情報の例を示す表である。
【発明を実施するための形態】
【００１３】
本発明の一実施形態の撮影装置の構成を説明する。図１は本発明の一実施形態の撮影装置の一構成例を示すブロック図である。
【００１４】
図１に示すように、撮影装置１１は、画像データに基づいてシーンを検出する画像検出手段１２と、検出される匂いに関する情報である匂いデータに基づいてシーンを検出する匂い検出手段１３と、画像検出手段１２で検出されたシーンと匂い検出手段１３で検出されたシーンとに基づいてシーンを特定するシーン検出手段１４と、を有する。
【００１５】
図１に示した撮影装置１１が実行する撮影画像処理方法を説明する。図２は図１に示した撮影装置の動作を説明するためのフローチャートである。
【００１６】
図２に示すように、画像検出手段１２が画像データに基づいてシーンを検出し（ステップ１０１）、匂い検出手段１３が匂いデータに基づいてシーンを検出する（ステップ１０２）。さらに、シーン検出手段１４が画像データで検出されたシーンと匂いデータで検出されたシーンとに基づいてシーンを特定する（ステップ１０３）。
【００１７】
なお、本発明の撮影装置を、スマートフォンを含むカメラ付き携帯電話のカメラに適用することも可能である。また、本発明の撮影装置の機能を、例えば、ゲーム機、タブレットＰＣ（Personal Computer）、ノートＰＣ、ＤＶＤ（Digital Versatile Disk）レコーダおよびブルーレイディスク（登録商標）レコーダなどの情報処理装置に設けてもよい。以下では、本発明の撮影装置の機能を備えたデジタルカメラの場合についての実施形態を説明する。
【００１８】
本実施形態のデジタルカメラの構成を説明する。図３は本実施形態のデジタルカメラの一構成例を示すブロック図である。
【００１９】
図３に示すように、本実施形態のデジタルカメラは、レンズ１および撮像素子２を含むモジュール２１と、撮像素子２から受信する信号を処理する画像信号処理部３と、撮像素子２で取り込まれた画像を表示する表示デバイス５と、画像データを保存する記憶部６と、録音用のマイク７と、匂いを検出する匂いセンサ８と、各部を構成するＭＰＵ（Micro Processing Unit）４とを有する。
【００２０】
太陽光などの光が被写体で反射した光がレンズ１を介して撮像素子２の受光部（不図示）に入力される。モジュール２１には、位置制御に関する制御信号を画像信号処理部３から受信すると、レンズ１を光軸方向に移動させる駆動機構（不図示）が設けられ、駆動機構は撮像素子２の受光部で被写体の像のピントが合うようにレンズ１の位置を調節する。撮像素子２は、レンズ１を介して受光部に入力される光を電気信号に変換して画像信号処理部３に送信する。表示デバイス５は、例えば、液晶ディスプレイである。記憶部６は、例えば、不揮発性メモリおよびハードディスクドライブなどの記憶装置である。
【００２１】
匂いセンサ８は、匂い物質を捕捉すると電気信号を発生するセンサがアレイ化して複数設けられている。この複数のセンサのそれぞれは、発生する電気信号の大きさが匂い物質の種類で異なるため、検出対象の匂いに応じて、複数のセンサから出力される電気信号のパターンが異なる。匂いセンサ８は、匂いを検出したときに複数のセンサから出力される電気信号のパターンを、匂いデータとしてＭＰＵ４に送信する。なお、本実施形態の匂いセンサ８に、特許文献２に開示された匂いセンサを用いてもよく、この場合、特許文献２の図２の表に示される検出値のパターンが匂いデータに相当する。
【００２２】
画像信号処理部３は、静止画／動画のライブビューモードの動作開始の指示を含む制御信号をＭＰＵ４から受信すると、撮像素子２およびレンズ１を起動する。画像信号処理部３は、撮像素子２からＢａｙｅｒ画像データを受信すると、Ｂａｙｅｒ画像データを用いてＡＥ（Auto Exposure：自動露出）／ＡＦ（Auto Focus）の検波を行い、ピントが合うようにレンズ１の位置制御を行い、適切な光量になるように撮像素子２の露光制御を行う。また、画像信号処理部３は、静止画のライブビュー、動画のライブビュー／録画のいずれのモードでも、Ｂａｙｅｒ画像データに対して、ＷＢ（ホワイトバランス）、ガンマ補正、エッジ強調、ノイズリダクションおよび色処理等の処理を行った後、最終的に映像データであるＹＵＶ画像データに変換してＭＰＵ４に送信する。ＹＵＶは、画像の色情報を表す形式の一種であり、輝度信号（Ｙ）と、輝度信号と青色成分の差（Ｕ）、および輝度信号と赤色成分の差（Ｖ）の３つの情報を意味する。画像信号処理部３は、ＭＰＵ４から静止画のライブビューのモードで静止画キャプチャの指示を受け取ると、表示デバイス５で表示される１画像分のＹＵＶ画像データを最終的にＪＰＥＧ（Joint Photograph Experts Group）データに変換してＭＰＵ４に送信する。
【００２３】
また、画像信号処理部３は、一定の周期でＢａｙｅｒ画像データを受信すると、被写体までの距離および画像データの明るさ等の情報から利用者が撮影しようとしているシーンを検出し、被写体に人物を含むか否か等の情報を含む検出結果をＭＰＵ４に送信する。以下では、この検出結果の情報を「シーン判定画像データ」と称する。また、画像信号処理部３は、ＭＰＵ４から画像処理に関する設定情報を受け取ると、その設定情報を反映させたＹＵＶ画像データをＭＰＵ４に送信する。画像信号処理部３のシーン検出動作およびシーン判定画像データについては、図５および図６を参照して詳しく説明する。
【００２４】
ＭＰＵ４は、プログラムを格納するメモリ４１を有し、プログラムにしたがって処理を実行することで、図３に示す制御部４２、シーン検出部４３およびシーン判定部４４が仮想的に構成される。メモリ４１には、匂いデータからシーンを特定するための匂い基準テーブルが予め格納されている。匂い基準テーブルには、複数のシーンのそれぞれに対応して、各種匂いの典型的な電気信号のパターンを示す匂いパターンが登録されている。匂いパターンの電気信号のパターンは、匂いデータの電子信号のパターンに対応している。
【００２５】
制御部４２は、利用者から操作部（不図示）を介して静止画／動画のライブビューモードを起動する旨の指示が入力されると、動作開始の指示を含む制御信号を画像信号処理部３に送信し、画像信号処理部３からＹＵＶ画像データを受信すると、ＹＵＶ画像データを表示デバイス５に送信し、画像を表示デバイス５に表示させる。利用者から操作部（不図示）を介して静止画キャプチャの指示が入力されると、制御部４２は、画像信号処理部３から受信するＪＰＥＧデータを記憶部６に格納する。動画録画時、制御部４２は、画像信号処理部３から受信するＹＵＶ画像データと、マイク７を介して入力される音のデータであるサウンドデータとを結合して動画データを作成し、動画データを記憶部６に格納する。
【００２６】
続いて、シーン検出部４３とシーン判定部４４について説明する。匂いデータに基づくシーン検出処理、および２種類のデータに基づくシーン特定処理は、静止画のライブビュー／キャプチャ時、動画のライブビュー／録画時のいずれでの場合でも行うことが可能であるが、ここでは、静止画ライブビューの場合で説明する。
【００２７】
シーン検出部４３は、匂いセンサ８から受信する匂いデータに対して、一定の周期で、メモリ４１に予め格納されている匂い基準テーブルを参照し、受信した匂いデータを匂い基準テーブルに登録された匂いパターンと照合する。そして、シーン検出部４３は、受信した匂いデータに最も近い匂いパターンを選択し、選択した匂いパターンに対応するシーンを匂い基準テーブルから読み出し、読み出したシーンを検出結果として保持する。以下では、この検出結果の情報を「シーン判定匂いデータ」と称する。
【００２８】
シーン検出部４３は、シーン判定匂いデータを保持している状態で、シーン判定部４４からシーン判定匂いデータの要求があると、保持していたシーン判定匂いデータをシーン判定部４４に渡す。本実施形態では、シーン判定匂いデータを、シーンを特定するためのデータの１つとして利用することに特徴がある。
【００２９】
なお、本実施形態では、メモリ４１に格納された匂い基準テーブルに、森林、潮、火薬、ミルク、化粧品、動物、花および食べ物のそれぞれの匂いパターンが予め登録されているものとする。ここでは、化粧品、動物、花および食べ物の匂いについては詳しく記載しないが、化粧品、動物、花および食べ物のジャンルのそれぞれについて、複数種の匂いが登録されていてもよい。
【００３０】
シーン判定部４４は、画像信号処理部３からシーン判定画像データを受信すると、シーン検出部４３にシーン判定匂いデータを要求し、シーン検出部４３から受信するシーン判定匂いデータと画像信号処理部３から受信したシーン判定画像データとを用いてシーンを特定する。つまり、シーン判定部４４は、画像信号処理部３がＢａｙｅｒ画像データから検出したシーンと、シーン検出部４３が匂いセンサ８を介して受信した匂いデータから検出したシーンとの２種類のデータに基づいて、シーンを特定する。そして、シーン判定部４４は、特定したシーンに対応する設定情報を画像信号処理部３に送信する。
【００３１】
画像処理に関する設定情報として、シーン毎に最適な設定情報を記述した設定情報テーブルをメモリ４１に予め保存しておいてもよい。この場合、シーン判定部４４は、シーンを特定すると、設定情報テーブルを参照し、特定したシーンに応じた設定情報を読み出して画像信号処理部３に送信し、画像信号処理部３に対して設定変更を実行させる。
【００３２】
シーン判定部４４が特定したシーンに対応して、画像処理の設定変更を行うことで、レンズ１の位置、撮像素子２の露光、および画像信号処理部３の画像処理が、シーンに応じて変更される。その結果、設定変更が反映されたＹＵＶ画像データがＭＰＵ４を介して表示デバイス５に送られ、そのデータの画像が表示デバイス５に表示される。また、設定変更は静止画キャプチャモードのキャプチャ画像にも反映されるため、キャプチャした場合は、設定変更が反映されたＪＰＥＧデータが記憶部６に保存される。
【００３３】
次に、本実施形態のデジタルカメラの動作を説明する。図４は本実施形態のデジタルカメラの動作の一例を示すシーケンス図であり、本実施形態のデジタルカメラがシーンの特定を一定の周期で繰り返し行う場合を示す。ここでは、静止画ライブビューモードの場合で説明する。
【００３４】
利用者が本実施形態のデジタルカメラに静止画ライブビューモードを起動する旨の指示を入力すると、画像信号処理部３およびＭＰＵ４のシーン検出部４３のそれぞれはシーンの検出を開始する。画像信号処理部３およびシーン検出部４３は一定の周期でシーンの検出を繰り返す。図４に示す例では、シーン検出にかかる時間が画像信号処理部３よりもシーン検出部４３の方が短いため、シーン検出部４３は、匂いデータからシーンを検出すると、検出したシーンの情報を含むシーン判定匂いデータを保持する（図４に示す番号２０１）。シーン検出にかかる時間は、画像信号処理部３の方がシーン検出部４３よりも短くてもよい。
【００３５】
続いて、画像信号処理部３がＢａｙｅｒ画像データからシーンを検出すると、検出したシーンの情報を含むシーン判定画像データをＭＰＵ４のシーン判定部４４に送信する（図４に示す番号２０２）。シーン判定部４４は、シーン判定画像データを画像信号処理部３から受信すると、シーン判定匂いデータをシーン検出部４３に要求し、シーン判定匂いデータをシーン検出部４３から受け取る（図４に示す番号２０３）。
【００３６】
シーン判定部４４は、シーン判定画像データおよびシーン判定匂いデータの２種類のデータに基づいてシーンを特定する（図４に示す番号２０４）。その後、シーン判定部４４は、特定したシーンに対応する設定情報を画像信号処理部３に送信する（図４に示す番号２０５）。その結果、画像処理に関する設定情報の最適値が画像信号処理部３に通知される。さらに、シーン判定部４４は、シーンの特定が終了したことを画像信号処理部３に通知する（図４に示す番号２０６）。画像信号処理部３は、シーンの特定が終了した旨の情報をシーン判定部４４から受信すると、撮像素子２から受信するＢａｙｅｒ画像データを用いて、次のシーンの検出を行う。
【００３７】
このようにして、利用者が本実施形態のデジタルカメラに静止画ライブビューモード停止の指示を入力するまで、画像信号処理部３およびシーン検出部４３のそれぞれが同じ周期であるが、非同期でシーンの検出を繰り返し、シーン判定部４４が２種類のデータに基づいてシーンを特定し、特定したシーンに対応して画像処理の設定を行う。
【００３８】
次に、図４に示したフロー図において、画像信号処理部３がＢａｙｅｒ画像データからシーンを検出する際の動作を説明する。図５は画像データに基づくシーン検出条件の例を示す表であり、図６は画像信号処理部が実行するシーン検出動作の手順を示すフローチャートである。
【００３９】
図５に示す表には、検出シーンがＮｏ．１〜７に分類され、各検出シーンに対応して、検出条件が記述されている。Ｎｏ．１〜７のいずれにも該当しない場合、シーン検出対象外（Ｎｏ．８）として判定される。図５に示す表がメモリ４１に予め格納されている。
【００４０】
図５に示す表において、Ｄは本実施形態のデジタルカメラから被写体までの距離がマクロ距離であるか否かの閾値である。Ｂｖ１、Ｂｖ２、Ｂｖ３およびＢｖ４のそれぞれは、明るさ（ブライトバリュー）を判定するための閾値であり、画像に風景、トワイライトおよび夜景のうち、いずれが含まれているかを判定するための基準値となる。大きさの関係は、Ｂｖ４＜Ｂｖ３＜Ｂｖ２＜Ｂｖ１である。Ｔ１およびＴ２は色温度を判定するための閾値である。大きさの関係は、Ｔ２＜Ｔ１である。
【００４１】
表５のＮｏ．５〜Ｎｏ．７の検出シーンの検出条件を比較すると、夜間の風景である夜景よりも昼間の風景の方が明るいので、明るさについて、Ｎｏ．５の検出条件はＢｖ１以上になっており、Ｎｏ．７の検出条件はＢｖ４より小さい。このことは、表５のＮｏ．２とＮｏ．３の検出条件についても同様である。
【００４２】
また、トワイライト（Ｎｏ．６の検出シーン）の撮影では、明るさが昼間の風景の場合よりも暗く、夜景の場合よりも明るいので、明るさの検出条件はＢｖ３以上、Ｂｖ２未満となっている。このことは、色温度にも反映され、色温度での検出条件は、昼間の風景の場合がＴ１以上であるのに対し、トワイライトの場合はＴ２（＜Ｔ１）以上になっている。色情報での検出条件では、トワイライトの撮影では空が赤みを帯びているので、画像に「赤色」が含まれるのに対し、昼間の風景では「緑色」や「青色」が画像に含まれている。
【００４３】
図６に示すように、画像信号処理部３は、自装置から被写体までの距離がＤ以下か否かを調べることで、その距離がマクロ距離か否かを判定する（ステップ３０１）。画像信号処理部３は、ステップ３０１において、自装置から被写体までの距離がＤ以下で、マクロ距離と判定すると、画像から人物の顔を検出できるか否かを調べる（ステップ３０２）。画像信号処理部３は、画像から顔を検出した場合、人物を接写するシーンと判定し（ステップ３０３）、画像から顔を検出できない場合、利用者がマクロで人物以外の被写体を撮影するシーンと判定する（ステップ３０４）。なお、ステップ３０３の場合は、図５に示すＮｏ．４の検出シーンに含まれる。
【００４４】
ステップ３０１において、画像信号処理部３は、自装置から被写体までの距離がＤより小さく、マクロ距離でないと判定すると、画像から人物の顔を検出できるか否かを調べる（ステップ３０５）。画像信号処理部３は、画像から顔を検出すると、画像データから明るさ、色温度および色情報を参照し、画像から風景を検出できるか否かを調べる（ステップ３０６）。画像信号処理部３は、画像データから明るさ≧Ｂｖ１、および色温度≧Ｔ１を検出し、色情報として青色および緑色を検出すると、利用者が人物と風景を撮影するシーンと判定する（ステップ３０７）。ステップ３０６で風景を検出できなければ、画像信号処理部３は、明るさ、色温度および色情報を参照し、画像から夜景を検出できるか否かを調べる（ステップ３０８）。画像信号処理部３は、画像データから明るさ＜Ｂｖ４を検出すると、利用者が人物と夜景を撮影するシーンと判定する（ステップ３０９）。画像から風景も夜景も検出できない場合、画像信号処理部３は、利用者が人物を主にして撮影するシーンと判定する（ステップ３１０）。
【００４５】
一方、ステップ３０５において、画像信号処理部３は、画像から人物の顔を検出できない場合、画像データから明るさ、色温度および色情報を参照し、画像から風景、トワイライトおよび夜景のいずれかが検出できるか判定する（ステップ３１１、３１３、３１５）。画像信号処理部３は、画像データから明るさ≧Ｂｖ１、および色温度≧Ｔ１を検出し、色情報として青色および緑色を検出すると、利用者が風景を撮影するシーンと判定する（ステップ３１２）。画像信号処理部３は、画像データからＢｖ３≦明るさ＜Ｂｖ２、および色温度≧Ｔ２を検出し、色情報として赤色を検出すると、利用者がトワイライトを撮影するシーンと判定する（ステップ３１４）。画像信号処理部３は、画像データから明るさ＜Ｂｖ４を検出すると、利用者が夜景を撮影するシーンと判定する（ステップ３１６）。画像信号処理部３は、画像から風景、トワイライトおよび夜景のいずれも検出できない場合、シーン検出の対象外であると判定する（ステップ３１７）。
【００４６】
画像信号処理部３は、図５に示す表を参照しながら、図６に示す手順にしたがって利用者の撮影シーンを検出すると、図５に示す表における検出シーンの項目の「マクロ」、「人物＋風景」、・・・、「夜景」のうちのいずれかのシーンまたは「シーン外」を、検出したシーンの情報として、シーン判定画像データに含める。
【００４７】
次に、図４に示したシーケンス図において、シーン検出部４３が匂いデータからシーンを検出する際の動作を、図７を参照して説明する。図７は匂いデータに基づくシーン検出の例を示す図である。図７は、検出される匂いと匂い基準テーブルに登録されているシーンとの組み合わせを示す表の一例である。
【００４８】
図７に示すように、シーン検出部４３は、匂いデータに最も近い匂いパターンが森林の匂いのパターンであると、森林が被写体に含まれていると判定する。また、シーン検出部４３は、匂いデータに最も近い匂いパターンが潮の匂いのパターンであると、海が被写体に含まれていると判定する。
【００４９】
また、シーン検出部４３は、匂いデータに最も近い匂いパターンが火薬の匂いのパターンであると、花火が被写体に含まれていると判定する。シーン検出部４３は、匂いデータに最も近い匂いパターンがミルクの匂いのパターンであると、赤ちゃんが被写体に含まれていると判定する。シーン検出部４３は、匂いデータに最も近い匂いパターンが化粧品の匂いのパターンであると、女性が被写体に含まれていると判定する。シーン検出部４３は、匂いデータに最も近い匂いパターンが動物の匂いのパターンであると、ペットが被写体に含まれていると判定する。
【００５０】
図７では、「各種花」の匂いに対応して「各種花」が記述されている。これは、複数種の花のそれぞれの匂いに、複数種の花のそれぞれが対応していることを意味しており、花の種類に応じて匂いと花の名前を組み合わせて記述することを、省略している。図７に示す「各種食べ物」についても、花の場合と同様に、複数種の食べ物のそれぞれの匂いに、複数種の食べ物のそれぞれが対応している。
【００５１】
シーン検出部４３は、匂いデータからシーンを検出すると、図７に示す表における検出シーンの「森林」、「海」、・・・、「各種食べ物」のうち、１以上の要素を、検出したシーンの情報として、シーン判定匂いデータに含める。シーン判定匂いデータには、被写体の情報が含まれることになる。また、シーン検出部４３が匂いデータから複数の要素を検出した場合、シーン判定匂いデータに２以上の要素が含まれることになる。
【００５２】
なお、本実施形態では、シーン検出部４３が匂いデータから複数の要素を検出すると、検出した要素を全てシーン判定匂いデータに含める場合で説明しているが、予め決められた優先順位にしたがって、シーン判定匂いデータに含める要素の数を絞ってもよい。例えば、優先度が大きいほど優先順位が高いとすると、優先度を「赤ちゃん＞女性＞ペット＞森林＞海」のように予め決めておき、優先度の最も大きい２つの要素をシーン判定匂いデータに含めるようにしてもよい。優先度の順位はこの場合に限らない。ただし、検出シーンが図５に示した「人物＋風景」および「風景」の場合には、シーン特定の際、「森林」または「海」の要素が必要になるため、シーン検出部４３は、「森林」または「海」の要素を検出した場合、その要素を常にシーン判定匂いデータに含めるようにしてもよい。
【００５３】
次に、シーン判定部４４が２種類のデータに基づいてシーンを特定する際の動作を説明する。図８はシーン判定画像データとシーン判定匂いデータを組み合わせることで特定されるシーンの例を示す表である。図８に示す表がメモリ４１に予め格納されている。
【００５４】
図８に示すように、シーン判定画像データのシーンの情報に対応して、特定されるシーンが「マクロ」〜「夜景」および「シーン外」の８つのグループに分類されている。図８に示すように、シーン判定画像データで特定される各グループについて、シーン判定匂いデータのシーンの情報に対応して、「花火」、「海」、・・・、および「各種食べ物」などに分類されている。例えば、シーン判定画像データで「マクロ」に分類されたグループでは、匂いデータで「花火」、「各種花」、「各種食べ物」、および「それ以外」に細分化されている。
【００５５】
シーン判定画像データに基づいて、人物が含まれると判定されたシーンのグループでは、シーン判定匂いデータに基づいて、人物が赤ちゃん／女性に細分化され、風景が森林／海／花火に細分化され、人物以外に含まれる被写体としてペット／各種花／各種食べ物に細分化されている。
【００５６】
シーン判定画像データに基づいて「風景」と判定されたシーンのグループでは、シーン判定匂いデータに基づいて、風景が森林／海に細分化され、風景と共に画像に含まれる被写体がペット／各種花に細分化されている。シーン判定画像データに基づいて「トワイライト」と判定されたシーンのグループでは、シーン判定匂いデータに基づいて、海とそれ以外に細分化されている。
【００５７】
シーン判定画像データに基づいて「夜景」と判定されたシーンのグループでは、シーン判定匂いデータに基づいて、花火とそれ以外に細分化されている。シーン判定画像データからは、「マクロ」〜「夜景」の７つのグループのいずれにも該当しないと判定されたシーンのグループでは、シーン判定匂いデータに基づいて、被写体が森林／海／花火／ペット／各種花／各種食べもの／それ以外に細分化されている。
【００５８】
シーン判定部４４は、図８の表に示すように、シーン判定画像データの情報に基づいて、８つの分類から１つのグループを選択し、シーン判定匂いデータの情報に基づいて、画像に含まれる被写体となる要素を選択することで、最終的なシーンを特定する。例えば、シーン判定画像データに「人物＋風景」の情報が含まれており、シーン判定匂いデータに「女性」の情報が含まれている場合、シーン判定部４４は、図８の表に示すＮｏ．８の「女性＋風景」のシーンと特定する。
【００５９】
次に、シーン判定部４４が特定したシーンに対応して、画像信号処理部３に通知する設定情報の具体例を説明する。図９は、シーン判定部が特定したシーンに対応する、画像処理の設定情報の例を示す表である。図９に示す表がメモリ４１に予め格納されている。
【００６０】
シーン判定部４４は、特定したシーンに応じて、画像のコントラスト、明るさ、シャープネス、および色合いなどを、シーン判定匂いデータで特定される被写体に応じて最適化する設定情報を画像信号処理部３に通知する。また、シーン判定部４４は、被写体に応じて、画像信号処理部３に対して画像変換の処理を指示してもよい。画像変換の処理とは、例えば、被写体が女性であれば、検出した顔の小じわ、シミおよびくすみなどを消去したり、顔の中で目や口などのパーツを大きくしたりすることである。小じわ、シミおよびくすみなどを消去することで、透明感のある肌にする効果が得られ、目や口を大きくすることで、目や口元の存在感がアップする効果が得られる。
【００６１】
図９に示す小項目が「赤ちゃん」の場合の設定に示すように、シーン判定部４４は、被写体の人物が笑顔になったことを検出したときの画像をキャプチャする「スマイルシャッター」をＯＮにする旨の設定を、画像信号処理部３に対して行ってもよい。
【００６２】
本実施形態によれば、シーン特定のための情報として、画像データだけでなく、画像とは情報の種類が異なる匂いデータも使用しているため、シーンをより細かく特定することが可能になる。シーンを細かく特定することで、シーンに特化した効果を画像に対してかけることができる。また、シーン特定に使用する匂いデータに被写体の情報が反映されているので、画像データの被写体に対して画像処理を設定することが可能である。よって、本実施形態では、画像処理が間違って設定されてしまうことを抑制でき、利用者は自分が想定するシーンにより合致したシーンの画像を取得できる。
【００６３】
なお、本実施形態では、Ｂａｙｅｒ画像データからのシーン検出および匂いデータからのシーン検出を、画像信号処理部３およびＭＰＵ４で別々に実行させる場合で説明したが、これらのシーン検出の両方をＭＰＵ４に実行させてもよい。この場合、ＭＰＵ４は、画像信号処理部３からシーン検出に使用するＢａｙｅｒ画像データを受け取り、図５および図６を参照して説明したように、画像データからシーンの検出を行う。
【００６４】
また、匂いデータでは赤ちゃんが検出されているが、画像データでは人物の顔が検出されていない場合や、匂いデータから森林が検出されているが、画像データでは風景が検出されていない場合など、匂いデータで検出されたシーンと画像データで検出されたシーンとが合致しない場合も起こり得る。このような場合に、画像処理をどのように設定するかを決めておいてもよい。シーンをより細かく特定できるようになるため、シーンの細分化およびシーン検出精度の向上を図ることができる。
【００６５】
また、画像データの圧縮形式はＪＰＥＧに限らず、画像データの形式はＢａｙｅｒ画像データおよびＹＵＶ画像データに限らない。例えば、表示部デバイス５に画像を表示させる際、制御部４２がＹＵＶ画像データをＲＧＢ画像データに変換して表示デバイス５に送信してもよい。
【００６６】
また、本実施形態では、説明を簡単にするために、被写体が動いている場合や撮影が逆光の場合を除外し、検出対象のシーンが一般的なシーンの場合で説明したが、本実施形態のデジタルカメラに加速度センサを設け、加速度センサが行う手ブレ検出、ならびに画像信号処理部３が行う動体検出および逆光判定のうち、少なくともいずれかの要素を、画像データおよび匂いデータのそれぞれから検出されるシーンに組み合わせることで、特定するシーンをより細分化してもよい。
【符号の説明】
【００６７】
１ レンズ
２ 撮像素子
３ 画像信号処理部
４ ＭＰＵ
５ 表示デバイス
６ 記憶部
７ マイク
８ 匂いセンサ
１１ 撮影装置
１２ 画像検出手段
１３ 匂い検出手段
１４ シーン検出手段
【特許請求の範囲】
【請求項１】
画像データに基づいてシーンを検出する画像検出手段と、
匂いデータに基づいてシーンを検出する匂い検出手段と、
前記画像検出手段で検出されたシーンと前記匂い検出手段で検出されたシーンとに基づいてシーンを特定するシーン検出手段と、
を有する撮影装置。
【請求項２】
請求項１記載の撮影装置において、
前記画像検出手段は、前記画像データに基づいてシーンを検出した後、前記画像データに対して所定の設定に基づいて画像処理を行うものであり、
前記シーン検出手段は、特定したシーンに対応して、前記画像処理の設定を前記画像検出手段に変更させる、撮影装置。
【請求項３】
請求項２記載の撮影装置において、
前記シーン検出手段は、
前記画像データに基づいて検出されるシーンと前記匂いデータに基づいて検出されるシーンとの組み合わせで特定されるシーン毎に、前記画像処理に関する設定情報が記述されたテーブルを予め保持し、該テーブルを参照して、前記特定したシーンに対応する前記設定情報を前記テーブルから読み出して前記画像検出手段に通知することで、前記画像処理の設定を該画像検出手段に変更させる、撮影装置。
【請求項４】
請求項２または３記載の撮影装置において、
前記シーン検出手段は、
前記匂いデータに基づいて検出されたシーンから被写体を特定し、特定した被写体に対応して、該被写体に対する前記画像処理の設定を前記画像検出手段に変更させる、撮影装置。
【請求項５】
画像データに基づいてシーンを検出し、
匂いデータに基づいてシーンを検出し、
前記画像データで検出されたシーンと前記匂いデータで検出されたシーンとに基づいてシーンを特定する、撮影画像処理方法。
【請求項６】
コンピュータに実行させるためのプログラムであって、
画像データに基づいてシーンを検出し、
匂いデータに基づいてシーンを検出し、
前記画像データで検出されたシーンと前記匂いデータで検出されたシーンとに基づいてシーンを特定する処理を前記コンピュータに実行させるためのプログラム。
【請求項１】
画像データに基づいてシーンを検出する画像検出手段と、
匂いデータに基づいてシーンを検出する匂い検出手段と、
前記画像検出手段で検出されたシーンと前記匂い検出手段で検出されたシーンとに基づいてシーンを特定するシーン検出手段と、
を有する撮影装置。
【請求項２】
請求項１記載の撮影装置において、
前記画像検出手段は、前記画像データに基づいてシーンを検出した後、前記画像データに対して所定の設定に基づいて画像処理を行うものであり、
前記シーン検出手段は、特定したシーンに対応して、前記画像処理の設定を前記画像検出手段に変更させる、撮影装置。
【請求項３】
請求項２記載の撮影装置において、
前記シーン検出手段は、
前記画像データに基づいて検出されるシーンと前記匂いデータに基づいて検出されるシーンとの組み合わせで特定されるシーン毎に、前記画像処理に関する設定情報が記述されたテーブルを予め保持し、該テーブルを参照して、前記特定したシーンに対応する前記設定情報を前記テーブルから読み出して前記画像検出手段に通知することで、前記画像処理の設定を該画像検出手段に変更させる、撮影装置。
【請求項４】
請求項２または３記載の撮影装置において、
前記シーン検出手段は、
前記匂いデータに基づいて検出されたシーンから被写体を特定し、特定した被写体に対応して、該被写体に対する前記画像処理の設定を前記画像検出手段に変更させる、撮影装置。
【請求項５】
画像データに基づいてシーンを検出し、
匂いデータに基づいてシーンを検出し、
前記画像データで検出されたシーンと前記匂いデータで検出されたシーンとに基づいてシーンを特定する、撮影画像処理方法。
【請求項６】
コンピュータに実行させるためのプログラムであって、
画像データに基づいてシーンを検出し、
匂いデータに基づいてシーンを検出し、
前記画像データで検出されたシーンと前記匂いデータで検出されたシーンとに基づいてシーンを特定する処理を前記コンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−６２７１１（Ｐ２０１３−６２７１１Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−２００３５０（Ｐ２０１１−２００３５０）
【出願日】平成２３年９月１４日（２０１１．９．１４）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年９月１４日（２０１１．９．１４）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]