説明

画像処理装置及びプログラム

【課題】新たな判定要素を基に撮影シーンを判定できるようにする。
【解決手段】制御部1は、匂い検出部8が撮影環境として周囲の匂いを検出すると、この匂いに基づいて、匂い用の撮影シーン判定テーブルM3−2を検索し、該当する撮影シーンを判定する。匂い検出部8は、匂い物質が感応膜に付着することで電圧変化を検出する複数個の匂いセンサを有し、この複数個の匂いセンサからの検出信号に基づいて匂いの種類を識別して匂いを特定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影シーンを判定する画像処理装置及びプログラムに関する。
【背景技術】
【0002】
近年、デジタルスチルカメラなどの撮像装置において撮影シーン(例えば、風景、夜景、マクロなど)を判定して、その撮影シーンに合った撮影条件として、例えば、AE(自動露出)やAWB(自動ホワイトバランス)などを制御する技術は、日々進歩している。この場合、撮像部から取り込んだスルー画像(ライブビュー画像)に基づいてその画像を解析して、その解析結果から撮影シーンを判定するようにしているが、画像解析のみでは限界があり、判定される撮影シーンの種類もそれほど多くはなかった。そこで、従来では、画像解析以外の手段として集音した音声を基に撮影シーンを判定するようにした技術が開示されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−273280号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した特許文献1の技術にあっては、音声に関する撮影シーンを判定するものであり、例えば、撮影する頻度が多い被写体、例えば、人、花、料理などの被写体に合った撮影シーンまでも判定可能とするものではなかった。
【0005】
本発明の課題は、新たな判定要素を基に撮影シーンを判定できるようにすることである。
【課題を解決するための手段】
【0006】
上述した課題を解決するために本発明の一つの態様は、
撮影環境を基に撮影シーンを判定する画像処理装置であって、
撮影環境として周囲の匂いを検出する匂い検出手段と、
前記匂い検出手段により検出される匂いを基に前記撮影シーンを判定する判定手段と、
を備えることを特徴とする画像処理装置である。
【0007】
上述した課題を解決するために本発明の他の態様は、
コンピュータに対して、
撮影環境として検出される周囲の匂いを基に撮影シーンを判定する機能と、
前記判定された撮影シーンに基づいて撮影条件を制御する機能と、
を実現させるためのプログラムである。
【発明の効果】
【0008】
本発明によれば、新たな判定要素を基に撮影シーンを判定することで判定可能な撮影シーンの種類を増やしたり、撮影シーンを精度良く判定したりすることが可能となる。
【図面の簡単な説明】
【0009】
【図1】画像処理装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。
【図2】ワークメモリM2内のフラグ情報を説明するための図。
【図3】撮影シーン判定テーブルM3を説明するための図。
【図4】カメラの全体動作の概要を示したフローチャート。
【図5】撮影シーン判定処理(図4のステップA7)を詳述するためのフローチャート。
【図6】第2実施形態における撮影シーン判定処理を示したフローチャート。
【発明を実施するための形態】
【0010】
(第1実施形態)
以下、図1〜図5を参照して本発明の第1実施形態を説明する。
図1は、画像処理装置として適用したデジタルカメラの基本的な構成要素を示したブロック図である。
このデジタルカメラ(画像処理装置)は、例えば、フルカラーの静止画像のほかに動画像の撮影も可能なコンパクトカメラで、撮影シーン判定機能を有し、制御部1を中核としている。制御部1は、電源部(二次電池)2からの電力供給によって動作し、記憶部3内の各種のプログラムに応じてこのデジタルカメラ(以下、カメラと略称する)の全体動作を制御する中央演算処理装置である。
【0011】
記憶部3は、例えば、ROM、RAM、フラッシュメモリなどを有する構成で、後述する図4及び図5に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほかに、このカメラが動作するために必要となる各種の情報(例えば、フラグ、タイマなど)を一時的に記憶するワーク領域を有する構成となっている。そして、記憶部3は、プログラムメモリM1、ワークメモリM2などのほか、後述する撮影シーン判定テーブルM3を有する構成で、例えば、SDカード、ICカードなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続された状態においては所定の外部サーバ側の記憶領域を含むものであってもよい。
【0012】
表示部4は、画像を高精細に表示する高精細液晶ディスプレイで、スルー画像(ライブビュー画像)をモニタ表示するファインダ画面(モニタ画面)として機能したり、保存済み画像を表示する再生画面として機能したりする。なお、この表示部4の表面に指の接触を検出する透明なタッチパネルを積層配設することにより、例えば、静電容量方式のタッチスクリーン(タッチ画面)を構成するようにしてもよい。操作部5は、シャッタボタン、モードボタンなど、押しボタン式の各種のキーを備えたもので、制御部1は、この操作部5からの入力操作信号に応じた処理として、例えば、撮影処理、再生処理などを行う。
【0013】
撮像部6は、図示省略したが、レンズ部、撮像素子、A/D(アナログ/デジタル)変換部などを有し、静止画像のほかに動画像の撮影も可能な構成で、ズームレンズ、フォーカスレンズなどを備えたレンズ部からの被写体像が、図示省略した絞りやシャッタを介して撮像素子(CCD又はCMOS)に結像されることにより被写体を高精細に撮影可能な構成となっている。この撮像素子で光電変換された画像信号(アナログ値の信号)に対して、色分離やRGBの色成分毎のゲイン調整などが行われた後に、デジタル値のデータに変換される。そして、デジタル変換された画像データは、色補間処理(デモザイク処理)が施される。このようにしてデモザイク処理された画像データは、表示部4に送られて、スルー画像としてフルカラー表示される。また、撮像部6と制御部1とは、オートフォーカス処理(AF処理)、ズーム処理、露出調整処理(AE処理)、ホワイトバランス調整処理、収差補正処理、画像圧縮処理、画像復元処理などを行う。
【0014】
顔検出部7は、撮影画像(静止画撮影にあってはスルー画像)中の被写体を追尾して認識する被写体認識機能を構成するもので、最大フレームレート(例えば、300fps)で撮像部6から撮像画像を取り込み、フレーム単位毎に撮影画像を解析しながら被写体(例えば、人物やペットなど)の顔の輪郭や顔を形成するバーツ(目、口、鼻、額など)の形や位置関係などを総合的に判断して、被写体の顔を検出すると共に、複数フレームにわたって連続的に登場する同一被写体の顔を追尾するようにしている。制御部1は、撮影時に顔検出部7がオン状態されている状態においてスルー画像を取得して、被写体の顔を検出すると共に、検出した被写体の顔にピントを合わせたり、顔の色を美しくするために露出やホワイトバランスを調整したりする制御を行うようにしているが、このような顔検出機能は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。
【0015】
匂い検出部8は、撮像部6により画像を撮影する場合に、その周囲に漂う匂い(匂いの種類及び強さ)を撮影環境として検出するもので、制御部1は、この匂い検出部8によって検出された検出結果(匂い)を、撮影環境を基に撮影シーンを判定するための判定要素として取得するようにしている。そして、この匂い検出部8は、匂い物質が感応膜に付着することで電圧変化を検出する複数個の匂いセンサを有し、この複数個の匂いセンサからの検出信号に基づいて匂いの種類を識別して匂いを特定したり、その強さを計測したりするようにしている。なお、本実施形態において匂い検出部8は、不快な悪臭などを除き、例えば、匂いの種類として20種類の匂いを識別可能となっているが、その種類や数は任意であるほか、その構成も任意である。
【0016】
匂い検出部8による匂い物質の検知は、食品や化粧品などにとどまらず、人や植物などの匂いも検知可能となっている。なお、本実施形態においては、20種類の匂いとして、例えば、複数種の花の匂い、複数種の料理の匂い、香水の匂い、腋臭の匂い、加齢臭の匂い、潮風の匂い、ミルク臭などを検知することが可能な構成となっている。また、匂いの強度も複数段(例えば、3段階)で検知可能な構成となっている。
【0017】
図2は、ワークメモリM2内のフラグ情報を説明するための図である。
ワークメモリM2には、“撮影シーンフラグF1”、“選択フラグF2”、“判定フラグF3”の3種類のフラグが記憶され、この撮影シーンフラグF1、選択フラグF2、判定フラグF3に対応して、“0”、“1”、“2”のフラグを記憶する構成となっている。撮影シーンフラグF1は、撮影時に撮影シーンの判定を行うか否かを示すフラグで、その値が“0”のときには、“撮影シーンの判定を行わない”、また、“1”のときには、“撮影シーンの判定を行う”、ことを示している。
【0018】
また、“選択フラグF2”は、撮影シーンを判定した結果、複数の撮影シーンが判定結果として決定した場合に、判定した全ての撮影シーンで連続撮影を行うか、ユーザ操作により任意に選択された撮影シーンで撮影を行うかを示すフラグで、その値が“0”のときには、“全ての撮影シーンで連続撮影を行う”、また、“1”のときには、“ユーザ選択の撮影シーンで撮影を行う”、ことを示している。なお、連続撮影とは、例えば、1秒間に10枚の連写が可能な高速撮影を示しているが、その連写枚数は任意である。
【0019】
また、“判定フラグF3”は、撮影シーンを判定する際の判定要素として、画像解析のみで判定を行うか、匂いのみを検出して判定を行うか、匂いを含め総合的に判定を行うかを示すフラグで、その値が“0”のときには、“画像のみで撮影シーン判定を行う”、また、“1”のときには、“匂いのみで撮影シーンの判定を行う”、また、“2”のときには、“匂いを含め総合的に撮影シーンの判定を行う”、ことを示している。なお、図中、「―」は、フラグが設定されていない“フラグなし”の状態を示している。
【0020】
図3は、撮影シーン判定テーブルM3を説明するための図である。
撮影シーン判定テーブルM3は、画像解析により撮影シーンを判定する画像用の撮影シーン判定テーブルM3−1(図3(1)参照)と、匂い検出により撮影シーンを判定する匂い用の撮影シーン判定テーブルM3−2(図3(2)参照)を有している。なお、画像用の撮影シーン判定テーブルM3−1は、既知の内容であるためその説明は省略し、以下、匂い用の撮影シーン判定テーブルM3−2について説明するものとする。
【0021】
匂い用の撮影シーン判定テーブルM3−2は、図3(2)に示すように、撮影シーンを判定する際の判定要素として匂いを含む場合においてその匂いの種類と撮影シーンとの関係を示したテーブルで、「加味要素」、「匂いの種類」、「判定撮影シーン」、「判定回数履歴」の項目を有している。「加味要素」は、匂いと共に判定に加味される要素で、図示の例では“なし”、“マクロ設定”、“画像解析で顔と判定”、“画像解析で風景と判定”が記憶されている。
【0022】
「加味要素」が“なし”とは、撮影シーンを判定する場合に、匂い以外を判定要素として加味しないで撮影シーンを判定することを示し、“マクロ設定”は、マクロ撮影モードの設定を加味して撮影シーンを判定すべきことを示している。“画像解析で顔と判定”は、匂い以外の判定要素として、画像解析の結果である被写体の顔を加味して撮影シーンを判定すべきことを示している。“画像解析で風景と判定”は、匂い以外の判定要素として、画像解析の結果である風景を加味して撮影シーンを判定すべきことを示している。
【0023】
ここで、「加味要素」が“なし”の場合において、例えば、花の匂いから花の種類を判定するために、「匂いの種類」には“花の匂い“が記憶され、「判定撮影シーン」には“花の種類”が記憶されている。料理の匂いから料理の種類を判定するために、「匂いの種類」には“料理の匂い”が記憶され、「判定撮影シーン」には“料理の種類”が記憶されている。香水の匂いから性別を判定するために、「匂いの種類」には“香水の匂い”が記憶され、「判定撮影シーン」には“性別”が記憶されている。以下、同様に、腋臭の匂いから性別判定する内容が記憶され、また、加齢臭の匂いから年齢、潮風の匂いから海辺か否か、ミルク臭から乳児か否か判定する内容が記憶されている。
【0024】
また、「加味要素」が“マクロ設定”の場合において、例えば、花の匂いから被写体としての花の種類を判定するために、「匂いの種類」には“花の匂い“が記憶され、「判定撮影シーン」には“花の種類”が記憶されている。料理の匂いから被写体としての料理の種類を判定するために、「匂いの種類」には“料理の匂い”が記憶され、「判定撮影シーン」には“料理の種類”が記憶されている。「加味要素」が“画像解析で顔の撮影シーンと判定”の場合において、香水の匂いから被写体の性別を判定するために、「匂いの種類」には“香水の匂い”が記憶され、「判定撮影シーン」には“性別”が記憶されている。
【0025】
以下、同様に、腋臭の匂いから被写体の性別を判定する内容が記憶され、また、加齢臭の匂いから被写体の年齢、ミルク臭から乳児か否かを判定する内容が記憶されている。また、「加味要素」が“画像解析で風景であると判定”の場合において、例えば、潮風の匂いから撮影現場は海辺か否かを判定する内容が記憶されている。「判定履歴回数」は、「判定撮影シーン」に対応して過去に判定した回数を記憶するもので、匂いを基に撮影シーンを判定する毎に、この「判定履歴回数」がプラス“1”ずつ更新される。
【0026】
次に、本実施形態におけるカメラの動作概念を図4及び図5に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。
【0027】
図4は、カメラの全体動作の概要を示したフローチャートである。
先ず、制御部1は、所定のメモリ内容をクリアするなどの初期化処理を実行した後(ステップA1)、シャツタボタによる撮影操作が行われたかを調べたり(ステップA2)、その他の操作が行われたかを調べたりしながら(ステップA3)、操作待ちの状態となる。いま、その他の操作として、AE(自動露出)やAWB(自動ホワイトバランス)などの撮影条件の設定を指示する設定操作や画像再生を指示する再生操作などが行われた場合には(ステップA3でYES)、操作に応じた処理として、設定処理や再生処理などを行った後(ステップA4)、ステップA2に戻って操作待ちの状態となる。
【0028】
また、シャッタボタンによる撮影操作が行われた場合には(ステップA2でYES)、撮影シーンフラグF1を参照して、その値は“1”であるかを調べる(ステップA5)。いま、撮影シーンフラグF1が“0”であれば(ステップA5でNO)、撮影シーンの判定を行わない場合であるからステップA6に移り、ユーザが任意に設定した撮影条件に基づいて撮影を実行した後、上述のステップA2に戻って操作待ちの状態となる。また、撮影シーンフラグF1が“1”であれば(ステップA5でYES)、撮影シーン判定処理に移る(ステップA7)。
【0029】
図5は、撮影シーン判定処理(図4のステップA7)を詳述するためのフローチャートである。
先ず、制御部1は、判定フラグF3を参照して、その値は“1”以上であるかを調べ(ステップB1)、その値が“0”であれば(ステップB1でNO)、画像解析のみで判定を行う場合であるからステップB2に移り、画像用の撮影シーン判定テーブルM3−1をアクセスする。そして、撮影画像(スルー画像)を解析すると共にその解析結果に基づいて画像用の撮影シーン判定テーブルM3−1を検索し、その解析結果に基づいて撮影シーンの判定を行う(ステップB3)。その後、図5のフローから抜ける。
【0030】
また、判定フラグF3の値が“1”又は“2”であれば(ステップB1でYES)、匂い検出部8からの検出結果を取得して周囲の匂いを特定することができたかを調べる(ステップB4)。いま、周囲の匂いを特定することができなければ(ステップB4でNO)、上述の場合と同様に、画像用の撮影シーン判定テーブルM3−1をアクセスして(ステップB2)、画像解析の結果に基づいて撮影シーンの判定を行う(ステップB3)。また、匂いを特定することができたときには(ステップB4でYES)、判定フラグF3の値が“2”であるかを調べる(ステップB5)。
【0031】
いま、判定フラグF3の値が“1”であれば、つまり、匂い検出のみで撮影シーンを判定する場合には(ステップB4でNO)、匂いを基に撮影シーンを判定する処理(ステップB10、B12〜16)に移るが、判定フラグF3の値が“2”であれば、つまり、匂いを含めて撮影シーンを総合的に判定する場合には(ステップB5でYES)、匂い以外の判定要素を加味させるための処理を行ってから(ステップB6〜B9)、匂いを基に撮影シーンを判定する処理に移る(ステップB11〜B16)。
【0032】
ここで、匂い以外の判定要素を加味させるための処理では、撮影画像(スルー画像)を取得して画像解析を行い(ステップB6)、その解析結果に基づいて画像用の撮影シーン判定テーブルM3−1を検索して、例えば、被写体の顔を撮影する撮影シーンであるか、風景を撮影する撮影シーンであるかなどの判定を行い、その判別結果を匂い以外の判定要素(加味要素)として取得する(ステップB7)。また、マクロ設定が行われているかを調べ(ステップB8)、マクロ設定が行われていれば(ステップB8でYES)、マクロ撮影モードを匂い以外の判定要素(加味要素)として取得する(ステップB9)。
【0033】
そして、匂いを基に撮影シーンを判定する処理では、先ず、匂い用の撮影シーン判定テーブルM3−2をアクセスするが、判定フラグF3の値が“1”であれば、つまり、匂い検出のみで撮影シーンを判定する場合には(ステップB5でNO)、「加味要素」が“なし”の領域を検索対象として指定する(ステップB10)。また、判定フラグF3の値が“2”であれば、つまり、匂いを含めて撮影シーンを総合的に判定する場合には(ステップB5でYES)、匂い以外の判定要素を加味するために、「加味要素」が“なし”以外の領域を検索対象として指定する(ステップB11)。
【0034】
次に、匂い検出部8によって検出された匂いが複数であるかを調べ(ステップB12)、複数の匂いが検出されたときには(ステップB12でYES)、匂い用の撮影シーン判定テーブルM3−2を検索し、匂いの強さに応じた順に並べた複数の撮影シーンを判定結果として決定する(ステップB13)。例えば、「加味要素」が“なし”の場合において、複数の匂いとして、例えば、花の匂い、香水の匂い、料理の匂いが検出されたものとすると、その強さが「花の匂い>香水の匂い>料理の匂い」であれば、「花の種類」、「性別」、「料理の種類」の順に並べた複数の撮影シーンを判定結果として決定する。なお、このように匂いの強さに応じた順とすることは、匂い以外の判定要素を加味する場合であっても同様である。
【0035】
また、匂い検出部8によって検出された匂いが1種類であれば(ステップB12でNO)、この1種類の匂いが複数の撮影シーンが該当しているかを調べ(ステップB14)、撮影シーンが単数であれば(ステップB14でNO)、その撮影シーンを最終の判定結果として決定するが(ステップB16)、1種類の匂いが複数の撮影シーンが該当していれば(ステップB14でYES)、可能性の高い順に並べた複数の撮影シーンを判定結果として決定する(ステップB15)。この場合、匂い用の撮影シーン判定テーブルM3−2を参照することにより、各撮影シーンに対応する「判定回数履歴」の値をそれぞれ比較することにより、その判定回数の多い順か可能性の高い順とする。
【0036】
このような撮影シーン判定処理が終わると(図4のステップA7)、この処理で判定された撮影シーンは複数であるかを調べ(ステップA8)、撮影シーンが単数であれば(ステップA8でNO)、判定した撮影シーンに基づいて、AE(自動露出)やAWB(自動ホワイトバランス)などの撮影条件を制御して撮影を実行する(ステップA15)。また、判定した撮影シーンが複数であれば(ステップA8でYES)、“選択フラグF2”は“1”であるかを調べ(ステップA9)、“1”であれば(ステップA9でYES)、ユーザが選択した撮影シーンで撮影を行う場合であるから、判定した複数の撮影シーンをリスト表示させ、その中からユーザ操作により任意の撮影シーンが選択されると(ステップA10)、選択された撮影シーンに基づいて撮影条件を制御して撮影を実行する(ステップA11)。
【0037】
更に、“選択フラグF2”が“1”でなければ(ステップA9でNO)、全ての撮影シーンで連続撮影を行う場合であるから、複数の撮影シーンの判定順にしたがってその先頭の撮影シーンからその撮影条件を制御して撮影を実行する(ステップA12)。そして、判定した複数の撮影シーンのうち、撮影を行っていない未撮影シーンが残っているかを調べ(ステップA13)、未撮影シーンが残っていれば(ステップA13でYES)、次の順位の撮影シーンに基づいて撮影条件を制御して撮影を行う(ステップA14)。以下、上述のステップA13に戻り、未撮影シーンに基づいて撮影条件を制御して撮影を実行する処理を繰り返すことによって例えば、1秒間に10枚の連写が可能な高速撮影を行った後(ステップA14)、上述のステップA2に戻る。
【0038】
以上のように、第1実施形態において制御部1は、匂い検出部8が撮影環境として周囲の匂いを検出すると、この匂いを基に撮影シーンを判定するようにしたので、匂いという新たな判定要素を基に撮影シーンを判定することで判定可能な撮影シーンの種類を増やしたり、撮影シーンを精度良く判定したりすることが可能となる。
【0039】
制御部1は、撮像部6により取得される撮像画像と匂い検出部8により検出される匂いを組み合わせて撮影シーンを判定するようにしたので、撮影シーンの判定精度の向上を期待することができる。
【0040】
制御部1は、設定される撮影条件(例えば、マクロ設定)と匂い検出部8により検出される匂いを組み合わせて撮影シーンを判定するようにしたので、撮影シーンの判定精度の向上を期待することができる。
【0041】
制御部1は、匂い検出部8により検出される匂いから複数の撮影シーンを判定した場合に、どの撮影シーンを使用するかを選択するようにしたので、複数の撮影シーンを判定した場合でもユーザの意向を反映させた適切な対応が可能となる。
【0042】
制御部1は、匂い検出部8により検出される複数の匂いを基に撮影シーンを匂いの強さに応じた順に複数判定し、複数の撮影シーンが判定した場合に、どの撮影シーンを使用するかを選択するようにしたので、複数の匂いが検出された場合でも、適切な撮影シーンを判定することができる。
【0043】
制御部1は、判定した撮影シーンに基づいて撮影条件を制御するようにしたので、精度良く判定した撮影シーンに基づいてそれに合った撮影を行うことができる。
【0044】
制御部1は、匂い検出部8により検出される匂いを基に複数の撮影シーンを判定した場合に、複数の撮影シーンに基づいて撮影条件を判定順に制御して連続撮影を行うようにしたので、適切な撮影シーンが含まれた撮影が可能となる。
【0045】
制御部1は、匂い検出部8により検出される複数の匂いを基に複数の撮影シーンが判定した場合に、どの撮影シーンを使用するかに応じて選択された撮影シーンに基づいて撮影条件を制御するようにしたので、ユーザの好みや目的に応じた撮影に対応することができる。
【0046】
制御部1は、匂い検出部8により検出される1種類の匂いから複数の撮影シーンを可能性の高い順(判定履歴の判定回数の多い順)に順次判定した場合に、この複数の撮影シーンに基づいて撮影条件を判定順に制御して連続撮影を行うようにしたので、適切な撮影シーンが含まれた撮影が可能となる。
【0047】
(第2実施形態)
以下、この発明の第2実施形態について図6を参照して説明する。
なお、上述した第1実施形態においては、撮像部6により撮影される撮像画像と匂い検出部8により検出された匂いを組み合わせて撮影シーンを判定するようにしたが、この第2実施形態においては、匂いを基に判定した撮影シーンと、撮像画像を基に判定した撮影シーンが異なる場合に、どちらの撮影シーンを使用するかを選択するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第2実施形態の特徴部分を中心に説明するものとする。
【0048】
図6は、第2実施形態における撮影シーン判定処理を示したフローチャートである。
先ず、制御部1は、匂い検出部8により検出された匂いを取得して(ステップC1)、この匂いに基づいて匂い用の撮影シーン判定テーブルM3−2を検索し、該当する撮影シーンを判定する(ステップC2)。次に、撮像部6により撮影される撮像画像を取得して画像解析を行い(ステップC3)、この解析結果に基づいて画像用の撮影シーン判定テーブルM3−1を検索し、該当する撮影シーンを判定する(ステップC4)。
【0049】
そして、匂いに基づいて判定した撮影シーンと、画像解析により判定した撮影シーンを比較して両者は異なっているかを調べる(ステップC5)。その結果、両者の撮影シーンが異なっていなければ、つまり、一致していれば(ステップC5でNO)、その撮影シーンを判定結果として決定するが(ステップC6)、両者の撮影シーンが異なっていれば(ステップC5でYES)、各撮影シーンをリスト表示させ、その中からユーザ操作により任意の撮影シーンが選択されると(ステップC7)、選択された撮影シーンを判定結果として決定する(ステップC8)。
このようにして判定した撮影シーンに基づいて撮影条件を制御して撮影を行うことは、上述した第1実施形態と同様である。
【0050】
以上のように、第2実施形態において制御部1は、匂いに基づいて判定した撮影シーンと、画像解析により判定した撮影シーンを比較して両者が異なっている場合には、どちらの撮影シーンを使用するかを選択可能として、選択された撮影シーンに基づいて撮影条件を制御するようにしたので、上述した第1実施形態と同様に、匂いという新たな判定要素を基に撮影シーンを判定することで判定可能な撮影シーンの種類を増やしたり、撮影シーンを精度良く判定したりすることが可能となるほか、ユーザの好みや目的に応じた撮影に対応できる。
【0051】
なお、上述した各実施形態においては、自動露出や自動ホワイトバランスなどを調整する撮影条件を制御するようにしたが、判定した撮影シーンに基づいて撮影済み画像に補正を施す画像加工処理を行うようにしてもよい。
【0052】
また、上述の実施形態では撮像部6から取り込んだスルー画像を基に撮影シーンを判定するようにしているが、撮影済みの画像を基に撮影シーンを判定するようにしてもよい。このように撮像済み画像を解析することにより撮影シーンを判定するようにすれば、その撮影シーンに合わせて何時でも自由に撮像済み画像を修正することが可能となる。また、上述の実施形態では撮影時に匂い検出部8により検出された検出結果に基づいて、撮影シーンを判定するようにしたが、匂いと撮像済み画像とを対応付けて記録保存しておき、この匂いを基に撮影シーンを判定するようにすれば、その撮影シーンに合わせて何時でも自由に撮像済み画像を修正することが可能となる。
【0053】
また、上述した実施形態においては、画像処理装置として適用したデジタルカメラに適用した場合を示したが、これに限らず、例えば、パーソナルコンピュータ、PDA、音楽プレイヤーなどであっても同様に適用可能である。
【0054】
また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【0055】
以上、この発明のいくつかの実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
(付記)
(請求項1)
請求項1に記載の発明は、
撮影環境を基に撮影シーンを判定する画像処理装置であって、
撮影環境として周囲の匂いを検出する匂い検出手段と、
前記匂い検出手段により検出される匂いを基に前記撮影シーンを判定する判定手段と、
を備えることを特徴とする画像処理装置である。
(請求項2)
請求項2に記載の発明は、請求項1記載の画像処理装置において、
前記判定手段は、当該画像処理装置が備える撮像部により取得される撮像画像と前記匂い検出手段により検出される匂いを組み合わせて前記撮影シーンを更に判定する、
ようにしたことを特徴とする画像処理装置である。
(請求項3)
請求項3に記載の発明は、請求項1あるいは請求項2に記載の画像処理装置において、
撮影条件を設定する撮影設定手段を更に備え、
前記判定手段は、前記撮影設定手段により設定される撮影条件と前記匂い検出手段により検出される匂いを組み合わせて前記撮影シーンを更に判定する、
ようにしたことを特徴とする画像処理装置である。
(請求項4)
請求項4に記載の発明は、請求項1〜請求項3のいずれかに記載の画像処理装置において、
前記判定手段は、前記匂い検出手段により検出される匂いから複数の撮影シーンを判定し、
前記判定手段により複数の撮影シーンが判定された場合に、どの撮影シーンを使用するかを選択する選択手段を、更に備える、
ようにしたことを特徴とする画像処理装置である。
(請求項5)
請求項5に記載の発明は、請求項請求項1〜請求項3のいずれかにに記載の画像処理装置において、
前記判定手段は、前記匂い検出手段により検出される複数の匂いを基に前記撮影シーンを前記匂いの強さに応じた順に複数判定し、
前記判定手段により複数の撮影シーンが判定された場合に、どの撮影シーンを使用するかを選択する選択手段を、更に備える、
ようにしたことを特徴とする画像処理装置である。
(請求項6)
請求項6に記載の発明は、請求項1〜請求項5のいずれかに記載の画像処理装置において、
前記判定手段により判定された撮影シーンに基づいて撮影条件を制御する撮影制御手段を、更に備える、
ようにしたことを特徴とする画像処理装置である。
(請求項7)
請求項7に記載の発明は、請求項6に記載の画像処理装置において、
前記判定手段は、前記匂い検出手段により検出される匂いを基に記撮影シーンを複数判定し、
前記撮影制御手段は、前記判定手段により判定された複数の撮影シーンに基づいて撮影条件を前記判定順に制御して連続撮影を行う、
ようにしたことを特徴とする画像処理装置である。
(請求項8)
請求項8に記載の発明は、請求項6に記載の画像処理装置において、
前記判定手段は、前記匂い検出手段により検出される複数の匂いを基に前記撮影シーンを複数判定し、
前記判定手段により複数の撮影シーンが判定された場合に、どの撮影シーンを使用するかを選択する選択手段を、更に備え、
前記撮影制御手段は、前記選択手段により選択された撮影シーンに基づいて撮影条件を制御する、
ようにしたことを特徴とする画像処理装置である。
(請求項9)
請求項9に記載の発明は、請求項6に記載の画像処理装置において、
前記判定手段は、前記匂い検出手段により検出される1種類の匂いから複数の撮影シーンを可能性の高い順に順次判定し、
前記撮影制御手段は、前記判定手段により判定された複数の撮影シーンに基づいて撮影条件を前記判定順に制御して連続撮影を行う、
ようにしたことを特徴とする画像処理装置である。
(請求項10)
請求項10に記載の発明は、請求項9に記載の画像処理装置において、
撮影シーン毎に過去の判定結果を判定履歴として記憶する判定履歴記憶手段を更に備え、
前記判定手段は、前記複数の撮影シーンを可能性の高い順に順次判定する際に、前記判定履歴記憶手段の内容を参照し、判定回数の多い順に判定する、
ようにしたことを特徴とする画像処理装置である。
(請求項11)
請求項11に記載の発明は、請求項6記載に記載の画像処理装置において、
前記判定手段は、当該画像処理装置が備える撮像部により取得される撮像画像を基に撮影シーンを更に判定し、
前記判定手段により前記匂いを基に判定された前記撮影シーンと前記撮像画像を基に判定された前記撮影シーンが異なる場合に、どちらの撮影シーンを使用するかを選択する選択手段を、更に備え、
前記撮影制御手段は、前記選択手段により選択された撮影シーンに基づいて撮影条件を制御する、
ようにしたことを特徴とする画像処理装置である。
(請求項12)
請求項12に記載の発明は、
コンピュータに対して、
撮影環境として検出される周囲の匂いを基に撮影シーンを判定する機能と、
前記判定された撮影シーンに基づいて撮影条件を制御する機能と、
を実現させるためのプログラムである。
【符号の説明】
【0056】
1 制御部
3 記憶部
4 表示部
5 操作部
6 撮像部
7 顔検出部
8 匂い検出部
M1 プログラムメモリ
M3 撮影シーン判定テーブル
M3−1 画像用の撮影シーン判定テーブル
M3−2 匂い用の撮影シーン判定テーブル

【特許請求の範囲】
【請求項1】
撮影環境を基に撮影シーンを判定する画像処理装置であって、
撮影環境として周囲の匂いを検出する匂い検出手段と、
前記匂い検出手段により検出される匂いを基に前記撮影シーンを判定する判定手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記判定手段は、当該画像処理装置が備える撮像部により取得される撮像画像と前記匂い検出手段により検出される匂いを組み合わせて前記撮影シーンを更に判定する、
ようにしたことを特徴とする請求項1記載の画像処理装置。
【請求項3】
撮影条件を設定する撮影設定手段を更に備え、
前記判定手段は、前記撮影設定手段により設定される撮影条件と前記匂い検出手段により検出される匂いを組み合わせて前記撮影シーンを更に判定する、
ようにしたことを特徴とする請求項1あるいは請求項2に記載の画像処理装置。
【請求項4】
前記判定手段は、前記匂い検出手段により検出される匂いから複数の撮影シーンを判定し、
前記判定手段により複数の撮影シーンが判定された場合に、どの撮影シーンを使用するかを選択する選択手段を、更に備える、
ようにしたことを特徴とする請求項1〜請求項3のいずれかに記載の画像処理装置。
【請求項5】
前記判定手段は、前記匂い検出手段により検出される複数の匂いを基に前記撮影シーンを前記匂いの強さに応じた順に複数判定し、
前記判定手段により複数の撮影シーンが判定された場合に、どの撮影シーンを使用するかを選択する選択手段を、更に備える、
ようにしたことを特徴とする請求項1〜請求項3のいずれかにに記載の画像処理装置。
【請求項6】
前記判定手段により判定された撮影シーンに基づいて撮影条件を制御する撮影制御手段を、更に備える、
ようにしたことを特徴とする請求項1〜請求項5のいずれかに記載の画像処理装置。
【請求項7】
前記判定手段は、前記匂い検出手段により検出される匂いを基に記撮影シーンを複数判定し、
前記撮影制御手段は、前記判定手段により判定された複数の撮影シーンに基づいて撮影条件を前記判定順に制御して連続撮影を行う、
ようにしたことを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記判定手段は、前記匂い検出手段により検出される複数の匂いを基に前記撮影シーンを複数判定し、
前記判定手段により複数の撮影シーンが判定された場合に、どの撮影シーンを使用するかを選択する選択手段を、更に備え、
前記撮影制御手段は、前記選択手段により選択された撮影シーンに基づいて撮影条件を制御する、
ようにしたことを特徴とする請求項6に記載の画像処理装置。
【請求項9】
前記判定手段は、前記匂い検出手段により検出される1種類の匂いから複数の撮影シーンを可能性の高い順に順次判定し、
前記撮影制御手段は、前記判定手段により判定された複数の撮影シーンに基づいて撮影条件を前記判定順に制御して連続撮影を行う、
ようにしたことを特徴とする請求項6に記載の画像処理装置。
【請求項10】
撮影シーン毎に過去の判定結果を判定履歴として記憶する判定履歴記憶手段を更に備え、
前記判定手段は、前記複数の撮影シーンを可能性の高い順に順次判定する際に、前記判定履歴記憶手段の内容を参照し、判定回数の多い順に判定する、
ようにしたことを特徴とする請求項9に記載の画像処理装置。
【請求項11】
前記判定手段は、当該画像処理装置が備える撮像部により取得される撮像画像を基に撮影シーンを更に判定し、
前記判定手段により前記匂いを基に判定された前記撮影シーンと前記撮像画像を基に判定された前記撮影シーンが異なる場合に、どちらの撮影シーンを使用するかを選択する選択手段を、更に備え、
前記撮影制御手段は、前記選択手段により選択された撮影シーンに基づいて撮影条件を制御する、
ようにしたことを特徴とする請求項6記載に記載の画像処理装置。
【請求項12】
コンピュータに対して、
撮影環境として検出される周囲の匂いを基に撮影シーンを判定する機能と、
前記判定された撮影シーンに基づいて撮影条件を制御する機能と、
を実現させるためのプログラム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate