撮像装置、画像検出装置及びプログラム
【課題】被写体の検出精度の向上を図る。
【解決手段】被写体を撮像して主要被写体を含む被写体画像の画像データを取得する撮像部１と、被写体画像内の主要被写体である人物から発せられた音声を集音する集音部６とを備える撮像装置１００に、撮像部により取得された画像データ及び集音部により集音された音声に基づいて、被写体画像内の主要被写体を検出する処理を行うＣＰＵ７１を備え、ＣＰＵは、集音部により集音された音に基づいて主要被写体の属性を特定し、当該属性に基づいて、検出すべき当該主要被写体の検出基準を変更する。
【解決手段】被写体を撮像して主要被写体を含む被写体画像の画像データを取得する撮像部１と、被写体画像内の主要被写体である人物から発せられた音声を集音する集音部６とを備える撮像装置１００に、撮像部により取得された画像データ及び集音部により集音された音声に基づいて、被写体画像内の主要被写体を検出する処理を行うＣＰＵ７１を備え、ＣＰＵは、集音部により集音された音に基づいて主要被写体の属性を特定し、当該属性に基づいて、検出すべき当該主要被写体の検出基準を変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主要被写体の検出を行う撮像装置、画像検出装置及びプログラムに関する。
【背景技術】
【０００２】
従来、撮像装置により主要被写体の画像検出を行い、集音装置により主要被写体の音声検出を行うことにより、画像検出された被写体の方向と音声検出された被写体の方向が一致するか否かを判定して、一致しなかった場合は認識エラーとした技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２７４７０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の場合、画像検出と音声検出は互いに独立した処理となっており、被写体の検出に音声認識結果を利用して、被写体の検出精度を向上させるものではなく、被写体の検出精度の向上が課題となっていた。
【０００５】
そこで、本発明の課題は、被写体の検出精度を向上できる撮像装置、画像検出装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明の撮像装置は、
被写体を撮像して主要被写体を含む被写体画像の画像情報を取得する撮像手段と、前記主要被写体から発せられた音を集音する集音手段と、前記撮像手段により取得された前記画像情報及び前記集音手段により集音された音に基づいて、前記被写体画像内の前記主要被写体を検出する主要被写体検出手段と、を備え、前記主要被写体検出手段は、前記集音手段により集音された音に基づいて前記主要被写体の属性を特定し、当該属性に基づいて、検出すべき当該主要被写体の検出基準を変更することを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記主要被写体検出手段は、前記主要被写体の属性として、当該主要被写体に係る性別及び年齢のうち、少なくとも何れか一つを特定することを特徴としている。
【０００８】
請求項３に記載の発明は、請求項１又は２に記載の撮像装置において、
前記主要被写体は、人物の顔であり、前記主要被写体検出手段は、前記主要被写体の属性として、前記人物に係る性別及び年齢のうち、少なくとも何れか一つを特定し、当該人物に係る性別及び年齢のうち、少なくとも何れか一つに基づいて、検出すべき前記人物に係る顔パーツの位置関係の基準を変更することを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の撮像装置において、
前記主要被写体検出手段は、特定された前記主要被写体の属性の重要度を高くするように、検出すべき当該主要被写体の検出基準を変更することを特徴としている。
【００１０】
請求項５に記載の発明は、請求項４に記載の撮像装置において、
前記主要被写体検出手段により検出された前記人物の顔について人物の認識を行う顔認識手段を備えることを特徴としている。
【００１１】
請求項６に記載の発明は、請求項５に記載の撮像装置において、
前記集音手段により集音された音を認識して前記人物の顔の認識用特徴情報を特定する特徴情報特定手段と、前記特徴情報特定手段により特定された前記認識用特徴情報の前記顔認識手段による顔認識に係る重要度を高くするように変更する特徴重要度変更手段と、を備えることを特徴としている。
【００１２】
請求項７に記載の発明は、請求項６に記載の撮像装置において、
前記認識用特徴情報は、前記人物の性別及び年齢のうち、少なくとも何れか一つであることを特徴としている。
【００１３】
請求項８に記載の発明は、請求項５〜７の何れか一項に記載の撮像装置において、
前記顔認識手段により認識された前記人物の名前を表示する名前表示手段を備えることを特徴としている。
【００１４】
請求項９に記載の発明のプログラムは、
被写体を撮像して被写体画像の画像情報を取得する撮像手段と、前記被写体画像内の主要被写体から発せられた音を集音する集音手段と、を備える撮像装置に、前記撮像手段により取得された前記画像情報及び前記集音手段により集音された音に基づいて、前記被写体画像内の前記主要被写体を検出する主要被写体検出機能、を実現させ、前記主要被写体検出機能は、前記集音手段により集音された音に基づいて前記主要被写体の属性を特定し、当該属性に基づいて、検出すべき当該主要被写体の検出基準を変更することを特徴としている。
【００１５】
請求項１０に記載の発明の画像検出装置は、
主要被写体を有する画像情報を取得する画像取得手段と、前記主要被写体から発せられた音を集音する集音手段と、前記画像取得手段により取得された前記画像情報及び前記集音手段により集音された音に基づいて、前記画像情報内の前記主要被写体を検出する主要被写体検出手段と、を備え、前記主要被写体検出手段は、前記集音手段により集音された音に基づいて前記主要被写体の属性を特定し、当該属性に基づいて、検出すべき当該主要被写体の検出基準を変更することを特徴としている。
【発明の効果】
【００１６】
本発明によれば、主要被写体から発せられた音の情報を利用して主要被写体の検出基準を変更して主要被写体の検出を行うことができ、この結果、主要被写体の検出精度の向上を図ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置の画像表示部に表示された被写体画像の一例を模式的に示す図である。
【図３】図１の撮像装置のデータ記憶部に記憶されている顔画像データと音声データの一例を模式的に示す図である。
【図４】図１の撮像装置による撮像処理に係る動作の一例を模式的に示す図である。
【図５】変形例１の撮像装置の概略構成を示すブロック図である。
【図６】図５の撮像装置の画像表示部に表示された被写体画像の一例を模式的に示す図である。
【図７】図５の撮像装置のデータ記憶部に記憶されている人物の名前と顔画像データと音声データの一例を模式的に示す図である。
【図８】変形例２の撮像装置の概略構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
【００１９】
本実施形態の撮像装置１００は、主要被写体である人物から発せられた音を認識して、発音方向、人物の性別、年齢及び国籍等の音関連検出用情報を特定して、当該音関連検出用情報の重要度を高くして顔検出を行なう。
具体的には、撮像装置１００は、図１に示すように、撮像部１と、撮像補助部２と、表示部３、操作部４と、記録媒体５と、集音部６と、制御部７と、データ記憶部８等を備えて構成されている。
【００２０】
撮像部１は、撮像レンズ群１１と、電子撮像部１２と、映像信号処理部１３と、画像メモリ１４と、撮影制御部１５等を備えている。
【００２１】
撮像レンズ群１１は、複数の撮像レンズから構成されている。
電子撮像部１２は、撮像レンズ群１１を通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等の撮像素子から構成されている。
映像信号処理部１３は、電子撮像部１２から出力される画像信号に対して所定の画像処理を施すものである。
画像メモリ１４は、画像処理後の画像信号を一時的に記憶する。
撮影制御部１５は、ＣＰＵ７１の制御下にて、電子撮像部１２及び映像信号処理部１３を制御する。具体的には、撮影制御部１５は、電子撮像部１２に所定の露出時間で被写体を撮像させ、当該電子撮像部１２の撮像領域から画像信号を所定のフレームレートで読み出す処理の実行を制御する。
【００２２】
上記構成の撮像部１は、被写体を撮像して撮像画像データ（画像信号）を取得する撮像手段を構成している。
【００２３】
撮像補助部２は、撮像部１による被写体の撮像の際に駆動するものであり、例えば、フォーカス駆動部２１と、ズーム駆動部２２等を備えている。
【００２４】
フォーカス駆動部２１は、撮像レンズ群１１に接続されたフォーカス機構部（図示略）を駆動させる。
ズーム駆動部２２は、撮像レンズ群１１に接続されたズーム機構部（図示略）を駆動させる。
なお、フォーカス駆動部２１及びズーム駆動部２２は、撮影制御部１５に接続され、撮影制御部１５の制御下にて駆動する。
【００２５】
表示部３は、撮像部１により撮像された画像を表示するものであり、表示制御部３１と、画像表示部３２等を備えている。
【００２６】
表示制御部３１は、ＣＰＵ７１から適宜出力される表示データを一時的に保存するビデオメモリ（図示略）を備えている。
【００２７】
画像表示部３２は、表示制御部３１からの出力信号に基づいて表示画面に所定の画像や情報を表示する。具体的には、画像表示部３２は、撮像処理にて撮像された被写体画像（図２（ａ）及び図２（ｂ）参照）を表示し、顔検出処理（後述）にて顔が検出されると、当該顔に略矩形状の枠Ｗを重畳表示する（図２（ｂ）参照）。
なお、図２（ａ）にあっては、主要被写体としての女子の各々から発せられた音声「撮ってね〜」及び「こっち〜」を模式的にふきだしで表している。
【００２８】
操作部４は、当該撮像装置１００の所定操作を行うためのものであり、例えば、操作入力部４１と、入力回路４２等を備えている。
【００２９】
操作入力部４１は、撮像部１による被写体の撮像を指示するシャッターボタン４１ａを備えている。シャッターボタン４１ａは、例えば、半押し操作及び全押し操作の２段階の押圧操作が可能に構成され、各操作段階に応じた所定の操作信号を出力する。
入力回路４２は、操作入力部４１から出力され入力された操作信号をＣＰＵ７１に入力するためのものである。
【００３０】
記録媒体５は、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等により構成され、撮像部１により生成された撮像画像データを記録する。
【００３１】
集音部６は、例えば、マイクやアンプ（図示略）等を備え、周囲から発せられた所定の音を集音して音声データを生成し、音声データをＣＰＵ７１に出力する。具体的には、集音部６は、集音手段として、主要被写体としての女子（人物）から発せられた音声、例えば、「撮ってね〜」及び「こっち〜」等を集音する（図２（ａ）参照）。
マイクは、指向性を有し、人物（主要被写体）の発音方向、即ち、話者方向の特定のために複数設けられている。
【００３２】
データ記憶部８は、顔検出処理にて検出された顔画像データと、集音部６により生成された音声データを対応付けて記憶する（図３（ａ）及び図３（ｂ）参照）。例えば、顔検出処理にて検出された左側の女子（図２（ｂ）参照）の顔画像データと、音声データ「撮ってね〜」を対応付けて記憶したり（図３（ａ）参照）、右側の女子（図２（ｂ）参照）の顔画像データと、音声データ「こっち〜」を対応付けて記憶する（図３（ｂ）参照）。
なお、上記では顔画像データとしたが、当然顔画像データそのものではなく、顔画像の特徴部分を示すデータを記憶するようにしても良い。
また同様に、上記では音声データとしたが、当然音声データそのものではなく、音声の特徴部分を示すデータを記憶するようにしても良い。
なお、顔検出処理にて検出された顔に係る人物の名前は、例えば、操作入力部４１の所定操作に基づいて事後的に入力されるようになっている。
これにより、その後に行われる顔検出処理及び顔認識処理にて、データ記憶部８に記憶されている顔画像データや音声データ等を用いて、主要被写体である人物の認識（特定）を好適に行うことができる。
【００３３】
制御部７は、撮像装置１００の各部を制御するものであり、例えば、ＣＰＵ７１と、プログラムメモリ７２と、データメモリ７３等を備えている。
【００３４】
ＣＰＵ７１は、プログラムメモリ７２に記憶された撮像装置１００用の各種処理プログラムに従って各種の制御動作を行うものである。
【００３５】
データメモリ７３は、例えば、フラッシュメモリ等により構成され、ＣＰＵ７１によって処理されるデータ等を一時記憶する。
【００３６】
プログラムメモリ７２は、ＣＰＵ７１の動作に必要な各種プログラムやデータを記憶するものである。具体的には、プログラムメモリ７２は、顔検出プログラム７２ａ、検出用情報特定プログラム７２ｂ、重要度変更プログラム７２ｃ、検出用情報特定用データｄ等を記憶している。
【００３７】
顔検出プログラム７２ａは、ＣＰＵ７１を主要被写体検出手段として機能させるものである。即ち、顔検出プログラム７２ａは、撮像部１により生成された撮像画像データに基づいて、被写体画像内の主要被写体として人物の顔を検出する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１が顔検出プログラム７２ａを実行することで、複数の撮像画像データのうち、一の撮像画像データについて顔探索枠を所定方向に走査して、目、鼻、ロなどに相当する特徴部分（顔パーツ）を特定して、各顔パーツの位置関係から顔であるか否かを判定し、顔であると判定されると当該探索枠領域を顔領域として検出する。また、顔検出処理は、後述する重要度変更処理にて変更された音関連検出用情報の重要度を考慮して行われる。
なお、上記の顔検出処理の方法は、一例であって、これに限られるものではない。
【００３８】
検出用情報特定プログラム７２ｂは、ＣＰＵ７１を検出用情報特定手段として機能させるものである。即ち、検出用情報特定プログラム７２ｂは、集音部６により集音された音に基づいて、顔検出処理による人物の顔の検出用の音関連検出用情報、例えば、発音方向、性別、年齢及び国籍等を特定する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１が検出用情報特定プログラム７２ｂを実行することで、集音部６の複数のマイクにより集音されて生成された音声データを分析して、当該分析結果に基づいて主要被写体の話者方向を特定したり、検出用情報特定用データｄを参照して、主要被写体の性別、年齢及び国籍を特定する。
なお、音声認識により、発話者の年齢、性別、国籍を推定する技術は、特開２００３−３３０４８５号公報において公知である。
【００３９】
重要度変更プログラム７２ｃは、ＣＰＵ７１を重要度変更手段として機能させるものである。即ち、重要度変更プログラム７２ｃは、顔検出処理による人物の顔の検出の際に、検出用情報特定処理にて特定された主要被写体の発音方向、性別、年齢及び国籍等の重要度を高くするように変更する重要度変更処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１が重要度変更プログラム７２ｃを実行することで、顔検出処理において、顔検出を主要被写体の話者方向を中心として実行したり、各顔パーツの位置関係の基準を性別、年齢及び国籍に応じて変更したり、顔の主要部をなす肌色の濃淡の基準を国籍に応じて変更することにより、特定の人物を検出し易くすることができる。
なお、顔検出により、検出した顔の年齢、性別、国籍を推定する技術は、特開２００７−８００５７号公報において公知である。この文献に記載されているのは、検出した顔から所定の特徴を見出すものであるが、これを逆利用することにより、所定の特徴から所定の顔の重要度を向上させて、検出し易くすることが可能になる。
なお、重要度変更処理における主要被写体の発音方向、性別、年齢及び国籍等の諸要素の重要度の変更の有無の設定は、例えば、操作入力部４１の所定操作に基づいて事前に変更することができるようになっている。
【００４０】
検出用情報特定用データｄは、性別、年齢別、国籍別などに区分された複数種の基準音響モデルデータである。例えば、男性用の基準音響モデルは、３００Ｈｚ前後の低い周波数からなり、女性用の基準音響モデルは、４００Ｈｚ前後で、男性に比べて高い周波数となっている。
【００４１】
次に、撮像処理について図４を参照して詳細に説明する。
ここで、図４は、撮像処理に係る動作の一例を示すフローチャートである。
【００４２】
図４に示すように、先ず、撮像部１による被写体の撮像が開始されると、ＣＰＵ７１は、撮像部１により撮像され生成された画像データに基づいてスルー画像を画像表示部３２に表示させる（ステップＳ１）。
【００４３】
次に、集音部６により被写体の主要被写体から発せられた音声を集音されると（ステップＳ２）、ＣＰＵ７１は、集音部６により集音され音声が所定音量以上か否かを判定する（ステップＳ３）。
ここで、音声が所定音量以上であると判定されると（ステップＳ３；ＹＥＳ）、ＣＰＵ７１は、プログラムメモリ７２内の検出用情報特定プログラム７２ｂを実行して、集音部６により生成された音声データを分析して、当該分析結果に基づいて主要被写体の話者方向を特定したり、検出用情報特定用データｄを参照して、主要被写体の性別、年齢及び国籍を特定する（ステップＳ４）。
なお、ステップＳ２にて、主要被写体からの音声の認識率を向上させる上では、予め所定の言葉（例えば、「撮ってね〜」等）を登録しておき、当該言葉を主要被写体にしゃべって貰うようにしても良い。
【００４４】
そして、ＣＰＵ７１は、プログラムメモリ７２内の重要度変更プログラム７２ｃを実行して、特定された人物の顔の検出用の音関連検出用情報、例えば、主要被写体の発音方向、性別、年齢及び国籍等の重要度を高くする（ステップＳ５）。具体的には、ＣＰＵ７１は、顔検出の中心を主要被写体の話者方向としたり、各顔パーツの位置関係の基準を性別、年齢及び国籍に応じて変更したり、顔の主要部をなす肌色の濃淡の基準を国籍に応じて変更する。
続けて、ＣＰＵ７１は、プログラムメモリ７２内の顔検出プログラム７２ａを実行して、撮像部１により生成された撮像画像データに基づいて、被写体画像内の人物の顔を検出する顔検出処理を実行する（ステップＳ６）。具体的には、ＣＰＵ７１は、重要度変更処理にて変更された音関連検出用情報の重要度を考慮して、主要被写体の話者方向を中心として顔検出を行ったり、性別、年齢及び国籍に応じて各顔パーツの位置関係の基準を変更したり、国籍に応じて顔の主要部をなす肌色の濃淡の基準を変更して、顔検出を行う。
そして、顔検出処理にて人物の顔が検出されると、ＣＰＵ７１は、当該顔に略矩形状の顔検出枠Ｗ（図２（ｂ）参照）を画像表示部３２にＯＳＤ表示させる（ステップＳ７）。
【００４５】
なお、ステップＳ３にて、集音された音声が所定音量以上ではないと判定されると（ステップＳ３；ＮＯ）、ステップＳ６に移行して、ＣＰＵ７１は、重要度変更処理を行うことなく、顔検出処理を行う。
【００４６】
その後、ユーザによりシャッターボタン４１ａが半押し操作されると（ステップＳ８；ＹＥＳ）、ＣＰＵ７１は、顔検出処理にて検出された顔に重畳された顔検出枠Ｗを測光エリアとして露出条件を調整する自動露出処理（ＡＥ）や、顔検出枠Ｗを測距エリアとして合焦位置を調整する自動合焦処理（ＡＦ）を行う（ステップＳ９）。
そして、ユーザによるシャッターボタン４１ａが半押し操作が解除されることなく（ステップＳ１０；ＮＯ）、シャッターボタン４１ａが全押し操作されると（ステップＳ１１；ＹＥＳ）、ＣＰＵ７１は、静止画像（本画像）を撮像記録する処理を実行する（ステップＳ１２）。
【００４７】
その後、ＣＰＵ７１は、顔検出処理にて検出された顔の顔画像データを抽出して、当該顔画像データと、集音部６により集音された音声データを対応付けてデータ記憶部８に記憶させる（ステップＳ１３）。
【００４８】
なお、ステップＳ８にて、ユーザによりシャッターボタン４１ａの半押し操作が行われない場合（ステップＳ８；ＮＯ）や、ステップＳ１０にて、ユーザによるシャッターボタン４１ａの半押し操作が解除されると（ステップＳ１０；ＹＥＳ）、ステップＳ１に戻る。
【００４９】
以上のように、本実施形態の撮像装置１００によれば、集音部６により集音された音の音声データに基づいて、顔検出処理による顔検出用の話者方向、性別、年齢及び国籍等の音関連検出用情報を特定して、顔検出処理の際に、特定された音関連検出用情報の重要度を高くするように変更する。即ち、顔検出処理において、顔検出の中心を主要被写体の話者方向としたり、各顔パーツの位置関係の基準を性別、年齢及び国籍に応じて変更したり、顔の主要部をなす肌色の濃淡の基準を国籍に応じて変更する。
従って、主要被写体である人物から発せられた音の情報を利用して主要被写体である人物の属性を特定し、当該属性に基づいて、検出すべき主要被写体である人物の検出基準を変更して当該人物の顔検出を行うことができ、この結果、主要被写体の検出精度の向上を図ることができる。さらに、顔検出処理の迅速化を図ることができる。
【００５０】
また、主要被写体である人物の発音方向、性別、年齢及び国籍等を音関連検出用情報として適用したので、当該音関連検出用情報を用いて顔検出処理をより適正に行うことができる。
【００５１】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、撮像装置の変形例について図５〜図８を参照して説明する。
【００５２】
＜変形例１＞
変形例１の撮像装置２００は、主要被写体としての人物から発せられた音を認識して当該人物の顔画像情報を特定して、特定された顔画像情報に基づいて顔検出処理を行う。
具体的には、図５に示すように、変形例１の撮像装置２００のプログラムメモリ７２は、顔検出プログラム７２ａ、検出用情報特定プログラム７２ｂ、重要度変更プログラム７２ｃ、検出用情報特定用データｄに加えて、顔画像情報特定プログラム７２ｄ、顔認識プログラム７２ｅを記憶している。
【００５３】
顔画像情報特定プログラム７２ｄは、ＣＰＵ７１を顔画像情報特定手段として機能させるものである。即ち、顔画像情報特定プログラム７２ｄは、集音部６により集音された音の音声データに基づいて、データ記憶部８に音声データと対応付けて記録されている顔画像データを特定する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、顔検出処理にて、ＣＰＵ７１が顔画像情報特定プログラム７２ｄを実行することで、被写体の撮像の際に集音部６により集音された音の音声データ（例えば、「おいしい！」；図６（ａ）参照）を分析し、当該音声データの周波数特性に基づいて、データ記憶部８に音声データ（例えば、「楽しい」及び「おもしろい」等）と対応付けて記録されている顔画像データ（例えば、「かおり」の顔画像データ）を特定する（図７（ａ）参照）。
そして、ＣＰＵ７１がプログラムメモリ７２内の顔検出プログラム７２ａを実行することで、顔画像情報特定処理にて特定された顔画像データを基準として被写体内から主要被写体である人物の顔の検出を行う。
【００５４】
顔認識プログラム７２ｅは、ＣＰＵ７１を顔認識手段として機能させるものである。即ち、顔認識プログラム７２ｅは、顔検出処理にて検出された人物の顔の認識を行う顔認識処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１が顔認識プログラム７２ｅを実行することで、データ記憶部８を参照して、顔検出処理にて検出された人物の顔を認識して、当該人物の名前を特定する。
そして、ＣＰＵ７１は、顔認識処理にて認識された人物の名前を顔画像と対応付けて画像表示部（名前表示手段）３２に表示させる（図６（ｂ）参照）。
【００５５】
データ記憶部８は、図７（ａ）に示すように、顔情報記録手段として、主要被写体としての人物（例えば、「かおり」）の顔の顔画像データと音声データ（例えば、「たのしい」及び「おもしろい」等）とを対応づけて記録する。
また、顔認識処理にて人物の名前が特定されると、データ記憶部８は、図７（ｂ）に示すように、人物の名前（例えば、「かおり」）と対応付けて、顔検出処理にて新たに検出された顔の顔画像データ（図７（ｂ）における右側の顔画像）と、集音部６により新たに集音された音声データ（例えば、「おいしい」）を記録する。
【００５６】
従って、変形例１の撮像装置２００によれば、集音部６により集音された音の音声データに基づいて、データ記憶部８に音声データと対応付けて記録されている顔画像データを特定して、特定された顔画像データに基づいて、主要被写体である人物の顔の検出を行うことができるので、被写体内からの主要被写体の顔の検出をより適正に、且つ、迅速に行うことができる。即ち、主要被写体が横を向いていたり、不鮮明な状態の画像であっても、主要被写体から発せられた音声に基づいて、主要被写体である人物の顔検出を適正に行うことができる。
【００５７】
また、顔検出処理により検出された人物の顔を認識して、当該人物の名前を特定して顔画像と対応付けて画像表示部３２に表示するので、撮像処理にて、被写体画像内から検出され認識された人物を撮影者に報知することができる。これにより、撮影者は、顔認識処理が適正に行われたか否かの把握を適正に行うことができる。
そして、データ記憶部８は、主要被写体である人物の名前と対応付けて、顔検出処理にて新たに検出された顔の顔画像データと、集音部６により新たに集音された音声データを記録するので、その後に行われる顔検出処理及び顔認識処理にて、データ記憶部８に記憶されている顔画像データや音声データ等を用いて、主要被写体である人物の認識（特定）を好適に行うことができる。
【００５８】
＜変形例２＞
変形例２の撮像装置３００は、集音部６により集音された音を認識して顔認識処理における人物の性別、年齢及び国籍等の認識用特徴情報を特定し、当該認識用特徴情報の顔認識処理における優先順位を高くするように変更する。
【００５９】
即ち、図８に示すように、変形例２の撮像装置３００のプログラムメモリ７２は、顔検出プログラム７２ａ、検出用情報特定プログラム７２ｂ、重要度変更プログラム７２ｃ、顔認識プログラム７２ｅ、検出用情報特定用データｄに加えて、特徴情報特定プログラム７２ｆ、特徴重要度変更プログラム７２ｇ、顔情報記録制御プログラム７２ｈを記憶している。
【００６０】
特徴情報特定プログラム７２ｆは、ＣＰＵ７１を特徴情報特定手段として機能させるものである。即ち、特徴情報特定プログラム７２ｆは、集音部６により集音された音声を認識して人物（主要被写体）の認識用特徴情報を特定する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１が特徴情報特定プログラム７２ｆを実行することで、集音部６により集音された音声の周波数特性に基づいて、人物（主要被写体）の性別、年齢及び国籍等の認識用特徴情報を特定する。
そして、ＣＰＵ７１は、特定された人物の性別、年齢及び国籍等の認識用特徴情報を顔画像と対応付けて画像表示部（特徴情報表示手段）３２に表示させる。
【００６１】
特徴重要度変更プログラム７２ｇは、ＣＰＵ７１を特徴重要度変更手段として機能させるものである。即ち、特徴重要度変更プログラム７２ｇは、特徴情報特定処理にて特定された認識用特徴情報の顔認識処理における優先順位（顔認識処理に係る重要度）を高くするように変更する。
具体的には、ＣＰＵ７１が特徴重要度変更プログラム７２ｇを実行することで、例えば、特定された主要被写体としての人物が男性（女性）である場合には、データ記憶部８に記憶されている男性（女性）のデータベースを優先的に参照し、また、人物の年齢や国籍に応じて、当該年齢や国籍のデータベースを優先的に参照して、顔認識処理を行う。
【００６２】
顔情報記録制御プログラム７２ｈは、ＣＰＵ７１を顔情報記録制御手段として機能させるものである。即ち、顔情報記録制御プログラム７２ｈは、特徴情報特定処理にて特定された認識用特徴情報、及び集音部６により集音された音声の音声データを顔画像データと対応付けてデータ記憶部８に記録させる処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、顔認識処理の後、ＣＰＵ７１は、顔情報記録制御プログラム７２ｈを実行することで、顔認識処理にて顔認識された人物の性別、年齢及び国籍等（認識用特徴情報）及び音声データを顔画像データと対応付けてデータ記憶部８に記録させる。
【００６３】
従って、変形例２の撮像装置３００によれば、集音部６により集音された音を認識して顔認識処理における人物の性別、年齢及び国籍等の認識用特徴情報を特定し、当該認識用特徴情報の顔認識処理における優先順位を高くするように変更するので、主要被写体である人物の性別や年齢や国籍に応じて、当該性別や年齢や国籍のデータベースを優先的に参照して、顔認識処理を適正に、且つ、迅速に行う。
【００６４】
また、特定された認識用特徴情報を顔画像と対応付けて画像表示部３２に表示するので、撮像処理にて、被写体画像内から検出され認識された人物の認識用特徴情報を撮影者に報知することができ、撮影者は、顔認識処理が適正に行われているか否かの把握を適正に行うことができる。
そして、データ記憶部８は、主要被写体である人物の名前と対応付けて、顔検出処理にて新たに検出された顔の顔画像データと、集音部６により新たに集音された音声データの他に、人物の性別、年齢及び国籍等を認識用特徴情報を記録するので、その後に行われる顔検出処理及び顔認識処理にて、データ記憶部８に記憶されている認識用特徴情報を用いて、主要被写体である人物の認識（特定）を好適に行うことができる。
【００６５】
また、主要被写体である人物の性別、年齢及び国籍等を認識用特徴情報として適用したので、当該認識用特徴情報を用いて顔認識処理をより適正に行うことができる。
【００６６】
なお、上記変形例２にあっては、人物の性別、年齢及び国籍等の認識用特徴情報を顔画像データと対応付けてデータ記憶部８に記録するようにしたが、これに限られるものではなく、例えば、人物の性別、年齢及び国籍等の認識用特徴情報や人物の名前等をＥｘｉｆタグ情報として、Ｅｘｉｆ形式の画像データに付帯するようにしても良い。これにより、当該撮像装置３００以外の外部機器であっても、当該画像データのＥｘｉｆタグ情報を参照することで、主要被写体である人物の名前や性別、年齢及び国籍等の認識用特徴情報を認識することができる。
【００６７】
また、上記実施形態では、主要被写体として、人物の顔を例示して説明したが、これに限られるものではなく、例えば、電車、自動車、船舶、飛行機等の乗り物や、犬、猫、牛、ライオン等の動物など、音（鳴き声）を発するものであれば如何なるものであっても良い。即ち、乗り物や動物の各画像と音（鳴き声）を対応付けてデータ記憶部８に記録しておくことで、これら乗り物や動物の撮影の際に、乗り物や動物の音（鳴き声）から主要被写体としての乗り物や動物の検出を精度良く行うことができる。
【００６８】
さらに、上記実施形態では、音関連検出用情報として、主要被写体の発音方向、性別、年齢及び国籍を例示したが、これに限られるものではなく、主要被写体から発せられて当該主要被写体の検出に係る情報であれば如何なるものであっても良い。
加えて、認識用特徴情報として、主要被写体である人物の性別、年齢及び国籍を例示したが、これに限られるものではなく、人物の顔の特徴を表して当該顔の認識に係る情報であれば如何なるものであっても良い。
また、上記実施形態では、変形例１、変形例２共に別に構成したカメラであるとしたが、１つのカメラであって、３つの動作モードを切り替えて使用する構成としても良いことは勿論である。これにより、多くの動作モードを１つのカメラで実現できるので利便性を向上させることができる。
また、上記実施形態では、顔検出プログラムａで検出した顔に対して顔認識プログラムｅで個人の特定を行うように構成したが、このようではなくとも構わず、１つのプログラムで、例えば顔検出プログラムで顔の検出と共に個人の特定を行っても構わない。
【００６９】
また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
【００７０】
加えて、上記実施形態では、主要被写体検出手段、検出用情報特定手段、重要度変更手段、顔画像情報特定手段、顔認識手段、特徴情報特定手段、特徴重要度変更手段、顔情報記録制御手段としての機能を、ＣＰＵ７１によって所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。
【符号の説明】
【００７１】
１００、２００、３００ 撮像装置
１ 撮像部
３ 表示部
３２ 画像表示部
６ 集音部
７１ ＣＰＵ
８ データ記憶部
【技術分野】
【０００１】
本発明は、主要被写体の検出を行う撮像装置、画像検出装置及びプログラムに関する。
【背景技術】
【０００２】
従来、撮像装置により主要被写体の画像検出を行い、集音装置により主要被写体の音声検出を行うことにより、画像検出された被写体の方向と音声検出された被写体の方向が一致するか否かを判定して、一致しなかった場合は認識エラーとした技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２７４７０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の場合、画像検出と音声検出は互いに独立した処理となっており、被写体の検出に音声認識結果を利用して、被写体の検出精度を向上させるものではなく、被写体の検出精度の向上が課題となっていた。
【０００５】
そこで、本発明の課題は、被写体の検出精度を向上できる撮像装置、画像検出装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明の撮像装置は、
被写体を撮像して主要被写体を含む被写体画像の画像情報を取得する撮像手段と、前記主要被写体から発せられた音を集音する集音手段と、前記撮像手段により取得された前記画像情報及び前記集音手段により集音された音に基づいて、前記被写体画像内の前記主要被写体を検出する主要被写体検出手段と、を備え、前記主要被写体検出手段は、前記集音手段により集音された音に基づいて前記主要被写体の属性を特定し、当該属性に基づいて、検出すべき当該主要被写体の検出基準を変更することを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記主要被写体検出手段は、前記主要被写体の属性として、当該主要被写体に係る性別及び年齢のうち、少なくとも何れか一つを特定することを特徴としている。
【０００８】
請求項３に記載の発明は、請求項１又は２に記載の撮像装置において、
前記主要被写体は、人物の顔であり、前記主要被写体検出手段は、前記主要被写体の属性として、前記人物に係る性別及び年齢のうち、少なくとも何れか一つを特定し、当該人物に係る性別及び年齢のうち、少なくとも何れか一つに基づいて、検出すべき前記人物に係る顔パーツの位置関係の基準を変更することを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の撮像装置において、
前記主要被写体検出手段は、特定された前記主要被写体の属性の重要度を高くするように、検出すべき当該主要被写体の検出基準を変更することを特徴としている。
【００１０】
請求項５に記載の発明は、請求項４に記載の撮像装置において、
前記主要被写体検出手段により検出された前記人物の顔について人物の認識を行う顔認識手段を備えることを特徴としている。
【００１１】
請求項６に記載の発明は、請求項５に記載の撮像装置において、
前記集音手段により集音された音を認識して前記人物の顔の認識用特徴情報を特定する特徴情報特定手段と、前記特徴情報特定手段により特定された前記認識用特徴情報の前記顔認識手段による顔認識に係る重要度を高くするように変更する特徴重要度変更手段と、を備えることを特徴としている。
【００１２】
請求項７に記載の発明は、請求項６に記載の撮像装置において、
前記認識用特徴情報は、前記人物の性別及び年齢のうち、少なくとも何れか一つであることを特徴としている。
【００１３】
請求項８に記載の発明は、請求項５〜７の何れか一項に記載の撮像装置において、
前記顔認識手段により認識された前記人物の名前を表示する名前表示手段を備えることを特徴としている。
【００１４】
請求項９に記載の発明のプログラムは、
被写体を撮像して被写体画像の画像情報を取得する撮像手段と、前記被写体画像内の主要被写体から発せられた音を集音する集音手段と、を備える撮像装置に、前記撮像手段により取得された前記画像情報及び前記集音手段により集音された音に基づいて、前記被写体画像内の前記主要被写体を検出する主要被写体検出機能、を実現させ、前記主要被写体検出機能は、前記集音手段により集音された音に基づいて前記主要被写体の属性を特定し、当該属性に基づいて、検出すべき当該主要被写体の検出基準を変更することを特徴としている。
【００１５】
請求項１０に記載の発明の画像検出装置は、
主要被写体を有する画像情報を取得する画像取得手段と、前記主要被写体から発せられた音を集音する集音手段と、前記画像取得手段により取得された前記画像情報及び前記集音手段により集音された音に基づいて、前記画像情報内の前記主要被写体を検出する主要被写体検出手段と、を備え、前記主要被写体検出手段は、前記集音手段により集音された音に基づいて前記主要被写体の属性を特定し、当該属性に基づいて、検出すべき当該主要被写体の検出基準を変更することを特徴としている。
【発明の効果】
【００１６】
本発明によれば、主要被写体から発せられた音の情報を利用して主要被写体の検出基準を変更して主要被写体の検出を行うことができ、この結果、主要被写体の検出精度の向上を図ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置の画像表示部に表示された被写体画像の一例を模式的に示す図である。
【図３】図１の撮像装置のデータ記憶部に記憶されている顔画像データと音声データの一例を模式的に示す図である。
【図４】図１の撮像装置による撮像処理に係る動作の一例を模式的に示す図である。
【図５】変形例１の撮像装置の概略構成を示すブロック図である。
【図６】図５の撮像装置の画像表示部に表示された被写体画像の一例を模式的に示す図である。
【図７】図５の撮像装置のデータ記憶部に記憶されている人物の名前と顔画像データと音声データの一例を模式的に示す図である。
【図８】変形例２の撮像装置の概略構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
【００１９】
本実施形態の撮像装置１００は、主要被写体である人物から発せられた音を認識して、発音方向、人物の性別、年齢及び国籍等の音関連検出用情報を特定して、当該音関連検出用情報の重要度を高くして顔検出を行なう。
具体的には、撮像装置１００は、図１に示すように、撮像部１と、撮像補助部２と、表示部３、操作部４と、記録媒体５と、集音部６と、制御部７と、データ記憶部８等を備えて構成されている。
【００２０】
撮像部１は、撮像レンズ群１１と、電子撮像部１２と、映像信号処理部１３と、画像メモリ１４と、撮影制御部１５等を備えている。
【００２１】
撮像レンズ群１１は、複数の撮像レンズから構成されている。
電子撮像部１２は、撮像レンズ群１１を通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等の撮像素子から構成されている。
映像信号処理部１３は、電子撮像部１２から出力される画像信号に対して所定の画像処理を施すものである。
画像メモリ１４は、画像処理後の画像信号を一時的に記憶する。
撮影制御部１５は、ＣＰＵ７１の制御下にて、電子撮像部１２及び映像信号処理部１３を制御する。具体的には、撮影制御部１５は、電子撮像部１２に所定の露出時間で被写体を撮像させ、当該電子撮像部１２の撮像領域から画像信号を所定のフレームレートで読み出す処理の実行を制御する。
【００２２】
上記構成の撮像部１は、被写体を撮像して撮像画像データ（画像信号）を取得する撮像手段を構成している。
【００２３】
撮像補助部２は、撮像部１による被写体の撮像の際に駆動するものであり、例えば、フォーカス駆動部２１と、ズーム駆動部２２等を備えている。
【００２４】
フォーカス駆動部２１は、撮像レンズ群１１に接続されたフォーカス機構部（図示略）を駆動させる。
ズーム駆動部２２は、撮像レンズ群１１に接続されたズーム機構部（図示略）を駆動させる。
なお、フォーカス駆動部２１及びズーム駆動部２２は、撮影制御部１５に接続され、撮影制御部１５の制御下にて駆動する。
【００２５】
表示部３は、撮像部１により撮像された画像を表示するものであり、表示制御部３１と、画像表示部３２等を備えている。
【００２６】
表示制御部３１は、ＣＰＵ７１から適宜出力される表示データを一時的に保存するビデオメモリ（図示略）を備えている。
【００２７】
画像表示部３２は、表示制御部３１からの出力信号に基づいて表示画面に所定の画像や情報を表示する。具体的には、画像表示部３２は、撮像処理にて撮像された被写体画像（図２（ａ）及び図２（ｂ）参照）を表示し、顔検出処理（後述）にて顔が検出されると、当該顔に略矩形状の枠Ｗを重畳表示する（図２（ｂ）参照）。
なお、図２（ａ）にあっては、主要被写体としての女子の各々から発せられた音声「撮ってね〜」及び「こっち〜」を模式的にふきだしで表している。
【００２８】
操作部４は、当該撮像装置１００の所定操作を行うためのものであり、例えば、操作入力部４１と、入力回路４２等を備えている。
【００２９】
操作入力部４１は、撮像部１による被写体の撮像を指示するシャッターボタン４１ａを備えている。シャッターボタン４１ａは、例えば、半押し操作及び全押し操作の２段階の押圧操作が可能に構成され、各操作段階に応じた所定の操作信号を出力する。
入力回路４２は、操作入力部４１から出力され入力された操作信号をＣＰＵ７１に入力するためのものである。
【００３０】
記録媒体５は、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等により構成され、撮像部１により生成された撮像画像データを記録する。
【００３１】
集音部６は、例えば、マイクやアンプ（図示略）等を備え、周囲から発せられた所定の音を集音して音声データを生成し、音声データをＣＰＵ７１に出力する。具体的には、集音部６は、集音手段として、主要被写体としての女子（人物）から発せられた音声、例えば、「撮ってね〜」及び「こっち〜」等を集音する（図２（ａ）参照）。
マイクは、指向性を有し、人物（主要被写体）の発音方向、即ち、話者方向の特定のために複数設けられている。
【００３２】
データ記憶部８は、顔検出処理にて検出された顔画像データと、集音部６により生成された音声データを対応付けて記憶する（図３（ａ）及び図３（ｂ）参照）。例えば、顔検出処理にて検出された左側の女子（図２（ｂ）参照）の顔画像データと、音声データ「撮ってね〜」を対応付けて記憶したり（図３（ａ）参照）、右側の女子（図２（ｂ）参照）の顔画像データと、音声データ「こっち〜」を対応付けて記憶する（図３（ｂ）参照）。
なお、上記では顔画像データとしたが、当然顔画像データそのものではなく、顔画像の特徴部分を示すデータを記憶するようにしても良い。
また同様に、上記では音声データとしたが、当然音声データそのものではなく、音声の特徴部分を示すデータを記憶するようにしても良い。
なお、顔検出処理にて検出された顔に係る人物の名前は、例えば、操作入力部４１の所定操作に基づいて事後的に入力されるようになっている。
これにより、その後に行われる顔検出処理及び顔認識処理にて、データ記憶部８に記憶されている顔画像データや音声データ等を用いて、主要被写体である人物の認識（特定）を好適に行うことができる。
【００３３】
制御部７は、撮像装置１００の各部を制御するものであり、例えば、ＣＰＵ７１と、プログラムメモリ７２と、データメモリ７３等を備えている。
【００３４】
ＣＰＵ７１は、プログラムメモリ７２に記憶された撮像装置１００用の各種処理プログラムに従って各種の制御動作を行うものである。
【００３５】
データメモリ７３は、例えば、フラッシュメモリ等により構成され、ＣＰＵ７１によって処理されるデータ等を一時記憶する。
【００３６】
プログラムメモリ７２は、ＣＰＵ７１の動作に必要な各種プログラムやデータを記憶するものである。具体的には、プログラムメモリ７２は、顔検出プログラム７２ａ、検出用情報特定プログラム７２ｂ、重要度変更プログラム７２ｃ、検出用情報特定用データｄ等を記憶している。
【００３７】
顔検出プログラム７２ａは、ＣＰＵ７１を主要被写体検出手段として機能させるものである。即ち、顔検出プログラム７２ａは、撮像部１により生成された撮像画像データに基づいて、被写体画像内の主要被写体として人物の顔を検出する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１が顔検出プログラム７２ａを実行することで、複数の撮像画像データのうち、一の撮像画像データについて顔探索枠を所定方向に走査して、目、鼻、ロなどに相当する特徴部分（顔パーツ）を特定して、各顔パーツの位置関係から顔であるか否かを判定し、顔であると判定されると当該探索枠領域を顔領域として検出する。また、顔検出処理は、後述する重要度変更処理にて変更された音関連検出用情報の重要度を考慮して行われる。
なお、上記の顔検出処理の方法は、一例であって、これに限られるものではない。
【００３８】
検出用情報特定プログラム７２ｂは、ＣＰＵ７１を検出用情報特定手段として機能させるものである。即ち、検出用情報特定プログラム７２ｂは、集音部６により集音された音に基づいて、顔検出処理による人物の顔の検出用の音関連検出用情報、例えば、発音方向、性別、年齢及び国籍等を特定する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１が検出用情報特定プログラム７２ｂを実行することで、集音部６の複数のマイクにより集音されて生成された音声データを分析して、当該分析結果に基づいて主要被写体の話者方向を特定したり、検出用情報特定用データｄを参照して、主要被写体の性別、年齢及び国籍を特定する。
なお、音声認識により、発話者の年齢、性別、国籍を推定する技術は、特開２００３−３３０４８５号公報において公知である。
【００３９】
重要度変更プログラム７２ｃは、ＣＰＵ７１を重要度変更手段として機能させるものである。即ち、重要度変更プログラム７２ｃは、顔検出処理による人物の顔の検出の際に、検出用情報特定処理にて特定された主要被写体の発音方向、性別、年齢及び国籍等の重要度を高くするように変更する重要度変更処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１が重要度変更プログラム７２ｃを実行することで、顔検出処理において、顔検出を主要被写体の話者方向を中心として実行したり、各顔パーツの位置関係の基準を性別、年齢及び国籍に応じて変更したり、顔の主要部をなす肌色の濃淡の基準を国籍に応じて変更することにより、特定の人物を検出し易くすることができる。
なお、顔検出により、検出した顔の年齢、性別、国籍を推定する技術は、特開２００７−８００５７号公報において公知である。この文献に記載されているのは、検出した顔から所定の特徴を見出すものであるが、これを逆利用することにより、所定の特徴から所定の顔の重要度を向上させて、検出し易くすることが可能になる。
なお、重要度変更処理における主要被写体の発音方向、性別、年齢及び国籍等の諸要素の重要度の変更の有無の設定は、例えば、操作入力部４１の所定操作に基づいて事前に変更することができるようになっている。
【００４０】
検出用情報特定用データｄは、性別、年齢別、国籍別などに区分された複数種の基準音響モデルデータである。例えば、男性用の基準音響モデルは、３００Ｈｚ前後の低い周波数からなり、女性用の基準音響モデルは、４００Ｈｚ前後で、男性に比べて高い周波数となっている。
【００４１】
次に、撮像処理について図４を参照して詳細に説明する。
ここで、図４は、撮像処理に係る動作の一例を示すフローチャートである。
【００４２】
図４に示すように、先ず、撮像部１による被写体の撮像が開始されると、ＣＰＵ７１は、撮像部１により撮像され生成された画像データに基づいてスルー画像を画像表示部３２に表示させる（ステップＳ１）。
【００４３】
次に、集音部６により被写体の主要被写体から発せられた音声を集音されると（ステップＳ２）、ＣＰＵ７１は、集音部６により集音され音声が所定音量以上か否かを判定する（ステップＳ３）。
ここで、音声が所定音量以上であると判定されると（ステップＳ３；ＹＥＳ）、ＣＰＵ７１は、プログラムメモリ７２内の検出用情報特定プログラム７２ｂを実行して、集音部６により生成された音声データを分析して、当該分析結果に基づいて主要被写体の話者方向を特定したり、検出用情報特定用データｄを参照して、主要被写体の性別、年齢及び国籍を特定する（ステップＳ４）。
なお、ステップＳ２にて、主要被写体からの音声の認識率を向上させる上では、予め所定の言葉（例えば、「撮ってね〜」等）を登録しておき、当該言葉を主要被写体にしゃべって貰うようにしても良い。
【００４４】
そして、ＣＰＵ７１は、プログラムメモリ７２内の重要度変更プログラム７２ｃを実行して、特定された人物の顔の検出用の音関連検出用情報、例えば、主要被写体の発音方向、性別、年齢及び国籍等の重要度を高くする（ステップＳ５）。具体的には、ＣＰＵ７１は、顔検出の中心を主要被写体の話者方向としたり、各顔パーツの位置関係の基準を性別、年齢及び国籍に応じて変更したり、顔の主要部をなす肌色の濃淡の基準を国籍に応じて変更する。
続けて、ＣＰＵ７１は、プログラムメモリ７２内の顔検出プログラム７２ａを実行して、撮像部１により生成された撮像画像データに基づいて、被写体画像内の人物の顔を検出する顔検出処理を実行する（ステップＳ６）。具体的には、ＣＰＵ７１は、重要度変更処理にて変更された音関連検出用情報の重要度を考慮して、主要被写体の話者方向を中心として顔検出を行ったり、性別、年齢及び国籍に応じて各顔パーツの位置関係の基準を変更したり、国籍に応じて顔の主要部をなす肌色の濃淡の基準を変更して、顔検出を行う。
そして、顔検出処理にて人物の顔が検出されると、ＣＰＵ７１は、当該顔に略矩形状の顔検出枠Ｗ（図２（ｂ）参照）を画像表示部３２にＯＳＤ表示させる（ステップＳ７）。
【００４５】
なお、ステップＳ３にて、集音された音声が所定音量以上ではないと判定されると（ステップＳ３；ＮＯ）、ステップＳ６に移行して、ＣＰＵ７１は、重要度変更処理を行うことなく、顔検出処理を行う。
【００４６】
その後、ユーザによりシャッターボタン４１ａが半押し操作されると（ステップＳ８；ＹＥＳ）、ＣＰＵ７１は、顔検出処理にて検出された顔に重畳された顔検出枠Ｗを測光エリアとして露出条件を調整する自動露出処理（ＡＥ）や、顔検出枠Ｗを測距エリアとして合焦位置を調整する自動合焦処理（ＡＦ）を行う（ステップＳ９）。
そして、ユーザによるシャッターボタン４１ａが半押し操作が解除されることなく（ステップＳ１０；ＮＯ）、シャッターボタン４１ａが全押し操作されると（ステップＳ１１；ＹＥＳ）、ＣＰＵ７１は、静止画像（本画像）を撮像記録する処理を実行する（ステップＳ１２）。
【００４７】
その後、ＣＰＵ７１は、顔検出処理にて検出された顔の顔画像データを抽出して、当該顔画像データと、集音部６により集音された音声データを対応付けてデータ記憶部８に記憶させる（ステップＳ１３）。
【００４８】
なお、ステップＳ８にて、ユーザによりシャッターボタン４１ａの半押し操作が行われない場合（ステップＳ８；ＮＯ）や、ステップＳ１０にて、ユーザによるシャッターボタン４１ａの半押し操作が解除されると（ステップＳ１０；ＹＥＳ）、ステップＳ１に戻る。
【００４９】
以上のように、本実施形態の撮像装置１００によれば、集音部６により集音された音の音声データに基づいて、顔検出処理による顔検出用の話者方向、性別、年齢及び国籍等の音関連検出用情報を特定して、顔検出処理の際に、特定された音関連検出用情報の重要度を高くするように変更する。即ち、顔検出処理において、顔検出の中心を主要被写体の話者方向としたり、各顔パーツの位置関係の基準を性別、年齢及び国籍に応じて変更したり、顔の主要部をなす肌色の濃淡の基準を国籍に応じて変更する。
従って、主要被写体である人物から発せられた音の情報を利用して主要被写体である人物の属性を特定し、当該属性に基づいて、検出すべき主要被写体である人物の検出基準を変更して当該人物の顔検出を行うことができ、この結果、主要被写体の検出精度の向上を図ることができる。さらに、顔検出処理の迅速化を図ることができる。
【００５０】
また、主要被写体である人物の発音方向、性別、年齢及び国籍等を音関連検出用情報として適用したので、当該音関連検出用情報を用いて顔検出処理をより適正に行うことができる。
【００５１】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、撮像装置の変形例について図５〜図８を参照して説明する。
【００５２】
＜変形例１＞
変形例１の撮像装置２００は、主要被写体としての人物から発せられた音を認識して当該人物の顔画像情報を特定して、特定された顔画像情報に基づいて顔検出処理を行う。
具体的には、図５に示すように、変形例１の撮像装置２００のプログラムメモリ７２は、顔検出プログラム７２ａ、検出用情報特定プログラム７２ｂ、重要度変更プログラム７２ｃ、検出用情報特定用データｄに加えて、顔画像情報特定プログラム７２ｄ、顔認識プログラム７２ｅを記憶している。
【００５３】
顔画像情報特定プログラム７２ｄは、ＣＰＵ７１を顔画像情報特定手段として機能させるものである。即ち、顔画像情報特定プログラム７２ｄは、集音部６により集音された音の音声データに基づいて、データ記憶部８に音声データと対応付けて記録されている顔画像データを特定する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、顔検出処理にて、ＣＰＵ７１が顔画像情報特定プログラム７２ｄを実行することで、被写体の撮像の際に集音部６により集音された音の音声データ（例えば、「おいしい！」；図６（ａ）参照）を分析し、当該音声データの周波数特性に基づいて、データ記憶部８に音声データ（例えば、「楽しい」及び「おもしろい」等）と対応付けて記録されている顔画像データ（例えば、「かおり」の顔画像データ）を特定する（図７（ａ）参照）。
そして、ＣＰＵ７１がプログラムメモリ７２内の顔検出プログラム７２ａを実行することで、顔画像情報特定処理にて特定された顔画像データを基準として被写体内から主要被写体である人物の顔の検出を行う。
【００５４】
顔認識プログラム７２ｅは、ＣＰＵ７１を顔認識手段として機能させるものである。即ち、顔認識プログラム７２ｅは、顔検出処理にて検出された人物の顔の認識を行う顔認識処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１が顔認識プログラム７２ｅを実行することで、データ記憶部８を参照して、顔検出処理にて検出された人物の顔を認識して、当該人物の名前を特定する。
そして、ＣＰＵ７１は、顔認識処理にて認識された人物の名前を顔画像と対応付けて画像表示部（名前表示手段）３２に表示させる（図６（ｂ）参照）。
【００５５】
データ記憶部８は、図７（ａ）に示すように、顔情報記録手段として、主要被写体としての人物（例えば、「かおり」）の顔の顔画像データと音声データ（例えば、「たのしい」及び「おもしろい」等）とを対応づけて記録する。
また、顔認識処理にて人物の名前が特定されると、データ記憶部８は、図７（ｂ）に示すように、人物の名前（例えば、「かおり」）と対応付けて、顔検出処理にて新たに検出された顔の顔画像データ（図７（ｂ）における右側の顔画像）と、集音部６により新たに集音された音声データ（例えば、「おいしい」）を記録する。
【００５６】
従って、変形例１の撮像装置２００によれば、集音部６により集音された音の音声データに基づいて、データ記憶部８に音声データと対応付けて記録されている顔画像データを特定して、特定された顔画像データに基づいて、主要被写体である人物の顔の検出を行うことができるので、被写体内からの主要被写体の顔の検出をより適正に、且つ、迅速に行うことができる。即ち、主要被写体が横を向いていたり、不鮮明な状態の画像であっても、主要被写体から発せられた音声に基づいて、主要被写体である人物の顔検出を適正に行うことができる。
【００５７】
また、顔検出処理により検出された人物の顔を認識して、当該人物の名前を特定して顔画像と対応付けて画像表示部３２に表示するので、撮像処理にて、被写体画像内から検出され認識された人物を撮影者に報知することができる。これにより、撮影者は、顔認識処理が適正に行われたか否かの把握を適正に行うことができる。
そして、データ記憶部８は、主要被写体である人物の名前と対応付けて、顔検出処理にて新たに検出された顔の顔画像データと、集音部６により新たに集音された音声データを記録するので、その後に行われる顔検出処理及び顔認識処理にて、データ記憶部８に記憶されている顔画像データや音声データ等を用いて、主要被写体である人物の認識（特定）を好適に行うことができる。
【００５８】
＜変形例２＞
変形例２の撮像装置３００は、集音部６により集音された音を認識して顔認識処理における人物の性別、年齢及び国籍等の認識用特徴情報を特定し、当該認識用特徴情報の顔認識処理における優先順位を高くするように変更する。
【００５９】
即ち、図８に示すように、変形例２の撮像装置３００のプログラムメモリ７２は、顔検出プログラム７２ａ、検出用情報特定プログラム７２ｂ、重要度変更プログラム７２ｃ、顔認識プログラム７２ｅ、検出用情報特定用データｄに加えて、特徴情報特定プログラム７２ｆ、特徴重要度変更プログラム７２ｇ、顔情報記録制御プログラム７２ｈを記憶している。
【００６０】
特徴情報特定プログラム７２ｆは、ＣＰＵ７１を特徴情報特定手段として機能させるものである。即ち、特徴情報特定プログラム７２ｆは、集音部６により集音された音声を認識して人物（主要被写体）の認識用特徴情報を特定する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１が特徴情報特定プログラム７２ｆを実行することで、集音部６により集音された音声の周波数特性に基づいて、人物（主要被写体）の性別、年齢及び国籍等の認識用特徴情報を特定する。
そして、ＣＰＵ７１は、特定された人物の性別、年齢及び国籍等の認識用特徴情報を顔画像と対応付けて画像表示部（特徴情報表示手段）３２に表示させる。
【００６１】
特徴重要度変更プログラム７２ｇは、ＣＰＵ７１を特徴重要度変更手段として機能させるものである。即ち、特徴重要度変更プログラム７２ｇは、特徴情報特定処理にて特定された認識用特徴情報の顔認識処理における優先順位（顔認識処理に係る重要度）を高くするように変更する。
具体的には、ＣＰＵ７１が特徴重要度変更プログラム７２ｇを実行することで、例えば、特定された主要被写体としての人物が男性（女性）である場合には、データ記憶部８に記憶されている男性（女性）のデータベースを優先的に参照し、また、人物の年齢や国籍に応じて、当該年齢や国籍のデータベースを優先的に参照して、顔認識処理を行う。
【００６２】
顔情報記録制御プログラム７２ｈは、ＣＰＵ７１を顔情報記録制御手段として機能させるものである。即ち、顔情報記録制御プログラム７２ｈは、特徴情報特定処理にて特定された認識用特徴情報、及び集音部６により集音された音声の音声データを顔画像データと対応付けてデータ記憶部８に記録させる処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、顔認識処理の後、ＣＰＵ７１は、顔情報記録制御プログラム７２ｈを実行することで、顔認識処理にて顔認識された人物の性別、年齢及び国籍等（認識用特徴情報）及び音声データを顔画像データと対応付けてデータ記憶部８に記録させる。
【００６３】
従って、変形例２の撮像装置３００によれば、集音部６により集音された音を認識して顔認識処理における人物の性別、年齢及び国籍等の認識用特徴情報を特定し、当該認識用特徴情報の顔認識処理における優先順位を高くするように変更するので、主要被写体である人物の性別や年齢や国籍に応じて、当該性別や年齢や国籍のデータベースを優先的に参照して、顔認識処理を適正に、且つ、迅速に行う。
【００６４】
また、特定された認識用特徴情報を顔画像と対応付けて画像表示部３２に表示するので、撮像処理にて、被写体画像内から検出され認識された人物の認識用特徴情報を撮影者に報知することができ、撮影者は、顔認識処理が適正に行われているか否かの把握を適正に行うことができる。
そして、データ記憶部８は、主要被写体である人物の名前と対応付けて、顔検出処理にて新たに検出された顔の顔画像データと、集音部６により新たに集音された音声データの他に、人物の性別、年齢及び国籍等を認識用特徴情報を記録するので、その後に行われる顔検出処理及び顔認識処理にて、データ記憶部８に記憶されている認識用特徴情報を用いて、主要被写体である人物の認識（特定）を好適に行うことができる。
【００６５】
また、主要被写体である人物の性別、年齢及び国籍等を認識用特徴情報として適用したので、当該認識用特徴情報を用いて顔認識処理をより適正に行うことができる。
【００６６】
なお、上記変形例２にあっては、人物の性別、年齢及び国籍等の認識用特徴情報を顔画像データと対応付けてデータ記憶部８に記録するようにしたが、これに限られるものではなく、例えば、人物の性別、年齢及び国籍等の認識用特徴情報や人物の名前等をＥｘｉｆタグ情報として、Ｅｘｉｆ形式の画像データに付帯するようにしても良い。これにより、当該撮像装置３００以外の外部機器であっても、当該画像データのＥｘｉｆタグ情報を参照することで、主要被写体である人物の名前や性別、年齢及び国籍等の認識用特徴情報を認識することができる。
【００６７】
また、上記実施形態では、主要被写体として、人物の顔を例示して説明したが、これに限られるものではなく、例えば、電車、自動車、船舶、飛行機等の乗り物や、犬、猫、牛、ライオン等の動物など、音（鳴き声）を発するものであれば如何なるものであっても良い。即ち、乗り物や動物の各画像と音（鳴き声）を対応付けてデータ記憶部８に記録しておくことで、これら乗り物や動物の撮影の際に、乗り物や動物の音（鳴き声）から主要被写体としての乗り物や動物の検出を精度良く行うことができる。
【００６８】
さらに、上記実施形態では、音関連検出用情報として、主要被写体の発音方向、性別、年齢及び国籍を例示したが、これに限られるものではなく、主要被写体から発せられて当該主要被写体の検出に係る情報であれば如何なるものであっても良い。
加えて、認識用特徴情報として、主要被写体である人物の性別、年齢及び国籍を例示したが、これに限られるものではなく、人物の顔の特徴を表して当該顔の認識に係る情報であれば如何なるものであっても良い。
また、上記実施形態では、変形例１、変形例２共に別に構成したカメラであるとしたが、１つのカメラであって、３つの動作モードを切り替えて使用する構成としても良いことは勿論である。これにより、多くの動作モードを１つのカメラで実現できるので利便性を向上させることができる。
また、上記実施形態では、顔検出プログラムａで検出した顔に対して顔認識プログラムｅで個人の特定を行うように構成したが、このようではなくとも構わず、１つのプログラムで、例えば顔検出プログラムで顔の検出と共に個人の特定を行っても構わない。
【００６９】
また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
【００７０】
加えて、上記実施形態では、主要被写体検出手段、検出用情報特定手段、重要度変更手段、顔画像情報特定手段、顔認識手段、特徴情報特定手段、特徴重要度変更手段、顔情報記録制御手段としての機能を、ＣＰＵ７１によって所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。
【符号の説明】
【００７１】
１００、２００、３００ 撮像装置
１ 撮像部
３ 表示部
３２ 画像表示部
６ 集音部
７１ ＣＰＵ
８ データ記憶部
【特許請求の範囲】
【請求項１】
被写体を撮像して主要被写体を含む被写体画像の画像情報を取得する撮像手段と、
前記主要被写体から発せられた音を集音する集音手段と、
前記撮像手段により取得された前記画像情報及び前記集音手段により集音された音に基づいて、前記被写体画像内の前記主要被写体を検出する主要被写体検出手段と、
を備え、
前記主要被写体検出手段は、
前記集音手段により集音された音に基づいて前記主要被写体の属性を特定し、当該属性に基づいて、検出すべき当該主要被写体の検出基準を変更することを特徴とする撮像装置。
【請求項２】
前記主要被写体検出手段は、
前記主要被写体の属性として、当該主要被写体に係る性別及び年齢のうち、少なくとも何れか一つを特定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記主要被写体は、人物の顔であり、
前記主要被写体検出手段は、
前記主要被写体の属性として、前記人物に係る性別及び年齢のうち、少なくとも何れか一つを特定し、当該人物に係る性別及び年齢のうち、少なくとも何れか一つに基づいて、検出すべき前記人物に係る顔パーツの位置関係の基準を変更することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記主要被写体検出手段は、
特定された前記主要被写体の属性の重要度を高くするように、検出すべき当該主要被写体の検出基準を変更することを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
【請求項５】
前記主要被写体検出手段により検出された前記人物の顔について人物の認識を行う顔認識手段を備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記集音手段により集音された音を認識して前記人物の顔の認識用特徴情報を特定する特徴情報特定手段と、
前記特徴情報特定手段により特定された前記認識用特徴情報の前記顔認識手段による顔認識に係る重要度を高くするように変更する特徴重要度変更手段と、を備えることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記認識用特徴情報は、前記人物の性別及び年齢のうち、少なくとも何れか一つであることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記顔認識手段により認識された前記人物の名前を表示する名前表示手段を備えることを特徴とする請求項５〜７の何れか一項に記載の撮像装置。
【請求項９】
被写体を撮像して被写体画像の画像情報を取得する撮像手段と、前記被写体画像内の主要被写体から発せられた音を集音する集音手段と、を備える撮像装置に、
前記撮像手段により取得された前記画像情報及び前記集音手段により集音された音に基づいて、前記被写体画像内の前記主要被写体を検出する主要被写体検出機能、
を実現させ、
前記主要被写体検出機能は、
前記集音手段により集音された音に基づいて前記主要被写体の属性を特定し、当該属性に基づいて、検出すべき当該主要被写体の検出基準を変更することを特徴とするプログラム。
【請求項１０】
主要被写体を有する画像情報を取得する画像取得手段と、
前記主要被写体から発せられた音を集音する集音手段と、
前記画像取得手段により取得された前記画像情報及び前記集音手段により集音された音に基づいて、前記画像情報内の前記主要被写体を検出する主要被写体検出手段と、
を備え、
前記主要被写体検出手段は、
前記集音手段により集音された音に基づいて前記主要被写体の属性を特定し、当該属性に基づいて、検出すべき当該主要被写体の検出基準を変更することを特徴とする画像検出装置。
【請求項１】
被写体を撮像して主要被写体を含む被写体画像の画像情報を取得する撮像手段と、
前記主要被写体から発せられた音を集音する集音手段と、
前記撮像手段により取得された前記画像情報及び前記集音手段により集音された音に基づいて、前記被写体画像内の前記主要被写体を検出する主要被写体検出手段と、
を備え、
前記主要被写体検出手段は、
前記集音手段により集音された音に基づいて前記主要被写体の属性を特定し、当該属性に基づいて、検出すべき当該主要被写体の検出基準を変更することを特徴とする撮像装置。
【請求項２】
前記主要被写体検出手段は、
前記主要被写体の属性として、当該主要被写体に係る性別及び年齢のうち、少なくとも何れか一つを特定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記主要被写体は、人物の顔であり、
前記主要被写体検出手段は、
前記主要被写体の属性として、前記人物に係る性別及び年齢のうち、少なくとも何れか一つを特定し、当該人物に係る性別及び年齢のうち、少なくとも何れか一つに基づいて、検出すべき前記人物に係る顔パーツの位置関係の基準を変更することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記主要被写体検出手段は、
特定された前記主要被写体の属性の重要度を高くするように、検出すべき当該主要被写体の検出基準を変更することを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
【請求項５】
前記主要被写体検出手段により検出された前記人物の顔について人物の認識を行う顔認識手段を備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記集音手段により集音された音を認識して前記人物の顔の認識用特徴情報を特定する特徴情報特定手段と、
前記特徴情報特定手段により特定された前記認識用特徴情報の前記顔認識手段による顔認識に係る重要度を高くするように変更する特徴重要度変更手段と、を備えることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記認識用特徴情報は、前記人物の性別及び年齢のうち、少なくとも何れか一つであることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記顔認識手段により認識された前記人物の名前を表示する名前表示手段を備えることを特徴とする請求項５〜７の何れか一項に記載の撮像装置。
【請求項９】
被写体を撮像して被写体画像の画像情報を取得する撮像手段と、前記被写体画像内の主要被写体から発せられた音を集音する集音手段と、を備える撮像装置に、
前記撮像手段により取得された前記画像情報及び前記集音手段により集音された音に基づいて、前記被写体画像内の前記主要被写体を検出する主要被写体検出機能、
を実現させ、
前記主要被写体検出機能は、
前記集音手段により集音された音に基づいて前記主要被写体の属性を特定し、当該属性に基づいて、検出すべき当該主要被写体の検出基準を変更することを特徴とするプログラム。
【請求項１０】
主要被写体を有する画像情報を取得する画像取得手段と、
前記主要被写体から発せられた音を集音する集音手段と、
前記画像取得手段により取得された前記画像情報及び前記集音手段により集音された音に基づいて、前記画像情報内の前記主要被写体を検出する主要被写体検出手段と、
を備え、
前記主要被写体検出手段は、
前記集音手段により集音された音に基づいて前記主要被写体の属性を特定し、当該属性に基づいて、検出すべき当該主要被写体の検出基準を変更することを特徴とする画像検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−１４８１３２（Ｐ２０１０−１４８１３２Ａ）
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願番号】特願２０１０−９９９５（Ｐ２０１０−９９９５）
【出願日】平成２２年１月２０日（２０１０．１．２０）
【分割の表示】特願２００７−２２６１５１（Ｐ２００７−２２６１５１）の分割
【原出願日】平成１９年８月３１日（２００７．８．３１）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願日】平成２２年１月２０日（２０１０．１．２０）
【分割の表示】特願２００７−２２６１５１（Ｐ２００７−２２６１５１）の分割
【原出願日】平成１９年８月３１日（２００７．８．３１）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]