説明

撮像装置、制御方法及びプログラム

【課題】撮像装置が備える顔検出機能により被写体の種類を自動的に判別し、被写体に応じて適切な方法で撮影のための注意喚起をさせる。
【解決手段】撮像装置は、被写体への注意喚起をする振り向き音を記憶し、被写体の種類に基づき音声再生する振り向き音を設定し、ユーザ操作に応じて撮影する画像の被写体を認識し、被写体の種類を判定し、判定の結果の被写体種類に基づいて、少なくとも振り向き音の再生により被写体への注意喚起を実行することを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置を用いた画像の撮影方法に関連し、特に、撮像装置から光や音を発することで、被写体を撮像装置に注目させる撮影方法に関する。
【背景技術】
【0002】
近年、被写体を撮像装置に注目させる撮影機能が考えられている。撮像の対象となる被写体が、言語を理解できる成人であれば問題がないが、言語をまだ理解できない赤ちゃんであったり、犬や猫等の動物である場合には、被写体が撮影者からの指示を理解できないため、撮影者が撮像装置を向けた場合でも、撮像装置側を向いた姿勢をとるとは限らない。
【0003】
例えば、犬の顔の正面を撮影するため、撮影者が撮像装置をその犬の正面に向けた場合でも、その犬が顔の正面を撮像装置に向けてくれるとは限らない。また、その犬の顔の正面に撮影者が撮像装置を向けた場合でも、その犬が他の方向を向いてしまうおそれも考えられる。このため、例えば、犬や猫等の動物の顔の正面を撮影する場合には、その動物の顔の正面を撮像装置側に向かせることが重要となる。
【0004】
特許文献1では、上記課題を解決するために、ユーザによりレリーズボタンが半押しされると、被写体となるペットが興味を持つ音をカメラから出力し、そのペットがカメラに向いたと判断したユーザによりレリーズボタンが全押しされると、この全押しの際の被写体像を銀塩フィルムに露光させるカメラが提案されているその1つとして、
【0005】
また、特許文献2には、撮像装置およびプログラムが開示されている。この撮像装置およびプログラムにおいては、段落番号<0003>等に記載されているように、子供やペットなどの被写体の顔をカメラに向かせて、最適なタイミングで撮影可能な撮像装置および撮像装置に対する制御を行うためのプログラムを提供する。
【0006】
また、特許文献3には、撮像装置、その制御方法およびプログラムが開示されている。この撮像装置、その制御方法およびプログラムにおいては、段落番号等に記載されているように、撮影者からの指示を理解できない対象物の撮像画像を適切に記録する。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2002−107807号公報
【特許文献2】特開2006−033367号公報
【特許文献3】特開2009−212980号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1に開示された発明によれば、被写体となるペットが興味を持つ音を出力することにより、そのペットの興味をカメラ側に向かせる可能性を高めることができる。そして、そのペットの正面がカメラ側に向いた際に、ユーザがレリーズボタンを全押しすることにより、正面を向いたペットの撮像画像を記録することができる。
【0009】
また、特許文献2に開示された発明によれば、撮像装置が、被写体を撮像して画像データを生成する撮像部と、撮像部により生成された画像データに基づいて、被写体を特定する特定部と、被写体の注意を喚起する動作を行う注意喚起部とを備えており、子供やペットなど、撮影が困難な被写体の顔を撮像装置の方に向かせて、最適なタイミングで撮影を行うことができる。
【0010】
また、特許文献3に開示された発明によれば、撮影者からの指示を理解できない対象物(具体的には、動物)を撮影するために、動物の顔がレンズ側に向いた瞬間の適切なタイミングで撮像画像を記録することができる。また、その動物の顔が検出された際にその動物に関連する音声情報を出力してその動物の興味を撮像装置側に向けさせることにより、その動物の顔がさらにレンズ側に向いた瞬間に撮像画像を記録することができる。これにより、その動物の顔の正面の撮像画像を記録する場合に、その動物の顔が撮像装置側に向いた際における適切なタイミングで撮像画像を記録することができる。
【0011】
しかしながら、先の特許文献1乃至3に開示された発明において、被写体をレンズ側に向けるための注意喚起の音声は、予め何を撮影するか(赤ちゃんなのか、動物なのか)に応じてユーザにより選択された音声を再生をすることが可能であるが、撮影時点で被写体を判別し、被写体のに応じて音声を決定して再生可能ではない。音声の選択中に、シャッターチャンスを逃してしまうおそれもあり、ユーザにとってスムーズに被写体を判別し、撮影する機能が望まれる。
【0012】
本発明は上記の課題を解決するためになされたものであり、撮像装置が備える顔検出機能により被写体の種類を自動的に判別し、被写体に応じて適切な方法で撮影のための注意喚起をさせる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0013】
即ち、本発明の撮像装置は、ユーザ操作に応じて画像を撮影する撮像手段を備える撮像装置において、被写体への注意喚起をする振り向き音を記憶する記憶手段と、前記記憶手段で記憶した前記振り向き音を、被写体の種類に基づき音声再生すべく設定する振り向き音設定手段と、ユーザ操作に応じて撮影する画像の被写体を認識する被写体認識手段と、前記被写体認識手段で認識した被写体の種類を判定する判定手段と、前記判定手段で判定された被写体の種類に基づいて、少なくとも前記振り向き音設定手段で設定した振り向き音の再生により被写体への注意喚起を実行する注意喚起手段とを備えることを特徴とする。
また、本発明の撮像装置は、前記判定手段は、前記被写体認識手段で認識した被写体が、人物の顔であるか動物の顔であるか否かを判定し、前記注意喚起手段は、前記判定手段で前記被写体が人物の顔であると判定された場合に、前記振り向き音設定手段で設定した人物への注意喚起を実行し、前記判定手段で前記被写体が動物の顔であると判定された場合に、前記振り向き音設定手段で設定した動物への注意喚起を実行することを特徴とする。
また、本発明の撮像装置は、前記振り向き音設定手段は、前記被写体認識手段で複数種類の被写体を認識した場合に、どの被写体に対する注意喚起を優先させるかを設定する優先設定手段を備え、前記被写体認識手段で認識した被写体が複数種類ある場合に、前記注意喚起手段は、前記優先設定手段で設定された被写体に対する注意喚起を優先して実行することを特徴とする。
また、本発明の撮像装置は、前記振り向き音設定手段は、前記被写体への注意喚起をする振り向き音を繰り返し再生すべく設定する繰り返し再生設定手段を備えることを特徴とする。
また、本発明の撮像装置は、前記注意喚起手段は、前記撮像手段でユーザ操作に応じて画像が撮像されると、前記振り向き音を停止する停止手段を備えることを特徴とする。
【発明の効果】
【0014】
本発明によれば、撮像装置が備える顔検出機能により被写体の種類を自動的に判別し、被写体に応じて適切な方法で撮影のための注意喚起をさせる撮像装置を提供することが可能となる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態におけるハードウェア構成を示す図である。
【図2】本発明の実施形態における機能構成を示す図である。
【図3−1】本発明の実施形態における設定時のUIを示す図である。
【図3−2】本発明の実施形態における設定時のUIを示す図である。
【図3−3】本発明の実施形態における設定時のUIを示す図である。
【図3−4】本発明の実施形態における設定時のUIを示す図である。
【図4−1】本発明の実施形態における撮影時のUIを示す図である。
【図4−2】本発明の実施形態における撮影時のUIを示す図である。
【図4−3】本発明の実施形態における撮影時のUIを示す図である。
【図4−4】本発明の実施形態における撮影時のUIを示す図である。
【図5】本発明の実施形態におけるプログラムで使用する音声ファイルのデータテーブルを示す図である。
【図6】本発明の実施形態におけるプログラムの基本的な処理フローを示す図である。
【図7】本発明の実施形態におけるプログラムの撮影モード時の処理フローを示す図である。
【図8】本発明の実施形態におけるプログラムの設定モード時の処理フローを示す図である。
【発明を実施するための形態】
【0016】
(第一の実施例)
図1は、本発明の第1の実施形態に係る撮影装置の概略構成を示すブロック図である。図1において、撮影装置は、いわゆるデジタルカメラから成り、撮影用のレンズ101、撮像素子(以下、「CCD」と称する)102、カメラ信号処理部(以下、「ADC」と称する)103、画像処理部104、コントローラ110、バッファメモリ111、フラッシュROM112、インターフェース回路(以下、「I/F回路」と称する)113、カードホルダ114、記録媒体115、ディスプレイドライバ116、および操作部120を備える。
【0017】
図1は、本実施形態に係る情報付加装置を適用した撮像装置の構成を示す図である。撮像装置は、レンズ101と、撮像素子(CCD)102と、カメラ信号処理部103と、画像処理部104と、記録媒体115と、レンズ制御部127と、システムコントローラ110と、操作部120とを含んで構成される。
【0018】
レンズ101は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。
【0019】
撮像素子102は、レンズ101から入射した撮像光をを結像し、電気信号(アナログ信号)に変換するして出力するCCDイメージセンサで構成される。
【0020】
カメラ信号処理部(ADC)103は、撮像素子102から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。
【0021】
コントローラ110は、画像処理部104、バッファメモリ111、フラッシュROM112、I/F回路113、ディスプレイドライバ116、サウンドドライバ118、LEDドライバ128、および操作部120に接続されている
【0022】
画像処理部104は、前処理部105、YC処理部106、電子ズーム処理部107、圧縮部108、および伸長部109を備え、カメラ信号処理部103から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。
【0023】
前処理部105は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源(蛍光灯や太陽光など)に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部105は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。
【0024】
YC処理部106は、入力される画像データに基づく画像を、輝度情報「Y」と、輝度信号と青色の色差情報「Cb」と、輝度信号と赤色の色差情報「Cr」とに分離する機能を有する。電子ズーム処理部107は、画像の一部(例えば中央部)を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。電子ズーム処理部107は、例えば、撮影された1600×1200ドットの画像から中央の1024×768ドットの画像を切り出し、データ補間を行いながら1600×1200ドットのサイズに拡大することができる。
【0025】
圧縮部108は、画像データをJPEG(Joint Photographic Expert Group)方式などの圧縮形式によって圧縮する機能を有する。伸長部109は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをJPEG方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる(DCT処理)。次に、画像の階調やグラデーションを表現する段階を数値(量子化ビット数)で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。
【0026】
具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部108および伸長部109を省略することができる。また、画像データの圧縮形式は、JPEG方式に限らず、GIF(Graphical Interchange Format)形式などであっても、同様に処理を行うことができる。
【0027】
バッファメモリ111には、画像処理部104において画像処理が行われる際に、一時的に画像データが保存される。フラッシュROM112には、撮影装置の各種設定情報や、後述するユーザ認証情報が保存される。I/F回路113は、コントローラ110から出力される画像データを、記録媒体115に記録可能なデータ形式に変換する。また、I/F回路113は、記録媒体115から読み出された画像データ等を、コントローラ110で処理可能なデータ形式に変換する。
【0028】
カードホルダ114は、記憶媒体である記録媒体115を撮影装置に着脱可能にする機構を備えると共に、記録媒体115との間でデータ通信が可能な電気接点を備える。また、カードホルダ114は、撮影装置で利用される記憶媒体の種類に応じた構造を有する。記録媒体115は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ114に着脱可能なカード型の記憶媒体である。記録媒体115には、撮影装置で撮影された画像データを記録することができる。
【0029】
ディスプレイドライバ116は、コントローラ110から出力される画像データを液晶ディスプレイ117で表示可能な信号に変換する。具体的には、ディスプレイドライバ116は、コントローラ110から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズを液晶ディスプレイ117の表示可能エリアのサイズに適したサイズに変換する処理を行う。
【0030】
サウンドドライバ118は、コントローラ110から出力される音声データをスピーカ219で鳴動可能な信号に変換する処理を行う。LED(Light Emitting Diode)ドライバ128は、コントローラ110から出力される命令に従いランプ129の制御を行う。
【0031】
操作部120は、電源スイッチ121、モードダイヤル122、撮影ボタン123、カーソルキー124、ズームボタン125、および閲覧(再生)ボタン126を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をコントローラ110に出力する。なお、操作部120には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。
【0032】
モードダイヤル(選択ボタン)122は、撮影動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル122を操作することで、複数の撮影動作モードを選択することが可能である。なお、本発明の実施形態において、モードダイヤルは、ダイヤル式機構として記載をするが、例えば、ダイヤルではなくスライド式のボタンであってもよい。つまり、モードダイヤル122について、その機構はダイヤルに限定されず、カメラのモードを切り替えられるための機構を備えていることが本質である。
【0033】
閲覧ボタン126は、撮影した画像データを閲覧する閲覧モード(再生モード)に切り替えるためのボタンである。閲覧ボタン126が押下されると、撮影モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、閲覧ボタン126の押下に限定されず、液晶ディスプレイ117上のタッチパネル(不図示)などによる移行方法であってもよい。
【0034】
閲覧モードでは、コントローラ110が、I/F回路113を介して、カードホルダ114に装着されている記録媒体115から設定情報と画像データを読み出す。設定情報は、現在装着されている記録媒体115に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像1枚分の画像データまたはサムネイルデータである。なお、記録媒体115から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。
【0035】
記録媒体115から読み出された画像データは、I/F回路113およびコントローラ110を介して、ディスプレイドライバ116へ入力される。ディスプレイドライバ116は、入力された画像データを液晶ディスプレイ117に表示させる。
【0036】
カーソルキー124は、ユーザが撮影装置に対する所定の指示や機能選択を行うためのキーである。ユーザは、カーソルキー124により、撮影装置に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。また、カーソルキー124により、液晶ディスプレイ117にメニュー画面を表示させたり、撮影装置が有する所定の機能を選択することができる。さらに、カーソルキー124により、撮影装置で撮影された画像データを液晶ディスプレイ117上にレビュー表示させることができる。レビュー表示とは、撮影装置200で撮影した画像を、その直後に液晶ディスプレイ117に表示させる機能である。
【0037】
なお、レビュー表示については、液晶ディスプレイ117上に撮影した画像を1枚のみ表示する構成に限定されず、サムネイル画像を含む複数の画像を表示するように構成してもよい。また、レビュー表示の切り替えについては、カーソルキー124の押下に限らず、他のボタンの押下などの一般的な方法を利用して切り替えられる構成にしてもよい。また、レビュー表示画面において、レビュー表示画像の削除や編集などが行えるように構成してもよい。
【0038】
レンズ制御部127は、レンズ101のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。また、撮影装置は、被写体を撮像して画像データを得る撮影モードと当該撮影モードで得た画像データを表示する閲覧(再生)モードとを備える。
【0039】
なお、音声についてはマイクやスピーカを用いることで、撮像装置と同様に記録、及び再生が可能である。また、映像(動画)記録時には、通常音声記録も同時に行われ、圧縮部108および伸長部109において、映像と音声が多重化される。
【0040】
また、撮影装置200における撮影動作について図1を用いて説明する。まず、ユーザが電源スイッチ121を操作し、撮影装置200の電源をONにする。すると、撮影装置200に内蔵されているバッテリー(不図示)から各回路へ電源供給されて、撮影装置200の起動処理(レンズバリアを開く動作制御およびマイクロコンピューターのリセット処理など)が行われる。撮影装置200は、電源OFF時に電源スイッチ121が押下されると電源ONとなり、自動的に撮影モードとなるように構成されている。また、電源OFF時に閲覧ボタンが押下されると電源ONとなり、自動的に閲覧モードとなるように構成されている。
【0041】
撮影装置200が撮影モードに移行すると、光学画像がレンズ101を介して撮影装置内へ入射し、撮像素子(CCD)102に結像される。CCD102は、入射される光学画像を電気信号に変換して、カメラ信号処理部(ADC)103へ出力する。ADC103は、入力される電気信号(アナログ信号)をデジタル信号に変換する。ADC103から出力されるデジタル信号は画像処理部104に入力される。
【0042】
画像処理部104内の前処理部105では、入力されるデジタル信号に基づき画像データを生成し、ホワイトバランス処理およびガンマ補正処理などが行われる。画像処理部104内のYC処理部106では、画像データが輝度信号Yと色差信号CrおよびCbとに分離され、色差信号CrおよびCbの情報量を減らす処理が行われる。色差信号CrおよびCbの情報量の削減処理は、例えば、画像の主走査方向の色情報を間引く「4:2:2ダウンサンプリング処理」や、画像の縦横方向の色情報を間引く「4:1:1ダウンサンプリング処理」などがある。なお、前処理部105およびYC処理部106において画像処理を行う際は、画像データを一時的にバッファメモリ111に保存し、随時バッファメモリ111に保存されている画像データを読み出しながら画像処理が行われる。
【0043】
画像処理部104から出力される画像データ(非圧縮)はコントローラ110に入力される。コントローラ110は、画像処理部104から出力される画像データを、ディスプレイドライバ116へ出力する。ディスプレイドライバ116は、入力される画像データ(デジタル信号)をアナログ画像信号に変換すると共に、アナログ画像信号に基づく画像のサイズを液晶ディスプレイ117で表示可能なサイズに調整する。
【0044】
また、ディスプレイドライバ116は、液晶ディスプレイ117に画像を表示させるよう制御する。このとき、液晶ディスプレイ117に表示される画像は、CCD102、ADC103、および画像処理部104において、連続的に信号処理されて生成される画像(スルー画像)である。
【0045】
液晶ディスプレイ117にスルー画像が表示されている状態で、ユーザが希望のタイミングで撮影ボタン123を操作すると、コントローラ110は画像処理部104に制御信号を出力する。画像処理部104に制御信号が入力されると、圧縮部108は、前処理部105およびYC処理部106において画像処理された画像データをバッファメモリ111へ保存し、圧縮処理を行う。
【0046】
具体的には、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理(DCT処理)や、画像の階調やグラデーションを表現する段階を量子化ビット数で表現する量子化処理や、画像データの信号文字列を一定のビット毎に区切り、出現頻度が高い文字列に対して、より短い符号を与えてゆくハフマン符号化処理などが実行される。圧縮された画像データは、コントローラ110およびディスプレイドライバ116を介して液晶ディスプレイ117に表示される。また、圧縮された画像データは、カードホルダ114を介してメモリーカード115に記録される。
【0047】
撮影ボタン123が操作される前にズームボタン125が操作されると、コントローラ110は光学ズーム処理や電子ズーム処理を実行し、画像の大きさを拡大または縮小させることができる。そして、ズームボタン125の操作後、撮影ボタン123が操作されると、拡大または縮小された画像の画像データがメモリーカード115へ記録される。
以上、図1を用いて本発明を実施する撮像装置のハードウエア構成および撮影機能について説明した。
【0048】
次に、図2を用いて、本発明を実施する撮像装置の機能構成について説明する。図2は、本発明を実施する撮像装置の機能構成例を示す図である。
【0049】
図2において、撮影装置は、電源制御部201、モード制御部202、データ取得部203、画像表示制御部204、顔検出部205、顔判定部206、音声データ入出力部207、音声鳴動制御部208、およびランプ点滅制御部209を備える。
【0050】
まず、ユーザにより電源スイッチ121のON指示がなされると、電源制御部201が電源のONを検知する。また、OFFの指示がなされたら、電源制御部が電源のOFFを検知する。
その後、ユーザがモードダイヤル122を操作して設定したモードをモード制御部202が判定する。ユーザが撮影した画像データは、設定されたモードに応じて、メモリーカード115内に保存される。
【0051】
撮影装置200がメモリーカード115内に保存された画像データの閲覧(再生)をユーザから要求された場合、データ取得部203がメモリーカード内の画像データを取得し、画像表示制御部204が画像表示を行う。
【0052】
撮影中、顔検出部205がスルー画像の解析を行い、顔があれば液晶ディスプレイ117にアイコンを表示する。さらに顔判定部206はその顔の種類を判定する。本実施例では、検出できる顔の種類を「人物」と「動物」の顔としている。どちらの顔であるかを判定する方法は、既知の技術であるが、例えば、特開2010−15443号公報に記載の方法で、動物の顔判定を行うことが可能である。注意喚起用音声の登録と解除は音声データ入出力部207が行う。音声の鳴動とランプの点滅は音声鳴動制御部208、およびランプ点滅制御部209が行う。以上、図2を用いて本発明を実施するための撮像装置の機能構成について説明をした。
【0053】
次に、本発明の実施形態における撮像装置の処理工程について、図6〜8のフローチャートを用いて説明する。図6は、本発明の実施形態におけるプログラムの基本的な処理フローを示す図である。
【0054】
まず、撮像装置100は、電源スイッチ121の押下を検知して、電源がオンの状態なのか、オフの状態なのかを判断する(ステップS601)。電源がオンの状態であれば、ステップS602に進み、モードダイヤル122の状態を確認する(ステップS602)。モードダイヤル122が、メニューモードである場合には、撮像装置100は、設定モードの処理に切り替わる(ステップS604)。
【0055】
モードダイヤル122が、撮影モードに設定されている場合には、撮像装置は、撮影モードの処理に切り替わる(ステップS603)。なお、ステップS603の撮影モードの処理については、図7で詳細に説明をする。また、ステップS604の設定モードの処理については、図8で詳細に説明をする。
【0056】
このように、撮像装置100は、モードダイヤル122が撮影モードに設定されているか、あるいは設定モードに設定されているかにより、以下の図7、図8で説明をする処理に分かれる。
【0057】
はじめに、図8を用いてステップS604での処理工程について説明をする。図8は、本発明の撮像装置で実行する音声設定方法についてのフローチャートである。なお、図8の各ステップに対応する画面UIは適宜図3−1〜3−3を用いて説明する。
【0058】
まず、ステップS801において、撮像装置は、設定モードにおいて、メニューボタンの押下を受け付けたか否かを判定する。メニューボタンの押下を受け付けると(ステップS801のYES)、ステップS802に進みメニュー画面(不図)を表示する。また、メニューボタンの押下以外の操作指示を受け付けた場合(ステップS801のNO)には、本ステップS801をループ処理にて継続させる。
【0059】
次に、ステップS802において、撮像装置は、ディスプレイ117に表示された設定モードのメニュー画面(不図示)から、ユーザの操作指示による「振り向き音の選択」の選択を受け付けたか否かを判定する。「振り向き音の選択」のボタンを受け付けると、ステップS803に進み、撮像装置の所定の記憶部(具体的にはフラッシュROM112)に記憶されている振り向き音声データテーブルを読み込み、振り向き音声データが記憶されるか否かの確認をする。振り向き音声データテーブルについては、図5を用いて詳細に説明をする。
【0060】
ここで、図5を用いて本発明の実施形態における撮像装置で記憶している振り向き音声データテーブルで備えている項目について説明をする。図5の振り向き音声データテーブルは、「音声ファイル名」、「ファイル形式」、「ファイルサイズ」、「(幼児用振り向き音としての)登録済みフラグ」、「(動物用振り向き音としての)登録済みフラグ」の項目を備えていることが望ましい。
【0061】
「音声ファイル名」は、後述図3−1の音声データ一覧画面で表示される振り向き音のファイル名であり、本図では、「母親の声1」、「母親の声2」、「動物の鳴き声」が記憶されている。なお、音声ファイル名の設定方法としては、撮像装置のディスプレイ117に表示されるファイル名設定画面(不図示)のソフトウエアキーボードによりファイル名の設定が可能である。「ファイル形式」は、「mp3」に代表される。音声データのファイル形式を示す。「ファイルサイズ」は、音声データのファイル容量を示す。
【0062】
「登録済みフラグ」は、図8のフローチャートで説明する「設定モード」において、幼児用、動物用いずれかの振り向き音として設定されていることを示すフラグである。値が「0」であれば、振り向き音として設定されておらず、「1」であれば、振り向き音として設定されている状態を示す。
【0063】
引き続き図8の説明に戻る。ステップS804において、振り向き音声データテーブルにアクセスをした結果、振り向き音声データが記憶されている場合には、データテーブルに記憶されている振り向き音声データのファイル名を取得(ステップS805)して、音声データ一覧画面を表示する(ステップS806)。音声データが記憶されていない場合には、ステップS801のメニュー画面に戻る。
【0064】
なお、図3−1は、ステップS806でディスプレイ117に表示される音声データ一覧画面のユーザインターフェース例である。音声データ一覧画面301には、後述の図5で説明する振り向き音声データテーブルから取得した音声データのファイル名が表示部(302)に表示される。表示部302には、「PLAY」ボタン303、「SET」ボタン304、「MENU」ボタン305が表示されている。
【0065】
撮像装置は、特定の音声データが選択された状態で「PLAY」ボタン303の押下を受け付けると、選択されていた音声データの再生を行う。音声データの再生は、サウンドドライバ118により、スピーカー119を介して行われる。
【0066】
また、撮像装置は、特定の音声データが選択された状態で「SET」ボタン304の押下を受け付けると、選択されていた音声データを振り向き音として設定する処理を行う。
【0067】
撮像装置は、「MENU」ボタン305の押下を受け付けると、振り向き音の設定を中止し、ステップS801のメニュー画面を再び表示する。また、「繰り返し再生する」チェックボックス306にチェックを受け付けると、図3−1で選択する音声データを、撮影時に繰り返し再生して、被写体へ効率的に注意喚起することができる。
【0068】
引き続き、図8の説明に戻る。ステップS806で、撮像装置は、ディスプレイ117に音声データ一覧画面を表示し、振り向き音のプレ再生、若しくは設定受け付け状態でスタンバイする。まず、音声データ一覧画面表示時に、「PLAY」ボタンの押下を受け付けたか否かの判定を行い(ステップS807)、ユーザ操作により「PLAY」ボタンの押下を受け付けたと判定された場合には、選択中の音声を再生(ステップS808)を行って、ステップS807に戻る。
【0069】
ステップS807で押下されたボタンが、「PLAY」ボタンではないと判定された場合には、ステップS809に進み、撮像装置は、同じく「SET」ボタンが押されたか否かを判定する。ユーザ操作により「SET」ボタンの押下を受け付けたと判定された場合(ステップS809のYES)には、撮像装置は、用途選択画面(図3−2)を表示する(ステップS810)。
【0070】
ステップS809で押下されたボタンが、「SET」ボタンではないと判定された場合には、ステップS811に進み、撮像装置は、同じく「MENU」ボタンが押されたか否かを判定する。ユーザ操作により「MENU」ボタンの押下を受け付けたと判定された場合(ステップS811のYES)には、上述のステップS802に戻りメニュー画面を表示する。ステップS810では、撮像装置は、用途選択画面(図3−2)を表示した状態でスタンバイとなる。
【0071】
なお、図3−2は、ステップS810でディスプレイ117に表示される用途選択画面のユーザインターフェース例である。用途選択画面311では、表示部312に、ステップS809で振り向き音として設定した音声データの用途を選択する選択肢が表示される。
【0072】
例えば、本図では、ステップS809で、「母親の声1」が選択されており、312には、「幼児用」、「動物用」の選択肢(313)が表示されている。用途選択画面表示時に、313の選択肢を受け付けることで、振り向き音の設定を実行する。なお、用途選択画面表示時に、「キャンセル」が選択された場合(ステップS812)には、上述のステップS806へ戻る。
【0073】
引き続き図8の説明に戻る。撮像装置は、用途選択画面が表示された状態で、選択肢313の選択を受け付けた場合(ステップS813)、既に、振り向き音が設定されているか否かを確認する(ステップS814、ステップS815)。具体的には、撮像装置の記憶部(フラッシュROM112)に設定記憶されている、振り向き音声データテーブルの各音声データの設定済フラグの値をを読み込み、ステップS813で選択を受け付けた選択肢の登録済みフラグが「1」の音声データがあるか否かを確認する。図5の振り向き音声データテーブルには、「幼児用」、「動物用」の登録済みフラグの項目を備えているものとする。
【0074】
ステップS814で登録済みの音声データがあるか否かを確認し、登録済みの音声データがあった場合には(ステップS815のYES)、撮像装置は、上書確認画面を表示(ステップS816)して上書き登録の可否を受け付ける。登録済みの音声データがない場合は(ステップS815のNO)、ステップS818に移り、処理中画面を表示する。
【0075】
ステップS816で、上書確認画面表示時に、上書き確認を実行する指示として「はい」が選択された場合(ステップS817のYES)には、処理中画面を表示する(ステップS818)。「いいえ」が選択された(ステップS817のNO)場合、上述のS810へ戻る。ステップS819で、撮像装置は、音声データ登録処理を行い、設定モードを終了する。
【0076】
具体的には、撮像装置の記憶部(フラッシュROM112)に図5の振り向き音声データテーブルの該当する音声データの「登録済みフラグ(幼児用、動物用のいずれか)」を「1」にする。
【0077】
以上の処理によれば、撮影用途(幼児撮影なのか、動物撮影なのか)に応じた振り向き音声データの登録を行うことができる。
【0078】
次に、図7を用いてステップS603での処理工程について説明をする。なお、図7の各ステップに対応する画面UIは適宜図4−1〜4−4を用いて説明する。図7は、本発明の実施形態における撮像装置で実行する撮影モードの処理フローを示す図である。
【0079】
まず、モードダイヤル122が、撮影モードに切り替えられ、スタンバイ状態となる。ステップS701で、メニューボタンが押下されたか否かの判定を受け付ける。メニューボタンの押下を受け付けた場合(ステップS701のYES)には撮影設定画面が表示されるため撮影モードが終了(中断)する。
【0080】
なお、図4−1は、ステップS701を表すインターフェース例であり、モードダイヤル122を回転させ撮影モードのうち、撮影シーンの「キッズ&ペット」に設定をしておく。
【0081】
メニューボタンの押下ではなく(ステップS701のNO)、撮影ボタン123の半押しを受け付けた場合(ステップS702のYES)には、自動露出(Automatic Exposure)、オートフォーカス(Auto Focus)、およびホワイトバランス(AWB)の処理を行う(ステップS703)。図4−2は、ステップS702の状態を表すユーザインターフェース例である。図4−2では、撮像装置を被写体へ向け、シャッターボタンを半押し状態にする。この時に、AE、AF、AWB等の処理と共に顔検出が実施される。
【0082】
ステップS704で、撮像装置は、撮影ボタン123の半押し状態で、撮影シーンの確認を行う。この時に、設定されている撮影シーンが「キッズ&ペット」であるか否かの判定を行う。設定されている撮影シーンが「キッズ&ペット」である場合(ステップS704のYES)には、撮像装置は、顔検出を開始(ステップS705)する。
【0083】
続いて、ステップS706で、撮像装置は、ステップS705で顔検出により検出した顔について判定を行う。判定の結果、動物の顔と判定された場合には動物用振り向き音声データ(S707)を、幼児の顔と判定された場合には幼児用振り向き音声データをバッファメモリ111へ読み出す(ステップS708)。その後、読み出した音声を鳴動し、同時にランプを点滅させる等で注意喚起を開始する(ステップS709)。このときの、ステップS704〜ステップS709までの処理を表すインターフェース例が図4−3である。
【0084】
図4−3は、撮像装置を被写体へ向け、シャッターボタンが半押しされている状態である。この状態で顔が検出されると、検出位置を示すアイコンがLCD上へ表示される。更に検出された顔が音声登録済みの被写体であると判定されると、登録済みの注意喚起用音声の鳴動が開始される。このとき、顔が複数検出され、その種類が別々であると判定された場合、それらすべての注意喚起用音声を同時に鳴動させる構成としてもよいし、優先的な注意喚起用音声を予め決めておき鳴動する構成としてもよいし、これらの動作を選択可能な構成としてもよい。
【0085】
また、動物の顔検知の具体的な方法については、現在既知の技術を用いることにより実現可能であるが、例えば、特開2010−15443号公報でも同様の方法で動物の顔検出を行っているため、本技術は、既知の技術という認識である。
【0086】
ステップS709では、先述の図8で設定をした振り向き音声データの再生が始まると同時に、撮像装置筐体前面(レンズ側)のランプが点灯して、被写体の注意喚起をする。ステップS710において、撮像装置は、シャッターボタン(撮影ボタン123)が全押しされたことを検知すると(ステップS710のYES)、振り向き音とランプを停止(ステップS711)した上で被写体の撮影、記録処理を行う(ステップS712)。ステップS710で、シャッターボタンの全押しではない(NOの方)場合には、ステップS713へ進み、半押しが解除された状態であるかの判定をする。シャッターボタンの半押しが解除された場合(ステップS713のYES)は、ステップS714で、音声とランプの停止のみを行う。
【0087】
図4−4は、ステップS710〜S712のインターフェース例である。振り向き音によって被写体がカメラ方向を向いた時に、撮影者からの操作指示によりシャッターボタンの全押しを受け付ける。注意喚起用音声の鳴動が中止され、通常どおり撮影と記録の処理が実施される。
【0088】
以上、図7のフローチャートの処理によれば、幼児や動物を撮影する設定状態で被写体の顔を検知した時に、被写体の種類(具体的には、動物か、人物(幼児)か)を判別することにより、動的に振り向き音を変更することができ、被写体にとってより興味を惹く音声再生とランプの点灯制御が行える。
【0089】
(第二の実施例)
先述の第一の実施例によれば、振り向き音の設定を予め行っておくことにより、撮影時に被写体の種類を判別して音声再生、ランプの点灯を実行することが可能である。しかしながら、第一の実施例は、画像の被写体が単体であることを想定した処理であるため、第二の実施例では、複数の被写体を撮影する場合であり、かつ動物、人物(幼児)の両方が被写体として検出される場合についての振り向き音の再生方法について説明する。
図8の設定モードにおいて、ステップS801〜ステップS819までは、第一の実施例と同様の処理を行うため、説明を省略する。
【0090】
ステップS819で音声データを記憶部に登録した後、撮像装置はディスプレイ117に図3−4の優先設定画面を表示する(ステップとしては不図示)。図3−4は、登録した音声データのどちらを優先的に再生するかの選択を受け付ける優先設定画面である。優先設定画面331は、表示部の332に、「被写体複数時、どちらを優先しますか」という趣旨のメッセージを表示する。選択肢の333には「幼児(用の音声)」、「動物(用の音声」
、「交互に音声を再生」、「検出数が多い被写体の音声を再生」という選択肢が表示される。
【0091】
「幼児用」の選択を受け付けた場合には、人物(幼児)と動物が同時に画像の被写体として検出された場合に、「幼児用」として設定された振り向き音が再生されることとなる。「動物用」の選択を受け付けた場合には、人物(幼児)と動物が同時に画像の被写体として検出された場合に、「動物用」として設定された振り向き音が再生されることとなる。また、「交互に音声を再生」の選択を受け付けた場合には、図8で被写体の種類ごとに設定をした音声データが交互に再生される。
「検出数が多い被写体の音声を再生」の選択を受け付けた場合には、図7のステップS705〜ステップS706でシャッターボタンの半押しを受け付けて、顔検出および判定をする際に、例えば、3つの顔を検出して、その内訳が「幼児:動物=1:2」であれば、動物の方が多く被写体になっていると判定し、動物用に設定された振り向き音が再生される。
【0092】
第二の実施例によれば、複数種類(人物と動物)の被写体を撮影する場合に優先再生をする音声データを設定しておくことにより、より注意喚起を促したい被写体に対して優先的に振り向き音を再生することが可能になる。また、3以上の被写体撮影時には、被写体の内訳に応じて、(人物と動物の)どちらか多いほうの被写体の振り向き音を動的に再生することが可能である。
【0093】
以上で、本発明の撮像装置で実行する処理の説明を終える。なお、本発明の実施形態では、撮像装置のディスプレイ117が、タッチパネル機能を有しているものであれば、ユーザからの指示受付は、操作部のカーソルキー124などを用いることなく、ディスプレイ117への押下を直接受け付けることにより、制御を実行することが可能である。
【0094】
以上、本発明によれば、撮像装置が備える顔検出機能により被写体の種類を自動的に判別し、被写体に応じて適切な方法で撮影のための注意喚起をさせる撮像装置を提供することが可能となる。具体的には、ユーザ操作に応じて画像を撮影する撮像手段を備える撮像装置において、被写体への注意喚起をする振り向き音を記憶する記憶手段(フラッシュROM112に記憶)と、前記記憶手段で記憶した前記振り向き音を、被写体の種類に基づき音声再生すべく設定する振り向き音設定手段(図8のステップS819)と、ユーザ操作に応じて撮影する画像の被写体を認識する被写体認識手段(図7のステップS705)と、前記被写体認識手段で認識した被写体の種類を判定する判定手段(図7のステップS706)と、前記判定手段で判定された被写体の種類に基づいて、少なくとも前記振り向き音設定手段で設定した振り向き音の再生により被写体への注意喚起を実行する注意喚起手段(図7のステップS707またはステップS708)とを備えることを特徴とする。
【0095】
以上説明したように、本発明におけるプログラムは、図6〜図8に示すフローチャートの処理に従って撮像装置としてコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図6〜図8の処理方法を撮像装置が実行可能なプログラムを記憶されている。なお、本発明におけるプログラムは図6〜図8の各装置の処理方法ごと、別の独立したプログラムであってもよい。
【0096】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【0097】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,DVD−ROM,磁気テープ,不揮発性のメモリカード,ROM,EEPROM,シリコンディスク等を用いることができる。
【0098】
また、撮像装置が読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0099】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0100】
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【0101】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ,データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【0102】
また上記のソフトウェアで実現する各処理を、ファームウェアやハードウェア構成にして、各処理を各手段として実現することも可能であり、本発明の技術的範囲はこのようなファームウェアやハードウェア構成による実現も含むものである。
【符号の説明】
【0103】
101 光学系(レンズ)
102 撮像素子(CCD)
103 カメラ信号処理部
110 システムコントローラ
117 ディスプレイ
120 操作部

【特許請求の範囲】
【請求項1】
ユーザ操作に応じて画像を撮影する撮像手段を備える撮像装置において、
被写体への注意喚起をする振り向き音を記憶する記憶手段と、
前記記憶手段で記憶した前記振り向き音を、被写体の種類に基づき音声再生すべく設定する振り向き音設定手段と、
ユーザ操作に応じて撮影する画像の被写体を認識する被写体認識手段と、
前記被写体認識手段で認識した被写体の種類を判定する判定手段と、
前記判定手段で判定された被写体の種類に基づいて、少なくとも前記振り向き音設定手段で設定した振り向き音の再生により被写体への注意喚起を実行する注意喚起手段と
を備えることを特徴とする撮像装置。
【請求項2】
前記判定手段は、前記被写体認識手段で認識した被写体が、人物の顔であるか動物の顔であるか否かを判定し、
前記注意喚起手段は、前記判定手段で前記被写体が人物の顔であると判定された場合に、前記振り向き音設定手段で設定した人物への注意喚起を実行し、前記判定手段で前記被写体が動物の顔であると判定された場合に、前記振り向き音設定手段で設定した動物への注意喚起を実行することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記振り向き音設定手段は、前記被写体認識手段で複数種類の被写体を認識した場合に、どの被写体に対する注意喚起を優先させるかを設定する優先設定手段を備え、
前記被写体認識手段で認識した被写体が複数種類ある場合に、前記注意喚起手段は、前記優先設定手段で設定された被写体に対する注意喚起を優先して実行することを特徴とする請求項1または2に記載の撮像装置。
【請求項4】
前記振り向き音設定手段は、前記被写体への注意喚起をする振り向き音を繰り返し再生すべく設定する繰り返し再生設定手段を備えることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
【請求項5】
前記注意喚起手段は、前記撮像手段でユーザ操作に応じて画像が撮像されると、前記振り向き音を停止する停止手段を備えることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
【請求項6】
ユーザ操作に応じて画像を撮影する撮像手段と、被写体への注意喚起をする振り向き音を記憶する記憶手段とを備える撮像装置の制御方法であって、
前記撮像装置の振り向き音設定手段が、前記記憶手段で記憶した前記振り向き音を、被写体の種類に基づき音声再生すべく設定する振り向き音設定ステップと、
前記撮像装置の被写体認識手段が、ユーザ操作に応じて撮影する画像の被写体を認識する被写体認識ステップと、
前記撮像装置の判定手段が、前記被写体認識ステップで認識した被写体の種類を判定する判定ステップと、
前記撮像装置の注意喚起手段が、前記判定ステップで判定された被写体の種類に基づいて、少なくとも前記振り向き音設定ステップで設定した振り向き音の再生により被写体への注意喚起を実行する注意喚起ステップ
とを含むことを特徴とする制御方法。
【請求項7】
ユーザ操作に応じて画像を撮影する撮像手段と、被写体への注意喚起をする振り向き音を記憶する記憶手段とを備える撮像装置を制御するプログラムであって、
前記撮像装置を、
前記記憶手段で記憶した前記振り向き音を、被写体の種類に基づき音声再生すべく設定する振り向き音設定手段と、
ユーザ操作に応じて撮影する画像の被写体を認識する被写体認識手段と、
前記被写体認識手段で認識した被写体の種類を判定する判定手段と、
前記判定手段で判定された被写体の種類に基づいて、少なくとも前記振り向き音設定手段で設定した振り向き音の再生により被写体への注意喚起を実行する注意喚起手段
として機能させることを特徴とするコンピュータで読み取り実行可能なプログラム。

【図1】
image rotate

【図2】
image rotate

【図3−1】
image rotate

【図3−2】
image rotate

【図3−3】
image rotate

【図3−4】
image rotate

【図4−1】
image rotate

【図4−2】
image rotate

【図4−3】
image rotate

【図4−4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2012−90068(P2012−90068A)
【公開日】平成24年5月10日(2012.5.10)
【国際特許分類】
【出願番号】特願2010−235001(P2010−235001)
【出願日】平成22年10月19日(2010.10.19)
【出願人】(390002761)キヤノンマーケティングジャパン株式会社 (656)
【出願人】(312000206)キヤノンMJアイティグループホールディングス株式会社 (259)
【出願人】(301015956)キヤノンソフトウェア株式会社 (364)
【Fターム(参考)】