撮像装置及びそのプログラム
【課題】 笑顔検出によって自動撮影をおこなう撮像装置において、より最適なタイミングかつ撮影者が意図した撮影条件で撮影されることを可能にした撮像装置を提供すること
【解決手段】 撮像装置であって、撮像素子と、前記撮像素子を用いて被写体を撮像する撮像制御手段と、被写体の中から顔を検出する顔検出手段と、前記顔検出手段によって検出された顔から表情の変化を検出する表情変化検出手段と、前記撮像装置の設定を変更するための設定変更手段と、を有し、前記表情変化検出手段によって検出された被写体の表情の変化に応じて被写体画像を自動的に撮影すると共に、前記表情変化検出手段によって被写体の表情が変化したと判定された際に、前記設定変更手段によって前記撮像装置の設定変更がおこなわれてから所定時間を経過していない場合は、自動的に撮影をおこなわないことを特徴とする構成とした。
【解決手段】 撮像装置であって、撮像素子と、前記撮像素子を用いて被写体を撮像する撮像制御手段と、被写体の中から顔を検出する顔検出手段と、前記顔検出手段によって検出された顔から表情の変化を検出する表情変化検出手段と、前記撮像装置の設定を変更するための設定変更手段と、を有し、前記表情変化検出手段によって検出された被写体の表情の変化に応じて被写体画像を自動的に撮影すると共に、前記表情変化検出手段によって被写体の表情が変化したと判定された際に、前記設定変更手段によって前記撮像装置の設定変更がおこなわれてから所定時間を経過していない場合は、自動的に撮影をおこなわないことを特徴とする構成とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主に人物の撮影をおこなう撮像装置及びそのプログラムに関し、特に被写体の表情の変化を検知して自動的に撮影をおこなう機能を有した撮像装置に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラにおいて被写体の顔の表情の変化を抽出して自動的に撮影をおこなう機能が知られている。この機能によって、従来は撮影者の判断によって撮影されていた撮影タイミングを、被写体の方から、たとえば笑ったりウインクすることによって意図的に設定することが可能となり、被写体の意図通りの最適な撮影タイミングを計ることができる。
【０００３】
例えば特許文献１では、被写体が所定の撮影条件を満たしたときに自動撮影するカメラが開示されている。また特許文献２では、自動撮影がおこなわれる際のシャッターレリーズタイムラグを軽減するため、事前にユーザがシャッターボタンを全押しすることでフォーカスやアイリスを固定し、その後被写体の笑顔を検出すると自動撮影するカメラが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３４７２７８号公報
【特許文献２】特開２００９−００５３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年デジタルカメラでは、ストロボやAF、露出補正等の、撮影に関する多くの設定を撮影者が変更することが可能である。前記特許文献１に記載されている手法をデジタルカメラに適用した場合、撮影者が上記デジタルカメラの設定を変更している最中であっても、被写体の笑顔を検出した場合は撮影がおこなわれてしまうため、最適な条件で撮影がおこなわれない可能性がある。またユーザがボタンを押下しながら設定を変更している場合、その最中に自動撮影がおこなわれると大きく手振れした画像が撮影されてしまう恐れもある。
【０００６】
また、特許文献２に記載されているデジタルカメラでは、ユーザがシャッターボタンを全押しした後で笑顔検出をおこない自動撮影が実行される。すなわち笑顔検出の間、デジタルカメラはセルフタイマーモードとなっているので、撮影者による設定が受け付けられないため上述した問題は発生しない。しかし特許文献２による手法では、シャッターボタンを全押しした後に露出やAFが撮影者の意図通りでなかった場合には再度シャッターボタンを全押ししてセルフタイマーモードを解除することでしか設定を変更する術がなく、使い勝手にかけてしまう。また、特許文献２による手法では笑顔検出による自動撮影を解除するには再度シャッターボタンを全押しする必要があるため、たとえば笑顔検出中に、被写体が笑顔ではないが撮影者が最適だとおもったタイミングでは撮影することができず、この点においても使い勝手にかけてしまう。
【０００７】
本発明の目的はこのような事情を鑑みてなされたものであり、笑顔検出によって自動撮影をおこなう撮像装置において、より最適なタイミングかつ撮影者が意図した撮影条件で撮影されることを可能にした撮像装置を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、撮像装置であって、
撮像素子と、
前記撮像素子を用いて被写体を撮像する撮像制御手段と、
被写体の中から顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔から表情の変化を検出する表情変化検出手段と、
前記撮像装置の設定を変更するための設定変更手段と、
を有し、
前記表情変化検出手段によって検出された被写体の表情の変化に応じて被写体画像を自動的に撮影すると共に、
前記表情変化検出手段によって被写体の表情が変化したと判定された際に、前記設定変更手段によって前記撮像装置の設定変更がおこなわれてから所定時間を経過していない場合は、自動的に撮影をおこなわないことを特徴とする。
【発明の効果】
【０００９】
本発明によれば笑顔検出による自動撮影において、最適なタイミングで自動撮影がおこなわれる撮像装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】デジタルカメラの外観図
【図２】デジタルカメラの構成ブロック図
【図３】デジタルカメラ１００の全体的な動作のフローチャート
【図４】デジタルカメラ１００の撮影モードにおける一連の処理を示すフローチャート
【図５】デジタルカメラ１００の顔検出の処理を示すフローチャート
【図６】デジタルカメラ１００の撮影時処理を示すフローチャート
【図７】デジタルカメラ１００の記録媒体２００に対する記録シーケンスを示すフローチャート
【図８】デジタルカメラ１００の笑顔検出による自動撮影シーケンスを示すフローチャート
【発明を実施するための形態】
【００１１】
以下、図を参照しながら、本発明による装置、方法の一実施形態について説明する。
【００１２】
以下に説明する実施の形態においては、この発明による装置、方法を静止画像と動画との撮影が可能なデジタルカメラである撮像装置に適用した場合を例にして説明する。
【００１３】
(全体構成)
図１に本発明の撮像装置の一例としてのデジタルカメラの外観図を示す。
【００１４】
図１において２８は画像や各種情報を表示する表示部。７２は電源オン、電源オフを切り替える電源スイッチ。６１はシャッターボタン。６０は各種モードを切り替えるモード切替スイッチ。具体的には、静止画記録モード、動画記録モード、再生モード等のモードの切り替えが可能である。１１１はデジタルカメラと外部機器を接続するための接続ケーブル。１１２は接続ケーブル１１１とデジタルカメラとのコネクタ。７０はユーザーからの各種操作を受け付ける操作部。操作部７０は各種ボタンやタッチパネル等の操作部材からなる。具体的に例示すると以下の通りとなる。消去ボタン、メニューボタン、ＳＥＴボタン、十字に配置された４方向キー（上ボタン、下ボタン、右ボタン、左ボタン）、ホイール７３など。２００はメモリカードやハードディスク等の記録媒体。２０１は記録媒体２００を格納して通信するための記録媒体スロットである。
【００１５】
図２に本発明の撮像装置の一例としてのデジタルカメラの構成例を示すブロック図を示す。
【００１６】
１０３は撮影レンズ、１０１は絞り機能を備えるシャッター、２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。２３はアナログ信号をデジタル信号に変換するＡ／Ｄ変換器であり、撮像部２２から出力されるアナログ信号をデジタル信号に変換する場合に用いられる。また、音声制御部１１から出力されるアナログ信号をデジタル信号に変換する場合にも用いられる。バリア１０２は、デジタルカメラ１００の、レンズ１０３を含む撮像部を覆う事により、撮像部の汚れや破損を防止する。
【００１７】
１２は、撮像部２２、音声制御部１１、Ａ／Ｄ変換器２３、Ｄ／Ａ変換器１３にクロック信号や制御信号を供給するタイミング発生部であり、メモリ制御部１５及びシステム制御部５０により制御される。２４は画像処理部であり、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。画像処理部２４ではまた、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、TTL（スルー・ザ・レンズ）方式のAF（オートフォーカス）処理、AE（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理回路２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB（オートホワイトバランス）処理も行っている。
【００１８】
Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、直接メモリ制御部１５を介して、メモリ３２に書き込まれる。メモリ３２は、マイク１０において録音された音声データ、静止画像、動画像および画像ファイルを構成する場合のファイルヘッダを格納するためのメモリである。このメモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００１９】
１６は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸張する圧縮・伸張部であり、シャッター１０１をトリガにしてメモリ３２に格納された撮影画像を読み込んで圧縮処理を行い、処理を終えたデータをメモリ３２に書き込む。また、記録部１９などからメモリ３２に読み込まれた圧縮画像を読み込んで伸張処理を行い、処理を終えたデータをメモリ３２に書き込む。圧縮・伸張部１６によりメモリ３２に書き込まれた画像データは、システム制御部５０のファイル部においてファイル化され、インターフェース１８を介して記録媒体２００に記録される。
【００２０】
また、メモリ３２は画像表示用のメモリを兼ねており、１３はＤ／Ａ変換器、２８はＬＣＤ等からなる画像表示部であり、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して画像表示部２８により表示される。
【００２１】
１０はマイクである。マイクから出力された音声信号は、アンプ等で構成される音声制御部１１を介してＡ／Ｄ変換部２３においてデジタル信号に変換された後、メモリ制御部１５によってメモリ３２に格納される。一方、記録媒体２００に記録されている音声データは、メモリ３２に読み込まれた後、Ｄ／Ａ変換部１３を介し音声制御部１１において制御された信号がスピーカー３９において音声出力される。
【００２２】
不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。システム制御部５０の動作用の定数、プログラム等を記憶する。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００２３】
５０は、デジタルカメラ１００全体を制御するシステム制御部である。システム制御部５０は、上述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本発明の実施形態を実現する。５２は、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開するシステムメモリである。
【００２４】
第１シャッタースイッチＳＷ１（６２）、第２シャッタースイッチＳＷ２（６４）、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。
【００２５】
６０はモード切替スイッチであり、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替えることができる。
【００２６】
第１シャッタースイッチＳＷ１（６２）は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中（半押し）でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
【００２７】
第２シャッタースイッチＳＷ２（６４）は、シャッターボタン６１の操作完了（全押し）でＯＮとなり、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮像処理の動作開始を指示する。
【００２８】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種設定が可能なメニュー画面が画像表示部２８に表示される。利用者は、画像表示部２８に表示されたメニュー画面と、４方向キーやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００２９】
電源スイッチ７２は、電源オン、電源オフを切り替える。
【００３０】
３９は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。
【００３１】
また、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００３２】
３０はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源部である。３３及び３４はコネクタであり、電源部３０と電源制御部３９とを接続する。
【００３３】
４０はＲＴＣ(Real Time Clock)であり、電源制御部３９とは別に内部に電源部を保持し、電源部３０が落ちた状態であっても、時計動作状態を続けている。システム制御部５０は起動時にＲＴＣ４０より取得した日時を用いてタイマー制御する。
【００３４】
１８はメモリカードやハードディスク等の記録媒体２００とのインターフェースであり、３５は該記録媒体２００とインタフェース１８との接続のためのコネクタである。９８は、コネクタ３５に記録媒体２００が装着されているか否かを検知する記録媒体着脱検知部である。
【００３５】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部１９、デジタルカメラ１００とのインターフェース３７、及び、記録媒体２００とデジタルカメラ１００とを接続するためのコネクタ３６を備えている。
【００３６】
通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信処理を行う。
【００３７】
コネクタ（無線通信の場合はアンテナ）１１２は、通信部１１０を介してデジタルカメラ１００を他の機器と接続する。
【００３８】
(全体フロー)
図３に本実施形態のデジタルカメラ１００の全体的な動作を説明するフローチャートを示す。
【００３９】
電源スイッチ７２が操作され電源がオンに切り替わると、Ｓ３０１でシステム制御部５０はフラグや制御変数等を初期化する。続いて記録媒体２００に記録されているファイルに関する管理処理を開始する（Ｓ３０２）。
【００４０】
次に、Ｓ３０３でシステム制御部５０は、モード切替スイッチ６０の設定位置を判断し、静止画記録モードに設定されていたならばＳ３０４へ進む。このS３０４における静止画記録モード処理の詳細は図４を用いて後述する。Ｓ３０９で、モード切替スイッチ６０が動画記録モードに設定されていたならば動画記録モードＳ３１０へ進む。また、Ｓ３１１で再生モードの場合、再生モード処理Ｓ３１２に進む。その他のモードに設定されていたならばＳ３０５へ進み、システム制御部５０は選択されたモードに応じた処理を実行し、処理を終えたならばＳ３０６に進む。その他のモードとしては例えば記録媒体２００に格納されたファイルの送信を行う送信モード、外部機器からファイルを受信して記録媒体２００に格納する受信モードが含まれる。尚、本実施例では静止画記録モードを対象として説明をすすめるため、それ以外のモードに関しての説明は割愛する。
【００４１】
S３０６で、システム制御部５０は電源スイッチ７２の設定位置を判断し、電源スイッチ７２が電源オンに設定されていれば、Ｓ３０３に戻る。Ｓ３０６において電源スイッチ７２が電源オフに設定されていたならば、Ｓ３０７へ進んで所定の終了処理を行う。終了処理には、以下のような処理が含まれる。表示部２８の表示を終了状態に変更し、レンズバリア１０２を閉じて撮像部を保護する。フラグや制御変数等を含むパラメータや設定値、設定モードを不揮発性メモリ５６に記録する。電源供給が不要な部分への電源を遮断する。終了処理が完了するとＳ３０８に進み処理を終了する。
【００４２】
（静止画記録処理）
図４は前述したＳ３０４における静止画記録モード処理の流れを示すフローチャートである。
【００４３】
システム制御部５０は、静止画記録モードを開始すると、以下のいずれかの方法により撮影モードを確定する（Ｓ１１３）。不揮発性メモリ５６より前回の静止画記録モード終了時における撮影モードを取得し、システムメモリ５２に格納する。あるいは、ユーザーにより操作部７０が操作されて撮影モードの設定入力があれば、入力された撮影モードをシステムメモリ５２に格納する。
【００４４】
ここで、撮影モードとは撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等の組み合わせを組み合わせて実現されるモードのことである。本実施の形態のデジタルカメラ１００は後述する撮影モードを有する。
【００４５】
オートモード／カメラの各種パラメータを自由に変更可能なマニュアルモード／撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等の組み合わせが自動で設定される各種シーンモード。シーンモードには以下のようなモードが含まれる。背景をぼかして人物を浮き立たせるようにして人物撮影に特化したポートレートモード／人物にストロボ光をあて背景を遅いシャッター速度で記録することにより夜景シーンに特化した夜景モード／広がりのある風景シーンに特化した風景モード／三脚なしで夜景と人物をきれいに撮るナイト＆スナップモード／よく動き回る子供やペットをシャッターチャンスを逃さず撮影可能にしたキッズ＆ペットモード／新緑等の木々や葉を色鮮やかに撮影する新緑＆紅葉モード／蛍光灯や電球のもとで、手振れを抑えて被写体に忠実な色味で撮影するパーティーモード／雪景色をバックにしても人物が暗くならず、青みも残さず撮影するスノーモード／太陽光の反射の強い海面や砂浜でも、人物などが暗くならずに撮影可能なビーチモード／打ち上げ花火を最適な露出で鮮やかに撮影する花火モード／屋内の水槽内の魚などを撮影するのに適した感度、ホワイトバランス、色味を設定する水族館モード／水中に最適なホワイトバランスに設定し、青みを押さえた色合いで撮影する水中モード/被写体から顔を検出し、笑顔を検出することで自動的に撮影をおこなうスマイルモード。
【００４６】
撮影モードが確定すると続いて撮像部２２からの画像データを表示するスルー表示を行う（Ｓ１１５）。続いて電源制御手段８０により電池等により構成される電源３０の残容量や記録媒体２００の有無や残容量が画像処理装置１００の動作に問題があるか否かを判断し（Ｓ１１６）、問題があるならば表示部２８を用いて画像や音声により所定の警告表示を行った後に（Ｓ１１４）、静止画記録モードの先頭に戻る。
【００４７】
電源３０や記録媒体の状態に問題が無いならば、スルー表示される画像信号中に人の顔が存在するか否かを検知する顔検出を行う（Ｓ１１８）。この顔検出処理Ｓ１１８については図５を用いて後述する。Ｓ１１８において人の顔を検出した場合、顔情報として画像信号中において検出した位置座標、サイズ（幅、高さ）、検出個数、信頼性係数等をシステムメモリ５２に記憶する。また、画像表示部２８にスルー表示されている画像信号に重ねて顔枠を表示する。検出しなかった場合はシステムメモリ５２内の位置座標、サイズ（幅、高さ）、検出個数、信頼性係数等の領域に０を設定する。
【００４８】
続いてシャッタースイッチSW１が押されていないならば（Ｓ１１９）、顔検出処理Ｓ１１８を繰り返す。
【００４９】
シャッタースイッチSW１が押されたならば（Ｓ１１９）、Ｓ１２２に進む。
【００５０】
システム制御部５０は、測距処理を行って撮影レンズ１０３の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する（Ｓ１２２）。測光処理に於いて、必要であればフラッシュの設定も行う。この時Ｓ１１８において顔を検出していれば、検出した顔の範囲で測距を行うことも可能である。
【００５１】
測距・測光処理Ｓ１２２を終えたならば、Ｓ１２５に進む。
【００５２】
シャッタースイッチSW２が押されずに（Ｓ１２５）、さらにシャッタースイッチSW１も解除されたならば（Ｓ１２６）、Ｓ１１７に戻る。
【００５３】
シャッタースイッチSW２が押されたならば（Ｓ１２５）、画像表示部２８の表示状態を固定色表示状態に設定して（Ｓ１２８）、Ｓ１２９に進む。
【００５４】
Ｓ１２９でシステム制御部５０は、以下のような撮影処理を実行する。撮像素子２２、Ａ／Ｄ変換器２３、画像処理回路２４、メモリ制御回路１５を介して、或いはＡ／Ｄ変換器から直接メモリ制御回路１５を介して、メモリ３２に撮影した画像データを書き込む露光処理。メモリ制御回路１５そして必要に応じて画像処理回路２４を用いて、メモリ３２に書き込まれた画像データを読み出して各種処理を行う現像処理からなる撮影処理。この撮影処理の詳細は図６を用いて後述する。
【００５５】
システム制御部５０は、画像表示部２８に対し撮影画像データのレックレビュー表示を行う（Ｓ１３３）。レックレビューとは、撮影画像の確認のために、被写体の撮影後記録媒体への記録前に、予め決められた時間（レビュー時間）だけ画像データを表示部に表示する処理である。
【００５６】
レックレビュー表示後、システム制御部５０は撮影処理で得られた画像データを画像ファイルとして記録媒体２００に対し書き込みを行う記録処理を実行する（Ｓ１２０）。
【００５７】
この記録処理Ｓ１２０の詳細は、図７を用いて後述する。
【００５８】
記録処理Ｓ１２０が終了した際に、シャッタースイッチSW２が放されるまで画像表示部２８におけるレックレビュー表示を継続して撮影画像データの確認を入念に行うことを可能とすることが出来る。
【００５９】
記録処理Ｓ１２０が終了した際にシャッタースイッチSW２が放された状態であったか、シャッタースイッチSW２を押し続けてレックレビュー表示を継続して撮影画像の確認を行った後にシャッタースイッチSW２を放した状態であったならば（Ｓ１３５）、Ｓ１３７に進む。Ｓ１３７では予め定められたレビュー時間が経過したか否かを判断し、レビュー時間が経過していればＳ１３９に進む。
【００６０】
システム制御部５０は、画像表示部２８の表示状態をスルー表示状態に設定して（Ｓ１３９）、Ｓ１４１に進む。
【００６１】
この場合、画像表示部２８でのレックレビュー表示によって撮影画像データを確認した後に、次の撮影のために撮像部２２からの画像データを逐次表示するスルー表示状態にすることが出来る。
【００６２】
シャッタースイッチSW１が押された状態であったならば（Ｓ１４１）、システム制御部５０は、Ｓ１２５に戻って次の撮影に備える。
【００６３】
シャッタースイッチSW１が放された状態であったならば（Ｓ１４１）、システム制御部５０は、一連の撮影動作を終えて撮影待機状態に戻る。
【００６４】
（顔検出）
次に、Ｓ１１８において前述した顔検出処理に関し、代表的な顔検出アルゴリズムを図５を用いて説明する。
【００６５】
画像信号(Ｓ１５０)に水平(Ｓ１５１)及び垂直方向(Ｓ１５２)のバンドパスフィルタをかけ、エッジ成分を検出する。その後、検出されたエッジ成分のパターンマッチング(Ｓ１５３)を行い、目及び鼻、口、耳の候補群を抽出する。
【００６６】
Ｓ１５３にて抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む(Ｓ１５４)。
【００６７】
前記絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタ(Ｓ１５５)を通すことで、顔を検出する。検出結果に応じて顔情報を出力し、処理を終了する。
【００６８】
このようにスルー画像として表示される画像データを用いて、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施の形態では被写体情報として顔情報を例にあげたが、このような被写体情報には他にも赤目判定等の様々な情報がある。
【００６９】
（撮影処理）
図６は図４のＳ１２９における撮影処理の流れを示すフローチャートである。
【００７０】
システム制御部５０は、撮影開始時にその日時をシステムタイマより取得し、システムメモリ５２に記憶する（Ｓ３０００）。続いてシステムメモリ５２に記憶される測光データに従い、絞り機能を有するシャッター１０１を絞り値に応じて開放して撮像素子２２を露光する（Ｓ３００１、Ｓ３００２）。
【００７１】
システム制御部５０は、測光データに従って撮像部２２の露光終了を待ち（Ｓ３００５）、シャッター１０１を閉じて（Ｓ３００６）、撮像部２２から電荷信号を読み出し、Ａ／Ｄ変換器２３、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器２３から直接メモリ制御回路２２を介して、メモリ３２に撮影画像データを書き込む（Ｓ３００７）。
【００７２】
システム制御部５０は、メモリ制御回路１５そして必要に応じて画像処理回路２４を用いて、メモリ３２に書き込まれた画像データを読み出して圧縮伸張部１６を用いた圧縮処理等の画像処理（Ｓ３００８）を順次行った後、メモリ３２に処理を終えた画像データを書き込む。
【００７３】
システム制御部５０は、メモリ３２から画像データを読み出し、メモリ制御回路１５を介して表示画像データの転送を行う（Ｓ３００９）。
【００７４】
一連の処理を終えたならば、撮影処理ルーチンＳ１２９を終了する。
【００７５】
（記録処理）
図７は、図４のＳ１２０において前述した撮影シーケンスにおいて生成された画像データの記録処理を示したものである。
【００７６】
記録処理を開始すると、後述するファイル名生成ルールに則りファイル名を生成し（Ｓ４０２）、Ｓ３０００において撮影シーケンスの中でシステムメモリ５２に記憶した日時情報を取得（Ｓ４０３）する。その後、生成したファイルを格納するディレクトリが記録媒体２００に存在しない場合（Ｓ４０４）、格納するディレクトリ、例えば１００ＣＡＮＯＮを作成する（Ｓ４０５）。
【００７７】
続いて前述した撮影処理においてメモリ３２に格納された画像データに対し、撮影日時や撮影時条件等から構成されるファイルヘッダを作成する（Ｓ４０６）。ヘッダ作成の完了後、Ｓ４０２で取得したファイル名、およびＳ４０３で取得した日時情報からディレクトリエントリを生成し、画像データを記録媒体２００に記録し（Ｓ４０７）、記録処理を終了する。
【００７８】
(自動撮影フロー)
続いて、本発明における自動撮影のシーケンスに関して図８を用いて説明する。尚、本実施例では撮影までの待機状態や撮影処理は、シャッターボタンによる撮影とほぼ同様のシーケンスなので、必要な箇所以外説明を省く。
【００７９】
ユーザが操作部材７０によって、撮影モードをスマイルモードに設定した場合、システム制御部５０は撮像部２２からの画像データを表示するスルー表示をおこなう(Ｓ５０１)
スマイルモードでは待機状態には笑顔検出をおこなう(Ｓ５０２) ステップＳ５０２において笑顔検出があると判定された場合(Ｓ５０３）、システム制御部５０では自動撮影をおこなうために、デジタルカメラ１００が撮影可能な状態かどうかを判定する。ステップＳ５０４では、ユーザによってボタンが押下されてから所定時間が経過したかどうかをシステム制御部５０で判定する。すなわち、ユーザが上下左右キーやSETボタン等を押下してデジタルカメラ１００の様々な設定をおこなっている最中や、設定を終了した瞬間（ボタン押下から所定時間経過していない場合)にはステップＳ５０３で笑顔検出が判定されていてもすぐに撮影をおこなわない。これによって撮影者が撮影パラメータを変更している最中に勝手に自動撮影がおこなわれることを防ぐことが可能となる。また、撮影者が撮影パラメータを設定した直後の手振れが発生しそうな状態での自動撮影を防ぐことも可能である。
【００８０】
ステップＳ５０４でボタン押下後、所定時間が経過していると判定された場合は、同様にステップＳ５０５にてズーム操作後所定時間経過しているかどうかを判定する。ステップＳ５０５で所定時間が経過していると判定された場合は、同様にステップＳ５０６にて、ダイヤル操作後所定時間経過しているかどうかを判定する。これらステップＳ５０５、Ｓ５０６の判定理由は前述したボタン押下によるものと同様である。また、その他の部材であっても、デジタルカメラ１００の設定を変更したり、操作することで手振れが発生する要因となりうる操作においては、笑顔検出がおこなわれた後上記判定をおこなってもよい。また、本判定の目的の一つは自動撮影における手振れの発生を防ぐことであるため、たとえば、デジタルカメラ１００が手ぶれ検知手段を供えている場合、手ぶれ評価値が所定の値を超えている場合は撮影をおこなわないという判定を同様に追加してもよい。
【００８１】
さて、ステップＳ５０６にて所定時間が経過していると判定された場合はステップＳ５０７にて撮影処理をおこなう。この撮影処理は図６に示したものと同様である。
【００８２】
またステップＳ５０４〜ステップＳ５０６にてシステム制御部５０にて、撮影者が操作をおこなってから所定時間経過していないと判定された場合は、システム制御部５０では所定時間待機して( Ｓ５０８）その後再度Ｓ５０２からの処理を実行する。こうすることで、撮影者によって連続的に操作がおこなわれている場合は、笑顔検出されても自動的に撮影はおこなわずに、設定が終了してから笑顔が検出されていれば、安定した状態で自動撮影がおこなわれる。
【００８３】
また、スマイルモードではシャッターボタン６１を押下することでユーザによる通常の撮影をおこなわせてもよい。この場合、ユーザがシャッターボタン６１を半押ししている状態で笑顔検出通知があれば、自動的に撮影をおこなわせてもよい。従ってあらかじめユーザがシャッターボタン６１の半押しを保持しておけばより、笑顔が検出された際に、より短いシャッターレリーズタイムラグで自動撮影がおこなわれる。
【００８４】
またシャッターボタン６１がユーザによって全押しされている場合は、笑顔検出による自動撮影で判定していたＳ５０４〜Ｓ５０６はおこなわない。これは撮影者が明確な意思を持って撮影をおこなおうとしてシャッターボタンを押下しているので、撮影処理を優先しておこなわせるためである。
【００８５】
以上、自動撮影において、より最適なタイミングかつ撮影者が意図した撮影条件で撮影するための手法について説明した。本実施例では、笑顔検出を例に説明したが、他にもウインクや顔の傾き等、デジタルカメラ１００において被写体の変化を認識できる要因であれば本発明を適用することが可能である。
【符号の説明】
【００８６】
１００‥‥デジタルカメラ
３９‥‥スピーカー
１０‥‥マイク
１１‥‥音声制御部
１２‥‥タイミング発生部
１３‥‥Ｄ／Ａ変換器
２８‥‥表示部
１０２‥‥バリア
１０３‥‥レンズ
１０１‥‥シャッター
２２‥‥撮像部
２３‥‥Ａ／Ｄ変換器
２４‥‥画像処理部
１５‥‥メモリ制御部
３２‥‥メモリ
１６‥‥圧縮／伸張部
７０‥‥操作部
６１‥‥シャッターボタン
６２・６４‥‥シャッタースイッチ
６０‥‥モード切替スイッチ
７２‥‥電源スイッチ
３９‥‥電源制御部
３３・３４‥‥電源コネクタ
３０‥‥電源部
５０‥‥システム制御部
４０‥‥ＲＴＣ
９８‥‥記録媒体着脱検知部
５２‥‥システムメモリ
５６‥‥不揮発性メモリ
１１０‥‥通信部
１１２‥‥コネクタ（アンテナ）
１１１‥‥接続ケーブル
１８‥‥デジタルカメラ側記録媒体Ｉ／Ｆ
３５・３６‥‥デジタルカメラ・記録媒体コネクタ
３７‥‥記録媒体側記録媒体Ｉ／Ｆ
１９‥‥記録部
２００‥‥記録媒体
２０１‥‥記録媒体スロット
【技術分野】
【０００１】
本発明は、主に人物の撮影をおこなう撮像装置及びそのプログラムに関し、特に被写体の表情の変化を検知して自動的に撮影をおこなう機能を有した撮像装置に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラにおいて被写体の顔の表情の変化を抽出して自動的に撮影をおこなう機能が知られている。この機能によって、従来は撮影者の判断によって撮影されていた撮影タイミングを、被写体の方から、たとえば笑ったりウインクすることによって意図的に設定することが可能となり、被写体の意図通りの最適な撮影タイミングを計ることができる。
【０００３】
例えば特許文献１では、被写体が所定の撮影条件を満たしたときに自動撮影するカメラが開示されている。また特許文献２では、自動撮影がおこなわれる際のシャッターレリーズタイムラグを軽減するため、事前にユーザがシャッターボタンを全押しすることでフォーカスやアイリスを固定し、その後被写体の笑顔を検出すると自動撮影するカメラが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３４７２７８号公報
【特許文献２】特開２００９−００５３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年デジタルカメラでは、ストロボやAF、露出補正等の、撮影に関する多くの設定を撮影者が変更することが可能である。前記特許文献１に記載されている手法をデジタルカメラに適用した場合、撮影者が上記デジタルカメラの設定を変更している最中であっても、被写体の笑顔を検出した場合は撮影がおこなわれてしまうため、最適な条件で撮影がおこなわれない可能性がある。またユーザがボタンを押下しながら設定を変更している場合、その最中に自動撮影がおこなわれると大きく手振れした画像が撮影されてしまう恐れもある。
【０００６】
また、特許文献２に記載されているデジタルカメラでは、ユーザがシャッターボタンを全押しした後で笑顔検出をおこない自動撮影が実行される。すなわち笑顔検出の間、デジタルカメラはセルフタイマーモードとなっているので、撮影者による設定が受け付けられないため上述した問題は発生しない。しかし特許文献２による手法では、シャッターボタンを全押しした後に露出やAFが撮影者の意図通りでなかった場合には再度シャッターボタンを全押ししてセルフタイマーモードを解除することでしか設定を変更する術がなく、使い勝手にかけてしまう。また、特許文献２による手法では笑顔検出による自動撮影を解除するには再度シャッターボタンを全押しする必要があるため、たとえば笑顔検出中に、被写体が笑顔ではないが撮影者が最適だとおもったタイミングでは撮影することができず、この点においても使い勝手にかけてしまう。
【０００７】
本発明の目的はこのような事情を鑑みてなされたものであり、笑顔検出によって自動撮影をおこなう撮像装置において、より最適なタイミングかつ撮影者が意図した撮影条件で撮影されることを可能にした撮像装置を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、撮像装置であって、
撮像素子と、
前記撮像素子を用いて被写体を撮像する撮像制御手段と、
被写体の中から顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔から表情の変化を検出する表情変化検出手段と、
前記撮像装置の設定を変更するための設定変更手段と、
を有し、
前記表情変化検出手段によって検出された被写体の表情の変化に応じて被写体画像を自動的に撮影すると共に、
前記表情変化検出手段によって被写体の表情が変化したと判定された際に、前記設定変更手段によって前記撮像装置の設定変更がおこなわれてから所定時間を経過していない場合は、自動的に撮影をおこなわないことを特徴とする。
【発明の効果】
【０００９】
本発明によれば笑顔検出による自動撮影において、最適なタイミングで自動撮影がおこなわれる撮像装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】デジタルカメラの外観図
【図２】デジタルカメラの構成ブロック図
【図３】デジタルカメラ１００の全体的な動作のフローチャート
【図４】デジタルカメラ１００の撮影モードにおける一連の処理を示すフローチャート
【図５】デジタルカメラ１００の顔検出の処理を示すフローチャート
【図６】デジタルカメラ１００の撮影時処理を示すフローチャート
【図７】デジタルカメラ１００の記録媒体２００に対する記録シーケンスを示すフローチャート
【図８】デジタルカメラ１００の笑顔検出による自動撮影シーケンスを示すフローチャート
【発明を実施するための形態】
【００１１】
以下、図を参照しながら、本発明による装置、方法の一実施形態について説明する。
【００１２】
以下に説明する実施の形態においては、この発明による装置、方法を静止画像と動画との撮影が可能なデジタルカメラである撮像装置に適用した場合を例にして説明する。
【００１３】
(全体構成)
図１に本発明の撮像装置の一例としてのデジタルカメラの外観図を示す。
【００１４】
図１において２８は画像や各種情報を表示する表示部。７２は電源オン、電源オフを切り替える電源スイッチ。６１はシャッターボタン。６０は各種モードを切り替えるモード切替スイッチ。具体的には、静止画記録モード、動画記録モード、再生モード等のモードの切り替えが可能である。１１１はデジタルカメラと外部機器を接続するための接続ケーブル。１１２は接続ケーブル１１１とデジタルカメラとのコネクタ。７０はユーザーからの各種操作を受け付ける操作部。操作部７０は各種ボタンやタッチパネル等の操作部材からなる。具体的に例示すると以下の通りとなる。消去ボタン、メニューボタン、ＳＥＴボタン、十字に配置された４方向キー（上ボタン、下ボタン、右ボタン、左ボタン）、ホイール７３など。２００はメモリカードやハードディスク等の記録媒体。２０１は記録媒体２００を格納して通信するための記録媒体スロットである。
【００１５】
図２に本発明の撮像装置の一例としてのデジタルカメラの構成例を示すブロック図を示す。
【００１６】
１０３は撮影レンズ、１０１は絞り機能を備えるシャッター、２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。２３はアナログ信号をデジタル信号に変換するＡ／Ｄ変換器であり、撮像部２２から出力されるアナログ信号をデジタル信号に変換する場合に用いられる。また、音声制御部１１から出力されるアナログ信号をデジタル信号に変換する場合にも用いられる。バリア１０２は、デジタルカメラ１００の、レンズ１０３を含む撮像部を覆う事により、撮像部の汚れや破損を防止する。
【００１７】
１２は、撮像部２２、音声制御部１１、Ａ／Ｄ変換器２３、Ｄ／Ａ変換器１３にクロック信号や制御信号を供給するタイミング発生部であり、メモリ制御部１５及びシステム制御部５０により制御される。２４は画像処理部であり、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。画像処理部２４ではまた、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、TTL（スルー・ザ・レンズ）方式のAF（オートフォーカス）処理、AE（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理回路２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB（オートホワイトバランス）処理も行っている。
【００１８】
Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、直接メモリ制御部１５を介して、メモリ３２に書き込まれる。メモリ３２は、マイク１０において録音された音声データ、静止画像、動画像および画像ファイルを構成する場合のファイルヘッダを格納するためのメモリである。このメモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００１９】
１６は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸張する圧縮・伸張部であり、シャッター１０１をトリガにしてメモリ３２に格納された撮影画像を読み込んで圧縮処理を行い、処理を終えたデータをメモリ３２に書き込む。また、記録部１９などからメモリ３２に読み込まれた圧縮画像を読み込んで伸張処理を行い、処理を終えたデータをメモリ３２に書き込む。圧縮・伸張部１６によりメモリ３２に書き込まれた画像データは、システム制御部５０のファイル部においてファイル化され、インターフェース１８を介して記録媒体２００に記録される。
【００２０】
また、メモリ３２は画像表示用のメモリを兼ねており、１３はＤ／Ａ変換器、２８はＬＣＤ等からなる画像表示部であり、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して画像表示部２８により表示される。
【００２１】
１０はマイクである。マイクから出力された音声信号は、アンプ等で構成される音声制御部１１を介してＡ／Ｄ変換部２３においてデジタル信号に変換された後、メモリ制御部１５によってメモリ３２に格納される。一方、記録媒体２００に記録されている音声データは、メモリ３２に読み込まれた後、Ｄ／Ａ変換部１３を介し音声制御部１１において制御された信号がスピーカー３９において音声出力される。
【００２２】
不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。システム制御部５０の動作用の定数、プログラム等を記憶する。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００２３】
５０は、デジタルカメラ１００全体を制御するシステム制御部である。システム制御部５０は、上述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本発明の実施形態を実現する。５２は、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開するシステムメモリである。
【００２４】
第１シャッタースイッチＳＷ１（６２）、第２シャッタースイッチＳＷ２（６４）、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。
【００２５】
６０はモード切替スイッチであり、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替えることができる。
【００２６】
第１シャッタースイッチＳＷ１（６２）は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中（半押し）でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
【００２７】
第２シャッタースイッチＳＷ２（６４）は、シャッターボタン６１の操作完了（全押し）でＯＮとなり、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮像処理の動作開始を指示する。
【００２８】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種設定が可能なメニュー画面が画像表示部２８に表示される。利用者は、画像表示部２８に表示されたメニュー画面と、４方向キーやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００２９】
電源スイッチ７２は、電源オン、電源オフを切り替える。
【００３０】
３９は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。
【００３１】
また、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００３２】
３０はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源部である。３３及び３４はコネクタであり、電源部３０と電源制御部３９とを接続する。
【００３３】
４０はＲＴＣ(Real Time Clock)であり、電源制御部３９とは別に内部に電源部を保持し、電源部３０が落ちた状態であっても、時計動作状態を続けている。システム制御部５０は起動時にＲＴＣ４０より取得した日時を用いてタイマー制御する。
【００３４】
１８はメモリカードやハードディスク等の記録媒体２００とのインターフェースであり、３５は該記録媒体２００とインタフェース１８との接続のためのコネクタである。９８は、コネクタ３５に記録媒体２００が装着されているか否かを検知する記録媒体着脱検知部である。
【００３５】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部１９、デジタルカメラ１００とのインターフェース３７、及び、記録媒体２００とデジタルカメラ１００とを接続するためのコネクタ３６を備えている。
【００３６】
通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信処理を行う。
【００３７】
コネクタ（無線通信の場合はアンテナ）１１２は、通信部１１０を介してデジタルカメラ１００を他の機器と接続する。
【００３８】
(全体フロー)
図３に本実施形態のデジタルカメラ１００の全体的な動作を説明するフローチャートを示す。
【００３９】
電源スイッチ７２が操作され電源がオンに切り替わると、Ｓ３０１でシステム制御部５０はフラグや制御変数等を初期化する。続いて記録媒体２００に記録されているファイルに関する管理処理を開始する（Ｓ３０２）。
【００４０】
次に、Ｓ３０３でシステム制御部５０は、モード切替スイッチ６０の設定位置を判断し、静止画記録モードに設定されていたならばＳ３０４へ進む。このS３０４における静止画記録モード処理の詳細は図４を用いて後述する。Ｓ３０９で、モード切替スイッチ６０が動画記録モードに設定されていたならば動画記録モードＳ３１０へ進む。また、Ｓ３１１で再生モードの場合、再生モード処理Ｓ３１２に進む。その他のモードに設定されていたならばＳ３０５へ進み、システム制御部５０は選択されたモードに応じた処理を実行し、処理を終えたならばＳ３０６に進む。その他のモードとしては例えば記録媒体２００に格納されたファイルの送信を行う送信モード、外部機器からファイルを受信して記録媒体２００に格納する受信モードが含まれる。尚、本実施例では静止画記録モードを対象として説明をすすめるため、それ以外のモードに関しての説明は割愛する。
【００４１】
S３０６で、システム制御部５０は電源スイッチ７２の設定位置を判断し、電源スイッチ７２が電源オンに設定されていれば、Ｓ３０３に戻る。Ｓ３０６において電源スイッチ７２が電源オフに設定されていたならば、Ｓ３０７へ進んで所定の終了処理を行う。終了処理には、以下のような処理が含まれる。表示部２８の表示を終了状態に変更し、レンズバリア１０２を閉じて撮像部を保護する。フラグや制御変数等を含むパラメータや設定値、設定モードを不揮発性メモリ５６に記録する。電源供給が不要な部分への電源を遮断する。終了処理が完了するとＳ３０８に進み処理を終了する。
【００４２】
（静止画記録処理）
図４は前述したＳ３０４における静止画記録モード処理の流れを示すフローチャートである。
【００４３】
システム制御部５０は、静止画記録モードを開始すると、以下のいずれかの方法により撮影モードを確定する（Ｓ１１３）。不揮発性メモリ５６より前回の静止画記録モード終了時における撮影モードを取得し、システムメモリ５２に格納する。あるいは、ユーザーにより操作部７０が操作されて撮影モードの設定入力があれば、入力された撮影モードをシステムメモリ５２に格納する。
【００４４】
ここで、撮影モードとは撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等の組み合わせを組み合わせて実現されるモードのことである。本実施の形態のデジタルカメラ１００は後述する撮影モードを有する。
【００４５】
オートモード／カメラの各種パラメータを自由に変更可能なマニュアルモード／撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等の組み合わせが自動で設定される各種シーンモード。シーンモードには以下のようなモードが含まれる。背景をぼかして人物を浮き立たせるようにして人物撮影に特化したポートレートモード／人物にストロボ光をあて背景を遅いシャッター速度で記録することにより夜景シーンに特化した夜景モード／広がりのある風景シーンに特化した風景モード／三脚なしで夜景と人物をきれいに撮るナイト＆スナップモード／よく動き回る子供やペットをシャッターチャンスを逃さず撮影可能にしたキッズ＆ペットモード／新緑等の木々や葉を色鮮やかに撮影する新緑＆紅葉モード／蛍光灯や電球のもとで、手振れを抑えて被写体に忠実な色味で撮影するパーティーモード／雪景色をバックにしても人物が暗くならず、青みも残さず撮影するスノーモード／太陽光の反射の強い海面や砂浜でも、人物などが暗くならずに撮影可能なビーチモード／打ち上げ花火を最適な露出で鮮やかに撮影する花火モード／屋内の水槽内の魚などを撮影するのに適した感度、ホワイトバランス、色味を設定する水族館モード／水中に最適なホワイトバランスに設定し、青みを押さえた色合いで撮影する水中モード/被写体から顔を検出し、笑顔を検出することで自動的に撮影をおこなうスマイルモード。
【００４６】
撮影モードが確定すると続いて撮像部２２からの画像データを表示するスルー表示を行う（Ｓ１１５）。続いて電源制御手段８０により電池等により構成される電源３０の残容量や記録媒体２００の有無や残容量が画像処理装置１００の動作に問題があるか否かを判断し（Ｓ１１６）、問題があるならば表示部２８を用いて画像や音声により所定の警告表示を行った後に（Ｓ１１４）、静止画記録モードの先頭に戻る。
【００４７】
電源３０や記録媒体の状態に問題が無いならば、スルー表示される画像信号中に人の顔が存在するか否かを検知する顔検出を行う（Ｓ１１８）。この顔検出処理Ｓ１１８については図５を用いて後述する。Ｓ１１８において人の顔を検出した場合、顔情報として画像信号中において検出した位置座標、サイズ（幅、高さ）、検出個数、信頼性係数等をシステムメモリ５２に記憶する。また、画像表示部２８にスルー表示されている画像信号に重ねて顔枠を表示する。検出しなかった場合はシステムメモリ５２内の位置座標、サイズ（幅、高さ）、検出個数、信頼性係数等の領域に０を設定する。
【００４８】
続いてシャッタースイッチSW１が押されていないならば（Ｓ１１９）、顔検出処理Ｓ１１８を繰り返す。
【００４９】
シャッタースイッチSW１が押されたならば（Ｓ１１９）、Ｓ１２２に進む。
【００５０】
システム制御部５０は、測距処理を行って撮影レンズ１０３の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する（Ｓ１２２）。測光処理に於いて、必要であればフラッシュの設定も行う。この時Ｓ１１８において顔を検出していれば、検出した顔の範囲で測距を行うことも可能である。
【００５１】
測距・測光処理Ｓ１２２を終えたならば、Ｓ１２５に進む。
【００５２】
シャッタースイッチSW２が押されずに（Ｓ１２５）、さらにシャッタースイッチSW１も解除されたならば（Ｓ１２６）、Ｓ１１７に戻る。
【００５３】
シャッタースイッチSW２が押されたならば（Ｓ１２５）、画像表示部２８の表示状態を固定色表示状態に設定して（Ｓ１２８）、Ｓ１２９に進む。
【００５４】
Ｓ１２９でシステム制御部５０は、以下のような撮影処理を実行する。撮像素子２２、Ａ／Ｄ変換器２３、画像処理回路２４、メモリ制御回路１５を介して、或いはＡ／Ｄ変換器から直接メモリ制御回路１５を介して、メモリ３２に撮影した画像データを書き込む露光処理。メモリ制御回路１５そして必要に応じて画像処理回路２４を用いて、メモリ３２に書き込まれた画像データを読み出して各種処理を行う現像処理からなる撮影処理。この撮影処理の詳細は図６を用いて後述する。
【００５５】
システム制御部５０は、画像表示部２８に対し撮影画像データのレックレビュー表示を行う（Ｓ１３３）。レックレビューとは、撮影画像の確認のために、被写体の撮影後記録媒体への記録前に、予め決められた時間（レビュー時間）だけ画像データを表示部に表示する処理である。
【００５６】
レックレビュー表示後、システム制御部５０は撮影処理で得られた画像データを画像ファイルとして記録媒体２００に対し書き込みを行う記録処理を実行する（Ｓ１２０）。
【００５７】
この記録処理Ｓ１２０の詳細は、図７を用いて後述する。
【００５８】
記録処理Ｓ１２０が終了した際に、シャッタースイッチSW２が放されるまで画像表示部２８におけるレックレビュー表示を継続して撮影画像データの確認を入念に行うことを可能とすることが出来る。
【００５９】
記録処理Ｓ１２０が終了した際にシャッタースイッチSW２が放された状態であったか、シャッタースイッチSW２を押し続けてレックレビュー表示を継続して撮影画像の確認を行った後にシャッタースイッチSW２を放した状態であったならば（Ｓ１３５）、Ｓ１３７に進む。Ｓ１３７では予め定められたレビュー時間が経過したか否かを判断し、レビュー時間が経過していればＳ１３９に進む。
【００６０】
システム制御部５０は、画像表示部２８の表示状態をスルー表示状態に設定して（Ｓ１３９）、Ｓ１４１に進む。
【００６１】
この場合、画像表示部２８でのレックレビュー表示によって撮影画像データを確認した後に、次の撮影のために撮像部２２からの画像データを逐次表示するスルー表示状態にすることが出来る。
【００６２】
シャッタースイッチSW１が押された状態であったならば（Ｓ１４１）、システム制御部５０は、Ｓ１２５に戻って次の撮影に備える。
【００６３】
シャッタースイッチSW１が放された状態であったならば（Ｓ１４１）、システム制御部５０は、一連の撮影動作を終えて撮影待機状態に戻る。
【００６４】
（顔検出）
次に、Ｓ１１８において前述した顔検出処理に関し、代表的な顔検出アルゴリズムを図５を用いて説明する。
【００６５】
画像信号(Ｓ１５０)に水平(Ｓ１５１)及び垂直方向(Ｓ１５２)のバンドパスフィルタをかけ、エッジ成分を検出する。その後、検出されたエッジ成分のパターンマッチング(Ｓ１５３)を行い、目及び鼻、口、耳の候補群を抽出する。
【００６６】
Ｓ１５３にて抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む(Ｓ１５４)。
【００６７】
前記絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタ(Ｓ１５５)を通すことで、顔を検出する。検出結果に応じて顔情報を出力し、処理を終了する。
【００６８】
このようにスルー画像として表示される画像データを用いて、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施の形態では被写体情報として顔情報を例にあげたが、このような被写体情報には他にも赤目判定等の様々な情報がある。
【００６９】
（撮影処理）
図６は図４のＳ１２９における撮影処理の流れを示すフローチャートである。
【００７０】
システム制御部５０は、撮影開始時にその日時をシステムタイマより取得し、システムメモリ５２に記憶する（Ｓ３０００）。続いてシステムメモリ５２に記憶される測光データに従い、絞り機能を有するシャッター１０１を絞り値に応じて開放して撮像素子２２を露光する（Ｓ３００１、Ｓ３００２）。
【００７１】
システム制御部５０は、測光データに従って撮像部２２の露光終了を待ち（Ｓ３００５）、シャッター１０１を閉じて（Ｓ３００６）、撮像部２２から電荷信号を読み出し、Ａ／Ｄ変換器２３、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器２３から直接メモリ制御回路２２を介して、メモリ３２に撮影画像データを書き込む（Ｓ３００７）。
【００７２】
システム制御部５０は、メモリ制御回路１５そして必要に応じて画像処理回路２４を用いて、メモリ３２に書き込まれた画像データを読み出して圧縮伸張部１６を用いた圧縮処理等の画像処理（Ｓ３００８）を順次行った後、メモリ３２に処理を終えた画像データを書き込む。
【００７３】
システム制御部５０は、メモリ３２から画像データを読み出し、メモリ制御回路１５を介して表示画像データの転送を行う（Ｓ３００９）。
【００７４】
一連の処理を終えたならば、撮影処理ルーチンＳ１２９を終了する。
【００７５】
（記録処理）
図７は、図４のＳ１２０において前述した撮影シーケンスにおいて生成された画像データの記録処理を示したものである。
【００７６】
記録処理を開始すると、後述するファイル名生成ルールに則りファイル名を生成し（Ｓ４０２）、Ｓ３０００において撮影シーケンスの中でシステムメモリ５２に記憶した日時情報を取得（Ｓ４０３）する。その後、生成したファイルを格納するディレクトリが記録媒体２００に存在しない場合（Ｓ４０４）、格納するディレクトリ、例えば１００ＣＡＮＯＮを作成する（Ｓ４０５）。
【００７７】
続いて前述した撮影処理においてメモリ３２に格納された画像データに対し、撮影日時や撮影時条件等から構成されるファイルヘッダを作成する（Ｓ４０６）。ヘッダ作成の完了後、Ｓ４０２で取得したファイル名、およびＳ４０３で取得した日時情報からディレクトリエントリを生成し、画像データを記録媒体２００に記録し（Ｓ４０７）、記録処理を終了する。
【００７８】
(自動撮影フロー)
続いて、本発明における自動撮影のシーケンスに関して図８を用いて説明する。尚、本実施例では撮影までの待機状態や撮影処理は、シャッターボタンによる撮影とほぼ同様のシーケンスなので、必要な箇所以外説明を省く。
【００７９】
ユーザが操作部材７０によって、撮影モードをスマイルモードに設定した場合、システム制御部５０は撮像部２２からの画像データを表示するスルー表示をおこなう(Ｓ５０１)
スマイルモードでは待機状態には笑顔検出をおこなう(Ｓ５０２) ステップＳ５０２において笑顔検出があると判定された場合(Ｓ５０３）、システム制御部５０では自動撮影をおこなうために、デジタルカメラ１００が撮影可能な状態かどうかを判定する。ステップＳ５０４では、ユーザによってボタンが押下されてから所定時間が経過したかどうかをシステム制御部５０で判定する。すなわち、ユーザが上下左右キーやSETボタン等を押下してデジタルカメラ１００の様々な設定をおこなっている最中や、設定を終了した瞬間（ボタン押下から所定時間経過していない場合)にはステップＳ５０３で笑顔検出が判定されていてもすぐに撮影をおこなわない。これによって撮影者が撮影パラメータを変更している最中に勝手に自動撮影がおこなわれることを防ぐことが可能となる。また、撮影者が撮影パラメータを設定した直後の手振れが発生しそうな状態での自動撮影を防ぐことも可能である。
【００８０】
ステップＳ５０４でボタン押下後、所定時間が経過していると判定された場合は、同様にステップＳ５０５にてズーム操作後所定時間経過しているかどうかを判定する。ステップＳ５０５で所定時間が経過していると判定された場合は、同様にステップＳ５０６にて、ダイヤル操作後所定時間経過しているかどうかを判定する。これらステップＳ５０５、Ｓ５０６の判定理由は前述したボタン押下によるものと同様である。また、その他の部材であっても、デジタルカメラ１００の設定を変更したり、操作することで手振れが発生する要因となりうる操作においては、笑顔検出がおこなわれた後上記判定をおこなってもよい。また、本判定の目的の一つは自動撮影における手振れの発生を防ぐことであるため、たとえば、デジタルカメラ１００が手ぶれ検知手段を供えている場合、手ぶれ評価値が所定の値を超えている場合は撮影をおこなわないという判定を同様に追加してもよい。
【００８１】
さて、ステップＳ５０６にて所定時間が経過していると判定された場合はステップＳ５０７にて撮影処理をおこなう。この撮影処理は図６に示したものと同様である。
【００８２】
またステップＳ５０４〜ステップＳ５０６にてシステム制御部５０にて、撮影者が操作をおこなってから所定時間経過していないと判定された場合は、システム制御部５０では所定時間待機して( Ｓ５０８）その後再度Ｓ５０２からの処理を実行する。こうすることで、撮影者によって連続的に操作がおこなわれている場合は、笑顔検出されても自動的に撮影はおこなわずに、設定が終了してから笑顔が検出されていれば、安定した状態で自動撮影がおこなわれる。
【００８３】
また、スマイルモードではシャッターボタン６１を押下することでユーザによる通常の撮影をおこなわせてもよい。この場合、ユーザがシャッターボタン６１を半押ししている状態で笑顔検出通知があれば、自動的に撮影をおこなわせてもよい。従ってあらかじめユーザがシャッターボタン６１の半押しを保持しておけばより、笑顔が検出された際に、より短いシャッターレリーズタイムラグで自動撮影がおこなわれる。
【００８４】
またシャッターボタン６１がユーザによって全押しされている場合は、笑顔検出による自動撮影で判定していたＳ５０４〜Ｓ５０６はおこなわない。これは撮影者が明確な意思を持って撮影をおこなおうとしてシャッターボタンを押下しているので、撮影処理を優先しておこなわせるためである。
【００８５】
以上、自動撮影において、より最適なタイミングかつ撮影者が意図した撮影条件で撮影するための手法について説明した。本実施例では、笑顔検出を例に説明したが、他にもウインクや顔の傾き等、デジタルカメラ１００において被写体の変化を認識できる要因であれば本発明を適用することが可能である。
【符号の説明】
【００８６】
１００‥‥デジタルカメラ
３９‥‥スピーカー
１０‥‥マイク
１１‥‥音声制御部
１２‥‥タイミング発生部
１３‥‥Ｄ／Ａ変換器
２８‥‥表示部
１０２‥‥バリア
１０３‥‥レンズ
１０１‥‥シャッター
２２‥‥撮像部
２３‥‥Ａ／Ｄ変換器
２４‥‥画像処理部
１５‥‥メモリ制御部
３２‥‥メモリ
１６‥‥圧縮／伸張部
７０‥‥操作部
６１‥‥シャッターボタン
６２・６４‥‥シャッタースイッチ
６０‥‥モード切替スイッチ
７２‥‥電源スイッチ
３９‥‥電源制御部
３３・３４‥‥電源コネクタ
３０‥‥電源部
５０‥‥システム制御部
４０‥‥ＲＴＣ
９８‥‥記録媒体着脱検知部
５２‥‥システムメモリ
５６‥‥不揮発性メモリ
１１０‥‥通信部
１１２‥‥コネクタ（アンテナ）
１１１‥‥接続ケーブル
１８‥‥デジタルカメラ側記録媒体Ｉ／Ｆ
３５・３６‥‥デジタルカメラ・記録媒体コネクタ
３７‥‥記録媒体側記録媒体Ｉ／Ｆ
１９‥‥記録部
２００‥‥記録媒体
２０１‥‥記録媒体スロット
【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子を用いて被写体を撮像する撮像制御手段と、
被写体の中から顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔から表情の変化を検出する表情変化検出手段と、
前記撮像装置の設定を変更するための設定変更手段と、
を有し、
前記表情変化検出手段によって検出された被写体の表情の変化に応じて被写体画像を自動的に撮影する撮像装置において、
前記表情変化検出手段によって被写体の表情が変化したと判定された際に、前記設定変更手段によって前記撮像装置の設定変更がおこなわれてから所定時間を経過していない場合は、自動的に撮影をおこなわないことを特徴とする撮像装置。
【請求項２】
前記表情変化検出手段によって被写体の表情が変化したと判定された際に、前記設定変更手段によって前記撮像装置の設定変更がおこなわれてから所定時間を経過していない場合は、所定時間経過後に自動的に撮影をおこなうことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記表情変化検出手段とは、人物の笑顔を検出する手段であることを特徴とする請求項１又は請求項２記載の撮像装置。
【請求項４】
前記撮像装置はさらにシャッタースイッチを有し、
前記シャッタースイッチが全押しされた場合は、前記設定変更手段によって前記撮像装置の設定変更がおこなわれてから所定時間を経過していない場合であっても、すぐに前記撮像制御手段によって撮影をおこなうことを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置。
【請求項５】
前記撮像装置はさらに手振れ検出手段を有し、
前記表情変化検出手段によって被写体の表情が変化したと判定された際に、前記手振れ検出手段によって検出された手振れ評価値が閾値以上だった場合には自動的に撮影をおこなわないことを特徴とする請求項１乃至請求項４の何れか１項に記載の撮像装置。
【請求項６】
前記撮像装置において、
前記表情変化検出手段によって被写体の表情が変化したと判定された際に、前記手振れ検出手段によって検出された手振れ評価値が閾値以上だった場合には前記手振れ検出手段によって検出される手振れ評価値が閾値以下になってから自動的に撮影をおこなうことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記撮像装置はさらに、前記表情変化検出手段による自動撮影が有効かどうかをユーザに報知する自動撮影有効報知手段を有していることを特徴とする請求項１乃至請求項６の何れか１項に記載の撮像装置。
【請求項８】
前記自動撮影有効報知手段は、前記表情変化検出手段による自動撮影が有効な場合、前記撮像装置が有する表示手段に、前記顔検出手段によって検出された顔に重ねて顔枠を表示することを特徴とする請求項１乃至請求項７の何れか１項に記載の撮像装置。
【請求項９】
前記撮像装置はさらに、前記表情変化検出手段によって被写体の表情が変化したと判定された際に、前記シャッタースイッチが半押しされている場合は自動的に撮影をおこなうことを特徴とする請求項１乃至請求項８の何れか１項に記載の撮像装置。
【請求項１０】
前記設定変更手段はボタン部材によるものであり、前記ボタン部材が押下されることで前記設定変更手段によって前記撮像装置の設定を変更することを特徴とする請求項１乃至請求項９の何れか１項に記載の撮像装置。
【請求項１１】
前記設定変更手段はズームレバーであり、前記ズームレバーを傾けることにより前記撮像装置のズーム駆動をおこなうことを特徴とする請求項１乃至請求項１０の何れか１項に記載の撮像装置。
【請求項１２】
前記設定変更手段は電子ダイヤルであり、前記電子ダイヤルを回転することにより前記撮像装置の設定を変更することを特徴とする請求項１乃至請求項１１の何れか１項に記載の撮像装置。
【請求項１】
撮像素子と、
前記撮像素子を用いて被写体を撮像する撮像制御手段と、
被写体の中から顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔から表情の変化を検出する表情変化検出手段と、
前記撮像装置の設定を変更するための設定変更手段と、
を有し、
前記表情変化検出手段によって検出された被写体の表情の変化に応じて被写体画像を自動的に撮影する撮像装置において、
前記表情変化検出手段によって被写体の表情が変化したと判定された際に、前記設定変更手段によって前記撮像装置の設定変更がおこなわれてから所定時間を経過していない場合は、自動的に撮影をおこなわないことを特徴とする撮像装置。
【請求項２】
前記表情変化検出手段によって被写体の表情が変化したと判定された際に、前記設定変更手段によって前記撮像装置の設定変更がおこなわれてから所定時間を経過していない場合は、所定時間経過後に自動的に撮影をおこなうことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記表情変化検出手段とは、人物の笑顔を検出する手段であることを特徴とする請求項１又は請求項２記載の撮像装置。
【請求項４】
前記撮像装置はさらにシャッタースイッチを有し、
前記シャッタースイッチが全押しされた場合は、前記設定変更手段によって前記撮像装置の設定変更がおこなわれてから所定時間を経過していない場合であっても、すぐに前記撮像制御手段によって撮影をおこなうことを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置。
【請求項５】
前記撮像装置はさらに手振れ検出手段を有し、
前記表情変化検出手段によって被写体の表情が変化したと判定された際に、前記手振れ検出手段によって検出された手振れ評価値が閾値以上だった場合には自動的に撮影をおこなわないことを特徴とする請求項１乃至請求項４の何れか１項に記載の撮像装置。
【請求項６】
前記撮像装置において、
前記表情変化検出手段によって被写体の表情が変化したと判定された際に、前記手振れ検出手段によって検出された手振れ評価値が閾値以上だった場合には前記手振れ検出手段によって検出される手振れ評価値が閾値以下になってから自動的に撮影をおこなうことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記撮像装置はさらに、前記表情変化検出手段による自動撮影が有効かどうかをユーザに報知する自動撮影有効報知手段を有していることを特徴とする請求項１乃至請求項６の何れか１項に記載の撮像装置。
【請求項８】
前記自動撮影有効報知手段は、前記表情変化検出手段による自動撮影が有効な場合、前記撮像装置が有する表示手段に、前記顔検出手段によって検出された顔に重ねて顔枠を表示することを特徴とする請求項１乃至請求項７の何れか１項に記載の撮像装置。
【請求項９】
前記撮像装置はさらに、前記表情変化検出手段によって被写体の表情が変化したと判定された際に、前記シャッタースイッチが半押しされている場合は自動的に撮影をおこなうことを特徴とする請求項１乃至請求項８の何れか１項に記載の撮像装置。
【請求項１０】
前記設定変更手段はボタン部材によるものであり、前記ボタン部材が押下されることで前記設定変更手段によって前記撮像装置の設定を変更することを特徴とする請求項１乃至請求項９の何れか１項に記載の撮像装置。
【請求項１１】
前記設定変更手段はズームレバーであり、前記ズームレバーを傾けることにより前記撮像装置のズーム駆動をおこなうことを特徴とする請求項１乃至請求項１０の何れか１項に記載の撮像装置。
【請求項１２】
前記設定変更手段は電子ダイヤルであり、前記電子ダイヤルを回転することにより前記撮像装置の設定を変更することを特徴とする請求項１乃至請求項１１の何れか１項に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１２４７９３（Ｐ２０１２−１２４７９３Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７５２５９（Ｐ２０１０−２７５２５９）
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]