撮像装置
【課題】 笑顔を検出してシャッターを切る撮影モード（笑顔シャッター）を備えたカメラにおいて、静止画撮影モードの笑顔シャッター機能のアルゴリズムとパラメータを動画撮影モードに適用すると、笑顔スチルインムービーや笑顔チャプター機能において、動画の品位の低下やチャプター機能の使い勝手が落ちるという課題を解決する。
【解決手段】静止画撮影モードにおいて笑顔判定手段による笑顔判定結果に基づいて静止画を撮影する機能と、動画撮影モードにおいて前記笑顔判定手段による笑顔判定結果に基づいて動画記録中に静止画を撮影する機能と、動画撮影モードにおいて前記笑顔判定手段による笑顔判定結果に基づいて動画にチャプターを埋め込む機能のうち、少なくとも２つの機能を備えたカメラにおいて、前記撮影モードあるいは前記機能に応じて、前記笑顔判定閾値設定手段における笑顔判定閾値或いは前記笑顔判定手段による笑顔判定の実行タイミングの少なくともどちらか一方を変更することを特徴とする。
【解決手段】静止画撮影モードにおいて笑顔判定手段による笑顔判定結果に基づいて静止画を撮影する機能と、動画撮影モードにおいて前記笑顔判定手段による笑顔判定結果に基づいて動画記録中に静止画を撮影する機能と、動画撮影モードにおいて前記笑顔判定手段による笑顔判定結果に基づいて動画にチャプターを埋め込む機能のうち、少なくとも２つの機能を備えたカメラにおいて、前記撮影モードあるいは前記機能に応じて、前記笑顔判定閾値設定手段における笑顔判定閾値或いは前記笑顔判定手段による笑顔判定の実行タイミングの少なくともどちらか一方を変更することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
近年、顔の表情、特に人物の顔の表情を検出する技術が開発されつつある。一般的に、カメラで人物を撮影する際には、被写体である人物の表情が笑顔などの良い表情のタイミングで撮影することが望まれることが多い。そのため、デジタルカメラへの表情検出技術の応用が検討されており、その１つとして被写体の笑顔を検出してシャッターを切る撮影モードを備えているカメラが提案されている。
【０００３】
特許文献１に示す技術では、笑顔の検出レベルを表示し、ユーザーが任意に笑顔判定する検出閾値を設定可能としている。また、笑顔が見付からない場合には自動で笑顔判定閾値を下げる処理もおこなっている。
【０００４】
特許文献２に示す技術では、笑顔を検出してシャッターを切るカメラにおいて、特定の終了条件を満たすまで笑顔シャッターによる撮影を繰り返すように制御している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−３１１８１９号公報
【特許文献２】特開２００９−１０７７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
笑顔を検出してシャッターを切る撮影モード（笑顔シャッター）を備えたカメラにおいて、笑顔検出技術を動画撮影に応用し、笑顔のシーンで自動的に動画中静止画（スチルインムービー）撮影をおこなったり、或いは笑顔のシーンにチャプター（しおり）を付加する機能を実現する場合、静止画撮影モードの笑顔シャッター機能のアルゴリズムとパラメータを動画撮影モードに適用してしまうと、スチルインムービー撮影による動画記録の中断が頻繁に発生して動画の品位が下がるほか、笑顔シーンのチャプター付加については、チャプターが数多く付加されてしまう為に、チャプター機能が使用し辛くなる問題があった。
【課題を解決するための手段】
【０００７】
本発明は上記課題を解決するために創出されたものであって、
被写体を撮像して画像データを得る撮像手段と、前記撮像手段から得られた画像データに基づいて画像データに含まれる被写体の笑顔度を算出する笑顔度算出手段と、前記笑顔度算出手段により算出した笑顔度に基づいて被写体が笑っているか否かを判定するための閾値を設定する笑顔判定閾値設定手段と、前記笑顔度算出手段と前記笑顔判定閾値設定手段を用いて笑顔判定をおこなう笑顔判定手段を備え、
静止画撮影モードにおいて前記笑顔判定手段による笑顔判定結果に基づいて静止画を撮影する機能と、動画撮影モードにおいて前記笑顔判定手段による笑顔判定結果に基づいて動画記録中に静止画を撮影する機能と、動画撮影モードにおいて前記笑顔判定手段による笑顔判定結果に基づいて動画にチャプターを埋め込む機能のうち、少なくとも２つの機能を備えたカメラにおいて、前記撮影モードあるいは前記機能に応じて、前記笑顔判定閾値設定手段における笑顔判定閾値或いは前記笑顔判定手段による笑顔判定の実行タイミングの少なくともどちらか一方を変更することを特徴としている。
【発明の効果】
【０００８】
本発明によれば、静止画撮影モードの笑顔シャッター機能においては被写体の笑顔のシャッターチャンスを逃さず撮影することが可能である一方、動画撮影モードでは、動画の品位を損なうことのないスチルインムービー撮影機能と、使い勝手の良い笑顔チャプター機能を提供することが可能である。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態における撮像装置のブロック図。
【図２】本実施の形態における撮像装置の静止画撮影モードの笑顔シャッター機能の動作処理フローチャート。
【図３】本実施の形態における撮像装置の静止画撮影モードの笑顔シャッター機能における笑顔判定処理を示したフローチャート。
【図４】本実施の形態における撮像装置の動画撮影モードの動作処理フローチャート。
【図５】本実施の形態における撮像装置の動画撮影モードの笑顔スチルインムービー機能における笑顔判定処理を示したフローチャート。
【図６】本実施の形態における撮像装置の動画撮影モードの笑顔チャプター機能における笑顔判定処理を示したフローチャート。
【図７】本実施の形態における撮像装置の静止画撮影モードの笑顔シャッター機能における笑顔判定処理のタイミングチャート。
【図８】本実施の形態における撮像装置の動画撮影モードの笑顔スチルインムービー機能における笑顔判定処理のタイミングチャート。
【図９】本実施の形態における撮像装置の動画撮影モードの笑顔チャプター機能における笑顔判定処理のタイミングチャート。
【発明を実施するための形態】
【００１０】
［実施例１］
以下、図面を参照して本発明の実施例を説明する。
【００１１】
図１は、本発明の実施例の構成を示す図である。
【００１２】
図１において、１００は画像処理装置である。
【００１３】
１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。
【００１４】
１８は、撮像素子１４、 Ａ／Ｄ変換器１６、 Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。
【００１５】
２０は画像処理回路であり、 Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。
【００１６】
また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。
【００１７】
さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。ホワイトバランスのための演算処理として映像信号を複数のブロックに分け各ブロックの色信号の積分値を得るブロック積分と、映像信号の各画素の信号値を色度座標に展開し所定の領域についての色信号の積分値を得る白サーチ積分が行われる。白サーチ積分に使用する色度座標上の積分領域の設定は画像処理回路２０内に保持する。
【００１８】
さらに、画像処理回路２０は所定の画像認識処理を搭載し、笑顔など被写体の画像から特定のパターンを認識することが可能である。笑顔認識技術自体は周知のものでよいので、ここでは詳細な説明を省略する。
【００１９】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。
【００２０】
Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００２１】
２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。
【００２２】
画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。
【００２３】
また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。
【００２４】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。
【００２５】
これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。
【００２６】
また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００２７】
３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００２８】
４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。
【００２９】
４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段、４６はバリアである保護手段１０２の動作を制御するバリア制御手段である。
【００３０】
４８はストロボであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。
【００３１】
露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。
【００３２】
５０は画像処理装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。５２はまた、ＡＥで用いるプログラム線図も格納している。プログラム線図は、露出値に対する絞り開口径とシャッター速度の制御値の関係を定義したテーブルである。
【００３３】
５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部であり、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。
【００３４】
また、表示部５４は、その一部の機能が光学ファインダー１０４内に設置されている。
表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示、等がある。
【００３５】
また、表示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。
【００３６】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００３７】
６０、６１、６２、６３は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００３８】
ここで、これらの操作手段の具体的な説明を行う。
【００３９】
６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。
【００４０】
６１はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
【００４１】
６２はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなり、撮像素子１２から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。
【００４２】
６３は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン、表示切替ボタン等がある。表示切替ボタンは画像表示部２８を用いた電子ファインダー機能の設定を切り替えることが可能であり、画像表示部２８への表示をＯＮ／ＯＦＦすることが出来る。
【００４３】
８０は電源制御手段で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００４４】
８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＢＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源手段である。
【００４５】
９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２及び或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知手段である。
【００４６】
なお、本実施例では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。
【００４７】
インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ）カード等の規格に準拠したものを用いて構成して構わない。
【００４８】
さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ）カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。
【００４９】
１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。
【００５０】
１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。
【００５１】
１１０は通信手段で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。
【００５２】
１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００５３】
２００はメモリカードやハードディスク等の記録媒体である。
【００５４】
記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。
【００５５】
２１０はメモリカードやハードディスク等の記録媒体である。
【００５６】
記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４、画像処理装置１００と接続を行うコネクタ２１６を備えている。
【００５７】
図２〜６は本実施の形態における撮像装置１００のフローチャートである。
【００５８】
図２〜６を用いて、撮像装置１００の動作を説明する。
【００５９】
図２は撮像装置１００が笑顔など被写体の画像から特定のパターンを認識したことを利用して撮影するタイミングを決めるオートシャッター機能の処理手順を示したフローチャートである。ここでは笑顔を検出してシャッターを切る笑顔シャッターの処理手順について説明する。
【００６０】
ステップＳ２０１では撮影レンズ１０より入力されるカメラ画像を表示部５４に表示させている状態で、シャッタースイッチ６２のシャッターキーをユーザーが押下された場合にステップＳ２０２に進む。
【００６１】
ここで、笑顔検出に基づいて自動撮影機能がオンされているときには、シャッタースイッチ６２の押下操作により即座にシャッターが切られるのではなく、図３を用いて後述する笑顔判定処理によって、被写体の笑顔度が予め設定された笑顔判定閾値に達したときに、カメラ撮影処理が起動する（Ｓ２０２）。
【００６２】
ステップＳ２０３では、システム制御部５０が、一連の撮影処理の動作開始を指示する。一連の撮影処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御部２２での演算を用いた現像処理を行う（Ｓ２０４）。そして、一連の撮影処理では、メモリ３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理を行う（Ｓ２０５）。
【００６３】
図３は静止画撮影モードの笑顔シャッター機能における笑顔判定処理を示したフローチャートである。
【００６４】
ステップＳ３０１では画像処理回路２０を用いて被写体の笑顔度を算出する。被写体の笑顔検出は、まず入力画像から被写体の顔を検出し、笑顔検出の対象となる検出顔を特定してから笑顔検出をおこなう。顔の個々の構成要素に対して特徴量を演算し、表情推定処理を行って笑顔表情の度合い、すなわち、笑顔度を算出する。笑顔度は−５０〜＋５０といった数値で表される。
【００６５】
ステップＳ３０２では笑顔度が予め設定された静止画撮影モードの笑顔シャッター機能における笑顔判定閾値以上であるか判定する。笑顔判定閾値以上の場合はＳ３０４に進み、閾値に達しない場合はＳ３０３に進む。
【００６６】
Ｓ３０４では笑顔と判定して笑顔判定処理を終了し、Ｓ３０５では笑顔ではないと判定して笑顔判定処理を終了する。
【００６７】
図４は撮像装置１００が笑顔など被写体の画像から特定のパターンを認識したことを利用して動画中に静止画を撮影する笑顔スチルインムービー撮影機能及び動画中にチャプターを埋め込む笑顔チャプター機能の処理手順を示したフローチャートである。
【００６８】
ステップＳ４０１はＳ２０１と同様のシャッタースイッチ検出処理であり、シャッタースイッチ６２が押下されると動画撮影を開始し、動画撮影中に再びシャッタースイッチ６２が押されると動画撮影を終了する。
【００６９】
ステップＳ４０２からＳ４０４は動画撮影処理である。ステップＳ２０３〜Ｓ２０５で説明した撮影処理、現像処理、記録処理の一連の処理を実行し、動画撮影を実行する。
【００７０】
ステップＳ４０５は図５或いは図６を用いて後述する笑顔判定処理である。笑顔スチルインムービー機能がオンされているときには図５の笑顔判定処理を実行し、笑顔チャプター機能がオンされているときには図６の笑顔判定処理を実行する。なお、笑顔スチルインムービー機能と笑顔チャプター機能は同時にオンすることはできない。
【００７１】
ステップＳ４０６ではＳ４０５の笑顔判定処理によって笑顔と判定された場合にはステップＳ４０７に進み、笑顔と判定されなかった場合にはステップＳ４０１に戻って動画撮影処理を続行する。
【００７２】
ステップＳ４０７では、笑顔スチルインムービー機能がオンされているときにはステップＳ２０３〜２０５と同様の静止画撮影処理を実行し、笑顔チャプター機能がオンされているときには記録媒体２００或いは２１０に動画記録開始からの経過時間と動画のフレーム番号の少なくとも一方をチャプターとして書き込む。
【００７３】
図５は動画撮影モードの笑顔スチルインムービー機能における笑顔判定処理を示したフローチャートである。
【００７４】
ステップＳ５０１は、メモリ３０に格納されている笑顔判定の待機状態フラグを参照し、待機状態フラグがオンであるときにはステップＳ５０２に進み、待機状態フラグがオフであるときにはＳ５０４に進む。
【００７５】
ステップＳ５０４は、ステップＳ３０１と同様の処理を行って笑顔度を算出する。
【００７６】
ステップＳ５０５は、Ｓ５０４で求めた笑顔度が、予め設定された動画撮影モードの笑顔スチルインムービー機能における笑顔判定閾値以上であるか判定する。笑顔判定閾値以上の場合はＳ５０７に進み、閾値に到達しない場合はＳ５０６に進む。
【００７７】
Ｓ５０６では笑顔ではないと判定して笑顔判定処理を終了する。
【００７８】
Ｓ５０７ではメモリ３０に笑顔判定の待機状態のフラグをオンに設定し、さらにこのときの時刻をメモリ３０に記憶する。続いてＳ５０８では笑顔と判定して笑顔判定処理を終了する。
【００７９】
ステップＳ５０２は、Ｓ５０７で記憶した待機状態フラグをオンにした時刻から現在時刻までの経過時間を求めて、所定の時間が経過しているときにはＳ５０３に進み、所定の時間が経過していない場合にはＳ５０６に進む。
【００８０】
Ｓ５０３は笑顔判定の待機状態が所定の時間経過している場合の処理であり、メモリ３０に格納されている待機状態フラグをオフに設定してＳ５０４に進む。
【００８１】
図６は動画撮影モードの笑顔チャプター機能における笑顔判定処理を示したフローチャートである。
【００８２】
ステップＳ６０１は、ステップＳ３０１と同様の処理を行って笑顔度を算出する。
【００８３】
ステップＳ６０２は、メモリ３０に格納されている笑顔判定の待機状態フラグを参照し、待機状態フラグがオンであるときにはステップＳ６０３に進み、待機状態フラグがオフであるときにはステップＳ６０６に進む。
【００８４】
ステップＳ６０６では、Ｓ６０１で求めた笑顔度が、予め設定された動作撮影モードの笑顔チャプター機能における笑顔判定閾値以上であるか判定する。笑顔判定閾値以上の場合はＳ６０８に進み、閾値に到達しない場合はＳ６０７に進む。
【００８５】
Ｓ６０７では笑顔ではないと判定して笑顔判定処理を終了する。
【００８６】
Ｓ６０８ではメモリ３０に笑顔判定の待機状態フラグをオンに設定し、さらにこのときの時刻をメモリ３０に記憶する。続いてＳ６０９では笑顔と判定して笑顔判定処理を終了する。
【００８７】
ステップＳ６０３は、Ｓ６０８で記憶した待機状態フラグをオンにした時刻から現在時刻までの経過時間を求めて、所定の時間が経過しているときにはＳ６０５に進み、所定の時間が経過していないときにはＳ６０４に進む。
【００８８】
Ｓ６０５は笑顔判定の待機状態が所定の時間経過している場合の処理であり、メモリ３０に格納されている待機状態フラグをオフに設定してＳ６０６に進む。
【００８９】
Ｓ６０４は笑顔判定の待機状態が所定の時間経過していない場合の処理であり、Ｓ６０１で求めた笑顔度が、予め設定された動画撮影モードの笑顔チャプター機能における笑顔判定閾値以上であるか判定する。笑顔判定閾値に達しない場合はＳ６０５に進んで待機状態を解除し、笑顔判定閾値に達している場合は引き続き待機状態を維持し、Ｓ６０７に進む。
【００９０】
図７〜９は笑顔度と笑顔判定閾値の時間に対する変化を示したタイミングチャートである。図３、図５、図６のフローチャートで示した笑顔判定処理の説明を図７〜９を用いて補足する。
【００９１】
図７は図３で示した静止画撮影モードの笑顔シャッター機能における笑顔判定処理のタイミングチャートである。
【００９２】
縦軸が笑顔度、横軸が時間を示しており、時間方向に等間隔に引かれている線は笑顔判定処理の実行タイミングを示している。また、笑顔度１０の箇所に引かれている線は笑顔判定閾値を示しており、笑顔判定閾値以上の笑顔度の場合には笑顔と判定する。
【００９３】
ここで被写体がまじめ顔から微笑さらに笑顔に至るまで徐々に笑顔になっていく様子を例として挙げている。静止画撮影モードの笑顔シャッター機能では、笑顔判定処理の処理間隔に従って、笑顔度が笑顔判定閾値を超えた場合は全て笑顔と判定する。従って、図７で丸で示した箇所は全て笑顔と判定しており、静止画の撮影が実行される。
【００９４】
図８は図５で示した動画撮影モードの笑顔スチルインムービー機能における笑顔判定処理のタイミングチャートである。
【００９５】
笑顔スチルインムービー機能においては図７で示した笑顔シャッター機能の笑顔判定処理と比べて、笑顔判定処理の処理間隔が長く設定されており、また、笑顔判定閾値も高い値が設定されている。
【００９６】
動画撮影モードの笑顔スチルインムービー機能では、笑顔判定処理の処理間隔に従って、笑顔度が笑顔判定閾値を超えた場合に笑顔と判定し、その後は待機状態に移行する。待機状態では笑顔度の算出と笑顔判定が実行されないため、図８で三角で示した箇所は笑顔度が笑顔判定閾値を越えているにもかかわらず笑顔とは判定されない様子を示している。図８で丸で示した箇所において動画中の笑顔スチルインムービー機能が実行され、動画中の静止画撮影が実行される。
【００９７】
図９は図６で示した動画撮影モードの笑顔チャプター機能における笑顔判定処理のタイミングチャートである。
【００９８】
笑顔チャプター機能においては図７で示した笑顔シャッター機能と同様に、笑顔判定処理の間隔は短く設定し、また笑顔判定閾値も笑顔シャッター機能と同様の低めの値が設定されている。
【００９９】
動画撮影モードの笑顔チャプター機能では、図７で示した笑顔スチルインムービー機能と同様に笑顔度が笑顔判定閾値を超えた場合は笑顔と判定し、その後は待機状態に移行する。但し図７と違い笑顔チャプター機能では笑顔度の算出処理は続行し、笑顔度が笑顔判定閾値を超えている場合にはそのまま待機状態を継続し、逆に笑顔度が笑顔判定閾値を下回った場合には待機状態を解除するものとする。図９で実線の丸で示した箇所において笑顔チャプター機能が実行され、動画中のチャプターが記憶される。
【０１００】
なお、笑顔判定処理の実行タイミングは図２と図４で示したフローチャートにおける笑顔判定処理の呼び出しタイミングを調節することで変更可能であり、静止画撮影モードの笑顔シャッター機能と動画撮影モードの笑顔スチルインムービー機能と笑顔チャプター機能の夫々について個別の設定をおこなう。
【０１０１】
以上、静止画撮影モードの笑顔シャッター機能と動画撮影モードの笑顔スチルインムービー機能と笑顔チャプター機能において、笑顔判定処理における笑顔判定閾値と検出間隔する方法について説明した。
【０１０２】
このように本発明によれば、静止画撮影モードの笑顔シャッター機能においては被写体の笑顔のシャッターチャンスを逃さず撮影することが可能である一方、動画撮影モードでは、動画の品位を損なうことのない笑顔スチルインムービー撮影機能と、使い勝手の良い笑顔チャプター機能を提供することが可能である。
【０１０３】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１０４】
本明細書では、デジタルスチルカメラに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。例えば、携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｔａｎｔ）、あるいはその他のカメラ機能を備えた様々な情報機器に対して本発明を同様に適用することが出来る。
【０１０５】
また、本明細書では、笑顔判定閾値と笑顔判定処理の実行タイミングを笑顔シャッター機能と笑顔スチルインムービー機能と笑顔チャプター機能の各機能に連動して切り替える方法についてのみ説明したが、勿論、笑顔判定閾値と笑顔判定処理の実行タイミングは独立して変更することが可能である。
【０１０６】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を斟酌するべきである。
【符号の説明】
【０１０７】
１０：撮影レンズ １２：シャッター １４：撮像素子 １６：Ａ／Ｄ変換器 １８：タイミング発生回路 ２０：画像処理回路 ２２：メモリ制御回路 ２４：画像表示メモリ ２６：Ｄ／Ａ変換器 ２８：画像表示部 ３０：メモリ ３２：画像圧縮・伸長回路
４０：露光制御手段 ４２：測距制御手段 ４４：ズーム制御手段 ４６：バリア制御手段 ４８：ストロボ
５０：システム制御回路 ５２：メモリ ５４：表示部 ５６：不揮発性メモリ
６０：モードダイアルスイッチ ６１：シャッタースイッチＳＷ１ ６２：シャッタースイッチＳＷ２ ６３：操作部
８０：電源制御手段 ８２：コネクタ ８４：コネクタ ８６：電源手段
９０：インタフェース ９２：コネクタ ９４：インタフェース ９６：コネクタ ９８：記録媒体着脱検知手段
１００：画像処理装置 １０２：保護手段 １０４：光学ファインダ
１１０：通信手段 １１２：コネクタ／アンテナ
２００：記録媒体 ２０２：記録部 ２０４：インタフェース ２０６：コネクタ
２１０：記録媒体 ２１２：記録部 ２１４：インタフェース ２１６：コネクタ
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
近年、顔の表情、特に人物の顔の表情を検出する技術が開発されつつある。一般的に、カメラで人物を撮影する際には、被写体である人物の表情が笑顔などの良い表情のタイミングで撮影することが望まれることが多い。そのため、デジタルカメラへの表情検出技術の応用が検討されており、その１つとして被写体の笑顔を検出してシャッターを切る撮影モードを備えているカメラが提案されている。
【０００３】
特許文献１に示す技術では、笑顔の検出レベルを表示し、ユーザーが任意に笑顔判定する検出閾値を設定可能としている。また、笑顔が見付からない場合には自動で笑顔判定閾値を下げる処理もおこなっている。
【０００４】
特許文献２に示す技術では、笑顔を検出してシャッターを切るカメラにおいて、特定の終了条件を満たすまで笑顔シャッターによる撮影を繰り返すように制御している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−３１１８１９号公報
【特許文献２】特開２００９−１０７７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
笑顔を検出してシャッターを切る撮影モード（笑顔シャッター）を備えたカメラにおいて、笑顔検出技術を動画撮影に応用し、笑顔のシーンで自動的に動画中静止画（スチルインムービー）撮影をおこなったり、或いは笑顔のシーンにチャプター（しおり）を付加する機能を実現する場合、静止画撮影モードの笑顔シャッター機能のアルゴリズムとパラメータを動画撮影モードに適用してしまうと、スチルインムービー撮影による動画記録の中断が頻繁に発生して動画の品位が下がるほか、笑顔シーンのチャプター付加については、チャプターが数多く付加されてしまう為に、チャプター機能が使用し辛くなる問題があった。
【課題を解決するための手段】
【０００７】
本発明は上記課題を解決するために創出されたものであって、
被写体を撮像して画像データを得る撮像手段と、前記撮像手段から得られた画像データに基づいて画像データに含まれる被写体の笑顔度を算出する笑顔度算出手段と、前記笑顔度算出手段により算出した笑顔度に基づいて被写体が笑っているか否かを判定するための閾値を設定する笑顔判定閾値設定手段と、前記笑顔度算出手段と前記笑顔判定閾値設定手段を用いて笑顔判定をおこなう笑顔判定手段を備え、
静止画撮影モードにおいて前記笑顔判定手段による笑顔判定結果に基づいて静止画を撮影する機能と、動画撮影モードにおいて前記笑顔判定手段による笑顔判定結果に基づいて動画記録中に静止画を撮影する機能と、動画撮影モードにおいて前記笑顔判定手段による笑顔判定結果に基づいて動画にチャプターを埋め込む機能のうち、少なくとも２つの機能を備えたカメラにおいて、前記撮影モードあるいは前記機能に応じて、前記笑顔判定閾値設定手段における笑顔判定閾値或いは前記笑顔判定手段による笑顔判定の実行タイミングの少なくともどちらか一方を変更することを特徴としている。
【発明の効果】
【０００８】
本発明によれば、静止画撮影モードの笑顔シャッター機能においては被写体の笑顔のシャッターチャンスを逃さず撮影することが可能である一方、動画撮影モードでは、動画の品位を損なうことのないスチルインムービー撮影機能と、使い勝手の良い笑顔チャプター機能を提供することが可能である。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態における撮像装置のブロック図。
【図２】本実施の形態における撮像装置の静止画撮影モードの笑顔シャッター機能の動作処理フローチャート。
【図３】本実施の形態における撮像装置の静止画撮影モードの笑顔シャッター機能における笑顔判定処理を示したフローチャート。
【図４】本実施の形態における撮像装置の動画撮影モードの動作処理フローチャート。
【図５】本実施の形態における撮像装置の動画撮影モードの笑顔スチルインムービー機能における笑顔判定処理を示したフローチャート。
【図６】本実施の形態における撮像装置の動画撮影モードの笑顔チャプター機能における笑顔判定処理を示したフローチャート。
【図７】本実施の形態における撮像装置の静止画撮影モードの笑顔シャッター機能における笑顔判定処理のタイミングチャート。
【図８】本実施の形態における撮像装置の動画撮影モードの笑顔スチルインムービー機能における笑顔判定処理のタイミングチャート。
【図９】本実施の形態における撮像装置の動画撮影モードの笑顔チャプター機能における笑顔判定処理のタイミングチャート。
【発明を実施するための形態】
【００１０】
［実施例１］
以下、図面を参照して本発明の実施例を説明する。
【００１１】
図１は、本発明の実施例の構成を示す図である。
【００１２】
図１において、１００は画像処理装置である。
【００１３】
１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。
【００１４】
１８は、撮像素子１４、 Ａ／Ｄ変換器１６、 Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。
【００１５】
２０は画像処理回路であり、 Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。
【００１６】
また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。
【００１７】
さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。ホワイトバランスのための演算処理として映像信号を複数のブロックに分け各ブロックの色信号の積分値を得るブロック積分と、映像信号の各画素の信号値を色度座標に展開し所定の領域についての色信号の積分値を得る白サーチ積分が行われる。白サーチ積分に使用する色度座標上の積分領域の設定は画像処理回路２０内に保持する。
【００１８】
さらに、画像処理回路２０は所定の画像認識処理を搭載し、笑顔など被写体の画像から特定のパターンを認識することが可能である。笑顔認識技術自体は周知のものでよいので、ここでは詳細な説明を省略する。
【００１９】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。
【００２０】
Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００２１】
２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。
【００２２】
画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。
【００２３】
また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。
【００２４】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。
【００２５】
これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。
【００２６】
また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００２７】
３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００２８】
４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。
【００２９】
４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段、４６はバリアである保護手段１０２の動作を制御するバリア制御手段である。
【００３０】
４８はストロボであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。
【００３１】
露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。
【００３２】
５０は画像処理装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。５２はまた、ＡＥで用いるプログラム線図も格納している。プログラム線図は、露出値に対する絞り開口径とシャッター速度の制御値の関係を定義したテーブルである。
【００３３】
５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部であり、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。
【００３４】
また、表示部５４は、その一部の機能が光学ファインダー１０４内に設置されている。
表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示、等がある。
【００３５】
また、表示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。
【００３６】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００３７】
６０、６１、６２、６３は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００３８】
ここで、これらの操作手段の具体的な説明を行う。
【００３９】
６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。
【００４０】
６１はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
【００４１】
６２はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなり、撮像素子１２から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。
【００４２】
６３は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン、表示切替ボタン等がある。表示切替ボタンは画像表示部２８を用いた電子ファインダー機能の設定を切り替えることが可能であり、画像表示部２８への表示をＯＮ／ＯＦＦすることが出来る。
【００４３】
８０は電源制御手段で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００４４】
８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＢＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源手段である。
【００４５】
９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２及び或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知手段である。
【００４６】
なお、本実施例では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。
【００４７】
インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ）カード等の規格に準拠したものを用いて構成して構わない。
【００４８】
さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ）カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。
【００４９】
１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。
【００５０】
１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。
【００５１】
１１０は通信手段で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。
【００５２】
１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００５３】
２００はメモリカードやハードディスク等の記録媒体である。
【００５４】
記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。
【００５５】
２１０はメモリカードやハードディスク等の記録媒体である。
【００５６】
記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４、画像処理装置１００と接続を行うコネクタ２１６を備えている。
【００５７】
図２〜６は本実施の形態における撮像装置１００のフローチャートである。
【００５８】
図２〜６を用いて、撮像装置１００の動作を説明する。
【００５９】
図２は撮像装置１００が笑顔など被写体の画像から特定のパターンを認識したことを利用して撮影するタイミングを決めるオートシャッター機能の処理手順を示したフローチャートである。ここでは笑顔を検出してシャッターを切る笑顔シャッターの処理手順について説明する。
【００６０】
ステップＳ２０１では撮影レンズ１０より入力されるカメラ画像を表示部５４に表示させている状態で、シャッタースイッチ６２のシャッターキーをユーザーが押下された場合にステップＳ２０２に進む。
【００６１】
ここで、笑顔検出に基づいて自動撮影機能がオンされているときには、シャッタースイッチ６２の押下操作により即座にシャッターが切られるのではなく、図３を用いて後述する笑顔判定処理によって、被写体の笑顔度が予め設定された笑顔判定閾値に達したときに、カメラ撮影処理が起動する（Ｓ２０２）。
【００６２】
ステップＳ２０３では、システム制御部５０が、一連の撮影処理の動作開始を指示する。一連の撮影処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御部２２での演算を用いた現像処理を行う（Ｓ２０４）。そして、一連の撮影処理では、メモリ３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理を行う（Ｓ２０５）。
【００６３】
図３は静止画撮影モードの笑顔シャッター機能における笑顔判定処理を示したフローチャートである。
【００６４】
ステップＳ３０１では画像処理回路２０を用いて被写体の笑顔度を算出する。被写体の笑顔検出は、まず入力画像から被写体の顔を検出し、笑顔検出の対象となる検出顔を特定してから笑顔検出をおこなう。顔の個々の構成要素に対して特徴量を演算し、表情推定処理を行って笑顔表情の度合い、すなわち、笑顔度を算出する。笑顔度は−５０〜＋５０といった数値で表される。
【００６５】
ステップＳ３０２では笑顔度が予め設定された静止画撮影モードの笑顔シャッター機能における笑顔判定閾値以上であるか判定する。笑顔判定閾値以上の場合はＳ３０４に進み、閾値に達しない場合はＳ３０３に進む。
【００６６】
Ｓ３０４では笑顔と判定して笑顔判定処理を終了し、Ｓ３０５では笑顔ではないと判定して笑顔判定処理を終了する。
【００６７】
図４は撮像装置１００が笑顔など被写体の画像から特定のパターンを認識したことを利用して動画中に静止画を撮影する笑顔スチルインムービー撮影機能及び動画中にチャプターを埋め込む笑顔チャプター機能の処理手順を示したフローチャートである。
【００６８】
ステップＳ４０１はＳ２０１と同様のシャッタースイッチ検出処理であり、シャッタースイッチ６２が押下されると動画撮影を開始し、動画撮影中に再びシャッタースイッチ６２が押されると動画撮影を終了する。
【００６９】
ステップＳ４０２からＳ４０４は動画撮影処理である。ステップＳ２０３〜Ｓ２０５で説明した撮影処理、現像処理、記録処理の一連の処理を実行し、動画撮影を実行する。
【００７０】
ステップＳ４０５は図５或いは図６を用いて後述する笑顔判定処理である。笑顔スチルインムービー機能がオンされているときには図５の笑顔判定処理を実行し、笑顔チャプター機能がオンされているときには図６の笑顔判定処理を実行する。なお、笑顔スチルインムービー機能と笑顔チャプター機能は同時にオンすることはできない。
【００７１】
ステップＳ４０６ではＳ４０５の笑顔判定処理によって笑顔と判定された場合にはステップＳ４０７に進み、笑顔と判定されなかった場合にはステップＳ４０１に戻って動画撮影処理を続行する。
【００７２】
ステップＳ４０７では、笑顔スチルインムービー機能がオンされているときにはステップＳ２０３〜２０５と同様の静止画撮影処理を実行し、笑顔チャプター機能がオンされているときには記録媒体２００或いは２１０に動画記録開始からの経過時間と動画のフレーム番号の少なくとも一方をチャプターとして書き込む。
【００７３】
図５は動画撮影モードの笑顔スチルインムービー機能における笑顔判定処理を示したフローチャートである。
【００７４】
ステップＳ５０１は、メモリ３０に格納されている笑顔判定の待機状態フラグを参照し、待機状態フラグがオンであるときにはステップＳ５０２に進み、待機状態フラグがオフであるときにはＳ５０４に進む。
【００７５】
ステップＳ５０４は、ステップＳ３０１と同様の処理を行って笑顔度を算出する。
【００７６】
ステップＳ５０５は、Ｓ５０４で求めた笑顔度が、予め設定された動画撮影モードの笑顔スチルインムービー機能における笑顔判定閾値以上であるか判定する。笑顔判定閾値以上の場合はＳ５０７に進み、閾値に到達しない場合はＳ５０６に進む。
【００７７】
Ｓ５０６では笑顔ではないと判定して笑顔判定処理を終了する。
【００７８】
Ｓ５０７ではメモリ３０に笑顔判定の待機状態のフラグをオンに設定し、さらにこのときの時刻をメモリ３０に記憶する。続いてＳ５０８では笑顔と判定して笑顔判定処理を終了する。
【００７９】
ステップＳ５０２は、Ｓ５０７で記憶した待機状態フラグをオンにした時刻から現在時刻までの経過時間を求めて、所定の時間が経過しているときにはＳ５０３に進み、所定の時間が経過していない場合にはＳ５０６に進む。
【００８０】
Ｓ５０３は笑顔判定の待機状態が所定の時間経過している場合の処理であり、メモリ３０に格納されている待機状態フラグをオフに設定してＳ５０４に進む。
【００８１】
図６は動画撮影モードの笑顔チャプター機能における笑顔判定処理を示したフローチャートである。
【００８２】
ステップＳ６０１は、ステップＳ３０１と同様の処理を行って笑顔度を算出する。
【００８３】
ステップＳ６０２は、メモリ３０に格納されている笑顔判定の待機状態フラグを参照し、待機状態フラグがオンであるときにはステップＳ６０３に進み、待機状態フラグがオフであるときにはステップＳ６０６に進む。
【００８４】
ステップＳ６０６では、Ｓ６０１で求めた笑顔度が、予め設定された動作撮影モードの笑顔チャプター機能における笑顔判定閾値以上であるか判定する。笑顔判定閾値以上の場合はＳ６０８に進み、閾値に到達しない場合はＳ６０７に進む。
【００８５】
Ｓ６０７では笑顔ではないと判定して笑顔判定処理を終了する。
【００８６】
Ｓ６０８ではメモリ３０に笑顔判定の待機状態フラグをオンに設定し、さらにこのときの時刻をメモリ３０に記憶する。続いてＳ６０９では笑顔と判定して笑顔判定処理を終了する。
【００８７】
ステップＳ６０３は、Ｓ６０８で記憶した待機状態フラグをオンにした時刻から現在時刻までの経過時間を求めて、所定の時間が経過しているときにはＳ６０５に進み、所定の時間が経過していないときにはＳ６０４に進む。
【００８８】
Ｓ６０５は笑顔判定の待機状態が所定の時間経過している場合の処理であり、メモリ３０に格納されている待機状態フラグをオフに設定してＳ６０６に進む。
【００８９】
Ｓ６０４は笑顔判定の待機状態が所定の時間経過していない場合の処理であり、Ｓ６０１で求めた笑顔度が、予め設定された動画撮影モードの笑顔チャプター機能における笑顔判定閾値以上であるか判定する。笑顔判定閾値に達しない場合はＳ６０５に進んで待機状態を解除し、笑顔判定閾値に達している場合は引き続き待機状態を維持し、Ｓ６０７に進む。
【００９０】
図７〜９は笑顔度と笑顔判定閾値の時間に対する変化を示したタイミングチャートである。図３、図５、図６のフローチャートで示した笑顔判定処理の説明を図７〜９を用いて補足する。
【００９１】
図７は図３で示した静止画撮影モードの笑顔シャッター機能における笑顔判定処理のタイミングチャートである。
【００９２】
縦軸が笑顔度、横軸が時間を示しており、時間方向に等間隔に引かれている線は笑顔判定処理の実行タイミングを示している。また、笑顔度１０の箇所に引かれている線は笑顔判定閾値を示しており、笑顔判定閾値以上の笑顔度の場合には笑顔と判定する。
【００９３】
ここで被写体がまじめ顔から微笑さらに笑顔に至るまで徐々に笑顔になっていく様子を例として挙げている。静止画撮影モードの笑顔シャッター機能では、笑顔判定処理の処理間隔に従って、笑顔度が笑顔判定閾値を超えた場合は全て笑顔と判定する。従って、図７で丸で示した箇所は全て笑顔と判定しており、静止画の撮影が実行される。
【００９４】
図８は図５で示した動画撮影モードの笑顔スチルインムービー機能における笑顔判定処理のタイミングチャートである。
【００９５】
笑顔スチルインムービー機能においては図７で示した笑顔シャッター機能の笑顔判定処理と比べて、笑顔判定処理の処理間隔が長く設定されており、また、笑顔判定閾値も高い値が設定されている。
【００９６】
動画撮影モードの笑顔スチルインムービー機能では、笑顔判定処理の処理間隔に従って、笑顔度が笑顔判定閾値を超えた場合に笑顔と判定し、その後は待機状態に移行する。待機状態では笑顔度の算出と笑顔判定が実行されないため、図８で三角で示した箇所は笑顔度が笑顔判定閾値を越えているにもかかわらず笑顔とは判定されない様子を示している。図８で丸で示した箇所において動画中の笑顔スチルインムービー機能が実行され、動画中の静止画撮影が実行される。
【００９７】
図９は図６で示した動画撮影モードの笑顔チャプター機能における笑顔判定処理のタイミングチャートである。
【００９８】
笑顔チャプター機能においては図７で示した笑顔シャッター機能と同様に、笑顔判定処理の間隔は短く設定し、また笑顔判定閾値も笑顔シャッター機能と同様の低めの値が設定されている。
【００９９】
動画撮影モードの笑顔チャプター機能では、図７で示した笑顔スチルインムービー機能と同様に笑顔度が笑顔判定閾値を超えた場合は笑顔と判定し、その後は待機状態に移行する。但し図７と違い笑顔チャプター機能では笑顔度の算出処理は続行し、笑顔度が笑顔判定閾値を超えている場合にはそのまま待機状態を継続し、逆に笑顔度が笑顔判定閾値を下回った場合には待機状態を解除するものとする。図９で実線の丸で示した箇所において笑顔チャプター機能が実行され、動画中のチャプターが記憶される。
【０１００】
なお、笑顔判定処理の実行タイミングは図２と図４で示したフローチャートにおける笑顔判定処理の呼び出しタイミングを調節することで変更可能であり、静止画撮影モードの笑顔シャッター機能と動画撮影モードの笑顔スチルインムービー機能と笑顔チャプター機能の夫々について個別の設定をおこなう。
【０１０１】
以上、静止画撮影モードの笑顔シャッター機能と動画撮影モードの笑顔スチルインムービー機能と笑顔チャプター機能において、笑顔判定処理における笑顔判定閾値と検出間隔する方法について説明した。
【０１０２】
このように本発明によれば、静止画撮影モードの笑顔シャッター機能においては被写体の笑顔のシャッターチャンスを逃さず撮影することが可能である一方、動画撮影モードでは、動画の品位を損なうことのない笑顔スチルインムービー撮影機能と、使い勝手の良い笑顔チャプター機能を提供することが可能である。
【０１０３】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１０４】
本明細書では、デジタルスチルカメラに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。例えば、携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｔａｎｔ）、あるいはその他のカメラ機能を備えた様々な情報機器に対して本発明を同様に適用することが出来る。
【０１０５】
また、本明細書では、笑顔判定閾値と笑顔判定処理の実行タイミングを笑顔シャッター機能と笑顔スチルインムービー機能と笑顔チャプター機能の各機能に連動して切り替える方法についてのみ説明したが、勿論、笑顔判定閾値と笑顔判定処理の実行タイミングは独立して変更することが可能である。
【０１０６】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を斟酌するべきである。
【符号の説明】
【０１０７】
１０：撮影レンズ １２：シャッター １４：撮像素子 １６：Ａ／Ｄ変換器 １８：タイミング発生回路 ２０：画像処理回路 ２２：メモリ制御回路 ２４：画像表示メモリ ２６：Ｄ／Ａ変換器 ２８：画像表示部 ３０：メモリ ３２：画像圧縮・伸長回路
４０：露光制御手段 ４２：測距制御手段 ４４：ズーム制御手段 ４６：バリア制御手段 ４８：ストロボ
５０：システム制御回路 ５２：メモリ ５４：表示部 ５６：不揮発性メモリ
６０：モードダイアルスイッチ ６１：シャッタースイッチＳＷ１ ６２：シャッタースイッチＳＷ２ ６３：操作部
８０：電源制御手段 ８２：コネクタ ８４：コネクタ ８６：電源手段
９０：インタフェース ９２：コネクタ ９４：インタフェース ９６：コネクタ ９８：記録媒体着脱検知手段
１００：画像処理装置 １０２：保護手段 １０４：光学ファインダ
１１０：通信手段 １１２：コネクタ／アンテナ
２００：記録媒体 ２０２：記録部 ２０４：インタフェース ２０６：コネクタ
２１０：記録媒体 ２１２：記録部 ２１４：インタフェース ２１６：コネクタ
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを得る撮像手段と、
前記撮像手段から得られた画像データに基づいて画像データに含まれる被写体の笑顔度を算出する笑顔度算出手段と、
前記笑顔度算出手段により算出した笑顔度に基づいて被写体が笑っているか否かを判定するための閾値を設定する笑顔判定閾値設定手段と、
前記笑顔度算出手段と前記笑顔判定閾値設定手段を用いて笑顔判定をおこなう笑顔判定手段と、
を備え、
静止画撮影モードにおいて前記笑顔判定手段による笑顔判定結果に基づいて静止画を撮影する機能と、
動画撮影モードにおいて前記笑顔判定手段による笑顔判定結果に基づいて動画記録中に静止画を撮影する機能と、
動画撮影モードにおいて前記笑顔判定手段による笑顔判定結果に基づいて動画にチャプターを埋め込む機能と、
のうち、少なくとも２つの機能を備えたカメラにおいて、
前記撮影モードあるいは前記機能に応じて、前記笑顔判定閾値設定手段における笑顔判定閾値或いは前記笑顔判定手段による笑顔判定の実行タイミングの少なくともどちらか一方を変更することを特徴とする撮像装置。
【請求項２】
前記笑顔判定手段は、笑顔と判定してから所定の時間だけ、前記笑顔度算出手段による笑顔度の算出と、笑顔の判定処理の、両方或いは片方を中断することが可能であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記笑顔判定手段は、笑顔の判定処理を中断している状態において、前記笑顔度算出手段による笑顔度の算出を行った結果に基づいて笑顔の判定処理を再開することが可能であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記笑顔判定手段による笑顔判定処理の実行タイミングは、前記笑顔度算出手段による被写体の笑顔度の算出を実行したタイミングに同期して実行するか、或いは所定の間隔で定期的に実行することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記笑顔判定手段による笑顔判定処理の実行タイミングについて、定期的に実行する場合の実行間隔は任意に設定可能であることを特徴とする請求項１に記載の撮像装置。
【請求項１】
被写体を撮像して画像データを得る撮像手段と、
前記撮像手段から得られた画像データに基づいて画像データに含まれる被写体の笑顔度を算出する笑顔度算出手段と、
前記笑顔度算出手段により算出した笑顔度に基づいて被写体が笑っているか否かを判定するための閾値を設定する笑顔判定閾値設定手段と、
前記笑顔度算出手段と前記笑顔判定閾値設定手段を用いて笑顔判定をおこなう笑顔判定手段と、
を備え、
静止画撮影モードにおいて前記笑顔判定手段による笑顔判定結果に基づいて静止画を撮影する機能と、
動画撮影モードにおいて前記笑顔判定手段による笑顔判定結果に基づいて動画記録中に静止画を撮影する機能と、
動画撮影モードにおいて前記笑顔判定手段による笑顔判定結果に基づいて動画にチャプターを埋め込む機能と、
のうち、少なくとも２つの機能を備えたカメラにおいて、
前記撮影モードあるいは前記機能に応じて、前記笑顔判定閾値設定手段における笑顔判定閾値或いは前記笑顔判定手段による笑顔判定の実行タイミングの少なくともどちらか一方を変更することを特徴とする撮像装置。
【請求項２】
前記笑顔判定手段は、笑顔と判定してから所定の時間だけ、前記笑顔度算出手段による笑顔度の算出と、笑顔の判定処理の、両方或いは片方を中断することが可能であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記笑顔判定手段は、笑顔の判定処理を中断している状態において、前記笑顔度算出手段による笑顔度の算出を行った結果に基づいて笑顔の判定処理を再開することが可能であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記笑顔判定手段による笑顔判定処理の実行タイミングは、前記笑顔度算出手段による被写体の笑顔度の算出を実行したタイミングに同期して実行するか、或いは所定の間隔で定期的に実行することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記笑顔判定手段による笑顔判定処理の実行タイミングについて、定期的に実行する場合の実行間隔は任意に設定可能であることを特徴とする請求項１に記載の撮像装置。
【図７】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【公開番号】特開２０１２−１０４９００（Ｐ２０１２−１０４９００Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２４９３４９（Ｐ２０１０−２４９３４９）
【出願日】平成２２年１１月８日（２０１０．１１．８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．コンパクトフラッシュ
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月８日（２０１０．１１．８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．コンパクトフラッシュ
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]