撮像装置、方法およびプログラム
【課題】 被写体の睡眠状態の有無およびその程度に応じて、被写体の睡眠の妨げとなる撮像装置の機能を制限する。
【解決手段】 睡眠判定部１１２ｅは、処理フレームの記憶順に沿って、評価値Ｘを時系列順にプロットし評価値をグラフ化する。そして、ＥＥＰＲＯＭ１１９に記憶された、あるいは計算によって求められた所定フレーム数ｎ（例えばｎ＝２６フレーム）における目の開閉（まばたき）の有無を判別する。そして、所定フレーム数ｎでの目の開閉がない場合、睡眠状態であると判断し、フラッシュ発光や報知音の出力を制限する。
【解決手段】 睡眠判定部１１２ｅは、処理フレームの記憶順に沿って、評価値Ｘを時系列順にプロットし評価値をグラフ化する。そして、ＥＥＰＲＯＭ１１９に記憶された、あるいは計算によって求められた所定フレーム数ｎ（例えばｎ＝２６フレーム）における目の開閉（まばたき）の有無を判別する。そして、所定フレーム数ｎでの目の開閉がない場合、睡眠状態であると判断し、フラッシュ発光や報知音の出力を制限する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の状態に応じて各種動作を制限する撮像装置に関する。
【背景技術】
【０００２】
特許文献１では、被写体のまばたきを検出し、撮影時にまばたきをしていると判断した場合は撮影者にその旨を知らせる。被写体のまばたきを検出し、撮影時にまばたきをしていると判断した場合、ストロボを発光させ被写体の注意を引き、その後再度ストロボを発光させて撮像を行う。
【０００３】
特許文献２では、スルー画から顔領域の検出を行うとともにフォーカス位置から被写体距離を求め、顔領域と被写体距離に基づいて被写体の顔サイズを求める。顔サイズが所定のサイズよりも小さい場合、被写体は子供と判断し、ストロボの発光輝度を子供撮影用に設定する。
【０００４】
特許文献３では、画像から人物の顔を抽出し、その人物の表示に応じてフラッシュ光の発光量を補正する。
【特許文献１】特開２００３−３３８９５２号公報
【特許文献２】特開２００７−２０８９２２号公報
【特許文献３】特開２００８−５０３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
撮影しようとしている被写体が睡眠中である場合、通常のオート撮影を行うと、フラッシュを発光してしまい、寝ている赤ん坊などの被写体を起こしてしまう場合がある。
【０００６】
特許文献１では、撮影者が寝ている赤ん坊などの被写体を撮影したい場合、撮影者の意図に反して警告が行われたり、ストロボが発光されたりするおそれがある。
【０００７】
特許文献２では、子供と判定されると、フラッシュを発光するか否かの判定基準となる輝度閾値が高輝度側へ移行するため、子供であるがゆえにフラッシュを全く発光しない場合がある。
【０００８】
特許文献３では、ある時点で得られた画像に基づいて表情判定をしただけでは、被写体がまばたきをしているのか寝ているのか区別がつかない。よって、寝ている被写体に強いフラッシュ光が発せられるおそれがある。
【０００９】
本発明の目的は、被写体の睡眠状態の有無およびその程度に応じて、被写体の睡眠の妨げとなる撮像装置の機能を制限することにある。
【課題を解決するための手段】
【００１０】
本発明に係る撮像装置は、撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力する撮像部と、被写体への発光を行う発光部と、撮像部の順次出力した画像データの各々に基づいて、各画像データにおける特定の被写体の目の開閉状態を検出する目開閉状態検出部と、目開閉状態検出部の検出した特定の被写体の目の開閉状態を示す評価値を算出する評価値算出部と、評価値算出部の算出した画像データの各々に対応する評価値を、画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶する記憶部と、記憶部に記憶された評価値時系列群に基づいて特定の被写体の睡眠状態を判定する睡眠判定部と、睡眠判定部の判定結果に応じて発光部の撮像時における被写体への発光を制限する撮像制御部と、を備える。
【００１１】
この発明によると、眠っている被写体を撮影する際にフラッシュを浴びせて起こす心配がなく、また、眠っていない被写体には通常どおりフラッシュを発光して撮影時の照度を調整し、画質を高めることができる。
【００１２】
本発明に係る撮像装置は、撮像部の順次出力した画像データの各々に基づいて、各画像データにおける特定の被写体の目の開閉状態を検出する目開閉状態検出部と、目開閉状態検出部の検出した特定の被写体の目の開閉状態を示す評価値を算出する評価値算出部と、評価値算出部の算出した画像データの各々に対応する評価値を、画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶する記憶部と、記憶部に記憶された評価値時系列群に基づいて特定の被写体の睡眠状態を判定する睡眠判定部と、睡眠判定部の判定結果に応じて発音部からの報知音の出力を制限する撮像制御部と、を備える。
【００１３】
この発明によると、眠っている被写体を撮影する際に報知音を浴びせて起こす心配がなく、また、眠っていない被写体の撮影時には通常どおり報知音を出力できる。
【００１４】
本発明に係る撮像装置は、撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力する撮像部と、被写体への発光を行う発光部と、報知音を出力する発音部と、撮像部の順次出力した画像データの各々における１または複数の被写体のうち特定の条件を満たす被写体である代表被写体を選出する代表被写体選出部と、各画像データにおける代表被写体の目の開閉状態を検出する目開閉状態検出部と、目開閉状態検出部の検出した代表被写体の目の開閉状態を示す評価値を算出する評価値算出部と、評価値算出部の算出した画像データの各々に対応する評価値を、画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶する記憶部と、記憶部に記憶された評価値時系列群に基づいて代表被写体の睡眠状態を判定する睡眠判定部と、睡眠判定部の判定結果に応じて、発光部の撮像時における発光および発音部からの報知音の出力のうち少なくとも一方を制限する撮像制御部と、を備える。
【００１５】
この発明によると、撮影者が撮影を意図した被写体が寝ている際にフラッシュや報知音を浴びせて起こす心配がなく、また、眠っていない被写体の撮影時には通常どおりフラッシュや報知音を出力できる。
【００１６】
好ましくは、代表被写体選出部は、１または複数の被写体のうち、画像データ中の所定の範囲内にあり、かつ／または、所定のサイズ以上である被写体を代表被写体に選出する。
【００１７】
好ましくは、撮像制御部は、操作音およびシャッタ音のうち少なくとも一方を含む報知音をミュートする。
【００１８】
好ましくは、撮像部の順次出力した画像データの各々から特定人物の顔部分を含む顔領域を検出する顔検出部と、顔検出部の検出した特定人物の顔領域の各々から目領域を検出する目領域検出部と、を備え、目開閉状態検出部は、目領域検出部の検出した各顔領域に対応する目領域に基づいて特定人物の目の開閉状態を検出する。
【００１９】
好ましくは、目開閉状態検出部は、目領域のエッジ情報、目領域の２値化データまたは各画像データの目領域間の差分情報に基づいて特定人物の目の開閉状態を検出する。
【００２０】
本発明に係る撮像方法は、撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力するステップと、順次出力した画像データの各々に基づいて、各画像データにおける特定の被写体の目の開閉状態を検出するステップと、検出した特定の被写体の目の開閉状態を示す評価値を算出するステップと、評価値算出部の算出した画像データの各々に対応する評価値を、画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶するステップと、記憶された評価値時系列群に基づいて特定の被写体の睡眠状態を判定するステップと、判定結果に応じて発光部の撮像時における被写体への発光を制限するステップと、を含む。
【００２１】
本発明に係る撮像方法は、撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力するステップと、順次出力した画像データの各々に基づいて、各画像データにおける特定の被写体の目の開閉状態を検出するステップと、検出した特定の被写体の目の開閉状態を示す評価値を算出するステップと、算出した画像データの各々に対応する評価値を、画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶するステップと、記憶された評価値時系列群に基づいて特定の被写体の睡眠状態を判定するステップと、判定結果に応じて発音部からの報知音の出力を制限するステップと、を含む。
【００２２】
本発明に係る撮像方法は、撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力するステップと、順次出力した画像データの各々における１または複数の被写体のうち特定の条件を満たす被写体である代表被写体を選出するステップと、各画像データにおける代表被写体の目の開閉状態を検出するステップと、検出した代表被写体の目の開閉状態を示す評価値を算出する評価値算出部と、評価値算出部の算出した画像データの各々に対応する評価値を、画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶するステップと、記憶された評価値時系列群に基づいて代表被写体の睡眠状態を判定するステップと、判定結果に応じて、発光部の撮像時における発光および発音部からの報知音の出力のうち少なくとも一方を制限するステップと、を含む。
【００２３】
好ましくは、１または複数の被写体のうち、画像データ中の所定の範囲内にあり、かつ／または、所定のサイズ以上である被写体を代表被写体に選出するステップを含む。
【００２４】
好ましくは、判定結果に応じて、操作音およびシャッタ音のうち少なくとも一方を含む報知音をミュートするステップを含む。
【００２５】
好ましくは、順次出力した画像データの各々から特定人物の顔部分を含む顔領域を検出するステップと、検出した特定人物の顔領域の各々から目領域を検出するステップと、目領域検出部の検出した各顔領域に対応する目領域に基づいて特定人物の目の開閉状態を検出するステップと、を含む。
【００２６】
好ましくは、目領域のエッジ情報、目領域の２値化データまたは各画像データの目領域間の差分情報に基づいて特定人物の目の開閉状態を検出するステップを含む。
【００２７】
上記の撮像方法をコンピュータに実行させるための撮像プログラムも本発明に含まれる。
【発明の効果】
【００２８】
この発明によると、眠っている被写体を撮影する際にフラッシュを浴びせて起こす心配がなく、また、眠っていない被写体には通常どおりフラッシュを発光して撮影時の照度を調整し、画質を高めることができる。
【００２９】
この発明によると、眠っている被写体を撮影する際に報知音を浴びせて起こす心配がなく、また、眠っていない被写体の撮影時には通常どおり報知音を出力できる。
【００３０】
この発明によると、撮影者が撮影を意図した被写体が寝ている際にフラッシュや報知音を浴びせて起こす心配がなく、また、眠っていない被写体の撮影時には通常どおりフラッシュや報知音を出力できる。
【発明を実施するための最良の形態】
【００３１】
＜第１実施形態＞
図１は本発明の好ましい実施形態に係るデジタルカメラ１０の機能ブロック図である。まず、同図のデジタルカメラ１０において、中央処理装置（ＣＰＵ）１１２は、レリーズスイッチ２２、モードダイヤル１５０等を含む操作部１１３の各種のボタンやキーからの入力に基づいてデジタルカメラ１０内の各回路を統括制御する。ＣＰＵ１１２の実行するプログラムはＥＥＰＲＯＭ１１９に記憶される。
【００３２】
いま、モードダイヤル１５０によって静止画撮影モードが設定されると、ＣＰＵ１１２は、撮像回路１０２ｂから順次得られるコマ画像（スルー画）を表示部１１０に表示させ、撮影画角を確認可能にする。即ち、撮像レンズ１４を通過した光は、固体撮像素子１０２ａに入射する。固体撮像素子１０２ａの受光面には、フォトセンサが平面的に配列されており、該受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。こうして蓄積された信号電荷は、図示せぬドライバ回路から与えられるパルス信号に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、それぞれ撮像回路１０２ｂに加えられる。
【００３３】
撮像回路１０２ｂは、ゲイン調整回路を含み、得られた画像データは、それぞれ画像処理回路１０８及びハイパスフィルタ（ＨＰＦ）１２５へ送られる。画像処理回路１０８は、Ａ／Ｄ変換部１０８ａ、ホワイトバランス補正回路１０８ｂ、ガンマ補正回路１０８ｃ、ＹＣ処理回路１０８ｄ、輝度・色差信号生成回路、シャープネス補正回路、コントラスト補正回路、撮影画像に対する輪郭補正を含む画像処理を行う輪郭処理部、画像のノイズ低減処理を行うノイズ低減処理部等を含む画像処理手段であり、ＣＰＵ１１２からのコマンドに従って画像信号を処理する。
【００３４】
画像処理回路１０８に入力された画像データは、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｌ信号）に変換されるとともに、ガンマ補正等の所定の処理が施された後、ＶＲＡＭ１３２に格納される。
【００３５】
一方、画像処理回路１０８のＡ／Ｄ変換部１０８ａでデジタル信号に変換された画像データは、ハイパスフィルタ（ＨＰＦ）１２５でＧ画素成分のみ抽出される。そして、積算処理部１２６で抽出されたＧ画素成分に積算処理が施されてＣＰＵ１１２に送られる。ＣＰＵ１１２は、積算処理部１２６から送られた１画面分の６４分割の画像データの内、十字キー８１で任意に設定された被写体中心付近の４エリアの平均値を算出し、これをオートフォーカス（ＡＦ）評価値とする。ＡＦ評価値は、所定周期の経過毎に算出され、算出の度にメモリ１２７に更新記憶される。ＣＰＵ１１２は、ＡＦ評価値に従って被写体の合焦を判定する。その判断方法は任意であるが、例えばＡＦ評価値が極大点の近傍に略到達しているか否かを判断し、極大点に略達している場合は合焦していると判断し、その他の場合は合焦していないと判断する。あるいは、ＡＦ評価値が所定の閾値を超えていれば合焦していると判断することもできる。
【００３６】
撮影画像を表示部１１０にモニタ出力する場合、ＶＲＡＭ１３２からＹＣ信号が読み出され、ビデオエンコーダ１３４に送られる。ビデオエンコーダ１３４は、入力されたＹＣ信号を表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部１１０に出力する。表示部１１０の駆動はドライバ１１１を介して行われる。
【００３７】
所定のフレームレートで処理された各フレームのＹＣ信号は、ＶＲＡＭ１３２のＡ領域とＢ領域とに交互に書き込まれ、ＶＲＡＭ１３２のＡ領域及びＢ領域のうち、ＹＣ信号が書き込まれている方の領域以外の領域から、書き込まれているＹＣ信号が読み出される。このようにしてＶＲＡＭ１３２内のＹＣ信号が定期的に書き換えられ、そのＹＣ信号から生成される映像信号が表示部１１０に供給されることにより、撮像中の映像がリアルタイムに表示部１１０に表示される。ユーザは、表示部１１０に表示される映像（スルー）によって撮影画角を確認できる。
【００３８】
ここで、レリーズスイッチ２２が半押しされると、ＡＥ及びＡＦ処理が開始される。ＡＥ／ＡＦ処理が行われ、レリーズスイッチ２２が全押しされることによって記録用の撮影動作がスタートする。レリーズスイッチ２２の全押しに応動して取得された画像データは画像処理回路１０８において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、ＶＲＡＭ１３２に格納される。
【００３９】
ＶＲＡＭ１３２に格納されたＹ／Ｃ信号は、圧縮伸長処理回路１４４によって所定のフォーマットに従って圧縮された後、メディアコントローラ１４６を介して記録媒体４０にExif（Exchangeable Image File Format）ファイルとして記録される。画像はExifファイルのデータ部分に記録される。ＣＰＵ１１２は上記Exifファイルのヘッダ部分の所定のタグ（Imagedescriptionタグなど）に撮影日時情報などを記録する。記録された画像は、通信インターフェース７６を介して接続されたプリンタ２００に送信することもできる。プリンタ２００は、受信した画像をプリントする。
【００４０】
ＣＰＵ１１２には、キセノン管からなるストロボ１８の発光を制御するストロボ制御部１１５も接続されており、静止画撮影において、低照度であることが検出された場合や、ストロボボタンによって発光が指示された場合や、強制発光モードが設定された場合にタイミングジェネレータ１２０によって発生されたタイミング信号に同期したタイミングで短時間（例えば１秒以上の短時間）発光するようにストロボ１８を制御する。
【００４１】
モードダイヤル１５０によって動画撮影モードが設定されたときには、レリーズスイッチ２２の全押し操作に連動して動画記録動作がスタートし、もう一度レリーズスイッチ２２を押下すると動画記録動作が停止する。レリーズスイッチ２２を押下継続している期間、録画動作を行い、押下解除によって録画を停止するようにしてもよい。動画データは、例えばモーションＪＰＥＧ（ＭＰＥＧ）形式によって記録媒体４０に記録される。
【００４２】
モードダイヤル１５０により再生モードが選択されると、記録媒体４０に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸長処理回路１４４を介して非圧縮のＹＣ信号に伸長され、ＶＲＡＭ１３２に保存される。ＶＲＡＭ１３２に保存されたＹＣ信号は、ビデオエンコーダ１３４に加えられる。ビデオエンコーダ１３４は、入力するＹＣ信号からＮＴＳＣ方式のＲＧＢカラー複合映像信号を作成し、これを表示部１１０に出力する。これにより、表示部１１０には記録媒体４０に記録されている最終コマのコマ画像が表示される。
【００４３】
その後、十字キー８１の右キーが押されると、順方向にコマ送りされ、十字キー８１の左キーが押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルが記録媒体４０から読み出され、上記と同様にしてコマ画像が表示部１１０に再生される。尚、最終コマのコマ画像が表示されている状態で順方向にコマ送りされると、記録媒体４０に記録されている１コマ目の画像ファイルが読み出され、１コマ目のコマ画像が表示部１１０に再生される。
【００４４】
表示部１１０は、カメラ１０に内蔵されたＬＣＤ１１４、ファインダー又は映像出力端子等に接続された外部の表示装置に相当する。なお、ＣＰＵ１１２は、ＯＳＤ信号発生回路を含み、ＯＳＤ信号発生回路はシャッタ速度や絞り値、撮影可能枚数、撮影日時、警告指示等の文字及びアイコン等の記号を表示するための信号を発生させる。このＯＳＤ信号発生回路から出力される信号は、必要に応じて画像信号に混合されて、ＬＣＤ１１４に供給される。これにより、スルー画像や再生画像に文字やアイコン等が合成された合成画像が表示される。
【００４５】
記録媒体４０は、撮影で得た画像データを保持する手段であり、例えばスマートメディアと呼ばれるメモリカードが使用される。記録メディアの形態はこれに限定されず、ＰＣカード、コンパクトフラッシュ（登録商標）、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどでもよく、電子的、磁気的、もしくは光学的、又はこれらの組み合わせによる方式などに従って読み書き可能な媒体を用いることができる。異種・同種の記録メディアを問わず、複数の媒体を装着可能な構成にしてもよい。また、画像ファイルを保存する手段は、カメラ本体に着脱可能なリムーバブルメディアに限らず、カメラに内蔵された記録媒体（内蔵メモリ）であってもよい。
【００４６】
ＣＰＵ１１２は、カメラ１０の各回路を統括制御する制御回路であり、レリーズスイッチ２２、十字キー８１、電源スイッチ８２、モードダイヤル１５０、情報位置指定キー８３あるいは図示しないストロボボタン、ズームキー、メニュー／実行ボタンその他を含む操作部１１３から受信する信号に基づき、対応する回路の動作を制御するとともに、表示部１１０における表示制御、ストロボ発光制御、ＡＦ補助光の発光制御、オートフォーカス（ＡＦ）制御及び自動露出（ＡＥ）制御等を行う。
【００４７】
カメラ１０の電源が電源スイッチ８２でオンされる度に、カメラボディ内部に装着される電池からなる主要電源１６４から、デジタルカメラ１０の各回路に電源が供給される。
【００４８】
画像処理回路１０８からの画像データは、測光処理部１５７にも送られる。この測光処理部１５７は、外光の光量を測定する手段の一例である。測光処理部１５７は、入力される各画像データと、固体撮像素子１０２ａの電荷蓄積時間、すなわち電子シャッタのシャッタ秒時とに基づいて被写体輝度の測光値（ＥＶ値）を算出する測光値算出部により構成できる。これにより、固体撮像素子１０２ａの駆動が調節される。なお、電子シャッタのシャッタ秒時とともに絞り値を変化させてもよい。絞り値を変化させる場合には、絞り値を加味して被写体輝度に応じた測光値を算出する。このように、測光処理部１５７は、固体撮像素子１０２ａを受光センサとしてＴＴＬ（Through The Lens) 測光方式によって被写体の明るさ（被写体輝度）を検出する。測光処理部１５７は、フォトトランジスタで構成された測光センサであってもよく、測光が可能な手段であれば特に限定されない。
【００４９】
通信インターフェース７６は、プリンタ２００と接続可能であり、ＣＰＵ１１２からのコマンドに従い、プリントデータの送信を行う。
【００５０】
ＣＰＵ１１２には、スピーカ制御部８４を介してスピーカ８５が接続されている。スピーカ制御部８４は、ＣＰＵ１１２から送られた報知音データ（シャッタ音、警告音など）に基づき、スピーカ８５を駆動させることで、報知音を出力する。
【００５１】
なお、デジタルカメラ１０とは、要するに画像データを取得可能な機器であれば何でもよく、カメラ付き携帯電話、カメラ付きパソコン、デジタルビデオカメラ、デジタルスチルカメラなども含みうる。
【００５２】
図２はＣＰＵ１１２の実行するプログラムをブロック図で示している。ＣＰＵ１１２は、プログラムである顔抽出部１１２ａ、目領域検出部１１２ｂ、目開閉検出部１１２ｃ、評価値算出部１１２ｄ、睡眠判定部１１２ｅ、代表被写体選出部１１２ｆ、撮影制御部１１２ｇを実行する。顔抽出部１１２ａは、ＶＲＡＭ１３２に順次記憶されたスルー画像（処理フレーム）から人物の顔部分を含む領域である顔領域を抽出する。顔領域の抽出方法としては、例えば本出願人による特開平９−１０１５７９号公報「顔領域抽出方法及び複写条件決定方法」において開示された技術を適用することができる。この技術は、撮影した画像の各画素の色相が肌色の範囲に含まれるか否かを判定して肌色領域と非肌色領域とに分割すると共に、画像中のエッジを検出して画像中の各箇所をエッジ部分又は非エッジ部分に分類する。そして、肌色領域内に位置し非エッジ部分に分類された画素からなり、かつエッジ部分と判定された画素で囲まれた領域を顔候補領域として抽出し、抽出した顔候補領域が人物の顔に相当する領域かを判定し、この判定結果に基づき顔領域として抽出するものである。また、この他に、特開２００３−２０９６８３号公報や特開２００２−１９９２２１号公報に記載される方法で顔領域を抽出することもできる。
【００５３】
目領域検出部１１２ｂは、顔抽出部１１２ａが画像から抽出した顔領域から目の存在する目領域を検出する。目領域は顔検出の結果得られる顔概略中心位置の相対的位置関係から検出することができる。なお人以外の動物であっても顔領域および目領域が検出できるのであれば、被写体は人間に限る必要はない。
【００５４】
目開閉検出部１１２ｃは、目領域検出部１１２ｂによって検出された、両目に相当する２つの目領域内（身体上の理由で片目しか開閉しない場合は、１つの目領域内）の縦方向黒色画素数（露出している瞳のサイズ）をそれぞれ検出する。目領域における黒色画素数の検出の際には、予め目領域を２値化（白黒化）しておけば、情報量が減り、黒色画素数の検出が高速化する。あるいは、２値化画像の瞼のエッジ部分に基づいて瞼の位置情報を検出してもよい。
【００５５】
評価値算出部１１２ｄは、目開閉検出部１１２ｃの検出した２つ（あるいは１つ）の目領域の縦方向黒色画素数に基づき、両目（あるいは片目）が開いている程度を示す指標Ｘ（目つぶり評価値）を算出する。例えば、
Ｘ＝現在の処理フレームから検出された黒色画素数／所定時間（例えば１０秒間）の間に検出された黒色画素数の最大値
とする。
【００５６】
これは、黒色画素数の最大値を分母にすることで、各処理フレームの黒色画素数を正規化した値である。すなわち、Ｘは０と１の間で変動し、値が１に近づくほど目は開いた状態になり、値が０に近づくほど目は閉じた状態に近づく。
【００５７】
目開閉検出部１１２ｃは、目領域内の目が開いているか又は閉じているかを判断する。目の開閉の判断方法は特に黒目の２値化画像を用いたものに限定されず、例えば、瞼のエッジ部分の位置に応じて開閉を判断できる。瞼のエッジ部分が中央水平線よりも上側にあれば開状態、下側にあれば閉状態であるが、それ以外にも、処理フレーム間の目領域の差分情報から垂直方向の各位置の変動方向を把握し、この方向に応じて開状態から閉状態への遷移あるいはその逆の遷移が分かる。
【００５８】
あるいは、開状態および閉状態の目のサンプル画像をテンプレートとしてＥＥＰＲＯＭ１１９に記憶しておき、検出された目領域とテンプレートとを照合することで、開閉状態を判断してもよい。
【００５９】
睡眠判定部１１２ｅは、処理フレームの記憶順に沿って、評価値Ｘを時系列順にプロットし評価値をグラフ化する。そして、ＥＥＰＲＯＭ１１９に記憶された、あるいは計算によって求められた所定フレーム数ｎ（例えばｎ＝２６フレーム）における目の開閉頻度（まばたきの頻度）の有無を判断する。そして、所定フレーム数ｎでの目の開閉（まばたき）がない場合、睡眠状態であると判断する。
【００６０】
代表被写体選出部１１２ｆは、後述の第３実施形態で説明する代表画像選出サブルーチンを実施する。
【００６１】
撮影制御部１１２ｇは、睡眠判定部１１２ｅによる被写体の睡眠状態の判定結果に応じた内容の制御信号をストロボ制御部１１５やスピーカ制御部８４に出力する。
【００６２】
図３および図４は、メモリ１２７に記憶された、処理フレームの取得順に沿った評価値のグラフを示す。図３は、周期的に評価値が変動しており、定期的なまばたきのある状態（覚醒状態）にあることが分かる。すなわち、評価値の山がフレーム１−２付近、フレーム８−１６付近、フレーム２６付近で３度生じており、ここで目が開いていることが分かる。さらに、フレーム４−５付近およびフレーム１８−２１付近の、急激な評価値の山−谷−山の変動は、一連のまばたき動作のサイクルすなわち開状態から閉状態への移行および閉状態から開状態への移行を示している。評価値の瞬間的な上下変動（まばたき）がまばたきであるが、人のまばたきに要する時間は０．２秒程度と言われているから。よって、睡眠判定部１１２ｅは、山−谷−山の出現すべき時間の長さが０．２秒程度）よりも長い評価値の谷があれば、それはもはやまばたきの閉状態でなく、寝るために目が閉じていると判断する。
【００６３】
図４は、人のまばたきに要する時間の間評価値がほとんど変動しておらず、ほぼ目が閉じた状態（睡眠状態）にあることが分かる。この変動の度合いは、評価値の山と谷の大きさ、すなわち評価値の分散で把握することができる。分散が０に近づけば、それだけ、各評価値がそれらの平均値と近接していることになる。よって、睡眠判定部１１２ｅは、評価値の分散が所定の閾値（例えば０．１）よりも小さい場合は目が閉じた状態が継続しており、睡眠状態にあると判断する。
【００６４】
睡眠判定部１１２ｅは、睡眠判定に必要な所定フレーム数を計算によって求めることもできる。例えば、順次供給されるスルー画から、まばたきサイクルに要した時間（評価値の１つ目の急激な頂点−底−頂点の遷移に相当する総フレーム数）を算出し、それを睡眠判定のフレーム数とする。もっとも、人のまばたきサイクルの長さの個人差は大きくないのであれば、固定値でも問題ない。
【００６５】
あるいは、睡眠判定に必要な所定フレーム範囲は、上記時系列的な評価値群の変動状態に応じて決めてもよい。例えば、評価値の上限変動の大きさ（山と谷の落差）が時間経過につれてが徐々に低下していった場合、被写体が覚醒状態から睡眠状態へ遷移しつつあると判断し、所定フレーム数を徐々に増やし、被写体の睡眠状態をより正確に判断できるようにする。逆に、評価値の上限変動の大きさが時間経過につれて徐々に増加していった場合、被写体が睡眠状態から覚醒状態へ遷移しつつあると判断し、所定フレーム数を徐々に減らし、睡眠状態の判断を簡易にする。あるいは、評価値の上限変動がほとんどなく（分散がほぼ０）、熟睡状態にある場合も、フレーム数を徐々に減らし、睡眠状態の判断を簡易にする。
【００６６】
睡眠判定部１１２ｅは、ＥＥＰＲＯＭ１１９に記憶された、フレームレートおよびまばたき１回のサイクルに要する時間に相当するフレーム数を記述したフレーム数テーブルを参照し、現在のスルー画出力のフレームレートと上記算出したまばたきサイクルの時間とから、必要フレーム数ｎを特定する。
【００６７】
図５はフレーム数テーブルの一例を示す。例えば、まばたき１回に要する時間が２００ｍｓ（０．２秒）であり、現在のフレームレートが２５ｆｐｓであれば、睡眠判定に必要な所定フレーム数ｎは５０フレームである。あるいは、まばたき１回に要する時間が３００ｍ（０．３秒）であり、現在のフレームレートが２５ｆｐｓであれば、睡眠判定に必要な所定フレーム数ｎは７５フレームである。まばたきサイクルは操作部１１３を介して予め被写体ごとにＥＥＰＲＯＭ１１９に登録できてもよい。
【００６８】
無論、睡眠判定部１１２ｅは、睡眠中であるかそうでないかの二者択一状態を判断するにとどまらず、覚醒から睡眠への推移状態であること、あるいは睡眠から覚醒への遷移状態であることも判断できる。例えば、評価値が徐々に減少傾向にあれば、目がだんだん閉じつつあり覚醒から睡眠への推移状態であることが分かる。
【００６９】
図５は第１実施形態に係る撮像処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。
【００７０】
Ｓ１では、処理フレームの取得数を示すパラメータｉに初期値０を設定する。
【００７１】
Ｓ２では、スルー画の最新の１コマを処理フレームとして取得する。
【００７２】
Ｓ３では、処理フレームから顔検出を行う。上述のように顔検出の仕方は何でもよい。
【００７３】
Ｓ４では、検出された顔について、目開閉検出を行い、評価値を算出し、時系列順にプロットしていく。
【００７４】
Ｓ５では、ｉ≧ｎであるか否かを判断する。Ｙｅｓの場合はＳ６、Ｎｏの場合はＳ８に進む。
【００７５】
Ｓ６では、取得されたｎ個のフレームから得られた評価値のグラフに基づいて、被写体が睡眠状態にあるか否かを判断する。Ｙｅｓの場合はＳ７、Ｎｏの場合はＳ８に進む。
【００７６】
Ｓ７では、ストロボ１８の発光を禁止する指示をストロボ制御部１１５に出力する。なお、ユーザがあえて寝ている被写体にストロボを発光したい場合もあるから、操作部１１３から「強制発光」の設定があれば、これを無視せず受け付けてもよい。
【００７７】
Ｓ８では、ストロボ１８の発光をオートとする指示をストロボ制御部１１５に出力する。
【００７８】
Ｓ９では、レリーズスイッチ２２の半押しがあったか否かを判断する。Ｙｅｓの場合はＳ１２、Ｎｏの場合はＳ１０に進む。
【００７９】
Ｓ１０では、評価値をメモリ１２７に保存する。この評価値は、被写体の顔画像（あるいはその縮小画像）と対応づけれられて記憶されてもよい。
【００８０】
Ｓ１１では、ｉを増分１だけインクリメントし、Ｓ２に戻る。
【００８１】
Ｓ１２では、レリーズスイッチ２２の半押しに応じてＡＦ／ＡＥ処理を行い、全押しに応じて画像記録動作を行う。画像記録動作の際、ストロボ制御部１１５は、ストロボ１８の発光を禁止する指示が出力されている場合、ストロボ１８の発光を指示しない。一方、ストロボ１８の発光をオートとする指示が出力されている場合、低照度であることが検出されれば、これに応じてストロボ１８の発光を指示する。なお画像記録動作の結果取得された画像のメタデータに被写体が睡眠状態と判定された旨を書き込んでもよく、これをＣＰＵ１１２で認識して、寝ている被写体を集めた画像を分類することもできる。
【００８２】
以上の処理により、被写体が睡眠状態にあると判断されれば、ストロボの発光が禁止され、寝ている被写体にフラッシュを浴びせて起こすことがない。被写体が睡眠状態にないと判断されれば、通常どおりフラッシュを発光し、撮影画像の画質を高めることができる。
【００８３】
なお、被写体が覚醒状態から睡眠状態に移行していると判断された場合、ストロボ１８の発光照度を低減させる指示をＣＰＵ１１２から出力してもよい。逆に、被写体が睡眠状態から覚醒状態に移行していると判断された場合、ストロボ１８の発光照度を増加させる指示をＣＰＵ１１２から出力してもよい。
【００８４】
また、発光照度の制御の対象はストロボ１８に限らず、ＡＦ時に発光されるＡＦ補助光や撮影中であることを示すタリーランプでもよい。
【００８５】
＜第２実施形態＞
図７は第２実施形態に係る撮像処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。
【００８６】
Ｓ２１〜Ｓ２６は、それぞれ上記Ｓ１〜Ｓ６と同様である。
【００８７】
Ｓ２７では、シャッタ音の音量をミュート（消音）に設定するようスピーカ制御部８４に指令する。その他、操作部１１３への入力に応じたクリック音の音量をミュートに設定するようスピーカ制御部８４に指令してもよい。なお、完全な消音ではなくごく小さい音量レベルを指示してもよい。
【００８８】
Ｓ２８〜Ｓ３１は、Ｓ９〜Ｓ１１と同様である。
【００８９】
Ｓ３２では、レリーズスイッチ２２の半押しに応じてＡＦ／ＡＥ処理を行い、全押しに応じて画像記録動作を行う。画像記録動作の際、スピーカ制御部８４は、シャッタ音の音量をミュートに設定するよう指示されている場合、レリーズスイッチ２２の全押しが検知されてもシャッタ音の拡声をスピーカ８５に指示しない。一方、スピーカ制御部８４は、シャッタ音の音量をミュートに設定するよう指示されていない場合、レリーズスイッチ２２の全押しが検知されたことに応じてシャッタ音の拡声をスピーカ８５に指示する。
【００９０】
以上の処理により、被写体が睡眠状態にあると判断されれば、シャッタ音などの各種報知音の拡声が禁止され、寝ている被写体を報知音で起こすことがない。
【００９１】
なお、目開閉の頻度が徐々に少なくなっており、被写体が覚醒状態から睡眠状態に移行していると判断された場合、音量レベルを低減させる指示をＣＰＵ１１２から出力してもよい。逆に、目開閉のサイクルの頻度が徐々に多くなっており、被写体が睡眠状態から覚醒状態に移行していると判断された場合、音量レベルを増加させる指示をＣＰＵ１１２から出力してもよい。
【００９２】
＜第３実施形態＞
図８は第３実施形態に係る撮像処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。
【００９３】
Ｓ４０〜Ｓ４４は、Ｓ１〜４と同様である。
【００９４】
Ｓ４５では、検出された顔領域に基づいて代表被写体を選ぶ代表被写体選出サブルーチンを実行する。この処理は後述する。
【００９５】
Ｓ４６では、代表被写体選出サブルーチンによって選ばれた代表被写体について、取得されたｎ個のフレームから得られた評価値のグラフに基づいて、代表被写体が睡眠状態にあるか否かを判断する。Ｙｅｓの場合はＳ４７、Ｎｏの場合はＳ４９に進む。
【００９６】
Ｓ４７は、Ｓ２７と同様である。また、Ｓ４８〜Ｓ５３は、Ｓ７〜１２と同様である。
【００９７】
図９は代表被写体選出サブルーチンのフローチャートである。
【００９８】
Ｓ６１では、処理フレームから検出された１または複数の顔領域のうち、大きいものから順に顔領域をソートし、大きいものから若い整数の添え字ｊ＝０、１・・を付する。
【００９９】
Ｓ６２では、ｊ＝０とする。
【０１００】
Ｓ６３では、添え字の付与された顔領域ｊについて、当該顔領域が画角内の所定の代表被写体判定領域内に含まれているか否かを判断する。当該顔領域が代表被写体判定領域内に含まれている（Ｙｅｓ）の場合はＳ６５に進み、Ｎｏの場合はＳ６４に進む。
【０１０１】
Ｓ６４では、ｊを増分１だけインクリメントし、Ｓ６３に戻る。ただし、ｊの値が検出された顔の総数を超えた場合、すなわちどの顔ｊも代表被写体判定領域内に含まれていない場合は、Ｓ４６に進む。
【０１０２】
Ｓ６５では、顔領域ｊを代表被写体に選ぶ。なお、この方式だと代表被写体は１人だけ選出されることになるが、代表被写体判定領域内に含まれる所定の数Ｎに達するまで代表被写体を選出してもよい。例えば一緒に就寝中の幼い姉妹を撮るときは、Ｎ＝２とすればよい。Ｎは操作部１１３への入力操作で任意に設定できてもよい。
【０１０３】
例えば、図１０の処理フレームでは、画角外縁から水平方向および垂直方向に沿って所定の余白Ｘ＿ｍａｒｇｉｎおよびＹ＿ｍａｒｇｉｎだけ隔てられた４つの線分からなる矩形内部が代表被写体判定領域に設定されている。また、この処理フレームの画角領域内からは、顔領域Ｆ１と顔領域Ｆ２が検出されている。顔領域Ｆ１は顔領域Ｆ２よりも大きく、かつその全体が代表被写体判定領域内に含まれているが、顔領域Ｆ２の一部は代表被写体判定領域内からはみ出ている。よって、上記サブルーチンでは、顔領域Ｆ１が代表被写体に選出される。なお、代表被写体判定領域から一部だけはみ出ている顔領域が複数あった場合、その中で最も大きいものを代表被写体に選ぶ。
【０１０４】
以上の処理では、画角の中央付近にいる大きな被写体、すなわち撮影者が撮影対象と意図している代表被写体について睡眠状態の判定が行われるため、撮影を意図した被写体にフラッシュやシャッタ音を浴びせて寝ている被写体を起こさなくて済む。一方、代表被写体が睡眠状態でない場合は、他の被写体を撮影するのに必要なフラッシュやシャッタ音が禁止されずに済む。
【０１０５】
なお、フラッシュ発光照度や報知音のレベルと代表被写体のサイズとを連動させてもよい。例えば、代表被写体のサイズが撮影画角の５０％以上を占める場合はミュート、代表被写体のサイズが撮影画角の３０％以上５０％未満であれば報知音レベルを小、代表被写体のサイズが撮影画角の１５％以上３０％未満であれば報知音レベルを中とする音声制御信号を出力してもよい。
【０１０６】
＜第４実施形態＞
上記第１〜第３実施形態の処理の実施主体は全てＣＰＵ１１２であり、その処理内容はプログラムで記述されているが、当然ながらこれらの処理を実施する主体はそれぞれ別個のハードウェア（ワンチップマイコンなど）であっても構わない。
【０１０７】
図１１は、図６と同等の処理を実施可能なハードウェアブロック図である。ここでの顔抽出部１１２ａ、目領域検出部１１２ｂ、目開閉検出部１１２ｃ、評価値算出部１１２ｄ、睡眠判定部１１２ｅ、撮影制御部１１２ｇは、それぞれ別個のハードウェアを想定している。ただしこれらは一体化されたハードウェアであってもよい（図２参照）。また、この図に示すものと重複しない他のブロックは図１と同様であり、特に示していない。
【０１０８】
撮影制御部１１２ｇの制御に応じてＶＲＡＭ１３２に格納されたスルー画の１コマは、処理フレームとして顔抽出部１１２ａによって読み出される。顔抽出部１１２ａは、処理フレームから顔領域を検出し、検出した位置情報を目領域検出部１１２ｂに出力する。
【０１０９】
目領域検出部１１２ｂは、顔抽出部１１２ａから出力された顔領域の位置情報に基づき、第１実施形態と同様にして目領域を検出し、その目領域の位置情報を目開閉検出部１１２ｃに出力する。目開閉検出部１１２ｃは、目領域検出部１１２ｂから出力された顔領域の位置情報に基づき、第１実施形態と同様にして目の開閉の程度に関する情報を検出し、これを評価値算出部１１２ｄに出力する。
【０１１０】
評価値算出部１１２ｄは、目の開閉の程度に関する情報に基づいて評価値を算出し、これを時系列順にプロットしてグラフ化した情報をメモリ１２７に記憶する。
【０１１１】
睡眠判定部１１２ｅは、評価値のグラフに基づいて被写体の睡眠状態を判定し、その判定結果を撮影制御部１１２ｇに出力する。
【０１１２】
撮影制御部１１２ｇは、被写体の睡眠状態の判定結果に応じた内容の発光制御信号（ストロボ発光禁止指示あるいはオート発光指示）をストロボ制御部１１５に出力する。
【０１１３】
図１２は、図７と同等の処理を実施可能なハードウェアブロック図である。図６と同一の構成には同一の符号を付している。また、この図に示すものと重複しない他のブロックは図１と同様であり、特に示していない。
【０１１４】
撮影制御部１１２ｇは、被写体の睡眠状態の判定結果に応じた内容の音声制御信号（ミュート指示、あるいはシャッタ音その他の報知音データおよびその再生指示）をスピーカ制御部８４に出力する。
【０１１５】
図１３は、図８および図９と同等の処理を実施可能なハードウェアブロック図である。図６と同一の構成には同一の符号を付している。また、この図に示すものと重複しない他のブロックは図１と同様であり、特に示していない。
【０１１６】
顔抽出部１１２ａは、顔領域のサイズと位置情報を、代表被写体選出部１１２ｆに出力する。代表被写体選出部１１２ｆは、上述の代表被写体選出サブルーチンと同様にして、代表被写体を選び、その代表被写体の顔領域の位置情報を睡眠判定部１１２ｅに出力する。代表被写体のみの評価値を算出すれば足りるのであれば、目領域検出部１１２ｂに対しては、代表被写体の顔領域の位置情報を出力し、代表被写体以外の顔領域の位置情報は出力しないように顔抽出部１１２ａに指示してもよい。睡眠判定部１１２ｅは、代表被写体に対応する評価値のグラフに基づいて代表被写体の睡眠状態を判定し、その判定結果を撮影制御部１１２ｇに出力する。なお、代表被写体選出部１１２ｆは、代表被写体の顔領域の情報（代表被写体が複数であれば各々の情報）を評価値算出部１１２ｄに通知し、評価値算出部１１２ｄは、通知された代表被写体の顔領域についてのみ評価値を算出してグラフ化してもよい。
【０１１７】
撮影制御部１１２ｇは、被写体の睡眠状態の判定結果に応じた内容の発光制御信号（ストロボ発光禁止指示あるいはオート発光指示）をストロボ制御部１１５に出力する。
【０１１８】
撮影制御部１１２ｇは、被写体の睡眠状態の判定結果に応じた内容の発光制御信号、音声制御信号を、それぞれストロボ制御部１１５、スピーカ制御部８４に出力する。
【図面の簡単な説明】
【０１１９】
【図１】デジタルカメラの機能ブロック図
【図２】ＣＰＵの実行するプログラムのブロック図
【図３】まばたきのある（覚醒状態）被写体の評価値群を示す図
【図４】まばたきのない（睡眠状態）被写体の評価値群を示す図
【図５】フレーム数テーブルの一例を示す図
【図６】第１実施形態の撮影処理のフローチャート
【図７】第２実施形態の撮影処理のフローチャート
【図８】第３実施形態の撮影処理のフローチャート
【図９】第３実施形態の代表被写体選出サブルーチンのフローチャート
【図１０】代表被写体の一例を示す図
【図１１】第１実施形態の撮影処理に対応するハードウェアブロック図
【図１２】第２実施形態の撮影処理に対応するハードウェアブロック図
【図１３】第３実施形態の撮影処理に対応するハードウェアブロック図
【符号の説明】
【０１２０】
４０：記録媒体、１１０：表示部、１１２：ＣＰＵ、１１２ａ：顔抽出部、１１２ｂ：目領域検出部、１１２ｃ：目開閉検出部、１１２ｄ：評価値算出部、１１２ｅ：睡眠判定部、１１２ｆ：代表被写体選出部、１１２ｇ：撮影制御部
【技術分野】
【０００１】
本発明は、被写体の状態に応じて各種動作を制限する撮像装置に関する。
【背景技術】
【０００２】
特許文献１では、被写体のまばたきを検出し、撮影時にまばたきをしていると判断した場合は撮影者にその旨を知らせる。被写体のまばたきを検出し、撮影時にまばたきをしていると判断した場合、ストロボを発光させ被写体の注意を引き、その後再度ストロボを発光させて撮像を行う。
【０００３】
特許文献２では、スルー画から顔領域の検出を行うとともにフォーカス位置から被写体距離を求め、顔領域と被写体距離に基づいて被写体の顔サイズを求める。顔サイズが所定のサイズよりも小さい場合、被写体は子供と判断し、ストロボの発光輝度を子供撮影用に設定する。
【０００４】
特許文献３では、画像から人物の顔を抽出し、その人物の表示に応じてフラッシュ光の発光量を補正する。
【特許文献１】特開２００３−３３８９５２号公報
【特許文献２】特開２００７−２０８９２２号公報
【特許文献３】特開２００８−５０３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
撮影しようとしている被写体が睡眠中である場合、通常のオート撮影を行うと、フラッシュを発光してしまい、寝ている赤ん坊などの被写体を起こしてしまう場合がある。
【０００６】
特許文献１では、撮影者が寝ている赤ん坊などの被写体を撮影したい場合、撮影者の意図に反して警告が行われたり、ストロボが発光されたりするおそれがある。
【０００７】
特許文献２では、子供と判定されると、フラッシュを発光するか否かの判定基準となる輝度閾値が高輝度側へ移行するため、子供であるがゆえにフラッシュを全く発光しない場合がある。
【０００８】
特許文献３では、ある時点で得られた画像に基づいて表情判定をしただけでは、被写体がまばたきをしているのか寝ているのか区別がつかない。よって、寝ている被写体に強いフラッシュ光が発せられるおそれがある。
【０００９】
本発明の目的は、被写体の睡眠状態の有無およびその程度に応じて、被写体の睡眠の妨げとなる撮像装置の機能を制限することにある。
【課題を解決するための手段】
【００１０】
本発明に係る撮像装置は、撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力する撮像部と、被写体への発光を行う発光部と、撮像部の順次出力した画像データの各々に基づいて、各画像データにおける特定の被写体の目の開閉状態を検出する目開閉状態検出部と、目開閉状態検出部の検出した特定の被写体の目の開閉状態を示す評価値を算出する評価値算出部と、評価値算出部の算出した画像データの各々に対応する評価値を、画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶する記憶部と、記憶部に記憶された評価値時系列群に基づいて特定の被写体の睡眠状態を判定する睡眠判定部と、睡眠判定部の判定結果に応じて発光部の撮像時における被写体への発光を制限する撮像制御部と、を備える。
【００１１】
この発明によると、眠っている被写体を撮影する際にフラッシュを浴びせて起こす心配がなく、また、眠っていない被写体には通常どおりフラッシュを発光して撮影時の照度を調整し、画質を高めることができる。
【００１２】
本発明に係る撮像装置は、撮像部の順次出力した画像データの各々に基づいて、各画像データにおける特定の被写体の目の開閉状態を検出する目開閉状態検出部と、目開閉状態検出部の検出した特定の被写体の目の開閉状態を示す評価値を算出する評価値算出部と、評価値算出部の算出した画像データの各々に対応する評価値を、画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶する記憶部と、記憶部に記憶された評価値時系列群に基づいて特定の被写体の睡眠状態を判定する睡眠判定部と、睡眠判定部の判定結果に応じて発音部からの報知音の出力を制限する撮像制御部と、を備える。
【００１３】
この発明によると、眠っている被写体を撮影する際に報知音を浴びせて起こす心配がなく、また、眠っていない被写体の撮影時には通常どおり報知音を出力できる。
【００１４】
本発明に係る撮像装置は、撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力する撮像部と、被写体への発光を行う発光部と、報知音を出力する発音部と、撮像部の順次出力した画像データの各々における１または複数の被写体のうち特定の条件を満たす被写体である代表被写体を選出する代表被写体選出部と、各画像データにおける代表被写体の目の開閉状態を検出する目開閉状態検出部と、目開閉状態検出部の検出した代表被写体の目の開閉状態を示す評価値を算出する評価値算出部と、評価値算出部の算出した画像データの各々に対応する評価値を、画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶する記憶部と、記憶部に記憶された評価値時系列群に基づいて代表被写体の睡眠状態を判定する睡眠判定部と、睡眠判定部の判定結果に応じて、発光部の撮像時における発光および発音部からの報知音の出力のうち少なくとも一方を制限する撮像制御部と、を備える。
【００１５】
この発明によると、撮影者が撮影を意図した被写体が寝ている際にフラッシュや報知音を浴びせて起こす心配がなく、また、眠っていない被写体の撮影時には通常どおりフラッシュや報知音を出力できる。
【００１６】
好ましくは、代表被写体選出部は、１または複数の被写体のうち、画像データ中の所定の範囲内にあり、かつ／または、所定のサイズ以上である被写体を代表被写体に選出する。
【００１７】
好ましくは、撮像制御部は、操作音およびシャッタ音のうち少なくとも一方を含む報知音をミュートする。
【００１８】
好ましくは、撮像部の順次出力した画像データの各々から特定人物の顔部分を含む顔領域を検出する顔検出部と、顔検出部の検出した特定人物の顔領域の各々から目領域を検出する目領域検出部と、を備え、目開閉状態検出部は、目領域検出部の検出した各顔領域に対応する目領域に基づいて特定人物の目の開閉状態を検出する。
【００１９】
好ましくは、目開閉状態検出部は、目領域のエッジ情報、目領域の２値化データまたは各画像データの目領域間の差分情報に基づいて特定人物の目の開閉状態を検出する。
【００２０】
本発明に係る撮像方法は、撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力するステップと、順次出力した画像データの各々に基づいて、各画像データにおける特定の被写体の目の開閉状態を検出するステップと、検出した特定の被写体の目の開閉状態を示す評価値を算出するステップと、評価値算出部の算出した画像データの各々に対応する評価値を、画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶するステップと、記憶された評価値時系列群に基づいて特定の被写体の睡眠状態を判定するステップと、判定結果に応じて発光部の撮像時における被写体への発光を制限するステップと、を含む。
【００２１】
本発明に係る撮像方法は、撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力するステップと、順次出力した画像データの各々に基づいて、各画像データにおける特定の被写体の目の開閉状態を検出するステップと、検出した特定の被写体の目の開閉状態を示す評価値を算出するステップと、算出した画像データの各々に対応する評価値を、画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶するステップと、記憶された評価値時系列群に基づいて特定の被写体の睡眠状態を判定するステップと、判定結果に応じて発音部からの報知音の出力を制限するステップと、を含む。
【００２２】
本発明に係る撮像方法は、撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力するステップと、順次出力した画像データの各々における１または複数の被写体のうち特定の条件を満たす被写体である代表被写体を選出するステップと、各画像データにおける代表被写体の目の開閉状態を検出するステップと、検出した代表被写体の目の開閉状態を示す評価値を算出する評価値算出部と、評価値算出部の算出した画像データの各々に対応する評価値を、画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶するステップと、記憶された評価値時系列群に基づいて代表被写体の睡眠状態を判定するステップと、判定結果に応じて、発光部の撮像時における発光および発音部からの報知音の出力のうち少なくとも一方を制限するステップと、を含む。
【００２３】
好ましくは、１または複数の被写体のうち、画像データ中の所定の範囲内にあり、かつ／または、所定のサイズ以上である被写体を代表被写体に選出するステップを含む。
【００２４】
好ましくは、判定結果に応じて、操作音およびシャッタ音のうち少なくとも一方を含む報知音をミュートするステップを含む。
【００２５】
好ましくは、順次出力した画像データの各々から特定人物の顔部分を含む顔領域を検出するステップと、検出した特定人物の顔領域の各々から目領域を検出するステップと、目領域検出部の検出した各顔領域に対応する目領域に基づいて特定人物の目の開閉状態を検出するステップと、を含む。
【００２６】
好ましくは、目領域のエッジ情報、目領域の２値化データまたは各画像データの目領域間の差分情報に基づいて特定人物の目の開閉状態を検出するステップを含む。
【００２７】
上記の撮像方法をコンピュータに実行させるための撮像プログラムも本発明に含まれる。
【発明の効果】
【００２８】
この発明によると、眠っている被写体を撮影する際にフラッシュを浴びせて起こす心配がなく、また、眠っていない被写体には通常どおりフラッシュを発光して撮影時の照度を調整し、画質を高めることができる。
【００２９】
この発明によると、眠っている被写体を撮影する際に報知音を浴びせて起こす心配がなく、また、眠っていない被写体の撮影時には通常どおり報知音を出力できる。
【００３０】
この発明によると、撮影者が撮影を意図した被写体が寝ている際にフラッシュや報知音を浴びせて起こす心配がなく、また、眠っていない被写体の撮影時には通常どおりフラッシュや報知音を出力できる。
【発明を実施するための最良の形態】
【００３１】
＜第１実施形態＞
図１は本発明の好ましい実施形態に係るデジタルカメラ１０の機能ブロック図である。まず、同図のデジタルカメラ１０において、中央処理装置（ＣＰＵ）１１２は、レリーズスイッチ２２、モードダイヤル１５０等を含む操作部１１３の各種のボタンやキーからの入力に基づいてデジタルカメラ１０内の各回路を統括制御する。ＣＰＵ１１２の実行するプログラムはＥＥＰＲＯＭ１１９に記憶される。
【００３２】
いま、モードダイヤル１５０によって静止画撮影モードが設定されると、ＣＰＵ１１２は、撮像回路１０２ｂから順次得られるコマ画像（スルー画）を表示部１１０に表示させ、撮影画角を確認可能にする。即ち、撮像レンズ１４を通過した光は、固体撮像素子１０２ａに入射する。固体撮像素子１０２ａの受光面には、フォトセンサが平面的に配列されており、該受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。こうして蓄積された信号電荷は、図示せぬドライバ回路から与えられるパルス信号に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、それぞれ撮像回路１０２ｂに加えられる。
【００３３】
撮像回路１０２ｂは、ゲイン調整回路を含み、得られた画像データは、それぞれ画像処理回路１０８及びハイパスフィルタ（ＨＰＦ）１２５へ送られる。画像処理回路１０８は、Ａ／Ｄ変換部１０８ａ、ホワイトバランス補正回路１０８ｂ、ガンマ補正回路１０８ｃ、ＹＣ処理回路１０８ｄ、輝度・色差信号生成回路、シャープネス補正回路、コントラスト補正回路、撮影画像に対する輪郭補正を含む画像処理を行う輪郭処理部、画像のノイズ低減処理を行うノイズ低減処理部等を含む画像処理手段であり、ＣＰＵ１１２からのコマンドに従って画像信号を処理する。
【００３４】
画像処理回路１０８に入力された画像データは、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｌ信号）に変換されるとともに、ガンマ補正等の所定の処理が施された後、ＶＲＡＭ１３２に格納される。
【００３５】
一方、画像処理回路１０８のＡ／Ｄ変換部１０８ａでデジタル信号に変換された画像データは、ハイパスフィルタ（ＨＰＦ）１２５でＧ画素成分のみ抽出される。そして、積算処理部１２６で抽出されたＧ画素成分に積算処理が施されてＣＰＵ１１２に送られる。ＣＰＵ１１２は、積算処理部１２６から送られた１画面分の６４分割の画像データの内、十字キー８１で任意に設定された被写体中心付近の４エリアの平均値を算出し、これをオートフォーカス（ＡＦ）評価値とする。ＡＦ評価値は、所定周期の経過毎に算出され、算出の度にメモリ１２７に更新記憶される。ＣＰＵ１１２は、ＡＦ評価値に従って被写体の合焦を判定する。その判断方法は任意であるが、例えばＡＦ評価値が極大点の近傍に略到達しているか否かを判断し、極大点に略達している場合は合焦していると判断し、その他の場合は合焦していないと判断する。あるいは、ＡＦ評価値が所定の閾値を超えていれば合焦していると判断することもできる。
【００３６】
撮影画像を表示部１１０にモニタ出力する場合、ＶＲＡＭ１３２からＹＣ信号が読み出され、ビデオエンコーダ１３４に送られる。ビデオエンコーダ１３４は、入力されたＹＣ信号を表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部１１０に出力する。表示部１１０の駆動はドライバ１１１を介して行われる。
【００３７】
所定のフレームレートで処理された各フレームのＹＣ信号は、ＶＲＡＭ１３２のＡ領域とＢ領域とに交互に書き込まれ、ＶＲＡＭ１３２のＡ領域及びＢ領域のうち、ＹＣ信号が書き込まれている方の領域以外の領域から、書き込まれているＹＣ信号が読み出される。このようにしてＶＲＡＭ１３２内のＹＣ信号が定期的に書き換えられ、そのＹＣ信号から生成される映像信号が表示部１１０に供給されることにより、撮像中の映像がリアルタイムに表示部１１０に表示される。ユーザは、表示部１１０に表示される映像（スルー）によって撮影画角を確認できる。
【００３８】
ここで、レリーズスイッチ２２が半押しされると、ＡＥ及びＡＦ処理が開始される。ＡＥ／ＡＦ処理が行われ、レリーズスイッチ２２が全押しされることによって記録用の撮影動作がスタートする。レリーズスイッチ２２の全押しに応動して取得された画像データは画像処理回路１０８において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、ＶＲＡＭ１３２に格納される。
【００３９】
ＶＲＡＭ１３２に格納されたＹ／Ｃ信号は、圧縮伸長処理回路１４４によって所定のフォーマットに従って圧縮された後、メディアコントローラ１４６を介して記録媒体４０にExif（Exchangeable Image File Format）ファイルとして記録される。画像はExifファイルのデータ部分に記録される。ＣＰＵ１１２は上記Exifファイルのヘッダ部分の所定のタグ（Imagedescriptionタグなど）に撮影日時情報などを記録する。記録された画像は、通信インターフェース７６を介して接続されたプリンタ２００に送信することもできる。プリンタ２００は、受信した画像をプリントする。
【００４０】
ＣＰＵ１１２には、キセノン管からなるストロボ１８の発光を制御するストロボ制御部１１５も接続されており、静止画撮影において、低照度であることが検出された場合や、ストロボボタンによって発光が指示された場合や、強制発光モードが設定された場合にタイミングジェネレータ１２０によって発生されたタイミング信号に同期したタイミングで短時間（例えば１秒以上の短時間）発光するようにストロボ１８を制御する。
【００４１】
モードダイヤル１５０によって動画撮影モードが設定されたときには、レリーズスイッチ２２の全押し操作に連動して動画記録動作がスタートし、もう一度レリーズスイッチ２２を押下すると動画記録動作が停止する。レリーズスイッチ２２を押下継続している期間、録画動作を行い、押下解除によって録画を停止するようにしてもよい。動画データは、例えばモーションＪＰＥＧ（ＭＰＥＧ）形式によって記録媒体４０に記録される。
【００４２】
モードダイヤル１５０により再生モードが選択されると、記録媒体４０に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸長処理回路１４４を介して非圧縮のＹＣ信号に伸長され、ＶＲＡＭ１３２に保存される。ＶＲＡＭ１３２に保存されたＹＣ信号は、ビデオエンコーダ１３４に加えられる。ビデオエンコーダ１３４は、入力するＹＣ信号からＮＴＳＣ方式のＲＧＢカラー複合映像信号を作成し、これを表示部１１０に出力する。これにより、表示部１１０には記録媒体４０に記録されている最終コマのコマ画像が表示される。
【００４３】
その後、十字キー８１の右キーが押されると、順方向にコマ送りされ、十字キー８１の左キーが押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルが記録媒体４０から読み出され、上記と同様にしてコマ画像が表示部１１０に再生される。尚、最終コマのコマ画像が表示されている状態で順方向にコマ送りされると、記録媒体４０に記録されている１コマ目の画像ファイルが読み出され、１コマ目のコマ画像が表示部１１０に再生される。
【００４４】
表示部１１０は、カメラ１０に内蔵されたＬＣＤ１１４、ファインダー又は映像出力端子等に接続された外部の表示装置に相当する。なお、ＣＰＵ１１２は、ＯＳＤ信号発生回路を含み、ＯＳＤ信号発生回路はシャッタ速度や絞り値、撮影可能枚数、撮影日時、警告指示等の文字及びアイコン等の記号を表示するための信号を発生させる。このＯＳＤ信号発生回路から出力される信号は、必要に応じて画像信号に混合されて、ＬＣＤ１１４に供給される。これにより、スルー画像や再生画像に文字やアイコン等が合成された合成画像が表示される。
【００４５】
記録媒体４０は、撮影で得た画像データを保持する手段であり、例えばスマートメディアと呼ばれるメモリカードが使用される。記録メディアの形態はこれに限定されず、ＰＣカード、コンパクトフラッシュ（登録商標）、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどでもよく、電子的、磁気的、もしくは光学的、又はこれらの組み合わせによる方式などに従って読み書き可能な媒体を用いることができる。異種・同種の記録メディアを問わず、複数の媒体を装着可能な構成にしてもよい。また、画像ファイルを保存する手段は、カメラ本体に着脱可能なリムーバブルメディアに限らず、カメラに内蔵された記録媒体（内蔵メモリ）であってもよい。
【００４６】
ＣＰＵ１１２は、カメラ１０の各回路を統括制御する制御回路であり、レリーズスイッチ２２、十字キー８１、電源スイッチ８２、モードダイヤル１５０、情報位置指定キー８３あるいは図示しないストロボボタン、ズームキー、メニュー／実行ボタンその他を含む操作部１１３から受信する信号に基づき、対応する回路の動作を制御するとともに、表示部１１０における表示制御、ストロボ発光制御、ＡＦ補助光の発光制御、オートフォーカス（ＡＦ）制御及び自動露出（ＡＥ）制御等を行う。
【００４７】
カメラ１０の電源が電源スイッチ８２でオンされる度に、カメラボディ内部に装着される電池からなる主要電源１６４から、デジタルカメラ１０の各回路に電源が供給される。
【００４８】
画像処理回路１０８からの画像データは、測光処理部１５７にも送られる。この測光処理部１５７は、外光の光量を測定する手段の一例である。測光処理部１５７は、入力される各画像データと、固体撮像素子１０２ａの電荷蓄積時間、すなわち電子シャッタのシャッタ秒時とに基づいて被写体輝度の測光値（ＥＶ値）を算出する測光値算出部により構成できる。これにより、固体撮像素子１０２ａの駆動が調節される。なお、電子シャッタのシャッタ秒時とともに絞り値を変化させてもよい。絞り値を変化させる場合には、絞り値を加味して被写体輝度に応じた測光値を算出する。このように、測光処理部１５７は、固体撮像素子１０２ａを受光センサとしてＴＴＬ（Through The Lens) 測光方式によって被写体の明るさ（被写体輝度）を検出する。測光処理部１５７は、フォトトランジスタで構成された測光センサであってもよく、測光が可能な手段であれば特に限定されない。
【００４９】
通信インターフェース７６は、プリンタ２００と接続可能であり、ＣＰＵ１１２からのコマンドに従い、プリントデータの送信を行う。
【００５０】
ＣＰＵ１１２には、スピーカ制御部８４を介してスピーカ８５が接続されている。スピーカ制御部８４は、ＣＰＵ１１２から送られた報知音データ（シャッタ音、警告音など）に基づき、スピーカ８５を駆動させることで、報知音を出力する。
【００５１】
なお、デジタルカメラ１０とは、要するに画像データを取得可能な機器であれば何でもよく、カメラ付き携帯電話、カメラ付きパソコン、デジタルビデオカメラ、デジタルスチルカメラなども含みうる。
【００５２】
図２はＣＰＵ１１２の実行するプログラムをブロック図で示している。ＣＰＵ１１２は、プログラムである顔抽出部１１２ａ、目領域検出部１１２ｂ、目開閉検出部１１２ｃ、評価値算出部１１２ｄ、睡眠判定部１１２ｅ、代表被写体選出部１１２ｆ、撮影制御部１１２ｇを実行する。顔抽出部１１２ａは、ＶＲＡＭ１３２に順次記憶されたスルー画像（処理フレーム）から人物の顔部分を含む領域である顔領域を抽出する。顔領域の抽出方法としては、例えば本出願人による特開平９−１０１５７９号公報「顔領域抽出方法及び複写条件決定方法」において開示された技術を適用することができる。この技術は、撮影した画像の各画素の色相が肌色の範囲に含まれるか否かを判定して肌色領域と非肌色領域とに分割すると共に、画像中のエッジを検出して画像中の各箇所をエッジ部分又は非エッジ部分に分類する。そして、肌色領域内に位置し非エッジ部分に分類された画素からなり、かつエッジ部分と判定された画素で囲まれた領域を顔候補領域として抽出し、抽出した顔候補領域が人物の顔に相当する領域かを判定し、この判定結果に基づき顔領域として抽出するものである。また、この他に、特開２００３−２０９６８３号公報や特開２００２−１９９２２１号公報に記載される方法で顔領域を抽出することもできる。
【００５３】
目領域検出部１１２ｂは、顔抽出部１１２ａが画像から抽出した顔領域から目の存在する目領域を検出する。目領域は顔検出の結果得られる顔概略中心位置の相対的位置関係から検出することができる。なお人以外の動物であっても顔領域および目領域が検出できるのであれば、被写体は人間に限る必要はない。
【００５４】
目開閉検出部１１２ｃは、目領域検出部１１２ｂによって検出された、両目に相当する２つの目領域内（身体上の理由で片目しか開閉しない場合は、１つの目領域内）の縦方向黒色画素数（露出している瞳のサイズ）をそれぞれ検出する。目領域における黒色画素数の検出の際には、予め目領域を２値化（白黒化）しておけば、情報量が減り、黒色画素数の検出が高速化する。あるいは、２値化画像の瞼のエッジ部分に基づいて瞼の位置情報を検出してもよい。
【００５５】
評価値算出部１１２ｄは、目開閉検出部１１２ｃの検出した２つ（あるいは１つ）の目領域の縦方向黒色画素数に基づき、両目（あるいは片目）が開いている程度を示す指標Ｘ（目つぶり評価値）を算出する。例えば、
Ｘ＝現在の処理フレームから検出された黒色画素数／所定時間（例えば１０秒間）の間に検出された黒色画素数の最大値
とする。
【００５６】
これは、黒色画素数の最大値を分母にすることで、各処理フレームの黒色画素数を正規化した値である。すなわち、Ｘは０と１の間で変動し、値が１に近づくほど目は開いた状態になり、値が０に近づくほど目は閉じた状態に近づく。
【００５７】
目開閉検出部１１２ｃは、目領域内の目が開いているか又は閉じているかを判断する。目の開閉の判断方法は特に黒目の２値化画像を用いたものに限定されず、例えば、瞼のエッジ部分の位置に応じて開閉を判断できる。瞼のエッジ部分が中央水平線よりも上側にあれば開状態、下側にあれば閉状態であるが、それ以外にも、処理フレーム間の目領域の差分情報から垂直方向の各位置の変動方向を把握し、この方向に応じて開状態から閉状態への遷移あるいはその逆の遷移が分かる。
【００５８】
あるいは、開状態および閉状態の目のサンプル画像をテンプレートとしてＥＥＰＲＯＭ１１９に記憶しておき、検出された目領域とテンプレートとを照合することで、開閉状態を判断してもよい。
【００５９】
睡眠判定部１１２ｅは、処理フレームの記憶順に沿って、評価値Ｘを時系列順にプロットし評価値をグラフ化する。そして、ＥＥＰＲＯＭ１１９に記憶された、あるいは計算によって求められた所定フレーム数ｎ（例えばｎ＝２６フレーム）における目の開閉頻度（まばたきの頻度）の有無を判断する。そして、所定フレーム数ｎでの目の開閉（まばたき）がない場合、睡眠状態であると判断する。
【００６０】
代表被写体選出部１１２ｆは、後述の第３実施形態で説明する代表画像選出サブルーチンを実施する。
【００６１】
撮影制御部１１２ｇは、睡眠判定部１１２ｅによる被写体の睡眠状態の判定結果に応じた内容の制御信号をストロボ制御部１１５やスピーカ制御部８４に出力する。
【００６２】
図３および図４は、メモリ１２７に記憶された、処理フレームの取得順に沿った評価値のグラフを示す。図３は、周期的に評価値が変動しており、定期的なまばたきのある状態（覚醒状態）にあることが分かる。すなわち、評価値の山がフレーム１−２付近、フレーム８−１６付近、フレーム２６付近で３度生じており、ここで目が開いていることが分かる。さらに、フレーム４−５付近およびフレーム１８−２１付近の、急激な評価値の山−谷−山の変動は、一連のまばたき動作のサイクルすなわち開状態から閉状態への移行および閉状態から開状態への移行を示している。評価値の瞬間的な上下変動（まばたき）がまばたきであるが、人のまばたきに要する時間は０．２秒程度と言われているから。よって、睡眠判定部１１２ｅは、山−谷−山の出現すべき時間の長さが０．２秒程度）よりも長い評価値の谷があれば、それはもはやまばたきの閉状態でなく、寝るために目が閉じていると判断する。
【００６３】
図４は、人のまばたきに要する時間の間評価値がほとんど変動しておらず、ほぼ目が閉じた状態（睡眠状態）にあることが分かる。この変動の度合いは、評価値の山と谷の大きさ、すなわち評価値の分散で把握することができる。分散が０に近づけば、それだけ、各評価値がそれらの平均値と近接していることになる。よって、睡眠判定部１１２ｅは、評価値の分散が所定の閾値（例えば０．１）よりも小さい場合は目が閉じた状態が継続しており、睡眠状態にあると判断する。
【００６４】
睡眠判定部１１２ｅは、睡眠判定に必要な所定フレーム数を計算によって求めることもできる。例えば、順次供給されるスルー画から、まばたきサイクルに要した時間（評価値の１つ目の急激な頂点−底−頂点の遷移に相当する総フレーム数）を算出し、それを睡眠判定のフレーム数とする。もっとも、人のまばたきサイクルの長さの個人差は大きくないのであれば、固定値でも問題ない。
【００６５】
あるいは、睡眠判定に必要な所定フレーム範囲は、上記時系列的な評価値群の変動状態に応じて決めてもよい。例えば、評価値の上限変動の大きさ（山と谷の落差）が時間経過につれてが徐々に低下していった場合、被写体が覚醒状態から睡眠状態へ遷移しつつあると判断し、所定フレーム数を徐々に増やし、被写体の睡眠状態をより正確に判断できるようにする。逆に、評価値の上限変動の大きさが時間経過につれて徐々に増加していった場合、被写体が睡眠状態から覚醒状態へ遷移しつつあると判断し、所定フレーム数を徐々に減らし、睡眠状態の判断を簡易にする。あるいは、評価値の上限変動がほとんどなく（分散がほぼ０）、熟睡状態にある場合も、フレーム数を徐々に減らし、睡眠状態の判断を簡易にする。
【００６６】
睡眠判定部１１２ｅは、ＥＥＰＲＯＭ１１９に記憶された、フレームレートおよびまばたき１回のサイクルに要する時間に相当するフレーム数を記述したフレーム数テーブルを参照し、現在のスルー画出力のフレームレートと上記算出したまばたきサイクルの時間とから、必要フレーム数ｎを特定する。
【００６７】
図５はフレーム数テーブルの一例を示す。例えば、まばたき１回に要する時間が２００ｍｓ（０．２秒）であり、現在のフレームレートが２５ｆｐｓであれば、睡眠判定に必要な所定フレーム数ｎは５０フレームである。あるいは、まばたき１回に要する時間が３００ｍ（０．３秒）であり、現在のフレームレートが２５ｆｐｓであれば、睡眠判定に必要な所定フレーム数ｎは７５フレームである。まばたきサイクルは操作部１１３を介して予め被写体ごとにＥＥＰＲＯＭ１１９に登録できてもよい。
【００６８】
無論、睡眠判定部１１２ｅは、睡眠中であるかそうでないかの二者択一状態を判断するにとどまらず、覚醒から睡眠への推移状態であること、あるいは睡眠から覚醒への遷移状態であることも判断できる。例えば、評価値が徐々に減少傾向にあれば、目がだんだん閉じつつあり覚醒から睡眠への推移状態であることが分かる。
【００６９】
図５は第１実施形態に係る撮像処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。
【００７０】
Ｓ１では、処理フレームの取得数を示すパラメータｉに初期値０を設定する。
【００７１】
Ｓ２では、スルー画の最新の１コマを処理フレームとして取得する。
【００７２】
Ｓ３では、処理フレームから顔検出を行う。上述のように顔検出の仕方は何でもよい。
【００７３】
Ｓ４では、検出された顔について、目開閉検出を行い、評価値を算出し、時系列順にプロットしていく。
【００７４】
Ｓ５では、ｉ≧ｎであるか否かを判断する。Ｙｅｓの場合はＳ６、Ｎｏの場合はＳ８に進む。
【００７５】
Ｓ６では、取得されたｎ個のフレームから得られた評価値のグラフに基づいて、被写体が睡眠状態にあるか否かを判断する。Ｙｅｓの場合はＳ７、Ｎｏの場合はＳ８に進む。
【００７６】
Ｓ７では、ストロボ１８の発光を禁止する指示をストロボ制御部１１５に出力する。なお、ユーザがあえて寝ている被写体にストロボを発光したい場合もあるから、操作部１１３から「強制発光」の設定があれば、これを無視せず受け付けてもよい。
【００７７】
Ｓ８では、ストロボ１８の発光をオートとする指示をストロボ制御部１１５に出力する。
【００７８】
Ｓ９では、レリーズスイッチ２２の半押しがあったか否かを判断する。Ｙｅｓの場合はＳ１２、Ｎｏの場合はＳ１０に進む。
【００７９】
Ｓ１０では、評価値をメモリ１２７に保存する。この評価値は、被写体の顔画像（あるいはその縮小画像）と対応づけれられて記憶されてもよい。
【００８０】
Ｓ１１では、ｉを増分１だけインクリメントし、Ｓ２に戻る。
【００８１】
Ｓ１２では、レリーズスイッチ２２の半押しに応じてＡＦ／ＡＥ処理を行い、全押しに応じて画像記録動作を行う。画像記録動作の際、ストロボ制御部１１５は、ストロボ１８の発光を禁止する指示が出力されている場合、ストロボ１８の発光を指示しない。一方、ストロボ１８の発光をオートとする指示が出力されている場合、低照度であることが検出されれば、これに応じてストロボ１８の発光を指示する。なお画像記録動作の結果取得された画像のメタデータに被写体が睡眠状態と判定された旨を書き込んでもよく、これをＣＰＵ１１２で認識して、寝ている被写体を集めた画像を分類することもできる。
【００８２】
以上の処理により、被写体が睡眠状態にあると判断されれば、ストロボの発光が禁止され、寝ている被写体にフラッシュを浴びせて起こすことがない。被写体が睡眠状態にないと判断されれば、通常どおりフラッシュを発光し、撮影画像の画質を高めることができる。
【００８３】
なお、被写体が覚醒状態から睡眠状態に移行していると判断された場合、ストロボ１８の発光照度を低減させる指示をＣＰＵ１１２から出力してもよい。逆に、被写体が睡眠状態から覚醒状態に移行していると判断された場合、ストロボ１８の発光照度を増加させる指示をＣＰＵ１１２から出力してもよい。
【００８４】
また、発光照度の制御の対象はストロボ１８に限らず、ＡＦ時に発光されるＡＦ補助光や撮影中であることを示すタリーランプでもよい。
【００８５】
＜第２実施形態＞
図７は第２実施形態に係る撮像処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。
【００８６】
Ｓ２１〜Ｓ２６は、それぞれ上記Ｓ１〜Ｓ６と同様である。
【００８７】
Ｓ２７では、シャッタ音の音量をミュート（消音）に設定するようスピーカ制御部８４に指令する。その他、操作部１１３への入力に応じたクリック音の音量をミュートに設定するようスピーカ制御部８４に指令してもよい。なお、完全な消音ではなくごく小さい音量レベルを指示してもよい。
【００８８】
Ｓ２８〜Ｓ３１は、Ｓ９〜Ｓ１１と同様である。
【００８９】
Ｓ３２では、レリーズスイッチ２２の半押しに応じてＡＦ／ＡＥ処理を行い、全押しに応じて画像記録動作を行う。画像記録動作の際、スピーカ制御部８４は、シャッタ音の音量をミュートに設定するよう指示されている場合、レリーズスイッチ２２の全押しが検知されてもシャッタ音の拡声をスピーカ８５に指示しない。一方、スピーカ制御部８４は、シャッタ音の音量をミュートに設定するよう指示されていない場合、レリーズスイッチ２２の全押しが検知されたことに応じてシャッタ音の拡声をスピーカ８５に指示する。
【００９０】
以上の処理により、被写体が睡眠状態にあると判断されれば、シャッタ音などの各種報知音の拡声が禁止され、寝ている被写体を報知音で起こすことがない。
【００９１】
なお、目開閉の頻度が徐々に少なくなっており、被写体が覚醒状態から睡眠状態に移行していると判断された場合、音量レベルを低減させる指示をＣＰＵ１１２から出力してもよい。逆に、目開閉のサイクルの頻度が徐々に多くなっており、被写体が睡眠状態から覚醒状態に移行していると判断された場合、音量レベルを増加させる指示をＣＰＵ１１２から出力してもよい。
【００９２】
＜第３実施形態＞
図８は第３実施形態に係る撮像処理のフローチャートである。この処理をＣＰＵ１１２に指令させるプログラムはＥＥＰＲＯＭ１１９に記憶されている。
【００９３】
Ｓ４０〜Ｓ４４は、Ｓ１〜４と同様である。
【００９４】
Ｓ４５では、検出された顔領域に基づいて代表被写体を選ぶ代表被写体選出サブルーチンを実行する。この処理は後述する。
【００９５】
Ｓ４６では、代表被写体選出サブルーチンによって選ばれた代表被写体について、取得されたｎ個のフレームから得られた評価値のグラフに基づいて、代表被写体が睡眠状態にあるか否かを判断する。Ｙｅｓの場合はＳ４７、Ｎｏの場合はＳ４９に進む。
【００９６】
Ｓ４７は、Ｓ２７と同様である。また、Ｓ４８〜Ｓ５３は、Ｓ７〜１２と同様である。
【００９７】
図９は代表被写体選出サブルーチンのフローチャートである。
【００９８】
Ｓ６１では、処理フレームから検出された１または複数の顔領域のうち、大きいものから順に顔領域をソートし、大きいものから若い整数の添え字ｊ＝０、１・・を付する。
【００９９】
Ｓ６２では、ｊ＝０とする。
【０１００】
Ｓ６３では、添え字の付与された顔領域ｊについて、当該顔領域が画角内の所定の代表被写体判定領域内に含まれているか否かを判断する。当該顔領域が代表被写体判定領域内に含まれている（Ｙｅｓ）の場合はＳ６５に進み、Ｎｏの場合はＳ６４に進む。
【０１０１】
Ｓ６４では、ｊを増分１だけインクリメントし、Ｓ６３に戻る。ただし、ｊの値が検出された顔の総数を超えた場合、すなわちどの顔ｊも代表被写体判定領域内に含まれていない場合は、Ｓ４６に進む。
【０１０２】
Ｓ６５では、顔領域ｊを代表被写体に選ぶ。なお、この方式だと代表被写体は１人だけ選出されることになるが、代表被写体判定領域内に含まれる所定の数Ｎに達するまで代表被写体を選出してもよい。例えば一緒に就寝中の幼い姉妹を撮るときは、Ｎ＝２とすればよい。Ｎは操作部１１３への入力操作で任意に設定できてもよい。
【０１０３】
例えば、図１０の処理フレームでは、画角外縁から水平方向および垂直方向に沿って所定の余白Ｘ＿ｍａｒｇｉｎおよびＹ＿ｍａｒｇｉｎだけ隔てられた４つの線分からなる矩形内部が代表被写体判定領域に設定されている。また、この処理フレームの画角領域内からは、顔領域Ｆ１と顔領域Ｆ２が検出されている。顔領域Ｆ１は顔領域Ｆ２よりも大きく、かつその全体が代表被写体判定領域内に含まれているが、顔領域Ｆ２の一部は代表被写体判定領域内からはみ出ている。よって、上記サブルーチンでは、顔領域Ｆ１が代表被写体に選出される。なお、代表被写体判定領域から一部だけはみ出ている顔領域が複数あった場合、その中で最も大きいものを代表被写体に選ぶ。
【０１０４】
以上の処理では、画角の中央付近にいる大きな被写体、すなわち撮影者が撮影対象と意図している代表被写体について睡眠状態の判定が行われるため、撮影を意図した被写体にフラッシュやシャッタ音を浴びせて寝ている被写体を起こさなくて済む。一方、代表被写体が睡眠状態でない場合は、他の被写体を撮影するのに必要なフラッシュやシャッタ音が禁止されずに済む。
【０１０５】
なお、フラッシュ発光照度や報知音のレベルと代表被写体のサイズとを連動させてもよい。例えば、代表被写体のサイズが撮影画角の５０％以上を占める場合はミュート、代表被写体のサイズが撮影画角の３０％以上５０％未満であれば報知音レベルを小、代表被写体のサイズが撮影画角の１５％以上３０％未満であれば報知音レベルを中とする音声制御信号を出力してもよい。
【０１０６】
＜第４実施形態＞
上記第１〜第３実施形態の処理の実施主体は全てＣＰＵ１１２であり、その処理内容はプログラムで記述されているが、当然ながらこれらの処理を実施する主体はそれぞれ別個のハードウェア（ワンチップマイコンなど）であっても構わない。
【０１０７】
図１１は、図６と同等の処理を実施可能なハードウェアブロック図である。ここでの顔抽出部１１２ａ、目領域検出部１１２ｂ、目開閉検出部１１２ｃ、評価値算出部１１２ｄ、睡眠判定部１１２ｅ、撮影制御部１１２ｇは、それぞれ別個のハードウェアを想定している。ただしこれらは一体化されたハードウェアであってもよい（図２参照）。また、この図に示すものと重複しない他のブロックは図１と同様であり、特に示していない。
【０１０８】
撮影制御部１１２ｇの制御に応じてＶＲＡＭ１３２に格納されたスルー画の１コマは、処理フレームとして顔抽出部１１２ａによって読み出される。顔抽出部１１２ａは、処理フレームから顔領域を検出し、検出した位置情報を目領域検出部１１２ｂに出力する。
【０１０９】
目領域検出部１１２ｂは、顔抽出部１１２ａから出力された顔領域の位置情報に基づき、第１実施形態と同様にして目領域を検出し、その目領域の位置情報を目開閉検出部１１２ｃに出力する。目開閉検出部１１２ｃは、目領域検出部１１２ｂから出力された顔領域の位置情報に基づき、第１実施形態と同様にして目の開閉の程度に関する情報を検出し、これを評価値算出部１１２ｄに出力する。
【０１１０】
評価値算出部１１２ｄは、目の開閉の程度に関する情報に基づいて評価値を算出し、これを時系列順にプロットしてグラフ化した情報をメモリ１２７に記憶する。
【０１１１】
睡眠判定部１１２ｅは、評価値のグラフに基づいて被写体の睡眠状態を判定し、その判定結果を撮影制御部１１２ｇに出力する。
【０１１２】
撮影制御部１１２ｇは、被写体の睡眠状態の判定結果に応じた内容の発光制御信号（ストロボ発光禁止指示あるいはオート発光指示）をストロボ制御部１１５に出力する。
【０１１３】
図１２は、図７と同等の処理を実施可能なハードウェアブロック図である。図６と同一の構成には同一の符号を付している。また、この図に示すものと重複しない他のブロックは図１と同様であり、特に示していない。
【０１１４】
撮影制御部１１２ｇは、被写体の睡眠状態の判定結果に応じた内容の音声制御信号（ミュート指示、あるいはシャッタ音その他の報知音データおよびその再生指示）をスピーカ制御部８４に出力する。
【０１１５】
図１３は、図８および図９と同等の処理を実施可能なハードウェアブロック図である。図６と同一の構成には同一の符号を付している。また、この図に示すものと重複しない他のブロックは図１と同様であり、特に示していない。
【０１１６】
顔抽出部１１２ａは、顔領域のサイズと位置情報を、代表被写体選出部１１２ｆに出力する。代表被写体選出部１１２ｆは、上述の代表被写体選出サブルーチンと同様にして、代表被写体を選び、その代表被写体の顔領域の位置情報を睡眠判定部１１２ｅに出力する。代表被写体のみの評価値を算出すれば足りるのであれば、目領域検出部１１２ｂに対しては、代表被写体の顔領域の位置情報を出力し、代表被写体以外の顔領域の位置情報は出力しないように顔抽出部１１２ａに指示してもよい。睡眠判定部１１２ｅは、代表被写体に対応する評価値のグラフに基づいて代表被写体の睡眠状態を判定し、その判定結果を撮影制御部１１２ｇに出力する。なお、代表被写体選出部１１２ｆは、代表被写体の顔領域の情報（代表被写体が複数であれば各々の情報）を評価値算出部１１２ｄに通知し、評価値算出部１１２ｄは、通知された代表被写体の顔領域についてのみ評価値を算出してグラフ化してもよい。
【０１１７】
撮影制御部１１２ｇは、被写体の睡眠状態の判定結果に応じた内容の発光制御信号（ストロボ発光禁止指示あるいはオート発光指示）をストロボ制御部１１５に出力する。
【０１１８】
撮影制御部１１２ｇは、被写体の睡眠状態の判定結果に応じた内容の発光制御信号、音声制御信号を、それぞれストロボ制御部１１５、スピーカ制御部８４に出力する。
【図面の簡単な説明】
【０１１９】
【図１】デジタルカメラの機能ブロック図
【図２】ＣＰＵの実行するプログラムのブロック図
【図３】まばたきのある（覚醒状態）被写体の評価値群を示す図
【図４】まばたきのない（睡眠状態）被写体の評価値群を示す図
【図５】フレーム数テーブルの一例を示す図
【図６】第１実施形態の撮影処理のフローチャート
【図７】第２実施形態の撮影処理のフローチャート
【図８】第３実施形態の撮影処理のフローチャート
【図９】第３実施形態の代表被写体選出サブルーチンのフローチャート
【図１０】代表被写体の一例を示す図
【図１１】第１実施形態の撮影処理に対応するハードウェアブロック図
【図１２】第２実施形態の撮影処理に対応するハードウェアブロック図
【図１３】第３実施形態の撮影処理に対応するハードウェアブロック図
【符号の説明】
【０１２０】
４０：記録媒体、１１０：表示部、１１２：ＣＰＵ、１１２ａ：顔抽出部、１１２ｂ：目領域検出部、１１２ｃ：目開閉検出部、１１２ｄ：評価値算出部、１１２ｅ：睡眠判定部、１１２ｆ：代表被写体選出部、１１２ｇ：撮影制御部
【特許請求の範囲】
【請求項１】
撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力する撮像部と、
被写体への発光を行う発光部と、
前記撮像部の順次出力した画像データの各々に基づいて、各画像データにおける特定の被写体の目の開閉状態を検出する目開閉状態検出部と、
前記目開閉状態検出部の検出した前記特定の被写体の目の開閉状態を示す評価値を算出する評価値算出部と、
前記評価値算出部の算出した画像データの各々に対応する評価値を、前記画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶する記憶部と、
前記記憶部に記憶された評価値時系列群に基づいて前記特定の被写体の睡眠状態を判定する睡眠判定部と、
前記睡眠判定部の判定結果に応じて前記発光部の撮像時における被写体への発光を制限する撮像制御部と、
を備える撮像装置。
【請求項２】
撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力する撮像部と、
報知音を出力する発音部と、
前記撮像部の順次出力した画像データの各々に基づいて、各画像データにおける特定の被写体の目の開閉状態を検出する目開閉状態検出部と、
前記目開閉状態検出部の検出した前記特定の被写体の目の開閉状態を示す評価値を算出する評価値算出部と、
前記評価値算出部の算出した画像データの各々に対応する評価値を、前記画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶する記憶部と、
前記記憶部に記憶された評価値時系列群に基づいて前記特定の被写体の睡眠状態を判定する睡眠判定部と、
前記睡眠判定部の判定結果に応じて前記発音部からの報知音の出力を制限する撮像制御部と、
を備える撮像装置。
【請求項３】
撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力する撮像部と、
被写体への発光を行う発光部と、
報知音を出力する発音部と、
前記撮像部の順次出力した画像データの各々における１または複数の被写体のうち特定の条件を満たす被写体である代表被写体を選出する代表被写体選出部と、
各画像データにおける前記代表被写体の目の開閉状態を検出する目開閉状態検出部と、
前記目開閉状態検出部の検出した前記代表被写体の目の開閉状態を示す評価値を算出する評価値算出部と、
前記評価値算出部の算出した画像データの各々に対応する評価値を、前記画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶する記憶部と、
前記記憶部に記憶された評価値時系列群に基づいて前記代表被写体の睡眠状態を判定する睡眠判定部と、
前記睡眠判定部の判定結果に応じて、前記発光部の撮像時における発光および前記発音部からの報知音の出力のうち少なくとも一方を制限する撮像制御部と、
を備える撮像装置。
【請求項４】
前記代表被写体選出部は、前記１または複数の被写体のうち、前記画像データ中の所定の範囲内にあり、かつ／または、所定のサイズ以上である被写体を代表被写体に選出する請求項３に記載の撮像装置。
【請求項５】
前記撮像制御部は、操作音およびシャッター音のうち少なくとも一方を含む報知音をミュートする請求項２〜４のいずれかに記載の撮像装置。
【請求項６】
前記撮像部の順次出力した画像データの各々から特定人物の顔部分を含む顔領域を検出する顔検出部と、
前記顔検出部の検出した特定人物の顔領域の各々から目領域を検出する目領域検出部と、
を備え、
前記目開閉状態検出部は、前記目領域検出部の検出した各顔領域に対応する目領域に基づいて前記特定人物の目の開閉状態を検出する請求項１〜５のいずれかに記載の撮像装置。
【請求項７】
前記目開閉状態検出部は、目領域のエッジ情報、前記目領域の２値化データまたは各画像データの目領域間の差分情報に基づいて前記特定人物の目の開閉状態を検出する請求項６に記載の撮像装置。
【請求項８】
撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力するステップと、
前記順次出力した画像データの各々に基づいて、各画像データにおける特定の被写体の目の開閉状態を検出するステップと、
前記検出した前記特定の被写体の目の開閉状態を示す評価値を算出するステップと、
前記評価値算出部の算出した画像データの各々に対応する評価値を、前記画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶するステップと、
前記記憶された評価値時系列群に基づいて前記特定の被写体の睡眠状態を判定するステップと、
前記判定結果に応じて前記発光部の撮像時における被写体への発光を制限するステップと、
を含む撮像方法。
【請求項９】
撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力するステップと、
前記順次出力した画像データの各々に基づいて、各画像データにおける特定の被写体の目の開閉状態を検出するステップと、
前記検出した前記特定の被写体の目の開閉状態を示す評価値を算出するステップと、
前記算出した画像データの各々に対応する評価値を、前記画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶するステップと、
前記記憶された評価値時系列群に基づいて前記特定の被写体の睡眠状態を判定するステップと、
前記判定結果に応じて前記発音部からの報知音の出力を制限するステップと、
を含む撮像方法。
【請求項１０】
撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力するステップと、
前記順次出力した画像データの各々における１または複数の被写体のうち特定の条件を満たす被写体である代表被写体を選出するステップと、
各画像データにおける前記代表被写体の目の開閉状態を検出するステップと、
前記検出した前記代表被写体の目の開閉状態を示す評価値を算出する評価値算出部と、
前記評価値算出部の算出した画像データの各々に対応する評価値を、前記画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶するステップと、
前記記憶された評価値時系列群に基づいて前記代表被写体の睡眠状態を判定するステップと、
前記判定結果に応じて、前記発光部の撮像時における発光および前記発音部からの報知音の出力のうち少なくとも一方を制限するステップと、
を含む撮像方法。
【請求項１１】
前記１または複数の被写体のうち、前記画像データ中の所定の範囲内にあり、かつ／または、所定のサイズ以上である被写体を代表被写体に選出するステップを含む請求項１０に記載の撮像方法。
【請求項１２】
前記判定結果に応じて、操作音およびシャッター音のうち少なくとも一方を含む報知音をミュートするステップを含む請求項９〜１１のいずれかに記載の撮像方法。
【請求項１３】
前記順次出力した画像データの各々から特定人物の顔部分を含む顔領域を検出するステップと、
前記検出した特定人物の顔領域の各々から目領域を検出するステップと、
前記目領域検出部の検出した各顔領域に対応する目領域に基づいて前記特定人物の目の開閉状態を検出するステップと、
を含む請求項８〜１２のいずれかに記載の撮像方法。
【請求項１４】
目領域のエッジ情報、前記目領域の２値化データまたは各画像データの目領域間の差分情報に基づいて前記特定人物の目の開閉状態を検出するステップを含む請求項１３に記載の撮像方法。
【請求項１５】
請求項８〜１４のいずれかに記載の撮像方法をコンピュータに実行させるための撮像プログラム。
【請求項１】
撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力する撮像部と、
被写体への発光を行う発光部と、
前記撮像部の順次出力した画像データの各々に基づいて、各画像データにおける特定の被写体の目の開閉状態を検出する目開閉状態検出部と、
前記目開閉状態検出部の検出した前記特定の被写体の目の開閉状態を示す評価値を算出する評価値算出部と、
前記評価値算出部の算出した画像データの各々に対応する評価値を、前記画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶する記憶部と、
前記記憶部に記憶された評価値時系列群に基づいて前記特定の被写体の睡眠状態を判定する睡眠判定部と、
前記睡眠判定部の判定結果に応じて前記発光部の撮像時における被写体への発光を制限する撮像制御部と、
を備える撮像装置。
【請求項２】
撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力する撮像部と、
報知音を出力する発音部と、
前記撮像部の順次出力した画像データの各々に基づいて、各画像データにおける特定の被写体の目の開閉状態を検出する目開閉状態検出部と、
前記目開閉状態検出部の検出した前記特定の被写体の目の開閉状態を示す評価値を算出する評価値算出部と、
前記評価値算出部の算出した画像データの各々に対応する評価値を、前記画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶する記憶部と、
前記記憶部に記憶された評価値時系列群に基づいて前記特定の被写体の睡眠状態を判定する睡眠判定部と、
前記睡眠判定部の判定結果に応じて前記発音部からの報知音の出力を制限する撮像制御部と、
を備える撮像装置。
【請求項３】
撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力する撮像部と、
被写体への発光を行う発光部と、
報知音を出力する発音部と、
前記撮像部の順次出力した画像データの各々における１または複数の被写体のうち特定の条件を満たす被写体である代表被写体を選出する代表被写体選出部と、
各画像データにおける前記代表被写体の目の開閉状態を検出する目開閉状態検出部と、
前記目開閉状態検出部の検出した前記代表被写体の目の開閉状態を示す評価値を算出する評価値算出部と、
前記評価値算出部の算出した画像データの各々に対応する評価値を、前記画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶する記憶部と、
前記記憶部に記憶された評価値時系列群に基づいて前記代表被写体の睡眠状態を判定する睡眠判定部と、
前記睡眠判定部の判定結果に応じて、前記発光部の撮像時における発光および前記発音部からの報知音の出力のうち少なくとも一方を制限する撮像制御部と、
を備える撮像装置。
【請求項４】
前記代表被写体選出部は、前記１または複数の被写体のうち、前記画像データ中の所定の範囲内にあり、かつ／または、所定のサイズ以上である被写体を代表被写体に選出する請求項３に記載の撮像装置。
【請求項５】
前記撮像制御部は、操作音およびシャッター音のうち少なくとも一方を含む報知音をミュートする請求項２〜４のいずれかに記載の撮像装置。
【請求項６】
前記撮像部の順次出力した画像データの各々から特定人物の顔部分を含む顔領域を検出する顔検出部と、
前記顔検出部の検出した特定人物の顔領域の各々から目領域を検出する目領域検出部と、
を備え、
前記目開閉状態検出部は、前記目領域検出部の検出した各顔領域に対応する目領域に基づいて前記特定人物の目の開閉状態を検出する請求項１〜５のいずれかに記載の撮像装置。
【請求項７】
前記目開閉状態検出部は、目領域のエッジ情報、前記目領域の２値化データまたは各画像データの目領域間の差分情報に基づいて前記特定人物の目の開閉状態を検出する請求項６に記載の撮像装置。
【請求項８】
撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力するステップと、
前記順次出力した画像データの各々に基づいて、各画像データにおける特定の被写体の目の開閉状態を検出するステップと、
前記検出した前記特定の被写体の目の開閉状態を示す評価値を算出するステップと、
前記評価値算出部の算出した画像データの各々に対応する評価値を、前記画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶するステップと、
前記記憶された評価値時系列群に基づいて前記特定の被写体の睡眠状態を判定するステップと、
前記判定結果に応じて前記発光部の撮像時における被写体への発光を制限するステップと、
を含む撮像方法。
【請求項９】
撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力するステップと、
前記順次出力した画像データの各々に基づいて、各画像データにおける特定の被写体の目の開閉状態を検出するステップと、
前記検出した前記特定の被写体の目の開閉状態を示す評価値を算出するステップと、
前記算出した画像データの各々に対応する評価値を、前記画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶するステップと、
前記記憶された評価値時系列群に基づいて前記特定の被写体の睡眠状態を判定するステップと、
前記判定結果に応じて前記発音部からの報知音の出力を制限するステップと、
を含む撮像方法。
【請求項１０】
撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を継続的に画像データに変換して順次出力するステップと、
前記順次出力した画像データの各々における１または複数の被写体のうち特定の条件を満たす被写体である代表被写体を選出するステップと、
各画像データにおける前記代表被写体の目の開閉状態を検出するステップと、
前記検出した前記代表被写体の目の開閉状態を示す評価値を算出する評価値算出部と、
前記評価値算出部の算出した画像データの各々に対応する評価値を、前記画像データの出力順に応じて時系列的に配列した評価値時系列群を記憶するステップと、
前記記憶された評価値時系列群に基づいて前記代表被写体の睡眠状態を判定するステップと、
前記判定結果に応じて、前記発光部の撮像時における発光および前記発音部からの報知音の出力のうち少なくとも一方を制限するステップと、
を含む撮像方法。
【請求項１１】
前記１または複数の被写体のうち、前記画像データ中の所定の範囲内にあり、かつ／または、所定のサイズ以上である被写体を代表被写体に選出するステップを含む請求項１０に記載の撮像方法。
【請求項１２】
前記判定結果に応じて、操作音およびシャッター音のうち少なくとも一方を含む報知音をミュートするステップを含む請求項９〜１１のいずれかに記載の撮像方法。
【請求項１３】
前記順次出力した画像データの各々から特定人物の顔部分を含む顔領域を検出するステップと、
前記検出した特定人物の顔領域の各々から目領域を検出するステップと、
前記目領域検出部の検出した各顔領域に対応する目領域に基づいて前記特定人物の目の開閉状態を検出するステップと、
を含む請求項８〜１２のいずれかに記載の撮像方法。
【請求項１４】
目領域のエッジ情報、前記目領域の２値化データまたは各画像データの目領域間の差分情報に基づいて前記特定人物の目の開閉状態を検出するステップを含む請求項１３に記載の撮像方法。
【請求項１５】
請求項８〜１４のいずれかに記載の撮像方法をコンピュータに実行させるための撮像プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−５０７０３（Ｐ２０１０−５０７０３Ａ）
【公開日】平成２２年３月４日（２０１０．３．４）
【国際特許分類】
【出願番号】特願２００８−２１２７７８（Ｐ２００８−２１２７７８）
【出願日】平成２０年８月２１日（２００８．８．２１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２２年３月４日（２０１０．３．４）
【国際特許分類】
【出願日】平成２０年８月２１日（２００８．８．２１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]