撮像装置、動画再生装置及び撮像方法
【課題】撮像された画像データにおける被写体の人物の目の開閉率が不適切な場合に、被写体の人物の目の開閉率を効果的に補正する。
【解決手段】入力された画像データにおける被写体人物の顔を検出する顔検出部と、前記画像データのうち前記顔検出部により検出された顔を含む顔画像を基に、前記被写体人物の目の目開閉率を判定する目開閉率判定部と、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率を含む目開閉率情報を記憶する記憶部と、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率と、前記記憶されている前記目開閉率情報における目開閉率に所定の補正許容率を乗じた目開閉率とを比較する比較部と、前記比較部の比較結果に応じて、前記目開閉率判定部により判定された前記目開閉率を補正する補正部と、を備える。
【解決手段】入力された画像データにおける被写体人物の顔を検出する顔検出部と、前記画像データのうち前記顔検出部により検出された顔を含む顔画像を基に、前記被写体人物の目の目開閉率を判定する目開閉率判定部と、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率を含む目開閉率情報を記憶する記憶部と、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率と、前記記憶されている前記目開閉率情報における目開閉率に所定の補正許容率を乗じた目開閉率とを比較する比較部と、前記比較部の比較結果に応じて、前記目開閉率判定部により判定された前記目開閉率を補正する補正部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物等の被写体を撮像する撮像装置、動画再生装置及び撮像方法に関する。
【背景技術】
【０００２】
一人又は複数の被写体人物の写真を撮像すると、被写体人物が撮像の瞬間に瞬きをしたり、又は半目の状態となったりする場合がある。人物の写真においては、目の閉じた状態又は半目の状態は品質的に好ましくなく、被写体人物も当該写真を気に入らない傾向が強い。写真の撮り直しが可能な場合には撮り直せば良いが、写真の撮り直しが困難な場合には、撮影後の写真の修正が必要となり煩雑な作業が要求される。
【０００３】
目の閉じた人物画像に対して目を開かせる画像処理を行うことによって撮影の失敗を修正する画像処理装置として、例えば、特許文献１が知られている。
【０００４】
特許文献１の画像処理装置は、入力された画像データが目のつむっている状態の人物の画像に対し、開いている状態の目の画像に修正する。具体的には、画像処理装置は、開いている目の画像のサンプルを複数用意し、当該用意されている複数のサンプルのうち選択されたサンプルの画像を用いて、目のつむっている画像に対し、同一人物の開いている目の画像を合成する。この様な画像処理装置によれば、目の閉じた人物画像に対して目を開かせる処理を行うことができ、撮影の失敗を修正した画像を出力できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１９７２９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の画像処理装置は、つむっている状態の目を開いている状態の目に修正するために、開いている目の画像のサンプルを複数保持するためのメモリが必要となり、当該画像処理装置の製造コストが高くなってしまう。
【０００７】
又、特許文献１の画像処理装置は、目のつむっている画像に対し、同一人物の開いている目の画像を合成する。目のつむっている画像を目の開いている画像に合成すると、不自然な画像となる可能性がある。このため、必ずしも被写体の人物本人の嗜好に沿う画像を出力することができるわけではないという課題が存在する。
【０００８】
本発明は、上述した従来の事情に鑑みてなされたものであり、撮像された画像データにおける被写体人物の目の開閉率が不適切な場合に、被写体人物の目の開閉率を効果的に補正する撮像装置、動画再生装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上述した撮像装置であって、入力された画像データにおける被写体人物の顔を検出する顔検出部と、前記画像データのうち前記顔検出部により検出された顔を基に、前記被写体人物の目の目開閉率を判定する目開閉率判定部と、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率を含む目開閉率情報を記憶する記憶部と、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率と、前記記憶されている前記目開閉率情報における目開閉率に所定の補正許容率を乗じた目開閉率とを比較する比較部と、前記比較部の比較結果に応じて、前記目開閉率判定部により判定された前記目開閉率を補正する補正部と、を備える。
【００１０】
又、本発明は、上述した動画再生装置であって、画像データ及び音声データを同期して再生可能な動画再生装置であって、前記動画再生装置における動画再生時又は一時停止操作直後に入力された前記画像データにおける被写体人物の顔を検出する顔検出部と、前記画像データのうち前記顔検出部により検出された顔を基に、前記被写体人物の目の目開閉率を判定する目開閉率判定部と、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率を含む目開閉率情報を記憶する記憶部と、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率と、前記記憶されている前記目開閉率情報における目開閉率に所定の補正許容率を乗じた目開閉率とを比較する比較部と、前記比較部の比較結果に応じて、前記目開閉率判定部により判定された前記目開閉率を補正する補正部と、を備え、前記補正部は、前記動画再生時に前記判定された目開閉率が前記一時停止操作直後に前記判定された目開閉率に前記所定の補正許容率を乗じた目開閉率より小さい場合に、所定の拡大率を用いて前記一時停止操作直後に前記判定された目開閉率を補正する。
【００１１】
又、本発明は、上述した撮像方法であって、入力された画像データにおける被写体人物の顔を検出するステップと、前記画像データのうち前記検出された顔を基に、前記被写体人物の目の目開閉率を判定するステップと、記憶部に、前記判定された前記被写体人物の目の目開閉率を含む目開閉率情報を記憶するステップと、前記判定された前記被写体人物の目の目開閉率と、前記記憶部に記憶されている前記目開閉率情報における目開閉率に所定の補正許容率を乗じた目開閉率と、を比較するステップと、前記比較結果に応じて、前記判定された前記目開閉率を補正するステップと、を備える。
【００１２】
上述した構成によれば、撮像された画像データにおける被写体人物の目の開閉率が不適切な場合に、被写体人物の目の開閉率を効果的に補正することができる。
【発明の効果】
【００１３】
本発明によれば、撮像された画像データにおける被写体人物の目の開閉率が不適切な場合に、被写体人物の目の開閉率を効果的に補正することができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態の撮像装置の動作概要を簡単に示す説明図
【図２】第１の実施形態の撮像装置のハードウェア構成を示すブロック図
【図３】第１の実施形態の撮像装置の制御部の内部構成を詳細に示すブロック図
【図４】目開閉率ｘの算出例の一部を示す説明図
【図５】目開閉率ｘの算出例の他の一部を示す説明図
【図６】第１の実施形態のプレビュー時における撮像装置の動作を説明するフローチャート
【図７】第１の実施形態の撮像終了直後における撮像装置の動作を説明するフローチャート
【図８】第２の実施形態の動画再生装置の動作概要を簡単に示す説明図
【図９】第２の実施形態の動画再生装置のハードウェア構成を示すブロック図
【図１０】第２の実施形態の動画再生時における動画再生装置の動作を説明するフローチャート
【図１１】第２の実施形態の動画再生中に一時停止操作を受け付けた直後の動画再生装置の動作を説明するフローチャート
【図１２】第３の実施形態の撮像装置の動作概要を簡単に示す説明図
【図１３】第３の実施形態の撮像装置のハードウェア構成を示すブロック図
【図１４】第３の実施形態の右目用画像の撮像直後における撮像装置の動作を説明するフローチャート
【図１５】第３の実施形態の左目用画像の撮像直後における撮像装置の動作を説明するフローチャート
【図１６】第１の実施形態の変形例１の撮像装置のハードウェア構成を示すブロック図
【図１７】第１の実施形態の変形例１の撮像装置の制御部の内部構成を詳細に示すブロック図
【図１８】第１の実施形態の変形例２の撮像装置のハードウェア構成を示すブロック図
【図１９】第１の実施形態の変形例２の撮像装置の制御部の内部構成を詳細に示すブロック図
【図２０】第１の実施形態の変形例３の撮像装置の制御部の内部構成を詳細に示すブロック図
【発明を実施するための形態】
【００１５】
以下、本発明に係る撮像装置、動画再生装置及び撮像方法の実施形態について、図面を参照して説明する。本発明に係る撮像装置及び動画再生装置は、被写体を撮像可能なカメラ機能を搭載する電子機器であり、例えば携帯電話機、スマートフォン又はデジタルスチルカメラ等が挙げられる。
【００１６】
なお、本発明は、撮像装置若しくは動画再生装置の様な装置、又は撮像装置若しくは動画再生装置をコンピュータとして動作させるためのプログラムとして表現することも可能である。更に、本発明は、撮像装置又は動画再生装置により実行される処理（ステップ）を含む撮像方法又は動画再生方法として表現することも可能である。即ち、本発明は、装置、方法及びプログラムのうちいずれのカテゴリーでも表現可能である。
【００１７】
以下の各実施形態において、本発明に係る撮像装置又は動画再生装置により撮像された画像データのうち被写体人物の顔の両目の開閉度合いを示すパラメータを「目開閉率」と定義する。目開閉率の内容については図４及び図５を用いて詳細に説明する。
【００１８】
（第１の実施形態）
図１は、第１の実施形態の撮像装置１の動作概要を簡単に示す説明図である。第１の実施形態では、図１に示す様に、撮像装置１は、Ａさん、Ｂさん、Ｃさんの集合写真の撮像のプレビュー時に、各被写体人物（Ａさん、Ｂさん、Ｃさん）の目開閉率を記憶する。撮像装置１は、集合写真を撮像した直後に、撮像された画像データの各被写体人物（Ａさん、Ｂさん、Ｃさん）の目開閉率のいずれか又は全部がプレビュー時の各目開閉率に比べて相当に小さい場合に、撮像された画像データの被写体人物の目開閉率を補正する。
【００１９】
図１では、撮像された画像データにおいてＢさんの目開閉率がプレビュー時の画像データにおけるＢさんの目開閉率に比べて相当に小さいことが示されている。撮像装置１は、プレビュー時の画像データにおけるＢさんの目開閉率を用いて、撮像された画像データのＢさんの目開閉率を拡大する様に補正する。
【００２０】
図２は、第１の実施形態の撮像装置１のハードウェア構成を示すブロック図である。撮像装置１は、図２に示す様に、制御部１１、操作部１２、記憶部１３、撮像部１４、表示制御部１５、表示部１６、ＲＡＭ（Random Access Memory）１７及びＲＯＭ（Read Only Memory）１８を含む構成である。
【００２１】
制御部１１は、撮像装置１に内蔵されるＣＰＵ（Central Processing Unit）を用いて構成され、撮像装置１の各部の動作を制御する。図３は、第１の実施形態の撮像装置１の制御部１１の内部構成を詳細に示すブロック図である。図３の各部の動作は、撮像装置１に内蔵されるＣＰＵにより実現される。
【００２２】
制御部１１は、図３に示す様に、撮像制御部２１、顔検出部２２、目開閉率判定部２３、目開閉率管理部２４、比較部２５及び補正部２６を含む構成である。
【００２３】
撮像制御部２１は、後述する操作部１２からのユーザの操作、例えばＡさん、Ｂさん、Ｃさんの集合写真を撮像（撮影）する旨の操作信号を入力する。撮像制御部２１は、入力された操作信号を基に、撮像信号を撮像部１４に出力する。撮像制御部２１は、撮像部１４により撮像された画像データを取得し、当該画像データ及び顔検出指示を顔検出部２２に出力する。
【００２４】
顔検出部２２は、画像データ及び顔検出指示を撮像制御部２１から取得し、顔検出指示を基に、画像データにおける被写体人物の顔を検出する。なお、画像データにおける被写体人物の顔を検出する技術は既に公知である。顔検出部２２は、例えば図１の画像データにおける被写体人物の顔を３つ検出し、検出された各顔に対して当該各顔を識別する顔ＩＤ（Identification）を付与する。顔検出部２２は、顔検出結果及び目開閉率判定指示を目開閉率判定部２３に出力する。顔検出結果は、顔検出部２２により付与された顔ＩＤと、顔検出部２２により顔検出の対象となった画像データとを含む。
【００２５】
目開閉率判定部２３は、顔検出結果及び目開閉率判定指示を取得し、顔ＩＤと共に取得された画像データ及び目開閉率判定指示を基に、同画像データにおける被写体人物の目の目開閉率を判定する。目開閉率判定部２３は、顔ＩＤと、同顔ＩＤと共に取得された画像データに対する判定結果（目開閉率）とを目開閉率管理部２４に出力する。
【００２６】
ここで、目開閉率について図４及び図５を参照して説明する。図４は目開閉率ｘの算出例の一部を示す説明図であり、図５は目開閉率ｘの算出例の他の一部を示す説明図である。以下の説明において、目開閉率判定部２３により判定された目開閉率をパラメータｘで表し、後述する記憶部１３に記憶されている目開閉率をパラメータｙで表す。
【００２７】
図４の第１例において、目開閉率ｘは、顔検出部２２により検出された顔のうち、顔の鉛直方向における高さＨｆに対する片目（例：右目）の鉛直方向における高さＨｅで表される両目の開閉度合いである。従って、図４の第１例においては、目開閉率ｘは数式（１）により示される。
【００２８】
【数１】
【００２９】
又、図４の第２例において、目開閉率ｘは、顔検出部２２により検出された顔のうち、顔の水平方向における横幅Ｗｆに対する片目（例：右目）の鉛直方向における高さＨｅで表される両目の開閉度合いでも良い。なお、上述した片目として左目を用いても良く、以下同様である。従って、図４の第２例においては、目開閉率ｘは数式（２）により示される。
【００３０】
【数２】
【００３１】
又、図５の第３例において、目開閉率ｘは、顔検出部２２により検出された顔のうち、顔の水平方向における片目（例：右目）の横幅Ｗｅに対する片目（例：右目）の鉛直方向における高さＨｅで表される両目の開閉度合いでも良い。従って、図５の第３例においては、目開閉率ｘは数式（３）により示される。
【００３２】
【数３】
【００３３】
又、図５の第４例において、目開閉率ｘは、顔検出部２２により検出された顔のうち、顔の水平方向における両目の間の距離Ｂｅに対する片目（例：右目）の鉛直方向における高さＨｅで表される両目の開閉度合いでも良い。従って、図４の第４例においては、目開閉率ｘは数式（４）により示される。
【００３４】
【数４】
【００３５】
なお、数式（１）〜（４）のうちいずれかを用いた目開閉率ｘの算出において、被写体人物の顔の片目（例：右目又は左目）の鉛直方向における高さＨｅがもう片方の目（例：左目又は右目）の高さと異なる場合があり得る。目開閉率判定部２３は、数式（１）〜（４）のうちいずれかを用いて目開閉率ｘを算出する場合において、両目の鉛直方向における各高さを平均しても良い。これにより、目開閉率判定部２３は、目開閉率ｘを高精度に算出できる。また、目開閉率判定部２３は、数式（１）〜（４）のうちいずれかを用いた目開閉率ｘの算出において、左目及び右目の鉛直方向における各高さＨｅの大きい値を選択してもよい。
【００３６】
目開閉率管理部２４は、顔ＩＤと、同顔ＩＤと共に出力された目開閉率ｘを目開閉率判定部２３から取得する。目開閉率管理部２４は、記憶部１３に同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙを取得し、顔ＩＤ、目開閉率ｘ、目開閉率ｙ及び目開閉率ｘと目開閉率ｙとの比較指示を比較部２５に出力する。目開閉率管理部２４は、比較部２５から出力された比較結果、比較の対象となった顔ＩＤ及び目開閉率ｘを基に、記憶部１３に同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙを目開閉率ｘに更新する。なお、比較部２５からの比較結果は後述する。
【００３７】
比較部２５は、顔ＩＤ、目開閉率ｘ、目開閉率ｙ、及び目開閉率ｘと目開閉率ｙとの比較指示を目開閉率管理部２４から取得する。比較部２５は、顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙと、目開閉率判定部２３により判定された目開閉率ｘとを比較する。比較部２５は、目開閉率ｘが目開閉率ｙより大きい場合には、目開閉率ｘが目開閉率ｙより大きいという比較結果、比較の対象となった顔ＩＤ、及び目開閉率ｘを目開閉率管理部２４に出力する。
【００３８】
又、比較部２５は、目開閉率ｙに所定の補正許容率μを乗じたパラメータμｙが目開閉率ｘより大きい場合には、比較の対象となった顔ＩＤ、撮像制御部２１に入力された画像データ、目開閉率ｘ、目開閉率ｙ及び補正指示を補正部２６に出力する。更に、比較部２５は、目開閉率ｙに所定の補正許容率μを乗じたパラメータμｙが目開閉率ｘ以下である場合には、撮像制御部２１に入力された画像データを補正部２６において補正することなく表示部１６に表示する様に、表示指示を表示制御部１５に出力する。
【００３９】
ここで、補正許容率μは、例えば被写体人物の目が少しだけつむっている様な顔の画像データが撮像された場合に当該目を拡大する様な補正を回避するために設けられた所定値であって、例えば０．８等である。但し、この補正許容率μは、比較部２５の動作において予め規定されているとする。
【００４０】
補正部２６は、比較部２５の比較の対象となった顔ＩＤ、撮像制御部２１に入力された画像データ、目開閉率ｘ、目開閉率ｙ及び補正指示を比較部２５から取得する。補正部２６は、所定の拡大率を用いて、画像データの顔ＩＤにより対応付けられる被写体人物の目の目開閉率を補正する（図１参照）。ここで、所定の拡大率は、例えば目開閉率ｙ／目開閉率ｘである。補正部２６は、顔ＩＤにより対応付けられる被写体人物の目の目開閉率が補正された画像データ、及び当該画像データを表示部１６に表示する旨の表示指示を表示制御部１５に出力する。
【００４１】
操作部１２は、ユーザが撮像装置１に対する操作を入力するためのユーザインタフェースであり、ユーザの操作内容に応じた操作信号を制御部１１に出力する。例えば、操作部１２は、ユーザの操作内容、例えばＡさん、Ｂさん、Ｃさんの集合写真を撮像（撮影）する旨の操作信号を制御部１１に出力する。
【００４２】
操作部１２は、例えば、撮像装置１が携帯電話機である場合には、電話番号等を入力するテンキー、オンフック又はオフフックを行う通話器キー及びファンクションキー等の各種キーで構成可能である。又、操作部１２は、表示部１６の上に配置され、ユーザの指又はスタイラスペン等による入力操作を受け付け可能なタッチパネルで構成されても良い。
【００４３】
記憶部１３は、撮像装置１に内蔵されるハードディスク又はフラッシュメモリを用いて構成され、撮像部１４により撮像された画像データ、及び、顔ＩＤと同顔ＩＤに対応付けられた目開閉率ｙとが関連付けられた目開閉率情報を記憶している。
【００４４】
撮像部１４は、撮像装置１に内蔵されるレンズ、ファインダー及びＣＣＤ（Charged Couples Device）素子を含みカメラ機能を搭載する機構を用いて構成され、制御部１１から出力された撮像信号を基に、ファインダーを介して映し出されている被写体（例：人物）を撮像する。撮像部１４は、撮像により生成された画像データを制御部１１に出力する。
【００４５】
表示制御部１５は、撮像装置１に内蔵されるＣＰＵを用いて構成され、制御部１１から出力された表示指示及び画像データを取得し、表示指示に基づいて画像データを表示部１６に表示する。
【００４６】
表示部１６は、ＬＣＤ（Liquid Crystal Display）を用いて構成され、表示制御部１５の制御の下で、ユーザの操作に応じて撮像部１４によって撮像された画像データ、又は当該画像データが制御部１１によって補正された補正後の画像データを表示する。
【００４７】
ＲＡＭ１７は、制御部１１、操作部１２、撮像部１４又は表示制御部１５の各動作におけるワークメモリとして動作する。なお、図２においては、操作部１２、撮像部１４又は表示制御部１５からＲＡＭ１７への矢印の図示を省略している。
【００４８】
ＲＯＭ１８は、撮像装置１における制御部１１及び表示制御部１５の各動作が予め規定されたプログラムを記憶している。なお、制御部１１は、ハードウェア又はソフトウェアで構成することが可能である。特に、制御部１１がソフトウェアにより構成される際には、撮像装置１に内蔵されているＣＰＵが制御部１１の各動作が予め規定されたプログラムをＲＯＭ１８から読み出すことにより、制御部１１が動作可能となる。なお、図２においては、ＲＯＭ１８への矢印の図示を省略している。
【００４９】
次に、第１の実施形態のプレビュー時における撮像装置１の動作を、図６を参照して詳細に説明する。図６は、第１の実施形態のプレビュー時における撮像装置１の動作を説明するフローチャートである。図６の説明においては、必要に応じて図１の撮像装置１の動作概要を参照する。
【００５０】
図６において、撮像制御部２１は、撮像部１４により撮像された画像データを取得し（Ｓ１１）、当該画像データ及び顔検出指示を顔検出部２２に出力する。顔検出部２２は、画像データ及び顔検出指示を撮像制御部２１から取得し、画像データにおける被写体人物の顔を検出する（Ｓ１２）。ステップＳ１２の顔検出によって検出された被写体人物は３人であるとする（図１参照）。
【００５１】
顔検出部２２は、ステップＳ１２の顔検出によって検出された被写体人物を表す顔ＩＤのパラメータをｊと定義し、第１番目の被写体人物の顔ＩＤ（即ちｊ＝１、Ｓ１３）における顔検出結果及び目開閉率判定指示を目開閉率判定部２３に出力する。なお、第１番目の被写体人物の顔ＩＤにおける顔検出結果は、顔ＩＤと、顔検出部２２により顔検出の対象となった画像データとを含む。又、パラメータｊの最大値は、ステップＳ１２の顔検出時に顔検出部２２によって判明しているとする。
【００５２】
目開閉率判定部２３は、顔検出結果及び目開閉率判定指示を顔検出部２２から取得し、顔ＩＤと共に取得された画像データを基に、同画像データにおける第１番目の被写体人物の目の目開閉率ｘを判定する（Ｓ１４）。目開閉率判定部２３は、顔ＩＤと、同顔ＩＤと共に取得された画像データに対する判定結果（目開閉率ｘ）とを目開閉率管理部２４に出力する。
【００５３】
目開閉率管理部２４は、顔ＩＤと、同顔ＩＤと共に出力された目開閉率ｘを目開閉率判定部２３から取得する。目開閉率管理部２４は、記憶部１３に同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙを取得し（Ｓ１５）、顔ＩＤ、目開閉率ｘ、目開閉率ｙ及び目開閉率ｘと目開閉率ｙとの比較指示を比較部２５に出力する。
【００５４】
比較部２５は、顔ＩＤ、目開閉率ｘ、目開閉率ｙ、及び目開閉率ｘと目開閉率ｙとの比較指示を目開閉率管理部２４から取得する。比較部２５は、顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙと、目開閉率判定部２３により判定された目開閉率ｘとを比較する（Ｓ１６）。
【００５５】
目開閉率ｘが目開閉率ｙより大きい場合には（Ｓ１６、ＹＥＳ）、比較部２５は、目開閉率ｘが目開閉率ｙより大きいという比較結果、比較の対象となった顔ＩＤ、及び目開閉率ｘを目開閉率管理部２４に出力する。目開閉率管理部２４は、比較部２５から出力された比較結果、比較の対象となった顔ＩＤ及び目開閉率ｘを基に、記憶部１３に同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙを目開閉率ｘに更新する（Ｓ１７）。目開閉率管理部２４は、記憶部１３に同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙを目開閉率ｘに更新した旨を比較部２５に出力する。
【００５６】
目開閉率ｘが目開閉率ｙ未満である場合には（Ｓ１６、ＮＯ）、又はステップＳ１７の後、比較部２５は、パラメータｊをインクリメントし（Ｓ１８）、同一の画像データにおいて次の顔ＩＤに対する目開閉率判定指示を目開閉率判定部２３に出力する。図６において、ステップＳ１８においてインクリメントされたパラメータｊがパラメータｊの最大値を超えるまで（Ｓ１９、ＮＯ）、ステップＳ１４〜Ｓ１８の各動作が繰り返される。パラメータｊがパラメータｊの最大値を超えると（Ｓ１９、ＹＥＳ）、図６の撮像装置１のプレビュー時における動作は終了する。
【００５７】
次に、第１の実施形態の撮像終了直後における撮像装置１の動作を、図７を参照して説明する。図７は、第１の実施形態の撮像終了直後における撮像装置１の動作を説明するフローチャートである。図７の説明においては、必要に応じて図１の撮像装置１の動作概要を参照する。
【００５８】
図７において、撮像制御部２１は、撮像部１４により撮像された画像データを取得し（Ｓ２１）、当該画像データ及び顔検出指示を顔検出部２２に出力する。顔検出部２２は、画像データ及び顔検出指示を撮像制御部２１から取得し、画像データにおける被写体人物の顔を検出する（Ｓ２２）。ステップＳ２２の顔検出によって検出された被写体人物は、図６のプレビュー時と同様に３人であるとする（図１参照）。
【００５９】
顔検出部２２は、ステップＳ１２の顔検出によって検出された被写体人物を表す顔ＩＤのパラメータをｊと定義し、第１番目の被写体人物の顔ＩＤ（即ちｊ＝１、Ｓ２３）における顔検出結果及び目開閉率判定指示を目開閉率判定部２３に出力する。
【００６０】
目開閉率判定部２３は、顔検出結果及び目開閉率判定指示を顔検出部２２から取得し、顔ＩＤと共に取得された画像データを基に、同画像データにおける第１番目の被写体人物の目の目開閉率ｘを判定する（Ｓ２４）。目開閉率判定部２３は、顔ＩＤと、同顔ＩＤと共に取得された画像データに対する判定結果（目開閉率ｘ）とを目開閉率管理部２４に出力する。
【００６１】
目開閉率管理部２４は、顔ＩＤと、同顔ＩＤと共に出力された目開閉率ｘを目開閉率判定部２３から取得する。目開閉率管理部２４は、記憶部１３に同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙを取得し（Ｓ２５）、顔ＩＤ、目開閉率ｘ、目開閉率ｙ及び目開閉率ｘと目開閉率ｙとの比較指示を比較部２５に出力する。
【００６２】
比較部２５は、顔ＩＤ、目開閉率ｘ、目開閉率ｙ、及び目開閉率ｘと目開閉率ｙとの比較指示を目開閉率管理部２４から取得する。比較部２５は、目開閉率ｙに所定の補正許容率μを乗じたパラメータμｙと、目開閉率ｘとを比較する（Ｓ２６）。
【００６３】
パラメータμｙが目開閉率ｘより大きい場合には（Ｓ２６、ＹＥＳ）、比較部２５は、比較の対象となった顔ＩＤ、撮像制御部２１に入力された画像データ、目開閉率ｘ、目開閉率ｙ及び補正指示を補正部２６に出力する。補正部２６は、比較部２５の比較の対象となった顔ＩＤ、撮像制御部２１に入力された画像データ、目開閉率ｘ、目開閉率ｙ及び補正指示を比較部２５から取得する。補正部２６は、上述した所定の拡大率を用いて、画像データの顔ＩＤ（パラメータｊ）により対応付けられる被写体人物の顔の目の目開閉率を補正する（Ｓ２７）。
【００６４】
ステップＳ２７の後、補正部２７は、パラメータｊをインクリメントし（Ｓ２８）、同一の画像データにおいて次の顔ＩＤに対する目開閉率判定指示を目開閉率判定部２３に出力する。なお、図３においては、補正部２７から目開閉率判定部２３への矢印の入力は省略している。図７において、ステップＳ２８においてインクリメントされたパラメータｊがパラメータｊの最大値を超えるまで（Ｓ２９、ＮＯ）、ステップＳ２４〜Ｓ２８の各動作が繰り返される。パラメータｊがパラメータｊの最大値を超えると（Ｓ２９、ＹＥＳ）、図７の撮像装置１の撮像終了後における動作は終了する。
【００６５】
一方、パラメータμｙが目開閉率ｘ以下である場合には（Ｓ２６、ＮＯ）、比較部２５は、撮像制御部２１に入力された画像データを補正部２６において補正することなく表示部１６に表示する様に、表示指示を表示制御部１５に出力する。この後、比較部２５は、パラメータｊをインクリメントし（Ｓ２８）、同一の画像データにおいて次の顔ＩＤに対する目開閉率判定指示を目開閉率判定部２３に出力する。なお、図３においては、補正部２７から目開閉率判定部２３への矢印の入力は省略している。図７において、ステップＳ２８においてインクリメントされたパラメータｊがパラメータｊの最大値を超えるまで（Ｓ２９、ＮＯ）、ステップＳ２４〜Ｓ２８の各動作が繰り返される。パラメータｊがパラメータｊの最大値を超えると（Ｓ２９、ＹＥＳ）、図７の撮像装置１の撮像終了後における動作は終了する。
【００６６】
以上により、第１の実施形態の撮像装置１は、例えば複数人の被写体人物の集合写真を撮像する場合において、プレビュー時に判定された各被写体人物の目の目開閉率と、記憶部に予め同被写体人物の顔ＩＤと関連付けて記憶されている目開閉率情報の目開閉率とを比較する。比較の結果、プレビュー時において判定された各被写体人物の目の目開閉率が記憶部に記憶されている目開閉率より大きい場合には、撮像装置１は記憶部１３に記憶されている目開閉率を更新する。
【００６７】
即ち、被写体人物毎に目の大きさは異なるため、目の拡大補正を全被写体人物に対して一律に行うと、目の大きさが被写体人物本人の意図しない大きさに補正されてしまう。この様な一律な拡大補正を回避するため、撮像装置１は、プレビュー時に、各被写体人物の顔ＩＤに対して判定された目開閉率と、記憶部に記憶されている目開閉率とを比較し、目をつむっている状態又は半目の状態の写真とならない様に大きい値を有する目開閉率を記憶部に記憶する。
【００６８】
更に、撮像装置１は、集合写真の撮像直後に、同様に各被写体人物の目の目開閉率を判定し、この目開閉率と記憶部に同顔ＩＤと関連付けて記憶されている目開閉率情報の目開閉率とを比較する。この比較結果に応じて、撮像装置１は、撮像された画像データにおいて各被写体人物の目の目開閉率が当該各被写体人物の意図しない様な目開閉率となった場合でも、プレビュー時において記憶部に記憶された目開閉率を用いて目を拡大可能に補正する。
【００６９】
従って、撮像装置１によれば、撮像された画像データにおける被写体の人物の目の開閉率が不適切な場合に、被写体の人物の目の開閉率を効果的に補正することができる。
【００７０】
（第２の実施形態）
図８は、第２の実施形態の動画再生装置の動作概要を簡単に示す説明図である。第２の実施形態では、図８に示す様に、動画再生装置は、記憶部に記憶されているＡさん、Ｂさん、Ｃさんの動画データを再生している時に、動画を構成している各画像データの各被写体人物（Ａさん、Ｂさん、Ｃさん）の目開閉率を判定して記憶する。動画再生装置は、ユーザの操作として一時停止操作を受け付けた時に、一時停止操作を受け付けた時の画像データの各被写体人物（Ａさん、Ｂさん、Ｃさん）の目開閉率のいずれか又は全部が動作再生時に記憶された各目開閉率に比べて相当に小さい場合に、一時停止操作を受け付けた時の画像データの被写体人物の目開閉率を補正する。
【００７１】
図８では、一時停止操作を受け付けた時の画像データにおいてＢさんの目開閉率が動作再生時のＢさんの目開閉率に比べて相当に小さいことが示されている。動画再生装置は、動画再生時の画像データにおけるＢさんの目開閉率を用いて、一時停止操作を受け付けた時の画像データのＢさんの目開閉率を補正する。
【００７２】
図９は、第２の実施形態の動画再生装置１ｂのハードウェア構成を示すブロック図である。動画再生装置１ｂは、図９に示す様に、制御部１１、操作部１２ｂ、記憶部１３、撮像部１４、動作再生制御部３１、表示部１６、音声出力部３２、ＲＡＭ１７及びＲＯＭ１８を含む構成である。図９において、図２の各部の説明と同様の内容の説明は省略し、異なる内容について説明する。なお、図９の動画再生装置１ｂは撮像部１４を含む様に構成しているが、撮像部１４を含まない様に構成しても良い。更に、動画再生装置１ｂは、撮像部１４を含む様に構成している場合には、撮像部１４を含むという観点において撮像装置とも考えられても良い。
【００７３】
記憶部１３は、第２の実施形態の動画再生装置１ｂが再生する動画データを記憶している。
【００７４】
動画再生制御部３１は、動画再生装置１ｂに内蔵されるＣＰＵを用いて構成され、操作部１２ｂが受け付けたユーザ操作により選択された動画再生の操作信号を取得する。動画再生制御部３１は、操作部１２ｂからの動画再生の操作信号に基づいて、再生対象となる動画データを記憶部１３から読み出す。
【００７５】
動画再生制御部３１は、読み出された動画データを基に、操作部１２ｂが受け付けたユーザ操作により選択された動画の映像信号（画像信号）及び音声信号を同期させる様に、同映像信号を表示部１６に、同音声信号を音声出力部３２にそれぞれ出力する。更に、動画再生制御部３１は、動画データの再生時には、動画データを構成する複数の画像データを制御部１１に出力している。
【００７６】
動画再生制御部３１は、操作部１２ｂがユーザ操作として再生中の動画の一時停止操作を受け付けた時、操作部１２ｂから動画の一時停止操作の操作信号を取得する。動画再生制御部３１は、操作部１２ｂからの動画の一時停止操作の操作信号に基づいて、一時停止時における動画を構成する画像データを制御部１１に出力する。
【００７７】
音声出力部３２は、スピーカ等で構成され、動画再生制御部３１から出力された動画の音声信号を入力し、同音声信号を出力する。
【００７８】
次に、第２の実施形態の動画再生時における動画再生装置１ｂの動作を、図１０を参照して説明する。図１０は、第２の実施形態の動作再生時における動画再生装置１ｂの動作を説明するフローチャートである。図１０の説明においては、図６の説明と重複する内容の説明は省略する。なお、上述した様に、図１０の説明の前提として、動画再生装置１ｂの動画再生制御部３１は、操作部１２ｂが受け付けたユーザ操作により選択された動画を再生しているとする。
【００７９】
図１０において、撮像制御部２１は、動画再生制御部３１から出力された画像データを取得する（Ｓ３１）。撮像制御部２１は、動画再生制御部３１から出力された画像データ及び顔検出指示を顔検出部２２に出力する。なお、図１０においてステップＳ３１以降の処理は、図６のステップＳ１２〜Ｓ１９と同様であるため、説明を省略する。
【００８０】
次に、第２の実施形態の動画再生中に一時停止操作を受け付けた直後の動画再生装置１ｂの動作を、図１１を参照して説明する。図１１は、第２の実施形態の動画再生中に一時停止操作を受け付けた直後の時における動画再生装置の動作を説明するフローチャートである。図１１の説明においては、必要に応じて図８の動画再生装置１ｂの動作概要を参照し、図７の説明と重複する内容の説明は省略する。なお、上述した様に、図１１の説明の前提として、動画再生装置１ｂの動画再生制御部３１は、動画を再生している時に操作部１２ｂからユーザ操作（動画の一時停止操作）を受け付けた時であるとする。
【００８１】
図１１において、動画再生制御部３１は、操作部１２ｂがユーザ操作として再生中の動画の一時停止操作を受け付けた時、操作部１２ｂから動画の一時停止操作の操作信号を取得する。動画再生制御部３１は、操作部１２ｂからの動画の一時停止操作の操作信号に基づいて、一時停止時における動画を構成する画像データを制御部１１に出力する。
【００８２】
撮像制御部２１は、動画再生制御部３１から出力された一時停止操作時における画像データを取得する（Ｓ４１）。撮像制御部２１は、動画再生制御部３１から出力された画像データ及び顔検出指示を顔検出部２２に出力する。なお、図１１においてステップＳ４１以降の処理は、図７のステップＳ２２〜Ｓ２９と同様であるため、説明を省略する。
【００８３】
以上により、第２の実施形態の動画再生装置１ｂは、例えば記憶部１３に記憶されている動画データを再生中に、当該動画データを構成する各画像データに対して判定された各被写体人物の目の目開閉率と、記憶部に予め同被写体人物の顔ＩＤと関連付けて記憶されている目開閉率情報の目開閉率とを比較する。比較の結果、再生時において動画データを構成する各画像データにおいて判定された各被写体人物の目の目開閉率が記憶部に記憶されている目開閉率より大きい場合には、撮像装置１ｂは記憶部１３に記憶されている目開閉率を更新する。
【００８４】
更に、動画再生装置１ｂは、動画データの再生中においてユーザから一時停止操作を受け付けた直後に、同様に一時停止操作を受け付けた時における動画データを構成する画像データに対して各被写体人物の目の目開閉率を判定し、この目開閉率と記憶部に同顔ＩＤと関連付けて記憶されている目開閉率情報の目開閉率とを比較する。この比較結果に応じて、動画再生装置１ｂは、一時停止操作を受け付けた時における画像データにおいて各被写体人物の目の目開閉率が当該各被写体人物の意図しない様な目開閉率となった場合でも、動画再生時において記憶部に記憶された目開閉率を用いて目を拡大可能に補正する。
【００８５】
従って、動画再生装置１ｂによれば、第１の実施形態の撮像装置１と同様に、一時停止操作を受け付けた時の動画データを構成する画像データにおける被写体の人物の目の開閉率が不適切な場合に、被写体の人物の目の開閉率を効果的に補正することができる。
【００８６】
（第３の実施形態）
図１２は、第３の実施形態の撮像装置１ｃの動作概要を簡単に示す説明図である。第３の実施形態では、図１２に示す様に、撮像装置１ｃは、例えばＡさん、Ｂさん、Ｃさんの３Ｄ集合写真を撮像するために、例えば先ず右目用画像を撮像し、続けて左目用画像を撮像する。撮像装置１ｃは、上述した各実施形態の様に、右目用画像データ及び左目用画像データに対して、それぞれ各被写体人物（Ａさん、Ｂさん、Ｃさん）の目開閉率を判定し、各目開閉率を比較する。
【００８７】
撮像装置１ｃは、図１２に示す様に、左目用画像データのＢさんの目開閉率が右目用画像データのＢさんの目開閉率より相当に小さい場合には、左目用画像データのＢさんの目開閉率を、右目用画像データのＢさんの目開閉率と同じになる様に補正する。又、同様に撮像装置１ｃは、左目用画像データのＢさんの目開閉率が右目用画像データのＢさんの目開閉率より相当に大きい場合には、逆に右目用画像データのＢさんの目開閉率を、左目用画像データのＢさんの目開閉率と同じになる様に補正する。撮像装置１ｃは、右目用画像データと補正された左目用画像データとを画像合成することによって、Ａさん、Ｂさん、Ｃさんの３Ｄ集合写真を生成する。又、以下の第３の実施形態においては、右目用画像及び左目用画像の順に撮像されるとして説明するが、左目用画像及び右目用画像の順に撮像されても良い。
【００８８】
図１３は、第３の実施形態の撮像装置１ｃのハードウェア構成を示すブロック図である。撮像装置１ｃは、図１３に示す様に、制御部１１、操作部１２、記憶部１３、撮像部１４ｃ、画像合成部４１、表示制御部１５、表示部１６、ＲＡＭ１７及びＲＡＭ１８を含む構成である。図１３において、図２の各部の説明と同様の内容の説明は省略し、異なる内容について説明する。
【００８９】
撮像部１４ｃは、撮像装置１ｃに内蔵されるレンズ、ファインダー及びＣＣＤ素子を含みカメラ機能を搭載する機構を用いて構成され、制御部１１から出力された撮像信号を基に、ファインダーを介して映し出されている被写体を撮像する。更に、撮像部１４ｃは、３Ｄ画像を撮像可能であり、例えば右目用画像を撮像し、続けて左目用画像を撮像する。撮像部１４は、撮像により生成された左目用画像データ及び右目用画像をそれぞれ制御部１１に出力する。
【００９０】
画像合成部４１は、制御部１１から出力された左目用画像データ及び右目用画像データを取得し、左目用画像データ及び右目用画像データを画像合成して３Ｄ画像データを生成する。画像合成部４１は、生成された３Ｄ画像データを表示制御部１５に出力する。
【００９１】
次に、第３の実施形態の右目用画像の撮像直後における撮像装置１ｃの動作を、図１４を参照して説明する。図１４は、第３の実施形態の右目用画像の撮像直後における撮像装置１ｃの動作を説明するフローチャートである。図１４の説明においては、必要に応じて図１２の撮像装置１ｃの動作概要を参照する。
【００９２】
図１４において、撮像制御部２１は、撮像部１４ｃにより撮像された右目用画像データを取得し（Ｓ５１）、当該右目用画像データ及び顔検出指示を顔検出部２２に出力する。顔検出部２２は、右目用画像データ及び顔検出指示を撮像制御部２１から取得し、右目用画像データにおける被写体人物の顔を検出する（Ｓ１２）。ステップＳ１２の顔検出によって検出された被写体人物は３人であるとする（図１２参照）。
【００９３】
顔検出部２２は、ステップＳ１２の顔検出によって検出された被写体人物を表す顔ＩＤのパラメータをｊと定義し、第１番目の被写体人物の顔ＩＤ（即ちｊ＝１、Ｓ１３）における顔検出結果及び目開閉率判定指示を目開閉率判定部２３に出力する。なお、第１番目の被写体人物の顔ＩＤにおける顔検出結果は、顔ＩＤと、顔検出部２２により顔検出の対象となった右目用画像データとを含む。又、パラメータｊの最大値は、ステップＳ１２の顔検出時に顔検出部２２によって判明しているとする。
【００９４】
目開閉率判定部２３は、顔検出結果及び目開閉率判定指示を顔検出部２２から取得し、顔ＩＤと共に取得された右目用画像データを基に、同右目用画像データにおける第１番目の被写体人物の目の目開閉率ｘ１を判定する（Ｓ５４）。目開閉率判定部２３は、顔ＩＤと、同顔ＩＤと共に取得された右目用画像データに対する判定結果（目開閉率ｘ１）とを目開閉率管理部２４に出力する。
【００９５】
目開閉率管理部２４は、顔ＩＤと、同顔ＩＤと共に出力された目開閉率ｘ１を目開閉率判定部２３から取得する。目開閉率管理部２４は、顔ＩＤと、目開閉率ｘ１と記憶部１３に記憶する（Ｓ５５）。
【００９６】
なお、ステップＳ５５は、次の様にしても良い。
【００９７】
具体的には、目開閉率管理部２４は、同顔ＩＤに関連付けて目開閉率情報の目開閉率ｙが記憶部１３に予め記憶されている場合には、同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙを取得し、顔ＩＤ、目開閉率ｘ１、目開閉率ｙ及び目開閉率ｘ１と目開閉率ｙとの比較指示を比較部２５に出力する。この場合、比較部２５は、顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙと、目開閉率判定部２３により判定された目開閉率ｘ１とを比較する。目開閉率ｘ１が目開閉率ｙより大きい場合に限り、比較部２５は、目開閉率ｘ１が目開閉率ｙより大きいという比較結果、比較の対象となった顔ＩＤ、及び目開閉率ｘ１を目開閉率管理部２４に出力する。目開閉率管理部２４は、比較部２５から出力された比較結果、比較の対象となった顔ＩＤ及び目開閉率ｘ１を基に、記憶部１３に同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙを目開閉率ｘ１に更新する（Ｓ５５）。
【００９８】
ステップＳ５５の後、目開閉率管理部２４は、パラメータｊをインクリメントし（Ｓ１８）、同一の右目用画像データにおいて次の顔ＩＤに対する目開閉率判定指示を目開閉率判定部２３に出力する。図１４において、ステップＳ１８においてインクリメントされたパラメータｊがパラメータｊの最大値を超えるまで（Ｓ１９、ＮＯ）、ステップＳ５４、Ｓ５５及びＳ１８の各動作が繰り返される。パラメータｊがパラメータｊの最大値を超えると（Ｓ１９、ＹＥＳ）、図１４の撮像装置１ｃの右目用画像の撮像直後における動作は終了する。
【００９９】
次に、第３の実施形態の左目用画像の撮像直後における撮像装置１ｃの動作を、図１５を参照して説明する。図１５は、第３の実施形態の左目用画像の撮像直後における撮像装置１ｃの動作を説明するフローチャートである。図１５の説明においては、必要に応じて図１２の撮像装置１ｃの動作概要を参照する。
【０１００】
図１５において、撮像制御部２１は、撮像部１４ｃにより撮像された左目用画像データを取得し（Ｓ６１）、当該左目用画像データ及び顔検出指示を顔検出部２２に出力する。顔検出部２２は、左目用画像データ及び顔検出指示を撮像制御部２１から取得し、左目用画像データにおける被写体人物の顔を検出する（Ｓ２２）。ステップＳ２２の顔検出によって検出された被写体人物は３人であるとする（図１２参照）。
【０１０１】
顔検出部２２は、ステップＳ２２の顔検出によって検出された被写体人物を表す顔ＩＤのパラメータをｊと定義し、第１番目の被写体人物の顔ＩＤ（即ちｊ＝１、Ｓ２３）における顔検出結果及び目開閉率判定指示を目開閉率判定部２３に出力する。なお、第１番目の被写体人物の顔ＩＤにおける顔検出結果は、顔ＩＤと、顔検出部２２により顔検出の対象となった左目用画像データとを含む。又、パラメータｊの最大値は、ステップＳ２２の顔検出時に顔検出部２２によって判明しているとする。
【０１０２】
目開閉率判定部２３は、顔検出結果及び目開閉率判定指示を顔検出部２２から取得し、顔ＩＤと共に取得された左目用画像データを基に、同左目用画像データにおける第１番目の被写体人物の目の目開閉率ｘ２を判定する（Ｓ６４）。目開閉率判定部２３は、顔ＩＤと、同顔ＩＤと共に取得された左目用画像データに対する判定結果（目開閉率ｘ２）とを目開閉率管理部２４に出力する。
【０１０３】
目開閉率管理部２４は、顔ＩＤと、同顔ＩＤと共に出力された目開閉率ｘ２を目開閉率判定部２３から取得する。目開閉率管理部２４は、同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｘ１（図１４参照）を記憶部１３から取得する（Ｓ６５）。目開閉率管理部２４は、顔ＩＤ、目開閉率ｘ１、目開閉率ｘ２及び目開閉率ｘ１と目開閉率ｘ２との比較指示を比較部２５に出力する。
【０１０４】
比較部２５は、顔ＩＤ、目開閉率ｘ１、目開閉率ｘ２、及び目開閉率ｘ１と目開閉率ｘ２との比較指示を目開閉率管理部２４から取得する。比較部２５は、目開閉率ｘ１と目開閉率ｘ２とを比較する（Ｓ６６）。
【０１０５】
目開閉率ｘ２が目開閉率ｘ１より大きい場合には（Ｓ６６、ＹＥＳ）、比較部２５は、比較の対象となった顔ＩＤ、撮像制御部２１に入力された左目用画像データ及び右目用画像データ、目開閉率ｘ１、目開閉率ｘ２及び補正指示を補正部２６に出力する。補正部２６は、比較部２５の比較の対象となった顔ＩＤ、撮像制御部２１に入力された左目用画像データ及び右目用画像データ、目開閉率ｘ１、目開閉率ｘ２及び補正指示を比較部２５から取得する。
【０１０６】
目開閉率ｘ２が目開閉率ｘ１より大きい場合、右目用画像データ及び左目用画像データの各目開閉率が一致しておらず、左目用画像データにおける目開閉率を右目用画像データにおける目開閉率に補正する必要がある。従って、補正部２６は、所定の拡大率を用いて、左目用画像データの顔ＩＤ（パラメータｊ）により対応付けられる被写体人物の顔の目の目開閉率を補正する（Ｓ６７）。ステップＳ６７における所定の拡大率は、例えば目開閉率ｘ２／目開閉率ｘ１である。
【０１０７】
一方、目開閉率ｘ１が目開閉率ｘ２より大きい場合には（Ｓ６６、ＹＥＳ）、比較部２５は、比較の対象となった顔ＩＤ、撮像制御部２１に入力された左目用画像データ及び右目用画像データ、目開閉率ｘ１、目開閉率ｘ２及び補正指示を補正部２６に出力する。補正部２６は、比較部２５の比較の対象となった顔ＩＤ、撮像制御部２１に入力された左目用画像データ及び右目用画像データ、目開閉率ｘ１、目開閉率ｘ２及び補正指示を比較部２５から取得する。
【０１０８】
目開閉率ｘ１が目開閉率ｘ２より大きい場合、右目用画像データ及び左目用画像データの各目開閉率が一致しておらず、右目用画像データにおける目開閉率を左目用画像データにおける目開閉率に補正する必要がある。従って、補正部２６は、所定の拡大率を用いて、右目用画像データの顔ＩＤ（パラメータｊ）により対応付けられる被写体人物の顔の目の目開閉率を補正する（Ｓ６８）。ステップＳ６８における所定の拡大率は、例えば目開閉率ｘ１／目開閉率ｘ２である。
【０１０９】
ステップＳ６７又はステップＳ６８の後、補正部２７は、パラメータｊをインクリメントし（Ｓ２８）、同一の左目用画像データにおいて次の顔ＩＤに対する目開閉率判定指示を目開閉率判定部２３に出力する。図１５において、ステップＳ２８においてインクリメントされたパラメータｊがパラメータｊの最大値を超えるまで（Ｓ２９、ＮＯ）、ステップＳ６４〜Ｓ６８及びステップＳ２８の各動作が繰り返される。パラメータｊがパラメータｊの最大値を超えると（Ｓ２９、ＹＥＳ）、図１５の撮像装置１ｃの左目用画像の撮像直後における動作は終了する。
【０１１０】
以上により、第３の実施形態の撮像装置１ｃは、例えば３Ｄ画像データを生成するために例えば右目用画像及び左目用画像の順に被写体人物を撮像する。撮像装置１ｃは、右目用画像データに対して判定された各被写体人物の目の目開閉率ｘ１を記憶部１３に記憶する。撮像装置１ｃは左目用画像データに対して判定された各被写体人物の目の目開閉率ｘ２を記憶部１３に記憶されている目開閉率ｘ１と比較し、大きい値を有する目開閉率を基に、左目用画像データ又は右目用画像データを補正する。
【０１１１】
従って、撮像装置１ｃによれば、３Ｄ画像を撮像した直後に、意図せずに行われた瞬き等によって被写体人物の目の目開閉率がつむっている目の状態又は半目の状態等の様に不適切な場合においても、左目用画像データ及び右目用画像データの各被写体人物の目の目開閉率を同程度に補正することができ、撮像の操作性を向上できる。
【０１１２】
（第１の実施形態の変形例１）
図１６は、第１の実施形態の変形例１の撮像装置１ｄのハードウェア構成を示すブロック図である。第１の実施形態の変形例１では、撮像装置１ｄは、制御部５１、タイマ５２、操作部１２、記憶部１３、撮像部１４、表示制御部１５、表示部１６、ＲＡＭ１７及びＲＯＭ１８を含む構成である。図１６の各部には、図２の対応する各部と同様に動作するものには同様の符号が付されている。図１６の各部の動作において、図２の対応する各部と同様に動作するものについては説明を省略し、異なる内容について説明する。
【０１１３】
第１の実施形態の変形例１では、制御部５１は、記憶部１３に記憶されている写真等の画像データの閲覧時間に応じて、比較部２５の比較時における補正許容率μを可変とするための重み係数を判定する。写真等の画像データの閲覧時間はタイマ５２により計測される。
【０１１４】
図１７は、第１の実施形態の変形例１の撮像装置１ｄの制御部５１の内部構成を詳細に示すブロック図である。制御部５１は、図１７に示す様に、撮像制御部２１、顔検出部２２、目開閉率判定部２３、目開閉率管理部２４、比較部２５、補正部２６及び重み係数判定部２７を含む構成である。図１７の各部には、図３の対応する各部と同様に動作するものには同様の符号が付されている。図１７の各部の動作において、図３の対応する各部と同様に動作するものについては説明を省略し、異なる内容について説明する。
【０１１５】
重み係数判定部２７は、タイマ５２から出力された画像データの閲覧時間を取得し、閲覧時間に応じて重み係数を判定する。閲覧時間は累計時間でも良く、この場合には重み係数判定部２７は、画像データ毎に記憶部１３に記憶されている累計時間情報を読み出し、タイマ５２から出力された閲覧時間を加算した後に重み係数を判定することが好ましい。
【０１１６】
重み係数判定部２７は、タイマ５２からの計測時間（累計時間も可。以下同様）と重み係数とを対応付けたテーブル（不図示）を用いて、例えばタイマ５２からの計測時間が３０秒である場合には重み係数を２．０と判定する。更に例えば、重み係数判定部２７は、タイマ５２からの計測時間が６０秒である場合には重み係数を２．５と判定する。重み係数判定部２７は、判定された重み係数を比較部２５に出力する。
【０１１７】
比較部２５は、重み係数判定部２７から出力された重み係数を取得する。第１の実施形態の変形例１においては、比較部２５は、上述した所定の補正許容率に重み係数を乗じた係数を、ステップＳ２６（図７参照）において目開閉率ｙに乗じるための係数として用いる。
【０１１８】
又、重み係数判定部２７は、判定された重み係数を比較部２５ではなく補正部２６に出力しても良い。この場合、補正部２６は、上述した所定の拡大率に重み係数を乗じた係数を、ステップＳ２７（図７参照）において画像データの目開閉率を更に拡大するための係数として用いる。なお、図１７において、重み係数判定部２７から補正部２６への矢印の図示は省略している。
【０１１９】
以上により、第１の実施形態の変形例１の撮像装置１ｄによれば、写真等の画像データの閲覧時間に応じて、目開閉率の比較時又は補正時における補正許容率又は拡大率を更に増大可能であり、閲覧性の高い被写体人物の目開閉率をより好ましく効果的に補正できる。
【０１２０】
（第１の実施形態の変形例２）
図１８は、第１の実施形態の変形例２の撮像装置１ｅのハードウェア構成を示すブロック図である。第１の実施形態の変形例２では、撮像装置１ｅは、制御部６１、通信部６２、操作部１２、記憶部１３、撮像部１４、表示制御部１５、表示部１６、ＲＡＭ１７及びＲＯＭ１８を含む構成である。図１８の各部には、図２の対応する各部と同様に動作するものには同様の符号が付されている。図１８の各部の動作において、図２の対応する各部と同様に動作するものについては説明を省略し、異なる内容について説明する。
【０１２１】
第１の実施形態の変形例２では、制御部６１は、記憶部１３に記憶されている写真等の画像データの送信回数の累計に応じて、比較部２５の比較時における補正許容率μを可変とするための重み係数を判定する。写真等の画像データの送信回数の累計は、記憶部１３に画像データ毎に記憶されている。
【０１２２】
通信部６２は、不図示の基地局装置等との情報又はデータの通信を制御可能な無線通信回路及びアンテナにより構成され、例えば制御部６１から出力された画像データを送信する。通信部６２は、画像データを送信した場合、当該画像データの画像ＩＤ及び画像データを送信した旨を制御部６１の重み係数判定部２７ｅ（後述参照）に出力する。なお、通信部６２は、上述した無線通信回路及びアンテナ素子により構成されても良い。
【０１２３】
図１９は、第１の実施形態の変形例２の撮像装置１ｅの制御部６１の内部構成を詳細に示すブロック図である。制御部６１は、図１９に示す様に、撮像制御部２１、顔検出部２２、目開閉率判定部２３、目開閉率管理部２４、比較部２５、補正部２６及び重み係数判定部２７ｅを含む構成である。図１９の各部には、図３の対応する各部と同様に動作するものには同様の符号が付されている。図１９の各部の動作において、図３の対応する各部と同様に動作するものについては説明を省略し、異なる内容について説明する。
【０１２４】
重み係数判定部２７ｅは、通信部６２から画像ＩＤ及び画像データを送信した旨を取得し、画像ＩＤを基に記憶部１３から当該画像ＩＤに対応付けて記憶されている画像データの送信回数を読み出す。重み係数判定部２７ｅは、読み出された送信回数に１を加算して送信回数の累計を算出する。
【０１２５】
重み係数判定部２７ｅは、送信回数の累計と重み係数とを対応付けたテーブル（不図示）を用いて、例えば送信回数の累計が３０回である場合には重み係数を２．０と判定する。更に例えば、重み係数判定部２７ｅは、送信回数の累計が６０回である場合には重み係数を３．０と判定する。重み係数判定部２７ｅは、判定された重み係数を比較部２５に出力する。
【０１２６】
比較部２５は、重み係数判定部２７ｅから出力された重み係数を取得する。第１の実施形態の変形例２においては、比較部２５は、上述した所定の補正許容率に重み係数を乗じた係数を、ステップＳ２６（図７参照）において目開閉率ｙに乗じるための係数として用いる。
【０１２７】
又、重み係数判定部２７ｅは、判定された重み係数を比較部２５ではなく補正部２６に出力しても良い。この場合、補正部２６は、上述した所定の拡大率に重み係数を乗じた係数を、ステップＳ２７（図７参照）において画像データの目開閉率を更に拡大するための係数として用いる。なお、図１９において、重み係数判定部２７ｅから補正部２６への矢印の図示は省略している。
【０１２８】
以上により、第１の実施形態の変形例２の撮像装置１ｅによれば、写真等の画像データの送信回数に応じて、目開閉率の比較時又は補正時における補正許容率又は拡大率を更に増大可能であり、ユーザ本人以外の知人等にも閲覧してもらいたい様な閲覧性の高い被写体人物の目開閉率をより好ましく効果的に補正できる。
【０１２９】
（第１の実施形態の変形例３）
図２０は、第１の実施形態の変形例３の撮像装置の制御部７１の内部構成を示すブロック図である。第１の実施形態の変形例３では、撮像装置のハードウェア構成は、第１の実施形態の撮像装置１のハードウェア構成と同様であるため、説明を省略する。
【０１３０】
第１の実施形態の変形例３では、制御部７１は、例えば以前にユーザの操作によって画像データの被写体人物が編集された場合、プレビュー時に、撮像制御部２１に入力された画像データではなく、以前編集された画像データを用いて、編集された画像データにおける各被写体人物の目の目開閉率を判定する。なお、編集された画像データは記憶部１３に記憶されているとする。
【０１３１】
制御部７１は、図２０に示す様に、撮像制御部２１、顔検出部２２、目開閉率判定部２３、目開閉率管理部２４、比較部２５、補正部２６及び画像編集部２８を含む構成である。図２０の各部には、図３の対応する各部と同様に動作するものには同様の符号が付されている。図２０の各部の動作において、図３の対応する各部と同様に動作するものについては説明を省略し、異なる内容について説明する。
【０１３２】
画像編集部２８は、ユーザの操作、例えば画像データの被写体人物の編集操作に応じて操作部１２から出力された操作信号を取得し、編集の対象となる画像データを編集する。画像編集部２８は、編集された画像データを記憶部１３に記憶する。画像編集部２８は、例えばＡさん、Ｂさん、Ｃさんの集合写真を撮像した旨を操作部１２又は撮像制御部２１から取得した場合、Ａさん、Ｂさん、Ｃさんの集合写真の編集された画像データを記憶部１３から取得する。画像編集部２８は、編集された画像データ及び顔検出指示を顔検出部２２に出力する。
【０１３３】
以上により、第１の実施形態の変形例３の撮像装置は、撮像直後における比較（図７のステップＳ２６参照）においてユーザ自身の嗜好が反映された編集後の画像データに対する目開閉率を用いて補正許容率を可変にすることができる。
【０１３４】
以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種実施の形態の変更例または修正例、更に各種実施の形態の組み合わせ例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１３５】
なお、上述した各実施形態において記憶部に記憶されている画像データは、当該画像データに対するユーザのお気に入り度情報も更に書誌情報として含まれていても良い。ユーザが撮像装置において書誌情報のお気に入り度を増加又は減少する様な操作を行った場合には、撮像装置は、お気に入り度の増加値又は減少値に応じて、お気に入り度と関連付けて記憶されている画像データにおける各被写体人物の目の目開閉率を増加又は減少する。なお、お気に入り度の増加値又は減少値と、画像データにおける各被写体人物の目の目開閉率との関係は予めテーブル等において規定されていることが好ましい。
【０１３６】
なお、上述した各実施形態において記憶部に記憶されている画像データを削除する旨のユーザ操作が行われた場合、撮像装置は、当該画像データが削除された旨及び画像データの内容を記憶する。更に、撮像装置は、当該削除された画像データと同様の内容の画像データが改めて入力された場合には、記憶部に記憶されている同様の内容の画像データが削除された旨を基に、当該画像データの各被写体人物の目の目開閉率の比較において補正許容率を減少しても良い。
【０１３７】
又、上述した各実施形態において記憶部には顔ＩＤと目開閉率とが関連付けられた目開閉率情報が記憶されているが、撮像装置は、所定時間経過後に、当該目開閉率情報を削除しても良い。この場合、例えば第１の実施形態において、撮像装置１は、プレビュー時と撮像終了直後とにおいてそれぞれ判定された目開閉率を直接比較する。例えばプレビュー時と撮像終了直後とにおいて被写体人物の目開閉率が同様に半目の状態であったとしても、撮像装置１は、被写体人物の本人の意思が尊重された態様で撮像することができる。
【産業上の利用可能性】
【０１３８】
本発明は、撮像された画像データにおける被写体人物の目の開閉率が不適切な場合に、被写体人物の目の開閉率を効果的に補正することができる撮像装置、動画再生装置及び撮像方法として有用である。
【符号の説明】
【０１３９】
１、１ｃ、１ｄ、１ｅ 撮像装置
１ｂ 動画再生装置
１１、５１、６１、７１ 制御部
１２ 操作部
１３ 記憶部
１４ 撮像部
１５ 表示制御部
１６ 表示部
１７ ＲＡＭ
１８ ＲＯＭ
２１ 撮像制御部
２２ 顔検出部
２３ 目開閉率判定部
２４ 目開閉率管理部
２５ 比較部
２６ 補正部
２７、２７ｅ 重み係数判定部
２８ 画像編集部
３１ 動画再生制御部
３２ 音声出力部
４１ 画像合成部
５２ タイマ
６２ 通信部
【技術分野】
【０００１】
本発明は、人物等の被写体を撮像する撮像装置、動画再生装置及び撮像方法に関する。
【背景技術】
【０００２】
一人又は複数の被写体人物の写真を撮像すると、被写体人物が撮像の瞬間に瞬きをしたり、又は半目の状態となったりする場合がある。人物の写真においては、目の閉じた状態又は半目の状態は品質的に好ましくなく、被写体人物も当該写真を気に入らない傾向が強い。写真の撮り直しが可能な場合には撮り直せば良いが、写真の撮り直しが困難な場合には、撮影後の写真の修正が必要となり煩雑な作業が要求される。
【０００３】
目の閉じた人物画像に対して目を開かせる画像処理を行うことによって撮影の失敗を修正する画像処理装置として、例えば、特許文献１が知られている。
【０００４】
特許文献１の画像処理装置は、入力された画像データが目のつむっている状態の人物の画像に対し、開いている状態の目の画像に修正する。具体的には、画像処理装置は、開いている目の画像のサンプルを複数用意し、当該用意されている複数のサンプルのうち選択されたサンプルの画像を用いて、目のつむっている画像に対し、同一人物の開いている目の画像を合成する。この様な画像処理装置によれば、目の閉じた人物画像に対して目を開かせる処理を行うことができ、撮影の失敗を修正した画像を出力できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１９７２９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の画像処理装置は、つむっている状態の目を開いている状態の目に修正するために、開いている目の画像のサンプルを複数保持するためのメモリが必要となり、当該画像処理装置の製造コストが高くなってしまう。
【０００７】
又、特許文献１の画像処理装置は、目のつむっている画像に対し、同一人物の開いている目の画像を合成する。目のつむっている画像を目の開いている画像に合成すると、不自然な画像となる可能性がある。このため、必ずしも被写体の人物本人の嗜好に沿う画像を出力することができるわけではないという課題が存在する。
【０００８】
本発明は、上述した従来の事情に鑑みてなされたものであり、撮像された画像データにおける被写体人物の目の開閉率が不適切な場合に、被写体人物の目の開閉率を効果的に補正する撮像装置、動画再生装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上述した撮像装置であって、入力された画像データにおける被写体人物の顔を検出する顔検出部と、前記画像データのうち前記顔検出部により検出された顔を基に、前記被写体人物の目の目開閉率を判定する目開閉率判定部と、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率を含む目開閉率情報を記憶する記憶部と、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率と、前記記憶されている前記目開閉率情報における目開閉率に所定の補正許容率を乗じた目開閉率とを比較する比較部と、前記比較部の比較結果に応じて、前記目開閉率判定部により判定された前記目開閉率を補正する補正部と、を備える。
【００１０】
又、本発明は、上述した動画再生装置であって、画像データ及び音声データを同期して再生可能な動画再生装置であって、前記動画再生装置における動画再生時又は一時停止操作直後に入力された前記画像データにおける被写体人物の顔を検出する顔検出部と、前記画像データのうち前記顔検出部により検出された顔を基に、前記被写体人物の目の目開閉率を判定する目開閉率判定部と、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率を含む目開閉率情報を記憶する記憶部と、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率と、前記記憶されている前記目開閉率情報における目開閉率に所定の補正許容率を乗じた目開閉率とを比較する比較部と、前記比較部の比較結果に応じて、前記目開閉率判定部により判定された前記目開閉率を補正する補正部と、を備え、前記補正部は、前記動画再生時に前記判定された目開閉率が前記一時停止操作直後に前記判定された目開閉率に前記所定の補正許容率を乗じた目開閉率より小さい場合に、所定の拡大率を用いて前記一時停止操作直後に前記判定された目開閉率を補正する。
【００１１】
又、本発明は、上述した撮像方法であって、入力された画像データにおける被写体人物の顔を検出するステップと、前記画像データのうち前記検出された顔を基に、前記被写体人物の目の目開閉率を判定するステップと、記憶部に、前記判定された前記被写体人物の目の目開閉率を含む目開閉率情報を記憶するステップと、前記判定された前記被写体人物の目の目開閉率と、前記記憶部に記憶されている前記目開閉率情報における目開閉率に所定の補正許容率を乗じた目開閉率と、を比較するステップと、前記比較結果に応じて、前記判定された前記目開閉率を補正するステップと、を備える。
【００１２】
上述した構成によれば、撮像された画像データにおける被写体人物の目の開閉率が不適切な場合に、被写体人物の目の開閉率を効果的に補正することができる。
【発明の効果】
【００１３】
本発明によれば、撮像された画像データにおける被写体人物の目の開閉率が不適切な場合に、被写体人物の目の開閉率を効果的に補正することができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態の撮像装置の動作概要を簡単に示す説明図
【図２】第１の実施形態の撮像装置のハードウェア構成を示すブロック図
【図３】第１の実施形態の撮像装置の制御部の内部構成を詳細に示すブロック図
【図４】目開閉率ｘの算出例の一部を示す説明図
【図５】目開閉率ｘの算出例の他の一部を示す説明図
【図６】第１の実施形態のプレビュー時における撮像装置の動作を説明するフローチャート
【図７】第１の実施形態の撮像終了直後における撮像装置の動作を説明するフローチャート
【図８】第２の実施形態の動画再生装置の動作概要を簡単に示す説明図
【図９】第２の実施形態の動画再生装置のハードウェア構成を示すブロック図
【図１０】第２の実施形態の動画再生時における動画再生装置の動作を説明するフローチャート
【図１１】第２の実施形態の動画再生中に一時停止操作を受け付けた直後の動画再生装置の動作を説明するフローチャート
【図１２】第３の実施形態の撮像装置の動作概要を簡単に示す説明図
【図１３】第３の実施形態の撮像装置のハードウェア構成を示すブロック図
【図１４】第３の実施形態の右目用画像の撮像直後における撮像装置の動作を説明するフローチャート
【図１５】第３の実施形態の左目用画像の撮像直後における撮像装置の動作を説明するフローチャート
【図１６】第１の実施形態の変形例１の撮像装置のハードウェア構成を示すブロック図
【図１７】第１の実施形態の変形例１の撮像装置の制御部の内部構成を詳細に示すブロック図
【図１８】第１の実施形態の変形例２の撮像装置のハードウェア構成を示すブロック図
【図１９】第１の実施形態の変形例２の撮像装置の制御部の内部構成を詳細に示すブロック図
【図２０】第１の実施形態の変形例３の撮像装置の制御部の内部構成を詳細に示すブロック図
【発明を実施するための形態】
【００１５】
以下、本発明に係る撮像装置、動画再生装置及び撮像方法の実施形態について、図面を参照して説明する。本発明に係る撮像装置及び動画再生装置は、被写体を撮像可能なカメラ機能を搭載する電子機器であり、例えば携帯電話機、スマートフォン又はデジタルスチルカメラ等が挙げられる。
【００１６】
なお、本発明は、撮像装置若しくは動画再生装置の様な装置、又は撮像装置若しくは動画再生装置をコンピュータとして動作させるためのプログラムとして表現することも可能である。更に、本発明は、撮像装置又は動画再生装置により実行される処理（ステップ）を含む撮像方法又は動画再生方法として表現することも可能である。即ち、本発明は、装置、方法及びプログラムのうちいずれのカテゴリーでも表現可能である。
【００１７】
以下の各実施形態において、本発明に係る撮像装置又は動画再生装置により撮像された画像データのうち被写体人物の顔の両目の開閉度合いを示すパラメータを「目開閉率」と定義する。目開閉率の内容については図４及び図５を用いて詳細に説明する。
【００１８】
（第１の実施形態）
図１は、第１の実施形態の撮像装置１の動作概要を簡単に示す説明図である。第１の実施形態では、図１に示す様に、撮像装置１は、Ａさん、Ｂさん、Ｃさんの集合写真の撮像のプレビュー時に、各被写体人物（Ａさん、Ｂさん、Ｃさん）の目開閉率を記憶する。撮像装置１は、集合写真を撮像した直後に、撮像された画像データの各被写体人物（Ａさん、Ｂさん、Ｃさん）の目開閉率のいずれか又は全部がプレビュー時の各目開閉率に比べて相当に小さい場合に、撮像された画像データの被写体人物の目開閉率を補正する。
【００１９】
図１では、撮像された画像データにおいてＢさんの目開閉率がプレビュー時の画像データにおけるＢさんの目開閉率に比べて相当に小さいことが示されている。撮像装置１は、プレビュー時の画像データにおけるＢさんの目開閉率を用いて、撮像された画像データのＢさんの目開閉率を拡大する様に補正する。
【００２０】
図２は、第１の実施形態の撮像装置１のハードウェア構成を示すブロック図である。撮像装置１は、図２に示す様に、制御部１１、操作部１２、記憶部１３、撮像部１４、表示制御部１５、表示部１６、ＲＡＭ（Random Access Memory）１７及びＲＯＭ（Read Only Memory）１８を含む構成である。
【００２１】
制御部１１は、撮像装置１に内蔵されるＣＰＵ（Central Processing Unit）を用いて構成され、撮像装置１の各部の動作を制御する。図３は、第１の実施形態の撮像装置１の制御部１１の内部構成を詳細に示すブロック図である。図３の各部の動作は、撮像装置１に内蔵されるＣＰＵにより実現される。
【００２２】
制御部１１は、図３に示す様に、撮像制御部２１、顔検出部２２、目開閉率判定部２３、目開閉率管理部２４、比較部２５及び補正部２６を含む構成である。
【００２３】
撮像制御部２１は、後述する操作部１２からのユーザの操作、例えばＡさん、Ｂさん、Ｃさんの集合写真を撮像（撮影）する旨の操作信号を入力する。撮像制御部２１は、入力された操作信号を基に、撮像信号を撮像部１４に出力する。撮像制御部２１は、撮像部１４により撮像された画像データを取得し、当該画像データ及び顔検出指示を顔検出部２２に出力する。
【００２４】
顔検出部２２は、画像データ及び顔検出指示を撮像制御部２１から取得し、顔検出指示を基に、画像データにおける被写体人物の顔を検出する。なお、画像データにおける被写体人物の顔を検出する技術は既に公知である。顔検出部２２は、例えば図１の画像データにおける被写体人物の顔を３つ検出し、検出された各顔に対して当該各顔を識別する顔ＩＤ（Identification）を付与する。顔検出部２２は、顔検出結果及び目開閉率判定指示を目開閉率判定部２３に出力する。顔検出結果は、顔検出部２２により付与された顔ＩＤと、顔検出部２２により顔検出の対象となった画像データとを含む。
【００２５】
目開閉率判定部２３は、顔検出結果及び目開閉率判定指示を取得し、顔ＩＤと共に取得された画像データ及び目開閉率判定指示を基に、同画像データにおける被写体人物の目の目開閉率を判定する。目開閉率判定部２３は、顔ＩＤと、同顔ＩＤと共に取得された画像データに対する判定結果（目開閉率）とを目開閉率管理部２４に出力する。
【００２６】
ここで、目開閉率について図４及び図５を参照して説明する。図４は目開閉率ｘの算出例の一部を示す説明図であり、図５は目開閉率ｘの算出例の他の一部を示す説明図である。以下の説明において、目開閉率判定部２３により判定された目開閉率をパラメータｘで表し、後述する記憶部１３に記憶されている目開閉率をパラメータｙで表す。
【００２７】
図４の第１例において、目開閉率ｘは、顔検出部２２により検出された顔のうち、顔の鉛直方向における高さＨｆに対する片目（例：右目）の鉛直方向における高さＨｅで表される両目の開閉度合いである。従って、図４の第１例においては、目開閉率ｘは数式（１）により示される。
【００２８】
【数１】
【００２９】
又、図４の第２例において、目開閉率ｘは、顔検出部２２により検出された顔のうち、顔の水平方向における横幅Ｗｆに対する片目（例：右目）の鉛直方向における高さＨｅで表される両目の開閉度合いでも良い。なお、上述した片目として左目を用いても良く、以下同様である。従って、図４の第２例においては、目開閉率ｘは数式（２）により示される。
【００３０】
【数２】
【００３１】
又、図５の第３例において、目開閉率ｘは、顔検出部２２により検出された顔のうち、顔の水平方向における片目（例：右目）の横幅Ｗｅに対する片目（例：右目）の鉛直方向における高さＨｅで表される両目の開閉度合いでも良い。従って、図５の第３例においては、目開閉率ｘは数式（３）により示される。
【００３２】
【数３】
【００３３】
又、図５の第４例において、目開閉率ｘは、顔検出部２２により検出された顔のうち、顔の水平方向における両目の間の距離Ｂｅに対する片目（例：右目）の鉛直方向における高さＨｅで表される両目の開閉度合いでも良い。従って、図４の第４例においては、目開閉率ｘは数式（４）により示される。
【００３４】
【数４】
【００３５】
なお、数式（１）〜（４）のうちいずれかを用いた目開閉率ｘの算出において、被写体人物の顔の片目（例：右目又は左目）の鉛直方向における高さＨｅがもう片方の目（例：左目又は右目）の高さと異なる場合があり得る。目開閉率判定部２３は、数式（１）〜（４）のうちいずれかを用いて目開閉率ｘを算出する場合において、両目の鉛直方向における各高さを平均しても良い。これにより、目開閉率判定部２３は、目開閉率ｘを高精度に算出できる。また、目開閉率判定部２３は、数式（１）〜（４）のうちいずれかを用いた目開閉率ｘの算出において、左目及び右目の鉛直方向における各高さＨｅの大きい値を選択してもよい。
【００３６】
目開閉率管理部２４は、顔ＩＤと、同顔ＩＤと共に出力された目開閉率ｘを目開閉率判定部２３から取得する。目開閉率管理部２４は、記憶部１３に同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙを取得し、顔ＩＤ、目開閉率ｘ、目開閉率ｙ及び目開閉率ｘと目開閉率ｙとの比較指示を比較部２５に出力する。目開閉率管理部２４は、比較部２５から出力された比較結果、比較の対象となった顔ＩＤ及び目開閉率ｘを基に、記憶部１３に同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙを目開閉率ｘに更新する。なお、比較部２５からの比較結果は後述する。
【００３７】
比較部２５は、顔ＩＤ、目開閉率ｘ、目開閉率ｙ、及び目開閉率ｘと目開閉率ｙとの比較指示を目開閉率管理部２４から取得する。比較部２５は、顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙと、目開閉率判定部２３により判定された目開閉率ｘとを比較する。比較部２５は、目開閉率ｘが目開閉率ｙより大きい場合には、目開閉率ｘが目開閉率ｙより大きいという比較結果、比較の対象となった顔ＩＤ、及び目開閉率ｘを目開閉率管理部２４に出力する。
【００３８】
又、比較部２５は、目開閉率ｙに所定の補正許容率μを乗じたパラメータμｙが目開閉率ｘより大きい場合には、比較の対象となった顔ＩＤ、撮像制御部２１に入力された画像データ、目開閉率ｘ、目開閉率ｙ及び補正指示を補正部２６に出力する。更に、比較部２５は、目開閉率ｙに所定の補正許容率μを乗じたパラメータμｙが目開閉率ｘ以下である場合には、撮像制御部２１に入力された画像データを補正部２６において補正することなく表示部１６に表示する様に、表示指示を表示制御部１５に出力する。
【００３９】
ここで、補正許容率μは、例えば被写体人物の目が少しだけつむっている様な顔の画像データが撮像された場合に当該目を拡大する様な補正を回避するために設けられた所定値であって、例えば０．８等である。但し、この補正許容率μは、比較部２５の動作において予め規定されているとする。
【００４０】
補正部２６は、比較部２５の比較の対象となった顔ＩＤ、撮像制御部２１に入力された画像データ、目開閉率ｘ、目開閉率ｙ及び補正指示を比較部２５から取得する。補正部２６は、所定の拡大率を用いて、画像データの顔ＩＤにより対応付けられる被写体人物の目の目開閉率を補正する（図１参照）。ここで、所定の拡大率は、例えば目開閉率ｙ／目開閉率ｘである。補正部２６は、顔ＩＤにより対応付けられる被写体人物の目の目開閉率が補正された画像データ、及び当該画像データを表示部１６に表示する旨の表示指示を表示制御部１５に出力する。
【００４１】
操作部１２は、ユーザが撮像装置１に対する操作を入力するためのユーザインタフェースであり、ユーザの操作内容に応じた操作信号を制御部１１に出力する。例えば、操作部１２は、ユーザの操作内容、例えばＡさん、Ｂさん、Ｃさんの集合写真を撮像（撮影）する旨の操作信号を制御部１１に出力する。
【００４２】
操作部１２は、例えば、撮像装置１が携帯電話機である場合には、電話番号等を入力するテンキー、オンフック又はオフフックを行う通話器キー及びファンクションキー等の各種キーで構成可能である。又、操作部１２は、表示部１６の上に配置され、ユーザの指又はスタイラスペン等による入力操作を受け付け可能なタッチパネルで構成されても良い。
【００４３】
記憶部１３は、撮像装置１に内蔵されるハードディスク又はフラッシュメモリを用いて構成され、撮像部１４により撮像された画像データ、及び、顔ＩＤと同顔ＩＤに対応付けられた目開閉率ｙとが関連付けられた目開閉率情報を記憶している。
【００４４】
撮像部１４は、撮像装置１に内蔵されるレンズ、ファインダー及びＣＣＤ（Charged Couples Device）素子を含みカメラ機能を搭載する機構を用いて構成され、制御部１１から出力された撮像信号を基に、ファインダーを介して映し出されている被写体（例：人物）を撮像する。撮像部１４は、撮像により生成された画像データを制御部１１に出力する。
【００４５】
表示制御部１５は、撮像装置１に内蔵されるＣＰＵを用いて構成され、制御部１１から出力された表示指示及び画像データを取得し、表示指示に基づいて画像データを表示部１６に表示する。
【００４６】
表示部１６は、ＬＣＤ（Liquid Crystal Display）を用いて構成され、表示制御部１５の制御の下で、ユーザの操作に応じて撮像部１４によって撮像された画像データ、又は当該画像データが制御部１１によって補正された補正後の画像データを表示する。
【００４７】
ＲＡＭ１７は、制御部１１、操作部１２、撮像部１４又は表示制御部１５の各動作におけるワークメモリとして動作する。なお、図２においては、操作部１２、撮像部１４又は表示制御部１５からＲＡＭ１７への矢印の図示を省略している。
【００４８】
ＲＯＭ１８は、撮像装置１における制御部１１及び表示制御部１５の各動作が予め規定されたプログラムを記憶している。なお、制御部１１は、ハードウェア又はソフトウェアで構成することが可能である。特に、制御部１１がソフトウェアにより構成される際には、撮像装置１に内蔵されているＣＰＵが制御部１１の各動作が予め規定されたプログラムをＲＯＭ１８から読み出すことにより、制御部１１が動作可能となる。なお、図２においては、ＲＯＭ１８への矢印の図示を省略している。
【００４９】
次に、第１の実施形態のプレビュー時における撮像装置１の動作を、図６を参照して詳細に説明する。図６は、第１の実施形態のプレビュー時における撮像装置１の動作を説明するフローチャートである。図６の説明においては、必要に応じて図１の撮像装置１の動作概要を参照する。
【００５０】
図６において、撮像制御部２１は、撮像部１４により撮像された画像データを取得し（Ｓ１１）、当該画像データ及び顔検出指示を顔検出部２２に出力する。顔検出部２２は、画像データ及び顔検出指示を撮像制御部２１から取得し、画像データにおける被写体人物の顔を検出する（Ｓ１２）。ステップＳ１２の顔検出によって検出された被写体人物は３人であるとする（図１参照）。
【００５１】
顔検出部２２は、ステップＳ１２の顔検出によって検出された被写体人物を表す顔ＩＤのパラメータをｊと定義し、第１番目の被写体人物の顔ＩＤ（即ちｊ＝１、Ｓ１３）における顔検出結果及び目開閉率判定指示を目開閉率判定部２３に出力する。なお、第１番目の被写体人物の顔ＩＤにおける顔検出結果は、顔ＩＤと、顔検出部２２により顔検出の対象となった画像データとを含む。又、パラメータｊの最大値は、ステップＳ１２の顔検出時に顔検出部２２によって判明しているとする。
【００５２】
目開閉率判定部２３は、顔検出結果及び目開閉率判定指示を顔検出部２２から取得し、顔ＩＤと共に取得された画像データを基に、同画像データにおける第１番目の被写体人物の目の目開閉率ｘを判定する（Ｓ１４）。目開閉率判定部２３は、顔ＩＤと、同顔ＩＤと共に取得された画像データに対する判定結果（目開閉率ｘ）とを目開閉率管理部２４に出力する。
【００５３】
目開閉率管理部２４は、顔ＩＤと、同顔ＩＤと共に出力された目開閉率ｘを目開閉率判定部２３から取得する。目開閉率管理部２４は、記憶部１３に同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙを取得し（Ｓ１５）、顔ＩＤ、目開閉率ｘ、目開閉率ｙ及び目開閉率ｘと目開閉率ｙとの比較指示を比較部２５に出力する。
【００５４】
比較部２５は、顔ＩＤ、目開閉率ｘ、目開閉率ｙ、及び目開閉率ｘと目開閉率ｙとの比較指示を目開閉率管理部２４から取得する。比較部２５は、顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙと、目開閉率判定部２３により判定された目開閉率ｘとを比較する（Ｓ１６）。
【００５５】
目開閉率ｘが目開閉率ｙより大きい場合には（Ｓ１６、ＹＥＳ）、比較部２５は、目開閉率ｘが目開閉率ｙより大きいという比較結果、比較の対象となった顔ＩＤ、及び目開閉率ｘを目開閉率管理部２４に出力する。目開閉率管理部２４は、比較部２５から出力された比較結果、比較の対象となった顔ＩＤ及び目開閉率ｘを基に、記憶部１３に同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙを目開閉率ｘに更新する（Ｓ１７）。目開閉率管理部２４は、記憶部１３に同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙを目開閉率ｘに更新した旨を比較部２５に出力する。
【００５６】
目開閉率ｘが目開閉率ｙ未満である場合には（Ｓ１６、ＮＯ）、又はステップＳ１７の後、比較部２５は、パラメータｊをインクリメントし（Ｓ１８）、同一の画像データにおいて次の顔ＩＤに対する目開閉率判定指示を目開閉率判定部２３に出力する。図６において、ステップＳ１８においてインクリメントされたパラメータｊがパラメータｊの最大値を超えるまで（Ｓ１９、ＮＯ）、ステップＳ１４〜Ｓ１８の各動作が繰り返される。パラメータｊがパラメータｊの最大値を超えると（Ｓ１９、ＹＥＳ）、図６の撮像装置１のプレビュー時における動作は終了する。
【００５７】
次に、第１の実施形態の撮像終了直後における撮像装置１の動作を、図７を参照して説明する。図７は、第１の実施形態の撮像終了直後における撮像装置１の動作を説明するフローチャートである。図７の説明においては、必要に応じて図１の撮像装置１の動作概要を参照する。
【００５８】
図７において、撮像制御部２１は、撮像部１４により撮像された画像データを取得し（Ｓ２１）、当該画像データ及び顔検出指示を顔検出部２２に出力する。顔検出部２２は、画像データ及び顔検出指示を撮像制御部２１から取得し、画像データにおける被写体人物の顔を検出する（Ｓ２２）。ステップＳ２２の顔検出によって検出された被写体人物は、図６のプレビュー時と同様に３人であるとする（図１参照）。
【００５９】
顔検出部２２は、ステップＳ１２の顔検出によって検出された被写体人物を表す顔ＩＤのパラメータをｊと定義し、第１番目の被写体人物の顔ＩＤ（即ちｊ＝１、Ｓ２３）における顔検出結果及び目開閉率判定指示を目開閉率判定部２３に出力する。
【００６０】
目開閉率判定部２３は、顔検出結果及び目開閉率判定指示を顔検出部２２から取得し、顔ＩＤと共に取得された画像データを基に、同画像データにおける第１番目の被写体人物の目の目開閉率ｘを判定する（Ｓ２４）。目開閉率判定部２３は、顔ＩＤと、同顔ＩＤと共に取得された画像データに対する判定結果（目開閉率ｘ）とを目開閉率管理部２４に出力する。
【００６１】
目開閉率管理部２４は、顔ＩＤと、同顔ＩＤと共に出力された目開閉率ｘを目開閉率判定部２３から取得する。目開閉率管理部２４は、記憶部１３に同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙを取得し（Ｓ２５）、顔ＩＤ、目開閉率ｘ、目開閉率ｙ及び目開閉率ｘと目開閉率ｙとの比較指示を比較部２５に出力する。
【００６２】
比較部２５は、顔ＩＤ、目開閉率ｘ、目開閉率ｙ、及び目開閉率ｘと目開閉率ｙとの比較指示を目開閉率管理部２４から取得する。比較部２５は、目開閉率ｙに所定の補正許容率μを乗じたパラメータμｙと、目開閉率ｘとを比較する（Ｓ２６）。
【００６３】
パラメータμｙが目開閉率ｘより大きい場合には（Ｓ２６、ＹＥＳ）、比較部２５は、比較の対象となった顔ＩＤ、撮像制御部２１に入力された画像データ、目開閉率ｘ、目開閉率ｙ及び補正指示を補正部２６に出力する。補正部２６は、比較部２５の比較の対象となった顔ＩＤ、撮像制御部２１に入力された画像データ、目開閉率ｘ、目開閉率ｙ及び補正指示を比較部２５から取得する。補正部２６は、上述した所定の拡大率を用いて、画像データの顔ＩＤ（パラメータｊ）により対応付けられる被写体人物の顔の目の目開閉率を補正する（Ｓ２７）。
【００６４】
ステップＳ２７の後、補正部２７は、パラメータｊをインクリメントし（Ｓ２８）、同一の画像データにおいて次の顔ＩＤに対する目開閉率判定指示を目開閉率判定部２３に出力する。なお、図３においては、補正部２７から目開閉率判定部２３への矢印の入力は省略している。図７において、ステップＳ２８においてインクリメントされたパラメータｊがパラメータｊの最大値を超えるまで（Ｓ２９、ＮＯ）、ステップＳ２４〜Ｓ２８の各動作が繰り返される。パラメータｊがパラメータｊの最大値を超えると（Ｓ２９、ＹＥＳ）、図７の撮像装置１の撮像終了後における動作は終了する。
【００６５】
一方、パラメータμｙが目開閉率ｘ以下である場合には（Ｓ２６、ＮＯ）、比較部２５は、撮像制御部２１に入力された画像データを補正部２６において補正することなく表示部１６に表示する様に、表示指示を表示制御部１５に出力する。この後、比較部２５は、パラメータｊをインクリメントし（Ｓ２８）、同一の画像データにおいて次の顔ＩＤに対する目開閉率判定指示を目開閉率判定部２３に出力する。なお、図３においては、補正部２７から目開閉率判定部２３への矢印の入力は省略している。図７において、ステップＳ２８においてインクリメントされたパラメータｊがパラメータｊの最大値を超えるまで（Ｓ２９、ＮＯ）、ステップＳ２４〜Ｓ２８の各動作が繰り返される。パラメータｊがパラメータｊの最大値を超えると（Ｓ２９、ＹＥＳ）、図７の撮像装置１の撮像終了後における動作は終了する。
【００６６】
以上により、第１の実施形態の撮像装置１は、例えば複数人の被写体人物の集合写真を撮像する場合において、プレビュー時に判定された各被写体人物の目の目開閉率と、記憶部に予め同被写体人物の顔ＩＤと関連付けて記憶されている目開閉率情報の目開閉率とを比較する。比較の結果、プレビュー時において判定された各被写体人物の目の目開閉率が記憶部に記憶されている目開閉率より大きい場合には、撮像装置１は記憶部１３に記憶されている目開閉率を更新する。
【００６７】
即ち、被写体人物毎に目の大きさは異なるため、目の拡大補正を全被写体人物に対して一律に行うと、目の大きさが被写体人物本人の意図しない大きさに補正されてしまう。この様な一律な拡大補正を回避するため、撮像装置１は、プレビュー時に、各被写体人物の顔ＩＤに対して判定された目開閉率と、記憶部に記憶されている目開閉率とを比較し、目をつむっている状態又は半目の状態の写真とならない様に大きい値を有する目開閉率を記憶部に記憶する。
【００６８】
更に、撮像装置１は、集合写真の撮像直後に、同様に各被写体人物の目の目開閉率を判定し、この目開閉率と記憶部に同顔ＩＤと関連付けて記憶されている目開閉率情報の目開閉率とを比較する。この比較結果に応じて、撮像装置１は、撮像された画像データにおいて各被写体人物の目の目開閉率が当該各被写体人物の意図しない様な目開閉率となった場合でも、プレビュー時において記憶部に記憶された目開閉率を用いて目を拡大可能に補正する。
【００６９】
従って、撮像装置１によれば、撮像された画像データにおける被写体の人物の目の開閉率が不適切な場合に、被写体の人物の目の開閉率を効果的に補正することができる。
【００７０】
（第２の実施形態）
図８は、第２の実施形態の動画再生装置の動作概要を簡単に示す説明図である。第２の実施形態では、図８に示す様に、動画再生装置は、記憶部に記憶されているＡさん、Ｂさん、Ｃさんの動画データを再生している時に、動画を構成している各画像データの各被写体人物（Ａさん、Ｂさん、Ｃさん）の目開閉率を判定して記憶する。動画再生装置は、ユーザの操作として一時停止操作を受け付けた時に、一時停止操作を受け付けた時の画像データの各被写体人物（Ａさん、Ｂさん、Ｃさん）の目開閉率のいずれか又は全部が動作再生時に記憶された各目開閉率に比べて相当に小さい場合に、一時停止操作を受け付けた時の画像データの被写体人物の目開閉率を補正する。
【００７１】
図８では、一時停止操作を受け付けた時の画像データにおいてＢさんの目開閉率が動作再生時のＢさんの目開閉率に比べて相当に小さいことが示されている。動画再生装置は、動画再生時の画像データにおけるＢさんの目開閉率を用いて、一時停止操作を受け付けた時の画像データのＢさんの目開閉率を補正する。
【００７２】
図９は、第２の実施形態の動画再生装置１ｂのハードウェア構成を示すブロック図である。動画再生装置１ｂは、図９に示す様に、制御部１１、操作部１２ｂ、記憶部１３、撮像部１４、動作再生制御部３１、表示部１６、音声出力部３２、ＲＡＭ１７及びＲＯＭ１８を含む構成である。図９において、図２の各部の説明と同様の内容の説明は省略し、異なる内容について説明する。なお、図９の動画再生装置１ｂは撮像部１４を含む様に構成しているが、撮像部１４を含まない様に構成しても良い。更に、動画再生装置１ｂは、撮像部１４を含む様に構成している場合には、撮像部１４を含むという観点において撮像装置とも考えられても良い。
【００７３】
記憶部１３は、第２の実施形態の動画再生装置１ｂが再生する動画データを記憶している。
【００７４】
動画再生制御部３１は、動画再生装置１ｂに内蔵されるＣＰＵを用いて構成され、操作部１２ｂが受け付けたユーザ操作により選択された動画再生の操作信号を取得する。動画再生制御部３１は、操作部１２ｂからの動画再生の操作信号に基づいて、再生対象となる動画データを記憶部１３から読み出す。
【００７５】
動画再生制御部３１は、読み出された動画データを基に、操作部１２ｂが受け付けたユーザ操作により選択された動画の映像信号（画像信号）及び音声信号を同期させる様に、同映像信号を表示部１６に、同音声信号を音声出力部３２にそれぞれ出力する。更に、動画再生制御部３１は、動画データの再生時には、動画データを構成する複数の画像データを制御部１１に出力している。
【００７６】
動画再生制御部３１は、操作部１２ｂがユーザ操作として再生中の動画の一時停止操作を受け付けた時、操作部１２ｂから動画の一時停止操作の操作信号を取得する。動画再生制御部３１は、操作部１２ｂからの動画の一時停止操作の操作信号に基づいて、一時停止時における動画を構成する画像データを制御部１１に出力する。
【００７７】
音声出力部３２は、スピーカ等で構成され、動画再生制御部３１から出力された動画の音声信号を入力し、同音声信号を出力する。
【００７８】
次に、第２の実施形態の動画再生時における動画再生装置１ｂの動作を、図１０を参照して説明する。図１０は、第２の実施形態の動作再生時における動画再生装置１ｂの動作を説明するフローチャートである。図１０の説明においては、図６の説明と重複する内容の説明は省略する。なお、上述した様に、図１０の説明の前提として、動画再生装置１ｂの動画再生制御部３１は、操作部１２ｂが受け付けたユーザ操作により選択された動画を再生しているとする。
【００７９】
図１０において、撮像制御部２１は、動画再生制御部３１から出力された画像データを取得する（Ｓ３１）。撮像制御部２１は、動画再生制御部３１から出力された画像データ及び顔検出指示を顔検出部２２に出力する。なお、図１０においてステップＳ３１以降の処理は、図６のステップＳ１２〜Ｓ１９と同様であるため、説明を省略する。
【００８０】
次に、第２の実施形態の動画再生中に一時停止操作を受け付けた直後の動画再生装置１ｂの動作を、図１１を参照して説明する。図１１は、第２の実施形態の動画再生中に一時停止操作を受け付けた直後の時における動画再生装置の動作を説明するフローチャートである。図１１の説明においては、必要に応じて図８の動画再生装置１ｂの動作概要を参照し、図７の説明と重複する内容の説明は省略する。なお、上述した様に、図１１の説明の前提として、動画再生装置１ｂの動画再生制御部３１は、動画を再生している時に操作部１２ｂからユーザ操作（動画の一時停止操作）を受け付けた時であるとする。
【００８１】
図１１において、動画再生制御部３１は、操作部１２ｂがユーザ操作として再生中の動画の一時停止操作を受け付けた時、操作部１２ｂから動画の一時停止操作の操作信号を取得する。動画再生制御部３１は、操作部１２ｂからの動画の一時停止操作の操作信号に基づいて、一時停止時における動画を構成する画像データを制御部１１に出力する。
【００８２】
撮像制御部２１は、動画再生制御部３１から出力された一時停止操作時における画像データを取得する（Ｓ４１）。撮像制御部２１は、動画再生制御部３１から出力された画像データ及び顔検出指示を顔検出部２２に出力する。なお、図１１においてステップＳ４１以降の処理は、図７のステップＳ２２〜Ｓ２９と同様であるため、説明を省略する。
【００８３】
以上により、第２の実施形態の動画再生装置１ｂは、例えば記憶部１３に記憶されている動画データを再生中に、当該動画データを構成する各画像データに対して判定された各被写体人物の目の目開閉率と、記憶部に予め同被写体人物の顔ＩＤと関連付けて記憶されている目開閉率情報の目開閉率とを比較する。比較の結果、再生時において動画データを構成する各画像データにおいて判定された各被写体人物の目の目開閉率が記憶部に記憶されている目開閉率より大きい場合には、撮像装置１ｂは記憶部１３に記憶されている目開閉率を更新する。
【００８４】
更に、動画再生装置１ｂは、動画データの再生中においてユーザから一時停止操作を受け付けた直後に、同様に一時停止操作を受け付けた時における動画データを構成する画像データに対して各被写体人物の目の目開閉率を判定し、この目開閉率と記憶部に同顔ＩＤと関連付けて記憶されている目開閉率情報の目開閉率とを比較する。この比較結果に応じて、動画再生装置１ｂは、一時停止操作を受け付けた時における画像データにおいて各被写体人物の目の目開閉率が当該各被写体人物の意図しない様な目開閉率となった場合でも、動画再生時において記憶部に記憶された目開閉率を用いて目を拡大可能に補正する。
【００８５】
従って、動画再生装置１ｂによれば、第１の実施形態の撮像装置１と同様に、一時停止操作を受け付けた時の動画データを構成する画像データにおける被写体の人物の目の開閉率が不適切な場合に、被写体の人物の目の開閉率を効果的に補正することができる。
【００８６】
（第３の実施形態）
図１２は、第３の実施形態の撮像装置１ｃの動作概要を簡単に示す説明図である。第３の実施形態では、図１２に示す様に、撮像装置１ｃは、例えばＡさん、Ｂさん、Ｃさんの３Ｄ集合写真を撮像するために、例えば先ず右目用画像を撮像し、続けて左目用画像を撮像する。撮像装置１ｃは、上述した各実施形態の様に、右目用画像データ及び左目用画像データに対して、それぞれ各被写体人物（Ａさん、Ｂさん、Ｃさん）の目開閉率を判定し、各目開閉率を比較する。
【００８７】
撮像装置１ｃは、図１２に示す様に、左目用画像データのＢさんの目開閉率が右目用画像データのＢさんの目開閉率より相当に小さい場合には、左目用画像データのＢさんの目開閉率を、右目用画像データのＢさんの目開閉率と同じになる様に補正する。又、同様に撮像装置１ｃは、左目用画像データのＢさんの目開閉率が右目用画像データのＢさんの目開閉率より相当に大きい場合には、逆に右目用画像データのＢさんの目開閉率を、左目用画像データのＢさんの目開閉率と同じになる様に補正する。撮像装置１ｃは、右目用画像データと補正された左目用画像データとを画像合成することによって、Ａさん、Ｂさん、Ｃさんの３Ｄ集合写真を生成する。又、以下の第３の実施形態においては、右目用画像及び左目用画像の順に撮像されるとして説明するが、左目用画像及び右目用画像の順に撮像されても良い。
【００８８】
図１３は、第３の実施形態の撮像装置１ｃのハードウェア構成を示すブロック図である。撮像装置１ｃは、図１３に示す様に、制御部１１、操作部１２、記憶部１３、撮像部１４ｃ、画像合成部４１、表示制御部１５、表示部１６、ＲＡＭ１７及びＲＡＭ１８を含む構成である。図１３において、図２の各部の説明と同様の内容の説明は省略し、異なる内容について説明する。
【００８９】
撮像部１４ｃは、撮像装置１ｃに内蔵されるレンズ、ファインダー及びＣＣＤ素子を含みカメラ機能を搭載する機構を用いて構成され、制御部１１から出力された撮像信号を基に、ファインダーを介して映し出されている被写体を撮像する。更に、撮像部１４ｃは、３Ｄ画像を撮像可能であり、例えば右目用画像を撮像し、続けて左目用画像を撮像する。撮像部１４は、撮像により生成された左目用画像データ及び右目用画像をそれぞれ制御部１１に出力する。
【００９０】
画像合成部４１は、制御部１１から出力された左目用画像データ及び右目用画像データを取得し、左目用画像データ及び右目用画像データを画像合成して３Ｄ画像データを生成する。画像合成部４１は、生成された３Ｄ画像データを表示制御部１５に出力する。
【００９１】
次に、第３の実施形態の右目用画像の撮像直後における撮像装置１ｃの動作を、図１４を参照して説明する。図１４は、第３の実施形態の右目用画像の撮像直後における撮像装置１ｃの動作を説明するフローチャートである。図１４の説明においては、必要に応じて図１２の撮像装置１ｃの動作概要を参照する。
【００９２】
図１４において、撮像制御部２１は、撮像部１４ｃにより撮像された右目用画像データを取得し（Ｓ５１）、当該右目用画像データ及び顔検出指示を顔検出部２２に出力する。顔検出部２２は、右目用画像データ及び顔検出指示を撮像制御部２１から取得し、右目用画像データにおける被写体人物の顔を検出する（Ｓ１２）。ステップＳ１２の顔検出によって検出された被写体人物は３人であるとする（図１２参照）。
【００９３】
顔検出部２２は、ステップＳ１２の顔検出によって検出された被写体人物を表す顔ＩＤのパラメータをｊと定義し、第１番目の被写体人物の顔ＩＤ（即ちｊ＝１、Ｓ１３）における顔検出結果及び目開閉率判定指示を目開閉率判定部２３に出力する。なお、第１番目の被写体人物の顔ＩＤにおける顔検出結果は、顔ＩＤと、顔検出部２２により顔検出の対象となった右目用画像データとを含む。又、パラメータｊの最大値は、ステップＳ１２の顔検出時に顔検出部２２によって判明しているとする。
【００９４】
目開閉率判定部２３は、顔検出結果及び目開閉率判定指示を顔検出部２２から取得し、顔ＩＤと共に取得された右目用画像データを基に、同右目用画像データにおける第１番目の被写体人物の目の目開閉率ｘ１を判定する（Ｓ５４）。目開閉率判定部２３は、顔ＩＤと、同顔ＩＤと共に取得された右目用画像データに対する判定結果（目開閉率ｘ１）とを目開閉率管理部２４に出力する。
【００９５】
目開閉率管理部２４は、顔ＩＤと、同顔ＩＤと共に出力された目開閉率ｘ１を目開閉率判定部２３から取得する。目開閉率管理部２４は、顔ＩＤと、目開閉率ｘ１と記憶部１３に記憶する（Ｓ５５）。
【００９６】
なお、ステップＳ５５は、次の様にしても良い。
【００９７】
具体的には、目開閉率管理部２４は、同顔ＩＤに関連付けて目開閉率情報の目開閉率ｙが記憶部１３に予め記憶されている場合には、同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙを取得し、顔ＩＤ、目開閉率ｘ１、目開閉率ｙ及び目開閉率ｘ１と目開閉率ｙとの比較指示を比較部２５に出力する。この場合、比較部２５は、顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙと、目開閉率判定部２３により判定された目開閉率ｘ１とを比較する。目開閉率ｘ１が目開閉率ｙより大きい場合に限り、比較部２５は、目開閉率ｘ１が目開閉率ｙより大きいという比較結果、比較の対象となった顔ＩＤ、及び目開閉率ｘ１を目開閉率管理部２４に出力する。目開閉率管理部２４は、比較部２５から出力された比較結果、比較の対象となった顔ＩＤ及び目開閉率ｘ１を基に、記憶部１３に同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｙを目開閉率ｘ１に更新する（Ｓ５５）。
【００９８】
ステップＳ５５の後、目開閉率管理部２４は、パラメータｊをインクリメントし（Ｓ１８）、同一の右目用画像データにおいて次の顔ＩＤに対する目開閉率判定指示を目開閉率判定部２３に出力する。図１４において、ステップＳ１８においてインクリメントされたパラメータｊがパラメータｊの最大値を超えるまで（Ｓ１９、ＮＯ）、ステップＳ５４、Ｓ５５及びＳ１８の各動作が繰り返される。パラメータｊがパラメータｊの最大値を超えると（Ｓ１９、ＹＥＳ）、図１４の撮像装置１ｃの右目用画像の撮像直後における動作は終了する。
【００９９】
次に、第３の実施形態の左目用画像の撮像直後における撮像装置１ｃの動作を、図１５を参照して説明する。図１５は、第３の実施形態の左目用画像の撮像直後における撮像装置１ｃの動作を説明するフローチャートである。図１５の説明においては、必要に応じて図１２の撮像装置１ｃの動作概要を参照する。
【０１００】
図１５において、撮像制御部２１は、撮像部１４ｃにより撮像された左目用画像データを取得し（Ｓ６１）、当該左目用画像データ及び顔検出指示を顔検出部２２に出力する。顔検出部２２は、左目用画像データ及び顔検出指示を撮像制御部２１から取得し、左目用画像データにおける被写体人物の顔を検出する（Ｓ２２）。ステップＳ２２の顔検出によって検出された被写体人物は３人であるとする（図１２参照）。
【０１０１】
顔検出部２２は、ステップＳ２２の顔検出によって検出された被写体人物を表す顔ＩＤのパラメータをｊと定義し、第１番目の被写体人物の顔ＩＤ（即ちｊ＝１、Ｓ２３）における顔検出結果及び目開閉率判定指示を目開閉率判定部２３に出力する。なお、第１番目の被写体人物の顔ＩＤにおける顔検出結果は、顔ＩＤと、顔検出部２２により顔検出の対象となった左目用画像データとを含む。又、パラメータｊの最大値は、ステップＳ２２の顔検出時に顔検出部２２によって判明しているとする。
【０１０２】
目開閉率判定部２３は、顔検出結果及び目開閉率判定指示を顔検出部２２から取得し、顔ＩＤと共に取得された左目用画像データを基に、同左目用画像データにおける第１番目の被写体人物の目の目開閉率ｘ２を判定する（Ｓ６４）。目開閉率判定部２３は、顔ＩＤと、同顔ＩＤと共に取得された左目用画像データに対する判定結果（目開閉率ｘ２）とを目開閉率管理部２４に出力する。
【０１０３】
目開閉率管理部２４は、顔ＩＤと、同顔ＩＤと共に出力された目開閉率ｘ２を目開閉率判定部２３から取得する。目開閉率管理部２４は、同顔ＩＤに関連付けて記憶されている目開閉率情報の目開閉率ｘ１（図１４参照）を記憶部１３から取得する（Ｓ６５）。目開閉率管理部２４は、顔ＩＤ、目開閉率ｘ１、目開閉率ｘ２及び目開閉率ｘ１と目開閉率ｘ２との比較指示を比較部２５に出力する。
【０１０４】
比較部２５は、顔ＩＤ、目開閉率ｘ１、目開閉率ｘ２、及び目開閉率ｘ１と目開閉率ｘ２との比較指示を目開閉率管理部２４から取得する。比較部２５は、目開閉率ｘ１と目開閉率ｘ２とを比較する（Ｓ６６）。
【０１０５】
目開閉率ｘ２が目開閉率ｘ１より大きい場合には（Ｓ６６、ＹＥＳ）、比較部２５は、比較の対象となった顔ＩＤ、撮像制御部２１に入力された左目用画像データ及び右目用画像データ、目開閉率ｘ１、目開閉率ｘ２及び補正指示を補正部２６に出力する。補正部２６は、比較部２５の比較の対象となった顔ＩＤ、撮像制御部２１に入力された左目用画像データ及び右目用画像データ、目開閉率ｘ１、目開閉率ｘ２及び補正指示を比較部２５から取得する。
【０１０６】
目開閉率ｘ２が目開閉率ｘ１より大きい場合、右目用画像データ及び左目用画像データの各目開閉率が一致しておらず、左目用画像データにおける目開閉率を右目用画像データにおける目開閉率に補正する必要がある。従って、補正部２６は、所定の拡大率を用いて、左目用画像データの顔ＩＤ（パラメータｊ）により対応付けられる被写体人物の顔の目の目開閉率を補正する（Ｓ６７）。ステップＳ６７における所定の拡大率は、例えば目開閉率ｘ２／目開閉率ｘ１である。
【０１０７】
一方、目開閉率ｘ１が目開閉率ｘ２より大きい場合には（Ｓ６６、ＹＥＳ）、比較部２５は、比較の対象となった顔ＩＤ、撮像制御部２１に入力された左目用画像データ及び右目用画像データ、目開閉率ｘ１、目開閉率ｘ２及び補正指示を補正部２６に出力する。補正部２６は、比較部２５の比較の対象となった顔ＩＤ、撮像制御部２１に入力された左目用画像データ及び右目用画像データ、目開閉率ｘ１、目開閉率ｘ２及び補正指示を比較部２５から取得する。
【０１０８】
目開閉率ｘ１が目開閉率ｘ２より大きい場合、右目用画像データ及び左目用画像データの各目開閉率が一致しておらず、右目用画像データにおける目開閉率を左目用画像データにおける目開閉率に補正する必要がある。従って、補正部２６は、所定の拡大率を用いて、右目用画像データの顔ＩＤ（パラメータｊ）により対応付けられる被写体人物の顔の目の目開閉率を補正する（Ｓ６８）。ステップＳ６８における所定の拡大率は、例えば目開閉率ｘ１／目開閉率ｘ２である。
【０１０９】
ステップＳ６７又はステップＳ６８の後、補正部２７は、パラメータｊをインクリメントし（Ｓ２８）、同一の左目用画像データにおいて次の顔ＩＤに対する目開閉率判定指示を目開閉率判定部２３に出力する。図１５において、ステップＳ２８においてインクリメントされたパラメータｊがパラメータｊの最大値を超えるまで（Ｓ２９、ＮＯ）、ステップＳ６４〜Ｓ６８及びステップＳ２８の各動作が繰り返される。パラメータｊがパラメータｊの最大値を超えると（Ｓ２９、ＹＥＳ）、図１５の撮像装置１ｃの左目用画像の撮像直後における動作は終了する。
【０１１０】
以上により、第３の実施形態の撮像装置１ｃは、例えば３Ｄ画像データを生成するために例えば右目用画像及び左目用画像の順に被写体人物を撮像する。撮像装置１ｃは、右目用画像データに対して判定された各被写体人物の目の目開閉率ｘ１を記憶部１３に記憶する。撮像装置１ｃは左目用画像データに対して判定された各被写体人物の目の目開閉率ｘ２を記憶部１３に記憶されている目開閉率ｘ１と比較し、大きい値を有する目開閉率を基に、左目用画像データ又は右目用画像データを補正する。
【０１１１】
従って、撮像装置１ｃによれば、３Ｄ画像を撮像した直後に、意図せずに行われた瞬き等によって被写体人物の目の目開閉率がつむっている目の状態又は半目の状態等の様に不適切な場合においても、左目用画像データ及び右目用画像データの各被写体人物の目の目開閉率を同程度に補正することができ、撮像の操作性を向上できる。
【０１１２】
（第１の実施形態の変形例１）
図１６は、第１の実施形態の変形例１の撮像装置１ｄのハードウェア構成を示すブロック図である。第１の実施形態の変形例１では、撮像装置１ｄは、制御部５１、タイマ５２、操作部１２、記憶部１３、撮像部１４、表示制御部１５、表示部１６、ＲＡＭ１７及びＲＯＭ１８を含む構成である。図１６の各部には、図２の対応する各部と同様に動作するものには同様の符号が付されている。図１６の各部の動作において、図２の対応する各部と同様に動作するものについては説明を省略し、異なる内容について説明する。
【０１１３】
第１の実施形態の変形例１では、制御部５１は、記憶部１３に記憶されている写真等の画像データの閲覧時間に応じて、比較部２５の比較時における補正許容率μを可変とするための重み係数を判定する。写真等の画像データの閲覧時間はタイマ５２により計測される。
【０１１４】
図１７は、第１の実施形態の変形例１の撮像装置１ｄの制御部５１の内部構成を詳細に示すブロック図である。制御部５１は、図１７に示す様に、撮像制御部２１、顔検出部２２、目開閉率判定部２３、目開閉率管理部２４、比較部２５、補正部２６及び重み係数判定部２７を含む構成である。図１７の各部には、図３の対応する各部と同様に動作するものには同様の符号が付されている。図１７の各部の動作において、図３の対応する各部と同様に動作するものについては説明を省略し、異なる内容について説明する。
【０１１５】
重み係数判定部２７は、タイマ５２から出力された画像データの閲覧時間を取得し、閲覧時間に応じて重み係数を判定する。閲覧時間は累計時間でも良く、この場合には重み係数判定部２７は、画像データ毎に記憶部１３に記憶されている累計時間情報を読み出し、タイマ５２から出力された閲覧時間を加算した後に重み係数を判定することが好ましい。
【０１１６】
重み係数判定部２７は、タイマ５２からの計測時間（累計時間も可。以下同様）と重み係数とを対応付けたテーブル（不図示）を用いて、例えばタイマ５２からの計測時間が３０秒である場合には重み係数を２．０と判定する。更に例えば、重み係数判定部２７は、タイマ５２からの計測時間が６０秒である場合には重み係数を２．５と判定する。重み係数判定部２７は、判定された重み係数を比較部２５に出力する。
【０１１７】
比較部２５は、重み係数判定部２７から出力された重み係数を取得する。第１の実施形態の変形例１においては、比較部２５は、上述した所定の補正許容率に重み係数を乗じた係数を、ステップＳ２６（図７参照）において目開閉率ｙに乗じるための係数として用いる。
【０１１８】
又、重み係数判定部２７は、判定された重み係数を比較部２５ではなく補正部２６に出力しても良い。この場合、補正部２６は、上述した所定の拡大率に重み係数を乗じた係数を、ステップＳ２７（図７参照）において画像データの目開閉率を更に拡大するための係数として用いる。なお、図１７において、重み係数判定部２７から補正部２６への矢印の図示は省略している。
【０１１９】
以上により、第１の実施形態の変形例１の撮像装置１ｄによれば、写真等の画像データの閲覧時間に応じて、目開閉率の比較時又は補正時における補正許容率又は拡大率を更に増大可能であり、閲覧性の高い被写体人物の目開閉率をより好ましく効果的に補正できる。
【０１２０】
（第１の実施形態の変形例２）
図１８は、第１の実施形態の変形例２の撮像装置１ｅのハードウェア構成を示すブロック図である。第１の実施形態の変形例２では、撮像装置１ｅは、制御部６１、通信部６２、操作部１２、記憶部１３、撮像部１４、表示制御部１５、表示部１６、ＲＡＭ１７及びＲＯＭ１８を含む構成である。図１８の各部には、図２の対応する各部と同様に動作するものには同様の符号が付されている。図１８の各部の動作において、図２の対応する各部と同様に動作するものについては説明を省略し、異なる内容について説明する。
【０１２１】
第１の実施形態の変形例２では、制御部６１は、記憶部１３に記憶されている写真等の画像データの送信回数の累計に応じて、比較部２５の比較時における補正許容率μを可変とするための重み係数を判定する。写真等の画像データの送信回数の累計は、記憶部１３に画像データ毎に記憶されている。
【０１２２】
通信部６２は、不図示の基地局装置等との情報又はデータの通信を制御可能な無線通信回路及びアンテナにより構成され、例えば制御部６１から出力された画像データを送信する。通信部６２は、画像データを送信した場合、当該画像データの画像ＩＤ及び画像データを送信した旨を制御部６１の重み係数判定部２７ｅ（後述参照）に出力する。なお、通信部６２は、上述した無線通信回路及びアンテナ素子により構成されても良い。
【０１２３】
図１９は、第１の実施形態の変形例２の撮像装置１ｅの制御部６１の内部構成を詳細に示すブロック図である。制御部６１は、図１９に示す様に、撮像制御部２１、顔検出部２２、目開閉率判定部２３、目開閉率管理部２４、比較部２５、補正部２６及び重み係数判定部２７ｅを含む構成である。図１９の各部には、図３の対応する各部と同様に動作するものには同様の符号が付されている。図１９の各部の動作において、図３の対応する各部と同様に動作するものについては説明を省略し、異なる内容について説明する。
【０１２４】
重み係数判定部２７ｅは、通信部６２から画像ＩＤ及び画像データを送信した旨を取得し、画像ＩＤを基に記憶部１３から当該画像ＩＤに対応付けて記憶されている画像データの送信回数を読み出す。重み係数判定部２７ｅは、読み出された送信回数に１を加算して送信回数の累計を算出する。
【０１２５】
重み係数判定部２７ｅは、送信回数の累計と重み係数とを対応付けたテーブル（不図示）を用いて、例えば送信回数の累計が３０回である場合には重み係数を２．０と判定する。更に例えば、重み係数判定部２７ｅは、送信回数の累計が６０回である場合には重み係数を３．０と判定する。重み係数判定部２７ｅは、判定された重み係数を比較部２５に出力する。
【０１２６】
比較部２５は、重み係数判定部２７ｅから出力された重み係数を取得する。第１の実施形態の変形例２においては、比較部２５は、上述した所定の補正許容率に重み係数を乗じた係数を、ステップＳ２６（図７参照）において目開閉率ｙに乗じるための係数として用いる。
【０１２７】
又、重み係数判定部２７ｅは、判定された重み係数を比較部２５ではなく補正部２６に出力しても良い。この場合、補正部２６は、上述した所定の拡大率に重み係数を乗じた係数を、ステップＳ２７（図７参照）において画像データの目開閉率を更に拡大するための係数として用いる。なお、図１９において、重み係数判定部２７ｅから補正部２６への矢印の図示は省略している。
【０１２８】
以上により、第１の実施形態の変形例２の撮像装置１ｅによれば、写真等の画像データの送信回数に応じて、目開閉率の比較時又は補正時における補正許容率又は拡大率を更に増大可能であり、ユーザ本人以外の知人等にも閲覧してもらいたい様な閲覧性の高い被写体人物の目開閉率をより好ましく効果的に補正できる。
【０１２９】
（第１の実施形態の変形例３）
図２０は、第１の実施形態の変形例３の撮像装置の制御部７１の内部構成を示すブロック図である。第１の実施形態の変形例３では、撮像装置のハードウェア構成は、第１の実施形態の撮像装置１のハードウェア構成と同様であるため、説明を省略する。
【０１３０】
第１の実施形態の変形例３では、制御部７１は、例えば以前にユーザの操作によって画像データの被写体人物が編集された場合、プレビュー時に、撮像制御部２１に入力された画像データではなく、以前編集された画像データを用いて、編集された画像データにおける各被写体人物の目の目開閉率を判定する。なお、編集された画像データは記憶部１３に記憶されているとする。
【０１３１】
制御部７１は、図２０に示す様に、撮像制御部２１、顔検出部２２、目開閉率判定部２３、目開閉率管理部２４、比較部２５、補正部２６及び画像編集部２８を含む構成である。図２０の各部には、図３の対応する各部と同様に動作するものには同様の符号が付されている。図２０の各部の動作において、図３の対応する各部と同様に動作するものについては説明を省略し、異なる内容について説明する。
【０１３２】
画像編集部２８は、ユーザの操作、例えば画像データの被写体人物の編集操作に応じて操作部１２から出力された操作信号を取得し、編集の対象となる画像データを編集する。画像編集部２８は、編集された画像データを記憶部１３に記憶する。画像編集部２８は、例えばＡさん、Ｂさん、Ｃさんの集合写真を撮像した旨を操作部１２又は撮像制御部２１から取得した場合、Ａさん、Ｂさん、Ｃさんの集合写真の編集された画像データを記憶部１３から取得する。画像編集部２８は、編集された画像データ及び顔検出指示を顔検出部２２に出力する。
【０１３３】
以上により、第１の実施形態の変形例３の撮像装置は、撮像直後における比較（図７のステップＳ２６参照）においてユーザ自身の嗜好が反映された編集後の画像データに対する目開閉率を用いて補正許容率を可変にすることができる。
【０１３４】
以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種実施の形態の変更例または修正例、更に各種実施の形態の組み合わせ例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１３５】
なお、上述した各実施形態において記憶部に記憶されている画像データは、当該画像データに対するユーザのお気に入り度情報も更に書誌情報として含まれていても良い。ユーザが撮像装置において書誌情報のお気に入り度を増加又は減少する様な操作を行った場合には、撮像装置は、お気に入り度の増加値又は減少値に応じて、お気に入り度と関連付けて記憶されている画像データにおける各被写体人物の目の目開閉率を増加又は減少する。なお、お気に入り度の増加値又は減少値と、画像データにおける各被写体人物の目の目開閉率との関係は予めテーブル等において規定されていることが好ましい。
【０１３６】
なお、上述した各実施形態において記憶部に記憶されている画像データを削除する旨のユーザ操作が行われた場合、撮像装置は、当該画像データが削除された旨及び画像データの内容を記憶する。更に、撮像装置は、当該削除された画像データと同様の内容の画像データが改めて入力された場合には、記憶部に記憶されている同様の内容の画像データが削除された旨を基に、当該画像データの各被写体人物の目の目開閉率の比較において補正許容率を減少しても良い。
【０１３７】
又、上述した各実施形態において記憶部には顔ＩＤと目開閉率とが関連付けられた目開閉率情報が記憶されているが、撮像装置は、所定時間経過後に、当該目開閉率情報を削除しても良い。この場合、例えば第１の実施形態において、撮像装置１は、プレビュー時と撮像終了直後とにおいてそれぞれ判定された目開閉率を直接比較する。例えばプレビュー時と撮像終了直後とにおいて被写体人物の目開閉率が同様に半目の状態であったとしても、撮像装置１は、被写体人物の本人の意思が尊重された態様で撮像することができる。
【産業上の利用可能性】
【０１３８】
本発明は、撮像された画像データにおける被写体人物の目の開閉率が不適切な場合に、被写体人物の目の開閉率を効果的に補正することができる撮像装置、動画再生装置及び撮像方法として有用である。
【符号の説明】
【０１３９】
１、１ｃ、１ｄ、１ｅ 撮像装置
１ｂ 動画再生装置
１１、５１、６１、７１ 制御部
１２ 操作部
１３ 記憶部
１４ 撮像部
１５ 表示制御部
１６ 表示部
１７ ＲＡＭ
１８ ＲＯＭ
２１ 撮像制御部
２２ 顔検出部
２３ 目開閉率判定部
２４ 目開閉率管理部
２５ 比較部
２６ 補正部
２７、２７ｅ 重み係数判定部
２８ 画像編集部
３１ 動画再生制御部
３２ 音声出力部
４１ 画像合成部
５２ タイマ
６２ 通信部
【特許請求の範囲】
【請求項１】
入力された画像データにおける被写体人物の顔を検出する顔検出部と、
前記画像データのうち前記顔検出部により検出された顔を基に、前記被写体人物の目の目開閉率を判定する目開閉率判定部と、
前記目開閉率判定部により判定された前記被写体人物の目の目開閉率を含む目開閉率情報を記憶する記憶部と、
前記目開閉率判定部により判定された前記被写体人物の目の目開閉率と、前記記憶されている前記目開閉率情報における目開閉率に所定の補正許容率を乗じた目開閉率とを比較する比較部と、
前記比較部の比較結果に応じて、前記目開閉率判定部により判定された前記目開閉率を補正する補正部と、を備える撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記比較部は、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率と、前記記憶部に記憶されている前記目開閉率情報における目開閉率とを比較し、
前記判定された前記被写体人物の目の目開閉率が前記目開閉率情報における目開閉率より大きい場合に、前記目開閉率情報における目開閉率を前記判定された前記被写体人物の目の目開閉率に更新する目開閉率管理部と、を更に備える撮像装置。
【請求項３】
請求項１又は２に記載の撮像装置であって、
前記画像データは、前記被写体人物の撮像のプレビュー時又は撮像後に入力され、
前記補正部は、前記プレビュー時に前記判定された目開閉率が前記撮像後に前記判定された目開閉率に前記所定の補正許容率を乗じた目開閉率より小さい場合に、所定の拡大率を用いて前記撮像後に前記判定された目開閉率を補正する撮像装置。
【請求項４】
画像データ及び音声データを同期して再生可能な動画再生装置であって、
前記動画再生装置における動画再生時又は一時停止操作直後に入力された前記画像データにおける被写体人物の顔を検出する顔検出部と、
前記画像データのうち前記顔検出部により検出された顔を基に、前記被写体人物の目の目開閉率を判定する目開閉率判定部と、
前記目開閉率判定部により判定された前記被写体人物の目の目開閉率を含む目開閉率情報を記憶する記憶部と、
前記目開閉率判定部により判定された前記被写体人物の目の目開閉率と、前記記憶されている前記目開閉率情報における目開閉率に所定の補正許容率を乗じた目開閉率とを比較する比較部と、
前記比較部の比較結果に応じて、前記目開閉率判定部により判定された前記目開閉率を補正する補正部と、を備え、
前記補正部は、前記動画再生時に前記判定された目開閉率が前記一時停止操作直後に前記判定された目開閉率に前記所定の補正許容率を乗じた目開閉率より小さい場合に、所定の拡大率を用いて前記一時停止操作直後に前記判定された目開閉率を補正する動画再生装置。
【請求項５】
請求項１又は２に記載の撮像装置であって、
左目用画像データと右目用画像データとを基に、３Ｄ表示用画像データを生成する画像合成部と、を更に備え、
前記画像データは、前記被写体人物の前記左目用画像データの撮像後、又は前記被写体人物の前記右目用画像データの撮像後に入力され、
前記補正部は、前記右目用画像データの撮像後に前記判定された目開閉率が前記左目用画像データの撮像後に前記判定された目開閉率より小さい場合に、前記右目用画像データにおける前記判定された目開閉率を、前記左目用画像データにおける前記判定された目開閉率と同一になる様に補正する撮像装置。
【請求項６】
請求項２に記載の撮像装置であって、
前記入力された画像データの閲覧時間を計測するタイマと、
前記タイマにより計測された前記画像データの閲覧時間を基に、前記補正許容率に乗じる重み係数を判定する重み係数判定部と、を更に備え、
前記比較部は、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率と、前記記憶されている前記目開閉率情報における目開閉率に所定の補正許容率及び前記判定された重み係数を乗じた目開閉率とを比較する撮像装置。
【請求項７】
請求項２に記載の撮像装置であって、
前記入力された画像データを送信する通信部と、
前記通信部により送信された前記画像データの送信回数を基に、前記補正許容率に乗じる重み係数を判定する重み係数判定部と、を更に備え、
前記比較部は、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率と、前記記憶されている前記目開閉率情報における目開閉率に所定の補正許容率及び前記判定された重み係数を乗じた目開閉率とを比較する撮像装置。
【請求項８】
請求項２に記載の撮像装置であって、
前記記憶部に記憶されている画像データの前記被写体人物の目の目開閉率を編集する画像編集部と、を更に備え、
前記目開閉率管理部は、前記画像編集部により編集された画像データの前記被写体人物の目の目開閉率を前記記憶部に記憶し、
前記補正部は、前記入力された画像データに対して前記目開閉率判定部により判定された前記目開閉率を、前記記憶された前記目開閉率に補正する撮像装置。
【請求項９】
請求項２に記載の撮像装置であって、
前記撮像装置に対するユーザ操作を受け付ける操作部と、を更に備え、
前記目開閉率管理部は、前記操作部が受け付けた前記ユーザ操作に応じて、前記目開閉率情報における目開閉率を更新する撮像装置。
【請求項１０】
請求項１〜３及び５〜９のうちいずれか一項に記載の撮像装置であって、
前記目開閉率は、前記入力された画像データの前記被写体人物の目の鉛直方向の高さを、前記画像データの前記被写体人物の顔の前記鉛直方向の高さで除した値である撮像装置。
【請求項１１】
請求項１〜３及び５〜９のうちいずれか一項に記載の撮像装置であって、
前記目開閉率は、前記入力された画像データの前記被写体人物の目の鉛直方向の高さを、前記画像データの前記被写体人物の顔の水平方向の横幅で除した値である撮像装置。
【請求項１２】
請求項１〜３及び５〜９のうちいずれか一項に記載の撮像装置であって、
前記目開閉率は、前記入力された画像データの前記被写体人物の目の鉛直方向の高さを、前記画像データの前記被写体人物の目の水平方向の横幅で除した値である撮像装置。
【請求項１３】
請求項１〜３及び５〜９のうちいずれか一項に記載の撮像装置であって、
前記目開閉率は、前記入力された画像データの前記被写体人物の目の鉛直方向の高さを、前記画像データの前記被写体人物の両目の距離で除した値である撮像装置。
【請求項１４】
入力された画像データにおける被写体人物の顔を検出するステップと、
前記画像データのうち前記検出された顔を基に、前記被写体人物の目の目開閉率を判定するステップと、
記憶部に、前記判定された前記被写体人物の目の目開閉率を含む目開閉率情報を記憶するステップと、
前記判定された前記被写体人物の目の目開閉率と、前記記憶部に記憶されている前記目開閉率情報における目開閉率に所定の補正許容率を乗じた目開閉率とを比較するステップと、
前記比較結果に応じて、前記判定された前記目開閉率を補正するステップと、を備える撮像方法。
【請求項１】
入力された画像データにおける被写体人物の顔を検出する顔検出部と、
前記画像データのうち前記顔検出部により検出された顔を基に、前記被写体人物の目の目開閉率を判定する目開閉率判定部と、
前記目開閉率判定部により判定された前記被写体人物の目の目開閉率を含む目開閉率情報を記憶する記憶部と、
前記目開閉率判定部により判定された前記被写体人物の目の目開閉率と、前記記憶されている前記目開閉率情報における目開閉率に所定の補正許容率を乗じた目開閉率とを比較する比較部と、
前記比較部の比較結果に応じて、前記目開閉率判定部により判定された前記目開閉率を補正する補正部と、を備える撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記比較部は、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率と、前記記憶部に記憶されている前記目開閉率情報における目開閉率とを比較し、
前記判定された前記被写体人物の目の目開閉率が前記目開閉率情報における目開閉率より大きい場合に、前記目開閉率情報における目開閉率を前記判定された前記被写体人物の目の目開閉率に更新する目開閉率管理部と、を更に備える撮像装置。
【請求項３】
請求項１又は２に記載の撮像装置であって、
前記画像データは、前記被写体人物の撮像のプレビュー時又は撮像後に入力され、
前記補正部は、前記プレビュー時に前記判定された目開閉率が前記撮像後に前記判定された目開閉率に前記所定の補正許容率を乗じた目開閉率より小さい場合に、所定の拡大率を用いて前記撮像後に前記判定された目開閉率を補正する撮像装置。
【請求項４】
画像データ及び音声データを同期して再生可能な動画再生装置であって、
前記動画再生装置における動画再生時又は一時停止操作直後に入力された前記画像データにおける被写体人物の顔を検出する顔検出部と、
前記画像データのうち前記顔検出部により検出された顔を基に、前記被写体人物の目の目開閉率を判定する目開閉率判定部と、
前記目開閉率判定部により判定された前記被写体人物の目の目開閉率を含む目開閉率情報を記憶する記憶部と、
前記目開閉率判定部により判定された前記被写体人物の目の目開閉率と、前記記憶されている前記目開閉率情報における目開閉率に所定の補正許容率を乗じた目開閉率とを比較する比較部と、
前記比較部の比較結果に応じて、前記目開閉率判定部により判定された前記目開閉率を補正する補正部と、を備え、
前記補正部は、前記動画再生時に前記判定された目開閉率が前記一時停止操作直後に前記判定された目開閉率に前記所定の補正許容率を乗じた目開閉率より小さい場合に、所定の拡大率を用いて前記一時停止操作直後に前記判定された目開閉率を補正する動画再生装置。
【請求項５】
請求項１又は２に記載の撮像装置であって、
左目用画像データと右目用画像データとを基に、３Ｄ表示用画像データを生成する画像合成部と、を更に備え、
前記画像データは、前記被写体人物の前記左目用画像データの撮像後、又は前記被写体人物の前記右目用画像データの撮像後に入力され、
前記補正部は、前記右目用画像データの撮像後に前記判定された目開閉率が前記左目用画像データの撮像後に前記判定された目開閉率より小さい場合に、前記右目用画像データにおける前記判定された目開閉率を、前記左目用画像データにおける前記判定された目開閉率と同一になる様に補正する撮像装置。
【請求項６】
請求項２に記載の撮像装置であって、
前記入力された画像データの閲覧時間を計測するタイマと、
前記タイマにより計測された前記画像データの閲覧時間を基に、前記補正許容率に乗じる重み係数を判定する重み係数判定部と、を更に備え、
前記比較部は、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率と、前記記憶されている前記目開閉率情報における目開閉率に所定の補正許容率及び前記判定された重み係数を乗じた目開閉率とを比較する撮像装置。
【請求項７】
請求項２に記載の撮像装置であって、
前記入力された画像データを送信する通信部と、
前記通信部により送信された前記画像データの送信回数を基に、前記補正許容率に乗じる重み係数を判定する重み係数判定部と、を更に備え、
前記比較部は、前記目開閉率判定部により判定された前記被写体人物の目の目開閉率と、前記記憶されている前記目開閉率情報における目開閉率に所定の補正許容率及び前記判定された重み係数を乗じた目開閉率とを比較する撮像装置。
【請求項８】
請求項２に記載の撮像装置であって、
前記記憶部に記憶されている画像データの前記被写体人物の目の目開閉率を編集する画像編集部と、を更に備え、
前記目開閉率管理部は、前記画像編集部により編集された画像データの前記被写体人物の目の目開閉率を前記記憶部に記憶し、
前記補正部は、前記入力された画像データに対して前記目開閉率判定部により判定された前記目開閉率を、前記記憶された前記目開閉率に補正する撮像装置。
【請求項９】
請求項２に記載の撮像装置であって、
前記撮像装置に対するユーザ操作を受け付ける操作部と、を更に備え、
前記目開閉率管理部は、前記操作部が受け付けた前記ユーザ操作に応じて、前記目開閉率情報における目開閉率を更新する撮像装置。
【請求項１０】
請求項１〜３及び５〜９のうちいずれか一項に記載の撮像装置であって、
前記目開閉率は、前記入力された画像データの前記被写体人物の目の鉛直方向の高さを、前記画像データの前記被写体人物の顔の前記鉛直方向の高さで除した値である撮像装置。
【請求項１１】
請求項１〜３及び５〜９のうちいずれか一項に記載の撮像装置であって、
前記目開閉率は、前記入力された画像データの前記被写体人物の目の鉛直方向の高さを、前記画像データの前記被写体人物の顔の水平方向の横幅で除した値である撮像装置。
【請求項１２】
請求項１〜３及び５〜９のうちいずれか一項に記載の撮像装置であって、
前記目開閉率は、前記入力された画像データの前記被写体人物の目の鉛直方向の高さを、前記画像データの前記被写体人物の目の水平方向の横幅で除した値である撮像装置。
【請求項１３】
請求項１〜３及び５〜９のうちいずれか一項に記載の撮像装置であって、
前記目開閉率は、前記入力された画像データの前記被写体人物の目の鉛直方向の高さを、前記画像データの前記被写体人物の両目の距離で除した値である撮像装置。
【請求項１４】
入力された画像データにおける被写体人物の顔を検出するステップと、
前記画像データのうち前記検出された顔を基に、前記被写体人物の目の目開閉率を判定するステップと、
記憶部に、前記判定された前記被写体人物の目の目開閉率を含む目開閉率情報を記憶するステップと、
前記判定された前記被写体人物の目の目開閉率と、前記記憶部に記憶されている前記目開閉率情報における目開閉率に所定の補正許容率を乗じた目開閉率とを比較するステップと、
前記比較結果に応じて、前記判定された前記目開閉率を補正するステップと、を備える撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−２５２３８３（Ｐ２０１２−２５２３８３Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２２３９１（Ｐ２０１１−１２２３９１）
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]