撮像装置及び画像再生装置
【課題】ユーザ所望の撮影構図及び撮影画角を変更することなく、表示部上で複数の人物の顔の詳細確認を可能にする。
【解決手段】第１〜第６人物の撮影画像がスルー画像として表示部に表示されている状態において、ユーザが第２及び第５人物の顔の状態の詳細確認を望む場合、ユーザは表示画面上の第２及び第５人物の顔を指にてタッチする。撮像装置は、撮影画像から第２及び第５人物の顔画像を抽出して各抽出顔画像の画像サイズを拡大し、拡大された抽出顔画像（ＦＡＣＥ２’及びＦＡＣＥ５’）を撮影画像と共に表示部に表示する。
【解決手段】第１〜第６人物の撮影画像がスルー画像として表示部に表示されている状態において、ユーザが第２及び第５人物の顔の状態の詳細確認を望む場合、ユーザは表示画面上の第２及び第５人物の顔を指にてタッチする。撮像装置は、撮影画像から第２及び第５人物の顔画像を抽出して各抽出顔画像の画像サイズを拡大し、拡大された抽出顔画像（ＦＡＣＥ２’及びＦＡＣＥ５’）を撮影画像と共に表示部に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置、及び、画像の再生を行う画像再生装置に関する。
【背景技術】
【０００２】
近年の撮像装置の多くは表示部を備えており、撮影領域内の画像が動画像として表示部に表示される。撮影者としてのユーザは、表示部の表示画面を見ることで撮影構図や被写体群の状態を確認することができる。
【０００３】
図１４に、人物ＨＭ１〜ＨＭ６を撮影領域内に収めた状態での表示画面の様子を示す。図１４における斜線領域は表示部の筐体を表している。例えば、撮影者としてのユーザが、人物ＨＭ２及びＨＭ５の顔の状態の詳細確認を望む場合、撮影方向を必要に応じて調整しながらズームイン操作を行う必要がある。
【０００４】
尚、インターホンシステムにおいて、子機の撮影画像から人物の顔が検出された場合、顔部分の領域を親機で拡大表示する方法が開示されている（下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−３５６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の如く、撮影者としてのユーザが人物ＨＭ２及びＨＭ５の顔の状態を詳細に確認したい場合において、撮影方向の変更やズームイン操作による撮影画角の変更を行うと、ユーザ所望の撮影構図及び撮影画角を維持できなくなる。例えば、ズームイン操作に伴って撮影画角が減少すれば、人物ＨＭ１〜ＨＭ６を撮影領域内に収めたいというユーザ意図に反して、何れかの人物（例えば、ＨＭ１及びＨＭ６）がフレームアウトすることがある。
【０００７】
このような事象は、画像再生装置においても発生しうる。即ち、図１４に示すような人物ＨＭ１〜ＨＭ６の画像信号を含む入力画像の再生時において、視聴者としてのユーザが人物ＨＭ２及びＨＭ５の顔の状態を詳細に確認したいことがある。ズーム操作及びスクロール操作を行えば人物ＨＭ２又はＨＭ５のみを拡大再生させることもできるが、ズーム操作及びスクロール操作の実行はユーザの負担になりうるし、ズーム操作やスクロール操作を行うと、人物ＨＭ１〜ＨＭ６を含む入力画像の全体を見ることができなくなる。
【０００８】
そこで本発明は、撮影構図及び撮影画角の変更を必要とすることなく複数の対象物体の詳細な状態確認を可能ならしめる撮像装置、及び、再生時におけるズーム操作やスクロール操作を必要とすることなく複数の対象物体の詳細な状態確認を可能ならしめる画像再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る撮像装置は、被写体群の撮影画像を表す画像信号を出力する撮像部と、前記画像信号に基づく画像を表示する表示部と、前記被写体群に含まれる複数の対象物体の画像を、前記対象物体ごとに対象物体画像として前記撮影画像から抽出する抽出部と、抽出された各対象物体画像の画像サイズを拡大し、拡大された各対象物体画像を、前記撮影画像とともに前記表示部に表示させる表示制御部と、を備えたことを特徴とする。
【００１０】
これにより、撮影構図及び撮影画角の変更を必要とすることなく、ユーザは、複数の対象物体の状態を同時に表示部上で詳細に確認することが可能となる。
【００１１】
具体的には例えば、ユーザインターフェースに対して成された操作に基づき前記複数の対象物体を設定する対象物体設定部を、当該撮像装置に更に設けるとよい。
【００１２】
或いは例えば、各対象物体は特定種類の物体であり、前記画像信号に基づき前記撮影画像から前記特定種類の物体を検出することで前記複数の対象物体を設定する対象物体設定部を、当該撮像装置に更に設けてもよい。
【００１３】
また例えば、前記撮影画像から抽出された複数の対象物体画像を用いて前記撮影画像のサムネイル画像を生成するサムネイル生成部を、当該撮像装置に更に設けてもよい。
【００１４】
拡大表示された対象物体画像は、撮影者としてのユーザの注目度の高い画像部分であると推測される。ユーザの注目度の高い画像部分を用いてサムネイル画像を生成することで、再生時においてユーザはサムネイル画像から撮影時の状況を思い浮かべ易くなり、結果、所望の画像を探し出し易くなる。
【００１５】
また例えば、当該撮像装置において前記対象物体は人物の顔を含んでいてもよい。
【００１６】
本発明に係る画像再生装置は、複数の対象物体の画像を内包する入力画像の画像信号を受ける画像再生装置において、前記画像信号に基づく画像を表示する表示部と、前記複数の対象物体の画像を、前記対象物体ごとに対象物体画像として前記入力画像から抽出する抽出部と、抽出された各対象物体画像の画像サイズを拡大し、拡大された各対象物体画像を、前記入力画像とともに前記表示部に表示させる表示制御部と、を備えたことを特徴とする。
【００１７】
これにより、ズーム操作やスクロール操作を必要とすることなく、ユーザは、複数の対象物体の状態を同時に表示部上で詳細に確認することが可能となる。
【００１８】
具体的には例えば、ユーザインターフェースに対して成された操作に基づき前記複数の対象物体を設定する対象物体設定部を、当該画像再生装置に更に設けるとよい。
【００１９】
或いは例えば、各対象物体は特定種類の物体であり、前記画像信号に基づき前記入力画像から前記特定種類の物体を検出することで前記複数の対象物体を設定する対象物体設定部を、当該画像再生装置に更に設けてもよい。
【００２０】
また例えば、当該画像再生装置において前記対象物体は人物の顔を含んでいてもよい。
【発明の効果】
【００２１】
本発明によれば、撮影構図及び撮影画角の変更を必要とすることなく複数の対象物体の詳細な状態確認を可能ならしめる撮像装置、及び、再生時におけるズーム操作やスクロール操作を必要とすることなく複数の対象物体の詳細な状態確認を可能ならしめる画像再生装置を提供することが可能である。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】本発明の第１実施例の動作に特に関与する部位のブロック図である。
【図４】本発明の第１実施例に係るフレーム画像を示す図である。
【図５】本発明の第１実施例に係り、表示部の様子及びタッチパネル操作の様子を示す図である。
【図６】本発明の第１実施例に係り、表示用画像と、表示用画像が示された表示部を示す図である。
【図７】本発明の第２実施例の動作に特に関与する部位のブロック図である。
【図８】本発明の第２実施例に係るフレーム画像を示す図である。
【図９】本発明の第２実施例に係り、表示用画像と、表示用画像が示された表示部を示す図である。
【図１０】本発明の第３実施例に係るサムネイル生成部を示す図である。
【図１１】本発明の第３実施例に係るサムネイル画像を示す図である。
【図１２】サムネイル表示モードにおける表示部の様子を示す図である。
【図１３】本発明の実施形態に係る画像再生装置の概略全体ブロック図である。
【図１４】従来技術に係り、撮像装置の表示部の様子を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、信号、物理量、状態量又は部材等の名称を省略又は略記することがある。
【００２４】
図１は、本発明の実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像のみを撮影及び記録可能なデジタルスチルカメラであっても良い。また、撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００２５】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。尚、表示部１５は撮像装置１の外部機器（不図示）に設けられたものである、と解釈しても良い。
【００２６】
撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。光軸とは、撮像部１１における光軸（撮像装置１における光軸）を指す。主制御部１３からの制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度（即ち絞り値）が制御される。
【００２７】
撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。
【００２８】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は主制御部１３によって制御される。主制御部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。ＡＦＥ１２の出力信号そのものによって表される画像、又は、ＡＦＥ１２の出力信号そのものによって表される画像に対して所定の画像処理を施して得られる画像を、撮影画像という。主制御部１３は、表示部１５の表示内容を制御する表示制御部を備え、表示に必要な制御を表示部１５に対して行う。
【００２９】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１３の制御の下、撮影画像や記録媒体１６に記録されている画像などを表示する。本明細書において、単に表示及び表示画面と言った場合、それらは、表示部１５における表示及び表示画面を指すものとする。表示部１５にはタッチパネル１９が設けられており、ユーザは、表示部１５の表示画面を操作体（指やタッチペンなど）で触れることで撮像装置１に様々の指示を与えることができる。
【００３０】
記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像の映像信号等を記録する。操作部１７は、静止画像の撮影指示を受け付けるシャッタボタン２０及び動画像の撮影開始指示又は撮影終了指示を受け付ける録画ボタン２１等を備え、外部からの各種操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。操作部１７及びタッチパネル１９を、ユーザからの任意の指示及び操作を受けるユーザインターフェースと呼ぶことができ、以下、操作部１７若しくはタッチパネル１９を、又は、それらをまとめてユーザインターフェースと呼ぶ。シャッタボタン２０及び録画ボタン２１は、タッチパネル１９上のボタンであってもよい。
【００３１】
表示画面を操作体で触れることによる操作をタッチパネル操作と呼ぶ。操作体と表示画面との接触位置をタッチ位置と呼ぶ。操作体が表示画面に触れているとき、タッチパネル１９は、その触れた位置（即ちタッチ位置）を指し示すタッチ位置情報を含むタッチパネル操作情報を、主制御部１３にリアルタイムで出力する。操作体は、例えばユーザの指又はペンである。以下では、操作体がユーザの指であることを想定する。操作部１７に設けられたボタン等に対する操作を、タッチパネル操作と区別すべく、特にボタン操作ともいう。
【００３２】
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された画像（静止画像又は動画像）を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。
【００３３】
撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表す映像信号を画像信号とも呼ぶ。撮像素子３３の出力信号、ＡＦＥ１２の出力信号及び主制御部１３にて生成される映像信号（輝度信号や色差信号）の夫々は、画像信号の一種である。以下の説明では、撮像装置１の撮影領域（視野）内に複数の人物が複数の被写体として含まれていることを想定し、複数の被写体を被写体群とも呼ぶ。
【００３４】
上述の撮像装置１の、より具体的な構成及び動作等を説明する実施例として、以下に第１〜第６実施例を示す。矛盾なき限り、第１〜第６実施例の内、或る実施例に記載した事項を他の実施例に適用することもできる。
【００３５】
＜＜第１実施例＞＞
第１実施例を説明する。第１実施例及び後述の第２実施例では、撮像装置１の、撮影モードにおける特徴的な動作を説明する。図３は、第１実施例の動作に特に関与する部位のブロック図である。表示制御部５１及び顔処理部５２を、図１の主制御部１３に設けておくことができる。顔処理部５２は、顔検出部５３、顔画像抽出部５４及び対象顔設定部５５を備える。
【００３６】
撮影モードにおいて、被写体群の撮影画像を表す画像信号が撮像部１１より所定のフレーム周期にて順次出力され、撮像部１１の出力画像信号がＡＦＥ１２を介して表示制御部５１及び顔処理部５２に与えられる。１フレーム周期分の画像信号にて表現される１枚の撮影画像（静止画像）を特にフレーム画像とも呼ぶ。表示制御部５１は、フレーム周期にて順次得られるフレーム画像を表示部１５に順次更新表示させる。図４（ａ）の画像ＦＩは、１枚のフレーム画像の例である。ここでは、フレーム画像ＦＩの撮影時点を含む任意のタイミングにおいて、６人の人物ＨＭ１〜ＨＭ６が被写体群に含まれていることを想定する。
【００３７】
顔検出部５３は、フレーム画像ＦＩの画像信号に基づき、フレーム画像ＦＩ上の被写体群の中から特定種類の物体である、人物の顔を検出する。従って、顔検出部５３は、フレーム画像ＦＩ上における人物ＨＭ１〜ＨＭ６の顔を検出する。顔検出部５３は、画像信号に基づく公知の顔検出方法を利用することができる。
【００３８】
顔画像抽出部５４は、顔検出部５３による顔検出結果を利用し、フレーム画像ＦＩ上の任意の顔の画像を、顔画像としてフレーム画像ＦＩから抽出することができる。図４（ｂ）に示す如く、人物ＨＭ１〜ＨＭ６の顔の画像を、それぞれ顔画像ＦＡＣＥ１〜ＦＡＣＥ６と呼ぶ。顔画像ＦＡＣＥ１〜ＦＡＣＥ６の夫々はフレーム画像ＦＩの一部であり、顔画像ＦＡＣＥｉは人物ＨＭｉの顔の画像信号を含む画像である（ｉは整数）。図４（ｂ）において、６つの破線矩形枠内の画像が顔画像ＦＡＣＥ１〜ＦＡＣＥ６である。図４（ｂ）に示す例では、顔画像ＦＡＣＥｉの外形が矩形になっているが、顔画像ＦＡＣＥｉの外形は矩形でなくても良く、人物ＨＭｉの顔の輪郭に沿った外形を顔画像ＦＡＣＥｉに持たせても良い。
【００３９】
顔処理部５２は、フレーム画像ＦＩ上における顔画像ＦＡＣＥ１〜ＦＡＣＥ６の位置及び大きさを表す顔位置／大きさ情報を表示制御部５１に出力し、表示制御部５１は、顔位置／大きさ情報に基づく顔枠を表示部１５に表示させる。即ち、表示制御部５１は、フレーム画像ＦＩを表示部１５に表示させる際、図５（ａ）に示す如く、顔画像ＦＡＣＥ１〜ＦＡＣＥ６の外周に相当する６つの顔枠（図５（ａ）における破線矩形枠）ＦＦ１〜ＦＦ６をフレーム画像ＦＩに重畳して表示部１５に表示させる。図５（ａ）において、斜線領域は表示部１５の筐体を表している（後述の図５（ｂ）及び図６（ｂ）等においても同様）。
【００４０】
尚、主制御部１３は、顔画像ＦＡＣＥ１〜ＦＡＣＥ６の全部又は一部の画像信号に基づき、人物ＨＭ１〜ＨＭ６の顔の全部又は一部にピントを合わせるためのＡＦ制御、人物ＨＭ１〜ＨＭ６の顔の全部又は一部の露出を最適化するためのＡＥ制御、及び、人物ＨＭ１〜ＨＭ６の顔の全部又は一部のホワイトバランスを最適化するためのＡＷＢ制御などを成すことができる。
【００４１】
対象顔設定部５５は、タッチパネル操作情報に基づき、人物ＨＭ１〜ＨＭ６の顔の何れかを対象顔に設定すると共に対象顔の顔画像を対象顔画像に設定する。対象顔設定部を対象顔選択部と呼んでもよく、対象顔又は対象顔画像の設定は対象顔又は対象顔画像の選択とも言える（後述の他の実施例においても同様）。例えば、図５（ｂ）に示す如く、顔画像ＦＡＣＥ１〜ＦＡＣＥ６を含むフレーム画像ＦＩが表示画面に表示されている状態において、表示画面上における顔枠ＦＦ２及びＦＦ５の表示部分をユーザが指にて触れた場合、顔枠ＦＦ２及びＦＦ５の表示位置に相当するタッチ位置がタッチパネル操作情報に含められ、そのタッチパネル操作情報に基づき、対象顔設定部５５は、顔枠ＦＦ２及びＦＦ５に対応する人物ＨＭ２及びＨＭ５の顔を対象顔に設定する（換言すれば、対象顔として選択する）と共に顔枠ＦＦ２及びＦＦ５に対応する顔画像ＦＡＣＥ２及びＦＡＣＥ５を対象顔画像に設定する。
【００４２】
尚、表示画面上における顔枠ＦＦ２を指にて触れる操作と、表示画面上における顔枠ＦＦ５を指にて触れる操作は、同時に成されても良いし、互いに異なるタイミングで成されても良い。また、ユーザは、ボタン操作によっても顔枠ＦＦ２及びＦＦ５を指定することができ、ボタン操作によって顔枠ＦＦ２及びＦＦ５が指定された場合でも、対象顔設定部５５により人物ＨＭ２及びＨＭ５の顔が対象顔に設定され且つ顔画像ＦＡＣＥ２及びＦＡＣＥ５が対象顔画像に設定される。また、表示画面上における、人物ＨＭ２の任意の部分（例えば人物ＨＭ２の胴体部分）が指にて触れられた場合にも、或いは、ボタン操作によって人物ＨＭ２の任意の部分（例えば人物ＨＭ２の胴体部分）が指定された場合でも、人物ＨＭ２の顔が対象顔に設定され且つ顔画像ＦＡＣＥ２が対象顔画像に設定されてもよい。他の人物についても同様である。主制御部１３は、顔検出部５３によって検出された人物ＨＭ２の顔の位置を参照しつつ、輪郭抽出、領域分割又はエッジ抽出等を利用した公知の方法を用いて、人物ＨＭ２の胴体領域又は全体像の位置、大きさ及び形状を検出することができ、その検出結果を用いて人物ＨＭ２の一部分が指にて触れられたか否か或いは人物ＨＭ２の一部分がボタン操作によって指定されたか否かを認識することができる（他の人物についても同様）。
【００４３】
対象顔画像が設定されると、対象顔画像の画像信号が顔画像抽出部５４から表示制御部５１に送られる。対象顔画像の画像信号を受けると、表示制御部５１は、対象顔画像に画像サイズ拡大処理を施すことで対象顔画像の画像サイズを拡大し、拡大された対象顔画像をフレーム画像ＦＩと共に表示部１５に表示させる。画像サイズ拡大処理による画像サイズ拡大前の対象顔画像を特に原対象顔画像と呼び、画像サイズ拡大処理による画像サイズ拡大後の対象顔画像を特に拡大対象顔画像と呼ぶ。
【００４４】
例として、人物ＨＭ２及びＨＭ５の顔が対象顔に設定された場合を考える。この場合、表示制御部５１は、原対象顔画像ＦＡＣＥ２及びＦＡＣＥ５に画像サイズ拡大処理を施すことで拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’を生成する。そして、表示制御部５１は、拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’をフレーム画像ＦＩ上に重畳することで表示用画像ＦＩ’（図６（ａ）参照）を生成し、表示用画像ＦＩ’を表示部１５に表示させる。表示用画像ＦＩ’に、夫々の顔の顔枠を重畳しても良い。図６（ｂ）には、表示用画像ＦＩ’が表示された表示画面の様子が示されている。
【００４５】
この際、例えば、表示制御部５１は、フレーム画像ＦＩ上において人物ＨＭ２及びＨＭ５の顔が存在する位置にそれぞれ拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’が表示されるように、対象顔位置情報に基づき拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’の表示位置を決定することができる。フレーム画像ＦＩ上における各対象顔画像の位置を表す対象顔位置情報は、顔処理部５２から表示制御部５１に送られる。画像サイズ拡大処理において、表示制御部５１は、例えば公知の解像度変換により、水平及び垂直方向の夫々において原対象顔画像ＦＡＣＥ２の画素数をｋ２倍にすることで拡大対象顔画像ＦＡＣＥ２’を生成し、水平及び垂直方向の夫々において原対象顔画像ＦＡＣＥ５の画素数をｋ５倍にすることで拡大対象顔画像ＦＡＣＥ５’を生成する。ｋ２及びｋ５は共に１より大きな係数である。表示制御部５１は、係数ｋ２及びｋ５の値を、互いに一致させても良いし、互いに異ならせても良い。予め定められた１より大きな値を、係数ｋ２及びｋ５に代入しても良い。或いは例えば、表示制御部５１は、拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’の水平又は垂直方向における画素数が所定値と一致するように、係数ｋ２及びｋ５の値を定めてもよい。
【００４６】
上述したようにフレーム画像は所定のフレーム周期で順次取得される。故に、時系列で並ぶフレーム画像の集まりであるフレーム画像列に対して、上述の各動作は実行される。第ｉ番目のフレーム画像ＦＩを特に記号ＦＩ［ｉ］によって表す。フレーム画像ＦＩ［ｉ］が表示部１５に表示されているときに、ユーザにより顔枠ＦＦ２及びＦＦ５が指定された場合、表示制御部５１は、フレーム画像ＦＩ［ｉ＋ｊ］から抽出された原対象顔画像ＦＡＣＥ２及びＦＡＣＥ５に画像サイズ拡大処理を施すことで拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’を生成し、拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’をフレーム画像ＦＩ［ｉ＋ｊ］に重畳することで得た表示用画像を表示部１５に表示することができる（ｊは１以上の整数）。
【００４７】
顔処理部５２は、フレーム画像列の画像信号に基づきフレーム画像列上において各人物の顔の位置を追尾する公知の追尾処理等を利用することができ、これにより、各フレーム画像上における各顔が人物ＨＭ１〜ＨＭ６の何れの顔であるのかを区別することができると共にフレーム画像列上の各顔の位置変化に対応して顔検出及び顔画像抽出を継続的に実行することができる。
【００４８】
第１実施例によれば、ユーザ所望の構図及び撮影画角を変更することなく、ユーザが注目する複数の顔を同時に拡大表示することができ、限られた画面サイズの中で、ユーザは注目する複数の顔の状態を同時に表示画面上で詳細に確認することが可能となる。
【００４９】
＜＜第２実施例＞＞
第２実施例を説明する。第１実施例では、ユーザによる操作内容に従って対象顔及び対象顔画像を設定しているが、第２実施例では、ユーザの操作に拠らず、撮像装置１が自動的に対象顔及び対象顔画像を設定する。図７は、第２実施例の動作に特に関与する部位のブロック図である。第２実施例では、顔処理部５２から対象顔設定部５５が削除されている。
【００５０】
図８の画像３３０は、フレーム画像ＦＩの例である。ここでは、フレーム画像ＦＩの撮影時点を含む任意のタイミングにおいて、３人の人物ＨＭ２、ＨＭ３及びＨＭ５が被写体群に含まれており且つ人物ＨＭ２、ＨＭ３及びＨＭ５以外の人物は被写体群に含まれていないことを想定する。そうすると、第１実施例で述べたように、顔検出部５３によってフレーム画像３３０から人物ＨＭ２、ＨＭ３及びＨＭ５の顔が検出され、顔画像抽出部５４によってフレーム画像３３０から顔画像ＦＡＣＥ２、ＦＡＣＥ３及びＦＡＣＥ５が抽出される。
【００５１】
第２実施例に係る顔検出部５３は、対象顔設定部の機能を内包しており、自身が検出した顔を対象顔に設定する。この際、顔検出部５３は、自身が検出した全ての顔を無条件で対象顔に設定しても良い。
【００５２】
或いは、顔検出部５３は、フレーム画像３３０上における顔の大きさが所定の基準大きさ以下である顔のみを対象顔を設定してもよい。例えば、フレーム画像３３０上における顔画像ＦＡＣＥ３の画素数が所定の基準値を超えるとき、人物ＨＭ３の顔を対象顔に設定せず、当該画素数が上記基準値以下であるときにのみ人物ＨＭ３の顔を対象顔に設定するようにしてもよい（人物ＨＭ２及びＨＭ５についても同様）。
【００５３】
更に或いは、予め複数の人物を複数の登録人物として顔検出部５３に設定しておくと共に各登録人物の顔画像を登録顔画像として顔検出部５３に設定しておき、フレーム画像３３０上における複数の人物の顔の内、登録人物の顔のみを対象顔に設定しても良い。この場合、顔検出部５３は、登録顔画像とフレーム画像３３０上の顔画像との類似性評価を用いた公知の顔認識処理に基づき、フレーム画像３３０上の各顔に対応する人物が何れかの登録人物と一致するか否かを判定することができる。
【００５４】
今、顔検出部５３によって、人物ＨＭ２及びＨＭ５の顔のみが対象顔に設定されたことを想定する。そうすると、顔検出部５３は、顔画像ＦＡＣＥ２及びＦＡＣＥ５を対象顔画像に設定する。対象顔画像の設定後における撮像装置１の動作は、第１実施例で述べたものと同様であり、第１実施例で説明した事項が第２実施例にも適用される。
【００５５】
即ち、表示制御部５１は、フレーム画像３３０から抽出された原対象顔画像ＦＡＣＥ２及びＦＡＣＥ５に画像サイズ拡大処理を施すことで拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’を生成し、拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’をフレーム画像３３０上に重畳することで表示用画像３３０’（図９（ａ）参照）を生成する。そして、表示制御部５１は、表示用画像３３０’を表示部１５に表示させる（図９（ｂ）参照）。表示用画像３３０’に、夫々の顔の顔枠を重畳しても良い。
【００５６】
第２実施例によっても第１実施例と同様の効果が得られる。更に、第２実施例では、対象顔を指定する操作が不要になる分、ユーザの利便性が向上しうる。
【００５７】
＜＜第３実施例＞＞
第３実施例を説明する。第３実施例では、第１又は第２実施例に適用可能なサムネイル生成技術を説明する。
【００５８】
撮影モードにおいて、ユーザがシャッタボタン２０を押した場合、主制御部１３は、その直後に得られるフレーム画像を目標静止画像として記録媒体１６に記録させる。この際、主制御部１３内のサムネイル生成部６１は（図１０参照）、目標静止画像に対応するサムネイル画像が生成する。そして、主制御部１３は、サムネイル画像を目標静止画像に関連付けた上で目標静止画像をサムネイル画像と共に記録媒体１６に記録させる。例えば、主制御部１３は、記録媒体１６内に１つの画像ファイルを作成し、当該画像ファイルの本体領域及びヘッダ領域に夫々目標静止画像の画像信号及びサムネイル画像の画像信号を格納することで、サムネイル画像を目標静止画像に関連付けることができる。
【００５９】
通常、サムネイル生成部６１は、目標静止画像の画像サイズを単純に縮小することで得た目標静止画像の縮小画像を、サムネイル画像として生成する。但し、第１又は第２実施例の如く（図６（ｂ）又は図９（ｂ）参照）、表示用画像ＦＩ’又は３３０’が表示されている状態において或いは表示用画像ＦＩ’又は３３０’の表示後に、ユーザがシャッタボタン２０を押した場合、サムネイル生成部６１は、目標静止画像から抽出された複数の対象顔画像よりサムネイル画像を生成する。
【００６０】
例えば、第１又は第２実施例の如く、人物ＨＭ２及びＨＭ５の顔のみが対象顔に設定され、この設定が成された状態でシャッタボタン２０が押された場合を考える。この場合、図３又は図７の顔画像抽出部５４は、目標静止画像から顔画像ＦＡＣＥ２及びＦＡＣＥ５を抽出し、サムネイル生成部６１は、目標静止画像から抽出された顔画像ＦＡＣＥ２及びＦＡＣＥ５を合成することで、図１１に示すようなサムネイル画像３６０を生成することができる。サムネイル画像３６０では、顔画像ＦＡＣＥ２及びＦＡＣＥ５が互いに重なり合うことなく水平方向に並べられているが、顔画像ＦＡＣＥ２及びＦＡＣＥ５が並ぶ方向は水平方向以外でも良く、また、サムネイル画像３６０において顔画像ＦＡＣＥ２の一部と顔画像ＦＡＣＥ５の一部が重なりあっていても良い。
【００６１】
サムネイル画像３６０を含む複数のサムネイル画像が複数の目標静止画像と共に記録媒体１６に記録されている状態で、撮像装置１の動作モードが再生モードの一種であるサムネイル表示モードに切り換えられると、図１２のような表示が成される。サムネイル表示モードにおいて、表示制御部５１は、表示画面の全体表示領域内に複数のサムネイル表示領域を設定し、１つのサムネイル表示領域に１つのサムネイル画像を表示させることで複数のサムネイル画像を同時表示させる。図１２では、４枚のサムネイル画像３７０、３６０、３７１及び３７２が同時表示されている。ユーザはサムネイル画像３７０、３６０、３７１及び３７２の何れかをユーザインターフェースを介して選択することができ、この選択が成されると、選択サムネイル画像に対応する目標静止画像は表示部１５に表示されてユーザによる視聴及び編集等が可能となる。
【００６２】
撮影モードにおいて拡大表示された対象顔画像は、撮影者としてのユーザの注目度の高い画像部分であると推測される。ユーザの注目度の高い画像部分を用いてサムネイル画像を生成し、それをサムネイル表示モードにおいて表示することで、ユーザはサムネイル画像から撮影時の状況を思い浮かべ易くなり、結果、所望の目標静止画像を探し出し易くなる。
【００６３】
＜＜第４実施例＞＞
第４実施例を説明する。第４実施例では、第１又は第２実施例に適用可能な、他のサムネイル生成技術を説明する。
【００６４】
撮影モードにおいて、主制御部１３は、ｉ回目に録画ボタン２１を押した時点から（ｉ＋１）回目に録画ボタン２１を押した時点までのフレーム画像列を目標動画像として記録媒体１６に記録させることができる。この際、サムネイル生成部６１は、目標動画像に対応するサムネイル画像が生成する。そして、主制御部１３は、サムネイル画像を目標動画像に関連付けた上で目標動画像をサムネイル画像と共に記録媒体１６に記録させる。例えば、主制御部１３は、記録媒体１６内に１つの画像ファイルを作成し、当該画像ファイルの本体領域及びヘッダ領域に夫々目標動画像の画像信号及びサムネイル画像の画像信号を格納することで、サムネイル画像を目標動画像に関連付けることができる。
【００６５】
通常、サムネイル生成部６１は、目標動画像を形成する何れかのフレーム画像を代表フレーム画像として抽出し、代表フレーム画像の画像サイズを単純に縮小することで得た、代表フレーム画像の縮小画像をサムネイル画像として生成する。但し、第１又は第２実施例の如く（図６（ｂ）又は図９（ｂ）参照）、目標動画像の撮影中に対象顔が設定されて表示用画像ＦＩ’又は３３０’が表示された場合、サムネイル生成部６１は、目標動画像から抽出された複数の対象顔画像よりサムネイル画像を生成する。
【００６６】
例えば、目標動画像がフレーム画像ＦＩ又は３３０を含み、目標動画像の撮影中において、第１又は第２実施例の如く人物ＨＭ２及びＨＭ５の顔のみが対象顔に設定された場合を考える。この場合、図３又は図７の顔画像抽出部５４は、抽出元フレーム画像から顔画像ＦＡＣＥ２及びＦＡＣＥ５を抽出し、サムネイル生成部６１は、抽出元フレーム画像から抽出された顔画像ＦＡＣＥ２及びＦＡＣＥ５を合成することで、図１１に示すようなサムネイル画像３６０を生成することができる。抽出元フレーム画像は、フレーム画像ＦＩ又は３３０である。或いは、抽出元フレーム画像は、目標動画像を形成する何れかのフレーム画像であって、且つ、人物ＨＭ２及びＨＭ５の顔が対象顔に設定された後に得られたフレーム画像である。サムネイル画像の生成後における撮像装置１の動作は、第３実施例で示したものと同様である。
【００６７】
撮影モードにおいて拡大表示された対象顔画像は、撮影者としてのユーザの注目度の高い画像部分であると推測される。ユーザの注目度の高い画像部分を用いてサムネイル画像を生成し、それをサムネイル表示モードにおいて表示することで、ユーザはサムネイル画像から撮影時の状況を思い浮かべ易くなり、結果、所望の目標動画像を探し出し易くなる。
【００６８】
＜＜第５実施例＞＞
第５実施例を説明する。第５実施例及び後述の第６実施例では、撮像装置１の、再生モードにおける特徴的な動作を説明する。第５実施例では、第１実施例で述べた技術を再生モードにおいて実現する。第５実施例の動作に特に関与する部位のブロック図は、第１実施例のそれ（即ち図３）と同じである。
【００６９】
再生モードにおいてユーザが所定操作をユーザインターフェースに対して成すと、記録媒体１６に記録されたフレーム画像ＦＩの画像信号が入力画像の画像信号として表示制御部５１及び顔処理部５２に供給され、表示制御部５１は、フレーム画像ＦＩとしての入力画像を表示部１５に表示させる。
【００７０】
顔検出部５３、顔画像抽出部５４及び対象顔設定部５５の動作を含む、顔処理部５２の動作は、第１実施例で述べたものと同様である。第５実施例でも、第１実施例と同様に、フレーム画像ＦＩ上に人物ＨＭ１〜ＨＭ６の顔が存在しているものとし、更に人物ＨＭ２及びＨＭ５の顔のみが対象顔に設定された場合を考える。そうすると、再生モードにおいて、表示制御部５１は、拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’をフレーム画像ＦＩ上に重畳することで表示用画像ＦＩ’（図６（ａ）参照）を生成し、表示用画像ＦＩ’を表示部１５に表示させる（図６（ｂ）参照）。
【００７１】
表示制御部５１及び顔処理部５２に供給される入力画像の画像信号がフレーム画像列の画像信号（即ち、動画像の画像信号）である場合も同様である。この場合、入力画像を形成する第ｉ番目のフレーム画像ＦＩが第１実施例で述べたフレーム画像ＦＩ［ｉ］に相当し、第１実施例で述べた技術を第５実施例に適用することができる。即ち、再生モードにおいてフレーム画像ＦＩ［ｉ］が表示部１５に表示されているときに、ユーザにより顔枠ＦＦ２及びＦＦ５が指定された場合、表示制御部５１は、フレーム画像ＦＩ［ｉ＋ｊ］から抽出された原対象顔画像ＦＡＣＥ２及びＦＡＣＥ５に画像サイズ拡大処理を施すことで拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’を生成し、拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’をフレーム画像ＦＩ［ｉ＋ｊ］に重畳することで得た表示用画像を表示部１５に表示することができる（ｊは１以上の整数）。
【００７２】
第５実施例によれば、再生時におけるズーム操作やスクロール操作を必要とすることなく、ユーザが注目する複数の顔を同時に拡大表示することができ、限られた画面サイズの中で、ユーザは注目する複数の顔の状態を同時に表示画面上で詳細に確認することが可能となる。
【００７３】
＜＜第６実施例＞＞
第６実施例を説明する。第６実施例では、第２実施例で述べた技術を再生モードにおいて実現する。第６実施例の動作に特に関与する部位のブロック図は、第２実施例のそれ（即ち図７）と同じである。
【００７４】
再生モードにおいてユーザが所定操作をユーザインターフェースに対して成すと、記録媒体１６に記録されたフレーム画像３３０（図８参照）の画像信号が入力画像の画像信号として表示制御部５１及び顔処理部５２に供給され、表示制御部５１は、フレーム画像３３０としての入力画像を表示部１５に表示させる。
【００７５】
顔検出部５３及び顔画像抽出部５４の動作を含む、顔処理部５２の動作は、第２実施例で述べたものと同様である。第６実施例でも、第２実施例と同様に、フレーム画像３３０上に人物ＨＭ２、ＨＭ３及びＨＭ５の顔が存在しているものとし、更に人物ＨＭ２及びＨＭ５の顔のみが対象顔に設定された場合を考える。そうすると、再生モードにおいて、表示制御部５１は、拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’をフレーム画像３３０上に重畳することで表示用画像３３０’（図９（ａ）参照）を生成し、表示用画像３３０’を表示部１５に表示させる（図９（ｂ）参照）。
【００７６】
第６実施例によっても第５実施例と同様の効果が得られる。更に、第６実施例では、対象顔を指定する操作が不要になる分、ユーザの利便性が向上しうる。
【００７７】
尚、撮影モードにおいてフレーム画像ＦＩ又は３３０を記録媒体１６に記録する際、フレーム画像ＦＩ又は３３０に関連付けられたサムネイル画像も記録媒体１６に記録される。第３又は第４実施例で述べたサムネイル生成技術は、フレーム画像ＦＩ又は３３０に関連付けられるべきサムネイル画像を撮影モード中に生成する技術であるが、当該サムネイル生成技術を、再生モードに関わる第５又は第６実施例に適用することも可能である。即ち例えば、再生モードにおいてフレーム画像ＦＩ又は３３０が表示部１５に表示されているとき、人物ＨＭ２及びＨＭ５の顔が対象顔に設定されたならば、第３又は第４実施例で述べた方法に従ってサムネイル画像３６０を生成し、記録媒体１６に記録され且つフレーム画像ＦＩ又は３３０に対応付けられるべきサムネイル画像を、サムネイル画像３６０へ置き替えるようにしてもよい。
【００７８】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００７９】
［注釈１］
再生モードにおいて撮像装置１は画像の再生を行う画像再生装置として機能し、再生モードにおける撮像装置１を画像再生装置と呼ぶこともできる。従って、第５又は第６実施例で述べた、再生モードにおける撮像装置１の動作を、撮像装置１以外の画像再生装置１０１において実現させることも可能である。図１３は、画像再生装置１０１の内部構成図である。画像再生装置１０１は、表示部１５、表示制御部５１及び顔処理部５２を少なくとも備え、更に、再生モードの動作に必要な撮像装置１内の任意の部位を更に備えうる。画像再生装置１０１は、携帯端末、ゲーム機器、パーソナルコンピュータ、携帯電話機、電子書籍リーダ、電子辞書などでありうる。
【００８０】
［注釈２］
上述の実施形態では、対象顔画像の個数が２である場合を例示しているが、対象顔画像の個数は３以上であってもよい。
【００８１】
［注釈３］
撮像装置１又は画像再生装置１０１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１又は画像再生装置１０１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【００８２】
［注釈４］
上述の実施形態では、フレーム画像から検出されるべき特定種類の物体が人物の顔であることを例示しているが、特定種類の物体は、人物の顔以外の物体（例えば、人物以外の動物の顔、花、ロボット）であっても良い。フレーム画像から検出されるべき特定種類の物体を、ユーザインターフェースを介してユーザが指定できるように、撮像装置１及び画像再生装置１０１を形成しておいても良い。
【００８３】
［注釈５］
顔検出部５３は、撮影画像又は入力画像とも言うべきフレーム画像の画像信号に基づき、特定種類の物体としての人物の顔を検出する特定種類物体検出部の例である。対象顔設定部５５は、対象物体選択部と呼ぶこともできる対象物体設定部の例であり、ユーザインターフェースに対して成された操作に基づき、複数の対象物体としての複数の対象顔を設定又は選択する。但し、第２又は第６実施例においては、顔検出部５３が対象物体設定部として機能し或いは対象物体設定部の機能を兼務し、撮影画像又は入力画像とも言うべきフレーム画像の画像信号に基づき、複数の対象物体としての複数の対象顔を設定又は選択する。対象顔画像は対象物体画像として、抽出部の例である顔画像抽出部５４により、撮影画像又は入力画像から抽出される。
【符号の説明】
【００８４】
１ 撮像装置
１１ 撮像部
１５ 表示部
５１ 表示制御部
５２ 顔処理部
５３ 顔検出部
５４ 顔画像抽出部
５５ 対象顔設定部
６１ サムネイル生成部
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置、及び、画像の再生を行う画像再生装置に関する。
【背景技術】
【０００２】
近年の撮像装置の多くは表示部を備えており、撮影領域内の画像が動画像として表示部に表示される。撮影者としてのユーザは、表示部の表示画面を見ることで撮影構図や被写体群の状態を確認することができる。
【０００３】
図１４に、人物ＨＭ１〜ＨＭ６を撮影領域内に収めた状態での表示画面の様子を示す。図１４における斜線領域は表示部の筐体を表している。例えば、撮影者としてのユーザが、人物ＨＭ２及びＨＭ５の顔の状態の詳細確認を望む場合、撮影方向を必要に応じて調整しながらズームイン操作を行う必要がある。
【０００４】
尚、インターホンシステムにおいて、子機の撮影画像から人物の顔が検出された場合、顔部分の領域を親機で拡大表示する方法が開示されている（下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−３５６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の如く、撮影者としてのユーザが人物ＨＭ２及びＨＭ５の顔の状態を詳細に確認したい場合において、撮影方向の変更やズームイン操作による撮影画角の変更を行うと、ユーザ所望の撮影構図及び撮影画角を維持できなくなる。例えば、ズームイン操作に伴って撮影画角が減少すれば、人物ＨＭ１〜ＨＭ６を撮影領域内に収めたいというユーザ意図に反して、何れかの人物（例えば、ＨＭ１及びＨＭ６）がフレームアウトすることがある。
【０００７】
このような事象は、画像再生装置においても発生しうる。即ち、図１４に示すような人物ＨＭ１〜ＨＭ６の画像信号を含む入力画像の再生時において、視聴者としてのユーザが人物ＨＭ２及びＨＭ５の顔の状態を詳細に確認したいことがある。ズーム操作及びスクロール操作を行えば人物ＨＭ２又はＨＭ５のみを拡大再生させることもできるが、ズーム操作及びスクロール操作の実行はユーザの負担になりうるし、ズーム操作やスクロール操作を行うと、人物ＨＭ１〜ＨＭ６を含む入力画像の全体を見ることができなくなる。
【０００８】
そこで本発明は、撮影構図及び撮影画角の変更を必要とすることなく複数の対象物体の詳細な状態確認を可能ならしめる撮像装置、及び、再生時におけるズーム操作やスクロール操作を必要とすることなく複数の対象物体の詳細な状態確認を可能ならしめる画像再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る撮像装置は、被写体群の撮影画像を表す画像信号を出力する撮像部と、前記画像信号に基づく画像を表示する表示部と、前記被写体群に含まれる複数の対象物体の画像を、前記対象物体ごとに対象物体画像として前記撮影画像から抽出する抽出部と、抽出された各対象物体画像の画像サイズを拡大し、拡大された各対象物体画像を、前記撮影画像とともに前記表示部に表示させる表示制御部と、を備えたことを特徴とする。
【００１０】
これにより、撮影構図及び撮影画角の変更を必要とすることなく、ユーザは、複数の対象物体の状態を同時に表示部上で詳細に確認することが可能となる。
【００１１】
具体的には例えば、ユーザインターフェースに対して成された操作に基づき前記複数の対象物体を設定する対象物体設定部を、当該撮像装置に更に設けるとよい。
【００１２】
或いは例えば、各対象物体は特定種類の物体であり、前記画像信号に基づき前記撮影画像から前記特定種類の物体を検出することで前記複数の対象物体を設定する対象物体設定部を、当該撮像装置に更に設けてもよい。
【００１３】
また例えば、前記撮影画像から抽出された複数の対象物体画像を用いて前記撮影画像のサムネイル画像を生成するサムネイル生成部を、当該撮像装置に更に設けてもよい。
【００１４】
拡大表示された対象物体画像は、撮影者としてのユーザの注目度の高い画像部分であると推測される。ユーザの注目度の高い画像部分を用いてサムネイル画像を生成することで、再生時においてユーザはサムネイル画像から撮影時の状況を思い浮かべ易くなり、結果、所望の画像を探し出し易くなる。
【００１５】
また例えば、当該撮像装置において前記対象物体は人物の顔を含んでいてもよい。
【００１６】
本発明に係る画像再生装置は、複数の対象物体の画像を内包する入力画像の画像信号を受ける画像再生装置において、前記画像信号に基づく画像を表示する表示部と、前記複数の対象物体の画像を、前記対象物体ごとに対象物体画像として前記入力画像から抽出する抽出部と、抽出された各対象物体画像の画像サイズを拡大し、拡大された各対象物体画像を、前記入力画像とともに前記表示部に表示させる表示制御部と、を備えたことを特徴とする。
【００１７】
これにより、ズーム操作やスクロール操作を必要とすることなく、ユーザは、複数の対象物体の状態を同時に表示部上で詳細に確認することが可能となる。
【００１８】
具体的には例えば、ユーザインターフェースに対して成された操作に基づき前記複数の対象物体を設定する対象物体設定部を、当該画像再生装置に更に設けるとよい。
【００１９】
或いは例えば、各対象物体は特定種類の物体であり、前記画像信号に基づき前記入力画像から前記特定種類の物体を検出することで前記複数の対象物体を設定する対象物体設定部を、当該画像再生装置に更に設けてもよい。
【００２０】
また例えば、当該画像再生装置において前記対象物体は人物の顔を含んでいてもよい。
【発明の効果】
【００２１】
本発明によれば、撮影構図及び撮影画角の変更を必要とすることなく複数の対象物体の詳細な状態確認を可能ならしめる撮像装置、及び、再生時におけるズーム操作やスクロール操作を必要とすることなく複数の対象物体の詳細な状態確認を可能ならしめる画像再生装置を提供することが可能である。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】本発明の第１実施例の動作に特に関与する部位のブロック図である。
【図４】本発明の第１実施例に係るフレーム画像を示す図である。
【図５】本発明の第１実施例に係り、表示部の様子及びタッチパネル操作の様子を示す図である。
【図６】本発明の第１実施例に係り、表示用画像と、表示用画像が示された表示部を示す図である。
【図７】本発明の第２実施例の動作に特に関与する部位のブロック図である。
【図８】本発明の第２実施例に係るフレーム画像を示す図である。
【図９】本発明の第２実施例に係り、表示用画像と、表示用画像が示された表示部を示す図である。
【図１０】本発明の第３実施例に係るサムネイル生成部を示す図である。
【図１１】本発明の第３実施例に係るサムネイル画像を示す図である。
【図１２】サムネイル表示モードにおける表示部の様子を示す図である。
【図１３】本発明の実施形態に係る画像再生装置の概略全体ブロック図である。
【図１４】従来技術に係り、撮像装置の表示部の様子を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、信号、物理量、状態量又は部材等の名称を省略又は略記することがある。
【００２４】
図１は、本発明の実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像のみを撮影及び記録可能なデジタルスチルカメラであっても良い。また、撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００２５】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。尚、表示部１５は撮像装置１の外部機器（不図示）に設けられたものである、と解釈しても良い。
【００２６】
撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。光軸とは、撮像部１１における光軸（撮像装置１における光軸）を指す。主制御部１３からの制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度（即ち絞り値）が制御される。
【００２７】
撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。
【００２８】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は主制御部１３によって制御される。主制御部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。ＡＦＥ１２の出力信号そのものによって表される画像、又は、ＡＦＥ１２の出力信号そのものによって表される画像に対して所定の画像処理を施して得られる画像を、撮影画像という。主制御部１３は、表示部１５の表示内容を制御する表示制御部を備え、表示に必要な制御を表示部１５に対して行う。
【００２９】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１３の制御の下、撮影画像や記録媒体１６に記録されている画像などを表示する。本明細書において、単に表示及び表示画面と言った場合、それらは、表示部１５における表示及び表示画面を指すものとする。表示部１５にはタッチパネル１９が設けられており、ユーザは、表示部１５の表示画面を操作体（指やタッチペンなど）で触れることで撮像装置１に様々の指示を与えることができる。
【００３０】
記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像の映像信号等を記録する。操作部１７は、静止画像の撮影指示を受け付けるシャッタボタン２０及び動画像の撮影開始指示又は撮影終了指示を受け付ける録画ボタン２１等を備え、外部からの各種操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。操作部１７及びタッチパネル１９を、ユーザからの任意の指示及び操作を受けるユーザインターフェースと呼ぶことができ、以下、操作部１７若しくはタッチパネル１９を、又は、それらをまとめてユーザインターフェースと呼ぶ。シャッタボタン２０及び録画ボタン２１は、タッチパネル１９上のボタンであってもよい。
【００３１】
表示画面を操作体で触れることによる操作をタッチパネル操作と呼ぶ。操作体と表示画面との接触位置をタッチ位置と呼ぶ。操作体が表示画面に触れているとき、タッチパネル１９は、その触れた位置（即ちタッチ位置）を指し示すタッチ位置情報を含むタッチパネル操作情報を、主制御部１３にリアルタイムで出力する。操作体は、例えばユーザの指又はペンである。以下では、操作体がユーザの指であることを想定する。操作部１７に設けられたボタン等に対する操作を、タッチパネル操作と区別すべく、特にボタン操作ともいう。
【００３２】
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された画像（静止画像又は動画像）を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。
【００３３】
撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表す映像信号を画像信号とも呼ぶ。撮像素子３３の出力信号、ＡＦＥ１２の出力信号及び主制御部１３にて生成される映像信号（輝度信号や色差信号）の夫々は、画像信号の一種である。以下の説明では、撮像装置１の撮影領域（視野）内に複数の人物が複数の被写体として含まれていることを想定し、複数の被写体を被写体群とも呼ぶ。
【００３４】
上述の撮像装置１の、より具体的な構成及び動作等を説明する実施例として、以下に第１〜第６実施例を示す。矛盾なき限り、第１〜第６実施例の内、或る実施例に記載した事項を他の実施例に適用することもできる。
【００３５】
＜＜第１実施例＞＞
第１実施例を説明する。第１実施例及び後述の第２実施例では、撮像装置１の、撮影モードにおける特徴的な動作を説明する。図３は、第１実施例の動作に特に関与する部位のブロック図である。表示制御部５１及び顔処理部５２を、図１の主制御部１３に設けておくことができる。顔処理部５２は、顔検出部５３、顔画像抽出部５４及び対象顔設定部５５を備える。
【００３６】
撮影モードにおいて、被写体群の撮影画像を表す画像信号が撮像部１１より所定のフレーム周期にて順次出力され、撮像部１１の出力画像信号がＡＦＥ１２を介して表示制御部５１及び顔処理部５２に与えられる。１フレーム周期分の画像信号にて表現される１枚の撮影画像（静止画像）を特にフレーム画像とも呼ぶ。表示制御部５１は、フレーム周期にて順次得られるフレーム画像を表示部１５に順次更新表示させる。図４（ａ）の画像ＦＩは、１枚のフレーム画像の例である。ここでは、フレーム画像ＦＩの撮影時点を含む任意のタイミングにおいて、６人の人物ＨＭ１〜ＨＭ６が被写体群に含まれていることを想定する。
【００３７】
顔検出部５３は、フレーム画像ＦＩの画像信号に基づき、フレーム画像ＦＩ上の被写体群の中から特定種類の物体である、人物の顔を検出する。従って、顔検出部５３は、フレーム画像ＦＩ上における人物ＨＭ１〜ＨＭ６の顔を検出する。顔検出部５３は、画像信号に基づく公知の顔検出方法を利用することができる。
【００３８】
顔画像抽出部５４は、顔検出部５３による顔検出結果を利用し、フレーム画像ＦＩ上の任意の顔の画像を、顔画像としてフレーム画像ＦＩから抽出することができる。図４（ｂ）に示す如く、人物ＨＭ１〜ＨＭ６の顔の画像を、それぞれ顔画像ＦＡＣＥ１〜ＦＡＣＥ６と呼ぶ。顔画像ＦＡＣＥ１〜ＦＡＣＥ６の夫々はフレーム画像ＦＩの一部であり、顔画像ＦＡＣＥｉは人物ＨＭｉの顔の画像信号を含む画像である（ｉは整数）。図４（ｂ）において、６つの破線矩形枠内の画像が顔画像ＦＡＣＥ１〜ＦＡＣＥ６である。図４（ｂ）に示す例では、顔画像ＦＡＣＥｉの外形が矩形になっているが、顔画像ＦＡＣＥｉの外形は矩形でなくても良く、人物ＨＭｉの顔の輪郭に沿った外形を顔画像ＦＡＣＥｉに持たせても良い。
【００３９】
顔処理部５２は、フレーム画像ＦＩ上における顔画像ＦＡＣＥ１〜ＦＡＣＥ６の位置及び大きさを表す顔位置／大きさ情報を表示制御部５１に出力し、表示制御部５１は、顔位置／大きさ情報に基づく顔枠を表示部１５に表示させる。即ち、表示制御部５１は、フレーム画像ＦＩを表示部１５に表示させる際、図５（ａ）に示す如く、顔画像ＦＡＣＥ１〜ＦＡＣＥ６の外周に相当する６つの顔枠（図５（ａ）における破線矩形枠）ＦＦ１〜ＦＦ６をフレーム画像ＦＩに重畳して表示部１５に表示させる。図５（ａ）において、斜線領域は表示部１５の筐体を表している（後述の図５（ｂ）及び図６（ｂ）等においても同様）。
【００４０】
尚、主制御部１３は、顔画像ＦＡＣＥ１〜ＦＡＣＥ６の全部又は一部の画像信号に基づき、人物ＨＭ１〜ＨＭ６の顔の全部又は一部にピントを合わせるためのＡＦ制御、人物ＨＭ１〜ＨＭ６の顔の全部又は一部の露出を最適化するためのＡＥ制御、及び、人物ＨＭ１〜ＨＭ６の顔の全部又は一部のホワイトバランスを最適化するためのＡＷＢ制御などを成すことができる。
【００４１】
対象顔設定部５５は、タッチパネル操作情報に基づき、人物ＨＭ１〜ＨＭ６の顔の何れかを対象顔に設定すると共に対象顔の顔画像を対象顔画像に設定する。対象顔設定部を対象顔選択部と呼んでもよく、対象顔又は対象顔画像の設定は対象顔又は対象顔画像の選択とも言える（後述の他の実施例においても同様）。例えば、図５（ｂ）に示す如く、顔画像ＦＡＣＥ１〜ＦＡＣＥ６を含むフレーム画像ＦＩが表示画面に表示されている状態において、表示画面上における顔枠ＦＦ２及びＦＦ５の表示部分をユーザが指にて触れた場合、顔枠ＦＦ２及びＦＦ５の表示位置に相当するタッチ位置がタッチパネル操作情報に含められ、そのタッチパネル操作情報に基づき、対象顔設定部５５は、顔枠ＦＦ２及びＦＦ５に対応する人物ＨＭ２及びＨＭ５の顔を対象顔に設定する（換言すれば、対象顔として選択する）と共に顔枠ＦＦ２及びＦＦ５に対応する顔画像ＦＡＣＥ２及びＦＡＣＥ５を対象顔画像に設定する。
【００４２】
尚、表示画面上における顔枠ＦＦ２を指にて触れる操作と、表示画面上における顔枠ＦＦ５を指にて触れる操作は、同時に成されても良いし、互いに異なるタイミングで成されても良い。また、ユーザは、ボタン操作によっても顔枠ＦＦ２及びＦＦ５を指定することができ、ボタン操作によって顔枠ＦＦ２及びＦＦ５が指定された場合でも、対象顔設定部５５により人物ＨＭ２及びＨＭ５の顔が対象顔に設定され且つ顔画像ＦＡＣＥ２及びＦＡＣＥ５が対象顔画像に設定される。また、表示画面上における、人物ＨＭ２の任意の部分（例えば人物ＨＭ２の胴体部分）が指にて触れられた場合にも、或いは、ボタン操作によって人物ＨＭ２の任意の部分（例えば人物ＨＭ２の胴体部分）が指定された場合でも、人物ＨＭ２の顔が対象顔に設定され且つ顔画像ＦＡＣＥ２が対象顔画像に設定されてもよい。他の人物についても同様である。主制御部１３は、顔検出部５３によって検出された人物ＨＭ２の顔の位置を参照しつつ、輪郭抽出、領域分割又はエッジ抽出等を利用した公知の方法を用いて、人物ＨＭ２の胴体領域又は全体像の位置、大きさ及び形状を検出することができ、その検出結果を用いて人物ＨＭ２の一部分が指にて触れられたか否か或いは人物ＨＭ２の一部分がボタン操作によって指定されたか否かを認識することができる（他の人物についても同様）。
【００４３】
対象顔画像が設定されると、対象顔画像の画像信号が顔画像抽出部５４から表示制御部５１に送られる。対象顔画像の画像信号を受けると、表示制御部５１は、対象顔画像に画像サイズ拡大処理を施すことで対象顔画像の画像サイズを拡大し、拡大された対象顔画像をフレーム画像ＦＩと共に表示部１５に表示させる。画像サイズ拡大処理による画像サイズ拡大前の対象顔画像を特に原対象顔画像と呼び、画像サイズ拡大処理による画像サイズ拡大後の対象顔画像を特に拡大対象顔画像と呼ぶ。
【００４４】
例として、人物ＨＭ２及びＨＭ５の顔が対象顔に設定された場合を考える。この場合、表示制御部５１は、原対象顔画像ＦＡＣＥ２及びＦＡＣＥ５に画像サイズ拡大処理を施すことで拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’を生成する。そして、表示制御部５１は、拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’をフレーム画像ＦＩ上に重畳することで表示用画像ＦＩ’（図６（ａ）参照）を生成し、表示用画像ＦＩ’を表示部１５に表示させる。表示用画像ＦＩ’に、夫々の顔の顔枠を重畳しても良い。図６（ｂ）には、表示用画像ＦＩ’が表示された表示画面の様子が示されている。
【００４５】
この際、例えば、表示制御部５１は、フレーム画像ＦＩ上において人物ＨＭ２及びＨＭ５の顔が存在する位置にそれぞれ拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’が表示されるように、対象顔位置情報に基づき拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’の表示位置を決定することができる。フレーム画像ＦＩ上における各対象顔画像の位置を表す対象顔位置情報は、顔処理部５２から表示制御部５１に送られる。画像サイズ拡大処理において、表示制御部５１は、例えば公知の解像度変換により、水平及び垂直方向の夫々において原対象顔画像ＦＡＣＥ２の画素数をｋ２倍にすることで拡大対象顔画像ＦＡＣＥ２’を生成し、水平及び垂直方向の夫々において原対象顔画像ＦＡＣＥ５の画素数をｋ５倍にすることで拡大対象顔画像ＦＡＣＥ５’を生成する。ｋ２及びｋ５は共に１より大きな係数である。表示制御部５１は、係数ｋ２及びｋ５の値を、互いに一致させても良いし、互いに異ならせても良い。予め定められた１より大きな値を、係数ｋ２及びｋ５に代入しても良い。或いは例えば、表示制御部５１は、拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’の水平又は垂直方向における画素数が所定値と一致するように、係数ｋ２及びｋ５の値を定めてもよい。
【００４６】
上述したようにフレーム画像は所定のフレーム周期で順次取得される。故に、時系列で並ぶフレーム画像の集まりであるフレーム画像列に対して、上述の各動作は実行される。第ｉ番目のフレーム画像ＦＩを特に記号ＦＩ［ｉ］によって表す。フレーム画像ＦＩ［ｉ］が表示部１５に表示されているときに、ユーザにより顔枠ＦＦ２及びＦＦ５が指定された場合、表示制御部５１は、フレーム画像ＦＩ［ｉ＋ｊ］から抽出された原対象顔画像ＦＡＣＥ２及びＦＡＣＥ５に画像サイズ拡大処理を施すことで拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’を生成し、拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’をフレーム画像ＦＩ［ｉ＋ｊ］に重畳することで得た表示用画像を表示部１５に表示することができる（ｊは１以上の整数）。
【００４７】
顔処理部５２は、フレーム画像列の画像信号に基づきフレーム画像列上において各人物の顔の位置を追尾する公知の追尾処理等を利用することができ、これにより、各フレーム画像上における各顔が人物ＨＭ１〜ＨＭ６の何れの顔であるのかを区別することができると共にフレーム画像列上の各顔の位置変化に対応して顔検出及び顔画像抽出を継続的に実行することができる。
【００４８】
第１実施例によれば、ユーザ所望の構図及び撮影画角を変更することなく、ユーザが注目する複数の顔を同時に拡大表示することができ、限られた画面サイズの中で、ユーザは注目する複数の顔の状態を同時に表示画面上で詳細に確認することが可能となる。
【００４９】
＜＜第２実施例＞＞
第２実施例を説明する。第１実施例では、ユーザによる操作内容に従って対象顔及び対象顔画像を設定しているが、第２実施例では、ユーザの操作に拠らず、撮像装置１が自動的に対象顔及び対象顔画像を設定する。図７は、第２実施例の動作に特に関与する部位のブロック図である。第２実施例では、顔処理部５２から対象顔設定部５５が削除されている。
【００５０】
図８の画像３３０は、フレーム画像ＦＩの例である。ここでは、フレーム画像ＦＩの撮影時点を含む任意のタイミングにおいて、３人の人物ＨＭ２、ＨＭ３及びＨＭ５が被写体群に含まれており且つ人物ＨＭ２、ＨＭ３及びＨＭ５以外の人物は被写体群に含まれていないことを想定する。そうすると、第１実施例で述べたように、顔検出部５３によってフレーム画像３３０から人物ＨＭ２、ＨＭ３及びＨＭ５の顔が検出され、顔画像抽出部５４によってフレーム画像３３０から顔画像ＦＡＣＥ２、ＦＡＣＥ３及びＦＡＣＥ５が抽出される。
【００５１】
第２実施例に係る顔検出部５３は、対象顔設定部の機能を内包しており、自身が検出した顔を対象顔に設定する。この際、顔検出部５３は、自身が検出した全ての顔を無条件で対象顔に設定しても良い。
【００５２】
或いは、顔検出部５３は、フレーム画像３３０上における顔の大きさが所定の基準大きさ以下である顔のみを対象顔を設定してもよい。例えば、フレーム画像３３０上における顔画像ＦＡＣＥ３の画素数が所定の基準値を超えるとき、人物ＨＭ３の顔を対象顔に設定せず、当該画素数が上記基準値以下であるときにのみ人物ＨＭ３の顔を対象顔に設定するようにしてもよい（人物ＨＭ２及びＨＭ５についても同様）。
【００５３】
更に或いは、予め複数の人物を複数の登録人物として顔検出部５３に設定しておくと共に各登録人物の顔画像を登録顔画像として顔検出部５３に設定しておき、フレーム画像３３０上における複数の人物の顔の内、登録人物の顔のみを対象顔に設定しても良い。この場合、顔検出部５３は、登録顔画像とフレーム画像３３０上の顔画像との類似性評価を用いた公知の顔認識処理に基づき、フレーム画像３３０上の各顔に対応する人物が何れかの登録人物と一致するか否かを判定することができる。
【００５４】
今、顔検出部５３によって、人物ＨＭ２及びＨＭ５の顔のみが対象顔に設定されたことを想定する。そうすると、顔検出部５３は、顔画像ＦＡＣＥ２及びＦＡＣＥ５を対象顔画像に設定する。対象顔画像の設定後における撮像装置１の動作は、第１実施例で述べたものと同様であり、第１実施例で説明した事項が第２実施例にも適用される。
【００５５】
即ち、表示制御部５１は、フレーム画像３３０から抽出された原対象顔画像ＦＡＣＥ２及びＦＡＣＥ５に画像サイズ拡大処理を施すことで拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’を生成し、拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’をフレーム画像３３０上に重畳することで表示用画像３３０’（図９（ａ）参照）を生成する。そして、表示制御部５１は、表示用画像３３０’を表示部１５に表示させる（図９（ｂ）参照）。表示用画像３３０’に、夫々の顔の顔枠を重畳しても良い。
【００５６】
第２実施例によっても第１実施例と同様の効果が得られる。更に、第２実施例では、対象顔を指定する操作が不要になる分、ユーザの利便性が向上しうる。
【００５７】
＜＜第３実施例＞＞
第３実施例を説明する。第３実施例では、第１又は第２実施例に適用可能なサムネイル生成技術を説明する。
【００５８】
撮影モードにおいて、ユーザがシャッタボタン２０を押した場合、主制御部１３は、その直後に得られるフレーム画像を目標静止画像として記録媒体１６に記録させる。この際、主制御部１３内のサムネイル生成部６１は（図１０参照）、目標静止画像に対応するサムネイル画像が生成する。そして、主制御部１３は、サムネイル画像を目標静止画像に関連付けた上で目標静止画像をサムネイル画像と共に記録媒体１６に記録させる。例えば、主制御部１３は、記録媒体１６内に１つの画像ファイルを作成し、当該画像ファイルの本体領域及びヘッダ領域に夫々目標静止画像の画像信号及びサムネイル画像の画像信号を格納することで、サムネイル画像を目標静止画像に関連付けることができる。
【００５９】
通常、サムネイル生成部６１は、目標静止画像の画像サイズを単純に縮小することで得た目標静止画像の縮小画像を、サムネイル画像として生成する。但し、第１又は第２実施例の如く（図６（ｂ）又は図９（ｂ）参照）、表示用画像ＦＩ’又は３３０’が表示されている状態において或いは表示用画像ＦＩ’又は３３０’の表示後に、ユーザがシャッタボタン２０を押した場合、サムネイル生成部６１は、目標静止画像から抽出された複数の対象顔画像よりサムネイル画像を生成する。
【００６０】
例えば、第１又は第２実施例の如く、人物ＨＭ２及びＨＭ５の顔のみが対象顔に設定され、この設定が成された状態でシャッタボタン２０が押された場合を考える。この場合、図３又は図７の顔画像抽出部５４は、目標静止画像から顔画像ＦＡＣＥ２及びＦＡＣＥ５を抽出し、サムネイル生成部６１は、目標静止画像から抽出された顔画像ＦＡＣＥ２及びＦＡＣＥ５を合成することで、図１１に示すようなサムネイル画像３６０を生成することができる。サムネイル画像３６０では、顔画像ＦＡＣＥ２及びＦＡＣＥ５が互いに重なり合うことなく水平方向に並べられているが、顔画像ＦＡＣＥ２及びＦＡＣＥ５が並ぶ方向は水平方向以外でも良く、また、サムネイル画像３６０において顔画像ＦＡＣＥ２の一部と顔画像ＦＡＣＥ５の一部が重なりあっていても良い。
【００６１】
サムネイル画像３６０を含む複数のサムネイル画像が複数の目標静止画像と共に記録媒体１６に記録されている状態で、撮像装置１の動作モードが再生モードの一種であるサムネイル表示モードに切り換えられると、図１２のような表示が成される。サムネイル表示モードにおいて、表示制御部５１は、表示画面の全体表示領域内に複数のサムネイル表示領域を設定し、１つのサムネイル表示領域に１つのサムネイル画像を表示させることで複数のサムネイル画像を同時表示させる。図１２では、４枚のサムネイル画像３７０、３６０、３７１及び３７２が同時表示されている。ユーザはサムネイル画像３７０、３６０、３７１及び３７２の何れかをユーザインターフェースを介して選択することができ、この選択が成されると、選択サムネイル画像に対応する目標静止画像は表示部１５に表示されてユーザによる視聴及び編集等が可能となる。
【００６２】
撮影モードにおいて拡大表示された対象顔画像は、撮影者としてのユーザの注目度の高い画像部分であると推測される。ユーザの注目度の高い画像部分を用いてサムネイル画像を生成し、それをサムネイル表示モードにおいて表示することで、ユーザはサムネイル画像から撮影時の状況を思い浮かべ易くなり、結果、所望の目標静止画像を探し出し易くなる。
【００６３】
＜＜第４実施例＞＞
第４実施例を説明する。第４実施例では、第１又は第２実施例に適用可能な、他のサムネイル生成技術を説明する。
【００６４】
撮影モードにおいて、主制御部１３は、ｉ回目に録画ボタン２１を押した時点から（ｉ＋１）回目に録画ボタン２１を押した時点までのフレーム画像列を目標動画像として記録媒体１６に記録させることができる。この際、サムネイル生成部６１は、目標動画像に対応するサムネイル画像が生成する。そして、主制御部１３は、サムネイル画像を目標動画像に関連付けた上で目標動画像をサムネイル画像と共に記録媒体１６に記録させる。例えば、主制御部１３は、記録媒体１６内に１つの画像ファイルを作成し、当該画像ファイルの本体領域及びヘッダ領域に夫々目標動画像の画像信号及びサムネイル画像の画像信号を格納することで、サムネイル画像を目標動画像に関連付けることができる。
【００６５】
通常、サムネイル生成部６１は、目標動画像を形成する何れかのフレーム画像を代表フレーム画像として抽出し、代表フレーム画像の画像サイズを単純に縮小することで得た、代表フレーム画像の縮小画像をサムネイル画像として生成する。但し、第１又は第２実施例の如く（図６（ｂ）又は図９（ｂ）参照）、目標動画像の撮影中に対象顔が設定されて表示用画像ＦＩ’又は３３０’が表示された場合、サムネイル生成部６１は、目標動画像から抽出された複数の対象顔画像よりサムネイル画像を生成する。
【００６６】
例えば、目標動画像がフレーム画像ＦＩ又は３３０を含み、目標動画像の撮影中において、第１又は第２実施例の如く人物ＨＭ２及びＨＭ５の顔のみが対象顔に設定された場合を考える。この場合、図３又は図７の顔画像抽出部５４は、抽出元フレーム画像から顔画像ＦＡＣＥ２及びＦＡＣＥ５を抽出し、サムネイル生成部６１は、抽出元フレーム画像から抽出された顔画像ＦＡＣＥ２及びＦＡＣＥ５を合成することで、図１１に示すようなサムネイル画像３６０を生成することができる。抽出元フレーム画像は、フレーム画像ＦＩ又は３３０である。或いは、抽出元フレーム画像は、目標動画像を形成する何れかのフレーム画像であって、且つ、人物ＨＭ２及びＨＭ５の顔が対象顔に設定された後に得られたフレーム画像である。サムネイル画像の生成後における撮像装置１の動作は、第３実施例で示したものと同様である。
【００６７】
撮影モードにおいて拡大表示された対象顔画像は、撮影者としてのユーザの注目度の高い画像部分であると推測される。ユーザの注目度の高い画像部分を用いてサムネイル画像を生成し、それをサムネイル表示モードにおいて表示することで、ユーザはサムネイル画像から撮影時の状況を思い浮かべ易くなり、結果、所望の目標動画像を探し出し易くなる。
【００６８】
＜＜第５実施例＞＞
第５実施例を説明する。第５実施例及び後述の第６実施例では、撮像装置１の、再生モードにおける特徴的な動作を説明する。第５実施例では、第１実施例で述べた技術を再生モードにおいて実現する。第５実施例の動作に特に関与する部位のブロック図は、第１実施例のそれ（即ち図３）と同じである。
【００６９】
再生モードにおいてユーザが所定操作をユーザインターフェースに対して成すと、記録媒体１６に記録されたフレーム画像ＦＩの画像信号が入力画像の画像信号として表示制御部５１及び顔処理部５２に供給され、表示制御部５１は、フレーム画像ＦＩとしての入力画像を表示部１５に表示させる。
【００７０】
顔検出部５３、顔画像抽出部５４及び対象顔設定部５５の動作を含む、顔処理部５２の動作は、第１実施例で述べたものと同様である。第５実施例でも、第１実施例と同様に、フレーム画像ＦＩ上に人物ＨＭ１〜ＨＭ６の顔が存在しているものとし、更に人物ＨＭ２及びＨＭ５の顔のみが対象顔に設定された場合を考える。そうすると、再生モードにおいて、表示制御部５１は、拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’をフレーム画像ＦＩ上に重畳することで表示用画像ＦＩ’（図６（ａ）参照）を生成し、表示用画像ＦＩ’を表示部１５に表示させる（図６（ｂ）参照）。
【００７１】
表示制御部５１及び顔処理部５２に供給される入力画像の画像信号がフレーム画像列の画像信号（即ち、動画像の画像信号）である場合も同様である。この場合、入力画像を形成する第ｉ番目のフレーム画像ＦＩが第１実施例で述べたフレーム画像ＦＩ［ｉ］に相当し、第１実施例で述べた技術を第５実施例に適用することができる。即ち、再生モードにおいてフレーム画像ＦＩ［ｉ］が表示部１５に表示されているときに、ユーザにより顔枠ＦＦ２及びＦＦ５が指定された場合、表示制御部５１は、フレーム画像ＦＩ［ｉ＋ｊ］から抽出された原対象顔画像ＦＡＣＥ２及びＦＡＣＥ５に画像サイズ拡大処理を施すことで拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’を生成し、拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’をフレーム画像ＦＩ［ｉ＋ｊ］に重畳することで得た表示用画像を表示部１５に表示することができる（ｊは１以上の整数）。
【００７２】
第５実施例によれば、再生時におけるズーム操作やスクロール操作を必要とすることなく、ユーザが注目する複数の顔を同時に拡大表示することができ、限られた画面サイズの中で、ユーザは注目する複数の顔の状態を同時に表示画面上で詳細に確認することが可能となる。
【００７３】
＜＜第６実施例＞＞
第６実施例を説明する。第６実施例では、第２実施例で述べた技術を再生モードにおいて実現する。第６実施例の動作に特に関与する部位のブロック図は、第２実施例のそれ（即ち図７）と同じである。
【００７４】
再生モードにおいてユーザが所定操作をユーザインターフェースに対して成すと、記録媒体１６に記録されたフレーム画像３３０（図８参照）の画像信号が入力画像の画像信号として表示制御部５１及び顔処理部５２に供給され、表示制御部５１は、フレーム画像３３０としての入力画像を表示部１５に表示させる。
【００７５】
顔検出部５３及び顔画像抽出部５４の動作を含む、顔処理部５２の動作は、第２実施例で述べたものと同様である。第６実施例でも、第２実施例と同様に、フレーム画像３３０上に人物ＨＭ２、ＨＭ３及びＨＭ５の顔が存在しているものとし、更に人物ＨＭ２及びＨＭ５の顔のみが対象顔に設定された場合を考える。そうすると、再生モードにおいて、表示制御部５１は、拡大対象顔画像ＦＡＣＥ２’及びＦＡＣＥ５’をフレーム画像３３０上に重畳することで表示用画像３３０’（図９（ａ）参照）を生成し、表示用画像３３０’を表示部１５に表示させる（図９（ｂ）参照）。
【００７６】
第６実施例によっても第５実施例と同様の効果が得られる。更に、第６実施例では、対象顔を指定する操作が不要になる分、ユーザの利便性が向上しうる。
【００７７】
尚、撮影モードにおいてフレーム画像ＦＩ又は３３０を記録媒体１６に記録する際、フレーム画像ＦＩ又は３３０に関連付けられたサムネイル画像も記録媒体１６に記録される。第３又は第４実施例で述べたサムネイル生成技術は、フレーム画像ＦＩ又は３３０に関連付けられるべきサムネイル画像を撮影モード中に生成する技術であるが、当該サムネイル生成技術を、再生モードに関わる第５又は第６実施例に適用することも可能である。即ち例えば、再生モードにおいてフレーム画像ＦＩ又は３３０が表示部１５に表示されているとき、人物ＨＭ２及びＨＭ５の顔が対象顔に設定されたならば、第３又は第４実施例で述べた方法に従ってサムネイル画像３６０を生成し、記録媒体１６に記録され且つフレーム画像ＦＩ又は３３０に対応付けられるべきサムネイル画像を、サムネイル画像３６０へ置き替えるようにしてもよい。
【００７８】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００７９】
［注釈１］
再生モードにおいて撮像装置１は画像の再生を行う画像再生装置として機能し、再生モードにおける撮像装置１を画像再生装置と呼ぶこともできる。従って、第５又は第６実施例で述べた、再生モードにおける撮像装置１の動作を、撮像装置１以外の画像再生装置１０１において実現させることも可能である。図１３は、画像再生装置１０１の内部構成図である。画像再生装置１０１は、表示部１５、表示制御部５１及び顔処理部５２を少なくとも備え、更に、再生モードの動作に必要な撮像装置１内の任意の部位を更に備えうる。画像再生装置１０１は、携帯端末、ゲーム機器、パーソナルコンピュータ、携帯電話機、電子書籍リーダ、電子辞書などでありうる。
【００８０】
［注釈２］
上述の実施形態では、対象顔画像の個数が２である場合を例示しているが、対象顔画像の個数は３以上であってもよい。
【００８１】
［注釈３］
撮像装置１又は画像再生装置１０１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１又は画像再生装置１０１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【００８２】
［注釈４］
上述の実施形態では、フレーム画像から検出されるべき特定種類の物体が人物の顔であることを例示しているが、特定種類の物体は、人物の顔以外の物体（例えば、人物以外の動物の顔、花、ロボット）であっても良い。フレーム画像から検出されるべき特定種類の物体を、ユーザインターフェースを介してユーザが指定できるように、撮像装置１及び画像再生装置１０１を形成しておいても良い。
【００８３】
［注釈５］
顔検出部５３は、撮影画像又は入力画像とも言うべきフレーム画像の画像信号に基づき、特定種類の物体としての人物の顔を検出する特定種類物体検出部の例である。対象顔設定部５５は、対象物体選択部と呼ぶこともできる対象物体設定部の例であり、ユーザインターフェースに対して成された操作に基づき、複数の対象物体としての複数の対象顔を設定又は選択する。但し、第２又は第６実施例においては、顔検出部５３が対象物体設定部として機能し或いは対象物体設定部の機能を兼務し、撮影画像又は入力画像とも言うべきフレーム画像の画像信号に基づき、複数の対象物体としての複数の対象顔を設定又は選択する。対象顔画像は対象物体画像として、抽出部の例である顔画像抽出部５４により、撮影画像又は入力画像から抽出される。
【符号の説明】
【００８４】
１ 撮像装置
１１ 撮像部
１５ 表示部
５１ 表示制御部
５２ 顔処理部
５３ 顔検出部
５４ 顔画像抽出部
５５ 対象顔設定部
６１ サムネイル生成部
【特許請求の範囲】
【請求項１】
被写体群の撮影画像を表す画像信号を出力する撮像部と、
前記画像信号に基づく画像を表示する表示部と、
前記被写体群に含まれる複数の対象物体の画像を、前記対象物体ごとに対象物体画像として前記撮影画像から抽出する抽出部と、
抽出された各対象物体画像の画像サイズを拡大し、拡大された各対象物体画像を、前記撮影画像とともに前記表示部に表示させる表示制御部と、を備えた
ことを特徴とする撮像装置。
【請求項２】
ユーザインターフェースに対して成された操作に基づき前記複数の対象物体を設定する対象物体設定部を更に備えた
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
各対象物体は、特定種類の物体であり、
当該撮像装置は、前記画像信号に基づき前記撮影画像から前記特定種類の物体を検出することで前記複数の対象物体を設定する対象物体設定部を更に備えた
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮影画像から抽出された複数の対象物体画像を用いて前記撮影画像のサムネイル画像を生成するサムネイル生成部を更に備えた
ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
【請求項５】
前記対象物体は、人物の顔を含む
ことを特徴とする請求項１〜請求項４の何れかに記載の撮像装置。
【請求項６】
複数の対象物体の画像を内包する入力画像の画像信号を受ける画像再生装置において、
前記画像信号に基づく画像を表示する表示部と、
前記複数の対象物体の画像を、前記対象物体ごとに対象物体画像として前記入力画像から抽出する抽出部と、
抽出された各対象物体画像の画像サイズを拡大し、拡大された各対象物体画像を、前記入力画像とともに前記表示部に表示させる表示制御部と、を備えた
ことを特徴とする画像再生装置。
【請求項７】
ユーザインターフェースに対して成された操作に基づき前記複数の対象物体を設定する対象物体設定部を更に備えた
ことを特徴とする請求項６に記載の画像再生装置。
【請求項８】
各対象物体は、特定種類の物体であり、
当該画像再生装置は、前記画像信号に基づき前記入力画像から前記特定種類の物体を検出することで前記複数の対象物体を設定する対象物体設定部を更に備えた
ことを特徴とする請求項６に記載の画像再生装置。
【請求項９】
前記対象物体は、人物の顔を含む
ことを特徴とする請求項６〜請求項８の何れかに記載の画像再生装置。
【請求項１】
被写体群の撮影画像を表す画像信号を出力する撮像部と、
前記画像信号に基づく画像を表示する表示部と、
前記被写体群に含まれる複数の対象物体の画像を、前記対象物体ごとに対象物体画像として前記撮影画像から抽出する抽出部と、
抽出された各対象物体画像の画像サイズを拡大し、拡大された各対象物体画像を、前記撮影画像とともに前記表示部に表示させる表示制御部と、を備えた
ことを特徴とする撮像装置。
【請求項２】
ユーザインターフェースに対して成された操作に基づき前記複数の対象物体を設定する対象物体設定部を更に備えた
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
各対象物体は、特定種類の物体であり、
当該撮像装置は、前記画像信号に基づき前記撮影画像から前記特定種類の物体を検出することで前記複数の対象物体を設定する対象物体設定部を更に備えた
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮影画像から抽出された複数の対象物体画像を用いて前記撮影画像のサムネイル画像を生成するサムネイル生成部を更に備えた
ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
【請求項５】
前記対象物体は、人物の顔を含む
ことを特徴とする請求項１〜請求項４の何れかに記載の撮像装置。
【請求項６】
複数の対象物体の画像を内包する入力画像の画像信号を受ける画像再生装置において、
前記画像信号に基づく画像を表示する表示部と、
前記複数の対象物体の画像を、前記対象物体ごとに対象物体画像として前記入力画像から抽出する抽出部と、
抽出された各対象物体画像の画像サイズを拡大し、拡大された各対象物体画像を、前記入力画像とともに前記表示部に表示させる表示制御部と、を備えた
ことを特徴とする画像再生装置。
【請求項７】
ユーザインターフェースに対して成された操作に基づき前記複数の対象物体を設定する対象物体設定部を更に備えた
ことを特徴とする請求項６に記載の画像再生装置。
【請求項８】
各対象物体は、特定種類の物体であり、
当該画像再生装置は、前記画像信号に基づき前記入力画像から前記特定種類の物体を検出することで前記複数の対象物体を設定する対象物体設定部を更に備えた
ことを特徴とする請求項６に記載の画像再生装置。
【請求項９】
前記対象物体は、人物の顔を含む
ことを特徴とする請求項６〜請求項８の何れかに記載の画像再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−１２９８２（Ｐ２０１３−１２９８２Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４５３３４（Ｐ２０１１−１４５３３４）
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]