撮影機器
【課題】マルチフレームモードにおいても、常にユーザが希望する画像を記録する。
【解決手段】 撮影機器は、被写体を撮像して得た撮像画像を出力する撮像部と、前記撮像画像から第１の画角の画像を取得する第１画像取得部と、前記第１の画角よりも狭い第２の画角の１つ以上の第２の画像を前記撮像画像から取得する第２画像取得部と、前記１つ以上の第２の画像のうちの１つの画像を動画記録する記録制御部と、前記記録制御部において記録中の前記第２の画像が第１の被写体条件を満足しなくなった場合には前記第２画像取得部が取得した１つ以上の第２の画像のうち第２の被写体条件を満足する他の第２の画像に切換えて前記記録制御部に動画記録させる制御部とを具備する。
【解決手段】 撮影機器は、被写体を撮像して得た撮像画像を出力する撮像部と、前記撮像画像から第１の画角の画像を取得する第１画像取得部と、前記第１の画角よりも狭い第２の画角の１つ以上の第２の画像を前記撮像画像から取得する第２画像取得部と、前記１つ以上の第２の画像のうちの１つの画像を動画記録する記録制御部と、前記記録制御部において記録中の前記第２の画像が第１の被写体条件を満足しなくなった場合には前記第２画像取得部が取得した１つ以上の第２の画像のうち第２の被写体条件を満足する他の第２の画像に切換えて前記記録制御部に動画記録させる制御部とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチフレームモードを有する撮影機器に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）は、画像処理を駆使して、様々な撮影機能を備えている。例えば、特許文献１においては、全体の雰囲気を捉えるために広角側で撮影した画像と、迫力のある瞬間を捉えるために望遠側で撮影した画像とを合成記録して、１画面に２画像を表示する機能を有した撮影装置が開示されている。
【０００３】
また、撮影機器においては、静止画のみならず、動画撮影機能を有するものが多い。例えば、動画撮影中に静止画を撮影する、所謂フォトインムービー機能を有する撮影機器が広く知られている。更に、シャッタボタンを押すことによって静止画とこの静止画の前後の動画を記録する、所謂回想フォト機能を有する撮影機器もある。また、動画として画面全体をリサイズした動画と画面の一部の動画の２種類の動画を記録する、所謂マルチフレーム機能を有する撮影機器もある。
【先行技術文献】
【特許文献】
【０００４】
特開２０１０−２６８０１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
マルチフレームモードでは、画面の一部の動画、例えば、特定の人物の画像を追尾しながら記録を行う。しかしながら、このようなマルチフレームモードでは、追尾する画像が撮像範囲から外に出た場合や他の画像によって隠れた場合には、画面の一部の動画としてユーザが希望する画像を記録することができなくなるという問題があった。
【０００６】
本発明は、マルチフレームモードにおいても、常にユーザが希望する画像を記録することができる撮影機器を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮影機器は、被写体を撮像して得た撮像画像を出力する撮像部と、前記撮像画像から第１の画角の画像を取得する第１画像取得部と、前記第１の画角よりも狭い第２の画角の１つ以上の第２の画像を前記撮像画像から取得する第２画像取得部と、前記１つ以上の第２の画像のうちの１つの画像を動画記録する記録制御部と、前記記録制御部において記録中の前記第２の画像が第１の被写体条件を満足しなくなった場合には前記第２画像取得部が取得した１つ以上の第２の画像のうち第２の被写体条件を満足する他の第２の画像に切換えて前記記録制御部に動画記録させる制御部とを具備する。
【発明の効果】
【０００８】
本発明によれば、マルチフレームモードにおいても、常にユーザが希望する画像を記録することができるという効果を有する。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図。
【図２】フォトインムービーの動作を示す説明図。
【図３】回想フォトの動作を示す説明図。
【図４】マルチフレームの動作を示す説明図。
【図５】入力画像及び部分画像の例を示す説明図。
【図６】カメラ撮影制御を示すフローチャート。
【図７】優先順位の指定を説明するための説明図。
【図８】マルチフレームモードにおける画面表示を説明するための説明図。
【図９】マルチフレームモードにおける全体画像を示す説明図。
【図１０】マルチフレームモードにおける部分画像を示す説明図。
【図１１】第２の実施の形態において採用される処理フローを示すフローチャート。
【図１２】対象被写体の切換えを説明するための説明図。
【図１３】図１１のステップＳ３２の処理の一例を具体的に示すフローチャート。
【図１４】ステップＳ３２の処理の一例を具体的に示す説明図。
【図１５】図１１のステップＳ３３の処理の一例を具体的に示すフローチャート。
【図１６】図１１のステップＳ３３の処理の一例を具体的に示す説明図。
【図１７】図１１のステップＳ３３の処理の一例を具体的に示すグラフ。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１１】
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図である。
【００１２】
図１において、撮影機器１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部２を有している。撮像部２は、信号処理及び制御部１によって、絞り、ピント、ズーム等が制御可能に構成されており、様々な構図、被写体に対応した撮像が可能である。
【００１３】
撮像部２は、信号処理及び制御部１によって駆動制御されて、被写体を撮像し、撮像画像を出力する。信号処理及び制御部１は、撮像部２に撮像素子の駆動信号を出力すると共に、撮像部２からの撮像画像を読み出す。この撮像画像の取り込みは読取部１ａによって行われる。読取部１ａは撮像部２から読み出した撮像画像を分配用仮記録部３に与える。
【００１４】
分配用仮記録部３は、撮像部２からの撮像画像を所定期間保存する容量を有し、撮像部２から読み出された撮像画像（動画及び静止画）を記憶保持する。
【００１５】
信号処理及び制御部１は、分配用仮記録部３に記録された撮像画像を読み出して画像処理する２系統の画像処理部１ｂ，１ｃを有している。画像処理部１ｂ，１ｃは、入力された画像に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種の信号処理を行う。更に、画像処理部１ｂ，１ｃは、入力画像をリサイズするリサイズ処理、入力画像の一部の領域の画像（以下、部分画像という）を生成する処理等の各種画像処理を行うことも可能に構成されている。なお、以後、入力画像の全領域の画像については、リサイズ処理の有無に拘わらず全体画像というものとする。即ち、全体画像に対して、部分画像は画角が狭い画像、即ち、アップ画像である。
【００１６】
特徴判定部１ｄは、部分画像を生成するためにユーザによって入力画像の一部の領域（以下、部分指定領域という）を指定する操作（以下、部分指定操作という）が行われた場合、或いは、撮像画像に対する画像解析によって人物等の特定の被写体が含まれると判定された領域（以下、部分特定領域という）が検出された場合には、画像処理部１ｂから部分指定領域及び部分特定領域（以下、これらを部分領域という）の画像情報が与えられて、人物の顔等の対象被写体の特徴量を判定し、判定結果を部分領域中に検出された対象被写体の情報として追尾変化判定部１ｅ１及び別候補決定部１ｅ２に出力する。また、特徴判定部１ｄは、各被写体の特徴量の情報を部分画像特徴記憶部３ａに与えて記憶させるようになっている。
【００１７】
追尾変化判定部１ｅ１は、部分画像特徴記憶部３ａから対象被写体の特徴量を読み出し、順次入力される入力画像から対象被写体の特徴量と一致する特徴量を有する部分を含む領域を追尾し、追尾結果を画像処理部１ｃに出力する。こうして、画像処理部１ｃは、対象被写体を含む部分領域の画像部分を常に追尾しながら、この画像を部分画像として生成することができるようになっている。
【００１８】
更に、本実施の形態においては、特徴判定部１ｄ及び追尾変化判定部１ｅ１との間で情報を授受して、別候補を決定する別候補決定部１ｅ２が設けられている。別候補決定部１ｅ２は、部分領域の部分画像が追尾不能な場合に、他の１つ以上の部分領域中の被写体の情報が与えられて、いずれか１つの被写体を対象被写体として選択して選択結果を追尾変化判定部１ｅ１に与える。この選択結果に基づいて、追尾変化判定部１ｅ１は、新たな対象被写体の特徴量を部分画像特徴記憶部３ａから読み出して追尾処理を行い、追尾結果を画像処理部１ｃに出力するようになっている。
【００１９】
これにより、例えば、部分指定操作に基づく部分画像が追尾不能な場合でも、画像処理部１ｃにおいて、部分特定領域の部分画像を生成することが可能である。なお、本実施の形態においては、追尾変化判定部１ｅ１の追尾処理が完全に行われている場合でも、部分領域において部分画像の大部分が消失している場合等においては、追尾不能であるものと判定する。
【００２０】
画像処理部１ｂ，1ｃからの動画像及び静止画像は、画像選択部１ｆに与えられる。画像選択部１ｆは入力された動画像及び静止画像を選択して、表示制御部１ｇに与えると共に、Ｓ圧縮部１ｈ、Ｍ圧縮部１ｉ及びＭ圧縮部１ｊにも与える。
【００２１】
表示制御部１ｇは、入力された動画像及び静止画像を表示部５に与えて表示させるための表示処理を行う。表示部５はＬＣＤ等によって構成されており、表示制御部１ｇから与えられた動画像や静止画像を表示する。
【００２２】
一方、Ｓ圧縮部１ｈは入力された静止画像を圧縮して記録制御部１ｋに与え、Ｍ圧縮部１ｉ，１ｊは入力された動画像を圧縮して記録制御部１ｋに与える。記録制御部１ｋは、圧縮された圧縮動画像及び圧縮静止画像を記録部４に与えて記録させる。記録部４は、記録制御部１ｋに制御されて、入力された圧縮動画像及び圧縮静止画像を記録する。記録部４としては、例えばカードインターフェースを採用することができ、記録部４はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。
【００２３】
また、撮影機器１０には、操作部６も設けられている。操作部６は、撮影モード設定等の各種スイッチやボタンを有しており、ユーザ操作に基づく操作信号を発生して信号処理及び制御部１に供給する。例えば、図１では、操作部６の具体例として、動画撮影操作部６ａ及び静止画撮影操作部６ｂを示している。動画撮影操作部６ａは動画撮影を指示するためのものであり、動画撮影操作部６ａが操作されることで、動画撮影を開始するための操作信号が信号処理及び制御部１に供給されるようになっている。また、静止画撮影操作部６ｂは静止画撮影を指示するためのものであり、静止画撮影操作部６ｂが操作されることで、静止画撮影を開始するための操作信号が信号処理及び制御部１に供給されるようになっている。信号処理及び制御部１は、操作信号に基づいて、各部を制御する。
【００２４】
更に、操作部６としてはタッチパネルを採用することもできる。例えば、操作部６としてのタッチパネルを表示部５の表示画面上に設けることで、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。これにより、ユーザは、表示部５の表示画面上に表示された画像中の所定の領域を部分指定領域として指定する操作を簡単に行うことができる。
【００２５】
信号処理及び制御部１は、各部を制御することで、ユーザ操作に基づく撮影モードを設定して、各撮影モードに応じた撮影機能を実現する。この場合において、信号処理及び制御部１は、動画撮影操作部６ａ及び静止画撮影操作部６ｂの操作のみによって、撮影モードを変更することができるようになっている。
【００２６】
本実施の形態においては、別候補決定部１ｅ２は、操作部６によるユーザの部分指定操作によって、複数の対象被写体を予め登録し、優先順位を付すことが可能である。別候補決定部１ｅ２は、各対象被写体の優先順位の情報を追尾変化判定部１ｅ１に与えることで、追尾可能な場合にはより優先順位が高い被写体を追尾変化判定部１ｅ１に追尾させることができるようになっている。
【００２７】
次に、このように構成された実施の形態の動作について図２乃至図１０を参照して説明する。
【００２８】
先ず、図２乃至図５を参照して、本実施の形態の撮影機器が有する撮影モードであるフォトインムービー、回想フォト及びマルチフレームについて説明する。図２乃至図４は夫々フォトインムービー、回想フォト及びマルチフレームの動作を示す説明図である。また、図５は入力画像及び部分画像の例を示す説明図である。図２乃至図４においては、連続した四角の枠によって、撮像部２からの画像を読み出す読取部１ａの動画出力１１ａの各フレームを示している。
【００２９】
図２に示すフォトインムービーにおいては、動画出力１１ａの各フレームを夫々リサイズして得た動画１１ｃが、Ｍ圧縮部１ｉ，１ｊに供給されることを示している。Ｍ圧縮部１ｉ，１ｊは、入力された動画１１ｃに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、フォトインムービーにおける動画として記録される。
【００３０】
また、フォトインムービーにおいては、動画撮影中に、ユーザによって静止画撮影操作部６ｂの操作が行われた場合には、動画出力１１ａの各フレームのうち静止画撮影操作に対応するフレームの静止画１１ｂがＳ圧縮部１ｈに与えられる。Ｓ圧縮部１ｈは、入力された静止画１１ｂに対する圧縮処理を行い、圧縮静止画像を得る。この圧縮静止画像が、フォトインムービーにおける静止画として記録される。
【００３１】
図３に示す回想フォトにおいては、動画出力１１ａの各フレームは仮記録されている。回想フォトにおいては、動画撮影中に、ユーザによって静止画撮影操作部６ｂの操作が行われた場合には、動画出力１１ａの各フレームのうち静止画撮影操作に対応するフレームの静止画１１ｂがＳ圧縮部１ｈに与えられる。Ｓ圧縮部１ｈは、入力された静止画１１ｂに対する圧縮処理を行い、圧縮静止画像を得る。この圧縮静止画像が、回想フォトにおける静止画として記録される。
【００３２】
一方、静止画１１ｂの前後のフレームは、リサイズされた後、静止画１１ｂに関連する回想動画１１ｄとしてＭ圧縮部１ｉ，１ｊに供給される。Ｍ圧縮部１ｉ，１ｊは、入力された回想動画１１ｄに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、回想フォトにおける回想動画として記録される。
【００３３】
図４に示すマルチフレームにおいては、動画出力１１ａの各フレームを夫々リサイズして得た全体動画１１ｅが、Ｍ圧縮部１ｉ，１ｊに供給されることを示している。Ｍ圧縮部１ｉ，１ｊは、入力された全体動画１１ｅに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、マルチフレームにおける全体動画として記録される。
【００３４】
図５（ａ）は入力画像を示している。図５の例では、入力画像には、Ａ〜Ｃの３人の人物が撮像されている。マルチフレームにおいて、ユーザが図５（ａ）の破線領域に示すように人物Ａの顔を含む部分指定領域を指定する部分指定操作を行うものとする。そうすると、図５（ｂ）に示す部分指定領域の画像（部分画像）が入力画像から抽出される。更に、特徴判定部１ｄ，追尾変化判定部１ｅ１によって、入力画像中から部分画像が追尾され、以後、人物Ａの部分画像が各フレームから抽出される。そして、動画出力１１ａの各フレームの部分画像からなる部分動画１１ｆが、Ｍ圧縮部１ｉ，１ｊに供給される。Ｍ圧縮部１ｉ，１ｊは、入力された部分動画１１ｆに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、マルチフレームにおける部分動画として記録される。
【００３５】
次に、図６のフローチャートを参照して、カメラ撮影制御について説明する。
【００３６】
操作部６の操作によって撮影機器１０に電源が投入されると、信号処理及び制御部１は、ステップＳ１においてスルー画の表示及び仮記録を開始する。即ち、信号処理及び制御部１は、撮像部２を駆動して被写体を撮影させる。読取部１ａは、撮像部２からの撮像画像を読み出して、分配用仮記録部３に順次記録させる。分配用仮記録部３は、所定期間の撮像画像を順次記録する。
【００３７】
信号処理及び制御部１は、分配用仮記録部３に記録された撮像画像を順次読み出し、画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは、撮像画像に対して所定の画像信号処理を施した後、画像選択部１ｆを介して表示制御部１ｇに与える。表示制御部１ｇは、入力画像を表示部５に与えて表示させる。こうして、表示部５の表示画面上において、スルー画が表示される。
【００３８】
本実施の形態においては、次のステップＳ１９において、優先順位の指定が行われる。図７は優先順位の指定を説明するための説明図である。別候補決定部１ｅ２は、動画撮影時、特にマルチフレームモード時において、部分画像として追尾する対象被写体について優先順位を決定する。別候補決定部１ｅ２は、例えば、表示制御部１ｇを制御して、表示部５に対象被写体候補の表示を表示させる。図７（ａ）はこの表示を示しており、撮影機器１０の本体２１の背面には表示部５の表示画面５ａが設けられ、前面には撮影レンズ２２が設けられ、上面にはシャッタボタン２３が設けられている。表示画面５ａ上の下側には、対象被写体候補者表示２４が表示されている。図７（ａ）の例では対象被写体候補者として左から順に人物Ｂ，Ａ，Ｃが並んで表示されている。
【００３９】
なお、対象被写体は、ユーザがスルー画表示されている撮像画像に対して、操作部６による部分指定操作を行って指定してもよく、特徴判定部１ｄが撮像画像から予め設定されている人物の顔等の特徴量に基づいて自動的に検出してもよい。
【００４０】
対象被写体候補表示２４が表示されている状態で、ユーザは指２５で対象被写体候補の画像部分をタッチする。図７（ａ）は人物Ｂの画像部分をタッチした状態を示している。タッチパネルを構成する操作部６は、ユーザが人物Ｂを指定したことを示す操作信号を別候補決定部１ｅ２に出力する。この操作により、別候補決定部１ｅ２は、人物Ｂの対象被写体候補表示２４上に人物Ｂが選択されていることを示す選択表示２６を表示させると共に、表示画面５ａ上の上側に、優先順位表示２７を表示させる。図７（ｂ）では“１”、“２”、“３”の優先順位が表示されていることを示している。この状態で、ユーザが指２５によって優先順位“３”の優先順位表示２７の画像部分をタッチする。この操作信号は別候補決定部１ｅ２に供給され、別候補決定部１ｅ２は人物Ｂの優先順位を３番目に設定する。以後、ユーザが対象被写体候補表示２４の各人物の画像部分をタッチする操作及び優先順位表示２７の各優先順位の数字の画像部分をタッチする操作を繰り返すことで、対象被写体候補について優先順位が設定される。
【００４１】
次に、信号処理及び制御部１は、ステップＳ２において、静止画撮影操作部６ｂが操作されたか否かを判定する。更に、信号処理及び制御部１は、ステップＳ５において、動画撮影操作部６ａが操作されたか否かを判定する。
【００４２】
信号処理及び制御部１は、ステップＳ２において静止画撮影操作部６ｂが操作されたと判断した場合には、回想フォトモードを設定し、ステップＳ５において動画撮影操作部６ａが操作されたと判断した場合には、フォトインムービーモードを設定するようになっている。
【００４３】
ステップＳ２において静止画撮影操作部６ｂが操作されると、信号処理及び制御部１は、ステップＳ３において回想フォトにおける静止画撮影を行い、ステップＳ４において回想フォトにおける回想動画記録を行う。即ち、信号処理及び制御部１は、静止画撮影操作部６ｂの操作タイミングで読取部１ａから取り込まれた撮像画像（静止画）を分配用仮記録部３から読み出して、画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは入力された静止画を画像処理し画像選択部１ｆを介してＳ圧縮部１ｈに供給する。Ｓ圧縮部１ｈは入力された静止画を圧縮し、記録制御部１ｋは圧縮された静止画像を記録部４に与えて記録させる（ステップＳ３）。
【００４４】
また、信号処理及び制御部１は、分配用仮記録部３から読み出された静止画像の前後に記録されている動画像を読み出して画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは入力された動画像をリサイズし、回想動画を画像選択部１ｆを介してＭ圧縮部１ｉ又は１ｊに供給する。Ｍ圧縮部１ｉ又は１ｊは入力された回想動画を圧縮し、記録制御部１ｋは圧縮された回想動画を記録部４に与えて記録させる（ステップＳ４）。
【００４５】
ステップＳ５において動画撮影操作部６ａが操作されると、信号処理及び制御部１は、ステップＳ６においてフォトインムービーにおける動画撮影を行う。即ち、信号処理及び制御部１は、分配用仮記録部３に順次記録される動画像を読み出して画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは入力された動画像をリサイズし、画像選択部１ｆを介してＭ圧縮部１ｉ又は１ｊに供給する。Ｍ圧縮部１ｉ又は１ｊは入力されたフォトインムービーにおける動画を圧縮し、記録制御部１ｋは圧縮された動画像を記録部４に与えて記録させる（ステップＳ６）。
【００４６】
このフォトインムービーモードにおいて、静止画撮影操作部６ｂの操作が行われると、信号処理及び制御部１は、ステップＳ７からステップＳ１６を経由してステップＳ８に処理を移行し、静止画撮影を行う。即ち、信号処理及び制御部１は、静止画撮影操作部６ｂの操作タイミングで読取部１ａから取り込まれた撮像画像（静止画）を分配用仮記録部３から読み出して、画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは入力された静止画を画像処理し画像選択部１ｆを介してＳ圧縮部１ｈに供給する。Ｓ圧縮部１ｈは入力された静止画を圧縮し、記録制御部１ｋは圧縮された静止画像を記録部４に与えて記録させる（ステップＳ８）。こうして、フォトインムービーにおける静止画記録が行われる。
【００４７】
また、信号処理及び制御部１は、フォトインムービーモードにおいて、ステップＳ７の静止画撮影操作部６ｂの操作が検出されなければ、ステップＳ９において終了操作が行われたか否かを判定し、行われていない場合には、処理をステップＳ１０に移行して、部分指定操作の有無を判定する。
【００４８】
本実施の形態においては、フォトインムービーモードにおいて、部分指定操作が発生した場合にはマルチフレームモードに移行し、発生しない場合にはフォトインムービーを継続するようになっている。即ち、信号処理及び制御部１は、フォトインムービーモード時に、ステップＳ１０において部分指定操作の発生を検出しない場合には、ステップＳ１１においてマルチフレームへの移行が行われていないものと判定して、処理をステップＳ６に戻してフォトインムービーを継続し、部分指定操作の発生を検出した場合には、処理をステップＳ１２に移行してマルチフレームモードを設定する。
【００４９】
マルチフレームモードにおいても、フォトインムービーモード時と同様に、入力画像をリサイズして得た全体画像を動画記録する。従って、信号処理及び制御部１は、マルチフレームモードに移行しても、分配用仮記録部３から動画像を読み出し、この動画像を画像処理部１ｂにおいてリサイズして全体画像を得、画像選択部１ｆを介してＭ圧縮部１ｉ又は１ｊに与えて圧縮し、記録制御部１ｋにより記録部４において記録する。
【００５０】
また、マルチフレームモード時には、信号処理及び制御部１は、分配用仮記録部３から読み出した画像を画像処理部１ｃに与えて、部分指定操作に応じた部分画像を切り出す。この場合には、画像処理部１ｃは、追尾変化判定部１ｅ１によって追尾された部分画像を含む部分指定領域を切り出す。こうして、画像処理部１ｃからは部分画像からなる動画像が出力され、画像選択部１ｆを介してＭ圧縮部１ｉ又は１ｊに供給されて圧縮され、記録制御部１ｋによって記録部４において記録される（ステップＳ１３）。
【００５１】
更に、本実施の形態においては、マルチフレームモード時には、全体画像と部分画像とをピクチャインピクチャ表示することによって、利便性を向上させるようになっている。図８はマルチフレームモードにおける画面表示を説明するための説明図であり、図５と同一の入力画像が入力された場合の例を示している。
【００５２】
いま、図５（ａ）に示す入力画像が画像処理部１ｂ，１ｃに入力されるものとする。図５（ａ）の例では、入力画像として、Ａ〜Ｃの３人の人物が撮像されている。ユーザが図５（ａ）の破線領域に示すように人物Ａの顔を含む部分指定領域を指定する部分指定操作を行うものとする。なお、この部分指定操作は、マルチフレームモードにおける部分画像を特定するための操作であり、ユーザはステップＳ１９における優先順位が１番の対象被写体候補を含む画像部分を指定するものと考えられる。しかし、仮に、ステップＳ１９において指定した優先順位が１番の対象被写体候補と異なる人物が含まれる部分指定領域を指定する部分指定操作が行われた場合には、この部分指定操作を単にマルチフレームモードへの移行操作として次のステップに移行してもよく、この部分指定操作に基づく対象被写体候補を優先順位の１番に設定して他の対象被写体候補の優先順位を再設定してもよく、また、再度ステップＳ１９の優先順位の指定処理を実行して、優先順位を再設定してもよい。
【００５３】
いま、図５（ａ）の人物Ａが優先順位１番の対象被写体候補であるものとする。この場合には、図５（ａ）の破線部の部分指定領域の画像（部分画像）が入力画像から抽出される。更に、特徴判定部１ｄ，追尾変化判定部１ｅ１によって、入力画像中から部分画像が追尾され、以後、人物Ａの部分画像を含む領域が部分指定領域として画像処理部１ｃに指定される。
【００５４】
画像処理部１ｃは、追尾変化判定部１ｅ１の指示に従って、部分画像を追尾しながら切り出す。画像処理部１ｃは図５（ｂ）に示す部分画像をそのまま画像選択部１ｆを介してＭ圧縮１ｉ又は１ｊに出力すると共に、部分画像と全体画像とを合成した後、画像選択部１ｆを介して表示制御部１ｇに出力する。
【００５５】
即ち、画像処理部１ｃは、図８（ａ）に示すように、表示部５の表示画面５ａの略全域のメイン表示領域５ｂに全体画像に基づくメイン画像を配置し、表示画面５ａの一部領域（以下、サブ表示領域という）５ｃに部分画像をサブ画像として配置するように、全体画像と部分画像との合成を行う。即ち、この場合には、画像処理部１ｃは、部分画像をサブ画像化することになる（ステップＳ１２）。
【００５６】
信号処理及び制御部１は、マルチフレームモード時には、ステップＳ１４において、ユーザーがサブ表示領域５ｃをタッチしたか否かを判定する。信号処理及び制御部１は、ユーザがサブ表示領域５ｃをタッチした場合には、ステップＳ１５において、現在のサブ画像をメイン画像化し、現在のメイン画像をサブ画像化する。
【００５７】
図８（ｂ）はこの状態を示しており、図８（ａ）の状態においてサブ表示領域５ｃがタッチされると、サブ表示領域５ｃに表示されていたサブ画像である部分画像がメイン画像としてメイン表示領域５ｂに表示され、メイン表示領域５ｂに表示されていたメイン画像である全体画像がサブ画像としてサブ表示領域５ｃに表示される。なお、図８（ｂ）の状態においてサブ表示領域５ｃがタッチされると、サブ表示領域５ｃに表示されていたサブ画像である全体画像がメイン画像としてメイン表示領域５ｂに表示され、メイン表示領域５ｂに表示されていたメイン画像である部分画像がサブ画像としてサブ表示領域５ｃに表示される。即ち、図８（ａ）の表示に戻る。
【００５８】
信号処理及び制御部１は、マルチフレームモード時において、ユーザが静止画撮影操作部６ｂを操作したことを、ステップＳ７において検出すると、フォトインムービーモードに移行する。この場合には、マルチフレームモードからフォトインムービーモードに移行する場合であるので、ステップＳ１６からステップＳ１７に処理が移行して、静止画撮影が行われる。
【００５９】
ステップＳ１７の静止画撮影の直前においては、図８（ａ），（ｂ）に示すように、表示部５の表示画面５ａ上には、全体画像と部分画像とが合成表示されている。そこで、ステップＳ１７のフォトインムービーにおける静止画撮影では、全体画像及び部分画像並びに全体画像と部分画像の合成画像の全ての静止画像を記録するようになっている。即ち、画像処理部１ｂ，１ｃからの全体画像が画像選択部１ｆを介してＳ圧縮部１ｈに供給されて圧縮され、記録制御部１ｋによって記録部４において記録される。また、画像処理部１ｃは、部分画像を切り出しており、この部分画像は画像選択部１ｆを介してＳ圧縮部１ｈに供給されて圧縮され、記録制御部１ｋによって記録部４において記録される。また、画像処理部１ｃは、全体画像と部分画像との合成画像を生成している。即ち、部分画像がサブ画像化された合成画像と全体画像がサブ画像化された合成画像の２つの合成画像は、画像選択部１ｆを介してＳ圧縮部１ｈに供給されて圧縮され、記録制御部１ｋによって記録部４において記録される。こうして、マルチフレームモードから、静止画撮影操作部６ｂの操作によってフォトインムービーモードに移行した場合には、全体画像、部分画像、全体画像と部分画像との２枚の合成画像からなる４枚の静止画像が記録される。
【００６０】
図９及び図１０は夫々マルチフレームモードにおける全体画像又は部分画像を示す説明図である。入力画像が図９（ａ）の状態から図９（ｂ）の状態を経て図９（ｃ）の状態に変化したことを示している。なお、図９は被写体として３人の人物Ａ〜Ｃが撮影されたことを示しており、そのうちの人物Ａが優先順位が１位の対象被写体であって、人物Ａの顔を含む領域が部分領域として指定されていることを示している。また、図１０は部分画像を示しており、図１０（ａ）乃至（ｃ）は、夫々図９（ａ）乃至 （ｃ）の入力画像中の破線で示す部分領域における部分画像を示している。
【００６１】
マルチフレームモードにおいては、入力画像をリサイズして得た全体画像に基づく動画像と入力画像中の部分領域の部分画像による動画像とが記録される。いま、図９（ａ）に示す入力画像３５ａに対して、破線に示す部分領域３６ａが設定されるものとする。追尾変化判定部１ｅ１は、入力画像３５ｂ，３５ｃのように変化した場合でも追尾を行って、部分指定領域３６ｂ，３６ｃを検出する。マルチフレームモードでは、入力画像３５ａ乃至３５ｃをリサイズして得た全体画像に基づく動画像と、部分指定領域３６ａ〜３６ｃに対応した部分画像３７ａ〜３７ｃ（図１０）とが記録される。
【００６２】
このようなマルチモードによれば、ユーザが撮影を希望する対象被写体である人物Ａの周囲の様子を全体画像によって記録することができるだけでなく、人物Ａの表情等を部分画像によって記録することができる。図１０（ａ）〜（ｃ）では、各入力画像３５ａ〜３５ｃに対応した人物Ａの顔３８ａ〜３８ｃが撮影され、口３９ａ〜３９ｃ等の顔の表情まで記録することができる。これによって、ユーザーは、全体の動きや、注目する被写体の表情も、記録しておき、見たい方を鑑賞することが可能となる。
【００６３】
例えば、複数の人物が合唱しているシーンの撮影時等においては、各人物の動きが少なく、上述した有効な記録が可能である。しかし、複数の人物による徒競走等のシーンを撮影する場合のように、複数の人物の位置が比較的変化する場合には、追尾対象の対象被写体の画像が他の被写体等によって見えなくなることが考えられる。そこで、本実施の形態においては、部分画像として記録被写体を切り替えることで、常に有効な部分画像を記録することを可能にしている。
【００６４】
即ち、本実施の形態においては、追尾対象の対象被写体を、優先順位に従って切り替えるようになっている。追尾変化判定部１ｅ１は、追尾対象の対象被写体について追尾不能になると、別候補決定部１ｅ２に次の優先順位の対象被写体について問い合わせる。別候補決定部１ｅ２は、現在の追尾対象の対象被写体を除き、複数の対象被写体候補のうち最も優先順位が高い対象被写体を、追尾変化判定部１ｅ１に設定する。
【００６５】
これにより、追尾変化判定部１ｅ１は、設定された対象被写体を新たな追尾対象として、この対象被写体についての特徴量を部分画像特徴記憶部３ａから読み出して追尾を行い、追尾結果を画像処理部１ｃに出力する。また、追尾変化判定部１ｅ１は、新たに設定された対象被写体についても追尾不能の場合には、更に、別候補決定部１ｅ２に次の優先順位の対象被写体についての問い合わせを行う。こうして、追尾変化判定部１ｅ１は、追尾可能な対象被写体のうちより高い優先順位が付された対象被写体の追尾を行う。
【００６６】
画像処理部１ｃは、追尾変化判定部１ｅ１の追尾結果に従って、入力画像から部分画像を生成する。この部分画像は、追尾可能な対象被写体のうちより高い優先順位を有する対象被写体を含む画像であり、ユーザの希望する部分画像の記録が可能である。
【００６７】
このように本実施の形態においては、マルチフレームモードにおいて、複数の対象被写体についてユーザが設定した優先順位を付し、追尾可能な対象被写体のうちより優先順位が高い対象被写体を含む部分画像を記録するようになっている。これにより、第１位の優先順位を有する対象被写体を追尾不能となった場合でも、第２，第３，…の優先順位を有する対象被写体を追尾して部分画像を取得することができ、ユーザーの希望する撮像が可能である。例えば、自分の子供が参加する徒競走の撮影時において、第１位の優先順位を付した自分の子供の表情を部分画像によって記録するだけでなく、自分の子供の画像が他の子供の画像によって隠れてしまった場合には、その期間にユーザが設定した他の子供の表情を部分画像によって記録することができ、ユーザにとって有効な記録が可能である。
【００６８】
（第２の実施の形態）
図１１乃至図１７は本発明の第２の実施の形態に係り、図１１は第２の実施の形態において採用される処理フローを示すフローチャートである。本実施の形態のハードウェア構成は第１の実施の形態と同一であり、信号処理及び制御部１の処理フローが第１の実施の形態と異なるのみである。
【００６９】
第１の実施の形態においては、複数の対象被写体について優先順位を付し、追尾可能な対象被写体のうちより高い優先順位を付した対象被写体を追尾して部分画像を生成する例について説明した。これに対し、本実施の形態においては、別候補決定部１ｅ２が、予め設定される条件に従って、特徴判定部１ｄの出力に基づいて１つ以上の対象被写体の候補から１つの対象被写体を選択して追尾変化判定部１ｅ１に設定するようになっている。例えば、別候補決定部１ｅ２は、追尾中の対象被写体との位置関係、動き、選択回数、選択時間等に基づいて１つの対象被写体を選択して、追尾変化判定部１ｅ１に指定する。
【００７０】
なお、別候補決定部１ｅ２は、第１の実施の形態と同様に複数の対象被写体について優先順位を付し、優先順位を付された対象被写体のうち追尾可能な対象被写体が存在しない場合に、予め設定された条件に従って、優先順位が付されていない対象被写体から１つの対象被写体を選択して追尾変化判定部１ｅ１に設定するようにしてもよい。
【００７１】
また、別候補決定部１ｅ２は、表示制御部１ｇを制御して、スルー画中に各対象被写体候補を含む部分領域の範囲を示す表示を表示すると共に、追尾対象の対象被写体を示す表示をスルー画中に表示させるようにしてもよい。
【００７２】
図１１は図６のステップＳ１３のマルチフレーム動画撮影処理に対応した処理を示している。また、図１２は対象被写体の切換えを説明するための説明図である。図１２（ａ１）〜（ａ３）は、３人の人物Ａ〜Ｃによる徒競走を撮影して得た時間的に前後する撮像画像に基づくスルー画の一例を示しており、全体画像をメイン画像とし、部分画像をサブ画像とした合成画像を示している。また、図１２（ｂ１），（ｂ２）は図１２（ａ１）に、図１２（ｂ３），（ｂ４）は図１２（ａ２）に、図１２（ｂ５），（ｂ６）は図１２（ａ３）に夫々対応したスルー画を示しており、全体画像をサブ画像とし、部分画像をメイン画像とした合成画像を示している。なお、図１２は優先順位を付すことなく、人物Ａを含む部分領域を指定する部分指定操作によってマルチフレームモードに移行した例を示している。
【００７３】
入力画像が図１２（ａ１）の状態から図１２（ａ２）の状態を経て図１２（ａ３）の状態に変化するものとする。図１２（ａ１）〜（ａ３）に示す入力画像のスルー画４１ａ〜４１ｃには、夫々各対象被写体を含む部分領域を示す枠表示（破線）が表示されており、また、現在の追尾対象の対象被写体による部分画像を表示するサブ画像４２ａ〜４２ｃが表示されている。
【００７４】
ユーザが全体画像よりも部分画像（アップ画像）の方を見ながら撮影したいと考えることもある。この場合には、図１２（ａ１）〜（ａ３）のサブ画像４２ａ〜４２ｃの画像部分をタッチすると、図１２（ｂ１）〜（ｂ６）のように、部分画像をメイン画像化して表情を確認することを重視した撮影が可能となる。なお、マルチフレームモードにおいて撮影した画像から図１２に示す形態で再生表示を行うようにしてもよい。
【００７５】
図１１のステップＳ２１において、信号処理及び制御部１は全体画像及び部分画像を夫々別々の動画として動画記録を開始する。特徴判定部１ｄは、入力される撮像画像中の各対象被写体について、例えば顔等の特徴量や画面上の位置の情報を取得して部分画像特徴記憶部３ａに記録する（ステップＳ２２）。これにより、撮像されている人物、その顔及び撮像時における位置等を、撮像画像毎に記録することができる。
【００７６】
次のステップＳ２３においては、別候補決定部１ｅ２は、現在追尾中の部分領域の画像が、記録する部分画像として必要な条件を満足しているか否かを判定する。例えば、追尾不能となった場合や、追尾中の部分領域内の人物の顔の一部が隠されている場合や、追尾対象の対象被写体とする期間を超過した場合等においては、別候補決定部１ｅ２は部分領域は必要な条件を満足していないと判定する。
【００７７】
図１２（ａ１）のスルー画４１ａでは、人物Ａ〜Ｃの画像が含まれる部分領域は、殆ど重なっておらず、別候補決定部１ｅ２は、引き続き人物Ａの画像を含む部分領域を追尾変化判定部１ｅ１に設定する。こうして、図１２（ｂ１），（ｂ２）に示すように、スルー画４３ａ１，４３ａ２には、人物Ａを含む部分領域の画像が部分画像４４ａ１，４４ａ２としてメイン画像化され、全体画像４４がサブ画像化される。
【００７８】
即ち、図１２（ａ１）のスルー画４１ａの状態では、別候補決定部１ｅ２は、ステップＳ２３において、部分領域中の画像が必要な条件を満足していると判定することになる。この場合には、信号処理及び制御部１は、ステップＳ２４において追尾中の部分領域の動画撮影を継続し、ステップＳ２５において動画を記録する。
【００７９】
次に、図１２（ａ２）に示すスルー画４１ｂが表示されるタイミングでは、追尾中の人物Ａを含む部分領域が人物Ｃの画像で隠されてしまう。図１２（ａ３）に示すスルー画４１ｃが表示されるタイミングでも同様である。
【００８０】
そこで、別候補決定部１ｅ２は、処理をステップＳ３１に移行して別候補が有るか否かを判定する。人物Ａの対象被写体以外に優先順位が付されている対象被写体が存在する場合には、処理をステップＳ３８に移行して、別候補決定部１ｅ２は次の優先順位の対象被写体を追尾変化判定部１ｅ１に設定する。追尾変化判定部１ｅ１は、部分画像特徴記憶部３ａの情報を読み出すことで、設定された対象被写体を追尾し、追尾した対象被写体を含む部分領域を画像処理部１ｃに設定する。これにより、新たな部分領域の部分画像が動画像として記録される（ステップＳ２４，Ｓ２５）
図１２の例では、優先順位は設定されていないので、別候補決定部１ｅ２は処理を次のステップＳ３２に移行して、追尾中の対象被写体の部分領域を隠す対象被写体が存在するか否かを判定する。図１２（ａ２）のスルー画４１ｂでは、追尾中の人物Ａの部分領域は人物Ｃの画像で隠されるので、別候補決定部１ｅ２は、人物Ｃを対象被写体として、ステップＳ３５の処理を行う。
【００８１】
ステップＳ３５においては、人物Ｃの対象被写体が過度に選択されていないかが判定される。例えば、自分の子供が参加する徒競走の撮影時には、ユーザは自分の子供のみを部分画像として記録したいと考えられる。しかし、徒競走では人物の動きが激しく、自分の子供の画像が他人の子供の画像に隠されてしまうことがある。この場合でも、自分の子供の画像を隠した他人の子供の画像を部分画像として撮像することで、自分の子供だけでなく、他人の子供の表情の変化等も記録することができ、多彩な映像表現が可能となる。この理由から、優先順位を付した対象被写体やユーザが指定した対象被写体以外の対象被写体についても部分画像の記録を行う。
【００８２】
しかし、全体画像には自分の子供だけでなく他人の子供も記録されており、本来部分画像として記録したいのは他人の子供ではなく、自分の子供である。そこで、ユーザが指定した対象被写体以外の被写体を撮像する場合には、記録回数や頻度、記録時間等の制限を課す。ステップＳ３５では、別候補決定部１ｅ２は、新たに選択された対象被写体について、このような記録回数又は記録頻度の制限を超えたか否かを判定するのである。
【００８３】
ステップＳ３２において選択された対象被写体が過度に選択されていない場合には、別候補決定部１ｅ２は、次のステップＳ３６において、選択された対象被写体を所定の時間（例えば数秒間）だけ追尾対象の対象被写体とする。別候補決定部１ｅ２は、記録回数や頻度の情報を得るために、新たに設定する追尾対象の対象被写体に関する情報を図示しない記憶部に記憶する。次に、別候補決定部１ｅ２は、新たな対象被写体を追尾変化判定部１ｅ１に設定する（ステップＳ３８）。
【００８４】
これにより、図１２（ｂ３）に示すように、スルー画４３ｂ１は、人物Ｃを含む部分領域の画像が部分画像４４ｂ１としてメイン画像化され、全体画像４４がサブ画像化された合成画像となる。即ち、追尾変化判定部１ｅ１は、所定期間だけ人物Ｃを追尾する対象被写体として追尾を行い、追尾結果を画像処理部１ｃに出力する。こうして、信号処理及び制御部１は、ステップＳ２４において人物Ｃの部分画像による動画撮影を継続し、ステップＳ２５において動画を記録する。
【００８５】
図１２（ｂ４）のスルー画４３ｂ２は、図１２（ｂ３）と同様に、人物Ｃを含む部分領域の画像を部分画像４４ｂ２としてメイン画像化し、全体画像４４をサブ画像化することを示している。なお、ステップＳ３６で設定した所定期間が経過する前に、人物Ｃに隠れていた人物Ａの部分領域が隠れなくなると、別候補決定部１ｅ２は、ステップＳ２３からステップＳ３１を経てステップＳ３８に移行して、人物Ａを対象被写体に設定して、人物Ａの部分領域の画像を部分画像とするようにしてもよい。
【００８６】
次に、図１２（ａ３）に示すスルー画４１ｃが表示されるタイミングでは、ユーザが指定した人物Ａを含む部分領域は他の人物Ｂ，Ｃの画像で隠されていないが、スルー画４１ｂ，４１ｃの比較から明らかなように、人物Ｂの画像が大きく移動している。この場合には、別候補決定部１ｅ２は、ステップＳ３３において動きが所定の閾値よりも大きい対象被写体が存在するものと判定する。別候補決定部１ｅ２は、動きが大きい人物Ｂが過度に選択されていないか判定する（ステップＳ３５）。
【００８７】
こうして、図１２（ｂ５）に示すように、スルー画４３ｃ１は、人物Ｂを含む部分領域の画像が部分画像４４ｃ１としてメイン画像化され、全体画像４４がサブ画像化された合成画像となる。即ち、追尾変化判定部１ｅ１は、所定期間だけ人物Ｂを追尾する対象被写体として追尾を行い、追尾結果を画像処理部１ｃに出力する。こうして、信号処理及び制御部１は、ステップＳ２４において人物Ｂの部分画像による動画撮影を継続し、ステップＳ２５において動画を記録する。
【００８８】
人物Ｂの追尾期間が終了すると、別候補決定部１ｅ２は、ステップＳ３１から処理をステップＳ３２に移行する。別候補決定部１ｅ２は、ステップＳ３２，Ｓ３３において対象被写体が存在しない場合には、ステップＳ３４に移行し、未選択の被写体が有るか否かを判定する。別候補決定部１ｅ２は、未選択の被写体が存在する場合には、その中から１つの対象被写体を選択して、ステップＳ３６以降の処理を繰り返す。なお、未選択の被写体が存在しない場合には、別候補決定部１ｅ２は、画像処理部１ｃに対して全体画像を部分画像として設定するよう指示を出す（ステップＳ３９）。
【００８９】
なお、別候補決定部１ｅ２は、優先順位が付されていない場合でも、ユーザが部分指定操作によって対象被写体を指定した場合には、この対象被写体を新たな追尾対象としてもよい。図１２（ｂ６）はこの状態を示しており、スルー画４３ｃ２は、人物Ａを含む部分領域の画像を部分画像４４ｃ２としてメイン画像化し、全体画像４４をサブ画像化した合成画像となる。
【００９０】
このように、ユーザが指定した対象被写体を隠す被写体や、動きが大きい被写体等を部分画像とて選択することで、画面に変化が生じ、多彩な映像表現が可能となる。
【００９１】
図１３は図１１のステップＳ３２の処理の一例を具体的に示すフローチャートであり、図１４はステップＳ３２の処理の一例を具体的に示す説明図である。
【００９２】
図１４（ａ）乃至（ｃ）は撮像画像の変化を示しており、図１４（ａ）に示す撮像画像５１ａが図１４（ｂ）に示す撮像画像５１ｂに変化し、更に、図１４（ｃ）に示す撮像画像５１ｃに変化するものとする。図１４においては、撮像画像５１ａ，５１ｂに人物Ａ〜Ｃが撮像されており、撮像画像５１ｃに人物Ｂ，Ｃが撮像されていることを示している。また、撮像画像５１ａについては追尾対象の対象被写体が人物Ａであるものとして説明する。
【００９３】
別候補決定部１ｅ２は、ステップＳ４１において、追尾中の対象被写体を含む部分領域の周辺に存在する人物の顔を、予め設定されている顔特徴に基づいて判定する。例えば、図１４（ａ）の撮像画像５１ａにおいては、別候補決定部１ｅ２は、人物Ａの部分領域５２ａ（破線）の周辺から、人物Ｃの顔を検出する。なお、図１４（ａ）では人物Ｃを含む部分領域５３ｃを破線にて示してある。
【００９４】
次に、別候補決定部１ｅ２は、追尾中の対象被写体を含む部分領域に、顔が接近したか否かを判定する。接近していない場合には、別候補決定部１ｅ２は、図１１のステップＳ３２のＮＯ分岐に移行する。
【００９５】
例えば、図１４（ｂ）の撮像画像５１ｂのように、人物Ａの部分領域５２ｂに人物Ｃの顔が接近すると、別候補決定部１ｅ２は、ステップＳ４３に処理を移行して追尾中の部分領域内の顔の特徴が消失したか否かを判定する。撮像画像５１ｂのように、人物Ａの顔が人物Ｃで隠されると、撮像画像５１ｂから得られる人物Ａの顔の特徴量では、人物Ａを特定することができなくなる。この場合には、別候補決定部１ｅ２は、接近した顔、即ち、人物Ｃを対象被写体として（ステップＳ４４）、ステップＳ３２のＹＥＳ分岐に進む。こうして、図１４（ｃ）に示すように、撮像画像５１ｃでは、人物Ｃが追尾対象となり、人物Ｃを含む部分領域５３ｃに基づいて部分画像が生成される。
【００９６】
図１５乃至図１７は図１１のステップＳ３３の処理の一例を具体的に示すものであり、図１５はフローチャート、図１６は説明図、図１７はグラフである。
【００９７】
図１６（ａ），（ｂ）は撮像画像の変化を示しており、図１６（ａ）に示す撮像画像６１が図１６（ｂ）に示す撮像画像６２に変化するものとする。図１６（ａ）においては、撮像画像６１に人物Ａ〜Ｃの顔６３ａ〜６３ｃが撮像されており、撮像画像６２に人物Ａ〜Ｄの顔６４ａ〜６４ｄが撮像されていることを示している。また、撮像画像６１，６２については追尾対象の対象被写体が人物Ａであるものとして説明する。
【００９８】
別候補決定部１ｅ２は、ステップＳ５１において、予め設定されている顔特徴に基づいて撮像画像中に顔画像が有るか否かを判定する。図１６の撮像画像６１，６２には人物の顔が写されており、別候補決定部１ｅ２は次のステップＳ５２に処理を移行する。
【００９９】
ステップＳ５２においては、別候補決定部１ｅ２は、各顔の直前位置との変化を算出する。図１７は横軸に時間をとり縦軸に画像上の横方向の位置をとって、各顔６３ａ〜６３ｃ，６４ａ〜６４ｄの横方向の位置を示している。図１７の時間Ｔ１は、撮像画像６１の撮像タイミングに相当し、時間Ｔ２は撮像画像６２の撮像タイミングに相当する。
【０１００】
図１７は画像の左側を基準に各顔の位置を示しており、時間Ｔ１では、顔Ｂの方が顔Ｃよりも右側に位置することを示している。また、時間Ｔ２では、顔Ｄ，Ｃ，Ｂの順で画像のより右側に位置する。別候補決定部１ｅ２は、各顔毎に時間Ｔ１，Ｔ２の位置の差を求める。図１６の例では、顔Ｂ，Ｃの位置変化には差があり、図１７に示すように、顔Ｃの位置変化Δｃよりも顔Ｂの位置変化Δｂの方が大きい。
【０１０１】
別候補決定部１ｅ２は、ステップＳ５３において、顔の位置変化に差異があるか否かを判定する。差異がない場合には、別候補決定部１ｅ２は、図１１のステップＳ３２のＮＯ分岐に移行する。図１６の例では、別候補決定部１ｅ２は、処理をステップＳ５４に移行して、位置変化が大きい顔Ｂを追尾対象の対象被写体として（ステップＳ５４）、ステップＳ３２のＹＥＳ分岐に進む。こうして、撮像画像６１，６２の例では、人物Ｂが追尾対象となり、人物Ｂを含む部分領域に基づいて部分画像が生成される。
【０１０２】
このように本実施の形態においては、マルチフレームモード時には、設定される条件に従って、１つの対象被写体を選択して部分画像に設定する。これにより、多彩な映像表現が可能となり、ユーザが希望する画像を記録することができる。
【符号の説明】
【０１０３】
１…信号処理及び制御部、１ａ…読取部、１ｂ，１ｃ…画像処理部、１ｄ…特徴判定部、１ｅ１…追尾変化判定部、１ｅ２…別候補決定部、１ｆ…画像選択部、１ｇ…表示制御部、１ｈ…Ｓ圧縮部、１ｉ，１ｊ…Ｍ圧縮部、１ｋ…記録制御部、２…撮像部、３…分配用仮記録部、４…記録部、５…表示部、６…操作部、６ａ…動画撮影操作部、６ｂ…静止画撮影操作部。
【技術分野】
【０００１】
本発明は、マルチフレームモードを有する撮影機器に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）は、画像処理を駆使して、様々な撮影機能を備えている。例えば、特許文献１においては、全体の雰囲気を捉えるために広角側で撮影した画像と、迫力のある瞬間を捉えるために望遠側で撮影した画像とを合成記録して、１画面に２画像を表示する機能を有した撮影装置が開示されている。
【０００３】
また、撮影機器においては、静止画のみならず、動画撮影機能を有するものが多い。例えば、動画撮影中に静止画を撮影する、所謂フォトインムービー機能を有する撮影機器が広く知られている。更に、シャッタボタンを押すことによって静止画とこの静止画の前後の動画を記録する、所謂回想フォト機能を有する撮影機器もある。また、動画として画面全体をリサイズした動画と画面の一部の動画の２種類の動画を記録する、所謂マルチフレーム機能を有する撮影機器もある。
【先行技術文献】
【特許文献】
【０００４】
特開２０１０−２６８０１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
マルチフレームモードでは、画面の一部の動画、例えば、特定の人物の画像を追尾しながら記録を行う。しかしながら、このようなマルチフレームモードでは、追尾する画像が撮像範囲から外に出た場合や他の画像によって隠れた場合には、画面の一部の動画としてユーザが希望する画像を記録することができなくなるという問題があった。
【０００６】
本発明は、マルチフレームモードにおいても、常にユーザが希望する画像を記録することができる撮影機器を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮影機器は、被写体を撮像して得た撮像画像を出力する撮像部と、前記撮像画像から第１の画角の画像を取得する第１画像取得部と、前記第１の画角よりも狭い第２の画角の１つ以上の第２の画像を前記撮像画像から取得する第２画像取得部と、前記１つ以上の第２の画像のうちの１つの画像を動画記録する記録制御部と、前記記録制御部において記録中の前記第２の画像が第１の被写体条件を満足しなくなった場合には前記第２画像取得部が取得した１つ以上の第２の画像のうち第２の被写体条件を満足する他の第２の画像に切換えて前記記録制御部に動画記録させる制御部とを具備する。
【発明の効果】
【０００８】
本発明によれば、マルチフレームモードにおいても、常にユーザが希望する画像を記録することができるという効果を有する。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図。
【図２】フォトインムービーの動作を示す説明図。
【図３】回想フォトの動作を示す説明図。
【図４】マルチフレームの動作を示す説明図。
【図５】入力画像及び部分画像の例を示す説明図。
【図６】カメラ撮影制御を示すフローチャート。
【図７】優先順位の指定を説明するための説明図。
【図８】マルチフレームモードにおける画面表示を説明するための説明図。
【図９】マルチフレームモードにおける全体画像を示す説明図。
【図１０】マルチフレームモードにおける部分画像を示す説明図。
【図１１】第２の実施の形態において採用される処理フローを示すフローチャート。
【図１２】対象被写体の切換えを説明するための説明図。
【図１３】図１１のステップＳ３２の処理の一例を具体的に示すフローチャート。
【図１４】ステップＳ３２の処理の一例を具体的に示す説明図。
【図１５】図１１のステップＳ３３の処理の一例を具体的に示すフローチャート。
【図１６】図１１のステップＳ３３の処理の一例を具体的に示す説明図。
【図１７】図１１のステップＳ３３の処理の一例を具体的に示すグラフ。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１１】
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図である。
【００１２】
図１において、撮影機器１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部２を有している。撮像部２は、信号処理及び制御部１によって、絞り、ピント、ズーム等が制御可能に構成されており、様々な構図、被写体に対応した撮像が可能である。
【００１３】
撮像部２は、信号処理及び制御部１によって駆動制御されて、被写体を撮像し、撮像画像を出力する。信号処理及び制御部１は、撮像部２に撮像素子の駆動信号を出力すると共に、撮像部２からの撮像画像を読み出す。この撮像画像の取り込みは読取部１ａによって行われる。読取部１ａは撮像部２から読み出した撮像画像を分配用仮記録部３に与える。
【００１４】
分配用仮記録部３は、撮像部２からの撮像画像を所定期間保存する容量を有し、撮像部２から読み出された撮像画像（動画及び静止画）を記憶保持する。
【００１５】
信号処理及び制御部１は、分配用仮記録部３に記録された撮像画像を読み出して画像処理する２系統の画像処理部１ｂ，１ｃを有している。画像処理部１ｂ，１ｃは、入力された画像に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種の信号処理を行う。更に、画像処理部１ｂ，１ｃは、入力画像をリサイズするリサイズ処理、入力画像の一部の領域の画像（以下、部分画像という）を生成する処理等の各種画像処理を行うことも可能に構成されている。なお、以後、入力画像の全領域の画像については、リサイズ処理の有無に拘わらず全体画像というものとする。即ち、全体画像に対して、部分画像は画角が狭い画像、即ち、アップ画像である。
【００１６】
特徴判定部１ｄは、部分画像を生成するためにユーザによって入力画像の一部の領域（以下、部分指定領域という）を指定する操作（以下、部分指定操作という）が行われた場合、或いは、撮像画像に対する画像解析によって人物等の特定の被写体が含まれると判定された領域（以下、部分特定領域という）が検出された場合には、画像処理部１ｂから部分指定領域及び部分特定領域（以下、これらを部分領域という）の画像情報が与えられて、人物の顔等の対象被写体の特徴量を判定し、判定結果を部分領域中に検出された対象被写体の情報として追尾変化判定部１ｅ１及び別候補決定部１ｅ２に出力する。また、特徴判定部１ｄは、各被写体の特徴量の情報を部分画像特徴記憶部３ａに与えて記憶させるようになっている。
【００１７】
追尾変化判定部１ｅ１は、部分画像特徴記憶部３ａから対象被写体の特徴量を読み出し、順次入力される入力画像から対象被写体の特徴量と一致する特徴量を有する部分を含む領域を追尾し、追尾結果を画像処理部１ｃに出力する。こうして、画像処理部１ｃは、対象被写体を含む部分領域の画像部分を常に追尾しながら、この画像を部分画像として生成することができるようになっている。
【００１８】
更に、本実施の形態においては、特徴判定部１ｄ及び追尾変化判定部１ｅ１との間で情報を授受して、別候補を決定する別候補決定部１ｅ２が設けられている。別候補決定部１ｅ２は、部分領域の部分画像が追尾不能な場合に、他の１つ以上の部分領域中の被写体の情報が与えられて、いずれか１つの被写体を対象被写体として選択して選択結果を追尾変化判定部１ｅ１に与える。この選択結果に基づいて、追尾変化判定部１ｅ１は、新たな対象被写体の特徴量を部分画像特徴記憶部３ａから読み出して追尾処理を行い、追尾結果を画像処理部１ｃに出力するようになっている。
【００１９】
これにより、例えば、部分指定操作に基づく部分画像が追尾不能な場合でも、画像処理部１ｃにおいて、部分特定領域の部分画像を生成することが可能である。なお、本実施の形態においては、追尾変化判定部１ｅ１の追尾処理が完全に行われている場合でも、部分領域において部分画像の大部分が消失している場合等においては、追尾不能であるものと判定する。
【００２０】
画像処理部１ｂ，1ｃからの動画像及び静止画像は、画像選択部１ｆに与えられる。画像選択部１ｆは入力された動画像及び静止画像を選択して、表示制御部１ｇに与えると共に、Ｓ圧縮部１ｈ、Ｍ圧縮部１ｉ及びＭ圧縮部１ｊにも与える。
【００２１】
表示制御部１ｇは、入力された動画像及び静止画像を表示部５に与えて表示させるための表示処理を行う。表示部５はＬＣＤ等によって構成されており、表示制御部１ｇから与えられた動画像や静止画像を表示する。
【００２２】
一方、Ｓ圧縮部１ｈは入力された静止画像を圧縮して記録制御部１ｋに与え、Ｍ圧縮部１ｉ，１ｊは入力された動画像を圧縮して記録制御部１ｋに与える。記録制御部１ｋは、圧縮された圧縮動画像及び圧縮静止画像を記録部４に与えて記録させる。記録部４は、記録制御部１ｋに制御されて、入力された圧縮動画像及び圧縮静止画像を記録する。記録部４としては、例えばカードインターフェースを採用することができ、記録部４はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。
【００２３】
また、撮影機器１０には、操作部６も設けられている。操作部６は、撮影モード設定等の各種スイッチやボタンを有しており、ユーザ操作に基づく操作信号を発生して信号処理及び制御部１に供給する。例えば、図１では、操作部６の具体例として、動画撮影操作部６ａ及び静止画撮影操作部６ｂを示している。動画撮影操作部６ａは動画撮影を指示するためのものであり、動画撮影操作部６ａが操作されることで、動画撮影を開始するための操作信号が信号処理及び制御部１に供給されるようになっている。また、静止画撮影操作部６ｂは静止画撮影を指示するためのものであり、静止画撮影操作部６ｂが操作されることで、静止画撮影を開始するための操作信号が信号処理及び制御部１に供給されるようになっている。信号処理及び制御部１は、操作信号に基づいて、各部を制御する。
【００２４】
更に、操作部６としてはタッチパネルを採用することもできる。例えば、操作部６としてのタッチパネルを表示部５の表示画面上に設けることで、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。これにより、ユーザは、表示部５の表示画面上に表示された画像中の所定の領域を部分指定領域として指定する操作を簡単に行うことができる。
【００２５】
信号処理及び制御部１は、各部を制御することで、ユーザ操作に基づく撮影モードを設定して、各撮影モードに応じた撮影機能を実現する。この場合において、信号処理及び制御部１は、動画撮影操作部６ａ及び静止画撮影操作部６ｂの操作のみによって、撮影モードを変更することができるようになっている。
【００２６】
本実施の形態においては、別候補決定部１ｅ２は、操作部６によるユーザの部分指定操作によって、複数の対象被写体を予め登録し、優先順位を付すことが可能である。別候補決定部１ｅ２は、各対象被写体の優先順位の情報を追尾変化判定部１ｅ１に与えることで、追尾可能な場合にはより優先順位が高い被写体を追尾変化判定部１ｅ１に追尾させることができるようになっている。
【００２７】
次に、このように構成された実施の形態の動作について図２乃至図１０を参照して説明する。
【００２８】
先ず、図２乃至図５を参照して、本実施の形態の撮影機器が有する撮影モードであるフォトインムービー、回想フォト及びマルチフレームについて説明する。図２乃至図４は夫々フォトインムービー、回想フォト及びマルチフレームの動作を示す説明図である。また、図５は入力画像及び部分画像の例を示す説明図である。図２乃至図４においては、連続した四角の枠によって、撮像部２からの画像を読み出す読取部１ａの動画出力１１ａの各フレームを示している。
【００２９】
図２に示すフォトインムービーにおいては、動画出力１１ａの各フレームを夫々リサイズして得た動画１１ｃが、Ｍ圧縮部１ｉ，１ｊに供給されることを示している。Ｍ圧縮部１ｉ，１ｊは、入力された動画１１ｃに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、フォトインムービーにおける動画として記録される。
【００３０】
また、フォトインムービーにおいては、動画撮影中に、ユーザによって静止画撮影操作部６ｂの操作が行われた場合には、動画出力１１ａの各フレームのうち静止画撮影操作に対応するフレームの静止画１１ｂがＳ圧縮部１ｈに与えられる。Ｓ圧縮部１ｈは、入力された静止画１１ｂに対する圧縮処理を行い、圧縮静止画像を得る。この圧縮静止画像が、フォトインムービーにおける静止画として記録される。
【００３１】
図３に示す回想フォトにおいては、動画出力１１ａの各フレームは仮記録されている。回想フォトにおいては、動画撮影中に、ユーザによって静止画撮影操作部６ｂの操作が行われた場合には、動画出力１１ａの各フレームのうち静止画撮影操作に対応するフレームの静止画１１ｂがＳ圧縮部１ｈに与えられる。Ｓ圧縮部１ｈは、入力された静止画１１ｂに対する圧縮処理を行い、圧縮静止画像を得る。この圧縮静止画像が、回想フォトにおける静止画として記録される。
【００３２】
一方、静止画１１ｂの前後のフレームは、リサイズされた後、静止画１１ｂに関連する回想動画１１ｄとしてＭ圧縮部１ｉ，１ｊに供給される。Ｍ圧縮部１ｉ，１ｊは、入力された回想動画１１ｄに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、回想フォトにおける回想動画として記録される。
【００３３】
図４に示すマルチフレームにおいては、動画出力１１ａの各フレームを夫々リサイズして得た全体動画１１ｅが、Ｍ圧縮部１ｉ，１ｊに供給されることを示している。Ｍ圧縮部１ｉ，１ｊは、入力された全体動画１１ｅに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、マルチフレームにおける全体動画として記録される。
【００３４】
図５（ａ）は入力画像を示している。図５の例では、入力画像には、Ａ〜Ｃの３人の人物が撮像されている。マルチフレームにおいて、ユーザが図５（ａ）の破線領域に示すように人物Ａの顔を含む部分指定領域を指定する部分指定操作を行うものとする。そうすると、図５（ｂ）に示す部分指定領域の画像（部分画像）が入力画像から抽出される。更に、特徴判定部１ｄ，追尾変化判定部１ｅ１によって、入力画像中から部分画像が追尾され、以後、人物Ａの部分画像が各フレームから抽出される。そして、動画出力１１ａの各フレームの部分画像からなる部分動画１１ｆが、Ｍ圧縮部１ｉ，１ｊに供給される。Ｍ圧縮部１ｉ，１ｊは、入力された部分動画１１ｆに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、マルチフレームにおける部分動画として記録される。
【００３５】
次に、図６のフローチャートを参照して、カメラ撮影制御について説明する。
【００３６】
操作部６の操作によって撮影機器１０に電源が投入されると、信号処理及び制御部１は、ステップＳ１においてスルー画の表示及び仮記録を開始する。即ち、信号処理及び制御部１は、撮像部２を駆動して被写体を撮影させる。読取部１ａは、撮像部２からの撮像画像を読み出して、分配用仮記録部３に順次記録させる。分配用仮記録部３は、所定期間の撮像画像を順次記録する。
【００３７】
信号処理及び制御部１は、分配用仮記録部３に記録された撮像画像を順次読み出し、画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは、撮像画像に対して所定の画像信号処理を施した後、画像選択部１ｆを介して表示制御部１ｇに与える。表示制御部１ｇは、入力画像を表示部５に与えて表示させる。こうして、表示部５の表示画面上において、スルー画が表示される。
【００３８】
本実施の形態においては、次のステップＳ１９において、優先順位の指定が行われる。図７は優先順位の指定を説明するための説明図である。別候補決定部１ｅ２は、動画撮影時、特にマルチフレームモード時において、部分画像として追尾する対象被写体について優先順位を決定する。別候補決定部１ｅ２は、例えば、表示制御部１ｇを制御して、表示部５に対象被写体候補の表示を表示させる。図７（ａ）はこの表示を示しており、撮影機器１０の本体２１の背面には表示部５の表示画面５ａが設けられ、前面には撮影レンズ２２が設けられ、上面にはシャッタボタン２３が設けられている。表示画面５ａ上の下側には、対象被写体候補者表示２４が表示されている。図７（ａ）の例では対象被写体候補者として左から順に人物Ｂ，Ａ，Ｃが並んで表示されている。
【００３９】
なお、対象被写体は、ユーザがスルー画表示されている撮像画像に対して、操作部６による部分指定操作を行って指定してもよく、特徴判定部１ｄが撮像画像から予め設定されている人物の顔等の特徴量に基づいて自動的に検出してもよい。
【００４０】
対象被写体候補表示２４が表示されている状態で、ユーザは指２５で対象被写体候補の画像部分をタッチする。図７（ａ）は人物Ｂの画像部分をタッチした状態を示している。タッチパネルを構成する操作部６は、ユーザが人物Ｂを指定したことを示す操作信号を別候補決定部１ｅ２に出力する。この操作により、別候補決定部１ｅ２は、人物Ｂの対象被写体候補表示２４上に人物Ｂが選択されていることを示す選択表示２６を表示させると共に、表示画面５ａ上の上側に、優先順位表示２７を表示させる。図７（ｂ）では“１”、“２”、“３”の優先順位が表示されていることを示している。この状態で、ユーザが指２５によって優先順位“３”の優先順位表示２７の画像部分をタッチする。この操作信号は別候補決定部１ｅ２に供給され、別候補決定部１ｅ２は人物Ｂの優先順位を３番目に設定する。以後、ユーザが対象被写体候補表示２４の各人物の画像部分をタッチする操作及び優先順位表示２７の各優先順位の数字の画像部分をタッチする操作を繰り返すことで、対象被写体候補について優先順位が設定される。
【００４１】
次に、信号処理及び制御部１は、ステップＳ２において、静止画撮影操作部６ｂが操作されたか否かを判定する。更に、信号処理及び制御部１は、ステップＳ５において、動画撮影操作部６ａが操作されたか否かを判定する。
【００４２】
信号処理及び制御部１は、ステップＳ２において静止画撮影操作部６ｂが操作されたと判断した場合には、回想フォトモードを設定し、ステップＳ５において動画撮影操作部６ａが操作されたと判断した場合には、フォトインムービーモードを設定するようになっている。
【００４３】
ステップＳ２において静止画撮影操作部６ｂが操作されると、信号処理及び制御部１は、ステップＳ３において回想フォトにおける静止画撮影を行い、ステップＳ４において回想フォトにおける回想動画記録を行う。即ち、信号処理及び制御部１は、静止画撮影操作部６ｂの操作タイミングで読取部１ａから取り込まれた撮像画像（静止画）を分配用仮記録部３から読み出して、画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは入力された静止画を画像処理し画像選択部１ｆを介してＳ圧縮部１ｈに供給する。Ｓ圧縮部１ｈは入力された静止画を圧縮し、記録制御部１ｋは圧縮された静止画像を記録部４に与えて記録させる（ステップＳ３）。
【００４４】
また、信号処理及び制御部１は、分配用仮記録部３から読み出された静止画像の前後に記録されている動画像を読み出して画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは入力された動画像をリサイズし、回想動画を画像選択部１ｆを介してＭ圧縮部１ｉ又は１ｊに供給する。Ｍ圧縮部１ｉ又は１ｊは入力された回想動画を圧縮し、記録制御部１ｋは圧縮された回想動画を記録部４に与えて記録させる（ステップＳ４）。
【００４５】
ステップＳ５において動画撮影操作部６ａが操作されると、信号処理及び制御部１は、ステップＳ６においてフォトインムービーにおける動画撮影を行う。即ち、信号処理及び制御部１は、分配用仮記録部３に順次記録される動画像を読み出して画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは入力された動画像をリサイズし、画像選択部１ｆを介してＭ圧縮部１ｉ又は１ｊに供給する。Ｍ圧縮部１ｉ又は１ｊは入力されたフォトインムービーにおける動画を圧縮し、記録制御部１ｋは圧縮された動画像を記録部４に与えて記録させる（ステップＳ６）。
【００４６】
このフォトインムービーモードにおいて、静止画撮影操作部６ｂの操作が行われると、信号処理及び制御部１は、ステップＳ７からステップＳ１６を経由してステップＳ８に処理を移行し、静止画撮影を行う。即ち、信号処理及び制御部１は、静止画撮影操作部６ｂの操作タイミングで読取部１ａから取り込まれた撮像画像（静止画）を分配用仮記録部３から読み出して、画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは入力された静止画を画像処理し画像選択部１ｆを介してＳ圧縮部１ｈに供給する。Ｓ圧縮部１ｈは入力された静止画を圧縮し、記録制御部１ｋは圧縮された静止画像を記録部４に与えて記録させる（ステップＳ８）。こうして、フォトインムービーにおける静止画記録が行われる。
【００４７】
また、信号処理及び制御部１は、フォトインムービーモードにおいて、ステップＳ７の静止画撮影操作部６ｂの操作が検出されなければ、ステップＳ９において終了操作が行われたか否かを判定し、行われていない場合には、処理をステップＳ１０に移行して、部分指定操作の有無を判定する。
【００４８】
本実施の形態においては、フォトインムービーモードにおいて、部分指定操作が発生した場合にはマルチフレームモードに移行し、発生しない場合にはフォトインムービーを継続するようになっている。即ち、信号処理及び制御部１は、フォトインムービーモード時に、ステップＳ１０において部分指定操作の発生を検出しない場合には、ステップＳ１１においてマルチフレームへの移行が行われていないものと判定して、処理をステップＳ６に戻してフォトインムービーを継続し、部分指定操作の発生を検出した場合には、処理をステップＳ１２に移行してマルチフレームモードを設定する。
【００４９】
マルチフレームモードにおいても、フォトインムービーモード時と同様に、入力画像をリサイズして得た全体画像を動画記録する。従って、信号処理及び制御部１は、マルチフレームモードに移行しても、分配用仮記録部３から動画像を読み出し、この動画像を画像処理部１ｂにおいてリサイズして全体画像を得、画像選択部１ｆを介してＭ圧縮部１ｉ又は１ｊに与えて圧縮し、記録制御部１ｋにより記録部４において記録する。
【００５０】
また、マルチフレームモード時には、信号処理及び制御部１は、分配用仮記録部３から読み出した画像を画像処理部１ｃに与えて、部分指定操作に応じた部分画像を切り出す。この場合には、画像処理部１ｃは、追尾変化判定部１ｅ１によって追尾された部分画像を含む部分指定領域を切り出す。こうして、画像処理部１ｃからは部分画像からなる動画像が出力され、画像選択部１ｆを介してＭ圧縮部１ｉ又は１ｊに供給されて圧縮され、記録制御部１ｋによって記録部４において記録される（ステップＳ１３）。
【００５１】
更に、本実施の形態においては、マルチフレームモード時には、全体画像と部分画像とをピクチャインピクチャ表示することによって、利便性を向上させるようになっている。図８はマルチフレームモードにおける画面表示を説明するための説明図であり、図５と同一の入力画像が入力された場合の例を示している。
【００５２】
いま、図５（ａ）に示す入力画像が画像処理部１ｂ，１ｃに入力されるものとする。図５（ａ）の例では、入力画像として、Ａ〜Ｃの３人の人物が撮像されている。ユーザが図５（ａ）の破線領域に示すように人物Ａの顔を含む部分指定領域を指定する部分指定操作を行うものとする。なお、この部分指定操作は、マルチフレームモードにおける部分画像を特定するための操作であり、ユーザはステップＳ１９における優先順位が１番の対象被写体候補を含む画像部分を指定するものと考えられる。しかし、仮に、ステップＳ１９において指定した優先順位が１番の対象被写体候補と異なる人物が含まれる部分指定領域を指定する部分指定操作が行われた場合には、この部分指定操作を単にマルチフレームモードへの移行操作として次のステップに移行してもよく、この部分指定操作に基づく対象被写体候補を優先順位の１番に設定して他の対象被写体候補の優先順位を再設定してもよく、また、再度ステップＳ１９の優先順位の指定処理を実行して、優先順位を再設定してもよい。
【００５３】
いま、図５（ａ）の人物Ａが優先順位１番の対象被写体候補であるものとする。この場合には、図５（ａ）の破線部の部分指定領域の画像（部分画像）が入力画像から抽出される。更に、特徴判定部１ｄ，追尾変化判定部１ｅ１によって、入力画像中から部分画像が追尾され、以後、人物Ａの部分画像を含む領域が部分指定領域として画像処理部１ｃに指定される。
【００５４】
画像処理部１ｃは、追尾変化判定部１ｅ１の指示に従って、部分画像を追尾しながら切り出す。画像処理部１ｃは図５（ｂ）に示す部分画像をそのまま画像選択部１ｆを介してＭ圧縮１ｉ又は１ｊに出力すると共に、部分画像と全体画像とを合成した後、画像選択部１ｆを介して表示制御部１ｇに出力する。
【００５５】
即ち、画像処理部１ｃは、図８（ａ）に示すように、表示部５の表示画面５ａの略全域のメイン表示領域５ｂに全体画像に基づくメイン画像を配置し、表示画面５ａの一部領域（以下、サブ表示領域という）５ｃに部分画像をサブ画像として配置するように、全体画像と部分画像との合成を行う。即ち、この場合には、画像処理部１ｃは、部分画像をサブ画像化することになる（ステップＳ１２）。
【００５６】
信号処理及び制御部１は、マルチフレームモード時には、ステップＳ１４において、ユーザーがサブ表示領域５ｃをタッチしたか否かを判定する。信号処理及び制御部１は、ユーザがサブ表示領域５ｃをタッチした場合には、ステップＳ１５において、現在のサブ画像をメイン画像化し、現在のメイン画像をサブ画像化する。
【００５７】
図８（ｂ）はこの状態を示しており、図８（ａ）の状態においてサブ表示領域５ｃがタッチされると、サブ表示領域５ｃに表示されていたサブ画像である部分画像がメイン画像としてメイン表示領域５ｂに表示され、メイン表示領域５ｂに表示されていたメイン画像である全体画像がサブ画像としてサブ表示領域５ｃに表示される。なお、図８（ｂ）の状態においてサブ表示領域５ｃがタッチされると、サブ表示領域５ｃに表示されていたサブ画像である全体画像がメイン画像としてメイン表示領域５ｂに表示され、メイン表示領域５ｂに表示されていたメイン画像である部分画像がサブ画像としてサブ表示領域５ｃに表示される。即ち、図８（ａ）の表示に戻る。
【００５８】
信号処理及び制御部１は、マルチフレームモード時において、ユーザが静止画撮影操作部６ｂを操作したことを、ステップＳ７において検出すると、フォトインムービーモードに移行する。この場合には、マルチフレームモードからフォトインムービーモードに移行する場合であるので、ステップＳ１６からステップＳ１７に処理が移行して、静止画撮影が行われる。
【００５９】
ステップＳ１７の静止画撮影の直前においては、図８（ａ），（ｂ）に示すように、表示部５の表示画面５ａ上には、全体画像と部分画像とが合成表示されている。そこで、ステップＳ１７のフォトインムービーにおける静止画撮影では、全体画像及び部分画像並びに全体画像と部分画像の合成画像の全ての静止画像を記録するようになっている。即ち、画像処理部１ｂ，１ｃからの全体画像が画像選択部１ｆを介してＳ圧縮部１ｈに供給されて圧縮され、記録制御部１ｋによって記録部４において記録される。また、画像処理部１ｃは、部分画像を切り出しており、この部分画像は画像選択部１ｆを介してＳ圧縮部１ｈに供給されて圧縮され、記録制御部１ｋによって記録部４において記録される。また、画像処理部１ｃは、全体画像と部分画像との合成画像を生成している。即ち、部分画像がサブ画像化された合成画像と全体画像がサブ画像化された合成画像の２つの合成画像は、画像選択部１ｆを介してＳ圧縮部１ｈに供給されて圧縮され、記録制御部１ｋによって記録部４において記録される。こうして、マルチフレームモードから、静止画撮影操作部６ｂの操作によってフォトインムービーモードに移行した場合には、全体画像、部分画像、全体画像と部分画像との２枚の合成画像からなる４枚の静止画像が記録される。
【００６０】
図９及び図１０は夫々マルチフレームモードにおける全体画像又は部分画像を示す説明図である。入力画像が図９（ａ）の状態から図９（ｂ）の状態を経て図９（ｃ）の状態に変化したことを示している。なお、図９は被写体として３人の人物Ａ〜Ｃが撮影されたことを示しており、そのうちの人物Ａが優先順位が１位の対象被写体であって、人物Ａの顔を含む領域が部分領域として指定されていることを示している。また、図１０は部分画像を示しており、図１０（ａ）乃至（ｃ）は、夫々図９（ａ）乃至 （ｃ）の入力画像中の破線で示す部分領域における部分画像を示している。
【００６１】
マルチフレームモードにおいては、入力画像をリサイズして得た全体画像に基づく動画像と入力画像中の部分領域の部分画像による動画像とが記録される。いま、図９（ａ）に示す入力画像３５ａに対して、破線に示す部分領域３６ａが設定されるものとする。追尾変化判定部１ｅ１は、入力画像３５ｂ，３５ｃのように変化した場合でも追尾を行って、部分指定領域３６ｂ，３６ｃを検出する。マルチフレームモードでは、入力画像３５ａ乃至３５ｃをリサイズして得た全体画像に基づく動画像と、部分指定領域３６ａ〜３６ｃに対応した部分画像３７ａ〜３７ｃ（図１０）とが記録される。
【００６２】
このようなマルチモードによれば、ユーザが撮影を希望する対象被写体である人物Ａの周囲の様子を全体画像によって記録することができるだけでなく、人物Ａの表情等を部分画像によって記録することができる。図１０（ａ）〜（ｃ）では、各入力画像３５ａ〜３５ｃに対応した人物Ａの顔３８ａ〜３８ｃが撮影され、口３９ａ〜３９ｃ等の顔の表情まで記録することができる。これによって、ユーザーは、全体の動きや、注目する被写体の表情も、記録しておき、見たい方を鑑賞することが可能となる。
【００６３】
例えば、複数の人物が合唱しているシーンの撮影時等においては、各人物の動きが少なく、上述した有効な記録が可能である。しかし、複数の人物による徒競走等のシーンを撮影する場合のように、複数の人物の位置が比較的変化する場合には、追尾対象の対象被写体の画像が他の被写体等によって見えなくなることが考えられる。そこで、本実施の形態においては、部分画像として記録被写体を切り替えることで、常に有効な部分画像を記録することを可能にしている。
【００６４】
即ち、本実施の形態においては、追尾対象の対象被写体を、優先順位に従って切り替えるようになっている。追尾変化判定部１ｅ１は、追尾対象の対象被写体について追尾不能になると、別候補決定部１ｅ２に次の優先順位の対象被写体について問い合わせる。別候補決定部１ｅ２は、現在の追尾対象の対象被写体を除き、複数の対象被写体候補のうち最も優先順位が高い対象被写体を、追尾変化判定部１ｅ１に設定する。
【００６５】
これにより、追尾変化判定部１ｅ１は、設定された対象被写体を新たな追尾対象として、この対象被写体についての特徴量を部分画像特徴記憶部３ａから読み出して追尾を行い、追尾結果を画像処理部１ｃに出力する。また、追尾変化判定部１ｅ１は、新たに設定された対象被写体についても追尾不能の場合には、更に、別候補決定部１ｅ２に次の優先順位の対象被写体についての問い合わせを行う。こうして、追尾変化判定部１ｅ１は、追尾可能な対象被写体のうちより高い優先順位が付された対象被写体の追尾を行う。
【００６６】
画像処理部１ｃは、追尾変化判定部１ｅ１の追尾結果に従って、入力画像から部分画像を生成する。この部分画像は、追尾可能な対象被写体のうちより高い優先順位を有する対象被写体を含む画像であり、ユーザの希望する部分画像の記録が可能である。
【００６７】
このように本実施の形態においては、マルチフレームモードにおいて、複数の対象被写体についてユーザが設定した優先順位を付し、追尾可能な対象被写体のうちより優先順位が高い対象被写体を含む部分画像を記録するようになっている。これにより、第１位の優先順位を有する対象被写体を追尾不能となった場合でも、第２，第３，…の優先順位を有する対象被写体を追尾して部分画像を取得することができ、ユーザーの希望する撮像が可能である。例えば、自分の子供が参加する徒競走の撮影時において、第１位の優先順位を付した自分の子供の表情を部分画像によって記録するだけでなく、自分の子供の画像が他の子供の画像によって隠れてしまった場合には、その期間にユーザが設定した他の子供の表情を部分画像によって記録することができ、ユーザにとって有効な記録が可能である。
【００６８】
（第２の実施の形態）
図１１乃至図１７は本発明の第２の実施の形態に係り、図１１は第２の実施の形態において採用される処理フローを示すフローチャートである。本実施の形態のハードウェア構成は第１の実施の形態と同一であり、信号処理及び制御部１の処理フローが第１の実施の形態と異なるのみである。
【００６９】
第１の実施の形態においては、複数の対象被写体について優先順位を付し、追尾可能な対象被写体のうちより高い優先順位を付した対象被写体を追尾して部分画像を生成する例について説明した。これに対し、本実施の形態においては、別候補決定部１ｅ２が、予め設定される条件に従って、特徴判定部１ｄの出力に基づいて１つ以上の対象被写体の候補から１つの対象被写体を選択して追尾変化判定部１ｅ１に設定するようになっている。例えば、別候補決定部１ｅ２は、追尾中の対象被写体との位置関係、動き、選択回数、選択時間等に基づいて１つの対象被写体を選択して、追尾変化判定部１ｅ１に指定する。
【００７０】
なお、別候補決定部１ｅ２は、第１の実施の形態と同様に複数の対象被写体について優先順位を付し、優先順位を付された対象被写体のうち追尾可能な対象被写体が存在しない場合に、予め設定された条件に従って、優先順位が付されていない対象被写体から１つの対象被写体を選択して追尾変化判定部１ｅ１に設定するようにしてもよい。
【００７１】
また、別候補決定部１ｅ２は、表示制御部１ｇを制御して、スルー画中に各対象被写体候補を含む部分領域の範囲を示す表示を表示すると共に、追尾対象の対象被写体を示す表示をスルー画中に表示させるようにしてもよい。
【００７２】
図１１は図６のステップＳ１３のマルチフレーム動画撮影処理に対応した処理を示している。また、図１２は対象被写体の切換えを説明するための説明図である。図１２（ａ１）〜（ａ３）は、３人の人物Ａ〜Ｃによる徒競走を撮影して得た時間的に前後する撮像画像に基づくスルー画の一例を示しており、全体画像をメイン画像とし、部分画像をサブ画像とした合成画像を示している。また、図１２（ｂ１），（ｂ２）は図１２（ａ１）に、図１２（ｂ３），（ｂ４）は図１２（ａ２）に、図１２（ｂ５），（ｂ６）は図１２（ａ３）に夫々対応したスルー画を示しており、全体画像をサブ画像とし、部分画像をメイン画像とした合成画像を示している。なお、図１２は優先順位を付すことなく、人物Ａを含む部分領域を指定する部分指定操作によってマルチフレームモードに移行した例を示している。
【００７３】
入力画像が図１２（ａ１）の状態から図１２（ａ２）の状態を経て図１２（ａ３）の状態に変化するものとする。図１２（ａ１）〜（ａ３）に示す入力画像のスルー画４１ａ〜４１ｃには、夫々各対象被写体を含む部分領域を示す枠表示（破線）が表示されており、また、現在の追尾対象の対象被写体による部分画像を表示するサブ画像４２ａ〜４２ｃが表示されている。
【００７４】
ユーザが全体画像よりも部分画像（アップ画像）の方を見ながら撮影したいと考えることもある。この場合には、図１２（ａ１）〜（ａ３）のサブ画像４２ａ〜４２ｃの画像部分をタッチすると、図１２（ｂ１）〜（ｂ６）のように、部分画像をメイン画像化して表情を確認することを重視した撮影が可能となる。なお、マルチフレームモードにおいて撮影した画像から図１２に示す形態で再生表示を行うようにしてもよい。
【００７５】
図１１のステップＳ２１において、信号処理及び制御部１は全体画像及び部分画像を夫々別々の動画として動画記録を開始する。特徴判定部１ｄは、入力される撮像画像中の各対象被写体について、例えば顔等の特徴量や画面上の位置の情報を取得して部分画像特徴記憶部３ａに記録する（ステップＳ２２）。これにより、撮像されている人物、その顔及び撮像時における位置等を、撮像画像毎に記録することができる。
【００７６】
次のステップＳ２３においては、別候補決定部１ｅ２は、現在追尾中の部分領域の画像が、記録する部分画像として必要な条件を満足しているか否かを判定する。例えば、追尾不能となった場合や、追尾中の部分領域内の人物の顔の一部が隠されている場合や、追尾対象の対象被写体とする期間を超過した場合等においては、別候補決定部１ｅ２は部分領域は必要な条件を満足していないと判定する。
【００７７】
図１２（ａ１）のスルー画４１ａでは、人物Ａ〜Ｃの画像が含まれる部分領域は、殆ど重なっておらず、別候補決定部１ｅ２は、引き続き人物Ａの画像を含む部分領域を追尾変化判定部１ｅ１に設定する。こうして、図１２（ｂ１），（ｂ２）に示すように、スルー画４３ａ１，４３ａ２には、人物Ａを含む部分領域の画像が部分画像４４ａ１，４４ａ２としてメイン画像化され、全体画像４４がサブ画像化される。
【００７８】
即ち、図１２（ａ１）のスルー画４１ａの状態では、別候補決定部１ｅ２は、ステップＳ２３において、部分領域中の画像が必要な条件を満足していると判定することになる。この場合には、信号処理及び制御部１は、ステップＳ２４において追尾中の部分領域の動画撮影を継続し、ステップＳ２５において動画を記録する。
【００７９】
次に、図１２（ａ２）に示すスルー画４１ｂが表示されるタイミングでは、追尾中の人物Ａを含む部分領域が人物Ｃの画像で隠されてしまう。図１２（ａ３）に示すスルー画４１ｃが表示されるタイミングでも同様である。
【００８０】
そこで、別候補決定部１ｅ２は、処理をステップＳ３１に移行して別候補が有るか否かを判定する。人物Ａの対象被写体以外に優先順位が付されている対象被写体が存在する場合には、処理をステップＳ３８に移行して、別候補決定部１ｅ２は次の優先順位の対象被写体を追尾変化判定部１ｅ１に設定する。追尾変化判定部１ｅ１は、部分画像特徴記憶部３ａの情報を読み出すことで、設定された対象被写体を追尾し、追尾した対象被写体を含む部分領域を画像処理部１ｃに設定する。これにより、新たな部分領域の部分画像が動画像として記録される（ステップＳ２４，Ｓ２５）
図１２の例では、優先順位は設定されていないので、別候補決定部１ｅ２は処理を次のステップＳ３２に移行して、追尾中の対象被写体の部分領域を隠す対象被写体が存在するか否かを判定する。図１２（ａ２）のスルー画４１ｂでは、追尾中の人物Ａの部分領域は人物Ｃの画像で隠されるので、別候補決定部１ｅ２は、人物Ｃを対象被写体として、ステップＳ３５の処理を行う。
【００８１】
ステップＳ３５においては、人物Ｃの対象被写体が過度に選択されていないかが判定される。例えば、自分の子供が参加する徒競走の撮影時には、ユーザは自分の子供のみを部分画像として記録したいと考えられる。しかし、徒競走では人物の動きが激しく、自分の子供の画像が他人の子供の画像に隠されてしまうことがある。この場合でも、自分の子供の画像を隠した他人の子供の画像を部分画像として撮像することで、自分の子供だけでなく、他人の子供の表情の変化等も記録することができ、多彩な映像表現が可能となる。この理由から、優先順位を付した対象被写体やユーザが指定した対象被写体以外の対象被写体についても部分画像の記録を行う。
【００８２】
しかし、全体画像には自分の子供だけでなく他人の子供も記録されており、本来部分画像として記録したいのは他人の子供ではなく、自分の子供である。そこで、ユーザが指定した対象被写体以外の被写体を撮像する場合には、記録回数や頻度、記録時間等の制限を課す。ステップＳ３５では、別候補決定部１ｅ２は、新たに選択された対象被写体について、このような記録回数又は記録頻度の制限を超えたか否かを判定するのである。
【００８３】
ステップＳ３２において選択された対象被写体が過度に選択されていない場合には、別候補決定部１ｅ２は、次のステップＳ３６において、選択された対象被写体を所定の時間（例えば数秒間）だけ追尾対象の対象被写体とする。別候補決定部１ｅ２は、記録回数や頻度の情報を得るために、新たに設定する追尾対象の対象被写体に関する情報を図示しない記憶部に記憶する。次に、別候補決定部１ｅ２は、新たな対象被写体を追尾変化判定部１ｅ１に設定する（ステップＳ３８）。
【００８４】
これにより、図１２（ｂ３）に示すように、スルー画４３ｂ１は、人物Ｃを含む部分領域の画像が部分画像４４ｂ１としてメイン画像化され、全体画像４４がサブ画像化された合成画像となる。即ち、追尾変化判定部１ｅ１は、所定期間だけ人物Ｃを追尾する対象被写体として追尾を行い、追尾結果を画像処理部１ｃに出力する。こうして、信号処理及び制御部１は、ステップＳ２４において人物Ｃの部分画像による動画撮影を継続し、ステップＳ２５において動画を記録する。
【００８５】
図１２（ｂ４）のスルー画４３ｂ２は、図１２（ｂ３）と同様に、人物Ｃを含む部分領域の画像を部分画像４４ｂ２としてメイン画像化し、全体画像４４をサブ画像化することを示している。なお、ステップＳ３６で設定した所定期間が経過する前に、人物Ｃに隠れていた人物Ａの部分領域が隠れなくなると、別候補決定部１ｅ２は、ステップＳ２３からステップＳ３１を経てステップＳ３８に移行して、人物Ａを対象被写体に設定して、人物Ａの部分領域の画像を部分画像とするようにしてもよい。
【００８６】
次に、図１２（ａ３）に示すスルー画４１ｃが表示されるタイミングでは、ユーザが指定した人物Ａを含む部分領域は他の人物Ｂ，Ｃの画像で隠されていないが、スルー画４１ｂ，４１ｃの比較から明らかなように、人物Ｂの画像が大きく移動している。この場合には、別候補決定部１ｅ２は、ステップＳ３３において動きが所定の閾値よりも大きい対象被写体が存在するものと判定する。別候補決定部１ｅ２は、動きが大きい人物Ｂが過度に選択されていないか判定する（ステップＳ３５）。
【００８７】
こうして、図１２（ｂ５）に示すように、スルー画４３ｃ１は、人物Ｂを含む部分領域の画像が部分画像４４ｃ１としてメイン画像化され、全体画像４４がサブ画像化された合成画像となる。即ち、追尾変化判定部１ｅ１は、所定期間だけ人物Ｂを追尾する対象被写体として追尾を行い、追尾結果を画像処理部１ｃに出力する。こうして、信号処理及び制御部１は、ステップＳ２４において人物Ｂの部分画像による動画撮影を継続し、ステップＳ２５において動画を記録する。
【００８８】
人物Ｂの追尾期間が終了すると、別候補決定部１ｅ２は、ステップＳ３１から処理をステップＳ３２に移行する。別候補決定部１ｅ２は、ステップＳ３２，Ｓ３３において対象被写体が存在しない場合には、ステップＳ３４に移行し、未選択の被写体が有るか否かを判定する。別候補決定部１ｅ２は、未選択の被写体が存在する場合には、その中から１つの対象被写体を選択して、ステップＳ３６以降の処理を繰り返す。なお、未選択の被写体が存在しない場合には、別候補決定部１ｅ２は、画像処理部１ｃに対して全体画像を部分画像として設定するよう指示を出す（ステップＳ３９）。
【００８９】
なお、別候補決定部１ｅ２は、優先順位が付されていない場合でも、ユーザが部分指定操作によって対象被写体を指定した場合には、この対象被写体を新たな追尾対象としてもよい。図１２（ｂ６）はこの状態を示しており、スルー画４３ｃ２は、人物Ａを含む部分領域の画像を部分画像４４ｃ２としてメイン画像化し、全体画像４４をサブ画像化した合成画像となる。
【００９０】
このように、ユーザが指定した対象被写体を隠す被写体や、動きが大きい被写体等を部分画像とて選択することで、画面に変化が生じ、多彩な映像表現が可能となる。
【００９１】
図１３は図１１のステップＳ３２の処理の一例を具体的に示すフローチャートであり、図１４はステップＳ３２の処理の一例を具体的に示す説明図である。
【００９２】
図１４（ａ）乃至（ｃ）は撮像画像の変化を示しており、図１４（ａ）に示す撮像画像５１ａが図１４（ｂ）に示す撮像画像５１ｂに変化し、更に、図１４（ｃ）に示す撮像画像５１ｃに変化するものとする。図１４においては、撮像画像５１ａ，５１ｂに人物Ａ〜Ｃが撮像されており、撮像画像５１ｃに人物Ｂ，Ｃが撮像されていることを示している。また、撮像画像５１ａについては追尾対象の対象被写体が人物Ａであるものとして説明する。
【００９３】
別候補決定部１ｅ２は、ステップＳ４１において、追尾中の対象被写体を含む部分領域の周辺に存在する人物の顔を、予め設定されている顔特徴に基づいて判定する。例えば、図１４（ａ）の撮像画像５１ａにおいては、別候補決定部１ｅ２は、人物Ａの部分領域５２ａ（破線）の周辺から、人物Ｃの顔を検出する。なお、図１４（ａ）では人物Ｃを含む部分領域５３ｃを破線にて示してある。
【００９４】
次に、別候補決定部１ｅ２は、追尾中の対象被写体を含む部分領域に、顔が接近したか否かを判定する。接近していない場合には、別候補決定部１ｅ２は、図１１のステップＳ３２のＮＯ分岐に移行する。
【００９５】
例えば、図１４（ｂ）の撮像画像５１ｂのように、人物Ａの部分領域５２ｂに人物Ｃの顔が接近すると、別候補決定部１ｅ２は、ステップＳ４３に処理を移行して追尾中の部分領域内の顔の特徴が消失したか否かを判定する。撮像画像５１ｂのように、人物Ａの顔が人物Ｃで隠されると、撮像画像５１ｂから得られる人物Ａの顔の特徴量では、人物Ａを特定することができなくなる。この場合には、別候補決定部１ｅ２は、接近した顔、即ち、人物Ｃを対象被写体として（ステップＳ４４）、ステップＳ３２のＹＥＳ分岐に進む。こうして、図１４（ｃ）に示すように、撮像画像５１ｃでは、人物Ｃが追尾対象となり、人物Ｃを含む部分領域５３ｃに基づいて部分画像が生成される。
【００９６】
図１５乃至図１７は図１１のステップＳ３３の処理の一例を具体的に示すものであり、図１５はフローチャート、図１６は説明図、図１７はグラフである。
【００９７】
図１６（ａ），（ｂ）は撮像画像の変化を示しており、図１６（ａ）に示す撮像画像６１が図１６（ｂ）に示す撮像画像６２に変化するものとする。図１６（ａ）においては、撮像画像６１に人物Ａ〜Ｃの顔６３ａ〜６３ｃが撮像されており、撮像画像６２に人物Ａ〜Ｄの顔６４ａ〜６４ｄが撮像されていることを示している。また、撮像画像６１，６２については追尾対象の対象被写体が人物Ａであるものとして説明する。
【００９８】
別候補決定部１ｅ２は、ステップＳ５１において、予め設定されている顔特徴に基づいて撮像画像中に顔画像が有るか否かを判定する。図１６の撮像画像６１，６２には人物の顔が写されており、別候補決定部１ｅ２は次のステップＳ５２に処理を移行する。
【００９９】
ステップＳ５２においては、別候補決定部１ｅ２は、各顔の直前位置との変化を算出する。図１７は横軸に時間をとり縦軸に画像上の横方向の位置をとって、各顔６３ａ〜６３ｃ，６４ａ〜６４ｄの横方向の位置を示している。図１７の時間Ｔ１は、撮像画像６１の撮像タイミングに相当し、時間Ｔ２は撮像画像６２の撮像タイミングに相当する。
【０１００】
図１７は画像の左側を基準に各顔の位置を示しており、時間Ｔ１では、顔Ｂの方が顔Ｃよりも右側に位置することを示している。また、時間Ｔ２では、顔Ｄ，Ｃ，Ｂの順で画像のより右側に位置する。別候補決定部１ｅ２は、各顔毎に時間Ｔ１，Ｔ２の位置の差を求める。図１６の例では、顔Ｂ，Ｃの位置変化には差があり、図１７に示すように、顔Ｃの位置変化Δｃよりも顔Ｂの位置変化Δｂの方が大きい。
【０１０１】
別候補決定部１ｅ２は、ステップＳ５３において、顔の位置変化に差異があるか否かを判定する。差異がない場合には、別候補決定部１ｅ２は、図１１のステップＳ３２のＮＯ分岐に移行する。図１６の例では、別候補決定部１ｅ２は、処理をステップＳ５４に移行して、位置変化が大きい顔Ｂを追尾対象の対象被写体として（ステップＳ５４）、ステップＳ３２のＹＥＳ分岐に進む。こうして、撮像画像６１，６２の例では、人物Ｂが追尾対象となり、人物Ｂを含む部分領域に基づいて部分画像が生成される。
【０１０２】
このように本実施の形態においては、マルチフレームモード時には、設定される条件に従って、１つの対象被写体を選択して部分画像に設定する。これにより、多彩な映像表現が可能となり、ユーザが希望する画像を記録することができる。
【符号の説明】
【０１０３】
１…信号処理及び制御部、１ａ…読取部、１ｂ，１ｃ…画像処理部、１ｄ…特徴判定部、１ｅ１…追尾変化判定部、１ｅ２…別候補決定部、１ｆ…画像選択部、１ｇ…表示制御部、１ｈ…Ｓ圧縮部、１ｉ，１ｊ…Ｍ圧縮部、１ｋ…記録制御部、２…撮像部、３…分配用仮記録部、４…記録部、５…表示部、６…操作部、６ａ…動画撮影操作部、６ｂ…静止画撮影操作部。
【特許請求の範囲】
【請求項１】
被写体を撮像して得た撮像画像を出力する撮像部と、
前記撮像画像から第１の画角の画像を取得する第１画像取得部と、
前記第１の画角よりも狭い第２の画角の１つ以上の第２の画像を前記撮像画像から取得する第２画像取得部と、
前記１つ以上の第２の画像のうちの１つの画像を動画記録する記録制御部と、
前記記録制御部において記録中の前記第２の画像が第１の被写体条件を満足しなくなった場合には前記第２画像取得部が取得した１つ以上の第２の画像のうち第２の被写体条件を満足する他の第２の画像に切換えて前記記録制御部に動画記録させる制御部と
を具備したことを特徴とする撮影機器。
【請求項２】
前記制御部は、前記記録中の第２の画像を追尾可能であるか否か、前記記録中の第２の画像の一部が隠されているか否か及び前記記録中の第２の画像の記録期間が超過したか否かのうちの少なくとも１つを前記第１の被写体条件とする
ことを特徴とする請求項１に記載の撮影機器。
【請求項３】
前記制御部は、優先順位が付された画像であるか否か、前記記録中の第２の画像を隠す画像であるか否か、前記撮像画像中で所定の閾値よりも大きく動く画像であるか否か及び未選択の画像であるか否かのうちの少なくとも１つを前記第２の被写体条件とする
ことを特徴とする請求項１又は２に記載の撮影機器。
【請求項４】
前記制御部は、前記第２画像取得部が取得した１つ以上の第２の画像に優先順位を付し、前記第２の被写体条件を満足する前記他の第２の画像のうちより優先順位が高い第２の画像を選択して前記記録制御部に動画記録させる
ことを特徴とする請求項１に記載の撮影機器。
【請求項５】
前記制御部は、前記記録中の第２の画像が前記第１の被写体条件を満足しなくなった場合には、前記第２の画像に付した優先順位に従って次に記録する前記他の第２の画像を選択し、前記優先順位では次に記録する前記他の第２の画像を選択することができない場合には、前記記録中の第２の画像を隠す画像であるか否か、前記撮像画像中で所定の閾値よりも大きく動く画像であるか否か及び未選択の画像であるか否かのうちの少なくとも１つを前記第２の被写体条件として次に記録する前記他の第２の画像を選択する
ことを特徴とする請求項１に記載の撮影機器。
【請求項１】
被写体を撮像して得た撮像画像を出力する撮像部と、
前記撮像画像から第１の画角の画像を取得する第１画像取得部と、
前記第１の画角よりも狭い第２の画角の１つ以上の第２の画像を前記撮像画像から取得する第２画像取得部と、
前記１つ以上の第２の画像のうちの１つの画像を動画記録する記録制御部と、
前記記録制御部において記録中の前記第２の画像が第１の被写体条件を満足しなくなった場合には前記第２画像取得部が取得した１つ以上の第２の画像のうち第２の被写体条件を満足する他の第２の画像に切換えて前記記録制御部に動画記録させる制御部と
を具備したことを特徴とする撮影機器。
【請求項２】
前記制御部は、前記記録中の第２の画像を追尾可能であるか否か、前記記録中の第２の画像の一部が隠されているか否か及び前記記録中の第２の画像の記録期間が超過したか否かのうちの少なくとも１つを前記第１の被写体条件とする
ことを特徴とする請求項１に記載の撮影機器。
【請求項３】
前記制御部は、優先順位が付された画像であるか否か、前記記録中の第２の画像を隠す画像であるか否か、前記撮像画像中で所定の閾値よりも大きく動く画像であるか否か及び未選択の画像であるか否かのうちの少なくとも１つを前記第２の被写体条件とする
ことを特徴とする請求項１又は２に記載の撮影機器。
【請求項４】
前記制御部は、前記第２画像取得部が取得した１つ以上の第２の画像に優先順位を付し、前記第２の被写体条件を満足する前記他の第２の画像のうちより優先順位が高い第２の画像を選択して前記記録制御部に動画記録させる
ことを特徴とする請求項１に記載の撮影機器。
【請求項５】
前記制御部は、前記記録中の第２の画像が前記第１の被写体条件を満足しなくなった場合には、前記第２の画像に付した優先順位に従って次に記録する前記他の第２の画像を選択し、前記優先順位では次に記録する前記他の第２の画像を選択することができない場合には、前記記録中の第２の画像を隠す画像であるか否か、前記撮像画像中で所定の閾値よりも大きく動く画像であるか否か及び未選択の画像であるか否かのうちの少なくとも１つを前記第２の被写体条件として次に記録する前記他の第２の画像を選択する
ことを特徴とする請求項１に記載の撮影機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−５８９２１（Ｐ２０１３−５８９２１Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９６２５７（Ｐ２０１１−１９６２５７）
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]