撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラム
【課題】 撮影機器を持って、移動しながら撮影しているシーンで、単に撮影者の様子が記録されるのではなく、撮影者が移動していく様子や離れた位置から撮影した様子を容易に表現することのできる撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラムを提供することを目的とする。
【解決手段】 移動方向と反対方向の撮影を複数回行う撮影機器１０において、上記複数回の撮影を順次行う撮像部５と、上記複数回の撮影結果のうち、前に撮影された画像を縮小部１ｃで縮小して、後に撮影された画像に合成可能かどうかを判定する合成可否判定部１ｆとを具備する。
【解決手段】 移動方向と反対方向の撮影を複数回行う撮影機器１０において、上記複数回の撮影を順次行う撮像部５と、上記複数回の撮影結果のうち、前に撮影された画像を縮小部１ｃで縮小して、後に撮影された画像に合成可能かどうかを判定する合成可否判定部１ｆとを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、撮影装置の制御方法、およびプログラムに関し、詳しくは、デジタルカメラやビデオカメラ等の撮影装置で撮影した動画または連写のデジタル画像を、スライドショーや動画で再生表示する撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタル画像の撮影や画像処理の技術が向上し、デジタルカメラやビデオカメラの境界がなくなり、大量の画像を扱うことが容易になってきている。また、従来、単に撮影する道具であったカメラ等の撮影装置は、画像信号がデジタル化され、パーソナルコンピュータ、テレビを初め、多くの機器と間でデータの受け渡しが、簡単になってきている。
【０００３】
このような様々な再生機器で再生される状態を想定すると、それぞれの再生機器に適した効果的再生が求められるが、従来の機器は撮影したものをそのまま再生するのが普通であった。このため、単調な画像になりがちで、多くの鑑賞者の前でテレビ等の再生装置によって再生するのが相応しいとは限らなかった。結果的には、撮影装置内に画像が入ったままで、撮影画像が鑑賞されないといった状況もあった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１４７０４６
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そこで、鑑賞時に様々な補助情報を利用して、画像表現を豊かにしようとする提案がある。特開２００４−１４７０４６では、第一のカメラで自分の顔を撮影したり、第二のカメラで自分が見ている風景を撮影したり、両者を同時に撮影することができる。また、第一のカメラと第二のカメラで撮影したそれぞれの画像を合成するような提案もある。
【０００６】
しかし、上述の特許文献によれば、第一のカメラで撮影された撮影者自身の画像は、カメラを持つ自分が単に写っているだけであり、変化や臨場感に乏しかった。
【０００７】
本発明は、このような事情を鑑みてなされたものであり、撮影機器を持って、移動しながら撮影しているシーンで、単に撮影者の様子が記録されるのではなく、撮影者が移動していく様子や離れた位置から撮影した様子を容易に表現することのできる撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため第１の発明に係わる撮影装置は、移動方向と反対方向の撮影を複数回行い、上記複数回の撮影を順次行う撮像部と、上記複数回の撮影結果のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定する合成可否判定部と、を具備することを特徴とする。
【０００９】
上記目的を達成するため第２の発明に係わる撮影装置は、上記撮像部が取得した撮影画面内の顔位置を検出する顔検出部と、上記顔検出部の検出結果に従って、上記撮影機器が適正な位置に構えられるように警告を行う警告部を具備することを特徴とする。
【００１０】
上記目的を達成するため第３の発明に係わる撮影装置は、上記警告部は、上記移動時に行われる撮影の間隔に従って、上記撮影機器の適正な位置を決定する。
【００１１】
上記目的を達成するため第４の発明に係わる撮影装置は、上記警告部は、上記縮小画像に従って、上記撮影機器の適正な位置を決定することを特徴とする。
【００１２】
上記目的を達成するため第５の発明に係わる撮影方法は、複数回の撮影を順次行い、上記複数回の撮影結果のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定し、移動方向と反対方向の撮影を複数回行うことを特徴とする。
【００１３】
上記目的を達成するため第６の発明に係わるプログラムは、複数回の撮影を順次行う撮影ステップと、上記複数回の撮影結果のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定する合成可否判定ステップと、をコンピュータに実行させることを特徴とする。
【００１４】
上記目的を達成するため第７の発明に係わる表示装置は、移動方向と反対方向の複数回のタイミングで撮影された撮影画像のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定する合成可否判定部と、を具備することを特徴とする。
【００１５】
上記目的を達成するため第８の発明に係わる画像合成表示方法は、移動方向と反対方向の複数回のタイミングで撮影された撮影画像のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、移動していく様子など、背面撮影に容易に変化をつけて表現することのできる撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明のカメラは、撮影者の画像取得のために、カメラ後方を撮像可能な撮像部を有し、レリーズ釦等の操作に応じて上記撮影の画像データ取得を開始し、これを記録媒体に仮記録する。この仮記録された撮影画像の中央部に撮影者の顔があり、前後の画像の背景部と合成可能かどうかを判定できるようになっている。この背景部の合成によって、上記撮影者が、あたかも背景画像の中で撮影者が移動しているような画像を得ることが出来る。
【００１８】
図１は本発明の第１実施形態に係わるカメラの構成を示すブロック図であり、カメラ１０は被写体を撮影し、画像を取得するデジタルカメラである。カメラ１０は、正面撮像部２の他に、背面撮影を行う背面撮像部５、撮影画像の記録部４、撮影画像などを表示する表示部８を有する。また、撮影された画像データを分類したり、撮影時の条件を決定したりするために、カメラに加わる加速度を検出する加速度センサ、日時、時刻の情報取得用に時計７が具備されている。また、撮像部２、５から得られた画像信号は、処理シーケンスを実行する制御部１内の信号処理部で画像処理されて、表示、記録が可能となる。この信号処理として、顔検出部１ａ、縮小部１ｃ、仮記録部１ｄ、合成部１ｅ、合成可否判定部（合成判定部）１ｆなどがある。また、警告部１ｂが制御部内に構成されていて、必要に応じて表示部８などに警告表示を行うなど、撮影者に対して警告を行う。
【００１９】
撮像部２や背面撮像部５は、撮影レンズと撮像素子からなるものを想定しており、被写体像を電気信号に変換するもので、信号処理部で処理され画像データとなる。撮像部２はカメラ１０の本体の前面に、背面撮像部５はその反対の背面に配置されていることを想定している。もちろん、これは回動するなど、配置位置を限定するものではない。二つの撮像部を用意するのではなく、一つの撮像部をカメラ１０の本体の前方と後方に回転可能としてもよい。この場合、撮像部が前方に向けられた際には主として被写体を、後方に向けられた際には主として撮影者の顔を撮影可能である。なお、背面の撮像部５の撮影レンズは、画角が狭いと撮影中の人物の一部しか撮影できないので、なるべく広い画角であることが好ましい。
【００２０】
信号処理部を有する制御部１は、記憶されているプログラムに従ってカメラ１０の全体制御を行うと共に、撮像部２、５から出力される画像信号を処理して得られた画像データをメモリーカードなどの記録部４に記録する。顔検出部１ａは、撮像部２、５からの撮影画像を入力し、この撮影画像の中に人物の顔が存在するか否かを判定し、人物の顔が存在した場合には、その位置や顔の大きさを検出する。
【００２１】
操作部６は、カメラ１０に設けられたレリーズ釦６ａ、ズーム釦等の操作部材である。十字キーやタッチパネルなどで、ユーザーは様々なモード設定が可能である。
【００２２】
レリーズ釦６ａは、図２（Ａ）に示すように、カメラ１０の本体上面に配置されており、レリーズ釦６ａが操作されると、カメラ１０は撮影を開始し、動画や連写モードの場合は、再度レリーズ釦が操作されると、撮影を停止する。
【００２３】
表示部８は、図２（ｂ）に示すように、カメラ１０の背面等に配置された液晶モニタ、有機ＥＬ等の表示装置を含み、撮像部からの画像や記録部４に記録された画像の再生表示、または警告のメッセージ表示等を行う。
【００２４】
画像処理部７は、撮像部２、５によって取得された画像信号の明るさや階調や色などを調整し、記録しやすいように圧縮し、所定のフォーマットにして、記録部４に記録する。このような画像処理には、画像のサイズを変更（リサイズ）するような処理も含まれ、縮小処理がこの発明では重要なので、ここでは縮小部１ｃを特に図中に記載している。
【００２５】
また、画像信号は、実際に記録するまでに仮記録部１ｄに仮記録してもよく、複数の画像をして記録、表示できるように画像合成部１ｅや合成判定部１ｆも信号処理の一環として、信号処理部を有する制御部１に内蔵している。
【００２６】
顔検出部１ａは、人物の顔パーツによって得られる画像特徴に従って、画像に含まれる人物の顔画像を検出するが、この検出結果などを考慮して合成や警告を行う。ちなみに、合成判定部１ｆが、合成がうまく行くかを判定した場合も必要に応じて警告を行う。
【００２７】
この画像合成部７によって生成された合成画像は、表示部８に表示されるが、撮影された後の画像を記録部４から読み出して利用し合成表示を行う場合、表示機器の発明としても本発明は利用可能である。
【００２８】
次に、本実施形態における動作について説明するが、まず図３を用いて、本発明の特徴である背面合成画像を撮影する時の方法を説明する。この撮影機器１０を用いると、図３のように、カメラ１０を構え、撮影者カメラ背面の表示部で撮影状況を確認しながら、撮影者１１が歩きながら撮影すると、前方に見えた被写体を撮影すると同時に、撮影者が自分の顔や背景をも記録することが出来る。
【００２９】
このように定期的に撮影したり動画で撮影したりすると、正面撮影部２による前方の撮影は移動に伴って画像が変化するが、背面撮像部５で得られた画像は、撮影者１１とカメラ１０の位置関係はカメラを構えた状態で決まり、ほとんど変化しない。
【００３０】
つまり、図３のように、撮影者が、撮影機器をホールディングしながら歩いている時、定期的に背面の撮影を行うと、図４（ａ）から（ｅ）のように示したような画像が得られる。撮影者の像は、構えている位置と顔の距離が大きく変わらないので、ほぼ同じ大きさで撮影されるのに対し、背景は次々に後方に過ぎ去っていくように変化していく。
【００３１】
このような画像を図５のように合成することによって、撮影者の画像を実際の撮影画像より遠くで撮影されたような表現の画像にすることが出来る。つまり、図５（ｂ）の画像の直前に撮影された画像、図５（ａ）の背景部分は、図のように（ｂ）の画像の一部であるから、図５（ｂ）の画像の相当する部分に、（ａ）の画像をはめ込んで、図５（ｃ）のように背景に接ぎ目のない一つの画像として表現することが出来る。この画像の人物部とその上方の画像部（図５（ｄ）参照）は、撮影者が自分で撮影したものであるにもかかわらず、あたかも撮影者から離れた位置の遠くから撮影された画像のように見える。それは、（ｂ）の撮影がなされた位置から、（ａ）の位置にいる人物を撮影したような表現に等しい。
【００３２】
このような合成を可能とするためには、（ａ）の画像が、（ｂ）の画像の人物部の頭部を覆い隠すような画像になっていることが好ましい。そうでないと、（ｃ）の画像の合成部から、（ｂ）画像の頭がはみ出て不自然になってしまう。
【００３３】
従って、この発明では、このような合成時の不自然さを防止するように、（ａ）と（ｂ）の画像の撮影間隔を適切に制御した。
【００３４】
このように、このような合成機能を有することによって、この撮影機器は、前方の画像の変化のみならず、後方の画像に変化をつけて画像再現が出来るので、例えば動画撮影後に、前後の画像を適宜切り換えて、飽きの来ない画像表現で鑑賞者を楽しませることが出来る。風景の中を人物が近づいてくるように、スライドショーや動画で再生することが可能となる。このような表現形式を採用することにより、画像に変化がつけられ、楽しく鑑賞することができる。
【００３５】
例えば、図５（ｄ）の画像を表示した後に、図５（ａ）の画像を表示すると、遠くから、撮影者が近づいて来たような表現が出来る。つまり、縮小合成した画像の合成を止めればよい。
【００３６】
ここでは、二枚しか合成していないが、（ｄ）の画像を縮小して、図４の（ｃ）に合成すれば、さらに遠くに撮影者がいるような表現が可能となる。これらの合成を重ね、一番縮小されている画像から、順次合成をやめて行けば、どんどん撮影者が近づいて来る。さらに、これをもっと細かく行えば動画的な表現が可能であることは言うまでもない。
【００３７】
次に、この合成表示時の不自然さを対策するために、撮影時に注意するべき点について説明する。
【００３８】
図６は、撮影機器１０と撮影者の顔１１の位置関係を上から見たように表わしたものである。この図で明らかなように、例えば、撮影機器１０の画角の半分の角度がΘであり、撮影機器１０から顔１１までの距離がＤ１である時、顔の幅がＷｆである場合、画面の幅Ｗ１は式１のように表現されるので、顔がそこに占める比率Ｒは、式２のように表わされる。
【００３９】
Ｗ１＝２・Ｄ１・ｔａｎΘ・・（式１）
Ｒ＝Ｗｆ／（２・Ｄ１・ｔａｎΘ）・・（式２）
例えば、Θが４５°であり、機器を構えた時の手の位置から、Ｄ１を４５ｃｍとし、顔の幅を１５ｃｍとすると、式２の結果は１／６となる。しかし、一般に、画面の縦方向は、ここで示した横方向より短く、反対に顔の縦方向の高さは幅方向より長いので、画面内縦方向の１／３近くを顔が占有することになる。従って、このような条件の場合、図５の（ａ）は（ｂ）の１／３程度で合成されることが好ましい。
【００４０】
ただし、画角の半分の角度Θを決める、撮影レンズの焦点距離などによっても、こうした条件は変わってくることが重要である。つまり、焦点距離が短い場合は、このΘが大きくなることによって、顔の占める割合Ｒが小さくなるので、背景の部分が増え、図５で示したような背景を繋げる合成はやりやすくなる。
【００４１】
また、前述のように、この撮影機器１０の画角の半分の角度がΘである場合、図７の矢印１２の方向に動かされると、最初に位置Ｐ１で撮影された時、２１の平面を考えると、Ｗ１の範囲が撮影され、これは前述の式１で表わされる。
【００４２】
カメラがＤ３だけ進んでＰ２の位置まで来ると、画角が同じだと、撮影される範囲は、平面２１までの距離Ｄ２によって、式３で示されるＷ２の範囲が撮影される。Ｗ１は、Ｗ２の中に含まれるが、その比率Ｗ１／Ｗ２は、式１、式２により式４のようになる。
【００４３】
Ｗ２＝２・Ｄ２・ｔａｎΘ・・（式３）
Ｗ１／Ｗ２＝Ｄ１／Ｄ２・・（式４）
つまり、図６で説明したような条件の場合、Ｄ１／Ｄ２は１／３となることが好ましく、Ｄ１が前述のように４５ｃｍだとすると、Ｄ２は４５ｃｍ×３＝１３５ｃｍとなる。
【００４４】
従って、Ｄ２以上離れて撮影すると、図５（ａ）を（ｂ）に重ねて合成する時、縮小率が大きくなりすぎて、（ｂ）の顔を隠すことが出来なくなってしまう。このように、このような画像合成では、顔の位置や大きさに注意が必要となる。
【００４５】
Ｄ２が１３５ｃｍだとすると、大人の歩幅の２歩分に相当するので、加速度センサ３の出力によって、歩数計のようにカメラに加わる振動を検知して、２歩に１回撮影するようなタイミングでの連写を行うような工夫をしてもよい。もちろん、これはΘが大きければ、式２によって、顔が画面内に占める割合が小さくなるので、さらに粗いタイミングでの連写でもよい。例えば、焦点距離が半分になり、画角が倍になるとＲは１／６となり、式４のＷ１／Ｗ２は１／６となり、Ｄ２は４５ｃｍ×６＝２７０ｃｍとなる。
【００４６】
例えば背面の撮像部の画角が変更できるシステムの場合、このような切り換えを行ってもよく、発明としてはこのような切り換えも包含しているが、ここでは単純化して、Θが４５°の場合で説明を続ける。
【００４７】
以上説明したような背面撮影部を使って、図５のような画面合成処理を行う撮影機器が、背面撮影時に実行するフローチャートを図８として示す。ここでは、特に、こうした合成を伴う撮影を「背面合成撮影」と呼んで説明する。実際には、正面の撮影も同時に行って、ある時は正面の撮影結果、ある時は背面の撮影結果を再生表示に利用して画像の変化を豊かにするが、ここでは単純化して背面撮影部での撮影に絞って説明する。ユーザーは、図３のような撮影を行うに際し、撮影機器のモード設定によって、「背面合成撮影モード」を選択してすでに撮影操作がレリーズＳＷ（図２の６ａ）の押し込みなどで始まっているものとする。背面画像は複数枚を利用して図５（ｃ）のような合成を行うので、この複数画像を管理するために、Ｓ１０１のステップでは、変数Ｎを初期化（０）する。撮影操作がレリーズＳＷ（図２の６ａ）の押し込みなどが終って終了していると、Ｓ１０２をＹに分岐してＳ１０９に行くが、まず、撮影中であるとして、Ｓ１０２をＮに分岐してのＳ１０３の説明を行う。
【００４８】
Ｓ１０３では、後で説明する背面合成候補画像作成のサブルーチンを実行する。ここでは、連続して画像を取得し、取得された画像のうち、合成表示に適当なもの（合成候補画像）を図１の１ｆの合成判定部が判定し、Ｉｍとして仮記録部（図１の１ｄ）に仮記録する。
【００４９】
こうして得られた背面の合成候補画像は、単独では合成に適切かどうか分からないので、まず、基本となる最初の一枚が得られたかどうかをＳ１０４で判定する。最初の１枚が取得されないと、次の画像との比較が出来ないので、Ｎに分岐、Ｓ１０３で候補画像が得られるのを待つ。
【００５０】
最初の候補画像が得られると、Ｓ１０４をＹに分岐し、Ｓ１０５において、図５（ａ）のような画像を（ｂ）の点線部に収まるように縮小し（図１の縮小部１ｃによる）て、次の画像の中央部と比較する。ここで、縮小の割合は、仮に１／３とする。
【００５１】
これは、図９のＳ１１４で説明するような条件で決められたもので、画角や、連写時に、次に撮影される画像やこのカメラの演算能力や消費電力などのバランスによって決まる。頻繁に画像を取得したり合成したりすると記録容量や消費電力的に無駄や無理を生じるので、ここでは、なるべく少ない撮影で繋げて行く例として図示している。図６、７で説明した数値を利用すると、１／３に縮小した画像を重ねて合成画像を作るのは、無理のない設計となる。これは、２歩進むごとに一枚撮影するペースであるが、さらに高速の処理回路や省エネ設計が出来れば、合成枚数を増加させても良い。撮影枚数を増加、合成枚数を増加させれば、動画的な表現に近づけられる。画角が広い場合は、撮影枚数を減らしての合成が可能となる。
【００５２】
図５（ｂ）のように、前の画像を縮小した結果が、次の画像の顔の部分の上に顔を隠した形で背景が繋がるように合成されたかどうかを撮影者の頭上の画像のコントラストやエッジが一致するかで判定する（合成判定部１ｆによる）。この合成判定部は、制御部１のプログラムが実行する機能であるが、ハードウェアで設計されてもよい。顔を基準にして、顔の上部（頭上）には、通常、天井とか風景の一部が写るので、カメラを持って、略その光軸方向に沿って移動するとその背景部分は変化していく。その位置変化や移動に対して図７に示したように撮影範囲が変わっていくので、縮小等の処理によって複数の画像の合成が可能となる。ただし、顔の部分や顔の下は体があり、これらの部分は変化しないため、縮小すると図５（ｃ）に明らかなように連続した合成がうまくいかない。このように複数画像を本発明の考え方で合成する場合、顔の下部は後から撮影した画像を、前に撮影した画像の縮小画像で隠すような合成が困難で有効活用できないので、顔画像は中央からなるべく下にある方が良い。ただし、あまり下になると、あごなどが欠けて不自然になるので、ほぼ画面中央に顔が来ることを前提に説明を続ける。
【００５３】
従って、Ｓ１０５では、人物の一部がない画像の背景部分（ここでは画面上半分）を比較して、Ｓ１０６で、それが一致したかどうかを判断する。このような判定は合成判定部（図１の１ｆ）が行う。一致した場合は、Ｓ１０５で比較したこれらの画像は用画像に使えるとして変数Ｎをインクリメント（Ｓ１０７）して、候補画像Ｉｍを記録画像Ｉｍ（Ｎ）とする。
【００５４】
撮影操作が終る（Ｓ１０２→Ｙ）まで、このような画像判定は繰り返され、縮小画像の背景部分が、次に得られた画像の中央部と比較されることによって、移動しながら撮影した画像であって、かつ合成が可能な画像が得られたことを、図１の合成判定部１ｆが判定していく。
【００５５】
つまり、移動方向と反対方向の撮影を複数回行う撮影機器において、背面撮像部が複数回の撮影を順次行い、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定する合成可否判定を行うことにこの発明の特徴がある。
【００５６】
もちろん、この縮小画像を次の画像の所定部分と比較して、合成が可能であるかどうかということは、撮影機器以外にも、例えば、表示機器にも応用できる考え方である。ここでは、画面の中央部と縮小画像の連続性（エッジの向きやコントラスト変化部、さらには色の分布などが画像のつなぎ目で連続であるかどうかで合成判定部１ｆが判定）を比較したが、手持ち撮影では、必ずしも、撮影者はまっすぐに進んだり、カメラを同じ位置に構えたりは出来ないので、Ｓ１０５で比較する画像部分は、厳密に中央ではなく、上下左右に画面の２０％程度ずれても良い。もちろん、この値も、画角が広くなれば余裕が大きくなる。
【００５７】
Ｓ１０９で、仮記録されていた画像は、記録部４に移され本記録される。この時、各画像の前後関係を管理するために撮影した日時、時刻や、カメラが正しく構えられて移動したかどうかを示す加速度情報なども、各画像と関連付けて記録する（Ｓ１１０）。
【００５８】
たとえば、加速度センサが三軸であれば、カメラの上下が正しく構えられていたら、重力加速度が、この上下方向にしかかからず、歩いている場合は、光軸方向に加速度が周期的にかかるなどして変化するので、こうした情報によって、背面合成用の撮影が行われ、合成に相応しい画像かどうかを記録することが出来る。もちろん、変数Ｎを各画像に対応付けて記録してもよい。このような情報によって、複数の画像を正しく合成して、図５のような合成で、人物の距離感を変更することが可能となる。
【００５９】
なお、図５（ｄ）のような画像は、さらに次の画像の上に縮小されて合成される。つまり、Ｎが小さい画像は、Ｎの大きい画像上に縮小して合成すれば、手持ち撮影であるにもかかわらず、遠くから撮影者を撮影したような画像が得られ、この遠さは合成回数によって変更することが可能である。
【００６０】
次に、図８のＳ１０３のサブルーチンを図９のフローチャートを使って説明する。
【００６１】
これは、前述のように、背面撮像部５で繰り返し撮影した結果が合成画像として使うのに相応しいかどうかを判定しながら候補画像化して仮記録していくためのプログラムである。
【００６２】
Ｓ１１１では、連続撮影を開始し、Ｓ１１２では、Ｓ１１１で得られた画像に顔のパーツによって生じる特有の陰影がないかを判定して顔検出を行う。
【００６３】
この顔位置が画面中心、または画面下部にないと、先に図８のＳ１０５で説明したように、本発明の特徴たる重ね合せによる画像合成がうまくいかないので、Ｓ１１３でその旨の判定を行う。重要なのは、撮影者上部の背景がしっかり写っていることである。この条件を満たさないと、制御部１がそれを判定して、警告部１ｂを介して表示画像や音声にて警告を行う（Ｓ１２１）。具体的には、「撮影者の顔が画面中央に来るようにカメラを構えて下さい」という文字を表示したり、得られた画像を枠と一緒に表示して、枠内に顔を入れるように指示したりしてもよい。
【００６４】
このように、顔が画面中央部に来ると、撮影者の上方に背景が写りこむ空間を確保するために、顔の大きさが画面の縦サイズの１／３以下になっているかを判定する（Ｓ１１４）。
【００６５】
もちろん、これは、撮影者の手の長さや顔のサイズなどで調整可能としてもよい。さらに、連写時に、次に撮影される画像がすぐに得られる場合は、顔の大きさは大きくても良い。何故なら、この画面内の顔の部分に、前の画像を縮小して重ねるので、背景の変化が小さい画像を合成する場合には背景を繋げやすいからである。ただし、あまり頻繁に画像を取得したり合成を行うと記録容量や消費電力的に無駄や無理を生じるので、ここでは、なるべく少ない撮影で繋げて行く例として図示している。図６、７で説明した数値を利用すると、２歩進むごとに一枚撮影するペースで、無理のない撮影や合成が可能となる。もちろん、さらに高速の処理回路や省エネ設計が出来れば、合成枚数を増加させても良い。撮影枚数を増加、合成枚数を増加させれば、動画的な表現に近づけられる。
【００６６】
また、背面撮像部の画角などによって変更可能である。画角が広いと背景の写る範囲が広がるので、さらに合成枚数を減らすことが出来る。この場合は、スライドショー的に、人物が近づいて来る表現になる。
【００６７】
このように、この条件を満たさないと、制御部１がそれを判定して、警告部１ｂを介して表示画像や音声にて警告を行う（Ｓ１２２）。具体的には、「撮影者の顔のサイズが適正になるようにカメラを構えて下さい」という文字を表示したり、得られた画像を画面１／３のサイズの枠と一緒に表示して、枠内に顔を入れるように指示したりしてもよい。
【００６８】
これらの警告を出しても、例えば１分以上条件を満たさない場合は、Ｓ１２３でそれを合成判定部１ｆが判定し、Ｓ１２４に分岐して合成不可の警告を警告部１ｂに出させる。
【００６９】
このようにして、Ｓ１１３、Ｓ１１４の条件を満たした画像を候補画像とするが、最初の画像かどうかによってＳ１１５を分岐して、仮記録時の分類を行う。最初の画像が基準になるので、これは別扱いにして、Ｓ１１７でＩｍ（０）とする。その他は、図８のフローで取捨選択され、選択されたものだけがＳ１０９で記録されるので、Ｓ１１６ではＩｍとして仮記録する。
【００７０】
Ｓ１１８では前述のように、撮影時刻情報や、カメラの姿勢や進行方向などを表わす加速度情報なども書き込んでおく。このような情報付きの画像なら、こうした複数画像の撮影はカメラで行って、ＰＣやＴＶなど表示機器が、カメラから送られて得られた複数の画像に従って、図５で説明したような画像加工を行って、表示に変化をつけるようにしてもよい。もちろん、カメラの表示部が、画像再生時にこうした合成表示を行っても良い。
【００７１】
つまり、カメラの表示部を含む、ＰＣやＴＶ、携帯電話などの表示機器も、移動方向と反対方向の複数回のタイミングで撮影された撮影画像を利用して、本発明の特徴である、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定することが出来る。この合成可否判定によって、単なる連続撮影画像に変化をつけて再生することが可能かどうかを決定することができる。
【００７２】
このような表示制御の例を図１０のフローチャートで説明する。
【００７３】
Ｓ１３１では、再生表示する画像を選択するステップである。これは、サムネイルから特定画像を手動で選択してもよいし、他の画像（例えば、正面の撮像部２で撮影されたもの）を再生すると、付随して、対応する背面画像が選択されるようにしてもよい。
【００７４】
Ｓ１３２やＳ１３３で判定される、この画像に直前、直後の画像があるかどうかや、移動撮影であるかどうかは、各画像に添付された図８のＳ１１０で付けられた補助情報（時刻や加速度情報、変数Ｎなど）から判断可能である。
【００７５】
このような画像がある場合、Ｓ１３４で前の画像（図４、図５の（ａ）に対応）を縮小し、その上部周辺部のパターンを後の画像（図４、図５の（ｂ）に対応）に重ねて一致度を調べ、連続的であれば、重ねた状態で合成する。これによって、図５（ｃ）のような画像が得られる。このうち、画面下方で一致しない部分を削除すれば、図５（ｄ）のような画像が得られ、手持ちであるにもかかわらず、遠くから撮影されたような表現の画像が得られる。この合成をやめていけば、だんだん近づいて来るような連続画像が得られる。
【００７６】
ここでＳ１３４の縮小は、前述のように、ここで、縮小の割合は、仮に１／３とする。
【００７７】
これは、図９のＳ１１４で説明するような条件で決められたもので、画角や、連写時に、次に撮影される画像やこのカメラの演算能力や消費電力などのバランスによって決まる。頻繁に画像を取得したり合成したりすると記録容量や消費電力的に無駄や無理を生じるので、ここでは、なるべく少ない撮影で繋げて行く例として図示している。図６、７で説明した数値を利用すると、１／３に縮小した画像を重ねて合成画像を作るのは、無理のない設計となる。これは、２歩進むごとに一枚撮影するペースであるが、さらに高速の処理回路や省エネ設計が出来れば、合成枚数を増加させても良い。撮影枚数を増加、合成枚数を増加させれば、動画的な表現に近づけられる。画角が広い場合は、撮影枚数を減らしての合成が可能となる。
【００７８】
なお、本実施形態において、前方撮影部２と後方撮影部５はカメラ１０に一体に設けられているが、これに限らず、１つの撮影部を有するカメラを２台用意し、この２台のカメラを連携するようにしても良い。この場合には、第１のカメラの撮影部を前方撮影部２として使用し、第２のカメラの撮影部を後方撮影部５として使用し、一方のカメラの制御部（制御部１）が、他方のカメラの撮影部を制御するように構成する。この場合の制御通信は、有線でも無線でも良い。
【００７９】
また、背面撮像部で撮影された画像の人物は「撮影者」として表現したが、例えば、子供の自転車のハンドルにこのカメラをつけて、その走る様子を合成するような用途にも使える。この場合は、撮影者は子供の親であって、子供は被写体になるが、説明を単純化するために背面撮像部に撮影される人物は撮影者と表現することとした。
【００８０】
以上、説明したように、本発明の実施形態によれば、画像データに基づいて、撮影位置の移動に伴って変化する背景画像の変化を判定し、この判定に基づいて、連続画像の大きさを変化させる画像処理を行ようにしている。このため、撮影者を遠くから撮影したような効果を得たり、順次、この合成画像の合成をやめて、移動していく様子を容易に表現したりすることができる。例えば、どこかの名所旧跡などを初めて訪れた時の感動などを、自分とその名所旧跡との位置関係、移動の様子などからも表現することができる。
【００８１】
なお、本発明の各実施形態においては、カメラ１０で撮影を行い、再生を楽しむ例を示したが、これに限らず、再生については、パーソナルコンピュータやテレビ等において楽しむことも可能である。パーソナルコンピュータやテレビ等で楽しむ場合には、カメラ１０で撮影した動画の画像データを格納して行えば良い。
【００８２】
また、本発明の各実施形態においては、カメラ１０は連写で撮影し、再生していたが、ビデオカメラのように、動画撮影の各コマに適用し、動画としての再生表示機能をもたせても良いことは勿論である。
【００８３】
さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【００８４】
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００８５】
【図１】本発明に係わる撮影機器の構成を示すブロック図である。
【図２】本発明に係わる撮影機器の外観図を示し、（ａ）は正面からみた外観斜視図であり、（ｂ）は背面からみた外観斜視図である。
【図３】本発明の撮影方法を示す図である。
【図４】本発明の撮影機器の背面撮影部で得られた連続画像を示した図である。
【図５】本発明の撮影機器の背面撮影部で得られた連続画像を加工する時の説明図である。
【図６】本発明の撮影機器と撮影者の位置関係を、撮影画角と共に説明するための図である。
【図７】本発明の撮影機器を持って移動させながら撮影する時の撮影範囲の変化を説明するための図である。
【図８】本発明の撮影機器が背面撮影時に実行するフローチャート例である。
【図９】本発明の撮影機器が背面撮影時に実行するフローのサブルーチンを示したフローチャート例である。
【図１０】本発明の表示機器が合成表示時に実行するサブルーチンを示したフローチャートの例である。
【符号の説明】
【００８６】
１・・・信号処理、制御部、１ａ・・・顔検出部、１ｂ・・・警告部、１ｃ・・・画像縮小部、１ｄ・・・仮記録部、１ｅ・・・合成部、１ｆ・・・合成判定部、２・・・撮像部、３・・・加速度センサ、４・・・記録部、５・・・背面撮影部、６・・・操作部、８・・・表示部、１０・・・撮影機器、１１・・・撮影者
【技術分野】
【０００１】
本発明は、撮影装置、撮影装置の制御方法、およびプログラムに関し、詳しくは、デジタルカメラやビデオカメラ等の撮影装置で撮影した動画または連写のデジタル画像を、スライドショーや動画で再生表示する撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタル画像の撮影や画像処理の技術が向上し、デジタルカメラやビデオカメラの境界がなくなり、大量の画像を扱うことが容易になってきている。また、従来、単に撮影する道具であったカメラ等の撮影装置は、画像信号がデジタル化され、パーソナルコンピュータ、テレビを初め、多くの機器と間でデータの受け渡しが、簡単になってきている。
【０００３】
このような様々な再生機器で再生される状態を想定すると、それぞれの再生機器に適した効果的再生が求められるが、従来の機器は撮影したものをそのまま再生するのが普通であった。このため、単調な画像になりがちで、多くの鑑賞者の前でテレビ等の再生装置によって再生するのが相応しいとは限らなかった。結果的には、撮影装置内に画像が入ったままで、撮影画像が鑑賞されないといった状況もあった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１４７０４６
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そこで、鑑賞時に様々な補助情報を利用して、画像表現を豊かにしようとする提案がある。特開２００４−１４７０４６では、第一のカメラで自分の顔を撮影したり、第二のカメラで自分が見ている風景を撮影したり、両者を同時に撮影することができる。また、第一のカメラと第二のカメラで撮影したそれぞれの画像を合成するような提案もある。
【０００６】
しかし、上述の特許文献によれば、第一のカメラで撮影された撮影者自身の画像は、カメラを持つ自分が単に写っているだけであり、変化や臨場感に乏しかった。
【０００７】
本発明は、このような事情を鑑みてなされたものであり、撮影機器を持って、移動しながら撮影しているシーンで、単に撮影者の様子が記録されるのではなく、撮影者が移動していく様子や離れた位置から撮影した様子を容易に表現することのできる撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため第１の発明に係わる撮影装置は、移動方向と反対方向の撮影を複数回行い、上記複数回の撮影を順次行う撮像部と、上記複数回の撮影結果のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定する合成可否判定部と、を具備することを特徴とする。
【０００９】
上記目的を達成するため第２の発明に係わる撮影装置は、上記撮像部が取得した撮影画面内の顔位置を検出する顔検出部と、上記顔検出部の検出結果に従って、上記撮影機器が適正な位置に構えられるように警告を行う警告部を具備することを特徴とする。
【００１０】
上記目的を達成するため第３の発明に係わる撮影装置は、上記警告部は、上記移動時に行われる撮影の間隔に従って、上記撮影機器の適正な位置を決定する。
【００１１】
上記目的を達成するため第４の発明に係わる撮影装置は、上記警告部は、上記縮小画像に従って、上記撮影機器の適正な位置を決定することを特徴とする。
【００１２】
上記目的を達成するため第５の発明に係わる撮影方法は、複数回の撮影を順次行い、上記複数回の撮影結果のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定し、移動方向と反対方向の撮影を複数回行うことを特徴とする。
【００１３】
上記目的を達成するため第６の発明に係わるプログラムは、複数回の撮影を順次行う撮影ステップと、上記複数回の撮影結果のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定する合成可否判定ステップと、をコンピュータに実行させることを特徴とする。
【００１４】
上記目的を達成するため第７の発明に係わる表示装置は、移動方向と反対方向の複数回のタイミングで撮影された撮影画像のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定する合成可否判定部と、を具備することを特徴とする。
【００１５】
上記目的を達成するため第８の発明に係わる画像合成表示方法は、移動方向と反対方向の複数回のタイミングで撮影された撮影画像のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、移動していく様子など、背面撮影に容易に変化をつけて表現することのできる撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明のカメラは、撮影者の画像取得のために、カメラ後方を撮像可能な撮像部を有し、レリーズ釦等の操作に応じて上記撮影の画像データ取得を開始し、これを記録媒体に仮記録する。この仮記録された撮影画像の中央部に撮影者の顔があり、前後の画像の背景部と合成可能かどうかを判定できるようになっている。この背景部の合成によって、上記撮影者が、あたかも背景画像の中で撮影者が移動しているような画像を得ることが出来る。
【００１８】
図１は本発明の第１実施形態に係わるカメラの構成を示すブロック図であり、カメラ１０は被写体を撮影し、画像を取得するデジタルカメラである。カメラ１０は、正面撮像部２の他に、背面撮影を行う背面撮像部５、撮影画像の記録部４、撮影画像などを表示する表示部８を有する。また、撮影された画像データを分類したり、撮影時の条件を決定したりするために、カメラに加わる加速度を検出する加速度センサ、日時、時刻の情報取得用に時計７が具備されている。また、撮像部２、５から得られた画像信号は、処理シーケンスを実行する制御部１内の信号処理部で画像処理されて、表示、記録が可能となる。この信号処理として、顔検出部１ａ、縮小部１ｃ、仮記録部１ｄ、合成部１ｅ、合成可否判定部（合成判定部）１ｆなどがある。また、警告部１ｂが制御部内に構成されていて、必要に応じて表示部８などに警告表示を行うなど、撮影者に対して警告を行う。
【００１９】
撮像部２や背面撮像部５は、撮影レンズと撮像素子からなるものを想定しており、被写体像を電気信号に変換するもので、信号処理部で処理され画像データとなる。撮像部２はカメラ１０の本体の前面に、背面撮像部５はその反対の背面に配置されていることを想定している。もちろん、これは回動するなど、配置位置を限定するものではない。二つの撮像部を用意するのではなく、一つの撮像部をカメラ１０の本体の前方と後方に回転可能としてもよい。この場合、撮像部が前方に向けられた際には主として被写体を、後方に向けられた際には主として撮影者の顔を撮影可能である。なお、背面の撮像部５の撮影レンズは、画角が狭いと撮影中の人物の一部しか撮影できないので、なるべく広い画角であることが好ましい。
【００２０】
信号処理部を有する制御部１は、記憶されているプログラムに従ってカメラ１０の全体制御を行うと共に、撮像部２、５から出力される画像信号を処理して得られた画像データをメモリーカードなどの記録部４に記録する。顔検出部１ａは、撮像部２、５からの撮影画像を入力し、この撮影画像の中に人物の顔が存在するか否かを判定し、人物の顔が存在した場合には、その位置や顔の大きさを検出する。
【００２１】
操作部６は、カメラ１０に設けられたレリーズ釦６ａ、ズーム釦等の操作部材である。十字キーやタッチパネルなどで、ユーザーは様々なモード設定が可能である。
【００２２】
レリーズ釦６ａは、図２（Ａ）に示すように、カメラ１０の本体上面に配置されており、レリーズ釦６ａが操作されると、カメラ１０は撮影を開始し、動画や連写モードの場合は、再度レリーズ釦が操作されると、撮影を停止する。
【００２３】
表示部８は、図２（ｂ）に示すように、カメラ１０の背面等に配置された液晶モニタ、有機ＥＬ等の表示装置を含み、撮像部からの画像や記録部４に記録された画像の再生表示、または警告のメッセージ表示等を行う。
【００２４】
画像処理部７は、撮像部２、５によって取得された画像信号の明るさや階調や色などを調整し、記録しやすいように圧縮し、所定のフォーマットにして、記録部４に記録する。このような画像処理には、画像のサイズを変更（リサイズ）するような処理も含まれ、縮小処理がこの発明では重要なので、ここでは縮小部１ｃを特に図中に記載している。
【００２５】
また、画像信号は、実際に記録するまでに仮記録部１ｄに仮記録してもよく、複数の画像をして記録、表示できるように画像合成部１ｅや合成判定部１ｆも信号処理の一環として、信号処理部を有する制御部１に内蔵している。
【００２６】
顔検出部１ａは、人物の顔パーツによって得られる画像特徴に従って、画像に含まれる人物の顔画像を検出するが、この検出結果などを考慮して合成や警告を行う。ちなみに、合成判定部１ｆが、合成がうまく行くかを判定した場合も必要に応じて警告を行う。
【００２７】
この画像合成部７によって生成された合成画像は、表示部８に表示されるが、撮影された後の画像を記録部４から読み出して利用し合成表示を行う場合、表示機器の発明としても本発明は利用可能である。
【００２８】
次に、本実施形態における動作について説明するが、まず図３を用いて、本発明の特徴である背面合成画像を撮影する時の方法を説明する。この撮影機器１０を用いると、図３のように、カメラ１０を構え、撮影者カメラ背面の表示部で撮影状況を確認しながら、撮影者１１が歩きながら撮影すると、前方に見えた被写体を撮影すると同時に、撮影者が自分の顔や背景をも記録することが出来る。
【００２９】
このように定期的に撮影したり動画で撮影したりすると、正面撮影部２による前方の撮影は移動に伴って画像が変化するが、背面撮像部５で得られた画像は、撮影者１１とカメラ１０の位置関係はカメラを構えた状態で決まり、ほとんど変化しない。
【００３０】
つまり、図３のように、撮影者が、撮影機器をホールディングしながら歩いている時、定期的に背面の撮影を行うと、図４（ａ）から（ｅ）のように示したような画像が得られる。撮影者の像は、構えている位置と顔の距離が大きく変わらないので、ほぼ同じ大きさで撮影されるのに対し、背景は次々に後方に過ぎ去っていくように変化していく。
【００３１】
このような画像を図５のように合成することによって、撮影者の画像を実際の撮影画像より遠くで撮影されたような表現の画像にすることが出来る。つまり、図５（ｂ）の画像の直前に撮影された画像、図５（ａ）の背景部分は、図のように（ｂ）の画像の一部であるから、図５（ｂ）の画像の相当する部分に、（ａ）の画像をはめ込んで、図５（ｃ）のように背景に接ぎ目のない一つの画像として表現することが出来る。この画像の人物部とその上方の画像部（図５（ｄ）参照）は、撮影者が自分で撮影したものであるにもかかわらず、あたかも撮影者から離れた位置の遠くから撮影された画像のように見える。それは、（ｂ）の撮影がなされた位置から、（ａ）の位置にいる人物を撮影したような表現に等しい。
【００３２】
このような合成を可能とするためには、（ａ）の画像が、（ｂ）の画像の人物部の頭部を覆い隠すような画像になっていることが好ましい。そうでないと、（ｃ）の画像の合成部から、（ｂ）画像の頭がはみ出て不自然になってしまう。
【００３３】
従って、この発明では、このような合成時の不自然さを防止するように、（ａ）と（ｂ）の画像の撮影間隔を適切に制御した。
【００３４】
このように、このような合成機能を有することによって、この撮影機器は、前方の画像の変化のみならず、後方の画像に変化をつけて画像再現が出来るので、例えば動画撮影後に、前後の画像を適宜切り換えて、飽きの来ない画像表現で鑑賞者を楽しませることが出来る。風景の中を人物が近づいてくるように、スライドショーや動画で再生することが可能となる。このような表現形式を採用することにより、画像に変化がつけられ、楽しく鑑賞することができる。
【００３５】
例えば、図５（ｄ）の画像を表示した後に、図５（ａ）の画像を表示すると、遠くから、撮影者が近づいて来たような表現が出来る。つまり、縮小合成した画像の合成を止めればよい。
【００３６】
ここでは、二枚しか合成していないが、（ｄ）の画像を縮小して、図４の（ｃ）に合成すれば、さらに遠くに撮影者がいるような表現が可能となる。これらの合成を重ね、一番縮小されている画像から、順次合成をやめて行けば、どんどん撮影者が近づいて来る。さらに、これをもっと細かく行えば動画的な表現が可能であることは言うまでもない。
【００３７】
次に、この合成表示時の不自然さを対策するために、撮影時に注意するべき点について説明する。
【００３８】
図６は、撮影機器１０と撮影者の顔１１の位置関係を上から見たように表わしたものである。この図で明らかなように、例えば、撮影機器１０の画角の半分の角度がΘであり、撮影機器１０から顔１１までの距離がＤ１である時、顔の幅がＷｆである場合、画面の幅Ｗ１は式１のように表現されるので、顔がそこに占める比率Ｒは、式２のように表わされる。
【００３９】
Ｗ１＝２・Ｄ１・ｔａｎΘ・・（式１）
Ｒ＝Ｗｆ／（２・Ｄ１・ｔａｎΘ）・・（式２）
例えば、Θが４５°であり、機器を構えた時の手の位置から、Ｄ１を４５ｃｍとし、顔の幅を１５ｃｍとすると、式２の結果は１／６となる。しかし、一般に、画面の縦方向は、ここで示した横方向より短く、反対に顔の縦方向の高さは幅方向より長いので、画面内縦方向の１／３近くを顔が占有することになる。従って、このような条件の場合、図５の（ａ）は（ｂ）の１／３程度で合成されることが好ましい。
【００４０】
ただし、画角の半分の角度Θを決める、撮影レンズの焦点距離などによっても、こうした条件は変わってくることが重要である。つまり、焦点距離が短い場合は、このΘが大きくなることによって、顔の占める割合Ｒが小さくなるので、背景の部分が増え、図５で示したような背景を繋げる合成はやりやすくなる。
【００４１】
また、前述のように、この撮影機器１０の画角の半分の角度がΘである場合、図７の矢印１２の方向に動かされると、最初に位置Ｐ１で撮影された時、２１の平面を考えると、Ｗ１の範囲が撮影され、これは前述の式１で表わされる。
【００４２】
カメラがＤ３だけ進んでＰ２の位置まで来ると、画角が同じだと、撮影される範囲は、平面２１までの距離Ｄ２によって、式３で示されるＷ２の範囲が撮影される。Ｗ１は、Ｗ２の中に含まれるが、その比率Ｗ１／Ｗ２は、式１、式２により式４のようになる。
【００４３】
Ｗ２＝２・Ｄ２・ｔａｎΘ・・（式３）
Ｗ１／Ｗ２＝Ｄ１／Ｄ２・・（式４）
つまり、図６で説明したような条件の場合、Ｄ１／Ｄ２は１／３となることが好ましく、Ｄ１が前述のように４５ｃｍだとすると、Ｄ２は４５ｃｍ×３＝１３５ｃｍとなる。
【００４４】
従って、Ｄ２以上離れて撮影すると、図５（ａ）を（ｂ）に重ねて合成する時、縮小率が大きくなりすぎて、（ｂ）の顔を隠すことが出来なくなってしまう。このように、このような画像合成では、顔の位置や大きさに注意が必要となる。
【００４５】
Ｄ２が１３５ｃｍだとすると、大人の歩幅の２歩分に相当するので、加速度センサ３の出力によって、歩数計のようにカメラに加わる振動を検知して、２歩に１回撮影するようなタイミングでの連写を行うような工夫をしてもよい。もちろん、これはΘが大きければ、式２によって、顔が画面内に占める割合が小さくなるので、さらに粗いタイミングでの連写でもよい。例えば、焦点距離が半分になり、画角が倍になるとＲは１／６となり、式４のＷ１／Ｗ２は１／６となり、Ｄ２は４５ｃｍ×６＝２７０ｃｍとなる。
【００４６】
例えば背面の撮像部の画角が変更できるシステムの場合、このような切り換えを行ってもよく、発明としてはこのような切り換えも包含しているが、ここでは単純化して、Θが４５°の場合で説明を続ける。
【００４７】
以上説明したような背面撮影部を使って、図５のような画面合成処理を行う撮影機器が、背面撮影時に実行するフローチャートを図８として示す。ここでは、特に、こうした合成を伴う撮影を「背面合成撮影」と呼んで説明する。実際には、正面の撮影も同時に行って、ある時は正面の撮影結果、ある時は背面の撮影結果を再生表示に利用して画像の変化を豊かにするが、ここでは単純化して背面撮影部での撮影に絞って説明する。ユーザーは、図３のような撮影を行うに際し、撮影機器のモード設定によって、「背面合成撮影モード」を選択してすでに撮影操作がレリーズＳＷ（図２の６ａ）の押し込みなどで始まっているものとする。背面画像は複数枚を利用して図５（ｃ）のような合成を行うので、この複数画像を管理するために、Ｓ１０１のステップでは、変数Ｎを初期化（０）する。撮影操作がレリーズＳＷ（図２の６ａ）の押し込みなどが終って終了していると、Ｓ１０２をＹに分岐してＳ１０９に行くが、まず、撮影中であるとして、Ｓ１０２をＮに分岐してのＳ１０３の説明を行う。
【００４８】
Ｓ１０３では、後で説明する背面合成候補画像作成のサブルーチンを実行する。ここでは、連続して画像を取得し、取得された画像のうち、合成表示に適当なもの（合成候補画像）を図１の１ｆの合成判定部が判定し、Ｉｍとして仮記録部（図１の１ｄ）に仮記録する。
【００４９】
こうして得られた背面の合成候補画像は、単独では合成に適切かどうか分からないので、まず、基本となる最初の一枚が得られたかどうかをＳ１０４で判定する。最初の１枚が取得されないと、次の画像との比較が出来ないので、Ｎに分岐、Ｓ１０３で候補画像が得られるのを待つ。
【００５０】
最初の候補画像が得られると、Ｓ１０４をＹに分岐し、Ｓ１０５において、図５（ａ）のような画像を（ｂ）の点線部に収まるように縮小し（図１の縮小部１ｃによる）て、次の画像の中央部と比較する。ここで、縮小の割合は、仮に１／３とする。
【００５１】
これは、図９のＳ１１４で説明するような条件で決められたもので、画角や、連写時に、次に撮影される画像やこのカメラの演算能力や消費電力などのバランスによって決まる。頻繁に画像を取得したり合成したりすると記録容量や消費電力的に無駄や無理を生じるので、ここでは、なるべく少ない撮影で繋げて行く例として図示している。図６、７で説明した数値を利用すると、１／３に縮小した画像を重ねて合成画像を作るのは、無理のない設計となる。これは、２歩進むごとに一枚撮影するペースであるが、さらに高速の処理回路や省エネ設計が出来れば、合成枚数を増加させても良い。撮影枚数を増加、合成枚数を増加させれば、動画的な表現に近づけられる。画角が広い場合は、撮影枚数を減らしての合成が可能となる。
【００５２】
図５（ｂ）のように、前の画像を縮小した結果が、次の画像の顔の部分の上に顔を隠した形で背景が繋がるように合成されたかどうかを撮影者の頭上の画像のコントラストやエッジが一致するかで判定する（合成判定部１ｆによる）。この合成判定部は、制御部１のプログラムが実行する機能であるが、ハードウェアで設計されてもよい。顔を基準にして、顔の上部（頭上）には、通常、天井とか風景の一部が写るので、カメラを持って、略その光軸方向に沿って移動するとその背景部分は変化していく。その位置変化や移動に対して図７に示したように撮影範囲が変わっていくので、縮小等の処理によって複数の画像の合成が可能となる。ただし、顔の部分や顔の下は体があり、これらの部分は変化しないため、縮小すると図５（ｃ）に明らかなように連続した合成がうまくいかない。このように複数画像を本発明の考え方で合成する場合、顔の下部は後から撮影した画像を、前に撮影した画像の縮小画像で隠すような合成が困難で有効活用できないので、顔画像は中央からなるべく下にある方が良い。ただし、あまり下になると、あごなどが欠けて不自然になるので、ほぼ画面中央に顔が来ることを前提に説明を続ける。
【００５３】
従って、Ｓ１０５では、人物の一部がない画像の背景部分（ここでは画面上半分）を比較して、Ｓ１０６で、それが一致したかどうかを判断する。このような判定は合成判定部（図１の１ｆ）が行う。一致した場合は、Ｓ１０５で比較したこれらの画像は用画像に使えるとして変数Ｎをインクリメント（Ｓ１０７）して、候補画像Ｉｍを記録画像Ｉｍ（Ｎ）とする。
【００５４】
撮影操作が終る（Ｓ１０２→Ｙ）まで、このような画像判定は繰り返され、縮小画像の背景部分が、次に得られた画像の中央部と比較されることによって、移動しながら撮影した画像であって、かつ合成が可能な画像が得られたことを、図１の合成判定部１ｆが判定していく。
【００５５】
つまり、移動方向と反対方向の撮影を複数回行う撮影機器において、背面撮像部が複数回の撮影を順次行い、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定する合成可否判定を行うことにこの発明の特徴がある。
【００５６】
もちろん、この縮小画像を次の画像の所定部分と比較して、合成が可能であるかどうかということは、撮影機器以外にも、例えば、表示機器にも応用できる考え方である。ここでは、画面の中央部と縮小画像の連続性（エッジの向きやコントラスト変化部、さらには色の分布などが画像のつなぎ目で連続であるかどうかで合成判定部１ｆが判定）を比較したが、手持ち撮影では、必ずしも、撮影者はまっすぐに進んだり、カメラを同じ位置に構えたりは出来ないので、Ｓ１０５で比較する画像部分は、厳密に中央ではなく、上下左右に画面の２０％程度ずれても良い。もちろん、この値も、画角が広くなれば余裕が大きくなる。
【００５７】
Ｓ１０９で、仮記録されていた画像は、記録部４に移され本記録される。この時、各画像の前後関係を管理するために撮影した日時、時刻や、カメラが正しく構えられて移動したかどうかを示す加速度情報なども、各画像と関連付けて記録する（Ｓ１１０）。
【００５８】
たとえば、加速度センサが三軸であれば、カメラの上下が正しく構えられていたら、重力加速度が、この上下方向にしかかからず、歩いている場合は、光軸方向に加速度が周期的にかかるなどして変化するので、こうした情報によって、背面合成用の撮影が行われ、合成に相応しい画像かどうかを記録することが出来る。もちろん、変数Ｎを各画像に対応付けて記録してもよい。このような情報によって、複数の画像を正しく合成して、図５のような合成で、人物の距離感を変更することが可能となる。
【００５９】
なお、図５（ｄ）のような画像は、さらに次の画像の上に縮小されて合成される。つまり、Ｎが小さい画像は、Ｎの大きい画像上に縮小して合成すれば、手持ち撮影であるにもかかわらず、遠くから撮影者を撮影したような画像が得られ、この遠さは合成回数によって変更することが可能である。
【００６０】
次に、図８のＳ１０３のサブルーチンを図９のフローチャートを使って説明する。
【００６１】
これは、前述のように、背面撮像部５で繰り返し撮影した結果が合成画像として使うのに相応しいかどうかを判定しながら候補画像化して仮記録していくためのプログラムである。
【００６２】
Ｓ１１１では、連続撮影を開始し、Ｓ１１２では、Ｓ１１１で得られた画像に顔のパーツによって生じる特有の陰影がないかを判定して顔検出を行う。
【００６３】
この顔位置が画面中心、または画面下部にないと、先に図８のＳ１０５で説明したように、本発明の特徴たる重ね合せによる画像合成がうまくいかないので、Ｓ１１３でその旨の判定を行う。重要なのは、撮影者上部の背景がしっかり写っていることである。この条件を満たさないと、制御部１がそれを判定して、警告部１ｂを介して表示画像や音声にて警告を行う（Ｓ１２１）。具体的には、「撮影者の顔が画面中央に来るようにカメラを構えて下さい」という文字を表示したり、得られた画像を枠と一緒に表示して、枠内に顔を入れるように指示したりしてもよい。
【００６４】
このように、顔が画面中央部に来ると、撮影者の上方に背景が写りこむ空間を確保するために、顔の大きさが画面の縦サイズの１／３以下になっているかを判定する（Ｓ１１４）。
【００６５】
もちろん、これは、撮影者の手の長さや顔のサイズなどで調整可能としてもよい。さらに、連写時に、次に撮影される画像がすぐに得られる場合は、顔の大きさは大きくても良い。何故なら、この画面内の顔の部分に、前の画像を縮小して重ねるので、背景の変化が小さい画像を合成する場合には背景を繋げやすいからである。ただし、あまり頻繁に画像を取得したり合成を行うと記録容量や消費電力的に無駄や無理を生じるので、ここでは、なるべく少ない撮影で繋げて行く例として図示している。図６、７で説明した数値を利用すると、２歩進むごとに一枚撮影するペースで、無理のない撮影や合成が可能となる。もちろん、さらに高速の処理回路や省エネ設計が出来れば、合成枚数を増加させても良い。撮影枚数を増加、合成枚数を増加させれば、動画的な表現に近づけられる。
【００６６】
また、背面撮像部の画角などによって変更可能である。画角が広いと背景の写る範囲が広がるので、さらに合成枚数を減らすことが出来る。この場合は、スライドショー的に、人物が近づいて来る表現になる。
【００６７】
このように、この条件を満たさないと、制御部１がそれを判定して、警告部１ｂを介して表示画像や音声にて警告を行う（Ｓ１２２）。具体的には、「撮影者の顔のサイズが適正になるようにカメラを構えて下さい」という文字を表示したり、得られた画像を画面１／３のサイズの枠と一緒に表示して、枠内に顔を入れるように指示したりしてもよい。
【００６８】
これらの警告を出しても、例えば１分以上条件を満たさない場合は、Ｓ１２３でそれを合成判定部１ｆが判定し、Ｓ１２４に分岐して合成不可の警告を警告部１ｂに出させる。
【００６９】
このようにして、Ｓ１１３、Ｓ１１４の条件を満たした画像を候補画像とするが、最初の画像かどうかによってＳ１１５を分岐して、仮記録時の分類を行う。最初の画像が基準になるので、これは別扱いにして、Ｓ１１７でＩｍ（０）とする。その他は、図８のフローで取捨選択され、選択されたものだけがＳ１０９で記録されるので、Ｓ１１６ではＩｍとして仮記録する。
【００７０】
Ｓ１１８では前述のように、撮影時刻情報や、カメラの姿勢や進行方向などを表わす加速度情報なども書き込んでおく。このような情報付きの画像なら、こうした複数画像の撮影はカメラで行って、ＰＣやＴＶなど表示機器が、カメラから送られて得られた複数の画像に従って、図５で説明したような画像加工を行って、表示に変化をつけるようにしてもよい。もちろん、カメラの表示部が、画像再生時にこうした合成表示を行っても良い。
【００７１】
つまり、カメラの表示部を含む、ＰＣやＴＶ、携帯電話などの表示機器も、移動方向と反対方向の複数回のタイミングで撮影された撮影画像を利用して、本発明の特徴である、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定することが出来る。この合成可否判定によって、単なる連続撮影画像に変化をつけて再生することが可能かどうかを決定することができる。
【００７２】
このような表示制御の例を図１０のフローチャートで説明する。
【００７３】
Ｓ１３１では、再生表示する画像を選択するステップである。これは、サムネイルから特定画像を手動で選択してもよいし、他の画像（例えば、正面の撮像部２で撮影されたもの）を再生すると、付随して、対応する背面画像が選択されるようにしてもよい。
【００７４】
Ｓ１３２やＳ１３３で判定される、この画像に直前、直後の画像があるかどうかや、移動撮影であるかどうかは、各画像に添付された図８のＳ１１０で付けられた補助情報（時刻や加速度情報、変数Ｎなど）から判断可能である。
【００７５】
このような画像がある場合、Ｓ１３４で前の画像（図４、図５の（ａ）に対応）を縮小し、その上部周辺部のパターンを後の画像（図４、図５の（ｂ）に対応）に重ねて一致度を調べ、連続的であれば、重ねた状態で合成する。これによって、図５（ｃ）のような画像が得られる。このうち、画面下方で一致しない部分を削除すれば、図５（ｄ）のような画像が得られ、手持ちであるにもかかわらず、遠くから撮影されたような表現の画像が得られる。この合成をやめていけば、だんだん近づいて来るような連続画像が得られる。
【００７６】
ここでＳ１３４の縮小は、前述のように、ここで、縮小の割合は、仮に１／３とする。
【００７７】
これは、図９のＳ１１４で説明するような条件で決められたもので、画角や、連写時に、次に撮影される画像やこのカメラの演算能力や消費電力などのバランスによって決まる。頻繁に画像を取得したり合成したりすると記録容量や消費電力的に無駄や無理を生じるので、ここでは、なるべく少ない撮影で繋げて行く例として図示している。図６、７で説明した数値を利用すると、１／３に縮小した画像を重ねて合成画像を作るのは、無理のない設計となる。これは、２歩進むごとに一枚撮影するペースであるが、さらに高速の処理回路や省エネ設計が出来れば、合成枚数を増加させても良い。撮影枚数を増加、合成枚数を増加させれば、動画的な表現に近づけられる。画角が広い場合は、撮影枚数を減らしての合成が可能となる。
【００７８】
なお、本実施形態において、前方撮影部２と後方撮影部５はカメラ１０に一体に設けられているが、これに限らず、１つの撮影部を有するカメラを２台用意し、この２台のカメラを連携するようにしても良い。この場合には、第１のカメラの撮影部を前方撮影部２として使用し、第２のカメラの撮影部を後方撮影部５として使用し、一方のカメラの制御部（制御部１）が、他方のカメラの撮影部を制御するように構成する。この場合の制御通信は、有線でも無線でも良い。
【００７９】
また、背面撮像部で撮影された画像の人物は「撮影者」として表現したが、例えば、子供の自転車のハンドルにこのカメラをつけて、その走る様子を合成するような用途にも使える。この場合は、撮影者は子供の親であって、子供は被写体になるが、説明を単純化するために背面撮像部に撮影される人物は撮影者と表現することとした。
【００８０】
以上、説明したように、本発明の実施形態によれば、画像データに基づいて、撮影位置の移動に伴って変化する背景画像の変化を判定し、この判定に基づいて、連続画像の大きさを変化させる画像処理を行ようにしている。このため、撮影者を遠くから撮影したような効果を得たり、順次、この合成画像の合成をやめて、移動していく様子を容易に表現したりすることができる。例えば、どこかの名所旧跡などを初めて訪れた時の感動などを、自分とその名所旧跡との位置関係、移動の様子などからも表現することができる。
【００８１】
なお、本発明の各実施形態においては、カメラ１０で撮影を行い、再生を楽しむ例を示したが、これに限らず、再生については、パーソナルコンピュータやテレビ等において楽しむことも可能である。パーソナルコンピュータやテレビ等で楽しむ場合には、カメラ１０で撮影した動画の画像データを格納して行えば良い。
【００８２】
また、本発明の各実施形態においては、カメラ１０は連写で撮影し、再生していたが、ビデオカメラのように、動画撮影の各コマに適用し、動画としての再生表示機能をもたせても良いことは勿論である。
【００８３】
さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【００８４】
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００８５】
【図１】本発明に係わる撮影機器の構成を示すブロック図である。
【図２】本発明に係わる撮影機器の外観図を示し、（ａ）は正面からみた外観斜視図であり、（ｂ）は背面からみた外観斜視図である。
【図３】本発明の撮影方法を示す図である。
【図４】本発明の撮影機器の背面撮影部で得られた連続画像を示した図である。
【図５】本発明の撮影機器の背面撮影部で得られた連続画像を加工する時の説明図である。
【図６】本発明の撮影機器と撮影者の位置関係を、撮影画角と共に説明するための図である。
【図７】本発明の撮影機器を持って移動させながら撮影する時の撮影範囲の変化を説明するための図である。
【図８】本発明の撮影機器が背面撮影時に実行するフローチャート例である。
【図９】本発明の撮影機器が背面撮影時に実行するフローのサブルーチンを示したフローチャート例である。
【図１０】本発明の表示機器が合成表示時に実行するサブルーチンを示したフローチャートの例である。
【符号の説明】
【００８６】
１・・・信号処理、制御部、１ａ・・・顔検出部、１ｂ・・・警告部、１ｃ・・・画像縮小部、１ｄ・・・仮記録部、１ｅ・・・合成部、１ｆ・・・合成判定部、２・・・撮像部、３・・・加速度センサ、４・・・記録部、５・・・背面撮影部、６・・・操作部、８・・・表示部、１０・・・撮影機器、１１・・・撮影者
【特許請求の範囲】
【請求項１】
移動方向と反対方向の撮影を複数回行う撮影機器において、
上記複数回の撮影を順次行う撮像部と、
上記複数回の撮影結果のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定する合成可否判定部と、
を具備することを特徴とする撮影装置。
【請求項２】
上記撮像部が取得した撮影画面内の顔位置を検出する顔検出部と、
上記顔検出部の検出結果に従って、上記撮影機器が適正な位置に構えられるように警告を行う警告部を具備することを特徴とする請求項１に記載の撮影装置。
【請求項３】
上記警告部は、上記移動時に行われる撮影の間隔に従って、
上記撮影機器の適正な位置を決定することを特徴とする請求項２に記載の撮影装置。
【請求項４】
上記警告部は、上記縮小画像に従って、
上記撮影機器の適正な位置を決定することを特徴とする請求項２に記載の撮影装置。
【請求項５】
複数回の撮影を順次行い、
上記複数回の撮影結果のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定し、
移動方向と反対方向の撮影を複数回行う撮影方法。
【請求項６】
上記複数回の撮影を順次行う撮影ステップと、
上記複数回の撮影結果のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定する合成可否判定ステップと、
をコンピュータに実行させるためのプログラム。
【請求項７】
移動方向と反対方向の複数回のタイミングで撮影された撮影画像のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定する合成可否判定部と、
を具備することを特徴とする画像合成表示装置。
【請求項８】
移動方向と反対方向の複数回のタイミングで撮影された撮影画像のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定することを特徴とする画像合成表示方法。
【請求項１】
移動方向と反対方向の撮影を複数回行う撮影機器において、
上記複数回の撮影を順次行う撮像部と、
上記複数回の撮影結果のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定する合成可否判定部と、
を具備することを特徴とする撮影装置。
【請求項２】
上記撮像部が取得した撮影画面内の顔位置を検出する顔検出部と、
上記顔検出部の検出結果に従って、上記撮影機器が適正な位置に構えられるように警告を行う警告部を具備することを特徴とする請求項１に記載の撮影装置。
【請求項３】
上記警告部は、上記移動時に行われる撮影の間隔に従って、
上記撮影機器の適正な位置を決定することを特徴とする請求項２に記載の撮影装置。
【請求項４】
上記警告部は、上記縮小画像に従って、
上記撮影機器の適正な位置を決定することを特徴とする請求項２に記載の撮影装置。
【請求項５】
複数回の撮影を順次行い、
上記複数回の撮影結果のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定し、
移動方向と反対方向の撮影を複数回行う撮影方法。
【請求項６】
上記複数回の撮影を順次行う撮影ステップと、
上記複数回の撮影結果のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定する合成可否判定ステップと、
をコンピュータに実行させるためのプログラム。
【請求項７】
移動方向と反対方向の複数回のタイミングで撮影された撮影画像のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定する合成可否判定部と、
を具備することを特徴とする画像合成表示装置。
【請求項８】
移動方向と反対方向の複数回のタイミングで撮影された撮影画像のうち、前に撮影された画像を縮小して、後に撮影された画像に合成可能かどうかを判定することを特徴とする画像合成表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２４４２４５（Ｐ２０１２−２４４２４５Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１０９７２９（Ｐ２０１１−１０９７２９）
【出願日】平成２３年５月１６日（２０１１．５．１６）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１６日（２０１１．５．１６）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]