カメラ、画像再生装置、画像合成方法、およびプログラム
【課題】特別な広角レンズなどを用意せずとも、パノラマのような広がり感を表現すると共に、雄大な背景画像の中で、被写体の動きを表現できるカメラ、画像合成方法、およびプログラムを提供する。
【解決手段】撮像部３から動画を構成する各コマの画像データが第１バッファ５ａに出力されるたびに、第３バッファ５ｄには、部分背景画像と余白部が一時記憶され、合成部７ａに出力される。合成部７ａは、部分背景画像が出力されるたびに、部分背景画像の一部が余白部と重複するように、部分背景画像を貼り合わせ、背景画像を生成していく。
【解決手段】撮像部３から動画を構成する各コマの画像データが第１バッファ５ａに出力されるたびに、第３バッファ５ｄには、部分背景画像と余白部が一時記憶され、合成部７ａに出力される。合成部７ａは、部分背景画像が出力されるたびに、部分背景画像の一部が余白部と重複するように、部分背景画像を貼り合わせ、背景画像を生成していく。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ、画像再生装置、画像合成方法、およびプログラムに関し、詳しくは、動画からパノラマのような広がりのある画像を合成することのできるカメラ、画像合成方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタル画像の普及につれ、様々な画像加工技術が提供され、従来、考えられなかったような表現で画像を楽しむことが可能となってきている。カメラもデジタル画像化されたことによって、簡単に動画撮影を行うことができるようになった。また、画像のデジタル化に伴って電子ズームにより画像の一部を拡大表示することが容易になり、遠距離の被写体に対して活用されている。電子ズームは視野を狭める方向に使用されるが、反対に、撮影範囲を広げるための技術もカメラに搭載されつつある。
【０００３】
例えば、特許文献１には、分割画像を繋ぎ合わせて画像合成し、広い視野を再現するパノラマ画像を得る撮像装置が開示されている。
【特許文献１】特許第３８０４３１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述の特許文献１に開示の撮像装置は、撮影範囲を広げることができる。しかし、この撮像装置は、被写体が静止していることを前提としており、風景のような止まった画像にしか応用することができない。すなわち、特許文献１に開示の撮像装置は、動きのある被写体の撮影には適していなかった。
【課題を解決するための手段】
【０００５】
本発明は、このような事情を鑑みてなされたものであり、特別な広角レンズなどを用意せずとも、パノラマのような広がり感を表現すると共に、雄大な背景画像の中で、被写体の動きを表現できるカメラ、画像合成方法、およびプログラムを提供することを目的とする。
【０００６】
上記目的を達成するため第１の発明に係わるカメラは、連続撮影時に、撮影視野がどちらに移動しているかを検出する動き判定部と、先に撮影した画像コマと、後から撮影された画像コマを比較して、類似でない部分は抽出せず、上記類似でない部分の上記移動方向の後ろ方向の共通部画像を判定する共通部画像判定部と、上記先に撮影した画像コマの上記後ろ方向の隣接部と、上記共通部画像を合成した画像を得るための背景合成部と、を具備したことを特徴とする。
【０００７】
第２の発明に係わるカメラは、上記第１の発明において、上記隣接部を先に得られた共通部画像と重ねて合成するための糊代部とすることを特徴とする。
【０００８】
第３の発明に係わるカメラは、上記第１の発明において、上記カメラは、上記連続して撮影される画像コマを記録する連続画像記録部と、上記背景合成部で合成された画像を記録する背景画像記録部と、上記背景記録部と、上記連続画像記録部の画像を比較して合成した画像を順次表示する表示制御部と、をさらに具備することを特徴とする。
【０００９】
第４の発明に係わるカメラは、連続して取得される画像コマを記録する連続画像記録部と、上記連続撮影時で得られた共通部画像を合成した画像を得るための背景合成部と、上記背景合成結果を記録する背景画像記録部と、上記背景記録部と、上記連続画像記録部の画像を比較して、逐次類似画像部分を置き換えて合成した画像を順次表示する表示制御部と、を具備したことを特徴とする。
【００１０】
第５の発明に係わる画像再生装置は、視野を移動させながら連続して撮影された画像コマの先に撮影された画像コマと、後から撮影された画像コマを比較して、類似でない部分は抽出せず、上記類似でない部分の上記視野移動の後ろ方向の共通部画像を判定する共通部画像判定部と、上記先に取得した画像コマの上記後ろ方向の隣接部と、上記共通部画像を合成した画像を得るための背景合成部と、を具備したことを特徴とする。
【００１１】
第６の発明に係わる画像再生装置は、連続して取得される画像コマを記録する連続画像記録部と、上記連続撮影時で得られた共通部画像を合成した画像を得るための背景合成部と、上記背景合成結果を記録する背景画像記録部と、上記背景記録部と、上記連続画像記録部の画像を比較して、逐次類似画像部分を置き換えて合成した画像を順次表示する表示制御部と、を具備したことを特徴とする。
【００１２】
第７の発明に係わる画像合成方法は、連続撮影時に、撮影視野がどちらに移動しているかの方向を判定し、先に撮影した画像コマと、後から撮影された画像コマを比較して、類似でない部分は抽出せず、上記類似でない部分の上記移動方向の後ろ方向の共通部画像を判定し、上記先に撮影した画像コマの上記後ろ方向の隣接部と、上記共通部画像とを合成した画像を背景合成することを特徴とする。
【００１３】
第８の発明に係わる画像合成方法は、連続して取得される画像コマを記録し、上記連続撮影時に得られた共通部画像を合成して記録し、上記記録された合成画像と、上記連続画像記録部の画像を比較して、逐次置き換えて合成した画像を順次表示することを特徴とする。
【００１４】
第９の発明に係わるプログラムは、連続撮影時に、撮影視野がどちらに移動しているかの方向を判定するステップと、先に撮影した画像コマと、後から撮影された画像コマを比較して、類似でない部分は抽出せず、上記類似でない部分の上記移動方向の後ろ方向の共通部画像を判定するステップと、上記先に撮影した画像コマの上記後ろ方向の隣接部と、上記共通部画像を合成した画像を背景合成するステップと、を有することを特徴とする。
【００１５】
第１０の発明に係わるプログラムは、連続して取得される画像コマを記録するステップと、上記連続撮影時に得られた共通部画像を合成して記録するステップと、上記記録された合成画像と、上記連続画像記録部の画像を比較して、逐次置き換えて合成した画像を順次表示する表示ステップと、を具備したことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、特別な広角レンズなどを用意せずとも、パノラマのような広がり感を表現すると共に、雄大な背景画像の中で、被写体の動きを表現できるカメラ、画像合成方法、およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は、本発明の第１実施形態に係わるカメラ１０の構成を示すブロック図である。カメラ１０はデジタルカメラであり、静止画や動画を撮影可能である。カメラ１０の内部には、制御部１、操作部１ａ、レンズ２、撮像部３、動き判定部４、第１バッファ５ａ、第２バッファ５ｂ、類似抽出部５ｃ、第３バッファ５ｄ、余白部５ｅ、画像処理部６、合成部７ａ、動画合成部７ｂ、表示部８、動画記録部９ａ、背景記録部９ｂが設けられている。
【００１８】
制御部１は、ＣＰＵ（Central Processing Unit）等によって構成され、このカメラ１０の各部と接続され、内蔵されたプログラムに従って全体制御を行う。操作部１ａは、レリーズ釦や、メニュー釦、再生釦等の操作部材を含み、ユーザーが操作部１ａを操作すると、制御部１は操作に応じて各部に制御信号を出力する。
【００１９】
レンズ２は、被写体像を形成するための光学レンズである。撮像部３は撮像素子やその読出回路等を含み、レンズ２によって形成された被写体像を画像データに変換する。動き判定部４は、撮像部３からの画像データを入力し、カメラ１０の動き方向を検出する。すなわち、連続して得られる画像を比較し、いずれの方向にカメラ１０の撮影画面が動いているかを判定する。
【００２０】
第１バッファ５ａは、撮像部３からの画像データを一時的に記憶するための記憶部である。第２バッファ５ｂは、第１バッファ５ａに画像データが一時記憶される際に、その直前に第１バッファ５ａに一時記憶された画像データが転送され、一時記憶するための記憶部である。
【００２１】
類似抽出部５ｃは、第１バッファ５ａと第２バッファ５ｂにそれぞれ一時記憶されている画像データの端部側を比較し、類似している部分のみを抽出する（以下、類似している部分を部分背景画像と称す、（後述する図４における２５ａ、２５ｂ参照））。ここで、端部側は、動き判定部４によって検出されたカメラ１０の動き方向に対して後ろ側の端部側である。
【００２２】
余白部５ｅは、第１バッファ５ａに一時記憶されている画像データのうち端部側のみを、余白部（糊代部とも称する）として抽出する。なお、余白部の位置は、動き判定部４によって検出されたカメラ１０の動き方向と反対側に生成する。第３バッファ５ｄは、類似抽出部５ｃによって抽出された部分背景画像と、余白部５ｅによって抽出された余白部を、一時的に記憶する記憶部である。
【００２３】
合成部７ａは、第３バッファ５ｄに一時記憶された部分背景画像を、順次合成する。すなわち、撮像部３から動画を構成する各コマの画像データが第１バッファ５ａに出力されるたびに、第３バッファ５ｄには、部分背景画像と余白部が一時記憶され、合成部７ａに出力される。合成部７ａは、部分背景画像が出力されるたびに、部分背景画像の一部が余白部と重複するように、部分背景画像を貼り合わせ、背景画像を生成していく。すなわち、部分背景画像は、各コマの画像データが出力されるたびに、余白部と反対方向に次第に延び、パノラマ画像のような背景画像となる。
【００２４】
画像処理部６は、記憶容量を少なくするための画像圧縮等の画像処理を行う。合成部７ａによって生成された背景画像の画像データと、撮像部３から出力される動画を構成する各コマの画像データは、ＪＰＥＧ形式やモーションＪＰＥＧ形式等で画像処理部６によって圧縮等の画像処理がなされる。
【００２５】
背景記録部９ｂは、合成部７ａによって生成され、画像処理部６で圧縮処理された背景画像の画像データを記録する。動画記録部９ａは、撮像部３から出力された背景分離処理前の動画を記録する。動画記録部９ａおよび背景記録部９ｂは、別々に設けても良いが、同一の記録媒体において、異なるエリアを割り当てるようにしても良い。
【００２６】
動画合成部７ｂは、背景記録部９ｂに記録された背景画像に、動画記録部９ａに記録された動画を合成する。すなわち、動画合成部７ｂは、動画を構成する各コマごとに、背景画像と一致する部分を検出し、この検出された部分を動画に置き換えて、画像を合成する。これによって広大な風景の中を駆けていくような画像を合成できる。
【００２７】
表示部８は、液晶モニタ等の表示装置を含み、動画合成部７ｂによって合成された動画、または動画記録部９ａに記録された動画を再生表示する。なお、動画合成部７ｂによって合成された画像データを、表示部８に表示するだけではなく、この画像データを動画記録部９ａ等に記録するようにしても良い。
【００２８】
次に、本実施形態における合成された動画について、図２および図３を用いて説明する。図２は、山並み２２や木２３を背景に、疾走していく人物２４を動画で撮影した場合において、動画を構成する各コマ２１ａ〜２１ｄを示す。各コマ２１ａ〜２１ｄを順次、再生することにより動画として楽しむことができる。
【００２９】
図２のように、広い風景の中で人が走っていく様子や、鳥が飛んでいく様子や、乗り物などが走っていく様子を、追いかけながら撮影すると、一駒の中に、背景の広がりの全てを写しこむことはできない。複数のコマを撮影して、初めて広がりを描写することができる。
【００３０】
そこで、本実施形態においては、図３に示すように、動画を構成する複数のコマから広い背景画像２７を生成し、この背景画像２７の中で、被写体である人物２４が動いていく様子を表現するようにしている。すなわち、図３（ａ）は、人物２４が右側から左側に向かって走っている様子を示し、図３（ｂ）は、図３（ａ）の時点より後の時点で、人物２４が左側で走っている様子を示す。
【００３１】
このように、本実施形態においては、画面内を被写体が動いて行くものの、その動きの様子と共に、背景の広がりを再現できる。これまでのカメラでは、静止したパノラマや図２に示した各コマを同じ位置で順次再生することはできたが、動きも広がりをも表現することはできなかった。これに対し、本実施形態のカメラ１０では、動きと広がりも表現することができる。
【００３２】
次に、図４および図５を用いて背景画像２７の生成方法について説明する。図４（ａ）（ｂ）は連続して得られた撮影コマを示す。各撮影コマの被写体である人物２４の背面側には、背景として共通した領域が存在する。すなわち、撮影者は人物２４の動きを追っているので、人物２４の動き方向とは反対側に少しずれるが、背景は共通している。図４（ａ）（ｂ）における共通部分（部分背景画像）２５ａに斜線を施して示す。
【００３３】
この共通部分（部分背景画像）２５ａより中央よりは、人物２４の部分２４ａ（図では足の部分）が変化していることから、背景と人物２４が両画像（図４（ａ）と図４（ｂ））で異なり、類似抽出部５ｃはこの部分２４ａを類似検出しない。したがって、両画像が類似しているとして抽出されるのは、斜線を施した共通部分（部分背景画像）２５ａの部分であり、類似抽出部５ｃは、この短冊形状の共通部分（部分背景画像）２５ａのみを抽出する。なお、本実施形態においては、類似部分を抽出するにあたって、画面を横方向に８等分した短冊状の範囲について行っている。この分割数やその形状については、適宜、変更しても良い。
【００３４】
図４（ｃ）は、共通部分（部分背景画像）２５ａを取り出し、また図４（ａ）から余白部（糊代部）２６ａも取り出し、両方を合成した図である。余白部２６ａは、部分背景画像２５ａに隣接する部分であり、この部分は、次の部分背景画像２５ｂと合成する際の余白部（糊代）として利用する。
【００３５】
図４（ａ）と図４（ｂ）のコマを比較することにより、部分背景画像２５ａを抽出すると、次に、図４（ｄ）と図４（ｅ）のコマを比較することにより、部分背景画像２５ｂを抽出する。すなわち、図４（ｄ）は、図４（ｂ）と同じ画像であるが、次のコマと比較していることから、その抽出される共通部分（部分背景画像）の位置が図４（ｂ）の場合とは異なっている。部分背景画像２５ｂが部分背景画像２５ａと同様にして抽出され、また余白部（糊代部）２６ｂも抽出される。
【００３６】
このように、短冊状の余白部２６ａ、２６ｂ付きの部分背景画像２５ａ、２５ｂが抽出されると、次に、余白部２６ｂが、部分背景画像２５ａに重なるように、合成部７ａによって画像合成を行い、図４（ｇ）に示すような背景画像が得られる。以後、撮影部３から動画を構成する撮影コマの画像データが出力されるたびに、順次、撮影コマを比較し、部分背景画像等を生成し、合成することにより、図５（ａ）に示すような背景画像２７が合成される。この背景画像の合成の手順については、図７に示すフローチャートを用いて後述する。
【００３７】
次に、図５および図６を用いて、背景画像２７に動画の撮影コマを嵌め込み、動画を生成方法について説明する。前述したように背景画像２７が生成されると、次に、この背景画像２７の中で動画の各コマと類似する部分を、順次、検出し、この類似する部分の画像を背景画像２７に、順次、置き換えることにより、図３で示したようなパノラマ風景の中を人物２４が走っていくような動画を得る。
【００３８】
まず、図６に示す背景画像２７の中から、動画を構成する各コマ２１ｅの部分背景画像２５ｅと、一致する部分背景画像２５ｅ’を検出する。一致部分を検出すると、背景画像２７から嵌め込み画像の相当部分（部分背景画像２１ｅの幅Ｙ）２７ｅを消去し、この部分にコマ２１ｅを嵌め込む。動画を構成する各コマを、図５（ｂ）、（ｃ）に示すように、順次、ずらしていくことにより、人物２４が走っていくような動画を得ることができる。この動画の合成は、動画合成部７ｂによって行われる。また、動画の合成の手順については、図８に示すフローチャートを用いて後述する。
【００３９】
次に、図４および図５を用いて説明した背景画像合成について、図７に示すフローチャートを用いて説明する。この背景画像合成のフローは制御部１によって各部を制御することにより実行される。
【００４０】
背景画像合成のフローに入ると、まず、動き判定を行う（Ｓ１）。このステップでは、撮像部３によって取得された画像の周辺部の画像データに基づいて、動き判定部が動きベクトルを検出し、撮影視野がどちらに移動しているかを検出する。前述したように、本実施形態においては、カメラ１０の移動方向の後ろ方向に背景画像を合成しており、この動き方向に基づいて背景画像を合成する方向を決定する。
【００４１】
次に、第１バッファに画像を取得する（Ｓ２）。このステップでは、撮像部３からの画像データを第１バッファ５ａに一時記憶する。続いて、次画像を取得したかの判定を行う（Ｓ３）。撮像部３は所定時間間隔で画像データを取得しており、このステップでは、所定時間が経過し、動画像を構成する次の撮影コマの画像データの読出しを行って画像を取得したかの判定を行う。
【００４２】
ステップＳ３における判定の結果、次画像を取得した場合には、第２バッファに転送を行う（Ｓ４）。このステップでは、第１バッファ５ａに一時記憶されている画像データを第２バッファ５ｂに転送し、新たに取得した画像データを第１バッファ５ａに一時記憶する。一方、ステップＳ３における判定の結果、次画像を取得していなかった場合には、第１バッファ５ａと第２バッファ５ｂに一時記憶されている２つの画像を比較可能か否かの判定を行う（Ｓ１１）。このステップでは、両バッファに画像データが一時記憶されており、未だ比較を行っていないか否かの判定を行う。
【００４３】
ステップＳ１１における判定の結果、比較可能でなかった場合には、ステップＳ１８に進む。一方、判定の結果、比較可能であった場合には、第１バッファの後ろの部分と第２バッファの共通部分を抽出し、これを記録する（Ｓ１２）。このステップでは、図４を用いて説明したように、後から取得した画像（図４（ａ）に示す画像に対応し、第１バッファ５ａに一時記憶されている）の動き方向の後ろ側の部分（図４では横方向に８分割したうちの右端の短冊部）、から、先に取得した画像（図４（ｂ）に示す画像に対応し、第２バッファ５ｂに転送されている）と比較し、一致する部分背景画像２５ａを抽出し、これを第３バッファ５ｄに一時記憶する。
【００４４】
続いて、第２バッファから共通部の後ろを糊代として記憶する（Ｓ１３）。図４（ｃ）（ｆ）において説明したように、糊代部としての余白部２６ａ、２６ｂを、先に取得し第２バッファ５ｂに一時記憶されている画像データからコピーし、これを部分背景画像２５ａ、２５ｂと共に一時記憶する。
【００４５】
次に、合成可能か否かの判定を行う（Ｓ１４）。すなわち、ステップＳ１２、Ｓ１３において、背景画像合成用の部分背景画像２５ａ、２５ｂや糊代部２６ａ、２６ｂを一時記憶したので、これらのデータを用いて画像合成が可能か否かの判定である。この判定の結果、合成可能でなかった場合には、ステップＳ１８に進む。
【００４６】
一方、ステップＳ１４における判定の結果、合成可能であれば、次に、前の共通部（部分背景画像）と糊代部を重ねて画像合成を行う（Ｓ１５）。すなわち、図４（ｇ）に示すように、短冊状の部分背景画像２５ａ、２５ｂを糊代部２６ａ、２６ｂを用いて、背景画像２７を合成する。この合成は合成部７ａによって行われる。
【００４７】
次に、ステップＳ１５で合成した各コマと共通部（部分背景画像）を記録する（Ｓ１６）。各コマは動画を構成する画像データであり、これは動画記録部９ａに記録され、共通部（部分背景画像）が合成された背景画像２７は、背景記録部９ｂに記録される。
【００４８】
続いて、背景画像合成が終了か否かの判定を行う（Ｓ１８）。動画撮影を行いながら背景画像合成を行っている場合、この動画撮影が終了した場合に、背景画像合成の終了と判定する。なお、予め動画を撮影し、これを記録しておき、この記録された動画画像について、背景画像合成を行ってもよく、その場合には、予め記録されている動画のコマについて全て用いて背景画像合成が行われた場合に終了と判定される。
【００４９】
ステップＳ１８における判定の結果、終了でなかった場合には、ステップＳ３に戻り、次の画像を取得し、前述の動作を実行する。一方、判定の結果、終了であった場合には、カメラ１０の全体制御を行う元のフローに戻る。
【００５０】
次に、前述した背景画像に動画の画像を重ねて合成し、図３において示したような動画を生成するための動画表示のフローについて、図８に示すフローチャートを用いて説明する。
【００５１】
動画表示のフローに入ると、まず、合成した背景画像２７を表示する（Ｓ２１）。このステップでは、合成部７ａによって合成された図５（ａ）に示すような背景画像２７を表示部８に表示する。続いて、所定のタイミングであるか否かの判定を行う（Ｓ２２）。このステップでは、動画記録部９ａから読み出される動画の１コマごとのタイミングか否かを判定し、所定のタイミングでない場合には、所定のタイミングになるのを待つ。
【００５２】
ステップＳ２２における判定の結果、所定のタイミングになると、次に未合成があるか否かの判定を行う（Ｓ２３）。このステップでは、動画記録部９ａから動画を構成する撮影コマが全て読み出されたか否かの判定を行う。この判定の結果、未合成の画像がなかった場合には、リターンし、カメラ１０の全体制御を行うフローに戻る。
【００５３】
一方、ステップＳ２３における判定の結果、未合成の画像があった場合には、２画像の共通部を検出する（Ｓ２４）。このステップでは、図６において説明したように、動画の１コマ分に当たるコマ画像２１ｅの部分背景画像２５ｅに対応する背景画像２７の部分２５ｅ’を検出する。
【００５４】
続いて、図６で説明したように、部分背景画像（共通部）２５ｅの反対端までの幅Ｙを決め（Ｓ２５）、この幅Ｙの部分にあたる画像を背景画像２７から消去する（Ｓ２６）。そして、この消去された部分に動画のコマ画像２１ｅを嵌め込み、画像を合成する（Ｓ２７）。すなわち、これらのステップでは、部分背景画像（共通部）から嵌め込み画像の幅に相当する幅Ｙの部分を背景画像２７から消去し、その部分に撮影したままの画像（コマ画像２１ｅ）を嵌め込んで表示する。この合成された画像は所定時間の間、表示する。
【００５５】
次に、ステップＳ２７において合成された画像から、背景画像２７に背景を戻す（Ｓ２８）。背景を戻すと、ステップＳ２２に戻り、前述の動作を実行する。このように、ステップＳ２２〜Ｓ２８を繰り返し実行することにより、背景画像２７と動画のコマ画像とを順次、比較し、共通部を含む幅Ｙの背景画像２７について、画像を置き換えて順次、画像を得ることにより動画を合成している。
【００５６】
以上説明したように、本実施形態においては、１回の静止画の撮影では撮影できないようなパノラマ背景の中を、移動体が移動していく様子を動画で再現できる（図３参照）。
【００５７】
特に、大画面テレビなどは、広大な風景を表示するのに向いていることから、本実施形態に係わるカメラによって撮影された画像を記録しておき、大画面テレビに接続して再生表示するようにしても良い。また、一般的な動画撮影カメラで撮影した画像を、再生機器によって画像解析して、本実施形態と同様な再生表示を行っても良い。
【００５８】
次に、本発明の第２実施形態について、図９および図１０を用いて説明する。第１実施形態は、図３に示したように、予めパノラマ状の背景画像２７を生成し、その中で移動体が移動する様子を表示していた。第２実施形態では、移動体の動きに合わせて、図９に示すように、背景画像が延びていくようにしている。
【００５９】
すなわち、人物２４の移動に合わせ、図９（ａ）〜（ｃ）に示すように、背景画像２７ａ〜２７ｃを順次延ばしていく。このような表示方法は、移動体が移動した道程を表示するときに有効であり、移動した先に何があるか、最初は分からないというスリリングな効果を味わうことができる。
【００６０】
この第２実施形態の構成は、図１に示したものと同様であり、図７に示したフローチャートの代わりに、図１０に示す背景画像合成のフローチャートを実行する。
【００６１】
この背景画像合成のフローは、図７に示したフローと殆ど同じであり、ステップＳ１６における各コマ、共通部域記録に代えて、ステップＳ１７の第１バッファ画像合成を行っている。第１実施形態においては、全ての部分背景画像２５ａ、２５ｂを生成した後、これらを合成して、背景画像２７を生成した。しかし、第２実施形態においては、部分背景画像が生成される都度、そのときまでに生成された部分背景画像で合成するようにしている。
【００６２】
なお、ステップＳ１８における終了か否かの判定は、第１実施形態においては、全ての部分背景画像によって背景画像２７が生成されたかを判定していたが、第２実施形態においては、部分背景画像が生成されると一旦終了し、動画表示を行う。１コマ分の動画表示を行うと、背景画像合成に戻り、以後、動画表示と背景画像合成を繰り返す。
【００６３】
以上、説明したように、本発明の各実施形態によれば、連続して撮影される画像コマに基づいて背景画像を生成し、画像コマと背景画像が共通する部分を検出し、この共通部分に連続撮影された画像コマを、順次、置き換えて動画を合成している。このため、特別な広角レンズなどを用意せずとも、パノラマのような広がり感を表現すると共に、雄大な背景画像の中で、被写体の動きを表現することができる。すなわち、風景の広がりと、移動体の動きの様子を同時に表現した画像表示を可能とすることができる。
【００６４】
なお、本実施形態においては、カメラで撮影し、この撮影した画像を再生表示するようにしていた。しかし、これに限らず、カメラは撮影と動画記録だけとし、再生機器において、本実施形態のようにパラノラマ風の背景画像の中で、移動体が移動するように再生表示するようにしても良い。この場合には、記録された動画の画像データを順次読出し、第１バッファ５ａ、第２バッファ５ｂに一時記憶および転送を行い、この一時記憶した画像データを用いて本発明の実施形態と同様に処理すればよい。
【００６５】
また、動画としては、テレビや映画のような自然の動きのある画像のみならず、コマ撮り撮影や連写などの連続的に撮影される画像でも、勿論、本発明を適用することができる。
【００６６】
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、動画等の連続撮影機能を有するデジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画専用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも構わない。いずれにしても、連続して画像を取得することのできる撮影機器であれば、本発明を適用することができる。
【００６７】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００６８】
【図１】本発明の第１実施形態に係わるカメラの構成を示すブロック図である。
【図２】本発明の第１実施形態に係るカメラにおいて、動画撮影された画像の各コマの画像を示す図である。
【図３】本発明の第１実施形態に係わるカメラにおいて、背景画像の中で被写体が動いていく様子を示す動画であり、（ａ）は初期の段階での画像であり、（ｂ）は（ａ）より後の画像である。
【図４】本発明の第１実施形態に係わるカメラにおいて、背景画像の生成を説明する 図であり、（ａ）は最初のコマの画像であり、（ｂ）は次のコマの画像であり、（ｃ）は両画像の共通部（部分背景画像）を抽出した図であり、（ｄ）は、（ｂ）と同じ次のコマの画像であり、（ｅ）は更に次の画像であり、（ｆ）は次のコマと更に次のコマの２つの画像の共通部（部分背景画像）を抽出した図であり、（ｇ）は共通部（部分背景画像）を合成した図である。
【図５】本発明の第１実施形態におけるカメラにおいて、動画の生成方法を説明する図であり、（ａ）は背景画像の図であり、（ｂ）（ｃ）は背景画像の一部を、動画を構成するコマ画像に置き換えて動画を生成することを説明する図である。
【図６】本発明の第１実施形態におけるカメラにおいて、動画の生成方法を説明する図である。
【図７】本発明の第１実施形態に係わるカメラにおける背景画像合成のフローチャートである。
【図８】本発明の第１実施形態に係わるカメラにおける動画表示のフローチャートである。
【図９】本発明の第２実施形態におけるカメラにおいて、背景画像を示す図であり、（ａ）〜（ｃ）は順次背景画像が延びていく様を示す。
【図１０】本発明の第２実施形態に係わるカメラにおける背景画像合成のフローチャートである。
【符号の説明】
【００６９】
１・・・制御部、２・・・レンズ、３・・・撮像部、４・・・動き判定部、５ａ・・・第１バッファ、５ｂ・・・第２バッファ、５ｃ・・・類似抽出部、５ｄ・・・第３バッファ、５ｅ・・・余白部、６・・・画像処理部、７ａ・・・合成部、７ｂ・・・動画合成部、８・・・表示部、９ａ・・・動画記録部、９ｂ・・・背景記録部、１０・・・カメラ、２１ａ〜２１ｅ・・・コマ画像、２２・・・山並み、２３・・・木、２４・・・人物、２４ａ・・・人物の部分、２５ａ〜２５ｂ・・・部分背景画像（共通部分）、２６ａ〜２６ｂ・・・余白部（糊代部）、２７・・・背景画像、２７ａ〜２７ｃ・・・背景画像、２７ｅ・・・背景画像の一部
【技術分野】
【０００１】
本発明は、カメラ、画像再生装置、画像合成方法、およびプログラムに関し、詳しくは、動画からパノラマのような広がりのある画像を合成することのできるカメラ、画像合成方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタル画像の普及につれ、様々な画像加工技術が提供され、従来、考えられなかったような表現で画像を楽しむことが可能となってきている。カメラもデジタル画像化されたことによって、簡単に動画撮影を行うことができるようになった。また、画像のデジタル化に伴って電子ズームにより画像の一部を拡大表示することが容易になり、遠距離の被写体に対して活用されている。電子ズームは視野を狭める方向に使用されるが、反対に、撮影範囲を広げるための技術もカメラに搭載されつつある。
【０００３】
例えば、特許文献１には、分割画像を繋ぎ合わせて画像合成し、広い視野を再現するパノラマ画像を得る撮像装置が開示されている。
【特許文献１】特許第３８０４３１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述の特許文献１に開示の撮像装置は、撮影範囲を広げることができる。しかし、この撮像装置は、被写体が静止していることを前提としており、風景のような止まった画像にしか応用することができない。すなわち、特許文献１に開示の撮像装置は、動きのある被写体の撮影には適していなかった。
【課題を解決するための手段】
【０００５】
本発明は、このような事情を鑑みてなされたものであり、特別な広角レンズなどを用意せずとも、パノラマのような広がり感を表現すると共に、雄大な背景画像の中で、被写体の動きを表現できるカメラ、画像合成方法、およびプログラムを提供することを目的とする。
【０００６】
上記目的を達成するため第１の発明に係わるカメラは、連続撮影時に、撮影視野がどちらに移動しているかを検出する動き判定部と、先に撮影した画像コマと、後から撮影された画像コマを比較して、類似でない部分は抽出せず、上記類似でない部分の上記移動方向の後ろ方向の共通部画像を判定する共通部画像判定部と、上記先に撮影した画像コマの上記後ろ方向の隣接部と、上記共通部画像を合成した画像を得るための背景合成部と、を具備したことを特徴とする。
【０００７】
第２の発明に係わるカメラは、上記第１の発明において、上記隣接部を先に得られた共通部画像と重ねて合成するための糊代部とすることを特徴とする。
【０００８】
第３の発明に係わるカメラは、上記第１の発明において、上記カメラは、上記連続して撮影される画像コマを記録する連続画像記録部と、上記背景合成部で合成された画像を記録する背景画像記録部と、上記背景記録部と、上記連続画像記録部の画像を比較して合成した画像を順次表示する表示制御部と、をさらに具備することを特徴とする。
【０００９】
第４の発明に係わるカメラは、連続して取得される画像コマを記録する連続画像記録部と、上記連続撮影時で得られた共通部画像を合成した画像を得るための背景合成部と、上記背景合成結果を記録する背景画像記録部と、上記背景記録部と、上記連続画像記録部の画像を比較して、逐次類似画像部分を置き換えて合成した画像を順次表示する表示制御部と、を具備したことを特徴とする。
【００１０】
第５の発明に係わる画像再生装置は、視野を移動させながら連続して撮影された画像コマの先に撮影された画像コマと、後から撮影された画像コマを比較して、類似でない部分は抽出せず、上記類似でない部分の上記視野移動の後ろ方向の共通部画像を判定する共通部画像判定部と、上記先に取得した画像コマの上記後ろ方向の隣接部と、上記共通部画像を合成した画像を得るための背景合成部と、を具備したことを特徴とする。
【００１１】
第６の発明に係わる画像再生装置は、連続して取得される画像コマを記録する連続画像記録部と、上記連続撮影時で得られた共通部画像を合成した画像を得るための背景合成部と、上記背景合成結果を記録する背景画像記録部と、上記背景記録部と、上記連続画像記録部の画像を比較して、逐次類似画像部分を置き換えて合成した画像を順次表示する表示制御部と、を具備したことを特徴とする。
【００１２】
第７の発明に係わる画像合成方法は、連続撮影時に、撮影視野がどちらに移動しているかの方向を判定し、先に撮影した画像コマと、後から撮影された画像コマを比較して、類似でない部分は抽出せず、上記類似でない部分の上記移動方向の後ろ方向の共通部画像を判定し、上記先に撮影した画像コマの上記後ろ方向の隣接部と、上記共通部画像とを合成した画像を背景合成することを特徴とする。
【００１３】
第８の発明に係わる画像合成方法は、連続して取得される画像コマを記録し、上記連続撮影時に得られた共通部画像を合成して記録し、上記記録された合成画像と、上記連続画像記録部の画像を比較して、逐次置き換えて合成した画像を順次表示することを特徴とする。
【００１４】
第９の発明に係わるプログラムは、連続撮影時に、撮影視野がどちらに移動しているかの方向を判定するステップと、先に撮影した画像コマと、後から撮影された画像コマを比較して、類似でない部分は抽出せず、上記類似でない部分の上記移動方向の後ろ方向の共通部画像を判定するステップと、上記先に撮影した画像コマの上記後ろ方向の隣接部と、上記共通部画像を合成した画像を背景合成するステップと、を有することを特徴とする。
【００１５】
第１０の発明に係わるプログラムは、連続して取得される画像コマを記録するステップと、上記連続撮影時に得られた共通部画像を合成して記録するステップと、上記記録された合成画像と、上記連続画像記録部の画像を比較して、逐次置き換えて合成した画像を順次表示する表示ステップと、を具備したことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、特別な広角レンズなどを用意せずとも、パノラマのような広がり感を表現すると共に、雄大な背景画像の中で、被写体の動きを表現できるカメラ、画像合成方法、およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は、本発明の第１実施形態に係わるカメラ１０の構成を示すブロック図である。カメラ１０はデジタルカメラであり、静止画や動画を撮影可能である。カメラ１０の内部には、制御部１、操作部１ａ、レンズ２、撮像部３、動き判定部４、第１バッファ５ａ、第２バッファ５ｂ、類似抽出部５ｃ、第３バッファ５ｄ、余白部５ｅ、画像処理部６、合成部７ａ、動画合成部７ｂ、表示部８、動画記録部９ａ、背景記録部９ｂが設けられている。
【００１８】
制御部１は、ＣＰＵ（Central Processing Unit）等によって構成され、このカメラ１０の各部と接続され、内蔵されたプログラムに従って全体制御を行う。操作部１ａは、レリーズ釦や、メニュー釦、再生釦等の操作部材を含み、ユーザーが操作部１ａを操作すると、制御部１は操作に応じて各部に制御信号を出力する。
【００１９】
レンズ２は、被写体像を形成するための光学レンズである。撮像部３は撮像素子やその読出回路等を含み、レンズ２によって形成された被写体像を画像データに変換する。動き判定部４は、撮像部３からの画像データを入力し、カメラ１０の動き方向を検出する。すなわち、連続して得られる画像を比較し、いずれの方向にカメラ１０の撮影画面が動いているかを判定する。
【００２０】
第１バッファ５ａは、撮像部３からの画像データを一時的に記憶するための記憶部である。第２バッファ５ｂは、第１バッファ５ａに画像データが一時記憶される際に、その直前に第１バッファ５ａに一時記憶された画像データが転送され、一時記憶するための記憶部である。
【００２１】
類似抽出部５ｃは、第１バッファ５ａと第２バッファ５ｂにそれぞれ一時記憶されている画像データの端部側を比較し、類似している部分のみを抽出する（以下、類似している部分を部分背景画像と称す、（後述する図４における２５ａ、２５ｂ参照））。ここで、端部側は、動き判定部４によって検出されたカメラ１０の動き方向に対して後ろ側の端部側である。
【００２２】
余白部５ｅは、第１バッファ５ａに一時記憶されている画像データのうち端部側のみを、余白部（糊代部とも称する）として抽出する。なお、余白部の位置は、動き判定部４によって検出されたカメラ１０の動き方向と反対側に生成する。第３バッファ５ｄは、類似抽出部５ｃによって抽出された部分背景画像と、余白部５ｅによって抽出された余白部を、一時的に記憶する記憶部である。
【００２３】
合成部７ａは、第３バッファ５ｄに一時記憶された部分背景画像を、順次合成する。すなわち、撮像部３から動画を構成する各コマの画像データが第１バッファ５ａに出力されるたびに、第３バッファ５ｄには、部分背景画像と余白部が一時記憶され、合成部７ａに出力される。合成部７ａは、部分背景画像が出力されるたびに、部分背景画像の一部が余白部と重複するように、部分背景画像を貼り合わせ、背景画像を生成していく。すなわち、部分背景画像は、各コマの画像データが出力されるたびに、余白部と反対方向に次第に延び、パノラマ画像のような背景画像となる。
【００２４】
画像処理部６は、記憶容量を少なくするための画像圧縮等の画像処理を行う。合成部７ａによって生成された背景画像の画像データと、撮像部３から出力される動画を構成する各コマの画像データは、ＪＰＥＧ形式やモーションＪＰＥＧ形式等で画像処理部６によって圧縮等の画像処理がなされる。
【００２５】
背景記録部９ｂは、合成部７ａによって生成され、画像処理部６で圧縮処理された背景画像の画像データを記録する。動画記録部９ａは、撮像部３から出力された背景分離処理前の動画を記録する。動画記録部９ａおよび背景記録部９ｂは、別々に設けても良いが、同一の記録媒体において、異なるエリアを割り当てるようにしても良い。
【００２６】
動画合成部７ｂは、背景記録部９ｂに記録された背景画像に、動画記録部９ａに記録された動画を合成する。すなわち、動画合成部７ｂは、動画を構成する各コマごとに、背景画像と一致する部分を検出し、この検出された部分を動画に置き換えて、画像を合成する。これによって広大な風景の中を駆けていくような画像を合成できる。
【００２７】
表示部８は、液晶モニタ等の表示装置を含み、動画合成部７ｂによって合成された動画、または動画記録部９ａに記録された動画を再生表示する。なお、動画合成部７ｂによって合成された画像データを、表示部８に表示するだけではなく、この画像データを動画記録部９ａ等に記録するようにしても良い。
【００２８】
次に、本実施形態における合成された動画について、図２および図３を用いて説明する。図２は、山並み２２や木２３を背景に、疾走していく人物２４を動画で撮影した場合において、動画を構成する各コマ２１ａ〜２１ｄを示す。各コマ２１ａ〜２１ｄを順次、再生することにより動画として楽しむことができる。
【００２９】
図２のように、広い風景の中で人が走っていく様子や、鳥が飛んでいく様子や、乗り物などが走っていく様子を、追いかけながら撮影すると、一駒の中に、背景の広がりの全てを写しこむことはできない。複数のコマを撮影して、初めて広がりを描写することができる。
【００３０】
そこで、本実施形態においては、図３に示すように、動画を構成する複数のコマから広い背景画像２７を生成し、この背景画像２７の中で、被写体である人物２４が動いていく様子を表現するようにしている。すなわち、図３（ａ）は、人物２４が右側から左側に向かって走っている様子を示し、図３（ｂ）は、図３（ａ）の時点より後の時点で、人物２４が左側で走っている様子を示す。
【００３１】
このように、本実施形態においては、画面内を被写体が動いて行くものの、その動きの様子と共に、背景の広がりを再現できる。これまでのカメラでは、静止したパノラマや図２に示した各コマを同じ位置で順次再生することはできたが、動きも広がりをも表現することはできなかった。これに対し、本実施形態のカメラ１０では、動きと広がりも表現することができる。
【００３２】
次に、図４および図５を用いて背景画像２７の生成方法について説明する。図４（ａ）（ｂ）は連続して得られた撮影コマを示す。各撮影コマの被写体である人物２４の背面側には、背景として共通した領域が存在する。すなわち、撮影者は人物２４の動きを追っているので、人物２４の動き方向とは反対側に少しずれるが、背景は共通している。図４（ａ）（ｂ）における共通部分（部分背景画像）２５ａに斜線を施して示す。
【００３３】
この共通部分（部分背景画像）２５ａより中央よりは、人物２４の部分２４ａ（図では足の部分）が変化していることから、背景と人物２４が両画像（図４（ａ）と図４（ｂ））で異なり、類似抽出部５ｃはこの部分２４ａを類似検出しない。したがって、両画像が類似しているとして抽出されるのは、斜線を施した共通部分（部分背景画像）２５ａの部分であり、類似抽出部５ｃは、この短冊形状の共通部分（部分背景画像）２５ａのみを抽出する。なお、本実施形態においては、類似部分を抽出するにあたって、画面を横方向に８等分した短冊状の範囲について行っている。この分割数やその形状については、適宜、変更しても良い。
【００３４】
図４（ｃ）は、共通部分（部分背景画像）２５ａを取り出し、また図４（ａ）から余白部（糊代部）２６ａも取り出し、両方を合成した図である。余白部２６ａは、部分背景画像２５ａに隣接する部分であり、この部分は、次の部分背景画像２５ｂと合成する際の余白部（糊代）として利用する。
【００３５】
図４（ａ）と図４（ｂ）のコマを比較することにより、部分背景画像２５ａを抽出すると、次に、図４（ｄ）と図４（ｅ）のコマを比較することにより、部分背景画像２５ｂを抽出する。すなわち、図４（ｄ）は、図４（ｂ）と同じ画像であるが、次のコマと比較していることから、その抽出される共通部分（部分背景画像）の位置が図４（ｂ）の場合とは異なっている。部分背景画像２５ｂが部分背景画像２５ａと同様にして抽出され、また余白部（糊代部）２６ｂも抽出される。
【００３６】
このように、短冊状の余白部２６ａ、２６ｂ付きの部分背景画像２５ａ、２５ｂが抽出されると、次に、余白部２６ｂが、部分背景画像２５ａに重なるように、合成部７ａによって画像合成を行い、図４（ｇ）に示すような背景画像が得られる。以後、撮影部３から動画を構成する撮影コマの画像データが出力されるたびに、順次、撮影コマを比較し、部分背景画像等を生成し、合成することにより、図５（ａ）に示すような背景画像２７が合成される。この背景画像の合成の手順については、図７に示すフローチャートを用いて後述する。
【００３７】
次に、図５および図６を用いて、背景画像２７に動画の撮影コマを嵌め込み、動画を生成方法について説明する。前述したように背景画像２７が生成されると、次に、この背景画像２７の中で動画の各コマと類似する部分を、順次、検出し、この類似する部分の画像を背景画像２７に、順次、置き換えることにより、図３で示したようなパノラマ風景の中を人物２４が走っていくような動画を得る。
【００３８】
まず、図６に示す背景画像２７の中から、動画を構成する各コマ２１ｅの部分背景画像２５ｅと、一致する部分背景画像２５ｅ’を検出する。一致部分を検出すると、背景画像２７から嵌め込み画像の相当部分（部分背景画像２１ｅの幅Ｙ）２７ｅを消去し、この部分にコマ２１ｅを嵌め込む。動画を構成する各コマを、図５（ｂ）、（ｃ）に示すように、順次、ずらしていくことにより、人物２４が走っていくような動画を得ることができる。この動画の合成は、動画合成部７ｂによって行われる。また、動画の合成の手順については、図８に示すフローチャートを用いて後述する。
【００３９】
次に、図４および図５を用いて説明した背景画像合成について、図７に示すフローチャートを用いて説明する。この背景画像合成のフローは制御部１によって各部を制御することにより実行される。
【００４０】
背景画像合成のフローに入ると、まず、動き判定を行う（Ｓ１）。このステップでは、撮像部３によって取得された画像の周辺部の画像データに基づいて、動き判定部が動きベクトルを検出し、撮影視野がどちらに移動しているかを検出する。前述したように、本実施形態においては、カメラ１０の移動方向の後ろ方向に背景画像を合成しており、この動き方向に基づいて背景画像を合成する方向を決定する。
【００４１】
次に、第１バッファに画像を取得する（Ｓ２）。このステップでは、撮像部３からの画像データを第１バッファ５ａに一時記憶する。続いて、次画像を取得したかの判定を行う（Ｓ３）。撮像部３は所定時間間隔で画像データを取得しており、このステップでは、所定時間が経過し、動画像を構成する次の撮影コマの画像データの読出しを行って画像を取得したかの判定を行う。
【００４２】
ステップＳ３における判定の結果、次画像を取得した場合には、第２バッファに転送を行う（Ｓ４）。このステップでは、第１バッファ５ａに一時記憶されている画像データを第２バッファ５ｂに転送し、新たに取得した画像データを第１バッファ５ａに一時記憶する。一方、ステップＳ３における判定の結果、次画像を取得していなかった場合には、第１バッファ５ａと第２バッファ５ｂに一時記憶されている２つの画像を比較可能か否かの判定を行う（Ｓ１１）。このステップでは、両バッファに画像データが一時記憶されており、未だ比較を行っていないか否かの判定を行う。
【００４３】
ステップＳ１１における判定の結果、比較可能でなかった場合には、ステップＳ１８に進む。一方、判定の結果、比較可能であった場合には、第１バッファの後ろの部分と第２バッファの共通部分を抽出し、これを記録する（Ｓ１２）。このステップでは、図４を用いて説明したように、後から取得した画像（図４（ａ）に示す画像に対応し、第１バッファ５ａに一時記憶されている）の動き方向の後ろ側の部分（図４では横方向に８分割したうちの右端の短冊部）、から、先に取得した画像（図４（ｂ）に示す画像に対応し、第２バッファ５ｂに転送されている）と比較し、一致する部分背景画像２５ａを抽出し、これを第３バッファ５ｄに一時記憶する。
【００４４】
続いて、第２バッファから共通部の後ろを糊代として記憶する（Ｓ１３）。図４（ｃ）（ｆ）において説明したように、糊代部としての余白部２６ａ、２６ｂを、先に取得し第２バッファ５ｂに一時記憶されている画像データからコピーし、これを部分背景画像２５ａ、２５ｂと共に一時記憶する。
【００４５】
次に、合成可能か否かの判定を行う（Ｓ１４）。すなわち、ステップＳ１２、Ｓ１３において、背景画像合成用の部分背景画像２５ａ、２５ｂや糊代部２６ａ、２６ｂを一時記憶したので、これらのデータを用いて画像合成が可能か否かの判定である。この判定の結果、合成可能でなかった場合には、ステップＳ１８に進む。
【００４６】
一方、ステップＳ１４における判定の結果、合成可能であれば、次に、前の共通部（部分背景画像）と糊代部を重ねて画像合成を行う（Ｓ１５）。すなわち、図４（ｇ）に示すように、短冊状の部分背景画像２５ａ、２５ｂを糊代部２６ａ、２６ｂを用いて、背景画像２７を合成する。この合成は合成部７ａによって行われる。
【００４７】
次に、ステップＳ１５で合成した各コマと共通部（部分背景画像）を記録する（Ｓ１６）。各コマは動画を構成する画像データであり、これは動画記録部９ａに記録され、共通部（部分背景画像）が合成された背景画像２７は、背景記録部９ｂに記録される。
【００４８】
続いて、背景画像合成が終了か否かの判定を行う（Ｓ１８）。動画撮影を行いながら背景画像合成を行っている場合、この動画撮影が終了した場合に、背景画像合成の終了と判定する。なお、予め動画を撮影し、これを記録しておき、この記録された動画画像について、背景画像合成を行ってもよく、その場合には、予め記録されている動画のコマについて全て用いて背景画像合成が行われた場合に終了と判定される。
【００４９】
ステップＳ１８における判定の結果、終了でなかった場合には、ステップＳ３に戻り、次の画像を取得し、前述の動作を実行する。一方、判定の結果、終了であった場合には、カメラ１０の全体制御を行う元のフローに戻る。
【００５０】
次に、前述した背景画像に動画の画像を重ねて合成し、図３において示したような動画を生成するための動画表示のフローについて、図８に示すフローチャートを用いて説明する。
【００５１】
動画表示のフローに入ると、まず、合成した背景画像２７を表示する（Ｓ２１）。このステップでは、合成部７ａによって合成された図５（ａ）に示すような背景画像２７を表示部８に表示する。続いて、所定のタイミングであるか否かの判定を行う（Ｓ２２）。このステップでは、動画記録部９ａから読み出される動画の１コマごとのタイミングか否かを判定し、所定のタイミングでない場合には、所定のタイミングになるのを待つ。
【００５２】
ステップＳ２２における判定の結果、所定のタイミングになると、次に未合成があるか否かの判定を行う（Ｓ２３）。このステップでは、動画記録部９ａから動画を構成する撮影コマが全て読み出されたか否かの判定を行う。この判定の結果、未合成の画像がなかった場合には、リターンし、カメラ１０の全体制御を行うフローに戻る。
【００５３】
一方、ステップＳ２３における判定の結果、未合成の画像があった場合には、２画像の共通部を検出する（Ｓ２４）。このステップでは、図６において説明したように、動画の１コマ分に当たるコマ画像２１ｅの部分背景画像２５ｅに対応する背景画像２７の部分２５ｅ’を検出する。
【００５４】
続いて、図６で説明したように、部分背景画像（共通部）２５ｅの反対端までの幅Ｙを決め（Ｓ２５）、この幅Ｙの部分にあたる画像を背景画像２７から消去する（Ｓ２６）。そして、この消去された部分に動画のコマ画像２１ｅを嵌め込み、画像を合成する（Ｓ２７）。すなわち、これらのステップでは、部分背景画像（共通部）から嵌め込み画像の幅に相当する幅Ｙの部分を背景画像２７から消去し、その部分に撮影したままの画像（コマ画像２１ｅ）を嵌め込んで表示する。この合成された画像は所定時間の間、表示する。
【００５５】
次に、ステップＳ２７において合成された画像から、背景画像２７に背景を戻す（Ｓ２８）。背景を戻すと、ステップＳ２２に戻り、前述の動作を実行する。このように、ステップＳ２２〜Ｓ２８を繰り返し実行することにより、背景画像２７と動画のコマ画像とを順次、比較し、共通部を含む幅Ｙの背景画像２７について、画像を置き換えて順次、画像を得ることにより動画を合成している。
【００５６】
以上説明したように、本実施形態においては、１回の静止画の撮影では撮影できないようなパノラマ背景の中を、移動体が移動していく様子を動画で再現できる（図３参照）。
【００５７】
特に、大画面テレビなどは、広大な風景を表示するのに向いていることから、本実施形態に係わるカメラによって撮影された画像を記録しておき、大画面テレビに接続して再生表示するようにしても良い。また、一般的な動画撮影カメラで撮影した画像を、再生機器によって画像解析して、本実施形態と同様な再生表示を行っても良い。
【００５８】
次に、本発明の第２実施形態について、図９および図１０を用いて説明する。第１実施形態は、図３に示したように、予めパノラマ状の背景画像２７を生成し、その中で移動体が移動する様子を表示していた。第２実施形態では、移動体の動きに合わせて、図９に示すように、背景画像が延びていくようにしている。
【００５９】
すなわち、人物２４の移動に合わせ、図９（ａ）〜（ｃ）に示すように、背景画像２７ａ〜２７ｃを順次延ばしていく。このような表示方法は、移動体が移動した道程を表示するときに有効であり、移動した先に何があるか、最初は分からないというスリリングな効果を味わうことができる。
【００６０】
この第２実施形態の構成は、図１に示したものと同様であり、図７に示したフローチャートの代わりに、図１０に示す背景画像合成のフローチャートを実行する。
【００６１】
この背景画像合成のフローは、図７に示したフローと殆ど同じであり、ステップＳ１６における各コマ、共通部域記録に代えて、ステップＳ１７の第１バッファ画像合成を行っている。第１実施形態においては、全ての部分背景画像２５ａ、２５ｂを生成した後、これらを合成して、背景画像２７を生成した。しかし、第２実施形態においては、部分背景画像が生成される都度、そのときまでに生成された部分背景画像で合成するようにしている。
【００６２】
なお、ステップＳ１８における終了か否かの判定は、第１実施形態においては、全ての部分背景画像によって背景画像２７が生成されたかを判定していたが、第２実施形態においては、部分背景画像が生成されると一旦終了し、動画表示を行う。１コマ分の動画表示を行うと、背景画像合成に戻り、以後、動画表示と背景画像合成を繰り返す。
【００６３】
以上、説明したように、本発明の各実施形態によれば、連続して撮影される画像コマに基づいて背景画像を生成し、画像コマと背景画像が共通する部分を検出し、この共通部分に連続撮影された画像コマを、順次、置き換えて動画を合成している。このため、特別な広角レンズなどを用意せずとも、パノラマのような広がり感を表現すると共に、雄大な背景画像の中で、被写体の動きを表現することができる。すなわち、風景の広がりと、移動体の動きの様子を同時に表現した画像表示を可能とすることができる。
【００６４】
なお、本実施形態においては、カメラで撮影し、この撮影した画像を再生表示するようにしていた。しかし、これに限らず、カメラは撮影と動画記録だけとし、再生機器において、本実施形態のようにパラノラマ風の背景画像の中で、移動体が移動するように再生表示するようにしても良い。この場合には、記録された動画の画像データを順次読出し、第１バッファ５ａ、第２バッファ５ｂに一時記憶および転送を行い、この一時記憶した画像データを用いて本発明の実施形態と同様に処理すればよい。
【００６５】
また、動画としては、テレビや映画のような自然の動きのある画像のみならず、コマ撮り撮影や連写などの連続的に撮影される画像でも、勿論、本発明を適用することができる。
【００６６】
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、動画等の連続撮影機能を有するデジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画専用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも構わない。いずれにしても、連続して画像を取得することのできる撮影機器であれば、本発明を適用することができる。
【００６７】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００６８】
【図１】本発明の第１実施形態に係わるカメラの構成を示すブロック図である。
【図２】本発明の第１実施形態に係るカメラにおいて、動画撮影された画像の各コマの画像を示す図である。
【図３】本発明の第１実施形態に係わるカメラにおいて、背景画像の中で被写体が動いていく様子を示す動画であり、（ａ）は初期の段階での画像であり、（ｂ）は（ａ）より後の画像である。
【図４】本発明の第１実施形態に係わるカメラにおいて、背景画像の生成を説明する 図であり、（ａ）は最初のコマの画像であり、（ｂ）は次のコマの画像であり、（ｃ）は両画像の共通部（部分背景画像）を抽出した図であり、（ｄ）は、（ｂ）と同じ次のコマの画像であり、（ｅ）は更に次の画像であり、（ｆ）は次のコマと更に次のコマの２つの画像の共通部（部分背景画像）を抽出した図であり、（ｇ）は共通部（部分背景画像）を合成した図である。
【図５】本発明の第１実施形態におけるカメラにおいて、動画の生成方法を説明する図であり、（ａ）は背景画像の図であり、（ｂ）（ｃ）は背景画像の一部を、動画を構成するコマ画像に置き換えて動画を生成することを説明する図である。
【図６】本発明の第１実施形態におけるカメラにおいて、動画の生成方法を説明する図である。
【図７】本発明の第１実施形態に係わるカメラにおける背景画像合成のフローチャートである。
【図８】本発明の第１実施形態に係わるカメラにおける動画表示のフローチャートである。
【図９】本発明の第２実施形態におけるカメラにおいて、背景画像を示す図であり、（ａ）〜（ｃ）は順次背景画像が延びていく様を示す。
【図１０】本発明の第２実施形態に係わるカメラにおける背景画像合成のフローチャートである。
【符号の説明】
【００６９】
１・・・制御部、２・・・レンズ、３・・・撮像部、４・・・動き判定部、５ａ・・・第１バッファ、５ｂ・・・第２バッファ、５ｃ・・・類似抽出部、５ｄ・・・第３バッファ、５ｅ・・・余白部、６・・・画像処理部、７ａ・・・合成部、７ｂ・・・動画合成部、８・・・表示部、９ａ・・・動画記録部、９ｂ・・・背景記録部、１０・・・カメラ、２１ａ〜２１ｅ・・・コマ画像、２２・・・山並み、２３・・・木、２４・・・人物、２４ａ・・・人物の部分、２５ａ〜２５ｂ・・・部分背景画像（共通部分）、２６ａ〜２６ｂ・・・余白部（糊代部）、２７・・・背景画像、２７ａ〜２７ｃ・・・背景画像、２７ｅ・・・背景画像の一部
【特許請求の範囲】
【請求項１】
連続撮影時に、撮影視野がどちらに移動しているかを検出する動き判定部と、
先に撮影した画像コマと、後から撮影された画像コマを比較して、類似でない部分は抽出せず、上記類似でない部分の上記移動方向の後ろ方向の共通部画像を判定する共通部画像判定部と、
上記先に撮影した画像コマの上記後ろ方向の隣接部と、上記共通部画像とを合成した画像を得るための背景合成部と、
を具備したことを特徴とするカメラ。
【請求項２】
上記カメラは、上記隣接部を先に得られた共通部画像と重ねて合成するための糊代部とすることを特徴とする請求項１に記載のカメラ。
【請求項３】
上記カメラは、
上記連続して撮影される画像コマを記録する連続画像記録部と、
上記背景合成部で合成された画像を記録する背景画像記録部と、
上記背景記録部と、上記連続画像記録部の画像を比較して、逐次類似画像部分を置き換えて合成した画像を順次表示する表示制御部と、
をさらに具備することを特徴とする請求項１に記載のカメラ。
【請求項４】
連続して取得される画像コマを記録する連続画像記録部と、
上記連続撮影時で得られた共通部画像を合成した画像を得るための背景合成部と、
上記背景合成結果を記録する背景画像記録部と、
上記背景記録部と、上記連続画像記録部の画像を比較して、逐次類似画像部分を置き換えて合成した画像を順次表示する表示制御部と、
を具備したことを特徴とするカメラ。
【請求項５】
視野を移動させながら連続して撮影された画像コマの先に撮影された画像コマと、後から撮影された画像コマを比較して、類似でない部分は抽出せず、上記類似でない部分の上記視野移動の後ろ方向の共通部画像を判定する共通部画像判定部と、
上記先に取得した画像コマの上記後ろ方向の隣接部と、上記共通部画像とを合成した画像を得るための背景合成部と、
を具備したことを特徴とする画像再生装置。
【請求項６】
連続して取得される画像コマを記録する連続画像記録部と、
上記連続撮影時で得られた共通部画像を合成した画像を得るための背景合成部と、
上記背景合成結果を記録する背景画像記録部と、
上記背景記録部と、上記連続画像記録部の画像を比較して、逐次類似画像部分を置き換えて合成した画像を順次表示する表示制御部と、
を具備したことを特徴とする画像再生装置。
【請求項７】
連続撮影時に、撮影視野がどちらに移動しているかの方向を判定し、
先に撮影した画像コマと、後から撮影された画像コマを比較して、類似でない部分は抽出せず、上記類似でない部分の上記移動方向の後ろ方向の共通部画像を判定し、
上記先に撮影した画像コマの上記後ろ方向の隣接部と、上記共通部画像とを合成した画像を背景合成することを特徴とする画像合成方法。
【請求項８】
連続して取得される画像コマを記録し、
上記連続撮影時に得られた共通部画像を合成して記録し、
上記記録された合成画像と、上記連続画像記録部の画像を比較して、類似画像部分を逐次置き換えて合成した画像を順次表示することを特徴とする画像合成方法。
【請求項９】
連続撮影時に、撮影視野がどちらに移動しているかの方向を判定するステップと、
先に撮影した画像コマと、後から撮影された画像コマを比較して、類似でない部分は抽出せず、上記類似でない部分の上記移動方向の後ろ方向の共通部画像を判定するステップと、
上記先に撮影した画像コマの上記後ろ方向の隣接部と、上記共通部画像とを合成した画像を背景合成するステップと、
を有することを特徴とする画像合成プログラム。
【請求項１０】
連続して取得される画像コマを記録するステップと、
上記連続撮影時に得られた共通部画像を合成して記録するステップと、
上記記録された合成画像と、上記連続画像記録部の画像を比較して、類似画像部分を逐次置き換えて合成した画像を順次表示する表示ステップと、
を具備したことを特徴とする画像合成プログラム。
【請求項１】
連続撮影時に、撮影視野がどちらに移動しているかを検出する動き判定部と、
先に撮影した画像コマと、後から撮影された画像コマを比較して、類似でない部分は抽出せず、上記類似でない部分の上記移動方向の後ろ方向の共通部画像を判定する共通部画像判定部と、
上記先に撮影した画像コマの上記後ろ方向の隣接部と、上記共通部画像とを合成した画像を得るための背景合成部と、
を具備したことを特徴とするカメラ。
【請求項２】
上記カメラは、上記隣接部を先に得られた共通部画像と重ねて合成するための糊代部とすることを特徴とする請求項１に記載のカメラ。
【請求項３】
上記カメラは、
上記連続して撮影される画像コマを記録する連続画像記録部と、
上記背景合成部で合成された画像を記録する背景画像記録部と、
上記背景記録部と、上記連続画像記録部の画像を比較して、逐次類似画像部分を置き換えて合成した画像を順次表示する表示制御部と、
をさらに具備することを特徴とする請求項１に記載のカメラ。
【請求項４】
連続して取得される画像コマを記録する連続画像記録部と、
上記連続撮影時で得られた共通部画像を合成した画像を得るための背景合成部と、
上記背景合成結果を記録する背景画像記録部と、
上記背景記録部と、上記連続画像記録部の画像を比較して、逐次類似画像部分を置き換えて合成した画像を順次表示する表示制御部と、
を具備したことを特徴とするカメラ。
【請求項５】
視野を移動させながら連続して撮影された画像コマの先に撮影された画像コマと、後から撮影された画像コマを比較して、類似でない部分は抽出せず、上記類似でない部分の上記視野移動の後ろ方向の共通部画像を判定する共通部画像判定部と、
上記先に取得した画像コマの上記後ろ方向の隣接部と、上記共通部画像とを合成した画像を得るための背景合成部と、
を具備したことを特徴とする画像再生装置。
【請求項６】
連続して取得される画像コマを記録する連続画像記録部と、
上記連続撮影時で得られた共通部画像を合成した画像を得るための背景合成部と、
上記背景合成結果を記録する背景画像記録部と、
上記背景記録部と、上記連続画像記録部の画像を比較して、逐次類似画像部分を置き換えて合成した画像を順次表示する表示制御部と、
を具備したことを特徴とする画像再生装置。
【請求項７】
連続撮影時に、撮影視野がどちらに移動しているかの方向を判定し、
先に撮影した画像コマと、後から撮影された画像コマを比較して、類似でない部分は抽出せず、上記類似でない部分の上記移動方向の後ろ方向の共通部画像を判定し、
上記先に撮影した画像コマの上記後ろ方向の隣接部と、上記共通部画像とを合成した画像を背景合成することを特徴とする画像合成方法。
【請求項８】
連続して取得される画像コマを記録し、
上記連続撮影時に得られた共通部画像を合成して記録し、
上記記録された合成画像と、上記連続画像記録部の画像を比較して、類似画像部分を逐次置き換えて合成した画像を順次表示することを特徴とする画像合成方法。
【請求項９】
連続撮影時に、撮影視野がどちらに移動しているかの方向を判定するステップと、
先に撮影した画像コマと、後から撮影された画像コマを比較して、類似でない部分は抽出せず、上記類似でない部分の上記移動方向の後ろ方向の共通部画像を判定するステップと、
上記先に撮影した画像コマの上記後ろ方向の隣接部と、上記共通部画像とを合成した画像を背景合成するステップと、
を有することを特徴とする画像合成プログラム。
【請求項１０】
連続して取得される画像コマを記録するステップと、
上記連続撮影時に得られた共通部画像を合成して記録するステップと、
上記記録された合成画像と、上記連続画像記録部の画像を比較して、類似画像部分を逐次置き換えて合成した画像を順次表示する表示ステップと、
を具備したことを特徴とする画像合成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−６２８５０（Ｐ２０１３−６２８５０Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１２−２４５６７７（Ｐ２０１２−２４５６７７）
【出願日】平成２４年１１月７日（２０１２．１１．７）
【分割の表示】特願２００８−２１３８１６（Ｐ２００８−２１３８１６）の分割
【原出願日】平成２０年８月２２日（２００８．８．２２）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２４年１１月７日（２０１２．１１．７）
【分割の表示】特願２００８−２１３８１６（Ｐ２００８−２１３８１６）の分割
【原出願日】平成２０年８月２２日（２００８．８．２２）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]