画像処理装置、画像処理方法および画像処理プログラム
【課題】作品として楽しめる動画を簡単に作成できる画像処理装置および画像処理方法を提供する。
【解決手段】主被写体を連続撮影し、この連続撮影した複数の画像の中から画像を用いて、動かない部分を組み合わせて背景画像を合成する。また、連続撮影した複数の画像から主被写体の大きさの変化と移動方向を検出し、この情報に基づいて、特定画像に写っている対象物について連続画像を生成し、これを背景画像に合成することにより、アニメーション化した画像を生成する。
【解決手段】主被写体を連続撮影し、この連続撮影した複数の画像の中から画像を用いて、動かない部分を組み合わせて背景画像を合成する。また、連続撮影した複数の画像から主被写体の大きさの変化と移動方向を検出し、この情報に基づいて、特定画像に写っている対象物について連続画像を生成し、これを背景画像に合成することにより、アニメーション化した画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置および画像合成方法に関し、詳しくは、対象物が画面内を移動する合成画像を簡単に得ることのできる画像合成装置および画像合成方法に関する。
【背景技術】
【０００２】
近年、写真画像がデジタル化され、静止画のみならず動画による画像鑑賞を、カメラのディスプレイ上や、また外部に出力して、テレビ（ＴＶ）やパーソナルコンピュータ（ＰＣ）上で、簡単に楽しめるようになっている。静止画や動画を楽しむにあたって、単に記録画像をそのまま再生するだけではなく、主被写体や背景画像を分離して、主被写体を自在に移動させたアニメーション画像を作成することにより、一層、楽しみが広がってくる。
【０００３】
例えば、特許文献１に開示には、静止画や動画等の元画像から順次選択することにより、サムネイル画像から１つのアニメーション画像を作成することのできる画像処理装置が開示されている。
【特許文献１】特開２００３−２９９００９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示の画像処理装置は、ユーザーに多くの操作を要求するものであり、かなり技術に習熟した、手間を惜しまないユーザーしか、使いこなせるものではなかった。また、ユーザーに多くの操作を要求するものであり、かなり技術に習熟した、手間を惜しまないユーザーしか、使いこなせるものではなかった
本願発明は、このような事情を鑑みてなされたものであり、アニメーションの形式で作品として楽しめる動画を簡単に作成できる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため第１の発明に係わる画像処理装置は、背景画面上を移動する対象物を連続して撮影する連写部と、上記連写結果から上記移動する対象物のない背景画面を判定する判定部と、上記移動する対象物のない画面と、上記連続撮影によるその他の撮影結果から、上記移動する対象物がジャンプした画像を抽出する抽出部とを具備する。
【０００６】
第２の発明に係わる画像処理装置は、上記第１の発明において、さらに上記対象物がジャンプした抽出画像を、上記背景画像または変更された背景画像に合成する背景合成部とを有することを特徴とする。
【０００７】
上記目的を達成するため第３の発明に係わる画像処理装置は、請求項２に記載の画像処理装置において、上記背景合成部は、上記対象物がジャンプした画像を、上記背景画像の任意の位置に合成可能としたことを特徴とする。
【０００８】
第４の発明に係わる画像処理装置は、上記第３の発明において、頭部顔位置判定部を有し、上記背景合成部は、上記対象物がジャンプした抽出画像の前後で上記頭部顔位置判定部によって判定された対象物の頭部の大きさの変化にしたがって、上記任意位置の合成時の対象物画像の大きさを変更することを特徴とする。
【０００９】
上記目的を達成するため第５の発明に係わる画像処理装置は、上記第１の発明において、上記抽出部は、上記対象物が画面内で一番高い位置にある上記対象物画像を、上記ジャンプした画像として抽出することを特徴とする。
【００１０】
上記目的を達成するため第６の発明に係わる画像処理装置は、上記第１の発明において、上記連続撮影結果から動きのない複数の異なる画像部分を合成して上記背景画面を合成する合成部を有することを特徴とする。
【００１１】
上記目的を達成するため第７の発明に係わる画像処理方法は、背景画面上を移動する対象物を連続して撮影し、上記連写結果から上記移動する対象物のない背景画面を判定し、上記移動する対象物のない画面と、上記連続撮影によるその他の撮影結果から、上記移動する対象物が画面内で一番高い位置にある画像を、上記移動する対象物がジャンプした画像として抽出することを特徴とする。
【００１２】
上記目的を達成するため第８の発明に係わる画像処理方法は、第７の発明において、上記移動する対象物の顔や頭の位置に従って、上記移動する対象物の判定を行うことを特徴とする。
【００１３】
上記目的を達成するため第９の発明に係わる画像処理プログラムは、背景画面上を移動する対象物を連続して撮影した画像を利用し、上記移動する対象物のない背景画面を判定するステップと、上記移動する対象物のない画面と、上記連続撮影によるその他の撮影結果から、上記移動する対象物が画面内で一番高い位置にある画像を、上記移動する対象物がジャンプした画像として抽出するステップとからなることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、アニメーションの形式で作品として楽しめる動画を簡単に作成できる画像処理装置および画像処理方法を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は本発明の一実施形態に係わるカメラ１０の構成を示すブロック図である。カメラ１０はデジタルカメラであり、動画撮像部２、頭部顔位置判定部５、表示部８、合成表示部８ａ、操作判定部１２、通信部１３、画像処理部１５、画像記録部１６、背景記録部１６ａ、主被写体記録部１６ｂ、アニメ作成部１７、背景分離部２１、比較部２１ａ、変化判定部２１ｂ、画像合成部２２を有する。
【００１６】
動画撮像部２は、高速で画像信号の読み出しができる撮像素子を含み、レリーズ釦の全押し操作に応答して、被写体像の光電変換信号に基づく動画像（連続撮影画像、連写画像）の画像データを読み出し可能である。なお、静止画像撮影モードに設定されている場合には、静止画像も動画像と同様に読み出し可能である。
【００１７】
画像処理部１５は、動画撮像部２で読み出した画像データについて、制御部１１と連携して画像処理や画像圧縮等の処理を施す。画像記録部１６は画像処理部１５によって処理された画像データを記録する記録媒体と、この記録媒体への記録制御部等を含む。動画の画像データは、動く被写体と動かない背景の両画像を有しており、画像処理部１５中の背景分離部２１は、動く被写体と背景とを分離する。
【００１８】
すなわち、比較部２１ａは、動画中の各画像を比較し、変化判定部２１ｂは、比較結果に基づいて変化のある画像を主被写体として、また変化のない画像を背景として分離する。これら分離された主被写体の画像データと背景の画像データは、それぞれ画像記録部１６中の背景記録部１６ａと主被写体記録部１６ｂに、各々記録される。
【００１９】
画像処理部１５中の画像合成部２２は、背景分離部２１によって分離された背景の画像上に主被写体を所定の手順に従って配置し、背景画像に対して画像合成を行う。アニメ作成部１７は、画像合成部２２によって合成された画像を、動画風に再生を行うために、アニメーション式に動画データの作成を行う。
【００２０】
頭部顔位置判定部５は、撮影画像の中に人物が被写体として含まれている場合、画像内の顔パターンや人物の形状パターンを判定し、顔や頭の位置を検出する。検出された顔や頭の位置を用いて撮影の際のピント合わせに用い、また画像データの画像記録部１６への記録にあたって、この情報も併せて記録する。さらに、主被写体の判定や動き判定にあたって使用する。
【００２１】
表示部８は、カメラ１０の背面等に配置された液晶モニタ等で構成されている。表示部８は、画像記録部１６に記録されている画像データの再生表示を行い、また光学式ファインダの代わりに、被写体像の観察用のライブビュー表示も行う。また、画像合成されアニメーション等の表示も行い、ユーザーはこのアニメーション表示等、動画表示を楽しむことができる。さらに、表示部８中の合成表示部８ａは、画像合成を行うに適した画像の撮影を行うにあたって、画面内に保持画像を半透明で表示し、この半透明表示と比較することによって被写体の動きを確認することができる。
【００２２】
通信部１３は、インターネットやネットワーク等を介してサーバーや外部機器と送受信を行う。この通信部１３を介して、撮影画像や合成画像を外部に送信し、また外部から画像等を受信することができる。操作判定部１２は、ユーザーによるカメラ１０の操作部材等の操作状態を判定する。制御部１１は、カメラ１０内の各部と接続され、操作判定部１２によって判定された操作部材等の操作に応じて、カメラ１０の全体制御を行う。
【００２３】
次に、このように構成された本実施形態に係わるカメラ１０の動作を説明する。本実施形態においては、被写体が飛び跳ねる状態を動画（連続撮影）で撮影し、この動画から背景と主被写体をそれぞれ分離し、抽出された背景に対して、抽出した主被写体があたかも空中遊泳しているかのようなアニメーション画像を生成する。
【００２４】
まず、背景分離と主被写体の変化の判定について図２乃至図４を用いて説明する。図２に、撮影者４２が主被写体４１の動画（連続撮影）を撮影するときの様子を示す。理想的には、背景画像が動かないように、カメラ１０は三脚３１などに固定する方がよいが、カメラ１０が手振れ補正回路や補正機構を有していれば、手持ち撮影でもかまわない。
【００２５】
撮影者４２は、主被写体４１が、図２（ａ）の出発点から図２（ｂ）の中間点を経て、図２（ｃ）に示す最終点まで、ジャンプする様子を、連続撮影する。すなわち、出発点では主被写体はカメラ１０から距離Ｌ１だけ離れた位置であり（図２（ａ））、図２（ｂ）では、主被写体はジャンプで最高点に跳ね上がっており、最終点では主被写体はカメラ１０から距離Ｌ２だけ離れた位置にある。
【００２６】
図２に示した撮影状態において、動画撮影（連続撮影）が実行され、連続した複数駒の静止画からなる動画を取得することができる。この複数駒の静止画から背景画像を抽出するが、本実施形態では、図３に示すようなジャンプ前（図３（ａ））とジャンプ後(図３（ｂ）)の２つの画像を用いて背景画像を抽出する。
【００２７】
また、図３に示す画像を用いて、本実施形態では、主被写体の変化情報を取得している。すなわち、主被写体４１は、図３において、画面の左端に近いＸ１の位置から、画面の右端に近いＸ２の位置に移動している。この位置変化Ｘ１→Ｘ２がある場合に、頭部顔位置検出部５は頭部の大きさ変化（Ｆ１→Ｆ２）を検出する。この頭部の大きさ変化（Ｆ１→Ｆ２）は、後述するように、アニメーション化する際に、主被写体４１の大きさ変化を行う際に使用する。
【００２８】
図３（ａ）および図３（ｂ）を用いて背景の抽出にあたって、図４（ａ）のように、主被写体４１の移動があるとする。この場合、図３（ａ）の前後の画像を比較すると、右半分には移動している画像はなく、また図３（ｂ）の前後の画像を比較すると、画面左半分には移動するものがないことが分かる。そこで、図３（ａ）の右半分の画像と、図３（ｂ）の左半分の画像を合成して、図４（ｂ）に示すような背景画像を得ることができる。
【００２９】
主被写体４１は、図４（ｂ）に示す背景画像と、実際に撮影された画像の差異であると考えることができる。したがって、主被写体４１のみを抽出した画像は、実際に撮影された画像から背景画像の差を求めることにより得られる。なお、メモリ容量に余裕がある場合や、主被写体が早く動くことができる場合には、図４（ｃ）に示すように、主被写体４１が撮影画面の外に移動した画像を、背景画像として選択するようにしてもよい。
【００３０】
次に、連続撮影に基づいて、背景画像の合成と主被写体の抽出について、図５を用いて説明する。図２に示したような撮影状態において、動画撮影（連続撮影）を行うと、図５（ａ）（ｂ）に示すような連続した複数駒の画像が得られる。この例では、９駒の画像が得られ、上段左→右、中段左→右、下段左→右の順に時系列的に並べてある。図３（ａ）に示した画像は、図５（ａ）（ｂ）の左上最上段に示した画像１０１に、図３（ｂ）に示した画像は、図５（ａ）（ｂ）の右下最下段に示した画像１０９に相当する。なお、図５（ａ）（ｂ）に示した連続撮影した画像は、カメラ１０の表示部８に表示可能である。
【００３１】
これらの連続撮影された画像の中から主被写体４１を抜き出すための画像を選択する。図５（ａ）に示した例では、一番、高く跳んだ時点の画像１０５に基づいて主被写体４１を分離する。ただし、主被写体４１の分離にあたっては、これ以外にも、例えば、両手を広げた瞬間とか、表情を変えた瞬間等、種々の状態を選択することができる。ここでは、画像１０５を選択し、この主被写体４１の抽出用の画像を図５（ｃ）に示す。
【００３２】
次に、背景画像は、図５（ｂ）に示す画像１０１および画像１０９を用いて、前述したように、被写体の移動がない部分を用いて合成する。図５（ｄ）はこのようにして合成された背景画像１１０である。背景画像の合成にあたっては、カメラ１０の背景分離部２１によって自動的に動きのない部分を判定し合成してよく、また、ユーザーが、連続撮影した画像を見ながら、背景合成用の２画像を選んでもよい。
【００３３】
上述した主被写体として抽出対象の画像（図５（ｃ））と、合成された背景画像１１０（図５（ｄ））を用いて主被写体４１のみを抽出する。すなわち、図５（ｃ）に存在し、一方図５（ｄ）に存在しない部分を抜き出すと、図５（ｅ）に示すような、主被写体４１のみを抽出することができる。
【００３４】
次に、主被写体として抽出対象の画像（図５（ｃ））を用いて、図６（ａ）に示すように、主被写体４１があたかも空中遊泳していくように、画面内を移動していくアニメーションの生成について図７を用いて説明する。つまり、図５（ａ）（ｂ）に示したような９駒の連続撮影に図６（ａ）に示す主被写体の連続画像１１１を振り分けると、図６（ｂ）に示すようになる。これを連続再生すれば、空中を浮遊していくような、従来表現できなかった画像を作成して再生して楽しむことが出来る。
【００３５】
この場合、主被写体４１の大きさの変化は、前述したように図３（ａ）、（ｂ）で得られた、距離Ｘと頭部の大きさＦの関係から導いて反映させる。すなわち、擬似的な遠近法を用いて、主被写体４１が遠ざかったり、近づいてくるようなアニメーションを作成する。本実施形態のように９分割した画像では、画面を横に９分割して、各駒に主被写体を表示する位置からＸが求まる。画面横幅をＸ０とすると、各駒の主被写体表示位置は、Ｘ０／９、２×Ｘ０／９、３×Ｘ０／９・・となる。また、その各駒の主被写体に、変化率として（Ｆ２−Ｆ１）／（Ｘ２−Ｘ１）を考慮した変化をつける。つまり、この例では、Ｘ０／９を、これに乗じて、大きさの変化を決める。
【００３６】
具体的には、図１６のような、各部の大きさを利用して、人物の拡大、縮小を行う。図１６（ａ）および図１６（ｃ）は、図３（ａ）および図３（ｂ）に相当し、その中間に人物が高く跳ぶ位置Ｘ３（図１６（ｂ）があるとする。画面を９分割し、ｎ×Ｘ０／９の位置で、一番高く跳んだ場合には、その前の駒、（ｎ−１）×Ｘ０／９の位置に合成する人物は、顔の大きさ変化率、Ｒ＝（Ｔ３／Ｆ３）・（Ｆ２−Ｆ１）／（Ｘ２−Ｘ１）を利用して、被写体の大きさはＴ＋Ｒ×Ｘ０／９となり、その後の駒は、Ｔ−Ｒ×Ｘ０／９とする。このような人物の大きさＴの関係は、図１７に図示したようなグラフから決定することができる。なお、擬似的な遠近法として図１７に示す方法で説明したが、これ以外の方法によって主被写体の大きさを変化させるような処理を行ってもよい。
【００３７】
また、主被写体４１が移動する方向は、図５（ｂ）に示す採用駒の前後の移動方向１２１としてもよく、また、ユーザーが自由にかえるようにしてもよい。図７（ａ）は、このようにして得られた主被写体４１の浮遊の画像を、元の背景画像に合成表示した例である。左上から順次右下にかけて表示することにより、主被写体４１が浮遊して動いていく様子を再生することができる。もちろん、背景なしのまま楽しんでもよく、別画像に貼り付けて、図７（ｂ）に示すように、超現実的な映像を楽しんでもよい。こうした背景の選択なども、画像を楽しむ一つの新しい手法となる。
【００３８】
このように連続撮影された動画のなかから、背景や抜き出す主被写体を選択するので、一連の動作でアニメ作成が可能となり、撮影が終わった瞬間にそれを楽しむことができる。また、連続撮影した動画像の中から、一番良い画像を選ぶのも、画像数の多い動画ならではの効果と言える。
【００３９】
次に、図８に示すフローチャートを用いて、前述したような非現実の写真が簡単に撮影できるカメラの動作を説明する。まず、カメラ制御のルーチンに入ると、撮影に先立って、撮像部から画像データを取得し、表示部８に構図決定用にライブビュー表示する（Ｓ１）。続いて、操作判定部１２によってレリーズ釦の全押し操作がなされたか否か、すなわち撮影を行うか否かの判定を行う（Ｓ２）。
【００４０】
判定の結果、撮影を実行する場合には、連続撮影を行う（Ｓ５）。ここでの連続撮影は、一般的なカメラの連写のような秒５駒の連写速度より高速で、例えば、動画と同様に１５駒や３０駒、６０駒で撮影できるものを想定している。続いて、連続撮影が終了したか否かを判定する（Ｓ６）。判定の結果、終了していない場合には、ステップＳ５に戻り、連続撮影を続行する。
【００４１】
ステップＳ６における判定の結果、連続撮影が終了すると、画像データを画像記録部１６に画像記録する（Ｓ７）。連続撮影の終了は、撮影者の操作でもよいが、被写体が画面外にいなくなったことを判定して、自動終了するようにしてもよい。画像記録が終わると、リターンし、最初のステップに戻る。
【００４２】
ステップＳ２における判定の結果、撮影ではなかった場合には、撮影前確認か否かの判定を行う（Ｓ１１）。前述したように、本実施形態においては、主被写体を背景画像から抽出するために、図２乃至図５において説明したような動画撮影（連続撮影）が必要である。特に、図３（ａ）および図３（ｂ）に示したように、主被写体４１が連続撮影の１駒として撮影されることが必要であり、また、図５（ａ）の画像１０５のように、跳びはねた主被写体が画面内に収まっていることが必要である。そこで、撮影前に主被写体４１がこれらの条件を満たして撮影されるか否かの確認を行えるようにしている。
【００４３】
ステップＳ１１における判定の結果、撮影前確認モードが設定された場合には、保持動作を行ったか否かの判定を行う（Ｓ１２）。保持動作は、例えば、レリーズスイッチ等の操作である。判定の結果、保持動作を行った場合には、レリーズスイッチ等の操作部材による保持操作がなされた時点における静止画像を動画撮像部２から取得して静止画像を一時保持する（Ｓ１３）。
【００４４】
ステップＳ１２における判定の結果、保持動作を行っていない場合には、既に保持画面を有しているか否かの判定を行う（Ｓ１７）。ステップＳ１３において静止画像を保持した後、またはステップＳ１７の判定の結果、保持画面を有していた場合には、保持されている静止画像を半透明で表示部８に表示する（Ｓ１４）。保持された静止画像を半透明状態で表示することにより、図４（ａ）のように、ジャンプして着地する地点と、ジャンプする地点の関係を事前に決めて撮影に入ることが可能となる。
【００４５】
したがって、撮影前確認モードでは、例えば、ジャンプ前の位置を記録しておき、どこまで飛ぶかなどの練習ができる（Ｓ１２Ｙｅｓ→Ｓ１４、またはＳ１７Ｙｅｓ→Ｓ１４）。このように、本実施形態においては、動く主被写体を想定しており、主被写体の動きを事前に把握するために、撮影前確認モードを設けている。
【００４６】
ステップＳ１４における半透明表示を行うと、次に、撮影前確認モードを終了するか否かの判定を行う（Ｓ１５）。撮影前確認モードを終了する場合には、撮影者は撮影前確認モードの終了釦を操作するので、この釦が操作されたか否か判定を行う。判定の結果、終了であった場合には、表示部８における半透明表示を終了する（Ｓ１６）。ステップＳ１７において保持画面がなかった場合、ステップＳ１５において終了ではなかった場合、または半透明表示を終了すると、リターンし、最初のステップ１に戻る。
【００４７】
ステップＳ１１における判定の結果、撮影前確認ではなかった場合には、次に再生モードか否かの判定を行う（Ｓ２１）。判定の結果、再生モードではなかった場合には、ステップＳ１に戻る。一方、再生モードであった場合には、再生動作を行う（Ｓ２２）。再生動作は、画像記録部１６に記録されている静止画や動画の画像データを読み出し、表示部８に表示する。再生にあたっては、複数駒をまとめて縮小サイズで表示するサムネイル表示、または１駒ごとに表示を行う。
【００４８】
続いて、アニメ化を行うか否かの判定を行う（Ｓ２３）。動画（連続撮影）が選択されている際に、アニメ化を指示する操作部材が操作されたか否かの判定である。判定の結果、再生モードではなかった場合には、ステップＳ１に戻る。一方、アニメ化を行う場合には、背景取出しを行う（Ｓ２４）。背景取り出しは、図４および図５を用いて説明したように、主被写体４１の存在しない部分の画像から背景画像を合成する。この背景取出しのサブルーチンについては図９を用いて後述する。
【００４９】
背景取出しが終わると、次に、主被写体取出しを行う（Ｓ２５）。主被写体取出しは、図５（ｅ）に示すような主被写体４１のみを取り出すための処理である。この主被写体取出しのサブルーチンについては、図１０を用いて後述する。主被写体取出しが終わると、主被写体と背景画像の合成を行う（Ｓ２６）。その後、続いて、合成画像の再生および調整を行う（Ｓ２７）。再生にあたっては、主被写体の浮遊画像等の様子を見ながら、進行方向やスピード、また背景などを調整することができる。ステップＳ２６およびステップＳ２７における処理ついては、図１１を用いて後述する。
【００５０】
次に、ステップＳ２４の背景取出しのサブルーチンについて、図９を用いて説明する。まず、背景分離部２１の比較部２１ａおよび変化判定部２１ｂによって動体なし画面が有るか否かの判定を行う（Ｓ４１）。一連の動体を撮影した動画の中に、動体が通り過ぎた画像、または通り過ぎる前の画像があれば、その画像を背景画像として使用することができる。判定の結果、動体なしの画面が有れば、その画面を背景画像とする（Ｓ４８）。
【００５１】
一方、判定の結果、動体なしの画面がない場合には、画面左半分に動きのない駒の判定を行う（Ｓ４２）。続いて、画面右半分に動きのない駒の判定を行う（Ｓ４３）。すなわち、ステップＳ４２、およびステップＳ４３において、画面の左半分と右半分のそれぞれで動体の存在しない駒を探し出す。
【００５２】
ステップＳ４２、Ｓ４３における駒判定が終わると、動きなし部を用いて背景画像の合成が可能か否かの判定を行う（Ｓ４４）。一連の動画の中に、左右それぞれ動きのない画像がない場合には、背景画像の合成が不能なので、背景画像の合成が可能か否かの判定である。判定の結果、合成可能であれば、検出された２つの画像を用いて背景画像を合成する（Ｓ４６）。一方、合成不可能の場合には、警告表示を行う（Ｓ４５）。ステップＳ４５、Ｓ４６またはＳ４８が終わると、元のフローに戻る。
【００５３】
次に、背景画像を利用して撮影画像から、主被写体を抽出する主被写体取出しのサブルーチンについて、図１０を用いて説明する。ここで抽出した被写体は、後述するように、空中浮遊等、アニメーション化にあたって使用する主被写体の画像である。一連の動画の中からどの画像を選択するかは、ユーザーの好みで決めても良いが、本実施形態においては、主被写体が一番高い位置にジャンプしたとき画像を優先して選択し、ユーザーは好みにそぐわない場合には、手動で変更できるようにしている。
【００５４】
主被写体取出しのサブルーチンに入ると、まず、一連の動画の中から、主被写体が最も高い位置に変化している駒の選択を行う（Ｓ５１）。選択が行われると、その画像が表示部８に表示されるので、その画像をユーザーが見ることができる。ユーザーはその表示画像で主被写体を抽出してよいかどうか判断する（Ｓ５２）。その画像でよければ、ユーザーはＯＫ釦等の操作部材を操作し、他の画像に変更したい場合には手動で選択する（Ｓ５３）。
【００５５】
自動もしくは手動で主被写体が選択されると、次に、指定駒と背景画像の比較部２１ａによって比較を行う（Ｓ５４）。続いて、指定駒にあって、背景画像にないものを主被写体として抽出する（Ｓ５６）。ここで抽出された主被写体が、画面からはみ出る等の問題がないかどうか、判定する（Ｓ５６）。判定の結果、問題がある場合には、やり直しの警告表示を行い（Ｓ５７）、元のルーチンに戻る。
【００５６】
主被写体の画像がＯＫであれば、次に、空中浮遊等のアニメーション画像の合成にあたって使用する主被写体の動きの方向と大きさの変化を検出する。まず、指定駒の前の駒にあって背景駒にないものを抽出する（Ｓ５８）。続いて、指定駒の後の駒にあって、背景駒にないものを抽出する（Ｓ５９）。これらのステップＳ５８およびＳ５９において、指定駒前後での主被写体を抜き出すことができる。この前後の駒から抜き出した主被写体の変化に基づいて、主被写体の動く方向と大きさの変化を決定する（Ｓ６０）。この決定にあたっては、図３、図１６および図１７に説明したような擬似的な遠近法を用いて行う。
【００５７】
次に、背景画像と主被写体を合成し、再生し、調整を行う合成と補正のサブルーチンについて、図１１を用いて説明する。前述したように、このサブルーチンは、図８に示したフローチャートのステップＳ２６およびＳ２７に相当する。
【００５８】
合成と補正のサブルーチンに入ると、まず、撮影の最初の駒の置き換えを開始する（Ｓ６１）。例えば、図５に示すように、９駒連写撮影を行った場合、その最初の駒を、合成画像に置き換える。この合成画像への置き換えを開始すると、主被写体の複製を作成する（Ｓ６２）。複製にあたっては、ステップＳ６０において求めた主被写体の大きさの変化に従って、主被写体画像の大きさを決めて、主被写体画像を拡大、縮小したのを作成する。
【００５９】
次に、主被写体を背景画像に合成する（Ｓ６３）。図９のステップＳ４６またはステップＳ４８において作成した背景画像に、ステップＳ６２において生成した主被写体を合成することにより行う。これで最初の駒における画像合成が完成する。続いて、次の駒の置き換えを行うか否かの判定を行う（Ｓ６４）。判定の結果、次の駒がある場合には、次の駒に置き換えてから（Ｓ６５）、ステップＳ６２に戻り、撮影済みの駒に対して、主被写体の複製と（Ｓ６２）、これを背景画像に合成する（Ｓ６４）。
【００６０】
最後の駒までステップＳ６２〜Ｓ６５を繰り返すことにより、撮影済みの全駒に対応して、少しずつ主被写体の大きさと位置が変わるようにした合成画像を得ることができる。つまり、撮影した時間と同じ時間のアニメーションが得られ、ユーザーには、あたかもアニメーションが撮影できるカメラとして認識される。
【００６１】
ステップＳ６４における判定の結果、すべての駒に対して置き換えが終了すると、確認を行うか否かの判定を行う（Ｓ６６）。この確認は、ステップＳ６２〜Ｓ６５の繰り返しにより生成された合成画像の出来上がり具合を再生表示して確認するためのステップであり、確認再生用の操作部材の操作状態を判定する。ユーザーが確認再生を望まない場合には、ステップＳ６６をＮｏで抜けて、元のルーチンに戻る。
【００６２】
ステップＳ６６における判定の結果、確認再生を行うとした場合には、表示部８にアニメーション化した合成画像の再生表示を行う（Ｓ６７）。続いて、調整が必要か否かの判定を行う（Ｓ６８）。このステップは、合成画像の再生表示をユーザーが見て、好みに応じて、主被写体の移動速度等の調整を行うか否かの判定である。この判定は、ユーザーが調整用の操作部材を操作したか否かに基づいて行う。
【００６３】
ステップＳ６８における判定の結果、調整が必要ではない場合には、ステップＳ６８をＮｏで抜けて、元のルーチンに戻る。一方、調整が必要な場合には、主被写体の移動速度（スピード）の切り替えを行う（Ｓ６９）。このスピード切り替えは、スピード切替の制御メニューを選択し、図１２（ａ）に示す十字キー操作部材２３を操作することにより行う。この操作に応じて画像の間引きや増加を行い、また、スピード調整モードのスピード表示バー２４の表示制御を行う。例えば、図７（ａ）（ｂ）のように、アニメーション画像を表示するのに、９駒を費やしていていた場合、高速化すると、図１２（ｂ）に示すように、画像を間引きして高速化し、３駒でアニメーション画像を表示する。
【００６４】
次に、主被写体の方向切替を行う（Ｓ７０）。このステップでは、方向切替の制御メニューを選択することによって、主被写体４１の移動の方向を矢印で表示させる。この状態で、例えば、カメラ１０の背面に設けられた十字操作部材２３を操作することによって、微調整できるようにすればよい。図７（ａ）（ｂ）に示した例では、主被写体４１の移動方向は右上であったが、調整により、図１３（ｂ）に示すように、右下に移動方向を変更することができる。
【００６５】
方向切替が終わると、次に、背景切替を行う（Ｓ７１）。このステップでは、背景切替の制御メニューを選択することによって、背景画像１１０をサムネイル表示させる。この状態で、十字操作部材２３を操作することによって、主被写体４１に対する背景画像を切り換えることができる。背景切替が終わると、ステップＳ６１に戻り、切替設定された内容で、再度、画像合成を行う。上述した方向切替や背景切替を行って、アニメーション化され、変化に富んだ動画像の例を、図１５に示す。
【００６６】
以上説明したように、本実施形態においては、人物（主被写体）等の対象物を連続撮影（動画撮影、連写撮影）し、この連続撮影した画像の中から背景画像を選択し、または複数の画像から背景画像を合成している。また、連続撮影した複数の画像から対象物の大きさの変化と移動方向を検出し、この情報に基づいて、特定駒に写っている対象物について連続画像１１１を生成し、これを背景画像に合成することにより、アニメーション化した画像を生成している。このため、簡単な操作で、通常、撮影が不可能なシーンの動画作成を行い、それを見て楽しむことが可能な画像合成装置を提供できる。
【００６７】
なお、本実施形態においては、主被写体の動きの方向と大きさの変化の両方について検出し、この両方の情報に基づいて、抽出された主被写体の連続画像１１１を生成していた（図１１のＳ６２参照）。しかし、動きの方向または大きさの変化のいずれか一方の情報を用い、他の情報については、予め設定するデフォルト値に従って主被写体の連続画像を生成するようにしても、勿論かまわない。
【００６８】
また、本実施形態においては、画像の合成にあたっては、連続撮影した駒に対して、それぞれ主被写体を割り当てるようにしていた（図１１のＳ６１〜Ｓ６５参照）。しかし、一対一に割り当てる以外にも、任意の数に割り当てるようにしてもよい。また、背景画像は連続撮影した画像から合成したものを優先的に使用していたが、これに限らず、図７（ｂ）図１４に示したような背景画像をデフォルト値として使用し、オプションとして連続撮影した画像から合成した背景画像を使用するようにしてもよい。
【００６９】
さらに、本実施形態においては、連続撮影したカメラにおいて、そのまま背景画像の合成、主被写体の抽出および画像合成を行っていた。しかし、これに限らず、カメラにおいては連続撮影のみとし、カメラに記録された連続撮影の画像を用いて、パーソナルコンピュータ等の情報機器によって、背景画像の合成、主被写体の抽出および画像合成等の処理を行うようにしても勿論かまわない。
【００７０】
なお、本発明の実施形態においては、撮影対象として、画面中央部に存在する人物のみならず、例えば、画面内周辺部などに同時に動いているものがあれば、この移動しているものを対象物として、背景から抜き出して、主被写体４１と同様に、アニメーション効果を持った再生ができるようにしても勿論かまわない。また、本実施形態においては、連続撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【００７１】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００７２】
【図１】本発明の一実施形態に係わるカメラの構成を示すブロック図である。
【図２】本発明の一実施形態において、撮影者が主被写体を連続撮影するときの様子を示す図であり、（ａ）は主被写体の出発点、（ｂ）は中間点、（ｃ）は最終点における様子を示す図である。
【図３】本発明の一実施形態において、主被写体のジャンプの前後での撮影画像を示す図であり、（ａ）はジャンプ前、（ｂ）はジャンプ後の撮影画像である。
【図４】本発明の一実施形態において、背景画像の生成を示す図であり、（ａ）は主被写体が移動する様を示し、（ｂ）は合成された背景画像を示し、（ｃ）は主被写体が画面外におり、背景画像として使用できる例を示す。
【図５】本発明の一実施形態において、背景画像の合成と主被写体の抽出について説明する図であり、（ａ）および（ｂ）は連続撮影された各駒を示す図であり、（ｃ）は主被写体を抽出するために選択された特定駒を示し、（ｄ）は合成された背景画像を示し、（ｅ）は抽出された主被写体を示す図である。
【図６】本発明の一実施形態において、生成された主被写体の連続画像を示し、（ａ）は主被写体の連続画像であり、（ｂ）は連続撮影された各駒に割り当てられる主被写体を示す図である。
【図７】本発明の一実施形態において、画像合成され、アニメーション化された画像の各駒を示す図であり、（ａ）は主被写体を連続撮影した画像から生成した背景画像に合成した例、（ｂ）は背景画像を別のものを使用して合成した例を示す図である。
【図８】本発明の一実施形態に係わるカメラにおけるカメラ制御の動作を示すフローチャートである。
【図９】本発明の一実施形態に係わるカメラにおける背景取出しの動作を示すフローチャートである。
【図１０】本発明の一実施形態に係わるカメラにおける主被写体取出しの動作を示すフローチャートである。
【図１１】本発明の一実施形態に係わるカメラにおける合成と補正の動作を示すフローチャートである。
【図１２】本発明の一実施形態に係わるカメラにおいて、スピード切替を説明する図であり、（ａ）は調整時、（ｂ）は調整後のアニメーション化された合成画像を示す図である。
【図１３】本発明の一実施形態に係わるカメラにおいて、方向切替を説明する図であり、（ａ）は調整時、（ｂ）は調整後のアニメーション化された合成画像を示す図である。
【図１４】本発明の一実施形態に係わるカメラにおいて、背景切替を説明する図である。
【図１５】本発明の一実施形態に係わるカメラにおいて、方向切替および背景切替を行った合成画像を示す図である。
【図１６】本発明の一実施形態において、主被写体の大きさの変化を求める際の各画像の大きさの関係を示す図であり、（ａ）は出発点、（ｂ）は主被写体のジャンプ時 、（ｃ）は最終点を示す。
【図１７】本発明の一実施形態において、主被写体の大きさの変化を示すグラフである。
【符号の説明】
【００７３】
２・・・動画撮像部、５・・・頭部顔位置判定部、８・・・表示部、８ａ・・・合成表示
部、１０・・・カメラ、１２・・・操作判定部、１３・・・通信部、１５・・・画像処理
部、１６・・・画像記録部、１６ａ・・・背景記録部、１６ｂ・・・主被写体記録部、１
７・・・アニメ作成部、２１・・・背景分離部、２１ａ・・・比較部、２１ｂ・・・変換
判定部、２２・・・画像合成部、２３・・・十字操作部材、２４・・・スピード表示バー
、３１・・・三脚、４１・・・主被写体、４２・・・撮影者、１０１・・・画像、１０５
・・・画像、１０９・・・画像、１１０・・・背景画像、１１１・・・連続画像、１２１
・・・移動方向
【技術分野】
【０００１】
本発明は、画像合成装置および画像合成方法に関し、詳しくは、対象物が画面内を移動する合成画像を簡単に得ることのできる画像合成装置および画像合成方法に関する。
【背景技術】
【０００２】
近年、写真画像がデジタル化され、静止画のみならず動画による画像鑑賞を、カメラのディスプレイ上や、また外部に出力して、テレビ（ＴＶ）やパーソナルコンピュータ（ＰＣ）上で、簡単に楽しめるようになっている。静止画や動画を楽しむにあたって、単に記録画像をそのまま再生するだけではなく、主被写体や背景画像を分離して、主被写体を自在に移動させたアニメーション画像を作成することにより、一層、楽しみが広がってくる。
【０００３】
例えば、特許文献１に開示には、静止画や動画等の元画像から順次選択することにより、サムネイル画像から１つのアニメーション画像を作成することのできる画像処理装置が開示されている。
【特許文献１】特開２００３−２９９００９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示の画像処理装置は、ユーザーに多くの操作を要求するものであり、かなり技術に習熟した、手間を惜しまないユーザーしか、使いこなせるものではなかった。また、ユーザーに多くの操作を要求するものであり、かなり技術に習熟した、手間を惜しまないユーザーしか、使いこなせるものではなかった
本願発明は、このような事情を鑑みてなされたものであり、アニメーションの形式で作品として楽しめる動画を簡単に作成できる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため第１の発明に係わる画像処理装置は、背景画面上を移動する対象物を連続して撮影する連写部と、上記連写結果から上記移動する対象物のない背景画面を判定する判定部と、上記移動する対象物のない画面と、上記連続撮影によるその他の撮影結果から、上記移動する対象物がジャンプした画像を抽出する抽出部とを具備する。
【０００６】
第２の発明に係わる画像処理装置は、上記第１の発明において、さらに上記対象物がジャンプした抽出画像を、上記背景画像または変更された背景画像に合成する背景合成部とを有することを特徴とする。
【０００７】
上記目的を達成するため第３の発明に係わる画像処理装置は、請求項２に記載の画像処理装置において、上記背景合成部は、上記対象物がジャンプした画像を、上記背景画像の任意の位置に合成可能としたことを特徴とする。
【０００８】
第４の発明に係わる画像処理装置は、上記第３の発明において、頭部顔位置判定部を有し、上記背景合成部は、上記対象物がジャンプした抽出画像の前後で上記頭部顔位置判定部によって判定された対象物の頭部の大きさの変化にしたがって、上記任意位置の合成時の対象物画像の大きさを変更することを特徴とする。
【０００９】
上記目的を達成するため第５の発明に係わる画像処理装置は、上記第１の発明において、上記抽出部は、上記対象物が画面内で一番高い位置にある上記対象物画像を、上記ジャンプした画像として抽出することを特徴とする。
【００１０】
上記目的を達成するため第６の発明に係わる画像処理装置は、上記第１の発明において、上記連続撮影結果から動きのない複数の異なる画像部分を合成して上記背景画面を合成する合成部を有することを特徴とする。
【００１１】
上記目的を達成するため第７の発明に係わる画像処理方法は、背景画面上を移動する対象物を連続して撮影し、上記連写結果から上記移動する対象物のない背景画面を判定し、上記移動する対象物のない画面と、上記連続撮影によるその他の撮影結果から、上記移動する対象物が画面内で一番高い位置にある画像を、上記移動する対象物がジャンプした画像として抽出することを特徴とする。
【００１２】
上記目的を達成するため第８の発明に係わる画像処理方法は、第７の発明において、上記移動する対象物の顔や頭の位置に従って、上記移動する対象物の判定を行うことを特徴とする。
【００１３】
上記目的を達成するため第９の発明に係わる画像処理プログラムは、背景画面上を移動する対象物を連続して撮影した画像を利用し、上記移動する対象物のない背景画面を判定するステップと、上記移動する対象物のない画面と、上記連続撮影によるその他の撮影結果から、上記移動する対象物が画面内で一番高い位置にある画像を、上記移動する対象物がジャンプした画像として抽出するステップとからなることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、アニメーションの形式で作品として楽しめる動画を簡単に作成できる画像処理装置および画像処理方法を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は本発明の一実施形態に係わるカメラ１０の構成を示すブロック図である。カメラ１０はデジタルカメラであり、動画撮像部２、頭部顔位置判定部５、表示部８、合成表示部８ａ、操作判定部１２、通信部１３、画像処理部１５、画像記録部１６、背景記録部１６ａ、主被写体記録部１６ｂ、アニメ作成部１７、背景分離部２１、比較部２１ａ、変化判定部２１ｂ、画像合成部２２を有する。
【００１６】
動画撮像部２は、高速で画像信号の読み出しができる撮像素子を含み、レリーズ釦の全押し操作に応答して、被写体像の光電変換信号に基づく動画像（連続撮影画像、連写画像）の画像データを読み出し可能である。なお、静止画像撮影モードに設定されている場合には、静止画像も動画像と同様に読み出し可能である。
【００１７】
画像処理部１５は、動画撮像部２で読み出した画像データについて、制御部１１と連携して画像処理や画像圧縮等の処理を施す。画像記録部１６は画像処理部１５によって処理された画像データを記録する記録媒体と、この記録媒体への記録制御部等を含む。動画の画像データは、動く被写体と動かない背景の両画像を有しており、画像処理部１５中の背景分離部２１は、動く被写体と背景とを分離する。
【００１８】
すなわち、比較部２１ａは、動画中の各画像を比較し、変化判定部２１ｂは、比較結果に基づいて変化のある画像を主被写体として、また変化のない画像を背景として分離する。これら分離された主被写体の画像データと背景の画像データは、それぞれ画像記録部１６中の背景記録部１６ａと主被写体記録部１６ｂに、各々記録される。
【００１９】
画像処理部１５中の画像合成部２２は、背景分離部２１によって分離された背景の画像上に主被写体を所定の手順に従って配置し、背景画像に対して画像合成を行う。アニメ作成部１７は、画像合成部２２によって合成された画像を、動画風に再生を行うために、アニメーション式に動画データの作成を行う。
【００２０】
頭部顔位置判定部５は、撮影画像の中に人物が被写体として含まれている場合、画像内の顔パターンや人物の形状パターンを判定し、顔や頭の位置を検出する。検出された顔や頭の位置を用いて撮影の際のピント合わせに用い、また画像データの画像記録部１６への記録にあたって、この情報も併せて記録する。さらに、主被写体の判定や動き判定にあたって使用する。
【００２１】
表示部８は、カメラ１０の背面等に配置された液晶モニタ等で構成されている。表示部８は、画像記録部１６に記録されている画像データの再生表示を行い、また光学式ファインダの代わりに、被写体像の観察用のライブビュー表示も行う。また、画像合成されアニメーション等の表示も行い、ユーザーはこのアニメーション表示等、動画表示を楽しむことができる。さらに、表示部８中の合成表示部８ａは、画像合成を行うに適した画像の撮影を行うにあたって、画面内に保持画像を半透明で表示し、この半透明表示と比較することによって被写体の動きを確認することができる。
【００２２】
通信部１３は、インターネットやネットワーク等を介してサーバーや外部機器と送受信を行う。この通信部１３を介して、撮影画像や合成画像を外部に送信し、また外部から画像等を受信することができる。操作判定部１２は、ユーザーによるカメラ１０の操作部材等の操作状態を判定する。制御部１１は、カメラ１０内の各部と接続され、操作判定部１２によって判定された操作部材等の操作に応じて、カメラ１０の全体制御を行う。
【００２３】
次に、このように構成された本実施形態に係わるカメラ１０の動作を説明する。本実施形態においては、被写体が飛び跳ねる状態を動画（連続撮影）で撮影し、この動画から背景と主被写体をそれぞれ分離し、抽出された背景に対して、抽出した主被写体があたかも空中遊泳しているかのようなアニメーション画像を生成する。
【００２４】
まず、背景分離と主被写体の変化の判定について図２乃至図４を用いて説明する。図２に、撮影者４２が主被写体４１の動画（連続撮影）を撮影するときの様子を示す。理想的には、背景画像が動かないように、カメラ１０は三脚３１などに固定する方がよいが、カメラ１０が手振れ補正回路や補正機構を有していれば、手持ち撮影でもかまわない。
【００２５】
撮影者４２は、主被写体４１が、図２（ａ）の出発点から図２（ｂ）の中間点を経て、図２（ｃ）に示す最終点まで、ジャンプする様子を、連続撮影する。すなわち、出発点では主被写体はカメラ１０から距離Ｌ１だけ離れた位置であり（図２（ａ））、図２（ｂ）では、主被写体はジャンプで最高点に跳ね上がっており、最終点では主被写体はカメラ１０から距離Ｌ２だけ離れた位置にある。
【００２６】
図２に示した撮影状態において、動画撮影（連続撮影）が実行され、連続した複数駒の静止画からなる動画を取得することができる。この複数駒の静止画から背景画像を抽出するが、本実施形態では、図３に示すようなジャンプ前（図３（ａ））とジャンプ後(図３（ｂ）)の２つの画像を用いて背景画像を抽出する。
【００２７】
また、図３に示す画像を用いて、本実施形態では、主被写体の変化情報を取得している。すなわち、主被写体４１は、図３において、画面の左端に近いＸ１の位置から、画面の右端に近いＸ２の位置に移動している。この位置変化Ｘ１→Ｘ２がある場合に、頭部顔位置検出部５は頭部の大きさ変化（Ｆ１→Ｆ２）を検出する。この頭部の大きさ変化（Ｆ１→Ｆ２）は、後述するように、アニメーション化する際に、主被写体４１の大きさ変化を行う際に使用する。
【００２８】
図３（ａ）および図３（ｂ）を用いて背景の抽出にあたって、図４（ａ）のように、主被写体４１の移動があるとする。この場合、図３（ａ）の前後の画像を比較すると、右半分には移動している画像はなく、また図３（ｂ）の前後の画像を比較すると、画面左半分には移動するものがないことが分かる。そこで、図３（ａ）の右半分の画像と、図３（ｂ）の左半分の画像を合成して、図４（ｂ）に示すような背景画像を得ることができる。
【００２９】
主被写体４１は、図４（ｂ）に示す背景画像と、実際に撮影された画像の差異であると考えることができる。したがって、主被写体４１のみを抽出した画像は、実際に撮影された画像から背景画像の差を求めることにより得られる。なお、メモリ容量に余裕がある場合や、主被写体が早く動くことができる場合には、図４（ｃ）に示すように、主被写体４１が撮影画面の外に移動した画像を、背景画像として選択するようにしてもよい。
【００３０】
次に、連続撮影に基づいて、背景画像の合成と主被写体の抽出について、図５を用いて説明する。図２に示したような撮影状態において、動画撮影（連続撮影）を行うと、図５（ａ）（ｂ）に示すような連続した複数駒の画像が得られる。この例では、９駒の画像が得られ、上段左→右、中段左→右、下段左→右の順に時系列的に並べてある。図３（ａ）に示した画像は、図５（ａ）（ｂ）の左上最上段に示した画像１０１に、図３（ｂ）に示した画像は、図５（ａ）（ｂ）の右下最下段に示した画像１０９に相当する。なお、図５（ａ）（ｂ）に示した連続撮影した画像は、カメラ１０の表示部８に表示可能である。
【００３１】
これらの連続撮影された画像の中から主被写体４１を抜き出すための画像を選択する。図５（ａ）に示した例では、一番、高く跳んだ時点の画像１０５に基づいて主被写体４１を分離する。ただし、主被写体４１の分離にあたっては、これ以外にも、例えば、両手を広げた瞬間とか、表情を変えた瞬間等、種々の状態を選択することができる。ここでは、画像１０５を選択し、この主被写体４１の抽出用の画像を図５（ｃ）に示す。
【００３２】
次に、背景画像は、図５（ｂ）に示す画像１０１および画像１０９を用いて、前述したように、被写体の移動がない部分を用いて合成する。図５（ｄ）はこのようにして合成された背景画像１１０である。背景画像の合成にあたっては、カメラ１０の背景分離部２１によって自動的に動きのない部分を判定し合成してよく、また、ユーザーが、連続撮影した画像を見ながら、背景合成用の２画像を選んでもよい。
【００３３】
上述した主被写体として抽出対象の画像（図５（ｃ））と、合成された背景画像１１０（図５（ｄ））を用いて主被写体４１のみを抽出する。すなわち、図５（ｃ）に存在し、一方図５（ｄ）に存在しない部分を抜き出すと、図５（ｅ）に示すような、主被写体４１のみを抽出することができる。
【００３４】
次に、主被写体として抽出対象の画像（図５（ｃ））を用いて、図６（ａ）に示すように、主被写体４１があたかも空中遊泳していくように、画面内を移動していくアニメーションの生成について図７を用いて説明する。つまり、図５（ａ）（ｂ）に示したような９駒の連続撮影に図６（ａ）に示す主被写体の連続画像１１１を振り分けると、図６（ｂ）に示すようになる。これを連続再生すれば、空中を浮遊していくような、従来表現できなかった画像を作成して再生して楽しむことが出来る。
【００３５】
この場合、主被写体４１の大きさの変化は、前述したように図３（ａ）、（ｂ）で得られた、距離Ｘと頭部の大きさＦの関係から導いて反映させる。すなわち、擬似的な遠近法を用いて、主被写体４１が遠ざかったり、近づいてくるようなアニメーションを作成する。本実施形態のように９分割した画像では、画面を横に９分割して、各駒に主被写体を表示する位置からＸが求まる。画面横幅をＸ０とすると、各駒の主被写体表示位置は、Ｘ０／９、２×Ｘ０／９、３×Ｘ０／９・・となる。また、その各駒の主被写体に、変化率として（Ｆ２−Ｆ１）／（Ｘ２−Ｘ１）を考慮した変化をつける。つまり、この例では、Ｘ０／９を、これに乗じて、大きさの変化を決める。
【００３６】
具体的には、図１６のような、各部の大きさを利用して、人物の拡大、縮小を行う。図１６（ａ）および図１６（ｃ）は、図３（ａ）および図３（ｂ）に相当し、その中間に人物が高く跳ぶ位置Ｘ３（図１６（ｂ）があるとする。画面を９分割し、ｎ×Ｘ０／９の位置で、一番高く跳んだ場合には、その前の駒、（ｎ−１）×Ｘ０／９の位置に合成する人物は、顔の大きさ変化率、Ｒ＝（Ｔ３／Ｆ３）・（Ｆ２−Ｆ１）／（Ｘ２−Ｘ１）を利用して、被写体の大きさはＴ＋Ｒ×Ｘ０／９となり、その後の駒は、Ｔ−Ｒ×Ｘ０／９とする。このような人物の大きさＴの関係は、図１７に図示したようなグラフから決定することができる。なお、擬似的な遠近法として図１７に示す方法で説明したが、これ以外の方法によって主被写体の大きさを変化させるような処理を行ってもよい。
【００３７】
また、主被写体４１が移動する方向は、図５（ｂ）に示す採用駒の前後の移動方向１２１としてもよく、また、ユーザーが自由にかえるようにしてもよい。図７（ａ）は、このようにして得られた主被写体４１の浮遊の画像を、元の背景画像に合成表示した例である。左上から順次右下にかけて表示することにより、主被写体４１が浮遊して動いていく様子を再生することができる。もちろん、背景なしのまま楽しんでもよく、別画像に貼り付けて、図７（ｂ）に示すように、超現実的な映像を楽しんでもよい。こうした背景の選択なども、画像を楽しむ一つの新しい手法となる。
【００３８】
このように連続撮影された動画のなかから、背景や抜き出す主被写体を選択するので、一連の動作でアニメ作成が可能となり、撮影が終わった瞬間にそれを楽しむことができる。また、連続撮影した動画像の中から、一番良い画像を選ぶのも、画像数の多い動画ならではの効果と言える。
【００３９】
次に、図８に示すフローチャートを用いて、前述したような非現実の写真が簡単に撮影できるカメラの動作を説明する。まず、カメラ制御のルーチンに入ると、撮影に先立って、撮像部から画像データを取得し、表示部８に構図決定用にライブビュー表示する（Ｓ１）。続いて、操作判定部１２によってレリーズ釦の全押し操作がなされたか否か、すなわち撮影を行うか否かの判定を行う（Ｓ２）。
【００４０】
判定の結果、撮影を実行する場合には、連続撮影を行う（Ｓ５）。ここでの連続撮影は、一般的なカメラの連写のような秒５駒の連写速度より高速で、例えば、動画と同様に１５駒や３０駒、６０駒で撮影できるものを想定している。続いて、連続撮影が終了したか否かを判定する（Ｓ６）。判定の結果、終了していない場合には、ステップＳ５に戻り、連続撮影を続行する。
【００４１】
ステップＳ６における判定の結果、連続撮影が終了すると、画像データを画像記録部１６に画像記録する（Ｓ７）。連続撮影の終了は、撮影者の操作でもよいが、被写体が画面外にいなくなったことを判定して、自動終了するようにしてもよい。画像記録が終わると、リターンし、最初のステップに戻る。
【００４２】
ステップＳ２における判定の結果、撮影ではなかった場合には、撮影前確認か否かの判定を行う（Ｓ１１）。前述したように、本実施形態においては、主被写体を背景画像から抽出するために、図２乃至図５において説明したような動画撮影（連続撮影）が必要である。特に、図３（ａ）および図３（ｂ）に示したように、主被写体４１が連続撮影の１駒として撮影されることが必要であり、また、図５（ａ）の画像１０５のように、跳びはねた主被写体が画面内に収まっていることが必要である。そこで、撮影前に主被写体４１がこれらの条件を満たして撮影されるか否かの確認を行えるようにしている。
【００４３】
ステップＳ１１における判定の結果、撮影前確認モードが設定された場合には、保持動作を行ったか否かの判定を行う（Ｓ１２）。保持動作は、例えば、レリーズスイッチ等の操作である。判定の結果、保持動作を行った場合には、レリーズスイッチ等の操作部材による保持操作がなされた時点における静止画像を動画撮像部２から取得して静止画像を一時保持する（Ｓ１３）。
【００４４】
ステップＳ１２における判定の結果、保持動作を行っていない場合には、既に保持画面を有しているか否かの判定を行う（Ｓ１７）。ステップＳ１３において静止画像を保持した後、またはステップＳ１７の判定の結果、保持画面を有していた場合には、保持されている静止画像を半透明で表示部８に表示する（Ｓ１４）。保持された静止画像を半透明状態で表示することにより、図４（ａ）のように、ジャンプして着地する地点と、ジャンプする地点の関係を事前に決めて撮影に入ることが可能となる。
【００４５】
したがって、撮影前確認モードでは、例えば、ジャンプ前の位置を記録しておき、どこまで飛ぶかなどの練習ができる（Ｓ１２Ｙｅｓ→Ｓ１４、またはＳ１７Ｙｅｓ→Ｓ１４）。このように、本実施形態においては、動く主被写体を想定しており、主被写体の動きを事前に把握するために、撮影前確認モードを設けている。
【００４６】
ステップＳ１４における半透明表示を行うと、次に、撮影前確認モードを終了するか否かの判定を行う（Ｓ１５）。撮影前確認モードを終了する場合には、撮影者は撮影前確認モードの終了釦を操作するので、この釦が操作されたか否か判定を行う。判定の結果、終了であった場合には、表示部８における半透明表示を終了する（Ｓ１６）。ステップＳ１７において保持画面がなかった場合、ステップＳ１５において終了ではなかった場合、または半透明表示を終了すると、リターンし、最初のステップ１に戻る。
【００４７】
ステップＳ１１における判定の結果、撮影前確認ではなかった場合には、次に再生モードか否かの判定を行う（Ｓ２１）。判定の結果、再生モードではなかった場合には、ステップＳ１に戻る。一方、再生モードであった場合には、再生動作を行う（Ｓ２２）。再生動作は、画像記録部１６に記録されている静止画や動画の画像データを読み出し、表示部８に表示する。再生にあたっては、複数駒をまとめて縮小サイズで表示するサムネイル表示、または１駒ごとに表示を行う。
【００４８】
続いて、アニメ化を行うか否かの判定を行う（Ｓ２３）。動画（連続撮影）が選択されている際に、アニメ化を指示する操作部材が操作されたか否かの判定である。判定の結果、再生モードではなかった場合には、ステップＳ１に戻る。一方、アニメ化を行う場合には、背景取出しを行う（Ｓ２４）。背景取り出しは、図４および図５を用いて説明したように、主被写体４１の存在しない部分の画像から背景画像を合成する。この背景取出しのサブルーチンについては図９を用いて後述する。
【００４９】
背景取出しが終わると、次に、主被写体取出しを行う（Ｓ２５）。主被写体取出しは、図５（ｅ）に示すような主被写体４１のみを取り出すための処理である。この主被写体取出しのサブルーチンについては、図１０を用いて後述する。主被写体取出しが終わると、主被写体と背景画像の合成を行う（Ｓ２６）。その後、続いて、合成画像の再生および調整を行う（Ｓ２７）。再生にあたっては、主被写体の浮遊画像等の様子を見ながら、進行方向やスピード、また背景などを調整することができる。ステップＳ２６およびステップＳ２７における処理ついては、図１１を用いて後述する。
【００５０】
次に、ステップＳ２４の背景取出しのサブルーチンについて、図９を用いて説明する。まず、背景分離部２１の比較部２１ａおよび変化判定部２１ｂによって動体なし画面が有るか否かの判定を行う（Ｓ４１）。一連の動体を撮影した動画の中に、動体が通り過ぎた画像、または通り過ぎる前の画像があれば、その画像を背景画像として使用することができる。判定の結果、動体なしの画面が有れば、その画面を背景画像とする（Ｓ４８）。
【００５１】
一方、判定の結果、動体なしの画面がない場合には、画面左半分に動きのない駒の判定を行う（Ｓ４２）。続いて、画面右半分に動きのない駒の判定を行う（Ｓ４３）。すなわち、ステップＳ４２、およびステップＳ４３において、画面の左半分と右半分のそれぞれで動体の存在しない駒を探し出す。
【００５２】
ステップＳ４２、Ｓ４３における駒判定が終わると、動きなし部を用いて背景画像の合成が可能か否かの判定を行う（Ｓ４４）。一連の動画の中に、左右それぞれ動きのない画像がない場合には、背景画像の合成が不能なので、背景画像の合成が可能か否かの判定である。判定の結果、合成可能であれば、検出された２つの画像を用いて背景画像を合成する（Ｓ４６）。一方、合成不可能の場合には、警告表示を行う（Ｓ４５）。ステップＳ４５、Ｓ４６またはＳ４８が終わると、元のフローに戻る。
【００５３】
次に、背景画像を利用して撮影画像から、主被写体を抽出する主被写体取出しのサブルーチンについて、図１０を用いて説明する。ここで抽出した被写体は、後述するように、空中浮遊等、アニメーション化にあたって使用する主被写体の画像である。一連の動画の中からどの画像を選択するかは、ユーザーの好みで決めても良いが、本実施形態においては、主被写体が一番高い位置にジャンプしたとき画像を優先して選択し、ユーザーは好みにそぐわない場合には、手動で変更できるようにしている。
【００５４】
主被写体取出しのサブルーチンに入ると、まず、一連の動画の中から、主被写体が最も高い位置に変化している駒の選択を行う（Ｓ５１）。選択が行われると、その画像が表示部８に表示されるので、その画像をユーザーが見ることができる。ユーザーはその表示画像で主被写体を抽出してよいかどうか判断する（Ｓ５２）。その画像でよければ、ユーザーはＯＫ釦等の操作部材を操作し、他の画像に変更したい場合には手動で選択する（Ｓ５３）。
【００５５】
自動もしくは手動で主被写体が選択されると、次に、指定駒と背景画像の比較部２１ａによって比較を行う（Ｓ５４）。続いて、指定駒にあって、背景画像にないものを主被写体として抽出する（Ｓ５６）。ここで抽出された主被写体が、画面からはみ出る等の問題がないかどうか、判定する（Ｓ５６）。判定の結果、問題がある場合には、やり直しの警告表示を行い（Ｓ５７）、元のルーチンに戻る。
【００５６】
主被写体の画像がＯＫであれば、次に、空中浮遊等のアニメーション画像の合成にあたって使用する主被写体の動きの方向と大きさの変化を検出する。まず、指定駒の前の駒にあって背景駒にないものを抽出する（Ｓ５８）。続いて、指定駒の後の駒にあって、背景駒にないものを抽出する（Ｓ５９）。これらのステップＳ５８およびＳ５９において、指定駒前後での主被写体を抜き出すことができる。この前後の駒から抜き出した主被写体の変化に基づいて、主被写体の動く方向と大きさの変化を決定する（Ｓ６０）。この決定にあたっては、図３、図１６および図１７に説明したような擬似的な遠近法を用いて行う。
【００５７】
次に、背景画像と主被写体を合成し、再生し、調整を行う合成と補正のサブルーチンについて、図１１を用いて説明する。前述したように、このサブルーチンは、図８に示したフローチャートのステップＳ２６およびＳ２７に相当する。
【００５８】
合成と補正のサブルーチンに入ると、まず、撮影の最初の駒の置き換えを開始する（Ｓ６１）。例えば、図５に示すように、９駒連写撮影を行った場合、その最初の駒を、合成画像に置き換える。この合成画像への置き換えを開始すると、主被写体の複製を作成する（Ｓ６２）。複製にあたっては、ステップＳ６０において求めた主被写体の大きさの変化に従って、主被写体画像の大きさを決めて、主被写体画像を拡大、縮小したのを作成する。
【００５９】
次に、主被写体を背景画像に合成する（Ｓ６３）。図９のステップＳ４６またはステップＳ４８において作成した背景画像に、ステップＳ６２において生成した主被写体を合成することにより行う。これで最初の駒における画像合成が完成する。続いて、次の駒の置き換えを行うか否かの判定を行う（Ｓ６４）。判定の結果、次の駒がある場合には、次の駒に置き換えてから（Ｓ６５）、ステップＳ６２に戻り、撮影済みの駒に対して、主被写体の複製と（Ｓ６２）、これを背景画像に合成する（Ｓ６４）。
【００６０】
最後の駒までステップＳ６２〜Ｓ６５を繰り返すことにより、撮影済みの全駒に対応して、少しずつ主被写体の大きさと位置が変わるようにした合成画像を得ることができる。つまり、撮影した時間と同じ時間のアニメーションが得られ、ユーザーには、あたかもアニメーションが撮影できるカメラとして認識される。
【００６１】
ステップＳ６４における判定の結果、すべての駒に対して置き換えが終了すると、確認を行うか否かの判定を行う（Ｓ６６）。この確認は、ステップＳ６２〜Ｓ６５の繰り返しにより生成された合成画像の出来上がり具合を再生表示して確認するためのステップであり、確認再生用の操作部材の操作状態を判定する。ユーザーが確認再生を望まない場合には、ステップＳ６６をＮｏで抜けて、元のルーチンに戻る。
【００６２】
ステップＳ６６における判定の結果、確認再生を行うとした場合には、表示部８にアニメーション化した合成画像の再生表示を行う（Ｓ６７）。続いて、調整が必要か否かの判定を行う（Ｓ６８）。このステップは、合成画像の再生表示をユーザーが見て、好みに応じて、主被写体の移動速度等の調整を行うか否かの判定である。この判定は、ユーザーが調整用の操作部材を操作したか否かに基づいて行う。
【００６３】
ステップＳ６８における判定の結果、調整が必要ではない場合には、ステップＳ６８をＮｏで抜けて、元のルーチンに戻る。一方、調整が必要な場合には、主被写体の移動速度（スピード）の切り替えを行う（Ｓ６９）。このスピード切り替えは、スピード切替の制御メニューを選択し、図１２（ａ）に示す十字キー操作部材２３を操作することにより行う。この操作に応じて画像の間引きや増加を行い、また、スピード調整モードのスピード表示バー２４の表示制御を行う。例えば、図７（ａ）（ｂ）のように、アニメーション画像を表示するのに、９駒を費やしていていた場合、高速化すると、図１２（ｂ）に示すように、画像を間引きして高速化し、３駒でアニメーション画像を表示する。
【００６４】
次に、主被写体の方向切替を行う（Ｓ７０）。このステップでは、方向切替の制御メニューを選択することによって、主被写体４１の移動の方向を矢印で表示させる。この状態で、例えば、カメラ１０の背面に設けられた十字操作部材２３を操作することによって、微調整できるようにすればよい。図７（ａ）（ｂ）に示した例では、主被写体４１の移動方向は右上であったが、調整により、図１３（ｂ）に示すように、右下に移動方向を変更することができる。
【００６５】
方向切替が終わると、次に、背景切替を行う（Ｓ７１）。このステップでは、背景切替の制御メニューを選択することによって、背景画像１１０をサムネイル表示させる。この状態で、十字操作部材２３を操作することによって、主被写体４１に対する背景画像を切り換えることができる。背景切替が終わると、ステップＳ６１に戻り、切替設定された内容で、再度、画像合成を行う。上述した方向切替や背景切替を行って、アニメーション化され、変化に富んだ動画像の例を、図１５に示す。
【００６６】
以上説明したように、本実施形態においては、人物（主被写体）等の対象物を連続撮影（動画撮影、連写撮影）し、この連続撮影した画像の中から背景画像を選択し、または複数の画像から背景画像を合成している。また、連続撮影した複数の画像から対象物の大きさの変化と移動方向を検出し、この情報に基づいて、特定駒に写っている対象物について連続画像１１１を生成し、これを背景画像に合成することにより、アニメーション化した画像を生成している。このため、簡単な操作で、通常、撮影が不可能なシーンの動画作成を行い、それを見て楽しむことが可能な画像合成装置を提供できる。
【００６７】
なお、本実施形態においては、主被写体の動きの方向と大きさの変化の両方について検出し、この両方の情報に基づいて、抽出された主被写体の連続画像１１１を生成していた（図１１のＳ６２参照）。しかし、動きの方向または大きさの変化のいずれか一方の情報を用い、他の情報については、予め設定するデフォルト値に従って主被写体の連続画像を生成するようにしても、勿論かまわない。
【００６８】
また、本実施形態においては、画像の合成にあたっては、連続撮影した駒に対して、それぞれ主被写体を割り当てるようにしていた（図１１のＳ６１〜Ｓ６５参照）。しかし、一対一に割り当てる以外にも、任意の数に割り当てるようにしてもよい。また、背景画像は連続撮影した画像から合成したものを優先的に使用していたが、これに限らず、図７（ｂ）図１４に示したような背景画像をデフォルト値として使用し、オプションとして連続撮影した画像から合成した背景画像を使用するようにしてもよい。
【００６９】
さらに、本実施形態においては、連続撮影したカメラにおいて、そのまま背景画像の合成、主被写体の抽出および画像合成を行っていた。しかし、これに限らず、カメラにおいては連続撮影のみとし、カメラに記録された連続撮影の画像を用いて、パーソナルコンピュータ等の情報機器によって、背景画像の合成、主被写体の抽出および画像合成等の処理を行うようにしても勿論かまわない。
【００７０】
なお、本発明の実施形態においては、撮影対象として、画面中央部に存在する人物のみならず、例えば、画面内周辺部などに同時に動いているものがあれば、この移動しているものを対象物として、背景から抜き出して、主被写体４１と同様に、アニメーション効果を持った再生ができるようにしても勿論かまわない。また、本実施形態においては、連続撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【００７１】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００７２】
【図１】本発明の一実施形態に係わるカメラの構成を示すブロック図である。
【図２】本発明の一実施形態において、撮影者が主被写体を連続撮影するときの様子を示す図であり、（ａ）は主被写体の出発点、（ｂ）は中間点、（ｃ）は最終点における様子を示す図である。
【図３】本発明の一実施形態において、主被写体のジャンプの前後での撮影画像を示す図であり、（ａ）はジャンプ前、（ｂ）はジャンプ後の撮影画像である。
【図４】本発明の一実施形態において、背景画像の生成を示す図であり、（ａ）は主被写体が移動する様を示し、（ｂ）は合成された背景画像を示し、（ｃ）は主被写体が画面外におり、背景画像として使用できる例を示す。
【図５】本発明の一実施形態において、背景画像の合成と主被写体の抽出について説明する図であり、（ａ）および（ｂ）は連続撮影された各駒を示す図であり、（ｃ）は主被写体を抽出するために選択された特定駒を示し、（ｄ）は合成された背景画像を示し、（ｅ）は抽出された主被写体を示す図である。
【図６】本発明の一実施形態において、生成された主被写体の連続画像を示し、（ａ）は主被写体の連続画像であり、（ｂ）は連続撮影された各駒に割り当てられる主被写体を示す図である。
【図７】本発明の一実施形態において、画像合成され、アニメーション化された画像の各駒を示す図であり、（ａ）は主被写体を連続撮影した画像から生成した背景画像に合成した例、（ｂ）は背景画像を別のものを使用して合成した例を示す図である。
【図８】本発明の一実施形態に係わるカメラにおけるカメラ制御の動作を示すフローチャートである。
【図９】本発明の一実施形態に係わるカメラにおける背景取出しの動作を示すフローチャートである。
【図１０】本発明の一実施形態に係わるカメラにおける主被写体取出しの動作を示すフローチャートである。
【図１１】本発明の一実施形態に係わるカメラにおける合成と補正の動作を示すフローチャートである。
【図１２】本発明の一実施形態に係わるカメラにおいて、スピード切替を説明する図であり、（ａ）は調整時、（ｂ）は調整後のアニメーション化された合成画像を示す図である。
【図１３】本発明の一実施形態に係わるカメラにおいて、方向切替を説明する図であり、（ａ）は調整時、（ｂ）は調整後のアニメーション化された合成画像を示す図である。
【図１４】本発明の一実施形態に係わるカメラにおいて、背景切替を説明する図である。
【図１５】本発明の一実施形態に係わるカメラにおいて、方向切替および背景切替を行った合成画像を示す図である。
【図１６】本発明の一実施形態において、主被写体の大きさの変化を求める際の各画像の大きさの関係を示す図であり、（ａ）は出発点、（ｂ）は主被写体のジャンプ時 、（ｃ）は最終点を示す。
【図１７】本発明の一実施形態において、主被写体の大きさの変化を示すグラフである。
【符号の説明】
【００７３】
２・・・動画撮像部、５・・・頭部顔位置判定部、８・・・表示部、８ａ・・・合成表示
部、１０・・・カメラ、１２・・・操作判定部、１３・・・通信部、１５・・・画像処理
部、１６・・・画像記録部、１６ａ・・・背景記録部、１６ｂ・・・主被写体記録部、１
７・・・アニメ作成部、２１・・・背景分離部、２１ａ・・・比較部、２１ｂ・・・変換
判定部、２２・・・画像合成部、２３・・・十字操作部材、２４・・・スピード表示バー
、３１・・・三脚、４１・・・主被写体、４２・・・撮影者、１０１・・・画像、１０５
・・・画像、１０９・・・画像、１１０・・・背景画像、１１１・・・連続画像、１２１
・・・移動方向
【特許請求の範囲】
【請求項１】
背景画面上を移動する対象物を連続して撮影する連写部と、
上記連写結果から上記移動する対象物のない背景画面を判定する判定部と、
上記移動する対象物のない画面と、上記連続撮影によるその他の撮影結果から、
上記移動する対象物がジャンプした画像を抽出する抽出部と、
を具備することを特徴とする画像処理装置。
【請求項２】
さらに上記対象物がジャンプした抽出画像を、上記背景画像または変更された背景画像に合成する背景合成部とを有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記背景合成部は、上記対象物がジャンプした画像を、上記背景画像の任意の位置に合成可能としたことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
頭部顔位置判定部を有し、
上記背景合成部は、上記対象物がジャンプした抽出画像の前後で上記頭部顔位置判定部によって判定された対象物の頭部の大きさの変化にしたがって、上記任意位置の合成時の対象物画像の大きさを変更することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記抽出部は、上記対象物が画面内で一番高い位置にある上記対象物画像を、上記ジャンプした画像として抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
上記連続撮影結果から動きのない複数の異なる画像部分を合成して上記背景画面を合成する合成部を有することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
背景画面上を移動する対象物を連続して撮影し、
上記連写結果から上記移動する対象物のない背景画面を判定し、
上記移動する対象物のない画面と、上記連続撮影によるその他の撮影結果から、
上記移動する対象物が画面内で一番高い位置にある画像を、上記移動する対象物がジャンプした画像として抽出することを特徴とする画像処理方法。
【請求項８】
上記移動する対象物の顔や頭の位置に従って、上記移動する対象物の判定を行うことを特徴とする請求項７の画像処理方法。
【請求項９】
背景画面上を移動する対象物を連続して撮影した画像を利用し、上記移動する対象物のない背景画面を判定するステップと、
上記移動する対象物のない画面と、上記連続撮影によるその他の撮影結果から、上記移動する対象物が画面内で一番高い位置にある画像を、上記移動する対象物がジャンプした画像として抽出するステップと
を有することを特徴とする画像処理プログラム。
【請求項１】
背景画面上を移動する対象物を連続して撮影する連写部と、
上記連写結果から上記移動する対象物のない背景画面を判定する判定部と、
上記移動する対象物のない画面と、上記連続撮影によるその他の撮影結果から、
上記移動する対象物がジャンプした画像を抽出する抽出部と、
を具備することを特徴とする画像処理装置。
【請求項２】
さらに上記対象物がジャンプした抽出画像を、上記背景画像または変更された背景画像に合成する背景合成部とを有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記背景合成部は、上記対象物がジャンプした画像を、上記背景画像の任意の位置に合成可能としたことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
頭部顔位置判定部を有し、
上記背景合成部は、上記対象物がジャンプした抽出画像の前後で上記頭部顔位置判定部によって判定された対象物の頭部の大きさの変化にしたがって、上記任意位置の合成時の対象物画像の大きさを変更することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記抽出部は、上記対象物が画面内で一番高い位置にある上記対象物画像を、上記ジャンプした画像として抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
上記連続撮影結果から動きのない複数の異なる画像部分を合成して上記背景画面を合成する合成部を有することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
背景画面上を移動する対象物を連続して撮影し、
上記連写結果から上記移動する対象物のない背景画面を判定し、
上記移動する対象物のない画面と、上記連続撮影によるその他の撮影結果から、
上記移動する対象物が画面内で一番高い位置にある画像を、上記移動する対象物がジャンプした画像として抽出することを特徴とする画像処理方法。
【請求項８】
上記移動する対象物の顔や頭の位置に従って、上記移動する対象物の判定を行うことを特徴とする請求項７の画像処理方法。
【請求項９】
背景画面上を移動する対象物を連続して撮影した画像を利用し、上記移動する対象物のない背景画面を判定するステップと、
上記移動する対象物のない画面と、上記連続撮影によるその他の撮影結果から、上記移動する対象物が画面内で一番高い位置にある画像を、上記移動する対象物がジャンプした画像として抽出するステップと
を有することを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−２３５４８１（Ｐ２０１２−２３５４８１Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１２−１４０６５２（Ｐ２０１２−１４０６５２）
【出願日】平成２４年６月２２日（２０１２．６．２２）
【分割の表示】特願２００７−２８８２７４（Ｐ２００７−２８８２７４）の分割
【原出願日】平成１９年１１月６日（２００７．１１．６）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２４年６月２２日（２０１２．６．２２）
【分割の表示】特願２００７−２８８２７４（Ｐ２００７−２８８２７４）の分割
【原出願日】平成１９年１１月６日（２００７．１１．６）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]