画像処理装置および方法、並びにプログラム
【課題】より簡単に高品位なループ動画像を得ることができるようにする。
【解決手段】ループ動画像の素材となる複数フレームの連写画像が入力されると、動く被写体を含む動きセグメント、または動きのない被写体を含む静止セグメントを含む、複数のセグメントに連写画像が分割される。そして、連写画像の動きセグメントの領域の画像がループ動画像化されて、セグメントループ動画像が生成される。また、連写画像の静止セグメントの領域の画像が切り出されて、静止画像であるセグメント画像が生成される。さらに、これらのセグメントループ動画像とセグメント画像とが結合されて、１つのループ動画像とされる。本発明は、画像処理装置に適用することができる。
【解決手段】ループ動画像の素材となる複数フレームの連写画像が入力されると、動く被写体を含む動きセグメント、または動きのない被写体を含む静止セグメントを含む、複数のセグメントに連写画像が分割される。そして、連写画像の動きセグメントの領域の画像がループ動画像化されて、セグメントループ動画像が生成される。また、連写画像の静止セグメントの領域の画像が切り出されて、静止画像であるセグメント画像が生成される。さらに、これらのセグメントループ動画像とセグメント画像とが結合されて、１つのループ動画像とされる。本発明は、画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、より簡単に高品位なループ動画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、入力ビデオ映像を用いてループ動画像を生成する技術が知られている（例えば、非特許文献１参照）。ループ動画像とは、動画像の所定の区間や、複数の静止画像が繰り返し再生される画像である。
【０００３】
例えば、ループ動画像の生成時には、動画像の所定区間の開始端のフレームと終了端のフレームが時間的に連続していない場合でも、フレーム間の画像の差異による継ぎ目が視覚的に目立たなくなるように、動画像の所定区間が加工される。
【０００４】
そのため、ループ動画像を繰り返し再生すると、ループ動画像の開始端と終了端がはっきりとは分からなくなるため、あたかも無限長の動画像が提示されているかのように感じさせることができる。ループ動画像は、ＣＧ（Computer Graphics）のテクスチャ素材や背景動画像など、多くのアプリケーションプログラムにおいて有用である。
【０００５】
このようなループ動画像は、基本的に以下のようにして生成される。すなわち、まず入力された複数のフレームからなる動画像から、時間の離れた類似度の高い２つのフレームが選択され、それらのフレームを開始端および終了端とする区間が抽出されてループ動画像とされる。
【０００６】
ここで、ループ動画像の再生時には、動画像から抽出された区間の終了端と開始端とが連続して再生されるようにされる。したがって、ループ動画像とされた動画像の区間の開始端と終了端のフレームの画像が類似しているほど、ループ動画像の再生時に、それらのフレームの画像を滑らかに連結することができることになる。例えば、ループ動画像とされる動画像の区間の開始端と終了端の連結をより滑らかなものとするために、動画像におけるそれらの開始端と終了端の近傍のフレームの画像同士をブレンドして、ループ動画像のフレームの画像とするクロスフェード処理なども行われる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Arno Schodl, Richard Szeliski, David H. Salesin, and Irfan Essa.「Video textures」. Proceedings of SIGGRAPH 2000, pages 489-498, July 2000.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところが、ループ動画像の素材となるビデオ映像（動画像）によっては、ループ動画像の開始端と終了端とがうまくつながらず、処理結果が大きく破綻してしまうことがある。具体的には、例えばビデオ映像内に複数の動被写体があり、それらの被写体が同時にうまくつながるタイミング（フレーム）がなかったり、そもそも２つの類似するフレームがビデオ映像内になかったりする場合があった。
【０００９】
このような不適切なビデオ映像を素材としてループ動画像を生成すると、ループ動画像の開始端と終了端のフレームの画像が破綻してしまったり、再生時に開始端と終了端が滑らかにつながらなかったりする。そのような場合、ユーザは、素材となるビデオ映像の撮影をやり直したり、ループ動画像の生成に用いられるパラメータを手動で変更したりして、所望のループ動画像が得られるように対応しなければならなかった。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、より簡単に高品位なループ動画像を得ることができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の第１の側面の画像処理装置は、異なる時刻に撮影された複数の撮影画像に基づいて、前記撮影画像をいくつかのセグメントに分割するセグメント計算部と、前記複数の前記撮影画像のうちの連続するいくつかの前記撮影画像から、動きのある被写体が含まれる前記セグメントである動きセグメントの画像を切り出し、前記動きセグメントの画像に基づいて、ループ動画像として再生可能な画像を生成するループ動画像生成部とを備える。
【００１２】
前記ループ動画像を、連続する複数の前記動きセグメントの画像のうち、類似度の高い２つの画像の間にある画像が順番に繰り返し表示される動画像とすることができる。
【００１３】
画像処理装置には、前記複数の前記撮影画像のうちのいくつかの前記撮影画像から、動きのない被写体が含まれる前記セグメントである静止セグメントの画像を切り出して、前記静止セグメントの画像に基づいて、１つの静止画像であるセグメント画像を生成するセグメント画像生成部をさらに設けることができる。
【００１４】
画像処理装置には、前記ループ動画像として再生可能な画像と前記セグメント画像とを結合して、１つのループ動画像を生成するセグメント結合処理部をさらに設けることができる。
【００１５】
前記セグメント画像生成部には、いくつかの前記静止セグメントの画像を重ね合わせることで、前記セグメント画像を生成させることができる。
【００１６】
前記ループ動画像生成部には、連続する複数の前記動きセグメントの画像のうち、類似度の高い２つの画像がある場合、前記類似度の高い２つの画像を含む、連続する複数の前記動きセグメントの画像に基づいて、前記ループ動画像として再生可能な画像を生成させることができる。
【００１７】
前記ループ動画像生成部には、連続する複数の前記動きセグメントの画像のうち、類似度の高い２つの画像がない場合、１つの前記動きセグメントの画像に基づいて、１つの静止画像であるセグメント画像を生成させることができる。
【００１８】
画像処理装置には、前記撮影画像よりも解像度の高い高解像度画像から、動きのない被写体が含まれる前記セグメントである静止セグメントに対応する領域の画像を切り出し、前記静止セグメントに対応する領域の画像に基づいて、１つの静止画像であるセグメント画像を生成するセグメント画像生成部をさらに設け、前記ループ動画像生成部には、前記高解像度画像と同じ解像度に変換された前記撮影画像に基づいて、前記ループ動画像として再生可能な画像を生成させることができる。
【００１９】
画像処理装置には、撮影モードを切り替えるための操作部をさらに設け、前記操作部に対する操作により、前記撮影モードとして所定のモードが選択された場合、前記撮影画像および前記高解像度画像が撮影されるようにすることができる。
【００２０】
前記高解像度画像の撮影前に、前記複数の前記撮影画像が撮影されるようにし、画像処理装置には、前記複数の前記撮影画像における前記動きセグメントの画像のうち、類似度の高い２つの画像があるか否かを判定し、その判定結果を出力する通知部をさらに設けることができる。
【００２１】
前記類似度の高い２つの画像があると判定された場合、前記高解像度画像が撮影され、前記ループ動画像として再生可能な画像、および前記セグメント画像が生成されるようにすることができる。
【００２２】
本技術の第１の側面の画像処理方法またはプログラムは、異なる時刻に撮影された複数の撮影画像に基づいて、前記撮影画像をいくつかのセグメントに分割し、前記複数の前記撮影画像のうちの連続するいくつかの前記撮影画像から、動きのある被写体が含まれる前記セグメントである動きセグメントの画像を切り出し、前記動きセグメントの画像に基づいて、ループ動画像として再生可能な画像を生成するステップを含む。
【００２３】
本技術の第１の側面においては、異なる時刻に撮影された複数の撮影画像に基づいて、前記撮影画像がいくつかのセグメントに分割され、前記複数の前記撮影画像のうちの連続するいくつかの前記撮影画像から、動きのある被写体が含まれる前記セグメントである動きセグメントの画像が切り出され、前記動きセグメントの画像に基づいて、ループ動画像として再生可能な画像が生成される。
【００２４】
本技術の第２の側面の画像処理装置は、異なる時刻に撮影された複数の撮影画像のなかに類似度の高い２つの前記撮影画像があるか否かを判定し、その判定結果を出力する通知部と、前記複数の前記撮影画像のうち、類似度の高い２つの前記撮影画像を含む、連続する複数の前記撮影画像に基づいて、ループ動画像として再生可能な画像を生成するループ動画像生成部とを備える。
【００２５】
本技術の第２の側面の画像処理方法は、異なる時刻に撮影された複数の撮影画像のなかに類似度の高い２つの前記撮影画像があるか否かを判定し、その判定結果を出力し、前記複数の前記撮影画像のうち、類似度の高い２つの前記撮影画像を含む、連続する複数の前記撮影画像に基づいて、ループ動画像として再生可能な画像を生成するステップを含む。
【００２６】
本技術の第２の側面においては、異なる時刻に撮影された複数の撮影画像のなかに類似度の高い２つの前記撮影画像があるか否かが判定され、その判定結果が出力され、前記複数の前記撮影画像のうち、類似度の高い２つの前記撮影画像を含む、連続する複数の前記撮影画像に基づいて、ループ動画像として再生可能な画像が生成される。
【発明の効果】
【００２７】
本技術の第１の側面および第２の側面によれば、より簡単に高品位なループ動画像を得ることができる。
【図面の簡単な説明】
【００２８】
【図１】ループ動画像の生成について説明する図である。
【図２】画像の類似度合いの比較について説明する図である。
【図３】本技術を適用したループ動画像の生成について説明する図である。
【図４】画像処理装置の構成例を示す図である。
【図５】ループ動画像生成処理を説明するフローチャートである。
【図６】画像処理装置の他の構成例を示す図である。
【図７】撮影装置の構成例を示す図である。
【図８】画像処理部の構成例を示す図である。
【図９】撮影処理を説明するフローチャートである。
【図１０】ループ動画像生成処理を説明するフローチャートである。
【図１１】画像処理部の他の構成例を示す図である。
【図１２】ループ動画像生成処理を説明するフローチャートである。
【図１３】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００３０】
〈第１の実施の形態〉
［ループ動画像の生成手法について］
まず、ループ動画像の生成手法の概要について説明する。例えば、図１に示すように、ループ動画像の素材として、複数フレームからなる動画像ＭＰ１１が入力され、この動画像ＭＰ１１の所定の区間を切り出してループ動画像を生成する場合を考える。なお、図１において、横方向は時間を示しており、図中、１つの四角形は１つのフレームの画像を表している。
【００３１】
ループ動画像を生成するにあたり、まず素材となる動画像ＭＰ１１から、時間的に離れた位置にある、最も類似度が高いフレームのペアが検出される。この例では、動画像ＭＰ１１を構成するフレームのうち、フレームｉと、そのフレームｉよりも時間的に後にあるフレームｊが最も類似度の高いフレームペアとして検出される。このようにしてフレームのペアが検出されると、動画像ＭＰ１１のフレームｉからフレームｊまでの区間が切り出される。
【００３２】
一般的に、動画像内で類似度の高いフレームのペアが検出されても、それらのフレームの画像が完全に一致することはない。そのため、検出された２つのフレームを開始端および終了端とする区間を繰り返し再生すると、ユーザには、終了端から開始端への遷移（継ぎ目）が明らかに分かってしまう。
【００３３】
そこで、動画像ＭＰ１１から切り出された区間の開始端近傍のフレームの画像と、終了端近傍のフレームの画像とが加工されて、ループ動画像ＬＭ１１とされる。
【００３４】
すなわち、動画像ＭＰ１１から切り出された区間の開始端のフレームｉの画像と、終了端のフレームｊの画像とがブレンドされて、その結果得られた画像が、ループ動画像ＬＭ１１の開始端のフレームｉ’の画像とされる。つまり、フレームｉの画像とフレームｊの画像との同じ位置にある画素が、所定の重みにより重み付き加算されて、それらの画素と同じ位置にあるフレームｉ’の画像の画素とされる。
【００３５】
また、フレームｉの１つ後のフレーム（ｉ＋１）と、フレームｊの１つ後のフレーム（ｊ＋１）とが所定の重みによりブレンドされて、フレームｉ’の１つ後のフレーム（ｉ＋１）’とされる。さらに、フレーム（ｉ＋１）の１つ後のフレーム（ｉ＋２）と、フレーム（ｊ＋１）の１つ後のフレーム（ｊ＋２）とが所定の重みによりブレンドされて、フレーム（ｉ＋１）’の１つ後のフレーム（ｉ＋２）’とされる。
【００３６】
同様に、フレームｊの１つ前のフレーム（ｊ−１）と、フレームｉの１つ前のフレーム（ｉ−１）とが所定の重みによりブレンドされて、ループ動画像ＬＭ１１の終了端のフレーム（ｊ−１）’とされる。また、フレーム（ｊ−１）の１つ前のフレーム（ｊ−２）と、フレーム（ｉ−１）の１つ前のフレーム（ｉ−２）とが所定の重みによりブレンドされて、フレーム（ｊ−１）’の１つ前のフレーム（ｊ−２）’とされる。
【００３７】
ここで、動画像ＭＰ１１から切り出された区間の開始端近傍に対するブレンド処理では、開始端よりも後にあるフレームほど、開始端側のフレームの画像に乗算される重みが大きくなる。つまり、ブレンドにより得られる画像に対する、開始端側のフレームの画像の寄与率が大きくなる。逆に、動画像ＭＰ１１から切り出された区間の終了端近傍に対するブレンド処理では、終了端よりも前にあるフレームほど、終了端側のフレームの画像に乗算される重みが大きくなる。
【００３８】
このように、フレームの位置に応じて、ブレンド処理に用いられる重み（ブレンド率）を徐々に変化させていくことで、動画像の継ぎ目の顕在化を軽減させる手法は、クロスフェードと呼ばれている。
【００３９】
以上の処理で得られたループ動画像ＬＭ１１の再生時には、開始端のフレームｉ’から順番に、フレーム（ｉ＋１）’，フレーム（ｉ＋２）’・・・と再生されていく。そして、終端のフレーム（ｊ−１）’が再生されると、その後、再びフレームｉ’に戻り、各フレームが繰り返し再生される。
【００４０】
このように、動画像ＭＰ１１から切り出した区間の開始端および終了端に対し、それぞれ開始端近傍のフレームと終了端近傍のフレームを用いたブレンド処理を行うことで、ループ動画像ＬＭ１１の開始端と終了端のフレームを滑らかにつなげることができる。すなわち、動画像ＭＰ１１の時間的に離れた位置のフレームｉとフレーム（ｊ−１）の画像間の差異が視覚的に顕在化しないようにすることができる。
【００４１】
なお、動画像ＭＰ１１から切り出した区間を構成するフレームのうち、その区間の開始端および終了端から時間的に遠い位置にある中央付近のフレームについては、それらのフレームの画像が、そのままループ動画像ＬＭ１１を構成するフレームの画像とされる。
【００４２】
［類似度の高いフレームペアの検出方法について］
また、ループ動画像の生成時に、素材となる動画像の最も類似度が高いフレームのペアが検出されるが、このようなフレームのペアの検出では、例えば画像同士が比較されて類似度が計算され、計算により得られた類似度に基づいて、最適なペアが決定される。
【００４３】
具体的には、画像同士の類似度として、画像の各画素の差分絶対値和などが利用される。すなわち、２つの画像の同じ位置にある各画素について、それらの画素の輝度値の差分の絶対値が求められ、各画素の差分の絶対値の総和が差分絶対値和（SAD（Sum of Absolute Difference））とされる。
【００４４】
画像同士が類似しているほど、差分絶対値和は小さくなるので、最も差分絶対値和が小さくなるフレームのペアをループ動画像の開始端および終了端とすれば、ループ動画像の開始端と終了端での視覚的な差異は少なくなるはずである。
【００４５】
しかしながら、２つの画像同士の差分絶対値和による評価では、それらの画像上における被写体の時間方向の動きは考慮されない。具体的には、例えば画像上で時計の振り子が左右に振れている場合、特定のフレームのみに注目しても、振り子が左側から振れてきたのか、右側から振れてきたのかを特定することはできない。
【００４６】
そのため、２つの画像同士の差分絶対値和のみから、ループ動画像の開始端および終了端とするフレームのペアを検出すると、ループ動画像の再生時に、終了端のフレームから開始端のフレームに遷移するときに、被写体の動きが不連続になってしまうことがある。
【００４７】
そこで、例えば図２に示すように、連続する複数のフレームからなる区間同士を比較すれば、ループ動画像の開始端および終了端とするのに、より適切なフレームのペアを検出することができるようになる。
【００４８】
なお、図２において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また、図中、動画像ＭＰ１１内の四角形は１つのフレームを表しており、その四角形内の文字はフレームを特定する文字となっている。
【００４９】
例えば、動画像ＭＰ１１から類似する２つのフレームのペアを検出する場合に、フレームｉとフレームｊとが互いに類似しているかが評価されるとする。この場合、フレームｉを中心とする７つの連続するフレーム（ｉ−３）乃至フレーム（ｉ＋３）と、フレームｊを中心とする７つの連続するフレーム（ｊ−３）乃至フレーム（ｊ＋３）とが比較される。
【００５０】
具体的には、図中、中央に示すように、フレーム（ｉ＋ｋ）の画像と、フレーム（ｊ＋ｋ）の画像との差分絶対値和（但し、ｋ＝-3,-2,-1,0,1,2,3）が求められ、それらの差分絶対値和が重みＧ１１により重み付き加算されて、積算ＳＡＤ値が求められる。つまり、各差分絶対値和に重みＧ１１が付けられて積算され、積算ＳＡＤ値とされる。
【００５１】
図２の例では、重みＧ１１は、フレームｉに近いフレームが用いられて算出された差分絶対値和に乗算される重みほど、より大きくなる正規分布重みとなっている。
【００５２】
このようにして求めた積算ＳＡＤ値は、複数の連続するフレームからなる区間同士を比較したときに、各被写体の位置や動きが類似するほど小さくなる。つまり、区間同士の類似の度合いが高いほど、積算ＳＡＤ値は小さくなる。したがって、動画像ＭＰ１１において、最も積算ＳＡＤ値が小さくなるフレームのペアが、ループ動画像の開始端および終了端とするのに最も適したフレームのペアということができる。
【００５３】
このように、複数の連続するフレームについて積算ＳＡＤ値を求めることで、連続する複数のフレームからなる区間同士の類似の度合いを評価することができる。この場合、積算ＳＡＤ値が小さいほど、より類似の度合いが高いことになる。
【００５４】
なお、動画像ＭＰ１１において、連続する何フレームからなる区間同士を比較し、それらの区間の積算ＳＡＤ値を求めるかは、フレーム長を単位とするパラメータ（以下、積算タップ長Lsadとも称する）として指定されるようにしてもよい。そのような場合、例えばユーザにより積算タップ長Lsadが指定されると、積算タップ長Lsadに示される数の連続するフレームの区間について積算ＳＡＤ値が算出される。
【００５５】
また、積算ＳＡＤ値が最小となるフレームペアを検出する場合、時間的に近いフレーム同士では画像の変化が少ないため、積算ＳＡＤ値が小さくなる。そのため、過度に短い周期のループ動画像が生成されてしまうことを防止するには、比較されるフレーム（区間）同士が最低限離れていなければならない距離を定め、その距離よりもフレーム間の距離が短いフレームペアを候補から除外する必要がある。
【００５６】
この場合、例えばユーザにより、比較されるフレーム同士の最低限の距離を示すパラメータ（以下、最短周期長Lminとも称する）が指定される。すると、動画像ＭＰ１１において、最短周期長Lminにより示される距離以上離れているフレームの各ペアについて積算ＳＡＤ値が求められ、それらのペアのうち、積算ＳＡＤ値が最小となるペアのフレームが、ループ動画像に用いられる区間の開始端および終了端とされる。
【００５７】
なお、最短周期長Lminは、入力パラメータとしてプログラムに対して指定されてもよいし、素材となる動画像ＭＰ１１の全長に対する割合としてプログラムにより算出されるようにしてもよい。
【００５８】
［画像の位置合わせについて］
また、ループ動画像の生成時には、必要に応じて素材となる画像の位置合わせが行なわれる。一般的に、ユーザが手持ちでカメラによるビデオ撮影を行なうと、手ぶれが発生する可能性が高い。こうしたカメラ姿勢の動きは、撮影により得られた動画像を視聴する際に不快なだけでなく、ループ動画像の生成時に差分絶対値和などの画像間の類似度を計算する場合にも悪影響となる。
【００５９】
そのため、撮影時における手ぶれ等のカメラの動きを補正する位置合わせ処理を、撮影された画像に対して行い、位置合わせ処理された画像を用いてループ動画像を生成すれば、より高品位なループ動画像を得ることができる。つまり、素材となる画像に対して位置合わせ処理を行えば、三脚を用いてカメラを固定した状態で撮影したような、ぶれのない動画像を得ることができる。
【００６０】
このような位置合わせ処理では、１つの画像（以下、基準画像と称する）を基準として、別の画像（以下、処理対象画像と称する）が射影変換され、基準画像と処理対象画像上の被写体の位置合わせが行なわれる。例えば基準画像は、ループ動画像の素材となる動画像の先頭フレームの画像であってもよいし、任意のフレームの画像であってもよい。
【００６１】
また、位置合わせに必要な射影変換行列は、基準画像と処理対象画像のそれぞれについて、特徴点の抽出を行い、基準画像上の特徴点に対して、処理対象画像上の特徴点が適合するような変換行列を算出することで得られる。
【００６２】
さらに、特徴点は、視点が変化しても再現性のある点とされる。すなわち、特徴点の位置と特徴量が求められて、それらの位置と特徴量の情報から特徴点間の対応関係が計算され、２つのフレームの位置関係が求められる。このような位置合わせに適した特徴点には、例えばSIFT（Scale Invariant Feature Transform）特徴点などがある。
【００６３】
次に、位置合わせ処理に用いられる射影変換行列の具体的な算出手法の一例について説明する。まず、基本画像と処理対象画像から、SIFT特徴点などの特徴点が抽出される。そして、処理対象画像上の特徴点が、基本画像上のどの特徴点に対応するかが、特徴量間のユークリッド距離により求められる。
【００６４】
さらに、RANSAC（Random Sample Consensus）法により、処理対象画像上の特徴点と、その特徴点に対応する基本画像上の特徴点とからなる特徴点ペアがいくつか選択され、これらのペアを構成する特徴点間の位置の変換に最も適合する変換行列が求められる。そして、このようにして得られた変換行列が、位置合わせ処理に用いられる射影変換行列とされる。このようなRANSAC法によれば、特徴点の位置や対応関係に誤りが含まれていても、その誤りが除去されて正しい変換行列が得られる。
【００６５】
なお、RANSAC法やSIFT特徴点の算出の詳細は、例えば「Brown, M. and Lowe, D. G. 2003. "Recognising Panoramas.",In Proceedings of the Ninth IEEE international Conference on Computer Vision-Volume 2 (October 13 - 16, 2003). ICCV. IEEE Computer Society, Washington,DC, 1218.」などに記載されている。
【００６６】
また、位置合わせ処理に用いられる変換行列の種類としては、射影変換行列が用いられるのが一般的であるが、変形自由度の異なるアフィン変換行列や剛体変換行列などが用いられるようにしてもよい。
【００６７】
射影変換行列によって処理対象画像を変形させて、変形後の処理対象画像と基準画像を重ね合わせると、基準画像の端や角部分には処理対象画像と重ならない部分がある。そのため、射影変換後の全ての処理対象画像と基準画像とを重ね合わせたときに、全ての画像の画素が重なる有効な領域のみを残して出力するクロップ処理が行われるようにしてもよい。
【００６８】
すなわち、射影変換された全ての処理対象画像と基準画像を重ね合わせて、それらの処理対象画像と基準画像の画素のうち、他の画像と重ならない画素の領域があれば、その画素の領域が無効領域とされる。そして、そのような無効領域を除く、全ての処理対象画像と基準画像の画素が重なる領域からなる有効領域内において、面積が最大となる矩形の領域が求められ、その結果得られた矩形領域がクロップ領域とされる。
【００６９】
このようにしてクロップ領域が求められると、射影変換された動画像を構成する各フレームの画像のクロップ領域が切り出されて、それらの切り出された各フレームの画像からなる動画像が、ループ動画像の素材となる最終的な動画像とされる。
【００７０】
なお、クロップ処理には、クロップ後の画像が小さくなるという欠点がある。そこで、素材となる動画像の解像度が低下しないように、クロップ処理は行わず、射影変換後の画像に対して、射影変換前の画像と重ならない領域の各画素の画素値として、白または黒の色の画素値を割り当てたり、基準画像の同位置の画素の画素値を割り当てたりしてもよい。
【００７１】
［本技術を適用したループ動画像について］
ループ動画像の生成には、以上において説明した技術が適宜用いられる。次に、本技術を適用して生成されるループ動画像について説明する。なお、以下においては、ループ動画像の素材となる画像を連写画像と呼ぶこととする。
【００７２】
いま、図３に示すように、複数の連写画像からなる連写画像群ＣＰ１１がループ動画像の素材として入力されたとする。
【００７３】
ここで、連写画像群ＣＰ１１は、被写体が同じである時間的に連続して撮影された画像であれば、どのような画像であってもよい。例えば、連写画像群ＣＰ１１は、連写画像を１フレームの画像とする動画像であってもよいし、連続して撮影された各時刻の静止画像からなる静止画像群であってもよい。
【００７４】
このような連写画像群ＣＰ１１が入力されると、各連写画像は、動きのある被写体が含まれているセグメント、または動きのない静止した被写体が含まれるセグメントの少なくとも何れかからなる複数のセグメントに分割される。
【００７５】
図３の例では、連写画像群ＣＰ１１を構成する各連写画像は、空間方向にセグメントＳＧ１乃至セグメントＳＧ４の４つのセグメントに分割されている。例えば、セグメントＳＧ１は、静止した被写体が含まれるセグメント（以下、静止セグメントとも称する）であり、セグメントＳＧ２乃至セグメントＳＧ４は、動きのある被写体が含まれているセグメント（以下、動きセグメントとも称する）である。
【００７６】
連写画像がいくつかのセグメントに分割されると、それらのセグメントごとに、連写画像上のセグメントの領域が表示される静止画像（以下、セグメント画像と称する）またはループ動画像（以下、セグメントループ動画像と称する）が生成される。そして、それらの各セグメントのセグメント画像とセグメントループ動画像が結合されて、最終的な１つのループ動画像とされる。
【００７７】
具体的には、まず静止セグメントであるセグメントＳＧ１について、連写画像群ＣＰ１１を構成する複数の連写画像のうちの１または複数の連写画像が選択され、選択された連写画像から１つのセグメント画像ＳＧＰ１１が生成される。例えば、連写画像群ＣＰ１１の最初の数フレームの連写画像における、セグメントＳＧ１の領域の画像が重ね合わされて、セグメント画像ＳＧＰ１１とされる。
【００７８】
静止セグメントでは被写体の動きは殆どないので、ループ動画像の再生時に、静止画像であるセグメント画像ＳＧＰ１１を継続して表示すれば、連写画像に特別な処理を施すことなく、ループ動画像の終了端から開始端への遷移を滑らかにすることができる。
【００７９】
次に、動きセグメントであるセグメントＳＧ２について、連写画像群ＣＰ１１を構成する各連写画像上のセグメントＳＧ２の領域の画像に基づいて、それらの画像がループ動画像の生成に適しているかが判定される。すなわち、それらの画像群のなかに、ループ動画像の生成に適した類似度の高い画像のペアがあるか否かが判定される。
【００８０】
図３の例では、連写画像のセグメントＳＧ２の領域の画像は、ループ動画像の生成に適していると判定され、これらの画像からループ動画像が生成され、セグメントＳＧ２のセグメントループ動画像ＳＧＭ１１とされる。
【００８１】
同様に、動きセグメントであるセグメントＳＧ３について、連写画像群ＣＰ１１を構成する各連写画像上のセグメントＳＧ３の領域の画像が、ループ動画像の生成に適しているかが判定される。この例では、連写画像のセグメントＳＧ３の領域の画像は、ループ動画像の生成に適していないと判定され、連写画像群ＣＰ１１を構成する連写画像におけるセグメントＳＧ３の領域の画像から、１つのセグメント画像ＳＧＰ１２が生成される。例えば、連写画像群ＣＰ１１の最初のフレームの連写画像における、セグメントＳＧ３の領域の画像が、そのままセグメント画像ＳＧＰ１２とされる。
【００８２】
セグメントＳＧ３は動きセグメントであるが、このセグメントＳＧ３の領域は、ループ動画像化に適しておらず、高品位なセグメントループ動画像を得ることができない。そこで、このようなセグメントＳＧ３に対しては、静止セグメントと同様に、静止画像であるセグメント画像を生成し、ループ動画像の再生時に、このセグメント画像が継続して表示されるようにすることで、ループ動画像の破綻を防止することができる。
【００８３】
さらに、動きセグメントであるセグメントＳＧ４について、連写画像群ＣＰ１１を構成する各連写画像上のセグメントＳＧ４の領域の画像が、ループ動画像の生成に適しているか否かが判定される。図３の例では、連写画像のセグメントＳＧ４の領域の画像は、ループ動画像の生成に適していると判定され、これらの画像からループ動画像が生成され、セグメントＳＧ４のセグメントループ動画像ＳＧＭ１２とされる。
【００８４】
そして、連写画像の各セグメントについて得られたセグメント画像ＳＧＰ１１およびセグメント画像ＳＧＰ１２と、セグメントループ動画像ＳＧＭ１１およびセグメントループ動画像ＳＧＭ１２とが結合されて、最終的なループ動画像とされる。
【００８５】
例えば、最終的なループ動画像の所定のフレームの画像ＬＰＦ１１は、各セグメントのセグメント画像、またはセグメントループ動画像の対応するフレームの画像を、それらのセグメントの位置と同じ位置に配置して結合することにより得られる。
【００８６】
すなわち、画像ＬＰＦ１１のフレームに対応する、セグメントループ動画像ＳＧＭ１１のフレームの画像が画像ＳＧＦ１１であり、画像ＬＰＦ１１のフレームに対応する、セグメントループ動画像ＳＧＭ１２のフレームの画像が画像ＳＧＦ１２であるとする。
【００８７】
この場合、セグメント画像ＳＧＰ１１、画像ＳＧＦ１１、セグメント画像ＳＧＰ１２、および画像ＳＧＦ１２が、それぞれ画像ＬＰＦ１１上におけるセグメントＳＧ１乃至セグメントＳＧ４の各位置に配置され、それらの画像が結合されて画像ＬＰＦ１１とされる。
【００８８】
以上のように、被写体の動きに応じて連写画像をいくつかのセグメントに分割し、セグメントごとに生成したセグメント画像とセグメントループ動画像を結合してループ動画像とすることで、連写画像の内容に応じた高品位なループ動画像を簡単に得ることができる。このようにして得られたループ動画像によれば、静止した被写体の部分は高画質で完全に静止させてより写真らしく提示し、動きのある被写体の部分はその動きを強調して、写真の一部が動いているかのように感じさせることができる。
【００８９】
［画像処理装置の構成例］
また、複数の連写画像を入力とし、図３を参照して説明したループ動画像を生成する画像処理装置は、例えば図４に示すように構成される。図４は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
【００９０】
画像処理装置１１は、画像メモリ２１、位置合わせ部２２、セグメント計算部２３、三次元ＮＲ（Noise Reduction）部２４、ループ動画像計算部２５、およびセグメント結合処理部２６から構成される。
【００９１】
画像メモリ２１は、供給された連写画像を一時的に記録するとともに、記録している連写画像を必要に応じて出力する。また、画像メモリ２１は、セグメント結合処理部２６から供給されたループ動画像を一時的に記録し、図示せぬ後段の表示部等に出力する。
【００９２】
位置合わせ部２２は、画像メモリ２１に記録されている連写画像を読み出して、読み出した連写画像に対して位置合わせ処理を行い、位置合わせされた連写画像を画像メモリ２１に供給して記録させる。このようにして位置合わせが行なわれた連写画像は、画像メモリ２１に一時的に記録された後、セグメント計算部２３乃至ループ動画像計算部２５に供給される。
【００９３】
セグメント計算部２３は、画像メモリ２１から供給された連写画像を複数のセグメントに分割し、連写画像上における各セグメントの位置を特定するセグメントマップを生成する。セグメント計算部２３は、生成したセグメントマップを、三次元ＮＲ部２４乃至セグメント結合処理部２６に供給する。
【００９４】
三次元ＮＲ部２４は、画像メモリ２１からの連写画像と、セグメント計算部２３からのセグメントマップとに基づいて、連写画像上の各静止セグメントについてセグメント画像を生成し、セグメント結合処理部２６に供給する。
【００９５】
ループ動画像計算部２５は、画像メモリ２１からの連写画像と、セグメント計算部２３からのセグメントマップとに基づいて、連写画像上の各動きセグメントについて、セグメント画像またはセグメントループ動画像を生成し、セグメント結合処理部２６に供給する。
【００９６】
セグメント結合処理部２６は、セグメント計算部２３からのセグメントマップに基づいて、三次元ＮＲ部２４およびループ動画像計算部２５から供給された各セグメントのセグメント画像とセグメントループ動画像を結合し、ループ動画像を生成する。セグメント結合処理部２６は、生成したループ動画像を画像メモリ２１に供給して記録させる。
【００９７】
［ループ動画像生成処理の説明］
ところで、画像処理装置１１に連写画像が供給され、ループ動画像の生成が指示されると、画像処理装置１１はループ動画像生成処理を行って、ループ動画像を生成し、出力する。以下、図５のフローチャートを参照して、画像処理装置１１によるループ動画像生成処理について説明する。
【００９８】
ステップＳ１１において、画像メモリ２１は、外部から送信されてきた複数の連写画像を受信して、一時的に記録する。
【００９９】
ステップＳ１２において、位置合わせ部２２は、画像メモリ２１から連写画像を読み出して位置合わせ処理を行い、位置合わせされた連写画像を画像メモリ２１に供給して記録させる。
【０１００】
例えば、位置合わせ処理として、上述した射影変換が行なわれる。すなわち、位置合わせ部２２は、各連写画像から特徴点を抽出するとともに、複数の連写画像の何れかを基準画像とし、他の連写画像を処理対象画像として、処理対象画像ごとにRANSAC法などにより射影変換行列を求める。そして、位置合わせ部２２は、求めた射影変換行列により、連写画像上の同じ被写体が重なるように処理対象画像を射影変換することで、連写画像の位置合わせを行なう。このとき、必要に応じて射影変換された連写画像に対してクロップ処理が行われる。
【０１０１】
このようにして位置合わせが行なわれた連写画像は、画像メモリ２１に記録された後、セグメント計算部２３乃至ループ動画像計算部２５に供給される。
【０１０２】
ステップＳ１３において、セグメント計算部２３は、画像メモリ２１から供給された連写画像に対してセグメンテーションを行い、連写画像をいくつかのセグメントに分割する。そして、セグメント計算部２３は、セグメンテーションにより得られたセグメントマップを、三次元ＮＲ部２４乃至セグメント結合処理部２６に供給する。
【０１０３】
例えば、セグメント計算部２３は、複数の連写画像の同じ位置にある画素について、それらの画素の輝度値の分散値を求める。そして、セグメント計算部２３は、求められた分散値と所定の閾値τとを比較して、分散値が閾値τ以上である場合、その分散値を求めた画素を、動きのある画素とする。つまり、動きのある被写体が表示される動き画素とされる。逆に、セグメント計算部２３は、分散値が閾値τ未満である場合、その分散値を求めた画素を、動きのない静止画素とする。
【０１０４】
連写画像上の所定の画素に、動きのない静止した被写体が継続して表示される場合、その画素の輝度値の時間方向の変化は少ないはずである。つまり、各時刻の連写画像における同じ画素の輝度値は、ばらつきが少なく殆ど同じ値となるため、それらの画素の輝度値の分散値は小さくなるはずである。そこで、セグメント計算部２３は、任意のスカラ値を閾値τとして、連写画像上の画素のうち、輝度値の分散値が閾値τ未満である画素を、静止画素とし、分散値が閾値τ以上である画素を、動き画素とする。
【０１０５】
セグメント計算部２３は、連写画像上の各画素について、動き画素か、静止画素かを特定すると、その特定結果に基づいて、動きのある被写体の領域を示すビットマップ画像を生成する。ここで、ビットマップ画像の画素の画素値は、その画素と同じ位置にある連写画像の画素が動き画素である場合に「１」とされ、その画素と同じ位置にある連写画像の画素が静止画素である場合に「０」とされる。
【０１０６】
したがって、ビットマップ画像上において、画素値が「１」である画素からなる領域、つまり互いに隣接する画素の画素値が「１」である領域は、その領域と同じ位置にある連写画像の領域が、動きのある被写体が表示される領域であることを示している。以下、ビットマップ画像上において、画素値が「１」である画素からなる領域を動き領域とも称し、画素値が「０」である画素からなる領域を静止領域とも称することとする。
【０１０７】
ビットマップ画像の生成にあたり、連写画像の各画素の輝度値の分散値を単純に閾値処理すると、ビットマップ画像上に面積の小さい動き領域や静止領域がノイズのように散在してしまうことになる。
【０１０８】
そこで、セグメント計算部２３は、ビットマップ画像上の面積の小さい動き領域や静止領域を孤立点として、ビットマップ画像に対して、モルフォロジカルフィルタ等の孤立点除去フィルタを用いたフィルタ処理を施し、ビットマップ画像上の画素を連結処理する。つまり、ビットマップ画像上から孤立点が除去される。
【０１０９】
孤立点除去フィルタを用いたフィルタ処理では、ビットマップ画像の動き領域や静止領域に対する膨張，収縮処理が行われる。例えば、ビットマップ画像上の動き領域が外側に１画素分だけ広げられたり、１画素分だけ内側に狭められたりする。これにより、動き領域や静止領域といった図形に空いた微小な穴や突起部分が除去され、安定したセグメンテーションが可能となる。なお、動き領域や静止領域に対して、何画素分の膨張，収縮処理をどのような順番で行うかは、任意に定めることができる。
【０１１０】
セグメント計算部２３は、ビットマップ画像にフィルタ処理を施すと、ビットマップ画像上の画素値が「１」からなる動き領域を動きセグメントとし、画素値が「０」からなる静止領域を静止セグメントとする。したがって、１つのセグメントを構成する画素は、空間方向に連続して並ぶ同じ画素値を有する画素となる。
【０１１１】
また、セグメント計算部２３は、ビットマップ画像上の各セグメントに対して、セグメントを特定するラベル（ＩＤ）を付与し、各セグメントにラベルが付与されたビットマップ画像を、セグメントマップとする。これにより、例えば、図３のセグメントＳＧ１乃至セグメントＳＧ４のそれぞれに対してラベルが付与される。
【０１１２】
なお、セグメント計算部２３によりセグメンテーションが行なわれるのではなく、インタラクティブなツールが利用されて、ユーザにより手動で連写画像のセグメントが指定されるようにしてもよい。また、他のプログラムで生成されたセグメントマップが供給されるようにしてもよい。
【０１１３】
セグメントマップが生成されると、セグメントマップが三次元ＮＲ部２４乃至セグメント結合処理部２６に供給され、処理はステップＳ１３からステップＳ１４へと進む。
【０１１４】
ステップＳ１４において、三次元ＮＲ部２４は、画像メモリ２１からの連写画像と、セグメント計算部２３からのセグメントマップとに基づいて、連写画像上の各静止セグメントに対する三次元ＮＲ処理を行い、セグメント画像を生成する。
【０１１５】
例えば、三次元ＮＲ部２４は、セグメントマップから、連写画像上の各静止セグメントの領域を特定する。そして、三次元ＮＲ部２４は、いくつかの連写画像の静止セグメントの領域の画像の平均画像を生成し、得られた平均画像をセグメント画像とする。すなわち、いくつかの連写画像の静止セグメント内の同じ位置にある画素の画素値の平均値が、その画素と同じ位置にあるセグメント画像の画素の画素値とされる。三次元ＮＲ部２４は、生成した各静止セグメントのセグメント画像を、セグメント結合処理部２６に供給する。
【０１１６】
なお、複数の連写画像のうち、どの連写画像を三次元ＮＲ処理に用いるかは、どのようにして定めてもよい。例えば、静止セグメント全体で輝度変化の少ない、連続する所定数のフレームが選択されて、それらの選択されたフレームの連写画像からセグメント画像が生成されるようにしてもよい。また、全てのフレームの連写画像が用いられてセグメント画像が生成されてもよい。
【０１１７】
このように、連写画像の静止セグメントの領域を時間方向に重ね合わせることで、連写画像からノイズを除去し、高品位なセグメント画像を得ることができる。
【０１１８】
一般的な連写画像では、被写体が静止しているように見えても、かすかな動きが残ることが普通であり、このような領域についてループ動画像を生成しても、そのループ動画像の再生時に、わずかな被写体の動きやノイズが知覚されてしまう。
【０１１９】
そこで、静止セグメントでは、セグメントの領域をループ動画像化せずに、三次元ＮＲ処理によりセグメント画像を生成し、ループ動画像の再生時に、継続して同じセグメント画像を表示し続けることで、高品位なループ動画像を提示することができる。これにより、ループ動画像の再生時に、静止セグメントの領域において、ノイズを低減させ、被写体の動きを完全に静止させることができるようになり、静止画像の一部が動いているように見せる演出効果を強調することができる。
【０１２０】
ステップＳ１５において、ループ動画像計算部２５は、セグメント計算部２３からのセグメントマップと、画像メモリ２１からの連写画像とに基づいて、動きセグメントごとに積算ＳＡＤ値を算出する。
【０１２１】
例えば、ループ動画像計算部２５は、複数の連写画像のフレームのうち、最短周期長Lminに示されるフレーム数以上離れた任意の２つのフレームを処理対象のフレームとして選択する。そして、ループ動画像計算部２５は、選択された処理対象のフレームを中心とする、積算タップ長Lsadに示される数の連続するフレームの区間について、図２を参照して説明した計算を行い、積算ＳＡＤ値を求める。なお、積算ＳＡＤ値の算出時においては、連写画像上の処理対象となっているセグメントの領域内の画素のみが用いられて、差分絶対値和が算出される。
【０１２２】
ループ動画像計算部２５は、処理対象とするフレームのペアを変化させながら、各フレームのペアについて積算ＳＡＤ値を算出し、算出された積算ＳＡＤ値が最小となるフレームのペアを、セグメントループ動画像の開始端および終了端のフレームの候補とする。
【０１２３】
このようにして、各動きセグメントの積算ＳＡＤ値が算出されると、ループ動画像計算部２５は、それらの動きセグメントのうち、積算ＳＡＤ値が最小値となる動きセグメントを選択する。そして、ループ動画像計算部２５は、選択された動きセグメントの積算ＳＡＤ値算出時に処理対象とされたフレームのペア間のフレーム数を、これから得ようとするループ動画像の全体の周期（以下、繰り返し周期と称する）とする。つまり、繰り返し周期とされたフレーム数が、ループ動画像を構成する全フレームの数である。
【０１２４】
また、選択された動きセグメントについてのフレームのペアが、その動きセグメントのセグメントループ動画像における開始端および終了端とされる。
【０１２５】
さらに、ループ動画像計算部２５は、ループ動画像の繰り返し周期の長さが求まると、選択された動きセグメント以外の他の動きセグメントについて、積算ＳＡＤ値を再度計算する。すなわち、各動きセグメントについて、積算ＳＡＤ値が最小となる、繰り返し周期の長さだけ離れているフレームのペアが検出され、検出されたフレームのペアが、セグメントループ動画像の開始端および終了端のフレームとされる。
【０１２６】
このように、各動きセグメントについて、同じフレーム数だけ離れたフレームのペアを、セグメントループ動画像の開始端および終了端とすることで、各セグメントループ動画像の全体の周期を同じ長さにすることができる。しかも、セグメントループ動画像の開始端と終了端を、各動きセグメントで異なるフレーム（タイミング）とすることができるので、動きセグメントごとに終了端から開始端への遷移時に、視覚的な変化が最も小さいフレームを開始端および終了端とすることができる。これにより、より高品位なセグメントループ動画像を得ることができる。
【０１２７】
なお、各セグメントループ動画像の周期が異なっている場合でも、それらのセグメントループ動画像を、１つのループ動画像として同時に再生できる装置にループ動画像が出力されるときには、積算ＳＡＤ値の再計算は行なわれない。このような場合には、ループ動画像を再生する装置には、セグメント画像と、周期の異なる複数のセグメントループ動画像とを結合しながら提示する機能が必要となる。
【０１２８】
また、セグメントごとに異なる周期のセグメントループ動画像が生成され、それらの周期の異なるセグメントループ動画像からループ動画像が生成される場合、各セグメントループ動画像の周期を合わせるように再生速度が調整されてからループ動画像が出力されてもよい。そのような場合、例えば、セグメントごとの周期のうち最長の周期を全体の基準周期とし、それよりも短い周期を持つセグメントループ動画像について再生速度調整を行って、基準周期と一致するようにすればよい。
【０１２９】
再生速度の調整は、単純に周期の短いセグメントループ動画像のうちいくつかのフレーム画像については複数回連続して表示するようにして調整してもよい。より厳密な結果を得るには新たに追加したい時間位置のフレーム画像を、その時間位置の前後に存在する２つのフレーム画像を使って、滑らかに動きが連結できるように生成すればよい。
【０１３０】
以上のように、ループ動画像として、少なくとも以下の３つの場合が考えられる。すなわち、全てのセグメントループ動画像の周期が同じとなるように、ループ動画像を生成する場合、いくつかのセグメントループ動画像の周期が異なるループ動画像を生成する場合、およびいくつかの周期の異なるセグメントループ動画像から、再生速度の調整により、全体として１つの周期をもつループ動画像を生成する場合が考えられる。
【０１３１】
ここで、セグメントループ動画像の周期が異なるループ動画像が生成された場合には、ループ動画像の再生側において、異なる周期のセグメントループ動画像を同時に再生する機能が必要となる。また、再生速度の調整を行なう場合には、上述したように、フレーム画像の挿入等により各セグメントループ動画像の周期調整が行なわれる。
【０１３２】
各動きセグメントの積算ＳＡＤ値と、セグメントループ動画像の開始端および終了端となるフレームペアが求められると、処理はステップＳ１５からステップＳ１６に進む。
【０１３３】
ステップＳ１６において、ループ動画像計算部２５は、セグメントマップに基づいて、１または複数の動きセグメントのなかから、１つの動きセグメントを処理対象の動きセグメントとして選択する。
【０１３４】
ステップＳ１７において、ループ動画像計算部２５は、処理対象の動きセグメントは、ループ動画像化が可能であるか否かを判定する。例えば、処理対象の動きセグメントの積算ＳＡＤ値が、所定の閾値以下である場合、ループ動画像化が可能であると判定される。
【０１３５】
ステップＳ１７において、ループ動画像化が可能であると判定された場合、ステップＳ１８において、ループ動画像計算部２５は、連写画像に基づいて、処理対象の動きセグメントのセグメントループ動画像を生成する。
【０１３６】
例えば、ループ動画像計算部２５は、動きセグメントの積算ＳＡＤ値の算出時に処理対象とされた２つのフレームを、それぞれ開始端および終了端とする区間について、その区間の各フレームの連写画像から、動きセグメントの領域の画像を切り出す。そして、ループ動画像計算部２５は、切り出した画像に対して、上述したクロスフェード処理を施すことで、セグメントループ動画像を生成し、セグメント結合処理部２６に供給する。
【０１３７】
このようにして生成されたセグメントループ動画像は、複数の連続するフレームの連写画像上の動きセグメントの画像のうち、類似度が高い２つの画像の間にある画像が順番に繰り返し表示される動画像となる。
【０１３８】
このようにクロスフェード処理を行ってセグメントループ動画像を生成すれば、セグメントループ動画像の終了端から開始端への遷移時における継ぎ目の顕在化を軽減させることができる。しかしながら、クロスフェード処理では、連写画像（動きセグメントの画像）の絵柄の異なる部分では、半透明に複数の連写画像の被写体が混ざり合ってしまうため、継ぎ目が目立ってしまう場合がある。
【０１３９】
そこで、異なるフレームの連写画像をより高品位にブレンドするために、画素単位で最適な遷移タイミングが求められるグラフカット法により、セグメントループ動画像が生成されるようにしてもよい。
【０１４０】
２つの画像の一部を重ね合わせて繋ぎ合わせる場合、グラフカット法では、重ね合わされた２つの画像の重複部分について、それらの２つの画像のうちの何れの画像の画素を採用すれば、画像の繋ぎ合わせによる視覚的な不連続性が小さくなるかが求められる。つまり、各画像における画素値の連続性と、２つの画像間における画素値の連続性とが考慮されて、最適な継ぎ目が算出され、その継ぎ目で２つの画像が接続される。
【０１４１】
これに対して、複数フレームの画像の全ての領域が重なるように、それらの複数の画像を重ね合わせてグラフカット法により繋ぎ合わせる場合、基本的には２つの画像の一部を重ね合わせる場合と同様の処理が行われる。この場合、複数の画像を繋ぎ合わせる継ぎ目は、線ではなく面となる。すなわち、各画像における画素値の連続性と、複数の画像間における画素値の連続性とが考慮されて、各画像の同じ位置にある画素のうちの１つの画素が、画像の継ぎ目となる面上の画素とされる。
【０１４２】
したがって、連続するフレームの動きセグメントの画像からなる区間について、グラフカット法によりセグメントループ動画像を生成する場合、その区間の開始端近傍のフレームの画像と、終了端近傍のフレームの画像とに基づいて、画像のブレンドが行なわれる。すなわち、処理対象となっている区間の開始端近傍のいくつかのフレームと、その区間の終了端近傍のいくつかのフレームとからなる区間をブレンド区間と呼ぶこととする。
【０１４３】
この場合、ブレンド区間に含まれる各フレームの動きセグメントの画像に基づいて、３次元の継ぎ目の面が求められ、その面に基づいて動きセグメントの画像がブレンド処理され、新たな動きセグメントの画像が生成される。そして、このようにして生成された新たな動きセグメントの画像が、処理対象の区間の開始端または終了端のフレームの動きセグメントの画像とされる。
【０１４４】
なお、グラフカット法による画像のブレンドについては、例えば「Vivek Kwatra , Arno Schodl , Irfan Essa , Greg Turk and AaronBobick, "Graphcut Textures: Image and Video Synthesis Using Graph Cuts" Toappear in Proc. ACM Transactions on Graphics, SIGGRAPH 2003」などに詳細に記載されている。
【０１４５】
また、セグメントループ動画像の生成時に、いくつかの連写画像における動きセグメントの領域の画像をブレンドする方法として、クロスフェードやグラフカット法の他、ランダムディゾルブなどが用いられてもよい。
【０１４６】
ステップＳ１８の処理が行われて、セグメントループ動画像が生成されると、その後、処理はステップＳ２０へと進む。
【０１４７】
また、ステップＳ１７において、処理対象の動きセグメントのループ動画像化が可能でないと判定された場合、ステップＳ１９において、ループ動画像計算部２５は、連写画像に基づいて、処理対象の動きセグメントのセグメント画像を生成する。
【０１４８】
例えばループ動画像計算部２５は、所定のフレームの連写画像における処理対象の動きセグメントの領域の画像を切り出して、切り出した画像をそのままセグメント画像とする。
【０１４９】
動きセグメントについて求めた積算ＳＡＤ値が大きい場合、その動きセグメントの領域の画像群を、小さい視覚的差異で繰り返し再生することは困難である。そのため、そのような動きセグメントについては、ループ動画像の再生時に静止画像であるセグメント画像が継続して提示され、ループ動画像が視覚的に不連続となってしまうことが防止される。
【０１５０】
なお、セグメント画像が切り出される連写画像のフレームは、連写画像の先頭のフレームや、中間の位置にあるフレームなど、どのようなフレームであってもよい。
【０１５１】
また、このような動きセグメントのセグメント画像を生成するときに、三次元ＮＲ処理を行うことも考えられる。しかしながら、動きセグメントでは、被写体の動きが大きいため、前後のフレームで画像の内容（絵柄）が大きく異なり、ノイズ成分を正しく抽出することが困難である。したがって、動きセグメントに対しては、三次元ＮＲ処理が行われないようにすることが好ましい。
【０１５２】
このようにして、動きセグメントのセグメント画像が生成されると、ループ動画像計算部２５は、生成したセグメント画像をセグメント結合処理部２６に供給し、処理はステップＳ２０に進む。
【０１５３】
ステップＳ１８においてセグメントループ動画像が生成されたか、またはステップＳ１９において、セグメント画像が生成されると、ステップＳ２０において、ループ動画像計算部２５は、全ての動きセグメントを処理したか否かを判定する。
【０１５４】
ステップＳ２０において、まだ全ての動きセグメントを処理対象として処理していないと判定された場合、処理はステップＳ１６に戻り、上述した処理が繰り返される。
【０１５５】
一方、ステップＳ２０において、全ての動きセグメントを処理したと判定された場合、処理はステップＳ２１に進む。
【０１５６】
ステップＳ２１において、セグメント結合処理部２６は、セグメント計算部２３から供給されたセグメントマップに基づいて、セグメント結合処理を行い、ループ動画像を生成する。すなわち、セグメント結合処理部２６は、三次元ＮＲ部２４およびループ動画像計算部２５から供給されたセグメント画像およびセグメントループ動画像を結合し、１つのループ動画像を生成する。
【０１５７】
例えば、図３を参照して説明したように、各セグメントのセグメント画像、およびセグメントループ動画像の対応するフレームの画像が複製されて、それらのセグメントと同じ位置に配置されて結合され、ループ動画像の１フレーム分の画像とされる。
【０１５８】
セグメント結合処理部２６は、ループ動画像を生成すると、生成したループ動画像を画像メモリ２１に供給して記録させ、ループ動画像生成処理は終了する。このようにして画像メモリ２１に記録されたループ動画像は、その後、図示せぬ表示部等に供給される。
【０１５９】
なお、以上においては、ループ動画像が生成されて出力されると説明したが、各セグメントの画像が結合されずに個別に画像メモリ２１に記録され、出力されるようにしてもよい。そのような場合、セグメント結合処理部２６は、各セグメントのセグメント画像およびセグメントループ動画像を結合せずに、そのまま画像メモリ２１に記録させる。
【０１６０】
この場合、各セグメントのセグメントループ動画像の周期は、必ずしも同じである必要はなく、各セグメントループ動画像の周期が異なる場合には、上述したように、ステップＳ１５において積算ＳＡＤ値の再計算は行なわれない。
【０１６１】
このように、各セグメントのセグメント画像とセグメントループ動画像が対応付けられて画像メモリ２１に記録される場合、例えば、後段の装置では、これらのセグメント画像とセグメントループ動画像が結合されながら、ループ動画像として再生される。また、各セグメントループ動画像が個別に１つの動画像として再生されるようにしてもよい。
【０１６２】
さらに、以上においては、動きセグメントのセグメントループ動画像が生成されると説明したが、ループ動画像を再生するための動きセグメントの画像は、ループ動画像として再生可能な画像であれば、どのような形式の画像であってもよい。例えば、連続する複数フレームの連写画像上における動きセグメントの領域の画像が切り出され、それらの動きセグメントの画像からなる画像群が、ループ動画像を再生するための動きセグメントの画像として出力されてもよい。この場合、動きセグメントの画像群を構成する各画像を順番に繰り返し表示すれば、それらの画像群を、１つのループ動画像として再生可能である。
【０１６３】
以上のようにして、画像処理装置１１は、連写画像をいくつかのセグメントに分割し、セグメントごとにセグメント画像またはセグメントループ動画像を生成する。そして、画像処理装置１１は、これらのセグメント画像とセグメントループ動画像を結合して、１つのループ動画像を生成する。
【０１６４】
このように、セグメントごとにセグメント画像またはセグメントループ動画像を生成することで、連写画像に複雑な動きをする被写体が複数含まれている場合でも、セグメントごとに、そのセグメントに適した高品位な画像を生成することができる。これにより、より簡単に高品位なループ動画像を得ることができる。
【０１６５】
例えばセグメント分割を行なわずにループ動画像を生成する場合、連写画像に単一の動きではなく、複数の異なる動きの被写体が含まれていると、各被写体の動きを勘案した折衷案的なループ動画像が生成されてしまい、望ましいループ動画像を得ることができない。
【０１６６】
これに対して、連写画像上の輝度変化や被写体の動きに応じて連写画像をセグメントに分割し、処理が施される単位を小分けにすることで、結果として最終的に得られるループ動画像の品質を向上させることができる。例えば、セグメントごとに、セグメントループ動画像の最適な遷移タイミングを設定したり、各セグメントループ動画像に異なる繰り返し周期を与えたりすることができる。また、静止セグメントについては、処理を間引くことができるだけでなく、三次元ＮＲ処理により、高画質なセグメント画像を得ることができる。
【０１６７】
〈変形例１〉
［画像処理装置の構成例］
なお、以上においては、生成されたループ動画像が画像処理装置１１から出力されると説明したが、ループ動画像が画像処理装置１１において再生されるようにしてもよい。
【０１６８】
そのような場合、画像処理装置１１は、例えば、図６に示すように構成される。なお、図６において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１６９】
図６の画像処理装置１１は、図４の画像処理装置１１の構成に、さらに表示制御部５１および表示部５２が設けられている点で図４の画像処理装置１１と異なり、他の構成は同じとなっている。
【０１７０】
表示制御部５１は、画像メモリ２１からループ動画像を読み出して、表示部５２に供給し、ループ動画像を表示させる。表示部５２は、表示制御部５１の制御にしたがって、表示制御部５１から供給されたループ動画像を表示する。
【０１７１】
〈第２の実施の形態〉
［撮影装置の構成例］
また、以上においては連写画像が入力されるとループ動画像が生成される例について説明したが、連写画像が入力されると、その連写画像を素材として高品位なループ動画像の生成が可能か否かが判定され、必要に応じてその判定結果が表示されるようにしてもよい。
【０１７２】
例えば、ユーザがカメラを被写体に向けて構えている段階で得られるプレビュー画像が連写画像とされ、シャッタ押下により撮影される画像が高解像度静止画像とされるものとする。この場合、連写画像から高品位なループ動画像が生成できないと判定されたときには、その旨のエラー通知が表示される。
【０１７３】
また、連写画像から高品位なループ動画像が生成できると判定されたときには、シャッタが押下されると、高解像度静止画像が撮影されるとともに、ループ動画像が生成される。これにより、一度のシャッタ操作で、ループ動画像の撮影ができるだけでなく、プレビュー段階で、ループ動画像が生成可能かをユーザに通知することができる。
【０１７４】
このような場合、撮影装置は、例えば図７に示すように構成される。
【０１７５】
撮影装置８１は、例えばカメラなどかならなり、ユーザの操作に応じて静止画像や動画像を撮影する。撮影装置８１では、ＣＰＵ（Central Processing Unit）９１、メモリ９２、撮像素子９３、ディスプレイコントローラ９４、入力インターフェース９５、外部機器インターフェース９６、およびＤＳＰ（Digital Signal Processor）９７がバス９８を介して相互に接続されている。
【０１７６】
ＣＰＵ９１は、ユーザの操作に応じて、撮影装置８１全体の動作を制御する。例えば、モードダイアル９９が操作され、撮影モードが指定されると、モードダイアル９９に対する操作に応じた信号が、モードダイアル９９から入力インターフェース９５を介してＣＰＵ９１に供給される。すると、ＣＰＵ９１は、モードダイアル９９からの信号に応じた撮影モードで、撮影処理を制御する。
【０１７７】
例えば、撮影モードとして、高解像度静止画像を撮影する通常撮影モードと、ループ動画像を撮影するループ動画像撮影モードとが選択可能とされる。
【０１７８】
また、シャッタ１００が操作されると、ＣＰＵ９１は、入力インターフェース９５を介してシャッタ１００から供給された信号に応じて、撮像素子９３に画像を撮影させる。撮像素子９３は、例えばＣＣＤ（Charge Coupled Devices）などからなり、レンズ１０１を介して被写体から入射してきた光を受光して光電変換することで、画像を撮影する。撮像素子９３により撮影された画像は、メモリ９２に供給されて一時的に保持された後、必要に応じてＤＳＰ９７により画像処理が施され、外部機器インターフェース９６を介して記録部１０２に供給されたり、ディスプレイコントローラ９４を介して表示部１０３に供給されたりする。
【０１７９】
記録部１０２は、外部機器インターフェース９６から供給された画像等のデータを記録する。表示部１０３は、ディスプレイコントローラ９４から供給された画像を表示する。
【０１８０】
［画像処理部の機能的構成例］
次に、図７のＣＰＵ９１およびＤＳＰ９７がプログラムを実行することで実現される画像処理部の構成例について説明する。図８は、画像処理部の機能的な構成例を示す図である。なお、図８において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１８１】
画像処理部１３１は、画像メモリ２１、位置合わせ部２２、セグメント計算部２３、ループ動画像計算部２５、セグメント結合処理部２６、およびエラー通知部１４１から構成される。
【０１８２】
画像メモリ２１には、撮影装置８１によりプレビュー画像として撮影された、低解像度の連写画像と、撮影装置８１により撮影された高解像度の高解像度静止画像とが記録される。また、画像メモリ２１には、セグメント結合処理部２６により生成されたループ動画像も記録される。
【０１８３】
セグメント結合処理部２６は、セグメント計算部２３からのセグメントマップに基づいて、ループ動画像計算部２５からのセグメントループ動画像およびセグメント画像と、画像メモリ２１からの高解像度静止画像とから、ループ動画像を生成する。
【０１８４】
エラー通知部１４１は、ループ動画像計算部２５から供給された連写画像の各動きセグメントの積算ＳＡＤ値に基づいて、連写画像のループ動画像化が可能か否かを判定し、その判定結果を出力する。
【０１８５】
［撮影処理の説明］
次に、撮影装置８１により行なわれる撮影処理について説明する。ユーザにより撮影装置８１が操作され、画像の撮影開始が指示されると、撮影装置８１は撮影処理を開始して、ユーザの操作に応じて画像を撮影する。以下、図９のフローチャートを参照して、撮影装置８１による撮影処理について説明する。
【０１８６】
ステップＳ５１において、ＣＰＵ９１は、モードダイアル９９から供給される信号に基づいて、通常撮影モードが選択されているか否かを判定する。
【０１８７】
ステップＳ５１において通常撮影モードが選択されていると判定された場合、ステップＳ５２において、撮影装置８１は、ユーザによるシャッタ１００の操作に応じて、高解像度静止画像を撮影し、撮影処理は終了する。
【０１８８】
すなわち、撮像素子９３は、レンズ１０１から入射した光を光電変換して高解像度静止画像を撮影し、メモリ９２に記録させる。メモリ９２に記録された高解像度静止画像は、必要に応じてＤＳＰ９７により処理されて、記録部１０２に供給され、記録される。
【０１８９】
これに対して、ステップＳ５１において、通常撮影モードが選択されていないと判定された場合、つまりループ動画像撮影モードが選択されている場合、処理はステップＳ５３に進む。
【０１９０】
ステップＳ５３において、撮影装置８１はループ動画像生成処理を行なって、撮影処理は終了する。なお。ループ動画像生成処理では、ループ動画像の撮影が行なわれる。
【０１９１】
［ループ動画像生成処理の説明］
次に、図１０のフローチャートを参照して、図９のステップＳ５３の処理に対応するループ動画像生成処理について説明する。
【０１９２】
ステップＳ８１において、撮影装置８１は、プレビュー撮影を開始する。すなわち、撮像素子９３は、ＣＰＵ９１の指示にしたがって、レンズ１０１から入射した光を光電変換し、その結果得られた連写画像を表示部１０３および画像メモリ２１に供給する。撮像素子９３では、所定の時間間隔で各フレームの連写画像が撮影されていく。
【０１９３】
画像メモリ２１は、撮像素子９３から供給された連写画像を一時的に記録する。また、表示部１０３は、ディスプレイコントローラ９４を介して撮像素子９３から供給された連写画像を表示する。これにより、ユーザは、表示部１０３に表示されたプレビュー画像としての連写画像を見ながら、これから撮影しようとするループ動画像の画角や構図を決めることができる。
【０１９４】
ステップＳ８２において、位置合わせ部２２は、画像メモリ２１から連写画像を読み出して位置合わせ処理を行い、位置合わせされた連写画像を画像メモリ２１に供給して記録させる。ステップＳ８２では、図５のステップＳ１２と同様の処理が行なわれる。
【０１９５】
すなわち、例えば、RANSAC法などにより射影変換行列が求められ、求められた射影変換行列により処理対象画像とされた連写画像が射影変換されて、連写画像の位置合わせが行なわれる。このようにして位置合わせが行なわれた連写画像は、画像メモリ２１に記録された後、セグメント計算部２３およびループ動画像計算部２５に供給される。
【０１９６】
ステップＳ８３において、セグメント計算部２３は、画像メモリ２１から供給された連写画像に対してセグメンテーションを行い、連写画像をいくつかのセグメントに分割する。そして、セグメント計算部２３は、セグメンテーションにより得られたセグメントマップを、ループ動画像計算部２５に供給する。
【０１９７】
ステップＳ８４において、ループ動画像計算部２５は、画像メモリ２１からの連写画像と、セグメント計算部２３からのセグメントマップとに基づいて、動きセグメントごとに積算ＳＡＤ値を算出する。
【０１９８】
例えば、ループ動画像計算部２５は、複数の連写画像のフレームのうち、最短周期長Lminに示されるフレーム数以上離れた任意の２つのフレームを、処理対象のフレームとする。そして、ループ動画像計算部２５は、処理対象のフレームを中心とする、積算タップ長Lsadに示される数の連続するフレームの区間について、積算ＳＡＤ値を求める。なお、積算ＳＡＤ値の算出時においては、連写画像上の処理対象となっている動きセグメントの領域内の画素のみが用いられて、差分絶対値和が算出される。
【０１９９】
ループ動画像計算部２５は、処理対象とするフレームのペアを変化させながら、各フレームのペアについて積算ＳＡＤ値を算出し、算出された積算ＳＡＤ値の最小値を、処理対象となっている動きセグメントの積算ＳＡＤ値とする。ループ動画像計算部２５は、このようにして求めた各動きセグメントの積算ＳＡＤ値を、エラー通知部１４１に供給する。
【０２００】
ステップＳ８５において、エラー通知部１４１は、ループ動画像計算部２５から供給された各動きセグメントの積算ＳＡＤ値に基づいて、連写画像のループ動画像化が可能であるか否かを判定する。例えば、エラー通知部１４１は、各動きセグメントの積算ＳＡＤ値のうちの最も小さい積算ＳＡＤ値が、予め定められた所定の閾値以下である場合、ループ動画像化が可能であると判定する。
【０２０１】
ステップＳ８５において、ループ動画像化が可能でないと判定された場合、ステップＳ８６において、エラー通知部１４１は、エラー通知を行なう。例えば、エラー通知部１４１は、連写画像のループ動画像化ができない旨の情報、つまりループ動画像が撮影できない旨の情報を生成し、生成した情報を表示部１０３に供給して表示させる。
【０２０２】
これにより、ユーザは、連写画像として撮影された被写体が、ループ動画像の撮影には適していないことを知ることができる。したがって、ユーザは、被写体を変えたり、画角を変えたりして所望のループ動画像が撮影できるように対応することができる。
【０２０３】
エラー通知が行なわれると、その後、処理はステップＳ８６からステップＳ８２に戻り、上述した処理が繰り返される。すなわち、新たに撮影された複数フレームの連写画像に基づいて、その連写画像のループ動画像化が可能であるかが判定される。
【０２０４】
なお、ユーザへのエラー通知は、文字メッセージや図形を表示部１０３に表示させることで行なわれてもよいし、音声により行なわれるようにしてもよい。
【０２０５】
また、ステップＳ８５において、ループ動画像化が可能であると判定された場合、ステップＳ８７において、撮像素子９３は、高解像度静止画像を撮影する。すなわち、ユーザによりシャッタ１００が押下されると、ＣＰＵ９１は撮像素子９３に対して、高解像度静止画像の撮影を指示する。
【０２０６】
撮像素子９３は、ＣＰＵ９１の指示に応じて、レンズ１０１から入射した光を光電変換し、その結果得られた高解像度静止画像を画像メモリ２１に供給する。ここで、高解像度静止画像は、連写画像よりも解像度が高い、つまり画素数の多い静止画像である。
【０２０７】
なお、ステップＳ８５において、ループ動画像化が可能であると判定された場合に、エラー通知部１４１が、表示部１０３にループ動画像の撮影（生成）が可能である旨の表示をさせるようにしてもよい。この表示は、例えば文字メッセージとされてもよいし、特定の図形や記号などとされてもよい。また、ループ動画像の撮影が可能である旨の音声が出力されるようにしてもよい。
【０２０８】
ステップＳ８８において、位置合わせ部２２は、画像メモリ２１から高解像度静止画像と連写画像を読み出して、位置合わせ処理を行なう。
【０２０９】
例えば、位置合わせ部２２は、ステップＳ８５でループ動画像化が可能と判定された、複数フレームの位置合わせ前の連写画像と、ステップＳ８７で撮影された高解像度静止画像とを画像メモリ２１から読み出す。
【０２１０】
そして、位置合わせ部２２は、連写画像を高解像度静止画像と同じ大きさ（解像度）にアップサンプリングして、高解像度静止画像を基準画像とし、アップサンプリング後の連写画像を処理対象画像として、連写画像の位置合わせを行なう。すなわち、RANSAC法などにより射影変換行列が求められ、連写画像が射影変換行列により射影変換される。
【０２１１】
このようにして位置合わせが行なわれた連写画像は、画像メモリ２１に記録された後、セグメント計算部２３およびループ動画像計算部２５に供給される。また、画像メモリ２１に記録されている高解像度静止画像は、セグメント結合処理部２６に供給される。
【０２１２】
ステップＳ８９において、セグメント計算部２３は、画像メモリ２１から供給された連写画像に対してセグメンテーションを行い、連写画像をいくつかのセグメントに分割する。そして、セグメント計算部２３は、セグメンテーションにより得られたセグメントマップを、ループ動画像計算部２５およびセグメント結合処理部２６に供給する。
【０２１３】
ステップＳ９０において、セグメント結合処理部２６は、セグメント計算部２３からのセグメントマップと、画像メモリ２１からの高解像度静止画像とに基づいて、各静止セグメントのセグメント画像を生成する。例えば、セグメント結合処理部２６は、高解像度静止画像における静止セグメントの領域の画像を切り出して、切り出した画像をそのまま静止セグメントのセグメント画像とする。
【０２１４】
ステップＳ９０の処理が行なわれると、その後、ステップＳ９１乃至ステップＳ９６の処理が行なわれるが、これらの処理は図５のステップＳ１５乃至ステップＳ２０の処理と同様であるので、その説明は省略する。ステップＳ９１乃至ステップＳ９６では、各動きセグメントのセグメント画像またはセグメントループ動画像が生成されて、ループ動画像計算部２５からセグメント結合処理部２６に供給される。
【０２１５】
但し、ステップＳ９１乃至ステップＳ９６では、高解像度静止画像と同じ解像度に変換（アップサンプリング）された連写画像が用いられて、セグメント画像およびセグメントループ動画像の生成が行なわれる。
【０２１６】
ステップＳ９６において、全ての動きセグメントを処理したと判定された場合、処理はステップＳ９７に進む。
【０２１７】
ステップＳ９７において、セグメント結合処理部２６は、セグメント計算部２３から供給されたセグメントマップに基づいて、セグメント結合処理を行い、ループ動画像を生成する。すなわち、セグメント結合処理部２６は、ステップＳ９０の処理で生成したセグメント画像と、ループ動画像計算部２５から供給されたセグメント画像およびセグメントループ動画像とを結合し、１つのループ動画像を生成する。
【０２１８】
例えば、図３を参照して説明したように、各セグメントのセグメント画像、およびセグメントループ動画像の対応するフレームの画像が複製されて、それらのセグメントと同じ位置に配置されて結合され、ループ動画像の１フレーム分の画像とされる。
【０２１９】
セグメント結合処理部２６は、ループ動画像を生成すると、生成したループ動画像を画像メモリ２１に供給して記録させる。そして、ループ動画像生成処理は終了し、その後、処理は図９のステップＳ５３に戻り、撮影処理も終了する。
【０２２０】
このようにして画像メモリ２１に記録されたループ動画像は、その後、記録部１０２に供給されて記録されたり、表示部１０３に供給されて表示されたりする。なお、各セグメントの画像が結合されずに個別に画像メモリ２１に記録され、出力されるようにしてもよい。
【０２２１】
以上のようにして、撮影装置８１は、連写画像が入力された段階で、連写画像がループ動画像化に適しているかを判定し、連写画像がループ動画像化に適していない場合には、ループ動画像化できない旨をユーザに対して提示する。これにより、ユーザは、プレビュー撮影の段階で、ループ動画像の撮影ができないことを知ることができ、直ちに撮影をやり直すことができる。したがって、ユーザは、適切にループ動画像の撮影をすることができ、より簡単に高品位なループ動画像を得ることができるようになる。
【０２２２】
また、撮影装置８１では、セグメントごとにセグメント画像またはセグメントループ動画像が生成されるので、連写画像に複雑な動きをする被写体が複数含まれている場合でも、セグメントごとに、そのセグメントに適した高品位な画像を生成することができる。これにより、より高品位なループ動画像を得ることができる。
【０２２３】
〈変形例２〉
［画像処理部の構成例］
なお、以上においては、連写画像をセグメントに分割してループ動画像を生成する場合に、連写画像がループ動画像化に適していないとき、その旨をユーザに通知すると説明したが、連写画像がセグメント分割されない場合にも、ユーザに対して、そのような通知がされるようにしてもよい。
【０２２４】
そのような場合、撮影装置８１のＣＰＵ９１およびＤＳＰ９７がプログラムを実行することで実現される画像処理部は、例えば図１１に示す構成とされる。なお、図１１において、図８における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２２５】
画像処理部１７１は、画像メモリ２１、位置合わせ部２２、ループ動画像計算部２５、およびエラー通知部１４１から構成される。
【０２２６】
画像メモリ２１には、撮影装置８１により撮影された連写画像と、ループ動画像計算部２５により生成されたループ動画像が記録される。ループ動画像計算部２５は、画像メモリ２１から供給された連写画像に基づいて、ループ動画像を生成する。
【０２２７】
［ループ動画像生成処理の説明］
次に、図１２のフローチャートを参照して、画像処理部が図１１に示す構成とされる場合に行なわれる処理について説明する。この場合、撮影装置８１により、図９のフローチャートを参照して説明した撮影処理が行なわれる。但し、この場合、ステップＳ５３の処理では、連写画像がセグメント分割されずにループ動画像の生成が行なわれる。
【０２２８】
以下、図１２のフローチャートを参照して、連写画像がセグメント分割されずにループ動画像が生成される場合における、ステップＳ５３の処理に対応するループ動画像生成処理について説明する。
【０２２９】
ステップＳ１２１において、撮影装置８１は撮影を開始する。すなわち、撮像素子９３は、ＣＰＵ９１の指示にしたがって、レンズ１０１から入射した光を光電変換し、その結果得られた連写画像を表示部１０３および画像メモリ２１に供給する。撮像素子９３では、所定の時間間隔で各フレームの連写画像が撮影されていく。
【０２３０】
ステップＳ１２２において、位置合わせ部２２は、画像メモリ２１から連写画像を読み出して位置合わせ処理を行い、位置合わせされた連写画像を画像メモリ２１に供給して記録させる。ステップＳ１２２では、図１０のステップＳ８２と同様の処理が行なわれる。位置合わせが行なわれた連写画像は、画像メモリ２１に記録された後、ループ動画像計算部２５に供給される。
【０２３１】
ステップＳ１２３において、ループ動画像計算部２５は、画像メモリ２１からの連写画像に基づいて、連写画像の積算ＳＡＤ値を算出する。
【０２３２】
例えば、ループ動画像計算部２５は、複数の連写画像のフレームのうち、最短周期長Lminに示されるフレーム数以上離れた任意の２つのフレームを処理対象のフレームとする。そして、ループ動画像計算部２５は、処理対象のフレームを中心とする、積算タップ長Lsadに示される数の連続するフレームの区間について、積算ＳＡＤ値を求める。なお、積算ＳＡＤ値の算出時には、連写画像全体の画素が用いられて、差分絶対値和が算出される。
【０２３３】
ループ動画像計算部２５は、処理対象とするフレームのペアを変化させながら、各フレームのペアについて積算ＳＡＤ値を算出し、算出された積算ＳＡＤ値の最小値を、連写画像の積算ＳＡＤ値とする。ループ動画像計算部２５は、このようにして求めた連写画像の積算ＳＡＤ値を、エラー通知部１４１に供給する。
【０２３４】
ステップＳ１２４において、エラー通知部１４１は、ループ動画像計算部２５から供給された連写画像の積算ＳＡＤ値に基づいて、連写画像のループ動画像化が可能であるか否かを判定する。例えば、エラー通知部１４１は、連写画像の積算ＳＡＤ値が、予め定められた所定の閾値以下である場合、ループ動画像化が可能であると判定する。
【０２３５】
ステップＳ１２４において、ループ動画像化が可能でないと判定された場合、ステップＳ１２５において、エラー通知部１４１は、エラー通知を行なう。例えば、エラー通知部１４１は、連写画像のループ動画像化ができない旨の情報を表示部１０３に供給して表示させる。
【０２３６】
エラー通知が行なわれると、その後、処理はステップＳ１２５からステップＳ１２２に戻り、上述した処理が繰り返される。すなわち、新たに撮影された複数フレームの連写画像に基づいて、その連写画像のループ動画像化が可能であるかが判定される。
【０２３７】
また、ステップＳ１２４において、ループ動画像化が可能であると判定された場合、ステップＳ１２６において、ループ動画像計算部２５は、連写画像に基づいて、連写画像のループ動画像を生成する。
【０２３８】
例えば、ループ動画像計算部２５は、ステップＳ１２３の処理で算出した積算ＳＡＤ値が最小となるときのフレームのペアを処理対象のフレームとして、それらの２つのフレームを、それぞれ開始端および終了端とする区間の連写画像を抽出する。そして、ループ動画像計算部２５は、抽出した区間の連写画像に対して、上述したクロスフェード処理、グラフカット法による処理、ランダムディゾルブなどを行なってループ動画像を生成し、画像メモリ２１に供給する。
【０２３９】
このようにして得られたループ動画像は、連写画像がセグメントに分割されずに、連写画像全体がループ化されて得られたループ動画像である。ループ動画像計算部２５は、ループ動画像を生成すると、生成したループ動画像を画像メモリ２１に供給して記録させる。そしてループ動画像生成処理は終了し、その後、処理は図９のステップＳ５３に戻り、撮影処理も終了する。
【０２４０】
以上のようにして、撮影装置８１は、連写画像がループ動画像化に適していない場合には、ループ動画像化できない旨をユーザに対して提示する。これにより、ユーザは、直ちに撮影をやり直すことができる。したがって、適切にループ動画像の撮影をすることができ、より簡単に高品位なループ動画像を得ることができるようになる。
【０２４１】
また、図５のフローチャートを参照して説明したように、連写画像のみが用いられて各セグメントのセグメント画像とセグメントループ動画像から、ループ動画像を生成する場合にも、連写画像の撮影時に、連写画像をループ動画像化可能か否か判定してもよい。そのような場合においても、連写画像がループ動画像化可能か否かの判定結果が、適宜出力される。
【０２４２】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２４３】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２４４】
コンピュータにおいて、CPU５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０２４５】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０２４６】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０２４７】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２４８】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０２４９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２５０】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２５１】
１１ 画像処理装置， ２２ 位置合わせ部， ２３ セグメント計算部， ２４ 三次元ＮＲ部， ２５ ループ動画像計算部， ２６ セグメント処理結合部， ８１ 撮影装置， ９９ モードダイアル， １４１ エラー通知部
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、より簡単に高品位なループ動画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、入力ビデオ映像を用いてループ動画像を生成する技術が知られている（例えば、非特許文献１参照）。ループ動画像とは、動画像の所定の区間や、複数の静止画像が繰り返し再生される画像である。
【０００３】
例えば、ループ動画像の生成時には、動画像の所定区間の開始端のフレームと終了端のフレームが時間的に連続していない場合でも、フレーム間の画像の差異による継ぎ目が視覚的に目立たなくなるように、動画像の所定区間が加工される。
【０００４】
そのため、ループ動画像を繰り返し再生すると、ループ動画像の開始端と終了端がはっきりとは分からなくなるため、あたかも無限長の動画像が提示されているかのように感じさせることができる。ループ動画像は、ＣＧ（Computer Graphics）のテクスチャ素材や背景動画像など、多くのアプリケーションプログラムにおいて有用である。
【０００５】
このようなループ動画像は、基本的に以下のようにして生成される。すなわち、まず入力された複数のフレームからなる動画像から、時間の離れた類似度の高い２つのフレームが選択され、それらのフレームを開始端および終了端とする区間が抽出されてループ動画像とされる。
【０００６】
ここで、ループ動画像の再生時には、動画像から抽出された区間の終了端と開始端とが連続して再生されるようにされる。したがって、ループ動画像とされた動画像の区間の開始端と終了端のフレームの画像が類似しているほど、ループ動画像の再生時に、それらのフレームの画像を滑らかに連結することができることになる。例えば、ループ動画像とされる動画像の区間の開始端と終了端の連結をより滑らかなものとするために、動画像におけるそれらの開始端と終了端の近傍のフレームの画像同士をブレンドして、ループ動画像のフレームの画像とするクロスフェード処理なども行われる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Arno Schodl, Richard Szeliski, David H. Salesin, and Irfan Essa.「Video textures」. Proceedings of SIGGRAPH 2000, pages 489-498, July 2000.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところが、ループ動画像の素材となるビデオ映像（動画像）によっては、ループ動画像の開始端と終了端とがうまくつながらず、処理結果が大きく破綻してしまうことがある。具体的には、例えばビデオ映像内に複数の動被写体があり、それらの被写体が同時にうまくつながるタイミング（フレーム）がなかったり、そもそも２つの類似するフレームがビデオ映像内になかったりする場合があった。
【０００９】
このような不適切なビデオ映像を素材としてループ動画像を生成すると、ループ動画像の開始端と終了端のフレームの画像が破綻してしまったり、再生時に開始端と終了端が滑らかにつながらなかったりする。そのような場合、ユーザは、素材となるビデオ映像の撮影をやり直したり、ループ動画像の生成に用いられるパラメータを手動で変更したりして、所望のループ動画像が得られるように対応しなければならなかった。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、より簡単に高品位なループ動画像を得ることができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の第１の側面の画像処理装置は、異なる時刻に撮影された複数の撮影画像に基づいて、前記撮影画像をいくつかのセグメントに分割するセグメント計算部と、前記複数の前記撮影画像のうちの連続するいくつかの前記撮影画像から、動きのある被写体が含まれる前記セグメントである動きセグメントの画像を切り出し、前記動きセグメントの画像に基づいて、ループ動画像として再生可能な画像を生成するループ動画像生成部とを備える。
【００１２】
前記ループ動画像を、連続する複数の前記動きセグメントの画像のうち、類似度の高い２つの画像の間にある画像が順番に繰り返し表示される動画像とすることができる。
【００１３】
画像処理装置には、前記複数の前記撮影画像のうちのいくつかの前記撮影画像から、動きのない被写体が含まれる前記セグメントである静止セグメントの画像を切り出して、前記静止セグメントの画像に基づいて、１つの静止画像であるセグメント画像を生成するセグメント画像生成部をさらに設けることができる。
【００１４】
画像処理装置には、前記ループ動画像として再生可能な画像と前記セグメント画像とを結合して、１つのループ動画像を生成するセグメント結合処理部をさらに設けることができる。
【００１５】
前記セグメント画像生成部には、いくつかの前記静止セグメントの画像を重ね合わせることで、前記セグメント画像を生成させることができる。
【００１６】
前記ループ動画像生成部には、連続する複数の前記動きセグメントの画像のうち、類似度の高い２つの画像がある場合、前記類似度の高い２つの画像を含む、連続する複数の前記動きセグメントの画像に基づいて、前記ループ動画像として再生可能な画像を生成させることができる。
【００１７】
前記ループ動画像生成部には、連続する複数の前記動きセグメントの画像のうち、類似度の高い２つの画像がない場合、１つの前記動きセグメントの画像に基づいて、１つの静止画像であるセグメント画像を生成させることができる。
【００１８】
画像処理装置には、前記撮影画像よりも解像度の高い高解像度画像から、動きのない被写体が含まれる前記セグメントである静止セグメントに対応する領域の画像を切り出し、前記静止セグメントに対応する領域の画像に基づいて、１つの静止画像であるセグメント画像を生成するセグメント画像生成部をさらに設け、前記ループ動画像生成部には、前記高解像度画像と同じ解像度に変換された前記撮影画像に基づいて、前記ループ動画像として再生可能な画像を生成させることができる。
【００１９】
画像処理装置には、撮影モードを切り替えるための操作部をさらに設け、前記操作部に対する操作により、前記撮影モードとして所定のモードが選択された場合、前記撮影画像および前記高解像度画像が撮影されるようにすることができる。
【００２０】
前記高解像度画像の撮影前に、前記複数の前記撮影画像が撮影されるようにし、画像処理装置には、前記複数の前記撮影画像における前記動きセグメントの画像のうち、類似度の高い２つの画像があるか否かを判定し、その判定結果を出力する通知部をさらに設けることができる。
【００２１】
前記類似度の高い２つの画像があると判定された場合、前記高解像度画像が撮影され、前記ループ動画像として再生可能な画像、および前記セグメント画像が生成されるようにすることができる。
【００２２】
本技術の第１の側面の画像処理方法またはプログラムは、異なる時刻に撮影された複数の撮影画像に基づいて、前記撮影画像をいくつかのセグメントに分割し、前記複数の前記撮影画像のうちの連続するいくつかの前記撮影画像から、動きのある被写体が含まれる前記セグメントである動きセグメントの画像を切り出し、前記動きセグメントの画像に基づいて、ループ動画像として再生可能な画像を生成するステップを含む。
【００２３】
本技術の第１の側面においては、異なる時刻に撮影された複数の撮影画像に基づいて、前記撮影画像がいくつかのセグメントに分割され、前記複数の前記撮影画像のうちの連続するいくつかの前記撮影画像から、動きのある被写体が含まれる前記セグメントである動きセグメントの画像が切り出され、前記動きセグメントの画像に基づいて、ループ動画像として再生可能な画像が生成される。
【００２４】
本技術の第２の側面の画像処理装置は、異なる時刻に撮影された複数の撮影画像のなかに類似度の高い２つの前記撮影画像があるか否かを判定し、その判定結果を出力する通知部と、前記複数の前記撮影画像のうち、類似度の高い２つの前記撮影画像を含む、連続する複数の前記撮影画像に基づいて、ループ動画像として再生可能な画像を生成するループ動画像生成部とを備える。
【００２５】
本技術の第２の側面の画像処理方法は、異なる時刻に撮影された複数の撮影画像のなかに類似度の高い２つの前記撮影画像があるか否かを判定し、その判定結果を出力し、前記複数の前記撮影画像のうち、類似度の高い２つの前記撮影画像を含む、連続する複数の前記撮影画像に基づいて、ループ動画像として再生可能な画像を生成するステップを含む。
【００２６】
本技術の第２の側面においては、異なる時刻に撮影された複数の撮影画像のなかに類似度の高い２つの前記撮影画像があるか否かが判定され、その判定結果が出力され、前記複数の前記撮影画像のうち、類似度の高い２つの前記撮影画像を含む、連続する複数の前記撮影画像に基づいて、ループ動画像として再生可能な画像が生成される。
【発明の効果】
【００２７】
本技術の第１の側面および第２の側面によれば、より簡単に高品位なループ動画像を得ることができる。
【図面の簡単な説明】
【００２８】
【図１】ループ動画像の生成について説明する図である。
【図２】画像の類似度合いの比較について説明する図である。
【図３】本技術を適用したループ動画像の生成について説明する図である。
【図４】画像処理装置の構成例を示す図である。
【図５】ループ動画像生成処理を説明するフローチャートである。
【図６】画像処理装置の他の構成例を示す図である。
【図７】撮影装置の構成例を示す図である。
【図８】画像処理部の構成例を示す図である。
【図９】撮影処理を説明するフローチャートである。
【図１０】ループ動画像生成処理を説明するフローチャートである。
【図１１】画像処理部の他の構成例を示す図である。
【図１２】ループ動画像生成処理を説明するフローチャートである。
【図１３】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００３０】
〈第１の実施の形態〉
［ループ動画像の生成手法について］
まず、ループ動画像の生成手法の概要について説明する。例えば、図１に示すように、ループ動画像の素材として、複数フレームからなる動画像ＭＰ１１が入力され、この動画像ＭＰ１１の所定の区間を切り出してループ動画像を生成する場合を考える。なお、図１において、横方向は時間を示しており、図中、１つの四角形は１つのフレームの画像を表している。
【００３１】
ループ動画像を生成するにあたり、まず素材となる動画像ＭＰ１１から、時間的に離れた位置にある、最も類似度が高いフレームのペアが検出される。この例では、動画像ＭＰ１１を構成するフレームのうち、フレームｉと、そのフレームｉよりも時間的に後にあるフレームｊが最も類似度の高いフレームペアとして検出される。このようにしてフレームのペアが検出されると、動画像ＭＰ１１のフレームｉからフレームｊまでの区間が切り出される。
【００３２】
一般的に、動画像内で類似度の高いフレームのペアが検出されても、それらのフレームの画像が完全に一致することはない。そのため、検出された２つのフレームを開始端および終了端とする区間を繰り返し再生すると、ユーザには、終了端から開始端への遷移（継ぎ目）が明らかに分かってしまう。
【００３３】
そこで、動画像ＭＰ１１から切り出された区間の開始端近傍のフレームの画像と、終了端近傍のフレームの画像とが加工されて、ループ動画像ＬＭ１１とされる。
【００３４】
すなわち、動画像ＭＰ１１から切り出された区間の開始端のフレームｉの画像と、終了端のフレームｊの画像とがブレンドされて、その結果得られた画像が、ループ動画像ＬＭ１１の開始端のフレームｉ’の画像とされる。つまり、フレームｉの画像とフレームｊの画像との同じ位置にある画素が、所定の重みにより重み付き加算されて、それらの画素と同じ位置にあるフレームｉ’の画像の画素とされる。
【００３５】
また、フレームｉの１つ後のフレーム（ｉ＋１）と、フレームｊの１つ後のフレーム（ｊ＋１）とが所定の重みによりブレンドされて、フレームｉ’の１つ後のフレーム（ｉ＋１）’とされる。さらに、フレーム（ｉ＋１）の１つ後のフレーム（ｉ＋２）と、フレーム（ｊ＋１）の１つ後のフレーム（ｊ＋２）とが所定の重みによりブレンドされて、フレーム（ｉ＋１）’の１つ後のフレーム（ｉ＋２）’とされる。
【００３６】
同様に、フレームｊの１つ前のフレーム（ｊ−１）と、フレームｉの１つ前のフレーム（ｉ−１）とが所定の重みによりブレンドされて、ループ動画像ＬＭ１１の終了端のフレーム（ｊ−１）’とされる。また、フレーム（ｊ−１）の１つ前のフレーム（ｊ−２）と、フレーム（ｉ−１）の１つ前のフレーム（ｉ−２）とが所定の重みによりブレンドされて、フレーム（ｊ−１）’の１つ前のフレーム（ｊ−２）’とされる。
【００３７】
ここで、動画像ＭＰ１１から切り出された区間の開始端近傍に対するブレンド処理では、開始端よりも後にあるフレームほど、開始端側のフレームの画像に乗算される重みが大きくなる。つまり、ブレンドにより得られる画像に対する、開始端側のフレームの画像の寄与率が大きくなる。逆に、動画像ＭＰ１１から切り出された区間の終了端近傍に対するブレンド処理では、終了端よりも前にあるフレームほど、終了端側のフレームの画像に乗算される重みが大きくなる。
【００３８】
このように、フレームの位置に応じて、ブレンド処理に用いられる重み（ブレンド率）を徐々に変化させていくことで、動画像の継ぎ目の顕在化を軽減させる手法は、クロスフェードと呼ばれている。
【００３９】
以上の処理で得られたループ動画像ＬＭ１１の再生時には、開始端のフレームｉ’から順番に、フレーム（ｉ＋１）’，フレーム（ｉ＋２）’・・・と再生されていく。そして、終端のフレーム（ｊ−１）’が再生されると、その後、再びフレームｉ’に戻り、各フレームが繰り返し再生される。
【００４０】
このように、動画像ＭＰ１１から切り出した区間の開始端および終了端に対し、それぞれ開始端近傍のフレームと終了端近傍のフレームを用いたブレンド処理を行うことで、ループ動画像ＬＭ１１の開始端と終了端のフレームを滑らかにつなげることができる。すなわち、動画像ＭＰ１１の時間的に離れた位置のフレームｉとフレーム（ｊ−１）の画像間の差異が視覚的に顕在化しないようにすることができる。
【００４１】
なお、動画像ＭＰ１１から切り出した区間を構成するフレームのうち、その区間の開始端および終了端から時間的に遠い位置にある中央付近のフレームについては、それらのフレームの画像が、そのままループ動画像ＬＭ１１を構成するフレームの画像とされる。
【００４２】
［類似度の高いフレームペアの検出方法について］
また、ループ動画像の生成時に、素材となる動画像の最も類似度が高いフレームのペアが検出されるが、このようなフレームのペアの検出では、例えば画像同士が比較されて類似度が計算され、計算により得られた類似度に基づいて、最適なペアが決定される。
【００４３】
具体的には、画像同士の類似度として、画像の各画素の差分絶対値和などが利用される。すなわち、２つの画像の同じ位置にある各画素について、それらの画素の輝度値の差分の絶対値が求められ、各画素の差分の絶対値の総和が差分絶対値和（SAD（Sum of Absolute Difference））とされる。
【００４４】
画像同士が類似しているほど、差分絶対値和は小さくなるので、最も差分絶対値和が小さくなるフレームのペアをループ動画像の開始端および終了端とすれば、ループ動画像の開始端と終了端での視覚的な差異は少なくなるはずである。
【００４５】
しかしながら、２つの画像同士の差分絶対値和による評価では、それらの画像上における被写体の時間方向の動きは考慮されない。具体的には、例えば画像上で時計の振り子が左右に振れている場合、特定のフレームのみに注目しても、振り子が左側から振れてきたのか、右側から振れてきたのかを特定することはできない。
【００４６】
そのため、２つの画像同士の差分絶対値和のみから、ループ動画像の開始端および終了端とするフレームのペアを検出すると、ループ動画像の再生時に、終了端のフレームから開始端のフレームに遷移するときに、被写体の動きが不連続になってしまうことがある。
【００４７】
そこで、例えば図２に示すように、連続する複数のフレームからなる区間同士を比較すれば、ループ動画像の開始端および終了端とするのに、より適切なフレームのペアを検出することができるようになる。
【００４８】
なお、図２において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また、図中、動画像ＭＰ１１内の四角形は１つのフレームを表しており、その四角形内の文字はフレームを特定する文字となっている。
【００４９】
例えば、動画像ＭＰ１１から類似する２つのフレームのペアを検出する場合に、フレームｉとフレームｊとが互いに類似しているかが評価されるとする。この場合、フレームｉを中心とする７つの連続するフレーム（ｉ−３）乃至フレーム（ｉ＋３）と、フレームｊを中心とする７つの連続するフレーム（ｊ−３）乃至フレーム（ｊ＋３）とが比較される。
【００５０】
具体的には、図中、中央に示すように、フレーム（ｉ＋ｋ）の画像と、フレーム（ｊ＋ｋ）の画像との差分絶対値和（但し、ｋ＝-3,-2,-1,0,1,2,3）が求められ、それらの差分絶対値和が重みＧ１１により重み付き加算されて、積算ＳＡＤ値が求められる。つまり、各差分絶対値和に重みＧ１１が付けられて積算され、積算ＳＡＤ値とされる。
【００５１】
図２の例では、重みＧ１１は、フレームｉに近いフレームが用いられて算出された差分絶対値和に乗算される重みほど、より大きくなる正規分布重みとなっている。
【００５２】
このようにして求めた積算ＳＡＤ値は、複数の連続するフレームからなる区間同士を比較したときに、各被写体の位置や動きが類似するほど小さくなる。つまり、区間同士の類似の度合いが高いほど、積算ＳＡＤ値は小さくなる。したがって、動画像ＭＰ１１において、最も積算ＳＡＤ値が小さくなるフレームのペアが、ループ動画像の開始端および終了端とするのに最も適したフレームのペアということができる。
【００５３】
このように、複数の連続するフレームについて積算ＳＡＤ値を求めることで、連続する複数のフレームからなる区間同士の類似の度合いを評価することができる。この場合、積算ＳＡＤ値が小さいほど、より類似の度合いが高いことになる。
【００５４】
なお、動画像ＭＰ１１において、連続する何フレームからなる区間同士を比較し、それらの区間の積算ＳＡＤ値を求めるかは、フレーム長を単位とするパラメータ（以下、積算タップ長Lsadとも称する）として指定されるようにしてもよい。そのような場合、例えばユーザにより積算タップ長Lsadが指定されると、積算タップ長Lsadに示される数の連続するフレームの区間について積算ＳＡＤ値が算出される。
【００５５】
また、積算ＳＡＤ値が最小となるフレームペアを検出する場合、時間的に近いフレーム同士では画像の変化が少ないため、積算ＳＡＤ値が小さくなる。そのため、過度に短い周期のループ動画像が生成されてしまうことを防止するには、比較されるフレーム（区間）同士が最低限離れていなければならない距離を定め、その距離よりもフレーム間の距離が短いフレームペアを候補から除外する必要がある。
【００５６】
この場合、例えばユーザにより、比較されるフレーム同士の最低限の距離を示すパラメータ（以下、最短周期長Lminとも称する）が指定される。すると、動画像ＭＰ１１において、最短周期長Lminにより示される距離以上離れているフレームの各ペアについて積算ＳＡＤ値が求められ、それらのペアのうち、積算ＳＡＤ値が最小となるペアのフレームが、ループ動画像に用いられる区間の開始端および終了端とされる。
【００５７】
なお、最短周期長Lminは、入力パラメータとしてプログラムに対して指定されてもよいし、素材となる動画像ＭＰ１１の全長に対する割合としてプログラムにより算出されるようにしてもよい。
【００５８】
［画像の位置合わせについて］
また、ループ動画像の生成時には、必要に応じて素材となる画像の位置合わせが行なわれる。一般的に、ユーザが手持ちでカメラによるビデオ撮影を行なうと、手ぶれが発生する可能性が高い。こうしたカメラ姿勢の動きは、撮影により得られた動画像を視聴する際に不快なだけでなく、ループ動画像の生成時に差分絶対値和などの画像間の類似度を計算する場合にも悪影響となる。
【００５９】
そのため、撮影時における手ぶれ等のカメラの動きを補正する位置合わせ処理を、撮影された画像に対して行い、位置合わせ処理された画像を用いてループ動画像を生成すれば、より高品位なループ動画像を得ることができる。つまり、素材となる画像に対して位置合わせ処理を行えば、三脚を用いてカメラを固定した状態で撮影したような、ぶれのない動画像を得ることができる。
【００６０】
このような位置合わせ処理では、１つの画像（以下、基準画像と称する）を基準として、別の画像（以下、処理対象画像と称する）が射影変換され、基準画像と処理対象画像上の被写体の位置合わせが行なわれる。例えば基準画像は、ループ動画像の素材となる動画像の先頭フレームの画像であってもよいし、任意のフレームの画像であってもよい。
【００６１】
また、位置合わせに必要な射影変換行列は、基準画像と処理対象画像のそれぞれについて、特徴点の抽出を行い、基準画像上の特徴点に対して、処理対象画像上の特徴点が適合するような変換行列を算出することで得られる。
【００６２】
さらに、特徴点は、視点が変化しても再現性のある点とされる。すなわち、特徴点の位置と特徴量が求められて、それらの位置と特徴量の情報から特徴点間の対応関係が計算され、２つのフレームの位置関係が求められる。このような位置合わせに適した特徴点には、例えばSIFT（Scale Invariant Feature Transform）特徴点などがある。
【００６３】
次に、位置合わせ処理に用いられる射影変換行列の具体的な算出手法の一例について説明する。まず、基本画像と処理対象画像から、SIFT特徴点などの特徴点が抽出される。そして、処理対象画像上の特徴点が、基本画像上のどの特徴点に対応するかが、特徴量間のユークリッド距離により求められる。
【００６４】
さらに、RANSAC（Random Sample Consensus）法により、処理対象画像上の特徴点と、その特徴点に対応する基本画像上の特徴点とからなる特徴点ペアがいくつか選択され、これらのペアを構成する特徴点間の位置の変換に最も適合する変換行列が求められる。そして、このようにして得られた変換行列が、位置合わせ処理に用いられる射影変換行列とされる。このようなRANSAC法によれば、特徴点の位置や対応関係に誤りが含まれていても、その誤りが除去されて正しい変換行列が得られる。
【００６５】
なお、RANSAC法やSIFT特徴点の算出の詳細は、例えば「Brown, M. and Lowe, D. G. 2003. "Recognising Panoramas.",In Proceedings of the Ninth IEEE international Conference on Computer Vision-Volume 2 (October 13 - 16, 2003). ICCV. IEEE Computer Society, Washington,DC, 1218.」などに記載されている。
【００６６】
また、位置合わせ処理に用いられる変換行列の種類としては、射影変換行列が用いられるのが一般的であるが、変形自由度の異なるアフィン変換行列や剛体変換行列などが用いられるようにしてもよい。
【００６７】
射影変換行列によって処理対象画像を変形させて、変形後の処理対象画像と基準画像を重ね合わせると、基準画像の端や角部分には処理対象画像と重ならない部分がある。そのため、射影変換後の全ての処理対象画像と基準画像とを重ね合わせたときに、全ての画像の画素が重なる有効な領域のみを残して出力するクロップ処理が行われるようにしてもよい。
【００６８】
すなわち、射影変換された全ての処理対象画像と基準画像を重ね合わせて、それらの処理対象画像と基準画像の画素のうち、他の画像と重ならない画素の領域があれば、その画素の領域が無効領域とされる。そして、そのような無効領域を除く、全ての処理対象画像と基準画像の画素が重なる領域からなる有効領域内において、面積が最大となる矩形の領域が求められ、その結果得られた矩形領域がクロップ領域とされる。
【００６９】
このようにしてクロップ領域が求められると、射影変換された動画像を構成する各フレームの画像のクロップ領域が切り出されて、それらの切り出された各フレームの画像からなる動画像が、ループ動画像の素材となる最終的な動画像とされる。
【００７０】
なお、クロップ処理には、クロップ後の画像が小さくなるという欠点がある。そこで、素材となる動画像の解像度が低下しないように、クロップ処理は行わず、射影変換後の画像に対して、射影変換前の画像と重ならない領域の各画素の画素値として、白または黒の色の画素値を割り当てたり、基準画像の同位置の画素の画素値を割り当てたりしてもよい。
【００７１】
［本技術を適用したループ動画像について］
ループ動画像の生成には、以上において説明した技術が適宜用いられる。次に、本技術を適用して生成されるループ動画像について説明する。なお、以下においては、ループ動画像の素材となる画像を連写画像と呼ぶこととする。
【００７２】
いま、図３に示すように、複数の連写画像からなる連写画像群ＣＰ１１がループ動画像の素材として入力されたとする。
【００７３】
ここで、連写画像群ＣＰ１１は、被写体が同じである時間的に連続して撮影された画像であれば、どのような画像であってもよい。例えば、連写画像群ＣＰ１１は、連写画像を１フレームの画像とする動画像であってもよいし、連続して撮影された各時刻の静止画像からなる静止画像群であってもよい。
【００７４】
このような連写画像群ＣＰ１１が入力されると、各連写画像は、動きのある被写体が含まれているセグメント、または動きのない静止した被写体が含まれるセグメントの少なくとも何れかからなる複数のセグメントに分割される。
【００７５】
図３の例では、連写画像群ＣＰ１１を構成する各連写画像は、空間方向にセグメントＳＧ１乃至セグメントＳＧ４の４つのセグメントに分割されている。例えば、セグメントＳＧ１は、静止した被写体が含まれるセグメント（以下、静止セグメントとも称する）であり、セグメントＳＧ２乃至セグメントＳＧ４は、動きのある被写体が含まれているセグメント（以下、動きセグメントとも称する）である。
【００７６】
連写画像がいくつかのセグメントに分割されると、それらのセグメントごとに、連写画像上のセグメントの領域が表示される静止画像（以下、セグメント画像と称する）またはループ動画像（以下、セグメントループ動画像と称する）が生成される。そして、それらの各セグメントのセグメント画像とセグメントループ動画像が結合されて、最終的な１つのループ動画像とされる。
【００７７】
具体的には、まず静止セグメントであるセグメントＳＧ１について、連写画像群ＣＰ１１を構成する複数の連写画像のうちの１または複数の連写画像が選択され、選択された連写画像から１つのセグメント画像ＳＧＰ１１が生成される。例えば、連写画像群ＣＰ１１の最初の数フレームの連写画像における、セグメントＳＧ１の領域の画像が重ね合わされて、セグメント画像ＳＧＰ１１とされる。
【００７８】
静止セグメントでは被写体の動きは殆どないので、ループ動画像の再生時に、静止画像であるセグメント画像ＳＧＰ１１を継続して表示すれば、連写画像に特別な処理を施すことなく、ループ動画像の終了端から開始端への遷移を滑らかにすることができる。
【００７９】
次に、動きセグメントであるセグメントＳＧ２について、連写画像群ＣＰ１１を構成する各連写画像上のセグメントＳＧ２の領域の画像に基づいて、それらの画像がループ動画像の生成に適しているかが判定される。すなわち、それらの画像群のなかに、ループ動画像の生成に適した類似度の高い画像のペアがあるか否かが判定される。
【００８０】
図３の例では、連写画像のセグメントＳＧ２の領域の画像は、ループ動画像の生成に適していると判定され、これらの画像からループ動画像が生成され、セグメントＳＧ２のセグメントループ動画像ＳＧＭ１１とされる。
【００８１】
同様に、動きセグメントであるセグメントＳＧ３について、連写画像群ＣＰ１１を構成する各連写画像上のセグメントＳＧ３の領域の画像が、ループ動画像の生成に適しているかが判定される。この例では、連写画像のセグメントＳＧ３の領域の画像は、ループ動画像の生成に適していないと判定され、連写画像群ＣＰ１１を構成する連写画像におけるセグメントＳＧ３の領域の画像から、１つのセグメント画像ＳＧＰ１２が生成される。例えば、連写画像群ＣＰ１１の最初のフレームの連写画像における、セグメントＳＧ３の領域の画像が、そのままセグメント画像ＳＧＰ１２とされる。
【００８２】
セグメントＳＧ３は動きセグメントであるが、このセグメントＳＧ３の領域は、ループ動画像化に適しておらず、高品位なセグメントループ動画像を得ることができない。そこで、このようなセグメントＳＧ３に対しては、静止セグメントと同様に、静止画像であるセグメント画像を生成し、ループ動画像の再生時に、このセグメント画像が継続して表示されるようにすることで、ループ動画像の破綻を防止することができる。
【００８３】
さらに、動きセグメントであるセグメントＳＧ４について、連写画像群ＣＰ１１を構成する各連写画像上のセグメントＳＧ４の領域の画像が、ループ動画像の生成に適しているか否かが判定される。図３の例では、連写画像のセグメントＳＧ４の領域の画像は、ループ動画像の生成に適していると判定され、これらの画像からループ動画像が生成され、セグメントＳＧ４のセグメントループ動画像ＳＧＭ１２とされる。
【００８４】
そして、連写画像の各セグメントについて得られたセグメント画像ＳＧＰ１１およびセグメント画像ＳＧＰ１２と、セグメントループ動画像ＳＧＭ１１およびセグメントループ動画像ＳＧＭ１２とが結合されて、最終的なループ動画像とされる。
【００８５】
例えば、最終的なループ動画像の所定のフレームの画像ＬＰＦ１１は、各セグメントのセグメント画像、またはセグメントループ動画像の対応するフレームの画像を、それらのセグメントの位置と同じ位置に配置して結合することにより得られる。
【００８６】
すなわち、画像ＬＰＦ１１のフレームに対応する、セグメントループ動画像ＳＧＭ１１のフレームの画像が画像ＳＧＦ１１であり、画像ＬＰＦ１１のフレームに対応する、セグメントループ動画像ＳＧＭ１２のフレームの画像が画像ＳＧＦ１２であるとする。
【００８７】
この場合、セグメント画像ＳＧＰ１１、画像ＳＧＦ１１、セグメント画像ＳＧＰ１２、および画像ＳＧＦ１２が、それぞれ画像ＬＰＦ１１上におけるセグメントＳＧ１乃至セグメントＳＧ４の各位置に配置され、それらの画像が結合されて画像ＬＰＦ１１とされる。
【００８８】
以上のように、被写体の動きに応じて連写画像をいくつかのセグメントに分割し、セグメントごとに生成したセグメント画像とセグメントループ動画像を結合してループ動画像とすることで、連写画像の内容に応じた高品位なループ動画像を簡単に得ることができる。このようにして得られたループ動画像によれば、静止した被写体の部分は高画質で完全に静止させてより写真らしく提示し、動きのある被写体の部分はその動きを強調して、写真の一部が動いているかのように感じさせることができる。
【００８９】
［画像処理装置の構成例］
また、複数の連写画像を入力とし、図３を参照して説明したループ動画像を生成する画像処理装置は、例えば図４に示すように構成される。図４は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
【００９０】
画像処理装置１１は、画像メモリ２１、位置合わせ部２２、セグメント計算部２３、三次元ＮＲ（Noise Reduction）部２４、ループ動画像計算部２５、およびセグメント結合処理部２６から構成される。
【００９１】
画像メモリ２１は、供給された連写画像を一時的に記録するとともに、記録している連写画像を必要に応じて出力する。また、画像メモリ２１は、セグメント結合処理部２６から供給されたループ動画像を一時的に記録し、図示せぬ後段の表示部等に出力する。
【００９２】
位置合わせ部２２は、画像メモリ２１に記録されている連写画像を読み出して、読み出した連写画像に対して位置合わせ処理を行い、位置合わせされた連写画像を画像メモリ２１に供給して記録させる。このようにして位置合わせが行なわれた連写画像は、画像メモリ２１に一時的に記録された後、セグメント計算部２３乃至ループ動画像計算部２５に供給される。
【００９３】
セグメント計算部２３は、画像メモリ２１から供給された連写画像を複数のセグメントに分割し、連写画像上における各セグメントの位置を特定するセグメントマップを生成する。セグメント計算部２３は、生成したセグメントマップを、三次元ＮＲ部２４乃至セグメント結合処理部２６に供給する。
【００９４】
三次元ＮＲ部２４は、画像メモリ２１からの連写画像と、セグメント計算部２３からのセグメントマップとに基づいて、連写画像上の各静止セグメントについてセグメント画像を生成し、セグメント結合処理部２６に供給する。
【００９５】
ループ動画像計算部２５は、画像メモリ２１からの連写画像と、セグメント計算部２３からのセグメントマップとに基づいて、連写画像上の各動きセグメントについて、セグメント画像またはセグメントループ動画像を生成し、セグメント結合処理部２６に供給する。
【００９６】
セグメント結合処理部２６は、セグメント計算部２３からのセグメントマップに基づいて、三次元ＮＲ部２４およびループ動画像計算部２５から供給された各セグメントのセグメント画像とセグメントループ動画像を結合し、ループ動画像を生成する。セグメント結合処理部２６は、生成したループ動画像を画像メモリ２１に供給して記録させる。
【００９７】
［ループ動画像生成処理の説明］
ところで、画像処理装置１１に連写画像が供給され、ループ動画像の生成が指示されると、画像処理装置１１はループ動画像生成処理を行って、ループ動画像を生成し、出力する。以下、図５のフローチャートを参照して、画像処理装置１１によるループ動画像生成処理について説明する。
【００９８】
ステップＳ１１において、画像メモリ２１は、外部から送信されてきた複数の連写画像を受信して、一時的に記録する。
【００９９】
ステップＳ１２において、位置合わせ部２２は、画像メモリ２１から連写画像を読み出して位置合わせ処理を行い、位置合わせされた連写画像を画像メモリ２１に供給して記録させる。
【０１００】
例えば、位置合わせ処理として、上述した射影変換が行なわれる。すなわち、位置合わせ部２２は、各連写画像から特徴点を抽出するとともに、複数の連写画像の何れかを基準画像とし、他の連写画像を処理対象画像として、処理対象画像ごとにRANSAC法などにより射影変換行列を求める。そして、位置合わせ部２２は、求めた射影変換行列により、連写画像上の同じ被写体が重なるように処理対象画像を射影変換することで、連写画像の位置合わせを行なう。このとき、必要に応じて射影変換された連写画像に対してクロップ処理が行われる。
【０１０１】
このようにして位置合わせが行なわれた連写画像は、画像メモリ２１に記録された後、セグメント計算部２３乃至ループ動画像計算部２５に供給される。
【０１０２】
ステップＳ１３において、セグメント計算部２３は、画像メモリ２１から供給された連写画像に対してセグメンテーションを行い、連写画像をいくつかのセグメントに分割する。そして、セグメント計算部２３は、セグメンテーションにより得られたセグメントマップを、三次元ＮＲ部２４乃至セグメント結合処理部２６に供給する。
【０１０３】
例えば、セグメント計算部２３は、複数の連写画像の同じ位置にある画素について、それらの画素の輝度値の分散値を求める。そして、セグメント計算部２３は、求められた分散値と所定の閾値τとを比較して、分散値が閾値τ以上である場合、その分散値を求めた画素を、動きのある画素とする。つまり、動きのある被写体が表示される動き画素とされる。逆に、セグメント計算部２３は、分散値が閾値τ未満である場合、その分散値を求めた画素を、動きのない静止画素とする。
【０１０４】
連写画像上の所定の画素に、動きのない静止した被写体が継続して表示される場合、その画素の輝度値の時間方向の変化は少ないはずである。つまり、各時刻の連写画像における同じ画素の輝度値は、ばらつきが少なく殆ど同じ値となるため、それらの画素の輝度値の分散値は小さくなるはずである。そこで、セグメント計算部２３は、任意のスカラ値を閾値τとして、連写画像上の画素のうち、輝度値の分散値が閾値τ未満である画素を、静止画素とし、分散値が閾値τ以上である画素を、動き画素とする。
【０１０５】
セグメント計算部２３は、連写画像上の各画素について、動き画素か、静止画素かを特定すると、その特定結果に基づいて、動きのある被写体の領域を示すビットマップ画像を生成する。ここで、ビットマップ画像の画素の画素値は、その画素と同じ位置にある連写画像の画素が動き画素である場合に「１」とされ、その画素と同じ位置にある連写画像の画素が静止画素である場合に「０」とされる。
【０１０６】
したがって、ビットマップ画像上において、画素値が「１」である画素からなる領域、つまり互いに隣接する画素の画素値が「１」である領域は、その領域と同じ位置にある連写画像の領域が、動きのある被写体が表示される領域であることを示している。以下、ビットマップ画像上において、画素値が「１」である画素からなる領域を動き領域とも称し、画素値が「０」である画素からなる領域を静止領域とも称することとする。
【０１０７】
ビットマップ画像の生成にあたり、連写画像の各画素の輝度値の分散値を単純に閾値処理すると、ビットマップ画像上に面積の小さい動き領域や静止領域がノイズのように散在してしまうことになる。
【０１０８】
そこで、セグメント計算部２３は、ビットマップ画像上の面積の小さい動き領域や静止領域を孤立点として、ビットマップ画像に対して、モルフォロジカルフィルタ等の孤立点除去フィルタを用いたフィルタ処理を施し、ビットマップ画像上の画素を連結処理する。つまり、ビットマップ画像上から孤立点が除去される。
【０１０９】
孤立点除去フィルタを用いたフィルタ処理では、ビットマップ画像の動き領域や静止領域に対する膨張，収縮処理が行われる。例えば、ビットマップ画像上の動き領域が外側に１画素分だけ広げられたり、１画素分だけ内側に狭められたりする。これにより、動き領域や静止領域といった図形に空いた微小な穴や突起部分が除去され、安定したセグメンテーションが可能となる。なお、動き領域や静止領域に対して、何画素分の膨張，収縮処理をどのような順番で行うかは、任意に定めることができる。
【０１１０】
セグメント計算部２３は、ビットマップ画像にフィルタ処理を施すと、ビットマップ画像上の画素値が「１」からなる動き領域を動きセグメントとし、画素値が「０」からなる静止領域を静止セグメントとする。したがって、１つのセグメントを構成する画素は、空間方向に連続して並ぶ同じ画素値を有する画素となる。
【０１１１】
また、セグメント計算部２３は、ビットマップ画像上の各セグメントに対して、セグメントを特定するラベル（ＩＤ）を付与し、各セグメントにラベルが付与されたビットマップ画像を、セグメントマップとする。これにより、例えば、図３のセグメントＳＧ１乃至セグメントＳＧ４のそれぞれに対してラベルが付与される。
【０１１２】
なお、セグメント計算部２３によりセグメンテーションが行なわれるのではなく、インタラクティブなツールが利用されて、ユーザにより手動で連写画像のセグメントが指定されるようにしてもよい。また、他のプログラムで生成されたセグメントマップが供給されるようにしてもよい。
【０１１３】
セグメントマップが生成されると、セグメントマップが三次元ＮＲ部２４乃至セグメント結合処理部２６に供給され、処理はステップＳ１３からステップＳ１４へと進む。
【０１１４】
ステップＳ１４において、三次元ＮＲ部２４は、画像メモリ２１からの連写画像と、セグメント計算部２３からのセグメントマップとに基づいて、連写画像上の各静止セグメントに対する三次元ＮＲ処理を行い、セグメント画像を生成する。
【０１１５】
例えば、三次元ＮＲ部２４は、セグメントマップから、連写画像上の各静止セグメントの領域を特定する。そして、三次元ＮＲ部２４は、いくつかの連写画像の静止セグメントの領域の画像の平均画像を生成し、得られた平均画像をセグメント画像とする。すなわち、いくつかの連写画像の静止セグメント内の同じ位置にある画素の画素値の平均値が、その画素と同じ位置にあるセグメント画像の画素の画素値とされる。三次元ＮＲ部２４は、生成した各静止セグメントのセグメント画像を、セグメント結合処理部２６に供給する。
【０１１６】
なお、複数の連写画像のうち、どの連写画像を三次元ＮＲ処理に用いるかは、どのようにして定めてもよい。例えば、静止セグメント全体で輝度変化の少ない、連続する所定数のフレームが選択されて、それらの選択されたフレームの連写画像からセグメント画像が生成されるようにしてもよい。また、全てのフレームの連写画像が用いられてセグメント画像が生成されてもよい。
【０１１７】
このように、連写画像の静止セグメントの領域を時間方向に重ね合わせることで、連写画像からノイズを除去し、高品位なセグメント画像を得ることができる。
【０１１８】
一般的な連写画像では、被写体が静止しているように見えても、かすかな動きが残ることが普通であり、このような領域についてループ動画像を生成しても、そのループ動画像の再生時に、わずかな被写体の動きやノイズが知覚されてしまう。
【０１１９】
そこで、静止セグメントでは、セグメントの領域をループ動画像化せずに、三次元ＮＲ処理によりセグメント画像を生成し、ループ動画像の再生時に、継続して同じセグメント画像を表示し続けることで、高品位なループ動画像を提示することができる。これにより、ループ動画像の再生時に、静止セグメントの領域において、ノイズを低減させ、被写体の動きを完全に静止させることができるようになり、静止画像の一部が動いているように見せる演出効果を強調することができる。
【０１２０】
ステップＳ１５において、ループ動画像計算部２５は、セグメント計算部２３からのセグメントマップと、画像メモリ２１からの連写画像とに基づいて、動きセグメントごとに積算ＳＡＤ値を算出する。
【０１２１】
例えば、ループ動画像計算部２５は、複数の連写画像のフレームのうち、最短周期長Lminに示されるフレーム数以上離れた任意の２つのフレームを処理対象のフレームとして選択する。そして、ループ動画像計算部２５は、選択された処理対象のフレームを中心とする、積算タップ長Lsadに示される数の連続するフレームの区間について、図２を参照して説明した計算を行い、積算ＳＡＤ値を求める。なお、積算ＳＡＤ値の算出時においては、連写画像上の処理対象となっているセグメントの領域内の画素のみが用いられて、差分絶対値和が算出される。
【０１２２】
ループ動画像計算部２５は、処理対象とするフレームのペアを変化させながら、各フレームのペアについて積算ＳＡＤ値を算出し、算出された積算ＳＡＤ値が最小となるフレームのペアを、セグメントループ動画像の開始端および終了端のフレームの候補とする。
【０１２３】
このようにして、各動きセグメントの積算ＳＡＤ値が算出されると、ループ動画像計算部２５は、それらの動きセグメントのうち、積算ＳＡＤ値が最小値となる動きセグメントを選択する。そして、ループ動画像計算部２５は、選択された動きセグメントの積算ＳＡＤ値算出時に処理対象とされたフレームのペア間のフレーム数を、これから得ようとするループ動画像の全体の周期（以下、繰り返し周期と称する）とする。つまり、繰り返し周期とされたフレーム数が、ループ動画像を構成する全フレームの数である。
【０１２４】
また、選択された動きセグメントについてのフレームのペアが、その動きセグメントのセグメントループ動画像における開始端および終了端とされる。
【０１２５】
さらに、ループ動画像計算部２５は、ループ動画像の繰り返し周期の長さが求まると、選択された動きセグメント以外の他の動きセグメントについて、積算ＳＡＤ値を再度計算する。すなわち、各動きセグメントについて、積算ＳＡＤ値が最小となる、繰り返し周期の長さだけ離れているフレームのペアが検出され、検出されたフレームのペアが、セグメントループ動画像の開始端および終了端のフレームとされる。
【０１２６】
このように、各動きセグメントについて、同じフレーム数だけ離れたフレームのペアを、セグメントループ動画像の開始端および終了端とすることで、各セグメントループ動画像の全体の周期を同じ長さにすることができる。しかも、セグメントループ動画像の開始端と終了端を、各動きセグメントで異なるフレーム（タイミング）とすることができるので、動きセグメントごとに終了端から開始端への遷移時に、視覚的な変化が最も小さいフレームを開始端および終了端とすることができる。これにより、より高品位なセグメントループ動画像を得ることができる。
【０１２７】
なお、各セグメントループ動画像の周期が異なっている場合でも、それらのセグメントループ動画像を、１つのループ動画像として同時に再生できる装置にループ動画像が出力されるときには、積算ＳＡＤ値の再計算は行なわれない。このような場合には、ループ動画像を再生する装置には、セグメント画像と、周期の異なる複数のセグメントループ動画像とを結合しながら提示する機能が必要となる。
【０１２８】
また、セグメントごとに異なる周期のセグメントループ動画像が生成され、それらの周期の異なるセグメントループ動画像からループ動画像が生成される場合、各セグメントループ動画像の周期を合わせるように再生速度が調整されてからループ動画像が出力されてもよい。そのような場合、例えば、セグメントごとの周期のうち最長の周期を全体の基準周期とし、それよりも短い周期を持つセグメントループ動画像について再生速度調整を行って、基準周期と一致するようにすればよい。
【０１２９】
再生速度の調整は、単純に周期の短いセグメントループ動画像のうちいくつかのフレーム画像については複数回連続して表示するようにして調整してもよい。より厳密な結果を得るには新たに追加したい時間位置のフレーム画像を、その時間位置の前後に存在する２つのフレーム画像を使って、滑らかに動きが連結できるように生成すればよい。
【０１３０】
以上のように、ループ動画像として、少なくとも以下の３つの場合が考えられる。すなわち、全てのセグメントループ動画像の周期が同じとなるように、ループ動画像を生成する場合、いくつかのセグメントループ動画像の周期が異なるループ動画像を生成する場合、およびいくつかの周期の異なるセグメントループ動画像から、再生速度の調整により、全体として１つの周期をもつループ動画像を生成する場合が考えられる。
【０１３１】
ここで、セグメントループ動画像の周期が異なるループ動画像が生成された場合には、ループ動画像の再生側において、異なる周期のセグメントループ動画像を同時に再生する機能が必要となる。また、再生速度の調整を行なう場合には、上述したように、フレーム画像の挿入等により各セグメントループ動画像の周期調整が行なわれる。
【０１３２】
各動きセグメントの積算ＳＡＤ値と、セグメントループ動画像の開始端および終了端となるフレームペアが求められると、処理はステップＳ１５からステップＳ１６に進む。
【０１３３】
ステップＳ１６において、ループ動画像計算部２５は、セグメントマップに基づいて、１または複数の動きセグメントのなかから、１つの動きセグメントを処理対象の動きセグメントとして選択する。
【０１３４】
ステップＳ１７において、ループ動画像計算部２５は、処理対象の動きセグメントは、ループ動画像化が可能であるか否かを判定する。例えば、処理対象の動きセグメントの積算ＳＡＤ値が、所定の閾値以下である場合、ループ動画像化が可能であると判定される。
【０１３５】
ステップＳ１７において、ループ動画像化が可能であると判定された場合、ステップＳ１８において、ループ動画像計算部２５は、連写画像に基づいて、処理対象の動きセグメントのセグメントループ動画像を生成する。
【０１３６】
例えば、ループ動画像計算部２５は、動きセグメントの積算ＳＡＤ値の算出時に処理対象とされた２つのフレームを、それぞれ開始端および終了端とする区間について、その区間の各フレームの連写画像から、動きセグメントの領域の画像を切り出す。そして、ループ動画像計算部２５は、切り出した画像に対して、上述したクロスフェード処理を施すことで、セグメントループ動画像を生成し、セグメント結合処理部２６に供給する。
【０１３７】
このようにして生成されたセグメントループ動画像は、複数の連続するフレームの連写画像上の動きセグメントの画像のうち、類似度が高い２つの画像の間にある画像が順番に繰り返し表示される動画像となる。
【０１３８】
このようにクロスフェード処理を行ってセグメントループ動画像を生成すれば、セグメントループ動画像の終了端から開始端への遷移時における継ぎ目の顕在化を軽減させることができる。しかしながら、クロスフェード処理では、連写画像（動きセグメントの画像）の絵柄の異なる部分では、半透明に複数の連写画像の被写体が混ざり合ってしまうため、継ぎ目が目立ってしまう場合がある。
【０１３９】
そこで、異なるフレームの連写画像をより高品位にブレンドするために、画素単位で最適な遷移タイミングが求められるグラフカット法により、セグメントループ動画像が生成されるようにしてもよい。
【０１４０】
２つの画像の一部を重ね合わせて繋ぎ合わせる場合、グラフカット法では、重ね合わされた２つの画像の重複部分について、それらの２つの画像のうちの何れの画像の画素を採用すれば、画像の繋ぎ合わせによる視覚的な不連続性が小さくなるかが求められる。つまり、各画像における画素値の連続性と、２つの画像間における画素値の連続性とが考慮されて、最適な継ぎ目が算出され、その継ぎ目で２つの画像が接続される。
【０１４１】
これに対して、複数フレームの画像の全ての領域が重なるように、それらの複数の画像を重ね合わせてグラフカット法により繋ぎ合わせる場合、基本的には２つの画像の一部を重ね合わせる場合と同様の処理が行われる。この場合、複数の画像を繋ぎ合わせる継ぎ目は、線ではなく面となる。すなわち、各画像における画素値の連続性と、複数の画像間における画素値の連続性とが考慮されて、各画像の同じ位置にある画素のうちの１つの画素が、画像の継ぎ目となる面上の画素とされる。
【０１４２】
したがって、連続するフレームの動きセグメントの画像からなる区間について、グラフカット法によりセグメントループ動画像を生成する場合、その区間の開始端近傍のフレームの画像と、終了端近傍のフレームの画像とに基づいて、画像のブレンドが行なわれる。すなわち、処理対象となっている区間の開始端近傍のいくつかのフレームと、その区間の終了端近傍のいくつかのフレームとからなる区間をブレンド区間と呼ぶこととする。
【０１４３】
この場合、ブレンド区間に含まれる各フレームの動きセグメントの画像に基づいて、３次元の継ぎ目の面が求められ、その面に基づいて動きセグメントの画像がブレンド処理され、新たな動きセグメントの画像が生成される。そして、このようにして生成された新たな動きセグメントの画像が、処理対象の区間の開始端または終了端のフレームの動きセグメントの画像とされる。
【０１４４】
なお、グラフカット法による画像のブレンドについては、例えば「Vivek Kwatra , Arno Schodl , Irfan Essa , Greg Turk and AaronBobick, "Graphcut Textures: Image and Video Synthesis Using Graph Cuts" Toappear in Proc. ACM Transactions on Graphics, SIGGRAPH 2003」などに詳細に記載されている。
【０１４５】
また、セグメントループ動画像の生成時に、いくつかの連写画像における動きセグメントの領域の画像をブレンドする方法として、クロスフェードやグラフカット法の他、ランダムディゾルブなどが用いられてもよい。
【０１４６】
ステップＳ１８の処理が行われて、セグメントループ動画像が生成されると、その後、処理はステップＳ２０へと進む。
【０１４７】
また、ステップＳ１７において、処理対象の動きセグメントのループ動画像化が可能でないと判定された場合、ステップＳ１９において、ループ動画像計算部２５は、連写画像に基づいて、処理対象の動きセグメントのセグメント画像を生成する。
【０１４８】
例えばループ動画像計算部２５は、所定のフレームの連写画像における処理対象の動きセグメントの領域の画像を切り出して、切り出した画像をそのままセグメント画像とする。
【０１４９】
動きセグメントについて求めた積算ＳＡＤ値が大きい場合、その動きセグメントの領域の画像群を、小さい視覚的差異で繰り返し再生することは困難である。そのため、そのような動きセグメントについては、ループ動画像の再生時に静止画像であるセグメント画像が継続して提示され、ループ動画像が視覚的に不連続となってしまうことが防止される。
【０１５０】
なお、セグメント画像が切り出される連写画像のフレームは、連写画像の先頭のフレームや、中間の位置にあるフレームなど、どのようなフレームであってもよい。
【０１５１】
また、このような動きセグメントのセグメント画像を生成するときに、三次元ＮＲ処理を行うことも考えられる。しかしながら、動きセグメントでは、被写体の動きが大きいため、前後のフレームで画像の内容（絵柄）が大きく異なり、ノイズ成分を正しく抽出することが困難である。したがって、動きセグメントに対しては、三次元ＮＲ処理が行われないようにすることが好ましい。
【０１５２】
このようにして、動きセグメントのセグメント画像が生成されると、ループ動画像計算部２５は、生成したセグメント画像をセグメント結合処理部２６に供給し、処理はステップＳ２０に進む。
【０１５３】
ステップＳ１８においてセグメントループ動画像が生成されたか、またはステップＳ１９において、セグメント画像が生成されると、ステップＳ２０において、ループ動画像計算部２５は、全ての動きセグメントを処理したか否かを判定する。
【０１５４】
ステップＳ２０において、まだ全ての動きセグメントを処理対象として処理していないと判定された場合、処理はステップＳ１６に戻り、上述した処理が繰り返される。
【０１５５】
一方、ステップＳ２０において、全ての動きセグメントを処理したと判定された場合、処理はステップＳ２１に進む。
【０１５６】
ステップＳ２１において、セグメント結合処理部２６は、セグメント計算部２３から供給されたセグメントマップに基づいて、セグメント結合処理を行い、ループ動画像を生成する。すなわち、セグメント結合処理部２６は、三次元ＮＲ部２４およびループ動画像計算部２５から供給されたセグメント画像およびセグメントループ動画像を結合し、１つのループ動画像を生成する。
【０１５７】
例えば、図３を参照して説明したように、各セグメントのセグメント画像、およびセグメントループ動画像の対応するフレームの画像が複製されて、それらのセグメントと同じ位置に配置されて結合され、ループ動画像の１フレーム分の画像とされる。
【０１５８】
セグメント結合処理部２６は、ループ動画像を生成すると、生成したループ動画像を画像メモリ２１に供給して記録させ、ループ動画像生成処理は終了する。このようにして画像メモリ２１に記録されたループ動画像は、その後、図示せぬ表示部等に供給される。
【０１５９】
なお、以上においては、ループ動画像が生成されて出力されると説明したが、各セグメントの画像が結合されずに個別に画像メモリ２１に記録され、出力されるようにしてもよい。そのような場合、セグメント結合処理部２６は、各セグメントのセグメント画像およびセグメントループ動画像を結合せずに、そのまま画像メモリ２１に記録させる。
【０１６０】
この場合、各セグメントのセグメントループ動画像の周期は、必ずしも同じである必要はなく、各セグメントループ動画像の周期が異なる場合には、上述したように、ステップＳ１５において積算ＳＡＤ値の再計算は行なわれない。
【０１６１】
このように、各セグメントのセグメント画像とセグメントループ動画像が対応付けられて画像メモリ２１に記録される場合、例えば、後段の装置では、これらのセグメント画像とセグメントループ動画像が結合されながら、ループ動画像として再生される。また、各セグメントループ動画像が個別に１つの動画像として再生されるようにしてもよい。
【０１６２】
さらに、以上においては、動きセグメントのセグメントループ動画像が生成されると説明したが、ループ動画像を再生するための動きセグメントの画像は、ループ動画像として再生可能な画像であれば、どのような形式の画像であってもよい。例えば、連続する複数フレームの連写画像上における動きセグメントの領域の画像が切り出され、それらの動きセグメントの画像からなる画像群が、ループ動画像を再生するための動きセグメントの画像として出力されてもよい。この場合、動きセグメントの画像群を構成する各画像を順番に繰り返し表示すれば、それらの画像群を、１つのループ動画像として再生可能である。
【０１６３】
以上のようにして、画像処理装置１１は、連写画像をいくつかのセグメントに分割し、セグメントごとにセグメント画像またはセグメントループ動画像を生成する。そして、画像処理装置１１は、これらのセグメント画像とセグメントループ動画像を結合して、１つのループ動画像を生成する。
【０１６４】
このように、セグメントごとにセグメント画像またはセグメントループ動画像を生成することで、連写画像に複雑な動きをする被写体が複数含まれている場合でも、セグメントごとに、そのセグメントに適した高品位な画像を生成することができる。これにより、より簡単に高品位なループ動画像を得ることができる。
【０１６５】
例えばセグメント分割を行なわずにループ動画像を生成する場合、連写画像に単一の動きではなく、複数の異なる動きの被写体が含まれていると、各被写体の動きを勘案した折衷案的なループ動画像が生成されてしまい、望ましいループ動画像を得ることができない。
【０１６６】
これに対して、連写画像上の輝度変化や被写体の動きに応じて連写画像をセグメントに分割し、処理が施される単位を小分けにすることで、結果として最終的に得られるループ動画像の品質を向上させることができる。例えば、セグメントごとに、セグメントループ動画像の最適な遷移タイミングを設定したり、各セグメントループ動画像に異なる繰り返し周期を与えたりすることができる。また、静止セグメントについては、処理を間引くことができるだけでなく、三次元ＮＲ処理により、高画質なセグメント画像を得ることができる。
【０１６７】
〈変形例１〉
［画像処理装置の構成例］
なお、以上においては、生成されたループ動画像が画像処理装置１１から出力されると説明したが、ループ動画像が画像処理装置１１において再生されるようにしてもよい。
【０１６８】
そのような場合、画像処理装置１１は、例えば、図６に示すように構成される。なお、図６において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１６９】
図６の画像処理装置１１は、図４の画像処理装置１１の構成に、さらに表示制御部５１および表示部５２が設けられている点で図４の画像処理装置１１と異なり、他の構成は同じとなっている。
【０１７０】
表示制御部５１は、画像メモリ２１からループ動画像を読み出して、表示部５２に供給し、ループ動画像を表示させる。表示部５２は、表示制御部５１の制御にしたがって、表示制御部５１から供給されたループ動画像を表示する。
【０１７１】
〈第２の実施の形態〉
［撮影装置の構成例］
また、以上においては連写画像が入力されるとループ動画像が生成される例について説明したが、連写画像が入力されると、その連写画像を素材として高品位なループ動画像の生成が可能か否かが判定され、必要に応じてその判定結果が表示されるようにしてもよい。
【０１７２】
例えば、ユーザがカメラを被写体に向けて構えている段階で得られるプレビュー画像が連写画像とされ、シャッタ押下により撮影される画像が高解像度静止画像とされるものとする。この場合、連写画像から高品位なループ動画像が生成できないと判定されたときには、その旨のエラー通知が表示される。
【０１７３】
また、連写画像から高品位なループ動画像が生成できると判定されたときには、シャッタが押下されると、高解像度静止画像が撮影されるとともに、ループ動画像が生成される。これにより、一度のシャッタ操作で、ループ動画像の撮影ができるだけでなく、プレビュー段階で、ループ動画像が生成可能かをユーザに通知することができる。
【０１７４】
このような場合、撮影装置は、例えば図７に示すように構成される。
【０１７５】
撮影装置８１は、例えばカメラなどかならなり、ユーザの操作に応じて静止画像や動画像を撮影する。撮影装置８１では、ＣＰＵ（Central Processing Unit）９１、メモリ９２、撮像素子９３、ディスプレイコントローラ９４、入力インターフェース９５、外部機器インターフェース９６、およびＤＳＰ（Digital Signal Processor）９７がバス９８を介して相互に接続されている。
【０１７６】
ＣＰＵ９１は、ユーザの操作に応じて、撮影装置８１全体の動作を制御する。例えば、モードダイアル９９が操作され、撮影モードが指定されると、モードダイアル９９に対する操作に応じた信号が、モードダイアル９９から入力インターフェース９５を介してＣＰＵ９１に供給される。すると、ＣＰＵ９１は、モードダイアル９９からの信号に応じた撮影モードで、撮影処理を制御する。
【０１７７】
例えば、撮影モードとして、高解像度静止画像を撮影する通常撮影モードと、ループ動画像を撮影するループ動画像撮影モードとが選択可能とされる。
【０１７８】
また、シャッタ１００が操作されると、ＣＰＵ９１は、入力インターフェース９５を介してシャッタ１００から供給された信号に応じて、撮像素子９３に画像を撮影させる。撮像素子９３は、例えばＣＣＤ（Charge Coupled Devices）などからなり、レンズ１０１を介して被写体から入射してきた光を受光して光電変換することで、画像を撮影する。撮像素子９３により撮影された画像は、メモリ９２に供給されて一時的に保持された後、必要に応じてＤＳＰ９７により画像処理が施され、外部機器インターフェース９６を介して記録部１０２に供給されたり、ディスプレイコントローラ９４を介して表示部１０３に供給されたりする。
【０１７９】
記録部１０２は、外部機器インターフェース９６から供給された画像等のデータを記録する。表示部１０３は、ディスプレイコントローラ９４から供給された画像を表示する。
【０１８０】
［画像処理部の機能的構成例］
次に、図７のＣＰＵ９１およびＤＳＰ９７がプログラムを実行することで実現される画像処理部の構成例について説明する。図８は、画像処理部の機能的な構成例を示す図である。なお、図８において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１８１】
画像処理部１３１は、画像メモリ２１、位置合わせ部２２、セグメント計算部２３、ループ動画像計算部２５、セグメント結合処理部２６、およびエラー通知部１４１から構成される。
【０１８２】
画像メモリ２１には、撮影装置８１によりプレビュー画像として撮影された、低解像度の連写画像と、撮影装置８１により撮影された高解像度の高解像度静止画像とが記録される。また、画像メモリ２１には、セグメント結合処理部２６により生成されたループ動画像も記録される。
【０１８３】
セグメント結合処理部２６は、セグメント計算部２３からのセグメントマップに基づいて、ループ動画像計算部２５からのセグメントループ動画像およびセグメント画像と、画像メモリ２１からの高解像度静止画像とから、ループ動画像を生成する。
【０１８４】
エラー通知部１４１は、ループ動画像計算部２５から供給された連写画像の各動きセグメントの積算ＳＡＤ値に基づいて、連写画像のループ動画像化が可能か否かを判定し、その判定結果を出力する。
【０１８５】
［撮影処理の説明］
次に、撮影装置８１により行なわれる撮影処理について説明する。ユーザにより撮影装置８１が操作され、画像の撮影開始が指示されると、撮影装置８１は撮影処理を開始して、ユーザの操作に応じて画像を撮影する。以下、図９のフローチャートを参照して、撮影装置８１による撮影処理について説明する。
【０１８６】
ステップＳ５１において、ＣＰＵ９１は、モードダイアル９９から供給される信号に基づいて、通常撮影モードが選択されているか否かを判定する。
【０１８７】
ステップＳ５１において通常撮影モードが選択されていると判定された場合、ステップＳ５２において、撮影装置８１は、ユーザによるシャッタ１００の操作に応じて、高解像度静止画像を撮影し、撮影処理は終了する。
【０１８８】
すなわち、撮像素子９３は、レンズ１０１から入射した光を光電変換して高解像度静止画像を撮影し、メモリ９２に記録させる。メモリ９２に記録された高解像度静止画像は、必要に応じてＤＳＰ９７により処理されて、記録部１０２に供給され、記録される。
【０１８９】
これに対して、ステップＳ５１において、通常撮影モードが選択されていないと判定された場合、つまりループ動画像撮影モードが選択されている場合、処理はステップＳ５３に進む。
【０１９０】
ステップＳ５３において、撮影装置８１はループ動画像生成処理を行なって、撮影処理は終了する。なお。ループ動画像生成処理では、ループ動画像の撮影が行なわれる。
【０１９１】
［ループ動画像生成処理の説明］
次に、図１０のフローチャートを参照して、図９のステップＳ５３の処理に対応するループ動画像生成処理について説明する。
【０１９２】
ステップＳ８１において、撮影装置８１は、プレビュー撮影を開始する。すなわち、撮像素子９３は、ＣＰＵ９１の指示にしたがって、レンズ１０１から入射した光を光電変換し、その結果得られた連写画像を表示部１０３および画像メモリ２１に供給する。撮像素子９３では、所定の時間間隔で各フレームの連写画像が撮影されていく。
【０１９３】
画像メモリ２１は、撮像素子９３から供給された連写画像を一時的に記録する。また、表示部１０３は、ディスプレイコントローラ９４を介して撮像素子９３から供給された連写画像を表示する。これにより、ユーザは、表示部１０３に表示されたプレビュー画像としての連写画像を見ながら、これから撮影しようとするループ動画像の画角や構図を決めることができる。
【０１９４】
ステップＳ８２において、位置合わせ部２２は、画像メモリ２１から連写画像を読み出して位置合わせ処理を行い、位置合わせされた連写画像を画像メモリ２１に供給して記録させる。ステップＳ８２では、図５のステップＳ１２と同様の処理が行なわれる。
【０１９５】
すなわち、例えば、RANSAC法などにより射影変換行列が求められ、求められた射影変換行列により処理対象画像とされた連写画像が射影変換されて、連写画像の位置合わせが行なわれる。このようにして位置合わせが行なわれた連写画像は、画像メモリ２１に記録された後、セグメント計算部２３およびループ動画像計算部２５に供給される。
【０１９６】
ステップＳ８３において、セグメント計算部２３は、画像メモリ２１から供給された連写画像に対してセグメンテーションを行い、連写画像をいくつかのセグメントに分割する。そして、セグメント計算部２３は、セグメンテーションにより得られたセグメントマップを、ループ動画像計算部２５に供給する。
【０１９７】
ステップＳ８４において、ループ動画像計算部２５は、画像メモリ２１からの連写画像と、セグメント計算部２３からのセグメントマップとに基づいて、動きセグメントごとに積算ＳＡＤ値を算出する。
【０１９８】
例えば、ループ動画像計算部２５は、複数の連写画像のフレームのうち、最短周期長Lminに示されるフレーム数以上離れた任意の２つのフレームを、処理対象のフレームとする。そして、ループ動画像計算部２５は、処理対象のフレームを中心とする、積算タップ長Lsadに示される数の連続するフレームの区間について、積算ＳＡＤ値を求める。なお、積算ＳＡＤ値の算出時においては、連写画像上の処理対象となっている動きセグメントの領域内の画素のみが用いられて、差分絶対値和が算出される。
【０１９９】
ループ動画像計算部２５は、処理対象とするフレームのペアを変化させながら、各フレームのペアについて積算ＳＡＤ値を算出し、算出された積算ＳＡＤ値の最小値を、処理対象となっている動きセグメントの積算ＳＡＤ値とする。ループ動画像計算部２５は、このようにして求めた各動きセグメントの積算ＳＡＤ値を、エラー通知部１４１に供給する。
【０２００】
ステップＳ８５において、エラー通知部１４１は、ループ動画像計算部２５から供給された各動きセグメントの積算ＳＡＤ値に基づいて、連写画像のループ動画像化が可能であるか否かを判定する。例えば、エラー通知部１４１は、各動きセグメントの積算ＳＡＤ値のうちの最も小さい積算ＳＡＤ値が、予め定められた所定の閾値以下である場合、ループ動画像化が可能であると判定する。
【０２０１】
ステップＳ８５において、ループ動画像化が可能でないと判定された場合、ステップＳ８６において、エラー通知部１４１は、エラー通知を行なう。例えば、エラー通知部１４１は、連写画像のループ動画像化ができない旨の情報、つまりループ動画像が撮影できない旨の情報を生成し、生成した情報を表示部１０３に供給して表示させる。
【０２０２】
これにより、ユーザは、連写画像として撮影された被写体が、ループ動画像の撮影には適していないことを知ることができる。したがって、ユーザは、被写体を変えたり、画角を変えたりして所望のループ動画像が撮影できるように対応することができる。
【０２０３】
エラー通知が行なわれると、その後、処理はステップＳ８６からステップＳ８２に戻り、上述した処理が繰り返される。すなわち、新たに撮影された複数フレームの連写画像に基づいて、その連写画像のループ動画像化が可能であるかが判定される。
【０２０４】
なお、ユーザへのエラー通知は、文字メッセージや図形を表示部１０３に表示させることで行なわれてもよいし、音声により行なわれるようにしてもよい。
【０２０５】
また、ステップＳ８５において、ループ動画像化が可能であると判定された場合、ステップＳ８７において、撮像素子９３は、高解像度静止画像を撮影する。すなわち、ユーザによりシャッタ１００が押下されると、ＣＰＵ９１は撮像素子９３に対して、高解像度静止画像の撮影を指示する。
【０２０６】
撮像素子９３は、ＣＰＵ９１の指示に応じて、レンズ１０１から入射した光を光電変換し、その結果得られた高解像度静止画像を画像メモリ２１に供給する。ここで、高解像度静止画像は、連写画像よりも解像度が高い、つまり画素数の多い静止画像である。
【０２０７】
なお、ステップＳ８５において、ループ動画像化が可能であると判定された場合に、エラー通知部１４１が、表示部１０３にループ動画像の撮影（生成）が可能である旨の表示をさせるようにしてもよい。この表示は、例えば文字メッセージとされてもよいし、特定の図形や記号などとされてもよい。また、ループ動画像の撮影が可能である旨の音声が出力されるようにしてもよい。
【０２０８】
ステップＳ８８において、位置合わせ部２２は、画像メモリ２１から高解像度静止画像と連写画像を読み出して、位置合わせ処理を行なう。
【０２０９】
例えば、位置合わせ部２２は、ステップＳ８５でループ動画像化が可能と判定された、複数フレームの位置合わせ前の連写画像と、ステップＳ８７で撮影された高解像度静止画像とを画像メモリ２１から読み出す。
【０２１０】
そして、位置合わせ部２２は、連写画像を高解像度静止画像と同じ大きさ（解像度）にアップサンプリングして、高解像度静止画像を基準画像とし、アップサンプリング後の連写画像を処理対象画像として、連写画像の位置合わせを行なう。すなわち、RANSAC法などにより射影変換行列が求められ、連写画像が射影変換行列により射影変換される。
【０２１１】
このようにして位置合わせが行なわれた連写画像は、画像メモリ２１に記録された後、セグメント計算部２３およびループ動画像計算部２５に供給される。また、画像メモリ２１に記録されている高解像度静止画像は、セグメント結合処理部２６に供給される。
【０２１２】
ステップＳ８９において、セグメント計算部２３は、画像メモリ２１から供給された連写画像に対してセグメンテーションを行い、連写画像をいくつかのセグメントに分割する。そして、セグメント計算部２３は、セグメンテーションにより得られたセグメントマップを、ループ動画像計算部２５およびセグメント結合処理部２６に供給する。
【０２１３】
ステップＳ９０において、セグメント結合処理部２６は、セグメント計算部２３からのセグメントマップと、画像メモリ２１からの高解像度静止画像とに基づいて、各静止セグメントのセグメント画像を生成する。例えば、セグメント結合処理部２６は、高解像度静止画像における静止セグメントの領域の画像を切り出して、切り出した画像をそのまま静止セグメントのセグメント画像とする。
【０２１４】
ステップＳ９０の処理が行なわれると、その後、ステップＳ９１乃至ステップＳ９６の処理が行なわれるが、これらの処理は図５のステップＳ１５乃至ステップＳ２０の処理と同様であるので、その説明は省略する。ステップＳ９１乃至ステップＳ９６では、各動きセグメントのセグメント画像またはセグメントループ動画像が生成されて、ループ動画像計算部２５からセグメント結合処理部２６に供給される。
【０２１５】
但し、ステップＳ９１乃至ステップＳ９６では、高解像度静止画像と同じ解像度に変換（アップサンプリング）された連写画像が用いられて、セグメント画像およびセグメントループ動画像の生成が行なわれる。
【０２１６】
ステップＳ９６において、全ての動きセグメントを処理したと判定された場合、処理はステップＳ９７に進む。
【０２１７】
ステップＳ９７において、セグメント結合処理部２６は、セグメント計算部２３から供給されたセグメントマップに基づいて、セグメント結合処理を行い、ループ動画像を生成する。すなわち、セグメント結合処理部２６は、ステップＳ９０の処理で生成したセグメント画像と、ループ動画像計算部２５から供給されたセグメント画像およびセグメントループ動画像とを結合し、１つのループ動画像を生成する。
【０２１８】
例えば、図３を参照して説明したように、各セグメントのセグメント画像、およびセグメントループ動画像の対応するフレームの画像が複製されて、それらのセグメントと同じ位置に配置されて結合され、ループ動画像の１フレーム分の画像とされる。
【０２１９】
セグメント結合処理部２６は、ループ動画像を生成すると、生成したループ動画像を画像メモリ２１に供給して記録させる。そして、ループ動画像生成処理は終了し、その後、処理は図９のステップＳ５３に戻り、撮影処理も終了する。
【０２２０】
このようにして画像メモリ２１に記録されたループ動画像は、その後、記録部１０２に供給されて記録されたり、表示部１０３に供給されて表示されたりする。なお、各セグメントの画像が結合されずに個別に画像メモリ２１に記録され、出力されるようにしてもよい。
【０２２１】
以上のようにして、撮影装置８１は、連写画像が入力された段階で、連写画像がループ動画像化に適しているかを判定し、連写画像がループ動画像化に適していない場合には、ループ動画像化できない旨をユーザに対して提示する。これにより、ユーザは、プレビュー撮影の段階で、ループ動画像の撮影ができないことを知ることができ、直ちに撮影をやり直すことができる。したがって、ユーザは、適切にループ動画像の撮影をすることができ、より簡単に高品位なループ動画像を得ることができるようになる。
【０２２２】
また、撮影装置８１では、セグメントごとにセグメント画像またはセグメントループ動画像が生成されるので、連写画像に複雑な動きをする被写体が複数含まれている場合でも、セグメントごとに、そのセグメントに適した高品位な画像を生成することができる。これにより、より高品位なループ動画像を得ることができる。
【０２２３】
〈変形例２〉
［画像処理部の構成例］
なお、以上においては、連写画像をセグメントに分割してループ動画像を生成する場合に、連写画像がループ動画像化に適していないとき、その旨をユーザに通知すると説明したが、連写画像がセグメント分割されない場合にも、ユーザに対して、そのような通知がされるようにしてもよい。
【０２２４】
そのような場合、撮影装置８１のＣＰＵ９１およびＤＳＰ９７がプログラムを実行することで実現される画像処理部は、例えば図１１に示す構成とされる。なお、図１１において、図８における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２２５】
画像処理部１７１は、画像メモリ２１、位置合わせ部２２、ループ動画像計算部２５、およびエラー通知部１４１から構成される。
【０２２６】
画像メモリ２１には、撮影装置８１により撮影された連写画像と、ループ動画像計算部２５により生成されたループ動画像が記録される。ループ動画像計算部２５は、画像メモリ２１から供給された連写画像に基づいて、ループ動画像を生成する。
【０２２７】
［ループ動画像生成処理の説明］
次に、図１２のフローチャートを参照して、画像処理部が図１１に示す構成とされる場合に行なわれる処理について説明する。この場合、撮影装置８１により、図９のフローチャートを参照して説明した撮影処理が行なわれる。但し、この場合、ステップＳ５３の処理では、連写画像がセグメント分割されずにループ動画像の生成が行なわれる。
【０２２８】
以下、図１２のフローチャートを参照して、連写画像がセグメント分割されずにループ動画像が生成される場合における、ステップＳ５３の処理に対応するループ動画像生成処理について説明する。
【０２２９】
ステップＳ１２１において、撮影装置８１は撮影を開始する。すなわち、撮像素子９３は、ＣＰＵ９１の指示にしたがって、レンズ１０１から入射した光を光電変換し、その結果得られた連写画像を表示部１０３および画像メモリ２１に供給する。撮像素子９３では、所定の時間間隔で各フレームの連写画像が撮影されていく。
【０２３０】
ステップＳ１２２において、位置合わせ部２２は、画像メモリ２１から連写画像を読み出して位置合わせ処理を行い、位置合わせされた連写画像を画像メモリ２１に供給して記録させる。ステップＳ１２２では、図１０のステップＳ８２と同様の処理が行なわれる。位置合わせが行なわれた連写画像は、画像メモリ２１に記録された後、ループ動画像計算部２５に供給される。
【０２３１】
ステップＳ１２３において、ループ動画像計算部２５は、画像メモリ２１からの連写画像に基づいて、連写画像の積算ＳＡＤ値を算出する。
【０２３２】
例えば、ループ動画像計算部２５は、複数の連写画像のフレームのうち、最短周期長Lminに示されるフレーム数以上離れた任意の２つのフレームを処理対象のフレームとする。そして、ループ動画像計算部２５は、処理対象のフレームを中心とする、積算タップ長Lsadに示される数の連続するフレームの区間について、積算ＳＡＤ値を求める。なお、積算ＳＡＤ値の算出時には、連写画像全体の画素が用いられて、差分絶対値和が算出される。
【０２３３】
ループ動画像計算部２５は、処理対象とするフレームのペアを変化させながら、各フレームのペアについて積算ＳＡＤ値を算出し、算出された積算ＳＡＤ値の最小値を、連写画像の積算ＳＡＤ値とする。ループ動画像計算部２５は、このようにして求めた連写画像の積算ＳＡＤ値を、エラー通知部１４１に供給する。
【０２３４】
ステップＳ１２４において、エラー通知部１４１は、ループ動画像計算部２５から供給された連写画像の積算ＳＡＤ値に基づいて、連写画像のループ動画像化が可能であるか否かを判定する。例えば、エラー通知部１４１は、連写画像の積算ＳＡＤ値が、予め定められた所定の閾値以下である場合、ループ動画像化が可能であると判定する。
【０２３５】
ステップＳ１２４において、ループ動画像化が可能でないと判定された場合、ステップＳ１２５において、エラー通知部１４１は、エラー通知を行なう。例えば、エラー通知部１４１は、連写画像のループ動画像化ができない旨の情報を表示部１０３に供給して表示させる。
【０２３６】
エラー通知が行なわれると、その後、処理はステップＳ１２５からステップＳ１２２に戻り、上述した処理が繰り返される。すなわち、新たに撮影された複数フレームの連写画像に基づいて、その連写画像のループ動画像化が可能であるかが判定される。
【０２３７】
また、ステップＳ１２４において、ループ動画像化が可能であると判定された場合、ステップＳ１２６において、ループ動画像計算部２５は、連写画像に基づいて、連写画像のループ動画像を生成する。
【０２３８】
例えば、ループ動画像計算部２５は、ステップＳ１２３の処理で算出した積算ＳＡＤ値が最小となるときのフレームのペアを処理対象のフレームとして、それらの２つのフレームを、それぞれ開始端および終了端とする区間の連写画像を抽出する。そして、ループ動画像計算部２５は、抽出した区間の連写画像に対して、上述したクロスフェード処理、グラフカット法による処理、ランダムディゾルブなどを行なってループ動画像を生成し、画像メモリ２１に供給する。
【０２３９】
このようにして得られたループ動画像は、連写画像がセグメントに分割されずに、連写画像全体がループ化されて得られたループ動画像である。ループ動画像計算部２５は、ループ動画像を生成すると、生成したループ動画像を画像メモリ２１に供給して記録させる。そしてループ動画像生成処理は終了し、その後、処理は図９のステップＳ５３に戻り、撮影処理も終了する。
【０２４０】
以上のようにして、撮影装置８１は、連写画像がループ動画像化に適していない場合には、ループ動画像化できない旨をユーザに対して提示する。これにより、ユーザは、直ちに撮影をやり直すことができる。したがって、適切にループ動画像の撮影をすることができ、より簡単に高品位なループ動画像を得ることができるようになる。
【０２４１】
また、図５のフローチャートを参照して説明したように、連写画像のみが用いられて各セグメントのセグメント画像とセグメントループ動画像から、ループ動画像を生成する場合にも、連写画像の撮影時に、連写画像をループ動画像化可能か否か判定してもよい。そのような場合においても、連写画像がループ動画像化可能か否かの判定結果が、適宜出力される。
【０２４２】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２４３】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２４４】
コンピュータにおいて、CPU５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０２４５】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０２４６】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０２４７】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２４８】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０２４９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２５０】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２５１】
１１ 画像処理装置， ２２ 位置合わせ部， ２３ セグメント計算部， ２４ 三次元ＮＲ部， ２５ ループ動画像計算部， ２６ セグメント処理結合部， ８１ 撮影装置， ９９ モードダイアル， １４１ エラー通知部
【特許請求の範囲】
【請求項１】
異なる時刻に撮影された複数の撮影画像に基づいて、前記撮影画像をいくつかのセグメントに分割するセグメント計算部と、
前記複数の前記撮影画像のうちの連続するいくつかの前記撮影画像から、動きのある被写体が含まれる前記セグメントである動きセグメントの画像を切り出し、前記動きセグメントの画像に基づいて、ループ動画像として再生可能な画像を生成するループ動画像生成部と
を備える画像処理装置。
【請求項２】
前記ループ動画像は、連続する複数の前記動きセグメントの画像のうち、類似度の高い２つの画像の間にある画像が順番に繰り返し表示される動画像である
請求項１に記載の画像処理装置。
【請求項３】
前記複数の前記撮影画像のうちのいくつかの前記撮影画像から、動きのない被写体が含まれる前記セグメントである静止セグメントの画像を切り出して、前記静止セグメントの画像に基づいて、１つの静止画像であるセグメント画像を生成するセグメント画像生成部をさらに備える
請求項１に記載の画像処理装置。
【請求項４】
前記ループ動画像として再生可能な画像と前記セグメント画像とを結合して、１つのループ動画像を生成するセグメント結合処理部をさらに備える
請求項３に記載の画像処理装置。
【請求項５】
前記セグメント画像生成部は、いくつかの前記静止セグメントの画像を重ね合わせることで、前記セグメント画像を生成する
請求項３に記載の画像処理装置。
【請求項６】
前記ループ動画像生成部は、連続する複数の前記動きセグメントの画像のうち、類似度の高い２つの画像がある場合、前記類似度の高い２つの画像を含む、連続する複数の前記動きセグメントの画像に基づいて、前記ループ動画像として再生可能な画像を生成する
請求項１に記載の画像処理装置。
【請求項７】
前記ループ動画像生成部は、連続する複数の前記動きセグメントの画像のうち、類似度の高い２つの画像がない場合、１つの前記動きセグメントの画像に基づいて、１つの静止画像であるセグメント画像を生成する
請求項６に記載の画像処理装置。
【請求項８】
前記撮影画像よりも解像度の高い高解像度画像から、動きのない被写体が含まれる前記セグメントである静止セグメントに対応する領域の画像を切り出し、前記静止セグメントに対応する領域の画像に基づいて、１つの静止画像であるセグメント画像を生成するセグメント画像生成部をさらに備え、
前記ループ動画像生成部は、前記高解像度画像と同じ解像度に変換された前記撮影画像に基づいて、前記ループ動画像として再生可能な画像を生成する
請求項１に記載の画像処理装置。
【請求項９】
撮影モードを切り替えるための操作部をさらに備え、
前記操作部に対する操作により、前記撮影モードとして所定のモードが選択された場合、前記撮影画像および前記高解像度画像が撮影される
請求項８に記載の画像処理装置。
【請求項１０】
前記高解像度画像の撮影前に、前記複数の前記撮影画像が撮影され、
前記複数の前記撮影画像における前記動きセグメントの画像のうち、類似度の高い２つの画像があるか否かを判定し、その判定結果を出力する通知部をさらに備える
請求項９に記載の画像処理装置。
【請求項１１】
前記類似度の高い２つの画像があると判定された場合、前記高解像度画像が撮影され、前記ループ動画像として再生可能な画像、および前記セグメント画像が生成される
請求項１０に記載の画像処理装置。
【請求項１２】
異なる時刻に撮影された複数の撮影画像に基づいて、前記撮影画像をいくつかのセグメントに分割するセグメント計算部と、
前記複数の前記撮影画像のうちの連続するいくつかの前記撮影画像から、動きのある被写体が含まれる前記セグメントである動きセグメントの画像を切り出し、前記動きセグメントの画像に基づいて、ループ動画像として再生可能な画像を生成するループ動画像生成部と
を備える画像処理装置の画像処理方法であって、
前記セグメント計算部が、前記撮影画像を前記セグメントに分割し、
前記ループ動画像生成部が、前記ループ動画像として再生可能な画像を生成する
ステップを含む画像処理方法。
【請求項１３】
異なる時刻に撮影された複数の撮影画像に基づいて、前記撮影画像をいくつかのセグメントに分割し、
前記複数の前記撮影画像のうちの連続するいくつかの前記撮影画像から、動きのある被写体が含まれる前記セグメントである動きセグメントの画像を切り出し、前記動きセグメントの画像に基づいて、ループ動画像として再生可能な画像を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１４】
異なる時刻に撮影された複数の撮影画像のなかに類似度の高い２つの前記撮影画像があるか否かを判定し、その判定結果を出力する通知部と、
前記複数の前記撮影画像のうち、類似度の高い２つの前記撮影画像を含む、連続する複数の前記撮影画像に基づいて、ループ動画像として再生可能な画像を生成するループ動画像生成部と
を備える画像処理装置。
【請求項１５】
異なる時刻に撮影された複数の撮影画像のなかに類似度の高い２つの前記撮影画像があるか否かを判定し、その判定結果を出力する通知部と、
前記複数の前記撮影画像のうち、類似度の高い２つの前記撮影画像を含む、連続する複数の前記撮影画像に基づいて、ループ動画像として再生可能な画像を生成するループ動画像生成部と
を備える画像処理装置の画像処理方法であって、
前記通知部が、前記判定結果を出力し、
前記ループ動画像生成部が、前記ループ動画像として再生可能な画像を生成する
ステップを含む画像処理方法。
【請求項１】
異なる時刻に撮影された複数の撮影画像に基づいて、前記撮影画像をいくつかのセグメントに分割するセグメント計算部と、
前記複数の前記撮影画像のうちの連続するいくつかの前記撮影画像から、動きのある被写体が含まれる前記セグメントである動きセグメントの画像を切り出し、前記動きセグメントの画像に基づいて、ループ動画像として再生可能な画像を生成するループ動画像生成部と
を備える画像処理装置。
【請求項２】
前記ループ動画像は、連続する複数の前記動きセグメントの画像のうち、類似度の高い２つの画像の間にある画像が順番に繰り返し表示される動画像である
請求項１に記載の画像処理装置。
【請求項３】
前記複数の前記撮影画像のうちのいくつかの前記撮影画像から、動きのない被写体が含まれる前記セグメントである静止セグメントの画像を切り出して、前記静止セグメントの画像に基づいて、１つの静止画像であるセグメント画像を生成するセグメント画像生成部をさらに備える
請求項１に記載の画像処理装置。
【請求項４】
前記ループ動画像として再生可能な画像と前記セグメント画像とを結合して、１つのループ動画像を生成するセグメント結合処理部をさらに備える
請求項３に記載の画像処理装置。
【請求項５】
前記セグメント画像生成部は、いくつかの前記静止セグメントの画像を重ね合わせることで、前記セグメント画像を生成する
請求項３に記載の画像処理装置。
【請求項６】
前記ループ動画像生成部は、連続する複数の前記動きセグメントの画像のうち、類似度の高い２つの画像がある場合、前記類似度の高い２つの画像を含む、連続する複数の前記動きセグメントの画像に基づいて、前記ループ動画像として再生可能な画像を生成する
請求項１に記載の画像処理装置。
【請求項７】
前記ループ動画像生成部は、連続する複数の前記動きセグメントの画像のうち、類似度の高い２つの画像がない場合、１つの前記動きセグメントの画像に基づいて、１つの静止画像であるセグメント画像を生成する
請求項６に記載の画像処理装置。
【請求項８】
前記撮影画像よりも解像度の高い高解像度画像から、動きのない被写体が含まれる前記セグメントである静止セグメントに対応する領域の画像を切り出し、前記静止セグメントに対応する領域の画像に基づいて、１つの静止画像であるセグメント画像を生成するセグメント画像生成部をさらに備え、
前記ループ動画像生成部は、前記高解像度画像と同じ解像度に変換された前記撮影画像に基づいて、前記ループ動画像として再生可能な画像を生成する
請求項１に記載の画像処理装置。
【請求項９】
撮影モードを切り替えるための操作部をさらに備え、
前記操作部に対する操作により、前記撮影モードとして所定のモードが選択された場合、前記撮影画像および前記高解像度画像が撮影される
請求項８に記載の画像処理装置。
【請求項１０】
前記高解像度画像の撮影前に、前記複数の前記撮影画像が撮影され、
前記複数の前記撮影画像における前記動きセグメントの画像のうち、類似度の高い２つの画像があるか否かを判定し、その判定結果を出力する通知部をさらに備える
請求項９に記載の画像処理装置。
【請求項１１】
前記類似度の高い２つの画像があると判定された場合、前記高解像度画像が撮影され、前記ループ動画像として再生可能な画像、および前記セグメント画像が生成される
請求項１０に記載の画像処理装置。
【請求項１２】
異なる時刻に撮影された複数の撮影画像に基づいて、前記撮影画像をいくつかのセグメントに分割するセグメント計算部と、
前記複数の前記撮影画像のうちの連続するいくつかの前記撮影画像から、動きのある被写体が含まれる前記セグメントである動きセグメントの画像を切り出し、前記動きセグメントの画像に基づいて、ループ動画像として再生可能な画像を生成するループ動画像生成部と
を備える画像処理装置の画像処理方法であって、
前記セグメント計算部が、前記撮影画像を前記セグメントに分割し、
前記ループ動画像生成部が、前記ループ動画像として再生可能な画像を生成する
ステップを含む画像処理方法。
【請求項１３】
異なる時刻に撮影された複数の撮影画像に基づいて、前記撮影画像をいくつかのセグメントに分割し、
前記複数の前記撮影画像のうちの連続するいくつかの前記撮影画像から、動きのある被写体が含まれる前記セグメントである動きセグメントの画像を切り出し、前記動きセグメントの画像に基づいて、ループ動画像として再生可能な画像を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１４】
異なる時刻に撮影された複数の撮影画像のなかに類似度の高い２つの前記撮影画像があるか否かを判定し、その判定結果を出力する通知部と、
前記複数の前記撮影画像のうち、類似度の高い２つの前記撮影画像を含む、連続する複数の前記撮影画像に基づいて、ループ動画像として再生可能な画像を生成するループ動画像生成部と
を備える画像処理装置。
【請求項１５】
異なる時刻に撮影された複数の撮影画像のなかに類似度の高い２つの前記撮影画像があるか否かを判定し、その判定結果を出力する通知部と、
前記複数の前記撮影画像のうち、類似度の高い２つの前記撮影画像を含む、連続する複数の前記撮影画像に基づいて、ループ動画像として再生可能な画像を生成するループ動画像生成部と
を備える画像処理装置の画像処理方法であって、
前記通知部が、前記判定結果を出力し、
前記ループ動画像生成部が、前記ループ動画像として再生可能な画像を生成する
ステップを含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１９９６１３（Ｐ２０１２−１９９６１３Ａ）
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１１−６０６５１（Ｐ２０１１−６０６５１）
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]