画像処理システム、情報処理装置及びプログラム
【課題】 撮像部が複数の方向に移動させられ、撮影が行われる場合に、パノラマ画像を生成できる画像処理システム等の提供。
【解決手段】 画像処理システム２００は、静止画像を連続して取得する画像取得部２７０と、撮像部１２が移動される方向であるカメラ移動方向を判定する方向判定部２１０と、連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部２２０とを含む。方向判定部２１０は、撮像部１２を移動させながら撮影が行われる場合に、カメラ移動方向が第１のカメラ移動方向であるか、第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定する。パノラマ画像生成部２２０は、連続して取得された静止画像の撮影時におけるカメラ移動方向に基づき、静止画像の合成処理を行い、パノラマ画像を生成する。
【解決手段】 画像処理システム２００は、静止画像を連続して取得する画像取得部２７０と、撮像部１２が移動される方向であるカメラ移動方向を判定する方向判定部２１０と、連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部２２０とを含む。方向判定部２１０は、撮像部１２を移動させながら撮影が行われる場合に、カメラ移動方向が第１のカメラ移動方向であるか、第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定する。パノラマ画像生成部２２０は、連続して取得された静止画像の撮影時におけるカメラ移動方向に基づき、静止画像の合成処理を行い、パノラマ画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、情報処理装置及びプログラム等に関係する。
【背景技術】
【０００２】
近年、デジタルカメラを用いて、パノラマ画像を生成する手法が考案されている。パノラマ画像を生成する場合には、撮像部を一方向に移動させて撮影した複数の静止画像を繋ぎ合わせて、一枚のパノラマ画像を生成する。
【０００３】
また、パノラマ画像に映る被写体の滑らかさは、材料となる静止画像の撮影位置等によって変わる。そのため、パノラマ画像を生成する際にカメラを動かす方向や位置等をユーザに提示する手法が考案されており、その手法の一例として、特許文献１〜特許文献３に記載されるような従来技術がある。
【０００４】
特許文献１に記載される手法では、パノラマ画像を生成するために用いる静止画像を撮影する際に、直前に撮影した静止画像をリファレンス用のスルー画として液晶ファインダの端に重畳して表示して、ガイダンスを行う。
【０００５】
また、特許文献２に記載される手法は、パノラマ画像を生成するために用いる静止画像の次の撮影位置を示すガイドマークを表示して、ガイダンスを行う。
【０００６】
さらに、特許文献３に記載される手法は、撮影した静止画像とファインダ映像（スルー画）との重ね合わせ部分（マッチング領域）における特徴点に基づいて、画像間の相関度を求め、画像間の相関度に基づき、撮影タイミングガイダンスを行う。
【０００７】
これら特許文献１〜特許文献３に記載されるガイダンスを行うことにより、ガイダンス情報を参照して、ユーザが手動でカメラの傾きや位置を合わせながら撮影を行うことが可能となり、滑らかなパノラマ画像を生成することが可能になる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１―３５２５６８号公報
【特許文献２】特開２００９―０６０２７８号公報
【特許文献３】特開２００９―１２４３４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１〜特許文献３には、撮像部を一方向に移動させて、パノラマ画像を生成する手法についてのみ記載されており、複数の方向に撮像部を移動させてパノラマ画像を生成する手法や、複数の方向に撮像部を移動させる場合のガイダンス方法については記載されていない。
【００１０】
本発明の幾つかの態様によれば、撮像部が複数の方向に移動させられ、撮影が行われる場合に、パノラマ画像を生成できる画像処理システム、情報処理装置及びプログラム等を提供することができる。
【００１１】
また、本発明の幾つかの態様によれば、撮像部が複数の方向に移動させられ、撮影が行われる場合に、撮像部を動かす方向をユーザに提示して、パノラマ画像を生成することができる画像処理システム、情報処理装置及びプログラム等を提供することができる。
【課題を解決するための手段】
【００１２】
本発明の一態様は、静止画像を連続して取得する画像取得部と、撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、連続して取得された前記静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部と、を含み、前記方向判定部は、前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第１のカメラ移動方向であるか、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定し、前記パノラマ画像生成部は、連続して取得された前記静止画像の撮影時における前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする画像処理システムに関係する。
【００１３】
本発明の一態様では、撮像部が複数のカメラ移動方向に移動させられ、撮影が行われる場合に、パノラマ画像を生成するために用いる静止画像を連続して取得することができる。また、現在のカメラ移動方向を判定することができ、カメラ移動方向に基づいて、静止画像の合成位置を決定することが可能となる。よって、撮像部を一つのカメラ移動方向に動かして生成したパノラマ画像よりも、複数の方向に対して画角の広いパノラマ画像を生成することが可能となる。
【００１４】
また、本発明の一態様では、前記パノラマ画像生成部は、前回の前記合成処理に用いた前記静止画像に対して、前回の前記静止画像を撮影した時の前記カメラ移動方向に重複領域を持つように、今回の前記静止画像の前記合成処理を行って、前記パノラマ画像を生成してもよい。
【００１５】
これにより、連続して取得された静止画像をカメラ移動方向側に次々に重畳して、合成処理を行うこと等が可能になる。
【００１６】
また、本発明の一態様では、前記方向判定部は、動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、前記パノラマ画像生成部は、前記カメラ動き方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成してもよい。
【００１７】
これにより、カメラ動き方向を判定することができ、カメラ動き方向に基づいて、静止画像の合成位置を決定することが可能となる。そして、カメラ移動方向に基づいて、合成位置を決定する場合に比べて、より撮像部の実際の動きに合った位置を合成位置とすることが可能となる。
【００１８】
また、本発明の一態様では、前記パノラマ画像生成部は、前回の前記合成処理に用いた前記静止画像に対して、前回の前記静止画像を撮影した時の前記カメラ動き方向に重複領域を持つように、今回の前記静止画像の前記合成処理を行って、前記パノラマ画像を生成してもよい。
【００１９】
これにより、連続して取得された静止画像をカメラ動き方向側に次々に重畳して、合成処理を行うこと等が可能になる。
【００２０】
また、本発明の一態様では、前記方向判定部は、前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第１のカメラ移動方向であるか、前記第２のカメラ移動方向であるか、若しくは前記第１のカメラ移動方向及び前記第２のカメラ移動方向と異なる方向である第３のカメラ移動方向であるかを判定してもよい。
【００２１】
これにより、ジグザグな軌道を描くように撮像部を移動させて、パノラマ画像を生成すること等が可能になる。
【００２２】
また、本発明の一態様では、前記撮像部を移動させる方向をユーザに示す情報であるガイダンス情報を生成するガイダンス情報生成部を含んでもよい。
【００２３】
これにより、撮影時にユーザにガイダンス情報を提示すること等が可能になる。
【００２４】
また、本発明の一態様では、前記ガイダンス情報生成部は、前記方向判定部により、前記カメラ移動方向が前記第３のカメラ移動方向であると判定された場合に、前記第２のカメラ移動方向へ前記撮像部を移動させることを促す情報である移行ガイダンス情報を、前記ガイダンス情報として生成してもよい。
【００２５】
これにより、第１のカメラ移動方向へ撮像部を移動させた時に撮影した静止画像と、第２のカメラ移動方向へ撮像部を移動させた時に撮影した静止画像との重複領域を確保できるように、ユーザにカメラ移動方向を第３のカメラ移動方向に切り替えるガイダンスを行うこと等が可能になる。
【００２６】
また、本発明の一態様では、前記方向判定部により、前記第１のカメラ移動方向から前記第３のカメラ移動方向へ前記カメラ移動方向が切り替わったと判定された場合に、前記ガイダンス情報生成部は、前記第３のカメラ移動方向への前記撮像部のカメラ移動量換算値を取得し、取得した前記カメラ移動量換算値が所定の閾値以上であるか否かを判定し、前記カメラ移動量換算値が前記所定の閾値以上であると判定した場合に、前記第２のカメラ移動方向へ前記撮像部を移動させることを促す前記移行ガイダンス情報を生成してもよい。
【００２７】
これにより、例えば、撮像画像における第３のカメラ移動方向の所定の画素数によって、移行ガイダンス情報を提示するタイミングを制御すること等が可能になる。
【００２８】
また、本発明の一態様では、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を表す情報であるカメラ動き方向情報を記憶する記憶部を含み、前記方向判定部は、動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記カメラ動き方向を判定し、前記ガイダンス情報生成部は、前記方向判定部により、前記カメラ移動方向が前記第２のカメラ移動方向であると判定された場合に、前記第１のカメラ移動方向に前記撮像部が移動されていた時の前記カメラ動き方向情報を前記記憶部から逆時間順に読み出し、読み出された前記カメラ動き方向情報により表される前記カメラ動き方向とは逆の方向に前記撮像部を移動させるように前記ユーザを誘導する情報である軌跡ガイダンス情報を、前記ガイダンス情報として生成してもよい。
【００２９】
これにより、第２のカメラ移動方向に撮像部を移動させる場合に、第３のカメラ移動方向へ誤って撮像部を移動させてしまい、重複領域を確保できなくなることを防ぐこと等が可能となる。
【００３０】
また、本発明の一態様では、前記ガイダンス情報生成部は、生成された前記軌跡ガイダンス情報により表される前記撮像部の目標位置を含む誤差許容距離範囲内に前記撮像部が移動されたことを、前記動き情報に基づき判断した場合には、前記撮像部が前記目標位置に到達したと判断し、前記撮像部の次の目標位置を示す前記軌跡ガイダンス情報を提示部に通知してもよい。
【００３１】
これにより、期待される位置へ撮像部を正確に移動させる必要がなくなり、誤差を許容しながら撮影を進めること等が可能となる。
【００３２】
また、本発明の一態様では、前記ガイダンス情報生成部は、前記誤差許容距離範囲内に前記撮像部が移動された場合に、前記軌跡ガイダンス情報により表される前記撮像部の前記目標位置と、移動後の前記撮像部の実際の位置との差分情報を算出し、前記差分情報に基づいて、前記撮像部の次の前記目標位置を示す前記軌跡ガイダンス情報を補正してもよい。
【００３３】
これにより、蓄積した誤差を相殺しながら、軌跡ガイダンスを行うことができ、重複領域を確保しながら、撮影範囲にもれのないパノラマ画像を生成すること等が可能となる。
【００３４】
また、本発明の一態様では、前記画像取得部は、動き情報取得部により取得される動き情報に基づいて、前記撮像部が移動される方向を表すベクトルである動きベクトルを求め、前記動きベクトルの水平成分と垂直成分のうち、いずれか一方の成分の絶対値が他方の成分の絶対値よりも、所定の時間連続して大きいと判断した場合には、一方の成分の絶対値が他方の成分の絶対値よりも大きくなり始めたタイミングを、前記パノラマ画像を生成するために用いる前記静止画像の取得開始タイミングとして求めてもよい。
【００３５】
これにより、ユーザが手などによる操作を行わなくても、ＨＭＤを装着して風景を見回すという行為に連動して、パノラマ画像の生成を開始すること等が可能になる。
【００３６】
また、本発明の一態様では、前記画像取得部は、動き情報取得部により取得される動き情報に基づいて、前記撮像部が移動される方向を表すベクトルである動きベクトルを求め、前記動きベクトルの大きさが所定の時間連続して所定の閾値以下であると判断した場合には、前記動きベクトルの大きさが所定の閾値以下となり始めたタイミングを、前記パノラマ画像を生成するために用いる前記静止画像の取得終了タイミングとして求めてもよい。
【００３７】
これにより、ユーザが手などによる操作を行わなくても、ＨＭＤを装着して風景を見回すという行為に連動して、パノラマ画像の生成を終了すること等が可能になる。
【００３８】
また、本発明の一態様では、前記画像取得部は、前記撮像部のシャッタータイミングを制御して、前記静止画像を連続して取得してもよい。
【００３９】
これにより、例えば、撮像部が撮像する静止画像の枚数と、画像取得部が取得する静止画像の枚数を一致させることが可能となり、無駄な静止画像を撮像させることを防止しつつ、必要な静止画像を取得すること等が可能になる。
【００４０】
また、本発明の他の態様では、撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、画像取得部により連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部と、連続して取得された前記静止画像と生成した前記パノラマ画像とを記憶する記憶部と、を含み、前記パノラマ画像生成部は、第１のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像を撮影した時の前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする情報処理装置に関係する。
【００４１】
また、本発明の他の態様では、前記方向判定部は、動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、前記記憶部は、前記カメラ動き方向を表す情報であるカメラ動き方向情報を記憶し、前記パノラマ画像生成部は、前記カメラ動き方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成してもよい。
【００４２】
また、本発明の他の態様では、前記パノラマ画像生成部は、前記第１のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第１のカメラ移動方向及び前記第２のカメラ移動方向と異なる方向である第３のカメラ移動方向に前記撮像部が移動させられ、前記第３のカメラ移動方向に前記撮像部を移動させられた後に、前記第２のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像の前記合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成してもよい。
【００４３】
また、本発明の他の態様では、前記カメラ移動方向に基づいて、前記撮像部を移動させる方向をユーザに示す情報であるガイダンス情報を生成するガイダンス情報生成部を含んでもよい。
【００４４】
また、本発明の他の態様では、前記ガイダンス情報生成部は、前記方向判定部により、前記カメラ移動方向が前記第３のカメラ移動方向であると判定された場合に、前記第２のカメラ移動方向へ前記撮像部を移動させることを促す情報である移行ガイダンス情報を、前記ガイダンス情報として生成してもよい。
【００４５】
また、本発明の他の態様では、前記方向判定部は、動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、前記記憶部は、前記カメラ動き方向を表す情報であるカメラ動き方向情報を記憶し、前記ガイダンス情報生成部は、前記方向判定部により、前記カメラ移動方向が前記第２のカメラ移動方向であると判定された場合に、前記第１のカメラ移動方向に前記撮像部が移動されていた時の前記カメラ動き方向情報を前記記憶部から逆時間順に読み出し、読み出された前記カメラ動き方向情報により表される前記カメラ動き方向とは逆の方向に前記撮像部を移動させるように前記ユーザを誘導する情報である軌跡ガイダンス情報を、前記ガイダンス情報として生成してもよい。
【００４６】
また、本発明の他の態様では、撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、画像取得部により連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部として、コンピュータを機能させ、前記パノラマ画像生成部は、第１のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像を撮影した時の前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とするプログラムに関係する。
【図面の簡単な説明】
【００４７】
【図１】本実施形態のシステム構成例。
【図２】本実施形態の詳細なシステム構成例。
【図３】撮像部を複数の方向に移動させてパノラマ画像を生成する手法の説明図。
【図４】カメラ移動方向と重複領域の説明図。
【図５】カメラ動き方向と重複領域の説明図。
【図６】図６（Ａ）〜図６（Ｃ）は、移行ガイダンスの説明図。
【図７】軌跡ガイダンスの説明図。
【図８】差分情報に基づいて軌跡ガイダンス情報を補正する手法の説明図。
【図９】静止画像の取得開始タイミングと取得終了タイミングの説明図。
【図１０】本実施形態の処理の流れを説明するフローチャート。
【図１１】本実施形態の他の詳細なシステム構成例。
【発明を実施するための形態】
【００４８】
以下、本実施形態について説明する。まず、概要を説明し、次に本実施形態のシステム構成例を説明する。次に、具体的な実施例を提示した後に、本実施形態の手法について説明する。そして最後に、フローチャートを用いて本実施形態の処理の流れについて説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４９】
１．概要
近年、デジタルカメラを用いて、パノラマ画像を生成する手法が考案されている。パノラマ画像を生成する場合には、撮像部を一方向に移動させて撮影した複数の静止画像を繋ぎ合わせて、一枚のパノラマ画像を生成する。
【００５０】
しかし、撮像部を一方向に移動させてパノラマ画像を生成する手法では、撮像部を動かす方向にしかパノラマ画像の画角を調整することができず、例えば、撮像部を動かす方向と垂直な方向に対しては、画角を大きくすることができない。
【００５１】
ここで、撮像部を複数の方向に移動させながら撮影を行えば、一方向だけでなく、他の方向に撮像部を移動させて撮影した静止画像を準備することができ、複数方向の画角を広げたパノラマ画像を生成することが期待できる。
【００５２】
そこで、本実施形態では、撮像部を複数の方向に移動させながら撮影が行われる場合に、パノラマ画像の生成に用いられる静止画像を連続して取得し、取得した静止画像に基づいて、パノラマ画像を生成する。
【００５３】
また、パノラマ画像に映る被写体の滑らかさは、材料となる静止画像の撮影位置等によって変わる。そのため、パノラマ画像を生成する際にカメラを動かす方向や位置等をユーザに提示する手法が考案されており、その手法の一例として、前述の特許文献１〜特許文献３に記載されるような従来技術がある。
【００５４】
特許文献１に記載される手法では、パノラマ画像を生成するために用いる静止画像を撮影する際に、直前に撮影した静止画像をリファレンス用のスルー画として液晶ファインダの端に重畳して表示して、ガイダンスを行う。
【００５５】
また、特許文献２に記載される手法は、パノラマ画像を生成するために用いる静止画像の次の撮影位置を示すガイドマークを表示して、ガイダンスを行う。
【００５６】
さらに、特許文献３に記載される手法は、撮影した静止画像とファインダ映像（スルー画）との重ね合わせ部分（マッチング領域）における特徴点に基づいて、画像間の相関度を求め、画像間の相関度に基づき、撮影タイミングガイダンスを行う。
【００５７】
これら特許文献１〜特許文献３に記載されるガイダンスを行うことにより、ガイダンス情報を参照して、ユーザが手動でカメラの傾きや位置を合わせながら撮影を行うことが可能となり、滑らかなパノラマ画像を生成することが可能になる。
【００５８】
その他にも、特許文献３には、画像間の相関度が規定値以上になった場合に自動撮影を行ったり、顔や動体を検出した場合に、合成時の破綻を防止するために、マッチング領域から顔や動体を除外する処理を行ったりする手法も記載されている。
【００５９】
しかし、特許文献１〜特許文献３には、撮像部を一方向に移動させて、パノラマ画像を生成する手法についてのみ記載されており、複数の方向に撮像部を移動させてパノラマ画像を生成する手法や、複数の方向に撮像部を移動させる場合のガイダンス方法については記載されていない。
【００６０】
そこで、本実施形態では、撮像部が複数の方向に移動させられ、撮影が行われる場合に、撮像部を動かす方向をユーザに提示して、パノラマ画像を生成する。
【００６１】
２．システム構成例
まず、図１に本実施形態の画像処理システムの構成例を示す。本実施形態では、画像処理システムは、画像処理クラウドネットワーク上のサーバであることを想定している。また、画像処理システムは、画像処理クラウドネットワークの他にも、ＨＭＤ（Head Mounted Display）や、撮像装置（カメラ）などを含んでもよい。さらに、画像処理システムは、ＨＭＤ等に設けられた情報処理装置であってもよい。
【００６２】
本実施形態では、ＨＭＤに設けられた撮像装置により、ユーザが首を振りながら被写体を撮影して、静止画像（または動画像）を生成し、生成された静止画像（または動画像）を画像処理クラウドネットワーク上のサーバに、基地局を介して無線通信で送信して、サーバでパノラマ画像を生成し、ＨＭＤでパノラマ画像を鑑賞することを想定している。
【００６３】
ただし、本実施形態はあくまでも一例であり、画像処理システムは図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。なお、静止画像等を画像処理システムへ送信する方法は、無線通信に限られず、有線通信でもよい。そして、画像処理システムが、ＨＭＤに設けられた情報処理装置である場合などには、必ずしもネットワークを介して、静止画像等を受信する必要はなく、内部バス等を通じて静止画像等を取得してもよい。また、撮像装置は必ずしもＨＭＤと一体になっている必要はなく、手持ちのカメラ等であってもよい。さらに、出力デバイス（ＨＭＤ等）はなくてもよい。
【００６４】
次に、図２に本実施形態の画像処理システムの詳細な構成例を示す。画像処理システム２００は、方向判定部２１０と、パノラマ画像生成部２２０と、記憶部２３０と、Ｉ／Ｆ部２４０と、ガイダンス情報生成部２５０と、画像取得部（サンプリング部）２７０と、を含む。ただし、画像処理システム２００は、図２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。例えば、画像処理システム２００は、複数の情報処理装置によって構成されていてもよい。
【００６５】
そして、画像処理システム２００は、撮像装置１００と、提示部３００とに接続される。撮像装置１００の一例としては、ＨＭＤ等に設けられたカメラ等がある。そして、画像処理システム２００の一例としては、画像処理クラウドネットワーク上のサーバ等がある。さらに、提示部３００の一例としては、ＨＭＤ等がある。
【００６６】
撮像装置１００は、撮像部１２と、エンコーダ１４と、動き情報取得部１６と、Ｉ／Ｆ部１８と、を含む。ただし、撮像装置１００は、図２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【００６７】
次に各部の接続について説明する。撮像装置１００では、撮像部１２と、エンコーダ１４と、動き情報取得部１６と、Ｉ／Ｆ部１８とが内部バスにより接続される。また、画像処理システム２００では、方向判定部２１０と、パノラマ画像生成部２２０と、記憶部２３０と、Ｉ／Ｆ部２４０と、ガイダンス情報生成部２５０と、画像取得部（サンプリング部）２７０とが内部バスにより接続される。
【００６８】
次に、撮像装置１００の各部で行われる処理について説明する。
【００６９】
撮像部（カメラ）１２は、被写体を撮影する。この撮像部１２は、例えばＣＣＤ等の撮像素子と光学系を含む。また画像処理等に用いられるデバイス（プロセッサ）を含むことができる。
【００７０】
エンコーダ１４は、撮像部１２から得られた動画像をＭＰＥＧ等の動画コーデックにより、エンコードを行う。このエンコーダ１４の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００７１】
動き情報取得部１６は、撮像部１２の動き情報を取得する。動き情報取得部１６は、地磁気センサ等の方位センサや、加速度センサ、ジャイロセンサ等のセンサであってもよく、センサから得られるセンサ情報を、撮像部１２の動き情報として取得してもよい。方位センサは、例えば地磁気センサ等であり、センサの向いている方位を角度（０°〜３６０°）で計測する。地磁気センサは、例えば磁場の強さによって抵抗値やインピーダンス値が増減する素子等で構成され、三軸の地磁気情報を検知する。加速度センサは、例えば外力によって抵抗値が増減する素子等で構成され、三軸の加速度情報を検知する。ジャイロセンサは、三軸の角速度情報を検知する。また、地磁気センサや加速度センサ、ジャイロセンサの機能を併せ持つセンサを用いてもよい。さらに、動き情報取得部１６は、ＧＰＳにより得られる位置情報を、撮像部１２の動き情報として用いてもよい。
【００７２】
また、動き情報取得部１６は、内部カメラパラメータから特定できる撮像範囲などの変動量を、撮像部１２の動き情報として取得してもよい。さらに、動き情報取得部１６は、撮像部１２により撮影された動画像をエンコーダ１４がエンコードする過程で得られる動きベクトルを、動き情報としてエンコーダ１４から取得してもよい。
【００７３】
Ｉ／Ｆ部１８は、撮像部１２、エンコーダ１４、動き情報取得部１６から得られる情報を画像処理システム２００に通知する。
【００７４】
次に、画像処理システム２００の各部で行われる処理について説明する。
【００７５】
方向判定部２１０は、後述するカメラ移動方向やカメラ動き方向を判定する。
【００７６】
パノラマ画像生成部２２０は、後述する画像取得部（サンプリング部）２７０から得られる静止画像に基づいて、パノラマ画像を生成する。
【００７７】
記憶部２３０は、データベースを記憶したり、パノラマ画像生成部２２０等のワーク領域となるもので、その機能はＲＡＭ等のメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。記憶部２３０は、後述するＩ／Ｆ部２４０又は画像取得部（サンプリング部）２７０から得られる静止画像や、パノラマ画像生成部２２０により生成されたパノラマ画像等を記憶してもよい。
【００７８】
Ｉ／Ｆ部２４０は、画像処理システム２００と撮像装置１００間、及び画像処理システム２００と提示部３００間で、情報の送受信を行う。なお、Ｉ／Ｆ部２４０は、有線により通信を行うものであってもよく、無線により通信を行うものであってもよい。
【００７９】
ガイダンス情報生成部２５０は、後述するカメラ移動方向又はカメラ動き方向に基づいて、ガイダンス情報を生成する。
【００８０】
画像取得部（サンプリング部）２７０は、Ｉ／Ｆ部２４０から取得した情報から静止画像を取得し、他の各機能部へ一連の静止画像を出力する。また、画像取得部（サンプリング部）２７０は、サンプリング制御部２７２を含んでも良い。
【００８１】
画像取得部（サンプリング部）２７０は、Ｉ／Ｆ部２４０が撮像装置１００によって撮影された動画像を含む情報を取得した場合には、サンプリング制御部２７２により設定されたサンプリングレートで、撮影された動画像から静止画像をサンプリングし、他の各機能部へ一連の静止画像を出力する。
【００８２】
一方、画像取得部２７０は、Ｉ／Ｆ部２４０が一連の静止画像を含む情報を取得した場合には、一連の静止画像を取得して、他の各機能部へこれを出力する。この際、一連の静止画像が生成された方法は問わない。例えば、撮像装置１００が連写により静止画像を撮像して、一連の静止画像を生成したものであってもよいし、撮像装置１００が動画像を撮影して、撮像装置１００内で動画像から静止画像をサンプリングし、一連の静止画像を生成したものであってもよい。
【００８３】
サンプリング制御部２７２は、サンプリングレートを設定する。さらに、サンプリング制御部２７２は、撮像装置１００が連写をすることにより静止画像を撮像する場合には、設定したサンプリングレートをシャッター速度や撮影間隔として用いるために、サンプリングレート等を撮像装置１００のＩ／Ｆ部１８に出力してもよい。
【００８４】
方向判定部２１０及びパノラマ画像生成部２２０、ガイダンス情報生成部２５０、画像取得部（サンプリング部）２７０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００８５】
最後に、提示部３００は、画像処理システム２００のＩ／Ｆ部２４０から得られるパノラマ画像等をユーザに提示する。提示部３００は、表示部の他に、音出力部や振動部を含んでもよい。
【００８６】
また、撮像装置１００が、画像処理機能を有するスマートカメラ等である場合には、図１１に示すような構成例も可能である。
【００８７】
本実施形態では、撮像装置１００は、撮像部１２と、エンコーダ１４と、動き情報取得部１６と、Ｉ／Ｆ部１８と、画像取得部（サンプリング部）２７０と、を含む。また、情報処理装置４００は、方向判定部２１０と、パノラマ画像生成部２２０と、記憶部２３０と、Ｉ／Ｆ部２４０と、ガイダンス情報生成部２５０と、を含む。ただし、撮像装置１００及び情報処理装置４００は、図１１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【００８８】
撮像装置１００及び情報処理装置４００に含まれる各部の機能は、上述したものと同様である。
【００８９】
本実施形態では、撮像装置１００は、動画像を撮影する場合でも、動画像からサンプリングした静止画像のみを、情報処理装置４００に通知すればよいため、データ転送量を抑えることが可能となる。
【００９０】
３．具体的な実施例
ここではパノラマ画像の生成元が動画像である場合の実施例について説明する。ただし、本発明のパノラマ画像の生成元は動画像に限定されない。パノラマ画像の生成元が連写された静止画像である場合も、下記の実施例と同様に、パノラマ画像を生成することが可能である。
【００９１】
まず、本実施形態では、図３に示すような頭部装着型の撮像部ＣＡＭにより、視野に近い範囲で被写体を撮影し、動画を生成する。
【００９２】
頭部装着型の撮像部ＣＡＭを用いれば、風景を見回す時の首の動きに連動した動画像を簡単に撮影でき、見たままの風景に近いパノラマ画像を生成することができる。
【００９３】
本実施形態では、撮像部ＣＡＭの軌跡が自然になるように、ジグザグな軌跡を描くように撮像部ＣＡＭを移動させて、撮影を行うことにより、２次元的な広がりを持つパノラマ画像ＰＩＭを１本の動画から生成する。図３では、後述する第１のカメラ移動方向ＤＲ１に撮像部ＣＡＭを動かして撮影を行った後、後述する第３のカメラ移動方向ＤＲ３に撮像部を動かし、最後に後述する第２のカメラ移動方向ＤＲ２に撮像部ＣＡＭを動かして撮影を行っている。また、第２のカメラ移動方向ＤＲ２に撮像部ＣＡＭを移動させた後に、連続して他のカメラ移動方向に撮像部ＣＡＭを移動させて撮影を行っても良い。
【００９４】
なお、パノラマ画像の合成に用いる静止画像の抽出（サンプリング）および、パノラマ画像の生成は、撮像装置の内部で行ってもよいし、さらに通信部を設けて有線又は無線で接続されたコンピュータなどの画像処理システム上で行ってもよい。
【００９５】
次に、上述するように撮像部を移動させながら撮影を行ってパノラマ画像を生成する場合におけるパノラマ画像の生成処理について、図４を用いて説明する。まず、撮像部によって撮影された動画像の中から、静止画像の取得開始タイミングのフレームを特定し、取得開始タイミングのフレームを静止画像としてサンプリングする。図４では、取得開始タイミングに対応する静止画像を初期位置ＩＰＯに設定している。そして、所定のサンプリングレートに従って、動画像から静止画像をサンプリングしていき、第１のカメラ移動方向に撮像部を移動させた時に撮影された静止画像と、第２のカメラ移動方向に撮像部を移動させた時に撮影された静止画像が、ＲＥＡのような重複領域を持つように、静止画像を合成して、パノラマ画像を生成する。この時、重複領域ＲＥＡは、２つの静止画像を重ね合わせた時に、被写体の同一範囲が映された画素同士が、所定の距離範囲内に含まれるような領域である。すなわち、２つの静止画像に映された像の同じ部分が重なって、一つの連続的な静止画像になるように合成される。また、この際に、今回撮影した静止画像と前回撮影した静止画像（つまり、隣接する静止画像）の同一部分が重複するように、画像を重複させて合成する。例えば、Ｒ１のような部分である。
【００９６】
上述するような方法で、パノラマ画像を生成するためには、撮影した静止画像間に重複領域が存在する必要があるが、撮像部を移動させる方向などによっては、重複領域を確保することができない場合がある。
【００９７】
そこで、重複領域が存在するように撮像部を移動させるために、ユーザにガイダンス情報を提示する。
【００９８】
まず、ガイダンス情報を提示するための下準備として、後述するカメラ動き方向を利用して、パノラマ画像を生成する手法について、図５を用いて説明する。ここで、後述するように、カメラ動き方向とは、サンプリング間で撮像部が移動された方向のことをいう。
【００９９】
まず、第１のカメラ移動方向に撮像部が移動されている場合のカメラ動き方向を求める。図５では、ｍ１〜ｍ６である。同様に、第３のカメラ移動方向に撮像部が移動されている場合にも、カメラ動き方向を求める。図５では、Ｖ１〜Ｖ２である。
【０１００】
ここで、第３のカメラ移動方向に撮像部を動かし過ぎると、第１のカメラ移動方向に動かして撮影した静止画像と、第２のカメラ移動方向に動かして撮影した静止画像の重複領域が確保できなくなってしまう。そのため、第３のカメラ移動方向から第２のカメラ移動方向へカメラ移動方向を変更するためのガイダンスである移行ガイダンスが必要となる。図５では、重複領域の幅がＲＥＷとなるように、第３のカメラ移動方向から第２のカメラ移動方向にカメラ移動方向を変更している。
【０１０１】
移行ガイダンスにより、カメラ移動方向を第２のカメラ移動方向に変更し、撮像部を移動させる場合においても、第３のカメラ移動方向へ誤って撮像部を移動させてしまうことがある。このような場合には、上記と同様に重複領域を確保することができない。
【０１０２】
そこで、第２のカメラ移動方向へ移動させる際には、第１のカメラ移動方向へ撮像部を移動させている時に求めたカメラ動き方向を、逆時間順に読み出し、カメラ動き方向の逆方向（図５では、Ｍ１〜Ｍ６。ｍｉの逆方向がＭ７−ｉである。ｉは１≦ｉ≦６の整数。）に撮像部を動かすように誘導できれば、図５のＲＥＡのような重複領域を確保することができる。ここでは、このガイダンスを軌跡ガイダンスと呼ぶ。
【０１０３】
なお、カメラ動き方向は、撮像部により撮影された動画像をエンコードするときに求められる動きベクトルや、加速度センサ、ジャイロセンサ等から得られるセンサ情報や内部カメラパラメータから得られる撮像範囲の情報から得る方法がある。エンコード時に求められる動きベクトルをカメラ動き方向として用いる手法は、センサを設ける必要がなく、撮像装置や情報処理装置の小型化に繋がる点で有効である。
【０１０４】
次に、移行ガイダンスについて、図６（Ａ）〜図６（Ｃ）を用いて説明する。図６（Ａ）は、フレームＶＦ１を撮影した段階で、フレームＶＦ２の撮影位置へ撮像部を移動させ、フレームＶＦ２を撮影している時に、移行ガイダンスを行う様子を示している。図６（Ｂ）は、フレームＶＦ１を撮影する時のＨＭＤの提示部の様子を表しているが、この時には移行ガイダンスを表すアイコンＧＩＭ１が消灯されている。一方、図６（Ｃ）は、フレームＶＦ２を撮影する時のＨＭＤの提示部の様子を表しているが、この時には移行ガイダンスを表すアイコンＧＩＭ２が点滅して表示されており、カメラ移動方向の変更をユーザに促している。
【０１０５】
移行ガイダンスを提示するか否かを判定する典型的な具体例としては、下記のような手法が考えられる。まず、第１のカメラ移動方向に撮像部を移動させて撮影が行われ、第３のカメラ移動方向へ撮像部を一定時間移動させられたことを、カメラ動き方向に基づいて検知した場合に、第３のカメラ移動方向にカメラ移動方向を変更した後の撮像部の移動量を求める。次に、求めた移動量分だけ撮像部が移動された場合に、撮像部を移動させる前後において同一範囲を映す画素の移動量を求める。そして、フレームＶＦ１における第３のカメラ移動方向の長さの所定の割合、例えば８０％を、画素の移動量が超えている場合に、第２のカメラ移動方向へカメラ移動方向を変更するようにガイダンスの提示を決定する。この場合には、第１のカメラ移動方向に移動させて撮影した静止画像と、第２のカメラ移動方向に移動させて撮影した静止画像とを、２０％弱程度重複させて、パノラマ画像を生成することができる。
【０１０６】
また、ガイダンス情報を提示する際には、矢印や色付きの図形、点滅する図形、バイブレータの振動パターン、骨伝導スピーカ等を利用する音声など、ユーザがガイダンス情報を注視していなくても、ガイダンス情報が提示されたことを認識しやすい情報を用いることが望ましい。
【０１０７】
さらに具体的には、シースルーの表示部が設けられたＨＭＤのような視野に情報を重畳できる携帯情報提示端末を用いる場合は、詳細な文字情報ではなく、上述した矢印や、色付きの図形、点滅する図形などの情報を表示することで、撮影の合間に横目で確認することができる。さらに、バイブレータの振動パターンなどのような目視の必要のないガイダンス情報を使うことも可能である。ただし、バイブレータは撮像部と一体化すると、像が乱れる可能性があるため、ケーブルや無線を介し分離しておくのが望ましい。具体的には、イヤホン型や撮像部と反対側に設ける方法などがある。また、骨伝導スピーカを用いれば、音声ガイダンスによる具体的な指示が可能となる。
【０１０８】
これにより、ユーザは、ガイダンスに気をとられることなくガイダンス情報の内容を確認でき、撮影に集中することができる。また、ガイダンス情報の提示部と撮像部を一体化することにより、携帯性に優れ、素材となる静止画像の撮りこぼしが少ない画像処理システムを提供することができる。
【０１０９】
次に、軌跡ガイダンスについて、図７を用いて説明する。
【０１１０】
まず、第１のカメラ移動方向ＤＲＭ１に撮像部が移動され、撮影が行われた場合に、図７に示すような静止画像ＦＲ１とＦＲ２がサンプリングされた場合を考える。なお、ＰＯ１は静止画像ＦＲ１の中心点であり、ＰＯ２は静止画像ＦＲ２の中心点である。
【０１１１】
ここで、隣接する静止画像ＦＲ１とＦＲ２間でのカメラ動き方向をＤＲ１として求める。ＤＲ１は、ＰＯ１からＰＯ２までのベクトルである。
【０１１２】
次に、第３のカメラ移動方向ＤＲＭ３へ撮像部を移動させた後に、前述した方法で第２のカメラ移動方向ＤＲＭ２へ撮像部を移動させる。
【０１１３】
そして、第２のカメラ移動方向ＤＲＭ２に撮像部を移動させる場合には、重複領域を確保するために、カメラ動き方向ＤＲ１と逆方向であるＤＲ２の方向にカメラを移動させるように、軌跡ガイダンスを行う。軌跡ガイダンスにおけるガイダンス情報は、移行ガイダンスで用いた矢印画像などでもよい。
【０１１４】
ただし、軌跡ガイダンスを行った場合においても、ユーザが撮像部を上手く移動させることができなかったり、手振れによって、撮像部の位置がずれてしまったりすることがある。図７では、その一例として、カメラ動き方向がＤＲ３のようになってしまった場合を示している。本例のように、撮像部を移動させた時に撮影された動画像から静止画像をサンプリングすると、ＦＲ３とＦＲ４のような静止画像が得られるが、軌跡ガイダンスで示したカメラ動き方向ＤＲ２とは異なる方向に撮像部を移動させたため、静止画像ＦＲ１とＦＲ４において重複領域が確保できなくなってしまっている。
【０１１５】
このような場合には、静止画像ＦＲ３の中心位置ＰＯ３からカメラ動き方向ＤＲ２の方向へ撮像部を移動させた時の本来の目標位置ＤＳＴＰと、静止画像ＦＲ４の中心位置ＰＯ４と間のベクトルＧＩＭを求め、このベクトルに基づいて、さらに軌跡ガイダンスを行ってもよい。
【０１１６】
また、軌跡ガイダンスの他の実施例として、図８に示すように、静止画像ＦＲ１の撮影位置から軌跡ガイダンスを行い、静止画像ＦＲ２とＦＲ３がサンプリングできる動画像を撮影できるように、撮像部を移動させることを考える。具体的には、静止画像ＦＲ１の中心位置ＰＯ１とＦＲ２の中心位置ＰＯ２間のベクトルがＤＶ１２、ＰＯ２とＦＲ３の中心位置ＰＯ３間のベクトルがＤＶ２３となるように軌跡ガイダンスを行う。
【０１１７】
しかし、この場合にも、ＰＯ１から誤ってＤＶＲ１２の軌跡を通って、ＰＯＤが静止画像の中心位置になるように撮像部を移動させたとする。ここで、実際には軌跡ガイダンス通りに撮像部を移動させることは困難であるため、誤差許容範囲ＥＰＲを設け、ＥＰＲ内にＰＯＤが含まれる場合は、ＤＶ１２を用いた軌跡ガイダンスの目標が達成されたと判断する。本来ならば、静止画像ＦＲ２をサンプリングすることが望ましいが、ＰＯＤを中心位置とする静止画像ＦＲＤをＦＲ２の代替として用いる。そして、ＰＯＤからＰＯ２へのベクトルＣＶを求め、ベクトルＣＶとＤＶ２３により新たなベクトルＤＶＮ２３を求め、ＤＶＮ２３に基づいて軌跡ガイダンスを行う。
【０１１８】
次に、パノラマ画像ＰＩＭの合成に用いる静止画像の取得開始タイミングと取得終了タイミングを判定する手法について、図９を用いて説明する。
【０１１９】
本例では、一定時間、同じ方向に撮像部の動きを検出すると、パノラマ画像を生成するための動画像の撮影を開始したと判断する。なお、撮影自体はそれ以前から継続的に行っていてもよく、フレームに取得開始タイミングをマーキングしてもよい。また、撮像部が一定時間、同じ方向に動いているか否かは、例えば、撮像部が移動される方向を表すベクトルである動きベクトルを求め、動きベクトルの水平成分と垂直成分のうち、どちらか一方の成分の絶対値が他方の成分の絶対値よりも、所定の時間連続して大きいか否かを判断することにより、判断する。
【０１２０】
図９において、Ｐ１は撮影開始フレーム位置、Ｐ２は撮影開始を認識した時点でのフレーム位置である。撮影開始時には、一定時間同一方向への移動を検知した後、フレームＰ２の時点で撮影が開始されたと認識する。同一方向へカメラが移動され始めたのはＰ１なので、Ｐ１を撮影開始時点のフレームとみなし、Ｐ１まで時間を遡って記録を開始する。ここで、Ｐ１からＰ２までのフレームを一時的にバッファリングしておき、Ｐ１から撮影したフレームが格納された動画ファイルとして保存してもよいし、動画はストリーミング動画として、ある一定期間フレームをすべて保存しておき、開始フレームをマーキングするだけでもよい。
【０１２１】
同様に、一定時間撮像部の動きを検出しなければ、撮影終了する。Ｐ３は撮影終了フレーム、Ｐ４は撮影終了を認識した時点でのフレームである。フレームＰ３からＰ４まででは、同様の不要フレームが複数撮影されることになるため、フレームＰ３まで時間を遡って動画ファイルを保存するか、終了フレームとしてフレームＰ３をマーキングするのが望ましい。あるいは、第２のカメラ移動方向に、第１のカメラ移動方向とほぼ同じ距離だけ撮影したと認識した時点で撮影を終了してもよい。さらに、カメラ移動方向を変更する回数をプリセットしておいてもよい。
【０１２２】
これにより、余計な動作を伴わずに風景を見まわすという動作と連動して、撮影の開始および撮影の終了ができる。
【０１２３】
４．本実施形態の手法
以上の本実施形態では、静止画像を連続して取得する画像取得部２７０と、撮影中の撮像部１２が移動される方向であるカメラ移動方向を判定する方向判定部２１０と、連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部２２０と、を含む。そして、方向判定部２１０は、撮像部１２を移動させながら撮影が行われる場合に、カメラ移動方向が第１のカメラ移動方向であるか、第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定する。さらに、パノラマ画像生成部２２０は、連続して取得された静止画像の撮影時におけるカメラ移動方向に基づいて、静止画像の合成位置を決定し、静止画像の合成処理を行い、パノラマ画像を生成する。
【０１２４】
本実施形態では、撮像部が複数のカメラ移動方向に移動させられ、撮影が行われる場合に、パノラマ画像を生成するために用いる静止画像を連続して取得することができ、現在のカメラ移動方向を判定することができる。
【０１２５】
ここで、静止画像を連続して取得するとは、撮像部が静止画像を撮像する場合には、撮像部を連続的に移動させながら、連写して撮像された静止画像を取得することをいう。また、静止画像を連続して取得するとは、撮像部が動画像を撮影する場合には、撮像部を連続的に移動させながら、撮影した動画像から静止画像を、画像取得部２７０がサンプリングして取得すること、または撮影した動画像から撮像部等の他機能部によってサンプリングされた静止画像を取得することをいう。
【０１２６】
また、ここで、カメラ移動方向とは、撮像部を移動させる際に描く軌跡における任意の異なる二点間を結ぶベクトルの方向である。例えば、カメラ移動方向は、図３のＤＲ１やＤＲ２、ＤＲ３である。カメラ移動方向は、あらかじめ設定されたものであってもよい。また、後述する動き情報取得部により取得される撮像部の動き情報により表される動きベクトルの水平成分と垂直成分のどちらか一方の成分が、一定期間連続して大きい場合に、他方の成分よりも大きい一方の成分に対応する方向をカメラ移動方向として求めても良い。
【０１２７】
また、ここでは、カメラ移動方向の一方向を第１のカメラ移動方向と呼び、第１のカメラ移動方向と異なる方向を第２のカメラ移動方向と呼ぶ。なお、カメラ移動方向は、第１のカメラ移動方向と第２のカメラ移動方向だけに限定されず、さらに複数のカメラ移動方向を考慮してもよい。
【０１２８】
また本実施形態では、カメラ移動方向に基づいて、静止画像の合成位置を決定し、合成処理を行うことが可能となる。
【０１２９】
ここで、合成処理とは、現時点までに合成処理を行った結果取得される画像と、新たに取得された静止画像とを重ね合わせて、１つの画像を生成する処理のことをいう。
【０１３０】
また、合成位置とは、合成処理において、現時点までに合成処理を行った結果取得される画像に対する静止画像の相対的な位置のこという。
【０１３１】
よって、撮像部を一つのカメラ移動方向に動かして生成したパノラマ画像よりも、複数の方向に対して画角の広いパノラマ画像を生成することが可能となる。
【０１３２】
また、パノラマ画像生成部２２０は、前回の合成処理に用いた静止画像に対して、前回の静止画像を撮影した時のカメラ移動方向に重複領域を持つように、今回の静止画像の合成処理を行って、パノラマ画像を生成してもよい。
【０１３３】
また、パノラマ画像生成部２２０は、最初の合成処理として、最初に取得された静止画像を基準位置に配置設定してもよい。そして、方向判定部２１０により、カメラ移動方向が第１のカメラ移動方向であると判定された場合には、前回の合成処理に用いた静止画像の第１のカメラ移動方向に重複領域を持つように、今回の静止画像の合成処理を行ってもよい。また、方向判定部２１０により、カメラ移動方向が第２のカメラ移動方向であると判定された場合には、前回の合成処理に用いた静止画像の第２のカメラ移動方向に重複領域を持つように、今回の静止画像の合成処理を行ってもよい。
【０１３４】
ここで、重複領域とは、合成処理において、２つの画像が重畳される領域のことをいう。例えば、図４で言えば、Ｒ１のような部分である。
【０１３５】
また、変形例として、方向判定部２１０が、カメラ移動方向に基づいて、各静止画像に合成位置を表すＩＤを割り当てておき、パノラマ画像生成部２２０は、割り当てられたＩＤに基づいて、静止画像を合成して、パノラマ画像を生成してもよい。
【０１３６】
これにより、連続して取得された静止画像をカメラ移動方向側に次々に重畳して、合成処理を行うこと等が可能になる。
【０１３７】
また、方向判定部２１０は、動き情報取得部１６により取得される撮像部１２の動き情報に基づいて、静止画像の撮像タイミング間において撮像部１２が移動される方向であるカメラ動き方向を判定し、パノラマ画像生成部２２０は、カメラ動き方向に基づいて、静止画像の合成位置を決定し、静止画像の合成処理を行い、パノラマ画像を生成してもよい。
【０１３８】
ここで、動き情報とは、動き情報取得部により得られるセンサ情報又は動きベクトルのことをいう。
【０１３９】
また、静止画像の撮像タイミングとは、撮像部１２が連写により静止画像を撮像する場合には、画像取得部２７０が取得した静止画像が実際に撮像されたタイミングのことをいい、撮像部１２が動画像を撮像する場合には、撮像された動画像の各フレームのうち、サンプリングされる静止画像に対応するフレームが実際に撮像されたタイミングのことをいう。なお、静止画像の撮像タイミングは、画像取得部２７０が静止画像を取得するタイミングと異なっていても良い。
【０１４０】
また、カメラ動き方向とは、静止画像の撮像タイミング間において撮像部が移動される方向である。なお、カメラ動き方向を表す情報のことをカメラ動き方向情報と呼ぶ。具体的には、図５のｍ１のベクトルが示す方向などである。
【０１４１】
これにより、カメラ動き方向を判定することができ、カメラ動き方向に基づいて、静止画像の合成位置を決定すること等が可能となる。そして、カメラ移動方向に基づいて、合成位置を決定する場合に比べて、より撮像部の実際の動きに合った位置を合成位置とすること等が可能となる。
【０１４２】
また、パノラマ画像生成部２２０は、前回の合成処理に用いた静止画像に対して、前回の静止画像を撮影した時のカメラ動き方向に重複領域を持つように、今回の静止画像の合成処理を行って、パノラマ画像を生成してもよい。
【０１４３】
これにより、連続して取得された静止画像をカメラ動き方向側に次々に重畳して、合成処理を行うこと等が可能になる。
【０１４４】
また、方向判定部２１０は、撮像部１２を移動させながら撮影が行われる場合に、カメラ移動方向が第１のカメラ移動方向であるか、第２のカメラ移動方向であるか、若しくは第１のカメラ移動方向及び第２のカメラ移動方向と異なる方向である第３のカメラ移動方向であるかを判定してもよい。
【０１４５】
ここで、第３のカメラ移動方向とは、第１のカメラ移動方向及び第２のカメラ移動方向と異なる方向である。例えば、図４ではＤＲ３である。
【０１４６】
これにより、ジグザグな軌道を描くように撮像部を移動させる場合に、パノラマ画像を生成すること等が可能になる。ジグザグな軌跡を描くように撮像部が移動され撮影が行われることで、複数の方向において、撮像部の画角よりも広い範囲を映したパノラマ画像を生成すること等が可能になる。また、第１のカメラ移動方向への撮影開始位置と第２のカメラ移動方向への撮影開始位置を合わせるような位置合わせ等のために、撮像部を移動させることがなく、ユーザの手間を省くこと等が可能となる。また、一度の動画撮影でパノラマ画像を生成するための素材を用意することができるため、さらにユーザの手間を省くこと等が可能となる。
【０１４７】
また、撮像部１２を移動させる方向をユーザに示す情報であるガイダンス情報を生成するガイダンス情報生成部２５０を含んでもよい。
【０１４８】
ここで、ガイダンス情報とは、撮像部を移動させる方向をユーザに示す情報である。ガイダンス情報には、後述する移行ガイダンス情報と軌跡ガイダンス情報がある。
【０１４９】
これにより、撮影時にユーザにガイダンス情報を提示すること等が可能になる。その結果として、撮影した静止画像間に重複領域が存在するように、ユーザが撮像部を移動させることが可能となり、静止画像間に重複領域が確保できなくなることを回避すること等が可能になる。
【０１５０】
また、ガイダンス情報生成部２５０は、方向判定部２１０により、カメラ移動方向が第３のカメラ移動方向であると判定された場合に、第２のカメラ移動方向へ撮像部１２を移動させることを促す情報である移行ガイダンス情報を、ガイダンス情報として生成してもよい。
【０１５１】
ここで、移行ガイダンス情報とは、方向判定部により、カメラ移動方向が第３のカメラ移動方向であると判定された場合に、第２のカメラ移動方向へ撮像部を移動させることを促す情報である。例えば、図６のＧＩＭ２である。
【０１５２】
これにより、第１のカメラ移動方向へ撮像部を移動させた時に撮影した静止画像と、第２のカメラ移動方向へ撮像部を移動させた時に撮影した静止画像との重複領域を確保できるように、ユーザにカメラ移動方向を第３のカメラ移動方向に切り替えるガイダンスを行うこと等が可能になる。
【０１５３】
また、方向判定部２１０により、第１のカメラ移動方向から第３のカメラ移動方向へカメラ移動方向が切り替わったと判定された場合に、ガイダンス情報生成部２５０は、第３のカメラ移動方向への撮像部のカメラ移動量換算値を取得し、取得したカメラ移動量換算値が所定の閾値以上であるか否かを判定し、カメラ移動量換算値が所定の閾値以上であると判定した場合に、第２のカメラ移動方向へ撮像部を移動させることを促す移行ガイダンス情報を生成してもよい。
【０１５４】
ここで、カメラ移動量換算値とは、撮像部の移動量を示す値として用いられる値である。カメラ移動量換算値は、実際に撮像部が移動された距離そのものでなくてもよいし、実際に撮像部が移動された距離そのものであってもよい。例えば、カメラ移動量換算値は、撮像部により撮像された複数の撮像画像を比較した際において、被写体の同一の範囲を表す画素が、撮像画像上で移動した画素数のことをいう。また、カメラ移動量換算値の他の具体例としては、動き情報取得部１６によって得られる動き情報や、エンコーダ１４から得られるエンコード情報等がある。
【０１５５】
また、方向判定部２１０により、第１のカメラ移動方向から第３のカメラ移動方向へカメラ移動方向が切り替わったと判定された場合に、ガイダンス情報生成部２５０は、撮像部１２により撮像される撮像画像を取得し、第３のカメラ移動方向へカメラ移動方向が切り替わってから、撮像画像における第３のカメラ移動方向の所定の画素数に相当するだけ撮像部１２が移動されたか否かを判定し、撮像画像における第３のカメラ移動方向の所定の画素数に相当するだけ撮像部１２が移動されたと判定した場合に、第２のカメラ移動方向へ撮像部１２を移動させることを促す移行ガイダンス情報を生成してもよい。
【０１５６】
ここで、撮像画像とは、撮像部により撮像される画像のことである。撮像部の移動量の計算に用いられる撮像画像として、画像取得部により連続して取得される静止画像を用いても良いし、パノラマ合成用の画像取得タイミングと異なるタイミングのフレームを取得して用いても良い。
【０１５７】
これにより、例えば、撮像画像における第３のカメラ移動方向の所定の画素数によって、移行ガイダンス情報を提示するタイミングを制御すること等が可能になる。
【０１５８】
また、静止画像の撮像タイミング間において撮像部１２が移動される方向であるカメラ動き方向を表す情報であるカメラ動き方向情報を記憶する記憶部２３０を含み、方向判定部２１０は、動き情報取得部１６により取得される撮像部１２の動き情報に基づいて、カメラ動き方向を判定し、ガイダンス情報生成部２５０は、方向判定部２１０により、カメラ移動方向が第２のカメラ移動方向であると判定された場合に、第１のカメラ移動方向に撮像部１２が移動されていた時のカメラ動き方向情報を記憶部２３０から逆時間順に読み出し、読み出されたカメラ動き方向情報により表されるカメラ動き方向とは逆の方向に撮像部１２を移動させるようにユーザを誘導する情報である軌跡ガイダンス情報を、ガイダンス情報として生成してもよい。
【０１５９】
ここで、軌跡ガイダンス情報とは、第２のカメラ移動方向へ撮像部を移動させる際に、撮像部を移動させる方向をユーザに示す情報である。例えば、図７のＧＩＭのような情報である。
【０１６０】
これにより、第２のカメラ移動方向に撮像部を移動させる場合に、第３のカメラ移動方向へ誤って撮像部を移動させてしまい、重複領域を確保できなくなることを防ぐこと等が可能となる。
【０１６１】
また、ガイダンス情報生成部２５０は、生成された軌跡ガイダンス情報により表される撮像部１２の目標位置を含む誤差許容距離範囲内に撮像部１２が移動されたことを、動き情報に基づき判断した場合には、撮像部１２が目標位置に到達したと判断し、撮像部１２の次の目標位置を示す軌跡ガイダンス情報を提示部３００に通知してもよい。
【０１６２】
ここで、誤差許容距離範囲とは、所定の誤差許容度に基づいて設定され、撮像部の目標位置を含む所定の距離範囲である。例えば、図８のＥＰＲである。
【０１６３】
また、誤差許容度とは、撮像部の目標位置からのずれを許容する度合いのことをいう。
【０１６４】
さらに、目標位置とは、現在の撮像部の位置から、第１のカメラ移動方向に撮像部が移動された時に取得されたカメラ動き方向情報により表されるベクトルとは逆方向に、同じ距離だけ撮像部を動かした位置のことをいう。例えば、図８のＰＯ２やＰＯ３である。
【０１６５】
これにより、期待される位置へ撮像部を正確に移動させる必要がなくなり、誤差を許容しながら撮影を進めること等が可能となる。
【０１６６】
また、ガイダンス情報生成部２５０は、誤差許容距離範囲内に撮像部１２が移動された場合に、軌跡ガイダンス情報により表される撮像部１２の目標位置と、移動後の撮像部１２の実際の位置との差分情報を算出し、差分情報に基づいて、撮像部１２の次の目標位置を示す軌跡ガイダンス情報を補正してもよい。
【０１６７】
ここで、差分情報とは、撮像部の目標位置と実際の位置との差を表す情報である。例えば、図８では、差分情報はベクトルＣＶにより表されている。
【０１６８】
これにより、蓄積した誤差を相殺しながら、軌跡ガイダンスを行うことができ、重複領域を確保しながら、撮影範囲にもれのないパノラマ画像を生成すること等が可能となる。
【０１６９】
また、画像取得部２７０は、動き情報取得部１６により取得される動き情報に基づいて、撮像部１２が移動される方向を表すベクトルである動きベクトルを求め、動きベクトルの水平成分と垂直成分のうち、いずれか一方の成分の絶対値が他方の成分の絶対値よりも、所定の時間連続して大きいと判断した場合には、一方の成分の絶対値が他方の成分の絶対値よりも大きくなり始めたタイミングを、パノラマ画像を生成するために用いる静止画像の取得開始タイミングとして求めてもよい。
【０１７０】
ここで、静止画像の取得開始タイミングとは、撮像部が静止画像を連写により撮像する場合には、静止画像を連続して撮像する各タイミングのうち、画像取得部がパノラマ画像を生成するための静止画像の取得を開始するタイミングのことをいう。すなわち、撮像部は、静止画像の取得開始タイミング前から、連続して静止画像を撮像しており、画像取得部は、取得開始タイミング以降に撮像された静止画像を取得して、パノラマ画像の生成に用いる。例えば、図９で言えば、撮像部は、Ｐ１から撮像を行っているが、Ｐ２の時点で同一方向に撮像部が移動されていると判断され、現在撮像部が移動されている方向に、移動され始めたタイミングであるＰ１の時点を、静止画像の取得開始タイミングとして求める。なお、この場合には、過去に撮像された静止画像を所定の枚数だけ記憶部２３０等に保存しておき、画像取得部２７０が記憶部２３０から静止画像を取得してもよい。
【０１７１】
また、静止画像の取得開始タイミングは、撮像部が動画像を撮影する場合においては、パノラマ画像を生成するために静止画像をサンプリングする期間の開始点のこという。なお、動画像を撮影する場合でも連写の場合と同様に、静止画像の取得開始タイミングは、実際に動画像を撮影し始めるタイミングでなくてもよい。
【０１７２】
これにより、ユーザが手などによる操作を行わなくても、ＨＭＤを装着して風景を見回すという行為に連動して、パノラマ画像の生成を開始すること等が可能になる。
【０１７３】
また、画像取得部２７０は、動き情報取得部１６により取得される動き情報に基づいて、撮像部１２が移動される方向を表すベクトルである動きベクトルを求め、動きベクトルの大きさが所定の時間連続して所定の閾値以下であると判断した場合には、動きベクトルの大きさが所定の閾値以下となり始めたタイミングを、パノラマ画像を生成するために用いる静止画像の取得終了タイミングとして求めてもよい。
【０１７４】
ここで、静止画像の取得終了タイミングとは、撮像部が静止画像を連写により撮像する場合には、静止画像を連続して撮像する各タイミングのうち、画像取得部がパノラマ画像を生成するための静止画像の取得を終了するタイミングのことをいう。すなわち、撮像部は、静止画像の取得終了タイミング後も、連続して静止画像を撮像していてもよく、画像取得部は、取得終了タイミングまでに撮像された静止画像を取得して、パノラマ画像の生成に用いる。例えば、図９で言えば、撮像部は、Ｐ４の時点においても撮像を行っているが、Ｐ４の時点で撮像部が移動されていないと判断され、撮像部の移動が停止したタイミングであるＰ３の時点を、静止画像の取得終了タイミングとして求める。
【０１７５】
また、静止画像の取得終了タイミングは、撮像部が動画像を撮影する場合においては、パノラマ画像を生成するために静止画像をサンプリングする期間の終了点のこという。なお、動画像を撮影する場合でも連写の場合と同様に、静止画像の取得終了タイミングは、実際に動画像を撮影し終えるタイミングでなくてもよい。
【０１７６】
これにより、ユーザが手などによる操作を行わなくても、ＨＭＤを装着して風景を見回すという行為に連動して、パノラマ画像の生成を終了すること等が可能になる。
【０１７７】
また、撮像装置１００が静止画像を撮像する速度（または撮像装置１００が静止画像を動画像からサンプリングする速度、以下同じ）が、画像取得部２７０が静止画像を取得する速度よりも速い場合には、撮像装置１００が取得した静止画像の一部が使用されず、無駄となる。一方、撮像装置１００が静止画像を撮像する速度が、画像取得部２７０が静止画像を取得する速度よりも遅い場合には、画像取得部２７０は、パノラマ画像を生成するために必要十分な画像を取得することができない。
【０１７８】
そこで、画像取得部２７０は、撮像部のシャッタータイミングを制御して、静止画像を連続して取得してもよい。
【０１７９】
シャッタータイミングの制御は、サンプリング制御部２７２により設定されたサンプリングレート等の情報を撮像装置１００に出力することにより行う。また、サンプリングレートの他にも、サンプリングレートに基づいて求めたシャッター速度や撮影間隔などの情報を撮像装置１００に出力してもよい。
【０１８０】
これにより、例えば、撮像部が撮像する静止画像の枚数と、画像取得部が取得する静止画像の枚数を一致させることが可能となり、無駄な静止画像を撮像させることを防止しつつ、必要な静止画像を取得すること等が可能になる。
【０１８１】
なお本実施形態の情報処理装置等は、プログラム又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体により実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の情報処理装置等が実現される。具体的には情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そしてＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【０１８２】
５．処理の流れ
以下では、図１０のフローチャートを用いて、本実施形態の処理の流れについて説明する。なお、ここではパノラマ画像の生成元が動画像である場合の流れについて説明するが、本発明のパノラマ画像の生成元は動画像に限定されない。パノラマ画像の生成元が連写された静止画像である場合も、下記と同様の流れで、パノラマ画像を生成することが可能である。
【０１８３】
初めに、第１のカメラ移動方向へ撮像部が移動され撮影が開始される（Ｓ１）。そして、撮影された動画像をエンコードする際に求められる動きベクトルを、撮像部の動き情報として取得し、取得した動き情報に基づいて、カメラ動き方向を求める（Ｓ２）。
【０１８４】
次に、第３のカメラ移動方向へ撮像部が移動されたか否かを判断する（Ｓ３）。第３のカメラ移動方向に撮像部が移動されていないと判断する場合には、ステップＳ１の処理に戻る。一方、第３のカメラ移動方向に撮像部が移動されたと判断する場合には、第３のカメラ移動方向への移動量が所定の閾値を超えているか否かを判断する（Ｓ４）。第３のカメラ移動方向への移動量が所定の閾値を超えていないと判断する場合には、移動量が所定の閾値を超えるまで待機する。一方、第３のカメラ移動方向への移動量が所定の閾値を超えていると判断する場合には、移行ガイダンスを行う（Ｓ５）。この際に、現時点の撮像部により撮像される静止画像と、第１のカメラ移動方向へ撮像部が移動された時に撮像された静止画像との重複領域を算出し、重複領域の面積等と所定の閾値との比較を行う（Ｓ６）。その結果、重複領域の面積等が所定の閾値未満であると判断した場合には、ステップＳ５に戻り、重複領域の面積等が所定の閾値以上となるように、再度移行ガイダンスを行う。
【０１８５】
一方、重複領域の面積等が所定の閾値以上であると判断した場合には、第１のカメラ移動方向に撮像部が移動された時のカメラ動き方向を逆時間順に取得する（Ｓ７）。そして、取得したカメラ動き方向の逆方向に基づいて、次に撮像部を動かす目標位置を決定し（Ｓ８）、設定された目標位置に撮像部を動かすように誘導する軌跡ガイダンスを行う（Ｓ９）。軌跡ガイダンスにて、軌跡ガイダンス情報を提示した後は、動き情報に基づいて撮像部が目標位置に到達したか否かを判断する（Ｓ１０）。撮像部が目標位置に到達していないと判断する場合には、ステップＳ９から処理を繰り返す。一方、撮像部が目標位置に到達したと判断する場合には、第１のカメラ移動方向へ撮像部が移動された時のカメラ動き方向を全て取得したか否かを判断する（Ｓ１１）。まだ、カメラ動き方向を全て取得していない場合には、ステップＳ７から処理を繰り返す。一方、カメラ動き方向を全て取得したと判断する場合には、動画像から静止画像をサンプリングし、静止画像の合成を行い、パノラマ画像を生成する（Ｓ１２）。
【０１８６】
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理システム、情報処理装置及びプログラムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１８７】
１２ 撮像部、１４ エンコーダ、１６ 動き情報取得部、１８ Ｉ／Ｆ部、
１００ 撮像装置、２００ 画像処理システム、２１０ 方向判定部、
２２０ パノラマ画像生成部、２３０ 記憶部、２４０ Ｉ／Ｆ部、
２５０ ガイダンス情報生成部、２７０ 画像取得部（サンプリング部）、
２７２ サンプリング制御部、３００ 提示部、４００ 情報処理装置
【技術分野】
【０００１】
本発明は、画像処理システム、情報処理装置及びプログラム等に関係する。
【背景技術】
【０００２】
近年、デジタルカメラを用いて、パノラマ画像を生成する手法が考案されている。パノラマ画像を生成する場合には、撮像部を一方向に移動させて撮影した複数の静止画像を繋ぎ合わせて、一枚のパノラマ画像を生成する。
【０００３】
また、パノラマ画像に映る被写体の滑らかさは、材料となる静止画像の撮影位置等によって変わる。そのため、パノラマ画像を生成する際にカメラを動かす方向や位置等をユーザに提示する手法が考案されており、その手法の一例として、特許文献１〜特許文献３に記載されるような従来技術がある。
【０００４】
特許文献１に記載される手法では、パノラマ画像を生成するために用いる静止画像を撮影する際に、直前に撮影した静止画像をリファレンス用のスルー画として液晶ファインダの端に重畳して表示して、ガイダンスを行う。
【０００５】
また、特許文献２に記載される手法は、パノラマ画像を生成するために用いる静止画像の次の撮影位置を示すガイドマークを表示して、ガイダンスを行う。
【０００６】
さらに、特許文献３に記載される手法は、撮影した静止画像とファインダ映像（スルー画）との重ね合わせ部分（マッチング領域）における特徴点に基づいて、画像間の相関度を求め、画像間の相関度に基づき、撮影タイミングガイダンスを行う。
【０００７】
これら特許文献１〜特許文献３に記載されるガイダンスを行うことにより、ガイダンス情報を参照して、ユーザが手動でカメラの傾きや位置を合わせながら撮影を行うことが可能となり、滑らかなパノラマ画像を生成することが可能になる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１―３５２５６８号公報
【特許文献２】特開２００９―０６０２７８号公報
【特許文献３】特開２００９―１２４３４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１〜特許文献３には、撮像部を一方向に移動させて、パノラマ画像を生成する手法についてのみ記載されており、複数の方向に撮像部を移動させてパノラマ画像を生成する手法や、複数の方向に撮像部を移動させる場合のガイダンス方法については記載されていない。
【００１０】
本発明の幾つかの態様によれば、撮像部が複数の方向に移動させられ、撮影が行われる場合に、パノラマ画像を生成できる画像処理システム、情報処理装置及びプログラム等を提供することができる。
【００１１】
また、本発明の幾つかの態様によれば、撮像部が複数の方向に移動させられ、撮影が行われる場合に、撮像部を動かす方向をユーザに提示して、パノラマ画像を生成することができる画像処理システム、情報処理装置及びプログラム等を提供することができる。
【課題を解決するための手段】
【００１２】
本発明の一態様は、静止画像を連続して取得する画像取得部と、撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、連続して取得された前記静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部と、を含み、前記方向判定部は、前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第１のカメラ移動方向であるか、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定し、前記パノラマ画像生成部は、連続して取得された前記静止画像の撮影時における前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする画像処理システムに関係する。
【００１３】
本発明の一態様では、撮像部が複数のカメラ移動方向に移動させられ、撮影が行われる場合に、パノラマ画像を生成するために用いる静止画像を連続して取得することができる。また、現在のカメラ移動方向を判定することができ、カメラ移動方向に基づいて、静止画像の合成位置を決定することが可能となる。よって、撮像部を一つのカメラ移動方向に動かして生成したパノラマ画像よりも、複数の方向に対して画角の広いパノラマ画像を生成することが可能となる。
【００１４】
また、本発明の一態様では、前記パノラマ画像生成部は、前回の前記合成処理に用いた前記静止画像に対して、前回の前記静止画像を撮影した時の前記カメラ移動方向に重複領域を持つように、今回の前記静止画像の前記合成処理を行って、前記パノラマ画像を生成してもよい。
【００１５】
これにより、連続して取得された静止画像をカメラ移動方向側に次々に重畳して、合成処理を行うこと等が可能になる。
【００１６】
また、本発明の一態様では、前記方向判定部は、動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、前記パノラマ画像生成部は、前記カメラ動き方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成してもよい。
【００１７】
これにより、カメラ動き方向を判定することができ、カメラ動き方向に基づいて、静止画像の合成位置を決定することが可能となる。そして、カメラ移動方向に基づいて、合成位置を決定する場合に比べて、より撮像部の実際の動きに合った位置を合成位置とすることが可能となる。
【００１８】
また、本発明の一態様では、前記パノラマ画像生成部は、前回の前記合成処理に用いた前記静止画像に対して、前回の前記静止画像を撮影した時の前記カメラ動き方向に重複領域を持つように、今回の前記静止画像の前記合成処理を行って、前記パノラマ画像を生成してもよい。
【００１９】
これにより、連続して取得された静止画像をカメラ動き方向側に次々に重畳して、合成処理を行うこと等が可能になる。
【００２０】
また、本発明の一態様では、前記方向判定部は、前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第１のカメラ移動方向であるか、前記第２のカメラ移動方向であるか、若しくは前記第１のカメラ移動方向及び前記第２のカメラ移動方向と異なる方向である第３のカメラ移動方向であるかを判定してもよい。
【００２１】
これにより、ジグザグな軌道を描くように撮像部を移動させて、パノラマ画像を生成すること等が可能になる。
【００２２】
また、本発明の一態様では、前記撮像部を移動させる方向をユーザに示す情報であるガイダンス情報を生成するガイダンス情報生成部を含んでもよい。
【００２３】
これにより、撮影時にユーザにガイダンス情報を提示すること等が可能になる。
【００２４】
また、本発明の一態様では、前記ガイダンス情報生成部は、前記方向判定部により、前記カメラ移動方向が前記第３のカメラ移動方向であると判定された場合に、前記第２のカメラ移動方向へ前記撮像部を移動させることを促す情報である移行ガイダンス情報を、前記ガイダンス情報として生成してもよい。
【００２５】
これにより、第１のカメラ移動方向へ撮像部を移動させた時に撮影した静止画像と、第２のカメラ移動方向へ撮像部を移動させた時に撮影した静止画像との重複領域を確保できるように、ユーザにカメラ移動方向を第３のカメラ移動方向に切り替えるガイダンスを行うこと等が可能になる。
【００２６】
また、本発明の一態様では、前記方向判定部により、前記第１のカメラ移動方向から前記第３のカメラ移動方向へ前記カメラ移動方向が切り替わったと判定された場合に、前記ガイダンス情報生成部は、前記第３のカメラ移動方向への前記撮像部のカメラ移動量換算値を取得し、取得した前記カメラ移動量換算値が所定の閾値以上であるか否かを判定し、前記カメラ移動量換算値が前記所定の閾値以上であると判定した場合に、前記第２のカメラ移動方向へ前記撮像部を移動させることを促す前記移行ガイダンス情報を生成してもよい。
【００２７】
これにより、例えば、撮像画像における第３のカメラ移動方向の所定の画素数によって、移行ガイダンス情報を提示するタイミングを制御すること等が可能になる。
【００２８】
また、本発明の一態様では、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を表す情報であるカメラ動き方向情報を記憶する記憶部を含み、前記方向判定部は、動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記カメラ動き方向を判定し、前記ガイダンス情報生成部は、前記方向判定部により、前記カメラ移動方向が前記第２のカメラ移動方向であると判定された場合に、前記第１のカメラ移動方向に前記撮像部が移動されていた時の前記カメラ動き方向情報を前記記憶部から逆時間順に読み出し、読み出された前記カメラ動き方向情報により表される前記カメラ動き方向とは逆の方向に前記撮像部を移動させるように前記ユーザを誘導する情報である軌跡ガイダンス情報を、前記ガイダンス情報として生成してもよい。
【００２９】
これにより、第２のカメラ移動方向に撮像部を移動させる場合に、第３のカメラ移動方向へ誤って撮像部を移動させてしまい、重複領域を確保できなくなることを防ぐこと等が可能となる。
【００３０】
また、本発明の一態様では、前記ガイダンス情報生成部は、生成された前記軌跡ガイダンス情報により表される前記撮像部の目標位置を含む誤差許容距離範囲内に前記撮像部が移動されたことを、前記動き情報に基づき判断した場合には、前記撮像部が前記目標位置に到達したと判断し、前記撮像部の次の目標位置を示す前記軌跡ガイダンス情報を提示部に通知してもよい。
【００３１】
これにより、期待される位置へ撮像部を正確に移動させる必要がなくなり、誤差を許容しながら撮影を進めること等が可能となる。
【００３２】
また、本発明の一態様では、前記ガイダンス情報生成部は、前記誤差許容距離範囲内に前記撮像部が移動された場合に、前記軌跡ガイダンス情報により表される前記撮像部の前記目標位置と、移動後の前記撮像部の実際の位置との差分情報を算出し、前記差分情報に基づいて、前記撮像部の次の前記目標位置を示す前記軌跡ガイダンス情報を補正してもよい。
【００３３】
これにより、蓄積した誤差を相殺しながら、軌跡ガイダンスを行うことができ、重複領域を確保しながら、撮影範囲にもれのないパノラマ画像を生成すること等が可能となる。
【００３４】
また、本発明の一態様では、前記画像取得部は、動き情報取得部により取得される動き情報に基づいて、前記撮像部が移動される方向を表すベクトルである動きベクトルを求め、前記動きベクトルの水平成分と垂直成分のうち、いずれか一方の成分の絶対値が他方の成分の絶対値よりも、所定の時間連続して大きいと判断した場合には、一方の成分の絶対値が他方の成分の絶対値よりも大きくなり始めたタイミングを、前記パノラマ画像を生成するために用いる前記静止画像の取得開始タイミングとして求めてもよい。
【００３５】
これにより、ユーザが手などによる操作を行わなくても、ＨＭＤを装着して風景を見回すという行為に連動して、パノラマ画像の生成を開始すること等が可能になる。
【００３６】
また、本発明の一態様では、前記画像取得部は、動き情報取得部により取得される動き情報に基づいて、前記撮像部が移動される方向を表すベクトルである動きベクトルを求め、前記動きベクトルの大きさが所定の時間連続して所定の閾値以下であると判断した場合には、前記動きベクトルの大きさが所定の閾値以下となり始めたタイミングを、前記パノラマ画像を生成するために用いる前記静止画像の取得終了タイミングとして求めてもよい。
【００３７】
これにより、ユーザが手などによる操作を行わなくても、ＨＭＤを装着して風景を見回すという行為に連動して、パノラマ画像の生成を終了すること等が可能になる。
【００３８】
また、本発明の一態様では、前記画像取得部は、前記撮像部のシャッタータイミングを制御して、前記静止画像を連続して取得してもよい。
【００３９】
これにより、例えば、撮像部が撮像する静止画像の枚数と、画像取得部が取得する静止画像の枚数を一致させることが可能となり、無駄な静止画像を撮像させることを防止しつつ、必要な静止画像を取得すること等が可能になる。
【００４０】
また、本発明の他の態様では、撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、画像取得部により連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部と、連続して取得された前記静止画像と生成した前記パノラマ画像とを記憶する記憶部と、を含み、前記パノラマ画像生成部は、第１のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像を撮影した時の前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする情報処理装置に関係する。
【００４１】
また、本発明の他の態様では、前記方向判定部は、動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、前記記憶部は、前記カメラ動き方向を表す情報であるカメラ動き方向情報を記憶し、前記パノラマ画像生成部は、前記カメラ動き方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成してもよい。
【００４２】
また、本発明の他の態様では、前記パノラマ画像生成部は、前記第１のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第１のカメラ移動方向及び前記第２のカメラ移動方向と異なる方向である第３のカメラ移動方向に前記撮像部が移動させられ、前記第３のカメラ移動方向に前記撮像部を移動させられた後に、前記第２のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像の前記合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成してもよい。
【００４３】
また、本発明の他の態様では、前記カメラ移動方向に基づいて、前記撮像部を移動させる方向をユーザに示す情報であるガイダンス情報を生成するガイダンス情報生成部を含んでもよい。
【００４４】
また、本発明の他の態様では、前記ガイダンス情報生成部は、前記方向判定部により、前記カメラ移動方向が前記第３のカメラ移動方向であると判定された場合に、前記第２のカメラ移動方向へ前記撮像部を移動させることを促す情報である移行ガイダンス情報を、前記ガイダンス情報として生成してもよい。
【００４５】
また、本発明の他の態様では、前記方向判定部は、動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、前記記憶部は、前記カメラ動き方向を表す情報であるカメラ動き方向情報を記憶し、前記ガイダンス情報生成部は、前記方向判定部により、前記カメラ移動方向が前記第２のカメラ移動方向であると判定された場合に、前記第１のカメラ移動方向に前記撮像部が移動されていた時の前記カメラ動き方向情報を前記記憶部から逆時間順に読み出し、読み出された前記カメラ動き方向情報により表される前記カメラ動き方向とは逆の方向に前記撮像部を移動させるように前記ユーザを誘導する情報である軌跡ガイダンス情報を、前記ガイダンス情報として生成してもよい。
【００４６】
また、本発明の他の態様では、撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、画像取得部により連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部として、コンピュータを機能させ、前記パノラマ画像生成部は、第１のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像を撮影した時の前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とするプログラムに関係する。
【図面の簡単な説明】
【００４７】
【図１】本実施形態のシステム構成例。
【図２】本実施形態の詳細なシステム構成例。
【図３】撮像部を複数の方向に移動させてパノラマ画像を生成する手法の説明図。
【図４】カメラ移動方向と重複領域の説明図。
【図５】カメラ動き方向と重複領域の説明図。
【図６】図６（Ａ）〜図６（Ｃ）は、移行ガイダンスの説明図。
【図７】軌跡ガイダンスの説明図。
【図８】差分情報に基づいて軌跡ガイダンス情報を補正する手法の説明図。
【図９】静止画像の取得開始タイミングと取得終了タイミングの説明図。
【図１０】本実施形態の処理の流れを説明するフローチャート。
【図１１】本実施形態の他の詳細なシステム構成例。
【発明を実施するための形態】
【００４８】
以下、本実施形態について説明する。まず、概要を説明し、次に本実施形態のシステム構成例を説明する。次に、具体的な実施例を提示した後に、本実施形態の手法について説明する。そして最後に、フローチャートを用いて本実施形態の処理の流れについて説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４９】
１．概要
近年、デジタルカメラを用いて、パノラマ画像を生成する手法が考案されている。パノラマ画像を生成する場合には、撮像部を一方向に移動させて撮影した複数の静止画像を繋ぎ合わせて、一枚のパノラマ画像を生成する。
【００５０】
しかし、撮像部を一方向に移動させてパノラマ画像を生成する手法では、撮像部を動かす方向にしかパノラマ画像の画角を調整することができず、例えば、撮像部を動かす方向と垂直な方向に対しては、画角を大きくすることができない。
【００５１】
ここで、撮像部を複数の方向に移動させながら撮影を行えば、一方向だけでなく、他の方向に撮像部を移動させて撮影した静止画像を準備することができ、複数方向の画角を広げたパノラマ画像を生成することが期待できる。
【００５２】
そこで、本実施形態では、撮像部を複数の方向に移動させながら撮影が行われる場合に、パノラマ画像の生成に用いられる静止画像を連続して取得し、取得した静止画像に基づいて、パノラマ画像を生成する。
【００５３】
また、パノラマ画像に映る被写体の滑らかさは、材料となる静止画像の撮影位置等によって変わる。そのため、パノラマ画像を生成する際にカメラを動かす方向や位置等をユーザに提示する手法が考案されており、その手法の一例として、前述の特許文献１〜特許文献３に記載されるような従来技術がある。
【００５４】
特許文献１に記載される手法では、パノラマ画像を生成するために用いる静止画像を撮影する際に、直前に撮影した静止画像をリファレンス用のスルー画として液晶ファインダの端に重畳して表示して、ガイダンスを行う。
【００５５】
また、特許文献２に記載される手法は、パノラマ画像を生成するために用いる静止画像の次の撮影位置を示すガイドマークを表示して、ガイダンスを行う。
【００５６】
さらに、特許文献３に記載される手法は、撮影した静止画像とファインダ映像（スルー画）との重ね合わせ部分（マッチング領域）における特徴点に基づいて、画像間の相関度を求め、画像間の相関度に基づき、撮影タイミングガイダンスを行う。
【００５７】
これら特許文献１〜特許文献３に記載されるガイダンスを行うことにより、ガイダンス情報を参照して、ユーザが手動でカメラの傾きや位置を合わせながら撮影を行うことが可能となり、滑らかなパノラマ画像を生成することが可能になる。
【００５８】
その他にも、特許文献３には、画像間の相関度が規定値以上になった場合に自動撮影を行ったり、顔や動体を検出した場合に、合成時の破綻を防止するために、マッチング領域から顔や動体を除外する処理を行ったりする手法も記載されている。
【００５９】
しかし、特許文献１〜特許文献３には、撮像部を一方向に移動させて、パノラマ画像を生成する手法についてのみ記載されており、複数の方向に撮像部を移動させてパノラマ画像を生成する手法や、複数の方向に撮像部を移動させる場合のガイダンス方法については記載されていない。
【００６０】
そこで、本実施形態では、撮像部が複数の方向に移動させられ、撮影が行われる場合に、撮像部を動かす方向をユーザに提示して、パノラマ画像を生成する。
【００６１】
２．システム構成例
まず、図１に本実施形態の画像処理システムの構成例を示す。本実施形態では、画像処理システムは、画像処理クラウドネットワーク上のサーバであることを想定している。また、画像処理システムは、画像処理クラウドネットワークの他にも、ＨＭＤ（Head Mounted Display）や、撮像装置（カメラ）などを含んでもよい。さらに、画像処理システムは、ＨＭＤ等に設けられた情報処理装置であってもよい。
【００６２】
本実施形態では、ＨＭＤに設けられた撮像装置により、ユーザが首を振りながら被写体を撮影して、静止画像（または動画像）を生成し、生成された静止画像（または動画像）を画像処理クラウドネットワーク上のサーバに、基地局を介して無線通信で送信して、サーバでパノラマ画像を生成し、ＨＭＤでパノラマ画像を鑑賞することを想定している。
【００６３】
ただし、本実施形態はあくまでも一例であり、画像処理システムは図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。なお、静止画像等を画像処理システムへ送信する方法は、無線通信に限られず、有線通信でもよい。そして、画像処理システムが、ＨＭＤに設けられた情報処理装置である場合などには、必ずしもネットワークを介して、静止画像等を受信する必要はなく、内部バス等を通じて静止画像等を取得してもよい。また、撮像装置は必ずしもＨＭＤと一体になっている必要はなく、手持ちのカメラ等であってもよい。さらに、出力デバイス（ＨＭＤ等）はなくてもよい。
【００６４】
次に、図２に本実施形態の画像処理システムの詳細な構成例を示す。画像処理システム２００は、方向判定部２１０と、パノラマ画像生成部２２０と、記憶部２３０と、Ｉ／Ｆ部２４０と、ガイダンス情報生成部２５０と、画像取得部（サンプリング部）２７０と、を含む。ただし、画像処理システム２００は、図２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。例えば、画像処理システム２００は、複数の情報処理装置によって構成されていてもよい。
【００６５】
そして、画像処理システム２００は、撮像装置１００と、提示部３００とに接続される。撮像装置１００の一例としては、ＨＭＤ等に設けられたカメラ等がある。そして、画像処理システム２００の一例としては、画像処理クラウドネットワーク上のサーバ等がある。さらに、提示部３００の一例としては、ＨＭＤ等がある。
【００６６】
撮像装置１００は、撮像部１２と、エンコーダ１４と、動き情報取得部１６と、Ｉ／Ｆ部１８と、を含む。ただし、撮像装置１００は、図２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【００６７】
次に各部の接続について説明する。撮像装置１００では、撮像部１２と、エンコーダ１４と、動き情報取得部１６と、Ｉ／Ｆ部１８とが内部バスにより接続される。また、画像処理システム２００では、方向判定部２１０と、パノラマ画像生成部２２０と、記憶部２３０と、Ｉ／Ｆ部２４０と、ガイダンス情報生成部２５０と、画像取得部（サンプリング部）２７０とが内部バスにより接続される。
【００６８】
次に、撮像装置１００の各部で行われる処理について説明する。
【００６９】
撮像部（カメラ）１２は、被写体を撮影する。この撮像部１２は、例えばＣＣＤ等の撮像素子と光学系を含む。また画像処理等に用いられるデバイス（プロセッサ）を含むことができる。
【００７０】
エンコーダ１４は、撮像部１２から得られた動画像をＭＰＥＧ等の動画コーデックにより、エンコードを行う。このエンコーダ１４の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００７１】
動き情報取得部１６は、撮像部１２の動き情報を取得する。動き情報取得部１６は、地磁気センサ等の方位センサや、加速度センサ、ジャイロセンサ等のセンサであってもよく、センサから得られるセンサ情報を、撮像部１２の動き情報として取得してもよい。方位センサは、例えば地磁気センサ等であり、センサの向いている方位を角度（０°〜３６０°）で計測する。地磁気センサは、例えば磁場の強さによって抵抗値やインピーダンス値が増減する素子等で構成され、三軸の地磁気情報を検知する。加速度センサは、例えば外力によって抵抗値が増減する素子等で構成され、三軸の加速度情報を検知する。ジャイロセンサは、三軸の角速度情報を検知する。また、地磁気センサや加速度センサ、ジャイロセンサの機能を併せ持つセンサを用いてもよい。さらに、動き情報取得部１６は、ＧＰＳにより得られる位置情報を、撮像部１２の動き情報として用いてもよい。
【００７２】
また、動き情報取得部１６は、内部カメラパラメータから特定できる撮像範囲などの変動量を、撮像部１２の動き情報として取得してもよい。さらに、動き情報取得部１６は、撮像部１２により撮影された動画像をエンコーダ１４がエンコードする過程で得られる動きベクトルを、動き情報としてエンコーダ１４から取得してもよい。
【００７３】
Ｉ／Ｆ部１８は、撮像部１２、エンコーダ１４、動き情報取得部１６から得られる情報を画像処理システム２００に通知する。
【００７４】
次に、画像処理システム２００の各部で行われる処理について説明する。
【００７５】
方向判定部２１０は、後述するカメラ移動方向やカメラ動き方向を判定する。
【００７６】
パノラマ画像生成部２２０は、後述する画像取得部（サンプリング部）２７０から得られる静止画像に基づいて、パノラマ画像を生成する。
【００７７】
記憶部２３０は、データベースを記憶したり、パノラマ画像生成部２２０等のワーク領域となるもので、その機能はＲＡＭ等のメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。記憶部２３０は、後述するＩ／Ｆ部２４０又は画像取得部（サンプリング部）２７０から得られる静止画像や、パノラマ画像生成部２２０により生成されたパノラマ画像等を記憶してもよい。
【００７８】
Ｉ／Ｆ部２４０は、画像処理システム２００と撮像装置１００間、及び画像処理システム２００と提示部３００間で、情報の送受信を行う。なお、Ｉ／Ｆ部２４０は、有線により通信を行うものであってもよく、無線により通信を行うものであってもよい。
【００７９】
ガイダンス情報生成部２５０は、後述するカメラ移動方向又はカメラ動き方向に基づいて、ガイダンス情報を生成する。
【００８０】
画像取得部（サンプリング部）２７０は、Ｉ／Ｆ部２４０から取得した情報から静止画像を取得し、他の各機能部へ一連の静止画像を出力する。また、画像取得部（サンプリング部）２７０は、サンプリング制御部２７２を含んでも良い。
【００８１】
画像取得部（サンプリング部）２７０は、Ｉ／Ｆ部２４０が撮像装置１００によって撮影された動画像を含む情報を取得した場合には、サンプリング制御部２７２により設定されたサンプリングレートで、撮影された動画像から静止画像をサンプリングし、他の各機能部へ一連の静止画像を出力する。
【００８２】
一方、画像取得部２７０は、Ｉ／Ｆ部２４０が一連の静止画像を含む情報を取得した場合には、一連の静止画像を取得して、他の各機能部へこれを出力する。この際、一連の静止画像が生成された方法は問わない。例えば、撮像装置１００が連写により静止画像を撮像して、一連の静止画像を生成したものであってもよいし、撮像装置１００が動画像を撮影して、撮像装置１００内で動画像から静止画像をサンプリングし、一連の静止画像を生成したものであってもよい。
【００８３】
サンプリング制御部２７２は、サンプリングレートを設定する。さらに、サンプリング制御部２７２は、撮像装置１００が連写をすることにより静止画像を撮像する場合には、設定したサンプリングレートをシャッター速度や撮影間隔として用いるために、サンプリングレート等を撮像装置１００のＩ／Ｆ部１８に出力してもよい。
【００８４】
方向判定部２１０及びパノラマ画像生成部２２０、ガイダンス情報生成部２５０、画像取得部（サンプリング部）２７０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００８５】
最後に、提示部３００は、画像処理システム２００のＩ／Ｆ部２４０から得られるパノラマ画像等をユーザに提示する。提示部３００は、表示部の他に、音出力部や振動部を含んでもよい。
【００８６】
また、撮像装置１００が、画像処理機能を有するスマートカメラ等である場合には、図１１に示すような構成例も可能である。
【００８７】
本実施形態では、撮像装置１００は、撮像部１２と、エンコーダ１４と、動き情報取得部１６と、Ｉ／Ｆ部１８と、画像取得部（サンプリング部）２７０と、を含む。また、情報処理装置４００は、方向判定部２１０と、パノラマ画像生成部２２０と、記憶部２３０と、Ｉ／Ｆ部２４０と、ガイダンス情報生成部２５０と、を含む。ただし、撮像装置１００及び情報処理装置４００は、図１１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【００８８】
撮像装置１００及び情報処理装置４００に含まれる各部の機能は、上述したものと同様である。
【００８９】
本実施形態では、撮像装置１００は、動画像を撮影する場合でも、動画像からサンプリングした静止画像のみを、情報処理装置４００に通知すればよいため、データ転送量を抑えることが可能となる。
【００９０】
３．具体的な実施例
ここではパノラマ画像の生成元が動画像である場合の実施例について説明する。ただし、本発明のパノラマ画像の生成元は動画像に限定されない。パノラマ画像の生成元が連写された静止画像である場合も、下記の実施例と同様に、パノラマ画像を生成することが可能である。
【００９１】
まず、本実施形態では、図３に示すような頭部装着型の撮像部ＣＡＭにより、視野に近い範囲で被写体を撮影し、動画を生成する。
【００９２】
頭部装着型の撮像部ＣＡＭを用いれば、風景を見回す時の首の動きに連動した動画像を簡単に撮影でき、見たままの風景に近いパノラマ画像を生成することができる。
【００９３】
本実施形態では、撮像部ＣＡＭの軌跡が自然になるように、ジグザグな軌跡を描くように撮像部ＣＡＭを移動させて、撮影を行うことにより、２次元的な広がりを持つパノラマ画像ＰＩＭを１本の動画から生成する。図３では、後述する第１のカメラ移動方向ＤＲ１に撮像部ＣＡＭを動かして撮影を行った後、後述する第３のカメラ移動方向ＤＲ３に撮像部を動かし、最後に後述する第２のカメラ移動方向ＤＲ２に撮像部ＣＡＭを動かして撮影を行っている。また、第２のカメラ移動方向ＤＲ２に撮像部ＣＡＭを移動させた後に、連続して他のカメラ移動方向に撮像部ＣＡＭを移動させて撮影を行っても良い。
【００９４】
なお、パノラマ画像の合成に用いる静止画像の抽出（サンプリング）および、パノラマ画像の生成は、撮像装置の内部で行ってもよいし、さらに通信部を設けて有線又は無線で接続されたコンピュータなどの画像処理システム上で行ってもよい。
【００９５】
次に、上述するように撮像部を移動させながら撮影を行ってパノラマ画像を生成する場合におけるパノラマ画像の生成処理について、図４を用いて説明する。まず、撮像部によって撮影された動画像の中から、静止画像の取得開始タイミングのフレームを特定し、取得開始タイミングのフレームを静止画像としてサンプリングする。図４では、取得開始タイミングに対応する静止画像を初期位置ＩＰＯに設定している。そして、所定のサンプリングレートに従って、動画像から静止画像をサンプリングしていき、第１のカメラ移動方向に撮像部を移動させた時に撮影された静止画像と、第２のカメラ移動方向に撮像部を移動させた時に撮影された静止画像が、ＲＥＡのような重複領域を持つように、静止画像を合成して、パノラマ画像を生成する。この時、重複領域ＲＥＡは、２つの静止画像を重ね合わせた時に、被写体の同一範囲が映された画素同士が、所定の距離範囲内に含まれるような領域である。すなわち、２つの静止画像に映された像の同じ部分が重なって、一つの連続的な静止画像になるように合成される。また、この際に、今回撮影した静止画像と前回撮影した静止画像（つまり、隣接する静止画像）の同一部分が重複するように、画像を重複させて合成する。例えば、Ｒ１のような部分である。
【００９６】
上述するような方法で、パノラマ画像を生成するためには、撮影した静止画像間に重複領域が存在する必要があるが、撮像部を移動させる方向などによっては、重複領域を確保することができない場合がある。
【００９７】
そこで、重複領域が存在するように撮像部を移動させるために、ユーザにガイダンス情報を提示する。
【００９８】
まず、ガイダンス情報を提示するための下準備として、後述するカメラ動き方向を利用して、パノラマ画像を生成する手法について、図５を用いて説明する。ここで、後述するように、カメラ動き方向とは、サンプリング間で撮像部が移動された方向のことをいう。
【００９９】
まず、第１のカメラ移動方向に撮像部が移動されている場合のカメラ動き方向を求める。図５では、ｍ１〜ｍ６である。同様に、第３のカメラ移動方向に撮像部が移動されている場合にも、カメラ動き方向を求める。図５では、Ｖ１〜Ｖ２である。
【０１００】
ここで、第３のカメラ移動方向に撮像部を動かし過ぎると、第１のカメラ移動方向に動かして撮影した静止画像と、第２のカメラ移動方向に動かして撮影した静止画像の重複領域が確保できなくなってしまう。そのため、第３のカメラ移動方向から第２のカメラ移動方向へカメラ移動方向を変更するためのガイダンスである移行ガイダンスが必要となる。図５では、重複領域の幅がＲＥＷとなるように、第３のカメラ移動方向から第２のカメラ移動方向にカメラ移動方向を変更している。
【０１０１】
移行ガイダンスにより、カメラ移動方向を第２のカメラ移動方向に変更し、撮像部を移動させる場合においても、第３のカメラ移動方向へ誤って撮像部を移動させてしまうことがある。このような場合には、上記と同様に重複領域を確保することができない。
【０１０２】
そこで、第２のカメラ移動方向へ移動させる際には、第１のカメラ移動方向へ撮像部を移動させている時に求めたカメラ動き方向を、逆時間順に読み出し、カメラ動き方向の逆方向（図５では、Ｍ１〜Ｍ６。ｍｉの逆方向がＭ７−ｉである。ｉは１≦ｉ≦６の整数。）に撮像部を動かすように誘導できれば、図５のＲＥＡのような重複領域を確保することができる。ここでは、このガイダンスを軌跡ガイダンスと呼ぶ。
【０１０３】
なお、カメラ動き方向は、撮像部により撮影された動画像をエンコードするときに求められる動きベクトルや、加速度センサ、ジャイロセンサ等から得られるセンサ情報や内部カメラパラメータから得られる撮像範囲の情報から得る方法がある。エンコード時に求められる動きベクトルをカメラ動き方向として用いる手法は、センサを設ける必要がなく、撮像装置や情報処理装置の小型化に繋がる点で有効である。
【０１０４】
次に、移行ガイダンスについて、図６（Ａ）〜図６（Ｃ）を用いて説明する。図６（Ａ）は、フレームＶＦ１を撮影した段階で、フレームＶＦ２の撮影位置へ撮像部を移動させ、フレームＶＦ２を撮影している時に、移行ガイダンスを行う様子を示している。図６（Ｂ）は、フレームＶＦ１を撮影する時のＨＭＤの提示部の様子を表しているが、この時には移行ガイダンスを表すアイコンＧＩＭ１が消灯されている。一方、図６（Ｃ）は、フレームＶＦ２を撮影する時のＨＭＤの提示部の様子を表しているが、この時には移行ガイダンスを表すアイコンＧＩＭ２が点滅して表示されており、カメラ移動方向の変更をユーザに促している。
【０１０５】
移行ガイダンスを提示するか否かを判定する典型的な具体例としては、下記のような手法が考えられる。まず、第１のカメラ移動方向に撮像部を移動させて撮影が行われ、第３のカメラ移動方向へ撮像部を一定時間移動させられたことを、カメラ動き方向に基づいて検知した場合に、第３のカメラ移動方向にカメラ移動方向を変更した後の撮像部の移動量を求める。次に、求めた移動量分だけ撮像部が移動された場合に、撮像部を移動させる前後において同一範囲を映す画素の移動量を求める。そして、フレームＶＦ１における第３のカメラ移動方向の長さの所定の割合、例えば８０％を、画素の移動量が超えている場合に、第２のカメラ移動方向へカメラ移動方向を変更するようにガイダンスの提示を決定する。この場合には、第１のカメラ移動方向に移動させて撮影した静止画像と、第２のカメラ移動方向に移動させて撮影した静止画像とを、２０％弱程度重複させて、パノラマ画像を生成することができる。
【０１０６】
また、ガイダンス情報を提示する際には、矢印や色付きの図形、点滅する図形、バイブレータの振動パターン、骨伝導スピーカ等を利用する音声など、ユーザがガイダンス情報を注視していなくても、ガイダンス情報が提示されたことを認識しやすい情報を用いることが望ましい。
【０１０７】
さらに具体的には、シースルーの表示部が設けられたＨＭＤのような視野に情報を重畳できる携帯情報提示端末を用いる場合は、詳細な文字情報ではなく、上述した矢印や、色付きの図形、点滅する図形などの情報を表示することで、撮影の合間に横目で確認することができる。さらに、バイブレータの振動パターンなどのような目視の必要のないガイダンス情報を使うことも可能である。ただし、バイブレータは撮像部と一体化すると、像が乱れる可能性があるため、ケーブルや無線を介し分離しておくのが望ましい。具体的には、イヤホン型や撮像部と反対側に設ける方法などがある。また、骨伝導スピーカを用いれば、音声ガイダンスによる具体的な指示が可能となる。
【０１０８】
これにより、ユーザは、ガイダンスに気をとられることなくガイダンス情報の内容を確認でき、撮影に集中することができる。また、ガイダンス情報の提示部と撮像部を一体化することにより、携帯性に優れ、素材となる静止画像の撮りこぼしが少ない画像処理システムを提供することができる。
【０１０９】
次に、軌跡ガイダンスについて、図７を用いて説明する。
【０１１０】
まず、第１のカメラ移動方向ＤＲＭ１に撮像部が移動され、撮影が行われた場合に、図７に示すような静止画像ＦＲ１とＦＲ２がサンプリングされた場合を考える。なお、ＰＯ１は静止画像ＦＲ１の中心点であり、ＰＯ２は静止画像ＦＲ２の中心点である。
【０１１１】
ここで、隣接する静止画像ＦＲ１とＦＲ２間でのカメラ動き方向をＤＲ１として求める。ＤＲ１は、ＰＯ１からＰＯ２までのベクトルである。
【０１１２】
次に、第３のカメラ移動方向ＤＲＭ３へ撮像部を移動させた後に、前述した方法で第２のカメラ移動方向ＤＲＭ２へ撮像部を移動させる。
【０１１３】
そして、第２のカメラ移動方向ＤＲＭ２に撮像部を移動させる場合には、重複領域を確保するために、カメラ動き方向ＤＲ１と逆方向であるＤＲ２の方向にカメラを移動させるように、軌跡ガイダンスを行う。軌跡ガイダンスにおけるガイダンス情報は、移行ガイダンスで用いた矢印画像などでもよい。
【０１１４】
ただし、軌跡ガイダンスを行った場合においても、ユーザが撮像部を上手く移動させることができなかったり、手振れによって、撮像部の位置がずれてしまったりすることがある。図７では、その一例として、カメラ動き方向がＤＲ３のようになってしまった場合を示している。本例のように、撮像部を移動させた時に撮影された動画像から静止画像をサンプリングすると、ＦＲ３とＦＲ４のような静止画像が得られるが、軌跡ガイダンスで示したカメラ動き方向ＤＲ２とは異なる方向に撮像部を移動させたため、静止画像ＦＲ１とＦＲ４において重複領域が確保できなくなってしまっている。
【０１１５】
このような場合には、静止画像ＦＲ３の中心位置ＰＯ３からカメラ動き方向ＤＲ２の方向へ撮像部を移動させた時の本来の目標位置ＤＳＴＰと、静止画像ＦＲ４の中心位置ＰＯ４と間のベクトルＧＩＭを求め、このベクトルに基づいて、さらに軌跡ガイダンスを行ってもよい。
【０１１６】
また、軌跡ガイダンスの他の実施例として、図８に示すように、静止画像ＦＲ１の撮影位置から軌跡ガイダンスを行い、静止画像ＦＲ２とＦＲ３がサンプリングできる動画像を撮影できるように、撮像部を移動させることを考える。具体的には、静止画像ＦＲ１の中心位置ＰＯ１とＦＲ２の中心位置ＰＯ２間のベクトルがＤＶ１２、ＰＯ２とＦＲ３の中心位置ＰＯ３間のベクトルがＤＶ２３となるように軌跡ガイダンスを行う。
【０１１７】
しかし、この場合にも、ＰＯ１から誤ってＤＶＲ１２の軌跡を通って、ＰＯＤが静止画像の中心位置になるように撮像部を移動させたとする。ここで、実際には軌跡ガイダンス通りに撮像部を移動させることは困難であるため、誤差許容範囲ＥＰＲを設け、ＥＰＲ内にＰＯＤが含まれる場合は、ＤＶ１２を用いた軌跡ガイダンスの目標が達成されたと判断する。本来ならば、静止画像ＦＲ２をサンプリングすることが望ましいが、ＰＯＤを中心位置とする静止画像ＦＲＤをＦＲ２の代替として用いる。そして、ＰＯＤからＰＯ２へのベクトルＣＶを求め、ベクトルＣＶとＤＶ２３により新たなベクトルＤＶＮ２３を求め、ＤＶＮ２３に基づいて軌跡ガイダンスを行う。
【０１１８】
次に、パノラマ画像ＰＩＭの合成に用いる静止画像の取得開始タイミングと取得終了タイミングを判定する手法について、図９を用いて説明する。
【０１１９】
本例では、一定時間、同じ方向に撮像部の動きを検出すると、パノラマ画像を生成するための動画像の撮影を開始したと判断する。なお、撮影自体はそれ以前から継続的に行っていてもよく、フレームに取得開始タイミングをマーキングしてもよい。また、撮像部が一定時間、同じ方向に動いているか否かは、例えば、撮像部が移動される方向を表すベクトルである動きベクトルを求め、動きベクトルの水平成分と垂直成分のうち、どちらか一方の成分の絶対値が他方の成分の絶対値よりも、所定の時間連続して大きいか否かを判断することにより、判断する。
【０１２０】
図９において、Ｐ１は撮影開始フレーム位置、Ｐ２は撮影開始を認識した時点でのフレーム位置である。撮影開始時には、一定時間同一方向への移動を検知した後、フレームＰ２の時点で撮影が開始されたと認識する。同一方向へカメラが移動され始めたのはＰ１なので、Ｐ１を撮影開始時点のフレームとみなし、Ｐ１まで時間を遡って記録を開始する。ここで、Ｐ１からＰ２までのフレームを一時的にバッファリングしておき、Ｐ１から撮影したフレームが格納された動画ファイルとして保存してもよいし、動画はストリーミング動画として、ある一定期間フレームをすべて保存しておき、開始フレームをマーキングするだけでもよい。
【０１２１】
同様に、一定時間撮像部の動きを検出しなければ、撮影終了する。Ｐ３は撮影終了フレーム、Ｐ４は撮影終了を認識した時点でのフレームである。フレームＰ３からＰ４まででは、同様の不要フレームが複数撮影されることになるため、フレームＰ３まで時間を遡って動画ファイルを保存するか、終了フレームとしてフレームＰ３をマーキングするのが望ましい。あるいは、第２のカメラ移動方向に、第１のカメラ移動方向とほぼ同じ距離だけ撮影したと認識した時点で撮影を終了してもよい。さらに、カメラ移動方向を変更する回数をプリセットしておいてもよい。
【０１２２】
これにより、余計な動作を伴わずに風景を見まわすという動作と連動して、撮影の開始および撮影の終了ができる。
【０１２３】
４．本実施形態の手法
以上の本実施形態では、静止画像を連続して取得する画像取得部２７０と、撮影中の撮像部１２が移動される方向であるカメラ移動方向を判定する方向判定部２１０と、連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部２２０と、を含む。そして、方向判定部２１０は、撮像部１２を移動させながら撮影が行われる場合に、カメラ移動方向が第１のカメラ移動方向であるか、第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定する。さらに、パノラマ画像生成部２２０は、連続して取得された静止画像の撮影時におけるカメラ移動方向に基づいて、静止画像の合成位置を決定し、静止画像の合成処理を行い、パノラマ画像を生成する。
【０１２４】
本実施形態では、撮像部が複数のカメラ移動方向に移動させられ、撮影が行われる場合に、パノラマ画像を生成するために用いる静止画像を連続して取得することができ、現在のカメラ移動方向を判定することができる。
【０１２５】
ここで、静止画像を連続して取得するとは、撮像部が静止画像を撮像する場合には、撮像部を連続的に移動させながら、連写して撮像された静止画像を取得することをいう。また、静止画像を連続して取得するとは、撮像部が動画像を撮影する場合には、撮像部を連続的に移動させながら、撮影した動画像から静止画像を、画像取得部２７０がサンプリングして取得すること、または撮影した動画像から撮像部等の他機能部によってサンプリングされた静止画像を取得することをいう。
【０１２６】
また、ここで、カメラ移動方向とは、撮像部を移動させる際に描く軌跡における任意の異なる二点間を結ぶベクトルの方向である。例えば、カメラ移動方向は、図３のＤＲ１やＤＲ２、ＤＲ３である。カメラ移動方向は、あらかじめ設定されたものであってもよい。また、後述する動き情報取得部により取得される撮像部の動き情報により表される動きベクトルの水平成分と垂直成分のどちらか一方の成分が、一定期間連続して大きい場合に、他方の成分よりも大きい一方の成分に対応する方向をカメラ移動方向として求めても良い。
【０１２７】
また、ここでは、カメラ移動方向の一方向を第１のカメラ移動方向と呼び、第１のカメラ移動方向と異なる方向を第２のカメラ移動方向と呼ぶ。なお、カメラ移動方向は、第１のカメラ移動方向と第２のカメラ移動方向だけに限定されず、さらに複数のカメラ移動方向を考慮してもよい。
【０１２８】
また本実施形態では、カメラ移動方向に基づいて、静止画像の合成位置を決定し、合成処理を行うことが可能となる。
【０１２９】
ここで、合成処理とは、現時点までに合成処理を行った結果取得される画像と、新たに取得された静止画像とを重ね合わせて、１つの画像を生成する処理のことをいう。
【０１３０】
また、合成位置とは、合成処理において、現時点までに合成処理を行った結果取得される画像に対する静止画像の相対的な位置のこという。
【０１３１】
よって、撮像部を一つのカメラ移動方向に動かして生成したパノラマ画像よりも、複数の方向に対して画角の広いパノラマ画像を生成することが可能となる。
【０１３２】
また、パノラマ画像生成部２２０は、前回の合成処理に用いた静止画像に対して、前回の静止画像を撮影した時のカメラ移動方向に重複領域を持つように、今回の静止画像の合成処理を行って、パノラマ画像を生成してもよい。
【０１３３】
また、パノラマ画像生成部２２０は、最初の合成処理として、最初に取得された静止画像を基準位置に配置設定してもよい。そして、方向判定部２１０により、カメラ移動方向が第１のカメラ移動方向であると判定された場合には、前回の合成処理に用いた静止画像の第１のカメラ移動方向に重複領域を持つように、今回の静止画像の合成処理を行ってもよい。また、方向判定部２１０により、カメラ移動方向が第２のカメラ移動方向であると判定された場合には、前回の合成処理に用いた静止画像の第２のカメラ移動方向に重複領域を持つように、今回の静止画像の合成処理を行ってもよい。
【０１３４】
ここで、重複領域とは、合成処理において、２つの画像が重畳される領域のことをいう。例えば、図４で言えば、Ｒ１のような部分である。
【０１３５】
また、変形例として、方向判定部２１０が、カメラ移動方向に基づいて、各静止画像に合成位置を表すＩＤを割り当てておき、パノラマ画像生成部２２０は、割り当てられたＩＤに基づいて、静止画像を合成して、パノラマ画像を生成してもよい。
【０１３６】
これにより、連続して取得された静止画像をカメラ移動方向側に次々に重畳して、合成処理を行うこと等が可能になる。
【０１３７】
また、方向判定部２１０は、動き情報取得部１６により取得される撮像部１２の動き情報に基づいて、静止画像の撮像タイミング間において撮像部１２が移動される方向であるカメラ動き方向を判定し、パノラマ画像生成部２２０は、カメラ動き方向に基づいて、静止画像の合成位置を決定し、静止画像の合成処理を行い、パノラマ画像を生成してもよい。
【０１３８】
ここで、動き情報とは、動き情報取得部により得られるセンサ情報又は動きベクトルのことをいう。
【０１３９】
また、静止画像の撮像タイミングとは、撮像部１２が連写により静止画像を撮像する場合には、画像取得部２７０が取得した静止画像が実際に撮像されたタイミングのことをいい、撮像部１２が動画像を撮像する場合には、撮像された動画像の各フレームのうち、サンプリングされる静止画像に対応するフレームが実際に撮像されたタイミングのことをいう。なお、静止画像の撮像タイミングは、画像取得部２７０が静止画像を取得するタイミングと異なっていても良い。
【０１４０】
また、カメラ動き方向とは、静止画像の撮像タイミング間において撮像部が移動される方向である。なお、カメラ動き方向を表す情報のことをカメラ動き方向情報と呼ぶ。具体的には、図５のｍ１のベクトルが示す方向などである。
【０１４１】
これにより、カメラ動き方向を判定することができ、カメラ動き方向に基づいて、静止画像の合成位置を決定すること等が可能となる。そして、カメラ移動方向に基づいて、合成位置を決定する場合に比べて、より撮像部の実際の動きに合った位置を合成位置とすること等が可能となる。
【０１４２】
また、パノラマ画像生成部２２０は、前回の合成処理に用いた静止画像に対して、前回の静止画像を撮影した時のカメラ動き方向に重複領域を持つように、今回の静止画像の合成処理を行って、パノラマ画像を生成してもよい。
【０１４３】
これにより、連続して取得された静止画像をカメラ動き方向側に次々に重畳して、合成処理を行うこと等が可能になる。
【０１４４】
また、方向判定部２１０は、撮像部１２を移動させながら撮影が行われる場合に、カメラ移動方向が第１のカメラ移動方向であるか、第２のカメラ移動方向であるか、若しくは第１のカメラ移動方向及び第２のカメラ移動方向と異なる方向である第３のカメラ移動方向であるかを判定してもよい。
【０１４５】
ここで、第３のカメラ移動方向とは、第１のカメラ移動方向及び第２のカメラ移動方向と異なる方向である。例えば、図４ではＤＲ３である。
【０１４６】
これにより、ジグザグな軌道を描くように撮像部を移動させる場合に、パノラマ画像を生成すること等が可能になる。ジグザグな軌跡を描くように撮像部が移動され撮影が行われることで、複数の方向において、撮像部の画角よりも広い範囲を映したパノラマ画像を生成すること等が可能になる。また、第１のカメラ移動方向への撮影開始位置と第２のカメラ移動方向への撮影開始位置を合わせるような位置合わせ等のために、撮像部を移動させることがなく、ユーザの手間を省くこと等が可能となる。また、一度の動画撮影でパノラマ画像を生成するための素材を用意することができるため、さらにユーザの手間を省くこと等が可能となる。
【０１４７】
また、撮像部１２を移動させる方向をユーザに示す情報であるガイダンス情報を生成するガイダンス情報生成部２５０を含んでもよい。
【０１４８】
ここで、ガイダンス情報とは、撮像部を移動させる方向をユーザに示す情報である。ガイダンス情報には、後述する移行ガイダンス情報と軌跡ガイダンス情報がある。
【０１４９】
これにより、撮影時にユーザにガイダンス情報を提示すること等が可能になる。その結果として、撮影した静止画像間に重複領域が存在するように、ユーザが撮像部を移動させることが可能となり、静止画像間に重複領域が確保できなくなることを回避すること等が可能になる。
【０１５０】
また、ガイダンス情報生成部２５０は、方向判定部２１０により、カメラ移動方向が第３のカメラ移動方向であると判定された場合に、第２のカメラ移動方向へ撮像部１２を移動させることを促す情報である移行ガイダンス情報を、ガイダンス情報として生成してもよい。
【０１５１】
ここで、移行ガイダンス情報とは、方向判定部により、カメラ移動方向が第３のカメラ移動方向であると判定された場合に、第２のカメラ移動方向へ撮像部を移動させることを促す情報である。例えば、図６のＧＩＭ２である。
【０１５２】
これにより、第１のカメラ移動方向へ撮像部を移動させた時に撮影した静止画像と、第２のカメラ移動方向へ撮像部を移動させた時に撮影した静止画像との重複領域を確保できるように、ユーザにカメラ移動方向を第３のカメラ移動方向に切り替えるガイダンスを行うこと等が可能になる。
【０１５３】
また、方向判定部２１０により、第１のカメラ移動方向から第３のカメラ移動方向へカメラ移動方向が切り替わったと判定された場合に、ガイダンス情報生成部２５０は、第３のカメラ移動方向への撮像部のカメラ移動量換算値を取得し、取得したカメラ移動量換算値が所定の閾値以上であるか否かを判定し、カメラ移動量換算値が所定の閾値以上であると判定した場合に、第２のカメラ移動方向へ撮像部を移動させることを促す移行ガイダンス情報を生成してもよい。
【０１５４】
ここで、カメラ移動量換算値とは、撮像部の移動量を示す値として用いられる値である。カメラ移動量換算値は、実際に撮像部が移動された距離そのものでなくてもよいし、実際に撮像部が移動された距離そのものであってもよい。例えば、カメラ移動量換算値は、撮像部により撮像された複数の撮像画像を比較した際において、被写体の同一の範囲を表す画素が、撮像画像上で移動した画素数のことをいう。また、カメラ移動量換算値の他の具体例としては、動き情報取得部１６によって得られる動き情報や、エンコーダ１４から得られるエンコード情報等がある。
【０１５５】
また、方向判定部２１０により、第１のカメラ移動方向から第３のカメラ移動方向へカメラ移動方向が切り替わったと判定された場合に、ガイダンス情報生成部２５０は、撮像部１２により撮像される撮像画像を取得し、第３のカメラ移動方向へカメラ移動方向が切り替わってから、撮像画像における第３のカメラ移動方向の所定の画素数に相当するだけ撮像部１２が移動されたか否かを判定し、撮像画像における第３のカメラ移動方向の所定の画素数に相当するだけ撮像部１２が移動されたと判定した場合に、第２のカメラ移動方向へ撮像部１２を移動させることを促す移行ガイダンス情報を生成してもよい。
【０１５６】
ここで、撮像画像とは、撮像部により撮像される画像のことである。撮像部の移動量の計算に用いられる撮像画像として、画像取得部により連続して取得される静止画像を用いても良いし、パノラマ合成用の画像取得タイミングと異なるタイミングのフレームを取得して用いても良い。
【０１５７】
これにより、例えば、撮像画像における第３のカメラ移動方向の所定の画素数によって、移行ガイダンス情報を提示するタイミングを制御すること等が可能になる。
【０１５８】
また、静止画像の撮像タイミング間において撮像部１２が移動される方向であるカメラ動き方向を表す情報であるカメラ動き方向情報を記憶する記憶部２３０を含み、方向判定部２１０は、動き情報取得部１６により取得される撮像部１２の動き情報に基づいて、カメラ動き方向を判定し、ガイダンス情報生成部２５０は、方向判定部２１０により、カメラ移動方向が第２のカメラ移動方向であると判定された場合に、第１のカメラ移動方向に撮像部１２が移動されていた時のカメラ動き方向情報を記憶部２３０から逆時間順に読み出し、読み出されたカメラ動き方向情報により表されるカメラ動き方向とは逆の方向に撮像部１２を移動させるようにユーザを誘導する情報である軌跡ガイダンス情報を、ガイダンス情報として生成してもよい。
【０１５９】
ここで、軌跡ガイダンス情報とは、第２のカメラ移動方向へ撮像部を移動させる際に、撮像部を移動させる方向をユーザに示す情報である。例えば、図７のＧＩＭのような情報である。
【０１６０】
これにより、第２のカメラ移動方向に撮像部を移動させる場合に、第３のカメラ移動方向へ誤って撮像部を移動させてしまい、重複領域を確保できなくなることを防ぐこと等が可能となる。
【０１６１】
また、ガイダンス情報生成部２５０は、生成された軌跡ガイダンス情報により表される撮像部１２の目標位置を含む誤差許容距離範囲内に撮像部１２が移動されたことを、動き情報に基づき判断した場合には、撮像部１２が目標位置に到達したと判断し、撮像部１２の次の目標位置を示す軌跡ガイダンス情報を提示部３００に通知してもよい。
【０１６２】
ここで、誤差許容距離範囲とは、所定の誤差許容度に基づいて設定され、撮像部の目標位置を含む所定の距離範囲である。例えば、図８のＥＰＲである。
【０１６３】
また、誤差許容度とは、撮像部の目標位置からのずれを許容する度合いのことをいう。
【０１６４】
さらに、目標位置とは、現在の撮像部の位置から、第１のカメラ移動方向に撮像部が移動された時に取得されたカメラ動き方向情報により表されるベクトルとは逆方向に、同じ距離だけ撮像部を動かした位置のことをいう。例えば、図８のＰＯ２やＰＯ３である。
【０１６５】
これにより、期待される位置へ撮像部を正確に移動させる必要がなくなり、誤差を許容しながら撮影を進めること等が可能となる。
【０１６６】
また、ガイダンス情報生成部２５０は、誤差許容距離範囲内に撮像部１２が移動された場合に、軌跡ガイダンス情報により表される撮像部１２の目標位置と、移動後の撮像部１２の実際の位置との差分情報を算出し、差分情報に基づいて、撮像部１２の次の目標位置を示す軌跡ガイダンス情報を補正してもよい。
【０１６７】
ここで、差分情報とは、撮像部の目標位置と実際の位置との差を表す情報である。例えば、図８では、差分情報はベクトルＣＶにより表されている。
【０１６８】
これにより、蓄積した誤差を相殺しながら、軌跡ガイダンスを行うことができ、重複領域を確保しながら、撮影範囲にもれのないパノラマ画像を生成すること等が可能となる。
【０１６９】
また、画像取得部２７０は、動き情報取得部１６により取得される動き情報に基づいて、撮像部１２が移動される方向を表すベクトルである動きベクトルを求め、動きベクトルの水平成分と垂直成分のうち、いずれか一方の成分の絶対値が他方の成分の絶対値よりも、所定の時間連続して大きいと判断した場合には、一方の成分の絶対値が他方の成分の絶対値よりも大きくなり始めたタイミングを、パノラマ画像を生成するために用いる静止画像の取得開始タイミングとして求めてもよい。
【０１７０】
ここで、静止画像の取得開始タイミングとは、撮像部が静止画像を連写により撮像する場合には、静止画像を連続して撮像する各タイミングのうち、画像取得部がパノラマ画像を生成するための静止画像の取得を開始するタイミングのことをいう。すなわち、撮像部は、静止画像の取得開始タイミング前から、連続して静止画像を撮像しており、画像取得部は、取得開始タイミング以降に撮像された静止画像を取得して、パノラマ画像の生成に用いる。例えば、図９で言えば、撮像部は、Ｐ１から撮像を行っているが、Ｐ２の時点で同一方向に撮像部が移動されていると判断され、現在撮像部が移動されている方向に、移動され始めたタイミングであるＰ１の時点を、静止画像の取得開始タイミングとして求める。なお、この場合には、過去に撮像された静止画像を所定の枚数だけ記憶部２３０等に保存しておき、画像取得部２７０が記憶部２３０から静止画像を取得してもよい。
【０１７１】
また、静止画像の取得開始タイミングは、撮像部が動画像を撮影する場合においては、パノラマ画像を生成するために静止画像をサンプリングする期間の開始点のこという。なお、動画像を撮影する場合でも連写の場合と同様に、静止画像の取得開始タイミングは、実際に動画像を撮影し始めるタイミングでなくてもよい。
【０１７２】
これにより、ユーザが手などによる操作を行わなくても、ＨＭＤを装着して風景を見回すという行為に連動して、パノラマ画像の生成を開始すること等が可能になる。
【０１７３】
また、画像取得部２７０は、動き情報取得部１６により取得される動き情報に基づいて、撮像部１２が移動される方向を表すベクトルである動きベクトルを求め、動きベクトルの大きさが所定の時間連続して所定の閾値以下であると判断した場合には、動きベクトルの大きさが所定の閾値以下となり始めたタイミングを、パノラマ画像を生成するために用いる静止画像の取得終了タイミングとして求めてもよい。
【０１７４】
ここで、静止画像の取得終了タイミングとは、撮像部が静止画像を連写により撮像する場合には、静止画像を連続して撮像する各タイミングのうち、画像取得部がパノラマ画像を生成するための静止画像の取得を終了するタイミングのことをいう。すなわち、撮像部は、静止画像の取得終了タイミング後も、連続して静止画像を撮像していてもよく、画像取得部は、取得終了タイミングまでに撮像された静止画像を取得して、パノラマ画像の生成に用いる。例えば、図９で言えば、撮像部は、Ｐ４の時点においても撮像を行っているが、Ｐ４の時点で撮像部が移動されていないと判断され、撮像部の移動が停止したタイミングであるＰ３の時点を、静止画像の取得終了タイミングとして求める。
【０１７５】
また、静止画像の取得終了タイミングは、撮像部が動画像を撮影する場合においては、パノラマ画像を生成するために静止画像をサンプリングする期間の終了点のこという。なお、動画像を撮影する場合でも連写の場合と同様に、静止画像の取得終了タイミングは、実際に動画像を撮影し終えるタイミングでなくてもよい。
【０１７６】
これにより、ユーザが手などによる操作を行わなくても、ＨＭＤを装着して風景を見回すという行為に連動して、パノラマ画像の生成を終了すること等が可能になる。
【０１７７】
また、撮像装置１００が静止画像を撮像する速度（または撮像装置１００が静止画像を動画像からサンプリングする速度、以下同じ）が、画像取得部２７０が静止画像を取得する速度よりも速い場合には、撮像装置１００が取得した静止画像の一部が使用されず、無駄となる。一方、撮像装置１００が静止画像を撮像する速度が、画像取得部２７０が静止画像を取得する速度よりも遅い場合には、画像取得部２７０は、パノラマ画像を生成するために必要十分な画像を取得することができない。
【０１７８】
そこで、画像取得部２７０は、撮像部のシャッタータイミングを制御して、静止画像を連続して取得してもよい。
【０１７９】
シャッタータイミングの制御は、サンプリング制御部２７２により設定されたサンプリングレート等の情報を撮像装置１００に出力することにより行う。また、サンプリングレートの他にも、サンプリングレートに基づいて求めたシャッター速度や撮影間隔などの情報を撮像装置１００に出力してもよい。
【０１８０】
これにより、例えば、撮像部が撮像する静止画像の枚数と、画像取得部が取得する静止画像の枚数を一致させることが可能となり、無駄な静止画像を撮像させることを防止しつつ、必要な静止画像を取得すること等が可能になる。
【０１８１】
なお本実施形態の情報処理装置等は、プログラム又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体により実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の情報処理装置等が実現される。具体的には情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そしてＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【０１８２】
５．処理の流れ
以下では、図１０のフローチャートを用いて、本実施形態の処理の流れについて説明する。なお、ここではパノラマ画像の生成元が動画像である場合の流れについて説明するが、本発明のパノラマ画像の生成元は動画像に限定されない。パノラマ画像の生成元が連写された静止画像である場合も、下記と同様の流れで、パノラマ画像を生成することが可能である。
【０１８３】
初めに、第１のカメラ移動方向へ撮像部が移動され撮影が開始される（Ｓ１）。そして、撮影された動画像をエンコードする際に求められる動きベクトルを、撮像部の動き情報として取得し、取得した動き情報に基づいて、カメラ動き方向を求める（Ｓ２）。
【０１８４】
次に、第３のカメラ移動方向へ撮像部が移動されたか否かを判断する（Ｓ３）。第３のカメラ移動方向に撮像部が移動されていないと判断する場合には、ステップＳ１の処理に戻る。一方、第３のカメラ移動方向に撮像部が移動されたと判断する場合には、第３のカメラ移動方向への移動量が所定の閾値を超えているか否かを判断する（Ｓ４）。第３のカメラ移動方向への移動量が所定の閾値を超えていないと判断する場合には、移動量が所定の閾値を超えるまで待機する。一方、第３のカメラ移動方向への移動量が所定の閾値を超えていると判断する場合には、移行ガイダンスを行う（Ｓ５）。この際に、現時点の撮像部により撮像される静止画像と、第１のカメラ移動方向へ撮像部が移動された時に撮像された静止画像との重複領域を算出し、重複領域の面積等と所定の閾値との比較を行う（Ｓ６）。その結果、重複領域の面積等が所定の閾値未満であると判断した場合には、ステップＳ５に戻り、重複領域の面積等が所定の閾値以上となるように、再度移行ガイダンスを行う。
【０１８５】
一方、重複領域の面積等が所定の閾値以上であると判断した場合には、第１のカメラ移動方向に撮像部が移動された時のカメラ動き方向を逆時間順に取得する（Ｓ７）。そして、取得したカメラ動き方向の逆方向に基づいて、次に撮像部を動かす目標位置を決定し（Ｓ８）、設定された目標位置に撮像部を動かすように誘導する軌跡ガイダンスを行う（Ｓ９）。軌跡ガイダンスにて、軌跡ガイダンス情報を提示した後は、動き情報に基づいて撮像部が目標位置に到達したか否かを判断する（Ｓ１０）。撮像部が目標位置に到達していないと判断する場合には、ステップＳ９から処理を繰り返す。一方、撮像部が目標位置に到達したと判断する場合には、第１のカメラ移動方向へ撮像部が移動された時のカメラ動き方向を全て取得したか否かを判断する（Ｓ１１）。まだ、カメラ動き方向を全て取得していない場合には、ステップＳ７から処理を繰り返す。一方、カメラ動き方向を全て取得したと判断する場合には、動画像から静止画像をサンプリングし、静止画像の合成を行い、パノラマ画像を生成する（Ｓ１２）。
【０１８６】
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理システム、情報処理装置及びプログラムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１８７】
１２ 撮像部、１４ エンコーダ、１６ 動き情報取得部、１８ Ｉ／Ｆ部、
１００ 撮像装置、２００ 画像処理システム、２１０ 方向判定部、
２２０ パノラマ画像生成部、２３０ 記憶部、２４０ Ｉ／Ｆ部、
２５０ ガイダンス情報生成部、２７０ 画像取得部（サンプリング部）、
２７２ サンプリング制御部、３００ 提示部、４００ 情報処理装置
【特許請求の範囲】
【請求項１】
静止画像を連続して取得する画像取得部と、
撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、
連続して取得された前記静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部と、
を含み、
前記方向判定部は、
前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第１のカメラ移動方向であるか、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定し、
前記パノラマ画像生成部は、
連続して取得された前記静止画像の撮影時における前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする画像処理システム。
【請求項２】
請求項１において、
前記パノラマ画像生成部は、
前回の前記合成処理に用いた前記静止画像に対して、前回の前記静止画像を撮影した時の前記カメラ移動方向に重複領域を持つように、今回の前記静止画像の前記合成処理を行って、前記パノラマ画像を生成することを特徴とする画像処理システム。
【請求項３】
請求項１において、
前記方向判定部は、
動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、
前記パノラマ画像生成部は、
前記カメラ動き方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする画像処理システム。
【請求項４】
請求項３において、
前記パノラマ画像生成部は、
前回の前記合成処理に用いた前記静止画像に対して、前回の前記静止画像を撮影した時の前記カメラ動き方向に重複領域を持つように、今回の前記静止画像の前記合成処理を行って、前記パノラマ画像を生成することを特徴とする画像処理システム。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記方向判定部は、
前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が前記第１のカメラ移動方向であるか、前記第２のカメラ移動方向であるか、若しくは前記第１のカメラ移動方向及び前記第２のカメラ移動方向と異なる方向である第３のカメラ移動方向であるかを判定することを特徴とする画像処理システム。
【請求項６】
請求項５において、
前記撮像部を移動させる方向をユーザに示す情報であるガイダンス情報を生成するガイダンス情報生成部を含むことを特徴とする画像処理システム。
【請求項７】
請求項６において、
前記ガイダンス情報生成部は、
前記方向判定部により、前記カメラ移動方向が前記第３のカメラ移動方向であると判定された場合に、前記第２のカメラ移動方向へ前記撮像部を移動させることを促す情報である移行ガイダンス情報を、前記ガイダンス情報として生成することを特徴とする画像処理システム。
【請求項８】
請求項７において、
前記方向判定部により、前記第１のカメラ移動方向から前記第３のカメラ移動方向へ前記カメラ移動方向が切り替わったと判定された場合に、
前記ガイダンス情報生成部は、
前記第３のカメラ移動方向への前記撮像部のカメラ移動量換算値を取得し、取得した前記カメラ移動量換算値が所定の閾値以上であるか否かを判定し、
前記カメラ移動量換算値が前記所定の閾値以上であると判定した場合に、
前記第２のカメラ移動方向へ前記撮像部を移動させることを促す前記移行ガイダンス情報を生成することを特徴とする画像処理システム。
【請求項９】
請求項６乃至８のいずれかにおいて、
前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を表す情報であるカメラ動き方向情報を記憶する記憶部を含み、
前記方向判定部は、
動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記カメラ動き方向を判定し、
前記ガイダンス情報生成部は、
前記方向判定部により、前記カメラ移動方向が前記第２のカメラ移動方向であると判定された場合に、前記第１のカメラ移動方向に前記撮像部が移動されていた時の前記カメラ動き方向情報を前記記憶部から逆時間順に読み出し、読み出された前記カメラ動き方向情報により表される前記カメラ動き方向とは逆の方向に前記撮像部を移動させるように前記ユーザを誘導する情報である軌跡ガイダンス情報を、前記ガイダンス情報として生成することを特徴とする画像処理システム。
【請求項１０】
請求項９において、
前記ガイダンス情報生成部は、
生成された前記軌跡ガイダンス情報により表される前記撮像部の目標位置を含む誤差許容距離範囲内に前記撮像部が移動されたことを、前記動き情報に基づき判断した場合には、前記撮像部が前記目標位置に到達したと判断し、前記撮像部の次の目標位置を示す前記軌跡ガイダンス情報を提示部に通知することを特徴とする画像処理システム。
【請求項１１】
請求項１０において、
前記ガイダンス情報生成部は、
前記誤差許容距離範囲内に前記撮像部が移動された場合に、前記軌跡ガイダンス情報により表される前記撮像部の前記目標位置と、移動後の前記撮像部の実際の位置との差分情報を算出し、前記差分情報に基づいて、前記撮像部の次の前記目標位置を示す前記軌跡ガイダンス情報を補正することを特徴とする画像処理システム。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記画像取得部は、
動き情報取得部により取得される動き情報に基づいて、前記撮像部が移動される方向を表すベクトルである動きベクトルを求め、前記動きベクトルの水平成分と垂直成分のうち、いずれか一方の成分の絶対値が他方の成分の絶対値よりも、所定の時間連続して大きいと判断した場合には、一方の成分の絶対値が他方の成分の絶対値よりも大きくなり始めたタイミングを、前記パノラマ画像を生成するために用いる前記静止画像の取得開始タイミングとして求めることを特徴とする画像処理システム。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記画像取得部は、
動き情報取得部により取得される動き情報に基づいて、前記撮像部が移動される方向を表すベクトルである動きベクトルを求め、前記動きベクトルの大きさが所定の時間連続して所定の閾値以下であると判断した場合には、前記動きベクトルの大きさが所定の閾値以下となり始めたタイミングを、前記パノラマ画像を生成するために用いる前記静止画像の取得終了タイミングとして求めることを特徴とする画像処理システム。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記画像取得部は、
前記撮像部のシャッタータイミングを制御して、前記静止画像を連続して取得することを特徴とする画像処理システム。
【請求項１５】
撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、
画像取得部により連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部と、
連続して取得された前記静止画像と生成した前記パノラマ画像とを記憶する記憶部と、
を含み、
前記パノラマ画像生成部は、
第１のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像を撮影した時の前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする情報処理装置。
【請求項１６】
請求項１５において、
前記方向判定部は、
動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、
前記記憶部は、
前記カメラ動き方向を表す情報であるカメラ動き方向情報を記憶し、
前記パノラマ画像生成部は、
前記カメラ動き方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする情報処理装置。
【請求項１７】
請求項１５又は１６において、
前記パノラマ画像生成部は、
前記第１のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第１のカメラ移動方向及び前記第２のカメラ移動方向と異なる方向である第３のカメラ移動方向に前記撮像部が移動させられ、前記第３のカメラ移動方向に前記撮像部を移動させられた後に、前記第２のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、
連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像の前記合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする情報処理装置。
【請求項１８】
請求項１７において、
前記カメラ移動方向に基づいて、前記撮像部を移動させる方向をユーザに示す情報であるガイダンス情報を生成するガイダンス情報生成部を含むことを特徴とする情報処理装置。
【請求項１９】
請求項１８において、
前記ガイダンス情報生成部は、
前記方向判定部により、前記カメラ移動方向が前記第３のカメラ移動方向であると判定された場合に、前記第２のカメラ移動方向へ前記撮像部を移動させることを促す情報である移行ガイダンス情報を、前記ガイダンス情報として生成することを特徴とする情報処理装置。
【請求項２０】
請求項１８又は１９において、
前記方向判定部は、
動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、
前記記憶部は、
前記カメラ動き方向を表す情報であるカメラ動き方向情報を記憶し、
前記ガイダンス情報生成部は、
前記方向判定部により、前記カメラ移動方向が前記第２のカメラ移動方向であると判定された場合に、前記第１のカメラ移動方向に前記撮像部が移動されていた時の前記カメラ動き方向情報を前記記憶部から逆時間順に読み出し、読み出された前記カメラ動き方向情報により表される前記カメラ動き方向とは逆の方向に前記撮像部を移動させるように前記ユーザを誘導する情報である軌跡ガイダンス情報を、前記ガイダンス情報として生成することを特徴とする情報処理装置。
【請求項２１】
撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、
画像取得部により連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部として、
コンピュータを機能させ、
前記パノラマ画像生成部は、
第１のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像を撮影した時の前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とするプログラム。
【請求項１】
静止画像を連続して取得する画像取得部と、
撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、
連続して取得された前記静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部と、
を含み、
前記方向判定部は、
前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第１のカメラ移動方向であるか、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定し、
前記パノラマ画像生成部は、
連続して取得された前記静止画像の撮影時における前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする画像処理システム。
【請求項２】
請求項１において、
前記パノラマ画像生成部は、
前回の前記合成処理に用いた前記静止画像に対して、前回の前記静止画像を撮影した時の前記カメラ移動方向に重複領域を持つように、今回の前記静止画像の前記合成処理を行って、前記パノラマ画像を生成することを特徴とする画像処理システム。
【請求項３】
請求項１において、
前記方向判定部は、
動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、
前記パノラマ画像生成部は、
前記カメラ動き方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする画像処理システム。
【請求項４】
請求項３において、
前記パノラマ画像生成部は、
前回の前記合成処理に用いた前記静止画像に対して、前回の前記静止画像を撮影した時の前記カメラ動き方向に重複領域を持つように、今回の前記静止画像の前記合成処理を行って、前記パノラマ画像を生成することを特徴とする画像処理システム。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記方向判定部は、
前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が前記第１のカメラ移動方向であるか、前記第２のカメラ移動方向であるか、若しくは前記第１のカメラ移動方向及び前記第２のカメラ移動方向と異なる方向である第３のカメラ移動方向であるかを判定することを特徴とする画像処理システム。
【請求項６】
請求項５において、
前記撮像部を移動させる方向をユーザに示す情報であるガイダンス情報を生成するガイダンス情報生成部を含むことを特徴とする画像処理システム。
【請求項７】
請求項６において、
前記ガイダンス情報生成部は、
前記方向判定部により、前記カメラ移動方向が前記第３のカメラ移動方向であると判定された場合に、前記第２のカメラ移動方向へ前記撮像部を移動させることを促す情報である移行ガイダンス情報を、前記ガイダンス情報として生成することを特徴とする画像処理システム。
【請求項８】
請求項７において、
前記方向判定部により、前記第１のカメラ移動方向から前記第３のカメラ移動方向へ前記カメラ移動方向が切り替わったと判定された場合に、
前記ガイダンス情報生成部は、
前記第３のカメラ移動方向への前記撮像部のカメラ移動量換算値を取得し、取得した前記カメラ移動量換算値が所定の閾値以上であるか否かを判定し、
前記カメラ移動量換算値が前記所定の閾値以上であると判定した場合に、
前記第２のカメラ移動方向へ前記撮像部を移動させることを促す前記移行ガイダンス情報を生成することを特徴とする画像処理システム。
【請求項９】
請求項６乃至８のいずれかにおいて、
前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を表す情報であるカメラ動き方向情報を記憶する記憶部を含み、
前記方向判定部は、
動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記カメラ動き方向を判定し、
前記ガイダンス情報生成部は、
前記方向判定部により、前記カメラ移動方向が前記第２のカメラ移動方向であると判定された場合に、前記第１のカメラ移動方向に前記撮像部が移動されていた時の前記カメラ動き方向情報を前記記憶部から逆時間順に読み出し、読み出された前記カメラ動き方向情報により表される前記カメラ動き方向とは逆の方向に前記撮像部を移動させるように前記ユーザを誘導する情報である軌跡ガイダンス情報を、前記ガイダンス情報として生成することを特徴とする画像処理システム。
【請求項１０】
請求項９において、
前記ガイダンス情報生成部は、
生成された前記軌跡ガイダンス情報により表される前記撮像部の目標位置を含む誤差許容距離範囲内に前記撮像部が移動されたことを、前記動き情報に基づき判断した場合には、前記撮像部が前記目標位置に到達したと判断し、前記撮像部の次の目標位置を示す前記軌跡ガイダンス情報を提示部に通知することを特徴とする画像処理システム。
【請求項１１】
請求項１０において、
前記ガイダンス情報生成部は、
前記誤差許容距離範囲内に前記撮像部が移動された場合に、前記軌跡ガイダンス情報により表される前記撮像部の前記目標位置と、移動後の前記撮像部の実際の位置との差分情報を算出し、前記差分情報に基づいて、前記撮像部の次の前記目標位置を示す前記軌跡ガイダンス情報を補正することを特徴とする画像処理システム。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記画像取得部は、
動き情報取得部により取得される動き情報に基づいて、前記撮像部が移動される方向を表すベクトルである動きベクトルを求め、前記動きベクトルの水平成分と垂直成分のうち、いずれか一方の成分の絶対値が他方の成分の絶対値よりも、所定の時間連続して大きいと判断した場合には、一方の成分の絶対値が他方の成分の絶対値よりも大きくなり始めたタイミングを、前記パノラマ画像を生成するために用いる前記静止画像の取得開始タイミングとして求めることを特徴とする画像処理システム。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記画像取得部は、
動き情報取得部により取得される動き情報に基づいて、前記撮像部が移動される方向を表すベクトルである動きベクトルを求め、前記動きベクトルの大きさが所定の時間連続して所定の閾値以下であると判断した場合には、前記動きベクトルの大きさが所定の閾値以下となり始めたタイミングを、前記パノラマ画像を生成するために用いる前記静止画像の取得終了タイミングとして求めることを特徴とする画像処理システム。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記画像取得部は、
前記撮像部のシャッタータイミングを制御して、前記静止画像を連続して取得することを特徴とする画像処理システム。
【請求項１５】
撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、
画像取得部により連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部と、
連続して取得された前記静止画像と生成した前記パノラマ画像とを記憶する記憶部と、
を含み、
前記パノラマ画像生成部は、
第１のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像を撮影した時の前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする情報処理装置。
【請求項１６】
請求項１５において、
前記方向判定部は、
動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、
前記記憶部は、
前記カメラ動き方向を表す情報であるカメラ動き方向情報を記憶し、
前記パノラマ画像生成部は、
前記カメラ動き方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする情報処理装置。
【請求項１７】
請求項１５又は１６において、
前記パノラマ画像生成部は、
前記第１のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第１のカメラ移動方向及び前記第２のカメラ移動方向と異なる方向である第３のカメラ移動方向に前記撮像部が移動させられ、前記第３のカメラ移動方向に前記撮像部を移動させられた後に、前記第２のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、
連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像の前記合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とする情報処理装置。
【請求項１８】
請求項１７において、
前記カメラ移動方向に基づいて、前記撮像部を移動させる方向をユーザに示す情報であるガイダンス情報を生成するガイダンス情報生成部を含むことを特徴とする情報処理装置。
【請求項１９】
請求項１８において、
前記ガイダンス情報生成部は、
前記方向判定部により、前記カメラ移動方向が前記第３のカメラ移動方向であると判定された場合に、前記第２のカメラ移動方向へ前記撮像部を移動させることを促す情報である移行ガイダンス情報を、前記ガイダンス情報として生成することを特徴とする情報処理装置。
【請求項２０】
請求項１８又は１９において、
前記方向判定部は、
動き情報取得部により取得される前記撮像部の動き情報に基づいて、前記静止画像の撮像タイミング間において前記撮像部が移動される方向であるカメラ動き方向を判定し、
前記記憶部は、
前記カメラ動き方向を表す情報であるカメラ動き方向情報を記憶し、
前記ガイダンス情報生成部は、
前記方向判定部により、前記カメラ移動方向が前記第２のカメラ移動方向であると判定された場合に、前記第１のカメラ移動方向に前記撮像部が移動されていた時の前記カメラ動き方向情報を前記記憶部から逆時間順に読み出し、読み出された前記カメラ動き方向情報により表される前記カメラ動き方向とは逆の方向に前記撮像部を移動させるように前記ユーザを誘導する情報である軌跡ガイダンス情報を、前記ガイダンス情報として生成することを特徴とする情報処理装置。
【請求項２１】
撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、
画像取得部により連続して取得された静止画像の合成処理を行い、パノラマ画像を生成するパノラマ画像生成部として、
コンピュータを機能させ、
前記パノラマ画像生成部は、
第１のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向に前記撮像部を移動させながら撮影が行われた場合に、連続して取得された前記静止画像を、前記画像取得部から取得し、前記静止画像を撮影した時の前記カメラ移動方向に基づいて、前記静止画像の合成位置を決定し、前記静止画像の前記合成処理を行い、前記パノラマ画像を生成することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−３０８７５（Ｐ２０１３−３０８７５Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６４０６３（Ｐ２０１１−１６４０６３）
【出願日】平成２３年７月２７日（２０１１．７．２７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２７日（２０１１．７．２７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]