画像処理装置および方法、並びにプログラム
【課題】高品質のパノラマ画像を容易に生成できるようにする。
【解決手段】動き補償パラメータ算出部３０３は、撮像方向を順次変化させて撮像を行った撮像装置の相対的な動きを補償するパラメータを算出する。第１接続ライン設定部３０５は隣接する撮像画像の重複領域における撮像方向の変化方向に対する中央位置を第１接続ラインとする。動被写体検出部３０６は重複領域における動被写体を検出して被写体情報を生成する。被写体情報射影部３０７は、被写体情報をスイープ軸に射影する。第２接続ライン設定部３０８は、射影された被写体情報に基づいて第２接続ラインを設定する。
撮像条件検出部３０４は、撮像画像間の２次元の回転を生じる撮像条件を検出する。接続ライン選択部３０９は、検出された撮像条件に応じて、第１接続ラインまたは第２接続ラインを隣接する撮像画像の接続ラインとする。
【解決手段】動き補償パラメータ算出部３０３は、撮像方向を順次変化させて撮像を行った撮像装置の相対的な動きを補償するパラメータを算出する。第１接続ライン設定部３０５は隣接する撮像画像の重複領域における撮像方向の変化方向に対する中央位置を第１接続ラインとする。動被写体検出部３０６は重複領域における動被写体を検出して被写体情報を生成する。被写体情報射影部３０７は、被写体情報をスイープ軸に射影する。第２接続ライン設定部３０８は、射影された被写体情報に基づいて第２接続ラインを設定する。
撮像条件検出部３０４は、撮像画像間の２次元の回転を生じる撮像条件を検出する。接続ライン選択部３０９は、検出された撮像条件に応じて、第１接続ラインまたは第２接続ラインを隣接する撮像画像の接続ラインとする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関する。詳しくは、高品質なパノラマ画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、カメラ一体型デジタルＶＣＲ等で撮像された複数の静止画像を重ね合わせて合成することで、パノラマ画像を生成する技術が知られている（例えば、特許文献１参照）。パノラマ画像は、複数の静止画像を並べて合成することで得られる画像であるので、パノラマ画像によれば、１つの静止画像の撮像時に撮像対象となる空間上の領域よりも、より広い領域を被写体として表示することができる。
【０００３】
また、静止画像の張り合わせを行うときのつなぎ目を決定する方法として、グラフ理論における最短経路問題の解法を利用する方法が提案されている（例えば、非特許文献１参照）。
【０００４】
この方法では、例えば図１に示すように、隣接する２つの静止画像Ｉ(t)と静止画像Ｉ(t+1)の互いに重複する領域内に位置する、つなぎ目ＳＪが決定される。なお、図１において、横方向および縦方向は、それぞれｘ方向およびｙ方向を示しており、静止画像Ｉ(t)および静止画像Ｉ(t+1)は、ｘｙ座標系上に重ねられて並べられている。また、重複する領域の四隅の座標は、「(Ｑx0,Ｑy0)，(Ｑx0,Ｑy1)，(Ｑx1,Ｑy0)，(Ｑx1,Ｑy1)」とする。
【０００５】
図１の例では、静止画像Ｉ(t)と静止画像Ｉ(t+1)との重なる領域において算出されたコスト値から、最小コストとなるつなぎ目ＳＪの算出が行われる。具体的には、静止画像上の動被写体には高いコストが設定され、逆に静止している被写体には低いコストが設定されて２次元のグラフが生成され、最小コストのつなぎ目ＳＪが決定される。したがって、静止画像上の動被写体が分断されないようなつなぎ目ＳＪが得られることになる。
【０００６】
つなぎ目ＳＪが算出されると、静止画像Ｉ(t)の左側の端からつなぎ目ＳＪ近傍の領域までの部分と、静止画像Ｉ(t+1)のつなぎ目ＳＪ近傍の領域から静止画像Ｉ(t+1)の右端までの部分とが合成されて、パノラマ画像とされる。
【０００７】
このようにつなぎ目ＳＪを求めて、各静止画像を合成することで、合成時における画像のつなぎ目が目立たない位置で接続されるため、より高品質なパノラマ画像を得ることができるようになる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００３−１９８９０２号公報
【非特許文献】
【０００９】
【非特許文献１】飯吉建彰，三橋渉著「パノラマ画像作成のための画像モザイク生成方法」画像ラボ２００８年６月号、日本工業出版、２００８年８月５日発行、p.6-11
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、グローバルモーションベクトルで動き補償を行うパノラマ合成処理において、重複領域における撮像方向の変化方向に対する中央位置で接続を行う場合は、スイープ速度が一定とみなせる状況では各画像における接続ラインの位置はほぼ一定となる。これに対し、画像のつなぎ目が動被写体の位置とならないように画像合成を行う場合、動被写体の有無によって接続ラインの位置は画像間で一定とはならない。この性質のため、合成する画像間で回転成分を有している場合、重複領域における撮像方向の変化方向に対する中央位置で接続を行う場合は、回転成分による接続誤差は画像間で一定になるが、画像のつなぎ目が動被写体の位置とならないように画像合成を行う場合は画像間でまちまちとなるため、合成されたパノラマ画像は、つなぎ目の接続誤差による破綻の影響が非常に大きくなる。
【００１１】
そこで、この発明では、高品質のパノラマ画像を容易に生成できる画像処理装置および方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の第１の側面は、撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の前記撮像を行った撮像装置における相対的な動きを補償するパラメータを算出する動き補償パラメータ算出部と、前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における前記撮像方向の変化方向に対する中央位置を第１接続ラインとする第１接続ライン設定部と、前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における撮像画像を用いて動被写体の検出を行い被写体情報を生成する動被写体検出部と、前記重複領域における前記被写体情報を前記撮像方向の変化方向であるスイープ軸に射影する被写体情報射影部と、前記射影された被写体情報に基づいて第２接続ラインの設定を行う第２接続ライン設定部と、前記撮像画像間の２次元の回転を生じる撮像条件について検出を行う撮像条件検出部と、前記検出された撮像条件に応じて、前記第１接続ラインまたは前記第２接続ラインを選択して、選択した接続ラインを前記隣接する撮像画像の接続ラインとする接続ライン選択部とを有する画像処理装置にある。
【００１３】
本発明において、動き補償パラメータ算出部は、撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の撮像を行った撮像装置における相対的な動きを補償するパラメータ、例えばグローバルベクトルを算出する。第１接続ライン設定部は、動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、重複領域における撮像方向の変化方向、すなわちスイープ方向の中央位置を第１接続ラインとする。動被写体検出部は撮像画像が重なる重複領域における撮像画像を用いて動被写体の検出を行い、例えば動き量に応じた評価値を被写体情報とする。被写体情報射影部は、スイープ軸と直交する方向にある撮像画像上の各位置の評価値を積分することで被写体情報をスイープ軸に射影する。第２接続ライン設定部は、射影後の被写体情報すなわち評価値の積分値が最小となる位置を第２接続ラインとする。撮像条件検出部は、撮像画像間の２次元の回転を生じる撮像条件について検出を行う。例えば撮像画像間の２次元の回転角度、または姿勢検出部によってスイープ軸に対して直交する撮像装置の撮像方向の角度を検出する。接続ライン選択部は、回転角度または撮像方向の角度が予め設定されている閾値範囲よりも大きいとき第１接続ラインを選択して、閾値範囲内であるとき第２接続ラインを選択する。さらに、動き補償パラメータを利用して、複数枚の撮像画像を画像射影部によってパノラマ座標系に射影して、この射影された撮像画像の接続を選択された接続ラインの位置で画像合成部によって行う。
【００１４】
本発明の第２の側面は、動き補償パラメータ算出部で、撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の前記撮像を行った撮像装置における相対的な動きを補償するパラメータを算出するステップと、第１接続ライン設定部で、前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における前記撮像方向の変化方向に対する中央位置を第１接続ラインとするステップと、動被写体検出部で、前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における撮像画像を用いて動被写体の検出を行い被写体情報を生成するステップと、被写体情報射影部で、前記重複領域における前記被写体情報を前記撮像方向の変化方向であるスイープ軸に射影するステップと、第２接続ライン設定部で、前記射影された被写体情報に基づいて第２接続ラインの設定を行うステップと、撮像条件検出部で、前記撮像画像間の２次元の回転を生じる撮像条件について検出を行うステップと、接続ライン選択部で、前記検出された撮像条件に応じて、前記第１接続ラインまたは前記第２接続ラインを選択して、選択した接続ラインを前記隣接する撮像画像の接続ラインとするステップとを具備する画像処理方法にある。
【００１５】
本発明の第３の側面は、コンピュータを、撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の前記撮像を行った撮像装置における相対的な動きを補償するパラメータを算出する動き補償パラメータ算出部として動作させる機能手段と、前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における前記撮像方向の変化方向に対する中央位置を第１接続ラインとする第１接続ライン設定部として動作させる機能手段と、前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における撮像画像を用いて動被写体の検出を行い被写体情報を生成する動被写体検出部として動作させる機能手段と、前記重複領域における前記被写体情報を前記撮像方向の変化方向であるスイープ軸に射影する被写体情報射影部として動作させる機能手段と、前記射影された被写体情報に基づいて第２接続ラインの設定を行う第２接続ライン設定部として動作させる機能手段と、前記撮像画像間の２次元の回転を生じる撮像条件について検出を行う撮像条件検出部として動作させる機能手段と、前記検出された撮像条件に応じて、前記第１接続ラインまたは前記第２接続ラインを選択して、選択した接続ラインを前記隣接する撮像画像の接続ラインとする接続ライン選択部として動作させる機能手段として機能させるためのプログラムにある。
【００１６】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【発明の効果】
【００１７】
本発明によれば、撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の撮像を行った撮像装置における相対的な動きを補償するパラメータが算出される。この動き補償パラメータに基づき撮像画像が互いに重なる重複領域を判別して、この重複領域におけるスイープ方向の中央位置が第１接続ライン設定部で信号第１接続ラインと設定される。また、重複領域における撮像画像を用いて動被写体の検出が行われて被写体情報が生成されて、被写体情報が撮像方向の変化方向であるスイープ軸に射影される。この射影された被写体情報に基づいて第２接続ラインが設定される。また、撮像画像間の２次元の回転を生じる撮像条件について検出が行われて、検出された撮像条件に応じて第１接続ラインまたは第２接続ラインが選択されて、選択された接続ラインが隣接する撮像画像の接続ラインとされる。このため、撮像条件に適した接続ラインが選択されて、選択された接続ライン位置で撮像画像を接続することで、高品質のパノラマ画像を容易に生成できる。
【図面の簡単な説明】
【００１８】
【図１】従来のつなぎ目の探索方法を説明する図である。
【図２】本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
【図３】画像処理部の構成例を示す図である。
【図４】パノラマ画像の生成処理を説明するフローチャートである。
【図５】撮像画像の円筒面への射影について説明する図である。
【図６】撮像面と円筒面の関係を説明する図である。
【図７】撮像方向の傾きと撮像画像間の回転角度の関係を説明する図である。
【図８】第１接続ラインの設定について説明する図である。
【図９】動被写体の検出と被写体情報の生成について説明する図である。
【図１０】スイープ軸の各位置の動被写体スコアについて説明する図である。
【図１１】接続ラインの探索について説明する図である。
【図１２】接続ラインの設定順序について説明する図である。
【図１３】選択された接続ラインを例示した図である。
【図１４】撮像画像の接続について説明する図である。
【図１５】パノラマ画像のトリミングについて説明する図である。
【図１６】被写体情報の他の例について説明する図である。
【図１７】被写体情報の他の例について説明する図である。
【図１８】被写体情報の他の例について説明する図である。
【図１９】接続ラインの決定順について説明する図である。
【図２０】接続ラインの決定順について説明する図である。
【図２１】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１９】
以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成
２．撮像装置の動作
３．画像処理部の構成
４．パノラマ画像の生成処理
５．被写体情報の他の例
６．接続ラインの決定順の他の例
７．処理をプログラムにより実行する場合
【００２０】
［１．撮像装置の構成］
図２は、本発明を適用した撮像装置の一実施の形態の構成を示す図である。撮像装置１０は、光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００２１】
光学系は、被写体の光画像を集光するレンズ２１、レンズ２１からの光画像の光量を調整する絞り２２、および集光された光画像を光電変換して電気信号に変換する撮像素子２３から構成される。撮像素子２３は、例えばＣＣＤ（Charge Coupled Devices）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる。
【００２２】
信号処理系は、サンプリング部２４、Ａ／Ｄ（Analog/Digital）変換部２５、および画像処理部３０から構成される。サンプリング部２４は、例えば、相関２重サンプリング部（ＣＤＳ：Correlated Double Sampling）によって実現され、撮像素子２３からの電気信号をサンプリングしてアナログ信号を生成する。これにより、撮像素子２３において発生するノイズが軽減される。サンプリング部２４において得られるアナログ信号は、撮像された被写体の画像を表示させる画像信号である。
【００２３】
Ａ／Ｄ変換部２５は、サンプリング部２４から供給されるアナログ信号をデジタル信号に変換して、画像処理部３０に出力して、画像処理部３０は、Ａ／Ｄ変換部２５から入力されるデジタル信号に所定の画像処理を施す。
【００２４】
また、記録系は、画像信号を符号化または復号する符号化／復号化部４１と、画像信号を記録するメモリ４２とから構成される。符号化／復号化部４１は、画像処理部３０によって処理されたデジタル信号である画像信号を符号化してメモリ４２に記録させたり、メモリ４２から画像信号を読み出して復号し、画像処理部３０に出力したりする。
【００２５】
表示系は、Ｄ／Ａ（Digital/Analog）変換部４３、ビデオエンコーダ４４、および表示部４５から構成される。
【００２６】
Ｄ／Ａ変換部４３は、画像処理部３０によって処理された画像信号をアナログ化してビデオエンコーダ４４に出力して、ビデオエンコーダ４４は、Ｄ／Ａ変換部４３からの画像信号を表示部４５に適合する形式のビデオ信号にエンコードする。表示部４５は、例えば、ＬＣＤ（Liquid Crystal Display）等により実現され、ビデオエンコーダ４４におけるエンコードで得られたビデオ信号に基づいて、ビデオ信号に対応する画像を表示する。また、表示部４５は、被写体の撮像時にはファインダとしても機能する。
【００２７】
制御系は、タイミング生成部４６、操作入力部４７、ドライバ４８、および制御部５０から構成される。また、画像処理部３０、符号化／復号化部４１、メモリ４２、タイミング生成部４６、操作入力部４７、および制御部５０は、バス５１を介して相互に接続されている。
【００２８】
タイミング生成部４６は、撮像素子２３、サンプリング部２４、Ａ／Ｄ変換部２５、および画像処理部３０の動作のタイミングを制御する。操作入力部４７は、ボタンやスイッチなどからなり、ユーザによるシャッタ操作やその他のコマンド入力を受け付けて、ユーザの操作に応じた信号を制御部５０に出力する。
【００２９】
ドライバ４８には所定の周辺機器が接続され、ドライバ４８は接続された周辺機器を駆動する。例えばドライバ４８は、周辺機器として接続された磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記録媒体からデータを読み出して制御部５０に出力する。なお、撮像装置１０に姿勢検出部４９を設けてもよい。姿勢検出部４９は、撮像時における撮像装置１０の姿勢を検出して、検出結果を画像処理部３０に出力する。姿勢検出部４９としては、例えば加速度センサや角速度センサ、傾斜センサ等を用いて撮像装置１０の姿勢を検出する。
【００３０】
制御部５０は、撮像装置１０の全体を制御する。例えば、制御部５０は、ドライバ４８を介して、ドライバ４８に接続されている記録媒体から制御用プログラムを読み出して、制御用プログラムや操作入力部４７からのコマンド等に基づいて、撮像装置１０全体の動作を制御する。
【００３１】
［２．撮像装置の動作］
次に、撮像装置１０の動作について説明する。撮像装置１０では、被写体からの入射光、すなわち被写体の光画像は、レンズ２１および絞り２２を介して撮像素子２３に入射し、撮像素子２３によって光電変換されて電気信号とされる。撮像素子２３で得られた電気信号は、サンプリング部２４によってノイズ成分が除去され、Ａ／Ｄ変換部２５によってデジタル化された後、画像処理部３０が内蔵する図示せぬ画像メモリに一時的に格納される。
【００３２】
なお、通常の状態、つまりシャッタ操作前の状態では、タイミング生成部４６による信号処理系に対するタイミング制御により、画像処理部３０の画像メモリには、一定のフレームレートで、絶えずＡ／Ｄ変換部２５からの画像信号を上書きするようになされている。画像処理部３０の画像メモリ内の画像信号は、Ｄ／Ａ変換部４３によってデジタル信号からアナログ信号に変換され、ビデオエンコーダ４４によってビデオ信号に変換されて、ビデオ信号に対応する画像が表示部４５に表示される。
【００３３】
この場合において、表示部４５は、撮像装置１０のファインダとしての機能も担っており、ユーザは、表示部４５に表示される画像を見ながら構図を定め、操作入力部４７としてのシャッタボタンを押下して、画像の撮像を指示する。シャッタボタンが押下されると、制御部５０は、操作入力部４７からの信号に基づいて、タイミング生成部４６に対し、シャッタボタンが押下された直後の画像信号が保持されるように指示する。これにより、画像処理部３０の画像メモリに画像信号が上書きされないように、信号処理系が制御される。
【００３４】
そして、その後、画像処理部３０の画像メモリに保持されている画像信号が、符号化／復号化部４１によって符号化されてメモリ４２に記録される。以上のような撮像装置１０の動作によって、１枚の画像信号の取り込みが完了する。
【００３５】
［３．画像処理部の構成］
図３は、図２に示す画像処理部３０の構成を示している。画像処理部３０は、撮像画像保持部３０１、円筒射影部３０２、動き補償パラメータ算出部３０３、撮像条件検出部３０４、第１接続ライン設定部３０５、動被写体検出部３０６、被写体情報射影部３０７、第２接続ライン設定部３０８、接続ライン選択部３０９、画像射影部３１０、および画像合成部３１１から構成される。
【００３６】
撮像画像保持部３０１には、撮像装置１０により撮像された被写体の画像（以下、撮像画像と称する）が供給される。撮像画像保持部３０１は、供給された複数の撮像画像を保持する。撮像画像保持部３０１に供給される撮像画像は、撮像装置１０が所定方向に移動（スイープ）している状態で連続して撮像された画像であり、撮像画像の撮像時には、連続して撮像される２つの撮像画像上に同じ被写体が含まれるように、撮像装置１０が移動される。
【００３７】
なお、以下、連続して撮像された撮像画像のうち、ｔ番目に撮像された撮像画像をフレームＦ(t)の撮像画像Ｉ(t)とも称することとする。
【００３８】
円筒射影部３０２は、撮像画像保持部３０１から撮像画像を読み出して、読み出した撮像画像を円筒面に射影する。円筒射影部３０２は、円筒面に射影された撮像画像を、動き補償パラメータ算出部３０３、動被写体検出部３０６および画像射影部３１０に出力する。
【００３９】
動き補償パラメータ算出部３０３は、円筒射影部３０２からの撮像画像に基づいて、撮像画像のフレーム間における、撮像装置１０の動き（移動）を補償する動き補償パラメータを算出する。また、動き補償パラメータ算出部３０３は、算出した動き補償パラメータを、撮像条件検出部３０４、第１接続ライン設定部３０５、動被写体検出部３０６、被写体情報射影部３０７、および画像射影部３１０に出力する。動き補償パラメータは、例えば、複数の撮像画像のそれぞれを、同じ被写体がほぼ重なるように並べた場合における、撮像画像同士の相対的な位置関係を示す情報である。
【００４０】
撮像条件検出部３０４は、動き補償パラメータ算出部３０３から供給された動き補償パラメータを用いて、撮影時の各種条件の検出を行い、検出結果を接続ライン選択部３０９に出力する。撮像条件検出部３０４は、例えば撮像画像間の２次元の回転を生じる撮像条件について検出を行う。
【００４１】
第１接続ライン設定部３０５は、動き補償パラメータ算出部３０３から出力された動き補償パラメータに基づいて、連続するフレームの撮像画像から重複領域を判別する。また、第１接続ライン設定部３０５は、重複領域における撮像方向の変化方向に対する中央位置を第１接続ラインとする。すなわち、第１接続ライン設定部３０５は、重複領域において、撮像装置１０の回転移動方向（スイープ軸の方向）における中点を通り、スイープ軸に対して直交する直線を第１接続ラインとする。第１接続ライン設定部は、設定した第１接続ラインを示す第１接続ライン情報を接続ライン選択部３０９に出力する。なお、スイープ軸とは、撮像画像の撮像時に撮像装置１０を移動させる方向と同じ方向の軸をいい、スイープ軸の方向は予め定められている。また、スイープ軸の方向は、ユーザが操作入力部４７を操作することにより、撮像画像の撮像前または後に、複数の方向のなかから、スイープ軸の方向を選択できるようにしてもよい。また、動き補償パラメータは、撮像装置１０の動き（移動）を補償するためのパラメータであることから、この動き補償パラメータに基づき、スイープ軸の方向を自動的に決定するようにしてもよい。
【００４２】
動被写体検出部３０６は、動き補償パラメータ算出部３０３からの動き補償パラメータと、円筒射影部３０２からの撮像画像とを用いて、隣接する撮像画像が互いに重なる重複領域に対する動被写体の検出を行い被写体情報を生成する。また、動被写体検出部３０６は生成した被写体情報を被写体情報射影部３０７に出力する。動被写体検出部３０６は、例えば被写体情報として動被写体の動き量を示す評価値を生成する。
【００４３】
被写体情報射影部３０７は、動き補償パラメータ算出部３０３からの動き補償パラメータを用いて、動被写体検出部３０６からの被写体情報をスイープ軸に射影して、その射影結果を第２接続ライン設定部３０８に出力する。
【００４４】
第２接続ライン設定部３０８は、被写体情報射影部３０７から供給された、被写体情報の射影結果に基づいて、連続するフレームの撮像画像を互いに接続するときの第２接続ラインを設定する。また、第２接続ライン設定部３０８は、設定した第２接続ラインを示す第２接続ライン情報を接続ライン選択部３０９に出力する。ここで、第２接続ライン設定部３０８は、被写体情報の射影結果に基づいて、接続位置に動被写体が含まれないように第２接続ラインを設定する。
【００４５】
接続ライン選択部３０９は、撮像条件検出部３０４での検出結果に基づき第１接続ラインまたは第２接続ラインを選択する。すなわち、接続ライン選択部３０９は、第１接続ライン設定部３０５で生成された第１接続ライン情報と、第２接続ライン設定部３０８で生成された第２接続ライン情報のいずれかを、撮影条件検出結果に基づき選択して画像合成部３１１に出力する。
【００４６】
画像射影部３１０は、動き補償パラメータ算出部３０３からの動き補償パラメータを用いて、円筒射影部３０２からの撮像画像をパノラマ座標系上に射影し、射影された撮像画像を画像合成部３１１に出力する。ここで、パノラマ座標系は、スイープ軸に垂直な軸と、スイープ軸とを軸とする２次元座標系、つまり所定の平面とされ、パノラマ座標系は予め定められている。
【００４７】
画像合成部３１１は、接続ライン選択部３０９で選択された接続ライン情報が示す接続ラインで、画像射影部３１０から供給された射影後の撮像画像を互いに接続し、１枚のパノラマ画像を生成する。パノラマ画像は、複数の撮像画像の撮像時に撮像対象となった撮像空間上の全領域を被写体とする画像とされる。
【００４８】
［４．パノラマ画像の生成処理］
撮像装置１０は、ユーザが操作入力部４７を操作して、パノラマ画像の生成を指示したとき、撮像画像を撮像してパノラマ画像を生成する処理であるパノラマ画像の生成処理を開始する。以下、図４のフローチャートを参照して、撮像装置１０によるパノラマ画像の生成処理について説明する。
【００４９】
ステップＳＴ１１において、撮像素子２３は、被写体の撮像を行う。撮像素子２３は、撮像装置１０の撮像方向が順次変化されている状態で被写体の撮像を行い、複数枚の撮像画像を生成してステップＳＴ１２に進む。例えば、ユーザは撮像装置１０を所定方向に回動させながら、複数枚の撮像画像を連続して撮像装置１０に撮像させる。
【００５０】
被写体からの光はレンズ２１および絞り２２を介して撮像素子２３に入射するので、撮像素子２３は入射した光を光電変換することにより、撮像画像を撮像する。得られた撮像画像（画像信号）は、撮像素子２３から、サンプリング部２４、Ａ／Ｄ変換部２５、画像処理部３０、符号化／復号化部４１を介してメモリ４２に供給され、記録される。このとき、撮像画像は符号化／復号化部４１により符号化される。また、メモリ４２への記録時において、各撮像画像には撮像順にフレーム番号が付される。
【００５１】
複数の撮像画像がメモリ４２に順次記録されると、それらの撮像画像は、符号化／復号化部４１によりメモリ４２から読み出されて復号され、画像処理部３０の撮像画像保持部３０１に供給されて保持される。
【００５２】
なお、撮像により得られた撮像画像が、メモリ４２に記録されずに、直接、撮像画像保持部３０１に供給されるようにしてもよい。また、撮像画像は、撮像された１つの静止画像であってもよいし、撮影された動画像を構成する１フレーム分の画像であってもよい。
【００５３】
ステップＳＴ１２において、円筒射影部３０２は、撮像画像を円筒面に射影する。円筒射影部３０２は、撮像画像保持部３０１に保持されている撮像画像を順番に読み出して、読み出した撮像画像を、撮像画像の撮像時の焦点距離に基づいて、所定の円筒面に射影する。また、円筒射影部３０２は、射影された撮像画像を動き補償パラメータ算出部３０３、動被写体検出部３０６、および画像射影部３１０に出力してステップＳＴ１３に進む。
【００５４】
図５は、撮像画像の円筒面への射影を説明する図である。例えば、撮像画像の撮像時におけるレンズ２１の焦点距離ＦＤを半径とする円筒の側面を円筒面ＣＳとして、撮像面ＰＳを撮像して得られた撮像画像が、円筒面ＣＳに射影（投影）される。すなわち、撮像面ＰＳの円筒面投影が行われる。図５の例では、円筒面ＣＳは、撮像面ＰＳの中央に接する面とされている。なお、レンズ２１の焦点距離は、撮像画像の撮像時におけるレンズ２１の位置等から得られる。
【００５５】
このように撮像画像を円筒面に射影することで、パノラマ画像の生成時に、接続する撮像画像間の被写体の位置のずれ（誤差）をより小さく抑えることができる。
【００５６】
図６は撮像面と円筒面の関係を示している。図６に示すように、光学中心点Ｃ１１に撮像装置１０の光学中心が位置する状態で、光学中心点Ｃ１１を中心として時計回りの方向に撮像装置１０をスイープ（回動）させながら、ユーザが撮像装置１０で複数の撮像画像の生成を行わせたとする。なお、図６において図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００５７】
図６において、５つの撮像面ＰＳ-0乃至撮像面ＰＳ-4で撮像が行われて、５つの撮像画像が生成される。そして、得られた撮像画像は、それぞれ円筒面ＣＳに射影される。円筒面ＣＳは、光学中心点Ｃ１１を中心とし、焦点距離を半径とする円筒の側面である。
【００５８】
この場合、撮像された撮像画像を、そのまま合成してパノラマ画像を生成することを考える。図６において、互いに隣接する撮像面の端近傍に位置する画像の重複部分は、空間的に円筒面ＣＳの半径方向にずれている。このため、撮像画像同士をそのまま重ねて並べると、被写体の位置にずれが生じて、同じ被写体が重ならなくなり、パノラマ画像の品質が劣化してしまう。
【００５９】
そこで、各撮像画像を円筒面ＣＳに射影してから、射影された撮像画像同士を重ねて合成してパノラマ画像を生成する。このようにパノラマ画像を生成することで、撮像画像を円筒面に射影することなく合成する場合と比べて、撮像画像間の被写体の位置ずれ（誤差）をより小さく抑えることができる。したがって、撮像画像を円筒面ＣＳに射影して、射影後の画像を合成してパノラマ画像を生成すれば、撮像画像間において生じる被写体の位置の誤差が軽減されて、より高品質なパノラマ画像を得ることができる。
【００６０】
図４のステップＳＴ１３において、動き補償パラメータ算出部３０３は、円筒射影部３０２から供給された各撮像画像について、撮像画像の動き補償パラメータを算出する。動き補償パラメータ算出部３０３は、算出した動き補償パラメータを撮像条件検出部３０４、第１接続ライン設定部３０５、動被写体検出部３０６、被写体情報射影部３０７および画像射影部３１０に出力してステップＳＴ１４に進む。
【００６１】
例えば、動き補償パラメータ算出部３０３は、連続する２つのフレームの撮像画像を用いて、特徴点の抽出やブロックマッチングにより、撮像画像のグローバルモーションベクトルを動き補償パラメータとして算出する。
【００６２】
グローバルモーションベクトルとは、撮像画像上の被写体全体のフレーム間の動きを示すグローバルな動きベクトルである。撮像画像上の被写体の多くは、実空間上において動きのない静止物体であるので、グローバルモーションベクトルは、撮像画像上の静止物体のフレーム間の動き、つまり撮像画像の撮像時における撮像装置１０の動きを示すベクトルであるということができる。
【００６３】
なお、動き補償パラメータは、グローバルモーションベクトルに限らず、撮像装置１０の動きを補償可能とするパラメータ例えば平面射影行列やアフィン行列などであってもよい。これらの平面射影行列やアフィン行列も、連続する２つのフレームの撮像画像を用いた、特徴点の抽出やブロックマッチングにより求めることができる。動き補償パラメータとして、グローバルモーションベクトルを採用する場合には、平面射影行列やアフィン行列を採用する場合よりも、より低い計算コストで動き補償パラメータを得ることができる。
【００６４】
ステップＳＴ１４において、撮像条件検出部３０４は、動き補償パラメータ算出部３０３から出力された動き補償パラメータを用いて撮影時の撮像条件の検出を行う。スイープ中に撮像を行って得られた撮像画像は、撮像装置１０の撮像方向がスイープ動作の回転軸と直交する方向に対して傾きを有している場合、撮像画像間で２次元の回転を有するようになる。
【００６５】
図７は、撮像装置１０の撮像方向の傾きと撮像画像間の回転角度の関係を説明する図である。例えば図７の（Ｃ）に示すように、スイープ動作の回転軸ＡＲと撮像方向ＶＰとの角度が９０度である場合、撮像画像間で２次元の回転は生じていない。次に、図７の（Ｂ）に示すように、スイープ動作の回転軸ＡＲに対して撮像方向ＶＰの角度が９０度よりも小さく、撮像方向ＶＰがスイープ動作の回転軸ＡＲと直交する方向に対して仰角θaを有している場合、撮像画像間で２次元の回転角度を生じる。また、図７の（Ａ）に示すように、仰角θaが大きくなると撮像画像間での回転角度が大きくなる。図７の（Ｄ）に示すように、スイープ動作の回転軸ＡＲに対して撮像方向ＶＰの角度が９０度よりも大きく、撮像方向ＶＰがスイープ動作の回転軸ＡＲと直交する方向に対して俯角θbを有している場合、撮像画像間で回転角度を生じる。また、図７の（Ｅ）に示すように、俯角θbが大きくなると画像間での回転角度が大きくなる。なお、俯角θbを有している場合の撮像画像の回転は、仰角θaを有している場合の回転に対して逆方向となる。
【００６６】
このように、撮像画像間で２次元の回転を生じる場合があることから、撮像条件検出部３０４は、撮像画像間の２次元の回転を生じる撮像条件を検出する。具体的には、撮像条件検出部３０４は、動き補償パラメータ算出部３０３で算出された動き補償パラメータ（例えばグローバルモーションベクトル）に基づき、撮像画像間の２次元の回転角度を検出する。さらに、撮像条件検出部は、検出した回転角度を撮像条件として接続ライン選択部３０９に出力する。また、撮像条件検出部３０４は、撮像画像を回転後の位置に幾何変換するアフィン行列を求めて、このアフィン行列から回転角度を得るようにしてもよい。また、撮像画像間の２次元の回転は、スイープ動作の回転軸と直交する方向に対して撮像方向が仰角や俯角を有しているとき生じる。したがって、撮像装置１０に姿勢検出部４９を設けるようにして、この姿勢検出部４９でスイープ動作の回転軸に対する撮像方向の角度を検出して、検出した角度を撮像条件としてもよい。また、撮像画像間の２次元の回転が、スイープ動作の回転軸に対する撮像方向の角度だけでなく、他の撮像条件によって変化する場合、他の撮像条件の検出も行うようにする。
【００６７】
ステップＳＴ１５において、第１接続ライン設定部３０５は、第１接続ラインを設定する。第１接続ライン設定部３０５は、動き補償パラメータ算出部３０３からの動き補償パラメータに基づき、撮像画像が互いに重なる重複領域を判別する。さらに、第１接続ライン設定部３０５は、重複領域におけるスイープ方向の中央位置に、スイープ方向と直交する第１接続ラインを設定して、設定した第１接続ラインを示す第１接続ライン情報を接続ライン選択部３０９に出力してステップＳＴ１６に進む。
【００６８】
図８は、第１接続ラインの設定について説明する図である。第１接続ライン設定部３０５は、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)とを合成するときの第１接続ラインを定めるとき、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)が互いに重なる重複領域に対応するスイープ軸上の位置Ｑx0から位置Ｑx1までの範囲を検出する。ここで、位置Ｑx0は、撮像画像Ｉ(t+1)をスイープ軸に射影したときの撮像画像Ｉ(t+1)の左端の位置であり、位置Ｑx1は、撮像画像Ｉ(t)をスイープ軸に射影したときの撮像画像Ｉ(t)の右端の位置である。
【００６９】
第１接続ライン設定部３０５は、スイープ軸上の位置Ｑx0から位置Ｑx1までの中央の位置ＳＣを、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)を接続する第１接続ラインとする。すなわち、第１接続ライン設定部３０５は、位置Ｑx0から位置ＳＣまでの距離Ｌd0と位置ＳＣから位置Ｑx1の距離Ｌd1が等しくなるように第１接続ラインを設定する。
【００７０】
図４のステップＳＴ１６において、動被写体検出部３０６は動被写体検出を行う。動被写体検出部３０６は、動き補償パラメータ算出部３０３からの動き補償パラメータと、円筒射影部３０２からの撮像画像とを用いて、撮像画像が互いに重なる重複領域における動被写体を検出する。また、動被写体検出部３０６は、検出した動被写体を示す被写体情報を生成して被写体情報射影部３０７に出力してステップＳＴ１７に進む。
【００７１】
例えば、図９に示すように、動被写体検出部３０６は、動き補償パラメータを用いて、連続する２つのフレームＦ(t)の撮像画像Ｉ(t)と、フレームＦ(t+1)の撮像画像Ｉ(t+1)とを、それらの撮像画像上の同じ被写体がほぼ重なるように並べる。
【００７２】
そして、動被写体検出部３０６は、撮像画像Ｉ(t)における、撮像画像Ｉ(t+1)と重なる領域である重複領域ＤＲをいくつかの領域（以下、ブロックと称する）に分割し、ブロックマッチングによりブロックごとに動きベクトルＬＭＶを求める。
【００７３】
すなわち、各ブロックの動きベクトルＬＭＶは、撮像画像Ｉ(t+1)上において、撮像画像Ｉ(t)上の処理対象のブロックとの差分が最も小さい領域を探索することにより、求められる。例えば、ブロックとの差分は、ブロック内の画素の画素値と、その画素に対応する撮像画像Ｉ(t+1)の画素の画素値との差分絶対値和とされる。
【００７４】
図９では、重複領域ＤＲ内の点線で表された１つの正方形が１つのブロックを示しており、各ブロック内の矢印は、それらのブロックの動きベクトルＬＭＶを表している。この動きベクトルＬＭＶは、動き補償パラメータを用いて、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)を並べた状態における、撮像画像の各領域の被写体のフレーム間の動きを示すベクトルである。
【００７５】
次に、動被写体検出部３０６は、求めた各ブロックの動きベクトルＬＭＶを用いて、撮像画像Ｉ(t)全体の動きを示す動きベクトルＧＭＶ（グローバルモーションベクトル）を算出する。例えば、全体の動きベクトルＧＭＶは、各ブロックの動きベクトルＬＭＶの中央値とされる。
【００７６】
なお、動きベクトルＧＭＶは、ロバスト推定により求められてもよいし、求められたブロックの動きベクトルＬＭＶのうち、最も多く検出された方向および大きさの動きベクトルＬＭＶとされてもよい。
【００７７】
このようにして求められた全体の動きベクトルＧＭＶは、撮像画像上の被写体全体の動きを示しているので、この動きベクトルＧＭＶと異なる動きベクトルＬＭＶを有するブロックには、実空間上において動きのある被写体である動被写体が含まれていることになる。
【００７８】
さらに、動被写体検出部３０６は、求めた全体の動きベクトルＧＭＶと、各ブロックの動きベクトルＬＭＶとを用いて、撮像画像Ｉ(t)上の重複領域ＤＲの各位置における、動被写体の有無と、その動きの大きさ（動きの程度）を示す評価値（コスト値）を算出する。
【００７９】
具体的には、動被写体検出部３０６は、図９に示す重複領域ＤＲの例えば左上の頂点を基準とするｘｙ座標系を考え、重複領域ＤＲにおけるｘｙ座標系上の座標が（ｘ，ｙ）である位置の評価値（コスト値）ｃｏｓｔ(x,y)を次式（１）に基づいて算出する。なお、図９では、横方向がｘ方向とされ、縦方向がｙ方向とされている。また、スイープ軸は、ｘ方向とする。
ｃｏｓｔ(x,y)＝｜ＧＭＶ−ＬＭＶ(x,y)｜ ・・・（１）
【００８０】
なお、式（１）において、ＧＭＶは撮像画像Ｉ(t)全体の動きベクトルＧＭＶを示しており、ＬＭＶ(x,y)は座標（ｘ，ｙ）の位置が含まれるブロックの動きベクトルＬＭＶを示している。つまり、各位置の評価値は、全体の動きベクトルＧＭＶと、ブロックの動きベクトルＬＭＶとの差分絶対値とされる。
【００８１】
したがって、重複領域ＤＲ内の位置の評価値が大きいほど、その位置には、より大きく動いている動被写体が表示されていることになる。動被写体検出部３０６は、このようにして求められた評価値を、被写体情報として被写体情報射影部３０７に出力する。
【００８２】
なお、図９では、ブロック単位で動被写体の検出、つまり動きベクトルの検出が行われる例について説明したが、重複領域ＤＲ内の画素ごとに動きベクトルが検出されるようにしてもよい。
【００８３】
また、被写体情報として、動被写体の有無、およびその動被写体の動きの程度を示す評価値を求める例について説明したが、重複領域ＤＲ内の各位置の被写体情報は、その位置に動被写体が含まれているか否かを示す２値の値とされてもよい。
【００８４】
但し、被写体情報を多値の情報とすれば、後述する第２接続ライン設定部３０８において、より被写体の位置ずれの少ない位置を接続ラインとして求めることができるようになる。
【００８５】
すなわち、第２接続ライン設定部３０８は、パノラマ画像を生成するために、連続して撮像された撮像画像同士を接続するときの接続ラインを設定する。このとき、より高品質なパノラマ画像を得るには、動被写体が分断されるような接続ラインが定められることをなるべく避ける必要があるが、動被写体の領域が大きいなどの理由で、どうしても動被写体の位置を接続ラインとしなければならない場合がある。このような場合、被写体情報に、動被写体の動きの程度を示す情報が多値の情報として含まれていれば、最も被写体の動きの小さい位置を接続ラインとして求めることができる。これにより、互いに接続される撮像画像の接続位置近傍における画像のずれ、つまり２つの撮像画像を重ねたときの被写体の位置のずれを最小限にとどめることができ、パノラマ画像の品質の劣化を抑制することができる。
【００８６】
図４のステップＳＴ１７において、被写体情報射影部３０７は、被写体情報を射影する。被写体情報射影部３０７は、動き補償パラメータ算出部３０３からの動き補償パラメータを用いて、動被写体検出部３０６からの被写体情報のスイープ軸への射影を行い、スイープ軸上の位置ごとに評価値の総和を算出して動被写体スコアを生成する。被写体情報射影部３０７は、生成した動被写体スコアを第２接続ライン設定部３０８に出力してステップＳＴ１８に進む。
【００８７】
すなわち、被写体情報射影部３０７は、スイープ軸と垂直な方向にある撮像画像上の各位置の評価値を積分して動被写体スコアとすることにより、評価値のスイープ軸への射影を行う。射影結果としての動被写体スコアは、撮像画像の対応する領域における動被写体の面積（大きさ）に応じて大きくなる。
【００８８】
例えば、図９のようにスイープ軸をｘ方向としていると、スイープ軸の各位置の被写体スコアは、ｘ座標が、そのスイープ軸の位置のｘ座標と同じ値である撮像画像の位置における評価値の総和となる。具体的には、スイープ軸上の所定の位置に対応するｘｙ座標系の値が例えば「ｘ0」であったとする。この場合、重複領域ＤＲ上のｘ座標が「ｘ0」である位置のｃｏｓｔ(x0,y)の総和が、スイープ軸上の所定の位置における動被写体スコアとして求められる。
【００８９】
その結果、例えば図１０に示すように、スイープ軸の各位置における動被写体スコアが得られる。なお、図１０の（Ａ）は、撮像画像Ｉ(t)を示しており、図１０の（Ｂ）は撮像画像Ｉ(t)の動被写体スコアを示している。なお、図１０の（Ｂ）において、横方向はスイープ軸の方向を示しており、縦方向はスイープ軸の各位置における動被写体スコアである。また、スコア線ＭＳは、スイープ軸の各位置における動被写体スコアを示す線である。
【００９０】
撮像画像Ｉ(t)では、撮像画像Ｉ(t)の中央からやや右側に動被写体が含まれているため、その動被写体の部分に対応するスイープ軸の位置では、動被写体スコアが大きくなっている。逆に、動被写体の含まれない部分の評価値は「０」であり、また、隣接する撮像画像と重複しない領域では評価値は求められないので、撮像画像Ｉ(t)の動被写体が存在していない領域に対応するスイープ軸の位置では、動被写体スコアは「０」となっている。
【００９１】
このようにして被写体情報射影部３０７は、全ての撮像画像について、被写体情報としての評価値をスイープ軸に射影し、スイープ軸の各位置の動被写体スコアを求める。なお、被写体情報射影部３０７において、各撮像画像の領域ごとの評価値を、スイープ軸のどの位置に射影させるかは、撮像画像ごとの動き補償パラメータにより知ることができる。
【００９２】
被写体情報をスイープ軸に射影して、スイープ軸の各位置における動被写体スコアを求めることで、接続ラインを定めるのに用いられる２次元の情報を１次元の情報に変換することができる。これにより、接続ラインの決定に必要な情報の量を削減するとともに、その情報の記録のためのメモリ容量を節約することができる。
【００９３】
図４のステップＳＴ１８において、第２接続ライン設定部３０８は、第２接続ラインの設定を行う。第２接続ライン設定部３０８は、被写体情報射影部３０７からの動被写体スコアに基づいて撮像画像を接続するときの第２接続ラインを設定して、この第２接続ラインを示す第２接続ライン情報を接続ライン選択部３０９に出力してステップＳＴ１９に進む。
【００９４】
図１１は、接続ラインの探索について説明する図である。例えば、図１１に示すように、撮像画像Ｉ(t)から、スコア線ＭＳｔにより示される動被写体スコアが得られたとする。なお、図１１の（Ａ）は、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)を示しており、図１１の（Ｂ）は、動被写体スコアを示しており、横方向はスイープ軸の方向、縦方向はスイープ軸の各位置における動被写体スコアの大きさである。
【００９５】
第２接続ライン設定部３０８は、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)とを合成するときの接続ラインを定めるにあたり、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)が互いに重なる重複領域に対応するスイープ軸上の位置Ｑx0から位置Ｑx1までの範囲を探索範囲とする。ここで、位置Ｑx0は、撮像画像Ｉ(t+1)をスイープ軸に射影したときの撮像画像Ｉ(t+1)の左端の位置であり、位置Ｑx1は、撮像画像Ｉ(t)をスイープ軸に射影したときの撮像画像Ｉ(t)の右端の位置である。
【００９６】
第２接続ライン設定部３０８は、スイープ軸上の位置Ｑx0から位置Ｑx1を探索範囲として、探索範囲内において最も動被写体スコアが小さい位置を、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)を接続する第２接続ラインとする。
【００９７】
なお、図１１では、スイープ軸上の探索範囲内の位置ＳＭにおいて、スコア線ＭＳｔにより示される動被写体スコアが最小となっているので、位置ＳＭが第２接続ラインとされる。したがって、第２接続ライン設定部３０８は、スイープ軸の位置が位置ＳＭであって、スイープ軸に対して垂直な直線を第２接続ラインとして設定する。
【００９８】
第２接続ラインは、探索範囲内において最も動被写体スコアが小さい位置ＳＭであるので、スイープ軸の各位置のうちで、最も被写体の動きの小さい位置である。つまり、位置ＳＭは、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)を動き補償パラメータに基づいて、同じ被写体がほぼ重なるように所定面上に並べた場合に、撮像画像のずれ、例えば撮像画像上の被写体の位置ずれや、互いに重なる領域の画素の色誤差などが最も小さい位置である。
【００９９】
このように、第２接続ライン設定部３０８では、動被写体の分断スコアが最小となるスイープ軸の位置の探索という、一次元の探索処理により、簡単かつ迅速に接続ラインを定めることができる。
【０１００】
また、第１接続ライン設定部３０５と第２接続ライン設定部３０８は、上述のような処理を行って、全ての撮像画像について、隣接する撮像画像の第１接続ラインと第２接続ラインを設定する。
【０１０１】
第１接続ライン設定部３０５と第２接続ライン設定部３０８は、例えばフレーム番号の小さい順、つまり撮像時刻の古い順に、撮像画像の第１接続ラインと第２接続ラインを定めていく。図１２は、第１接続ラインと第２接続ラインの設定をフレーム番号の小さい順に行った場合を示している。
【０１０２】
図１２では、３つの連続するフレームＦ(t-1)，フレームＦ(t)，フレームＦ(t+1)の撮像画像Ｉ(t-1)，撮像画像Ｉ(t)，撮像画像Ｉ(t+1)のそれぞれが、動き補償パラメータに基づいて並べられている。撮像画像Ｉ(t-1)，撮像画像Ｉ(t)，撮像画像Ｉ(t+1)のうち、最もフレーム番号が小さいものは撮像画像Ｉ(t-1)である。したがって、第１接続ライン設定部３０５と第２接続ライン設定部３０８は、撮像画像Ｉ(t-1)と撮像画像Ｉ(t)との重複領域に第１接続ラインと第２接続ラインを定める。
【０１０３】
すなわち、図１２の（Ａ）に示すように、第１接続ライン設定部３０５と第２接続ライン設定部３０８は、隣接する撮像画像Ｉ(t-1)と撮像画像Ｉ(t)が重なる、スイープ軸上の位置Ｑx1(t-1,t)〜Ｑx1(t-1,t)までの範囲内に第１接続ラインと第２接続ラインを定める。その結果、位置Ｑx1(t-1,t)と位置Ｑx1(t-1,t)との中央の位置ＳＣ(t-1,t)が第１接続ラインとなる。また、位置Ｑx1(t-1,t)から位置Ｑx1(t-1,t)まで範囲において動被写体スコアが最小となる位置ＳＭ(t-1,t)が第２接続ラインとなる。
【０１０４】
次に、第１接続ライン設定部３０５と第２接続ライン設定部３０８は、図１２の（Ｂ）に示すように撮像画像Ｉ(t)と撮像画像Ｉ(t+1)に対する第１接続ラインと第２接続ラインを定める。第１接続ライン設定部３０５は、上述のように互いに隣接する撮像画像Ｉ(t)と撮像画像Ｉ(t+1)との互いに重なる範囲の中央の位置ＳＣ(t,t+1)が第１接続ラインとされる。
【０１０５】
また、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)が互いに重なる領域の左側の端、つまり撮像画像Ｉ(t+1)の左端の位置は、先に定めた撮像画像Ｉ(t-1)と撮像画像Ｉ(t)の接続ラインの位置ＳＭ(t-1,t)よりも左側に位置している。したがって、第２接続ライン設定部３０８は、位置ＳＭ(t-1,t)よりも左側の領域は、探索範囲から除外して、位置ＳＭ(t-1,t)から撮像画像Ｉ(t)の右端である位置Ｑx1(t,t+1)までの範囲を探索範囲として第２接続ラインを定める。その結果、探索範囲において動被写体スコアが最小となる位置ＳＭ(t,t+1)が第２接続ラインとされる。
【０１０６】
図４のステップＳＴ１９において、接続ライン選択部３０９は、接続ラインの選択を行う。接続ライン選択部３０９は、撮像条件検出部３０４によって検出された撮像条件に基づき、第１接続ライン設定部３０５で生成された第１接続ライン情報または第２接続ライン設定部３０８で生成された第２接続ライン情報のいずれかを選択する。また、接続ライン選択部３０９は、選択した接続ライン情報を画像合成部３１１に出力してステップＳＴ２０に進む。
【０１０７】
撮像画像間で２次元の回転がない場合や回転が小さい場合、第２接続ライン設定部３０８で設定した第２接続ラインで画像の接続を行ってパノラマ画像を生成すると、動被写体でのつなぎ目の破綻が起こらない。このため、第１接続ライン設定部３０５で設定した第１接続ラインで画像の接続を行った場合に比べて、パノラマ画像が良好な結果となる。また、撮像画像間で２次元の回転が大きい場合、回転による誤差が大きくなる。このため、第１接続ライン設定部３０５で設定した第１接続ラインで画像の接続を行うことで、第２接続ライン設定部３０８で設定した第２接続ラインで画像の接続を行った場合よりもパノラマ画像が良好な結果となる。よって、接続ライン選択部３０９は、撮像条件検出部３０４から入力された撮像条件と閾値を比較して、２次元の回転が閾値範囲よりも大きい場合、第１接続ライン情報を選択して画像合成部３１１に出力する。また、２次元の回転が閾値範囲内である場合は第２接続ライン情報を選択して画像合成部３１１に出力する。例えば、接続ライン選択部３０９は、撮像画像間の２次元の回転確度やスイープ動作の回転軸に対する撮像方向の角度が、閾値範囲よりも大きい場合、第１接続ライン情報を選択して画像合成部３１１に出力する。また、接続ライン選択部３０９は、撮像画像間の２次元の回転確度やスイープ動作の回転軸に対する撮像方向の角度が、閾値範囲内である場合は第２接続ライン情報を選択して画像合成部３１１に出力する。
【０１０８】
図１３は、選択された接続ラインを例示した図である。例えば、図１２に示すように、位置ＳＣ(t-1,t)，ＳＣ(t,t+1)は第１接続ライン、位置ＳＭ(t-1,t)，ＳＭ(t,t+1)は第２接続ラインとする。この場合、接続ライン選択部３０９は、撮像画像間で２次元の回転がない場合や回転が小さい場合、図１３の（Ａ）に示す第２接続ラインを示す第２接続ライン情報を画像合成部３１１に出力する。また、接続ライン選択部３０９は、撮像画像間で２次元の回転が大きい場合、図１３の（Ｂ）に示す第１接続ラインを示す第１接続ライン情報を画像合成部３１１に出力する。
【０１０９】
図４のステップＳＴ２０において、画像射影部３１０は、撮像画像をパノラマ座標系に射影する。画像射影部３１０は、動き補償パラメータ算出部３０３からの動き補償パラメータを用いて、円筒射影部３０２からの撮像画像をパノラマ座標系上に射影する。また、画像射影部３１０は、射影された撮像画像を画像合成部３１１に出力してステップＳＴ２１に進む。
【０１１０】
この射影により、撮像画像上の同じ被写体がほぼ重なるように、複数の撮像画像がパノラマ座標系上に並べられることになる。なお、パノラマ座標系は、スイープ方向に垂直な軸と、スイープ軸とを軸とする平面とされる。例えば、スイープ軸が、撮像画像の撮像時における撮像空間の鉛直方向と垂直な方向とされる場合には、スイープ軸に垂直な軸は、鉛直方向とされる。
【０１１１】
ステップＳＴ２１において、画像合成部３１１は、撮像画像を合成してパノラマ画像を生成する。画像合成部３１１は、接続ライン選択部３０９で選択された接続ライン情報で示された接続ラインで、画像射影部３１０から供給されたパノラマ座標系に射影された撮像画像の接続を行い、１枚のパノラマ画像を生成する。また、接続ラインで撮像画像を接続した場合、接続ラインで色の違い等が目立ってしまうおそれがある。したがって、画像合成部３１１は、接続ラインを基準として接続領域を設けて、この接続領域においてブレンディング処理を行い、接続する撮像画像を重み付き加算するようにしてもよい。
【０１１２】
図１４は、撮像画像の接続について説明する図である。図１４は、位置ＳＭ(t-1,t)である第２接続ラインで、撮像画像Ｉ(t-1)と撮像画像Ｉ(t)を接続する場合を示している。なお、図１４において横方向はスイープ方向を示しており、２つの連続するフレームの撮像画像Ｉ(t-1)と撮像画像Ｉ(t)が、パノラマ座標系上に並べられている。また、図１４の（Ａ）は、パノラマ画像に用いられる有効領域を斜線の領域として示している。図１４の（Ｂ）は、撮像画像Ｉ(t-1)に対する重みＷ(t-1)、図１４の（Ｃ）は、撮像画像Ｉ(t)に対する重みＷ(t)を示している。
【０１１３】
例えば、接続領域は、接続ラインの位置ＳＭ(t-1,t)が接続領域の中央位置となるように、位置ＳＬ(t-1,t)から位置ＳＲ(t-1,t)までの範囲とする。このとき、撮像画像Ｉ(t-1)では、位置ＳＲ(t-1,t)までの領域が有効領域Ｒ(t-1)となる。また、撮像画像Ｉ(t)では、位置ＳＬ(t-1,t)からの領域が撮像画像Ｉ(t)の有効領域Ｒ(ｔ)となる。
【０１１４】
重み付けは、接続領域における有効領域の端部側で「０」として他方の端部側で「１」とする。また、図１４の（Ｂ）（Ｃ）では、線ＯＭａ，ＯＭｂによって重み付けが設定される。なお、重み付けは線ＯＭａ，ＯＭｂによって設定する場合に限られるものではない。重み付けは、接続領域の各位置で撮像画像Ｉ(t-1)に対する重み付けと撮像画像Ｉ(t)に対する重み付けの和が「１」であって、有効領域の端部側で「０」となるように順次減少させるように設定する。
【０１１５】
このように接続ラインを基準として接続領域を設定して、接続領域内で撮像画像Ｉ(t-1)と撮像画像Ｉ(t)との合成比率を変化させて、撮像画像Ｉ(t-1)から撮像画像Ｉ(t)への画像の切り換えを順次行う。したがって、より高品質なパノラマ画像を得ることができる。すなわち、接続される２つの有効領域の互いに重なる部分において、被写体の位置にずれがあったり、画素の色が異なったりする場合であっても、重み付き加算によりスムージング効果が得られる。これにより、被写体の一部が欠損したり、パノラマ画像に色のむらが生じたりすることを抑制することができ、より自然なパノラマ画像を得ることができる。
【０１１６】
画像合成部３１１は、このようにして、パノラマ座標系上の互いに隣接する撮像画像の有効領域を接続し、１つのパノラマ画像を生成する。さらに、画像合成部３１１は、トリミングを行い、接続された有効領域からなる１つの画像の一部の領域をパノラマ画像としてもよい。
【０１１７】
図１５は、パノラマ画像のトリミングについて説明する図である。例えば、撮像装置１０をスイープさせて撮像画像を生成すると、撮像装置１０が仰角を生じている場合、図１５の（Ａ）に示すように、連続して撮像された撮像画像Ｉ(0)〜Ｉ(6)は、画像間で２次元の回転を生じて、パノラマ座標系上で上下方向にばらつきを生じる。なお、スイープ軸は、各撮像画像の長手方向となっている。
【０１１８】
そのため、各撮像画像の有効領域を接続して得られる１つの画像は、矩形状とならなくなる。そこで、画像合成部３１１は、図１５の（Ｂ）に示すように、撮像画像Ｉ(0)〜Ｉ(6)の有効領域を接続して得られる画像全体の領域に内接する、最も大きい矩形領域Ｐ11を切り出して、パノラマ画像とする。このとき、矩形領域Ｐ11の長辺は、スイープ軸と平行になるようにされる。このように、トリミングを行うことにより、矩形状のパノラマ画像を得ることができる。
【０１１９】
このようにしてパノラマ画像が生成されると、画像合成部３１１は、生成したパノラマ画像を出力して、撮像装置１０におけるパノラマ画像の生成処理は終了する。
【０１２０】
例えば、画像合成部３１１から出力されたパノラマ画像は、符号化／復号化部４１で符号化されてメモリ４２に記録されたり、Ｄ／Ａ変換部４３およびビデオエンコーダ４４を介して表示部４５に出力されて画像表示が行われる。
【０１２１】
以上のように、撮像装置１０は、撮像画像から異なる複数のアルゴリズムで接続ラインを定める。また、撮像装置１０は、被写体情報をスイープ方向に射影して接続ラインを定める。さらに、撮像装置１０は、撮像条件に応じて、最適なパノラマ画像が得られるように接続ラインを選択して、選択した接続ラインで撮像画像の接続（合成）を行いパノラマ画像を生成する。
【０１２２】
このように、撮像装置１０では、被写体情報をスイープ方向に射影して接続ラインを定めるようにしたので、より低い計算コストで、より高品質なパノラマ画像を得ることができる。
【０１２３】
すなわち、従来の技術では、図１を参照して説明したように、２次元探索により接続ライン（つなぎ目ＳＬ）を定めれば、動被写体がぼけてしまったり、動被写体が分断されてしまったりするという問題を解決して、より高品質なパノラマ画像を得ることができる。しかしながら２次元探索では、計算コストが高く、２次元探索のために必要なメモリの記録容量も多く必要となってしまう。
【０１２４】
これに対して、撮像装置１０では、各領域の被写体情報からなる２次元の情報をスイープ軸という１次元の軸に射影するため、１次元探索により接続ラインを定めることができる。これにより、動被写体のぼけや分断を防止し、より低い計算コストで、より高品質なパノラマ画像を得られるだけでなく、メモリの記録容量も削減することができる。
【０１２５】
また、複数のアルゴリズムで接続ラインが設定されて、撮像条件に応じて最適な接続ラインが選択される。このため、撮像画像間で２次元の回転を生じるような撮像条件で撮像を行っても、撮像条件に応じて最適な接続ラインが選択されるので、つなぎ目の目立たない高品質のパノラマ画像を容易に生成できる。
【０１２６】
さらに、撮像条件に応じて最適な接続ラインが自動的に選択されるので、接続ラインを設定するアルゴリズムを、ユーザーが撮影の前あるいは後に明示的に選択、指示をしなくても高画質なパノラマ画像を高速に得ることができるようになる。このため、ユーザーの利便性を向上させることができる。
【０１２７】
［５．被写体情報の他の例］
なお、以上においては、被写体情報としての評価値は、撮像画像全体の動きベクトルと、ブロックの動きベクトルとの差分絶対値とされると説明したが、被写体情報は、撮像画像上の被写体に関する情報であれば、どのようなものであってもよい。
【０１２８】
例えば、図１６に示す撮像画像Ｉ(t)と撮像画像Ｉ(t+1)との重なる部分の領域である重複領域ＤＲ内の画素について、撮像画像Ｉ(t)の画素の画素値と、その画素と同じ位置にある撮像画像Ｉ(t+1)の画素の画素値との差分絶対値とされてもよい。なお、図１６において、この場合、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)とが動き補償パラメータに基づいて、並べられている。
【０１２９】
動被写体検出部３０６は、撮像画像Ｉ(t)のｘｙ座標系上の位置（ｘ，ｙ）の画素の評価値ｃｏｓｔ(x,y)を、次式（２）により算出する。なお、図１６において、横方向はｘ方向とされ、縦方向はｙ方向とされている。また、重複領域ＤＲの左上の頂点がｘｙ座標系の基準位置とされており、ｘ方向はスイープ軸の方向と同じ方向とされている。
ｃｏｓｔ(x,y)＝｜Ｉt(x,y)−Ｉt+1(x,y)｜ ・・・（２）
【０１３０】
ここで、式（２）において、Ｉt(x,y)およびＩt+1(x,y)は、座標が（ｘ，ｙ）である撮像画像Ｉ(t)および撮像画像Ｉ(t+1)の画素の画素値を示している。
【０１３１】
このような評価値を被写体情報とする場合には、撮像画像上の画素値の差分絶対値が小さい領域では、接続による被写体の位置ずれは小さいと判断されることになる。画素値の差分絶対値を評価値とすれば、動被写体の動きによる位置ずれだけでなく、視差や撮像装置１０の動きに対する動き補償の精度不足による被写体の位置ずれなども、評価値に反映することができるというメリットがある。
【０１３２】
さらに、図１７に示すように、人の顔の検出を利用して、人の顔らしさを指標とする評価値を被写体情報として求めるようにしてもよい。なお、図１７では、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)とが動き補償パラメータに基づいて、並べられている。
【０１３３】
動被写体検出部３０６は、撮像画像Ｉ(t)における、撮像画像Ｉ(t+1)と重なる重複領域を対象として、人の顔を検出する。その結果、撮像画像Ｉ(t)上の人の顔が含まれると推定される所定の大きさの領域（以下、顔領域と称する）と、その顔領域に対する人の顔の領域らしさの度合いを示す得点とが得られる。この得点は、顔領域が人の顔らしいほど高くなる。
【０１３４】
そして、動被写体検出部３０６は、撮像画像Ｉ(t)の重複領域の位置ごとに評価値を求める。すなわち、その位置が顔領域に含まれていれば、顔領域の得点の値がその位置の評価値とされ、その位置が顔領域に含まれていなければ、その位置の評価値は「０」とされる。
【０１３５】
同様の処理を行って、動被写体検出部３０６は、撮像画像Ｉ(t+1)における撮像画像Ｉ(t)と重なる領域を対象として人の顔を検出し、撮像画像Ｉ(t+1)の各位置における評価値を求める。さらに動被写体検出部３０６は、撮像画像Ｉ(t)の重複領域の各位置について求めた評価値に、それらの位置と重なる撮像画像Ｉ(t+1)の位置の評価値を加算して得られた値を、撮像画像Ｉ(t)の重複領域の各位置の最終的な評価値とする。
【０１３６】
図１７の例では、重複領域のほぼ中央に人の顔が含まれているので、重複領域の中央付近の位置の評価値が高くなるはずである。撮像画像には、動被写体として人が含まれることが多いが、人の顔を指標とする評価値を被写体情報とする方法は、撮像画像の接続時において、人の手足や胴体よりも顔の部分が接続ラインにより分断されることを回避したい場合に有効である。
【０１３７】
さらに、図１８に示すように、人検出を利用して、人らしさを指標とする評価値を被写体情報として求めるようにしてもよい。なお、図１８では、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)とが動き補償パラメータに基づいて、並べられている。
【０１３８】
動被写体検出部３０６は、撮像画像Ｉ(t)における、撮像画像Ｉ(t+1)と重なる重複領域を対象として、人を検出する。その結果、撮像画像Ｉ(t)上の人が含まれると推定される所定の大きさの領域（以下、人領域と称する）と、その人領域に対する人の領域らしさの度合いを示す得点とが得られる。この得点は、人領域が人らしいほど高くなる。
【０１３９】
そして、動被写体検出部３０６は、撮像画像Ｉ(t)の重複領域の位置ごとに評価値を求める。すなわち、その位置が人領域に含まれていれば、人領域の得点の値がその位置の評価値とされ、その位置が人領域に含まれていなければ、その位置の評価値は「０」とされる。
【０１４０】
同様の処理を行って、動被写体検出部３０６は、撮像画像Ｉ(t+1)における撮像画像Ｉ(t)と重なる領域を対象として人を検出し、撮像画像Ｉ(t+1)の各位置における評価値を求める。さらに動被写体検出部３０６は、撮像画像Ｉ(t)の重複領域の各位置について求めた評価値に、それらの位置と重なる撮像画像Ｉ(t+1)の位置の評価値を加算して得られた値を、撮像画像Ｉ(t)の重複領域の各位置の最終的な評価値とする。
【０１４１】
図１８の例では、重複領域の中央から右側および左側に、それぞれ人が含まれているので、重複領域の中央からやや右側および左側の位置の評価値が高くなるはずである。このように、人全体を指標とする評価値を被写体情報とする方法は、撮像画像の接続時において、人全体が接続ラインにより分断されることを回避したい場合に有効である。
【０１４２】
また、図９および図１６乃至図１８のそれぞれを参照して説明した評価値のいくつかを組み合わせて、被写体情報とするようにしてもよい。
【０１４３】
例えば、図９を参照して説明した評価値と、図１７を参照して説明した評価値との和を、撮像画像の各位置の評価値（被写体情報）としてもよい。この場合、人の顔の領域に対して、より大きい評価値を設定することができる。
【０１４４】
また、例えば、図９を参照して説明した評価値と、図１７を参照して説明した評価値との和を被写体情報としてもよく、図９、図１７、および図１８を参照して説明した評価値のそれぞれの和を被写体情報としてもよい。これらの場合には、撮像画像上の位置ごとに評価値の和が求められ、求められた和が各位置の被写体情報とされる。
【０１４５】
［６．接続ラインの決定順の他の例］
さらに、以上においては、フレーム番号の小さい順に、撮像画像の接続ラインを定めていくと説明したが、接続ラインを定める順番は、どのような順番であってもよい。すなわち、所定のフレームを基準として、そのフレームの撮像画像から順番に接続ラインを定めていってもよい。
【０１４６】
例えば、図１９の（Ａ）に示すように、撮像画像の撮像対象となる撮像空間上の領域において、動被写体としての人が、左から右方向に移動していたとする。このような状態において、左から右方向をスイープ方向として撮像装置１０が複数の撮像画像を撮像した結果、図１９の（Ｂ）に示すように、撮像画像Ｉ(0)〜Ｉ(6)の７つの撮像画像が得られたとする。
【０１４７】
この例では、撮像画像Ｉ(2)〜Ｉ(4)に、動被写体として同じ人が含まれている。撮像画像の撮像時においては、動被写体としての人は、左から右方向に移動するので、最初に人が含まれるフレームの撮像画像Ｉ(2)では、画像の左端に人が表示されている。また、次に人が含まれる撮像画像Ｉ(3)では、画像の中央に人が表示されており、さらにその次に人が含まれる撮像画像Ｉ(4)では、画像の右側に人が表示されている。
【０１４８】
このような場合、撮像画像Ｉ(0)から撮像画像Ｉ(6)まで順番に接続ラインを定めていってもよい。しかしながら、接続ラインは、動被写体の領域を回避するように定められるため、所定の接続ラインにおける動被写体の領域の回避のしわ寄せが、次の接続ラインの決定に影響を与える場合がある。すなわち、動被写体が含まれるフレームが連続しているようなシーンでは、接続ラインを決定する順番によって、どのようなパノラマ画像が得られるかが異なる場合がある。
【０１４９】
そこで、第２接続ライン設定部３０８において、どのフレームの撮像画像を優先的に扱うかを決定し、決定されたフレームを基準フレームとする。さらに、基準フレームの撮像画像から、撮像画像が撮像された順番であるフレーム番号の昇順および降順のそれぞれの方向に、順次接続ラインが決定されてもよい。
【０１５０】
そのような場合、基準フレームを決定する指標として、例えば動被写体の中央度が考えられる。すなわち、動被写体検出部３０６は、撮像画像Ｉ(0)〜Ｉ(6)について、連続する２つのフレームの撮像画像を用いて、各撮像画像から動被写体を検出する。動被写体の検出は、例えば図９を用いて説明したように、撮像画像の重複領域をブロックに分割し、ブロックごとの動きベクトルと撮像画像全体の動きベクトルとの差分を求めることで行われる。これにより、撮像画像の各領域における動被写体の有無が検出される。例えば、求めた差分の絶対値が所定の閾値以上の領域が動被写体の領域とされる。
【０１５１】
次に、動被写体検出部３０６は、動被写体の検出結果に基づいて、撮像画像ごとに、動被写体の中央度のスコアを求める。例えば、中央度のスコアは、撮像画像における動被写体の位置により定められ、動被写体の位置が撮像画像の中央に近いほど、より中央度のスコアが高くなるようにされる。なお、１つの撮像画像に複数の動被写体が含まれる場合には、それらの動被写体ごとに求められたスコアの総和が最終的な中央度のスコアとされる。
【０１５２】
したがって、より中央に近い位置に動被写体が含まれる撮像画像ほど、中央度のスコアは高くなることになる。また、より多くの動被写体が含まれる撮像画像ほど、中央度のスコアは高くなる。中央度のスコアによれば、複数の撮像画像のうち、動被写体が最も画像上の中央に近い位置にある撮像画像を特定することができる。
【０１５３】
図１９の例では、撮像画像Ｉ(3)の中央度のスコアが最も高くなる。このようにして求められたフレームごとの中央度のスコアは、被写体情報とともに動被写体検出部３０６から被写体情報射影部３０７を介して、第２接続ライン設定部３０８に出力される。
【０１５４】
そして、第２接続ライン設定部３０８では、撮像画像の各フレームのうち、最も中央度のスコアの高いフレームを基準フレームとして、基準フレームの撮像画像から順番に、第２接続ラインが決定される。
【０１５５】
したがって図１９の例では、撮像画像Ｉ(3)のフレームが基準とされて、まず、撮像画像Ｉ(3)，Ｉ(4)との第２接続ラインが定められ、その後、昇順に撮像画像Ｉ(4)，Ｉ(5)との第２接続ライン、撮像画像Ｉ(5)，Ｉ(6)との第２接続ラインが順番に定められる。さらに、その後、基準フレームから降順に、撮像画像Ｉ(3)，Ｉ(2)との第２接続ライン、撮像画像Ｉ(2)，Ｉ(1)との第２接続ライン、および撮像画像Ｉ(1)，Ｉ(0)との第２接続ラインが順番に定められる。
【０１５６】
すると、第２接続ラインを用いてパノラマ画像の生成が行われたとき、図２０の（Ａ）に示すように、動被写体が中央に表示されるパノラマ画像が得られることになる。
【０１５７】
撮像画像の撮像時においては、撮像対象となる全領域の中央付近に人体が位置するように、撮像装置１０がスイープされながら複数の撮像画像が撮像されることが多い。そのため、人体が含まれる連続するフレームのうち、それらのフレームの真ん中付近のフレームにおいて、撮像対象となる全領域の中央付近に人体が存在し、そのフレームでは撮像画像の中央に人体が位置しているはずである。
【０１５８】
したがって、人体が含まれるフレームのうち、撮像画像の中央に人体が位置しているフレームを基準フレームとして、基準フレームから順番に接続ラインを決定する。このようにすれば、図２０の（Ａ）に示すようにほぼ中央に動被写体が表示されるパノラマ画像が得られることになる。
【０１５９】
なお、図１９の（Ｂ）において、左端付近に動被写体がある撮像画像Ｉ(2)のフレームを基準フレームとして、撮像画像Ｉ(2)から順番に第２接続ラインを定めると、図２０の（Ｂ）に示されるように、中央からやや左側に動被写体が表示されるパノラマ画像が得られる。同様に、図１９の（Ｂ）において、右端付近に人体がある撮像画像Ｉ(4)のフレームを基準フレームとして、撮像画像Ｉ(4)から順番に接続ラインを定めると、図２０の（Ｃ）に示すように、中央からやや右側に動被写体が表示されるパノラマ画像が得られる。
【０１６０】
このように、撮像画像における動被写体の位置などを指標として、特定の基準フレームの撮像画像から順番に、第２接続ラインを定めれば、より見映えのよいパノラマ画像を得ることができるようになる。
【０１６１】
［７．処理をプログラムにより実行する場合］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１６２】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１６３】
コンピュータ６０において、ＣＰＵ（Central Processing Unit）６１、ＲＯＭ（Read Only Memory）６２、ＲＡＭ（Random Access Memory）６３は、バス６４により相互に接続されている。
【０１６４】
バス６４には、さらに、入出力インタフェース６５が接続されている。入出力インタフェース６５には、キーボード、マウス、マイクロホンなどよりなる入力部６６、ディスプレイ、スピーカなどよりなる出力部６７、ハードディスクや不揮発性のメモリなどよりなる記録部６８、ネットワークインタフェースなどよりなる通信部６９、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア８０を駆動するドライブ７１が接続されている。
【０１６５】
以上のように構成されるコンピュータでは、ＣＰＵ６１が、例えば、記録部６８に記録されているプログラムを、入出力インタフェース６５およびバス６４を介して、ＲＡＭ６３にロードして実行することにより、上述した一連の処理が行われる。
【０１６６】
コンピュータ（ＣＰＵ６１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ(Compact Disc-Read Only Memory),ＤＶＤ(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア８０に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１６７】
そして、プログラムは、リムーバブルメディア８０をドライブ７１に装着することにより、入出力インタフェース６５を介して、記録部６８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６９で受信し、記録部６８にインストールすることができる。その他、プログラムは、ＲＯＭ６２や記録部６８に、あらかじめインストールしておくことができる。
【０１６８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０１６９】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であり、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【産業上の利用可能性】
【０１７０】
この発明の画像処理装置および方法、並びにプログラムでは、撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の撮像を行った撮像装置における相対的な動きを補償するパラメータが算出される。この動き補償パラメータに基づき撮像画像が互いに重なる重複領域を判別して、この重複領域におけるスイープ方向の中央位置が第１接続ライン設定部で信号第１接続ラインと設定される。また、重複領域における撮像画像を用いて動被写体の検出が行われて被写体情報が生成されて、被写体情報が撮像方向の変化方向であるスイープ軸に射影される。この射影された被写体情報に基づいて第２接続ラインが設定される。さらに、撮像画像間の２次元の回転を生じる撮像条件について検出が行われて、検出された撮像条件に応じて第１接続ラインまたは第２接続ラインが選択されて、選択された接続ラインが隣接する撮像画像の接続ラインとされる。このため、撮像条件に適した接続ラインが選択されて、選択された接続ライン位置で撮像画像を接続することで、高品質のパノラマ画像を容易に生成できるので、デジタルカメラ等の撮像装置や、撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像を処理する画像処理装置に適している。
【符号の説明】
【０１７１】
１０・・・撮像装置、２１・・・レンズ、２２・・・絞り、２３・・・撮像素子、２４・・・サンプリング部、２５・・・Ａ／Ｄ変換部、３０・・・ 画像処理部、４１・・・符号化／復号化部、４２・・・メモリ、４３・・・Ｄ／Ａ変換部、４４・・・ビデオエンコーダ、４５・・・表示部、４６・・・タイミング信号生成部、４７・・・操作入力部、４８・・・ドライバ、５０・・・制御部、５１・・・バス、６０・・・コンピュータ、６１・・・ＣＰＵ、６２・・・ＲＯＭ、６３・・・ＲＡＭ、６４・・・バス、６５・・・入出力インタフェース部、６６・・・入力部、６７・・・出力部、６８・・・記録部、６９・・・通信部、７１・・・ドライブ、８０・・・リムーバブルメディア、３０１・・・撮像画像保持部、３０２・・・円筒射影部、３０３・・・動き補償パラメータ算出部、３０４・・・撮像条件検出部、３０５・・・第１接続ライン設定部、３０６・・・動被写体検出部、３０７・・・被写体情報射影部、３０８・・・第２接続ライン設定部、３０９・・・接続ライン選択部、３１０・・・画像射影部、３１１・・・画像合成部
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関する。詳しくは、高品質なパノラマ画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、カメラ一体型デジタルＶＣＲ等で撮像された複数の静止画像を重ね合わせて合成することで、パノラマ画像を生成する技術が知られている（例えば、特許文献１参照）。パノラマ画像は、複数の静止画像を並べて合成することで得られる画像であるので、パノラマ画像によれば、１つの静止画像の撮像時に撮像対象となる空間上の領域よりも、より広い領域を被写体として表示することができる。
【０００３】
また、静止画像の張り合わせを行うときのつなぎ目を決定する方法として、グラフ理論における最短経路問題の解法を利用する方法が提案されている（例えば、非特許文献１参照）。
【０００４】
この方法では、例えば図１に示すように、隣接する２つの静止画像Ｉ(t)と静止画像Ｉ(t+1)の互いに重複する領域内に位置する、つなぎ目ＳＪが決定される。なお、図１において、横方向および縦方向は、それぞれｘ方向およびｙ方向を示しており、静止画像Ｉ(t)および静止画像Ｉ(t+1)は、ｘｙ座標系上に重ねられて並べられている。また、重複する領域の四隅の座標は、「(Ｑx0,Ｑy0)，(Ｑx0,Ｑy1)，(Ｑx1,Ｑy0)，(Ｑx1,Ｑy1)」とする。
【０００５】
図１の例では、静止画像Ｉ(t)と静止画像Ｉ(t+1)との重なる領域において算出されたコスト値から、最小コストとなるつなぎ目ＳＪの算出が行われる。具体的には、静止画像上の動被写体には高いコストが設定され、逆に静止している被写体には低いコストが設定されて２次元のグラフが生成され、最小コストのつなぎ目ＳＪが決定される。したがって、静止画像上の動被写体が分断されないようなつなぎ目ＳＪが得られることになる。
【０００６】
つなぎ目ＳＪが算出されると、静止画像Ｉ(t)の左側の端からつなぎ目ＳＪ近傍の領域までの部分と、静止画像Ｉ(t+1)のつなぎ目ＳＪ近傍の領域から静止画像Ｉ(t+1)の右端までの部分とが合成されて、パノラマ画像とされる。
【０００７】
このようにつなぎ目ＳＪを求めて、各静止画像を合成することで、合成時における画像のつなぎ目が目立たない位置で接続されるため、より高品質なパノラマ画像を得ることができるようになる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００３−１９８９０２号公報
【非特許文献】
【０００９】
【非特許文献１】飯吉建彰，三橋渉著「パノラマ画像作成のための画像モザイク生成方法」画像ラボ２００８年６月号、日本工業出版、２００８年８月５日発行、p.6-11
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、グローバルモーションベクトルで動き補償を行うパノラマ合成処理において、重複領域における撮像方向の変化方向に対する中央位置で接続を行う場合は、スイープ速度が一定とみなせる状況では各画像における接続ラインの位置はほぼ一定となる。これに対し、画像のつなぎ目が動被写体の位置とならないように画像合成を行う場合、動被写体の有無によって接続ラインの位置は画像間で一定とはならない。この性質のため、合成する画像間で回転成分を有している場合、重複領域における撮像方向の変化方向に対する中央位置で接続を行う場合は、回転成分による接続誤差は画像間で一定になるが、画像のつなぎ目が動被写体の位置とならないように画像合成を行う場合は画像間でまちまちとなるため、合成されたパノラマ画像は、つなぎ目の接続誤差による破綻の影響が非常に大きくなる。
【００１１】
そこで、この発明では、高品質のパノラマ画像を容易に生成できる画像処理装置および方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の第１の側面は、撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の前記撮像を行った撮像装置における相対的な動きを補償するパラメータを算出する動き補償パラメータ算出部と、前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における前記撮像方向の変化方向に対する中央位置を第１接続ラインとする第１接続ライン設定部と、前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における撮像画像を用いて動被写体の検出を行い被写体情報を生成する動被写体検出部と、前記重複領域における前記被写体情報を前記撮像方向の変化方向であるスイープ軸に射影する被写体情報射影部と、前記射影された被写体情報に基づいて第２接続ラインの設定を行う第２接続ライン設定部と、前記撮像画像間の２次元の回転を生じる撮像条件について検出を行う撮像条件検出部と、前記検出された撮像条件に応じて、前記第１接続ラインまたは前記第２接続ラインを選択して、選択した接続ラインを前記隣接する撮像画像の接続ラインとする接続ライン選択部とを有する画像処理装置にある。
【００１３】
本発明において、動き補償パラメータ算出部は、撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の撮像を行った撮像装置における相対的な動きを補償するパラメータ、例えばグローバルベクトルを算出する。第１接続ライン設定部は、動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、重複領域における撮像方向の変化方向、すなわちスイープ方向の中央位置を第１接続ラインとする。動被写体検出部は撮像画像が重なる重複領域における撮像画像を用いて動被写体の検出を行い、例えば動き量に応じた評価値を被写体情報とする。被写体情報射影部は、スイープ軸と直交する方向にある撮像画像上の各位置の評価値を積分することで被写体情報をスイープ軸に射影する。第２接続ライン設定部は、射影後の被写体情報すなわち評価値の積分値が最小となる位置を第２接続ラインとする。撮像条件検出部は、撮像画像間の２次元の回転を生じる撮像条件について検出を行う。例えば撮像画像間の２次元の回転角度、または姿勢検出部によってスイープ軸に対して直交する撮像装置の撮像方向の角度を検出する。接続ライン選択部は、回転角度または撮像方向の角度が予め設定されている閾値範囲よりも大きいとき第１接続ラインを選択して、閾値範囲内であるとき第２接続ラインを選択する。さらに、動き補償パラメータを利用して、複数枚の撮像画像を画像射影部によってパノラマ座標系に射影して、この射影された撮像画像の接続を選択された接続ラインの位置で画像合成部によって行う。
【００１４】
本発明の第２の側面は、動き補償パラメータ算出部で、撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の前記撮像を行った撮像装置における相対的な動きを補償するパラメータを算出するステップと、第１接続ライン設定部で、前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における前記撮像方向の変化方向に対する中央位置を第１接続ラインとするステップと、動被写体検出部で、前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における撮像画像を用いて動被写体の検出を行い被写体情報を生成するステップと、被写体情報射影部で、前記重複領域における前記被写体情報を前記撮像方向の変化方向であるスイープ軸に射影するステップと、第２接続ライン設定部で、前記射影された被写体情報に基づいて第２接続ラインの設定を行うステップと、撮像条件検出部で、前記撮像画像間の２次元の回転を生じる撮像条件について検出を行うステップと、接続ライン選択部で、前記検出された撮像条件に応じて、前記第１接続ラインまたは前記第２接続ラインを選択して、選択した接続ラインを前記隣接する撮像画像の接続ラインとするステップとを具備する画像処理方法にある。
【００１５】
本発明の第３の側面は、コンピュータを、撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の前記撮像を行った撮像装置における相対的な動きを補償するパラメータを算出する動き補償パラメータ算出部として動作させる機能手段と、前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における前記撮像方向の変化方向に対する中央位置を第１接続ラインとする第１接続ライン設定部として動作させる機能手段と、前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における撮像画像を用いて動被写体の検出を行い被写体情報を生成する動被写体検出部として動作させる機能手段と、前記重複領域における前記被写体情報を前記撮像方向の変化方向であるスイープ軸に射影する被写体情報射影部として動作させる機能手段と、前記射影された被写体情報に基づいて第２接続ラインの設定を行う第２接続ライン設定部として動作させる機能手段と、前記撮像画像間の２次元の回転を生じる撮像条件について検出を行う撮像条件検出部として動作させる機能手段と、前記検出された撮像条件に応じて、前記第１接続ラインまたは前記第２接続ラインを選択して、選択した接続ラインを前記隣接する撮像画像の接続ラインとする接続ライン選択部として動作させる機能手段として機能させるためのプログラムにある。
【００１６】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【発明の効果】
【００１７】
本発明によれば、撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の撮像を行った撮像装置における相対的な動きを補償するパラメータが算出される。この動き補償パラメータに基づき撮像画像が互いに重なる重複領域を判別して、この重複領域におけるスイープ方向の中央位置が第１接続ライン設定部で信号第１接続ラインと設定される。また、重複領域における撮像画像を用いて動被写体の検出が行われて被写体情報が生成されて、被写体情報が撮像方向の変化方向であるスイープ軸に射影される。この射影された被写体情報に基づいて第２接続ラインが設定される。また、撮像画像間の２次元の回転を生じる撮像条件について検出が行われて、検出された撮像条件に応じて第１接続ラインまたは第２接続ラインが選択されて、選択された接続ラインが隣接する撮像画像の接続ラインとされる。このため、撮像条件に適した接続ラインが選択されて、選択された接続ライン位置で撮像画像を接続することで、高品質のパノラマ画像を容易に生成できる。
【図面の簡単な説明】
【００１８】
【図１】従来のつなぎ目の探索方法を説明する図である。
【図２】本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
【図３】画像処理部の構成例を示す図である。
【図４】パノラマ画像の生成処理を説明するフローチャートである。
【図５】撮像画像の円筒面への射影について説明する図である。
【図６】撮像面と円筒面の関係を説明する図である。
【図７】撮像方向の傾きと撮像画像間の回転角度の関係を説明する図である。
【図８】第１接続ラインの設定について説明する図である。
【図９】動被写体の検出と被写体情報の生成について説明する図である。
【図１０】スイープ軸の各位置の動被写体スコアについて説明する図である。
【図１１】接続ラインの探索について説明する図である。
【図１２】接続ラインの設定順序について説明する図である。
【図１３】選択された接続ラインを例示した図である。
【図１４】撮像画像の接続について説明する図である。
【図１５】パノラマ画像のトリミングについて説明する図である。
【図１６】被写体情報の他の例について説明する図である。
【図１７】被写体情報の他の例について説明する図である。
【図１８】被写体情報の他の例について説明する図である。
【図１９】接続ラインの決定順について説明する図である。
【図２０】接続ラインの決定順について説明する図である。
【図２１】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１９】
以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成
２．撮像装置の動作
３．画像処理部の構成
４．パノラマ画像の生成処理
５．被写体情報の他の例
６．接続ラインの決定順の他の例
７．処理をプログラムにより実行する場合
【００２０】
［１．撮像装置の構成］
図２は、本発明を適用した撮像装置の一実施の形態の構成を示す図である。撮像装置１０は、光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００２１】
光学系は、被写体の光画像を集光するレンズ２１、レンズ２１からの光画像の光量を調整する絞り２２、および集光された光画像を光電変換して電気信号に変換する撮像素子２３から構成される。撮像素子２３は、例えばＣＣＤ（Charge Coupled Devices）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる。
【００２２】
信号処理系は、サンプリング部２４、Ａ／Ｄ（Analog/Digital）変換部２５、および画像処理部３０から構成される。サンプリング部２４は、例えば、相関２重サンプリング部（ＣＤＳ：Correlated Double Sampling）によって実現され、撮像素子２３からの電気信号をサンプリングしてアナログ信号を生成する。これにより、撮像素子２３において発生するノイズが軽減される。サンプリング部２４において得られるアナログ信号は、撮像された被写体の画像を表示させる画像信号である。
【００２３】
Ａ／Ｄ変換部２５は、サンプリング部２４から供給されるアナログ信号をデジタル信号に変換して、画像処理部３０に出力して、画像処理部３０は、Ａ／Ｄ変換部２５から入力されるデジタル信号に所定の画像処理を施す。
【００２４】
また、記録系は、画像信号を符号化または復号する符号化／復号化部４１と、画像信号を記録するメモリ４２とから構成される。符号化／復号化部４１は、画像処理部３０によって処理されたデジタル信号である画像信号を符号化してメモリ４２に記録させたり、メモリ４２から画像信号を読み出して復号し、画像処理部３０に出力したりする。
【００２５】
表示系は、Ｄ／Ａ（Digital/Analog）変換部４３、ビデオエンコーダ４４、および表示部４５から構成される。
【００２６】
Ｄ／Ａ変換部４３は、画像処理部３０によって処理された画像信号をアナログ化してビデオエンコーダ４４に出力して、ビデオエンコーダ４４は、Ｄ／Ａ変換部４３からの画像信号を表示部４５に適合する形式のビデオ信号にエンコードする。表示部４５は、例えば、ＬＣＤ（Liquid Crystal Display）等により実現され、ビデオエンコーダ４４におけるエンコードで得られたビデオ信号に基づいて、ビデオ信号に対応する画像を表示する。また、表示部４５は、被写体の撮像時にはファインダとしても機能する。
【００２７】
制御系は、タイミング生成部４６、操作入力部４７、ドライバ４８、および制御部５０から構成される。また、画像処理部３０、符号化／復号化部４１、メモリ４２、タイミング生成部４６、操作入力部４７、および制御部５０は、バス５１を介して相互に接続されている。
【００２８】
タイミング生成部４６は、撮像素子２３、サンプリング部２４、Ａ／Ｄ変換部２５、および画像処理部３０の動作のタイミングを制御する。操作入力部４７は、ボタンやスイッチなどからなり、ユーザによるシャッタ操作やその他のコマンド入力を受け付けて、ユーザの操作に応じた信号を制御部５０に出力する。
【００２９】
ドライバ４８には所定の周辺機器が接続され、ドライバ４８は接続された周辺機器を駆動する。例えばドライバ４８は、周辺機器として接続された磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記録媒体からデータを読み出して制御部５０に出力する。なお、撮像装置１０に姿勢検出部４９を設けてもよい。姿勢検出部４９は、撮像時における撮像装置１０の姿勢を検出して、検出結果を画像処理部３０に出力する。姿勢検出部４９としては、例えば加速度センサや角速度センサ、傾斜センサ等を用いて撮像装置１０の姿勢を検出する。
【００３０】
制御部５０は、撮像装置１０の全体を制御する。例えば、制御部５０は、ドライバ４８を介して、ドライバ４８に接続されている記録媒体から制御用プログラムを読み出して、制御用プログラムや操作入力部４７からのコマンド等に基づいて、撮像装置１０全体の動作を制御する。
【００３１】
［２．撮像装置の動作］
次に、撮像装置１０の動作について説明する。撮像装置１０では、被写体からの入射光、すなわち被写体の光画像は、レンズ２１および絞り２２を介して撮像素子２３に入射し、撮像素子２３によって光電変換されて電気信号とされる。撮像素子２３で得られた電気信号は、サンプリング部２４によってノイズ成分が除去され、Ａ／Ｄ変換部２５によってデジタル化された後、画像処理部３０が内蔵する図示せぬ画像メモリに一時的に格納される。
【００３２】
なお、通常の状態、つまりシャッタ操作前の状態では、タイミング生成部４６による信号処理系に対するタイミング制御により、画像処理部３０の画像メモリには、一定のフレームレートで、絶えずＡ／Ｄ変換部２５からの画像信号を上書きするようになされている。画像処理部３０の画像メモリ内の画像信号は、Ｄ／Ａ変換部４３によってデジタル信号からアナログ信号に変換され、ビデオエンコーダ４４によってビデオ信号に変換されて、ビデオ信号に対応する画像が表示部４５に表示される。
【００３３】
この場合において、表示部４５は、撮像装置１０のファインダとしての機能も担っており、ユーザは、表示部４５に表示される画像を見ながら構図を定め、操作入力部４７としてのシャッタボタンを押下して、画像の撮像を指示する。シャッタボタンが押下されると、制御部５０は、操作入力部４７からの信号に基づいて、タイミング生成部４６に対し、シャッタボタンが押下された直後の画像信号が保持されるように指示する。これにより、画像処理部３０の画像メモリに画像信号が上書きされないように、信号処理系が制御される。
【００３４】
そして、その後、画像処理部３０の画像メモリに保持されている画像信号が、符号化／復号化部４１によって符号化されてメモリ４２に記録される。以上のような撮像装置１０の動作によって、１枚の画像信号の取り込みが完了する。
【００３５】
［３．画像処理部の構成］
図３は、図２に示す画像処理部３０の構成を示している。画像処理部３０は、撮像画像保持部３０１、円筒射影部３０２、動き補償パラメータ算出部３０３、撮像条件検出部３０４、第１接続ライン設定部３０５、動被写体検出部３０６、被写体情報射影部３０７、第２接続ライン設定部３０８、接続ライン選択部３０９、画像射影部３１０、および画像合成部３１１から構成される。
【００３６】
撮像画像保持部３０１には、撮像装置１０により撮像された被写体の画像（以下、撮像画像と称する）が供給される。撮像画像保持部３０１は、供給された複数の撮像画像を保持する。撮像画像保持部３０１に供給される撮像画像は、撮像装置１０が所定方向に移動（スイープ）している状態で連続して撮像された画像であり、撮像画像の撮像時には、連続して撮像される２つの撮像画像上に同じ被写体が含まれるように、撮像装置１０が移動される。
【００３７】
なお、以下、連続して撮像された撮像画像のうち、ｔ番目に撮像された撮像画像をフレームＦ(t)の撮像画像Ｉ(t)とも称することとする。
【００３８】
円筒射影部３０２は、撮像画像保持部３０１から撮像画像を読み出して、読み出した撮像画像を円筒面に射影する。円筒射影部３０２は、円筒面に射影された撮像画像を、動き補償パラメータ算出部３０３、動被写体検出部３０６および画像射影部３１０に出力する。
【００３９】
動き補償パラメータ算出部３０３は、円筒射影部３０２からの撮像画像に基づいて、撮像画像のフレーム間における、撮像装置１０の動き（移動）を補償する動き補償パラメータを算出する。また、動き補償パラメータ算出部３０３は、算出した動き補償パラメータを、撮像条件検出部３０４、第１接続ライン設定部３０５、動被写体検出部３０６、被写体情報射影部３０７、および画像射影部３１０に出力する。動き補償パラメータは、例えば、複数の撮像画像のそれぞれを、同じ被写体がほぼ重なるように並べた場合における、撮像画像同士の相対的な位置関係を示す情報である。
【００４０】
撮像条件検出部３０４は、動き補償パラメータ算出部３０３から供給された動き補償パラメータを用いて、撮影時の各種条件の検出を行い、検出結果を接続ライン選択部３０９に出力する。撮像条件検出部３０４は、例えば撮像画像間の２次元の回転を生じる撮像条件について検出を行う。
【００４１】
第１接続ライン設定部３０５は、動き補償パラメータ算出部３０３から出力された動き補償パラメータに基づいて、連続するフレームの撮像画像から重複領域を判別する。また、第１接続ライン設定部３０５は、重複領域における撮像方向の変化方向に対する中央位置を第１接続ラインとする。すなわち、第１接続ライン設定部３０５は、重複領域において、撮像装置１０の回転移動方向（スイープ軸の方向）における中点を通り、スイープ軸に対して直交する直線を第１接続ラインとする。第１接続ライン設定部は、設定した第１接続ラインを示す第１接続ライン情報を接続ライン選択部３０９に出力する。なお、スイープ軸とは、撮像画像の撮像時に撮像装置１０を移動させる方向と同じ方向の軸をいい、スイープ軸の方向は予め定められている。また、スイープ軸の方向は、ユーザが操作入力部４７を操作することにより、撮像画像の撮像前または後に、複数の方向のなかから、スイープ軸の方向を選択できるようにしてもよい。また、動き補償パラメータは、撮像装置１０の動き（移動）を補償するためのパラメータであることから、この動き補償パラメータに基づき、スイープ軸の方向を自動的に決定するようにしてもよい。
【００４２】
動被写体検出部３０６は、動き補償パラメータ算出部３０３からの動き補償パラメータと、円筒射影部３０２からの撮像画像とを用いて、隣接する撮像画像が互いに重なる重複領域に対する動被写体の検出を行い被写体情報を生成する。また、動被写体検出部３０６は生成した被写体情報を被写体情報射影部３０７に出力する。動被写体検出部３０６は、例えば被写体情報として動被写体の動き量を示す評価値を生成する。
【００４３】
被写体情報射影部３０７は、動き補償パラメータ算出部３０３からの動き補償パラメータを用いて、動被写体検出部３０６からの被写体情報をスイープ軸に射影して、その射影結果を第２接続ライン設定部３０８に出力する。
【００４４】
第２接続ライン設定部３０８は、被写体情報射影部３０７から供給された、被写体情報の射影結果に基づいて、連続するフレームの撮像画像を互いに接続するときの第２接続ラインを設定する。また、第２接続ライン設定部３０８は、設定した第２接続ラインを示す第２接続ライン情報を接続ライン選択部３０９に出力する。ここで、第２接続ライン設定部３０８は、被写体情報の射影結果に基づいて、接続位置に動被写体が含まれないように第２接続ラインを設定する。
【００４５】
接続ライン選択部３０９は、撮像条件検出部３０４での検出結果に基づき第１接続ラインまたは第２接続ラインを選択する。すなわち、接続ライン選択部３０９は、第１接続ライン設定部３０５で生成された第１接続ライン情報と、第２接続ライン設定部３０８で生成された第２接続ライン情報のいずれかを、撮影条件検出結果に基づき選択して画像合成部３１１に出力する。
【００４６】
画像射影部３１０は、動き補償パラメータ算出部３０３からの動き補償パラメータを用いて、円筒射影部３０２からの撮像画像をパノラマ座標系上に射影し、射影された撮像画像を画像合成部３１１に出力する。ここで、パノラマ座標系は、スイープ軸に垂直な軸と、スイープ軸とを軸とする２次元座標系、つまり所定の平面とされ、パノラマ座標系は予め定められている。
【００４７】
画像合成部３１１は、接続ライン選択部３０９で選択された接続ライン情報が示す接続ラインで、画像射影部３１０から供給された射影後の撮像画像を互いに接続し、１枚のパノラマ画像を生成する。パノラマ画像は、複数の撮像画像の撮像時に撮像対象となった撮像空間上の全領域を被写体とする画像とされる。
【００４８】
［４．パノラマ画像の生成処理］
撮像装置１０は、ユーザが操作入力部４７を操作して、パノラマ画像の生成を指示したとき、撮像画像を撮像してパノラマ画像を生成する処理であるパノラマ画像の生成処理を開始する。以下、図４のフローチャートを参照して、撮像装置１０によるパノラマ画像の生成処理について説明する。
【００４９】
ステップＳＴ１１において、撮像素子２３は、被写体の撮像を行う。撮像素子２３は、撮像装置１０の撮像方向が順次変化されている状態で被写体の撮像を行い、複数枚の撮像画像を生成してステップＳＴ１２に進む。例えば、ユーザは撮像装置１０を所定方向に回動させながら、複数枚の撮像画像を連続して撮像装置１０に撮像させる。
【００５０】
被写体からの光はレンズ２１および絞り２２を介して撮像素子２３に入射するので、撮像素子２３は入射した光を光電変換することにより、撮像画像を撮像する。得られた撮像画像（画像信号）は、撮像素子２３から、サンプリング部２４、Ａ／Ｄ変換部２５、画像処理部３０、符号化／復号化部４１を介してメモリ４２に供給され、記録される。このとき、撮像画像は符号化／復号化部４１により符号化される。また、メモリ４２への記録時において、各撮像画像には撮像順にフレーム番号が付される。
【００５１】
複数の撮像画像がメモリ４２に順次記録されると、それらの撮像画像は、符号化／復号化部４１によりメモリ４２から読み出されて復号され、画像処理部３０の撮像画像保持部３０１に供給されて保持される。
【００５２】
なお、撮像により得られた撮像画像が、メモリ４２に記録されずに、直接、撮像画像保持部３０１に供給されるようにしてもよい。また、撮像画像は、撮像された１つの静止画像であってもよいし、撮影された動画像を構成する１フレーム分の画像であってもよい。
【００５３】
ステップＳＴ１２において、円筒射影部３０２は、撮像画像を円筒面に射影する。円筒射影部３０２は、撮像画像保持部３０１に保持されている撮像画像を順番に読み出して、読み出した撮像画像を、撮像画像の撮像時の焦点距離に基づいて、所定の円筒面に射影する。また、円筒射影部３０２は、射影された撮像画像を動き補償パラメータ算出部３０３、動被写体検出部３０６、および画像射影部３１０に出力してステップＳＴ１３に進む。
【００５４】
図５は、撮像画像の円筒面への射影を説明する図である。例えば、撮像画像の撮像時におけるレンズ２１の焦点距離ＦＤを半径とする円筒の側面を円筒面ＣＳとして、撮像面ＰＳを撮像して得られた撮像画像が、円筒面ＣＳに射影（投影）される。すなわち、撮像面ＰＳの円筒面投影が行われる。図５の例では、円筒面ＣＳは、撮像面ＰＳの中央に接する面とされている。なお、レンズ２１の焦点距離は、撮像画像の撮像時におけるレンズ２１の位置等から得られる。
【００５５】
このように撮像画像を円筒面に射影することで、パノラマ画像の生成時に、接続する撮像画像間の被写体の位置のずれ（誤差）をより小さく抑えることができる。
【００５６】
図６は撮像面と円筒面の関係を示している。図６に示すように、光学中心点Ｃ１１に撮像装置１０の光学中心が位置する状態で、光学中心点Ｃ１１を中心として時計回りの方向に撮像装置１０をスイープ（回動）させながら、ユーザが撮像装置１０で複数の撮像画像の生成を行わせたとする。なお、図６において図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００５７】
図６において、５つの撮像面ＰＳ-0乃至撮像面ＰＳ-4で撮像が行われて、５つの撮像画像が生成される。そして、得られた撮像画像は、それぞれ円筒面ＣＳに射影される。円筒面ＣＳは、光学中心点Ｃ１１を中心とし、焦点距離を半径とする円筒の側面である。
【００５８】
この場合、撮像された撮像画像を、そのまま合成してパノラマ画像を生成することを考える。図６において、互いに隣接する撮像面の端近傍に位置する画像の重複部分は、空間的に円筒面ＣＳの半径方向にずれている。このため、撮像画像同士をそのまま重ねて並べると、被写体の位置にずれが生じて、同じ被写体が重ならなくなり、パノラマ画像の品質が劣化してしまう。
【００５９】
そこで、各撮像画像を円筒面ＣＳに射影してから、射影された撮像画像同士を重ねて合成してパノラマ画像を生成する。このようにパノラマ画像を生成することで、撮像画像を円筒面に射影することなく合成する場合と比べて、撮像画像間の被写体の位置ずれ（誤差）をより小さく抑えることができる。したがって、撮像画像を円筒面ＣＳに射影して、射影後の画像を合成してパノラマ画像を生成すれば、撮像画像間において生じる被写体の位置の誤差が軽減されて、より高品質なパノラマ画像を得ることができる。
【００６０】
図４のステップＳＴ１３において、動き補償パラメータ算出部３０３は、円筒射影部３０２から供給された各撮像画像について、撮像画像の動き補償パラメータを算出する。動き補償パラメータ算出部３０３は、算出した動き補償パラメータを撮像条件検出部３０４、第１接続ライン設定部３０５、動被写体検出部３０６、被写体情報射影部３０７および画像射影部３１０に出力してステップＳＴ１４に進む。
【００６１】
例えば、動き補償パラメータ算出部３０３は、連続する２つのフレームの撮像画像を用いて、特徴点の抽出やブロックマッチングにより、撮像画像のグローバルモーションベクトルを動き補償パラメータとして算出する。
【００６２】
グローバルモーションベクトルとは、撮像画像上の被写体全体のフレーム間の動きを示すグローバルな動きベクトルである。撮像画像上の被写体の多くは、実空間上において動きのない静止物体であるので、グローバルモーションベクトルは、撮像画像上の静止物体のフレーム間の動き、つまり撮像画像の撮像時における撮像装置１０の動きを示すベクトルであるということができる。
【００６３】
なお、動き補償パラメータは、グローバルモーションベクトルに限らず、撮像装置１０の動きを補償可能とするパラメータ例えば平面射影行列やアフィン行列などであってもよい。これらの平面射影行列やアフィン行列も、連続する２つのフレームの撮像画像を用いた、特徴点の抽出やブロックマッチングにより求めることができる。動き補償パラメータとして、グローバルモーションベクトルを採用する場合には、平面射影行列やアフィン行列を採用する場合よりも、より低い計算コストで動き補償パラメータを得ることができる。
【００６４】
ステップＳＴ１４において、撮像条件検出部３０４は、動き補償パラメータ算出部３０３から出力された動き補償パラメータを用いて撮影時の撮像条件の検出を行う。スイープ中に撮像を行って得られた撮像画像は、撮像装置１０の撮像方向がスイープ動作の回転軸と直交する方向に対して傾きを有している場合、撮像画像間で２次元の回転を有するようになる。
【００６５】
図７は、撮像装置１０の撮像方向の傾きと撮像画像間の回転角度の関係を説明する図である。例えば図７の（Ｃ）に示すように、スイープ動作の回転軸ＡＲと撮像方向ＶＰとの角度が９０度である場合、撮像画像間で２次元の回転は生じていない。次に、図７の（Ｂ）に示すように、スイープ動作の回転軸ＡＲに対して撮像方向ＶＰの角度が９０度よりも小さく、撮像方向ＶＰがスイープ動作の回転軸ＡＲと直交する方向に対して仰角θaを有している場合、撮像画像間で２次元の回転角度を生じる。また、図７の（Ａ）に示すように、仰角θaが大きくなると撮像画像間での回転角度が大きくなる。図７の（Ｄ）に示すように、スイープ動作の回転軸ＡＲに対して撮像方向ＶＰの角度が９０度よりも大きく、撮像方向ＶＰがスイープ動作の回転軸ＡＲと直交する方向に対して俯角θbを有している場合、撮像画像間で回転角度を生じる。また、図７の（Ｅ）に示すように、俯角θbが大きくなると画像間での回転角度が大きくなる。なお、俯角θbを有している場合の撮像画像の回転は、仰角θaを有している場合の回転に対して逆方向となる。
【００６６】
このように、撮像画像間で２次元の回転を生じる場合があることから、撮像条件検出部３０４は、撮像画像間の２次元の回転を生じる撮像条件を検出する。具体的には、撮像条件検出部３０４は、動き補償パラメータ算出部３０３で算出された動き補償パラメータ（例えばグローバルモーションベクトル）に基づき、撮像画像間の２次元の回転角度を検出する。さらに、撮像条件検出部は、検出した回転角度を撮像条件として接続ライン選択部３０９に出力する。また、撮像条件検出部３０４は、撮像画像を回転後の位置に幾何変換するアフィン行列を求めて、このアフィン行列から回転角度を得るようにしてもよい。また、撮像画像間の２次元の回転は、スイープ動作の回転軸と直交する方向に対して撮像方向が仰角や俯角を有しているとき生じる。したがって、撮像装置１０に姿勢検出部４９を設けるようにして、この姿勢検出部４９でスイープ動作の回転軸に対する撮像方向の角度を検出して、検出した角度を撮像条件としてもよい。また、撮像画像間の２次元の回転が、スイープ動作の回転軸に対する撮像方向の角度だけでなく、他の撮像条件によって変化する場合、他の撮像条件の検出も行うようにする。
【００６７】
ステップＳＴ１５において、第１接続ライン設定部３０５は、第１接続ラインを設定する。第１接続ライン設定部３０５は、動き補償パラメータ算出部３０３からの動き補償パラメータに基づき、撮像画像が互いに重なる重複領域を判別する。さらに、第１接続ライン設定部３０５は、重複領域におけるスイープ方向の中央位置に、スイープ方向と直交する第１接続ラインを設定して、設定した第１接続ラインを示す第１接続ライン情報を接続ライン選択部３０９に出力してステップＳＴ１６に進む。
【００６８】
図８は、第１接続ラインの設定について説明する図である。第１接続ライン設定部３０５は、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)とを合成するときの第１接続ラインを定めるとき、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)が互いに重なる重複領域に対応するスイープ軸上の位置Ｑx0から位置Ｑx1までの範囲を検出する。ここで、位置Ｑx0は、撮像画像Ｉ(t+1)をスイープ軸に射影したときの撮像画像Ｉ(t+1)の左端の位置であり、位置Ｑx1は、撮像画像Ｉ(t)をスイープ軸に射影したときの撮像画像Ｉ(t)の右端の位置である。
【００６９】
第１接続ライン設定部３０５は、スイープ軸上の位置Ｑx0から位置Ｑx1までの中央の位置ＳＣを、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)を接続する第１接続ラインとする。すなわち、第１接続ライン設定部３０５は、位置Ｑx0から位置ＳＣまでの距離Ｌd0と位置ＳＣから位置Ｑx1の距離Ｌd1が等しくなるように第１接続ラインを設定する。
【００７０】
図４のステップＳＴ１６において、動被写体検出部３０６は動被写体検出を行う。動被写体検出部３０６は、動き補償パラメータ算出部３０３からの動き補償パラメータと、円筒射影部３０２からの撮像画像とを用いて、撮像画像が互いに重なる重複領域における動被写体を検出する。また、動被写体検出部３０６は、検出した動被写体を示す被写体情報を生成して被写体情報射影部３０７に出力してステップＳＴ１７に進む。
【００７１】
例えば、図９に示すように、動被写体検出部３０６は、動き補償パラメータを用いて、連続する２つのフレームＦ(t)の撮像画像Ｉ(t)と、フレームＦ(t+1)の撮像画像Ｉ(t+1)とを、それらの撮像画像上の同じ被写体がほぼ重なるように並べる。
【００７２】
そして、動被写体検出部３０６は、撮像画像Ｉ(t)における、撮像画像Ｉ(t+1)と重なる領域である重複領域ＤＲをいくつかの領域（以下、ブロックと称する）に分割し、ブロックマッチングによりブロックごとに動きベクトルＬＭＶを求める。
【００７３】
すなわち、各ブロックの動きベクトルＬＭＶは、撮像画像Ｉ(t+1)上において、撮像画像Ｉ(t)上の処理対象のブロックとの差分が最も小さい領域を探索することにより、求められる。例えば、ブロックとの差分は、ブロック内の画素の画素値と、その画素に対応する撮像画像Ｉ(t+1)の画素の画素値との差分絶対値和とされる。
【００７４】
図９では、重複領域ＤＲ内の点線で表された１つの正方形が１つのブロックを示しており、各ブロック内の矢印は、それらのブロックの動きベクトルＬＭＶを表している。この動きベクトルＬＭＶは、動き補償パラメータを用いて、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)を並べた状態における、撮像画像の各領域の被写体のフレーム間の動きを示すベクトルである。
【００７５】
次に、動被写体検出部３０６は、求めた各ブロックの動きベクトルＬＭＶを用いて、撮像画像Ｉ(t)全体の動きを示す動きベクトルＧＭＶ（グローバルモーションベクトル）を算出する。例えば、全体の動きベクトルＧＭＶは、各ブロックの動きベクトルＬＭＶの中央値とされる。
【００７６】
なお、動きベクトルＧＭＶは、ロバスト推定により求められてもよいし、求められたブロックの動きベクトルＬＭＶのうち、最も多く検出された方向および大きさの動きベクトルＬＭＶとされてもよい。
【００７７】
このようにして求められた全体の動きベクトルＧＭＶは、撮像画像上の被写体全体の動きを示しているので、この動きベクトルＧＭＶと異なる動きベクトルＬＭＶを有するブロックには、実空間上において動きのある被写体である動被写体が含まれていることになる。
【００７８】
さらに、動被写体検出部３０６は、求めた全体の動きベクトルＧＭＶと、各ブロックの動きベクトルＬＭＶとを用いて、撮像画像Ｉ(t)上の重複領域ＤＲの各位置における、動被写体の有無と、その動きの大きさ（動きの程度）を示す評価値（コスト値）を算出する。
【００７９】
具体的には、動被写体検出部３０６は、図９に示す重複領域ＤＲの例えば左上の頂点を基準とするｘｙ座標系を考え、重複領域ＤＲにおけるｘｙ座標系上の座標が（ｘ，ｙ）である位置の評価値（コスト値）ｃｏｓｔ(x,y)を次式（１）に基づいて算出する。なお、図９では、横方向がｘ方向とされ、縦方向がｙ方向とされている。また、スイープ軸は、ｘ方向とする。
ｃｏｓｔ(x,y)＝｜ＧＭＶ−ＬＭＶ(x,y)｜ ・・・（１）
【００８０】
なお、式（１）において、ＧＭＶは撮像画像Ｉ(t)全体の動きベクトルＧＭＶを示しており、ＬＭＶ(x,y)は座標（ｘ，ｙ）の位置が含まれるブロックの動きベクトルＬＭＶを示している。つまり、各位置の評価値は、全体の動きベクトルＧＭＶと、ブロックの動きベクトルＬＭＶとの差分絶対値とされる。
【００８１】
したがって、重複領域ＤＲ内の位置の評価値が大きいほど、その位置には、より大きく動いている動被写体が表示されていることになる。動被写体検出部３０６は、このようにして求められた評価値を、被写体情報として被写体情報射影部３０７に出力する。
【００８２】
なお、図９では、ブロック単位で動被写体の検出、つまり動きベクトルの検出が行われる例について説明したが、重複領域ＤＲ内の画素ごとに動きベクトルが検出されるようにしてもよい。
【００８３】
また、被写体情報として、動被写体の有無、およびその動被写体の動きの程度を示す評価値を求める例について説明したが、重複領域ＤＲ内の各位置の被写体情報は、その位置に動被写体が含まれているか否かを示す２値の値とされてもよい。
【００８４】
但し、被写体情報を多値の情報とすれば、後述する第２接続ライン設定部３０８において、より被写体の位置ずれの少ない位置を接続ラインとして求めることができるようになる。
【００８５】
すなわち、第２接続ライン設定部３０８は、パノラマ画像を生成するために、連続して撮像された撮像画像同士を接続するときの接続ラインを設定する。このとき、より高品質なパノラマ画像を得るには、動被写体が分断されるような接続ラインが定められることをなるべく避ける必要があるが、動被写体の領域が大きいなどの理由で、どうしても動被写体の位置を接続ラインとしなければならない場合がある。このような場合、被写体情報に、動被写体の動きの程度を示す情報が多値の情報として含まれていれば、最も被写体の動きの小さい位置を接続ラインとして求めることができる。これにより、互いに接続される撮像画像の接続位置近傍における画像のずれ、つまり２つの撮像画像を重ねたときの被写体の位置のずれを最小限にとどめることができ、パノラマ画像の品質の劣化を抑制することができる。
【００８６】
図４のステップＳＴ１７において、被写体情報射影部３０７は、被写体情報を射影する。被写体情報射影部３０７は、動き補償パラメータ算出部３０３からの動き補償パラメータを用いて、動被写体検出部３０６からの被写体情報のスイープ軸への射影を行い、スイープ軸上の位置ごとに評価値の総和を算出して動被写体スコアを生成する。被写体情報射影部３０７は、生成した動被写体スコアを第２接続ライン設定部３０８に出力してステップＳＴ１８に進む。
【００８７】
すなわち、被写体情報射影部３０７は、スイープ軸と垂直な方向にある撮像画像上の各位置の評価値を積分して動被写体スコアとすることにより、評価値のスイープ軸への射影を行う。射影結果としての動被写体スコアは、撮像画像の対応する領域における動被写体の面積（大きさ）に応じて大きくなる。
【００８８】
例えば、図９のようにスイープ軸をｘ方向としていると、スイープ軸の各位置の被写体スコアは、ｘ座標が、そのスイープ軸の位置のｘ座標と同じ値である撮像画像の位置における評価値の総和となる。具体的には、スイープ軸上の所定の位置に対応するｘｙ座標系の値が例えば「ｘ0」であったとする。この場合、重複領域ＤＲ上のｘ座標が「ｘ0」である位置のｃｏｓｔ(x0,y)の総和が、スイープ軸上の所定の位置における動被写体スコアとして求められる。
【００８９】
その結果、例えば図１０に示すように、スイープ軸の各位置における動被写体スコアが得られる。なお、図１０の（Ａ）は、撮像画像Ｉ(t)を示しており、図１０の（Ｂ）は撮像画像Ｉ(t)の動被写体スコアを示している。なお、図１０の（Ｂ）において、横方向はスイープ軸の方向を示しており、縦方向はスイープ軸の各位置における動被写体スコアである。また、スコア線ＭＳは、スイープ軸の各位置における動被写体スコアを示す線である。
【００９０】
撮像画像Ｉ(t)では、撮像画像Ｉ(t)の中央からやや右側に動被写体が含まれているため、その動被写体の部分に対応するスイープ軸の位置では、動被写体スコアが大きくなっている。逆に、動被写体の含まれない部分の評価値は「０」であり、また、隣接する撮像画像と重複しない領域では評価値は求められないので、撮像画像Ｉ(t)の動被写体が存在していない領域に対応するスイープ軸の位置では、動被写体スコアは「０」となっている。
【００９１】
このようにして被写体情報射影部３０７は、全ての撮像画像について、被写体情報としての評価値をスイープ軸に射影し、スイープ軸の各位置の動被写体スコアを求める。なお、被写体情報射影部３０７において、各撮像画像の領域ごとの評価値を、スイープ軸のどの位置に射影させるかは、撮像画像ごとの動き補償パラメータにより知ることができる。
【００９２】
被写体情報をスイープ軸に射影して、スイープ軸の各位置における動被写体スコアを求めることで、接続ラインを定めるのに用いられる２次元の情報を１次元の情報に変換することができる。これにより、接続ラインの決定に必要な情報の量を削減するとともに、その情報の記録のためのメモリ容量を節約することができる。
【００９３】
図４のステップＳＴ１８において、第２接続ライン設定部３０８は、第２接続ラインの設定を行う。第２接続ライン設定部３０８は、被写体情報射影部３０７からの動被写体スコアに基づいて撮像画像を接続するときの第２接続ラインを設定して、この第２接続ラインを示す第２接続ライン情報を接続ライン選択部３０９に出力してステップＳＴ１９に進む。
【００９４】
図１１は、接続ラインの探索について説明する図である。例えば、図１１に示すように、撮像画像Ｉ(t)から、スコア線ＭＳｔにより示される動被写体スコアが得られたとする。なお、図１１の（Ａ）は、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)を示しており、図１１の（Ｂ）は、動被写体スコアを示しており、横方向はスイープ軸の方向、縦方向はスイープ軸の各位置における動被写体スコアの大きさである。
【００９５】
第２接続ライン設定部３０８は、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)とを合成するときの接続ラインを定めるにあたり、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)が互いに重なる重複領域に対応するスイープ軸上の位置Ｑx0から位置Ｑx1までの範囲を探索範囲とする。ここで、位置Ｑx0は、撮像画像Ｉ(t+1)をスイープ軸に射影したときの撮像画像Ｉ(t+1)の左端の位置であり、位置Ｑx1は、撮像画像Ｉ(t)をスイープ軸に射影したときの撮像画像Ｉ(t)の右端の位置である。
【００９６】
第２接続ライン設定部３０８は、スイープ軸上の位置Ｑx0から位置Ｑx1を探索範囲として、探索範囲内において最も動被写体スコアが小さい位置を、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)を接続する第２接続ラインとする。
【００９７】
なお、図１１では、スイープ軸上の探索範囲内の位置ＳＭにおいて、スコア線ＭＳｔにより示される動被写体スコアが最小となっているので、位置ＳＭが第２接続ラインとされる。したがって、第２接続ライン設定部３０８は、スイープ軸の位置が位置ＳＭであって、スイープ軸に対して垂直な直線を第２接続ラインとして設定する。
【００９８】
第２接続ラインは、探索範囲内において最も動被写体スコアが小さい位置ＳＭであるので、スイープ軸の各位置のうちで、最も被写体の動きの小さい位置である。つまり、位置ＳＭは、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)を動き補償パラメータに基づいて、同じ被写体がほぼ重なるように所定面上に並べた場合に、撮像画像のずれ、例えば撮像画像上の被写体の位置ずれや、互いに重なる領域の画素の色誤差などが最も小さい位置である。
【００９９】
このように、第２接続ライン設定部３０８では、動被写体の分断スコアが最小となるスイープ軸の位置の探索という、一次元の探索処理により、簡単かつ迅速に接続ラインを定めることができる。
【０１００】
また、第１接続ライン設定部３０５と第２接続ライン設定部３０８は、上述のような処理を行って、全ての撮像画像について、隣接する撮像画像の第１接続ラインと第２接続ラインを設定する。
【０１０１】
第１接続ライン設定部３０５と第２接続ライン設定部３０８は、例えばフレーム番号の小さい順、つまり撮像時刻の古い順に、撮像画像の第１接続ラインと第２接続ラインを定めていく。図１２は、第１接続ラインと第２接続ラインの設定をフレーム番号の小さい順に行った場合を示している。
【０１０２】
図１２では、３つの連続するフレームＦ(t-1)，フレームＦ(t)，フレームＦ(t+1)の撮像画像Ｉ(t-1)，撮像画像Ｉ(t)，撮像画像Ｉ(t+1)のそれぞれが、動き補償パラメータに基づいて並べられている。撮像画像Ｉ(t-1)，撮像画像Ｉ(t)，撮像画像Ｉ(t+1)のうち、最もフレーム番号が小さいものは撮像画像Ｉ(t-1)である。したがって、第１接続ライン設定部３０５と第２接続ライン設定部３０８は、撮像画像Ｉ(t-1)と撮像画像Ｉ(t)との重複領域に第１接続ラインと第２接続ラインを定める。
【０１０３】
すなわち、図１２の（Ａ）に示すように、第１接続ライン設定部３０５と第２接続ライン設定部３０８は、隣接する撮像画像Ｉ(t-1)と撮像画像Ｉ(t)が重なる、スイープ軸上の位置Ｑx1(t-1,t)〜Ｑx1(t-1,t)までの範囲内に第１接続ラインと第２接続ラインを定める。その結果、位置Ｑx1(t-1,t)と位置Ｑx1(t-1,t)との中央の位置ＳＣ(t-1,t)が第１接続ラインとなる。また、位置Ｑx1(t-1,t)から位置Ｑx1(t-1,t)まで範囲において動被写体スコアが最小となる位置ＳＭ(t-1,t)が第２接続ラインとなる。
【０１０４】
次に、第１接続ライン設定部３０５と第２接続ライン設定部３０８は、図１２の（Ｂ）に示すように撮像画像Ｉ(t)と撮像画像Ｉ(t+1)に対する第１接続ラインと第２接続ラインを定める。第１接続ライン設定部３０５は、上述のように互いに隣接する撮像画像Ｉ(t)と撮像画像Ｉ(t+1)との互いに重なる範囲の中央の位置ＳＣ(t,t+1)が第１接続ラインとされる。
【０１０５】
また、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)が互いに重なる領域の左側の端、つまり撮像画像Ｉ(t+1)の左端の位置は、先に定めた撮像画像Ｉ(t-1)と撮像画像Ｉ(t)の接続ラインの位置ＳＭ(t-1,t)よりも左側に位置している。したがって、第２接続ライン設定部３０８は、位置ＳＭ(t-1,t)よりも左側の領域は、探索範囲から除外して、位置ＳＭ(t-1,t)から撮像画像Ｉ(t)の右端である位置Ｑx1(t,t+1)までの範囲を探索範囲として第２接続ラインを定める。その結果、探索範囲において動被写体スコアが最小となる位置ＳＭ(t,t+1)が第２接続ラインとされる。
【０１０６】
図４のステップＳＴ１９において、接続ライン選択部３０９は、接続ラインの選択を行う。接続ライン選択部３０９は、撮像条件検出部３０４によって検出された撮像条件に基づき、第１接続ライン設定部３０５で生成された第１接続ライン情報または第２接続ライン設定部３０８で生成された第２接続ライン情報のいずれかを選択する。また、接続ライン選択部３０９は、選択した接続ライン情報を画像合成部３１１に出力してステップＳＴ２０に進む。
【０１０７】
撮像画像間で２次元の回転がない場合や回転が小さい場合、第２接続ライン設定部３０８で設定した第２接続ラインで画像の接続を行ってパノラマ画像を生成すると、動被写体でのつなぎ目の破綻が起こらない。このため、第１接続ライン設定部３０５で設定した第１接続ラインで画像の接続を行った場合に比べて、パノラマ画像が良好な結果となる。また、撮像画像間で２次元の回転が大きい場合、回転による誤差が大きくなる。このため、第１接続ライン設定部３０５で設定した第１接続ラインで画像の接続を行うことで、第２接続ライン設定部３０８で設定した第２接続ラインで画像の接続を行った場合よりもパノラマ画像が良好な結果となる。よって、接続ライン選択部３０９は、撮像条件検出部３０４から入力された撮像条件と閾値を比較して、２次元の回転が閾値範囲よりも大きい場合、第１接続ライン情報を選択して画像合成部３１１に出力する。また、２次元の回転が閾値範囲内である場合は第２接続ライン情報を選択して画像合成部３１１に出力する。例えば、接続ライン選択部３０９は、撮像画像間の２次元の回転確度やスイープ動作の回転軸に対する撮像方向の角度が、閾値範囲よりも大きい場合、第１接続ライン情報を選択して画像合成部３１１に出力する。また、接続ライン選択部３０９は、撮像画像間の２次元の回転確度やスイープ動作の回転軸に対する撮像方向の角度が、閾値範囲内である場合は第２接続ライン情報を選択して画像合成部３１１に出力する。
【０１０８】
図１３は、選択された接続ラインを例示した図である。例えば、図１２に示すように、位置ＳＣ(t-1,t)，ＳＣ(t,t+1)は第１接続ライン、位置ＳＭ(t-1,t)，ＳＭ(t,t+1)は第２接続ラインとする。この場合、接続ライン選択部３０９は、撮像画像間で２次元の回転がない場合や回転が小さい場合、図１３の（Ａ）に示す第２接続ラインを示す第２接続ライン情報を画像合成部３１１に出力する。また、接続ライン選択部３０９は、撮像画像間で２次元の回転が大きい場合、図１３の（Ｂ）に示す第１接続ラインを示す第１接続ライン情報を画像合成部３１１に出力する。
【０１０９】
図４のステップＳＴ２０において、画像射影部３１０は、撮像画像をパノラマ座標系に射影する。画像射影部３１０は、動き補償パラメータ算出部３０３からの動き補償パラメータを用いて、円筒射影部３０２からの撮像画像をパノラマ座標系上に射影する。また、画像射影部３１０は、射影された撮像画像を画像合成部３１１に出力してステップＳＴ２１に進む。
【０１１０】
この射影により、撮像画像上の同じ被写体がほぼ重なるように、複数の撮像画像がパノラマ座標系上に並べられることになる。なお、パノラマ座標系は、スイープ方向に垂直な軸と、スイープ軸とを軸とする平面とされる。例えば、スイープ軸が、撮像画像の撮像時における撮像空間の鉛直方向と垂直な方向とされる場合には、スイープ軸に垂直な軸は、鉛直方向とされる。
【０１１１】
ステップＳＴ２１において、画像合成部３１１は、撮像画像を合成してパノラマ画像を生成する。画像合成部３１１は、接続ライン選択部３０９で選択された接続ライン情報で示された接続ラインで、画像射影部３１０から供給されたパノラマ座標系に射影された撮像画像の接続を行い、１枚のパノラマ画像を生成する。また、接続ラインで撮像画像を接続した場合、接続ラインで色の違い等が目立ってしまうおそれがある。したがって、画像合成部３１１は、接続ラインを基準として接続領域を設けて、この接続領域においてブレンディング処理を行い、接続する撮像画像を重み付き加算するようにしてもよい。
【０１１２】
図１４は、撮像画像の接続について説明する図である。図１４は、位置ＳＭ(t-1,t)である第２接続ラインで、撮像画像Ｉ(t-1)と撮像画像Ｉ(t)を接続する場合を示している。なお、図１４において横方向はスイープ方向を示しており、２つの連続するフレームの撮像画像Ｉ(t-1)と撮像画像Ｉ(t)が、パノラマ座標系上に並べられている。また、図１４の（Ａ）は、パノラマ画像に用いられる有効領域を斜線の領域として示している。図１４の（Ｂ）は、撮像画像Ｉ(t-1)に対する重みＷ(t-1)、図１４の（Ｃ）は、撮像画像Ｉ(t)に対する重みＷ(t)を示している。
【０１１３】
例えば、接続領域は、接続ラインの位置ＳＭ(t-1,t)が接続領域の中央位置となるように、位置ＳＬ(t-1,t)から位置ＳＲ(t-1,t)までの範囲とする。このとき、撮像画像Ｉ(t-1)では、位置ＳＲ(t-1,t)までの領域が有効領域Ｒ(t-1)となる。また、撮像画像Ｉ(t)では、位置ＳＬ(t-1,t)からの領域が撮像画像Ｉ(t)の有効領域Ｒ(ｔ)となる。
【０１１４】
重み付けは、接続領域における有効領域の端部側で「０」として他方の端部側で「１」とする。また、図１４の（Ｂ）（Ｃ）では、線ＯＭａ，ＯＭｂによって重み付けが設定される。なお、重み付けは線ＯＭａ，ＯＭｂによって設定する場合に限られるものではない。重み付けは、接続領域の各位置で撮像画像Ｉ(t-1)に対する重み付けと撮像画像Ｉ(t)に対する重み付けの和が「１」であって、有効領域の端部側で「０」となるように順次減少させるように設定する。
【０１１５】
このように接続ラインを基準として接続領域を設定して、接続領域内で撮像画像Ｉ(t-1)と撮像画像Ｉ(t)との合成比率を変化させて、撮像画像Ｉ(t-1)から撮像画像Ｉ(t)への画像の切り換えを順次行う。したがって、より高品質なパノラマ画像を得ることができる。すなわち、接続される２つの有効領域の互いに重なる部分において、被写体の位置にずれがあったり、画素の色が異なったりする場合であっても、重み付き加算によりスムージング効果が得られる。これにより、被写体の一部が欠損したり、パノラマ画像に色のむらが生じたりすることを抑制することができ、より自然なパノラマ画像を得ることができる。
【０１１６】
画像合成部３１１は、このようにして、パノラマ座標系上の互いに隣接する撮像画像の有効領域を接続し、１つのパノラマ画像を生成する。さらに、画像合成部３１１は、トリミングを行い、接続された有効領域からなる１つの画像の一部の領域をパノラマ画像としてもよい。
【０１１７】
図１５は、パノラマ画像のトリミングについて説明する図である。例えば、撮像装置１０をスイープさせて撮像画像を生成すると、撮像装置１０が仰角を生じている場合、図１５の（Ａ）に示すように、連続して撮像された撮像画像Ｉ(0)〜Ｉ(6)は、画像間で２次元の回転を生じて、パノラマ座標系上で上下方向にばらつきを生じる。なお、スイープ軸は、各撮像画像の長手方向となっている。
【０１１８】
そのため、各撮像画像の有効領域を接続して得られる１つの画像は、矩形状とならなくなる。そこで、画像合成部３１１は、図１５の（Ｂ）に示すように、撮像画像Ｉ(0)〜Ｉ(6)の有効領域を接続して得られる画像全体の領域に内接する、最も大きい矩形領域Ｐ11を切り出して、パノラマ画像とする。このとき、矩形領域Ｐ11の長辺は、スイープ軸と平行になるようにされる。このように、トリミングを行うことにより、矩形状のパノラマ画像を得ることができる。
【０１１９】
このようにしてパノラマ画像が生成されると、画像合成部３１１は、生成したパノラマ画像を出力して、撮像装置１０におけるパノラマ画像の生成処理は終了する。
【０１２０】
例えば、画像合成部３１１から出力されたパノラマ画像は、符号化／復号化部４１で符号化されてメモリ４２に記録されたり、Ｄ／Ａ変換部４３およびビデオエンコーダ４４を介して表示部４５に出力されて画像表示が行われる。
【０１２１】
以上のように、撮像装置１０は、撮像画像から異なる複数のアルゴリズムで接続ラインを定める。また、撮像装置１０は、被写体情報をスイープ方向に射影して接続ラインを定める。さらに、撮像装置１０は、撮像条件に応じて、最適なパノラマ画像が得られるように接続ラインを選択して、選択した接続ラインで撮像画像の接続（合成）を行いパノラマ画像を生成する。
【０１２２】
このように、撮像装置１０では、被写体情報をスイープ方向に射影して接続ラインを定めるようにしたので、より低い計算コストで、より高品質なパノラマ画像を得ることができる。
【０１２３】
すなわち、従来の技術では、図１を参照して説明したように、２次元探索により接続ライン（つなぎ目ＳＬ）を定めれば、動被写体がぼけてしまったり、動被写体が分断されてしまったりするという問題を解決して、より高品質なパノラマ画像を得ることができる。しかしながら２次元探索では、計算コストが高く、２次元探索のために必要なメモリの記録容量も多く必要となってしまう。
【０１２４】
これに対して、撮像装置１０では、各領域の被写体情報からなる２次元の情報をスイープ軸という１次元の軸に射影するため、１次元探索により接続ラインを定めることができる。これにより、動被写体のぼけや分断を防止し、より低い計算コストで、より高品質なパノラマ画像を得られるだけでなく、メモリの記録容量も削減することができる。
【０１２５】
また、複数のアルゴリズムで接続ラインが設定されて、撮像条件に応じて最適な接続ラインが選択される。このため、撮像画像間で２次元の回転を生じるような撮像条件で撮像を行っても、撮像条件に応じて最適な接続ラインが選択されるので、つなぎ目の目立たない高品質のパノラマ画像を容易に生成できる。
【０１２６】
さらに、撮像条件に応じて最適な接続ラインが自動的に選択されるので、接続ラインを設定するアルゴリズムを、ユーザーが撮影の前あるいは後に明示的に選択、指示をしなくても高画質なパノラマ画像を高速に得ることができるようになる。このため、ユーザーの利便性を向上させることができる。
【０１２７】
［５．被写体情報の他の例］
なお、以上においては、被写体情報としての評価値は、撮像画像全体の動きベクトルと、ブロックの動きベクトルとの差分絶対値とされると説明したが、被写体情報は、撮像画像上の被写体に関する情報であれば、どのようなものであってもよい。
【０１２８】
例えば、図１６に示す撮像画像Ｉ(t)と撮像画像Ｉ(t+1)との重なる部分の領域である重複領域ＤＲ内の画素について、撮像画像Ｉ(t)の画素の画素値と、その画素と同じ位置にある撮像画像Ｉ(t+1)の画素の画素値との差分絶対値とされてもよい。なお、図１６において、この場合、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)とが動き補償パラメータに基づいて、並べられている。
【０１２９】
動被写体検出部３０６は、撮像画像Ｉ(t)のｘｙ座標系上の位置（ｘ，ｙ）の画素の評価値ｃｏｓｔ(x,y)を、次式（２）により算出する。なお、図１６において、横方向はｘ方向とされ、縦方向はｙ方向とされている。また、重複領域ＤＲの左上の頂点がｘｙ座標系の基準位置とされており、ｘ方向はスイープ軸の方向と同じ方向とされている。
ｃｏｓｔ(x,y)＝｜Ｉt(x,y)−Ｉt+1(x,y)｜ ・・・（２）
【０１３０】
ここで、式（２）において、Ｉt(x,y)およびＩt+1(x,y)は、座標が（ｘ，ｙ）である撮像画像Ｉ(t)および撮像画像Ｉ(t+1)の画素の画素値を示している。
【０１３１】
このような評価値を被写体情報とする場合には、撮像画像上の画素値の差分絶対値が小さい領域では、接続による被写体の位置ずれは小さいと判断されることになる。画素値の差分絶対値を評価値とすれば、動被写体の動きによる位置ずれだけでなく、視差や撮像装置１０の動きに対する動き補償の精度不足による被写体の位置ずれなども、評価値に反映することができるというメリットがある。
【０１３２】
さらに、図１７に示すように、人の顔の検出を利用して、人の顔らしさを指標とする評価値を被写体情報として求めるようにしてもよい。なお、図１７では、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)とが動き補償パラメータに基づいて、並べられている。
【０１３３】
動被写体検出部３０６は、撮像画像Ｉ(t)における、撮像画像Ｉ(t+1)と重なる重複領域を対象として、人の顔を検出する。その結果、撮像画像Ｉ(t)上の人の顔が含まれると推定される所定の大きさの領域（以下、顔領域と称する）と、その顔領域に対する人の顔の領域らしさの度合いを示す得点とが得られる。この得点は、顔領域が人の顔らしいほど高くなる。
【０１３４】
そして、動被写体検出部３０６は、撮像画像Ｉ(t)の重複領域の位置ごとに評価値を求める。すなわち、その位置が顔領域に含まれていれば、顔領域の得点の値がその位置の評価値とされ、その位置が顔領域に含まれていなければ、その位置の評価値は「０」とされる。
【０１３５】
同様の処理を行って、動被写体検出部３０６は、撮像画像Ｉ(t+1)における撮像画像Ｉ(t)と重なる領域を対象として人の顔を検出し、撮像画像Ｉ(t+1)の各位置における評価値を求める。さらに動被写体検出部３０６は、撮像画像Ｉ(t)の重複領域の各位置について求めた評価値に、それらの位置と重なる撮像画像Ｉ(t+1)の位置の評価値を加算して得られた値を、撮像画像Ｉ(t)の重複領域の各位置の最終的な評価値とする。
【０１３６】
図１７の例では、重複領域のほぼ中央に人の顔が含まれているので、重複領域の中央付近の位置の評価値が高くなるはずである。撮像画像には、動被写体として人が含まれることが多いが、人の顔を指標とする評価値を被写体情報とする方法は、撮像画像の接続時において、人の手足や胴体よりも顔の部分が接続ラインにより分断されることを回避したい場合に有効である。
【０１３７】
さらに、図１８に示すように、人検出を利用して、人らしさを指標とする評価値を被写体情報として求めるようにしてもよい。なお、図１８では、撮像画像Ｉ(t)と撮像画像Ｉ(t+1)とが動き補償パラメータに基づいて、並べられている。
【０１３８】
動被写体検出部３０６は、撮像画像Ｉ(t)における、撮像画像Ｉ(t+1)と重なる重複領域を対象として、人を検出する。その結果、撮像画像Ｉ(t)上の人が含まれると推定される所定の大きさの領域（以下、人領域と称する）と、その人領域に対する人の領域らしさの度合いを示す得点とが得られる。この得点は、人領域が人らしいほど高くなる。
【０１３９】
そして、動被写体検出部３０６は、撮像画像Ｉ(t)の重複領域の位置ごとに評価値を求める。すなわち、その位置が人領域に含まれていれば、人領域の得点の値がその位置の評価値とされ、その位置が人領域に含まれていなければ、その位置の評価値は「０」とされる。
【０１４０】
同様の処理を行って、動被写体検出部３０６は、撮像画像Ｉ(t+1)における撮像画像Ｉ(t)と重なる領域を対象として人を検出し、撮像画像Ｉ(t+1)の各位置における評価値を求める。さらに動被写体検出部３０６は、撮像画像Ｉ(t)の重複領域の各位置について求めた評価値に、それらの位置と重なる撮像画像Ｉ(t+1)の位置の評価値を加算して得られた値を、撮像画像Ｉ(t)の重複領域の各位置の最終的な評価値とする。
【０１４１】
図１８の例では、重複領域の中央から右側および左側に、それぞれ人が含まれているので、重複領域の中央からやや右側および左側の位置の評価値が高くなるはずである。このように、人全体を指標とする評価値を被写体情報とする方法は、撮像画像の接続時において、人全体が接続ラインにより分断されることを回避したい場合に有効である。
【０１４２】
また、図９および図１６乃至図１８のそれぞれを参照して説明した評価値のいくつかを組み合わせて、被写体情報とするようにしてもよい。
【０１４３】
例えば、図９を参照して説明した評価値と、図１７を参照して説明した評価値との和を、撮像画像の各位置の評価値（被写体情報）としてもよい。この場合、人の顔の領域に対して、より大きい評価値を設定することができる。
【０１４４】
また、例えば、図９を参照して説明した評価値と、図１７を参照して説明した評価値との和を被写体情報としてもよく、図９、図１７、および図１８を参照して説明した評価値のそれぞれの和を被写体情報としてもよい。これらの場合には、撮像画像上の位置ごとに評価値の和が求められ、求められた和が各位置の被写体情報とされる。
【０１４５】
［６．接続ラインの決定順の他の例］
さらに、以上においては、フレーム番号の小さい順に、撮像画像の接続ラインを定めていくと説明したが、接続ラインを定める順番は、どのような順番であってもよい。すなわち、所定のフレームを基準として、そのフレームの撮像画像から順番に接続ラインを定めていってもよい。
【０１４６】
例えば、図１９の（Ａ）に示すように、撮像画像の撮像対象となる撮像空間上の領域において、動被写体としての人が、左から右方向に移動していたとする。このような状態において、左から右方向をスイープ方向として撮像装置１０が複数の撮像画像を撮像した結果、図１９の（Ｂ）に示すように、撮像画像Ｉ(0)〜Ｉ(6)の７つの撮像画像が得られたとする。
【０１４７】
この例では、撮像画像Ｉ(2)〜Ｉ(4)に、動被写体として同じ人が含まれている。撮像画像の撮像時においては、動被写体としての人は、左から右方向に移動するので、最初に人が含まれるフレームの撮像画像Ｉ(2)では、画像の左端に人が表示されている。また、次に人が含まれる撮像画像Ｉ(3)では、画像の中央に人が表示されており、さらにその次に人が含まれる撮像画像Ｉ(4)では、画像の右側に人が表示されている。
【０１４８】
このような場合、撮像画像Ｉ(0)から撮像画像Ｉ(6)まで順番に接続ラインを定めていってもよい。しかしながら、接続ラインは、動被写体の領域を回避するように定められるため、所定の接続ラインにおける動被写体の領域の回避のしわ寄せが、次の接続ラインの決定に影響を与える場合がある。すなわち、動被写体が含まれるフレームが連続しているようなシーンでは、接続ラインを決定する順番によって、どのようなパノラマ画像が得られるかが異なる場合がある。
【０１４９】
そこで、第２接続ライン設定部３０８において、どのフレームの撮像画像を優先的に扱うかを決定し、決定されたフレームを基準フレームとする。さらに、基準フレームの撮像画像から、撮像画像が撮像された順番であるフレーム番号の昇順および降順のそれぞれの方向に、順次接続ラインが決定されてもよい。
【０１５０】
そのような場合、基準フレームを決定する指標として、例えば動被写体の中央度が考えられる。すなわち、動被写体検出部３０６は、撮像画像Ｉ(0)〜Ｉ(6)について、連続する２つのフレームの撮像画像を用いて、各撮像画像から動被写体を検出する。動被写体の検出は、例えば図９を用いて説明したように、撮像画像の重複領域をブロックに分割し、ブロックごとの動きベクトルと撮像画像全体の動きベクトルとの差分を求めることで行われる。これにより、撮像画像の各領域における動被写体の有無が検出される。例えば、求めた差分の絶対値が所定の閾値以上の領域が動被写体の領域とされる。
【０１５１】
次に、動被写体検出部３０６は、動被写体の検出結果に基づいて、撮像画像ごとに、動被写体の中央度のスコアを求める。例えば、中央度のスコアは、撮像画像における動被写体の位置により定められ、動被写体の位置が撮像画像の中央に近いほど、より中央度のスコアが高くなるようにされる。なお、１つの撮像画像に複数の動被写体が含まれる場合には、それらの動被写体ごとに求められたスコアの総和が最終的な中央度のスコアとされる。
【０１５２】
したがって、より中央に近い位置に動被写体が含まれる撮像画像ほど、中央度のスコアは高くなることになる。また、より多くの動被写体が含まれる撮像画像ほど、中央度のスコアは高くなる。中央度のスコアによれば、複数の撮像画像のうち、動被写体が最も画像上の中央に近い位置にある撮像画像を特定することができる。
【０１５３】
図１９の例では、撮像画像Ｉ(3)の中央度のスコアが最も高くなる。このようにして求められたフレームごとの中央度のスコアは、被写体情報とともに動被写体検出部３０６から被写体情報射影部３０７を介して、第２接続ライン設定部３０８に出力される。
【０１５４】
そして、第２接続ライン設定部３０８では、撮像画像の各フレームのうち、最も中央度のスコアの高いフレームを基準フレームとして、基準フレームの撮像画像から順番に、第２接続ラインが決定される。
【０１５５】
したがって図１９の例では、撮像画像Ｉ(3)のフレームが基準とされて、まず、撮像画像Ｉ(3)，Ｉ(4)との第２接続ラインが定められ、その後、昇順に撮像画像Ｉ(4)，Ｉ(5)との第２接続ライン、撮像画像Ｉ(5)，Ｉ(6)との第２接続ラインが順番に定められる。さらに、その後、基準フレームから降順に、撮像画像Ｉ(3)，Ｉ(2)との第２接続ライン、撮像画像Ｉ(2)，Ｉ(1)との第２接続ライン、および撮像画像Ｉ(1)，Ｉ(0)との第２接続ラインが順番に定められる。
【０１５６】
すると、第２接続ラインを用いてパノラマ画像の生成が行われたとき、図２０の（Ａ）に示すように、動被写体が中央に表示されるパノラマ画像が得られることになる。
【０１５７】
撮像画像の撮像時においては、撮像対象となる全領域の中央付近に人体が位置するように、撮像装置１０がスイープされながら複数の撮像画像が撮像されることが多い。そのため、人体が含まれる連続するフレームのうち、それらのフレームの真ん中付近のフレームにおいて、撮像対象となる全領域の中央付近に人体が存在し、そのフレームでは撮像画像の中央に人体が位置しているはずである。
【０１５８】
したがって、人体が含まれるフレームのうち、撮像画像の中央に人体が位置しているフレームを基準フレームとして、基準フレームから順番に接続ラインを決定する。このようにすれば、図２０の（Ａ）に示すようにほぼ中央に動被写体が表示されるパノラマ画像が得られることになる。
【０１５９】
なお、図１９の（Ｂ）において、左端付近に動被写体がある撮像画像Ｉ(2)のフレームを基準フレームとして、撮像画像Ｉ(2)から順番に第２接続ラインを定めると、図２０の（Ｂ）に示されるように、中央からやや左側に動被写体が表示されるパノラマ画像が得られる。同様に、図１９の（Ｂ）において、右端付近に人体がある撮像画像Ｉ(4)のフレームを基準フレームとして、撮像画像Ｉ(4)から順番に接続ラインを定めると、図２０の（Ｃ）に示すように、中央からやや右側に動被写体が表示されるパノラマ画像が得られる。
【０１６０】
このように、撮像画像における動被写体の位置などを指標として、特定の基準フレームの撮像画像から順番に、第２接続ラインを定めれば、より見映えのよいパノラマ画像を得ることができるようになる。
【０１６１】
［７．処理をプログラムにより実行する場合］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１６２】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１６３】
コンピュータ６０において、ＣＰＵ（Central Processing Unit）６１、ＲＯＭ（Read Only Memory）６２、ＲＡＭ（Random Access Memory）６３は、バス６４により相互に接続されている。
【０１６４】
バス６４には、さらに、入出力インタフェース６５が接続されている。入出力インタフェース６５には、キーボード、マウス、マイクロホンなどよりなる入力部６６、ディスプレイ、スピーカなどよりなる出力部６７、ハードディスクや不揮発性のメモリなどよりなる記録部６８、ネットワークインタフェースなどよりなる通信部６９、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア８０を駆動するドライブ７１が接続されている。
【０１６５】
以上のように構成されるコンピュータでは、ＣＰＵ６１が、例えば、記録部６８に記録されているプログラムを、入出力インタフェース６５およびバス６４を介して、ＲＡＭ６３にロードして実行することにより、上述した一連の処理が行われる。
【０１６６】
コンピュータ（ＣＰＵ６１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ(Compact Disc-Read Only Memory),ＤＶＤ(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア８０に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１６７】
そして、プログラムは、リムーバブルメディア８０をドライブ７１に装着することにより、入出力インタフェース６５を介して、記録部６８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６９で受信し、記録部６８にインストールすることができる。その他、プログラムは、ＲＯＭ６２や記録部６８に、あらかじめインストールしておくことができる。
【０１６８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０１６９】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であり、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【産業上の利用可能性】
【０１７０】
この発明の画像処理装置および方法、並びにプログラムでは、撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の撮像を行った撮像装置における相対的な動きを補償するパラメータが算出される。この動き補償パラメータに基づき撮像画像が互いに重なる重複領域を判別して、この重複領域におけるスイープ方向の中央位置が第１接続ライン設定部で信号第１接続ラインと設定される。また、重複領域における撮像画像を用いて動被写体の検出が行われて被写体情報が生成されて、被写体情報が撮像方向の変化方向であるスイープ軸に射影される。この射影された被写体情報に基づいて第２接続ラインが設定される。さらに、撮像画像間の２次元の回転を生じる撮像条件について検出が行われて、検出された撮像条件に応じて第１接続ラインまたは第２接続ラインが選択されて、選択された接続ラインが隣接する撮像画像の接続ラインとされる。このため、撮像条件に適した接続ラインが選択されて、選択された接続ライン位置で撮像画像を接続することで、高品質のパノラマ画像を容易に生成できるので、デジタルカメラ等の撮像装置や、撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像を処理する画像処理装置に適している。
【符号の説明】
【０１７１】
１０・・・撮像装置、２１・・・レンズ、２２・・・絞り、２３・・・撮像素子、２４・・・サンプリング部、２５・・・Ａ／Ｄ変換部、３０・・・ 画像処理部、４１・・・符号化／復号化部、４２・・・メモリ、４３・・・Ｄ／Ａ変換部、４４・・・ビデオエンコーダ、４５・・・表示部、４６・・・タイミング信号生成部、４７・・・操作入力部、４８・・・ドライバ、５０・・・制御部、５１・・・バス、６０・・・コンピュータ、６１・・・ＣＰＵ、６２・・・ＲＯＭ、６３・・・ＲＡＭ、６４・・・バス、６５・・・入出力インタフェース部、６６・・・入力部、６７・・・出力部、６８・・・記録部、６９・・・通信部、７１・・・ドライブ、８０・・・リムーバブルメディア、３０１・・・撮像画像保持部、３０２・・・円筒射影部、３０３・・・動き補償パラメータ算出部、３０４・・・撮像条件検出部、３０５・・・第１接続ライン設定部、３０６・・・動被写体検出部、３０７・・・被写体情報射影部、３０８・・・第２接続ライン設定部、３０９・・・接続ライン選択部、３１０・・・画像射影部、３１１・・・画像合成部
【特許請求の範囲】
【請求項１】
撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の前記撮像を行った撮像装置における相対的な動きを補償するパラメータを算出する動き補償パラメータ算出部と、
前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における前記撮像方向の変化方向に対する中央位置を第１接続ラインとする第１接続ライン設定部と、
前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における撮像画像を用いて動被写体の検出を行い被写体情報を生成する動被写体検出部と、
前記重複領域における前記被写体情報を前記撮像方向の変化方向であるスイープ軸に射影する被写体情報射影部と、
前記射影された被写体情報に基づいて第２接続ラインの設定を行う第２接続ライン設定部と、
前記撮像画像間の２次元の回転を生じる撮像条件について検出を行う撮像条件検出部と、
前記検出された撮像条件に応じて、前記第１接続ラインまたは前記第２接続ラインを選択して、選択した接続ラインを前記隣接する撮像画像の接続ラインとする接続ライン選択部と
を有する画像処理装置。
【請求項２】
前記撮像条件検出部は、前記撮像画像間の２次元の回転角度、または、前記スイープ軸に対して直交する前記撮像装置の撮像方向の角度を検出して、
前記接続ライン選択部は、前記回転角度または前記撮像方向の角度が予め設定されている閾値範囲よりも大きいとき前記第１接続ラインを選択して、前記閾値範囲内であるとき前記第２接続ラインを選択する請求項１記載の画像処理装置。
【請求項３】
前記撮像装置に姿勢を検出する姿勢検出部が設けられており、
前記撮像条件検出部は、前記姿勢検出部からの検出信号を用いて前記角度を検出する請求項２記載の画像処理装置。
【請求項４】
前記動被写体検出部は、前記被写体情報として前記動被写体検出で検出した動被写体の動き量に応じた評価値を用い、
前記被写体情報射影部は、前記スイープ軸と直交する方向にある撮像画像上の各位置の評価値を積分することで被写体情報を前記スイープ軸に射影し、
前記第２接続ライン設定部は、前記射影した評価値が最小となる位置で前記スイープ軸と直交する方向を前記第２接続ラインとする請求項２記載の画像処理装置
【請求項５】
前記動き補償パラメータを利用して、前記複数枚の撮像画像をパノラマ座標系に射影する画像射影部と、
前記選択された接続ラインで前記パノラマ座標系に射影された撮像画像の接続を行いパノラマ画像を生成する画像合成部とを有する請求項１記載の画像処理装置。
【請求項６】
動き補償パラメータ算出部で、撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の前記撮像を行った撮像装置における相対的な動きを補償するパラメータを算出するステップと、
第１接続ライン設定部で、前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における前記撮像方向の変化方向に対する中央位置を第１接続ラインとするステップと、
動被写体検出部で、前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における撮像画像を用いて動被写体の検出を行い被写体情報を生成するステップと、
被写体情報射影部で、前記重複領域における前記被写体情報を前記撮像方向の変化方向であるスイープ軸に射影するステップと、
第２接続ライン設定部で、前記射影された被写体情報に基づいて第２接続ラインの設定を行うステップと、
撮像条件検出部で、前記撮像画像間の２次元の回転を生じる撮像条件について検出を行うステップと、
接続ライン選択部で、前記検出された撮像条件に応じて、前記第１接続ラインまたは前記第２接続ラインを選択して、選択した接続ラインを前記隣接する撮像画像の接続ラインとするステップとを具備する画像処理方法。
【請求項７】
コンピュータを、
撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の前記撮像を行った撮像装置における相対的な動きを補償するパラメータを算出する動き補償パラメータ算出部として動作させる機能手段と、
前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における前記撮像方向の変化方向に対する中央位置を第１接続ラインとする第１接続ライン設定部として動作させる機能手段と、
前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における撮像画像を用いて動被写体の検出を行い被写体情報を生成する動被写体検出部として動作させる機能手段と、
前記重複領域における前記被写体情報を前記撮像方向の変化方向であるスイープ軸に射影する被写体情報射影部として動作させる機能手段と、
前記射影された被写体情報に基づいて第２接続ラインの設定を行う第２接続ライン設定部として動作させる機能手段と、
前記撮像画像間の２次元の回転を生じる撮像条件について検出を行う撮像条件検出部として動作させる機能手段と、
前記検出された撮像条件に応じて、前記第１接続ラインまたは前記第２接続ラインを選択して、選択した接続ラインを前記隣接する撮像画像の接続ラインとする接続ライン選択部として動作させる機能手段として機能させるためのプログラム。
【請求項１】
撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の前記撮像を行った撮像装置における相対的な動きを補償するパラメータを算出する動き補償パラメータ算出部と、
前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における前記撮像方向の変化方向に対する中央位置を第１接続ラインとする第１接続ライン設定部と、
前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における撮像画像を用いて動被写体の検出を行い被写体情報を生成する動被写体検出部と、
前記重複領域における前記被写体情報を前記撮像方向の変化方向であるスイープ軸に射影する被写体情報射影部と、
前記射影された被写体情報に基づいて第２接続ラインの設定を行う第２接続ライン設定部と、
前記撮像画像間の２次元の回転を生じる撮像条件について検出を行う撮像条件検出部と、
前記検出された撮像条件に応じて、前記第１接続ラインまたは前記第２接続ラインを選択して、選択した接続ラインを前記隣接する撮像画像の接続ラインとする接続ライン選択部と
を有する画像処理装置。
【請求項２】
前記撮像条件検出部は、前記撮像画像間の２次元の回転角度、または、前記スイープ軸に対して直交する前記撮像装置の撮像方向の角度を検出して、
前記接続ライン選択部は、前記回転角度または前記撮像方向の角度が予め設定されている閾値範囲よりも大きいとき前記第１接続ラインを選択して、前記閾値範囲内であるとき前記第２接続ラインを選択する請求項１記載の画像処理装置。
【請求項３】
前記撮像装置に姿勢を検出する姿勢検出部が設けられており、
前記撮像条件検出部は、前記姿勢検出部からの検出信号を用いて前記角度を検出する請求項２記載の画像処理装置。
【請求項４】
前記動被写体検出部は、前記被写体情報として前記動被写体検出で検出した動被写体の動き量に応じた評価値を用い、
前記被写体情報射影部は、前記スイープ軸と直交する方向にある撮像画像上の各位置の評価値を積分することで被写体情報を前記スイープ軸に射影し、
前記第２接続ライン設定部は、前記射影した評価値が最小となる位置で前記スイープ軸と直交する方向を前記第２接続ラインとする請求項２記載の画像処理装置
【請求項５】
前記動き補償パラメータを利用して、前記複数枚の撮像画像をパノラマ座標系に射影する画像射影部と、
前記選択された接続ラインで前記パノラマ座標系に射影された撮像画像の接続を行いパノラマ画像を生成する画像合成部とを有する請求項１記載の画像処理装置。
【請求項６】
動き補償パラメータ算出部で、撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の前記撮像を行った撮像装置における相対的な動きを補償するパラメータを算出するステップと、
第１接続ライン設定部で、前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における前記撮像方向の変化方向に対する中央位置を第１接続ラインとするステップと、
動被写体検出部で、前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における撮像画像を用いて動被写体の検出を行い被写体情報を生成するステップと、
被写体情報射影部で、前記重複領域における前記被写体情報を前記撮像方向の変化方向であるスイープ軸に射影するステップと、
第２接続ライン設定部で、前記射影された被写体情報に基づいて第２接続ラインの設定を行うステップと、
撮像条件検出部で、前記撮像画像間の２次元の回転を生じる撮像条件について検出を行うステップと、
接続ライン選択部で、前記検出された撮像条件に応じて、前記第１接続ラインまたは前記第２接続ラインを選択して、選択した接続ラインを前記隣接する撮像画像の接続ラインとするステップとを具備する画像処理方法。
【請求項７】
コンピュータを、
撮像方向を順次変化させて撮像を行うことにより得られた複数枚の撮像画像間の前記撮像を行った撮像装置における相対的な動きを補償するパラメータを算出する動き補償パラメータ算出部として動作させる機能手段と、
前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における前記撮像方向の変化方向に対する中央位置を第１接続ラインとする第１接続ライン設定部として動作させる機能手段と、
前記動き補償パラメータに基づき隣接する撮像画像が互いに重なる重複領域を判別して、該重複領域における撮像画像を用いて動被写体の検出を行い被写体情報を生成する動被写体検出部として動作させる機能手段と、
前記重複領域における前記被写体情報を前記撮像方向の変化方向であるスイープ軸に射影する被写体情報射影部として動作させる機能手段と、
前記射影された被写体情報に基づいて第２接続ラインの設定を行う第２接続ライン設定部として動作させる機能手段と、
前記撮像画像間の２次元の回転を生じる撮像条件について検出を行う撮像条件検出部として動作させる機能手段と、
前記検出された撮像条件に応じて、前記第１接続ラインまたは前記第２接続ラインを選択して、選択した接続ラインを前記隣接する撮像画像の接続ラインとする接続ライン選択部として動作させる機能手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１１−１３０３２７（Ｐ２０１１−１３０３２７Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２００９−２８８８５９（Ｐ２００９−２８８８５９）
【出願日】平成２１年１２月２１日（２００９．１２．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２１年１２月２１日（２００９．１２．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]