画像生成装置、画像生成方法、及びコンピュータプログラム
【課題】 切出し範囲を移動させつつ全周囲画像から切出し範囲の画像を切出して平面画像を生成するにあたり、演算量やメモリアクセスを軽減できる画像生成装置を提供する。
【解決手段】 歪みを有する全周囲画像から切出した切出し範囲について平面画像を生成する画像生成装置１は、全周囲画像を取得する全周囲画像取得部１１と、全周囲画像中の切出し範囲を指定する切出し範囲指定部１４と、切出し範囲から過去の平面画像を再利用できる再利用領域と、過去の画像を再利用できない新規領域とを求める再利用領域計算部１７と、過去の平面画像を蓄積するための平面画像蓄積部２０と、全周囲画像の新規領域に対して歪み補正を行う歪み補正部１８と、平面画像蓄積部２０に蓄積された平面画像中の再利用領域の画像と、歪み補正部にて歪み補正された新規領域の画像とを合成することで、平面画像を生成して、平面画像蓄積部２０に出力する合成部１９とを備えている。
【解決手段】 歪みを有する全周囲画像から切出した切出し範囲について平面画像を生成する画像生成装置１は、全周囲画像を取得する全周囲画像取得部１１と、全周囲画像中の切出し範囲を指定する切出し範囲指定部１４と、切出し範囲から過去の平面画像を再利用できる再利用領域と、過去の画像を再利用できない新規領域とを求める再利用領域計算部１７と、過去の平面画像を蓄積するための平面画像蓄積部２０と、全周囲画像の新規領域に対して歪み補正を行う歪み補正部１８と、平面画像蓄積部２０に蓄積された平面画像中の再利用領域の画像と、歪み補正部にて歪み補正された新規領域の画像とを合成することで、平面画像を生成して、平面画像蓄積部２０に出力する合成部１９とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歪みを有する全周囲画像から切出した切出し範囲について平面画像を生成する画像生成装置及び画像生成方法に関し、特に、切出し範囲を全周囲画像内で移動させた場合に効率的に切出し範囲の平面画像を生成する画像生成装置及び画像生成方法に関するものである。
【背景技術】
【０００２】
従来より、監視カメラ等には全周囲カメラが用いられる。全周囲カメラは、３６０度カメラとも呼ばれ、魚眼レンズやミラーなどを用いて、水平画角３６０度、垂直画角１８０度の全周囲画像を撮影して、円形又はドーナツ形状の撮影画像（以下、「全周囲画像」という。）を得ることができる。
【０００３】
全周囲画像を平面画像に補正することで、通常のカメラで撮影されたのと同様な画像を得ることができる。特に、全周囲画像を全周について展開すれば、３６０度のパノラマ画像が１つのカメラの１度の撮影で得られることになる。
【０００４】
また、全周囲画像の一部範囲を切り出して平面画像に補正するとともに、その切出し範囲を移動させることで、通常のカメラをパン、チルトさせながら撮影されたのと同様な複数の平面画像（ないしは動画像）が得られる。このように、あたかも通常のカメラをパン、チルト、ズームしながら撮影をして得られたような複数の平面画像が得られるように、全周囲画像の切出し範囲を変化させる制御を、電子ＰＴＺ（pan, tilt, zoom）制御という。
【０００５】
全周囲画像から一部範囲を切り出すとともにその切出し範囲を移動させる用途としては、例えば、監視カメラにおいて、切出し範囲を手動で移動させるものや、切出し範囲を所定の軌道で自動的に移動させるものや、全周囲画像から動体を検出して、検出した動体を追尾するように自動で切出し範囲を移動させるもの等がある。
【０００６】
図１０（ａ）は、全周囲画像の例を示す図であり、図１０（ｂ）は、図１０（ａ）の全周囲画像から一部範囲ＰＡを切出して生成した平面画像を示す図である。図１０（ａ）に示されるように、全周囲画像は、魚眼レンズを用いて、例えば全周囲画像の中心からの距離と仰角が比例する等距離射影方式で撮影されることから、歪みが生じている。従って、全周囲画像から一部範囲ＰＡを切出して図１０（ｂ）に示す平面画像を得るには、歪み補正を行なう必要がある（例えば、特許文献１を参照）。
【０００７】
図１１及び図１２は、平面画像の生成を説明する図である。図１１（ａ）は、魚眼レンズの中心をその中心とし、焦点距離をその半径とする仮想の半球面（以下、単に「半球面」という。）ＳＳと、全周囲画像を投影するための平面である仮想カメラ平面ＶＰとの関係を示す図であり、図１１（ｂ）は、イメージセンサＩＳに投影された全周囲画像を示す図である。また、図１２（ａ）及び（ｂ）は、いずれも図１１（ａ）の中心Ｏを通り、仮想カメラ平面ＶＰに垂直に交わる平面で図１１（ａ）に示す全周囲画像の投影面及び仮想カメラ平面ＶＰを切断した図である（以下、図２、５、６、７も同様である）。図１２（ａ）は、仮想カメラ平面ＶＰを示しており、図１２（ｂ）は、切出し範囲が移動した場合の仮想カメラ平面ＶＰ’を示している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−６１２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
全周囲画像から一部範囲を切出して歪み補正を行って（即ち、仮想カメラ平面に投影して）平面画像を生成する処理は、演算量やメモリアクセスが多く、処理負担が大きいという問題がある。切出し範囲が一箇所に固定されているのであれば、あるフレームの平面画像を生成した後の次のフレームについては、前のフレームの画素を再利用することで、演算量やメモリアクセスを削減できる。
【００１０】
しかしながら、切出し範囲を移動させる場合には、前のフレームの画素をそのまま再利用することはできない。図１２（ｂ）から明らかなように、切出し範囲が移動して、それによって仮想カメラ平面が図１２（ａ）の仮想カメラ平面ＶＰ（図１２（ｂ）では点線で示されている）から図１２（ｂ）の仮想カメラ平面ＶＰ’（図１２（ｂ）では実線で示されている）に移動した場合には、再利用可能な画素は両平面の交線上の画素に限られ、演算量やメモリアクセスを十分に削減することができない。
【００１１】
本発明は、上記の問題点に鑑みてなされたものであり、切出し範囲を移動させながら全周囲画像から切出し範囲の画像を切出して平面画像を生成するにあたり、演算量やメモリアクセスを軽減することのできる画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記従来の課題を解決するために、本発明の画像生成装置は、歪みを有する全周囲画像から切出した切出し範囲について平面画像を生成する画像生成装置であって、前記全周囲画像を取得する全周囲画像取得部と、前記切出し範囲を指定する切出し範囲指定部と、前記切出し範囲から過去の平面画像を再利用できる再利用領域と、過去の平面画像を再利用できない新規領域とを求める再利用領域計算部と、前記過去の平面画像を蓄積するための平面画像蓄積部と、前記全周囲画像の前記新規領域に対して歪み補正を行う歪み補正部と、前記平面画像蓄積部に蓄積された平面画像中の前記再利用領域の画像と、前記歪み補正部にて歪み補正された前記新規領域の画像とを合成することで、平面画像を生成して、前記平面画像蓄積部に出力する合成部とを備えた構成を有している。
【００１３】
この構成により、平面画像を生成するために、再利用領域については既に生成されている過去の平面画像を再利用するので、歪み補正部は、新規領域についてのみ歪み補正をすればよく、従って、演算量やメモリアクセスを軽減できる。
【００１４】
また、上記の画像生成装置において、前記過去の平面画像は、１つ前のフレームの平面画像であってよい。
【００１５】
この構成により、過去の平面画像として１つ前のフレームの平面画像を再利用するので、再利用領域が大きくなり、演算量やメモリアクセスの軽減の効果が高くなる。
【００１６】
また、上記の画像生成装置において、前記再利用領域計算部は、前記過去の平面画像がある前記切出し範囲内の領域を前記再利用領域として求めてよい。
【００１７】
これにより、切出し範囲において過去の平面画像が既に生成されている場合は、その領域について、過去の平面画像を再利用して、演算量やメモリアクセスを軽減できる。
【００１８】
また、上記の画像生成装置において、前記歪み補正部は、仮想カメラ平面を用いて、前記仮想カメラ平面に前記新規領域の前記全周囲画像を投影することで、歪み補正を行ってよく、前記歪み補正部が用いる仮想カメラ平面は、前記過去の平面画像を生成した際の仮想カメラ平面と重複してよい。
【００１９】
この構成により、再利用領域と新規領域とは同一の平面に投影された画像となるので、再利用領域と新規領域との間の投影面の不一致による不自然さをなくすことができる。
【００２０】
また、上記の画像生成装置は、前記全周囲画像中の動き領域を検出する動き検出部をさらに備えてよく、前記再利用領域計算部は、前記動き領域を除いて、前記過去の平面画像がある前記切出し範囲内の領域を前記再利用領域としてよい。
【００２１】
この構成により、全周囲画像中に移動する人などの動体があった場合には、その領域を再利用領域から除外して新規領域とするので、過去の平面画像を再利用することにより動体の正確な像が得られないという事態を回避できる。
【００２２】
また、上記の画像生成装置は、所定の判定基準に従って再利用の可否を判定する再利用可否判定部をさらに備えてよく、前記合成部は、前記再利用可否判定部にて再利用可能と判定された場合にのみ、前記平面画像蓄積部に蓄積された前記再利用領域の画像と、前記歪み補正部にて歪み補正された前記新規領域の画像とを合成して、平面画像を生成してよい。
【００２３】
この構成により、過去の平面画像の再利用が適当でない場合にも無理に過去の平面画像を再利用することによる、生成された平面画像の不正確性や過度の画質劣化を回避できる。
【００２４】
また、上記の画像生成装置において、前記再利用可否判定部にて再利用不可と判定された場合は、前記歪み補正部は、前記切出し範囲の全領域について、前記全周囲画像の歪み補正を行い、前記合成部は、前記歪み補正部にて歪み補正が行われた画像を前記平面画像として前記平面画像蓄積部に出力してよい。
【００２５】
この構成により、再利用不可と判定された場合には、過去の平面画像を再利用せずに通常通り全周囲画像に対して歪み補正を行なうことで平面画像を生成するので、切出し範囲が移動して再利用限界に達するごとに、信頼性の高い平面画像を生成でき、また、そのような平面画像が生成された後には、再び再利用限界に達するまで過去の平面画像を再利用することができる。
【００２６】
また、上記の画像生成装置において、前記判定基準は、前記切出し範囲の全領域について、前記全周囲画像の歪み補正を行って前記平面画像を生成した際の切出し範囲の中心方向と現在の切出し範囲の中心方向との間の角度差の基準であり、前記再利用可否判定部は、前記角度差が所定の閾値以上であるときは、再利用不可と判定してよい。
【００２７】
この構成により、過去の平面画像を再利用して生成される平面画像の歪みが過大になることを回避できる。
【００２８】
また、上記の画像生成装置において、記歪み補正部は、仮想カメラ平面を用いて、前記仮想カメラ平面に前記新規領域の前記全周囲画像を投影することで、歪み補正を行ってよく、前記仮想カメラ平面は、前記過去の平面画像を生成した際の仮想カメラ平面と重複してよく、前記判断基準は、前記過去の平面画像を生成した際の仮想カメラ平面と、それに重複する前記仮想カメラ平面との重複率の基準であってよく、前記再利用可否判定部は、前記重複率が所定の閾値以下であるときは、再利用不可と判定してよい。
【００２９】
この構成により、仮想カメラ平面の重複率があまりに小さく過去の平面画像を再利用する価値が低い場合には、全周囲画像のみを用いて平面画像を生成できる。
【００３０】
また、上記の画像生成装置において、前記判断基準は、前記再利用領域の大きさの基準であってよく、前記再利用可否判定部は、前記再利用領域が所定の閾値以下であるときは、再利用不可と判定してよい。
【００３１】
この構成により、再利用できる領域の大きさがあまりに小さく過去の平面画像を再利用する価値が低い場合には、全周囲画像のみを用いて平面画像を生成できる。
【００３２】
また、上記の画像生成装置において、前記判断基準は、全周囲画像のみを用いて平面画像を生成した際の時刻と現在の時刻との時間差の基準であってよく、前記再利用可否判定部は、前記時間差が所定の閾値以上であるときは、再利用不可と判定してよい。
【００３３】
この構成により、実際の全周囲画像との差分が過大になることを回避できる。
【００３４】
本発明の別の態様は画像生成方法であり、この画像生成方法は、歪みを有する全周囲画像から切出した切出し範囲について平面画像を生成する画像生成方法であって、前記全周囲画像を取得する全周囲画像取得ステップと、前記切出し範囲を指定する切出し範囲指定ステップと、前記切出し範囲から過去の平面画像を再利用できる再利用領域と、過去の平面画像を再利用できない新規領域とを求める再利用領域計算ステップと、前記全周囲画像の前記新規領域に対して歪み補正を行う歪み補正ステップと、平面画像を生成する平面画像生成ステップと、前記平面画像生成ステップにて生成された平面画像を蓄積する平面画像蓄積ステップとを含み、前記平面画像生成ステップは、前記平面画像蓄積ステップにて蓄積された過去の平面画像中の前記再利用領域の画像と、前記歪み補正ステップにて歪み補正された前記新規領域の画像とを合成することで、前記平面画像を生成する。
【００３５】
この構成によっても、平面画像を生成するために、再利用領域については過去の平面画像を再利用するので、歪み補正部は、新規領域についてのみ歪み補正をすればよく、従って、演算量やメモリアクセスを軽減できる。
【００３６】
本発明のさらに別の態様は、コンピュータに上記の画像生成方法を実行させるためのコンピュータプログラムである。
【発明の効果】
【００３７】
本発明は、平面画像を生成するために、再利用領域については過去の平面画像を再利用するので、歪み補正部は、新規領域についてのみ歪み補正をすればよく、従って、演算量やメモリアクセスを軽減できる。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施の形態における画像生成装置の構成図
【図２】（ａ）従来の平面画像の生成方法を示す図（ｂ）本発明の実施の形態における画像生成装置による平面画像の生成方法を示す図
【図３】（ａ）本発明の実施の形態における時刻ｔ０の切出し範囲及びその仮想カメラ平面と、時刻ｔ１の切出し範囲との関係を示す図（ｂ）本発明の実施の形態における時刻ｔ０の仮想カメラ平面と、時刻ｔ１の切出し範囲及び仮想カメラ平面との関係を示す図（ｃ）本発明の実施の形態における時刻ｔ０の仮想カメラ平面及び時刻ｔ１の仮想カメラ平面と、重複領域及び非重複領域との関係を示す図
【図４】（ａ）本発明の実施の形態における全周囲画像における動き領域を示す図（ｂ）再利用領域及び新規領域を示す図
【図５】本発明の実施の形態における切出し範囲の中心角度差による再利用限界を説明する図
【図６】本発明の実施の形態における仮想カメラ平面の重複率による再利用限界を説明する図
【図７】（ａ）本発明の実施の形態における再利用限界に達した状態を示す図 （ｂ）本発明の実施の形態における再利用限界に達した後に改めて求められた仮想カメラ平面を示す図
【図８】本発明の実施の形態における画像生成装置にて実行される画像生成方法のフロー図
【図９】（ａ）本発明の実施の形態の変形例における時刻ｔ０の切出し範囲及びその仮想カメラ平面と、時刻ｔ１の切出し範囲及びその仮想カメラ平面との関係を示す図（ｂ）本発明の実施の形態の変形例における時刻ｔ０の仮想カメラ平面と時刻ｔ１における仮想カメラ平面との関係を示す図（ｃ）本発明の実施の形態の変形例における時刻ｔ０における仮想カメラ平面及び時刻ｔ１における仮想カメラ平面と、重複領域及び非重複領域との関係を示す図
【図１０】（ａ）全周囲画像の例を示す図（ｂ）（ａ）の全周囲画像から切出し範囲を切出して生成した平面画像を示す図
【図１１】（ａ）半球面と仮想カメラ平面との関係を示す図（ｂ）イメージセンサに投影された全周囲画像を示す図
【図１２】（ａ）仮想カメラ平面を示す図（ｂ）切出し範囲が移動した場合の仮想カメラ平面を示す図
【発明を実施するための形態】
【００３９】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００４０】
まず、図２を参照して、本発明の実施の形態の画像生成装置が従来の課題を解決するための基本的な原理を説明する。図２（ａ）は、従来の平面画像の生成方法を示しており、図２（ｂ）は、本実施の形態の画像生成装置による平面画像の生成方法を示している。
【００４１】
背景技術として既に説明したとおり、従来の平面画像の生成方法では、図２（ａ）に示すように、あるフレームにおいて、切出し範囲ＣＡ１について、全周囲画像から平面画像を生成し、次のフレームで切出し範囲が切出し範囲ＣＡ１から切出し範囲ＣＡ２に変化した場合において、切出し範囲ＣＡ２の平面画像に、切出し範囲ＣＡ１の平面画像の画素を再利用しようとしても、仮想カメラ平面ＶＰ１と仮想カメラ平面ＶＰ２との交線上の画素しか再利用できない。これは、仮想カメラ平面ＶＰ１と仮想カメラ平面ＶＰ２の法線方向が、常に切出し範囲の中心方向即ち切出し範囲の中心から半球面の中心に向かう方向とされているからである。
【００４２】
これに対して、本実施の形態では、図２（ｂ）に示すように、切出し範囲ＣＡ２の平面画像を生成するための仮想カメラ平面ＶＰ２’を、切出し範囲ＣＡ２内にあって、かつ画素を再利用しようとする平面画素の仮想カメラ平面ＶＰ１と平行にして、仮想カメラ平面ＶＰ２’と仮想カメラ平面ＶＰ１とが一部重なる（同一平面上になる）ようにする。即ち、仮想カメラ平面は、前のフレームの仮想カメラ平面と平行で一部が重なるように求める。
【００４３】
そうすると、この仮想カメラ平面ＶＰ２’に切出し範囲ＣＡ２の全周囲画像を投影した平面画像を生成する場合には、仮想カメラ平面ＶＰ２’と仮想カメラ平面ＶＰ１との重なった部分については、仮想カメラ平面ＶＰ１に投影されて既に生成されている切出し範囲ＣＡ１の平面画像の画素を再利用することができる。
【００４４】
このようにして、本実施の形態では、切出し範囲が移動した場合に、その仮想カメラ平面を、移動した切出し範囲内にあって、かつ基準画像の仮想カメラ平面と一部が重なるように設定するので、移動後の切出し範囲の平面画像を生成するに際に基準画像の一部領域を再利用することができ、演算量やメモリアクセスを削減できる。なお、１つ前のフレームの仮想カメラ平面と重ならない部分の画像については、全周囲画像を仮想カメラ平面に投影することにより生成する。
【００４５】
切出し範囲がさらに移動した場合にも、後述する再利用限界までは、１つ前のフレームの仮想カメラ平面と重なる仮想カメラ平面を求めて、重複部分については、既に生成されている１つ前のフレームの平面画像を再利用するとともに、１つ前のフレームの仮想カメラ平面と重複しない部分については、現在のフレームの仮想カメラ平面に全周囲画像の該当部分を投影することにより、当該部分の画像を生成する。
【００４６】
以上が本実施の形態の画像生成装置が課題を解決する基本的な原理である。以下、本実施の形態の画像生成装置の構成を具体的に説明する。
【００４７】
図１は、本実施の形態の画像生成装置の構成を示すブロック図である。画像生成装置１は、全周囲画像取得部１１、全周囲画像蓄積部１２、動き検出部１３、切出し範囲指定部１４、仮想カメラ平面計算部１５、重複領域計算部１６、再利用領域計算部１７、歪み補正部１８、合成部１９、及び画像蓄積部２０を備えている。
【００４８】
全周囲画像取得部１１は、被写体を撮像して全周囲画像を取得する。本実施の形態では、魚眼レンズを用いて等距離射影方式により撮像素子に被写体像を投影して、水平画角３６０度、垂直画角１８０度の全周囲画像を取得する。この全周囲画像は、円形であり、中心から離れるほど歪みの度合いが大きくなっている画像である。全周囲画像取得部１１にて取得された全周囲画像は、全周囲画像蓄積部１２及び動き検出部１３に出力される。
【００４９】
切出し範囲指定部１４は、全周囲画像から平面画像を生成するために切り出す範囲（切出し範囲）を指定する。切出し範囲は、半球面上の４点にそれぞれ向かう４本のベクトルで特定され、この４本のベクトルに囲まれる範囲が切出し範囲となる。
【００５０】
本実施の形態では、切出し範囲の縦横比及び向きが固定であるので、切出し範囲は、半球面の中心から切出し範囲の中心へのベクトルと切出し範囲の大きさのパラメータで定義される。このベクトルの水平方向の角度は、通常のカメラのパン角に相当し、ベクトルの垂直方向の角度は、通常のカメラのチルト角に相当し、切出し範囲の大きさ（切出し画角）は、通常のカメラのズームに相当する。従って、切出し範囲の指定は、換言すれば電子ＰＴＺ制御におけるパン、チルト、ズームの指定である。
【００５１】
切出し範囲指定部１４は、ユーザの操作に応じて切出し範囲を指定してよい。この場合には、画像生成装置１には操作部が設けられ、ユーザは操作部を操作することで切出し範囲を指定できる。切出し範囲指定部１４は、切出し範囲が所定の軌道を描くように自動で切出し範囲を移動させてもよい。
【００５２】
さらに、切出し範囲指定部１４は、全周囲画像から動体を検知して、その動体を追尾するように切出し範囲を指定してもよい。この場合には、切出し範囲指定部１４には、動き検知部１３から動きがあった範囲が通知され、切出し範囲指定部１４は、動きがあった範囲が中心になるように切出し範囲を指定する。また、切出し範囲指定部１４によって指定される切出し範囲は、その大きさ（ズーム倍率）が固定されていてもよいし、可変であってもよい。さらに、切出し範囲指定部１４は、切出し範囲を指定する際に半球上の任意の複数の点に向かう複数のベクトルを指定することで、四角形以外の矩形や、半球上の任意の形状を切出し範囲として指定することもできる。
【００５３】
平面画像蓄積部２０には、１つ前のフレームについて、その平面画像及び仮想カメラ平面の情報が蓄積されている。１つ前のフレームの平面画像は、合成部１９から平面画像蓄積部２０に出力される。また、１つ前の平面画像の仮想カメラ平面の情報は、仮想カメラ平面計算部１５から平面画像蓄積部２０に出力される。
【００５４】
平面画像蓄積部２０には、さらに、後述する再利用領域計算部１７が１つ前のフレームの平面画像を再利用できないと判定した後に、１つ前のフレームの平面画像を再利用しないで全周囲画像のみを用いて平面画像を生成したときの切出し範囲（以下、「初期切出し範囲」という。）の中心とその撮影時刻が記憶されている。初期切出し範囲の中心及び撮影時刻は、切出し範囲指定部１４から平面画像蓄積部２０に出力される。
【００５５】
仮想カメラ平面計算部１５は、平面画像蓄積部２０に蓄積された１つ前のフレームの平面画像の仮想カメラ平面の情報及び切出し範囲指定部１４によって指定された切出し範囲の情報に基づいて、現フレームの仮想カメラ平面を計算する。
【００５６】
具体的には、仮想カメラ平面計算部１５は、切出し範囲指定部１４にて指定された切出し範囲内にあって、かつ傾きが１つ前のフレームの平面画像の仮想カメラ平面と同じであり、１つ前のフレームの平面画像の仮想カメラ平面と一部が重なる平面を、現フレームの仮想カメラ平面として算出する。
【００５７】
このようにして算出される仮想カメラ平面は、図２（ｂ）の例では仮想カメラ平面ＶＰ’に相当する。仮想カメラ平面計算部１５は、算出した仮想カメラ平面の情報を重複領域計算部１６、再利用領域計算部１７、歪み補正部１８、及び平面画像蓄積部２０に出力する。
【００５８】
仮想カメラ平面は、切出し範囲の情報にさらに法線方向の情報を加えることで定義される。即ち、仮想カメラ平面を定義するパラメータは、切出し範囲を定義するパラメータである半球面の中心から切出し範囲の中心へのベクトル及び切出し範囲の大きさに、仮想カメラ平面の法線方向を加えたものである。なお、平面画像として最終的に得られる画像の大きさ（画素数）のパラメータをさらに加えることもできる。本実施の形態では、平面画像の大きさは固定されているとする。
【００５９】
重複領域計算部１６は、平面画像蓄積部２０に蓄積された１つ前の平面画像の仮想カメラ平面の情報を読み出して、これと仮想カメラ平面計算部１５から入力された仮想カメラ平面とに基づいて、両平面が互いに重複する領域（以下、「重複領域」という。）及び料平面が重複しない領域（以下、「非重複領域」をという。）を求める。
【００６０】
図３は、重複領域計算部１６において重複領域を求める方法の一例を説明する図である。図３（ａ）〜（ｃ）において、時刻ｔ０とｔ１とは、ｔ０＜ｔ１の関係にある。時刻ｔ１は現在であり、時刻ｔ０は過去である。時刻ｔ１は、時刻ｔ０に生成した平面画像の次のフレームとして平面画像を生成する時刻である。
【００６１】
図３（ａ）は、時刻ｔ０における切出し範囲ＣＡｔ０及びその仮想カメラ平面ＶＰｔ０と、時刻ｔ１における切出し範囲ＣＡｔ１との関係を示す図である。図３（ｂ）は、時刻ｔ０における仮想カメラ平面ＶＰｔ０と、時刻ｔ１における切出し範囲ＣＡｔ１及び仮想カメラ平面ＶＰｔ１’との関係を示す図である。図３（ｃ）は、時刻ｔ０における仮想カメラ平面ＶＰｔ０及び時刻ｔ１における仮想カメラ平面ＶＰｔ１’と、重複領域及び非重複領域との関係を示す図である。
【００６２】
図３（ａ）に示すように、時刻ｔ０における切出し範囲ＣＡｔ０が時刻ｔ１に切出し範囲ＣＡｔ１に変わると、重複領域計算部１６は、図３（ｂ）に示すように、切出し範囲ＣＡｔ１内に、時刻ｔ０における仮想カメラ平面ＶＰｔ０と平行であって、かつ重複するように時刻ｔ１の仮想カメラ平面ＶＰｔ１’を生成する。
【００６３】
そして、図３（ｃ）に示すように、仮想カメラ平面ＶＰｔ０において仮想カメラ平面ＶＰｔ１’と重なっている領域、及び仮想カメラ平面ＶＰｔ１’において仮想カメラ平面ＶＰｔ０と重なっている領域をそれぞれ重複領域と判断する。また、時刻ｔ１の切出し範囲のうち、時刻ｔ１の仮想カメラ平面ＶＰｔ１’において時刻ｔ０の仮想カメラ平面ＶＰｔ０と重なっていない領域に対応する部分を非重複領域と判断する。重複領域計算部１６は、以上のようにして求めた重複領域と非重複領域を再利用領域計算部１７に出力する。
【００６４】
動き検出部１３は、時刻ｔ０の全周囲画像と時刻ｔ１の全周囲画像との差分を取って、差分が所定の閾値以上である領域を動き領域として検出する。時刻ｔ０の全周囲画像は、それが全周囲画像取得部１１にて取得された後に全周囲画像蓄積部１２に保存されている。動き検出部１３は、全周囲画像蓄積部１２から過去の全周囲画像を読み出す。時刻ｔ１の全周囲画像は全周囲画像取得部１１から動き検出部１３に入力される。
【００６５】
図４（ａ）は、全周囲画像における動き領域を示す図である。図４（ａ）では、時刻ｔ０の全周囲画像ＥＰｔ０と時刻ｔ１の全周囲画像ＥＰｔ１とを重ねて表示している。図４（ａ）に示すように、時刻ｔ０から時刻ｔ１の間に動体である人が移動した場合には、時刻ｔ０に人が写っている領域及び時刻ｔ１に人が写っている領域が、時刻ｔ０の全周囲画像ＥＰｔ０と時刻ｔ１の全周囲画像ＥＰｔ１との間で差分が閾値以上になる領域となる。動き検出部１３は、この領域を動き領域ＭＡとして検出する。
【００６６】
再利用領域計算部１７は、１つ前のフレームの平面画像を再利用可能な領域（以下、「再利用領域」という。）と、１つ前のフレームの平面画像は再利用不可能であり全周囲画像取得部１１で得られた全周囲画像のみを利用しなければならない領域（以下、「新規領域」という。）とを求める。再利用領域計算部１７は、非重複領域と動き領域とを合せた領域を新規領域とし、重複領域であって、かつ動き領域ではない領域を再利用領域とする。
【００６７】
図４（ｂ）は、再利用領域及び新規領域を示す図である。再利用領域計算部１７は、重複領域計算部１６から取得した重複領域と非重複領域、及び動き検出部１３から取得した動き領域を用いて、図４（ｂ）に示すように、重複領域から動き領域を差し引いた領域（図４（ｂ）にてハッチングを施した領域）を再利用領域とする。また、再利用領域計算部１７は、時刻ｔ１の仮想カメラ平面ＶＰｔ１’から再利用領域を差し引いた領域を新規領域とする。
【００６８】
再利用領域計算部１７は、さらに、再利用可否の判定を行なう。即ち、再利用領域計算部１７は、再利用可否判定部としての機能を有する。再利用領域計算部１７は、所定の条件が再利用の限界（再利用限界）を超えている場合には、１つ前のフレームの平面画像（全体）を再利用しない（再利用不可）と判定して、歪み補正部１８に対してその旨の通知をする。再利用領域計算部１７は、所定の条件が再利用限界を超えていない場合には、歪み補正部１８に対して、再利用領域及び新規領域を通知する。再利用領域計算部１７は、以下の判定基準に従って再利用の可否を判定する。
【００６９】
（１）切出し範囲の中心角度差に関する基準
図５は、切出し範囲の中心角度差による再利用限界を説明する図である。上述のように、仮想カメラ平面計算部１５は、時刻ｔ１（現在）において、その切出し範囲にあって、かつ１つ前のフレームの平面画像を生成した時刻ｔ０の仮想カメラ平面ＶＰｔ０と一部が重なる仮想カメラ平面ＶＰｔ１’を求める。
【００７０】
このとき、再利用領域計算部１７は、現在の切出し範囲ＣＡｎの中心ＣＣｎの、所期切出し範囲ＣＡ０の中心ＣＣ０に対する角度が所定の閾値以上である場合は、１つ前のフレームの平面画像を再利用しない（再利用不可）と判定する。
【００７１】
初期切出し範囲と現在の切出し範囲との間の角度差が大きくなりすぎると、それに応じて現在の通常の仮想カメラ平面ＶＰｎと修正された仮想カメラ平面ＶＰｎ’との間の角度が大きくなりすぎてしまい、そのような仮想カメラ平面ＶＰｎ’に投影されて生成される平面画像の歪みも大きくなりすぎてしまうからである。再利用領域計算部１７は、初期切出し範囲ＣＡ０の中心ＣＣ０の情報を平面画像蓄積部２０から取得する。
【００７２】
（２）仮想カメラ平面の重複率に関する基準
図６は、仮想カメラ平面の重複率による再利用限界を説明する図である。再利用領域計算部１７は、重複領域計算部１６が求めた時刻ｔ１（現在）における仮想カメラ平面ＶＰｔ１’と１つ前のフレームの時刻ｔ０における仮想カメラ平面ＶＰｔ０との重複領域の仮想カメラ平面ＶＰｔ１’に対する比率（重複率）を求め、その重複率が所定の閾値以下である場合は、１つ前のフレームの平面画像を再利用しない（再利用不可）と判定する。
【００７３】
重複率が小さい場合には、仮想カメラ平面を１つ前のフレームと平行になるように修正してまで１つ前のフレームの平面画像を再利用する必要性ないしはその価値が小さくなるからである。
【００７４】
（３）再利用領域の大きさに関する基準
上述のように、再利用領域計算部１７は、重複領域から動き領域を差し引くことで再利用領域を求める。再利用領域計算部１７は、重複領域から動き領域を差し引いた結果、残った再利用領域が所定の閾値より小さい場合は、１つ前のフレームの平面画像を再利用しない（再利用不可）と判定する。
【００７５】
再利用領域が小さい場合には、仮想カメラ平面を１つ前のフレームと平行になるように修正してまで１つ前のフレームの平面画像を再利用する必要性ないしはその価値が小さくなるからである。再利用領域計算部１７は、再利用領域に含まれる画素数で再利用領域の大小を判断する。
【００７６】
（４）時間に関する基準
上述のように、平面画像を生成するにあたって、再利用領域については、１つ前のフレームで生成された平面画像を再利用する。しかし、１つ前のフレームとの関係で求められる再利用領域の面積が十分に大きく、１つ前のフレームの平面画像を再利用する価値が高いとしても、全周囲画像のみを用いて平面画像を生成した時刻からの時間間隔が長くなれば、累積では平面画像における誤差が大きくなる可能性がある。
【００７７】
そこで、再利用領域計算部１７は、全周囲画像のみを用いて平面画像を生成した時刻と、現在の時刻との差分が所定の閾値以上である場合には、１つ前のフレームの平面画像を再利用しない（再利用不可）と判定する。再利用領域計算部１７は、全周囲画像のみを用いて平面画像を生成した時刻を平面画像蓄積部２０から取得する。
【００７８】
なお、再利用領域においては、全周囲画像のみを用いて平面画像を生成したときに生成された画像部分と、その後の１つ前のフレームまでの各フレームで新規領域として全周囲画像を用いて各々生成された各画像部分とが含まれる。即ち、再利用する画像にも古い部分と比較的新しい部分とがある。よって、時間に関する基準を用いて、古い部分（画素単位でもブロック単位でもよい）から徐々に新規領域として、再利用をしないようにしてもよい。
【００７９】
再利用領域計算部１７は、上記の（１）〜（４）の基準のいずれかに該当する場合には、再利用限界に達したとして、１つ前のフレームの平面画像を再利用しない（再利用不可）と判定する。再利用限界に達した場合には、新たな平面画像を生成するために１つ前のフレームの平面画像の仮想カメラ平面と平行な仮想カメラ平面を採用する必要はないので、再利用領域計算部１７は、仮想カメラ平面を改めて求める。即ち、再利用領域計算部１７は、仮想カメラ平面を再計算する仮想カメラ平面再計算部としての機能も併せ持つ。
【００８０】
仮想カメラ平面を再計算するにあたって、再利用領域計算部１７は、図２の仮想カメラ平面ＶＰ１のように、切出し範囲内にあってその中心方向に垂直な平面を仮想カメラ平面とすることができる。また、再利用領域計算部１７は、切出し範囲の変更履歴に基づいて将来の切出し範囲を予測して、当該予測に基づいて、再利用限界に達した後の新たな基準画像を生成するための仮想カメラ平面を求めることができる。以下、予測に基づいて新たな基準画像のための仮想カメラ平面を求める方法を説明する。
【００８１】
図７は、再利用限界に達したときに予測に基づいて仮想カメラ平面を求める方法を説明するための図である。図７（ａ）は、再利用限界に達した状態を示す図であり、図７（ｂ）は、再利用限界に達した後に改めて求められた仮想カメラ平面を示す図である。仮想カメラ平面再計算部として機能する再利用領域計算部１７は、再利用限界に達すると、過去の切出し範囲の履歴から将来の切出し範囲の移動方向を予測する。
【００８２】
本実施の形態では、過去の切出し範囲の情報として、平面画像蓄積部２０には、初期切出し範囲の中心ＣＣ０が保存されているので、再利用領域計算部１７は、この初期切出し範囲の中心から再利用限界を超えたとき（現在）の切出し範囲の中心ＣＣｎへ向かう方向に切出し範囲が移動すると予測する。
【００８３】
再利用領域計算部１７は、現在の切出し範囲の中心ＣＣｎを基準として、初期切出し範囲の仮想カメラ平面と対称な傾きを有し、かつ現在の切出し範囲内の平面を新たな基準画像を生成するための仮想カメラ平面とする。即ち、再利用領域計算部１７は、図７（ｂ）に示すように、初期切出し範囲の中心ＣＣｉｎと半球の中心から新たな仮想カメラ平面ＶＰｎへ下ろした垂線ＰＬとのちょうど中間に再利用限界時（現在）の切出し範囲の中心ＣＣｌｔが位置するように、新たな仮想カメラ平面ＶＰｎの傾きを決定する。
【００８４】
歪み補正部１８は、再利用領域計算部１７から再利用領域と新規領域とが通知されて、１つ前のフレームの平面画像の一部を再利用する場合には、新規領域について全周囲画像取得部１１から全周囲画像を取得して、これを仮想カメラ平面部１５にて生成された仮想カメラ平面に投影して、平面画像の新規領域部分を生成し、これを合成部１９に出力する。
【００８５】
歪み補正部１８は、再利用領域計算部１７から基準画像を再利用しない旨の通知及び再計算された仮想カメラ平面の入力を受けると、切出し範囲すべてについて全周囲画像を全周囲画像取得部１１から取得して、それを再計算された仮想カメラ平面に投影して平面画像を生成する。生成された平面画像は新たな基準画像として平面画像蓄積部２０に出力されるとともに、合成部１９に出力される。
【００８６】
合成部１９は、歪み補正部１８から平面画像の新規領域部分のみを受けると、平面画像蓄積部２０から１つ前のフレームの平面画像を読み出して、読み出した平面画像の新規領域を歪み補正部１８から入力された画像に置換することにより、両画像を合成して、平面画像を生成する。生成された平面画像は、画像生成装置１の外部に出力されるとともに、平面画像蓄積部２０に蓄積される。
【００８７】
合成部１９は、歪み補正部１８から全体の平面画像が入力された場合（歪み補正部１８が切出し範囲全体について全周囲画像のみを用いて平面画像を生成した場合）には、この平面画像をそのまま画像生成装置１の外部及び平面画像蓄積部２０に出力する。
【００８８】
図８は、画像生成装置１にて実行される画像生成方法のフロー図である。以下、図８を参照して、本実施の形態の画像生成方法を説明する。本実施の形態の画像生成方法では、まず、全周囲画像取得部１１にて全周囲画像がキャプチャされる（ステップＳ１１）。そして、切出し範囲指定部１４は、切出し範囲を指定する（ステップＳ１２）。
【００８９】
このとき、切出し範囲指定部１４は、全周囲画像に基づいて（動きを検出して）切出し範囲を指定してもよいし、全周囲画像とは無関係に切出し範囲を指定してもよい。後者の場合には、ステップＳ１１とステップＳ１２の順序はいずれが先であっても、同時でもよい。
【００９０】
次に、仮想カメラ平面計算部１５は、切出し範囲指定部１４にて指定された切出し範囲及び１つ前のフレームの仮想カメラ平面に基づいて、切出し範囲指定部１４にて指定された切出し範囲にあって、１つ前のフレームの仮想カメラ平面に平行であり、かつ一部において重複する仮想カメラ平面を計算する（ステップＳ１３）。仮想カメラ平面部１５は、１つ前のフレームの仮想カメラ平面は、平面画像蓄積部２０から読み出し、生成した仮想カメラ平面を平面画像蓄積部２０に書き込む。
【００９１】
次に、重複領域計算部１６は、仮想カメラ平面計算部１５にて計算された仮想カメラ平面と平面画像蓄積部２０より読み出した１つ前のフレームの仮想カメラ平面との重複領域及び非重複領域を計算する（ステップＳ１４）。ここで、重複領域の有無を判断し（ステップＳ１５）、重複領域がある場合には（ステップＳ１５にてＹＥＳ）、動き検出部１３にて動き検出を行う（ステップＳ１６）。重複領域計算部１６にて重複領域を計算した結果、重複領域がない場合には（ステップＳ１５にてＮＯ）、１つ前のフレームの平面画像を再利用することはできないので、ステップＳ２３に移行する。
【００９２】
動き検出の後、再利用領域計算部１７は、重複領域及び非重複領域の情報並びに動き検出の結果に基づいて、重複領域から動き領域を差し引くことで再利用領域を求め、重複領域中の動き領域と非重複領域とを合わせた領域を新規領域として求める（ステップＳ１７）。再利用領域計算部１７は、続いて、再利用可能であるか否かを判定する（ステップＳ１８）。この判定には、上記で説明した（１）〜（４）の判定基準を採用する。判定の結果、（１）〜（４）のいずれかに該当し、再利用限界に達していると判断した場合には（ステップＳ１８にてＮＯ）、ステップＳ２３に移行する。
【００９３】
なお、判定基準（１）については、切出し範囲が指定された時点で判定できるので、ステップＳ１２の後に判定基準（１）による判定を行って、再利用限界に達している場合には、その時点で直ちにステップＳ２３に移行してもよい。また、判定基準（２）については、仮想カメラ平面が計算された時点で判定できるので、ステップＳ１３の後に判定基準（２）による判定を行って、再利用限界に達している場合には、その時点で直ちにステップＳ２３に移行してもよい。
【００９４】
さらに、判定基準（４）については、ステップＳ１１の時点で判定できるので、ステップＳ１１の後に判定基準（４）による判定を行って、再利用限界に達している場合には、その時点で直ちにステップＳ２３に移行してもよい。判定基準（３）については、再利用領域の情報を利用するので、ステップＳ１７以後でなければ判定できない。本実施の形態では、（１）〜（４）のすべての判定基準について判定できるステップＳ１７の後に、（１）〜（４）のすべての判定基準について判定するようにしている。
【００９５】
１つ前のフレームの平面画像が再利用可能であると判定された場合には（ステップＳ１８でＹＥＳ）、歪み補正部１８は、新規領域について、全周囲画像取得部１１から全周囲画像を読み出して、それをステップＳ１３にて計算された仮想カメラ平面に投影することで、歪み補正を行う（ステップＳ１９）。
【００９６】
そして、合成部１９は、１つ前のフレームの平面画像を平面画像蓄積部２０から読み出して（ステップＳ２０）、ステップＳ２０にて読み出した平面画像における新規領域をステップＳ１９にて得られた部分画像に置き換えることで、両画像を合成する（ステップＳ２１）。合成部２０は、平面画像を出力する（ステップＳ２２）。
【００９７】
重複領域の計算の結果、重複領域がない場合や（ステップＳ１５にてＮＯ）、再利用可否判定の結果、再利用できないと判定された場合（ステップＳ１８にてＮＯ）は、仮想カメラ平面を再計算する（ステップＳ２３）。
【００９８】
仮想カメラ平面が再計算された場合には、歪み補正部１８は、全領域について、再計算された平面に全周囲画像を投影することで、全周囲画像の歪み補正をし、平面画像を生成する（ステップＳ２４）。この場合には、そのときの切出し範囲（初期切出し範囲）の中心及び撮影時刻を平面画像蓄積部２０に蓄積する（ステップＳ２５）。なお、ステップＳ２４及びステップＳ２５はいずれが先でもよく、同時でもよい。このようにして生成された平面画像は、ステップＳ２２で出力される。
【００９９】
生成された平面画像が、ステップＳ２２にて出力されると、ステップＳ１１に戻って再び全周囲画像をキャプチャし、上記の処理が繰り返される。
【０１００】
以上説明したように、本実施の形態の画像生成装置１及び画像生成方法によれば、切出し範囲が移動した場合に、１つ前のフレームの仮想カメラ平面と平行でかつ一部重複する仮想カメラ平面に投影される平面画像を生成するので、重複領域については、１つ前のフレームで生成された平面画像を再利用することができる。これにより、歪み補正をするべき領域を少なくすることができ、その分演算量やメモリアクセスを削減できる。
【０１０１】
また、上記の実施の形態では、動き検出部１３にて全周囲画像の中の動き領域を検出し、この動き領域を重複領域から除いた領域のみについて、１つ前のフレームの平面画像を再利用するので、利用態様において、全周囲画像に動きが生じることが前提となっている場合には、動きが生じた部分の正しい平面画像を得ることができる。
【０１０２】
なお、利用態様において、全周囲画像に動きが生じることが前提となっていない場合（生じた動きを順次生成される平面画像にて正確に表示する必要がない場合を含む）には、全周囲画像蓄積部１２及び動き検出部１３を省略することができ、これに伴って再利用領域計算部１７も重複領域をそのまま再利用領域としてもよい。
【０１０３】
また、上記の実施の形態では、再利用領域計算部１７は、再利用可否判定部としての機能を有し、再利用限界に達した場合には、１つ前のフレームの平面画像の再利用をやめるので、１つ前のフレームの平面画像を再利用することによる過度の画像劣化や画像の不正確さを回避できる。
【０１０４】
画像生成装置１は、一部の構成が撮像装置（カメラ）に設けられ、他の一部の構成が画像処理装置に設けられ、撮像装置と画像処理装置とが接続されることで形成されてよい。この場合、例えば、撮像装置には、全周囲画像取得部１１と送受信部が設けられ、画像処理装置に上記で説明したその他の構成要素及び送受信部が設けられる。
【０１０５】
画像処理装置の送受信部は、再利用領域計算部１７にて計算された新規領域の情報を撮像装置に送信する。撮像装置の送受信部は、新規領域の情報を受信して、当該新規領域の全周囲画像を画像処理装置に対して送信する。画像処理装置の送受信部は、新規領域の全周囲画像を受信する。
【０１０６】
なお、上記の実施の形態では、１つ前のフレームの仮想カメラ平面と平行で、かつ一部において重複する仮想カメラ平面を計算して、新規領域については、全周囲画像取得部１１にて取得された全周囲画像を、その計算された仮想カメラ平面に投影したが、新規領域について全周囲画像を投影するための仮想カメラ平面は、常に切出し範囲の中心に垂直な平面としてもよい。
【０１０７】
この場合には、合成により生成される平面画像において、新規領域と再利用領域との境が不自然になるが、上記の実施の形態のように切出し範囲が移動するに従って仮想カメラ平面の傾きが大きくなることがなく、上記の実施の形態の再利用限界を気にすることなく、１つ前のフレームの平面画像を再利用することができる。
【０１０８】
また、上記の実施の形態では、１つ前のフレームの平面画像を再利用したが、全周囲画像のみを用いて生成された平面画像を基準画像として、その後のフレームについては、再利用限界に達するまでは、再利用領域について当該基準画像を再利用してもよい。
【０１０９】
上記の実施の形態において、図３を用いて重複領域計算部１６が重複領域を求める方法を説明したが、重複領域を求める方法は、これに限られない。図９は、重複領域計算部１６において重複領域を求める方法の他の例を説明する図である。
【０１１０】
図９（ａ）は、時刻ｔ０における切出し範囲ＣＡｔ０及びその仮想カメラ平面ＶＰｔ０と、時刻ｔ１における切出し範囲ＣＡｔ１及びその仮想カメラ平面ＶＰｔ１との関係を示す図である。図９（ｂ）は、時刻ｔ０における仮想カメラ平面ＶＰｔ０と時刻ｔ１における仮想カメラ平面ＶＰｔ１との関係を示す図である。図９（ｃ）は、時刻ｔ０における仮想カメラ平面ＶＰｔ０及び時刻ｔ１における仮想カメラ平面ＶＰｔ１と、重複領域及び非重複領域との関係を示す図である。
【０１１１】
図９（ａ）に示すように時刻ｔ０における切出し範囲ＣＡｔ０が時刻ｔ１に切出し範囲ＣＡｔ１に変わると、重複領域計算部１６は、図９（ａ）に示すように、時刻ｔ１における仮想カメラ平面ＶＰｔ１を求める。この仮想カメラ平面ＶＰｔ１は、切出し範囲ＣＡｔ１内にあって、その法線が半球面の中心Ｏから時刻ｔ１の切出し範囲ＣＡｔ１の中心に向かうベクトルと重なる平面である。即ち、上記の図３の例では、時刻ｔ１に、時刻ｔ０の仮想カメラ平面ＶＰｔ０に平行で、かつ重なる仮想カメラ平面ＶＰｔ１’を求めたが、図９の例では、切出し範囲ＣＡｔ１が与えられたときに、時刻ｔ０の仮想カメラ平面ＶＰｔ０の向きとは無関係に、切出し範囲ＣＡｔ１に対して傾きのない仮想カメラ平面ＶＰｔ１を生成する。
【０１１２】
次に、重複領域計算部１６は、時刻ｔ０の仮想カメラ平面ＶＰｔ０からそれと重なる時刻ｔ１の仮想カメラ平面ＶＰｔ１の端点（図３では点で表示されているが、実際には辺である。）に対して垂線（図３では線で表示されているが、実際には面である）を下ろし、時刻ｔ１の仮想カメラ平面ＶＰｔ１と重なる時刻ｔ０の仮想カメラ平面ＶＰｔ０の端点から時刻ｔ１の仮想カメラ平面ＶＰｔ１に垂線を下ろす。
【０１１３】
そして、図９（ｃ）に示すように、仮想カメラ平面ＶＰｔ０において仮想カメラ平面ＶＰｔ１と重なっている領域、及び仮想カメラ平面ＶＰｔ１において仮想カメラ平面ＶＰｔ０と重なっている領域をそれぞれ重複領域と判断する。また、時刻ｔ１の切出し範囲のうち、時刻ｔ１の仮想カメラ平面ＶＰｔ１において時刻ｔ０の仮想カメラ平面ＶＰｔ０と重なっていない領域に対応する部分を非重複領域と判断する。
【０１１４】
なお、上記の実施の形態の画像生成装置及び画像生成方法は、汎用のコンピュータがコンピュータプログラムを実行することによって実現されてよい。
【産業上の利用可能性】
【０１１５】
以上のように、本発明は、演算量やメモリアクセスを削減でき、歪みを有する撮影画像の一部範囲を切出して歪み補正を行なって当該一部範囲の平面画像を生成する画像生成装置及び画像生成方法等として有用である。
【符号の説明】
【０１１６】
１ 画像生成装置
１１ 全周囲画像取得部
１２ 全周囲画像蓄積部
１３ 動き検出部
１４ 切出し範囲指定部
１５ 仮想カメラ平面計算部
１６ 重複領域計算部
１７ 再利用領域計算部
１８ 歪み補正部
１９ 合成部
２０ 平面画像蓄積部
【技術分野】
【０００１】
本発明は、歪みを有する全周囲画像から切出した切出し範囲について平面画像を生成する画像生成装置及び画像生成方法に関し、特に、切出し範囲を全周囲画像内で移動させた場合に効率的に切出し範囲の平面画像を生成する画像生成装置及び画像生成方法に関するものである。
【背景技術】
【０００２】
従来より、監視カメラ等には全周囲カメラが用いられる。全周囲カメラは、３６０度カメラとも呼ばれ、魚眼レンズやミラーなどを用いて、水平画角３６０度、垂直画角１８０度の全周囲画像を撮影して、円形又はドーナツ形状の撮影画像（以下、「全周囲画像」という。）を得ることができる。
【０００３】
全周囲画像を平面画像に補正することで、通常のカメラで撮影されたのと同様な画像を得ることができる。特に、全周囲画像を全周について展開すれば、３６０度のパノラマ画像が１つのカメラの１度の撮影で得られることになる。
【０００４】
また、全周囲画像の一部範囲を切り出して平面画像に補正するとともに、その切出し範囲を移動させることで、通常のカメラをパン、チルトさせながら撮影されたのと同様な複数の平面画像（ないしは動画像）が得られる。このように、あたかも通常のカメラをパン、チルト、ズームしながら撮影をして得られたような複数の平面画像が得られるように、全周囲画像の切出し範囲を変化させる制御を、電子ＰＴＺ（pan, tilt, zoom）制御という。
【０００５】
全周囲画像から一部範囲を切り出すとともにその切出し範囲を移動させる用途としては、例えば、監視カメラにおいて、切出し範囲を手動で移動させるものや、切出し範囲を所定の軌道で自動的に移動させるものや、全周囲画像から動体を検出して、検出した動体を追尾するように自動で切出し範囲を移動させるもの等がある。
【０００６】
図１０（ａ）は、全周囲画像の例を示す図であり、図１０（ｂ）は、図１０（ａ）の全周囲画像から一部範囲ＰＡを切出して生成した平面画像を示す図である。図１０（ａ）に示されるように、全周囲画像は、魚眼レンズを用いて、例えば全周囲画像の中心からの距離と仰角が比例する等距離射影方式で撮影されることから、歪みが生じている。従って、全周囲画像から一部範囲ＰＡを切出して図１０（ｂ）に示す平面画像を得るには、歪み補正を行なう必要がある（例えば、特許文献１を参照）。
【０００７】
図１１及び図１２は、平面画像の生成を説明する図である。図１１（ａ）は、魚眼レンズの中心をその中心とし、焦点距離をその半径とする仮想の半球面（以下、単に「半球面」という。）ＳＳと、全周囲画像を投影するための平面である仮想カメラ平面ＶＰとの関係を示す図であり、図１１（ｂ）は、イメージセンサＩＳに投影された全周囲画像を示す図である。また、図１２（ａ）及び（ｂ）は、いずれも図１１（ａ）の中心Ｏを通り、仮想カメラ平面ＶＰに垂直に交わる平面で図１１（ａ）に示す全周囲画像の投影面及び仮想カメラ平面ＶＰを切断した図である（以下、図２、５、６、７も同様である）。図１２（ａ）は、仮想カメラ平面ＶＰを示しており、図１２（ｂ）は、切出し範囲が移動した場合の仮想カメラ平面ＶＰ’を示している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−６１２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
全周囲画像から一部範囲を切出して歪み補正を行って（即ち、仮想カメラ平面に投影して）平面画像を生成する処理は、演算量やメモリアクセスが多く、処理負担が大きいという問題がある。切出し範囲が一箇所に固定されているのであれば、あるフレームの平面画像を生成した後の次のフレームについては、前のフレームの画素を再利用することで、演算量やメモリアクセスを削減できる。
【００１０】
しかしながら、切出し範囲を移動させる場合には、前のフレームの画素をそのまま再利用することはできない。図１２（ｂ）から明らかなように、切出し範囲が移動して、それによって仮想カメラ平面が図１２（ａ）の仮想カメラ平面ＶＰ（図１２（ｂ）では点線で示されている）から図１２（ｂ）の仮想カメラ平面ＶＰ’（図１２（ｂ）では実線で示されている）に移動した場合には、再利用可能な画素は両平面の交線上の画素に限られ、演算量やメモリアクセスを十分に削減することができない。
【００１１】
本発明は、上記の問題点に鑑みてなされたものであり、切出し範囲を移動させながら全周囲画像から切出し範囲の画像を切出して平面画像を生成するにあたり、演算量やメモリアクセスを軽減することのできる画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記従来の課題を解決するために、本発明の画像生成装置は、歪みを有する全周囲画像から切出した切出し範囲について平面画像を生成する画像生成装置であって、前記全周囲画像を取得する全周囲画像取得部と、前記切出し範囲を指定する切出し範囲指定部と、前記切出し範囲から過去の平面画像を再利用できる再利用領域と、過去の平面画像を再利用できない新規領域とを求める再利用領域計算部と、前記過去の平面画像を蓄積するための平面画像蓄積部と、前記全周囲画像の前記新規領域に対して歪み補正を行う歪み補正部と、前記平面画像蓄積部に蓄積された平面画像中の前記再利用領域の画像と、前記歪み補正部にて歪み補正された前記新規領域の画像とを合成することで、平面画像を生成して、前記平面画像蓄積部に出力する合成部とを備えた構成を有している。
【００１３】
この構成により、平面画像を生成するために、再利用領域については既に生成されている過去の平面画像を再利用するので、歪み補正部は、新規領域についてのみ歪み補正をすればよく、従って、演算量やメモリアクセスを軽減できる。
【００１４】
また、上記の画像生成装置において、前記過去の平面画像は、１つ前のフレームの平面画像であってよい。
【００１５】
この構成により、過去の平面画像として１つ前のフレームの平面画像を再利用するので、再利用領域が大きくなり、演算量やメモリアクセスの軽減の効果が高くなる。
【００１６】
また、上記の画像生成装置において、前記再利用領域計算部は、前記過去の平面画像がある前記切出し範囲内の領域を前記再利用領域として求めてよい。
【００１７】
これにより、切出し範囲において過去の平面画像が既に生成されている場合は、その領域について、過去の平面画像を再利用して、演算量やメモリアクセスを軽減できる。
【００１８】
また、上記の画像生成装置において、前記歪み補正部は、仮想カメラ平面を用いて、前記仮想カメラ平面に前記新規領域の前記全周囲画像を投影することで、歪み補正を行ってよく、前記歪み補正部が用いる仮想カメラ平面は、前記過去の平面画像を生成した際の仮想カメラ平面と重複してよい。
【００１９】
この構成により、再利用領域と新規領域とは同一の平面に投影された画像となるので、再利用領域と新規領域との間の投影面の不一致による不自然さをなくすことができる。
【００２０】
また、上記の画像生成装置は、前記全周囲画像中の動き領域を検出する動き検出部をさらに備えてよく、前記再利用領域計算部は、前記動き領域を除いて、前記過去の平面画像がある前記切出し範囲内の領域を前記再利用領域としてよい。
【００２１】
この構成により、全周囲画像中に移動する人などの動体があった場合には、その領域を再利用領域から除外して新規領域とするので、過去の平面画像を再利用することにより動体の正確な像が得られないという事態を回避できる。
【００２２】
また、上記の画像生成装置は、所定の判定基準に従って再利用の可否を判定する再利用可否判定部をさらに備えてよく、前記合成部は、前記再利用可否判定部にて再利用可能と判定された場合にのみ、前記平面画像蓄積部に蓄積された前記再利用領域の画像と、前記歪み補正部にて歪み補正された前記新規領域の画像とを合成して、平面画像を生成してよい。
【００２３】
この構成により、過去の平面画像の再利用が適当でない場合にも無理に過去の平面画像を再利用することによる、生成された平面画像の不正確性や過度の画質劣化を回避できる。
【００２４】
また、上記の画像生成装置において、前記再利用可否判定部にて再利用不可と判定された場合は、前記歪み補正部は、前記切出し範囲の全領域について、前記全周囲画像の歪み補正を行い、前記合成部は、前記歪み補正部にて歪み補正が行われた画像を前記平面画像として前記平面画像蓄積部に出力してよい。
【００２５】
この構成により、再利用不可と判定された場合には、過去の平面画像を再利用せずに通常通り全周囲画像に対して歪み補正を行なうことで平面画像を生成するので、切出し範囲が移動して再利用限界に達するごとに、信頼性の高い平面画像を生成でき、また、そのような平面画像が生成された後には、再び再利用限界に達するまで過去の平面画像を再利用することができる。
【００２６】
また、上記の画像生成装置において、前記判定基準は、前記切出し範囲の全領域について、前記全周囲画像の歪み補正を行って前記平面画像を生成した際の切出し範囲の中心方向と現在の切出し範囲の中心方向との間の角度差の基準であり、前記再利用可否判定部は、前記角度差が所定の閾値以上であるときは、再利用不可と判定してよい。
【００２７】
この構成により、過去の平面画像を再利用して生成される平面画像の歪みが過大になることを回避できる。
【００２８】
また、上記の画像生成装置において、記歪み補正部は、仮想カメラ平面を用いて、前記仮想カメラ平面に前記新規領域の前記全周囲画像を投影することで、歪み補正を行ってよく、前記仮想カメラ平面は、前記過去の平面画像を生成した際の仮想カメラ平面と重複してよく、前記判断基準は、前記過去の平面画像を生成した際の仮想カメラ平面と、それに重複する前記仮想カメラ平面との重複率の基準であってよく、前記再利用可否判定部は、前記重複率が所定の閾値以下であるときは、再利用不可と判定してよい。
【００２９】
この構成により、仮想カメラ平面の重複率があまりに小さく過去の平面画像を再利用する価値が低い場合には、全周囲画像のみを用いて平面画像を生成できる。
【００３０】
また、上記の画像生成装置において、前記判断基準は、前記再利用領域の大きさの基準であってよく、前記再利用可否判定部は、前記再利用領域が所定の閾値以下であるときは、再利用不可と判定してよい。
【００３１】
この構成により、再利用できる領域の大きさがあまりに小さく過去の平面画像を再利用する価値が低い場合には、全周囲画像のみを用いて平面画像を生成できる。
【００３２】
また、上記の画像生成装置において、前記判断基準は、全周囲画像のみを用いて平面画像を生成した際の時刻と現在の時刻との時間差の基準であってよく、前記再利用可否判定部は、前記時間差が所定の閾値以上であるときは、再利用不可と判定してよい。
【００３３】
この構成により、実際の全周囲画像との差分が過大になることを回避できる。
【００３４】
本発明の別の態様は画像生成方法であり、この画像生成方法は、歪みを有する全周囲画像から切出した切出し範囲について平面画像を生成する画像生成方法であって、前記全周囲画像を取得する全周囲画像取得ステップと、前記切出し範囲を指定する切出し範囲指定ステップと、前記切出し範囲から過去の平面画像を再利用できる再利用領域と、過去の平面画像を再利用できない新規領域とを求める再利用領域計算ステップと、前記全周囲画像の前記新規領域に対して歪み補正を行う歪み補正ステップと、平面画像を生成する平面画像生成ステップと、前記平面画像生成ステップにて生成された平面画像を蓄積する平面画像蓄積ステップとを含み、前記平面画像生成ステップは、前記平面画像蓄積ステップにて蓄積された過去の平面画像中の前記再利用領域の画像と、前記歪み補正ステップにて歪み補正された前記新規領域の画像とを合成することで、前記平面画像を生成する。
【００３５】
この構成によっても、平面画像を生成するために、再利用領域については過去の平面画像を再利用するので、歪み補正部は、新規領域についてのみ歪み補正をすればよく、従って、演算量やメモリアクセスを軽減できる。
【００３６】
本発明のさらに別の態様は、コンピュータに上記の画像生成方法を実行させるためのコンピュータプログラムである。
【発明の効果】
【００３７】
本発明は、平面画像を生成するために、再利用領域については過去の平面画像を再利用するので、歪み補正部は、新規領域についてのみ歪み補正をすればよく、従って、演算量やメモリアクセスを軽減できる。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施の形態における画像生成装置の構成図
【図２】（ａ）従来の平面画像の生成方法を示す図（ｂ）本発明の実施の形態における画像生成装置による平面画像の生成方法を示す図
【図３】（ａ）本発明の実施の形態における時刻ｔ０の切出し範囲及びその仮想カメラ平面と、時刻ｔ１の切出し範囲との関係を示す図（ｂ）本発明の実施の形態における時刻ｔ０の仮想カメラ平面と、時刻ｔ１の切出し範囲及び仮想カメラ平面との関係を示す図（ｃ）本発明の実施の形態における時刻ｔ０の仮想カメラ平面及び時刻ｔ１の仮想カメラ平面と、重複領域及び非重複領域との関係を示す図
【図４】（ａ）本発明の実施の形態における全周囲画像における動き領域を示す図（ｂ）再利用領域及び新規領域を示す図
【図５】本発明の実施の形態における切出し範囲の中心角度差による再利用限界を説明する図
【図６】本発明の実施の形態における仮想カメラ平面の重複率による再利用限界を説明する図
【図７】（ａ）本発明の実施の形態における再利用限界に達した状態を示す図 （ｂ）本発明の実施の形態における再利用限界に達した後に改めて求められた仮想カメラ平面を示す図
【図８】本発明の実施の形態における画像生成装置にて実行される画像生成方法のフロー図
【図９】（ａ）本発明の実施の形態の変形例における時刻ｔ０の切出し範囲及びその仮想カメラ平面と、時刻ｔ１の切出し範囲及びその仮想カメラ平面との関係を示す図（ｂ）本発明の実施の形態の変形例における時刻ｔ０の仮想カメラ平面と時刻ｔ１における仮想カメラ平面との関係を示す図（ｃ）本発明の実施の形態の変形例における時刻ｔ０における仮想カメラ平面及び時刻ｔ１における仮想カメラ平面と、重複領域及び非重複領域との関係を示す図
【図１０】（ａ）全周囲画像の例を示す図（ｂ）（ａ）の全周囲画像から切出し範囲を切出して生成した平面画像を示す図
【図１１】（ａ）半球面と仮想カメラ平面との関係を示す図（ｂ）イメージセンサに投影された全周囲画像を示す図
【図１２】（ａ）仮想カメラ平面を示す図（ｂ）切出し範囲が移動した場合の仮想カメラ平面を示す図
【発明を実施するための形態】
【００３９】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００４０】
まず、図２を参照して、本発明の実施の形態の画像生成装置が従来の課題を解決するための基本的な原理を説明する。図２（ａ）は、従来の平面画像の生成方法を示しており、図２（ｂ）は、本実施の形態の画像生成装置による平面画像の生成方法を示している。
【００４１】
背景技術として既に説明したとおり、従来の平面画像の生成方法では、図２（ａ）に示すように、あるフレームにおいて、切出し範囲ＣＡ１について、全周囲画像から平面画像を生成し、次のフレームで切出し範囲が切出し範囲ＣＡ１から切出し範囲ＣＡ２に変化した場合において、切出し範囲ＣＡ２の平面画像に、切出し範囲ＣＡ１の平面画像の画素を再利用しようとしても、仮想カメラ平面ＶＰ１と仮想カメラ平面ＶＰ２との交線上の画素しか再利用できない。これは、仮想カメラ平面ＶＰ１と仮想カメラ平面ＶＰ２の法線方向が、常に切出し範囲の中心方向即ち切出し範囲の中心から半球面の中心に向かう方向とされているからである。
【００４２】
これに対して、本実施の形態では、図２（ｂ）に示すように、切出し範囲ＣＡ２の平面画像を生成するための仮想カメラ平面ＶＰ２’を、切出し範囲ＣＡ２内にあって、かつ画素を再利用しようとする平面画素の仮想カメラ平面ＶＰ１と平行にして、仮想カメラ平面ＶＰ２’と仮想カメラ平面ＶＰ１とが一部重なる（同一平面上になる）ようにする。即ち、仮想カメラ平面は、前のフレームの仮想カメラ平面と平行で一部が重なるように求める。
【００４３】
そうすると、この仮想カメラ平面ＶＰ２’に切出し範囲ＣＡ２の全周囲画像を投影した平面画像を生成する場合には、仮想カメラ平面ＶＰ２’と仮想カメラ平面ＶＰ１との重なった部分については、仮想カメラ平面ＶＰ１に投影されて既に生成されている切出し範囲ＣＡ１の平面画像の画素を再利用することができる。
【００４４】
このようにして、本実施の形態では、切出し範囲が移動した場合に、その仮想カメラ平面を、移動した切出し範囲内にあって、かつ基準画像の仮想カメラ平面と一部が重なるように設定するので、移動後の切出し範囲の平面画像を生成するに際に基準画像の一部領域を再利用することができ、演算量やメモリアクセスを削減できる。なお、１つ前のフレームの仮想カメラ平面と重ならない部分の画像については、全周囲画像を仮想カメラ平面に投影することにより生成する。
【００４５】
切出し範囲がさらに移動した場合にも、後述する再利用限界までは、１つ前のフレームの仮想カメラ平面と重なる仮想カメラ平面を求めて、重複部分については、既に生成されている１つ前のフレームの平面画像を再利用するとともに、１つ前のフレームの仮想カメラ平面と重複しない部分については、現在のフレームの仮想カメラ平面に全周囲画像の該当部分を投影することにより、当該部分の画像を生成する。
【００４６】
以上が本実施の形態の画像生成装置が課題を解決する基本的な原理である。以下、本実施の形態の画像生成装置の構成を具体的に説明する。
【００４７】
図１は、本実施の形態の画像生成装置の構成を示すブロック図である。画像生成装置１は、全周囲画像取得部１１、全周囲画像蓄積部１２、動き検出部１３、切出し範囲指定部１４、仮想カメラ平面計算部１５、重複領域計算部１６、再利用領域計算部１７、歪み補正部１８、合成部１９、及び画像蓄積部２０を備えている。
【００４８】
全周囲画像取得部１１は、被写体を撮像して全周囲画像を取得する。本実施の形態では、魚眼レンズを用いて等距離射影方式により撮像素子に被写体像を投影して、水平画角３６０度、垂直画角１８０度の全周囲画像を取得する。この全周囲画像は、円形であり、中心から離れるほど歪みの度合いが大きくなっている画像である。全周囲画像取得部１１にて取得された全周囲画像は、全周囲画像蓄積部１２及び動き検出部１３に出力される。
【００４９】
切出し範囲指定部１４は、全周囲画像から平面画像を生成するために切り出す範囲（切出し範囲）を指定する。切出し範囲は、半球面上の４点にそれぞれ向かう４本のベクトルで特定され、この４本のベクトルに囲まれる範囲が切出し範囲となる。
【００５０】
本実施の形態では、切出し範囲の縦横比及び向きが固定であるので、切出し範囲は、半球面の中心から切出し範囲の中心へのベクトルと切出し範囲の大きさのパラメータで定義される。このベクトルの水平方向の角度は、通常のカメラのパン角に相当し、ベクトルの垂直方向の角度は、通常のカメラのチルト角に相当し、切出し範囲の大きさ（切出し画角）は、通常のカメラのズームに相当する。従って、切出し範囲の指定は、換言すれば電子ＰＴＺ制御におけるパン、チルト、ズームの指定である。
【００５１】
切出し範囲指定部１４は、ユーザの操作に応じて切出し範囲を指定してよい。この場合には、画像生成装置１には操作部が設けられ、ユーザは操作部を操作することで切出し範囲を指定できる。切出し範囲指定部１４は、切出し範囲が所定の軌道を描くように自動で切出し範囲を移動させてもよい。
【００５２】
さらに、切出し範囲指定部１４は、全周囲画像から動体を検知して、その動体を追尾するように切出し範囲を指定してもよい。この場合には、切出し範囲指定部１４には、動き検知部１３から動きがあった範囲が通知され、切出し範囲指定部１４は、動きがあった範囲が中心になるように切出し範囲を指定する。また、切出し範囲指定部１４によって指定される切出し範囲は、その大きさ（ズーム倍率）が固定されていてもよいし、可変であってもよい。さらに、切出し範囲指定部１４は、切出し範囲を指定する際に半球上の任意の複数の点に向かう複数のベクトルを指定することで、四角形以外の矩形や、半球上の任意の形状を切出し範囲として指定することもできる。
【００５３】
平面画像蓄積部２０には、１つ前のフレームについて、その平面画像及び仮想カメラ平面の情報が蓄積されている。１つ前のフレームの平面画像は、合成部１９から平面画像蓄積部２０に出力される。また、１つ前の平面画像の仮想カメラ平面の情報は、仮想カメラ平面計算部１５から平面画像蓄積部２０に出力される。
【００５４】
平面画像蓄積部２０には、さらに、後述する再利用領域計算部１７が１つ前のフレームの平面画像を再利用できないと判定した後に、１つ前のフレームの平面画像を再利用しないで全周囲画像のみを用いて平面画像を生成したときの切出し範囲（以下、「初期切出し範囲」という。）の中心とその撮影時刻が記憶されている。初期切出し範囲の中心及び撮影時刻は、切出し範囲指定部１４から平面画像蓄積部２０に出力される。
【００５５】
仮想カメラ平面計算部１５は、平面画像蓄積部２０に蓄積された１つ前のフレームの平面画像の仮想カメラ平面の情報及び切出し範囲指定部１４によって指定された切出し範囲の情報に基づいて、現フレームの仮想カメラ平面を計算する。
【００５６】
具体的には、仮想カメラ平面計算部１５は、切出し範囲指定部１４にて指定された切出し範囲内にあって、かつ傾きが１つ前のフレームの平面画像の仮想カメラ平面と同じであり、１つ前のフレームの平面画像の仮想カメラ平面と一部が重なる平面を、現フレームの仮想カメラ平面として算出する。
【００５７】
このようにして算出される仮想カメラ平面は、図２（ｂ）の例では仮想カメラ平面ＶＰ’に相当する。仮想カメラ平面計算部１５は、算出した仮想カメラ平面の情報を重複領域計算部１６、再利用領域計算部１７、歪み補正部１８、及び平面画像蓄積部２０に出力する。
【００５８】
仮想カメラ平面は、切出し範囲の情報にさらに法線方向の情報を加えることで定義される。即ち、仮想カメラ平面を定義するパラメータは、切出し範囲を定義するパラメータである半球面の中心から切出し範囲の中心へのベクトル及び切出し範囲の大きさに、仮想カメラ平面の法線方向を加えたものである。なお、平面画像として最終的に得られる画像の大きさ（画素数）のパラメータをさらに加えることもできる。本実施の形態では、平面画像の大きさは固定されているとする。
【００５９】
重複領域計算部１６は、平面画像蓄積部２０に蓄積された１つ前の平面画像の仮想カメラ平面の情報を読み出して、これと仮想カメラ平面計算部１５から入力された仮想カメラ平面とに基づいて、両平面が互いに重複する領域（以下、「重複領域」という。）及び料平面が重複しない領域（以下、「非重複領域」をという。）を求める。
【００６０】
図３は、重複領域計算部１６において重複領域を求める方法の一例を説明する図である。図３（ａ）〜（ｃ）において、時刻ｔ０とｔ１とは、ｔ０＜ｔ１の関係にある。時刻ｔ１は現在であり、時刻ｔ０は過去である。時刻ｔ１は、時刻ｔ０に生成した平面画像の次のフレームとして平面画像を生成する時刻である。
【００６１】
図３（ａ）は、時刻ｔ０における切出し範囲ＣＡｔ０及びその仮想カメラ平面ＶＰｔ０と、時刻ｔ１における切出し範囲ＣＡｔ１との関係を示す図である。図３（ｂ）は、時刻ｔ０における仮想カメラ平面ＶＰｔ０と、時刻ｔ１における切出し範囲ＣＡｔ１及び仮想カメラ平面ＶＰｔ１’との関係を示す図である。図３（ｃ）は、時刻ｔ０における仮想カメラ平面ＶＰｔ０及び時刻ｔ１における仮想カメラ平面ＶＰｔ１’と、重複領域及び非重複領域との関係を示す図である。
【００６２】
図３（ａ）に示すように、時刻ｔ０における切出し範囲ＣＡｔ０が時刻ｔ１に切出し範囲ＣＡｔ１に変わると、重複領域計算部１６は、図３（ｂ）に示すように、切出し範囲ＣＡｔ１内に、時刻ｔ０における仮想カメラ平面ＶＰｔ０と平行であって、かつ重複するように時刻ｔ１の仮想カメラ平面ＶＰｔ１’を生成する。
【００６３】
そして、図３（ｃ）に示すように、仮想カメラ平面ＶＰｔ０において仮想カメラ平面ＶＰｔ１’と重なっている領域、及び仮想カメラ平面ＶＰｔ１’において仮想カメラ平面ＶＰｔ０と重なっている領域をそれぞれ重複領域と判断する。また、時刻ｔ１の切出し範囲のうち、時刻ｔ１の仮想カメラ平面ＶＰｔ１’において時刻ｔ０の仮想カメラ平面ＶＰｔ０と重なっていない領域に対応する部分を非重複領域と判断する。重複領域計算部１６は、以上のようにして求めた重複領域と非重複領域を再利用領域計算部１７に出力する。
【００６４】
動き検出部１３は、時刻ｔ０の全周囲画像と時刻ｔ１の全周囲画像との差分を取って、差分が所定の閾値以上である領域を動き領域として検出する。時刻ｔ０の全周囲画像は、それが全周囲画像取得部１１にて取得された後に全周囲画像蓄積部１２に保存されている。動き検出部１３は、全周囲画像蓄積部１２から過去の全周囲画像を読み出す。時刻ｔ１の全周囲画像は全周囲画像取得部１１から動き検出部１３に入力される。
【００６５】
図４（ａ）は、全周囲画像における動き領域を示す図である。図４（ａ）では、時刻ｔ０の全周囲画像ＥＰｔ０と時刻ｔ１の全周囲画像ＥＰｔ１とを重ねて表示している。図４（ａ）に示すように、時刻ｔ０から時刻ｔ１の間に動体である人が移動した場合には、時刻ｔ０に人が写っている領域及び時刻ｔ１に人が写っている領域が、時刻ｔ０の全周囲画像ＥＰｔ０と時刻ｔ１の全周囲画像ＥＰｔ１との間で差分が閾値以上になる領域となる。動き検出部１３は、この領域を動き領域ＭＡとして検出する。
【００６６】
再利用領域計算部１７は、１つ前のフレームの平面画像を再利用可能な領域（以下、「再利用領域」という。）と、１つ前のフレームの平面画像は再利用不可能であり全周囲画像取得部１１で得られた全周囲画像のみを利用しなければならない領域（以下、「新規領域」という。）とを求める。再利用領域計算部１７は、非重複領域と動き領域とを合せた領域を新規領域とし、重複領域であって、かつ動き領域ではない領域を再利用領域とする。
【００６７】
図４（ｂ）は、再利用領域及び新規領域を示す図である。再利用領域計算部１７は、重複領域計算部１６から取得した重複領域と非重複領域、及び動き検出部１３から取得した動き領域を用いて、図４（ｂ）に示すように、重複領域から動き領域を差し引いた領域（図４（ｂ）にてハッチングを施した領域）を再利用領域とする。また、再利用領域計算部１７は、時刻ｔ１の仮想カメラ平面ＶＰｔ１’から再利用領域を差し引いた領域を新規領域とする。
【００６８】
再利用領域計算部１７は、さらに、再利用可否の判定を行なう。即ち、再利用領域計算部１７は、再利用可否判定部としての機能を有する。再利用領域計算部１７は、所定の条件が再利用の限界（再利用限界）を超えている場合には、１つ前のフレームの平面画像（全体）を再利用しない（再利用不可）と判定して、歪み補正部１８に対してその旨の通知をする。再利用領域計算部１７は、所定の条件が再利用限界を超えていない場合には、歪み補正部１８に対して、再利用領域及び新規領域を通知する。再利用領域計算部１７は、以下の判定基準に従って再利用の可否を判定する。
【００６９】
（１）切出し範囲の中心角度差に関する基準
図５は、切出し範囲の中心角度差による再利用限界を説明する図である。上述のように、仮想カメラ平面計算部１５は、時刻ｔ１（現在）において、その切出し範囲にあって、かつ１つ前のフレームの平面画像を生成した時刻ｔ０の仮想カメラ平面ＶＰｔ０と一部が重なる仮想カメラ平面ＶＰｔ１’を求める。
【００７０】
このとき、再利用領域計算部１７は、現在の切出し範囲ＣＡｎの中心ＣＣｎの、所期切出し範囲ＣＡ０の中心ＣＣ０に対する角度が所定の閾値以上である場合は、１つ前のフレームの平面画像を再利用しない（再利用不可）と判定する。
【００７１】
初期切出し範囲と現在の切出し範囲との間の角度差が大きくなりすぎると、それに応じて現在の通常の仮想カメラ平面ＶＰｎと修正された仮想カメラ平面ＶＰｎ’との間の角度が大きくなりすぎてしまい、そのような仮想カメラ平面ＶＰｎ’に投影されて生成される平面画像の歪みも大きくなりすぎてしまうからである。再利用領域計算部１７は、初期切出し範囲ＣＡ０の中心ＣＣ０の情報を平面画像蓄積部２０から取得する。
【００７２】
（２）仮想カメラ平面の重複率に関する基準
図６は、仮想カメラ平面の重複率による再利用限界を説明する図である。再利用領域計算部１７は、重複領域計算部１６が求めた時刻ｔ１（現在）における仮想カメラ平面ＶＰｔ１’と１つ前のフレームの時刻ｔ０における仮想カメラ平面ＶＰｔ０との重複領域の仮想カメラ平面ＶＰｔ１’に対する比率（重複率）を求め、その重複率が所定の閾値以下である場合は、１つ前のフレームの平面画像を再利用しない（再利用不可）と判定する。
【００７３】
重複率が小さい場合には、仮想カメラ平面を１つ前のフレームと平行になるように修正してまで１つ前のフレームの平面画像を再利用する必要性ないしはその価値が小さくなるからである。
【００７４】
（３）再利用領域の大きさに関する基準
上述のように、再利用領域計算部１７は、重複領域から動き領域を差し引くことで再利用領域を求める。再利用領域計算部１７は、重複領域から動き領域を差し引いた結果、残った再利用領域が所定の閾値より小さい場合は、１つ前のフレームの平面画像を再利用しない（再利用不可）と判定する。
【００７５】
再利用領域が小さい場合には、仮想カメラ平面を１つ前のフレームと平行になるように修正してまで１つ前のフレームの平面画像を再利用する必要性ないしはその価値が小さくなるからである。再利用領域計算部１７は、再利用領域に含まれる画素数で再利用領域の大小を判断する。
【００７６】
（４）時間に関する基準
上述のように、平面画像を生成するにあたって、再利用領域については、１つ前のフレームで生成された平面画像を再利用する。しかし、１つ前のフレームとの関係で求められる再利用領域の面積が十分に大きく、１つ前のフレームの平面画像を再利用する価値が高いとしても、全周囲画像のみを用いて平面画像を生成した時刻からの時間間隔が長くなれば、累積では平面画像における誤差が大きくなる可能性がある。
【００７７】
そこで、再利用領域計算部１７は、全周囲画像のみを用いて平面画像を生成した時刻と、現在の時刻との差分が所定の閾値以上である場合には、１つ前のフレームの平面画像を再利用しない（再利用不可）と判定する。再利用領域計算部１７は、全周囲画像のみを用いて平面画像を生成した時刻を平面画像蓄積部２０から取得する。
【００７８】
なお、再利用領域においては、全周囲画像のみを用いて平面画像を生成したときに生成された画像部分と、その後の１つ前のフレームまでの各フレームで新規領域として全周囲画像を用いて各々生成された各画像部分とが含まれる。即ち、再利用する画像にも古い部分と比較的新しい部分とがある。よって、時間に関する基準を用いて、古い部分（画素単位でもブロック単位でもよい）から徐々に新規領域として、再利用をしないようにしてもよい。
【００７９】
再利用領域計算部１７は、上記の（１）〜（４）の基準のいずれかに該当する場合には、再利用限界に達したとして、１つ前のフレームの平面画像を再利用しない（再利用不可）と判定する。再利用限界に達した場合には、新たな平面画像を生成するために１つ前のフレームの平面画像の仮想カメラ平面と平行な仮想カメラ平面を採用する必要はないので、再利用領域計算部１７は、仮想カメラ平面を改めて求める。即ち、再利用領域計算部１７は、仮想カメラ平面を再計算する仮想カメラ平面再計算部としての機能も併せ持つ。
【００８０】
仮想カメラ平面を再計算するにあたって、再利用領域計算部１７は、図２の仮想カメラ平面ＶＰ１のように、切出し範囲内にあってその中心方向に垂直な平面を仮想カメラ平面とすることができる。また、再利用領域計算部１７は、切出し範囲の変更履歴に基づいて将来の切出し範囲を予測して、当該予測に基づいて、再利用限界に達した後の新たな基準画像を生成するための仮想カメラ平面を求めることができる。以下、予測に基づいて新たな基準画像のための仮想カメラ平面を求める方法を説明する。
【００８１】
図７は、再利用限界に達したときに予測に基づいて仮想カメラ平面を求める方法を説明するための図である。図７（ａ）は、再利用限界に達した状態を示す図であり、図７（ｂ）は、再利用限界に達した後に改めて求められた仮想カメラ平面を示す図である。仮想カメラ平面再計算部として機能する再利用領域計算部１７は、再利用限界に達すると、過去の切出し範囲の履歴から将来の切出し範囲の移動方向を予測する。
【００８２】
本実施の形態では、過去の切出し範囲の情報として、平面画像蓄積部２０には、初期切出し範囲の中心ＣＣ０が保存されているので、再利用領域計算部１７は、この初期切出し範囲の中心から再利用限界を超えたとき（現在）の切出し範囲の中心ＣＣｎへ向かう方向に切出し範囲が移動すると予測する。
【００８３】
再利用領域計算部１７は、現在の切出し範囲の中心ＣＣｎを基準として、初期切出し範囲の仮想カメラ平面と対称な傾きを有し、かつ現在の切出し範囲内の平面を新たな基準画像を生成するための仮想カメラ平面とする。即ち、再利用領域計算部１７は、図７（ｂ）に示すように、初期切出し範囲の中心ＣＣｉｎと半球の中心から新たな仮想カメラ平面ＶＰｎへ下ろした垂線ＰＬとのちょうど中間に再利用限界時（現在）の切出し範囲の中心ＣＣｌｔが位置するように、新たな仮想カメラ平面ＶＰｎの傾きを決定する。
【００８４】
歪み補正部１８は、再利用領域計算部１７から再利用領域と新規領域とが通知されて、１つ前のフレームの平面画像の一部を再利用する場合には、新規領域について全周囲画像取得部１１から全周囲画像を取得して、これを仮想カメラ平面部１５にて生成された仮想カメラ平面に投影して、平面画像の新規領域部分を生成し、これを合成部１９に出力する。
【００８５】
歪み補正部１８は、再利用領域計算部１７から基準画像を再利用しない旨の通知及び再計算された仮想カメラ平面の入力を受けると、切出し範囲すべてについて全周囲画像を全周囲画像取得部１１から取得して、それを再計算された仮想カメラ平面に投影して平面画像を生成する。生成された平面画像は新たな基準画像として平面画像蓄積部２０に出力されるとともに、合成部１９に出力される。
【００８６】
合成部１９は、歪み補正部１８から平面画像の新規領域部分のみを受けると、平面画像蓄積部２０から１つ前のフレームの平面画像を読み出して、読み出した平面画像の新規領域を歪み補正部１８から入力された画像に置換することにより、両画像を合成して、平面画像を生成する。生成された平面画像は、画像生成装置１の外部に出力されるとともに、平面画像蓄積部２０に蓄積される。
【００８７】
合成部１９は、歪み補正部１８から全体の平面画像が入力された場合（歪み補正部１８が切出し範囲全体について全周囲画像のみを用いて平面画像を生成した場合）には、この平面画像をそのまま画像生成装置１の外部及び平面画像蓄積部２０に出力する。
【００８８】
図８は、画像生成装置１にて実行される画像生成方法のフロー図である。以下、図８を参照して、本実施の形態の画像生成方法を説明する。本実施の形態の画像生成方法では、まず、全周囲画像取得部１１にて全周囲画像がキャプチャされる（ステップＳ１１）。そして、切出し範囲指定部１４は、切出し範囲を指定する（ステップＳ１２）。
【００８９】
このとき、切出し範囲指定部１４は、全周囲画像に基づいて（動きを検出して）切出し範囲を指定してもよいし、全周囲画像とは無関係に切出し範囲を指定してもよい。後者の場合には、ステップＳ１１とステップＳ１２の順序はいずれが先であっても、同時でもよい。
【００９０】
次に、仮想カメラ平面計算部１５は、切出し範囲指定部１４にて指定された切出し範囲及び１つ前のフレームの仮想カメラ平面に基づいて、切出し範囲指定部１４にて指定された切出し範囲にあって、１つ前のフレームの仮想カメラ平面に平行であり、かつ一部において重複する仮想カメラ平面を計算する（ステップＳ１３）。仮想カメラ平面部１５は、１つ前のフレームの仮想カメラ平面は、平面画像蓄積部２０から読み出し、生成した仮想カメラ平面を平面画像蓄積部２０に書き込む。
【００９１】
次に、重複領域計算部１６は、仮想カメラ平面計算部１５にて計算された仮想カメラ平面と平面画像蓄積部２０より読み出した１つ前のフレームの仮想カメラ平面との重複領域及び非重複領域を計算する（ステップＳ１４）。ここで、重複領域の有無を判断し（ステップＳ１５）、重複領域がある場合には（ステップＳ１５にてＹＥＳ）、動き検出部１３にて動き検出を行う（ステップＳ１６）。重複領域計算部１６にて重複領域を計算した結果、重複領域がない場合には（ステップＳ１５にてＮＯ）、１つ前のフレームの平面画像を再利用することはできないので、ステップＳ２３に移行する。
【００９２】
動き検出の後、再利用領域計算部１７は、重複領域及び非重複領域の情報並びに動き検出の結果に基づいて、重複領域から動き領域を差し引くことで再利用領域を求め、重複領域中の動き領域と非重複領域とを合わせた領域を新規領域として求める（ステップＳ１７）。再利用領域計算部１７は、続いて、再利用可能であるか否かを判定する（ステップＳ１８）。この判定には、上記で説明した（１）〜（４）の判定基準を採用する。判定の結果、（１）〜（４）のいずれかに該当し、再利用限界に達していると判断した場合には（ステップＳ１８にてＮＯ）、ステップＳ２３に移行する。
【００９３】
なお、判定基準（１）については、切出し範囲が指定された時点で判定できるので、ステップＳ１２の後に判定基準（１）による判定を行って、再利用限界に達している場合には、その時点で直ちにステップＳ２３に移行してもよい。また、判定基準（２）については、仮想カメラ平面が計算された時点で判定できるので、ステップＳ１３の後に判定基準（２）による判定を行って、再利用限界に達している場合には、その時点で直ちにステップＳ２３に移行してもよい。
【００９４】
さらに、判定基準（４）については、ステップＳ１１の時点で判定できるので、ステップＳ１１の後に判定基準（４）による判定を行って、再利用限界に達している場合には、その時点で直ちにステップＳ２３に移行してもよい。判定基準（３）については、再利用領域の情報を利用するので、ステップＳ１７以後でなければ判定できない。本実施の形態では、（１）〜（４）のすべての判定基準について判定できるステップＳ１７の後に、（１）〜（４）のすべての判定基準について判定するようにしている。
【００９５】
１つ前のフレームの平面画像が再利用可能であると判定された場合には（ステップＳ１８でＹＥＳ）、歪み補正部１８は、新規領域について、全周囲画像取得部１１から全周囲画像を読み出して、それをステップＳ１３にて計算された仮想カメラ平面に投影することで、歪み補正を行う（ステップＳ１９）。
【００９６】
そして、合成部１９は、１つ前のフレームの平面画像を平面画像蓄積部２０から読み出して（ステップＳ２０）、ステップＳ２０にて読み出した平面画像における新規領域をステップＳ１９にて得られた部分画像に置き換えることで、両画像を合成する（ステップＳ２１）。合成部２０は、平面画像を出力する（ステップＳ２２）。
【００９７】
重複領域の計算の結果、重複領域がない場合や（ステップＳ１５にてＮＯ）、再利用可否判定の結果、再利用できないと判定された場合（ステップＳ１８にてＮＯ）は、仮想カメラ平面を再計算する（ステップＳ２３）。
【００９８】
仮想カメラ平面が再計算された場合には、歪み補正部１８は、全領域について、再計算された平面に全周囲画像を投影することで、全周囲画像の歪み補正をし、平面画像を生成する（ステップＳ２４）。この場合には、そのときの切出し範囲（初期切出し範囲）の中心及び撮影時刻を平面画像蓄積部２０に蓄積する（ステップＳ２５）。なお、ステップＳ２４及びステップＳ２５はいずれが先でもよく、同時でもよい。このようにして生成された平面画像は、ステップＳ２２で出力される。
【００９９】
生成された平面画像が、ステップＳ２２にて出力されると、ステップＳ１１に戻って再び全周囲画像をキャプチャし、上記の処理が繰り返される。
【０１００】
以上説明したように、本実施の形態の画像生成装置１及び画像生成方法によれば、切出し範囲が移動した場合に、１つ前のフレームの仮想カメラ平面と平行でかつ一部重複する仮想カメラ平面に投影される平面画像を生成するので、重複領域については、１つ前のフレームで生成された平面画像を再利用することができる。これにより、歪み補正をするべき領域を少なくすることができ、その分演算量やメモリアクセスを削減できる。
【０１０１】
また、上記の実施の形態では、動き検出部１３にて全周囲画像の中の動き領域を検出し、この動き領域を重複領域から除いた領域のみについて、１つ前のフレームの平面画像を再利用するので、利用態様において、全周囲画像に動きが生じることが前提となっている場合には、動きが生じた部分の正しい平面画像を得ることができる。
【０１０２】
なお、利用態様において、全周囲画像に動きが生じることが前提となっていない場合（生じた動きを順次生成される平面画像にて正確に表示する必要がない場合を含む）には、全周囲画像蓄積部１２及び動き検出部１３を省略することができ、これに伴って再利用領域計算部１７も重複領域をそのまま再利用領域としてもよい。
【０１０３】
また、上記の実施の形態では、再利用領域計算部１７は、再利用可否判定部としての機能を有し、再利用限界に達した場合には、１つ前のフレームの平面画像の再利用をやめるので、１つ前のフレームの平面画像を再利用することによる過度の画像劣化や画像の不正確さを回避できる。
【０１０４】
画像生成装置１は、一部の構成が撮像装置（カメラ）に設けられ、他の一部の構成が画像処理装置に設けられ、撮像装置と画像処理装置とが接続されることで形成されてよい。この場合、例えば、撮像装置には、全周囲画像取得部１１と送受信部が設けられ、画像処理装置に上記で説明したその他の構成要素及び送受信部が設けられる。
【０１０５】
画像処理装置の送受信部は、再利用領域計算部１７にて計算された新規領域の情報を撮像装置に送信する。撮像装置の送受信部は、新規領域の情報を受信して、当該新規領域の全周囲画像を画像処理装置に対して送信する。画像処理装置の送受信部は、新規領域の全周囲画像を受信する。
【０１０６】
なお、上記の実施の形態では、１つ前のフレームの仮想カメラ平面と平行で、かつ一部において重複する仮想カメラ平面を計算して、新規領域については、全周囲画像取得部１１にて取得された全周囲画像を、その計算された仮想カメラ平面に投影したが、新規領域について全周囲画像を投影するための仮想カメラ平面は、常に切出し範囲の中心に垂直な平面としてもよい。
【０１０７】
この場合には、合成により生成される平面画像において、新規領域と再利用領域との境が不自然になるが、上記の実施の形態のように切出し範囲が移動するに従って仮想カメラ平面の傾きが大きくなることがなく、上記の実施の形態の再利用限界を気にすることなく、１つ前のフレームの平面画像を再利用することができる。
【０１０８】
また、上記の実施の形態では、１つ前のフレームの平面画像を再利用したが、全周囲画像のみを用いて生成された平面画像を基準画像として、その後のフレームについては、再利用限界に達するまでは、再利用領域について当該基準画像を再利用してもよい。
【０１０９】
上記の実施の形態において、図３を用いて重複領域計算部１６が重複領域を求める方法を説明したが、重複領域を求める方法は、これに限られない。図９は、重複領域計算部１６において重複領域を求める方法の他の例を説明する図である。
【０１１０】
図９（ａ）は、時刻ｔ０における切出し範囲ＣＡｔ０及びその仮想カメラ平面ＶＰｔ０と、時刻ｔ１における切出し範囲ＣＡｔ１及びその仮想カメラ平面ＶＰｔ１との関係を示す図である。図９（ｂ）は、時刻ｔ０における仮想カメラ平面ＶＰｔ０と時刻ｔ１における仮想カメラ平面ＶＰｔ１との関係を示す図である。図９（ｃ）は、時刻ｔ０における仮想カメラ平面ＶＰｔ０及び時刻ｔ１における仮想カメラ平面ＶＰｔ１と、重複領域及び非重複領域との関係を示す図である。
【０１１１】
図９（ａ）に示すように時刻ｔ０における切出し範囲ＣＡｔ０が時刻ｔ１に切出し範囲ＣＡｔ１に変わると、重複領域計算部１６は、図９（ａ）に示すように、時刻ｔ１における仮想カメラ平面ＶＰｔ１を求める。この仮想カメラ平面ＶＰｔ１は、切出し範囲ＣＡｔ１内にあって、その法線が半球面の中心Ｏから時刻ｔ１の切出し範囲ＣＡｔ１の中心に向かうベクトルと重なる平面である。即ち、上記の図３の例では、時刻ｔ１に、時刻ｔ０の仮想カメラ平面ＶＰｔ０に平行で、かつ重なる仮想カメラ平面ＶＰｔ１’を求めたが、図９の例では、切出し範囲ＣＡｔ１が与えられたときに、時刻ｔ０の仮想カメラ平面ＶＰｔ０の向きとは無関係に、切出し範囲ＣＡｔ１に対して傾きのない仮想カメラ平面ＶＰｔ１を生成する。
【０１１２】
次に、重複領域計算部１６は、時刻ｔ０の仮想カメラ平面ＶＰｔ０からそれと重なる時刻ｔ１の仮想カメラ平面ＶＰｔ１の端点（図３では点で表示されているが、実際には辺である。）に対して垂線（図３では線で表示されているが、実際には面である）を下ろし、時刻ｔ１の仮想カメラ平面ＶＰｔ１と重なる時刻ｔ０の仮想カメラ平面ＶＰｔ０の端点から時刻ｔ１の仮想カメラ平面ＶＰｔ１に垂線を下ろす。
【０１１３】
そして、図９（ｃ）に示すように、仮想カメラ平面ＶＰｔ０において仮想カメラ平面ＶＰｔ１と重なっている領域、及び仮想カメラ平面ＶＰｔ１において仮想カメラ平面ＶＰｔ０と重なっている領域をそれぞれ重複領域と判断する。また、時刻ｔ１の切出し範囲のうち、時刻ｔ１の仮想カメラ平面ＶＰｔ１において時刻ｔ０の仮想カメラ平面ＶＰｔ０と重なっていない領域に対応する部分を非重複領域と判断する。
【０１１４】
なお、上記の実施の形態の画像生成装置及び画像生成方法は、汎用のコンピュータがコンピュータプログラムを実行することによって実現されてよい。
【産業上の利用可能性】
【０１１５】
以上のように、本発明は、演算量やメモリアクセスを削減でき、歪みを有する撮影画像の一部範囲を切出して歪み補正を行なって当該一部範囲の平面画像を生成する画像生成装置及び画像生成方法等として有用である。
【符号の説明】
【０１１６】
１ 画像生成装置
１１ 全周囲画像取得部
１２ 全周囲画像蓄積部
１３ 動き検出部
１４ 切出し範囲指定部
１５ 仮想カメラ平面計算部
１６ 重複領域計算部
１７ 再利用領域計算部
１８ 歪み補正部
１９ 合成部
２０ 平面画像蓄積部
【特許請求の範囲】
【請求項１】
歪みを有する全周囲画像から切出した切出し範囲について平面画像を生成する画像生成装置であって、
前記全周囲画像を取得する全周囲画像取得部と、
前記切出し範囲を指定する切出し範囲指定部と、
前記切出し範囲から過去の平面画像を再利用できる再利用領域と、過去の平面画像を再利用できない新規領域とを求める再利用領域計算部と、
前記過去の平面画像を蓄積するための平面画像蓄積部と、
前記全周囲画像の前記新規領域に対して歪み補正を行う歪み補正部と、
前記平面画像蓄積部に蓄積された平面画像中の前記再利用領域の画像と、前記歪み補正部にて歪み補正された前記新規領域の画像とを合成することで、平面画像を生成して、前記平面画像蓄積部に出力する合成部と、
を備えたことを特徴とする画像生成装置。
【請求項２】
前記過去の平面画像は、１つ前のフレームの平面画像であることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記再利用領域計算部は、前記過去の平面画像がある前記切出し範囲内の領域を前記再利用領域として求めることを特徴とする請求項１又は２に記載の画像生成装置。
【請求項４】
前記歪み補正部は、仮想カメラ平面を用いて、前記仮想カメラ平面に前記新規領域の前記全周囲画像を投影することで、歪み補正を行い、
前記歪み補正部が用いる仮想カメラ平面は、前記過去の平面画像を生成した際の仮想カメラ平面と重複することを特徴とする請求項１ないし３のいずれか一項に記載の画像生成装置。
【請求項５】
前記全周囲画像中の動き領域を検出する動き検出部をさらに備え、
前記再利用領域計算部は、前記動き領域を除いて、前記過去の平面画像がある前記切出し範囲内の領域を前記再利用領域とすることを特徴とする請求項１ないし４のいずれか一項に記載の画像生成装置。
【請求項６】
所定の判定基準に従って再利用の可否を判定する再利用可否判定部をさらに備え、
前記合成部は、前記再利用可否判定部にて再利用可能と判定された場合にのみ、前記平面画像蓄積部に蓄積された前記再利用領域の画像と、前記歪み補正部にて歪み補正された前記新規領域の画像とを合成して、平面画像を生成することを特徴とする請求項１ないし３のいずれか一項に記載の画像生成装置。
【請求項７】
前記再利用可否判定部にて再利用不可と判定された場合は、前記歪み補正部は、前記切出し範囲の全領域について、前記全周囲画像の歪み補正を行い、前記合成部は、前記歪み補正部にて歪み補正が行われた画像を前記平面画像として前記平面画像蓄積部に出力することを特徴とする請求項６に記載の画像生成装置。
【請求項８】
前記判定基準は、前記切出し範囲の全領域について、前記全周囲画像の歪み補正を行って前記平面画像を生成した際の切出し範囲の中心方向と現在の切出し範囲の中心方向との間の角度差の基準であり、
前記再利用可否判定部は、前記角度差が所定の閾値以上であるときは、再利用不可と判定することを特徴とする請求項６又は７に記載の画像生成装置。
【請求項９】
前記歪み補正部は、仮想カメラ平面を用いて、前記仮想カメラ平面に前記新規領域の前記全周囲画像を投影することで、歪み補正を行い、
前記仮想カメラ平面は、前記過去の平面画像を生成した際の仮想カメラ平面と重複し、
前記判断基準は、前記過去の平面画像を生成した際の仮想カメラ平面と、それに重複する前記仮想カメラ平面との重複率の基準であり、
前記再利用可否判定部は、前記重複率が所定の閾値以下であるときは、再利用不可と判定することを特徴とする請求項６又は７に記載の画像生成装置。
【請求項１０】
前記判断基準は、前記再利用領域の大きさの基準であり、
前記再利用可否判定部は、前記再利用領域が所定の閾値以下であるときは、再利用不可と判定することを特徴とする請求項６又は７に記載の画像生成装置。
【請求項１１】
前記判断基準は、全周囲画像のみを用いて平面画像を生成した際の時刻と現在の時刻との時間差の基準であり、
前記再利用可否判定部は、前記時間差が所定の閾値以上であるときは、再利用不可と判定することを特徴とする請求項６又は７に記載の画像生成装置。
【請求項１２】
歪みを有する全周囲画像から切出した切出し範囲について平面画像を生成する画像生成方法であって、
前記全周囲画像を取得する全周囲画像取得ステップと、
前記切出し範囲を指定する切出し範囲指定ステップと、
前記切出し範囲から過去の平面画像を再利用できる再利用領域と、過去の平面画像を再利用できない新規領域とを求める再利用領域計算ステップと、
前記全周囲画像の前記新規領域に対して歪み補正を行う歪み補正ステップと、
平面画像を生成する平面画像生成ステップと、
前記平面画像生成ステップにて生成された平面画像を蓄積する平面画像蓄積ステップと、
を含み、
前記平面画像生成ステップは、前記平面画像蓄積ステップにて蓄積された過去の平面画像中の前記再利用領域の画像と、前記歪み補正ステップにて歪み補正された前記新規領域の画像とを合成することで、前記平面画像を生成することを特徴とする画像生成方法。
【請求項１３】
コンピュータに請求項１２に記載の画像生成方法を実行させるためのコンピュータプログラム。
【請求項１】
歪みを有する全周囲画像から切出した切出し範囲について平面画像を生成する画像生成装置であって、
前記全周囲画像を取得する全周囲画像取得部と、
前記切出し範囲を指定する切出し範囲指定部と、
前記切出し範囲から過去の平面画像を再利用できる再利用領域と、過去の平面画像を再利用できない新規領域とを求める再利用領域計算部と、
前記過去の平面画像を蓄積するための平面画像蓄積部と、
前記全周囲画像の前記新規領域に対して歪み補正を行う歪み補正部と、
前記平面画像蓄積部に蓄積された平面画像中の前記再利用領域の画像と、前記歪み補正部にて歪み補正された前記新規領域の画像とを合成することで、平面画像を生成して、前記平面画像蓄積部に出力する合成部と、
を備えたことを特徴とする画像生成装置。
【請求項２】
前記過去の平面画像は、１つ前のフレームの平面画像であることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記再利用領域計算部は、前記過去の平面画像がある前記切出し範囲内の領域を前記再利用領域として求めることを特徴とする請求項１又は２に記載の画像生成装置。
【請求項４】
前記歪み補正部は、仮想カメラ平面を用いて、前記仮想カメラ平面に前記新規領域の前記全周囲画像を投影することで、歪み補正を行い、
前記歪み補正部が用いる仮想カメラ平面は、前記過去の平面画像を生成した際の仮想カメラ平面と重複することを特徴とする請求項１ないし３のいずれか一項に記載の画像生成装置。
【請求項５】
前記全周囲画像中の動き領域を検出する動き検出部をさらに備え、
前記再利用領域計算部は、前記動き領域を除いて、前記過去の平面画像がある前記切出し範囲内の領域を前記再利用領域とすることを特徴とする請求項１ないし４のいずれか一項に記載の画像生成装置。
【請求項６】
所定の判定基準に従って再利用の可否を判定する再利用可否判定部をさらに備え、
前記合成部は、前記再利用可否判定部にて再利用可能と判定された場合にのみ、前記平面画像蓄積部に蓄積された前記再利用領域の画像と、前記歪み補正部にて歪み補正された前記新規領域の画像とを合成して、平面画像を生成することを特徴とする請求項１ないし３のいずれか一項に記載の画像生成装置。
【請求項７】
前記再利用可否判定部にて再利用不可と判定された場合は、前記歪み補正部は、前記切出し範囲の全領域について、前記全周囲画像の歪み補正を行い、前記合成部は、前記歪み補正部にて歪み補正が行われた画像を前記平面画像として前記平面画像蓄積部に出力することを特徴とする請求項６に記載の画像生成装置。
【請求項８】
前記判定基準は、前記切出し範囲の全領域について、前記全周囲画像の歪み補正を行って前記平面画像を生成した際の切出し範囲の中心方向と現在の切出し範囲の中心方向との間の角度差の基準であり、
前記再利用可否判定部は、前記角度差が所定の閾値以上であるときは、再利用不可と判定することを特徴とする請求項６又は７に記載の画像生成装置。
【請求項９】
前記歪み補正部は、仮想カメラ平面を用いて、前記仮想カメラ平面に前記新規領域の前記全周囲画像を投影することで、歪み補正を行い、
前記仮想カメラ平面は、前記過去の平面画像を生成した際の仮想カメラ平面と重複し、
前記判断基準は、前記過去の平面画像を生成した際の仮想カメラ平面と、それに重複する前記仮想カメラ平面との重複率の基準であり、
前記再利用可否判定部は、前記重複率が所定の閾値以下であるときは、再利用不可と判定することを特徴とする請求項６又は７に記載の画像生成装置。
【請求項１０】
前記判断基準は、前記再利用領域の大きさの基準であり、
前記再利用可否判定部は、前記再利用領域が所定の閾値以下であるときは、再利用不可と判定することを特徴とする請求項６又は７に記載の画像生成装置。
【請求項１１】
前記判断基準は、全周囲画像のみを用いて平面画像を生成した際の時刻と現在の時刻との時間差の基準であり、
前記再利用可否判定部は、前記時間差が所定の閾値以上であるときは、再利用不可と判定することを特徴とする請求項６又は７に記載の画像生成装置。
【請求項１２】
歪みを有する全周囲画像から切出した切出し範囲について平面画像を生成する画像生成方法であって、
前記全周囲画像を取得する全周囲画像取得ステップと、
前記切出し範囲を指定する切出し範囲指定ステップと、
前記切出し範囲から過去の平面画像を再利用できる再利用領域と、過去の平面画像を再利用できない新規領域とを求める再利用領域計算ステップと、
前記全周囲画像の前記新規領域に対して歪み補正を行う歪み補正ステップと、
平面画像を生成する平面画像生成ステップと、
前記平面画像生成ステップにて生成された平面画像を蓄積する平面画像蓄積ステップと、
を含み、
前記平面画像生成ステップは、前記平面画像蓄積ステップにて蓄積された過去の平面画像中の前記再利用領域の画像と、前記歪み補正ステップにて歪み補正された前記新規領域の画像とを合成することで、前記平面画像を生成することを特徴とする画像生成方法。
【請求項１３】
コンピュータに請求項１２に記載の画像生成方法を実行させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１４７３１０（Ｐ２０１２−１４７３１０Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−４８９４（Ｐ２０１１−４８９４）
【出願日】平成２３年１月１３日（２０１１．１．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年１月１３日（２０１１．１．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]