画像生成装置、画像生成方法、及びコンピュータプログラム
【課題】 全周囲画像における任意の範囲を切出し範囲として平面画像を生成するための演算処理の負荷を軽減して演算速度を向上させることができる画像生成装置を提供する。
【解決手段】 歪みを有する全周囲画像から切出した切出し範囲を仮想カメラ平面に射影した平面画像を生成する画像生成装置１０は、全周囲画像を取得する全周囲画像取得部１１と、全周囲画像を複数の分割範囲ごとにそれぞれ対応する中間平面に射影するための変換テーブルを記憶した変換テーブル記憶部１３と、変換テーブルを用いて、全周囲画像を分割範囲ごとに中間平面に射影することで、分割範囲ごとの中間平面画像を生成する中間平面画像生成部１２と、切出し範囲を指定する切出し範囲指定部１５と、切出し範囲の中間平面画像を仮想カメラ平面に射影することで、平面画像を生成する平面画像生成部１４とを備えている。
【解決手段】 歪みを有する全周囲画像から切出した切出し範囲を仮想カメラ平面に射影した平面画像を生成する画像生成装置１０は、全周囲画像を取得する全周囲画像取得部１１と、全周囲画像を複数の分割範囲ごとにそれぞれ対応する中間平面に射影するための変換テーブルを記憶した変換テーブル記憶部１３と、変換テーブルを用いて、全周囲画像を分割範囲ごとに中間平面に射影することで、分割範囲ごとの中間平面画像を生成する中間平面画像生成部１２と、切出し範囲を指定する切出し範囲指定部１５と、切出し範囲の中間平面画像を仮想カメラ平面に射影することで、平面画像を生成する平面画像生成部１４とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歪みを有する全周囲画像の一部範囲を切出し範囲として切出して平面画像を生成する画像生成装置及び画像生成方法に関し、特に、全周囲画像内の任意の範囲を切出し範囲として切出して平面画像を生成する画像生成装置及び画像生成方法に関するものである。
【背景技術】
【０００２】
従来より、監視カメラ等には全周囲カメラが用いられている。全周囲カメラは、３６０度カメラとも呼ばれ、魚眼レンズやミラーなどを用いて、水平画角３６０度、垂直画角１８０度の全周囲画像を撮影して、円形又はドーナツ形状の撮影画像（以下、「全周囲画像」という。）を得ることができる。
【０００３】
全周囲画像を平面画像に補正することで、通常のカメラで撮影されたのと同様な画像を得ることができる。特に、全周囲画像を全周について展開すれば、３６０度のパノラマ画像が１つのカメラの１度の撮影で得られることになる。
【０００４】
また、全周囲画像の一部範囲を切出して平面画像に補正するとともに、その切出し範囲を変化（移動や拡大縮小）させることで、通常のカメラをパン、チルト、ズームさせながら撮影されたのと同様な複数の平面画像（ないしは動画像）が得られる。このように、あたかも通常のカメラをパン、チルト、ズームしながら撮影をして得られたような複数の平面画像が得られるように、全周囲画像の切出し範囲を変化させる制御を、電子ＰＴＺ（ｐａｎ、ｔｉｌｔ、ｚｏｏｍ）制御という。
【０００５】
全周囲画像から一部範囲を切り出すとともにその切出し範囲を変化させる用途としては、例えば、監視カメラにおいて、切出し範囲を手動で変化させるものや、切出し範囲を所定の軌道で自動的に変化させるものや、全周囲画像から動体を検出して、検出した動体を追尾するように自動で切出し範囲を変化させるもの等がある。
【０００６】
図１４（ａ）は、全周囲画像の例を示す図であり、図１４（ｂ）は、図１４（ａ）の全周囲画像から一部範囲ＰＡを切出して生成した平面画像を示す図である。図１４（ａ）に示されるように、全周囲画像は、魚眼レンズを用いて、例えば全周囲画像の中心からの距離と仰角が比例する等距離射影方式で撮影されることから、歪みが生じている。従って、全周囲画像から一部範囲ＰＡを切出して図１４（ｂ）に示す平面画像を得るには、全周囲画像から一部範囲ＰＡに対して歪み補正を行なう必要がある（例えば、特許文献１を参照）。
【０００７】
図１５及び図１６は、平面画像の生成を説明する図である。図１５（ａ）は、魚眼レンズの中心をその中心とし、焦点距離をその半径とする仮想の半球面（以下、「仮想半球面」という。）ＶＳと、全周囲画像を射影するための平面である仮想カメラ平面ＶＰとの関係を示す図であり、図１５（ｂ）は、イメージセンサＩＳに投影された全周囲画像を示す図である。また、図１６（ａ）及び（ｂ）は、いずれも図１５（ａ）の中心Ｏを通り、仮想カメラ平面ＶＰに垂直に交わる平面で図１５（ａ）に示す全周囲画像の射影面及び仮想カメラ平面ＶＰを切断した図である（以下、図１、４、５、６、１１、１２も同様である）。図１６（ａ）は、仮想カメラ平面ＶＰを示しており、図１６（ｂ）は、切出し範囲が移動した場合の仮想カメラ平面ＶＰ’を示している。
【０００８】
全周囲画像から一部範囲を切出し範囲として切出して歪み補正を行って（即ち、仮想カメラ平面に射影して）平面画像を生成する処理は、演算量やメモリアクセスが多く、処理負荷が大きい。そこで、全周囲画像の切出し範囲に対して歪み補正を行って平面画像を生成する（全周囲画像の切出し範囲を平面画像に変換する）ための変換テーブル（ルックアップテーブル）を用いることで、処理負荷を軽減することが考えられる。
【０００９】
例えば、特許文献１では、歪み補正の演算の一部（三角関数など）を、変換テーブルを用いて行なうことが開示されている。また、特許文献２では、全周囲画像の特定の切出し範囲に対して歪み補正を行なった演算結果を変換テーブルとして格納しておくことが開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０００−２３５６４５号公報
【特許文献２】特開２００８−３１１８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
変換テーブルを用いて全周囲画像から平面画像への変換を行なう場合には、演算処理の負荷が小さく、演算も速いが、全周囲画像における任意の範囲を切出し範囲として電子ＰＴＺを実現するためには、無限個の変換テーブルを保持していなければならず、現実的ではない。
【００１２】
本発明は、全周囲画像における任意の範囲を切出し範囲について平面画像を生成することが可能であるとともに、演算処理の負荷を軽減して演算速度を向上させることができる画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記従来の課題を解決するために、本発明の画像生成装置は、歪みを有する全周囲画像から切出した切出し範囲を仮想カメラ平面に射影した平面画像を生成する画像生成装置であって、前記全周囲画像を取得する全周囲画像取得部と、前記全周囲画像取得部にて取得される全周囲画像を複数の分割範囲ごとにそれぞれ対応する所定の平面に射影するための変換テーブルを記憶した変換テーブル記憶部と、前記変換テーブル記憶部に記憶された前記変換テーブルを用いて、前記全周囲画像取得部にて取得された前記全周囲画像を前記分割範囲ごとに前記所定の平面に射影することで、前記分割範囲ごとの中間平面画像を生成する中間平面画像生成部と、前記切出し範囲を指定する切出し範囲指定部と、前記切出し範囲の中間平面画像を前記仮想カメラ平面に射影することで、前記平面画像を生成する平面画像生成部とを備えた構成を有している。
【００１４】
この構成によれば、全周囲画像から任意の切出し範囲の平面画像を生成する際に、変換テーブルを用いて、固定された分割範囲ごとに、全周囲画像を所定の平面（中間平面）に射影して、平面画像を生成するための切出し範囲が指定されたときに、平面画像を生成するための仮想カメラ平面に中間平面に射影された中間平面画像を射影するとことで平面画像が生成される。ここで、全周囲画像から中間平面画像への変換には、あらかじめ記憶された変換テーブルを用いるので、演算処理の負荷が軽く、かつ、演算処理を高速化できる。また、中間平面画像を仮想カメラ平面に射影する処理も、平面から平面への射影であるので、射影位置は固定値の乗算で求めることができ、この点でも演算処理の負荷を軽減できる。
【００１５】
また、上記の画像生成装置において、前記平面画像生成部は、前記中間平面画像の各点を、当該点から前記仮想カメラ平面に下ろした垂線の足に射影してよい。
【００１６】
また、上記の画像生成装置において、前記平面画像生成部は、前記中間平面画像の各点を、すべて均等の倍率で拡大するように前記仮想カメラ平面に射影してよい。
【００１７】
また、上記の画像生成装置において、前記中間平面画像生成部は、前記切出し範囲指定部にて指定された前記切出し範囲を少なくとも一部に含む前記分割範囲のみの中間平面画像を生成してよい。
【００１８】
この構成によれば、中間平面画像は、平面画像を生成するのに必要な範囲でのみ生成されるので、上記の実施の形態と比較して演算処理の量を少なくでき、従って処理負荷をより軽減でき、処理速度をより高速にできる。
【００１９】
上記の画像形成装置において、前記中間平面画像生成部は、前記全周囲画像中の指定された一部領域に該当する前記分割範囲のみについて前記中間平面画像を生成してよく、前記切出し範囲指定部は、前記一部領域中で前記切出し範囲を指定してよい。
【００２０】
この構成によれば、中間平面画像が生成される領域内で切出し範囲が指定されるので、その領域においてあらかじめ中間平面画像を生成しておき、切出し範囲が指定されたら、すぐに平面画像生成部にて平面画像を生成することができ、よって、切出し範囲の指定から平面画像の出力までを高速化できる。
【００２１】
また、上記の画像形成装置は、前記中間平面画像生成部にて生成された中間平面画像を記憶する中間平面画像記憶部をさらに備えていてよく、前記平面画像生成部は、前記中間平面画像記憶部に記憶された中間平面画像を読み出して前記仮想カメラ平面に射影することで、前記平面画像を生成してよい。
【００２２】
この構成によれば、平面画像を生成する前に、あらかじめ中間平面画像を生成して記憶しておくので、平面画像を生成するために任意の切出し範囲が指定された後に中間平面画像を生成する必要がなく、すでに生成されて記憶されている中間平面画像を利用して直ちに平面画像を生成できるので、平面画像の作成に要する時間を短縮できる。
【００２３】
また、上記の画像生成装置において、前記平面画像生成部は、前記切出し範囲指定部にて指定された前記切出し範囲に応じて前記仮想カメラ平面を設定してよい。
【００２４】
また、上記の画像生成装置において、前記平面画像生成部は、前記切出し範囲指定部にて指定された前記切出し範囲の中心部における射影距離が前記切出し範囲の縁部における射影距離よりも短くなるように、前記仮想カメラ平面を設定してよい。
【００２５】
この構成によれば、特に中心部において歪の少ない平面画像を生成することができる。
【００２６】
また、上記の画像生成装置において、前記平面画像生成部は、前記切出し範囲指定部にて指定された前記切出し範囲に含まれるいずれかの分割範囲に対応する前記所定の平面と平行になるように、前記仮想カメラ平面を設定してよい。
【００２７】
この構成によれば、仮想カメラ平面と平行になる分割範囲の中間平面画像については、仮想カメラ平面に射影するための変換をする必要がなく、平面画像を生成するための処理負荷を軽減できる。また、当該分割範囲については、平面画像における歪を小さくできる。
【００２８】
また、上記の画像生成装置において、前記変換テーブル記憶部は、前記全周囲画像取得部にて取得される全周囲画像の全範囲を複数の互いに異なる分割方法で分割した場合のそれぞれについて、前記変換テーブルを記憶していてよい。
【００２９】
この構成によれば、平面画像を生成するための切出し範囲の位置に対して、より適切に分割された変換テーブルを選択して用いることができ、平面画像において歪の大小の分布パターンを複数通りの中から選択できる。
【００３０】
本発明の画像生成方法は、歪みを有する全周囲画像から切出した切出し範囲を仮想カメラ平面に射影した平面画像を生成する画像生成方法であって、前記全周囲画像を取得する全周囲画像取得ステップと、前記全周囲画像取得ステップにて取得される全周囲画像を複数の分割範囲ごとにそれぞれ対応する所定の平面に射影するための変換テーブルを用いて、前記全周囲画像取得ステップにて取得された前記全周囲画像を前記分割範囲ごとに前記所定の平面に射影することで、前記分割範囲ごとの中間平面画像を生成する中間平面画像生成ステップと、前記切出し範囲を指定する切出し範囲指定ステップと、前記切出し範囲の中間平面画像を前記仮想カメラ平面に射影することで、前記平面画像を生成する平面画像生成ステップとを含む構成を有している。
【００３１】
この構成によっても、全周囲画像から任意の切出し範囲の平面画像を生成する際に、変換テーブルを用いて固定された分割範囲ごとに全周囲画像を所定の平面（中間平面）に射影して、平面画像を生成するための切出し範囲が指定されたときに、平面画像を生成するための仮想カメラ平面に中間平面に射影された中間平面画像を射影するとことで平面画像が生成される。ここで、全周囲画像から中間平面画像への変換には、あらかじめ記憶された変換テーブルを用いるので、演算処理の負荷が軽く、かつ、演算処理を高速化できる。また、中間平面画像を仮想カメラ平面に射影する処理も、平面から平面への射影であるので、射影位置は固定値の乗算で求めることができ、この点でも演算処理の負荷を軽減できる。
【発明の効果】
【００３２】
本発明は、全周囲画像を中間平面画像に変換して中間平面画像を平面画像に変換することで平面画像を生成し、このとき、全周囲画像から中間平面画像への変換には、あらかじめ記憶された変換テーブルを用いるので、演算処理の負荷が軽く、かつ、演算処理を高速化できる。また、中間平面画像から平面画像への変換も、平面から平面への射影であるので、射影位置は固定値の乗算で求めることができ、この点でも演算処理の負荷を軽減できる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態における平面画像を生成する原理を説明するための図
【図２】本発明の実施の形態における平面画像を生成するための切出し範囲と、中間平面画像を生成するための分割範囲との関係を示す図
【図３】本発明の実施の形態における画像生成装置の構成を示すブロック図
【図４】本発明の実施の形態における中間平面画像を仮想カメラ平面に射影する第１の射影方法を説明するための図
【図５】本発明の実施の形態における中間平面画像を仮想カメラ平面に射影する第１の射影方法を説明するための図
【図６】本発明の実施の形態における中間平面画像を仮想カメラ平面に射影する第２の射影方法を説明するための図
【図７】本発明の実施の形態における画像生成装置にて実行される画像生成方法のフロー図
【図８】本発明の実施の形態の第１の変形例における画像生成装置の構成を示すブロック図
【図９】本発明の実施の形態の第１の変形例の画像生成装置にて実行される画像生成方法のフロー図
【図１０】本発明の実施の形態の第２の変形例の画像生成装置の構成を示すブロック図
【図１１】本発明の実施の形態の第３の変形例を説明するための図
【図１２】本発明の実施の形態の第４の変形例を説明するための図
【図１３】本発明の実施の形態の第４の変形例を説明するための図
【図１４】（ａ）全周囲画像の例を示す図 （ｂ）全周囲画像から一部範囲ＰＡを切出して生成した平面画像を示す図
【図１５】（ａ）仮想半球面と仮想カメラ平面との関係を示す図 （ｂ）イメージセンサに投影された全周囲画像を示す図
【図１６】（ａ）仮想半球面と仮想カメラ平面との関係を示す図 （ｂ）切出し範囲が移動した場合の仮想半球面と仮想カメラ平面との関係を示す図
【発明を実施するための形態】
【００３４】
以下、本発明を実施するための形態について、図面を参照しながら説明する。まず、図１及び図２を参照して、本発明の実施の形態における平面画像の生成の基本的な原理を説明する。なお、本実施の形態において、平面画像とは、魚眼レンズ等によって撮影された歪みを有する画像を、仮想カメラ平面に射影することで得られる画像をいう。
【００３５】
図１は、本発明の実施の形態において平面画像を生成する原理を説明するための図である。図１は、仮想半球面ＶＳと、分割範囲ＣＡ１１〜ＣＡ１５と、分割範囲を射影する平面である中間平面ＶＰ１１〜ＶＰ１５と、中間平面画像ＲＰ１１〜ＲＰ１５と、切出し範囲ＣＡ１と、仮想カメラ平面ＶＰと、平面画像ＦＰとの関係を示している。
【００３６】
平面画像ＦＰは、次のようにして生成される。仮想半球面ＶＳには、予め分割範囲ＣＡ１１〜ＣＡ１５が定義されており、全周囲画像が撮影されると、この撮影された全周囲画像について、分割範囲ＣＡ１１〜ＣＡ１５にそれぞれ対応する中間平面画像ＲＰ１１〜ＲＰ１５が生成される。このとき、中間平面画像ＲＰ１１〜ＲＰ１５は、全周囲画像の分割範囲ＣＡ１１〜ＣＡ１５を中間平面ＶＰ１１〜ＶＰ１５に射影することで生成される。中間平面ＶＰ１１〜ＶＰ１５は、切出し範囲ＣＡ１１〜ＣＡ１５の中心で仮想半球面ＶＳに接する平面として定義される。
【００３７】
なお、図１では、説明を簡潔にするために、分割範囲については、ＣＡ１１〜ＣＡ１５、中間平面については、ＶＰ１１〜ＶＰ１５、中間平面画像については、ＲＰ１１〜ＲＰ１５のみを示しているが、実際には、分割範囲及び中間平面は仮想半球面ＶＳ全体にわたって設定されており、中間平面画像は設定されている全ての分割範囲について生成されてよい。以下、中間平面の集合を中間平面群という。
【００３８】
平面画像ＦＰを生成するための仮想カメラ平面ＶＰが指定されると、この仮想カメラ平面ＶＰに射影される画像部分を含む中間平面画像が、仮想カメラ平面ＶＰに射影される。そして、仮想カメラ平面ＶＰに射影された中間平面画像が互いにつなぎ合わされて、平面画像ＦＰが生成される。
【００３９】
図２（ａ）は、中間平面群を斜め上から見た図であり、図２（ｂ）は、中間平面群を真上から見た図である。図１では、説明の便宜のために、複数の分割範囲及び中間平面が横方向に並んだ例を説明したが、実際には仮想半球面ＶＳは立体的であるので、中間平面群は多面体となる。各中間平面は任意の形状でよいが、本実施の形態では、図２（ａ）及び図２（ｂ）に示すように、中間平面は正５角形又は正６角形であり、これらが仮想半球面ＶＳ上に配置されて、切頂二十面体の半球状の部分が構成されている。
【００４０】
図２の例では、各分割範囲の中心で仮想半球面に接する平面が各分割範囲の中間平面とされる。この分割範囲及び中間平面を固定することで、各分割範囲を中間平面に射影するための変換テーブルは固定値として予め記憶しておくことができる。
【００４１】
全周囲画像が得られた場合には、この全周囲画像における各分割範囲を対応する変換テーブルによって変換することで、中間平面に射影をすることができ、軽い処理負荷で（即ち、変換式を求めることなく）各分割範囲の中間平面画像を生成できる。平面画像を生成するための切出し範囲が指定されると、その切出し範囲に含まれる分割範囲の中間平面画像（一般的には複数）を仮想カメラ平面（図１のＶＰを参照）に射影し、それらを合成して平面画像とする。
【００４２】
このように、本実施の形態では、全周囲画像から中間平面画像を生成した上で、切出し範囲に応じた仮想カメラ平面に、必要な中間平面画像を射影して合成することで平面画像を生成する。中間平面画像は、変換テーブルで全周囲画像を変換することで生成されるので、処理負荷が軽くて済む。また、中間平面画像を生成する範囲（分割範囲）は固定であるので、変換テーブルを無限に用意する必要もない。さらに、中間平面画像を仮想カメラ平面に射影する処理は平面から平面への射影であるので、その処理負荷も軽くて済む。よって、平面画像を生成するための全体の処理の負荷が軽くなる。
【００４３】
図３は、本発明の実施の形態の画像生成装置の構成を示すブロック図である。画像生成装置１０は、全周囲画像取得部１１、中間平面画像生成部１２、変換テーブル記憶部１３、平面画像生成部１４、切出し範囲指定部１５、及び出力部１６を備えている。
【００４４】
全周囲画像取得部１１は、被写体の全周囲画像を取得する。本実施の形態では、全周囲画像取得部１１は、外部の動画像撮影装置から全周囲画像を取得する。この動画像撮影装置は、被写体の動画像を撮影して、連続する画像フレームを全周囲画像取得部１１に出力する。また、全周囲画像取得部１１は、連続的に得られる全周囲画像の静止画像を取得してもよい。
【００４５】
全周囲画像取得部１１は、魚眼レンズを用いて等距離射影方式により撮像素子に被写体像を投影して、水平画角３６０度、垂直画角１８０度の全周囲画像を取得する。この全周囲画像は、円形であり、中心から離れるほど歪みの度合いが大きくなっている画像である。全周囲画像取得部１１にて取得された全周囲画像は、中間平面画像生成部１２に出力される。
【００４６】
変換テーブル記憶部１３には、全周囲画像を複数の分割範囲ごとにそれぞれ対応する所定の平面に射影するための変換テーブルが記憶されている。図１を参照して説明すると、変換テーブル記憶部１３には、分割範囲ＣＡ１１〜ＣＡ１５を中間平面ＶＰ１１〜ＶＰ１５にそれぞれ射影するための変換テーブルが記憶されている。ここで、上述の通り、中間平面は、分割範囲の中心で仮想半球面に接する平面として設定されている。なお、分割範囲は、互いに重複していてもよい。
【００４７】
中間平面画像生成部１２は、全周囲画像取得部１１にて取得された全周囲画像の各分割範囲について、それぞれ変換テーブル記憶部１３に記憶された変換テーブルを参照して、座標変換を行うことで、中間平面画像を生成する。図１を参照して説明すると、中間平面画像生成部１２によって、分割範囲ＣＡ１１〜ＣＡ１５について、それぞれ中間平面画像ＲＰ１１〜ＲＰ１５が生成される。
【００４８】
切出し範囲指定部１５は、切出し範囲（全周囲画像から平面画像を生成するために切り出す範囲）を指定する。図１を参照して説明すると、切出し範囲指定部１５によって、切出し範囲ＣＡ１が指定される。図１は、仮想半球面ＶＳが平面的に示されているが、仮想半球面ＶＳは実際には立体であるので、切出し範囲は、実際には、２次元的な範囲となる。切出し範囲が矩形である場合は、切出し範囲は、仮想半球面上の４点にそれぞれ向かう４本のベクトルで特定され、この４本のベクトルに囲まれる範囲が切出し範囲となる。
【００４９】
切出し範囲の縦横比及び向きが固定である場合は、切出し範囲は、仮想半球面の中心から切出し範囲の中心へのベクトルと切出し範囲の大きさのパラメータで定義される。このベクトルの水平方向の角度は、通常のカメラのパン角に相当し、ベクトルの垂直方向の角度は、通常のカメラのチルト角に相当する。切出し範囲の大きさ（切出し画角）は、通常のカメラのズームに相当する。従って、切出し範囲の指定は、換言すれば電子ＰＴＺ制御におけるパン、チルト、ズームの指定である。
【００５０】
切出し範囲指定部１５は、ユーザの操作に応じて切出し範囲を指定してよい。この場合には、画像生成装置１０には操作部が設けられ、ユーザは操作部を操作することで切出し範囲を指定できる。切出し範囲指定部１５は、切出し範囲が所定の軌道を描くように自動で切出し範囲を移動させてもよい。
【００５１】
さらに、切出し範囲指定部１５は、全周囲画像から動体を検知して、その動体を追尾するように切出し範囲を指定してもよい。この場合には、画像生成装置１０には、全周囲画像中の動きを検出する動き検出部が設けられ、切出し範囲指定部１５には、動き検知部から動きがあった範囲が通知され、切出し範囲指定部１５は、動きがあった範囲が中心になるように切出し範囲を指定する。
【００５２】
また、切出し範囲指定部１５によって指定される切出し範囲は、その大きさ（ズーム倍率）が固定されていてもよいし、可変であってもよい。さらに、切出し範囲指定部１５は、切出し範囲を指定する際に仮想半球面上の任意の複数の点に向かう複数のベクトルを指定することで、四角形以外の矩形や、仮想半球面上の任意の形状を切出し範囲として指定することもできる。
【００５３】
平面画像生成部１４は、切出し範囲指定部１５にて指定された切出し範囲の平面画像を生成する。このために、平面画像生成部１４は、まず、指定された切出し範囲に対応する仮想カメラ平面を設定する。本実施の形態では、指定された切出し範囲の中心で仮想半球面に接する平面を仮想カメラ平面とする。仮想カメラ平面を設定すると、平面画像生成部１４は、切出し範囲に含まれる中間平面画像を仮想カメラ平面に射影する。
【００５４】
平面画像生成部１４は、切出し範囲と各分割範囲とを比較して、全部又は一部が切出し範囲に含まれる分割範囲の中間平面画像を選択して、仮想カメラ平面に射影する。平面画像生成部１４は、一部のみが切出し範囲に含まれる分割範囲の中間平面画像については、切出し範囲に含まれる部分のみを仮想カメラ平面に射影する。平面画像生成部１４は、射影した各中間平面画像をつなぎ合わせて（合成して）、平面画像を生成する。
【００５５】
図１を参照して説明すると、平面画像生成部１４は、切出し範囲ＣＡ１に含まれる中間平面画像ＲＰ１１、ＲＰ１５の一部と中間平面画像ＲＰ１２〜ＲＰ１４の全体をそれぞれ仮想カメラ平面ＶＰに射影して、射影された中間平面画像ＲＰ１１、ＲＰ１５の一部と中間平面画像ＲＰ１２〜ＲＰ１４の全体をつなぎ合わせることで、平面画像ＦＰを生成する。
【００５６】
平面画像生成部１４によって中間平面画像を仮想カメラ平面に射影する方法は、一通りに限られない。以下では、例として、２つの方法を説明する。
【００５７】
図４は、中間平面画像を仮想カメラ平面に射影する第１の射影方法を説明するための図である。第１の射影方法では、中間平面画像の各点は、仮想カメラ平面に垂直な方向に射影される。図４を参照すると、中間平面画像ＲＰ４１、ＲＰ４２上の任意の点ｐ４１、ｐ４２、ｐ４３、ｐ４４、ｐ４５、・・・は、それぞれの点から仮想カメラ平面ＶＰへ下ろした垂線の足（仮想カメラ平面ＶＰに下ろした垂線と仮想カメラ平面ＶＰとの交点）Ｐ４１、Ｐ４２、Ｐ４３、Ｐ４４、Ｐ４５、・・・に射影される。
【００５８】
図５は、第１の射影方法の別の例を示す図である。中間平面画像ＲＰ５の任意の点ｐ５１、ｐ５２、ｐ５３、・・・は、それぞれの点から仮想カメラ平面ＶＰに下ろした垂線の足Ｐ５１、Ｐ５２、Ｐ５３、・・・に射影される。この第１の射影方法によれば、中間平面画像から仮想カメラ平面への射影は、平面から平面への射影なので、射影位置は固定値の乗算で求めることができる。
【００５９】
図６は、中間平面画像を仮想カメラ平面に射影する第２の射影方法を説明するための図である。第２の射影方法では、中間平面画像が全領域において均等に拡大されて仮想カメラ平面に射影される。すなわち、中間平面画像生成部１２にて生成された中間平面画像と仮想カメラ平面に射影された中間平面画像とは相似形となる。
【００６０】
図６を参照すると、中間平面画像ＲＰ６の任意の点ｐ６１、ｐ６２、ｐ６３、ｐ６４、・・・は、それらの相互間の距離の比率を保ったまま、仮想カメラ平面ＶＰ上に点Ｐ６１、Ｐ６２、Ｐ６３、Ｐ６４、・・・として射影される。この結果、点Ｐ６１、Ｐ６２、Ｐ６３、Ｐ６４、・・・の相互間の距離の比率は、点ｐ６１、ｐ６２、ｐ６３、ｐ６４、・・・の相互間の距離の比率と等しくなる。
【００６１】
出力部１６は、平面画像生成部１４で生成された平面画像を出力する。出力部１６は、生成された平面画像を表示パネルに表示する表示部であってよく、生成された平面画像を記録媒体に記録する記録部であってもよく、生成された平面画像を通信ネットワーク経由で送信する送信部であってもよい。
【００６２】
図７は、画像生成装置１０にて実行される画像生成方法のフロー図である。以下、図７を参照して、本実施の形態の画像生成方法を説明する。この画像生成方法は、コンピュータがコンピュータプログラムを実行することにより実現されてよい。
【００６３】
本実施の形態の画像生成方法では、まず、全周囲画像取得部１１にて全周囲画像が取得される（ステップＳ７１）。全周囲画像が取得されると、中間平面画像生成部１２は、変換テーブル記憶部１３に記憶された変換テーブルを用いて、全周囲画像の各分割範囲について、中間平面画像を生成する（ステップＳ７２）。
【００６４】
そして、切出し範囲指定部１５は、切出し範囲を指定する（ステップＳ７３）。このとき、切出し範囲指定部１５は、全周囲画像の内容に基づいて（例えば全周囲画像から動きを検出して）切出し範囲を指定してもよいし、全周囲画像とは無関係に切出し範囲を指定してもよい。
【００６５】
次に、平面画像生成部１４は、指定された切出し範囲に対応する仮想カメラ平面を設定し（ステップＳ７４）、切出し範囲に含まれる中間平面画像を仮想カメラ平面に射影する（ステップＳ７５）。そして、平面画像生成部１４は、仮想カメラ平面に射影した中間平面画像が複数ある場合は、それらを合成する（つなぎ合わせる）ことで平面画像を生成する（ステップＳ７６）。出力部１６は、生成された平面画像を出力する（ステップＳ７７）。
【００６６】
以上のように、本実施の形態の画像生成装置１０によれば、全周囲画像から任意の切出し範囲の平面画像を生成する際に、変換テーブルを用いて固定された分割範囲ごとに全周囲画像を中間平面に射影して、平面画像を生成するための切出し範囲が指定されたときに、平面画像を生成するための仮想カメラ平面に、中間平面に射影された中間平面画像を射影するとことで、平面画像が生成される。ここで、全周囲画像から中間平面画像への変換には、あらかじめ記憶された変換テーブルを用いるので、演算処理の負荷が軽く、かつ、演算処理を高速化できる。また、中間平面画像を仮想カメラ平面に射影する処理も、平面から平面への射影であるので、射影位置は固定値の乗算で求めることができ、この点でも演算処理の負荷を軽減できる。
【００６７】
以上、本発明の一つの実施の形態を説明したが、上記の実施の形態に対して、種々の変形が可能である。以下、各種の変形例を説明する。
【００６８】
（第１の変形例）
図８は、第１の変形例の画像生成装置の構成を示すブロック図である。画像生成装置２０において、上記の実施の形態の画像生成装置１０と同じ構成については、同一の符号を付して、その詳細な説明を省略する。画像生成装置２０は、上記の実施の形態の画像生成装置１０と比較して、中間平面画像生成領域指定部２７が追加されている。
【００６９】
中間平面画像生成領域指定部２７は、切出し範囲指定部１５にて切出し範囲が指定されると、その情報を受けて、一部又は全部がその切出し範囲に含まれる分割範囲を特定する。中間平面画像生成領域指定部２７は、分割範囲がその一部のみ切出し範囲に含まれる場合は、その一部領域も特定する。そして、中間平面画像生成領域指定部２７は、特定された領域を中間平面画像生成部１２に出力する。
【００７０】
中間平面画像生成部１２は、中間平面画像生成領域指定部２７によって指定された領域についてのみ中間平面画像を生成して、平面画像生成部１４に出力する。平面画像生成部１４は、切出し範囲指定部１５にて指定された範囲を参照して、中間平面画像生成部１２にて生成された中間平面画像を合成して（つなぎ合わせて）、平面画像を生成する。
【００７１】
図９は、第１の変形例の画像生成装置２０にて実行される画像生成方法のフロー図である。図９のフロー図において、上記の実施の形態の画像生成方法の処理と同じ処理については、同一のステップ番号を付与し、詳細な説明は省略する。第１の変形例の画像生成方法では、全周囲画像が取得されると（ステップＳ７１）、中間平面画像が生成される前に、まず、切出し範囲指定部１５にて平面画像を生成するための切出し範囲が指定される（ステップＳ７３）。
【００７２】
次に、中間平面画像生成領域指定部２７は、切出し範囲指定部１５にて指定された切出し範囲に基づいて、中間平面画像を生成する領域を指定する（ステップＳ９８）。そして、中間平面画像生成部１２は、中間平面画像生成領域指定部２７にて指定された中間平面画像生成領域内の各分割範囲について、中間平面画像を生成する（ステップＳ９２）。それ以降の処理は、図７を参照して説明した上記の実施の形態の画像生成方法と同じである。
【００７３】
第１の変形例によれば、中間平面画像は、平面画像を生成するのに必要な範囲でのみ生成されるので、上記の実施の形態と比較して演算処理の量を少なくでき、従って処理負荷をより軽減でき、処理速度をより高速にできる。
【００７４】
なお、上記で説明した第１の変形例では、中間平面画像生成領域指定部２７が切出し範囲指定部１５で指定された切出し範囲に基づいて、その切出し範囲内にて中間平面画像を生成するように中間平面画像生成領域を指定したが、逆に、中間平面画像生成領域指定部２７がまず中間平面画像を生成する分割範囲を指定して、切出し範囲指定部１５を、この分割範囲を含む領域から切出し範囲を指定可能とし、中間平面画像生成部１２は、この分割範囲について中間平面画像を生成してもよい。
【００７５】
この場合は、全周囲画像において、中間平面画像生成領域指定部２７にて指定された領域（中間平面画像生成部１２にて中間平面画像が生成される領域）が平面画像生成可能範囲として表示され、ユーザは、その平面画像生成可能範囲の中から切出し範囲を指定する。この構成によれば、上記の実施の形態と同様に、あらかじめ中間平面画像が生成されるので、切出し範囲が指定されたら、すぐに平面画像生成部１４にて平面画像が合成され、よって、切出し範囲の指定から平面画像の出力までを高速化できるとともに、上記で説明した第１の変形例による処理負荷の軽減の効果も得ることができる。
【００７６】
（第２の変形例）
図１０は、第２の変形例の画像生成装置の構成を示すブロック図である。画像生成装置３０において、上記の実施の形態の画像生成装置１０と同じ構成については、同一の符号を付して、その詳細な説明を省略する。画像生成装置３０は、上記の実施の形態の画像生成装置１０と比較して、中間平面画像記憶部３８が追加されている。
【００７７】
上述のように、全周囲画像取得部１１は、動画像を構成する連続する全周囲画像の画像フレームを取得する。第２の変形例は、全周囲画像取得部１１にて全周囲画像の画像フレームが取得されるたびに、直ちに平面画像を生成する必要がない場合、すなわち、全周囲画像の画像フレームが取得される撮影時と、平面画像が生成されるモニタリング時との間に十分な時間が確保できる場合に有効である。
【００７８】
撮影時において、中間平面画像生成部１２は、全周囲画像取得部１１が全周囲画像の画像フレームを取得すると、この画像フレームについて、中間平面画像を生成し、これを中間平面画像記憶部３８に記憶する。中間平面画像生成部１２は、全周囲画像取得部１１が次の画像フレームを取得すると、それについても中間平面画像を生成して、それを中間平面画像記憶部３８に記憶する。
【００７９】
このように、中間平面画像１２は、全周囲画像取得部１１から全周囲画像の画像フレームが入力されるたびに、その全周囲画像の中間平面画像を生成して、中間平面画像記憶部３８に記憶させる。このとき、中間平面画像記憶部３８には、各中間平面画像がその画像フレームを特定する情報と関連付けられて記憶される。また、中間平面画像記憶部３８には、全周囲画像の画像フレームも記憶される。なお、中間平面画像生成部１２は、全周囲画像の全領域について中間平面画像を生成してよい。また、中間平面画像が中間平面画像記憶部３８に記憶された全周囲画像の画像フレームは、中間平面画像記憶部３８とは異なる記憶領域に記憶されてよい。
【００８０】
モニタリング時には、中間平面画像記憶部３８に中間平面画像が記憶された各画像フレームについて、切出し範囲指定部１５にて切出し範囲が指定される。切出し範囲指定部１５にて切出し範囲が指定されると、平面画像生成部１４は、仮想カメラ平面を設定する。そして、平面画像生成部１４は、対応する画像フレームにおける必要な中間平面画像を中間平面画像記憶部３８から読み出し、それらを設定された仮想カメラ平面に射影して、互いにつなぎ合わせることで、その画像フレームの全周囲画像から切出した平面画像を生成する。
【００８１】
以上のように、第２の変形例の画像生成装置によれば、撮影された全周囲画像に対して、リアルタイムで平面画像を生成する必要がない場合には、モニタリングに先立って、各画像フレームについてあらかじめ中間平面画像を生成しておくことで、モニタリング時に任意の切出し範囲が指定されたときに、直ちに平面画像を生成できるので、平面画像の作成に要する時間を短縮できる。
【００８２】
（第３の変形例）
図１１は、第３の変形例を説明するための図である。上記の実施の形態では、切出し範囲指定部１５にて平面画像を生成するための切出し範囲が指定されると、平面画像生成部１４は、仮想カメラ平面を設定するが、このとき、平面画像生成部１４は、切出し範囲の中心にて仮想半球面に接する平面を仮想カメラ平面として設定した。図１１において、破線で示す仮想カメラ平面ＶＰ１１は、このようにして設定される仮想カメラ平面である。
【００８３】
しかしながら、上記のようにして仮想カメラ平面を設定すると、この仮想カメラ平面は、一般的にはいずれの中間平面とも重複しなくなる（平行でなくなる）。図１１の例では、仮想カメラ平面ＶＰ１１は、関連する中間平面ＶＰ１１１、ＶＰ１１２のいずれとも重複していない。このような場合には、平面画像を生成するために、中間平面ＶＰ１１１に射影された中間平面画像ＲＰ１１１、及び中間平面ＶＰ１１２に射影された中間平面画像ＲＰ１１２の両方を仮想カメラ平面ＶＰ１１に射影しなければならない。
【００８４】
そこで、第３の変形例では、平面画像生成部１４は、切出し範囲にて平面画像を生成するための仮想カメラ平面を設定する際に、この切出し範囲に含まれる中間平面画像のうちの切出し範囲の中心を含む中間平面画像の中間平面と平行になるように、仮想カメラ平面を設定する。図１１を参照して説明すると、平面画像生成部１４は、切出し範囲指定部１５にて指定された切出し範囲ＣＡ１１の中心を含む中間平面画像ＲＰ１１２の中間平面ＶＰ１１２と平行になるように仮想カメラ平面ＶＰ１１’を設定する。
【００８５】
このようにすることで、仮想カメラ平面と平行な中間平面の中間平面画像については、仮想カメラ平面に射影するための座標変換処理を行う必要がなく、処理負荷を軽減できる。
【００８６】
（第４の変形例）
図１２及び図１３は、第４の変形例を説明するための図である。上記の実施の形態では、中間平面群は、切頂二十面体の半球状の部分を構成する複数の正５角形及び正６角形の集合であり、変換テーブル記憶部１３には、そのような中間平面群及びそれらの中間平面群に対応する分割範囲が設定されており、分割範囲ごとに全周囲画像の該当部分を中間平面画像に変換するための変換テーブルが記憶されていた。図１２において、実線は、この変換テーブルに係る分割範囲を示している。
【００８７】
しかしながら、図１２に示す切出し範囲ＣＡ１２のように、平面画像を生成するための切出し範囲の中心Ｏが分割範囲の切れ目に近いと、平面画像の中心部分の画質が劣化する。そこで、第４の変形例では、変換テーブル記憶部１３に、図１２に実線で示した中間平面群に係る変換テーブルと、図１２に破線で示した中間平面群についての変換テーブルという２種類の変換テーブルを記憶しておく。図１３は、２種類の変換テーブルに対応する２種類の中間平面群を立体的に示す図である。
【００８８】
中間平面画像生成部１２は、切出し範囲指定部１５にて切出し範囲が指定されると、記憶されている２種類の変換テーブルのうち、指定された切出し範囲の中央に切れ目がない変換テーブルを選択して、中間平面画像を生成する。図１２の例では、中間平面画像生成部１２は、切出し範囲ＣＡ１２が指定された場合に、切出し範囲ＣＡ１２の中心部に中間平面画像の切れ目が来る実線の中間平面群の変換テーブルではなく、切出し範囲ＣＡ１２の中心部に中間平面画像の切れ目がない破線の中間平面群の変換テーブルを選択する。
【００８９】
具体的には、中間平面画像生成部１２は、切出し範囲が指定されると、その切出し範囲の中心とその切出し範囲の中心を含む中間平面の中心との中心間距離をそれぞれ求めて、複数の中間平面群のうちので、中心間距離が最も小さい中間平面群の変換テーブルを選択する。図１２の例では、切出し範囲ＣＡ１２の中心Ｏとその切出し範囲ＣＡ１２の中心Ｏを含む破線の中間平面群の中間平面ＲＰ２の中心Ｏ２との間の距離ｄ２が、切出し範囲ＣＡ１２の中心Ｏとその切出し範囲ＣＡ１２の中心Ｏを含む実線の中間平面群の中間平面ＲＰ１の中心Ｏ１との間の距離ｄ１よりも小さいので、破線の中間平面群の変換テーブルが選択される。なお、変換テーブルの種類は２種類に限らず、３種類以上であってもよい。
【００９０】
（その他の変形例）
上記の実施の形態では、平面画像生成部１４は、中間平面画像の一部のみが切出し範囲に含まれる場合には、その切出し範囲に含まれる中間平面画像の部分のみを仮想カメラ平面に射影して、それらを合成することで切出し範囲の平面画像を生成したが、平面画像生成部１４は、中間平面画像の一部のみが切出し範囲に含まれる場合にも、そのような中間平面画像の全体を仮想カメラ平面に射影して、それらを合成した後に、切出し範囲に応じて不要な周辺部分をトリミングすることにより、切出し範囲の平面画像を生成してもよい。
【産業上の利用可能性】
【００９１】
以上のように、本発明は、全周囲画像内の任意の範囲を切出し範囲として切出して平面画像を生成するための演算処理の負荷を軽減することができ、全周囲画像内の任意の範囲を切出し範囲として切出して平面画像を生成する画像生成装置等として有用である。
【符号の説明】
【００９２】
１０、２０、３０ 画像生成装置
１１ 全周囲画像取得部
１２ 中間平面画像生成部
１３ 変換テーブル記憶部
１４ 平面画像生成部
１５ 切出し範囲指定部
１６ 出力部
２７ 中間平面画像生成領域指定部
３８ 中間平面画像記憶部
【技術分野】
【０００１】
本発明は、歪みを有する全周囲画像の一部範囲を切出し範囲として切出して平面画像を生成する画像生成装置及び画像生成方法に関し、特に、全周囲画像内の任意の範囲を切出し範囲として切出して平面画像を生成する画像生成装置及び画像生成方法に関するものである。
【背景技術】
【０００２】
従来より、監視カメラ等には全周囲カメラが用いられている。全周囲カメラは、３６０度カメラとも呼ばれ、魚眼レンズやミラーなどを用いて、水平画角３６０度、垂直画角１８０度の全周囲画像を撮影して、円形又はドーナツ形状の撮影画像（以下、「全周囲画像」という。）を得ることができる。
【０００３】
全周囲画像を平面画像に補正することで、通常のカメラで撮影されたのと同様な画像を得ることができる。特に、全周囲画像を全周について展開すれば、３６０度のパノラマ画像が１つのカメラの１度の撮影で得られることになる。
【０００４】
また、全周囲画像の一部範囲を切出して平面画像に補正するとともに、その切出し範囲を変化（移動や拡大縮小）させることで、通常のカメラをパン、チルト、ズームさせながら撮影されたのと同様な複数の平面画像（ないしは動画像）が得られる。このように、あたかも通常のカメラをパン、チルト、ズームしながら撮影をして得られたような複数の平面画像が得られるように、全周囲画像の切出し範囲を変化させる制御を、電子ＰＴＺ（ｐａｎ、ｔｉｌｔ、ｚｏｏｍ）制御という。
【０００５】
全周囲画像から一部範囲を切り出すとともにその切出し範囲を変化させる用途としては、例えば、監視カメラにおいて、切出し範囲を手動で変化させるものや、切出し範囲を所定の軌道で自動的に変化させるものや、全周囲画像から動体を検出して、検出した動体を追尾するように自動で切出し範囲を変化させるもの等がある。
【０００６】
図１４（ａ）は、全周囲画像の例を示す図であり、図１４（ｂ）は、図１４（ａ）の全周囲画像から一部範囲ＰＡを切出して生成した平面画像を示す図である。図１４（ａ）に示されるように、全周囲画像は、魚眼レンズを用いて、例えば全周囲画像の中心からの距離と仰角が比例する等距離射影方式で撮影されることから、歪みが生じている。従って、全周囲画像から一部範囲ＰＡを切出して図１４（ｂ）に示す平面画像を得るには、全周囲画像から一部範囲ＰＡに対して歪み補正を行なう必要がある（例えば、特許文献１を参照）。
【０００７】
図１５及び図１６は、平面画像の生成を説明する図である。図１５（ａ）は、魚眼レンズの中心をその中心とし、焦点距離をその半径とする仮想の半球面（以下、「仮想半球面」という。）ＶＳと、全周囲画像を射影するための平面である仮想カメラ平面ＶＰとの関係を示す図であり、図１５（ｂ）は、イメージセンサＩＳに投影された全周囲画像を示す図である。また、図１６（ａ）及び（ｂ）は、いずれも図１５（ａ）の中心Ｏを通り、仮想カメラ平面ＶＰに垂直に交わる平面で図１５（ａ）に示す全周囲画像の射影面及び仮想カメラ平面ＶＰを切断した図である（以下、図１、４、５、６、１１、１２も同様である）。図１６（ａ）は、仮想カメラ平面ＶＰを示しており、図１６（ｂ）は、切出し範囲が移動した場合の仮想カメラ平面ＶＰ’を示している。
【０００８】
全周囲画像から一部範囲を切出し範囲として切出して歪み補正を行って（即ち、仮想カメラ平面に射影して）平面画像を生成する処理は、演算量やメモリアクセスが多く、処理負荷が大きい。そこで、全周囲画像の切出し範囲に対して歪み補正を行って平面画像を生成する（全周囲画像の切出し範囲を平面画像に変換する）ための変換テーブル（ルックアップテーブル）を用いることで、処理負荷を軽減することが考えられる。
【０００９】
例えば、特許文献１では、歪み補正の演算の一部（三角関数など）を、変換テーブルを用いて行なうことが開示されている。また、特許文献２では、全周囲画像の特定の切出し範囲に対して歪み補正を行なった演算結果を変換テーブルとして格納しておくことが開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０００−２３５６４５号公報
【特許文献２】特開２００８−３１１８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
変換テーブルを用いて全周囲画像から平面画像への変換を行なう場合には、演算処理の負荷が小さく、演算も速いが、全周囲画像における任意の範囲を切出し範囲として電子ＰＴＺを実現するためには、無限個の変換テーブルを保持していなければならず、現実的ではない。
【００１２】
本発明は、全周囲画像における任意の範囲を切出し範囲について平面画像を生成することが可能であるとともに、演算処理の負荷を軽減して演算速度を向上させることができる画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記従来の課題を解決するために、本発明の画像生成装置は、歪みを有する全周囲画像から切出した切出し範囲を仮想カメラ平面に射影した平面画像を生成する画像生成装置であって、前記全周囲画像を取得する全周囲画像取得部と、前記全周囲画像取得部にて取得される全周囲画像を複数の分割範囲ごとにそれぞれ対応する所定の平面に射影するための変換テーブルを記憶した変換テーブル記憶部と、前記変換テーブル記憶部に記憶された前記変換テーブルを用いて、前記全周囲画像取得部にて取得された前記全周囲画像を前記分割範囲ごとに前記所定の平面に射影することで、前記分割範囲ごとの中間平面画像を生成する中間平面画像生成部と、前記切出し範囲を指定する切出し範囲指定部と、前記切出し範囲の中間平面画像を前記仮想カメラ平面に射影することで、前記平面画像を生成する平面画像生成部とを備えた構成を有している。
【００１４】
この構成によれば、全周囲画像から任意の切出し範囲の平面画像を生成する際に、変換テーブルを用いて、固定された分割範囲ごとに、全周囲画像を所定の平面（中間平面）に射影して、平面画像を生成するための切出し範囲が指定されたときに、平面画像を生成するための仮想カメラ平面に中間平面に射影された中間平面画像を射影するとことで平面画像が生成される。ここで、全周囲画像から中間平面画像への変換には、あらかじめ記憶された変換テーブルを用いるので、演算処理の負荷が軽く、かつ、演算処理を高速化できる。また、中間平面画像を仮想カメラ平面に射影する処理も、平面から平面への射影であるので、射影位置は固定値の乗算で求めることができ、この点でも演算処理の負荷を軽減できる。
【００１５】
また、上記の画像生成装置において、前記平面画像生成部は、前記中間平面画像の各点を、当該点から前記仮想カメラ平面に下ろした垂線の足に射影してよい。
【００１６】
また、上記の画像生成装置において、前記平面画像生成部は、前記中間平面画像の各点を、すべて均等の倍率で拡大するように前記仮想カメラ平面に射影してよい。
【００１７】
また、上記の画像生成装置において、前記中間平面画像生成部は、前記切出し範囲指定部にて指定された前記切出し範囲を少なくとも一部に含む前記分割範囲のみの中間平面画像を生成してよい。
【００１８】
この構成によれば、中間平面画像は、平面画像を生成するのに必要な範囲でのみ生成されるので、上記の実施の形態と比較して演算処理の量を少なくでき、従って処理負荷をより軽減でき、処理速度をより高速にできる。
【００１９】
上記の画像形成装置において、前記中間平面画像生成部は、前記全周囲画像中の指定された一部領域に該当する前記分割範囲のみについて前記中間平面画像を生成してよく、前記切出し範囲指定部は、前記一部領域中で前記切出し範囲を指定してよい。
【００２０】
この構成によれば、中間平面画像が生成される領域内で切出し範囲が指定されるので、その領域においてあらかじめ中間平面画像を生成しておき、切出し範囲が指定されたら、すぐに平面画像生成部にて平面画像を生成することができ、よって、切出し範囲の指定から平面画像の出力までを高速化できる。
【００２１】
また、上記の画像形成装置は、前記中間平面画像生成部にて生成された中間平面画像を記憶する中間平面画像記憶部をさらに備えていてよく、前記平面画像生成部は、前記中間平面画像記憶部に記憶された中間平面画像を読み出して前記仮想カメラ平面に射影することで、前記平面画像を生成してよい。
【００２２】
この構成によれば、平面画像を生成する前に、あらかじめ中間平面画像を生成して記憶しておくので、平面画像を生成するために任意の切出し範囲が指定された後に中間平面画像を生成する必要がなく、すでに生成されて記憶されている中間平面画像を利用して直ちに平面画像を生成できるので、平面画像の作成に要する時間を短縮できる。
【００２３】
また、上記の画像生成装置において、前記平面画像生成部は、前記切出し範囲指定部にて指定された前記切出し範囲に応じて前記仮想カメラ平面を設定してよい。
【００２４】
また、上記の画像生成装置において、前記平面画像生成部は、前記切出し範囲指定部にて指定された前記切出し範囲の中心部における射影距離が前記切出し範囲の縁部における射影距離よりも短くなるように、前記仮想カメラ平面を設定してよい。
【００２５】
この構成によれば、特に中心部において歪の少ない平面画像を生成することができる。
【００２６】
また、上記の画像生成装置において、前記平面画像生成部は、前記切出し範囲指定部にて指定された前記切出し範囲に含まれるいずれかの分割範囲に対応する前記所定の平面と平行になるように、前記仮想カメラ平面を設定してよい。
【００２７】
この構成によれば、仮想カメラ平面と平行になる分割範囲の中間平面画像については、仮想カメラ平面に射影するための変換をする必要がなく、平面画像を生成するための処理負荷を軽減できる。また、当該分割範囲については、平面画像における歪を小さくできる。
【００２８】
また、上記の画像生成装置において、前記変換テーブル記憶部は、前記全周囲画像取得部にて取得される全周囲画像の全範囲を複数の互いに異なる分割方法で分割した場合のそれぞれについて、前記変換テーブルを記憶していてよい。
【００２９】
この構成によれば、平面画像を生成するための切出し範囲の位置に対して、より適切に分割された変換テーブルを選択して用いることができ、平面画像において歪の大小の分布パターンを複数通りの中から選択できる。
【００３０】
本発明の画像生成方法は、歪みを有する全周囲画像から切出した切出し範囲を仮想カメラ平面に射影した平面画像を生成する画像生成方法であって、前記全周囲画像を取得する全周囲画像取得ステップと、前記全周囲画像取得ステップにて取得される全周囲画像を複数の分割範囲ごとにそれぞれ対応する所定の平面に射影するための変換テーブルを用いて、前記全周囲画像取得ステップにて取得された前記全周囲画像を前記分割範囲ごとに前記所定の平面に射影することで、前記分割範囲ごとの中間平面画像を生成する中間平面画像生成ステップと、前記切出し範囲を指定する切出し範囲指定ステップと、前記切出し範囲の中間平面画像を前記仮想カメラ平面に射影することで、前記平面画像を生成する平面画像生成ステップとを含む構成を有している。
【００３１】
この構成によっても、全周囲画像から任意の切出し範囲の平面画像を生成する際に、変換テーブルを用いて固定された分割範囲ごとに全周囲画像を所定の平面（中間平面）に射影して、平面画像を生成するための切出し範囲が指定されたときに、平面画像を生成するための仮想カメラ平面に中間平面に射影された中間平面画像を射影するとことで平面画像が生成される。ここで、全周囲画像から中間平面画像への変換には、あらかじめ記憶された変換テーブルを用いるので、演算処理の負荷が軽く、かつ、演算処理を高速化できる。また、中間平面画像を仮想カメラ平面に射影する処理も、平面から平面への射影であるので、射影位置は固定値の乗算で求めることができ、この点でも演算処理の負荷を軽減できる。
【発明の効果】
【００３２】
本発明は、全周囲画像を中間平面画像に変換して中間平面画像を平面画像に変換することで平面画像を生成し、このとき、全周囲画像から中間平面画像への変換には、あらかじめ記憶された変換テーブルを用いるので、演算処理の負荷が軽く、かつ、演算処理を高速化できる。また、中間平面画像から平面画像への変換も、平面から平面への射影であるので、射影位置は固定値の乗算で求めることができ、この点でも演算処理の負荷を軽減できる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態における平面画像を生成する原理を説明するための図
【図２】本発明の実施の形態における平面画像を生成するための切出し範囲と、中間平面画像を生成するための分割範囲との関係を示す図
【図３】本発明の実施の形態における画像生成装置の構成を示すブロック図
【図４】本発明の実施の形態における中間平面画像を仮想カメラ平面に射影する第１の射影方法を説明するための図
【図５】本発明の実施の形態における中間平面画像を仮想カメラ平面に射影する第１の射影方法を説明するための図
【図６】本発明の実施の形態における中間平面画像を仮想カメラ平面に射影する第２の射影方法を説明するための図
【図７】本発明の実施の形態における画像生成装置にて実行される画像生成方法のフロー図
【図８】本発明の実施の形態の第１の変形例における画像生成装置の構成を示すブロック図
【図９】本発明の実施の形態の第１の変形例の画像生成装置にて実行される画像生成方法のフロー図
【図１０】本発明の実施の形態の第２の変形例の画像生成装置の構成を示すブロック図
【図１１】本発明の実施の形態の第３の変形例を説明するための図
【図１２】本発明の実施の形態の第４の変形例を説明するための図
【図１３】本発明の実施の形態の第４の変形例を説明するための図
【図１４】（ａ）全周囲画像の例を示す図 （ｂ）全周囲画像から一部範囲ＰＡを切出して生成した平面画像を示す図
【図１５】（ａ）仮想半球面と仮想カメラ平面との関係を示す図 （ｂ）イメージセンサに投影された全周囲画像を示す図
【図１６】（ａ）仮想半球面と仮想カメラ平面との関係を示す図 （ｂ）切出し範囲が移動した場合の仮想半球面と仮想カメラ平面との関係を示す図
【発明を実施するための形態】
【００３４】
以下、本発明を実施するための形態について、図面を参照しながら説明する。まず、図１及び図２を参照して、本発明の実施の形態における平面画像の生成の基本的な原理を説明する。なお、本実施の形態において、平面画像とは、魚眼レンズ等によって撮影された歪みを有する画像を、仮想カメラ平面に射影することで得られる画像をいう。
【００３５】
図１は、本発明の実施の形態において平面画像を生成する原理を説明するための図である。図１は、仮想半球面ＶＳと、分割範囲ＣＡ１１〜ＣＡ１５と、分割範囲を射影する平面である中間平面ＶＰ１１〜ＶＰ１５と、中間平面画像ＲＰ１１〜ＲＰ１５と、切出し範囲ＣＡ１と、仮想カメラ平面ＶＰと、平面画像ＦＰとの関係を示している。
【００３６】
平面画像ＦＰは、次のようにして生成される。仮想半球面ＶＳには、予め分割範囲ＣＡ１１〜ＣＡ１５が定義されており、全周囲画像が撮影されると、この撮影された全周囲画像について、分割範囲ＣＡ１１〜ＣＡ１５にそれぞれ対応する中間平面画像ＲＰ１１〜ＲＰ１５が生成される。このとき、中間平面画像ＲＰ１１〜ＲＰ１５は、全周囲画像の分割範囲ＣＡ１１〜ＣＡ１５を中間平面ＶＰ１１〜ＶＰ１５に射影することで生成される。中間平面ＶＰ１１〜ＶＰ１５は、切出し範囲ＣＡ１１〜ＣＡ１５の中心で仮想半球面ＶＳに接する平面として定義される。
【００３７】
なお、図１では、説明を簡潔にするために、分割範囲については、ＣＡ１１〜ＣＡ１５、中間平面については、ＶＰ１１〜ＶＰ１５、中間平面画像については、ＲＰ１１〜ＲＰ１５のみを示しているが、実際には、分割範囲及び中間平面は仮想半球面ＶＳ全体にわたって設定されており、中間平面画像は設定されている全ての分割範囲について生成されてよい。以下、中間平面の集合を中間平面群という。
【００３８】
平面画像ＦＰを生成するための仮想カメラ平面ＶＰが指定されると、この仮想カメラ平面ＶＰに射影される画像部分を含む中間平面画像が、仮想カメラ平面ＶＰに射影される。そして、仮想カメラ平面ＶＰに射影された中間平面画像が互いにつなぎ合わされて、平面画像ＦＰが生成される。
【００３９】
図２（ａ）は、中間平面群を斜め上から見た図であり、図２（ｂ）は、中間平面群を真上から見た図である。図１では、説明の便宜のために、複数の分割範囲及び中間平面が横方向に並んだ例を説明したが、実際には仮想半球面ＶＳは立体的であるので、中間平面群は多面体となる。各中間平面は任意の形状でよいが、本実施の形態では、図２（ａ）及び図２（ｂ）に示すように、中間平面は正５角形又は正６角形であり、これらが仮想半球面ＶＳ上に配置されて、切頂二十面体の半球状の部分が構成されている。
【００４０】
図２の例では、各分割範囲の中心で仮想半球面に接する平面が各分割範囲の中間平面とされる。この分割範囲及び中間平面を固定することで、各分割範囲を中間平面に射影するための変換テーブルは固定値として予め記憶しておくことができる。
【００４１】
全周囲画像が得られた場合には、この全周囲画像における各分割範囲を対応する変換テーブルによって変換することで、中間平面に射影をすることができ、軽い処理負荷で（即ち、変換式を求めることなく）各分割範囲の中間平面画像を生成できる。平面画像を生成するための切出し範囲が指定されると、その切出し範囲に含まれる分割範囲の中間平面画像（一般的には複数）を仮想カメラ平面（図１のＶＰを参照）に射影し、それらを合成して平面画像とする。
【００４２】
このように、本実施の形態では、全周囲画像から中間平面画像を生成した上で、切出し範囲に応じた仮想カメラ平面に、必要な中間平面画像を射影して合成することで平面画像を生成する。中間平面画像は、変換テーブルで全周囲画像を変換することで生成されるので、処理負荷が軽くて済む。また、中間平面画像を生成する範囲（分割範囲）は固定であるので、変換テーブルを無限に用意する必要もない。さらに、中間平面画像を仮想カメラ平面に射影する処理は平面から平面への射影であるので、その処理負荷も軽くて済む。よって、平面画像を生成するための全体の処理の負荷が軽くなる。
【００４３】
図３は、本発明の実施の形態の画像生成装置の構成を示すブロック図である。画像生成装置１０は、全周囲画像取得部１１、中間平面画像生成部１２、変換テーブル記憶部１３、平面画像生成部１４、切出し範囲指定部１５、及び出力部１６を備えている。
【００４４】
全周囲画像取得部１１は、被写体の全周囲画像を取得する。本実施の形態では、全周囲画像取得部１１は、外部の動画像撮影装置から全周囲画像を取得する。この動画像撮影装置は、被写体の動画像を撮影して、連続する画像フレームを全周囲画像取得部１１に出力する。また、全周囲画像取得部１１は、連続的に得られる全周囲画像の静止画像を取得してもよい。
【００４５】
全周囲画像取得部１１は、魚眼レンズを用いて等距離射影方式により撮像素子に被写体像を投影して、水平画角３６０度、垂直画角１８０度の全周囲画像を取得する。この全周囲画像は、円形であり、中心から離れるほど歪みの度合いが大きくなっている画像である。全周囲画像取得部１１にて取得された全周囲画像は、中間平面画像生成部１２に出力される。
【００４６】
変換テーブル記憶部１３には、全周囲画像を複数の分割範囲ごとにそれぞれ対応する所定の平面に射影するための変換テーブルが記憶されている。図１を参照して説明すると、変換テーブル記憶部１３には、分割範囲ＣＡ１１〜ＣＡ１５を中間平面ＶＰ１１〜ＶＰ１５にそれぞれ射影するための変換テーブルが記憶されている。ここで、上述の通り、中間平面は、分割範囲の中心で仮想半球面に接する平面として設定されている。なお、分割範囲は、互いに重複していてもよい。
【００４７】
中間平面画像生成部１２は、全周囲画像取得部１１にて取得された全周囲画像の各分割範囲について、それぞれ変換テーブル記憶部１３に記憶された変換テーブルを参照して、座標変換を行うことで、中間平面画像を生成する。図１を参照して説明すると、中間平面画像生成部１２によって、分割範囲ＣＡ１１〜ＣＡ１５について、それぞれ中間平面画像ＲＰ１１〜ＲＰ１５が生成される。
【００４８】
切出し範囲指定部１５は、切出し範囲（全周囲画像から平面画像を生成するために切り出す範囲）を指定する。図１を参照して説明すると、切出し範囲指定部１５によって、切出し範囲ＣＡ１が指定される。図１は、仮想半球面ＶＳが平面的に示されているが、仮想半球面ＶＳは実際には立体であるので、切出し範囲は、実際には、２次元的な範囲となる。切出し範囲が矩形である場合は、切出し範囲は、仮想半球面上の４点にそれぞれ向かう４本のベクトルで特定され、この４本のベクトルに囲まれる範囲が切出し範囲となる。
【００４９】
切出し範囲の縦横比及び向きが固定である場合は、切出し範囲は、仮想半球面の中心から切出し範囲の中心へのベクトルと切出し範囲の大きさのパラメータで定義される。このベクトルの水平方向の角度は、通常のカメラのパン角に相当し、ベクトルの垂直方向の角度は、通常のカメラのチルト角に相当する。切出し範囲の大きさ（切出し画角）は、通常のカメラのズームに相当する。従って、切出し範囲の指定は、換言すれば電子ＰＴＺ制御におけるパン、チルト、ズームの指定である。
【００５０】
切出し範囲指定部１５は、ユーザの操作に応じて切出し範囲を指定してよい。この場合には、画像生成装置１０には操作部が設けられ、ユーザは操作部を操作することで切出し範囲を指定できる。切出し範囲指定部１５は、切出し範囲が所定の軌道を描くように自動で切出し範囲を移動させてもよい。
【００５１】
さらに、切出し範囲指定部１５は、全周囲画像から動体を検知して、その動体を追尾するように切出し範囲を指定してもよい。この場合には、画像生成装置１０には、全周囲画像中の動きを検出する動き検出部が設けられ、切出し範囲指定部１５には、動き検知部から動きがあった範囲が通知され、切出し範囲指定部１５は、動きがあった範囲が中心になるように切出し範囲を指定する。
【００５２】
また、切出し範囲指定部１５によって指定される切出し範囲は、その大きさ（ズーム倍率）が固定されていてもよいし、可変であってもよい。さらに、切出し範囲指定部１５は、切出し範囲を指定する際に仮想半球面上の任意の複数の点に向かう複数のベクトルを指定することで、四角形以外の矩形や、仮想半球面上の任意の形状を切出し範囲として指定することもできる。
【００５３】
平面画像生成部１４は、切出し範囲指定部１５にて指定された切出し範囲の平面画像を生成する。このために、平面画像生成部１４は、まず、指定された切出し範囲に対応する仮想カメラ平面を設定する。本実施の形態では、指定された切出し範囲の中心で仮想半球面に接する平面を仮想カメラ平面とする。仮想カメラ平面を設定すると、平面画像生成部１４は、切出し範囲に含まれる中間平面画像を仮想カメラ平面に射影する。
【００５４】
平面画像生成部１４は、切出し範囲と各分割範囲とを比較して、全部又は一部が切出し範囲に含まれる分割範囲の中間平面画像を選択して、仮想カメラ平面に射影する。平面画像生成部１４は、一部のみが切出し範囲に含まれる分割範囲の中間平面画像については、切出し範囲に含まれる部分のみを仮想カメラ平面に射影する。平面画像生成部１４は、射影した各中間平面画像をつなぎ合わせて（合成して）、平面画像を生成する。
【００５５】
図１を参照して説明すると、平面画像生成部１４は、切出し範囲ＣＡ１に含まれる中間平面画像ＲＰ１１、ＲＰ１５の一部と中間平面画像ＲＰ１２〜ＲＰ１４の全体をそれぞれ仮想カメラ平面ＶＰに射影して、射影された中間平面画像ＲＰ１１、ＲＰ１５の一部と中間平面画像ＲＰ１２〜ＲＰ１４の全体をつなぎ合わせることで、平面画像ＦＰを生成する。
【００５６】
平面画像生成部１４によって中間平面画像を仮想カメラ平面に射影する方法は、一通りに限られない。以下では、例として、２つの方法を説明する。
【００５７】
図４は、中間平面画像を仮想カメラ平面に射影する第１の射影方法を説明するための図である。第１の射影方法では、中間平面画像の各点は、仮想カメラ平面に垂直な方向に射影される。図４を参照すると、中間平面画像ＲＰ４１、ＲＰ４２上の任意の点ｐ４１、ｐ４２、ｐ４３、ｐ４４、ｐ４５、・・・は、それぞれの点から仮想カメラ平面ＶＰへ下ろした垂線の足（仮想カメラ平面ＶＰに下ろした垂線と仮想カメラ平面ＶＰとの交点）Ｐ４１、Ｐ４２、Ｐ４３、Ｐ４４、Ｐ４５、・・・に射影される。
【００５８】
図５は、第１の射影方法の別の例を示す図である。中間平面画像ＲＰ５の任意の点ｐ５１、ｐ５２、ｐ５３、・・・は、それぞれの点から仮想カメラ平面ＶＰに下ろした垂線の足Ｐ５１、Ｐ５２、Ｐ５３、・・・に射影される。この第１の射影方法によれば、中間平面画像から仮想カメラ平面への射影は、平面から平面への射影なので、射影位置は固定値の乗算で求めることができる。
【００５９】
図６は、中間平面画像を仮想カメラ平面に射影する第２の射影方法を説明するための図である。第２の射影方法では、中間平面画像が全領域において均等に拡大されて仮想カメラ平面に射影される。すなわち、中間平面画像生成部１２にて生成された中間平面画像と仮想カメラ平面に射影された中間平面画像とは相似形となる。
【００６０】
図６を参照すると、中間平面画像ＲＰ６の任意の点ｐ６１、ｐ６２、ｐ６３、ｐ６４、・・・は、それらの相互間の距離の比率を保ったまま、仮想カメラ平面ＶＰ上に点Ｐ６１、Ｐ６２、Ｐ６３、Ｐ６４、・・・として射影される。この結果、点Ｐ６１、Ｐ６２、Ｐ６３、Ｐ６４、・・・の相互間の距離の比率は、点ｐ６１、ｐ６２、ｐ６３、ｐ６４、・・・の相互間の距離の比率と等しくなる。
【００６１】
出力部１６は、平面画像生成部１４で生成された平面画像を出力する。出力部１６は、生成された平面画像を表示パネルに表示する表示部であってよく、生成された平面画像を記録媒体に記録する記録部であってもよく、生成された平面画像を通信ネットワーク経由で送信する送信部であってもよい。
【００６２】
図７は、画像生成装置１０にて実行される画像生成方法のフロー図である。以下、図７を参照して、本実施の形態の画像生成方法を説明する。この画像生成方法は、コンピュータがコンピュータプログラムを実行することにより実現されてよい。
【００６３】
本実施の形態の画像生成方法では、まず、全周囲画像取得部１１にて全周囲画像が取得される（ステップＳ７１）。全周囲画像が取得されると、中間平面画像生成部１２は、変換テーブル記憶部１３に記憶された変換テーブルを用いて、全周囲画像の各分割範囲について、中間平面画像を生成する（ステップＳ７２）。
【００６４】
そして、切出し範囲指定部１５は、切出し範囲を指定する（ステップＳ７３）。このとき、切出し範囲指定部１５は、全周囲画像の内容に基づいて（例えば全周囲画像から動きを検出して）切出し範囲を指定してもよいし、全周囲画像とは無関係に切出し範囲を指定してもよい。
【００６５】
次に、平面画像生成部１４は、指定された切出し範囲に対応する仮想カメラ平面を設定し（ステップＳ７４）、切出し範囲に含まれる中間平面画像を仮想カメラ平面に射影する（ステップＳ７５）。そして、平面画像生成部１４は、仮想カメラ平面に射影した中間平面画像が複数ある場合は、それらを合成する（つなぎ合わせる）ことで平面画像を生成する（ステップＳ７６）。出力部１６は、生成された平面画像を出力する（ステップＳ７７）。
【００６６】
以上のように、本実施の形態の画像生成装置１０によれば、全周囲画像から任意の切出し範囲の平面画像を生成する際に、変換テーブルを用いて固定された分割範囲ごとに全周囲画像を中間平面に射影して、平面画像を生成するための切出し範囲が指定されたときに、平面画像を生成するための仮想カメラ平面に、中間平面に射影された中間平面画像を射影するとことで、平面画像が生成される。ここで、全周囲画像から中間平面画像への変換には、あらかじめ記憶された変換テーブルを用いるので、演算処理の負荷が軽く、かつ、演算処理を高速化できる。また、中間平面画像を仮想カメラ平面に射影する処理も、平面から平面への射影であるので、射影位置は固定値の乗算で求めることができ、この点でも演算処理の負荷を軽減できる。
【００６７】
以上、本発明の一つの実施の形態を説明したが、上記の実施の形態に対して、種々の変形が可能である。以下、各種の変形例を説明する。
【００６８】
（第１の変形例）
図８は、第１の変形例の画像生成装置の構成を示すブロック図である。画像生成装置２０において、上記の実施の形態の画像生成装置１０と同じ構成については、同一の符号を付して、その詳細な説明を省略する。画像生成装置２０は、上記の実施の形態の画像生成装置１０と比較して、中間平面画像生成領域指定部２７が追加されている。
【００６９】
中間平面画像生成領域指定部２７は、切出し範囲指定部１５にて切出し範囲が指定されると、その情報を受けて、一部又は全部がその切出し範囲に含まれる分割範囲を特定する。中間平面画像生成領域指定部２７は、分割範囲がその一部のみ切出し範囲に含まれる場合は、その一部領域も特定する。そして、中間平面画像生成領域指定部２７は、特定された領域を中間平面画像生成部１２に出力する。
【００７０】
中間平面画像生成部１２は、中間平面画像生成領域指定部２７によって指定された領域についてのみ中間平面画像を生成して、平面画像生成部１４に出力する。平面画像生成部１４は、切出し範囲指定部１５にて指定された範囲を参照して、中間平面画像生成部１２にて生成された中間平面画像を合成して（つなぎ合わせて）、平面画像を生成する。
【００７１】
図９は、第１の変形例の画像生成装置２０にて実行される画像生成方法のフロー図である。図９のフロー図において、上記の実施の形態の画像生成方法の処理と同じ処理については、同一のステップ番号を付与し、詳細な説明は省略する。第１の変形例の画像生成方法では、全周囲画像が取得されると（ステップＳ７１）、中間平面画像が生成される前に、まず、切出し範囲指定部１５にて平面画像を生成するための切出し範囲が指定される（ステップＳ７３）。
【００７２】
次に、中間平面画像生成領域指定部２７は、切出し範囲指定部１５にて指定された切出し範囲に基づいて、中間平面画像を生成する領域を指定する（ステップＳ９８）。そして、中間平面画像生成部１２は、中間平面画像生成領域指定部２７にて指定された中間平面画像生成領域内の各分割範囲について、中間平面画像を生成する（ステップＳ９２）。それ以降の処理は、図７を参照して説明した上記の実施の形態の画像生成方法と同じである。
【００７３】
第１の変形例によれば、中間平面画像は、平面画像を生成するのに必要な範囲でのみ生成されるので、上記の実施の形態と比較して演算処理の量を少なくでき、従って処理負荷をより軽減でき、処理速度をより高速にできる。
【００７４】
なお、上記で説明した第１の変形例では、中間平面画像生成領域指定部２７が切出し範囲指定部１５で指定された切出し範囲に基づいて、その切出し範囲内にて中間平面画像を生成するように中間平面画像生成領域を指定したが、逆に、中間平面画像生成領域指定部２７がまず中間平面画像を生成する分割範囲を指定して、切出し範囲指定部１５を、この分割範囲を含む領域から切出し範囲を指定可能とし、中間平面画像生成部１２は、この分割範囲について中間平面画像を生成してもよい。
【００７５】
この場合は、全周囲画像において、中間平面画像生成領域指定部２７にて指定された領域（中間平面画像生成部１２にて中間平面画像が生成される領域）が平面画像生成可能範囲として表示され、ユーザは、その平面画像生成可能範囲の中から切出し範囲を指定する。この構成によれば、上記の実施の形態と同様に、あらかじめ中間平面画像が生成されるので、切出し範囲が指定されたら、すぐに平面画像生成部１４にて平面画像が合成され、よって、切出し範囲の指定から平面画像の出力までを高速化できるとともに、上記で説明した第１の変形例による処理負荷の軽減の効果も得ることができる。
【００７６】
（第２の変形例）
図１０は、第２の変形例の画像生成装置の構成を示すブロック図である。画像生成装置３０において、上記の実施の形態の画像生成装置１０と同じ構成については、同一の符号を付して、その詳細な説明を省略する。画像生成装置３０は、上記の実施の形態の画像生成装置１０と比較して、中間平面画像記憶部３８が追加されている。
【００７７】
上述のように、全周囲画像取得部１１は、動画像を構成する連続する全周囲画像の画像フレームを取得する。第２の変形例は、全周囲画像取得部１１にて全周囲画像の画像フレームが取得されるたびに、直ちに平面画像を生成する必要がない場合、すなわち、全周囲画像の画像フレームが取得される撮影時と、平面画像が生成されるモニタリング時との間に十分な時間が確保できる場合に有効である。
【００７８】
撮影時において、中間平面画像生成部１２は、全周囲画像取得部１１が全周囲画像の画像フレームを取得すると、この画像フレームについて、中間平面画像を生成し、これを中間平面画像記憶部３８に記憶する。中間平面画像生成部１２は、全周囲画像取得部１１が次の画像フレームを取得すると、それについても中間平面画像を生成して、それを中間平面画像記憶部３８に記憶する。
【００７９】
このように、中間平面画像１２は、全周囲画像取得部１１から全周囲画像の画像フレームが入力されるたびに、その全周囲画像の中間平面画像を生成して、中間平面画像記憶部３８に記憶させる。このとき、中間平面画像記憶部３８には、各中間平面画像がその画像フレームを特定する情報と関連付けられて記憶される。また、中間平面画像記憶部３８には、全周囲画像の画像フレームも記憶される。なお、中間平面画像生成部１２は、全周囲画像の全領域について中間平面画像を生成してよい。また、中間平面画像が中間平面画像記憶部３８に記憶された全周囲画像の画像フレームは、中間平面画像記憶部３８とは異なる記憶領域に記憶されてよい。
【００８０】
モニタリング時には、中間平面画像記憶部３８に中間平面画像が記憶された各画像フレームについて、切出し範囲指定部１５にて切出し範囲が指定される。切出し範囲指定部１５にて切出し範囲が指定されると、平面画像生成部１４は、仮想カメラ平面を設定する。そして、平面画像生成部１４は、対応する画像フレームにおける必要な中間平面画像を中間平面画像記憶部３８から読み出し、それらを設定された仮想カメラ平面に射影して、互いにつなぎ合わせることで、その画像フレームの全周囲画像から切出した平面画像を生成する。
【００８１】
以上のように、第２の変形例の画像生成装置によれば、撮影された全周囲画像に対して、リアルタイムで平面画像を生成する必要がない場合には、モニタリングに先立って、各画像フレームについてあらかじめ中間平面画像を生成しておくことで、モニタリング時に任意の切出し範囲が指定されたときに、直ちに平面画像を生成できるので、平面画像の作成に要する時間を短縮できる。
【００８２】
（第３の変形例）
図１１は、第３の変形例を説明するための図である。上記の実施の形態では、切出し範囲指定部１５にて平面画像を生成するための切出し範囲が指定されると、平面画像生成部１４は、仮想カメラ平面を設定するが、このとき、平面画像生成部１４は、切出し範囲の中心にて仮想半球面に接する平面を仮想カメラ平面として設定した。図１１において、破線で示す仮想カメラ平面ＶＰ１１は、このようにして設定される仮想カメラ平面である。
【００８３】
しかしながら、上記のようにして仮想カメラ平面を設定すると、この仮想カメラ平面は、一般的にはいずれの中間平面とも重複しなくなる（平行でなくなる）。図１１の例では、仮想カメラ平面ＶＰ１１は、関連する中間平面ＶＰ１１１、ＶＰ１１２のいずれとも重複していない。このような場合には、平面画像を生成するために、中間平面ＶＰ１１１に射影された中間平面画像ＲＰ１１１、及び中間平面ＶＰ１１２に射影された中間平面画像ＲＰ１１２の両方を仮想カメラ平面ＶＰ１１に射影しなければならない。
【００８４】
そこで、第３の変形例では、平面画像生成部１４は、切出し範囲にて平面画像を生成するための仮想カメラ平面を設定する際に、この切出し範囲に含まれる中間平面画像のうちの切出し範囲の中心を含む中間平面画像の中間平面と平行になるように、仮想カメラ平面を設定する。図１１を参照して説明すると、平面画像生成部１４は、切出し範囲指定部１５にて指定された切出し範囲ＣＡ１１の中心を含む中間平面画像ＲＰ１１２の中間平面ＶＰ１１２と平行になるように仮想カメラ平面ＶＰ１１’を設定する。
【００８５】
このようにすることで、仮想カメラ平面と平行な中間平面の中間平面画像については、仮想カメラ平面に射影するための座標変換処理を行う必要がなく、処理負荷を軽減できる。
【００８６】
（第４の変形例）
図１２及び図１３は、第４の変形例を説明するための図である。上記の実施の形態では、中間平面群は、切頂二十面体の半球状の部分を構成する複数の正５角形及び正６角形の集合であり、変換テーブル記憶部１３には、そのような中間平面群及びそれらの中間平面群に対応する分割範囲が設定されており、分割範囲ごとに全周囲画像の該当部分を中間平面画像に変換するための変換テーブルが記憶されていた。図１２において、実線は、この変換テーブルに係る分割範囲を示している。
【００８７】
しかしながら、図１２に示す切出し範囲ＣＡ１２のように、平面画像を生成するための切出し範囲の中心Ｏが分割範囲の切れ目に近いと、平面画像の中心部分の画質が劣化する。そこで、第４の変形例では、変換テーブル記憶部１３に、図１２に実線で示した中間平面群に係る変換テーブルと、図１２に破線で示した中間平面群についての変換テーブルという２種類の変換テーブルを記憶しておく。図１３は、２種類の変換テーブルに対応する２種類の中間平面群を立体的に示す図である。
【００８８】
中間平面画像生成部１２は、切出し範囲指定部１５にて切出し範囲が指定されると、記憶されている２種類の変換テーブルのうち、指定された切出し範囲の中央に切れ目がない変換テーブルを選択して、中間平面画像を生成する。図１２の例では、中間平面画像生成部１２は、切出し範囲ＣＡ１２が指定された場合に、切出し範囲ＣＡ１２の中心部に中間平面画像の切れ目が来る実線の中間平面群の変換テーブルではなく、切出し範囲ＣＡ１２の中心部に中間平面画像の切れ目がない破線の中間平面群の変換テーブルを選択する。
【００８９】
具体的には、中間平面画像生成部１２は、切出し範囲が指定されると、その切出し範囲の中心とその切出し範囲の中心を含む中間平面の中心との中心間距離をそれぞれ求めて、複数の中間平面群のうちので、中心間距離が最も小さい中間平面群の変換テーブルを選択する。図１２の例では、切出し範囲ＣＡ１２の中心Ｏとその切出し範囲ＣＡ１２の中心Ｏを含む破線の中間平面群の中間平面ＲＰ２の中心Ｏ２との間の距離ｄ２が、切出し範囲ＣＡ１２の中心Ｏとその切出し範囲ＣＡ１２の中心Ｏを含む実線の中間平面群の中間平面ＲＰ１の中心Ｏ１との間の距離ｄ１よりも小さいので、破線の中間平面群の変換テーブルが選択される。なお、変換テーブルの種類は２種類に限らず、３種類以上であってもよい。
【００９０】
（その他の変形例）
上記の実施の形態では、平面画像生成部１４は、中間平面画像の一部のみが切出し範囲に含まれる場合には、その切出し範囲に含まれる中間平面画像の部分のみを仮想カメラ平面に射影して、それらを合成することで切出し範囲の平面画像を生成したが、平面画像生成部１４は、中間平面画像の一部のみが切出し範囲に含まれる場合にも、そのような中間平面画像の全体を仮想カメラ平面に射影して、それらを合成した後に、切出し範囲に応じて不要な周辺部分をトリミングすることにより、切出し範囲の平面画像を生成してもよい。
【産業上の利用可能性】
【００９１】
以上のように、本発明は、全周囲画像内の任意の範囲を切出し範囲として切出して平面画像を生成するための演算処理の負荷を軽減することができ、全周囲画像内の任意の範囲を切出し範囲として切出して平面画像を生成する画像生成装置等として有用である。
【符号の説明】
【００９２】
１０、２０、３０ 画像生成装置
１１ 全周囲画像取得部
１２ 中間平面画像生成部
１３ 変換テーブル記憶部
１４ 平面画像生成部
１５ 切出し範囲指定部
１６ 出力部
２７ 中間平面画像生成領域指定部
３８ 中間平面画像記憶部
【特許請求の範囲】
【請求項１】
歪みを有する全周囲画像から切出した切出し範囲を仮想カメラ平面に射影した平面画像を生成する画像生成装置であって、
前記全周囲画像を取得する全周囲画像取得部と、
前記全周囲画像取得部にて取得される全周囲画像を複数の分割範囲ごとにそれぞれ対応する所定の平面に射影するための変換テーブルを記憶した変換テーブル記憶部と、
前記変換テーブル記憶部に記憶された前記変換テーブルを用いて、前記全周囲画像取得部にて取得された前記全周囲画像を前記分割範囲ごとに前記所定の平面に射影することで、前記分割範囲ごとの中間平面画像を生成する中間平面画像生成部と、
前記切出し範囲を指定する切出し範囲指定部と、
前記切出し範囲の中間平面画像を前記仮想カメラ平面に射影することで、前記平面画像を生成する平面画像生成部と、
を備えたことを特徴とする画像生成装置。
【請求項２】
前記平面画像生成部は、前記中間平面画像の各点を、当該点から前記仮想カメラ平面に下ろした垂線の足に射影することを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記平面画像生成部は、前記中間平面画像の各点を、すべて均等の倍率で拡大するように前記仮想カメラ平面に射影することを特徴とする請求項１に記載の画像生成装置。
【請求項４】
前記中間平面画像生成部は、前記切出し範囲指定部にて指定された前記切出し範囲を少なくとも一部に含む前記分割範囲のみの中間平面画像を生成することを特徴とする請求項１ないし３のいずれか一項に記載の画像生成装置。
【請求項５】
前記中間平面画像生成部は、前記全周囲画像中の指定された一部領域に該当する前記分割範囲のみについて前記中間平面画像を生成し、
前記切出し範囲指定部は、前記一部領域中で前記切出し範囲を指定する
ことを特徴とする請求項１ないし３のいずれか一項に記載の画像生成装置。
【請求項６】
前記中間平面画像生成部にて生成された中間平面画像を記憶する中間平面画像記憶部をさらに備え、
前記平面画像生成部は、前記中間平面画像記憶部に記憶された中間平面画像を読み出して前記仮想カメラ平面に射影することで、前記平面画像を生成する
ことを特徴とする請求項１ないし５のいずれか一項に記載の画像生成装置。
【請求項７】
前記平面画像生成部は、前記切出し範囲指定部にて指定された前記切出し範囲に応じて前記仮想カメラ平面を設定することを特徴とする請求項１ないし６のいずれか一項に記載の画像生成装置。
【請求項８】
前記平面画像生成部は、前記切出し範囲指定部にて指定された前記切出し範囲の中心部における射影距離が前記切出し範囲の縁部における射影距離よりも短くなるように、前記仮想カメラ平面を設定することを特徴とする請求項７に記載の画像生成装置。
【請求項９】
前記平面画像生成部は、前記切出し範囲指定部にて指定された前記切出し範囲に含まれるいずれかの分割範囲に対応する前記所定の平面と平行になるように、前記仮想カメラ平面を設定することを特徴とする請求項７に記載の画像生成装置。
【請求項１０】
前記変換テーブル記憶部は、前記全周囲画像取得部にて取得される全周囲画像を複数の互いに異なる分割方法で分割した場合のそれぞれについて、前記変換テーブルを記憶していることを特徴とする請求項１ないし９のいずれか一項に記載の画像生成装置。
【請求項１１】
歪みを有する全周囲画像から切出した切出し範囲を仮想カメラ平面に射影した平面画像を生成する画像生成方法であって、
前記全周囲画像を取得する全周囲画像取得ステップと、
前記全周囲画像取得ステップにて取得される全周囲画像を複数の分割範囲ごとにそれぞれ対応する所定の平面に射影するための変換テーブルを用いて、前記全周囲画像取得ステップにて取得された前記全周囲画像を前記分割範囲ごとに前記所定の平面に射影することで、前記分割範囲ごとの中間平面画像を生成する中間平面画像生成ステップと、
前記切出し範囲を指定する切出し範囲指定ステップと、
前記切出し範囲の中間平面画像を前記仮想カメラ平面に射影することで、前記平面画像を生成する平面画像生成ステップと、
を含むことを特徴とする画像生成方法。
【請求項１２】
コンピュータに請求項１１に記載の画像生成方法を実行させるためのコンピュータプログラム。
【請求項１】
歪みを有する全周囲画像から切出した切出し範囲を仮想カメラ平面に射影した平面画像を生成する画像生成装置であって、
前記全周囲画像を取得する全周囲画像取得部と、
前記全周囲画像取得部にて取得される全周囲画像を複数の分割範囲ごとにそれぞれ対応する所定の平面に射影するための変換テーブルを記憶した変換テーブル記憶部と、
前記変換テーブル記憶部に記憶された前記変換テーブルを用いて、前記全周囲画像取得部にて取得された前記全周囲画像を前記分割範囲ごとに前記所定の平面に射影することで、前記分割範囲ごとの中間平面画像を生成する中間平面画像生成部と、
前記切出し範囲を指定する切出し範囲指定部と、
前記切出し範囲の中間平面画像を前記仮想カメラ平面に射影することで、前記平面画像を生成する平面画像生成部と、
を備えたことを特徴とする画像生成装置。
【請求項２】
前記平面画像生成部は、前記中間平面画像の各点を、当該点から前記仮想カメラ平面に下ろした垂線の足に射影することを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記平面画像生成部は、前記中間平面画像の各点を、すべて均等の倍率で拡大するように前記仮想カメラ平面に射影することを特徴とする請求項１に記載の画像生成装置。
【請求項４】
前記中間平面画像生成部は、前記切出し範囲指定部にて指定された前記切出し範囲を少なくとも一部に含む前記分割範囲のみの中間平面画像を生成することを特徴とする請求項１ないし３のいずれか一項に記載の画像生成装置。
【請求項５】
前記中間平面画像生成部は、前記全周囲画像中の指定された一部領域に該当する前記分割範囲のみについて前記中間平面画像を生成し、
前記切出し範囲指定部は、前記一部領域中で前記切出し範囲を指定する
ことを特徴とする請求項１ないし３のいずれか一項に記載の画像生成装置。
【請求項６】
前記中間平面画像生成部にて生成された中間平面画像を記憶する中間平面画像記憶部をさらに備え、
前記平面画像生成部は、前記中間平面画像記憶部に記憶された中間平面画像を読み出して前記仮想カメラ平面に射影することで、前記平面画像を生成する
ことを特徴とする請求項１ないし５のいずれか一項に記載の画像生成装置。
【請求項７】
前記平面画像生成部は、前記切出し範囲指定部にて指定された前記切出し範囲に応じて前記仮想カメラ平面を設定することを特徴とする請求項１ないし６のいずれか一項に記載の画像生成装置。
【請求項８】
前記平面画像生成部は、前記切出し範囲指定部にて指定された前記切出し範囲の中心部における射影距離が前記切出し範囲の縁部における射影距離よりも短くなるように、前記仮想カメラ平面を設定することを特徴とする請求項７に記載の画像生成装置。
【請求項９】
前記平面画像生成部は、前記切出し範囲指定部にて指定された前記切出し範囲に含まれるいずれかの分割範囲に対応する前記所定の平面と平行になるように、前記仮想カメラ平面を設定することを特徴とする請求項７に記載の画像生成装置。
【請求項１０】
前記変換テーブル記憶部は、前記全周囲画像取得部にて取得される全周囲画像を複数の互いに異なる分割方法で分割した場合のそれぞれについて、前記変換テーブルを記憶していることを特徴とする請求項１ないし９のいずれか一項に記載の画像生成装置。
【請求項１１】
歪みを有する全周囲画像から切出した切出し範囲を仮想カメラ平面に射影した平面画像を生成する画像生成方法であって、
前記全周囲画像を取得する全周囲画像取得ステップと、
前記全周囲画像取得ステップにて取得される全周囲画像を複数の分割範囲ごとにそれぞれ対応する所定の平面に射影するための変換テーブルを用いて、前記全周囲画像取得ステップにて取得された前記全周囲画像を前記分割範囲ごとに前記所定の平面に射影することで、前記分割範囲ごとの中間平面画像を生成する中間平面画像生成ステップと、
前記切出し範囲を指定する切出し範囲指定ステップと、
前記切出し範囲の中間平面画像を前記仮想カメラ平面に射影することで、前記平面画像を生成する平面画像生成ステップと、
を含むことを特徴とする画像生成方法。
【請求項１２】
コンピュータに請求項１１に記載の画像生成方法を実行させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−２５６２７４（Ｐ２０１２−２５６２７４Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１２９９０３（Ｐ２０１１−１２９９０３）
【出願日】平成２３年６月１０日（２０１１．６．１０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月１０日（２０１１．６．１０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]