パノラマ展開画像撮像装置およびパノラマ展開画像撮像システム
【課題】被写体が切れてしまうことなく、３６０度のパノラマ展開画像を撮影すること。
【解決手段】パノラマ展開画像撮像装置１は、撮像による３６０度のパノラマ展開画像を生成する。そして、魚眼レンズ２２による結像に基づいて撮像手段２７，３６により生成される撮像画像中の、３６０度のパノラマ展開画像の生成に使用するリング形状の範囲を規定する内円境界４２および外円境界４３の位置あるいはサイズを記憶するメモリ４１と、ユーザの操作に基づいて、メモリ４１に記憶される内円境界４２および外円境界４３の中の少なくとも一方の位置あるいはサイズを更新するユーザ更新手段５５と、撮像手段２７，３６が生成する撮像画像中の、メモリ４１に記憶される内円境界４２と外円境界４３とで挟まれるリング形状の範囲内の画像に基づいて、３６０度のパノラマ展開画像を生成するパノラマ展開画像生成手段５２と、を有する。
【解決手段】パノラマ展開画像撮像装置１は、撮像による３６０度のパノラマ展開画像を生成する。そして、魚眼レンズ２２による結像に基づいて撮像手段２７，３６により生成される撮像画像中の、３６０度のパノラマ展開画像の生成に使用するリング形状の範囲を規定する内円境界４２および外円境界４３の位置あるいはサイズを記憶するメモリ４１と、ユーザの操作に基づいて、メモリ４１に記憶される内円境界４２および外円境界４３の中の少なくとも一方の位置あるいはサイズを更新するユーザ更新手段５５と、撮像手段２７，３６が生成する撮像画像中の、メモリ４１に記憶される内円境界４２と外円境界４３とで挟まれるリング形状の範囲内の画像に基づいて、３６０度のパノラマ展開画像を生成するパノラマ展開画像生成手段５２と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマ展開画像撮像装置およびパノラマ展開画像撮像システムに関する。
【背景技術】
【０００２】
特許文献１は、全方位撮影装置を開示する。全方位撮影装置は、３６０度の環状映像を直接取込可能なレンズを有する１つのカメラモジュールにより撮影された映像を展開して表示したり、記録したりする。
【０００３】
【特許文献１】特開２００６−１４８７８７号公報（要約、発明の詳細な説明、図面、特に、段落００２４、段落００４９、図８、図９など）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１において３６０度の環状映像を直接取り込むレンズは、特殊な凸型のガラスレンズであり、具体的には、天頂反射面と、その周りを取り囲むように形成された略円環状のレンズ面と、レンズ面の下側に配設される略円環状の奥側反射面と、奥側反射面により取り囲まれている透過面と、を有する。また、特許文献１は、この特殊な凸型のガラスレンズの変わりに、魚眼レンズを使用することが可能であることを示唆している。
【０００５】
しかしながら、特許文献１の全方位撮影装置では、３６０度の環状映像において、撮像可能な像高さに制限がある。この環状映像では、レンズ面の下側部位により屈折され、奥側反射面の外周部位で反射され、さらに天頂反射面の外周部位により反射される方向からの入射光から、レンズ面の上側部位を透過し、奥側反射面の内周部位で反射され、さらに天頂反射面の内周部位により反射される方向からの入射光までとなる画角範囲の画像しか得ることができない。環状映像の中央には、天頂反射面が円形に撮影される。特許文献１の全方位撮影装置では、このような特殊な凸型のガラスレンズなどを使用しているので、撮像可能な像高さに制限が生じる。
【０００６】
像高さに制限があるため、特許文献１の全方位撮影装置では、実用上、ガラスレンズと被写体との距離などに制限が生じる。たとえば、被写体がガラスレンズに近づきすぎてしまうと、３６０度の環状映像において被写体の頭などが切れてしまうことになる。被写体の頭などが切れてしまわないようにするためには、被写体に対するガラスレンズの距離を確保しなければならない。
【０００７】
特に、全方位撮影装置をテーブルの中央に置いて会議風景などを撮像しようとする場合、この実用上の距離制限が全方位撮影装置の利便性を大きく損なうことになる。たとえば小さな会議室では、被写体に対するガラスレンズの距離が確保できなくなり、被写体の頭などが切れないように撮影することができなくなってしまう可能性がある。
【０００８】
本発明は、被写体が切れてしまうことなく、３６０度のパノラマ展開画像を撮影することができるパノラマ展開画像撮像装置およびパノラマ展開画像撮像システムを得ることを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係るパノラマ展開画像撮像装置は、撮像による３６０度のパノラマ展開画像を生成するものである。そして、パノラマ展開画像撮像装置は、魚眼レンズと、複数の受光素子が配列される受光面に魚眼レンズによる円形の像が結像し、円形画像を有する撮像画像のデータを生成する撮像手段と、撮像画像中の、３６０度のパノラマ展開画像の生成に使用するリング形状の範囲を規定する内円境界および外円境界の位置あるいはサイズを記憶するメモリと、ユーザの操作に基づいて、メモリに記憶される内円境界および外円境界の中の少なくとも一方の位置あるいはサイズを更新するユーザ更新手段と、撮像手段が生成する撮像画像中の、メモリに記憶される内円境界と外円境界とで挟まれるリング形状の範囲内の画像に基づいて、３６０度のパノラマ展開画像を生成するパノラマ展開画像生成手段と、を有する。
【００１０】
この構成を採用すれば、撮像手段には、魚眼レンズによる円形の像が結像する。撮像手段は、円形画像を有する撮像画像を生成する。円形画像内には、被写体の頭などが切れたりすることなく含まれる。
【００１１】
また、パノラマ展開画像生成手段は、この撮像画像の中の、内円境界と外円境界とに挟まれているリング形状の範囲内の画像に基づいて、３６０度のパノラマ展開画像を生成する。この内円境界および外円境界の位置およびサイズは、ユーザの操作に基づいて、ユーザ更新手段により更新することができる。したがって、たとえば被写体に対する魚眼レンズの距離を物理的に確保することがでなくても、ユーザの操作により内円境界の位置あるいは外円境界の位置を更新することで、円形画像内の被写体がリング形状の範囲内に収まるように調整することができる。その結果、被写体の頭などが切れていない３６０度のパノラマ展開画像を生成することができる。
【００１２】
本発明に係るパノラマ展開画像撮像装置は、上述した発明の構成に加えて、以下の特徴を有するものである。すなわち、魚眼レンズは、立体射影方式のものである。メモリは、立体射影方式の魚眼レンズの入射角と像高との関係に基づいて得られる被写体の結像サイズのバランスを補正する像高補正テーブルを記憶する。パノラマ展開画像生成手段は、像高補正テーブルを参照し、被写体の結像サイズのバランスを整えた３６０度のパノラマ展開画像を生成する。
【００１３】
この構成を採用すれば、一般的な等距離射影方式の魚眼レンズを使用する場合に比べて、魚眼レンズにより結像される画像中の周辺部のゆがみが少なく、且つ、周辺部の情報量が多くなる。したがって、パノラマ展開画像撮像装置を、その魚眼レンズを上向きにテーブルに載置したとき、その周囲にいる人物や黒板などの画像を、高分解能で得ることができる。黒板の文字などを、３６０度のパノラマ展開画像中に再現することができる。また、魚眼レンズの周囲にいる人物や黒板などの画像として、バランスが整ったものを得ることができる。
【００１４】
本発明に係るパノラマ展開画像撮像装置は、上述した発明の各構成に加えて、以下の特徴を有するものである。すなわち、ユーザ更新手段は、メモリに記憶される内円境界および外円境界の中の少なくとも一方の位置あるいはサイズを更新した後に、メモリに記憶される像高補正テーブルを、更新した内円境界および外円境界と、立体射影方式の魚眼レンズの入射角と像高との関係とに基づいて更新する。
【００１５】
内円境界と外円境界との間隔が変更により変化する場合、それらの間の画像空間の、複数の画素による分割割合が変化する。また、内円境界および外円境界の位置が移動するだけであっても、それらの間の画像空間の、複数の画素による分割割合が変化する。この構成を採用すれば、像高補正テーブルを、これらと適合するものに維持することができる。
【００１６】
本発明に係るパノラマ展開画像撮像装置は、上述した発明の各構成に加えて、以下の特徴を有するものである。すなわち、ユーザ更新手段は、内円境界あるいは外円境界の変更後のサイズが、所定の画素数以上の半径である場合、内円境界あるいは外円境界の変更指示に基づいて、メモリに記憶される内円境界あるいは外円境界を更新する。
【００１７】
仮にたとえば内円境界の半径が１画素になると、３６０度のパノラマ展開画像の最上段の複数の表示画素の画素値を得るために、撮像画像中の同じ画素が何度も利用されることになる。この場合、３６０度のパノラマ展開画像の画質が向上することなく、３６０度のパノラマ展開画像の生成負荷が増大する。この構成のように、内円境界あるいは外円境界の半径が所定の画素数より小さくなってしまうことを防止することで、そのような不利益が発生してしまうことを防止することができる。
【００１８】
本発明に係るパノラマ展開画像撮像装置は、上述した発明の各構成に加えて、以下の特徴を有するものである。すなわち、パノラマ展開画像生成手段は、３６０度のパノラマ展開画像の各表示画素の、円形画像の中心からの距離および方角を演算し、演算した距離および方角を用いて、各表示画素の、撮像画像での座標を演算し、演算した各座標に位置する撮像画像の画素の画素値を、各表示画素の画素値として取得する。
【００１９】
この構成を採用すれば、撮像画像中の円形画像の画素の画素値をそのまま用いた、３６０度のパノラマ展開画像を生成することができる。３６０度のパノラマ展開画像の各表示画素の画素値そのものを演算により求める必要がない。演算により各表示画素の画素値を得る場合のように、演算による画質劣化が発生することはなく、１つのパノラマ展開画像の生成時間を短縮することができる。その結果、３６０度のパノラマ展開画像を短時間で生成することができる。また、パノラマ展開画像の生成処理を連続的に繰り返すことで、３６０度のパノラマ展開画像による、連続的な動きのある動画を得ることができる。
【００２０】
本発明に係るパノラマ展開画像撮像装置は、上述した発明の各構成に加えて、以下の特徴を有するものである。すなわち、パノラマ展開画像生成手段は、撮像画像中の、内円境界と外円境界とで挟まれる範囲を１８０度毎に２つの範囲に分割し、その分割した画像の範囲毎の２つの横長のパノラマ分割展開画像を生成する。また、２つの横長のパノラマ分割展開画像を上下に並べて表示させる表示データを生成する表示データ生成手段を有する。
【００２１】
この構成を採用すれば、仮にたとえばこれらが１つの展開画像である場合に比べて、表示データを表示する表示手段の表示画面を有効に利用することができる。表示手段に、３６０度のパノラマ展開画像を大きく表示することができる。
【００２２】
本発明に係るパノラマ展開画像撮像システムは、上述した発明の各構成に係るパノラマ展開画像撮像装置と、パノラマ展開画像撮像装置が生成する３６０度のパノラマ展開画像を、表示あるいは保存するコンピュータ装置と、を有するものである。
【００２３】
この構成を採用すれば、３６０度のパノラマ展開画像を表示し、あるいは保存することができる。
【発明の効果】
【００２４】
本発明では、被写体が切れてしまうことなく、３６０度のパノラマ展開画像を撮影することができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態に係るパノラマ展開画像撮像装置およびパノラマ展開画像撮像システムを、図面に基づいて説明する。パノラマ展開画像撮像装置は、会議用の３６０度ビデオカメラ装置を例として説明する。パノラマ展開画像撮像システムは、３６０度ビデオカメラ装置とパーソナルコンピュータとを接続したものを例として説明する。
【００２６】
図１は、本発明の実施の形態に係るパノラマ展開画像撮像システムを示す斜視図である。パノラマ展開画像撮像システムは、パノラマ展開画像撮像装置としての３６０度ビデオカメラ装置１と、コンピュータ装置としてのＰＣ（パーソナルコンピュータ）３とを有する。３６０度ビデオカメラ装置１は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル２により、ＰＣ３に接続されている。
【００２７】
ＰＣ３は、ＵＳＢコネクタ１１、液晶表示デバイス１２、スピーカ１３、入力デバイス１４などを有する。また、図示外のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）が、図示外の記憶デバイスからプログラムを読み込んで実行することで、ＰＣ３には、通信処理部１５、再生処理部１６、コマンド生成部１７などが実現される。
【００２８】
通信処理部１５は、ＵＳＢコネクタ１１を用いたデータ通信を制御する。再生処理部１６は、液晶表示デバイス１２で表示される内容などを制御し、スピーカ１３に音を出力させる。コマンド生成部１７は、入力デバイス１４から入力される入力データに基づいてコマンドを生成する。入力デバイス１４には、たとえばキーボード、ポインティングデバイスなどがある。
【００２９】
３６０度ビデオカメラ装置１は、立方体形状のハウジング２１を有する。ハウジング２１には、魚眼レンズ２２、ＵＳＢコネクタ２３、ビデオ出力コネクタ２４、音声出力コネクタ２５などが配設される。魚眼レンズ２２は、ハウジング２１の上面に配設される。ハウジング２１の上面には、マイクロフォン２６用の通気孔２０が形成される。ＵＳＢコネクタ２３、ビデオ出力コネクタ２４および音声出力コネクタ２５は、ハウジング２１の側面に配設される。
【００３０】
図２は、図１中の３６０度ビデオカメラ装置１の電気回路を示すブロック図である。３６０度ビデオカメラ装置１のハウジング２１の内部には、撮像による３６０度のパノラマ展開画像を生成するための電気回路が組み込まれている。
【００３１】
３６０度ビデオカメラ装置１は、魚眼レンズ２２、ＵＳＢコネクタ２３、ビデオ出力コネクタ２４、音声出力コネクタ２５の他に、撮像手段の一部としてのイメージセンサ２７、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）２８、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２９、外部メモリ３０、音声ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）３１、ビデオエンコーダ３２などを有する。
【００３２】
図３は、魚眼レンズ２２と、イメージセンサ２７との光学的な配置を示す説明図である。
【００３３】
イメージセンサ２７には、たとえばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ ）イメージセンサがある。イメージセンサ２７は、受光面３３を有する。受光面３３には、図示外の複数の受光素子がたとえば縦横３：４の比率でマトリックス状に配列される。各受光素子は、受光光量に応じた値を出力する。イメージセンサ２７は、複数の受光素子から出力される複数の受光光量値を有する輝度分布データを生成する。イメージセンサ２７は、所定の周期で、輝度分布データを生成する。
【００３４】
魚眼レンズ２２は、たとえば１８０度以上の広視野角を有するものであり、立体射影方式のものである。立体射影方式の魚眼レンズ２２は、一般的な等距離射影方式の魚眼レンズに比べて、それにより結像される画像中の周辺部のゆがみが少なく、且つ、周辺部の情報量が多くなる。魚眼レンズ２２の射影方式としては、立体射影方式や等距離射影方式の他にも、等立体射影方式や正射影方式などを採用することが可能である。但し、３６０度ビデオカメラ装置１を会議室のテーブル上に魚眼レンズ２２が上向きとなる姿勢で置いて撮像する場合、周辺部に写る人物や黒板などの情報量が多くなるため、立体射影方式のものが最適である。
【００３５】
この魚眼レンズ２２は、イメージセンサ２７の受光面３３の上方に配設される。これにより、イメージセンサ２７の受光面３３には、魚眼レンズ２２による円形の像（以下、円形画像とよぶ）が結像する。イメージセンサ２７は、輝度分布データを周期的に生成し、ＦＰＧＡ２８へ出力する。ＦＰＧＡ２８では、撮像手段の一部としての色変換処理部３６が実現される。
【００３６】
色変換処理部３６は、図示外の色変換テーブルを用いて、輝度分布データの各画素のデータを置き換える。色変換処理部３６は、たとえば円形画像中の画素のデータを、輝度分布データにおけるその画素の値および周辺画素の値を用いて、所定の色データへ置き換える。これにより、適当な色データを有する撮像画像データが生成される。
【００３７】
図４は、色変換処理部３６がイメージセンサ２７の輝度分布データに基づいて生成する撮像画像の一例を示す図である。図４に示すように、撮像画像は、その中央部に、円形画像を有する。円形画像の内部には、被写体の像が結像する。色変換処理部３６は、生成した撮像画像データを、ＤＳＰ２９へ出力する。
【００３８】
マイクロフォン２６は、音声に応じた波形信号を生成する。波形信号は、音声ＩＣ３１により、音声信号へ変換され、音声出力コネクタ２５へ供給される。音声出力コネクタ２５には、たとえばスピーカユニット、ヘッドフォンなどが接続可能である。音声出力コネクタ２５に接続されるスピーカユニットやヘッドフォンなどにより、音声を聞くことができる。また、音声ＩＣ３１には、音声保存処理部３７が実現される。音声保存処理部３７は、マイクロフォン２６から供給される波形信号をサンプリングし、そのサンプリングにより生成した音声データ３８を、外部メモリ３０に保存する。
【００３９】
ＤＳＰ２９は、メモリとしてのＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：不揮発性メモリの一種）４１を有する。ＥＥＰＲＯＭ４１は、内円境界データ４２、外円境界データ４３、入射角像高テーブル４４、像高補正テーブル４５、方角テーブル４６などを記憶する。
【００４０】
図５は、撮像画像に、内円境界の位置を示す円形のマーク４７と、外円境界の位置を示す円形のマーク４８とを重ねた画像を示す説明図である。内円境界および外円境界は、パノラマ展開画像として展開する画像範囲を指定する境界である。内円境界と外円境界との間の画像部分が、パノラマ展開画像として展開される。内円境界データ４２は、内円境界の、撮像画像中の位置やサイズを示すデータである。外円境界データ４３は、外円境界の、撮像画像中の位置やサイズを示すデータである。
【００４１】
図６は、立体射影方式の魚眼レンズ２２の像高（画角差）特性図である。横軸は、魚眼レンズ２２の光軸方向を画角０度としたときの相対画角であり、縦軸は、像高（画角差）である。図６の特性の立体射影方式の魚眼レンズ２２を用いると、たとえば魚眼レンズ２２の画角０度の方向に存在する被写体の像高（画角差）が約０．１の像高（画角差）となるとき、画角９０度の方向に存在する被写体の像高（画角差）は、約０．２の大きさとなる。これは、魚眼レンズ２２の周辺方向にある被写体は、中央方向にある被写体に比べて約２倍の大きさで結像することを意味する。また、被写体が周辺部から中央部にかけて写るとき、そのバランスが崩れることを意味する。入射角像高テーブル４４は、この魚眼レンズ２２の画角に対する像高（画角差）の特性をデータ化したものである。
【００４２】
魚眼レンズを使用したとき、一般的に、１つの被写体の画像は周辺へ行く程ひずむ。このひずみ具合を軽減し、周辺の情報量を多くする方式として立体射影方式が存在する。この立体射影方式の魚眼レンズ２２を使用すると、被写体は、画角的に中心部に撮像される場合に比べて、周辺部に撮像される場合の方が大きく撮像される。中心部に撮像される被写体は、周辺部に撮像される被写体より画角的に小さく結像する。このことは、図６にイメージセンサ２７の中心部寄りの４つの受光素子と、周辺部寄りの４つの受光素子とを図示するように、イメージセンサ２７の画角０度に近い部位、すなわち天頂付近の受光素子には、イメージセンサ２７の画角９０度に近い部位、すなわち真横方向の受光素子に比べて、広い画角の像が結像することを意味する。
【００４３】
このように立体射影方式は、従来の等距離射影方式の魚眼レンズと比べれば、周辺の情報が多いため、死角が少なくなり、ゆがみが少ない画像となる。しかし、ゆがみは少なくなるが、零とはならない。これに対して、パノラマ展開画像では、被写体は、本来の大きさのバランスで表示されることが望ましい。像高補正テーブル４５は、立体射影方式の魚眼レンズ２２によりイメージセンサ２７に結像する画像から、被写体が本来のバランスとして写る展開画像を得るための補正データを記憶する。
【００４４】
また、ＤＳＰ２９は、図示外のＣＰＵを有する。このＣＰＵがプログラムを実行することで、ＤＳＰ２９には、静止画保存処理部５１、パノラマ展開画像生成手段としての展開静止画生成部５２、圧縮静止画生成部５３、表示データ生成手段としてのストリーミング生成部５４、ユーザ更新手段としての処理管理部５５、通信処理部５６などが実現される。
【００４５】
また、ＤＳＰ２９には、外部メモリ３０が接続される。外部メモリ３０は、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）やＤＤＲ−ＳＤＲＡＭ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ）などの記憶デバイスにより構成され、ＤＳＰ２９のＣＰＵがアクセス可能である。
【００４６】
外部メモリ３０は、静止画データ３９、音声データ３８、２つの圧縮展開静止画データ６１，６２などを記憶する。また、外部メモリ３０は、第一ＶＲＡＭ（ＶｉｄｅｏＲＡＭ）エリア６３と、第二ＶＲＡＭエリア６４と、を有する。２つの圧縮展開静止画データ６１，６２の中の一方は、第一ＶＲＡＭエリア６３に記憶され、他方は、第二ＶＲＡＭエリア６４に記憶される。図２では、第一ＶＲＡＭエリア６３に、第ｎ−１圧縮展開静止画データ６１が記憶され、第二ＶＲＡＭエリア６４に、第ｎ圧縮展開静止画データ６２が記憶されている状態である。
【００４７】
ＤＳＰ２９に実現される静止画保存処理部５１は、色変換処理部３６から、新たな撮像画像データが供給されると、その撮像画像データを、外部メモリ３０に静止画データ３９として保存する。
【００４８】
展開静止画生成部５２は、外部メモリ３０に記憶される静止画データ３９から、展開静止画データを生成する。展開静止画データは、撮像画像中の円形画像を、３６０度のパノラマ展開画像に展開した画像のデータである。展開静止画生成部５２は、第一ＶＲＡＭエリア６３および第二ＶＲＡＭエリア６４に交互に展開静止画データを生成し、保存する。
【００４９】
圧縮静止画生成部５３は、第一ＶＲＡＭエリア６３あるいは第二ＶＲＡＭエリア６４に記憶される展開静止画データを圧縮する。展開静止画データの圧縮には、たとえばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮方式やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮方式などの画像圧縮方式を用いればよい。これにより、第一ＶＲＡＭエリア６３には、圧縮展開静止画データ６１が記憶され、第二ＶＲＡＭエリア６４には、圧縮展開静止画データ６２が記憶される。
【００５０】
ストリーミング生成部５４は、外部メモリ３０から、圧縮展開静止画データ６１，６２および音声データ３８を読み込み、これらのコンテンツデータを有するストリーミングデータを生成する。ストリーミングデータとしては、ＭＰＥＧ方式、ｄｉｖ−Ｘ（ディビックス）方式などのストリーミングフォーマットを採用すればよい。
【００５１】
通信処理部５６は、ＵＳＢコネクタ２３を用いたデータ通信を制御する。
【００５２】
処理管理部５５は、静止画保存処理部５１、展開静止画生成部５２、圧縮静止画生成部５３、ストリーミング生成部５４、通信処理部５６などの実行を管理する。処理管理部５５は、静止画保存処理部５１、展開静止画生成部５２、圧縮静止画生成部５３、ストリーミング生成部５４、通信処理部５６などへ、それらの起動や停止などを指示する。
【００５３】
ビデオエンコーダ３２は、外部メモリ３０から、圧縮展開静止画データ６１，６２を読み込み、ビデオ信号を生成する。ビデオ信号には、たとえばＮＴＳＣ（Ｎａｔｉｏｎａｌ ＴＶ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）方式やＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ Ｌｉｎｅ）方式のものがある。ビデオエンコーダ３２は、生成したビデオ信号を、ビデオ出力コネクタ２４へ出力する。ビデオ出力コネクタ２４には、テレビジョン受信機などが接続可能である。ビデオ出力コネクタ２４に接続されるテレビジョン受信機などにより、ビデオ信号を再生し、その映像を鑑賞することができる。
【００５４】
次に、以上の構成を有するパノラマ展開画像撮像システムの動作を説明する。
【００５５】
３６０度ビデオカメラ装置１にたとえばＵＳＢケーブル２から電力が供給されると、 ＤＰＳ２９などが動作し、３６０度ビデオカメラ装置１に、色変換処理部３６、音声保存処理部３７、静止画保存処理部５１、展開静止画生成部５２、圧縮静止画生成部５３、ストリーミング生成部５４、処理管理部５５などが実現される。処理管理部５５は、静止画保存処理部５１、展開静止画生成部５２、圧縮静止画生成部５３、ストリーミング生成部５４へそれらの起動を指示する。
【００５６】
３６０度ビデオカメラ装置１のイメージセンサ２７には、魚眼レンズ２２により集光される光による像が結像する。イメージセンサ２７は、円形画像の輝度分布を含む輝度分布データを生成する。色変換処理部３６は、図示外の色変換テーブルを用いて、輝度分布データから、図４に例示するような、円形画像を有する撮像画像データを生成する。静止画保存処理部５１は、撮像画像データを、静止画データ３９として外部メモリ３０に保存する。
【００５７】
また、イメージセンサ２７は、周期的に輝度分布データを生成する。そのため、外部メモリ３０の静止画データ３９は、所定の周期毎に、新たな撮像画像データへ更新される。
【００５８】
外部メモリ３０の静止画データ３９が更新されると、展開静止画生成部５２は、更新された静止画データ３９から、展開静止画データを生成する。
【００５９】
展開静止画生成部５２は、まず、ＥＥＰＲＯＭ４１から、内円境界データ４２、外円境界データ４３を読込み、更新された静止画データ３９による撮像画像中の、パノラマ展開画像を生成するためのリング形状の範囲を決定する。また、展開静止画生成部５２は、そのリング形状の画像範囲を１８０度ずつに均等に二分割した２つの分割範囲を決定する。図５中に、リング形状の画像範囲を水平に二分割する点線７１，７２を示す。展開静止画生成部５２は、外円境界と内円境界との間のリング形状の画像を、たとえばこの２つの点線７１，７２で１８０度毎に２つに分割し、上下２つの分割画像範囲７３，７４毎に、分割展開画像の生成処理を実行する。
【００６０】
図７は、１つの分割画像範囲７３（７４）に関する、展開静止画生成部５２による分割展開画像の生成処理の流れを示すフローチャートである。展開静止画生成部５２は、まず、最後に展開画像を生成した後に、ＥＥＰＲＯＭ４１に記憶される内円境界データ４２や外円境界データ４３が更新されたか否かを確認する（ステップＳＴ１）。
【００６１】
そして、最後の展開画像生成後に内円境界データ４２や外円境界データ４３が更新されている場合（ステップＳＴでＮｏの場合）、展開静止画生成部５２は、分割展開画像の各展開画素列の、分割画像範囲７３（７４）における方向を演算し、方角テーブル４６を生成する（ステップＳＴ２）。
【００６２】
図８は、分割展開画像の複数の表示画素の配列の一例を示す図である。説明を簡便にするため、この分割展開画像には複数の表示画素が縦３行×横４列に配列されている。この場合、展開静止画生成部５２は、４つの展開画素列（１，Ｚ）８１、（２，Ｚ）８２、（３，Ｚ）８３、（４，Ｚ）８４毎に、リング形状の画像における方向（分割画像範囲７３（７４）における方向）を演算する。
【００６３】
図９は、図８の各展開画素列８１，８２，８３，８４の、リング形状の画像における方向（分割画像範囲７３（７４）における方向）を図示する説明図である。展開静止画生成部５２は、図９の２つの軸の交点を円形画像の中心と想定し、１８０度（＝３６０度÷２）を列数（＝４）で均等に分割した角度を演算する。
【００６４】
図９に示すように、たとえば図８の第１列の展開画素列（１，Ｚ）８１が角度θ１の方向であるとすると、展開静止画生成部５２は、第２列の展開画素列（２，Ｚ）８２の角度を「θ１＋均等分割角度」として演算する。展開静止画生成部５２は、第３列の展開画素列（３，Ｚ）８３の角度を「θ１＋均等分割角度×２」として演算する。展開静止画生成部５２は、第４列の展開画素列（４，Ｚ）８４の角度を「θ１＋均等分割角度×３」として演算する。
【００６５】
展開静止画生成部５２は、このように展開画素列８１，８２，８３，８４毎に、それぞれの方向を演算する。展開静止画生成部５２は、複数の展開画素列８１，８２，８３，８４にそれぞれの方向を対応付けた方角テーブル４６を生成する。展開静止画生成部５２は、生成した方角テーブル４６をＥＥＰＲＯＭ４１に保存する。なお、方角テーブル４６は、外部メモリ３０などに保存してもよい。
【００６６】
方角テーブル４６を生成した後、展開静止画生成部５２は、分割展開画像の最初の表示画素を特定する（ステップＳＴ３）。展開静止画生成部５２は、たとえば分割展開画像の左上の表示画素（図８では（１，１））を特定する。内円境界データ４２や外円境界データ４３が更新されていない場合（ステップＳＴ１でＹｅｓの場合）にも、展開静止画生成部５２は、分割展開画像の最初の表示画素を特定する（ステップＳＴ３）。
【００６７】
そして、展開静止画生成部５２は、特定した表示画素に対応する、撮像画像中の画素を特定し、その特定した撮像画像中の画素の画素値を取得し、取得した画素値を特定した表示画素の画素値として保存する。
【００６８】
具体的には、展開静止画生成部５２は、まず、像高補正テーブル４５を参照し、特定した表示画素についての、元画像（円形画像）の中心からの距離Ｒを演算する（ステップＳＴ４）。展開静止画生成部５２は、たとえば、像高補正テーブル４５を参照しながら、分割展開画像の１つの展開画素列と、撮像画像のリング形状の範囲内の半径方向の画素配列とを比較し、特定表示画素に対応する元画像（円形画像）の位置の、ドーナッツの中心からの距離Ｒを演算する。
【００６９】
次に、展開静止画生成部５２は、方角テーブル４６に記憶される特定表示画素の方角と、演算した距離Ｒとから、特定表示画素の、元画像（円形画像）での横座標を演算する（ステップＳＴ５）。展開静止画生成部５２は、方角テーブル４６に記憶される特定表示画素の方角と、演算した距離Ｒとから、特定表示画素の、元画像（円形画像）での縦座標を演算する（ステップＳＴ６）。
【００７０】
図１０は、特定表示画素の元画像（円形画像）での座標位置の説明図である。図１０では、元画像（円形画像）の中心（ＩＯＸ，ＩＯＹ）が、内円境界の中心であり、且つ、外円境界の中心である。つまり、（ＩＯＸ，ＩＯＹ）は、内円境界および外円境界によるドーナッツの中心である。特定表示画素の中心からの距離がＲであり、方角がθであるとすると、特定表示画素の、元画像（円形画像）での座標位置（ＩＸ，ＩＹ）は、以下の式１および式２により演算される。座標位置（ＩＸ，ＩＹ）は、元画像（円形画像）の左上が基準である。
【００７１】
ＩＸ ＝ ＩＯＸ＋Ｒ×ｃｏｓθ ・・・式１
ＩＹ ＝ ＩＯＹ−Ｒ×ｓｉｎθ ・・・式２
【００７２】
特定表示画素の、元画像（円形画像）での座標位置（ＩＸ，ＩＹ）を演算すると、展開静止画生成部５２は、その座標にある元画像（円形画像）の画素９１の画素値を取得し、特定した表示画素の画素値として保存する。展開静止画生成部５２は、外部メモリ３０の第一ＶＲＡＭエリア６３あるいは第二ＶＲＡＭエリア６４に、特定した表示画素の画素値を保存する（ステップＳＴ７）。
【００７３】
以上のステップＳＴ４からＳＴ７までの処理により、展開静止画生成部５２は、ステップＳＴ３で特定した１つの表示画素の画素値を決定し、保存する。その後、展開静止画生成部５２は、分割展開画像の複数の表示画素の内、画素値を決定していない表示画素が残っているか否かを判断し、画素値を決定していない表示画素が無くなるまで、以上の表示画素の画素値の決定処理を繰り返す。
【００７４】
具体的にはたとえば、展開静止画生成部５２は、まず、分割展開画像の一列分の表示画素について画素値の決定が終了したか否かを判断する（ステップＳＴ８）。そして、一列分が終了してない場合（ステップＳＴ８でＮｏの場合）、展開静止画生成部５２は、同じ列の次の行の表示画素を特定し（ステップＳＴ９）、その特定表示画素の画素値を決定する（ステップＳＴ４〜ＳＴ７）。
【００７５】
一列分の表示画素についての画素値の決定が終了している場合（ステップＳＴ８でＹｅｓの場合）、展開静止画生成部５２は、さらに分割展開画像のすべての列について画素値の決定が終了したか否かを判断する（ステップＳＴ１０）。そして、すべての列について終了してない場合（ステップＳＴ１０でＮｏの場合）、展開静止画生成部５２は、次の列の上端（最も上の行）の表示画素を特定し（ステップＳＴ１１）、その特定表示画素の画素値を決定する（ステップＳＴ４〜ＳＴ７）。
【００７６】
分割展開画像のすべての列について画素値の決定が終了した場合（ステップＳＴ１０でＹｅｓの場合）、展開静止画生成部５２は、図７の分割展開画像の生成処理を終了する。これにより、１つの分割画像範囲７３（７４）に関する、分割展開画像の生成処理が終了する。
【００７７】
その後、展開静止画生成部５２は、残りの１つの分割画像範囲７４（７３）に関する、分割展開画像の生成処理を実行する。これにより、外部メモリ３０の第一ＶＲＡＭエリア６３あるいは第二ＶＲＡＭエリア６４には、静止画データ３９に基づく、２つの分割展開画像が保存される。
【００７８】
外部メモリ３０の第一ＶＲＡＭエリア６３あるいは第二ＶＲＡＭエリア６４に２つの分割展開画像が保存されると、圧縮静止画生成部５３は、その２つの分割展開画像を圧縮する。これにより、第一ＶＲＡＭエリア６３あるいは第二ＶＲＡＭエリア６４には、圧縮展開静止画データ６１，６２が記憶される。
【００７９】
ストリーミング生成部５４は、第一ＶＲＡＭエリア６３および第二ＶＲＡＭエリア６４から、圧縮展開静止画データ６１，６２を順番に読込み、且つ、外部メモリ３０から音声データ３８を読み込み、これらのコンテンツデータを有するストリーミングデータを生成する。ストリーミングデータにおいて、２つの分割展開画像は、上下に並べられている。
【００８０】
ストリーミング生成部５４は、生成したストリーミングデータを通信処理部５６へ供給する。３６０度ビデオカメラ装置１の通信処理部５６は、ＵＳＢコネクタ２３、ＵＳＢケーブル２およびＰＣ３のＵＳＢコネクタ１１を介して、ＰＣ３の通信処理部１５へストリーミングデータを送信する。
【００８１】
ＰＣ３の通信処理部１５は、受信したストリーミングデータを再生処理部１６へ供給する。ＰＣ３の再生処理部１６は、ストリーミングデータから、圧縮された展開静止画データを抽出して復号し、２つの分割展開画像のデータを表示データとして液晶表示デバイス１２へ供給する。液晶表示デバイス１２は、２つの分割展開画像を表示する。また、ＰＣ３の再生処理部１６は、ストリーミングデータから音声データを抽出し、スピーカ１３へ供給する。スピーカ１３は、抽出された音声データに基づく音を出力する。
【００８２】
図１１は、ＰＣ３の液晶表示デバイス１２に表示される、撮像による３６０度のパノラマ展開画像の表示例である。液晶表示デバイス１２には、撮像による３６０度のパノラマ展開画像が、上下に並んだ２つの分割展開画面１０１，１０２により表示される。２つの分割展開画面１０１，１０２が上下に並べられているので、仮にたとえばこれらが１つの展開画像である場合に比べて、液晶表示デバイス１２の表示画面を有効に利用することができる。また、液晶表示デバイス１２に、３６０度のパノラマ展開画像を大きく表示することができる。
【００８３】
なお、図１１中の２つの分割展開画面１０１，１０２には、図５のリング形状の画像範囲を点線７１，７２で２つに分割して得られる１８０度毎の２つの分割展開画像が表示されている。２つの分割展開画像は、その両端において画像が互いに連続しており、全体として３６０度のパノラマ画像を切れ目なく表示する。この表示により、ＰＣ３のユーザは、３６０度ビデオカメラ装置１により撮像された３６０度のパノラマ展開画像を閲覧することができる。また、ＰＣ３のユーザは、スピーカ１３が発する音により、３６０度ビデオカメラ装置１により取得された音を聞くことができる。
【００８４】
なお、上述したように３６０度ビデオカメラ装置１のイメージセンサ２７は、周期毎に輝度分布データを生成する。色変換処理部３６は、輝度分布データから撮像画像データを生成する。静止画保存処理部５１は、外部メモリ３０の静止画データ３９をこの周期毎に生成される撮像画像データで更新する。展開静止画生成部５２は、外部メモリ３０から静止画データ３９を読込み、読み込んだ静止画データ３９に基づく２つの分割展開画像のデータを、第一ＶＲＡＭエリア６３および第二ＶＲＡＭエリア６４に交互に書込む。ストリーミング生成部５４は、この第一ＶＲＡＭエリア６３あるいは第二ＶＲＡＭエリア６４に書込まれた圧縮済みの２つの分割展開画像のデータを読み込んで、ストリーミングデータを生成する。
【００８５】
したがって、ストリーミング生成部５４が、第一ＶＲＡＭエリア６３および第二ＶＲＡＭエリア６４の中の一方のＶＲＡＭエリアから、圧縮済みの２つの分割展開画像のデータを読み込む間に、展開静止画生成部５２は他方のＶＲＡＭエリアに２つの分割展開画像を生成し、且つ、圧縮静止画生成部５３はその他方のＶＲＡＭエリアの２つの分割展開画像を圧縮することができる。ストリーミング生成部５４は、イメージセンサ２７が周期毎に生成する輝度分布データに基づく２つの分割展開画像を、画像抜け（フレーム抜け）を生じることなくストリーミングデータに割り付けることができる。これにより、ＰＣ３の液晶表示デバイス１２には、イメージセンサ２７により周期的に生成される輝度分布データに基づく動画が表示される。
【００８６】
次に、パノラマ展開画像をオートパンさせる動作を説明する。
【００８７】
ＰＣ３のコマンド生成部１７は、入力デバイス１４から入力される入力データに基づいてオートパン指示コマンドを生成する。ＰＣ３の通信処理部１５は、オートパン指示コマンドを、ＵＳＢケーブル２を介して３６０度ビデオカメラ装置１の通信処理部５６へ送信する。３６０度ビデオカメラ装置１の通信処理部５６は、受信したオートパン指示コマンドを処理管理部５５へ供給する。
【００８８】
オートパン指示コマンドが供給されると、処理管理部５５は、ＥＥＰＲＯＭ４１に記憶される方角テーブル４６を周期的に更新する。具体的には、処理管理部５５は、周期的に、方角テーブル４６の展開画素列毎の複数の方向のデータに、所定の一定角度を加算する処理を繰り返す。
【００８９】
これにより、展開静止画生成部５２が図７のフローチャートにおいて特定表示画素の方角は、周期的に、所定の一定角度ずつ増加する。たとえば図９中の第１列の展開画素列（１，Ｚ）８１の角度θ１は、周期的に、所定の一定角度ずつ増加する。図７中のステップＳＴ５およびＳＴ６で使用する特定表示画素の方角も、周期的に、所定の一定角度ずつ増加する。
【００９０】
その結果、各特定表示画素の元画像（円形画像）での座標位置は一定角度ずつ回転し、各特定表示画素の画素値もその回転にしたがって変化する。その結果、分割展開画像中において、元画像（円形画像）中の被写体は、横へ移動する。３６０度のパノラマ展開画像においてオートパン動作が実現される。
【００９１】
次に、パノラマ展開画像の高さ調整動作について説明する。
【００９２】
ＰＣ３のコマンド生成部１７は、入力デバイス１４から入力される入力データに基づいて変更モード開始指示コマンドを生成する。ＰＣ３の通信処理部１５は、変更モード開始指示コマンドを、ＵＳＢケーブル２を介して３６０度ビデオカメラ装置１の通信処理部５６へ送信する。３６０度ビデオカメラ装置１の通信処理部５６は、受信した変更モード開始指示コマンドを処理管理部５５へ供給する。
【００９３】
図１２は、変更モードにおける処理管理部５５の動作を示すフローチャートである。処理管理部５５は、変更モード開始指示コマンドが供給される（ステップＳＴ２１）と、ストリーミング生成部５４へ、境界表示指示を供給する（ステップＳＴ２２）。その後、処理管理部５５は、境界変更指示コマンドと、変更モード終了指示コマンドとの受信待ち状態となる（ステップＳＴ２３およびＳＴ２４）。
【００９４】
境界表示指示が供給されたストリーミング生成部５４は、外部メモリ３０から、静止画データ３９を読み込む。ストリーミング生成部５４は、この静止画データ３９を読み込む度に、その読込みに続けて、ＥＥＰＲＯＭ４１から、内円境界データ４２および外円境界データ４３を読み込む。ストリーミング生成部５４は、図５に示すように、静止画データ３９の撮像画像に、内円境界のマーク４７および外円境界のマーク４８を重ねて表示する表示画像を生成する。なお、ストリーミング生成部５４は、所定の複数回の静止画データ３９の読み込みの度に、内円境界データ４２および外円境界データ４３を読み込むようにしてもよい。
【００９５】
さらに、ストリーミング生成部５４は、生成した表示画像のデータを有するストリーミングデータを生成し、通信処理部５６へ供給する。３６０度ビデオカメラ装置１の通信処理部５６は、ＵＳＢケーブル２を介して、ＰＣ３の通信処理部１５へストリーミングデータを送信する。
【００９６】
ＰＣ３の通信処理部１５は、受信したストリーミングデータを再生処理部１６へ供給する。ＰＣ３の再生処理部１６は、ストリーミングデータから、表示画像のデータを抽出し、表示データとして液晶表示デバイス１２へ供給する。液晶表示デバイス１２は、図５に示すように、内円境界の円形のマーク４７と、外円境界の円形のマーク４８とが重ねられた撮像画像を表示する。
【００９７】
ＰＣ３のコマンド生成部１７は、入力デバイス１４に対するユーザの操作に基づいて、内円境界および外円境界の位置を移動したり、内円境界および外円境界の半径を拡縮したりする境界変更指示コマンドを生成する。ＰＣ３の通信処理部１５は、境界変更指示コマンドを、ＵＳＢケーブル２を介して３６０度ビデオカメラ装置１の通信処理部５６へ送信する。３６０度ビデオカメラ装置１の通信処理部５６は、受信した境界変更指示コマンドを処理管理部５５へ供給する。
【００９８】
境界変更指示コマンドを受信する（ステップＳＴ２３でＹｅｓとなる）と、処理管理部５５は、まず、その指示の適否を判断する（ステップＳＴ２５）。処理管理部５５は、具体的にはたとえば、変更後の内円境界の半径あるいは変更後の外円境界の半径が、所定の半径（たとえば１４４ピクセル）以上であるか否かを判断する。
【００９９】
指示が適当であると判断する（ステップＳＴ２５でＹｅｓとなる）と、処理管理部５５は、その変更指示に基づいて、ＥＥＰＲＯＭ４１に記憶される内円境界データ４２や外円境界データ４３を更新する（ステップＳＴ２６）。また、処理管理部５５は、その新たな内円境界と外円境界との組合せに基づいて、ＥＥＰＲＯＭ４１に記憶される像高補正テーブル４５を更新する（ステップＳＴ２７）。
【０１００】
内円境界と外円境界との間隔が変更により変化する場合、撮像画像中の、内円境界と外円境界との間の複数の画素数は変化する。その結果、その複数の画素により撮像される空間の範囲が変化し、その撮像空間の、複数の画素による分割割合も変化する。
【０１０１】
また、立体射影方式の魚眼レンズ２２を使用すると、被写体は、画角に応じて異なる大きさで結像する。したがって、図６において説明したように、内円境界と外円境界との間隔が更新により変化していない場合であっても、内円境界および外円境界の位置が移動するだけで、撮像空間の、複数の画素による分割割合が変化する。
【０１０２】
処理管理部５５は、これら内円境界と外円境界との変更に伴なう複数の画素の分割割合の変化に応じて、像高補正テーブル４５を更新する。その後、処理管理部５５は、境界変更指示コマンドおよび変更モード終了指示コマンドの受信待ち状態へ戻る（ステップＳＴ２３およびＳＴ２４）。
【０１０３】
指示が適当でない場合（ステップＳＴ２５でＮｏの場合）、たとえば内円境界の半径が所定の半径より小さい場合、処理管理部５５は、その変更指示を無視し、境界変更指示コマンドおよび変更モード終了指示コマンドの受信待ち状態へ戻る（ステップＳＴ２３およびＳＴ２４）。
【０１０４】
ところで、境界表示指示が供給されたストリーミング生成部５４は、外部メモリ３０から静止画データ３９を読み込む度に、ＥＥＰＲＯＭ４１から、内円境界データ４２および外円境界データ４３を読み込んでいる。したがって、処理管理部５５が内円境界データ４２や外円境界データ４３を更新した場合、ストリーミング生成部５４が、円形マーク４７，４８の、撮像画像に対する重なりの位置やサイズも更新される。液晶表示デバイス１２において撮像画像と重ねて表示させる円形マーク４７，４８の位置およびサイズは、境界変更指示コマンドに応じて変更される。ユーザは、液晶表示デバイス１２の表示により、内円境界データ４２や外円境界データ４３が更新されたことを知ることができる。
【０１０５】
ＰＣ３のコマンド生成部１７は、入力デバイス１４に対するユーザの操作に基づいて、変更モード終了指示コマンドを生成する。ＰＣ３の通信処理部１５は、変更モード終了指示コマンドを、ＵＳＢケーブル２を介して３６０度ビデオカメラ装置１の通信処理部５６へ送信する。３６０度ビデオカメラ装置１の通信処理部５６は、受信した変更モード終了指示コマンドを処理管理部５５へ供給する。変更モード終了指示コマンドを受信する（ステップＳＴ２４においてＹｅｓとなる）と、処理管理部５５は、図１２の変更モードの処理を終了する。この変更モードの処理後には、内円境界データ４２、外円境界データ４３および像高補正テーブル４５が新たなものへ変更され、３６０度ビデオカメラ装置１の展開静止画生成部５２は、この変更されたデータを用いて、３６０度のパノラマ展開画像を生成するようになる。
【０１０６】
以上のように、この実施の形態によれば、３６０度ビデオカメラ装置１のイメージセンサ２７には、魚眼レンズ２２による円形の像が結像する。静止画保存処理部５１は、このイメージセンサ２７の輝度分布データに基づいて、円形画像を有する撮像画像データを生成する。この円形画像には、被写体の頭などが切れたりすることなく含まれる。
【０１０７】
また、展開静止画生成部５２は、この撮像画像の中の、内円境界と外円境界とに挟まれているリング形状の範囲内の画像に基づいて、２つの分割展開画像による３６０度のパノラマ展開画像を生成する。内円境界および外円境界の位置およびサイズは、処理管理部５５によりユーザが自由に設定することができる。
【０１０８】
したがって、処理管理部５５により内円境界あるいは外円境界の位置あるいはサイズを更新することで、円形画像内の被写体がリング形状の範囲内に収まるように調整することができる。その結果、たとえば被写体が魚眼レンズ２２に近い位置に存在し、被写体に対する魚眼レンズ２２の物理的な距離を確保することがでない場合であっても、内円境界の位置などを調整することで、被写体の頭などが切れていない３６０度のパノラマ展開画像を生成することができる。また、たとえば被写体としての人の頭と体とがバランス良く表示される３６０度のパノラマ展開画像を生成することができる。
【０１０９】
また、１８０度毎の２つの横長の分割展開画像は、上下に並べてＰＣ３の液晶表示デバイス１２に表示される。したがって、仮にたとえば３６０度のパノラマ展開画像が１つの展開画像である場合に比べて、液晶表示デバイス１２の表示画面を有効に利用することができる。液晶表示デバイス１２に、３６０度のパノラマ展開画像を大きく表示することができる。
【０１１０】
また、この実施の形態では、魚眼レンズ２２は、立体射影方式のものである。立体射影方式の魚眼レンズ２２は、一般的な等距離射影方式の魚眼レンズを使用する場合に比べて、魚眼レンズ２２により結像される画像中の周辺部のゆがみが少なく、且つ、周辺部の情報量が多くなる。また、ＥＥＰＲＯＭ４１は、この立体射影方式の魚眼レンズ２２の入射角と像高との関係に基づいて得られる被写体の結像サイズのバランスを補正する像高補正テーブル４５を記憶する。展開静止画生成部５２は、像高補正テーブル４５を参照し、被写体の結像サイズのバランスを整えた３６０度のパノラマ展開画像を生成する。
【０１１１】
したがって、３６０度ビデオカメラ装置１を、その魚眼レンズ２２を上向きにテーブルに載置したとき、その周囲にいる人物や黒板などの画像を、高分解能で得ることができる。黒板の文字などを、３６０度のパノラマ展開画像中に再現することができる。また、魚眼レンズ２２の周囲にいる人物や黒板などの画像として、バランスが整ったものを得ることができる。
【０１１２】
また、この実施の形態では、ＥＥＰＲＯＭ４１に記憶される像高補正テーブル４５は、内円境界データ４２あるいは外円境界データ４３が更新される度に、更新される。内円境界と外円境界との間隔が変更により変化する場合、それらの間の画像空間の、複数の画素による分割割合が変化する。また、内円境界および外円境界の位置が移動するだけであっても、それらの間の画像空間の、複数の画素による分割割合が変化する。このように内円境界データ４２あるいは外円境界データ４３の更新の度に像高補正テーブル４５を更新することで、像高補正テーブル４５は、これらと適合するものに維持される。
【０１１３】
また、この実施の形態では、ＥＥＰＲＯＭ４１に記憶される内円境界データ４２および外円境界データ４３は、変更後のサイズが１４４ピクセル以上の半径である場合に、更新される。仮にたとえば内円境界の半径が１画素になると、３６０度のパノラマ展開画像の最上段の複数の表示画素の画素値を得るために、撮像画像中の同じ画素が何度も利用されることになる。この場合、３６０度のパノラマ展開画像の画質が向上することなく、３６０度のパノラマ展開画像の生成負荷が増大してしまう。この実施の形態のように、内円境界あるいは外円境界の半径が１４４ピクセルより小さくなってしまうことを防止することで、そのような不利益が発生してしまうことを防止することができる。
【０１１４】
また、この実施の形態では、展開静止画生成部５２は、３６０度のパノラマ展開画像の各表示画素の、円形画像の中心からの距離Ｒおよび方角を演算し、演算した距離Ｒおよび方角を用いて、各表示画素の、撮像画像での座標（ＩＸ，ＩＹ）を演算し、演算した各座標（ＩＸ，ＩＹ）に位置する撮像画像の画素９１の画素値を、各表示画素の画素値として取得する。
【０１１５】
したがって、撮像画像中の円形画像の画素の画素値をそのまま用いた、３６０度のパノラマ展開画像を生成することができる。３６０度のパノラマ展開画像の各表示画素の画素値そのものを演算により求める必要がない。演算により各表示画素の画素値を得る場合のように、演算による画質劣化が発生することはない。また、１つのパノラマ展開画像の生成時間を短縮することができる。その結果、３６０度のパノラマ展開画像を短時間で生成することができる。また、パノラマ展開画像の生成処理を連続的に繰り返すことで、３６０度のパノラマ展開画像による、連続的な動きのある動画を得ることができる。
【０１１６】
以上に説明したように、この実施の形態は、本発明の好適な実施の形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形や変更が可能である。
【０１１７】
たとえば上記実施の形態では、魚眼レンズ２２として、立体射影方式のものを利用している。この他にもたとえば、一般的な等距離射影方式のもの、等立体射影方式のもの、正射影方式のものなどを魚眼レンズ２２として利用してもよい。
【０１１８】
上記実施の形態では、展開静止画生成部５２は、３６０度のパノラマ展開画像として、１８０度毎の２つの分割展開画像を生成している。この他にもたとえば、展開静止画生成部５２は、１つの３６０度のパノラマ展開画像を生成するようにしたり、三分割としたり、四分割としたりしてもよい。
【０１１９】
上記実施の形態では、処理管理部５５は、ユーザの操作に基づいて、ＥＥＰＲＯＭ４１に記憶される内円境界データ４２および外円境界データ４３の両方を更新する。この他にもたとえば、処理管理部５５は、ユーザの操作に基づいて、ＥＥＰＲＯＭ４１に記憶される内円境界データ４２および外円境界データ４３の中の一方のみを、更新するようにしてもよい。
【０１２０】
上記実施の形態では、３６０度ビデオカメラ装置１には、ＵＳＢケーブル２により、ＰＣ３が接続されている。この他にもたとえば、３６０度ビデオカメラ装置１には、ＵＳＢケーブル２などにより、たとえばコマンドを出力する入力ボードなどが接続されていてもよい。
【０１２１】
上記実施の形態では、３６０度ビデオカメラ装置１に接続されるＰＣ３は、液晶表示デバイス１２に、３６０度のパノラマ展開画像による動画を表示する。この他にもたとえば、ＰＣ３は、図示外の記憶デバイスに、３６０度のパノラマ展開画像による動画を保存するようにしてもよい。
【産業上の利用可能性】
【０１２２】
本発明は、会議の様子などを撮像するためのパノラマ展開画像撮像装置およびパノラマ展開画像撮像システムなどとして、広く利用することができる。
【図面の簡単な説明】
【０１２３】
【図１】本発明の実施の形態に係るパノラマ展開画像撮像システムを示す斜視図である。
【図２】図１中の３６０度ビデオカメラ装置の電気回路を示すブロック図である。
【図３】図１中の魚眼レンズとイメージセンサとの光学的な配置を示す説明図である。
【図４】図１中の色変換処理部がイメージセンサの輝度分布データに基づいて生成する撮像画像の一例を示す図である。
【図５】図１の３６０度ビデオカメラ装置において、撮像画像に、内円境界の位置を示す円形のマークと、外円境界の位置を示す円形のマークとを重ねた画像を示す説明図である。
【図６】図１中の立体射影方式の魚眼レンズの像高（画角差）特性図である。
【図７】図１の３６０度ビデオカメラ装置において生成される、１つの分割画像範囲に関する、展開静止画生成部による分割展開画像の生成処理の流れを示すフローチャートである。
【図８】図１の３６０度ビデオカメラ装置において生成される分割展開画像での複数の表示画素の配列の一例を示す図である。
【図９】図８の各展開画素列の、リング形状の画像における方向（分割画像範囲における方向）を図示する説明図である。
【図１０】図１の３６０度ビデオカメラ装置における特定表示画素の元画像（円形画像）での座標位置の説明図である。
【図１１】図１中のＰＣの液晶表示デバイスに表示される、撮像による３６０度のパノラマ展開画像の表示例である。
【図１２】図１の３６０度ビデオカメラ装置の変更モードにおける処理管理部の動作を示すフローチャートである。
【符号の説明】
【０１２４】
１ ３６０度ビデオカメラ装置（パノラマ展開画像撮像装置）
３ パーソナルコンピュータ（コンピュータ装置）
２２ 魚眼レンズ
２７ イメージセンサ（撮像手段の一部）
３３ 受光面
３６ 色変換処理部（撮像手段の一部）
４１ ＥＥＰＲＯＭ（メモリ）
４５ 像高補正テーブル
５２ 展開静止画生成部（パノラマ展開画像生成手段）
５４ ストリーミング生成部（表示データ生成手段）
５５ 処理管理部（ユーザ更新手段）
【技術分野】
【０００１】
本発明は、パノラマ展開画像撮像装置およびパノラマ展開画像撮像システムに関する。
【背景技術】
【０００２】
特許文献１は、全方位撮影装置を開示する。全方位撮影装置は、３６０度の環状映像を直接取込可能なレンズを有する１つのカメラモジュールにより撮影された映像を展開して表示したり、記録したりする。
【０００３】
【特許文献１】特開２００６−１４８７８７号公報（要約、発明の詳細な説明、図面、特に、段落００２４、段落００４９、図８、図９など）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１において３６０度の環状映像を直接取り込むレンズは、特殊な凸型のガラスレンズであり、具体的には、天頂反射面と、その周りを取り囲むように形成された略円環状のレンズ面と、レンズ面の下側に配設される略円環状の奥側反射面と、奥側反射面により取り囲まれている透過面と、を有する。また、特許文献１は、この特殊な凸型のガラスレンズの変わりに、魚眼レンズを使用することが可能であることを示唆している。
【０００５】
しかしながら、特許文献１の全方位撮影装置では、３６０度の環状映像において、撮像可能な像高さに制限がある。この環状映像では、レンズ面の下側部位により屈折され、奥側反射面の外周部位で反射され、さらに天頂反射面の外周部位により反射される方向からの入射光から、レンズ面の上側部位を透過し、奥側反射面の内周部位で反射され、さらに天頂反射面の内周部位により反射される方向からの入射光までとなる画角範囲の画像しか得ることができない。環状映像の中央には、天頂反射面が円形に撮影される。特許文献１の全方位撮影装置では、このような特殊な凸型のガラスレンズなどを使用しているので、撮像可能な像高さに制限が生じる。
【０００６】
像高さに制限があるため、特許文献１の全方位撮影装置では、実用上、ガラスレンズと被写体との距離などに制限が生じる。たとえば、被写体がガラスレンズに近づきすぎてしまうと、３６０度の環状映像において被写体の頭などが切れてしまうことになる。被写体の頭などが切れてしまわないようにするためには、被写体に対するガラスレンズの距離を確保しなければならない。
【０００７】
特に、全方位撮影装置をテーブルの中央に置いて会議風景などを撮像しようとする場合、この実用上の距離制限が全方位撮影装置の利便性を大きく損なうことになる。たとえば小さな会議室では、被写体に対するガラスレンズの距離が確保できなくなり、被写体の頭などが切れないように撮影することができなくなってしまう可能性がある。
【０００８】
本発明は、被写体が切れてしまうことなく、３６０度のパノラマ展開画像を撮影することができるパノラマ展開画像撮像装置およびパノラマ展開画像撮像システムを得ることを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係るパノラマ展開画像撮像装置は、撮像による３６０度のパノラマ展開画像を生成するものである。そして、パノラマ展開画像撮像装置は、魚眼レンズと、複数の受光素子が配列される受光面に魚眼レンズによる円形の像が結像し、円形画像を有する撮像画像のデータを生成する撮像手段と、撮像画像中の、３６０度のパノラマ展開画像の生成に使用するリング形状の範囲を規定する内円境界および外円境界の位置あるいはサイズを記憶するメモリと、ユーザの操作に基づいて、メモリに記憶される内円境界および外円境界の中の少なくとも一方の位置あるいはサイズを更新するユーザ更新手段と、撮像手段が生成する撮像画像中の、メモリに記憶される内円境界と外円境界とで挟まれるリング形状の範囲内の画像に基づいて、３６０度のパノラマ展開画像を生成するパノラマ展開画像生成手段と、を有する。
【００１０】
この構成を採用すれば、撮像手段には、魚眼レンズによる円形の像が結像する。撮像手段は、円形画像を有する撮像画像を生成する。円形画像内には、被写体の頭などが切れたりすることなく含まれる。
【００１１】
また、パノラマ展開画像生成手段は、この撮像画像の中の、内円境界と外円境界とに挟まれているリング形状の範囲内の画像に基づいて、３６０度のパノラマ展開画像を生成する。この内円境界および外円境界の位置およびサイズは、ユーザの操作に基づいて、ユーザ更新手段により更新することができる。したがって、たとえば被写体に対する魚眼レンズの距離を物理的に確保することがでなくても、ユーザの操作により内円境界の位置あるいは外円境界の位置を更新することで、円形画像内の被写体がリング形状の範囲内に収まるように調整することができる。その結果、被写体の頭などが切れていない３６０度のパノラマ展開画像を生成することができる。
【００１２】
本発明に係るパノラマ展開画像撮像装置は、上述した発明の構成に加えて、以下の特徴を有するものである。すなわち、魚眼レンズは、立体射影方式のものである。メモリは、立体射影方式の魚眼レンズの入射角と像高との関係に基づいて得られる被写体の結像サイズのバランスを補正する像高補正テーブルを記憶する。パノラマ展開画像生成手段は、像高補正テーブルを参照し、被写体の結像サイズのバランスを整えた３６０度のパノラマ展開画像を生成する。
【００１３】
この構成を採用すれば、一般的な等距離射影方式の魚眼レンズを使用する場合に比べて、魚眼レンズにより結像される画像中の周辺部のゆがみが少なく、且つ、周辺部の情報量が多くなる。したがって、パノラマ展開画像撮像装置を、その魚眼レンズを上向きにテーブルに載置したとき、その周囲にいる人物や黒板などの画像を、高分解能で得ることができる。黒板の文字などを、３６０度のパノラマ展開画像中に再現することができる。また、魚眼レンズの周囲にいる人物や黒板などの画像として、バランスが整ったものを得ることができる。
【００１４】
本発明に係るパノラマ展開画像撮像装置は、上述した発明の各構成に加えて、以下の特徴を有するものである。すなわち、ユーザ更新手段は、メモリに記憶される内円境界および外円境界の中の少なくとも一方の位置あるいはサイズを更新した後に、メモリに記憶される像高補正テーブルを、更新した内円境界および外円境界と、立体射影方式の魚眼レンズの入射角と像高との関係とに基づいて更新する。
【００１５】
内円境界と外円境界との間隔が変更により変化する場合、それらの間の画像空間の、複数の画素による分割割合が変化する。また、内円境界および外円境界の位置が移動するだけであっても、それらの間の画像空間の、複数の画素による分割割合が変化する。この構成を採用すれば、像高補正テーブルを、これらと適合するものに維持することができる。
【００１６】
本発明に係るパノラマ展開画像撮像装置は、上述した発明の各構成に加えて、以下の特徴を有するものである。すなわち、ユーザ更新手段は、内円境界あるいは外円境界の変更後のサイズが、所定の画素数以上の半径である場合、内円境界あるいは外円境界の変更指示に基づいて、メモリに記憶される内円境界あるいは外円境界を更新する。
【００１７】
仮にたとえば内円境界の半径が１画素になると、３６０度のパノラマ展開画像の最上段の複数の表示画素の画素値を得るために、撮像画像中の同じ画素が何度も利用されることになる。この場合、３６０度のパノラマ展開画像の画質が向上することなく、３６０度のパノラマ展開画像の生成負荷が増大する。この構成のように、内円境界あるいは外円境界の半径が所定の画素数より小さくなってしまうことを防止することで、そのような不利益が発生してしまうことを防止することができる。
【００１８】
本発明に係るパノラマ展開画像撮像装置は、上述した発明の各構成に加えて、以下の特徴を有するものである。すなわち、パノラマ展開画像生成手段は、３６０度のパノラマ展開画像の各表示画素の、円形画像の中心からの距離および方角を演算し、演算した距離および方角を用いて、各表示画素の、撮像画像での座標を演算し、演算した各座標に位置する撮像画像の画素の画素値を、各表示画素の画素値として取得する。
【００１９】
この構成を採用すれば、撮像画像中の円形画像の画素の画素値をそのまま用いた、３６０度のパノラマ展開画像を生成することができる。３６０度のパノラマ展開画像の各表示画素の画素値そのものを演算により求める必要がない。演算により各表示画素の画素値を得る場合のように、演算による画質劣化が発生することはなく、１つのパノラマ展開画像の生成時間を短縮することができる。その結果、３６０度のパノラマ展開画像を短時間で生成することができる。また、パノラマ展開画像の生成処理を連続的に繰り返すことで、３６０度のパノラマ展開画像による、連続的な動きのある動画を得ることができる。
【００２０】
本発明に係るパノラマ展開画像撮像装置は、上述した発明の各構成に加えて、以下の特徴を有するものである。すなわち、パノラマ展開画像生成手段は、撮像画像中の、内円境界と外円境界とで挟まれる範囲を１８０度毎に２つの範囲に分割し、その分割した画像の範囲毎の２つの横長のパノラマ分割展開画像を生成する。また、２つの横長のパノラマ分割展開画像を上下に並べて表示させる表示データを生成する表示データ生成手段を有する。
【００２１】
この構成を採用すれば、仮にたとえばこれらが１つの展開画像である場合に比べて、表示データを表示する表示手段の表示画面を有効に利用することができる。表示手段に、３６０度のパノラマ展開画像を大きく表示することができる。
【００２２】
本発明に係るパノラマ展開画像撮像システムは、上述した発明の各構成に係るパノラマ展開画像撮像装置と、パノラマ展開画像撮像装置が生成する３６０度のパノラマ展開画像を、表示あるいは保存するコンピュータ装置と、を有するものである。
【００２３】
この構成を採用すれば、３６０度のパノラマ展開画像を表示し、あるいは保存することができる。
【発明の効果】
【００２４】
本発明では、被写体が切れてしまうことなく、３６０度のパノラマ展開画像を撮影することができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態に係るパノラマ展開画像撮像装置およびパノラマ展開画像撮像システムを、図面に基づいて説明する。パノラマ展開画像撮像装置は、会議用の３６０度ビデオカメラ装置を例として説明する。パノラマ展開画像撮像システムは、３６０度ビデオカメラ装置とパーソナルコンピュータとを接続したものを例として説明する。
【００２６】
図１は、本発明の実施の形態に係るパノラマ展開画像撮像システムを示す斜視図である。パノラマ展開画像撮像システムは、パノラマ展開画像撮像装置としての３６０度ビデオカメラ装置１と、コンピュータ装置としてのＰＣ（パーソナルコンピュータ）３とを有する。３６０度ビデオカメラ装置１は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル２により、ＰＣ３に接続されている。
【００２７】
ＰＣ３は、ＵＳＢコネクタ１１、液晶表示デバイス１２、スピーカ１３、入力デバイス１４などを有する。また、図示外のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）が、図示外の記憶デバイスからプログラムを読み込んで実行することで、ＰＣ３には、通信処理部１５、再生処理部１６、コマンド生成部１７などが実現される。
【００２８】
通信処理部１５は、ＵＳＢコネクタ１１を用いたデータ通信を制御する。再生処理部１６は、液晶表示デバイス１２で表示される内容などを制御し、スピーカ１３に音を出力させる。コマンド生成部１７は、入力デバイス１４から入力される入力データに基づいてコマンドを生成する。入力デバイス１４には、たとえばキーボード、ポインティングデバイスなどがある。
【００２９】
３６０度ビデオカメラ装置１は、立方体形状のハウジング２１を有する。ハウジング２１には、魚眼レンズ２２、ＵＳＢコネクタ２３、ビデオ出力コネクタ２４、音声出力コネクタ２５などが配設される。魚眼レンズ２２は、ハウジング２１の上面に配設される。ハウジング２１の上面には、マイクロフォン２６用の通気孔２０が形成される。ＵＳＢコネクタ２３、ビデオ出力コネクタ２４および音声出力コネクタ２５は、ハウジング２１の側面に配設される。
【００３０】
図２は、図１中の３６０度ビデオカメラ装置１の電気回路を示すブロック図である。３６０度ビデオカメラ装置１のハウジング２１の内部には、撮像による３６０度のパノラマ展開画像を生成するための電気回路が組み込まれている。
【００３１】
３６０度ビデオカメラ装置１は、魚眼レンズ２２、ＵＳＢコネクタ２３、ビデオ出力コネクタ２４、音声出力コネクタ２５の他に、撮像手段の一部としてのイメージセンサ２７、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）２８、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２９、外部メモリ３０、音声ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）３１、ビデオエンコーダ３２などを有する。
【００３２】
図３は、魚眼レンズ２２と、イメージセンサ２７との光学的な配置を示す説明図である。
【００３３】
イメージセンサ２７には、たとえばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ ）イメージセンサがある。イメージセンサ２７は、受光面３３を有する。受光面３３には、図示外の複数の受光素子がたとえば縦横３：４の比率でマトリックス状に配列される。各受光素子は、受光光量に応じた値を出力する。イメージセンサ２７は、複数の受光素子から出力される複数の受光光量値を有する輝度分布データを生成する。イメージセンサ２７は、所定の周期で、輝度分布データを生成する。
【００３４】
魚眼レンズ２２は、たとえば１８０度以上の広視野角を有するものであり、立体射影方式のものである。立体射影方式の魚眼レンズ２２は、一般的な等距離射影方式の魚眼レンズに比べて、それにより結像される画像中の周辺部のゆがみが少なく、且つ、周辺部の情報量が多くなる。魚眼レンズ２２の射影方式としては、立体射影方式や等距離射影方式の他にも、等立体射影方式や正射影方式などを採用することが可能である。但し、３６０度ビデオカメラ装置１を会議室のテーブル上に魚眼レンズ２２が上向きとなる姿勢で置いて撮像する場合、周辺部に写る人物や黒板などの情報量が多くなるため、立体射影方式のものが最適である。
【００３５】
この魚眼レンズ２２は、イメージセンサ２７の受光面３３の上方に配設される。これにより、イメージセンサ２７の受光面３３には、魚眼レンズ２２による円形の像（以下、円形画像とよぶ）が結像する。イメージセンサ２７は、輝度分布データを周期的に生成し、ＦＰＧＡ２８へ出力する。ＦＰＧＡ２８では、撮像手段の一部としての色変換処理部３６が実現される。
【００３６】
色変換処理部３６は、図示外の色変換テーブルを用いて、輝度分布データの各画素のデータを置き換える。色変換処理部３６は、たとえば円形画像中の画素のデータを、輝度分布データにおけるその画素の値および周辺画素の値を用いて、所定の色データへ置き換える。これにより、適当な色データを有する撮像画像データが生成される。
【００３７】
図４は、色変換処理部３６がイメージセンサ２７の輝度分布データに基づいて生成する撮像画像の一例を示す図である。図４に示すように、撮像画像は、その中央部に、円形画像を有する。円形画像の内部には、被写体の像が結像する。色変換処理部３６は、生成した撮像画像データを、ＤＳＰ２９へ出力する。
【００３８】
マイクロフォン２６は、音声に応じた波形信号を生成する。波形信号は、音声ＩＣ３１により、音声信号へ変換され、音声出力コネクタ２５へ供給される。音声出力コネクタ２５には、たとえばスピーカユニット、ヘッドフォンなどが接続可能である。音声出力コネクタ２５に接続されるスピーカユニットやヘッドフォンなどにより、音声を聞くことができる。また、音声ＩＣ３１には、音声保存処理部３７が実現される。音声保存処理部３７は、マイクロフォン２６から供給される波形信号をサンプリングし、そのサンプリングにより生成した音声データ３８を、外部メモリ３０に保存する。
【００３９】
ＤＳＰ２９は、メモリとしてのＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：不揮発性メモリの一種）４１を有する。ＥＥＰＲＯＭ４１は、内円境界データ４２、外円境界データ４３、入射角像高テーブル４４、像高補正テーブル４５、方角テーブル４６などを記憶する。
【００４０】
図５は、撮像画像に、内円境界の位置を示す円形のマーク４７と、外円境界の位置を示す円形のマーク４８とを重ねた画像を示す説明図である。内円境界および外円境界は、パノラマ展開画像として展開する画像範囲を指定する境界である。内円境界と外円境界との間の画像部分が、パノラマ展開画像として展開される。内円境界データ４２は、内円境界の、撮像画像中の位置やサイズを示すデータである。外円境界データ４３は、外円境界の、撮像画像中の位置やサイズを示すデータである。
【００４１】
図６は、立体射影方式の魚眼レンズ２２の像高（画角差）特性図である。横軸は、魚眼レンズ２２の光軸方向を画角０度としたときの相対画角であり、縦軸は、像高（画角差）である。図６の特性の立体射影方式の魚眼レンズ２２を用いると、たとえば魚眼レンズ２２の画角０度の方向に存在する被写体の像高（画角差）が約０．１の像高（画角差）となるとき、画角９０度の方向に存在する被写体の像高（画角差）は、約０．２の大きさとなる。これは、魚眼レンズ２２の周辺方向にある被写体は、中央方向にある被写体に比べて約２倍の大きさで結像することを意味する。また、被写体が周辺部から中央部にかけて写るとき、そのバランスが崩れることを意味する。入射角像高テーブル４４は、この魚眼レンズ２２の画角に対する像高（画角差）の特性をデータ化したものである。
【００４２】
魚眼レンズを使用したとき、一般的に、１つの被写体の画像は周辺へ行く程ひずむ。このひずみ具合を軽減し、周辺の情報量を多くする方式として立体射影方式が存在する。この立体射影方式の魚眼レンズ２２を使用すると、被写体は、画角的に中心部に撮像される場合に比べて、周辺部に撮像される場合の方が大きく撮像される。中心部に撮像される被写体は、周辺部に撮像される被写体より画角的に小さく結像する。このことは、図６にイメージセンサ２７の中心部寄りの４つの受光素子と、周辺部寄りの４つの受光素子とを図示するように、イメージセンサ２７の画角０度に近い部位、すなわち天頂付近の受光素子には、イメージセンサ２７の画角９０度に近い部位、すなわち真横方向の受光素子に比べて、広い画角の像が結像することを意味する。
【００４３】
このように立体射影方式は、従来の等距離射影方式の魚眼レンズと比べれば、周辺の情報が多いため、死角が少なくなり、ゆがみが少ない画像となる。しかし、ゆがみは少なくなるが、零とはならない。これに対して、パノラマ展開画像では、被写体は、本来の大きさのバランスで表示されることが望ましい。像高補正テーブル４５は、立体射影方式の魚眼レンズ２２によりイメージセンサ２７に結像する画像から、被写体が本来のバランスとして写る展開画像を得るための補正データを記憶する。
【００４４】
また、ＤＳＰ２９は、図示外のＣＰＵを有する。このＣＰＵがプログラムを実行することで、ＤＳＰ２９には、静止画保存処理部５１、パノラマ展開画像生成手段としての展開静止画生成部５２、圧縮静止画生成部５３、表示データ生成手段としてのストリーミング生成部５４、ユーザ更新手段としての処理管理部５５、通信処理部５６などが実現される。
【００４５】
また、ＤＳＰ２９には、外部メモリ３０が接続される。外部メモリ３０は、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）やＤＤＲ−ＳＤＲＡＭ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ）などの記憶デバイスにより構成され、ＤＳＰ２９のＣＰＵがアクセス可能である。
【００４６】
外部メモリ３０は、静止画データ３９、音声データ３８、２つの圧縮展開静止画データ６１，６２などを記憶する。また、外部メモリ３０は、第一ＶＲＡＭ（ＶｉｄｅｏＲＡＭ）エリア６３と、第二ＶＲＡＭエリア６４と、を有する。２つの圧縮展開静止画データ６１，６２の中の一方は、第一ＶＲＡＭエリア６３に記憶され、他方は、第二ＶＲＡＭエリア６４に記憶される。図２では、第一ＶＲＡＭエリア６３に、第ｎ−１圧縮展開静止画データ６１が記憶され、第二ＶＲＡＭエリア６４に、第ｎ圧縮展開静止画データ６２が記憶されている状態である。
【００４７】
ＤＳＰ２９に実現される静止画保存処理部５１は、色変換処理部３６から、新たな撮像画像データが供給されると、その撮像画像データを、外部メモリ３０に静止画データ３９として保存する。
【００４８】
展開静止画生成部５２は、外部メモリ３０に記憶される静止画データ３９から、展開静止画データを生成する。展開静止画データは、撮像画像中の円形画像を、３６０度のパノラマ展開画像に展開した画像のデータである。展開静止画生成部５２は、第一ＶＲＡＭエリア６３および第二ＶＲＡＭエリア６４に交互に展開静止画データを生成し、保存する。
【００４９】
圧縮静止画生成部５３は、第一ＶＲＡＭエリア６３あるいは第二ＶＲＡＭエリア６４に記憶される展開静止画データを圧縮する。展開静止画データの圧縮には、たとえばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮方式やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮方式などの画像圧縮方式を用いればよい。これにより、第一ＶＲＡＭエリア６３には、圧縮展開静止画データ６１が記憶され、第二ＶＲＡＭエリア６４には、圧縮展開静止画データ６２が記憶される。
【００５０】
ストリーミング生成部５４は、外部メモリ３０から、圧縮展開静止画データ６１，６２および音声データ３８を読み込み、これらのコンテンツデータを有するストリーミングデータを生成する。ストリーミングデータとしては、ＭＰＥＧ方式、ｄｉｖ−Ｘ（ディビックス）方式などのストリーミングフォーマットを採用すればよい。
【００５１】
通信処理部５６は、ＵＳＢコネクタ２３を用いたデータ通信を制御する。
【００５２】
処理管理部５５は、静止画保存処理部５１、展開静止画生成部５２、圧縮静止画生成部５３、ストリーミング生成部５４、通信処理部５６などの実行を管理する。処理管理部５５は、静止画保存処理部５１、展開静止画生成部５２、圧縮静止画生成部５３、ストリーミング生成部５４、通信処理部５６などへ、それらの起動や停止などを指示する。
【００５３】
ビデオエンコーダ３２は、外部メモリ３０から、圧縮展開静止画データ６１，６２を読み込み、ビデオ信号を生成する。ビデオ信号には、たとえばＮＴＳＣ（Ｎａｔｉｏｎａｌ ＴＶ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）方式やＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ Ｌｉｎｅ）方式のものがある。ビデオエンコーダ３２は、生成したビデオ信号を、ビデオ出力コネクタ２４へ出力する。ビデオ出力コネクタ２４には、テレビジョン受信機などが接続可能である。ビデオ出力コネクタ２４に接続されるテレビジョン受信機などにより、ビデオ信号を再生し、その映像を鑑賞することができる。
【００５４】
次に、以上の構成を有するパノラマ展開画像撮像システムの動作を説明する。
【００５５】
３６０度ビデオカメラ装置１にたとえばＵＳＢケーブル２から電力が供給されると、 ＤＰＳ２９などが動作し、３６０度ビデオカメラ装置１に、色変換処理部３６、音声保存処理部３７、静止画保存処理部５１、展開静止画生成部５２、圧縮静止画生成部５３、ストリーミング生成部５４、処理管理部５５などが実現される。処理管理部５５は、静止画保存処理部５１、展開静止画生成部５２、圧縮静止画生成部５３、ストリーミング生成部５４へそれらの起動を指示する。
【００５６】
３６０度ビデオカメラ装置１のイメージセンサ２７には、魚眼レンズ２２により集光される光による像が結像する。イメージセンサ２７は、円形画像の輝度分布を含む輝度分布データを生成する。色変換処理部３６は、図示外の色変換テーブルを用いて、輝度分布データから、図４に例示するような、円形画像を有する撮像画像データを生成する。静止画保存処理部５１は、撮像画像データを、静止画データ３９として外部メモリ３０に保存する。
【００５７】
また、イメージセンサ２７は、周期的に輝度分布データを生成する。そのため、外部メモリ３０の静止画データ３９は、所定の周期毎に、新たな撮像画像データへ更新される。
【００５８】
外部メモリ３０の静止画データ３９が更新されると、展開静止画生成部５２は、更新された静止画データ３９から、展開静止画データを生成する。
【００５９】
展開静止画生成部５２は、まず、ＥＥＰＲＯＭ４１から、内円境界データ４２、外円境界データ４３を読込み、更新された静止画データ３９による撮像画像中の、パノラマ展開画像を生成するためのリング形状の範囲を決定する。また、展開静止画生成部５２は、そのリング形状の画像範囲を１８０度ずつに均等に二分割した２つの分割範囲を決定する。図５中に、リング形状の画像範囲を水平に二分割する点線７１，７２を示す。展開静止画生成部５２は、外円境界と内円境界との間のリング形状の画像を、たとえばこの２つの点線７１，７２で１８０度毎に２つに分割し、上下２つの分割画像範囲７３，７４毎に、分割展開画像の生成処理を実行する。
【００６０】
図７は、１つの分割画像範囲７３（７４）に関する、展開静止画生成部５２による分割展開画像の生成処理の流れを示すフローチャートである。展開静止画生成部５２は、まず、最後に展開画像を生成した後に、ＥＥＰＲＯＭ４１に記憶される内円境界データ４２や外円境界データ４３が更新されたか否かを確認する（ステップＳＴ１）。
【００６１】
そして、最後の展開画像生成後に内円境界データ４２や外円境界データ４３が更新されている場合（ステップＳＴでＮｏの場合）、展開静止画生成部５２は、分割展開画像の各展開画素列の、分割画像範囲７３（７４）における方向を演算し、方角テーブル４６を生成する（ステップＳＴ２）。
【００６２】
図８は、分割展開画像の複数の表示画素の配列の一例を示す図である。説明を簡便にするため、この分割展開画像には複数の表示画素が縦３行×横４列に配列されている。この場合、展開静止画生成部５２は、４つの展開画素列（１，Ｚ）８１、（２，Ｚ）８２、（３，Ｚ）８３、（４，Ｚ）８４毎に、リング形状の画像における方向（分割画像範囲７３（７４）における方向）を演算する。
【００６３】
図９は、図８の各展開画素列８１，８２，８３，８４の、リング形状の画像における方向（分割画像範囲７３（７４）における方向）を図示する説明図である。展開静止画生成部５２は、図９の２つの軸の交点を円形画像の中心と想定し、１８０度（＝３６０度÷２）を列数（＝４）で均等に分割した角度を演算する。
【００６４】
図９に示すように、たとえば図８の第１列の展開画素列（１，Ｚ）８１が角度θ１の方向であるとすると、展開静止画生成部５２は、第２列の展開画素列（２，Ｚ）８２の角度を「θ１＋均等分割角度」として演算する。展開静止画生成部５２は、第３列の展開画素列（３，Ｚ）８３の角度を「θ１＋均等分割角度×２」として演算する。展開静止画生成部５２は、第４列の展開画素列（４，Ｚ）８４の角度を「θ１＋均等分割角度×３」として演算する。
【００６５】
展開静止画生成部５２は、このように展開画素列８１，８２，８３，８４毎に、それぞれの方向を演算する。展開静止画生成部５２は、複数の展開画素列８１，８２，８３，８４にそれぞれの方向を対応付けた方角テーブル４６を生成する。展開静止画生成部５２は、生成した方角テーブル４６をＥＥＰＲＯＭ４１に保存する。なお、方角テーブル４６は、外部メモリ３０などに保存してもよい。
【００６６】
方角テーブル４６を生成した後、展開静止画生成部５２は、分割展開画像の最初の表示画素を特定する（ステップＳＴ３）。展開静止画生成部５２は、たとえば分割展開画像の左上の表示画素（図８では（１，１））を特定する。内円境界データ４２や外円境界データ４３が更新されていない場合（ステップＳＴ１でＹｅｓの場合）にも、展開静止画生成部５２は、分割展開画像の最初の表示画素を特定する（ステップＳＴ３）。
【００６７】
そして、展開静止画生成部５２は、特定した表示画素に対応する、撮像画像中の画素を特定し、その特定した撮像画像中の画素の画素値を取得し、取得した画素値を特定した表示画素の画素値として保存する。
【００６８】
具体的には、展開静止画生成部５２は、まず、像高補正テーブル４５を参照し、特定した表示画素についての、元画像（円形画像）の中心からの距離Ｒを演算する（ステップＳＴ４）。展開静止画生成部５２は、たとえば、像高補正テーブル４５を参照しながら、分割展開画像の１つの展開画素列と、撮像画像のリング形状の範囲内の半径方向の画素配列とを比較し、特定表示画素に対応する元画像（円形画像）の位置の、ドーナッツの中心からの距離Ｒを演算する。
【００６９】
次に、展開静止画生成部５２は、方角テーブル４６に記憶される特定表示画素の方角と、演算した距離Ｒとから、特定表示画素の、元画像（円形画像）での横座標を演算する（ステップＳＴ５）。展開静止画生成部５２は、方角テーブル４６に記憶される特定表示画素の方角と、演算した距離Ｒとから、特定表示画素の、元画像（円形画像）での縦座標を演算する（ステップＳＴ６）。
【００７０】
図１０は、特定表示画素の元画像（円形画像）での座標位置の説明図である。図１０では、元画像（円形画像）の中心（ＩＯＸ，ＩＯＹ）が、内円境界の中心であり、且つ、外円境界の中心である。つまり、（ＩＯＸ，ＩＯＹ）は、内円境界および外円境界によるドーナッツの中心である。特定表示画素の中心からの距離がＲであり、方角がθであるとすると、特定表示画素の、元画像（円形画像）での座標位置（ＩＸ，ＩＹ）は、以下の式１および式２により演算される。座標位置（ＩＸ，ＩＹ）は、元画像（円形画像）の左上が基準である。
【００７１】
ＩＸ ＝ ＩＯＸ＋Ｒ×ｃｏｓθ ・・・式１
ＩＹ ＝ ＩＯＹ−Ｒ×ｓｉｎθ ・・・式２
【００７２】
特定表示画素の、元画像（円形画像）での座標位置（ＩＸ，ＩＹ）を演算すると、展開静止画生成部５２は、その座標にある元画像（円形画像）の画素９１の画素値を取得し、特定した表示画素の画素値として保存する。展開静止画生成部５２は、外部メモリ３０の第一ＶＲＡＭエリア６３あるいは第二ＶＲＡＭエリア６４に、特定した表示画素の画素値を保存する（ステップＳＴ７）。
【００７３】
以上のステップＳＴ４からＳＴ７までの処理により、展開静止画生成部５２は、ステップＳＴ３で特定した１つの表示画素の画素値を決定し、保存する。その後、展開静止画生成部５２は、分割展開画像の複数の表示画素の内、画素値を決定していない表示画素が残っているか否かを判断し、画素値を決定していない表示画素が無くなるまで、以上の表示画素の画素値の決定処理を繰り返す。
【００７４】
具体的にはたとえば、展開静止画生成部５２は、まず、分割展開画像の一列分の表示画素について画素値の決定が終了したか否かを判断する（ステップＳＴ８）。そして、一列分が終了してない場合（ステップＳＴ８でＮｏの場合）、展開静止画生成部５２は、同じ列の次の行の表示画素を特定し（ステップＳＴ９）、その特定表示画素の画素値を決定する（ステップＳＴ４〜ＳＴ７）。
【００７５】
一列分の表示画素についての画素値の決定が終了している場合（ステップＳＴ８でＹｅｓの場合）、展開静止画生成部５２は、さらに分割展開画像のすべての列について画素値の決定が終了したか否かを判断する（ステップＳＴ１０）。そして、すべての列について終了してない場合（ステップＳＴ１０でＮｏの場合）、展開静止画生成部５２は、次の列の上端（最も上の行）の表示画素を特定し（ステップＳＴ１１）、その特定表示画素の画素値を決定する（ステップＳＴ４〜ＳＴ７）。
【００７６】
分割展開画像のすべての列について画素値の決定が終了した場合（ステップＳＴ１０でＹｅｓの場合）、展開静止画生成部５２は、図７の分割展開画像の生成処理を終了する。これにより、１つの分割画像範囲７３（７４）に関する、分割展開画像の生成処理が終了する。
【００７７】
その後、展開静止画生成部５２は、残りの１つの分割画像範囲７４（７３）に関する、分割展開画像の生成処理を実行する。これにより、外部メモリ３０の第一ＶＲＡＭエリア６３あるいは第二ＶＲＡＭエリア６４には、静止画データ３９に基づく、２つの分割展開画像が保存される。
【００７８】
外部メモリ３０の第一ＶＲＡＭエリア６３あるいは第二ＶＲＡＭエリア６４に２つの分割展開画像が保存されると、圧縮静止画生成部５３は、その２つの分割展開画像を圧縮する。これにより、第一ＶＲＡＭエリア６３あるいは第二ＶＲＡＭエリア６４には、圧縮展開静止画データ６１，６２が記憶される。
【００７９】
ストリーミング生成部５４は、第一ＶＲＡＭエリア６３および第二ＶＲＡＭエリア６４から、圧縮展開静止画データ６１，６２を順番に読込み、且つ、外部メモリ３０から音声データ３８を読み込み、これらのコンテンツデータを有するストリーミングデータを生成する。ストリーミングデータにおいて、２つの分割展開画像は、上下に並べられている。
【００８０】
ストリーミング生成部５４は、生成したストリーミングデータを通信処理部５６へ供給する。３６０度ビデオカメラ装置１の通信処理部５６は、ＵＳＢコネクタ２３、ＵＳＢケーブル２およびＰＣ３のＵＳＢコネクタ１１を介して、ＰＣ３の通信処理部１５へストリーミングデータを送信する。
【００８１】
ＰＣ３の通信処理部１５は、受信したストリーミングデータを再生処理部１６へ供給する。ＰＣ３の再生処理部１６は、ストリーミングデータから、圧縮された展開静止画データを抽出して復号し、２つの分割展開画像のデータを表示データとして液晶表示デバイス１２へ供給する。液晶表示デバイス１２は、２つの分割展開画像を表示する。また、ＰＣ３の再生処理部１６は、ストリーミングデータから音声データを抽出し、スピーカ１３へ供給する。スピーカ１３は、抽出された音声データに基づく音を出力する。
【００８２】
図１１は、ＰＣ３の液晶表示デバイス１２に表示される、撮像による３６０度のパノラマ展開画像の表示例である。液晶表示デバイス１２には、撮像による３６０度のパノラマ展開画像が、上下に並んだ２つの分割展開画面１０１，１０２により表示される。２つの分割展開画面１０１，１０２が上下に並べられているので、仮にたとえばこれらが１つの展開画像である場合に比べて、液晶表示デバイス１２の表示画面を有効に利用することができる。また、液晶表示デバイス１２に、３６０度のパノラマ展開画像を大きく表示することができる。
【００８３】
なお、図１１中の２つの分割展開画面１０１，１０２には、図５のリング形状の画像範囲を点線７１，７２で２つに分割して得られる１８０度毎の２つの分割展開画像が表示されている。２つの分割展開画像は、その両端において画像が互いに連続しており、全体として３６０度のパノラマ画像を切れ目なく表示する。この表示により、ＰＣ３のユーザは、３６０度ビデオカメラ装置１により撮像された３６０度のパノラマ展開画像を閲覧することができる。また、ＰＣ３のユーザは、スピーカ１３が発する音により、３６０度ビデオカメラ装置１により取得された音を聞くことができる。
【００８４】
なお、上述したように３６０度ビデオカメラ装置１のイメージセンサ２７は、周期毎に輝度分布データを生成する。色変換処理部３６は、輝度分布データから撮像画像データを生成する。静止画保存処理部５１は、外部メモリ３０の静止画データ３９をこの周期毎に生成される撮像画像データで更新する。展開静止画生成部５２は、外部メモリ３０から静止画データ３９を読込み、読み込んだ静止画データ３９に基づく２つの分割展開画像のデータを、第一ＶＲＡＭエリア６３および第二ＶＲＡＭエリア６４に交互に書込む。ストリーミング生成部５４は、この第一ＶＲＡＭエリア６３あるいは第二ＶＲＡＭエリア６４に書込まれた圧縮済みの２つの分割展開画像のデータを読み込んで、ストリーミングデータを生成する。
【００８５】
したがって、ストリーミング生成部５４が、第一ＶＲＡＭエリア６３および第二ＶＲＡＭエリア６４の中の一方のＶＲＡＭエリアから、圧縮済みの２つの分割展開画像のデータを読み込む間に、展開静止画生成部５２は他方のＶＲＡＭエリアに２つの分割展開画像を生成し、且つ、圧縮静止画生成部５３はその他方のＶＲＡＭエリアの２つの分割展開画像を圧縮することができる。ストリーミング生成部５４は、イメージセンサ２７が周期毎に生成する輝度分布データに基づく２つの分割展開画像を、画像抜け（フレーム抜け）を生じることなくストリーミングデータに割り付けることができる。これにより、ＰＣ３の液晶表示デバイス１２には、イメージセンサ２７により周期的に生成される輝度分布データに基づく動画が表示される。
【００８６】
次に、パノラマ展開画像をオートパンさせる動作を説明する。
【００８７】
ＰＣ３のコマンド生成部１７は、入力デバイス１４から入力される入力データに基づいてオートパン指示コマンドを生成する。ＰＣ３の通信処理部１５は、オートパン指示コマンドを、ＵＳＢケーブル２を介して３６０度ビデオカメラ装置１の通信処理部５６へ送信する。３６０度ビデオカメラ装置１の通信処理部５６は、受信したオートパン指示コマンドを処理管理部５５へ供給する。
【００８８】
オートパン指示コマンドが供給されると、処理管理部５５は、ＥＥＰＲＯＭ４１に記憶される方角テーブル４６を周期的に更新する。具体的には、処理管理部５５は、周期的に、方角テーブル４６の展開画素列毎の複数の方向のデータに、所定の一定角度を加算する処理を繰り返す。
【００８９】
これにより、展開静止画生成部５２が図７のフローチャートにおいて特定表示画素の方角は、周期的に、所定の一定角度ずつ増加する。たとえば図９中の第１列の展開画素列（１，Ｚ）８１の角度θ１は、周期的に、所定の一定角度ずつ増加する。図７中のステップＳＴ５およびＳＴ６で使用する特定表示画素の方角も、周期的に、所定の一定角度ずつ増加する。
【００９０】
その結果、各特定表示画素の元画像（円形画像）での座標位置は一定角度ずつ回転し、各特定表示画素の画素値もその回転にしたがって変化する。その結果、分割展開画像中において、元画像（円形画像）中の被写体は、横へ移動する。３６０度のパノラマ展開画像においてオートパン動作が実現される。
【００９１】
次に、パノラマ展開画像の高さ調整動作について説明する。
【００９２】
ＰＣ３のコマンド生成部１７は、入力デバイス１４から入力される入力データに基づいて変更モード開始指示コマンドを生成する。ＰＣ３の通信処理部１５は、変更モード開始指示コマンドを、ＵＳＢケーブル２を介して３６０度ビデオカメラ装置１の通信処理部５６へ送信する。３６０度ビデオカメラ装置１の通信処理部５６は、受信した変更モード開始指示コマンドを処理管理部５５へ供給する。
【００９３】
図１２は、変更モードにおける処理管理部５５の動作を示すフローチャートである。処理管理部５５は、変更モード開始指示コマンドが供給される（ステップＳＴ２１）と、ストリーミング生成部５４へ、境界表示指示を供給する（ステップＳＴ２２）。その後、処理管理部５５は、境界変更指示コマンドと、変更モード終了指示コマンドとの受信待ち状態となる（ステップＳＴ２３およびＳＴ２４）。
【００９４】
境界表示指示が供給されたストリーミング生成部５４は、外部メモリ３０から、静止画データ３９を読み込む。ストリーミング生成部５４は、この静止画データ３９を読み込む度に、その読込みに続けて、ＥＥＰＲＯＭ４１から、内円境界データ４２および外円境界データ４３を読み込む。ストリーミング生成部５４は、図５に示すように、静止画データ３９の撮像画像に、内円境界のマーク４７および外円境界のマーク４８を重ねて表示する表示画像を生成する。なお、ストリーミング生成部５４は、所定の複数回の静止画データ３９の読み込みの度に、内円境界データ４２および外円境界データ４３を読み込むようにしてもよい。
【００９５】
さらに、ストリーミング生成部５４は、生成した表示画像のデータを有するストリーミングデータを生成し、通信処理部５６へ供給する。３６０度ビデオカメラ装置１の通信処理部５６は、ＵＳＢケーブル２を介して、ＰＣ３の通信処理部１５へストリーミングデータを送信する。
【００９６】
ＰＣ３の通信処理部１５は、受信したストリーミングデータを再生処理部１６へ供給する。ＰＣ３の再生処理部１６は、ストリーミングデータから、表示画像のデータを抽出し、表示データとして液晶表示デバイス１２へ供給する。液晶表示デバイス１２は、図５に示すように、内円境界の円形のマーク４７と、外円境界の円形のマーク４８とが重ねられた撮像画像を表示する。
【００９７】
ＰＣ３のコマンド生成部１７は、入力デバイス１４に対するユーザの操作に基づいて、内円境界および外円境界の位置を移動したり、内円境界および外円境界の半径を拡縮したりする境界変更指示コマンドを生成する。ＰＣ３の通信処理部１５は、境界変更指示コマンドを、ＵＳＢケーブル２を介して３６０度ビデオカメラ装置１の通信処理部５６へ送信する。３６０度ビデオカメラ装置１の通信処理部５６は、受信した境界変更指示コマンドを処理管理部５５へ供給する。
【００９８】
境界変更指示コマンドを受信する（ステップＳＴ２３でＹｅｓとなる）と、処理管理部５５は、まず、その指示の適否を判断する（ステップＳＴ２５）。処理管理部５５は、具体的にはたとえば、変更後の内円境界の半径あるいは変更後の外円境界の半径が、所定の半径（たとえば１４４ピクセル）以上であるか否かを判断する。
【００９９】
指示が適当であると判断する（ステップＳＴ２５でＹｅｓとなる）と、処理管理部５５は、その変更指示に基づいて、ＥＥＰＲＯＭ４１に記憶される内円境界データ４２や外円境界データ４３を更新する（ステップＳＴ２６）。また、処理管理部５５は、その新たな内円境界と外円境界との組合せに基づいて、ＥＥＰＲＯＭ４１に記憶される像高補正テーブル４５を更新する（ステップＳＴ２７）。
【０１００】
内円境界と外円境界との間隔が変更により変化する場合、撮像画像中の、内円境界と外円境界との間の複数の画素数は変化する。その結果、その複数の画素により撮像される空間の範囲が変化し、その撮像空間の、複数の画素による分割割合も変化する。
【０１０１】
また、立体射影方式の魚眼レンズ２２を使用すると、被写体は、画角に応じて異なる大きさで結像する。したがって、図６において説明したように、内円境界と外円境界との間隔が更新により変化していない場合であっても、内円境界および外円境界の位置が移動するだけで、撮像空間の、複数の画素による分割割合が変化する。
【０１０２】
処理管理部５５は、これら内円境界と外円境界との変更に伴なう複数の画素の分割割合の変化に応じて、像高補正テーブル４５を更新する。その後、処理管理部５５は、境界変更指示コマンドおよび変更モード終了指示コマンドの受信待ち状態へ戻る（ステップＳＴ２３およびＳＴ２４）。
【０１０３】
指示が適当でない場合（ステップＳＴ２５でＮｏの場合）、たとえば内円境界の半径が所定の半径より小さい場合、処理管理部５５は、その変更指示を無視し、境界変更指示コマンドおよび変更モード終了指示コマンドの受信待ち状態へ戻る（ステップＳＴ２３およびＳＴ２４）。
【０１０４】
ところで、境界表示指示が供給されたストリーミング生成部５４は、外部メモリ３０から静止画データ３９を読み込む度に、ＥＥＰＲＯＭ４１から、内円境界データ４２および外円境界データ４３を読み込んでいる。したがって、処理管理部５５が内円境界データ４２や外円境界データ４３を更新した場合、ストリーミング生成部５４が、円形マーク４７，４８の、撮像画像に対する重なりの位置やサイズも更新される。液晶表示デバイス１２において撮像画像と重ねて表示させる円形マーク４７，４８の位置およびサイズは、境界変更指示コマンドに応じて変更される。ユーザは、液晶表示デバイス１２の表示により、内円境界データ４２や外円境界データ４３が更新されたことを知ることができる。
【０１０５】
ＰＣ３のコマンド生成部１７は、入力デバイス１４に対するユーザの操作に基づいて、変更モード終了指示コマンドを生成する。ＰＣ３の通信処理部１５は、変更モード終了指示コマンドを、ＵＳＢケーブル２を介して３６０度ビデオカメラ装置１の通信処理部５６へ送信する。３６０度ビデオカメラ装置１の通信処理部５６は、受信した変更モード終了指示コマンドを処理管理部５５へ供給する。変更モード終了指示コマンドを受信する（ステップＳＴ２４においてＹｅｓとなる）と、処理管理部５５は、図１２の変更モードの処理を終了する。この変更モードの処理後には、内円境界データ４２、外円境界データ４３および像高補正テーブル４５が新たなものへ変更され、３６０度ビデオカメラ装置１の展開静止画生成部５２は、この変更されたデータを用いて、３６０度のパノラマ展開画像を生成するようになる。
【０１０６】
以上のように、この実施の形態によれば、３６０度ビデオカメラ装置１のイメージセンサ２７には、魚眼レンズ２２による円形の像が結像する。静止画保存処理部５１は、このイメージセンサ２７の輝度分布データに基づいて、円形画像を有する撮像画像データを生成する。この円形画像には、被写体の頭などが切れたりすることなく含まれる。
【０１０７】
また、展開静止画生成部５２は、この撮像画像の中の、内円境界と外円境界とに挟まれているリング形状の範囲内の画像に基づいて、２つの分割展開画像による３６０度のパノラマ展開画像を生成する。内円境界および外円境界の位置およびサイズは、処理管理部５５によりユーザが自由に設定することができる。
【０１０８】
したがって、処理管理部５５により内円境界あるいは外円境界の位置あるいはサイズを更新することで、円形画像内の被写体がリング形状の範囲内に収まるように調整することができる。その結果、たとえば被写体が魚眼レンズ２２に近い位置に存在し、被写体に対する魚眼レンズ２２の物理的な距離を確保することがでない場合であっても、内円境界の位置などを調整することで、被写体の頭などが切れていない３６０度のパノラマ展開画像を生成することができる。また、たとえば被写体としての人の頭と体とがバランス良く表示される３６０度のパノラマ展開画像を生成することができる。
【０１０９】
また、１８０度毎の２つの横長の分割展開画像は、上下に並べてＰＣ３の液晶表示デバイス１２に表示される。したがって、仮にたとえば３６０度のパノラマ展開画像が１つの展開画像である場合に比べて、液晶表示デバイス１２の表示画面を有効に利用することができる。液晶表示デバイス１２に、３６０度のパノラマ展開画像を大きく表示することができる。
【０１１０】
また、この実施の形態では、魚眼レンズ２２は、立体射影方式のものである。立体射影方式の魚眼レンズ２２は、一般的な等距離射影方式の魚眼レンズを使用する場合に比べて、魚眼レンズ２２により結像される画像中の周辺部のゆがみが少なく、且つ、周辺部の情報量が多くなる。また、ＥＥＰＲＯＭ４１は、この立体射影方式の魚眼レンズ２２の入射角と像高との関係に基づいて得られる被写体の結像サイズのバランスを補正する像高補正テーブル４５を記憶する。展開静止画生成部５２は、像高補正テーブル４５を参照し、被写体の結像サイズのバランスを整えた３６０度のパノラマ展開画像を生成する。
【０１１１】
したがって、３６０度ビデオカメラ装置１を、その魚眼レンズ２２を上向きにテーブルに載置したとき、その周囲にいる人物や黒板などの画像を、高分解能で得ることができる。黒板の文字などを、３６０度のパノラマ展開画像中に再現することができる。また、魚眼レンズ２２の周囲にいる人物や黒板などの画像として、バランスが整ったものを得ることができる。
【０１１２】
また、この実施の形態では、ＥＥＰＲＯＭ４１に記憶される像高補正テーブル４５は、内円境界データ４２あるいは外円境界データ４３が更新される度に、更新される。内円境界と外円境界との間隔が変更により変化する場合、それらの間の画像空間の、複数の画素による分割割合が変化する。また、内円境界および外円境界の位置が移動するだけであっても、それらの間の画像空間の、複数の画素による分割割合が変化する。このように内円境界データ４２あるいは外円境界データ４３の更新の度に像高補正テーブル４５を更新することで、像高補正テーブル４５は、これらと適合するものに維持される。
【０１１３】
また、この実施の形態では、ＥＥＰＲＯＭ４１に記憶される内円境界データ４２および外円境界データ４３は、変更後のサイズが１４４ピクセル以上の半径である場合に、更新される。仮にたとえば内円境界の半径が１画素になると、３６０度のパノラマ展開画像の最上段の複数の表示画素の画素値を得るために、撮像画像中の同じ画素が何度も利用されることになる。この場合、３６０度のパノラマ展開画像の画質が向上することなく、３６０度のパノラマ展開画像の生成負荷が増大してしまう。この実施の形態のように、内円境界あるいは外円境界の半径が１４４ピクセルより小さくなってしまうことを防止することで、そのような不利益が発生してしまうことを防止することができる。
【０１１４】
また、この実施の形態では、展開静止画生成部５２は、３６０度のパノラマ展開画像の各表示画素の、円形画像の中心からの距離Ｒおよび方角を演算し、演算した距離Ｒおよび方角を用いて、各表示画素の、撮像画像での座標（ＩＸ，ＩＹ）を演算し、演算した各座標（ＩＸ，ＩＹ）に位置する撮像画像の画素９１の画素値を、各表示画素の画素値として取得する。
【０１１５】
したがって、撮像画像中の円形画像の画素の画素値をそのまま用いた、３６０度のパノラマ展開画像を生成することができる。３６０度のパノラマ展開画像の各表示画素の画素値そのものを演算により求める必要がない。演算により各表示画素の画素値を得る場合のように、演算による画質劣化が発生することはない。また、１つのパノラマ展開画像の生成時間を短縮することができる。その結果、３６０度のパノラマ展開画像を短時間で生成することができる。また、パノラマ展開画像の生成処理を連続的に繰り返すことで、３６０度のパノラマ展開画像による、連続的な動きのある動画を得ることができる。
【０１１６】
以上に説明したように、この実施の形態は、本発明の好適な実施の形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形や変更が可能である。
【０１１７】
たとえば上記実施の形態では、魚眼レンズ２２として、立体射影方式のものを利用している。この他にもたとえば、一般的な等距離射影方式のもの、等立体射影方式のもの、正射影方式のものなどを魚眼レンズ２２として利用してもよい。
【０１１８】
上記実施の形態では、展開静止画生成部５２は、３６０度のパノラマ展開画像として、１８０度毎の２つの分割展開画像を生成している。この他にもたとえば、展開静止画生成部５２は、１つの３６０度のパノラマ展開画像を生成するようにしたり、三分割としたり、四分割としたりしてもよい。
【０１１９】
上記実施の形態では、処理管理部５５は、ユーザの操作に基づいて、ＥＥＰＲＯＭ４１に記憶される内円境界データ４２および外円境界データ４３の両方を更新する。この他にもたとえば、処理管理部５５は、ユーザの操作に基づいて、ＥＥＰＲＯＭ４１に記憶される内円境界データ４２および外円境界データ４３の中の一方のみを、更新するようにしてもよい。
【０１２０】
上記実施の形態では、３６０度ビデオカメラ装置１には、ＵＳＢケーブル２により、ＰＣ３が接続されている。この他にもたとえば、３６０度ビデオカメラ装置１には、ＵＳＢケーブル２などにより、たとえばコマンドを出力する入力ボードなどが接続されていてもよい。
【０１２１】
上記実施の形態では、３６０度ビデオカメラ装置１に接続されるＰＣ３は、液晶表示デバイス１２に、３６０度のパノラマ展開画像による動画を表示する。この他にもたとえば、ＰＣ３は、図示外の記憶デバイスに、３６０度のパノラマ展開画像による動画を保存するようにしてもよい。
【産業上の利用可能性】
【０１２２】
本発明は、会議の様子などを撮像するためのパノラマ展開画像撮像装置およびパノラマ展開画像撮像システムなどとして、広く利用することができる。
【図面の簡単な説明】
【０１２３】
【図１】本発明の実施の形態に係るパノラマ展開画像撮像システムを示す斜視図である。
【図２】図１中の３６０度ビデオカメラ装置の電気回路を示すブロック図である。
【図３】図１中の魚眼レンズとイメージセンサとの光学的な配置を示す説明図である。
【図４】図１中の色変換処理部がイメージセンサの輝度分布データに基づいて生成する撮像画像の一例を示す図である。
【図５】図１の３６０度ビデオカメラ装置において、撮像画像に、内円境界の位置を示す円形のマークと、外円境界の位置を示す円形のマークとを重ねた画像を示す説明図である。
【図６】図１中の立体射影方式の魚眼レンズの像高（画角差）特性図である。
【図７】図１の３６０度ビデオカメラ装置において生成される、１つの分割画像範囲に関する、展開静止画生成部による分割展開画像の生成処理の流れを示すフローチャートである。
【図８】図１の３６０度ビデオカメラ装置において生成される分割展開画像での複数の表示画素の配列の一例を示す図である。
【図９】図８の各展開画素列の、リング形状の画像における方向（分割画像範囲における方向）を図示する説明図である。
【図１０】図１の３６０度ビデオカメラ装置における特定表示画素の元画像（円形画像）での座標位置の説明図である。
【図１１】図１中のＰＣの液晶表示デバイスに表示される、撮像による３６０度のパノラマ展開画像の表示例である。
【図１２】図１の３６０度ビデオカメラ装置の変更モードにおける処理管理部の動作を示すフローチャートである。
【符号の説明】
【０１２４】
１ ３６０度ビデオカメラ装置（パノラマ展開画像撮像装置）
３ パーソナルコンピュータ（コンピュータ装置）
２２ 魚眼レンズ
２７ イメージセンサ（撮像手段の一部）
３３ 受光面
３６ 色変換処理部（撮像手段の一部）
４１ ＥＥＰＲＯＭ（メモリ）
４５ 像高補正テーブル
５２ 展開静止画生成部（パノラマ展開画像生成手段）
５４ ストリーミング生成部（表示データ生成手段）
５５ 処理管理部（ユーザ更新手段）
【特許請求の範囲】
【請求項１】
撮像による３６０度のパノラマ展開画像を生成するパノラマ展開画像撮像装置であって、
魚眼レンズと、
複数の受光素子が配列される受光面に上記魚眼レンズによる円形の像が結像し、円形画像を有する撮像画像のデータを生成する撮像手段と、
上記撮像画像中の、３６０度のパノラマ展開画像の生成に使用するリング形状の範囲を規定する内円境界および外円境界の位置あるいはサイズを記憶するメモリと、
ユーザの操作に基づいて、上記メモリに記憶される上記内円境界および上記外円境界の中の少なくとも一方の位置あるいはサイズを更新するユーザ更新手段と、
上記撮像手段が生成する上記撮像画像中の、上記メモリに記憶される上記内円境界と上記外円境界とで挟まれるリング形状の範囲内の画像に基づいて、３６０度のパノラマ展開画像を生成するパノラマ展開画像生成手段と、
を有することを特徴とするパノラマ展開画像撮像装置。
【請求項２】
前記魚眼レンズは、立体射影方式のものであり、
前記メモリは、前記立体射影方式の魚眼レンズの入射角と像高との関係に基づいて得られる被写体の結像サイズのバランスを補正する像高補正テーブルを記憶し、
前記パノラマ展開画像生成手段は、上記像高補正テーブルを参照し、被写体の結像サイズのバランスを整えた３６０度のパノラマ展開画像を生成すること、
を特徴とする請求項１記載のパノラマ展開画像撮像装置。
【請求項３】
前記ユーザ更新手段は、前記メモリに記憶される前記内円境界および前記外円境界の中の少なくとも一方の位置あるいはサイズを更新した後に、前記メモリに記憶される前記像高補正テーブルを、更新した前記内円境界および前記外円境界と、前記立体射影方式の魚眼レンズの入射角と像高との関係とに基づいて更新することを特徴とする請求項２記載のパノラマ展開画像撮像装置。
【請求項４】
前記ユーザ更新手段は、前記内円境界あるいは前記外円境界の変更後のサイズが、所定の画素数以上の半径である場合、前記内円境界あるいは前記外円境界の変更指示に基づいて、前記メモリに記憶される前記内円境界あるいは前記外円境界を更新することを特徴とする請求項１記載のパノラマ展開画像撮像装置。
【請求項５】
前記パノラマ展開画像生成手段は、前記３６０度のパノラマ展開画像の各表示画素の、前記円形画像の中心からの距離および方角を演算し、演算した距離および方角を用いて、上記各表示画素の、前記撮像画像での座標を演算し、演算した上記各座標に位置する前記撮像画像の画素の画素値を、上記各表示画素の画素値として取得することを特徴とする請求項１記載のパノラマ展開画像撮像装置。
【請求項６】
前記パノラマ展開画像生成手段は、前記撮像画像中の、前記内円境界と前記外円境界とで挟まれる範囲を１８０度毎に２つの範囲に分割し、その分割した画像の範囲毎の２つの横長のパノラマ分割展開画像を生成し、
上記２つの横長のパノラマ分割展開画像を縦に並べて表示させる表示データを生成する表示データ生成手段を有すること、
を特徴とする請求項１記載のパノラマ展開画像撮像装置。
【請求項７】
請求項１から６の中のいずれか１項記載のパノラマ展開画像撮像装置と、
前記パノラマ展開画像撮像装置が生成する３６０度のパノラマ展開画像を、表示あるいは保存するコンピュータ装置と、
を有することを特徴とするパノラマ展開画像撮像システム。
【請求項１】
撮像による３６０度のパノラマ展開画像を生成するパノラマ展開画像撮像装置であって、
魚眼レンズと、
複数の受光素子が配列される受光面に上記魚眼レンズによる円形の像が結像し、円形画像を有する撮像画像のデータを生成する撮像手段と、
上記撮像画像中の、３６０度のパノラマ展開画像の生成に使用するリング形状の範囲を規定する内円境界および外円境界の位置あるいはサイズを記憶するメモリと、
ユーザの操作に基づいて、上記メモリに記憶される上記内円境界および上記外円境界の中の少なくとも一方の位置あるいはサイズを更新するユーザ更新手段と、
上記撮像手段が生成する上記撮像画像中の、上記メモリに記憶される上記内円境界と上記外円境界とで挟まれるリング形状の範囲内の画像に基づいて、３６０度のパノラマ展開画像を生成するパノラマ展開画像生成手段と、
を有することを特徴とするパノラマ展開画像撮像装置。
【請求項２】
前記魚眼レンズは、立体射影方式のものであり、
前記メモリは、前記立体射影方式の魚眼レンズの入射角と像高との関係に基づいて得られる被写体の結像サイズのバランスを補正する像高補正テーブルを記憶し、
前記パノラマ展開画像生成手段は、上記像高補正テーブルを参照し、被写体の結像サイズのバランスを整えた３６０度のパノラマ展開画像を生成すること、
を特徴とする請求項１記載のパノラマ展開画像撮像装置。
【請求項３】
前記ユーザ更新手段は、前記メモリに記憶される前記内円境界および前記外円境界の中の少なくとも一方の位置あるいはサイズを更新した後に、前記メモリに記憶される前記像高補正テーブルを、更新した前記内円境界および前記外円境界と、前記立体射影方式の魚眼レンズの入射角と像高との関係とに基づいて更新することを特徴とする請求項２記載のパノラマ展開画像撮像装置。
【請求項４】
前記ユーザ更新手段は、前記内円境界あるいは前記外円境界の変更後のサイズが、所定の画素数以上の半径である場合、前記内円境界あるいは前記外円境界の変更指示に基づいて、前記メモリに記憶される前記内円境界あるいは前記外円境界を更新することを特徴とする請求項１記載のパノラマ展開画像撮像装置。
【請求項５】
前記パノラマ展開画像生成手段は、前記３６０度のパノラマ展開画像の各表示画素の、前記円形画像の中心からの距離および方角を演算し、演算した距離および方角を用いて、上記各表示画素の、前記撮像画像での座標を演算し、演算した上記各座標に位置する前記撮像画像の画素の画素値を、上記各表示画素の画素値として取得することを特徴とする請求項１記載のパノラマ展開画像撮像装置。
【請求項６】
前記パノラマ展開画像生成手段は、前記撮像画像中の、前記内円境界と前記外円境界とで挟まれる範囲を１８０度毎に２つの範囲に分割し、その分割した画像の範囲毎の２つの横長のパノラマ分割展開画像を生成し、
上記２つの横長のパノラマ分割展開画像を縦に並べて表示させる表示データを生成する表示データ生成手段を有すること、
を特徴とする請求項１記載のパノラマ展開画像撮像装置。
【請求項７】
請求項１から６の中のいずれか１項記載のパノラマ展開画像撮像装置と、
前記パノラマ展開画像撮像装置が生成する３６０度のパノラマ展開画像を、表示あるいは保存するコンピュータ装置と、
を有することを特徴とするパノラマ展開画像撮像システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００８−２８６０６（Ｐ２００８−２８６０６Ａ）
【公開日】平成２０年２月７日（２００８．２．７）
【国際特許分類】
【出願番号】特願２００６−１９７８４８（Ｐ２００６−１９７８４８）
【出願日】平成１８年７月２０日（２００６．７．２０）
【出願人】（５９６１４３６９１）オプト株式会社 (26)
【Ｆターム（参考）】
【公開日】平成２０年２月７日（２００８．２．７）
【国際特許分類】
【出願日】平成１８年７月２０日（２００６．７．２０）
【出願人】（５９６１４３６９１）オプト株式会社 (26)
【Ｆターム（参考）】
[ Back to top ]