全方位撮像装置及び全方位撮像方法
【課題】全方位画像に対してパノラマ展開画像や平面透視投影画像へ変換する際に、変換画像と同時に表示をしている方角の方位情報の表示をリアルタイムに行なうことができるようにする。
【解決手段】全方位の画像を撮像する手段を持つ全方位撮像手段と、方位情報を取得する方位取得手段と、装置全体の動作を制御する制御手段とを備え、前記制御手段は全方位撮像手段によって撮影された全方位画像の画面のある基準となる方向についての方位情報を、方位取得手段によって取得してメタデータとして全方位画像情報に付属することにより、撮影された全方位画像からパノラマ展開や平面透視投影変換された画像に対して、方位情報を容易に得られるようにする。
【解決手段】全方位の画像を撮像する手段を持つ全方位撮像手段と、方位情報を取得する方位取得手段と、装置全体の動作を制御する制御手段とを備え、前記制御手段は全方位撮像手段によって撮影された全方位画像の画面のある基準となる方向についての方位情報を、方位取得手段によって取得してメタデータとして全方位画像情報に付属することにより、撮影された全方位画像からパノラマ展開や平面透視投影変換された画像に対して、方位情報を容易に得られるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は全方位撮像装置及び全方位撮像方法に関し、特に、全方位、つまり全周囲３６０度の視野範囲を一度に撮影を行なう全方位撮像に用いて好適な技術に関する。
【背景技術】
【０００２】
全方位ミラーまたは全周魚眼レンズを搭載した全方位カメラは、全周囲の景観を撮影する撮像装置であり、従来から、監視カメラやロボットナビゲーションなどのさまざまな利用が考えられてきた。一台のカメラで３６０度円環あるいは円形などの全方位画像で撮影される。そして、撮影された全方位画像に対して幾何変換処理を行なうことにより、パノラマ展開画像や平面透視投影画像へ変換されて、全方位の所望の画像を得ることができる。特許文献１では、全方位カメラのような広視野角カメラの映像を部分的に切り出して配信する技術が開示されている。
【０００３】
さらに、前述の全方位ミラーまたは全周魚眼レンズ搭載の全方位カメラで撮影された全方位画像について、ある被写体についての方位情報を取得するべく要求がある。特許文献２では、全方位カメラを使って景観と一緒に方位磁針の画像も一緒に撮影して、景観上の被写体の方位を磁針方向との角度から計算して方位情報を検出する説明がなされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１１５０４６号公報
【特許文献２】特開２００４−１１７４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述したように、特許文献２に記載の全方位撮像装置においては、全方位ミラーまたは全周魚眼レンズを搭載した全方位カメラで、景観と一緒に方位磁針の画像も一緒に撮影して、景観上の被写体の方位を磁針方向との角度から計算して方位情報を検出している。しかしながら、その場合には、撮影された全方位画像からパノラマ展開や平面透視投影変換された画像に対して、方位情報を得るのは容易ではない。
【０００６】
また、全方位画像に対してパノラマ展開画像や平面透視投影画像表示部分を操作によって変化させる場合に、その際の方位情報の表示についてリアルタイムに対応することが困難である問題点があった。
本発明は前述の問題点に鑑み、撮像された全方位画像に対してパノラマ展開画像や平面透視投影画像へ変換する際に、変換画像と同時に表示をしている方角の方位情報の表示をリアルタイムに行なうことができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の全方位撮像装置は、全方位の画像を撮像する手段を持つ全方位撮像手段と、方位情報を取得する方位取得手段と、装置全体の動作を制御する制御手段とを備え、前記制御手段は、前記全方位撮像手段によって撮影された全方位画像の画面のある基準となる方向についての方位情報を、前記方位取得手段によって取得して、前記全方位画像にメタデータとして付属することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、全方位ミラーまたは全周魚眼レンズを搭載した全方位カメラで撮影された全方位画像に対して、画像の上部方向の方位情報をメタデータとして添付する。そして、撮影された全方位画像に対して、パノラマ展開画像や平面透視投影画像へ変換する際に、表示をしている方角の方位情報を、全方位画像の添付された方位情報のメタデータから算出するようにした。これにより、変換画像と同時に表示をしている方角の方位情報の表示をリアルタイムに行なうことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態である全方位撮像装置の構成を示すブロック図である。
【図２】本発明の実施形態である全方位撮像装置の外観構成を示した図である。
【図３】全方位撮像装置の全周囲円環画像の画面表示例を示した図である。
【図４】全方位撮像装置の透視投影画像の画面表示例を示した図である。
【図５】全方位撮像装置の全周囲円環画像の画面表示例を示した図である。
【図６】全方位撮像装置のパノラマ展開画像の画面表示例を示した図である。
【図７】全方位撮像装置のパノラマ展開画像の画面表示例を示した図である。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
（第１の実施形態）
図１は、本発明が適用される全方位撮像装置の実施形態である全方位ミラーを搭載した全方位カメラ１００の構成例を示したブロック構成図であり、図２は全方位ミラーを搭載した全方位カメラ１００の一実施形態を示した外観構成図である。
【００１１】
図１において、全方位カメラ１００は全方位画像を撮影する各機能を制御するために、装置全体の動作を制御する制御部１２０を有する。制御部１２０は、ＣＰＵ、ＲＯＭ及びＲＡＭなどにより構成され、ＣＰＵがＲＯＭに記憶されているプログラムを実行することにより、以下に説明する各部の動作制御を実現する。
【００１２】
図１および図２において、全方位ミラー１０１は３６０度の全周風景を双曲面ミラーによって鏡面反射させて撮像センサ部１０２に撮像させる。全方位ミラー１０１は、双曲面ミラーに限らず、球面ミラーによって３６０度の全周風景を反射させて撮像させるものや、例えば、全周風景を撮像させるための全周魚眼レンズなどであってもよい。
【００１３】
撮像センサ部１０２は、撮像面に結像された光像を光電変換によりデジタル電気信号に変換するＣＭＯＳなどの撮像素子である。方位センサ部１０３は、方位情報を取得する方位取得を行うために設けられているセンサである。例えば、地磁気を検知して磁界強度を取得する磁気抵抗効果素子などであり、測定された結果を方位情報処理部１０６へ送る。
【００１４】
現像処理部１０４は、撮像センサ部１０２から光電変換により得られたデジタル電気信号に対して、所定の画素補間や色変換処理を行ない、ＲＧＢあるいはＹＵＶなどのデジタル画像を生成する。また、現像処理部１０４では、現像を施した後のデジタル画像を用いて所定の演算処理を行ない、得られた演算結果に基づいてホワイトバランス、シャープネス、コントラスト、色変換などの画像処理を行なっている。
【００１５】
画像幾何変換処理部１０５は、撮像センサ部１０２で撮像され、現像処理部１０４で現像処理、画像処理を施されたデジタル画像に対して、画像幾何変換処理を行なう。撮像センサ部１０２が全画素で撮像された場合には、全方位ミラー１０１の鏡面に映された全周囲の風景を撮像することによって全周囲円環画像となって撮像される。この場合は、撮像された全周囲円環画像の円柱モデルへ変換するパノラマ展開変換処理、あるいは全周囲円環画像の一部切り出した画面の歪みのない仮想平面へ変換する平面透視投影変換処理を行い、パノラマ展開画像または平面透視投影変換画像を生成する。
【００１６】
撮像センサ部１０２が全画素数のうち、部分的に読み出すことによって撮像された場合、全方位ミラー１０１の鏡面に映された全周囲の被写体の一部、切り出した画面に対して撮像を行ない、その部分の画像の歪み補正を行なう。
【００１７】
方位情報処理部１０６は、方位センサ部１０３で測定された結果から方位情報を画像幾何変換処理部１０５に電子的に出力するいわゆる電子コンパスである。また、画像幾何変換処理部１０５で幾何変換されたパノラマ展開画像または透視投影変換画像に対して、操作部１０８からの操作により、画像の表示位置を変更した時に、その結果を受けて、全周円環画像の方位情報から計算して該当する方位情報を出力する。
【００１８】
描画表示処理部１０７は、撮像センサ部１０２で撮像され、現像処理部１０４で現像処理、画像処理を施されたデジタル画像に対し、ディスプレイ装置１１０に表示するのに必要な処理を行う。具体的には、画像幾何変換処理部１０５で、幾何変換されたパノラマ展開画像、あるいは平面透視投影変換画像のそれぞれ拡大、縮小など、操作部１０８の指示によって、表示における適切な処理を行なう。
【００１９】
操作部１０８は、撮影された全周囲円環画像に対して、パノラマ展開画像へ変換する際にどの部分から切り開いて幾何変換してパノラマ展開画像として表示を行なうかの指示を行なう。または、平面透視投影画像へ変換する際にどの範囲を平面透視投影変換画像として表示を行なうかなどの指示も行なう。操作入力の手段としては、例えば、キーボードやマウスなどを用いる。
【００２０】
画像記録部１０９は、撮像センサ部１０２で撮像され、現像処理部１０４で現像処理、画像処理を施された全周囲円環画像を、方位情報処理部１０６から出力された方位情報とともに記録する。そして、操作部１０８からの操作によって、記録された全周囲円環画像とともに記録された方位情報を、画像幾何変換処理部１０５に出力し、画像幾何変換処理を行なう。画像幾何変換処理を行なった結果、方位情報処理部１０６で算出された該当する方位情報とともに、描画表示処理部１０７へ出力する。
【００２１】
ディスプレイ装置１１０は、画像幾何変換処理部１０５で幾何変換されたパノラマ展開画像あるいは平面透視投影変換画像を、描画表示処理部１０７で生成された方位情報のグラフィック描画とともに表示する。
【００２２】
次に、本発明の全方位撮像装置の実施形態である全方位カメラ１００の動作の詳細を説明する。
まず、撮影された全周囲円環画像に対して、平面透視投影変換をしてその画像を表示する、あるいは、記録された全周囲円環画像に対して、平面透視投影変換をしてその画像を表示する動作を説明する。
【００２３】
撮影の動作を開始すると、全方位ミラー１０１の鏡面に映された全周囲の風景が、撮像センサ部１０２で撮像され、現像処理部１０４で現像処理、画像処理を施されたデジタル画像となり、全周囲円環画像となって撮影される。撮影された全周囲円環画像は、画像幾何変換処理部１０５へ送られ、平面透視投影変換処理を施され、全周囲円環画像の一部切り出した画面の歪みのない仮想平面となる平面透視投影変換画像が生成される。
【００２４】
同時に、撮影の動作を開始すると並行して方位センサ部１０３によって、撮像センサ部１０２のある方角、例えば上部方向についての方位を測定し、結果を方位情報処理部１０６へ出力する。方位情報処理部１０６はその結果を基に方位情報を例えば、NMEA-0183フォーマットのようなデータとして画像幾何変換処理部１０５に出力する。方位情報処理部１０６から出力される方位情報は基準となる方角を一意的に決めておけば、全周囲円環画像の上部方向以外の方位でも構わない。方位情報処理部１０６から出力される方位情報はメタデータとして、撮影された全周囲円環画像とともに、画像記録部１０９で記録しておくこともできる。
【００２５】
撮影された全周囲円環画像とその上部方向の方位情報の記録されるフォーマットは、例えば、映像はAVCHD規格に則ったフォーマットで記録し、方位情報はそのAVCHDフォーマットのユーザーデータを入れるエリアに一定時間ごとに記録しておくようにする。現像処理部１０４から全周囲円環画像を、方位情報処理部１０６から方位情報を、それぞれ入力された画像幾何変換処理部１０５は、最初にそれぞれのデータをそのまま描画表示処理部１０７へ出力する。
【００２６】
また、画像記録部１０９で記録された全周囲円環画像も、同様に、一緒に記録された方位情報とともにそのまま描画表示処理部１０７へ出力する。全周囲円環画像と方位情報が入力された描画表示処理部１０７は、全周囲円環画像を表示しているある方角とその方角の方位情報が一致するように描画をして、ディスプレイ装置１１０に出力させて表示を行なう。例えば、表示している全周囲円環画像の上部方向の方位がある方位を示すように描画をして、表示を行なうようにする。
【００２７】
図３に、このときの全周囲円環画像の画面表示例を示す。この画面表示を見たユーザーが操作部１０８より、図３で示すように全周囲円環画像のある部分を指定することによって、全周囲円環画像の一部を切り出して透視投影変換を行なう指示を画像幾何変換処理部１０５に送る。
【００２８】
指示を受けた画像幾何変換処理部１０５は、該当する全周囲円環画像の領域の中心部分の方角に関する方位情報を方位情報処理部１０６に要求して受け取る。そして、画像幾何変換処理部１０５は、該当する全周囲円環画像のある領域に対して平面透視投影変換を行ない、方位情報処理部１０６から得た方位情報とともに平面透視投影変換画像を描画表示処理部１０７へ出力する。平面透視投影変換画像と方位情報が入力された描画表示処理部１０７は、表示画面の方角がわかるように描画をして、ディスプレイ装置１１０に出力させて表示を行なう。
【００２９】
図４に、このときの平面透視投影変換画像と方位情報の画面表示例を示す。また、図３の全周囲円環画像と図４の平面透視投影変換画像を両方同時にディスプレイ装置１１０で表示を行なう。それにより、操作部１０８によりユーザーが全周囲円環画像の一部切り出す部分を変えると、リアルタイムに平面透視投影変換画像と方位情報の表示を変えることができる。
【００３０】
さらに、この表示されている平面透視投影変換画像を静止画として画像記録部１０９に記録する。この記録時に、平面透視投影変換画像とともに方位情報をEXIF付属情報のGPS Info Tag部分のGPS Img Directionの項目に記録する。これにより、後に記録した平面透視投影変換画像の表示を行なう時に、このデータを使用することで、方位情報とともに表示を行なうことができることになる。
【００３１】
次に、撮影された全周囲円環画像に対して、パノラマ展開変換処理をしてその画像を表示する。あるいは、記録された全周囲円環画像に対して、パノラマ展開変換処理をしてその画像の表示を行なう動作を説明する。撮影の動作を開始して、撮像された全周囲円環画像は、画像幾何変換処理部１０５へ送られ、パノラマ展開変換処理を施され、全周囲円環画像を円柱として切り開いたパノラマ展開画像が生成される。
【００３２】
撮影された全周囲円環画像と、並行して方位センサ部１０３によって測定され、方位情報処理部１０６から得られる方位情報が、描画表示処理部１０７へ出力され、ディスプレイ装置１１０に表示される動作は、前述した平面透視投影変換処理の場合と同じである。また、画像記録部１０９に記録された全周囲円環画像の表示を行なう動作も同様である。
【００３３】
ディスプレイ装置１１０に表示された全周囲円環画像の画面表示を見たユーザーが操作部１０８より、図５で示すように全周囲円環画像のある部分を指定する。すると、操作部１０８は全周囲円環画像のある部分から切り開いてパノラマ展開変換処理を行なう指示を画像幾何変換処理部１０５に送る。
【００３４】
指示を受けた画像幾何変換処理部１０５は、該当する全周囲円環画像の指定した位置の方角に関する方位情報を方位情報処理部１０６に要求して受け取る。そして、画像幾何変換処理部１０５は、該当する全周囲円環画像の指定した位置から切り開いたパノラマ展開変換処理を行ない、方位情報処理部１０６から得た方位情報とともにパノラマ展開画像を描画表示処理部１０７へ出力する。パノラマ展開画像と方位情報が入力された描画表示処理部１０７は、表示画面の方角がわかるように描画をして、ディスプレイ装置１１０に出力させて表示を行なう。
【００３５】
図６に、このときのパノラマ展開画像と方位情報の画面表示例を示す。操作部１０８によりユーザーが、全周囲円環画像の切り開く位置を変えると、リアルタイムにパノラマ展開画像と方位情報の表示を変えることができる。
【００３６】
さらに、図７に示すように、操作部１０８によりユーザーがディスプレイ装置１１０に表示されたパノラマ展開画像の方位情報を示している位置を変えると、パノラマ展開画像のその表示位置での方位情報の表示をリアルタイムに変更させるようにすることもできる。このパノラマ展開変換処理をした時の画像の表示方法であるが、パノラマ展開画像のすべてを表示するのではなく、一部を切り出して表示することもある。その場合には、前述した平面透視投影変換画像での表示方法を使用する。
【００３７】
また、このパノラマ展開変換処理の場合においても、静止画として記録する際に、画像記録部１０９にパノラマ展開画像とともに方位情報をEXIF付属情報のGPS Info Tag部分のGPS Img Directionの項目に記録する。これにより、後に記録したパノラマ展開画像の表示を行なう時に、このデータを使用することで、方位情報とともに表示を行なうことができることになる。
【００３８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３９】
１００ 全方位カメラ、１０１ 全方位ミラー部、１０２ 撮像センサ部、１０３ 方位センサ部、１０４ 現像処理部、１０５ 画像幾何変換処理、１０６ 方位情報処理部、１０７ 描画表示処理部、１０８ 操作部、１０９ 画像記録部、１１０ ディスプレイ、１２０ 制御部
【技術分野】
【０００１】
本発明は全方位撮像装置及び全方位撮像方法に関し、特に、全方位、つまり全周囲３６０度の視野範囲を一度に撮影を行なう全方位撮像に用いて好適な技術に関する。
【背景技術】
【０００２】
全方位ミラーまたは全周魚眼レンズを搭載した全方位カメラは、全周囲の景観を撮影する撮像装置であり、従来から、監視カメラやロボットナビゲーションなどのさまざまな利用が考えられてきた。一台のカメラで３６０度円環あるいは円形などの全方位画像で撮影される。そして、撮影された全方位画像に対して幾何変換処理を行なうことにより、パノラマ展開画像や平面透視投影画像へ変換されて、全方位の所望の画像を得ることができる。特許文献１では、全方位カメラのような広視野角カメラの映像を部分的に切り出して配信する技術が開示されている。
【０００３】
さらに、前述の全方位ミラーまたは全周魚眼レンズ搭載の全方位カメラで撮影された全方位画像について、ある被写体についての方位情報を取得するべく要求がある。特許文献２では、全方位カメラを使って景観と一緒に方位磁針の画像も一緒に撮影して、景観上の被写体の方位を磁針方向との角度から計算して方位情報を検出する説明がなされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１１５０４６号公報
【特許文献２】特開２００４−１１７４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述したように、特許文献２に記載の全方位撮像装置においては、全方位ミラーまたは全周魚眼レンズを搭載した全方位カメラで、景観と一緒に方位磁針の画像も一緒に撮影して、景観上の被写体の方位を磁針方向との角度から計算して方位情報を検出している。しかしながら、その場合には、撮影された全方位画像からパノラマ展開や平面透視投影変換された画像に対して、方位情報を得るのは容易ではない。
【０００６】
また、全方位画像に対してパノラマ展開画像や平面透視投影画像表示部分を操作によって変化させる場合に、その際の方位情報の表示についてリアルタイムに対応することが困難である問題点があった。
本発明は前述の問題点に鑑み、撮像された全方位画像に対してパノラマ展開画像や平面透視投影画像へ変換する際に、変換画像と同時に表示をしている方角の方位情報の表示をリアルタイムに行なうことができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の全方位撮像装置は、全方位の画像を撮像する手段を持つ全方位撮像手段と、方位情報を取得する方位取得手段と、装置全体の動作を制御する制御手段とを備え、前記制御手段は、前記全方位撮像手段によって撮影された全方位画像の画面のある基準となる方向についての方位情報を、前記方位取得手段によって取得して、前記全方位画像にメタデータとして付属することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、全方位ミラーまたは全周魚眼レンズを搭載した全方位カメラで撮影された全方位画像に対して、画像の上部方向の方位情報をメタデータとして添付する。そして、撮影された全方位画像に対して、パノラマ展開画像や平面透視投影画像へ変換する際に、表示をしている方角の方位情報を、全方位画像の添付された方位情報のメタデータから算出するようにした。これにより、変換画像と同時に表示をしている方角の方位情報の表示をリアルタイムに行なうことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態である全方位撮像装置の構成を示すブロック図である。
【図２】本発明の実施形態である全方位撮像装置の外観構成を示した図である。
【図３】全方位撮像装置の全周囲円環画像の画面表示例を示した図である。
【図４】全方位撮像装置の透視投影画像の画面表示例を示した図である。
【図５】全方位撮像装置の全周囲円環画像の画面表示例を示した図である。
【図６】全方位撮像装置のパノラマ展開画像の画面表示例を示した図である。
【図７】全方位撮像装置のパノラマ展開画像の画面表示例を示した図である。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
（第１の実施形態）
図１は、本発明が適用される全方位撮像装置の実施形態である全方位ミラーを搭載した全方位カメラ１００の構成例を示したブロック構成図であり、図２は全方位ミラーを搭載した全方位カメラ１００の一実施形態を示した外観構成図である。
【００１１】
図１において、全方位カメラ１００は全方位画像を撮影する各機能を制御するために、装置全体の動作を制御する制御部１２０を有する。制御部１２０は、ＣＰＵ、ＲＯＭ及びＲＡＭなどにより構成され、ＣＰＵがＲＯＭに記憶されているプログラムを実行することにより、以下に説明する各部の動作制御を実現する。
【００１２】
図１および図２において、全方位ミラー１０１は３６０度の全周風景を双曲面ミラーによって鏡面反射させて撮像センサ部１０２に撮像させる。全方位ミラー１０１は、双曲面ミラーに限らず、球面ミラーによって３６０度の全周風景を反射させて撮像させるものや、例えば、全周風景を撮像させるための全周魚眼レンズなどであってもよい。
【００１３】
撮像センサ部１０２は、撮像面に結像された光像を光電変換によりデジタル電気信号に変換するＣＭＯＳなどの撮像素子である。方位センサ部１０３は、方位情報を取得する方位取得を行うために設けられているセンサである。例えば、地磁気を検知して磁界強度を取得する磁気抵抗効果素子などであり、測定された結果を方位情報処理部１０６へ送る。
【００１４】
現像処理部１０４は、撮像センサ部１０２から光電変換により得られたデジタル電気信号に対して、所定の画素補間や色変換処理を行ない、ＲＧＢあるいはＹＵＶなどのデジタル画像を生成する。また、現像処理部１０４では、現像を施した後のデジタル画像を用いて所定の演算処理を行ない、得られた演算結果に基づいてホワイトバランス、シャープネス、コントラスト、色変換などの画像処理を行なっている。
【００１５】
画像幾何変換処理部１０５は、撮像センサ部１０２で撮像され、現像処理部１０４で現像処理、画像処理を施されたデジタル画像に対して、画像幾何変換処理を行なう。撮像センサ部１０２が全画素で撮像された場合には、全方位ミラー１０１の鏡面に映された全周囲の風景を撮像することによって全周囲円環画像となって撮像される。この場合は、撮像された全周囲円環画像の円柱モデルへ変換するパノラマ展開変換処理、あるいは全周囲円環画像の一部切り出した画面の歪みのない仮想平面へ変換する平面透視投影変換処理を行い、パノラマ展開画像または平面透視投影変換画像を生成する。
【００１６】
撮像センサ部１０２が全画素数のうち、部分的に読み出すことによって撮像された場合、全方位ミラー１０１の鏡面に映された全周囲の被写体の一部、切り出した画面に対して撮像を行ない、その部分の画像の歪み補正を行なう。
【００１７】
方位情報処理部１０６は、方位センサ部１０３で測定された結果から方位情報を画像幾何変換処理部１０５に電子的に出力するいわゆる電子コンパスである。また、画像幾何変換処理部１０５で幾何変換されたパノラマ展開画像または透視投影変換画像に対して、操作部１０８からの操作により、画像の表示位置を変更した時に、その結果を受けて、全周円環画像の方位情報から計算して該当する方位情報を出力する。
【００１８】
描画表示処理部１０７は、撮像センサ部１０２で撮像され、現像処理部１０４で現像処理、画像処理を施されたデジタル画像に対し、ディスプレイ装置１１０に表示するのに必要な処理を行う。具体的には、画像幾何変換処理部１０５で、幾何変換されたパノラマ展開画像、あるいは平面透視投影変換画像のそれぞれ拡大、縮小など、操作部１０８の指示によって、表示における適切な処理を行なう。
【００１９】
操作部１０８は、撮影された全周囲円環画像に対して、パノラマ展開画像へ変換する際にどの部分から切り開いて幾何変換してパノラマ展開画像として表示を行なうかの指示を行なう。または、平面透視投影画像へ変換する際にどの範囲を平面透視投影変換画像として表示を行なうかなどの指示も行なう。操作入力の手段としては、例えば、キーボードやマウスなどを用いる。
【００２０】
画像記録部１０９は、撮像センサ部１０２で撮像され、現像処理部１０４で現像処理、画像処理を施された全周囲円環画像を、方位情報処理部１０６から出力された方位情報とともに記録する。そして、操作部１０８からの操作によって、記録された全周囲円環画像とともに記録された方位情報を、画像幾何変換処理部１０５に出力し、画像幾何変換処理を行なう。画像幾何変換処理を行なった結果、方位情報処理部１０６で算出された該当する方位情報とともに、描画表示処理部１０７へ出力する。
【００２１】
ディスプレイ装置１１０は、画像幾何変換処理部１０５で幾何変換されたパノラマ展開画像あるいは平面透視投影変換画像を、描画表示処理部１０７で生成された方位情報のグラフィック描画とともに表示する。
【００２２】
次に、本発明の全方位撮像装置の実施形態である全方位カメラ１００の動作の詳細を説明する。
まず、撮影された全周囲円環画像に対して、平面透視投影変換をしてその画像を表示する、あるいは、記録された全周囲円環画像に対して、平面透視投影変換をしてその画像を表示する動作を説明する。
【００２３】
撮影の動作を開始すると、全方位ミラー１０１の鏡面に映された全周囲の風景が、撮像センサ部１０２で撮像され、現像処理部１０４で現像処理、画像処理を施されたデジタル画像となり、全周囲円環画像となって撮影される。撮影された全周囲円環画像は、画像幾何変換処理部１０５へ送られ、平面透視投影変換処理を施され、全周囲円環画像の一部切り出した画面の歪みのない仮想平面となる平面透視投影変換画像が生成される。
【００２４】
同時に、撮影の動作を開始すると並行して方位センサ部１０３によって、撮像センサ部１０２のある方角、例えば上部方向についての方位を測定し、結果を方位情報処理部１０６へ出力する。方位情報処理部１０６はその結果を基に方位情報を例えば、NMEA-0183フォーマットのようなデータとして画像幾何変換処理部１０５に出力する。方位情報処理部１０６から出力される方位情報は基準となる方角を一意的に決めておけば、全周囲円環画像の上部方向以外の方位でも構わない。方位情報処理部１０６から出力される方位情報はメタデータとして、撮影された全周囲円環画像とともに、画像記録部１０９で記録しておくこともできる。
【００２５】
撮影された全周囲円環画像とその上部方向の方位情報の記録されるフォーマットは、例えば、映像はAVCHD規格に則ったフォーマットで記録し、方位情報はそのAVCHDフォーマットのユーザーデータを入れるエリアに一定時間ごとに記録しておくようにする。現像処理部１０４から全周囲円環画像を、方位情報処理部１０６から方位情報を、それぞれ入力された画像幾何変換処理部１０５は、最初にそれぞれのデータをそのまま描画表示処理部１０７へ出力する。
【００２６】
また、画像記録部１０９で記録された全周囲円環画像も、同様に、一緒に記録された方位情報とともにそのまま描画表示処理部１０７へ出力する。全周囲円環画像と方位情報が入力された描画表示処理部１０７は、全周囲円環画像を表示しているある方角とその方角の方位情報が一致するように描画をして、ディスプレイ装置１１０に出力させて表示を行なう。例えば、表示している全周囲円環画像の上部方向の方位がある方位を示すように描画をして、表示を行なうようにする。
【００２７】
図３に、このときの全周囲円環画像の画面表示例を示す。この画面表示を見たユーザーが操作部１０８より、図３で示すように全周囲円環画像のある部分を指定することによって、全周囲円環画像の一部を切り出して透視投影変換を行なう指示を画像幾何変換処理部１０５に送る。
【００２８】
指示を受けた画像幾何変換処理部１０５は、該当する全周囲円環画像の領域の中心部分の方角に関する方位情報を方位情報処理部１０６に要求して受け取る。そして、画像幾何変換処理部１０５は、該当する全周囲円環画像のある領域に対して平面透視投影変換を行ない、方位情報処理部１０６から得た方位情報とともに平面透視投影変換画像を描画表示処理部１０７へ出力する。平面透視投影変換画像と方位情報が入力された描画表示処理部１０７は、表示画面の方角がわかるように描画をして、ディスプレイ装置１１０に出力させて表示を行なう。
【００２９】
図４に、このときの平面透視投影変換画像と方位情報の画面表示例を示す。また、図３の全周囲円環画像と図４の平面透視投影変換画像を両方同時にディスプレイ装置１１０で表示を行なう。それにより、操作部１０８によりユーザーが全周囲円環画像の一部切り出す部分を変えると、リアルタイムに平面透視投影変換画像と方位情報の表示を変えることができる。
【００３０】
さらに、この表示されている平面透視投影変換画像を静止画として画像記録部１０９に記録する。この記録時に、平面透視投影変換画像とともに方位情報をEXIF付属情報のGPS Info Tag部分のGPS Img Directionの項目に記録する。これにより、後に記録した平面透視投影変換画像の表示を行なう時に、このデータを使用することで、方位情報とともに表示を行なうことができることになる。
【００３１】
次に、撮影された全周囲円環画像に対して、パノラマ展開変換処理をしてその画像を表示する。あるいは、記録された全周囲円環画像に対して、パノラマ展開変換処理をしてその画像の表示を行なう動作を説明する。撮影の動作を開始して、撮像された全周囲円環画像は、画像幾何変換処理部１０５へ送られ、パノラマ展開変換処理を施され、全周囲円環画像を円柱として切り開いたパノラマ展開画像が生成される。
【００３２】
撮影された全周囲円環画像と、並行して方位センサ部１０３によって測定され、方位情報処理部１０６から得られる方位情報が、描画表示処理部１０７へ出力され、ディスプレイ装置１１０に表示される動作は、前述した平面透視投影変換処理の場合と同じである。また、画像記録部１０９に記録された全周囲円環画像の表示を行なう動作も同様である。
【００３３】
ディスプレイ装置１１０に表示された全周囲円環画像の画面表示を見たユーザーが操作部１０８より、図５で示すように全周囲円環画像のある部分を指定する。すると、操作部１０８は全周囲円環画像のある部分から切り開いてパノラマ展開変換処理を行なう指示を画像幾何変換処理部１０５に送る。
【００３４】
指示を受けた画像幾何変換処理部１０５は、該当する全周囲円環画像の指定した位置の方角に関する方位情報を方位情報処理部１０６に要求して受け取る。そして、画像幾何変換処理部１０５は、該当する全周囲円環画像の指定した位置から切り開いたパノラマ展開変換処理を行ない、方位情報処理部１０６から得た方位情報とともにパノラマ展開画像を描画表示処理部１０７へ出力する。パノラマ展開画像と方位情報が入力された描画表示処理部１０７は、表示画面の方角がわかるように描画をして、ディスプレイ装置１１０に出力させて表示を行なう。
【００３５】
図６に、このときのパノラマ展開画像と方位情報の画面表示例を示す。操作部１０８によりユーザーが、全周囲円環画像の切り開く位置を変えると、リアルタイムにパノラマ展開画像と方位情報の表示を変えることができる。
【００３６】
さらに、図７に示すように、操作部１０８によりユーザーがディスプレイ装置１１０に表示されたパノラマ展開画像の方位情報を示している位置を変えると、パノラマ展開画像のその表示位置での方位情報の表示をリアルタイムに変更させるようにすることもできる。このパノラマ展開変換処理をした時の画像の表示方法であるが、パノラマ展開画像のすべてを表示するのではなく、一部を切り出して表示することもある。その場合には、前述した平面透視投影変換画像での表示方法を使用する。
【００３７】
また、このパノラマ展開変換処理の場合においても、静止画として記録する際に、画像記録部１０９にパノラマ展開画像とともに方位情報をEXIF付属情報のGPS Info Tag部分のGPS Img Directionの項目に記録する。これにより、後に記録したパノラマ展開画像の表示を行なう時に、このデータを使用することで、方位情報とともに表示を行なうことができることになる。
【００３８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３９】
１００ 全方位カメラ、１０１ 全方位ミラー部、１０２ 撮像センサ部、１０３ 方位センサ部、１０４ 現像処理部、１０５ 画像幾何変換処理、１０６ 方位情報処理部、１０７ 描画表示処理部、１０８ 操作部、１０９ 画像記録部、１１０ ディスプレイ、１２０ 制御部
【特許請求の範囲】
【請求項１】
全方位の画像を撮像する手段を持つ全方位撮像手段と、方位情報を取得する方位取得手段と、装置全体の動作を制御する制御手段とを備え、
前記制御手段は、前記全方位撮像手段によって撮影された全方位画像の画面のある基準となる方向についての方位情報を、前記方位取得手段によって取得して、前記全方位画像にメタデータとして付属することを特徴とする全方位撮像装置。
【請求項２】
前記全方位撮像手段によって撮影された全方位画像のある領域を透視投影変換して透視投影変換画像を生成する透視投影変換手段を備え、
前記制御手段は、前記透視投影変換手段によって生成された透視投影変換画像の被写体の方位情報を、前記方位取得手段によって取得された前記全方位画像の前記基準となる方向の方位情報より算出し、前記算出した方位情報を前記透視投影変換画像に付属することを特徴とする請求項１に記載の全方位撮像装置。
【請求項３】
前記制御手段は、前記全方位撮像手段によって撮影された全方位画像のある領域をリアルタイムに前記透視投影変換手段によって透視投影変換された透視投影変換画像の表示に対して、前記方位取得手段によって取得された前記全方位画像の前記基準となる方向の方位情報よりリアルタイムに算出された前記透視投影変換画像の被写体の方位情報の表示を行なうことを特徴とする請求項２に記載の全方位撮像装置。
【請求項４】
前記全方位撮像手段によって撮影された全方位画像をパノラマ展開変換してパノラマ展開画像を生成するパノラマ展開変換手段を備え、
前記制御手段は、前記方位取得手段によって取得された前記全方位画像の前記基準となる方向の方位情報より、前記パノラマ展開変換手段によって生成されたパノラマ展開画像の被写体の基準になる部分の方位情報を算出し、前記算出した方位情報を前記パノラマ展開画像に付属することを特徴とする請求項１〜３の何れか１項に記載の全方位撮像装置。
【請求項５】
前記制御手段は、前記全方位撮像手段によって撮影された全方位画像のある領域をリアルタイムに前記パノラマ展開変換手段によってパノラマ展開変換されたパノラマ展開画像の表示に対して、前記方位取得手段によって取得された前記全方位画像の前記基準となる方向の方位情報よりリアルタイムに算出された前記パノラマ展開画像の被写体の基準になる部分の方位情報の表示を行なうことを特徴とする請求項４に記載の全方位撮像装置。
【請求項６】
全方位の画像を撮像する工程を持つ全方位撮像工程と、方位情報を取得する方位取得工程と、装置全体の動作を制御する制御工程とを備え、
前記制御工程は、前記全方位撮像工程において撮影された全方位画像の画面のある基準となる方向についての方位情報を、前記方位取得工程において取得して、前記全方位画像にメタデータとして付属することを特徴とする全方位撮像方法。
【請求項７】
前記全方位撮像工程において撮影された全方位画像のある領域を透視投影変換して透視投影変換画像を生成する透視投影変換工程を備え、
前記制御工程は、前記透視投影変換工程において生成された透視投影変換画像の被写体の方位情報を、前記方位取得工程において取得された前記全方位画像の前記基準となる方向の方位情報より算出し、前記算出した方位情報を前記透視投影変換画像にメタデータとして付属することを特徴とする請求項６に記載の全方位撮像方法。
【請求項８】
前記制御工程は、前記全方位撮像工程において撮影された全方位画像のある領域をリアルタイムに前記透視投影変換工程において透視投影変換された透視投影変換画像の表示に対して、前記方位取得工程において取得された前記全方位画像の前記基準となる方向の方位情報よりリアルタイムに算出された前記透視投影変換画像の被写体の方位情報の表示を行なうことを特徴とする請求項７に記載の全方位撮像方法。
【請求項９】
前記全方位撮像工程において撮影された全方位画像をパノラマ展開変換してパノラマ展開画像を生成するパノラマ展開変換工程を備え、
前記制御工程は、前記方位取得工程において取得された前記全方位画像の基準となる方向の方位情報より、前記パノラマ展開変換工程において生成されたパノラマ展開画像の被写体の基準になる部分の方位情報を算出し、前記算出した方位情報を前記パノラマ展開画像に付属することを特徴とする請求項６〜８の何れか１項に記載の全方位撮像方法。
【請求項１０】
前記制御工程は、前記全方位撮像工程において撮影された全方位画像のある領域をリアルタイムに前記パノラマ展開変換工程においてパノラマ展開変換されたパノラマ展開画像の表示に対して、前記方位取得工程において取得された前記全方位画像の基準となる方向の方位情報よりリアルタイムに算出された前記パノラマ展開画像の被写体の基準になる部分の方位情報の表示を行なうことを特徴とする請求項９に記載の全方位撮像方法。
【請求項１１】
全方位の画像を撮像する工程を持つ全方位撮像工程と、方位情報を取得する方位取得工程と、装置全体の動作を制御する制御工程とをコンピュータに実行させるプログラムであって、
前記制御工程においては、前記全方位撮像工程において撮影された全方位画像の画面のある基準となる方向についての方位情報を、前記方位取得工程において取得して、前記全方位画像にメタデータとして付属するようコンピュータを制御することを特徴とするプログラム。
【請求項１２】
請求項１１に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１】
全方位の画像を撮像する手段を持つ全方位撮像手段と、方位情報を取得する方位取得手段と、装置全体の動作を制御する制御手段とを備え、
前記制御手段は、前記全方位撮像手段によって撮影された全方位画像の画面のある基準となる方向についての方位情報を、前記方位取得手段によって取得して、前記全方位画像にメタデータとして付属することを特徴とする全方位撮像装置。
【請求項２】
前記全方位撮像手段によって撮影された全方位画像のある領域を透視投影変換して透視投影変換画像を生成する透視投影変換手段を備え、
前記制御手段は、前記透視投影変換手段によって生成された透視投影変換画像の被写体の方位情報を、前記方位取得手段によって取得された前記全方位画像の前記基準となる方向の方位情報より算出し、前記算出した方位情報を前記透視投影変換画像に付属することを特徴とする請求項１に記載の全方位撮像装置。
【請求項３】
前記制御手段は、前記全方位撮像手段によって撮影された全方位画像のある領域をリアルタイムに前記透視投影変換手段によって透視投影変換された透視投影変換画像の表示に対して、前記方位取得手段によって取得された前記全方位画像の前記基準となる方向の方位情報よりリアルタイムに算出された前記透視投影変換画像の被写体の方位情報の表示を行なうことを特徴とする請求項２に記載の全方位撮像装置。
【請求項４】
前記全方位撮像手段によって撮影された全方位画像をパノラマ展開変換してパノラマ展開画像を生成するパノラマ展開変換手段を備え、
前記制御手段は、前記方位取得手段によって取得された前記全方位画像の前記基準となる方向の方位情報より、前記パノラマ展開変換手段によって生成されたパノラマ展開画像の被写体の基準になる部分の方位情報を算出し、前記算出した方位情報を前記パノラマ展開画像に付属することを特徴とする請求項１〜３の何れか１項に記載の全方位撮像装置。
【請求項５】
前記制御手段は、前記全方位撮像手段によって撮影された全方位画像のある領域をリアルタイムに前記パノラマ展開変換手段によってパノラマ展開変換されたパノラマ展開画像の表示に対して、前記方位取得手段によって取得された前記全方位画像の前記基準となる方向の方位情報よりリアルタイムに算出された前記パノラマ展開画像の被写体の基準になる部分の方位情報の表示を行なうことを特徴とする請求項４に記載の全方位撮像装置。
【請求項６】
全方位の画像を撮像する工程を持つ全方位撮像工程と、方位情報を取得する方位取得工程と、装置全体の動作を制御する制御工程とを備え、
前記制御工程は、前記全方位撮像工程において撮影された全方位画像の画面のある基準となる方向についての方位情報を、前記方位取得工程において取得して、前記全方位画像にメタデータとして付属することを特徴とする全方位撮像方法。
【請求項７】
前記全方位撮像工程において撮影された全方位画像のある領域を透視投影変換して透視投影変換画像を生成する透視投影変換工程を備え、
前記制御工程は、前記透視投影変換工程において生成された透視投影変換画像の被写体の方位情報を、前記方位取得工程において取得された前記全方位画像の前記基準となる方向の方位情報より算出し、前記算出した方位情報を前記透視投影変換画像にメタデータとして付属することを特徴とする請求項６に記載の全方位撮像方法。
【請求項８】
前記制御工程は、前記全方位撮像工程において撮影された全方位画像のある領域をリアルタイムに前記透視投影変換工程において透視投影変換された透視投影変換画像の表示に対して、前記方位取得工程において取得された前記全方位画像の前記基準となる方向の方位情報よりリアルタイムに算出された前記透視投影変換画像の被写体の方位情報の表示を行なうことを特徴とする請求項７に記載の全方位撮像方法。
【請求項９】
前記全方位撮像工程において撮影された全方位画像をパノラマ展開変換してパノラマ展開画像を生成するパノラマ展開変換工程を備え、
前記制御工程は、前記方位取得工程において取得された前記全方位画像の基準となる方向の方位情報より、前記パノラマ展開変換工程において生成されたパノラマ展開画像の被写体の基準になる部分の方位情報を算出し、前記算出した方位情報を前記パノラマ展開画像に付属することを特徴とする請求項６〜８の何れか１項に記載の全方位撮像方法。
【請求項１０】
前記制御工程は、前記全方位撮像工程において撮影された全方位画像のある領域をリアルタイムに前記パノラマ展開変換工程においてパノラマ展開変換されたパノラマ展開画像の表示に対して、前記方位取得工程において取得された前記全方位画像の基準となる方向の方位情報よりリアルタイムに算出された前記パノラマ展開画像の被写体の基準になる部分の方位情報の表示を行なうことを特徴とする請求項９に記載の全方位撮像方法。
【請求項１１】
全方位の画像を撮像する工程を持つ全方位撮像工程と、方位情報を取得する方位取得工程と、装置全体の動作を制御する制御工程とをコンピュータに実行させるプログラムであって、
前記制御工程においては、前記全方位撮像工程において撮影された全方位画像の画面のある基準となる方向についての方位情報を、前記方位取得工程において取得して、前記全方位画像にメタデータとして付属するようコンピュータを制御することを特徴とするプログラム。
【請求項１２】
請求項１１に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−２７０２１（Ｐ２０１３−２７０２１Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１６３１５２（Ｐ２０１１−１６３１５２）
【出願日】平成２３年７月２６日（２０１１．７．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２６日（２０１１．７．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]