全方位撮影補助装置、全方位画像処理装置および方法並びにプログラム
【課題】全方位画像における円形領域の中心座標を精度良く求める。
【解決手段】全方位撮影システム１を、全方位撮影補助装置２およびデジタルカメラ３から構成する。全方位撮影補助装置２は、全方位ミラー５、シート部材６および円筒部材７からなる。全方位ミラー５は、断面が球、放物線、双曲線等の形状を有する半円形状をなしており、シート部材６の略中央位置に装着されている。シート部材６は、全方位ミラー５が装着されている以外の部分の表面が単一色により着色されている。円筒部材７は、樹脂およびガラス等の透明材料からなり、その一端部に全方位ミラー５が取り付けられ、他端部にデジタルカメラ３が取り付けられている。
【解決手段】全方位撮影システム１を、全方位撮影補助装置２およびデジタルカメラ３から構成する。全方位撮影補助装置２は、全方位ミラー５、シート部材６および円筒部材７からなる。全方位ミラー５は、断面が球、放物線、双曲線等の形状を有する半円形状をなしており、シート部材６の略中央位置に装着されている。シート部材６は、全方位ミラー５が装着されている以外の部分の表面が単一色により着色されている。円筒部材７は、樹脂およびガラス等の透明材料からなり、その一端部に全方位ミラー５が取り付けられ、他端部にデジタルカメラ３が取り付けられている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全方位ミラーを備えた、全方位撮影に用いられる全方位撮影補助装置、全方位撮影補助装置を用いて撮影することにより取得された全方位画像の処理装置および方法、並びに全方位画像処理方法をコンピュータに実行させることを特徴とするプログラムに関するものである。
【背景技術】
【０００２】
断面が球、放物線、双曲線等の形状を有する全方位ミラーを用いて、側方３６０度の視野角を持つ全方位撮影を行う方式が知られている。図１１は全方位撮影を説明するための図である。図１１に示すように、全方位撮影には、断面が球、放物線、双曲線等の形状を有する全方位ミラー５５が用いられる。全方位ミラー５５は透明の円筒部材５６の一端部に取り付けられており、他端部にはカメラ５３が取り付けられる。
【０００３】
図１２は全方位撮影の撮影原理を説明するための図である。空間上の点Ｘにおける光は、全方位ミラー５５において反射して、カメラ５３のＣＣＤ６０の撮像面に結像する。このため、カメラ５３を上方に向け、全方位ミラー５５を取り付けて撮影を行うことにより、図６に示すように全方位画像を得ることができる。なお、全方位画像は、全方位ミラーの反射像に対応する円形領域と、円形領域以外の背景領域とを有するものとなる。ここで、全方位画像における背景領域は、全方位ミラーの背景の画像（例えば空）となっている。
【０００４】
このような全方位撮影により取得された全方位画像は、円形領域の中心座標等の情報を用いて変換することにより、３６０度のパノラマ画像として表示することができる。このように全方位画像を変換するためには、全方位画像の中心座標が必要である。このため、全方位画像を二値化し、これにより得られる円形領域の重心を算出することにより、全方位画像の中心座標を求める手法が提案されている（特許文献１，２参照）。また、撮影時にマーカーが写し込まれるようにし、全方位画像におけるマーカーの位置に基づいて、円形領域の中心座標を算出する手法も提案されている（特許文献３参照）。
【特許文献１】特開２００３−３３３５８２号公報
【特許文献２】特開２００３−３０３３４８号公報
【特許文献１】特開２００３−３０４５３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１，２に記載された手法は、二値化処理により中心座標を算出するものであるため、全方位画像における円形画像と背景領域との明るさの差が小さいと、二値化処理によって円形領域と背景領域とを適切に分離することができず、その結果、中心座標を精度良く求めることができなくなってしまう。また、特許文献３に記載された手法では、マーカーの位置合わせが適切に行われないと、求めた中心座標が本来の位置からずれてしまう。
【０００６】
本発明は上記事情に鑑みなされたものであり、全方位画像における円形領域の中心座標を精度良く求めることを目的とする。
【課題を解決するための手段】
【０００７】
本発明による全方位撮影補助装置は、全方位ミラーを備えた、全方位撮影に用いられる全方位撮影補助装置において、
表面が単一色のシート部材に前記全方位ミラーが装着されてなることを特徴とするものである。
【０００８】
なお、本発明による全方位撮影補助装置においては、前記シート部材を、前記表面の色を変更可能なものとしてもよい。
【０００９】
シート部材の表面の色の変更は、例えばシート部材を、全方位ミラーをその中心位置に固定した平面状の部材から構成し、各種色のシートを平面状の部材に交換可能に取り付けるようにすることにより、実現することができる。
【００１０】
また、シート部材を、例えば特開２００３−７６３５４号公報等に記載された電子ペーパーからなるものとして、所望とする色のシート部材の色を変更するようにしてもよい。
【００１１】
本発明による全方位画像処理装置は、本発明による全方位撮影補助装置を用いて撮影を行うことにより取得された全方位画像における、単一色の背景領域および前記全方位ミラーの反射像に対応する円形領域を検出する領域検出手段と、
前記円形領域の中心座標を算出する演算手段とを備えたことを特徴とするものである。
【００１２】
なお、本発明による全方位画像処理装置においては、前記全方位画像上における色の指定を受け付ける指定手段をさらに備えるものとし、
前記領域検出手段を、前記指定された色に基づいて前記背景領域を検出する手段としてもよい。
【００１３】
また、本発明による全方位画像処理装置においては、前記中心座標を基準として前記円形領域が内接する領域を前記全方位画像から選択する領域選択手段と、
前記選択された領域の画像を保存する画像保存手段とをさらに備えるものとしてもよい。
【００１４】
本発明による全方位画像処理方法は、本発明による全方位撮影補助装置を用いて撮影を行うことにより取得された全方位画像における、単一色の背景領域および前記全方位ミラーの反射像に対応する円形領域を検出し、
前記円形領域の中心座標を算出することを特徴とするものである。
【００１５】
なお、本発明による全方位撮影処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１６】
本発明による全方位撮影補助装置は、表面が単一色のシート部材に全方位ミラーが装着されてなるため、本発明による全方位撮影補助装置を用いて撮影を行うことにより取得された全方位画像においては、円形領域の背景はシート部材の表面と同一の単一色となる。このため、撮影環境の明るさに拘わらず、全方位画像を円形領域と背景領域とに分離することが容易となり、その結果、円形領域の中心座標を精度良く求めることができる。
【００１７】
また、シート部材の表面の色を変更可能とすることにより、撮影環境に含まれる色とは異なる色となるようにシート部材の表面の色を変更できるため、円形領域と背景領域との区別が容易となり、その結果、より容易に円形領域の中心座標を算出することができる。
【００１８】
また、中心座標を算出した後に、中心座標を基準として円形領域が内接する領域を全方位画像から選択し、選択された領域の画像を保存することにより、保存される画像の容量を低減することができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による全方位撮影補助装置および全方位画像処理装置を用いた全方位撮影システムを示す図である。図１に示すように、本実施形態による全方位撮影システム１は、全方位撮影補助装置２と、デジタルカメラ３とを備える。
【００２０】
図２は全方位撮影補助装置２の構成を示す図である。図２に示すように、全方位撮影補助装置２は、全方位ミラー５、シート部材６および円筒部材７からなる。
【００２１】
全方位ミラー５は、断面が球、放物線、双曲線等の形状を有する半円形状をなしており、シート部材６の略中央位置に装着されている。
【００２２】
シート部材６は、全方位ミラー５が装着されている以外の部分の表面が単一色により着色されている。なお、着色する色としては、撮影時の空、地面等の大きく異なる色であることが好ましく、例えばピンク色とすることが好ましい。
【００２３】
円筒部材７は、樹脂およびガラス等の透明材料からなり、その一端部に全方位ミラー５が取り付けられ、他端部にデジタルカメラ３が取り付けられている。
【００２４】
図３はデジタルカメラの内部構成を示す概略ブロック図である。図３に示すように、デジタルカメラ３は、撮像部１２、撮像制御部１３、信号処理部１４、圧縮／伸長処理部１５、フレームメモリ１６、メディア制御部１７、内部メモリ１８、および表示制御部１９を備える。
【００２５】
図４は撮像部１２の構成を示す図である。図４に示すように、撮像部１２は、レンズ３０、絞り３１、シャッタ３２、ＣＣＤ３３、アナログフロントエンド（ＡＦＥ）３４およびＡ／Ｄ変換部３５をそれぞれ備える。
【００２６】
レンズ３０は、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、不図示のレンズ駆動部によりその位置が調整される。
【００２７】
絞り３１は、不図示の絞り駆動部により、ＡＥ処理により得られる絞り値データに基づいて絞り径の調整が行われる。
【００２８】
シャッタ３２はメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。
【００２９】
ＣＣＤ３３は、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ３３の前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
【００３０】
ＡＦＥ３４は、ＣＣＤ３３から出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。
【００３１】
Ａ／Ｄ変換部３５は、ＡＦＥ３４によりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮像部２のＣＣＤ３３において取得され、デジタル信号に変換されることにより得られる画像データは、画素ごとにＲ，Ｇ，Ｂの濃度値を持つＲＡＷデータである。
【００３２】
撮像制御部１３は、レリーズボタン押下後に撮像の制御を行う。また、レリーズボタンの半押し操作により、ＡＦ処理およびＡＥ処理を行って、焦点位置、絞り値データおよびシャッタスピードを設定する。なお、撮像制御部１３は、レリーズボタンが押下されていない状態においては、スルー画像の撮影を行うよう撮像部１２を制御する。
【００３３】
信号処理部１４は、撮像部１２が取得したデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の信号処理を施す。
【００３４】
圧縮／伸長処理部１５は、信号処理部１４によって処理が施された画像データ対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を施して画像ファイルを生成する。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が記述されたヘッダが付与される。
【００３５】
フレームメモリ１６は、撮像部１２が取得した画像を表す画像データに対して、前述の信号処理部１４が行う処理を含む各種処理を行う際に使用する作業用メモリである。
【００３６】
メディア制御部１７は、記録メディア２０にアクセスして画像ファイルの書き込みと読み出しの制御を行う。
【００３７】
内部メモリ１８は、デジタルカメラ３において設定される各種定数、およびＣＰＵ２６が実行するプログラム等を記憶する。
【００３８】
表示制御部１９は、フレームメモリ１６に格納された画像データをモニタ２１に表示させたり、記録メディア２０に記録されている画像をモニタ２１に表示させたりするためのものである。
【００３９】
また、デジタルカメラ３は、領域検出部２２および演算部２３を備える。
【００４０】
領域検出部２２は、撮影により取得された全方位画像における全方位ミラー５の反射像に対応する円形領域Ｒ１および単一色の背景領域Ｒ２を検出する。ここで、本実施形態による全方位撮影システム１は、図５に示すように、デジタルカメラ３を上方に向けて全方位撮影補助装置２を取り付けて撮影を行うことにより、全方位ミラー５の周囲３６０度の全方位画像を取得するものである。図６は全方位画像を示す図である。図６に示すように全方位画像Ｇ０は、全方位ミラー５の反射像に対応する円形領域Ｒ１と、全方位撮影補助装置２におけるシート部材６の表面の色を有する背景領域Ｒ２とからなるものとなる。
【００４１】
なお、本実施形態による全方位撮影システム１においては、全方位ミラー５の頂部と、デジタルカメラ３のレンズとが正対しているため、デジタルカメラ３のＣＣＤ３３には像が結像しない。これにより、全方位ミラー５の反射像の中心部分が黒色の領域となるため、円形領域は中心に黒色の領域を有する円環状の画像を表すものとなっている。
【００４２】
領域検出部２２は、全方位画像Ｇ０における角部（例えば左上角部）における画素の色を基準色として取得し、基準色と同一色の画素からなる領域と、それ以外の領域とに全方位画像Ｇ０を分離し、前者を背景領域Ｒ２、後者を円形領域Ｒ１として検出する。
【００４３】
演算部２３は、円形領域Ｒ１の重心位置を、円形領域Ｒ１の中心座標として算出する。なお、重心の算出に代えて、特許文献１に記載されているハフ変換を用いる手法等、公知の任意の手法を用いることができる。
【００４４】
なお、圧縮／伸長処理部１５は、画像ファイルを生成する場合、図７に示すように、演算部２３が算出した円形領域Ｒ１の中心座標Ｏ１を基準として、円形領域Ｒ１の直径を一辺とする矩形領域Ｋ０を全方位画像Ｇ０から切り出し、矩形領域Ｋ０のみから画像ファイルを生成する。なお、円形領域Ｒ１は矩形領域Ｋ０に内接することとなる。
【００４５】
ＣＰＵ２６は、十字キー、各種操作ボタンおよびレリーズボタンを含む入力部２７からの信号に応じてデジタルカメラ３の各部を制御する。
【００４６】
データバス２８は、デジタルカメラ３を構成する各部およびＣＰＵ２６に接続されており、デジタルカメラ３における各種データおよび各種情報のやり取りを行う。
【００４７】
次いで、本実施形態において行われる処理について説明する。図８は本実施形態において行われる処理を示すフローチャートである。図５に示すように全方位撮影システム１をセットして、撮影者が撮影を行うことによりデジタルカメラ３のＣＰＵ２６が処理を開始し、領域検出部２２が、撮影により取得された全方位画像（信号処理は処理済みであっても未処理であってもよい）の左上角部の画素の色を基準色として取得し（ステップＳＴ１）、処理対象を最初の画素（すなわち左上角部の画素の右側に隣接する画素）に設定する（ステップＳＴ２）。そして、処理対象画素の色が基準色であるか否かを判定し（ステップＳＴ３）、ステップＳＴ３が肯定されると、処理対象画素を背景領域Ｒ２の画素に分類する（ステップＳＴ４）。一方、ステップＳＴ３が否定されると、処理対象画素を円形領域Ｒ１の画素に分類する（ステップＳＴ５）。
【００４８】
ステップＳＴ４，５に続いて、領域検出部２２は、すべての画素の分類を終了したか否かを判定し（ステップＳＴ６）、ステップＳＴ６が否定されると、処理対象を次の画素に変更し（ステップＳＴ７）、ステップＳＴ３に戻り、ステップＳＴ３以降の処理を繰り返す。そして、ステップＳＴ６が肯定されると、それぞれに分類された画素からなる領域を円形領域Ｒ１および背景領域Ｒ２として検出する。
【００４９】
次いで、演算部２３が円形領域Ｒ１の中心座標を算出する（ステップＳＴ８）。そして、必要であれば信号処理部１４が信号処理を行った後、圧縮／伸長処理部１５が全方位画像Ｇ０から矩形領域Ｋ０を選択し（ステップＳＴ９）、矩形領域Ｋ０の画像からなる画像ファイルを生成する（ステップＳＴ１０）。そして、メディア制御部１７が画像ファイルを記録メディア２０に記録し（ステップＳＴ１１）、処理を終了する。
【００５０】
このように、本実施形態においては、全方位撮影補助装置２を、表面が単一色のシート部材６に全方位ミラー５を装着することにより構成したため、撮影により取得された全方位画像Ｇ０においては、円形領域Ｒ１の背景はシート部材の表面と同一の単一色となる。このため、撮影環境の明るさに拘わらず、全方位画像Ｇ０を円形領域Ｒ１と背景領域Ｒ２とに分類することが容易となり、その結果、円形領域Ｒ１の中心座標を精度良く求めることができる。
【００５１】
また、中心座標を算出した後に、中心座標を基準として円形領域Ｒ１が内接する矩形領域Ｋ０を全方位画像Ｇ０から選択し、選択された矩形領域Ｋ０から画像ファイルを生成することにより、保存される画像ファイルの容量を低減することができる。
【００５２】
なお、上記実施形態においては、シート部材６の表面の色を変更可能としてもよい。例えば、図９に示すように、シート部材６の形状に適合する形状を有し、全方位ミラー５に対応する部分に開口部を有する各種色からなるカラーペーパーＳ１〜Ｓ４を用意しておき、撮影者が撮影環境の色と異なる色を有するカラーペーパーをシート部材６に取り付けることにより、シート部材６の表面の色を変更するようにしてもよい。なお、図９においては、カラーペーパーＳ１〜Ｓ４の色が異なることを模様が異なることにより示している。また、カラーペーパーのシート部材６への取り付けは、剥がすことが容易な接着剤を用いることによるものであってもよく、シート部材６の四隅にカラーペーパーを差し込むことにより固定可能なポケットを設けることによるもの等、任意の手法を用いることができる。
【００５３】
これにより、撮影環境に含まれる色とは異なる色となるようにシート部材６の表面の色を変更できるため、円形領域Ｒ１と背景領域Ｒ２との区別が容易となり、その結果、より容易に円形領域Ｒ１の中心座標を算出することができる。
【００５４】
また、シート部材６を、例えば特開２００３−７６３５４号公報等に記載された電子ペーパーからなるものとして、所望とする色となるようにシート部材の表面の色を変更するようにしてもよい。この場合、シート部材６の表面を所定の色に設定した後にデジタルカメラ３により撮影を行い、これにより取得した全方位画像から仮の円形領域Ｒ１を検出し、円形領域Ｒ１に含まれない色となるようにシート部材６の色を変更し、変更した後に再度全方位画像Ｇ０を取得して、円形領域Ｒ１を検出するようにしてもよい。
【００５５】
これにより、円形領域Ｒ１と背景領域Ｒ２との区別が容易となるようにシート部材６の表面の色を自動で変更できるため、より容易に円形領域Ｒ１の中心座標を求めることができる。
【００５６】
また、上記実施形態においては、領域検出部２２において、左上角部の画素の色と同一の色の画素からなる領域を背景領域Ｒ２として検出しているが、全方位画像Ｇ０をデジタルカメラ３のモニタ２１に表示し、表示された全方位画像Ｇ０において、撮影者が背景領域となる色を指定するようにしてもよい。図１０は全方位画像Ｇ０における色の指定を説明するための図である。図１０に示すように、モニタ２１には全方位画像Ｇ０とともに、色を指定するための矩形の枠Ｐ０が表示されている。撮影者は入力部１７を用いて枠Ｐ０を移動し、所望とする色が枠Ｐ０に含まれた時点において、入力部１７を用いて色を確定することにより、色を指定することができる。そして、領域検出部２２は、撮影者が指定した色と同一画素の画素からなる領域を背景領域Ｒ２として検出する。
【００５７】
これにより、全方位画像Ｇ０の角部の明るさが中央部分の明るさと異なるような場合にも、精度良く全方位画像Ｇ０から円形領域Ｒ１および背景領域Ｒ２を検出することができる。
【００５８】
以上、本発明の実施形態について説明したが、コンピュータを、上記の領域検出部２２および演算部２３に対応する手段として機能させ、図８に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施形態による全方位撮影補助装置および全方位画像処理装置を用いた全方位撮影システムを示す図
【図２】全方位撮影補助装置の構成を示す図
【図３】デジタルカメラの内部構成を示す概略ブロック図
【図４】撮像部の構成を示す図
【図５】本実施形態による全方位撮影システムにおける撮影の状態を示す図
【図６】全方位画像を示す図
【図７】円形領域および背景領域の検出を説明するための図
【図８】本実施形態において行われる処理を示すフローチャート
【図９】シート部材の表面の色を変更する態様を説明するための図
【図１０】全方位画像における色の指定を説明するための図
【図１１】従来の全方位撮影を示す図
【図１２】全方位撮影の撮影原理を説明するための図
【符号の説明】
【００６０】
１ 全方位撮影システム
２ 全方位撮影補助装置
３ デジタルカメラ
５ 全方位ミラー
６ シート部材
７ 円筒部材
２２ 領域検出部
２３ 演算部
【技術分野】
【０００１】
本発明は、全方位ミラーを備えた、全方位撮影に用いられる全方位撮影補助装置、全方位撮影補助装置を用いて撮影することにより取得された全方位画像の処理装置および方法、並びに全方位画像処理方法をコンピュータに実行させることを特徴とするプログラムに関するものである。
【背景技術】
【０００２】
断面が球、放物線、双曲線等の形状を有する全方位ミラーを用いて、側方３６０度の視野角を持つ全方位撮影を行う方式が知られている。図１１は全方位撮影を説明するための図である。図１１に示すように、全方位撮影には、断面が球、放物線、双曲線等の形状を有する全方位ミラー５５が用いられる。全方位ミラー５５は透明の円筒部材５６の一端部に取り付けられており、他端部にはカメラ５３が取り付けられる。
【０００３】
図１２は全方位撮影の撮影原理を説明するための図である。空間上の点Ｘにおける光は、全方位ミラー５５において反射して、カメラ５３のＣＣＤ６０の撮像面に結像する。このため、カメラ５３を上方に向け、全方位ミラー５５を取り付けて撮影を行うことにより、図６に示すように全方位画像を得ることができる。なお、全方位画像は、全方位ミラーの反射像に対応する円形領域と、円形領域以外の背景領域とを有するものとなる。ここで、全方位画像における背景領域は、全方位ミラーの背景の画像（例えば空）となっている。
【０００４】
このような全方位撮影により取得された全方位画像は、円形領域の中心座標等の情報を用いて変換することにより、３６０度のパノラマ画像として表示することができる。このように全方位画像を変換するためには、全方位画像の中心座標が必要である。このため、全方位画像を二値化し、これにより得られる円形領域の重心を算出することにより、全方位画像の中心座標を求める手法が提案されている（特許文献１，２参照）。また、撮影時にマーカーが写し込まれるようにし、全方位画像におけるマーカーの位置に基づいて、円形領域の中心座標を算出する手法も提案されている（特許文献３参照）。
【特許文献１】特開２００３−３３３５８２号公報
【特許文献２】特開２００３−３０３３４８号公報
【特許文献１】特開２００３−３０４５３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１，２に記載された手法は、二値化処理により中心座標を算出するものであるため、全方位画像における円形画像と背景領域との明るさの差が小さいと、二値化処理によって円形領域と背景領域とを適切に分離することができず、その結果、中心座標を精度良く求めることができなくなってしまう。また、特許文献３に記載された手法では、マーカーの位置合わせが適切に行われないと、求めた中心座標が本来の位置からずれてしまう。
【０００６】
本発明は上記事情に鑑みなされたものであり、全方位画像における円形領域の中心座標を精度良く求めることを目的とする。
【課題を解決するための手段】
【０００７】
本発明による全方位撮影補助装置は、全方位ミラーを備えた、全方位撮影に用いられる全方位撮影補助装置において、
表面が単一色のシート部材に前記全方位ミラーが装着されてなることを特徴とするものである。
【０００８】
なお、本発明による全方位撮影補助装置においては、前記シート部材を、前記表面の色を変更可能なものとしてもよい。
【０００９】
シート部材の表面の色の変更は、例えばシート部材を、全方位ミラーをその中心位置に固定した平面状の部材から構成し、各種色のシートを平面状の部材に交換可能に取り付けるようにすることにより、実現することができる。
【００１０】
また、シート部材を、例えば特開２００３−７６３５４号公報等に記載された電子ペーパーからなるものとして、所望とする色のシート部材の色を変更するようにしてもよい。
【００１１】
本発明による全方位画像処理装置は、本発明による全方位撮影補助装置を用いて撮影を行うことにより取得された全方位画像における、単一色の背景領域および前記全方位ミラーの反射像に対応する円形領域を検出する領域検出手段と、
前記円形領域の中心座標を算出する演算手段とを備えたことを特徴とするものである。
【００１２】
なお、本発明による全方位画像処理装置においては、前記全方位画像上における色の指定を受け付ける指定手段をさらに備えるものとし、
前記領域検出手段を、前記指定された色に基づいて前記背景領域を検出する手段としてもよい。
【００１３】
また、本発明による全方位画像処理装置においては、前記中心座標を基準として前記円形領域が内接する領域を前記全方位画像から選択する領域選択手段と、
前記選択された領域の画像を保存する画像保存手段とをさらに備えるものとしてもよい。
【００１４】
本発明による全方位画像処理方法は、本発明による全方位撮影補助装置を用いて撮影を行うことにより取得された全方位画像における、単一色の背景領域および前記全方位ミラーの反射像に対応する円形領域を検出し、
前記円形領域の中心座標を算出することを特徴とするものである。
【００１５】
なお、本発明による全方位撮影処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１６】
本発明による全方位撮影補助装置は、表面が単一色のシート部材に全方位ミラーが装着されてなるため、本発明による全方位撮影補助装置を用いて撮影を行うことにより取得された全方位画像においては、円形領域の背景はシート部材の表面と同一の単一色となる。このため、撮影環境の明るさに拘わらず、全方位画像を円形領域と背景領域とに分離することが容易となり、その結果、円形領域の中心座標を精度良く求めることができる。
【００１７】
また、シート部材の表面の色を変更可能とすることにより、撮影環境に含まれる色とは異なる色となるようにシート部材の表面の色を変更できるため、円形領域と背景領域との区別が容易となり、その結果、より容易に円形領域の中心座標を算出することができる。
【００１８】
また、中心座標を算出した後に、中心座標を基準として円形領域が内接する領域を全方位画像から選択し、選択された領域の画像を保存することにより、保存される画像の容量を低減することができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による全方位撮影補助装置および全方位画像処理装置を用いた全方位撮影システムを示す図である。図１に示すように、本実施形態による全方位撮影システム１は、全方位撮影補助装置２と、デジタルカメラ３とを備える。
【００２０】
図２は全方位撮影補助装置２の構成を示す図である。図２に示すように、全方位撮影補助装置２は、全方位ミラー５、シート部材６および円筒部材７からなる。
【００２１】
全方位ミラー５は、断面が球、放物線、双曲線等の形状を有する半円形状をなしており、シート部材６の略中央位置に装着されている。
【００２２】
シート部材６は、全方位ミラー５が装着されている以外の部分の表面が単一色により着色されている。なお、着色する色としては、撮影時の空、地面等の大きく異なる色であることが好ましく、例えばピンク色とすることが好ましい。
【００２３】
円筒部材７は、樹脂およびガラス等の透明材料からなり、その一端部に全方位ミラー５が取り付けられ、他端部にデジタルカメラ３が取り付けられている。
【００２４】
図３はデジタルカメラの内部構成を示す概略ブロック図である。図３に示すように、デジタルカメラ３は、撮像部１２、撮像制御部１３、信号処理部１４、圧縮／伸長処理部１５、フレームメモリ１６、メディア制御部１７、内部メモリ１８、および表示制御部１９を備える。
【００２５】
図４は撮像部１２の構成を示す図である。図４に示すように、撮像部１２は、レンズ３０、絞り３１、シャッタ３２、ＣＣＤ３３、アナログフロントエンド（ＡＦＥ）３４およびＡ／Ｄ変換部３５をそれぞれ備える。
【００２６】
レンズ３０は、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、不図示のレンズ駆動部によりその位置が調整される。
【００２７】
絞り３１は、不図示の絞り駆動部により、ＡＥ処理により得られる絞り値データに基づいて絞り径の調整が行われる。
【００２８】
シャッタ３２はメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。
【００２９】
ＣＣＤ３３は、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ３３の前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
【００３０】
ＡＦＥ３４は、ＣＣＤ３３から出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。
【００３１】
Ａ／Ｄ変換部３５は、ＡＦＥ３４によりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮像部２のＣＣＤ３３において取得され、デジタル信号に変換されることにより得られる画像データは、画素ごとにＲ，Ｇ，Ｂの濃度値を持つＲＡＷデータである。
【００３２】
撮像制御部１３は、レリーズボタン押下後に撮像の制御を行う。また、レリーズボタンの半押し操作により、ＡＦ処理およびＡＥ処理を行って、焦点位置、絞り値データおよびシャッタスピードを設定する。なお、撮像制御部１３は、レリーズボタンが押下されていない状態においては、スルー画像の撮影を行うよう撮像部１２を制御する。
【００３３】
信号処理部１４は、撮像部１２が取得したデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の信号処理を施す。
【００３４】
圧縮／伸長処理部１５は、信号処理部１４によって処理が施された画像データ対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を施して画像ファイルを生成する。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が記述されたヘッダが付与される。
【００３５】
フレームメモリ１６は、撮像部１２が取得した画像を表す画像データに対して、前述の信号処理部１４が行う処理を含む各種処理を行う際に使用する作業用メモリである。
【００３６】
メディア制御部１７は、記録メディア２０にアクセスして画像ファイルの書き込みと読み出しの制御を行う。
【００３７】
内部メモリ１８は、デジタルカメラ３において設定される各種定数、およびＣＰＵ２６が実行するプログラム等を記憶する。
【００３８】
表示制御部１９は、フレームメモリ１６に格納された画像データをモニタ２１に表示させたり、記録メディア２０に記録されている画像をモニタ２１に表示させたりするためのものである。
【００３９】
また、デジタルカメラ３は、領域検出部２２および演算部２３を備える。
【００４０】
領域検出部２２は、撮影により取得された全方位画像における全方位ミラー５の反射像に対応する円形領域Ｒ１および単一色の背景領域Ｒ２を検出する。ここで、本実施形態による全方位撮影システム１は、図５に示すように、デジタルカメラ３を上方に向けて全方位撮影補助装置２を取り付けて撮影を行うことにより、全方位ミラー５の周囲３６０度の全方位画像を取得するものである。図６は全方位画像を示す図である。図６に示すように全方位画像Ｇ０は、全方位ミラー５の反射像に対応する円形領域Ｒ１と、全方位撮影補助装置２におけるシート部材６の表面の色を有する背景領域Ｒ２とからなるものとなる。
【００４１】
なお、本実施形態による全方位撮影システム１においては、全方位ミラー５の頂部と、デジタルカメラ３のレンズとが正対しているため、デジタルカメラ３のＣＣＤ３３には像が結像しない。これにより、全方位ミラー５の反射像の中心部分が黒色の領域となるため、円形領域は中心に黒色の領域を有する円環状の画像を表すものとなっている。
【００４２】
領域検出部２２は、全方位画像Ｇ０における角部（例えば左上角部）における画素の色を基準色として取得し、基準色と同一色の画素からなる領域と、それ以外の領域とに全方位画像Ｇ０を分離し、前者を背景領域Ｒ２、後者を円形領域Ｒ１として検出する。
【００４３】
演算部２３は、円形領域Ｒ１の重心位置を、円形領域Ｒ１の中心座標として算出する。なお、重心の算出に代えて、特許文献１に記載されているハフ変換を用いる手法等、公知の任意の手法を用いることができる。
【００４４】
なお、圧縮／伸長処理部１５は、画像ファイルを生成する場合、図７に示すように、演算部２３が算出した円形領域Ｒ１の中心座標Ｏ１を基準として、円形領域Ｒ１の直径を一辺とする矩形領域Ｋ０を全方位画像Ｇ０から切り出し、矩形領域Ｋ０のみから画像ファイルを生成する。なお、円形領域Ｒ１は矩形領域Ｋ０に内接することとなる。
【００４５】
ＣＰＵ２６は、十字キー、各種操作ボタンおよびレリーズボタンを含む入力部２７からの信号に応じてデジタルカメラ３の各部を制御する。
【００４６】
データバス２８は、デジタルカメラ３を構成する各部およびＣＰＵ２６に接続されており、デジタルカメラ３における各種データおよび各種情報のやり取りを行う。
【００４７】
次いで、本実施形態において行われる処理について説明する。図８は本実施形態において行われる処理を示すフローチャートである。図５に示すように全方位撮影システム１をセットして、撮影者が撮影を行うことによりデジタルカメラ３のＣＰＵ２６が処理を開始し、領域検出部２２が、撮影により取得された全方位画像（信号処理は処理済みであっても未処理であってもよい）の左上角部の画素の色を基準色として取得し（ステップＳＴ１）、処理対象を最初の画素（すなわち左上角部の画素の右側に隣接する画素）に設定する（ステップＳＴ２）。そして、処理対象画素の色が基準色であるか否かを判定し（ステップＳＴ３）、ステップＳＴ３が肯定されると、処理対象画素を背景領域Ｒ２の画素に分類する（ステップＳＴ４）。一方、ステップＳＴ３が否定されると、処理対象画素を円形領域Ｒ１の画素に分類する（ステップＳＴ５）。
【００４８】
ステップＳＴ４，５に続いて、領域検出部２２は、すべての画素の分類を終了したか否かを判定し（ステップＳＴ６）、ステップＳＴ６が否定されると、処理対象を次の画素に変更し（ステップＳＴ７）、ステップＳＴ３に戻り、ステップＳＴ３以降の処理を繰り返す。そして、ステップＳＴ６が肯定されると、それぞれに分類された画素からなる領域を円形領域Ｒ１および背景領域Ｒ２として検出する。
【００４９】
次いで、演算部２３が円形領域Ｒ１の中心座標を算出する（ステップＳＴ８）。そして、必要であれば信号処理部１４が信号処理を行った後、圧縮／伸長処理部１５が全方位画像Ｇ０から矩形領域Ｋ０を選択し（ステップＳＴ９）、矩形領域Ｋ０の画像からなる画像ファイルを生成する（ステップＳＴ１０）。そして、メディア制御部１７が画像ファイルを記録メディア２０に記録し（ステップＳＴ１１）、処理を終了する。
【００５０】
このように、本実施形態においては、全方位撮影補助装置２を、表面が単一色のシート部材６に全方位ミラー５を装着することにより構成したため、撮影により取得された全方位画像Ｇ０においては、円形領域Ｒ１の背景はシート部材の表面と同一の単一色となる。このため、撮影環境の明るさに拘わらず、全方位画像Ｇ０を円形領域Ｒ１と背景領域Ｒ２とに分類することが容易となり、その結果、円形領域Ｒ１の中心座標を精度良く求めることができる。
【００５１】
また、中心座標を算出した後に、中心座標を基準として円形領域Ｒ１が内接する矩形領域Ｋ０を全方位画像Ｇ０から選択し、選択された矩形領域Ｋ０から画像ファイルを生成することにより、保存される画像ファイルの容量を低減することができる。
【００５２】
なお、上記実施形態においては、シート部材６の表面の色を変更可能としてもよい。例えば、図９に示すように、シート部材６の形状に適合する形状を有し、全方位ミラー５に対応する部分に開口部を有する各種色からなるカラーペーパーＳ１〜Ｓ４を用意しておき、撮影者が撮影環境の色と異なる色を有するカラーペーパーをシート部材６に取り付けることにより、シート部材６の表面の色を変更するようにしてもよい。なお、図９においては、カラーペーパーＳ１〜Ｓ４の色が異なることを模様が異なることにより示している。また、カラーペーパーのシート部材６への取り付けは、剥がすことが容易な接着剤を用いることによるものであってもよく、シート部材６の四隅にカラーペーパーを差し込むことにより固定可能なポケットを設けることによるもの等、任意の手法を用いることができる。
【００５３】
これにより、撮影環境に含まれる色とは異なる色となるようにシート部材６の表面の色を変更できるため、円形領域Ｒ１と背景領域Ｒ２との区別が容易となり、その結果、より容易に円形領域Ｒ１の中心座標を算出することができる。
【００５４】
また、シート部材６を、例えば特開２００３−７６３５４号公報等に記載された電子ペーパーからなるものとして、所望とする色となるようにシート部材の表面の色を変更するようにしてもよい。この場合、シート部材６の表面を所定の色に設定した後にデジタルカメラ３により撮影を行い、これにより取得した全方位画像から仮の円形領域Ｒ１を検出し、円形領域Ｒ１に含まれない色となるようにシート部材６の色を変更し、変更した後に再度全方位画像Ｇ０を取得して、円形領域Ｒ１を検出するようにしてもよい。
【００５５】
これにより、円形領域Ｒ１と背景領域Ｒ２との区別が容易となるようにシート部材６の表面の色を自動で変更できるため、より容易に円形領域Ｒ１の中心座標を求めることができる。
【００５６】
また、上記実施形態においては、領域検出部２２において、左上角部の画素の色と同一の色の画素からなる領域を背景領域Ｒ２として検出しているが、全方位画像Ｇ０をデジタルカメラ３のモニタ２１に表示し、表示された全方位画像Ｇ０において、撮影者が背景領域となる色を指定するようにしてもよい。図１０は全方位画像Ｇ０における色の指定を説明するための図である。図１０に示すように、モニタ２１には全方位画像Ｇ０とともに、色を指定するための矩形の枠Ｐ０が表示されている。撮影者は入力部１７を用いて枠Ｐ０を移動し、所望とする色が枠Ｐ０に含まれた時点において、入力部１７を用いて色を確定することにより、色を指定することができる。そして、領域検出部２２は、撮影者が指定した色と同一画素の画素からなる領域を背景領域Ｒ２として検出する。
【００５７】
これにより、全方位画像Ｇ０の角部の明るさが中央部分の明るさと異なるような場合にも、精度良く全方位画像Ｇ０から円形領域Ｒ１および背景領域Ｒ２を検出することができる。
【００５８】
以上、本発明の実施形態について説明したが、コンピュータを、上記の領域検出部２２および演算部２３に対応する手段として機能させ、図８に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施形態による全方位撮影補助装置および全方位画像処理装置を用いた全方位撮影システムを示す図
【図２】全方位撮影補助装置の構成を示す図
【図３】デジタルカメラの内部構成を示す概略ブロック図
【図４】撮像部の構成を示す図
【図５】本実施形態による全方位撮影システムにおける撮影の状態を示す図
【図６】全方位画像を示す図
【図７】円形領域および背景領域の検出を説明するための図
【図８】本実施形態において行われる処理を示すフローチャート
【図９】シート部材の表面の色を変更する態様を説明するための図
【図１０】全方位画像における色の指定を説明するための図
【図１１】従来の全方位撮影を示す図
【図１２】全方位撮影の撮影原理を説明するための図
【符号の説明】
【００６０】
１ 全方位撮影システム
２ 全方位撮影補助装置
３ デジタルカメラ
５ 全方位ミラー
６ シート部材
７ 円筒部材
２２ 領域検出部
２３ 演算部
【特許請求の範囲】
【請求項１】
全方位ミラーを備えた、全方位撮影に用いられる全方位撮影補助装置において、
表面が単一色のシート部材に前記全方位ミラーが装着されてなることを特徴とする全方位撮影補助装置。
【請求項２】
前記シート部材が、前記表面の色を変更可能であることを特徴とする請求項１記載の全方位撮影補助装置。
【請求項３】
請求項１または２記載の全方位撮影補助装置を用いて撮影を行うことにより取得された全方位画像における、単一色の背景領域および前記全方位ミラーの反射像に対応する円形領域を検出する領域検出手段と、
前記円形領域の中心座標を算出する演算手段とをさらに備えたことを特徴とする全方位画像処理装置。
【請求項４】
前記全方位画像上における色の指定を受け付ける指定手段をさらに備え、
前記領域検出手段は、前記指定された色に基づいて前記背景領域を検出する手段であることを特徴とする請求項３記載の全方位画像処理装置。
【請求項５】
前記中心座標を基準として前記円形領域が内接する領域を前記全方位画像から選択する領域選択手段と、
前記選択された領域の画像を保存する画像保存手段とを備えたことを特徴とする請求項３または４記載の全方位画像処理装置。
【請求項６】
請求項１または２記載の全方位撮影補助装置を用いて撮影を行うことにより取得された全方位画像における、単一色の背景領域および前記全方位ミラーの反射像に対応する円形領域を検出し、
前記円形領域の中心座標を算出することを特徴とする全方位画像処理方法。
【請求項７】
請求項１または２記載の全方位撮影補助装置を用いて撮影を行うことにより取得された全方位画像における、単一色の背景領域および前記全方位ミラーの反射像に対応する円形領域を検出する手順と、
前記円形領域の中心座標を算出する手順とを有することを特徴とする全方位画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
全方位ミラーを備えた、全方位撮影に用いられる全方位撮影補助装置において、
表面が単一色のシート部材に前記全方位ミラーが装着されてなることを特徴とする全方位撮影補助装置。
【請求項２】
前記シート部材が、前記表面の色を変更可能であることを特徴とする請求項１記載の全方位撮影補助装置。
【請求項３】
請求項１または２記載の全方位撮影補助装置を用いて撮影を行うことにより取得された全方位画像における、単一色の背景領域および前記全方位ミラーの反射像に対応する円形領域を検出する領域検出手段と、
前記円形領域の中心座標を算出する演算手段とをさらに備えたことを特徴とする全方位画像処理装置。
【請求項４】
前記全方位画像上における色の指定を受け付ける指定手段をさらに備え、
前記領域検出手段は、前記指定された色に基づいて前記背景領域を検出する手段であることを特徴とする請求項３記載の全方位画像処理装置。
【請求項５】
前記中心座標を基準として前記円形領域が内接する領域を前記全方位画像から選択する領域選択手段と、
前記選択された領域の画像を保存する画像保存手段とを備えたことを特徴とする請求項３または４記載の全方位画像処理装置。
【請求項６】
請求項１または２記載の全方位撮影補助装置を用いて撮影を行うことにより取得された全方位画像における、単一色の背景領域および前記全方位ミラーの反射像に対応する円形領域を検出し、
前記円形領域の中心座標を算出することを特徴とする全方位画像処理方法。
【請求項７】
請求項１または２記載の全方位撮影補助装置を用いて撮影を行うことにより取得された全方位画像における、単一色の背景領域および前記全方位ミラーの反射像に対応する円形領域を検出する手順と、
前記円形領域の中心座標を算出する手順とを有することを特徴とする全方位画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−２００３１（Ｐ２０１０−２００３１Ａ）
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願番号】特願２００８−１７９６９７（Ｐ２００８−１７９６９７）
【出願日】平成２０年７月１０日（２００８．７．１０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１０４１８９
【弁理士】
【氏名又は名称】福尾 勲将
【Ｆターム（参考）】
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願日】平成２０年７月１０日（２００８．７．１０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１０４１８９
【弁理士】
【氏名又は名称】福尾 勲将
【Ｆターム（参考）】
[ Back to top ]