広視野角画像処理方法と広視野角画像撮影装置

【課題】簡単な構造で、半天球以上の広視野角映像を高解像度で得ることができる広視野角画像処理方法と撮影装置を提供する。
【解決手段】側方の光が入射可能な凸レンズ状に形成された環状の光入射面と、環状の第一反射面と、中央部に設けられた第二反射面と、第二反射面からの光を透過する光出射面とから成るパノラマ撮像レンズ２１を装着した、第１のカメラ２２を有する。魚眼レンズ２３を装着した第２のカメラ２４を有する。パノラマ撮像レンズ２１と魚眼レンズ２３の光軸とを一致させて、第１、第２のカメラ２２，２４を切り替え可能または近接して配置する。パノラマ撮像レンズ２１により撮影した画像と、魚眼レンズ２３により撮影した画像とを合成する合成手段を備える。第１、第２のカメラ２２，２４により撮影した両画像の共通領域ｃについて、所定位置からの距離をパラメータとして変化する係数を乗じた値により、共通領域ｃの各画素情報値を決定する。

【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、パノラマ撮影可能なレンズを用いて広角に撮影を行う広視野角画像処理方法と広視野角画像撮影装置に関する。
【背景技術】
【０００２】
従来、広視野角のレンズとして、特許文献１に開示されているように、レンズの周囲３６０°の視界を一度に撮像できるパノラマ撮像レンズがある。このパノラマ撮像レンズ１は、図２０に示すように、光学ガラスや透明樹脂等の光透過性の素材により、レンズの中心である光軸回りに回転対称に形成されている。そして、パノラマ撮像レンズ１は、３６０°全周から側方の光が入射する環状の光入射面２と、この光入射面２と隣接し略対向するようにして環状に形成され、レンズ１内へ光を反射する第一反射面３と、光入射面２の環内の中央部に設けられ第一反射面３からの反射光を第一反射面３の環の内側部分に向けて反射する第二反射面４を備えている。第一反射面３の環内中央部には、第二反射面４と対向する位置に、第二反射面４からの光を透過する光出射面５が形成されている。
【０００３】
光入射面２は側方に膨らんだ凸レンズ状に形成され、中心部の第二反射面４はレンズ外から見て凹面状に形成され、レンズ１の内面側が凸面鏡状の反射面となっている。また、光入射面２に隣接した第一反射面３は、側方に膨らんだ凸面状に形状され、レンズ１の内面側が第二反射面４の方向を向いた環状の凹面鏡の反射面となっている。光出射面５は、適宜凹面や凸面または平面状に形成されている。
【０００４】
このパノラマ撮像レンズ１を用いたパノラマ撮像装置は、図２０に示すように、パノラマ撮像レンズ１とその光軸上に設けられた結像用のリレーレンズ６とを保持したレンズホルダ７、及び図示しないケース等から成るパノラマ撮像レンズユニット８と、このパノラマ撮像レンズユニット８が取り付けられるカメラ１０から成る。カメラ１０は、像を捉える対物レンズ系１１と、その結像位置に設けられたＣＣＤ等の撮像素子１２、その他図示しない必要な制御部等を備えている。そして、パノラマ撮像レンズ１により捉えられた３６０°のパノラマ風景１３の画像１４は、カメラ１０の撮像素子１２により電気信号に変換されて、液晶ディスプレイ等の各種モニタ装置１５に映し出される。
【０００５】
また、半天球以上の広視野角映像を得る手法として、特許文献２に開示されているように、凸面鏡と、この凸面鏡に対向して配置されるとともに凸面鏡よりも前面側の被撮影部を撮る第一カメラと、凸面鏡の背面側に配置されるとともに凸面鏡の背面側からの光を取り入れる広角レンズと、該広角レンズとは離れたところに配置された第二カメラと、広角レンズと第二カメラとの間に設けられた光伝送部とを備え、第一カメラと第二カメラからの各映像を合成して半球状の広視野角映像を得る撮像装置も提案されている。
【０００６】
その他、半天球以上の広視野角を得る手法として、複数台の通常のカメラで撮影された画像を合成して得る手法や、魚眼レンズを装着したカメラを背中合わせに２台設置し撮影したものを合成する手法等が存在する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−１６７１９３号公報
【特許文献２】特開２００２−２７１６７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記特許文献１に開示されたパノラマ撮像システムの光学系は、視野角が広く、広範囲の観察を可能にするものであるが、図２０に示すように、画像中央部ｅはパノラマ撮像レンズ１の死角となる部分で、映像が映らないものである。また、パノラマ撮像レンズ１による画像は、画像の中心部へ向かうに従い画像の分解能が低下するものである。
【０００９】
また、特許文献２に開示された撮像装置の場合、２種類の広視野角映像を合成することによる合成部分の継ぎ目が目立つものである。また、凸面鏡を用いるため、レンズとの光学的調整が難しく装置が大型化するものである。
【００１０】
その他、上述の複数台のカメラ画像を合成して広視野角を得る手法は、複数画像間の射影行列を一致させるための幾何学変換における処理が難しいと言う問題がある。また、魚眼レンズを背中合わせに用いる方法は、魚眼レンズ同士の画像間の共通領域がない、あるいは非常に少ないため、画像間の合成が困難となり、生成された画像は合成の境界が目立つと言う問題がある。さらに、魚眼レンズは、画像の周縁部分がぼやけるとともに潰れて、解像度が低いものであった。
【００１１】
この発明は、上記背景技術に鑑みてなされたもので、簡単な構造で、半天球以上の広視野角映像を高解像度で得ることができる広視野角画像処理方法と広視野角画像撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
この発明は、光透過性の素材により形成され、レンズ中心の光軸回りに回転対称に形成されて、３６０°全周から光が入射可能な曲面状に形成された環状の光入射面と、この光入射面と互いに対向するように環状に形成され外方に膨らんだ形状に形成されこのレンズ内へ光を反射するように凹面鏡状に形成された第一反射面と、前記光入射面の環内の中央部に設けられ前記第一反射面からの反射光を前記第一反射面の環の内側部分に向けて反射する凸面鏡状の第二反射面と、前記第一反射面の環内中央部に位置し前記第二反射面と対向して前記第二反射面からの光を透過する光出射面とから成るパノラマ撮像レンズを装着した第１のカメラと、広角レンズを装着した第２のカメラを設け、前記パノラマ撮像レンズと前記広角レンズの光軸とを一致させて前記第１、第２のカメラを切り替え可能または近接して配置し、前記パノラマ撮像レンズにより撮影した画像と前記広角レンズにより撮影した画像とを合成する合成手段により、前記第１、第２のカメラにより撮影した両画像の共通領域について、前記両画像の所定位置からの距離をパラメータとして変化する係数を乗じた値により、前記共通領域の両画像の各画素の出力値等の画素情報値を決定する広視野角画像処理方法である。
【００１３】
前記合成手段により合成される前記共通領域の両画像の各画素の画素情報値は、前記両画像についての前記共通領域との境界からの距離の割合に比例する係数を、前記共通領域の両画像の画素毎に求めて、この係数を前記共通領域の両画像の各画素の値に乗じた値を、互いに対応する前記画素毎に加算して決定するものである。
【００１４】
前記パノラマ撮像レンズにより撮影した画像と前記広角レンズにより撮影した画像とを合成する際に、前記パノラマ撮像レンズと前記広角レンズの各レンズ特性を基に、前記広角レンズにより撮影した画像を前記パノラマ撮像レンズにより撮影した画像状態に変換して、前記合成手段により前記共通領域の前記両画像の各画素の画素情報値を、各々の領域からの距離の割合に比例する係数を乗じた値を求めるとともにこの値を対応する画素毎に加算して決定するものである。
【００１５】
またこの発明は、光透過性の素材により形成され、レンズ中心の光軸回りに回転対称に形成されて、３６０°全周から光が入射可能な曲面状に形成された環状の光入射面と、この光入射面と互いに対向するように環状に形成され外方に膨らんだ形状に形成されこのレンズ内へ光を反射するように凹面鏡状に形成された第一反射面と、前記光入射面の環内の中央部に設けられ前記第一反射面からの反射光を前記第一反射面の環の内側部分に向けて反射する凸面鏡状の第二反射面と、前記第一反射面の環内中央部に位置し前記第二反射面と対向して前記第二反射面からの光を透過する光出射面とから成るパノラマ撮像レンズを装着した第１のカメラと、広角レンズを装着した第２のカメラを備え、前記パノラマ撮像レンズと前記広角レンズの光軸を一致させて前記第１、第２のカメラを近接して配置し、前記パノラマ撮像レンズにより撮影した画像と前記広角レンズにより撮影した画像とを合成する合成手段を有し、前記合成手段は、前記第１、第２のカメラにより撮影した両画像の共通領域について、前記両画像の所定位置からの距離をパラメータとして変化する係数を乗じた値により、前記共通領域の両画像の各画素の出力値等の画素情報値を決定し、前記共通領域の画像を合成する広視野角画像撮影装置である。
【００１６】
前記広角レンズは、魚眼レンズである。また、前記広角レンズを、前記パノラマ撮像レンズの死角の範囲内に配置するものである。
【発明の効果】
【００１７】
この発明の広視野角画像処理方法と広視野角画像撮影装置によれば、パノラマ撮像レンズよる撮影画像と魚眼レンズ等の広角レンズによる撮影画像を合成することにより、パノラマ撮像レンズによる撮影画像の死角をなくし、カメラの光軸方向に対して半球以上の範囲を、高解像度で撮影することができる。これにより、監視カメラやその他のモニタ装置について、より広範囲の撮影を簡単な装置で高精度に可能とするものである。
【００１８】
さらに、パノラマ撮像レンズによる撮影画像と広角レンズによる撮影画像との合成は、合成領域において、両画像からの距離による係数を乗じて、各画素の出力値等の画素情報値を決定し、画像を合成したので、撮影画像の合成領域において、合成する両画像の明るさや色等の画素値が連続的に変化し、境界がなめらかとなり目立たなくなるものである。
【図面の簡単な説明】
【００１９】
【図１】この発明の一実施形態の広視野角画像撮影装置の概略構成図である。
【図２】この実施形態のパノラマ撮像レンズの視野角を示す概略図である。
【図３】この実施形態のパノラマ撮像レンズにより撮影した画像である。
【図４】この実施形態の魚眼レンズの視野角を示す概略図である。
【図５】この実施形態の魚眼レンズにより撮影した画像である。
【図６】この実施形態の広視野角画像撮影装置により撮影した画像の合成処理を示すフローチャートである。
【図７】この実施形態の広視野角画像撮影装置により撮影した画像の展開を示す概念図である。
【図８】この実施形態の広視野角画像撮影装置により撮影した画像の共通領域の対応を示す図である。
【図９】この実施形態のパノラマ撮像レンズのレンズ特性を測定するために用いる円筒体を示す図である。
【図１０】この実施形態のパノラマ撮像レンズのレンズ特性を測定する方法を示す図である。
【図１１】この実施形態のパノラマ撮像レンズによる画像のピクセル位置ｐ_ａと画角αの関係を示すグラフである。
【図１２】この実施形態のパノラマ撮像レンズによる共通領域の画像のピクセル位置ｐ_ａと魚眼レンズによる画像のピクセル位置ｐ_ｂとの関係を示すグラフである。
【図１３】この実施形態の魚眼レンズによる画像のピクセル位置ｐ_ｂと、その魚眼レンズによる撮影画像の各ピクセルについて、対応するパノラマ撮像レンズによる画像の各ピクセルの画角αとの関係をプロットしたグラフ（ａ）と、これを基に求めた式による曲線のグラフ（ｂ）である。
【図１４】この実施形態の広視野角画像撮影装置により撮影された画像の共通領域の合成領域について、合成方法を説明する概略図である。
【図１５】この実施形態の広視野角画像撮影装置による撮影画像を、環状の画像のまま合成する方法を示す図である。
【図１６】この実施形態の広視野角画像撮影装置による撮影画像の環状の合成画像を展開する方法を示す図である。
【図１７】この実施形態の広視野角画像撮影装置により撮影した画像を合成して展開するようすを示す概念図である。
【図１８】この実施形態の広視野角画像撮影装置により撮影した画像を合成して展開した状態を示す図である。
【図１９】この実施形態の広視野角画像撮影装置により撮影した画像に重み付けをせずに合成した図（ａ）と、画像の合成に重み付けを行った場合の環状の画像（ｂ）を示す図である。
【図２０】パノラマ撮像レンズ及びカメラを示す概略図である。
【発明を実施するための最良の形態】
【００２０】
以下、この発明の実施の形態について図面に基づいて説明する。図１はこの発明の一実施形態を示すもので、この実施形態の広視野角画像撮影装置２０は、図２０に示すパノラマ撮像レンズ１と同様のパノラマ撮像レンズ２１を装着したカメラ２２と、広角レンズである魚眼レンズ２３を装着したカメラ２４とを用いる。
【００２１】
パノラマ撮像レンズ２１の視野角は、図２に示すように、３６０°全方位の視野角を有し、例えば仰角５０°、俯角１５°の撮影領域ａを有する。パノラマ撮像レンズ２１を用いて、光軸を垂直方向に向けて室内の様子を撮影すると、光軸の上方下方が死角となり、その周囲に環状の撮影画像がカメラ２２の撮像素子に結像し、図３に示すように、中央部ｅが黒く表れる撮影画像Ａがモニタに映し出される。
【００２２】
魚眼レンズ２３は、図４に示すように、光軸方向前方に１８０°の視野角を有し、半球状の撮影領域ｂを有する。魚眼レンズ２３を用いて同様に室内の様子を撮影すると、円形の撮影画像が撮像素子に結像し、図５に示すような撮影画像Ｂがモニタに映し出される。
【００２３】
この実施形態の広視野角画像撮影装置２０は、パノラマ撮像レンズ２１を装着したカメラ２２と魚眼レンズ２３を装着したカメラ２４の、各レンズ２１，２３の光軸を一致させて、三脚２６等に２台のカメラ２２，２４を固定する。または、三脚２６の同じ固定位置に、撮影毎に光軸を一致させて２台のカメラ２２，２４を交互に装着する。この状態で、各カメラ２２，２４による撮影画像は、図１に示すように、魚眼レンズ２３の半球状の撮影領域ｂに加えて、パノラマ撮像レンズ２１の仰角方向から俯角までの３６０°全周の撮影領域ａを合わせた撮影領域の画像を得ることができる。そして、パノラマ撮像レンズ２１の仰角方向から、魚眼レンズ２３の周縁部に至る方向である光軸に対して直角方向の画角までの領域が、共通の撮影領域である共通領域ｃとなる。
【００２４】
次に、この実施形態の広視野角画像撮影装置２０により撮影された画像の処理について、図６のフローチャートを基にして以下に説明する。以下の処理は、コンピュータ等の画像処理装置である画像の合成手段により行われるもので、以下の処理を行うアルゴリズムにより作成された所定のソフトウェアにより実行される。
【００２５】
先ず、各カメラ２１，２３の撮像素子により画像を各々取得し、同心円状に得られた画像をコンピュータに取り込み、共通領域ｃを認識する。この共通領域ｃの判断は、人手によりマニュアルで行っても良いが、画像処理により、コンピュータ側に自動的に認識しても良い。次に、パノラマ撮像レンズ２１を装着したカメラ２２と魚眼レンズ２３を装着したカメラ２４による各撮影画像Ａ，Ｂの共通領域ｃを抽出し、共通領域ｃについて各々対応付けが可能な共通の撮影箇所（点）の画像上の対応点を各々抽出する（Ｓ１１）。次に、図８に示すように、この共通の対応点の同一の撮影箇所同士を対応付けする（Ｓ１２）。
【００２６】
このとき、円状の各撮影画像Ａ，Ｂについて、円状の画像のまま対応点の注出及び対応付けを行っても良いが、図７に示すように、図７（ａ）の円状の撮影画像の点ｐ（ｘｉｊ，ｚｉｊ）について、円形画像の中心を原点とする極座標の角度θと距離ｒから、図７（ｃ）に示す展開画像の対応する点（ｘ’ｉｊ，ｚ’ｉｊ）を求める。このとき、図７（ｂ）に示すように、算出した点の展開画像中の位置が、どのピクセル位置に対応するかを判断し基の画像と同じ色及び輝度で表示する。そして、パノラマ撮像レンズ２１の撮影画像Ａの展開画像Ｅと、魚眼レンズ２３の撮影画像Ｂの展開画像Ｆを求め、図８に示すように、共通領域ｃについて、それらに対応する共通の撮影箇所について対応付けする。図８において、縦線の両端が各々対応する共通の撮影箇所を指す。
【００２７】
ここで、別途パノラマ撮像レンズ２１による撮影画像Ａと、撮影領域ａの画角αに対する対応関係をキャリブレーションしておく（Ｓ１３）。このキャリブレーションは、図９，図１０に示すように、パノラマ撮像レンズ２１の撮影領域ａをカバーする円筒体２８を設け、この円筒体２８内に等間隔の目印ｉを設けておき、この目印ｉのレンズ中心からの光軸方向高さｈと光軸から円筒面までの距離ｄにより、各目印ｉの画角αを、α＝arctan（d/h）より求めることができる。目印ｉは例えば等間隔に形成された線から成るゼブラパターンである。目印ｉは、撮像素子上では、同心円の円として表れるがパノラマ撮像レンズ２１の光学特性により等間隔には表れない。そこで、同心円の中心から、各目印ｉが対応する撮影画像の位置を撮影画像Ａのピクセル単位で求める。
【００２８】
求めた角度αとピクセル位置ｐ_ａをグラフにプロットすると、図１１のようになる。これは、パノラマ撮像レンズ２１のレンズ特性を示すものであり、撮影画像Ａのピクセル位置ｐ_ａと角度αの関係式ｐ_ａ＝ｆ(α)と、α＝ｆ(ｐ_ａ)を、このグラフから求めることができる。この式は、図１１のグラフを基に、パノラマ撮像レンズ２１のレンズ特性による画像の画角αから、その画角αに対応する画像のピクセル位置ｐ_ａを算出する式を求める。通常、近似的に以下のような３次式として、各係数を回帰分析により求める。
ｐ_ａ＝ｆ(α)＝Ａα^３＋Ｂα^２＋Ｃα＋Ｄ（１）
これにより求めた式の曲線が、図１１に示す曲線である。
【００２９】
さらに、各撮影画像Ａ，Ｂの共通の撮影領域である共通領域ｃについての共通の撮影箇所に対する各対応点を、図１２に示すように、各撮影画像Ａ，Ｂのピクセル単位でグラフにプロットする。そして、魚眼レンズ２３による撮影画像Ｂのピクセル位置ｐ_ｂに対応するパノラマ撮像レンズ２１による撮影画像Ａの画角αを、先に求めた関係式α＝ｆ(ｐ_ａ)より求めて、図１２のピクセル位置ｐ_ａを画角αに置き換えてグラフに表示すると、図１３（ａ）に示すように表示される。
【００３０】
次に、図１３（ａ）のグラフを基に、魚眼レンズ２３による画像のピクセル位置ｐ_ｂに対応するパノラマ撮像レンズ２１の画像の画角αを算出する補正式を求める（ｓ１４）。この場合も、近似的に以下のような３次式として、各係数を回帰分析により求める。
α＝ｆ(ｐ_ｂ)＝Ｅｐ_ｂ^３＋Ｆｐ_ｂ^２＋Ｇｐ_ｂ＋Ｈ（２）
これにより、図１３（ｂ）に示すような曲線の補正式が得られ、共通領域ｃ以外の魚眼レンズ２３による画像のピクセル位置ｐ_ｂに対応するパノラマ撮像レンズ２１の画角αを算出することができる。
【００３１】
なお、パノラマ撮像レンズ２１のピクセル位置ｐ_ａと角度αの関係式、及び魚眼レンズ２３による撮影画像のピクセル位置ｐ_ｂと、パノラマ撮像レンズ２１のピクセル位置ｐ_ａとの関係が予め分かっている場合は、特にこのキャリブレーションを行う必要がない。
【００３２】
画像の合成には、魚眼レンズ２３による撮影画像Ｂを式（２）によりパノラマ撮像レンズ２１による画像の画角αに置き換えて、さらに式（１）によりパノラマ撮像レンズ２１による画像のピクセル位置に変換する。この後、パノラマ撮像レンズ２１による撮影画像Ａと、補正した魚眼レンズ２３による撮影画像Ｂを合成する。合成に際して、撮影画像Ａ，Ｂの共通領域ｃについて、境界線が目立たないように以下に説明する重み付け処理を行う（ｓ１６）。
【００３３】
先ず、図１４（ａ），（ｂ）に示すように、撮影画像Ａ，Ｂの共通領域ｃ内で合成領域ｊを設定する。合成領域ｊは、共通領域ｃのうち、例えば各画像の解像度が近い範囲で設定する。
【００３４】
次に、図１４（ｃ）に示すように、合成領域ｊの撮影画像における撮像素子の各画素の出力値、または画像上の各ピクセルの出力値である画素情報値Ｖについて、撮影画像上で、レンズ光軸の中心からの半径方向の距離による重み付けを行う。重み付けの処理は、下記式（３）に示すように、魚眼レンズ２３による撮影画像Ｂについて、合成領域ｊとの境界からの距離の割合による係数ｑと、パノラマ撮像レンズ２１による撮影画像Ａについて、合成領域ｊとの境界からの距離の割合による係数（１−ｑ）を、各々撮影画像Ａ，Ｂの画素情報値Ｖａ，Ｖｂに掛けて、その和をその合成領域ｊの一つの画素の画素情報値Ｖとする。
Ｖ＝ｑＶｂ＋（１−ｑ）Ｖａ（３）
【００３５】
そして、図１５に示すように、円状の撮影画像Ａ，Ｂの点ｐ（ｘｉｊ，ｚｉｊ）について、円形画像の中心を原点とする極座標の角度θと距離ｒ（ピクセル位置）について、式（１）、（２）、（３）より、図１５（ｃ）に示す環状の合成画像の対応する点（ｘ’ｉｊ，ｚ’ｉｊ）の画素情報値を求める。このとき、図１５（ｂ）に示すように、算出した点の展開画像中の位置が、どのピクセル位置に対応するかを判断し、補完等する場合には画素位置を推定して表示し、図１６に示すような円形の合成画像を得る。
【００３６】
また、展開画像を生成する場合も、図１７に示すように、合成した撮影画像である図１７（ａ）の円状の撮影画像の点ｐ（ｘｉｊ，ｚｉｊ）について、円形画像の中心を原点とする極座標の角度θと距離ｒから、図１７（ｃ）に示す展開画像の対応する点（ｘ’ｉｊ，ｚ’ｉｊ）を求める。このときも、図１７（ｂ）に示すように、算出した点の展開画像中の位置が、どのピクセル位置に対応するかを判断し、補完等する場合には画素位置を推定して表示して表示し、図１８に示すような展開した合成画像を得る。
【００３７】
この実施形態の広視野角画像撮影装置２０の使用方法は、２台のカメラ２２，２４を連続的に用いる場合は、パノラマ撮像レンズ２１の死角に入る空間であってできるだけ両レンズ２１，２３の間隔を近づけて、且つ光軸を一致させて設置する。魚眼レンズ２３は、パノラマ撮像レンズ２１に対して光軸前方に配置する方が好ましいが、光軸後方に魚眼レンズ２３を配置しても良く、３台のカメラを用いてパノラマ撮像レンズ２１の両側に魚眼レンズ２３を配置しても良い。なお、各カメラ２２，２４の間隔は、近い方が好ましいが、撮影対象との距離に対して、画像合成上無視できる間隔であればよい。
【００３８】
この実施形態の広視野角画像撮影装置２０によれば、パノラマ撮像レンズ２１による撮影画像Ａと魚眼レンズ２３による撮影画像Ｂを合わせることにより、パノラマ撮像レンズ２１による撮影画像Ａの死角をなくし、カメラの光軸方向に対して半球以上の範囲を撮影することができる。これにより、監視カメラやその他のモニタ装置について、より広範囲の撮影を可能にする。
【００３９】
しかも、パノラマ撮像レンズ２１による撮影画像Ａと魚眼レンズ２３による撮影画像Ｂとの合成は、合成領域ｊにおいて、境界からの距離による重み付けを行って各画素情報値Ｖを決定し、画像を合成したので、図１９（ｂ）に示すように、撮影画像Ａ，Ｂの合成領域ｊにおいて、合成する２画像の画像情報値が、一方の画素情報値から他方の画素情報値へ連続的に変化し、境界が目立たなくなる。この処理を行わない場合は、図１９（ａ）に示すように、境界線ｋが目立つものとなる。
【００４０】
なお、この発明の広視野角画像撮影装置は、上記実施形態に限定されるものではなく、各カメラの配置方向やレンズの種類は適宜選択することができる。また、魚眼レンズは、他の広角レンズでも良く、パノラマ撮像レンズの死角を補完可能な広角レンズであれば良い。
【符号の説明】
【００４１】
２０広視野角画像撮影装置
２１パノラマ撮像レンズ
２２，２４カメラ
２３魚眼レンズ
Ａ，Ｂ撮影画像
ａ，ｂ撮影領域
ｃ共通領域
Ｅ，Ｆ展開画像

【特許請求の範囲】
【請求項１】
光透過性の素材により形成され、レンズ中心の光軸回りに回転対称に形成されて、３６０°全周から光が入射可能な曲面状に形成された環状の光入射面と、この光入射面と互いに対向するように環状に形成され外方に膨らんだ形状に形成されこのレンズ内へ光を反射するように凹面鏡状に形成された第一反射面と、前記光入射面の環内の中央部に設けられ前記第一反射面からの反射光を前記第一反射面の環の内側部分に向けて反射する凸面鏡状の第二反射面と、前記第一反射面の環内中央部に位置し前記第二反射面と対向して前記第二反射面からの光を透過する光出射面とから成るパノラマ撮像レンズを装着した第１のカメラと、広角レンズを装着した第２のカメラを設け、前記パノラマ撮像レンズと前記広角レンズの光軸とを一致させて前記第１、第２のカメラを切り替え可能または近接して配置し、前記パノラマ撮像レンズにより撮影した画像と前記広角レンズにより撮影した画像とを合成する合成手段により、前記第１、第２のカメラにより撮影した両画像の共通領域について、前記両画像の所定位置からの距離をパラメータとして変化する係数を乗じた値により、前記共通領域の両画像の各画素の画素情報値を決定することを特徴とする広視野角画像処理方法。
【請求項２】
前記合成手段により合成される前記共通領域の両画像の各画素の前記画素情報値は、前記両画像についての前記共通領域との境界からの距離の割合に比例する係数を、前記共通領域の両画像の画素毎に求めて、この係数を前記共通領域の両画像の各画素の値に乗じた値を、互いに対応する前記画素毎に加算して決定する請求項１記載の広視野角画像処理方法。
【請求項３】
前記パノラマ撮像レンズにより撮影した画像と前記広角レンズにより撮影した画像とを合成する際に、前記パノラマ撮像レンズと前記広角レンズの各レンズ特性を基に、前記広角レンズにより撮影した画像を前記パノラマ撮像レンズにより撮影した画像状態に変換して、前記合成手段により前記共通領域の両画像の各画素の前記画素情報値を、各々の領域からの距離の割合に比例する係数を乗じた値を求めるとともにこの値を対応する画素毎に加算して決定する請求項１記載の広視野角画像処理方法。
【請求項４】
光透過性の素材により形成され、レンズ中心の光軸回りに回転対称に形成されて、３６０°全周から光が入射可能な曲面状に形成された環状の光入射面と、この光入射面と互いに対向するように環状に形成され外方に膨らんだ形状に形成されこのレンズ内へ光を反射するように凹面鏡状に形成された第一反射面と、前記光入射面の環内の中央部に設けられ前記第一反射面からの反射光を前記第一反射面の環の内側部分に向けて反射する凸面鏡状の第二反射面と、前記第一反射面の環内中央部に位置し前記第二反射面と対向して前記第二反射面からの光を透過する光出射面とから成るパノラマ撮像レンズを装着した第１のカメラと、広角レンズを装着した第２のカメラを備え、前記パノラマ撮像レンズと前記広角レンズの光軸を一致させて前記第１、第２のカメラを近接して配置し、前記パノラマ撮像レンズにより撮影した画像と前記広角レンズにより撮影した画像とを合成する合成手段を有し、前記合成手段は、前記第１、第２のカメラにより撮影した両画像の共通領域について、前記両画像の所定位置からの距離をパラメータとして変化する係数を乗じた値により、前記共通領域の両画像の各画素の画素情報値を決定し、前記共通領域の画像を合成することを特徴とする広視野角画像撮影装置。
【請求項５】
前記広角レンズは、魚眼レンズである請求項４記載の広視野角画像撮影装置。
【請求項６】
前記広角レンズを、前記パノラマ撮像レンズの死角の範囲内に配置する請求項４記載の広視野角画像撮影装置。

【図１】