説明

パノラマ撮像装置

【課題】簡単な構成で、被写体の位置に関わらず高解像度のパノラマ画像を得ることが出来るパノラマ撮像装置を提供する。
【解決手段】パノラマ撮像レンズ21を有し、パノラマ撮像レンズ21に入射して形成された画像をとらえる撮像素子32と、パノラマ撮像レンズ21と撮像素子32との間に配置された撮像光学系であるズームレンズ34を備える。ズームレンズ34により撮影した複数の画像を処理する画像処理手段を備える。画像処理手段は、同一の被写体を複数の焦点距離で撮影し、広角のパノラマ画像のうち解像度が相対的に劣る部分の部分画像を除去する。ズームレンズ34の焦点距離を長くして撮影したパノラマ画像のうち、除去した部分画像に対応する部分を、広角のパノラマ画像の残余の部分に合成する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、パノラマ撮影可能なレンズを用いて周囲の監視等を行うパノラマ撮像装置に関する。
【背景技術】
【0002】
従来、パノラマ撮影可能な光学系として、特許文献1に開示されているように、レンズの周囲360°の視界を一度に撮影できるパノラマ撮像レンズがある。このパノラマ撮像レンズ1は、図7に示すように、光学ガラス等の光透過性の素材により、レンズの中心である光軸回りに回転対称に形成されている。そして、パノラマ撮像レンズ1は、360°全周から光が入射する環状の光入射面2と、この光入射面2と隣接し略対向するようにして環状に形成され、レンズ1内へ光を反射する第一反射面3と、光入射面2の環内の中央部に設けられ第一反射面3からの反射光を第一反射面3の環の内側部分に向けて反射する第二反射面4を備えている。第一反射面3の環内中央部には、第二反射面4と対向する位置に第二反射面4からの光を透過する光出射面5が形成されている。
【0003】
光入射面2は側方に膨らんだ凸レンズ状に形成され、その中心側の第二反射面4は凹面状に形成され、レンズ1の内面側が凹面鏡状の反射面となっている。また、光入射面2に隣接した第一反射面3も、側方に膨らんだ凸面状に形状され、レンズ1の内面側が第二反射面4の方向を向いた環状の凹面鏡の反射面となっている。光出射面5は、適宜凹面や凸面または平面状に形成されている。
【0004】
このパノラマ撮像レンズ1を用いたパノラマ撮像装置は、図7に示すように、パノラマ撮像レンズ1とその光軸上に設けられた結像用のリレーレンズ6とを保持したレンズホルダ7、及び図示しないケース等から成るパノラマレンズユニット8と、このパノラマレンズユニット8が取り付けられるビデオカメラ10から成る。撮像装置10は、像を捉える対物レンズ11と、その結像位置に設けられたCCD等の撮像素子12、その他図示しない必要な制御部等から成る。そして、パノラマ撮像レンズ1により捉えられた360°のパノラマ風景13は、撮像装置10の撮像素子12に環状の画像14として結像し、電気信号に変換されて、液晶やCRT等の各種モニタ装置15に映し出される。画像14は、環状であり極座標系の画像であるので、最終的には図示しないコンピュータにより直交座標系に座標変換されて、展開パノラマ画像として表示される。
【特許文献1】特開2003−167193号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記特許文献1に開示されたパノラマ撮像装置による画像14は、直交座標系の画像にした場合、環状の画像14の中央部分が相対的に引き伸ばされることになり、中央部分の解像度が低いものとなる。即ち、光入射面2に入射する光のうち、図7において上方からの入射光ほど解像度が落ちるという問題があった。
【0006】
この発明は、上記背景技術に鑑みてなされたもので、簡単な構成で、被写体の位置に関わらず高解像度のパノラマ画像を得ることが出来るパノラマ撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
この発明は、光透過性の素材により形成され、レンズ中心の光軸回りに回転対称に形成されて、360°全周から側方の光が入射可能に形成された広角レンズを有し、前記広角レンズに入射して形成された画像をとらえる撮像素子と、前記広角レンズと前記撮像素子との間に配置され前記広角レンズに入射した光を前記撮像素子に結像させる撮像光学系を有したパノラマ撮像装置であって、前記撮像光学系は、複数の焦点距離を設定可能な光学系から成り、前記撮像光学系により撮影した複数の画像を処理する画像処理手段を備え、前記画像処理手段は、前記撮像光学系により同一の被写体を複数の焦点距離で撮影し、焦点距離の短い方の前記撮像光学系の撮影画像のうち解像度が相対的に劣る部分の部分画像を、焦点距離の長い方の前記撮像光学系により撮影した撮影画像のうちの、前記部分画像に対応する画像部分に置き換えて前記複数の撮影画像の部分同士を合成する処理を行うパノラマ撮像装置である。
【0008】
前記広角レンズは、レンズ中心の光軸回りに回転対称に形成されて、360°全周から側方の光が入射可能に膨らんで凸レンズ状に形成された環状の光入射面と、この光入射面と互いに対向するように環状に形成され外方に膨らんだ形状に形成されこのレンズ内へ光を反射するように凹面鏡状に形成された第一反射面と、前記光入射面の環内の中央部に設けられ前記第一反射面からの反射光を前記第一反射面の環の内側部分に向けて反射する凸面鏡状の第二反射面と、前記第一反射面の環内中央部に位置し前記第二反射面と対向して前記第二反射面からの光を透過する光出射面とを備えたパノラマ撮像レンズである。
【0009】
前記撮像光学系はズームレンズから成り、前記ズームレンズは焦点距離を変える駆動装置を備え、所定の焦点距離で被写体を撮影するように前記駆動装置を制御する撮影制御手段と、前記撮像素子により撮影した複数の撮影画像を記憶する記憶装置を有する。
【0010】
前記画像処理手段は、前記部分画像を合成する際に前記各部分画像同士の繋ぎ目を目立たなくするマッチングを行うマッチング手段を備える。前記マッチングは、前記撮像素子により撮影した複数の撮影画像の置き換える部分同士の画像データのヒストグラムを求め、置換する部分画像を置換される画像部分のヒストグラムにマッチングさせるものである。
【発明の効果】
【0011】
この発明のパノラマ撮像装置によれば、簡単な装置で360°の広い範囲の監視や検査、その他被写体の追跡を、撮像素子の画素数を増やすことなく高解像度で行うことが出来る。
【発明を実施するための最良の形態】
【0012】
以下この発明の実施の形態について図面に基づいて説明する。図1はこの発明の一実施形態を示すもので、この実施形態のパノラマ撮像装置20は、光学ガラスやレンズ用の透明樹脂等で形成され、レンズ中心の光軸回りに回転対称に形成されたパノラマ撮像レンズ21を有する。パノラマ撮像レンズ21は、360°の視界を一度に撮像できるように360°全周から側方の光が入射する環状の光入射面22を備えている。光入射面22は、側方に膨らんだ凸レンズ状に形成されている。さらに、パノラマ撮像レンズ21は、この光入射面22に対して所定の間隔を隔てて、光入射面22から入射した光をパノラマ撮像レンズ21内へ反射する環状の第一反射面23を有する。環状の光入射面22の環内中央部には、第一反射面23からの反射光を、第一反射面23の環の内側部分に向けて反射する第二反射面24が設けられている。第一反射面23は外側に膨らんだ凸面状に形状され、第一反射面23のパノラマ撮像レンズ21内面側が、第二反射面24の方向を向いた環状の凹面鏡の反射面となっている。第二反射面24は、凹面状に形成されパノラマ撮像レンズ21の内面側が凸面鏡状の反射面となっている。そして、環状の第一反射面23の環内中央部には、第二反射面24と対向する位置に、第二反射面24からの光を透過する光出射面25が形成されている。
【0013】
光入射面22、第一光反射面23、及び第二光反射面24の各表面形状は、光入射面22から入射した360°のパノラマ画像が、光出射面25を経て得られるように、球面または所定の式で設定される非球面形状に形成されている。光出射面25は、光学系に合わせて凹面、凸面または平面状に形成される。
【0014】
パノラマ撮像レンズ21は、その光軸上に設けられた結像用のリレーレンズ26とともにレンズホルダ27により保持され、パノラマレンズユニット28を構成している。パノラマレンズユニット28は、ビデオカメラ30に取り付けられている。ビデオカメラ30には、パノラマ撮像レンズ21の光入射面22へ入射したパノラマ風景33からの光を撮影するCCD等の撮像素子32を備えている。さらに、ビデオカメラ30には、ズームレンズ34が着脱自在に取り付けられ、ズームレンズ34の焦点距離を調節することにより、パノラマ撮像レンズ21に入射する被写体であるパノラマ風景33を任意の倍率にズームアップすることが出来る。撮像素子32により撮影されたパノラマ風景33は、同心円状の環状パノラマ画像36として結像し、ビデオカメラ30のモニタ38等に映し出される。
【0015】
次に、この実施形態のパノラマ撮像装置20に撮像された画像の処理について説明する。以下の処理は、例えばコンピュータにより行われるもので、所定のソフトウェアにより処理される。先ず、パノラマ撮像レンズ21により撮影された環状パノラマ画像36を、通常の四角形の展開パノラマ画像に変換する処理について説明する。この処理は、既存の処理方法であり、図2に示すように、環状パノラマ画像36を所定位置で切り開いて展開し、引き伸ばされた部分について、画素補完を行い展開パノラマ画像とするものである。ここでは、図3に示すように、画像解析処理s11を行い環状パノラマ画像36の仰角に対する画角解像度を求める。この関係は、パノラマ撮像レンズ21を垂直方向に上向きに配置した場合、例えばパノラマ撮像レンズ21においては図4に示すような曲線で、仰角が大きくなるに従い画角解像度は低くなる。この関係を基にして、極座標系で表される環状パノラマ画像36を直交座標系の展開パノラマ画像40に座標変換する処理を行う(s12)。このとき、座標変換による展開によって直交座標系の展開パノラマ画像40について、展開されて画像情報が少ない部分については、画素補完する処理を行い、きめ細かな画像を形成する(s13)。画素補完は公知の方法により、近接する画素からその補完位置の画像情報を演算して補完する等の処理を行う。
【0016】
さらに、この実施形態では、画像の解像度を上げるため、以下に説明する画像合成処理を行う(s14)。画像合成処理には、パノラマ撮像レンズ21による環状パノラマ画像36の特性を利用する。即ち、環状パノラマ画像36は、図5に示すように、例えば焦点距離10mmで撮像した広角パノラマ画像36aと、焦点距離23mmで撮像した拡大パノラマ画像36bを比較すると、広角パノラマ画像36aの中心に近い部分の画像は、図4に示すレンズ特性により、小さく解像度が低いが、焦点距離23mmで撮像した拡大パノラマ画像36bは、中心部の画像が拡大されており、相対的に解像度が高くなっている。即ち、環状パノラマ画像36のうちの中心部に位置する、より仰角の大きい部分の被写体について、光学的にズームアップすることにより、図4に示すレンズ特性から、同じ被写体の解像度を上げることが出来る。
【0017】
そこで、この実施形態では、図3に示すように、ズームレンズ34により広角で撮像した広角パノラマ画像36aと、所定の拡大率でズームアップした拡大パノラマ画像36bを所定の短時間に撮像する。好ましくは、動画画像の1フレーム分である1/30秒間に2枚撮影すると良いが、これにとらわれず、通常のビデオ撮影による2フレーム分の撮影画像を用いて以下の処理を行っても良く、撮影枚数を3枚以上にしても良い。
【0018】
この後、上述のように画像解析して座標変換を行い、画素補完して展開パノラマ画像40を形成する。次に、広角パノラマ画像36aによる解像度の低い部分の展開パノラマ画像40の画像部分を決めるとともに、ズームアップした拡大パノラマ画像36bのうち、広角パノラマ画像36aに対して解像度の高い画像部分、即ち、ズームアップすることにより、撮像素子32のより周辺側で撮影された仰角の大きい被写体エリアの展開パノラマ画像40の対応部分を抜き出す。そして、広角パノラマ画像36aによる解像度の低い部分の展開パノラマ画像40の対応部分と置き換える。
【0019】
この作業は、例えば図5、図6に示すように、焦点距離10mmで撮像した広角パノラマ画像36aと、焦点距離23mmで撮像した拡大パノラマ画像36bのうち、広角パノラマ画像36aの展開パノラマ画像40aの中央部分(図面上方)を、拡大パノラマ画像36bの展開パノラマ画像40bの対応部分と部分的に置き換えて合成する。これにより、図6(a)に示すような解像度の画像が、図6(b)に示すように、より解像度の高い画像に置き換えられる。この画像合成に際しては、最小二乗法により接続する位置を合わせて、誤差が最小となるようにして、画像同士をつなぐ。
【0020】
さらに、画像のつなぎ目が目立たないように、展開パノラマ画像40a,40bの、置き換える部分同士の画像データのヒストグラムを求め、両画像のヒストグラムが一致するようにマッチング処理を行う。このマッチングは、拡大された展開パノラマ画像40bの光の三原色RGBについて、置き換えられる部分の広角の展開パノラマ画像40aのRGB各色のヒストグラムに一致させる。
【0021】
以上の画像合成処理を行い、高画質パノラマ画像42を得る。なお、このパノラマ撮像装置20は、ズームレンズ34の焦点距離を変える図示しない駆動装置や、所定の焦点距離で被写体を撮影するように前記駆動装置を制御する撮影制御装置が設けられ、撮像素子32により撮影した複数の撮影画像を記憶する図示しない記憶装置等も備えている。
【0022】
この実施形態のパノラマ撮像装置によれば、撮像素子32の画素数を上げることなく、光学的に拡大した画像を利用して、高解像の展開パノラマ画像を得ることが出来、パノラマ撮影による監視や追跡において、より正確な処理が可能となる。また、合成画像のつなぎ目も目立たず、自然な画像を得ることが出来る。
【0023】
なお、この発明のパノラマ撮像装置は上記実施形態に限定されるものではなく、合成する画像の枚数を適宜設定可能なものであり、撮像光学系も、ズームレンズの他、段階的に焦点距離を切り替え可能な光学系でも良い。画像合成の方法も適宜選択することが出来る。
【図面の簡単な説明】
【0024】
【図1】この発明の一実施形態のパノラマ撮像装置の概略構成図である。
【図2】この実施形態のパノラマ撮像装置によりパノラマ撮影した環状パノラマ画像と、それを座標変換して展開した展開パノラマ画像である。
【図3】この実施形態のパノラマ撮像による処理を示す機能ブロック図である。
【図4】この実施形態のパノラマ撮像レンズの光学特性を示すグラフである。
【図5】この実施形態のパノラマ撮像装置により撮像した環状の広角パノラマ画像(a)と拡大パノラマ画像(b)である。
【図6】この実施形態のパノラマ撮像装置により撮像した環状の広角パノラマ画像の展開パノラマ画像と、環状の拡大パノラマ画像の展開パノラマ画像である。
【図7】従来のパノラマ撮像装置の概略構成図である。
【符号の説明】
【0025】
20 パノラマ撮像装置
21 パノラマ撮像レンズ
22 光入射面
23 第一反射面
24 第二反射面
25 光出射面
28 パノラマレンズユニット
30 ビデオカメラ
32 撮像素子
33 パノラマ風景
34 ズームレンズ
36 環状パノラマ画像
38 モニタ
40 展開パノラマ画像

【特許請求の範囲】
【請求項1】
光透過性の素材により形成され、レンズ中心の光軸回りに回転対称に形成されて、360°全周から側方の光が入射可能に形成された広角レンズを有し、前記広角レンズに入射して形成された画像をとらえる撮像素子と、前記広角レンズと前記撮像素子との間に配置され前記広角レンズに入射した光を前記撮像素子に結像させる撮像光学系を有したパノラマ撮像装置において、
前記撮像光学系は、複数の焦点距離を設定可能な光学系から成り、
前記撮像光学系により撮影した複数の画像を処理する画像処理手段を備え、
前記画像処理手段は、前記撮像光学系により同一の被写体を複数の焦点距離で撮影し、焦点距離の短い方の前記撮像光学系による撮影画像のうち解像度が相対的に劣る部分の部分画像を、焦点距離の長い方の前記撮像光学系により撮影した撮影画像のうちの、前記部分画像に対応する画像部分に置き換えて前記複数の撮影画像の部分同士を合成することを特徴とするパノラマ撮像装置。
【請求項2】
光透過性の素材により形成され、レンズ中心の光軸回りに回転対称に形成されて、360°全周から側方の光が入射可能に膨らんで凸レンズ状に形成された環状の光入射面と、この光入射面と互いに対向するように環状に形成され外方に膨らんだ形状に形成されこのレンズ内へ光を反射するように凹面鏡状に形成された第一反射面と、前記光入射面の環内の中央部に設けられ前記第一反射面からの反射光を前記第一反射面の環の内側部分に向けて反射する凸面鏡状の第二反射面と、前記第一反射面の環内中央部に位置し前記第二反射面と対向して前記第二反射面からの光を透過する光出射面とを備えたパノラマ撮像レンズを有し、前記パノラマ撮像レンズに入射して形成された画像をとらえる撮像素子と、前記パノラマ撮像レンズと前記撮像素子との間に配置され前記パノラマ撮像レンズに入射した光を前記撮像素子に結像させる撮像光学系を有したパノラマ撮像装置において、
前記撮像光学系は、複数の焦点距離を設定可能な光学系から成り、
前記撮像光学系により撮影した複数の画像を処理する画像処理手段を備え、
前記画像処理手段は、前記撮像光学系により同一の被写体を複数の焦点距離で撮影し、焦点距離の短い方の前記撮像光学系による撮影画像のうち解像度が相対的に劣る部分の部分画像を、焦点距離の長い方の前記撮像光学系により撮影した撮影画像のうちの、前記部分画像に対応する画像部分に置き換えて前記複数の撮影画像の部分同士を合成することを特徴とするパノラマ撮像装置。
【請求項3】
前記撮像光学系はズームレンズから成り、前記ズームレンズは焦点距離を変える駆動装置を備え、所定の焦点距離で被写体を撮影するように前記駆動装置を制御する撮影制御手段と、前記撮像素子により撮影した複数の撮影画像を記憶する記憶装置を有した請求項1または2記載のパノラマ撮像装置。
【請求項4】
前記画像処理手段は、前記部分画像を合成する際に前記各部分画像同士の繋ぎ目を目立たなくするマッチングを行うマッチング手段を備えた請求項1または2記載のパノラマ撮像装置。
【請求項5】
前記マッチングは、前記撮像素子により撮影した複数の撮影画像の置き換える部分同士の画像データのヒストグラムを求め、置換する部分画像を置換される画像部分のヒストグラムにマッチングさせるものである請求項4記載のパノラマ撮像装置。


【図4】
image rotate

【図7】
image rotate

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2010−134617(P2010−134617A)
【公開日】平成22年6月17日(2010.6.17)
【国際特許分類】
【出願番号】特願2008−308675(P2008−308675)
【出願日】平成20年12月3日(2008.12.3)
【出願人】(305060567)国立大学法人富山大学 (194)
【Fターム(参考)】