画像変換用演算装置
【課題】 魚眼レンズを用いて撮像された魚眼画像を表示用の平面画像に変換するためのハードウェアを安価にすることのできる画像変換用演算装置を提供すること。
【解決手段】 平面画像の座標を魚眼撮像面の仮想物体面へ投影した第１投影座標を求めるための第１座標演算部３５と、この第１座標演算部３５により求めた第１投影座標を魚眼撮像面へ投影した第２投影座標を求めるための第２座標演算部３６とを備え、演算のための論理回路は、加減算、乗算、平方根の演算を行なう場合に限定し、除算及びその他の関数演算はルックアップテーブル３７，３８により対応するように構成して、ハードウェアを簡素化した。
【解決手段】 平面画像の座標を魚眼撮像面の仮想物体面へ投影した第１投影座標を求めるための第１座標演算部３５と、この第１座標演算部３５により求めた第１投影座標を魚眼撮像面へ投影した第２投影座標を求めるための第２座標演算部３６とを備え、演算のための論理回路は、加減算、乗算、平方根の演算を行なう場合に限定し、除算及びその他の関数演算はルックアップテーブル３７，３８により対応するように構成して、ハードウェアを簡素化した。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、魚眼レンズを用いて撮像された魚眼画像を表示用の平面画像に変換するための画像変換用演算装置に関するものである。
【０００２】
【従来の技術】かかる装置は、例えば、監視カメラによる監視システムにおいて用いられるものである。オペレータは監視システムに設けられているモニターに映し出された、監視カメラからの撮影画像をみて監視カメラが設けられている空間内 (例えば、店内) の様子を監視するものである。ここで、カメラに装着されるレンズが通常の標準レンズであれば、この標準レンズの有する画角の範囲内しか監視することができない。そうすると、カメラの設置空間内をもれなくモニターするにはカメラの向きを適宜変更させるための機構を設けなければならない。
【０００３】かかる機構を設けるとコストが上昇する要因になるとともに、さらにカメラの遠隔操作も必要となりもなるためオペレータによっては煩雑である。そこで、カメラに広い画角を有する魚眼レンズを装着してモニターすることが考えられる。しかし、魚眼レンズにより撮影された画像は、標準的なレンズで撮影された画像と比較すると歪んだ画像であり、オペレータにとっては非常に見づらいものである。そのため、魚眼レンズで撮影された画像を平面画像に変換する技術が、特表平６−５０１５８５号公報のカメラオリエンテーションシステムとして開示されている。このシステムでは、魚眼レンズを使用して得られた円形画像から、演算処理により通常撮影用のレンズ (例えば、標準レンズ) で撮影された画像に変換するものであり、任意の視点から見た平面画像を得ることができる。この場合、高速な演算装置を使用すれば、ソフトウェアのみでも平面画像データをリアルタイムに求めることは可能であるが、多くの場合ネットワークにつながれた端末装置においては、通信処理やヒューマンインターフェースとしての操作等に多くの時間が必要であるから、画像変換処理のうち同一処理の繰り返しの部分をハードウェア化するのが好ましい。
【０００４】そして、魚眼画像をカメラに設けられた撮像素子（ＣＣＤなど) へ投影する場合の投影方式 (立体射影、等距離射影、正射影など）は設計時に決まっているから、数式通りの演算をハードウェアにより行なうことで、平面画像のデータに変換することは可能である。
【０００５】
【発明が解決しようとする課題】しかしながら、上述した特表平６−５０１５８５号公報に開示されたごとく、変換する際の計算を一度に数式化し、この計算式通りの演算をハードウェアで行なうと、加減乗除算に加えて平方根や三角関数など多くの演算をハードウェアで実現する必要があり、必然的に高価な装置とならざるを得ない。
【０００６】本発明は上記実情に鑑みてなされたものであり、その目的は、魚眼レンズを用いて撮像された魚眼画像を表示用の平面画像に変換するためのハードウェアを安価にすることのできる画像変換用演算装置を提供することである。
【０００７】
【課題を解決するための手段】上記目的を達成するため、本発明にかかる画像処理装置は、魚眼レンズを用いて撮像された魚眼画像を表示用の平面画像に変換するための画像変換用演算装置であって、前記平面画像の座標を魚眼撮像面の仮想物体面へ投影した第１投影座標を求めるための第１座標演算部と、この第１座標演算部により求めた前記第１投影座標を前記魚眼撮像面へ投影した第２投影座標を求めるための第２座標演算部とを備えたことを特徴とするものである。
【０００８】この構成による作用は次の通りである。すなわち、（ステップ１）第１座標演算部により、平面画像の座標を魚眼撮像面の仮想物体面へ投影した第１投影座標を求める。
(ステップ２) 第１投影座標を前記魚眼撮像面へ投影した第２投影座標を求める。つまり、画像変換する際に一度に数式化するのではなく、座標変換の手順を追って段階的に座標演算を行なうのである。これにより、単純な演算回路を組み合わせて演算部を構成することが可能になり画像変換用演算装置のハードウェア部分を安価にすることができる。
【０００９】本発明の好適な実施形態として、前記第１及び第２座標演算部は、演算のための論理回路がパイプライン方式により構成されていることを特徴とするものがあげられる。論理回路をパイプライン化することにより、座標変換を手順を追って段階的に行うことができ、回路構成を部分的に簡素化することが可能になり、その結果画像変換用演算装置のハードウェア部分を安価にすることができる。
【００１０】本発明の別の好適な実施形態として、前記演算のための論理回路は、加減算、乗算、平方根の演算を行なう場合に限定し、除算及びその他の関数演算はルックアップテーブルにより対応するように構成されているものがあげられる。
【００１１】計算式通りの演算をハードウェアにより行う場合、加減乗除算に加えて平方根や三角関数などの多くの演算をハードウェアで実現するようにする必要がある。そうすると、規模の大きな回路部品を使用する必要がでてくる。特に魚眼レンズの投影法式によっては、三角関数や無限多項式での近似が発生する場合などもある。そこで、演算のための論理回路は、加減算、乗算、平方根に限定し、除算やその他の関数で表現される部分はルックアップテーブルにより対応することで、ハードウェアを簡素化することができ、画像変換用演算装置のコストダウンにより貢献することができる。
【００１２】本発明の更に別の好適実施形態によると、前記第２座標演算部は、前記第１投影座標に所定の係数を乗算して前記第２投影座標を求めるものであり、前記所定の係数が前記ルックアップテーブルにより求められるものがあげられる。
【００１３】魚眼レンズの投影法式が異なると、上記係数が異なってくる。したがって、ルックアップテーブルのデータ変更のみで投影法式の違いに対応することができ、わざわざハードウェア部分を組み替える必要がない。したがって、この点においても画像変換用演算装置のハードウェア部分を安価にすることができた。
【００１４】
【発明の実施の形態】次に、本発明にかかる画像変換用演算装置の好適な実施形態を図面を用いて説明する。図１R>１は、座標系の設定を示す図、図２は、補正係数ｋ1 を説明する図、図３はハードウェアによる座標の変換手順を説明する図、図４はＰＣＩバス基板に搭載される回路ブロックを示す図である。
【００１５】＜座標系の位置関係＞図１により、まず変換される座標の位置関係を説明する。座標系の設定は次のように行う。まず、被写体の位置を示すための空間として、魚眼レンズの位置を原点とし、光軸の方向をｚ軸とする、（ｘ、ｙ、ｚ）座標空間を考える。また、上記原点から見た被写体位置を示すパラメータとして、方位角（ψ）、天頂角（θ）を考える。
【００１６】魚眼レンズで撮影される被写体は、その魚眼レンズから見た角度で撮像素子（ＣＣＤなど）上での位置が決まるので、被写体は半径１の半球面上に位置しているものと仮定する。なお、この半球面を仮想物体面と呼ぶこととする。そして、結果として求めたい平面画像については、図１に（ｕ，ｖ）座標系で示されており、（ｕ，ｖ）座標系の中心（原点）は、（ｘ、ｙ、ｚ）座標系の原点から距離１の位置にあり、前述の仮想物体面である半球面に接しているものとする。この（ｕ，ｖ）座標系で表わされる平面は、モニターにおける表示画像の画素と対応づけられるものである。なお、この座標系のｕ軸が、（ｘ、ｙ）平面となす角、更に詳しく言うと、（ｕ，ｖ）座標系の原点を通り（ｘ，ｙ）平面と平行な面と、（ｕ，ｖ）平面との交線とｕ軸とのなす角を（α）とする。
【００１７】魚眼レンズを通して得られる画像平面（魚眼画像）は、図１のように（ｐ，ｑ）座標系で表わすものとする。（ｐ，ｑ）座標系は、（ｘ，ｙ）平面と平行な位置関係にあり、その原点はｚ軸上にあるものとする。撮像面上の位置（例えば、ＣＣＤ撮像素子上での画素の位置）では、撮像素子の寸法や、魚眼レンズの焦点距離によりイメージサークル径が異なってくるため、レンズ正面から９０度の位置（ｚ＝０）にある被写体が投影される映像の半径を１とする円に魚眼画像が映っているものとし、実使用時には倍率調整を行う。
【００１８】画像変換は、平面画像上の点（ｕ，ｖ座標）が、撮像面（ｐ，ｑ座標）のどの位置に投影されているかを演算により求め、その点の輝度情報を参照することにより、結果として得たい平面画像のデータを生成することができる。視点（ψ、θ、α）や平面画像のサイズとなる拡大率（ズーム倍率）の情報は、オペレータがキーボードやポインティングデバイスなどを介して入力される情報であり、これらの情報はあらかじめ上位の演算処理装置で演算のためのデータとして求めて設定しておく。
【００１９】まず、必要なパラメータとしては、図１にも示すように、平面画像の中心（原点）を示す（ｘ0 ，ｙ0 ，ｚ0 ）；（ｕ，ｖ）座標系の上で各方向へ１画素分（モニター画面上での１画素分に相当する。）移動した場合の、（ｘ，ｙ，ｚ）座標での各軸方向の変化分を、∂ｕｘ，∂ｖｘ，∂ｕｙ，∂ｖｙ，∂ｕｚ，∂ｖｚ；
が必要である。これらのパラメータは、上記の視点の角度情報（ψ，θ，α）、画像の拡大率の情報から容易に求めることができる。
【００２０】＜画像変換の演算手順＞次に、画像変換のための演算手順を、図３を参照しながら説明する。演算手順は、大きく分けて、ステップ１とステップ２の２段階に分けて行われる。
【００２１】（ステップ１）まず、平面画像上（ｕ，ｖ座標の上）の点Ｐが、仮想物体面である半球面上に投影された点Ｐ’（第１投影座標）の座標を求める。点Ｐのｘ，ｙ，ｚ座標を（ｘ1 ，ｙ1 ，ｚ1 ）、ｕ，ｖ座標を（ｕ1 ，ｖ1 ）とすると、ｘ1 ＝ｘ0 ＋ｕ1 ・∂ｕｘ＋ｖ1 ・∂ｖｘｙ1 ＝ｙ0 ＋ｕ1 ・∂ｕｙ＋ｖ1 ・∂ｖｙｚ1 ＝ｚ0 ＋ｕ1 ・∂ｕｚ＋ｖ1 ・∂ｖｚである。また、図２にわかりやすく説明しているように、点Ｐ’は、ＯＰ間を結ぶ線上にあるため、ある係数をｋ1 として、（ｘ2 ，ｙ2 ，ｚ2 ）＝ｋ1 ・（ｘ1 ，ｙ1 ，ｚ1 ）
という関係が成立する（図２を参照）。そして、（ｘ，ｙ，ｚ）座標系の原点と、（ｕ，ｖ）座標系の原点（ｘ0 ，ｙ0 ，ｚ0 ）、及び、座標（ｘ2 ，ｙ2 ，ｚ2 ）で表わされる点Ｐ’の距離は１である。したがって、点Ｐの（ｕ，ｖ）座標系の原点からの距離Ｌは、Ｌ＝（ｕ2 ＋ｖ2 ）0.5となる。ｋ1 については、上記距離Ｌが決まれば一定となるから、距離Ｌに対するｋ1 の表をルックアップテーブルとして作成しておき、このルックアップテーブルより求めたｋ1 を乗じることにより、上記のごとく（ｘ2 ，ｙ2 ，ｚ2 ）を求めることができる。つまり、図３にも示すように、ｘ2 ＝ｋ1 ・ｘ1ｙ2 ＝ｋ1 ・ｙ1ｚ2 ＝ｋ1 ・ｚ1である。これにより、半球面上の第１投影座標が求まった。
【００２２】（ステップ２）次に演算の第２段階として、先ほど求めた第１投影座標（ｘ2 ，ｙ2 ，ｚ2 ）から、魚眼撮像面上への第２投影座標Ｗ（ｐ1 ，ｑ1 ）を求めるための手順を説明する。Ｗについては図１を参照のこと。既に説明してきたように、点Ｐ’が半径１の半球面上にあるということから、点Ｐ’の天頂角（θ1 ）は、ｚ2 の値から一意に決まる（θ1 については、図１を参照）。したがって、θ1 ＝ｃｏｓ-1（ｚ2 ）・・・（１）
となる。また、撮像面上の点Ｗと、半球面上の点Ｐ’の方位角は同じであるから、（ｐ1 ，ｑ1 ）＝ｋ2 ・（ｘ2 ，ｙ2 ）・・・（２）
という関係が成立する。ここで、魚眼画像の投影方式から、魚眼撮像面の原点（ｐ，ｑ座標系の原点）から、点Ｗまでの高さ（ｈ）は、θ1 の関数として表わされるため、ｈ＝Ｆ（θ1 ）・・・（３）
と表わすことができる。ここで、投影法式によるＦ（θ1 ）の具体的関数をいくつか例示すると、魚眼レンズの焦点距離をｆとして、等距離射影：ｈ＝ｆ・θ立体射影：ｈ＝２ｆ・ｔａｎ（θ／２）
となる。
【００２３】さて、式（３）に式（１）を代入すると、ｈ＝Ｆ（ｃｏｓ-1（ｚ2 ））・・・（４）
となり、ｚ2 で決まる関数として表わすことができる。また、点Ｐ’を（ｘ，ｙ）平面に投影した点Ｑの（ｘ，ｙ，ｚ）座標系の原点からの距離ｒは、点Ｐ’が半径１の球面上の点であることから、ｒ＝（１−ｚ22）0.5 ・・・（５）
と表わすことができる。したがって、上記式（４）（５）より、 ｋ2 ＝ｈ／ｒ ＝Ｆ（ｃｏｓ-1（ｚ2 ））／（１−ｚ2 2 ）0.5 ・・・（６）
つまり、式（２）の係数ｋ2 はｚ2 の関数として求めることができる。そこで、係数ｋ2 については、ｚ2 の値から式（３）に従って求めるためのルックアップテーブルを作成し、その値を用いて撮像面への第２投影座標（ｐ1 ，ｑ1 ）を求めることができる。すなわち、ｐ1 ＝ｋ2 ・ｘ2ｑ1 ＝ｋ2 ・ｙ2となる。
【００２４】以上説明してきたように、画像変換のための第１ステップにおいては、加減算、乗算、平方根に演算を限定し、それ以外の関数はルックアップテーブルにより対応している。また、第２ステップにおいては演算は乗算に限定されており、それ以外の関数計算などはやはりルックアップテーブルにより対応している。そして、各演算を段階を追うことにより、単純な演算回路（加算器等の論理回路）をパイプライン化して構成することができる。又、複雑な関数計算を行う部分はルックアップテーブルに対応することで回路規模を押さえることができる。また、ステップ２におけるｋ2 を求めるテーブルを変更することで、異なる投影方式の魚眼レンズに簡単に、しかも同一の演算回路により対応することができる。
【００２５】＜回路構成例＞次に、図４により具体的な回路ブロック構成を説明する。この構成は、ＰＣＩバスを持ったコンピュータシステム用に構成した基板の例である。ＣＣＤカメラ１には魚眼レンズ２が装着されており、ＣＣＤカメラのより撮影された画像情報はＰＣＩバス基板３に送られて画像変換のための処理がなされる。このＰＣＩバス基板３は、ＣＣＤカメラ１に設けられたＣＣＤからの魚眼画像データを取り込むカメラインターフェース３０と、１フレーム分の魚眼画像データを記憶するフレームメモリ３１と、演算部４０の演算結果に基づいて補間演算を行う補完演算部３２と、ＦＩＦＯメモリ３３と、フレームメモリ３１への魚眼画像データの取り込みを制御する取り込み制御部３４と、本発明の特徴構成を有する演算部４０（破線で囲まれた部分）と、座標変換後の平面画像データを送り出すためのＰＣＩバスインターフェース３９とを備えている。
【００２６】さらに、演算部４０は、第１座標演算部３５と、第２座標演算部３６と、第１座標演算部３５と接続された第１ルックアップテーブル３７と、第２座標演算部３６と接続された第２ルックアップテーブル３８とで構成されている。先ほど説明した座標変換手順との関係で説明すると、第１座標演算部３５は、図３に示されている第１ステップの演算を行う部分であり、平面画像における（ｕ，ｖ）座標から、半球面上への第１投影座標（ｘ2 ，ｙ2 ，ｚ2 ）を求めることができる。第１ルックアップテーブル３７は、距離Ｌから補正係数ｋ1 を求めるためのテーブルである。
【００２７】第２座標演算部３６は、図３の第２ステップの演算を行う部分であり、第１座標演算部３５により求められた上記第１投影座標（ｘ2 ，ｙ2 ，ｚ2 ）から魚眼撮像面への第２投影座標（ｐ1 ，ｑ1 ）を求めることができる。第２ルックアップテーブル３８は、補正係数ｋ2 を求めるためのテーブルである。
【００２８】＜回路の動作説明＞次に、図４に示される回路の動作について説明する。ＣＣＤカメラ１で撮影された魚眼画像データは、カメラインターフェース３０を経由してフレームメモリ３１に書き込まれる。演算部４０において、表示画面上の座標（ｕ，ｖ）に対応する撮像面上の座標（ｐ，ｑ）が求められているから、この演算部４０により順次指定される座標（ｐ，ｑ）に対応する画像データがフレームメモリ３１から読み出されて、補間演算部３２に送られる。
【００２９】モニターに表示させたい平面画像の各画素に対応する、魚眼画像上での画素の位置は正確には一致することがない。その場合は、近傍の画素のデータをフレームメモリ３１から数点読み出し、加重平均して補間を行うことによって、自然な平面画像を得ることができる。補間演算された画像データは、ＦＩＦＯメモリで速度調整がされ、ホストコンピュータ側へのメモリに、ＰＣＩバスインターフェース３９を介して転送される。この図４の構成例の場合、座標演算、補間演算などの処理は、中規模のＦＰＧＡ（又は、ゲートアレイ）により構成できるため、比較的に安価にハードウェア化することができた。
【図面の簡単な説明】
【図１】座標系の設定を示す図
【図２】補正係数ｋ1 を説明する図
【図３】ハードウェアによる座標の変換手順を説明する図
【図４】ＰＣＩバス基板に搭載される回路ブロックを示す図
【符号の説明】
１ ＣＣＤカメラ
２ 魚眼レンズ
３５ 第１座標演算部
３６ 第２座標演算部
３７ 第１ルックアップテーブル
３８ 第２ルックアップテーブル
４０ 演算部
【０００１】
【発明の属する技術分野】本発明は、魚眼レンズを用いて撮像された魚眼画像を表示用の平面画像に変換するための画像変換用演算装置に関するものである。
【０００２】
【従来の技術】かかる装置は、例えば、監視カメラによる監視システムにおいて用いられるものである。オペレータは監視システムに設けられているモニターに映し出された、監視カメラからの撮影画像をみて監視カメラが設けられている空間内 (例えば、店内) の様子を監視するものである。ここで、カメラに装着されるレンズが通常の標準レンズであれば、この標準レンズの有する画角の範囲内しか監視することができない。そうすると、カメラの設置空間内をもれなくモニターするにはカメラの向きを適宜変更させるための機構を設けなければならない。
【０００３】かかる機構を設けるとコストが上昇する要因になるとともに、さらにカメラの遠隔操作も必要となりもなるためオペレータによっては煩雑である。そこで、カメラに広い画角を有する魚眼レンズを装着してモニターすることが考えられる。しかし、魚眼レンズにより撮影された画像は、標準的なレンズで撮影された画像と比較すると歪んだ画像であり、オペレータにとっては非常に見づらいものである。そのため、魚眼レンズで撮影された画像を平面画像に変換する技術が、特表平６−５０１５８５号公報のカメラオリエンテーションシステムとして開示されている。このシステムでは、魚眼レンズを使用して得られた円形画像から、演算処理により通常撮影用のレンズ (例えば、標準レンズ) で撮影された画像に変換するものであり、任意の視点から見た平面画像を得ることができる。この場合、高速な演算装置を使用すれば、ソフトウェアのみでも平面画像データをリアルタイムに求めることは可能であるが、多くの場合ネットワークにつながれた端末装置においては、通信処理やヒューマンインターフェースとしての操作等に多くの時間が必要であるから、画像変換処理のうち同一処理の繰り返しの部分をハードウェア化するのが好ましい。
【０００４】そして、魚眼画像をカメラに設けられた撮像素子（ＣＣＤなど) へ投影する場合の投影方式 (立体射影、等距離射影、正射影など）は設計時に決まっているから、数式通りの演算をハードウェアにより行なうことで、平面画像のデータに変換することは可能である。
【０００５】
【発明が解決しようとする課題】しかしながら、上述した特表平６−５０１５８５号公報に開示されたごとく、変換する際の計算を一度に数式化し、この計算式通りの演算をハードウェアで行なうと、加減乗除算に加えて平方根や三角関数など多くの演算をハードウェアで実現する必要があり、必然的に高価な装置とならざるを得ない。
【０００６】本発明は上記実情に鑑みてなされたものであり、その目的は、魚眼レンズを用いて撮像された魚眼画像を表示用の平面画像に変換するためのハードウェアを安価にすることのできる画像変換用演算装置を提供することである。
【０００７】
【課題を解決するための手段】上記目的を達成するため、本発明にかかる画像処理装置は、魚眼レンズを用いて撮像された魚眼画像を表示用の平面画像に変換するための画像変換用演算装置であって、前記平面画像の座標を魚眼撮像面の仮想物体面へ投影した第１投影座標を求めるための第１座標演算部と、この第１座標演算部により求めた前記第１投影座標を前記魚眼撮像面へ投影した第２投影座標を求めるための第２座標演算部とを備えたことを特徴とするものである。
【０００８】この構成による作用は次の通りである。すなわち、（ステップ１）第１座標演算部により、平面画像の座標を魚眼撮像面の仮想物体面へ投影した第１投影座標を求める。
(ステップ２) 第１投影座標を前記魚眼撮像面へ投影した第２投影座標を求める。つまり、画像変換する際に一度に数式化するのではなく、座標変換の手順を追って段階的に座標演算を行なうのである。これにより、単純な演算回路を組み合わせて演算部を構成することが可能になり画像変換用演算装置のハードウェア部分を安価にすることができる。
【０００９】本発明の好適な実施形態として、前記第１及び第２座標演算部は、演算のための論理回路がパイプライン方式により構成されていることを特徴とするものがあげられる。論理回路をパイプライン化することにより、座標変換を手順を追って段階的に行うことができ、回路構成を部分的に簡素化することが可能になり、その結果画像変換用演算装置のハードウェア部分を安価にすることができる。
【００１０】本発明の別の好適な実施形態として、前記演算のための論理回路は、加減算、乗算、平方根の演算を行なう場合に限定し、除算及びその他の関数演算はルックアップテーブルにより対応するように構成されているものがあげられる。
【００１１】計算式通りの演算をハードウェアにより行う場合、加減乗除算に加えて平方根や三角関数などの多くの演算をハードウェアで実現するようにする必要がある。そうすると、規模の大きな回路部品を使用する必要がでてくる。特に魚眼レンズの投影法式によっては、三角関数や無限多項式での近似が発生する場合などもある。そこで、演算のための論理回路は、加減算、乗算、平方根に限定し、除算やその他の関数で表現される部分はルックアップテーブルにより対応することで、ハードウェアを簡素化することができ、画像変換用演算装置のコストダウンにより貢献することができる。
【００１２】本発明の更に別の好適実施形態によると、前記第２座標演算部は、前記第１投影座標に所定の係数を乗算して前記第２投影座標を求めるものであり、前記所定の係数が前記ルックアップテーブルにより求められるものがあげられる。
【００１３】魚眼レンズの投影法式が異なると、上記係数が異なってくる。したがって、ルックアップテーブルのデータ変更のみで投影法式の違いに対応することができ、わざわざハードウェア部分を組み替える必要がない。したがって、この点においても画像変換用演算装置のハードウェア部分を安価にすることができた。
【００１４】
【発明の実施の形態】次に、本発明にかかる画像変換用演算装置の好適な実施形態を図面を用いて説明する。図１R>１は、座標系の設定を示す図、図２は、補正係数ｋ1 を説明する図、図３はハードウェアによる座標の変換手順を説明する図、図４はＰＣＩバス基板に搭載される回路ブロックを示す図である。
【００１５】＜座標系の位置関係＞図１により、まず変換される座標の位置関係を説明する。座標系の設定は次のように行う。まず、被写体の位置を示すための空間として、魚眼レンズの位置を原点とし、光軸の方向をｚ軸とする、（ｘ、ｙ、ｚ）座標空間を考える。また、上記原点から見た被写体位置を示すパラメータとして、方位角（ψ）、天頂角（θ）を考える。
【００１６】魚眼レンズで撮影される被写体は、その魚眼レンズから見た角度で撮像素子（ＣＣＤなど）上での位置が決まるので、被写体は半径１の半球面上に位置しているものと仮定する。なお、この半球面を仮想物体面と呼ぶこととする。そして、結果として求めたい平面画像については、図１に（ｕ，ｖ）座標系で示されており、（ｕ，ｖ）座標系の中心（原点）は、（ｘ、ｙ、ｚ）座標系の原点から距離１の位置にあり、前述の仮想物体面である半球面に接しているものとする。この（ｕ，ｖ）座標系で表わされる平面は、モニターにおける表示画像の画素と対応づけられるものである。なお、この座標系のｕ軸が、（ｘ、ｙ）平面となす角、更に詳しく言うと、（ｕ，ｖ）座標系の原点を通り（ｘ，ｙ）平面と平行な面と、（ｕ，ｖ）平面との交線とｕ軸とのなす角を（α）とする。
【００１７】魚眼レンズを通して得られる画像平面（魚眼画像）は、図１のように（ｐ，ｑ）座標系で表わすものとする。（ｐ，ｑ）座標系は、（ｘ，ｙ）平面と平行な位置関係にあり、その原点はｚ軸上にあるものとする。撮像面上の位置（例えば、ＣＣＤ撮像素子上での画素の位置）では、撮像素子の寸法や、魚眼レンズの焦点距離によりイメージサークル径が異なってくるため、レンズ正面から９０度の位置（ｚ＝０）にある被写体が投影される映像の半径を１とする円に魚眼画像が映っているものとし、実使用時には倍率調整を行う。
【００１８】画像変換は、平面画像上の点（ｕ，ｖ座標）が、撮像面（ｐ，ｑ座標）のどの位置に投影されているかを演算により求め、その点の輝度情報を参照することにより、結果として得たい平面画像のデータを生成することができる。視点（ψ、θ、α）や平面画像のサイズとなる拡大率（ズーム倍率）の情報は、オペレータがキーボードやポインティングデバイスなどを介して入力される情報であり、これらの情報はあらかじめ上位の演算処理装置で演算のためのデータとして求めて設定しておく。
【００１９】まず、必要なパラメータとしては、図１にも示すように、平面画像の中心（原点）を示す（ｘ0 ，ｙ0 ，ｚ0 ）；（ｕ，ｖ）座標系の上で各方向へ１画素分（モニター画面上での１画素分に相当する。）移動した場合の、（ｘ，ｙ，ｚ）座標での各軸方向の変化分を、∂ｕｘ，∂ｖｘ，∂ｕｙ，∂ｖｙ，∂ｕｚ，∂ｖｚ；
が必要である。これらのパラメータは、上記の視点の角度情報（ψ，θ，α）、画像の拡大率の情報から容易に求めることができる。
【００２０】＜画像変換の演算手順＞次に、画像変換のための演算手順を、図３を参照しながら説明する。演算手順は、大きく分けて、ステップ１とステップ２の２段階に分けて行われる。
【００２１】（ステップ１）まず、平面画像上（ｕ，ｖ座標の上）の点Ｐが、仮想物体面である半球面上に投影された点Ｐ’（第１投影座標）の座標を求める。点Ｐのｘ，ｙ，ｚ座標を（ｘ1 ，ｙ1 ，ｚ1 ）、ｕ，ｖ座標を（ｕ1 ，ｖ1 ）とすると、ｘ1 ＝ｘ0 ＋ｕ1 ・∂ｕｘ＋ｖ1 ・∂ｖｘｙ1 ＝ｙ0 ＋ｕ1 ・∂ｕｙ＋ｖ1 ・∂ｖｙｚ1 ＝ｚ0 ＋ｕ1 ・∂ｕｚ＋ｖ1 ・∂ｖｚである。また、図２にわかりやすく説明しているように、点Ｐ’は、ＯＰ間を結ぶ線上にあるため、ある係数をｋ1 として、（ｘ2 ，ｙ2 ，ｚ2 ）＝ｋ1 ・（ｘ1 ，ｙ1 ，ｚ1 ）
という関係が成立する（図２を参照）。そして、（ｘ，ｙ，ｚ）座標系の原点と、（ｕ，ｖ）座標系の原点（ｘ0 ，ｙ0 ，ｚ0 ）、及び、座標（ｘ2 ，ｙ2 ，ｚ2 ）で表わされる点Ｐ’の距離は１である。したがって、点Ｐの（ｕ，ｖ）座標系の原点からの距離Ｌは、Ｌ＝（ｕ2 ＋ｖ2 ）0.5となる。ｋ1 については、上記距離Ｌが決まれば一定となるから、距離Ｌに対するｋ1 の表をルックアップテーブルとして作成しておき、このルックアップテーブルより求めたｋ1 を乗じることにより、上記のごとく（ｘ2 ，ｙ2 ，ｚ2 ）を求めることができる。つまり、図３にも示すように、ｘ2 ＝ｋ1 ・ｘ1ｙ2 ＝ｋ1 ・ｙ1ｚ2 ＝ｋ1 ・ｚ1である。これにより、半球面上の第１投影座標が求まった。
【００２２】（ステップ２）次に演算の第２段階として、先ほど求めた第１投影座標（ｘ2 ，ｙ2 ，ｚ2 ）から、魚眼撮像面上への第２投影座標Ｗ（ｐ1 ，ｑ1 ）を求めるための手順を説明する。Ｗについては図１を参照のこと。既に説明してきたように、点Ｐ’が半径１の半球面上にあるということから、点Ｐ’の天頂角（θ1 ）は、ｚ2 の値から一意に決まる（θ1 については、図１を参照）。したがって、θ1 ＝ｃｏｓ-1（ｚ2 ）・・・（１）
となる。また、撮像面上の点Ｗと、半球面上の点Ｐ’の方位角は同じであるから、（ｐ1 ，ｑ1 ）＝ｋ2 ・（ｘ2 ，ｙ2 ）・・・（２）
という関係が成立する。ここで、魚眼画像の投影方式から、魚眼撮像面の原点（ｐ，ｑ座標系の原点）から、点Ｗまでの高さ（ｈ）は、θ1 の関数として表わされるため、ｈ＝Ｆ（θ1 ）・・・（３）
と表わすことができる。ここで、投影法式によるＦ（θ1 ）の具体的関数をいくつか例示すると、魚眼レンズの焦点距離をｆとして、等距離射影：ｈ＝ｆ・θ立体射影：ｈ＝２ｆ・ｔａｎ（θ／２）
となる。
【００２３】さて、式（３）に式（１）を代入すると、ｈ＝Ｆ（ｃｏｓ-1（ｚ2 ））・・・（４）
となり、ｚ2 で決まる関数として表わすことができる。また、点Ｐ’を（ｘ，ｙ）平面に投影した点Ｑの（ｘ，ｙ，ｚ）座標系の原点からの距離ｒは、点Ｐ’が半径１の球面上の点であることから、ｒ＝（１−ｚ22）0.5 ・・・（５）
と表わすことができる。したがって、上記式（４）（５）より、 ｋ2 ＝ｈ／ｒ ＝Ｆ（ｃｏｓ-1（ｚ2 ））／（１−ｚ2 2 ）0.5 ・・・（６）
つまり、式（２）の係数ｋ2 はｚ2 の関数として求めることができる。そこで、係数ｋ2 については、ｚ2 の値から式（３）に従って求めるためのルックアップテーブルを作成し、その値を用いて撮像面への第２投影座標（ｐ1 ，ｑ1 ）を求めることができる。すなわち、ｐ1 ＝ｋ2 ・ｘ2ｑ1 ＝ｋ2 ・ｙ2となる。
【００２４】以上説明してきたように、画像変換のための第１ステップにおいては、加減算、乗算、平方根に演算を限定し、それ以外の関数はルックアップテーブルにより対応している。また、第２ステップにおいては演算は乗算に限定されており、それ以外の関数計算などはやはりルックアップテーブルにより対応している。そして、各演算を段階を追うことにより、単純な演算回路（加算器等の論理回路）をパイプライン化して構成することができる。又、複雑な関数計算を行う部分はルックアップテーブルに対応することで回路規模を押さえることができる。また、ステップ２におけるｋ2 を求めるテーブルを変更することで、異なる投影方式の魚眼レンズに簡単に、しかも同一の演算回路により対応することができる。
【００２５】＜回路構成例＞次に、図４により具体的な回路ブロック構成を説明する。この構成は、ＰＣＩバスを持ったコンピュータシステム用に構成した基板の例である。ＣＣＤカメラ１には魚眼レンズ２が装着されており、ＣＣＤカメラのより撮影された画像情報はＰＣＩバス基板３に送られて画像変換のための処理がなされる。このＰＣＩバス基板３は、ＣＣＤカメラ１に設けられたＣＣＤからの魚眼画像データを取り込むカメラインターフェース３０と、１フレーム分の魚眼画像データを記憶するフレームメモリ３１と、演算部４０の演算結果に基づいて補間演算を行う補完演算部３２と、ＦＩＦＯメモリ３３と、フレームメモリ３１への魚眼画像データの取り込みを制御する取り込み制御部３４と、本発明の特徴構成を有する演算部４０（破線で囲まれた部分）と、座標変換後の平面画像データを送り出すためのＰＣＩバスインターフェース３９とを備えている。
【００２６】さらに、演算部４０は、第１座標演算部３５と、第２座標演算部３６と、第１座標演算部３５と接続された第１ルックアップテーブル３７と、第２座標演算部３６と接続された第２ルックアップテーブル３８とで構成されている。先ほど説明した座標変換手順との関係で説明すると、第１座標演算部３５は、図３に示されている第１ステップの演算を行う部分であり、平面画像における（ｕ，ｖ）座標から、半球面上への第１投影座標（ｘ2 ，ｙ2 ，ｚ2 ）を求めることができる。第１ルックアップテーブル３７は、距離Ｌから補正係数ｋ1 を求めるためのテーブルである。
【００２７】第２座標演算部３６は、図３の第２ステップの演算を行う部分であり、第１座標演算部３５により求められた上記第１投影座標（ｘ2 ，ｙ2 ，ｚ2 ）から魚眼撮像面への第２投影座標（ｐ1 ，ｑ1 ）を求めることができる。第２ルックアップテーブル３８は、補正係数ｋ2 を求めるためのテーブルである。
【００２８】＜回路の動作説明＞次に、図４に示される回路の動作について説明する。ＣＣＤカメラ１で撮影された魚眼画像データは、カメラインターフェース３０を経由してフレームメモリ３１に書き込まれる。演算部４０において、表示画面上の座標（ｕ，ｖ）に対応する撮像面上の座標（ｐ，ｑ）が求められているから、この演算部４０により順次指定される座標（ｐ，ｑ）に対応する画像データがフレームメモリ３１から読み出されて、補間演算部３２に送られる。
【００２９】モニターに表示させたい平面画像の各画素に対応する、魚眼画像上での画素の位置は正確には一致することがない。その場合は、近傍の画素のデータをフレームメモリ３１から数点読み出し、加重平均して補間を行うことによって、自然な平面画像を得ることができる。補間演算された画像データは、ＦＩＦＯメモリで速度調整がされ、ホストコンピュータ側へのメモリに、ＰＣＩバスインターフェース３９を介して転送される。この図４の構成例の場合、座標演算、補間演算などの処理は、中規模のＦＰＧＡ（又は、ゲートアレイ）により構成できるため、比較的に安価にハードウェア化することができた。
【図面の簡単な説明】
【図１】座標系の設定を示す図
【図２】補正係数ｋ1 を説明する図
【図３】ハードウェアによる座標の変換手順を説明する図
【図４】ＰＣＩバス基板に搭載される回路ブロックを示す図
【符号の説明】
１ ＣＣＤカメラ
２ 魚眼レンズ
３５ 第１座標演算部
３６ 第２座標演算部
３７ 第１ルックアップテーブル
３８ 第２ルックアップテーブル
４０ 演算部
【特許請求の範囲】
【請求項１】 魚眼レンズを用いて撮像された魚眼画像を表示用の平面画像に変換するための画像変換用演算装置であって、前記平面画像の座標を魚眼撮像面の仮想物体面へ投影した第１投影座標を求めるための第１座標演算部と、この第１座標演算部により求めた前記第１投影座標を前記魚眼撮像面へ投影した第２投影座標を求めるための第２座標演算部とを備えたことを特徴とする画像変換用演算装置。
【請求項２】 前記第１及び第２座標演算部は、演算のための論理回路がパイプライン方式により構成されていることを特徴とする請求項１に記載の画像変換用演算装置。
【請求項３】 前記演算のための論理回路は、加減算、乗算、平方根の演算を行なう場合に限定し、除算及びその他の関数演算はルックアップテーブルにより対応するように構成されていることを特徴とする請求項２に記載の画像変換用演算装置。
【請求項４】 前記第２座標演算部は、前記第１投影座標に所定の係数を乗算して前記第２投影座標を求めるものであり、前記所定の係数が前記ルックアップテーブルにより求められるように構成されていることを特徴とする請求項３に記載の画像変換用演算装置。
【請求項１】 魚眼レンズを用いて撮像された魚眼画像を表示用の平面画像に変換するための画像変換用演算装置であって、前記平面画像の座標を魚眼撮像面の仮想物体面へ投影した第１投影座標を求めるための第１座標演算部と、この第１座標演算部により求めた前記第１投影座標を前記魚眼撮像面へ投影した第２投影座標を求めるための第２座標演算部とを備えたことを特徴とする画像変換用演算装置。
【請求項２】 前記第１及び第２座標演算部は、演算のための論理回路がパイプライン方式により構成されていることを特徴とする請求項１に記載の画像変換用演算装置。
【請求項３】 前記演算のための論理回路は、加減算、乗算、平方根の演算を行なう場合に限定し、除算及びその他の関数演算はルックアップテーブルにより対応するように構成されていることを特徴とする請求項２に記載の画像変換用演算装置。
【請求項４】 前記第２座標演算部は、前記第１投影座標に所定の係数を乗算して前記第２投影座標を求めるものであり、前記所定の係数が前記ルックアップテーブルにより求められるように構成されていることを特徴とする請求項３に記載の画像変換用演算装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０００−２３５６４５（Ｐ２０００−２３５６４５Ａ）
【公開日】平成１２年８月２９日（２０００．８．２９）
【国際特許分類】
【出願番号】特願平１１−３４７７０
【出願日】平成１１年２月１２日（１９９９．２．１２）
【出願人】（５９３０７６１９４）株式会社アドバネット (4)
【出願人】（５９６０１０３８２）株式会社リオスコーポレーション (1)
【出願人】（５９４０６６６４８）有限会社フィット (2)
【Ｆターム（参考）】
【公開日】平成１２年８月２９日（２０００．８．２９）
【国際特許分類】
【出願日】平成１１年２月１２日（１９９９．２．１２）
【出願人】（５９３０７６１９４）株式会社アドバネット (4)
【出願人】（５９６０１０３８２）株式会社リオスコーポレーション (1)
【出願人】（５９４０６６６４８）有限会社フィット (2)
【Ｆターム（参考）】
[ Back to top ]