画像変換装置および画像変換方法
【課題】 全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を効率的に行う。
【解決手段】 座標Ｃ（ａ，ｂ）と座標Ｓ（ｘ，ｙ）との対応関係を示す第１の座標関係式を用いて、全方位ミラー式カメラで撮影したミラー歪曲円形画像Ｃを、全方位ミラーの代わりに魚眼レンズを用いて撮影した場合に得られるであろうと考えられる仮想のレンズ歪曲円形画像Ｓに一旦変換する。続いて、座標Ｓ（ｘ，ｙ）と座標Ｔ（ｕ，ｖ）との対応関係を示す第２の座標関係式を用いて、仮想のレンズ歪曲円形画像Ｓを、更に平面正則画像Ｔに変換する。後者の変換プロセスは、魚眼レンズを用いた撮影により得られた実レンズ歪曲円形画像を平面正則画像に変換するプロセスと共通のプロセスになる。
【解決手段】 座標Ｃ（ａ，ｂ）と座標Ｓ（ｘ，ｙ）との対応関係を示す第１の座標関係式を用いて、全方位ミラー式カメラで撮影したミラー歪曲円形画像Ｃを、全方位ミラーの代わりに魚眼レンズを用いて撮影した場合に得られるであろうと考えられる仮想のレンズ歪曲円形画像Ｓに一旦変換する。続いて、座標Ｓ（ｘ，ｙ）と座標Ｔ（ｕ，ｖ）との対応関係を示す第２の座標関係式を用いて、仮想のレンズ歪曲円形画像Ｓを、更に平面正則画像Ｔに変換する。後者の変換プロセスは、魚眼レンズを用いた撮影により得られた実レンズ歪曲円形画像を平面正則画像に変換するプロセスと共通のプロセスになる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像変換装置および画像変換方法に関し、特に、全方位カメラを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う技術に関する。
【背景技術】
【０００２】
全方位カメラは、メカニカルな動作機構なしに、半球状の全方位を示す円形画像を撮影することができる。このため、奇抜な効果を狙った風景写真などを撮影する場合や、監視カメラなどの用途に広く利用されている。
【０００３】
一般に、全方位カメラには、魚眼レンズを用いたタイプと全方位ミラーを用いたタイプとの２通りが存在する。魚眼レンズを用いたタイプの場合、屈折を利用して周囲からの入射光が撮像面に導かれる。このため、半球状の全方位に関して死角のない撮影が可能になるが、魚眼レンズは複数のレンズの組み合わせによって構成される要素であるため、構造が複雑になり製造コストが高騰するというデメリットが生じる。これに対して、全方位ミラーを用いたタイプの場合、構造が単純で安価に製造できるメリットが得られるが、反射を利用して周囲からの入射光が撮像面に導かれるため、一部分に死角が生じる問題がある。
【０００４】
このように、魚眼レンズを用いたタイプも、全方位ミラーを用いたタイプも、それぞれ一長一短があるため、用途に応じて、両方のタイプが使い分けられている。いずれのタイプにしても、全方位カメラを用いた撮影で得られる画像は、歪曲した円形の画像になるため、芸術写真などの用途にはそのまま利用することが可能かもしれないが、一般的な用途には不向きである。
【０００５】
そこで、全方位カメラを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う装置が提案されている。たとえば、下記の特許文献１には、コンピュータを利用して、魚眼レンズを用いて撮影された歪曲円形画像の一部分を平面正則画像にリアルタイムで変換する技術が開示されている。また、下記の非特許文献１には、全方位ミラーを用いて撮影された歪曲円形画像の一部分を平面正則画像に変換する技術が開示されている。このような変換技術を利用すれば、全方位カメラを用いて撮影した歪曲円形画像からなる動画を、平面正則画像からなる動画としてリアルタイムで観察することが可能になり、１８０°の画角をもった監視システムなどへの応用が期待できる。また、下記の非特許文献２には、全方位ミラーを用いて撮影された歪曲円形画像と魚眼レンズを用いて撮影された歪曲円形画像との相互変換技術が提案されている。
【特許文献１】特許第３０５１１７３号公報
【非特許文献１】Christian Toepfer, Tobias Ehlgen: "A Unifying Omnidirectional Camera Model and its Applications," The Seventh Workshop on Omnidirectional Vision, Camera Networks and Non-classical Cameras 2007, pp. 1-5.
【非特許文献２】Xianghua Ying and Zhanyi Hu, "Can We Consider Central Catadioptric Cameras and Fisheye Cameras within a Unified Imaging Model," ECCV 2004, pp. 442-455.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように、全方位カメラを用いた撮影により得られた歪曲円形画像の一部分を切り出して、これを平面正則画像に変換する画像変換装置は既に提案されている。しかしながら、魚眼レンズを用いたタイプに適用するための装置（たとえば、前掲の特許文献１に開示されている装置）と、全方位ミラーを用いたタイプに適用するための装置（たとえば、前掲の非特許文献１に開示されている装置）とは、内部で実行する処理プロセスが全く異なっている。これは、一方が光の屈折を利用した集光カメラであるのに対して、他方が光の反射を利用した集光カメラであるため、原理的に避けられない事項である。
【０００７】
その一方で、前述したとおり、これら２通りの全方位カメラには、それぞれ一長一短があるため、実用上は、用途に応じて両方のタイプが使い分けられている。したがって、現状では、魚眼レンズを用いたタイプに利用するための画像変換装置と、全方位ミラーを用いたタイプに利用するための画像変換装置とをそれぞれ別個に設計し、それぞれ別個に提供する必要がある。このため、装置を構成するハードウエアの設計や製造のための労力や費用もそれぞれ別個に必要になり、効率的な設計・製造を阻む要因となっている。また、ユーザ側でも、両タイプの全方位カメラを利用する場合には、各タイプ用の画像変換装置をそれぞれ別個に購入する必要がある。
【０００８】
そこで、本発明の目的は、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を効率的に行うことにある。また、本発明の別な目的は、魚眼レンズ式カメラ用の変換プロセスと共通するプロセスを利用して、全方位ミラー式カメラ用の正則画像変換を行うことが可能な画像変換装置および画像変換方法を提供することにある。更に、本発明のもうひとつの目的は、魚眼レンズ式カメラにも全方位ミラー式カメラにも共用可能な画像変換装置および画像変換方法を提供することにある。
【課題を解決するための手段】
【０００９】
(1) 本発明の第１の態様は、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換装置において、
二次元ＸＹ直交座標系上のＸ軸上の座標値ａおよびＹ軸上の座標値ｂを用いた座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体によって構成されたミラー歪曲円形画像を格納する歪曲円形画像格納部と、
二次元ＵＶ直交座標系上のＵ軸上の座標値ｕおよびＶ軸上の座標値ｖを用いた座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
歪曲円形画像格納部に格納されているミラー歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
ディスプレイに表示されているミラー歪曲円形画像上における、切出中心点Ｋの位置および切り出し向きをユーザの指示に基づいて入力する指示入力部と、
座標（ｕ，ｖ）と座標（ａ，ｂ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ａ，ｂ）で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、ミラー歪曲円形画像から切出中心点Ｋを中心として切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を平面正則画像格納部に格納する変換演算部と、
を設け、
変換演算部が、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成したときに、ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）との関係を示す第１の座標関係式と、仮想レンズ歪曲円形画像上の任意位置の座標（ｘ，ｙ）と平面正則画像上の対応位置の座標（ｕ，ｖ）との関係を示す第２の座標関係式と、を用いて、座標（ｕ，ｖ）と座標（ａ，ｂ）との対応づけを行うようにしたものである。
【００１０】
(2) 本発明の第２の態様は、全方位ミラーもしくは魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換装置において、
二次元ＸＹ直交座標系上のＸ軸上の座標値ａおよびＹ軸上の座標値ｂを用いた座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体によって構成され、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像、もしくは二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像を格納する歪曲円形画像格納部と、
二次元ＵＶ直交座標系上のＵ軸上の座標値ｕおよびＶ軸上の座標値ｖを用いた座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
歪曲円形画像格納部に格納されている歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
ディスプレイに表示されている歪曲円形画像上における、切出中心点Ｋの位置および切り出し向きをユーザの指示に基づいて入力する指示入力部と、
歪曲円形画像格納部にミラー歪曲円形画像が格納されている場合には、座標（ｕ，ｖ）と座標（ａ，ｂ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ａ，ｂ）で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、ミラー歪曲円形画像から切出中心点Ｋを中心として切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を平面正則画像格納部に格納する第１の処理を行い、歪曲円形画像格納部にレンズ歪曲円形画像が格納されている場合には、座標（ｕ，ｖ）と座標（ｘ，ｙ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ｘ，ｙ）で示される位置に配置されたレンズ歪曲円形画像上の参照画素の画素値に基づいて決定することにより、レンズ歪曲円形画像から切出中心点Ｋを中心として切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を平面正則画像格納部に格納する第２の処理を行う変換演算部と、
を設け、
変換演算部が、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成したときに、ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）との関係を示す第１の座標関係式と、仮想レンズ歪曲円形画像上の任意位置の座標（ｘ，ｙ）と平面正則画像上の対応位置の座標（ｕ，ｖ）との関係を示す第２の座標関係式と、を用いて、座標（ｕ，ｖ）と座標（ａ，ｂ）との対応づけを行うようにしたものである。
【００１１】
(3) 本発明の第３の態様は、上述の第１または第２の態様に係る画像変換装置において、
変換演算部が、放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる曲面を反射面とする全方位ミラーを用いた撮影により得られたミラー歪曲円形画像を平面正則画像に変換する処理を行うようにしたものである。
【００１２】
(4) 本発明の第４の態様は、上述の第３の態様に係る画像変換装置において、
変換演算部が、全方位ミラーの反射面を構成する回転体曲面の焦点位置に原点Ｏを有し、回転体曲面の回転軸方向をＺ軸とするＸＹＺ三次元直交座標系において、原点Ｏを中心とする所定半径ｒの仮想球面を仮定し、仮想球面上の任意の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する入射光線がＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする正射影方式の魚眼レンズモデルを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定した変換処理を行うようにしたものである。
【００１３】
(5) 本発明の第５の態様は、上述の第４の態様に係る画像変換装置において、
変換演算部が、ＸＹＺ三次元直交座標系のＸＹ平面上に配置された仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と、仮想撮像面に形成されるであろう仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）と、の関係を示す第１の座標関係式を用いるようにしたものである。
【００１４】
(6) 本発明の第６の態様は、上述の第５の態様に係る画像変換装置において、
変換演算部が、全方位ミラーを用いた撮影での実撮像面に形成されるミラー歪曲円形画像と、仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像とが、相似関係にあることを利用して導出された第１の座標関係式を用いるようにしたものである。
【００１５】
(7) 本発明の第７の態様は、上述の第６の態様に係る画像変換装置において、
変換演算部が、全方位ミラーの反射面を構成する回転体曲面の元になる二次曲線について、離心率をｅ、焦点と準線との距離をｑ、焦点とピンホール点との距離をｄとし、用いる魚眼レンズモデルの仮想球面の半径をｒとしたときに、
ａ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｘ
ｂ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｙ
ｒ２＝ｘ２＋ｙ２＋ｚ２
なる式を、座標（ａ，ｂ）と座標（ｘ，ｙ）との関係を示す第１の座標関係式として用いるようにしたものである。
【００１６】
(8) 本発明の第８の態様は、上述の第４の態様に係る画像変換装置において、
指示入力部が、ユーザの指示に基づいて平面傾斜角φを指定するための情報を切り出し向きを示すパラメータとして入力する機能を有し、
変換演算部が、用いる魚眼レンズモデルの仮想球面の半径をｒとしたときに、平面傾斜角φと、切出中心点Ｋの位置に基づいて定まる方位角αおよび天頂角βを用いて、
ｘ＝ｒ（ｕＡ＋ｖＢ＋ｗＥ）／√（ｕ２＋ｖ２＋ｗ２）
ｙ＝ｒ（ｕＣ＋ｖＤ＋ｗＦ）／√（ｕ２＋ｖ２＋ｗ２）
ここで、
Ａ＝cosφcosα−sinφsinαcosβ
Ｂ＝−sinφcosα−cosφsinαcosβ
Ｃ＝cosφsinα＋sinφcosαcosβ
Ｄ＝−sinφsinα＋cosφcosαcosβ
Ｅ＝sinβsinα
Ｆ＝−sinβcosα
ｗ＝ｍｒ（但し、ｍは所定の変換倍率）
なる式を、座標（ｘ，ｙ）と座標（ｕ，ｖ）との関係を示す第２の座標関係式として用いるようにしたものである。
【００１７】
(9) 本発明の第９の態様は、上述の第８の態様に係る画像変換装置において、
指示入力部が、ミラー歪曲円形画像上における切出中心点Ｋの位置を、二次元ＸＹ直交座標系上の座標（ａ０，ｂ０）として入力する機能を有し、
変換演算部が、第１の座標関係式を用いて、座標（ａ０，ｂ０）に対応する座標（ｘ０，ｙ０）を求め、ＸＹＺ三次元直交座標系において、座標（ｘ０，ｙ０）で示されるＸＹ平面上の点Ｋ（ｘ０，ｙ０）を通りＺ軸に平行な直線と仮想球面との交点Ｇ（ｘ０，ｙ０，ｚ０）の位置に基づいて方位角αおよび天頂角βを定めるようにしたものである。
【００１８】
(10) 本発明の第１０の態様は、上述の第８または第９の態様に係る画像変換装置において、
指示入力部が、ユーザの指示に基づいて変換倍率ｍを入力する機能を有し、
変換演算部が、指示入力部によって入力された変換倍率ｍを用いた演算を行うようにしたものである。
【００１９】
(11) 本発明の第１１の態様は、上述の第１〜第１０の態様に係る画像変換装置において、
変換演算部が、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を決定する際に、対応する歪曲円形画像上の複数の参照画素の画素値に対する補間演算を行うようにしたものである。
【００２０】
(12) 本発明の第１２の態様は、上述の第１〜第１１の態様に係る画像変換装置を、コンピュータに専用のプログラムを組み込むことにより実現したものである。
【００２１】
(13) 本発明の第１３の態様は、上述の第１〜第１１の態様に係る画像変換装置における変換演算部を、電子回路が組み込まれた半導体集積回路により実現したものである。
【００２２】
(14) 本発明の第１４の態様は、上述の第１〜第１１の態様に係る画像変換装置と、全方位ミラーもしくは魚眼レンズを用いたカメラと、平面正則画像を画面上に表示するモニタ装置と、を組み合わせることにより全方位監視システムを構成し、
カメラを用いた撮影により得られたミラー歪曲円形画像もしくはレンズ歪曲円形画像が歪曲円形画像格納部へと格納され、平面正則画像格納部に得られた平面正則画像がモニタ装置によって表示されるようにしたものである。
【００２３】
(15) 本発明の第１５の態様は、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換方法において、
二次元ＸＹ直交座標系上のＸ軸上の座標値ａおよびＹ軸上の座標値ｂを用いた座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体によって構成されたミラー歪曲円形画像を、歪曲円形画像格納部に格納する段階と、
歪曲円形画像格納部に格納されているミラー歪曲円形画像をディスプレイに表示する段階と、
ディスプレイに表示されているミラー歪曲円形画像上における、切出中心点Ｋの位置および切り出し向きをユーザの指示に基づいて入力する段階と、
座標（ｕ，ｖ）と座標（ａ，ｂ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ａ，ｂ）で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、ミラー歪曲円形画像から切出中心点Ｋを中心として切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する変換演算を行う段階と、
をコンピュータもしくは電子回路に実行させ、
変換演算を行う際に、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成したときに、ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）との関係を示す第１の座標関係式と、仮想レンズ歪曲円形画像上の任意位置の座標（ｘ，ｙ）と平面正則画像上の対応位置の座標（ｕ，ｖ）との関係を示す第２の座標関係式と、を用いて、座標（ｕ，ｖ）と座標（ａ，ｂ）との対応づけを行うようにしたものである。
【００２４】
(16) 本発明の第１６の態様は、上述の第１５の態様に係る画像変換方法において、
放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる曲面を反射面とする全方位ミラーを用いた撮影により得られたミラー歪曲円形画像を平面正則画像に変換する処理を行い、
回転体曲面の焦点位置に原点Ｏを有し、回転体曲面の回転軸方向をＺ軸とするＸＹＺ三次元直交座標系において、原点Ｏを中心とする所定半径ｒの仮想球面を仮定し、仮想球面上の任意の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する入射光線がＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする正射影方式の魚眼レンズモデルを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定した変換処理を行うようにしたものである。
【００２５】
(17) 本発明の第１７の態様は、上述の第１６の態様に係る画像変換方法において、
変換演算を行う際に、ＸＹＺ三次元直交座標系のＸＹ平面上に配置された仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と、仮想撮像面に形成されるであろう仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）と、の関係を示す第１の座標関係式を用いるようにしたものである。
【００２６】
(18) 本発明の第１８の態様は、上述の第１７の態様に係る画像変換方法において、
変換演算を行う際に、全方位ミラーを用いた撮影での実撮像面に形成されるミラー歪曲円形画像と、仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像とが、相似関係にあることを利用して導出された第１の座標関係式を用いるようにしたものである。
【００２７】
(19) 本発明の第１９の態様は、上述の第１８の態様に係る画像変換方法において、
変換演算を行う際に、全方位ミラーの反射面を構成する回転体曲面の元になる二次曲線について、離心率をｅ、焦点と準線との距離をｑ、焦点とピンホール点との距離をｄとし、用いる魚眼レンズモデルの仮想球面の半径をｒとしたときに、
ａ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｘ
ｂ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｙ
ｒ２＝ｘ２＋ｙ２＋ｚ２
なる式を、座標（ａ，ｂ）と座標（ｘ，ｙ）との関係を示す第１の座標関係式として用いるようにしたものである。
【００２８】
(20) 本発明の第２０の態様は、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換方法において、
全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、ミラー歪曲円形画像を仮想レンズ歪曲円形画像に変換するための第１の演算式と、仮想レンズ歪曲円形画像を平面正則画像に変換するための第２の演算式と、を併用した変換演算をコンピュータもしくは電子回路が実行することにより、ミラー歪曲円形画像を平面正則画像に変換するようにしたものである。
【発明の効果】
【００２９】
本発明の画像変換装置および画像変換方法によれば、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像を平面正則画像に変換する際に、一旦、魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像に変換し、これを更に平面正則画像に変換する処理が行われる。このため、レンズ歪曲円形画像を平面正則画像に変換する部分について、魚眼レンズ式カメラ用のプロセスを利用することができる。すなわち、魚眼レンズ式カメラ用の変換プロセスと共通するプロセスを利用して、全方位ミラー式カメラ用の正則画像変換を行うことが可能になる。かくして、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を効率的に行うことが可能になり、装置を構成するハードウエアの設計や製造のための労力や費用を節約することができる。また、魚眼レンズ式カメラにも全方位ミラー式カメラにも共用可能な画像変換装置および画像変換方法を提供することが可能になり、ユーザの負担も軽減できる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明を図示する実施形態に基づいて説明する。
【００３１】
＜＜＜ §１．全方位ミラーを用いた全方位カメラの概要 ＞＞＞
既に述べたとおり、全方位カメラには、魚眼レンズを用いたタイプと全方位ミラーを用いたタイプとの２通りがある。ここでは、まず、全方位ミラーを用いたタイプの概要を説明する。
【００３２】
図１は、全方位ミラーを利用した一般的な全方位カメラの基本構造を示す側断面図である。図には、全方位ミラーを用いたカメラ２０を、テーブル５０の上に配置した状態が示されている。カメラ２０の主たる構成要素は、図示のとおり、土台２１、全方位ミラー２２，透明カバー２３，撮像素子２４である。
【００３３】
土台２１は、カメラ２０の各構成要素を支持するとともに、外囲器の一部をなす構成要素である。全方位ミラー２２は、二次曲線の回転体からなる反射面を有しており、図に示す外側面が反射面になる。この反射面において十分な鏡面反射が生じれば、全方位ミラー２２の本体部分はどのような材質で構成してもかまわない。透明カバー２３も、土台２１とともに外囲器の一部をなす構成要素であるが、外界からの入射光を取り込むために透明な素材によって構成されている。撮像素子２４は、全方位ミラー２２で反射した光を集め、外界の像を撮影するデバイスであり、たとえば、ＣＣＤカメラなどによって構成される。
【００３４】
図示のとおり、ここでは説明の便宜上、回転体からなる全方位ミラー２２の回転軸（中心軸）をＺ軸とする（後述する座標系に合わせるため、図の下方をＺ軸正方向にとっている）。図示の例では、この全方位カメラ２０全体が回転体形状をしている。撮像素子２４は、その光軸がＺ軸に一致する位置に配置されており、撮像面はＺ軸に直交する。透明カバー２３は、撮像素子２４をこのような位置に固定するための支持部材としての機能も果たすことになる。
【００３５】
図２は、図１に示す全方位カメラ２０による撮影で得られた画像Ｃを示す平面図である。具体的には、全方位カメラ２０を、屋外のテーブル５０の上に配置し、周囲の景色を撮影したときに得られる画像の一例を示すものである。このような画像は、撮像素子２４（たとえば、ＣＣＤカメラ）の撮像面に得られる画像であり、デジタル画像信号として取得されることになる。図１には示されていないが、実際には、撮像素子２４で生成されたデジタル画像信号を外部へと取り出すための仕組みが備わっている。
【００３６】
図２に示すとおり、この全方位カメラ２０で得られる画像Ｃは、テーブル５０より上方の半球状の外界を１８０°の画角をもって撮影した全方位画像になっている。もっとも、図示する画像Ｃは、全方位カメラを用いた撮影により得られる画像の一般的なイメージを示すものであり、実際の全方位カメラを用いて得られる正確な画像を示すものではない。図示のとおり、この画像Ｃは、その中心部分と周囲部分とでは像の縮尺倍率が異なり、円形の歪んだ画像になる。そこで、ここでは、このように全方位カメラによる撮影で得られた画像を「歪曲円形画像」と呼ぶことにする。特に、図１に示すミラー式の全方位カメラ２０で撮影された画像を、後述するレンズ式の全方位カメラで撮影された画像と区別するため、本願では、図２に示す画像を「ミラー歪曲円形画像Ｃ」と呼ぶことにする。
【００３７】
図２に示すミラー歪曲円形画像Ｃの中心部には、円形の黒い影が写っているが、これは、撮像素子２４自身の影である。図１の側断面図を見れば明らかなように、テーブル５０より上方の半球状の外界のうち、撮像素子２４の真上に位置する部分からの光は、撮像素子２４自身によって遮られてしまうため、撮像面には届かない。図２の画像Ｃの中心部の影は、このような理由により生じた外界の死角領域に対応する。なお、撮像素子２４からの撮像信号を有線で外部に取り出すようにした場合、外部への配線の影が画像内に写ることになる。これを避けるには、透明な配線材を用いるか、無線による信号伝達手段を採用すればよい。
【００３８】
図３は、図１に示す全方位カメラ２０に入射した光のミラーによる反射状態を示す側断面図である。図示のとおり、外界からの光は、透明カバー２３を透過して、全方位ミラー２２の反射面で反射し、撮像素子２４で受光される。撮像素子２４には、光学系が内蔵されており、撮像面（ＣＣＤカメラの受光面）に外界の歪んだ像が結像されることになる。撮像面に得られる像の歪み具合は、全方位ミラー２２の反射面を構成する曲面の性質に左右される。
【００３９】
図４は、図２に示すミラー歪曲円形画像Ｃを二次元ＸＹ直交座標系上に配置した状態を示す平面図である。本発明は、歪曲円形画像を平面正則画像に変換する技術に係るものであり、その基本原理は、座標系の幾何学的な変換法則に基づくものである。そこで、ここで述べる実施形態では、撮像素子２４によって撮影されたミラー歪曲円形画像Ｃを、その中心位置に原点Ｏをもつ二次元ＸＹ直交座標系上の画像として取り扱うことにする。また、ここでは、このミラー歪曲円形画像Ｃの特定の箇所を示すために、Ｘ軸上の座標値ａおよびＹ軸上の座標値ｂを用いた座標（ａ，ｂ）を用いることにする。たとえば、図４に示す点Ｃ（ａ，ｂ）は、この二次元ＸＹ直交座標系における座標（ａ，ｂ）で示される点である。
【００４０】
結局、本発明における変換対象となるミラー歪曲円形画像Ｃの実体は、このような座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体である。個々の画素には、それぞれ特定の画素値（たとえば、一般的なカラー画像の場合、三原色Ｒ，Ｇ，Ｂの各画素値）が対応づけられている。なお、図４では、Ｘ軸を右方向、Ｙ軸を下方向にとっているが、これは後述する三次元ＸＹＺ直交座標系における各座標軸配置と整合性をもたせるための便宜である。
【００４１】
本発明に係る画像変換装置は、図４に示すミラー歪曲円形画像Ｃの任意の位置の近傍の歪曲画像を平面正則画像に変換する機能を有している。たとえば、ディスプレイの画面上に、図４に示すような画像表示が行われている状態において、ユーザが、この画面上の１点Ｋ（ａ０，ｂ０）を切出中心点として指定すると、点Ｋ（ａ０，ｂ０）を中心とする所定の切出領域内の歪曲画像が切り出され、平面正則画像に変換されて表示されることになる。
【００４２】
図５は、このようにして表示された平面正則画像Ｔ１を示す平面図である。ここでは、図示のとおり、平面正則画像Ｔ１が、右方向にＵ軸、下方向にＶ軸をとった二次元ＵＶ直交座標系上に得られるものとする。このＵＶ直交座標系の原点は、図４における切出中心点Ｋ（ａ０，ｂ０）に対応する点であり、図示の例の場合、女性の鼻の位置を中心として切り出された歪曲画像が、平面正則画像Ｔ１に変換されたことになる。
【００４３】
もっとも、このような平面正則画像Ｔ１を得るために、ユーザは、パラメータとして、切出中心点Ｋ（ａ０，ｂ０）とともに、切り出し向きを指定する必要がある。たとえば、図５に示す平面正則画像Ｔ１では、女性が倒れた状態の画像になっている。これは、図４に示す画像Ｃについて、切出中心点Ｋ（ａ０，ｂ０）を基準として女性の頭頂部方向がＵ軸方向となるような向きの指定が行われたためである。女性が正立した向きとなる平面正則画像を得るためには、女性の向かって右側方向がＵ軸方向となるような向きの指定を行えばよい。図６は、このような切り出し向きの指定を行うことにより得られた平面正則画像Ｔ２を示す平面図である。
【００４４】
図６に示す平面正則画像Ｔ２は、図５に示す平面正則画像Ｔ１を、切出中心点Ｋを回転中心として、反時計回りに９０°回転させたものである。したがって、切り出し向きは、結局、切出中心点Ｋを中心とした平面正則画像Ｔの回転ファクターを示すパラメータということになり、０〜３６０°の回転角度として与えることが可能である。ユーザは、ディスプレイ画面上に表示された図４に示すような歪曲円形画像Ｃを見ながら、切出中心点Ｋ（ａ０，ｂ０）の位置と、切り出し向きとを指定し、「ここを中心として、こんな向きに、画像を切り出して、平面正則画像を得たい」という要望を出せばよい。本発明に係る画像変換装置は、このようなユーザの要望に基づいて画像変換処理を実行し、要望に合致した平面正則画像を提示する機能を有している。
【００４５】
実用上は、ユーザに第３のパラメータである「変換倍率ｍ」を指定させるのが好ましい。図５に示す画像Ｔ１と図６に示す画像Ｔ２とは、実は、互いに異なる変換倍率ｍを指定することによって得られた画像である。いずれの画像も、横方向寸法（水平方向の画素数）Ｎｕ、縦方向寸法（垂直方向の画素数）Ｎｖをもった同一のディスプレイ画面上に表示されているが、女性の像の大きさは、画像Ｔ１の方が画像Ｔ２よりも拡大されていることがわかる。これは、画像Ｔ１を得るための変換が、より大きな変換倍率ｍの指定の下に行われたためである。一般に、ディスプレイの縦横寸法（画素数）は一定であるから、変換倍率ｍを調整することにより、得られる平面正則画像Ｔのトリミング枠を任意に設定することができる。
【００４６】
結局、本発明に係る画像変換装置を利用すれば、ユーザが、図４に示すような歪曲円形画像Ｃ上において、切出中心点Ｋ（ａ０，ｂ０）の位置、切り出し向き、変換倍率ｍという３つのパラメータを指定すると、図５や図６に例示するような平面正則画像Ｔ１，Ｔ２が得られることになる。
【００４７】
このような画像変換処理は、ＸＹ座標系上の座標（ａ，ｂ）とＵＶ座標系上の座標（ｕ，ｖ）とを対応づけることにより行われる。たとえば、図４の画像Ｃ上の点Ｃ（ａ，ｂ）は、図５の画像Ｔ１上では点Ｔ１（ｕ，ｖ）となり、図６の画像Ｔ２上では点Ｔ２（ｕ，ｖ）となる。したがって、たとえば、図５に示す平面正則画像Ｔ１を生成するには、任意の点Ｔ１（ｕ，ｖ）に対応する円形歪曲画像Ｃ上の点Ｃ（ａ，ｂ）を求め、点Ｔ１（ｕ，ｖ）に配置される画素の画素値を、点Ｃ（ａ，ｂ）に配置されている画素の画素値に応じて決めればよい。別言すれば、上記画像変換処理は、座標（ａ，ｂ）と座標（ｕ，ｖ）との対応づけができれば、一義的に実行可能である。
【００４８】
全方位ミラー２０の反射面の幾何学的形状が定まれば、座標（ａ，ｂ）と座標（ｕ，ｖ）とを直接対応づける座標関係式を、幾何学的に求めることができる。したがって、このような座標関係式を用いた座標変換演算を実行すれば、理論上、歪曲円形画像Ｃに基づいて平面正則画像Ｔを得ることが可能である。実際、前掲の非特許文献１などでは、そのようなアプローチに基づく画像変換の手法が開示されている。
【００４９】
しかしながら、座標（ａ，ｂ）と座標（ｕ，ｖ）とを直接対応づける座標関係式は、一般に三角関数を含んだ複雑な式になり、演算負担はかなり大きなものになる。たとえば、ソフトウエアによる演算処理で実行したとすると、現在普及している一般的なパソコンレベルのＣＰＵでは、かなりの演算時間が必要になり、動画をリアルタイムで処理することは困難である。一方、ハードウエアによる演算処理で実行すれば、演算時間の短縮を図ることは可能であるが、三角関数演算を含む複雑な演算を実行するための半導体集積回路の構造はかなり複雑になり、製造コストの高騰は避けられない。
【００５０】
本発明のユニークな着眼点は、座標（ａ，ｂ）と座標（ｕ，ｖ）とを直接対応づける代わりに、魚眼レンズを用いた撮影により得られるであろう歪曲円形画像上の座標（ｘ，ｙ）を仲介させ、まず、座標（ａ，ｂ）と座標（ｘ，ｙ）とを第１の演算式によって対応づけ、更に、座標（ｘ，ｙ）と座標（ｕ，ｖ）とを第２の演算式によって対応づけることにより、結果的に、座標（ａ，ｂ）と座標（ｕ，ｖ）との対応づけが行われるようにする、という発想にある。
【００５１】
＜＜＜ §２．魚眼レンズを用いた全方位カメラの場合の変換処理 ＞＞＞
本発明の本来の目的は、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像Ｃの一部分を切り出して、平面正則画像に変換する処理を効率的に行うことにあるが、上述したとおり、その変換処理には、概念上、魚眼レンズを用いた撮影により得られるであろう仮想の歪曲円形画像を仲介させる手法が採られる。そこで、ここでは、魚眼レンズを用いた全方位カメラの場合の変換処理の概要を説明する。
【００５２】
図７は、正射影方式の魚眼レンズを用いた撮影により歪曲円形画像Ｓを形成する基本モデルを示す斜視図である。一般に、魚眼レンズは、その投影方式によって複数の種類に分けられるが、この図７に示すモデルは、正射影方式の魚眼レンズについてのものである。
【００５３】
図７には、三次元ＸＹＺ直交座標系におけるＸＹ平面上に歪曲円形画像Ｓが形成される例が示されている。ここでは、こうして魚眼レンズを用いた撮影により得られる歪曲円形画像Ｓを、「レンズ歪曲円形画像Ｓ」と呼ぶことにし、§１で説明した「ミラー歪曲円形画像Ｃ」と区別する。なお、後述する変換演算式との整合性を確保するために、図示のとおり、Ｚ軸を図の下方にとり、Ｚ軸の負の領域側にドーム状の仮想球面Ｈ（半球）を定義した例を示すことにする。
【００５４】
ＸＹ平面上に形成されるレンズ歪曲円形画像Ｓは、座標系の原点Ｏを中心とした半径ｒの円を構成する画像であり、Ｚ軸の負の領域側における１８０°の画角をもった領域に存在する像を歪ませて記録したものに相当する。図８は、魚眼レンズを用いた撮影によって得られたレンズ歪曲円形画像Ｓの一例を示す平面図である。このように、レンズ歪曲円形画像Ｓには、Ｚ軸の負の領域側に存在するすべての像が記録されることになるが、その中心部分と周囲部分とでは、像の縮尺倍率が異なっており、記録された像の形状は歪んだものになる。なお、図８に示すレンズ歪曲円形画像Ｓも、魚眼レンズを用いた撮影により得られた歪曲円形画像の一般的なイメージを示すものであり、実際の魚眼レンズを用いて得られる正確な画像を示すものではない。
【００５５】
図８に示すレンズ歪曲円形画像Ｓと、図４に示すミラー歪曲円形画像Ｃとを比べると、いずれも円形の歪んだ画像である点では共通するが、前者が、レンズの屈折作用によって生じた画像であるのに対し、後者は、ミラーの反射作用によって生じた画像であるため、同一の被写体を同一視点から撮影したとしても、両画像の歪み具合はそれぞれ異なったものになる（なお、実際の図面においても、両画像が若干異なるように描かれているが、図面に描かれている相違は、正確な相違を反映したものではない）。また、図８に示すレンズ歪曲円形画像Ｓの場合、ＸＹ平面が撮像面になるため、死角となる領域は存在しない。このため、図４の画像Ｃの中心に生じていた黒い円形の影は、図８の画像Ｓには発生しない。
【００５６】
このように、レンズ歪曲円形画像Ｓとミラー歪曲円形画像Ｃとは、画像としては全く別のものである。但し、両画像間には、それぞれ対応する点が定義できる。たとえば、図４に示す画像Ｃ上の点Ｃ（ａ，ｂ）は、図８に示す画像Ｓ上の点Ｓ（ｘ，ｙ）に対応する。同様に、図４に示す画像Ｃ上の切出中心点Ｋ（ａ０，ｂ０）は、図８に示す画像Ｓ上の切出中心点Ｋ（ｘ０，ｙ０）に対応する。したがって、座標（ａ，ｂ）と座標（ｘ，ｙ）とを対応づける座標関係式を定義することが可能である。具体的な座標関係式については、§４，§５で詳述する。
【００５７】
さて、実際の魚眼レンズは、複数の凸レンズや凹レンズを組み合わせた光学系によって構成されるが、その光学的な特性は、図７に示すような仮想球面Ｈによってモデル化できることが知られている。すなわち、レンズ歪曲円形画像Ｓの上面に、半径ｒをもったドーム状の仮想球面Ｈ（半球）を配置したモデルを考えれば、正射影方式の魚眼レンズの光学的特性は、仮想球面Ｈ上の任意の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する入射光線Ｌ１は、Ｚ軸に平行な入射光線Ｌ２として、ＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする、と考えてよい。逆言すれば、図８においてレンズ歪曲円形画像Ｓ上の点Ｓ（ｘ，ｙ）に位置する画素は、図７に示す入射光線Ｌ１の延長線上に存在する物体上の１点を示していることになる。
【００５８】
もちろん、実際の魚眼レンズで生じている光学的現象は、複数の凸レンズや凹レンズによる屈折により、撮像対象となる物体の特定の点が、ＸＹ平面上の特定の点Ｓ（ｘ，ｙ）上に結像する現象ということになるが、画像変換処理などを行う上では、図７に示すような仮想球面Ｈを用いたモデルに置き換えた議論を行っても何ら支障はない。したがって、前掲の特許文献１に開示されている画像変換処理でも、このようなモデルを前提とした手法が示されており、本発明における以下の説明においても、このようなモデルを前提とした説明を行うことにする。
【００５９】
ここでは、§１で述べた例と同様に、レンズ歪曲円形画像Ｓ上の一部分を切り出して、平面正則画像に変換することを考えてみよう。たとえば、図８に示すレンズ歪曲円形画像Ｓを見たユーザが、その左下に描かれている女性の画像を、歪みのない正しい画像で観察したいと考えたとしよう。このような場合、既に§１で述べたとおり、ユーザは、切出中心点Ｋ（ｘ０，ｙ０）、切り出し向き、変換倍率ｍという３つのパラメータを指定すればよい。そうすれば、図９にハッチングを施して示すような切出領域Ｅが変換対象とすべき領域として切り出され、平面正則画像に変換される。
【００６０】
ここでは、切出中心点Ｋ（ｘ０，ｙ０）を中心とした切出領域Ｅ内の画像を、平面正則画像に変換するために、次のようなモデルを考える。図１０は、このモデルにおいて、レンズ歪曲円形画像Ｓを含むＸＹ座標系と、平面正則画像Ｔを含むＵＶ座標系との関係を示す斜視図である。図示のとおり、レンズ歪曲円形画像Ｓは、三次元ＸＹＺ直交座標系のＸＹ平面上に定義されているので、レンズ歪曲円形画像Ｓ自身は、二次元ＸＹ直交座標系上に定義された画像である。そこで、このレンズ歪曲円形画像Ｓ上に定義された切出中心点Ｋ（ｘ０，ｙ０）を通りＺ軸に平行な直線と仮想球面Ｈとの交点Ｇを考える。この交点Ｇは、いわば切出中心点Ｋ（ｘ０，ｙ０）の真上の点であり、その位置座標は（ｘ０，ｙ０，ｚ０）である。
【００６１】
次に、この交点Ｇ（ｘ０，ｙ０，ｚ０）において、仮想球面Ｈに接する接平面を定義し、この接平面上に二次元ＵＶ直交座標系を定義する。そして、平面正則画像Ｔを、この二次元ＵＶ直交座標系上の画像として求めることにする。図１０に示す例の場合、交点Ｇ（ｘ０，ｙ０，ｚ０）が原点となるようにＵＶ座標系が定義されている。結局、このモデルにおけるＵＶ座標系の原点は、仮想球面Ｈ上のいずれかに設定され、ＵＶ座標系を構成するＵＶ平面は、この原点位置における仮想球面Ｈに対する接平面に一致する。
【００６２】
ＵＶ座標系の原点となる交点Ｇ（ｘ０，ｙ０，ｚ０）の位置は、図示のとおり、方位角αと天頂角βとによって特定することができる。ここで、方位角α（０≦α＜３６０°）は、切出中心点Ｋ（ｘ０，ｙ０）とＸＹ座標系の原点Ｏとを結ぶ直線とＸ軸とのなす角であり、天頂角β（０≦β≦９０°）は、ＵＶ座標系の原点となる点Ｇ（ｘ０，ｙ０，ｚ０）とＸＹ座標系の原点Ｏとを結ぶ直線とＺ軸とのなす角である。
【００６３】
このように、ＵＶ平面は、方位角αと天頂角βとを指定することによって特定することができるが、ＵＶ座標系を決定するには、更にもう１つのパラメータを指定する必要がある。このパラメータは、点Ｇを中心とした接平面上での回転ファクター（Ｕ軸の向き）を示すものであり、一般に平面傾斜角と呼ばれている。通常、この平面傾斜角は、「点Ｇを通り、ＸＹ平面に平行で、かつ、直線ＯＧに直交する軸」を基準軸として、当該基準軸とＵ軸とのなす角φとして定義される（基準軸は、方位角αと天頂角βに依存して変化する）。この平面傾斜角φは、切り出し向きを示すパラメータに他ならない。
【００６４】
結局、平面正則画像Ｔを形成するためのＵＶ座標系の位置および向きは、方位角α，天頂角β，平面傾斜角φという３つの角度からなるパラメータを設定することにより一義的に決定される。この３つの角度は、一般にオイラー角と呼ばれている。
【００６５】
図１１は、ＵＶ座標系上に定義された平面正則画像Ｔを示す平面図である。ここでは、この平面正則画像Ｔ上の任意の点をＵＶ座標系の座標値ｕ，ｖを用いて、Ｔ（ｕ，ｖ）と表すことにする。前述したとおり、ここに示すモデルでは、ＵＶ座標系の原点Ｔ（０，０）の位置は、点Ｇ（ｘ０，ｙ０，ｚ０）に一致する。一方、図１２は、ＸＹ座標系上に定義されたレンズ歪曲円形画像Ｓを示す平面図である。ここでは、このレンズ歪曲円形画像Ｓ上の任意の点をＸＹ座標系の座標値ｘ，ｙを用いて、Ｓ（ｘ，ｙ）と表すことにする。
【００６６】
この§２で説明する魚眼レンズ用の画像変換装置は、図１２に示すように、ユーザがレンズ歪曲円形画像Ｓ上の１点Ｋ（ｘ０，ｙ０）の位置を切出中心点として指定すると、その近傍の切出領域Ｅ内の歪曲した画像を正則画像に変換し、図１１に示すＵＶ座標系上に定義された平面正則画像Ｔとして出力する機能を有している。このような画像変換を行うためには、ＵＶ座標系上の１点Ｔ（ｕ，ｖ）とＸＹ座標系上の１点Ｓ（ｘ，ｙ）との間に１対１の対応関係を定義しておく必要がある。このような対応関係は、実際には、変換演算式として表現することができる。
【００６７】
このような変換演算式は、三次元ＸＹＺ座標系の空間内に配置されたＵＶ座標系の位置および向きが決定すれば、一義的に定義することが可能である。たとえば、図１０に示すような特定のＵＶ座標系が定義されており、その上に何らかの平面正則画像Ｔが配置されていたとする。この場合、この平面正則画像Ｔを撮影対象となる物体と考え、図示のモデルに相当する魚眼レンズを用いて、当該物体を撮影すれば、ＸＹ平面上にレンズ歪曲円形画像Ｓが得られることになる。このとき、撮影対象物体となる平面正則画像Ｔ上の任意の点Ｔ（ｕ，ｖ）のレンズ歪曲円形画像Ｓ上での結像位置Ｓ（ｘ，ｙ）は、図７で説明した魚眼レンズの光学的な基本特性に基づいて決定できる。すなわち、点Ｔ（ｕ，ｖ）からの光線Ｌ１が法線方向から入射するような仮想球面Ｈ上の点Ｈ（ｘ，ｙ，ｚ）を求めれば、結像位置はＳ（ｘ，ｙ）として与えられることになる。
【００６８】
結局、ＵＶ座標系の位置および向きが決定すれば、ＵＶ座標系上の１点Ｔ（ｕ，ｖ）とＸＹ座標系上の１点Ｓ（ｘ，ｙ）との間に１対１の対応関係を定義することができ、そのような対応関係は変換演算式として表現することができる。レンズ歪曲円形画像Ｓの一部を平面正則画像Ｔに変換する画像変換処理は、この変換演算式を用いた座標変換演算によって行うことができる。たとえば、図１１に示す平面正則画像Ｔにおける任意の１点Ｔ（ｕ，ｖ）に位置する画素の画素値は、図１２に示すレンズ歪曲円形画像Ｓ上の対応点Ｓ（ｘ，ｙ）に位置する画素の画素値に基づいて決定すればよい。
【００６９】
このように、座標（ｕ，ｖ）と座標（ｘ，ｙ）とを対応づける変換演算式は、三次元ＸＹＺ座標系の空間内に配置されたＵＶ座標系の位置および向きが決定すれば、一義的に定義できる公知の式である。たとえば、図１３に式（１）〜（９）として示されている変換演算式は、前掲の特許文献１に開示されている式である。この変換演算式は、ＵＶ座標系の位置を示すパラメータα，βと、ＵＶ座標系の向きを示すパラメータφとを含む式になっている。これら３つのパラメータは、前述したオイラー角、すなわち、方位角α，天頂角β，平面傾斜角φである。
【００７０】
具体的には、
ｘ＝ｒ（ｕＡ＋ｖＢ＋ｗＥ）／
√（ｕ２＋ｖ２＋ｗ２） 式（１）
は、ＵＶ座標系上の１点Ｔ（ｕ，ｖ）の座標値ｕ，ｖを用いて、ＸＹ座標系上の対応点Ｓ（ｘ，ｙ）のｘ座標値を求めるための式であるが、Ａ，Ｂ，Ｅは、それぞれ、
Ａ＝cosφcosα−sinφsinαcosβ 式（３）
Ｂ＝−sinφcosα−cosφsinαcosβ 式（４）
Ｅ＝sinβsinα 式（７）
なる数式で求まる値であり、オイラー角α，β，φの三角関数を用いた演算によって決定されることになる。
【００７１】
同様に、
ｙ＝ｒ（ｕＣ＋ｖＤ＋ｗＦ）／
√（ｕ２＋ｖ２＋ｗ２） 式（２）
は、ＵＶ座標系上の１点Ｔ（ｕ，ｖ）の座標値ｕ，ｖを用いて、ＸＹ座標系上の対応点Ｓ（ｘ，ｙ）のｙ座標値を求めるための式であるが、Ｃ，Ｄ，Ｆは、それぞれ、
Ｃ＝cosφsinα＋sinφcosαcosβ 式（５）
Ｄ＝−sinφsinα＋cosφcosαcosβ 式（６）
Ｆ＝−sinβcosα 式（８）
なる数式で求まる値であり、オイラー角α，β，φの三角関数を用いた演算によって決定されることになる。
【００７２】
なお、式（１），（２）におけるｗは、
ｗ＝ｍｒ 式（９）
で与えられる値である。ここで、ｒは、レンズ歪曲円形画像Ｓの半径であり、ｍは変換倍率である。変換倍率ｍは、座標値ｕ，ｖのスケーリングと、座標値ｘ，ｙのスケーリングとの関係を示すものであり、変換倍率ｍを大きく設定すればするほど、平面正則画像Ｔには拡大された画像が求められる。実際には、平面正則画像Ｔの大きさ（たとえば、縦横の画素数）には制限があるため、変換倍率ｍを大きく設定すればするほど、レンズ歪曲円形画像Ｓの切出領域Ｅは小さくなる。
【００７３】
図１３に示す式において、ｒの値はレンズ歪曲円形画像Ｓの半径として既知であり、ｍの値はユーザによって指定された（もしくは、予め固定された）変換倍率値として既知であるから、ユーザがオイラー角α，β，φを指定することにより、ＵＶ座標系の位置および向きを決定してやれば、図１３に示す変換演算式において、座標値ｘ，ｙを算出するための未知数はｕ，ｖのみになる。したがって、この変換演算式を用いれば、平面正則画像Ｔにおける任意の１点Ｔ（ｕ，ｖ）に対応するレンズ歪曲円形画像Ｓ上の対応点Ｓ（ｘ，ｙ）を決定することができる。
【００７４】
前掲の特許文献１に開示されている画像変換の方法は、この図１３に示す変換演算式を用いて、レンズ歪曲円形画像Ｓの一部を平面正則画像Ｔに変換するものである。
【００７５】
＜＜＜ §３．魚眼レンズ用の画像変換装置の基本構成 ＞＞＞
ここでは、図１４のブロック図を参照しながら、§２で述べた原理に基づく魚眼レンズ用画像変換装置の基本構成を説明する。図１４において、一点鎖線で囲った部分が、魚眼レンズ用の画像変換装置１００である。この装置は、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像Ｓの一部分を切り出して、平面正則画像Ｔに変換する処理を行う機能を有している。この例では、魚眼レンズを用いたカメラ１０によって撮影されたレンズ歪曲円形画像Ｓが、デジタルデータとして、この画像変換装置１００内に取り込まれている。
【００７６】
歪曲円形画像格納部１１０は、このようなレンズ歪曲円形画像Ｓを格納するための構成要素であり、メモリやハードディスク装置などの記憶装置によって構成される。ここで、レンズ歪曲円形画像Ｓは、たとえば、図８に例示するように、二次元ＸＹ直交座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、ＸＹ座標系の原点Ｏを中心とし半径ｒをもった円形の画像になる。
【００７７】
一方、平面正則画像格納部１２０は、変換処理後の平面正則画像Ｔをデジタルデータとして格納するための構成要素であり、やはりメモリやハードディスク装置などの記憶装置によって構成される。ここで、平面正則画像Ｔは、たとえば、図５や図６に例示するように、二次元ＵＶ直交座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される画像になる。この平面正則画像格納部１２０内の平面正則画像Ｔを変換された画像のデジタルデータとして出力すれば、ディスプレイの画面上に図５や図６に例示するような平面正則画像を表示させることができる。
【００７８】
変換演算部１３０は、§２で述べた変換演算式を利用して、座標（ｕ，ｖ）と座標（ｘ，ｙ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の画素の画素値を、対応する座標（ｘ，ｙ）で示される位置に配置されたレンズ歪曲円形画像Ｓ上の参照画素の画素値に基づいて決定する機能を有し、歪曲円形画像格納部１１０内に格納されているレンズ歪曲円形画像Ｓに基づいて、平面正則画像Ｔを作成する演算を行い、生成された平面正則画像Ｔを平面正則画像格納部１２０に格納する。§２で述べたとおり、このような変換演算を行うには、いくつかのパラメータを設定する必要がある。以下の各構成要素は、このパラメータ設定を行うためのものである。
【００７９】
歪曲円形画像表示部１４０は、歪曲円形画像格納部１１０に格納されているレンズ歪曲円形画像Ｓをディスプレイに表示する構成要素であり、たとえば、図８に示すような画像がディスプレイの画面上に表示される。
【００８０】
指示入力部１５０は、変換に必要な３つのパラメータを入力するためのユーザの指示を入力する。すなわち、ユーザからの指示入力に基づいて、切出中心点Ｋの位置を示す座標（ｘ０，ｙ０）と、切り出し向き（たとえば、平面傾斜角φの値）と、変換倍率ｍと、が入力される。切出中心点Ｋの位置は、ディスプレイに表示されているレンズ歪曲円形画像Ｓ上の１点を指定するユーザによるマウスクリック操作などによって取り込むことができる。
【００８１】
こうして入力された３つのパラメータは、変換演算部１３０に与えられる。変換演算部１３０は、まず、切出中心点Ｋの位置（ｘ０，ｙ０）に基づいて、点Ｇの位置座標（ｘ０，ｙ０，ｚ０）を求める処理を行う。ここで、点Ｇは、図１０に示すとおり、三次元ＸＹＺ直交座標系において、原点Ｏを中心とし半径ｒをもった仮想球面Ｈを定義したときに、切出中心点Ｋを通りＺ軸に平行な直線と仮想球面Ｈとの交点として与えられる点である。実際には、点Ｋの座標値ｘ０，ｙ０と点Ｇの座標値ｘ０，ｙ０とは同一の値であるから、点Ｇの位置座標（ｘ０，ｙ０，ｚ０）を求める演算処理は、座標値ｚ０を求めるための幾何学演算のみである。
【００８２】
こうして、点Ｇの位置座標（ｘ０，ｙ０，ｚ０）が得られれば、やはり幾何学的演算によって、図１０に示す方位角α、天頂角βを算出することができるので、ユーザが指定した平面傾斜角φを含めたオイラー角α，β，φが定まる。また、ｒはレンズ歪曲円形画像Ｓの半径として既知であり、ｍはユーザが指定した変換倍率として既知である。よって、変換演算部１３０は、図１３に示す式を利用して、座標（ｘ，ｙ）で示される位置に配置された画素の集合からなるレンズ歪曲円形画像Ｓを、座標（ｕ，ｖ）で示される位置に配置された画素の集合からなる平面正則画像Ｔに変換し、これを平面正則画像格納部１２０に格納することができる。
【００８３】
なお、実際に変換演算部１３０が実施する座標変換演算は、座標（ｘ，ｙ）に基づいて座標（ｕ，ｖ）を求める演算ではなく、逆に、座標（ｕ，ｖ）に基づいて座標（ｘ，ｙ）を求める演算になる。これは、実際には、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の画素の画素値を、対応する座標（ｘ，ｙ）で示される位置に配置されたレンズ歪曲円形画像Ｓ上の参照画素の画素値に基づいて決定する処理が行われるためである。そのため、図１３に示す式（１），（２）は、任意の値ｕ，ｖに基づいて、これに対応するｘ，ｙの値を導出する形式の式になっている。
【００８４】
なお、レンズ歪曲円形画像Ｓは、二次元ＸＹ直交座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成された画像であり、実際には、所定ピッチで縦横に配列された多数の格子点の位置に、それぞれ固有の画素値を定義したデジタルデータによって構成されている。このため、変換演算部１３０による演算結果として得られた対応座標（ｘ，ｙ）の位置は、通常、複数の格子点の間の位置になる。たとえば、レンズ歪曲円形画像Ｓが、ピッチ１で縦横に配列された多数の格子点位置の画素値を定義したデジタルデータによって構成されている場合、いずれの格子点も、その座標値は整数値になる。よって、変換演算部１３０による演算結果として得られた対応座標ｘおよびｙの値が小数を含む値であると（多くの場合はそうなるであろう）、対応座標（ｘ，ｙ）の位置は、複数の格子点の間の位置になり、対応する画素値を１つに決めることはできない。
【００８５】
したがって、実際には、変換演算部１３０が、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の画素の画素値を決定する際には、対応する座標（ｘ，ｙ）で示される位置の近傍に配置されたレンズ歪曲円形画像Ｓ上の複数の参照画素の画素値に対する補間演算を行う必要がある。このような補間演算を行う方法としては、たとえば、バイリニア補間法、バイキュービック・スプライン補間法など、様々な方法が公知である。
【００８６】
＜＜＜ §４．全方位ミラーによる撮影画像に対する画像変換 ＞＞＞
本発明による変換対象となる画像は、§１で述べたとおり、全方位ミラー式カメラで撮影されたミラー歪曲円形画像である。それにもかかわらず、§２，§３において、魚眼レンズ式カメラで撮影されたレンズ歪曲円形画像に対する画像変換を説明したのは、本発明では、レンズ歪曲円形画像に対する画像変換の原理をそのまま取り入れる手法を採るためである。
【００８７】
本発明における画像変換の基本概念は、図４に示すようなミラー歪曲円形画像Ｃを、一旦、図８に示すようなレンズ歪曲円形画像Ｓに変換し、その後で、§２，§３で述べた公知の方法を用いて、当該レンズ歪曲円形画像Ｓを平面正則画像Ｔに変換すればよい、という考え方である。レンズ歪曲円形画像Ｓを平面正則画像Ｔに変換する手法は、前掲の特許文献１などに開示されている公知の手法として確立しており、実際、図１３に示す変換演算式に基づく変換演算を実行する専用の半導体集積回路なども商業ベースで利用され始めている。
【００８８】
これに対して、図４に示すようなミラー歪曲円形画像Ｃを、平面正則画像Ｔに直接変換する手法は、前掲の非特許文献１などで提案されている。しかしながら、カメラに用いる全方位ミラーの曲面形状に応じて、用いるべき変換演算式もそれぞれ異なり、また、個々の変換演算式には非常に複雑な演算項が含まれるため、実用上、変換演算を実行する専用の半導体集積回路などを商業ベースで提供することは困難である。
【００８９】
そこで、本発明では、「ミラー歪曲円形画像Ｃ」→「レンズ歪曲円形画像Ｓ」→「平面正則画像Ｔ」という迂回プロセスを敢えて採用することにより、「レンズ歪曲円形画像Ｓ」用の変換装置の資源をそのまま流用できるようにし、結果的に、「ミラー歪曲円形画像Ｃ」→「平面正則画像Ｔ」という画像変換を効率的に実行できるようにしているのである。なお、上記迂回プロセスは、あくまでも概念上のプロセスであって、実際には、個々の「ミラー歪曲円形画像Ｃ」について、「レンズ歪曲円形画像Ｓ」を生成するプロセスが行われるわけではない。そのような意味では、上記「レンズ歪曲円形画像Ｓ」は、実在の画像ではなく、あくまでも概念上生じる仮想の画像ということになる。
【００９０】
すなわち、本発明では、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、ミラー歪曲円形画像を仮想レンズ歪曲円形画像に変換するための第１の演算式と、仮想レンズ歪曲円形画像を平面正則画像に変換するための第２の演算式と、を併用した変換演算をコンピュータに実行させることにより、結果的に、ミラー歪曲円形画像を平面正則画像に変換するプロセスが行われることになる。
【００９１】
座標変換のプロセスとして考えると、まず、図４に示すミラー歪曲円形画像Ｃ上の点Ｃ（ａ，ｂ）が、図８に示す仮想レンズ歪曲円形画像Ｓ上の点Ｓ（ｘ，ｙ）に変換され、更に、図５に示す平面正則画像Ｔ１上の点Ｔ１（ｕ，ｖ）や、図６に示す平面正則画像Ｔ２上の点Ｔ２（ｕ，ｖ）に変換されることになる。座標変換は（ａ，ｂ）→（ｘ，ｙ）→（ｕ，ｖ）という形で行われるので、変換処理には、座標（ａ，ｂ）と座標（ｘ，ｙ）とを対応づける第１の座標関係式と、座標（ｘ，ｙ）と座標（ｕ，ｖ）とを対応づける第２の座標関係式とが用いられることになる。ここで、第２の座標関係式は、図１３に示すとおりである。そこで、以下、第１の座標関係式がどのように定義されるかを検討してみる。
【００９２】
一般に、全方位ミラーの反射面には、二次曲線の回転体が用いられる。二次曲線には、放物線、楕円、双曲線などの種類があり、これらの回転体を反射面とする全方位ミラーの形状は様々になり、第１の座標関係式も様々なものになる。そこで、この§４では、まず、楕円曲面（楕円をその軸について回転させて得られる回転体）を反射面にもつ楕円曲面ミラーを用いた場合について考えてみよう。
【００９３】
図１５は、楕円曲面ミラーＭによる反射光を撮像面Ｊ０上に結像させることによってミラー歪曲円形画像が形成される様子を示す側断面図である。楕円曲面ミラーＭは、図１に示す全方位カメラ２０における全方位ミラー２２の反射面に対応し、撮像面Ｊ０は、撮像素子２４の受光面に対応する。また、楕円曲面ミラーＭの中心軸（回転体の回転軸）は、Ｚ軸に一致するように配置されている。
【００９４】
楕円は２つの焦点を有する二次曲線であり、両焦点からの距離の和が一定となる任意の点の集合として定義される。ただ、図１５に示すように、楕円の片側の曲線部分のみに注目すれば、その近傍には唯一の焦点Ｆを定義することができ、図示のとおり、この焦点Ｆは、長軸上（すなわち、Ｚ軸上）に位置する。そして、楕円の幾何学的な性質により、この楕円曲面ミラーＭの外側から焦点Ｆに向かってきた入射光線は、ミラー表面で反射した後、唯一のピンホール点Ｐを通ることになる。図１５に示されている入射光線Ｌ１０，Ｌ２０，Ｌ３０，Ｌ４０は、いずれも焦点Ｆに向かって入射した光線であるため、これらの反射光はいずれもピンホール点Ｐを通る。
【００９５】
ここで、撮像面Ｊ０にどのような像が結像されるかを考えてみよう。実際の撮像素子２４内には、レンズなどの光学系が内蔵されており、これらの光学系によって撮像面Ｊ０に像が結ぶことになるが、ここでは、説明の便宜上、撮像素子２４にピンホールカメラが内蔵されていたとしよう。具体的には、図に破線で示すような遮光スクリーンが配置され、その中心にあるピンホール点Ｐにピンホールが開口されていたと考えればよい。この場合、各入射光線Ｌ１０，Ｌ２０，Ｌ３０，Ｌ４０は、撮像面Ｊ０の各結像点Ｃ１０，Ｃ２０，Ｃ３０，Ｃ４０に到達し、これら結像点の集合として、撮像面Ｊ０上に像が結ぶことになる。
【００９６】
もちろん、実際の撮像素子２４は、レンズなどの光学系によって、撮像面Ｊ０上へ像を結ばせているが、この光学系の焦点距離を調整すれば、結像する撮像面の位置を変えることができる。図１６は、図１５に示す撮像面Ｊ０を図の上下に平行移動させることにより、ミラー歪曲円形画像が相似変化する様子を示す側断面図である。図示のとおり、撮像面Ｊ１上の各結像点は、Ｃ１１，Ｃ２１，Ｃ３１，Ｃ４１となり、撮像面Ｊ２上の各結像点は、Ｃ１２，Ｃ２２，Ｃ３２，Ｃ４２となり、像の大きさが徐々に変わってゆくことがわかる。撮像面をＪ３の位置へ設定すると、各結像点は、Ｃ１３，Ｃ２３，Ｃ３３，Ｃ４３になり、像が裏返しになる。
【００９７】
ここでは、撮像面を更に下方へと移動させた場合を考えてみると、撮像面Ｊ４上の各結像点は、Ｃ１４，Ｃ２４，Ｃ３４，Ｃ４４となり、撮像面Ｊ５上の各結像点は、Ｃ１５，Ｃ２５，Ｃ３５，Ｃ４５となり、やはり像の大きさが徐々に変わってゆくことがわかる。もっとも、撮像面Ｊ４，Ｊ５は、その一部が楕円曲面ミラーＭの内部に入り込んでしまっているので、現実的には、このような位置に実際の撮像面（撮像素子の受光面）を配置することはできない。実際、すべての入射光線は、ミラーＭの表面で反射してしまうため、ミラーＭの内部には光が届くことはなく、ミラーＭの内部に撮像面を配置しても像は得られない。このような像を得るためには、反射光が逆方向に向かい、ミラーＭの内部に進入する非物理的な現象を考える必要がある。
【００９８】
しかしながら、ここで検討している事項は、前述したとおり、座標（ａ，ｂ）と座標（ｘ，ｙ）との関係であるので、このように現実的にはあり得ない仮想の撮像系を想定しても何ら問題はない。この仮想の撮像系において、たとえば、撮像面Ｊ５に得られる像が、実撮像面Ｊ０上に得られる像と相似の関係にあることは、図１６を見れば容易に理解できよう。ここで、撮像面Ｊ５は、楕円曲面ミラーＭの焦点Ｆを通り、その中心軸（Ｚ軸）に直交する平面である。このように、本発明の１つの特徴は、全方位ミラーを用いた撮影での実撮像面Ｊ０に形成されるミラー歪曲円形画像と、仮想撮像面Ｊ５に形成されるであろう仮想ミラー歪曲円形画像とが、相似関係にあることを利用する点にある。
【００９９】
次に、図１７に示すように、楕円曲面ミラーＭの焦点Ｆの位置に原点Ｏをとり、楕円曲面ミラーＭの中心軸方向にＺ軸をとったＸＹＺ三次元直交座標系を定義し、ここに仮想球面Ｈを定義した魚眼レンズモデルを構築する。このモデルは、図７に示す正射影モデルと同じものであり、仮想球面Ｈは、原点Ｏを中心とした半径ｒの球面である。既に述べたとおり、このような魚眼レンズの正射影モデルの場合、仮想球面Ｈ上の任意の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する入射光線Ｌは、Ｚ軸に平行な入射光線として、ＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする。そして、この魚眼レンズを用いた撮影では、ＸＹ平面上にレンズ歪曲円形画像Ｓが形成されることになる。ここで、このレンズ歪曲円形画像Ｓは、点Ｓ（ｘ，ｙ）の位置に配置された画素の集合体によって構成される。
【０１００】
一方、このＸＹ平面上に撮像面Ｊ５を定義すれば、楕円曲面ミラーＭを用いた撮影によって実撮像面Ｊ０上に得られる像と相似をなすミラー歪曲円形画像Ｃが、ＸＹ平面上に形成されると考えることができる。ここで、このミラー歪曲円形画像Ｃは、点Ｃ（ａ，ｂ）の位置に配置された画素の集合体によって構成される。なお、点Ｐは、上述したピンホール点であり、焦点Ｆとピンホール点Ｐとの距離をｄとすれば、ピンホール点Ｐの三次元座標系上での座標値は（０，０，ｄ）になる。また、図示の直線ξは、後述するように、ミラーＭを構成する楕円曲線に関する準線と呼ばれる直線であり、Ｘ軸に対して距離ｑだけ離れた平行線になる。
【０１０１】
このように、図１７に示すモデルでは、同一のＸＹＺ三次元直交座標系上に、全方位ミラーを用いた撮像系と魚眼レンズを用いた撮像系とが重複配置されており、同一のＸＹ平面上に、ミラー歪曲円形画像Ｃとレンズ歪曲円形画像Ｓとが形成されることになる。しかも、ミラー歪曲円形画像Ｃの中心点とレンズ歪曲円形画像Ｓの中心点は、いずれも座標系の原点Ｏに一致する。したがって、ミラー歪曲円形画像Ｃ上の任意の点Ｃ（ａ，ｂ）に対して、レンズ歪曲円形画像Ｓ上における対応点Ｓ（ｘ，ｙ）を定め、座標（ａ，ｂ）と座標（ｘ，ｙ）との対応関係を何らかの変換演算式で定義することができれば、当該変換演算式は、本発明を実施する上で必要な第１の座標関係式ということになる。
【０１０２】
そこで、図１７において、座標系の原点Ｏに向かって外界から届いた入射光線Ｌの挙動について考えてみよう。まず、全方位ミラーを用いた撮像系における挙動を考えると、入射光線Ｌは、楕円曲面ミラーＭの表面における反射点Ｑで反射する。ここで、入射光線Ｌは、原点Ｏすなわち楕円曲面ミラーＭの焦点Ｆに向かってきた光であるため、反射光は、図示のとおり、ピンホール点Ｐに向かうことになる。このピンホールに向かう光の光路を進行方向とは逆方向に伸ばし、撮像面Ｊ５（すなわち、ＸＹ平面）との交点Ｃ（ａ，ｂ）を求めれば、当該点Ｃ（ａ，ｂ）は、入射光線Ｌの結像点ということになる。
【０１０３】
次に、魚眼レンズを用いた撮像系における挙動を考えると、入射光線Ｌは、仮想球面Ｈ上の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する光になる。したがって、この入射光線Ｌは、Ｚ軸に平行な入射光線として、ＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする。したがって、点Ｓ（ｘ，ｙ）は、入射光線Ｌの結像点ということになる。
【０１０４】
結局、図１７において、全方位ミラーを用いた撮像系によって得られる結像点Ｃ（ａ，ｂ）は、魚眼レンズを用いた撮像系によって得られる結像点Ｓ（ｘ，ｙ）に対応することになる（いずれもＸＹ平面上の点であり、Ｚ座標値は０である）。ここで、座標値ａ，ｘは、いずれもＸ軸上の座標値であり、座標値ｂ，ｙは、いずれもＹ軸上の座標値であるから、ａとｘとの関係式と、ｂとｙとの関係式が得られれば、座標（ａ，ｂ）と座標（ｘ，ｙ）との対応関係を定義する第１の座標関係式が定まる。
【０１０５】
図１８は、本発明に係る画像変換方法の基本概念を示す平面図である。上記第１の座標関係式を用いれば、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像Ｃ内の１点Ｃ（ａ，ｂ）と、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像Ｓ内の１点Ｓ（ｘ，ｙ）と、の対応関係が定まる。したがって、ミラー歪曲円形画像Ｃをレンズ歪曲円形画像Ｓに変換することができる。一方、図１３に示す第２の座標関係式を用いれば、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像Ｓ内の１点Ｓ（ｘ，ｙ）と、平面正則画像Ｔ内の１点Ｔ（ｕ，ｖ）との対応関係が定まる。したがって、レンズ歪曲円形画像Ｓを平面正則画像Ｔに変換することができる。
【０１０６】
もっとも、実際には、図１８の中段に示すレンズ歪曲円形画像Ｓを、具体的な画像として生成する必要はない。レンズ歪曲円形画像Ｓは、座標変換の概念で利用される仮想のものであり、実際の演算としては、ミラー歪曲円形画像Ｃを平面正則画像Ｔに直接変換する処理を行うことができる。
【０１０７】
＜＜＜ §５．具体的な座標関係式の導出 ＞＞＞
さて、ここでは、具体的に第１の座標関係式を導出してみる。前述したとおり、第１の座標関係式は、座標（ａ，ｂ）と座標（ｘ，ｙ）との対応関係を定義する式であり、図１７において、「ａとｘとの関係を示す式」および「ｂとｙとの関係を示す式」ということになる。なお、§４では、説明の便宜上、曲面ミラーＭが楕円曲面からなるミラーである場合を述べたが、本発明は、放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる曲面を反射面とする全方位ミラーであれば適用可能である。そこで、以下、曲面ミラーＭが、放物線、楕円、二葉双曲線のいずれかの回転体からなる曲面をもったミラーである一般的な場合について、その幾何学的解析を行う。
【０１０８】
そのために、まず、二次曲線の一般的な性質について、簡単に説明しておこう。いま、図１９に示すように、１点Ｆと、この点Ｆを通らない直線ξを定義する。ここで、任意の点Ｑについて、点Ｆからの距離をρとし、直線ξとの距離（点Ｑから直線ξに下ろした垂線の足をＡとしたときの線分ＡＱの長さ）をλとして、離心率ｅ＝ρ／λなるものを定めると、一般的な二次曲線γは、この離心率ｅが一定となる点の集合体として定義される。そして、点Ｆおよび直線ξは、当該二次曲線γの焦点および準線と呼ばれている。
【０１０９】
たとえば、図２０に示すように、焦点Ｆおよび準線ξが配置されており、これらに基づいて、図示のような二次曲線γが定義されていたとすると、この二次曲線γ上の点Ｑについて、焦点Ｆからの距離をρとし、準線ξとの距離（点Ｑから準線ξに下ろした垂線の足をＡとしたときの線分ＡＱの長さ）をλとすれば、ｅ＝ρ／λで定義される離心率ｅは、二次曲線γ上のいずれの位置にある点Ｑについても、常に一定になる。
【０１１０】
図２１は、一般的な二次曲線γの離心率ｅと曲線の種類との関係を示す表である。図示のとおり、離心率ｅが、０＜ｅ＜１の範囲内の一定値をとる点の集合体は楕円になり、離心率ｅが、ｅ＝１となる点（すなわち、図２０において、ρ＝λとなる点）の集合体は放物線になり、離心率ｅが、ｅ＞１の範囲内の一定値をとる点の集合体は双曲線になる。
【０１１１】
一方、図２０に示すピンホール点Ｐは、前述したとおり、焦点Ｆに向かってくる任意の入射光線が、二次曲線γで反射して向かう点という特有の性質を有する点であり、二次曲線γの中心軸上の１点になる。ここで、焦点Ｆとピンホール点Ｐとの距離ｄは、二次曲線γが定まると一義的に決定できる。具体的には、個々の二次曲線γについてのｄの値は、図２１の表に示す式で求めることができる。なお、放物線の場合、ｄ＝無限大となっているので、図１５に示す入射光線Ｌ１０，Ｌ２０，Ｌ３０，Ｌ４０は、無限遠に位置するピンホール点Ｐに向かって反射することになる。これは、反射光がいずれもＺ軸に対して平行な光線になることを意味する。もちろん、反射光が平行光線になっても、レンズなどの光学系により、任意の撮像面に結像させることが可能であり、§４で述べた基本原理がそのまま適用できる。
【０１１２】
このように、放物線、楕円、二葉双曲線のいずれの場合も、離心率ｅ，焦点Ｆと準線ξとの距離ｑ，焦点Ｆとピンホール点Ｐとの距離ｄ（図２１の表に示すとおり、距離ｄは他のパラメータから計算によって求めることができる）の値が定まれば、曲線の形状は一義的に定まることになる。別言すれば、放物線、楕円、二葉双曲線の回転体からなる反射面をもつ全方位ミラーであれば、個々のミラーについて、ｅ，ｑ，ｄの固有値が決定できることになり、この３つの固有値ｅ，ｑ，ｄは、全方位ミラーの反射面の形状を定めるパラメータということになる。
【０１１３】
さて、上述したような二次曲線の一般的性質を踏まえた上で、図１７における「ａとｘとの関係を示す式」および「ｂとｙとの関係を示す式」を求めてみよう。図２２は、図１７の一部分を拡大し、ＸＺ平面上へ投影した投影図である。すなわち、図２２は、上述した三次元空間上でのモデルの各構成要素をＸＺ平面上に投影した二次元平面上での幾何学モデルに相当し、図示の図形は、いずれも平面上の図形である。
【０１１４】
たとえば、図２２に入射光線Ｌとして示されている直線は、実際の入射光線ＬのＸＺ平面への投影像に相当する。したがって、図示の角度θは、入射光線ＬとＺ軸とのなす三次元空間上での角度ではなく、入射光線ＬのＸＺ平面上への投影像とＺ軸とのなす平面上での角度である。同様に、図２２に示す曲線Ｈは、ＸＺ二次元座標系上の原点Ｏを中心とする半径ｒの円であり、曲線Ｍは、原点Ｏを焦点位置とする二次曲線である。§４では、曲線Ｍが楕円の場合を例にとって説明したが、ここでは、曲線Ｍが放物線、楕円、二葉双曲線のいずれかの二次曲線である場合に拡張して説明を行うことにする。また、図１７に示す点Ｈ，Ｑ，Ｓ，Ｃについては、便宜上、図２２においても同じ記号の点Ｈ，Ｑ，Ｓ，Ｃとして示してあるが、図２２上のこれら各点は、いずれもＸＺ平面上への投影点を示しており、各投影点のＹ座標値は０である。
【０１１５】
続いて、図２２に示されている反射点Ｑ（ＸＺ平面上への投影点）から、直線ξ（二次曲線Ｍについての準線），Ｚ軸，Ｘ軸に対して、それぞれ垂線を下ろし、その足を、それぞれ点Ａ，点Ｂ，点Ｄとする。ここで、反射点Ｑの座標を（ｘ′，ｙ′、ｚ′）とすると、線分ＯＤの長さはｘ′、線分ＤＱの長さはｚ′になる。また、線分ＡＱの長さをλとし、線分ＯＱの長さをρとし、準線ξとＸ軸との間隔をｑとする。この図２２に示す二次曲線Ｍ（曲面ミラーＭの表面）は、図２０に示す二次曲線γに対応するものであり、図２２に示す長さλ，ρ，ｑ，ｄは、それぞれ図２０に示す長さλ，ρ，ｑ，ｄに対応するものである。
【０１１６】
まず、図２２に示す線分ＯＱの長さρについては。図２３に記載されているとおり、式の導出が可能である。すなわち、図２２より、
ｑ＝λ＋ρ・cosθ 式（１０）
である。そして、二次曲線の性質により、
ｅ＝ρ／λ 式（１１）
が成り立つ。よって、
ρ＝ｅｑ／（１＋ｅcosθ） 式（１２）
が導出される。ここで、三角形ＯＨＳに着目すると、
cosθ＝ｚ／ｒ 式（１３）
であるから、これを式（１２）に代入すれば、
ρ＝ｒｅｑ／（ｒ＋ｅｚ） 式（１４）
が得られる。
【０１１７】
続いて、点Ｃ（ａ，ｂ）のＸ座標値ａを求めてみよう。図２４に記載されているとおり、三角形ＢＰＱと三角形ＯＰＣとの相似を利用すれば、
ｘ′／（ｄ−ｚ′）＝ａ／ｄ 式（１５）
が成り立つので、
ａ＝ｄｘ′／（ｄ−ｚ′） 式（１６）。
また、三角形ＯＱＤと三角形ＯＨＳとの相似を利用すれば、
ｘ′＝ρｘ／ｒ、ｚ′＝ρｚ／ｒ 式（１７）
なので、
ａ＝（ｄ（ρｘ／ｒ））／（ｄ−（ρｚ／ｒ）） 式（１８）
が得られる。最後に、式（１８）のρに、式（１４）のρを代入すれば、
ａ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｘ 式（１９）
が得られる。
【０１１８】
以上、図２２に示すＸＺ平面への投影図を用いて、ａとｘとの関係式を求めたが、ＹＺ平面への投影図を用いて同様のことを行えば、ｂとｙとの関係式として、
ｂ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｙ 式（２０）
が得られる。また、ｒは、仮想球面Ｈの半径であり、図１７の三次元モデルにおいて、線分ＯＨの長さは半径ｒに等しいから、
ｒ２＝ｘ２＋ｙ２＋ｚ２ 式（２１）
が成り立つ。かくして、図２５に示すように、式（１９），式（２０），式（２１）の３本の式が得られる。
【０１１９】
ここで、ｒは仮想球面Ｈの半径として任意の数値を設定することができる。すなわち、ｒの値は、レンズ歪曲円形画像Ｓの半径値であるが、あくまでも画像全体のスケーリングに関するファクターであるため、任意の値（たとえば、ｒ＝１）に設定して問題はない。そして、ｅ，ｑ，ｄは、個々のミラーの表面形状（回転体の元になる二次曲線）についての固有値として既知の値になる。一方、ｚは変数になるが、式（２１）を利用すれば変数値ｚを定めることができる。結局、図２５に示す３本の式は、座標（ａ，ｂ）と座標（ｘ，ｙ）とを対応づける第１の座標関係式ということになる。
【０１２０】
ところで、図２５の関係式は、座標（ｘ，ｙ）に基づいて座標（ａ，ｂ）を算出するための式であるが、この式をｘ，ｙについて解けば、図２６に示すように、座標（ａ，ｂ）に基づいて座標（ｘ，ｙ）を算出するための式が得られる。すなわち、
ｘ＝（ｒｄ＋ｅｚ（ｄ−ｑ））／ｅｑｄ・ａ 式（２２）
ｙ＝（ｒｄ＋ｅｚ（ｄ−ｑ））／ｅｑｄ・ｂ 式（２３）
が得られる。ここで、右辺の変数ｚについては、式（２１）に、式（２２），式（２３）を代入すれば、
（（ｒｄ＋ｅｚ（ｄ−ｑ））／ｅｑｄ）２（ａ２＋ｂ２）＋ｚ２＝ｒ２ 式（２４）
が得られるので、この式（２４）を変数ｚに関する２次方程式として、解の公式を適用して算出することができる。
【０１２１】
なお、図２１の表に示すとおり、放物線の場合、ｄ＝無限大になる。したがって、放物曲面ミラーを用いた場合、図２５の式（１９），式（２０）、図２６の式（２２），式（２３），式（２４）の分母および分子にそれぞれｄ＝無限大の項が入ることになるが、ｄ＝無限大の極限値を求めれば、いずれの式についても有限の値が算出できるので支障はない。
【０１２２】
図２７は、本発明に係る画像変換方法の基本プロセスを示す平面図である。まず、図２５に示す第１の座標関係式（式（１９）〜式（２１））を用いれば、放物線、楕円、二葉双曲線の回転体からなる全方位ミラーＭを用いた撮影により得られたミラー歪曲円形画像Ｃ内の１点Ｃ（ａ，ｂ）と、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像Ｓ内の１点Ｓ（ｘ，ｙ）と、の対応関係が定まる。したがって、ミラー歪曲円形画像Ｃをレンズ歪曲円形画像Ｓに変換することができる。一方、図１３に示す第２の座標関係式を用いれば、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像Ｓ内の１点Ｓ（ｘ，ｙ）と、平面正則画像Ｔ内の１点Ｔ（ｕ，ｖ）との対応関係が定まる。したがって、レンズ歪曲円形画像Ｓを平面正則画像Ｔに変換することができる。
【０１２３】
もちろん、前述したとおり、実際には、図２７の中段に示すレンズ歪曲円形画像Ｓを生成する必要はなく、図２７の下段に示す平面正則画像Ｔ上の任意の点Ｔ（ｕ，ｖ）の位置に配置される画素の画素値を決定するには、まず、図１３に示す第２の座標変換式を利用して、座標（ｕ，ｖ）に対応する座標（ｘ，ｙ）を求め、続いて、図２５に示す第１の座標変換式を利用して、座標（ｘ，ｙ）に対応する座標（ａ，ｂ）を求める。最後に、図２７の上段に示すミラー歪曲円形画像Ｃ内の点Ｃ（ａ，ｂ）の位置に配置されている画素の画素値を参照すればよい。
【０１２４】
以上のとおり、放物線、楕円、二葉双曲線のように、ある曲線部分に対して、焦点Ｆが１つに定まる二次曲線の回転体を反射面とする全方位ミラーを用いた撮影により得られたミラー歪曲円形画像であれば、本発明を利用して、平面正則画像に変換することが可能である。なお、円も二次曲線の１つであるが、円の場合は焦点が１つの定まらない。このため、円の回転体、すなわち、球面を反射面とするミラーの場合、理論的には、本発明の基本原理をそのまま適用することはできない。
【０１２５】
球面ミラーの場合でも、任意の１点に焦点を無理やり仮定して、本発明を適用すれば、上述した原理に基づく変換処理は可能である。しかしながら、この場合、正しい平面正則画像を得ることはできない。ただ、実際には、遠方の被写体に関しては、視点位置が多少ずれても、像がおおきく変わることはないので、本発明を球面ミラーに適用すると、遠方の景色に関しては、ある程度の品質をもった平面正則画像を得ることは可能である。したがって、遠方の被写体を観察する用途に限定すれば、実用上は、本発明を球面ミラーや、その他の任意形状のミラーに適用してもかまわない。
【０１２６】
＜＜＜ §６．全方位ミラー用の画像変換装置の基本構成 ＞＞＞
ここでは、図２８のブロック図を参照しながら、§５で述べた原理に基づく全方位ミラー用画像変換装置の基本構成を説明する。図２８において、一点鎖線で囲った部分が、全方位ミラー用の画像変換装置２００である。この装置は、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像Ｃの一部分を切り出して、平面正則画像Ｔに変換する処理を行う機能を有している。この例では、全方位ミラーを用いたカメラ２０によって撮影されたミラー歪曲円形画像Ｃが、デジタルデータとして、この画像変換装置２００内に取り込まれている。
【０１２７】
歪曲円形画像格納部１１０は、このようなミラー歪曲円形画像Ｃを格納するための構成要素であり、メモリやハードディスク装置などの記憶装置によって構成される。ここで、ミラー歪曲円形画像Ｃは、たとえば、図４に例示するように、二次元ＸＹ直交座標系上の座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体によって構成された円形の画像になる。
【０１２８】
一方、平面正則画像格納部１２０は、変換処理後の平面正則画像Ｔをデジタルデータとして格納するための構成要素であり、やはりメモリやハードディスク装置などの記憶装置によって構成される。ここで、平面正則画像Ｔは、たとえば、図５や図６に例示するように、二次元ＵＶ直交座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される画像になる。この平面正則画像格納部１２０内の平面正則画像Ｔを変換画像のデジタルデータとして出力すれば、ディスプレイの画面上に図５や図６に例示するような平面正則画像を表示させることができる。
【０１２９】
変換演算部２３０は、§５で述べた２通りの座標関係式を利用して、座標（ｕ，ｖ）と座標（ａ，ｂ）とを座標（ｘ，ｙ）を仲介して対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ａ，ｂ）で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定する機能を有し、歪曲円形画像格納部１１０内に格納されているミラー歪曲円形画像Ｃに基づいて、平面正則画像Ｔを作成する演算を行い、生成された平面正則画像Ｔを平面正則画像格納部１２０に格納する。既に述べたとおり、このような変換演算を行うには、いくつかのパラメータを設定する必要がある。以下の各構成要素は、このパラメータ設定を行うためのものである。
【０１３０】
歪曲円形画像表示部１４０は、歪曲円形画像格納部１１０に格納されているミラー歪曲円形画像Ｃをディスプレイに表示する構成要素であり、たとえば、図４に示すような画像がディスプレイの画面上に表示される。
【０１３１】
指示入力部１５０は、変換に必要な３つのパラメータを入力するためのユーザの指示を入力する。すなわち、ユーザからの指示入力に基づいて、切出中心点Ｋの位置を示す座標（ａ０，ｂ０）と、切り出し向き（たとえば、平面傾斜角φの値）と、変換倍率ｍと、が入力される。
【０１３２】
切出中心点Ｋの位置は、ディスプレイに表示されているミラー歪曲円形画像Ｃ上の１点を指定するユーザによるマウスクリック操作などによって取り込むことができる。平面傾斜角φの値は、０〜３６０°の数値をキーボードから入力できるような構成にしてもよいし、ディスプレイ画面上のレバーなどを操作して、任意の角度を設定できるようにしてもよい。変換倍率ｍの値も、同様に、数値をキーボードから入力できるような構成にしてもよいし、ディスプレイ画面上のレバーなどを操作して、任意の倍率を設定できるようにしてもよい。あるいは、トリミング範囲（たとえば、図１２に示す切出領域Ｅの境界位置）を指定することにより、変換倍率ｍを自動的に設定できるような構成をとってもかまわない。また、変換倍率ｍを固定して利用する場合には、ユーザに変換倍率ｍを入力させる処理を省略できる。
【０１３３】
ユーザは、ディスプレイ画面上に表示された図４に示すようなミラー歪曲円形画像Ｃを見ながら、切出中心点Ｋ（ａ０，ｂ０）の位置と、平面傾斜角φの値と、変換倍率ｍとをパラメータとして指定し、「ここを中心として、こんな向きに、こんな大きさで画像を切り出して、平面正則画像を得たい」という要望を出せばよい。
【０１３４】
こうして入力された３つのパラメータは、変換演算部２３０に与えられる。変換演算部２３０は、まず、切出中心点Ｋの位置を示す座標（ａ０，ｂ０）を、第１の座標関係式を利用して、座標（ｘ０，ｙ０）に変換する。ユーザによる切出中心点Ｋ（ａ０，ｂ０）の位置指定は、図４に示すように、ディスプレイに表示されているミラー歪曲円形画像Ｃ上における位置指定である。そこで、上記変換により、図８に示すような仮想のレンズ歪曲円形画像Ｓ上の切出中心点Ｋ（ｘ０，ｙ０）の位置に変換する。この変換には、図２６に示す「（ａ，ｂ）→（ｘ，ｙ）の変換式」を用いればよい。
【０１３５】
続いて、変換演算部２３０は、この切出中心点Ｋの位置（ｘ０，ｙ０）に基づいて、点Ｇの位置座標（ｘ０，ｙ０，ｚ０）を求める処理を行う。ここで、点Ｇは、図１０に示すとおり、三次元ＸＹＺ直交座標系において、原点Ｏを中心とし半径ｒをもった仮想球面Ｈを定義したときに、切出中心点Ｋを通りＺ軸に平行な直線と仮想球面Ｈとの交点として与えられる点である。実際には、点Ｋの座標値ｘ０，ｙ０と点Ｇの座標値ｘ０，ｙ０とは同一の値であるから、点Ｇの位置座標（ｘ０，ｙ０，ｚ０）を求める演算処理は、座標値ｚ０を求めるための幾何学演算のみである。
【０１３６】
こうして、点Ｇの位置座標（ｘ０，ｙ０，ｚ０）が得られれば、やはり幾何学的演算によって、図１０に示す方位角α、天頂角βを算出することができるので、ユーザが指定した平面傾斜角φを含めたオイラー角α，β，φが定まる。また、ｒは前述したように任意の設定値として既知であり、ｍはユーザが指定した変換倍率として既知である。
【０１３７】
かくして、変換演算部２３０は、図２５に示す第１の座標変換式と、図１３に示す第２の座標変換式とを利用して、座標（ａ，ｂ）で示される位置に配置された画素の集合からなるミラー歪曲円形画像Ｃを、座標（ｕ，ｖ）で示される位置に配置された画素の集合からなる平面正則画像Ｔに変換し、これを平面正則画像格納部１２０に格納することができる。
【０１３８】
なお、実際に変換演算部２３０が実施する座標変換演算は、座標（ａ，ｂ）に基づいて座標（ｕ，ｖ）を求める演算ではなく、逆に、座標（ｕ，ｖ）に基づいて座標（ａ，ｂ）を求める演算になる。具体的には、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の画素の画素値を求めるために、まず、図１３に示す第２の座標関係式（式（１）〜式（９））を用いて、座標（ｕ，ｖ）に対応する座標（ｘ，ｙ）を求める。この時点で演算に必要なオイラー角α，β，φや、ｒおよびｍの値は、上述したとおり既知の値となっている。
【０１３９】
続いて、図２５に示す第１の座標関係式（式（１９）〜式（２１））を用いて、座標（ｘ，ｙ）に対応する座標（ａ，ｂ）を求める。この時点で必要な値ｅ，ｑ，ｄは、前述したとおり、全方位ミラーの形状によって定まる固有値であるから、カメラ２０に用いられている全方位ミラーの固有値を、予め変換演算部２３０内に設定しておけばよい。あるいは、指示入力部１５０にこれらの固有値を入力する機能を設けておけば、ユーザの指示入力として、固有値ｅ，ｑ，ｄを設定することも可能である。形状の異なる全方位ミラーを用いた複数台のカメラを、この画像変換装置２００にとっかえひっかえ装着して利用するような場合には、新たなカメラを装着するごとに、当該カメラに用いられている全方位ミラーの固有値ｅ，ｑ，ｄを、その都度、ユーザに入力させて設定させるようにすればよい。
【０１４０】
こうして、最終的な対応座標（ａ，ｂ）が求まれば、歪曲円形画像格納部１１０内に格納されているミラー歪曲円形画像Ｃ内の対応座標（ａ，ｂ）に位置する画素の画素値を参照して、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の画素の画素値を決定することができる。
【０１４１】
なお、ミラー歪曲円形画像Ｃは、二次元ＸＹ直交座標系上の座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体によって構成された画像であり、実際には、所定ピッチで縦横に配列された多数の格子点の位置に、それぞれ固有の画素値を定義したデジタルデータによって構成されている。このため、変換演算部１３０による演算結果として得られた対応座標（ａ，ｂ）の位置は、通常、複数の格子点の間の位置になる。たとえば、ミラー歪曲円形画像Ｃが、ピッチ１で縦横に配列された多数の格子点位置の画素値を定義したデジタルデータによって構成されている場合、いずれの格子点も、その座標値は整数値になる。よって、変換演算部１３０による演算結果として得られた対応座標ａおよびｂの値が小数を含む値であると（多くの場合はそうなるであろう）、対応座標（ａ，ｂ）の位置は、複数の格子点の間の位置になり、対応する画素値を１つに決めることはできない。
【０１４２】
したがって、実際には、変換演算部２３０が、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の画素の画素値を決定する際には、対応する座標（ａ，ｂ）で示される位置の近傍に配置されたミラー歪曲円形画像Ｃ上の複数の参照画素の画素値に対する補間演算を行う必要がある。このような補間演算を行う方法としては、前述したとおり、バイリニア補間法、バイキュービック・スプライン補間法など、様々な方法が公知である。
【０１４３】
＜＜＜ §７．共用画像変換装置の基本構成 ＞＞＞
§３では、図１４を参照しながら、魚眼レンズ用画像変換装置１００の基本構成を説明し、§６では、図２８を参照しながら、全方位ミラー用画像変換装置２００の基本構成を説明した。ここで、図１４に示す装置１００の構成と、図２８に示す装置２００の構成とを比較してみると、極めて類似していることがわかる。実際、同じ符号を付したブロック構成要素、すなわち、歪曲円形画像格納部１１０，平面正則画像格納部１２０，歪曲円形画像表示部１４０，指示入力部１５０は、両者で共通する構成要素となっている。
【０１４４】
もちろん、図１４に示す装置１００では、歪曲円形画像格納部１１０に、魚眼レンズを用いたカメラ１０で撮影されたレンズ歪曲円形画像Ｓが格納され、図２８に示す装置２００では、歪曲円形画像格納部１１０に、全方位ミラーを用いたカメラ２０で撮影されたミラー歪曲円形画像Ｃが格納されることになるが、両画像はデータが異なるだけであり、本質的なハードウエア構成に相違はない。同様に、指示入力部１５０に与えられる切出中心点Ｋの座標が、一方は（ｘ０，ｙ０）であり、他方は（ａ０，ｂ０）となっているが、いずれも（Ｘ軸上の座標値，Ｙ軸上の座標値）を示す値であり、本質的な違いではない。
【０１４５】
結局、装置１００と装置２００との本質的な相違は、前者における変換演算部１３０が後者では変換演算部２３０に置き換わっている点のみである。しかも、変換演算部１３０は、座標（ｘ，ｙ）と座標（ｕ，ｖ）との間の変換処理を行う機能を有しており、変換演算部２３０は、それに加えて、座標（ａ，ｂ）と座標（ｘ，ｙ）との間の変換処理を行う機能を更に有している。別言すれば、変換演算部２３０は、変換演算部１３０に、座標（ａ，ｂ）と座標（ｘ，ｙ）との間の変換処理機能を付加することにより構成することができる。
【０１４６】
これは、変換演算部２３０が、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像Ｓを仮定し、この仮想レンズ歪曲円形画像Ｓを、二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成したときに、ミラー歪曲円形画像Ｃ上の任意位置の座標（ａ，ｂ）と仮想レンズ歪曲円形画像Ｓ上の対応位置の座標（ｘ，ｙ）との関係を示す第１の座標関係式と、仮想レンズ歪曲円形画像Ｓ上の任意位置の座標（ｘ，ｙ）と平面正則画像Ｔ上の対応位置の座標（ｕ，ｖ）との関係を示す第２の座標関係式と、を用いて、座標（ｕ，ｖ）と座標（ａ，ｂ）との対応づけを行っているためである。
【０１４７】
このため、本発明に係る全方位ミラー用画像変換装置２００は、従来から利用されている魚眼レンズ用画像変換装置１００に、若干の処理機能を付加することにより構成することが可能になり、装置を構成するハードウエアの設計や製造のための労力や費用を節約することができる。
【０１４８】
また、魚眼レンズ式カメラにも全方位ミラー式カメラにも共用可能な画像変換装置を実現することも可能になり、ユーザの負担も軽減できる。図２９は、このような共用可能な画像変換装置３００の構成を示すブロック図である。この図において、歪曲円形画像格納部１１０，平面正則画像格納部１２０，歪曲円形画像表示部１４０，指示入力部１５０は、図１４に示す装置１００や図２８に示す装置２００と共通の構成要素である。一方、変換演算部３３０は、その基本機能は、図２８に示す装置２００における変換演算部２３０と同様である。
【０１４９】
ただ、この装置３００は、魚眼レンズ式カメラにも全方位ミラー式カメラにも共用可能な装置であるため、図示のとおり、魚眼レンズを用いたカメラ１０を接続することもできるし、全方位ミラーを用いたカメラ２０を接続することもできる。そして、変換演算部３３０は、魚眼レンズを用いたカメラ１０を接続したときには、図１４の変換演算部１３０の処理機能を実行し、全方位ミラーを用いたカメラ２０を接続したときには、図２８の変換演算部２３０の処理機能を実行することになる。
【０１５０】
より具体的に説明すれば、魚眼レンズを用いたカメラ１０を接続して、歪曲円形画像格納部１１０にレンズ歪曲円形画像Ｓが格納されている場合には、変換演算部３３０は、座標（ｕ，ｖ）と座標（ｘ，ｙ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の画素の画素値を、対応する座標（ｘ，ｙ）で示される位置に配置されたレンズ歪曲円形画像Ｓ上の参照画素の画素値に基づいて決定することにより、レンズ歪曲円形画像Ｓから切出中心点Ｋを中心として所定の切り出し向きに応じて切り出された部分画像について、平面正則画像Ｔを生成する演算を行い、生成された平面正則画像Ｔを平面正則画像格納部１２０に格納する処理を行うことになる。
【０１５１】
これに対して、全方位ミラーを用いたカメラ２０を接続して、歪曲円形画像格納部１１０にミラー歪曲円形画像Ｃが格納されている場合には、座標（ｕ，ｖ）と座標（ａ，ｂ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の画素の画素値を、対応する座標（ａ，ｂ）で示される位置に配置されたミラー歪曲円形画像Ｃ上の参照画素の画素値に基づいて決定することにより、ミラー歪曲円形画像Ｃから切出中心点Ｋを中心として所定の切り出し向きに応じて切り出された部分画像について、平面正則画像Ｔを生成する演算を行い、生成された平面正則画像Ｔを平面正則画像格納部１２０に格納する処理を行うことになる。
【０１５２】
なお、一般的な市販の全方位カメラについて、それが魚眼レンズ式なのか全方位ミラー式なのかを自動的に確認するための工業規格は、現在のところ存在しないので、変換演算部３３０は、２通りの処理のいずれを実行すべきかを自分自身で自動的に判断することはできない。したがって、実用上は、指示入力部１５０に、いずれの方式の全方位カメラについての画像変換を行うかを示すユーザの選択指示を入力する機能を付加しておき、変換演算部３３０は、この選択指示に基づいて、いずれか一方の処理を実行するようにすればよい。
【０１５３】
＜＜＜ §８．その他の実施形態 ＞＞＞
以上、本発明に係る画像変換装置の基本構成を、図２８および図２９のブロック図を参照しながら説明したが、これらの画像変換装置は、汎用のコンピュータに、専用のプログラムを組み込むことによって構成することが可能である。その場合、歪曲円形画像格納部１１０や平面正則画像格納部１２０は、当該コンピュータ用の記憶装置によって構成し、歪曲円形画像表示部１４０や指示入力部１５０は、当該コンピュータ用のディスプレイやマウスおよびこれらを制御するハードウエアやソフトウエアによって構成すればよい。また、変換演算部２３０，３３０は、専用のプログラムに基づくコンピュータの演算機能によって実現されることになる。
【０１５４】
もちろん、この画像変換装置は、様々な演算器やレジスタなどを組み合わせた専用のハードウエア論理回路により構成することも可能である。具体的には、少なくとも変換演算部２３０，３３０として機能する部分を電子回路によって構成し、当該電子回路を組み込んだ半導体集積回路を設計すればよい。
【０１５５】
また、図２８，図２９に示す画像変換装置２００，３００と、全方位ミラーもしくは魚眼レンズを用いたカメラ１０，２０と、図示されていないモニタ装置と、を用意し、カメラ１０，２０を用いた撮影により得られた歪曲円形画像Ｓ，Ｃが歪曲円形画像格納部１１０へと格納され、平面正則画像格納部１２０に得られた平面正則画像Ｔがモニタ装置によって表示されるようにすれば、全方位監視システムを実現することが可能になる。カメラ１０，２０として、デジタルビデオカメラを用いるようにすれば、リアルタイムで撮影した歪曲円形画像に基づいて、任意の一部分の平面正則画像をリアルタイムでモニタ装置の画面上に得ることが可能である。本発明は、この他、車載カメラ、会議システム、管内検査カメラ装置、ロボット・ナビゲーションなどにも利用することができる。
【図面の簡単な説明】
【０１５６】
【図１】全方位ミラーを利用した一般的な全方位カメラの基本構造を示す側断面図である。
【図２】図１に示す全方位カメラによる撮影で得られたミラー歪曲円形画像Ｃを示す平面図である（歪曲円形画像の一般的なイメージを示すものであり、正確な画像を示すものではない）。
【図３】図１に示す全方位カメラに入射した光のミラーによる反射状態を示す側断面図である。
【図４】図２に示すミラー歪曲円形画像Ｃを二次元ＸＹ直交座標系上に配置した状態を示す平面図である。
【図５】図４に示すミラー歪曲円形画像の切出中心点Ｋの近傍部分を、第１の切り出し向きに従って切り出し、本発明に係る画像変換装置を用いて変換することによって得られた平面正則画像Ｔの一例を示す平面図である。
【図６】図４に示すミラー歪曲円形画像の切出中心点Ｋの近傍部分を、第２の切り出し向きに従って切り出し、本発明に係る画像変換装置を用いて変換することによって得られた平面正則画像Ｔの一例を示す平面図である。
【図７】正射影方式の魚眼レンズを用いた撮影によりレンズ歪曲円形画像Ｓを形成する基本モデルを示す斜視図である。
【図８】魚眼レンズを用いた撮影によって得られたレンズ歪曲円形画像Ｓを二次元ＸＹ直交座標系上に配置した状態を示す平面図である（歪曲円形画像の一般的なイメージを示すものであり、正確な画像を示すものではない）。
【図９】図８に示すレンズ歪曲円形画像Ｓの一部分に切出領域Ｅを定義した例を示す平面図である。
【図１０】レンズ歪曲円形画像Ｓを含むＸＹ座標系と、平面正則画像Ｔを含むＵＶ座標系との関係を示す斜視図である。
【図１１】ＵＶ座標系上に定義された平面正則画像Ｔを示す平面図である。
【図１２】ＸＹ座標系上に定義されたレンズ歪曲円形画像Ｓを示す平面図である。
【図１３】オイラー角α，β，φをパラメータとして用いた、レンズ歪曲円形画像内の１点Ｓ（ｘ，ｙ）と平面正則画像内の１点Ｔ（ｕ，ｖ）との関係を示す一般的な座標関係式（本発明にいう第２の座標関係式）を示す図である。
【図１４】魚眼レンズを用いた撮影によって得られたレンズ歪曲円形画像Ｓを平面正則画像Ｔに変換する一般的な画像変換装置の基本構成を示すブロック図である。
【図１５】曲面ミラーＭによる反射光を撮像面Ｊ０上に結像させることによってミラー歪曲円形画像が形成される様子を示す側断面図である。
【図１６】図１５に示す撮像面Ｊ０を図の上下に平行移動させることにより、ミラー歪曲円形画像が相似変化する様子を示す側断面図である。
【図１７】曲面ミラーＭの焦点位置に原点Ｏを有し中心軸方向にＺ軸をとったＸＹＺ三次元直交座標系内に、仮想球面Ｈを定義した魚眼レンズモデルを示す側面図である。
【図１８】本発明に係る画像変換方法の基本概念を示す平面図である。
【図１９】一般的な二次曲線γの定義方法を説明する第１の平面図である。
【図２０】一般的な二次曲線γの定義方法を説明する第２の平面図である。
【図２１】一般的な二次曲線γの離心率ｅと曲線の種類との関係を示す表である。
【図２２】図１７の一部分を拡大して示すＸＺ平面上への投影図である。
【図２３】一般的な二次曲線の回転体として得られる曲面ミラーを用いた場合の座標値ａと座標値ｘとの関係を導き出す第１のプロセスを示す図である。
【図２４】一般的な二次曲線の回転体として得られる曲面ミラーを用いた場合の座標値ａと座標値ｘとの関係を導き出す第２のプロセスを示す図である。
【図２５】一般的な二次曲線の回転体として得られる曲面ミラーを用いた撮影により得られたミラー歪曲円形画像内の１点Ｃ（ａ，ｂ）と、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像内の１点Ｓ（ｘ，ｙ）と、の対応関係を示す座標関係式（本発明にいう第１の座標関係式）を示す図である。
【図２６】図２５に示す座標関係式を、ｘ，ｙについて解くことにより得られる別な座標関係式を示す図である。
【図２７】本発明に係る画像変換方法の基本プロセスを示す平面図である。
【図２８】本発明の基本的実施形態に係る画像変換装置の構成を示すブロック図である。
【図２９】本発明の別な実施形態に係る画像変換装置の構成を示すブロック図である。
【符号の説明】
【０１５７】
１０：魚眼レンズを用いたカメラ
２０：全方位ミラーを用いたカメラ
２１：土台
２２：全方位ミラー
２３：透明カバー
２４：撮像素子
５０：テーブル
１００：魚眼レンズ用の画像変換装置
１１０：歪曲円形画像格納部
１２０：平面正則画像格納部
１３０：変換演算部
１４０：歪曲円形画像表示部
１５０：指示入力部
２００：本発明の基本的実施形態に係る画像変換装置
２３０：変換演算部
３００：本発明の別な実施形態に係る画像変換装置
３３０：変換演算部
Ａ：垂線の足
ａ：Ｘ軸上の任意の座標値
Ｂ：垂線の足
ｂ：Ｙ軸上の任意の座標値
Ｃ：ミラー歪曲円形画像
Ｃ（ａ，ｂ）：ミラー歪曲円形画像Ｃ上の点
Ｃ１０〜Ｃ４５：結像点
Ｄ：垂線の足
ｄ：焦点Ｆとピンホール点Ｐとの距離
Ｅ：切出領域
ｅ：離心率
Ｆ：二次曲線の焦点
Ｇ（ｘ０，ｙ０，ｚ０）：切出中心点Ｋ（ｘ０，ｙ０）を通りＺ軸に平行な直線と仮想球面Ｈとの交点（ＵＶ座標系の原点）
Ｈ：仮想球面
Ｈ（ｘ，ｙ，ｚ）：仮想球面Ｈ上の入射点
Ｊ０〜Ｊ５：撮像面
Ｋ，Ｋ（ａ０，ｂ０），Ｋ（ｘ０，ｙ０）：切出中心点
Ｌ，Ｌ１〜Ｌ４０：入射光線
Ｍ：曲面ミラー／曲面ミラーの反射面
ｍ：変換倍率
Ｎｕ：ディスプレイの横方向寸法（水平方向の画素数）
Ｎｖ：ディスプレイの縦方向寸法（垂直方向の画素数）
ｎ：法線ベクトル
Ｏ：三次元ＸＹＺ直交座標系の原点
Ｐ：ピンホール点
Ｑ，Ｑ（ｘ′，ｙ′，ｚ′）：反射点
ｑ：焦点Ｆと準線ξとの距離
ｒ：仮想球面Ｈの半径
Ｓ：レンズ歪曲円形画像
Ｓ（ｘ，ｙ）：レンズ歪曲円形画像Ｓ上の点
Ｓｃ：遮光スクリーン
Ｔ，Ｔ１，Ｔ２：平面正則画像
Ｔ（ｕ，ｖ）：平面正則画像Ｔ上の点
Ｔ１（ｕ，ｖ）：平面正則画像Ｔ１上の点
Ｔ２（ｕ，ｖ）：平面正則画像Ｔ２上の点
Ｕ：二次元ＵＶ直交座標系の座標軸
Ｖ：二次元ＵＶ直交座標系の座標軸
ｗ：変数
Ｘ：三次元ＸＹＺ直交座標系の座標軸
Ｙ：三次元ＸＹＺ直交座標系の座標軸
Ｚ：三次元ＸＹＺ直交座標系の座標軸
ｘ，ｙ，ｚ，ｘ′，ｙ′，ｚ′：座標値
α：方位角
β：天頂角
γ：二次曲線
θ：ＸＺ平面上での角度
λ：２点ＱＡ間の距離
ρ：２点ＦＱ間の距離
φ：平面傾斜角
ξ：準線
【技術分野】
【０００１】
本発明は、画像変換装置および画像変換方法に関し、特に、全方位カメラを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う技術に関する。
【背景技術】
【０００２】
全方位カメラは、メカニカルな動作機構なしに、半球状の全方位を示す円形画像を撮影することができる。このため、奇抜な効果を狙った風景写真などを撮影する場合や、監視カメラなどの用途に広く利用されている。
【０００３】
一般に、全方位カメラには、魚眼レンズを用いたタイプと全方位ミラーを用いたタイプとの２通りが存在する。魚眼レンズを用いたタイプの場合、屈折を利用して周囲からの入射光が撮像面に導かれる。このため、半球状の全方位に関して死角のない撮影が可能になるが、魚眼レンズは複数のレンズの組み合わせによって構成される要素であるため、構造が複雑になり製造コストが高騰するというデメリットが生じる。これに対して、全方位ミラーを用いたタイプの場合、構造が単純で安価に製造できるメリットが得られるが、反射を利用して周囲からの入射光が撮像面に導かれるため、一部分に死角が生じる問題がある。
【０００４】
このように、魚眼レンズを用いたタイプも、全方位ミラーを用いたタイプも、それぞれ一長一短があるため、用途に応じて、両方のタイプが使い分けられている。いずれのタイプにしても、全方位カメラを用いた撮影で得られる画像は、歪曲した円形の画像になるため、芸術写真などの用途にはそのまま利用することが可能かもしれないが、一般的な用途には不向きである。
【０００５】
そこで、全方位カメラを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う装置が提案されている。たとえば、下記の特許文献１には、コンピュータを利用して、魚眼レンズを用いて撮影された歪曲円形画像の一部分を平面正則画像にリアルタイムで変換する技術が開示されている。また、下記の非特許文献１には、全方位ミラーを用いて撮影された歪曲円形画像の一部分を平面正則画像に変換する技術が開示されている。このような変換技術を利用すれば、全方位カメラを用いて撮影した歪曲円形画像からなる動画を、平面正則画像からなる動画としてリアルタイムで観察することが可能になり、１８０°の画角をもった監視システムなどへの応用が期待できる。また、下記の非特許文献２には、全方位ミラーを用いて撮影された歪曲円形画像と魚眼レンズを用いて撮影された歪曲円形画像との相互変換技術が提案されている。
【特許文献１】特許第３０５１１７３号公報
【非特許文献１】Christian Toepfer, Tobias Ehlgen: "A Unifying Omnidirectional Camera Model and its Applications," The Seventh Workshop on Omnidirectional Vision, Camera Networks and Non-classical Cameras 2007, pp. 1-5.
【非特許文献２】Xianghua Ying and Zhanyi Hu, "Can We Consider Central Catadioptric Cameras and Fisheye Cameras within a Unified Imaging Model," ECCV 2004, pp. 442-455.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように、全方位カメラを用いた撮影により得られた歪曲円形画像の一部分を切り出して、これを平面正則画像に変換する画像変換装置は既に提案されている。しかしながら、魚眼レンズを用いたタイプに適用するための装置（たとえば、前掲の特許文献１に開示されている装置）と、全方位ミラーを用いたタイプに適用するための装置（たとえば、前掲の非特許文献１に開示されている装置）とは、内部で実行する処理プロセスが全く異なっている。これは、一方が光の屈折を利用した集光カメラであるのに対して、他方が光の反射を利用した集光カメラであるため、原理的に避けられない事項である。
【０００７】
その一方で、前述したとおり、これら２通りの全方位カメラには、それぞれ一長一短があるため、実用上は、用途に応じて両方のタイプが使い分けられている。したがって、現状では、魚眼レンズを用いたタイプに利用するための画像変換装置と、全方位ミラーを用いたタイプに利用するための画像変換装置とをそれぞれ別個に設計し、それぞれ別個に提供する必要がある。このため、装置を構成するハードウエアの設計や製造のための労力や費用もそれぞれ別個に必要になり、効率的な設計・製造を阻む要因となっている。また、ユーザ側でも、両タイプの全方位カメラを利用する場合には、各タイプ用の画像変換装置をそれぞれ別個に購入する必要がある。
【０００８】
そこで、本発明の目的は、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を効率的に行うことにある。また、本発明の別な目的は、魚眼レンズ式カメラ用の変換プロセスと共通するプロセスを利用して、全方位ミラー式カメラ用の正則画像変換を行うことが可能な画像変換装置および画像変換方法を提供することにある。更に、本発明のもうひとつの目的は、魚眼レンズ式カメラにも全方位ミラー式カメラにも共用可能な画像変換装置および画像変換方法を提供することにある。
【課題を解決するための手段】
【０００９】
(1) 本発明の第１の態様は、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換装置において、
二次元ＸＹ直交座標系上のＸ軸上の座標値ａおよびＹ軸上の座標値ｂを用いた座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体によって構成されたミラー歪曲円形画像を格納する歪曲円形画像格納部と、
二次元ＵＶ直交座標系上のＵ軸上の座標値ｕおよびＶ軸上の座標値ｖを用いた座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
歪曲円形画像格納部に格納されているミラー歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
ディスプレイに表示されているミラー歪曲円形画像上における、切出中心点Ｋの位置および切り出し向きをユーザの指示に基づいて入力する指示入力部と、
座標（ｕ，ｖ）と座標（ａ，ｂ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ａ，ｂ）で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、ミラー歪曲円形画像から切出中心点Ｋを中心として切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を平面正則画像格納部に格納する変換演算部と、
を設け、
変換演算部が、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成したときに、ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）との関係を示す第１の座標関係式と、仮想レンズ歪曲円形画像上の任意位置の座標（ｘ，ｙ）と平面正則画像上の対応位置の座標（ｕ，ｖ）との関係を示す第２の座標関係式と、を用いて、座標（ｕ，ｖ）と座標（ａ，ｂ）との対応づけを行うようにしたものである。
【００１０】
(2) 本発明の第２の態様は、全方位ミラーもしくは魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換装置において、
二次元ＸＹ直交座標系上のＸ軸上の座標値ａおよびＹ軸上の座標値ｂを用いた座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体によって構成され、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像、もしくは二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像を格納する歪曲円形画像格納部と、
二次元ＵＶ直交座標系上のＵ軸上の座標値ｕおよびＶ軸上の座標値ｖを用いた座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
歪曲円形画像格納部に格納されている歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
ディスプレイに表示されている歪曲円形画像上における、切出中心点Ｋの位置および切り出し向きをユーザの指示に基づいて入力する指示入力部と、
歪曲円形画像格納部にミラー歪曲円形画像が格納されている場合には、座標（ｕ，ｖ）と座標（ａ，ｂ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ａ，ｂ）で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、ミラー歪曲円形画像から切出中心点Ｋを中心として切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を平面正則画像格納部に格納する第１の処理を行い、歪曲円形画像格納部にレンズ歪曲円形画像が格納されている場合には、座標（ｕ，ｖ）と座標（ｘ，ｙ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ｘ，ｙ）で示される位置に配置されたレンズ歪曲円形画像上の参照画素の画素値に基づいて決定することにより、レンズ歪曲円形画像から切出中心点Ｋを中心として切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を平面正則画像格納部に格納する第２の処理を行う変換演算部と、
を設け、
変換演算部が、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成したときに、ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）との関係を示す第１の座標関係式と、仮想レンズ歪曲円形画像上の任意位置の座標（ｘ，ｙ）と平面正則画像上の対応位置の座標（ｕ，ｖ）との関係を示す第２の座標関係式と、を用いて、座標（ｕ，ｖ）と座標（ａ，ｂ）との対応づけを行うようにしたものである。
【００１１】
(3) 本発明の第３の態様は、上述の第１または第２の態様に係る画像変換装置において、
変換演算部が、放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる曲面を反射面とする全方位ミラーを用いた撮影により得られたミラー歪曲円形画像を平面正則画像に変換する処理を行うようにしたものである。
【００１２】
(4) 本発明の第４の態様は、上述の第３の態様に係る画像変換装置において、
変換演算部が、全方位ミラーの反射面を構成する回転体曲面の焦点位置に原点Ｏを有し、回転体曲面の回転軸方向をＺ軸とするＸＹＺ三次元直交座標系において、原点Ｏを中心とする所定半径ｒの仮想球面を仮定し、仮想球面上の任意の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する入射光線がＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする正射影方式の魚眼レンズモデルを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定した変換処理を行うようにしたものである。
【００１３】
(5) 本発明の第５の態様は、上述の第４の態様に係る画像変換装置において、
変換演算部が、ＸＹＺ三次元直交座標系のＸＹ平面上に配置された仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と、仮想撮像面に形成されるであろう仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）と、の関係を示す第１の座標関係式を用いるようにしたものである。
【００１４】
(6) 本発明の第６の態様は、上述の第５の態様に係る画像変換装置において、
変換演算部が、全方位ミラーを用いた撮影での実撮像面に形成されるミラー歪曲円形画像と、仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像とが、相似関係にあることを利用して導出された第１の座標関係式を用いるようにしたものである。
【００１５】
(7) 本発明の第７の態様は、上述の第６の態様に係る画像変換装置において、
変換演算部が、全方位ミラーの反射面を構成する回転体曲面の元になる二次曲線について、離心率をｅ、焦点と準線との距離をｑ、焦点とピンホール点との距離をｄとし、用いる魚眼レンズモデルの仮想球面の半径をｒとしたときに、
ａ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｘ
ｂ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｙ
ｒ２＝ｘ２＋ｙ２＋ｚ２
なる式を、座標（ａ，ｂ）と座標（ｘ，ｙ）との関係を示す第１の座標関係式として用いるようにしたものである。
【００１６】
(8) 本発明の第８の態様は、上述の第４の態様に係る画像変換装置において、
指示入力部が、ユーザの指示に基づいて平面傾斜角φを指定するための情報を切り出し向きを示すパラメータとして入力する機能を有し、
変換演算部が、用いる魚眼レンズモデルの仮想球面の半径をｒとしたときに、平面傾斜角φと、切出中心点Ｋの位置に基づいて定まる方位角αおよび天頂角βを用いて、
ｘ＝ｒ（ｕＡ＋ｖＢ＋ｗＥ）／√（ｕ２＋ｖ２＋ｗ２）
ｙ＝ｒ（ｕＣ＋ｖＤ＋ｗＦ）／√（ｕ２＋ｖ２＋ｗ２）
ここで、
Ａ＝cosφcosα−sinφsinαcosβ
Ｂ＝−sinφcosα−cosφsinαcosβ
Ｃ＝cosφsinα＋sinφcosαcosβ
Ｄ＝−sinφsinα＋cosφcosαcosβ
Ｅ＝sinβsinα
Ｆ＝−sinβcosα
ｗ＝ｍｒ（但し、ｍは所定の変換倍率）
なる式を、座標（ｘ，ｙ）と座標（ｕ，ｖ）との関係を示す第２の座標関係式として用いるようにしたものである。
【００１７】
(9) 本発明の第９の態様は、上述の第８の態様に係る画像変換装置において、
指示入力部が、ミラー歪曲円形画像上における切出中心点Ｋの位置を、二次元ＸＹ直交座標系上の座標（ａ０，ｂ０）として入力する機能を有し、
変換演算部が、第１の座標関係式を用いて、座標（ａ０，ｂ０）に対応する座標（ｘ０，ｙ０）を求め、ＸＹＺ三次元直交座標系において、座標（ｘ０，ｙ０）で示されるＸＹ平面上の点Ｋ（ｘ０，ｙ０）を通りＺ軸に平行な直線と仮想球面との交点Ｇ（ｘ０，ｙ０，ｚ０）の位置に基づいて方位角αおよび天頂角βを定めるようにしたものである。
【００１８】
(10) 本発明の第１０の態様は、上述の第８または第９の態様に係る画像変換装置において、
指示入力部が、ユーザの指示に基づいて変換倍率ｍを入力する機能を有し、
変換演算部が、指示入力部によって入力された変換倍率ｍを用いた演算を行うようにしたものである。
【００１９】
(11) 本発明の第１１の態様は、上述の第１〜第１０の態様に係る画像変換装置において、
変換演算部が、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を決定する際に、対応する歪曲円形画像上の複数の参照画素の画素値に対する補間演算を行うようにしたものである。
【００２０】
(12) 本発明の第１２の態様は、上述の第１〜第１１の態様に係る画像変換装置を、コンピュータに専用のプログラムを組み込むことにより実現したものである。
【００２１】
(13) 本発明の第１３の態様は、上述の第１〜第１１の態様に係る画像変換装置における変換演算部を、電子回路が組み込まれた半導体集積回路により実現したものである。
【００２２】
(14) 本発明の第１４の態様は、上述の第１〜第１１の態様に係る画像変換装置と、全方位ミラーもしくは魚眼レンズを用いたカメラと、平面正則画像を画面上に表示するモニタ装置と、を組み合わせることにより全方位監視システムを構成し、
カメラを用いた撮影により得られたミラー歪曲円形画像もしくはレンズ歪曲円形画像が歪曲円形画像格納部へと格納され、平面正則画像格納部に得られた平面正則画像がモニタ装置によって表示されるようにしたものである。
【００２３】
(15) 本発明の第１５の態様は、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換方法において、
二次元ＸＹ直交座標系上のＸ軸上の座標値ａおよびＹ軸上の座標値ｂを用いた座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体によって構成されたミラー歪曲円形画像を、歪曲円形画像格納部に格納する段階と、
歪曲円形画像格納部に格納されているミラー歪曲円形画像をディスプレイに表示する段階と、
ディスプレイに表示されているミラー歪曲円形画像上における、切出中心点Ｋの位置および切り出し向きをユーザの指示に基づいて入力する段階と、
座標（ｕ，ｖ）と座標（ａ，ｂ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ａ，ｂ）で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、ミラー歪曲円形画像から切出中心点Ｋを中心として切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する変換演算を行う段階と、
をコンピュータもしくは電子回路に実行させ、
変換演算を行う際に、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成したときに、ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）との関係を示す第１の座標関係式と、仮想レンズ歪曲円形画像上の任意位置の座標（ｘ，ｙ）と平面正則画像上の対応位置の座標（ｕ，ｖ）との関係を示す第２の座標関係式と、を用いて、座標（ｕ，ｖ）と座標（ａ，ｂ）との対応づけを行うようにしたものである。
【００２４】
(16) 本発明の第１６の態様は、上述の第１５の態様に係る画像変換方法において、
放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる曲面を反射面とする全方位ミラーを用いた撮影により得られたミラー歪曲円形画像を平面正則画像に変換する処理を行い、
回転体曲面の焦点位置に原点Ｏを有し、回転体曲面の回転軸方向をＺ軸とするＸＹＺ三次元直交座標系において、原点Ｏを中心とする所定半径ｒの仮想球面を仮定し、仮想球面上の任意の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する入射光線がＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする正射影方式の魚眼レンズモデルを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定した変換処理を行うようにしたものである。
【００２５】
(17) 本発明の第１７の態様は、上述の第１６の態様に係る画像変換方法において、
変換演算を行う際に、ＸＹＺ三次元直交座標系のＸＹ平面上に配置された仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と、仮想撮像面に形成されるであろう仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）と、の関係を示す第１の座標関係式を用いるようにしたものである。
【００２６】
(18) 本発明の第１８の態様は、上述の第１７の態様に係る画像変換方法において、
変換演算を行う際に、全方位ミラーを用いた撮影での実撮像面に形成されるミラー歪曲円形画像と、仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像とが、相似関係にあることを利用して導出された第１の座標関係式を用いるようにしたものである。
【００２７】
(19) 本発明の第１９の態様は、上述の第１８の態様に係る画像変換方法において、
変換演算を行う際に、全方位ミラーの反射面を構成する回転体曲面の元になる二次曲線について、離心率をｅ、焦点と準線との距離をｑ、焦点とピンホール点との距離をｄとし、用いる魚眼レンズモデルの仮想球面の半径をｒとしたときに、
ａ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｘ
ｂ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｙ
ｒ２＝ｘ２＋ｙ２＋ｚ２
なる式を、座標（ａ，ｂ）と座標（ｘ，ｙ）との関係を示す第１の座標関係式として用いるようにしたものである。
【００２８】
(20) 本発明の第２０の態様は、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換方法において、
全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、ミラー歪曲円形画像を仮想レンズ歪曲円形画像に変換するための第１の演算式と、仮想レンズ歪曲円形画像を平面正則画像に変換するための第２の演算式と、を併用した変換演算をコンピュータもしくは電子回路が実行することにより、ミラー歪曲円形画像を平面正則画像に変換するようにしたものである。
【発明の効果】
【００２９】
本発明の画像変換装置および画像変換方法によれば、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像を平面正則画像に変換する際に、一旦、魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像に変換し、これを更に平面正則画像に変換する処理が行われる。このため、レンズ歪曲円形画像を平面正則画像に変換する部分について、魚眼レンズ式カメラ用のプロセスを利用することができる。すなわち、魚眼レンズ式カメラ用の変換プロセスと共通するプロセスを利用して、全方位ミラー式カメラ用の正則画像変換を行うことが可能になる。かくして、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を効率的に行うことが可能になり、装置を構成するハードウエアの設計や製造のための労力や費用を節約することができる。また、魚眼レンズ式カメラにも全方位ミラー式カメラにも共用可能な画像変換装置および画像変換方法を提供することが可能になり、ユーザの負担も軽減できる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明を図示する実施形態に基づいて説明する。
【００３１】
＜＜＜ §１．全方位ミラーを用いた全方位カメラの概要 ＞＞＞
既に述べたとおり、全方位カメラには、魚眼レンズを用いたタイプと全方位ミラーを用いたタイプとの２通りがある。ここでは、まず、全方位ミラーを用いたタイプの概要を説明する。
【００３２】
図１は、全方位ミラーを利用した一般的な全方位カメラの基本構造を示す側断面図である。図には、全方位ミラーを用いたカメラ２０を、テーブル５０の上に配置した状態が示されている。カメラ２０の主たる構成要素は、図示のとおり、土台２１、全方位ミラー２２，透明カバー２３，撮像素子２４である。
【００３３】
土台２１は、カメラ２０の各構成要素を支持するとともに、外囲器の一部をなす構成要素である。全方位ミラー２２は、二次曲線の回転体からなる反射面を有しており、図に示す外側面が反射面になる。この反射面において十分な鏡面反射が生じれば、全方位ミラー２２の本体部分はどのような材質で構成してもかまわない。透明カバー２３も、土台２１とともに外囲器の一部をなす構成要素であるが、外界からの入射光を取り込むために透明な素材によって構成されている。撮像素子２４は、全方位ミラー２２で反射した光を集め、外界の像を撮影するデバイスであり、たとえば、ＣＣＤカメラなどによって構成される。
【００３４】
図示のとおり、ここでは説明の便宜上、回転体からなる全方位ミラー２２の回転軸（中心軸）をＺ軸とする（後述する座標系に合わせるため、図の下方をＺ軸正方向にとっている）。図示の例では、この全方位カメラ２０全体が回転体形状をしている。撮像素子２４は、その光軸がＺ軸に一致する位置に配置されており、撮像面はＺ軸に直交する。透明カバー２３は、撮像素子２４をこのような位置に固定するための支持部材としての機能も果たすことになる。
【００３５】
図２は、図１に示す全方位カメラ２０による撮影で得られた画像Ｃを示す平面図である。具体的には、全方位カメラ２０を、屋外のテーブル５０の上に配置し、周囲の景色を撮影したときに得られる画像の一例を示すものである。このような画像は、撮像素子２４（たとえば、ＣＣＤカメラ）の撮像面に得られる画像であり、デジタル画像信号として取得されることになる。図１には示されていないが、実際には、撮像素子２４で生成されたデジタル画像信号を外部へと取り出すための仕組みが備わっている。
【００３６】
図２に示すとおり、この全方位カメラ２０で得られる画像Ｃは、テーブル５０より上方の半球状の外界を１８０°の画角をもって撮影した全方位画像になっている。もっとも、図示する画像Ｃは、全方位カメラを用いた撮影により得られる画像の一般的なイメージを示すものであり、実際の全方位カメラを用いて得られる正確な画像を示すものではない。図示のとおり、この画像Ｃは、その中心部分と周囲部分とでは像の縮尺倍率が異なり、円形の歪んだ画像になる。そこで、ここでは、このように全方位カメラによる撮影で得られた画像を「歪曲円形画像」と呼ぶことにする。特に、図１に示すミラー式の全方位カメラ２０で撮影された画像を、後述するレンズ式の全方位カメラで撮影された画像と区別するため、本願では、図２に示す画像を「ミラー歪曲円形画像Ｃ」と呼ぶことにする。
【００３７】
図２に示すミラー歪曲円形画像Ｃの中心部には、円形の黒い影が写っているが、これは、撮像素子２４自身の影である。図１の側断面図を見れば明らかなように、テーブル５０より上方の半球状の外界のうち、撮像素子２４の真上に位置する部分からの光は、撮像素子２４自身によって遮られてしまうため、撮像面には届かない。図２の画像Ｃの中心部の影は、このような理由により生じた外界の死角領域に対応する。なお、撮像素子２４からの撮像信号を有線で外部に取り出すようにした場合、外部への配線の影が画像内に写ることになる。これを避けるには、透明な配線材を用いるか、無線による信号伝達手段を採用すればよい。
【００３８】
図３は、図１に示す全方位カメラ２０に入射した光のミラーによる反射状態を示す側断面図である。図示のとおり、外界からの光は、透明カバー２３を透過して、全方位ミラー２２の反射面で反射し、撮像素子２４で受光される。撮像素子２４には、光学系が内蔵されており、撮像面（ＣＣＤカメラの受光面）に外界の歪んだ像が結像されることになる。撮像面に得られる像の歪み具合は、全方位ミラー２２の反射面を構成する曲面の性質に左右される。
【００３９】
図４は、図２に示すミラー歪曲円形画像Ｃを二次元ＸＹ直交座標系上に配置した状態を示す平面図である。本発明は、歪曲円形画像を平面正則画像に変換する技術に係るものであり、その基本原理は、座標系の幾何学的な変換法則に基づくものである。そこで、ここで述べる実施形態では、撮像素子２４によって撮影されたミラー歪曲円形画像Ｃを、その中心位置に原点Ｏをもつ二次元ＸＹ直交座標系上の画像として取り扱うことにする。また、ここでは、このミラー歪曲円形画像Ｃの特定の箇所を示すために、Ｘ軸上の座標値ａおよびＹ軸上の座標値ｂを用いた座標（ａ，ｂ）を用いることにする。たとえば、図４に示す点Ｃ（ａ，ｂ）は、この二次元ＸＹ直交座標系における座標（ａ，ｂ）で示される点である。
【００４０】
結局、本発明における変換対象となるミラー歪曲円形画像Ｃの実体は、このような座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体である。個々の画素には、それぞれ特定の画素値（たとえば、一般的なカラー画像の場合、三原色Ｒ，Ｇ，Ｂの各画素値）が対応づけられている。なお、図４では、Ｘ軸を右方向、Ｙ軸を下方向にとっているが、これは後述する三次元ＸＹＺ直交座標系における各座標軸配置と整合性をもたせるための便宜である。
【００４１】
本発明に係る画像変換装置は、図４に示すミラー歪曲円形画像Ｃの任意の位置の近傍の歪曲画像を平面正則画像に変換する機能を有している。たとえば、ディスプレイの画面上に、図４に示すような画像表示が行われている状態において、ユーザが、この画面上の１点Ｋ（ａ０，ｂ０）を切出中心点として指定すると、点Ｋ（ａ０，ｂ０）を中心とする所定の切出領域内の歪曲画像が切り出され、平面正則画像に変換されて表示されることになる。
【００４２】
図５は、このようにして表示された平面正則画像Ｔ１を示す平面図である。ここでは、図示のとおり、平面正則画像Ｔ１が、右方向にＵ軸、下方向にＶ軸をとった二次元ＵＶ直交座標系上に得られるものとする。このＵＶ直交座標系の原点は、図４における切出中心点Ｋ（ａ０，ｂ０）に対応する点であり、図示の例の場合、女性の鼻の位置を中心として切り出された歪曲画像が、平面正則画像Ｔ１に変換されたことになる。
【００４３】
もっとも、このような平面正則画像Ｔ１を得るために、ユーザは、パラメータとして、切出中心点Ｋ（ａ０，ｂ０）とともに、切り出し向きを指定する必要がある。たとえば、図５に示す平面正則画像Ｔ１では、女性が倒れた状態の画像になっている。これは、図４に示す画像Ｃについて、切出中心点Ｋ（ａ０，ｂ０）を基準として女性の頭頂部方向がＵ軸方向となるような向きの指定が行われたためである。女性が正立した向きとなる平面正則画像を得るためには、女性の向かって右側方向がＵ軸方向となるような向きの指定を行えばよい。図６は、このような切り出し向きの指定を行うことにより得られた平面正則画像Ｔ２を示す平面図である。
【００４４】
図６に示す平面正則画像Ｔ２は、図５に示す平面正則画像Ｔ１を、切出中心点Ｋを回転中心として、反時計回りに９０°回転させたものである。したがって、切り出し向きは、結局、切出中心点Ｋを中心とした平面正則画像Ｔの回転ファクターを示すパラメータということになり、０〜３６０°の回転角度として与えることが可能である。ユーザは、ディスプレイ画面上に表示された図４に示すような歪曲円形画像Ｃを見ながら、切出中心点Ｋ（ａ０，ｂ０）の位置と、切り出し向きとを指定し、「ここを中心として、こんな向きに、画像を切り出して、平面正則画像を得たい」という要望を出せばよい。本発明に係る画像変換装置は、このようなユーザの要望に基づいて画像変換処理を実行し、要望に合致した平面正則画像を提示する機能を有している。
【００４５】
実用上は、ユーザに第３のパラメータである「変換倍率ｍ」を指定させるのが好ましい。図５に示す画像Ｔ１と図６に示す画像Ｔ２とは、実は、互いに異なる変換倍率ｍを指定することによって得られた画像である。いずれの画像も、横方向寸法（水平方向の画素数）Ｎｕ、縦方向寸法（垂直方向の画素数）Ｎｖをもった同一のディスプレイ画面上に表示されているが、女性の像の大きさは、画像Ｔ１の方が画像Ｔ２よりも拡大されていることがわかる。これは、画像Ｔ１を得るための変換が、より大きな変換倍率ｍの指定の下に行われたためである。一般に、ディスプレイの縦横寸法（画素数）は一定であるから、変換倍率ｍを調整することにより、得られる平面正則画像Ｔのトリミング枠を任意に設定することができる。
【００４６】
結局、本発明に係る画像変換装置を利用すれば、ユーザが、図４に示すような歪曲円形画像Ｃ上において、切出中心点Ｋ（ａ０，ｂ０）の位置、切り出し向き、変換倍率ｍという３つのパラメータを指定すると、図５や図６に例示するような平面正則画像Ｔ１，Ｔ２が得られることになる。
【００４７】
このような画像変換処理は、ＸＹ座標系上の座標（ａ，ｂ）とＵＶ座標系上の座標（ｕ，ｖ）とを対応づけることにより行われる。たとえば、図４の画像Ｃ上の点Ｃ（ａ，ｂ）は、図５の画像Ｔ１上では点Ｔ１（ｕ，ｖ）となり、図６の画像Ｔ２上では点Ｔ２（ｕ，ｖ）となる。したがって、たとえば、図５に示す平面正則画像Ｔ１を生成するには、任意の点Ｔ１（ｕ，ｖ）に対応する円形歪曲画像Ｃ上の点Ｃ（ａ，ｂ）を求め、点Ｔ１（ｕ，ｖ）に配置される画素の画素値を、点Ｃ（ａ，ｂ）に配置されている画素の画素値に応じて決めればよい。別言すれば、上記画像変換処理は、座標（ａ，ｂ）と座標（ｕ，ｖ）との対応づけができれば、一義的に実行可能である。
【００４８】
全方位ミラー２０の反射面の幾何学的形状が定まれば、座標（ａ，ｂ）と座標（ｕ，ｖ）とを直接対応づける座標関係式を、幾何学的に求めることができる。したがって、このような座標関係式を用いた座標変換演算を実行すれば、理論上、歪曲円形画像Ｃに基づいて平面正則画像Ｔを得ることが可能である。実際、前掲の非特許文献１などでは、そのようなアプローチに基づく画像変換の手法が開示されている。
【００４９】
しかしながら、座標（ａ，ｂ）と座標（ｕ，ｖ）とを直接対応づける座標関係式は、一般に三角関数を含んだ複雑な式になり、演算負担はかなり大きなものになる。たとえば、ソフトウエアによる演算処理で実行したとすると、現在普及している一般的なパソコンレベルのＣＰＵでは、かなりの演算時間が必要になり、動画をリアルタイムで処理することは困難である。一方、ハードウエアによる演算処理で実行すれば、演算時間の短縮を図ることは可能であるが、三角関数演算を含む複雑な演算を実行するための半導体集積回路の構造はかなり複雑になり、製造コストの高騰は避けられない。
【００５０】
本発明のユニークな着眼点は、座標（ａ，ｂ）と座標（ｕ，ｖ）とを直接対応づける代わりに、魚眼レンズを用いた撮影により得られるであろう歪曲円形画像上の座標（ｘ，ｙ）を仲介させ、まず、座標（ａ，ｂ）と座標（ｘ，ｙ）とを第１の演算式によって対応づけ、更に、座標（ｘ，ｙ）と座標（ｕ，ｖ）とを第２の演算式によって対応づけることにより、結果的に、座標（ａ，ｂ）と座標（ｕ，ｖ）との対応づけが行われるようにする、という発想にある。
【００５１】
＜＜＜ §２．魚眼レンズを用いた全方位カメラの場合の変換処理 ＞＞＞
本発明の本来の目的は、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像Ｃの一部分を切り出して、平面正則画像に変換する処理を効率的に行うことにあるが、上述したとおり、その変換処理には、概念上、魚眼レンズを用いた撮影により得られるであろう仮想の歪曲円形画像を仲介させる手法が採られる。そこで、ここでは、魚眼レンズを用いた全方位カメラの場合の変換処理の概要を説明する。
【００５２】
図７は、正射影方式の魚眼レンズを用いた撮影により歪曲円形画像Ｓを形成する基本モデルを示す斜視図である。一般に、魚眼レンズは、その投影方式によって複数の種類に分けられるが、この図７に示すモデルは、正射影方式の魚眼レンズについてのものである。
【００５３】
図７には、三次元ＸＹＺ直交座標系におけるＸＹ平面上に歪曲円形画像Ｓが形成される例が示されている。ここでは、こうして魚眼レンズを用いた撮影により得られる歪曲円形画像Ｓを、「レンズ歪曲円形画像Ｓ」と呼ぶことにし、§１で説明した「ミラー歪曲円形画像Ｃ」と区別する。なお、後述する変換演算式との整合性を確保するために、図示のとおり、Ｚ軸を図の下方にとり、Ｚ軸の負の領域側にドーム状の仮想球面Ｈ（半球）を定義した例を示すことにする。
【００５４】
ＸＹ平面上に形成されるレンズ歪曲円形画像Ｓは、座標系の原点Ｏを中心とした半径ｒの円を構成する画像であり、Ｚ軸の負の領域側における１８０°の画角をもった領域に存在する像を歪ませて記録したものに相当する。図８は、魚眼レンズを用いた撮影によって得られたレンズ歪曲円形画像Ｓの一例を示す平面図である。このように、レンズ歪曲円形画像Ｓには、Ｚ軸の負の領域側に存在するすべての像が記録されることになるが、その中心部分と周囲部分とでは、像の縮尺倍率が異なっており、記録された像の形状は歪んだものになる。なお、図８に示すレンズ歪曲円形画像Ｓも、魚眼レンズを用いた撮影により得られた歪曲円形画像の一般的なイメージを示すものであり、実際の魚眼レンズを用いて得られる正確な画像を示すものではない。
【００５５】
図８に示すレンズ歪曲円形画像Ｓと、図４に示すミラー歪曲円形画像Ｃとを比べると、いずれも円形の歪んだ画像である点では共通するが、前者が、レンズの屈折作用によって生じた画像であるのに対し、後者は、ミラーの反射作用によって生じた画像であるため、同一の被写体を同一視点から撮影したとしても、両画像の歪み具合はそれぞれ異なったものになる（なお、実際の図面においても、両画像が若干異なるように描かれているが、図面に描かれている相違は、正確な相違を反映したものではない）。また、図８に示すレンズ歪曲円形画像Ｓの場合、ＸＹ平面が撮像面になるため、死角となる領域は存在しない。このため、図４の画像Ｃの中心に生じていた黒い円形の影は、図８の画像Ｓには発生しない。
【００５６】
このように、レンズ歪曲円形画像Ｓとミラー歪曲円形画像Ｃとは、画像としては全く別のものである。但し、両画像間には、それぞれ対応する点が定義できる。たとえば、図４に示す画像Ｃ上の点Ｃ（ａ，ｂ）は、図８に示す画像Ｓ上の点Ｓ（ｘ，ｙ）に対応する。同様に、図４に示す画像Ｃ上の切出中心点Ｋ（ａ０，ｂ０）は、図８に示す画像Ｓ上の切出中心点Ｋ（ｘ０，ｙ０）に対応する。したがって、座標（ａ，ｂ）と座標（ｘ，ｙ）とを対応づける座標関係式を定義することが可能である。具体的な座標関係式については、§４，§５で詳述する。
【００５７】
さて、実際の魚眼レンズは、複数の凸レンズや凹レンズを組み合わせた光学系によって構成されるが、その光学的な特性は、図７に示すような仮想球面Ｈによってモデル化できることが知られている。すなわち、レンズ歪曲円形画像Ｓの上面に、半径ｒをもったドーム状の仮想球面Ｈ（半球）を配置したモデルを考えれば、正射影方式の魚眼レンズの光学的特性は、仮想球面Ｈ上の任意の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する入射光線Ｌ１は、Ｚ軸に平行な入射光線Ｌ２として、ＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする、と考えてよい。逆言すれば、図８においてレンズ歪曲円形画像Ｓ上の点Ｓ（ｘ，ｙ）に位置する画素は、図７に示す入射光線Ｌ１の延長線上に存在する物体上の１点を示していることになる。
【００５８】
もちろん、実際の魚眼レンズで生じている光学的現象は、複数の凸レンズや凹レンズによる屈折により、撮像対象となる物体の特定の点が、ＸＹ平面上の特定の点Ｓ（ｘ，ｙ）上に結像する現象ということになるが、画像変換処理などを行う上では、図７に示すような仮想球面Ｈを用いたモデルに置き換えた議論を行っても何ら支障はない。したがって、前掲の特許文献１に開示されている画像変換処理でも、このようなモデルを前提とした手法が示されており、本発明における以下の説明においても、このようなモデルを前提とした説明を行うことにする。
【００５９】
ここでは、§１で述べた例と同様に、レンズ歪曲円形画像Ｓ上の一部分を切り出して、平面正則画像に変換することを考えてみよう。たとえば、図８に示すレンズ歪曲円形画像Ｓを見たユーザが、その左下に描かれている女性の画像を、歪みのない正しい画像で観察したいと考えたとしよう。このような場合、既に§１で述べたとおり、ユーザは、切出中心点Ｋ（ｘ０，ｙ０）、切り出し向き、変換倍率ｍという３つのパラメータを指定すればよい。そうすれば、図９にハッチングを施して示すような切出領域Ｅが変換対象とすべき領域として切り出され、平面正則画像に変換される。
【００６０】
ここでは、切出中心点Ｋ（ｘ０，ｙ０）を中心とした切出領域Ｅ内の画像を、平面正則画像に変換するために、次のようなモデルを考える。図１０は、このモデルにおいて、レンズ歪曲円形画像Ｓを含むＸＹ座標系と、平面正則画像Ｔを含むＵＶ座標系との関係を示す斜視図である。図示のとおり、レンズ歪曲円形画像Ｓは、三次元ＸＹＺ直交座標系のＸＹ平面上に定義されているので、レンズ歪曲円形画像Ｓ自身は、二次元ＸＹ直交座標系上に定義された画像である。そこで、このレンズ歪曲円形画像Ｓ上に定義された切出中心点Ｋ（ｘ０，ｙ０）を通りＺ軸に平行な直線と仮想球面Ｈとの交点Ｇを考える。この交点Ｇは、いわば切出中心点Ｋ（ｘ０，ｙ０）の真上の点であり、その位置座標は（ｘ０，ｙ０，ｚ０）である。
【００６１】
次に、この交点Ｇ（ｘ０，ｙ０，ｚ０）において、仮想球面Ｈに接する接平面を定義し、この接平面上に二次元ＵＶ直交座標系を定義する。そして、平面正則画像Ｔを、この二次元ＵＶ直交座標系上の画像として求めることにする。図１０に示す例の場合、交点Ｇ（ｘ０，ｙ０，ｚ０）が原点となるようにＵＶ座標系が定義されている。結局、このモデルにおけるＵＶ座標系の原点は、仮想球面Ｈ上のいずれかに設定され、ＵＶ座標系を構成するＵＶ平面は、この原点位置における仮想球面Ｈに対する接平面に一致する。
【００６２】
ＵＶ座標系の原点となる交点Ｇ（ｘ０，ｙ０，ｚ０）の位置は、図示のとおり、方位角αと天頂角βとによって特定することができる。ここで、方位角α（０≦α＜３６０°）は、切出中心点Ｋ（ｘ０，ｙ０）とＸＹ座標系の原点Ｏとを結ぶ直線とＸ軸とのなす角であり、天頂角β（０≦β≦９０°）は、ＵＶ座標系の原点となる点Ｇ（ｘ０，ｙ０，ｚ０）とＸＹ座標系の原点Ｏとを結ぶ直線とＺ軸とのなす角である。
【００６３】
このように、ＵＶ平面は、方位角αと天頂角βとを指定することによって特定することができるが、ＵＶ座標系を決定するには、更にもう１つのパラメータを指定する必要がある。このパラメータは、点Ｇを中心とした接平面上での回転ファクター（Ｕ軸の向き）を示すものであり、一般に平面傾斜角と呼ばれている。通常、この平面傾斜角は、「点Ｇを通り、ＸＹ平面に平行で、かつ、直線ＯＧに直交する軸」を基準軸として、当該基準軸とＵ軸とのなす角φとして定義される（基準軸は、方位角αと天頂角βに依存して変化する）。この平面傾斜角φは、切り出し向きを示すパラメータに他ならない。
【００６４】
結局、平面正則画像Ｔを形成するためのＵＶ座標系の位置および向きは、方位角α，天頂角β，平面傾斜角φという３つの角度からなるパラメータを設定することにより一義的に決定される。この３つの角度は、一般にオイラー角と呼ばれている。
【００６５】
図１１は、ＵＶ座標系上に定義された平面正則画像Ｔを示す平面図である。ここでは、この平面正則画像Ｔ上の任意の点をＵＶ座標系の座標値ｕ，ｖを用いて、Ｔ（ｕ，ｖ）と表すことにする。前述したとおり、ここに示すモデルでは、ＵＶ座標系の原点Ｔ（０，０）の位置は、点Ｇ（ｘ０，ｙ０，ｚ０）に一致する。一方、図１２は、ＸＹ座標系上に定義されたレンズ歪曲円形画像Ｓを示す平面図である。ここでは、このレンズ歪曲円形画像Ｓ上の任意の点をＸＹ座標系の座標値ｘ，ｙを用いて、Ｓ（ｘ，ｙ）と表すことにする。
【００６６】
この§２で説明する魚眼レンズ用の画像変換装置は、図１２に示すように、ユーザがレンズ歪曲円形画像Ｓ上の１点Ｋ（ｘ０，ｙ０）の位置を切出中心点として指定すると、その近傍の切出領域Ｅ内の歪曲した画像を正則画像に変換し、図１１に示すＵＶ座標系上に定義された平面正則画像Ｔとして出力する機能を有している。このような画像変換を行うためには、ＵＶ座標系上の１点Ｔ（ｕ，ｖ）とＸＹ座標系上の１点Ｓ（ｘ，ｙ）との間に１対１の対応関係を定義しておく必要がある。このような対応関係は、実際には、変換演算式として表現することができる。
【００６７】
このような変換演算式は、三次元ＸＹＺ座標系の空間内に配置されたＵＶ座標系の位置および向きが決定すれば、一義的に定義することが可能である。たとえば、図１０に示すような特定のＵＶ座標系が定義されており、その上に何らかの平面正則画像Ｔが配置されていたとする。この場合、この平面正則画像Ｔを撮影対象となる物体と考え、図示のモデルに相当する魚眼レンズを用いて、当該物体を撮影すれば、ＸＹ平面上にレンズ歪曲円形画像Ｓが得られることになる。このとき、撮影対象物体となる平面正則画像Ｔ上の任意の点Ｔ（ｕ，ｖ）のレンズ歪曲円形画像Ｓ上での結像位置Ｓ（ｘ，ｙ）は、図７で説明した魚眼レンズの光学的な基本特性に基づいて決定できる。すなわち、点Ｔ（ｕ，ｖ）からの光線Ｌ１が法線方向から入射するような仮想球面Ｈ上の点Ｈ（ｘ，ｙ，ｚ）を求めれば、結像位置はＳ（ｘ，ｙ）として与えられることになる。
【００６８】
結局、ＵＶ座標系の位置および向きが決定すれば、ＵＶ座標系上の１点Ｔ（ｕ，ｖ）とＸＹ座標系上の１点Ｓ（ｘ，ｙ）との間に１対１の対応関係を定義することができ、そのような対応関係は変換演算式として表現することができる。レンズ歪曲円形画像Ｓの一部を平面正則画像Ｔに変換する画像変換処理は、この変換演算式を用いた座標変換演算によって行うことができる。たとえば、図１１に示す平面正則画像Ｔにおける任意の１点Ｔ（ｕ，ｖ）に位置する画素の画素値は、図１２に示すレンズ歪曲円形画像Ｓ上の対応点Ｓ（ｘ，ｙ）に位置する画素の画素値に基づいて決定すればよい。
【００６９】
このように、座標（ｕ，ｖ）と座標（ｘ，ｙ）とを対応づける変換演算式は、三次元ＸＹＺ座標系の空間内に配置されたＵＶ座標系の位置および向きが決定すれば、一義的に定義できる公知の式である。たとえば、図１３に式（１）〜（９）として示されている変換演算式は、前掲の特許文献１に開示されている式である。この変換演算式は、ＵＶ座標系の位置を示すパラメータα，βと、ＵＶ座標系の向きを示すパラメータφとを含む式になっている。これら３つのパラメータは、前述したオイラー角、すなわち、方位角α，天頂角β，平面傾斜角φである。
【００７０】
具体的には、
ｘ＝ｒ（ｕＡ＋ｖＢ＋ｗＥ）／
√（ｕ２＋ｖ２＋ｗ２） 式（１）
は、ＵＶ座標系上の１点Ｔ（ｕ，ｖ）の座標値ｕ，ｖを用いて、ＸＹ座標系上の対応点Ｓ（ｘ，ｙ）のｘ座標値を求めるための式であるが、Ａ，Ｂ，Ｅは、それぞれ、
Ａ＝cosφcosα−sinφsinαcosβ 式（３）
Ｂ＝−sinφcosα−cosφsinαcosβ 式（４）
Ｅ＝sinβsinα 式（７）
なる数式で求まる値であり、オイラー角α，β，φの三角関数を用いた演算によって決定されることになる。
【００７１】
同様に、
ｙ＝ｒ（ｕＣ＋ｖＤ＋ｗＦ）／
√（ｕ２＋ｖ２＋ｗ２） 式（２）
は、ＵＶ座標系上の１点Ｔ（ｕ，ｖ）の座標値ｕ，ｖを用いて、ＸＹ座標系上の対応点Ｓ（ｘ，ｙ）のｙ座標値を求めるための式であるが、Ｃ，Ｄ，Ｆは、それぞれ、
Ｃ＝cosφsinα＋sinφcosαcosβ 式（５）
Ｄ＝−sinφsinα＋cosφcosαcosβ 式（６）
Ｆ＝−sinβcosα 式（８）
なる数式で求まる値であり、オイラー角α，β，φの三角関数を用いた演算によって決定されることになる。
【００７２】
なお、式（１），（２）におけるｗは、
ｗ＝ｍｒ 式（９）
で与えられる値である。ここで、ｒは、レンズ歪曲円形画像Ｓの半径であり、ｍは変換倍率である。変換倍率ｍは、座標値ｕ，ｖのスケーリングと、座標値ｘ，ｙのスケーリングとの関係を示すものであり、変換倍率ｍを大きく設定すればするほど、平面正則画像Ｔには拡大された画像が求められる。実際には、平面正則画像Ｔの大きさ（たとえば、縦横の画素数）には制限があるため、変換倍率ｍを大きく設定すればするほど、レンズ歪曲円形画像Ｓの切出領域Ｅは小さくなる。
【００７３】
図１３に示す式において、ｒの値はレンズ歪曲円形画像Ｓの半径として既知であり、ｍの値はユーザによって指定された（もしくは、予め固定された）変換倍率値として既知であるから、ユーザがオイラー角α，β，φを指定することにより、ＵＶ座標系の位置および向きを決定してやれば、図１３に示す変換演算式において、座標値ｘ，ｙを算出するための未知数はｕ，ｖのみになる。したがって、この変換演算式を用いれば、平面正則画像Ｔにおける任意の１点Ｔ（ｕ，ｖ）に対応するレンズ歪曲円形画像Ｓ上の対応点Ｓ（ｘ，ｙ）を決定することができる。
【００７４】
前掲の特許文献１に開示されている画像変換の方法は、この図１３に示す変換演算式を用いて、レンズ歪曲円形画像Ｓの一部を平面正則画像Ｔに変換するものである。
【００７５】
＜＜＜ §３．魚眼レンズ用の画像変換装置の基本構成 ＞＞＞
ここでは、図１４のブロック図を参照しながら、§２で述べた原理に基づく魚眼レンズ用画像変換装置の基本構成を説明する。図１４において、一点鎖線で囲った部分が、魚眼レンズ用の画像変換装置１００である。この装置は、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像Ｓの一部分を切り出して、平面正則画像Ｔに変換する処理を行う機能を有している。この例では、魚眼レンズを用いたカメラ１０によって撮影されたレンズ歪曲円形画像Ｓが、デジタルデータとして、この画像変換装置１００内に取り込まれている。
【００７６】
歪曲円形画像格納部１１０は、このようなレンズ歪曲円形画像Ｓを格納するための構成要素であり、メモリやハードディスク装置などの記憶装置によって構成される。ここで、レンズ歪曲円形画像Ｓは、たとえば、図８に例示するように、二次元ＸＹ直交座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、ＸＹ座標系の原点Ｏを中心とし半径ｒをもった円形の画像になる。
【００７７】
一方、平面正則画像格納部１２０は、変換処理後の平面正則画像Ｔをデジタルデータとして格納するための構成要素であり、やはりメモリやハードディスク装置などの記憶装置によって構成される。ここで、平面正則画像Ｔは、たとえば、図５や図６に例示するように、二次元ＵＶ直交座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される画像になる。この平面正則画像格納部１２０内の平面正則画像Ｔを変換された画像のデジタルデータとして出力すれば、ディスプレイの画面上に図５や図６に例示するような平面正則画像を表示させることができる。
【００７８】
変換演算部１３０は、§２で述べた変換演算式を利用して、座標（ｕ，ｖ）と座標（ｘ，ｙ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の画素の画素値を、対応する座標（ｘ，ｙ）で示される位置に配置されたレンズ歪曲円形画像Ｓ上の参照画素の画素値に基づいて決定する機能を有し、歪曲円形画像格納部１１０内に格納されているレンズ歪曲円形画像Ｓに基づいて、平面正則画像Ｔを作成する演算を行い、生成された平面正則画像Ｔを平面正則画像格納部１２０に格納する。§２で述べたとおり、このような変換演算を行うには、いくつかのパラメータを設定する必要がある。以下の各構成要素は、このパラメータ設定を行うためのものである。
【００７９】
歪曲円形画像表示部１４０は、歪曲円形画像格納部１１０に格納されているレンズ歪曲円形画像Ｓをディスプレイに表示する構成要素であり、たとえば、図８に示すような画像がディスプレイの画面上に表示される。
【００８０】
指示入力部１５０は、変換に必要な３つのパラメータを入力するためのユーザの指示を入力する。すなわち、ユーザからの指示入力に基づいて、切出中心点Ｋの位置を示す座標（ｘ０，ｙ０）と、切り出し向き（たとえば、平面傾斜角φの値）と、変換倍率ｍと、が入力される。切出中心点Ｋの位置は、ディスプレイに表示されているレンズ歪曲円形画像Ｓ上の１点を指定するユーザによるマウスクリック操作などによって取り込むことができる。
【００８１】
こうして入力された３つのパラメータは、変換演算部１３０に与えられる。変換演算部１３０は、まず、切出中心点Ｋの位置（ｘ０，ｙ０）に基づいて、点Ｇの位置座標（ｘ０，ｙ０，ｚ０）を求める処理を行う。ここで、点Ｇは、図１０に示すとおり、三次元ＸＹＺ直交座標系において、原点Ｏを中心とし半径ｒをもった仮想球面Ｈを定義したときに、切出中心点Ｋを通りＺ軸に平行な直線と仮想球面Ｈとの交点として与えられる点である。実際には、点Ｋの座標値ｘ０，ｙ０と点Ｇの座標値ｘ０，ｙ０とは同一の値であるから、点Ｇの位置座標（ｘ０，ｙ０，ｚ０）を求める演算処理は、座標値ｚ０を求めるための幾何学演算のみである。
【００８２】
こうして、点Ｇの位置座標（ｘ０，ｙ０，ｚ０）が得られれば、やはり幾何学的演算によって、図１０に示す方位角α、天頂角βを算出することができるので、ユーザが指定した平面傾斜角φを含めたオイラー角α，β，φが定まる。また、ｒはレンズ歪曲円形画像Ｓの半径として既知であり、ｍはユーザが指定した変換倍率として既知である。よって、変換演算部１３０は、図１３に示す式を利用して、座標（ｘ，ｙ）で示される位置に配置された画素の集合からなるレンズ歪曲円形画像Ｓを、座標（ｕ，ｖ）で示される位置に配置された画素の集合からなる平面正則画像Ｔに変換し、これを平面正則画像格納部１２０に格納することができる。
【００８３】
なお、実際に変換演算部１３０が実施する座標変換演算は、座標（ｘ，ｙ）に基づいて座標（ｕ，ｖ）を求める演算ではなく、逆に、座標（ｕ，ｖ）に基づいて座標（ｘ，ｙ）を求める演算になる。これは、実際には、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の画素の画素値を、対応する座標（ｘ，ｙ）で示される位置に配置されたレンズ歪曲円形画像Ｓ上の参照画素の画素値に基づいて決定する処理が行われるためである。そのため、図１３に示す式（１），（２）は、任意の値ｕ，ｖに基づいて、これに対応するｘ，ｙの値を導出する形式の式になっている。
【００８４】
なお、レンズ歪曲円形画像Ｓは、二次元ＸＹ直交座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成された画像であり、実際には、所定ピッチで縦横に配列された多数の格子点の位置に、それぞれ固有の画素値を定義したデジタルデータによって構成されている。このため、変換演算部１３０による演算結果として得られた対応座標（ｘ，ｙ）の位置は、通常、複数の格子点の間の位置になる。たとえば、レンズ歪曲円形画像Ｓが、ピッチ１で縦横に配列された多数の格子点位置の画素値を定義したデジタルデータによって構成されている場合、いずれの格子点も、その座標値は整数値になる。よって、変換演算部１３０による演算結果として得られた対応座標ｘおよびｙの値が小数を含む値であると（多くの場合はそうなるであろう）、対応座標（ｘ，ｙ）の位置は、複数の格子点の間の位置になり、対応する画素値を１つに決めることはできない。
【００８５】
したがって、実際には、変換演算部１３０が、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の画素の画素値を決定する際には、対応する座標（ｘ，ｙ）で示される位置の近傍に配置されたレンズ歪曲円形画像Ｓ上の複数の参照画素の画素値に対する補間演算を行う必要がある。このような補間演算を行う方法としては、たとえば、バイリニア補間法、バイキュービック・スプライン補間法など、様々な方法が公知である。
【００８６】
＜＜＜ §４．全方位ミラーによる撮影画像に対する画像変換 ＞＞＞
本発明による変換対象となる画像は、§１で述べたとおり、全方位ミラー式カメラで撮影されたミラー歪曲円形画像である。それにもかかわらず、§２，§３において、魚眼レンズ式カメラで撮影されたレンズ歪曲円形画像に対する画像変換を説明したのは、本発明では、レンズ歪曲円形画像に対する画像変換の原理をそのまま取り入れる手法を採るためである。
【００８７】
本発明における画像変換の基本概念は、図４に示すようなミラー歪曲円形画像Ｃを、一旦、図８に示すようなレンズ歪曲円形画像Ｓに変換し、その後で、§２，§３で述べた公知の方法を用いて、当該レンズ歪曲円形画像Ｓを平面正則画像Ｔに変換すればよい、という考え方である。レンズ歪曲円形画像Ｓを平面正則画像Ｔに変換する手法は、前掲の特許文献１などに開示されている公知の手法として確立しており、実際、図１３に示す変換演算式に基づく変換演算を実行する専用の半導体集積回路なども商業ベースで利用され始めている。
【００８８】
これに対して、図４に示すようなミラー歪曲円形画像Ｃを、平面正則画像Ｔに直接変換する手法は、前掲の非特許文献１などで提案されている。しかしながら、カメラに用いる全方位ミラーの曲面形状に応じて、用いるべき変換演算式もそれぞれ異なり、また、個々の変換演算式には非常に複雑な演算項が含まれるため、実用上、変換演算を実行する専用の半導体集積回路などを商業ベースで提供することは困難である。
【００８９】
そこで、本発明では、「ミラー歪曲円形画像Ｃ」→「レンズ歪曲円形画像Ｓ」→「平面正則画像Ｔ」という迂回プロセスを敢えて採用することにより、「レンズ歪曲円形画像Ｓ」用の変換装置の資源をそのまま流用できるようにし、結果的に、「ミラー歪曲円形画像Ｃ」→「平面正則画像Ｔ」という画像変換を効率的に実行できるようにしているのである。なお、上記迂回プロセスは、あくまでも概念上のプロセスであって、実際には、個々の「ミラー歪曲円形画像Ｃ」について、「レンズ歪曲円形画像Ｓ」を生成するプロセスが行われるわけではない。そのような意味では、上記「レンズ歪曲円形画像Ｓ」は、実在の画像ではなく、あくまでも概念上生じる仮想の画像ということになる。
【００９０】
すなわち、本発明では、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、ミラー歪曲円形画像を仮想レンズ歪曲円形画像に変換するための第１の演算式と、仮想レンズ歪曲円形画像を平面正則画像に変換するための第２の演算式と、を併用した変換演算をコンピュータに実行させることにより、結果的に、ミラー歪曲円形画像を平面正則画像に変換するプロセスが行われることになる。
【００９１】
座標変換のプロセスとして考えると、まず、図４に示すミラー歪曲円形画像Ｃ上の点Ｃ（ａ，ｂ）が、図８に示す仮想レンズ歪曲円形画像Ｓ上の点Ｓ（ｘ，ｙ）に変換され、更に、図５に示す平面正則画像Ｔ１上の点Ｔ１（ｕ，ｖ）や、図６に示す平面正則画像Ｔ２上の点Ｔ２（ｕ，ｖ）に変換されることになる。座標変換は（ａ，ｂ）→（ｘ，ｙ）→（ｕ，ｖ）という形で行われるので、変換処理には、座標（ａ，ｂ）と座標（ｘ，ｙ）とを対応づける第１の座標関係式と、座標（ｘ，ｙ）と座標（ｕ，ｖ）とを対応づける第２の座標関係式とが用いられることになる。ここで、第２の座標関係式は、図１３に示すとおりである。そこで、以下、第１の座標関係式がどのように定義されるかを検討してみる。
【００９２】
一般に、全方位ミラーの反射面には、二次曲線の回転体が用いられる。二次曲線には、放物線、楕円、双曲線などの種類があり、これらの回転体を反射面とする全方位ミラーの形状は様々になり、第１の座標関係式も様々なものになる。そこで、この§４では、まず、楕円曲面（楕円をその軸について回転させて得られる回転体）を反射面にもつ楕円曲面ミラーを用いた場合について考えてみよう。
【００９３】
図１５は、楕円曲面ミラーＭによる反射光を撮像面Ｊ０上に結像させることによってミラー歪曲円形画像が形成される様子を示す側断面図である。楕円曲面ミラーＭは、図１に示す全方位カメラ２０における全方位ミラー２２の反射面に対応し、撮像面Ｊ０は、撮像素子２４の受光面に対応する。また、楕円曲面ミラーＭの中心軸（回転体の回転軸）は、Ｚ軸に一致するように配置されている。
【００９４】
楕円は２つの焦点を有する二次曲線であり、両焦点からの距離の和が一定となる任意の点の集合として定義される。ただ、図１５に示すように、楕円の片側の曲線部分のみに注目すれば、その近傍には唯一の焦点Ｆを定義することができ、図示のとおり、この焦点Ｆは、長軸上（すなわち、Ｚ軸上）に位置する。そして、楕円の幾何学的な性質により、この楕円曲面ミラーＭの外側から焦点Ｆに向かってきた入射光線は、ミラー表面で反射した後、唯一のピンホール点Ｐを通ることになる。図１５に示されている入射光線Ｌ１０，Ｌ２０，Ｌ３０，Ｌ４０は、いずれも焦点Ｆに向かって入射した光線であるため、これらの反射光はいずれもピンホール点Ｐを通る。
【００９５】
ここで、撮像面Ｊ０にどのような像が結像されるかを考えてみよう。実際の撮像素子２４内には、レンズなどの光学系が内蔵されており、これらの光学系によって撮像面Ｊ０に像が結ぶことになるが、ここでは、説明の便宜上、撮像素子２４にピンホールカメラが内蔵されていたとしよう。具体的には、図に破線で示すような遮光スクリーンが配置され、その中心にあるピンホール点Ｐにピンホールが開口されていたと考えればよい。この場合、各入射光線Ｌ１０，Ｌ２０，Ｌ３０，Ｌ４０は、撮像面Ｊ０の各結像点Ｃ１０，Ｃ２０，Ｃ３０，Ｃ４０に到達し、これら結像点の集合として、撮像面Ｊ０上に像が結ぶことになる。
【００９６】
もちろん、実際の撮像素子２４は、レンズなどの光学系によって、撮像面Ｊ０上へ像を結ばせているが、この光学系の焦点距離を調整すれば、結像する撮像面の位置を変えることができる。図１６は、図１５に示す撮像面Ｊ０を図の上下に平行移動させることにより、ミラー歪曲円形画像が相似変化する様子を示す側断面図である。図示のとおり、撮像面Ｊ１上の各結像点は、Ｃ１１，Ｃ２１，Ｃ３１，Ｃ４１となり、撮像面Ｊ２上の各結像点は、Ｃ１２，Ｃ２２，Ｃ３２，Ｃ４２となり、像の大きさが徐々に変わってゆくことがわかる。撮像面をＪ３の位置へ設定すると、各結像点は、Ｃ１３，Ｃ２３，Ｃ３３，Ｃ４３になり、像が裏返しになる。
【００９７】
ここでは、撮像面を更に下方へと移動させた場合を考えてみると、撮像面Ｊ４上の各結像点は、Ｃ１４，Ｃ２４，Ｃ３４，Ｃ４４となり、撮像面Ｊ５上の各結像点は、Ｃ１５，Ｃ２５，Ｃ３５，Ｃ４５となり、やはり像の大きさが徐々に変わってゆくことがわかる。もっとも、撮像面Ｊ４，Ｊ５は、その一部が楕円曲面ミラーＭの内部に入り込んでしまっているので、現実的には、このような位置に実際の撮像面（撮像素子の受光面）を配置することはできない。実際、すべての入射光線は、ミラーＭの表面で反射してしまうため、ミラーＭの内部には光が届くことはなく、ミラーＭの内部に撮像面を配置しても像は得られない。このような像を得るためには、反射光が逆方向に向かい、ミラーＭの内部に進入する非物理的な現象を考える必要がある。
【００９８】
しかしながら、ここで検討している事項は、前述したとおり、座標（ａ，ｂ）と座標（ｘ，ｙ）との関係であるので、このように現実的にはあり得ない仮想の撮像系を想定しても何ら問題はない。この仮想の撮像系において、たとえば、撮像面Ｊ５に得られる像が、実撮像面Ｊ０上に得られる像と相似の関係にあることは、図１６を見れば容易に理解できよう。ここで、撮像面Ｊ５は、楕円曲面ミラーＭの焦点Ｆを通り、その中心軸（Ｚ軸）に直交する平面である。このように、本発明の１つの特徴は、全方位ミラーを用いた撮影での実撮像面Ｊ０に形成されるミラー歪曲円形画像と、仮想撮像面Ｊ５に形成されるであろう仮想ミラー歪曲円形画像とが、相似関係にあることを利用する点にある。
【００９９】
次に、図１７に示すように、楕円曲面ミラーＭの焦点Ｆの位置に原点Ｏをとり、楕円曲面ミラーＭの中心軸方向にＺ軸をとったＸＹＺ三次元直交座標系を定義し、ここに仮想球面Ｈを定義した魚眼レンズモデルを構築する。このモデルは、図７に示す正射影モデルと同じものであり、仮想球面Ｈは、原点Ｏを中心とした半径ｒの球面である。既に述べたとおり、このような魚眼レンズの正射影モデルの場合、仮想球面Ｈ上の任意の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する入射光線Ｌは、Ｚ軸に平行な入射光線として、ＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする。そして、この魚眼レンズを用いた撮影では、ＸＹ平面上にレンズ歪曲円形画像Ｓが形成されることになる。ここで、このレンズ歪曲円形画像Ｓは、点Ｓ（ｘ，ｙ）の位置に配置された画素の集合体によって構成される。
【０１００】
一方、このＸＹ平面上に撮像面Ｊ５を定義すれば、楕円曲面ミラーＭを用いた撮影によって実撮像面Ｊ０上に得られる像と相似をなすミラー歪曲円形画像Ｃが、ＸＹ平面上に形成されると考えることができる。ここで、このミラー歪曲円形画像Ｃは、点Ｃ（ａ，ｂ）の位置に配置された画素の集合体によって構成される。なお、点Ｐは、上述したピンホール点であり、焦点Ｆとピンホール点Ｐとの距離をｄとすれば、ピンホール点Ｐの三次元座標系上での座標値は（０，０，ｄ）になる。また、図示の直線ξは、後述するように、ミラーＭを構成する楕円曲線に関する準線と呼ばれる直線であり、Ｘ軸に対して距離ｑだけ離れた平行線になる。
【０１０１】
このように、図１７に示すモデルでは、同一のＸＹＺ三次元直交座標系上に、全方位ミラーを用いた撮像系と魚眼レンズを用いた撮像系とが重複配置されており、同一のＸＹ平面上に、ミラー歪曲円形画像Ｃとレンズ歪曲円形画像Ｓとが形成されることになる。しかも、ミラー歪曲円形画像Ｃの中心点とレンズ歪曲円形画像Ｓの中心点は、いずれも座標系の原点Ｏに一致する。したがって、ミラー歪曲円形画像Ｃ上の任意の点Ｃ（ａ，ｂ）に対して、レンズ歪曲円形画像Ｓ上における対応点Ｓ（ｘ，ｙ）を定め、座標（ａ，ｂ）と座標（ｘ，ｙ）との対応関係を何らかの変換演算式で定義することができれば、当該変換演算式は、本発明を実施する上で必要な第１の座標関係式ということになる。
【０１０２】
そこで、図１７において、座標系の原点Ｏに向かって外界から届いた入射光線Ｌの挙動について考えてみよう。まず、全方位ミラーを用いた撮像系における挙動を考えると、入射光線Ｌは、楕円曲面ミラーＭの表面における反射点Ｑで反射する。ここで、入射光線Ｌは、原点Ｏすなわち楕円曲面ミラーＭの焦点Ｆに向かってきた光であるため、反射光は、図示のとおり、ピンホール点Ｐに向かうことになる。このピンホールに向かう光の光路を進行方向とは逆方向に伸ばし、撮像面Ｊ５（すなわち、ＸＹ平面）との交点Ｃ（ａ，ｂ）を求めれば、当該点Ｃ（ａ，ｂ）は、入射光線Ｌの結像点ということになる。
【０１０３】
次に、魚眼レンズを用いた撮像系における挙動を考えると、入射光線Ｌは、仮想球面Ｈ上の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する光になる。したがって、この入射光線Ｌは、Ｚ軸に平行な入射光線として、ＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする。したがって、点Ｓ（ｘ，ｙ）は、入射光線Ｌの結像点ということになる。
【０１０４】
結局、図１７において、全方位ミラーを用いた撮像系によって得られる結像点Ｃ（ａ，ｂ）は、魚眼レンズを用いた撮像系によって得られる結像点Ｓ（ｘ，ｙ）に対応することになる（いずれもＸＹ平面上の点であり、Ｚ座標値は０である）。ここで、座標値ａ，ｘは、いずれもＸ軸上の座標値であり、座標値ｂ，ｙは、いずれもＹ軸上の座標値であるから、ａとｘとの関係式と、ｂとｙとの関係式が得られれば、座標（ａ，ｂ）と座標（ｘ，ｙ）との対応関係を定義する第１の座標関係式が定まる。
【０１０５】
図１８は、本発明に係る画像変換方法の基本概念を示す平面図である。上記第１の座標関係式を用いれば、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像Ｃ内の１点Ｃ（ａ，ｂ）と、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像Ｓ内の１点Ｓ（ｘ，ｙ）と、の対応関係が定まる。したがって、ミラー歪曲円形画像Ｃをレンズ歪曲円形画像Ｓに変換することができる。一方、図１３に示す第２の座標関係式を用いれば、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像Ｓ内の１点Ｓ（ｘ，ｙ）と、平面正則画像Ｔ内の１点Ｔ（ｕ，ｖ）との対応関係が定まる。したがって、レンズ歪曲円形画像Ｓを平面正則画像Ｔに変換することができる。
【０１０６】
もっとも、実際には、図１８の中段に示すレンズ歪曲円形画像Ｓを、具体的な画像として生成する必要はない。レンズ歪曲円形画像Ｓは、座標変換の概念で利用される仮想のものであり、実際の演算としては、ミラー歪曲円形画像Ｃを平面正則画像Ｔに直接変換する処理を行うことができる。
【０１０７】
＜＜＜ §５．具体的な座標関係式の導出 ＞＞＞
さて、ここでは、具体的に第１の座標関係式を導出してみる。前述したとおり、第１の座標関係式は、座標（ａ，ｂ）と座標（ｘ，ｙ）との対応関係を定義する式であり、図１７において、「ａとｘとの関係を示す式」および「ｂとｙとの関係を示す式」ということになる。なお、§４では、説明の便宜上、曲面ミラーＭが楕円曲面からなるミラーである場合を述べたが、本発明は、放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる曲面を反射面とする全方位ミラーであれば適用可能である。そこで、以下、曲面ミラーＭが、放物線、楕円、二葉双曲線のいずれかの回転体からなる曲面をもったミラーである一般的な場合について、その幾何学的解析を行う。
【０１０８】
そのために、まず、二次曲線の一般的な性質について、簡単に説明しておこう。いま、図１９に示すように、１点Ｆと、この点Ｆを通らない直線ξを定義する。ここで、任意の点Ｑについて、点Ｆからの距離をρとし、直線ξとの距離（点Ｑから直線ξに下ろした垂線の足をＡとしたときの線分ＡＱの長さ）をλとして、離心率ｅ＝ρ／λなるものを定めると、一般的な二次曲線γは、この離心率ｅが一定となる点の集合体として定義される。そして、点Ｆおよび直線ξは、当該二次曲線γの焦点および準線と呼ばれている。
【０１０９】
たとえば、図２０に示すように、焦点Ｆおよび準線ξが配置されており、これらに基づいて、図示のような二次曲線γが定義されていたとすると、この二次曲線γ上の点Ｑについて、焦点Ｆからの距離をρとし、準線ξとの距離（点Ｑから準線ξに下ろした垂線の足をＡとしたときの線分ＡＱの長さ）をλとすれば、ｅ＝ρ／λで定義される離心率ｅは、二次曲線γ上のいずれの位置にある点Ｑについても、常に一定になる。
【０１１０】
図２１は、一般的な二次曲線γの離心率ｅと曲線の種類との関係を示す表である。図示のとおり、離心率ｅが、０＜ｅ＜１の範囲内の一定値をとる点の集合体は楕円になり、離心率ｅが、ｅ＝１となる点（すなわち、図２０において、ρ＝λとなる点）の集合体は放物線になり、離心率ｅが、ｅ＞１の範囲内の一定値をとる点の集合体は双曲線になる。
【０１１１】
一方、図２０に示すピンホール点Ｐは、前述したとおり、焦点Ｆに向かってくる任意の入射光線が、二次曲線γで反射して向かう点という特有の性質を有する点であり、二次曲線γの中心軸上の１点になる。ここで、焦点Ｆとピンホール点Ｐとの距離ｄは、二次曲線γが定まると一義的に決定できる。具体的には、個々の二次曲線γについてのｄの値は、図２１の表に示す式で求めることができる。なお、放物線の場合、ｄ＝無限大となっているので、図１５に示す入射光線Ｌ１０，Ｌ２０，Ｌ３０，Ｌ４０は、無限遠に位置するピンホール点Ｐに向かって反射することになる。これは、反射光がいずれもＺ軸に対して平行な光線になることを意味する。もちろん、反射光が平行光線になっても、レンズなどの光学系により、任意の撮像面に結像させることが可能であり、§４で述べた基本原理がそのまま適用できる。
【０１１２】
このように、放物線、楕円、二葉双曲線のいずれの場合も、離心率ｅ，焦点Ｆと準線ξとの距離ｑ，焦点Ｆとピンホール点Ｐとの距離ｄ（図２１の表に示すとおり、距離ｄは他のパラメータから計算によって求めることができる）の値が定まれば、曲線の形状は一義的に定まることになる。別言すれば、放物線、楕円、二葉双曲線の回転体からなる反射面をもつ全方位ミラーであれば、個々のミラーについて、ｅ，ｑ，ｄの固有値が決定できることになり、この３つの固有値ｅ，ｑ，ｄは、全方位ミラーの反射面の形状を定めるパラメータということになる。
【０１１３】
さて、上述したような二次曲線の一般的性質を踏まえた上で、図１７における「ａとｘとの関係を示す式」および「ｂとｙとの関係を示す式」を求めてみよう。図２２は、図１７の一部分を拡大し、ＸＺ平面上へ投影した投影図である。すなわち、図２２は、上述した三次元空間上でのモデルの各構成要素をＸＺ平面上に投影した二次元平面上での幾何学モデルに相当し、図示の図形は、いずれも平面上の図形である。
【０１１４】
たとえば、図２２に入射光線Ｌとして示されている直線は、実際の入射光線ＬのＸＺ平面への投影像に相当する。したがって、図示の角度θは、入射光線ＬとＺ軸とのなす三次元空間上での角度ではなく、入射光線ＬのＸＺ平面上への投影像とＺ軸とのなす平面上での角度である。同様に、図２２に示す曲線Ｈは、ＸＺ二次元座標系上の原点Ｏを中心とする半径ｒの円であり、曲線Ｍは、原点Ｏを焦点位置とする二次曲線である。§４では、曲線Ｍが楕円の場合を例にとって説明したが、ここでは、曲線Ｍが放物線、楕円、二葉双曲線のいずれかの二次曲線である場合に拡張して説明を行うことにする。また、図１７に示す点Ｈ，Ｑ，Ｓ，Ｃについては、便宜上、図２２においても同じ記号の点Ｈ，Ｑ，Ｓ，Ｃとして示してあるが、図２２上のこれら各点は、いずれもＸＺ平面上への投影点を示しており、各投影点のＹ座標値は０である。
【０１１５】
続いて、図２２に示されている反射点Ｑ（ＸＺ平面上への投影点）から、直線ξ（二次曲線Ｍについての準線），Ｚ軸，Ｘ軸に対して、それぞれ垂線を下ろし、その足を、それぞれ点Ａ，点Ｂ，点Ｄとする。ここで、反射点Ｑの座標を（ｘ′，ｙ′、ｚ′）とすると、線分ＯＤの長さはｘ′、線分ＤＱの長さはｚ′になる。また、線分ＡＱの長さをλとし、線分ＯＱの長さをρとし、準線ξとＸ軸との間隔をｑとする。この図２２に示す二次曲線Ｍ（曲面ミラーＭの表面）は、図２０に示す二次曲線γに対応するものであり、図２２に示す長さλ，ρ，ｑ，ｄは、それぞれ図２０に示す長さλ，ρ，ｑ，ｄに対応するものである。
【０１１６】
まず、図２２に示す線分ＯＱの長さρについては。図２３に記載されているとおり、式の導出が可能である。すなわち、図２２より、
ｑ＝λ＋ρ・cosθ 式（１０）
である。そして、二次曲線の性質により、
ｅ＝ρ／λ 式（１１）
が成り立つ。よって、
ρ＝ｅｑ／（１＋ｅcosθ） 式（１２）
が導出される。ここで、三角形ＯＨＳに着目すると、
cosθ＝ｚ／ｒ 式（１３）
であるから、これを式（１２）に代入すれば、
ρ＝ｒｅｑ／（ｒ＋ｅｚ） 式（１４）
が得られる。
【０１１７】
続いて、点Ｃ（ａ，ｂ）のＸ座標値ａを求めてみよう。図２４に記載されているとおり、三角形ＢＰＱと三角形ＯＰＣとの相似を利用すれば、
ｘ′／（ｄ−ｚ′）＝ａ／ｄ 式（１５）
が成り立つので、
ａ＝ｄｘ′／（ｄ−ｚ′） 式（１６）。
また、三角形ＯＱＤと三角形ＯＨＳとの相似を利用すれば、
ｘ′＝ρｘ／ｒ、ｚ′＝ρｚ／ｒ 式（１７）
なので、
ａ＝（ｄ（ρｘ／ｒ））／（ｄ−（ρｚ／ｒ）） 式（１８）
が得られる。最後に、式（１８）のρに、式（１４）のρを代入すれば、
ａ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｘ 式（１９）
が得られる。
【０１１８】
以上、図２２に示すＸＺ平面への投影図を用いて、ａとｘとの関係式を求めたが、ＹＺ平面への投影図を用いて同様のことを行えば、ｂとｙとの関係式として、
ｂ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｙ 式（２０）
が得られる。また、ｒは、仮想球面Ｈの半径であり、図１７の三次元モデルにおいて、線分ＯＨの長さは半径ｒに等しいから、
ｒ２＝ｘ２＋ｙ２＋ｚ２ 式（２１）
が成り立つ。かくして、図２５に示すように、式（１９），式（２０），式（２１）の３本の式が得られる。
【０１１９】
ここで、ｒは仮想球面Ｈの半径として任意の数値を設定することができる。すなわち、ｒの値は、レンズ歪曲円形画像Ｓの半径値であるが、あくまでも画像全体のスケーリングに関するファクターであるため、任意の値（たとえば、ｒ＝１）に設定して問題はない。そして、ｅ，ｑ，ｄは、個々のミラーの表面形状（回転体の元になる二次曲線）についての固有値として既知の値になる。一方、ｚは変数になるが、式（２１）を利用すれば変数値ｚを定めることができる。結局、図２５に示す３本の式は、座標（ａ，ｂ）と座標（ｘ，ｙ）とを対応づける第１の座標関係式ということになる。
【０１２０】
ところで、図２５の関係式は、座標（ｘ，ｙ）に基づいて座標（ａ，ｂ）を算出するための式であるが、この式をｘ，ｙについて解けば、図２６に示すように、座標（ａ，ｂ）に基づいて座標（ｘ，ｙ）を算出するための式が得られる。すなわち、
ｘ＝（ｒｄ＋ｅｚ（ｄ−ｑ））／ｅｑｄ・ａ 式（２２）
ｙ＝（ｒｄ＋ｅｚ（ｄ−ｑ））／ｅｑｄ・ｂ 式（２３）
が得られる。ここで、右辺の変数ｚについては、式（２１）に、式（２２），式（２３）を代入すれば、
（（ｒｄ＋ｅｚ（ｄ−ｑ））／ｅｑｄ）２（ａ２＋ｂ２）＋ｚ２＝ｒ２ 式（２４）
が得られるので、この式（２４）を変数ｚに関する２次方程式として、解の公式を適用して算出することができる。
【０１２１】
なお、図２１の表に示すとおり、放物線の場合、ｄ＝無限大になる。したがって、放物曲面ミラーを用いた場合、図２５の式（１９），式（２０）、図２６の式（２２），式（２３），式（２４）の分母および分子にそれぞれｄ＝無限大の項が入ることになるが、ｄ＝無限大の極限値を求めれば、いずれの式についても有限の値が算出できるので支障はない。
【０１２２】
図２７は、本発明に係る画像変換方法の基本プロセスを示す平面図である。まず、図２５に示す第１の座標関係式（式（１９）〜式（２１））を用いれば、放物線、楕円、二葉双曲線の回転体からなる全方位ミラーＭを用いた撮影により得られたミラー歪曲円形画像Ｃ内の１点Ｃ（ａ，ｂ）と、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像Ｓ内の１点Ｓ（ｘ，ｙ）と、の対応関係が定まる。したがって、ミラー歪曲円形画像Ｃをレンズ歪曲円形画像Ｓに変換することができる。一方、図１３に示す第２の座標関係式を用いれば、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像Ｓ内の１点Ｓ（ｘ，ｙ）と、平面正則画像Ｔ内の１点Ｔ（ｕ，ｖ）との対応関係が定まる。したがって、レンズ歪曲円形画像Ｓを平面正則画像Ｔに変換することができる。
【０１２３】
もちろん、前述したとおり、実際には、図２７の中段に示すレンズ歪曲円形画像Ｓを生成する必要はなく、図２７の下段に示す平面正則画像Ｔ上の任意の点Ｔ（ｕ，ｖ）の位置に配置される画素の画素値を決定するには、まず、図１３に示す第２の座標変換式を利用して、座標（ｕ，ｖ）に対応する座標（ｘ，ｙ）を求め、続いて、図２５に示す第１の座標変換式を利用して、座標（ｘ，ｙ）に対応する座標（ａ，ｂ）を求める。最後に、図２７の上段に示すミラー歪曲円形画像Ｃ内の点Ｃ（ａ，ｂ）の位置に配置されている画素の画素値を参照すればよい。
【０１２４】
以上のとおり、放物線、楕円、二葉双曲線のように、ある曲線部分に対して、焦点Ｆが１つに定まる二次曲線の回転体を反射面とする全方位ミラーを用いた撮影により得られたミラー歪曲円形画像であれば、本発明を利用して、平面正則画像に変換することが可能である。なお、円も二次曲線の１つであるが、円の場合は焦点が１つの定まらない。このため、円の回転体、すなわち、球面を反射面とするミラーの場合、理論的には、本発明の基本原理をそのまま適用することはできない。
【０１２５】
球面ミラーの場合でも、任意の１点に焦点を無理やり仮定して、本発明を適用すれば、上述した原理に基づく変換処理は可能である。しかしながら、この場合、正しい平面正則画像を得ることはできない。ただ、実際には、遠方の被写体に関しては、視点位置が多少ずれても、像がおおきく変わることはないので、本発明を球面ミラーに適用すると、遠方の景色に関しては、ある程度の品質をもった平面正則画像を得ることは可能である。したがって、遠方の被写体を観察する用途に限定すれば、実用上は、本発明を球面ミラーや、その他の任意形状のミラーに適用してもかまわない。
【０１２６】
＜＜＜ §６．全方位ミラー用の画像変換装置の基本構成 ＞＞＞
ここでは、図２８のブロック図を参照しながら、§５で述べた原理に基づく全方位ミラー用画像変換装置の基本構成を説明する。図２８において、一点鎖線で囲った部分が、全方位ミラー用の画像変換装置２００である。この装置は、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像Ｃの一部分を切り出して、平面正則画像Ｔに変換する処理を行う機能を有している。この例では、全方位ミラーを用いたカメラ２０によって撮影されたミラー歪曲円形画像Ｃが、デジタルデータとして、この画像変換装置２００内に取り込まれている。
【０１２７】
歪曲円形画像格納部１１０は、このようなミラー歪曲円形画像Ｃを格納するための構成要素であり、メモリやハードディスク装置などの記憶装置によって構成される。ここで、ミラー歪曲円形画像Ｃは、たとえば、図４に例示するように、二次元ＸＹ直交座標系上の座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体によって構成された円形の画像になる。
【０１２８】
一方、平面正則画像格納部１２０は、変換処理後の平面正則画像Ｔをデジタルデータとして格納するための構成要素であり、やはりメモリやハードディスク装置などの記憶装置によって構成される。ここで、平面正則画像Ｔは、たとえば、図５や図６に例示するように、二次元ＵＶ直交座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される画像になる。この平面正則画像格納部１２０内の平面正則画像Ｔを変換画像のデジタルデータとして出力すれば、ディスプレイの画面上に図５や図６に例示するような平面正則画像を表示させることができる。
【０１２９】
変換演算部２３０は、§５で述べた２通りの座標関係式を利用して、座標（ｕ，ｖ）と座標（ａ，ｂ）とを座標（ｘ，ｙ）を仲介して対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ａ，ｂ）で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定する機能を有し、歪曲円形画像格納部１１０内に格納されているミラー歪曲円形画像Ｃに基づいて、平面正則画像Ｔを作成する演算を行い、生成された平面正則画像Ｔを平面正則画像格納部１２０に格納する。既に述べたとおり、このような変換演算を行うには、いくつかのパラメータを設定する必要がある。以下の各構成要素は、このパラメータ設定を行うためのものである。
【０１３０】
歪曲円形画像表示部１４０は、歪曲円形画像格納部１１０に格納されているミラー歪曲円形画像Ｃをディスプレイに表示する構成要素であり、たとえば、図４に示すような画像がディスプレイの画面上に表示される。
【０１３１】
指示入力部１５０は、変換に必要な３つのパラメータを入力するためのユーザの指示を入力する。すなわち、ユーザからの指示入力に基づいて、切出中心点Ｋの位置を示す座標（ａ０，ｂ０）と、切り出し向き（たとえば、平面傾斜角φの値）と、変換倍率ｍと、が入力される。
【０１３２】
切出中心点Ｋの位置は、ディスプレイに表示されているミラー歪曲円形画像Ｃ上の１点を指定するユーザによるマウスクリック操作などによって取り込むことができる。平面傾斜角φの値は、０〜３６０°の数値をキーボードから入力できるような構成にしてもよいし、ディスプレイ画面上のレバーなどを操作して、任意の角度を設定できるようにしてもよい。変換倍率ｍの値も、同様に、数値をキーボードから入力できるような構成にしてもよいし、ディスプレイ画面上のレバーなどを操作して、任意の倍率を設定できるようにしてもよい。あるいは、トリミング範囲（たとえば、図１２に示す切出領域Ｅの境界位置）を指定することにより、変換倍率ｍを自動的に設定できるような構成をとってもかまわない。また、変換倍率ｍを固定して利用する場合には、ユーザに変換倍率ｍを入力させる処理を省略できる。
【０１３３】
ユーザは、ディスプレイ画面上に表示された図４に示すようなミラー歪曲円形画像Ｃを見ながら、切出中心点Ｋ（ａ０，ｂ０）の位置と、平面傾斜角φの値と、変換倍率ｍとをパラメータとして指定し、「ここを中心として、こんな向きに、こんな大きさで画像を切り出して、平面正則画像を得たい」という要望を出せばよい。
【０１３４】
こうして入力された３つのパラメータは、変換演算部２３０に与えられる。変換演算部２３０は、まず、切出中心点Ｋの位置を示す座標（ａ０，ｂ０）を、第１の座標関係式を利用して、座標（ｘ０，ｙ０）に変換する。ユーザによる切出中心点Ｋ（ａ０，ｂ０）の位置指定は、図４に示すように、ディスプレイに表示されているミラー歪曲円形画像Ｃ上における位置指定である。そこで、上記変換により、図８に示すような仮想のレンズ歪曲円形画像Ｓ上の切出中心点Ｋ（ｘ０，ｙ０）の位置に変換する。この変換には、図２６に示す「（ａ，ｂ）→（ｘ，ｙ）の変換式」を用いればよい。
【０１３５】
続いて、変換演算部２３０は、この切出中心点Ｋの位置（ｘ０，ｙ０）に基づいて、点Ｇの位置座標（ｘ０，ｙ０，ｚ０）を求める処理を行う。ここで、点Ｇは、図１０に示すとおり、三次元ＸＹＺ直交座標系において、原点Ｏを中心とし半径ｒをもった仮想球面Ｈを定義したときに、切出中心点Ｋを通りＺ軸に平行な直線と仮想球面Ｈとの交点として与えられる点である。実際には、点Ｋの座標値ｘ０，ｙ０と点Ｇの座標値ｘ０，ｙ０とは同一の値であるから、点Ｇの位置座標（ｘ０，ｙ０，ｚ０）を求める演算処理は、座標値ｚ０を求めるための幾何学演算のみである。
【０１３６】
こうして、点Ｇの位置座標（ｘ０，ｙ０，ｚ０）が得られれば、やはり幾何学的演算によって、図１０に示す方位角α、天頂角βを算出することができるので、ユーザが指定した平面傾斜角φを含めたオイラー角α，β，φが定まる。また、ｒは前述したように任意の設定値として既知であり、ｍはユーザが指定した変換倍率として既知である。
【０１３７】
かくして、変換演算部２３０は、図２５に示す第１の座標変換式と、図１３に示す第２の座標変換式とを利用して、座標（ａ，ｂ）で示される位置に配置された画素の集合からなるミラー歪曲円形画像Ｃを、座標（ｕ，ｖ）で示される位置に配置された画素の集合からなる平面正則画像Ｔに変換し、これを平面正則画像格納部１２０に格納することができる。
【０１３８】
なお、実際に変換演算部２３０が実施する座標変換演算は、座標（ａ，ｂ）に基づいて座標（ｕ，ｖ）を求める演算ではなく、逆に、座標（ｕ，ｖ）に基づいて座標（ａ，ｂ）を求める演算になる。具体的には、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の画素の画素値を求めるために、まず、図１３に示す第２の座標関係式（式（１）〜式（９））を用いて、座標（ｕ，ｖ）に対応する座標（ｘ，ｙ）を求める。この時点で演算に必要なオイラー角α，β，φや、ｒおよびｍの値は、上述したとおり既知の値となっている。
【０１３９】
続いて、図２５に示す第１の座標関係式（式（１９）〜式（２１））を用いて、座標（ｘ，ｙ）に対応する座標（ａ，ｂ）を求める。この時点で必要な値ｅ，ｑ，ｄは、前述したとおり、全方位ミラーの形状によって定まる固有値であるから、カメラ２０に用いられている全方位ミラーの固有値を、予め変換演算部２３０内に設定しておけばよい。あるいは、指示入力部１５０にこれらの固有値を入力する機能を設けておけば、ユーザの指示入力として、固有値ｅ，ｑ，ｄを設定することも可能である。形状の異なる全方位ミラーを用いた複数台のカメラを、この画像変換装置２００にとっかえひっかえ装着して利用するような場合には、新たなカメラを装着するごとに、当該カメラに用いられている全方位ミラーの固有値ｅ，ｑ，ｄを、その都度、ユーザに入力させて設定させるようにすればよい。
【０１４０】
こうして、最終的な対応座標（ａ，ｂ）が求まれば、歪曲円形画像格納部１１０内に格納されているミラー歪曲円形画像Ｃ内の対応座標（ａ，ｂ）に位置する画素の画素値を参照して、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の画素の画素値を決定することができる。
【０１４１】
なお、ミラー歪曲円形画像Ｃは、二次元ＸＹ直交座標系上の座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体によって構成された画像であり、実際には、所定ピッチで縦横に配列された多数の格子点の位置に、それぞれ固有の画素値を定義したデジタルデータによって構成されている。このため、変換演算部１３０による演算結果として得られた対応座標（ａ，ｂ）の位置は、通常、複数の格子点の間の位置になる。たとえば、ミラー歪曲円形画像Ｃが、ピッチ１で縦横に配列された多数の格子点位置の画素値を定義したデジタルデータによって構成されている場合、いずれの格子点も、その座標値は整数値になる。よって、変換演算部１３０による演算結果として得られた対応座標ａおよびｂの値が小数を含む値であると（多くの場合はそうなるであろう）、対応座標（ａ，ｂ）の位置は、複数の格子点の間の位置になり、対応する画素値を１つに決めることはできない。
【０１４２】
したがって、実際には、変換演算部２３０が、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の画素の画素値を決定する際には、対応する座標（ａ，ｂ）で示される位置の近傍に配置されたミラー歪曲円形画像Ｃ上の複数の参照画素の画素値に対する補間演算を行う必要がある。このような補間演算を行う方法としては、前述したとおり、バイリニア補間法、バイキュービック・スプライン補間法など、様々な方法が公知である。
【０１４３】
＜＜＜ §７．共用画像変換装置の基本構成 ＞＞＞
§３では、図１４を参照しながら、魚眼レンズ用画像変換装置１００の基本構成を説明し、§６では、図２８を参照しながら、全方位ミラー用画像変換装置２００の基本構成を説明した。ここで、図１４に示す装置１００の構成と、図２８に示す装置２００の構成とを比較してみると、極めて類似していることがわかる。実際、同じ符号を付したブロック構成要素、すなわち、歪曲円形画像格納部１１０，平面正則画像格納部１２０，歪曲円形画像表示部１４０，指示入力部１５０は、両者で共通する構成要素となっている。
【０１４４】
もちろん、図１４に示す装置１００では、歪曲円形画像格納部１１０に、魚眼レンズを用いたカメラ１０で撮影されたレンズ歪曲円形画像Ｓが格納され、図２８に示す装置２００では、歪曲円形画像格納部１１０に、全方位ミラーを用いたカメラ２０で撮影されたミラー歪曲円形画像Ｃが格納されることになるが、両画像はデータが異なるだけであり、本質的なハードウエア構成に相違はない。同様に、指示入力部１５０に与えられる切出中心点Ｋの座標が、一方は（ｘ０，ｙ０）であり、他方は（ａ０，ｂ０）となっているが、いずれも（Ｘ軸上の座標値，Ｙ軸上の座標値）を示す値であり、本質的な違いではない。
【０１４５】
結局、装置１００と装置２００との本質的な相違は、前者における変換演算部１３０が後者では変換演算部２３０に置き換わっている点のみである。しかも、変換演算部１３０は、座標（ｘ，ｙ）と座標（ｕ，ｖ）との間の変換処理を行う機能を有しており、変換演算部２３０は、それに加えて、座標（ａ，ｂ）と座標（ｘ，ｙ）との間の変換処理を行う機能を更に有している。別言すれば、変換演算部２３０は、変換演算部１３０に、座標（ａ，ｂ）と座標（ｘ，ｙ）との間の変換処理機能を付加することにより構成することができる。
【０１４６】
これは、変換演算部２３０が、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像Ｓを仮定し、この仮想レンズ歪曲円形画像Ｓを、二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成したときに、ミラー歪曲円形画像Ｃ上の任意位置の座標（ａ，ｂ）と仮想レンズ歪曲円形画像Ｓ上の対応位置の座標（ｘ，ｙ）との関係を示す第１の座標関係式と、仮想レンズ歪曲円形画像Ｓ上の任意位置の座標（ｘ，ｙ）と平面正則画像Ｔ上の対応位置の座標（ｕ，ｖ）との関係を示す第２の座標関係式と、を用いて、座標（ｕ，ｖ）と座標（ａ，ｂ）との対応づけを行っているためである。
【０１４７】
このため、本発明に係る全方位ミラー用画像変換装置２００は、従来から利用されている魚眼レンズ用画像変換装置１００に、若干の処理機能を付加することにより構成することが可能になり、装置を構成するハードウエアの設計や製造のための労力や費用を節約することができる。
【０１４８】
また、魚眼レンズ式カメラにも全方位ミラー式カメラにも共用可能な画像変換装置を実現することも可能になり、ユーザの負担も軽減できる。図２９は、このような共用可能な画像変換装置３００の構成を示すブロック図である。この図において、歪曲円形画像格納部１１０，平面正則画像格納部１２０，歪曲円形画像表示部１４０，指示入力部１５０は、図１４に示す装置１００や図２８に示す装置２００と共通の構成要素である。一方、変換演算部３３０は、その基本機能は、図２８に示す装置２００における変換演算部２３０と同様である。
【０１４９】
ただ、この装置３００は、魚眼レンズ式カメラにも全方位ミラー式カメラにも共用可能な装置であるため、図示のとおり、魚眼レンズを用いたカメラ１０を接続することもできるし、全方位ミラーを用いたカメラ２０を接続することもできる。そして、変換演算部３３０は、魚眼レンズを用いたカメラ１０を接続したときには、図１４の変換演算部１３０の処理機能を実行し、全方位ミラーを用いたカメラ２０を接続したときには、図２８の変換演算部２３０の処理機能を実行することになる。
【０１５０】
より具体的に説明すれば、魚眼レンズを用いたカメラ１０を接続して、歪曲円形画像格納部１１０にレンズ歪曲円形画像Ｓが格納されている場合には、変換演算部３３０は、座標（ｕ，ｖ）と座標（ｘ，ｙ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の画素の画素値を、対応する座標（ｘ，ｙ）で示される位置に配置されたレンズ歪曲円形画像Ｓ上の参照画素の画素値に基づいて決定することにより、レンズ歪曲円形画像Ｓから切出中心点Ｋを中心として所定の切り出し向きに応じて切り出された部分画像について、平面正則画像Ｔを生成する演算を行い、生成された平面正則画像Ｔを平面正則画像格納部１２０に格納する処理を行うことになる。
【０１５１】
これに対して、全方位ミラーを用いたカメラ２０を接続して、歪曲円形画像格納部１１０にミラー歪曲円形画像Ｃが格納されている場合には、座標（ｕ，ｖ）と座標（ａ，ｂ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の画素の画素値を、対応する座標（ａ，ｂ）で示される位置に配置されたミラー歪曲円形画像Ｃ上の参照画素の画素値に基づいて決定することにより、ミラー歪曲円形画像Ｃから切出中心点Ｋを中心として所定の切り出し向きに応じて切り出された部分画像について、平面正則画像Ｔを生成する演算を行い、生成された平面正則画像Ｔを平面正則画像格納部１２０に格納する処理を行うことになる。
【０１５２】
なお、一般的な市販の全方位カメラについて、それが魚眼レンズ式なのか全方位ミラー式なのかを自動的に確認するための工業規格は、現在のところ存在しないので、変換演算部３３０は、２通りの処理のいずれを実行すべきかを自分自身で自動的に判断することはできない。したがって、実用上は、指示入力部１５０に、いずれの方式の全方位カメラについての画像変換を行うかを示すユーザの選択指示を入力する機能を付加しておき、変換演算部３３０は、この選択指示に基づいて、いずれか一方の処理を実行するようにすればよい。
【０１５３】
＜＜＜ §８．その他の実施形態 ＞＞＞
以上、本発明に係る画像変換装置の基本構成を、図２８および図２９のブロック図を参照しながら説明したが、これらの画像変換装置は、汎用のコンピュータに、専用のプログラムを組み込むことによって構成することが可能である。その場合、歪曲円形画像格納部１１０や平面正則画像格納部１２０は、当該コンピュータ用の記憶装置によって構成し、歪曲円形画像表示部１４０や指示入力部１５０は、当該コンピュータ用のディスプレイやマウスおよびこれらを制御するハードウエアやソフトウエアによって構成すればよい。また、変換演算部２３０，３３０は、専用のプログラムに基づくコンピュータの演算機能によって実現されることになる。
【０１５４】
もちろん、この画像変換装置は、様々な演算器やレジスタなどを組み合わせた専用のハードウエア論理回路により構成することも可能である。具体的には、少なくとも変換演算部２３０，３３０として機能する部分を電子回路によって構成し、当該電子回路を組み込んだ半導体集積回路を設計すればよい。
【０１５５】
また、図２８，図２９に示す画像変換装置２００，３００と、全方位ミラーもしくは魚眼レンズを用いたカメラ１０，２０と、図示されていないモニタ装置と、を用意し、カメラ１０，２０を用いた撮影により得られた歪曲円形画像Ｓ，Ｃが歪曲円形画像格納部１１０へと格納され、平面正則画像格納部１２０に得られた平面正則画像Ｔがモニタ装置によって表示されるようにすれば、全方位監視システムを実現することが可能になる。カメラ１０，２０として、デジタルビデオカメラを用いるようにすれば、リアルタイムで撮影した歪曲円形画像に基づいて、任意の一部分の平面正則画像をリアルタイムでモニタ装置の画面上に得ることが可能である。本発明は、この他、車載カメラ、会議システム、管内検査カメラ装置、ロボット・ナビゲーションなどにも利用することができる。
【図面の簡単な説明】
【０１５６】
【図１】全方位ミラーを利用した一般的な全方位カメラの基本構造を示す側断面図である。
【図２】図１に示す全方位カメラによる撮影で得られたミラー歪曲円形画像Ｃを示す平面図である（歪曲円形画像の一般的なイメージを示すものであり、正確な画像を示すものではない）。
【図３】図１に示す全方位カメラに入射した光のミラーによる反射状態を示す側断面図である。
【図４】図２に示すミラー歪曲円形画像Ｃを二次元ＸＹ直交座標系上に配置した状態を示す平面図である。
【図５】図４に示すミラー歪曲円形画像の切出中心点Ｋの近傍部分を、第１の切り出し向きに従って切り出し、本発明に係る画像変換装置を用いて変換することによって得られた平面正則画像Ｔの一例を示す平面図である。
【図６】図４に示すミラー歪曲円形画像の切出中心点Ｋの近傍部分を、第２の切り出し向きに従って切り出し、本発明に係る画像変換装置を用いて変換することによって得られた平面正則画像Ｔの一例を示す平面図である。
【図７】正射影方式の魚眼レンズを用いた撮影によりレンズ歪曲円形画像Ｓを形成する基本モデルを示す斜視図である。
【図８】魚眼レンズを用いた撮影によって得られたレンズ歪曲円形画像Ｓを二次元ＸＹ直交座標系上に配置した状態を示す平面図である（歪曲円形画像の一般的なイメージを示すものであり、正確な画像を示すものではない）。
【図９】図８に示すレンズ歪曲円形画像Ｓの一部分に切出領域Ｅを定義した例を示す平面図である。
【図１０】レンズ歪曲円形画像Ｓを含むＸＹ座標系と、平面正則画像Ｔを含むＵＶ座標系との関係を示す斜視図である。
【図１１】ＵＶ座標系上に定義された平面正則画像Ｔを示す平面図である。
【図１２】ＸＹ座標系上に定義されたレンズ歪曲円形画像Ｓを示す平面図である。
【図１３】オイラー角α，β，φをパラメータとして用いた、レンズ歪曲円形画像内の１点Ｓ（ｘ，ｙ）と平面正則画像内の１点Ｔ（ｕ，ｖ）との関係を示す一般的な座標関係式（本発明にいう第２の座標関係式）を示す図である。
【図１４】魚眼レンズを用いた撮影によって得られたレンズ歪曲円形画像Ｓを平面正則画像Ｔに変換する一般的な画像変換装置の基本構成を示すブロック図である。
【図１５】曲面ミラーＭによる反射光を撮像面Ｊ０上に結像させることによってミラー歪曲円形画像が形成される様子を示す側断面図である。
【図１６】図１５に示す撮像面Ｊ０を図の上下に平行移動させることにより、ミラー歪曲円形画像が相似変化する様子を示す側断面図である。
【図１７】曲面ミラーＭの焦点位置に原点Ｏを有し中心軸方向にＺ軸をとったＸＹＺ三次元直交座標系内に、仮想球面Ｈを定義した魚眼レンズモデルを示す側面図である。
【図１８】本発明に係る画像変換方法の基本概念を示す平面図である。
【図１９】一般的な二次曲線γの定義方法を説明する第１の平面図である。
【図２０】一般的な二次曲線γの定義方法を説明する第２の平面図である。
【図２１】一般的な二次曲線γの離心率ｅと曲線の種類との関係を示す表である。
【図２２】図１７の一部分を拡大して示すＸＺ平面上への投影図である。
【図２３】一般的な二次曲線の回転体として得られる曲面ミラーを用いた場合の座標値ａと座標値ｘとの関係を導き出す第１のプロセスを示す図である。
【図２４】一般的な二次曲線の回転体として得られる曲面ミラーを用いた場合の座標値ａと座標値ｘとの関係を導き出す第２のプロセスを示す図である。
【図２５】一般的な二次曲線の回転体として得られる曲面ミラーを用いた撮影により得られたミラー歪曲円形画像内の１点Ｃ（ａ，ｂ）と、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像内の１点Ｓ（ｘ，ｙ）と、の対応関係を示す座標関係式（本発明にいう第１の座標関係式）を示す図である。
【図２６】図２５に示す座標関係式を、ｘ，ｙについて解くことにより得られる別な座標関係式を示す図である。
【図２７】本発明に係る画像変換方法の基本プロセスを示す平面図である。
【図２８】本発明の基本的実施形態に係る画像変換装置の構成を示すブロック図である。
【図２９】本発明の別な実施形態に係る画像変換装置の構成を示すブロック図である。
【符号の説明】
【０１５７】
１０：魚眼レンズを用いたカメラ
２０：全方位ミラーを用いたカメラ
２１：土台
２２：全方位ミラー
２３：透明カバー
２４：撮像素子
５０：テーブル
１００：魚眼レンズ用の画像変換装置
１１０：歪曲円形画像格納部
１２０：平面正則画像格納部
１３０：変換演算部
１４０：歪曲円形画像表示部
１５０：指示入力部
２００：本発明の基本的実施形態に係る画像変換装置
２３０：変換演算部
３００：本発明の別な実施形態に係る画像変換装置
３３０：変換演算部
Ａ：垂線の足
ａ：Ｘ軸上の任意の座標値
Ｂ：垂線の足
ｂ：Ｙ軸上の任意の座標値
Ｃ：ミラー歪曲円形画像
Ｃ（ａ，ｂ）：ミラー歪曲円形画像Ｃ上の点
Ｃ１０〜Ｃ４５：結像点
Ｄ：垂線の足
ｄ：焦点Ｆとピンホール点Ｐとの距離
Ｅ：切出領域
ｅ：離心率
Ｆ：二次曲線の焦点
Ｇ（ｘ０，ｙ０，ｚ０）：切出中心点Ｋ（ｘ０，ｙ０）を通りＺ軸に平行な直線と仮想球面Ｈとの交点（ＵＶ座標系の原点）
Ｈ：仮想球面
Ｈ（ｘ，ｙ，ｚ）：仮想球面Ｈ上の入射点
Ｊ０〜Ｊ５：撮像面
Ｋ，Ｋ（ａ０，ｂ０），Ｋ（ｘ０，ｙ０）：切出中心点
Ｌ，Ｌ１〜Ｌ４０：入射光線
Ｍ：曲面ミラー／曲面ミラーの反射面
ｍ：変換倍率
Ｎｕ：ディスプレイの横方向寸法（水平方向の画素数）
Ｎｖ：ディスプレイの縦方向寸法（垂直方向の画素数）
ｎ：法線ベクトル
Ｏ：三次元ＸＹＺ直交座標系の原点
Ｐ：ピンホール点
Ｑ，Ｑ（ｘ′，ｙ′，ｚ′）：反射点
ｑ：焦点Ｆと準線ξとの距離
ｒ：仮想球面Ｈの半径
Ｓ：レンズ歪曲円形画像
Ｓ（ｘ，ｙ）：レンズ歪曲円形画像Ｓ上の点
Ｓｃ：遮光スクリーン
Ｔ，Ｔ１，Ｔ２：平面正則画像
Ｔ（ｕ，ｖ）：平面正則画像Ｔ上の点
Ｔ１（ｕ，ｖ）：平面正則画像Ｔ１上の点
Ｔ２（ｕ，ｖ）：平面正則画像Ｔ２上の点
Ｕ：二次元ＵＶ直交座標系の座標軸
Ｖ：二次元ＵＶ直交座標系の座標軸
ｗ：変数
Ｘ：三次元ＸＹＺ直交座標系の座標軸
Ｙ：三次元ＸＹＺ直交座標系の座標軸
Ｚ：三次元ＸＹＺ直交座標系の座標軸
ｘ，ｙ，ｚ，ｘ′，ｙ′，ｚ′：座標値
α：方位角
β：天頂角
γ：二次曲線
θ：ＸＺ平面上での角度
λ：２点ＱＡ間の距離
ρ：２点ＦＱ間の距離
φ：平面傾斜角
ξ：準線
【特許請求の範囲】
【請求項１】
全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換装置であって、
二次元ＸＹ直交座標系上のＸ軸上の座標値ａおよびＹ軸上の座標値ｂを用いた座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体によって構成されたミラー歪曲円形画像を格納する歪曲円形画像格納部と、
二次元ＵＶ直交座標系上のＵ軸上の座標値ｕおよびＶ軸上の座標値ｖを用いた座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
前記歪曲円形画像格納部に格納されているミラー歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
前記ディスプレイに表示されているミラー歪曲円形画像上における、切出中心点Ｋの位置および切り出し向きをユーザの指示に基づいて入力する指示入力部と、
座標（ｕ，ｖ）と座標（ａ，ｂ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ａ，ｂ）で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、前記ミラー歪曲円形画像から前記切出中心点Ｋを中心として前記切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を前記平面正則画像格納部に格納する変換演算部と、
を備え、
前記変換演算部が、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成したときに、前記ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と前記仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）との関係を示す第１の座標関係式と、前記仮想レンズ歪曲円形画像上の任意位置の座標（ｘ，ｙ）と前記平面正則画像上の対応位置の座標（ｕ，ｖ）との関係を示す第２の座標関係式と、を用いて、座標（ｕ，ｖ）と座標（ａ，ｂ）との対応づけを行うことを特徴とする画像変換装置。
【請求項２】
全方位ミラーもしくは魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換装置であって、
二次元ＸＹ直交座標系上のＸ軸上の座標値ａおよびＹ軸上の座標値ｂを用いた座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体によって構成され、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像、もしくは二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像を格納する歪曲円形画像格納部と、
二次元ＵＶ直交座標系上のＵ軸上の座標値ｕおよびＶ軸上の座標値ｖを用いた座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
前記歪曲円形画像格納部に格納されている歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
前記ディスプレイに表示されている歪曲円形画像上における、切出中心点Ｋの位置および切り出し向きをユーザの指示に基づいて入力する指示入力部と、
前記歪曲円形画像格納部に前記ミラー歪曲円形画像が格納されている場合には、座標（ｕ，ｖ）と座標（ａ，ｂ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ａ，ｂ）で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、前記ミラー歪曲円形画像から前記切出中心点Ｋを中心として前記切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を前記平面正則画像格納部に格納する第１の処理を行い、前記歪曲円形画像格納部に前記レンズ歪曲円形画像が格納されている場合には、座標（ｕ，ｖ）と座標（ｘ，ｙ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ｘ，ｙ）で示される位置に配置されたレンズ歪曲円形画像上の参照画素の画素値に基づいて決定することにより、前記レンズ歪曲円形画像から前記切出中心点Ｋを中心として前記切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を前記平面正則画像格納部に格納する第２の処理を行う変換演算部と、
を備え、
前記変換演算部が、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成したときに、前記ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と前記仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）との関係を示す第１の座標関係式と、前記仮想レンズ歪曲円形画像上の任意位置の座標（ｘ，ｙ）と前記平面正則画像上の対応位置の座標（ｕ，ｖ）との関係を示す第２の座標関係式と、を用いて、座標（ｕ，ｖ）と座標（ａ，ｂ）との対応づけを行うことを特徴とする画像変換装置。
【請求項３】
請求項１または２に記載の画像変換装置において、
変換演算部が、放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる曲面を反射面とする全方位ミラーを用いた撮影により得られたミラー歪曲円形画像を平面正則画像に変換する処理を行うことを特徴とする画像変換装置。
【請求項４】
請求項３に記載の画像変換装置において、
変換演算部が、全方位ミラーの反射面を構成する回転体曲面の焦点位置に原点Ｏを有し、前記回転体曲面の回転軸方向をＺ軸とするＸＹＺ三次元直交座標系において、前記原点Ｏを中心とする所定半径ｒの仮想球面を仮定し、前記仮想球面上の任意の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する入射光線がＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする正射影方式の魚眼レンズモデルを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定した変換処理を行うことを特徴とする画像変換装置。
【請求項５】
請求項４に記載の画像変換装置において、
変換演算部が、ＸＹＺ三次元直交座標系のＸＹ平面上に配置された仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と、前記仮想撮像面に形成されるであろう仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）と、の関係を示す第１の座標関係式を用いることを特徴とする画像変換装置。
【請求項６】
請求項５に記載の画像変換装置において、
変換演算部が、全方位ミラーを用いた撮影での実撮像面に形成されるミラー歪曲円形画像と、仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像とが、相似関係にあることを利用して導出された第１の座標関係式を用いることを特徴とする画像変換装置。
【請求項７】
請求項６に記載の画像変換装置において、
変換演算部が、全方位ミラーの反射面を構成する回転体曲面の元になる二次曲線について、離心率をｅ、焦点と準線との距離をｑ、焦点とピンホール点との距離をｄとし、用いる魚眼レンズモデルの仮想球面の半径をｒとしたときに、
ａ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｘ
ｂ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｙ
ｒ２＝ｘ２＋ｙ２＋ｚ２
なる式を、座標（ａ，ｂ）と座標（ｘ，ｙ）との関係を示す第１の座標関係式として用いることを特徴とする画像変換装置。
【請求項８】
請求項４に記載の画像変換装置において、
指示入力部が、ユーザの指示に基づいて平面傾斜角φを指定するための情報を切り出し向きを示すパラメータとして入力する機能を有し、
変換演算部が、用いる魚眼レンズモデルの仮想球面の半径をｒとしたときに、前記平面傾斜角φと、切出中心点Ｋの位置に基づいて定まる方位角αおよび天頂角βを用いて、
ｘ＝ｒ（ｕＡ＋ｖＢ＋ｗＥ）／√（ｕ２＋ｖ２＋ｗ２）
ｙ＝ｒ（ｕＣ＋ｖＤ＋ｗＦ）／√（ｕ２＋ｖ２＋ｗ２）
ここで、
Ａ＝cosφcosα−sinφsinαcosβ
Ｂ＝−sinφcosα−cosφsinαcosβ
Ｃ＝cosφsinα＋sinφcosαcosβ
Ｄ＝−sinφsinα＋cosφcosαcosβ
Ｅ＝sinβsinα
Ｆ＝−sinβcosα
ｗ＝ｍｒ（但し、ｍは所定の変換倍率）
なる式を、座標（ｘ，ｙ）と座標（ｕ，ｖ）との関係を示す第２の座標関係式として用いることを特徴とする画像変換装置。
【請求項９】
請求項８に記載の画像変換装置において、
指示入力部が、ミラー歪曲円形画像上における切出中心点Ｋの位置を、二次元ＸＹ直交座標系上の座標（ａ０，ｂ０）として入力する機能を有し、
変換演算部が、第１の座標関係式を用いて、前記座標（ａ０，ｂ０）に対応する座標（ｘ０，ｙ０）を求め、ＸＹＺ三次元直交座標系において、前記座標（ｘ０，ｙ０）で示されるＸＹ平面上の点Ｋ（ｘ０，ｙ０）を通りＺ軸に平行な直線と仮想球面との交点Ｇ（ｘ０，ｙ０，ｚ０）の位置に基づいて方位角αおよび天頂角βを定めることを特徴とする画像変換装置。
【請求項１０】
請求項８または９に記載の画像変換装置において、
指示入力部が、ユーザの指示に基づいて変換倍率ｍを入力する機能を有し、
変換演算部が、前記指示入力部によって入力された変換倍率ｍを用いた演算を行うことを特徴とする画像変換装置。
【請求項１１】
請求項１〜１０のいずれかに記載の画像変換装置において、
変換演算部が、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を決定する際に、対応する歪曲円形画像上の複数の参照画素の画素値に対する補間演算を行うことを特徴とする画像変換装置。
【請求項１２】
請求項１〜１１のいずれかに記載の画像変換装置としてコンピュータを機能させるためのプログラム。
【請求項１３】
請求項１〜１１のいずれかに記載の画像変換装置の構成要素となる変換演算部として機能する電子回路が組み込まれた半導体集積回路。
【請求項１４】
請求項１〜１１のいずれかに記載の画像変換装置と、全方位ミラーもしくは魚眼レンズを用いたカメラと、平面正則画像を画面上に表示するモニタ装置と、を備え、
前記カメラを用いた撮影により得られたミラー歪曲円形画像もしくはレンズ歪曲円形画像が歪曲円形画像格納部へと格納され、平面正則画像格納部に得られた平面正則画像が前記モニタ装置によって表示されるように構成されていることを特徴とする全方位監視システム。
【請求項１５】
全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換方法であって、
二次元ＸＹ直交座標系上のＸ軸上の座標値ａおよびＹ軸上の座標値ｂを用いた座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体によって構成されたミラー歪曲円形画像を、歪曲円形画像格納部に格納する段階と、
前記歪曲円形画像格納部に格納されているミラー歪曲円形画像をディスプレイに表示する段階と、
前記ディスプレイに表示されているミラー歪曲円形画像上における、切出中心点Ｋの位置および切り出し向きをユーザの指示に基づいて入力する段階と、
座標（ｕ，ｖ）と座標（ａ，ｂ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ａ，ｂ）で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、前記ミラー歪曲円形画像から前記切出中心点Ｋを中心として前記切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する変換演算を行う段階と、
をコンピュータもしくは電子回路に実行させ、
前記変換演算を行う際に、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成したときに、前記ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と前記仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）との関係を示す第１の座標関係式と、前記仮想レンズ歪曲円形画像上の任意位置の座標（ｘ，ｙ）と前記平面正則画像上の対応位置の座標（ｕ，ｖ）との関係を示す第２の座標関係式と、を用いて、座標（ｕ，ｖ）と座標（ａ，ｂ）との対応づけを行うことを特徴とする画像変換方法。
【請求項１６】
請求項１５に記載の画像変換方法において、
放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる曲面を反射面とする全方位ミラーを用いた撮影により得られたミラー歪曲円形画像を平面正則画像に変換する処理を行い、
前記回転体曲面の焦点位置に原点Ｏを有し、前記回転体曲面の回転軸方向をＺ軸とするＸＹＺ三次元直交座標系において、前記原点Ｏを中心とする所定半径ｒの仮想球面を仮定し、前記仮想球面上の任意の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する入射光線がＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする正射影方式の魚眼レンズモデルを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定した変換処理を行うことを特徴とする画像変換方法。
【請求項１７】
請求項１６に記載の画像変換方法において、
変換演算を行う際に、ＸＹＺ三次元直交座標系のＸＹ平面上に配置された仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と、前記仮想撮像面に形成されるであろう仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）と、の関係を示す第１の座標関係式を用いることを特徴とする画像変換方法。
【請求項１８】
請求項１７に記載の画像変換方法において、
変換演算を行う際に、全方位ミラーを用いた撮影での実撮像面に形成されるミラー歪曲円形画像と、仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像とが、相似関係にあることを利用して導出された第１の座標関係式を用いることを特徴とする画像変換方法。
【請求項１９】
請求項１８に記載の画像変換方法において、
変換演算を行う際に、全方位ミラーの反射面を構成する回転体曲面の元になる二次曲線について、離心率をｅ、焦点と準線との距離をｑ、焦点とピンホール点との距離をｄとし、用いる魚眼レンズモデルの仮想球面の半径をｒとしたときに、
ａ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｘ
ｂ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｙ
ｒ２＝ｘ２＋ｙ２＋ｚ２
なる式を、座標（ａ，ｂ）と座標（ｘ，ｙ）との関係を示す第１の座標関係式として用いることを特徴とする画像変換方法。
【請求項２０】
全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換方法であって、
全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、前記ミラー歪曲円形画像を前記仮想レンズ歪曲円形画像に変換するための第１の演算式と、前記仮想レンズ歪曲円形画像を前記平面正則画像に変換するための第２の演算式と、を併用した変換演算をコンピュータもしくは電子回路が実行することにより、前記ミラー歪曲円形画像を前記平面正則画像に変換することを特徴とする画像変換方法。
【請求項１】
全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換装置であって、
二次元ＸＹ直交座標系上のＸ軸上の座標値ａおよびＹ軸上の座標値ｂを用いた座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体によって構成されたミラー歪曲円形画像を格納する歪曲円形画像格納部と、
二次元ＵＶ直交座標系上のＵ軸上の座標値ｕおよびＶ軸上の座標値ｖを用いた座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
前記歪曲円形画像格納部に格納されているミラー歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
前記ディスプレイに表示されているミラー歪曲円形画像上における、切出中心点Ｋの位置および切り出し向きをユーザの指示に基づいて入力する指示入力部と、
座標（ｕ，ｖ）と座標（ａ，ｂ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ａ，ｂ）で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、前記ミラー歪曲円形画像から前記切出中心点Ｋを中心として前記切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を前記平面正則画像格納部に格納する変換演算部と、
を備え、
前記変換演算部が、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成したときに、前記ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と前記仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）との関係を示す第１の座標関係式と、前記仮想レンズ歪曲円形画像上の任意位置の座標（ｘ，ｙ）と前記平面正則画像上の対応位置の座標（ｕ，ｖ）との関係を示す第２の座標関係式と、を用いて、座標（ｕ，ｖ）と座標（ａ，ｂ）との対応づけを行うことを特徴とする画像変換装置。
【請求項２】
全方位ミラーもしくは魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換装置であって、
二次元ＸＹ直交座標系上のＸ軸上の座標値ａおよびＹ軸上の座標値ｂを用いた座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体によって構成され、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像、もしくは二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像を格納する歪曲円形画像格納部と、
二次元ＵＶ直交座標系上のＵ軸上の座標値ｕおよびＶ軸上の座標値ｖを用いた座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
前記歪曲円形画像格納部に格納されている歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
前記ディスプレイに表示されている歪曲円形画像上における、切出中心点Ｋの位置および切り出し向きをユーザの指示に基づいて入力する指示入力部と、
前記歪曲円形画像格納部に前記ミラー歪曲円形画像が格納されている場合には、座標（ｕ，ｖ）と座標（ａ，ｂ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ａ，ｂ）で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、前記ミラー歪曲円形画像から前記切出中心点Ｋを中心として前記切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を前記平面正則画像格納部に格納する第１の処理を行い、前記歪曲円形画像格納部に前記レンズ歪曲円形画像が格納されている場合には、座標（ｕ，ｖ）と座標（ｘ，ｙ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ｘ，ｙ）で示される位置に配置されたレンズ歪曲円形画像上の参照画素の画素値に基づいて決定することにより、前記レンズ歪曲円形画像から前記切出中心点Ｋを中心として前記切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を前記平面正則画像格納部に格納する第２の処理を行う変換演算部と、
を備え、
前記変換演算部が、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成したときに、前記ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と前記仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）との関係を示す第１の座標関係式と、前記仮想レンズ歪曲円形画像上の任意位置の座標（ｘ，ｙ）と前記平面正則画像上の対応位置の座標（ｕ，ｖ）との関係を示す第２の座標関係式と、を用いて、座標（ｕ，ｖ）と座標（ａ，ｂ）との対応づけを行うことを特徴とする画像変換装置。
【請求項３】
請求項１または２に記載の画像変換装置において、
変換演算部が、放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる曲面を反射面とする全方位ミラーを用いた撮影により得られたミラー歪曲円形画像を平面正則画像に変換する処理を行うことを特徴とする画像変換装置。
【請求項４】
請求項３に記載の画像変換装置において、
変換演算部が、全方位ミラーの反射面を構成する回転体曲面の焦点位置に原点Ｏを有し、前記回転体曲面の回転軸方向をＺ軸とするＸＹＺ三次元直交座標系において、前記原点Ｏを中心とする所定半径ｒの仮想球面を仮定し、前記仮想球面上の任意の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する入射光線がＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする正射影方式の魚眼レンズモデルを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定した変換処理を行うことを特徴とする画像変換装置。
【請求項５】
請求項４に記載の画像変換装置において、
変換演算部が、ＸＹＺ三次元直交座標系のＸＹ平面上に配置された仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と、前記仮想撮像面に形成されるであろう仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）と、の関係を示す第１の座標関係式を用いることを特徴とする画像変換装置。
【請求項６】
請求項５に記載の画像変換装置において、
変換演算部が、全方位ミラーを用いた撮影での実撮像面に形成されるミラー歪曲円形画像と、仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像とが、相似関係にあることを利用して導出された第１の座標関係式を用いることを特徴とする画像変換装置。
【請求項７】
請求項６に記載の画像変換装置において、
変換演算部が、全方位ミラーの反射面を構成する回転体曲面の元になる二次曲線について、離心率をｅ、焦点と準線との距離をｑ、焦点とピンホール点との距離をｄとし、用いる魚眼レンズモデルの仮想球面の半径をｒとしたときに、
ａ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｘ
ｂ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｙ
ｒ２＝ｘ２＋ｙ２＋ｚ２
なる式を、座標（ａ，ｂ）と座標（ｘ，ｙ）との関係を示す第１の座標関係式として用いることを特徴とする画像変換装置。
【請求項８】
請求項４に記載の画像変換装置において、
指示入力部が、ユーザの指示に基づいて平面傾斜角φを指定するための情報を切り出し向きを示すパラメータとして入力する機能を有し、
変換演算部が、用いる魚眼レンズモデルの仮想球面の半径をｒとしたときに、前記平面傾斜角φと、切出中心点Ｋの位置に基づいて定まる方位角αおよび天頂角βを用いて、
ｘ＝ｒ（ｕＡ＋ｖＢ＋ｗＥ）／√（ｕ２＋ｖ２＋ｗ２）
ｙ＝ｒ（ｕＣ＋ｖＤ＋ｗＦ）／√（ｕ２＋ｖ２＋ｗ２）
ここで、
Ａ＝cosφcosα−sinφsinαcosβ
Ｂ＝−sinφcosα−cosφsinαcosβ
Ｃ＝cosφsinα＋sinφcosαcosβ
Ｄ＝−sinφsinα＋cosφcosαcosβ
Ｅ＝sinβsinα
Ｆ＝−sinβcosα
ｗ＝ｍｒ（但し、ｍは所定の変換倍率）
なる式を、座標（ｘ，ｙ）と座標（ｕ，ｖ）との関係を示す第２の座標関係式として用いることを特徴とする画像変換装置。
【請求項９】
請求項８に記載の画像変換装置において、
指示入力部が、ミラー歪曲円形画像上における切出中心点Ｋの位置を、二次元ＸＹ直交座標系上の座標（ａ０，ｂ０）として入力する機能を有し、
変換演算部が、第１の座標関係式を用いて、前記座標（ａ０，ｂ０）に対応する座標（ｘ０，ｙ０）を求め、ＸＹＺ三次元直交座標系において、前記座標（ｘ０，ｙ０）で示されるＸＹ平面上の点Ｋ（ｘ０，ｙ０）を通りＺ軸に平行な直線と仮想球面との交点Ｇ（ｘ０，ｙ０，ｚ０）の位置に基づいて方位角αおよび天頂角βを定めることを特徴とする画像変換装置。
【請求項１０】
請求項８または９に記載の画像変換装置において、
指示入力部が、ユーザの指示に基づいて変換倍率ｍを入力する機能を有し、
変換演算部が、前記指示入力部によって入力された変換倍率ｍを用いた演算を行うことを特徴とする画像変換装置。
【請求項１１】
請求項１〜１０のいずれかに記載の画像変換装置において、
変換演算部が、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を決定する際に、対応する歪曲円形画像上の複数の参照画素の画素値に対する補間演算を行うことを特徴とする画像変換装置。
【請求項１２】
請求項１〜１１のいずれかに記載の画像変換装置としてコンピュータを機能させるためのプログラム。
【請求項１３】
請求項１〜１１のいずれかに記載の画像変換装置の構成要素となる変換演算部として機能する電子回路が組み込まれた半導体集積回路。
【請求項１４】
請求項１〜１１のいずれかに記載の画像変換装置と、全方位ミラーもしくは魚眼レンズを用いたカメラと、平面正則画像を画面上に表示するモニタ装置と、を備え、
前記カメラを用いた撮影により得られたミラー歪曲円形画像もしくはレンズ歪曲円形画像が歪曲円形画像格納部へと格納され、平面正則画像格納部に得られた平面正則画像が前記モニタ装置によって表示されるように構成されていることを特徴とする全方位監視システム。
【請求項１５】
全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換方法であって、
二次元ＸＹ直交座標系上のＸ軸上の座標値ａおよびＹ軸上の座標値ｂを用いた座標（ａ，ｂ）で示される位置に配置された多数の画素の集合体によって構成されたミラー歪曲円形画像を、歪曲円形画像格納部に格納する段階と、
前記歪曲円形画像格納部に格納されているミラー歪曲円形画像をディスプレイに表示する段階と、
前記ディスプレイに表示されているミラー歪曲円形画像上における、切出中心点Ｋの位置および切り出し向きをユーザの指示に基づいて入力する段階と、
座標（ｕ，ｖ）と座標（ａ，ｂ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ａ，ｂ）で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、前記ミラー歪曲円形画像から前記切出中心点Ｋを中心として前記切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する変換演算を行う段階と、
をコンピュータもしくは電子回路に実行させ、
前記変換演算を行う際に、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元ＸＹ直交座標系上のＸ軸上の座標値ｘおよびＹ軸上の座標値ｙを用いた座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成したときに、前記ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と前記仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）との関係を示す第１の座標関係式と、前記仮想レンズ歪曲円形画像上の任意位置の座標（ｘ，ｙ）と前記平面正則画像上の対応位置の座標（ｕ，ｖ）との関係を示す第２の座標関係式と、を用いて、座標（ｕ，ｖ）と座標（ａ，ｂ）との対応づけを行うことを特徴とする画像変換方法。
【請求項１６】
請求項１５に記載の画像変換方法において、
放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる曲面を反射面とする全方位ミラーを用いた撮影により得られたミラー歪曲円形画像を平面正則画像に変換する処理を行い、
前記回転体曲面の焦点位置に原点Ｏを有し、前記回転体曲面の回転軸方向をＺ軸とするＸＹＺ三次元直交座標系において、前記原点Ｏを中心とする所定半径ｒの仮想球面を仮定し、前記仮想球面上の任意の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する入射光線がＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする正射影方式の魚眼レンズモデルを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定した変換処理を行うことを特徴とする画像変換方法。
【請求項１７】
請求項１６に記載の画像変換方法において、
変換演算を行う際に、ＸＹＺ三次元直交座標系のＸＹ平面上に配置された仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像上の任意位置の座標（ａ，ｂ）と、前記仮想撮像面に形成されるであろう仮想レンズ歪曲円形画像上の対応位置の座標（ｘ，ｙ）と、の関係を示す第１の座標関係式を用いることを特徴とする画像変換方法。
【請求項１８】
請求項１７に記載の画像変換方法において、
変換演算を行う際に、全方位ミラーを用いた撮影での実撮像面に形成されるミラー歪曲円形画像と、仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像とが、相似関係にあることを利用して導出された第１の座標関係式を用いることを特徴とする画像変換方法。
【請求項１９】
請求項１８に記載の画像変換方法において、
変換演算を行う際に、全方位ミラーの反射面を構成する回転体曲面の元になる二次曲線について、離心率をｅ、焦点と準線との距離をｑ、焦点とピンホール点との距離をｄとし、用いる魚眼レンズモデルの仮想球面の半径をｒとしたときに、
ａ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｘ
ｂ＝ｅｑｄ／（ｒｄ＋ｅｚ（ｄ−ｑ））・ｙ
ｒ２＝ｘ２＋ｙ２＋ｚ２
なる式を、座標（ａ，ｂ）と座標（ｘ，ｙ）との関係を示す第１の座標関係式として用いることを特徴とする画像変換方法。
【請求項２０】
全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換方法であって、
全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、前記ミラー歪曲円形画像を前記仮想レンズ歪曲円形画像に変換するための第１の演算式と、前記仮想レンズ歪曲円形画像を前記平面正則画像に変換するための第２の演算式と、を併用した変換演算をコンピュータもしくは電子回路が実行することにより、前記ミラー歪曲円形画像を前記平面正則画像に変換することを特徴とする画像変換方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１０−１４０２９２（Ｐ２０１０−１４０２９２Ａ）
【公開日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願番号】特願２００８−３１６５００（Ｐ２００８−３１６５００）
【出願日】平成２０年１２月１２日（２００８．１２．１２）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願日】平成２０年１２月１２日（２００８．１２．１２）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]