説明

画像処理方法及び装置

【課題】魚眼レンズのように歪曲収差の多い撮影レンズを用いても、必要な視野を確保しつつ、かつ、画像周辺部に存在するものの判別をも可能とする、画像処理方法及び装置を提供することが課題である。
【解決手段】出力画像データの画像歪みの補正を、撮像データにおける撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向の補正度合いを、他の方向の補正度合いより大きく補正し、歪みの補正度合いを大きく実施する前記一の方向は、撮像画像における端部を用いずに出力画像データとするようにした。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理方法及び装置に係り、特に、魚眼レンズなどのように歪曲収差が非常に大きく、そのままでは撮像画像における周辺部に存在するものの判別が難しい画像を処理し、認識可能なようにする画像処理方法及び装置に関するものである。
【背景技術】
【0002】
一般にカメラ等に用いられる撮影レンズには、球面収差、非点収差、コマ収差などの様々な収差が存在する。その中で、撮影された画像が幾何学的に歪む収差が歪曲収差と云われ、この歪曲収差を少なくする方法としては、極力、歪曲収差を抑えたレンズ設計を行うのが一般的である。
【0003】
しかしながら特殊な用途においては、こういった歪曲収差をそのまま残したレンズが用いられている。例えば車の後部に設置して後方確認のための撮像を行うモニタ撮像装置などでは、車のバック時、車の存在は認識していてもバックするなどと思わずに近寄ってくる歩行者などを確実に発見できるよう、超広角の非常に広範囲を撮像することができるように魚眼レンズなどが用いられる。また、玄関に設置して来訪者を撮像するモニタ撮像装置でも、例え不審者がモニタに表示されるのを嫌って撮像装置からは斜めとなるような位置にいても、この不審者を撮像できるように超広角の撮影範囲を有した魚眼レンズなどのレンズが使われている。
【0004】
こういった用途に使われるレンズでは、超広角を撮像することが歪曲収差の補正より優先されているため、魚眼レンズのように大きな歪曲収差があってもそのままとすることが多い。しかしながら魚眼レンズでは、180°近くの視野を画面に納める関係上画像の周辺部のものが大きく歪曲し、周辺に映っているものが人なのか電柱なのかわかりにくい場合があるといった問題がある。
【0005】
一方、撮像素子を用いてレンズにより結像された像を取り込む撮像装置では、銀塩式フィルムのカメラとは異なり、一度歪んでしまった画像をレンズではなく、データ上で補正することが可能である。すなわち撮影レンズが歪曲収差を有する場合、予め、被写体上の各点が歪曲収差によって実際に結像する位置と、歪曲収差がない場合に結像する位置との対応関係を調べ、撮像素子から得られる撮像データを収容した画像データ格納用メモリからそのデータを出力する際、出力アドレス毎に、画像データ格納用メモリにおけるどのアドレスの撮像データを対応させれば、被写体上の各点における収差が補正されたデータとして出力できるかを算出することで、撮影レンズに起因する画像歪みを補正した出力画像データを得ることができる。
【0006】
こういったことを行うため、例えば特許文献1には、魚眼レンズを用いた撮像装置を任意の設置アングルで取り付け、魚眼レンズを用いた撮像装置の設置角を補正する座標変換と、魚眼レンズ画像の歪みを補正する座標変換とを組み合わせて演算する構成を備え、等面積射影の魚眼レンズ像を高速に写像変換し、更に、魚眼レンズ画像内の領域に対応した重み付けを行って人物像等の特徴量を抽出し、表示エリアを抽出できるようにした、魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法が示されている。
【0007】
魚眼レンズは、その射影方式によって得られる画像が異なり、一般的な魚眼レンズは等距離射影方式が用いられているが、魚眼レンズの射影方式にはこの他、正射影(等立体角射影)方式、等面積射影(立体射影)方式などがある。図4はこれらの射影方式のうち、(A)が等距離射影方式の魚眼レンズにより得られる画像と、(B)が正射影方式の魚眼レンズにより得られる画像の説明図である。
【0008】
この図4において、θは光線の入射する角度、Lは像高(魚眼レンズの置かれた原点Oからの距離)、Gは魚眼レンズによって結像面上に結像される画像の範囲を直径とした仮想の半球面、Oは魚眼レンズの置かれた原点、x、y、zは座標軸で、zが魚眼レンズの光軸方向となる。
【0009】
まず図4(A)に示した等距離射影方式では、魚眼レンズの置かれた原点Oから仮想の半球面Gを通して見える像をそのままこの仮想の半球面Gに貼り付け、光線の入射する角度θと像高Lとが比例するように結像面上に画像が形成される。それに対して図4(B)に示した正射影方式では、(A)と同様、魚眼レンズの置かれた原点Oから仮想の半球面Gを通して見える像をそのままこの仮想の半球面Gに貼り付け、その半球面G上に貼り付けた3次元空間の像を、図のx軸及びy軸からなる2次元空間の平面上に、その平面に垂直に(z軸方向から原点方向に)押し潰して貼り付けたようにして画像が形成される。
【0010】
正射影方式の魚眼レンズは中心部の被写体が等距離射影方式に較べてより大きく映り、周辺部はよりひしゃげて小さく写る。しかし正射影方式の魚眼レンズは、画面に占める面光源の面積が撮影した場所での照度に比例するという特徴があり、照度測定や建築照明など、学術研究用途に用いられている。
【0011】
図3は前記した特許文献1に示されている、正射影方式の魚眼レンズを用い、魚眼レンズ原点Oから撮影対象物へ向かう視線方向ベクトルDOV(Direction Of View)に直交する、仮想的な平面における画像の歪みを補正した画像31を得る場合の説明図である。この図3において魚眼レンズは図4(B)の場合と同様、x、y、z軸で示す3次元空間の原点Oにz軸の方向に向けて置かれているものとし、31を歪み補正後の仮想画像フレーム、32を魚眼レンズの位置(原点)からみた撮像範囲に対する仮想の半球面(図4のGに相当)、33を魚眼レンズにより撮像素子が撮像する撮像画面とする。
【0012】
仮想の半球面32は、魚眼レンズが正射影方式のレンズでその焦点距離がfの場合、半径fの仮想的な半球の球面であり、この正射影方式の魚眼レンズによって映し出される像(魚眼レンズ画像)は、前記したように、魚眼レンズの置かれた位置(原点O)から仮想の半球面32を通して見える像をそのままこの仮想の半球面32に貼り付け、その半球面32上に貼り付けた3次元空間の像を、図のx軸及びy軸からなる2次元空間の平面上に、その平面に垂直に(z方向から原点方向に)押し潰して貼り付けた33で示したような画像となる。
【0013】
仮想の画像フレーム31は、魚眼レンズの位置(原点O)から撮影対象物へ向かう視線方向ベクトルDOVと直交する、仮想的な平面上のフレームで、モニタテレビ等の表示フレームの枠と同じ所定の大きさの枠を持ち、この枠内の映像が魚眼レンズ画像の歪みを補正しながら切り出されてモニタテレビ画面などに表示される。又、画像フレーム31は、そのフレーム内に視線方向ベクトルDOVと交差する点を原点とする2次元座標軸(p,q)を持ち、仮想画像フレーム31内の点Pはこの座標の成分(p,q)によって表される。
【0014】
そしてこの魚眼レンズにより結像された被写体の範囲を示す円33は、その内側の画像が魚眼レンズで撮影された画像であり、外側の四角の枠は、撮像装置から得られる全体の撮像画面の外枠である。そのため前記したように、この33で示される撮像データを画像データ格納用メモリに収容し、その撮像データを画像フレーム31の出力画像データとして出力する際、画像フレーム31における出力アドレス毎に、画像データ格納用メモリにおけるどのアドレスの撮像データを対応させて読み出せば歪曲収差を補正したデータとなるかを算出することで、魚眼レンズによって得られた歪曲している撮像データにおける歪曲を補正し、31に示したような画像を得ることができる。
【0015】
この魚眼レンズによる歪曲の補正は、例えば、魚眼レンズで撮像された画像33と、魚眼レンズの射影方式によって定まる演算式とを用い、前記した仮想の半球面32に貼り付けられた3次元空間の像を再現し、その半球面32上の各点と原点Oとを結ぶ線を画像フレーム31まで延長させた場合を演算する、と考えると分かり易い。なお、実際には、魚眼レンズの画像は上下左右逆転した位置に像を結ぶが、像の歪曲の相対的な関係は変わらないので、説明を簡略化するため上記したように画像が結像されるものとする。
【0016】
いま、魚眼レンズが向いているz軸の方向が鉛直線の上の方向であるとし、前記視線方向ベクトルDOVがz軸と成す頂点角(天頂角)をθ、水平面の基準軸(x軸又はy軸)と成す方位角をφ、焦点距離(魚眼レンズ画像の円の半径)をf、画像フレーム31のxy平面に対する回転角をω、拡大率をmとすると、拡大率mは、魚眼レンズの位置(原点O)から画像フレーム31内の原点までの距離をHとしたとき、m=H/fとなる。
【0017】
魚眼レンズ画像平面33内の点(u,v)と画像フレーム31内の点(p,q)との対応関係は、Rを半球面32の半径、A、B、C、Dを下記(10)式で算出すると、下記(11)式で表わすことができる。
【数2】

【0018】
またこの式(11)は、前記したように正射影方式の魚眼レンズの位置(原点)から、撮影対象物へ向かう視線方向ベクトルDOVと直交する、仮想的な平面上のフレーム31の場合に魚眼レンズによる歪みを補正する式であるが、このDOVが魚眼レンズの光軸zと一致し、画像フレーム34が図3に示したように半球面32と接している場合、画像フレーム34におけるアドレス(x,y)から、撮像画面33内のアドレス(u,v)を算出する式は、以下に説明するようになる。
【0019】
まず、魚眼レンズが前記したように正射影方式の場合、像高Lは下記(12)式で表される。

また、天頂角θと水平面の基準軸(x軸又はy軸)と成す方位角φとは、Zを基準倍率、Rを基準円の半径とすると、それぞれ下記(13)式、(14)式で表される。
【数3】

そしてu、vは下記(15)式で算出できる。

【0020】
なお、距離(像高)Lは、一般的に、魚眼レンズの射影方式が等距離射影方式の場合は下記(16)式となり、等面積射影の場合は下記(17)式となる。

【0021】
【特許文献1】特開平11−261868号公報
【発明の開示】
【発明が解決しようとする課題】
【0022】
しかしながらこの特許文献1に示された方法では、歪んだ画像の一部分を切り出して補正する場合には良いが、歪み補正後の出力画像で水平または垂直画角が180度を超えることは不可能である。すなわち、例えば水平画角が180度の場合を考えると、(13)式における天頂角θは水平画角の半分なのでθ=π/2(rad)であり、出力アドレス(x,y)に対してθ=π/2となる条件は、Z=0の場合だけであるから、任意の出力アドレス(x,y)に対して(15)式から求められる入力画像のアドレス(u,v)は、uv平面における半径を、L=fθ=fπ/2とする円周上の点となる。しかしこれでは、座標変換後の画像は、結果として放射線の集合となってしまい、歪んだ画像を補正したことにはならない。
【0023】
これは、前記したように魚眼レンズなどの撮影レンズで撮影された像を、原点Oから仮想の半球面32を通して見える3次元空間の像として再現して半球面32に貼り付け、その半球面32上の各点と原点Oとを結ぶ線を、画像フレーム34まで延長させることで魚眼レンズの歪曲収差に起因する歪みを補正した画像が得られると考えた場合、例えば図3の半球面32におけるxy平面に近い部位、即ち頂点角θが90度に近い位置の点が画像フレーム34と接するのは無限遠に近い場所となる。そのため、そういった場所も画像フレーム31に表示しようとすると、原点O近くの画像は非常に小さなものとならざるを得なくなり、逆に判別が難しくなる。
【0024】
従って撮像された画像から、この特許文献1の方法により映っているものを判別できるように歪曲収差を補正して表示するためには、例えば水平画角にして140度程度が限度であり、その場合は視野が限られるから、前記したように車の後部に設置して後方確認を行ったり、玄関に設置して来訪者を撮像する用途においては、車がバックすることに気づかずに近寄ってくる歩行者や、モニタに表示されるのを嫌って撮像装置からは斜めとなる位置に隠れた不審者を発見することができなくなる。
【0025】
このような従来技術の問題点に鑑み、本発明においては、魚眼レンズのように歪曲収差の多い撮影レンズを用いても、必要な視野を確保しつつ、かつ、画像周辺部に存在するものの判別をも可能とする、画像処理方法及び装置を提供することが課題である。
【課題を解決するための手段】
【0026】
上記課題を解決するため本発明になる画像処理方法は、
撮影レンズを介して得られた撮像データにおける、前記撮影レンズに起因する画像歪みを補正した出力画像データを得るための画像処理方法であって、
前記撮影レンズは魚眼レンズであり、前記出力画像データの画像歪みの補正は、前記撮像データにおける撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向の補正度合いを、他の方向の補正度合いより大きくすることを特徴とする。
【0027】
そして具体的には、前記画像歪みを補正した出力画像データは、前記出力画像データの各アドレスを用いて算出した対応する画像歪み補正前の撮像データのアドレスにより読み出した、前記撮像データを出力画像データとする。
【0028】
また、この画像処理方法を実施するための画像処理装置は、
撮影レンズを介して得られた撮像データを出力する撮像手段を備え、前記撮像データにおける前記撮影レンズに起因する画像歪みを補正して出力画像データとする画像処理装置であって、
前記撮影レンズは魚眼レンズであり、A/D変換器によりデジタルデータに変換された前記撮像データを格納する画像データ格納用メモリと、撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向の歪みの補正を他の方向の歪みの補正度合いより大きく補正する演算式を記憶した補正演算式記憶手段と、該演算式記憶手段に記憶された演算式に基づき、前記出力画像データにおける前記一の方向のアドレスと他の方向のアドレスに対応した前記画像データ格納用メモリのアドレスを算出する補正量算出手段と、該補正量算出手段の算出した前記画像データ格納用メモリの一の方向と他の方向のアドレスとを用い、前記画像データ格納用メモリに格納された撮像データを読み出すアドレス補正手段とを備え、
前記撮像データにおける前記撮影レンズに起因する画像歪みのうち、一の方向の補正度合いを他の方向の補正度合いより大きくして出力画像データとすることを特徴とする。
【0029】
このように、撮影レンズにより撮像された撮像データにおける撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向の歪みの補正度合いを、他の方向の補正度合いより大きく補正して出力画像データとすることで、他の方向の画角は撮影レンズの画角が確保され、また、一の方向では歪みが補正されて垂直なものが垂直に、あるいは水平なものが水平に表示される。そのため、例え出力画像の周辺部分に存在するものでも、それが人であるのか電柱であるのかを容易に判別でき、従来技術のように、撮影レンズに起因する画像歪みを補正することで視野角が制限される、あるいは大きな視野角を確保することで中心部分に存在するものが非常に小さくなり、映っているものが判別できなくなる、といった問題を解決した画像処理方法及び装置を提供することができる。
【0030】
そして具体的には、前記撮影レンズに起因する画像歪みを補正した出力画像データにおけるアドレスを(x,y)、該アドレスを用いて算出した対応する前記撮像データの画像歪み補正前のアドレスを(u,v)、撮影レンズ光軸に対する入射光束の入射角(頂点角または天頂角)をθ、補正倍率をZ、前記撮影レンズに起因する画像歪みにより生じる基準円の半径(補正距離)をR、補正指数をn、頂点角θで入射した像が撮影レンズにより結像したときの光軸(原点)Oからの距離(像高)をL、uv平面上の光軸Oからの(u,v)座標の距離を導き出す関数をF(θ)としたとき、前記一の方向が垂直(y軸)方向の場合は下記(1)式により、前記一の方向が水平(x軸)方向の場合は下記(2)式により、それぞれzを算出し、下記(3)式、(4)式でθとLとを算出して、下記(5)式、(6)式で画像歪み補正前のアドレス(u,v)を算出する。
【数1】

【0031】
さらに、前記撮影レンズの焦点距離をf、収差係数をkとしたとき、前記F(θ)の算出に、前記撮影レンズの射影方式に関連して下記(7)、(8)、(9)式のいずれかの式を用いて算出することで、どのような射影方式の魚眼レンズにおいても本発明を適用することができる。

【0032】
また本発明に用いる前記撮影レンズは、長辺方向の画角が160°以上の魚眼レンズであり、前記一の方向における前記撮像データの端部側のデータは用いずに前記出力画像データを構成することが本発明の好適な実施形態である。
【発明の効果】
【0033】
以上記載のごとく本発明になる画像処理方法及び装置は、一の方向では歪みが補正されて垂直なものが垂直に、あるいは水平なものが水平に表示され、しかも他の方向の画角はレンズの画角がそのまま確保されるから、例え出力画像の周辺部分に存在するものでも、それが人であるのか電柱であるのかを容易に判別でき、従来技術のように、撮影レンズに起因する画像歪みを補正することで視野角が制限される、あるいは大きな視野角を確保することで中心部分に存在するものが非常に小さくなり、映っているものが判別できなくなる、といった問題を解決することができる。
【発明を実施するための最良の形態】
【0034】
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の寸法、材質、形状、その相対的配置等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
【0035】
図1は、本発明になる画像処理方法を実施する画像処理装置のブロック図であり、図2は本発明になる画像処理方法の考え方を説明するための図である。本発明を詳細に説明する前に、図2を用い、本発明になる画像処理方法の考え方を簡単に説明する。
【0036】
前記図3で説明したように、特許文献1に示された従来の画像処理方法における歪み補正方法では、魚眼レンズなどの撮影レンズで撮影された33で示したような撮像画像を、原点Oから仮想の半球面32を通して見える3次元空間の像として再現して半球面32に貼り付け、その半球面32上の各点と原点Oとを結ぶ線を、画像フレーム34まで延長させることで魚眼レンズの歪曲収差に起因する歪みを補正した画像が得られると説明した。
【0037】
しかしこの方法では前記したように、例えば図3の半球面32におけるxy平面に近い部位、即ち頂点角θが90度に近い位置の点が画像フレーム34と接するのは無限遠に近い場所となる。そのため、そういった場所も画像フレーム31に表示しようとすると、原点O近くの画像は非常に小さなものとならざるを得なくなり、逆に判別が難しくなる。そしてそれを避けるためには、画角を制限する必要があった。
【0038】
そのため本発明においては、撮像データにおける撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向の歪みの補正度合いを他の方向の補正度合いより大きく補正すると共に、歪みの補正度合いを大きく補正した方向では表示する画角を制限するようにした。例えば一の方向が、画面における垂直方向の場合は垂直方向の歪みのみを補正し、水平方向の歪みは残すと共に、撮像データにおける垂直方向の端部側データを用いないよう垂直方向の画角を制限する。これは一の方向が水平方向の場合も同様であり、水平方向の歪みは補正して垂直方向の歪みは残すと共に、撮像データにおける水平方向の端部側データは用いないよう水平方向の画角を制限する。
【0039】
これは図2に21で示したように、原点Oに中心を持ち、例えばx軸方向(以下、他の方向と称する)は魚眼レンズの半径に対応した曲率を有してy軸方向(以下、一の方向と称する)に延びる仮想の半円柱を想定し、魚眼レンズなどの撮影レンズで撮影された図3に33で示したような撮像画像を、原点Oからこの仮想の半円柱21を通して見える3次元空間の像として再現して半円柱21に貼り付け、その半円柱21に貼り付けた3次元空間の像を、図の22で示したxy平面からなる2次元空間の歪み補正後の仮想画像面に、垂直に(z軸方向から原点方向に)射影して画像を得るものである。
【0040】
この場合、画像歪み補正後の出力画像データは、一の方向については出力画像データの各アドレスに対応させて算出した、画像歪み補正前の撮像データのアドレスであり、一の方向に対する他の方向については、出力画像データのアドレスに対応させて、一の方向より補正度合いを小さく算出した、画像歪み補正前の撮像データのアドレスである。なお、このとき、半円柱21に貼り付けた3次元空間の像のうち、一の方向については上記したように用いる画角を制限し、原点O近くの画像が小さくならないようにするわけである。
【0041】
このようにすることで、他の方向(この図2の例ではx軸方向)の画角は撮影レンズが有する画角が保持され、また、一の方向(この図2の例ではy軸方向)では歪みが補正されて垂直なものが垂直に、あるいは水平なものが水平に表示される。そのため、例え出力画像における他の方向の周辺部分に存在するものでも、それが人であるのか電柱であるのかを容易に判別でき、従来技術のように、撮影レンズに起因する画像歪みを補正することで視野角が制限される、あるいは大きな視野角を確保することで中心部分に存在するものが非常に小さくなり、映っているものが判別できなくなる、といったことの生じない画像処理方法及び装置を提供することができる。
【0042】
以上が本発明になる画像処理方法の概略であるが、以下、本発明を更に詳細に説明する。前記従来技術において説明したと同様、撮影レンズに起因する画像歪みを補正した出力画像データにおけるアドレスを(x,y)、該アドレスに対応する前記撮像データの画像歪み補正前のアドレスを(u,v)、撮影レンズ光軸に対する入射光束の入射角(頂点角または天頂角)をθ、補正倍率をZ、前記撮影レンズに起因する画像歪みにより生じる基準円の半径(補正距離)をR、補正指数をn、頂点角θで入射した像が撮影レンズにより結像したときの光軸(原点)Oからの距離(像高)をL、uv平面上の光軸Oからの(u,v)座標の距離を導き出す関数をF(θ)とする。
【0043】
そしてまず、前記一の方向が垂直(y軸)方向の場合は下記(1)式により、前記一の方向が水平(x軸)方向の場合は下記(2)式により、それぞれzを算出し、下記(3)式、(4)式で頂点角θと像高Lとを算出する。その上で下記(5)式、(6)式により、出力画像データにおけるアドレス(x,y)に対応する、画像歪み補正前の撮像データのアドレス(u,v)を算出し、そのアドレス(u,v)の撮像データを出力画像データにおけるアドレス(x,y)のデータとして出力することで、前記したように、撮像データにおける撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向の歪みの補正度合いを、他の方向の補正度合いより大きく補正した画像を得ることができる。
【数1】

【0044】
なお、歪みの補正度合いを他の方向の補正度合いより大きく補正した一の方向では、歪み補正の実施により、前記したように表示する画角を大きくすると、それだけ中心部の物体が小さく表示されることになるから、撮像データにおける両端部側を用いないよう画角を制限する。また、他の方向では画角が撮影レンズが有する画角となり、他の方向が例えばx方向であれば、出力画像データにおけるアドレスxに対応させて、一の方向より補正度合いを小さく算出した画像歪み補正前の撮像データのアドレスuを用いることは前記したとおりである。
【0045】
また、撮影レンズが魚眼レンズの場合、焦点距離をf、収差係数をkとすると、uv平面上における光軸Oからの(u,v)座標の距離を導き出す関数F(θ)は、射影方式に関連して下記(7)式、(8)式、(9)式のいずれかの式を用いることで算出できる。

【0046】
このようにして撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向のみの歪曲収差の補正度合いを、他の方向の補正度合いより大きく補正して出力画像データを出力、または表示することで、例えば魚眼レンズを用いて歪曲収差の補正方向を垂直方向とした場合、水平方向には180度の画角を確保しながら垂直方向には歪みがなく、電柱は電柱として、人も直立して湾曲することなく表示されるから、それぞれ見誤ることなく表示されたものを正しく認識することができる。
【0047】
図1は、以上説明してきたような画像処理方法を実施するための画像処理装置のブロック図である。図中、1は魚眼レンズなどの超広角ではあるが歪曲収差を有した撮影レンズ、2はCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconducter)を用いた撮像素子で、後記する撮像素子駆動手段10により駆動されて撮影レンズ1により結像された像を撮像データとして出力する。
【0048】
3は撮像素子2からのアナログ画像信号をデジタル画像信号に変換するアナログ、デジタル変換器(A/D変換器)、4はデジタル画像信号に変換された撮像データを格納する画像データ格納用メモリで、これはフレームメモリでも、ラインメモリでも構わない。
【0049】
5は撮影レンズ1の歪曲収差による画像歪みを補正するアドレス補正手段で、出力画像アドレスに対し、補正量算出手段8が補正演算式格納用メモリ9に格納されている演算式に基づいて算出した、画像歪みを補正した場合の画像データ格納用メモリ4のアドレスからデータを選択し、出力手段6に送る機能を有している。なお、このアドレス補正手段5は、必要に応じて画像データ格納用メモリ4のデータの補間処理も行う。
【0050】
出力手段6は、アドレス補正手段5が選択した画像データ格納用メモリ4のデータや補完処理された出力画像データを出力する。このときの出力画像データは、デジタルデータでも、アナログデータでも構わない。7は表示手段と、例えばフラッシュメモリなどを含む外部記録装置を含む記録手段、9は補正演算式格納用メモリで、RAMまたはROMに歪み補正のため、予め定められた、または必要に応じて入力される、水平方向または垂直方向のいずれか一の方向の前記した(1)または(2)、または両方の演算式と、(3)から(6)までの演算式、及び魚眼レンズの場合はその射影方式に対応した(7)、(8)、(9)のうちのいずれかの演算式を補正演算式として格納している。10は撮像素子駆動手段で、図示していない制御手段からの指示で、撮像素子2により被写体像の撮像データを出力させる。
【0051】
撮像素子駆動手段10により駆動される撮像素子2が、撮影レンズ1により結像された被写体像の撮像データをA/D変換器3に出力すると、その撮像データはアナログ、デジタル変換され、画像データ格納用メモリ4に格納される。この画像は、撮影レンズ1が魚眼レンズであれば例えば図3に33で示したような画像となる。
【0052】
一方、補正量算出手段8は撮影レンズ1の歪曲収差を補正するため、まず、出力画像データのアドレス(x,y)に対応し、補正演算式格納用メモリ9に格納されている、予め定められた、または必要に応じて入力される、水平方向または垂直方向のいずれか一の方向の前記した(1)または(2)の演算式によってzの値を算出する。そして算出されたzの値を用い、(3)式によってθの値が、また、魚眼レンズの射影方式によって対応して記憶された(7)、(8)、(9)のうちのいずれかの演算式により、F(θ)の値が算出されて、(4)式によってLが算出される。
【0053】
そして最後に(5)式、(6)式によって出力画像データのアドレス(x,y)に対応した画像データ格納用メモリ4のアドレス(u,v)が算出され、そのアドレスがアドレス補正手段5に送られて、対応したアドレスの撮像データが画像データ格納用メモリ4から読み出され、出力手段6に送られる。そして最終的に表示手段と記録手段7に読み出したデータを表示させると共に、必要に応じて記録手段に記録させる。
【0054】
なお、前記したようにアドレス補正手段5は、例えば画像歪み補正のために算出したアドレスが小数点のついたアドレスなど、実際には読み出すことができないアドレスなどの場合、画像データ格納用メモリ4のデータの補間処理を行い、それによって正確に画像歪みを補正した出力画像データを出力するようにする。
【0055】
このようにして撮像データにおける撮影レンズに起因する歪みを補正して出力画像データとして送り出すことで、一の方向では歪みが補正されて垂直なものが垂直に、あるいは水平なものが水平に表示され、しかも他の方向の画角はレンズの画角がほぼそのまま確保されるから、例え出力画像の周辺部分に存在するものでも、それが人であるのか電柱であるのかを容易に判別でき、従来技術のように、撮影レンズに起因する画像歪みを補正することで視野角が制限される、あるいは大きな視野角を確保することで中心部分に存在するものが非常に小さくなり、映っているものが判別できなくなる、といった問題を解決することができる。
【産業上の利用可能性】
【0056】
本発明によれば、例え魚眼レンズのように歪曲収差が大きなレンズを用いても、必要な視野を確保しつつ、画像周辺部に存在するものの判別も可能となるから、自動車などの後方を撮像するモニタカメラ、玄関などに設置して来訪者を撮像するモニタ撮像装置などに応用して好適な画像処理方法及び装置を提供できる。
【図面の簡単な説明】
【0057】
【図1】本発明になる画像処理装置のブロック図である。
【図2】本発明になる画像処理方法の考え方を説明するための図である。
【図3】正射影方式の魚眼レンズを用い、魚眼レンズ原点から撮影対象物へ向かう視線方向ベクトルDOVに直交する、仮想的な平面における画像の歪みを補正する場合の説明図である。
【図4】(A)は等距離射影方式の魚眼レンズにより得られる画像の説明図、(B)は正射影方式の魚眼レンズにより得られる画像の説明図である。
【符号の説明】
【0058】
1 撮影レンズ
2 撮像素子
3 A/D変換器
4 画像データ格納用メモリ
5 アドレス補正手段
6 出力手段
7 表示手段と記録手段
8 補正量算出手段
9 補正演算式格納用メモリ
10 撮像素子駆動手段
21 仮想の半円柱
22 歪み補正後の仮想画像面
31 歪み補正後の仮想画像フレーム
32 原点からみた撮像範囲に対する仮想の半球面
33 撮像画面
34 歪み補正後の仮想画像フレーム

【特許請求の範囲】
【請求項1】
撮影レンズを介して得られた撮像データにおける、前記撮影レンズに起因する画像歪みを補正した出力画像データを得るための画像処理方法であって、
前記撮影レンズは魚眼レンズであり、前記出力画像データの画像歪みの補正は、前記撮像データにおける撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向の補正度合いを、他の方向の補正度合いより大きくすることを特徴とする画像処理方法。
【請求項2】
前記画像歪みを補正した出力画像データは、前記出力画像データの各アドレスを用いて算出した対応する画像歪み補正前の撮像データのアドレスにより読み出した、前記撮像データであることを特徴とする請求項1に記載した画像処理方法。
【請求項3】
前記撮影レンズに起因する画像歪みを補正した出力画像データにおけるアドレスを(x,y)、該アドレスを用いて算出した対応する前記撮像データの画像歪み補正前のアドレスを(u,v)、撮影レンズ光軸に対する入射光束の入射角(頂点角または天頂角)をθ、補正倍率をZ、前記撮影レンズに起因する画像歪みにより生じる基準円の半径(補正距離)をR、補正指数をn、頂点角θで入射した像が撮影レンズにより結像したときの光軸(原点)Oからの距離(像高)をL、uv平面上の光軸Oからの(u,v)座標の距離を導き出す関数をF(θ)としたとき、前記一の方向が垂直(y軸)方向の場合は下記(1)式により、前記一の方向が水平(x軸)方向の場合は下記(2)式により、それぞれzを算出し、下記(3)式、(4)式でθとLとを算出して、下記(5)式、(6)式で画像歪み補正前のアドレス(u,v)を算出することを特徴とする請求項2に記載した画像処理方法。
【数1】

【請求項4】
前記撮影レンズの焦点距離をf、収差係数をkとしたとき、前記F(θ)の算出に、前記撮影レンズの射影方式に関連して下記(7)、(8)、(9)式のいずれかの式を用いることを特徴とする請求項3に記載した画像処理方法。

【請求項5】
前記撮影レンズは、長辺方向の画角が160°以上の魚眼レンズであることを特徴とする請求項1乃至4のいずれかに記載した画像処理方法。
【請求項6】
前記一の方向における前記撮像データの端部側のデータは用いずに前記出力画像データを構成することを特徴とする請求項1乃至5のいずれかに記載した画像処理方法。
【請求項7】
撮影レンズを介して得られた撮像データを出力する撮像手段を備え、前記撮像データにおける前記撮影レンズに起因する画像歪みを補正して出力画像データとする画像処理装置であって、
前記撮影レンズは魚眼レンズであり、A/D変換器によりデジタルデータに変換された前記撮像データを格納する画像データ格納用メモリと、撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向の歪みの補正を他の方向の歪みの補正度合いより大きく補正する演算式を記憶した補正演算式記憶手段と、該演算式記憶手段に記憶された演算式に基づき、前記出力画像データにおける前記一の方向のアドレスと他の方向のアドレスに対応した前記画像データ格納用メモリのアドレスを算出する補正量算出手段と、該補正量算出手段の算出した前記画像データ格納用メモリの一の方向と他の方向のアドレスとを用い、前記画像データ格納用メモリに格納された撮像データを読み出すアドレス補正手段とを備え、
前記撮像データにおける前記撮影レンズに起因する画像歪みのうち、一の方向の補正度合いを他の方向の補正度合いより大きくして出力画像データとすることを特徴とする画像処理装置。
【請求項8】
前記演算式記憶手段に記憶した演算式は、前記撮影レンズに起因する画像歪みを補正した出力画像データにおけるアドレスを(x,y)、該アドレスを用いて算出した対応する前記撮像データの画像歪み補正前のアドレスを(u,v)、撮影レンズ光軸に対する入射光束の入射角(頂点角または天頂角)をθ、補正倍率をZ、前記撮影レンズに起因する画像歪みにより生じる基準円の半径(補正距離)をR、補正指数をn、頂点角θで入射した像が撮影レンズにより結像したときの光軸(原点)Oからの距離(像高)をL、uv平面上の光軸Oからの(u,v)座標の距離を導き出す関数をF(θ)としたとき、前記一の方向が垂直(y軸)方向の場合は下記(1)式を、前記一の方向が水平(x軸)方向の場合は下記(2)式を、また画像歪み補正前のアドレス(u,v)を算出するために下記(3)乃至(6)式を記憶していることを特徴とする請求項7に記載した画像処理装置。
【数1】

【請求項9】
前記撮影レンズの焦点距離をf、収差係数をkとしたとき、前記撮影レンズの射影方式に関連して下記(7)、(8)、(9)式のいずれかの式を、前記関数F(θ)の演算式として前記演算式記憶手段に記憶していることを特徴とする請求項8に記載した画像処理装置。

【請求項10】
前記撮影レンズは、長辺方向の画角が160°以上の魚眼レンズであることを特徴とする請求項7乃至9のいずれかに記載した画像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2008−301052(P2008−301052A)
【公開日】平成20年12月11日(2008.12.11)
【国際特許分類】
【出願番号】特願2007−143345(P2007−143345)
【出願日】平成19年5月30日(2007.5.30)
【出願人】(000006633)京セラ株式会社 (13,660)
【Fターム(参考)】