画像処理方法、画像処理装置及び画像撮像装置
【課題】ユーザの見たい被写体が画像の上や下の隅などにある場合でも、違和感なく自然に見えるように歪曲収差補正処理を行う。また、歪曲収差補正後に視点変換処理することなく、視点変換と同様な効果を得るようにする。
【解決手段】歪曲収差を受けた原画像について、
Ｘ，Ｙ ； 変換元
ｘ，ｙ ； 変換先の座標
ｘ0 ； ｘ方向（横方向）のオフセット値
ｙ0 ； ｙ方向（縦方向）のオフセット値
ｆ，ｇ ； 補正関数
の式を用いて、上下及び／又は左右非対称に座標変換して、歪曲収差補正と同時に視点変換された画像を得るようする。
【解決手段】歪曲収差を受けた原画像について、
Ｘ，Ｙ ； 変換元
ｘ，ｙ ； 変換先の座標
ｘ0 ； ｘ方向（横方向）のオフセット値
ｙ0 ； ｙ方向（縦方向）のオフセット値
ｆ，ｇ ； 補正関数
の式を用いて、上下及び／又は左右非対称に座標変換して、歪曲収差補正と同時に視点変換された画像を得るようする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は広画角で歪曲収差が大きい光学系を用いて撮像された画像を処理する画像処理方法及び画像処理装置、並びにそれを備えた画像撮像装置に関する。詳しくは、車のバックモニタ、フロントモニタなどの用途向けに、車に搭載して用いられる車載視認カメラに好適な画像処理技術に関する。
【背景技術】
【０００２】
自動車には、ドライバから直接見ることが出来ない死角領域を見るために、フェンダーミラー、ドアミラー、バックミラーなどが備えられているが、これらのミラーだけでは、車の全周囲に渡り完全に死角を見ることは困難である。このようなミラーによっても見ることが出来ない死角を見るために、近年自動車のフロント、リア、サイドなどに取り付けて用いる車載視認カメラの開発が行われている（例えば、非特許文献１）。
【０００３】
ところで、フロントカメラの場合は、交差点に入るとき左右から来る車を確認するために、カメラの画角は１８０°以上を必要とする。また、リアカメラにおいても、見たい領域は後退時におけるカメラの中心画像であるが、そのような時でもやはり左右の死角領域を表示することにより、より安全な後退が可能となる。そのためには、カメラの画角は１８０°以上が必要となる。また、フェンダーミラーやドアミラーの中、あるいはサイドミラー近傍に取り付けるサイドカメラは、主に車のサイドの死角を見るカメラであるが、サイド真下から前輪、あるいは後輪の近傍画像、またその先の前方、あるいは後方の画像をサイドカメラで連続的にみるには、同様に１８０°以上の画角のカメラが必要である。しかしながら、画角が１８０°以上のカメラは中心部の画像が小さくなり、写っている物の認識が遅れたり、距離感がつかめないという問題がある。また、広角になるほど歪曲収差が大きくなり、収差が小さい光学系を設計するのは困難である。
【０００４】
そのために、画角が１４０°を超えるようなカメラにおいては、画像処理と組み合わせて、像の歪みを補正するための歪曲収差補正を施すのが一般的であるが、画角が１８０°以上の場合には、完全に違和感なく補正するのは困難である。
【０００５】
また、アスペクト比４：３のセンサを用いたカメラの場合、立体射影方式を等角射影などにすると、上下の画角はだいたい１４０°近辺となる。これをフロントカメラの場合は真正面、リアカメラの場合は真背面方向に向けて設置すると、カメラ真下はセンサの受光領域から外れ、死角となる。カメラから真下の画像、すなわちバンパの映像が前方、後方の壁などの障害物にあたるか否かは、車を駐車する際に最も見たい画像の一つであるが、その画像を見るために下方に向けて設置すると、画面の大半が道路を写した画像となり、下方と同時に見たい前方画像が小さい画像となってしまう。
【０００６】
そこで、カメラの位置を計算により仮想的に動かす俯瞰変換（視点変換）という画像処理が行われるが、従来は、歪み補正と俯瞰変換を行う場合、歪み補正に関してはレンズの周辺の歪み量を考慮して歪みの補正を行い、その後に俯瞰変換をするために視点変換処理を行い俯瞰画像を得ている。この方式の場合、歪みの補正と視点変換という処理を続けて行うために、処理が非常に重たくなり、多くの計算リソースを食うこととなる。
【０００７】
【非特許文献１】畑中健一ほか、「車載画像処理装置の開発」、ＳＥＩテクニカルレビュー，２００３年３月，第１６２号，ｐ９０〜９３
【発明の開示】
【発明が解決しようとする課題】
【０００８】
倍率色収差や歪曲収差は、多項式等の補正式（座標変換式）を用いて、元画像の各画素の座標を変換することで行われる。従来から種々の補正式が知られているが、従来の歪曲収差補正の一般的な式は、以下のように表わすことができる。
【０００９】
【数１】
ここで、Ｘ，Ｙは変換元の座標、ｘ，ｙは変換先の座標、ｆ，ｇは補正関数を示す。
【００１０】
式（１）に示すように、従来は画像の真中を中心に上下左右対称に座標変換することで歪曲収差補正画像を得ていた。この場合、一般に画像の四隅に違和感のある画像となり、上や下の隅などに見たい被写体がある場合には自然な補正画像が得られない問題があった。
また、歪み補正と俯瞰変換を行う場合、従来は歪曲収差補正処理後に別途、俯瞰変換のための視点変換処理を行っており、処理が重たくなり、多くの計算リソースを必要とする問題があった。
【００１１】
本発明の目的は、見たい被写体が違和感なく自然に見えるように歪曲収差補正を行うことができる画像処理方法及び画像処理装置、並びに該画像処理装置を実装した画像撮像装置を提供することにある。
また、本発明の目的は、歪曲収差補正処理後に俯瞰変換のための視点変換処理を行うことなく、非常に軽い処理で違和感のない俯瞰画像を得ることができる画像処理方法及び画像処理装置、並びに該画像処理装置を実装した画像撮像装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明では、歪曲収差を受けた元画像について、
【００１３】
【数２】
Ｘ，Ｙ ； 変換元の座標
ｘ，ｙ ； 変換先の座標
ｘ0 ； ｘ方向（横方向）のオフセット値
ｙ0 ； ｙ方向（縦方向）のオフセット値
ｆ，ｇ ； 補正関数
の式を用いて座標変換して、歪曲収差補正画像を得るようにする。
【００１４】
ここで、オフセット値をｘ0≠０，ｙ0＝０とすると、ｘ方向のみオフセットをかけることができる。また、オフセット値をｘ0＝０，ｙ0≠０とすると、ｙ方向のみオフセットをかけることができる。さらに、歪曲収差補正の不動点が中心からずれるようにオフセット値ｘ0，ｙ0を設定することができる。
【発明の効果】
【００１５】
本発明によれば、歪曲収差の元画像を、上下及び又は左右非対称に座標変換して歪曲収差を補正することで、見たい被写体が自然に見える等、違和感のない補正画像を得ることができる。例えば、下の隅に見たい被写体がある場合には、縦方向にオフセットをかけて上の隅を歪ませることで、下方の見たい被写体が見た目、自然に見えるようにすることができる。また、横方向にオフセットをかけると、カメラの設置位置がセンタ位置でない場合に調整可能となり、また、左右からの移動物体等の認識度も上げることができる。
【００１６】
さらに、（２）式に示す処理を行うことにより、フロントカメラのように比較的車体の下に設置した場合でも、簡便な視点変換により視点を上げることができ、違和感のない正面画像を得ることができる。歪み補正後に俯瞰変換をする必要がないので、非常に軽い処理で視点変換と同等な効果を得ることができる。フロントカメラの真下を見るためにカメラを少し下向きに設置した場合、画面の大半が路面を表示することとなるが、（２）式を用いることにより、画面の上部と下部の倍率を変えることができるので、下部の倍率を小さくし、上部を違和感なく大きくすることができ、全体的に違和感のない、正面画像が小さくなることのない見やすい画面を表示することができる。
【００１７】
また、リアカメラの場合、リアウインドウの上にカメラを付けることがあるが、その場合の視点が高くなってしまうのを、（２）式で簡便に補正すると、視点を下げることができ、違和感ないリア画像を得ることができる。歪み補正後に俯瞰変換をする必要がないので、非常に軽い処理で視点変換と同等な効果を得ることができる。
【００１８】
また、サイドカメラの場合は、カメラを地面に向けて設置しても、フロント方向、バック方向に向けた違和感のない画像を得ることができる。歪み補正後に俯瞰変換をする必要がないので、非常に軽い処理で視点変換と同等な効果を得ることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の一実施の形態について図面を用いて説明する。実施形態は、広画角で倍率色収差と歪曲収差が大きい光学系を用いて被写体を撮像する画像撮像装置とし、画像処理系は倍率色収差及び歪曲収差も補正する構成とするが、本発明の特徴は俯瞰変換（視点変換）も兼ねた歪曲収差補正にあり、画像は少なくとも広画角で歪曲収差が大きい光学系を用いて撮像された画像であればよい。また、画像の色成分は加法３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）とするが、減法３原色のＹ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）でもよい。
【００２０】
図１は本発明を適用した画像撮像装置における画像処理系の一実施形態の機能ブロック図を示す。画像撮像装置は、他に操作部、画像記憶部、画像表示部などを備えているが、図１では省略してある。本画像撮像装置は、車載視認カメラとして使用されるが、用途はこれに限らない。例えば、スーパー、コンビニ等に設置して使用することでもよい。
【００２１】
図１において、制御部１００は、装置の各部に必要な制御信号（クロック、水平／垂直同期信号、その他）を与えて、該各部の動作をパイプライン的に制御する。
【００２２】
撮像素子１１０は、魚眼光学系などの広角で倍率色収差及び歪曲収差の大きい光学系（不図）を用いて撮像された光学像を電気信号（画像データ）に変換するための、例えばＣＣＤやＣＭＯＳセンサ等で構成される。該撮像素子１１０にはベイヤー配列の色フィルタが設けられており、ベイヤー配列のＲＧＢ画像データが、制御部１００から与えられる座標値（ｘ，ｙ）に基づいて順次出力される。また、制御部１００では、撮像素子１１０に与える座標値（ｘ，ｙ）を、順次、所定の時間ずらして後段にも与えるようにする。なお、この座標値（ｘ，ｙ）は撮像素子１１０の内部で生成し、順次、後段に与えることでもよい。
【００２３】
Ａ／Ｄ変換器１２０は、撮像素子１１０から出力されたアナログ信号としてのベイヤー配列のＲＧＢ画像データをデジタル信号に変換してベイヤー補完部１３０に送出する。デジタル信号は、例えば、ＲＧＢそれぞれ８ビットで構成される。一般にＡ／Ｄ変換器１２０の前段にはＡＧＣ回路が設けられるが、ここでは省略する。
【００２４】
ベイヤー補完部１３０は、デジタル信号に変換されたベイヤー配列のＲＧＢ画像データを入力して、ＲＧＢ各色独立に、全座標位置の画像データを線形補完によって生成し、倍率色収差補完部１４０に送出する。
【００２５】
図２にベイヤー配列のカラーフィルタを示す。ここで、Ｇ0は次式により求める。
Ｇ0＝（Ｇ2＋Ｇ4＋Ｇ6＋Ｇ8）／４ （３）
また、Ｒ2，Ｒ4，Ｒ6，Ｒ8，Ｒ0は次式により求める。
【００２６】
Ｒ2＝（Ｒ1＋Ｒ3）／２ （４）
Ｒ4＝（Ｒ3＋Ｒ5）／２ （５）
Ｒ6＝（Ｒ5＋Ｒ7）／２ （６）
Ｒ8＝（Ｒ1＋Ｒ7）／２ （７）
Ｒ0＝（Ｒ1＋Ｒ3＋Ｒ5＋Ｒ7）／４ （８）
Ｂ2，Ｂ4，Ｂ6，Ｂ8，Ｂ0は上記Ｒ2，Ｒ4，Ｒ6，Ｒ8，Ｒ0の場合と同じであるので省略する。
【００２７】
なお、本実施例ではベイヤー配列の色フィルタを持つ撮像素子について述べたが、もちろん他のＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ(赤外)配列など他の色フィルタ配列を持つ撮像素子に関しても効果がある。特にこのように４色の色フィルタ配列を持つ撮像素子では、ＲＧＢのように３色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、４ポートのＲＡＭが必要である。
【００２８】
倍率色収差補正部１４０は、ベイヤー補完されたＲＧＢ画像データを入力して、所定の式によりＲＧＢ各色成分独立に座標変換（倍率色収差座標変換）を施し、倍率色収差補正されたＲＧＢ画像データを出力する。倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用することができる。
【００２９】
ＭＴＦ補正部１５０は、倍率色収差補正されたＲＧＢ画像データを入力して、ＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正されたＲＧＢ画像データを出力する。
【００３０】
図３にＭＴＦ補正部１５０の概略構成を示す。変換部１５２は次式によりＲＧＢ画像データをＹＣｂＣｒ画像データに変換する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ （９）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ （10）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ （11）
【００３１】
ＦＩＲフィルタ（５×５フィルタ）１５４では、ＹＣｂＣｒのうち輝度信号Ｙのみを入力して所定のＭＴＦ補正を行う。Ｙ信号のみのフィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。図４にＦＩＲフィルタの係数の一例を示す。なお、Ｙ信号についてフィルタリングを行っているため、ＭＴＦ補正は色倍率補正の後に行われる必要がある。しかしながら、歪曲収差補正後にＭＴＦ補正を行う場合には、後述するように歪曲収差補正では座標変換の変換距離が大きく演算誤差が発生しやすい。その誤差がＭＴＦ補正により増幅され、画質に悪影響を及ぼす事を避けるため、本実施例のようにＭＴＦ補正は倍率色収差補正の後段、歪曲収差補正の前段に設置することが望ましい。
【００３２】
逆変換部１５６は、ＣｂＣｒ信号及びＭＴＦ補正されたＹ信号を入力して、次式により逆変換しＲＧＢ画像データを出力する。
Ｒ＝Ｙ＋１.４０２Ｃｒ （12）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ （13）
Ｂ＝Ｙ＋１.７７２Ｃｂ （14）
【００３３】
歪曲収差補正部１６０は、倍率色収差補正及びＭＴＦ補正されたＲＧＢ画像データを入力して、先の（２）式によりＲＧＢ各色成分共通に座標変換を施し、歪曲収差補正と同時に俯瞰変換（視点変換）されたＲＧＢ画像データを出力する。歪曲収差補正の座標変換には、一般に倍率色収差補正用のメモリに比べて、メモリ容量が大であるが、１ポートでよいため、高レイテンシのメモリ（ＤＲＡＭ等）を使用することが可能である。この歪曲収差補正部１６０の構成、動作については後述する。
【００３４】
ガンマ補正部１７０は、歪曲収差補正部１６０から出力されるＲＧＢ画像データを入力して、ＲＧＢそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたＲＧＢ画像データを出力する。このガンマ補正部１７０からのＲＧＢ画像データが表示部（不図）に送られてモニタ表示される。
【００３５】
以上が図１に示した実施形態の全体的動作あるが、以下では本発明に係わる歪曲収差補正部１６０について詳述する。
【００３６】
図５に歪曲収差補正部１６０の一実施形態の構成図を示す。本実施形態では、歪曲収差の補正式（座標変換式）には、以下の式（１５）を使用するとする。もちろん、一般には先の式（２）を使用することができる。
【００３７】
【数３】
ここで、Ｘ，Ｙは変換元の座標、ｘ，ｙは変換先の座標、ｙ0はｙ方向（縦方向）のオフセット値、ａ（１）〜ａ（４），ｂ（１）〜ｂ（４）は座標変換係数である。
【００３８】
この式（１５）によれば、歪曲収差を受けた原画像を特に上下非対称に座標変換した歪曲収差補正画像を得ることが可能となる。ここで、例えば、焦点をやや上方にセットすると、下方の面積が増加し、下方に見たい被写体がある場合、よく見えるようになる。また、焦点をやや下方にセットすると、見た目が自然となる。
【００３９】
図５において、１６２はＲＡＭ等の座標変換用メモリ、１６４は式（１５）を使用して歪曲収差補正の変換座標を計算する座標変換演算部、１６６は補正式に用いられる座標変換係数、オフセット値のパラメータを保持するパラメータテーブルである。このパラメータテーブル１６６内の座標変換係数、オフセット値は外部から任意に変更可能である。
【００４０】
歪曲収差未補正のＲＧＢ画像データ（元画像）は、座標値（ｘ，ｙ）にしたがって、座標変換用メモリ１６２に、先頭ラインから順次書き込まれる。一方、座標変換演算部１６４は、変換先の座標である座標値（ｘ，ｙ）を入力し、パラメータテーブル１６６から必要な座標変換係数、オフセット値を取得して式（１５）を計算し、変換元の座標としての座標値（Ｘ，Ｙ）を出力する。
【００４１】
座標変換用メモリ１６２は、座標値（ｘ，ｙ）に基づくＲＧＢ画像データの書込み動作と平行して（正確には所定時間遅れて）、座標変換演算部１６４から出力される座標値（Ｘ，Ｙ）に基づいて、ＲＧＢ画像データを順次読み出していく。すなわち、座標変換メモリ１６２からは、座標（Ｘ，Ｙ）の画素の画素値が座標（ｘ，ｙ）の画素の画素値として読み出され、結局、歪曲収差補正されたＲＧＢ画像データが出力される。
【００４２】
先に述べたように、補正式として式（１５）を用いることにより、上下非対称に座標変換された歪曲収差補正画像が得られる。すなわち、俯瞰変換（視点変換）と同等の効果が得られる。ユーザは、図示しない表示部のモニタ画像を見て、必要に応じてパラメータテーブル１６６のパラメータ値ｙ0を変更することにより、上下非対称の割合を任意に変化させることが可能になる。
【００４３】
図６に従来と本発明による歪曲収差補正処理の具体例を示す。図（ａ）は従来の補正式を用いた場合の例、図６（ｂ）が本実施形態の式（１５）を用いた場合の例で、いずれも点線で囲った枠が補正前の画像、実線で囲った枠が補正後の画像を示している。なお、図６（ｂ）では、式（１５）の変換係数ａ(1)〜ａ(4)、オフセット値ｙ0は、
【００４４】
【数４】
とした。表示範囲はＸ＝−１〜１、Ｙ＝−１〜１である。
【００４５】
図６（ａ）は、歪曲収差を受けた画像を、その真中（０，０）を中心に上下左右対称に座標変換して歪曲補正画像を得ることを示している。これに対し、図６（ｂ）は、歪曲収差を受けた画像を、（０，−０．５）を中心に上下非対象に座標変換することで、歪曲収差補正と同時に視点変換した画像を得ることを示している。図６（ｂ）の場合、下部の倍率を小さくし、上部を違和感なく大きくすることができ、視点を上げたと同等の効果を得ることができる。同様に、例えばｙ0＝−０．５とすることで、逆に視点を下げたと同等な効果を得ることができる。一般には、式（２）により、上下及び／又は左右非対称に座標変換することで、違和感なく所望の補正画像を得ることができる。
【図面の簡単な説明】
【００４６】
【図１】本発明による画像撮像装置の一実施形態の全体ブロック図。
【図２】ベイヤー配列カラーフィルタを示す図。
【図３】ＭＴＦ補正部の概略構成図。
【図４】ＦＩＲフィルターの一例を示す図。
【図５】図１の歪曲収差補正部の一実施形態の構成図。
【図６】従来と本発明による歪曲収差補正処理の具体例を示す図。
【符号の説明】
【００４７】
１１０ 撮像素子
１２０ Ａ／Ｄ変換器
１３０ ベイヤー補完部
１４０ 倍率色収差補正部
１５０ ＭＴＦ補正部
１６０ 歪曲収差補正部
１７０ ガンマ補正部
１６２ 座標変換用メモリ
１６４ 座標変換演算部
１６６ パラメータテーブル
【技術分野】
【０００１】
本発明は広画角で歪曲収差が大きい光学系を用いて撮像された画像を処理する画像処理方法及び画像処理装置、並びにそれを備えた画像撮像装置に関する。詳しくは、車のバックモニタ、フロントモニタなどの用途向けに、車に搭載して用いられる車載視認カメラに好適な画像処理技術に関する。
【背景技術】
【０００２】
自動車には、ドライバから直接見ることが出来ない死角領域を見るために、フェンダーミラー、ドアミラー、バックミラーなどが備えられているが、これらのミラーだけでは、車の全周囲に渡り完全に死角を見ることは困難である。このようなミラーによっても見ることが出来ない死角を見るために、近年自動車のフロント、リア、サイドなどに取り付けて用いる車載視認カメラの開発が行われている（例えば、非特許文献１）。
【０００３】
ところで、フロントカメラの場合は、交差点に入るとき左右から来る車を確認するために、カメラの画角は１８０°以上を必要とする。また、リアカメラにおいても、見たい領域は後退時におけるカメラの中心画像であるが、そのような時でもやはり左右の死角領域を表示することにより、より安全な後退が可能となる。そのためには、カメラの画角は１８０°以上が必要となる。また、フェンダーミラーやドアミラーの中、あるいはサイドミラー近傍に取り付けるサイドカメラは、主に車のサイドの死角を見るカメラであるが、サイド真下から前輪、あるいは後輪の近傍画像、またその先の前方、あるいは後方の画像をサイドカメラで連続的にみるには、同様に１８０°以上の画角のカメラが必要である。しかしながら、画角が１８０°以上のカメラは中心部の画像が小さくなり、写っている物の認識が遅れたり、距離感がつかめないという問題がある。また、広角になるほど歪曲収差が大きくなり、収差が小さい光学系を設計するのは困難である。
【０００４】
そのために、画角が１４０°を超えるようなカメラにおいては、画像処理と組み合わせて、像の歪みを補正するための歪曲収差補正を施すのが一般的であるが、画角が１８０°以上の場合には、完全に違和感なく補正するのは困難である。
【０００５】
また、アスペクト比４：３のセンサを用いたカメラの場合、立体射影方式を等角射影などにすると、上下の画角はだいたい１４０°近辺となる。これをフロントカメラの場合は真正面、リアカメラの場合は真背面方向に向けて設置すると、カメラ真下はセンサの受光領域から外れ、死角となる。カメラから真下の画像、すなわちバンパの映像が前方、後方の壁などの障害物にあたるか否かは、車を駐車する際に最も見たい画像の一つであるが、その画像を見るために下方に向けて設置すると、画面の大半が道路を写した画像となり、下方と同時に見たい前方画像が小さい画像となってしまう。
【０００６】
そこで、カメラの位置を計算により仮想的に動かす俯瞰変換（視点変換）という画像処理が行われるが、従来は、歪み補正と俯瞰変換を行う場合、歪み補正に関してはレンズの周辺の歪み量を考慮して歪みの補正を行い、その後に俯瞰変換をするために視点変換処理を行い俯瞰画像を得ている。この方式の場合、歪みの補正と視点変換という処理を続けて行うために、処理が非常に重たくなり、多くの計算リソースを食うこととなる。
【０００７】
【非特許文献１】畑中健一ほか、「車載画像処理装置の開発」、ＳＥＩテクニカルレビュー，２００３年３月，第１６２号，ｐ９０〜９３
【発明の開示】
【発明が解決しようとする課題】
【０００８】
倍率色収差や歪曲収差は、多項式等の補正式（座標変換式）を用いて、元画像の各画素の座標を変換することで行われる。従来から種々の補正式が知られているが、従来の歪曲収差補正の一般的な式は、以下のように表わすことができる。
【０００９】
【数１】
ここで、Ｘ，Ｙは変換元の座標、ｘ，ｙは変換先の座標、ｆ，ｇは補正関数を示す。
【００１０】
式（１）に示すように、従来は画像の真中を中心に上下左右対称に座標変換することで歪曲収差補正画像を得ていた。この場合、一般に画像の四隅に違和感のある画像となり、上や下の隅などに見たい被写体がある場合には自然な補正画像が得られない問題があった。
また、歪み補正と俯瞰変換を行う場合、従来は歪曲収差補正処理後に別途、俯瞰変換のための視点変換処理を行っており、処理が重たくなり、多くの計算リソースを必要とする問題があった。
【００１１】
本発明の目的は、見たい被写体が違和感なく自然に見えるように歪曲収差補正を行うことができる画像処理方法及び画像処理装置、並びに該画像処理装置を実装した画像撮像装置を提供することにある。
また、本発明の目的は、歪曲収差補正処理後に俯瞰変換のための視点変換処理を行うことなく、非常に軽い処理で違和感のない俯瞰画像を得ることができる画像処理方法及び画像処理装置、並びに該画像処理装置を実装した画像撮像装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明では、歪曲収差を受けた元画像について、
【００１３】
【数２】
Ｘ，Ｙ ； 変換元の座標
ｘ，ｙ ； 変換先の座標
ｘ0 ； ｘ方向（横方向）のオフセット値
ｙ0 ； ｙ方向（縦方向）のオフセット値
ｆ，ｇ ； 補正関数
の式を用いて座標変換して、歪曲収差補正画像を得るようにする。
【００１４】
ここで、オフセット値をｘ0≠０，ｙ0＝０とすると、ｘ方向のみオフセットをかけることができる。また、オフセット値をｘ0＝０，ｙ0≠０とすると、ｙ方向のみオフセットをかけることができる。さらに、歪曲収差補正の不動点が中心からずれるようにオフセット値ｘ0，ｙ0を設定することができる。
【発明の効果】
【００１５】
本発明によれば、歪曲収差の元画像を、上下及び又は左右非対称に座標変換して歪曲収差を補正することで、見たい被写体が自然に見える等、違和感のない補正画像を得ることができる。例えば、下の隅に見たい被写体がある場合には、縦方向にオフセットをかけて上の隅を歪ませることで、下方の見たい被写体が見た目、自然に見えるようにすることができる。また、横方向にオフセットをかけると、カメラの設置位置がセンタ位置でない場合に調整可能となり、また、左右からの移動物体等の認識度も上げることができる。
【００１６】
さらに、（２）式に示す処理を行うことにより、フロントカメラのように比較的車体の下に設置した場合でも、簡便な視点変換により視点を上げることができ、違和感のない正面画像を得ることができる。歪み補正後に俯瞰変換をする必要がないので、非常に軽い処理で視点変換と同等な効果を得ることができる。フロントカメラの真下を見るためにカメラを少し下向きに設置した場合、画面の大半が路面を表示することとなるが、（２）式を用いることにより、画面の上部と下部の倍率を変えることができるので、下部の倍率を小さくし、上部を違和感なく大きくすることができ、全体的に違和感のない、正面画像が小さくなることのない見やすい画面を表示することができる。
【００１７】
また、リアカメラの場合、リアウインドウの上にカメラを付けることがあるが、その場合の視点が高くなってしまうのを、（２）式で簡便に補正すると、視点を下げることができ、違和感ないリア画像を得ることができる。歪み補正後に俯瞰変換をする必要がないので、非常に軽い処理で視点変換と同等な効果を得ることができる。
【００１８】
また、サイドカメラの場合は、カメラを地面に向けて設置しても、フロント方向、バック方向に向けた違和感のない画像を得ることができる。歪み補正後に俯瞰変換をする必要がないので、非常に軽い処理で視点変換と同等な効果を得ることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の一実施の形態について図面を用いて説明する。実施形態は、広画角で倍率色収差と歪曲収差が大きい光学系を用いて被写体を撮像する画像撮像装置とし、画像処理系は倍率色収差及び歪曲収差も補正する構成とするが、本発明の特徴は俯瞰変換（視点変換）も兼ねた歪曲収差補正にあり、画像は少なくとも広画角で歪曲収差が大きい光学系を用いて撮像された画像であればよい。また、画像の色成分は加法３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）とするが、減法３原色のＹ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）でもよい。
【００２０】
図１は本発明を適用した画像撮像装置における画像処理系の一実施形態の機能ブロック図を示す。画像撮像装置は、他に操作部、画像記憶部、画像表示部などを備えているが、図１では省略してある。本画像撮像装置は、車載視認カメラとして使用されるが、用途はこれに限らない。例えば、スーパー、コンビニ等に設置して使用することでもよい。
【００２１】
図１において、制御部１００は、装置の各部に必要な制御信号（クロック、水平／垂直同期信号、その他）を与えて、該各部の動作をパイプライン的に制御する。
【００２２】
撮像素子１１０は、魚眼光学系などの広角で倍率色収差及び歪曲収差の大きい光学系（不図）を用いて撮像された光学像を電気信号（画像データ）に変換するための、例えばＣＣＤやＣＭＯＳセンサ等で構成される。該撮像素子１１０にはベイヤー配列の色フィルタが設けられており、ベイヤー配列のＲＧＢ画像データが、制御部１００から与えられる座標値（ｘ，ｙ）に基づいて順次出力される。また、制御部１００では、撮像素子１１０に与える座標値（ｘ，ｙ）を、順次、所定の時間ずらして後段にも与えるようにする。なお、この座標値（ｘ，ｙ）は撮像素子１１０の内部で生成し、順次、後段に与えることでもよい。
【００２３】
Ａ／Ｄ変換器１２０は、撮像素子１１０から出力されたアナログ信号としてのベイヤー配列のＲＧＢ画像データをデジタル信号に変換してベイヤー補完部１３０に送出する。デジタル信号は、例えば、ＲＧＢそれぞれ８ビットで構成される。一般にＡ／Ｄ変換器１２０の前段にはＡＧＣ回路が設けられるが、ここでは省略する。
【００２４】
ベイヤー補完部１３０は、デジタル信号に変換されたベイヤー配列のＲＧＢ画像データを入力して、ＲＧＢ各色独立に、全座標位置の画像データを線形補完によって生成し、倍率色収差補完部１４０に送出する。
【００２５】
図２にベイヤー配列のカラーフィルタを示す。ここで、Ｇ0は次式により求める。
Ｇ0＝（Ｇ2＋Ｇ4＋Ｇ6＋Ｇ8）／４ （３）
また、Ｒ2，Ｒ4，Ｒ6，Ｒ8，Ｒ0は次式により求める。
【００２６】
Ｒ2＝（Ｒ1＋Ｒ3）／２ （４）
Ｒ4＝（Ｒ3＋Ｒ5）／２ （５）
Ｒ6＝（Ｒ5＋Ｒ7）／２ （６）
Ｒ8＝（Ｒ1＋Ｒ7）／２ （７）
Ｒ0＝（Ｒ1＋Ｒ3＋Ｒ5＋Ｒ7）／４ （８）
Ｂ2，Ｂ4，Ｂ6，Ｂ8，Ｂ0は上記Ｒ2，Ｒ4，Ｒ6，Ｒ8，Ｒ0の場合と同じであるので省略する。
【００２７】
なお、本実施例ではベイヤー配列の色フィルタを持つ撮像素子について述べたが、もちろん他のＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ(赤外)配列など他の色フィルタ配列を持つ撮像素子に関しても効果がある。特にこのように４色の色フィルタ配列を持つ撮像素子では、ＲＧＢのように３色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、４ポートのＲＡＭが必要である。
【００２８】
倍率色収差補正部１４０は、ベイヤー補完されたＲＧＢ画像データを入力して、所定の式によりＲＧＢ各色成分独立に座標変換（倍率色収差座標変換）を施し、倍率色収差補正されたＲＧＢ画像データを出力する。倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用することができる。
【００２９】
ＭＴＦ補正部１５０は、倍率色収差補正されたＲＧＢ画像データを入力して、ＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正されたＲＧＢ画像データを出力する。
【００３０】
図３にＭＴＦ補正部１５０の概略構成を示す。変換部１５２は次式によりＲＧＢ画像データをＹＣｂＣｒ画像データに変換する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ （９）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ （10）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ （11）
【００３１】
ＦＩＲフィルタ（５×５フィルタ）１５４では、ＹＣｂＣｒのうち輝度信号Ｙのみを入力して所定のＭＴＦ補正を行う。Ｙ信号のみのフィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。図４にＦＩＲフィルタの係数の一例を示す。なお、Ｙ信号についてフィルタリングを行っているため、ＭＴＦ補正は色倍率補正の後に行われる必要がある。しかしながら、歪曲収差補正後にＭＴＦ補正を行う場合には、後述するように歪曲収差補正では座標変換の変換距離が大きく演算誤差が発生しやすい。その誤差がＭＴＦ補正により増幅され、画質に悪影響を及ぼす事を避けるため、本実施例のようにＭＴＦ補正は倍率色収差補正の後段、歪曲収差補正の前段に設置することが望ましい。
【００３２】
逆変換部１５６は、ＣｂＣｒ信号及びＭＴＦ補正されたＹ信号を入力して、次式により逆変換しＲＧＢ画像データを出力する。
Ｒ＝Ｙ＋１.４０２Ｃｒ （12）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ （13）
Ｂ＝Ｙ＋１.７７２Ｃｂ （14）
【００３３】
歪曲収差補正部１６０は、倍率色収差補正及びＭＴＦ補正されたＲＧＢ画像データを入力して、先の（２）式によりＲＧＢ各色成分共通に座標変換を施し、歪曲収差補正と同時に俯瞰変換（視点変換）されたＲＧＢ画像データを出力する。歪曲収差補正の座標変換には、一般に倍率色収差補正用のメモリに比べて、メモリ容量が大であるが、１ポートでよいため、高レイテンシのメモリ（ＤＲＡＭ等）を使用することが可能である。この歪曲収差補正部１６０の構成、動作については後述する。
【００３４】
ガンマ補正部１７０は、歪曲収差補正部１６０から出力されるＲＧＢ画像データを入力して、ＲＧＢそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたＲＧＢ画像データを出力する。このガンマ補正部１７０からのＲＧＢ画像データが表示部（不図）に送られてモニタ表示される。
【００３５】
以上が図１に示した実施形態の全体的動作あるが、以下では本発明に係わる歪曲収差補正部１６０について詳述する。
【００３６】
図５に歪曲収差補正部１６０の一実施形態の構成図を示す。本実施形態では、歪曲収差の補正式（座標変換式）には、以下の式（１５）を使用するとする。もちろん、一般には先の式（２）を使用することができる。
【００３７】
【数３】
ここで、Ｘ，Ｙは変換元の座標、ｘ，ｙは変換先の座標、ｙ0はｙ方向（縦方向）のオフセット値、ａ（１）〜ａ（４），ｂ（１）〜ｂ（４）は座標変換係数である。
【００３８】
この式（１５）によれば、歪曲収差を受けた原画像を特に上下非対称に座標変換した歪曲収差補正画像を得ることが可能となる。ここで、例えば、焦点をやや上方にセットすると、下方の面積が増加し、下方に見たい被写体がある場合、よく見えるようになる。また、焦点をやや下方にセットすると、見た目が自然となる。
【００３９】
図５において、１６２はＲＡＭ等の座標変換用メモリ、１６４は式（１５）を使用して歪曲収差補正の変換座標を計算する座標変換演算部、１６６は補正式に用いられる座標変換係数、オフセット値のパラメータを保持するパラメータテーブルである。このパラメータテーブル１６６内の座標変換係数、オフセット値は外部から任意に変更可能である。
【００４０】
歪曲収差未補正のＲＧＢ画像データ（元画像）は、座標値（ｘ，ｙ）にしたがって、座標変換用メモリ１６２に、先頭ラインから順次書き込まれる。一方、座標変換演算部１６４は、変換先の座標である座標値（ｘ，ｙ）を入力し、パラメータテーブル１６６から必要な座標変換係数、オフセット値を取得して式（１５）を計算し、変換元の座標としての座標値（Ｘ，Ｙ）を出力する。
【００４１】
座標変換用メモリ１６２は、座標値（ｘ，ｙ）に基づくＲＧＢ画像データの書込み動作と平行して（正確には所定時間遅れて）、座標変換演算部１６４から出力される座標値（Ｘ，Ｙ）に基づいて、ＲＧＢ画像データを順次読み出していく。すなわち、座標変換メモリ１６２からは、座標（Ｘ，Ｙ）の画素の画素値が座標（ｘ，ｙ）の画素の画素値として読み出され、結局、歪曲収差補正されたＲＧＢ画像データが出力される。
【００４２】
先に述べたように、補正式として式（１５）を用いることにより、上下非対称に座標変換された歪曲収差補正画像が得られる。すなわち、俯瞰変換（視点変換）と同等の効果が得られる。ユーザは、図示しない表示部のモニタ画像を見て、必要に応じてパラメータテーブル１６６のパラメータ値ｙ0を変更することにより、上下非対称の割合を任意に変化させることが可能になる。
【００４３】
図６に従来と本発明による歪曲収差補正処理の具体例を示す。図（ａ）は従来の補正式を用いた場合の例、図６（ｂ）が本実施形態の式（１５）を用いた場合の例で、いずれも点線で囲った枠が補正前の画像、実線で囲った枠が補正後の画像を示している。なお、図６（ｂ）では、式（１５）の変換係数ａ(1)〜ａ(4)、オフセット値ｙ0は、
【００４４】
【数４】
とした。表示範囲はＸ＝−１〜１、Ｙ＝−１〜１である。
【００４５】
図６（ａ）は、歪曲収差を受けた画像を、その真中（０，０）を中心に上下左右対称に座標変換して歪曲補正画像を得ることを示している。これに対し、図６（ｂ）は、歪曲収差を受けた画像を、（０，−０．５）を中心に上下非対象に座標変換することで、歪曲収差補正と同時に視点変換した画像を得ることを示している。図６（ｂ）の場合、下部の倍率を小さくし、上部を違和感なく大きくすることができ、視点を上げたと同等の効果を得ることができる。同様に、例えばｙ0＝−０．５とすることで、逆に視点を下げたと同等な効果を得ることができる。一般には、式（２）により、上下及び／又は左右非対称に座標変換することで、違和感なく所望の補正画像を得ることができる。
【図面の簡単な説明】
【００４６】
【図１】本発明による画像撮像装置の一実施形態の全体ブロック図。
【図２】ベイヤー配列カラーフィルタを示す図。
【図３】ＭＴＦ補正部の概略構成図。
【図４】ＦＩＲフィルターの一例を示す図。
【図５】図１の歪曲収差補正部の一実施形態の構成図。
【図６】従来と本発明による歪曲収差補正処理の具体例を示す図。
【符号の説明】
【００４７】
１１０ 撮像素子
１２０ Ａ／Ｄ変換器
１３０ ベイヤー補完部
１４０ 倍率色収差補正部
１５０ ＭＴＦ補正部
１６０ 歪曲収差補正部
１７０ ガンマ補正部
１６２ 座標変換用メモリ
１６４ 座標変換演算部
１６６ パラメータテーブル
【特許請求の範囲】
【請求項１】
歪曲収差を含む画像データを処理する画像処理方法であって、
前記歪曲収差を含む元画像の画像データについて、
【数１】
Ｘ，Ｙ ； 変換元の座標
ｘ，ｙ ； 変換先の座標
ｘ0 ； ｘ方向（横方向）のオフセット値
ｙ0 ； ｙ方向（縦方向）のオフセット値
ｆ，ｇ ； 補正関数
の式を用いて座標変換して、歪曲収差補正画像の画像データを得ることを特徴とする画像処理方法。
【請求項２】
オフセット値をｘ0≠０，ｙ0＝０として、ｘ方向のみオフセットをかけることを特徴とする請求項１記載の画像処理方法。
【請求項３】
オフセット値をｘ0＝０，ｙ0≠０として、ｙ方向のみオフセットをかけることを特徴とする請求項１記載の画像処理方法。
【請求項４】
歪曲収差補正の不動点が中心からずれるようにオフセット値ｘ0，ｙ0を設定することを特徴とする請求項１記載の画像処理方法。
【請求項５】
歪曲収差を含む画像データを処理する画像処理装置であって、
前記歪曲収差を含む元画像の画像データについて、
【数２】
Ｘ，Ｙ ； 変換元の座標
ｘ，ｙ ； 変換先の座標
ｘ0 ； ｘ方向（横方向）のオフセット値
ｙ0 ； ｙ方向（縦方向）のオフセット値
ｆ，ｇ ； 補正関数
の式を用いて座標変換して、歪曲収差補正画像の画像データを得る歪曲収差補正手段を有することを特徴とする画像処理装置。
【請求項６】
オフセット値をｘ0≠０，ｙ0＝０として、ｘ方向のみオフセットをかけることを特徴とする請求項５記載の画像処理装置。
【請求項７】
オフセット値をｘ0＝０，ｙ0≠０として、ｙ方向のみオフセットをかけることを特徴とする請求項５記載の画像処理装置。
【請求項８】
歪曲収差補正の不動点が中心からずれるようにオフセット値ｘ0，ｙ0を設定することを特徴とする請求項５記載の画像処理装置。
【請求項９】
広画角で歪曲収差が大きい光学系と、
前記光学系を通して画像を撮像し、歪曲収差を含む画像データを出力する撮像素子と、
前記画像データについて、歪曲収差を補正する歪曲収差補正手段を備えた請求項５乃至８のいずれか１項に記載の画像処理装置と、
を有することを特徴とする画像撮像装置。
【請求項１】
歪曲収差を含む画像データを処理する画像処理方法であって、
前記歪曲収差を含む元画像の画像データについて、
【数１】
Ｘ，Ｙ ； 変換元の座標
ｘ，ｙ ； 変換先の座標
ｘ0 ； ｘ方向（横方向）のオフセット値
ｙ0 ； ｙ方向（縦方向）のオフセット値
ｆ，ｇ ； 補正関数
の式を用いて座標変換して、歪曲収差補正画像の画像データを得ることを特徴とする画像処理方法。
【請求項２】
オフセット値をｘ0≠０，ｙ0＝０として、ｘ方向のみオフセットをかけることを特徴とする請求項１記載の画像処理方法。
【請求項３】
オフセット値をｘ0＝０，ｙ0≠０として、ｙ方向のみオフセットをかけることを特徴とする請求項１記載の画像処理方法。
【請求項４】
歪曲収差補正の不動点が中心からずれるようにオフセット値ｘ0，ｙ0を設定することを特徴とする請求項１記載の画像処理方法。
【請求項５】
歪曲収差を含む画像データを処理する画像処理装置であって、
前記歪曲収差を含む元画像の画像データについて、
【数２】
Ｘ，Ｙ ； 変換元の座標
ｘ，ｙ ； 変換先の座標
ｘ0 ； ｘ方向（横方向）のオフセット値
ｙ0 ； ｙ方向（縦方向）のオフセット値
ｆ，ｇ ； 補正関数
の式を用いて座標変換して、歪曲収差補正画像の画像データを得る歪曲収差補正手段を有することを特徴とする画像処理装置。
【請求項６】
オフセット値をｘ0≠０，ｙ0＝０として、ｘ方向のみオフセットをかけることを特徴とする請求項５記載の画像処理装置。
【請求項７】
オフセット値をｘ0＝０，ｙ0≠０として、ｙ方向のみオフセットをかけることを特徴とする請求項５記載の画像処理装置。
【請求項８】
歪曲収差補正の不動点が中心からずれるようにオフセット値ｘ0，ｙ0を設定することを特徴とする請求項５記載の画像処理装置。
【請求項９】
広画角で歪曲収差が大きい光学系と、
前記光学系を通して画像を撮像し、歪曲収差を含む画像データを出力する撮像素子と、
前記画像データについて、歪曲収差を補正する歪曲収差補正手段を備えた請求項５乃至８のいずれか１項に記載の画像処理装置と、
を有することを特徴とする画像撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−２１９１０３（Ｐ２００９−２１９１０３Ａ）
【公開日】平成２１年９月２４日（２００９．９．２４）
【国際特許分類】
【出願番号】特願２００８−２８２８６０（Ｐ２００８−２８２８６０）
【出願日】平成２０年１１月４日（２００８．１１．４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２１年９月２４日（２００９．９．２４）
【国際特許分類】
【出願日】平成２０年１１月４日（２００８．１１．４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]