広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置
【課題】比較的小規模な回路で、歪み補正処理に関して被写体の正確な認識を図る。
【解決手段】歪み補正係数には、少なくとも、光学系１１０のレンズの物理的特性及び前記光学系への設定された仮想投影面ＶＰからの入射光の入射角に基づいて算出された第１歪み補正係数と、前記光学系への入射角の正接関数を変数として算出される撮像素子と前記光学系の光軸とが交わる光学中心からの像高である第２歪み補正係数が含まれており、第２歪み補正係数が所定の値以上となる最小入射角がある場合、前記最小入射角より大きな入射角に対応する領域を避けるように前記仮想投影面を変更する。
【解決手段】歪み補正係数には、少なくとも、光学系１１０のレンズの物理的特性及び前記光学系への設定された仮想投影面ＶＰからの入射光の入射角に基づいて算出された第１歪み補正係数と、前記光学系への入射角の正接関数を変数として算出される撮像素子と前記光学系の光軸とが交わる光学中心からの像高である第２歪み補正係数が含まれており、第２歪み補正係数が所定の値以上となる最小入射角がある場合、前記最小入射角より大きな入射角に対応する領域を避けるように前記仮想投影面を変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、集光レンズを含む広角な光学系を介して撮像素子により撮像された画像の歪み補正処理を行う、画像処理方法、画像処理装置及び撮像装置に関するものである。
【背景技術】
【０００２】
一般に、広角レンズあるいは魚眼レンズのような焦点距離の短いレンズや画角の大きなレンズを備えた光学系により撮影した画像は歪曲を伴うので、歪曲を補正する画像処理を行う。
【０００３】
このような画像処理について、以下のような特許文献に関連した技術が提案されている。
【０００４】
特許文献１には従来技術の補正方法として、焦点距離の短いレンズを使用して撮像された撮像画像に生じる歪曲を、レンズの補正用のパラメータを用いて補正する方法が開示されている。
【０００５】
特許文献２では、光学ズーム機構のワイド端からテレ端までレンズ位置毎の光学歪み補正パラメータの算出を補間演算により行うことは、外部情報処理機器を必要とし、撮像装置単体では処理能力的に難しいという問題に対して、光学ズームを行う範囲内で離散的なレンズ位置に対する光学歪み補正パラメータを備え、そしてズームを行う際のレンズ位置を光学歪み補正パラメータを備えるレンズ位置に制限し、制限された位置間の光学ズームを電子ズームで繋いでいる。
【０００６】
特許文献３では、広角側の画角の場合には歪み補正を行い、広角側でない画角の場合には歪み補正を行わない等、画角切り換え手段により切り換えた画角の違いによって歪み補正量を変更する映像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１４００６６号公報
【特許文献２】特開２００９−１０５５４６号公報
【特許文献３】特開２００９−６１９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に開示されたように、レンズで得た撮像画像を画像処理装置としてハード化した場合に処理時間が長くなり、回路規模が増大してしまい、コストが嵩んでしまうという問題があった。
【０００９】
特許文献２では、ズームの際のレンズ位置を離散的な歪み補正パラメータと対応する位置に制限することと、その間を電子ズームで繋ぐことにより、ズーム動作を歪み補正パラメータの補間処理を省略することで撮像装置単体でのズーム動作を実現している。しかし、ズーム動作のような一次元のレンズの動きにのみ適用できることであり、パン、チルト等の多様な動きには適用し難い。すなわち、画像処理によって見え方を変える視点変換には対応できない問題がある。
【００１０】
また歪み補正処理をした後の画像は、視野角が狭くなるので広い領域を一度に認識することは難しくなる。歪み補正処理を行わない画像では、視野角は広くなるがその反面、被写体が歪むことにより距離感や大きさの認識が難しくなる。
【００１１】
特許文献３では、このような問題に対して画角に応じて歪み補正量を異ならせているが、歪み補正量を逐次変更するものではなく、被写体の歪みの改善と、距離感や大きさの正確な認識という２つの問題の双方を解決するものではない。
【００１２】
なお、広角レンズで撮影された歪み無し状態の全体画像から、歪み補正後の画像を生成して表示する場合、最終的な歪み補正後の画像が全体画像のどの部分を表示しているかを明らかにするため、歪み補正状態を少しずつ連続的に変化させつつ表示することが望ましいが、以上の各特許文献は適していないことが判明した。
【００１３】
また、本件出願の発明者が上記特許文献とは別の方式で被写体の歪み補正を行い、歪み補正状態を連続的に少しずつ変化させるように処理したところ、入射角とパラメータとの関係で、歪み補正後の画像に乱れが生じることが明らかになった。すなわち、歪み補正状態を表示する画像中に乱れ（画像不良）があるため、被写体の正確な認識が困難になることを発見した。
【００１４】
本願発明はこのような問題に鑑み、被写体の正確な認識を図ること、及び、比較的小規模な回路で、処理時間の短縮化を図ることが可能な、画像処理方法、画像処理装置及び撮像装置提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記の目的は、下記に記載する発明により達成される。
【００１６】
（１）光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法において、ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み補正係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第２ステップと、前記第２ステップで算出された画像データによる表示用画像を出力する第３ステップと、を有し、前記第２ステップで用いられる前記歪み補正係数には、少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出され前記光学系により生ずる歪みを補正するための第１歪み補正係数と、前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高であって前記歪みを補正しない第２歪み補正係数が含まれており、前記第２ステップには、第２歪み補正係数が所定の値以上となる最小入射角がある場合、前記最小入射角より大きな入射角に対応する領域の画素を避けるように前記仮想投影面を変更するステップを含む、ことを特徴とする。
【００１７】
また、光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置または撮像装置であって、歪み補正係数を記憶する記憶部と、位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、を有し、前記記憶部には、記憶される前記歪み補正係数として少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出され前記光学系により生ずる歪みを補正するための第１歪み補正係数並びに前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高であって前記歪みを補正しない第２歪み補正係数を有し、前記画像処理部は、第２歪み補正係数が所定の値以上となる最小入射角がある場合、前記最小入射角より大きな入射角に対応する領域の画素を避けるように前記仮想投影面を変更する、ことを特徴とする。
【００１８】
（２）以上の（１）において、前記第３ステップは段階的に歪みが補正された画像データの表示用動画像を出力するものであって、前記第２ステップにおいて前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出する、ことを特徴とする。
【００１９】
また、以上の（１）において、前記画像信号出力部は段階的に歪みが補正された画像データの表示用動画像を出力するものであって、前記画像処理部は、前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出する、ことを特徴とする。
【００２０】
（３）以上の（１）〜（２）において、前記第３ステップは段階的に歪みが補正された画像データの表示用動画像を出力するものであって、前記第２ステップにおいて前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出し、前記第２ステップで、第２歪み補正係数が所定の値以上となる最小入射角がある場合に該最小入射角より大きな入射角に対応する領域を避けるように前記仮想投影面を変更する際に、前記第１ステップで用いる前記位置及び前記サイズのいずれか少なくとも一つに基づいて前記仮想投影面の変更量を決定する、ことを特徴とする。
【００２１】
また、以上の（１）〜（２）において、前記画像信号出力部は段階的に歪みが補正された画像データの表示用動画像を出力するものであって、前記画像処理部は、前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出し、
第２歪み補正係数が所定の値以上となる最小入射角がある場合に該最小入射角より大きな入射角に対応する領域を避けるように前記仮想投影面を変更する際に、前記第１ステップで用いる前記位置及び前記サイズのいずれか少なくとも一つに基づいて前記仮想投影面の変更量を決定する、ことを特徴とする。
【００２２】
（４）以上の（１）〜（３）において、前記第１ステップでは、ワールド座標系の仮想投影面の第１位置と第２位置を設定し、前記第２ステップでは、初期の前記第２位置と前記第２歪み補正係数、最終の前記第１位置と前記第１歪み補正係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み補正係数、と段階的に切り替えて用いて仮想投影面の画像データを算出する、ことを特徴とする。
【００２３】
また、以上の（１）〜（３）において、ワールド座標系の前記仮想投影面は第１位置と第２位置が設定されており、前記画像処理部は、初期の前記第２位置と前記第２歪み補正係数、最終の前記第１位置と前記第１歪み補正係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み補正係数、と段階的に切り替えて用いて仮想投影面の画像データを算出する、ことを特徴とする。
【００２４】
（５）以上の（１）〜（４）において、前記第２歪み補正係数は、以下の条件式(1)で表される、ことを特徴とする。
Ｌ２＝（（ExportImageSize/2）／（tan(focal/2)））×tanθ …式(1)
ここで、
ExportImageSize：表示部で表示する出力画像の長辺の長さ，
focal：設定された仮想投影面の長辺方向における画角，
である。
【００２５】
（６）以上の（１）〜（５）において、前記仮想投影面の変更は視点変換として行う、ことを特徴とする。
【発明の効果】
【００２６】
本願発明では、光学系のレンズの物理的特性に基づいて算出された第１歪み補正係数と光学系への入射角を変数とする関係式により算出された第２歪み補正係数のいずれか少なくとも一方を用いて画像データを算出する際に、被写体の正確な認識を図ること及び、比較的小規模な回路で、処理時間の短縮化を図ることが可能となり、仮想投影面を変更することにより、広角レンズへ非常に大きな角度で入射する事による画像処理上の制限で生ずる画像不良に起因する被写体の誤認識を、簡易的な方法で、しかも効果的に軽減することができる。
【図面の簡単な説明】
【００２７】
【図１】本実施形態に係る歪曲補正を説明する模式図である。
【図２】仮想投影面ＶＰの位置を移動させた例を示す説明図である。
【図３】撮像装置の概略構成を示すブロック図である。
【図４】本実施形態の制御フローを示すフローチャートである。
【図５】入射角θと、撮像素子面ＩＡ上の像高ｈとの関係を示す特性図である。
【図６】光学的範囲に仮想投影面ＶＰを設定した状態を示す説明図である。
【図７】第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２での像高ｈとの関係を示す模式図である。
【図８】入出力画像の例を示す説明図である。
【図９】歪補正率あるいは、歪補正率と視点変換率を所定の周期で変更する例を示す説明図である。
【図１０】カメラ座標系の画像中心ｏを回転中心として仮想投影面ＶＰの位置を変更する例である。
【図１１】仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。
【図１２】歪み補正係数の飽和・不連続の状態を示す特性図である。
【図１３】歪み補正係数の飽和・不連続の影響による画像不良を写真画像で示す説明図である。
【図１４】本実施形態のブラックアウトポイントを示す特性図である。
【図１５】本実施形態のブラックアウトポイントを示す特性図である。
【図１６】本実施形態で仮想投影面を変更する様子を示す説明図である。
【図１７】カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。
【図１８】歪み補正処理を説明する模式図である。
【図１９】本実施形態を適用した処理画像の表示例を写真画像で示す説明図である。
【発明を実施するための形態】
【００２８】
以下、本発明を実施の形態に基づいて説明するが、本発明は該実施の形態に示される具体例に限られるものではない。
【００２９】
〔Ａ〕座標系：
図１は、本実施形態に係る歪曲補正を説明するための座標系を示す模式図である。
【００３０】
この図１において、Ｘ、Ｙ、Ｚは空間の中での物体の位置を示すための座標系としてのワールド座標系であり、原点Ｏは光学系のレンズ中心である。ここで、Ｚは光軸、ＸＹ平面はレンズ中心Ｏを通るレンズ中心面ＬＣを含んでいる。点Ｐはワールド座標系ＸＹＺにおける被写体の物点である。θは光軸（Ｚ軸に一致）に対する入射角である。
【００３１】
一方、ｘ、ｙはカメラを基準としたカメラ座標系であり、ｘｙ平面は撮像素子面ＩＡに対応する。ｏは光学中心であり光軸Ｚと撮像素子面との交点である。点ｐはカメラ座標系における撮像素子面上の点であり、物点Ｐをレンズの物理的特性に基づくパラメータ（以下、「レンズパラメータ」という）に基づく歪み補正係数（後述の第１歪み補正係数Ｌ１に相当）を用いてカメラ座標系に変換したものである。
【００３２】
図１において、ＶＰは仮想投影面である。仮想投影面ＶＰは光学系のレンズ位置（レンズ中心面ＬＣ）に対して撮像素子（及び撮像素子面ＩＡ）とは反対側に設定される。仮想投影面ＶＰは、ユーザによる操作部１３０（図３のブロック図を参照）への指示に基づいて、位置の移動及びサイズの変更を行うことが可能である。なお、本願明細書において「位置変更」とは、仮想投影面ＶＰをＸＹ平面上で平行移動させる場合のみならず、ＸＹ平面に対する角度変更（姿勢変更ともいう）をも含む概念である。
【００３３】
初期状態（初期の位置設定のこと、以下同様）において仮想投影面ＶＰは、所定サイズでレンズ中心面ＬＣと平行（ＸＹ方向）の所定位置（Ｚ方向）に配置され、仮想投影面ＶＰの中心ｏｖはＺ軸上に位置している。Ｇｖは物点Ｐが仮想投影面ＶＰ上に投影された点であり、物点Ｐとレンズ中心Ｏを通る直線と仮想投影面ＶＰとの交点である。
【００３４】
図２は、操作部１３０の入力に基づいて、仮想投影面ＶＰ０をＸＺ平面上で回転させて、仮想投影面ＶＰ１とした状態を示している。
【００３５】
〔Ｂ〕構成：
図３は、本実施形態で使用される撮像装置の概略構成を示すブロック図である。撮像装置は、撮像ユニット１１０、制御装置１００、表示部１２０、操作部１３０を備え構成されている。
【００３６】
撮像ユニット１１０は、短焦点のレンズ、撮像素子等を備えて構成される。本実施形態においては、短焦点のレンズとしては例えば広角レンズ、魚眼レンズがある。
【００３７】
制御装置１００は、画像処理部１０１、設定部１０２、記憶部１０３を備えて構成される。
【００３８】
設定部１０２では、操作部１３０への入力指示に基づいて仮想投影面ＶＰの位置、サイズの設定を行う。
【００３９】
画像処理部１０１では、設定された仮想投影面ＶＰの位置、サイズに基づいて仮想投影面上の各座標のカメラ座標系への変換テーブルを作成し、当該変換テーブルを用いて撮像ユニット１１０で撮影した画素データを処理して表示部１２０に表示させる画像データの作成を行う。すなわち、画像処理部１０１は、レンズデータに基づいてワールド座標の位置がカメラ座標のどの座標位置に対応するかを当てはめる座標変換を行う。この際に、歪み補正及び、仮想投影面ＶＰの位置の計算にともなう回転、平行移動、拡大、縮小が併せて行われる。また画像処理部１０１は、表示用の画像信号の出力を行う画像信号出力部としても機能する。
【００４０】
記憶部１０３には、撮像ユニット１１０のレンズ（実レンズ）の物理的特性及び設定された仮想投影面からの入射光の入射角に基づくレンズ物理的特性に係るパラメータにより算出された係数、すなわち光学系で生ずる歪みを補正するための係数である第１歪み補正係数Ｌ１と、当該歪みの補正を行わないための係数に相当する、設定された仮想投影面からレンズへ入射する入射光の入射角の正接関数を変数として算出される、前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高である、第２歪み補正係数Ｌ２とが記憶されている。
【００４１】
また記憶部１０３は、仮想投影面ＶＰの位置、サイズ及び作成した変換テーブルの記憶も行う。なお歪み補正係数は、レンズのキャリブレーションデータの取得やレンズのｆθ特性に基づく計算等により求めることができる。
【００４２】
なお、本実施形態でいう「歪み補正を行わない」とは、実質的に、撮像されたままの歪みが生じているものを言い、歪み補正が良好に行われているものから若干劣るものを指すものではない。
【００４３】
表示部１２０は、液晶ディスプレイ等の表示画面を備え、撮像ユニット１１０で撮影した画素データに基づいて画像処理部１０１で作成した画像データに基づく表示用画像を逐次、表示画面に表示させる。
【００４４】
操作部１３０は、キーボード、マウス、あるいは表示部の液晶ディスプレイに重畳して配置されたタッチパネル等を備え、ユーザの入力操作を受け付ける。
【００４５】
〔Ｃ〕制御：
以下、図４のフローチャートを参照して、本実施形態の制御を説明する。なお、本制御フローチャートにより、連続して入力する入力画像を処理して連続的に出力画像を表示部１２０に表示させることにより動画を表示するものである。
【００４６】
〔Ｃ−１〕設定、入力：
まず、仮想投影面の設定、視点変換の設定、歪み補正条件の設定などが入力される（図４中のステップＳ１０１）。なお、これが第１ステップである。これら、各種の設定は、ユーザによる操作部１３０への入力指示に基づいて、設定部１０２により仮想投影面ＶＰのワールド座標系における位置、サイズを設定することにより行われる。また、撮像ユニット１１０で使用するレンズの特性などは記憶部１０３から読み出される。
【００４７】
そして、撮像ユニット１１０から画像信号が入力され、例えばフレームレート６０ｆｐｓで入力画像が制御装置１００に取り込まれる（図４中のステップＳ１０２）。
【００４８】
〔Ｃ−２〕仮想投影面計算：
ここで、画像処理部１０１では、設定された条件に基づいて並進ベクトルや回転ベクトルの計算を行ってユーグリッド変換を行うことで、仮想投影面ＶＰの位置の計算を行う（図４中のステップＳ１０３）。なお、この仮想投影面計算と後述する歪み補正係数の取得と歪み補正処理とが、第２ステップである。
【００４９】
〔Ｃ−３〕歪み補正係数の取得：
そして、画像処理部１０１は、レンズデータに基づいてワールド座標の位置がカメラ座標のどの座標位置に対応するかを当てはめる座標変換を行うための、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２を取得する（図４中のステップＳ１０４）。
【００５０】
ここで画像処理部１０１が取得する歪み補正係数には、光学系で生ずる歪みを補正するための係数であるレンズの物理的特性に係るパラメータ及び設定された仮想投影面からの入射光の入射角に基づいて決定された第１歪み補正係数Ｌ１と、光学系への設定された仮想投影面から入射する入射光の入射角θ（図１参照）の正接関数を変数として算出される、前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高である第２歪み補正係数Ｌ２が含まれている。なお、第２歪み補正係数Ｌ２とは、歪み補正を行わないに相当する歪み補正係数であり詳細は後述する。
【００５１】
なおここでの第１歪み補正係数Ｌ１は、ユーザが必要に応じて、例えば１フレーム毎に随時書き換える事ができる構成としても良い。即ち、設定部１０２において第１ステップ時の仮想投影面の位置及び画面サイズを入力する事で第１歪み補正係数Ｌ１を取得する他に、第１歪み補正係数Ｌ１の値を直接変更するよう、パラメータ入力できる構成とし、これによりカメラ座標上の画素とワールド座標上の対応画素との関係を任意に変更するような構成としても良い。
【００５２】
このように書き換えた第１歪み補正係数Ｌ１と仮想投影面上の座標、画面サイズから入射角と光軸とが交わる光軸中心からの像高位置を変更する事も本発明の場合、可能である。
【００５３】
これによりカメラ座標上の対応する画素位置（領域）を予め固定しておく場合と比べて、様々な光学系に柔軟に対応できると共に、カメラ座標上の画素位置（領域）に依存しない様々な歪補正条件を採用する事ができる、という効果を奏する。
【００５４】
さらに、画像処理部１０１は、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２との間を補間して滑らかに座標変換を実行するように、複数段階の第３歪み補正係数Ｌ３を取得する（図４中のステップＳ１０５）。
【００５５】
〔Ｃ−３−１〕歪み補正係数の説明：
以下、歪み補正係数について説明する。
【００５６】
〔Ｃ−３−１−１〕第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２の説明：
ここで、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２とについて、図５以降を参照して説明する。
【００５７】
図５は、入射角θを横軸として、撮像素子面ＩＡ上の光軸Ｚと交わる光学中心ｏからの像高ｈ（ｗ２ｃ値）を縦軸とした関係を示す特性図である。
【００５８】
この図５において、第１歪み補正係数Ｌ１（図５実線）、第２歪み補正係数Ｌ２（１点鎖線）、Ｌ１とＬ２の補間による第３歪み補正係数Ｌ３（２点鎖線）、のそれぞれについて、入射角θと像高ｈとの関係を表示している。
【００５９】
また、図６は光学系によって決まる光学的範囲に仮想投影面ＶＰを設定した状態を示している。そして、図７は、第１歪み補正係数Ｌ１、第２歪み補正係数Ｌ２におけるそれぞれの像高ｈ（ｈ１、ｈ２で表示）の関係を示す特性図である。これら、図６、図７において、図１と共通する部位については共通する符号を付与させている。
【００６０】
図５の特性図に示すように、第２歪み補正係数Ｌ２では、入射角θに対応した歪曲収差が生じ、入射角θが大きくなるほど像高ｈ（ｗ２ｃ値）が大きくなり、歪曲収差の量も大きくなる。つまり、歪補正率＝０％であり、当該係数を用いる事で光学系に応じた歪みがそのまま補正されていない画像データが得られる。
【００６１】
一方、図５の特性図において、第１歪み補正係数Ｌ１はレンズによる歪曲収差の影響を打ち消すように歪補正率＝１００％として設定した歪み補正係数であり、主に撮像ユニット１１０のレンズの物理的な特性及び設定された仮想投影面から光学系に入射する入射光の入射角により決定される係数である。
【００６２】
また、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２の補間による第３歪み補正係数Ｌ３は、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２との補間割合に応じて歪補正率が決定される。なお、第３歪み補正係数Ｌ３と補間割合については後述する。
【００６３】
ここで、第２歪み補正係数Ｌ２は、光学系への入射角θを変数として算出される、前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高に関する歪み補正係数であり、関係式としては例えば以下の式(1)を用いている。なお、式(1)を数倍にすれば出力画像の拡大縮小を容易に行う事ができるというメリットがある。
Ｌ２＝（（ExportImageSize/2）／（tan(focal/2)））×tanθ …式(1)，
この式(1)においては、「ExportImageSize」とは、表示部で表示する出力画像の長辺（通常は水平方向、ｘ）の長さであり、単位はpixelである。またこれは仮想投影面ＶＰの長辺のサイズと一致している。
【００６４】
また、この式(1)において、「focal」は設定された仮想投影面の長辺方向における画角を意味している。ここで、図６を参照して「focal」について説明する。図６においてωは、光学的範囲に対応する光学的画角であり、「focal」とは仮想投影面ＶＰの長辺方向における画角のことである。なお、式(1)に替えて、正射影や等距離射影の関係式を用いても良い。また「focal」はユーザが任意に設定する光学的範囲の内、表示範囲に相当するものであり、必ずしも画角の長辺方向でなくても良い。
【００６５】
なお、魚眼レンズ等の超広角レンズでは入射角が９０°を超える場合もある。この場合に、上述した式(1)では入射角が９０°を超えるとtanθの符号が反転してしまうため、第２歪み補正係数Ｌ２の本来の値とは乖離してしまう。このため、本実施形態では、上述した式(1)にかかわらず、入射角が９０°を超えた領域では、像高（ｗ２ｃ値）が無限大であるものとして計算を行う。
【００６６】
また、本実施態様においては上記条件式(1)で説明しているが、条件式は必ずしもこれに限定されず、要は入射角θを変数とした像高、つまり光学中心からのカメラ座標上の距離を算出する条件式であれば良い。
【００６７】
図７は、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２での像高ｈとの関係を示す模式図である。像高ｈは、図５に示すように入射角θと補正係数で決定される。第２歪み補正係数Ｌ２では被写体（物点Ｐ）の像高（光軸Ｚからの距離）と撮像素子面ＩＡ上における像高ｈとは比例する関係となる。また第１歪み補正係数Ｌ１の像高ｈ１に比べて第２歪み補正係数Ｌ２における像高ｈ２は、図７に示されるように長くなる。
【００６８】
ここで、上述した第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２の意味を明らかにするため、入力画像、上述した第１歪み補正係数Ｌ１により処理された画像、第２歪み補正係数Ｌ２により処理された画像、の例を図８に示す。
【００６９】
なお図８においては、仮想投影面ＶＰが初期状態に設定されている場合の例を示している。図８（ａ）は矩形の壁面に設置された長方形のチャートを、広角レンズを備えた撮像ユニット１１０で得られた入力画像である。また、図８（ｂ）は第１歪み補正係数Ｌ１を用いて後述する歪み補正処理を行った場合の出力画像、図８（ｃ）は第２歪み補正係数Ｌ２を用いて後述する歪み補正処理を行った場合の出力画像、の一例である。
【００７０】
図８（ｂ）に示す例では入力画像での歪曲した曲線は直線となるように補正されていることがわかる。一方で図８（ｃ）に示すように第２歪み補正係数Ｌ２により歪み補正処理した場合には、出力画像は図８（ａ）に示す入力画像とほぼ同一である。つまり歪み補正を行わない場合と同等の出力画像が得られていることがわかる。
【００７１】
なお、第３歪み補正係数Ｌ３を用いて歪み補正処理を行うと、後述するように、図８（ｂ）と図８（ｃ）の中間の歪み補正状態の画像が得られる。
【００７２】
〔Ｃ−３−１−２〕歪み補正係数Ｌ３の説明：
ここで、第３歪み補正係数Ｌ３について説明する。歪み補正係数の算出にあたり、歪補正率（DistRatio）を変更することにより、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２との補間によって算出する第３歪み補正係数Ｌ３を段階的に切り替え可能に算出している。
【００７３】
また、この実施形態では更に、仮想投影面ＶＰの位置も第１位置Ｖ１と第２位置Ｖ２との補間によって算出する第３位置Ｖ３も視点変換率（VCRatio）の変更に合わせて段階的に切り替えている。視点変換の具体例については後述する。
【００７４】
なお第３歪み補正係数Ｌ３、第３位置Ｖ３は、以下の式(2)、式(3)により算出している。
【００７５】
Ｌ３＝DistRatio／１００×Ｌ１＋（１−DistRatio／１００）×Ｌ２ …式(2)，
但し、０≦DistRatio／１００≦１である。
【００７６】
Ｖ３＝VCRatio／１００×Ｖ１＋（１−VCRatio／１００）×Ｖ２ …式(3)，
但し、０≦VCRatio／１００≦１である。
【００７７】
ここで、条件設定（図１中のステップＳ１０１）で設定された処理時間に対応して、歪補正率と視点変換率を算出する。例えば１０ｓｅｃを１サイクルに設定している場合には、時間が基準の０．０ｓｅｃであれば歪補正率と視点変換率はともに０％、時間が５．０ｓｅｃであれば歪補正率と視点変換率はともに５０％、時間が１０．０ｓｅｃであれば歪補正率と視点変換率はともに１００％、となる。
【００７８】
このようにして算出した歪補正率から、上述した式(2)に基づいて歪補正係数Ｌ３を算出する。なお、歪補正率が０％の場合には第２歪み補正係数Ｌ２そのもの、１００％の場合には第１歪み補正係数Ｌ１そのものとなる。
【００７９】
また、視点変換率から、仮想投影面ＶＰの第３位置の算出を行う。なお第２歪み補正係数Ｌ２に対応する仮想投影面ＶＰの初期状態の位置である第２位置と、第１歪み補正係数Ｌ１に対応する仮想投影面ＶＰの最終位置である第１位置は、ステップＳ１０１で設定されたものである。すなわち、第３位置の算出は、仮想投影面ＶＰの第１位置と第２位置の座標を、視点変換率を用いることで、式(3)により算出する。
【００８０】
ここで、歪補正率あるいは、歪補正率と視点変換率を所定の周期で変更する例を図９に示す。
【００８１】
図９（ａ）は、１０ｓｅｃを１周期として歪補正率の変更により第３歪み補正係数Ｌ３を１秒ごとに１０ポイントずつ段階的に変更する例である。なお、図９（ａ）の例では視点変換は行っていない。
【００８２】
図９（ｂ）は、１０ｓｅｃを１周期として歪補正率の変更により第３歪み補正係数Ｌ３を１秒ごとに１０ポイントずつ段階的に変更する例である。また視点変換率を変更することにより第３位置Ｖ３も段階的に変更している。図９（ｂ）の例では視点変換率の変更にともない歪補正率も変更している。なお、図９（ａ）、図９（ｂ）においては１０ｓｅｃ周期、全１１段階で変更した例を示しているがあくまでも例示であり、周期を任意に変更したり、これよりも細かく多段階に変更したりしてもよい。
【００８３】
〔Ｃ−３−１−３〕仮想投影面ＶＰの変更と視点変換：
ここで、視点変換について説明する。図１０は、カメラ座標系の画像中心ｏを回転中心（若しくは移動中心）として仮想投影面ＶＰ０の位置を変更する例である。この図１０に示すように画像中心ｏを回転中心としてｘ軸回りの回転が実ｐｉｔｃｈ（ｔｉｌｔ：チルトともいう）であり、ｙ軸回りの回転が実ｙａｗ（ｐａｎ：パンともいう）、Ｚ軸回りの回転が実ｒｏｌｌである。
【００８４】
図１１は、入力された回転量の設定値に基づいて仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。仮想投影面ＶＰ０上の直交する関係となる２軸の一方をＹａｗ−ａｘｉｓ、他方をＰ−ａｘｉｓとして設定する。両者は中心ｏｖを通る軸であり、中心ｏｖを回転中心としてＹａｗ−ａｘｉｓ回りの回転を仮想ｙａｗ回転、Ｐ−ａｘｉｓ回りの回転を仮想ｐｉｔｃｈ回転という。以下においては仮想カメラＣａ０を回転あるいは位置変更させたことに相当する視点変換が行われる。
【００８５】
図９（ｂ）における、第２位置Ｖ２は初期状態の位置に設定している。このときの仮想投影面ＶＰはＸＹ平面と平行でありその中心ｏｖは光軸Ｚ上にある（図１０、図１１のＶＰ０の位置に相当）。第１位置Ｖ１は、仮想ｐｉｔｃｈ及び実ｐｉｔｃｈがともに４５度で両者を合わせて９０度に設定した例である。この場合、被写体を見下ろすように視点変換がなされる。なお位置変更の組み合わせはこれに限られず、平行移動、実ｐｉｃｔｈ、実ｙａｗ、実ｒｏｌｌ、仮想ｐｉｔｃｈ、仮想ｙａｗ、の何れかあるいはこれらを組み合わせても良い。
【００８６】
〔Ｃ−４〕歪み補正係数の不連続性の解析と対策：
以下、図５に示した歪み補正係数を用いることによって発生しうる画像不良について、図１２以降を参照して説明する。なお、この図１２でも、入射角が９０°を超える超広角レンズに配慮し、上述した式(1)にかかわらず、入射角が９０°を超えた領域では、本来の像高（ｗ２ｃ値）が無限大であるものとして計算を行う。
【００８７】
〔Ｃ−４−１〕第２歪み補正係数Ｌ２の飽和：
図５では理想的な歪み補正係数について説明していたが、第２歪み補正係数Ｌ２はtanθの関数であり、入射角θが９０°に近づくにつれ像高としてのｗ２ｃ値が急激に増大する。
【００８８】
つまり、第２歪み補正係数Ｌ２は入射角が９０度を超えなくても無限大にはならないまでも非常に大きな値となる。そのため画像処理部１０１の演算処理能力によって制限を受けることがある。たとえば、画像処理部１０１においてｗ２ｃ値一つあたりに確保されているデータサイズが９ビットの処理能力である場合には、処理可能最大値は５１１であり、５１１を超える値については５１１として処理される。このため、第２歪み補正係数Ｌ２による像高ｈ（ｗ２ｃ値）は、図１２０の（ａ）のように飽和した特性になる。つまり、第２歪み補正係数Ｌ２はtanθの関数であるため、入射角θが９０°以上又は９０°に近づいてｗ２ｃ値が急激に増大すると、処理能力の影響で飽和して第２歪み補正係数Ｌ２は不連続な曲線となる。
【００８９】
〔Ｃ−４−２〕第３歪み補正係数Ｌ３への影響：
上記の飽和特性は、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２との補間により生成される第３歪み補正係数L３についても同様に影響を受けることになる。すなわち、図１２に示すように、第２歪み補正係数Ｌ２の飽和の影響を受ける事で補間値である（ｂ）の領域で第３歪み補正係数Ｌ３による像高ｈも同様に飽和して不連続となり変形する。
【００９０】
〔Ｃ−４−３〕画像への影響：
第２歪み補正係数Ｌ２が飽和して第３歪み補正係数Ｌ３が不連続になると、このような歪み補正係数を用いて歪み補正処理した場合には、歪み補正係数の飽和や不連続に対応して、対応する入射角の範囲内で画像不良が発生することがある。以下、画像不良について説明する。
【００９１】
〔Ｃ−４−３−１〕画像不良（１）：
たとえば、図１３の一点鎖線（ａ）で囲んだ範囲に示すように、歪み補正係数の飽和や不連続に対応する入射角の範囲内で、帯状の色のにじみ等により、本来は存在しない画像（偽画像）となって現れてくる。この画像不良のため、従来は被写体の正確な認識が困難になる場合があった。
【００９２】
この偽画像による画像不良は、計算の途中において飽和したｗ２ｃ値がオーバーフローして０として扱われ、その結果としてｗ２ｃ＝０に相当する光軸中心座標（像高＝０）付近の画素が飽和した入射角の位置に出現する現象である。
【００９３】
なお、図１３では、歪み補正処理と共に視点変換を行った状態を示すが、視点変換を行わずに歪み補正処理のみを行った場合でも、第２歪み補正係数Ｌ２の飽和や第３歪み補正係数Ｌ３の不連続の影響により、対応する入射角のいずれかの領域において同様な画像不良が発生する。
【００９４】
また、この画像不良は入射角が一定以上の領域で発生するものであるため、図１３（ａ）のような直線帯状ではなく、画像の歪みに合わせた曲線形状で出現することもあり得る。
【００９５】
〔Ｃ−４−３−２〕画像不良（２）：
また、図１２の領域（ｂ）において、第３歪み補正係数Ｌ３の傾きが本来の状態より小さくなっていることに起因して、本来より小さい値が指定された状態になり、中心から外側に広がるように「にじみ」として観察されうる画像不良も存在している。なお、この場合は、「にじみ」薄く広がっているため、図１３では特定の箇所を示していない。
【００９６】
〔Ｃ−４−３−３〕画像不良（３）：
また、歪み補正処理や視点変換処理などの画像処理により、元々は存在しない画素が、図１３（ｂ）の破線で囲んだ領域のように黒色の領域として出現する。同様にして、撮像ユニット１１０のレンズの画角外の領域が、図１３（ｂ）の破線で囲んだ領域のように灰色の領域として表示される。
【００９７】
これら黒色領域や灰色領域は、歪み補正率や視点変換の度合いに応じて形や大きさが変化することになり、被写体の認識にとって邪魔な存在になる。また、この黒色領域や灰色領域は、上述した帯状の画像不良や滲みによる画像不良と同様に、入射角が一定以上の領域で発生するものであり、画像不良として扱うことが可能である。
【００９８】
〔Ｃ−４−４〕ブラックアウトポイント：
本実施形態においては、図１２に示されるようにこのように第２歪み補正係数Ｌ２が取得される事で画像不良が発生する可能性が高い飽和領域の画素データが存在する場合に、後述する仮想投影面変更をすることで、画像不良が可視化しないようにする。なお、仮想投影面変更の内容については後述する。そして、このような後述する仮想投影面変更の対象である画素データか否かを判断するための閾値としてブラックアウトポイントを設定している。
【００９９】
なおブラックアウトポイントbopとは、第２歪補正係数において前述した画像処理の制限の関係でｗ２ｃ値が所定値以上に飽和する点をいい、このbopに対応する最小の入射角をθbopとしている。そして、仮想投影面変更は、このようなθbopよりも大きな入射角に対応する画素が存在する場合に適用する。また第１歪み補正係数と第２歪み補正係数との補間によって得られる第３歪み補正係数を用いて段階的に歪み補正の度合いを変更するような場合には、bopを通る所定の境界線を設定して、このbopを通る所定の境界線に基づいて判別される第３歪み補正係数の所定の入射角を第２のブラックアウトポイントとし、当該入射角よりも大きい入射角に対応する画素が存在する場合に同様に仮想投影面変更を行う。なおbopを通る所定の境界線も、飽和する領域に設定されて、飽和するｗ２ｃ値を仮想投影面変更するかしないかの閾値である。例えば本実施形態においては図１４、図１５の第２歪み補正係数L2における（ｃ）点がbopであり、境界線は図１４では入射角θの軸に直交する直線が設定されている。同様に図１５でも（ｃ）点がbopであり、このbopを通り所定の傾きをもって設定された直線が境界線である。
【０１００】
ここで、画像処理部１０１は、図１４（ａ）のように第２歪み補正係数Ｌ２が飽和した場合に、ブラックアウトポイントbopを通る境界線として、θbopにおける第２歪み補正係数Ｌ２（図１４（ｃ））におけるｗ２ｃ値、第２のブラックアウトポイントとしてθbopにおける第３歪み補正係数Ｌ３（図１４（ｄ１）〜（ｄ４））におけるｗ２ｃ値、第３のブラックアウトポイントとしてθbopにおける第１歪み補正係数Ｌ１（図１４（ｄ５））におけるｗ２ｃ値、を取得する（図４中のステップＳ１０６）。但し第１歪み補正係数Ｌ１では、第２歪み補正係数Ｌ２の飽和の影響を受けない。
【０１０１】
なおこの図１４のようなbopを通る境界線は、入射角が９０度を超えないような、比較的レンズの画角が狭い光学系仕様の場合や、視点変換がない場合、Ｌ２とＬ１との間の変化の時間が短い場合やユーザが飽和によるエラー画素を生じさせない方を重視させる場合に有用である。
【０１０２】
また、ブラックアウトポイントbopを通る境界線の別態様としては、図１５（ａ）のようにθbopと、撮像ユニット１１０のレンズの最大入射角θbop2とを求め、ブラックアウトポイントbop（図１５の（ｃ）点）とθbop2における第１歪み補正係数Ｌ１（図１５の（ｆ）点）とを結ぶ線をブラックアウトを通る境界線line_bop（図１５中の破線）とする事が可能である。そして画像処理部１０１は、bopにおけるｗ２ｃ値、第２のブラックアウトポイントとしてline_bopと交差する第３歪み補正係数Ｌ３（図１５の（ｅ１）〜（ｅ４）点）におけるｗ２ｃ値、第３のブラックアウトポイントとしてθbop2における第１歪み補正係数Ｌ１（図１４の（ｆ）点）におけるｗ２ｃ値、を取得する（図４中のステップＳ１０６）。この場合、第３歪み補正係数Ｌ３が第１歪み補正係数Ｌ１に近づくにつれて、補間比率の関係で第２歪み補正係数Ｌ２の飽和の影響を受けなくなるため、仮想投影面変更する入射角を徐々に大きくしている。このような境界線は、入射角が９０度を超える広入射角の光学系仕様の場合など、入射角が飽和領域の一部の値を用いる場合や、視点変換の角度が大きい場合、画像の急激な変化が好ましくない場合等に有用である。
【０１０３】
そしてこのようにブラックアウトポイントを通る境界線を適宜設定する事で、前述した仮想投影面変更するかどうかの閾値が設定されるため、後段の歪補正処理において各歪み補正係数によりカメラ座標系の各画素データに対応づけられたワールド座標系の各画素データを用いるか、それとも仮想投影面変更するかを判別して、該当する場合については仮想投影面変更を適用する。
【０１０４】
〔Ｃ−４−５〕画像不良対策：
ここで、θbは図１４〜図１５のように入射角が９０°に近い値であり、図１３（ａ）の画像具体例で示したように、画像の隅で発生する。このため、仮想投影面ＶＰを変更して視点変換することで、画像不良領域を避けることが可能である。
【０１０５】
たとえば、図１３（ａ）のように画面下端部付近に発生する画像不良に対しては、図１６（ａ）に示すように、仮想投影面ＶＰ０を画像不良と反対側である上方に変更することで、画像不良を含まないようにすることが可能である。
【０１０６】
同様に、図１３（ａ）のように画面下端部付近に発生する画像不良に対して、図１６（ｂ）に示すように、仮想投影面ＶＰ０を光軸に沿って仮想カメラＣａ側に近づけるよう変更することで、端部の画像不良が撮像範囲外にはみ出すため、結果として画像中に画像不良を含まないようにすることが可能である。
【０１０７】
なお、このような画像不良領域における仮想投影面変更は、以上の図１３（ａ）の仮想投影面の位置や角度による変更、図１３（ｂ）の画角による仮想投影面のサイズの変更について単独でなく、組み合わせることも可能であり、いずれか少なくとも一つにより仮想投影面の変更を行えばよい。また、これらの仮想投影面変更による画像の具体例は、後に詳しく説明する。
【０１０８】
すなわち、画像処理部１０１は、上述したθｂに基づいて、仮想投影面の変更量ＯＦｖｐを算出する（図４中のステップＳ１０７）。なお、この仮想投影面の変更量ＯＦｖｐには、仮想投影面の変更方向と変更量とが含まれる。図１４のようにθｂが１種類の場合には変更量ＯＦｖｐも１種類であるが、図１５のように歪み補正係数に応じてθｂが異なる場合には、対応するＯＦｖｐもθｂの値に応じて複数種類になる。すなわち、画像処理部１０１は、第３歪み補正係数Ｌ３に含まれる第２歪み補正係数Ｌ２の割合に応じて仮想投影面の変更量ＯＦｖｐを決定する。
【０１０９】
〔Ｃ−５〕歪み補正処理用ＬＵＴ作成：
画像処理部１０１は、各画素が上述した閾値に該当するか否かとは独立に、第１歪み補正係数Ｌ１、第２歪み補正係数Ｌ２、第３歪み補正係数Ｌ３、仮想投影面変更量ＯＦｖｐについて、各補正率と入射角θとに応じたｗ２ｃ値から、仮想投影面ＶＰの座標をワールド座標系からカメラ座標系に変換する際の歪み補正処理に用いるＬＵＴを作成する（図４中のステップＳ１０８）。そして生成されたＬＵＴは記憶部１０３に記憶される。
【０１１０】
なお、歪補正率毎に異なるＬＵＴを設けても良いし、１つのＬＵＴに複数の歪補正率に対応したデータを格納してもよい。
【０１１１】
ここで、図１７（ａ）は、ワールド座標系を説明する模式図である。図１７（ａ）に示すようにワールド座標系における仮想投影面ＶＰの４隅の点Ａ（０，０，Ｚａ）、点Ｂ（０，４７９，Ｚｂ）、点Ｃ（６３９，４７９，Ｚｃ）、点Ｄ（６３９，０，Ｚｄ）で囲まれる平面を等間隔で６４０×４８０pixelの画素Ｇｖ（総画素数３０．７万）に分割し、全ての画素Ｇｖそれぞれのワールド座標系における座標を取得する。なお、この図１７（ａ）におけるＸ、Ｙ座標の値は例示であり、理解を容易にするために、Ａ点のＸ、Ｙ座標をゼロとして表示している。
【０１１２】
画素Ｇｖのワールド座標系での座標と、ステップＳ１０４〜Ｓ１０５で取得した歪み補正係数から、撮像素子面ＩＡでの対応するカメラ座標系での座標Ｇｉ（ｘ’，ｙ’）を算出する。具体的には、当該歪み補正係数と各画素Ｇｖの座標から得られる、光軸Ｚに対する入射角度θにより算出している（参考文献：国際公開第２０１０／０３２７２０号）。
【０１１３】
図１７（ｂ）は、カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す説明図である。図１７（ｂ）において点ａ〜ｄは、図１７（ａ）の点Ａ〜Ｄを、第１歪み補正係数Ｌ１を用いて生成されたＬＵＴによりカメラ座標系に変換したものである。
【０１１４】
なお図１７（ａ）では点Ａ〜Ｄで囲まれる仮想投影面ＶＰは矩形の平面であるが、図１７（ｂ）においてカメラ座標系に座標変換した後の点ａ〜ｄで囲まれる領域は（仮想投影面ＶＰの位置に対応して）歪んだ形状となる。なお図１７（ｂ）においては樽型形状に歪んだ例を示しているが、光学系の特性により糸巻型、陣笠型（中央では樽型で端部では直線あるいは糸巻型に変化する形状）の歪みとなる場合もある。
【０１１５】
〔Ｃ−６〕歪み補正処理実行：
画像処理部１０１は、図９のように時間に応じて歪補正率を変えつつ、ＬＵＴを用いて歪み補正処理した画像を生成する（図４中のステップＳ１０９）。
【０１１６】
図１８は、歪み補正処理を説明する模式図である。図１８は画像データの一部を拡大表示したものであり、図示される格子はそれぞれ画素の区切りを示している。
【０１１７】
図１８（ａ）の入力画像データは図１７（ｂ）の一部を拡大表示したものであり、図１７（ａ）〜図１７（ｂ）で説明したように、直線上の被写体は、撮像素子面ＩＡ上では収差の影響で曲線上（図１８（ａ）太枠のＧｉ１〜Ｇｉ３）に入力されることになる。出力画像データの生成は、ＬＵＴを用いて出力画像データの各画素データを、入力画像データの対応する画素データを用いることにより行う。
【０１１８】
ＬＵＴは、各歪補正率に応じた歪み補正係数を考慮して生成されているので、最終的に歪補正率＝１００％の第１歪み補正係数Ｌ１に基づいて生成されたＬＵＴのデータを用いた場合には、当該ＬＵＴの対応関係により画素Ｇｖ１のデータ（例えば輝度信号）は図１８（ａ）の座標（１００，２００）のＧｉ１のデータを参照することになる。Ｇｖ２、Ｇｖ３も同様にそれぞれＧｉ２、Ｇｉ３のデータを参照する。
【０１１９】
また、画像処理部１０１では、各歪補正率において、前述した様にブラックアウトポイントを通る境界線で設定される閾値以上の入射角に対応する画素が存在すると判断された場合には、ＬＵＴに従い仮想投影面変更量ＯＦｖｐに基づいた仮想投影面の変更などの処理を行う。すなわち、第２歪み補正係数Ｌ２が所定の値以上となる最小入射角がある場合、該最小入射角より大きな入射角に対応する領域を避けるように仮想投影面を変更する処理を行う。
【０１２０】
〔Ｃ−７〕画像出力：
画像処理部１０１は、図９のように時間に応じて歪補正率を変えつつＬＵＴを用いて歪み補正処理して生成した画像を表示部１２０に出力し画像表示する（図４中のステップＳ１１０）。たとえば、歪み補正処理により生成された出力画像を表示部１２０に対して、例えばフレームレート３０ｆｐｓ、あるいは６０ｆｐｓで出力して全体の処理を終了する。なお、この画像出力が、第３ステップである。
【０１２１】
このような結果、歪補正率に応じて歪みが補正され、歪補正率＝１００％では図１８（ｂ）に示すように、出力画像データを生成に伴い曲線状の歪みは解消されて、直線の被写体は元の直線として生成（表示）されることになる。
【０１２２】
また、図１８には示されていないが、歪補正率＝０％であれば図１８（ａ）の歪みをそのままのこした形状の画像が出力され、歪補正率が０％より大きく１００％より小さけば図１８（ａ）と図１８（ｂ）の中間の歪みを残した形状の画像が出力される。
【０１２３】
なお、この際に、ステップＳ１０１において仮想投影面ＶＰの設定により視点変換の設定がなされているような場合には、画像処理部１０１でこのような処理も併せて行われることになる。
【０１２４】
〔Ｄ〕歪み補正処理による表示例：
以下、本実施形態の歪み補正処理を適用した場合の表示例を説明する。
【０１２５】
図１９（ａ）〜図１９（ｃ）は、上述したように９０°見下ろす視点変換を伴い、上述した各歪み補正係数により画像処理部１０１で歪み補正処理し、表示部１２０に表示させた表示画像の例である。なお、ここでは、図１９（ａ）が歪み補正率０％、図１９（ｂ）が歪み補正率５０％、図１９（ｃ）が歪み補正率１００％であり、歪み補正処理の途中段階を一部省略している。図１９（ｃ）では、歪補正率が１００％とすることにより画像の歪みは解消されており、また位置の移動により仮想ｐｉｔｃｈ及び実ｐｉｔｃｈがともに−４５ｄｅｇ変更されており被写体を見下ろすように視点変更がなされている。
【０１２６】
なお、図１９（ｂ）では、本実施形態を適用する前の状態であり、第２歪み補正係数Ｌ２の飽和による不正計算結果によって画像不良が生じている状態を示している。
【０１２７】
ここで、図１９（ｂ１）は、図１６（ａ）のように、本実施形態の仮想投影面変更として、仮想投影面を画像不良と反対側である上方に変更することで、画像不良（図１９（ｂ）の帯状ノイズ）を含まないようにした具体例である。この場合、図１９（ｂ１）は、図１９（ｂ）と比較すると、正面のチャートの上部まで写るようになっているが、違和感はほとんど生じない。
【０１２８】
一方、図１９（ｂ２）は、図１６（ｂ）のように、本実施形態の仮想投影面変更として、仮想投影面を光軸に沿って近づけるように位置を変更することで仮想投影面を拡大して、画像不良（図１９（ｂ）の帯状ノイズ）を含まないようにした具体例である。この場合、図１９（ｂ２）は、図１９（ｂ）と比較すると、全体が拡大されているが、違和感はほとんど生じない。
【０１２９】
なお、本図面では明確ではないが、本態様のように周辺部の画像不良を含まないように仮想投影面変更を行う事によって、周辺部に生じる「にじみ」についても効果的に解消される。
【０１３０】
また、上述したようにθｂに基づいて、仮想投影面変更量ＯＦｖｐを算出しているため、仮想投影面の変更は画像不良を含まないようにする最低限の変更で済むため、出力される画像に対する変更は最低限になる。
【０１３１】
なお、以上の図１９（ａ）の仮想投影面の位置や角度による変更、図１９（ｂ）の画角による仮想投影面のサイズの変更については、図１０，図１１のような仮想投影面の回転と図１６のような仮想投影面の並行移動とを適宜組合せたり、それぞれを単独で行って仮想投影面の変更を行うような構成であっても良い。
【０１３２】
以上の処理で、表示部１２０には、図１９（ａ）を初期画像として、途中の歪み補正率に基づいて歪み補正をすると共に画像不良を含まないようにした途中段階の処理済み画像（図１９では詳細省略）を表示しつつ、最終画像の図１９（ｃ）までを一定の速度で表示画像を順次更新しながら表示させている。図９（ｂ）の具体例では、補正率及び位置移動率が低い画像から高い画像まで順に表示させ、これを１０秒周期で繰り返すことになる。
【０１３３】
本実施形態によれば、位置が設定された前記仮想投影面を補正係数によりカメラ座標系に変換し、変換したカメラ座標系の座標及び前記画素の画素データに基づいて前記仮想投影面の画像データの算出を行うに際し、補正係数及び位置のデータを変更させながら画像データの算出を行うことにより、歪補正率変更とともに仮想投影面の位置変更（カメラ視点の変更）を並行して行う場合であっても、別なプロセスを設ける必要がない。新たなリソースの増強を必要とせずに位置変更と歪補正率変更を同時に行うことが可能となる。
【０１３４】
また、本実施形態によれば、歪補正しない出力画像から歪補正を行う出力画像までを歪補正率を段階的に変更することにより歪補正しない出力画像の正確な認識を図ることが容易になり、この際に、歪み補正係数の飽和の影響で発生する画像不良を表示させないことで、被写体の正確な認識を図ることが可能になる。
すなわち、広角レンズへ非常に大きな角度で入射する事による画像処理上の制限で生ずる画像不良による被写体の誤認識を簡易的な方法で、しかも効果的に軽減することができる。
【０１３５】
〔Ｅ〕その他の実施形態：
以上の実施形態において歪み補正率を数段階程度の具体例で示していたが、これに限られるものではない。３０ｆｐｓの表示レートで補正前から補正後まで１０秒の表示を繰り返す場合には、歪み補正係数Ｌ３を３００段階にすることで、各フレーム毎に歪み補正が徐々に変更される滑らかな表示が可能になる。また、この際に、各フレーム毎に画像不良を発生させないように仮想投影面変更を行うことで、被写体の正確な認識を図ることが一層容易になる。
【符号の説明】
【０１３６】
１００ 制御装置
１０１ 画像処理部
１０２ 設定部
１０３ 記憶部
１１０ 撮像ユニット
１２０ 表示部
１３０ 操作部
ＶＰ 仮想投影面
ＬＣ レンズ中心面
ＩＡ 撮像素子面
Ｏ レンズ中心
ｏ 画像中心
Ｌ１ 第１歪み補正係数
Ｌ２ 第２歪み補正係数
Ｌ３ 第３歪み補正係数
【技術分野】
【０００１】
本願発明は、集光レンズを含む広角な光学系を介して撮像素子により撮像された画像の歪み補正処理を行う、画像処理方法、画像処理装置及び撮像装置に関するものである。
【背景技術】
【０００２】
一般に、広角レンズあるいは魚眼レンズのような焦点距離の短いレンズや画角の大きなレンズを備えた光学系により撮影した画像は歪曲を伴うので、歪曲を補正する画像処理を行う。
【０００３】
このような画像処理について、以下のような特許文献に関連した技術が提案されている。
【０００４】
特許文献１には従来技術の補正方法として、焦点距離の短いレンズを使用して撮像された撮像画像に生じる歪曲を、レンズの補正用のパラメータを用いて補正する方法が開示されている。
【０００５】
特許文献２では、光学ズーム機構のワイド端からテレ端までレンズ位置毎の光学歪み補正パラメータの算出を補間演算により行うことは、外部情報処理機器を必要とし、撮像装置単体では処理能力的に難しいという問題に対して、光学ズームを行う範囲内で離散的なレンズ位置に対する光学歪み補正パラメータを備え、そしてズームを行う際のレンズ位置を光学歪み補正パラメータを備えるレンズ位置に制限し、制限された位置間の光学ズームを電子ズームで繋いでいる。
【０００６】
特許文献３では、広角側の画角の場合には歪み補正を行い、広角側でない画角の場合には歪み補正を行わない等、画角切り換え手段により切り換えた画角の違いによって歪み補正量を変更する映像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１４００６６号公報
【特許文献２】特開２００９−１０５５４６号公報
【特許文献３】特開２００９−６１９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に開示されたように、レンズで得た撮像画像を画像処理装置としてハード化した場合に処理時間が長くなり、回路規模が増大してしまい、コストが嵩んでしまうという問題があった。
【０００９】
特許文献２では、ズームの際のレンズ位置を離散的な歪み補正パラメータと対応する位置に制限することと、その間を電子ズームで繋ぐことにより、ズーム動作を歪み補正パラメータの補間処理を省略することで撮像装置単体でのズーム動作を実現している。しかし、ズーム動作のような一次元のレンズの動きにのみ適用できることであり、パン、チルト等の多様な動きには適用し難い。すなわち、画像処理によって見え方を変える視点変換には対応できない問題がある。
【００１０】
また歪み補正処理をした後の画像は、視野角が狭くなるので広い領域を一度に認識することは難しくなる。歪み補正処理を行わない画像では、視野角は広くなるがその反面、被写体が歪むことにより距離感や大きさの認識が難しくなる。
【００１１】
特許文献３では、このような問題に対して画角に応じて歪み補正量を異ならせているが、歪み補正量を逐次変更するものではなく、被写体の歪みの改善と、距離感や大きさの正確な認識という２つの問題の双方を解決するものではない。
【００１２】
なお、広角レンズで撮影された歪み無し状態の全体画像から、歪み補正後の画像を生成して表示する場合、最終的な歪み補正後の画像が全体画像のどの部分を表示しているかを明らかにするため、歪み補正状態を少しずつ連続的に変化させつつ表示することが望ましいが、以上の各特許文献は適していないことが判明した。
【００１３】
また、本件出願の発明者が上記特許文献とは別の方式で被写体の歪み補正を行い、歪み補正状態を連続的に少しずつ変化させるように処理したところ、入射角とパラメータとの関係で、歪み補正後の画像に乱れが生じることが明らかになった。すなわち、歪み補正状態を表示する画像中に乱れ（画像不良）があるため、被写体の正確な認識が困難になることを発見した。
【００１４】
本願発明はこのような問題に鑑み、被写体の正確な認識を図ること、及び、比較的小規模な回路で、処理時間の短縮化を図ることが可能な、画像処理方法、画像処理装置及び撮像装置提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記の目的は、下記に記載する発明により達成される。
【００１６】
（１）光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法において、ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み補正係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第２ステップと、前記第２ステップで算出された画像データによる表示用画像を出力する第３ステップと、を有し、前記第２ステップで用いられる前記歪み補正係数には、少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出され前記光学系により生ずる歪みを補正するための第１歪み補正係数と、前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高であって前記歪みを補正しない第２歪み補正係数が含まれており、前記第２ステップには、第２歪み補正係数が所定の値以上となる最小入射角がある場合、前記最小入射角より大きな入射角に対応する領域の画素を避けるように前記仮想投影面を変更するステップを含む、ことを特徴とする。
【００１７】
また、光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置または撮像装置であって、歪み補正係数を記憶する記憶部と、位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、を有し、前記記憶部には、記憶される前記歪み補正係数として少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出され前記光学系により生ずる歪みを補正するための第１歪み補正係数並びに前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高であって前記歪みを補正しない第２歪み補正係数を有し、前記画像処理部は、第２歪み補正係数が所定の値以上となる最小入射角がある場合、前記最小入射角より大きな入射角に対応する領域の画素を避けるように前記仮想投影面を変更する、ことを特徴とする。
【００１８】
（２）以上の（１）において、前記第３ステップは段階的に歪みが補正された画像データの表示用動画像を出力するものであって、前記第２ステップにおいて前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出する、ことを特徴とする。
【００１９】
また、以上の（１）において、前記画像信号出力部は段階的に歪みが補正された画像データの表示用動画像を出力するものであって、前記画像処理部は、前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出する、ことを特徴とする。
【００２０】
（３）以上の（１）〜（２）において、前記第３ステップは段階的に歪みが補正された画像データの表示用動画像を出力するものであって、前記第２ステップにおいて前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出し、前記第２ステップで、第２歪み補正係数が所定の値以上となる最小入射角がある場合に該最小入射角より大きな入射角に対応する領域を避けるように前記仮想投影面を変更する際に、前記第１ステップで用いる前記位置及び前記サイズのいずれか少なくとも一つに基づいて前記仮想投影面の変更量を決定する、ことを特徴とする。
【００２１】
また、以上の（１）〜（２）において、前記画像信号出力部は段階的に歪みが補正された画像データの表示用動画像を出力するものであって、前記画像処理部は、前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出し、
第２歪み補正係数が所定の値以上となる最小入射角がある場合に該最小入射角より大きな入射角に対応する領域を避けるように前記仮想投影面を変更する際に、前記第１ステップで用いる前記位置及び前記サイズのいずれか少なくとも一つに基づいて前記仮想投影面の変更量を決定する、ことを特徴とする。
【００２２】
（４）以上の（１）〜（３）において、前記第１ステップでは、ワールド座標系の仮想投影面の第１位置と第２位置を設定し、前記第２ステップでは、初期の前記第２位置と前記第２歪み補正係数、最終の前記第１位置と前記第１歪み補正係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み補正係数、と段階的に切り替えて用いて仮想投影面の画像データを算出する、ことを特徴とする。
【００２３】
また、以上の（１）〜（３）において、ワールド座標系の前記仮想投影面は第１位置と第２位置が設定されており、前記画像処理部は、初期の前記第２位置と前記第２歪み補正係数、最終の前記第１位置と前記第１歪み補正係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み補正係数、と段階的に切り替えて用いて仮想投影面の画像データを算出する、ことを特徴とする。
【００２４】
（５）以上の（１）〜（４）において、前記第２歪み補正係数は、以下の条件式(1)で表される、ことを特徴とする。
Ｌ２＝（（ExportImageSize/2）／（tan(focal/2)））×tanθ …式(1)
ここで、
ExportImageSize：表示部で表示する出力画像の長辺の長さ，
focal：設定された仮想投影面の長辺方向における画角，
である。
【００２５】
（６）以上の（１）〜（５）において、前記仮想投影面の変更は視点変換として行う、ことを特徴とする。
【発明の効果】
【００２６】
本願発明では、光学系のレンズの物理的特性に基づいて算出された第１歪み補正係数と光学系への入射角を変数とする関係式により算出された第２歪み補正係数のいずれか少なくとも一方を用いて画像データを算出する際に、被写体の正確な認識を図ること及び、比較的小規模な回路で、処理時間の短縮化を図ることが可能となり、仮想投影面を変更することにより、広角レンズへ非常に大きな角度で入射する事による画像処理上の制限で生ずる画像不良に起因する被写体の誤認識を、簡易的な方法で、しかも効果的に軽減することができる。
【図面の簡単な説明】
【００２７】
【図１】本実施形態に係る歪曲補正を説明する模式図である。
【図２】仮想投影面ＶＰの位置を移動させた例を示す説明図である。
【図３】撮像装置の概略構成を示すブロック図である。
【図４】本実施形態の制御フローを示すフローチャートである。
【図５】入射角θと、撮像素子面ＩＡ上の像高ｈとの関係を示す特性図である。
【図６】光学的範囲に仮想投影面ＶＰを設定した状態を示す説明図である。
【図７】第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２での像高ｈとの関係を示す模式図である。
【図８】入出力画像の例を示す説明図である。
【図９】歪補正率あるいは、歪補正率と視点変換率を所定の周期で変更する例を示す説明図である。
【図１０】カメラ座標系の画像中心ｏを回転中心として仮想投影面ＶＰの位置を変更する例である。
【図１１】仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。
【図１２】歪み補正係数の飽和・不連続の状態を示す特性図である。
【図１３】歪み補正係数の飽和・不連続の影響による画像不良を写真画像で示す説明図である。
【図１４】本実施形態のブラックアウトポイントを示す特性図である。
【図１５】本実施形態のブラックアウトポイントを示す特性図である。
【図１６】本実施形態で仮想投影面を変更する様子を示す説明図である。
【図１７】カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。
【図１８】歪み補正処理を説明する模式図である。
【図１９】本実施形態を適用した処理画像の表示例を写真画像で示す説明図である。
【発明を実施するための形態】
【００２８】
以下、本発明を実施の形態に基づいて説明するが、本発明は該実施の形態に示される具体例に限られるものではない。
【００２９】
〔Ａ〕座標系：
図１は、本実施形態に係る歪曲補正を説明するための座標系を示す模式図である。
【００３０】
この図１において、Ｘ、Ｙ、Ｚは空間の中での物体の位置を示すための座標系としてのワールド座標系であり、原点Ｏは光学系のレンズ中心である。ここで、Ｚは光軸、ＸＹ平面はレンズ中心Ｏを通るレンズ中心面ＬＣを含んでいる。点Ｐはワールド座標系ＸＹＺにおける被写体の物点である。θは光軸（Ｚ軸に一致）に対する入射角である。
【００３１】
一方、ｘ、ｙはカメラを基準としたカメラ座標系であり、ｘｙ平面は撮像素子面ＩＡに対応する。ｏは光学中心であり光軸Ｚと撮像素子面との交点である。点ｐはカメラ座標系における撮像素子面上の点であり、物点Ｐをレンズの物理的特性に基づくパラメータ（以下、「レンズパラメータ」という）に基づく歪み補正係数（後述の第１歪み補正係数Ｌ１に相当）を用いてカメラ座標系に変換したものである。
【００３２】
図１において、ＶＰは仮想投影面である。仮想投影面ＶＰは光学系のレンズ位置（レンズ中心面ＬＣ）に対して撮像素子（及び撮像素子面ＩＡ）とは反対側に設定される。仮想投影面ＶＰは、ユーザによる操作部１３０（図３のブロック図を参照）への指示に基づいて、位置の移動及びサイズの変更を行うことが可能である。なお、本願明細書において「位置変更」とは、仮想投影面ＶＰをＸＹ平面上で平行移動させる場合のみならず、ＸＹ平面に対する角度変更（姿勢変更ともいう）をも含む概念である。
【００３３】
初期状態（初期の位置設定のこと、以下同様）において仮想投影面ＶＰは、所定サイズでレンズ中心面ＬＣと平行（ＸＹ方向）の所定位置（Ｚ方向）に配置され、仮想投影面ＶＰの中心ｏｖはＺ軸上に位置している。Ｇｖは物点Ｐが仮想投影面ＶＰ上に投影された点であり、物点Ｐとレンズ中心Ｏを通る直線と仮想投影面ＶＰとの交点である。
【００３４】
図２は、操作部１３０の入力に基づいて、仮想投影面ＶＰ０をＸＺ平面上で回転させて、仮想投影面ＶＰ１とした状態を示している。
【００３５】
〔Ｂ〕構成：
図３は、本実施形態で使用される撮像装置の概略構成を示すブロック図である。撮像装置は、撮像ユニット１１０、制御装置１００、表示部１２０、操作部１３０を備え構成されている。
【００３６】
撮像ユニット１１０は、短焦点のレンズ、撮像素子等を備えて構成される。本実施形態においては、短焦点のレンズとしては例えば広角レンズ、魚眼レンズがある。
【００３７】
制御装置１００は、画像処理部１０１、設定部１０２、記憶部１０３を備えて構成される。
【００３８】
設定部１０２では、操作部１３０への入力指示に基づいて仮想投影面ＶＰの位置、サイズの設定を行う。
【００３９】
画像処理部１０１では、設定された仮想投影面ＶＰの位置、サイズに基づいて仮想投影面上の各座標のカメラ座標系への変換テーブルを作成し、当該変換テーブルを用いて撮像ユニット１１０で撮影した画素データを処理して表示部１２０に表示させる画像データの作成を行う。すなわち、画像処理部１０１は、レンズデータに基づいてワールド座標の位置がカメラ座標のどの座標位置に対応するかを当てはめる座標変換を行う。この際に、歪み補正及び、仮想投影面ＶＰの位置の計算にともなう回転、平行移動、拡大、縮小が併せて行われる。また画像処理部１０１は、表示用の画像信号の出力を行う画像信号出力部としても機能する。
【００４０】
記憶部１０３には、撮像ユニット１１０のレンズ（実レンズ）の物理的特性及び設定された仮想投影面からの入射光の入射角に基づくレンズ物理的特性に係るパラメータにより算出された係数、すなわち光学系で生ずる歪みを補正するための係数である第１歪み補正係数Ｌ１と、当該歪みの補正を行わないための係数に相当する、設定された仮想投影面からレンズへ入射する入射光の入射角の正接関数を変数として算出される、前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高である、第２歪み補正係数Ｌ２とが記憶されている。
【００４１】
また記憶部１０３は、仮想投影面ＶＰの位置、サイズ及び作成した変換テーブルの記憶も行う。なお歪み補正係数は、レンズのキャリブレーションデータの取得やレンズのｆθ特性に基づく計算等により求めることができる。
【００４２】
なお、本実施形態でいう「歪み補正を行わない」とは、実質的に、撮像されたままの歪みが生じているものを言い、歪み補正が良好に行われているものから若干劣るものを指すものではない。
【００４３】
表示部１２０は、液晶ディスプレイ等の表示画面を備え、撮像ユニット１１０で撮影した画素データに基づいて画像処理部１０１で作成した画像データに基づく表示用画像を逐次、表示画面に表示させる。
【００４４】
操作部１３０は、キーボード、マウス、あるいは表示部の液晶ディスプレイに重畳して配置されたタッチパネル等を備え、ユーザの入力操作を受け付ける。
【００４５】
〔Ｃ〕制御：
以下、図４のフローチャートを参照して、本実施形態の制御を説明する。なお、本制御フローチャートにより、連続して入力する入力画像を処理して連続的に出力画像を表示部１２０に表示させることにより動画を表示するものである。
【００４６】
〔Ｃ−１〕設定、入力：
まず、仮想投影面の設定、視点変換の設定、歪み補正条件の設定などが入力される（図４中のステップＳ１０１）。なお、これが第１ステップである。これら、各種の設定は、ユーザによる操作部１３０への入力指示に基づいて、設定部１０２により仮想投影面ＶＰのワールド座標系における位置、サイズを設定することにより行われる。また、撮像ユニット１１０で使用するレンズの特性などは記憶部１０３から読み出される。
【００４７】
そして、撮像ユニット１１０から画像信号が入力され、例えばフレームレート６０ｆｐｓで入力画像が制御装置１００に取り込まれる（図４中のステップＳ１０２）。
【００４８】
〔Ｃ−２〕仮想投影面計算：
ここで、画像処理部１０１では、設定された条件に基づいて並進ベクトルや回転ベクトルの計算を行ってユーグリッド変換を行うことで、仮想投影面ＶＰの位置の計算を行う（図４中のステップＳ１０３）。なお、この仮想投影面計算と後述する歪み補正係数の取得と歪み補正処理とが、第２ステップである。
【００４９】
〔Ｃ−３〕歪み補正係数の取得：
そして、画像処理部１０１は、レンズデータに基づいてワールド座標の位置がカメラ座標のどの座標位置に対応するかを当てはめる座標変換を行うための、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２を取得する（図４中のステップＳ１０４）。
【００５０】
ここで画像処理部１０１が取得する歪み補正係数には、光学系で生ずる歪みを補正するための係数であるレンズの物理的特性に係るパラメータ及び設定された仮想投影面からの入射光の入射角に基づいて決定された第１歪み補正係数Ｌ１と、光学系への設定された仮想投影面から入射する入射光の入射角θ（図１参照）の正接関数を変数として算出される、前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高である第２歪み補正係数Ｌ２が含まれている。なお、第２歪み補正係数Ｌ２とは、歪み補正を行わないに相当する歪み補正係数であり詳細は後述する。
【００５１】
なおここでの第１歪み補正係数Ｌ１は、ユーザが必要に応じて、例えば１フレーム毎に随時書き換える事ができる構成としても良い。即ち、設定部１０２において第１ステップ時の仮想投影面の位置及び画面サイズを入力する事で第１歪み補正係数Ｌ１を取得する他に、第１歪み補正係数Ｌ１の値を直接変更するよう、パラメータ入力できる構成とし、これによりカメラ座標上の画素とワールド座標上の対応画素との関係を任意に変更するような構成としても良い。
【００５２】
このように書き換えた第１歪み補正係数Ｌ１と仮想投影面上の座標、画面サイズから入射角と光軸とが交わる光軸中心からの像高位置を変更する事も本発明の場合、可能である。
【００５３】
これによりカメラ座標上の対応する画素位置（領域）を予め固定しておく場合と比べて、様々な光学系に柔軟に対応できると共に、カメラ座標上の画素位置（領域）に依存しない様々な歪補正条件を採用する事ができる、という効果を奏する。
【００５４】
さらに、画像処理部１０１は、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２との間を補間して滑らかに座標変換を実行するように、複数段階の第３歪み補正係数Ｌ３を取得する（図４中のステップＳ１０５）。
【００５５】
〔Ｃ−３−１〕歪み補正係数の説明：
以下、歪み補正係数について説明する。
【００５６】
〔Ｃ−３−１−１〕第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２の説明：
ここで、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２とについて、図５以降を参照して説明する。
【００５７】
図５は、入射角θを横軸として、撮像素子面ＩＡ上の光軸Ｚと交わる光学中心ｏからの像高ｈ（ｗ２ｃ値）を縦軸とした関係を示す特性図である。
【００５８】
この図５において、第１歪み補正係数Ｌ１（図５実線）、第２歪み補正係数Ｌ２（１点鎖線）、Ｌ１とＬ２の補間による第３歪み補正係数Ｌ３（２点鎖線）、のそれぞれについて、入射角θと像高ｈとの関係を表示している。
【００５９】
また、図６は光学系によって決まる光学的範囲に仮想投影面ＶＰを設定した状態を示している。そして、図７は、第１歪み補正係数Ｌ１、第２歪み補正係数Ｌ２におけるそれぞれの像高ｈ（ｈ１、ｈ２で表示）の関係を示す特性図である。これら、図６、図７において、図１と共通する部位については共通する符号を付与させている。
【００６０】
図５の特性図に示すように、第２歪み補正係数Ｌ２では、入射角θに対応した歪曲収差が生じ、入射角θが大きくなるほど像高ｈ（ｗ２ｃ値）が大きくなり、歪曲収差の量も大きくなる。つまり、歪補正率＝０％であり、当該係数を用いる事で光学系に応じた歪みがそのまま補正されていない画像データが得られる。
【００６１】
一方、図５の特性図において、第１歪み補正係数Ｌ１はレンズによる歪曲収差の影響を打ち消すように歪補正率＝１００％として設定した歪み補正係数であり、主に撮像ユニット１１０のレンズの物理的な特性及び設定された仮想投影面から光学系に入射する入射光の入射角により決定される係数である。
【００６２】
また、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２の補間による第３歪み補正係数Ｌ３は、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２との補間割合に応じて歪補正率が決定される。なお、第３歪み補正係数Ｌ３と補間割合については後述する。
【００６３】
ここで、第２歪み補正係数Ｌ２は、光学系への入射角θを変数として算出される、前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高に関する歪み補正係数であり、関係式としては例えば以下の式(1)を用いている。なお、式(1)を数倍にすれば出力画像の拡大縮小を容易に行う事ができるというメリットがある。
Ｌ２＝（（ExportImageSize/2）／（tan(focal/2)））×tanθ …式(1)，
この式(1)においては、「ExportImageSize」とは、表示部で表示する出力画像の長辺（通常は水平方向、ｘ）の長さであり、単位はpixelである。またこれは仮想投影面ＶＰの長辺のサイズと一致している。
【００６４】
また、この式(1)において、「focal」は設定された仮想投影面の長辺方向における画角を意味している。ここで、図６を参照して「focal」について説明する。図６においてωは、光学的範囲に対応する光学的画角であり、「focal」とは仮想投影面ＶＰの長辺方向における画角のことである。なお、式(1)に替えて、正射影や等距離射影の関係式を用いても良い。また「focal」はユーザが任意に設定する光学的範囲の内、表示範囲に相当するものであり、必ずしも画角の長辺方向でなくても良い。
【００６５】
なお、魚眼レンズ等の超広角レンズでは入射角が９０°を超える場合もある。この場合に、上述した式(1)では入射角が９０°を超えるとtanθの符号が反転してしまうため、第２歪み補正係数Ｌ２の本来の値とは乖離してしまう。このため、本実施形態では、上述した式(1)にかかわらず、入射角が９０°を超えた領域では、像高（ｗ２ｃ値）が無限大であるものとして計算を行う。
【００６６】
また、本実施態様においては上記条件式(1)で説明しているが、条件式は必ずしもこれに限定されず、要は入射角θを変数とした像高、つまり光学中心からのカメラ座標上の距離を算出する条件式であれば良い。
【００６７】
図７は、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２での像高ｈとの関係を示す模式図である。像高ｈは、図５に示すように入射角θと補正係数で決定される。第２歪み補正係数Ｌ２では被写体（物点Ｐ）の像高（光軸Ｚからの距離）と撮像素子面ＩＡ上における像高ｈとは比例する関係となる。また第１歪み補正係数Ｌ１の像高ｈ１に比べて第２歪み補正係数Ｌ２における像高ｈ２は、図７に示されるように長くなる。
【００６８】
ここで、上述した第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２の意味を明らかにするため、入力画像、上述した第１歪み補正係数Ｌ１により処理された画像、第２歪み補正係数Ｌ２により処理された画像、の例を図８に示す。
【００６９】
なお図８においては、仮想投影面ＶＰが初期状態に設定されている場合の例を示している。図８（ａ）は矩形の壁面に設置された長方形のチャートを、広角レンズを備えた撮像ユニット１１０で得られた入力画像である。また、図８（ｂ）は第１歪み補正係数Ｌ１を用いて後述する歪み補正処理を行った場合の出力画像、図８（ｃ）は第２歪み補正係数Ｌ２を用いて後述する歪み補正処理を行った場合の出力画像、の一例である。
【００７０】
図８（ｂ）に示す例では入力画像での歪曲した曲線は直線となるように補正されていることがわかる。一方で図８（ｃ）に示すように第２歪み補正係数Ｌ２により歪み補正処理した場合には、出力画像は図８（ａ）に示す入力画像とほぼ同一である。つまり歪み補正を行わない場合と同等の出力画像が得られていることがわかる。
【００７１】
なお、第３歪み補正係数Ｌ３を用いて歪み補正処理を行うと、後述するように、図８（ｂ）と図８（ｃ）の中間の歪み補正状態の画像が得られる。
【００７２】
〔Ｃ−３−１−２〕歪み補正係数Ｌ３の説明：
ここで、第３歪み補正係数Ｌ３について説明する。歪み補正係数の算出にあたり、歪補正率（DistRatio）を変更することにより、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２との補間によって算出する第３歪み補正係数Ｌ３を段階的に切り替え可能に算出している。
【００７３】
また、この実施形態では更に、仮想投影面ＶＰの位置も第１位置Ｖ１と第２位置Ｖ２との補間によって算出する第３位置Ｖ３も視点変換率（VCRatio）の変更に合わせて段階的に切り替えている。視点変換の具体例については後述する。
【００７４】
なお第３歪み補正係数Ｌ３、第３位置Ｖ３は、以下の式(2)、式(3)により算出している。
【００７５】
Ｌ３＝DistRatio／１００×Ｌ１＋（１−DistRatio／１００）×Ｌ２ …式(2)，
但し、０≦DistRatio／１００≦１である。
【００７６】
Ｖ３＝VCRatio／１００×Ｖ１＋（１−VCRatio／１００）×Ｖ２ …式(3)，
但し、０≦VCRatio／１００≦１である。
【００７７】
ここで、条件設定（図１中のステップＳ１０１）で設定された処理時間に対応して、歪補正率と視点変換率を算出する。例えば１０ｓｅｃを１サイクルに設定している場合には、時間が基準の０．０ｓｅｃであれば歪補正率と視点変換率はともに０％、時間が５．０ｓｅｃであれば歪補正率と視点変換率はともに５０％、時間が１０．０ｓｅｃであれば歪補正率と視点変換率はともに１００％、となる。
【００７８】
このようにして算出した歪補正率から、上述した式(2)に基づいて歪補正係数Ｌ３を算出する。なお、歪補正率が０％の場合には第２歪み補正係数Ｌ２そのもの、１００％の場合には第１歪み補正係数Ｌ１そのものとなる。
【００７９】
また、視点変換率から、仮想投影面ＶＰの第３位置の算出を行う。なお第２歪み補正係数Ｌ２に対応する仮想投影面ＶＰの初期状態の位置である第２位置と、第１歪み補正係数Ｌ１に対応する仮想投影面ＶＰの最終位置である第１位置は、ステップＳ１０１で設定されたものである。すなわち、第３位置の算出は、仮想投影面ＶＰの第１位置と第２位置の座標を、視点変換率を用いることで、式(3)により算出する。
【００８０】
ここで、歪補正率あるいは、歪補正率と視点変換率を所定の周期で変更する例を図９に示す。
【００８１】
図９（ａ）は、１０ｓｅｃを１周期として歪補正率の変更により第３歪み補正係数Ｌ３を１秒ごとに１０ポイントずつ段階的に変更する例である。なお、図９（ａ）の例では視点変換は行っていない。
【００８２】
図９（ｂ）は、１０ｓｅｃを１周期として歪補正率の変更により第３歪み補正係数Ｌ３を１秒ごとに１０ポイントずつ段階的に変更する例である。また視点変換率を変更することにより第３位置Ｖ３も段階的に変更している。図９（ｂ）の例では視点変換率の変更にともない歪補正率も変更している。なお、図９（ａ）、図９（ｂ）においては１０ｓｅｃ周期、全１１段階で変更した例を示しているがあくまでも例示であり、周期を任意に変更したり、これよりも細かく多段階に変更したりしてもよい。
【００８３】
〔Ｃ−３−１−３〕仮想投影面ＶＰの変更と視点変換：
ここで、視点変換について説明する。図１０は、カメラ座標系の画像中心ｏを回転中心（若しくは移動中心）として仮想投影面ＶＰ０の位置を変更する例である。この図１０に示すように画像中心ｏを回転中心としてｘ軸回りの回転が実ｐｉｔｃｈ（ｔｉｌｔ：チルトともいう）であり、ｙ軸回りの回転が実ｙａｗ（ｐａｎ：パンともいう）、Ｚ軸回りの回転が実ｒｏｌｌである。
【００８４】
図１１は、入力された回転量の設定値に基づいて仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。仮想投影面ＶＰ０上の直交する関係となる２軸の一方をＹａｗ−ａｘｉｓ、他方をＰ−ａｘｉｓとして設定する。両者は中心ｏｖを通る軸であり、中心ｏｖを回転中心としてＹａｗ−ａｘｉｓ回りの回転を仮想ｙａｗ回転、Ｐ−ａｘｉｓ回りの回転を仮想ｐｉｔｃｈ回転という。以下においては仮想カメラＣａ０を回転あるいは位置変更させたことに相当する視点変換が行われる。
【００８５】
図９（ｂ）における、第２位置Ｖ２は初期状態の位置に設定している。このときの仮想投影面ＶＰはＸＹ平面と平行でありその中心ｏｖは光軸Ｚ上にある（図１０、図１１のＶＰ０の位置に相当）。第１位置Ｖ１は、仮想ｐｉｔｃｈ及び実ｐｉｔｃｈがともに４５度で両者を合わせて９０度に設定した例である。この場合、被写体を見下ろすように視点変換がなされる。なお位置変更の組み合わせはこれに限られず、平行移動、実ｐｉｃｔｈ、実ｙａｗ、実ｒｏｌｌ、仮想ｐｉｔｃｈ、仮想ｙａｗ、の何れかあるいはこれらを組み合わせても良い。
【００８６】
〔Ｃ−４〕歪み補正係数の不連続性の解析と対策：
以下、図５に示した歪み補正係数を用いることによって発生しうる画像不良について、図１２以降を参照して説明する。なお、この図１２でも、入射角が９０°を超える超広角レンズに配慮し、上述した式(1)にかかわらず、入射角が９０°を超えた領域では、本来の像高（ｗ２ｃ値）が無限大であるものとして計算を行う。
【００８７】
〔Ｃ−４−１〕第２歪み補正係数Ｌ２の飽和：
図５では理想的な歪み補正係数について説明していたが、第２歪み補正係数Ｌ２はtanθの関数であり、入射角θが９０°に近づくにつれ像高としてのｗ２ｃ値が急激に増大する。
【００８８】
つまり、第２歪み補正係数Ｌ２は入射角が９０度を超えなくても無限大にはならないまでも非常に大きな値となる。そのため画像処理部１０１の演算処理能力によって制限を受けることがある。たとえば、画像処理部１０１においてｗ２ｃ値一つあたりに確保されているデータサイズが９ビットの処理能力である場合には、処理可能最大値は５１１であり、５１１を超える値については５１１として処理される。このため、第２歪み補正係数Ｌ２による像高ｈ（ｗ２ｃ値）は、図１２０の（ａ）のように飽和した特性になる。つまり、第２歪み補正係数Ｌ２はtanθの関数であるため、入射角θが９０°以上又は９０°に近づいてｗ２ｃ値が急激に増大すると、処理能力の影響で飽和して第２歪み補正係数Ｌ２は不連続な曲線となる。
【００８９】
〔Ｃ−４−２〕第３歪み補正係数Ｌ３への影響：
上記の飽和特性は、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２との補間により生成される第３歪み補正係数L３についても同様に影響を受けることになる。すなわち、図１２に示すように、第２歪み補正係数Ｌ２の飽和の影響を受ける事で補間値である（ｂ）の領域で第３歪み補正係数Ｌ３による像高ｈも同様に飽和して不連続となり変形する。
【００９０】
〔Ｃ−４−３〕画像への影響：
第２歪み補正係数Ｌ２が飽和して第３歪み補正係数Ｌ３が不連続になると、このような歪み補正係数を用いて歪み補正処理した場合には、歪み補正係数の飽和や不連続に対応して、対応する入射角の範囲内で画像不良が発生することがある。以下、画像不良について説明する。
【００９１】
〔Ｃ−４−３−１〕画像不良（１）：
たとえば、図１３の一点鎖線（ａ）で囲んだ範囲に示すように、歪み補正係数の飽和や不連続に対応する入射角の範囲内で、帯状の色のにじみ等により、本来は存在しない画像（偽画像）となって現れてくる。この画像不良のため、従来は被写体の正確な認識が困難になる場合があった。
【００９２】
この偽画像による画像不良は、計算の途中において飽和したｗ２ｃ値がオーバーフローして０として扱われ、その結果としてｗ２ｃ＝０に相当する光軸中心座標（像高＝０）付近の画素が飽和した入射角の位置に出現する現象である。
【００９３】
なお、図１３では、歪み補正処理と共に視点変換を行った状態を示すが、視点変換を行わずに歪み補正処理のみを行った場合でも、第２歪み補正係数Ｌ２の飽和や第３歪み補正係数Ｌ３の不連続の影響により、対応する入射角のいずれかの領域において同様な画像不良が発生する。
【００９４】
また、この画像不良は入射角が一定以上の領域で発生するものであるため、図１３（ａ）のような直線帯状ではなく、画像の歪みに合わせた曲線形状で出現することもあり得る。
【００９５】
〔Ｃ−４−３−２〕画像不良（２）：
また、図１２の領域（ｂ）において、第３歪み補正係数Ｌ３の傾きが本来の状態より小さくなっていることに起因して、本来より小さい値が指定された状態になり、中心から外側に広がるように「にじみ」として観察されうる画像不良も存在している。なお、この場合は、「にじみ」薄く広がっているため、図１３では特定の箇所を示していない。
【００９６】
〔Ｃ−４−３−３〕画像不良（３）：
また、歪み補正処理や視点変換処理などの画像処理により、元々は存在しない画素が、図１３（ｂ）の破線で囲んだ領域のように黒色の領域として出現する。同様にして、撮像ユニット１１０のレンズの画角外の領域が、図１３（ｂ）の破線で囲んだ領域のように灰色の領域として表示される。
【００９７】
これら黒色領域や灰色領域は、歪み補正率や視点変換の度合いに応じて形や大きさが変化することになり、被写体の認識にとって邪魔な存在になる。また、この黒色領域や灰色領域は、上述した帯状の画像不良や滲みによる画像不良と同様に、入射角が一定以上の領域で発生するものであり、画像不良として扱うことが可能である。
【００９８】
〔Ｃ−４−４〕ブラックアウトポイント：
本実施形態においては、図１２に示されるようにこのように第２歪み補正係数Ｌ２が取得される事で画像不良が発生する可能性が高い飽和領域の画素データが存在する場合に、後述する仮想投影面変更をすることで、画像不良が可視化しないようにする。なお、仮想投影面変更の内容については後述する。そして、このような後述する仮想投影面変更の対象である画素データか否かを判断するための閾値としてブラックアウトポイントを設定している。
【００９９】
なおブラックアウトポイントbopとは、第２歪補正係数において前述した画像処理の制限の関係でｗ２ｃ値が所定値以上に飽和する点をいい、このbopに対応する最小の入射角をθbopとしている。そして、仮想投影面変更は、このようなθbopよりも大きな入射角に対応する画素が存在する場合に適用する。また第１歪み補正係数と第２歪み補正係数との補間によって得られる第３歪み補正係数を用いて段階的に歪み補正の度合いを変更するような場合には、bopを通る所定の境界線を設定して、このbopを通る所定の境界線に基づいて判別される第３歪み補正係数の所定の入射角を第２のブラックアウトポイントとし、当該入射角よりも大きい入射角に対応する画素が存在する場合に同様に仮想投影面変更を行う。なおbopを通る所定の境界線も、飽和する領域に設定されて、飽和するｗ２ｃ値を仮想投影面変更するかしないかの閾値である。例えば本実施形態においては図１４、図１５の第２歪み補正係数L2における（ｃ）点がbopであり、境界線は図１４では入射角θの軸に直交する直線が設定されている。同様に図１５でも（ｃ）点がbopであり、このbopを通り所定の傾きをもって設定された直線が境界線である。
【０１００】
ここで、画像処理部１０１は、図１４（ａ）のように第２歪み補正係数Ｌ２が飽和した場合に、ブラックアウトポイントbopを通る境界線として、θbopにおける第２歪み補正係数Ｌ２（図１４（ｃ））におけるｗ２ｃ値、第２のブラックアウトポイントとしてθbopにおける第３歪み補正係数Ｌ３（図１４（ｄ１）〜（ｄ４））におけるｗ２ｃ値、第３のブラックアウトポイントとしてθbopにおける第１歪み補正係数Ｌ１（図１４（ｄ５））におけるｗ２ｃ値、を取得する（図４中のステップＳ１０６）。但し第１歪み補正係数Ｌ１では、第２歪み補正係数Ｌ２の飽和の影響を受けない。
【０１０１】
なおこの図１４のようなbopを通る境界線は、入射角が９０度を超えないような、比較的レンズの画角が狭い光学系仕様の場合や、視点変換がない場合、Ｌ２とＬ１との間の変化の時間が短い場合やユーザが飽和によるエラー画素を生じさせない方を重視させる場合に有用である。
【０１０２】
また、ブラックアウトポイントbopを通る境界線の別態様としては、図１５（ａ）のようにθbopと、撮像ユニット１１０のレンズの最大入射角θbop2とを求め、ブラックアウトポイントbop（図１５の（ｃ）点）とθbop2における第１歪み補正係数Ｌ１（図１５の（ｆ）点）とを結ぶ線をブラックアウトを通る境界線line_bop（図１５中の破線）とする事が可能である。そして画像処理部１０１は、bopにおけるｗ２ｃ値、第２のブラックアウトポイントとしてline_bopと交差する第３歪み補正係数Ｌ３（図１５の（ｅ１）〜（ｅ４）点）におけるｗ２ｃ値、第３のブラックアウトポイントとしてθbop2における第１歪み補正係数Ｌ１（図１４の（ｆ）点）におけるｗ２ｃ値、を取得する（図４中のステップＳ１０６）。この場合、第３歪み補正係数Ｌ３が第１歪み補正係数Ｌ１に近づくにつれて、補間比率の関係で第２歪み補正係数Ｌ２の飽和の影響を受けなくなるため、仮想投影面変更する入射角を徐々に大きくしている。このような境界線は、入射角が９０度を超える広入射角の光学系仕様の場合など、入射角が飽和領域の一部の値を用いる場合や、視点変換の角度が大きい場合、画像の急激な変化が好ましくない場合等に有用である。
【０１０３】
そしてこのようにブラックアウトポイントを通る境界線を適宜設定する事で、前述した仮想投影面変更するかどうかの閾値が設定されるため、後段の歪補正処理において各歪み補正係数によりカメラ座標系の各画素データに対応づけられたワールド座標系の各画素データを用いるか、それとも仮想投影面変更するかを判別して、該当する場合については仮想投影面変更を適用する。
【０１０４】
〔Ｃ−４−５〕画像不良対策：
ここで、θbは図１４〜図１５のように入射角が９０°に近い値であり、図１３（ａ）の画像具体例で示したように、画像の隅で発生する。このため、仮想投影面ＶＰを変更して視点変換することで、画像不良領域を避けることが可能である。
【０１０５】
たとえば、図１３（ａ）のように画面下端部付近に発生する画像不良に対しては、図１６（ａ）に示すように、仮想投影面ＶＰ０を画像不良と反対側である上方に変更することで、画像不良を含まないようにすることが可能である。
【０１０６】
同様に、図１３（ａ）のように画面下端部付近に発生する画像不良に対して、図１６（ｂ）に示すように、仮想投影面ＶＰ０を光軸に沿って仮想カメラＣａ側に近づけるよう変更することで、端部の画像不良が撮像範囲外にはみ出すため、結果として画像中に画像不良を含まないようにすることが可能である。
【０１０７】
なお、このような画像不良領域における仮想投影面変更は、以上の図１３（ａ）の仮想投影面の位置や角度による変更、図１３（ｂ）の画角による仮想投影面のサイズの変更について単独でなく、組み合わせることも可能であり、いずれか少なくとも一つにより仮想投影面の変更を行えばよい。また、これらの仮想投影面変更による画像の具体例は、後に詳しく説明する。
【０１０８】
すなわち、画像処理部１０１は、上述したθｂに基づいて、仮想投影面の変更量ＯＦｖｐを算出する（図４中のステップＳ１０７）。なお、この仮想投影面の変更量ＯＦｖｐには、仮想投影面の変更方向と変更量とが含まれる。図１４のようにθｂが１種類の場合には変更量ＯＦｖｐも１種類であるが、図１５のように歪み補正係数に応じてθｂが異なる場合には、対応するＯＦｖｐもθｂの値に応じて複数種類になる。すなわち、画像処理部１０１は、第３歪み補正係数Ｌ３に含まれる第２歪み補正係数Ｌ２の割合に応じて仮想投影面の変更量ＯＦｖｐを決定する。
【０１０９】
〔Ｃ−５〕歪み補正処理用ＬＵＴ作成：
画像処理部１０１は、各画素が上述した閾値に該当するか否かとは独立に、第１歪み補正係数Ｌ１、第２歪み補正係数Ｌ２、第３歪み補正係数Ｌ３、仮想投影面変更量ＯＦｖｐについて、各補正率と入射角θとに応じたｗ２ｃ値から、仮想投影面ＶＰの座標をワールド座標系からカメラ座標系に変換する際の歪み補正処理に用いるＬＵＴを作成する（図４中のステップＳ１０８）。そして生成されたＬＵＴは記憶部１０３に記憶される。
【０１１０】
なお、歪補正率毎に異なるＬＵＴを設けても良いし、１つのＬＵＴに複数の歪補正率に対応したデータを格納してもよい。
【０１１１】
ここで、図１７（ａ）は、ワールド座標系を説明する模式図である。図１７（ａ）に示すようにワールド座標系における仮想投影面ＶＰの４隅の点Ａ（０，０，Ｚａ）、点Ｂ（０，４７９，Ｚｂ）、点Ｃ（６３９，４７９，Ｚｃ）、点Ｄ（６３９，０，Ｚｄ）で囲まれる平面を等間隔で６４０×４８０pixelの画素Ｇｖ（総画素数３０．７万）に分割し、全ての画素Ｇｖそれぞれのワールド座標系における座標を取得する。なお、この図１７（ａ）におけるＸ、Ｙ座標の値は例示であり、理解を容易にするために、Ａ点のＸ、Ｙ座標をゼロとして表示している。
【０１１２】
画素Ｇｖのワールド座標系での座標と、ステップＳ１０４〜Ｓ１０５で取得した歪み補正係数から、撮像素子面ＩＡでの対応するカメラ座標系での座標Ｇｉ（ｘ’，ｙ’）を算出する。具体的には、当該歪み補正係数と各画素Ｇｖの座標から得られる、光軸Ｚに対する入射角度θにより算出している（参考文献：国際公開第２０１０／０３２７２０号）。
【０１１３】
図１７（ｂ）は、カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す説明図である。図１７（ｂ）において点ａ〜ｄは、図１７（ａ）の点Ａ〜Ｄを、第１歪み補正係数Ｌ１を用いて生成されたＬＵＴによりカメラ座標系に変換したものである。
【０１１４】
なお図１７（ａ）では点Ａ〜Ｄで囲まれる仮想投影面ＶＰは矩形の平面であるが、図１７（ｂ）においてカメラ座標系に座標変換した後の点ａ〜ｄで囲まれる領域は（仮想投影面ＶＰの位置に対応して）歪んだ形状となる。なお図１７（ｂ）においては樽型形状に歪んだ例を示しているが、光学系の特性により糸巻型、陣笠型（中央では樽型で端部では直線あるいは糸巻型に変化する形状）の歪みとなる場合もある。
【０１１５】
〔Ｃ−６〕歪み補正処理実行：
画像処理部１０１は、図９のように時間に応じて歪補正率を変えつつ、ＬＵＴを用いて歪み補正処理した画像を生成する（図４中のステップＳ１０９）。
【０１１６】
図１８は、歪み補正処理を説明する模式図である。図１８は画像データの一部を拡大表示したものであり、図示される格子はそれぞれ画素の区切りを示している。
【０１１７】
図１８（ａ）の入力画像データは図１７（ｂ）の一部を拡大表示したものであり、図１７（ａ）〜図１７（ｂ）で説明したように、直線上の被写体は、撮像素子面ＩＡ上では収差の影響で曲線上（図１８（ａ）太枠のＧｉ１〜Ｇｉ３）に入力されることになる。出力画像データの生成は、ＬＵＴを用いて出力画像データの各画素データを、入力画像データの対応する画素データを用いることにより行う。
【０１１８】
ＬＵＴは、各歪補正率に応じた歪み補正係数を考慮して生成されているので、最終的に歪補正率＝１００％の第１歪み補正係数Ｌ１に基づいて生成されたＬＵＴのデータを用いた場合には、当該ＬＵＴの対応関係により画素Ｇｖ１のデータ（例えば輝度信号）は図１８（ａ）の座標（１００，２００）のＧｉ１のデータを参照することになる。Ｇｖ２、Ｇｖ３も同様にそれぞれＧｉ２、Ｇｉ３のデータを参照する。
【０１１９】
また、画像処理部１０１では、各歪補正率において、前述した様にブラックアウトポイントを通る境界線で設定される閾値以上の入射角に対応する画素が存在すると判断された場合には、ＬＵＴに従い仮想投影面変更量ＯＦｖｐに基づいた仮想投影面の変更などの処理を行う。すなわち、第２歪み補正係数Ｌ２が所定の値以上となる最小入射角がある場合、該最小入射角より大きな入射角に対応する領域を避けるように仮想投影面を変更する処理を行う。
【０１２０】
〔Ｃ−７〕画像出力：
画像処理部１０１は、図９のように時間に応じて歪補正率を変えつつＬＵＴを用いて歪み補正処理して生成した画像を表示部１２０に出力し画像表示する（図４中のステップＳ１１０）。たとえば、歪み補正処理により生成された出力画像を表示部１２０に対して、例えばフレームレート３０ｆｐｓ、あるいは６０ｆｐｓで出力して全体の処理を終了する。なお、この画像出力が、第３ステップである。
【０１２１】
このような結果、歪補正率に応じて歪みが補正され、歪補正率＝１００％では図１８（ｂ）に示すように、出力画像データを生成に伴い曲線状の歪みは解消されて、直線の被写体は元の直線として生成（表示）されることになる。
【０１２２】
また、図１８には示されていないが、歪補正率＝０％であれば図１８（ａ）の歪みをそのままのこした形状の画像が出力され、歪補正率が０％より大きく１００％より小さけば図１８（ａ）と図１８（ｂ）の中間の歪みを残した形状の画像が出力される。
【０１２３】
なお、この際に、ステップＳ１０１において仮想投影面ＶＰの設定により視点変換の設定がなされているような場合には、画像処理部１０１でこのような処理も併せて行われることになる。
【０１２４】
〔Ｄ〕歪み補正処理による表示例：
以下、本実施形態の歪み補正処理を適用した場合の表示例を説明する。
【０１２５】
図１９（ａ）〜図１９（ｃ）は、上述したように９０°見下ろす視点変換を伴い、上述した各歪み補正係数により画像処理部１０１で歪み補正処理し、表示部１２０に表示させた表示画像の例である。なお、ここでは、図１９（ａ）が歪み補正率０％、図１９（ｂ）が歪み補正率５０％、図１９（ｃ）が歪み補正率１００％であり、歪み補正処理の途中段階を一部省略している。図１９（ｃ）では、歪補正率が１００％とすることにより画像の歪みは解消されており、また位置の移動により仮想ｐｉｔｃｈ及び実ｐｉｔｃｈがともに−４５ｄｅｇ変更されており被写体を見下ろすように視点変更がなされている。
【０１２６】
なお、図１９（ｂ）では、本実施形態を適用する前の状態であり、第２歪み補正係数Ｌ２の飽和による不正計算結果によって画像不良が生じている状態を示している。
【０１２７】
ここで、図１９（ｂ１）は、図１６（ａ）のように、本実施形態の仮想投影面変更として、仮想投影面を画像不良と反対側である上方に変更することで、画像不良（図１９（ｂ）の帯状ノイズ）を含まないようにした具体例である。この場合、図１９（ｂ１）は、図１９（ｂ）と比較すると、正面のチャートの上部まで写るようになっているが、違和感はほとんど生じない。
【０１２８】
一方、図１９（ｂ２）は、図１６（ｂ）のように、本実施形態の仮想投影面変更として、仮想投影面を光軸に沿って近づけるように位置を変更することで仮想投影面を拡大して、画像不良（図１９（ｂ）の帯状ノイズ）を含まないようにした具体例である。この場合、図１９（ｂ２）は、図１９（ｂ）と比較すると、全体が拡大されているが、違和感はほとんど生じない。
【０１２９】
なお、本図面では明確ではないが、本態様のように周辺部の画像不良を含まないように仮想投影面変更を行う事によって、周辺部に生じる「にじみ」についても効果的に解消される。
【０１３０】
また、上述したようにθｂに基づいて、仮想投影面変更量ＯＦｖｐを算出しているため、仮想投影面の変更は画像不良を含まないようにする最低限の変更で済むため、出力される画像に対する変更は最低限になる。
【０１３１】
なお、以上の図１９（ａ）の仮想投影面の位置や角度による変更、図１９（ｂ）の画角による仮想投影面のサイズの変更については、図１０，図１１のような仮想投影面の回転と図１６のような仮想投影面の並行移動とを適宜組合せたり、それぞれを単独で行って仮想投影面の変更を行うような構成であっても良い。
【０１３２】
以上の処理で、表示部１２０には、図１９（ａ）を初期画像として、途中の歪み補正率に基づいて歪み補正をすると共に画像不良を含まないようにした途中段階の処理済み画像（図１９では詳細省略）を表示しつつ、最終画像の図１９（ｃ）までを一定の速度で表示画像を順次更新しながら表示させている。図９（ｂ）の具体例では、補正率及び位置移動率が低い画像から高い画像まで順に表示させ、これを１０秒周期で繰り返すことになる。
【０１３３】
本実施形態によれば、位置が設定された前記仮想投影面を補正係数によりカメラ座標系に変換し、変換したカメラ座標系の座標及び前記画素の画素データに基づいて前記仮想投影面の画像データの算出を行うに際し、補正係数及び位置のデータを変更させながら画像データの算出を行うことにより、歪補正率変更とともに仮想投影面の位置変更（カメラ視点の変更）を並行して行う場合であっても、別なプロセスを設ける必要がない。新たなリソースの増強を必要とせずに位置変更と歪補正率変更を同時に行うことが可能となる。
【０１３４】
また、本実施形態によれば、歪補正しない出力画像から歪補正を行う出力画像までを歪補正率を段階的に変更することにより歪補正しない出力画像の正確な認識を図ることが容易になり、この際に、歪み補正係数の飽和の影響で発生する画像不良を表示させないことで、被写体の正確な認識を図ることが可能になる。
すなわち、広角レンズへ非常に大きな角度で入射する事による画像処理上の制限で生ずる画像不良による被写体の誤認識を簡易的な方法で、しかも効果的に軽減することができる。
【０１３５】
〔Ｅ〕その他の実施形態：
以上の実施形態において歪み補正率を数段階程度の具体例で示していたが、これに限られるものではない。３０ｆｐｓの表示レートで補正前から補正後まで１０秒の表示を繰り返す場合には、歪み補正係数Ｌ３を３００段階にすることで、各フレーム毎に歪み補正が徐々に変更される滑らかな表示が可能になる。また、この際に、各フレーム毎に画像不良を発生させないように仮想投影面変更を行うことで、被写体の正確な認識を図ることが一層容易になる。
【符号の説明】
【０１３６】
１００ 制御装置
１０１ 画像処理部
１０２ 設定部
１０３ 記憶部
１１０ 撮像ユニット
１２０ 表示部
１３０ 操作部
ＶＰ 仮想投影面
ＬＣ レンズ中心面
ＩＡ 撮像素子面
Ｏ レンズ中心
ｏ 画像中心
Ｌ１ 第１歪み補正係数
Ｌ２ 第２歪み補正係数
Ｌ３ 第３歪み補正係数
【特許請求の範囲】
【請求項１】
光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法であって、
ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み補正係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第２ステップと、
前記第２ステップで算出された画像データによる表示用画像を出力する第３ステップと、を有し、
前記第２ステップで用いられる前記歪み補正係数には、少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出され前記光学系により生ずる歪みを補正するための第１歪み補正係数と、前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高であって前記歪みを補正しない第２歪み補正係数が含まれており、
前記第２ステップには、第２歪み補正係数が所定の値以上となる最小入射角がある場合、前記最小入射角より大きな入射角に対応する領域の画素を避けるように前記仮想投影面を変更するステップを含む、ことを特徴とする画像処理方法。
【請求項２】
前記第３ステップは段階的に歪みが補正された画像データの表示用動画像を出力するものであって、
前記第２ステップにおいて前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出する、
ことを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記第３ステップは段階的に歪みが補正された画像データの表示用動画像を出力するものであって、
前記第２ステップにおいて前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出し、
前記第２ステップで、第２歪み補正係数が所定の値以上となる最小入射角がある場合に該最小入射角より大きな入射角に対応する領域を避けるように前記仮想投影面を変更する際に、前記第１ステップで用いる前記位置及び前記サイズのいずれか少なくとも一つに基づいて前記仮想投影面の変更量を決定する、
ことを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
前記第１ステップでは、ワールド座標系の仮想投影面の第１位置と第２位置を設定し、
前記第２ステップでは、初期の前記第２位置と前記第２歪み補正係数、最終の前記第１位置と前記第１歪み補正係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み補正係数、と段階的に切り替えて用いて仮想投影面の画像データを算出する、
ことを特徴とする請求項１―３のいずれか一項に記載の画像処理方法。
【請求項５】
前記第２歪み補正係数は、以下の条件式(1)で表される、
ことを特徴とする請求項１から３のいずれか一項に記載の画像処理方法。
Ｌ２＝（（ExportImageSize/2）／（tan(focal/2)））×tanθ …式(1)
ここで、
ExportImageSize：表示部で表示する出力画像の長辺の長さ，
focal：設定された仮想投影面の長辺方向における画角，
である。
【請求項６】
前記仮想投影面の変更は視点変換として行う、
ことを特徴とする請求項１−５のいずれか一項に記載の画像処理方法。
【請求項７】
光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置であって、
歪み補正係数を記憶する記憶部と、
位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、を有し、
前記記憶部には、記憶される前記歪み補正係数として少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出され前記光学系により生ずる歪みを補正するための第１歪み補正係数並びに前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高であって前記歪みを補正しない第２歪み補正係数を有し、
前記画像処理部は、第２歪み補正係数が所定の値以上となる最小入射角がある場合、前記最小入射角より大きな入射角に対応する領域の画素を避けるように前記仮想投影面を変更する、ことを特徴とする画像処理装置。
【請求項８】
前記画像信号出力部は段階的に歪みが補正された画像データの表示用動画像を出力するものであって、
前記画像処理部は、前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出する、
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記画像信号出力部は段階的に歪みが補正された画像データの表示用動画像を出力するものであって、
前記画像処理部は、前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出し、
第２歪み補正係数が所定の値以上となる最小入射角がある場合に該最小入射角より大きな入射角に対応する領域を避けるように前記仮想投影面を変更する際に、前記第１ステップで用いる前記位置及び前記サイズのいずれか少なくとも一つに基づいて前記仮想投影面の変更量を決定する、
ことを特徴とする請求項７又は８に記載の画像処理装置。
【請求項１０】
ワールド座標系の前記仮想投影面は第１位置と第２位置が設定されており、
前記画像処理部は、初期の前記第２位置と前記第２歪み補正係数、最終の前記第１位置と前記第１歪み補正係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み補正係数、と段階的に切り替えて用いて仮想投影面の画像データを算出する、
ことを特徴とする請求項７−９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記第２歪み補正係数は、以下の条件式(1)で表される、
ことを特徴とする請求項７−１０のいずれか一項に記載の画像処理装置。
Ｌ２＝（（ExportImageSize/2）／（tan(focal/2)））×tanθ …式(1)
ここで、
ExportImageSize：表示部で表示する出力画像の長辺の長さ，
focal：設定された仮想投影面の長辺方向における画角，
である。
【請求項１２】
前記画像処理部は、前記仮想投影面の変更は視点変換として行う、
ことを特徴とする請求項７−１１のいずれか一項に記載の画像処理装置。
【請求項１３】
光学系と、
複数の画素を有する撮像素子と、
前記光学系の歪み補正係数を記憶する記憶部と、
仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、を有し、
前記記憶部には、記憶される前記歪み補正係数として少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出され前記光学系により生ずる歪みを補正するための第１歪み補正係数並びに前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高であって前記歪みを補正しない第２歪み補正係数を有し、
前記画像処理部は、第２歪み補正係数が所定の値以上となる最小入射角がある場合、前記最小入射角より大きな入射角に対応する領域の画素を避けるように前記仮想投影面を変更する、ことを特徴とする撮像装置。
【請求項１４】
前記画像信号出力部は段階的に歪みが補正された画像データの表示用動画像を出力するものであって、
前記画像処理部は、前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出する、
ことを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記画像信号出力部は段階的に歪みが補正された画像データの表示用動画像を出力するものであって、
前記画像処理部は、前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出し、
第２歪み補正係数が所定の値以上となる最小入射角がある場合に該最小入射角より大きな入射角に対応する領域を避けるように前記仮想投影面を変更する際に、前記第１ステップで用いる前記位置及び前記サイズのいずれか少なくとも一つに基づいて前記仮想投影面の変更量を決定する、
ことを特徴とする請求項１３又は１４に記載の画像処理装置。
【請求項１６】
ワールド座標系の前記仮想投影面は第１位置と第２位置が設定されており、
前記画像処理部は、初期の前記第２位置と前記第２歪み補正係数、最終の前記第１位置と前記第１歪み補正係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み補正係数、と段階的に切り替えて用いて仮想投影面の画像データを算出する、
ことを特徴とする請求項１３−１５のいずれか一項に記載の撮像装置。
【請求項１７】
前記第２歪み補正係数は、以下の条件式(1)で表される、
ことを特徴とする請求項１３−１６のいずれか一項に記載の撮像装置。
Ｌ２＝（（ExportImageSize/2）／（tan(focal/2)））×tanθ …式(1)
ここで、
ExportImageSize：表示部で表示する出力画像の長辺の長さ，
focal：設定された仮想投影面の長辺方向における画角，
である。
【請求項１８】
前記画像処理部は、前記仮想投影面の変更は視点変換として行う、
ことを特徴とする請求項１３−１７のいずれか一項に記載の撮像装置。
【請求項１】
光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法であって、
ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み補正係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第２ステップと、
前記第２ステップで算出された画像データによる表示用画像を出力する第３ステップと、を有し、
前記第２ステップで用いられる前記歪み補正係数には、少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出され前記光学系により生ずる歪みを補正するための第１歪み補正係数と、前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高であって前記歪みを補正しない第２歪み補正係数が含まれており、
前記第２ステップには、第２歪み補正係数が所定の値以上となる最小入射角がある場合、前記最小入射角より大きな入射角に対応する領域の画素を避けるように前記仮想投影面を変更するステップを含む、ことを特徴とする画像処理方法。
【請求項２】
前記第３ステップは段階的に歪みが補正された画像データの表示用動画像を出力するものであって、
前記第２ステップにおいて前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出する、
ことを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記第３ステップは段階的に歪みが補正された画像データの表示用動画像を出力するものであって、
前記第２ステップにおいて前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出し、
前記第２ステップで、第２歪み補正係数が所定の値以上となる最小入射角がある場合に該最小入射角より大きな入射角に対応する領域を避けるように前記仮想投影面を変更する際に、前記第１ステップで用いる前記位置及び前記サイズのいずれか少なくとも一つに基づいて前記仮想投影面の変更量を決定する、
ことを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
前記第１ステップでは、ワールド座標系の仮想投影面の第１位置と第２位置を設定し、
前記第２ステップでは、初期の前記第２位置と前記第２歪み補正係数、最終の前記第１位置と前記第１歪み補正係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み補正係数、と段階的に切り替えて用いて仮想投影面の画像データを算出する、
ことを特徴とする請求項１―３のいずれか一項に記載の画像処理方法。
【請求項５】
前記第２歪み補正係数は、以下の条件式(1)で表される、
ことを特徴とする請求項１から３のいずれか一項に記載の画像処理方法。
Ｌ２＝（（ExportImageSize/2）／（tan(focal/2)））×tanθ …式(1)
ここで、
ExportImageSize：表示部で表示する出力画像の長辺の長さ，
focal：設定された仮想投影面の長辺方向における画角，
である。
【請求項６】
前記仮想投影面の変更は視点変換として行う、
ことを特徴とする請求項１−５のいずれか一項に記載の画像処理方法。
【請求項７】
光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置であって、
歪み補正係数を記憶する記憶部と、
位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、を有し、
前記記憶部には、記憶される前記歪み補正係数として少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出され前記光学系により生ずる歪みを補正するための第１歪み補正係数並びに前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高であって前記歪みを補正しない第２歪み補正係数を有し、
前記画像処理部は、第２歪み補正係数が所定の値以上となる最小入射角がある場合、前記最小入射角より大きな入射角に対応する領域の画素を避けるように前記仮想投影面を変更する、ことを特徴とする画像処理装置。
【請求項８】
前記画像信号出力部は段階的に歪みが補正された画像データの表示用動画像を出力するものであって、
前記画像処理部は、前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出する、
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記画像信号出力部は段階的に歪みが補正された画像データの表示用動画像を出力するものであって、
前記画像処理部は、前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出し、
第２歪み補正係数が所定の値以上となる最小入射角がある場合に該最小入射角より大きな入射角に対応する領域を避けるように前記仮想投影面を変更する際に、前記第１ステップで用いる前記位置及び前記サイズのいずれか少なくとも一つに基づいて前記仮想投影面の変更量を決定する、
ことを特徴とする請求項７又は８に記載の画像処理装置。
【請求項１０】
ワールド座標系の前記仮想投影面は第１位置と第２位置が設定されており、
前記画像処理部は、初期の前記第２位置と前記第２歪み補正係数、最終の前記第１位置と前記第１歪み補正係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み補正係数、と段階的に切り替えて用いて仮想投影面の画像データを算出する、
ことを特徴とする請求項７−９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記第２歪み補正係数は、以下の条件式(1)で表される、
ことを特徴とする請求項７−１０のいずれか一項に記載の画像処理装置。
Ｌ２＝（（ExportImageSize/2）／（tan(focal/2)））×tanθ …式(1)
ここで、
ExportImageSize：表示部で表示する出力画像の長辺の長さ，
focal：設定された仮想投影面の長辺方向における画角，
である。
【請求項１２】
前記画像処理部は、前記仮想投影面の変更は視点変換として行う、
ことを特徴とする請求項７−１１のいずれか一項に記載の画像処理装置。
【請求項１３】
光学系と、
複数の画素を有する撮像素子と、
前記光学系の歪み補正係数を記憶する記憶部と、
仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、を有し、
前記記憶部には、記憶される前記歪み補正係数として少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出され前記光学系により生ずる歪みを補正するための第１歪み補正係数並びに前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高であって前記歪みを補正しない第２歪み補正係数を有し、
前記画像処理部は、第２歪み補正係数が所定の値以上となる最小入射角がある場合、前記最小入射角より大きな入射角に対応する領域の画素を避けるように前記仮想投影面を変更する、ことを特徴とする撮像装置。
【請求項１４】
前記画像信号出力部は段階的に歪みが補正された画像データの表示用動画像を出力するものであって、
前記画像処理部は、前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出する、
ことを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記画像信号出力部は段階的に歪みが補正された画像データの表示用動画像を出力するものであって、
前記画像処理部は、前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出し、
第２歪み補正係数が所定の値以上となる最小入射角がある場合に該最小入射角より大きな入射角に対応する領域を避けるように前記仮想投影面を変更する際に、前記第１ステップで用いる前記位置及び前記サイズのいずれか少なくとも一つに基づいて前記仮想投影面の変更量を決定する、
ことを特徴とする請求項１３又は１４に記載の画像処理装置。
【請求項１６】
ワールド座標系の前記仮想投影面は第１位置と第２位置が設定されており、
前記画像処理部は、初期の前記第２位置と前記第２歪み補正係数、最終の前記第１位置と前記第１歪み補正係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み補正係数、と段階的に切り替えて用いて仮想投影面の画像データを算出する、
ことを特徴とする請求項１３−１５のいずれか一項に記載の撮像装置。
【請求項１７】
前記第２歪み補正係数は、以下の条件式(1)で表される、
ことを特徴とする請求項１３−１６のいずれか一項に記載の撮像装置。
Ｌ２＝（（ExportImageSize/2）／（tan(focal/2)））×tanθ …式(1)
ここで、
ExportImageSize：表示部で表示する出力画像の長辺の長さ，
focal：設定された仮想投影面の長辺方向における画角，
である。
【請求項１８】
前記画像処理部は、前記仮想投影面の変更は視点変換として行う、
ことを特徴とする請求項１３−１７のいずれか一項に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図８】
【図１３】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図８】
【図１３】
【図１９】
【公開番号】特開２０１３−５３９３（Ｐ２０１３−５３９３Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３７６１８（Ｐ２０１１−１３７６１８）
【出願日】平成２３年６月２１日（２０１１．６．２１）
【出願人】（３０３０００４０８）コニカミノルタアドバンストレイヤー株式会社 (3,255)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月２１日（２０１１．６．２１）
【出願人】（３０３０００４０８）コニカミノルタアドバンストレイヤー株式会社 (3,255)
【Ｆターム（参考）】
[ Back to top ]