画像処理装置、画像処理方法、そのブログラム及びそのプログラムを記録した記録媒体
【課題】、歪補正における計算量を低減することができる画像処理装置、画像処理方法、そのブログラム及びそのプログラムを記録した記録媒体を提供すること。
【解決手段】広視野の全体画像内で選択された選択領域の画像が歪補正されるとき、その歪補正処理により座標計算された点ｐの座標（ｘ，ｙ）が、小数点を含む実数である場合が多い。４点の画素データ（４点それぞれの輝度データ（Ｙデータ）及び色差データ（ＣｒＣｂデータ））が読み出されると、そのうち、点ｐの輝度データについては、直線補間し、色差データについてはその色差データそのものを使用する。これにより、歪補正における計算量を低減することができる。
【解決手段】広視野の全体画像内で選択された選択領域の画像が歪補正されるとき、その歪補正処理により座標計算された点ｐの座標（ｘ，ｙ）が、小数点を含む実数である場合が多い。４点の画素データ（４点それぞれの輝度データ（Ｙデータ）及び色差データ（ＣｒＣｂデータ））が読み出されると、そのうち、点ｐの輝度データについては、直線補間し、色差データについてはその色差データそのものを使用する。これにより、歪補正における計算量を低減することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広角レンズを用いて撮像された画像の歪を補正処理する画像処理装置、画像処理方法、そのプログラム及び記録媒体に関する。
【背景技術】
【０００２】
従来から、カメラにより撮像された画像の幾何学的な歪（ディストーション）を補正する技術として次のような技術がある。例えば演算により歪のある画像データをＹＵＶデータに変換し近似多項式演算した後、輝度信号と色差信号とでそれぞれ異なる補間演算する、といった技術である。具体的には、ＹＵＶデータのうち、Ｙデータについては、９点の画素データからラグランジュの補間公式を応用して２次の多項式で補間計算が行われている。一方、ＹＵＶデータのうち、ＵＶデータについては４点の画素データから線形補間公式を用いて多項式の補間計算が行われている。このようにするのは、輝度情報については、人間の視覚感度が高いため計算量が多くても画質の劣化が少ない補間法を選ばなければならないが、色情報は視覚感度が低いため計算量の少ない補間法を選択しても視覚上での大きな画質劣化が起こらないからである（例えば、特許文献１参照。）。
【０００３】
【特許文献１】特開平１１−２５０２３９号公報（段落[００１７]、図７）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、最近では、撮像素子の画素数が増えているため、歪補正の計算量も増えており、処理に時間がかかる。特に、撮像される画像が動画の場合、歪補正の計算量が膨大になり、あるいは、歪補正のリアルタイム性を要求される場合には、高速な演算処理が要求される。
【０００５】
以上のような事情に鑑み、本発明の目的は、歪補正における計算量を低減することができる画像処理装置、画像処理方法、そのブログラム及びそのプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る画像処理装置は、広角レンズを用いて撮像された該広角レンズによる歪を含む広視野画像のうち選択された選択領域の画像の前記歪を補正するために、前記選択領域画像の補正座標を計算する座標計算手段と、前記算出された前記補正座標に対応する、前記選択領域画像の所定の各画素データを補間する補間手段とを具備する。
【０００７】
本発明では、例えば広角視野画像のうち選択された選択領域画像の歪補正が実行される際、画素データの補間処理が行われる。特に、例えば広角視野画像のうち選択された選択領域画像の歪補正が実行されるので、広視野画像全体が補正される場合より計算量を低減できる。
【０００８】
「画素データ」とは、ＲＧＢデータであってもよいし、後述するように、ＲＧＢデータから変換された輝度／色差データであってもよい。「輝度／色差データ」とは、輝度データ及び色差データを含む、ＹＵＶデータまたはＹＣｒＣｂデータである。
【０００９】
「対応する所定の各画素データ」とは、例えば補間手段による補間処理の対象となる、ある点の周辺の画素データである。
【００１０】
「画像」には、主に動画を意味するが、もちろん静止画も含まれる。
【００１１】
本発明の一の形態によれば、当該画像処理装置は、前記広視野画像のＲＧＢデータを、輝度データ及び色差データを含む輝度／色差データに変換する変換手段をさらに具備し、前記座標計算手段は、前記輝度／色差データのうち、前記選択領域画像に対応する選択領域輝度／色差データの前記補正座標を算出する。
【００１２】
本発明の一の形態によれば、前記補間手段は、前記広視野画像のＲＧＢデータのうち、前記選択領域画像に対応する選択領域ＲＧＢデータを、当該選択領域画像の各画素について補間するＲＧＢ補間手段と、前記補間された選択領域ＲＧＢデータと前記選択領域輝度／色差データとに基づき、補間値を算出する算出手段とを有する。本発明では、補間値を算出するために、ＲＧＢ補間手段により補間された選択領域ＲＧＢデータが用いられるので、画質の劣化を抑えながら計算量を減らすことができる。
【００１３】
本発明の一の形態によれば、前記座標計算手段は、小数点を含む実数を前記補正座標として算出し、前記補間手段は、前記実数の小数点を切り上げまたは切り下げることにより得られる４つの画素の輝度データについて直線補間する輝度データ補間手段を有する。歪補正のために算出された補正座標は、歪を含む広視野画像（あるいは歪を含む選択領域画像）を構成する各画素に１：１で対応しない場合が多い。そこで、本発明では、小数点を切り上げまたは切り下げることにより得られる４つの画素の輝度データについて補間される。
【００１４】
本発明の一の形態によれば、前記補間手段は、前記４つの画素のうち２つの画素を直線補間する色差データ補間手段を有する。あるいは、前記補間手段は、前記４つの画素のうちの所定の画素の色差データを選択する色差データ補間手段を有する。本発明では、色差データは所定の画素を選択するのみなので、さらに計算量が低減される。
【００１５】
本発明の一の形態によれば、当該画像処理装置は、前記選択領域を示す情報に応じて前記選択領域を更新する更新手段をさらに具備する。本発明では、選択領域画像が更新されるたびに、補間処理が実行され、歪補正が行われる。このような場合であっても、本発明では計算量を極力低減しているので、スムーズな処理を実行することができる。
【００１６】
本発明の一の形態によれば、当該画像処理装置は、前記広視野画像内に前記選択領域が強調された強調領域を含む画像を、全体画像として出力する第１の出力手段と、前記選択領域画像の前記歪が補正された歪補正画像を出力する第２の出力手段と、全体画像と選択領域画像とが一画面の画像データとして合成された合成画像を出力する合成画像出力手段とをさらに具備する。本発明では、強調領域を含む全体画像と、歪が補正された歪補正画像とが一画面で出力可能であることにより、例えば全体画像の中のどの部分が選択されているかをユーザが認識することができ、便利である。また、本発明においても、上記したように計算量を極力低減しているので、スムーズな合成画像の出力処理を実行することができる。
【００１７】
「全体画像」とは、広視野画像のうち強調領域を含む画像であればよく、広視野画像自体とは限らない。
【発明の効果】
【００１８】
以上のように、本発明によれば、歪補正における計算量を低減することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態を図面を参照しながら説明する。
【００２０】
図１は、本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。画像処理システム１００は、広角レンズ１、画像処理装置１０、表示部１２を備え、そのほか外部機器１３や入力機器１４等を備える。画像処理装置１０は、イメージセンサ２、カラー処理回路３、歪補正処理回路４、コントローラ５、メモリ６、画像圧縮回路７、表示インターフェース８、ＵＳＢ（Universal Serial Bus）インターフェース９、入力機器インターフェース１１を備える。
【００２１】
イメージセンサ２は、広角レンズ１を介して取り込まれた光を電気信号に変換するセンサである。例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサや、ＣＣＤ（Charge Coupled Device）等が用いられる。広角レンズ１としては、広視野角あるいは広画角のレンズが用いられ、例えば画角がおよそ４５度以上のものが用いられるが、これに限られるわけではない。例えば魚眼レンズ、あるいは環状の画像が得られるＰＡＬ（Panoramic Annular Lens）（環状のレンズ）等が挙げられる。あるいは、画角が１８０°程度の魚眼レンズが２つ用いられることにより、全方位（球空間（３６０°））の視野で撮像することもできる。
【００２２】
カラー処理回路３は、図２に示すように、例えばイメージセンサ２のBayerデータのＲＧＢデータを補間するＲＧＢ補間回路１７を有する。また、カラー処理回路３は、補間されたＲＧＢデータをＹＣｒＣｂデータに変換するＹＣｒＣｂ変換回路１８を有する。カラー処理回路３は、そのほか、図示しないが、光量を制御するＡＥ（Automatic Exposure）演算回路、ホワイトバランスを制御するＡＷＢ（Automatic White Balance）演算回路、ＲＧｒＧｂＢ画素フィルタごとに非線形テーブルによりゲイン調整するゲイン調整回路を有する。さらに、カラー処理回路は、図４（Ｃ）で説明するように、データが間引きされた広視野の全体画像２５を、表示部１２に表示される画像の一部に付加する画面付加処理回路、その他、必要な、または付加的な回路を備えている。
【００２３】
歪補正処理回路４は、カラー処理回路３で処理された歪を含む画像に対し、主に歪補正処理を行う。また、歪補正処理回路４は、歪補正処理の際、輝度データ及び色差データを含む画素データ（上記ＹＣｒＣｂデータ）の補間処理を行う。メモリ６は、歪補正処理回路４の処理時におけるバッファとして機能し、あるいは、画像出力用のフレームメモリとしての機能を有する。特に、メモリ６は、後述する選択領域画像の画素データ（ＲＧＢデータまたはＹＣｒＣｂデータ）を記憶する機能を有する。メモリ６には、図示しないＤＭＡ（Direct Memory Access）回路が接続されていてもよい。その場合、コントローラ５の制御によらないでメモリ６に対してデータが入出力される。
【００２４】
コントローラ５は、画像処理装置１０全体を統括的に制御し、例えばＣＰＵ（Central Processing Unit）により構成される。
【００２５】
画像圧縮回路７は、歪補正処理回路４で処理された画像を所定の形式で圧縮する。圧縮の形式としては、例えばＪＰＥＧ（Joint Photographic Expert Group）が用いられる。しかし、適宜その他の公知の形式が用いられてもよい。
【００２６】
表示インターフェース８は、歪補正処理回路４で処理された画像を表示部１２に出力するインターフェースである。表示インターフェース８は、例えばＮＴＳＣ（National Television System Committee）方式、またはＰＡＬ（Phase Alternating Line）方式等の出力データを生成する。
【００２７】
ＵＳＢインターフェース９は、外部コンピュータ等の外部機器１３に対して、画像圧縮回路７で処理された画像の入出力を制御する。なお、上記表示インターフェース８も、画像圧縮回路７で圧縮された画像を出力するようにしてもよい。
【００２８】
入力機器インターフェース１１は、例えばユーザによる操作入力の信号を受信したりする。入力機器１４としては、例えばマウス、キーボード、スイッチ機器、タッチセンサ、ゲーム機器のコントローラ、ユーザが把持可能なスティック状の操作機器等が挙げられる。
【００２９】
なお、本実施の形態でいう「画像」とは、静止画も含まれるが、現実には、動画として処理されることが多い。
【００３０】
カラー処理回路３、歪補正処理回路４、コントローラ５等は、例えばＦＰＧＡ（Field Programmable Gate Array）及びＤＳＰ（Digital Signal Processor）のうちの少なくとも一方により、処理を実現させることができる。
【００３１】
図３は、上記歪補正処理回路４の構成を示すブロック図である。歪補正処理回路４は、更新処理回路２４、画素データ補間回路１９、出力画素合成回路２０、フィルタ回路２１を含む。
【００３２】
更新処理回路２４は、座標計算部２２、表示方向指定レジスタ２３を有する。表示方向指定レジスタ２３は、入力機器インターフェース１１からの入力情報に応じてコントローラ５により解析された選択領域を示す情報を記憶する。座標計算部２２は、選択領域を示す情報に応じて、広角レンズ１を介してイメージセンサ２で撮像された広視野画像２５（図４（Ａ）参照）内の選択領域を計算する。後でも説明するが、歪補正処理回路４では、主にこの選択領域の画像の歪を補正し、その歪補正された歪補正画像を各種のインターフェース１２、１３または１４から出力する。「選択領域を示す情報」とは、例えば広視野画像２５内で、ユーザにより選択された領域の位置情報である。すなわち、更新処理回路２４は、選択領域の位置情報（の変化）に応じて、選択領域の歪補正画像を更新する。
【００３３】
画素データ補間回路は、画素データ、つまり画素ごとの輝度データ及び色差データについて、メモリに蓄えられた歪を含む画像の座標計算により直線補間等の処理を行う。
【００３４】
出力画素合成回路２０は、形式的に例えば一旦ＹＣｒＣｂ４：４：４形式とされた画素データを、平均化処理することにより４：２：２形式、または４：２：０形式に変換する。フィルタ回路２１は、出力画像に対して平均化や先鋭化のフィルタをかける処理を行う。出力画素合成回路２０やフィルタ回路２１は、本実施の形態では特に重要な要素ではない。
【００３５】
図４は、この画像処理装置１０により画像処理されて表示部１２で表示される各種画像の例を示す。図４（Ａ）は、広視野画像２５内に、選択領域が強調された強調領域１６を含む全体画像を示す。強調領域１６は、例えば枠状のカーソルである。しかし、強調領域１６は、このようなカーソル１６に限られず、全体画像２５中で強調領域１６以外の部分とは色を変えて表示されるような形態であってもよい。すなわち、強調領域１６は、ユーザが広視野画像２５を見てその強調された領域が他の領域と識別できるような形態であればよい。ユーザは、入力機器を用いて、カーソル１６により全体画像２５中の所望の領域（カーソル１６で囲まれる範囲）を選択し、コントローラ５は、その範囲を選択領域として種々の処理を行う。
【００３６】
以降、図４（Ａ）の画像であって強調領域１６を含まない画像を「広視野画像」という。また、図４（Ａ）に示すように広視野画像に強調領域１６を含む画像を「全体画像２５」として、「広視野画像」と「全体画像２５」とを区別する。また、以下、強調領域１６で囲われる範囲の画像を「選択領域画像」という。
【００３７】
全体画像２５内の選択領域は、ユーザが選択する形態に限られない。例えば、全体画像２５内の予め設定された領域が選択される形態も考えられる。その場合の当該領域を示す情報（位置情報等）は、予め図示しないＲＯＭや、外部の記憶装置等に格納されていればよい。このように予め選択領域が設定されている場合に限らず、全体画像２５内のある特定の領域が自動認識される場合に、その自動認識された「特定の領域」が「選択領域」として処理される形態も考えられる。あるいは、図示しない様々なセンサによって、全体画像２５内で検出された部分の画像領域が「選択領域」として処理される形態もある。その場合、センサとは、例えば光センサ、温度センサ、圧力センサ、音センサ、湿度センサ、振動センサ、ガスセンサ、その他様々なセンサが挙げられる。
【００３８】
図４（Ｂ）は、選択領域の歪が補正された歪補正画像を示す図である。図４（Ｃ）は、上記全体画像２５が間引きされた全体画像間引き画面４５と、歪が補正された歪補正画像３５とが一画面の画像データとして合成された合成画像３６を示す。歪補正処理回路４は、このような合成画像をも生成し、表示部１２等に出力する。合成画像３６の生成には、例えばＯＳＤ（On Screen Display）等の技術が用いられればよい。コントローラ５は、例えば入力機器インターフェース１１による入力情報に応じて、これら図４（Ａ）、（Ｂ）及び（Ｃ）に示す全体画像２５、歪補正画像３５及び合成画像３６の出力を切り替えることができる。つまり、コントローラ５は、主に３つの表示モードを持ち、これらを適宜切り替える。なお、図４（Ａ）の全体画像２５が表示されるモードは、強調領域１６が表示されない広視野画像が表示されるモードであってもよい。図１４は、表示モードが順に切り替えられるときの表示部に表示される表示画像を示す。図１４（Ａ）は、広視野画像（全体画像２５でもよい。）のみの画像である。図１４（Ｂ）は、選択領域の歪が補正された歪補正画像３５のみの画像である。図１４（Ｃ）は、当該両者を含む合成画像３６である。
【００３９】
次に、広角レンズ１を搭載したカメラの設置状態の態様について説明する。
【００４０】
図５を参照して、球３１の中心Ｏに視点がある場合、その視点Ｏが捉えることが可能な視野は球３１で表される３次元空間になる。広角レンズ１として例えば視野１８０°程度の魚眼レンズが用いられる場合、その魚眼レンズで捉えられる視野は、球３１のうち半球部分である。例えば図６（Ａ）は、球３１のうち上半分（現実の３次元空間で上方向）の視野（以下、上半球視野という。）を示す。図６（Ｂ）は、球３１のうち下半分（現実の３次元空間で下方向）の視野（以下、下半球視野という。）を示す。図６（Ｃ）は、球３１のうち横半分の視野（以下、横半球視野という。）を示す。特に、図６（Ａ）の例では、地面、床上、机上から上方向を見る場合が想定される。図６（Ｂ）の例では、天井や上空から下方向を見る場合が想定される。図６（Ｃ）の例では、地面に垂直な壁等から水平方向あるいは横方向を見る場合が想定される。
【００４１】
これらのほか、斜め上半分や斜め下半分の視野も考えられる。これらのように、魚眼レンズが設置されるときの魚眼レンズの向き、あるいは傾きが種々設定されることにより、様々な半球の視野が得られる。
【００４２】
なお、図６では、魚眼レンズが用いられる場合について説明した。これに限られず、様々な広角レンズ１が用いられる場合も、もちろんレンズの向きや傾きによって視野が変わる。
【００４３】
次に、以上のように構成された画像処理装置１０の動作について説明する。図７は、その動作を示すフローチャートである。
【００４４】
コントローラ５は、広角レンズ１を介して取り込まれた光をイメージセンサ２で電気信号に変換させる（ステップ７０１）。コントローラ５は、カラー処理回路３によりカラー処理する（ステップ７０２）。カラー処理では、特に、上述したようにＲＧＢデータが補間され（ステップ７０２−１）、補間されたＲＧＢデータがＹＣｒＣｂデータに変換される（ステップ７０２−２）。この変換処理では、４：４：４方式で行われればよい。あるいは、４：２：２方式、４：１：１方式、または４：２：０方式で間引きされてもよい。
【００４５】
なお、ＲＧＢからＹＣｒＣｂの変換式は、下式（１）〜（３）で表せる。しかし、この式において各項の数値が多少異なる場合もあり得る。
Y=0.299R+0.587G+0.114B・・・（１）
Cr=0.500R-0.419G-0.081B・・・（２）
Cb= -0.169R-0.331G+0.500B・・・（３）
【００４６】
図８は、イメージセンサ２のBayer配列を示す図である。赤の各画素をr mnとし、緑の各画素をg mnとし、青の各画素をb mnとしている。上記ステップ７０２−１のＲＧＢデータの補間は、次のように行われる。例えばg11(=p11)、r12(=p12)、b21(=p21)、g22(=p22)の４つの画素のＲＧＢ値を周辺画素のＲＧＢ値を用いてラフに合成する。そうすると、４つの画素p11、p12、p21、p22のＲＧＢ値は、以下のようになる。
p11=(r11=(r10+r12)/2 , g11 , b11=(b01+b21)/2) ・・・（４）
p12=(r12 , g12=(g02+g11+g13+g22)/4, b12=(b01+b03+b21+b23)/4) ・・・（５）
p21=(r21=(r10+r12+r30+r32)/4 , g21=(g11+g20+g22+g31)/4 , b21) ・・・（６）
p22=(r22=(r12+r32)/2 , g22 , b22=(b21+b23)/2) ・・・（７）
コントローラ５は、以上のようなＲＧＢ補間処理を、全体画像２５のＲＧＢデータすべてについて行うのではなく、選択領域画像におけるＲＧＢデータ（選択領域ＲＧＢデータ）について行うようにしてもよい。
【００４７】
ここで、コントローラ５は、補間されたＲＧＢ値に対し、下記数１に示したマトリクスＡを乗ずることで色ずれを抑えるように調整し、最終的なＲＧＢ値を求める。
【００４８】
【数１】
【００４９】
その場合、色ずれ調整後の画素値P11、P12、P21、P22は、
P11=(R11,G11,B11)=Ap11・・・（８）
P12=(R12,G12,B12)=Ap12・・・（９）
P21=(R21,G21,B21)=Ap21・・・（１０）
P22=(R22,G22,B22)=Ap22・・・（１１）
と表せる。なお、本実施の形態においては、この色ずれの調整処理は、必ずしも行われる必要はない。この色ずれ調整処理も、上記選択領域ＲＧＢデータについて行われるようにしてもよい。
【００５０】
コントローラ５は、式（４）〜（７）（または、（８）〜（１１））により求められたＲＧＢ値を最終的なＲＧＢ値とし、上記したように、このＲＧＢデータをＹＣｒＣｂデータに変換する。ＹＣｒＣｂデータはメモリ６に保存される（ステップ７０３）。
【００５１】
図７の説明に戻る。コントローラ５は、歪補正処理回路４により、入力機器インターフェース１１からの入力情報に応じて全体画像２５内の選択領域画像を歪補正処理し、歪補正画像を生成する（ステップ７０４）。歪補正処理回路４は、後に詳述するが、座標計算部２２の処理によって、表示部１２により表示される表示平面の画素の座標に相当するメモリ６のアドレスを計算により求める。すなわち座標変換処理が行われる。当該メモリ６のアドレスは、選択領域画像の補正座標に相当する。計算により求められた補正座標、すなわちメモリアドレスは、小数点を含む場合が多い。したがって、画素データ補間回路１９は、座標補間により画素データを生成し、歪補正画像を生成する（ステップ７０４）。
【００５２】
コントローラ５は、生成された歪補正画像を、表示部１２や外部機器１３等に対応した画素フォーマットに変換する。コントローラ５は、出力用メモリに保存した後、各種のインターフェース８、９、１１を介して、歪補正画像を出力する（ステップ７０５）。
【００５３】
次に、上記した更新処理回路２４の動作について説明する。図９は、その動作を示すフローチャートである。画像処理装置１０の待機状態から、入力機器１４からの情報に変化があった場合（ステップ９０１のＹＥＳ）、コントローラ５は入力機器インターフェース１１を介してその入力情報を取得する（ステップ９０２）。コントローラ５は、全体画像２５内における強調領域１６の位置情報の算出、歪補正処理のための演算処理、上記表示モードを切り替えるための演算処理、あるいは、後述する２つの表示方向のモード（直行モード及び周回モード）を切り替えるための演算処理等を行う（ステップ９０３）。特に、上記位置情報や表示方向のモードの切り替え情報は、表示方向指定レジスタ２３に記憶される。
【００５４】
次に、歪補正処理回路４の動作についてさらに詳しく説明する。
【００５５】
図１０（Ａ）では、視点ｏ（０，０，０）を中心とした、上述した上半球視野の上半球を横から見ている。図中、点Ｐ（ｕ，ｖ，ｗ）は周囲の被写点、点Ｑは魚眼画像である全体画像２５の結像点、角度θは点Ｐから視点への入射角、距離ｈは像高を示す。点Ｐと点Ｑとは像高特性によって対応付けられる。図１０（Ｂ）は、当該像高特性を示したグラフである。横軸が角度（入射角）θ、縦軸が像高ｈを示している。当該データは、変換テーブルとして予めメモリ６や図示しない他のメモリに記憶されていればよい。
【００５６】
ここで、図１１（Ａ）は、表示部１２に表示される範囲の平面である表示平面を示す。図１１（Ｂ）は、図１１（Ａ）に示す上半球を３次元で示した図である。図１１（Ｂ）に示す球面３３をｘ−ｙ平面上に投影した画像が、図１１（Ｃ）で示す全体画像２５となる。この全体画像２５がイメージセンサ２により得られる歪補正前の画像である。上記表示平面３２の中心Ｏが、上半球視野により形成される球面３３に接しており、表示平面３２は、上記全体画像２５内の選択領域を表示した画面となる。
【００５７】
座標変換処理を説明するにあたり、説明を分かりやすくするため、まずズーム処理、パン処理（垂直パン処理、水平パン処理）について説明する。ズーム処理とは、入力機器インターフェース１１からの入力情報に応じて、コントローラ５が選択領域の大きさを変化させることにより、歪補正画像の大きさを変化させる処理である。なお、この選択領域の大きさの変化も上記位置情報の変化の概念に含まれる。パン処理とは、入力機器インターフェース１１からの入力情報に応じて、コントローラ５が選択領域の位置を変化させる処理である。
【００５８】
図１２を参照して、まず表示平面３２（選択領域）の中心Ｏを半径Ｒ（＝像高１００％）の球面３３のパンの初期位置Ｐ0（ｘ0，ｙ0，ｚ0）＝Ｐ0（Ｒ，０，０）で接触させる。ズーム処理において、ある点Ｐ（Ｘ，Ｙ）からズーム処理によりＰ0（ｘ0，ｙ0，ｚ0）に変換される場合、変換式は下記のようになる。なお、このズーム処理では、説明をわかりやすくするため、上記表示平面３２の中心Ｏが点Ｐと一致しているとする。
ｘ0＝Ｒ・・・・・・・・（１２）
ｙ0＝Ｘ×Ｚｏｏｍ・・・（１３）
ｚ0＝Ｙ×Ｚｏｏｍ・・・（１４）
「Ｚｏｏｍ」はズーム倍率である。ズーム処理では、図４（Ａ）及び図４（Ｃ）において、入力された選択領域の位置情報に応じて、コントローラ５がカーソル１６の大きさを変形させる。ズーム処理では、表示平面３２の拡大または縮小だけであるので、ｘ0＝Ｒの位置は変わらない。
【００５９】
垂直パン処理を説明する。中心Ｏを球面３３に接触させたまま、初期位置Ｐ0からｙ軸を中心に垂直パン角Ｖだけ表示平面３２を移動させた位置がＰ1（ｘ1，ｙ1，ｚ1）である。Ｐ0からＰ1への移動は、図４（Ａ）で説明すると、カーソル１６が垂直方向（図中縦方向）へ移動に相当する。この場合、表示部１２で表示される歪補正画像は、地平線に垂直方向に移動するように表示される。ただし、図４（Ａ）では横半球視野であり、図１２では上半球視野であることころが違う点に注意を要し、説明の便宜上、今図４（Ａ）の視野が上半球視野であると仮定して説明している。垂直パン角の座標変換式は、下記のようになる。
ｘ1＝ｘ0ｃｏｓＶ＋ｚ0ｓｉｎＶ・・・・（１５）
ｙ1＝ｙ0・・・・・・・・・・・・・・（１６）
ｚ1＝−ｘ0ｓｉｎＶ＋ｚ0ｃｏｓＶ・・・（１７）
つまり、これらの式は、ｙ軸を中心とした回転行列の変換式である。
【００６０】
水平パン処理を説明する。中心Ｏを球面３３に接触させたまま、Ｐ１からｚ軸を中心に水平パン角Ｈだけ移動させた位置がＰ2（ｘ2，ｙ2，ｚ2）である。Ｐ1からＰ2への移動は、図４（Ａ）で説明すると、カーソル１６が全体画像２５の中心を中心として回転角Ｈで移動したことに相当する。この場合、表示部で表示される歪補正画像は、地平線に平行に水平方向に移動するように表示される。水平パン角の座標変換式は、下記のようになる。
ｘ2＝ｘ1ｃｏｓＨ−ｙ1ｓｉｎＨ・・・・（１８）
ｙ2＝ｘ1ｓｉｎＨ＋ｙ1ｃｏｓＨ・・・・（１９）
ｚ2＝ｚ1・・・・・・・・・・・・・・（２０）
つまり、これらの式は、ｚ軸を中心とした回転行列の変換式である。
【００６１】
図１６に、以上説明した各回転行列を示す。図１６に示すように、[X]はｘ軸を中心とする回転行列、[Y]はｙ軸を中心とする回転行列、[Z]はｚ軸を中心とする回転行列、[M]はズーム倍率を示す。そうすると、[Ｐ2]は、直行モードで下式（２１）、周回モードで（２２）で表せる。
[Ｐ2]=[Z][Y][X][M][Ｐ0] ・・・（２１）
[Ｐ2]=[Z][Y][M][Ｐ0] ・・・・（２２）
「直行モード」、「周回モード」とは、上記式（１２）〜（２０）を用いて、全体画像２５上での選択領域の位置情報を定義するためのモードである。
【００６２】
「直行モード」は、上記Ｐ0を初期位置とし、上式（２１）により３軸すべての周りに点Ｐを移動させることが可能であって、その結果、最終的に位置した点Ｐ（つまりＰ2）の位置を定義するモードである。これは、図６（Ｃ）で示したように、横半球視野が得られるようにカメラが設置された場合に主に用いられるモードである。横半球視野では、図１１〜図１３で示したz軸方向が、水平線の方向と一致する。
【００６３】
「周回モード」は、上記Ｐ0を初期位置とし、上式（２２）によりｚ軸及びｙ軸の２軸の周りに点Ｐを移動させることが可能であって、その結果、最終的に位置した点Ｐの位置を定義するモードである。これは、図６（Ａ）及び図６（Ｂ）で示したように、上及び下半球視野が得られるようにカメラが設置された場合に主に用いられるモードである。
【００６４】
次に、歪補正のための座標変換処理について説明する。図１３を参照して、まずＰ2（ｘ2，ｙ2，ｚ2）の入射角（仰角）θを求める。図１３において、座標中心をｏ（０，０，０）とすると、
ＯＰ2＝（ｘ22＋ｙ22＋ｚ22）1/2・・・・（２３）
であるので、θは以下の式で表せる。
θ＝ａｒｃｃｏｓ（ｚ2／ＯＰ2）・・・（２４）
なお、図１２、図１３に示したＰ2（ｘ2，ｙ2，ｚ2）は、図１０、図１１で示した点Ｐ（ｕ，ｖ，ｗ）に相当する座標と考えてよい。
【００６５】
式（２４）で求められたθから像高ｈ（図１０（Ａ）参照）が求められる。像高ｈは、上記したように、図１０（Ｂ）の像高特性から求められる。
【００６６】
図１２を参照して、像高ｈが求められると、点Ｐ2から垂直に下りた点Ｐ2’（ｘ2，ｙ2，０）を像高ｈの位置である点Ｑ（ｘ，ｙ）（図１０（Ａ）参照）に拡大または縮小させる。具体的には、下記の式から点Ｑの座標が求められる。
ＯＰ2’＝ＯＰ2ｓｉｎθ・・・（２５）
ｘ＝ｘ2ｈ／ＯＰ2’・・・・・（２６）
ｙ＝ｙ2ｈ／ＯＰ2’・・・・・（２７）
以上のように、点Ｑの座標（補正座標）が計算されると、図１１（Ｃ）に示した点Ｑの座標を、図１１（Ｄ）に示す点Ｐ（ｕ，ｖ，ｗ）の座標と対応させる。すなわち、点Ｑの座標が計算されれば、その点Ｑに対応するメモリアドレス上の画素データ（上記ステップ７０３で保存された画素データのうちの点Ｑに対応する座標の画素データ）が、当該メモリから読み出される。このような点Ｑの座標計算が、表示平面３２上の全ての点について行われることにより、表示平面３２に対応する選択領域の歪補正画像３５（図１１（Ｄ）参照）が生成される。
【００６７】
ここで、歪補正のために演算により求められた点Ｑの座標（演算により求められたメモリアドレス）は、上述したように、表示平面３２の歪補正画像３５を構成する各画素に１：１で対応しない場合が多い。したがって、画素データ補間回路１９は、その演算により求められた座標を用いて、次に説明するように画素データについての補間処理を行う。
【００６８】
図１４は、当該補間処理の動作を説明するための図である。例えば、画素データ補間回路１９は、図８を参照して、計算により求められたある点ｐ（上記説明における点Ｑに相当する）の座標の画素データを補間により求めるとする。図１４に示すように、今、例えば、点ｐの座標（ｘ，ｙ）が、小数点を含む実数である（２５６．７，６７８．９）であったとする。この点ｐを含む周辺４つの画素データがメモリ６から読み出される。すなわち、小数点を切り上げまたは切り下げることにより得られる４つの画素の画素データが読み出される。その４つの画素の座標は、下記のようになる。
左上（２５６，６７８）
右上（２５６，６７９）
左下（２５７，６７８）
右下（２５７，６７９）
これら４点は、図８におけるg11、r12、b21、g22に相当する。これらの４点の画素データ（４点それぞれの輝度データ（Ｙデータ）及び色差データ（ＣｒＣｂデータ））が読み出されると、そのうち、点ｐの輝度データについては、直線補間し、色差データについてはその色差データそのものを使用する。これは、人間が、色差に対する感度が輝度に対する感度の半分程度でしかないことによる。あるいは、色差データについても直線補間を行ってもよい。
【００６９】
直線補間は、各種の方法がある。例えば４点の画素データから平均値を算出したり、中央値を算出したりすることにより点ｐの画素データが求められる。あるいは、次のように補間処理されてもよい。
【００７０】
上記式（８）〜（１１）（また、式（４）〜（７）でもよい。）で示した４つの点のＲＧＢ値から、下記のように点ｐについて補間されたＲＧＢ値であるP(1.m,1.n)が求められる。
P(1.m,1.n)=(1-m)(1-n)P11+(1-m)nP12+m(1-n)P21+mnP22・・・（２８）
より厳密には、
P(1+(0.m),1+(0.n))=(1-(0.m))(1-(0.n))P11+(1-(0.m))(0.n)P12
+(0.m)(1-(0.n))P21+(0.m)(0.n)P22・・・（２９）
m、nは整数であり、図８において画素g11(=p11)、r12(=p12)、b21(=p21)、g22(=p22)の中心点をＣとする。また、点Ｃから垂直方向に１画素分離れた点の座標をm＝１、点Ｃから水平方向に１画素分離れた点の座標をn＝１とする。m、nについて、点Ｃから上下方向で正負が定められ、また、左右方向で正負が定められる。
【００７１】
上記したように、人間が、色差に対する感度が輝度に対する感度の半分程度でしかないことから、点ｐの補間処理の方法として下式（３０）の近似式が成立する。この式（３０）の例では、上記ステップ７０２−２において４：２：０方式で変換されたＹＣｒＣｂデータを扱っている。
YCrCbP(1+(0.m),1+(0.n))
＝YCrCb{(1-(0.m))(1-(0.n))P11+(1-(0.m))(0.n)P12 +(0.m)(1-(0.n))P21+(0.m)(0.n)P22}
＝(1-(0.m))(1-(0.n))YCrCbP11+(1-(0.m))(0.n)YCrCbP12+(0.m)(1-(0.n))YCrCbP21
+(0.m)(0.n)YCrCbP22
≒((1-(0.m))(1-(0.n))YP11+(1-(0.m))(0.n)YP12+(0.m)(1-n)YP21+(0.m)(0.n)YP22,
CrP12, CbP21)・・・（３０）
この式（３０）では、輝度のみを計算すればよいので、計算量が１／３程度になる。また、補間値を算出するために、ＲＧＢ補間回路により補間された選択領域ＲＧＢデータと、ＹＣｒＣｂデータが乗算されるので、画質の劣化を抑えながら計算量を減らすことができる。この式（３０）は、上記のように４：２：０方式で変換されたＹＣｒＣｂデータを扱っている。しかし、もちろん、他の方式で変換されたＹＣｒＣｂデータに対し、補間された選択領域ＲＧＢが用いられてもよい。
【００７２】
図１４に示すように、出力画素合成回路は、４：２：０方式で求められた画素データを一旦４：４：４方式にする。そして、出力形式に合わせて適宜４：２：２等の方式に変換される。もちろん、４：２：２方式のほか、４：２：０方式、またはその他の方式であってもよい。出力画素合成回路２０での処理が終了すると、コントローラ５は、画素データを出力用のフレームメモリに書き込む。
【００７３】
以上のように、本実施の形態では、全体画像２５のうち選択された選択領域画像の歪補正が実行される際、画素データの補間処理が行われる。特に、例えば全体画像２５のうち選択された選択領域画像の歪補正が実行されるので、全体画像２５の全体が補正される場合より計算量を低減できる。
【００７４】
本実施の形態では、上記したように、更新処理回路２４において選択領域画像が更新されるたびに、画素データ補間回路１９により補間処理が実行される。このような場合であっても、上記のように計算量が低減されているので、スムーズな処理を実行することができる。
【００７５】
本実施の形態では、カーソル１６を含む全体画像２５と、歪が補正された歪補正画像３５とが一画面で出力可能であることにより、例えば全体画像２５の中のどの部分が選択されているかをユーザが認識することができ、便利である。また、この場合においても、上記したように計算量を極力低減しているので、スムーズな合成画像の出力処理を実行することができる。
【００７６】
本発明に係る実施の形態は、以上説明した実施の形態に限定されず、他の種々の実施形態が考えられる。
【図面の簡単な説明】
【００７７】
【図１】本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。
【図２】図１に示すカラー処理回路の構成を示すブロック図である。
【図３】図１に示す歪補正処理回路の構成を示すブロック図である。
【図４】画像処理装置により画像処理されて表示部で表示される各種画像の例を示す。
【図５】球体で表される視野を示す図である。
【図６】広角レンズを用いたカメラにより撮像されるときの視野（撮像範囲）をそれぞれ示す図である。
【図７】画像処理装置の動作を示すフローチャートである。
【図８】イメージセンサのBayer配列を示す図である。
【図９】更新処理回路の動作を示すフローチャートである。
【図１０】座標変換の原理の一例を説明するための図である。
【図１１】座標変換の原理の一例を説明するための図である。
【図１２】パン処理の座標変換を説明するための図である。
【図１３】座標変換の原理の一例を説明するための図である。
【図１４】補間処理の動作を説明するための図である。
【図１５】表示モードが順に切り替えられるときの表示部に表示される表示画像を示す図である。
【図１６】各回転行列及びＰ2の位置を説明するための図である。
【符号の説明】
【００７８】
４…歪補正処理回路
５…コントローラ
６…メモリ
１０…画像処理装置
１６…強調領域（カーソル）
１７…ＲＧＢ補間回路
１８…ＹＣｒＣｂ変換回路
１９…画素データ補間回路
２２…座標計算部
２３…表示方向指定レジスタ
２４…更新処理回路
２５…広視野画像、全体画像
３５…歪補正画像
３６…合成画像
【技術分野】
【０００１】
本発明は、広角レンズを用いて撮像された画像の歪を補正処理する画像処理装置、画像処理方法、そのプログラム及び記録媒体に関する。
【背景技術】
【０００２】
従来から、カメラにより撮像された画像の幾何学的な歪（ディストーション）を補正する技術として次のような技術がある。例えば演算により歪のある画像データをＹＵＶデータに変換し近似多項式演算した後、輝度信号と色差信号とでそれぞれ異なる補間演算する、といった技術である。具体的には、ＹＵＶデータのうち、Ｙデータについては、９点の画素データからラグランジュの補間公式を応用して２次の多項式で補間計算が行われている。一方、ＹＵＶデータのうち、ＵＶデータについては４点の画素データから線形補間公式を用いて多項式の補間計算が行われている。このようにするのは、輝度情報については、人間の視覚感度が高いため計算量が多くても画質の劣化が少ない補間法を選ばなければならないが、色情報は視覚感度が低いため計算量の少ない補間法を選択しても視覚上での大きな画質劣化が起こらないからである（例えば、特許文献１参照。）。
【０００３】
【特許文献１】特開平１１−２５０２３９号公報（段落[００１７]、図７）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、最近では、撮像素子の画素数が増えているため、歪補正の計算量も増えており、処理に時間がかかる。特に、撮像される画像が動画の場合、歪補正の計算量が膨大になり、あるいは、歪補正のリアルタイム性を要求される場合には、高速な演算処理が要求される。
【０００５】
以上のような事情に鑑み、本発明の目的は、歪補正における計算量を低減することができる画像処理装置、画像処理方法、そのブログラム及びそのプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る画像処理装置は、広角レンズを用いて撮像された該広角レンズによる歪を含む広視野画像のうち選択された選択領域の画像の前記歪を補正するために、前記選択領域画像の補正座標を計算する座標計算手段と、前記算出された前記補正座標に対応する、前記選択領域画像の所定の各画素データを補間する補間手段とを具備する。
【０００７】
本発明では、例えば広角視野画像のうち選択された選択領域画像の歪補正が実行される際、画素データの補間処理が行われる。特に、例えば広角視野画像のうち選択された選択領域画像の歪補正が実行されるので、広視野画像全体が補正される場合より計算量を低減できる。
【０００８】
「画素データ」とは、ＲＧＢデータであってもよいし、後述するように、ＲＧＢデータから変換された輝度／色差データであってもよい。「輝度／色差データ」とは、輝度データ及び色差データを含む、ＹＵＶデータまたはＹＣｒＣｂデータである。
【０００９】
「対応する所定の各画素データ」とは、例えば補間手段による補間処理の対象となる、ある点の周辺の画素データである。
【００１０】
「画像」には、主に動画を意味するが、もちろん静止画も含まれる。
【００１１】
本発明の一の形態によれば、当該画像処理装置は、前記広視野画像のＲＧＢデータを、輝度データ及び色差データを含む輝度／色差データに変換する変換手段をさらに具備し、前記座標計算手段は、前記輝度／色差データのうち、前記選択領域画像に対応する選択領域輝度／色差データの前記補正座標を算出する。
【００１２】
本発明の一の形態によれば、前記補間手段は、前記広視野画像のＲＧＢデータのうち、前記選択領域画像に対応する選択領域ＲＧＢデータを、当該選択領域画像の各画素について補間するＲＧＢ補間手段と、前記補間された選択領域ＲＧＢデータと前記選択領域輝度／色差データとに基づき、補間値を算出する算出手段とを有する。本発明では、補間値を算出するために、ＲＧＢ補間手段により補間された選択領域ＲＧＢデータが用いられるので、画質の劣化を抑えながら計算量を減らすことができる。
【００１３】
本発明の一の形態によれば、前記座標計算手段は、小数点を含む実数を前記補正座標として算出し、前記補間手段は、前記実数の小数点を切り上げまたは切り下げることにより得られる４つの画素の輝度データについて直線補間する輝度データ補間手段を有する。歪補正のために算出された補正座標は、歪を含む広視野画像（あるいは歪を含む選択領域画像）を構成する各画素に１：１で対応しない場合が多い。そこで、本発明では、小数点を切り上げまたは切り下げることにより得られる４つの画素の輝度データについて補間される。
【００１４】
本発明の一の形態によれば、前記補間手段は、前記４つの画素のうち２つの画素を直線補間する色差データ補間手段を有する。あるいは、前記補間手段は、前記４つの画素のうちの所定の画素の色差データを選択する色差データ補間手段を有する。本発明では、色差データは所定の画素を選択するのみなので、さらに計算量が低減される。
【００１５】
本発明の一の形態によれば、当該画像処理装置は、前記選択領域を示す情報に応じて前記選択領域を更新する更新手段をさらに具備する。本発明では、選択領域画像が更新されるたびに、補間処理が実行され、歪補正が行われる。このような場合であっても、本発明では計算量を極力低減しているので、スムーズな処理を実行することができる。
【００１６】
本発明の一の形態によれば、当該画像処理装置は、前記広視野画像内に前記選択領域が強調された強調領域を含む画像を、全体画像として出力する第１の出力手段と、前記選択領域画像の前記歪が補正された歪補正画像を出力する第２の出力手段と、全体画像と選択領域画像とが一画面の画像データとして合成された合成画像を出力する合成画像出力手段とをさらに具備する。本発明では、強調領域を含む全体画像と、歪が補正された歪補正画像とが一画面で出力可能であることにより、例えば全体画像の中のどの部分が選択されているかをユーザが認識することができ、便利である。また、本発明においても、上記したように計算量を極力低減しているので、スムーズな合成画像の出力処理を実行することができる。
【００１７】
「全体画像」とは、広視野画像のうち強調領域を含む画像であればよく、広視野画像自体とは限らない。
【発明の効果】
【００１８】
以上のように、本発明によれば、歪補正における計算量を低減することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態を図面を参照しながら説明する。
【００２０】
図１は、本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。画像処理システム１００は、広角レンズ１、画像処理装置１０、表示部１２を備え、そのほか外部機器１３や入力機器１４等を備える。画像処理装置１０は、イメージセンサ２、カラー処理回路３、歪補正処理回路４、コントローラ５、メモリ６、画像圧縮回路７、表示インターフェース８、ＵＳＢ（Universal Serial Bus）インターフェース９、入力機器インターフェース１１を備える。
【００２１】
イメージセンサ２は、広角レンズ１を介して取り込まれた光を電気信号に変換するセンサである。例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサや、ＣＣＤ（Charge Coupled Device）等が用いられる。広角レンズ１としては、広視野角あるいは広画角のレンズが用いられ、例えば画角がおよそ４５度以上のものが用いられるが、これに限られるわけではない。例えば魚眼レンズ、あるいは環状の画像が得られるＰＡＬ（Panoramic Annular Lens）（環状のレンズ）等が挙げられる。あるいは、画角が１８０°程度の魚眼レンズが２つ用いられることにより、全方位（球空間（３６０°））の視野で撮像することもできる。
【００２２】
カラー処理回路３は、図２に示すように、例えばイメージセンサ２のBayerデータのＲＧＢデータを補間するＲＧＢ補間回路１７を有する。また、カラー処理回路３は、補間されたＲＧＢデータをＹＣｒＣｂデータに変換するＹＣｒＣｂ変換回路１８を有する。カラー処理回路３は、そのほか、図示しないが、光量を制御するＡＥ（Automatic Exposure）演算回路、ホワイトバランスを制御するＡＷＢ（Automatic White Balance）演算回路、ＲＧｒＧｂＢ画素フィルタごとに非線形テーブルによりゲイン調整するゲイン調整回路を有する。さらに、カラー処理回路は、図４（Ｃ）で説明するように、データが間引きされた広視野の全体画像２５を、表示部１２に表示される画像の一部に付加する画面付加処理回路、その他、必要な、または付加的な回路を備えている。
【００２３】
歪補正処理回路４は、カラー処理回路３で処理された歪を含む画像に対し、主に歪補正処理を行う。また、歪補正処理回路４は、歪補正処理の際、輝度データ及び色差データを含む画素データ（上記ＹＣｒＣｂデータ）の補間処理を行う。メモリ６は、歪補正処理回路４の処理時におけるバッファとして機能し、あるいは、画像出力用のフレームメモリとしての機能を有する。特に、メモリ６は、後述する選択領域画像の画素データ（ＲＧＢデータまたはＹＣｒＣｂデータ）を記憶する機能を有する。メモリ６には、図示しないＤＭＡ（Direct Memory Access）回路が接続されていてもよい。その場合、コントローラ５の制御によらないでメモリ６に対してデータが入出力される。
【００２４】
コントローラ５は、画像処理装置１０全体を統括的に制御し、例えばＣＰＵ（Central Processing Unit）により構成される。
【００２５】
画像圧縮回路７は、歪補正処理回路４で処理された画像を所定の形式で圧縮する。圧縮の形式としては、例えばＪＰＥＧ（Joint Photographic Expert Group）が用いられる。しかし、適宜その他の公知の形式が用いられてもよい。
【００２６】
表示インターフェース８は、歪補正処理回路４で処理された画像を表示部１２に出力するインターフェースである。表示インターフェース８は、例えばＮＴＳＣ（National Television System Committee）方式、またはＰＡＬ（Phase Alternating Line）方式等の出力データを生成する。
【００２７】
ＵＳＢインターフェース９は、外部コンピュータ等の外部機器１３に対して、画像圧縮回路７で処理された画像の入出力を制御する。なお、上記表示インターフェース８も、画像圧縮回路７で圧縮された画像を出力するようにしてもよい。
【００２８】
入力機器インターフェース１１は、例えばユーザによる操作入力の信号を受信したりする。入力機器１４としては、例えばマウス、キーボード、スイッチ機器、タッチセンサ、ゲーム機器のコントローラ、ユーザが把持可能なスティック状の操作機器等が挙げられる。
【００２９】
なお、本実施の形態でいう「画像」とは、静止画も含まれるが、現実には、動画として処理されることが多い。
【００３０】
カラー処理回路３、歪補正処理回路４、コントローラ５等は、例えばＦＰＧＡ（Field Programmable Gate Array）及びＤＳＰ（Digital Signal Processor）のうちの少なくとも一方により、処理を実現させることができる。
【００３１】
図３は、上記歪補正処理回路４の構成を示すブロック図である。歪補正処理回路４は、更新処理回路２４、画素データ補間回路１９、出力画素合成回路２０、フィルタ回路２１を含む。
【００３２】
更新処理回路２４は、座標計算部２２、表示方向指定レジスタ２３を有する。表示方向指定レジスタ２３は、入力機器インターフェース１１からの入力情報に応じてコントローラ５により解析された選択領域を示す情報を記憶する。座標計算部２２は、選択領域を示す情報に応じて、広角レンズ１を介してイメージセンサ２で撮像された広視野画像２５（図４（Ａ）参照）内の選択領域を計算する。後でも説明するが、歪補正処理回路４では、主にこの選択領域の画像の歪を補正し、その歪補正された歪補正画像を各種のインターフェース１２、１３または１４から出力する。「選択領域を示す情報」とは、例えば広視野画像２５内で、ユーザにより選択された領域の位置情報である。すなわち、更新処理回路２４は、選択領域の位置情報（の変化）に応じて、選択領域の歪補正画像を更新する。
【００３３】
画素データ補間回路は、画素データ、つまり画素ごとの輝度データ及び色差データについて、メモリに蓄えられた歪を含む画像の座標計算により直線補間等の処理を行う。
【００３４】
出力画素合成回路２０は、形式的に例えば一旦ＹＣｒＣｂ４：４：４形式とされた画素データを、平均化処理することにより４：２：２形式、または４：２：０形式に変換する。フィルタ回路２１は、出力画像に対して平均化や先鋭化のフィルタをかける処理を行う。出力画素合成回路２０やフィルタ回路２１は、本実施の形態では特に重要な要素ではない。
【００３５】
図４は、この画像処理装置１０により画像処理されて表示部１２で表示される各種画像の例を示す。図４（Ａ）は、広視野画像２５内に、選択領域が強調された強調領域１６を含む全体画像を示す。強調領域１６は、例えば枠状のカーソルである。しかし、強調領域１６は、このようなカーソル１６に限られず、全体画像２５中で強調領域１６以外の部分とは色を変えて表示されるような形態であってもよい。すなわち、強調領域１６は、ユーザが広視野画像２５を見てその強調された領域が他の領域と識別できるような形態であればよい。ユーザは、入力機器を用いて、カーソル１６により全体画像２５中の所望の領域（カーソル１６で囲まれる範囲）を選択し、コントローラ５は、その範囲を選択領域として種々の処理を行う。
【００３６】
以降、図４（Ａ）の画像であって強調領域１６を含まない画像を「広視野画像」という。また、図４（Ａ）に示すように広視野画像に強調領域１６を含む画像を「全体画像２５」として、「広視野画像」と「全体画像２５」とを区別する。また、以下、強調領域１６で囲われる範囲の画像を「選択領域画像」という。
【００３７】
全体画像２５内の選択領域は、ユーザが選択する形態に限られない。例えば、全体画像２５内の予め設定された領域が選択される形態も考えられる。その場合の当該領域を示す情報（位置情報等）は、予め図示しないＲＯＭや、外部の記憶装置等に格納されていればよい。このように予め選択領域が設定されている場合に限らず、全体画像２５内のある特定の領域が自動認識される場合に、その自動認識された「特定の領域」が「選択領域」として処理される形態も考えられる。あるいは、図示しない様々なセンサによって、全体画像２５内で検出された部分の画像領域が「選択領域」として処理される形態もある。その場合、センサとは、例えば光センサ、温度センサ、圧力センサ、音センサ、湿度センサ、振動センサ、ガスセンサ、その他様々なセンサが挙げられる。
【００３８】
図４（Ｂ）は、選択領域の歪が補正された歪補正画像を示す図である。図４（Ｃ）は、上記全体画像２５が間引きされた全体画像間引き画面４５と、歪が補正された歪補正画像３５とが一画面の画像データとして合成された合成画像３６を示す。歪補正処理回路４は、このような合成画像をも生成し、表示部１２等に出力する。合成画像３６の生成には、例えばＯＳＤ（On Screen Display）等の技術が用いられればよい。コントローラ５は、例えば入力機器インターフェース１１による入力情報に応じて、これら図４（Ａ）、（Ｂ）及び（Ｃ）に示す全体画像２５、歪補正画像３５及び合成画像３６の出力を切り替えることができる。つまり、コントローラ５は、主に３つの表示モードを持ち、これらを適宜切り替える。なお、図４（Ａ）の全体画像２５が表示されるモードは、強調領域１６が表示されない広視野画像が表示されるモードであってもよい。図１４は、表示モードが順に切り替えられるときの表示部に表示される表示画像を示す。図１４（Ａ）は、広視野画像（全体画像２５でもよい。）のみの画像である。図１４（Ｂ）は、選択領域の歪が補正された歪補正画像３５のみの画像である。図１４（Ｃ）は、当該両者を含む合成画像３６である。
【００３９】
次に、広角レンズ１を搭載したカメラの設置状態の態様について説明する。
【００４０】
図５を参照して、球３１の中心Ｏに視点がある場合、その視点Ｏが捉えることが可能な視野は球３１で表される３次元空間になる。広角レンズ１として例えば視野１８０°程度の魚眼レンズが用いられる場合、その魚眼レンズで捉えられる視野は、球３１のうち半球部分である。例えば図６（Ａ）は、球３１のうち上半分（現実の３次元空間で上方向）の視野（以下、上半球視野という。）を示す。図６（Ｂ）は、球３１のうち下半分（現実の３次元空間で下方向）の視野（以下、下半球視野という。）を示す。図６（Ｃ）は、球３１のうち横半分の視野（以下、横半球視野という。）を示す。特に、図６（Ａ）の例では、地面、床上、机上から上方向を見る場合が想定される。図６（Ｂ）の例では、天井や上空から下方向を見る場合が想定される。図６（Ｃ）の例では、地面に垂直な壁等から水平方向あるいは横方向を見る場合が想定される。
【００４１】
これらのほか、斜め上半分や斜め下半分の視野も考えられる。これらのように、魚眼レンズが設置されるときの魚眼レンズの向き、あるいは傾きが種々設定されることにより、様々な半球の視野が得られる。
【００４２】
なお、図６では、魚眼レンズが用いられる場合について説明した。これに限られず、様々な広角レンズ１が用いられる場合も、もちろんレンズの向きや傾きによって視野が変わる。
【００４３】
次に、以上のように構成された画像処理装置１０の動作について説明する。図７は、その動作を示すフローチャートである。
【００４４】
コントローラ５は、広角レンズ１を介して取り込まれた光をイメージセンサ２で電気信号に変換させる（ステップ７０１）。コントローラ５は、カラー処理回路３によりカラー処理する（ステップ７０２）。カラー処理では、特に、上述したようにＲＧＢデータが補間され（ステップ７０２−１）、補間されたＲＧＢデータがＹＣｒＣｂデータに変換される（ステップ７０２−２）。この変換処理では、４：４：４方式で行われればよい。あるいは、４：２：２方式、４：１：１方式、または４：２：０方式で間引きされてもよい。
【００４５】
なお、ＲＧＢからＹＣｒＣｂの変換式は、下式（１）〜（３）で表せる。しかし、この式において各項の数値が多少異なる場合もあり得る。
Y=0.299R+0.587G+0.114B・・・（１）
Cr=0.500R-0.419G-0.081B・・・（２）
Cb= -0.169R-0.331G+0.500B・・・（３）
【００４６】
図８は、イメージセンサ２のBayer配列を示す図である。赤の各画素をr mnとし、緑の各画素をg mnとし、青の各画素をb mnとしている。上記ステップ７０２−１のＲＧＢデータの補間は、次のように行われる。例えばg11(=p11)、r12(=p12)、b21(=p21)、g22(=p22)の４つの画素のＲＧＢ値を周辺画素のＲＧＢ値を用いてラフに合成する。そうすると、４つの画素p11、p12、p21、p22のＲＧＢ値は、以下のようになる。
p11=(r11=(r10+r12)/2 , g11 , b11=(b01+b21)/2) ・・・（４）
p12=(r12 , g12=(g02+g11+g13+g22)/4, b12=(b01+b03+b21+b23)/4) ・・・（５）
p21=(r21=(r10+r12+r30+r32)/4 , g21=(g11+g20+g22+g31)/4 , b21) ・・・（６）
p22=(r22=(r12+r32)/2 , g22 , b22=(b21+b23)/2) ・・・（７）
コントローラ５は、以上のようなＲＧＢ補間処理を、全体画像２５のＲＧＢデータすべてについて行うのではなく、選択領域画像におけるＲＧＢデータ（選択領域ＲＧＢデータ）について行うようにしてもよい。
【００４７】
ここで、コントローラ５は、補間されたＲＧＢ値に対し、下記数１に示したマトリクスＡを乗ずることで色ずれを抑えるように調整し、最終的なＲＧＢ値を求める。
【００４８】
【数１】
【００４９】
その場合、色ずれ調整後の画素値P11、P12、P21、P22は、
P11=(R11,G11,B11)=Ap11・・・（８）
P12=(R12,G12,B12)=Ap12・・・（９）
P21=(R21,G21,B21)=Ap21・・・（１０）
P22=(R22,G22,B22)=Ap22・・・（１１）
と表せる。なお、本実施の形態においては、この色ずれの調整処理は、必ずしも行われる必要はない。この色ずれ調整処理も、上記選択領域ＲＧＢデータについて行われるようにしてもよい。
【００５０】
コントローラ５は、式（４）〜（７）（または、（８）〜（１１））により求められたＲＧＢ値を最終的なＲＧＢ値とし、上記したように、このＲＧＢデータをＹＣｒＣｂデータに変換する。ＹＣｒＣｂデータはメモリ６に保存される（ステップ７０３）。
【００５１】
図７の説明に戻る。コントローラ５は、歪補正処理回路４により、入力機器インターフェース１１からの入力情報に応じて全体画像２５内の選択領域画像を歪補正処理し、歪補正画像を生成する（ステップ７０４）。歪補正処理回路４は、後に詳述するが、座標計算部２２の処理によって、表示部１２により表示される表示平面の画素の座標に相当するメモリ６のアドレスを計算により求める。すなわち座標変換処理が行われる。当該メモリ６のアドレスは、選択領域画像の補正座標に相当する。計算により求められた補正座標、すなわちメモリアドレスは、小数点を含む場合が多い。したがって、画素データ補間回路１９は、座標補間により画素データを生成し、歪補正画像を生成する（ステップ７０４）。
【００５２】
コントローラ５は、生成された歪補正画像を、表示部１２や外部機器１３等に対応した画素フォーマットに変換する。コントローラ５は、出力用メモリに保存した後、各種のインターフェース８、９、１１を介して、歪補正画像を出力する（ステップ７０５）。
【００５３】
次に、上記した更新処理回路２４の動作について説明する。図９は、その動作を示すフローチャートである。画像処理装置１０の待機状態から、入力機器１４からの情報に変化があった場合（ステップ９０１のＹＥＳ）、コントローラ５は入力機器インターフェース１１を介してその入力情報を取得する（ステップ９０２）。コントローラ５は、全体画像２５内における強調領域１６の位置情報の算出、歪補正処理のための演算処理、上記表示モードを切り替えるための演算処理、あるいは、後述する２つの表示方向のモード（直行モード及び周回モード）を切り替えるための演算処理等を行う（ステップ９０３）。特に、上記位置情報や表示方向のモードの切り替え情報は、表示方向指定レジスタ２３に記憶される。
【００５４】
次に、歪補正処理回路４の動作についてさらに詳しく説明する。
【００５５】
図１０（Ａ）では、視点ｏ（０，０，０）を中心とした、上述した上半球視野の上半球を横から見ている。図中、点Ｐ（ｕ，ｖ，ｗ）は周囲の被写点、点Ｑは魚眼画像である全体画像２５の結像点、角度θは点Ｐから視点への入射角、距離ｈは像高を示す。点Ｐと点Ｑとは像高特性によって対応付けられる。図１０（Ｂ）は、当該像高特性を示したグラフである。横軸が角度（入射角）θ、縦軸が像高ｈを示している。当該データは、変換テーブルとして予めメモリ６や図示しない他のメモリに記憶されていればよい。
【００５６】
ここで、図１１（Ａ）は、表示部１２に表示される範囲の平面である表示平面を示す。図１１（Ｂ）は、図１１（Ａ）に示す上半球を３次元で示した図である。図１１（Ｂ）に示す球面３３をｘ−ｙ平面上に投影した画像が、図１１（Ｃ）で示す全体画像２５となる。この全体画像２５がイメージセンサ２により得られる歪補正前の画像である。上記表示平面３２の中心Ｏが、上半球視野により形成される球面３３に接しており、表示平面３２は、上記全体画像２５内の選択領域を表示した画面となる。
【００５７】
座標変換処理を説明するにあたり、説明を分かりやすくするため、まずズーム処理、パン処理（垂直パン処理、水平パン処理）について説明する。ズーム処理とは、入力機器インターフェース１１からの入力情報に応じて、コントローラ５が選択領域の大きさを変化させることにより、歪補正画像の大きさを変化させる処理である。なお、この選択領域の大きさの変化も上記位置情報の変化の概念に含まれる。パン処理とは、入力機器インターフェース１１からの入力情報に応じて、コントローラ５が選択領域の位置を変化させる処理である。
【００５８】
図１２を参照して、まず表示平面３２（選択領域）の中心Ｏを半径Ｒ（＝像高１００％）の球面３３のパンの初期位置Ｐ0（ｘ0，ｙ0，ｚ0）＝Ｐ0（Ｒ，０，０）で接触させる。ズーム処理において、ある点Ｐ（Ｘ，Ｙ）からズーム処理によりＰ0（ｘ0，ｙ0，ｚ0）に変換される場合、変換式は下記のようになる。なお、このズーム処理では、説明をわかりやすくするため、上記表示平面３２の中心Ｏが点Ｐと一致しているとする。
ｘ0＝Ｒ・・・・・・・・（１２）
ｙ0＝Ｘ×Ｚｏｏｍ・・・（１３）
ｚ0＝Ｙ×Ｚｏｏｍ・・・（１４）
「Ｚｏｏｍ」はズーム倍率である。ズーム処理では、図４（Ａ）及び図４（Ｃ）において、入力された選択領域の位置情報に応じて、コントローラ５がカーソル１６の大きさを変形させる。ズーム処理では、表示平面３２の拡大または縮小だけであるので、ｘ0＝Ｒの位置は変わらない。
【００５９】
垂直パン処理を説明する。中心Ｏを球面３３に接触させたまま、初期位置Ｐ0からｙ軸を中心に垂直パン角Ｖだけ表示平面３２を移動させた位置がＰ1（ｘ1，ｙ1，ｚ1）である。Ｐ0からＰ1への移動は、図４（Ａ）で説明すると、カーソル１６が垂直方向（図中縦方向）へ移動に相当する。この場合、表示部１２で表示される歪補正画像は、地平線に垂直方向に移動するように表示される。ただし、図４（Ａ）では横半球視野であり、図１２では上半球視野であることころが違う点に注意を要し、説明の便宜上、今図４（Ａ）の視野が上半球視野であると仮定して説明している。垂直パン角の座標変換式は、下記のようになる。
ｘ1＝ｘ0ｃｏｓＶ＋ｚ0ｓｉｎＶ・・・・（１５）
ｙ1＝ｙ0・・・・・・・・・・・・・・（１６）
ｚ1＝−ｘ0ｓｉｎＶ＋ｚ0ｃｏｓＶ・・・（１７）
つまり、これらの式は、ｙ軸を中心とした回転行列の変換式である。
【００６０】
水平パン処理を説明する。中心Ｏを球面３３に接触させたまま、Ｐ１からｚ軸を中心に水平パン角Ｈだけ移動させた位置がＰ2（ｘ2，ｙ2，ｚ2）である。Ｐ1からＰ2への移動は、図４（Ａ）で説明すると、カーソル１６が全体画像２５の中心を中心として回転角Ｈで移動したことに相当する。この場合、表示部で表示される歪補正画像は、地平線に平行に水平方向に移動するように表示される。水平パン角の座標変換式は、下記のようになる。
ｘ2＝ｘ1ｃｏｓＨ−ｙ1ｓｉｎＨ・・・・（１８）
ｙ2＝ｘ1ｓｉｎＨ＋ｙ1ｃｏｓＨ・・・・（１９）
ｚ2＝ｚ1・・・・・・・・・・・・・・（２０）
つまり、これらの式は、ｚ軸を中心とした回転行列の変換式である。
【００６１】
図１６に、以上説明した各回転行列を示す。図１６に示すように、[X]はｘ軸を中心とする回転行列、[Y]はｙ軸を中心とする回転行列、[Z]はｚ軸を中心とする回転行列、[M]はズーム倍率を示す。そうすると、[Ｐ2]は、直行モードで下式（２１）、周回モードで（２２）で表せる。
[Ｐ2]=[Z][Y][X][M][Ｐ0] ・・・（２１）
[Ｐ2]=[Z][Y][M][Ｐ0] ・・・・（２２）
「直行モード」、「周回モード」とは、上記式（１２）〜（２０）を用いて、全体画像２５上での選択領域の位置情報を定義するためのモードである。
【００６２】
「直行モード」は、上記Ｐ0を初期位置とし、上式（２１）により３軸すべての周りに点Ｐを移動させることが可能であって、その結果、最終的に位置した点Ｐ（つまりＰ2）の位置を定義するモードである。これは、図６（Ｃ）で示したように、横半球視野が得られるようにカメラが設置された場合に主に用いられるモードである。横半球視野では、図１１〜図１３で示したz軸方向が、水平線の方向と一致する。
【００６３】
「周回モード」は、上記Ｐ0を初期位置とし、上式（２２）によりｚ軸及びｙ軸の２軸の周りに点Ｐを移動させることが可能であって、その結果、最終的に位置した点Ｐの位置を定義するモードである。これは、図６（Ａ）及び図６（Ｂ）で示したように、上及び下半球視野が得られるようにカメラが設置された場合に主に用いられるモードである。
【００６４】
次に、歪補正のための座標変換処理について説明する。図１３を参照して、まずＰ2（ｘ2，ｙ2，ｚ2）の入射角（仰角）θを求める。図１３において、座標中心をｏ（０，０，０）とすると、
ＯＰ2＝（ｘ22＋ｙ22＋ｚ22）1/2・・・・（２３）
であるので、θは以下の式で表せる。
θ＝ａｒｃｃｏｓ（ｚ2／ＯＰ2）・・・（２４）
なお、図１２、図１３に示したＰ2（ｘ2，ｙ2，ｚ2）は、図１０、図１１で示した点Ｐ（ｕ，ｖ，ｗ）に相当する座標と考えてよい。
【００６５】
式（２４）で求められたθから像高ｈ（図１０（Ａ）参照）が求められる。像高ｈは、上記したように、図１０（Ｂ）の像高特性から求められる。
【００６６】
図１２を参照して、像高ｈが求められると、点Ｐ2から垂直に下りた点Ｐ2’（ｘ2，ｙ2，０）を像高ｈの位置である点Ｑ（ｘ，ｙ）（図１０（Ａ）参照）に拡大または縮小させる。具体的には、下記の式から点Ｑの座標が求められる。
ＯＰ2’＝ＯＰ2ｓｉｎθ・・・（２５）
ｘ＝ｘ2ｈ／ＯＰ2’・・・・・（２６）
ｙ＝ｙ2ｈ／ＯＰ2’・・・・・（２７）
以上のように、点Ｑの座標（補正座標）が計算されると、図１１（Ｃ）に示した点Ｑの座標を、図１１（Ｄ）に示す点Ｐ（ｕ，ｖ，ｗ）の座標と対応させる。すなわち、点Ｑの座標が計算されれば、その点Ｑに対応するメモリアドレス上の画素データ（上記ステップ７０３で保存された画素データのうちの点Ｑに対応する座標の画素データ）が、当該メモリから読み出される。このような点Ｑの座標計算が、表示平面３２上の全ての点について行われることにより、表示平面３２に対応する選択領域の歪補正画像３５（図１１（Ｄ）参照）が生成される。
【００６７】
ここで、歪補正のために演算により求められた点Ｑの座標（演算により求められたメモリアドレス）は、上述したように、表示平面３２の歪補正画像３５を構成する各画素に１：１で対応しない場合が多い。したがって、画素データ補間回路１９は、その演算により求められた座標を用いて、次に説明するように画素データについての補間処理を行う。
【００６８】
図１４は、当該補間処理の動作を説明するための図である。例えば、画素データ補間回路１９は、図８を参照して、計算により求められたある点ｐ（上記説明における点Ｑに相当する）の座標の画素データを補間により求めるとする。図１４に示すように、今、例えば、点ｐの座標（ｘ，ｙ）が、小数点を含む実数である（２５６．７，６７８．９）であったとする。この点ｐを含む周辺４つの画素データがメモリ６から読み出される。すなわち、小数点を切り上げまたは切り下げることにより得られる４つの画素の画素データが読み出される。その４つの画素の座標は、下記のようになる。
左上（２５６，６７８）
右上（２５６，６７９）
左下（２５７，６７８）
右下（２５７，６７９）
これら４点は、図８におけるg11、r12、b21、g22に相当する。これらの４点の画素データ（４点それぞれの輝度データ（Ｙデータ）及び色差データ（ＣｒＣｂデータ））が読み出されると、そのうち、点ｐの輝度データについては、直線補間し、色差データについてはその色差データそのものを使用する。これは、人間が、色差に対する感度が輝度に対する感度の半分程度でしかないことによる。あるいは、色差データについても直線補間を行ってもよい。
【００６９】
直線補間は、各種の方法がある。例えば４点の画素データから平均値を算出したり、中央値を算出したりすることにより点ｐの画素データが求められる。あるいは、次のように補間処理されてもよい。
【００７０】
上記式（８）〜（１１）（また、式（４）〜（７）でもよい。）で示した４つの点のＲＧＢ値から、下記のように点ｐについて補間されたＲＧＢ値であるP(1.m,1.n)が求められる。
P(1.m,1.n)=(1-m)(1-n)P11+(1-m)nP12+m(1-n)P21+mnP22・・・（２８）
より厳密には、
P(1+(0.m),1+(0.n))=(1-(0.m))(1-(0.n))P11+(1-(0.m))(0.n)P12
+(0.m)(1-(0.n))P21+(0.m)(0.n)P22・・・（２９）
m、nは整数であり、図８において画素g11(=p11)、r12(=p12)、b21(=p21)、g22(=p22)の中心点をＣとする。また、点Ｃから垂直方向に１画素分離れた点の座標をm＝１、点Ｃから水平方向に１画素分離れた点の座標をn＝１とする。m、nについて、点Ｃから上下方向で正負が定められ、また、左右方向で正負が定められる。
【００７１】
上記したように、人間が、色差に対する感度が輝度に対する感度の半分程度でしかないことから、点ｐの補間処理の方法として下式（３０）の近似式が成立する。この式（３０）の例では、上記ステップ７０２−２において４：２：０方式で変換されたＹＣｒＣｂデータを扱っている。
YCrCbP(1+(0.m),1+(0.n))
＝YCrCb{(1-(0.m))(1-(0.n))P11+(1-(0.m))(0.n)P12 +(0.m)(1-(0.n))P21+(0.m)(0.n)P22}
＝(1-(0.m))(1-(0.n))YCrCbP11+(1-(0.m))(0.n)YCrCbP12+(0.m)(1-(0.n))YCrCbP21
+(0.m)(0.n)YCrCbP22
≒((1-(0.m))(1-(0.n))YP11+(1-(0.m))(0.n)YP12+(0.m)(1-n)YP21+(0.m)(0.n)YP22,
CrP12, CbP21)・・・（３０）
この式（３０）では、輝度のみを計算すればよいので、計算量が１／３程度になる。また、補間値を算出するために、ＲＧＢ補間回路により補間された選択領域ＲＧＢデータと、ＹＣｒＣｂデータが乗算されるので、画質の劣化を抑えながら計算量を減らすことができる。この式（３０）は、上記のように４：２：０方式で変換されたＹＣｒＣｂデータを扱っている。しかし、もちろん、他の方式で変換されたＹＣｒＣｂデータに対し、補間された選択領域ＲＧＢが用いられてもよい。
【００７２】
図１４に示すように、出力画素合成回路は、４：２：０方式で求められた画素データを一旦４：４：４方式にする。そして、出力形式に合わせて適宜４：２：２等の方式に変換される。もちろん、４：２：２方式のほか、４：２：０方式、またはその他の方式であってもよい。出力画素合成回路２０での処理が終了すると、コントローラ５は、画素データを出力用のフレームメモリに書き込む。
【００７３】
以上のように、本実施の形態では、全体画像２５のうち選択された選択領域画像の歪補正が実行される際、画素データの補間処理が行われる。特に、例えば全体画像２５のうち選択された選択領域画像の歪補正が実行されるので、全体画像２５の全体が補正される場合より計算量を低減できる。
【００７４】
本実施の形態では、上記したように、更新処理回路２４において選択領域画像が更新されるたびに、画素データ補間回路１９により補間処理が実行される。このような場合であっても、上記のように計算量が低減されているので、スムーズな処理を実行することができる。
【００７５】
本実施の形態では、カーソル１６を含む全体画像２５と、歪が補正された歪補正画像３５とが一画面で出力可能であることにより、例えば全体画像２５の中のどの部分が選択されているかをユーザが認識することができ、便利である。また、この場合においても、上記したように計算量を極力低減しているので、スムーズな合成画像の出力処理を実行することができる。
【００７６】
本発明に係る実施の形態は、以上説明した実施の形態に限定されず、他の種々の実施形態が考えられる。
【図面の簡単な説明】
【００７７】
【図１】本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。
【図２】図１に示すカラー処理回路の構成を示すブロック図である。
【図３】図１に示す歪補正処理回路の構成を示すブロック図である。
【図４】画像処理装置により画像処理されて表示部で表示される各種画像の例を示す。
【図５】球体で表される視野を示す図である。
【図６】広角レンズを用いたカメラにより撮像されるときの視野（撮像範囲）をそれぞれ示す図である。
【図７】画像処理装置の動作を示すフローチャートである。
【図８】イメージセンサのBayer配列を示す図である。
【図９】更新処理回路の動作を示すフローチャートである。
【図１０】座標変換の原理の一例を説明するための図である。
【図１１】座標変換の原理の一例を説明するための図である。
【図１２】パン処理の座標変換を説明するための図である。
【図１３】座標変換の原理の一例を説明するための図である。
【図１４】補間処理の動作を説明するための図である。
【図１５】表示モードが順に切り替えられるときの表示部に表示される表示画像を示す図である。
【図１６】各回転行列及びＰ2の位置を説明するための図である。
【符号の説明】
【００７８】
４…歪補正処理回路
５…コントローラ
６…メモリ
１０…画像処理装置
１６…強調領域（カーソル）
１７…ＲＧＢ補間回路
１８…ＹＣｒＣｂ変換回路
１９…画素データ補間回路
２２…座標計算部
２３…表示方向指定レジスタ
２４…更新処理回路
２５…広視野画像、全体画像
３５…歪補正画像
３６…合成画像
【特許請求の範囲】
【請求項１】
広角レンズを用いて撮像された該広角レンズによる歪を含む広視野画像のうち選択された選択領域の画像の前記歪を補正するために、前記選択領域画像の補正座標を計算する座標計算手段と、
前記算出された前記補正座標に対応する、前記選択領域画像の所定の各画素データを補間する補間手段と
を具備することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記広視野画像のＲＧＢデータを、輝度データ及び色差データを含む輝度／色差データに変換する変換手段をさらに具備し、
前記座標計算手段は、前記輝度／色差データのうち、前記選択領域画像に対応する選択領域輝度／色差データの前記補正座標を算出することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記補間手段は、
前記広視野画像のＲＧＢデータのうち、前記選択領域画像に対応する選択領域ＲＧＢデータを、当該選択領域画像の各画素について補間するＲＧＢ補間手段と、
前記補間された選択領域ＲＧＢデータと前記選択領域輝度／色差データとに基づき、補間値を算出する算出手段と
を有することを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置であって、
前記座標計算手段は、小数点を含む実数を前記補正座標として算出し、
前記補間手段は、前記実数の小数点を切り上げまたは切り下げることにより得られる４つの画素の輝度データについて直線補間する輝度データ補間手段を有することを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置であって、
前記補間手段は、前記４つの画素のうち２つの画素を直線補間する色差データ補間手段を有することを特徴とする画像処理装置。
【請求項６】
請求項３に記載の画像処理装置であって、
前記補間手段は、前記４つの画素のうちの所定の画素の色差データを選択する色差データ補間手段を有することを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置であって、
前記選択領域を示す情報に応じて前記選択領域を更新する更新手段をさらに具備することを特徴とする画像処理装置。
【請求項８】
請求項１に記載の画像処理装置であって、
前記広視野画像内に前記選択領域が強調された強調領域を含む画像を、全体画像として出力する第１の出力手段と、
前記選択領域画像の前記歪が補正された歪補正画像を出力する第２の出力手段と、
全体画像と選択領域画像とが一画面の画像データとして合成された合成画像を出力する合成画像出力手段と
をさらに具備することを特徴とする画像処理装置。
【請求項９】
広角レンズを用いて撮像された該広角レンズによる歪を含む広視野画像のうち選択された選択領域の画像の前記歪を補正するために、前記選択領域画像の補正座標を算出し、
前記算出された前記補正座標に対応する、前記選択領域画像の所定の各画素データを補間する
ことを特徴とする画像処理方法。
【請求項１０】
広角レンズを用いて撮像された該広角レンズによる歪を含む広視野画像のうち選択された選択領域の画像の前記歪を補正するために、前記選択領域画像の補正座標を算出し、
前記算出された前記補正座標に対応する、前記選択領域画像の所定の各画素データを補間する
ことをコンピュータに実行させるプログラム。
【請求項１】
広角レンズを用いて撮像された該広角レンズによる歪を含む広視野画像のうち選択された選択領域の画像の前記歪を補正するために、前記選択領域画像の補正座標を計算する座標計算手段と、
前記算出された前記補正座標に対応する、前記選択領域画像の所定の各画素データを補間する補間手段と
を具備することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記広視野画像のＲＧＢデータを、輝度データ及び色差データを含む輝度／色差データに変換する変換手段をさらに具備し、
前記座標計算手段は、前記輝度／色差データのうち、前記選択領域画像に対応する選択領域輝度／色差データの前記補正座標を算出することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記補間手段は、
前記広視野画像のＲＧＢデータのうち、前記選択領域画像に対応する選択領域ＲＧＢデータを、当該選択領域画像の各画素について補間するＲＧＢ補間手段と、
前記補間された選択領域ＲＧＢデータと前記選択領域輝度／色差データとに基づき、補間値を算出する算出手段と
を有することを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置であって、
前記座標計算手段は、小数点を含む実数を前記補正座標として算出し、
前記補間手段は、前記実数の小数点を切り上げまたは切り下げることにより得られる４つの画素の輝度データについて直線補間する輝度データ補間手段を有することを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置であって、
前記補間手段は、前記４つの画素のうち２つの画素を直線補間する色差データ補間手段を有することを特徴とする画像処理装置。
【請求項６】
請求項３に記載の画像処理装置であって、
前記補間手段は、前記４つの画素のうちの所定の画素の色差データを選択する色差データ補間手段を有することを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置であって、
前記選択領域を示す情報に応じて前記選択領域を更新する更新手段をさらに具備することを特徴とする画像処理装置。
【請求項８】
請求項１に記載の画像処理装置であって、
前記広視野画像内に前記選択領域が強調された強調領域を含む画像を、全体画像として出力する第１の出力手段と、
前記選択領域画像の前記歪が補正された歪補正画像を出力する第２の出力手段と、
全体画像と選択領域画像とが一画面の画像データとして合成された合成画像を出力する合成画像出力手段と
をさらに具備することを特徴とする画像処理装置。
【請求項９】
広角レンズを用いて撮像された該広角レンズによる歪を含む広視野画像のうち選択された選択領域の画像の前記歪を補正するために、前記選択領域画像の補正座標を算出し、
前記算出された前記補正座標に対応する、前記選択領域画像の所定の各画素データを補間する
ことを特徴とする画像処理方法。
【請求項１０】
広角レンズを用いて撮像された該広角レンズによる歪を含む広視野画像のうち選択された選択領域の画像の前記歪を補正するために、前記選択領域画像の補正座標を算出し、
前記算出された前記補正座標に対応する、前記選択領域画像の所定の各画素データを補間する
ことをコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００８−６１１７２（Ｐ２００８−６１１７２Ａ）
【公開日】平成２０年３月１３日（２００８．３．１３）
【国際特許分類】
【出願番号】特願２００６−２３８７７９（Ｐ２００６−２３８７７９）
【出願日】平成１８年９月４日（２００６．９．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年３月１３日（２００８．３．１３）
【国際特許分類】
【出願日】平成１８年９月４日（２００６．９．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]