画像処理装置
【課題】超広角光学系で撮像した画像の一部の領域を切り出し、切り出した画像を通常の透視射影方式に変換するための変換処理において、補間マップの作成をしなくても、画素補間方式の切り替えができる画像処理装置を提供する。
【解決手段】空間情報量密度分布算出部２０４で算出する映像空間情報量密度に基づき、拡大・縮小倍率算出部２０６で射影方式変換の際の空間情報量密度変化倍率を求め、該変化倍率により、第１の射影方式の映像を補間するための画素補間方式を選択する補間方式選択部２０７を有する。
【解決手段】空間情報量密度分布算出部２０４で算出する映像空間情報量密度に基づき、拡大・縮小倍率算出部２０６で射影方式変換の際の空間情報量密度変化倍率を求め、該変化倍率により、第１の射影方式の映像を補間するための画素補間方式を選択する補間方式選択部２０７を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学射影方式の画像変換処理に関し、とくに、超広角光学系による画像を通常光学系の透視射影方式に変換する画像処理装置に関する。
【背景技術】
【０００２】
魚眼レンズや全方位ミラーなどの超広角光学系は、通常光学系の透視射影方式と異なる特殊な射影方式を採用しているため、１８０度以上の画角の映像を一つの撮像面に投影することができ、広い撮像視野が要求されるいろいろな分野で利用されている。
【０００３】
ただし、超広角光学系で撮像した映像は、人間の感覚と同じである透視射影の画像と比べ、被写体本来の形状が歪んだり、サイズも変わるので、超広角光学系で撮像した画像をそのまま表示すると、見た目に違和感を感じてしまう。
【０００４】
そのため、超広角光学系で撮像した映像を表示する場合、画像の一部である注目領域を切り出し、切り出した画像を通常の透視射影方式に変換し表示している。
【０００５】
ここで、画像の射影変換について、図を用いて説明する。図１６は超広角光学系画像の射影変換を説明するための概念図である。図において、超広角光学系（図示せず）で撮影した被写体１６５の被写体像１６３の形状は歪んでいる。この歪みを直すため、超広角映像１６１から被写体像１６３の周りの領域１６２を注目領域として切り出し、透視射影へ変換することで、見た目に違和感のない透視射影映像１６４が生成される。
【０００６】
超広角光学系の射影変換方法について、魚眼レンズの射影方式から透視射影への変換を一例として、図１７を用いてさらに説明する。
【０００７】
図１７は射影変換処理装置の全体構成図である。射影変換処理装置１７０は、レンズ射影方式格納部１７１、出力映像画素位置決定部１７２、画素マッピング部１７３、映像入力部１７４、出力映像生成部１７５から構成される。
【０００８】
レンズ射影方式格納部１７１には、魚眼レンズの射影方式として、入射光線の入射角と結像された像高の数式関係の情報が格納される。出力映像画素位置決定部１７２には、切り出し画像が投影される仮想透視射影面の空間位置と姿勢を制御するための信号が図示しない手段により入力され、仮想透視射影面（出力映像）における注目画素の空間位置が出力される。画素マッピング部１７３は、レンズ射影方式格納部１７１に格納された魚眼レンズの射影方式を用いて、出力映像画素位置決定部１７２で算出された注目画素の空間位置を、魚眼撮像面（入力映像）にマッピングする。
【０００９】
映像入力部１７４には、入力映像として魚眼映像が入力され、出力映像生成部１７５は、画素マッピング部１７３で算出された魚眼撮像面上の投影位置の周りの画素値を映像入力部１７４から取得し、画素の補間処理を施して、仮想透視射影面上のすべての画素の画素値を算出し、出力映像を生成する。
【００１０】
画素の補間処理には、図１８のように、例えばマッピングされた位置３０５に一番近い画素１８０１の画素値をそのまま使う最近傍補間法と、マッピングされた位置３０５の周り４画素（１８０１−１８０４）の画素値から注目画素値を推算する線形補間法と、マッピングされた位置３０５の周り１６画素（１８０１−１８１６）の画素値から注目画素値を推算するキュービック補間法がある。
【００１１】
なお、画素の補間処理は、一般的に、周りの画素を多く使うと、出力映像の画質が良くなる一方で、補間処理の処理時間は長くなる傾向にある。すなわち、最近傍補間法、線形補間法、キュービック補間法を比べると、画質については、最近傍補間法 ＜ 線形補間法 ＜ キュービック補間法という順でよくなり、処理時間については、最近傍補間法 ＜ 線形補間法 ＜ キュービック補間法という順で長くなる。ただし、映像の拡大・縮小状況によっては、補間方式を変えても画質にあまり差がでない場合もある。例えば、映像が縮小される場合には、最近傍補間法、線形補間法、キュービック補間法のどれを用いても、出力映像の画質はほとんど変わらない。
【００１２】
そのため、無駄な補間処理時間が発生しないように、例えば、魚眼映像の画素を透視射影面に投影した位置の座標間距離によって映像の拡大・縮小領域を切り分け、その拡大・縮小領域に応じて補間方式を切り替えるものが、特許文献１に開示されている。（段落００５３〜００６２及び図６、７）
このようにすると、魚眼映像などの超広角映像の切り出し領域がほぼ変更しないような場合には、透視射影などの別の射影方式への変換処理における補間処理を出力映像の画質を落とさずに、より短い処理時間で行うことが可能となる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００９−６４２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、上記文献で提案されている装置では、射影変換処理の前に、超広角映像の全ての画素を透視射影面に予め投影してから、画素の位置（座標間距離）に基づき、魚眼映像上で補間マップを作成しなければならない。
【００１５】
そのため、超広角映像のなかで切り出したい領域（注目領域）が頻繁に変わることが想定される場合（例えば、人が携帯・装着するカメラの映像を手振れ・画揺れ補正する場合や全方位映像に対する電子パン・チルト等）には、注目領域の変更のたびに補間マップを再計算する必要がある。補間マップ更新には、多くの計算量が必要となるため、注目領域の変更が頻繁にあると、射影変換全体の処理時間が加速度的に長くなるため、リアルタイム処理を行うことが非常に困難になるという課題があった。
【００１６】
本発明は、かかる課題に鑑み、注目領域の変更毎に必要な補間マップの再計算を不要とし、光学射影方式の変換処理をリアルタイムに行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の画像処理装置の一つの態様は、第１の射影方式で生成された映像を、第２の射影方式による映像に変換する画像処理装置であって、第２の射影方式による映像の注目画素の空間位置を算出し、第１の射影方式で生成された映像へマッピングするためのマッピング位置を演算する画素マッピング部と、第１の射影方式で生成された映像の注目画素の空間情報量密度と、第２の射影方式による映像の注目画素の空間情報量密度とに基づいて、マッピングされる第１の射影方式の映像を補間するための画素補間方式を選択する補間方式選択部と、選択された画素補間方式に基づき、第２の射影方式による映像を生成する出力映像生成部と、を有する。
【００１８】
この構成によれば、補間マップを作成しなくても最適な画素補間方式を選択することが
でき、リアルタイムで高画質な射影変換処理ができる。
【００１９】
また、本発明の画像処理装置の一つの態様は、第１の射影方式による映像の空間情報量密度分布と、第２の射影方式による映像の空間情報量密度分布と、を算出する空間情報量密度分布算出部を有し、補間方式選択部が、空間情報量密度分布算出部によって算出された空間情報量密度分布に基づいて、第１の射影方式の映像を補間するための画素補間方式を選択する。
【００２０】
この構成によれば、射影変換処理における画素補間方式の選択を、映像の空間情報量密度分布によって行うことができる。
【００２１】
また、本発明の画像処理装置の一つの態様は、第１の射影方式による映像の空間情報量密度分布と、第２の射影方式による映像の空間情報量密度分布により、第１の射影方式で生成された映像を、第２の射影方式の映像に変換することによる空間情報量密度変化率を算出する拡大・縮小倍率算出部を有し、補間方式選択部が、空間情報量密度の変化率に応じて、第１の射影方式の映像を補間するための画素補間方式を選択する。
【００２２】
この構成によれば、射影変換処理における画素補間方式の選択を、映像の空間情報量密度変化率によって定量的に行うことができる。
【００２３】
また、本発明の画像処理装置の一つの態様は、拡大・縮小倍率算出部で算出される空間情報量密度変化率に応じて、変化率が高ければ、処理精度の高い画素補間方式が選択され、変化率が低ければ、処理スピードの高い画素補間方式が選択される。
【００２４】
この構成によれば、画素補間方式の選択により、出力映像の画質と処理スピードのバランスを取ることができる。
【００２５】
また、本発明の画像処理装置の一つの態様は、第１の射影方式による映像の空間情報量密度分布と、第２の射影方式による映像の空間情報量密度分布と、を格納する空間情報量密度分布格納部を有し、第１の射影方式による映像、もしくは前記第２の射影方式による映像の空間情報量密度分布が変わる場合のみ、空間情報量密度分布算出部において、空間情報量密度分布が再計算され、空間情報量密度分布格納部の内容が書き換えられる。
【００２６】
この構成によれば、画素補間方式の選択に必要な計算量を大幅に削減することができる。
【００２７】
また、本発明の画像処理装置の一つの態様は、魚眼光学系の射影方式と焦点距離に応じて、魚眼光学系の射影方式による映像の空間情報量密度分布が算出され、透視射影方式のズーム倍率に応じて、透視射影方式による映像の空間情報量密度分布が算出される。
【００２８】
この構成によれば、魚眼光学系から透視射影方式に射影変換される時の画素補間を高速に行うことができる。
【発明の効果】
【００２９】
本発明によれば、魚眼映像などの超広角映像の切り出したい領域が頻繁に変わるような場合においても、画素補間を高速に行うことができ、射影変換の全体的な処理時間を短縮することができる。
【図面の簡単な説明】
【００３０】
【図１】実施形態１に係る映像機器の構成図
【図２】射影変換部（画像処理装置）の構成図
【図３】映像の射影方式を説明するための説明図
【図４】画素位置の決定を説明するための説明図
【図５】空間座標の算出を説明するための説明図
【図６】画素マッピングを説明するための説明図
【図７】魚眼撮像面および透視射影面における空間情報量を説明するための図
【図８】透視射影面における空間情報量密度分布を説明するための図
【図９】魚眼撮像面における空間情報量密度分布を説明するための図
【図１０】透視射影面における空間情報量密度分布のテーブル構成例を示す図
【図１１】魚眼撮像面における空間情報量密度分布のテーブル構成例を示す図
【図１２】空間情報量密度分布算出のフローチャート
【図１３】透視射影面における拡大・縮小倍率（空間情報量密度変化率）分布のイメージ図
【図１４】画素補間方式選択のフローチャート
【図１５】実施形態２に係る画像処理システムの構成図
【図１６】超広角光学系画像の射影変換を説明するための概念図
【図１７】従来の射影変換処理装置の構成図
【図１８】画素の補間処理を説明するための図
【発明を実施するための形態】
【００３１】
本実施形態の画像処理装置は、魚眼レンズや全方位ミラーなどの超広角光学系による超広角映像を射影変換処理するものである。
（実施形態１）
図１は本発明の実施形態１に係る画像処理装置としての射影変換部を内蔵した映像機器（カメラ）の全体構成を示す。以下、図面を参照して説明する。
【００３２】
映像機器１００は、レンズ１０１と、レンズ制御部１０２と、絞り装置１０３と、絞り制御部１０４と、イメージセンサ１０５と、イメージセンサ制御部１０６と、映像データ格納用メモリ１０７・１０８と、映像処理部１０９と、射影変換部１１０と、映像蓄積部１１１と、映像表示部１１２と、映像機器１００の全体的な動作を制御するマイコン１１３で構成される。
【００３３】
被写体（図示せず）から放射する光は、レンズ１０１（例えば魚眼レンズ）、絞り装置１０３を通し、イメージセンサ１０５（例えばＣＣＤ、ＣＭＯＳ）で結像される。
【００３４】
レンズ制御部１０２では、レンズ１０１の焦点位置を調整するためのＡＦ制御を行い、絞り制御部１０４では、絞り装置１０３のイメージセンサ１０５に届く光量の調整を行う。また、センサ制御部１０６では、イメージセンサ１０５における露光時間、ホワイトバランス、オートゲインなどの制御を行う。
【００３５】
イメージセンサ１０５に届く光は、電気信号に変換され、さらにＡＤコンバータ（図示せず）によりデジタルデータへ変換され、メモリ１０７に一時的に格納される。
【００３６】
映像処理部１０９と射影変換部１１０は、メモリ１０７・１０８に格納された映像データにアクセスし、デジタル映像処理を行う。映像処理部１０９では、ガンマ補正やノイズリダクション処理などの通常の映像処理を行い、射影変換部１１０では、通常の映像処理後の映像データに対し、レンズ１０１の射影方式（例えば魚眼レンズの正射影方式）でイメージセンサ１０５に投影された映像（光）を、別の射影方式（例えば透視射影）に変換する処理を行う。その際は、座標変換だけなく、画素補間等の補正処理も行う。なお、射影変換部１１０の動作については後述する。
【００３７】
変換・補正された映像は、映像蓄積部１１１で半導体メモリなどの着脱可能な記録媒体に保存されるとともに、必要に応じ映像表示部１１２によりモニタなどの表示装置（図示せず）に表示される。
【００３８】
マイコン１１３は、予め設計されたプログラムで、画像処理装置１００内の各部制御を行う。
【００３９】
次に、射影変換部１１０の構成・動作について、さらに説明する。
【００４０】
図２は映像機器１００内の射影変換部１１０の構成図である。射影変換部１１０は、レンズ射影方式格納部２０１、出力映像画素位置決定部２０２、画素マッピング部２０３、空間情報量密度分布算出部２０４、空間情報密度分布格納部２０５、拡大・縮小倍率算出部２０６、補間方式選択部２０７、映像入力部２０８、および出力映像生成部２０９から構成される。
【００４１】
１．射影方式変換における入出力映像の座標変換処理
まず、射影方式変換における入出力映像の座標変換処理として、レンズ射影方式格納部２０１、出力映像画素位置決定部２０２、画素マッピング部２０３の処理の流れについて説明する。
【００４２】
１−１：レンズ射影方式
レンズ射影方式格納部２０１は、映像機器１００に搭載されたレンズ１０１（魚眼レンズ等）の射影方式に関する情報を格納する。具体的な情報として、魚眼レンズを例に図３を参照して説明する。
【００４３】
図において、魚眼レンズの光軸３０１の方向を基準として、天頂角β（３０２）の角度で入射する光線３０３が魚眼撮像面３０４に射影される位置は、射影点３０５となる。魚眼撮像面３０４には、射影点３０５の集合として入力画像が構成される。ここで、魚眼撮像面３０４の中心点３０６から射影点３０５までの距離ｒ（３０７）と、天頂角β（３０２）との関係式は、レンズの射影方式に依存する。ｆを魚眼レンズの焦点距離とすると、たとえば
・射影方式が正射影の場合
【００４４】
【数１】
・射影方式が等距離射影の場合
【００４５】
【数２】
・射影方式が立体射影の場合
【００４６】
【数３】
となる。
【００４７】
すなわち、レンズ射影方式格納部２０１には、焦点距離ｆと、魚眼光学系の射影方式を区別するための情報を格納する。具体的には、正射影か、等距離射影か、立体射影かを区別する情報（ラベル・記号など）を格納してもよいし、距離ｒ（３０７）と天頂角β（３０２）との関係式（たとえば数１〜数３そのもの）を格納してもよい。なお、レンズが交換可能な場合には、交換の際に情報を書き換えるよう構成してもよい。また、レンズの焦点距離ｆが変更可能な場合には、変更の際に情報を書き換えるよう構成してもよい。
【００４８】
１−２：出力映像画素位置決定
出力映像画素位置決定部２０２の動作について、図を参照して説明する。
【００４９】
図４において、出力映像が投影される仮想透視射影面４０１は、魚眼撮像面の中心点３０６を球心とする仮想球面４０２に接する平面である。仮想透視射影面４０１の三次元位置は、例えば、仮想透視射影面４０１の中心点４０３（仮想透視射影面４０１と仮想球面４０２との接点に一致してもよい）の球座標を用いて表すことができる。
【００５０】
具体的には、魚眼撮像面中心点３０６から仮想透視射影面中心点４０３に向かうベクトルをベクトルｚ（４０４）としたとき、仮想透視射影面４０１の三次元位置は、以下の３つの要素から成る球座標で表現される。
（１）魚眼撮像面中心点３０６から仮想透視射影面中心点４０３までの距離、すなわちベクトルｚ（４０４）の大きさ（絶対値）｜ｚ｜。これは仮想球面４０２の半径に一致する。
（２）レンズ光軸３０１の方向とベクトルｚ（４０４）とがなす角度θ（４０５）
（３）魚眼撮像面３０４上Ｘ軸４０６からベクトルｚ（４０４）の投影ベクトル４０７の角度λ（４０８）
ここで、べクトルｚ（４０４）の大きさ｜ｚ｜と、角度θ（４０５）と、角度λ（４０８）は、出力映像の三次元位置を示すパラメータ（球座標値）であり、出力映像画素位置決定部２０２の入力となる。ベクトルｚ（４０４）の大きさ｜ｚ｜は、出力映像のズーム倍率を示し、角度θ（４０５）と角度λ（４０８）は、出力映像に写すシーンの方位、すなわち、仮想透視射影面４０１の向きを示していることになる。
出力映像画素位置決定部２０２には、出力映像となる仮想透視射影面の空間位置と姿勢を制御するための信号として、出力映像のズーム倍率と向きが入力される。この際、出力映像のズーム倍率と向きは、ユーザの手動入力(例えば、全方位映像に対する電子パン・チルトの手動操作の場合)により入力されても良いし、マイコン１１３の計算結果（例えば、全方位映像に対す自動パン・チルト操作や、カメラ手振れ・画揺れの自動検出・補正の場合）により自動的に入力されるようにしても良い。
【００５１】
次に、出力映像画素位置決定部２０２の出力となる仮想透視射影面４０１上各画素の空間座標（空間位置）の算出について説明する。
【００５２】
図５において、出力映像直交座標系５０１における仮想透視射影面４０１上注目画素Ｐ
（ａ）（５０２）の平面直交座標が（ｕ，ｖ）とすると、仮想透視射影面４０１が半径｜ｚ｜の仮想球面４０２の頂点５０３にあり、すなわち角度θ（４０５）と角度λ（
４０８）がゼロになる場合は、レンズ直交座標系５０４における同じ注目画素Ｐ（ａ）（５０２）の空間直交座標は（ｕ，ｖ，−｜ｚ｜）である。
【００５３】
仮想透視射影面４０１の向きが変わると、仮想射影面４０１にある全ての画素は射影面と一緒にレンズ直交座標系５０４で回転する。レンズ直交座標系５０４における回転後の注目画素Ｐ（ｂ）（５０５）の空間直交座標（Ｘ，Ｙ，Ｚ）は、例えば角度θ（４０５）→角度λ（４０８）という回転順番の回転行列で算出できる。
【００５４】
具体的には、注目画素Ｐ（ｂ）（５０５）の出力映像直交座標系５０１座標（ｕ，ｖ）からレンズ直交座標系５０４座標（Ｘ，Ｙ，Ｚ）への変換は、仮想透視射影面の球座標（θ，λ，｜ｚ｜）を用いて数４で計算できる。
【００５５】
【数４】
１−３：画素マッピング
画素マッピング部２０３は、レンズ射影方式格納部２０１に格納されたレンズ射影方式を用いて、出力映像画素位置決定部２０２から出力される出力映像上の注目画素の空間位置を、入力映像にマッピングする。以下、詳細な動作について説明する。
【００５６】
図６において、仮想透視射影面４０１上にある注目画素Ｐ（５０５）を通過して、魚眼撮像面中心点３０６へ入射する光線３０３が魚眼レンズに屈折され、魚眼撮像面３０４の射影点Ｑ（３０５）に届く。射影点Ｑ（３０５）の位置は、仮想透視射影面４０１にある注目画素Ｐ（５０５）から、魚眼撮像面３０４へのマッピング位置である。
【００５７】
画素マッピング部２０３では、レンズ直交座標系５０４における仮想透視射影面４０１の全ての注目画素Ｐ（５０５）の空間直交座標（Ｘ，Ｙ，Ｚ）に対して、それぞれの注目画素Ｐ（５０５）を通す入射光線３０３の天頂角β（３０２）と、魚眼撮像面３０４におけるＸ軸４０６から入射光線３０３の投影ベクトル６０２までの方位角α（６０１）が、数５で算出できる。
【００５８】
【数５】
また、天頂角β（３０２）から、魚眼レンズの射影方式を用いて、魚眼撮像面中心点３０６から射影点Ｑ（３０５）の距離ｒ（３０７）が、例えば数１〜数３で算出できる。
【００５９】
また、画素マッピング部２０３の出力として、仮想透視射影面４０１にある注目画素Ｐ（５０５）から魚眼撮像面３０４へのマッピング位置（射影点）Ｑ３０５は、以下２つの要素から成る円座標で表現される。
（１）魚眼撮像面中心点３０６から射影点Ｑ（３０５）の距離ｒ（３０７）
（２）魚眼撮像面３０４におけるＸ軸４０６から入射光線３０３の投影ベクトル６０２までの方位角α（６０１）
そして、画素マッピング部２０３で算出された魚眼撮像面３０４上の注目画素のマッピ
ング位置Ｑ（３０５）と、映像入力部２０８から取得されたマッピング位置Ｑ（３０５）の周り画素の画素値が、出力映像生成部２０９に入力される。出力映像生成部２０９では、図１８のように、マッピング位置Ｑ（３０５）の周りの画素の画素値より、補間処理によって、マッピング位置Ｑ（３０５）の画素値が算出され、透視射影映像が生成される。これは、仮想透視射影面４０１にあるすべての画素に対して行われる。このとき実行される補間処理は、空間情報量密度分布算出部２０４によって算出された空間情報量密度分布に基づいて、補間方式選択部２０７によって適切に選択された処理となる。
【００６０】
２．補間方式の選択処理
次に、補間方式を選択する処理として、空間情報量密度分布算出部２０４、空間情報量密度分布格納部２０５、拡大・縮小倍率算出部２０６、補間方式選択部２０７の処理の流れについて、図２を用いて説明する。
【００６１】
空間情報量密度分布算出部２０４は、射影変換部１１０に入力される制御信号のうち、出力映像のズーム倍率のみが入力され、出力映像の仮想透視射影面４０１のズーム倍率とレンズ射影方式格納部２０２に格納された魚眼レンズの射影方式および焦点距離より、透視射影映像と魚眼映像それぞれの空間情報量密度分布を算出する。空間情報量密度分布格納部２０５は、空間情報量密度分布算出部２０４で算出した情報量分布結果を格納する。なお、空間情報量及び空間情報量密度分布については後述する。
【００６２】
拡大・縮小倍率算出部２０６は、空間情報量密度分布格納部２０５で格納された入・出力映像の空間情報量密度分布と、出力映像画素位置決定部２０２で計算される仮想透視射影面４０１上注目画素Ｐ（５０５）の平面直行座標（ｕ，ｖ）と、画素マッピング部（２０３）で算出された魚眼撮像面中心点３０６から射影点Ｑ（３０５）の距離ｒにより、図６の注目画素Ｐ（５０５）が仮想透視射影面４０１から魚眼撮像面３０４へマッピングする際の情報量密度変化率、すなわち注目画素位置における拡大・縮小倍率を算出する。補間方式選択部２０７は、注目画素位置における拡大・縮小倍率に応じて、最適な補間方式を選択する。例えば、注目画素位置における空間情報量が射影変換後に増える場合、すなわち映像領域が拡大される場合には、精度の高いキュービック補間法を選択し、注目画素位置における空間情報量が減る場合、すなわち映像領域が縮小される場合には、処理時間の短い最近傍補間法を選択して、出力映像生成部２０９にて注目画素の補間処理を行う。
【００６３】
２−１：空間情報量密度分布
ここで、映像上に投影された空間情報量及び空間情報量密度分布について、図７を用いて説明する。
【００６４】
本明細書でいう空間情報量は、空間立体角を用いて表すことができる。図において、魚眼撮像面３０４における空間立体角は天頂角β（３０２）の角度として表される。また、仮想透視射影面４０１における空間立体角はベクトルｚ（４０４）の方向を基準とした仮想空間画角ω（７０１）の角度として表される。
【００６５】
そして、映像に投影された空間情報量は、空間立体角が映像に投影された円の半径で表すことができ、魚眼撮像面３０４に投影された空間情報量は半径ｒ（３０７）に相当する。また、仮想透視射影面４０１に投影された空間情報量は半径Ｒ（７０２）に相当する。よって、空間情報量密度は、映像に投影した円半径の空間立体角微分で表すことができ、魚眼撮像面３０４に投影された空間情報量密度はｄｒ／ｄβ、仮想透視射影面４０１に投影された空間情報量密度はｄＲ／ｄωとして定義される。
【００６６】
次に、仮想透視射影面４０１における空間情報量密度分布について、図８を用いて説明する。図において、ベクトルＲ（７０２）の大きさは、空間画角ω（７０１）が仮想透視
射影面４０１に投影される円周の半径に等しい。またベクトルｚ（４０４）の大きさを仮想球面４０２の半径、すなわち出力映像のズーム倍率とすると、透視投影の射影式は
【００６７】
【数６】
となる。
【００６８】
この透視投影の射影式（数６）より、仮想透視射影面４０１における空間情報密度分布ρ（ｕ，ｖ）（８０１）は
【００６９】
【数７】
と定義される。
【００７０】
次に、魚眼撮像面における空間情報量密度分布について、正射影の魚眼レンズを一例として、図９を用いて説明する。
【００７１】
図において、ベクトルr（３０７）の大きさは、空間画角、すなわち魚眼レンズの天頂角β（３０２）が魚眼撮像面３０４に投影される円周の半径等しい。またｆを魚眼レンズの焦点距離９０１とすると、正射影の射影式は
【００７２】
【数８】
である。
正射影の射影式（数８）より、魚眼撮像面５０４における空間情報密度分布ρ（ｒ）（９０２）は
【００７３】
【数９】
と定義される。
【００７４】
なお、魚眼レンズの射影方式は、正射影以外に、立体射影、等距離射影、等立体角射影、などがあるが、これらについても非特許文献１（Design Wave Magazine 2008 September 119-121）にて開示された公知の射影式を用いて同じように計算することが可能であり、射影方式のちがいにより空間情報密度分布の定義（数式）は異なる。
【００７５】
すなわち、空間情報量密度分布算出部２０４において、仮想透視射影面４０１と魚眼撮像面３０４における空間情報密度分布を、数７、数９により算出し、その計算結果をテーブル化したものが、空間情報量密度分布格納部２０５に出力され、格納される。
【００７６】
図１０のテーブル１００１は、ｚ＝９０（ズーム倍率）の場合の仮想透視射影面４０１における空間情報量密度分布ρ（ｕ，ｖ）のテーブル構成の一例である。図１１のテーブ
ル１１０１は、ｆ＝１２０（焦点距離）の場合の魚眼撮像面３０４における空間情報量密度分布ρ（ｒ）のテーブル構成の一例である。なお、図１１のようなテーブルを使う場合には、画素マッピング部２０３で算出された魚眼撮像面中心点３０６から射影点３０５の距離ｒ（３０７）が整数でなければ、ｒを整数に丸めてからテーブルを構成する。丸め処理としては、ｒの小数部の切り捨て、四捨五入、切り上げなど適宜用いることができる。
【００７７】
数７、数９から、仮想透視射影面４０１上の空間情報密度分布ρ（ｕ，ｖ）は出力映像のズーム倍率ｚのみに依存し、魚眼撮像面３０４上の空間情報密度分布ρ（ｒ）はレンズの射影方式と焦点距離９０１のみに依存しているといえる。したがって、出力映像のズーム倍率を変更する際や、レンズの射影方式或いは焦点距離を変える場合のみ、空間情報密度分布を再計算し、テーブルを再構成する。
【００７８】
一方、魚眼映像の切出し位置については、上記のように、空間情報量密度分布に影響を与えないため、魚眼映像の切出し位置が頻繁に変更されるケース（例えば、魚眼映像における手振れ・画揺れ補正時や、全方位映像における電子パン・チルトなどの応用）においては、予め計算した空間情報密度分布テーブルを使えばよく、テーブルの再構成は不要である。
【００７９】
２−２：空間情報量密度分布の算出及び格納
次に、空間情報量密度分布算出部２０４及び空間情報量密度分布格納部２０５の動作についてさらに説明する。
【００８０】
図１２は空間情報量密度分布算出のフローチャートである。図において、ステップ（Ｓ１０）では、現状のテーブルにデータがないかどうかが判断される。ステップ（Ｓ１０）の判断がＹｅｓの場合、（例えばカメラの初回起動時）仮想透視射影面４０１及び魚眼撮像面３０４における空間情報量密度分布がそれぞれ計算され（Ｓ１１、Ｓ１３）、テーブルとして格納される（Ｓ１２、Ｓ１４）。
【００８１】
ステップ（Ｓ１０）の判断がＮｏの場合、すなわちテーブルにデータがある場合には、ステップ（Ｓ１５）で出力映像のズーム倍率が変更されたかどうかが判断され、ステップ（Ｓ１８）で魚眼レンズが変更されたかどうかが判断される。魚眼レンズの変更については、射影方式や焦点距離の異なる別の魚眼レンズへの交換、あるいは可変焦点の魚眼レンズへの交換であれば焦点距離の変更も判断する必要がある。これはユーザによる交換・変更操作時のユーザ入力により判断してもよいし、また、レンズの接点から予め登録されているレンズの型番や焦点距離などを取得し、変更時自動的に判断するようにしてもよい。
【００８２】
ステップ（Ｓ１５）、又はステップ（Ｓ１８）の判断がＮｏの場合、仮想透視射影面４０１、又は魚眼撮像面３０４における空間情報量密度分布についての再計算の必要がないため、テーブルに格納された空間情報量密度分布がそのまま利用される。ステップ（Ｓ１５）、又はステップ（Ｓ１８）の判断がＹｅｓの場合、仮想透視射影面４０１、又は魚眼撮像面３０４における空間情報量密度分布が再計算され（Ｓ１６、Ｓ１９）、テーブルが更新される（Ｓ１７、Ｓ２０）。
【００８３】
２−３：拡大・縮小倍率算出
次に、拡大・縮小倍率算出部２０６の処理について、説明する。
【００８４】
拡大・縮小倍率算出部２０６では、マッピング前、後での注目画素５０５の位置をそれぞれ出力映像画素位置決定部（２０２）と画素マッピング部（２０３）から取得し、これらの位置における空間情報量密度が、それぞれ仮想透視射影面４０１における空間情報密度分布テーブル１００１と、魚眼撮像面３０４における空間情報密度分布テーブル１１０
１より取得され、空間情報量密度変化率、すなわち拡大・縮小倍率が算出される。拡大・縮小倍率（空間情報量密度変化率）は、マッピング前後の注目画素５０５所在の空間情報量密度の割算と定義される。具体的には
【００８５】
【数１０】
となる。
【００８６】
図１３は仮想透視射影面４０１における拡大・縮小倍率（空間情報量密度変化率）分布の一例のイメージ図である。仮想透視射影面４０１における拡大・縮小倍率分布１３０３は、数１０による二つの分布図の割算（Ａ／Ｂ）となる。ここで、Ａは仮想透視射影面４０１の空間情報量密度分布１３０１であり、Ｂは魚眼撮像面３０４の空間情報量密度分布１３０４の切出し領域１３０５を、レンズの射影方式にて仮想透視射影面４０１に投影した空間情報量密度分布１３０２である。
【００８７】
ただし、注目画素のある位置の拡大・縮小倍率は、この画素のマッピング処理の直後に数１０を用いることにより、テーブル参照２回と割算１回で計算できる。そのため、射影変換処理を行う間に、１３０３のような拡大・縮小倍率の分布図を作成しなくても良い。
【００８８】
２−４：補間方式選択
次に、補間方式選択部２０７について説明する。補間方式選択部２０７では、拡大・縮小倍率に応じて注目画素（画素値）の補間方式が選択される。以下、補間方式選択部２０７の動作を説明する。
【００８９】
図１４は画素補間方式選択のフローチャートである。図において、ステップＳ２１ 〜Ｓ２３では空間情報量密度変化率ｋの大きさが判定される。なお、ａ、ｂは補間方式選択部２０７が参照する図示しないメモリに保持されている判定用閾値であり、外部からの入力設定によって変更可能なパラメータである。ステップＳ２１において、ｋ＜１であると判定された場合（変化率が低い）は、映像領域は縮小され、すなわち射影変換後の空間情報量が減少することを意味するため、ステップＳ２４において、画質よりも処理スピード優先で、より処理時間が短くなる最近傍補間法が選択される。ステップＳ２２、Ｓ２３において１＜ｋ＜ａあるいはａ＜ｋ＜ｂ（１＜ａ＜ｂ）と判定された場合は、映像領域は拡大され、すなわち射影変換後の情報量が増えることを意味するため、ステップＳ２５、Ｓ２６において、処理時間は長くなるがより高画質なキュービック補間法が選択される。またステップＳ２３においてｋ＞ｂと判定された場合（変化率が高い）は、映像領域はさらに激しく拡大されることを意味するため、Ｓ２７において、画質最優先でキュービック補間法よりさらに高画質な補間方式（例えば、多項式補間法、スプライン補間法など）が選択される。
【００９０】
３．映像出力処理
出力映像生成部２０７は、画素マッピング部２０３で算出された魚眼撮像面３０４上の注目画素の周りの画素（画素値）を映像入力部２０８から取得し、補間方式選択部２０７で選択された画素補間方式により補間処理し、透視射影映像を生成していく。これを、仮想透視射影面４０１上の全ての画素に対して行い、最終的な出力映像（透視射影映像）を生成する。
【００９１】
以上説明したように、本実施形態１によれば、射影変換処理後の同じ出力映像において
、領域毎に異なる拡大・縮小倍率（空間情報量密度変化率）に基づいて、最適な画素補間方式を選択することにより、無駄な補間処理時間が削減され、より高速な射影変換処理を行うことができる。
【００９２】
また、レンズ（の射影方式と焦点距離）とズーム倍率が変わらない場合には、固定補間方式の射影変換処理に比べて増える処理量、すなわち拡大・縮小倍率算出処理の処理量が、テーブル参照２回と割算１回だけであるため、ほぼ無視することができる。
（実施形態２）
本発明の実施形態２に係る画像処理システムについて説明する。図１５は同画像処理システムの全体構成を示すものである。
【００９３】
図において、射影変換部１１０は、実施形態１の構成（図１参照）のように、映像機器１５００の内部ではなく、表示端末１６００側に設置される構成となっている。この構成により、射影変換処理は表示端末１６００で行われることになり、実施形態１に比べて、映像機器１５００での処理負担を減らすことができる。
【００９４】
映像機器１５００にある各処理ユニット（１０１〜１０９、１１１、１１３）の動作は、実施形態１とはほぼ同じであり、同じ符号を付している。映像処理部１０９で処理された映像データは、映像転送部１５０１を介して表示端末１６００に転送する。転送方法としては、例えば、有線・無線ＬＡＮで転送してもいいし、半導体などの記録媒体を介して転送してもいい。
【００９５】
表示端末１６００では、映像受信部１６０１により受信された映像データがメモリ１０８に格納される。射影変換部１１０はメモリ１０８にアクセスし、映像の射影変換を表示端末１６００の中で行う。射影変換部１１０で変換された映像データは、映像蓄積部１６０２に蓄積されるか、映像表示部１１２によりモニタなどの表示装置（図示せず）に表示される。ＣＰＵ１６０３は、表示端末１６００の全体制御を行う。なお、射影変換部１１０で行う射影変換処理を、ＣＰＵ１６０３で行うようにしてもよい。
【００９６】
本発明は、上述した実施形態１〜２において示された事項に限定されず、この明細書の記載、並びに周知の技術に基づいて、当業者がその構成や動作の一部分に変更を加える、もしくは応用することも可能であることはいうまでもない。
【産業上の利用可能性】
【００９７】
本発明に係る画像処理装置は、光学射影方式変換のための画素補間方式を高速に切り替えることができ、射影変換処理における画素補間処理の時間を短縮する効果を有し、魚眼レンズの射影方式や透視射影などの光学射影方式で生成される画像処理に有用である。
【符号の説明】
【００９８】
２０１ レンズ射影方式格納部
２０２ 出力映像画素位置決定部
２０３ 画素マッピング部
２０４ 空間情報量密度分布算出部
２０５ 空間情報量密度分布格納部
２０６ 拡大・縮小倍率算出部
２０７ 補間方式選択部
２０８ 映像入力部
２０９ 出力映像生成部
【技術分野】
【０００１】
本発明は、光学射影方式の画像変換処理に関し、とくに、超広角光学系による画像を通常光学系の透視射影方式に変換する画像処理装置に関する。
【背景技術】
【０００２】
魚眼レンズや全方位ミラーなどの超広角光学系は、通常光学系の透視射影方式と異なる特殊な射影方式を採用しているため、１８０度以上の画角の映像を一つの撮像面に投影することができ、広い撮像視野が要求されるいろいろな分野で利用されている。
【０００３】
ただし、超広角光学系で撮像した映像は、人間の感覚と同じである透視射影の画像と比べ、被写体本来の形状が歪んだり、サイズも変わるので、超広角光学系で撮像した画像をそのまま表示すると、見た目に違和感を感じてしまう。
【０００４】
そのため、超広角光学系で撮像した映像を表示する場合、画像の一部である注目領域を切り出し、切り出した画像を通常の透視射影方式に変換し表示している。
【０００５】
ここで、画像の射影変換について、図を用いて説明する。図１６は超広角光学系画像の射影変換を説明するための概念図である。図において、超広角光学系（図示せず）で撮影した被写体１６５の被写体像１６３の形状は歪んでいる。この歪みを直すため、超広角映像１６１から被写体像１６３の周りの領域１６２を注目領域として切り出し、透視射影へ変換することで、見た目に違和感のない透視射影映像１６４が生成される。
【０００６】
超広角光学系の射影変換方法について、魚眼レンズの射影方式から透視射影への変換を一例として、図１７を用いてさらに説明する。
【０００７】
図１７は射影変換処理装置の全体構成図である。射影変換処理装置１７０は、レンズ射影方式格納部１７１、出力映像画素位置決定部１７２、画素マッピング部１７３、映像入力部１７４、出力映像生成部１７５から構成される。
【０００８】
レンズ射影方式格納部１７１には、魚眼レンズの射影方式として、入射光線の入射角と結像された像高の数式関係の情報が格納される。出力映像画素位置決定部１７２には、切り出し画像が投影される仮想透視射影面の空間位置と姿勢を制御するための信号が図示しない手段により入力され、仮想透視射影面（出力映像）における注目画素の空間位置が出力される。画素マッピング部１７３は、レンズ射影方式格納部１７１に格納された魚眼レンズの射影方式を用いて、出力映像画素位置決定部１７２で算出された注目画素の空間位置を、魚眼撮像面（入力映像）にマッピングする。
【０００９】
映像入力部１７４には、入力映像として魚眼映像が入力され、出力映像生成部１７５は、画素マッピング部１７３で算出された魚眼撮像面上の投影位置の周りの画素値を映像入力部１７４から取得し、画素の補間処理を施して、仮想透視射影面上のすべての画素の画素値を算出し、出力映像を生成する。
【００１０】
画素の補間処理には、図１８のように、例えばマッピングされた位置３０５に一番近い画素１８０１の画素値をそのまま使う最近傍補間法と、マッピングされた位置３０５の周り４画素（１８０１−１８０４）の画素値から注目画素値を推算する線形補間法と、マッピングされた位置３０５の周り１６画素（１８０１−１８１６）の画素値から注目画素値を推算するキュービック補間法がある。
【００１１】
なお、画素の補間処理は、一般的に、周りの画素を多く使うと、出力映像の画質が良くなる一方で、補間処理の処理時間は長くなる傾向にある。すなわち、最近傍補間法、線形補間法、キュービック補間法を比べると、画質については、最近傍補間法 ＜ 線形補間法 ＜ キュービック補間法という順でよくなり、処理時間については、最近傍補間法 ＜ 線形補間法 ＜ キュービック補間法という順で長くなる。ただし、映像の拡大・縮小状況によっては、補間方式を変えても画質にあまり差がでない場合もある。例えば、映像が縮小される場合には、最近傍補間法、線形補間法、キュービック補間法のどれを用いても、出力映像の画質はほとんど変わらない。
【００１２】
そのため、無駄な補間処理時間が発生しないように、例えば、魚眼映像の画素を透視射影面に投影した位置の座標間距離によって映像の拡大・縮小領域を切り分け、その拡大・縮小領域に応じて補間方式を切り替えるものが、特許文献１に開示されている。（段落００５３〜００６２及び図６、７）
このようにすると、魚眼映像などの超広角映像の切り出し領域がほぼ変更しないような場合には、透視射影などの別の射影方式への変換処理における補間処理を出力映像の画質を落とさずに、より短い処理時間で行うことが可能となる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００９−６４２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、上記文献で提案されている装置では、射影変換処理の前に、超広角映像の全ての画素を透視射影面に予め投影してから、画素の位置（座標間距離）に基づき、魚眼映像上で補間マップを作成しなければならない。
【００１５】
そのため、超広角映像のなかで切り出したい領域（注目領域）が頻繁に変わることが想定される場合（例えば、人が携帯・装着するカメラの映像を手振れ・画揺れ補正する場合や全方位映像に対する電子パン・チルト等）には、注目領域の変更のたびに補間マップを再計算する必要がある。補間マップ更新には、多くの計算量が必要となるため、注目領域の変更が頻繁にあると、射影変換全体の処理時間が加速度的に長くなるため、リアルタイム処理を行うことが非常に困難になるという課題があった。
【００１６】
本発明は、かかる課題に鑑み、注目領域の変更毎に必要な補間マップの再計算を不要とし、光学射影方式の変換処理をリアルタイムに行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の画像処理装置の一つの態様は、第１の射影方式で生成された映像を、第２の射影方式による映像に変換する画像処理装置であって、第２の射影方式による映像の注目画素の空間位置を算出し、第１の射影方式で生成された映像へマッピングするためのマッピング位置を演算する画素マッピング部と、第１の射影方式で生成された映像の注目画素の空間情報量密度と、第２の射影方式による映像の注目画素の空間情報量密度とに基づいて、マッピングされる第１の射影方式の映像を補間するための画素補間方式を選択する補間方式選択部と、選択された画素補間方式に基づき、第２の射影方式による映像を生成する出力映像生成部と、を有する。
【００１８】
この構成によれば、補間マップを作成しなくても最適な画素補間方式を選択することが
でき、リアルタイムで高画質な射影変換処理ができる。
【００１９】
また、本発明の画像処理装置の一つの態様は、第１の射影方式による映像の空間情報量密度分布と、第２の射影方式による映像の空間情報量密度分布と、を算出する空間情報量密度分布算出部を有し、補間方式選択部が、空間情報量密度分布算出部によって算出された空間情報量密度分布に基づいて、第１の射影方式の映像を補間するための画素補間方式を選択する。
【００２０】
この構成によれば、射影変換処理における画素補間方式の選択を、映像の空間情報量密度分布によって行うことができる。
【００２１】
また、本発明の画像処理装置の一つの態様は、第１の射影方式による映像の空間情報量密度分布と、第２の射影方式による映像の空間情報量密度分布により、第１の射影方式で生成された映像を、第２の射影方式の映像に変換することによる空間情報量密度変化率を算出する拡大・縮小倍率算出部を有し、補間方式選択部が、空間情報量密度の変化率に応じて、第１の射影方式の映像を補間するための画素補間方式を選択する。
【００２２】
この構成によれば、射影変換処理における画素補間方式の選択を、映像の空間情報量密度変化率によって定量的に行うことができる。
【００２３】
また、本発明の画像処理装置の一つの態様は、拡大・縮小倍率算出部で算出される空間情報量密度変化率に応じて、変化率が高ければ、処理精度の高い画素補間方式が選択され、変化率が低ければ、処理スピードの高い画素補間方式が選択される。
【００２４】
この構成によれば、画素補間方式の選択により、出力映像の画質と処理スピードのバランスを取ることができる。
【００２５】
また、本発明の画像処理装置の一つの態様は、第１の射影方式による映像の空間情報量密度分布と、第２の射影方式による映像の空間情報量密度分布と、を格納する空間情報量密度分布格納部を有し、第１の射影方式による映像、もしくは前記第２の射影方式による映像の空間情報量密度分布が変わる場合のみ、空間情報量密度分布算出部において、空間情報量密度分布が再計算され、空間情報量密度分布格納部の内容が書き換えられる。
【００２６】
この構成によれば、画素補間方式の選択に必要な計算量を大幅に削減することができる。
【００２７】
また、本発明の画像処理装置の一つの態様は、魚眼光学系の射影方式と焦点距離に応じて、魚眼光学系の射影方式による映像の空間情報量密度分布が算出され、透視射影方式のズーム倍率に応じて、透視射影方式による映像の空間情報量密度分布が算出される。
【００２８】
この構成によれば、魚眼光学系から透視射影方式に射影変換される時の画素補間を高速に行うことができる。
【発明の効果】
【００２９】
本発明によれば、魚眼映像などの超広角映像の切り出したい領域が頻繁に変わるような場合においても、画素補間を高速に行うことができ、射影変換の全体的な処理時間を短縮することができる。
【図面の簡単な説明】
【００３０】
【図１】実施形態１に係る映像機器の構成図
【図２】射影変換部（画像処理装置）の構成図
【図３】映像の射影方式を説明するための説明図
【図４】画素位置の決定を説明するための説明図
【図５】空間座標の算出を説明するための説明図
【図６】画素マッピングを説明するための説明図
【図７】魚眼撮像面および透視射影面における空間情報量を説明するための図
【図８】透視射影面における空間情報量密度分布を説明するための図
【図９】魚眼撮像面における空間情報量密度分布を説明するための図
【図１０】透視射影面における空間情報量密度分布のテーブル構成例を示す図
【図１１】魚眼撮像面における空間情報量密度分布のテーブル構成例を示す図
【図１２】空間情報量密度分布算出のフローチャート
【図１３】透視射影面における拡大・縮小倍率（空間情報量密度変化率）分布のイメージ図
【図１４】画素補間方式選択のフローチャート
【図１５】実施形態２に係る画像処理システムの構成図
【図１６】超広角光学系画像の射影変換を説明するための概念図
【図１７】従来の射影変換処理装置の構成図
【図１８】画素の補間処理を説明するための図
【発明を実施するための形態】
【００３１】
本実施形態の画像処理装置は、魚眼レンズや全方位ミラーなどの超広角光学系による超広角映像を射影変換処理するものである。
（実施形態１）
図１は本発明の実施形態１に係る画像処理装置としての射影変換部を内蔵した映像機器（カメラ）の全体構成を示す。以下、図面を参照して説明する。
【００３２】
映像機器１００は、レンズ１０１と、レンズ制御部１０２と、絞り装置１０３と、絞り制御部１０４と、イメージセンサ１０５と、イメージセンサ制御部１０６と、映像データ格納用メモリ１０７・１０８と、映像処理部１０９と、射影変換部１１０と、映像蓄積部１１１と、映像表示部１１２と、映像機器１００の全体的な動作を制御するマイコン１１３で構成される。
【００３３】
被写体（図示せず）から放射する光は、レンズ１０１（例えば魚眼レンズ）、絞り装置１０３を通し、イメージセンサ１０５（例えばＣＣＤ、ＣＭＯＳ）で結像される。
【００３４】
レンズ制御部１０２では、レンズ１０１の焦点位置を調整するためのＡＦ制御を行い、絞り制御部１０４では、絞り装置１０３のイメージセンサ１０５に届く光量の調整を行う。また、センサ制御部１０６では、イメージセンサ１０５における露光時間、ホワイトバランス、オートゲインなどの制御を行う。
【００３５】
イメージセンサ１０５に届く光は、電気信号に変換され、さらにＡＤコンバータ（図示せず）によりデジタルデータへ変換され、メモリ１０７に一時的に格納される。
【００３６】
映像処理部１０９と射影変換部１１０は、メモリ１０７・１０８に格納された映像データにアクセスし、デジタル映像処理を行う。映像処理部１０９では、ガンマ補正やノイズリダクション処理などの通常の映像処理を行い、射影変換部１１０では、通常の映像処理後の映像データに対し、レンズ１０１の射影方式（例えば魚眼レンズの正射影方式）でイメージセンサ１０５に投影された映像（光）を、別の射影方式（例えば透視射影）に変換する処理を行う。その際は、座標変換だけなく、画素補間等の補正処理も行う。なお、射影変換部１１０の動作については後述する。
【００３７】
変換・補正された映像は、映像蓄積部１１１で半導体メモリなどの着脱可能な記録媒体に保存されるとともに、必要に応じ映像表示部１１２によりモニタなどの表示装置（図示せず）に表示される。
【００３８】
マイコン１１３は、予め設計されたプログラムで、画像処理装置１００内の各部制御を行う。
【００３９】
次に、射影変換部１１０の構成・動作について、さらに説明する。
【００４０】
図２は映像機器１００内の射影変換部１１０の構成図である。射影変換部１１０は、レンズ射影方式格納部２０１、出力映像画素位置決定部２０２、画素マッピング部２０３、空間情報量密度分布算出部２０４、空間情報密度分布格納部２０５、拡大・縮小倍率算出部２０６、補間方式選択部２０７、映像入力部２０８、および出力映像生成部２０９から構成される。
【００４１】
１．射影方式変換における入出力映像の座標変換処理
まず、射影方式変換における入出力映像の座標変換処理として、レンズ射影方式格納部２０１、出力映像画素位置決定部２０２、画素マッピング部２０３の処理の流れについて説明する。
【００４２】
１−１：レンズ射影方式
レンズ射影方式格納部２０１は、映像機器１００に搭載されたレンズ１０１（魚眼レンズ等）の射影方式に関する情報を格納する。具体的な情報として、魚眼レンズを例に図３を参照して説明する。
【００４３】
図において、魚眼レンズの光軸３０１の方向を基準として、天頂角β（３０２）の角度で入射する光線３０３が魚眼撮像面３０４に射影される位置は、射影点３０５となる。魚眼撮像面３０４には、射影点３０５の集合として入力画像が構成される。ここで、魚眼撮像面３０４の中心点３０６から射影点３０５までの距離ｒ（３０７）と、天頂角β（３０２）との関係式は、レンズの射影方式に依存する。ｆを魚眼レンズの焦点距離とすると、たとえば
・射影方式が正射影の場合
【００４４】
【数１】
・射影方式が等距離射影の場合
【００４５】
【数２】
・射影方式が立体射影の場合
【００４６】
【数３】
となる。
【００４７】
すなわち、レンズ射影方式格納部２０１には、焦点距離ｆと、魚眼光学系の射影方式を区別するための情報を格納する。具体的には、正射影か、等距離射影か、立体射影かを区別する情報（ラベル・記号など）を格納してもよいし、距離ｒ（３０７）と天頂角β（３０２）との関係式（たとえば数１〜数３そのもの）を格納してもよい。なお、レンズが交換可能な場合には、交換の際に情報を書き換えるよう構成してもよい。また、レンズの焦点距離ｆが変更可能な場合には、変更の際に情報を書き換えるよう構成してもよい。
【００４８】
１−２：出力映像画素位置決定
出力映像画素位置決定部２０２の動作について、図を参照して説明する。
【００４９】
図４において、出力映像が投影される仮想透視射影面４０１は、魚眼撮像面の中心点３０６を球心とする仮想球面４０２に接する平面である。仮想透視射影面４０１の三次元位置は、例えば、仮想透視射影面４０１の中心点４０３（仮想透視射影面４０１と仮想球面４０２との接点に一致してもよい）の球座標を用いて表すことができる。
【００５０】
具体的には、魚眼撮像面中心点３０６から仮想透視射影面中心点４０３に向かうベクトルをベクトルｚ（４０４）としたとき、仮想透視射影面４０１の三次元位置は、以下の３つの要素から成る球座標で表現される。
（１）魚眼撮像面中心点３０６から仮想透視射影面中心点４０３までの距離、すなわちベクトルｚ（４０４）の大きさ（絶対値）｜ｚ｜。これは仮想球面４０２の半径に一致する。
（２）レンズ光軸３０１の方向とベクトルｚ（４０４）とがなす角度θ（４０５）
（３）魚眼撮像面３０４上Ｘ軸４０６からベクトルｚ（４０４）の投影ベクトル４０７の角度λ（４０８）
ここで、べクトルｚ（４０４）の大きさ｜ｚ｜と、角度θ（４０５）と、角度λ（４０８）は、出力映像の三次元位置を示すパラメータ（球座標値）であり、出力映像画素位置決定部２０２の入力となる。ベクトルｚ（４０４）の大きさ｜ｚ｜は、出力映像のズーム倍率を示し、角度θ（４０５）と角度λ（４０８）は、出力映像に写すシーンの方位、すなわち、仮想透視射影面４０１の向きを示していることになる。
出力映像画素位置決定部２０２には、出力映像となる仮想透視射影面の空間位置と姿勢を制御するための信号として、出力映像のズーム倍率と向きが入力される。この際、出力映像のズーム倍率と向きは、ユーザの手動入力(例えば、全方位映像に対する電子パン・チルトの手動操作の場合)により入力されても良いし、マイコン１１３の計算結果（例えば、全方位映像に対す自動パン・チルト操作や、カメラ手振れ・画揺れの自動検出・補正の場合）により自動的に入力されるようにしても良い。
【００５１】
次に、出力映像画素位置決定部２０２の出力となる仮想透視射影面４０１上各画素の空間座標（空間位置）の算出について説明する。
【００５２】
図５において、出力映像直交座標系５０１における仮想透視射影面４０１上注目画素Ｐ
（ａ）（５０２）の平面直交座標が（ｕ，ｖ）とすると、仮想透視射影面４０１が半径｜ｚ｜の仮想球面４０２の頂点５０３にあり、すなわち角度θ（４０５）と角度λ（
４０８）がゼロになる場合は、レンズ直交座標系５０４における同じ注目画素Ｐ（ａ）（５０２）の空間直交座標は（ｕ，ｖ，−｜ｚ｜）である。
【００５３】
仮想透視射影面４０１の向きが変わると、仮想射影面４０１にある全ての画素は射影面と一緒にレンズ直交座標系５０４で回転する。レンズ直交座標系５０４における回転後の注目画素Ｐ（ｂ）（５０５）の空間直交座標（Ｘ，Ｙ，Ｚ）は、例えば角度θ（４０５）→角度λ（４０８）という回転順番の回転行列で算出できる。
【００５４】
具体的には、注目画素Ｐ（ｂ）（５０５）の出力映像直交座標系５０１座標（ｕ，ｖ）からレンズ直交座標系５０４座標（Ｘ，Ｙ，Ｚ）への変換は、仮想透視射影面の球座標（θ，λ，｜ｚ｜）を用いて数４で計算できる。
【００５５】
【数４】
１−３：画素マッピング
画素マッピング部２０３は、レンズ射影方式格納部２０１に格納されたレンズ射影方式を用いて、出力映像画素位置決定部２０２から出力される出力映像上の注目画素の空間位置を、入力映像にマッピングする。以下、詳細な動作について説明する。
【００５６】
図６において、仮想透視射影面４０１上にある注目画素Ｐ（５０５）を通過して、魚眼撮像面中心点３０６へ入射する光線３０３が魚眼レンズに屈折され、魚眼撮像面３０４の射影点Ｑ（３０５）に届く。射影点Ｑ（３０５）の位置は、仮想透視射影面４０１にある注目画素Ｐ（５０５）から、魚眼撮像面３０４へのマッピング位置である。
【００５７】
画素マッピング部２０３では、レンズ直交座標系５０４における仮想透視射影面４０１の全ての注目画素Ｐ（５０５）の空間直交座標（Ｘ，Ｙ，Ｚ）に対して、それぞれの注目画素Ｐ（５０５）を通す入射光線３０３の天頂角β（３０２）と、魚眼撮像面３０４におけるＸ軸４０６から入射光線３０３の投影ベクトル６０２までの方位角α（６０１）が、数５で算出できる。
【００５８】
【数５】
また、天頂角β（３０２）から、魚眼レンズの射影方式を用いて、魚眼撮像面中心点３０６から射影点Ｑ（３０５）の距離ｒ（３０７）が、例えば数１〜数３で算出できる。
【００５９】
また、画素マッピング部２０３の出力として、仮想透視射影面４０１にある注目画素Ｐ（５０５）から魚眼撮像面３０４へのマッピング位置（射影点）Ｑ３０５は、以下２つの要素から成る円座標で表現される。
（１）魚眼撮像面中心点３０６から射影点Ｑ（３０５）の距離ｒ（３０７）
（２）魚眼撮像面３０４におけるＸ軸４０６から入射光線３０３の投影ベクトル６０２までの方位角α（６０１）
そして、画素マッピング部２０３で算出された魚眼撮像面３０４上の注目画素のマッピ
ング位置Ｑ（３０５）と、映像入力部２０８から取得されたマッピング位置Ｑ（３０５）の周り画素の画素値が、出力映像生成部２０９に入力される。出力映像生成部２０９では、図１８のように、マッピング位置Ｑ（３０５）の周りの画素の画素値より、補間処理によって、マッピング位置Ｑ（３０５）の画素値が算出され、透視射影映像が生成される。これは、仮想透視射影面４０１にあるすべての画素に対して行われる。このとき実行される補間処理は、空間情報量密度分布算出部２０４によって算出された空間情報量密度分布に基づいて、補間方式選択部２０７によって適切に選択された処理となる。
【００６０】
２．補間方式の選択処理
次に、補間方式を選択する処理として、空間情報量密度分布算出部２０４、空間情報量密度分布格納部２０５、拡大・縮小倍率算出部２０６、補間方式選択部２０７の処理の流れについて、図２を用いて説明する。
【００６１】
空間情報量密度分布算出部２０４は、射影変換部１１０に入力される制御信号のうち、出力映像のズーム倍率のみが入力され、出力映像の仮想透視射影面４０１のズーム倍率とレンズ射影方式格納部２０２に格納された魚眼レンズの射影方式および焦点距離より、透視射影映像と魚眼映像それぞれの空間情報量密度分布を算出する。空間情報量密度分布格納部２０５は、空間情報量密度分布算出部２０４で算出した情報量分布結果を格納する。なお、空間情報量及び空間情報量密度分布については後述する。
【００６２】
拡大・縮小倍率算出部２０６は、空間情報量密度分布格納部２０５で格納された入・出力映像の空間情報量密度分布と、出力映像画素位置決定部２０２で計算される仮想透視射影面４０１上注目画素Ｐ（５０５）の平面直行座標（ｕ，ｖ）と、画素マッピング部（２０３）で算出された魚眼撮像面中心点３０６から射影点Ｑ（３０５）の距離ｒにより、図６の注目画素Ｐ（５０５）が仮想透視射影面４０１から魚眼撮像面３０４へマッピングする際の情報量密度変化率、すなわち注目画素位置における拡大・縮小倍率を算出する。補間方式選択部２０７は、注目画素位置における拡大・縮小倍率に応じて、最適な補間方式を選択する。例えば、注目画素位置における空間情報量が射影変換後に増える場合、すなわち映像領域が拡大される場合には、精度の高いキュービック補間法を選択し、注目画素位置における空間情報量が減る場合、すなわち映像領域が縮小される場合には、処理時間の短い最近傍補間法を選択して、出力映像生成部２０９にて注目画素の補間処理を行う。
【００６３】
２−１：空間情報量密度分布
ここで、映像上に投影された空間情報量及び空間情報量密度分布について、図７を用いて説明する。
【００６４】
本明細書でいう空間情報量は、空間立体角を用いて表すことができる。図において、魚眼撮像面３０４における空間立体角は天頂角β（３０２）の角度として表される。また、仮想透視射影面４０１における空間立体角はベクトルｚ（４０４）の方向を基準とした仮想空間画角ω（７０１）の角度として表される。
【００６５】
そして、映像に投影された空間情報量は、空間立体角が映像に投影された円の半径で表すことができ、魚眼撮像面３０４に投影された空間情報量は半径ｒ（３０７）に相当する。また、仮想透視射影面４０１に投影された空間情報量は半径Ｒ（７０２）に相当する。よって、空間情報量密度は、映像に投影した円半径の空間立体角微分で表すことができ、魚眼撮像面３０４に投影された空間情報量密度はｄｒ／ｄβ、仮想透視射影面４０１に投影された空間情報量密度はｄＲ／ｄωとして定義される。
【００６６】
次に、仮想透視射影面４０１における空間情報量密度分布について、図８を用いて説明する。図において、ベクトルＲ（７０２）の大きさは、空間画角ω（７０１）が仮想透視
射影面４０１に投影される円周の半径に等しい。またベクトルｚ（４０４）の大きさを仮想球面４０２の半径、すなわち出力映像のズーム倍率とすると、透視投影の射影式は
【００６７】
【数６】
となる。
【００６８】
この透視投影の射影式（数６）より、仮想透視射影面４０１における空間情報密度分布ρ（ｕ，ｖ）（８０１）は
【００６９】
【数７】
と定義される。
【００７０】
次に、魚眼撮像面における空間情報量密度分布について、正射影の魚眼レンズを一例として、図９を用いて説明する。
【００７１】
図において、ベクトルr（３０７）の大きさは、空間画角、すなわち魚眼レンズの天頂角β（３０２）が魚眼撮像面３０４に投影される円周の半径等しい。またｆを魚眼レンズの焦点距離９０１とすると、正射影の射影式は
【００７２】
【数８】
である。
正射影の射影式（数８）より、魚眼撮像面５０４における空間情報密度分布ρ（ｒ）（９０２）は
【００７３】
【数９】
と定義される。
【００７４】
なお、魚眼レンズの射影方式は、正射影以外に、立体射影、等距離射影、等立体角射影、などがあるが、これらについても非特許文献１（Design Wave Magazine 2008 September 119-121）にて開示された公知の射影式を用いて同じように計算することが可能であり、射影方式のちがいにより空間情報密度分布の定義（数式）は異なる。
【００７５】
すなわち、空間情報量密度分布算出部２０４において、仮想透視射影面４０１と魚眼撮像面３０４における空間情報密度分布を、数７、数９により算出し、その計算結果をテーブル化したものが、空間情報量密度分布格納部２０５に出力され、格納される。
【００７６】
図１０のテーブル１００１は、ｚ＝９０（ズーム倍率）の場合の仮想透視射影面４０１における空間情報量密度分布ρ（ｕ，ｖ）のテーブル構成の一例である。図１１のテーブ
ル１１０１は、ｆ＝１２０（焦点距離）の場合の魚眼撮像面３０４における空間情報量密度分布ρ（ｒ）のテーブル構成の一例である。なお、図１１のようなテーブルを使う場合には、画素マッピング部２０３で算出された魚眼撮像面中心点３０６から射影点３０５の距離ｒ（３０７）が整数でなければ、ｒを整数に丸めてからテーブルを構成する。丸め処理としては、ｒの小数部の切り捨て、四捨五入、切り上げなど適宜用いることができる。
【００７７】
数７、数９から、仮想透視射影面４０１上の空間情報密度分布ρ（ｕ，ｖ）は出力映像のズーム倍率ｚのみに依存し、魚眼撮像面３０４上の空間情報密度分布ρ（ｒ）はレンズの射影方式と焦点距離９０１のみに依存しているといえる。したがって、出力映像のズーム倍率を変更する際や、レンズの射影方式或いは焦点距離を変える場合のみ、空間情報密度分布を再計算し、テーブルを再構成する。
【００７８】
一方、魚眼映像の切出し位置については、上記のように、空間情報量密度分布に影響を与えないため、魚眼映像の切出し位置が頻繁に変更されるケース（例えば、魚眼映像における手振れ・画揺れ補正時や、全方位映像における電子パン・チルトなどの応用）においては、予め計算した空間情報密度分布テーブルを使えばよく、テーブルの再構成は不要である。
【００７９】
２−２：空間情報量密度分布の算出及び格納
次に、空間情報量密度分布算出部２０４及び空間情報量密度分布格納部２０５の動作についてさらに説明する。
【００８０】
図１２は空間情報量密度分布算出のフローチャートである。図において、ステップ（Ｓ１０）では、現状のテーブルにデータがないかどうかが判断される。ステップ（Ｓ１０）の判断がＹｅｓの場合、（例えばカメラの初回起動時）仮想透視射影面４０１及び魚眼撮像面３０４における空間情報量密度分布がそれぞれ計算され（Ｓ１１、Ｓ１３）、テーブルとして格納される（Ｓ１２、Ｓ１４）。
【００８１】
ステップ（Ｓ１０）の判断がＮｏの場合、すなわちテーブルにデータがある場合には、ステップ（Ｓ１５）で出力映像のズーム倍率が変更されたかどうかが判断され、ステップ（Ｓ１８）で魚眼レンズが変更されたかどうかが判断される。魚眼レンズの変更については、射影方式や焦点距離の異なる別の魚眼レンズへの交換、あるいは可変焦点の魚眼レンズへの交換であれば焦点距離の変更も判断する必要がある。これはユーザによる交換・変更操作時のユーザ入力により判断してもよいし、また、レンズの接点から予め登録されているレンズの型番や焦点距離などを取得し、変更時自動的に判断するようにしてもよい。
【００８２】
ステップ（Ｓ１５）、又はステップ（Ｓ１８）の判断がＮｏの場合、仮想透視射影面４０１、又は魚眼撮像面３０４における空間情報量密度分布についての再計算の必要がないため、テーブルに格納された空間情報量密度分布がそのまま利用される。ステップ（Ｓ１５）、又はステップ（Ｓ１８）の判断がＹｅｓの場合、仮想透視射影面４０１、又は魚眼撮像面３０４における空間情報量密度分布が再計算され（Ｓ１６、Ｓ１９）、テーブルが更新される（Ｓ１７、Ｓ２０）。
【００８３】
２−３：拡大・縮小倍率算出
次に、拡大・縮小倍率算出部２０６の処理について、説明する。
【００８４】
拡大・縮小倍率算出部２０６では、マッピング前、後での注目画素５０５の位置をそれぞれ出力映像画素位置決定部（２０２）と画素マッピング部（２０３）から取得し、これらの位置における空間情報量密度が、それぞれ仮想透視射影面４０１における空間情報密度分布テーブル１００１と、魚眼撮像面３０４における空間情報密度分布テーブル１１０
１より取得され、空間情報量密度変化率、すなわち拡大・縮小倍率が算出される。拡大・縮小倍率（空間情報量密度変化率）は、マッピング前後の注目画素５０５所在の空間情報量密度の割算と定義される。具体的には
【００８５】
【数１０】
となる。
【００８６】
図１３は仮想透視射影面４０１における拡大・縮小倍率（空間情報量密度変化率）分布の一例のイメージ図である。仮想透視射影面４０１における拡大・縮小倍率分布１３０３は、数１０による二つの分布図の割算（Ａ／Ｂ）となる。ここで、Ａは仮想透視射影面４０１の空間情報量密度分布１３０１であり、Ｂは魚眼撮像面３０４の空間情報量密度分布１３０４の切出し領域１３０５を、レンズの射影方式にて仮想透視射影面４０１に投影した空間情報量密度分布１３０２である。
【００８７】
ただし、注目画素のある位置の拡大・縮小倍率は、この画素のマッピング処理の直後に数１０を用いることにより、テーブル参照２回と割算１回で計算できる。そのため、射影変換処理を行う間に、１３０３のような拡大・縮小倍率の分布図を作成しなくても良い。
【００８８】
２−４：補間方式選択
次に、補間方式選択部２０７について説明する。補間方式選択部２０７では、拡大・縮小倍率に応じて注目画素（画素値）の補間方式が選択される。以下、補間方式選択部２０７の動作を説明する。
【００８９】
図１４は画素補間方式選択のフローチャートである。図において、ステップＳ２１ 〜Ｓ２３では空間情報量密度変化率ｋの大きさが判定される。なお、ａ、ｂは補間方式選択部２０７が参照する図示しないメモリに保持されている判定用閾値であり、外部からの入力設定によって変更可能なパラメータである。ステップＳ２１において、ｋ＜１であると判定された場合（変化率が低い）は、映像領域は縮小され、すなわち射影変換後の空間情報量が減少することを意味するため、ステップＳ２４において、画質よりも処理スピード優先で、より処理時間が短くなる最近傍補間法が選択される。ステップＳ２２、Ｓ２３において１＜ｋ＜ａあるいはａ＜ｋ＜ｂ（１＜ａ＜ｂ）と判定された場合は、映像領域は拡大され、すなわち射影変換後の情報量が増えることを意味するため、ステップＳ２５、Ｓ２６において、処理時間は長くなるがより高画質なキュービック補間法が選択される。またステップＳ２３においてｋ＞ｂと判定された場合（変化率が高い）は、映像領域はさらに激しく拡大されることを意味するため、Ｓ２７において、画質最優先でキュービック補間法よりさらに高画質な補間方式（例えば、多項式補間法、スプライン補間法など）が選択される。
【００９０】
３．映像出力処理
出力映像生成部２０７は、画素マッピング部２０３で算出された魚眼撮像面３０４上の注目画素の周りの画素（画素値）を映像入力部２０８から取得し、補間方式選択部２０７で選択された画素補間方式により補間処理し、透視射影映像を生成していく。これを、仮想透視射影面４０１上の全ての画素に対して行い、最終的な出力映像（透視射影映像）を生成する。
【００９１】
以上説明したように、本実施形態１によれば、射影変換処理後の同じ出力映像において
、領域毎に異なる拡大・縮小倍率（空間情報量密度変化率）に基づいて、最適な画素補間方式を選択することにより、無駄な補間処理時間が削減され、より高速な射影変換処理を行うことができる。
【００９２】
また、レンズ（の射影方式と焦点距離）とズーム倍率が変わらない場合には、固定補間方式の射影変換処理に比べて増える処理量、すなわち拡大・縮小倍率算出処理の処理量が、テーブル参照２回と割算１回だけであるため、ほぼ無視することができる。
（実施形態２）
本発明の実施形態２に係る画像処理システムについて説明する。図１５は同画像処理システムの全体構成を示すものである。
【００９３】
図において、射影変換部１１０は、実施形態１の構成（図１参照）のように、映像機器１５００の内部ではなく、表示端末１６００側に設置される構成となっている。この構成により、射影変換処理は表示端末１６００で行われることになり、実施形態１に比べて、映像機器１５００での処理負担を減らすことができる。
【００９４】
映像機器１５００にある各処理ユニット（１０１〜１０９、１１１、１１３）の動作は、実施形態１とはほぼ同じであり、同じ符号を付している。映像処理部１０９で処理された映像データは、映像転送部１５０１を介して表示端末１６００に転送する。転送方法としては、例えば、有線・無線ＬＡＮで転送してもいいし、半導体などの記録媒体を介して転送してもいい。
【００９５】
表示端末１６００では、映像受信部１６０１により受信された映像データがメモリ１０８に格納される。射影変換部１１０はメモリ１０８にアクセスし、映像の射影変換を表示端末１６００の中で行う。射影変換部１１０で変換された映像データは、映像蓄積部１６０２に蓄積されるか、映像表示部１１２によりモニタなどの表示装置（図示せず）に表示される。ＣＰＵ１６０３は、表示端末１６００の全体制御を行う。なお、射影変換部１１０で行う射影変換処理を、ＣＰＵ１６０３で行うようにしてもよい。
【００９６】
本発明は、上述した実施形態１〜２において示された事項に限定されず、この明細書の記載、並びに周知の技術に基づいて、当業者がその構成や動作の一部分に変更を加える、もしくは応用することも可能であることはいうまでもない。
【産業上の利用可能性】
【００９７】
本発明に係る画像処理装置は、光学射影方式変換のための画素補間方式を高速に切り替えることができ、射影変換処理における画素補間処理の時間を短縮する効果を有し、魚眼レンズの射影方式や透視射影などの光学射影方式で生成される画像処理に有用である。
【符号の説明】
【００９８】
２０１ レンズ射影方式格納部
２０２ 出力映像画素位置決定部
２０３ 画素マッピング部
２０４ 空間情報量密度分布算出部
２０５ 空間情報量密度分布格納部
２０６ 拡大・縮小倍率算出部
２０７ 補間方式選択部
２０８ 映像入力部
２０９ 出力映像生成部
【特許請求の範囲】
【請求項１】
第１の射影方式で生成された映像を、第２の射影方式による映像に変換する画像処理装置であって、
前記第２の射影方式による映像の注目画素の空間位置を算出し、前記第１の射影方式で生成された映像へマッピングするためのマッピング位置を演算する画素マッピング部と、
前記第１の射影方式で生成された映像の注目画素の空間情報量密度と、前記第２の射影方式による映像の注目画素の空間情報量密度とに基づいて、マッピングされる前記第１の射影方式の映像を補間するための画素補間方式を選択する補間方式選択部と、
選択された画素補間方式に基づき、前記第２の射影方式による映像を生成する出力映像生成部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記第１の射影方式による映像の空間情報量密度分布と、前記第２の射影方式による映像の空間情報量密度分布と、を算出する空間情報量密度分布算出部を有し、
前記補間方式選択部が、前記空間情報量密度分布算出部によって算出された空間情報量密度分布に基づいて、前記第１の射影方式の映像を補間するための画素補間方式を選択する、
請求項１記載の画像処理装置。
【請求項３】
前記第１の射影方式による映像の空間情報量密度分布と前記第２の射影方式による映像の空間情報量密度分布により、前記第１の射影方式で生成された映像を、前記第２の射影方式の映像に変換することによる空間情報量密度変化率を算出する拡大・縮小倍率算出部を有し、
前記補間方式選択部が、前記空間情報量密度変化率に応じて、前記第１の射影方式の映像を補間するための画素補間方式を選択する、
請求項１または２記載の画像処理装置。
【請求項４】
前記拡大・縮小倍率算出部で算出される空間情報量密度変化率に応じて、前記変化率が高ければ、より高画質な画素補間方式が選択され、前記変化率が低ければ、より処理時間の短い画素補間方式が選択される、
請求項３記載の画像処理装置。
【請求項５】
前記第１の射影方式による映像の空間情報量密度分布と、前記第２の射影方式による映像の空間情報量密度分布と、を格納する空間情報量密度分布格納部を有し、
前記第１の射影方式による映像、もしくは前記第２の射影方式による映像の空間情報量密度分布が変わる場合のみ、前記空間情報量密度分布算出部において、前記空間情報量密度分布が再計算され、前記空間情報量密度分布格納部の内容が書き換えられる、
請求項１〜４いずれか記載の画像処理装置。
【請求項６】
前記第１の射影方式は、魚眼光学系の射影方式であり、前記第２の射影方式は、透視射影方式である、
請求項１〜５いずれか記載の画像処理装置。
【請求項７】
前記魚眼光学系の射影方式と焦点距離に応じて、前記魚眼光学系の射影方式による映像の空間情報量密度分布が算出され、前記透視射影方式のズーム倍率に応じて、前記透視射影方式による映像の空間情報量密度分布が算出される、
請求項６記載の画像処理装置。
【請求項８】
第１の射影方式による映像を撮影する撮像機器と、
請求項１から６いずれか記載の画像処理装置と、
前記撮像機器から前記画像処理装置に、前記第１の射影方式による映像を転送する映像転送手段と、
を有することを特徴とする画像処理システム。
【請求項９】
第１の射影方式による映像を、第２の射影方式による映像に変換する画像処理方法であって、
前記第２の射影方式の映像の注目画素の空間位置を算出し、前記第１の射影方式の映像へマッピングするステップと、
次に、前記第１の射影方式の映像を、前記第２の射影方式の映像へ変換する際の、注目画素の空間情報量密度の変化量を算出するステップと、
次に、算出した空間情報量密度の変化量に応じて、マッピングされる前記注目画素を補間するための画素補間方式を選択するステップと、
次に、選択した画素補間方式により、マッピングされる前記注目画素の周囲を補間するステップと、
を有することを特徴とする画像処理方法。
【請求項１】
第１の射影方式で生成された映像を、第２の射影方式による映像に変換する画像処理装置であって、
前記第２の射影方式による映像の注目画素の空間位置を算出し、前記第１の射影方式で生成された映像へマッピングするためのマッピング位置を演算する画素マッピング部と、
前記第１の射影方式で生成された映像の注目画素の空間情報量密度と、前記第２の射影方式による映像の注目画素の空間情報量密度とに基づいて、マッピングされる前記第１の射影方式の映像を補間するための画素補間方式を選択する補間方式選択部と、
選択された画素補間方式に基づき、前記第２の射影方式による映像を生成する出力映像生成部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記第１の射影方式による映像の空間情報量密度分布と、前記第２の射影方式による映像の空間情報量密度分布と、を算出する空間情報量密度分布算出部を有し、
前記補間方式選択部が、前記空間情報量密度分布算出部によって算出された空間情報量密度分布に基づいて、前記第１の射影方式の映像を補間するための画素補間方式を選択する、
請求項１記載の画像処理装置。
【請求項３】
前記第１の射影方式による映像の空間情報量密度分布と前記第２の射影方式による映像の空間情報量密度分布により、前記第１の射影方式で生成された映像を、前記第２の射影方式の映像に変換することによる空間情報量密度変化率を算出する拡大・縮小倍率算出部を有し、
前記補間方式選択部が、前記空間情報量密度変化率に応じて、前記第１の射影方式の映像を補間するための画素補間方式を選択する、
請求項１または２記載の画像処理装置。
【請求項４】
前記拡大・縮小倍率算出部で算出される空間情報量密度変化率に応じて、前記変化率が高ければ、より高画質な画素補間方式が選択され、前記変化率が低ければ、より処理時間の短い画素補間方式が選択される、
請求項３記載の画像処理装置。
【請求項５】
前記第１の射影方式による映像の空間情報量密度分布と、前記第２の射影方式による映像の空間情報量密度分布と、を格納する空間情報量密度分布格納部を有し、
前記第１の射影方式による映像、もしくは前記第２の射影方式による映像の空間情報量密度分布が変わる場合のみ、前記空間情報量密度分布算出部において、前記空間情報量密度分布が再計算され、前記空間情報量密度分布格納部の内容が書き換えられる、
請求項１〜４いずれか記載の画像処理装置。
【請求項６】
前記第１の射影方式は、魚眼光学系の射影方式であり、前記第２の射影方式は、透視射影方式である、
請求項１〜５いずれか記載の画像処理装置。
【請求項７】
前記魚眼光学系の射影方式と焦点距離に応じて、前記魚眼光学系の射影方式による映像の空間情報量密度分布が算出され、前記透視射影方式のズーム倍率に応じて、前記透視射影方式による映像の空間情報量密度分布が算出される、
請求項６記載の画像処理装置。
【請求項８】
第１の射影方式による映像を撮影する撮像機器と、
請求項１から６いずれか記載の画像処理装置と、
前記撮像機器から前記画像処理装置に、前記第１の射影方式による映像を転送する映像転送手段と、
を有することを特徴とする画像処理システム。
【請求項９】
第１の射影方式による映像を、第２の射影方式による映像に変換する画像処理方法であって、
前記第２の射影方式の映像の注目画素の空間位置を算出し、前記第１の射影方式の映像へマッピングするステップと、
次に、前記第１の射影方式の映像を、前記第２の射影方式の映像へ変換する際の、注目画素の空間情報量密度の変化量を算出するステップと、
次に、算出した空間情報量密度の変化量に応じて、マッピングされる前記注目画素を補間するための画素補間方式を選択するステップと、
次に、選択した画素補間方式により、マッピングされる前記注目画素の周囲を補間するステップと、
を有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−２２５５３（Ｐ２０１２−２２５５３Ａ）
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願番号】特願２０１０−１６０３７０（Ｐ２０１０−１６０３７０）
【出願日】平成２２年７月１５日（２０１０．７．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願日】平成２２年７月１５日（２０１０．７．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]