会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等
【課題】広範囲な画角で撮像された魚眼歪画像等に基づいて正確かつ実効的な物体認識を行うことが可能な会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等を提供する。
【解決手段】魚眼レンズによって撮像された魚眼歪画像Ｓに基づいて生成された二次元的に視認可能な平面正則画像等の任意の点任意の点Ｃｉ（ｕｉ、ｖｉ）の選択指示を受け付けると、Ｃｉ（ｕｉ、ｖｉ）の対応座標としての魚眼歪画像Ｓ上の点Ｓｉ（ｘｉ、ｙｉ）を算出し、Ｃｉ（ｕｉ、ｖｉ）を中心として、当該魚眼歪画像Ｓを構成する画素情報群に基づいて、平面正則画像を構成する画素情報群を新たに生成する。
【解決手段】魚眼レンズによって撮像された魚眼歪画像Ｓに基づいて生成された二次元的に視認可能な平面正則画像等の任意の点任意の点Ｃｉ（ｕｉ、ｖｉ）の選択指示を受け付けると、Ｃｉ（ｕｉ、ｖｉ）の対応座標としての魚眼歪画像Ｓ上の点Ｓｉ（ｘｉ、ｙｉ）を算出し、Ｃｉ（ｕｉ、ｖｉ）を中心として、当該魚眼歪画像Ｓを構成する画素情報群に基づいて、平面正則画像を構成する画素情報群を新たに生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像データを処理する画像処理装置及び画像処理方法等の技術分野に関する。
【背景技術】
【０００２】
広角レンズ（例えば、魚眼レンズ）又は全方位ミラーは、広範囲な画角で被写体を撮像できるため、例えば、監視カメラシステム、テレビ会議システム等のカメラ装置（例えば、魚眼カメラ）に適用されている。
【０００３】
この魚眼カメラで撮像された魚眼歪画像には歪が生じ、特に当該画像の外縁部（端面部）では著しい歪が生じる。そこで、魚眼歪画像に示される被写体の識別性を向上させるため、魚眼歪画像を二次元的に視認可能な平面正則画像に変換し、上記歪を補正する魚眼補正処理が行われている。
【０００４】
また、魚眼補正処理を適用した技術として、特許文献１では、魚眼レンズ全景縮小画像と、ポインティングデバイスで指定した当該魚眼歪画像内の所望の領域の切り出し歪補正領域とを同一画面上に出力表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−３０１０３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された技術では、人間の目視により魚眼歪画像に表示される特定の物体を特定し、当該物体を監視するために装置に指示を与える必要があるため、正確かつ実効的な物体認識を行うことができない。
【０００７】
また、魚眼歪画像には上述したように歪が発生するため、画像に表示される特定の物体を認識する物体認識技術を適用した場合には、魚眼歪画像上に示される物体を正確に認識することは困難である。
【０００８】
そこで、本願発明は、このような問題等に鑑みてなされたものであり、広範囲な画角で撮像された魚眼歪画像等に基づいて正確かつ実効的な物体認識を行うことが可能な会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等を提供することを課題の一つとする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、請求項１に記載の発明は、外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶手段と、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換手段と、前記変換された平面正則画像を構成する画素情報群を記憶する平面正則画像記憶手段と、前記記憶された平面正則画像上の任意の点に対応する画素情報の選択指示を受け付ける選択指示受付手段と、前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定する対応座標特定手段と、前記特定された画素情報を中心に、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に再変換する再変換手段と、を備えることを特徴とする。
【００１０】
請求項２に記載の発明は、請求項１に記載の画像処理装置であって、前記再変換された平面正則画像を構成する画素情報群に基づいて、表示部へ表示させる所定の大きさの画面情報を生成する画面情報生成手段と、を備えることを特徴とする。
【００１１】
請求項３に記載の発明は、請求項１又は２に記載の画像処理装置であって、前記選択指示受付手段は、前記変換手段によって変換された平面正則画像上の複数の点に対応する画素情報の選択指示を受け付け、前記対応座標特定手段は、前記選択指示が示す平面正則画像上のそれぞれの画素情報に対応する歪円形画像上の画素情報を特定し、前記再変換手段は、前記特定されたそれぞれの画素情報を中心に、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報に、前記対応座標特定手段によって特定されたそれぞれの画素情報毎に再変換することを特徴とする。
【００１２】
請求項４に記載の発明は、請求項３に記載の画像処理装置であって、前記生成された各画面情報を、前記表示部に同一の大きさに表示されるように表示態様を制御する表示制御手段と、を備えることを特徴とする。
【００１３】
請求項５に記載の発明は、請求項１乃至４の何れか１項に記載の画像処理装置であって、前記変換された平面正則画像に示される所定の物体を認識する物体認識手段と、を備え、前記選択指示受付手段は、前記認識された物体上の任意の点に対応する画素情報の選択指示を受け付けることを特徴とする。
【００１４】
請求項６に記載の発明は、外部から入力される広角レンズ又は全方位ミラーによって被写体を継続的に撮像した複数の歪円形画像に基づいて生成される当該複数の歪円形画像を構成する画素情報群を、各歪円形画像に対応付けて記憶する歪円形画像記憶手段と、前記記憶された各歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に、前記各歪円形画像毎に変換する変換手段と、前記変換された各平面正則画像を構成する画素情報群を記憶する平面正則画像記憶手段と、前記変換された平面正則画像に示される特定の物体を認識する物体認識手段と、前記認識した物体が平面正則画像で示す継時的な変化を、前記各平面正則画像毎に認識する動作認識手段と、前記動作認識手段によって認識された前記各平面正則画像毎の物体上の任意の点に対応する歪円形画像上の画素情報を特定する第２の対応座標特定手段と、前記第２の対応座標特定手段によって特定された各歪画像上の画素情報を中心に、前記歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に、第２の対応座標特定手段によって特定された各画素情報毎に再変換する再変換手段と、を備えることを特徴とする。
【００１５】
請求項７に記載の発明は、広角レンズ又は全方位ミラーによって撮像した被写体を歪円形画像として画像処理装置へ出力するカメラと、前記入力された歪円形画像に基づいて画面情報を生成して端末装置へ出力する前記画像処理装置と、を備えた会議システムであって、前記画像処理装置は、前記入力された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶手段と、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換手段と、前記変換された平面正則画像を構成する画素情報群を格納する平面正則画像記憶手段と、前記変換された平面正則画像に示される一又は複数の特定の物体を認識する物体認識手段と、前記認識された物体上の任意の点に対応する画素情報の選択指示を、前記認識した物体毎に受け付ける選択指示受付手段と、前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を、前記認識した物体毎に特定する対応座標特定手段と、前記対応座標特定手段によって特定された画素情報を中心に、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に、前記認識した物体毎に再変換する再変換手段と、前記再変換された平面正則画像を構成する画素情報群を、表示部へ表示させる所定の大きさの画面情報として前記認識した物体毎に生成する画面情報生成手段と、前記生成された画面情報を前記端末装置へ出力する出力手段と、を備えることを特徴とする。
【００１６】
請求項８に記載の発明は、請求項７に記載の会議システムであって、前記カメラは、当該カメラに搭載される広角レンズ又は全方位ミラーを天頂方向へ向けて配置されることを特徴とする。
【００１７】
請求項９に記載の発明は、広角レンズ又は全方位ミラーによって第１の撮像中心から所定の撮像範囲内で撮像された被写体を歪円形画像として画像処理装置へ出力する機能と、ズーム機構を備えたレンズ群によって第２の撮像中心から所定の範囲内で撮像された被写体を平面正則画像として前記画像処理装置へ出力する機能を搭載した監視カメラと、前記入力された歪円形画像に基づいて画面情報を生成する前記画像処理装置と、を備える監視システムであって、前記監視カメラは、当該カメラの撮像する位置を切り替えるパンチルト駆動手段と、を備え、前記画像処理装置は、前記入力された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶手段と、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換手段と、前記変換された平面正則画像を構成する画素情報群を格納する平面正則画像記憶手段と、前記変換された平面正則画像に示される物体を認識する物体認識手段と、前記記憶された平面正則画像上の任意の点に対応する画素情報の選択指示を受け付ける選択指示受付手段と、前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定する対応座標特定手段と、予め算出された前記第１の撮像中心と前記第２の撮像中心に基づいて、前記第２の撮像中心を、前記対応座標特定手段によって特定された画素情報が示す位置に新たに設定するための距離情報を算出し、当該距離情報が示す位置に監視カメラを駆動させるための制御信号を前記パンチルト駆動手段に出力する位置制御手段と、を備えることを特徴とする。
【００１８】
請求項１０に記載の発明は、外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶工程と、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換工程と、前記変換された平面正則画像を構成する画素情報群を記憶する平面正則画像記憶工程と、前記記憶された平面正則画像上の任意の点に対応する画素情報の選択指示を受け付ける選択指示受付工程と、前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定する対応座標特定工程と、前記対応座標特定工程によって特定された画素情報を中心に、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に再変換する再変換工程と、を有することを特徴とする。
【００１９】
請求項１１に記載の発明は、画像処理装置に含まれるコンピュータを、外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶手段、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換手段、前記変換された平面正則画像を構成する画素情報群を記憶する平面正則画像記憶手段、前記記憶された平面正則画像上の任意の点に対応する画素情報の選択指示を受け付ける選択指示受付手段、前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定する対応座標特定手段、前記対応座標特定手段によって特定された画素情報を中心に、前記歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に再変換する再変換手段、として機能させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、広角レンズ又は全方位ミラーによって撮像された歪円形画像に基づいて生成された二次元的に視認可能な平面正則画像上の任意の点の選択指示を受け付けると、当該選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定し、当該特定された画素情報を中心に、当該歪円形画像を構成する画素情報群に基づいて、平面正則画像を構成する画素情報群を新たに生成するように構成したため、広範囲な画角で撮像された魚眼歪画像等に基づいて正確かつ実効的な物体認識を行うことができる。
【図面の簡単な説明】
【００２１】
【図１】基本原理の概念を示す概念図である。
【図２】魚眼歪画像Ｓの一部又は全部が切り出され、平面正則画像Ｔに変換された変換例を示す概念図である。
【図３】湾曲平面正則画像への変換を示す概念図である。
【図４】上述した湾曲座標系を用いて、魚眼歪画像Ｓの一部又は全部が切り出され、平面正則画像Ｔに変換された変換例を示す概念図である。
【図５】魚眼レンズカメラが設置される方向と、補正方向との関係を示す概念図である。
【図６】本実施形態に係る画像処理装置の構成及び機能概要を示すブロック図である。
【図７】平面正則画像Ｔの詳細画像においてブロックノイズが生じた例を示す概念図である。
【図８】再変換の詳細について説明する概念図である。
【図９】再変換の詳細について説明する概念図である。
【図１０】再変換の詳細について説明する概念図である。
【図１１】基本原理を用いて変換された平面正則画像が再変換された場合の表示画面例について示す図である。
【図１２】湾曲平面正則画像への変換を用いて変換された平面正則画像が再変換された場合の表示画面例について示す図である。
【図１３】画像処理装置ＳＳの動作を示すフローチャートである。
【図１４】任意の点Ｃｉ（ｕｉ、ｖｉ）が指定される都度再変換された平面正則画像等が並べて表示された画面例を示す図である。
【図１５】物体認識技術を用いて再変換させた表示例を示す図である。
【図１６】ポインティングデバイスによって（即ち、人為的動作に基づく指定により）上記任意の点Ｃｉ（ｕｉ、ｖｉ）が複数選択された様子を示す図である。
【図１７】画像処理装置ＳＳを監視カメラシステムへ適用させた例を示す概念図である。
【図１８】魚眼レンズカメラを横向きに設置した場合の画像処理装置ＳＳをＴＶ会議室システムへ適用させた例を示す概念図である。
【図１９】魚眼レンズカメラを天頂方向へ向けて設置した場合の画像処理装置ＳＳをＴＶ会議室システムへ適用させた例を示す概念図である。
【図２０】画像処理装置ＳＳをパンチルトズームカメラへ適用させた場合のブロック図である。
【図２１】画像処理装置ＳＳをパンチルトズームカメラへ適用させた場合の概念図である。
【図２２】画像処理装置ＳＳをパンチルトズームカメラへ適用させた場合の画像処理装置ＳＳの動作を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、添付図面を参照して本発明の実施形態について詳細に説明する。以下に説明する実施形態は、画像処理装置に対して本発明を適用した場合の実施形態である。
【００２３】
［１．魚眼歪画像の変換の原理］
Ａ）平面正則画像への変換
本実施形態に係る画像処理装置は、詳しくは後述するが、その機能の一つとして、広角レンズ又は全方位ミラーによって撮像された歪円形画像の一例としての魚眼歪画像の一部又は全部を切り出して、二次元的に視認可能な平面正則画像に変換する処理を行う機能を有する。
【００２４】
ここで、まず、魚眼歪画像の一部又は全部を切り出して、平面正則画像に変換する基本原理（以下単に、「基本原理」という。）について、図１及び図２を用いて説明する。
【００２５】
図１は、基本原理の概念を示す概念図である。
【００２６】
かかる基本原理は公知の手法であるため詳しい説明は省略するが、平面正則画像を構成する画素情報群を得るために、当該平面正則画像を構成する各画素情報に対応する魚眼歪画像における各画素情報が位置する対応座標が算出される。
【００２７】
具体的には、魚眼レンズの光学的特性をモデル化した仮想球面上の任意の点で接する平面を平面正則画像と定義し、当該平面上における各座標が公知の座標変換により、魚眼歪画像における各座標に変換され、上記対応座標が算出される。
【００２８】
そして、魚眼歪画像Ｓ上の切出中心点Ｐ（ｘｏ、ｙｏ）を中心とした一部分を切り出して、平面正則画像Ｔに変換するために、図１に示すＯを原点としたＸＹＺ座標系に定義された仮想球面モデルを用いた対応座標の算出方法が適用される。図２において、魚眼歪画像Ｓが存する座標系をＸＹ座標系、平面正則画像Ｔが存する座標系をＵＶ座標系とする。以下単に、ＸＹ座標系、又はＵＶ座標系とした場合には、魚眼歪画像Ｓ又は平面正則画像Ｔ上の座標系をそれぞれ示すものとする。
【００２９】
この仮想球面モデルを用いた対応座標の算出方法では、魚眼歪画像Ｓ上に定義された切出中心点Ｐ（ｘｏ、ｙｏ）に対応する上記対応座標としての平面正則画像Ｔの原点Ｇ（ｘｇ、ｙｇ、ｚｇ）は、ＰとＺ軸に平行な直線と仮想球面Ｈとの交点をＱ（ｘｏ、ｙｏ、ｚｏ）と定義すると、ＱとＸＹＺ座標系の原点を通るベクトルｎ上に存在することが知られている。
【００３０】
そして、魚眼歪画像Ｓの半径をＲ、切出中心点Ｐ（ｘｏ、ｙｏ）とＸＹ座標系の原点ＯＯとを結ぶ直線とＹ軸とのなす角を方位角α、ＵＶ座標系の原点となる原点Ｇ（Ｘｇ、Ｙｇ、Ｚｇ）とＸＹ座標系の原点Ｏとを結ぶ直線とＺ軸とのなす角を天頂角β、Ｕ軸とＪ軸（Ｇ（ｘｏ、ｙｏ、ｚｏ）を通り、ＸＹ平面に平行かつ直線ＯＧに直交する軸（以下、回転基準軸ともいう。）とのなす角を平面傾斜角φとそれぞれ定義する。この平面傾斜角φは、ＵＶ座標系においてＵ軸方向を向いたベクトルＵと、回転基準軸Ｊの方向を向いたベクトルＪと定義したときに、ベクトルＵとベクトルＪのなす角度として定義される角であり、通常、「平面傾斜角」と呼ばれている。以上から、この方位角α、天頂角β、及び平面傾斜角φの３つの角度によって、平面正則画像ＴのＵＶ座標系の位置及び向きが決定されることが分かる。この３つの角度は、一般的にオイラー角と称されることもある。また、平面正則画像Ｔの補正サイズを示すパラメータとして倍率ｍを定義する。この倍率ｍの値によって、ＵＶ座標系は、ＯＧ間の距離が、半径Ｒのｍ倍となるような位置にＵＶ座標系が配置される。このオイラー角及び倍率ｍは、変換される平面正則画像の向きや大きさ等に応じて可変となる変数である。即ち、オイラー角及び倍率ｍは、パラメータとして機能し、ユーザの入力または機器の設定によって決定される。
【００３１】
以上の関係を用いて、ＸＹ座標系上における点Ｓｉ（ｘｉ、ｙｉ）と、ＵＶ座標系上における点Ｔｉ（ｕｉ、ｖｉ）は（即ち、上記対応座標の算出）、パラメータＡ〜Ｆ及びｗ（式（３）から式（９））を用いて、式（１）及び（２）によって算出されることが一般的に知られている。
【００３２】
なお、式（１）及び（２）に示すｘ、ｙ、ｕ、ｖは、上記ｘｉ、ｙｉ、ｕｉ、ｖｉに対応している。
【００３３】
【数１】
【００３４】
【数２】
【００３５】
【数３】
【００３６】
【数４】
【００３７】
【数５】
【００３８】
【数６】
【００３９】
【数７】
【００４０】
【数８】
【００４１】
【数９】
【００４２】
次に、上記対応座標が算出され、魚眼歪画像Ｓの一部又は全部が切り出され平面正則画像Ｔに変換された変換例について、図２を用いて説明する。
【００４３】
図２は、魚眼歪画像Ｓの一部又は全部が切り出され、平面正則画像Ｔに変換された変換例を示す概念図である。
【００４４】
図２（Ａ）には魚眼歪画像Ｓが示されており、その一部が切り出され、平面正則画像Ｔに変換された画像が図２（Ｂ）及び図２（Ｃ）に示されている。
【００４５】
魚眼歪画像Ｓから平面正則画像Ｔに変換される際の画像の大きさ（ＵＶ座標系の座標総数）は任意に設定することができる。即ち、魚眼歪画像Ｓを構成する画像のうち、任意の範囲を平面正則画像Ｔに変換することができる。
【００４６】
図２（Ｂ）では、魚眼歪画像Ｓに示される画像のうち、Ｄ氏のみが選択され、平面正則画像Ｔに変換された例が示されている。また、図２（Ｃ）では、魚眼歪画像Ｓに示される画像のうち、Ｂ氏〜Ｅ氏が選択され、平面正則画像Ｔに変換された例が示されている。
【００４７】
Ｂ）湾曲平面正則画像への変換
上述したように、魚眼歪画像には歪が発生する。この歪は、魚眼歪画像の中心部から離れるに従って（即ち、魚眼歪画像の外縁部に近づくにつれて）大きくなることが知られている。
【００４８】
図２に示す例で説明すると、魚眼歪画像Ｓの中心部付近の画像を平面正則画像Ｔへ変換した図２（Ｂ）では歪が少なく、自然な形で人物が示されている。一方、魚眼歪画像Ｓの中心部から外縁部にわたる画像を平面正則画像Ｔへ変換した図２（Ｃ）では、魚眼歪画像Ｓの外縁部に示される画像に対応する平面正則画像Ｔ（即ち、Ｂ氏及びＥ氏）では歪が多く、画面に対して水平方向に人物像が拡大して示されている。換言すれば、不自然な形で人物像が示されている。
【００４９】
この歪が大きな平面正則画像に対して、画像に表示される特定の物体を認識する物体認識技術を適用した場合には、魚眼歪画像上に示される物体を正確に認識することは困難である。
【００５０】
具体的に図２（Ｂ）及び（Ｃ）に示された画像について説明すると、物体認識技術として一般的に知られているパターンマッチング法（予め記憶された画像と、画面に示されている画像において、類似度を比較することにより物体を認識する技術）を適用した場合を考える。
【００５１】
図２（Ｂ）に示された人物像は、一般的に人物であると把握することができ、また、予め記憶された人物像と類似する可能性が高い。従って、物体認識技術を適用して、画像に表示される特定の物体を認識することができる。
【００５２】
一方、図２（Ｃ）に示された人物像は、一般的に人物であると把握することが困難であり、また、予め記憶された人物像と類似する可能性が低い。従って、物体認識技術を適用して、画像に表示される特定の物体を認識することが困難であると考えられる。
【００５３】
以上より、基本原理では、狭い範囲（一例として、魚眼歪画像Ｓの中心部付近の画像を平面正則画像へ変換した場合）の歪補正画像としての平面正則画像では、歪が小さいため、物体認識技術との併用が可能であるが、広い範囲（一例として、魚眼歪画像Ｓの中心部から外縁部にわたる画像を平面正則画像へ変換した場合）の歪補正画像としての平面正則画像では、ＵＶ座標系の中心部から離れるとともに補正画像内の歪が大きくなるため、物体認識技術との併用が困難である。
【００５４】
そこで、平面正則画像Ｔ上の左右輪郭近傍に生じる歪みを改善するため、発明者らは、変換後の画素情報における座標Ｃ（ｕ、ｖ）に位置する画素情報を、ＵＶ湾曲座標系上の座標Ｃ´（ｕ´、ｖ´）とＸＹ座標系上の座標Ｐ（ｘ、ｙ）との対応関係を示す対応関係式を用いて求めた座標Ｐ（ｘ、ｙ）の近傍に位置する画素情報に基づいて決定し、変換後の画素配列データに基づいて平面上の表示部に画像を表示することにより、平面正則画像Ｔを求める技術を発明した（詳しくは、例えば特開２０１０−６２７９０号公報参照。）。
【００５５】
以下、特開２０１０−６２７９０号公報に示される変換方法を、単に「湾曲平面正則画像への変換」と称する。
【００５６】
この湾曲平面正則画像への変換は、公知の技術であるため詳しい説明は省略するが、図３及び図４を用いて概要を説明する。なお、図３及び図４に示される記号のうち、既に説明した記号と同一の記号を示すものは、少なくとも同一の機能等（作用及び効果も含める）を示すため詳しい説明は省略する。
【００５７】
図３は、湾曲平面正則画像への変換を示す概念図である。
【００５８】
湾曲平面正則画像への変換は、図３（Ａ）及び（Ｂ）に示すように、ＸＹ平面上の魚眼歪画像Ｓ上に半径Ｒを持つ仮想球面Ｈ、オイラー角及び倍率ｍを定義する（図２と同様）。さらに、図２と同様に、点Ｐの真上の点Ｑを通る視点ベクトルｎを求め、ＯＧの距離がｍ・Ｒとなる点Ｇにおいて視線ベクトルｎに直行する平面Ｔ上に、角φに応じた向きを持つＵＶ座標系を定義する。さらに、このＵＶ座標系を「点Ｇが側面上の１点をなし、Ｖ軸に平行かつ点０を通る直線Ｖ´を中心軸とする仮想円柱」の側面Ｃに沿って湾曲させ、ＵＶ湾曲座標系を定義する。
【００５９】
また、このように定義すると、ＵＶ座標系Ｔと、これを湾曲することによって得られるＵＶ湾曲座標Ｃは、図３（Ｂ）に示す位置関係にあることがわかる。
【００６０】
即ち、ＵＶ座標系の座標面であるＵＶ平面は、ＸＹ平面に面に平行な面であり、両者の間隔は、ｗ＝ｍＲに設定されている。図示のとおり、このＵＶ平面に沿った水平方向にＵ軸が定義され、点Ｇにおいて紙面垂直方向にＶ軸が定義されている。そして、このＵＶ平面上に、平面正則画像Ｔが定義されることになる。
【００６１】
一方、ＵＶ湾曲座標系の座標面であるＵＶ曲面は、ＵＶ平面を仮想円柱の側面に沿って湾曲させることにより得られる面である。ここで、仮想円柱は、Ｖ´軸（Ｖ軸に平行かつ原点Ｏを通る軸）を中心軸とし、半径ｗ＝ｍＲをもった円柱であり、軸Ｖの位置においてＵＶ平面に接している。ＵＶ曲面は、この仮想円柱の側面に一致し、半径ｗ＝ｍＲをもった円の円弧に沿った方向にＵ軸が定義され、点Ｇにおいて紙面垂直方向にＶ軸が定義されている。そして、このＵＶ曲面上に、湾曲正則画像Ｃが定義されることになる。
【００６２】
このように、ＵＶ座標系とＵＶ湾曲座標系とは、一方の座標軸であるＶ軸を共通とするが、他方の座標軸であるＵ軸の空間的な位置は異なっている。ただ、座標目盛の刻み幅はいずれも同じであり、座標面上の任意の１点の位置が、座標（ｕ、ｖ）で示される点も同じである。そこで、同一座標（ｕ、ｖ）で示される各座標面上の２点の関係については、以下のように考えることができる。
【００６３】
即ち、図３（Ｂ）の左上に示すように、ＵＶ座標系上における点Ｔ（ｕ、ｖ）に着目すると、この点Ｔ（ｕ、ｖ）は、平面正則画像Ｔ上の点であり、原点ＧからＵ軸に沿って座標値ｕだけ隔たり、Ｖ軸方向に関して座標値ｖだけ隔たった点であることがわかる。
【００６４】
次に、ＵＶ湾曲座標系上における点Ｃ（ｕ、ｖ）に着目すると、この点Ｃ（ｕ、ｖ）は、湾曲正則画像Ｃ上の点であり、原点Ｇから円弧Ａに沿って座標値ｕだけ隔たり、Ｖ軸方向に関して座標値ｖだけ隔たった点ということになる。
【００６５】
このように、点Ｔ（ｕ、ｖ）と点Ｃ（ｕ、ｖ）とは、いずれも座標（ｕ、ｖ）で表される点であるが、異なる座標系で定義された点であるため、ＸＹＺ三次元直交座標系で示される空間上の位置は異なっている。すなわち、ＸＹＺ三次元直交座標系の座標値で考えると、点Ｔ（ｕ、ｖ）の座標はＴ（ｕ、ｖ、ｗ）になるのに対して、点Ｃ（ｕ、ｖ）の座標はＣ（ｕ´、ｖ´、ｗ´）になる。ここで、図３（Ｂ）から、ｕ´＝ｗ・sinθ、ｗ´＝ｗ・cosθであることがわかる。
【００６６】
また、円弧ＧＣの長さは座標値ｕの絶対値に等しく、円弧Ａの半径はｗであるから、図３（Ｂ）に示す角度θは、θ＝ｕ／ｗラジアンである。従って、上記ｕ´及びｗ´は、ｕ′＝ｗ・sin（ｕ／ｗ）、ｗ′＝ｗ・cos（ｕ／ｗ）であることがわかる。なお、両ＵＶ座標系は、Ｖ軸を共通の座標軸としているため、点Ｔ、ＣのＹ座標値はいずれも同一の座標値ｖになる。
【００６７】
以上の関係を用いて、ＸＹ座標系上における点Ｓｉ（ｘｉ、ｙｉ）と、ＵＶ湾曲座標系上における点Ｃ´（ｕ´、ｖ´）は、パラメータＡ〜Ｆ及びｗ（式（３）から式（９））を用いて、式（１０）及び（１３）の演算式によって求めることができる。そして、点Ｐ近傍の画像をＵＶ湾曲座標系上に求め、これを平面Ｔ上に展開して平面正則画像Ｔを得るようになっている。
【００６８】
このように構成することによって、発明者らは、平面正則画像Ｔの右辺輪郭近傍や左辺輪郭近傍について、歪が大幅に改善されることを実証した。
【００６９】
以下に、式（１０）〜（１３）について記す。なお、式（１０）〜（１３）に示すｘ、ｙは、上記ｘｉ、ｙｉに対応している。
【００７０】
【数１０】
【００７１】
【数１１】
【００７２】
【数１２】
【００７３】
【数１３】
【００７４】
次に、上述した湾曲座標系を用いて、魚眼歪画像Ｓの一部又は全部が切り出され平面正則画像Ｔに変換された変換例について、図４を用いて説明する。
【００７５】
図４は、上述した湾曲座標系を用いて、魚眼歪画像Ｓの一部又は全部が切り出され、平面正則画像Ｔに変換された変換例を示す概念図である。
【００７６】
図４（Ａ）には魚眼歪画像Ｓが示されており、上述した湾曲座標系を用いて、その一部が切り出され、平面正則画像に変換された画像が図４（Ｂ）に示されている。なお、魚眼歪画像Ｓから平面正則画像に変換される際の画像の大きさは任意に設定することができることは上述した例と同様である。
【００７７】
図４（Ｂ）では、魚眼歪画像Ｓに示される画像のうち、Ｂ氏〜Ｅ氏が選択され、平面正則画像に変換された例が示されている。この選択された範囲は、図２（Ｃ）で示した例と同一の範囲であるが、図２（Ｃ）で示された平面正則画像と比べると、図４（Ｂ）で示された平面正則画像上の左右輪郭近傍には歪みが殆ど生じていないことがわかる。
【００７８】
本実施形態における画像処理装置では、「基本原理」及び「湾曲平面正則画像への変換」の何れの変換方法も適用することができるが、以下に説明する例では、「湾曲平面正則画像への変換」を用いた場合について説明する。
【００７９】
また、上述した魚眼歪画像Ｓは、広角レンズ又は全方位ミラーを備えたカメラ（例えば、魚眼レンズカメラ）によって撮像されるものであるが、この魚眼レンズカメラが設置される方向と、補正方向との関係について図５を用いて説明する。
【００８０】
図５は、魚眼レンズカメラが設置される方向と、補正方向との関係を示す概念図である。
【００８１】
図５（Ａ）は、魚眼レンズカメラを横方向（例えば、Ｚ軸と正対する方向）に向けて配置した場合の補正方向を示す例である。約１８０度の広い画角の平面正則画像を得るためには、図５（Ａ）中の矢印方向に歪補正を行えばよい。
【００８２】
図５（Ｂ）は、魚眼レンズカメラを上方向（例えば、Ｚ軸と平行方向）に向けて配置した場合の補正方向を示す例である。約３６０度の広い画角の平面正則画像を得るためには、図５（Ｂ）中の矢印方向に歪補正を行えばよい。
【００８３】
即ち、魚眼レンズカメラを横方向に向けたときは図５（Ａ）で示すように矢印方向に補正することで約１８０度のパノラマ平面正則画像が生成できる。また、上方向に向けた場合は図５（Ｂ）の矢印方向に補正することで約３６０度のパノラマ平面正則画像を生成できる。
【００８４】
［２.画像処理装置の構成及び機能概要］
本実施形態に係る画像処理装置は、上述した広角レンズ又は全方位ミラーによって撮像された歪円形画像の一例としての魚眼歪画像の一部又は全部を切り出して、二次元的に視認可能な平面正則画像に変換する処理（以下、単に「変換」と総称する。）の他、当該平面正則画像上の任意の点を中心として、当該撮像された魚眼歪画像を、平面正則画像に再変換する処理（以下、単に「再変換」と称する。）を行う機能を有する。
【００８５】
このような機能を有する本実施形態に係る画像処理装置の構成及び機能概要について、図６等を用いて説明する。
【００８６】
図６は、本実施形態に係る画像処理装置の構成及び機能概要を示すブロック図である。
【００８７】
図６に示すように、画像処理装置ＳＳは、魚眼歪補正ユニット１（変換手段の一例）、補正パラメータ算出ユニット２、パラメータ入力ユニット３等を備えて構成されている。
【００８８】
魚眼歪補正ユニット１は、まず、上述した平面正則画像を構成する各画素情報に対応する魚眼歪画像における各画素情報が位置する対応座標を算出する処理を実行することをその機能の一つとし、当該機能を実行するために対応座標算出ユニット４、平面正則画像作成ユニット５、魚眼歪画像用メモリ６（歪円形画像記憶手段の一例）、平面正則画像用メモリ７（平面正則画像記憶手段の一例）等を備えて構成されている。
【００８９】
具体的には、魚眼補正ユニット１は、図示しない光学レンズによって１８０°の画角をもって周囲の被写体を撮影され、図示しないイメージセンサ等によって半径Ｒをもった歪曲円形画像の一例としての魚眼歪画像Ｓがデジタルデータとして変換されると、変換された魚眼歪画像Ｓは、魚眼歪画像用メモリ６へと格納される。魚眼補正ユニット１は、これを図示しない表示装置に表示可能な画素情報群としての平面正則画像Ｔに変換し、平面正則画像用メモリ７に格納する処理を行う。
【００９０】
魚眼歪画像用メモリ６は、一般的な画像データ格納用のバッファメモリによって構成されており、魚眼歪画像Ｓを、ＸＹ座標系上の座標（ｘ、ｙ）で示される位置に配置された多数の画素の集合体によって構成される画素情報群として格納する。この魚眼歪画像Ｓは、上述したように、ＸＹ座標系の原点Ｏを中心とし半径Ｒをもった画像となる。
【００９１】
平面正則画像用メモリ７は、一般的な画像データ格納用のバッファメモリによって構成されており、平面正則画像Ｔを、ＵＶ座標系上の座標（ｕ、ｖ）で示される位置に配置された多数の画素の集合体によって構成される画素情報群として格納する。平面正則画像Ｔの輪郭は、任意に設定することができる。なお、この平面正則画像用メモリ７に格納されている画素情報は、上述した平面正則画像Ｔ及び湾曲正則画像Ｃの双方に用いられる。
【００９２】
また、［１．魚眼歪画像の変換の原理］で述べた通り、ＵＶ座標系もＵＶ湾曲座標系も、Ｕ軸とＶ軸とを有する二次元座標系である点は共通しており、ＵＶ座標系上に定義される平面正則画像Ｔも、ＵＶ湾曲座標系上に定義される湾曲正則画像Ｃも、座標値（ｕ，ｖ）で示される位置に配置された多数の画素の配列から構成される点では共通する。したがって、平面正則画像用メモリ７内に格納された画素配列データに基づいて、平面上に画像を表示すれば平面正則画像Ｔが得られるが、円柱側面上に画像を表示すれば湾曲正則画像Ｃが得られることになる。従って、平面正則画像用メモリ７に格納される画素配列データ
それ自身は、平面正則画像Ｔ用のデータと言うこともできるし、湾曲正則画像Ｃ用のデータと言うこともできる。
【００９３】
対応座標算出ユニット４は、詳しくは後述する補正パラメータ算出ユニット２によって設定されたパラメータ（上述した式（３）〜式（８）のＡ〜Ｆの値やα、β、φ等）と、予め設定されている半径Ｒを用いて、詳しくは後述する平面正則画像作成ユニット５から与えられた平面正則画像上の任意の座標（ｕ、ｖ）に対応する魚眼歪画像Ｓ上の対応座標（ｘ、ｙ）を算出する。
【００９４】
即ち、対応座標算出ユニット４は、平面正則画像上の任意の座標（ｕ、ｖ）を与えると、これに対応する魚眼歪画像Ｓ上の対応座標（ｘ、ｙ）を平面正則画像作成ユニット５へ戻す機能を有している。この平面正則画像上の任意の座標（ｕ、ｖ）は、後述するｕｖ座標値発生部５１によって、出力される平面正則画像の画素分だけ発生されるようになっている。
【００９５】
より具体的には、対応座標算出ユニット４は、上述した基本原理における関係式（式（１）〜式（９））、又は湾曲平面正則画像への変換における関係式（式（１０）〜式（１３））に基づく演算により、座標（ｕ、ｖ）に対応する対応座標（ｘ、ｙ）を算出する機能を有しており、共通係数演算部４１、湾曲座標補正部４２、ｘｙ座標算出部４３を備えて構成される。
【００９６】
共通係数演算部４１は、パラメータ入力ユニット１００から倍率ｍが与えられ、平面
正則画像作成ユニット３００から座標ｖが与えられたときに、予め設定されている歪曲円
形画像の半径Ｒを用いて、上記式（９）で算出された値を上記Ｇへ代入し、共通係数Ｇを演算する処理を行う。
【００９７】
湾曲座標補正部４２は、平面上に定義された二次元ＵＶ直交座標系上の座標（ｕ、ｖ）を、円柱側面上に定義された二次元ＵＶ湾曲座標系上の座標（ｕ、ｖ）に補正するために必要な演算を行う機能を有し、パラメータ入力ユニット１００から倍率ｍが与えられ、平面正則画像作成ユニット３００から座標ｕが与えられたときに、予め設定されている魚眼歪画像の半径Ｒを用いて、式（９）、式（１０）及び式（１１）に基づいて、ｕ′およびｗ′を演算する処理を行う。
【００９８】
なお、基本原理における関係式（式（１）〜式（９））を用いる場合には、湾曲座標補正部４２は省略され、ｘｙ座標算出部４３には、ｕ´、ｖ、ｗ´に代わり、ｕ、ｖ、ｗが入力される。
【００９９】
ｘｙ座標算出部４３は、平面正則画像作成ユニット５から与えられた座標ｖ、補正パラメータ算出ユニット２から入力されたＡ〜Ｆ（式（３）〜式（８））、共通係数演算部４１が演算した共通係数Ｇ、湾曲座標補正部４２が演算したｕ′およびｗ′、ならびに
予め設定されている魚眼歪画像の半径Ｒを用いて、式（１２）及び式（１３）に基づいて、ｘおよびｙを演算し、これを平面正則画像作成ユニット５に出力する。
【０１００】
平面正則画像作成ユニット５は、ｘｙ座標算出部４３によって出力された値を用いて、平面正則画像を作成し、平面正則画像用メモリ７に記憶する処理を行う。より具体的には、まず、平面正則画像を構成する１つの着目画素の座標（ｕ、ｖ）を対応座標算出ユニット４に与えて対応座標（ｘ、ｙ）を算出させる。そして、魚眼歪画像用メモリ６に記憶された魚眼歪画像Ｓの対応座標（ｘ、ｙ）の近傍に配置された画素の画素値を読み出し、読み出した画素値に基づいて着目画素の画素値を決定する処理を、平面正則画像を構成する各画素について実行し、平面正則画像用メモリ７内に各画素の画素値を記憶することにより、平面正則画像を作成する。
【０１０１】
このような機能を実現するため、平面正則画像作成ユニット５は、ｕｖ座標値発生部５１、平面正則画像用メモリコントローラ５２（画面情報生成手段の一例）、画素値決定部５３、魚眼歪画像用メモリコントローラ５４を備えて構成される。
【０１０２】
ｕｖ座標値発生部５１は、出力する平面正則画像を構成する画素の数量分、ｕｖの値（座標値の値）を発生させる。例えば、出力する平面正則画像の大きさが、水平４００ドット×鉛直３００ドットであった場合には、ｕ＝−２００〜２００、ｖ＝−１５０〜１５０の値を出力する。
【０１０３】
平面正則画像用メモリコントローラ５２は、平面正則画像用メモリ７に対するデータの書き込みおよび読み出しを行う制御装置であり、画素値決定部５３によって特定の画素の画素値が決定した場合、平面正則画像用メモリ７に記憶される当該特定の画素に対して、決定した画素値を書き込む処理を行う。こうして、画素値を書き込む処理が全画素について完了すれば、平面正則画像用メモリ７内に、平面正則画像Ｔが作成されたことになる。そして、平面正則画像用メモリコントローラ５２は、この平面正則画像Ｔのデータを読み出して図示しない表示部に出力し、平面正則画像Ｔを表示画面上に表示させる処理を行うことになる。
【０１０４】
魚眼歪画像用メモリコントローラ５４は、魚眼歪画像用メモリ６に対するデータの書き込みおよび読み出しを行う制御装置である。上述したように、入力された魚眼歪画像Ｓのデータは、魚眼歪画像用メモリコントローラ５４によって、魚眼歪画像用メモリ６に記憶される。
【０１０５】
また、必要に応じて、魚眼歪画像用メモリコントローラ５４は、魚眼歪画像用メモリ６に記憶される魚眼歪画像Ｓのデータを読み出して表示装置に出力し、魚眼歪画像Ｓを表示画面上に表示させることもできる。
【０１０６】
更に、魚眼歪画像用メモリコントローラ５４は、対応座標算出ユニット４から、座標（ｘ、ｙ）が与えられた場合に、魚眼歪画像用メモリ６に記憶された魚眼歪画像Ｓのデータの中から、当該座標（ｘ、ｙ）の近傍に位置する画素の画素値を読み出し、これを画素値決定部５３に与える機能も果たす。
【０１０７】
このように構成された平面正則画像作成ユニット５が、魚眼歪画像Ｓから平面正則画像Ｔへ変換する処理を説明する。
【０１０８】
まず、ｕｖ座標値発生部５１が、平面正則画像Ｔを構成する画素配列上の特定の着目画素を示す座標（ｕ、ｖ）を発生させる。発生した座標（ｕ、ｖ）は、ｕｖ座標値発生部５１から対応座標算出ユニット４へ与えられる。これにより、座標（ｕ、ｖ）に対応する対応座標（ｘ、ｙ）が算出され、当該対応座標（ｘ、ｙ）は、魚眼歪画像用メモリコントローラ５４に与えられる。
【０１０９】
上述したとおり、魚眼歪画像用メモリコントローラ５４は、魚眼歪画像用メモリ６に記憶された魚眼歪画像Ｓのデータの中から、当該座標（ｘ、ｙ）の近傍に位置する画素の画素値を読み出し、これを画素値決定部５３に与える。
【０１１０】
魚眼歪画像Ｓは、二次元ＸＹ直交座標系上の座標（ｘ、ｙ）で示される位置に配置された多数の画素の集合体によって構成された画像であり、実際には、所定ピッチで縦横に配列された多数の格子点の位置に、それぞれ固有の画素値を定義したデジタルデータによって構成されている。このため、対応座標算出ユニット４によって算出された対応座標（ｘ、ｙ）の位置は、通常、複数の格子点の間の位置になる。
【０１１１】
従って、実際には、画素値決定部５３において、座標（ｕ、ｖ）で示される位置に配置された平面正則画像Ｔ上の着目画素の画素値を決定する際には、対応座標（ｘ、ｙ）で示される位置の近傍に配置された魚眼歪画像Ｓ上の複数の参照画素の画素値を読み出し、これら複数の参照画素の画素値に対する補間演算（例えば、公知のバイリニア補間法、バイキュービック・スプライン補間法等）が行われる。なお、そのような補間を行わずに、対応座標（ｘ、ｙ）で示される位置に最も近い画素の画素値をそのまま着目画素の画素値と決定する方法を採ることも可能である。
【０１１２】
このようにして、画素値決定部５３によって決定された着目画素の画素値は、平面正則画像用メモリコントローラ５２に入力される。一方、ｕｖ座標値発生部５１から平面正則
画像用メモリコントローラ５２には、発生させた座標（ｕ、ｖ）が入力される。
【０１１３】
そこで、平面正則画像用メモリコントローラ５２は、平面正則画像用メモリ７に記憶される平面正則画像Ｔの座標（ｕ、ｖ）に位置する着目画素の画素値として、画素値決定部５３によって決定された画素値を書き込む処理を実行する。
【０１１４】
このようにして１つの着目画素についての画素値を決定し、書き込まれる処理が行われるが、ｕｖ座標値発生部５１は、平面正則画像Ｔを構成する画素配列上のすべての画素を示す座標（ｕ、ｖ）を順次発生させ、個々の画素について、それぞれ画素値が決定され、平面正則画像用メモリ７内に記憶されるようになっている。
【０１１５】
パラメータ入力ユニット３は、キーボード、マウス、トラックボール、タッチパネル又は電子ペン等を備え、ユーザの操作に基づいて、表示装置に表示される魚眼歪画像Ｓ上又は上述した変換処理が行われた後の平面正則画像Ｔの一点を指定できるようになっている。
【０１１６】
より具体的には、上述した式（１）及び（２）又は式（１２）（１３）等を用いて対応座標を算出するためには、視線ベクトルｎ、平面傾斜角φ、倍率ｍという３つのパラメータが必要になる。パラメータ入力ユニット３は、ユーザの指示入力に基づいて、この３つのパラメータを入力する構成要素である。すなわち、パラメータ入力ユニット３は、三次元ＸＹＺ直交座標系において、原点Ｏを起点として任意の方向を向く視線ベクトルｎを、平面正則画像の切り出し位置を示すパラメータとして入力し、所定の平面傾斜角φを、平面正則画像の切り出し向きを示すパラメータとして入力し、所定の倍率ｍを、平面正則画像の補正サイズを示すパラメータとして入力する機能を果たす。
【０１１７】
なお、ここに示す実施形態の場合、表示装置には、必要に応じて、魚眼歪画像用メモリ６に格納されている魚眼歪画像Ｓを表示させることができるようになっている。そして、パラメータ入力ユニット３は、この表示装置に表示されている魚眼歪画像Ｓ上の１点を指定するユーザの入力指示を受け、当該１点の位置を切出中心点Ｐ（ｘ０，ｙ０）として把握し、これを視線ベクトルｎを示すパラメータとして入力を受け付け、補正パラメータ算出ユニット２へ出力するようになっている。
【０１１８】
補正パラメータ算出ユニット２は、補正パラメータ算出部２１（選択指示受付手段の一例）及び対応座標算出ユニット２２（対応座標特定手段の一例）を備えて構成される。
【０１１９】
補正パラメータ算出部２１は、パラメータ入力ユニット３から視線ベクトルｎおよび平面傾斜角φが与えられたときに、視線ベクトルｎに基づいて方位角αおよび天頂角βを求め、式（３）〜（８）に基づいて回転係数Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆを算出する。
【０１２０】
上述したように、本実施形態における画像処理装置は、上述した魚眼歪画像Ｓから変換された平面正則画像Ｔ上の任意の点を中心として、魚眼歪画像用メモリ６に記憶された魚眼歪画像Ｓを、平面正則画像Ｔに再変換する処理を行う機能を有する。
【０１２１】
この再変換を実現するために、補正パラメータ算出部２１、対応座標算出ユニット２２及び魚眼歪補正ユニット１（再変換手段の一例）が備えられている。
【０１２２】
上述した変換によって得られた平面正則画像Ｔを、表示装置に表示するためには、当該表示装置の表示可能領域まで平面正則画像Ｔを縮小して表示しなければならない場合が多い。従って、表示された平面正則画像Ｔは、原画像を縮小するため画素情報を一部間引いて表示させている。
【０１２３】
このような画素情報が一部間引かれた平面正則画像Ｔに対して、所定の範囲を切り出して表示させたり、拡大して表示させた場合（即ち、平面正則画像Ｔの詳細画像を表示させる場合）には、ブロック歪み（ブロックノイズ）が生じ、画像に示される被写体の識別性を著しく損なう結果となる。
【０１２４】
このブロック歪みとは、ブロックノイズとも称され、映像において画像の一部領域がモザイク状に見える現象をいう。
【０１２５】
ここで、平面正則画像Ｔの詳細画像においてブロックノイズが生じた例について、図７を用いて説明する。
【０１２６】
図７は、平面正則画像Ｔの詳細画像においてブロックノイズが生じた例を示す概念図である。なお、図７（Ａ）の上図及び図７（Ｂ）の上図における十字記号は、所定の範囲を切り出して表示させるためにパラメータ入力ユニット３によって指示が与えられた部位（例えば、ポインティングデバイスによる指示）を示す。
【０１２７】
図７（Ａ）の上図に示す例では、基本原理を用いて魚眼歪画像Ｓを平面正則画像Ｔに変換した例を示しており、図７（Ａ）の下図に示す例では、変換後の平面正則画像Ｔの一部を切り出して表示した例を示している。
【０１２８】
図７（Ａ）の下図に示す例では、切り出して表示された平面正則画像Ｔに示される被写体にはブロックノイズが生じ、当該被写体の輪郭部が激しく歪んでいる様子がわかる。
【０１２９】
図７（Ｂ）の上図に示す例では、湾曲平面正則画像への変換を用いて魚眼歪画像Ｓを平面正則画像Ｔに変換した例を示しており、図７（Ｂ）の下図に示す例では、変換後の平面正則画像Ｔの一部を切り出して表示した例を示している。
【０１３０】
図７（Ｂ）の下図に示す例では、切り出して表示された平面正則画像Ｔに示される被写体にはブロックノイズが生じ、当該被写体の輪郭部が激しく歪んでいる様子がわかる。
【０１３１】
この魚眼歪画像Ｓから平面正則画像Ｔへ変換する目的は、魚眼歪画像Ｓでは歪が強く発生するため、撮像された物体を監守し易い平面正則画像Ｔに変換して、ユーザに提示することにある。そして、さらに監守を続けたり、平面正則画像Ｔに撮像された物体についてより詳細な情報を得るためには、当該平面正則画像Ｔに撮像された物体の所定の範囲を切り出して表示させたり、拡大して表示させたりすることが望まれる。さらに、上記平面正則画像Ｔに物体認識技術を適用し、人為的な動作を与えることなく魚眼歪画像上に示される物体を正確に認識することが望まれる。
【０１３２】
しかし、ユーザは、上述したブロックノイズが発生した画像では詳細な情報を得ることが困難であり、かつ、上記物体認識技術を適用することは困難である。
【０１３３】
そこで、本実施形態における画像処理装置ＳＳは、補正パラメータ算出部２１、対応座標算出ユニット２２及び魚眼歪補正ユニット１を用いて、上述した再変換を行うようになっている。
【０１３４】
この再変換の詳細について、図８〜図１０を用いて説明する。
【０１３５】
図８〜図１０は、再変換の詳細について説明する概念図である。
【０１３６】
この再変換においては、基本原理を用いた変換方法、及び湾曲平面正則画像への変換を用いた変換方法の何れの変換方法も適用することができるが、以下には、湾曲平面正則画像への変換を用いた変換方法について説明する。
【０１３７】
まず、上述した処理によって、変換処理、即ち魚眼歪画像Ｓから湾曲平面正則画像Ｃへ変換され表示部に当該湾曲平面正則画像が表示されている場合を考える。ここでは、図８に示すように、Ｐ（ｘｏ、ｙｏ）を切り出し中心とした湾曲平面正則画像Ｃが表示されているものとする。この切り出し中心Ｐ（ｘｏ、ｙｏ）は、ユーザのパラメータ入力ユニット３の操作に基づいて指定されたものでも構わないし、画像処理装置ＳＳによって予め設定された位置に基づいて指定されたものでも構わない。
【０１３８】
ユーザは、パラメータ入力ユニット３の操作に基づいて、湾曲平面正則画像Ｃの任意の点を選択することができる。当該任意の位置の一例としては、ユーザが湾曲平面正則画像Ｃに表示された物体のうち詳細な情報を得ることを望む点であっても構わないし、例えば物体認識技術を適用して所定の物体が認識された場合であって当該物体の重心位置であっても構わない。
【０１３９】
図８に示す例では、既に、点Ｇを中心とした平面正則画像が変換されている。この動作についてはすでに説明したが、魚眼歪画像Ｓ上で平面正則画像の中心（点Ｐ）が指定され、点Ｐに対応する仮想球面上の点Ｑが決定され、点Ｑからα、βが算出されている。そして、補正画像の傾斜角φが指定され、式（３）〜（８）を用いて係数Ａ〜Ｆが算出されている。このＡ〜Ｆを用いて魚眼歪画像と平面正則画像の対応座標が算出され、点Ｇを中心とした平面正則画像が得られている。
【０１４０】
図８に示す例では、さらに、上記任意の点として、Ｃｉ（ｕｉ、ｖｉ）が選択されたものとする。
【０１４１】
パラメータ入力ユニット３は、Ｃｉ（ｕｉ、ｖｉ）の入力を受け付けると、当該入力された情報を補正パラメータ算出部２１へ出力する。具体的には、パラメータ入力ユニット３は、ユーザの指示入力に基づいて、視線ベクトルｎ、平面傾斜角φ、倍率ｍの３つをパラメータとして、補正パラメータ２１へ出力する。
【０１４２】
補正パラメータ算出部２１は、パラメータ入力ユニット３によって指定された魚眼歪画像Ｓ上の一点の入力（Ｃｉ（ｕｉ、ｖｉ）の入力）を受け付けると、魚眼歪画像Ｓ上で指定した一点から、倍率ｍ、魚眼歪画像の半径Ｒ、及びＡ〜Ｆ（式（３）〜式（８））を算出し、対応座標算出ユニット２２へ出力する。
【０１４３】
対応座標算出ユニット２２は、入力された倍率ｍ、魚眼歪画像の半径Ｒ、及びＡ〜Ｆ（式（３）〜式（８））と、式（１２）及び（１３）を用いて、Ｃｉ（ｕｉ、ｖｉ）の対応座標としての魚眼歪画像Ｓ上の点Ｓｉ（ｘｉ、ｙｉ）を算出する。
【０１４４】
即ちここでは、対応座標算出ユニット２２は、湾曲平面正則画像Ｃ上の画素情報に対応する魚眼歪画像Ｓ上の画素情報を特定している。
【０１４５】
具体的には、対応座標算出ユニット２２は、Ｃｉ（ｕｉ、ｖｉ）を切り出し中心として、当該切り出し中心に対応する魚眼歪画像Ｓ上の点を特定する。
【０１４６】
すなわち、図９に示すように、点Ｓｉ（ｘｉ、ｙｉ）に対応する仮想球面上の点Ｑｉを決定し、点Ｑｉからα´、β´を算出する。そして補正画像の傾斜角φ´を指定し、新たな係数Ａ〜Ｆ（式（３）〜式（８）を用いて）を算出する。そして、Ｃｉ（ｕｉ、ｖｉ）の対応座標としての魚眼歪画像Ｓ上の点Ｓｉ（ｘｉ、ｙｉ）を算出し、これらの情報を魚眼歪補正ユニット１へ出力する。
【０１４７】
そして、魚眼歪補正ユニット１（再変換手段の一例）は、図１０に示すように（即ち、上述した変換と同様に）、Ｃｉ（ｕｉ、ｖｉ）を中心として、平面正則画像Ｔを構成する画素配列上のすべての画素を示す座標（ｕ、ｖ）を順次発生させ、個々の画素について、それぞれ画素値が決定され、平面正則画像用メモリ７内に記憶されるようになっている。
【０１４８】
このようにして、画像処理装置ＳＳによって、点Ｃｉ（ｕｉ、ｖｉ）を中心とした平面正則画像が得られることとなる。
【０１４９】
ここで、上述した再変換が行われた場合に表示される表示画面例について、図１１及び図１２を用いて説明する。
【０１５０】
図１１は、基本原理を用いて変換された平面正則画像が再変換された場合の表示画面例について示す図であり、図１２は、湾曲平面正則画像への変換を用いて変換された平面正則画像が再変換された場合の表示画面例について示す図である。
【０１５１】
図１１（Ａ）には、基本原理を用いて変換された平面正則画像において、任意の点が選択された様子が示されている。図中の十字記号は、パラメータ入力ユニット３によって任意の点の指示が与えられた部位（例えば、ポインティングデバイスによる指示）を示す。
【０１５２】
図１１（Ｂ）には、上記任意の点を中心とした所定の範囲内の魚眼歪画像Ｓの対応座標が算出される様子を示す概念図が示されている。この所定の範囲内は、ＵＶ座標値発生部５１の動作により任意に設定することができる。この所定の範囲を広く設定することによって、再変換後の平面正則画像のレイアウトサイズが大きくなる（即ち、平面正則画像を構成する画素の数が増加する）。
【０１５３】
具体的な動作としては、上述したとおりであるが、図１１（Ａ）で指定した位置を歪み補正時の角度α、β、φと式（１）、（２）から魚眼歪画像内の対応する位置を算出する。算出した位置を中心とした魚眼歪画像内の切り出し領域（変換する予定の領域）を点線で示す。図中の十字記号は、は図１１（Ａ）の注目位置の魚眼歪画像に対応する位置を示す。魚眼歪画像Ｓの図中の十字記号の位置から新たな角度α´、β´、φ´を算出し、係数Ａ〜Ｆを更新（算出）する。新たな係数Ａ〜Ｆと式（１）、（２）を用いて再度歪み補正を行い切り出し補正画像を生成する。
【０１５４】
図１１（Ｃ）には、再変換された平面正則画像が表示されている。図１１（Ｂ）の点線で示された領域が再変換され表示されている。
【０１５５】
図１２（Ａ）には、湾曲平面正則画像への変換を用いて変換された湾曲平面正則画像において、任意の点が選択された様子が示されている。図中の十字記号は、上述した図１１と同様である。
【０１５６】
図１２（Ｂ）には、上記任意の点を中心とした所定の範囲内の魚眼歪画像Ｓの対応座標が算出される様子を示す概念図が示されている。
【０１５７】
具体的な動作としては、上述したとおりであるが、図１２（Ａ）で指定した位置を歪み補正時の角度α、β、φと式（１２）、（１３）から魚眼歪画像内の対応する位置を算出する。算出した位置を中心とした魚眼歪画像内の切り出し領域を点線で示す。図中の十字記号は、は図１２（Ａ）の注目位置の魚眼歪画像に対応する位置を示す。魚眼歪画像Ｓの図中の十字記号の位置から新たな角度α´、β´、φ´を算出し、係数Ａ〜Ｆを更新（算出）する。新たな係数Ａ〜Ｆと式（１２）、（１３）を用いて再度歪み補正を行い切り出し補正画像を生成する。
【０１５８】
図１２（Ｃ）には、再変換された平面正則画像が表示されている。図１２（Ｂ）の点線で示された領域が再変換され表示されている。
【０１５９】
本実施形態の画像処理装置ＳＳは、以上のように構成することによって、広範囲な画角で撮像された魚眼歪画像Ｓに基づいて正確かつ実効的な物体認識を行うことができる。なぜならば、湾曲平面正則画像Ｃ内の注目領域の位置を中心として魚眼歪画像Ｓから再び歪み補正し表示するため、湾曲平面正則画像Ｃのモニタ表示時の縮小操作による画質劣化の影響は受けないからである。切り出し補正画像をデジタルズームした場合に、これらの切り出し手法の違いは画質の差となり顕著に表れることとなる。さらに、歪み補正の適用により湾曲平面正則画像Ｃが得られるため、従来の認識技術が適用可能であり、認識により自動での注目領域の指定ができる。そのため、監視対象の自動追尾が可能である。そのうえ、人が常に監視する必要がないため、操作ミス等も回避可能である。さらに、複数点の切り出し補正画像を表示可能であるため、複数の監視対象が点在する場合にも対応できる。
【０１６０】
なお、上述した魚眼補正ユニット１、補正パラメータ算出ユニット２、及びパラメータ入力ユニット３の一部又は全部の機能を実現するために、魚眼補正ユニット１、補正パラメータ算出ユニット２、及びパラメータ入力ユニット３の一部又は全部に、各処理を実行するために設計された専用のハードウェアを適用することができる（所謂、ハードウェアアクセラレーション）。魚眼補正ユニット１等を専用のハードウェアで実現することによって、当該ハードウェア内では回路の並列性を活かして演算を並列に行うことができるため、逐次的な命令実行（例えば、ＣＰＵによるソフトウェアの実行）の場合より処理の高速化等が実現されるからである。なお、ソフトウェアの制御のもと、画像処理装置ＳＳに搭載される図示しないＣＰＵ、ＲＡＭ，及びＲＯＭ等の制御装置が、魚眼補正ユニット１、補正パラメータ算出ユニット２、及びパラメータ入力ユニット３の一部又は全部が有する機能を実行するようにできることはいうまでもない。
【０１６１】
また、本発明に係る画像処理装置は、魚眼レンズを用いた撮影により得られた魚眼歪画像の一部分を平面正則画像に変換する機能をもった装置であるが、この装置による変換対象となる画像は、魚眼レンズを用いた撮影で得られた画像のみに限定されるものではない。たとえば、凸面鏡を用いた撮影画像など、魚眼レンズと同等の半球面射影モデルが適用される画像であれば、本発明に係る画像処理装置を利用した画像変換が可能である。
【０１６２】
［３.画像処理装置ＳＳの動作］
次に、画像処理装置ＳＳの動作について、図１３を用いて説明する。
【０１６３】
図１３は、画像処理装置ＳＳの動作を示すフローチャートである。
【０１６４】
まず、魚眼歪画像Ｓを変換して平面正則画像Ｔ又は、湾曲平面正則画像Ｃ（以下、「平面正則画像等」と総称する。）を表示部へ表示させるために、上述した変換を行うべく、ユーザのパラメータ入力ユニット３の操作に基づいて、あるいは、画像処理装置ＳＳに予め設定された値を用いて、魚眼歪画像Ｓの切り出し中心Ｐ（ｘｏ、ｙｏ）が選択されると（ステップＳ１）、これらの選択された情報を上記パラメータとして補正パラメータ算出部２１へ出力する。
【０１６５】
補正パラメータ算出部２１補正パラメータ算出部２１は、パラメータ入力ユニット３から視線ベクトルｎおよび平面傾斜角φが与えられたときに、視線ベクトルｎに基づいて方位角αおよび天頂角βを求め、式（３）〜（８）に基づいて回転係数Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆを算出し（ステップＳ２）、魚眼歪補正ユニット１へ出力する。
【０１６６】
すると、魚眼歪補正ユニット１は、補正パラメータ算出部２１から入力された算出結果（α、β、φ等）を用いて、上述した魚眼歪画像Ｓから平面正則画像等へ変換を行い、平面正則画像用メモリコントローラ５２は、当該平面正則画像等を表示画面上に表示させる（ステップＳ４）。
【０１６７】
次に、ユーザが、パラメータ入力ユニット３の操作に基づいて、表示されている平面正則画像等の任意の点Ｃｉ（ｕｉ、ｖｉ）を指定した場合には（ステップＳ５：ＹＥＳ）、対応座標算出ユニット２２は、点Ｓｉ（ｘｉ、ｙｉ）に対応する仮想球面上の点Ｑｉを決定し、点Ｑｉからα´、β´を算出する。そして補正画像の傾斜角φ´を指定し、新たな係数Ａ〜Ｆ（式（３）〜式（８）を用いて）を算出する。そして、Ｃｉ（ｕｉ、ｖｉ）の対応座標としての魚眼歪画像Ｓ上の点Ｓｉ（ｘｉ、ｙｉ）を算出し、これらの情報を魚眼歪補正ユニット１へ出力する（ステップＳ６及びステップＳ７）。
【０１６８】
ステップＳ８において、魚眼歪補正ユニット１は、対応座標算出ユニット２２から入力された情報に基づいて、点Ｃｉ（ｕｉ、ｖｉ）を中心とした平面正則画像を生成する（即ち、α´、β´、φ´を用いて歪補正を実施）。
【０１６９】
そして、平面正則画像用メモリコントローラ５２は、再変換された当該平面正則画像等を表示画面上に表示させる（ステップＳ９）。
【０１７０】
［４.再変換された平面正則画像等の表示態様］
次に、再変換された平面正則画像等の表示態様について、図１４〜図１６を用いて説明する。
【０１７１】
本実施形態の画像処理装置は、複数の平面正則画像等の任意の点Ｃｉ（ｕｉ、ｖｉ）を指定して、再変換を行い、変換後の平面正則画像等を表示部へ表示させることができる。
【０１７２】
具体的には、例えば、上記任意の点Ｃｉ（ｕｉ、ｖｉ）を指定するたびに、当該指定された点Ｃｉ（ｕｉ、ｖｉ）に対応する魚眼歪画像Ｓ上の点Ｓｉ（ｘｉ、ｙｉ）を算出し、点Ｃｉ（ｕｉ、ｖｉ）を中心とした平面正則画像（本願の画面情報の一例）を生成する。そして、生成された平面正則画像を、並べて表示部へ表示させるようにしてもよい。
【０１７３】
なお、この平面正則画像は、上述した変換と同様、平面正則画像用メモリコントローラ５２によって生成されるようにしてもよい。
【０１７４】
図１４は、任意の点Ｃｉ（ｕｉ、ｖｉ）が指定される都度再変換された平面正則画像等が並べて表示された画面例を示す図である。図１４における破線部は、再変換する対象として選択されたことを示している。
【０１７５】
図１４（Ａ）には、上記任意の点Ｃｉ（ｕｉ、ｖｉ）として、Ｃ氏及びＥ氏が順次指定された様子が示されている。
【０１７６】
図１４（Ｂ）には、生成された平面正則画像が並べて表示されている。図１４（Ｂ）に示す例では、カメラと被写体たる人物の距離の関係でＦ氏がＣ氏より大きく見えている。
【０１７７】
図１４（Ｃ）では、Ｆ氏の表示のみを縮小しＣ氏とＦ氏の大きさを合わせた場合の表示例が示されている。このように、被写体の表示サイズを変更するには、上述した倍率ｍを変更すればよい。
【０１７８】
倍率ｍを変更する手段については、図示しないＣＰＵの制御の元、補正パラメータ算出部２１に算出させるようにしてもよいし、その他、例えば図６に示すブロック図に、表示制御ユニットを新たに設けて、当該ユニットに実行させるようにしてもよい。また、表示制御手段の一例としての平面正則画像用メモリコントローラ５２によって実行させることもできる。
【０１７９】
図１４（Ｄ）では、再変換される平面正則画像Ｔの領域を拡大してＣ氏が表示された画面（左側のウインドサイズ）のみを大きくした（即ち、表示領域を拡大した）場合の表示例が示されている。この表示領域を拡大するためには、上述したｕｖ座標発生部５１によって、上記拡大させた表示領域分の座標（ｕ、ｖ）を発生させればよい。そして、発生した座標（ｕ、ｖ）は、ｕｖ座標値発生部５１から対応座標算出ユニット４へ与えられ、座標（ｕ、ｖ）に対応する対応座標（ｘ、ｙ）が算出され、平面正則画像が再変換されることとなる。
【０１８０】
図１４（Ｄ）で示されるＣ氏の表示領域は、図１４（Ｂ）においてＣ氏が表示された表示領域よりも拡大されている。従って、図１４（Ｄ）で示されるＣ氏の表示領域には、図１４（Ｂ）では表示されることがない、Ｂ氏及びＤ氏の肩まで表示されていることがわかる。
【０１８１】
また、図１４（Ｅ）では、上記倍率ｍの増加、及び表示領域の拡大を併せて実行した結果、Ｆ氏の表示領域及びＦ氏の表示サイズがそれぞれ拡大された例が示されている。
【０１８２】
このように表示させることによって、当該表示領域に表示される被写体について、より詳細な画像を得ることができる。
【０１８３】
次に、再変換された平面正則画像等に表示される被写体を物体認識技術を用いて認識し、当該認識された被写体の所定の位置を、上記任意の点Ｃｉ（ｕｉ、ｖｉ）として、再変換して表示させた例について、図１５を用いて説明する。
【０１８４】
図１５は、物体認識技術を用いて再変換させた表示例を示す図である。
【０１８５】
物体認識技術については公知の技術であるため詳しい説明は省略するが、例えば上述した物体認識技術として一般的に知られているパターンマッチング法や、特徴点抽出法によりまず物体を認識する。そして認識した物体のうち予め設定された点（例えば物体の重心位置等）を上記任意の点Ｃｉ（ｕｉ、ｖｉ）として、再変換して表示するようにしてもよい。この物体認識を行う構成は、例えば、図６に示される構成例に、ＣＰＵ等から構成される物体認識手段を加えるように構成する。
【０１８６】
図１５（Ａ）には、平面正則画像内の矩形の実線は物体認識により、人物の顔が認識されたイメージを示している。点線は、対応する魚眼歪画像Ｓの切り出し領域を示す。切り出し領域を示す。
【０１８７】
図１５（Ｂ）には、再変換された表示例（即ち、切り出し補正画像表示例）が示されている。図１５（Ｂ）に示すように、複数対象が存在する場合も対応できる。また、対象が移動した場合でも認識により自動追尾できるようになっている。このような自動追尾は、上記特徴点抽出法によって、オプティカルフローを算出し、公知の追跡処理を行うことにより実現可能である。
【０１８８】
再変換される画像は、ポインティングデバイスによって（即ち、人為的動作に基づく指定により）上記任意の点Ｃｉ（ｕｉ、ｖｉ）が複数選択されたものであってもよい。
【０１８９】
図１６には、ポインティングデバイスによって（即ち、人為的動作に基づく指定により）上記任意の点Ｃｉ（ｕｉ、ｖｉ）が複数選択された様子が示されている。
【０１９０】
図１６（Ａ）には、切り出し領域として平面正則画像内の点線矩形領域が、十字記号はポインティングデバイスによって指定されたことを示す記号（ポインティングマーカ）を示す。
【０１９１】
図１６（Ｂ）には、再変換された表示例（切り出し補正画像表示例）が示されている。
このようにポインティングデバイスで指定した切り出し領域を新規ウインドに表示することで複数対象が存在する場合も対応できる。また、新規ウインドへの切り出し補正画像表示のみでなく、指定ウインドに注目位置を更新した切り出し補正画像を表示することができる。監視対象が移動した場合でも手動で切り出し領域を更新することで追尾できる。
【０１９２】
［５.監視カメラシステムへの適用例］
次に、画像処理装置ＳＳを監視カメラシステムへ適用させた例について、図１７を用いて説明する。
【０１９３】
図１７は、画像処理装置ＳＳを監視カメラシステムへ適用させた例を示す概念図である。
【０１９４】
本実施形態における画像処理装置ＳＳには、図６に示す構成に加えて、魚眼レンズ（広角レンズ又は全方位ミラー等でもよい）を搭載したデジタルカメラ（画像処理装置ＳＳへ魚眼歪画像を出力できる装置であればよい）、表示装置の他、上記変換された平面正則画像に示される特定の物体を認識する物体認識手段と、当該認識した物体が平面正則画像で示す継時的な変化を、前記各平面正則画像毎に認識する動作認識手段をさらに加えて構成される。そして、動作認識手段によって認識された前記各平面正則画像毎の物体上の任意の点に対応する魚眼歪画像上の画素情報を特定し、当該特定された位置に基づいて再変換するようになっている。この物体認識手段及び動作認識手段は、ＣＰＵ等に実現させるようにするようにしてもよい。
【０１９５】
図１７（Ａ）には魚眼歪画像が、図１７（Ｂ）には上記変換された平面正則画像（即ち、画像処理装置ＳＳによって魚眼歪画像から生成した平面正則画像）がそれぞれ表示されている。
【０１９６】
図１７（Ａ）に示すように、魚眼歪画像は、その画像の中心部から離れるにつれて歪みが強く発生するため、従来の物体認識技術との併用は困難であることはすでに述べた。そして、図１７（Ｂ）に示す平面正則画像は、広い画角に対して正則な人物を表示することができるため、従来の物体認識技術との併用が可能であることもすでに述べた。
【０１９７】
そこで、本監視カメラシステムは、平面正則画像に対して物体認識技術を適用することで監視対象の自動位置検出をし、当該検出した監視対象を継続的に監視することを可能としている。
【０１９８】
具体的には、図１７（Ｃ）に示すように、本発明の適用により平面正則画像で自動検出した監視対象位置に対応する魚眼歪画像上での監視対象位置を、継時的（継続的に）に算出することができる。魚眼歪画像上での監視対象位置を切り出し補正画像の中心にすること（即ち、上記再変換を行うこと）で、監視対象の自動追尾が可能である。
【０１９９】
この図１７（Ｃ）について、具体的に説明すると、図１７（Ｃ）（１）〜（４）の上部に示す図は変換後の平面正則画像である（図１７（Ｃ）では、（１）〜（４）の順に人が右から左へと移動している状態を示している）。
【０２００】
平面正則画像上で検出した位置の魚眼歪画像（中部の図）に対応する位置を上記再変換により算出する。下部の図は魚眼歪画像上の算出した監視対象の位置を中心とした切り出し補正画像（即ち、再変換した平面正則画像）を示す。物体認識技術により自動で検出した監視対象の位置を切り出し補正画像の中心位置（即ち、上記任意の点Ｃｉ（ｕｉ、ｖｉ））に更新し続け、当該中心位置を基準に再変換した画像を表示することで監視対象の自動追尾が可能である。
【０２０１】
［６.ＴＶ会議システムへの適用例］
次に、画像処理装置ＳＳを監視カメラシステムへ適用させた例について、図１８及び図１９を用いて説明する。
【０２０２】
図１８は、魚眼レンズカメラを横向きに設置した場合の画像処理装置ＳＳをＴＶ会議室システムへ適用させた例を示す概念図であり、図１９は、魚眼レンズカメラを天頂方向へ向けて設置した場合の画像処理装置ＳＳをＴＶ会議室システムへ適用させた例を示す概念図である。
【０２０３】
本実施形態における画像処理装置ＳＳには、図６に示す構成に加えて、魚眼レンズ（広角レンズ又は全方位ミラー等でもよい）を搭載したデジタルカメラ（画像処理装置ＳＳへ魚眼歪画像を出力できる装置であればよい）、表示装置の他、上記物体認識手段をさらに加えて構成される。この物体認識手段は、ＣＰＵ等に実現させるようにするようにしてもよい。
【０２０４】
図１８（Ａ）には、横方向に向けた魚眼レンズカメラを会議室に設置した例の概略図が示されている。この場合、例えば、魚眼レンズカメラは壁などに設置され、被写体たる人間と正対する方向に設置される。
【０２０５】
図１８（Ｂ）には、本システムにおいて変換された平面正則画像が示されている。図１８（Ｂ）に示すように約１８０度の広い画角の平面正則画像が得られるため、１台の魚眼レンズカメラで複数の会議参加者を表示することができる。
【０２０６】
図１８（Ｃ）には、物体認識技術を適用して会議参加者（人物）を認識し、そして認識した人物のうち予め設定された点（例えば人物の重心位置等）を上記任意の点Ｃｉ（ｕｉ、ｖｉ）として、再変換して平面正則画像が表示された例が示されている。
【０２０７】
平面正則画像として、会議参加者を分割ウインドで表示することで詳細を複数点同時に観察することができる。
【０２０８】
また、図１８（Ｄ）に示すように、各ウインド内の画像の拡大縮小の倍率を個別に変更することで、カメラとの距離にかかわらず人物の大きさを統一して表示することができる。
【０２０９】
なお、魚眼レンズカメラが横方向に向けられた場合には、上述した図５（Ａ）の向きで魚眼歪補正が行われることとなる。
【０２１０】
また、図１９（Ａ）には、天頂方向へ向けた魚眼レンズカメラを会議室に設置した例の概略図が示されている。この場合、例えば、魚眼レンズカメラはテーブルの上に天井へ向けて設置され、被写体たる人間と平行に設置される。
【０２１１】
図１９（Ｂ）には、本システムにおいて変換された平面正則画像が示されている。図１９（Ｂ）に示すように約３６０度の広い画角の平面正則画像が得られるため、１台の魚眼レンズカメラで全ての会議参加者を表示することができる。
【０２１２】
図１９（Ｃ）には、物体認識技術を適用して会議参加者（人物）を認識し、そして認識した人物のうち予め設定された点（例えば人物の重心位置等）を上記任意の点Ｃｉ（ｕｉ、ｖｉ）として、再変換して平面正則画像が表示された例が示されている。
【０２１３】
平面正則画像として、会議参加者を分割ウインドで表示することで詳細を複数点同時に観察することができる。
【０２１４】
［７.パンチルトズームカメラへの適用例］
次に、画像処理装置ＳＳをパンチルトズームカメラへ適用させた例について、図２０及び図２１を対比させて説明する。
【０２１５】
図２０は、画像処理装置ＳＳをパンチルトズームカメラへ適用させた場合のブロック図を示し、図２１は、像処理装置Ｓをパンチルトズームカメラへ適用させた場合の概念図を示す。
【０２１６】
図２０に示すように、画像処理装置ＳＳをパンチルトズームカメラへ適用させた場合のブロック図では、先に示した画像処理装置ＳＳのブロック図に、魚眼レンズ（広角レンズ又は全方位ミラー等でもよい）を搭載したデジタルカメラ（魚眼カメラ。画像処理装置ＳＳへ魚眼歪画像を出力できる装置であればよい）と、パンチルトズームカメラ１００（本願の監視カメラ）及び魚眼レンズカメラとパンチルトズームカメラの対応座標算出ユニット１０１（本願の位置制御手段の一例）を加えて構成される。
【０２１７】
パンチルトズームカメラ１００は、水平方向、垂直方向にカメラのレンズの向きを駆動可能な機構部と、光学ズーム機構を備えたカメラである。
【０２１８】
魚眼レンズカメラとパンチルトズームカメラの対応座標算出ユニット１０１は、パンチルトズームカメラ１００を所定の方向へ位置制御させるための制御信号を、パンチルトズームカメラ１００へ出力する。当該制御信号の入力により、パンチルトズームカメラ１００の駆動部は、制御信号に示される位置へ駆動するようになっている。
【０２１９】
図２１（Ａ）は、画像処理装置ＳＳをパンチルトカメラへ適用させた場合の概念図を示す。図２１（Ａ）に示すように、魚眼カメラとパンチルトズームカメラは互いに情報を送受信可能に接続されている。
【０２２０】
パンチルトズームカメラ１００は、歪みの少ない画像を撮像できるが（即ち、視認性の高い画像を撮像できる）、画角が狭く、またパンチルトにより死角が発生することが一般的に知られている。そこで、本実施形態では、画像処理装置ＳＳをパンチルトズームカメラ１００へ適用させて、画角の広い魚眼レンズで撮像された画像から監視対象を把握し、パンチルトズームカメラ１００によって監視対象を視認性の高い画像で撮像するようになっている。
【０２２１】
本実施形態の動作を実現するために、魚眼レンズカメラとパンチルトズームカメラの対応座標算出ユニット１０１は、魚眼カメラで算出した監視対象の位置情報をパンチルトズームカメラ１００に送信し、パンチルトズームカメラの制御を行うようになっている。
【０２２２】
当該制御の概念について、図２１（Ｂ）〜図２１（Ｅ）を用いて説明する。
【０２２３】
図２１（Ｂ）の左図は魚眼カメラによって撮像された魚眼歪画像を示し、図２１（Ｂ）の右図はパンチルトズームカメラ１００によって撮像された平面正則画像を示す。これらの撮像中心を比較すると、それぞれのカメラの設置位置により座標系の中心に差が生じているのがわかる。魚眼レンズカメラとパンチルトズームカメラの対応座標算出ユニット１０１は、魚眼カメラによって撮像された魚眼歪画像の撮像中心（第１の撮像中心の一例）と、パンチルトズームカメラ１００によって撮像された平面正則画像の撮像中心（第２の撮像中心）の差（以下、「中心位置の差」と称する。）を算出する。中心位置の差は、予め記憶するようにしてもよい。
【０２２４】
また、魚眼レンズによって撮像される画角は予め決められているため、撮像中心から撮像された画像内に存在する物体の現実の距離（以下、「魚眼カメラから得た位置情報」とする。）を把握することができる。同様に、パンチルトズームカメラ１００によって撮像される画角もあらかじめ決められているため、撮像中心から撮像された画像内に存在する物体の現実の距離（以下、「パンチルトズームカメラ１００の位置情報」とする。）を把握することができる。
【０２２５】
本実施形態では、上記中心位置の差と、魚眼カメラから得た位置情報及びパンチルトズームカメラ１００の位置情報に基づいて、パンチルトズームカメラ１００の撮像中心を設定するための距離情報を算出し、当該距離情報が示す位置にパンチルトズームカメラ１００の撮像中心を移動させるための制御信号をパンチルトズームカメラ１００へ出力するようになっている。
【０２２６】
そこで、魚眼レンズカメラとパンチルトズームカメラの対応座標算出ユニット１０１は、魚眼歪画像が変換され平面正則画像が表示されている場合に（図２１（Ｃ））、当該平面正則画像で監視対象が選択（ポインティングデバイスによる選択又は物体認識技術による認識を含む）された場合には（図２１（Ｄ））、上述した再変換の中心座標Ｃｉとして選択された監視対象の所定の位置（例えば重心等）に対応する魚眼歪画像の座標Ｓｉを算出する。
【０２２７】
そして、魚眼レンズカメラとパンチルトズームカメラの対応座標算出ユニット１０１は、上記中心位置の差と、Ｓｉの魚眼カメラから得た位置情報を距離情報として算出し、算出された距離情報に基づいて、魚眼カメラから得た位置情報及び上記Ｓｉがパンチルトズームカメラ１００の撮像中心となるように、パンチルトズームカメラ１００の駆動部へ制御信号を送信する。
【０２２８】
すると、パンチルトズームカメラ１００はパンチルトズームを行うことで監視対象を撮像する（図２１（Ｅ））。本発明とパンチルトズームカメラを併用することでパンチルトズームカメラの効率的な制御が可能である。
【０２２９】
次に、画像処理装置ＳＳをパンチルトズームカメラへ適用させた場合の画像処理装置ＳＳの動作について、図２２を用いて説明する。
【０２３０】
図２２は、画像処理装置ＳＳをパンチルトズームカメラへ適用させた場合の画像処理装置ＳＳの動作を示すフローチャートである。
【０２３１】
まず、魚眼レンズカメラとパンチルトズームカメラの対応座標算出ユニット１０１は、魚眼カメラによって撮像された魚眼歪画像の撮像中心と、パンチルトズームカメラ１００によって撮像された平面正則画像の撮像中心の差（「中心位置の差」）を算出する（ステップＳ１１）。
【０２３２】
魚眼歪画像Ｓを変換して平面正則画像等を表示部へ表示させるために、上述した変換を行うべく、ユーザのパラメータ入力ユニット３の操作に基づいて、あるいは、画像処理装置ＳＳに予め設定された値を用いて、魚眼歪画像Ｓの切り出し中心Ｐ（Ｘ０、Ｙ０）が選択されると（ステップＳ１２）、これらの選択された情報を上記パラメータとして補正パラメータ算出部２１へ出力する。
【０２３３】
補正パラメータ算出部２１は、パラメータ入力ユニット３から視線ベクトルｎおよび平面傾斜角φが与えられたときに、視線ベクトルｎに基づいて方位角αおよび天頂角βを求め、式（３）〜（８）に基づいて回転係数Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆを算出し（ステップＳ１３）、魚眼歪補正ユニット１へ出力する。
【０２３４】
すると、魚眼歪補正ユニット１は、補正パラメータ算出部２１から入力された算出結果（α、β、φ等）を用いて、上述した魚眼歪画像Ｓから平面正則画像等へ変換を行い（ステップＳ１４）、平面正則画像用メモリコントローラ５２は、当該平面正則画像等を表示画面上に表示させる（ステップＳ１５）。
【０２３５】
平面正則画像等で監視対象が選択された場合には（ステップ１６：ＹＥＳ）、上述した再変換の中心座標Ｃｉとして選択された監視対象の所定の位置（例えば重心等）に対応する魚眼歪画像の座標Ｓｉを算出する（ステップＳ１７）。
【０２３６】
次に、魚眼レンズカメラとパンチルトズームカメラの対応座標算出ユニット１０１は、上記中心位置の差と、Ｓｉの魚眼カメラから得た位置情報に基づいて、魚眼カメラから得た位置情報及び上記Ｓｉがパンチルトズームカメラ１００の撮像中心となるように、パンチルトズームカメラ１００の駆動部へ制御信号を送信する（ステップＳ１８）。
【０２３７】
すると、パンチルトズームカメラ１００はパンチルトズームを行うことで監視対象を撮像する（ステップＳ１９）。
【０２３８】
なお、以上説明した実施形態は特許請求の範囲にかかる発明を限定するものではない。そして、上記実施形態の中で説明されている構成の組合せ全てが発明の課題解決に必須の手段であるとは限らない。
【０２３９】
以上説明したように、魚眼レンズによって撮像された魚眼歪画像Ｓに基づいて生成された二次元的に視認可能な平面正則画像等の任意の点Ｃｉ（ｕｉ、ｖｉ）の選択指示を受け付けると、Ｃｉ（ｕｉ、ｖｉ）の対応座標としての魚眼歪画像Ｓ上の点Ｓｉ（ｘｉ、ｙｉ）を算出し、Ｃｉ（ｕｉ、ｖｉ）を中心として、当該魚眼歪画像Ｓを構成する画素情報群に基づいて、平面正則画像を構成する画素情報群を新たに生成するように構成したため、広範囲な画角で撮像された魚眼歪画像等に基づいて正確かつ実効的な物体認識を行うことができる。
【０２４０】
なお、上記実施形態においては、本願を画像処理装置に対して適用した場合の例を示したが、その他にも例えば、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ又は家庭用等の電子機器等に対しても適用可能である。
【符号の説明】
【０２４１】
１ 魚眼歪補正ユニット
２ 補正パラメータ算出ユニット
３ パラメータ入力ユニット
４ 対応座標算出ユニット
５ 平面正則画像作成ユニット
６ 魚眼歪画像用メモリ
７ 平面正則画像用メモリ
ＳＳ 画像処理装置
【技術分野】
【０００１】
本発明は、入力された画像データを処理する画像処理装置及び画像処理方法等の技術分野に関する。
【背景技術】
【０００２】
広角レンズ（例えば、魚眼レンズ）又は全方位ミラーは、広範囲な画角で被写体を撮像できるため、例えば、監視カメラシステム、テレビ会議システム等のカメラ装置（例えば、魚眼カメラ）に適用されている。
【０００３】
この魚眼カメラで撮像された魚眼歪画像には歪が生じ、特に当該画像の外縁部（端面部）では著しい歪が生じる。そこで、魚眼歪画像に示される被写体の識別性を向上させるため、魚眼歪画像を二次元的に視認可能な平面正則画像に変換し、上記歪を補正する魚眼補正処理が行われている。
【０００４】
また、魚眼補正処理を適用した技術として、特許文献１では、魚眼レンズ全景縮小画像と、ポインティングデバイスで指定した当該魚眼歪画像内の所望の領域の切り出し歪補正領域とを同一画面上に出力表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−３０１０３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された技術では、人間の目視により魚眼歪画像に表示される特定の物体を特定し、当該物体を監視するために装置に指示を与える必要があるため、正確かつ実効的な物体認識を行うことができない。
【０００７】
また、魚眼歪画像には上述したように歪が発生するため、画像に表示される特定の物体を認識する物体認識技術を適用した場合には、魚眼歪画像上に示される物体を正確に認識することは困難である。
【０００８】
そこで、本願発明は、このような問題等に鑑みてなされたものであり、広範囲な画角で撮像された魚眼歪画像等に基づいて正確かつ実効的な物体認識を行うことが可能な会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等を提供することを課題の一つとする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、請求項１に記載の発明は、外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶手段と、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換手段と、前記変換された平面正則画像を構成する画素情報群を記憶する平面正則画像記憶手段と、前記記憶された平面正則画像上の任意の点に対応する画素情報の選択指示を受け付ける選択指示受付手段と、前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定する対応座標特定手段と、前記特定された画素情報を中心に、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に再変換する再変換手段と、を備えることを特徴とする。
【００１０】
請求項２に記載の発明は、請求項１に記載の画像処理装置であって、前記再変換された平面正則画像を構成する画素情報群に基づいて、表示部へ表示させる所定の大きさの画面情報を生成する画面情報生成手段と、を備えることを特徴とする。
【００１１】
請求項３に記載の発明は、請求項１又は２に記載の画像処理装置であって、前記選択指示受付手段は、前記変換手段によって変換された平面正則画像上の複数の点に対応する画素情報の選択指示を受け付け、前記対応座標特定手段は、前記選択指示が示す平面正則画像上のそれぞれの画素情報に対応する歪円形画像上の画素情報を特定し、前記再変換手段は、前記特定されたそれぞれの画素情報を中心に、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報に、前記対応座標特定手段によって特定されたそれぞれの画素情報毎に再変換することを特徴とする。
【００１２】
請求項４に記載の発明は、請求項３に記載の画像処理装置であって、前記生成された各画面情報を、前記表示部に同一の大きさに表示されるように表示態様を制御する表示制御手段と、を備えることを特徴とする。
【００１３】
請求項５に記載の発明は、請求項１乃至４の何れか１項に記載の画像処理装置であって、前記変換された平面正則画像に示される所定の物体を認識する物体認識手段と、を備え、前記選択指示受付手段は、前記認識された物体上の任意の点に対応する画素情報の選択指示を受け付けることを特徴とする。
【００１４】
請求項６に記載の発明は、外部から入力される広角レンズ又は全方位ミラーによって被写体を継続的に撮像した複数の歪円形画像に基づいて生成される当該複数の歪円形画像を構成する画素情報群を、各歪円形画像に対応付けて記憶する歪円形画像記憶手段と、前記記憶された各歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に、前記各歪円形画像毎に変換する変換手段と、前記変換された各平面正則画像を構成する画素情報群を記憶する平面正則画像記憶手段と、前記変換された平面正則画像に示される特定の物体を認識する物体認識手段と、前記認識した物体が平面正則画像で示す継時的な変化を、前記各平面正則画像毎に認識する動作認識手段と、前記動作認識手段によって認識された前記各平面正則画像毎の物体上の任意の点に対応する歪円形画像上の画素情報を特定する第２の対応座標特定手段と、前記第２の対応座標特定手段によって特定された各歪画像上の画素情報を中心に、前記歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に、第２の対応座標特定手段によって特定された各画素情報毎に再変換する再変換手段と、を備えることを特徴とする。
【００１５】
請求項７に記載の発明は、広角レンズ又は全方位ミラーによって撮像した被写体を歪円形画像として画像処理装置へ出力するカメラと、前記入力された歪円形画像に基づいて画面情報を生成して端末装置へ出力する前記画像処理装置と、を備えた会議システムであって、前記画像処理装置は、前記入力された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶手段と、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換手段と、前記変換された平面正則画像を構成する画素情報群を格納する平面正則画像記憶手段と、前記変換された平面正則画像に示される一又は複数の特定の物体を認識する物体認識手段と、前記認識された物体上の任意の点に対応する画素情報の選択指示を、前記認識した物体毎に受け付ける選択指示受付手段と、前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を、前記認識した物体毎に特定する対応座標特定手段と、前記対応座標特定手段によって特定された画素情報を中心に、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に、前記認識した物体毎に再変換する再変換手段と、前記再変換された平面正則画像を構成する画素情報群を、表示部へ表示させる所定の大きさの画面情報として前記認識した物体毎に生成する画面情報生成手段と、前記生成された画面情報を前記端末装置へ出力する出力手段と、を備えることを特徴とする。
【００１６】
請求項８に記載の発明は、請求項７に記載の会議システムであって、前記カメラは、当該カメラに搭載される広角レンズ又は全方位ミラーを天頂方向へ向けて配置されることを特徴とする。
【００１７】
請求項９に記載の発明は、広角レンズ又は全方位ミラーによって第１の撮像中心から所定の撮像範囲内で撮像された被写体を歪円形画像として画像処理装置へ出力する機能と、ズーム機構を備えたレンズ群によって第２の撮像中心から所定の範囲内で撮像された被写体を平面正則画像として前記画像処理装置へ出力する機能を搭載した監視カメラと、前記入力された歪円形画像に基づいて画面情報を生成する前記画像処理装置と、を備える監視システムであって、前記監視カメラは、当該カメラの撮像する位置を切り替えるパンチルト駆動手段と、を備え、前記画像処理装置は、前記入力された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶手段と、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換手段と、前記変換された平面正則画像を構成する画素情報群を格納する平面正則画像記憶手段と、前記変換された平面正則画像に示される物体を認識する物体認識手段と、前記記憶された平面正則画像上の任意の点に対応する画素情報の選択指示を受け付ける選択指示受付手段と、前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定する対応座標特定手段と、予め算出された前記第１の撮像中心と前記第２の撮像中心に基づいて、前記第２の撮像中心を、前記対応座標特定手段によって特定された画素情報が示す位置に新たに設定するための距離情報を算出し、当該距離情報が示す位置に監視カメラを駆動させるための制御信号を前記パンチルト駆動手段に出力する位置制御手段と、を備えることを特徴とする。
【００１８】
請求項１０に記載の発明は、外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶工程と、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換工程と、前記変換された平面正則画像を構成する画素情報群を記憶する平面正則画像記憶工程と、前記記憶された平面正則画像上の任意の点に対応する画素情報の選択指示を受け付ける選択指示受付工程と、前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定する対応座標特定工程と、前記対応座標特定工程によって特定された画素情報を中心に、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に再変換する再変換工程と、を有することを特徴とする。
【００１９】
請求項１１に記載の発明は、画像処理装置に含まれるコンピュータを、外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶手段、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換手段、前記変換された平面正則画像を構成する画素情報群を記憶する平面正則画像記憶手段、前記記憶された平面正則画像上の任意の点に対応する画素情報の選択指示を受け付ける選択指示受付手段、前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定する対応座標特定手段、前記対応座標特定手段によって特定された画素情報を中心に、前記歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に再変換する再変換手段、として機能させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、広角レンズ又は全方位ミラーによって撮像された歪円形画像に基づいて生成された二次元的に視認可能な平面正則画像上の任意の点の選択指示を受け付けると、当該選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定し、当該特定された画素情報を中心に、当該歪円形画像を構成する画素情報群に基づいて、平面正則画像を構成する画素情報群を新たに生成するように構成したため、広範囲な画角で撮像された魚眼歪画像等に基づいて正確かつ実効的な物体認識を行うことができる。
【図面の簡単な説明】
【００２１】
【図１】基本原理の概念を示す概念図である。
【図２】魚眼歪画像Ｓの一部又は全部が切り出され、平面正則画像Ｔに変換された変換例を示す概念図である。
【図３】湾曲平面正則画像への変換を示す概念図である。
【図４】上述した湾曲座標系を用いて、魚眼歪画像Ｓの一部又は全部が切り出され、平面正則画像Ｔに変換された変換例を示す概念図である。
【図５】魚眼レンズカメラが設置される方向と、補正方向との関係を示す概念図である。
【図６】本実施形態に係る画像処理装置の構成及び機能概要を示すブロック図である。
【図７】平面正則画像Ｔの詳細画像においてブロックノイズが生じた例を示す概念図である。
【図８】再変換の詳細について説明する概念図である。
【図９】再変換の詳細について説明する概念図である。
【図１０】再変換の詳細について説明する概念図である。
【図１１】基本原理を用いて変換された平面正則画像が再変換された場合の表示画面例について示す図である。
【図１２】湾曲平面正則画像への変換を用いて変換された平面正則画像が再変換された場合の表示画面例について示す図である。
【図１３】画像処理装置ＳＳの動作を示すフローチャートである。
【図１４】任意の点Ｃｉ（ｕｉ、ｖｉ）が指定される都度再変換された平面正則画像等が並べて表示された画面例を示す図である。
【図１５】物体認識技術を用いて再変換させた表示例を示す図である。
【図１６】ポインティングデバイスによって（即ち、人為的動作に基づく指定により）上記任意の点Ｃｉ（ｕｉ、ｖｉ）が複数選択された様子を示す図である。
【図１７】画像処理装置ＳＳを監視カメラシステムへ適用させた例を示す概念図である。
【図１８】魚眼レンズカメラを横向きに設置した場合の画像処理装置ＳＳをＴＶ会議室システムへ適用させた例を示す概念図である。
【図１９】魚眼レンズカメラを天頂方向へ向けて設置した場合の画像処理装置ＳＳをＴＶ会議室システムへ適用させた例を示す概念図である。
【図２０】画像処理装置ＳＳをパンチルトズームカメラへ適用させた場合のブロック図である。
【図２１】画像処理装置ＳＳをパンチルトズームカメラへ適用させた場合の概念図である。
【図２２】画像処理装置ＳＳをパンチルトズームカメラへ適用させた場合の画像処理装置ＳＳの動作を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、添付図面を参照して本発明の実施形態について詳細に説明する。以下に説明する実施形態は、画像処理装置に対して本発明を適用した場合の実施形態である。
【００２３】
［１．魚眼歪画像の変換の原理］
Ａ）平面正則画像への変換
本実施形態に係る画像処理装置は、詳しくは後述するが、その機能の一つとして、広角レンズ又は全方位ミラーによって撮像された歪円形画像の一例としての魚眼歪画像の一部又は全部を切り出して、二次元的に視認可能な平面正則画像に変換する処理を行う機能を有する。
【００２４】
ここで、まず、魚眼歪画像の一部又は全部を切り出して、平面正則画像に変換する基本原理（以下単に、「基本原理」という。）について、図１及び図２を用いて説明する。
【００２５】
図１は、基本原理の概念を示す概念図である。
【００２６】
かかる基本原理は公知の手法であるため詳しい説明は省略するが、平面正則画像を構成する画素情報群を得るために、当該平面正則画像を構成する各画素情報に対応する魚眼歪画像における各画素情報が位置する対応座標が算出される。
【００２７】
具体的には、魚眼レンズの光学的特性をモデル化した仮想球面上の任意の点で接する平面を平面正則画像と定義し、当該平面上における各座標が公知の座標変換により、魚眼歪画像における各座標に変換され、上記対応座標が算出される。
【００２８】
そして、魚眼歪画像Ｓ上の切出中心点Ｐ（ｘｏ、ｙｏ）を中心とした一部分を切り出して、平面正則画像Ｔに変換するために、図１に示すＯを原点としたＸＹＺ座標系に定義された仮想球面モデルを用いた対応座標の算出方法が適用される。図２において、魚眼歪画像Ｓが存する座標系をＸＹ座標系、平面正則画像Ｔが存する座標系をＵＶ座標系とする。以下単に、ＸＹ座標系、又はＵＶ座標系とした場合には、魚眼歪画像Ｓ又は平面正則画像Ｔ上の座標系をそれぞれ示すものとする。
【００２９】
この仮想球面モデルを用いた対応座標の算出方法では、魚眼歪画像Ｓ上に定義された切出中心点Ｐ（ｘｏ、ｙｏ）に対応する上記対応座標としての平面正則画像Ｔの原点Ｇ（ｘｇ、ｙｇ、ｚｇ）は、ＰとＺ軸に平行な直線と仮想球面Ｈとの交点をＱ（ｘｏ、ｙｏ、ｚｏ）と定義すると、ＱとＸＹＺ座標系の原点を通るベクトルｎ上に存在することが知られている。
【００３０】
そして、魚眼歪画像Ｓの半径をＲ、切出中心点Ｐ（ｘｏ、ｙｏ）とＸＹ座標系の原点ＯＯとを結ぶ直線とＹ軸とのなす角を方位角α、ＵＶ座標系の原点となる原点Ｇ（Ｘｇ、Ｙｇ、Ｚｇ）とＸＹ座標系の原点Ｏとを結ぶ直線とＺ軸とのなす角を天頂角β、Ｕ軸とＪ軸（Ｇ（ｘｏ、ｙｏ、ｚｏ）を通り、ＸＹ平面に平行かつ直線ＯＧに直交する軸（以下、回転基準軸ともいう。）とのなす角を平面傾斜角φとそれぞれ定義する。この平面傾斜角φは、ＵＶ座標系においてＵ軸方向を向いたベクトルＵと、回転基準軸Ｊの方向を向いたベクトルＪと定義したときに、ベクトルＵとベクトルＪのなす角度として定義される角であり、通常、「平面傾斜角」と呼ばれている。以上から、この方位角α、天頂角β、及び平面傾斜角φの３つの角度によって、平面正則画像ＴのＵＶ座標系の位置及び向きが決定されることが分かる。この３つの角度は、一般的にオイラー角と称されることもある。また、平面正則画像Ｔの補正サイズを示すパラメータとして倍率ｍを定義する。この倍率ｍの値によって、ＵＶ座標系は、ＯＧ間の距離が、半径Ｒのｍ倍となるような位置にＵＶ座標系が配置される。このオイラー角及び倍率ｍは、変換される平面正則画像の向きや大きさ等に応じて可変となる変数である。即ち、オイラー角及び倍率ｍは、パラメータとして機能し、ユーザの入力または機器の設定によって決定される。
【００３１】
以上の関係を用いて、ＸＹ座標系上における点Ｓｉ（ｘｉ、ｙｉ）と、ＵＶ座標系上における点Ｔｉ（ｕｉ、ｖｉ）は（即ち、上記対応座標の算出）、パラメータＡ〜Ｆ及びｗ（式（３）から式（９））を用いて、式（１）及び（２）によって算出されることが一般的に知られている。
【００３２】
なお、式（１）及び（２）に示すｘ、ｙ、ｕ、ｖは、上記ｘｉ、ｙｉ、ｕｉ、ｖｉに対応している。
【００３３】
【数１】
【００３４】
【数２】
【００３５】
【数３】
【００３６】
【数４】
【００３７】
【数５】
【００３８】
【数６】
【００３９】
【数７】
【００４０】
【数８】
【００４１】
【数９】
【００４２】
次に、上記対応座標が算出され、魚眼歪画像Ｓの一部又は全部が切り出され平面正則画像Ｔに変換された変換例について、図２を用いて説明する。
【００４３】
図２は、魚眼歪画像Ｓの一部又は全部が切り出され、平面正則画像Ｔに変換された変換例を示す概念図である。
【００４４】
図２（Ａ）には魚眼歪画像Ｓが示されており、その一部が切り出され、平面正則画像Ｔに変換された画像が図２（Ｂ）及び図２（Ｃ）に示されている。
【００４５】
魚眼歪画像Ｓから平面正則画像Ｔに変換される際の画像の大きさ（ＵＶ座標系の座標総数）は任意に設定することができる。即ち、魚眼歪画像Ｓを構成する画像のうち、任意の範囲を平面正則画像Ｔに変換することができる。
【００４６】
図２（Ｂ）では、魚眼歪画像Ｓに示される画像のうち、Ｄ氏のみが選択され、平面正則画像Ｔに変換された例が示されている。また、図２（Ｃ）では、魚眼歪画像Ｓに示される画像のうち、Ｂ氏〜Ｅ氏が選択され、平面正則画像Ｔに変換された例が示されている。
【００４７】
Ｂ）湾曲平面正則画像への変換
上述したように、魚眼歪画像には歪が発生する。この歪は、魚眼歪画像の中心部から離れるに従って（即ち、魚眼歪画像の外縁部に近づくにつれて）大きくなることが知られている。
【００４８】
図２に示す例で説明すると、魚眼歪画像Ｓの中心部付近の画像を平面正則画像Ｔへ変換した図２（Ｂ）では歪が少なく、自然な形で人物が示されている。一方、魚眼歪画像Ｓの中心部から外縁部にわたる画像を平面正則画像Ｔへ変換した図２（Ｃ）では、魚眼歪画像Ｓの外縁部に示される画像に対応する平面正則画像Ｔ（即ち、Ｂ氏及びＥ氏）では歪が多く、画面に対して水平方向に人物像が拡大して示されている。換言すれば、不自然な形で人物像が示されている。
【００４９】
この歪が大きな平面正則画像に対して、画像に表示される特定の物体を認識する物体認識技術を適用した場合には、魚眼歪画像上に示される物体を正確に認識することは困難である。
【００５０】
具体的に図２（Ｂ）及び（Ｃ）に示された画像について説明すると、物体認識技術として一般的に知られているパターンマッチング法（予め記憶された画像と、画面に示されている画像において、類似度を比較することにより物体を認識する技術）を適用した場合を考える。
【００５１】
図２（Ｂ）に示された人物像は、一般的に人物であると把握することができ、また、予め記憶された人物像と類似する可能性が高い。従って、物体認識技術を適用して、画像に表示される特定の物体を認識することができる。
【００５２】
一方、図２（Ｃ）に示された人物像は、一般的に人物であると把握することが困難であり、また、予め記憶された人物像と類似する可能性が低い。従って、物体認識技術を適用して、画像に表示される特定の物体を認識することが困難であると考えられる。
【００５３】
以上より、基本原理では、狭い範囲（一例として、魚眼歪画像Ｓの中心部付近の画像を平面正則画像へ変換した場合）の歪補正画像としての平面正則画像では、歪が小さいため、物体認識技術との併用が可能であるが、広い範囲（一例として、魚眼歪画像Ｓの中心部から外縁部にわたる画像を平面正則画像へ変換した場合）の歪補正画像としての平面正則画像では、ＵＶ座標系の中心部から離れるとともに補正画像内の歪が大きくなるため、物体認識技術との併用が困難である。
【００５４】
そこで、平面正則画像Ｔ上の左右輪郭近傍に生じる歪みを改善するため、発明者らは、変換後の画素情報における座標Ｃ（ｕ、ｖ）に位置する画素情報を、ＵＶ湾曲座標系上の座標Ｃ´（ｕ´、ｖ´）とＸＹ座標系上の座標Ｐ（ｘ、ｙ）との対応関係を示す対応関係式を用いて求めた座標Ｐ（ｘ、ｙ）の近傍に位置する画素情報に基づいて決定し、変換後の画素配列データに基づいて平面上の表示部に画像を表示することにより、平面正則画像Ｔを求める技術を発明した（詳しくは、例えば特開２０１０−６２７９０号公報参照。）。
【００５５】
以下、特開２０１０−６２７９０号公報に示される変換方法を、単に「湾曲平面正則画像への変換」と称する。
【００５６】
この湾曲平面正則画像への変換は、公知の技術であるため詳しい説明は省略するが、図３及び図４を用いて概要を説明する。なお、図３及び図４に示される記号のうち、既に説明した記号と同一の記号を示すものは、少なくとも同一の機能等（作用及び効果も含める）を示すため詳しい説明は省略する。
【００５７】
図３は、湾曲平面正則画像への変換を示す概念図である。
【００５８】
湾曲平面正則画像への変換は、図３（Ａ）及び（Ｂ）に示すように、ＸＹ平面上の魚眼歪画像Ｓ上に半径Ｒを持つ仮想球面Ｈ、オイラー角及び倍率ｍを定義する（図２と同様）。さらに、図２と同様に、点Ｐの真上の点Ｑを通る視点ベクトルｎを求め、ＯＧの距離がｍ・Ｒとなる点Ｇにおいて視線ベクトルｎに直行する平面Ｔ上に、角φに応じた向きを持つＵＶ座標系を定義する。さらに、このＵＶ座標系を「点Ｇが側面上の１点をなし、Ｖ軸に平行かつ点０を通る直線Ｖ´を中心軸とする仮想円柱」の側面Ｃに沿って湾曲させ、ＵＶ湾曲座標系を定義する。
【００５９】
また、このように定義すると、ＵＶ座標系Ｔと、これを湾曲することによって得られるＵＶ湾曲座標Ｃは、図３（Ｂ）に示す位置関係にあることがわかる。
【００６０】
即ち、ＵＶ座標系の座標面であるＵＶ平面は、ＸＹ平面に面に平行な面であり、両者の間隔は、ｗ＝ｍＲに設定されている。図示のとおり、このＵＶ平面に沿った水平方向にＵ軸が定義され、点Ｇにおいて紙面垂直方向にＶ軸が定義されている。そして、このＵＶ平面上に、平面正則画像Ｔが定義されることになる。
【００６１】
一方、ＵＶ湾曲座標系の座標面であるＵＶ曲面は、ＵＶ平面を仮想円柱の側面に沿って湾曲させることにより得られる面である。ここで、仮想円柱は、Ｖ´軸（Ｖ軸に平行かつ原点Ｏを通る軸）を中心軸とし、半径ｗ＝ｍＲをもった円柱であり、軸Ｖの位置においてＵＶ平面に接している。ＵＶ曲面は、この仮想円柱の側面に一致し、半径ｗ＝ｍＲをもった円の円弧に沿った方向にＵ軸が定義され、点Ｇにおいて紙面垂直方向にＶ軸が定義されている。そして、このＵＶ曲面上に、湾曲正則画像Ｃが定義されることになる。
【００６２】
このように、ＵＶ座標系とＵＶ湾曲座標系とは、一方の座標軸であるＶ軸を共通とするが、他方の座標軸であるＵ軸の空間的な位置は異なっている。ただ、座標目盛の刻み幅はいずれも同じであり、座標面上の任意の１点の位置が、座標（ｕ、ｖ）で示される点も同じである。そこで、同一座標（ｕ、ｖ）で示される各座標面上の２点の関係については、以下のように考えることができる。
【００６３】
即ち、図３（Ｂ）の左上に示すように、ＵＶ座標系上における点Ｔ（ｕ、ｖ）に着目すると、この点Ｔ（ｕ、ｖ）は、平面正則画像Ｔ上の点であり、原点ＧからＵ軸に沿って座標値ｕだけ隔たり、Ｖ軸方向に関して座標値ｖだけ隔たった点であることがわかる。
【００６４】
次に、ＵＶ湾曲座標系上における点Ｃ（ｕ、ｖ）に着目すると、この点Ｃ（ｕ、ｖ）は、湾曲正則画像Ｃ上の点であり、原点Ｇから円弧Ａに沿って座標値ｕだけ隔たり、Ｖ軸方向に関して座標値ｖだけ隔たった点ということになる。
【００６５】
このように、点Ｔ（ｕ、ｖ）と点Ｃ（ｕ、ｖ）とは、いずれも座標（ｕ、ｖ）で表される点であるが、異なる座標系で定義された点であるため、ＸＹＺ三次元直交座標系で示される空間上の位置は異なっている。すなわち、ＸＹＺ三次元直交座標系の座標値で考えると、点Ｔ（ｕ、ｖ）の座標はＴ（ｕ、ｖ、ｗ）になるのに対して、点Ｃ（ｕ、ｖ）の座標はＣ（ｕ´、ｖ´、ｗ´）になる。ここで、図３（Ｂ）から、ｕ´＝ｗ・sinθ、ｗ´＝ｗ・cosθであることがわかる。
【００６６】
また、円弧ＧＣの長さは座標値ｕの絶対値に等しく、円弧Ａの半径はｗであるから、図３（Ｂ）に示す角度θは、θ＝ｕ／ｗラジアンである。従って、上記ｕ´及びｗ´は、ｕ′＝ｗ・sin（ｕ／ｗ）、ｗ′＝ｗ・cos（ｕ／ｗ）であることがわかる。なお、両ＵＶ座標系は、Ｖ軸を共通の座標軸としているため、点Ｔ、ＣのＹ座標値はいずれも同一の座標値ｖになる。
【００６７】
以上の関係を用いて、ＸＹ座標系上における点Ｓｉ（ｘｉ、ｙｉ）と、ＵＶ湾曲座標系上における点Ｃ´（ｕ´、ｖ´）は、パラメータＡ〜Ｆ及びｗ（式（３）から式（９））を用いて、式（１０）及び（１３）の演算式によって求めることができる。そして、点Ｐ近傍の画像をＵＶ湾曲座標系上に求め、これを平面Ｔ上に展開して平面正則画像Ｔを得るようになっている。
【００６８】
このように構成することによって、発明者らは、平面正則画像Ｔの右辺輪郭近傍や左辺輪郭近傍について、歪が大幅に改善されることを実証した。
【００６９】
以下に、式（１０）〜（１３）について記す。なお、式（１０）〜（１３）に示すｘ、ｙは、上記ｘｉ、ｙｉに対応している。
【００７０】
【数１０】
【００７１】
【数１１】
【００７２】
【数１２】
【００７３】
【数１３】
【００７４】
次に、上述した湾曲座標系を用いて、魚眼歪画像Ｓの一部又は全部が切り出され平面正則画像Ｔに変換された変換例について、図４を用いて説明する。
【００７５】
図４は、上述した湾曲座標系を用いて、魚眼歪画像Ｓの一部又は全部が切り出され、平面正則画像Ｔに変換された変換例を示す概念図である。
【００７６】
図４（Ａ）には魚眼歪画像Ｓが示されており、上述した湾曲座標系を用いて、その一部が切り出され、平面正則画像に変換された画像が図４（Ｂ）に示されている。なお、魚眼歪画像Ｓから平面正則画像に変換される際の画像の大きさは任意に設定することができることは上述した例と同様である。
【００７７】
図４（Ｂ）では、魚眼歪画像Ｓに示される画像のうち、Ｂ氏〜Ｅ氏が選択され、平面正則画像に変換された例が示されている。この選択された範囲は、図２（Ｃ）で示した例と同一の範囲であるが、図２（Ｃ）で示された平面正則画像と比べると、図４（Ｂ）で示された平面正則画像上の左右輪郭近傍には歪みが殆ど生じていないことがわかる。
【００７８】
本実施形態における画像処理装置では、「基本原理」及び「湾曲平面正則画像への変換」の何れの変換方法も適用することができるが、以下に説明する例では、「湾曲平面正則画像への変換」を用いた場合について説明する。
【００７９】
また、上述した魚眼歪画像Ｓは、広角レンズ又は全方位ミラーを備えたカメラ（例えば、魚眼レンズカメラ）によって撮像されるものであるが、この魚眼レンズカメラが設置される方向と、補正方向との関係について図５を用いて説明する。
【００８０】
図５は、魚眼レンズカメラが設置される方向と、補正方向との関係を示す概念図である。
【００８１】
図５（Ａ）は、魚眼レンズカメラを横方向（例えば、Ｚ軸と正対する方向）に向けて配置した場合の補正方向を示す例である。約１８０度の広い画角の平面正則画像を得るためには、図５（Ａ）中の矢印方向に歪補正を行えばよい。
【００８２】
図５（Ｂ）は、魚眼レンズカメラを上方向（例えば、Ｚ軸と平行方向）に向けて配置した場合の補正方向を示す例である。約３６０度の広い画角の平面正則画像を得るためには、図５（Ｂ）中の矢印方向に歪補正を行えばよい。
【００８３】
即ち、魚眼レンズカメラを横方向に向けたときは図５（Ａ）で示すように矢印方向に補正することで約１８０度のパノラマ平面正則画像が生成できる。また、上方向に向けた場合は図５（Ｂ）の矢印方向に補正することで約３６０度のパノラマ平面正則画像を生成できる。
【００８４】
［２.画像処理装置の構成及び機能概要］
本実施形態に係る画像処理装置は、上述した広角レンズ又は全方位ミラーによって撮像された歪円形画像の一例としての魚眼歪画像の一部又は全部を切り出して、二次元的に視認可能な平面正則画像に変換する処理（以下、単に「変換」と総称する。）の他、当該平面正則画像上の任意の点を中心として、当該撮像された魚眼歪画像を、平面正則画像に再変換する処理（以下、単に「再変換」と称する。）を行う機能を有する。
【００８５】
このような機能を有する本実施形態に係る画像処理装置の構成及び機能概要について、図６等を用いて説明する。
【００８６】
図６は、本実施形態に係る画像処理装置の構成及び機能概要を示すブロック図である。
【００８７】
図６に示すように、画像処理装置ＳＳは、魚眼歪補正ユニット１（変換手段の一例）、補正パラメータ算出ユニット２、パラメータ入力ユニット３等を備えて構成されている。
【００８８】
魚眼歪補正ユニット１は、まず、上述した平面正則画像を構成する各画素情報に対応する魚眼歪画像における各画素情報が位置する対応座標を算出する処理を実行することをその機能の一つとし、当該機能を実行するために対応座標算出ユニット４、平面正則画像作成ユニット５、魚眼歪画像用メモリ６（歪円形画像記憶手段の一例）、平面正則画像用メモリ７（平面正則画像記憶手段の一例）等を備えて構成されている。
【００８９】
具体的には、魚眼補正ユニット１は、図示しない光学レンズによって１８０°の画角をもって周囲の被写体を撮影され、図示しないイメージセンサ等によって半径Ｒをもった歪曲円形画像の一例としての魚眼歪画像Ｓがデジタルデータとして変換されると、変換された魚眼歪画像Ｓは、魚眼歪画像用メモリ６へと格納される。魚眼補正ユニット１は、これを図示しない表示装置に表示可能な画素情報群としての平面正則画像Ｔに変換し、平面正則画像用メモリ７に格納する処理を行う。
【００９０】
魚眼歪画像用メモリ６は、一般的な画像データ格納用のバッファメモリによって構成されており、魚眼歪画像Ｓを、ＸＹ座標系上の座標（ｘ、ｙ）で示される位置に配置された多数の画素の集合体によって構成される画素情報群として格納する。この魚眼歪画像Ｓは、上述したように、ＸＹ座標系の原点Ｏを中心とし半径Ｒをもった画像となる。
【００９１】
平面正則画像用メモリ７は、一般的な画像データ格納用のバッファメモリによって構成されており、平面正則画像Ｔを、ＵＶ座標系上の座標（ｕ、ｖ）で示される位置に配置された多数の画素の集合体によって構成される画素情報群として格納する。平面正則画像Ｔの輪郭は、任意に設定することができる。なお、この平面正則画像用メモリ７に格納されている画素情報は、上述した平面正則画像Ｔ及び湾曲正則画像Ｃの双方に用いられる。
【００９２】
また、［１．魚眼歪画像の変換の原理］で述べた通り、ＵＶ座標系もＵＶ湾曲座標系も、Ｕ軸とＶ軸とを有する二次元座標系である点は共通しており、ＵＶ座標系上に定義される平面正則画像Ｔも、ＵＶ湾曲座標系上に定義される湾曲正則画像Ｃも、座標値（ｕ，ｖ）で示される位置に配置された多数の画素の配列から構成される点では共通する。したがって、平面正則画像用メモリ７内に格納された画素配列データに基づいて、平面上に画像を表示すれば平面正則画像Ｔが得られるが、円柱側面上に画像を表示すれば湾曲正則画像Ｃが得られることになる。従って、平面正則画像用メモリ７に格納される画素配列データ
それ自身は、平面正則画像Ｔ用のデータと言うこともできるし、湾曲正則画像Ｃ用のデータと言うこともできる。
【００９３】
対応座標算出ユニット４は、詳しくは後述する補正パラメータ算出ユニット２によって設定されたパラメータ（上述した式（３）〜式（８）のＡ〜Ｆの値やα、β、φ等）と、予め設定されている半径Ｒを用いて、詳しくは後述する平面正則画像作成ユニット５から与えられた平面正則画像上の任意の座標（ｕ、ｖ）に対応する魚眼歪画像Ｓ上の対応座標（ｘ、ｙ）を算出する。
【００９４】
即ち、対応座標算出ユニット４は、平面正則画像上の任意の座標（ｕ、ｖ）を与えると、これに対応する魚眼歪画像Ｓ上の対応座標（ｘ、ｙ）を平面正則画像作成ユニット５へ戻す機能を有している。この平面正則画像上の任意の座標（ｕ、ｖ）は、後述するｕｖ座標値発生部５１によって、出力される平面正則画像の画素分だけ発生されるようになっている。
【００９５】
より具体的には、対応座標算出ユニット４は、上述した基本原理における関係式（式（１）〜式（９））、又は湾曲平面正則画像への変換における関係式（式（１０）〜式（１３））に基づく演算により、座標（ｕ、ｖ）に対応する対応座標（ｘ、ｙ）を算出する機能を有しており、共通係数演算部４１、湾曲座標補正部４２、ｘｙ座標算出部４３を備えて構成される。
【００９６】
共通係数演算部４１は、パラメータ入力ユニット１００から倍率ｍが与えられ、平面
正則画像作成ユニット３００から座標ｖが与えられたときに、予め設定されている歪曲円
形画像の半径Ｒを用いて、上記式（９）で算出された値を上記Ｇへ代入し、共通係数Ｇを演算する処理を行う。
【００９７】
湾曲座標補正部４２は、平面上に定義された二次元ＵＶ直交座標系上の座標（ｕ、ｖ）を、円柱側面上に定義された二次元ＵＶ湾曲座標系上の座標（ｕ、ｖ）に補正するために必要な演算を行う機能を有し、パラメータ入力ユニット１００から倍率ｍが与えられ、平面正則画像作成ユニット３００から座標ｕが与えられたときに、予め設定されている魚眼歪画像の半径Ｒを用いて、式（９）、式（１０）及び式（１１）に基づいて、ｕ′およびｗ′を演算する処理を行う。
【００９８】
なお、基本原理における関係式（式（１）〜式（９））を用いる場合には、湾曲座標補正部４２は省略され、ｘｙ座標算出部４３には、ｕ´、ｖ、ｗ´に代わり、ｕ、ｖ、ｗが入力される。
【００９９】
ｘｙ座標算出部４３は、平面正則画像作成ユニット５から与えられた座標ｖ、補正パラメータ算出ユニット２から入力されたＡ〜Ｆ（式（３）〜式（８））、共通係数演算部４１が演算した共通係数Ｇ、湾曲座標補正部４２が演算したｕ′およびｗ′、ならびに
予め設定されている魚眼歪画像の半径Ｒを用いて、式（１２）及び式（１３）に基づいて、ｘおよびｙを演算し、これを平面正則画像作成ユニット５に出力する。
【０１００】
平面正則画像作成ユニット５は、ｘｙ座標算出部４３によって出力された値を用いて、平面正則画像を作成し、平面正則画像用メモリ７に記憶する処理を行う。より具体的には、まず、平面正則画像を構成する１つの着目画素の座標（ｕ、ｖ）を対応座標算出ユニット４に与えて対応座標（ｘ、ｙ）を算出させる。そして、魚眼歪画像用メモリ６に記憶された魚眼歪画像Ｓの対応座標（ｘ、ｙ）の近傍に配置された画素の画素値を読み出し、読み出した画素値に基づいて着目画素の画素値を決定する処理を、平面正則画像を構成する各画素について実行し、平面正則画像用メモリ７内に各画素の画素値を記憶することにより、平面正則画像を作成する。
【０１０１】
このような機能を実現するため、平面正則画像作成ユニット５は、ｕｖ座標値発生部５１、平面正則画像用メモリコントローラ５２（画面情報生成手段の一例）、画素値決定部５３、魚眼歪画像用メモリコントローラ５４を備えて構成される。
【０１０２】
ｕｖ座標値発生部５１は、出力する平面正則画像を構成する画素の数量分、ｕｖの値（座標値の値）を発生させる。例えば、出力する平面正則画像の大きさが、水平４００ドット×鉛直３００ドットであった場合には、ｕ＝−２００〜２００、ｖ＝−１５０〜１５０の値を出力する。
【０１０３】
平面正則画像用メモリコントローラ５２は、平面正則画像用メモリ７に対するデータの書き込みおよび読み出しを行う制御装置であり、画素値決定部５３によって特定の画素の画素値が決定した場合、平面正則画像用メモリ７に記憶される当該特定の画素に対して、決定した画素値を書き込む処理を行う。こうして、画素値を書き込む処理が全画素について完了すれば、平面正則画像用メモリ７内に、平面正則画像Ｔが作成されたことになる。そして、平面正則画像用メモリコントローラ５２は、この平面正則画像Ｔのデータを読み出して図示しない表示部に出力し、平面正則画像Ｔを表示画面上に表示させる処理を行うことになる。
【０１０４】
魚眼歪画像用メモリコントローラ５４は、魚眼歪画像用メモリ６に対するデータの書き込みおよび読み出しを行う制御装置である。上述したように、入力された魚眼歪画像Ｓのデータは、魚眼歪画像用メモリコントローラ５４によって、魚眼歪画像用メモリ６に記憶される。
【０１０５】
また、必要に応じて、魚眼歪画像用メモリコントローラ５４は、魚眼歪画像用メモリ６に記憶される魚眼歪画像Ｓのデータを読み出して表示装置に出力し、魚眼歪画像Ｓを表示画面上に表示させることもできる。
【０１０６】
更に、魚眼歪画像用メモリコントローラ５４は、対応座標算出ユニット４から、座標（ｘ、ｙ）が与えられた場合に、魚眼歪画像用メモリ６に記憶された魚眼歪画像Ｓのデータの中から、当該座標（ｘ、ｙ）の近傍に位置する画素の画素値を読み出し、これを画素値決定部５３に与える機能も果たす。
【０１０７】
このように構成された平面正則画像作成ユニット５が、魚眼歪画像Ｓから平面正則画像Ｔへ変換する処理を説明する。
【０１０８】
まず、ｕｖ座標値発生部５１が、平面正則画像Ｔを構成する画素配列上の特定の着目画素を示す座標（ｕ、ｖ）を発生させる。発生した座標（ｕ、ｖ）は、ｕｖ座標値発生部５１から対応座標算出ユニット４へ与えられる。これにより、座標（ｕ、ｖ）に対応する対応座標（ｘ、ｙ）が算出され、当該対応座標（ｘ、ｙ）は、魚眼歪画像用メモリコントローラ５４に与えられる。
【０１０９】
上述したとおり、魚眼歪画像用メモリコントローラ５４は、魚眼歪画像用メモリ６に記憶された魚眼歪画像Ｓのデータの中から、当該座標（ｘ、ｙ）の近傍に位置する画素の画素値を読み出し、これを画素値決定部５３に与える。
【０１１０】
魚眼歪画像Ｓは、二次元ＸＹ直交座標系上の座標（ｘ、ｙ）で示される位置に配置された多数の画素の集合体によって構成された画像であり、実際には、所定ピッチで縦横に配列された多数の格子点の位置に、それぞれ固有の画素値を定義したデジタルデータによって構成されている。このため、対応座標算出ユニット４によって算出された対応座標（ｘ、ｙ）の位置は、通常、複数の格子点の間の位置になる。
【０１１１】
従って、実際には、画素値決定部５３において、座標（ｕ、ｖ）で示される位置に配置された平面正則画像Ｔ上の着目画素の画素値を決定する際には、対応座標（ｘ、ｙ）で示される位置の近傍に配置された魚眼歪画像Ｓ上の複数の参照画素の画素値を読み出し、これら複数の参照画素の画素値に対する補間演算（例えば、公知のバイリニア補間法、バイキュービック・スプライン補間法等）が行われる。なお、そのような補間を行わずに、対応座標（ｘ、ｙ）で示される位置に最も近い画素の画素値をそのまま着目画素の画素値と決定する方法を採ることも可能である。
【０１１２】
このようにして、画素値決定部５３によって決定された着目画素の画素値は、平面正則画像用メモリコントローラ５２に入力される。一方、ｕｖ座標値発生部５１から平面正則
画像用メモリコントローラ５２には、発生させた座標（ｕ、ｖ）が入力される。
【０１１３】
そこで、平面正則画像用メモリコントローラ５２は、平面正則画像用メモリ７に記憶される平面正則画像Ｔの座標（ｕ、ｖ）に位置する着目画素の画素値として、画素値決定部５３によって決定された画素値を書き込む処理を実行する。
【０１１４】
このようにして１つの着目画素についての画素値を決定し、書き込まれる処理が行われるが、ｕｖ座標値発生部５１は、平面正則画像Ｔを構成する画素配列上のすべての画素を示す座標（ｕ、ｖ）を順次発生させ、個々の画素について、それぞれ画素値が決定され、平面正則画像用メモリ７内に記憶されるようになっている。
【０１１５】
パラメータ入力ユニット３は、キーボード、マウス、トラックボール、タッチパネル又は電子ペン等を備え、ユーザの操作に基づいて、表示装置に表示される魚眼歪画像Ｓ上又は上述した変換処理が行われた後の平面正則画像Ｔの一点を指定できるようになっている。
【０１１６】
より具体的には、上述した式（１）及び（２）又は式（１２）（１３）等を用いて対応座標を算出するためには、視線ベクトルｎ、平面傾斜角φ、倍率ｍという３つのパラメータが必要になる。パラメータ入力ユニット３は、ユーザの指示入力に基づいて、この３つのパラメータを入力する構成要素である。すなわち、パラメータ入力ユニット３は、三次元ＸＹＺ直交座標系において、原点Ｏを起点として任意の方向を向く視線ベクトルｎを、平面正則画像の切り出し位置を示すパラメータとして入力し、所定の平面傾斜角φを、平面正則画像の切り出し向きを示すパラメータとして入力し、所定の倍率ｍを、平面正則画像の補正サイズを示すパラメータとして入力する機能を果たす。
【０１１７】
なお、ここに示す実施形態の場合、表示装置には、必要に応じて、魚眼歪画像用メモリ６に格納されている魚眼歪画像Ｓを表示させることができるようになっている。そして、パラメータ入力ユニット３は、この表示装置に表示されている魚眼歪画像Ｓ上の１点を指定するユーザの入力指示を受け、当該１点の位置を切出中心点Ｐ（ｘ０，ｙ０）として把握し、これを視線ベクトルｎを示すパラメータとして入力を受け付け、補正パラメータ算出ユニット２へ出力するようになっている。
【０１１８】
補正パラメータ算出ユニット２は、補正パラメータ算出部２１（選択指示受付手段の一例）及び対応座標算出ユニット２２（対応座標特定手段の一例）を備えて構成される。
【０１１９】
補正パラメータ算出部２１は、パラメータ入力ユニット３から視線ベクトルｎおよび平面傾斜角φが与えられたときに、視線ベクトルｎに基づいて方位角αおよび天頂角βを求め、式（３）〜（８）に基づいて回転係数Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆを算出する。
【０１２０】
上述したように、本実施形態における画像処理装置は、上述した魚眼歪画像Ｓから変換された平面正則画像Ｔ上の任意の点を中心として、魚眼歪画像用メモリ６に記憶された魚眼歪画像Ｓを、平面正則画像Ｔに再変換する処理を行う機能を有する。
【０１２１】
この再変換を実現するために、補正パラメータ算出部２１、対応座標算出ユニット２２及び魚眼歪補正ユニット１（再変換手段の一例）が備えられている。
【０１２２】
上述した変換によって得られた平面正則画像Ｔを、表示装置に表示するためには、当該表示装置の表示可能領域まで平面正則画像Ｔを縮小して表示しなければならない場合が多い。従って、表示された平面正則画像Ｔは、原画像を縮小するため画素情報を一部間引いて表示させている。
【０１２３】
このような画素情報が一部間引かれた平面正則画像Ｔに対して、所定の範囲を切り出して表示させたり、拡大して表示させた場合（即ち、平面正則画像Ｔの詳細画像を表示させる場合）には、ブロック歪み（ブロックノイズ）が生じ、画像に示される被写体の識別性を著しく損なう結果となる。
【０１２４】
このブロック歪みとは、ブロックノイズとも称され、映像において画像の一部領域がモザイク状に見える現象をいう。
【０１２５】
ここで、平面正則画像Ｔの詳細画像においてブロックノイズが生じた例について、図７を用いて説明する。
【０１２６】
図７は、平面正則画像Ｔの詳細画像においてブロックノイズが生じた例を示す概念図である。なお、図７（Ａ）の上図及び図７（Ｂ）の上図における十字記号は、所定の範囲を切り出して表示させるためにパラメータ入力ユニット３によって指示が与えられた部位（例えば、ポインティングデバイスによる指示）を示す。
【０１２７】
図７（Ａ）の上図に示す例では、基本原理を用いて魚眼歪画像Ｓを平面正則画像Ｔに変換した例を示しており、図７（Ａ）の下図に示す例では、変換後の平面正則画像Ｔの一部を切り出して表示した例を示している。
【０１２８】
図７（Ａ）の下図に示す例では、切り出して表示された平面正則画像Ｔに示される被写体にはブロックノイズが生じ、当該被写体の輪郭部が激しく歪んでいる様子がわかる。
【０１２９】
図７（Ｂ）の上図に示す例では、湾曲平面正則画像への変換を用いて魚眼歪画像Ｓを平面正則画像Ｔに変換した例を示しており、図７（Ｂ）の下図に示す例では、変換後の平面正則画像Ｔの一部を切り出して表示した例を示している。
【０１３０】
図７（Ｂ）の下図に示す例では、切り出して表示された平面正則画像Ｔに示される被写体にはブロックノイズが生じ、当該被写体の輪郭部が激しく歪んでいる様子がわかる。
【０１３１】
この魚眼歪画像Ｓから平面正則画像Ｔへ変換する目的は、魚眼歪画像Ｓでは歪が強く発生するため、撮像された物体を監守し易い平面正則画像Ｔに変換して、ユーザに提示することにある。そして、さらに監守を続けたり、平面正則画像Ｔに撮像された物体についてより詳細な情報を得るためには、当該平面正則画像Ｔに撮像された物体の所定の範囲を切り出して表示させたり、拡大して表示させたりすることが望まれる。さらに、上記平面正則画像Ｔに物体認識技術を適用し、人為的な動作を与えることなく魚眼歪画像上に示される物体を正確に認識することが望まれる。
【０１３２】
しかし、ユーザは、上述したブロックノイズが発生した画像では詳細な情報を得ることが困難であり、かつ、上記物体認識技術を適用することは困難である。
【０１３３】
そこで、本実施形態における画像処理装置ＳＳは、補正パラメータ算出部２１、対応座標算出ユニット２２及び魚眼歪補正ユニット１を用いて、上述した再変換を行うようになっている。
【０１３４】
この再変換の詳細について、図８〜図１０を用いて説明する。
【０１３５】
図８〜図１０は、再変換の詳細について説明する概念図である。
【０１３６】
この再変換においては、基本原理を用いた変換方法、及び湾曲平面正則画像への変換を用いた変換方法の何れの変換方法も適用することができるが、以下には、湾曲平面正則画像への変換を用いた変換方法について説明する。
【０１３７】
まず、上述した処理によって、変換処理、即ち魚眼歪画像Ｓから湾曲平面正則画像Ｃへ変換され表示部に当該湾曲平面正則画像が表示されている場合を考える。ここでは、図８に示すように、Ｐ（ｘｏ、ｙｏ）を切り出し中心とした湾曲平面正則画像Ｃが表示されているものとする。この切り出し中心Ｐ（ｘｏ、ｙｏ）は、ユーザのパラメータ入力ユニット３の操作に基づいて指定されたものでも構わないし、画像処理装置ＳＳによって予め設定された位置に基づいて指定されたものでも構わない。
【０１３８】
ユーザは、パラメータ入力ユニット３の操作に基づいて、湾曲平面正則画像Ｃの任意の点を選択することができる。当該任意の位置の一例としては、ユーザが湾曲平面正則画像Ｃに表示された物体のうち詳細な情報を得ることを望む点であっても構わないし、例えば物体認識技術を適用して所定の物体が認識された場合であって当該物体の重心位置であっても構わない。
【０１３９】
図８に示す例では、既に、点Ｇを中心とした平面正則画像が変換されている。この動作についてはすでに説明したが、魚眼歪画像Ｓ上で平面正則画像の中心（点Ｐ）が指定され、点Ｐに対応する仮想球面上の点Ｑが決定され、点Ｑからα、βが算出されている。そして、補正画像の傾斜角φが指定され、式（３）〜（８）を用いて係数Ａ〜Ｆが算出されている。このＡ〜Ｆを用いて魚眼歪画像と平面正則画像の対応座標が算出され、点Ｇを中心とした平面正則画像が得られている。
【０１４０】
図８に示す例では、さらに、上記任意の点として、Ｃｉ（ｕｉ、ｖｉ）が選択されたものとする。
【０１４１】
パラメータ入力ユニット３は、Ｃｉ（ｕｉ、ｖｉ）の入力を受け付けると、当該入力された情報を補正パラメータ算出部２１へ出力する。具体的には、パラメータ入力ユニット３は、ユーザの指示入力に基づいて、視線ベクトルｎ、平面傾斜角φ、倍率ｍの３つをパラメータとして、補正パラメータ２１へ出力する。
【０１４２】
補正パラメータ算出部２１は、パラメータ入力ユニット３によって指定された魚眼歪画像Ｓ上の一点の入力（Ｃｉ（ｕｉ、ｖｉ）の入力）を受け付けると、魚眼歪画像Ｓ上で指定した一点から、倍率ｍ、魚眼歪画像の半径Ｒ、及びＡ〜Ｆ（式（３）〜式（８））を算出し、対応座標算出ユニット２２へ出力する。
【０１４３】
対応座標算出ユニット２２は、入力された倍率ｍ、魚眼歪画像の半径Ｒ、及びＡ〜Ｆ（式（３）〜式（８））と、式（１２）及び（１３）を用いて、Ｃｉ（ｕｉ、ｖｉ）の対応座標としての魚眼歪画像Ｓ上の点Ｓｉ（ｘｉ、ｙｉ）を算出する。
【０１４４】
即ちここでは、対応座標算出ユニット２２は、湾曲平面正則画像Ｃ上の画素情報に対応する魚眼歪画像Ｓ上の画素情報を特定している。
【０１４５】
具体的には、対応座標算出ユニット２２は、Ｃｉ（ｕｉ、ｖｉ）を切り出し中心として、当該切り出し中心に対応する魚眼歪画像Ｓ上の点を特定する。
【０１４６】
すなわち、図９に示すように、点Ｓｉ（ｘｉ、ｙｉ）に対応する仮想球面上の点Ｑｉを決定し、点Ｑｉからα´、β´を算出する。そして補正画像の傾斜角φ´を指定し、新たな係数Ａ〜Ｆ（式（３）〜式（８）を用いて）を算出する。そして、Ｃｉ（ｕｉ、ｖｉ）の対応座標としての魚眼歪画像Ｓ上の点Ｓｉ（ｘｉ、ｙｉ）を算出し、これらの情報を魚眼歪補正ユニット１へ出力する。
【０１４７】
そして、魚眼歪補正ユニット１（再変換手段の一例）は、図１０に示すように（即ち、上述した変換と同様に）、Ｃｉ（ｕｉ、ｖｉ）を中心として、平面正則画像Ｔを構成する画素配列上のすべての画素を示す座標（ｕ、ｖ）を順次発生させ、個々の画素について、それぞれ画素値が決定され、平面正則画像用メモリ７内に記憶されるようになっている。
【０１４８】
このようにして、画像処理装置ＳＳによって、点Ｃｉ（ｕｉ、ｖｉ）を中心とした平面正則画像が得られることとなる。
【０１４９】
ここで、上述した再変換が行われた場合に表示される表示画面例について、図１１及び図１２を用いて説明する。
【０１５０】
図１１は、基本原理を用いて変換された平面正則画像が再変換された場合の表示画面例について示す図であり、図１２は、湾曲平面正則画像への変換を用いて変換された平面正則画像が再変換された場合の表示画面例について示す図である。
【０１５１】
図１１（Ａ）には、基本原理を用いて変換された平面正則画像において、任意の点が選択された様子が示されている。図中の十字記号は、パラメータ入力ユニット３によって任意の点の指示が与えられた部位（例えば、ポインティングデバイスによる指示）を示す。
【０１５２】
図１１（Ｂ）には、上記任意の点を中心とした所定の範囲内の魚眼歪画像Ｓの対応座標が算出される様子を示す概念図が示されている。この所定の範囲内は、ＵＶ座標値発生部５１の動作により任意に設定することができる。この所定の範囲を広く設定することによって、再変換後の平面正則画像のレイアウトサイズが大きくなる（即ち、平面正則画像を構成する画素の数が増加する）。
【０１５３】
具体的な動作としては、上述したとおりであるが、図１１（Ａ）で指定した位置を歪み補正時の角度α、β、φと式（１）、（２）から魚眼歪画像内の対応する位置を算出する。算出した位置を中心とした魚眼歪画像内の切り出し領域（変換する予定の領域）を点線で示す。図中の十字記号は、は図１１（Ａ）の注目位置の魚眼歪画像に対応する位置を示す。魚眼歪画像Ｓの図中の十字記号の位置から新たな角度α´、β´、φ´を算出し、係数Ａ〜Ｆを更新（算出）する。新たな係数Ａ〜Ｆと式（１）、（２）を用いて再度歪み補正を行い切り出し補正画像を生成する。
【０１５４】
図１１（Ｃ）には、再変換された平面正則画像が表示されている。図１１（Ｂ）の点線で示された領域が再変換され表示されている。
【０１５５】
図１２（Ａ）には、湾曲平面正則画像への変換を用いて変換された湾曲平面正則画像において、任意の点が選択された様子が示されている。図中の十字記号は、上述した図１１と同様である。
【０１５６】
図１２（Ｂ）には、上記任意の点を中心とした所定の範囲内の魚眼歪画像Ｓの対応座標が算出される様子を示す概念図が示されている。
【０１５７】
具体的な動作としては、上述したとおりであるが、図１２（Ａ）で指定した位置を歪み補正時の角度α、β、φと式（１２）、（１３）から魚眼歪画像内の対応する位置を算出する。算出した位置を中心とした魚眼歪画像内の切り出し領域を点線で示す。図中の十字記号は、は図１２（Ａ）の注目位置の魚眼歪画像に対応する位置を示す。魚眼歪画像Ｓの図中の十字記号の位置から新たな角度α´、β´、φ´を算出し、係数Ａ〜Ｆを更新（算出）する。新たな係数Ａ〜Ｆと式（１２）、（１３）を用いて再度歪み補正を行い切り出し補正画像を生成する。
【０１５８】
図１２（Ｃ）には、再変換された平面正則画像が表示されている。図１２（Ｂ）の点線で示された領域が再変換され表示されている。
【０１５９】
本実施形態の画像処理装置ＳＳは、以上のように構成することによって、広範囲な画角で撮像された魚眼歪画像Ｓに基づいて正確かつ実効的な物体認識を行うことができる。なぜならば、湾曲平面正則画像Ｃ内の注目領域の位置を中心として魚眼歪画像Ｓから再び歪み補正し表示するため、湾曲平面正則画像Ｃのモニタ表示時の縮小操作による画質劣化の影響は受けないからである。切り出し補正画像をデジタルズームした場合に、これらの切り出し手法の違いは画質の差となり顕著に表れることとなる。さらに、歪み補正の適用により湾曲平面正則画像Ｃが得られるため、従来の認識技術が適用可能であり、認識により自動での注目領域の指定ができる。そのため、監視対象の自動追尾が可能である。そのうえ、人が常に監視する必要がないため、操作ミス等も回避可能である。さらに、複数点の切り出し補正画像を表示可能であるため、複数の監視対象が点在する場合にも対応できる。
【０１６０】
なお、上述した魚眼補正ユニット１、補正パラメータ算出ユニット２、及びパラメータ入力ユニット３の一部又は全部の機能を実現するために、魚眼補正ユニット１、補正パラメータ算出ユニット２、及びパラメータ入力ユニット３の一部又は全部に、各処理を実行するために設計された専用のハードウェアを適用することができる（所謂、ハードウェアアクセラレーション）。魚眼補正ユニット１等を専用のハードウェアで実現することによって、当該ハードウェア内では回路の並列性を活かして演算を並列に行うことができるため、逐次的な命令実行（例えば、ＣＰＵによるソフトウェアの実行）の場合より処理の高速化等が実現されるからである。なお、ソフトウェアの制御のもと、画像処理装置ＳＳに搭載される図示しないＣＰＵ、ＲＡＭ，及びＲＯＭ等の制御装置が、魚眼補正ユニット１、補正パラメータ算出ユニット２、及びパラメータ入力ユニット３の一部又は全部が有する機能を実行するようにできることはいうまでもない。
【０１６１】
また、本発明に係る画像処理装置は、魚眼レンズを用いた撮影により得られた魚眼歪画像の一部分を平面正則画像に変換する機能をもった装置であるが、この装置による変換対象となる画像は、魚眼レンズを用いた撮影で得られた画像のみに限定されるものではない。たとえば、凸面鏡を用いた撮影画像など、魚眼レンズと同等の半球面射影モデルが適用される画像であれば、本発明に係る画像処理装置を利用した画像変換が可能である。
【０１６２】
［３.画像処理装置ＳＳの動作］
次に、画像処理装置ＳＳの動作について、図１３を用いて説明する。
【０１６３】
図１３は、画像処理装置ＳＳの動作を示すフローチャートである。
【０１６４】
まず、魚眼歪画像Ｓを変換して平面正則画像Ｔ又は、湾曲平面正則画像Ｃ（以下、「平面正則画像等」と総称する。）を表示部へ表示させるために、上述した変換を行うべく、ユーザのパラメータ入力ユニット３の操作に基づいて、あるいは、画像処理装置ＳＳに予め設定された値を用いて、魚眼歪画像Ｓの切り出し中心Ｐ（ｘｏ、ｙｏ）が選択されると（ステップＳ１）、これらの選択された情報を上記パラメータとして補正パラメータ算出部２１へ出力する。
【０１６５】
補正パラメータ算出部２１補正パラメータ算出部２１は、パラメータ入力ユニット３から視線ベクトルｎおよび平面傾斜角φが与えられたときに、視線ベクトルｎに基づいて方位角αおよび天頂角βを求め、式（３）〜（８）に基づいて回転係数Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆを算出し（ステップＳ２）、魚眼歪補正ユニット１へ出力する。
【０１６６】
すると、魚眼歪補正ユニット１は、補正パラメータ算出部２１から入力された算出結果（α、β、φ等）を用いて、上述した魚眼歪画像Ｓから平面正則画像等へ変換を行い、平面正則画像用メモリコントローラ５２は、当該平面正則画像等を表示画面上に表示させる（ステップＳ４）。
【０１６７】
次に、ユーザが、パラメータ入力ユニット３の操作に基づいて、表示されている平面正則画像等の任意の点Ｃｉ（ｕｉ、ｖｉ）を指定した場合には（ステップＳ５：ＹＥＳ）、対応座標算出ユニット２２は、点Ｓｉ（ｘｉ、ｙｉ）に対応する仮想球面上の点Ｑｉを決定し、点Ｑｉからα´、β´を算出する。そして補正画像の傾斜角φ´を指定し、新たな係数Ａ〜Ｆ（式（３）〜式（８）を用いて）を算出する。そして、Ｃｉ（ｕｉ、ｖｉ）の対応座標としての魚眼歪画像Ｓ上の点Ｓｉ（ｘｉ、ｙｉ）を算出し、これらの情報を魚眼歪補正ユニット１へ出力する（ステップＳ６及びステップＳ７）。
【０１６８】
ステップＳ８において、魚眼歪補正ユニット１は、対応座標算出ユニット２２から入力された情報に基づいて、点Ｃｉ（ｕｉ、ｖｉ）を中心とした平面正則画像を生成する（即ち、α´、β´、φ´を用いて歪補正を実施）。
【０１６９】
そして、平面正則画像用メモリコントローラ５２は、再変換された当該平面正則画像等を表示画面上に表示させる（ステップＳ９）。
【０１７０】
［４.再変換された平面正則画像等の表示態様］
次に、再変換された平面正則画像等の表示態様について、図１４〜図１６を用いて説明する。
【０１７１】
本実施形態の画像処理装置は、複数の平面正則画像等の任意の点Ｃｉ（ｕｉ、ｖｉ）を指定して、再変換を行い、変換後の平面正則画像等を表示部へ表示させることができる。
【０１７２】
具体的には、例えば、上記任意の点Ｃｉ（ｕｉ、ｖｉ）を指定するたびに、当該指定された点Ｃｉ（ｕｉ、ｖｉ）に対応する魚眼歪画像Ｓ上の点Ｓｉ（ｘｉ、ｙｉ）を算出し、点Ｃｉ（ｕｉ、ｖｉ）を中心とした平面正則画像（本願の画面情報の一例）を生成する。そして、生成された平面正則画像を、並べて表示部へ表示させるようにしてもよい。
【０１７３】
なお、この平面正則画像は、上述した変換と同様、平面正則画像用メモリコントローラ５２によって生成されるようにしてもよい。
【０１７４】
図１４は、任意の点Ｃｉ（ｕｉ、ｖｉ）が指定される都度再変換された平面正則画像等が並べて表示された画面例を示す図である。図１４における破線部は、再変換する対象として選択されたことを示している。
【０１７５】
図１４（Ａ）には、上記任意の点Ｃｉ（ｕｉ、ｖｉ）として、Ｃ氏及びＥ氏が順次指定された様子が示されている。
【０１７６】
図１４（Ｂ）には、生成された平面正則画像が並べて表示されている。図１４（Ｂ）に示す例では、カメラと被写体たる人物の距離の関係でＦ氏がＣ氏より大きく見えている。
【０１７７】
図１４（Ｃ）では、Ｆ氏の表示のみを縮小しＣ氏とＦ氏の大きさを合わせた場合の表示例が示されている。このように、被写体の表示サイズを変更するには、上述した倍率ｍを変更すればよい。
【０１７８】
倍率ｍを変更する手段については、図示しないＣＰＵの制御の元、補正パラメータ算出部２１に算出させるようにしてもよいし、その他、例えば図６に示すブロック図に、表示制御ユニットを新たに設けて、当該ユニットに実行させるようにしてもよい。また、表示制御手段の一例としての平面正則画像用メモリコントローラ５２によって実行させることもできる。
【０１７９】
図１４（Ｄ）では、再変換される平面正則画像Ｔの領域を拡大してＣ氏が表示された画面（左側のウインドサイズ）のみを大きくした（即ち、表示領域を拡大した）場合の表示例が示されている。この表示領域を拡大するためには、上述したｕｖ座標発生部５１によって、上記拡大させた表示領域分の座標（ｕ、ｖ）を発生させればよい。そして、発生した座標（ｕ、ｖ）は、ｕｖ座標値発生部５１から対応座標算出ユニット４へ与えられ、座標（ｕ、ｖ）に対応する対応座標（ｘ、ｙ）が算出され、平面正則画像が再変換されることとなる。
【０１８０】
図１４（Ｄ）で示されるＣ氏の表示領域は、図１４（Ｂ）においてＣ氏が表示された表示領域よりも拡大されている。従って、図１４（Ｄ）で示されるＣ氏の表示領域には、図１４（Ｂ）では表示されることがない、Ｂ氏及びＤ氏の肩まで表示されていることがわかる。
【０１８１】
また、図１４（Ｅ）では、上記倍率ｍの増加、及び表示領域の拡大を併せて実行した結果、Ｆ氏の表示領域及びＦ氏の表示サイズがそれぞれ拡大された例が示されている。
【０１８２】
このように表示させることによって、当該表示領域に表示される被写体について、より詳細な画像を得ることができる。
【０１８３】
次に、再変換された平面正則画像等に表示される被写体を物体認識技術を用いて認識し、当該認識された被写体の所定の位置を、上記任意の点Ｃｉ（ｕｉ、ｖｉ）として、再変換して表示させた例について、図１５を用いて説明する。
【０１８４】
図１５は、物体認識技術を用いて再変換させた表示例を示す図である。
【０１８５】
物体認識技術については公知の技術であるため詳しい説明は省略するが、例えば上述した物体認識技術として一般的に知られているパターンマッチング法や、特徴点抽出法によりまず物体を認識する。そして認識した物体のうち予め設定された点（例えば物体の重心位置等）を上記任意の点Ｃｉ（ｕｉ、ｖｉ）として、再変換して表示するようにしてもよい。この物体認識を行う構成は、例えば、図６に示される構成例に、ＣＰＵ等から構成される物体認識手段を加えるように構成する。
【０１８６】
図１５（Ａ）には、平面正則画像内の矩形の実線は物体認識により、人物の顔が認識されたイメージを示している。点線は、対応する魚眼歪画像Ｓの切り出し領域を示す。切り出し領域を示す。
【０１８７】
図１５（Ｂ）には、再変換された表示例（即ち、切り出し補正画像表示例）が示されている。図１５（Ｂ）に示すように、複数対象が存在する場合も対応できる。また、対象が移動した場合でも認識により自動追尾できるようになっている。このような自動追尾は、上記特徴点抽出法によって、オプティカルフローを算出し、公知の追跡処理を行うことにより実現可能である。
【０１８８】
再変換される画像は、ポインティングデバイスによって（即ち、人為的動作に基づく指定により）上記任意の点Ｃｉ（ｕｉ、ｖｉ）が複数選択されたものであってもよい。
【０１８９】
図１６には、ポインティングデバイスによって（即ち、人為的動作に基づく指定により）上記任意の点Ｃｉ（ｕｉ、ｖｉ）が複数選択された様子が示されている。
【０１９０】
図１６（Ａ）には、切り出し領域として平面正則画像内の点線矩形領域が、十字記号はポインティングデバイスによって指定されたことを示す記号（ポインティングマーカ）を示す。
【０１９１】
図１６（Ｂ）には、再変換された表示例（切り出し補正画像表示例）が示されている。
このようにポインティングデバイスで指定した切り出し領域を新規ウインドに表示することで複数対象が存在する場合も対応できる。また、新規ウインドへの切り出し補正画像表示のみでなく、指定ウインドに注目位置を更新した切り出し補正画像を表示することができる。監視対象が移動した場合でも手動で切り出し領域を更新することで追尾できる。
【０１９２】
［５.監視カメラシステムへの適用例］
次に、画像処理装置ＳＳを監視カメラシステムへ適用させた例について、図１７を用いて説明する。
【０１９３】
図１７は、画像処理装置ＳＳを監視カメラシステムへ適用させた例を示す概念図である。
【０１９４】
本実施形態における画像処理装置ＳＳには、図６に示す構成に加えて、魚眼レンズ（広角レンズ又は全方位ミラー等でもよい）を搭載したデジタルカメラ（画像処理装置ＳＳへ魚眼歪画像を出力できる装置であればよい）、表示装置の他、上記変換された平面正則画像に示される特定の物体を認識する物体認識手段と、当該認識した物体が平面正則画像で示す継時的な変化を、前記各平面正則画像毎に認識する動作認識手段をさらに加えて構成される。そして、動作認識手段によって認識された前記各平面正則画像毎の物体上の任意の点に対応する魚眼歪画像上の画素情報を特定し、当該特定された位置に基づいて再変換するようになっている。この物体認識手段及び動作認識手段は、ＣＰＵ等に実現させるようにするようにしてもよい。
【０１９５】
図１７（Ａ）には魚眼歪画像が、図１７（Ｂ）には上記変換された平面正則画像（即ち、画像処理装置ＳＳによって魚眼歪画像から生成した平面正則画像）がそれぞれ表示されている。
【０１９６】
図１７（Ａ）に示すように、魚眼歪画像は、その画像の中心部から離れるにつれて歪みが強く発生するため、従来の物体認識技術との併用は困難であることはすでに述べた。そして、図１７（Ｂ）に示す平面正則画像は、広い画角に対して正則な人物を表示することができるため、従来の物体認識技術との併用が可能であることもすでに述べた。
【０１９７】
そこで、本監視カメラシステムは、平面正則画像に対して物体認識技術を適用することで監視対象の自動位置検出をし、当該検出した監視対象を継続的に監視することを可能としている。
【０１９８】
具体的には、図１７（Ｃ）に示すように、本発明の適用により平面正則画像で自動検出した監視対象位置に対応する魚眼歪画像上での監視対象位置を、継時的（継続的に）に算出することができる。魚眼歪画像上での監視対象位置を切り出し補正画像の中心にすること（即ち、上記再変換を行うこと）で、監視対象の自動追尾が可能である。
【０１９９】
この図１７（Ｃ）について、具体的に説明すると、図１７（Ｃ）（１）〜（４）の上部に示す図は変換後の平面正則画像である（図１７（Ｃ）では、（１）〜（４）の順に人が右から左へと移動している状態を示している）。
【０２００】
平面正則画像上で検出した位置の魚眼歪画像（中部の図）に対応する位置を上記再変換により算出する。下部の図は魚眼歪画像上の算出した監視対象の位置を中心とした切り出し補正画像（即ち、再変換した平面正則画像）を示す。物体認識技術により自動で検出した監視対象の位置を切り出し補正画像の中心位置（即ち、上記任意の点Ｃｉ（ｕｉ、ｖｉ））に更新し続け、当該中心位置を基準に再変換した画像を表示することで監視対象の自動追尾が可能である。
【０２０１】
［６.ＴＶ会議システムへの適用例］
次に、画像処理装置ＳＳを監視カメラシステムへ適用させた例について、図１８及び図１９を用いて説明する。
【０２０２】
図１８は、魚眼レンズカメラを横向きに設置した場合の画像処理装置ＳＳをＴＶ会議室システムへ適用させた例を示す概念図であり、図１９は、魚眼レンズカメラを天頂方向へ向けて設置した場合の画像処理装置ＳＳをＴＶ会議室システムへ適用させた例を示す概念図である。
【０２０３】
本実施形態における画像処理装置ＳＳには、図６に示す構成に加えて、魚眼レンズ（広角レンズ又は全方位ミラー等でもよい）を搭載したデジタルカメラ（画像処理装置ＳＳへ魚眼歪画像を出力できる装置であればよい）、表示装置の他、上記物体認識手段をさらに加えて構成される。この物体認識手段は、ＣＰＵ等に実現させるようにするようにしてもよい。
【０２０４】
図１８（Ａ）には、横方向に向けた魚眼レンズカメラを会議室に設置した例の概略図が示されている。この場合、例えば、魚眼レンズカメラは壁などに設置され、被写体たる人間と正対する方向に設置される。
【０２０５】
図１８（Ｂ）には、本システムにおいて変換された平面正則画像が示されている。図１８（Ｂ）に示すように約１８０度の広い画角の平面正則画像が得られるため、１台の魚眼レンズカメラで複数の会議参加者を表示することができる。
【０２０６】
図１８（Ｃ）には、物体認識技術を適用して会議参加者（人物）を認識し、そして認識した人物のうち予め設定された点（例えば人物の重心位置等）を上記任意の点Ｃｉ（ｕｉ、ｖｉ）として、再変換して平面正則画像が表示された例が示されている。
【０２０７】
平面正則画像として、会議参加者を分割ウインドで表示することで詳細を複数点同時に観察することができる。
【０２０８】
また、図１８（Ｄ）に示すように、各ウインド内の画像の拡大縮小の倍率を個別に変更することで、カメラとの距離にかかわらず人物の大きさを統一して表示することができる。
【０２０９】
なお、魚眼レンズカメラが横方向に向けられた場合には、上述した図５（Ａ）の向きで魚眼歪補正が行われることとなる。
【０２１０】
また、図１９（Ａ）には、天頂方向へ向けた魚眼レンズカメラを会議室に設置した例の概略図が示されている。この場合、例えば、魚眼レンズカメラはテーブルの上に天井へ向けて設置され、被写体たる人間と平行に設置される。
【０２１１】
図１９（Ｂ）には、本システムにおいて変換された平面正則画像が示されている。図１９（Ｂ）に示すように約３６０度の広い画角の平面正則画像が得られるため、１台の魚眼レンズカメラで全ての会議参加者を表示することができる。
【０２１２】
図１９（Ｃ）には、物体認識技術を適用して会議参加者（人物）を認識し、そして認識した人物のうち予め設定された点（例えば人物の重心位置等）を上記任意の点Ｃｉ（ｕｉ、ｖｉ）として、再変換して平面正則画像が表示された例が示されている。
【０２１３】
平面正則画像として、会議参加者を分割ウインドで表示することで詳細を複数点同時に観察することができる。
【０２１４】
［７.パンチルトズームカメラへの適用例］
次に、画像処理装置ＳＳをパンチルトズームカメラへ適用させた例について、図２０及び図２１を対比させて説明する。
【０２１５】
図２０は、画像処理装置ＳＳをパンチルトズームカメラへ適用させた場合のブロック図を示し、図２１は、像処理装置Ｓをパンチルトズームカメラへ適用させた場合の概念図を示す。
【０２１６】
図２０に示すように、画像処理装置ＳＳをパンチルトズームカメラへ適用させた場合のブロック図では、先に示した画像処理装置ＳＳのブロック図に、魚眼レンズ（広角レンズ又は全方位ミラー等でもよい）を搭載したデジタルカメラ（魚眼カメラ。画像処理装置ＳＳへ魚眼歪画像を出力できる装置であればよい）と、パンチルトズームカメラ１００（本願の監視カメラ）及び魚眼レンズカメラとパンチルトズームカメラの対応座標算出ユニット１０１（本願の位置制御手段の一例）を加えて構成される。
【０２１７】
パンチルトズームカメラ１００は、水平方向、垂直方向にカメラのレンズの向きを駆動可能な機構部と、光学ズーム機構を備えたカメラである。
【０２１８】
魚眼レンズカメラとパンチルトズームカメラの対応座標算出ユニット１０１は、パンチルトズームカメラ１００を所定の方向へ位置制御させるための制御信号を、パンチルトズームカメラ１００へ出力する。当該制御信号の入力により、パンチルトズームカメラ１００の駆動部は、制御信号に示される位置へ駆動するようになっている。
【０２１９】
図２１（Ａ）は、画像処理装置ＳＳをパンチルトカメラへ適用させた場合の概念図を示す。図２１（Ａ）に示すように、魚眼カメラとパンチルトズームカメラは互いに情報を送受信可能に接続されている。
【０２２０】
パンチルトズームカメラ１００は、歪みの少ない画像を撮像できるが（即ち、視認性の高い画像を撮像できる）、画角が狭く、またパンチルトにより死角が発生することが一般的に知られている。そこで、本実施形態では、画像処理装置ＳＳをパンチルトズームカメラ１００へ適用させて、画角の広い魚眼レンズで撮像された画像から監視対象を把握し、パンチルトズームカメラ１００によって監視対象を視認性の高い画像で撮像するようになっている。
【０２２１】
本実施形態の動作を実現するために、魚眼レンズカメラとパンチルトズームカメラの対応座標算出ユニット１０１は、魚眼カメラで算出した監視対象の位置情報をパンチルトズームカメラ１００に送信し、パンチルトズームカメラの制御を行うようになっている。
【０２２２】
当該制御の概念について、図２１（Ｂ）〜図２１（Ｅ）を用いて説明する。
【０２２３】
図２１（Ｂ）の左図は魚眼カメラによって撮像された魚眼歪画像を示し、図２１（Ｂ）の右図はパンチルトズームカメラ１００によって撮像された平面正則画像を示す。これらの撮像中心を比較すると、それぞれのカメラの設置位置により座標系の中心に差が生じているのがわかる。魚眼レンズカメラとパンチルトズームカメラの対応座標算出ユニット１０１は、魚眼カメラによって撮像された魚眼歪画像の撮像中心（第１の撮像中心の一例）と、パンチルトズームカメラ１００によって撮像された平面正則画像の撮像中心（第２の撮像中心）の差（以下、「中心位置の差」と称する。）を算出する。中心位置の差は、予め記憶するようにしてもよい。
【０２２４】
また、魚眼レンズによって撮像される画角は予め決められているため、撮像中心から撮像された画像内に存在する物体の現実の距離（以下、「魚眼カメラから得た位置情報」とする。）を把握することができる。同様に、パンチルトズームカメラ１００によって撮像される画角もあらかじめ決められているため、撮像中心から撮像された画像内に存在する物体の現実の距離（以下、「パンチルトズームカメラ１００の位置情報」とする。）を把握することができる。
【０２２５】
本実施形態では、上記中心位置の差と、魚眼カメラから得た位置情報及びパンチルトズームカメラ１００の位置情報に基づいて、パンチルトズームカメラ１００の撮像中心を設定するための距離情報を算出し、当該距離情報が示す位置にパンチルトズームカメラ１００の撮像中心を移動させるための制御信号をパンチルトズームカメラ１００へ出力するようになっている。
【０２２６】
そこで、魚眼レンズカメラとパンチルトズームカメラの対応座標算出ユニット１０１は、魚眼歪画像が変換され平面正則画像が表示されている場合に（図２１（Ｃ））、当該平面正則画像で監視対象が選択（ポインティングデバイスによる選択又は物体認識技術による認識を含む）された場合には（図２１（Ｄ））、上述した再変換の中心座標Ｃｉとして選択された監視対象の所定の位置（例えば重心等）に対応する魚眼歪画像の座標Ｓｉを算出する。
【０２２７】
そして、魚眼レンズカメラとパンチルトズームカメラの対応座標算出ユニット１０１は、上記中心位置の差と、Ｓｉの魚眼カメラから得た位置情報を距離情報として算出し、算出された距離情報に基づいて、魚眼カメラから得た位置情報及び上記Ｓｉがパンチルトズームカメラ１００の撮像中心となるように、パンチルトズームカメラ１００の駆動部へ制御信号を送信する。
【０２２８】
すると、パンチルトズームカメラ１００はパンチルトズームを行うことで監視対象を撮像する（図２１（Ｅ））。本発明とパンチルトズームカメラを併用することでパンチルトズームカメラの効率的な制御が可能である。
【０２２９】
次に、画像処理装置ＳＳをパンチルトズームカメラへ適用させた場合の画像処理装置ＳＳの動作について、図２２を用いて説明する。
【０２３０】
図２２は、画像処理装置ＳＳをパンチルトズームカメラへ適用させた場合の画像処理装置ＳＳの動作を示すフローチャートである。
【０２３１】
まず、魚眼レンズカメラとパンチルトズームカメラの対応座標算出ユニット１０１は、魚眼カメラによって撮像された魚眼歪画像の撮像中心と、パンチルトズームカメラ１００によって撮像された平面正則画像の撮像中心の差（「中心位置の差」）を算出する（ステップＳ１１）。
【０２３２】
魚眼歪画像Ｓを変換して平面正則画像等を表示部へ表示させるために、上述した変換を行うべく、ユーザのパラメータ入力ユニット３の操作に基づいて、あるいは、画像処理装置ＳＳに予め設定された値を用いて、魚眼歪画像Ｓの切り出し中心Ｐ（Ｘ０、Ｙ０）が選択されると（ステップＳ１２）、これらの選択された情報を上記パラメータとして補正パラメータ算出部２１へ出力する。
【０２３３】
補正パラメータ算出部２１は、パラメータ入力ユニット３から視線ベクトルｎおよび平面傾斜角φが与えられたときに、視線ベクトルｎに基づいて方位角αおよび天頂角βを求め、式（３）〜（８）に基づいて回転係数Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆを算出し（ステップＳ１３）、魚眼歪補正ユニット１へ出力する。
【０２３４】
すると、魚眼歪補正ユニット１は、補正パラメータ算出部２１から入力された算出結果（α、β、φ等）を用いて、上述した魚眼歪画像Ｓから平面正則画像等へ変換を行い（ステップＳ１４）、平面正則画像用メモリコントローラ５２は、当該平面正則画像等を表示画面上に表示させる（ステップＳ１５）。
【０２３５】
平面正則画像等で監視対象が選択された場合には（ステップ１６：ＹＥＳ）、上述した再変換の中心座標Ｃｉとして選択された監視対象の所定の位置（例えば重心等）に対応する魚眼歪画像の座標Ｓｉを算出する（ステップＳ１７）。
【０２３６】
次に、魚眼レンズカメラとパンチルトズームカメラの対応座標算出ユニット１０１は、上記中心位置の差と、Ｓｉの魚眼カメラから得た位置情報に基づいて、魚眼カメラから得た位置情報及び上記Ｓｉがパンチルトズームカメラ１００の撮像中心となるように、パンチルトズームカメラ１００の駆動部へ制御信号を送信する（ステップＳ１８）。
【０２３７】
すると、パンチルトズームカメラ１００はパンチルトズームを行うことで監視対象を撮像する（ステップＳ１９）。
【０２３８】
なお、以上説明した実施形態は特許請求の範囲にかかる発明を限定するものではない。そして、上記実施形態の中で説明されている構成の組合せ全てが発明の課題解決に必須の手段であるとは限らない。
【０２３９】
以上説明したように、魚眼レンズによって撮像された魚眼歪画像Ｓに基づいて生成された二次元的に視認可能な平面正則画像等の任意の点Ｃｉ（ｕｉ、ｖｉ）の選択指示を受け付けると、Ｃｉ（ｕｉ、ｖｉ）の対応座標としての魚眼歪画像Ｓ上の点Ｓｉ（ｘｉ、ｙｉ）を算出し、Ｃｉ（ｕｉ、ｖｉ）を中心として、当該魚眼歪画像Ｓを構成する画素情報群に基づいて、平面正則画像を構成する画素情報群を新たに生成するように構成したため、広範囲な画角で撮像された魚眼歪画像等に基づいて正確かつ実効的な物体認識を行うことができる。
【０２４０】
なお、上記実施形態においては、本願を画像処理装置に対して適用した場合の例を示したが、その他にも例えば、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ又は家庭用等の電子機器等に対しても適用可能である。
【符号の説明】
【０２４１】
１ 魚眼歪補正ユニット
２ 補正パラメータ算出ユニット
３ パラメータ入力ユニット
４ 対応座標算出ユニット
５ 平面正則画像作成ユニット
６ 魚眼歪画像用メモリ
７ 平面正則画像用メモリ
ＳＳ 画像処理装置
【特許請求の範囲】
【請求項１】
外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶手段と、
前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換手段と、
前記変換された平面正則画像を構成する画素情報群を記憶する平面正則画像記憶手段と、
前記記憶された平面正則画像上の任意の点に対応する画素情報の選択指示を受け付ける選択指示受付手段と、
前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定する対応座標特定手段と、
前記特定された画素情報を中心に、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に再変換する再変換手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記再変換された平面正則画像を構成する画素情報群に基づいて、表示部へ表示させる所定の大きさの画面情報を生成する画面情報生成手段と、
を備えることを特徴とする画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置であって、
前記選択指示受付手段は、前記変換手段によって変換された平面正則画像上の複数の点に対応する画素情報の選択指示を受け付け、
前記対応座標特定手段は、前記選択指示が示す平面正則画像上のそれぞれの画素情報に対応する歪円形画像上の画素情報を特定し、
前記再変換手段は、前記特定されたそれぞれの画素情報を中心に、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報に、前記対応座標特定手段によって特定されたそれぞれの画素情報毎に再変換することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記生成された各画面情報を、前記表示部に同一の大きさに表示されるように表示態様を制御する表示制御手段と、
を備えることを特徴とする画像処理装置。
【請求項５】
請求項１乃至４の何れか１項に記載の画像処理装置であって、
前記変換された平面正則画像に示される所定の物体を認識する物体認識手段と、を備え、
前記選択指示受付手段は、前記認識された物体上の任意の点に対応する画素情報の選択指示を受け付けることを特徴とする画像処理装置。
【請求項６】
外部から入力される広角レンズ又は全方位ミラーによって被写体を継続的に撮像した複数の歪円形画像に基づいて生成される当該複数の歪円形画像を構成する画素情報群を、各歪円形画像に対応付けて記憶する歪円形画像記憶手段と、
前記記憶された各歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に、前記各歪円形画像毎に変換する変換手段と、
前記変換された各平面正則画像を構成する画素情報群を記憶する平面正則画像記憶手段と、
前記変換された平面正則画像に示される特定の物体を認識する物体認識手段と、
前記認識した物体が平面正則画像で示す継時的な変化を、前記各平面正則画像毎に認識する動作認識手段と、
前記動作認識手段によって認識された前記各平面正則画像毎の物体上の任意の点に対応する歪円形画像上の画素情報を特定する第２の対応座標特定手段と、
前記第２の対応座標特定手段によって特定された各歪画像上の画素情報を中心に、前記歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に、第２の対応座標特定手段によって特定された各画素情報毎に再変換する再変換手段と、
を備えることを特徴とする画像処理装置。
【請求項７】
広角レンズ又は全方位ミラーによって撮像した被写体を歪円形画像として画像処理装置へ出力するカメラと、前記入力された歪円形画像に基づいて画面情報を生成して端末装置へ出力する前記画像処理装置と、を備えた会議システムであって、
前記画像処理装置は、
前記入力された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶手段と、
前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換手段と、
前記変換された平面正則画像を構成する画素情報群を格納する平面正則画像記憶手段と、
前記変換された平面正則画像に示される一又は複数の特定の物体を認識する物体認識手段と、
前記認識された物体上の任意の点に対応する画素情報の選択指示を、前記認識した物体毎に受け付ける選択指示受付手段と、
前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を、前記認識した物体毎に特定する対応座標特定手段と、
前記対応座標特定手段によって特定された画素情報を中心に、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に、前記認識した物体毎に再変換する再変換手段と、
前記再変換された平面正則画像を構成する画素情報群を、表示部へ表示させる所定の大きさの画面情報として前記認識した物体毎に生成する画面情報生成手段と、
前記生成された画面情報を前記端末装置へ出力する出力手段と、
を備えることを特徴とする会議システム。
【請求項８】
請求項７に記載の会議システムであって、
前記カメラは、当該カメラに搭載される広角レンズ又は全方位ミラーを天頂方向へ向けて配置されることを特徴とする会議システム。
【請求項９】
広角レンズ又は全方位ミラーによって第１の撮像中心から所定の撮像範囲内で撮像された被写体を歪円形画像として画像処理装置へ出力する機能と、ズーム機構を備えたレンズ群によって第２の撮像中心から所定の範囲内で撮像された被写体を平面正則画像として前記画像処理装置へ出力する機能を搭載した監視カメラと、前記入力された歪円形画像に基づいて画面情報を生成する前記画像処理装置と、
を備える監視システムであって、
前記監視カメラは、
当該カメラの撮像する位置を切り替えるパンチルト駆動手段と、
を備え、
前記画像処理装置は、
前記入力された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶手段と、
前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換手段と、
前記変換された平面正則画像を構成する画素情報群を格納する平面正則画像記憶手段と、
前記変換された平面正則画像に示される物体を認識する物体認識手段と、
前記記憶された平面正則画像上の任意の点に対応する画素情報の選択指示を受け付ける選択指示受付手段と、
前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定する対応座標特定手段と、
予め算出された前記第１の撮像中心と前記第２の撮像中心に基づいて、前記第２の撮像中心を、前記対応座標特定手段によって特定された画素情報が示す位置に新たに設定するための距離情報を算出し、当該距離情報が示す位置に監視カメラを駆動させるための制御信号を前記パンチルト駆動手段に出力する位置制御手段と、
を備えることを特徴とする監視システム。
【請求項１０】
外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶工程と、
前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換工程と、
前記変換された平面正則画像を構成する画素情報群を記憶する平面正則画像記憶工程と、
前記記憶された平面正則画像上の任意の点に対応する画素情報の選択指示を受け付ける選択指示受付工程と、
前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定する対応座標特定工程と、
前記対応座標特定工程によって特定された画素情報を中心に、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に再変換する再変換工程と、
を有することを特徴とする画像処理装置における画像処理方法。
【請求項１１】
画像処理装置に含まれるコンピュータを、
外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶手段、
前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換手段、
前記変換された平面正則画像を構成する画素情報群を記憶する平面正則画像記憶手段、
前記記憶された平面正則画像上の任意の点に対応する画素情報の選択指示を受け付ける選択指示受付手段、
前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定する対応座標特定手段、
前記対応座標特定手段によって特定された画素情報を中心に、前記歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に再変換する再変換手段、
として機能させることを特徴とする画像処理プログラム。
【請求項１】
外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶手段と、
前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換手段と、
前記変換された平面正則画像を構成する画素情報群を記憶する平面正則画像記憶手段と、
前記記憶された平面正則画像上の任意の点に対応する画素情報の選択指示を受け付ける選択指示受付手段と、
前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定する対応座標特定手段と、
前記特定された画素情報を中心に、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に再変換する再変換手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記再変換された平面正則画像を構成する画素情報群に基づいて、表示部へ表示させる所定の大きさの画面情報を生成する画面情報生成手段と、
を備えることを特徴とする画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置であって、
前記選択指示受付手段は、前記変換手段によって変換された平面正則画像上の複数の点に対応する画素情報の選択指示を受け付け、
前記対応座標特定手段は、前記選択指示が示す平面正則画像上のそれぞれの画素情報に対応する歪円形画像上の画素情報を特定し、
前記再変換手段は、前記特定されたそれぞれの画素情報を中心に、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報に、前記対応座標特定手段によって特定されたそれぞれの画素情報毎に再変換することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記生成された各画面情報を、前記表示部に同一の大きさに表示されるように表示態様を制御する表示制御手段と、
を備えることを特徴とする画像処理装置。
【請求項５】
請求項１乃至４の何れか１項に記載の画像処理装置であって、
前記変換された平面正則画像に示される所定の物体を認識する物体認識手段と、を備え、
前記選択指示受付手段は、前記認識された物体上の任意の点に対応する画素情報の選択指示を受け付けることを特徴とする画像処理装置。
【請求項６】
外部から入力される広角レンズ又は全方位ミラーによって被写体を継続的に撮像した複数の歪円形画像に基づいて生成される当該複数の歪円形画像を構成する画素情報群を、各歪円形画像に対応付けて記憶する歪円形画像記憶手段と、
前記記憶された各歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に、前記各歪円形画像毎に変換する変換手段と、
前記変換された各平面正則画像を構成する画素情報群を記憶する平面正則画像記憶手段と、
前記変換された平面正則画像に示される特定の物体を認識する物体認識手段と、
前記認識した物体が平面正則画像で示す継時的な変化を、前記各平面正則画像毎に認識する動作認識手段と、
前記動作認識手段によって認識された前記各平面正則画像毎の物体上の任意の点に対応する歪円形画像上の画素情報を特定する第２の対応座標特定手段と、
前記第２の対応座標特定手段によって特定された各歪画像上の画素情報を中心に、前記歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に、第２の対応座標特定手段によって特定された各画素情報毎に再変換する再変換手段と、
を備えることを特徴とする画像処理装置。
【請求項７】
広角レンズ又は全方位ミラーによって撮像した被写体を歪円形画像として画像処理装置へ出力するカメラと、前記入力された歪円形画像に基づいて画面情報を生成して端末装置へ出力する前記画像処理装置と、を備えた会議システムであって、
前記画像処理装置は、
前記入力された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶手段と、
前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換手段と、
前記変換された平面正則画像を構成する画素情報群を格納する平面正則画像記憶手段と、
前記変換された平面正則画像に示される一又は複数の特定の物体を認識する物体認識手段と、
前記認識された物体上の任意の点に対応する画素情報の選択指示を、前記認識した物体毎に受け付ける選択指示受付手段と、
前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を、前記認識した物体毎に特定する対応座標特定手段と、
前記対応座標特定手段によって特定された画素情報を中心に、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に、前記認識した物体毎に再変換する再変換手段と、
前記再変換された平面正則画像を構成する画素情報群を、表示部へ表示させる所定の大きさの画面情報として前記認識した物体毎に生成する画面情報生成手段と、
前記生成された画面情報を前記端末装置へ出力する出力手段と、
を備えることを特徴とする会議システム。
【請求項８】
請求項７に記載の会議システムであって、
前記カメラは、当該カメラに搭載される広角レンズ又は全方位ミラーを天頂方向へ向けて配置されることを特徴とする会議システム。
【請求項９】
広角レンズ又は全方位ミラーによって第１の撮像中心から所定の撮像範囲内で撮像された被写体を歪円形画像として画像処理装置へ出力する機能と、ズーム機構を備えたレンズ群によって第２の撮像中心から所定の範囲内で撮像された被写体を平面正則画像として前記画像処理装置へ出力する機能を搭載した監視カメラと、前記入力された歪円形画像に基づいて画面情報を生成する前記画像処理装置と、
を備える監視システムであって、
前記監視カメラは、
当該カメラの撮像する位置を切り替えるパンチルト駆動手段と、
を備え、
前記画像処理装置は、
前記入力された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶手段と、
前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換手段と、
前記変換された平面正則画像を構成する画素情報群を格納する平面正則画像記憶手段と、
前記変換された平面正則画像に示される物体を認識する物体認識手段と、
前記記憶された平面正則画像上の任意の点に対応する画素情報の選択指示を受け付ける選択指示受付手段と、
前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定する対応座標特定手段と、
予め算出された前記第１の撮像中心と前記第２の撮像中心に基づいて、前記第２の撮像中心を、前記対応座標特定手段によって特定された画素情報が示す位置に新たに設定するための距離情報を算出し、当該距離情報が示す位置に監視カメラを駆動させるための制御信号を前記パンチルト駆動手段に出力する位置制御手段と、
を備えることを特徴とする監視システム。
【請求項１０】
外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶工程と、
前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換工程と、
前記変換された平面正則画像を構成する画素情報群を記憶する平面正則画像記憶工程と、
前記記憶された平面正則画像上の任意の点に対応する画素情報の選択指示を受け付ける選択指示受付工程と、
前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定する対応座標特定工程と、
前記対応座標特定工程によって特定された画素情報を中心に、前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に再変換する再変換工程と、
を有することを特徴とする画像処理装置における画像処理方法。
【請求項１１】
画像処理装置に含まれるコンピュータを、
外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像に基づいて生成される当該歪円形画像を構成する画素情報群を記憶する歪円形画像記憶手段、
前記記憶された歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に変換する変換手段、
前記変換された平面正則画像を構成する画素情報群を記憶する平面正則画像記憶手段、
前記記憶された平面正則画像上の任意の点に対応する画素情報の選択指示を受け付ける選択指示受付手段、
前記選択指示が示す平面正則画像上の画素情報に対応する歪円形画像上の画素情報を特定する対応座標特定手段、
前記対応座標特定手段によって特定された画素情報を中心に、前記歪円形画像を構成する画素情報群を、二次元的に視認可能な平面正則画像を構成する画素情報群に再変換する再変換手段、
として機能させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１２−８９９５４（Ｐ２０１２−８９９５４Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３３０８０（Ｐ２０１０−２３３０８０）
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]