説明

画像処理装置、画像処理方法、及び画像処理プログラム

【課題】歪円形画像に撮像される撮像対象の把握性を向上させることができる画像処理装置、画像処理方法及び画像処理プログラム等を提供する。
【解決手段】魚眼画像を魚眼画像用モニタ2に表示可能な魚眼画像データに変換し、所定の位置を基準とした所定の範囲内の魚眼画像を、平面正則画像用モニタ3に二次元的に視認可能に表示する平面正則画像データに歪補正し、魚眼画像データ又は、平面正則画像データを、選択的に出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データを処理する画像処理装置及び画像処理方法等の技術分野に関する。
【背景技術】
【0002】
広角レンズ(例えば、魚眼レンズ)又は全方位ミラーは、広範囲な画角で被写体を撮像できるため、例えば、監視カメラシステム、テレビ会議システム等のカメラ装置(例えば、魚眼カメラ)に適用されている。
【0003】
この魚眼カメラで撮像された魚眼画像(歪円形画像の一例)には歪が生じ、特に当該画像の外縁部(端面部)では著しい歪が生じる。そこで、魚眼画像に示される被写体の識別性を向上させるため、魚眼画像を二次元的に視認可能な平面正則画像に変換し、上記歪を補正する魚眼補正処理が行われている。
【0004】
また、魚眼補正処理を適用した技術として、特許文献1では、魚眼レンズ全景縮小画像と、ポインティングデバイスで指定した当該魚眼画像内の所望の領域の切り出し歪補正領域とを同一画面上に出力表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−301034号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に開示された技術では、切り出し歪補正領域で示される画像に、魚眼レンズ全景縮小画像が縮小されて重畳して表示されているため、かかる魚眼レンズ全景縮小画像を十分に把握することが困難であった。また、切り出し歪補正領域で示される画像に、魚眼レンズ全景縮小画像が縮小されて重畳して表示されているため、かかる画像の表示方法に自由度が低いという問題点もあった。
【0007】
そこで、本願発明は、このような問題等に鑑みてなされたものであり、歪円形画像に撮像される撮像対象の把握性を向上させることができる画像処理装置、画像処理方法及び画像処理プログラム等を提供することを課題の一つとする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、請求項1に記載の発明は、外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像を、表示部に表示可能な歪円形画像データに変換する歪円形画像変換手段と、所定の位置を基準とした所定範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正する歪補正手段と、前記歪円形画像データ又は、前記平面正則画像データを、選択的に出力する選択手段と、を備えることを特徴とする。
【0009】
この発明によれば、歪円形画像に撮像される撮像対象の把握性及び画像の表示方法の自由度を向上させることができる。
【0010】
請求項2に記載の発明は、請求項1に記載の画像処理装置であって、前記選択手段は、前記歪円形画像データを第1の表示部へ、前記平面正則画像データを第2の表示部へそれぞれ出力することを特徴とする。
【0011】
この発明によれば、歪円形画像に撮像される撮像対象の把握性及び画像の表示方法の自由度をさらに向上させることができる。
【0012】
請求項3に記載の発明は、請求項1又は2に記載の画像処理装置であって、前記歪円形画像の所定の位置を指示する指示手段を更に備え、前記歪補正手段は、前記指示手段によって指示された位置を基準に所定の範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正して出力することを特徴とする。
【0013】
この発明によれば、歪円形画像に撮像される撮像対象の把握性を向上させ、歪円形画像から所望の平面正則画像を得ることができる。
【0014】
請求項4に記載の発明は、請求項1乃至3の何れか一項に記載の画像処理装置であって、前記歪円形画像変換手段は、前記歪円形画像を、所定の倍率又は大きさで歪円形画像データに変換することを特徴とする。
【0015】
この発明によれば、円形画像に撮像される撮像対象の把握性を向上させ、歪円形画像から所望の平面正則画像を得ることができる。
【0016】
請求項5に記載の発明は、請求項1乃至4の何れか一項に記載の画像処理装置であって、前記歪円形画像データには、矩形の領域を示す平面正則画像データとして変換される領域を表示するポインタが表示され、前記指示手段は、前記ポインタによって、前記歪円形画像データの所定の位置を指示可能とし、前記歪補正手段は、前記ポインタによって指示された位置を基準に所定の範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正して出力することを特徴とする。
【0017】
請求項6に記載の発明は、画像処理装置における画像処理方法であって、外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像を、表示部に表示可能な歪円形画像データに変換する歪円形画像変換工程と、所定の位置を基準とした所定範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正する歪補正工程と、前記歪円形画像データ又は、前記平面正則画像データを、選択的に出力する選択工程と、を有することを特徴とする。
【0018】
請求項7に記載の発明は、画像処理装置に含まれるコンピュータを、外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像を、表示部に表示可能な歪円形画像データに変換する歪円形画像変換手段、所定の位置を基準とした所定範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正する歪補正手段、前記歪円形画像データ又は、前記平面正則画像データを、選択的に出力する選択手段、として機能させることを特徴とする。
【発明の効果】
【0019】
本発明によれば、前記歪円形画像データ又は、前記平面正則画像データを、選択的に出力するため、歪円形画像に撮像される撮像対象の把握性を向上させることができる。
【図面の簡単な説明】
【0020】
【図1】本実施形態に係る画像処理システムの構成及び機能概要を示すシステム図である。
【図2】本実施形態に係る画像処理装置1の構成及び機能概要を示すブロック図である。
【図3】画像処理装置1における魚眼画像データを、平面正則データへの変換を示す概念図である。
【図4】セレクタ17の機能概要を示す概念図である。
【図5】魚眼画像が魚眼画像用モニタ2へ、平面正則画像が平面正則画像用モニタ3へ、あたかもそれぞれ同時に表示されているように見せかけたときの表示画面例である。
【図6】画像処理装置1によって実行される処理の流れを示すフローチャートである。
【図7】魚眼画像データが所定の倍率又は大きさで表示される場合、及び、魚眼画像の所定の位置を中心に、所定の範囲内の魚眼画像データが平面正則画像データに変換されて表示される場合のマイコン18の動作を示すフローチャートである。
【図8】魚眼画像データが所定の倍率又は大きさで表示される場合、及び、魚眼画像の所定の位置を中心に、所定の範囲内の魚眼画像データが平面正則画像データに変換されて表示される場合の表示画面例である。
【図9】他のポインタの一例を示す表示画面例である。
【図10】矩形の領域を示す平面正則画像データとして変換される領域を、予め魚眼画像上にポインタとして表示した場合の表示画面例である。
【図11】画像処理システムSに、端末装置4を追加した場合の構成及び機能概要を示すブロック図である。
【図12】分割した画面に、一又は複数の魚眼画像又は平面正則画像を出力し、魚眼画像用モニタ2又は平面正則画像用モニタ3の表示部に表示させた場合の表示画面例である。
【発明を実施するための形態】
【0021】
以下、添付図面を参照して本発明の実施形態について詳細に説明する。以下に説明する実施形態は、画像処理システムに対して本発明を適用した場合の実施形態である。
【0022】
[1.画像処理システムの構成及び機能概要]
先ず、図1を参照して、本実施形態に係る画像処理システムの構成及び機能概要について説明する。
【0023】
図1は、本実施形態に係る画像処理システムの構成及び機能概要を示すシステム図である。
【0024】
図1に示すように、画像処理システムSは、画像処理装置1(本願の画像処理装置の一例)と、魚眼画像用モニタ2(本願の第1の表示部の一例)と、平面正則画像用モニタ3(本願の第2の表示部の一例)等を備えて構成されている。画像処理装置1と、魚眼画像用モニタ2及び平面正則画像用モニタ3は、無線(例えば、Bluetooth(登録商標)又は赤外線通信等)又は有線(例えば、電線や光ファイバー等の通信経路による電気通信)等を用いて相互にデータ(詳しくは後述する魚眼画像データ又は平面正則画像データ)の送受信が可能となっている。
【0025】
画像処理装置1は、詳しくは後述するが、光学系システム10によって撮像され所定の電気信号に変換された歪円形画像の一例としての魚眼画像を魚眼画像用モニタ2に表示可能な歪円形画像データの一例としての魚眼画像データに変換して出力する。また、所定の位置を基準とした所定範囲内の魚眼画像(即ち、魚眼画像の一部又は全部)を、平面正則画像用モニタ3に二次元的に視認可能に表示する平面正則画像データに歪補正して出力する装置である。以下、単に魚眼画像といった場合には、魚眼画像用モニタ2に表示される魚眼画像データを、平面正則画像といった場合には、平面正則画像用モニタ3に表示される平面正則画像データをいうものとする。
【0026】
魚眼画像用モニタ2及び平面正則画像用モニタ3は、詳しくは図示しないが、例えば、バックライト等の光源から照射される光が、偏光フィルタ、液晶等によって部分的に遮られ又は透過され、任意に設定可能な輝度で魚眼画像や平面正則画像等の画像を表示するディスプレイと、CPU、RAM、ROM等を有する表示処理部と、各種データ及び魚眼画像用モニタ2及び平面正則画像用モニタ3の動作を担うコンピュータプログラムが記憶されたハードディスク(又は上記ROMに記憶)等を有する記憶部と、画像処理装置1との間で魚眼画像データ又は平面正則画像データ等の受信(送受信)を行うための通信部と、を備えた装置である。通信部は、例えば、DVI(Digital Visual Interface)規格に準拠したDVI−Dコネクタ又はUSB規格に準拠したUSBコネクタ、又は、D−Subコネクタ等を備えており、これらコネクタを介して画像処理装置1に接続され、魚眼画像データ又は平面正則画像データ等を受信するために用いられる。
【0027】
このような魚眼画像用モニタ2及び平面正則画像用モニタ3としては、例えば、PDA(Personal Digital Assistant)等を適用できる。
【0028】
また魚眼画像用モニタ2及び平面正則画像用モニタ3としては、パーソナルコンピュータ用ディスプレイや、一般家庭用のテレビモニタ等を適用することもできる。この場合、魚眼画像用モニタ2及び平面正則画像用モニタ3は、ディスプレイ及び通信部のみを備え、表示処理部等を外部の装置に備える(魚眼画像用モニタ2及び平面正則画像用モニタ3には備えない)ように構成されている。
【0029】
なお、以下に示す図面において、同一の番号を示す部材は、少なくとも同一の機能及び効果を有するものとして、その説明を省略する。
【0030】
[1-1.画像処理装置1の構成及び機能概要]
次に、図2を参照して、本実施形態に係る画像処理装置1の構成及び機能概要について説明する。
【0031】
図2は、本実施形態に係る画像処理装置1の構成及び機能概要を示すブロック図である。
【0032】
図2に示すように、本実施形態に係る画像処理装置1は、光学系システム10と、拡大縮小回路11(本願の歪円形画像変換手段の一例)と、メモリコントローラ12と、メモリ13と、補正回路14(本願の歪補正手段の一例)と、メモリコントローラ15と、メモリ16と、セレクタ17(本願の選択手段の一例)と、マイコン18(本願の指示手段の一例)等を備えて構成されている。
【0033】
光学系システム10は、撮像した魚眼画像を、所定の電気信号へ変換するものである。具体的に、光学系システム10では、広角レンズ又は全方位ミラーの一例としての魚眼レンズ10aから取り込まれた光が、図示しない絞り機構等によって調節され、イメージセンサ10b上に光学像として結像される。かかる光学像は、イメージセンサ10bによって電気信号に変換され、出力されるようになっている。以下、この出力される電気信号を単に入力画像と称する。
【0034】
魚眼レンズ10aは、光学レンズの一種で、180度近くの画角を有するものを示す。魚眼レンズ10aには、正射影、等距離射影、立体射影、及び、等立体角射影の4種類の方式がある。本実施形態においては、かかる方式について、任意に選択可能であり、これに限定されるものではない。更には、他の広角レンズ又は全方位ミラー等を適用しても良い。イメージセンサ10bは、上記結像された光学像を、例えばマトリクス配置されたフォトダイオード等を用いた光電交換機能によって光学像の明るさに比例した所定の電気信号に変換し出力する。イメージセンサ10bの一例として、例えば、CCD(Charge Couple Semiconductor)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等が適用される。
【0035】
拡大縮小回路11は、マイコン18の制御に基づいて、光学系システム10によって出力された入力画像を、魚眼画像用モニタ2に表示可能な魚眼画像データに変換する。拡大縮小回路11では、撮像された魚眼画像を所定の倍率(図示しない操作部によって入力又は予め設定された倍率)で拡大又は縮小又は、所定の大きさ(切り出しサイズ)で魚眼画像データに変換することができる。魚眼画像データに変換するための方法は公知であるため詳しい説明は省略するが、例えば、上記電気信号を魚眼画像用モニタ2に表示可能な所定のビデオ信号、例えば、NTSC方式、PAL方式、又はプログレッシブスキャン方式等へ変換し出力したり、魚眼画像用モニタ2に表示可能な形式のファイル(例えば、PICT、JPEG、GIF、又はMPEG等)へ変換し、セレクタ17へ出力する。
【0036】
メモリコントローラ12は、撮像された魚眼画像を、例えば一般的な画像データ格納用のバッファメモリによって構成されるメモリ13へ、例えば、XY座標系上の座標(x、y)で示される位置に配置された多数の画素の集合体によって構成される画素情報群として格納する。また、メモリコントローラ12は、後述する補正回路14により算出された対応座標における画素のデータ(例えば、R(赤)、G(緑)、B(緑)のそれぞれの輝度を示すデータ)を、メモリ13に格納されたフレーム画像から取得し、補正回路14へ出力する。
【0037】
補正回路14は、マイコン18の制御に基づいて、魚眼画像の全て又は一部を平面正則画像へと変換し、平面正則画像用モニタ3に表示可能な所定のビデオ信号、例えば、NTSC方式、PAL方式、又はプログレッシブスキャン方式等へ変換し出力したり、魚眼画像用モニタ2に表示可能な形式のファイルへ変換する。
【0038】
なお、このビデオ信号への変換は、マイコン18の制御に基づいて、後述するメモリ16に格納された平面正則画像データを読み出した後に変換するようにしても良い。
【0039】
魚眼画像の全て又は一部を平面正則画像への変換は、公知の手法であるため詳しい説明は省略するが、平面正則画像を構成する画素情報群を得るために、当該平面正則画像を構成する各画素情報に対応する魚眼画像における各画素情報が位置する対応座標が算出される。
【0040】
具体的には、魚眼レンズの光学的特性をモデル化した仮想球面上の任意の点で接する平面を平面正則画像と定義し、当該平面上における各座標が公知の座標変換により、魚眼画像における各座標に変換され、上記対応座標が算出される。
【0041】
ここで、対応座標の算出は、魚眼画像上における点を(x、y)と、平面正則画像上における点を(u、v)とすると、パラメータとしての補正係数A〜F及び補正時の倍率に関する係数wを用いて、式(1)及び(2)によって算出されることが一般的に知られている。
【0042】
【数1】

【0043】
【数2】

また、平面正則画像T上の左右輪郭近傍に生じる歪みを改善するため、変換後の画素情報における座標C(u、v)に位置する画素情報を、UV湾曲座標系上の座標C´(u´、v)とXY座標系上の座標P(x、y)との対応関係を示す対応関係式を用いて求めた座標P(x、y)の近傍に位置する画素情報に基づいて決定し、変換後の画素配列データに基づいて平面上の表示部に画像を表示することにより、平面正則画像を求める技術(詳しくは、例えば特開2010−62790号公報参照)を適用して、魚眼画像から平面正則画像へと変換するようにしても良い。
【0044】
この場合の対応座標の算出は、魚眼画像上における点を(x、y)と、UV湾曲座標系上の座標をC´(u´、v)とすると、パラメータとしての補正係数A〜F及び補正時の倍率に関する係数w´を用いて、式(3)及び(4)によって算出される。
【0045】
【数3】

【0046】
【数4】

また、補正回路14は、魚眼画像の一部を平面正則画像に変換する場合には、例えば、魚眼画像の切り出し位置、切り出し画像サイズ、倍率に応じた魚眼補正演算に必要な各パラメータの算出及び演算を行わせる。
【0047】
この場合、例えば、魚眼画像用モニタ2に表示される魚眼画像に対して、図示しない操作部の操作によって指示された当該魚眼画像の所定の位置に基づいて、上述したパラメータが算出される。そして、魚眼画像の所定の位置を中心に、所定の範囲内の魚眼画像データを、平面正則データへと変換されるようになっている。
【0048】
ここで、図3を参照して、画像処理装置1における魚眼画像データを、平面正則データへの変換について説明する。
【0049】
図3は、画像処理装置1における魚眼画像データを、平面正則データへの変換を示す概念図である。
【0050】
例えば、図3(A)に示すように、魚眼画像用モニタ2の表示画面21には、魚眼画像22が表示されている。魚眼画像22には、ユーザの操作等により魚眼画像の所定位置を選択可能なポインタ23が表示されている。
【0051】
そして、ポインタ23により魚眼画像の所定位置が選択されると、補正回路14によって、ポインタ23を中心に、所定範囲内の魚眼画像データが平面正則画像データに変換される。
【0052】
そして、図2(B)に示すように、変換された平面正則画像データは、平面正則画像用モニタ3の表示部31に表示される。
【0053】
なお、補正回路14は、ユーザの選択操作にかかわらず、入力された魚眼画像データの全てを平面正則画像データに変換するようにしても良い。
【0054】
図2の説明に戻り、メモリコントローラ15は、補正回路14によって変換された平面正則画像データを、例えば、一般的な画像データ格納用のバッファメモリによって構成されたメモリ16へ、UV座標系上の座標(u、v)で示される位置に配置された多数の画素の集合体によって構成される画素情報群として格納する。平面正則画像データの輪郭は、任意に設定することができる。
【0055】
セレクタ17は、マイコン18の制御に基づいて、所定のデータを所定の装置に選択的に出力する。本実施形態においては、セレクタ17は、マイコン18の制御に基づいて、魚眼画像データを魚眼画像用モニタ2へ、平面正則画像データを平面正則画像用モニタ3へ出力する。
【0056】
ここで、図4を参照して、セレクタ17の機能概要について説明する。
【0057】
図4は、セレクタ17の機能概要を示す概念図である。
【0058】
図4に示すように、セレクタ17は、マイコン18の制御に基づいてPを中心に回動可能なレバーLと、レバーLの回動によって電気的に接続される端子Aと端子A´、及び端子Bと端子B´を備えている。
【0059】
端子Aは、拡大縮小回路11と電気的に接続する信号線の端部であり、魚眼画像データが出力される。端子A´は、マイコン18を介して、魚眼画像用モニタ2と電気的に接続する信号線の端部である。この端子Aと端子A´がレバーLによって接続されると、魚眼画像データが魚眼画像用モニタ2へ出力され、魚眼画像が表示されるようになっている。
【0060】
端子Bは、メモリコントローラ15と電気的に接続する信号線の端部であり、平面正則画像データが出力される。端子B´は、マイコン18を介して、平面正則画像用モニタ3と電気的に接続する信号線の端部である。この端子Bと端子B´がレバーLによって接続されると、平面正則画像データが平面正則画像用モニタ3へ出力され、平面正則画像が表示されるようになっている。
【0061】
画像処理装置1では、マイコン18の制御に基づいて、所定のタイミングで、魚眼画像を魚眼画像用モニタ2へ、平面正則画像を平面正則画像用モニタ3へ、それぞれ表示させることができる。
【0062】
さらに、マイコン18の制御に基づいて、レバーLを高速に切り替えて、端子Aと端子A´が接続した状態と、端子Bと端子B´が接続した状態とを交互に高速に切り替えられることによって、魚眼画像が魚眼画像用モニタ2へ、平面正則画像が平面正則画像用モニタ3へ、あたかもそれぞれ同時に表示されているように見せかけることもできる。
【0063】
ここで、図5を参照して、魚眼画像が魚眼画像用モニタ2へ、平面正則画像が平面正則画像用モニタ3へ、あたかもそれぞれ同時に表示されているように見せかけたときの表示画面例について説明する。
【0064】
図5は、魚眼画像が魚眼画像用モニタ2へ、平面正則画像が平面正則画像用モニタ3へ、あたかもそれぞれ同時に表示されているように見せかけたときの表示画面例である。
【0065】
図5に示されているように、マイコン18の制御の下、レバーLの高速切り替えに基づいて、端子Aと端子A´が接続した状態と、端子Bと端子B´が接続した状態とを交互に高速に切り替えられることによって、魚眼画像が魚眼画像用モニタ2へ、平面正則画像が平面正則画像用モニタ3へ、あたかもそれぞれ同時に表示されているように見せかけられている。
【0066】
このようなセレクタ17は、画像処理装置1内に実装されるハードウェア回路(装置)により行われるものであっても良いし、画像処理装置1内に実装されるマイクロコンピュータ(マイコン18等)がROM等に記憶された所定のプログラム(ソフトウェア)を実行することにより行われるものであっても良い。
【0067】
図2に説明に戻り、マイコン18は、例えば、CPU、ROM(例えば、制御プログラム又は本願の画像処理用プログラム等が記憶)、RAM等を備え、画像制御装置1全体を統括的に制御するとともに、拡大縮小回路11、補正回路14、及びセレクタ17に上述した動作を行わせるようになっている。
【0068】
なお、本発明に係る画像処理装置1は、魚眼レンズを用いた撮影により得られた魚眼画像の一部分を平面正則画像に変換する機能をもった装置であるが、この装置による変換対象となる画像は、魚眼レンズを用いた撮影で得られた画像のみに限定されるものではない。たとえば、凸面鏡を用いた撮影画像(広角レンズ又は全方位ミラー等)など、魚眼レンズと同等の半球面射影モデルが適用される画像であれば、本発明に係る画像処理装置を利用した画像変換が可能である。
【0069】
また、このような画像処理装置1(マイコン18等)の動作(処理)は、画像処理装置1内に実装されるハードウェア回路により行われるものであっても良いし、画像処理装置1内に実装されるマイクロコンピュータ(マイコン18等)がROM等に記憶された所定のプログラム(ソフトウェア)を実行することにより行われるものであっても良い。
【0070】
[2.画像処理装置1の動作]
次に、図6〜図12を参照して、画像処理装置1の動作について説明する。
【0071】
先ず、図6を参照して、画像処理装置1によって実行される処理の流れについて説明する。
【0072】
図6は、画像処理装置1によって実行される処理の流れを示すフローチャートである。
【0073】
図6に示すように、魚眼レンズ10aによって撮像され、光学系システム10によって出力された入力画像(魚眼画像)が入力されると(ステップS1)、当該入力画像は、拡大縮小回路11及びメモリコントローラ12へ入力される。
【0074】
この入力画像が、拡大縮小回路11へ入力されると(ステップS2)、拡大縮小回路11は、撮像された魚眼画像を所定の倍率で拡大又は縮小又は、所定の大きさの魚眼画像データに変換し(ステップS3)、セレクタ17へ出力する。
【0075】
また、入力画像がメモリコントローラ12へ入力されると、メモリコントローラ12は、当該入力画像をメモリ13へ格納する(ステップS4)。
【0076】
そして、メモリコントローラ12は、例えば、必要に応じて、補正回路14により算出された対応座標における画素のデータを、メモリ13に格納されたフレーム画像から取得し、補正回路14へ出力し、補正回路14は、平面正則画像データへ変換する(ステップS5)。
【0077】
そして、メモリコントローラ15は、補正回路14によって変換された平面正則画像データを、メモリ16へ格納する(ステップS6)。
【0078】
そして、マイコン18の制御に基づいて、セレクタ17から、選択された魚眼画像データ又は平面正則画像データが出力される(ステップS7)。
【0079】
そして、魚眼画像データは魚眼画像用モニタ2へ、平面正則画像データは平面正則画像用モニタ3にそれぞれ表示される(ステップS8)。
【0080】
次に、図7と図8を参照して、魚眼画像データが所定の倍率(拡大又は縮小を含む)又は大きさで表示される場合、及び、魚眼画像の所定の位置を中心に、所定の範囲内の魚眼画像データが平面正則画像データに変換されて表示される場合のマイコン18の動作について説明する。
【0081】
図7は、魚眼画像データが所定の倍率又は大きさで表示される場合、及び、魚眼画像の所定の位置を中心に、所定の範囲内の魚眼画像データが平面正則画像データに変換されて表示される場合のマイコン18の動作を示すフローチャートである。
【0082】
図8は、魚眼画像データが所定の倍率又は大きさで表示される場合、及び、魚眼画像の所定の位置を中心に、所定の範囲内の魚眼画像データが平面正則画像データに変換されて表示される場合の表示画面例である。
【0083】
図7に示すように、例えば、所定の倍率又は大きさで魚眼画像が表示される場合には、ユーザは図示しない操作部の操作に基づいて、所定の倍率(例えば、所定の拡大率又は縮小率等)又は大きさ(画像サイズ等)を入力する。また、所定の範囲内の魚眼画像データが平面正則画像データに変換されて表示される場合には、ユーザは図示しない操作部の操作に基づいて、所定の範囲内を指定する数値(例えば、変換後の平面正則画像の画像サイズ等)を入力する。
【0084】
入力された値はパラメータとして、拡大縮小回路11又は補正回路14へ送信される(ステップS11)。
【0085】
具体的に、所定の倍率又は大きさで魚眼画像を表示される場合には、拡大縮小回路11は、入力されたパラメータに基づいて、魚眼画像データから、入力された所定の倍率又は大きさに対応する魚眼画像データを抽出する。
【0086】
図8(A)に示す表示画面例は、魚眼画像データから、所定の倍率又は大きさで魚眼画像が表示された場合の表示画面例である。
【0087】
図8(A)では、魚眼画像データのうち、撮像された人を中心とした所定範囲内の画像が表示されている。
【0088】
また、所定の範囲内の魚眼画像データが平面正則画像データに変換されて表示される場合には、補正回路14は、入力されたパラメータに基づいて、魚眼画像の切り出し位置、切り出し画像サイズ、倍率に応じた魚眼補正演算に必要な各パラメータの算出及び演算を行い、上述した対応座標を算出する。
【0089】
図8(B)に示す表示画面例は、所定の範囲内の魚眼画像データが平面正則画像データに変換されて表示された場合の表示画面例である。
【0090】
図8(B)では、建造物を中心とした所定範囲内の画像が表示されている。
【0091】
そして、マイコン18は、セレクタ17から画像(画像データ)を選択し、取得する(ステップS12)。
【0092】
そして、外部へ画像を出力する(ステップS13)。
【0093】
例えば、マイコン18の制御に基づいて、セレクタ17が、魚眼画像データを魚眼画像用モニタ2へ、平面正則画像データを平面正則画像用モニタ3へ出力する。
【0094】
そして、パラメータの変更があった場合には(ステップS14:YES)、ステップS11の処理へと移行し、パラメータの変更がない場合には(ステップS14:NO)、ステップS12の処理へと移行する。
【0095】
以上説明したように、本実施形態においては、魚眼画像を魚眼画像用モニタ2に表示可能な魚眼画像データに変換し、所定の位置を基準とした所定の範囲内の魚眼画像を、平面正則画像用モニタ3に二次元的に視認可能に表示する平面正則画像データに歪補正し、魚眼画像データ又は、平面正則画像データを、選択的に出力するように構成したため、魚眼画像に撮像される撮像対象の把握性及び画像の表示方法の自由度を向上させることができる。
【0096】
また、マイコン18の制御に基づいて、魚眼画像データを魚眼画像用モニタ2へ、平面正則画像データを平面正則画像用モニタ3へ出力するように構成したため、魚眼画像に撮像される撮像対象の把握性及び画像の表示方法の自由度を向上させることができる。
【0097】
また、ポインタ23によって指示された位置を基準に所定の範囲内の魚眼画像データを、平面正則画像用モニタ3に二次元的に視認可能に表示する平面正則画像データに歪補正して出力するように構成したため、魚眼画像に撮像される撮像対象の把握性を向上させ、魚眼画像から所望の平面正則画像を得ることができる。
【0098】
また、魚眼画像を、所定の倍率又は大きさで魚眼画像データに変換するように構成したため、魚眼画像に撮像される撮像対象の把握性を向上させ、魚眼画像から所望の平面正則画像を得ることができる。
【0099】
また、上述したポインタは種々の形態を採ることができる。
【0100】
ここで、図9及び図10を参照して、他のポインタの例について説明する。
【0101】
図9は、他のポインタの一例を示す表示画面例であり、図10は、矩形の領域を示す平面正則画像データとして変換される領域を、予め魚眼画像上にポインタとして表示した場合の表示画面例である。
【0102】
図9(A)に示すように、ポインタを×印35で表示させるようにしてもよいし、図10(B)に示すように、所定の矩形領域36で表示させるようにしてもよい。
【0103】
また、図10に示すように、矩形の領域を示す平面正則画像データとして変換される領域を、予め魚眼画像上にポインタとして表示したポインタ37(本願のポインタの一例)で表示させるようにしてもよい。
【0104】
上述したように、歪のある魚眼画像を平面正則画像へ変換するには、上記パラメータをもとに、平面正則画像における各画素(u、v)に対応する、魚眼画像における各画素(x、y)を特定する。
【0105】
ここで、魚眼画像から矩形の領域を示す平面正則画像に変換する場合を考える。
【0106】
この場合の平面正則画像を構成する各画素に対応する、魚眼画像における各画素を、魚眼画像上に模式的に表わすと、図10のポインタ37に示すように、歪のある矩形となる。
【0107】
そこで、図10のポインタ37は、矩形の領域を示す平面正則画像データとして変換される領域を、予め魚眼画像上にポインタとして表示するようにしている。
【0108】
これにより、魚眼画像に示される撮像対象から、所望の矩形の領域を示す平面正則画像を得る場合に、魚眼画像を見るだけで平面正則画像として変換されるべき領域を把握することができ、さらに、容易に撮像対象を指定し、所望の平面正則画像を得ることができる。
【0109】
図10のポインタ37が示す領域が、矩形の領域を示す平面正則画像データとして変換されると、例えば、図3の表示部31が示す平面正則画像が表示される。
【0110】
また、画像処理システムSに、端末装置4を追加するようにしてもよい。
【0111】
ここで、図11及び図12を参照して、画像処理システムSに端末装置4を追加した構成について説明する。
【0112】
先ず、図11を参照して、画像処理システムSに、端末装置4を追加した場合の構成及び機能概要について説明する。
【0113】
図11は、画像処理システムSに、端末装置4を追加した場合の構成及び機能概要を示すブロック図である。
【0114】
図11に示すように、画像処理装置1は、端末装置4を介して、魚眼画像用モニタ2及び平面正則画像用モニタ3と接続されている。
【0115】
端末装置4は、図示しない操作部と、表示部と、通信部と、記憶部と、入出力インターフェース部と、システム制御部(CPU、ROM、RAM等を備える)と、を備え、例えば、パーソナルコンピュータ、PDA(Personal Digital Assistant)、又は携帯電話機等を適用できる。そして、例えばROM等に記憶されたソフトウェアプログラムの制御に基づいて、以下に示す分割された画面の表示制御が行われるようになっている。
【0116】
そして、端末装置4は、分割した画面に、一又は複数の魚眼画像又は平面正則画像を出力し、魚眼画像用モニタ2又は平面正則画像用モニタ3の表示部に表示させる。
【0117】
ここで、図12を参照して、分割した画面に、一又は複数の魚眼画像又は平面正則画像を出力し、魚眼画像用モニタ2又は平面正則画像用モニタ3の表示部に表示させた場合の表示画面例について説明する。
【0118】
図12は、分割した画面に、一又は複数の魚眼画像又は平面正則画像を出力し、魚眼画像用モニタ2又は平面正則画像用モニタ3の表示部に表示させた場合の表示画面例である。
【0119】
具体的には、図12に示すように、魚眼画像用モニタ2の表示部には、3つに分割された画面が表示されており、具体的には、撮像された魚眼画像全体を示す魚眼画像41、魚眼画像41の建造物部分が拡大されて平面正則画像に変換された平面正則画像42、及び、魚眼画像41の塔部分が拡大されて平面正則画像に変換された平面正則画像43がそれぞれ表示されている。
【0120】
また、図12に示すように、平面正則画像用モニタ3の表示部には、4つに分割された画面が表示されており、具体的には、魚眼画像41の建造物部分が拡大されて平面正則画像に変換された平面正則画像44、魚眼画像41の人が拡大されて平面正則画像に変換された平面正則画像45、魚眼画像41の自動車部分が拡大されて平面正則画像に変換された平面正則画像46及び、魚眼画像41の鉄塔の台部分が拡大されて平面正則画像に変換された平面正則画像47がそれぞれ表示されている。
【0121】
また、分割された画面(分割画面)の表示態様として、分割画面毎に、自由に配置や分割画面の大きさ等を変更し、又は、各分割画面の一部又は全部を重畳して表示することができる所謂ウインドウ(Window)による表示を適用するようにしてもよい。
【0122】
なお、以上説明した実施形態は特許請求の範囲に係る発明を限定するものではない。そして、上記実施形態の中で説明されている構成の組み合わせ全てが発明の課題解決に必須の手段であるとは限らない。
【0123】
また、上記実施形態においては、本願を画像処理システムに対して適用した場合の例を示したが、その他にも例えば、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ又は家庭用等の電子機器等に対しても適用可能である。
【符号の説明】
【0124】
1 画像処理装置
2 魚眼画像用モニタ
3 平面正則画像用モニタ
4 端末装置
10 光学系システム
11 拡大縮小回路
12 メモリコントローラ
13 メモリ
14 補正回路
15 メモリコントローラ
16 メモリ
17 セレクタ
18 マイコン
S 画像処理装置システム

【特許請求の範囲】
【請求項1】
外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像を、表示部に表示可能な歪円形画像データに変換する歪円形画像変換手段と、
所定の位置を基準とした所定範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正する歪補正手段と、
前記歪円形画像データ又は、前記平面正則画像データを、選択的に出力する選択手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置であって、
前記選択手段は、前記歪円形画像データを第1の表示部へ、前記平面正則画像データを第2の表示部へそれぞれ出力することを特徴とする画像処理装置。
【請求項3】
請求項1又は2に記載の画像処理装置であって、
前記歪円形画像データの所定の位置を指示する指示手段を更に備え、
前記歪補正手段は、前記指示手段によって指示された位置を基準に所定の範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正して出力することを特徴とする画像処理装置。
【請求項4】
請求項1乃至3の何れか一項に記載の画像処理装置であって、
前記歪円形画像変換手段は、前記歪円形画像を、所定の倍率又は大きさで歪円形画像データに変換することを特徴とする画像処理装置。
【請求項5】
請求項1乃至4の何れか一項に記載の画像処理装置であって、
前記歪円形画像データには、矩形の領域を示す平面正則画像データとして変換される領域を表示するポインタが表示され、
前記指示手段は、前記ポインタによって、前記歪円形画像の所定の位置を指示可能とし、
前記歪補正手段は、前記ポインタによって指示された位置を基準に所定の範囲内の前記歪円形画像データを、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正して出力することを特徴とする画像処理装置。
【請求項6】
画像処理装置における画像処理方法であって、
外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像を、表示部に表示可能な歪円形画像データに変換する歪円形画像変換工程と、
所定の位置を基準とした所定範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正する歪補正工程と、
前記歪円形画像データ又は、前記平面正則画像データを、選択的に出力する選択工程と、
を有することを特徴とする画像処理方法。
【請求項7】
画像処理装置に含まれるコンピュータを、
外部から入力される広角レンズ又は全方位ミラーによって撮像された歪円形画像を、表示部に表示可能な歪円形画像データに変換する歪円形画像変換手段、
所定の位置を基準とした所定範囲内の前記歪円形画像を、前記表示部に二次元的に視認可能に表示する平面正則画像データに歪補正する歪補正手段、
前記歪円形画像データ又は、前記平面正則画像データを、選択的に出力する選択手段、
として機能させることを特徴とする画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2013−80998(P2013−80998A)
【公開日】平成25年5月2日(2013.5.2)
【国際特許分類】
【出願番号】特願2011−218576(P2011−218576)
【出願日】平成23年9月30日(2011.9.30)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】