画像処理方法
【課題】予め基準となる画像データを保持する必要がなく且つ簡易に、光軸と穴の中心軸との位置ずれを補正して、パノラマ展開画像に変換することが可能な画像処理方法を提供する。
【解決手段】環状画像から内円及び外円を抽出する工程と、抽出した内円及び外円の中心をそれぞれ求める工程と、極座標変換する際に基準となる展開中心を、内円中心と外円中心との間で順次移動させながらパノラマ展開画像に変換する工程とを備える。これにより、全方位撮像装置１０により穴Ｈの側壁面を撮像した環状画像をパノラマ展開画像に極座標変換する際に、全方位撮像装置１０の光軸Ｌ１と穴Ｈの中心軸Ｌ２との位置ずれに起因する歪みを補正することができる。
【解決手段】環状画像から内円及び外円を抽出する工程と、抽出した内円及び外円の中心をそれぞれ求める工程と、極座標変換する際に基準となる展開中心を、内円中心と外円中心との間で順次移動させながらパノラマ展開画像に変換する工程とを備える。これにより、全方位撮像装置１０により穴Ｈの側壁面を撮像した環状画像をパノラマ展開画像に極座標変換する際に、全方位撮像装置１０の光軸Ｌ１と穴Ｈの中心軸Ｌ２との位置ずれに起因する歪みを補正することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、特に環状画像をパノラマ展開画像に変換する際の補正方法に関する。
【背景技術】
【０００２】
従来、内視鏡などの全方位撮像装置を使用して穴の側壁面を撮像した画像から、欠陥や損傷などを検査することが行われている。このとき、撮像した環状画像をパノラマ展開画像に変換して検査することが一般的である。
【０００３】
このような変換時、全方位撮影装置の光軸が穴の中心軸からずれている場合、補正処理を行う必要がある。この補正処理として、特許文献１には、ビデオカメラで管渠内面を撮像するとき、データマッチング処理を行って、ビデオカメラの光軸と管渠の中心軸とのずれ量を求めることが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３３１１６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の技術では、予め光軸と管渠の中心線が一致させてビデオカメラを設置した状態での、基準となる画像データを保持しておく必要がある。そのため、製品のロットに変化が生じた際や、レンズを交換する際には、基準となる画像データを新たに取得する必要がある。さらに、データマッチング処理には長時間を要する。
【０００６】
本発明は、以上の点に鑑み、予め基準となる画像データを保持する必要がなく且つ簡易に、光軸と穴の中心軸との位置ずれを補正して、パノラマ展開画像に変換することが可能な画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、全方位撮像装置により穴の側壁面を撮像した環状画像をパノラマ展開画像に極座標変換する際に、前記全方位撮像装置の光軸と前記穴の中心軸との位置ずれに起因する歪みを補正する画像処理方法であって、前記環状画像から内円及び外円を抽出する工程と、抽出した前記内円及び外円の中心をそれぞれ求める工程と、前記極座標変換する際に基準となる処理中心を、前記内円中心と前記外円中心との間で順次移動させながらパノラマ展開画像に変換する工程とを備えることを特徴とする。
【０００８】
本発明によれば、極座標変換する際に基準となる処理中心を、内円中心と外円中心との間で順次移動させながらパノラマ展開画像に変換することによって、全方位撮像装置の光軸と穴の中心軸との位置ずれに起因する歪みを補正している。そのため、環状画像データ自体から前記位置ずれに起因する歪みを補正することができる。
【０００９】
よって、上記特許文献１のように、予め補正データを保持しておく必要がなく、製品のロットに変化が生じた際や、レンズを交換する際に、基準となる画像データを取得する必要がない。そのため、位置ずれなく全方位撮像装置を穴内に設置するという困難な作業を行う必要がない。また、データマッチング処理などの長時間を要する処理を行う必要もなく、簡易な処理で位置ずれに起因する歪みを補正することができる。なお、本発明において、穴は管の穴も含む。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る全方位撮像システムにより穴側壁面を撮像する状態を示す説明図。
【図２】中心位置ずれを有する環状画像を示す説明図。
【図３】中心位置ずれを有するパノラマ展開画像を示す説明図。
【図４】レンズに鉛直方向歪みを有する環状画像を示す説明図。
【図５】全方位撮像システムによる処理を示すフローチャート。
【図６】補正後のパノラマ展開画像を示す説明図。
【発明を実施するための形態】
【００１１】
本発明の実施形態を図面を参照して説明する。ここでは、図１に示すように、全方位撮像システム１００を用いて、被撮像体である穴Ｈ内の側壁面（以下、穴壁面ともいう）を上方から撮像する場合を例に挙げて説明する。
【００１２】
なお、穴Ｈは、例えば、燃料噴射装置（インジェクタ）を配置するために形成された穴であるが、その用途、形状、穴径、深さなどは限定されない。例えば、穴Ｈは、貫通穴であっても、底壁を有する穴であってもよい。また、穴Ｈは、穴径が一定のストレート穴であっても、穴径が漸次変化するテーパ穴であってもよい。
【００１３】
全方位撮像システム１００は、全方位撮像装置１０、画像処理装置２０及び表示装置３０から構成されている。
【００１４】
全方位撮像装置１０は、周囲３６０度の全方位にある穴Ｈの側壁面を撮像して得た円形画像データを出力する。全方位撮像装置１０は、３６０度を撮像可能な広角レンズ（全方位撮像レンズ）１１、この広角レンズ１１を介して入射光が入力されるイメージセンサ１２などを備えている。
【００１５】
広角レンズ１１は、イメージセンサ１２の受光面の下方に配設される。これにより、イメージセンサ１２の受光面には、広角レンズ１１による円形の像が結像する。
【００１６】
イメージセンサ１２は、ＣＣＤやＣＭＯＳ等からなる受光素子が２次元状に配列されてなり、各受光素子は受光光量に応じた値を出力する。これにより、イメージセンサ１２は、複数の受光素子から出力される複数の受光光量値を有する輝度分布データを生成する。イメージセンサ１２が生成した円状の輝度分布データはＡ／Ｄ変換され、円形画像データとして画像処理装置２０に出力される。
【００１７】
画像処理装置２０は、その機能ブロックとして、円形画像入力部２１、画像変換部２２、展開画像出力部２３、及び補正データ取得部２４を有している。なお、画像処理装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、画像メモリ等を備えた所謂マイクロコンピュータから構成されている。
【００１８】
全方位撮像装置１０から入力された円形画像データは、円形画像入力部２１を介して画像処理装置２０に取り込まれる。画像処理装置２０に取り込まれた円形画像データは、画像変換部２２でパノラマ展開画像データに変換され、展開画像出力部２３を介して表示装置３０に出力される。
【００１９】
表示装置３０に表示されたパノラマ展開画像を目視する検査員によって穴壁面の欠陥の有無等が検査される。或いは、図示しないが、パノラマ展開画像データを解析装置に出力させて、この解析装置で自動的に欠陥の有無等を判定してもよい。
【００２０】
ところで、図２に示すように、全方位撮像装置１０から出力される円形画像データが示す円形画像には、外円と内円とに挟まれた環状の領域が存在する。以下、この領域内に存在する画像を環状画像という。
【００２１】
ここで、外円は、円形画像の外周側境界であり、穴Ｈの上側開口又は全方位撮像装置１０の撮影限界を示す。内円は、穴Ｈの下側開口、穴Ｈの底面縁、穴Ｈ内の角部など、穴Ｈの断面円形状部分の下側端を示す。このように、内円は、穴Ｈが貫通穴でなくとも発現する。なお、穴Ｈ内に角部がない場合であっても、光の当て方を工夫することによって、内円を発現させることは可能である。
【００２２】
画像変換部２２は、円形画像データのうち外円と内円との間に挟まれた環状画像データを極座標変換して、パノラマ展開画像データを生成する。しかし、画像変換部２２で単に環状画像データを極座標変換しただけでは、全方位撮像装置１０の光軸Ｌ１と穴Ｈの中心軸Ｌ２との位置ずれ（以下、中心位置ずれという。図１参照。）や広角レンズ１１の鉛直方向歪みなどがそのまま反映されたパノラマ展開画像データとなる。
【００２３】
そこで、補正データ取得部２４は、中心位置ずれや鉛直方向歪みなどを補正するための補正データを取得し、取得した補正データを画像変換部２２に出力する。そして、画像変換部２２は、この補正データに基づいて環状画像データをパノラマ展開画像データに変換する。
【００２４】
中心位置ずれがない場合には、環状画像の内心と外心との中心が一致し、同じ高さの部位を撮像したそれぞれの画像は、環状画像では全て同心円上に位置し、極座標展開したとき、水平線状になる。
【００２５】
しかし、実際には中心位置ずれが存在する。そのため、画像変換部２２で環状画像を単に環状画像を極座標展開しただけでは、実際には同じ高さの部位を撮像したものが、水平線状ではなく、図３に示すように、波打った線状になる。そのため、中心位置ずれの補正処理に必要な補正データを補正データ取得部２４が取得する。
【００２６】
また、歪が全くない理想的な広角レンズ１１で撮影した環状画像では、等間隔の高さの穴壁面を撮像した画像が等間隔の同心円を描く。しかし、実際の広角レンズ１１は鉛直方向歪みが存在するので、図４に示すように、同心円の間隔は不均一になる。そのため、画像変換部２２で単に環状画像を極座標変換しただけでは、実際の間隔に対応しない間隔を有するパノラマ画像として表現される。
【００２７】
例えば、広角レンズ１１が魚眼レンズであるとき、一般的に、被撮像体の画像は周辺ほど歪みが大きい。この歪みを軽減し、周辺の情報量を多くする方式として立体射影方式が存在する。
【００２８】
この立体射影方式の魚眼レンズを広角レンズ１１に使用すると、被撮像体は、画角的に中心部に撮像される場合に比べて、周辺部に撮像される場合の方が大きく撮像される。中心部に撮像される被撮像体は、周辺部に撮像される被撮像体より画角的に小さく結像する。これに対して、パノラマ展開画像では、被撮像体は、本来の大きさのバランスで表示されることが望ましい。そこで、処理円の半径を順次大きくしながら、環状画像データを極座標展開する。
【００２９】
なお、処理円の中心間隔や処理円の半径を大きくする具体的な割合などを示す補正データは、広角レンズ１１のレンズ特性などに応じて定まり、予め前記ＲＡＭに格納されている。そして、この補正データを補正データ取得部２４が読み出し、画像変換部２２に出力する。
【００３０】
表示装置３０は、液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイなどの周知の表示装置からなる。
【００３１】
次に、全方位撮像システム１００の処理動作について図５に示すフローチャートを参照して説明する。なお、画像処理装置２０内の各処理は、前記ＲＯＭ内に予め格納されたプログラムに従って行われる。
【００３２】
まず、図１に示すように、全方位撮像装置１０の先端部を穴Ｈ内に挿入して、撮像する。全方位撮像装置１０が撮像して取得した円形画像データは、画像処理装置２０の円形画像入力部２１に出力される（ＳＴＥＰ１）。画像処理装置２０に入力された円形画像データは前記画像メモリに格納される。
【００３３】
そして、補正データ取得部２４は、補正データを取得し、取得した補正データを画像変換部２２に出力する（ＳＴＥＰ２）。
【００３４】
具体的には、補正データ取得部２４は、まず、画像メモリに格納された円形画像データに対して２値化処理など周知のエッジ抽出処理を行い、図２に示すような外円及び内円を抽出する（ＳＴＥＰ２−１）。
【００３５】
次に、補正データ取得部２４は、抽出した外円及び内円に対して周知の算出処理を行い、外円中心Ｏout、内円中心Ｏin、外円半径ｒout、内円半径ｒinをそれぞれ求め、これらからなる補正データを画像変換部２２に出力する（ＳＴＥＰ２−２）。外円中心Ｏoutが光軸Ｌ１に、内円中心Ｏinが穴Ｈの中心軸Ｌ２にそれぞれ相当し、外円中心Ｏoutと内円中心Ｏinとの位置ずれが中心位置ずれに相当する。
【００３６】
次に、補正データ取得部２４は、処理円の中心間隔及び処理円の半径を大きくする割合などを示す補正データを前記ＲＡＭから読み出し、画像変換部２２に出力する（ＳＴＥＰ２−３）。
【００３７】
そして、画像変換部２２は、補正データを用いて、環状画像データをパノラマ展開画像データに極座標変換する（ＳＴＥＰ３）。具体的には、画像変換部２２は、まず、展開処理を開始する基準となる展開処理開始中心（最初の処理円の中心）を内円中心Ｏinに設定する。
【００３８】
そして、この内円中心Ｏinを中心として、分解能等によって定めた角度毎に周方向に、内円半径ｒinを半径とした処理円上に位置する環状画像データを極座標変換して、水平方向に直線状に展開する。なお、算出された画素位置が環状画像データの最小画素の位置に一致するとは限らない。これらの位置が一致しない場合、算出された画素位置に接している割合で環状画像データ（輝度データ）を補間計算して、算出された画素位置における画像データ（輝度データ）を求めればよい。
【００３９】
この展開作業は、処理円中心を内円中心Ｏinから外円中心Ｏoutに順次、分解能等によって定めた間隔毎に直線状に移動させながら繰り返す（図２に矢印で示す。）。これと同時に、処理円半径を、広角レンズ１１の鉛直方向歪みを補正するための補正データに基づき、内円半径ｒinから外円半径ｒoutに向けて順次長くする。このようにして、環状画像データを内円から外円に向って順次極座標変換する。これにより、図６に示すように、水平方向に直線状の展開画像が順次積み上がり、補正が施されたパノラマ展開画像が得られる。
【００４０】
その後、画像処理装置２０は、得られたパノラマ展開画像を展開画像出力部２３を介して表示装置３０に出力する（ＳＴＥＰ４）。その結果、表示装置３０には歪みのないパノラマ展開画像を表示することができる。
【００４１】
以上説明したように、環状画像データ自体から中心位置ずれを補正するための補正データを取得している。そのため、上記特許文献１のように、予め中心位置ずれを補正するための補正データを保持しておく必要がなく、製品のロットに変化が生じた際や、広角レンズ１１を交換する際に、補正データを新たに取得する必要がない。よって、中心位置ずれなく全方位撮像装置１０の先端部を穴Ｈ内に挿入するという高精度で困難な作業を行う必要がない。また、データマッチング処理などの長時間を要する処理を行うことなく、中心位置ずれを補正したパノラマ展開画像を得ることができる。
【００４２】
以上、本発明の実施形態について説明したが、本発明はこれに限定されない。例えば、処理円中心を内円中心Ｏinから外円中心Ｏoutに順次移動させる場合について説明したが、処理円中心を外円中心Ｏoutから内円中心Ｏinに順次移動させてもよい。
【符号の説明】
【００４３】
１０…全方位撮像装置、 １１…広角レンズ、 １２…イメージセンサ、 ２０…画像処理装置、 ２１…円形画像入力部、 ２２…画像変換部、 ２３…展開画像出力部、 ２４…補正データ取得部、 ３０…表示装置、 １００…全方位撮像システム、 Ｈ…穴、 Ｌ１…全方位撮像装置の光軸、 Ｌ２…穴の中心軸。
【技術分野】
【０００１】
本発明は、画像処理方法、特に環状画像をパノラマ展開画像に変換する際の補正方法に関する。
【背景技術】
【０００２】
従来、内視鏡などの全方位撮像装置を使用して穴の側壁面を撮像した画像から、欠陥や損傷などを検査することが行われている。このとき、撮像した環状画像をパノラマ展開画像に変換して検査することが一般的である。
【０００３】
このような変換時、全方位撮影装置の光軸が穴の中心軸からずれている場合、補正処理を行う必要がある。この補正処理として、特許文献１には、ビデオカメラで管渠内面を撮像するとき、データマッチング処理を行って、ビデオカメラの光軸と管渠の中心軸とのずれ量を求めることが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３３１１６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の技術では、予め光軸と管渠の中心線が一致させてビデオカメラを設置した状態での、基準となる画像データを保持しておく必要がある。そのため、製品のロットに変化が生じた際や、レンズを交換する際には、基準となる画像データを新たに取得する必要がある。さらに、データマッチング処理には長時間を要する。
【０００６】
本発明は、以上の点に鑑み、予め基準となる画像データを保持する必要がなく且つ簡易に、光軸と穴の中心軸との位置ずれを補正して、パノラマ展開画像に変換することが可能な画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、全方位撮像装置により穴の側壁面を撮像した環状画像をパノラマ展開画像に極座標変換する際に、前記全方位撮像装置の光軸と前記穴の中心軸との位置ずれに起因する歪みを補正する画像処理方法であって、前記環状画像から内円及び外円を抽出する工程と、抽出した前記内円及び外円の中心をそれぞれ求める工程と、前記極座標変換する際に基準となる処理中心を、前記内円中心と前記外円中心との間で順次移動させながらパノラマ展開画像に変換する工程とを備えることを特徴とする。
【０００８】
本発明によれば、極座標変換する際に基準となる処理中心を、内円中心と外円中心との間で順次移動させながらパノラマ展開画像に変換することによって、全方位撮像装置の光軸と穴の中心軸との位置ずれに起因する歪みを補正している。そのため、環状画像データ自体から前記位置ずれに起因する歪みを補正することができる。
【０００９】
よって、上記特許文献１のように、予め補正データを保持しておく必要がなく、製品のロットに変化が生じた際や、レンズを交換する際に、基準となる画像データを取得する必要がない。そのため、位置ずれなく全方位撮像装置を穴内に設置するという困難な作業を行う必要がない。また、データマッチング処理などの長時間を要する処理を行う必要もなく、簡易な処理で位置ずれに起因する歪みを補正することができる。なお、本発明において、穴は管の穴も含む。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る全方位撮像システムにより穴側壁面を撮像する状態を示す説明図。
【図２】中心位置ずれを有する環状画像を示す説明図。
【図３】中心位置ずれを有するパノラマ展開画像を示す説明図。
【図４】レンズに鉛直方向歪みを有する環状画像を示す説明図。
【図５】全方位撮像システムによる処理を示すフローチャート。
【図６】補正後のパノラマ展開画像を示す説明図。
【発明を実施するための形態】
【００１１】
本発明の実施形態を図面を参照して説明する。ここでは、図１に示すように、全方位撮像システム１００を用いて、被撮像体である穴Ｈ内の側壁面（以下、穴壁面ともいう）を上方から撮像する場合を例に挙げて説明する。
【００１２】
なお、穴Ｈは、例えば、燃料噴射装置（インジェクタ）を配置するために形成された穴であるが、その用途、形状、穴径、深さなどは限定されない。例えば、穴Ｈは、貫通穴であっても、底壁を有する穴であってもよい。また、穴Ｈは、穴径が一定のストレート穴であっても、穴径が漸次変化するテーパ穴であってもよい。
【００１３】
全方位撮像システム１００は、全方位撮像装置１０、画像処理装置２０及び表示装置３０から構成されている。
【００１４】
全方位撮像装置１０は、周囲３６０度の全方位にある穴Ｈの側壁面を撮像して得た円形画像データを出力する。全方位撮像装置１０は、３６０度を撮像可能な広角レンズ（全方位撮像レンズ）１１、この広角レンズ１１を介して入射光が入力されるイメージセンサ１２などを備えている。
【００１５】
広角レンズ１１は、イメージセンサ１２の受光面の下方に配設される。これにより、イメージセンサ１２の受光面には、広角レンズ１１による円形の像が結像する。
【００１６】
イメージセンサ１２は、ＣＣＤやＣＭＯＳ等からなる受光素子が２次元状に配列されてなり、各受光素子は受光光量に応じた値を出力する。これにより、イメージセンサ１２は、複数の受光素子から出力される複数の受光光量値を有する輝度分布データを生成する。イメージセンサ１２が生成した円状の輝度分布データはＡ／Ｄ変換され、円形画像データとして画像処理装置２０に出力される。
【００１７】
画像処理装置２０は、その機能ブロックとして、円形画像入力部２１、画像変換部２２、展開画像出力部２３、及び補正データ取得部２４を有している。なお、画像処理装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、画像メモリ等を備えた所謂マイクロコンピュータから構成されている。
【００１８】
全方位撮像装置１０から入力された円形画像データは、円形画像入力部２１を介して画像処理装置２０に取り込まれる。画像処理装置２０に取り込まれた円形画像データは、画像変換部２２でパノラマ展開画像データに変換され、展開画像出力部２３を介して表示装置３０に出力される。
【００１９】
表示装置３０に表示されたパノラマ展開画像を目視する検査員によって穴壁面の欠陥の有無等が検査される。或いは、図示しないが、パノラマ展開画像データを解析装置に出力させて、この解析装置で自動的に欠陥の有無等を判定してもよい。
【００２０】
ところで、図２に示すように、全方位撮像装置１０から出力される円形画像データが示す円形画像には、外円と内円とに挟まれた環状の領域が存在する。以下、この領域内に存在する画像を環状画像という。
【００２１】
ここで、外円は、円形画像の外周側境界であり、穴Ｈの上側開口又は全方位撮像装置１０の撮影限界を示す。内円は、穴Ｈの下側開口、穴Ｈの底面縁、穴Ｈ内の角部など、穴Ｈの断面円形状部分の下側端を示す。このように、内円は、穴Ｈが貫通穴でなくとも発現する。なお、穴Ｈ内に角部がない場合であっても、光の当て方を工夫することによって、内円を発現させることは可能である。
【００２２】
画像変換部２２は、円形画像データのうち外円と内円との間に挟まれた環状画像データを極座標変換して、パノラマ展開画像データを生成する。しかし、画像変換部２２で単に環状画像データを極座標変換しただけでは、全方位撮像装置１０の光軸Ｌ１と穴Ｈの中心軸Ｌ２との位置ずれ（以下、中心位置ずれという。図１参照。）や広角レンズ１１の鉛直方向歪みなどがそのまま反映されたパノラマ展開画像データとなる。
【００２３】
そこで、補正データ取得部２４は、中心位置ずれや鉛直方向歪みなどを補正するための補正データを取得し、取得した補正データを画像変換部２２に出力する。そして、画像変換部２２は、この補正データに基づいて環状画像データをパノラマ展開画像データに変換する。
【００２４】
中心位置ずれがない場合には、環状画像の内心と外心との中心が一致し、同じ高さの部位を撮像したそれぞれの画像は、環状画像では全て同心円上に位置し、極座標展開したとき、水平線状になる。
【００２５】
しかし、実際には中心位置ずれが存在する。そのため、画像変換部２２で環状画像を単に環状画像を極座標展開しただけでは、実際には同じ高さの部位を撮像したものが、水平線状ではなく、図３に示すように、波打った線状になる。そのため、中心位置ずれの補正処理に必要な補正データを補正データ取得部２４が取得する。
【００２６】
また、歪が全くない理想的な広角レンズ１１で撮影した環状画像では、等間隔の高さの穴壁面を撮像した画像が等間隔の同心円を描く。しかし、実際の広角レンズ１１は鉛直方向歪みが存在するので、図４に示すように、同心円の間隔は不均一になる。そのため、画像変換部２２で単に環状画像を極座標変換しただけでは、実際の間隔に対応しない間隔を有するパノラマ画像として表現される。
【００２７】
例えば、広角レンズ１１が魚眼レンズであるとき、一般的に、被撮像体の画像は周辺ほど歪みが大きい。この歪みを軽減し、周辺の情報量を多くする方式として立体射影方式が存在する。
【００２８】
この立体射影方式の魚眼レンズを広角レンズ１１に使用すると、被撮像体は、画角的に中心部に撮像される場合に比べて、周辺部に撮像される場合の方が大きく撮像される。中心部に撮像される被撮像体は、周辺部に撮像される被撮像体より画角的に小さく結像する。これに対して、パノラマ展開画像では、被撮像体は、本来の大きさのバランスで表示されることが望ましい。そこで、処理円の半径を順次大きくしながら、環状画像データを極座標展開する。
【００２９】
なお、処理円の中心間隔や処理円の半径を大きくする具体的な割合などを示す補正データは、広角レンズ１１のレンズ特性などに応じて定まり、予め前記ＲＡＭに格納されている。そして、この補正データを補正データ取得部２４が読み出し、画像変換部２２に出力する。
【００３０】
表示装置３０は、液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイなどの周知の表示装置からなる。
【００３１】
次に、全方位撮像システム１００の処理動作について図５に示すフローチャートを参照して説明する。なお、画像処理装置２０内の各処理は、前記ＲＯＭ内に予め格納されたプログラムに従って行われる。
【００３２】
まず、図１に示すように、全方位撮像装置１０の先端部を穴Ｈ内に挿入して、撮像する。全方位撮像装置１０が撮像して取得した円形画像データは、画像処理装置２０の円形画像入力部２１に出力される（ＳＴＥＰ１）。画像処理装置２０に入力された円形画像データは前記画像メモリに格納される。
【００３３】
そして、補正データ取得部２４は、補正データを取得し、取得した補正データを画像変換部２２に出力する（ＳＴＥＰ２）。
【００３４】
具体的には、補正データ取得部２４は、まず、画像メモリに格納された円形画像データに対して２値化処理など周知のエッジ抽出処理を行い、図２に示すような外円及び内円を抽出する（ＳＴＥＰ２−１）。
【００３５】
次に、補正データ取得部２４は、抽出した外円及び内円に対して周知の算出処理を行い、外円中心Ｏout、内円中心Ｏin、外円半径ｒout、内円半径ｒinをそれぞれ求め、これらからなる補正データを画像変換部２２に出力する（ＳＴＥＰ２−２）。外円中心Ｏoutが光軸Ｌ１に、内円中心Ｏinが穴Ｈの中心軸Ｌ２にそれぞれ相当し、外円中心Ｏoutと内円中心Ｏinとの位置ずれが中心位置ずれに相当する。
【００３６】
次に、補正データ取得部２４は、処理円の中心間隔及び処理円の半径を大きくする割合などを示す補正データを前記ＲＡＭから読み出し、画像変換部２２に出力する（ＳＴＥＰ２−３）。
【００３７】
そして、画像変換部２２は、補正データを用いて、環状画像データをパノラマ展開画像データに極座標変換する（ＳＴＥＰ３）。具体的には、画像変換部２２は、まず、展開処理を開始する基準となる展開処理開始中心（最初の処理円の中心）を内円中心Ｏinに設定する。
【００３８】
そして、この内円中心Ｏinを中心として、分解能等によって定めた角度毎に周方向に、内円半径ｒinを半径とした処理円上に位置する環状画像データを極座標変換して、水平方向に直線状に展開する。なお、算出された画素位置が環状画像データの最小画素の位置に一致するとは限らない。これらの位置が一致しない場合、算出された画素位置に接している割合で環状画像データ（輝度データ）を補間計算して、算出された画素位置における画像データ（輝度データ）を求めればよい。
【００３９】
この展開作業は、処理円中心を内円中心Ｏinから外円中心Ｏoutに順次、分解能等によって定めた間隔毎に直線状に移動させながら繰り返す（図２に矢印で示す。）。これと同時に、処理円半径を、広角レンズ１１の鉛直方向歪みを補正するための補正データに基づき、内円半径ｒinから外円半径ｒoutに向けて順次長くする。このようにして、環状画像データを内円から外円に向って順次極座標変換する。これにより、図６に示すように、水平方向に直線状の展開画像が順次積み上がり、補正が施されたパノラマ展開画像が得られる。
【００４０】
その後、画像処理装置２０は、得られたパノラマ展開画像を展開画像出力部２３を介して表示装置３０に出力する（ＳＴＥＰ４）。その結果、表示装置３０には歪みのないパノラマ展開画像を表示することができる。
【００４１】
以上説明したように、環状画像データ自体から中心位置ずれを補正するための補正データを取得している。そのため、上記特許文献１のように、予め中心位置ずれを補正するための補正データを保持しておく必要がなく、製品のロットに変化が生じた際や、広角レンズ１１を交換する際に、補正データを新たに取得する必要がない。よって、中心位置ずれなく全方位撮像装置１０の先端部を穴Ｈ内に挿入するという高精度で困難な作業を行う必要がない。また、データマッチング処理などの長時間を要する処理を行うことなく、中心位置ずれを補正したパノラマ展開画像を得ることができる。
【００４２】
以上、本発明の実施形態について説明したが、本発明はこれに限定されない。例えば、処理円中心を内円中心Ｏinから外円中心Ｏoutに順次移動させる場合について説明したが、処理円中心を外円中心Ｏoutから内円中心Ｏinに順次移動させてもよい。
【符号の説明】
【００４３】
１０…全方位撮像装置、 １１…広角レンズ、 １２…イメージセンサ、 ２０…画像処理装置、 ２１…円形画像入力部、 ２２…画像変換部、 ２３…展開画像出力部、 ２４…補正データ取得部、 ３０…表示装置、 １００…全方位撮像システム、 Ｈ…穴、 Ｌ１…全方位撮像装置の光軸、 Ｌ２…穴の中心軸。
【特許請求の範囲】
【請求項１】
全方位撮像装置により穴の側壁面を撮像した環状画像をパノラマ展開画像に極座標変換する際に、前記全方位撮像装置の光軸と前記穴の中心軸との位置ずれに起因する歪みを補正する画像処理方法であって、
前記環状画像から内円及び外円を抽出する工程と、
抽出した前記内円及び外円の中心をそれぞれ求める工程と、
前記極座標変換する際に基準となる処理中心を、前記内円中心と前記外円中心との間で順次移動させながらパノラマ展開画像に変換する工程とを備えることを特徴とする画像処理方法。
【請求項１】
全方位撮像装置により穴の側壁面を撮像した環状画像をパノラマ展開画像に極座標変換する際に、前記全方位撮像装置の光軸と前記穴の中心軸との位置ずれに起因する歪みを補正する画像処理方法であって、
前記環状画像から内円及び外円を抽出する工程と、
抽出した前記内円及び外円の中心をそれぞれ求める工程と、
前記極座標変換する際に基準となる処理中心を、前記内円中心と前記外円中心との間で順次移動させながらパノラマ展開画像に変換する工程とを備えることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−８４１５６（Ｐ２０１３−８４１５６Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２４３５２（Ｐ２０１１−２２４３５２）
【出願日】平成２３年１０月１１日（２０１１．１０．１１）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月１１日（２０１１．１０．１１）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]