基準位置算出システム、および基準位置算出方法
【課題】撮像装置によって撮像された熱画像において基準に用いられる位置の画像座標系における座標値を高い精度で算出することができる基準位置算出システムを提供する。
【解決手段】反射部材５１が、遠赤外線を反射する。熱源５２が、放射した遠赤外線が反射部材５１によって反射される位置に設置される。撮像装置７０が、位置測定用装置５０を撮像した熱画像を画像処理装置６０に出力する。座標値算出手段６１が、撮像装置７０が出力した熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心の画素の画像座標系における座標値を算出する。
【解決手段】反射部材５１が、遠赤外線を反射する。熱源５２が、放射した遠赤外線が反射部材５１によって反射される位置に設置される。撮像装置７０が、位置測定用装置５０を撮像した熱画像を画像処理装置６０に出力する。座標値算出手段６１が、撮像装置７０が出力した熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心の画素の画像座標系における座標値を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段によって撮像された熱画像にもとづく撮像対象の位置または移動速度の計測に用いられる基準位置算出システム、および基準位置算出方法に関する。
【背景技術】
【０００２】
カメラによって撮像された画像にもとづいて、撮像対象が存在することを検出したり、当該撮像対象の位置および移動速度を計測したりする方法がある。
【０００３】
特許文献１には、照明の有無による影響を防ぐために、赤外線カメラによって撮像された画像にもとづいて、夜間の道路上の車両や歩行者等を検出したり、検出した車両や歩行者等の位置や移動速度を計測したりする装置が記載されている。
【０００４】
特許文献１に記載された装置で、車両や歩行者等の撮像対象の位置や移動速度を高い精度で計測するためには、赤外線カメラから出力された画像における撮像対象の画像座標系における座標値を計測し、計測した座標値を世界座標系における座標値に変換する必要がある。
【０００５】
非特許文献１や非特許文献２には、画像座標系における座標値を世界座標系における座標値に変換する方法が記載されている。
【０００６】
非特許文献１や非特許文献２に記載されている方法では、透視投影やＴｓａｉのカメラモデル等のモデルを設定して、画像座標系における座標値を世界座標系における座標値に変換する。
【０００７】
非特許文献１や非特許文献２に記載されている方法において、モデルを設定するためには、画像座標系における座標値および世界座標系における座標値が既知の位置である対応点を予め複数個用意する必要がある。
【０００８】
そして、対応点を用意するために、世界座標系における座標値が知られている位置に光源等のマーカを設置し、カメラによって撮像された画像における当該マーカの画像座標系の座標値を計測して、当該マーカの世界座標系における座標値と画像座標系における座標値とを対応付ける。なお、カメラが遠赤外線カメラである場合には、一般に、マーカに熱源が用いられる。
【０００９】
道路監視システム等において、道路上を移動する物体の位置を計測する場合に、一般に、画像座標系の座標値と世界座標系の座標値とを対応付ける対応テーブルが予め用意される。そして、当該対応テーブルで各座標値を対応付けるために、非特許文献１や非特許文献２に記載されている方法が用いられる。さらに、各対応点の間を直線補間して世界座標系上に道路面を作成し、作成した世界座標系上の道路面と画像座標系上の道路面とを対応付ける。すると、道路面を移動する物体を撮像した画像にもとづいて、物体の位置または移動速度が計測することが可能になる。従って、正確に世界座標系上の道路面と画像座標系上の道路面とを対応付けるために、画像座標系の座標値と世界座標系の座標値とを正確に対応付けることが求められている。
【００１０】
特許文献２には、カメラで撮像した画像における撮像対象の輪郭にもとづいて撮像対象の画像座標値を算出し、算出した画像座標値に対応する世界座標系の座標値を算出する方法が記載されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０００−３４８２８２号公報（段落００１０〜００１９、図１）
【特許文献２】特開２００１−２６４０３７号公報（段落００２２〜０１１５、図１）
【非特許文献】
【００１２】
【非特許文献１】徐剛、辻三郎著，「三次元ビジョン」，初版，日本，共立出版株式会社，１９９８年４月２０日，ｐ．７９−８２
【非特許文献２】ロジャー・ワイ・ツァイ（Ｒｏｇｅｒ Ｙ． Ｔｓａｉ）著，「ア バーサタイル カメラ キャリブレーション テクニック フォー ハイアキュラシー スリーディー マシン ビジョン メトロロジー ユージング オフザシェルフ ティービー カメラズ アンド レンズィス（Ａ Ｖｅｒｓａｔｉｌｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｈｉｇｈ−Ａｃｃｕｒａｃｙ ３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｍｅｔｒｏｌｏｇｙ Ｕｓｉｎｇ Ｏｆｆ−ｔｈｅ−Ｓｈｅｌｆ ＴＶ Ｃａｍｅｒａｓ ａｎｄ Ｌｅｎｓｅｓ）」，（米国），アイトリブルイー ジャーナル オブ ロボディクス アンド オートメーション（ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ），Ｖｏｌ．ＲＡ３，Ｎｏ．４，１９８７年８月，ｐ．３２３−３４４
【発明の概要】
【発明が解決しようとする課題】
【００１３】
遠赤外線カメラによってマーカである熱源が撮像された画像では、当該熱源が複数の画素に跨って撮像されていたり、当該熱源によって発せられた熱が周囲の物体に伝導されて、当該熱源の輪郭が不鮮明になっていたりして、画像座標系における熱源の座標値を高い精度で１画素の座標値に定めることはできない。
【００１４】
従って、特許文献１に記載されている装置において、熱源を用いて、画像座標系における座標値を世界座標系における座標値に正確に対応付けることができず、道路監視システム等において世界座標系上に作成される道路面と画像座標系上の道路面とを正確に対応付けることができない。
【００１５】
よって、特許文献１に記載されている装置では、画像座標系における座標値が世界座標系における座標値に正確に対応付けられていないので、撮像対象の移動前および移動後に計測された画像座標系における撮像対象の座標値に応じて算出した世界座標系における撮像対象の移動前および移動後の座標値にもとづいて、撮像対象の位置や移動速度を高い精度で測定することはできない。
【００１６】
そこで、本発明は、撮像装置によって撮像された熱画像において基準に用いられる位置の画像座標系における座標値を高い精度で算出することができる基準位置算出システムおよび基準位置算出方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明による基準位置算出システムは、熱画像にもとづく撮像対象の位置または移動速度の計測に用いられる基準位置算出システムであって、遠赤外線を反射する反射部材と、放射した遠赤外線が反射部材によって反射される位置に設置される熱源を含む位置測定用装置と、撮像対象が撮像される位置に応じた位置に設置された位置測定用装置を撮像した熱画像を出力する撮像装置と、撮像装置によって出力された熱画像にもとづいて、熱画像の画像座標系における位置測定用装置の座標値を算出する座標値算出手段を含む画像処理装置とを備え、画像処理装置の座標値算出手段は、撮像装置が出力した熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心の画素の画像座標系における座標値を算出することを特徴とする。
【００１８】
本発明による基準位置算出方法は、熱画像にもとづく撮像対象の位置または移動速度の計測に用いられる基準位置の座標を算出する基準位置算出方法であって、遠赤外線を反射する反射部材、および放射した遠赤外線が反射部材によって反射される位置に設置される熱源を含み、撮像対象が撮像される位置に応じた位置に設置された位置測定用装置が撮像装置によって撮像された熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の面積を変化させるために、反射部材を支持する支持部材の水平面に対する角度および水平面における所定の方向に対する角度を変化させ、反射部材の支持部材の水平面に対する角度または水平面における所定の方向に対する角度が変化されたタイミングで、撮像装置に撮像を指示し、撮像装置によって出力された熱画像において、領域の面積を示す面積情報を生成し、撮像装置によって出力された熱画像のうち、生成された面積情報によって示される面積が最も広い熱画像において単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心の画素の画像座標系における座標値を算出することを特徴とする。
【発明の効果】
【００１９】
本発明によれば、撮像装置によって撮像された熱画像において基準に用いられる位置の画像座標系における座標値を高い精度で算出することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態の基準位置算出システムの構成例を示す説明図である。
【図２】マーカの構成例を示す説明図である。
【図３】支持部材のパン角の変化を示す説明図である。
【図４】支持部材のチルト角の変化を示す説明図である。
【図５】撮像装置が出力した熱画像の例を示す説明図である。
【図６】本発明の実施形態の基準位置算出システムの動作を示すフローチャートである。
【図７】撮像装置が撮像した画像の例を示す説明図である。
【図８】画像座標系の座標値と世界座標系の座標値との対応を示す説明図である。
【図９】本発明の概要を示すブロック図である。
【発明を実施するための形態】
【００２１】
本発明による基準位置算出システムの実施形態について、図面を参照して説明する。図１は、本発明の実施形態の基準位置算出システムの構成例を示す説明図である。
【００２２】
図１に示すように、本発明の実施形態の基準位置算出システムは、撮像した熱画像を出力する撮像装置２０、撮像装置２０によって撮像されるマーカ１０、および撮像装置２０およびマーカ１０を制御する画像処理装置３０を含む。
【００２３】
撮像装置２０は、撮像対象を撮像可能な場所に設置される。具体的には、撮像装置２０は、例えば、撮像対象である自動車が走行する道路を撮像可能な場所に設置される。そして、マーカ１０は、撮像装置２０によって撮像される熱画像において基準に用いられる位置に応じた場所に設置される。具体的には、マーカ１０は、例えば、撮像装置２０によって撮像される自動車が通過する道路に応じた道路面を、直線補間により世界座標系上に作成して画像座標系と対応付けるために、世界座標系における座標値と画像座標系における座標値とを対応付ける位置に応じた場所に設置される。
【００２４】
図２は、マーカ１０の構成例を示す説明図である。図２に示すように、マーカ１０は、放射状に（つまり、同心球状に）、遠赤外線を発する熱源１２、内壁が放物面状の凹形状に成形された反射板１１、熱源１２を固定する固定部材１３、反射板１１を支持する支持部材１５、および支持部材１５の角度（水平面における所定の方向に対する角度（パン角という）と垂直面における水平面に対する角度（チルト角という））とを制御する駆動部１４を含む。
【００２５】
固定部材１３は、放射状に遠赤外線を発する熱源１２を放物面状に成形された反射板１１の焦点に固定する。具体的には、固定部材１３は、例えば、熱源１２の中心を反射板１１の焦点に固定する。
【００２６】
反射板１１は、例えば、内壁が放物面状に成形されて遠赤外線を反射する鏡である。また、本実施形態における反射板１１は、放物面状に成形された凹形状の反射板１１の内壁の焦点が凹形状によって形成される開口面の内側に位置するように成形されている。従って、反射板１１の内壁は、焦点に固定された熱源１２によって発せられた遠赤外線を一定の方向に反射する。よって、撮像装置２０によって撮像された熱源１２によって発せられた遠赤外線の熱画像において、反射板１１の輪郭を明確にすることができる。
【００２７】
また、本実施形態における反射板１１は、反射板１１の開口面の方向が、放物面状に成形された反射板１１の内壁の対称軸線と平行であるように成形されている。従って、本実施形態における反射板１１の開口面の形状は円形である。
【００２８】
よって、駆動部１４によって支持部材１５が制御され、撮像装置２０の位置が反射板１１の正面の位置（反射板１１の開口面に正対する位置）である場合に、当該撮像装置２０によって撮像された熱画像には、熱源１２によって発せられ、反射板１１の内壁によって反射された遠赤外線が円形に撮像される。そして、撮像装置２０の位置が反射板１１の正面以外の位置である場合よりも、反射板１１の内壁によって反射された遠赤外線が撮像される領域（つまり、熱画像における開口面の領域）の面積が広い。
【００２９】
駆動部１４は、画像処理装置３０の指示に応じて、支持部材１５のパン角とチルト角とを制御する。図３は、支持部材１５のパン角の変化を示す説明図である。図３に示すように、駆動部１４は、画像処理装置３０の指示に応じて、支持部材１５を０°≦パン角＜３６０°の範囲に制御する。
【００３０】
図４は、支持部材１５のチルト角の変化を示す説明図である。図４に示すように、駆動部１４は、画像処理装置３０の指示に応じて、支持部材１５を０°≦チルト角＜１８０°の範囲に制御する。なお、チルト角が０°である場合に、反射板１１の正面は水平方向を向いているとする。
【００３１】
熱源１２は、マーカ１０の周囲の温度よりも高い温度になり、放射状に遠赤外線を発する。熱源１２は、例えば、電気ヒータである。
【００３２】
撮像装置２０は、撮像して熱画像を出力する機能を有する装置であり、例えば、遠赤外線カメラである。撮像装置２０は、熱画像を画像処理装置３０に出力する。図５は、撮像装置２０が出力した熱画像の例を示す説明図である。図５には、マーカ１０の熱源１２によって発せられた遠赤外線を反射する反射板１１の内壁の領域が白画素で示されている。つまり、図５に示す例において、反射板１１の開口面が白画素で示されている。
【００３３】
画像処理装置３０は、座標値算出手段３１、角度指示手段３２、撮像指示手段３３、および面積情報生成手段３４を含む。座標値算出手段３１は、撮像装置２０が出力した熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心座標値を算出する。
【００３４】
角度指示手段３２は、マーカ１０の駆動部１４に、支持部材１５のパン角とチルト角とを指示する。撮像指示手段３３は、角度指示手段３２の指示に応じてマーカ１０の駆動部１４が支持部材１５のパン角またはチルト角を変化させたタイミングで、撮像装置２０に撮像を指示する。面積情報生成手段３４は、撮像装置２０が出力した熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の面積を算出する。具体的には、画像処理装置３０は、単位面積当たりの遠赤外線の強度が所定の値以上である領域を構成する画素の数（図５に示す例では、白画素の数）を計数する。
【００３５】
図１に示すシステムの動作について、図面を参照して説明する。図６は、本発明の実施形態の基準位置算出システムの動作を示すフローチャートである。
【００３６】
画像処理装置３０の角度指示手段３２は、マーカ１０の駆動部１４に、パン角およびチルト角を０°にするように指示する。駆動部１４は、パン角およびチルト角が０°になるように、支持部材１５の角度を制御する（ステップＳ１０１）。
【００３７】
そして、画像処理装置３０は、初期化処理を行う（ステップＳ１０２）。具体的には、画像処理装置３０は、パン角の制御が終了したか否かを示すフラグであるパン角制御終了フラグ「ＦＬＧ」をリセットする。本実施形態では、画像処理装置３０は、パン角制御終了フラグ「ＦＬＧ」の値に０をセットする。また、画像処理装置３０は、白画素の数の最大値を示す変数「ＭＡＸ」の値に０をセットする。画像処理装置３０は、パン角の角度を示す変数「ｐａｎ」の値に０をセットし、チルト角の角度を示す変数「ｔｉｌｔ」の値に０をセットする。
【００３８】
また、画像処理装置３０は、白画素の数が最大値になった場合のパン角を示す変数「ＡＮＧ＿Ｐ」の値と、白画素の数が最大値になった場合のチルト角を示す変数「ＡＮＧ＿Ｔ」の値とにそれぞれ０をセットする。
【００３９】
撮像装置２０によってマーカ１０が撮像された熱画像が出力され、画像処理装置３０が撮像装置２０によって出力された熱画像を受信した場合に（ステップＳ１０３）、画像処理装置３０は、マーカ１０の熱源１２によって発せられ、反射板１１によって遠赤外線が反射された領域が白画素で表現され、他の領域が黒画素で表現されるように二値化した画像データを生成する（ステップＳ１０４）。具体的には、例えば、所定の単位面積当たりの遠赤外線の強度が所定の値以上である領域が白画素で表現され、他の領域が黒画素で表現されるように二値化された画像データを生成する。
【００４０】
画像処理装置３０の面積情報生成手段３４は、ステップＳ１０４の処理で二値化された画像データにもとづいて、白画素によって構成される領域の面積を算出する（ステップＳ１０５）。具体的には、画像処理装置３０は、白画素の数を計数する。以下、ステップＳ１０５の処理で算出した面積の値（具体的には、白画素の数）を示す変数を「Ｍ」とする。
【００４１】
画像処理装置３０は、パン角の制御が終了していないと判断した場合に（ステップＳ１０６のＹ）、ステップＳ１０７の処理に移行し、パン角の制御が終了したと判断した場合に（ステップＳ１０６のＮ）、ステップＳ１１３の処理に移行する。
【００４２】
具体的には、画像処理装置３０は、ステップＳ１０６の処理で、パン角制御終了フラグ「ＦＬＧ」の値が０である場合に、パン角の制御が終了していないと判断し、パン角制御終了フラグ「ＦＬＧ」の値が０でない場合に、パン角の制御が終了したと判断する。
【００４３】
画像処理装置３０は、変数「Ｍ」の値が白画素の数の最大値を示す変数「ＭＡＸ」の値よりも大きい場合に（ステップＳ１０７のＹ）、変数「Ｍ」の値を変数「ＭＡＸ」の値にセットし、パン角の角度を示す変数「ｐａｎ」の値を白画素の数が最大値になった場合のパン角を示す変数「ＡＮＧ＿Ｐ」の値にセットする。そして、画像処理装置３０の座標値算出手段３１は、画像座標系のＸ軸における白画素の中心座標値を算出する（ステップＳ１０８）。
【００４４】
図７は、撮像装置２０が撮像した画像の例を示す説明図である。図７に示す例では、画像座標系において、白画素による領域（図７において楕円形で示す領域）のＸ軸における座標値の最大値がｘ２であり、最小値がｘ１であることが示されている。つまり、画像座標系において、白画素による領域のＸ軸における両端の座標値は、ｘ１とｘ２とである。画像処理装置３０の座標値算出手段３１は、（ｘ２−ｘ１）／２の計算を行い、画像座標系における白画素のＸ軸の中心座標値ｘｃを算出する。
【００４５】
画像処理装置３０は、変数「Ｍ」の値が白画素の数の最大値を示す変数「ＭＡＸ」の値以下である場合（ステップＳ１０７のＮ）、またはステップＳ１０８の処理後に、パン角の角度を示す変数「ｐａｎ」の値が３６０未満であるか否か判断する（ステップＳ１０９）。
【００４６】
画像処理装置３０は、パン角の角度を示す変数「ｐａｎ」の値が３６０未満である場合に（ステップＳ１０９のＮ）、パン角の角度を示す変数「ｐａｎ」の値に０．１を加える（ステップＳ１１０）。画像処理装置３０の角度指示手段３２は、マーカ１０の駆動部１４に、ステップＳ１１０の処理でセットされた変数「ｐａｎ」の値によって示される角度に支持部材１５の角度を制御する指示を送信する。そして、画像処理装置３０の撮像指示手段３３は、撮像装置２０に熱画像の撮像を指示する。
【００４７】
また、画像処理装置３０は、パン角の角度を示す変数「ｐａｎ」の値が３６０未満でない場合に（ステップＳ１０９のＹ）、白画素の数が最大値になった場合のパン角を示す変数「ＡＮＧ＿Ｐ」の値をパン角の角度を示す変数「ｐａｎ」の値にセットし、パン角制御終了フラグ「ＦＬＧ」の値に１をセットする（ステップＳ１１１）。
【００４８】
画像処理装置３０の角度指示手段３２は、マーカ１０の駆動部１４に、ステップＳ１１１の処理でセットされた変数「ｐａｎ」の値（つまり、白画素の数が最大値になった場合のパン角を示す変数「ＡＮＧ＿Ｐ」の値）によって示される角度に支持部材１５の角度を制御する指示を送信する。マーカ１０の駆動部１４は、画像処理装置３０の指示に応じたパン角に支持部材１５を制御する（ステップＳ１１２）。また、画像処理装置３０の撮像指示手段３３は、撮像装置２０に熱画像の撮像を指示し、ステップＳ１０３の処理に移行する。
【００４９】
画像処理装置３０は、パン角の制御が終了したと判断した場合に（ステップＳ１０６のＮ）、画像処理装置３０は、変数「Ｍ」の値が白画素の数の最大値を示す変数「ＭＡＸ」の値よりも大きいときに（ステップＳ１１３のＹ）、変数「ＭＡＸ」の値に変数「Ｍ」の値をセットし、白画素の数が最大値になった場合のチルト角を示す変数「ＡＮＧ＿Ｔ」の値にチルト角の角度を示す変数「ｔｉｌｔ」の値をセットする。そして、画像処理装置３０の座標値算出手段３１は、画像座標系のＹ軸における白画素の中心座標値を算出する（ステップＳ１１４）。
【００５０】
図７に示す例では、画像座標系において、白画素による領域のＹ軸における座標値の最大値がｙ２であり、最小値がｙ１であることが示されている。つまり、画像座標系において、白画素による領域のＹ軸における両端の座標値は、ｙ１とｙ２とである。画像処理装置３０の座標値算出手段３１は、（ｙ２−ｙ１）／２の計算を行い、画像座標系における白画素のＹ軸の中心座標値ｙｃを算出する。
【００５１】
画像処理装置３０は、変数「Ｍ」の値が白画素の数の最大値を示す変数「ＭＡＸ」の値以下である場合（ステップＳ１１３のＮ）、またはステップＳ１１４の処理後に、チルト角の角度を示す変数「ｔｉｌｔ」の値が１８０未満であるか否か判断する（ステップＳ１１５）。
【００５２】
画像処理装置３０は、チルト角の角度を示す変数「ｔｉｌｔ」の値が１８０未満である場合に（ステップＳ１１５のＮ）、チルト角の角度を示す変数「ｔｉｌｔ」の値に０．１を加える（ステップＳ１１６）。
【００５３】
そして、画像処理装置３０の角度指示手段３２は、マーカ１０の駆動部１４に、ステップＳ１１６の処理でセットされた変数「ｔｉｌｔ」の値によって示される角度に支持部材１５の角度を制御する指示を送信する。マーカ１０の駆動部１４は、画像処理装置３０の指示に応じたチルト角に支持部材１５を制御する。画像処理装置３０の撮像指示手段３３は、撮像装置２０に熱画像の撮像を指示し、ステップＳ１０３の処理に移行する。
【００５４】
また、画像処理装置３０は、チルト角の角度を示す変数「ｔｉｌｔ」の値が１８０未満でない場合に（ステップＳ１１５のＹ）、白画素の数が最大値になった場合のチルト角を示す変数「ＡＮＧ＿Ｔ」の値をチルト角の角度を示す変数「ｔｉｌｔ」の値にセットし、画像座標系における白画素の中心座標の座標値ｐに、ｐ（ｘｃ，ｙｃ）をセットする（ステップＳ１１８）。
【００５５】
次に、白画素の数が最大値になった場合のチルト角を示す変数「ＡＮＧ＿Ｔ」の値や、白画素の数が最大値になった場合のチルト角を示す変数「ＡＮＧ＿Ｔ」の値にもとづいて、画像座標系の座標値ｐと世界座標系の座標値とを対応付ける方法について説明する。図８は、画像座標系の座標値と世界座標系の座標値との対応を示す説明図である。
【００５６】
図８に示すように、図６に示す各処理が実行されているときに設置されていたマーカ１０が移動された場合に、撮像装置２０によって撮像される熱画像において、画像座標系の座標値ｐの位置に撮像される地面の位置は点Ｐである。
【００５７】
マーカ１０が、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星から受信したＧＰＳ信号にもとづいて、設置されている位置を計測する機能を有する場合に、白画素の数が最大値になった場合のパン角を示す変数「ＡＮＧ＿Ｐ」の値と、白画素の数が最大値になった場合のチルト角を示す変数「ＡＮＧ＿Ｔ」の値と、マーカ１０の支持部材１５がマーカ１０の筐体に支持されている位置の地面からの高さと、ＧＰＳ信号にもとづいて計測したマーカ１０が設置されていた位置とにもとづいて、点Ｐの世界座標系の座標値を算出する。算出した点Ｐの世界座標系の座標値が画像座標系の座標値ｐ（ｘｃ，ｙｃ）に対応する世界座標系の座標値である。
【００５８】
なお、マーカ１０が、ＧＰＳ信号にもとづいて設置されている位置を算出する機能を有していない場合には、例えば、白画素の数が最大値になった場合のパン角を示す変数「ＡＮＧ＿Ｐ」の値と、白画素の数が最大値になった場合のチルト角を示す変数「ＡＮＧ＿Ｔ」の値と、マーカ１０の支持部材１５がマーカ１０の筐体に支持されている位置の地面からの高さとにもとづいて、マーカ１０に対する点Ｐの距離および方向を算出する。
【００５９】
そして、算出結果にもとづく点Ｐの位置を示す世界座標系の座標値をＧＰＳ衛星から受信した信号にもとづいて計測したり、既知の世界座標系の座標値の位置に対する点Ｐの世界座標系の座標値を巻き尺や物差しを用いて測量したりする。計測または測量された点Ｐの世界座標系の座標値が画像座標系の座標値ｐ（ｘｃ，ｙｃ）に対応する世界座標系の座標値である。
【００６０】
そして、複数の画像座標系の座標値に対応する世界座標系の座標値をそれぞれ算出または測量することによって、撮像装置２０の撮像対象の位置や移動速度を高い精度で計測することができる。
【００６１】
具体的には、道路監視システム等において、複数の位置で画像座標系の座標値と世界座標系の座標値とを高い精度で対応づけて、各位置の間を直線補間することにより、高い精度で世界座標系上の道路面と画像座標系上の道路面とを対応づけられる。よって、撮像装置２０の撮像対象の位置や移動速度を高い精度で計測することができる。
【００６２】
本実施形態によれば、撮像装置２０によって撮像された熱画像において基準に用いられる位置の画像座標系における座標値ｐを高い精度で算出することができる。
【００６３】
そして、算出または測量された点Ｐの世界座標系の座標値と、高い精度で算出された画像座標系の座標値ｐとを対応付けることができる。
【００６４】
さらに、本実施形態によれば、撮像装置２０の撮像対象（例えば、自動車）の移動経路において、画像座標系の座標値と世界座標系の座標値とを対応付けることにより、撮像装置２０によって撮像された熱画像にもとづいて、撮像対象の位置や移動速度を高い精度で算出することができる。
【００６５】
次に、本発明の概要について、図面を参照して説明する。図９は、本発明の概要を示すブロック図である。本発明による基準位置算出システム４０は、位置測定用装置５０（図２に示すマーカ１０に相当）、画像処理装置６０（図１に示す画像処理装置３０に相当）、および撮像装置７０（図１に示す撮像装置２０に相当）を含む。
【００６６】
位置測定用装置５０は、反射部材５１（図２に示す反射板１１に相当）と熱源５２（図２に示す熱源１２に相当）とを含む。画像処理装置６０は、座標値算出手段６１（図１に示す座標値算出手段３１に相当）を含む。
【００６７】
反射部材５１は、遠赤外線を反射する。熱源５２は、放射した遠赤外線が反射部材５１によって反射される位置に設置される。撮像装置７０は、位置測定用装置５０を撮像した熱画像を画像処理装置６０に出力する。座標値算出手段６１は、撮像装置７０が出力した熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心の画素の画像座標系における座標値を算出する。
【００６８】
そのような構成によれば、撮像装置７０によって出力された熱画像において単位面積当たりの遠赤外線の強度が所定の値以上である領域の輪郭が明確になり、撮像対象の位置または移動速度の計測の基準に用いられる当該領域の中心の画像座標系における座標値を高い精度で算出することができる。
【００６９】
また、上記の実施形態では、以下の（１）〜（４）に示すような基準位置算出システムも開示されている。
【００７０】
（１）位置測定用装置５０の反射部材５１の内壁が放物面状に成形され、熱源５２が内壁による放物面における焦点の位置に設置される基準位置算出システム。そのように構成されている場合には、反射部材５１の内壁が、熱源５２によって発せられた遠赤外線を一定の方向に反射するので、撮像装置７０によって出力される熱画像における単位面積当たりの遠赤外線の強度が所定の値以上である領域の輪郭をより明確にすることができる。
【００７１】
（２）位置測定用装置５０が、撮像装置７０によって出力される熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の面積を変化させるために、反射部材５１を支持する支持部材（図２に示す支持部材１５に相当）の水平面に対する角度および水平面における所定の方向に対する角度を変化させる角度制御手段（図２に示す駆動部１４に相当）を含み、画像処理装置６０が、位置測定用装置５０の角度制御手段によって、反射部材５１の支持部材の水平面に対する角度または水平面における所定の方向に対する角度が変化されたタイミングで、撮像装置７０に撮像を指示する撮像指示手段（図１に示す角度指示手段３２に相当）と、撮像装置７０によって出力された熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の面積を示す面積情報を生成する面積情報生成手段（図１に示す面積情報生成手段３４に相当）とを含み、座標値算出手段６１が、撮像装置７０によって出力された熱画像のうち、面積情報生成手段によって生成された面積情報によって示される面積が最も広い熱画像において単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心の画素の画像座標系における座標値を算出する基準位置算出システム。そのように構成されている場合には、算出した画像座標系における座標値に対応する世界座標系における座標値を、面積情報によって示される面積が最も広い熱画像が撮像されたときの支持部材の水平面に対する角度や、水平面における所定の方向に対する角度にもとづいて容易に算出することが可能になる。
【００７２】
（３）画像処理装置６０が、反射部材５１の支持部材の水平面に対する角度および水平面における所定の方向に対する角度を角度制御手段に指示する角度指示手段を含む基準位置算出システム。そのように構成されている場合には、支持部材の水平面に対する角度および水平面における所定の方向に対する角度を変化させて、つまり、撮像装置７０に対する反射部材５１の角度の変化に応じて、熱画像を当該撮像装置７０に出力させることができる。
【００７３】
（４）座標値算出手段６１が、撮像装置７０によって出力された熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域における画像座標系のＸ軸方向の両端部の座標値の中間の座標値、および当該領域における画像座標系のＹ軸方向の両端部の座標値の中間の座標値を当該領域の中心の画素の画像座標系における座標値として算出する基準位置算出システム。そのように構成されている場合には、撮像装置７０によって出力された熱画像を用いて、撮像対象の位置または移動速度の計測の基準に用いられる位置の画像座標系における座標値を容易に算出することができる。
【産業上の利用可能性】
【００７４】
本発明を、撮像手段によって撮像された熱画像にもとづく撮像対象の位置または移動速度の計測に用いられるシステムに適用可能である。
【符号の説明】
【００７５】
１０ マーカ
１１ 反射板
１２、５２ 熱源
１３ 固定部材
１４ 駆動部
１５ 支持部材
２０、７０ 撮像装置
３０、６０ 画像処理装置
３１、６１ 座標値算出手段
３２ 角度指示手段
３３ 撮像指示手段
３４ 面積情報生成手段
４０ 基準位置算出システム
５０ 位置測定用装置
５１ 反射部材
【技術分野】
【０００１】
本発明は、撮像手段によって撮像された熱画像にもとづく撮像対象の位置または移動速度の計測に用いられる基準位置算出システム、および基準位置算出方法に関する。
【背景技術】
【０００２】
カメラによって撮像された画像にもとづいて、撮像対象が存在することを検出したり、当該撮像対象の位置および移動速度を計測したりする方法がある。
【０００３】
特許文献１には、照明の有無による影響を防ぐために、赤外線カメラによって撮像された画像にもとづいて、夜間の道路上の車両や歩行者等を検出したり、検出した車両や歩行者等の位置や移動速度を計測したりする装置が記載されている。
【０００４】
特許文献１に記載された装置で、車両や歩行者等の撮像対象の位置や移動速度を高い精度で計測するためには、赤外線カメラから出力された画像における撮像対象の画像座標系における座標値を計測し、計測した座標値を世界座標系における座標値に変換する必要がある。
【０００５】
非特許文献１や非特許文献２には、画像座標系における座標値を世界座標系における座標値に変換する方法が記載されている。
【０００６】
非特許文献１や非特許文献２に記載されている方法では、透視投影やＴｓａｉのカメラモデル等のモデルを設定して、画像座標系における座標値を世界座標系における座標値に変換する。
【０００７】
非特許文献１や非特許文献２に記載されている方法において、モデルを設定するためには、画像座標系における座標値および世界座標系における座標値が既知の位置である対応点を予め複数個用意する必要がある。
【０００８】
そして、対応点を用意するために、世界座標系における座標値が知られている位置に光源等のマーカを設置し、カメラによって撮像された画像における当該マーカの画像座標系の座標値を計測して、当該マーカの世界座標系における座標値と画像座標系における座標値とを対応付ける。なお、カメラが遠赤外線カメラである場合には、一般に、マーカに熱源が用いられる。
【０００９】
道路監視システム等において、道路上を移動する物体の位置を計測する場合に、一般に、画像座標系の座標値と世界座標系の座標値とを対応付ける対応テーブルが予め用意される。そして、当該対応テーブルで各座標値を対応付けるために、非特許文献１や非特許文献２に記載されている方法が用いられる。さらに、各対応点の間を直線補間して世界座標系上に道路面を作成し、作成した世界座標系上の道路面と画像座標系上の道路面とを対応付ける。すると、道路面を移動する物体を撮像した画像にもとづいて、物体の位置または移動速度が計測することが可能になる。従って、正確に世界座標系上の道路面と画像座標系上の道路面とを対応付けるために、画像座標系の座標値と世界座標系の座標値とを正確に対応付けることが求められている。
【００１０】
特許文献２には、カメラで撮像した画像における撮像対象の輪郭にもとづいて撮像対象の画像座標値を算出し、算出した画像座標値に対応する世界座標系の座標値を算出する方法が記載されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０００−３４８２８２号公報（段落００１０〜００１９、図１）
【特許文献２】特開２００１−２６４０３７号公報（段落００２２〜０１１５、図１）
【非特許文献】
【００１２】
【非特許文献１】徐剛、辻三郎著，「三次元ビジョン」，初版，日本，共立出版株式会社，１９９８年４月２０日，ｐ．７９−８２
【非特許文献２】ロジャー・ワイ・ツァイ（Ｒｏｇｅｒ Ｙ． Ｔｓａｉ）著，「ア バーサタイル カメラ キャリブレーション テクニック フォー ハイアキュラシー スリーディー マシン ビジョン メトロロジー ユージング オフザシェルフ ティービー カメラズ アンド レンズィス（Ａ Ｖｅｒｓａｔｉｌｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｈｉｇｈ−Ａｃｃｕｒａｃｙ ３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｍｅｔｒｏｌｏｇｙ Ｕｓｉｎｇ Ｏｆｆ−ｔｈｅ−Ｓｈｅｌｆ ＴＶ Ｃａｍｅｒａｓ ａｎｄ Ｌｅｎｓｅｓ）」，（米国），アイトリブルイー ジャーナル オブ ロボディクス アンド オートメーション（ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ），Ｖｏｌ．ＲＡ３，Ｎｏ．４，１９８７年８月，ｐ．３２３−３４４
【発明の概要】
【発明が解決しようとする課題】
【００１３】
遠赤外線カメラによってマーカである熱源が撮像された画像では、当該熱源が複数の画素に跨って撮像されていたり、当該熱源によって発せられた熱が周囲の物体に伝導されて、当該熱源の輪郭が不鮮明になっていたりして、画像座標系における熱源の座標値を高い精度で１画素の座標値に定めることはできない。
【００１４】
従って、特許文献１に記載されている装置において、熱源を用いて、画像座標系における座標値を世界座標系における座標値に正確に対応付けることができず、道路監視システム等において世界座標系上に作成される道路面と画像座標系上の道路面とを正確に対応付けることができない。
【００１５】
よって、特許文献１に記載されている装置では、画像座標系における座標値が世界座標系における座標値に正確に対応付けられていないので、撮像対象の移動前および移動後に計測された画像座標系における撮像対象の座標値に応じて算出した世界座標系における撮像対象の移動前および移動後の座標値にもとづいて、撮像対象の位置や移動速度を高い精度で測定することはできない。
【００１６】
そこで、本発明は、撮像装置によって撮像された熱画像において基準に用いられる位置の画像座標系における座標値を高い精度で算出することができる基準位置算出システムおよび基準位置算出方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明による基準位置算出システムは、熱画像にもとづく撮像対象の位置または移動速度の計測に用いられる基準位置算出システムであって、遠赤外線を反射する反射部材と、放射した遠赤外線が反射部材によって反射される位置に設置される熱源を含む位置測定用装置と、撮像対象が撮像される位置に応じた位置に設置された位置測定用装置を撮像した熱画像を出力する撮像装置と、撮像装置によって出力された熱画像にもとづいて、熱画像の画像座標系における位置測定用装置の座標値を算出する座標値算出手段を含む画像処理装置とを備え、画像処理装置の座標値算出手段は、撮像装置が出力した熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心の画素の画像座標系における座標値を算出することを特徴とする。
【００１８】
本発明による基準位置算出方法は、熱画像にもとづく撮像対象の位置または移動速度の計測に用いられる基準位置の座標を算出する基準位置算出方法であって、遠赤外線を反射する反射部材、および放射した遠赤外線が反射部材によって反射される位置に設置される熱源を含み、撮像対象が撮像される位置に応じた位置に設置された位置測定用装置が撮像装置によって撮像された熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の面積を変化させるために、反射部材を支持する支持部材の水平面に対する角度および水平面における所定の方向に対する角度を変化させ、反射部材の支持部材の水平面に対する角度または水平面における所定の方向に対する角度が変化されたタイミングで、撮像装置に撮像を指示し、撮像装置によって出力された熱画像において、領域の面積を示す面積情報を生成し、撮像装置によって出力された熱画像のうち、生成された面積情報によって示される面積が最も広い熱画像において単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心の画素の画像座標系における座標値を算出することを特徴とする。
【発明の効果】
【００１９】
本発明によれば、撮像装置によって撮像された熱画像において基準に用いられる位置の画像座標系における座標値を高い精度で算出することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態の基準位置算出システムの構成例を示す説明図である。
【図２】マーカの構成例を示す説明図である。
【図３】支持部材のパン角の変化を示す説明図である。
【図４】支持部材のチルト角の変化を示す説明図である。
【図５】撮像装置が出力した熱画像の例を示す説明図である。
【図６】本発明の実施形態の基準位置算出システムの動作を示すフローチャートである。
【図７】撮像装置が撮像した画像の例を示す説明図である。
【図８】画像座標系の座標値と世界座標系の座標値との対応を示す説明図である。
【図９】本発明の概要を示すブロック図である。
【発明を実施するための形態】
【００２１】
本発明による基準位置算出システムの実施形態について、図面を参照して説明する。図１は、本発明の実施形態の基準位置算出システムの構成例を示す説明図である。
【００２２】
図１に示すように、本発明の実施形態の基準位置算出システムは、撮像した熱画像を出力する撮像装置２０、撮像装置２０によって撮像されるマーカ１０、および撮像装置２０およびマーカ１０を制御する画像処理装置３０を含む。
【００２３】
撮像装置２０は、撮像対象を撮像可能な場所に設置される。具体的には、撮像装置２０は、例えば、撮像対象である自動車が走行する道路を撮像可能な場所に設置される。そして、マーカ１０は、撮像装置２０によって撮像される熱画像において基準に用いられる位置に応じた場所に設置される。具体的には、マーカ１０は、例えば、撮像装置２０によって撮像される自動車が通過する道路に応じた道路面を、直線補間により世界座標系上に作成して画像座標系と対応付けるために、世界座標系における座標値と画像座標系における座標値とを対応付ける位置に応じた場所に設置される。
【００２４】
図２は、マーカ１０の構成例を示す説明図である。図２に示すように、マーカ１０は、放射状に（つまり、同心球状に）、遠赤外線を発する熱源１２、内壁が放物面状の凹形状に成形された反射板１１、熱源１２を固定する固定部材１３、反射板１１を支持する支持部材１５、および支持部材１５の角度（水平面における所定の方向に対する角度（パン角という）と垂直面における水平面に対する角度（チルト角という））とを制御する駆動部１４を含む。
【００２５】
固定部材１３は、放射状に遠赤外線を発する熱源１２を放物面状に成形された反射板１１の焦点に固定する。具体的には、固定部材１３は、例えば、熱源１２の中心を反射板１１の焦点に固定する。
【００２６】
反射板１１は、例えば、内壁が放物面状に成形されて遠赤外線を反射する鏡である。また、本実施形態における反射板１１は、放物面状に成形された凹形状の反射板１１の内壁の焦点が凹形状によって形成される開口面の内側に位置するように成形されている。従って、反射板１１の内壁は、焦点に固定された熱源１２によって発せられた遠赤外線を一定の方向に反射する。よって、撮像装置２０によって撮像された熱源１２によって発せられた遠赤外線の熱画像において、反射板１１の輪郭を明確にすることができる。
【００２７】
また、本実施形態における反射板１１は、反射板１１の開口面の方向が、放物面状に成形された反射板１１の内壁の対称軸線と平行であるように成形されている。従って、本実施形態における反射板１１の開口面の形状は円形である。
【００２８】
よって、駆動部１４によって支持部材１５が制御され、撮像装置２０の位置が反射板１１の正面の位置（反射板１１の開口面に正対する位置）である場合に、当該撮像装置２０によって撮像された熱画像には、熱源１２によって発せられ、反射板１１の内壁によって反射された遠赤外線が円形に撮像される。そして、撮像装置２０の位置が反射板１１の正面以外の位置である場合よりも、反射板１１の内壁によって反射された遠赤外線が撮像される領域（つまり、熱画像における開口面の領域）の面積が広い。
【００２９】
駆動部１４は、画像処理装置３０の指示に応じて、支持部材１５のパン角とチルト角とを制御する。図３は、支持部材１５のパン角の変化を示す説明図である。図３に示すように、駆動部１４は、画像処理装置３０の指示に応じて、支持部材１５を０°≦パン角＜３６０°の範囲に制御する。
【００３０】
図４は、支持部材１５のチルト角の変化を示す説明図である。図４に示すように、駆動部１４は、画像処理装置３０の指示に応じて、支持部材１５を０°≦チルト角＜１８０°の範囲に制御する。なお、チルト角が０°である場合に、反射板１１の正面は水平方向を向いているとする。
【００３１】
熱源１２は、マーカ１０の周囲の温度よりも高い温度になり、放射状に遠赤外線を発する。熱源１２は、例えば、電気ヒータである。
【００３２】
撮像装置２０は、撮像して熱画像を出力する機能を有する装置であり、例えば、遠赤外線カメラである。撮像装置２０は、熱画像を画像処理装置３０に出力する。図５は、撮像装置２０が出力した熱画像の例を示す説明図である。図５には、マーカ１０の熱源１２によって発せられた遠赤外線を反射する反射板１１の内壁の領域が白画素で示されている。つまり、図５に示す例において、反射板１１の開口面が白画素で示されている。
【００３３】
画像処理装置３０は、座標値算出手段３１、角度指示手段３２、撮像指示手段３３、および面積情報生成手段３４を含む。座標値算出手段３１は、撮像装置２０が出力した熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心座標値を算出する。
【００３４】
角度指示手段３２は、マーカ１０の駆動部１４に、支持部材１５のパン角とチルト角とを指示する。撮像指示手段３３は、角度指示手段３２の指示に応じてマーカ１０の駆動部１４が支持部材１５のパン角またはチルト角を変化させたタイミングで、撮像装置２０に撮像を指示する。面積情報生成手段３４は、撮像装置２０が出力した熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の面積を算出する。具体的には、画像処理装置３０は、単位面積当たりの遠赤外線の強度が所定の値以上である領域を構成する画素の数（図５に示す例では、白画素の数）を計数する。
【００３５】
図１に示すシステムの動作について、図面を参照して説明する。図６は、本発明の実施形態の基準位置算出システムの動作を示すフローチャートである。
【００３６】
画像処理装置３０の角度指示手段３２は、マーカ１０の駆動部１４に、パン角およびチルト角を０°にするように指示する。駆動部１４は、パン角およびチルト角が０°になるように、支持部材１５の角度を制御する（ステップＳ１０１）。
【００３７】
そして、画像処理装置３０は、初期化処理を行う（ステップＳ１０２）。具体的には、画像処理装置３０は、パン角の制御が終了したか否かを示すフラグであるパン角制御終了フラグ「ＦＬＧ」をリセットする。本実施形態では、画像処理装置３０は、パン角制御終了フラグ「ＦＬＧ」の値に０をセットする。また、画像処理装置３０は、白画素の数の最大値を示す変数「ＭＡＸ」の値に０をセットする。画像処理装置３０は、パン角の角度を示す変数「ｐａｎ」の値に０をセットし、チルト角の角度を示す変数「ｔｉｌｔ」の値に０をセットする。
【００３８】
また、画像処理装置３０は、白画素の数が最大値になった場合のパン角を示す変数「ＡＮＧ＿Ｐ」の値と、白画素の数が最大値になった場合のチルト角を示す変数「ＡＮＧ＿Ｔ」の値とにそれぞれ０をセットする。
【００３９】
撮像装置２０によってマーカ１０が撮像された熱画像が出力され、画像処理装置３０が撮像装置２０によって出力された熱画像を受信した場合に（ステップＳ１０３）、画像処理装置３０は、マーカ１０の熱源１２によって発せられ、反射板１１によって遠赤外線が反射された領域が白画素で表現され、他の領域が黒画素で表現されるように二値化した画像データを生成する（ステップＳ１０４）。具体的には、例えば、所定の単位面積当たりの遠赤外線の強度が所定の値以上である領域が白画素で表現され、他の領域が黒画素で表現されるように二値化された画像データを生成する。
【００４０】
画像処理装置３０の面積情報生成手段３４は、ステップＳ１０４の処理で二値化された画像データにもとづいて、白画素によって構成される領域の面積を算出する（ステップＳ１０５）。具体的には、画像処理装置３０は、白画素の数を計数する。以下、ステップＳ１０５の処理で算出した面積の値（具体的には、白画素の数）を示す変数を「Ｍ」とする。
【００４１】
画像処理装置３０は、パン角の制御が終了していないと判断した場合に（ステップＳ１０６のＹ）、ステップＳ１０７の処理に移行し、パン角の制御が終了したと判断した場合に（ステップＳ１０６のＮ）、ステップＳ１１３の処理に移行する。
【００４２】
具体的には、画像処理装置３０は、ステップＳ１０６の処理で、パン角制御終了フラグ「ＦＬＧ」の値が０である場合に、パン角の制御が終了していないと判断し、パン角制御終了フラグ「ＦＬＧ」の値が０でない場合に、パン角の制御が終了したと判断する。
【００４３】
画像処理装置３０は、変数「Ｍ」の値が白画素の数の最大値を示す変数「ＭＡＸ」の値よりも大きい場合に（ステップＳ１０７のＹ）、変数「Ｍ」の値を変数「ＭＡＸ」の値にセットし、パン角の角度を示す変数「ｐａｎ」の値を白画素の数が最大値になった場合のパン角を示す変数「ＡＮＧ＿Ｐ」の値にセットする。そして、画像処理装置３０の座標値算出手段３１は、画像座標系のＸ軸における白画素の中心座標値を算出する（ステップＳ１０８）。
【００４４】
図７は、撮像装置２０が撮像した画像の例を示す説明図である。図７に示す例では、画像座標系において、白画素による領域（図７において楕円形で示す領域）のＸ軸における座標値の最大値がｘ２であり、最小値がｘ１であることが示されている。つまり、画像座標系において、白画素による領域のＸ軸における両端の座標値は、ｘ１とｘ２とである。画像処理装置３０の座標値算出手段３１は、（ｘ２−ｘ１）／２の計算を行い、画像座標系における白画素のＸ軸の中心座標値ｘｃを算出する。
【００４５】
画像処理装置３０は、変数「Ｍ」の値が白画素の数の最大値を示す変数「ＭＡＸ」の値以下である場合（ステップＳ１０７のＮ）、またはステップＳ１０８の処理後に、パン角の角度を示す変数「ｐａｎ」の値が３６０未満であるか否か判断する（ステップＳ１０９）。
【００４６】
画像処理装置３０は、パン角の角度を示す変数「ｐａｎ」の値が３６０未満である場合に（ステップＳ１０９のＮ）、パン角の角度を示す変数「ｐａｎ」の値に０．１を加える（ステップＳ１１０）。画像処理装置３０の角度指示手段３２は、マーカ１０の駆動部１４に、ステップＳ１１０の処理でセットされた変数「ｐａｎ」の値によって示される角度に支持部材１５の角度を制御する指示を送信する。そして、画像処理装置３０の撮像指示手段３３は、撮像装置２０に熱画像の撮像を指示する。
【００４７】
また、画像処理装置３０は、パン角の角度を示す変数「ｐａｎ」の値が３６０未満でない場合に（ステップＳ１０９のＹ）、白画素の数が最大値になった場合のパン角を示す変数「ＡＮＧ＿Ｐ」の値をパン角の角度を示す変数「ｐａｎ」の値にセットし、パン角制御終了フラグ「ＦＬＧ」の値に１をセットする（ステップＳ１１１）。
【００４８】
画像処理装置３０の角度指示手段３２は、マーカ１０の駆動部１４に、ステップＳ１１１の処理でセットされた変数「ｐａｎ」の値（つまり、白画素の数が最大値になった場合のパン角を示す変数「ＡＮＧ＿Ｐ」の値）によって示される角度に支持部材１５の角度を制御する指示を送信する。マーカ１０の駆動部１４は、画像処理装置３０の指示に応じたパン角に支持部材１５を制御する（ステップＳ１１２）。また、画像処理装置３０の撮像指示手段３３は、撮像装置２０に熱画像の撮像を指示し、ステップＳ１０３の処理に移行する。
【００４９】
画像処理装置３０は、パン角の制御が終了したと判断した場合に（ステップＳ１０６のＮ）、画像処理装置３０は、変数「Ｍ」の値が白画素の数の最大値を示す変数「ＭＡＸ」の値よりも大きいときに（ステップＳ１１３のＹ）、変数「ＭＡＸ」の値に変数「Ｍ」の値をセットし、白画素の数が最大値になった場合のチルト角を示す変数「ＡＮＧ＿Ｔ」の値にチルト角の角度を示す変数「ｔｉｌｔ」の値をセットする。そして、画像処理装置３０の座標値算出手段３１は、画像座標系のＹ軸における白画素の中心座標値を算出する（ステップＳ１１４）。
【００５０】
図７に示す例では、画像座標系において、白画素による領域のＹ軸における座標値の最大値がｙ２であり、最小値がｙ１であることが示されている。つまり、画像座標系において、白画素による領域のＹ軸における両端の座標値は、ｙ１とｙ２とである。画像処理装置３０の座標値算出手段３１は、（ｙ２−ｙ１）／２の計算を行い、画像座標系における白画素のＹ軸の中心座標値ｙｃを算出する。
【００５１】
画像処理装置３０は、変数「Ｍ」の値が白画素の数の最大値を示す変数「ＭＡＸ」の値以下である場合（ステップＳ１１３のＮ）、またはステップＳ１１４の処理後に、チルト角の角度を示す変数「ｔｉｌｔ」の値が１８０未満であるか否か判断する（ステップＳ１１５）。
【００５２】
画像処理装置３０は、チルト角の角度を示す変数「ｔｉｌｔ」の値が１８０未満である場合に（ステップＳ１１５のＮ）、チルト角の角度を示す変数「ｔｉｌｔ」の値に０．１を加える（ステップＳ１１６）。
【００５３】
そして、画像処理装置３０の角度指示手段３２は、マーカ１０の駆動部１４に、ステップＳ１１６の処理でセットされた変数「ｔｉｌｔ」の値によって示される角度に支持部材１５の角度を制御する指示を送信する。マーカ１０の駆動部１４は、画像処理装置３０の指示に応じたチルト角に支持部材１５を制御する。画像処理装置３０の撮像指示手段３３は、撮像装置２０に熱画像の撮像を指示し、ステップＳ１０３の処理に移行する。
【００５４】
また、画像処理装置３０は、チルト角の角度を示す変数「ｔｉｌｔ」の値が１８０未満でない場合に（ステップＳ１１５のＹ）、白画素の数が最大値になった場合のチルト角を示す変数「ＡＮＧ＿Ｔ」の値をチルト角の角度を示す変数「ｔｉｌｔ」の値にセットし、画像座標系における白画素の中心座標の座標値ｐに、ｐ（ｘｃ，ｙｃ）をセットする（ステップＳ１１８）。
【００５５】
次に、白画素の数が最大値になった場合のチルト角を示す変数「ＡＮＧ＿Ｔ」の値や、白画素の数が最大値になった場合のチルト角を示す変数「ＡＮＧ＿Ｔ」の値にもとづいて、画像座標系の座標値ｐと世界座標系の座標値とを対応付ける方法について説明する。図８は、画像座標系の座標値と世界座標系の座標値との対応を示す説明図である。
【００５６】
図８に示すように、図６に示す各処理が実行されているときに設置されていたマーカ１０が移動された場合に、撮像装置２０によって撮像される熱画像において、画像座標系の座標値ｐの位置に撮像される地面の位置は点Ｐである。
【００５７】
マーカ１０が、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星から受信したＧＰＳ信号にもとづいて、設置されている位置を計測する機能を有する場合に、白画素の数が最大値になった場合のパン角を示す変数「ＡＮＧ＿Ｐ」の値と、白画素の数が最大値になった場合のチルト角を示す変数「ＡＮＧ＿Ｔ」の値と、マーカ１０の支持部材１５がマーカ１０の筐体に支持されている位置の地面からの高さと、ＧＰＳ信号にもとづいて計測したマーカ１０が設置されていた位置とにもとづいて、点Ｐの世界座標系の座標値を算出する。算出した点Ｐの世界座標系の座標値が画像座標系の座標値ｐ（ｘｃ，ｙｃ）に対応する世界座標系の座標値である。
【００５８】
なお、マーカ１０が、ＧＰＳ信号にもとづいて設置されている位置を算出する機能を有していない場合には、例えば、白画素の数が最大値になった場合のパン角を示す変数「ＡＮＧ＿Ｐ」の値と、白画素の数が最大値になった場合のチルト角を示す変数「ＡＮＧ＿Ｔ」の値と、マーカ１０の支持部材１５がマーカ１０の筐体に支持されている位置の地面からの高さとにもとづいて、マーカ１０に対する点Ｐの距離および方向を算出する。
【００５９】
そして、算出結果にもとづく点Ｐの位置を示す世界座標系の座標値をＧＰＳ衛星から受信した信号にもとづいて計測したり、既知の世界座標系の座標値の位置に対する点Ｐの世界座標系の座標値を巻き尺や物差しを用いて測量したりする。計測または測量された点Ｐの世界座標系の座標値が画像座標系の座標値ｐ（ｘｃ，ｙｃ）に対応する世界座標系の座標値である。
【００６０】
そして、複数の画像座標系の座標値に対応する世界座標系の座標値をそれぞれ算出または測量することによって、撮像装置２０の撮像対象の位置や移動速度を高い精度で計測することができる。
【００６１】
具体的には、道路監視システム等において、複数の位置で画像座標系の座標値と世界座標系の座標値とを高い精度で対応づけて、各位置の間を直線補間することにより、高い精度で世界座標系上の道路面と画像座標系上の道路面とを対応づけられる。よって、撮像装置２０の撮像対象の位置や移動速度を高い精度で計測することができる。
【００６２】
本実施形態によれば、撮像装置２０によって撮像された熱画像において基準に用いられる位置の画像座標系における座標値ｐを高い精度で算出することができる。
【００６３】
そして、算出または測量された点Ｐの世界座標系の座標値と、高い精度で算出された画像座標系の座標値ｐとを対応付けることができる。
【００６４】
さらに、本実施形態によれば、撮像装置２０の撮像対象（例えば、自動車）の移動経路において、画像座標系の座標値と世界座標系の座標値とを対応付けることにより、撮像装置２０によって撮像された熱画像にもとづいて、撮像対象の位置や移動速度を高い精度で算出することができる。
【００６５】
次に、本発明の概要について、図面を参照して説明する。図９は、本発明の概要を示すブロック図である。本発明による基準位置算出システム４０は、位置測定用装置５０（図２に示すマーカ１０に相当）、画像処理装置６０（図１に示す画像処理装置３０に相当）、および撮像装置７０（図１に示す撮像装置２０に相当）を含む。
【００６６】
位置測定用装置５０は、反射部材５１（図２に示す反射板１１に相当）と熱源５２（図２に示す熱源１２に相当）とを含む。画像処理装置６０は、座標値算出手段６１（図１に示す座標値算出手段３１に相当）を含む。
【００６７】
反射部材５１は、遠赤外線を反射する。熱源５２は、放射した遠赤外線が反射部材５１によって反射される位置に設置される。撮像装置７０は、位置測定用装置５０を撮像した熱画像を画像処理装置６０に出力する。座標値算出手段６１は、撮像装置７０が出力した熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心の画素の画像座標系における座標値を算出する。
【００６８】
そのような構成によれば、撮像装置７０によって出力された熱画像において単位面積当たりの遠赤外線の強度が所定の値以上である領域の輪郭が明確になり、撮像対象の位置または移動速度の計測の基準に用いられる当該領域の中心の画像座標系における座標値を高い精度で算出することができる。
【００６９】
また、上記の実施形態では、以下の（１）〜（４）に示すような基準位置算出システムも開示されている。
【００７０】
（１）位置測定用装置５０の反射部材５１の内壁が放物面状に成形され、熱源５２が内壁による放物面における焦点の位置に設置される基準位置算出システム。そのように構成されている場合には、反射部材５１の内壁が、熱源５２によって発せられた遠赤外線を一定の方向に反射するので、撮像装置７０によって出力される熱画像における単位面積当たりの遠赤外線の強度が所定の値以上である領域の輪郭をより明確にすることができる。
【００７１】
（２）位置測定用装置５０が、撮像装置７０によって出力される熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の面積を変化させるために、反射部材５１を支持する支持部材（図２に示す支持部材１５に相当）の水平面に対する角度および水平面における所定の方向に対する角度を変化させる角度制御手段（図２に示す駆動部１４に相当）を含み、画像処理装置６０が、位置測定用装置５０の角度制御手段によって、反射部材５１の支持部材の水平面に対する角度または水平面における所定の方向に対する角度が変化されたタイミングで、撮像装置７０に撮像を指示する撮像指示手段（図１に示す角度指示手段３２に相当）と、撮像装置７０によって出力された熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の面積を示す面積情報を生成する面積情報生成手段（図１に示す面積情報生成手段３４に相当）とを含み、座標値算出手段６１が、撮像装置７０によって出力された熱画像のうち、面積情報生成手段によって生成された面積情報によって示される面積が最も広い熱画像において単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心の画素の画像座標系における座標値を算出する基準位置算出システム。そのように構成されている場合には、算出した画像座標系における座標値に対応する世界座標系における座標値を、面積情報によって示される面積が最も広い熱画像が撮像されたときの支持部材の水平面に対する角度や、水平面における所定の方向に対する角度にもとづいて容易に算出することが可能になる。
【００７２】
（３）画像処理装置６０が、反射部材５１の支持部材の水平面に対する角度および水平面における所定の方向に対する角度を角度制御手段に指示する角度指示手段を含む基準位置算出システム。そのように構成されている場合には、支持部材の水平面に対する角度および水平面における所定の方向に対する角度を変化させて、つまり、撮像装置７０に対する反射部材５１の角度の変化に応じて、熱画像を当該撮像装置７０に出力させることができる。
【００７３】
（４）座標値算出手段６１が、撮像装置７０によって出力された熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域における画像座標系のＸ軸方向の両端部の座標値の中間の座標値、および当該領域における画像座標系のＹ軸方向の両端部の座標値の中間の座標値を当該領域の中心の画素の画像座標系における座標値として算出する基準位置算出システム。そのように構成されている場合には、撮像装置７０によって出力された熱画像を用いて、撮像対象の位置または移動速度の計測の基準に用いられる位置の画像座標系における座標値を容易に算出することができる。
【産業上の利用可能性】
【００７４】
本発明を、撮像手段によって撮像された熱画像にもとづく撮像対象の位置または移動速度の計測に用いられるシステムに適用可能である。
【符号の説明】
【００７５】
１０ マーカ
１１ 反射板
１２、５２ 熱源
１３ 固定部材
１４ 駆動部
１５ 支持部材
２０、７０ 撮像装置
３０、６０ 画像処理装置
３１、６１ 座標値算出手段
３２ 角度指示手段
３３ 撮像指示手段
３４ 面積情報生成手段
４０ 基準位置算出システム
５０ 位置測定用装置
５１ 反射部材
【特許請求の範囲】
【請求項１】
熱画像にもとづく撮像対象の位置または移動速度の計測に用いられる基準位置算出システムであって、
遠赤外線を反射する反射部材と、放射した遠赤外線が前記反射部材によって反射される位置に設置される熱源を含む位置測定用装置と、
前記撮像対象が撮像される位置に応じた位置に設置された前記位置測定用装置を撮像した熱画像を出力する撮像装置と、
前記撮像装置によって出力された前記熱画像にもとづいて、前記熱画像の画像座標系における前記位置測定用装置の座標値を算出する座標値算出手段を含む画像処理装置とを備え、
前記画像処理装置の前記座標値算出手段は、前記撮像装置が出力した前記熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心の画素の画像座標系における座標値を算出する
ことを特徴とする基準位置算出システム。
【請求項２】
位置測定用装置の反射部材の内壁は放物面状に成形され、熱源は前記内壁による放物面における焦点の位置に設置される
請求項１記載の基準位置算出システム。
【請求項３】
位置測定用装置は、
撮像装置によって出力される熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の面積を変化させるために、反射部材を支持する支持部材の水平面に対する角度および前記水平面における所定の方向に対する角度を変化させる角度制御手段を含み、
画像処理装置は、
前記位置測定用装置の前記角度制御手段によって、前記反射部材の支持部材の水平面に対する角度または前記水平面における所定の方向に対する角度が変化されたタイミングで、前記撮像装置に撮像を指示する撮像指示手段と、
前記撮像装置によって出力された熱画像において、前記領域の面積を示す面積情報を生成する面積情報生成手段とを含み、
座標値算出手段は、前記撮像装置によって出力された熱画像のうち、前記面積情報生成手段によって生成された面積情報によって示される面積が最も広い熱画像において単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心の画素の画像座標系における座標値を算出する
請求項１または請求項２記載の基準位置算出システム。
【請求項４】
画像処理装置は、反射部材の支持部材の水平面に対する角度および前記水平面における所定の方向に対する角度を角度制御手段に指示する角度指示手段を含む
請求項３記載の基準位置算出システム。
【請求項５】
座標値算出手段は、撮像装置によって出力された熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域における画像座標系のＸ軸方向の両端部の座標値の中間の座標値、および前記領域における画像座標系のＹ軸方向の両端部の座標値の中間の座標値を前記領域の中心の画素の画像座標系における座標値として算出する
請求項１から請求項４のうちいずれか１項記載の基準位置算出システム。
【請求項６】
熱画像にもとづく撮像対象の位置または移動速度の計測に用いられる基準位置の座標を算出する基準位置算出方法であって、
遠赤外線を反射する反射部材、および放射した遠赤外線が前記反射部材によって反射される位置に設置される熱源を含み、前記撮像対象が撮像される位置に応じた位置に設置された位置測定用装置が撮像装置によって撮像された熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の面積を変化させるために、前記反射部材を支持する支持部材の水平面に対する角度および前記水平面における所定の方向に対する角度を変化させ、
前記反射部材の支持部材の水平面に対する角度または前記水平面における所定の方向に対する角度が変化されたタイミングで、前記撮像装置に撮像を指示し、
前記撮像装置によって出力された熱画像において、前記領域の面積を示す面積情報を生成し、
前記撮像装置によって出力された熱画像のうち、生成された面積情報によって示される面積が最も広い熱画像において単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心の画素の画像座標系における座標値を算出する
ことを特徴とする基準位置算出方法。
【請求項７】
撮像装置によって出力された熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域における画像座標系のＸ軸方向の両端部の座標値の中間の座標値、および前記領域における画像座標系のＹ軸方向の両端部の座標値の中間の座標値を前記領域の中心の画素の画像座標系における座標値として算出する
請求項６記載の基準位置算出方法。
【請求項１】
熱画像にもとづく撮像対象の位置または移動速度の計測に用いられる基準位置算出システムであって、
遠赤外線を反射する反射部材と、放射した遠赤外線が前記反射部材によって反射される位置に設置される熱源を含む位置測定用装置と、
前記撮像対象が撮像される位置に応じた位置に設置された前記位置測定用装置を撮像した熱画像を出力する撮像装置と、
前記撮像装置によって出力された前記熱画像にもとづいて、前記熱画像の画像座標系における前記位置測定用装置の座標値を算出する座標値算出手段を含む画像処理装置とを備え、
前記画像処理装置の前記座標値算出手段は、前記撮像装置が出力した前記熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心の画素の画像座標系における座標値を算出する
ことを特徴とする基準位置算出システム。
【請求項２】
位置測定用装置の反射部材の内壁は放物面状に成形され、熱源は前記内壁による放物面における焦点の位置に設置される
請求項１記載の基準位置算出システム。
【請求項３】
位置測定用装置は、
撮像装置によって出力される熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の面積を変化させるために、反射部材を支持する支持部材の水平面に対する角度および前記水平面における所定の方向に対する角度を変化させる角度制御手段を含み、
画像処理装置は、
前記位置測定用装置の前記角度制御手段によって、前記反射部材の支持部材の水平面に対する角度または前記水平面における所定の方向に対する角度が変化されたタイミングで、前記撮像装置に撮像を指示する撮像指示手段と、
前記撮像装置によって出力された熱画像において、前記領域の面積を示す面積情報を生成する面積情報生成手段とを含み、
座標値算出手段は、前記撮像装置によって出力された熱画像のうち、前記面積情報生成手段によって生成された面積情報によって示される面積が最も広い熱画像において単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心の画素の画像座標系における座標値を算出する
請求項１または請求項２記載の基準位置算出システム。
【請求項４】
画像処理装置は、反射部材の支持部材の水平面に対する角度および前記水平面における所定の方向に対する角度を角度制御手段に指示する角度指示手段を含む
請求項３記載の基準位置算出システム。
【請求項５】
座標値算出手段は、撮像装置によって出力された熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域における画像座標系のＸ軸方向の両端部の座標値の中間の座標値、および前記領域における画像座標系のＹ軸方向の両端部の座標値の中間の座標値を前記領域の中心の画素の画像座標系における座標値として算出する
請求項１から請求項４のうちいずれか１項記載の基準位置算出システム。
【請求項６】
熱画像にもとづく撮像対象の位置または移動速度の計測に用いられる基準位置の座標を算出する基準位置算出方法であって、
遠赤外線を反射する反射部材、および放射した遠赤外線が前記反射部材によって反射される位置に設置される熱源を含み、前記撮像対象が撮像される位置に応じた位置に設置された位置測定用装置が撮像装置によって撮像された熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域の面積を変化させるために、前記反射部材を支持する支持部材の水平面に対する角度および前記水平面における所定の方向に対する角度を変化させ、
前記反射部材の支持部材の水平面に対する角度または前記水平面における所定の方向に対する角度が変化されたタイミングで、前記撮像装置に撮像を指示し、
前記撮像装置によって出力された熱画像において、前記領域の面積を示す面積情報を生成し、
前記撮像装置によって出力された熱画像のうち、生成された面積情報によって示される面積が最も広い熱画像において単位面積当たりの遠赤外線の強度が所定の値以上である領域の中心の画素の画像座標系における座標値を算出する
ことを特徴とする基準位置算出方法。
【請求項７】
撮像装置によって出力された熱画像において、単位面積当たりの遠赤外線の強度が所定の値以上である領域における画像座標系のＸ軸方向の両端部の座標値の中間の座標値、および前記領域における画像座標系のＹ軸方向の両端部の座標値の中間の座標値を前記領域の中心の画素の画像座標系における座標値として算出する
請求項６記載の基準位置算出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１８５８８６（Ｐ２０１１−１８５８８６Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−５４０３１（Ｐ２０１０−５４０３１）
【出願日】平成２２年３月１１日（２０１０．３．１１）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月１１日（２０１０．３．１１）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]