説明

照明灯の三次元位置測定方法

【課題】駅構内等の天井部等に設置された多数の照明灯をカメラで撮影し、その画像に基づき多数の照明灯の各々の存在を検出し、その設置位置を三次元的に正確に測定し、照明灯の自動清掃システムを実現する照明灯の三次元位置測定方法を提供する。
【解決手段】本発明に係る照明灯の三次元位置測定方法は、測定対象となる照明灯11を検出する第1ステップS10と、検出した照明灯の三次元位置を測定する第2ステップとS20、その他の複数の照明灯について、測定対象となる照明灯が存在しなくなるまで第1ステップと第2ステップを繰り返す第3ステップS30とからなる方法である。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は照明灯の三次元位置測定方法に関し、特に、駅構内等の天井部等に設置された蛍光灯などの位置を正確に測定するのに好適な照明灯の三次元位置測定方法に関する。
【背景技術】
【0002】
駅構内等の高所の天井部には駅構内を照明するための照明灯として多数の直管形蛍光灯が設置されている。これらの多数の蛍光灯について、従来、定期的に照明機器の清掃がなされ、また蛍光灯の寿命が尽きて正常に点灯しなくなった場合には蛍光灯の交換がなされていた。照明機器の清掃、および蛍光灯の交換は作業員により人為的になされていた。しかしながら、高所に設置されるものであるから、高所作業が求められ、照明機器等の清掃等では危険が伴っていた。
【0003】
近年、駅構内等の高所の天井部に設置された多数の照明灯の清掃については自動清掃の要請が高くなってきている。すなわち、照明灯の清掃のオートメーション化、あるいは天井部に設置された当該照明灯の清掃ロボットの開発が求められている。このような照明灯の自動清掃では、先ず、清掃ロボットの機械によって、清掃すべき照明機器の存在位置を自動的に検出し、その清掃ロボットから照明機器までの距離を計測するための技術が必要となる。
【0004】
画像処理を利用した照明灯検出の技術について、関連技術を開示する先行技術文献として例えば特許文献1がある。この特許文献1では、例えばカメラ付き携帯電話等の装置を利用し、カメラで光源が撮像された画像を取得し、その他に付加的な撮像装置を利用することなく、カメラによる画像撮像時の光源の位置、方向、輝度、スペクトル、色などの光源情報を推定する技術を開示している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第4077869号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に開示される技術は、カメラ付き携帯電話等で光源を撮像したとき、当該カメラによる画像撮像時の光源の位置、方向、輝度、スペクトル、色などの光源情報を推定する技術、換言すれば、光源情報を用いて画像の高解像度化を行う技術に関するものである。
これに対して、照明灯の自動清掃化を実現するため、駅構内等の高所の天井部に設置された多数の照明灯のいずれかをカメラで撮像し、その画像について画像処理を行うことにより当該多数の照明灯の各々の存在を検出し、その設置場所(位置)を三次元的に正確に測定するということについては有効な技術は未だ提案されていない。
【0007】
本発明の目的は、上記の課題に鑑み、駅構内等の高所の天井部等に設置された多数の照明灯(直管形蛍光灯等)をカメラで撮影し、その画像に基づき当該多数の照明灯の各々の存在を検出し、その設置位置を三次元的に正確に測定し、これにより照明灯の自動清掃システムを実現することができる照明灯の三次元位置測定方法を提供することにある。
【課題を解決するための手段】
【0008】
本発明に係る照明灯の三次元位置測定方法は、上記の目的を達成するため、次のように構成される。
【0009】
第1の照明灯の三次元位置測定方法(請求項1に対応)は、測定対象となる照明灯を検出する第1ステップと、検出した照明灯の三次元位置を測定する第2ステップと、その他の複数の照明灯について、測定対象となる照明灯が存在しなくなるまで第1ステップと第2ステップを繰り返す第3ステップとからなる方法である。
【0010】
第2の照明灯の三次元位置測定方法(請求項2に対応)は、上記の方法において、好ましくは、上記の第2ステップは、三次元位置測定用のカメラのタイプを判別するタイプ判別ステップと、カメラで照明灯を撮影する撮影ステップと、カメラのタイプに応じて照明灯三次元位置を計算する計算ステップとを含むことを特徴とする。
【0011】
第3の照明灯の三次元位置測定方法(請求項3に対応)は、上記の方法において、好ましくは、カメラはステレオタイプの2つのカメラであり、上記の計算ステップは、2つのカメラの各々のカメラ座標系と実空間の座標系とを対応づけるステップと、測定対象となる照明灯の検出座標を用いかつ三角測量法を適用して照明灯の三次元位置を算出する算出ステップとを含むことを特徴とする。
【0012】
第4の照明灯の三次元位置測定方法(請求項4に対応)は、上記の方法において、好ましくは、カメラは単眼カメラであり、上記の計算ステップは、単眼カメラのカメラ座標系と実空間の座標系とを対応づけるステップと、照明灯テンプレートを選択するステップと、測定対象となる照明灯の検出座標を用いかつ照明灯テンプレートに基づき三角形の相似の原理を適用して照明灯の三次元位置を算出する算出ステップとを含むことを特徴とする。
【0013】
第5の照明灯の三次元位置測定方法(請求項5に対応)は、上記の方法において、好ましくは、第1ステップは、
検出対象となる照明灯を可視光カメラによって撮影し、照明灯の画像データを得る撮影ステップと、
画像データをメモリに保存する保存ステップと、
画像データを含む二次元画像領域で任意な線を設定し、この線上の複数の画素に係る画像データを取り出す画像データ取出しステップと、
画像データの中から輝度極大値に係る画素を検出し、この画素を初期検索位置に設定する初期検索位置決定ステップと、
設定された初期検索位置を基準とし、検索範囲を設定し、画像データから照明灯候補の画素を検出する照明灯候補画素検出ステップと、
基準となる擬似形状画素を算出し、この擬似形状画素による擬似形状と照明灯候補画素とを比較して照明灯であるか否かを判定する判定ステップと、
からなることを特徴とする。
【0014】
第6の照明灯の三次元位置測定方法(請求項6に対応)は、上記の方法において、好ましくは、画像データ取り出しステップにおける任意の線は直線であり、照明灯候補画素検出ステップにおける検索範囲は初期検索位置の左方向または右方向であることを特徴とする。
【0015】
第6の照明灯の三次元位置測定方法(請求項6に対応)は、上記の方法において、好ましくは、画像データ取り出しステップにおける任意の線は環状線であり、照明灯候補画素検出ステップにおける検索範囲は初期検索位置の全周囲であることを特徴とする。
【発明の効果】
【0016】
本発明によれば、駅構内等の高所の天井部等に設置された多数の照明灯(直管形または環形の蛍光灯等)を可視光カメラで撮影し、画像処理プログラムを利用して照明灯撮影画像に基づき当該多数の照明灯の各々の存在を正確に検出し、さらに検出した多数の照明灯の各々座標データを用いかつ特徴のある画像処理プログラムを利用して各照明灯の正確な三次元位置を計算することができ、これにより駅構内等の高所に設置された多数の照明灯を自動的に清掃するシステムを実現することができる。
【図面の簡単な説明】
【0017】
【図1】本発明に係る照明灯の三次元位置測定方法の実施形態を示すフローチャートである。
【図2】照明灯検出方法を実行する照明灯検出装置の構成と検出対象である照明灯の一例を示す図である。
【図3】照明灯検出方法の基本のアルゴリズムを示すフローチャートである。
【図4】可視光カメラで得られた可視画像の一例を示す図である。
【図5】初期検索位置の決定のステップS12の詳細な手順を示すフローチャートである。
【図6】判別分析法を適用した結果得られる閾値Tを示すグラフである。
【図7】可視画像から輝度極大値を求める工程を説明するグラフである。
【図8】照明灯候補検出のステップS13の詳細な手順を示すフローチャートである。
【図9】第1の例で次期極大値の画像を検索する方法を説明する図である。
【図10】照明灯判定のステップS14の詳細手順を示すフローチャートである。
【図11】第1の例での照明灯判定の詳細手順をイメージ的に示した図である。
【図12】第2の例で次期極大値の画像を検索する方法を説明する図である。
【図13】第2の例での照明灯判定の詳細手順をイメージ的に示した図である。
【図14】ステレオカメラを使用する場合のステップS22の詳細手順を示すフローチャートである。
【図15】ステレオカメラで照明灯を撮影するときの配置関係を示す図である。
【図16】ステレオカメラで撮影した2つの画像と照明灯との関係を説明する図である。
【図17】単眼カメラを使用する場合のステップS23の詳細手順を示すフローチャートである。
【図18】単眼カメラで照明灯を撮影するときの配置関係と、撮影画像と照明灯との関係を説明する図である。
【発明を実施するための形態】
【0018】
以下に、本発明の好適な実施形態(実施例)を添付図面に基づいて説明する。
【0019】
図1を参照して本発明に係る照明灯の三次元位置測定方法の実施形態を説明する。照明灯の三次元位置測定方法では、その前提として、三次元位置測定が行われる対象の照明灯が事前に検出され、当該照明灯の存在が確認されていることが条件となる。従って、図1のフローチャートに示された処理の流れでは、「照明灯検出」のステップS10(照明灯検出方法)を前工程として実行する。その後に、「照明灯の三次元位置測定」のステップS20(照明灯の三次元位置測定方法)が実行される。その後、照明灯の検出・三次元位置測定の処理工程を終了するか否かを判定し(ステップS30)、終了しない場合(NO)にはステップS10に戻り、終了する場合(YES)には全工程を終了する。
【0020】
照明灯検出のステップS10では、例えば清掃対象となる駅構内等の高所の天井部等に設置された複数または多数の蛍光灯(照明灯)の各々の存在を確実に検出する。すなわち、蛍光灯の有無を確実に確認する。照明灯検出のステップS10の内容は下記において別途に詳述される。その後、照明灯検出のステップS10で検出された複数の蛍光灯の各々について次のステップS20によってその三次元位置が正確に測定される。その後の判断ステップS30で処理工程の終了か否かが判断され、NOのときにはステップS10,S20が繰り返され、YESのときには処理工程を終了する。
【0021】
図2〜図11を参照して照明灯検出方法の第1の検出例について説明する。この検出例で、検出対象となる照明灯は直管形蛍光灯である。図2に天井部10に設置された直管形蛍光灯の一例を示す。2本の直管形蛍光灯11(以下「蛍光灯11」と記す)が平行に配置された状態で蛍光灯取付け器12に着脱自在となるように取り付けられている。蛍光灯取付け器12は例えば駅構内の高所の天井部10に固定されている。なお、この説明では照明灯は蛍光灯の例で説明するが、これに限定されず、例えば同様な形状を有するLED照明器等であってもよい。
【0022】
図2に従って照明灯検出方法を実行する照明灯検出装置の構成を説明する。照明灯検出装置20は、可視光カメラ21と、処理装置(コンピュータ)22と、メモリ23と、表示装置24とから構成されている。可視光カメラ21は、天井部10に設置された蛍光灯11を下方(ほぼ真下)から撮影し、蛍光灯11の可視画像を作成する。処理装置22は、可視光カメラ21による撮影で得られた2本の蛍光灯11の可視画像を取り込んで可視画像データ25としてメモリ23に保存すると共に、メモリ23に保存された可視画像データ25を用いかつ当該メモリ23に格納された照明灯検出用画像処理プログラム26の実行に基づいて蛍光灯11の存在を確認する処理を実行する。さらに処理装置22は、照明灯検出用画像処理プログラム26を実行することにより得られた蛍光灯の検出結果を必要に応じて表示装置24に表示する。なおメモリ23には、照明灯検出用画像処理プログラム26を実行する際に生じるデータを保存するデータ部27も有している。
【0023】
またメモリ23には、さらに、照明灯の三次元位置測定方法を実行する照明灯三次元位置測定プログラム28が格納されている。従って、上記照明灯検出装置20は、処理装置22で照明灯三次元位置測定プログラム28を実行する場合には、照明灯三次元位置測定装置として機能する。この場合には、後述されるように、可視光カメラ21の代わりに、三次元位置測定の専用のステレオカメラまたは単眼カメラが用いられる。なお、照明灯三次元位置測定プログラム28を実行する際に生じるデータについても上記のデータ部27に適宜に保存される。
【0024】
図3のフローチャートを参照して照明灯検出用画像処理プログラム26に基づく照明灯検出の処理の流れ(ステップS10)を説明する。照明灯検出の処理の基本的な流れは下記のステップS11〜S16によって構成されている。
【0025】
先ず最初に可視光カメラ21によって蛍光灯11が撮影され、可視画像が取得される(ステップS11)。可視光カメラ21による蛍光灯11の撮影は、原則的に、蛍光灯11の真下位置から行われる。可視画像の一例を図4に示す。この可視画像31では、2本の蛍光灯11に関する蛍光灯画像32が1つの面上に平行に配列された状態を示している。この可視画像31は上記した可視画像データ25としてメモリ23に保存される。
【0026】
可視光カメラ21による撮影条件としては、撮影を行う際、蛍光灯11の点灯時において蛍光灯の形状がおおよそ確認できる程度にカメラパラメータが調整され、設定される。また可視画像31において直線的な蛍光灯画像32に対して直交する直線33を決定することができるように、当該可視画像31を取得する。
【0027】
その後、上記の可視画像31において、蛍光灯画像32に基づいて初期検索位置が決定される(ステップS12)。次いで照明灯(蛍光灯)の候補が検出される(ステップS13)、さらにその後に照明灯判定の処理が行われる(ステップS14)。照明灯判定の処理ステップS14で、照明灯であると判定されたとき(YES)には照明灯検出の処理が行われ(ステップS15)、照明灯でないと判定されたとき(NO)には照明灯候補棄却の処理が行われる(ステップS16)。照明灯判定の結果に基づく照明灯検出の結果あるいは照明灯候補棄却の結果は、メモリ23に保存され、さらに必要に応じて表示装置24の画面に表示される。その後、ステップS11に戻り、照明灯検出装置を移動させて他の蛍光灯について可視光カメラ21による撮影を行い(ステップS11)、上記の処理(ステップS12〜S16)を繰り返す。以上の処理は天井部10に設置された多数の蛍光灯の各々について行われる。
【0028】
なお実際上、好ましくは、可視光カメラ21による蛍光灯の撮影は、蛍光灯11毎に行われる。また蛍光灯の撮影を、或る特定領域の複数の蛍光灯についてまとめて行ってもよい。蛍光灯毎に撮影するときには上記のようにステップS11に戻ってその後の処理を反復する。特定領域の複数の蛍光灯について撮影するときには、ステップS12に戻ってその以降の処理ステップを反復することになる。
【0029】
次に、上記の初期検索位置決定の処理(ステップS12)、照明灯候補検出の処理(ステップS13)、照明灯判定の処理(ステップS14)の各々の処理内容について詳述する。
【0030】
先ず初期検索位置決定の処理(ステップS12)の内容について説明する。初期検索位置決定の処理(ステップS12)の内容の詳細を図5のフローチャートに示す。
【0031】
図4に示した可視画像31において、画像上で任意の直線33を設定し、当該直線33の上を走査し(ステップS101)、公知の判別分析法等に基づく2値化閾値取得法により閾値Tを取得する(ステップS102)。なお「判別分析法」は、画像処理の一手法であり、分離度(クラス間分散、クラス内分散)という値が最大となるしきい値を求め、自動的に二値化を行う手法である。
【0032】
図4で示した例では、直線33は、2本の直管形の蛍光灯画像32にほぼ直交するような直線が設定されている。直線33は、x軸とy軸が定義される可視画像31において、当該x軸のほぼ中心位置に設定されている。かかる直線33を設定すると、当該直線33は2本の直管形の蛍光灯画像32と交差するので、直線33の上に2本の蛍光灯画像32の各々の一部を含むことになる。直線33の延びる方向(図4中上下方向)に沿って上記判別分析法を適用すると、直線33上に位置する多数の画素に関して「背景画素」と「蛍光灯画素」の2つの画素とに大きく分けることができる。
【0033】
図6は、画素の分布に関する濃度ヒストグラム(グラフ)を示している。図6のグラフにおいて、横軸は濃度値(0〜255)を意味し、縦軸は出現頻度(「少」〜「多」)を意味している。図6のグラフにおいて、領域41は背景画素の出現状態を示し、領域42は蛍光灯画素の出現状態を示している。判別分析方法によれば、濃度ヒストグラムのクラス間分散とクラス内分散の比(分離度)が最大となる閾値Tを求めることができる。図6では、2つの領域41,42の間に閾値Tが求められている(ステップS102)。領域41は背景画素の属する領域であり、領域42は照明灯画素の属する領域である。こうして、可視画像31に関して直線33を設定し、判別分析法を適用すると、閾値Tを求めることができ、双峰性のある2つのクラス(背景画素に係る領域41と蛍光灯画素に係る領域42)に分離することができる(ステップS103)。
【0034】
次に、上記の可視画像31における直線33上の画素に関して、求められた閾値T以上の画素を対象にして輝度の極大値(輝度値ピーク)を検出する(ステップS104)。この検出内容をイメージとして示したものが図7である。図7では、左側(A)に上記の可視画像31を示し、右側に当該可視画像31での直線33上における蛍光灯画像32の部分(画素)に基づく輝度分布のグラフ(B)を示している。このグラフ(B)において、縦軸は画素(ピクセル)の配列を示し、横軸に輝度値(1〜60)を示している。この例では、グラフ(B)に示すように例えば3つの輝度極大値(輝度値ピーク)51が生じている。3つの極大値51は2本の蛍光灯画像32に対応している。これにより、輝度の極大値を検出し(ステップS104)、当該輝度の極大値に対応する画素の座標を求めることができる(ステップS105)。なお輝度極大値の最終的な判定に関して、どのような輝度値のレベルを極大値とするかについては条件に応じて適宜に設定される。
【0035】
また3つの輝度の極大値51に対応する画素については、可視画像31でのx軸およびy軸に基づくxy座標系においてその座標(x,y)を知ることができる。
【0036】
以上によって、可視画像31において、任意の直線33上の蛍光灯らしい部分(照明灯候補)の画素の座標を検出することができる。当該画素の座標に係るデータは蛍光灯(照明灯)の初期検索位置としてメモリ23に記憶される(ステップS106)。
【0037】
上記の説明では、図2に示した2本の蛍光灯11の各々の画素の座標を当該蛍光灯の初期検索位置として求め、その座標データをメモリ23に格納した。検出対象となっている他の複数の蛍光灯のすべてについても、必要な時点で、上記同様に、蛍光灯の初期検索位置としての座標データが求められ、メモリ23に保存される。
【0038】
次に、照明灯候補検出の処理(ステップS13)の内容について説明する。照明灯候補検出の処理(ステップS13)の内容の詳細を図8のフローチャートに示す。
【0039】
この照明灯候補検出の処理では、上述した例えば1本の蛍光灯11の初期検索位置に係る座標データを用いる。この座標データに基づき、かつ、次のステップS201〜ステップ204に基づいて当該1本の蛍光灯11の候補全体の検出を行う。
ステップS201:
蛍光灯(照明灯)の候補全体の検出では、先ず、上記した初期検索位置決定の処理(ステップS12)で求められた初期検索位置(最初の輝度極大値に係る画素の座標データ)に基づき、最初の次期の輝度極大値(以下「極大値」と簡略して記す)に係る画素を求める。すなわち、次期極大値に係る画素を検出対象として、前述した処理工程と同じように閾値T以上の画素の極大値を検出する。当該次期極大値に係る画素の座標データはメモリ23に保存される。
ステップS202:
上記のステップS201で得られた極大値に対して、さらに当該極大値に基づき更なる次の次期極大値に係る画素を求める。すなわち、ステップS201で得られた極大値に基づき次期極大値に係る画素を検出対象として、前述した処理工程を繰り返して閾値T以上の画素の極大値を検出する。当該次期極大値に係る画素の座標データはメモリ23に保存される。
ステップS203:
閾値T以上の画素の極大値が他に存在するか否かを判断する。当該極大値が存在する場合(YES)には、上記のステップS202に戻り、ステップS202の処理内容を繰り返し、次々の次期の極大値に係る画素を求め、その座標データをメモリ23に保存する。当該極大値が存在しなくなった場合(NO)には、次のステップS204に移行する。
ステップS204:
蛍光灯候補の端点を確定し、照明灯候補検出の処理を終了する。
【0040】
上記のステップS201〜S204からなる照明灯候補検出の処理(ステップS13)の内容をイメージ的に示すと図9のようになる。図9では、一例として3×3の9個の画素52の配列が示されている。これらの画素52の配列において、中央のメッシュ表現の1つの画素52aが現時点での極大値検出画素を意味し、斜線表現の例えば3つの画素52bが次期時点での極大値検索画素を意味している。従って、図9の(A)では現時点での極大値検出画素52aを基準とすると、左方向検索を行うときの状態を示し、図9の(B)では右方向検索を行うときの状態を示している。この実施形態では、照明灯は直管形蛍光灯11であることを前提としているので、可視光カメラ21による撮影で得られた可視画像31において、初期検索位置に対応する画素を基準にして左方向または右方向に向かって次期極大値画素の検索が実行される。
【0041】
上記のごとくして、照明灯候補検出の処理(ステップS13)に基づいて得られた初期検索位置に対応する画素の座標データを基準にして、当該画素から順次に次期極大値に係る画素の座標データを求め、前述の端点が確定した段階で、得られた複数の極大値に係る画素座標を連結することにより、蛍光灯(照明灯)の候補全体を検出することができる。換言すれば、蛍光灯の場合には輝度値が高いという特性を有しているので、可視光カメラ21で得られた可視画像31において、任意の直線33を設定することにより最初の極大値(輝度値ピーク)を求め、これに対応する画素に基づいて、可視画像31上において輝度値ピーク(輝度中心)を連続的に検出し、かつこれらを繋げば、蛍光灯11の候補を検出することができる。
【0042】
次に照明灯判定の処理(ステップS14)の内容を説明する。照明灯判定の処理(ステップS14)の内容の詳細を図10のフローチャートに示す。
【0043】
図11に、照明灯候補検出の処理(ステップS13)で得られた蛍光灯候補画素を示す。最初のステップS301で、メモリ23に保存された複数の蛍光灯候補の画素の座標データを取り出し、図11に示すような画素領域53を形成してその中に含ませる。この画素領域53において、斜線で示された複数の画素54が蛍光灯候補画素である。次に当該画素領域53において蛍光灯端点の画素54aを通過する擬似直線55を求める(ステップS302)。この擬似直線55は、端点画素54aと、直線部分を作る一部の他の画素群54bとを直線的に繋いで擬似直線画素を想定することにより求められる。次に、得られた擬似直線55と実際の複数の蛍光灯候補画素54の各々の座標との間のユークリッド距離を算出する(ステップS303)。そして次に、算出された各々のユークリッド距離の値が例えば実験的に設定された一定値以下であるか否かを判断する(ステップS304)。判断ステップS304でYESの場合には、蛍光灯11であると判定し、その結果、前述した「照明灯検出」のステップS15が実行される。また判断ステップS304でNOの場合には、蛍光灯11でないと判定し、その結果、前述した「照明灯候補棄却」のステップS16が実行される。
【0044】
上記のごとくして、図2に示した天井部に設置される2本の直管形蛍光灯11の各々を検出し、その存在の有無を確認することができる。次に、前述した通り、他の直管形蛍光灯の検出が上記と同様な方法に基づいて実行される。こうして、対象とする領域に設置される複数の蛍光灯の各々の存在(有無)を確認することができる。
【0045】
次に、図12と図13を参照して照明灯検出方法の第2の例について説明する。この例において、検出対象となる照明灯は例えば環形(円形または楕円形)の蛍光灯である。第2の例の照明灯検出方法について、第1の例の照明灯検出方法で説明したステップS11〜S16のうち、照明灯候補検出の処理(ステップS13)と照明灯判定の処理(ステップS14)の各々の内容が異なり、その他のステップ、すなわち、可視光カメラ21によって蛍光灯11を撮影して可視画像を取得するステップS11、初期検索位置決定の処理を行うステップS12、照明灯検出のステップS15、照明灯候補棄却のステップS16については第1の例の場合と同じである。そこで、以下では、第1の例の場合と内容が異なる照明灯候補検出の処理(ステップS13)と照明灯判定の処理(ステップS14)の各内容を詳述する。
【0046】
図12を参照して、第2の例の場合における照明灯候補検出の処理(ステップS13)の内容および第1の例との相違点を説明する。図12は、第1の例で説明した図9に相当するものである。第1の例による照明灯検出方法では直管形蛍光灯を検出対象としたので、図9に示すごとく現在(現時点)の極大値検出画素を基準にして次期極大値の画素を検出とき左方向検索または右方向検索の手法を採用したが、第2の例による照明灯検出方法では、円環形等の蛍光灯を検出対象としているので、図12に示すごとく、現在の極大値の検出画素52aに対してその全周囲の画素52bについて次期極大値の画素を検索するようにする。但し、次期極大値において過去に既に検出された極大座標は除くものとする。このように、本実施形態の場合には、実際の円環形の蛍光灯が空間的にどの方向に延びているか不明であるので、全周囲の画素52bについて検索する必要がある。こうして、現在の極大値検出画素52aに対して次期極大値の画素を検出する。その後は、新たに検出された次期極大値の画素を再び「現在の極大値検出画素」として、図8に示した同様の手法に基づいてさらに次の更なる次期極大値の画素を検索し検出する。
【0047】
なお、所定数のいくつかの次期極大値検出画素が求められた後には、円環形の蛍光灯の円環形状が予測することも可能であるので、円環形状が予測し得る状態になった場合には、検索の範囲または方向を、全周囲ではなく円環形状が延びる方向に限定することも可能である。
【0048】
以上のようにして、最初の極大値検出画素を始点として、次々に次期極大値の画素を検出し、これらの複数の画素に係る座標データを円環形の蛍光灯の画素候補群としてメモリ23に保存する。
【0049】
次に図13を参照して、第2の例の場合における照明灯判定の処理(ステップS14)の内容および第1の例との相違点を説明する。検出しかつメモリ23に保存された照明灯候補群に係る画素の座標データに対して最小二乗法等を適用し、擬似円または擬似楕円の画素を利用してて近似の円または楕円の検出を行う。図13に、図11と同様に画素領域53を示し、この画素領域53において複数の蛍光灯の候補画素54と検出した近似円等の軌跡56を示す。近似円等56を検出した後、当該近似円等56と検出された蛍光灯候補の画素54に係る座標データとの間でユークリッド距離を計算する。計算の結果得られたユークリッド距離と基準値との差が一定値以内である場合には実際の蛍光灯であると判断して検出し、当該差が一定より大きい場合には実際の蛍光灯ではないとして棄却する。
【0050】
上記の説明では、第1の例により直管形蛍光灯の照明灯検出を説明し、第2の例により円環形等の蛍光灯の照明灯検出を説明したが、これは予め検出対象である照明灯の形状が分かっていることを前提としている。他の照明灯検出方法として、照明灯の形状が分かっていない場合において、途中の段階で、検出対象として照明灯の形状を予測して、すなわち直管形の照明灯であるかまたは円環形等であるかを予測して、上記の第1の例または第2の例の検出方法を選択し、当該選択した照明灯検出方法を実行するように構成することができる。
【0051】
上記のようにしてステップS10によって少なくとも1台の照明灯の検出が完了すると、メモリ23のデータ部27には、検出された蛍光灯11の存在を確認できる座標データが保存される。その後、ステップS20では、メモリ23のデータ部27に保存された蛍光灯の当該座標データを利用して、対応する蛍光体11の正確な三次元位置を測定する。次に、図1に示したステップS20の内容と、より詳細な処理内容に係るフローチャート等を示す図14〜図16とに基づいて、照明灯の三次元位置測定方法を説明する。この実施形態の説明では、直管形蛍光灯の例で説明する。
【0052】
図1に示した照明灯の三次元位置測定のステップS20では、最初に、三次元位置測定に使用されるカメラのタイプが判断される(ステップS21)。この場合、特に、2つのカメラで構成されるステレオカメラであるか、または1つのカメラで構成される単眼カメラであるかが判断される。ステレオカメラの場合にはステップS22が実行され、その後にステップS24が実行される。単眼カメラの場合にはステップS23が実行され、その後にステップS24が実行される。
【0053】
なお、前述した通り照明灯検出方法の説明では可視光カメラ21が使用されたが、照明灯三次元位置測定方法で使用されるカメラについては当該可視光カメラ21とは別に用意されるステレオカメラまたは単眼カメラが使用されるものとする。
【0054】
上記のごとく、照明灯の三次元測定のステップS30では、使用するカメラからの距離を含めて正確な三次元位置を求めるため、三次元測定のための専用のカメラが使用される。使用される専用のカメラとしては上記のようにステレオカメラまたは単眼カメラである。ステレオカメラを使用するか、または単眼カメラを使用するかについては、通常、三次元位置測定に使用される装置構成に基づいて事前に決められている。従ってカメラタイプに関する事前の指定操作に基づいて判断ステップS21での選択がなされる。三次元位置測定に係る演算は、処理装置22で、メモリ23に保存された照明灯三次元位置測定プログラム28に基づき実行される。
【0055】
次に、判断ステップS21において、ステレオカメラが選択された場合として、ステップS22とステップS24を説明する。この説明では図14〜図16を参照する。
【0056】
ステレオカメラの場合には、一定の距離(L)をあけて配置された2つのカメラ61,62が、測定対象として選択された蛍光灯63に向けられる。2つのカメラ61,62については、事前のカメラ校正により、各々のカメラ座標系と実空間の座標系との対応づけを行う。これにより2つのカメラ61,62のカメラ座標系のいずれかの起点を原点として3つの座標系を対応させる。
【0057】
図15に、撮影時における測定対象となる蛍光灯63と当該蛍光灯63を撮影する2つのカメラ61,62との配置関係が示されている。図15に示した配置関係においてx軸とy軸とz軸が図示のごとく定義されている。また64は各カメラ61,62の光軸である。64Aは2つの光軸の交点である。またLは左カメラ61と右カメラ62の間の距離(基準長)を示す。さらに図16において、図15に配置関係に基づいて左右の2つのカメラ61,62のそれぞれの撮影で得られた画像71,72と、蛍光灯63との関係を示している。図16に示した2つの撮影画像71,72においてもx軸とy軸とが定義されている。
【0058】
2つの撮影画像71,72では各カメラ座標系のx軸の起点を一致させたステレオカメラ構成の例を示している。1つの蛍光灯63に対して2つのカメラ61,62はこのようなステレオカメラ構成が作られるように配置されている。これが図15に示した配置関係である。従って2つの撮影画像71,72においては、x軸で視差が発生せず、y軸のみに視差が発生している。
【0059】
上記に基づいて、図14に、ステップS22の処理内容をより詳しく示した処理フローを示す。最初のステップS401では、上記の配置関係に基づいて左右の2つのカメラ61,62で蛍光灯63を撮影し、各々の撮影画像71,72をメモリ23のデータ部27に保存する。次の判断ステップS402では、2つのカメラ61,62による撮影画像71,72を対比し、座標上で類似した蛍光灯端点が存在するか否かを判断する。判断ステップS402で蛍光灯端点が存在する場合(YES)には、照明灯三次元位置の計算のステップS24に移行する。判断ステップS402で蛍光灯端点が存在しない場合(NO)には、非照明灯として撮影画像71,72を棄却する(ステップS403)。このステップS403の後、2つの撮影画像71,72での対比で蛍光灯数が異なるか否かを判断し(ステップS404)、蛍光灯数が異なる場合には一意の対応付けが困難であるため、照明灯の三次元位置計算を行わず終了する。蛍光灯数が同じである場合には再度ステップS401に戻り、2つのカメラ61,62による撮影を再び行って、上記の処理を反復する。
【0060】
次に計算ステップS24を説明する。計算ステップS24では、2つのカメラ61,62の各々で得られた撮影画像71,72のデータを用いて蛍光灯63の実際の三次元位置を計算する。2つのカメラ61,62の間の蛍光灯63の座標に基づいて三角測量の原理にて照明灯三次元位置(X,Y,Z)を計算する。ここで蛍光灯63の座標としては、直管形蛍光灯63の場合には蛍光灯起点の座標データである。下記に照明灯三次元位置(X,Y,Z)を求める三角測量の計算式を示す。
【0061】
【数1】

【0062】
上記のステレオカメラに関する照明灯三次元位置測定(ステップS20)では直管形蛍光灯63を対象としたが、環形の照明灯、あるいは電球形照明灯でも同様に三次元位置測定が行われる。この場合において、環形照明灯のときには照明灯の座標として例えば直軸端点を使用し、電球形照明灯のときには照明灯の座標として例えばソケット位置を使用する。
【0063】
次に、判断ステップS21において、単眼カメラが選択された場合として、ステップS23とステップS24を説明する。この説明では図17と図18を参照する。
【0064】
単眼カメラを用いる場合においても、事前のカメラ校正が行われ、カメラ座標系と実空間の座標系との対応づけを行う。図18に示すように、直管形の蛍光灯63に対してカメラ81のカメラ光軸82が垂直になるようにカメラ81が配置され、この配置関係に基づいてカメラ81による撮影が行われる。
【0065】
図17に、ステップS23の処理内容をより詳しく示した処理フローを示す。最初のステップS501では、上記の配置関係に基づいてカメラ81で直管形の蛍光灯63を撮影し、撮影画像をメモリ23のデータ部27に保存する。次のステップS502では、照明灯テンプレートを選択する。これは次の理由に基づいている。直管形蛍光灯については各照明器具に対して管長がほぼ共通のものとして存在している。また環形照明灯の場合には、外径、内径、管径から環形照明灯の管中心円を類推し、この類推に基づいて各規格において類似した値を得ることができる。かかる直管形蛍光灯灯のデータを照明灯テンプレートとしてメモリ23のデータ部27に登録しておく。そして、照明灯の三次元位置測定では、計算前の段階において対応する照明灯テンプレートをオペレータが選択する。ステップS402の後、単眼カメラ用の照明灯の三次元位置の計算のステップS24が実行される。
【0066】
単眼カメラ用の照明灯の三次元位置の計算ステップS24では、カメラ81で得られた撮影画像のデータを用いて蛍光灯63の実際の三次元位置を計算する。カメラ81で得られた撮影画像のデータに基づいて三角形の相似の原理にて実際の照明灯の三次元位置(X,Y,Z)を計算する。図18では、三角形の相似に基づく三次元位置の計算のイメージを示している。図18に示した関係によれば、選択されたテンプレートの管長(または管中心円)と、照明灯の座標(直管形蛍光灯の場合には蛍光灯端点、環形蛍光灯の場合には長軸端点または短軸端点、電球形照明灯の場合にはソケット位置)とに基づいて、撮影画像83を実空間の座標系へ逆投影を行い、これにより実際の蛍光灯63に関してその三次元位置の計算を行う。図18では、撮影画像の長さ寸法k1から実際の長さk2を求めている。
【0067】
以上の実施形態で説明された構成、形状、大きさおよび配置関係については本発明が理解・実施できる程度に概略的に示したものにすぎず、また数値および各構成の組成(材質)等については例示にすぎない。従って本発明は、説明された実施形態に限定されるものではなく、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り様々な形態に変更することができる。
【産業上の利用可能性】
【0068】
本発明に係る照明灯の三次元位置測定方法は、駅構内等の天井部等の高所に設置された多数の蛍光灯等の存在を確実に検出し、さらに検出した多数の蛍光灯等の各々の三次元位置を正確に測定することにより、蛍光灯等の自動清掃等のシステムの構築に利用することができる。
【符号の説明】
【0069】
11 直管形蛍光灯
12 蛍光灯取付け器
20 照明灯検出装置
21 可視光カメラ
22 処理装置
23 メモリ
28 照明灯三次元位置測定プログラム
31 可視画像
32 蛍光灯画像
51 輝度の極大値(輝度ピーク)
52 画素
53 画素領域
55 擬似直線
56 擬似円等
61,62 ステレオタイプのカメラ
63 蛍光灯
71,72 撮影画像
81 単眼カメラ

【特許請求の範囲】
【請求項1】
測定対象となる照明灯を検出する第1ステップと、
検出した前記照明灯の三次元位置を測定する第2ステップと、
他の複数の照明灯について、測定対象となる照明灯が存在しなくなるまで前記の第1ステップと第2ステップを繰り返す第3ステップと、
からなることを特徴とする照明灯の三次元位置測定方法。
【請求項2】
前記第2ステップは、
三次元位置測定用のカメラのタイプを判別するタイプ判別ステップと、
前記カメラで前記照明灯を撮影する撮影ステップと、
前記カメラのタイプに応じて照明灯三次元位置を計算する計算ステップと、
を含むことを特徴とする請求項1記載の照明灯の三次元位置測定方法。
【請求項3】
前記カメラはステレオタイプの2つのカメラであり、
前記計算ステップは、
前記2つのカメラの各々のカメラ座標系と実空間の座標系とを対応づけるステップと、
測定対象となる前記照明灯の検出座標を用いかつ三角測量法を適用して前記照明灯の三次元位置を算出する算出ステップと、
を含むことを特徴とする請求項2記載の照明灯の三次元位置測定方法。
【請求項4】
前記カメラは単眼カメラであり、
前記計算ステップは、
前記単眼カメラのカメラ座標系と実空間の座標系とを対応づけるステップと、
照明灯テンプレートを選択するステップと、
測定対象となる前記照明灯の検出座標を用いかつ前記照明灯テンプレートに基づき三角形の相似の原理を適用して前記照明灯の三次元位置を算出する算出ステップと、
を含むことを特徴とする請求項2記載の照明灯の三次元位置測定方法。
【請求項5】
前記第1ステップは、
検出対象となる照明灯を可視光カメラによって撮影し、前記照明灯の画像データを得る撮影ステップと、
前記画像データをメモリに保存する保存ステップと、
前記画像データを含む二次元画像領域で任意な線を設定し、この線上の複数の画素に係る画像データを取り出す画像データ取出しステップと、
前記画像データの中から輝度極大値に係る画素を検出し、この画素を初期検索位置に設定する初期検索位置決定ステップと、
設定された前記初期検索位置を基準とし、検索範囲を設定し、前記画像データから照明灯候補の画素を検出する照明灯候補画素検出ステップと、
基準となる擬似形状画素を算出し、この擬似形状画素による擬似形状と前記照明灯候補画素とを比較して照明灯であるか否かを判定する判定ステップと、
からなることを特徴とする照明灯の三次元位置測定方法。
【請求項6】
前記画像データ取り出しステップにおける前記任意の線は直線であり、前記照明灯候補画素検出ステップにおける前記検索範囲は前記初期検索位置の左方向または右方向であることを特徴とする請求項5記載の照明灯の三次元位置測定方法。
【請求項7】
前記画像データ取り出しステップにおける前記任意の線は環状線であり、前記照明灯候補画素検出ステップにおける前記検索範囲は前記初期検索位置の全周囲であることを特徴とする請求項5記載の照明灯の三次元位置測定方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2011−145154(P2011−145154A)
【公開日】平成23年7月28日(2011.7.28)
【国際特許分類】
【出願番号】特願2010−5840(P2010−5840)
【出願日】平成22年1月14日(2010.1.14)
【出願人】(000004651)日本信号株式会社 (720)
【Fターム(参考)】