位置計測装置
【課題】撮像距離に影響されず、画像中の形状が変化することのないランドマークを用いるとともに、周囲の明るさの影響を受けにくい位置検出処理を行う位置計測装置を得る。
【解決手段】撮像距離によらず相似形に撮像される放射状模様を有し、位置を計測する計測対象物に離間して付設される複数のランドマーク９と、前記複数のランドマーク９を同一画像に撮像するように設置固定されたカメラ８と、前記カメラ８の撮像画像から前記複数のランドマーク９の位置を検出し、該画像中の複数のランドマーク９の位置を用いて前記計測対象物であるスプレッダ５の位置を演算によって求める画像処理部７とを備える。
【解決手段】撮像距離によらず相似形に撮像される放射状模様を有し、位置を計測する計測対象物に離間して付設される複数のランドマーク９と、前記複数のランドマーク９を同一画像に撮像するように設置固定されたカメラ８と、前記カメラ８の撮像画像から前記複数のランドマーク９の位置を検出し、該画像中の複数のランドマーク９の位置を用いて前記計測対象物であるスプレッダ５の位置を演算によって求める画像処理部７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばクレーンに備えられているスプレッダの位置を計測する位置計測装置に関する。
【背景技術】
【０００２】
トランスファクレーンなどを用いてコンテナを搬送するとき、コンテナを把持するスプレッダの位置を計測して、コンテナの吊上げ高さや揺れなどを検出している。スプレッダの位置を計測する技術として、例えば非特許文献１には、スプレッダに設置したレーザ光源から、トローリーの二か所に各々設置した２台のＣＣＤカメラへレーザ光を照射するように構成した位置計測装置が記載されている。この装置は、重心位置検出回路を用いて各ＣＣＤカメラが撮像したレーザ光の中心位置を求めてスプレッダの位置を計測している。
【０００３】
また、トランスファクレーンのスプレッダの上面にランドマークを付設しておき、トローリーに備えたカメラによりランドマークを撮像し、当該撮像した画像からスプレッダの位置を求める位置計測装置がある。この位置計測装置は、例えば図１３（Ａ）に示したようにトローリー１０４の下部に１台のカメラ１０８を備え、図１３（Ｂ）に示したような複数の同心円を模様としたランドマーク１０９をスプレッダ１０５の上面に付設しておく。このようなランドマーク１０９を、カメラ１０８を用いて撮像する。カメラ１０８から出力された画像データを例えばパソコン等を用いて処理し、画像中のランドマーク１０９の中心位置を検出してスプレッダ１０５の位置、即ちコンテナ１０２の揺れや高さなどを計測している。
【０００４】
【非特許文献１】三菱重工技報、Ｖｏｌ.３７、Ｎｏ．５（２０００−１１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、スプレッダにレーザ光源を備えた場合には、トローリーに設けられている操縦席に操縦者などが搭乗すると当該操縦者などにレーザ光を照射する可能性がある。
また、スプレッダに設けられた同心円状模様のランドマークを撮像した場合には、スプレッダの吊り上げ高さを変化させたとき、所定の高さにおいて、いずれかの同心円が同じ大きさとなって画像に写り込む。しかし、スプレッダが上記の所定の高さに位置していない場合には、画像に写る同心円の大きさが様々なものとなって画像処理に不具合が生じ、スプレッダの位置の検出結果に大きなずれが生じる可能性があるという問題点があった。
【０００６】
本発明はかかる事情に鑑みてなされたものであり、その目的は、撮像距離に影響されず、画像中の形状が変化することのないランドマークを用いるとともに、周囲の明るさの影響を受けにくい位置検出処理を行う位置計測装置を得ることにある。
【課題を解決するための手段】
【０００７】
本発明の第１の観点である位置計測装置は、撮像距離によらず相似形に撮像される模様を有し、位置を計測する計測対象物に離間して付設される複数のランドマークと、前記複数のランドマークを同一画像に撮像するように設置固定されたカメラと、前記カメラの撮像画像から前記複数のランドマークの位置を検出し、該画像中の複数のランドマークの位置を用いて前記計測対象物の位置を演算によって求める画像処理部とを備える。
【０００８】
好適には、前記ランドマークは、濃度の異なる複数の色を交互に配色した放射状模様を有する。
【０００９】
好適には、前記画像処理部は、前記ランドマークの模様のエッジを検出して該ランドマークの位置を求める。
【００１０】
好適には、前記画像処理部は、ベクトル符号相関法を用いて予め設定されているテンプレートと前記画像中のランドマークとの相関を求めて該ランドマークの位置を検出する。
【００１１】
好適には、前記テンプレートは、前記ランドマークの放射状模様の中心部分に対応する。
【発明の効果】
【００１２】
本発明によれば、周囲の明るさの影響を抑制して精度良く計測対象物の位置を計測することができる。
【発明を実施するための最良の形態】
【００１３】
以下、この発明の実施の一形態を説明する。
＜第１の実施形態１＞
図１は、本発明の第１の実施形態による位置計測装置の構成を示す説明図である。
図１（Ａ）は、第１の実施形態による位置計測装置を備える、例えばトランスファクレーン１の概略構成を示しており、トランスファクレーン１がコンテナ２を吊り上げている状態を表している。
【００１４】
トランスファクレーン１は、水平に配設されたガイド３、ガイド３に支持されるトローリー４、および、コンテナ２を把持するスプレッダ５を備えている。
トローリー４は、ガイド３に沿って移動するように構成されており、例えば４本のワイヤロープ６を用いてスプレッダ５を吊り上げている。なお、各ワイヤロープ６は、ウインチなどにより巻き上げ可能に備えられており、トローリー４は、スプレッダ５の地上高、即ちワイヤロープ６の長さを自在に調整できるように構成されている。
【００１５】
スプレッダ５の上面には、画像処理部７の撮像対象であるランドマーク９が付設されている。図１（Ａ）に例示したスプレッダ５には、当該スプレッダ５の長手方向に沿って二つのランドマーク９を離間して設けている。
画像処理部７は、トランスファクレーン１の適当な箇所に備えられ、例えば、トローリー４の操従席に配設されている。
カメラ８は、スプレッダ５の上面に付設されている二つのランドマーク９を撮像することができるようにトローリー４の下部に設置固定されている。
【００１６】
ランドマーク９は、撮像距離によらず相似形に撮像される模様を有しており、例えば、図１（Ｂ）に示したように放射状模様を有している。この放射状模様は、例えば当該ランドマーク９の中心点から、白色と黒色とを交互に配色した模様が放射状に広がるように構成されている。詳しくは、上記の２色の境界部分が１６ヵ所となるように模様が構成されている。ランドマーク９は、好ましくは１６〜３２分割された放射状模様を有している。
【００１７】
なお、上記の放射状模様は、白色および黒色に限定されず、濃度の異なる２色により構成してもよい。また、放射状模様は、２色以上の複数色を組み合わせて構成してもよい。即ち、放射状模様は、カメラ８が撮像した画像において、当該模様のエッジが明確になる色を組み合わせて構成されたものである。また、図１（Ｂ）には、外周形状が四辺形のランドマーク９を例示しているが、当該ランドマーク９の縁端部の形状は、どのように形成されてもよい。
【００１８】
図２は、第１の実施形態による位置計測装置の構成を示すブロック図である。この図は、図１に示した画像処理部７の構成を主に示している。
位置計測装置は、前述のようにスプレッダ５に付設される複数のランドマーク９、例えば工業用レンズを備えたＣＣＤカメラ等であるカメラ８、カメラ８から出力される画像データを処理する画像処理部７によって構成されている。
画像処理部７は、カメラ８から出力された画像データを所定のデータ様式に変換する、具体的には、後述する演算処理部１２が使用可能なデータに変換する画像入力処理手段１１を備えている。
【００１９】
また、画像処理部７は、画像入力処理手段１１の出力データから、カメラ８によって撮像されたランドマーク９の位置を演算によって求め、このランドマーク９の位置に基づいて、スプレッダ５の高さや揺れを演算によって求める演算処理手段１２を備えている。
また、画像処理部７は、演算処理手段１２の演算結果に応じて所定の出力信号を生成する出力処理手段１３と、後述するテンプレートなどを記憶している記憶手段１４とを備えている。
出力処理手段１３は、例えば、スプレッダ５の揺れを抑止する、図示を省略した制御機構部等に、前述の演算結果である位置情報等を出力するように接続構成されている。上記の制御機構部は、スプレッダ５に搭載されており、上記の位置情報から得られたスプレッダ５の揺れとワイヤロープ６の長さに対応させて、スプレッダ５の揺れを抑止するための適切な慣性力を発生させる機能を備えている。
また、出力処理手段１３は、トランスファクレーン１の図示されない操縦席に備えられている表示装置に、前述の位置情報等を表示するように接続構成してもよい。
【００２０】
画像処理部７は、例えばパソコン等を用いて構成してもよい。具体的には、パソコン等に搭載されているプロセッサなどのデバイスとソフトウエアプログラムとを用いて、前述の処理機能を有する各手段を備えるようにパソコン等の各部を設定／構成する。
【００２１】
図１のトランスファクレーン１は、例えば、ワイヤロープ６の長さを２０［ｍ］程度としてスプレッダ５を吊り上げている。このような長さのワイヤロープ６によって吊り上げられているスプレッダ５の位置を計測するときには、例えば、次の要件（ｉ）または要件（ｉｉ）に示したカメラ８およびランドマーク９が用いられる。なお、ここで例示するランドマーク９は、外周が四辺形に形成されたものである。
【００２２】
（ｉ）カメラ８は、撮像可能な画像サイズが６４０×４８０［ｐｉｘｅｌ］、例えば１／３サイズのＣＣＤ素子を使用しており、画素サイズが７．４［μｍ］、焦点距離が７５［ｍｍ］の撮像性能を備えている。
このとき用いられるランドマーク９は、四方のサイズが７０［ｍｍ］以上の大きさを有している。
【００２３】
（ｉｉ）カメラ８は、撮像可能な画像サイズが１０２４×１０２４［ｐｉｘｅｌ］、例えば１／２サイズのＣＣＤ素子を使用しており、画素サイズが５．５［μｍ］、焦点距離が５０［ｍｍ］の撮像性能を備えている。
このとき用いられるランドマーク９は、四方のサイズが８０［ｍｍ］以上の大きさを有している。
なお、（ｉｉ）に例示したカメラ８およびランドマーク９を用いた場合には、（ｉ）のものに比べて画像の解像度が高く、ランドマーク９もしくはスプレッダ５の位置の計測範囲を広くすることが可能である。
【００２４】
次に動作について説明する。
［スプレッダの位置を計測する動作］
図３および図４は、第１の実施形態による位置計測装置の計測動作を示す説明図である。
図３（Ａ）は、図１に示したトランスファクレーン１において、トローリー４から吊り下げられているスプレッダ５をカメラ８の設置位置から視た状態を表している。また、図３（Ｂ）は、カメラ８が図３（Ａ）に示したスプレッダ５を撮像した画像２０を表している。
【００２５】
図３（Ａ）に示したスプレッダ５は、前述のようにトローリー４から吊り下げられており、図中破線で示した静止位置５ａから、矢印ａで示したように揺れた状態を表している。図３のスプレッダ５には、前述のランドマーク９である、ランドマーク９ａ，９ｂが距離Ｄをもって付設されている。
ここで、ランドマーク９ａとランドマーク９ｂとの中間点を位置Ｐとする。また、静止位置５ａの中心点を原点Ｏｓとし、スプレッダ５の長手方向をＹ軸、短手方向をＸ軸とした直交座標を設定する。この座標系において、揺れたスプレッダ５の位置Ｐの座標値を（Ｘｓ，Ｙｓ）とする。
【００２６】
なお、スプレッダ５の位置Ｐは、当該スプレッダ５の静止状態において原点Ｏｓと同一点である。
また、図３では、距離Ｄを分かりやすく示すためにランドマーク９ａ，９ｂを円形状に表しているが、ランドマーク９ａ，９ｂの形状は図示したものに限定されない。
ランドマーク９ａ，９ｂは、図１（Ｂ）に示したように、放射状模様を有しており、各ランドマーク９ａ，９ｂの放射状模様の中心点が距離Ｄをもって離間されている。
【００２７】
また、図３（Ｂ）に示した画像２０において、破線で示した静止位置５ａの中心点を原点Ｏｃとし、画像２０の中のスプレッダ５の長手方向をｙ軸、短手方向をｘ軸とした直交座標を設定する。この座標系において、画像２０中におけるスプレッダ５の位置Ｐの座標を（ｘｓ,ｙｓ）とする。また、画像中のランドマーク９ａの座標を（ｘ１，ｙ１）、ランドマーク９ｂの座標を（ｘ２，ｙ２）とする。また、画像中のランドマーク９ａとランドマーク９ｂとの間の距離をｄとする。
【００２８】
前述の原点Ｏｓは、トランスファクレーン１のスプレッダ５が静止した状態において予め設定されている。また、カメラ８は、前述のようにトローリー４に固定されているので、画像２０において静止状態のスプレッダ５に設定される原点Ｏｃも、予め画像２０の中の所定の位置に設定されるものである。
画像処理部７は、例えば記憶手段１４に、予め画像２０の中における原点Ｏｃの位置を記憶させておき、演算処理手段１２などが後述する画像処理を行う際には、記憶手段１４に記憶されている原点Ｏｃを使用する。
【００２９】
図４（Ａ）は、画像処理部７がスプレッダ５の位置を計測するときに用いる各値を示している。図４（Ａ）に示した直交座標は、Ｘ軸およびＹ軸に関して、図３（Ａ）に示した座標系と同様に設定されている。
図４（Ａ）において、原点Ｏｓは、トローリー４の例えば下端面に設定されており、前述のＸ軸とＹ軸によって形成されるＸ−Ｙ平面に直交するＺ軸が設定されている。また、図４（Ｂ）は、図４（Ａ）に示した各部のＺ軸方向における配置関係を抽出し、各部の間の距離等を表している。
【００３０】
ここで、図４（Ａ）に破線で示した画像平面２０ａは、カメラ８の受光素子面の位置を表し、焦点Ｆｏは、カメラ８の撮像焦点の位置を表している。画像平面２０ａから焦点Ｆｏまでの距離をｆとする。また、原点Ｏｓ即ちトローリー４から焦点Ｆｏまでの距離をＺｃとする。また、焦点Ｆｏからスプレッダ５即ち位置Ｐまでの距離をｈとする。また、原点Ｏｓからスプレッダ５即ち位置Ｐまでの距離をＺｓとする。換言すると、位置ＰのＺ軸方向の座標値はＺｓとなる。
【００３１】
画像処理部７の演算処理手段１２は、図３に示したスプレッダ５の揺れによる変位を演算によって求める。
カメラ８が撮像した画像は画像入力手段１１によって所定の様式の画像データに変換される。この画像データを入力した演算処理手段１２は、図３（Ｂ）に示した画像２０の中に含まれているランドマーク９ａ，９ｂの各座標値を、後述するテンプレートマッチング処理によって求める。なお、上記のランドマーク９ａ，９ｂの座標値は、各ランドマークの放射状模様の中心点の座標値であり、具体的には、図３（Ｂ）に示したランドマーク９ａの座標値（ｘ１，ｙ１）とランドマーク９ｂの座標値（ｘ２，ｙ２）である。
画像２０における座標値（ｘ１、ｙ１）および座標値（ｘ２、ｙ２）を求めた後、当該画像２０の中における距離ｄを次の式（１）を用いて求める。
【００３２】
【数１】
【００３３】
演算処理手段１２は、距離ｄを求めた後、次の式（２）を用いて画像２０の中のスプレッダ５の位置を求める。詳しくは、画像２０に写り込んでいる、揺れて変位したスプレッダ５の中心点、即ち画像２０の中に含まれている位置Ｐの座標値（ｘｓ，ｙｓ）を求める。
【００３４】
【数２】
【００３５】
図３（Ａ）に示した距離Ｄは、実物のスプレッダ５の上面に付設されているランドマーク９ａとランドマーク９ｂとの間隔であり、予め定められている数値である。そこで、スプレッダ５の位置計測処理において、予め距離Ｄの値を記憶手段１４等に記憶させておく。演算処理手段１２は、適宜、記憶手段１４から距離Ｄの値を読み出して演算に用いる。
【００３６】
前述の式（２）により、画像２０の中における距離ｄが求められると、予め実際の距離Ｄが分かっているので、画像２０の中に写っているスプレッダ５の座標値（ｘｓ，ｙｓ）から、実際のスプレッダ５の位置を表す座標値（Ｘｓ，Ｙｓ）を求めることができる。
上述の説明は、図３（Ａ）ならびに図４（Ａ）に示した座標系においてＸ方向およびＹ方向の座標値に関するものであるが、Ｚ方向の座標値、即ち、スプレッダ５が実際に位置する高さに関しても、演算によって求めることができる。
【００３７】
予め、カメラ８の焦点Ｆｏおよび受光素子即ち画像平面２０ａの位置が分かっている。即ち、図４に示した距離ｆ、座標値Ｚｃは、予め定められている値である。距離ｆならびに座標値Ｚｃの各値を、記憶手段１４に予め記憶させておく。
演算処理手段１２は、記憶手段１４に記憶されている距離Ｄ、距離ｄ、距離ｆ、座標値Ｚｃを用いて、次の式（３）の演算を行い、スプレッダ５の実際の位置を示す座標値（Ｘｓ，Ｙｓ，Ｚｓ）を求める。なお、図４に示した距離ｈは、式（３）に含まれている（Ｄ／ｄ）×ｆに該当する。
【００３８】
【数３】
【００３９】
このように画像処理部７は、三角測量を用いてスプレッダ５の位置Ｐを求める。ここで説明した位置Ｐの座標値は、揺れているスプレッダ５の位置情報である。位置Ｐの座標値（Ｘｓ，Ｙｓ，Ｚｓ）等を表すデータは、出力処理手段１３によって所定のデータ様式に変換され、例えば、前述の制御機構部等へ出力される。
【００４０】
［画像中のランドマークの位置を求める処理動作］
画像処理手段１２による、画像２０に含まれているランドマーク９ａ，９ｂの位置を求める処理動作を説明する。
画像処理手段１２は、ベクトル符号相関法を用いて画像の明暗または濃淡の変化を検出する。
ベクトル符号相関法は、注目画素の周辺８画素について輝度変化の傾きを符号化するものであり、このような符号化を例えば撮像した画像に対して行い、さらに符号化した画像と予め用意されているテンプレートとの相関を演算によって求めるものである。
上記のテンプレートは、所定の画像パターンをベクトル符号化したデータである。
【００４１】
図５は、第１の実施形態による位置計測装置の処理動作を示す説明図である。この図は、画像処理部７へ入力された画像の一部分を符号化する処理を示している。
例えば、図５の図中左側に示した画素ｂを注目画素としたとき、画素ｂの周辺８画素を抽出する。これらの画素は、例えば輝度を表す０〜２５５の値を有している。上記の画素ｂおよび周辺画素の９画素をＰｒｅｗｉｔｔフィルタにより処理する。
【００４２】
Ｐｒｅｗｉｔｔフィルタは、図５の中央上段に示した画像の横方向のフィルタと、図５の中央下段に示した縦方向のフィルタとからなるものである。具体的なフィルタリング処理は、上記の９個の画素値に横方向のフィルタである係数行列を乗算し、その値、即ち注目画素ｂの横方向の傾きを求める。また、上記の９個の画素値に縦方向のフィルタである係数行列を乗算し、その値、即ち前述の注目画素ｂの縦方向の傾きを求める。
【００４３】
このようにして求めた横方向の傾き（図中“−６８”と記載した値）、および、縦方向の傾き（図中“６８”と記載した値）を各々所定の閾値と比較する。この閾値は、上記の各傾きを、例えば、“正の傾き”、“傾きなし”、“負の傾き”に分類する、適当な二つの値である。これらの閾値と上記の各傾きとを比較し、比較結果に応じて三つの値に符号化する。具体的には、“正の傾き”を「０１」、“傾きなし”を「００」、“負の傾き”を「１０」として、２ビットで表現される符号に変換する。このようにして画像の所定部分のベクトル符号を求める。
【００４４】
図６は、第１の実施形態による位置計測装置の処理動作を示す説明図である。この図は、各画素の傾きをベクトル符号化して、カメラ８からの入力画像とテンプレートとの相関を求める処理を示している。
カメラ８が撮像した画像は、前述のように演算処理手段１２によってベクトル符号化が行なわれる。また、記憶手段１４に記憶されているテンプレートも、前述のようにベクトル符号化されたものである。
なお、テンプレートは、例えば図１（Ｂ）に破線で示した部分Ｔに対応するデータであり、ランドマーク９の放射状模様の中心部分を表している。
【００４５】
演算処理手段１２は、図６に示したベクトル符号化された部分画像とテンプレートとのＸＯＲ（ｅｘｃｌｕｓｉｖｅ ｏｒ）を求めて画素毎のマッチングを検出する。
カメラ８が撮像した画像を前述のように処理した部分画像の各ベクトル符号とテンプレートの各ベクトル符号との排他的論理和（ＸＯＲ結果）を求め、図６の図中右下側に例示した同値関係テーブルを用いて前述のＸＯＲ結果の相違度を求める。
なお、上記の同値関係テーブルは、例えば記憶手段１４に記憶されており、演算処理手段１２が適宜参照可能なように、画像処理部７の内部に備えられている。
【００４６】
演算処理手段１２は、前述のようにして各画素における相違度を表す値を求め、さらに、これらの値の総和を求める。この相違度の総和が、前述の部分画像とテンプレートとの相違度を表す値である。
演算処理手段１２は、順次異なる部分画像と、前述のテンプレートとの相違度を求め、相違度が所定の値よりも小さくなった部分画像を探す。相違度が小さい部分画像があったとき、当該部分画像の座標値を求める。
【００４７】
ここで使用したテンプレートは、前述のようにランドマーク９の中心部分を表したものである。そのため、相違度が小さい部分画像にはランドマーク９ａあるいはランドマーク９ｂの中心部分が写っている可能性が高い。即ち、この部分画像の座標値が、ランドマーク９ａの座標値（ｘ１，ｙ１）、あるいはランドマーク９ｂの座標値（ｘ２，ｙ２）であると考えられる。
このように、演算処理手段１２は、カメラ８が撮像した画像２０の中から、当該画像２０の画素を単位として、ランドマーク９ａ，９ｂの放射状模様の中心部分を探し出し、当該中心部分の座標値を求める。
【００４８】
図１３（Ｂ）に示した同心円状模様のランドマーク１０９を用いて前述のような相関を求めて位置計測を行った場合と、前述のように放射状模様のテンプレート９を用いて位置計測を行った場合とを比較する。
【００４９】
図７〜図１０は、第１の実施形態による位置検出装置が画像から検出したランドマークの位置を示す説明図である。
図７および図８は、スプレッダ５の高さ即ちランドマークの位置を、図４に示したＺ軸方向に沿って変化させ、各高さにおいて静止状態のスプレッダ５もしくはランドマークを撮像したときの当該撮像画像中のランドマークの位置を示している。
詳しくは、図７，８は、スプレッダ５の実際の高さと、この高さにおいて撮像された画像中のランドマークの位置との関係を表したグラフであり、ランドマークの位置を、図３に示した座標系のｘ軸方向の位置と、ｙ軸方向の位置とに分けて表している。
【００５０】
また、図７および図８のグラフは、縦軸がカメラ８の撮像した画像においてランドマークが検出された位置の画素［ｐｉｘｅｌ］を表し、横軸がスプレッダ５の高さ、即ちカメラ８が設置されたトローリー４とランドマークとの間の距離［ｍｍ］を表している。
なお、ここでグラフに例示した高さは、図１等に示したトランスファクレーン１におけるスプレッダ５の実際の高さであるとは限らない。
【００５１】
図７は、スプレッダ５に図１３（Ｂ）に示したランドマーク１０９を付設し、これをカメラ８にて撮像して、画像処理部７が画像中のスプレッダ５の位置を検出したときの検出結果を示すグラフである。
図７（Ａ）は、スプレッダ５の高さを変化させたとき、即ち図４に示したＺ軸方向にランドマーク１０９の位置を変化させたときの、画像中のｘ軸方向の検出位置を示したグラフである。図７（Ａ）の横軸は、スプレッダ５の高さ、即ちランドマークのＺ軸方向の実際の位置であり、縦軸は、撮像した画像中のランドマーク１０９のｘ軸方向の検出位置である。
図７（Ｂ）は、同様にスプレッダ５の高さを変化させたときの、画像中のｙ軸方向の検出位置を示したグラフである。図７（Ｂ）の横軸は、図７（Ａ）と同様にスプレッダ５の高さであり、縦軸は、撮像した画像中のランドマーク１０９のｙ軸方向の検出位置である。
【００５２】
カメラ８の撮像性能等が影響し、カメラ８とランドマーク１０９との間が、ある程度の距離になると、画像中の同心円状模様が適当な大きさとなるように撮像することが難しくなる。換言すると、図１３（Ｂ）に破線で示した部分Ｔに、同心円状模様が好適に含まれている画像が得られなくなる。なお、上記の部分Ｔは、後述するテンプレートとの相関を求める部分である。
【００５３】
上記のように同心円状模様が適当な大きさに撮像されていない画像に対してベクトル符号相関法による処理を行い、図示を省略した同心円状模様に対応するテンプレートとの相関を求めると、当該ランドマーク１０９の中心部分を正確に検出することが困難になる、
そのため、図７（Ａ）および図７（Ｂ）に示したように、実際のランドマーク１０９は静止状態であっても、画像中から検出されるランドマーク１０９の位置が一定にならず、不安定になる場合がある。
【００５４】
図８は、スプレッダ５に図１（Ｂ）に示したランドマーク９を付設し、これをカメラ８にて撮像して、画像処理部７がスプレッダ５の位置を検出したときの検出結果を示すグラフである。
図８（Ａ）は、スプレッダ５の高さを変化させたとき、即ち図４に示したＺ軸方向にランドマーク９の位置を変化させたときの、画像中のｘ軸方向の検出位置を示したグラフである。図８（Ａ）の横軸は、スプレッダ５の高さ、即ちランドマーク９のＺ軸方向の実際の位置であり、縦軸は、撮像した画像中のランドマーク９のｘ軸方向の検出位置である。
図８（Ｂ）は、同様にスプレッダ５の高さを変化させたときの、ｙ軸方向の検出位置を示したグラフである。図８（Ｂ）の横軸は、図８（Ａ）と同様にスプレッダ５の高さであり、縦軸は、撮像した画像中のランドマーク９のｙ軸方向の検出位置である。
【００５５】
放射状模様のランドマーク９を、ベクトル符号相関法により画像処理した場合には、前述のように撮像画像の画素単位で位置を特定し、当該放射状模様の中心部分を検出することが可能である。図８（Ａ）および図８（Ｂ）に示したように、ランドマーク９が実際に静止しているときには、画像中から検出したランドマーク９の位置も一定となる。
【００５６】
図９および図１０は、スプレッダ５の高さ、即ちランドマークの位置を図４に示したＺ軸方向に沿って変化させ、各高さにおいて揺れているスプレッダ５もしくはランドマークを撮像したとき、当該撮像した画像中のｘ軸方向またはｙ軸方向のランドマークの位置を示している。
【００５７】
図９は、スプレッダ５に同心円状模様のランドマーク１０９を付設し、これをカメラ８にて撮像して、画像処理部７が検出したスプレッダ５の揺れを示すグラフである。
図９（Ａ）は、スプレッダ５の揺れに応じて画像から検出されるｘ軸方向のランドマーク１０９の位置を示すグラフである。
図９（Ｂ）は、スプレッダ５の揺れに応じて画像から検出されるｙ軸方向のランドマーク１０９の位置を示すグラフである。
図１０（Ａ）は、スプレッダ５の揺れに応じて画像から検出されるｘ軸方向のランドマーク９の位置を示すグラフである。
図１０（Ｂ）は、スプレッダ５の揺れに応じて画像から検出されるｙ軸方向のランドマーク９の位置を示すグラフである。
【００５８】
図９および図１０に示された計測結果から、画像処理部７によるランドマークの検出処理には、放射状模様のランドマーク９を用いた場合と同心円状模様のランドマーク１０９を用いた場合とでは大きな差異が生じないことがわかる。換言すると、図４に示したカメラ８の撮像平面２０ａに平行なスプレッダ５の揺れ、もしくはランドマークの移動について、ランドマーク９を用いた場合の位置計測とランドマーク１０９を用いた場合の位置計測とは、同様な精度で行うことが可能である。
【００５９】
このように、ベクトル符号相関法を用いた位置計測を行う場合には、放射状模様のランドマーク９を用いると、同心円状模様のランドマーク１０９を用いた場合に比べて、スプレッダ５の高さについて安定した計測結果が得られることがわかる。即ち、画像処理部７は、ランドマーク９をスプレッダ５などの計測対象物に付設したとき、カメラ８が設置されたトローリー４の撮像位置と計測対象物との間の距離を、より正確に計測することができる。また、撮像した画像から、より正確なスプレッダ５の位置を計測することができる。
【００６０】
図１１は、第１の実施形態による位置計測装置の動作を示す説明図である。この図は、カメラ８が撮像した画像中のランドマーク９を示したものである。
図１１（Ａ）は、例えば照明装置等を用いてランドマーク９の周囲を通常の明るさとして撮像した場合の画像中のランドマーク９である。換言すると、カメラ８の撮像性能に適合した明るさの周辺環境において撮像した画像である。
図１１（Ｂ）は、上記の照明装置等による照明光が無い状態で撮像した場合の画像中のランドマーク９であり、例えば照明光のない屋内で撮像した画像である。
図１１（Ｃ）は、例えば、図１１（Ａ）に示したように撮像される通常の明るさを有する照明装置に追加照明装置を加えて、相当に明るい状態で撮像した場合の画像中のランドマーク９であり、放射状模様の中心部分に若干のハレーションが生じている。
【００６１】
画像処理部７は、前述のようにベクトル符号相関法を用いてランドマーク９の位置を検出しており、図１１に示した各画像においても、同様に画像中のランドマーク９の位置、詳しくはランドマーク９の中心部分の座標値を十分な精度で検出することが可能である。
具体的には、例えば図１のスプレッダ５に付設されたランドマーク９を撮像する際に、トランスファクレーン１に備えられている、図示を省略した照明装置等を用いてスプレッダ５を照らした場合でも、安定した位置計測を行うことが可能である。
【００６２】
トランスファクレーン１が稼働することによって前述の照明装置からの照射光が何らかの構造物によって遮られ、スプレッダ５の上面においてランドマーク９の周辺の明るさが変化する場合がある。
画像処理部７の演算処理手段１２は、画像の明るさの変動に対して頑健なベクトル符号相関法を用いてカメラ８からの画像データを処理しているので、上記のように撮像を行っている際にランドマーク９を照らし出す明るさが変化したときでも、精度よくランドマーク９の位置を検出することができる。
【００６３】
図１２は、第１の実施形態による位置検出装置の検出結果を示す説明図である。この図は、図１１（Ａ）〜（Ｃ）に例示した各画像から求めた位置と、実際の位置との間にずれが発生する頻度を示したグラフである。図１２には、図１１（Ａ）の画像に対応する“通常の照明におけるランドマーク検出時の誤差”、図１１（Ｂ）の画像に対応する“照明のない状態におけるランドマーク検出時の誤差”、および図１１（Ｃ）の画像に対応する“追加照明におけるランドマーク検出時の誤差”の各分布を示している。
【００６４】
図１２に示した誤差分布は、図３に示したｘ軸方向の位置検出において生じた誤差を示している。図１２の縦軸は、撮像した画像中のランドマーク９の位置を検出する画像処理を行ったとき、誤差が含まれる頻度［％］を示しており、横軸は、上記の位置を検出する画像処理において発生した誤差の大きさを表している。なお、誤差の大きさを、画像中の画素［ｐｉｘｅｌ］を単位として表しており、誤差を含んでいない場合を“０”［ｐｉｘｅｌ］とし、この画素の位置から外れた画素数を用いて誤差分布を表している。
【００６５】
図１２に示した一例では、計測位置の誤差分布が±４［ｐｉｘｅｌ］の範囲内に収まっており、また、計測誤差の発生頻度も１［ｐｉｘｅｌ］ずれる場合が２５［％］に満たない程度である。
演算処理手段１２が、ベクトル符号相関法を用いて画像処理を行うことにより、ランドマーク９の明るさ、即ち照明装置等による照明光の有無により検出位置の誤差発生頻度が顕著に変化せず、ランドマーク９の周囲の明るさ変化の影響を抑えて位置検出処理を行うことができる。
また、上記のようにベクトル符号相関法を用いて画像処理を行うことにより、一般的な正規相関法を用いた画像処理に比べて処理時間を短縮することができる。
【００６６】
以上のように、第１の実施形態によれば、放射状模様のランドマーク９を計測対象のスプレッダ５に付設し、カメラ８が撮像したランドマーク９を含む画像から、画像処理部７がベクトル符号相関法を用いてランドマーク９の画像中の座標値を検出する。また、検出した座標値から計測対象物のスプレッダ５の高さ、もしくはカメラ８の設置位置とスプレッダ５の位置との間の距離を求めるようにした。このようにすることによって、撮像画像の画素単位でランドマーク９の位置を検出することができ、精度の高い計測を行うことができる。
【００６７】
また、画像処理部７が撮像画像中のランドマーク９を検出するとき、ランドマーク９の放射状模様のエッジを検出し、このときベクトル符号相関法による処理を行うようにした。このようにすることによって、撮像画像の各画素値の傾斜を取り扱うことから、撮像するランドマーク９の周辺の明るさが変化しても、撮像画像から精度よくランドマーク９の位置を検出することができる。
【００６８】
本実施形態では、トランスファクレーン１の上側に配設されたカメラ８により、下方に位置するスプレッダ５を撮像し、当該スプレッダ５の位置を計測する位置計測装置を説明した。本発明の位置計測装置は、上記のようなクレーンに吊り上げられたスプレッダの位置を計測することに限定されず、カメラ８の撮像方向を水平とし、当該撮像方向に配置されている計測対象物の位置を三次元的に計測することも可能である。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１の実施形態による位置計測装置の構成を示す説明図である。
【図２】第１の実施形態による位置計測装置の構成を示すブロック図である。
【図３】第１の実施形態による位置計測装置の計測動作を示す説明図である。
【図４】第１の実施形態による位置計測装置の計測動作を示す説明図である。
【図５】第１の実施形態による位置計測装置の処理動作を示す説明図である。
【図６】第１の実施形態による位置計測装置の処理動作を示す説明図である。
【図７】第１の実施形態による位置検出装置が画像から検出したランドマークの位置を示す説明図である。
【図８】第１の実施形態による位置検出装置が画像から検出したランドマークの位置を示す説明図である。
【図９】第１の実施形態による位置検出装置が画像から検出したランドマークの位置を示す説明図である。
【図１０】第１の実施形態による位置検出装置が画像から検出したランドマークの位置を示す説明図である。
【図１１】第１の実施形態による位置計測装置の動作を示す説明図である。
【図１２】第１の実施形態による位置検出装置の検出結果を示す説明図である。
【図１３】従来の位置計測装置の構成を示す説明図である。
【符号の説明】
【００７０】
１…トランスファクレーン、２…コンテナ、３…ガイド、４…トローリー、５…スプレッダ、６…ワイヤロープ、７…画像処理部、８…カメラ、９，９ａ，９ｂ…ランドマーク、１１…画像入力手段、１２…演算処理手段、１３…出力処理手段、１４…記憶手段、２０…画像、２０ａ…画像平面。
【技術分野】
【０００１】
本発明は、例えばクレーンに備えられているスプレッダの位置を計測する位置計測装置に関する。
【背景技術】
【０００２】
トランスファクレーンなどを用いてコンテナを搬送するとき、コンテナを把持するスプレッダの位置を計測して、コンテナの吊上げ高さや揺れなどを検出している。スプレッダの位置を計測する技術として、例えば非特許文献１には、スプレッダに設置したレーザ光源から、トローリーの二か所に各々設置した２台のＣＣＤカメラへレーザ光を照射するように構成した位置計測装置が記載されている。この装置は、重心位置検出回路を用いて各ＣＣＤカメラが撮像したレーザ光の中心位置を求めてスプレッダの位置を計測している。
【０００３】
また、トランスファクレーンのスプレッダの上面にランドマークを付設しておき、トローリーに備えたカメラによりランドマークを撮像し、当該撮像した画像からスプレッダの位置を求める位置計測装置がある。この位置計測装置は、例えば図１３（Ａ）に示したようにトローリー１０４の下部に１台のカメラ１０８を備え、図１３（Ｂ）に示したような複数の同心円を模様としたランドマーク１０９をスプレッダ１０５の上面に付設しておく。このようなランドマーク１０９を、カメラ１０８を用いて撮像する。カメラ１０８から出力された画像データを例えばパソコン等を用いて処理し、画像中のランドマーク１０９の中心位置を検出してスプレッダ１０５の位置、即ちコンテナ１０２の揺れや高さなどを計測している。
【０００４】
【非特許文献１】三菱重工技報、Ｖｏｌ.３７、Ｎｏ．５（２０００−１１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、スプレッダにレーザ光源を備えた場合には、トローリーに設けられている操縦席に操縦者などが搭乗すると当該操縦者などにレーザ光を照射する可能性がある。
また、スプレッダに設けられた同心円状模様のランドマークを撮像した場合には、スプレッダの吊り上げ高さを変化させたとき、所定の高さにおいて、いずれかの同心円が同じ大きさとなって画像に写り込む。しかし、スプレッダが上記の所定の高さに位置していない場合には、画像に写る同心円の大きさが様々なものとなって画像処理に不具合が生じ、スプレッダの位置の検出結果に大きなずれが生じる可能性があるという問題点があった。
【０００６】
本発明はかかる事情に鑑みてなされたものであり、その目的は、撮像距離に影響されず、画像中の形状が変化することのないランドマークを用いるとともに、周囲の明るさの影響を受けにくい位置検出処理を行う位置計測装置を得ることにある。
【課題を解決するための手段】
【０００７】
本発明の第１の観点である位置計測装置は、撮像距離によらず相似形に撮像される模様を有し、位置を計測する計測対象物に離間して付設される複数のランドマークと、前記複数のランドマークを同一画像に撮像するように設置固定されたカメラと、前記カメラの撮像画像から前記複数のランドマークの位置を検出し、該画像中の複数のランドマークの位置を用いて前記計測対象物の位置を演算によって求める画像処理部とを備える。
【０００８】
好適には、前記ランドマークは、濃度の異なる複数の色を交互に配色した放射状模様を有する。
【０００９】
好適には、前記画像処理部は、前記ランドマークの模様のエッジを検出して該ランドマークの位置を求める。
【００１０】
好適には、前記画像処理部は、ベクトル符号相関法を用いて予め設定されているテンプレートと前記画像中のランドマークとの相関を求めて該ランドマークの位置を検出する。
【００１１】
好適には、前記テンプレートは、前記ランドマークの放射状模様の中心部分に対応する。
【発明の効果】
【００１２】
本発明によれば、周囲の明るさの影響を抑制して精度良く計測対象物の位置を計測することができる。
【発明を実施するための最良の形態】
【００１３】
以下、この発明の実施の一形態を説明する。
＜第１の実施形態１＞
図１は、本発明の第１の実施形態による位置計測装置の構成を示す説明図である。
図１（Ａ）は、第１の実施形態による位置計測装置を備える、例えばトランスファクレーン１の概略構成を示しており、トランスファクレーン１がコンテナ２を吊り上げている状態を表している。
【００１４】
トランスファクレーン１は、水平に配設されたガイド３、ガイド３に支持されるトローリー４、および、コンテナ２を把持するスプレッダ５を備えている。
トローリー４は、ガイド３に沿って移動するように構成されており、例えば４本のワイヤロープ６を用いてスプレッダ５を吊り上げている。なお、各ワイヤロープ６は、ウインチなどにより巻き上げ可能に備えられており、トローリー４は、スプレッダ５の地上高、即ちワイヤロープ６の長さを自在に調整できるように構成されている。
【００１５】
スプレッダ５の上面には、画像処理部７の撮像対象であるランドマーク９が付設されている。図１（Ａ）に例示したスプレッダ５には、当該スプレッダ５の長手方向に沿って二つのランドマーク９を離間して設けている。
画像処理部７は、トランスファクレーン１の適当な箇所に備えられ、例えば、トローリー４の操従席に配設されている。
カメラ８は、スプレッダ５の上面に付設されている二つのランドマーク９を撮像することができるようにトローリー４の下部に設置固定されている。
【００１６】
ランドマーク９は、撮像距離によらず相似形に撮像される模様を有しており、例えば、図１（Ｂ）に示したように放射状模様を有している。この放射状模様は、例えば当該ランドマーク９の中心点から、白色と黒色とを交互に配色した模様が放射状に広がるように構成されている。詳しくは、上記の２色の境界部分が１６ヵ所となるように模様が構成されている。ランドマーク９は、好ましくは１６〜３２分割された放射状模様を有している。
【００１７】
なお、上記の放射状模様は、白色および黒色に限定されず、濃度の異なる２色により構成してもよい。また、放射状模様は、２色以上の複数色を組み合わせて構成してもよい。即ち、放射状模様は、カメラ８が撮像した画像において、当該模様のエッジが明確になる色を組み合わせて構成されたものである。また、図１（Ｂ）には、外周形状が四辺形のランドマーク９を例示しているが、当該ランドマーク９の縁端部の形状は、どのように形成されてもよい。
【００１８】
図２は、第１の実施形態による位置計測装置の構成を示すブロック図である。この図は、図１に示した画像処理部７の構成を主に示している。
位置計測装置は、前述のようにスプレッダ５に付設される複数のランドマーク９、例えば工業用レンズを備えたＣＣＤカメラ等であるカメラ８、カメラ８から出力される画像データを処理する画像処理部７によって構成されている。
画像処理部７は、カメラ８から出力された画像データを所定のデータ様式に変換する、具体的には、後述する演算処理部１２が使用可能なデータに変換する画像入力処理手段１１を備えている。
【００１９】
また、画像処理部７は、画像入力処理手段１１の出力データから、カメラ８によって撮像されたランドマーク９の位置を演算によって求め、このランドマーク９の位置に基づいて、スプレッダ５の高さや揺れを演算によって求める演算処理手段１２を備えている。
また、画像処理部７は、演算処理手段１２の演算結果に応じて所定の出力信号を生成する出力処理手段１３と、後述するテンプレートなどを記憶している記憶手段１４とを備えている。
出力処理手段１３は、例えば、スプレッダ５の揺れを抑止する、図示を省略した制御機構部等に、前述の演算結果である位置情報等を出力するように接続構成されている。上記の制御機構部は、スプレッダ５に搭載されており、上記の位置情報から得られたスプレッダ５の揺れとワイヤロープ６の長さに対応させて、スプレッダ５の揺れを抑止するための適切な慣性力を発生させる機能を備えている。
また、出力処理手段１３は、トランスファクレーン１の図示されない操縦席に備えられている表示装置に、前述の位置情報等を表示するように接続構成してもよい。
【００２０】
画像処理部７は、例えばパソコン等を用いて構成してもよい。具体的には、パソコン等に搭載されているプロセッサなどのデバイスとソフトウエアプログラムとを用いて、前述の処理機能を有する各手段を備えるようにパソコン等の各部を設定／構成する。
【００２１】
図１のトランスファクレーン１は、例えば、ワイヤロープ６の長さを２０［ｍ］程度としてスプレッダ５を吊り上げている。このような長さのワイヤロープ６によって吊り上げられているスプレッダ５の位置を計測するときには、例えば、次の要件（ｉ）または要件（ｉｉ）に示したカメラ８およびランドマーク９が用いられる。なお、ここで例示するランドマーク９は、外周が四辺形に形成されたものである。
【００２２】
（ｉ）カメラ８は、撮像可能な画像サイズが６４０×４８０［ｐｉｘｅｌ］、例えば１／３サイズのＣＣＤ素子を使用しており、画素サイズが７．４［μｍ］、焦点距離が７５［ｍｍ］の撮像性能を備えている。
このとき用いられるランドマーク９は、四方のサイズが７０［ｍｍ］以上の大きさを有している。
【００２３】
（ｉｉ）カメラ８は、撮像可能な画像サイズが１０２４×１０２４［ｐｉｘｅｌ］、例えば１／２サイズのＣＣＤ素子を使用しており、画素サイズが５．５［μｍ］、焦点距離が５０［ｍｍ］の撮像性能を備えている。
このとき用いられるランドマーク９は、四方のサイズが８０［ｍｍ］以上の大きさを有している。
なお、（ｉｉ）に例示したカメラ８およびランドマーク９を用いた場合には、（ｉ）のものに比べて画像の解像度が高く、ランドマーク９もしくはスプレッダ５の位置の計測範囲を広くすることが可能である。
【００２４】
次に動作について説明する。
［スプレッダの位置を計測する動作］
図３および図４は、第１の実施形態による位置計測装置の計測動作を示す説明図である。
図３（Ａ）は、図１に示したトランスファクレーン１において、トローリー４から吊り下げられているスプレッダ５をカメラ８の設置位置から視た状態を表している。また、図３（Ｂ）は、カメラ８が図３（Ａ）に示したスプレッダ５を撮像した画像２０を表している。
【００２５】
図３（Ａ）に示したスプレッダ５は、前述のようにトローリー４から吊り下げられており、図中破線で示した静止位置５ａから、矢印ａで示したように揺れた状態を表している。図３のスプレッダ５には、前述のランドマーク９である、ランドマーク９ａ，９ｂが距離Ｄをもって付設されている。
ここで、ランドマーク９ａとランドマーク９ｂとの中間点を位置Ｐとする。また、静止位置５ａの中心点を原点Ｏｓとし、スプレッダ５の長手方向をＹ軸、短手方向をＸ軸とした直交座標を設定する。この座標系において、揺れたスプレッダ５の位置Ｐの座標値を（Ｘｓ，Ｙｓ）とする。
【００２６】
なお、スプレッダ５の位置Ｐは、当該スプレッダ５の静止状態において原点Ｏｓと同一点である。
また、図３では、距離Ｄを分かりやすく示すためにランドマーク９ａ，９ｂを円形状に表しているが、ランドマーク９ａ，９ｂの形状は図示したものに限定されない。
ランドマーク９ａ，９ｂは、図１（Ｂ）に示したように、放射状模様を有しており、各ランドマーク９ａ，９ｂの放射状模様の中心点が距離Ｄをもって離間されている。
【００２７】
また、図３（Ｂ）に示した画像２０において、破線で示した静止位置５ａの中心点を原点Ｏｃとし、画像２０の中のスプレッダ５の長手方向をｙ軸、短手方向をｘ軸とした直交座標を設定する。この座標系において、画像２０中におけるスプレッダ５の位置Ｐの座標を（ｘｓ,ｙｓ）とする。また、画像中のランドマーク９ａの座標を（ｘ１，ｙ１）、ランドマーク９ｂの座標を（ｘ２，ｙ２）とする。また、画像中のランドマーク９ａとランドマーク９ｂとの間の距離をｄとする。
【００２８】
前述の原点Ｏｓは、トランスファクレーン１のスプレッダ５が静止した状態において予め設定されている。また、カメラ８は、前述のようにトローリー４に固定されているので、画像２０において静止状態のスプレッダ５に設定される原点Ｏｃも、予め画像２０の中の所定の位置に設定されるものである。
画像処理部７は、例えば記憶手段１４に、予め画像２０の中における原点Ｏｃの位置を記憶させておき、演算処理手段１２などが後述する画像処理を行う際には、記憶手段１４に記憶されている原点Ｏｃを使用する。
【００２９】
図４（Ａ）は、画像処理部７がスプレッダ５の位置を計測するときに用いる各値を示している。図４（Ａ）に示した直交座標は、Ｘ軸およびＹ軸に関して、図３（Ａ）に示した座標系と同様に設定されている。
図４（Ａ）において、原点Ｏｓは、トローリー４の例えば下端面に設定されており、前述のＸ軸とＹ軸によって形成されるＸ−Ｙ平面に直交するＺ軸が設定されている。また、図４（Ｂ）は、図４（Ａ）に示した各部のＺ軸方向における配置関係を抽出し、各部の間の距離等を表している。
【００３０】
ここで、図４（Ａ）に破線で示した画像平面２０ａは、カメラ８の受光素子面の位置を表し、焦点Ｆｏは、カメラ８の撮像焦点の位置を表している。画像平面２０ａから焦点Ｆｏまでの距離をｆとする。また、原点Ｏｓ即ちトローリー４から焦点Ｆｏまでの距離をＺｃとする。また、焦点Ｆｏからスプレッダ５即ち位置Ｐまでの距離をｈとする。また、原点Ｏｓからスプレッダ５即ち位置Ｐまでの距離をＺｓとする。換言すると、位置ＰのＺ軸方向の座標値はＺｓとなる。
【００３１】
画像処理部７の演算処理手段１２は、図３に示したスプレッダ５の揺れによる変位を演算によって求める。
カメラ８が撮像した画像は画像入力手段１１によって所定の様式の画像データに変換される。この画像データを入力した演算処理手段１２は、図３（Ｂ）に示した画像２０の中に含まれているランドマーク９ａ，９ｂの各座標値を、後述するテンプレートマッチング処理によって求める。なお、上記のランドマーク９ａ，９ｂの座標値は、各ランドマークの放射状模様の中心点の座標値であり、具体的には、図３（Ｂ）に示したランドマーク９ａの座標値（ｘ１，ｙ１）とランドマーク９ｂの座標値（ｘ２，ｙ２）である。
画像２０における座標値（ｘ１、ｙ１）および座標値（ｘ２、ｙ２）を求めた後、当該画像２０の中における距離ｄを次の式（１）を用いて求める。
【００３２】
【数１】
【００３３】
演算処理手段１２は、距離ｄを求めた後、次の式（２）を用いて画像２０の中のスプレッダ５の位置を求める。詳しくは、画像２０に写り込んでいる、揺れて変位したスプレッダ５の中心点、即ち画像２０の中に含まれている位置Ｐの座標値（ｘｓ，ｙｓ）を求める。
【００３４】
【数２】
【００３５】
図３（Ａ）に示した距離Ｄは、実物のスプレッダ５の上面に付設されているランドマーク９ａとランドマーク９ｂとの間隔であり、予め定められている数値である。そこで、スプレッダ５の位置計測処理において、予め距離Ｄの値を記憶手段１４等に記憶させておく。演算処理手段１２は、適宜、記憶手段１４から距離Ｄの値を読み出して演算に用いる。
【００３６】
前述の式（２）により、画像２０の中における距離ｄが求められると、予め実際の距離Ｄが分かっているので、画像２０の中に写っているスプレッダ５の座標値（ｘｓ，ｙｓ）から、実際のスプレッダ５の位置を表す座標値（Ｘｓ，Ｙｓ）を求めることができる。
上述の説明は、図３（Ａ）ならびに図４（Ａ）に示した座標系においてＸ方向およびＹ方向の座標値に関するものであるが、Ｚ方向の座標値、即ち、スプレッダ５が実際に位置する高さに関しても、演算によって求めることができる。
【００３７】
予め、カメラ８の焦点Ｆｏおよび受光素子即ち画像平面２０ａの位置が分かっている。即ち、図４に示した距離ｆ、座標値Ｚｃは、予め定められている値である。距離ｆならびに座標値Ｚｃの各値を、記憶手段１４に予め記憶させておく。
演算処理手段１２は、記憶手段１４に記憶されている距離Ｄ、距離ｄ、距離ｆ、座標値Ｚｃを用いて、次の式（３）の演算を行い、スプレッダ５の実際の位置を示す座標値（Ｘｓ，Ｙｓ，Ｚｓ）を求める。なお、図４に示した距離ｈは、式（３）に含まれている（Ｄ／ｄ）×ｆに該当する。
【００３８】
【数３】
【００３９】
このように画像処理部７は、三角測量を用いてスプレッダ５の位置Ｐを求める。ここで説明した位置Ｐの座標値は、揺れているスプレッダ５の位置情報である。位置Ｐの座標値（Ｘｓ，Ｙｓ，Ｚｓ）等を表すデータは、出力処理手段１３によって所定のデータ様式に変換され、例えば、前述の制御機構部等へ出力される。
【００４０】
［画像中のランドマークの位置を求める処理動作］
画像処理手段１２による、画像２０に含まれているランドマーク９ａ，９ｂの位置を求める処理動作を説明する。
画像処理手段１２は、ベクトル符号相関法を用いて画像の明暗または濃淡の変化を検出する。
ベクトル符号相関法は、注目画素の周辺８画素について輝度変化の傾きを符号化するものであり、このような符号化を例えば撮像した画像に対して行い、さらに符号化した画像と予め用意されているテンプレートとの相関を演算によって求めるものである。
上記のテンプレートは、所定の画像パターンをベクトル符号化したデータである。
【００４１】
図５は、第１の実施形態による位置計測装置の処理動作を示す説明図である。この図は、画像処理部７へ入力された画像の一部分を符号化する処理を示している。
例えば、図５の図中左側に示した画素ｂを注目画素としたとき、画素ｂの周辺８画素を抽出する。これらの画素は、例えば輝度を表す０〜２５５の値を有している。上記の画素ｂおよび周辺画素の９画素をＰｒｅｗｉｔｔフィルタにより処理する。
【００４２】
Ｐｒｅｗｉｔｔフィルタは、図５の中央上段に示した画像の横方向のフィルタと、図５の中央下段に示した縦方向のフィルタとからなるものである。具体的なフィルタリング処理は、上記の９個の画素値に横方向のフィルタである係数行列を乗算し、その値、即ち注目画素ｂの横方向の傾きを求める。また、上記の９個の画素値に縦方向のフィルタである係数行列を乗算し、その値、即ち前述の注目画素ｂの縦方向の傾きを求める。
【００４３】
このようにして求めた横方向の傾き（図中“−６８”と記載した値）、および、縦方向の傾き（図中“６８”と記載した値）を各々所定の閾値と比較する。この閾値は、上記の各傾きを、例えば、“正の傾き”、“傾きなし”、“負の傾き”に分類する、適当な二つの値である。これらの閾値と上記の各傾きとを比較し、比較結果に応じて三つの値に符号化する。具体的には、“正の傾き”を「０１」、“傾きなし”を「００」、“負の傾き”を「１０」として、２ビットで表現される符号に変換する。このようにして画像の所定部分のベクトル符号を求める。
【００４４】
図６は、第１の実施形態による位置計測装置の処理動作を示す説明図である。この図は、各画素の傾きをベクトル符号化して、カメラ８からの入力画像とテンプレートとの相関を求める処理を示している。
カメラ８が撮像した画像は、前述のように演算処理手段１２によってベクトル符号化が行なわれる。また、記憶手段１４に記憶されているテンプレートも、前述のようにベクトル符号化されたものである。
なお、テンプレートは、例えば図１（Ｂ）に破線で示した部分Ｔに対応するデータであり、ランドマーク９の放射状模様の中心部分を表している。
【００４５】
演算処理手段１２は、図６に示したベクトル符号化された部分画像とテンプレートとのＸＯＲ（ｅｘｃｌｕｓｉｖｅ ｏｒ）を求めて画素毎のマッチングを検出する。
カメラ８が撮像した画像を前述のように処理した部分画像の各ベクトル符号とテンプレートの各ベクトル符号との排他的論理和（ＸＯＲ結果）を求め、図６の図中右下側に例示した同値関係テーブルを用いて前述のＸＯＲ結果の相違度を求める。
なお、上記の同値関係テーブルは、例えば記憶手段１４に記憶されており、演算処理手段１２が適宜参照可能なように、画像処理部７の内部に備えられている。
【００４６】
演算処理手段１２は、前述のようにして各画素における相違度を表す値を求め、さらに、これらの値の総和を求める。この相違度の総和が、前述の部分画像とテンプレートとの相違度を表す値である。
演算処理手段１２は、順次異なる部分画像と、前述のテンプレートとの相違度を求め、相違度が所定の値よりも小さくなった部分画像を探す。相違度が小さい部分画像があったとき、当該部分画像の座標値を求める。
【００４７】
ここで使用したテンプレートは、前述のようにランドマーク９の中心部分を表したものである。そのため、相違度が小さい部分画像にはランドマーク９ａあるいはランドマーク９ｂの中心部分が写っている可能性が高い。即ち、この部分画像の座標値が、ランドマーク９ａの座標値（ｘ１，ｙ１）、あるいはランドマーク９ｂの座標値（ｘ２，ｙ２）であると考えられる。
このように、演算処理手段１２は、カメラ８が撮像した画像２０の中から、当該画像２０の画素を単位として、ランドマーク９ａ，９ｂの放射状模様の中心部分を探し出し、当該中心部分の座標値を求める。
【００４８】
図１３（Ｂ）に示した同心円状模様のランドマーク１０９を用いて前述のような相関を求めて位置計測を行った場合と、前述のように放射状模様のテンプレート９を用いて位置計測を行った場合とを比較する。
【００４９】
図７〜図１０は、第１の実施形態による位置検出装置が画像から検出したランドマークの位置を示す説明図である。
図７および図８は、スプレッダ５の高さ即ちランドマークの位置を、図４に示したＺ軸方向に沿って変化させ、各高さにおいて静止状態のスプレッダ５もしくはランドマークを撮像したときの当該撮像画像中のランドマークの位置を示している。
詳しくは、図７，８は、スプレッダ５の実際の高さと、この高さにおいて撮像された画像中のランドマークの位置との関係を表したグラフであり、ランドマークの位置を、図３に示した座標系のｘ軸方向の位置と、ｙ軸方向の位置とに分けて表している。
【００５０】
また、図７および図８のグラフは、縦軸がカメラ８の撮像した画像においてランドマークが検出された位置の画素［ｐｉｘｅｌ］を表し、横軸がスプレッダ５の高さ、即ちカメラ８が設置されたトローリー４とランドマークとの間の距離［ｍｍ］を表している。
なお、ここでグラフに例示した高さは、図１等に示したトランスファクレーン１におけるスプレッダ５の実際の高さであるとは限らない。
【００５１】
図７は、スプレッダ５に図１３（Ｂ）に示したランドマーク１０９を付設し、これをカメラ８にて撮像して、画像処理部７が画像中のスプレッダ５の位置を検出したときの検出結果を示すグラフである。
図７（Ａ）は、スプレッダ５の高さを変化させたとき、即ち図４に示したＺ軸方向にランドマーク１０９の位置を変化させたときの、画像中のｘ軸方向の検出位置を示したグラフである。図７（Ａ）の横軸は、スプレッダ５の高さ、即ちランドマークのＺ軸方向の実際の位置であり、縦軸は、撮像した画像中のランドマーク１０９のｘ軸方向の検出位置である。
図７（Ｂ）は、同様にスプレッダ５の高さを変化させたときの、画像中のｙ軸方向の検出位置を示したグラフである。図７（Ｂ）の横軸は、図７（Ａ）と同様にスプレッダ５の高さであり、縦軸は、撮像した画像中のランドマーク１０９のｙ軸方向の検出位置である。
【００５２】
カメラ８の撮像性能等が影響し、カメラ８とランドマーク１０９との間が、ある程度の距離になると、画像中の同心円状模様が適当な大きさとなるように撮像することが難しくなる。換言すると、図１３（Ｂ）に破線で示した部分Ｔに、同心円状模様が好適に含まれている画像が得られなくなる。なお、上記の部分Ｔは、後述するテンプレートとの相関を求める部分である。
【００５３】
上記のように同心円状模様が適当な大きさに撮像されていない画像に対してベクトル符号相関法による処理を行い、図示を省略した同心円状模様に対応するテンプレートとの相関を求めると、当該ランドマーク１０９の中心部分を正確に検出することが困難になる、
そのため、図７（Ａ）および図７（Ｂ）に示したように、実際のランドマーク１０９は静止状態であっても、画像中から検出されるランドマーク１０９の位置が一定にならず、不安定になる場合がある。
【００５４】
図８は、スプレッダ５に図１（Ｂ）に示したランドマーク９を付設し、これをカメラ８にて撮像して、画像処理部７がスプレッダ５の位置を検出したときの検出結果を示すグラフである。
図８（Ａ）は、スプレッダ５の高さを変化させたとき、即ち図４に示したＺ軸方向にランドマーク９の位置を変化させたときの、画像中のｘ軸方向の検出位置を示したグラフである。図８（Ａ）の横軸は、スプレッダ５の高さ、即ちランドマーク９のＺ軸方向の実際の位置であり、縦軸は、撮像した画像中のランドマーク９のｘ軸方向の検出位置である。
図８（Ｂ）は、同様にスプレッダ５の高さを変化させたときの、ｙ軸方向の検出位置を示したグラフである。図８（Ｂ）の横軸は、図８（Ａ）と同様にスプレッダ５の高さであり、縦軸は、撮像した画像中のランドマーク９のｙ軸方向の検出位置である。
【００５５】
放射状模様のランドマーク９を、ベクトル符号相関法により画像処理した場合には、前述のように撮像画像の画素単位で位置を特定し、当該放射状模様の中心部分を検出することが可能である。図８（Ａ）および図８（Ｂ）に示したように、ランドマーク９が実際に静止しているときには、画像中から検出したランドマーク９の位置も一定となる。
【００５６】
図９および図１０は、スプレッダ５の高さ、即ちランドマークの位置を図４に示したＺ軸方向に沿って変化させ、各高さにおいて揺れているスプレッダ５もしくはランドマークを撮像したとき、当該撮像した画像中のｘ軸方向またはｙ軸方向のランドマークの位置を示している。
【００５７】
図９は、スプレッダ５に同心円状模様のランドマーク１０９を付設し、これをカメラ８にて撮像して、画像処理部７が検出したスプレッダ５の揺れを示すグラフである。
図９（Ａ）は、スプレッダ５の揺れに応じて画像から検出されるｘ軸方向のランドマーク１０９の位置を示すグラフである。
図９（Ｂ）は、スプレッダ５の揺れに応じて画像から検出されるｙ軸方向のランドマーク１０９の位置を示すグラフである。
図１０（Ａ）は、スプレッダ５の揺れに応じて画像から検出されるｘ軸方向のランドマーク９の位置を示すグラフである。
図１０（Ｂ）は、スプレッダ５の揺れに応じて画像から検出されるｙ軸方向のランドマーク９の位置を示すグラフである。
【００５８】
図９および図１０に示された計測結果から、画像処理部７によるランドマークの検出処理には、放射状模様のランドマーク９を用いた場合と同心円状模様のランドマーク１０９を用いた場合とでは大きな差異が生じないことがわかる。換言すると、図４に示したカメラ８の撮像平面２０ａに平行なスプレッダ５の揺れ、もしくはランドマークの移動について、ランドマーク９を用いた場合の位置計測とランドマーク１０９を用いた場合の位置計測とは、同様な精度で行うことが可能である。
【００５９】
このように、ベクトル符号相関法を用いた位置計測を行う場合には、放射状模様のランドマーク９を用いると、同心円状模様のランドマーク１０９を用いた場合に比べて、スプレッダ５の高さについて安定した計測結果が得られることがわかる。即ち、画像処理部７は、ランドマーク９をスプレッダ５などの計測対象物に付設したとき、カメラ８が設置されたトローリー４の撮像位置と計測対象物との間の距離を、より正確に計測することができる。また、撮像した画像から、より正確なスプレッダ５の位置を計測することができる。
【００６０】
図１１は、第１の実施形態による位置計測装置の動作を示す説明図である。この図は、カメラ８が撮像した画像中のランドマーク９を示したものである。
図１１（Ａ）は、例えば照明装置等を用いてランドマーク９の周囲を通常の明るさとして撮像した場合の画像中のランドマーク９である。換言すると、カメラ８の撮像性能に適合した明るさの周辺環境において撮像した画像である。
図１１（Ｂ）は、上記の照明装置等による照明光が無い状態で撮像した場合の画像中のランドマーク９であり、例えば照明光のない屋内で撮像した画像である。
図１１（Ｃ）は、例えば、図１１（Ａ）に示したように撮像される通常の明るさを有する照明装置に追加照明装置を加えて、相当に明るい状態で撮像した場合の画像中のランドマーク９であり、放射状模様の中心部分に若干のハレーションが生じている。
【００６１】
画像処理部７は、前述のようにベクトル符号相関法を用いてランドマーク９の位置を検出しており、図１１に示した各画像においても、同様に画像中のランドマーク９の位置、詳しくはランドマーク９の中心部分の座標値を十分な精度で検出することが可能である。
具体的には、例えば図１のスプレッダ５に付設されたランドマーク９を撮像する際に、トランスファクレーン１に備えられている、図示を省略した照明装置等を用いてスプレッダ５を照らした場合でも、安定した位置計測を行うことが可能である。
【００６２】
トランスファクレーン１が稼働することによって前述の照明装置からの照射光が何らかの構造物によって遮られ、スプレッダ５の上面においてランドマーク９の周辺の明るさが変化する場合がある。
画像処理部７の演算処理手段１２は、画像の明るさの変動に対して頑健なベクトル符号相関法を用いてカメラ８からの画像データを処理しているので、上記のように撮像を行っている際にランドマーク９を照らし出す明るさが変化したときでも、精度よくランドマーク９の位置を検出することができる。
【００６３】
図１２は、第１の実施形態による位置検出装置の検出結果を示す説明図である。この図は、図１１（Ａ）〜（Ｃ）に例示した各画像から求めた位置と、実際の位置との間にずれが発生する頻度を示したグラフである。図１２には、図１１（Ａ）の画像に対応する“通常の照明におけるランドマーク検出時の誤差”、図１１（Ｂ）の画像に対応する“照明のない状態におけるランドマーク検出時の誤差”、および図１１（Ｃ）の画像に対応する“追加照明におけるランドマーク検出時の誤差”の各分布を示している。
【００６４】
図１２に示した誤差分布は、図３に示したｘ軸方向の位置検出において生じた誤差を示している。図１２の縦軸は、撮像した画像中のランドマーク９の位置を検出する画像処理を行ったとき、誤差が含まれる頻度［％］を示しており、横軸は、上記の位置を検出する画像処理において発生した誤差の大きさを表している。なお、誤差の大きさを、画像中の画素［ｐｉｘｅｌ］を単位として表しており、誤差を含んでいない場合を“０”［ｐｉｘｅｌ］とし、この画素の位置から外れた画素数を用いて誤差分布を表している。
【００６５】
図１２に示した一例では、計測位置の誤差分布が±４［ｐｉｘｅｌ］の範囲内に収まっており、また、計測誤差の発生頻度も１［ｐｉｘｅｌ］ずれる場合が２５［％］に満たない程度である。
演算処理手段１２が、ベクトル符号相関法を用いて画像処理を行うことにより、ランドマーク９の明るさ、即ち照明装置等による照明光の有無により検出位置の誤差発生頻度が顕著に変化せず、ランドマーク９の周囲の明るさ変化の影響を抑えて位置検出処理を行うことができる。
また、上記のようにベクトル符号相関法を用いて画像処理を行うことにより、一般的な正規相関法を用いた画像処理に比べて処理時間を短縮することができる。
【００６６】
以上のように、第１の実施形態によれば、放射状模様のランドマーク９を計測対象のスプレッダ５に付設し、カメラ８が撮像したランドマーク９を含む画像から、画像処理部７がベクトル符号相関法を用いてランドマーク９の画像中の座標値を検出する。また、検出した座標値から計測対象物のスプレッダ５の高さ、もしくはカメラ８の設置位置とスプレッダ５の位置との間の距離を求めるようにした。このようにすることによって、撮像画像の画素単位でランドマーク９の位置を検出することができ、精度の高い計測を行うことができる。
【００６７】
また、画像処理部７が撮像画像中のランドマーク９を検出するとき、ランドマーク９の放射状模様のエッジを検出し、このときベクトル符号相関法による処理を行うようにした。このようにすることによって、撮像画像の各画素値の傾斜を取り扱うことから、撮像するランドマーク９の周辺の明るさが変化しても、撮像画像から精度よくランドマーク９の位置を検出することができる。
【００６８】
本実施形態では、トランスファクレーン１の上側に配設されたカメラ８により、下方に位置するスプレッダ５を撮像し、当該スプレッダ５の位置を計測する位置計測装置を説明した。本発明の位置計測装置は、上記のようなクレーンに吊り上げられたスプレッダの位置を計測することに限定されず、カメラ８の撮像方向を水平とし、当該撮像方向に配置されている計測対象物の位置を三次元的に計測することも可能である。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１の実施形態による位置計測装置の構成を示す説明図である。
【図２】第１の実施形態による位置計測装置の構成を示すブロック図である。
【図３】第１の実施形態による位置計測装置の計測動作を示す説明図である。
【図４】第１の実施形態による位置計測装置の計測動作を示す説明図である。
【図５】第１の実施形態による位置計測装置の処理動作を示す説明図である。
【図６】第１の実施形態による位置計測装置の処理動作を示す説明図である。
【図７】第１の実施形態による位置検出装置が画像から検出したランドマークの位置を示す説明図である。
【図８】第１の実施形態による位置検出装置が画像から検出したランドマークの位置を示す説明図である。
【図９】第１の実施形態による位置検出装置が画像から検出したランドマークの位置を示す説明図である。
【図１０】第１の実施形態による位置検出装置が画像から検出したランドマークの位置を示す説明図である。
【図１１】第１の実施形態による位置計測装置の動作を示す説明図である。
【図１２】第１の実施形態による位置検出装置の検出結果を示す説明図である。
【図１３】従来の位置計測装置の構成を示す説明図である。
【符号の説明】
【００７０】
１…トランスファクレーン、２…コンテナ、３…ガイド、４…トローリー、５…スプレッダ、６…ワイヤロープ、７…画像処理部、８…カメラ、９，９ａ，９ｂ…ランドマーク、１１…画像入力手段、１２…演算処理手段、１３…出力処理手段、１４…記憶手段、２０…画像、２０ａ…画像平面。
【特許請求の範囲】
【請求項１】
撮像距離によらず相似形に撮像される模様を有し、位置を計測する計測対象物に離間して付設される複数のランドマークと、
前記複数のランドマークを同一画像に撮像するように設置固定されたカメラと、
前記カメラの撮像画像から前記複数のランドマークの位置を検出し、該画像中の複数のランドマークの位置を用いて前記計測対象物の位置を演算によって求める画像処理部と、
を備える位置計測装置。
【請求項２】
前記ランドマークは、濃度の異なる複数の色を交互に配色した放射状模様を有することを特徴とする請求項１に記載の位置計測装置。
【請求項３】
前記画像処理部は、前記ランドマークの模様のエッジを検出して該ランドマークの位置を求めることを特徴とする請求項１または２に記載の位置計測装置。
【請求項４】
前記画像処理部は、ベクトル符号相関法を用いて予め設定されているテンプレートと前記画像中のランドマークとの相関を求めて該ランドマークの位置を検出することを特徴とする請求項１ないし３のいずれか一項に記載の位置計測装置。
【請求項５】
前記テンプレートは、前記ランドマークの放射状模様の中心部分に対応することを特徴とする請求項４に記載の位置計測装置。
【請求項１】
撮像距離によらず相似形に撮像される模様を有し、位置を計測する計測対象物に離間して付設される複数のランドマークと、
前記複数のランドマークを同一画像に撮像するように設置固定されたカメラと、
前記カメラの撮像画像から前記複数のランドマークの位置を検出し、該画像中の複数のランドマークの位置を用いて前記計測対象物の位置を演算によって求める画像処理部と、
を備える位置計測装置。
【請求項２】
前記ランドマークは、濃度の異なる複数の色を交互に配色した放射状模様を有することを特徴とする請求項１に記載の位置計測装置。
【請求項３】
前記画像処理部は、前記ランドマークの模様のエッジを検出して該ランドマークの位置を求めることを特徴とする請求項１または２に記載の位置計測装置。
【請求項４】
前記画像処理部は、ベクトル符号相関法を用いて予め設定されているテンプレートと前記画像中のランドマークとの相関を求めて該ランドマークの位置を検出することを特徴とする請求項１ないし３のいずれか一項に記載の位置計測装置。
【請求項５】
前記テンプレートは、前記ランドマークの放射状模様の中心部分に対応することを特徴とする請求項４に記載の位置計測装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−９１５１７（Ｐ２０１０−９１５１７Ａ）
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願番号】特願２００８−２６４０００（Ｐ２００８−２６４０００）
【出願日】平成２０年１０月１０日（２００８．１０．１０）
【出願人】（５９８１２３１３８）学校法人 創価大学 (49)
【出願人】（８００００００８０）タマティーエルオー株式会社 (255)
【Ｆターム（参考）】
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願日】平成２０年１０月１０日（２００８．１０．１０）
【出願人】（５９８１２３１３８）学校法人 創価大学 (49)
【出願人】（８００００００８０）タマティーエルオー株式会社 (255)
【Ｆターム（参考）】
[ Back to top ]