説明

マーカの検出および追跡装置

【課題】カメラからマーカまでの距離が近傍から遠方までの広範囲に変化した場合においても、画像処理によりマーカを検出し、そのマーカを追跡する装置を提供する。
【解決手段】マーカとしては、赤外光を反射する反射シート1を下地として、マーカ模様2a,2bを印刷した透明シート2を下地に貼り付けて構成するか、又は、マーカ模様の切り抜きを反射シート1に直接貼り付けて構成し、撮影部としては、マーカを撮影するカメラの前に赤外線透過フィルタを設置すると共にカメラの近傍に赤外線照明手段を設置してなり、演算処理部としては、近距離のときにはカメラにより撮影された入力画像の画像特徴量によりマーカを検出する画像特徴量方法と、遠距離においてはカメラにより撮影された入力画像の赤外光を基にマーカを追跡する赤外光方法とを切り替えて適用する演算処理を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マーカの検出および追跡装置に関する。詳しくは、画像処理によりマーカを検出し、そのマーカを追跡する装置に関するものであり、特に検出したマーカの位置と方向を計測し出力する、マーカ検出および追跡装置に関するものである。
【背景技術】
【0002】
赤外光を撮影することで対象物を検出する方法として以下の方法が提案されている。
特許文献1では、発光素子によりマーカを構成し、発光素子の点滅周期、点滅周期のパターンなどの検出によりマーカの識別を行った。このようなマーカを移動ロボットが動作する場所にランドマークとして配置し、移動ロボットの位置計測に用いた。
【0003】
特許文献2では、マーカとしての赤外光発信器を用意し、白黒CCDカメラ(赤外光透過フィルタ付)により撮影した画像から、赤外光発信器の発光を検出することでマーカを検出し、人物の追跡に用いた。
【0004】
より一般的な手法として、以下のように画像特徴量を用いて既知の特定物体を認識する方法が提案されている。
即ち、非特許文献1では、各画素における輝度勾配を求め、画像の各部分の局所からSIFT特徴量と呼ばれる画像特徴量を抽出し、登録画像を局所の画像特徴量の集まりとして表現した。
さらに、この画像特徴量の照合を行い、登録画像と同じ画像特徴量が集まっている部分に対象物体が存在するとして特定物体を認識した。
【0005】
参考文献(特願2011‐126022号)では、生活環境において道路標識・案内板・看板・表札・ワッペン・背番号・ステッカー等のような対象物を示す目印が枠に囲まれている場合が多いことに注目し、枠を閉曲線として抽出し、さらに閉曲線に囲まれた内側部分の画像の輝度情報を抽出して整理し、画像特徴量を構成し、この画像特徴量同士の照合により対象物を検出した。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2006−346767号文献
【特許文献2】特開平10−13729号文献
【非特許文献】
【0007】
【非特許文献1】「”Gradientベースの特徴抽出−SIFTとHOG−”,藤吉弘亘,情報処理学会研究会報告,2007−CVIM−160,pp.211−224」
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1や特許文献2のような発光を基にマーカを検出する方法では、赤外光のみではマーカの特定ができないため、マーカそれぞれについて固有の点滅パターンを用意する必要がある。このため、マーカ側に発光させるための電源等の設置を行う必要がある。
【0009】
非特許文献1のような局所的な画像特徴量を基にマーカを検出する方法では、マーカとカメラとの距離が離れた場合、画像上でのマーカのサイズが小さくなり、さらにその局所部分は小さくなるため、局所的な画像特徴量自体の抽出が難しい。
【0010】
なお、参考文献のようなマーカ全体を囲む枠の内側の画像特徴量を基にマーカを検出する方法では、非特許文献1よりも遠方に存在するマーカを検出することはできるが、マーカ全体の模様が画像上で潰れる程の遠距離になるとマーカの検出が難しい。
【課題を解決するための手段】
【0011】
上記課題を解決する本発明の請求項1に係るマーカの検出および追跡装置は、マーカと、該マーカを撮影する撮影部と、該撮影部により撮影された画像を演算処理する演算処理部とからなるマーカの検出および追跡装置において、
前記マーカとしては、赤外光を反射する反射シートを下地として、マーカ模様を印刷した透明シートを前記下地に貼り付けて構成するか、又は、マーカ模様の切り抜きを前記下地に直接貼り付けて構成し、
前記撮影部としては、前記マーカを撮影するカメラの前に赤外線透過フィルタを設置すると共に前記カメラの近傍に赤外線照明手段を設置してなり、
前記演算処理部としては、前記マーカと前記カメラの距離が近距離のときには前記カメラにより撮影された入力画像の画像特徴量により前記マーカを検出する画像特徴量方法と、前記マーカと前記カメラとの距離がある程度離れた遠距離においては前記カメラにより撮影された入力画像の赤外光を基に前記マーカを追跡する赤外光方法とを切り替えて適用する演算処理を行うことを特徴とする。
【0012】
上記課題を解決する本発明の請求項2に係るマーカの検出および追跡装置は、請求項1記載のマーカ検出および追跡装置において、前記演算処理部は、前記特徴量法と前記赤外光法とを切り替える距離の閾値について、前記画像特徴量方法から前記赤外光方法へ切り替える際の距離の閾値と、前記赤外光方法から前記画像特徴量方法へ切り替える際の距離の閾値とを別々に持ち、前者の閾値が後者の閾値よりも大きな値であることを特徴とする。
【0013】
上記課題を解決する本発明の請求項3に係るマーカの検出および追跡装置は、請求項1又は2記載のマーカ検出および追跡装置において、前記演算処理部は、前記マーカの画像上位置と画像上の大きさを基に入力画像上で前記マーカを囲む画像軸に平行な矩形範囲を設定し、前記マーカを囲む画像上の矩形範囲及び前記マーカの実寸を基にマーカの実空間上の位置と方向を算出することを特徴とする。
【0014】
上記課題を解決する本発明の請求項4に係るマーカの検出および追跡装置は、請求項1,2又は3記載のマーカ検出および追跡装置において、前記演算処理部は、
画像特徴量抽出用のパラメータ・二値化閾値・カメラパラメータ・距離閾値等の各パラメータを設定する処理設定部と、
前記撮像部から画像データを入力し記憶部へ保管する画像データ入力部と、
現在のマーカ位置に応じて次回フレームでのマーカ検出方法として、前記特徴量方法又は前記赤外光方法を切り替えるマーカ検出方法選択部と、
前記撮像部から入力された入力画像から画像特徴量を抽出する画像特徴量抽出部と、
基準画像から抽出した画像特徴量と入力画像から抽出した画像特徴量との照合を行い、入力画像におけるマーカ有無を判断する画像特徴量照合部と、
画像特徴量の照合結果を基にマーカの画像上位置を検出する画像特徴量によるマーカ位置検出部と、
画像特徴量の照合結果を基にマーカの画像上の大きさを検出する画像特徴量によるマーカ大きさ検出部と、
画像特徴量の照合結果を基に検出したマーカの画像上位置とマーカの画像上の大きさを基に、マーカを囲む矩形範囲を設定するマーカ矩形範囲設定部と、
前記撮像部から入力された入力画像を二値化し二値画像を作成する二値画像作成部と、
二値画像中から白部分の塊を抽出する塊抽出部と、
塊に外接する画像軸に平行な矩形範囲を設定する塊矩形範囲設定部と、
検出した塊の中から、塊の矩形範囲を基にマーカに相当する塊を検出するマーカ塊検出部と、
マーカに相当する塊について、マーカの画像上位置および画像上の大きさを検出し、マーカに相当する塊の矩形範囲をマーカの矩形範囲として設定する二値化によるマーカ位置マーカ大きさ検出部と、
マーカの位置や矩形範囲を示す矩形の頂点位置等の位置データを画像上から撮像素子平面上へ座標変換して、撮像素子平面上の位置を求める画像上から撮像素子平面上への座標変換部と、
マーカの撮像素子平面上の位置および矩形範囲を基に、マーカの実空間上の位置と方向を算出するマーカ方向および位置算出部と、
各種データの保管を行う前記記憶部と、
マーカ有無・マーカの実空間上の位置や方向のマーカ検出結果を外部へ出力するデータ出力部と、
から構成することを特徴とする。
【発明の効果】
【0015】
本発明の請求項1に係るマーカの検出および追跡装置によれば、画像特徴量方法と赤外線方法とを併用するので、カメラからマーカまでの距離が近傍から遠方までの広範囲に変化した場合においても、赤外線照明の届く範囲であれば、安定してマーカを検出することができる。また、マーカは赤外線反射シートを下地とするので、マーカを発光させる必要がなく、マーカ側に電源を必要としない。
【0016】
本発明の請求項2に係るマーカの検出および追跡装置によれば、画像特徴量方法と赤外線方法とを切り替える際の閾値として二つの閾値を別々に有するので、画像特徴量方法と赤外線方法とが煩雑に切り替わるのを防ぐことができる。
【0017】
本発明の請求項3に係るマーカの検出および追跡装置によれば、マーカの画像上位置と画像上の大きさを基に、マーカの実空間上の位置と方向を算出することができる。
【0018】
本発明の請求項4に係るマーカの検出および追跡装置によれば、処理設定部と、画像データ入力部と、マーカ検出方法選択部と、画像特徴量抽出部と、画像特徴量照合部と、マーカ位置検出部と、画像特徴量によるマーカ大きさ検出部と、マーカ矩形範囲設定部と、二値画像作成部と、塊抽出部と、塊矩形範囲設定部と、マーカ塊検出部と、二値化によるマーカ位置マーカ大きさ検出部と、画像上から撮像素子平面上への座標変換部と、マーカ方向および位置算出部と、各種データの保管を行う前記記憶部と、マーカ有無・マーカの実空間上の位置や方向のマーカ検出結果を外部へ出力するデータ出力部とを備えるため、画像処理部は画像特徴量方法と赤外線方法とを切り替えて適用することが可能となる。
【図面の簡単な説明】
【0019】
【図1】本発明の一実施例に係る透明シートを使用したマーカの説明図である。
【図2】本発明の一実施例に係るマーカ模様の切り抜きを貼り付けたマーカの説明図である。
【図3】本発明の一実施例に係る撮影部の概略図である。
【図4】本発明の一実施例に係るマーカと撮影部により撮影される画像の説明図である。
【図5】本発明の一実施例に係るマーカの検出および追跡方法の状態遷移を示す説明図である。
【図6】本発明の一実施例に係るカメラ座標系の説明図である。
【図7】本発明の一実施例に係るマーカの検出および追跡方法のフローチャートである。
【図8】本発明の一実施例に係るマーカの検出および追跡装置のブロック図である。
【発明を実施するための形態】
【0020】
以下、本発明について、図面を参照して具体的に説明する。
【実施例1】
【0021】
本発明の基本的な考え方について、以下の実施例1に基づいて具体的に説明する。
本発明の目的は、マーカを検出してマーカの位置と方向を計測し出力する、マーカ検出および追跡装置を提供することである。
特に自動搬送車等の移動体にこの装置を搭載した場合、マーカと装置設置位置との間隔が近距離から遠距離まで大きく変動することが多い。
このような場合においても安定してマーカの位置と方向を検出することが要請される。
【0022】
そこで、本発明では、マーカとカメラとの距離が近距離において画像特徴量によりマーカを検出し、マーカとカメラとの距離がある程度離れた遠距離においては赤外光を基にマーカを追跡する。
これらの異なるマーカ検出方法を用いる場合、通常ならば装置の撮影部を別々に用意するか、切り替える必要がある。
【0023】
つまり、画像特徴量を用いる場合はマーカ上の模様を撮影するため可視光を撮影するが、赤外光を基にマーカを検出する場合は赤外光のみを撮影したいため赤外線透過フィルタを設置して可視光を除去した撮影を行う。
可視光を撮影した場合は、マーカ以外の様々な部分が画像上に明るく写るため赤外光を基にした方法ではマーカを検出することができず、赤外線透過フィルタを設置した場合マーカ上の模様が見えなくなるため画像特徴量を抽出することができない。
そこで、本発明では、これらの異なるマーカ検出方法を1つの撮影部で実現するため、マーカと撮影部において、次のような組み合わせを用いる。
【0024】
マーカとしては、図1に矢印で示すように、赤外光を反射する反射シート1を下地とし、マーカ模様2a,2bを印刷した透明シート2を下地である反射シート1に貼りつける。反射シート1は、矩形(四角形)であり、透明シート2も同様の形状である。印刷されるマーカ模様2aは、透明シート2の中心に印刷された“A” を示す文字であり、印刷されるマーカ模様2bは、反射シート1、透明シート2と同寸法の外枠である。
マーカ模様が濃淡の単純な場合は模様自身を切り取って、図2に矢印で示すように、反射シート1の下地にそのままマーカ模様の切り抜き(切り絵)3a,3bを貼り付けても良い。切り抜き3bは反射シート1と同寸法の外枠であり、切り抜き3aは切り抜き3bである外枠内に位置する文字“A”である。
なお、マーカとしては、矩形形状に限られるものではなく、他の形状であっても、位置計測の際に画像上で矩形範囲を設定すれば良い。
【0025】
撮影部としては、図3に示すように、カメラ4の前に赤外線透過フィルタ5を設置し、カメラ4の近傍に赤外線照明器6を設置したものである。
このようなマーカ構成と撮影部構成の組み合わせを用いることによって、撮影部の赤外線照明から発する赤外光を反射したマーカ(反射シート1)のみを他の部分から切り離して明るく撮影することができ、かつ、マーカの表面に貼り付けた透明フィルム2上のマーカ模様2a,2b又はその切り抜き3a,3bを撮影することができる。
例えば、図4に示すように、カメラ4の視野にマーカ10、人物20、角柱物30が入っているが、撮影した画像40上ではマーカ10のみが明るく写り、マーカ10は透明フィルム2上のマーカ模様2a,2b又はその切り抜き3a,3bが見えている。
【0026】
本発明によるマーカ検出方法は、マーカとカメラとの距離が近距離において画像特徴量によりマーカを検出し、マーカとカメラとの距離がある程度離れた遠距離においては赤外光を基にマーカを追跡する。
このように2つの異なる方法をマーカまでの距離に応じて切り替える方法を採る。画像特徴量によりマーカを検出する方法を「画像特徴量方法」と呼ぶ。また、赤外光を基にマーカを追跡する方法を「赤外光方法」と呼ぶ。距離に応じて「画像特徴量方法」と「赤外光方法」とを切り換えることに対応して、「マーカを検出する」と「マーカを追跡する」と表現を異ならせた。
【0027】
本発明によるマーカ検出および追跡方法の状態遷移を図5に示す。
図5に示すように、画像特徴量方法から開始し、マーカとカメラとの距離がある程度離れた遠距離となると赤外光方法に遷移し、赤外光方法で追跡に失敗した場合や、マーカとカメラとの距離が近距離になると画像特徴量方法に遷移する。画像特徴量方法で検出に失敗したときには、画像特徴量方法を繰り返す。画像特徴量方法、赤外光方法の何れもが停止して待機した後、画像特徴量方法から再開する。
【0028】
本発明では、2つの異なる方法を切り替える距離の閾値について2つの閾値を別々に持つ。
即ち、画像特徴量方法から赤外光方法へ切り替える際の距離の閾値(これを「近遠距離閾値」と呼ぶ)と、赤外光方法から画像特徴量方法へ切り替える際の距離の閾値(これを「遠近距離閾値」と呼ぶ)である。
本発明では、近遠距離閾値の方が遠近距離閾値よりも大きな値とする。
このような閾値の構成にすることによって、2つの異なる方法を切り替える距離の閾値の近傍において、画像特徴量方法と赤外光方法を頻繁に切り替えることを防ぐことができる。
【0029】
画像特徴量方法と赤外光方法についてそれぞれ説明する。
本発明による画像特徴量方法は、次の手順により入力画像中からマーカを検出する。
(1)マーカを予め撮影しておいた基準画像から画像特徴量を抽出しておく。
(2)入力画像から画像特徴量を抽出する。
(3)画像特徴量同士を照合する。
(4)基準画像から抽出した画像特徴量に適合する入力画像上の画像特徴量の位置をマーカの画像上位置として検出する。
(5)基準画像から抽出した画像特徴量と、入力画像上の適合した画像特徴量との大きさの比を求め、基準画像上のマーカの大きさに画像特徴量同士の大きさの比を乗じた大きさを入力画像上のマーカの大きさとして検出する。
(6)検出したマーカの画像上位置と画像上の大きさを基に、入力画像上でマーカを囲む画像軸に平行な矩形範囲を設定する。
ここで、画像特徴量方法においては、透明フィルム2上のマーカ模様2a,2b又はその切り抜き3a,3bが画像特徴量として抽出されるため、画像特徴量の抽出方式として、参考文献を用いることができる。即ち、マーカ全体を囲む枠の内側の画像特徴量を基にマーカを検出することができ、具体的には、枠を閉曲線として抽出し、さらに閉曲線に囲まれた内側部分の画像の輝度情報を抽出して整理し、画像特徴量を構成する。更には、抽出された閉曲線に外接する最小矩形を計算し、計算された最小矩形から画像特徴量全体の回転方向を決定し、これら最小矩形、回転方向を加えて画像特徴量として抽出する。
また、非特許文献1の方法により局所的な画像特徴量を検出し、基準画像におけるマーカ上の局所的な画像特徴量と適合する画像特徴量が集まっている入力画像上の位置をマーカ位置として検出しても良い。
【0030】
本発明による赤外光方法は、次の手順により入力画像中からマーカを検出する。
(1)入力画像を二値化し二値画像を作成する。
(2)二値画像中から白部分の塊を抽出する。明るい部分として抽出される白部分の塊は、模様2a,2b又は模様の切り抜き3a,3bにより遮られなかった反射シート1の部分である。
(3)抽出した塊に外接する画像軸に平行な矩形範囲を設定する。このようにして設定される矩形範囲は、透明フィルム2上の外枠であるマーカ模様2b又は切り抜き3bの内側の領域である。
(4)前回フレームで検出したマーカを囲む矩形範囲と重なっている塊の矩形範囲を選出する。
(5)選出した矩形範囲がマーカであるか否かを判断する。
判断としては、次の検査を行う。即ち、前回フレームで検出したマーカを囲む矩形範囲の面積に対する選出した矩形範囲の面積の比が、予め設定した閾値範囲内であることである。ここで選出した矩形範囲が複数個ある場合は、前回フレームで検出したマーカを囲む矩形範囲の面積に最も近い矩形範囲をマーカとして判断する。
(6)選出した矩形範囲がマーカであると判断した場合、選出した矩形範囲の位置と大きさを、マーカの画像上位置および画像上の大きさとして検出する。
(7)選出した矩形範囲をマーカを囲む矩形範囲として設定する。
【0031】
画像上でマーカを検出した後は、実空間上のマーカの位置と方向を算出する。
図6に示すように、レンズ焦点に原点を、カメラ光軸上にX軸を、鉛直上向きにz軸を持つようなカメラ座標系を設定する。
また、マーカ位置の計算を簡単にするため、マーカに回転が無くカメラと正対している、つまり、カメラの光軸に対してマーカは垂直であると仮定する。但し、このような仮定が成立しない場合でも、つまりカメラの光軸に対してマーカが多少傾いていても、実空間上のマーカの位置と方向を概算的に求めることが可能である。
さらに、マーカの画像上位置から撮像素子平面上へ変換した位置を(xi,yi
とする。
カメラ座標系原点からマーカを見た際の仰角θと方位角ψは次式で求められる。
θ=tan-1(yi/f)
ψ=tan-1(xi/f)
【0032】
カメラ座標系上におけるマーカの位置は次のように求められる。
マーカの実寸の対角線長さをDOとし、撮像素子平面上に投影されたマーカの対角線長さをdとする。レンズ焦点距離をfとし、カメラ座標系原点からマーカの実位置のx軸成分X(=L)は、次の比例関係が成り立つ。
O:X=d:f
よってマーカまで位置のx軸成分Xは次式で求められる。
X=(DO/d)xf
次にy軸成分Yとz軸成分Zはマーカまで位置のx軸成分Xとマーカの方向を示す角度を用いて、次式で求められる。
Y=Xtan(ψ)
Z=Xtan(θ)
【0033】
本発明では、マーカの実空間上での位置と方向を次の手順により算出する。
(1)検出したマーカの画像上位置と矩形範囲を撮像素子平面上でのマーカの位置と矩形範囲へ変換する。
(2)マーカの画像素子平面上での位置を基にマーカの方向を示す角度を算出する。
(3)マーカの矩形範囲の対角線長さとマーカの方向を基にマーカの実空間上の位置を算出する。
尚、撮像素子平面上に変換することなく、検出したマーカの画像上の位置と矩形範囲からマーカの実空間上の位置と矩形範囲を直接に求めることも可能である。また、実施例として、マーカは、図1,図2に示すように、矩形の反射シート1上に外枠としてマーカ模様2b、切り抜き3bを設けたものであったが、それ以外の形状であっても、大まかなマーカの方向と位置とを求めることは可能である。
【実施例2】
【0034】
実施例2として、本発明に係るマーカ検出および追跡装置の演算処理部を図8に示す。
図8に示すように、演算処理部は、処理設定部100、画像データ入力部110、マーカ検出方法選択部120、画像特徴量抽出部130、画像特徴量照合部140、画像特徴量によるマーカ位置検出部150、画像特徴量によるマーカ大きさ検出部160、マーカ矩形範囲設定部170、二値画像作成部180、塊抽出部190、塊矩形範囲設定部200、マーカ塊検出部210、二値化によるマーカ位置マーカ大きさ検出部220、画像上から撮像素子平面上への座標変換部230、マーカ方向および位置算出部240、記憶部250、データ出力部260から構成する。
【0035】
処理設定部100では、画像特徴量抽出用のパラメータ・二値化閾値・カメラパラメータ・距離閾値等の各パラメータを設定する。
画像データ入力部110では、撮像部から画像データを入力し記憶部250へ保管する。
マーカ検出方法選択部120では、現在のマーカ位置に応じて次回フレームでのマーカ検出方法を選択し、画像特徴量抽出部130、画像特徴量照合部140、画像特徴量によるマーカ位置検出部150、画像特徴量によるマーカ大きさ検出部160、マーカ矩形範囲設定部170、二値画像作成部180、塊抽出部190、塊矩形範囲設定部200、マーカ塊検出部210、二値化によるマーカ位置マーカ大きさ検出部220へマーカ検出指令を出力する。
画像特徴量抽出部130では、入力画像から画像特徴量を抽出する。
【0036】
画像特徴量照合部140では、基準画像から抽出した画像特徴量と入力画像から抽出した画像特徴量との照合を行い、入力画像におけるマーカ有無を判断する。
画像特徴量によるマーカ位置検出部150では、画像特徴量の照合結果を基にマーカの画像上位置を検出する。
画像特徴量によるマーカ大きさ検出部160では、画像特徴量の照合結果を基にマーカの画像上の大きさを検出する。
マーカ矩形範囲設定部170では、画像特徴量の照合結果を基に検出したマーカの画像上位置とマーカの画像上の大きさを基に、マーカを囲む矩形範囲を設定する。
【0037】
二値画像作成部180では、画像を二値化し二値画像を作成する。
塊抽出部190では、二値画像中から白部分の塊を抽出する。
塊矩形範囲設定部200では、塊に外接する画像軸に平行な矩形範囲を設定する。
マーカ塊検出部210では、検出した塊の中から、塊の矩形範囲を基にマーカに相当する塊を検出する。具体的には、前述した通り、前回フレームで検出したマーカを囲む矩形範囲の面積に対する選出した矩形範囲の面積の比が、予め設定した閾値範囲内であることを条件としても良いし、後述するように、前回フレームで検出したマーカを囲む矩形範囲と重なっている塊の矩形範囲を選出しても良い。
二値化によるマーカ位置マーカ大きさ検出部220では、マーカに相当する塊について、マーカの画像上位置および画像上の大きさを検出し、マーカに相当する塊の矩形範囲をマーカの矩形範囲として設定する。
【0038】
画像上から撮像素子平面上への座標変換部230では、マーカの位置や矩形範囲を示す矩形の頂点位置等の位置データを画像上から撮像素子平面上へ座標変換して、撮像素子平面上の位置を求める。
マーカ方向および位置算出部240では、マーカの撮像素子平面上の位置および矩形範囲を基に、マーカの実空間上の位置と方向を算出する。
記憶部250では、各種データの保管を行う。
データ出力部260ではマーカ有無・マーカの実空間上の位置や方向等のマーカ検出結果を外部へ出力する。
【0039】
上述した装置によれば、カメラからマーカまでの距離が近傍から遠方までの広範囲に変化した場合においても、赤外線照明の届く範囲であれば、安定してマーカを検出することができる。
本発明によるマーカ検出および追跡処理のフローチャートを図7に示す。
図7に示すように、マーカを予め撮影しておいた基準画像から画像特徴量を抽出しておき(ステップS1)、画像データ入力部110が撮像部から画像データを入力する(ステップS2)。
【0040】
次に、マーカ検出方法選択部120によりマーカ検出方法として、画像特徴量方法又は赤外光方法が選択されているか判定する(ステップS3)。
ステップS3において、画像特徴量方法が選択されていると判定されると、画像特徴量抽出部130により入力画像から画像特徴量を抽出し(ステップS4)、画像特徴量照合部140が基準画像から抽出した画像特徴量と入力画像から抽出した画像特徴量との照合を行い(ステップS5)、入力画像におけるマーカ有無を判断する(ステップS6)。
ステップS6において、マーカ無と判断されたとき、即ち、マーカ検出に成功しなかったときには、マーカ位置のリセットを行い(ステップS7)、ステップS2以降を繰り返す。
【0041】
一方、ステップS6において、マーカ有と判断されたとき、即ち、マーカ検出に成功したときには、画像特徴量によるマーカ位置検出部150により画像特徴量の照合結果を基にマーカの画像上の位置を検出し(ステップS8)、画像特徴量によるマーカ大きさ検出部160により画像特徴量の照合結果を基にマーカの画像上の大きさを検出し(ステップS9)、マーカ矩形範囲設定部170により画像特徴量の照合結果を基に検出したマーカの画像上位置とマーカの画像上の大きさを基に、マーカを囲む矩形範囲を設定する(ステップS10)。
【0042】
他方、ステップS3において、赤外光方法が選択されていると判定されると、二値画像作成部180により入力画像を二値化して二値画像を作成し(ステップS11)、塊抽出部190により二値画像中から白部分の塊を抽出し(ステップS12)、塊矩形範囲設定部200により塊に外接する画像軸に平行な矩形範囲を設定する(ステップS13)。
そして、マーカ塊検出部210により前回フレームで検出したマーカを囲む矩形範囲と重なっている塊の矩形範囲を選出し(ステップS14)、選出した矩形範囲をマーカと判断する(ステップS15)。
ステップS15にて、マーカとして判断された矩形範囲があるか否か、即ち、マーカ検出が成功したか否か判断し(ステップS16)、マーカとして判断された矩形範囲がないとき、即ち、マーカ検出に成功しなかったときには、ステップS7にてマーカのリセットを行い、ステップS2以降を繰り返す。
【0043】
逆に、マーカとして判断された矩形範囲があるとき、即ち、ステップS16にて、マーカ検出が成功したときには、二値化によるマーカ位置マーカ大きさ検出部220によりマーカに相当する塊の矩形範囲について、マーカの画像上位置および画像上の大きさを検出し(ステップS17)、マーカを囲む矩形範囲を設定する(ステップS18)。マーカを囲む矩形範囲を設定するとは、マーカに相当する塊の矩形範囲をマーカの矩形範囲として設定することである。
このようにステップS4〜S10又はS11〜S18の処理が終了して、画像特徴量方法又は赤外線方法により、マーカの矩形範囲が設定された後は、引き続き、画像上から撮像素子平面上への座標変換部230によりマーカの位置や矩形範囲を示す矩形の頂点位置等の位置データを画像上から撮像素子平面上へ座標変換して、撮像素子平面上の位置を求める(ステップS19)。
そして、マーカ方向および位置算出部240によりマーカの撮像素子平面上の位置および矩形範囲を基に、マーカの実空間上の位置と方向を算出する(ステップS20,S21)。
【0044】
その後、処理を停止すべきか否か判定し(ステップS22)、処理を停止すべきときには、終了すべきか否か判定し(ステップS23)、終了すべきでないときには、ステップS7にてマーカのリセットを行い、ステップS2以降を繰り返す一方、終了すべきときには終了する。
【産業上の利用可能性】
【0045】
本発明のマーカの検出および追跡装置は、画像処理によりマーカを検出し、そのマーカを追跡する装置として広く産業上利用可能なものである。
【符号の説明】
【0046】
1 反射シート
2 透明シート
2a,2b マーカ模様
3a,3b マーカ模様の切り抜き(切り絵)
4 カメラ
5 赤外線透過フィルタ
6 赤外線照明器
10 マーカ
20 人物
30 角柱物
40 画像
100 処理設定部
110 画像データ入力部
120 マーカ検出方法選択部
130 画像特徴量抽出部
140 画像特徴量照合部
150 画像特徴量によるマーカ位置検出部
160 画像特徴量によるマーカ大きさ検出部
170 マーカ矩形範囲設定部
180 二値画像作成部
190 塊抽出部
200 塊矩形範囲設定部
210 マーカ塊検出部
220 二値化によるマーカ位置マーカ大きさ検出部
230 画像上から撮像素子平面上への座標変換部
240 マーカ方向および位置算出部
250 記憶部
260 データ出力部

【特許請求の範囲】
【請求項1】
マーカと、該マーカを撮影する撮影部と、該撮影部により撮影された画像を演算処理する演算処理部とからなるマーカの検出および追跡装置において、
前記マーカとしては、赤外光を反射する反射シートを下地として、マーカ模様を印刷した透明シートを前記下地に貼り付けて構成するか、又は、マーカ模様の切り抜きを前記下地に直接貼り付けて構成し、
前記撮影部としては、前記マーカを撮影するカメラの前に赤外線透過フィルタを設置すると共に前記カメラの近傍に赤外線照明を設置してなり、
前記演算処理部としては、前記マーカと前記カメラの距離が近距離のときには前記カメラにより撮影された入力画像の画像特徴量により前記マーカを検出する画像特徴量方法と、前記マーカと前記カメラとの距離がある程度離れた遠距離においては前記カメラにより撮影された入力画像の赤外光を基に前記マーカを追跡する赤外光方法とを切り替えて適用する演算処理を行うことを特徴とするマーカの検出および追跡装置。
【請求項2】
請求項1記載のマーカ検出および追跡装置において、前記演算処理部は、前記特徴量法と前記赤外光法とを切り替える距離の閾値について、前記画像特徴量方法から前記赤外光方法へ切り替える際の距離の閾値と、前記赤外光方法から前記画像特徴量方法へ切り替える際の距離の閾値とを別々に持ち、前者の閾値が後者の閾値よりも大きな値であることを特徴とするマーカの検出および追跡装置。
【請求項3】
請求項1又は2記載のマーカ検出および追跡装置において、前記演算処理部は、前記マーカの画像上位置と画像上の大きさを基に入力画像上で前記マーカを囲む画像軸に平行な矩形範囲を設定し、前記マーカを囲む画像上の矩形範囲及び前記マーカの実寸を基にマーカの実空間上の位置と方向を算出することを特徴とするマーカの検出および追跡装置。
【請求項4】
請求項1,2又は3記載のマーカ検出および追跡装置において、前記演算処理部は、
画像特徴量抽出用のパラメータ・二値化閾値・カメラパラメータ・距離閾値等の各パラメータを設定する処理設定部と、
前記撮像部から画像データを入力し記憶部へ保管する画像データ入力部と、
現在のマーカ位置に応じて次回フレームでのマーカ検出方法として、前記特徴量方法又は前記赤外光方法を切り替えるマーカ検出方法選択部と、
前記撮像部から入力された入力画像から画像特徴量を抽出する画像特徴量抽出部と、
基準画像から抽出した画像特徴量と入力画像から抽出した画像特徴量との照合を行い、入力画像におけるマーカ有無を判断する画像特徴量照合部と、
画像特徴量の照合結果を基にマーカの画像上位置を検出する画像特徴量によるマーカ位置検出部と、
画像特徴量の照合結果を基にマーカの画像上の大きさを検出する画像特徴量によるマーカ大きさ検出部と、
画像特徴量の照合結果を基に検出したマーカの画像上位置とマーカの画像上の大きさを基に、マーカを囲む矩形範囲を設定するマーカ矩形範囲設定部と、
前記撮像部から入力された入力画像を二値化し二値画像を作成する二値画像作成部と、
二値画像中から白部分の塊を抽出する塊抽出部と、
塊に外接する画像軸に平行な矩形範囲を設定する塊矩形範囲設定部と、
検出した塊の中から、塊の矩形範囲を基にマーカに相当する塊を検出するマーカ塊検出部と、
マーカに相当する塊について、マーカの画像上位置および画像上の大きさを検出し、マーカに相当する塊の矩形範囲をマーカの矩形範囲として設定する二値化によるマーカ位置マーカ大きさ検出部と、
マーカの位置や矩形範囲を示す矩形の頂点位置等の位置データを画像上から撮像素子平面上へ座標変換して、撮像素子平面上の位置を求める画像上から撮像素子平面上への座標変換部と、
マーカの撮像素子平面上の位置および矩形範囲を基に、マーカの実空間上の位置と方向を算出するマーカ方向および位置算出部と、
各種データの保管を行う前記記憶部と、
マーカ有無・マーカの実空間上の位置や方向のマーカ検出結果を外部へ出力するデータ出力部と、
から構成することを特徴とするマーカの検出および追跡装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−106238(P2013−106238A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−249365(P2011−249365)
【出願日】平成23年11月15日(2011.11.15)
【出願人】(000006105)株式会社明電舎 (1,739)
【Fターム(参考)】