画像検出装置
【課題】円柱曲面上の対象画像を効率的に検出する画像検出装置を提供する。
【解決手段】所定の特徴領域を含む所定の平面状対象物が変形して所定の円柱状立体物の曲面上に巻き付くことにより、曲面上特徴領域を含む曲面上対象物として存在している、該曲面上対象物の情報を入力画像より検出する画像検出装置1を、入力画像より直線を検出し、該直線の2本同士で挟まれる領域として円柱状立体物を含む円柱領域候補を検出する円柱領域検出部10と、変形する前の特徴領域の外接矩形の所定の縦の長さ及び横の長さと、円柱状立体物の所定の半径と、特徴領域の所定の色情報とに基づいて、円柱領域候補の内部より曲面上特徴領域を検出する特徴領域検出部20と、抽出された曲面上特徴領域に基づいて曲面上対象物の位置情報を検出する対象物検出部30とを備えて提供する。
【解決手段】所定の特徴領域を含む所定の平面状対象物が変形して所定の円柱状立体物の曲面上に巻き付くことにより、曲面上特徴領域を含む曲面上対象物として存在している、該曲面上対象物の情報を入力画像より検出する画像検出装置1を、入力画像より直線を検出し、該直線の2本同士で挟まれる領域として円柱状立体物を含む円柱領域候補を検出する円柱領域検出部10と、変形する前の特徴領域の外接矩形の所定の縦の長さ及び横の長さと、円柱状立体物の所定の半径と、特徴領域の所定の色情報とに基づいて、円柱領域候補の内部より曲面上特徴領域を検出する特徴領域検出部20と、抽出された曲面上特徴領域に基づいて曲面上対象物の位置情報を検出する対象物検出部30とを備えて提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像検出装置に関し、特に、所定の円柱状立体物の曲面上に存在する所定の対象画像を検出する装置に関する。
【背景技術】
【０００２】
従来、認識対象物が写し出されたカラー画像から、道路標識や看板を認識する技術が数多く提案されている。例えば、特許文献１及び２には、カラー画像の色情報に基づいて認識対象物である標識を認識する技術が開示されている。また、特許文献３には、カラー画像の色情報、形状情報、エッジ情報に基づいて、認識対象物である標識と看板を認識する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１８５７０３号公報
【特許文献２】特開２００４−２１３１２７号公報
【特許文献３】特開２００８−２８７７３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、以上述べた従来技術では同一平面上のマークや模様を検出することを前提としており、対象画像が円柱状の立体物の曲面上に存在する場合はそもそも想定されていない。そのため、従来技術では円柱状の物体の曲面上に存在するマークや模様等の特徴領域を検出する際には検出精度に問題点があった。
【０００５】
本発明の目的は上記の従来技術の課題を解決し、例えば電柱の巻広告や柱に張られたポスター、缶のプリントやペットボトルのラベル等、円柱状の物体の曲面上に存在する対象画像を効率的に検出する画像検出装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するため、本発明は、所定の特徴領域を含む所定の平面状対象物が変形して所定の円柱状立体物の曲面上に巻き付くことにより、曲面上特徴領域を含む曲面上対象物として存在している、該曲面上対象物の情報を入力画像より検出する画像検出装置であって、前記入力画像より直線を検出し、該直線の2本同士で挟まれる領域として前記円柱状立体物を含む円柱領域候補を検出する円柱領域検出部と、前記変形する前の前記特徴領域の外接矩形の所定の縦の長さ及び横の長さと、前記円柱状立体物の所定の半径と、前記特徴領域の所定の色情報とに基づいて、前記円柱領域候補の内部より前記曲面上特徴領域を検出する特徴領域検出部と、前記抽出された前記曲面上特徴領域に基づいて前記曲面上対象物の位置情報を検出する対象物検出部とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、円柱状の物体の曲面上に存在する対象画像を効率的に検出することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の画像検出装置の機能ブロック図である。
【図２】本発明の検出対象の一例を説明する図である。
【図３】円柱領域検出部の詳細な機能ブロック図である。
【図４】円柱領域検出部における処理の例を説明する図である。
【図５】特徴領域検出部の詳細な機能ブロック図である。
【図６】外接矩形の縦横比などの利用によって曲面上特徴領域の検出判定精度を高めることを説明する図である。
【図７】本発明の検出対象の各種の例を説明する図である。
【図８】対象物検出部における、検出対象の向きの検出処理を説明する図である。
【図９】対象物検出部における、検出対象の奥行き方向への傾きの検出処理を説明する図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明を詳細に説明する。図1に本発明の画像検出装置の機能ブロック図を示す。画像検出装置1は、円柱領域検出部10、特徴領域検出部20及び対象物検出部30を備える。入力画像として、検出対象（対象物）が含まれた例えば風景などのカラー画像が円柱領域検出部10に入力される。円柱領域検出部10では、入力画像より直線を検出し、直線同士で挟まれた領域を円柱領域候補として、特徴領域検出部20に渡す。
【００１０】
特徴領域検出部20は、各円柱領域候補の内部より、各特徴領域に対して予め既知の色情報を用いて、その全体が概ね同一色で構成される領域、又は周囲を概ね同一色で囲まれる領域を曲面上特徴領域の候補として検出する。特徴領域検出部20はさらに検出された各候補より、各種の寸法情報に基づいて曲面状特徴領域として妥当なものを選別して対象物検出部30に渡す。対象物検出部30は、入力画像内での曲面上特徴領域の位置情報に基づいて、検出対象の情報（位置情報など）を検出する。
【００１１】
なお、円柱領域候補は一般に複数検出され、その各々について特徴領域検出部20での処理が行われる。特徴領域検出部20では、曲面上特徴領域が検出されなかった場合、当該円柱領域候補にはそもそも検出対象が画像として含まれていないということを意味しているので、未処理の別の円柱領域候補の処理に移る。曲面上特徴領域が検出されれば、対象物検出部30での検出処理が行われる。対象物検出部30での処理の後、未処理の円柱領域候補がまだ残っていれば、特徴領域検出部20からの処理を継続して全ての円柱領域候補について処理を行うようにしてもよい。また、対象物検出部30では検出対象が所定回数検出された時点で処理を終えるようにしてもよい。
【００１２】
図2に本発明の検出対象の一例を示す。検出対象の「元の状態」は(1)に示すような、予め１つの特徴領域として平面上での縦の長さX及び横の長さY並びに構成色情報（白色など）が既知の（例えば金属板からなる）広告である。当該検出対象は(1)に示すように、その内部にさらに例えば町名や番地の表示板として、別の特徴領域を含んでいてもよい。番地表示板としての特徴領域も、金属板全体としての特徴領域と同様に、平面上での縦の長さx及び横の長さy並びに構成色情報（緑色など）が既知である。
【００１３】
さらに図2に示すように、(1)のような色と平面上での大きさとが既知の検出対象は、平面状態から変形して、(2)のような半径r及び構成色情報（例えば灰色）が既知の所定の円柱状立体物、例えば電柱の曲面上に巻き付けられ、電柱の上方側から見た場合に(3)のようになる。そして、以下の説明では当面、入力画像からの検出対象の一例として、巻き付けられて(3)のようになっている広告をほぼ水平方向で見た(4)のような状態での広告を扱うものとする。
【００１４】
なお(4)では概ね水平かつ正面から見た状態となっているが、必ずしも正面でなくともよく、概ね水平かつある程度右または左から見た状態でもよい。また(4)のような概ね水平でなく、(3)のようなある程度上側から見た（あるいは逆に下側から見た）状態でも検出は可能である。しかし、極端に近づくことで、電柱が(3)又は(4)のような概ね平行な線としてではなく台形状に認識されるような範囲での検出は好ましくない。
【００１５】
なおまた、電柱の場合は形状がテーパー状になっていて半径rは一定ではないことがあるが、この場合、広告の寸法と共に広告の取り付け高さも既知であるものとし、当該既知の高さ付近にて近似的に一定とみなせる半径rを用いるものとする。
【００１６】
すなわち本発明において、検出対象が巻き付く円柱状立体物とは、電柱やペットボトル等のように、ある程度テーパー状であったり、一部円柱でない部分を含んでいても良く、全体的あるいは部分的に見て円柱状であると見なせる立体物であればよい。このような円柱状立体物の領域が、円柱領域候補として検出される。
【００１７】
本検出対象の一例では特に、(1)のような平面状対象物が(4)のように円柱表面上に巻き付いて曲面上対象物として存在することに伴う、元の平面状の特徴領域（平面広告及び平面番地表示板）が曲面状に変形した曲面上特徴領域を入力画像より検出することで、曲面上対象物の各種情報を検出する。当該検出の詳細については後述するが、検出原理の概要は、色情報に基づいて曲面上特徴領域の候補を求めたのち、各候補の入力画像中における各寸法が、平面状態からの整合性のある比率変化をしているか確認する、というものである。
【００１８】
すなわち入力画像にて(4)に示すように曲面上の広告（候補）の縦の長さY'および横の長さX'と、曲面上の番地表示板（候補）の縦の長さy'及び横の長さx'とを求め、それらの比率Y'/X'やy'/x'を(1)の平面状態での比率Y/Xやy/x（各寸法が既知であることより既知）と比較する。そして、所定半径rの円柱表面上に存在することによる比率の変化、すなわち見え方の変化として整合性のあるものを選択することによって検出を行う。
【００１９】
なお、検出対象の例として電柱曲面上に巻き付いている矩形広告や矩形番地板を用いたが、寸法や構成色情報が既知であれば何であってもよい。当該例は、ある地域範囲において寸法や構成色情報が統一されている可能性が高い点で、好ましい。番地板は広告内部にあるのではなく、所定の位置関係で広告から離れていてもよい。また広告は、番地板以外にさらに別の特徴領域を有していてもよい。
【００２０】
別の例として、電柱の代わりに一般に円柱状の柱であってもよいし、金属板広告の代わりに紙のポスターであってもよい。また広告の代わりに柱に描かれた模様やマークであってもよい。
【００２１】
以下、画像検出装置1の各機能ブロックの処理の詳細を説明する。図3に円柱領域検出部10の細部の機能ブロック図を示す。円柱領域検出部10は、直線抽出部101及び円柱領域作成部102を備える。直線抽出部101は、入力画像より、公知の各種の直線抽出手段を用いて直線を抽出する。なお、線分として抽出した場合には、当該線分を入力画像内を横切るまで延長して直線とする。また２つ以上の線分を延長して得られた直線同士が概ね重なる場合には、それらは１つの直線を構成しているものとみなす。
【００２２】
例えば、図4に例を示す入力画像(A1)は、電柱(ハッチを付す)を例えば歩道橋などの高所にて概ね正面から撮影し、電柱の背後に道路が写っている例である。この場合、直線抽出部101により、(B1)に示すように、電柱の両端境界線を構成する2直線L1及びL2と、背後の道路を構成する3直線L3、L4及びL5が得られる。
【００２３】
また図4の別の例の入力画像(A2)は、電柱(ハッチを付す)の背後に道路壁と、家の屋根及び壁とが写っている例である。この場合には、直線抽出部101により、(B2)に示すように、電柱の両端境界線を構成する2直線L10及びL20と、家の壁の鉛直方向境界線を構成する直線L30と、屋根の境界線を構成する直線L40及びL50と、道路壁の上端境界線を構成する直線L60とが得られる。
【００２４】
円柱領域作成部102は、抽出された直線から2本ずつの組み合わせを作り、各組み合わせにおける2本の直線で挟まれた領域を円柱領域候補とする。基本的には、当該組み合わせは全て求める。すなわち直線がn本抽出されたとすれば、n(n-1)/2通りの組み合わせが求められる。以下、これら全組み合わせの円柱領域候補のうち、例えば電柱の領域である円柱領域の候補としてより確実なものを限定して選出することで、計算量の削減効果が期待される各実施形態について説明する。
【００２５】
一実施形態では、入力画像のy軸方向に概ね平行な直線同士の組み合わせに限定する。(B1)の例ならL1とL2の組み合わせのみに、(B2)の例ならL10とL20とL30との組み合わせのみに限定される。入力画像は一般にy軸方向を鉛直方向として撮影されることが多く、その場合には電柱も入力画像において鉛直方向となるので、有効な実施形態である。
【００２６】
別の一実施形態では、2本の直線が平行でない又は交わる（の少なくとも一方に該当する）組み合わせを除外する。例えば(B1)の例なら平行でない2直線の組み合わせを除外することで、候補がL1とL2の組み合わせのみに限定される。(B2)の例なら交わる組み合わせ（または平行でない組み合わせであってもよい）を除外することで、候補がL10とL20とL30との組み合わせ又はL50とL60との組み合わせのみに限定される。電柱の両端境界線を構成する2本の直線は一般に概ね平行であるので、有効な実施形態である。
【００２７】
なお、円柱領域作成部102における2直線が概ね平行であるか平行でないかの判定は、共に2直線のなす角が所定の範囲内にあるか否か等の、所定基準を満たすか否かによって行えばよい。
【００２８】
図5に特徴領域検出部20の細部の機能ブロック図を示す。特徴領域検出部20は、色情報抽出部201、平滑化処理部202、2値化処理部203、ラベリング処理部204及び判定部205を備える。
【００２９】
色情報抽出部201は、各円柱領域候補の内部より、各特徴領域の既知の色情報を用いて、当該色情報と概ね同一色となる領域、又は周囲を概ね同一色で囲まれる領域を曲面上特徴領域の候補として検出し、平滑化処理部202に渡す。図2の例であれば、広告全体に対応する第一の曲面上特徴領域の候補を概ね白い領域として、広告内の番地表示に対応する第二の曲面上特徴領域の候補を概ね緑色の領域として検出する。
【００３０】
以下説明する平滑化処理部202、2値化処理部203及びラベリング処理部204における処理は概ね、周知の通常の領域抽出処理の通りであるが、判定部205における処理が本発明における特有のものとなる。平滑化処理部202は各曲面上特徴領域候補として抽出された所定の色特徴領域を公知の平滑化手段を用いて平滑化し、2値化処理部203に渡す。2値化処理部はこれら処理を経た画像（円柱領域候補内の画像）を2値化し、ラベリング処理部204に渡す。ラベリング処理部204は当該2値化画像にラベリング処理を行い、（色情報抽出部201での検出時と比べてノイズの影響などを除き、連結関係を確認した領域として、）曲面上特徴領域の候補を求め、判定部205に渡す。
【００３１】
判定部205は、曲面上特徴領域の候補に対して、後述の通り当該領域の形状や寸法などを基準に曲面上特徴領域であるか否かの判定を行い、条件を満たし曲面上特徴領域と判定されたものを対象物検出部30に渡す。特徴領域検出部20では以上のように、円柱領域候補の内部に作業領域を限定して色情報抽出から始まる処理を行うことで、曲面上特徴領域の検出の際の計算量を減らすと共に誤検出を防ぐことができる。
【００３２】
特徴領域検出部20では、概ね白色の広告全体の領域（第一の曲面上特徴領域）と、概ね緑色の番地表示の領域（第二の曲面上特徴領域）とのいずれか一方を検出しても、両方を検出してもよい。検出対象としての広告を精度よく検出する意味では、両方すなわち含まれる全ての曲面上特徴領域を検出することが望ましい。検出対象が当該例のように2つではなくさらに別の（曲面上）特徴領域を有していれば、それも含めて3つ以上の曲面上特徴領域を検出してもよい。
【００３３】
なお、複数の曲面上特徴領域の検出を行う場合、特徴領域検出部20は、色情報抽出部201乃至判定部205の処理をそれぞれの曲面上特徴領域に対して行う。検出対象に対して特徴領域を複数設定することで、何らかの障害物によって曲面上特徴領域が隠れてしまった場合でも、検出の再現率を高めることができる。
【００３４】
また、複数種類の曲面上特徴領域を検出する場合は、閾値以上の種類の曲面上特徴領域が検出できた場合にのみそれらを対象物検出部30に渡すようにすれば、検出対象の全体的な特徴が考慮されるので、検出精度を高めることもできる。
【００３５】
例えば対象物が図2のように広告であって、特徴領域として広告全体の白領域と番地板の緑領域との2種類が設定されているとする。この場合例えば、当該2種類の両方の曲面上特徴領域が検出された場合のみに対象物検出部30に渡すようにすることで検出精度を高めることができる。
【００３６】
なおまた、検出された曲面上特徴領域の種類数にかかわらず検出部30に検出結果を渡し、同様の閾値判断を検出部30で行うようにしてもよい。
【００３７】
なお、検出対象が電柱上の広告などであって、広告などの色特徴と共に電柱の色特徴が利用できるため、色情報抽出部201などでは特に次のような別実施形態も可能である。すなわち、内部に番地板を含む広告全体の領域を抽出する際に、逆に外側の領域である電柱の領域を、例えば概ね灰色の領域として抽出する。その場合、ラベリング処理部204では灰色領域だった領域（この時点では2値化によって白領域になっている）の内側の領域（黒領域）にラベリング処理を行う。このようにすることで、特徴領域自体が同一色で構成されていない場合においても、外側の領域が同一色で構成されていれば曲面上特徴領域として検出することができる。当該実施形態は、検出対象が電柱等の表面上に直接描かれたような模様やデザインであって、複数の分離した領域から構成されているような場合にも有効である。
【００３８】
判定部205は、検出対象の特徴領域が円柱曲面上に曲面上特徴領域として存在することによって生じる平面状特徴領域からの縦横比の変化を考慮して、曲面上特徴領域の候補を囲む外接矩形の縦横比、及び外接矩形の横幅と円柱領域候補の横幅との比、に基づいた判定を行うことで、曲面上特徴領域の候補の中からの曲面上特徴領域の検出精度を高める。
【００３９】
図6に当該判定を行う例を示す。(10)は円柱領域候補(電柱の候補)の正面に曲面上特徴領域(曲面上広告の候補)が得られている状態の一部であり、(20)は(10)に実際に広告が写っているか判定するための計算を示すための、想定される断面図である。同様に(11)は正面からずれた位置に曲面上特徴領域の候補が得られている状態の一部で、(21)はその状態から判定を行うための想定される断面図である。
【００４０】
図6において、wは平面上に存在していたときの特徴領域の外接矩形の横幅であり、(20)及び(21)に示されるように、円柱断面の円に沿った長さとなる。当該wが、円柱曲面に張り付いて曲面上特徴領域の外接矩形の横幅となった値をw'とする。(20)に示す位置関係より、外接矩形の重心Pと円柱の中心Oと画像の撮影部の位置Cとが一直線上にある場合に、w'は以下の式で表される。
w'＝2r sinθ'/2 (式1)
【００４１】
ここで、rは円柱の半径、θ'はOと曲面上特徴領域の外接矩形の両端の点A,Bの3点で表す、(20)に示すような∠AOBの角度であり、以下の式で与えられる。
θ'＝w/r (式2)
【００４２】
さらに、(11)及び(21)に示すように、曲面上特徴領域の外接矩形が円柱の正面から見えている状態からθだけ円柱の外周を回転して見えている場合、θ傾いて見えるため、図示する位置関係によって、w'は以下の式で表される。
w'＝2r sin(w/2r) cosθ (式3)
【００４３】
ここで、θは(21)に示すように、曲面上特徴領域の重心P（平面状態での外接矩形における重心P）と円柱の中心Oとを通る直線と、撮影部の位置CとOとを通る直線とのなす角を表す。θは(11)に示すように、円柱領域の中心軸と外接矩形の縦の2辺との距離の長い側をd1、短い側をd2とすると、
θ={arcsin(d1/r)+arcsin(d2/r)}/2 (式4)
として求められる。すなわち、(11)に示すような画像上での外接矩形と円筒領域との位置関係の解析から求めることができる。なお、当該縦の2辺が円柱領域の中心軸を挟むように存在する場合は、d1及びd2に対して、中心軸によって分けられるいずれの領域にあるかによって定まる符号の区別を設けるものとする。
【００４４】
また、(式4)の代わりに、重心Pが(11)に示すような画像上で（曲面上特徴領域の模様などによって）直接に識別可能ならば、次を用いてもよい。すなわち(11)に示すように、円柱領域の中心軸とPとの距離dによって、
θ＝arcsin(d/r) (式5)
として求めてもよい。
【００４５】
また、(式5)の代わりに、近似的に(11)の横幅w'縦幅hの外接矩形の重心P'（曲がっているので、Pとは異なる点となる。不図示。）の中心軸からの距離d'(＝d2+w'/2)を用いて、
θ＝arcsin(d'/r) (式6)
として求めてもよい。(式6)はw'がrに比べてある程度以上小さい場合に近似で計算を簡略化できる。
【００４６】
以上の式を利用して(A10)曲面上特徴領域の候補の外接矩形の縦横比(h/w')、及び(A20)当該外接矩形の横幅と円柱の直径の比(w'/2r)を計算し、以上の式の条件を所定の判定閾値内で満足する候補を曲面上特徴領域として検出することで、高精度に検出が可能となる。
【００４７】
すなわち、上記検出用の確認項目(A10)および(A20)は、次のように確認する。前提として、検出対象は寸法が既知であるので、円柱半径r、平面状での矩形横幅w及び縦幅hは絶対値として（例えばr=15cm, w=20cm, h=100cmなどの実際の長さの値として）既知であり、それらの比率やθ'も既知である。一方、画像上では(11)に示すように、r, w', h,及びd1,d2が(例えば画素間距離のように)画像上認識された長さとして求まる。当該画像上の長さのうち例えばr,d1及びd2を用いて、(式4)よりθが求まる。
【００４８】
(A10)当該画像上の長さのみから算出可能なθと、絶対値としてのr及びwと、を用いて式3よりw'の絶対値としての値を求める。そして、該求められた絶対値としてのw'と、予め既知の絶対値としてのhとから、絶対値同士の比率としての前記縦横比(h/w')を求め、(11)の画像上の長さ同士の比率として求まる縦横比(h/w')と概ね等しいかを確認する。
【００４９】
(A20)同様に、画像から求まるθによって式3を用いて絶対値として求められたw'と、予め既知の絶対値としてのrより、絶対値同士の比率としての比率(w'/2r)を求め、(11)の画像上の長さ同士の比率として求まる(w'/2r)と概ね等しいかを確認する。
【００５０】
以上の(A10)(A20)の両者において概ね等しいことが確認されれば、当該候補は曲面上特徴領域であるとしてよい。なお、外接矩形が円柱領域の中央付近に位置していた場合には、cosθ＝1として計算を簡略化してもよい。
【００５１】
なお、以上の図6のような考察に基づく検出を行うに際しては、外接矩形の縦幅方向が、円柱領域の高さ方向(円柱領域候補を挟む2本の直線の向きの平均方向)と平行になるよう、外接矩形を設けるものとする。また平面状での特徴領域の外接矩形の寸法も、そのような方向設定（貼り付けることになる円筒の高さ方向に縦幅を取る）において予め取得しておくものとする。
【００５２】
以上、画像上の寸法および位置が既知の値と整合性が取れているかを縦横比などから確認することによる、判定部205の実施形態を説明した。別実施形態として、曲面上特徴領域の候補に対して、その面積や円形度を判定条件とすることで形状情報を利用して検出を行うこともできる。例えば当該特徴領域（平面上で既知の領域）のモーメントを公知の技術を用いて算出し、抽出された曲面上特徴領域の各候補についてもモーメントを求め、モーメントが一致する候補を曲面上特徴領域として検出することができる。これらモーメントなどとして求まる形状情報を用いる場合も、図6で説明したのと同様に縦横比の変化や、円柱半径と矩形幅との比の変化を考慮することで、検出精度を向上させることができる。さらに、複数の判定条件を設けることで、計算量が増える代わりに精度の高い検出を行うようにすることも可能となる。
【００５３】
対象物検出部30では、曲面上特徴領域の検出結果に基づいて検出対象の位置情報を検出する。検出対象が図2の(4)のような曲面上の広告であれば、画像上で検出対象の占める領域と、白色の金属板などからなる広告全体の領域とは一致するので、当該広告全体の領域として検出された曲面上特徴領域の位置情報によって、検出対象の位置情報を検出する。位置情報は画像上で占める領域の情報として与えてもよいし、当該領域の重心のような特徴点の位置の情報として与えてもよい。また曲面上特徴領域の外接矩形を求めてから、当該矩形の位置情報や重心の位置の情報として与えてもよい。
【００５４】
図7に本発明の画像検出装置による検出対象であって、図2のような例からの変形実施形態として検出可能な例を示し、当該検出の処理についても説明する。(a)は図2の例と同様の電柱上の広告などであり、他の変形実施形態(b)や(c)との比較のために示している。すなわち、電柱を想定した円柱領域(a0)の表面上に、検出対象である広告(a1)が張り付いている。当該検出対象(a1)を検出するための曲面上特徴領域が、広告全体の白色領域(a2)と、番地板などの緑色領域(a3)である。前述のとおり、占める領域としては(a1)と(a2)とは一致する。
【００５５】
なお、(a)、(b)及び(c)のそれぞれにおいて、円柱領域(円柱領域候補)は(a0)、(b0)及び(c0)、検出対象は(a1)、(b1)及び(c1)、曲面上特徴領域は(a2),(a3)、(b2),(b3)及び(c2),(c3)である。後述する(c4)は楕円である。
【００５６】
図7の(b)は、電柱などを含む一般の柱(b0)の表面上に、検出対象として矩形点線で示したようなデザインが描かれた領域(b1)がある例である。なお点線自体は領域（デザインの外接矩形）を示すものであってデザインではないものとする。下地(b0)の色と、領域(b1)のデザイン以外の背景色とは同一である。当該領域(b1)を検出するための曲面上特徴領域が、月のデザイン(b2)と星のデザイン(b3)の領域である。これらも図2の説明と同様、色及び平面状での形状などが既知である。
【００５７】
(b)のような例の場合、対象物検出部30では領域(b2)及び(b3)の全体を囲む矩形領域を求めて、検出対象(b1)の位置情報を検出すればよい。また、領域(b2)及び(b3)のそれぞれ又はそれら領域を囲む矩形領域を求めてから、領域または矩形の重心座標に所定の関係式を適用するなどして、検出対象(b1)の位置情報を検出してもよい。
【００５８】
図7の(c)は、点線で囲んだ検出対象(c1)自体が円柱状物体(清涼飲料水の缶など)であって、円柱領域(c0)と円筒状表面を共有している例である。曲面上特徴領域(c2)及び(c3)はそれぞれ、概ね赤色の領域、概ね白色の領域である。(c2)及び(c3)は領域の全体的な色特徴に影響のない程度のデザインを有していてもよい。(c2)及び(c3)などに追加して、(b)の例のようにデザイン自体での曲面上特徴領域があってもよい。これらも図2の説明と同様、色及び平面状での形状などが既知である。
【００５９】
(c)のような例の場合、特徴領域検出部20では、特に判定部205において、曲面上特徴領域の候補のうち(c2)や(c3)のような曲面上特徴領域の判定を行うため、次のようにすることができる。すなわち、(c2)や(c3)は予め当該検出対象(c1)と円筒状側面の高さ方向境界線を共有することがわかっており、かつ(c1)は円柱領域(c0)と円筒状表面を共有している。よって、円柱領域候補を求めるに際して用いた当該領域を挟む2本の直線の上に、曲面上特徴領域を囲む矩形領域の向かい合う2辺が乗っているか否かによって判定を行うことができる。
【００６０】
さらに(c)のような例の場合、当該検出対象(c1)の底面(c4)を、特徴領域検出部20において公知の楕円検出手段を用いて楕円として検出することができる。底面(c4)は本来円形であるが、斜めに写っていることで楕円として検出される。当該楕円は、図2で説明した円柱表面上に巻き付いて変形する特徴領域とは別のものであって、特徴領域検出部20において曲面上特徴領域の検出とは別に、追加実施形態として検出されるものである。
【００６１】
すなわち、当該楕円の検出には、底面(c4)の色情報を既知として与えておけば、特徴領域検出部20の色情報抽出部201乃至ラベリング処理部204を利用して楕円の候補領域を検出し、さらに図5の不図示の機能ブロックによって形状判定を行って楕円候補として検出することができる。また、色情報抽出部201乃至ラベリング処理部204は利用せず、エッジ成分などを利用して図5には不図示の楕円検出部より楕円候補を検出してもよい。いずれの場合も、検出された楕円候補は判定部205に渡されるものとする。
【００６２】
上記検出された楕円候補に対して、判定部205では、当該候補の楕円の短径を表す直線の向きが、円柱領域候補を挟んで構成する2本の直線の向きの平均に概ね等しいもののみを、検出対象(c1)の底面を構成する楕円として判定してもよい。また、当該候補の楕円の長径が、円柱領域候補を挟む2本の直線の間を概ね横切っているもののみを、検出対象(c1)の底面を構成する楕円として判定してもよい。
【００６３】
(c)のような例の場合、対象物検出部30では、曲面上特徴領域に加えて楕円（又は楕円の外接矩形）も利用することで、検出対象(c1)の位置情報を検出する。例えば曲面上特徴領域(c2)及び(c3)と、楕円(c4)との全体を囲む矩形領域として検出対象(c1)の位置情報を求めることができる。なおまた前段階の特徴領域検出部20において、曲面上特徴領域(c2)及び(c3)と楕円(c4)との全てが検出された場合のみに、検出結果を対象物検出部30に渡すようにしてもよい。
【００６４】
さらに、缶などを想定した(c)のような例の場合の拡張として、その一部分が(c)に示すような円柱状となる検出対象についても、本発明の画像検出装置で検出することができる。これは、検出対象が巻き付く円柱状立体物が、その一部分のみが円柱状であればよいという前述の説明と同様である。
【００６５】
例えば、ペットボトルや、ペットボトルに形状の類似する瓶など、手で持つ部分のみが円柱状で、その上部は首の部分へ向けて小さくなっているような物品であっても、そのような物品自体を検出対象とすることができる。ペットボトルの場合であれば、キャップ部分を前述の楕円として検出することもできる。
【００６６】
次に、対象物検出部30において検出対象の位置情報以外の各種情報を検出する例を説明する。図8は検出対象の向きを検出する例を説明する図であり、検出対象としては図7(a)のような電柱表面上の番地板を有する広告の例が示されている。図8に示すように、広告全体の領域の重心P1と、番地板の領域の重心P2とを求めることで、P1-P2のベクトル(P1を始点としてP2を終点とするベクトル)から広告の電柱における上下方向の向きを検出することができる。この例では、矢印で示すベクトルP1-P2は電柱の上方向に向かっている。
【００６７】
なお、上記のような上下判定が行える前提として、各特徴領域同士の位置関係は、貼り付ける円柱の上下方向との関係を含めて、所定の関係が既知として与えられている、という前提がある。図8ではベクトルP1-P2がそのまま電柱の上方向を示すとした。しかし、所定の関係を与えておけば、2つの曲面上特徴領域(又はその外接矩形)の重心をつなぐベクトルは、円柱の上下方向に対して傾いて存在していてもよい。例えば図7の(b)の例では傾いたベクトルが求まる。このような場合は、円柱の上下方向と当該ベクトルとの角度が前記所定の関係より周知であるので、傾き分を補正して円柱の上下方向を求めることができる。
【００６８】
また、3種類以上の特徴領域を用いて各重心に所定の重み付けをして方向を求めてもよい。特徴領域検出部20が楕円を検出する実施形態では、上底及び下底の色特徴による区別などと共に、楕円を求めて、曲面上特徴領域の検出結果と組み合わせて方向を求めることもできる。重心としては、外接矩形の重心ではなく曲面上特徴領域の重心を用いてもよい。
【００６９】
なお、対象物検出部30では、上述のような検出対象の位置情報や向きを求めるに際して、曲面上特徴領域をそのまま用いてもよいし、外接する矩形領域を用いてもよい。外接矩形を用いると、曲面上特徴領域の一部が障害物で隠れていた場合などでも、安定して位置情報や向きを求めることができるという効果がある。曲面上特徴領域の外接矩形は、図6で説明した検出処理での外接矩形を用いればよい。検出対象の位置情報や向きを求めるに際して、楕円に関しても、そのまま用いてもよいし、楕円検出後に求める外接矩形を用いてもよい。
【００７０】
図9は、対象物検出部30が、検出対象の入力画像の面における奥行き方向への傾きを検出する例を説明する図である。特徴領域検出部20が楕円を検出する実施形態において、当該傾きの検出が可能となる。前述のように楕円は、曲面上特徴領域の存在する円筒面と垂直な底面の円に対応し、(100)に示すように入力画像において短径B0、長径A0（あるいは同じ値となる外接矩形の縦幅B0、横幅A0）として検出されている。この場合、検出対象が張り付いている円柱と、当該入力画像の撮影方向との位置関係は、入力画像の楕円(100)の写り方との関係を含めて、(200)に示す通りである。(200)では、楕円の短径を通る断面図として円柱が示されており、円柱の半径をrとすると楕円の長径A0＝2rである。
【００７１】
図9に示されている通り、円柱側面に存在する検出対象の、入力画像の面における奥行き方向の傾きφは、楕円率C0との間に
C0=sin φ
の関係がある。また、楕円率C0は前記短径B0、長径A0を用いて
C0=B0/A0
で与えられるので、奥行き方向の傾きφを求めることができる。
【００７２】
以上のように本発明の画像検出装置1は、曲面上特徴領域の検出を円柱領域候補の内部のみで行うことにより、検出対象の検出を精度良く、かつ効率的に行うことができる。
【００７３】
さらに、検出対象の特徴領域が円柱の曲面に巻きつくことで発生する曲面上特徴領域における縦横比の変化などを考慮することで、検出精度を高めることを特徴としている。本発明の画像検出装置1によれば、入力画像内から円柱状の物体の曲面上に存在する対象画像を効率的に検出することが可能になる。例えば電柱の巻広告、柱に張られた広告やポスター等が検出することが可能である。また、検出対象を検出することで円柱状の物体自体の検出も可能である。例えばラベルやデザインを検出することで清涼飲料水のボトルや缶等を検出することが可能である。
【００７４】
本発明の画像検出装置１の応用的利用としては、例えばカメラ付情報端末で電柱広告等を認識し、広告主である店舗のクーポンや店舗までの地図、口コミサイト等の情報と結びつける、あるいは当該認識対象に関連したアニメーションを画面に重畳表示するといった技術の前処理としての利用が可能である。
【００７５】
情報を重畳表示する際には検出した上下方向や奥行き方向を利用して、現実感のある重畳表示を行うといった利用も可能である。
【符号の説明】
【００７６】
1…画像検出装置、10…円柱領域検出部、20…特徴領域検出部、30…対象物検出部
【技術分野】
【０００１】
本発明は画像検出装置に関し、特に、所定の円柱状立体物の曲面上に存在する所定の対象画像を検出する装置に関する。
【背景技術】
【０００２】
従来、認識対象物が写し出されたカラー画像から、道路標識や看板を認識する技術が数多く提案されている。例えば、特許文献１及び２には、カラー画像の色情報に基づいて認識対象物である標識を認識する技術が開示されている。また、特許文献３には、カラー画像の色情報、形状情報、エッジ情報に基づいて、認識対象物である標識と看板を認識する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１８５７０３号公報
【特許文献２】特開２００４−２１３１２７号公報
【特許文献３】特開２００８−２８７７３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、以上述べた従来技術では同一平面上のマークや模様を検出することを前提としており、対象画像が円柱状の立体物の曲面上に存在する場合はそもそも想定されていない。そのため、従来技術では円柱状の物体の曲面上に存在するマークや模様等の特徴領域を検出する際には検出精度に問題点があった。
【０００５】
本発明の目的は上記の従来技術の課題を解決し、例えば電柱の巻広告や柱に張られたポスター、缶のプリントやペットボトルのラベル等、円柱状の物体の曲面上に存在する対象画像を効率的に検出する画像検出装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するため、本発明は、所定の特徴領域を含む所定の平面状対象物が変形して所定の円柱状立体物の曲面上に巻き付くことにより、曲面上特徴領域を含む曲面上対象物として存在している、該曲面上対象物の情報を入力画像より検出する画像検出装置であって、前記入力画像より直線を検出し、該直線の2本同士で挟まれる領域として前記円柱状立体物を含む円柱領域候補を検出する円柱領域検出部と、前記変形する前の前記特徴領域の外接矩形の所定の縦の長さ及び横の長さと、前記円柱状立体物の所定の半径と、前記特徴領域の所定の色情報とに基づいて、前記円柱領域候補の内部より前記曲面上特徴領域を検出する特徴領域検出部と、前記抽出された前記曲面上特徴領域に基づいて前記曲面上対象物の位置情報を検出する対象物検出部とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、円柱状の物体の曲面上に存在する対象画像を効率的に検出することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の画像検出装置の機能ブロック図である。
【図２】本発明の検出対象の一例を説明する図である。
【図３】円柱領域検出部の詳細な機能ブロック図である。
【図４】円柱領域検出部における処理の例を説明する図である。
【図５】特徴領域検出部の詳細な機能ブロック図である。
【図６】外接矩形の縦横比などの利用によって曲面上特徴領域の検出判定精度を高めることを説明する図である。
【図７】本発明の検出対象の各種の例を説明する図である。
【図８】対象物検出部における、検出対象の向きの検出処理を説明する図である。
【図９】対象物検出部における、検出対象の奥行き方向への傾きの検出処理を説明する図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明を詳細に説明する。図1に本発明の画像検出装置の機能ブロック図を示す。画像検出装置1は、円柱領域検出部10、特徴領域検出部20及び対象物検出部30を備える。入力画像として、検出対象（対象物）が含まれた例えば風景などのカラー画像が円柱領域検出部10に入力される。円柱領域検出部10では、入力画像より直線を検出し、直線同士で挟まれた領域を円柱領域候補として、特徴領域検出部20に渡す。
【００１０】
特徴領域検出部20は、各円柱領域候補の内部より、各特徴領域に対して予め既知の色情報を用いて、その全体が概ね同一色で構成される領域、又は周囲を概ね同一色で囲まれる領域を曲面上特徴領域の候補として検出する。特徴領域検出部20はさらに検出された各候補より、各種の寸法情報に基づいて曲面状特徴領域として妥当なものを選別して対象物検出部30に渡す。対象物検出部30は、入力画像内での曲面上特徴領域の位置情報に基づいて、検出対象の情報（位置情報など）を検出する。
【００１１】
なお、円柱領域候補は一般に複数検出され、その各々について特徴領域検出部20での処理が行われる。特徴領域検出部20では、曲面上特徴領域が検出されなかった場合、当該円柱領域候補にはそもそも検出対象が画像として含まれていないということを意味しているので、未処理の別の円柱領域候補の処理に移る。曲面上特徴領域が検出されれば、対象物検出部30での検出処理が行われる。対象物検出部30での処理の後、未処理の円柱領域候補がまだ残っていれば、特徴領域検出部20からの処理を継続して全ての円柱領域候補について処理を行うようにしてもよい。また、対象物検出部30では検出対象が所定回数検出された時点で処理を終えるようにしてもよい。
【００１２】
図2に本発明の検出対象の一例を示す。検出対象の「元の状態」は(1)に示すような、予め１つの特徴領域として平面上での縦の長さX及び横の長さY並びに構成色情報（白色など）が既知の（例えば金属板からなる）広告である。当該検出対象は(1)に示すように、その内部にさらに例えば町名や番地の表示板として、別の特徴領域を含んでいてもよい。番地表示板としての特徴領域も、金属板全体としての特徴領域と同様に、平面上での縦の長さx及び横の長さy並びに構成色情報（緑色など）が既知である。
【００１３】
さらに図2に示すように、(1)のような色と平面上での大きさとが既知の検出対象は、平面状態から変形して、(2)のような半径r及び構成色情報（例えば灰色）が既知の所定の円柱状立体物、例えば電柱の曲面上に巻き付けられ、電柱の上方側から見た場合に(3)のようになる。そして、以下の説明では当面、入力画像からの検出対象の一例として、巻き付けられて(3)のようになっている広告をほぼ水平方向で見た(4)のような状態での広告を扱うものとする。
【００１４】
なお(4)では概ね水平かつ正面から見た状態となっているが、必ずしも正面でなくともよく、概ね水平かつある程度右または左から見た状態でもよい。また(4)のような概ね水平でなく、(3)のようなある程度上側から見た（あるいは逆に下側から見た）状態でも検出は可能である。しかし、極端に近づくことで、電柱が(3)又は(4)のような概ね平行な線としてではなく台形状に認識されるような範囲での検出は好ましくない。
【００１５】
なおまた、電柱の場合は形状がテーパー状になっていて半径rは一定ではないことがあるが、この場合、広告の寸法と共に広告の取り付け高さも既知であるものとし、当該既知の高さ付近にて近似的に一定とみなせる半径rを用いるものとする。
【００１６】
すなわち本発明において、検出対象が巻き付く円柱状立体物とは、電柱やペットボトル等のように、ある程度テーパー状であったり、一部円柱でない部分を含んでいても良く、全体的あるいは部分的に見て円柱状であると見なせる立体物であればよい。このような円柱状立体物の領域が、円柱領域候補として検出される。
【００１７】
本検出対象の一例では特に、(1)のような平面状対象物が(4)のように円柱表面上に巻き付いて曲面上対象物として存在することに伴う、元の平面状の特徴領域（平面広告及び平面番地表示板）が曲面状に変形した曲面上特徴領域を入力画像より検出することで、曲面上対象物の各種情報を検出する。当該検出の詳細については後述するが、検出原理の概要は、色情報に基づいて曲面上特徴領域の候補を求めたのち、各候補の入力画像中における各寸法が、平面状態からの整合性のある比率変化をしているか確認する、というものである。
【００１８】
すなわち入力画像にて(4)に示すように曲面上の広告（候補）の縦の長さY'および横の長さX'と、曲面上の番地表示板（候補）の縦の長さy'及び横の長さx'とを求め、それらの比率Y'/X'やy'/x'を(1)の平面状態での比率Y/Xやy/x（各寸法が既知であることより既知）と比較する。そして、所定半径rの円柱表面上に存在することによる比率の変化、すなわち見え方の変化として整合性のあるものを選択することによって検出を行う。
【００１９】
なお、検出対象の例として電柱曲面上に巻き付いている矩形広告や矩形番地板を用いたが、寸法や構成色情報が既知であれば何であってもよい。当該例は、ある地域範囲において寸法や構成色情報が統一されている可能性が高い点で、好ましい。番地板は広告内部にあるのではなく、所定の位置関係で広告から離れていてもよい。また広告は、番地板以外にさらに別の特徴領域を有していてもよい。
【００２０】
別の例として、電柱の代わりに一般に円柱状の柱であってもよいし、金属板広告の代わりに紙のポスターであってもよい。また広告の代わりに柱に描かれた模様やマークであってもよい。
【００２１】
以下、画像検出装置1の各機能ブロックの処理の詳細を説明する。図3に円柱領域検出部10の細部の機能ブロック図を示す。円柱領域検出部10は、直線抽出部101及び円柱領域作成部102を備える。直線抽出部101は、入力画像より、公知の各種の直線抽出手段を用いて直線を抽出する。なお、線分として抽出した場合には、当該線分を入力画像内を横切るまで延長して直線とする。また２つ以上の線分を延長して得られた直線同士が概ね重なる場合には、それらは１つの直線を構成しているものとみなす。
【００２２】
例えば、図4に例を示す入力画像(A1)は、電柱(ハッチを付す)を例えば歩道橋などの高所にて概ね正面から撮影し、電柱の背後に道路が写っている例である。この場合、直線抽出部101により、(B1)に示すように、電柱の両端境界線を構成する2直線L1及びL2と、背後の道路を構成する3直線L3、L4及びL5が得られる。
【００２３】
また図4の別の例の入力画像(A2)は、電柱(ハッチを付す)の背後に道路壁と、家の屋根及び壁とが写っている例である。この場合には、直線抽出部101により、(B2)に示すように、電柱の両端境界線を構成する2直線L10及びL20と、家の壁の鉛直方向境界線を構成する直線L30と、屋根の境界線を構成する直線L40及びL50と、道路壁の上端境界線を構成する直線L60とが得られる。
【００２４】
円柱領域作成部102は、抽出された直線から2本ずつの組み合わせを作り、各組み合わせにおける2本の直線で挟まれた領域を円柱領域候補とする。基本的には、当該組み合わせは全て求める。すなわち直線がn本抽出されたとすれば、n(n-1)/2通りの組み合わせが求められる。以下、これら全組み合わせの円柱領域候補のうち、例えば電柱の領域である円柱領域の候補としてより確実なものを限定して選出することで、計算量の削減効果が期待される各実施形態について説明する。
【００２５】
一実施形態では、入力画像のy軸方向に概ね平行な直線同士の組み合わせに限定する。(B1)の例ならL1とL2の組み合わせのみに、(B2)の例ならL10とL20とL30との組み合わせのみに限定される。入力画像は一般にy軸方向を鉛直方向として撮影されることが多く、その場合には電柱も入力画像において鉛直方向となるので、有効な実施形態である。
【００２６】
別の一実施形態では、2本の直線が平行でない又は交わる（の少なくとも一方に該当する）組み合わせを除外する。例えば(B1)の例なら平行でない2直線の組み合わせを除外することで、候補がL1とL2の組み合わせのみに限定される。(B2)の例なら交わる組み合わせ（または平行でない組み合わせであってもよい）を除外することで、候補がL10とL20とL30との組み合わせ又はL50とL60との組み合わせのみに限定される。電柱の両端境界線を構成する2本の直線は一般に概ね平行であるので、有効な実施形態である。
【００２７】
なお、円柱領域作成部102における2直線が概ね平行であるか平行でないかの判定は、共に2直線のなす角が所定の範囲内にあるか否か等の、所定基準を満たすか否かによって行えばよい。
【００２８】
図5に特徴領域検出部20の細部の機能ブロック図を示す。特徴領域検出部20は、色情報抽出部201、平滑化処理部202、2値化処理部203、ラベリング処理部204及び判定部205を備える。
【００２９】
色情報抽出部201は、各円柱領域候補の内部より、各特徴領域の既知の色情報を用いて、当該色情報と概ね同一色となる領域、又は周囲を概ね同一色で囲まれる領域を曲面上特徴領域の候補として検出し、平滑化処理部202に渡す。図2の例であれば、広告全体に対応する第一の曲面上特徴領域の候補を概ね白い領域として、広告内の番地表示に対応する第二の曲面上特徴領域の候補を概ね緑色の領域として検出する。
【００３０】
以下説明する平滑化処理部202、2値化処理部203及びラベリング処理部204における処理は概ね、周知の通常の領域抽出処理の通りであるが、判定部205における処理が本発明における特有のものとなる。平滑化処理部202は各曲面上特徴領域候補として抽出された所定の色特徴領域を公知の平滑化手段を用いて平滑化し、2値化処理部203に渡す。2値化処理部はこれら処理を経た画像（円柱領域候補内の画像）を2値化し、ラベリング処理部204に渡す。ラベリング処理部204は当該2値化画像にラベリング処理を行い、（色情報抽出部201での検出時と比べてノイズの影響などを除き、連結関係を確認した領域として、）曲面上特徴領域の候補を求め、判定部205に渡す。
【００３１】
判定部205は、曲面上特徴領域の候補に対して、後述の通り当該領域の形状や寸法などを基準に曲面上特徴領域であるか否かの判定を行い、条件を満たし曲面上特徴領域と判定されたものを対象物検出部30に渡す。特徴領域検出部20では以上のように、円柱領域候補の内部に作業領域を限定して色情報抽出から始まる処理を行うことで、曲面上特徴領域の検出の際の計算量を減らすと共に誤検出を防ぐことができる。
【００３２】
特徴領域検出部20では、概ね白色の広告全体の領域（第一の曲面上特徴領域）と、概ね緑色の番地表示の領域（第二の曲面上特徴領域）とのいずれか一方を検出しても、両方を検出してもよい。検出対象としての広告を精度よく検出する意味では、両方すなわち含まれる全ての曲面上特徴領域を検出することが望ましい。検出対象が当該例のように2つではなくさらに別の（曲面上）特徴領域を有していれば、それも含めて3つ以上の曲面上特徴領域を検出してもよい。
【００３３】
なお、複数の曲面上特徴領域の検出を行う場合、特徴領域検出部20は、色情報抽出部201乃至判定部205の処理をそれぞれの曲面上特徴領域に対して行う。検出対象に対して特徴領域を複数設定することで、何らかの障害物によって曲面上特徴領域が隠れてしまった場合でも、検出の再現率を高めることができる。
【００３４】
また、複数種類の曲面上特徴領域を検出する場合は、閾値以上の種類の曲面上特徴領域が検出できた場合にのみそれらを対象物検出部30に渡すようにすれば、検出対象の全体的な特徴が考慮されるので、検出精度を高めることもできる。
【００３５】
例えば対象物が図2のように広告であって、特徴領域として広告全体の白領域と番地板の緑領域との2種類が設定されているとする。この場合例えば、当該2種類の両方の曲面上特徴領域が検出された場合のみに対象物検出部30に渡すようにすることで検出精度を高めることができる。
【００３６】
なおまた、検出された曲面上特徴領域の種類数にかかわらず検出部30に検出結果を渡し、同様の閾値判断を検出部30で行うようにしてもよい。
【００３７】
なお、検出対象が電柱上の広告などであって、広告などの色特徴と共に電柱の色特徴が利用できるため、色情報抽出部201などでは特に次のような別実施形態も可能である。すなわち、内部に番地板を含む広告全体の領域を抽出する際に、逆に外側の領域である電柱の領域を、例えば概ね灰色の領域として抽出する。その場合、ラベリング処理部204では灰色領域だった領域（この時点では2値化によって白領域になっている）の内側の領域（黒領域）にラベリング処理を行う。このようにすることで、特徴領域自体が同一色で構成されていない場合においても、外側の領域が同一色で構成されていれば曲面上特徴領域として検出することができる。当該実施形態は、検出対象が電柱等の表面上に直接描かれたような模様やデザインであって、複数の分離した領域から構成されているような場合にも有効である。
【００３８】
判定部205は、検出対象の特徴領域が円柱曲面上に曲面上特徴領域として存在することによって生じる平面状特徴領域からの縦横比の変化を考慮して、曲面上特徴領域の候補を囲む外接矩形の縦横比、及び外接矩形の横幅と円柱領域候補の横幅との比、に基づいた判定を行うことで、曲面上特徴領域の候補の中からの曲面上特徴領域の検出精度を高める。
【００３９】
図6に当該判定を行う例を示す。(10)は円柱領域候補(電柱の候補)の正面に曲面上特徴領域(曲面上広告の候補)が得られている状態の一部であり、(20)は(10)に実際に広告が写っているか判定するための計算を示すための、想定される断面図である。同様に(11)は正面からずれた位置に曲面上特徴領域の候補が得られている状態の一部で、(21)はその状態から判定を行うための想定される断面図である。
【００４０】
図6において、wは平面上に存在していたときの特徴領域の外接矩形の横幅であり、(20)及び(21)に示されるように、円柱断面の円に沿った長さとなる。当該wが、円柱曲面に張り付いて曲面上特徴領域の外接矩形の横幅となった値をw'とする。(20)に示す位置関係より、外接矩形の重心Pと円柱の中心Oと画像の撮影部の位置Cとが一直線上にある場合に、w'は以下の式で表される。
w'＝2r sinθ'/2 (式1)
【００４１】
ここで、rは円柱の半径、θ'はOと曲面上特徴領域の外接矩形の両端の点A,Bの3点で表す、(20)に示すような∠AOBの角度であり、以下の式で与えられる。
θ'＝w/r (式2)
【００４２】
さらに、(11)及び(21)に示すように、曲面上特徴領域の外接矩形が円柱の正面から見えている状態からθだけ円柱の外周を回転して見えている場合、θ傾いて見えるため、図示する位置関係によって、w'は以下の式で表される。
w'＝2r sin(w/2r) cosθ (式3)
【００４３】
ここで、θは(21)に示すように、曲面上特徴領域の重心P（平面状態での外接矩形における重心P）と円柱の中心Oとを通る直線と、撮影部の位置CとOとを通る直線とのなす角を表す。θは(11)に示すように、円柱領域の中心軸と外接矩形の縦の2辺との距離の長い側をd1、短い側をd2とすると、
θ={arcsin(d1/r)+arcsin(d2/r)}/2 (式4)
として求められる。すなわち、(11)に示すような画像上での外接矩形と円筒領域との位置関係の解析から求めることができる。なお、当該縦の2辺が円柱領域の中心軸を挟むように存在する場合は、d1及びd2に対して、中心軸によって分けられるいずれの領域にあるかによって定まる符号の区別を設けるものとする。
【００４４】
また、(式4)の代わりに、重心Pが(11)に示すような画像上で（曲面上特徴領域の模様などによって）直接に識別可能ならば、次を用いてもよい。すなわち(11)に示すように、円柱領域の中心軸とPとの距離dによって、
θ＝arcsin(d/r) (式5)
として求めてもよい。
【００４５】
また、(式5)の代わりに、近似的に(11)の横幅w'縦幅hの外接矩形の重心P'（曲がっているので、Pとは異なる点となる。不図示。）の中心軸からの距離d'(＝d2+w'/2)を用いて、
θ＝arcsin(d'/r) (式6)
として求めてもよい。(式6)はw'がrに比べてある程度以上小さい場合に近似で計算を簡略化できる。
【００４６】
以上の式を利用して(A10)曲面上特徴領域の候補の外接矩形の縦横比(h/w')、及び(A20)当該外接矩形の横幅と円柱の直径の比(w'/2r)を計算し、以上の式の条件を所定の判定閾値内で満足する候補を曲面上特徴領域として検出することで、高精度に検出が可能となる。
【００４７】
すなわち、上記検出用の確認項目(A10)および(A20)は、次のように確認する。前提として、検出対象は寸法が既知であるので、円柱半径r、平面状での矩形横幅w及び縦幅hは絶対値として（例えばr=15cm, w=20cm, h=100cmなどの実際の長さの値として）既知であり、それらの比率やθ'も既知である。一方、画像上では(11)に示すように、r, w', h,及びd1,d2が(例えば画素間距離のように)画像上認識された長さとして求まる。当該画像上の長さのうち例えばr,d1及びd2を用いて、(式4)よりθが求まる。
【００４８】
(A10)当該画像上の長さのみから算出可能なθと、絶対値としてのr及びwと、を用いて式3よりw'の絶対値としての値を求める。そして、該求められた絶対値としてのw'と、予め既知の絶対値としてのhとから、絶対値同士の比率としての前記縦横比(h/w')を求め、(11)の画像上の長さ同士の比率として求まる縦横比(h/w')と概ね等しいかを確認する。
【００４９】
(A20)同様に、画像から求まるθによって式3を用いて絶対値として求められたw'と、予め既知の絶対値としてのrより、絶対値同士の比率としての比率(w'/2r)を求め、(11)の画像上の長さ同士の比率として求まる(w'/2r)と概ね等しいかを確認する。
【００５０】
以上の(A10)(A20)の両者において概ね等しいことが確認されれば、当該候補は曲面上特徴領域であるとしてよい。なお、外接矩形が円柱領域の中央付近に位置していた場合には、cosθ＝1として計算を簡略化してもよい。
【００５１】
なお、以上の図6のような考察に基づく検出を行うに際しては、外接矩形の縦幅方向が、円柱領域の高さ方向(円柱領域候補を挟む2本の直線の向きの平均方向)と平行になるよう、外接矩形を設けるものとする。また平面状での特徴領域の外接矩形の寸法も、そのような方向設定（貼り付けることになる円筒の高さ方向に縦幅を取る）において予め取得しておくものとする。
【００５２】
以上、画像上の寸法および位置が既知の値と整合性が取れているかを縦横比などから確認することによる、判定部205の実施形態を説明した。別実施形態として、曲面上特徴領域の候補に対して、その面積や円形度を判定条件とすることで形状情報を利用して検出を行うこともできる。例えば当該特徴領域（平面上で既知の領域）のモーメントを公知の技術を用いて算出し、抽出された曲面上特徴領域の各候補についてもモーメントを求め、モーメントが一致する候補を曲面上特徴領域として検出することができる。これらモーメントなどとして求まる形状情報を用いる場合も、図6で説明したのと同様に縦横比の変化や、円柱半径と矩形幅との比の変化を考慮することで、検出精度を向上させることができる。さらに、複数の判定条件を設けることで、計算量が増える代わりに精度の高い検出を行うようにすることも可能となる。
【００５３】
対象物検出部30では、曲面上特徴領域の検出結果に基づいて検出対象の位置情報を検出する。検出対象が図2の(4)のような曲面上の広告であれば、画像上で検出対象の占める領域と、白色の金属板などからなる広告全体の領域とは一致するので、当該広告全体の領域として検出された曲面上特徴領域の位置情報によって、検出対象の位置情報を検出する。位置情報は画像上で占める領域の情報として与えてもよいし、当該領域の重心のような特徴点の位置の情報として与えてもよい。また曲面上特徴領域の外接矩形を求めてから、当該矩形の位置情報や重心の位置の情報として与えてもよい。
【００５４】
図7に本発明の画像検出装置による検出対象であって、図2のような例からの変形実施形態として検出可能な例を示し、当該検出の処理についても説明する。(a)は図2の例と同様の電柱上の広告などであり、他の変形実施形態(b)や(c)との比較のために示している。すなわち、電柱を想定した円柱領域(a0)の表面上に、検出対象である広告(a1)が張り付いている。当該検出対象(a1)を検出するための曲面上特徴領域が、広告全体の白色領域(a2)と、番地板などの緑色領域(a3)である。前述のとおり、占める領域としては(a1)と(a2)とは一致する。
【００５５】
なお、(a)、(b)及び(c)のそれぞれにおいて、円柱領域(円柱領域候補)は(a0)、(b0)及び(c0)、検出対象は(a1)、(b1)及び(c1)、曲面上特徴領域は(a2),(a3)、(b2),(b3)及び(c2),(c3)である。後述する(c4)は楕円である。
【００５６】
図7の(b)は、電柱などを含む一般の柱(b0)の表面上に、検出対象として矩形点線で示したようなデザインが描かれた領域(b1)がある例である。なお点線自体は領域（デザインの外接矩形）を示すものであってデザインではないものとする。下地(b0)の色と、領域(b1)のデザイン以外の背景色とは同一である。当該領域(b1)を検出するための曲面上特徴領域が、月のデザイン(b2)と星のデザイン(b3)の領域である。これらも図2の説明と同様、色及び平面状での形状などが既知である。
【００５７】
(b)のような例の場合、対象物検出部30では領域(b2)及び(b3)の全体を囲む矩形領域を求めて、検出対象(b1)の位置情報を検出すればよい。また、領域(b2)及び(b3)のそれぞれ又はそれら領域を囲む矩形領域を求めてから、領域または矩形の重心座標に所定の関係式を適用するなどして、検出対象(b1)の位置情報を検出してもよい。
【００５８】
図7の(c)は、点線で囲んだ検出対象(c1)自体が円柱状物体(清涼飲料水の缶など)であって、円柱領域(c0)と円筒状表面を共有している例である。曲面上特徴領域(c2)及び(c3)はそれぞれ、概ね赤色の領域、概ね白色の領域である。(c2)及び(c3)は領域の全体的な色特徴に影響のない程度のデザインを有していてもよい。(c2)及び(c3)などに追加して、(b)の例のようにデザイン自体での曲面上特徴領域があってもよい。これらも図2の説明と同様、色及び平面状での形状などが既知である。
【００５９】
(c)のような例の場合、特徴領域検出部20では、特に判定部205において、曲面上特徴領域の候補のうち(c2)や(c3)のような曲面上特徴領域の判定を行うため、次のようにすることができる。すなわち、(c2)や(c3)は予め当該検出対象(c1)と円筒状側面の高さ方向境界線を共有することがわかっており、かつ(c1)は円柱領域(c0)と円筒状表面を共有している。よって、円柱領域候補を求めるに際して用いた当該領域を挟む2本の直線の上に、曲面上特徴領域を囲む矩形領域の向かい合う2辺が乗っているか否かによって判定を行うことができる。
【００６０】
さらに(c)のような例の場合、当該検出対象(c1)の底面(c4)を、特徴領域検出部20において公知の楕円検出手段を用いて楕円として検出することができる。底面(c4)は本来円形であるが、斜めに写っていることで楕円として検出される。当該楕円は、図2で説明した円柱表面上に巻き付いて変形する特徴領域とは別のものであって、特徴領域検出部20において曲面上特徴領域の検出とは別に、追加実施形態として検出されるものである。
【００６１】
すなわち、当該楕円の検出には、底面(c4)の色情報を既知として与えておけば、特徴領域検出部20の色情報抽出部201乃至ラベリング処理部204を利用して楕円の候補領域を検出し、さらに図5の不図示の機能ブロックによって形状判定を行って楕円候補として検出することができる。また、色情報抽出部201乃至ラベリング処理部204は利用せず、エッジ成分などを利用して図5には不図示の楕円検出部より楕円候補を検出してもよい。いずれの場合も、検出された楕円候補は判定部205に渡されるものとする。
【００６２】
上記検出された楕円候補に対して、判定部205では、当該候補の楕円の短径を表す直線の向きが、円柱領域候補を挟んで構成する2本の直線の向きの平均に概ね等しいもののみを、検出対象(c1)の底面を構成する楕円として判定してもよい。また、当該候補の楕円の長径が、円柱領域候補を挟む2本の直線の間を概ね横切っているもののみを、検出対象(c1)の底面を構成する楕円として判定してもよい。
【００６３】
(c)のような例の場合、対象物検出部30では、曲面上特徴領域に加えて楕円（又は楕円の外接矩形）も利用することで、検出対象(c1)の位置情報を検出する。例えば曲面上特徴領域(c2)及び(c3)と、楕円(c4)との全体を囲む矩形領域として検出対象(c1)の位置情報を求めることができる。なおまた前段階の特徴領域検出部20において、曲面上特徴領域(c2)及び(c3)と楕円(c4)との全てが検出された場合のみに、検出結果を対象物検出部30に渡すようにしてもよい。
【００６４】
さらに、缶などを想定した(c)のような例の場合の拡張として、その一部分が(c)に示すような円柱状となる検出対象についても、本発明の画像検出装置で検出することができる。これは、検出対象が巻き付く円柱状立体物が、その一部分のみが円柱状であればよいという前述の説明と同様である。
【００６５】
例えば、ペットボトルや、ペットボトルに形状の類似する瓶など、手で持つ部分のみが円柱状で、その上部は首の部分へ向けて小さくなっているような物品であっても、そのような物品自体を検出対象とすることができる。ペットボトルの場合であれば、キャップ部分を前述の楕円として検出することもできる。
【００６６】
次に、対象物検出部30において検出対象の位置情報以外の各種情報を検出する例を説明する。図8は検出対象の向きを検出する例を説明する図であり、検出対象としては図7(a)のような電柱表面上の番地板を有する広告の例が示されている。図8に示すように、広告全体の領域の重心P1と、番地板の領域の重心P2とを求めることで、P1-P2のベクトル(P1を始点としてP2を終点とするベクトル)から広告の電柱における上下方向の向きを検出することができる。この例では、矢印で示すベクトルP1-P2は電柱の上方向に向かっている。
【００６７】
なお、上記のような上下判定が行える前提として、各特徴領域同士の位置関係は、貼り付ける円柱の上下方向との関係を含めて、所定の関係が既知として与えられている、という前提がある。図8ではベクトルP1-P2がそのまま電柱の上方向を示すとした。しかし、所定の関係を与えておけば、2つの曲面上特徴領域(又はその外接矩形)の重心をつなぐベクトルは、円柱の上下方向に対して傾いて存在していてもよい。例えば図7の(b)の例では傾いたベクトルが求まる。このような場合は、円柱の上下方向と当該ベクトルとの角度が前記所定の関係より周知であるので、傾き分を補正して円柱の上下方向を求めることができる。
【００６８】
また、3種類以上の特徴領域を用いて各重心に所定の重み付けをして方向を求めてもよい。特徴領域検出部20が楕円を検出する実施形態では、上底及び下底の色特徴による区別などと共に、楕円を求めて、曲面上特徴領域の検出結果と組み合わせて方向を求めることもできる。重心としては、外接矩形の重心ではなく曲面上特徴領域の重心を用いてもよい。
【００６９】
なお、対象物検出部30では、上述のような検出対象の位置情報や向きを求めるに際して、曲面上特徴領域をそのまま用いてもよいし、外接する矩形領域を用いてもよい。外接矩形を用いると、曲面上特徴領域の一部が障害物で隠れていた場合などでも、安定して位置情報や向きを求めることができるという効果がある。曲面上特徴領域の外接矩形は、図6で説明した検出処理での外接矩形を用いればよい。検出対象の位置情報や向きを求めるに際して、楕円に関しても、そのまま用いてもよいし、楕円検出後に求める外接矩形を用いてもよい。
【００７０】
図9は、対象物検出部30が、検出対象の入力画像の面における奥行き方向への傾きを検出する例を説明する図である。特徴領域検出部20が楕円を検出する実施形態において、当該傾きの検出が可能となる。前述のように楕円は、曲面上特徴領域の存在する円筒面と垂直な底面の円に対応し、(100)に示すように入力画像において短径B0、長径A0（あるいは同じ値となる外接矩形の縦幅B0、横幅A0）として検出されている。この場合、検出対象が張り付いている円柱と、当該入力画像の撮影方向との位置関係は、入力画像の楕円(100)の写り方との関係を含めて、(200)に示す通りである。(200)では、楕円の短径を通る断面図として円柱が示されており、円柱の半径をrとすると楕円の長径A0＝2rである。
【００７１】
図9に示されている通り、円柱側面に存在する検出対象の、入力画像の面における奥行き方向の傾きφは、楕円率C0との間に
C0=sin φ
の関係がある。また、楕円率C0は前記短径B0、長径A0を用いて
C0=B0/A0
で与えられるので、奥行き方向の傾きφを求めることができる。
【００７２】
以上のように本発明の画像検出装置1は、曲面上特徴領域の検出を円柱領域候補の内部のみで行うことにより、検出対象の検出を精度良く、かつ効率的に行うことができる。
【００７３】
さらに、検出対象の特徴領域が円柱の曲面に巻きつくことで発生する曲面上特徴領域における縦横比の変化などを考慮することで、検出精度を高めることを特徴としている。本発明の画像検出装置1によれば、入力画像内から円柱状の物体の曲面上に存在する対象画像を効率的に検出することが可能になる。例えば電柱の巻広告、柱に張られた広告やポスター等が検出することが可能である。また、検出対象を検出することで円柱状の物体自体の検出も可能である。例えばラベルやデザインを検出することで清涼飲料水のボトルや缶等を検出することが可能である。
【００７４】
本発明の画像検出装置１の応用的利用としては、例えばカメラ付情報端末で電柱広告等を認識し、広告主である店舗のクーポンや店舗までの地図、口コミサイト等の情報と結びつける、あるいは当該認識対象に関連したアニメーションを画面に重畳表示するといった技術の前処理としての利用が可能である。
【００７５】
情報を重畳表示する際には検出した上下方向や奥行き方向を利用して、現実感のある重畳表示を行うといった利用も可能である。
【符号の説明】
【００７６】
1…画像検出装置、10…円柱領域検出部、20…特徴領域検出部、30…対象物検出部
【特許請求の範囲】
【請求項１】
所定の特徴領域を含む所定の平面状対象物が変形して所定の円柱状立体物の曲面上に巻き付くことにより、曲面上特徴領域を含む曲面上対象物として存在している、該曲面上対象物の情報を入力画像より検出する画像検出装置であって、
前記入力画像より直線を検出し、該直線の2本同士で挟まれる領域として前記円柱状立体物を含む円柱領域候補を検出する円柱領域検出部と、
前記変形する前の前記特徴領域の外接矩形の所定の縦の長さ及び横の長さと、前記円柱状立体物の所定の半径と、前記特徴領域の所定の色情報とに基づいて、前記円柱領域候補の内部より前記曲面上特徴領域を検出する特徴領域検出部と、
前記抽出された前記曲面上特徴領域に基づいて前記曲面上対象物の位置情報を検出する対象物検出部とを備えることを特徴とする画像検出装置。
【請求項２】
前記特徴領域のうち１つが前記平面状対象物の前記外接矩形であることを特徴とする請求項1に記載の画像検出装置。
【請求項３】
前記特徴領域検出部が前記円柱領域候補の内部より、前記特徴領域の所定の色情報に基づいて前記曲面上特徴領域の候補領域を検出し、該候補領域のうち、該候補領域の外接矩形の縦の長さ及び横の長さ並びに前記円柱領域候補の内部での位置情報と、前記変形する前の前記特徴領域の外接矩形の所定の縦の長さ及び横の長さと、前記円柱状立体物の所定の半径と、前記円柱領域候補が2本の直線で前記挟まれる幅と、が前記変形に基づく所定の関係を満たすものを前記曲面上特徴領域として検出することを特徴とする請求項1または2に記載の画像検出装置。
【請求項４】
前記変形する前の前記特徴領域の外接矩形の縦方向が前記巻き付ける円柱状立体物の高さ方向に一致し、前記曲面上特徴領域の候補領域の外接矩形の縦方向が前記円柱領域候補を挟む2本の直線の方向の平均に一致することを特徴とする請求項3に記載の画像検出装置。
【請求項５】
前記特徴領域検出部がさらに、前記候補領域の第一の形状情報を求め、さらに該第一の形状情報と、前記変形する前の前記特徴領域の第二の形状情報と、に基づいて前記候補領域より前記曲面上特徴領域を検出することを特徴とする請求項3または4に記載の画像検出装置。
【請求項６】
前記円柱領域検出部が、前記領域を挟む2本の直線が共に前記入力画像のy軸方向に概ね平行である前記領域を前記円柱領域候補として検出することを特徴とする請求項1ないし5のいずれかに記載の画像検出装置。
【請求項７】
前記円柱領域検出部が、前記領域を挟む2本の直線が交わらない前記領域を前記円柱領域候補として検出することを特徴とする請求項1ないし5のいずれかに記載の画像検出装置。
【請求項８】
前記円柱領域検出部が、前記領域を挟む2本の直線が概ね平行である前記領域を前記円柱領域候補として検出することを特徴とする請求項1ないし5のいずれかに記載の画像検出装置。
【請求項９】
前記特徴領域検出部が、前記円柱領域候補の内部より、前記特徴領域の所定の色情報を用いて、全体が当該色情報に概ね一致する領域を前記曲面上特徴領域として検出することを特徴とする請求項1ないし8のいずれかに記載の画像検出装置。
【請求項１０】
前記特徴領域検出部が、前記円柱領域候補の内部より、前記特徴領域の所定の色情報を用いて、周囲が当該色情報に概ね一致する領域を前記曲面上特徴領域として検出することを特徴とする請求項1ないし8のいずれかに記載の画像検出装置。
【請求項１１】
前記特徴領域は複数種類存在し、前記特徴領域検出部が、複数の前記特徴領域に対応する複数の前記曲面上特徴領域を検出し、該検出された数が所定基準を満たす前記円柱領域候補の内部から前記検出された前記曲面上特徴領域に基づいて、前記対象物検出部が前記曲面上対象物の位置情報を検出することを特徴とする請求項1ないし10のいずれかに記載の画像検出装置。
【請求項１２】
前記特徴領域検出部が前記曲面上特徴領域に加えてさらに、前記円柱領域候補の内部より楕円を検出し、
前記対象物検出部が、前記曲面上特徴領域と前記楕円とに基づいて前記曲面上対象物の位置情報を検出することを特徴とする請求項1ないし11のいずれかに記載の画像検出装置。
【請求項１３】
前記対象物検出部が、前記特徴検出部にて検出された楕円のうち、該楕円の短径の向きが前記円柱領域候補を挟む直線同士の平均の向きに概ね等しい楕円に基づいて前記曲面上対象物の位置情報を検出することを特徴とする請求項12に記載の画像検出装置。
【請求項１４】
前記対象物検出部がさらに、前記楕円の楕円率に基づいて、前記曲面上対象物の前記入力画像における奥行き方向への傾きを検出することを特徴とする請求項12または13に記載の画像検出装置。
【請求項１５】
前記対象物検出部が、前記曲面上特徴領域の外接矩形の位置情報に基づいて前記曲面上対象物の位置情報を検出することを特徴とする請求項1ないし14のいずれかに記載の画像検出装置。
【請求項１６】
前記特徴領域は複数種類存在し、前記特徴領域検出部が、複数の前記特徴領域に対応する複数の前記曲面上特徴領域を検出し、前記対象物検出部がさらに、前記検出された複数の前記曲面上特徴領域の複数の外接矩形の重心の位置情報に基づいて、前記曲面上対象物の前記円柱状立体物における上下の向きを検出することを特徴とする請求項1ないし15のいずれかに記載の画像検出装置。
【請求項１】
所定の特徴領域を含む所定の平面状対象物が変形して所定の円柱状立体物の曲面上に巻き付くことにより、曲面上特徴領域を含む曲面上対象物として存在している、該曲面上対象物の情報を入力画像より検出する画像検出装置であって、
前記入力画像より直線を検出し、該直線の2本同士で挟まれる領域として前記円柱状立体物を含む円柱領域候補を検出する円柱領域検出部と、
前記変形する前の前記特徴領域の外接矩形の所定の縦の長さ及び横の長さと、前記円柱状立体物の所定の半径と、前記特徴領域の所定の色情報とに基づいて、前記円柱領域候補の内部より前記曲面上特徴領域を検出する特徴領域検出部と、
前記抽出された前記曲面上特徴領域に基づいて前記曲面上対象物の位置情報を検出する対象物検出部とを備えることを特徴とする画像検出装置。
【請求項２】
前記特徴領域のうち１つが前記平面状対象物の前記外接矩形であることを特徴とする請求項1に記載の画像検出装置。
【請求項３】
前記特徴領域検出部が前記円柱領域候補の内部より、前記特徴領域の所定の色情報に基づいて前記曲面上特徴領域の候補領域を検出し、該候補領域のうち、該候補領域の外接矩形の縦の長さ及び横の長さ並びに前記円柱領域候補の内部での位置情報と、前記変形する前の前記特徴領域の外接矩形の所定の縦の長さ及び横の長さと、前記円柱状立体物の所定の半径と、前記円柱領域候補が2本の直線で前記挟まれる幅と、が前記変形に基づく所定の関係を満たすものを前記曲面上特徴領域として検出することを特徴とする請求項1または2に記載の画像検出装置。
【請求項４】
前記変形する前の前記特徴領域の外接矩形の縦方向が前記巻き付ける円柱状立体物の高さ方向に一致し、前記曲面上特徴領域の候補領域の外接矩形の縦方向が前記円柱領域候補を挟む2本の直線の方向の平均に一致することを特徴とする請求項3に記載の画像検出装置。
【請求項５】
前記特徴領域検出部がさらに、前記候補領域の第一の形状情報を求め、さらに該第一の形状情報と、前記変形する前の前記特徴領域の第二の形状情報と、に基づいて前記候補領域より前記曲面上特徴領域を検出することを特徴とする請求項3または4に記載の画像検出装置。
【請求項６】
前記円柱領域検出部が、前記領域を挟む2本の直線が共に前記入力画像のy軸方向に概ね平行である前記領域を前記円柱領域候補として検出することを特徴とする請求項1ないし5のいずれかに記載の画像検出装置。
【請求項７】
前記円柱領域検出部が、前記領域を挟む2本の直線が交わらない前記領域を前記円柱領域候補として検出することを特徴とする請求項1ないし5のいずれかに記載の画像検出装置。
【請求項８】
前記円柱領域検出部が、前記領域を挟む2本の直線が概ね平行である前記領域を前記円柱領域候補として検出することを特徴とする請求項1ないし5のいずれかに記載の画像検出装置。
【請求項９】
前記特徴領域検出部が、前記円柱領域候補の内部より、前記特徴領域の所定の色情報を用いて、全体が当該色情報に概ね一致する領域を前記曲面上特徴領域として検出することを特徴とする請求項1ないし8のいずれかに記載の画像検出装置。
【請求項１０】
前記特徴領域検出部が、前記円柱領域候補の内部より、前記特徴領域の所定の色情報を用いて、周囲が当該色情報に概ね一致する領域を前記曲面上特徴領域として検出することを特徴とする請求項1ないし8のいずれかに記載の画像検出装置。
【請求項１１】
前記特徴領域は複数種類存在し、前記特徴領域検出部が、複数の前記特徴領域に対応する複数の前記曲面上特徴領域を検出し、該検出された数が所定基準を満たす前記円柱領域候補の内部から前記検出された前記曲面上特徴領域に基づいて、前記対象物検出部が前記曲面上対象物の位置情報を検出することを特徴とする請求項1ないし10のいずれかに記載の画像検出装置。
【請求項１２】
前記特徴領域検出部が前記曲面上特徴領域に加えてさらに、前記円柱領域候補の内部より楕円を検出し、
前記対象物検出部が、前記曲面上特徴領域と前記楕円とに基づいて前記曲面上対象物の位置情報を検出することを特徴とする請求項1ないし11のいずれかに記載の画像検出装置。
【請求項１３】
前記対象物検出部が、前記特徴検出部にて検出された楕円のうち、該楕円の短径の向きが前記円柱領域候補を挟む直線同士の平均の向きに概ね等しい楕円に基づいて前記曲面上対象物の位置情報を検出することを特徴とする請求項12に記載の画像検出装置。
【請求項１４】
前記対象物検出部がさらに、前記楕円の楕円率に基づいて、前記曲面上対象物の前記入力画像における奥行き方向への傾きを検出することを特徴とする請求項12または13に記載の画像検出装置。
【請求項１５】
前記対象物検出部が、前記曲面上特徴領域の外接矩形の位置情報に基づいて前記曲面上対象物の位置情報を検出することを特徴とする請求項1ないし14のいずれかに記載の画像検出装置。
【請求項１６】
前記特徴領域は複数種類存在し、前記特徴領域検出部が、複数の前記特徴領域に対応する複数の前記曲面上特徴領域を検出し、前記対象物検出部がさらに、前記検出された複数の前記曲面上特徴領域の複数の外接矩形の重心の位置情報に基づいて、前記曲面上対象物の前記円柱状立体物における上下の向きを検出することを特徴とする請求項1ないし15のいずれかに記載の画像検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１６３９９１（Ｐ２０１２−１６３９９１Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２１４６６（Ｐ２０１１−２１４６６）
【出願日】平成２３年２月３日（２０１１．２．３）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月３日（２０１１．２．３）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]