対応付け装置
【課題】画像情報と地図情報との対応付けを正確に行うことができる対応付け装置を提供する。
【解決手段】画像が入力される画像入力部１０１と、地図が入力される地図入力部１０２と、前記画像上の点と前記地図上の点との対応関係を示す対応点情報を入力する対応入力部１０３と、前記対応点情報に基づいて、前記画像の分割領域毎に変換パラメータを算出する算出部１０５と、前記分割領域毎の前記変換パラメータを用いて、前記画像上の所定の位置を前記地図上の位置に変換する変換部１０７とを有する。
【解決手段】画像が入力される画像入力部１０１と、地図が入力される地図入力部１０２と、前記画像上の点と前記地図上の点との対応関係を示す対応点情報を入力する対応入力部１０３と、前記対応点情報に基づいて、前記画像の分割領域毎に変換パラメータを算出する算出部１０５と、前記分割領域毎の前記変換パラメータを用いて、前記画像上の所定の位置を前記地図上の位置に変換する変換部１０７とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、対応付ける装置に関するものである。
【背景技術】
【０００２】
従来より、航空画像と地図情報をマッチングして、地図情報を編集するシステムがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３６２２０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような地図を編集するシステムでは、地図情報を航空画像に投影して地図情報を修正するため、投影図法に準じた地図情報が用意されている必要がある。しかし、これらの取得作成作業は多くの手間がかかるため、システム導入の大きな障害となる。、また射影法や投影図法といった地図の展開法にそった地図情報が得られない場合は変換結果に大きな誤差が生じる。そのため、航空画像にある対象物が地図上で誤った位置に対応づけられてしまうという問題点がある。
【０００５】
そこで本発明の実施形態は、上記問題点に鑑み、画像情報と地図情報との対応付けを正確に行うことができる対応付け装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の実施形態は、画像が入力される画像入力部と、地図が入力される地図入力部と、前記画像上の点と前記地図上の点との対応関係を示す対応点情報を入力する対応入力部と、前記対応点情報に基づいて、前記画像の分割領域毎に変換パラメータを算出する算出部と、前記分割領域毎の前記変換パラメータを用いて、前記画像上の所定の位置を前記地図上の位置に変換する変換部と、を有することを特徴とする対応付け装置である。
【図面の簡単な説明】
【０００７】
【図１】画像と地図の人物の位置の対応付けを示す図。
【図２】実施例１の対応付け装置のブロック図。
【図３】（ａ）は画像、（ｂ）は地図であって、位置が対応付けられた図。
【図４】実施例２における（ａ）は画像、（ｂ）は地図であって、誤った位置が対応付けられた図。
【図５】実施例２の対応付け装置のフローチャート。
【図６】（ａ）は画像、（ｂ）はパラメータ記憶部に記憶された情報。
【図７】部分領域で分割された画像。
【図８】実施例２における（ａ）は画像、（ｂ）は地図であって、多数の位置が対応付けられた図。
【図９】実施例３の対応付け装置のブロック図。
【図１０】実施例４の対応付け装置のブロック図。
【発明を実施するための形態】
【０００８】
以下、本発明の一実施形態の対応付け装置１００について説明する。この対応付け装置１００は、例えば、図１に示すように、図１（ａ）の画像上で検出された人物の位置が、図１（ｂ）の地図上の格子で表現された机の配置図（図１（ｂ）では大きな机が一個、小さい机が４個）のどの位置に対応するかを決定する。そして、この対応付け装置１００によって得られた人物の位置をもとに、人物が存在する領域のみに照明や空調を限定して動作させる省エネ制御システムが実現できるほか、労働者の在席情報を認識する不存在把握システムなどを実現できる。
【０００９】
なお、本明細書において、「地図」とは、地表のみならず、建物内部（例えば、劇場の座席の配置図、美術館や博物館の展示品の配置図、工場内の機械の配置図）、部屋の内部（例えば、室内における机、椅子、ソファーなどの配置図）、乗り物内部（例えば、船、車、列車、飛行機の内部の部屋や座席の配置図）、建物の敷地（例えば、駐車場など）の諸物体（例えば、机、展示物、椅子、座席、ソファー、車など）、又は、現象（温度分布、照明のＯＮ／ＯＦＦなど）を一定の比率で縮尺し、諸物体や現象を格子状の図、記号、文字を用いて平面上に表現した図を意味する。
【実施例１】
【００１０】
本発明の実施例１に係る対応付け装置１００について図１〜図３に基づいて説明する。
【００１１】
本実施例の対応付け装置１００の構成について、図２のブロック図に基づいて説明する。
【００１２】
図２に示すように、対応付け装置１００は、画像入力部１０１、地図入力部１０２、対応入力部１０３、情報記憶部１０４、算出部１０５、パラメータ記憶部１０６、変換部１０７、表示部１０８とを有する。
【００１３】
画像入力部１０１は、図３（ａ）に示すように、労働者が働く部屋の全体の様子を斜め上からカメラで撮影し、その撮影した静止画像が入力される。カメラは部屋の様子を把握できる位置に設置されていればよく、単に上から撮影した画像であってもよい。また部屋の全体の様子が撮影されていれば、地図との対応が容易になるため好ましいが、一部の様子が撮影されている画像であってもよい。なお、この画像は、ビデオカメラで撮影した動画像の１フレームを用いてもよく、また、後から説明するように、動画像又は静止画像から人物を検出した後の一枚の静止画像を用いても良い。 地図入力部１０２は、図３（ｂ）に示すように、前記部屋に配置された机の配置状態を表した地図が入力されるものであり、机の各角部が白丸印で示され、机の形状は前記白丸印を直線で結ぶ格子状の図で表現されている。図３（ｂ）では、大きな机が一個、一つに合わさった小さい机が４個が記載されている。この地図の入力方法としては、例えば、図作成ソフトなどで入力する。
【００１４】
対応入力部１０３は、入力した画像と地図との各点の対応関係を示す対応点情報が入力されるものであり、具体的には、画像上での点３０１が地図上での点３１１に対応し、点３０２が点３１２に対応し、・・・・、点３０４が点３１４に対応することを入力する。但し、点３０１、点３０２、・・・・、点３０４、及び、点３１１、点３１２、・・・・、点３１４は、それぞれ同一平面（例えば机の面）にあるとする。なお、これら対応点情報の入力方法としては、例えば、ユーザが画像と地図を並べてマウスによって対応する点をクリックするなどの方法がある。入力されたこれら対応点情報は、情報記憶部１０４に記憶される。
【００１５】
算出部１０５は、非特許文献１（Richard Hartley and Andrew Zisserman. Multiple View Geometry in Computer Vision(Second Edition). Cambridge University Press, 2003.）に記載された処理を用いて、４組の対応点情報から変換行列Ｈ及びその逆変換行列Ｈ−１を求める。この変換行列Ｈにより、画像上の任意の点ｖ＝（ｘ，ｙ）は、地図上ではｖ′＝（ｘ′，ｙ′）の点に対応することが、次の式（１）から計算できる。
【数１】
【００１６】
また、逆変換行列Ｈ−１により、地図上の任意の点ｖ′＝（ｘ′，ｙ′）は、画像上ではｖ＝（ｘ，ｙ）の点に対応することも次の式（２）から計算できる。
【数２】
【００１７】
さらに、図３における点３０５と点３１５の対応や点３０６と点３１６の対応の情報も入力されており、ｎ点（ｎ＞４）の対応点情報がある場合は、ｎ点のうち様々な４点の組を用いてＲＡＮＳＡＣ処理を行うことにより、対応点情報の一部に位置誤差があっても、誤差の影響の少ない適切な変換行列Ｈを求めることもできる。ここでＲＡＮＳＡＣ処理とは、処理を繰り返して安定化させる一般的な処理の概念であり、前述の非特許文献１などに記載の処理に代表される。
【００１８】
算出部１０５が算出する変換パラメータとしては、例えばこれらの変換行列Ｈの各要素ｈｉｊ、又は、その逆変換行列Ｈ−１を用いればよく、パラメータ記憶部１０６はこれらの各要素ｈｉｊ、又は、各要素ｈ′ｉｊを変換パラメータとして記憶する。
【００１９】
変換部１０７は、パラメータ記憶部１０６に記憶された変換パラメータに基づいて画像上の情報と地図上の情報を互いに変換する。この変換は、例えば画像上で検出された人物の位置を地図上に変換してもよいし、地図上の情報を変換して画像上に重畳してもよいし、画像を変換して地図上に重畳してもよい。
【００２０】
表示部１０８は、その変換された情報を表示する。
【００２１】
なお、図３（ａ）の矩形３２０と図３（ｂ）の矩形３２１のみが網掛けされているが、実際は矩形の外部も含む画像上の全ての点が、同じ変換パラメータによって地図上に変換や対応付けがされる。
【００２２】
対応付け装置１００で得られた対応付け情報から、空調や照明制御や在席判定を行うことができる。例えば、図１に示すように、画像上の点（ｘ，ｙ）で人物が検出された場合は、変換部１０７が式（１）に基づいて地図上での人物位置である点（ｘ′，ｙ′）に変換する。そして変換結果を表示部１０８が人物の位置として表示したり、又は、別の手段が人物位置をもとに空調や照明制御を行ったり在席判定をしたりする。
【００２３】
なお、対応付け装置１００が、空調や照明制御を直接行う場合は、表示部１０８は必須の構成要件ではない。
【００２４】
なお、画像からの人物検出は、例えば非特許文献２（Tomoki Watanabe, Satosi Ito, and Kentaro Yokoi. Co-occurrence Histograms of Oriented Gradients for Pedestrain Detection. In Transaction on Computer Vision and Apprication, Vol.2,pp.39-47,March 2010.）に記載された方法を用いればよい。
【００２５】
また、画像上の点３０１〜点３０６は同一平面上（例えば机の面）にあると仮定しているため、人物の検出位置の座標についても、これらの点と同一の平面（机の面）に対応する高さでの人物位置座標（ｘ，ｙ）を用いる必要がある。
【００２６】
人物検出を上半身検出によって行う場合は、例えば上半身の下端座標を用いれば、机面とほぼ同一平面上の点の座標となる。
【００２７】
人物検出を全身検出によって行う場合は、例えば検出矩形の中心の座標を用いれば、腰近辺の座標が得られ、これも机面とほぼ同一平面上の点の座標となる。
【００２８】
人物が座っている場合には、例えば上半身領域の下から１／３の座標を用いれば、机面とほぼ同一平面上の点になる。
【００２９】
立っている人物と座っている人物の識別は、例えば立っている人物と座っている人物に対して個別の検出器を学習することでどちらであるかを識別してもよいし、移動している人物を立っている人物として識別してもよいし、上下方向の動きの履歴から立っているか座っているかを識別してもよい。
【００３０】
なお、人物の検出位置座標の決定方法については、必ずしも上記の方法に限定されるものではない。
【実施例２】
【００３１】
本発明の実施例２に係る対応付け装置１００について図４〜図８に基づいて説明する。
【００３２】
本実施例では、地図入力部１０２に入力された地図が不正確で、実際とはズレのある地図だった場合でも正確に人物の位置が特定できる対応付け装置１００を説明する。
【００３３】
図４（ｂ）に示すように、地図上では、本来正しくは点４２０であるべき位置が誤って点４２１として入力され、点４２２であるべき位置が誤って点４２３として入力され、点４２４であるべき位置が誤って点４２５として入力され、その結果、図４（ａ）に示す画像上において右下にある机４４０が実際よりも長く地図では入力されているとする。
【００３４】
このとき実施例１と同様に、算出部１０５が、点３０１と点３１１の対応と、点３０２と点３１２の対応と、点３０３と点３１３の対応と、点３０４と点３１４の対応とから変換行列Ｈを計算する。変換部１０７が、この変換行列Ｈの変換パラメータを用いて図４（ａ）に示す画像上で机４４０の境界（点線部）特に追加の必要はありませんにいる人物の位置４３０を変換すると、地図上では、実際の位置４３１ではなく、ズレた位置４３２に変換される。したがって、正しい人物の位置が得られなくなる。
【００３５】
これは、点４２０、点４２２、点４２４が地図上で実際よりも右寄りに入力されており、それに伴って対応付け点３１３、３１４も右寄りに入力されることになるため、画像上の各点は実際よりも右寄りに変換されるような変換行列Ｈが算出されるためである。
【００３６】
このようにして誤って人物の位置が判定されると、この人物に対してどの位置の照明や空調を制御すべきかを正しく決定できなくなったり、誤った在席判定がされてしまう。これは、正確な地図を与えることによって解決できるが、正確な地図を入力することは手間がかかる場合がある。
【００３７】
そこで、本実施例では、正確な地図を入力することなく、十分に正確な人物位置の判定を行えるよう対応付け装置１００を提供する。
【００３８】
本実施例と実施例１の異なる点は、本実施例の対応付け装置１００では、算出部１０５、パラメータ記憶部１０６、変換部１０７が、画像内の部分領域毎、又は、画素毎に変換パラメータの算出、記憶、変換を行う。これによって、不正確な地図を用いた場合の人物の位置のずれを低減し、正確な地図を入力することなく、十分に正確な人物の位置の判定を行える。ここで正確でない地図とは、地図に記載された机の縮尺が誤っている場合や、机の縦横の比率が誤っている場合、机の形状が歪んでいる場合、机の位置がずれている場合をいう。
【００３９】
本実施例の対応付け装置１００の処理について、図５のフローチャートに基づいて説明する。また、このときにパラメータ記憶部１０６が記憶する情報の例を図６に示す。具体的には、入力された対応点情報（図４（ａ）の点３０１〜点３０６、図４（ｂ）の点３１１〜点３１６の対応）をもとに、図４（ａ）における画像の部分領域毎、又は、画素毎に変換パラメータを求める。以下の説明で、画像上の部分領域、又は、一画素をまとめていう場合は「分割領域」という。
【００４０】
以下では、一画素に対応する点（ｘ，ｙ）毎に変換パラメータを算出する方法について説明する。
【００４１】
まず、ステップＳ１０１では、算出部１０５は、変換パラメータが算出されていない画像上の点（ｘ，ｙ）を選択する。選択の方法は、図６（ａ）において、変換パラメータへのインデックスがない点（画素）を選択する、すなわち、ある画素について変換パラメータを呼び出すことができる場合はインデックスが付与され、変換パラメータを呼び出すことができない場合はインデックスが付与されていない。例えば、点（ｘ，ｙ）の位置にインデックスＣが付与されていれば、変換パラメータＨ３を呼び出せるので選択されない。なお、このインデックスは、画素毎に付与する必要はなく、部分領域毎に付与してもよい。
【００４２】
次に、ステップＳ１０２では、情報記憶部１０４が、記憶する対応点情報の中から、選択した点（ｘ，ｙ）の近傍のｎ点（ｎ＞＝４）の対応点情報を選択する。この近傍の点については、後から詳しく説明する。
【００４３】
次に、ステップＳ１０３では、情報記憶部１０４が、このｎ点が過去に選択された組み合わせかどうかチェックする。すなわち、図６（ｂ）に示す変換パラメータの算出に用いた対応点のデータから判断する。そして、過去に選択された点でなかった場合は、ステップＳ１０４に進み（ＮＯの場合）、選択された点である場合はステップＳ１０５に進む（ＹＥＳの場合）。
【００４４】
次に、ステップＳ１０４では、算出部１０５が、実施例１で述べた方法でｎ点（ｎ＞＝４）の対応点情報から変換パラメータを算出し、ステップＳ１０５に進む。
【００４５】
次に、ステップＳ１０５では、パラメータ記憶部１０６が変換パラメータを記憶する。記憶するデータは、例えば図６（ｂ）に示すインデックス、変換パラメータの算出に用いた対応点、変換パラメータ（変換行列）である。そして、パラメータ記憶部１０６は、点（ｘ，ｙ）のインデックスに関して、新たに追加された変換パラメータを指すようにインデックスを追加する。ステップＳ１０３において過去に選択された組み合わせだった場合は、パラメータ記憶部１０６は、図６（ａ）のようなインデックスをその変換パラメータを指すように修正して記憶する。
【００４６】
次に、ステップＳ１０６では、画像上全ての画素について変換パラメータが算出されたかどうかをチェックし、算出されていたら終了し（ＹＥＳの場合）、そうでない場合はステップＳ１０１に戻る（ＮＯの場合）。
【００４７】
以上の処理により、図６（ａ）に示すように画素毎に異なる変換パラメータＨ１，Ｈ２，Ｈ３，・・・が得られることになる。なお、異なる変換パラメータを用いることの効果については、後から詳細に説明する。
【００４８】
ステップＳ１０２における近傍ｎ点の定義としては、例えば、点（ｘ，ｙ）からｎ点までの距離の和が最小になるようなｎ点の集合を選べばよい。また、点（ｘ，ｙ）から距離が近いｎ点の集合を選んでもよい。
【００４９】
また、変換パラメータの算出においては、ｎ点同士はあまり近すぎない方が好ましいため、近傍ｎ点のうち２点ｎ１，ｎ２を選択したときに、ｎ１とｎ２の間の距離がある閾値以上になるように選択するという制限を加えてもよい。
【００５０】
また、変換パラメータの算出においては、ｎ点同士は直線上にない方が好ましいため、近傍ｎ点のうち３点ｎ１，ｎ２，ｎ３を選択したときに、これら３点がなす角がある閾値以上になるように選択するという制限を加えてもよい。
【００５１】
上記では、一画素に対応する点（ｘ，ｙ）毎に変換パラメータを算出する方法について説明したが、これに代えて、部分領域毎であっても同様に処理できる。すなわち、中心座標が点（ｘ，ｙ）であるような一定の大きさを有する部分領域（複数の画素の集合）に対して同様の変換パラメータの算出を行い、得られた変換パラメータは、その部分領域内の全ての画素に共通して適用されるものとする。
【００５２】
また、部分領域としては、例えば図７に示すように画像を格子状に区切って得られる小領域を用いればよい。
【００５３】
また、画像の上方領域には遠方の領域が小さく見えることになるため、上方ほど小さく区切るようにして得られた小領域を用いてもよい。
【００５４】
次に、人物の検出について説明する。
【００５５】
上記で得られた一つの分割領域の変換パラメータによって、画像上で検出された人物の位置から地図上の位置へ変換を行う。なお、ここの説明では、分割領域として一画素の場合について説明する。
【００５６】
まず、人物が画像上の点（ｘ，ｙ）で検出されたとする。
【００５７】
次に、変換部１０７は、パラメータ記憶部１０６が記憶する図６（ｂ）の情報をもとに画像上の点（ｘ，ｙ）の変換パラメータを取得し、式（１）を用いて対応する地図上の点（ｘ′，ｙ′）を算出する。
【００５８】
次に、表示部１０８は、画像、画像上の人物位置である点（ｘ，ｙ）、地図、地図上の人物の位置の点（ｘ′，ｙ′）を表示する。
【００５９】
上記のような分割領域毎の変換パラメータを用いる効果について、図８を用いてさらに詳しく説明する。図８（ａ）は画像を表す図であり、図８（ｂ）は地図を表す図である。
【００６０】
図８（ａ）（ｂ）に示すように、点６０１と点６１１、点６０２と点６１２、・・・、点６０９と点６１９が対応付けされているとする。そして地図上では、正しくは点６２０である位置が点６２１に、点６２２が点６２３に、点６２４が点６２５に、・・・、点６３２が点６３３に誤って入力されているとする。
【００６１】
ここで実施例１の場合では、ＲＡＮＳＡＣ処理などによって、他の領域の正しい対応点情報や他の領域の正しい地図に基づいて、ある程度正確な変換パラメータが推定される。そして、その変換パラメータで全体を変換することになる。すなわち、全体としてはある程度正確な変換が行われるが、誤った地図が入力されている机６３０周辺については、地図上の誤った位置に変換されることになる。
【００６２】
例えば、机６３０の右端にいる人物６４０は、図８（ｂ）における机６３０の真の位置である点６２６、点６２８、点６３０、点６３２が囲む矩形の右端である点６４１に変換される。しかし地図上では机６４０は、誤って点６２７、点６２９、点６３１、点６３３が囲む矩形として入力されているため、人物６４０は、机６３０の内部領域である点６４１に存在するという誤った位置に変換される。
【００６３】
しかし、本実施例のように、分割領域毎に異なる変換パラメータで変換する場合は、例えば人物６４０の位置は、図８（ａ）における画像上の点６０８、点６０６、点６０７、点６０２と、図８（ｂ）における地図上の点６１８、点６１６、点６１７、点６１２の４組（又は、４組以上の点）の対応付けで算出された変換パラメータで地図上に変換する。ここで、地図における机の角部の点６２９は、真の位置の点６２８から右上にずれて入力されているが、それに合わせて対応点６１７も右上にずれて入力されることになる。
【００６４】
そのため、点６０８、点６０６、点６０７、点６０２の４点で算出された変換パラメータは、それらの周辺の画像上の点を実際の位置よりも右上にずれた形で地図上に変換することになる。人物６４０の位置も、正しい地図が入力されていた場合の位置の点６４１よりも右上にずれた点６４２に変換される。この結果、人物６４０は、点６２７、点６１９、点６３１、点６３３が囲む机６３０の横に存在すると正しく判定されることになる。
【００６５】
本実施例によれば、地図の位置に様々なずれがあっても、その近傍の対応点で算出される変換パラメータがそのずれに合わせた位置変換を行うため、正しく地図上での位置を確認できる。そして、このような画像上の点６０８、点６０６、点６０７、点６０２の周辺の点に適用される局所的に歪んだ変換は、画面上の他の点には影響を与えないため、例えば正しく入力されている机６５０周辺の地図情報は、その歪んだ変換の影響を受けることなく正しい位置に変換される。
【００６６】
上記説明では、人物の検出については、人物の画像上の点（ｘ，ｙ）のおける一画素の変換パラメータを用いて変換したが、これに限らず次のような方法がある。
【００６７】
例えば、人物の画像上の点（ｘ，ｙ）の近傍にある点（画素）の変換パラメータを用いてもよい。例えば、点（ｘ，ｙ）において変換パラメータが、近傍にある点における変換パラメータと極端に異なっている場合には、近傍の点における変換パラメータが不正確であると考えられる。この場合、最も近傍にある算出された点（画素）の変換パラメータを用いることが好ましい。
【００６８】
上記説明では、人物の検出については、人物の画像上の点（ｘ，ｙ）のおける一画素の変換パラメータを用いて変換したが、部分領域についても同様に用いることができる。
【００６９】
例えば、人物の画像上の点（ｘ，ｙ）を含む部分領域の変換パラメータを用いる。
【００７０】
また、人物の画像上の点（ｘ，ｙ）と最も近傍にある部分領域の変換パラメータを用いてもよい。この場合は、例えば、点（ｘ，ｙ）を含む部分領域において近傍にある点における変換パラメータと極端に異なっている場合には、最も近傍にある算出された部分領域の変換パラメータを用いる。
【００７１】
ところで、このような局所的に歪んだ変換を用いると、分割領域の境界で変換パラメータが異なることから、座標変換が不連続になる。そのため、分割領域の境界においては、その周辺の分割領域の変換パラメータによって算出される座標も考慮し、例えば周辺の分割領域の変換パラメータによって算出された座標の平均値を用いることで、座標変換が不連続になることを防止できる。
【実施例３】
【００７２】
本発明の実施例３の対応付け装置１００について図９に基づいて説明する。
【００７３】
本実施例と実施例２と異なる構成は、本実施例では、図９に示すように、複数の対応入力部１０３と表示部１０８を備え、それらが情報記憶部１０４と通信部１１０（例えば、ＬＡＮ）を介して接続され、それぞれで、個々のユーザが対応点情報を入力する。
【００７４】
まず、各ユーザは、自分の周辺のみの対応付けを対応入力部１０３に入力する。
【００７５】
複数のユーザが入力したそれぞれの対応点情報は、対応入力部１０３から通信部１１０によって情報記憶部１０４に集められ、上記実施例１、２と同様の処理が行う。
【００７６】
本実施例によれば、複数のユーザが分散的に対応付け入力を行うことにより、管理者による対応付け入力作業を軽減できる。
【００７７】
また、複数のユーザによる複数の入力により、他の入力との誤差が大きい入力を誤入力として除外することで処理結果を安定化させ、多数の対応点を用いることでＲＡＮＳＡＣ処理のを安定化させ、分割領域を細かく設定でき、適切な画像上の情報と地図上の情報の変換が行える。
【実施例４】
【００７８】
本発明の実施例４の対応付け装置１００について図１０に基づいて説明する。
【００７９】
本実施例と実施例３の異なる構成は、図１０に示すように、複数の対応入力部１０３と表示部１０８に加えて、複数の地図入力部１０２を備えていることにある。
【００８０】
表示部１０８は、地図（机の配置などの情報）を画像上に重畳表示させることもできるため、ユーザは重畳情報をもとに地図のずれを修正できる。
【００８１】
本実施例によれば、対応点情報だけでなく地図も、複数のユーザが分散的に入力、修正できるため、管理者による地図入力作業を低減できる。
【変更例】
【００８２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の主旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８３】
本実施形態の対応付け装置１００は、上記各実施例では、室内の机の配置に関する地図で説明したが、これに代えて次のようなものにも適応できる。
【００８４】
劇場の座席の配置図を地図として入力し、画像に写った人物の位置を対応付ける。
【００８５】
美術館や博物館の展示品の配置図を地図として入力し、画像に写った人物の位置を対応付ける。
【００８６】
工場内に設置された機械の配置図を地図として入力し、画像に写った作業員の位置を対応付ける。
【００８７】
病院の病室にあるベッドの配置図を地図として入力し、画像に写った人物の位置を対応付ける。
【００８８】
病院の待合室にある椅子やソファーの配置図を地図として入力し、画像に写った人物の位置を対応付ける。
【００８９】
ホテルのロビーにあるソファーの配置図を地図として入力し、画像に写った人物の位置を対応付ける。
【００９０】
学校、幼稚園、保育園などの部屋の内部にある机、テーブル、椅子、ソファー、玩具などの配置図を地図として入力し、画像に写った児童、園児、先生などの位置を対応付ける。
【００９１】
駅の構内の設置物の配置図を地図として入力し、画像に写った人物の位置を対応付ける。
【００９２】
船、車、列車、飛行機の内部の部屋、区画、座席の配置図を地図として入力し、画像に写った乗客や乗員の位置を対応付ける。
【００９３】
駐車場の各車の止める区画を表す図を地図として入力し、画像に写った車の位置を対応付ける。
【符号の説明】
【００９４】
１００・・・対応付け装置、１０１・・・画像入力部、１０２・・・地図入力部、１０３・・・対応入力部、１０４・・・情報記憶部、１０５・・・算出部、１０６・・・パラメータ記憶部、１０７・・・変換部、１０８・・・表示部
【技術分野】
【０００１】
本発明の実施形態は、対応付ける装置に関するものである。
【背景技術】
【０００２】
従来より、航空画像と地図情報をマッチングして、地図情報を編集するシステムがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３６２２０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような地図を編集するシステムでは、地図情報を航空画像に投影して地図情報を修正するため、投影図法に準じた地図情報が用意されている必要がある。しかし、これらの取得作成作業は多くの手間がかかるため、システム導入の大きな障害となる。、また射影法や投影図法といった地図の展開法にそった地図情報が得られない場合は変換結果に大きな誤差が生じる。そのため、航空画像にある対象物が地図上で誤った位置に対応づけられてしまうという問題点がある。
【０００５】
そこで本発明の実施形態は、上記問題点に鑑み、画像情報と地図情報との対応付けを正確に行うことができる対応付け装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の実施形態は、画像が入力される画像入力部と、地図が入力される地図入力部と、前記画像上の点と前記地図上の点との対応関係を示す対応点情報を入力する対応入力部と、前記対応点情報に基づいて、前記画像の分割領域毎に変換パラメータを算出する算出部と、前記分割領域毎の前記変換パラメータを用いて、前記画像上の所定の位置を前記地図上の位置に変換する変換部と、を有することを特徴とする対応付け装置である。
【図面の簡単な説明】
【０００７】
【図１】画像と地図の人物の位置の対応付けを示す図。
【図２】実施例１の対応付け装置のブロック図。
【図３】（ａ）は画像、（ｂ）は地図であって、位置が対応付けられた図。
【図４】実施例２における（ａ）は画像、（ｂ）は地図であって、誤った位置が対応付けられた図。
【図５】実施例２の対応付け装置のフローチャート。
【図６】（ａ）は画像、（ｂ）はパラメータ記憶部に記憶された情報。
【図７】部分領域で分割された画像。
【図８】実施例２における（ａ）は画像、（ｂ）は地図であって、多数の位置が対応付けられた図。
【図９】実施例３の対応付け装置のブロック図。
【図１０】実施例４の対応付け装置のブロック図。
【発明を実施するための形態】
【０００８】
以下、本発明の一実施形態の対応付け装置１００について説明する。この対応付け装置１００は、例えば、図１に示すように、図１（ａ）の画像上で検出された人物の位置が、図１（ｂ）の地図上の格子で表現された机の配置図（図１（ｂ）では大きな机が一個、小さい机が４個）のどの位置に対応するかを決定する。そして、この対応付け装置１００によって得られた人物の位置をもとに、人物が存在する領域のみに照明や空調を限定して動作させる省エネ制御システムが実現できるほか、労働者の在席情報を認識する不存在把握システムなどを実現できる。
【０００９】
なお、本明細書において、「地図」とは、地表のみならず、建物内部（例えば、劇場の座席の配置図、美術館や博物館の展示品の配置図、工場内の機械の配置図）、部屋の内部（例えば、室内における机、椅子、ソファーなどの配置図）、乗り物内部（例えば、船、車、列車、飛行機の内部の部屋や座席の配置図）、建物の敷地（例えば、駐車場など）の諸物体（例えば、机、展示物、椅子、座席、ソファー、車など）、又は、現象（温度分布、照明のＯＮ／ＯＦＦなど）を一定の比率で縮尺し、諸物体や現象を格子状の図、記号、文字を用いて平面上に表現した図を意味する。
【実施例１】
【００１０】
本発明の実施例１に係る対応付け装置１００について図１〜図３に基づいて説明する。
【００１１】
本実施例の対応付け装置１００の構成について、図２のブロック図に基づいて説明する。
【００１２】
図２に示すように、対応付け装置１００は、画像入力部１０１、地図入力部１０２、対応入力部１０３、情報記憶部１０４、算出部１０５、パラメータ記憶部１０６、変換部１０７、表示部１０８とを有する。
【００１３】
画像入力部１０１は、図３（ａ）に示すように、労働者が働く部屋の全体の様子を斜め上からカメラで撮影し、その撮影した静止画像が入力される。カメラは部屋の様子を把握できる位置に設置されていればよく、単に上から撮影した画像であってもよい。また部屋の全体の様子が撮影されていれば、地図との対応が容易になるため好ましいが、一部の様子が撮影されている画像であってもよい。なお、この画像は、ビデオカメラで撮影した動画像の１フレームを用いてもよく、また、後から説明するように、動画像又は静止画像から人物を検出した後の一枚の静止画像を用いても良い。 地図入力部１０２は、図３（ｂ）に示すように、前記部屋に配置された机の配置状態を表した地図が入力されるものであり、机の各角部が白丸印で示され、机の形状は前記白丸印を直線で結ぶ格子状の図で表現されている。図３（ｂ）では、大きな机が一個、一つに合わさった小さい机が４個が記載されている。この地図の入力方法としては、例えば、図作成ソフトなどで入力する。
【００１４】
対応入力部１０３は、入力した画像と地図との各点の対応関係を示す対応点情報が入力されるものであり、具体的には、画像上での点３０１が地図上での点３１１に対応し、点３０２が点３１２に対応し、・・・・、点３０４が点３１４に対応することを入力する。但し、点３０１、点３０２、・・・・、点３０４、及び、点３１１、点３１２、・・・・、点３１４は、それぞれ同一平面（例えば机の面）にあるとする。なお、これら対応点情報の入力方法としては、例えば、ユーザが画像と地図を並べてマウスによって対応する点をクリックするなどの方法がある。入力されたこれら対応点情報は、情報記憶部１０４に記憶される。
【００１５】
算出部１０５は、非特許文献１（Richard Hartley and Andrew Zisserman. Multiple View Geometry in Computer Vision(Second Edition). Cambridge University Press, 2003.）に記載された処理を用いて、４組の対応点情報から変換行列Ｈ及びその逆変換行列Ｈ−１を求める。この変換行列Ｈにより、画像上の任意の点ｖ＝（ｘ，ｙ）は、地図上ではｖ′＝（ｘ′，ｙ′）の点に対応することが、次の式（１）から計算できる。
【数１】
【００１６】
また、逆変換行列Ｈ−１により、地図上の任意の点ｖ′＝（ｘ′，ｙ′）は、画像上ではｖ＝（ｘ，ｙ）の点に対応することも次の式（２）から計算できる。
【数２】
【００１７】
さらに、図３における点３０５と点３１５の対応や点３０６と点３１６の対応の情報も入力されており、ｎ点（ｎ＞４）の対応点情報がある場合は、ｎ点のうち様々な４点の組を用いてＲＡＮＳＡＣ処理を行うことにより、対応点情報の一部に位置誤差があっても、誤差の影響の少ない適切な変換行列Ｈを求めることもできる。ここでＲＡＮＳＡＣ処理とは、処理を繰り返して安定化させる一般的な処理の概念であり、前述の非特許文献１などに記載の処理に代表される。
【００１８】
算出部１０５が算出する変換パラメータとしては、例えばこれらの変換行列Ｈの各要素ｈｉｊ、又は、その逆変換行列Ｈ−１を用いればよく、パラメータ記憶部１０６はこれらの各要素ｈｉｊ、又は、各要素ｈ′ｉｊを変換パラメータとして記憶する。
【００１９】
変換部１０７は、パラメータ記憶部１０６に記憶された変換パラメータに基づいて画像上の情報と地図上の情報を互いに変換する。この変換は、例えば画像上で検出された人物の位置を地図上に変換してもよいし、地図上の情報を変換して画像上に重畳してもよいし、画像を変換して地図上に重畳してもよい。
【００２０】
表示部１０８は、その変換された情報を表示する。
【００２１】
なお、図３（ａ）の矩形３２０と図３（ｂ）の矩形３２１のみが網掛けされているが、実際は矩形の外部も含む画像上の全ての点が、同じ変換パラメータによって地図上に変換や対応付けがされる。
【００２２】
対応付け装置１００で得られた対応付け情報から、空調や照明制御や在席判定を行うことができる。例えば、図１に示すように、画像上の点（ｘ，ｙ）で人物が検出された場合は、変換部１０７が式（１）に基づいて地図上での人物位置である点（ｘ′，ｙ′）に変換する。そして変換結果を表示部１０８が人物の位置として表示したり、又は、別の手段が人物位置をもとに空調や照明制御を行ったり在席判定をしたりする。
【００２３】
なお、対応付け装置１００が、空調や照明制御を直接行う場合は、表示部１０８は必須の構成要件ではない。
【００２４】
なお、画像からの人物検出は、例えば非特許文献２（Tomoki Watanabe, Satosi Ito, and Kentaro Yokoi. Co-occurrence Histograms of Oriented Gradients for Pedestrain Detection. In Transaction on Computer Vision and Apprication, Vol.2,pp.39-47,March 2010.）に記載された方法を用いればよい。
【００２５】
また、画像上の点３０１〜点３０６は同一平面上（例えば机の面）にあると仮定しているため、人物の検出位置の座標についても、これらの点と同一の平面（机の面）に対応する高さでの人物位置座標（ｘ，ｙ）を用いる必要がある。
【００２６】
人物検出を上半身検出によって行う場合は、例えば上半身の下端座標を用いれば、机面とほぼ同一平面上の点の座標となる。
【００２７】
人物検出を全身検出によって行う場合は、例えば検出矩形の中心の座標を用いれば、腰近辺の座標が得られ、これも机面とほぼ同一平面上の点の座標となる。
【００２８】
人物が座っている場合には、例えば上半身領域の下から１／３の座標を用いれば、机面とほぼ同一平面上の点になる。
【００２９】
立っている人物と座っている人物の識別は、例えば立っている人物と座っている人物に対して個別の検出器を学習することでどちらであるかを識別してもよいし、移動している人物を立っている人物として識別してもよいし、上下方向の動きの履歴から立っているか座っているかを識別してもよい。
【００３０】
なお、人物の検出位置座標の決定方法については、必ずしも上記の方法に限定されるものではない。
【実施例２】
【００３１】
本発明の実施例２に係る対応付け装置１００について図４〜図８に基づいて説明する。
【００３２】
本実施例では、地図入力部１０２に入力された地図が不正確で、実際とはズレのある地図だった場合でも正確に人物の位置が特定できる対応付け装置１００を説明する。
【００３３】
図４（ｂ）に示すように、地図上では、本来正しくは点４２０であるべき位置が誤って点４２１として入力され、点４２２であるべき位置が誤って点４２３として入力され、点４２４であるべき位置が誤って点４２５として入力され、その結果、図４（ａ）に示す画像上において右下にある机４４０が実際よりも長く地図では入力されているとする。
【００３４】
このとき実施例１と同様に、算出部１０５が、点３０１と点３１１の対応と、点３０２と点３１２の対応と、点３０３と点３１３の対応と、点３０４と点３１４の対応とから変換行列Ｈを計算する。変換部１０７が、この変換行列Ｈの変換パラメータを用いて図４（ａ）に示す画像上で机４４０の境界（点線部）特に追加の必要はありませんにいる人物の位置４３０を変換すると、地図上では、実際の位置４３１ではなく、ズレた位置４３２に変換される。したがって、正しい人物の位置が得られなくなる。
【００３５】
これは、点４２０、点４２２、点４２４が地図上で実際よりも右寄りに入力されており、それに伴って対応付け点３１３、３１４も右寄りに入力されることになるため、画像上の各点は実際よりも右寄りに変換されるような変換行列Ｈが算出されるためである。
【００３６】
このようにして誤って人物の位置が判定されると、この人物に対してどの位置の照明や空調を制御すべきかを正しく決定できなくなったり、誤った在席判定がされてしまう。これは、正確な地図を与えることによって解決できるが、正確な地図を入力することは手間がかかる場合がある。
【００３７】
そこで、本実施例では、正確な地図を入力することなく、十分に正確な人物位置の判定を行えるよう対応付け装置１００を提供する。
【００３８】
本実施例と実施例１の異なる点は、本実施例の対応付け装置１００では、算出部１０５、パラメータ記憶部１０６、変換部１０７が、画像内の部分領域毎、又は、画素毎に変換パラメータの算出、記憶、変換を行う。これによって、不正確な地図を用いた場合の人物の位置のずれを低減し、正確な地図を入力することなく、十分に正確な人物の位置の判定を行える。ここで正確でない地図とは、地図に記載された机の縮尺が誤っている場合や、机の縦横の比率が誤っている場合、机の形状が歪んでいる場合、机の位置がずれている場合をいう。
【００３９】
本実施例の対応付け装置１００の処理について、図５のフローチャートに基づいて説明する。また、このときにパラメータ記憶部１０６が記憶する情報の例を図６に示す。具体的には、入力された対応点情報（図４（ａ）の点３０１〜点３０６、図４（ｂ）の点３１１〜点３１６の対応）をもとに、図４（ａ）における画像の部分領域毎、又は、画素毎に変換パラメータを求める。以下の説明で、画像上の部分領域、又は、一画素をまとめていう場合は「分割領域」という。
【００４０】
以下では、一画素に対応する点（ｘ，ｙ）毎に変換パラメータを算出する方法について説明する。
【００４１】
まず、ステップＳ１０１では、算出部１０５は、変換パラメータが算出されていない画像上の点（ｘ，ｙ）を選択する。選択の方法は、図６（ａ）において、変換パラメータへのインデックスがない点（画素）を選択する、すなわち、ある画素について変換パラメータを呼び出すことができる場合はインデックスが付与され、変換パラメータを呼び出すことができない場合はインデックスが付与されていない。例えば、点（ｘ，ｙ）の位置にインデックスＣが付与されていれば、変換パラメータＨ３を呼び出せるので選択されない。なお、このインデックスは、画素毎に付与する必要はなく、部分領域毎に付与してもよい。
【００４２】
次に、ステップＳ１０２では、情報記憶部１０４が、記憶する対応点情報の中から、選択した点（ｘ，ｙ）の近傍のｎ点（ｎ＞＝４）の対応点情報を選択する。この近傍の点については、後から詳しく説明する。
【００４３】
次に、ステップＳ１０３では、情報記憶部１０４が、このｎ点が過去に選択された組み合わせかどうかチェックする。すなわち、図６（ｂ）に示す変換パラメータの算出に用いた対応点のデータから判断する。そして、過去に選択された点でなかった場合は、ステップＳ１０４に進み（ＮＯの場合）、選択された点である場合はステップＳ１０５に進む（ＹＥＳの場合）。
【００４４】
次に、ステップＳ１０４では、算出部１０５が、実施例１で述べた方法でｎ点（ｎ＞＝４）の対応点情報から変換パラメータを算出し、ステップＳ１０５に進む。
【００４５】
次に、ステップＳ１０５では、パラメータ記憶部１０６が変換パラメータを記憶する。記憶するデータは、例えば図６（ｂ）に示すインデックス、変換パラメータの算出に用いた対応点、変換パラメータ（変換行列）である。そして、パラメータ記憶部１０６は、点（ｘ，ｙ）のインデックスに関して、新たに追加された変換パラメータを指すようにインデックスを追加する。ステップＳ１０３において過去に選択された組み合わせだった場合は、パラメータ記憶部１０６は、図６（ａ）のようなインデックスをその変換パラメータを指すように修正して記憶する。
【００４６】
次に、ステップＳ１０６では、画像上全ての画素について変換パラメータが算出されたかどうかをチェックし、算出されていたら終了し（ＹＥＳの場合）、そうでない場合はステップＳ１０１に戻る（ＮＯの場合）。
【００４７】
以上の処理により、図６（ａ）に示すように画素毎に異なる変換パラメータＨ１，Ｈ２，Ｈ３，・・・が得られることになる。なお、異なる変換パラメータを用いることの効果については、後から詳細に説明する。
【００４８】
ステップＳ１０２における近傍ｎ点の定義としては、例えば、点（ｘ，ｙ）からｎ点までの距離の和が最小になるようなｎ点の集合を選べばよい。また、点（ｘ，ｙ）から距離が近いｎ点の集合を選んでもよい。
【００４９】
また、変換パラメータの算出においては、ｎ点同士はあまり近すぎない方が好ましいため、近傍ｎ点のうち２点ｎ１，ｎ２を選択したときに、ｎ１とｎ２の間の距離がある閾値以上になるように選択するという制限を加えてもよい。
【００５０】
また、変換パラメータの算出においては、ｎ点同士は直線上にない方が好ましいため、近傍ｎ点のうち３点ｎ１，ｎ２，ｎ３を選択したときに、これら３点がなす角がある閾値以上になるように選択するという制限を加えてもよい。
【００５１】
上記では、一画素に対応する点（ｘ，ｙ）毎に変換パラメータを算出する方法について説明したが、これに代えて、部分領域毎であっても同様に処理できる。すなわち、中心座標が点（ｘ，ｙ）であるような一定の大きさを有する部分領域（複数の画素の集合）に対して同様の変換パラメータの算出を行い、得られた変換パラメータは、その部分領域内の全ての画素に共通して適用されるものとする。
【００５２】
また、部分領域としては、例えば図７に示すように画像を格子状に区切って得られる小領域を用いればよい。
【００５３】
また、画像の上方領域には遠方の領域が小さく見えることになるため、上方ほど小さく区切るようにして得られた小領域を用いてもよい。
【００５４】
次に、人物の検出について説明する。
【００５５】
上記で得られた一つの分割領域の変換パラメータによって、画像上で検出された人物の位置から地図上の位置へ変換を行う。なお、ここの説明では、分割領域として一画素の場合について説明する。
【００５６】
まず、人物が画像上の点（ｘ，ｙ）で検出されたとする。
【００５７】
次に、変換部１０７は、パラメータ記憶部１０６が記憶する図６（ｂ）の情報をもとに画像上の点（ｘ，ｙ）の変換パラメータを取得し、式（１）を用いて対応する地図上の点（ｘ′，ｙ′）を算出する。
【００５８】
次に、表示部１０８は、画像、画像上の人物位置である点（ｘ，ｙ）、地図、地図上の人物の位置の点（ｘ′，ｙ′）を表示する。
【００５９】
上記のような分割領域毎の変換パラメータを用いる効果について、図８を用いてさらに詳しく説明する。図８（ａ）は画像を表す図であり、図８（ｂ）は地図を表す図である。
【００６０】
図８（ａ）（ｂ）に示すように、点６０１と点６１１、点６０２と点６１２、・・・、点６０９と点６１９が対応付けされているとする。そして地図上では、正しくは点６２０である位置が点６２１に、点６２２が点６２３に、点６２４が点６２５に、・・・、点６３２が点６３３に誤って入力されているとする。
【００６１】
ここで実施例１の場合では、ＲＡＮＳＡＣ処理などによって、他の領域の正しい対応点情報や他の領域の正しい地図に基づいて、ある程度正確な変換パラメータが推定される。そして、その変換パラメータで全体を変換することになる。すなわち、全体としてはある程度正確な変換が行われるが、誤った地図が入力されている机６３０周辺については、地図上の誤った位置に変換されることになる。
【００６２】
例えば、机６３０の右端にいる人物６４０は、図８（ｂ）における机６３０の真の位置である点６２６、点６２８、点６３０、点６３２が囲む矩形の右端である点６４１に変換される。しかし地図上では机６４０は、誤って点６２７、点６２９、点６３１、点６３３が囲む矩形として入力されているため、人物６４０は、机６３０の内部領域である点６４１に存在するという誤った位置に変換される。
【００６３】
しかし、本実施例のように、分割領域毎に異なる変換パラメータで変換する場合は、例えば人物６４０の位置は、図８（ａ）における画像上の点６０８、点６０６、点６０７、点６０２と、図８（ｂ）における地図上の点６１８、点６１６、点６１７、点６１２の４組（又は、４組以上の点）の対応付けで算出された変換パラメータで地図上に変換する。ここで、地図における机の角部の点６２９は、真の位置の点６２８から右上にずれて入力されているが、それに合わせて対応点６１７も右上にずれて入力されることになる。
【００６４】
そのため、点６０８、点６０６、点６０７、点６０２の４点で算出された変換パラメータは、それらの周辺の画像上の点を実際の位置よりも右上にずれた形で地図上に変換することになる。人物６４０の位置も、正しい地図が入力されていた場合の位置の点６４１よりも右上にずれた点６４２に変換される。この結果、人物６４０は、点６２７、点６１９、点６３１、点６３３が囲む机６３０の横に存在すると正しく判定されることになる。
【００６５】
本実施例によれば、地図の位置に様々なずれがあっても、その近傍の対応点で算出される変換パラメータがそのずれに合わせた位置変換を行うため、正しく地図上での位置を確認できる。そして、このような画像上の点６０８、点６０６、点６０７、点６０２の周辺の点に適用される局所的に歪んだ変換は、画面上の他の点には影響を与えないため、例えば正しく入力されている机６５０周辺の地図情報は、その歪んだ変換の影響を受けることなく正しい位置に変換される。
【００６６】
上記説明では、人物の検出については、人物の画像上の点（ｘ，ｙ）のおける一画素の変換パラメータを用いて変換したが、これに限らず次のような方法がある。
【００６７】
例えば、人物の画像上の点（ｘ，ｙ）の近傍にある点（画素）の変換パラメータを用いてもよい。例えば、点（ｘ，ｙ）において変換パラメータが、近傍にある点における変換パラメータと極端に異なっている場合には、近傍の点における変換パラメータが不正確であると考えられる。この場合、最も近傍にある算出された点（画素）の変換パラメータを用いることが好ましい。
【００６８】
上記説明では、人物の検出については、人物の画像上の点（ｘ，ｙ）のおける一画素の変換パラメータを用いて変換したが、部分領域についても同様に用いることができる。
【００６９】
例えば、人物の画像上の点（ｘ，ｙ）を含む部分領域の変換パラメータを用いる。
【００７０】
また、人物の画像上の点（ｘ，ｙ）と最も近傍にある部分領域の変換パラメータを用いてもよい。この場合は、例えば、点（ｘ，ｙ）を含む部分領域において近傍にある点における変換パラメータと極端に異なっている場合には、最も近傍にある算出された部分領域の変換パラメータを用いる。
【００７１】
ところで、このような局所的に歪んだ変換を用いると、分割領域の境界で変換パラメータが異なることから、座標変換が不連続になる。そのため、分割領域の境界においては、その周辺の分割領域の変換パラメータによって算出される座標も考慮し、例えば周辺の分割領域の変換パラメータによって算出された座標の平均値を用いることで、座標変換が不連続になることを防止できる。
【実施例３】
【００７２】
本発明の実施例３の対応付け装置１００について図９に基づいて説明する。
【００７３】
本実施例と実施例２と異なる構成は、本実施例では、図９に示すように、複数の対応入力部１０３と表示部１０８を備え、それらが情報記憶部１０４と通信部１１０（例えば、ＬＡＮ）を介して接続され、それぞれで、個々のユーザが対応点情報を入力する。
【００７４】
まず、各ユーザは、自分の周辺のみの対応付けを対応入力部１０３に入力する。
【００７５】
複数のユーザが入力したそれぞれの対応点情報は、対応入力部１０３から通信部１１０によって情報記憶部１０４に集められ、上記実施例１、２と同様の処理が行う。
【００７６】
本実施例によれば、複数のユーザが分散的に対応付け入力を行うことにより、管理者による対応付け入力作業を軽減できる。
【００７７】
また、複数のユーザによる複数の入力により、他の入力との誤差が大きい入力を誤入力として除外することで処理結果を安定化させ、多数の対応点を用いることでＲＡＮＳＡＣ処理のを安定化させ、分割領域を細かく設定でき、適切な画像上の情報と地図上の情報の変換が行える。
【実施例４】
【００７８】
本発明の実施例４の対応付け装置１００について図１０に基づいて説明する。
【００７９】
本実施例と実施例３の異なる構成は、図１０に示すように、複数の対応入力部１０３と表示部１０８に加えて、複数の地図入力部１０２を備えていることにある。
【００８０】
表示部１０８は、地図（机の配置などの情報）を画像上に重畳表示させることもできるため、ユーザは重畳情報をもとに地図のずれを修正できる。
【００８１】
本実施例によれば、対応点情報だけでなく地図も、複数のユーザが分散的に入力、修正できるため、管理者による地図入力作業を低減できる。
【変更例】
【００８２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の主旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８３】
本実施形態の対応付け装置１００は、上記各実施例では、室内の机の配置に関する地図で説明したが、これに代えて次のようなものにも適応できる。
【００８４】
劇場の座席の配置図を地図として入力し、画像に写った人物の位置を対応付ける。
【００８５】
美術館や博物館の展示品の配置図を地図として入力し、画像に写った人物の位置を対応付ける。
【００８６】
工場内に設置された機械の配置図を地図として入力し、画像に写った作業員の位置を対応付ける。
【００８７】
病院の病室にあるベッドの配置図を地図として入力し、画像に写った人物の位置を対応付ける。
【００８８】
病院の待合室にある椅子やソファーの配置図を地図として入力し、画像に写った人物の位置を対応付ける。
【００８９】
ホテルのロビーにあるソファーの配置図を地図として入力し、画像に写った人物の位置を対応付ける。
【００９０】
学校、幼稚園、保育園などの部屋の内部にある机、テーブル、椅子、ソファー、玩具などの配置図を地図として入力し、画像に写った児童、園児、先生などの位置を対応付ける。
【００９１】
駅の構内の設置物の配置図を地図として入力し、画像に写った人物の位置を対応付ける。
【００９２】
船、車、列車、飛行機の内部の部屋、区画、座席の配置図を地図として入力し、画像に写った乗客や乗員の位置を対応付ける。
【００９３】
駐車場の各車の止める区画を表す図を地図として入力し、画像に写った車の位置を対応付ける。
【符号の説明】
【００９４】
１００・・・対応付け装置、１０１・・・画像入力部、１０２・・・地図入力部、１０３・・・対応入力部、１０４・・・情報記憶部、１０５・・・算出部、１０６・・・パラメータ記憶部、１０７・・・変換部、１０８・・・表示部
【特許請求の範囲】
【請求項１】
画像が入力される画像入力部と、
地図が入力される地図入力部と、
前記画像上の点と前記地図上の点との対応関係を示す対応点情報を入力する対応入力部と、
前記対応点情報に基づいて、前記画像の分割領域毎に変換パラメータを算出する算出部と、
前記分割領域毎の前記変換パラメータを用いて、前記画像上の所定の位置を前記地図上の位置に変換する変換部と、
を有することを特徴とする対応付け装置。
【請求項２】
前記算出部が、ある分割領域に関する前記変換パラメータを算出する場合に、前記分割領域における前記対応点情報に加えて、前記分割領域の近傍に存在する複数の前記分割領域の対応点情報も用いる、
ことを特徴とする請求項１に記載の対応付け装置。
【請求項３】
前記分割領域が、前記画像上における一画素、又は、前記画像上における複数の画素の集合である部分領域である、
ことを特徴とする請求項２に記載の対応付け装置。
【請求項４】
前記変換部は、前記画像上の所定の位置に対応する前記一画素、又は、前記画像上の所定の位置を含む前記部分領域の前記変換パラメータを用いる、
ことを特徴とする請求項３に記載の対応付け装置。
【請求項５】
前記対応入力部と前記表示部とを複数組有し、
前記各対応入力部と前記各表示部と、前記算出部とを接続する通信部とをさらに有する、
ことを特徴とする請求項４に記載の対応付け装置。
【請求項６】
前記対応入力部と前記表示部と前記地図入力部を複数組有し、
前記各対応入力部、前記各表示部及び前記各地図入力部と、前記算出部とを接続する通信部とをさらに有する、
ことを特徴とする請求項４に記載の対応付け装置。
【請求項１】
画像が入力される画像入力部と、
地図が入力される地図入力部と、
前記画像上の点と前記地図上の点との対応関係を示す対応点情報を入力する対応入力部と、
前記対応点情報に基づいて、前記画像の分割領域毎に変換パラメータを算出する算出部と、
前記分割領域毎の前記変換パラメータを用いて、前記画像上の所定の位置を前記地図上の位置に変換する変換部と、
を有することを特徴とする対応付け装置。
【請求項２】
前記算出部が、ある分割領域に関する前記変換パラメータを算出する場合に、前記分割領域における前記対応点情報に加えて、前記分割領域の近傍に存在する複数の前記分割領域の対応点情報も用いる、
ことを特徴とする請求項１に記載の対応付け装置。
【請求項３】
前記分割領域が、前記画像上における一画素、又は、前記画像上における複数の画素の集合である部分領域である、
ことを特徴とする請求項２に記載の対応付け装置。
【請求項４】
前記変換部は、前記画像上の所定の位置に対応する前記一画素、又は、前記画像上の所定の位置を含む前記部分領域の前記変換パラメータを用いる、
ことを特徴とする請求項３に記載の対応付け装置。
【請求項５】
前記対応入力部と前記表示部とを複数組有し、
前記各対応入力部と前記各表示部と、前記算出部とを接続する通信部とをさらに有する、
ことを特徴とする請求項４に記載の対応付け装置。
【請求項６】
前記対応入力部と前記表示部と前記地図入力部を複数組有し、
前記各対応入力部、前記各表示部及び前記各地図入力部と、前記算出部とを接続する通信部とをさらに有する、
ことを特徴とする請求項４に記載の対応付け装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−４８５２３（Ｐ２０１２−４８５２３Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１０−１９０４０５（Ｐ２０１０−１９０４０５）
【出願日】平成２２年８月２７日（２０１０．８．２７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２２年８月２７日（２０１０．８．２７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]