画像検索装置及び画像検索システム
【課題】 プラントの保守や建設現場で、作業者を支援する技術として、カメラで撮影した画像を送受信して作業者に情報提供する際、カメラ位置を特定する手段として有用なものがなかった。
【解決手段】 カメラで撮影された画像を検索クエリとし、CAD図面データベース（３１）により生成した画像に対して、類似画像検索を行う（３０）ことで、そのカメラの撮影位置を特定することとする。
【解決手段】 カメラで撮影された画像を検索クエリとし、CAD図面データベース（３１）により生成した画像に対して、類似画像検索を行う（３０）ことで、そのカメラの撮影位置を特定することとする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影した画像について検索を行う画像検索装置及び画像検索システムに関する。
【背景技術】
【０００２】
近年、海外でのプラントの保守や建設の計画が進む一方、熟練者不足が予測されおり、経験の浅い作業員の割合が増加すると予測されている。そのため、IT機器を利用して作業員の補助をする機能が求められている。例えば、海外の建設現場にカメラを多数配置し、インターネットを経由して国内にいる監督者に画像を提供することで、監督者は国内にいながらにして複数の建設現場への指示を行うことが可能となり、効率よく作業指示などの監督業務を行うことができる。
【０００３】
ここで、作業者を支援する技術として、カメラで撮影した画像に文字等の情報を重畳表示することで情報提示する、拡張現実感(Augmented Reality: AR)と呼ばれる技術を応用することにより、作業者を支援する技術が開発されつつある。例えば、GPSおよび電子コンパスよりカメラの位置および方向を取得し、該方向に関連する文字や画像を、カメラで撮影した画像に重畳表示する技術がある。特許文献１には、GPSと電子コンパスと焦点距離から、カメラの地図情報空間上での位置を取得し、3D-CAD上での視野空間を求め、その視野空間中に存在する構造物の属性情報をカメラで得た画像に重畳表示することが記載されている。
【０００４】
また、非特許文献1に示す通り、情報提供したい箇所に、二次元コードを予め設置し、該設置してある二次元コードをカメラで読み取り認識し、カメラにより撮影した画像の二次元コードの位置に情報を提示する技術がある。拡張現実感をプラントの保守や建設現場で応用することにより、機器の状態や内部構造を可視化し状態把握を補助したりすることが可能となる。これにより、効率的に作業を支援することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平10-267671号
【非特許文献】
【０００６】
【非特許文献１】X.Zhang, S.Fronz, N.Navab: Visual Marker Detection and Decoding in AR Systems: A Comparative Study, Proc. of International Symposium on Mixed and Augmented Reality (ISMAR'02), 2002.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献1では、GPSおよび電子コンパスを使用することによって、位置を把握している。しかしながら、プラントの保守に適用する場合、屋内のためGPSによる位置把握ができないという課題がある。屋内GPSなども実用化されているが、施設の条件によっては設置が困難な場合がある。また、磁場の変化に敏感な電子コンパスや磁界センサは、プラント内部で使用できない場合がある。
【０００８】
また、非特許文献1のように、二次元コードを予め配置する場合には、設置の手間がかかり、場所によっては設置自体が困難なこともある。プラント内は配管等が複雑に入り組んでいるため二次元コードが隠れて撮影されない場合や、二次元コードを設置した位置にしか情報が提示できないため離散的になるという課題がある。また、稼働中の機器に関しては二次元コードを設置することが困難であるため、使用できない。
【課題を解決するための手段】
【０００９】
そこで、本願では、画像検索技術によって、カメラの撮影位置を特定するものとした。具体的には、カメラで撮影された画像を検索クエリとし、CAD図面データベースにより生成した画像に対して、類似画像検索を行うことで、そのカメラの撮影位置を特定することとする。
【００１０】
このとき、カメラには、特定された撮影位置を表示する表示部があると好ましい。
【発明の効果】
【００１１】
本発明によれば、画像検索技術のみでカメラの撮影位置を特定できるため、GPSや電子コンパスのようなセンサが不要であり、かつ二次元コードを予め設置する必要が無い。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例の画像ネットワークシステムの構成を示すブロック図である。
【図２】本発明の実施例のカメラ付き端末の機能を表すブロック図である。
【図３】本発明の実施例の検索サーバの機能を表すブロック図である。
【図４】本発明の実施例のカメラサーバの機能を表すブロック図である。
【図５】本発明の実施例のCG画像のフォーマットを示す表である。
【図６】本発明の実施例のフレーム画像のフォーマットを示す表である。
【図７】本発明の実施例の位置情報データのフォーマットを示す表である。
【図８】本発明の実施例のカメラ位置取得方法を示す模式図である。
【図９】本発明の実施例のカメラ位置取得手順を示すシーケンス図である。
【図１０】本発明の実施例の位置情報表示手順を示すシーケンス図である。
【図１１】本発明の実施例の位置情報表示方法を示す模式図である。
【図１２】本発明の実施例２の位置情報表示手順を示すシーケンス図である。
【図１３】本発明の実施例３の作業工程に応じたCG画像生成を示す表である。
【図１４】本発明の実施例４の設計と施工結果の差異検出フローを示す図である。
【発明を実施するための形態】
【実施例１】
【００１３】
次に、本発明の実施例について、図面を参照して説明する。図１は、本発明の実施例の画像検索システムの構成を示すブロック図である。
【００１４】
＜画像検索システムの構成＞
本発明の実施例の画像検索システムは、カメラ付き端末１０、カメラサーバ２０、検索サーバ３０を備える。なお、図１で作業工程表３４は実施例３で用いるもので、必須の構成ではない。
【００１５】
本発明の実施例の画像検索システムによると、カメラ付き端末１０は作業員５０が保持しており、位置に応じた情報を作業員へと提示する。そのため、カメラ付き端末は図２に示す通りカメラ１０１、表示部１０３、通信部１０２、を備え、各々を制御する制御部１０４を備える。
【００１６】
図３は本実施例の画像検索システムにおける、検索サーバ３０の機能ブロック図である。検索サーバ３０は、CPU、メモリ、ネットワークインタフェース、HDDやSSD等の記録装置、キーボードやマウス等の入力装置、ディスプレイを備える計算機であり、機能は制御部３０１、データベース管理部３０２、CG画像生成部３０３、検索部３０４、通信部３０５を備える。制御部３０１はCPU上で動作するプログラムであり、データベース管理部３０２、CG画像生成部３０３、検索部３０４、通信部３０５の各プロセスを管理する。データベース管理部３０２は、記録装置上に配置されているデータベースであるCAD図面DB３１、CG画像DB３２、位置情報DB３３、作業工程表３４のデータの入出力を管理するプログラムである。CG画像生成部３０３は、CPUまたはGPU上で動作するプログラムであり、CAD図面DB３１より取得したCAD図面より透視図法等を用いてCG画像データ５０４を生成し、該CG画像５０４より色合い・形状等の情報を数値列として表現した画像特徴量５０５を算出し、該CG画像５０４と該画像特徴量５０５とをCG画像DB３２へと保存する。なお、CG画像は色合いや表面の質感といったテクスチャが、実物を撮影した画像と異なることがありうるため、形状の情報を数値列として表現した画像特徴量を用いても良い。形状特徴の代表例としては、非特許文献2に示される通り、エッジパターン特徴量が挙げられる。エッジパターン特徴量は、画像内に撮影されている物体のエッジのパターンを数値化した特徴量である。予め複数の特徴的なエッジパターンを設定する。そして、CG画像を格子状の領域に分割を行い、各領域内に含まれるエッジパターンの数を数えることで、ヒストグラムを生成することにより、多次元ベクトルを生成する。該多次元ベクトルを画像特徴量として用いる。
【００１７】
CG画像の生成は、人間の視点が通る箇所に限定して生成しても良く、例えばプラントのタービン建屋の面積が2万m2で4階建てである場合、床上1.5mの高さで1m置きに10°刻みで画像を生成した場合の画像数は288万枚となる。また、建設中の作業現場の場合、作業工程表３４を参照し建設途中のCG画像を作成しても良い。
検索部３０４は、カメラサーバ２０で算出された特徴量１３をクエリとし、CG画像DB３２に格納されている画像特徴量５０５との間で、ベクトル空間中での距離が評価され、その距離が小さいものを類似した画像と判定され、検索結果としてID５０１を制御部３０１へと返戻する。非特許文献2によれば、前記288万枚の画像を検索するために要する時間は1秒未満である。
【００１８】
【非特許文献２】D. Matsubara and A. Hiroike, "High-speed Similarity-based Image Retrieval with Data-alignment Optimization using Self-organization Algorithm," 11th IEEE International Symposium on Multimedia, pp.312--317, 2009.
【００１９】
通信部３０５はネットワークインタフェースであり、カメラサーバ２０と通信をして特徴量１３や画像データ１１の受信を行ったり、位置情報データ１２の送信を行ったりする。
【００２０】
図４は、本実施例の画像検索システムにおける、カメラサーバ２０の機能ブロック図である。カメラサーバ２０は、CPU、メモリ、ネットワークインタフェース、HDDやSSD等の記録装置、キーボードやマウス等の入力装置、ディスプレイを備える計算機であり、制御部４０１、特徴量算出部４０２、ID変換部４０３、通信部４０４からなる。制御部４０１はCPU上で動作するプログラムであり、特徴量算出部４０２、ID変換部４０３、通信部４０４の各プロセスを管理する。特徴量算出部４０２は、カメラ付き端末１０で得られた画像データ１１を通信部４０４を介して受け取り、該画像データ１１の色合い・形状等の情報を数値列として表現した特徴量１３を算出し、算出した特徴量１３を通信部４０４を介して検索サーバ３０へと送信する。ID変換部４０３は、カメラ付き端末１０に割り振られているIPアドレスないしMACアドレス等の固有IDを、システムが解釈可能なカメラIDへと変換する。通信部４０４はネットワークインタフェースであり、カメラ付き端末１１と通信して画像データ１１を受信したり、検索サーバ３０と通信して特徴量１３を送信したりする。
【００２１】
図５に、CG画像DB３２に保存されているCG画像５１のフォーマットを示す。CG画像５１は、ID５０１、カメラ位置５０２、カメラ方向５０３、CG画像データ５０４、画像特徴量５０５からなる。ID５０１はデータ毎に割り振られている固有番号である。カメラ位置５０２は、該CG画像５１を生成する際のCAD図面上でのカメラの座標である。カメラ方向５０３は、該CG画像５１を生成する際のCAD図面上でのカメラ方向である。CG画像データ５０４は、CAD図面よりCG画像生成部３０３において生成されるCG画像の画像データである。画像特徴量５０５はCG画像生成部３０３にてCG画像より生成される数値列である。
【００２２】
図6は、カメラ付き端末１０で撮影されたフレーム画像１１のデータフォーマットを表す。フレーム画像１１はカメラID６０１、取得時刻６０２、画像データ６０３からなる。カメラ付き端末１０は、カメラサーバ２０からの画像要求に応じてカメラ１０１にて画像データ６０３を撮影し、通信部１０２を通じてカメラサーバ２０へと送信する。該画像データ６０３を受信したカメラサーバ２０は、該画像データ６０３を撮影したカメラのIDであるカメラID６０１、取得時刻６０２を該画像６０３に付与し、フレーム画像１１を生成する。そして、カメラサーバ２０はフレーム画像１１から特徴量算出部４０２にて該画像データ６０３より特徴量を算出し、該特徴量を通信部４０４より検索サーバ３０へと送付する。また、フレーム画像１１は検索サーバ３０からの要求に応じて、検索サーバ３０へと通信部４０４より送付される。
＜カメラ位置推定＞
次に、カメラ付き端末１０の位置特定方法を、図8の模式図および図9のシーケンス図に基づき説明する。
【００２３】
図８はカメラ位置を取得する方法を示した模式図である。カメラ付き端末１０で撮影したフレーム画像をクエリとし、カメラサーバ２０において特徴量を算出した後に検索サーバ３０へと特徴量が送付される。検索サーバではCG画像DBに保存されているCG画像の特徴量とのベクトル空間内での距離が算出され、最も距離が近いCG画像がカメラで取得されたフレーム画像の類似画像として取得される。その後、該CG画像と共にCG画像DBに保存されているカメラ位置およびカメラ方向を取得し、該カメラ位置とカメラ方向をカメラ付き端末１０へと送付する。
【００２４】
図9は、カメラ位置取得手順を示す、シーケンス図である。カメラ付き端末１０は、カメラサーバ２０の画像要求９０１に応じて、画像取得９０２を行い、該画像をフレーム画像１１としてカメラサーバ２０へと返戻９０３する。カメラサーバ２０はフレーム画像１１を受信すると、特徴量算出部４０２において特徴量１３を算出し、該特徴量１３をフレーム画像１１と共に検索サーバ３０へと送付する９０５。なお、送付する情報は検索に必要な情報のみでも良く、カメラID６０１と特徴量１３のみでも良い。検索サーバ３０は該特徴量を受信すると、検索部３０４において該特徴量とCG画像DB３２に登録されているCG画像の画像特徴量５０５とのベクトル空間中での距離を評価することで検索し９０６、最も距離が近いCG画像を取得する。その後、該CG画像を生成した際のカメラ位置５０２、カメラ方向５０３を取得し、該カメラ位置と該カメラ方向をカメラサーバ２０へと送付９０７し、カメラサーバ２０は該カメラ位置と該カメラ方向をカメラ付き端末１１へと送付９０８する。
＜位置情報の表示＞
カメラ付き端末の表示部１０３への位置情報７１の表示方法に関して、図７の位置情報データを示す表、図１１の模式図および図１０のシーケンス図に基づき説明する。
【００２５】
図７は、位置情報DB３３に格納されている位置情報データ７１を示した表である。位置情報データ７１は、メッセージID７０１、メッセージ７０２、メッセージ位置７０３からなる。メッセージID７０１は、メッセージ毎に割り振られている固有IDである。メッセージ７０２は、重畳表示する情報であり、テキストデータや画像、工程表や作業手順などのドキュメントである。メッセージ位置７０３は、メッセージ７０２を重畳表示させたい位置であり、3D-CAD上での座標である。
図１１はカメラ位置を取得する方法を示した模式図である。カメラ付き端末１０で撮影したフレーム画像をクエリとし、カメラサーバ２０において特徴量を算出した後に検索サーバ３０へと特徴量が送付される。検索サーバではCG画像DBに保存されているCG画像の特徴量とのベクトル空間内での距離が算出され、最も距離が近いCG画像がカメラで取得されたフレーム画像の類似画像として取得される。その後、該CG画像と共にCG画像DBに保存されているカメラ位置およびカメラ方向を取得する。そして、該カメラ位置およびカメラ方向より撮影範囲を算出し、該撮影範囲内に含まれる位置情報を位置情報DB３３より座標をクエリとして検索することにより取得する。取得した位置情報は、画像表示端末へと送付され、画像表示端末では取得しているフレーム画像に該位置情報を重畳表示１１０２する。なお、重畳表示する情報は座標をクエリとして取得するため、オクルージョンのある箇所の情報を取得し、表示することも可能である。例えば、message2（１１０３）に示す通り、ポンプ裏側の配管の状態など、通常の状態では隠れた部分や、非特許文献１における２次元コードを貼付できない場所でも、表示することも可能である。また、カメラ位置をCAD図面上に表示１１０１することで、作業員は自身の位置を把握することも可能となる。なお、このメッセージの内容は、作業の手順、作業の危険度や保守管理における注意事項などが挙げられる。従って、作業員は、このメッセージを見て、どのような危険に留意すべきか、または、次の作業手順などを確認することができる。
【００２６】
図１０は、カメラ位置に応じた位置情報表示の手順を表すシーケンス図である。カメラ付き端末１０は、カメラサーバ２０からの画像要求１００１に応じてカメラ部１０１にて画像取得１００２を行い、該画像をフレーム画像１００３としてカメラサーバ２０へと返戻する。カメラサーバ２０は該フレーム画像１００３を受信すると、特徴量算出部４０２において特徴量１３を算出し、該特徴量１３をフレーム画像１１と共に検索サーバ４０へと送付する１００５。なお、送付する情報は検索に必要な情報のみでも良く、カメラID６０１と特徴量１３のみでも良い。検索サーバ４０は該特徴量を受信すると、検索部３０４において該特徴量とCG画像DB３２に登録されているCG画像の画像特徴量５０５とのベクトル空間中での距離を評価することで検索１００６し、最も距離が近いCG画像を取得する。その後、該CG画像を生成した際のカメラ位置５０２、カメラ方向５０３を取得する。その後、該カメラで撮影し得る範囲を算出し、該撮影範囲内にある位置情報を検索部３０４において位置情報DB３３から検索することで取得１００７し、該位置情報５１のメッセージ位置７０３をフレーム画像１１での座標へと変換し、メッセージ内容７０２と共にカメラサーバへと送付１００８する。カメラサーバ２０は、受信したメッセージ位置およびメッセージ内容を、該当カメラ付き端末１０へと送付１００９する。該カメラ付き端末１０は、フレーム画像１１にメッセージを重畳表示１０１０することにより、位置情報を提示する。
【実施例２】
【００２７】
本発明によるカメラ位置推定の第2の実施例を記す。図１２は、CG画像を更新する場合のカメラ付き端末１０の位置特定手順を示すシーケンス図である。CADより生成するCG画像は、色などのテクスチャが実際の画像と異なるため、フレーム画像をクエリとしてCG画像を検索する時はエッジ方向などの特徴量を用いて検索を行う必要がある。そこで、実際の画像が撮影され、撮影位置および方向が既知となった場合、該フレーム画像によりCG画像を置き換えることで、次回からはテクスチャ情報も使用して検索が可能となり、検索精度を向上することが可能となる。
カメラ付き端末１０は、カメラサーバ２０の画像要求１２０１に応じて、画像取得１２０２を行い、該画像をフレーム画像１１としてカメラサーバ２０へと返戻１２０３する。カメラサーバ２０はフレーム画像１１を受信すると、特徴量算出部１２０２において特徴量１３を算出し、該特徴量１３をフレーム画像１１と共に検索サーバ３０へと送付する１２０５。なお、送付する情報は検索に必要な情報のみでも良く、カメラID６０１と特徴量１３のみでも良い。検索サーバ３０は該特徴量を受信すると、検索部３０４において該特徴量とCG画像DB３２に登録されているCG画像の画像特徴量５０５とのベクトル空間中での距離を評価することで検索し１２０６、最も距離が近いCG画像を取得する。その後、該CG画像を生成した際のカメラ位置５０２、カメラ方向５０３を取得し、該カメラ位置と該カメラ方向をカメラサーバ２０へと送付１２０７し、カメラサーバ２０は該カメラ位置と該カメラ方向をカメラ付き端末１１へと送付１２０８する。検索サーバ３０はCG画像DB３２内のCG画像データ５０４を、前記フレーム画像１１の画像データ６０３で上書きすることにより、CG画像DBを更新１２０９する。
【実施例３】
【００２８】
本発明によるカメラ位置推定の、作業工程に応じたCG画像生成を表す実施例を記す。作業工程に応じてCG画像を生成することで、CAD図面から建設中の画像を生成可能となる。
【００２９】
図13は、作業工程表と作業工程に応じて生成されたCG画像の対応を示す表である。作業工程表３４は検索サーバ上のデータベースに格納されており、作業場所毎に日時１３０１および作業内容１３０２が記載されている。検索サーバは所定の時刻、あるいはユーザが指定したタイミングで作業工程表３４より作業工程を取得し、作業進捗を把握しCG画像生成部３０３にて作業進捗に応じたCG画像を生成する。例えば、建屋施工工程であればCAD図面DB３１より建屋のCADデータを取得し、CG画像１３１１を生成し、CG画像DB３２を更新する。同様に、ポンプ据え付け工事後であれば、CAD図面DB３１より建屋とポンプのCADデータを取得し、CG画像１３１２を生成し、配管施工後であれば配管配置後の建屋のCADデータからCG画像１３１３を生成し、CG画像DB３２を更新する。これにより、工程管理をスムーズに行うことができる。
【実施例４】
【００３０】
本発明による実施例の、設計と施工結果の差異を算出する実施例を記す。
図14は設計と施工結果の差異を算出する場合の処理の流れを表した図である。カメラ付き端末１０で撮影したフレーム画像をクエリとし、カメラサーバ２０において特徴量を算出した後に検索サーバ３０へと該フレーム画像１１と特徴量１３が送付される。検索サーバではCG画像DB３２に保存されているCG画像５１の画像特徴量５０５とのベクトル空間内での距離が算出され、最も距離が近いCG画像がカメラで取得されたフレーム画像１１の類似画像として取得される。その後、該フレーム画像１１とCG画像５１のCG画像データ５０４とでピクセル毎の差分を算出１４０３することで、設計と施工結果の差異を算出する。差分値が閾値(例えば、輝度値の差が50)を下回る画素の画素値を0とした差分画像１４０４を算出して提示することで、設計と施工結果の差異を把握することが可能となる。
【００３１】
以上説明したように、本発明の各実施例では、カメラ付き端末、カメラサーバ、検索サーバが協業し、検索サーバがCG画像群を生成し、カメラサーバが算出した特徴量を用いて検索サーバが保持するCG画像群より最も類似した画像を算出することで、カメラ付き端末の位置を特定することができる。また、撮影範囲内の位置情報を位置情報DBから検索により取得することで、カメラ付き端末の表示部に位置情報を提示することが可能である。
【００３２】
以上、本発明の種々の実施の例を詳述してきたが、本発明これらの実施例に限定されるものでないこと言うまでもない。
【符号の説明】
【００３３】
１０：カメラ付き端末、１１：フレーム画像、１２：位置情報データ、１３：特徴量。
【技術分野】
【０００１】
本発明は、カメラで撮影した画像について検索を行う画像検索装置及び画像検索システムに関する。
【背景技術】
【０００２】
近年、海外でのプラントの保守や建設の計画が進む一方、熟練者不足が予測されおり、経験の浅い作業員の割合が増加すると予測されている。そのため、IT機器を利用して作業員の補助をする機能が求められている。例えば、海外の建設現場にカメラを多数配置し、インターネットを経由して国内にいる監督者に画像を提供することで、監督者は国内にいながらにして複数の建設現場への指示を行うことが可能となり、効率よく作業指示などの監督業務を行うことができる。
【０００３】
ここで、作業者を支援する技術として、カメラで撮影した画像に文字等の情報を重畳表示することで情報提示する、拡張現実感(Augmented Reality: AR)と呼ばれる技術を応用することにより、作業者を支援する技術が開発されつつある。例えば、GPSおよび電子コンパスよりカメラの位置および方向を取得し、該方向に関連する文字や画像を、カメラで撮影した画像に重畳表示する技術がある。特許文献１には、GPSと電子コンパスと焦点距離から、カメラの地図情報空間上での位置を取得し、3D-CAD上での視野空間を求め、その視野空間中に存在する構造物の属性情報をカメラで得た画像に重畳表示することが記載されている。
【０００４】
また、非特許文献1に示す通り、情報提供したい箇所に、二次元コードを予め設置し、該設置してある二次元コードをカメラで読み取り認識し、カメラにより撮影した画像の二次元コードの位置に情報を提示する技術がある。拡張現実感をプラントの保守や建設現場で応用することにより、機器の状態や内部構造を可視化し状態把握を補助したりすることが可能となる。これにより、効率的に作業を支援することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平10-267671号
【非特許文献】
【０００６】
【非特許文献１】X.Zhang, S.Fronz, N.Navab: Visual Marker Detection and Decoding in AR Systems: A Comparative Study, Proc. of International Symposium on Mixed and Augmented Reality (ISMAR'02), 2002.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献1では、GPSおよび電子コンパスを使用することによって、位置を把握している。しかしながら、プラントの保守に適用する場合、屋内のためGPSによる位置把握ができないという課題がある。屋内GPSなども実用化されているが、施設の条件によっては設置が困難な場合がある。また、磁場の変化に敏感な電子コンパスや磁界センサは、プラント内部で使用できない場合がある。
【０００８】
また、非特許文献1のように、二次元コードを予め配置する場合には、設置の手間がかかり、場所によっては設置自体が困難なこともある。プラント内は配管等が複雑に入り組んでいるため二次元コードが隠れて撮影されない場合や、二次元コードを設置した位置にしか情報が提示できないため離散的になるという課題がある。また、稼働中の機器に関しては二次元コードを設置することが困難であるため、使用できない。
【課題を解決するための手段】
【０００９】
そこで、本願では、画像検索技術によって、カメラの撮影位置を特定するものとした。具体的には、カメラで撮影された画像を検索クエリとし、CAD図面データベースにより生成した画像に対して、類似画像検索を行うことで、そのカメラの撮影位置を特定することとする。
【００１０】
このとき、カメラには、特定された撮影位置を表示する表示部があると好ましい。
【発明の効果】
【００１１】
本発明によれば、画像検索技術のみでカメラの撮影位置を特定できるため、GPSや電子コンパスのようなセンサが不要であり、かつ二次元コードを予め設置する必要が無い。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例の画像ネットワークシステムの構成を示すブロック図である。
【図２】本発明の実施例のカメラ付き端末の機能を表すブロック図である。
【図３】本発明の実施例の検索サーバの機能を表すブロック図である。
【図４】本発明の実施例のカメラサーバの機能を表すブロック図である。
【図５】本発明の実施例のCG画像のフォーマットを示す表である。
【図６】本発明の実施例のフレーム画像のフォーマットを示す表である。
【図７】本発明の実施例の位置情報データのフォーマットを示す表である。
【図８】本発明の実施例のカメラ位置取得方法を示す模式図である。
【図９】本発明の実施例のカメラ位置取得手順を示すシーケンス図である。
【図１０】本発明の実施例の位置情報表示手順を示すシーケンス図である。
【図１１】本発明の実施例の位置情報表示方法を示す模式図である。
【図１２】本発明の実施例２の位置情報表示手順を示すシーケンス図である。
【図１３】本発明の実施例３の作業工程に応じたCG画像生成を示す表である。
【図１４】本発明の実施例４の設計と施工結果の差異検出フローを示す図である。
【発明を実施するための形態】
【実施例１】
【００１３】
次に、本発明の実施例について、図面を参照して説明する。図１は、本発明の実施例の画像検索システムの構成を示すブロック図である。
【００１４】
＜画像検索システムの構成＞
本発明の実施例の画像検索システムは、カメラ付き端末１０、カメラサーバ２０、検索サーバ３０を備える。なお、図１で作業工程表３４は実施例３で用いるもので、必須の構成ではない。
【００１５】
本発明の実施例の画像検索システムによると、カメラ付き端末１０は作業員５０が保持しており、位置に応じた情報を作業員へと提示する。そのため、カメラ付き端末は図２に示す通りカメラ１０１、表示部１０３、通信部１０２、を備え、各々を制御する制御部１０４を備える。
【００１６】
図３は本実施例の画像検索システムにおける、検索サーバ３０の機能ブロック図である。検索サーバ３０は、CPU、メモリ、ネットワークインタフェース、HDDやSSD等の記録装置、キーボードやマウス等の入力装置、ディスプレイを備える計算機であり、機能は制御部３０１、データベース管理部３０２、CG画像生成部３０３、検索部３０４、通信部３０５を備える。制御部３０１はCPU上で動作するプログラムであり、データベース管理部３０２、CG画像生成部３０３、検索部３０４、通信部３０５の各プロセスを管理する。データベース管理部３０２は、記録装置上に配置されているデータベースであるCAD図面DB３１、CG画像DB３２、位置情報DB３３、作業工程表３４のデータの入出力を管理するプログラムである。CG画像生成部３０３は、CPUまたはGPU上で動作するプログラムであり、CAD図面DB３１より取得したCAD図面より透視図法等を用いてCG画像データ５０４を生成し、該CG画像５０４より色合い・形状等の情報を数値列として表現した画像特徴量５０５を算出し、該CG画像５０４と該画像特徴量５０５とをCG画像DB３２へと保存する。なお、CG画像は色合いや表面の質感といったテクスチャが、実物を撮影した画像と異なることがありうるため、形状の情報を数値列として表現した画像特徴量を用いても良い。形状特徴の代表例としては、非特許文献2に示される通り、エッジパターン特徴量が挙げられる。エッジパターン特徴量は、画像内に撮影されている物体のエッジのパターンを数値化した特徴量である。予め複数の特徴的なエッジパターンを設定する。そして、CG画像を格子状の領域に分割を行い、各領域内に含まれるエッジパターンの数を数えることで、ヒストグラムを生成することにより、多次元ベクトルを生成する。該多次元ベクトルを画像特徴量として用いる。
【００１７】
CG画像の生成は、人間の視点が通る箇所に限定して生成しても良く、例えばプラントのタービン建屋の面積が2万m2で4階建てである場合、床上1.5mの高さで1m置きに10°刻みで画像を生成した場合の画像数は288万枚となる。また、建設中の作業現場の場合、作業工程表３４を参照し建設途中のCG画像を作成しても良い。
検索部３０４は、カメラサーバ２０で算出された特徴量１３をクエリとし、CG画像DB３２に格納されている画像特徴量５０５との間で、ベクトル空間中での距離が評価され、その距離が小さいものを類似した画像と判定され、検索結果としてID５０１を制御部３０１へと返戻する。非特許文献2によれば、前記288万枚の画像を検索するために要する時間は1秒未満である。
【００１８】
【非特許文献２】D. Matsubara and A. Hiroike, "High-speed Similarity-based Image Retrieval with Data-alignment Optimization using Self-organization Algorithm," 11th IEEE International Symposium on Multimedia, pp.312--317, 2009.
【００１９】
通信部３０５はネットワークインタフェースであり、カメラサーバ２０と通信をして特徴量１３や画像データ１１の受信を行ったり、位置情報データ１２の送信を行ったりする。
【００２０】
図４は、本実施例の画像検索システムにおける、カメラサーバ２０の機能ブロック図である。カメラサーバ２０は、CPU、メモリ、ネットワークインタフェース、HDDやSSD等の記録装置、キーボードやマウス等の入力装置、ディスプレイを備える計算機であり、制御部４０１、特徴量算出部４０２、ID変換部４０３、通信部４０４からなる。制御部４０１はCPU上で動作するプログラムであり、特徴量算出部４０２、ID変換部４０３、通信部４０４の各プロセスを管理する。特徴量算出部４０２は、カメラ付き端末１０で得られた画像データ１１を通信部４０４を介して受け取り、該画像データ１１の色合い・形状等の情報を数値列として表現した特徴量１３を算出し、算出した特徴量１３を通信部４０４を介して検索サーバ３０へと送信する。ID変換部４０３は、カメラ付き端末１０に割り振られているIPアドレスないしMACアドレス等の固有IDを、システムが解釈可能なカメラIDへと変換する。通信部４０４はネットワークインタフェースであり、カメラ付き端末１１と通信して画像データ１１を受信したり、検索サーバ３０と通信して特徴量１３を送信したりする。
【００２１】
図５に、CG画像DB３２に保存されているCG画像５１のフォーマットを示す。CG画像５１は、ID５０１、カメラ位置５０２、カメラ方向５０３、CG画像データ５０４、画像特徴量５０５からなる。ID５０１はデータ毎に割り振られている固有番号である。カメラ位置５０２は、該CG画像５１を生成する際のCAD図面上でのカメラの座標である。カメラ方向５０３は、該CG画像５１を生成する際のCAD図面上でのカメラ方向である。CG画像データ５０４は、CAD図面よりCG画像生成部３０３において生成されるCG画像の画像データである。画像特徴量５０５はCG画像生成部３０３にてCG画像より生成される数値列である。
【００２２】
図6は、カメラ付き端末１０で撮影されたフレーム画像１１のデータフォーマットを表す。フレーム画像１１はカメラID６０１、取得時刻６０２、画像データ６０３からなる。カメラ付き端末１０は、カメラサーバ２０からの画像要求に応じてカメラ１０１にて画像データ６０３を撮影し、通信部１０２を通じてカメラサーバ２０へと送信する。該画像データ６０３を受信したカメラサーバ２０は、該画像データ６０３を撮影したカメラのIDであるカメラID６０１、取得時刻６０２を該画像６０３に付与し、フレーム画像１１を生成する。そして、カメラサーバ２０はフレーム画像１１から特徴量算出部４０２にて該画像データ６０３より特徴量を算出し、該特徴量を通信部４０４より検索サーバ３０へと送付する。また、フレーム画像１１は検索サーバ３０からの要求に応じて、検索サーバ３０へと通信部４０４より送付される。
＜カメラ位置推定＞
次に、カメラ付き端末１０の位置特定方法を、図8の模式図および図9のシーケンス図に基づき説明する。
【００２３】
図８はカメラ位置を取得する方法を示した模式図である。カメラ付き端末１０で撮影したフレーム画像をクエリとし、カメラサーバ２０において特徴量を算出した後に検索サーバ３０へと特徴量が送付される。検索サーバではCG画像DBに保存されているCG画像の特徴量とのベクトル空間内での距離が算出され、最も距離が近いCG画像がカメラで取得されたフレーム画像の類似画像として取得される。その後、該CG画像と共にCG画像DBに保存されているカメラ位置およびカメラ方向を取得し、該カメラ位置とカメラ方向をカメラ付き端末１０へと送付する。
【００２４】
図9は、カメラ位置取得手順を示す、シーケンス図である。カメラ付き端末１０は、カメラサーバ２０の画像要求９０１に応じて、画像取得９０２を行い、該画像をフレーム画像１１としてカメラサーバ２０へと返戻９０３する。カメラサーバ２０はフレーム画像１１を受信すると、特徴量算出部４０２において特徴量１３を算出し、該特徴量１３をフレーム画像１１と共に検索サーバ３０へと送付する９０５。なお、送付する情報は検索に必要な情報のみでも良く、カメラID６０１と特徴量１３のみでも良い。検索サーバ３０は該特徴量を受信すると、検索部３０４において該特徴量とCG画像DB３２に登録されているCG画像の画像特徴量５０５とのベクトル空間中での距離を評価することで検索し９０６、最も距離が近いCG画像を取得する。その後、該CG画像を生成した際のカメラ位置５０２、カメラ方向５０３を取得し、該カメラ位置と該カメラ方向をカメラサーバ２０へと送付９０７し、カメラサーバ２０は該カメラ位置と該カメラ方向をカメラ付き端末１１へと送付９０８する。
＜位置情報の表示＞
カメラ付き端末の表示部１０３への位置情報７１の表示方法に関して、図７の位置情報データを示す表、図１１の模式図および図１０のシーケンス図に基づき説明する。
【００２５】
図７は、位置情報DB３３に格納されている位置情報データ７１を示した表である。位置情報データ７１は、メッセージID７０１、メッセージ７０２、メッセージ位置７０３からなる。メッセージID７０１は、メッセージ毎に割り振られている固有IDである。メッセージ７０２は、重畳表示する情報であり、テキストデータや画像、工程表や作業手順などのドキュメントである。メッセージ位置７０３は、メッセージ７０２を重畳表示させたい位置であり、3D-CAD上での座標である。
図１１はカメラ位置を取得する方法を示した模式図である。カメラ付き端末１０で撮影したフレーム画像をクエリとし、カメラサーバ２０において特徴量を算出した後に検索サーバ３０へと特徴量が送付される。検索サーバではCG画像DBに保存されているCG画像の特徴量とのベクトル空間内での距離が算出され、最も距離が近いCG画像がカメラで取得されたフレーム画像の類似画像として取得される。その後、該CG画像と共にCG画像DBに保存されているカメラ位置およびカメラ方向を取得する。そして、該カメラ位置およびカメラ方向より撮影範囲を算出し、該撮影範囲内に含まれる位置情報を位置情報DB３３より座標をクエリとして検索することにより取得する。取得した位置情報は、画像表示端末へと送付され、画像表示端末では取得しているフレーム画像に該位置情報を重畳表示１１０２する。なお、重畳表示する情報は座標をクエリとして取得するため、オクルージョンのある箇所の情報を取得し、表示することも可能である。例えば、message2（１１０３）に示す通り、ポンプ裏側の配管の状態など、通常の状態では隠れた部分や、非特許文献１における２次元コードを貼付できない場所でも、表示することも可能である。また、カメラ位置をCAD図面上に表示１１０１することで、作業員は自身の位置を把握することも可能となる。なお、このメッセージの内容は、作業の手順、作業の危険度や保守管理における注意事項などが挙げられる。従って、作業員は、このメッセージを見て、どのような危険に留意すべきか、または、次の作業手順などを確認することができる。
【００２６】
図１０は、カメラ位置に応じた位置情報表示の手順を表すシーケンス図である。カメラ付き端末１０は、カメラサーバ２０からの画像要求１００１に応じてカメラ部１０１にて画像取得１００２を行い、該画像をフレーム画像１００３としてカメラサーバ２０へと返戻する。カメラサーバ２０は該フレーム画像１００３を受信すると、特徴量算出部４０２において特徴量１３を算出し、該特徴量１３をフレーム画像１１と共に検索サーバ４０へと送付する１００５。なお、送付する情報は検索に必要な情報のみでも良く、カメラID６０１と特徴量１３のみでも良い。検索サーバ４０は該特徴量を受信すると、検索部３０４において該特徴量とCG画像DB３２に登録されているCG画像の画像特徴量５０５とのベクトル空間中での距離を評価することで検索１００６し、最も距離が近いCG画像を取得する。その後、該CG画像を生成した際のカメラ位置５０２、カメラ方向５０３を取得する。その後、該カメラで撮影し得る範囲を算出し、該撮影範囲内にある位置情報を検索部３０４において位置情報DB３３から検索することで取得１００７し、該位置情報５１のメッセージ位置７０３をフレーム画像１１での座標へと変換し、メッセージ内容７０２と共にカメラサーバへと送付１００８する。カメラサーバ２０は、受信したメッセージ位置およびメッセージ内容を、該当カメラ付き端末１０へと送付１００９する。該カメラ付き端末１０は、フレーム画像１１にメッセージを重畳表示１０１０することにより、位置情報を提示する。
【実施例２】
【００２７】
本発明によるカメラ位置推定の第2の実施例を記す。図１２は、CG画像を更新する場合のカメラ付き端末１０の位置特定手順を示すシーケンス図である。CADより生成するCG画像は、色などのテクスチャが実際の画像と異なるため、フレーム画像をクエリとしてCG画像を検索する時はエッジ方向などの特徴量を用いて検索を行う必要がある。そこで、実際の画像が撮影され、撮影位置および方向が既知となった場合、該フレーム画像によりCG画像を置き換えることで、次回からはテクスチャ情報も使用して検索が可能となり、検索精度を向上することが可能となる。
カメラ付き端末１０は、カメラサーバ２０の画像要求１２０１に応じて、画像取得１２０２を行い、該画像をフレーム画像１１としてカメラサーバ２０へと返戻１２０３する。カメラサーバ２０はフレーム画像１１を受信すると、特徴量算出部１２０２において特徴量１３を算出し、該特徴量１３をフレーム画像１１と共に検索サーバ３０へと送付する１２０５。なお、送付する情報は検索に必要な情報のみでも良く、カメラID６０１と特徴量１３のみでも良い。検索サーバ３０は該特徴量を受信すると、検索部３０４において該特徴量とCG画像DB３２に登録されているCG画像の画像特徴量５０５とのベクトル空間中での距離を評価することで検索し１２０６、最も距離が近いCG画像を取得する。その後、該CG画像を生成した際のカメラ位置５０２、カメラ方向５０３を取得し、該カメラ位置と該カメラ方向をカメラサーバ２０へと送付１２０７し、カメラサーバ２０は該カメラ位置と該カメラ方向をカメラ付き端末１１へと送付１２０８する。検索サーバ３０はCG画像DB３２内のCG画像データ５０４を、前記フレーム画像１１の画像データ６０３で上書きすることにより、CG画像DBを更新１２０９する。
【実施例３】
【００２８】
本発明によるカメラ位置推定の、作業工程に応じたCG画像生成を表す実施例を記す。作業工程に応じてCG画像を生成することで、CAD図面から建設中の画像を生成可能となる。
【００２９】
図13は、作業工程表と作業工程に応じて生成されたCG画像の対応を示す表である。作業工程表３４は検索サーバ上のデータベースに格納されており、作業場所毎に日時１３０１および作業内容１３０２が記載されている。検索サーバは所定の時刻、あるいはユーザが指定したタイミングで作業工程表３４より作業工程を取得し、作業進捗を把握しCG画像生成部３０３にて作業進捗に応じたCG画像を生成する。例えば、建屋施工工程であればCAD図面DB３１より建屋のCADデータを取得し、CG画像１３１１を生成し、CG画像DB３２を更新する。同様に、ポンプ据え付け工事後であれば、CAD図面DB３１より建屋とポンプのCADデータを取得し、CG画像１３１２を生成し、配管施工後であれば配管配置後の建屋のCADデータからCG画像１３１３を生成し、CG画像DB３２を更新する。これにより、工程管理をスムーズに行うことができる。
【実施例４】
【００３０】
本発明による実施例の、設計と施工結果の差異を算出する実施例を記す。
図14は設計と施工結果の差異を算出する場合の処理の流れを表した図である。カメラ付き端末１０で撮影したフレーム画像をクエリとし、カメラサーバ２０において特徴量を算出した後に検索サーバ３０へと該フレーム画像１１と特徴量１３が送付される。検索サーバではCG画像DB３２に保存されているCG画像５１の画像特徴量５０５とのベクトル空間内での距離が算出され、最も距離が近いCG画像がカメラで取得されたフレーム画像１１の類似画像として取得される。その後、該フレーム画像１１とCG画像５１のCG画像データ５０４とでピクセル毎の差分を算出１４０３することで、設計と施工結果の差異を算出する。差分値が閾値(例えば、輝度値の差が50)を下回る画素の画素値を0とした差分画像１４０４を算出して提示することで、設計と施工結果の差異を把握することが可能となる。
【００３１】
以上説明したように、本発明の各実施例では、カメラ付き端末、カメラサーバ、検索サーバが協業し、検索サーバがCG画像群を生成し、カメラサーバが算出した特徴量を用いて検索サーバが保持するCG画像群より最も類似した画像を算出することで、カメラ付き端末の位置を特定することができる。また、撮影範囲内の位置情報を位置情報DBから検索により取得することで、カメラ付き端末の表示部に位置情報を提示することが可能である。
【００３２】
以上、本発明の種々の実施の例を詳述してきたが、本発明これらの実施例に限定されるものでないこと言うまでもない。
【符号の説明】
【００３３】
１０：カメラ付き端末、１１：フレーム画像、１２：位置情報データ、１３：特徴量。
【特許請求の範囲】
【請求項１】
画像を撮影するカメラと、
前記カメラより得られた画像から検索用特徴量を算出するカメラサーバと、
CAD図面データベースと、
前記検索用特徴量を用いて、前記CAD図面データベースから生成した画像に対して、類似画像検索を行い、前記カメラの位置情報を出力する検索サーバと
を有することを特徴とする画像検索システム。
【請求項２】
前記カメラは、前記位置情報を表示する表示部を有することを特徴とする請求項１記載の画像検索システム。
【請求項３】
前記表示部に、更に、前記撮影した画像に重畳してメッセージを表示する手段を有することを特徴とする請求項２記載の画像検索システム。
【請求項４】
更に、前記CAD図面データベースを用いて生成したCAD図面から、CG画像を生成する手段を有し、
前記類似画像検索は、前記CG画像に対して行われることを特徴とする請求項１記載の画像検索システム。
【請求項５】
更に、前記CG画像を、前記撮影した画像に置き換えるCG画像更新手段を有することを特徴とする請求項４記載の画像検索システム。
【請求項６】
前記検索サーバは作業工程表を有し、
前記検索サーバは、前記作業工程に応じたCG画像を生成することを特徴とする、請求項１記載の画像検索システム。
【請求項７】
検索用特徴量を入力する入力部と、
CAD図面データベースと、
前記検索用特徴量を用いて、前記CAD図面データベースから生成した画像に対して、類似画像検索を行う検索部と、
前記類似画像検索の結果、前記検索用特徴量の位置情報を出力する出力部と
を有することを特徴とする画像検索装置。
【請求項１】
画像を撮影するカメラと、
前記カメラより得られた画像から検索用特徴量を算出するカメラサーバと、
CAD図面データベースと、
前記検索用特徴量を用いて、前記CAD図面データベースから生成した画像に対して、類似画像検索を行い、前記カメラの位置情報を出力する検索サーバと
を有することを特徴とする画像検索システム。
【請求項２】
前記カメラは、前記位置情報を表示する表示部を有することを特徴とする請求項１記載の画像検索システム。
【請求項３】
前記表示部に、更に、前記撮影した画像に重畳してメッセージを表示する手段を有することを特徴とする請求項２記載の画像検索システム。
【請求項４】
更に、前記CAD図面データベースを用いて生成したCAD図面から、CG画像を生成する手段を有し、
前記類似画像検索は、前記CG画像に対して行われることを特徴とする請求項１記載の画像検索システム。
【請求項５】
更に、前記CG画像を、前記撮影した画像に置き換えるCG画像更新手段を有することを特徴とする請求項４記載の画像検索システム。
【請求項６】
前記検索サーバは作業工程表を有し、
前記検索サーバは、前記作業工程に応じたCG画像を生成することを特徴とする、請求項１記載の画像検索システム。
【請求項７】
検索用特徴量を入力する入力部と、
CAD図面データベースと、
前記検索用特徴量を用いて、前記CAD図面データベースから生成した画像に対して、類似画像検索を行う検索部と、
前記類似画像検索の結果、前記検索用特徴量の位置情報を出力する出力部と
を有することを特徴とする画像検索装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２５２４７７（Ｐ２０１２−２５２４７７Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２３９１２（Ｐ２０１１−１２３９１２）
【出願日】平成２３年６月２日（２０１１．６．２）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月２日（２０１１．６．２）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]