被写体面積算出装置、被写体面積算出システム、被写体面積算出方法
【課題】簡単な標識を含む画像のみで、被写体における対象領域の面積を算出する被写体面積算出装置を提供する。
【解決手段】第1撮像装置により撮像された被写体と標識とを含む第1画像と、第2撮像装置により第1撮像装置と異なる角度から撮像された被写体と標識とを含む第2画像と、を読み出す読み出し手段12と、第1撮像装置の第1位置の3次元座標の値と、第2撮像装置の第2位置の3次元座標の値とを推定する撮像装置座標推定手段13と、第1位置および第2位置に基づいて、被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する特定点座標推定手段14と、複数の特定点のそれぞれの3次元座標の値に基づいて、被写体の面積を算出する面積算出手段15と、を備え、標識は、3以上のポインタを備える2次元形状を有する
【解決手段】第1撮像装置により撮像された被写体と標識とを含む第1画像と、第2撮像装置により第1撮像装置と異なる角度から撮像された被写体と標識とを含む第2画像と、を読み出す読み出し手段12と、第1撮像装置の第1位置の3次元座標の値と、第2撮像装置の第2位置の3次元座標の値とを推定する撮像装置座標推定手段13と、第1位置および第2位置に基づいて、被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する特定点座標推定手段14と、複数の特定点のそれぞれの3次元座標の値に基づいて、被写体の面積を算出する面積算出手段15と、を備え、標識は、3以上のポインタを備える2次元形状を有する
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置で撮像された被写体の面積を、画像情報に基づいて算出できる被写体面積算出装置、被写体面積算出システム、被写体面積算出方法に関する。
【背景技術】
【0002】
建物や建造物の壁面に、塗装を施したり看板やポスターを設置したりする際に、予めこれらの建物や建造物の壁面の面積が算出されていることが好ましい。壁面の面積が不明であると、どの程度の塗料や材料が必要となるのか、どの程度の面積の看板やポスターを設置できるのか不明であるからである。壁面の面積が予め分かっている場合には、塗装を施したり、看板やポスターを設置したりする工事の効率が向上する。
【0003】
このような壁面のある領域の面積を算出するには、危険な作業に基づいて実測を行うか、基準点測量やステレオカメラによる測量を行うのが一般的であった。
【0004】
しかしながら、実測による測量は、危険を伴う上に、対象となる領域が変更になってしまうと、改めて実測による測量作業を必要とする不便を有する。
【0005】
基準点測量やステレオカメラによる作業は、作業時間や作業工数が多くなる上に、測量対象となる建物や建造物を目視できる現場での作業しかできない。
【0006】
近年では、様々な場所における建物や建造物の種々の場所に、看板やポスターを設置したい事業者が数多い。これらの事業者は、設置する看板やポスターを決めてから壁面の面積の測量に入るよりも、壁面の面積に基づいて、設置する看板やポスターの種類を事後的に検討したい。事業者は、壁面における看板やポスターによる宣伝効果を高める工夫を追求するからである。
【0007】
このような看板やポスターを設置する事業者にとっては、設置現場以外で壁面における任意の領域を、事後的に測量したいことが多い。特に、種々の看板やポスターを設置できる面積を有する領域を、壁面の中で任意に探したい場合もある。
【0008】
このため、撮像装置で撮像された画像を用いて、建物や建造物の壁面を計測する技術が提案されている(例えば、特許文献1参照)。
【特許文献1】特開2007−147522号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
しかしながら、特許文献1は、複数の角度から撮像された画像に含まれる被写体の視差を、調整する技術を開示するだけである。
【0010】
このため、特許文献1は、被写体の面積を算出する技術を開示していない。また、特許文献1の標定基準体は、被写体の位置と面積を算出することに適用が難しい。特に、種々の角度から撮像された画像に含まれる標定基準体の任意の点を、高い精度で識別することが困難であり、事後的に撮像された画像を用いて、被写体の面積算出に必要となるデータを得ることが困難である。撮像された写真の角度や位置によっては、標定基準体の写り方が大きく異なって、標定基準体と被写体との関連性を得ることが難しいからである。
【0011】
本発明は、上記課題に鑑み、簡単な標識を含む画像のみで、被写体における対象領域の面積を算出する被写体面積算出装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記課題に鑑み、本発明の被写体面積算出装置は、第1撮像装置により撮像された被写体と標識とを含む第1画像と、第2撮像装置により第1撮像装置と異なる角度から撮像された被写体と標識とを含む第2画像と、を読み出す読み出し手段と、第1撮像装置の第1位置の3次元座標の値と、第2撮像装置の第2位置の3次元座標の値とを推定する撮像装置座標推定手段と、第1位置および第2位置に基づいて、被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する特定点座標推定手段と、複数の特定点のそれぞれの3次元座標の値に基づいて、被写体の面積を算出する面積算出手段と、を備え、標識は、3以上のポインタを備える2次元形状を有する。
【発明の効果】
【0013】
本発明の被写体面積算出装置は、標識と被写体とを含む複数の画像のみに基づいて、被写体における対象領域の面積を算出できる。特に、画像に基づいて面積を算出できるので、被写体のある現場だけでなく、画像のみがあれば、様々な場所において被写体における対象領域の面積を算出できる。このため、算出される面積が、様々な事業用途に活用できる。
【0014】
更に、撮像される角度が種々であっても、標識の認識と位置特定が容易かつ正確であるので、本発明の被写体面積算出装置は、高い精度で、被写体における対象領域の面積を算出できる。
【0015】
更に、本発明の被写体面積算出装置は、算出された面積の誤差率も含めて算出できるので、高いユーザビリティを有する。
【発明を実施するための最良の形態】
【0016】
本発明の第1の発明に係る被写体面積算出装置は、第1撮像装置により撮像された被写体と標識とを含む第1画像と、第2撮像装置により第1撮像装置と異なる角度から撮像された被写体と標識とを含む第2画像と、を読み出す読み出し手段と、第1撮像装置の第1位置の3次元座標の値と、第2撮像装置の第2位置の3次元座標の値とを推定する撮像装置座標推定手段と、第1位置および第2位置に基づいて、被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する特定点座標推定手段と、複数の特定点のそれぞれの3次元座標の値に基づいて、被写体の面積を算出する面積算出手段と、を備え、標識は、3以上のポインタを備える2次元形状を有する。
【0017】
この構成により、予め撮像された画像のみで、被写体の面積を、高い精度で算出できる。特に、3以上のポインタを備える標識を用いて被写体の3次元座標の値を算出できるので、算出精度が高まる。
【0018】
本発明の第2の発明に係る被写体面積算出装置では、第1の発明に加えて、3以上のポインタのそれぞれは、相互に色度が異なる。
【0019】
この構成により、画像中において、ポインタのそれぞれを区別しやすくなる。結果として、ポインタの選択精度が高まり、撮像装置の位置の推定精度が高まる。
【0020】
本発明の第3の発明に係る被写体面積算出装置では、第1又は第2の発明に加えて、3以上のポインタのそれぞれは、略球形を有する。
【0021】
この構成により、画像中における標識の傾きの大小にかかわらず、ポインタを確実に区別できる。結果として、ポインタの選択精度が高まり、撮像装置の位置の推定精度が高まる。
【0022】
本発明の第4の発明に係る被写体面積算出装置では、第2又は第3の発明に加えて、標識は、相互に色度が異なると共に略球形を有する3つのポインタを頂点とする3角形を有する。
【0023】
この構成により、撮像装置から標識までの距離が容易に算出できる。
【0024】
本発明の第5の発明に係る被写体面積算出装置では、第1から第4のいずれかの発明に加えて、撮像装置座標推定手段は、第1画像に含まれる標識の傾きに基づいて、第1撮像装置の標識に対する方向を第1方向として推定し、第1画像に含まれる標識の面積に基づいて、第1撮像装置と標識との距離を第1距離として推定し、第2画像に含まれる標識の傾きに基づいて、第2撮像装置の標識に対する方向を第2方向として推定し、第2画像に含まれる標識の面積に基づいて、第2撮像装置と標識との距離を第2距離として推定し、第1方向および第1距離に基づいて、第1位置を推定し、第2方向および第2距離に基づいて、第2位置を推定する。
【0025】
この構成により、撮像位置の3次元座標の値が容易かつ確実に推定できる。
【0026】
本発明の第6の発明に係る被写体面積算出装置では、第1から第5のいずれかの発明に加えて、第1位置から得られる特定点の3次元座標の値である第1特定座標と、第2位置から得られる特定点の3次元座標の値である第2特定座標と、が一致しない場合には、特定点座標推定手段は、第1特定座標および第2特定座標から、特定点の3次元座標の値を近似する。
【0027】
この構成により、特定点の3次元座標の値を、高い精度で推定できる。また、第1位置と第2位置からの特定点の推定が不十分な場合でも、一定の精度において、特定点の3次元座標の値を推定できる。
【0028】
本発明の第7の発明に係る被写体面積算出装置では、第6の発明に加えて、第1特定座標と第2特定座標とが一致しない場合には、特定点座標推定手段は、第1特定座標と第2特定座標との不一致量を算出する。
【0029】
この構成により、特定点の座標の推定精度を知ることができる。
【0030】
本発明の第8の発明に係る被写体面積算出装置では、第1から第7のいずれかの発明に加えて、読み出し手段は、第3撮像装置によって、第1撮像装置および第2撮像装置のそれぞれと異なる角度から撮像された被写体と標識とを含む第3画像を読み出し、撮像装置座標推定手段は、第3撮像装置の第3位置の3次元座標の値を推定し、特定点座標推定手段は、第1位置、第2位置および第3位置に基づいて、被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する。
【0031】
この構成により、特定点の推定精度を更に高めることができる。
【0032】
本発明の第9の発明に係る被写体面積算出装置では、第1から第8のいずれかの発明に加えて、特定点で形成されると共に面積算出手段は、被写体における面積算出の対象となる対象領域の面積を算出する。
【0033】
この構成により、使用者が算出を要求する領域の面積を算出できる。
【0034】
本発明の第10の発明に係る被写体面積算出装置では、第7から第9のいずれかの発明に加えて、面積算出手段は、不一致量に基づいて、算出される面積の誤差率および面積の誤差範囲の少なくとも一方を算出する。
【0035】
この構成により、算出された面積の確からしさを、使用者が認識できる。
【0036】
本発明の第11の発明に係る被写体面積算出装置では、第9から第10のいずれかの発明に加えて、複数の特定点のそれぞれは、対象領域の頂点に含まれる。
【0037】
この構成により、対象領域が特定点によって形成される。
【0038】
本発明の第12の発明に係る被写体面積算出装置では、第1から第11のいずれかの発明に加えて、面積算出手段が算出した対象領域の面積を表示する表示手段を更に備える。
【0039】
この構成により、使用者は、算出結果を容易に認識できる。
【0040】
以下、図面を参照しながら、本発明の実施の形態を説明する。
【0041】
(実施の形態1)
実施の形態1について説明する。
【0042】
(システム全体の概要)
図1は、本発明の実施の形態1における被写体面積算出システムの概念図である。
【0043】
被写体面積算出システム1は、被写体2と被写体2と近接しておかれた標識3と、被写体2と標識3とを撮像する撮像装置7と、撮像された画像を解析して、被写体2の面積を算出する被写体面積算出装置8とを備えている。
【0044】
被写体2は、建物や建造物の一部もしくは全部であり、特には建物や建造物の壁面である。面積を算出したい領域を含む部分である。例えば、被写体2の例は、ビルやマンションの壁面であったり、ビルやマンションの看板設置板であったりする。
【0045】
標識3は、3つのポインタ4、5,6を備える基準部材であり、標識3を基準とした撮像装置7の3次元座標から、被写体2の面積を算出する。
【0046】
撮像装置7は、カメラ、デジタルカメラ、デジタルビデオカメラ、携帯端末、携帯電話機などの撮像機能を有する電子機器や電子装置である。
【0047】
被写体面積算出装置8として、図1ではパーソナルコンピュータが例として示されているが、パーソナルコンピュータだけでなく、被写体の面積を算出するための処理を行うことのできる、専用装置、汎用装置などが幅広く用いられる。
【0048】
被写体面積算出システム1では、まず標識3を被写体2に近接して設置し、撮像装置7が標識3と被写体2とを同時に撮影する。このとき、撮像装置7は、標識3と被写体2とを含む第1画像と、第1画像と異なる角度から撮像される標識3と被写体2とを含む第2画像(あるいは、第3画像以上を)を撮像する。
【0049】
図2に、第1撮像装置と第2撮像装置が、被写体2と標識3とを撮像する様子を示す。図2は、本発明の実施の形態1における第1画像と第2画像との撮像を説明する模式図である。第1撮像装置7aは、所定の方向から被写体2と標識3とを撮像して、第1画像を得る。一方、第2撮像装置7bは、第1撮像装置7aと異なる角度から、被写体2と標識3とを撮像して、第2画像を得る。
【0050】
被写体面積算出装置8は、撮像装置7から第1画像と第2画像を得る。第1画像および第2画像は、上述の通り、被写体2と標識3とを含んでいる。被写体面積算出装置8は、読み出し手段、撮像装置座標推定手段、特定点座標推定手段、面積算出手段と、を備えている。読み出し手段は、第1画像と第2画像を読み出す。撮像装置座標推定手段は、第1画像を撮像した撮像装置(第1撮像装置という)の3次元座標で表される第1位置と、第2画像を撮像した撮像装置(第2撮像装置という)の3次元座標で表される第2位置とを推定する。なお、第1撮像装置7aと第2撮像装置7bとは、説明の便宜上「第1、第2」と記載されているだけで、第1撮像装置7aと第2撮像装置7bとは、同一の装置であっても異なる装置であってもかまわない。この点は、本明細書の全体に渡って同様である。
【0051】
第1位置と第2位置が推定されると、第1位置と第2位置に基づいて、特定点座標推定手段が、被写体2に含まれる複数の特定点のそれぞれの3次元座標を、推定する。被写体2に含まれる複数の特定点の3次元座標が定まれば、面積を算出することができるようになる。このため、面積算出手段は、特定点の3次元座標に基づいて、被写体2の面積を算出できる。なお、面積算出手段は、被写体2において、特定点によって囲まれる所定の領域の面積を算出する。
【0052】
被写体面積算出装置8は、このように撮像装置7から得られた第1画像、第2画像を用いて、被写体2の所定領域の面積を算出できる。
【0053】
被写体面積算出システムは、標識3、撮像装置7、被写体面積算出装置8とを備えることで、被写体2の所定領域の面積を算出できる。
【0054】
被写体2が建造物や建物の壁面である場合には、所定領域の面積が算出されるので、例えばこの所定領域に貼付するポスターや看板の大きさが、設置前に把握できる。あるいは、所定領域の面積が算出されるので、所定領域に塗装するための塗料の量が、予め把握できる。更には、被写体2と標識3の含まれる複数の画像さえあれば、被写体2を撮像する現場以外の場所でも被写体面積算出装置8を使って、被写体2の面積が算出されるので、使い勝手の良いシステムとなる。
【0055】
(被写体面積算出装置について)
次に、被写体面積算出装置の概要について説明する。
【0056】
図3は、本発明の実施の形態1における被写体面積算出装置のブロック図である。
【0057】
被写体面積算出装置10は、記憶部11に記憶されている画像を読み出す読み出し手段12、画像に含まれる標識に基づいて撮像装置の3次元座標を推定する撮像装置座標推定手段13、撮像装置の3次元座標から、被写体に含まれる複数の特定点のそれぞれの3次元座標を推定する特定点座標推定手段14、推定された特定点の3次元座標に基づいて被写体の面積を算出する面積算出手段15とを備える。面積算出手段15が算出した面積値は、表示手段16で表示される。
【0058】
なお、図3では、記憶部11と表示手段16とが被写体面積算出装置10の外部に表示されているが、被写体面積算出装置10は、記憶部11と表示手段16とを包含してもよいし、外部に持ってもよい。
【0059】
被写体面積算出装置10は、図1に示されるようにパーソナルコンピュータ8にて実現されても良いし、専用の装置によって実現されても良い。
【0060】
記憶部11は、様々な位置から撮像された被写体と標識とを含む画像を記憶する。例えば、第1位置に設置された第1撮像装置により撮像された第1画像と、第1位置と異なる位置である第2位置に設置された第2撮像装置により撮像された第2画像とを記憶する。第1画像および第2画像のそれぞれは、画像中に標識と被写体とを含む。記憶部11は、撮像装置が撮像する都度にあわせて画像を記憶してもよいし、予め撮像された複数の画像を記憶しても良い。
【0061】
読み出し手段12は、記憶部11が記憶する画像を読み出す。このとき、1枚ずつ読み出しもよいし、一度に複数の画像を読み出しても良い。読み出し手段12は、読み出した画像のデータを撮像装置座標推定手段13に出力する。
【0062】
撮像装置座標推定手段13は、読み出し手段12より得られた複数の画像を用いて、第1撮像装置が配置された第1位置の3次元座標を推定する。同様に、第2撮像装置が配置された第2位置の3次元座標を推定する。他の画像があれば、第3撮像装置が配置された第3位置の3次元座標(第n撮像装置が配置された第n位置の3次元座標も)を推定する。
【0063】
撮像装置座標推定手段13は、画像の中に含まれる標識の傾きに基づいて、撮像装置と標識との方向を推定する。ついで、画像の中に含まれる標識の面積に基づいて、撮像装置と標識との距離を推定する。撮像装置座標推定手段13は、この方向と距離を用いて、撮像装置の位置の3次元座標を推定する。なお、標識は、その大きさ、形状、面積などが既知である。
【0064】
撮像装置座標推定手段13によって、2次元座標であるローカル座標を有する撮像装置の座標が、標識を基準とした3次元座標であるグローバル座標に変換される。なお、撮像装置座標推定手段13は、複数の位置における撮像装置のそれぞれの3次元座標の値を推定する。結果として、異なる位置にある撮像装置それぞれの3次元座標の値が推定される。
【0065】
特定点座標推定手段14は、推定された撮像装置の3次元座標を基準に、被写体に含まれる特定点の3次元座標を推定する。被写体は、その面積を算出したい領域を有しており、特定点座標推定手段14は、この領域の外縁に沿った複数の点を特定点として決定する。これら複数の特定点のグローバルな3次元座標の値が求まれば、これら特定点で囲まれる領域の面積が算出できる。
【0066】
撮像装置座標推定手段13によって、撮像装置の3次元座標の値は推定されている。特定点の3次元座標は、撮像装置の3次元座標に基づいて推定される。すなわち、複数の撮像装置からある特定点の方向を推定し、複数の撮像装置から推定された特定点の方向の重複点が、特定点の3次元座標の値となる。このように、特定点の一つの3次元座標の値は、複数の撮像装置の位置に基づいて算出される。特定点座標推定手段14は、複数の特定点のそれぞれに推定の作業を行うことで、複数の特定点のそれぞれの3次元座標の値を算出する。
【0067】
特定点座標推定手段14は、推定した複数の特定点の3次元座標の値を、面積算出手段15に出力する。
【0068】
面積算出手段15は、得られた複数の特定点の3次元座標(それぞれは、同じ座標系列に基づいている)を用いて、複数の特定点で囲まれる被写体の対象領域の面積を算出する。ここで、被写体は標識と一緒に画像中に映りこんでいることが前提である。
【0069】
被写体がビルであって、面積を算出したい対象領域がビルの壁面の一部であるとすると、特定点は、この壁面の一部を囲む線上の点である。特定点の3次元座標に基づいて計算することで、面積算出手段15は、対象領域の面積を算出できる。3次元座標が定まっていれば、座標値に基づく積分計算によって対象領域の面積が算出できるからである。
【0070】
面積算出手段15は、算出した面積の値を、必要に応じて表示手段16に出力する。表示手段16は、面積の値を、テキスト、映像、音声など様々な形態で表示できる。なお、表示手段16は、パーソナルコンピュータのモニタと共通であってもよく、この場合には、表示手段16は、データや命令の入力を確認する画面としても機能する。
【0071】
このように、標識と被写体とを含む、異なる位置からの複数の画像によって、被写体面積算出装置10は、被写体の面積を算出できる。このとき、被写体面積算出装置10は、被写体と一緒に写りこんでいる標識(その形状、大きさ、面積などが既知である)に基づいて、撮像装置のグローバルな3次元座標を算出した上で、被写体の対象領域を形成する特定点の3次元座標を容易に算出できる。この特定点の3次元座標を用いて、被写体面積算出装置10は、被写体の面積を、容易に算出できる。特に、標識と被写体とは、撮像した画像に写っているので、記憶部11が画像を記憶していれば、いかなる場所においても、被写体面積算出装置10は、面積を算出できる。また、標識と共に写りこんでいる被写体であれば、その特定点の選び方によって、様々な対象領域の面積を算出できるので、使用者は、フレキシブルに対象領域を選択して、対象領域の面積を算出できる。
【0072】
次に、各部の詳細について、説明する。
【0073】
なお、被写体面積算出装置10は、被写体と標識とが写っている画像について、より様々な位置や角度から撮像された多くの画像に基づくことが、面積算出の精度を上げる。但し、異なる位置や角度から撮像された少なくとも2枚の画像によって、特定点の3次元座標が求まるので、この2枚の画像によって、面積を算出できる。
【0074】
以下では、説明の便宜のために、図2も用いて、2枚の画像(第1画像と第2画像)とに基づいて面積を算出する各部の動作について説明する。なお、第1画像と第2画像との2枚の画像を用いることは一例であって、3枚以上の画像を用いてもよいことは勿論である。また、第1撮像装置と第2撮像装置とは、同一の撮像装置による撮像位置の相違によって付している名称であってもよいし、異なる撮像装置のそれぞれに対して付している名称であっても良い。「第1、第2」なる語によって、第1撮像装置、第2撮像装置とが別体の装置であることに限定されるものではない。
【0075】
(記憶部)
記憶部11は、撮像装置によって撮像された画像を記憶する。
【0076】
ここでは、記憶部11は、第1撮像装置7aによって撮像された第1画像と第2撮像装置7bによって撮像された第2画像とを記憶する。
【0077】
第1撮像装置7aと、第2撮像装置7bとは、図2に示されるように、異なる位置(被写体および標識に対して異なる角度)に配置される。第1撮像装置7aと第2撮像装置7bとは、デジタルカメラ、デジタルビデオカメラなど、動画、静止画を撮像できる装置であれば何でも良い。
【0078】
第1撮像装置7aと第2撮像装置7bとは、被写体2と標識3とが一緒の画像内に入るように、画像を撮像する。また、第1撮像装置7aと第2撮像装置7bとは、標識3を基準として、異なる角度から、被写体2と標識3とを撮像する。このため、得られる第1画像と第2画像とは、異なる角度に写っている被写体2と標識3とを表示する。
【0079】
図4に第1画像と第2画像の例を示す。図4は、本発明の実施の形態1における第1画像と第2画像の写真例である。第1画像および第2画像のそれぞれは、被写体2であるブロック塀と三角形の形状を有する標識3とを含んでいる。また、被写体2の一部の領域が線で枠囲いされているが、この枠囲いされている領域が、面積算出の対象となる対象領域20である。
【0080】
図4の第1画像と第2画像が示すように、第1画像と第2画像とは、異なる角度から被写体2と標識3とを撮像している。
【0081】
記憶部11は、図4に例示されるような第1画像と第2画像とを記憶する。
【0082】
記憶部11は、HDD(ハードディスクドライブ)、磁気メモリ、半導体メモリ、ROM、RAM、CD、DVD、カードメモリなど、一般に知られる様々な記憶素子や記憶デバイスを含む。また、記憶部11は、独立した装置やデバイスであってもよいし、被写体面積算出装置10と一体の要素であってもよい。例えば、被写体面積算出装置10がパーソナルコンピュータや汎用装置によって実現される場合には、これらのパーソナルコンピュータや汎用装置に含まれるHDDや記録デバイスによって、記憶部11が実現される。
【0083】
また、記憶部11は、可搬性のある記録デバイスでもよく、記憶部11が読み出し手段12と電気的結合されることで、読み出し手段12が記憶部11から画像を読み出せる構成でも良い。また、記憶部11は、ネットワークによって、被写体面積算出装置10と接続されてもよい。
【0084】
(読み出し手段)
読み出し手段12は、記憶部11に記憶されている画像を読み出す。例えば、読み出し手段11は、HDDやDVDドライブなどに設けられているデータの読取装置およびこの読取装置を駆動するソフトウェアなどを含む。記憶部11が半導体メモリや光ディスクである場合には、読み出し手段12は、読み出し対象の画像が含まれているアドレスを指定し、当該アドレスに対応するデータを読み出す。
【0085】
読み出し手段12は、記憶部11から画像を読み出せればよく、その実現手段や構成は、公知技術や一般的に用いられる技術でよい。また、記憶部11がデータの書き込みも可能である場合には、読み出し手段12は、必要に応じてデータを記憶部11に書き込んでもよい。例えば、読み出し手段12は、面積算出手段15が算出した結果を、記憶部11に書き込んでも良い。このため、読み出し手段12は、データの読み出しだけに限定されるものではない。
【0086】
記憶部11に図4に示される第1画像と第2画像とが記憶されている場合、読み出し手段12は、これらの第1画像と第2画像とを読み出す。読み出し手段12は、読み出した第1画像と第2画像とのデータを、撮像装置座標推定手段13に出力する。
【0087】
なお、読み出し手段12は、ハードウェアで実現されてもソフトウェアで実現されも、ハードウェアとソフトウェアの混在で実現されても良い。
【0088】
(撮像装置座標推定手段)
撮像装置座標推定手段13は、第1撮像装置7aの配置される第1位置と、第2撮像装置7bの配置される第2位置の、グローバル座標に基づく3次元座標の値を推定する。撮像装置座標推定手段13は、標識3を利用して、第1位置と第2位置の3次元座標の値を推定する。第1位置と第2位置の3次元座標の値に基づいて、被写体2の特定点の3次元座標の値が推定できるようになる。
【0089】
ここで、撮像装置座標推定手段13は、第1画像に写っている標識3の傾きに基づいて、第1撮像装置7aの標識3に対する方向を第1方向として推定する。ついで、撮像装置座標推定手段13は、第1画像中における標識3の面積に基づいて、第1撮像装置7aと標識3との距離を第1距離として推定する。
【0090】
同様に、撮像装置座標推定手段13は、第2画像に写っている標識3の傾きに基づいて、第2撮像装置7bの標識3に対する方向を第2方向として推定する。ついで、撮像装置座標推定手段13は、第2画像中における標識3の面積に基づいて、第2撮像装置7bと標識3との距離を第2距離として推定する。
【0091】
なお、撮像装置座標推定手段13は、具体的には標識3が含む特定の部位(ポインタ)を基準として、撮像装置と標識3との方向を推定する。このため、標識3は、ポインタを有していることが必要である。特には、ポインタから傾きを検出する必要があるので、標識3は3個以上のポインタを有している必要がある。
【0092】
撮像装置座標推定手段13は、第1方向および第1距離に基づいて、第1位置の3次元座標の値を推定し、第2方向および第2距離に基づいて、第2位置の3次元座標の値を推定する。このとき、撮像装置座標推定手段13は、第1画像および第2画像に写っている標識3の傾きと面積を利用する。このため、標識3は、画像に移っている状態だけでその傾きと面積とを容易に算出できる構成を有していることが好ましい。
【0093】
例えば、標識3は、その形状や面積が既知であって、画像中で標識3の全体形状や画像中における面積が算出しやすい形状を有していることが好適である。加えて、標識3は、画像のみで、標識3の傾きが判別しやすい形状を有していることが好適である。
【0094】
(標識について)
図5は、本発明の実施の形態1における標識の正面図である。上述のように、画像中で標識3を認識しやすい一例を、図5は示している。勿論、図5に示される形状や構成に限られるものではない。
【0095】
標識3は、3以上のポインタを有している。図5では、標識3は、3つのポインタ21、22、23を有している。3つのポインタ21、22、23同士を結ぶ棒状部材によって、標識3は、3つのポインタ21、22、23を頂点とする略三角形の形状を有する。このとき、標識3を形成する三角形は、既知である所定の面積を有している。標識3の本来の面積が既知であることで、画像における標識3の面積(すなわち、三角形の面積)が算出されれば、算出された面積と本来の面積との縮尺率から、撮像装置から標識3までの距離が算出できる。
【0096】
また、標識3が図5に示されるように三角形を有していることで、最少の頂点数により面積を有するので、標識3が画像の中で判別しやすい上に面積や大きさが判別されやすい。
【0097】
このように、標識3が、3つのポインタ21、22、23を頂点とする三角形を有することで、(1)画像中における標識3が容易かつ確実に判別できる、(2)標識3の画像中における面積を算出しやすい、(3)画像中での標識3の面積と、実際の標識3の面積との比較から、撮像装置から標識3までの距離が容易に算出できる、とのメリットを生じる。
【0098】
また、撮像装置座標推定手段13は、画像中の標識3の傾きから、撮像装置と標識3との方向を推定する。例えば、図4の第1画像では、標識3は、正面から見て右側に傾いている。一方、図4の第2画像では、標識3は、正面から見て左側に傾いている。第1画像と第2画像のいずれであっても、標識3がどのように傾いているかは、容易に判別できる。撮像装置座標推定手段13にとって、標識3の傾きを容易かつ確実に判別できることは、撮像装置と標識3との方向を推定する上で重要である。
【0099】
ここで、3つのポインタ21、22、23のそれぞれは、相互に色度が異なっていることも好適である。相互に色度が異なっていることで、画像中における標識3の判別が確実になる。特に、撮像装置座標推定手段13は、ポインタ21、22、23のそれぞれを基準として、撮像装置と標識3との方向を推定するので、ポインタ21、22、23のそれぞれは、確実に区別できることが好ましい。ポインタ21、22、23のそれぞれの色度が相互に異なることで、画像中に写っているポインタ21、22、23のそれぞれが、個々に区別できるようになる。
【0100】
また、3つのポインタ21、22、23のそれぞれは、略球形を有することが好ましい。
【0101】
撮像装置座標推定手段13は、標識3に含まれるポインタ21、22、23のそれぞれを基準として撮像装置との方向を推定する。このため、標識3の画像中での写りこみの態様の如何にかかわらず、撮像装置座標推定手段13は、画像中のポインタを確実に認識できる必要がある。このとき、ポインタ21、22、23のそれぞれが略球形であることで、標識3がどのような角度から撮像されていてもポインタ21、22、23の形状に変化がない(画像に写っている形状において)。このため、撮像装置座標推定手段13は、画像の中から確実にポインタを認識できる。
【0102】
実際には、表示手段に表示された第1画像や第2画像において、使用者がポインタを選択することで、ポインタと撮像装置との方向や距離が算出される。このとき、撮像されている角度によってポインタの形状が異なってしまっては、正確な選択ができない。ポインタが略球形を有していることで、撮像されている角度によることなく(異なる画像によることなく)、ポインタを正確に選択できる。
【0103】
このように、ポインタ21、22、23が異なる色度を有していたり、略球形を有していたりすることで、(1)画像中におけるポインタが容易かつ確実に判別できる、(2)画像の撮像角度の違いによっても、ポインタを一義的に選択できる、(3)ポインタが正確に選択できることで、標識3に対する撮像装置の方向が確実に推定できる、メリットが生じる。
【0104】
撮像装置座標推定手段13は、第1画像に写っているポインタ21、22、23のそれぞれから、第1撮像装置7aの標識3に対する方向を推定する。同様に、撮像装置座標推定手段13は、第2画像に写っているポインタ21、22、23のそれぞれから、第2撮像装置7bの標識3に対する方向を推定する。
【0105】
図6は、撮像装置の標識3に対する方向を推定する状態を示している。図6は、本発明の実施の形態1における撮像装置の方向推定の模式図である。
【0106】
標識3は、3つのポインタ21、22、23を有しており、第1位置に配置される第1撮像装置7aは、第1画像を撮像し、第2位置に配置される第2撮像装置7bは、第2画像を撮像する。第1画像にも第2画像にも、3つのポインタ21、22、23を有する標識3が写っている。
【0107】
撮像装置座標推定手段13は、第1画像において、ポインタ21、ポインタ22およびポインタ23を選択して、ポインタ21、22、23のそれぞれで構成される平面(標識3の三角形の平面)の傾きを算出する。この傾きによって、第1撮像装置7aの標識3に対する第1方向が推定される。なお、標識3の画像中での形状と標識3の傾きとの相関関係を明示したテーブルに基づいて、撮像装置座標推定手段13は、第1方向を推定しても良い。
【0108】
同様に、撮像装置座標推定手段13は、第2画像において、ポインタ21、22、23を選択して、ポインタ21、22、23のそれぞれによって構成される平面(標識3の三角形の平面)の傾きを算出する。この傾きによって、第1撮像装置7bの標識3に対する第2方向が推定される。なお、第2方向も、標識3の画像中での形状と標識3の傾きとの相関関係を明示したテーブルに基づいて、推定されてもよい。
【0109】
第1方向および第2方向のいずれも、図6に示されるように、ポインタ21、22、23の各点と撮像装置とを結ぶベクトルによって、推定される。
【0110】
次に、撮像装置座標推定手段13は、画像中の標識3の面積と本来の標識3の面積との比較から、撮像装置から標識3までの距離を推定する。
【0111】
図7は、距離の推定の状態を示す。図7は、本発明の実施の形態1における撮像装置と標識との距離の推定を説明する模式図である。
【0112】
図7より明らかな通り、撮像装置は、線形を保ったまま標識3を撮像するので、撮像装置から標識3までの距離は、標識3の撮像装置の位置における面積(既知である固有の面積)と画像中で算出される標識3の面積との比較によって推定される。
【0113】
撮像装置座標推定手段13は、第1画像における標識3の面積を算出した上で既知の面積と比較して、第1撮像装置7aから標識3までの距離を第1距離として推定する。同様に、撮像装置座標推定手段13は、第2画像における標識3の面積を算出した上で既知の面積と比較して、第2撮像装置7bから標識3までの距離を第2距離として推定する。
【0114】
標識3を基準とした第1撮像装置7aの方向と距離が分かれば、第1撮像装置7aの画像中における2次元座標が、標識3を基準としたグローバルな3次元座標に変換される。すなわち、第1位置の3次元座標の値が得られる。同様に、標識3を基準とした第2撮像装置7bの方向と距離が分かれば、第2撮像装置7bの画像中における2次元座標が、標識3を基準としたグローバルな3次元座標に変換される。
【0115】
このことから、撮像装置座標推定手段13は、第1方向と第1距離とから第1位置の3次元座標の値を推定し、第2方向と第2距離と空第2位置の3次元座標の値を推定する。
【0116】
以上の処理手順によって、撮像装置座標推定手段13は、第1撮像装置7aの配置されている第1位置と第2撮像装置7bの配置されている第2位置との3次元座標の値を推定する。
【0117】
(特定点座標推定手段)
撮像装置座標推定手段13は、特定点座標推定手段14に、第1位置と第2位置の3次元座標の値を出力する。特定点座標推定手段14は、この第1位置と第2位置の3次元座標の値に基づいて、被写体2の特定点の3次元座標の値を推定する。
【0118】
図8は、本発明の実施の形態1における特定点座標の推定を説明する写真である。図8で示される画像は、標識3と一緒に撮像された被写体2を含んでおり、被写体2において、枠囲いされた面積を算出する対象である対象領域20を含んでいる。
【0119】
対象領域20は、任意に定まる複数の特定点を含んでいる。対象領域20は、特定点の3次元座標が分かれば、その面積が算出される。図8においては、対象領域20は、方形の領域であり、対象領域20の4つの頂点が、4つの特定点30、31、32、33として特定されている。特定点は、任意に定められれば良いが、面積算出の容易性から、対象領域の頂点に含まれればよい。あるいは対象領域の外枠の辺上の任意の点と頂点とが組み合わされて、特定点が定められても良い。
【0120】
実際には、表示手段に表示されている画像(図8に例示される画像)上で、使用者が任意の点を特定点として選択する。
【0121】
特定点座標推定手段14は、特定点30、31、32、33のそれぞれに対して、第1位置からの方向と第2位置からの方向のそれぞれを推定する。例えば、一つの特定点30に対する第1位置からの方向と第2位置からの方向を推定する。このとき、第1位置と第2位置とは、それぞれ3次元座標の値を有しているので、この3次元座標の値に基づいて、特定点30への方向が推定される。更に、特定点座標推定手段14は、第1位置からの方向と第2位置からの方向の交点の3次元座標の値を求める。交点の3次元座標の値が、求めるべき特定点30の3次元座標の値である。図9に特定点の3次元座標の推定の状態を示す。
【0122】
図9は、本発明の実施の形態1における特定点の3次元座標の推定を説明する模式図である。
【0123】
図9に示されるように、第1撮像装置7a(第1位置)から特定点30への方向を示す線40と第2撮像装置7b(第2位置)から特定点30への方向を示す線41とが描かれる。図9より明らかな通り、線40と線41とは、ある位置で交わる。この位置が、交点42である。線40は、第1画像に写っている特定点30と第1位置とを結ぶ線であり、線41は、第2画像に写っている特定点30と第2位置とを結ぶ線である。特定点30は、撮像された角度や位置によって、単一の画像だけでは、その3次元座標は正確に求まらない。これに対して、撮像角度が異なる複数の画像によって、それぞれの画像における特定点30への方向の共通項(交点)が得られる。この交点は、単一の画像だけの場合よりも特定点30の位置に近い位置となりうる。
【0124】
このように、第1画像と第2画像のそれぞれにおいて、第1位置から特定点を結ぶ線と、第2位置から特定点を結ぶ線とを算出し、それぞれの線同士の交点を算出することで、特定点の3次元座標(第1位置と第2位置が有する3次元座標と共通の座標)が求まる。
【0125】
特定点座標推定手段14は、残りの特定点31、32、33の3次元座標の値も求める。
【0126】
なお、ここでは、第1画像と第2画像の2つの画像に基づいて、特定点の3次元座標を求める処理を説明したが、3以上の画像に基づいて(すなわち、第3位置に配置される第3撮像装置にも基づいて)特定点の3次元座標の値を算出しても良い。
【0127】
なお、特定点は、対象領域を囲む外枠上のいくつかの点でもよいし、外枠の辺が特定点の集まりであるとして、辺を選択して、多数の特定点を選択したことにしてもよい。いずれにしても、特定点の数が多いほど、後述の面積算出手段15での対象領域の面積算出の精度が高まる。
【0128】
また、特定点座標推定手段14は、第1位置からの直線と第2位置からの直線との交点を、特定点の位置として推定しても良いが、第1位置から特定点までの方向と距離によって、まず第1位置に基づく特定点の3次元座標の値(第1特定座標とする)を推定し、ついで、第2位置から特定点までの方向と距離によって、第2位置に基づく特定点の3次元座標の値(第2特定座標とする)を推定した上で、第1特定座標と第2特定座標とに基づいて、特定点の3次元座標の値を推定しても良い。
【0129】
このとき、特定点を含む被写体2までの距離は、第1位置や第2位置から標識3までの距離と略同一であると考えればよい。方向は、特定点として選択した位置と第1位置(第2位置)の座標との角度で定まる。
【0130】
このとき、第1特定座標と第2特定座標が一致する場合には、第1特定座標と第2特定座標の値が、特定点の3次元座標の値として推定される。第1特定座標と第2特定座標とが不一致の場合には、実施の形態2で説明するように、第1特定座標と第2特定座標との近接位置が、特定点を近似する位置として定められる。
【0131】
このように、特定点座標推定手段14は、特定点の3次元座標を推定し、推定結果を面積算出手段15に出力する。
【0132】
なお、特定点座標推定手段14は、ハードウェアで実現されても、ソフトウェアで実現されても、ハードウェアとソフトウェアの混在で実現されても良い。
【0133】
(面積算出手段)
次に、面積算出手段15について説明する。
【0134】
面積算出手段15は、特定点座標推定手段14で推定された、対象領域20を示す特定点の3次元座標の値に基づいて、対象領域20の面積を算出する。
【0135】
複数の特定点は、共通の3次元座標の値を有している。複数の特定点によって囲まれる対象領域20は、3次元座標によって、その面積が算出できる。3次元座標の値によって、対象領域20を形成する各辺の長さや辺同士が形成する角度が算出されるので、この長さと角度を用いて、面積算出手段15は、対象領域20の面積を算出できる。
【0136】
ここで、面積算出手段15は、領域を形成する点の3次元座標に基づいて領域の面積を算出する種々の公知技術や周知技術を利用できる。これらは、種々の公知技術や周知技術を参考にすればよいので、説明を割愛する。
【0137】
面積算出手段15は、算出した対象領域20の面積値を、必要に応じて表示手段16に出力する。
【0138】
表示手段16は、液晶画面、CRTディスプレイなどを含み、算出された面積値をテキストや画像によって表示する。
【0139】
この表示を受けて、使用者は、被写体である建造物において、塗装を考慮している対象領域の面積を知ることができ、この面積に基づいて塗装のプランニングを行ったり、材料をそろえたりできる。
【0140】
表示手段16は、被写体2、被写体2における対象領域20、推定される第1位置や第2位置の3次元座標の値、推定される特定点の3次元座標の値、算出される面積の少なくとも一部を表示する。これらの要素を全て同時に表示してもよい。表示手段16は、使用者の便宜に供される種々の情報を全て表示可能であって、使用者の選択によって、いずれかの情報のみが表示されてもよい。
【0141】
以上の被写体面積算出装置10は、機能の一部もしくは全部がハードウェアの要素(半導体集積回路や電子回路)である専用装置で実現されてもよいし、パーソナルコンピュータのような汎用装置にハードウェアの要素が追加されて実現されてもよいし、機能の一部もしくは全部の機能を奏するソフトウェア(コンピュータープログラム)が汎用装置に組み込まれることで実現されても良い。
【0142】
実際には、コンピュータや専用装置に実装される被写体面積算出装置を、使用者が使用して対象領域の面積を算出する。
【0143】
使用者は、コンピュータや専用装置のキー入力装置を用いて、記憶部11に記憶されている画像を読み出す。このとき、読み出し手段12が作動して記憶部11に記憶されている画像を読み出す。読み出された画像は、例えば図4に示されるような第1画像と第2画像である。使用者は、第1画像および第2画像において、標識3のポインタのそれぞれをマウスやポインティングデバイスを用いてドラッグする。このドラッグによって、撮像装置座標推定手段13が作動して、第1画像を撮像した位置である第1位置の3次元座標の値と、第2画像を撮像した位置である第2位置の3次元座標の値と、が推定される。
【0144】
次に使用者は、図8に示されるように、第1画像もしくは第2画像中の対象領域20を特定する特定点30、31、32、33を、画像中においてマウスやポインティングデバイスを用いてドラッグする。このドラッグによって、特定点座標推定手段が作動して、特定点30、31、32、33の3次元座標の値が推定される。更には、面積算出手段15が作動して、特定点30、31、32、33で形成される対象領域20の面積が算出される。いずれも、画像上でのマウスやポインティングデバイスによるドラッグでは、画像中の座標値が決定されることによるものである。
【0145】
このように、被写体面積算出装置がコンピュータや専用装置に実装されている場合には、使用者は表示された画像において、必要となる点(標識3のポインタや対象領域20の特定点)を指定するだけで、対象領域20の面積を算出できる。
【0146】
以上のように、実施の形態1における被写体面積算出装置によって、被写体が実際に存在しない場所であっても、高い精度で対象領域の面積を算出できる。
【0147】
特に、対象領域の面積算出の精度を上げるためには、特定点の3次元座標の推定精度が高いことが必要である。この特定点の3次元座標の推定精度を上げるには、画像を撮像した際の撮像装置の位置の3次元座標が高い精度で推定されている必要がある。
【0148】
実施の形態1における被写体面積算出装置は、撮像装置の位置の3次元座標の算出において、撮像角度によらず同定の容易な略球形であって色度の異なる3以上のポインタを有する標識を用いる。このポインタは、撮像装置の3次元座標の基準となる。このような特徴を有する標識を被写体と一緒に撮像した画像を用いることで、被写体面積算出装置は、高い精度で撮像装置や特定点の3次元座標を推定でき、結果として、高い精度で被写体の対象領域の面積を算出できる。
【0149】
(実施の形態2)
次に、実施の形態2について説明する。
【0150】
実施の形態2では、特定点座標の推定における工夫について説明する。
【0151】
特定点座標推定手段は、第1位置および第2位置から特定点の3次元座標を推定する。このとき、第1から特定点に向けて延伸する直線と第2位置から特定点に向けて延伸する直線との交点を、特定点の位置として推定する。このとき第1位置および第2位置の2つの位置からの交点だけでなく、更に第3位置に基づくことで、特定点の3次元座標を、高い精度で推定できる。すなわち、異なる角度からの3以上の撮像画像に基づいて、特定点座標推定手段は、特定点の3次元座標を高い精度で推定できる。
【0152】
このように、2つの撮像位置からだけでなく、3以上の撮像位置からの特定点の3次元座標の推定によって、被写体の対象領域の面積が高い精度で算出される。
【0153】
ここで、各撮像位置から特定点へ形成される各直線が、一つの点で交差せずねじれの関係になることが生じうる。第1位置から特定点への直線は、画像中において選択された特定点と第1位置との方向と距離によって定まり、第2位置から特定点への直線は、画像中において選択された特定点と第2位置との方向と距離によって定まる。このとき、特定点は、平面である画像中において使用者が選択した位置を示し、3次元において一意に定まる本来の特定点と同じ位置となるとは限らない。このため、第1位置から特定点(画像中で選択された特定点)へ形成される直線と第2位置から特定点(画像中で選択された特定点)へ形成される直線とが、交差しないことが生じうる。
【0154】
図10は、このようなねじれの状態を示している。図10は、本発明の実施の形態2における特定点の3次元座標を推定する説明図である。図10は、3つの撮像位置から特定点へ形成される3つの直線50、51、52のそれぞれが交差しない場合を示している。
【0155】
図10に示される場合には、近似によって特定点の3次元座標を推定する。なお、2つの撮像位置から特定点の3次元座標を推定する場合も、下記に説明する近似を用いることができる。
【0156】
図3、図10、図11を用いて説明する。図11は、本発明の実施の形態2における特定点の近似を説明する説明図である。
【0157】
特定点座標推定手段14は、第1撮像装置7a、第2撮像装置7b、第3撮像装置7cのそれぞれで撮像された第1画像、第2画像、第3画像に基づいて、特定点の3次元座標を推定する。まず、撮像装置座標推定手段13は、第1撮像装置7aの3次元座標である第1位置、第2撮像装置7bの3次元座標である第2位置、第3撮像装置7cの3次元座標である第3位置を推定する。撮像装置座標推定手段13は、第1位置、第2位置、第3位置の情報を特定点座標推定手段14に出力する。
【0158】
特定点座標推定手段14は、第1位置から特定点に向けて延伸する直線50を形成する。同様に、特定点座標推定手段14は、第2位置から特定点に向けて延伸する直線51、第3位置から特定点に向けて延伸する直線52を形成する。図10に示されるように、直線50、直線51、直線52のそれぞれは、全てが交差せずねじれの関係を有する。このように、3つの直線50、51、52が交差しない場合には、特定点の3次元座標を一意に定めることができない。図10では、直線50と直線51とは交差せず、直線51と直線52とも交差せず、直線52と直線50とも交差しない。
【0159】
そこで、図11に示されるように、特定点座標推定手段14は、3つの直線50、51、52から特定点の3次元座標を近似する。
【0160】
まず、特定点座標推定手段14は、第1撮像装置7aの第1位置から延伸する直線50と第2撮像装置7bの第2位置から延伸する直線51との近接点を求める。このとき、直線50と直線51とが近接する位置同士を結ぶ線上において、特定点座標推定手段14は、重み付けにより近接点を求める。ここでは、第1位置からの直線50と第2位置からの直線51との重み付けを1:1とする。このため、直線50と直線51と近接する位置同士の中間位置を、直線50と直線51との近接点とする。この直線50と直線51との近接点を第1近接点とする。
【0161】
次に、特定点座標推定手段14は、第1近接点と直線52との近接点を算出する。特定点座標推定手段14は、第1近接点と直線52とが近接する位置同士を結ぶ線上において、重み付けにより近接点を求める。この第1近接点と直線52との近接点を第2近接点とする。ここでは、直線50と直線51との近接点と直線52との重み付けを2:1とする。
【0162】
第1近接点は、直線50と直線51との2つの直線の近接する位置を示すので、1つの直線である直線52との重み付けの比率を2:1とするのが適当だからである。
【0163】
特定点座標推定手段14は、第1特定点に直線52が近接する位置と第1特定点とを結ぶ線上において、第1特定点と直線52との比率が2:1となる位置を、第2近接点として算出する。この第2近接点が、3つの直線50、51、52の交点として近似される点である。特定点座標推定手段14は、この第2近接点の3次元座標の値を、特定点の3次元座標の値として推定し、面積算出手段15に出力する。
【0164】
なお、2つの画像に基づいて特定点の3次元座標を推定する場合には、第1からの直線と第2位置からの直線が交差しない場合には、直線50と直線51との近接点である第1近接点を算出する要領で、特定点を近似する。
【0165】
このように、3以上の撮像位置において撮像された3以上の画像に基づいて特定点の3次元座標を求めることで、より高い精度で、特定点の3次元座標が推定できる。
【0166】
なお、実施の形態2では、重み付けによる近似を説明したが、種々に知られる近似によって特定点の3次元座標が推定されれば良い。例えば、線形近似、最小二乗法、バンドル調整が用いられてもよい。
【0167】
また、特定点座標推定手段14は、第1位置から特定点までの方向と距離によって定めた特定点の3次元座標である第1特定座標と、第2位置から特定点までの方向と距離によって定めた特定点の3次元座標である第2特定座標(あるいは第3特定座標以降も含めて)とに基づいて特定点の3次元座標を近似しても良い。
【0168】
例えば、第1特定座標が(x1、y1、z1)であって、第2特定座標が(x2、y2、z2)であり、重み付けの比率が、第1特定座標:第2特定座標=1:1である場合には、近似される特定点の3次元座標の値は、((x1+x2)/2、(y1+y2)/2、(z1+z2)/2)となる。勿論、3以上の撮像位置に基づく場合には、第3特定座標や第4特定座標の値との重み付け計算によって、特定点の3次元座標の値が近似される。
【0169】
(特定点座標推定の他の態様)
また、特定点座標推定において、複数の撮像装置それぞれの位置から特定点に延伸する直線を、複数にして、複数の直線で囲まれる範囲を特定点の座標として推定することも好適である。
【0170】
図13は、本発明の実施の形態2における特定点座標の推定を説明する模式図である。図13は、第1撮像装置7aからある特定点に向けて複数の直線を延伸させ、第2撮像装置7bからある特定点に向けて複数の直線を延伸させて、複数の直線が囲む範囲を、特定点の3次元座標の存在位置であるとみなしている。
【0171】
第1撮像装置7aの第1位置は、撮像装置座標推定手段13によって定まる。使用者は、第1画像において、特定点と思われる位置を選択する。この選択された特定点の位置へは、第1位置の有する3次元座標を基準として、第1位置から直線が形成される。この際に、特定点とみなす位置を微小な差分で変える事で、微細に異なる複数の直線が、第1位置から特定点に向けて形成される。
【0172】
図13では、第1位置を基準として、ある特定点を3つの位置71a、71b、71cにおいて選択している。同様に、第2位置を基準として、ある特定点を3つの位置72a、72b、72cにおいて選択している。第1位置からは、位置71a、71b、71cのそれぞれに3つの直線が形成され、第2位置からは、位置72a、72b、72cのそれぞれに3つの直線が形成される。すなわち、一つの特定点に対して合計で6本の直線が形成される。6本の直線は、相互に外枠を形成する。この外枠によって領域70が形成される。特定点座標推定手段14は、この領域70の3次元座標の値を算出して、この値を特定点の3次元座標の値として推定する。
【0173】
本来の特定点は、この領域70の中に位置すると推定される。多くの選択肢(ここでは選択された位置71a、71、71cなど)に基づいて形成される領域70が、特定点の位置を推定するので、特定点の推定精度が高まる。
【0174】
更には、図14に示されるように、第3撮像装置7cの撮像位置である第3位置から選択された位置への直線も含めて、全ての直線で囲まれる領域75は、図13の場合の領域70に比べて更に限定された領域となる。このため、特定点は、この領域75の内部に位置すると推定され、特定点の推定精度が高まる。図14は、本発明の実施の形態2における特定点座標の推定を説明する模式図である。
【0175】
以上のように、特定点座標推定手段14は、複数の撮像装置の各位置から特定点として選択された位置に向けて形成される複数の直線に基づいて、高い精度で、特定点の座標を推定する。
【0176】
(面積の誤差率の算出)
被写体面積算出装置10は、特定点の推定精度に基づいて、算出する面積の誤差率および面積の誤差範囲の少なくとも一方を算出することも好適である。
【0177】
特定点座標推定手段14は、第1位置から特定点への直線と第2位置から特定点への直線とが交差しない場合には、交差しないことによって生じる不一致量を算出する。あるいは、第1特定座標と第2特定座標との不一致量を算出する。
【0178】
第1位置から特定点への直線と第2位置から特定点への直線とが交差しない場合には、それぞれの直線の離隔量が生じる。特定点座標推定手段14は、第1位置からの直線と第2位置からの直線とが近接する位置において、近接点を算出する。このとき、近接点を算出する位置における、2つの直線同士の離隔量が算出される。この離隔量が大きいことは、特定点の近似位置として算出される近接点の算出精度は低く、離隔量が小さいことは、特定点の近似位置として算出される近接点の算出精度が高いことを示す。言い換えると、特定点の推定精度を示す。特定点の3次元座標の推定精度が高いことは、面積算出手段15が算出する面積の算出精度が高いことを示す。逆に、特定点の3次元座標の推定精度が低いことは、面積算出手段15が算出する面積の算出精度が低いことを示す。
【0179】
特定点座標推定手段14は、この離隔量を不一致量として算出する。
【0180】
あるいは、特定点座標推定手段14が、第1位置から特定点までの方向と距離によって定めた第1特定座標と第2位置から特定点までの方向と距離によって定めた第2特定座標(あるいは第3特定座標以降も含めて)とに基づいて、特定点の3次元座標を推定する場合には、第1特定座標の値と第2特定座標の値の差分値を不一致量として算出する。
【0181】
面積算出手段15は、この不一致量に基づいて、算出する対象領域の面積の誤差率を算出する。例えば、面積算出手段15は、不一致量と算出された面積の乗算によって、面積の誤差率を算出する。あるいは、不一致量を絶対値ではなく、レベル値(不一致量によって、レベル1〜レベル5までの段階評価としておく)と面積の値との関係によって誤差率を算出する。例えば、面積が所定範囲内であるときに、不一致量がレベル1である場合には、誤差率を1%と定義し、不一致量がレベル2である場合には、誤差率を2%と定義する。
【0182】
あるいは、算出した面積を、「**平方メートルから○○平方メートルの範囲である」とのように、面積の誤差範囲を明示して算出しても良い。誤差範囲が明示されることで、利用者の便宜がますます高まるからである。
【0183】
以上のように、特定点座標推定手段14は不一致量を算出し、面積算出手段15は誤差率を算出する。算出された誤差率は、算出された面積と共に表示手段16で表示される。誤差率が表示されることによって、使用者の便宜が高まる。
【0184】
例えば、図12に示されるように、表示画面60において、対象領域61と、面積および誤差率62とが一度に表示される。図12は、本発明の実施の形態2における表示部の模式図である。この表示によって、使用者は、自らが選択した対象領域の形状や形態を視認できると共に、算出された面積とその誤差率を同時に視認できる。
【0185】
実施の形態2の被写体面積算出装置は、被写体の面積の算出精度を高めると共に、算出される面積の誤差率をも求めることができる。
【0186】
(実施の形態3)
次に実施の形態3について説明する。
【0187】
実施の形態3は、実施の形態1、2で説明された被写体面積算出装置を用いて、使用者に種々の便宜を供する被写体面積算出システムを説明する。
【0188】
図15は、本発明の実施の形態3における被写体面積算出システムの模式図である。
【0189】
被写体面積算出システム80は、被写体面積算出装置81、撮像装置82、第1表示装置83、第2表示装置84を備えている。被写体面積算出装置81は、実施の形態1、2で説明された機能や構成を有する。撮像装置82は、デジタルカメラやデジタルビデオカメラなど、画像を撮像できる装置である。
【0190】
撮像装置82は、撮像した画像を被写体面積算出装置81に送信する送信手段を備える。送信手段は、無線および有線を問わず、撮像した画像をデジタルデータやアナログデータとして、被写体面積算出装置81に送信する。被写体面積算出装置81は、送信された画像のデータを受信する受信手段を備える。送信手段や受信手段は、例えば赤外線通信、デジタル通信、接続ケーブルによる通信などを利用すればよい。
【0191】
被写体面積算出装置81は、送信された画像を記憶し、使用者の操作に基づいて、被写体の面積を算出する。
【0192】
第1表示装置83は、算出された面積や誤差率など、面積算出に関わる情報や結果を表示する。第1表示装置83は、液晶ディスプレイやCRTディスプレイなどを有する。
【0193】
第2表示装置84は、算出された面積に基づいて、使用者の便宜となる情報を表示する。
【0194】
例えば、被写体面積算出装置81は、算出された対象領域の面積に基づいて、使用者の要求する事項に対する回答を作成する。一例として、使用者は対象領域に塗料を塗装する必要があり、使用者は、被写体面積算出装置81に対象領域において必要となる塗料の量を算出することを被写体面積算出装置81に指示しているとする。この場合、被写体面積算出装置81は、単位面積あたりに必要となる塗料の量と算出された面積の値から、対象領域を塗装するのに必要となる塗料の量を算出する。第2表示装置84は、この算出された塗料の量を表示する。
【0195】
あるいは、使用者が被写体面積算出装置81に対して、対象領域に設置可能な看板のサイズを算出することを指示しているとする。この場合には、被写体面積算出装置81は、算出された対象領域の面積と、看板のサイズの種類とを比較して、対象領域に設置可能な看板のサイズを算出する。例えば、Lサイズの看板の設置が可能との算出を行う。第2表示装置84は、設置可能な看板のサイズを「Lサイズ」として表示する。
【0196】
このように、被写体面積算出装置81は、面積に基づいて算出できる種々の事項を算出し、第2表示装置84に表示する。勿論、第1表示装置83が、これらの事項を表示しても良い。
【0197】
また、塗料の必要量や看板のサイズが算出されると、算出結果が塗装作業や設置作業フローのプログラムに出力されても良い。例えば、看板作成を行う装置に被写体面積算出システムが組み合わされると、予め用意されているデザインに対して、被写体面積算出システムよりサイズの指示が加味される。結果として、看板作成を行う装置は、使用者の入力や指示行為を必要とせずに、設置場所に最適なサイズの看板を作成できる。
【0198】
このように、塗装作業を行う装置や看板作成を行う装置と、被写体面積算出システムとが一連に組み合わされることで、各種作業の自動化が図れる。
【0199】
なお、説明の便宜のために、第1表示装置83と第2表示装置84とを、別の要素として説明したが、別の要素である必要はなく、第1表示装置83と第2表示装置84とが一体でも良い。
【0200】
(実施の形態4)
次に、実施の形態4について説明する。
【0201】
実施の形態1、2で説明された被写体面積算出装置は、コンピュータ上で動作可能なプログラムとして実現されても良い。
【0202】
図16は、本発明の実施の形態4における被写体面積算出装置のブロック図であり、図17は、本発明の実施の形態4における被写体面積の算出処理を示すフローチャートである。
【0203】
コンピュータ100は、実施の形態1、2で説明した被写体面積算出装置の機能を有するプログラムを実行可能な処理装置である。コンピュータ100は、汎用コンピュータでもよいし、ワークステーションでもよいし、その一部もしくは全部が専用装置を有する処理装置であってもよい。
【0204】
コンピュータ100は、その内部もしくは外部に記憶部101を備える。記憶部101は、ハードディスクドライブ、半導体メモリ、磁気メモリ、光ディスク、磁気ディスクなど、電子データを記憶できる種々のデバイスを含む。また、コンピュータ100は、プログラムの読み込みおよび命令処理を実行するCPU(中央演算処理装置)102、プログラムを記憶するROM103、演算に必要なデータを読み書きするRAM(ランダムアクセスメモリ)104、CPU102の命令に従って演算を行う演算部105、演算結果や画像を表示する表示部107とのデータのやり取りを行う通信I/F106と表示部107とを備える。なお、表示部107も、コンピュータ100の内部もしくは外部に備えられる。また、コンピュータ100が備える要素は、コンピュータ100の内部もしくは外部のいずれに備えられても良い。
【0205】
CPU102は、ROMに記憶されているプログラムを読み込む。プログラムは、使用者の指示に従い、画像中に含まれる被写体(被写体の対象領域)の面積を算出する機能を有する。CPU102は、読み込まれたプログラムの指示に従い、記憶部101に記憶されている、被写体と標識とを含む複数の画像を読み出す。CPU102は、読み出した画像を、一時的にRAM104に保存する。更には、CPU102は、読み出した画像を表示部107に表示する。表示部107における画像の表示によって、使用者は、標識に含まれるポインタを指定したり、対象領域の特定点を指定したりでき、対象領域の面積算出を指示できる。なお、CPU102は、通信I/F106を介して、表示部107へ画像を表示すると共に、画像を通じた使用者の指示を、通信I/F106を介して受け取ることができる。
【0206】
使用者の指示に従い、CPU102は、演算部105も用いて、撮像装置の3次元座標を推定し、ついで特定点の3次元座標を推定する。被写体の対象領域を形成する特定点の3次元座標が推定されると、CPU102は、演算部105も用いて、対象領域の面積を算出する。
【0207】
CPU102は、算出された面積や、誤差率などの各種情報を、通信I/F106を介して、表示部107に出力する。
【0208】
以上のように、コンピュータ100は、ROM103に記憶されたプログラムを実行して、被写体の面積を、記憶されている画像から算出する。
【0209】
ここで、ROM103に記憶されているプログラムは、使用者からの指示も用いながら被写体の面積を算出する各ステップを備えている。すなわち、プログラムは、第1撮像装置により撮像された被写体と標識とを含む第1画像と、第2撮像装置により撮像された被写体と標識とを含む第2画像を読み出すステップと、第1撮像装置の撮像位置である第1位置と第2撮像装置の撮像位置である第2位置の3次元座標の値を推定するステップと、第1位置および第2位置に基づいて被写体に含まれる複数の特定点の3次元座標の値を推定するステップと、複数の特定点の3次元座標の値に基づいて被写体の面積を算出するステップを含む。
【0210】
図16、図17を用いて、プログラムの有するステップを説明する。図17のフローチャートにおいては、右側に使用者が行う作業を明示し、左側にプログラム自身が有する機能とこの機能に基づいたコンピュータ100の動作を明示する。
【0211】
ステップST1にて、使用者はプログラムを起動する。なお、記憶部101は、撮像された画像を予め記憶しているものとする。
【0212】
ステップST2にて、ROM103に記憶されているプログラムを、CPU102は読み出す。次に、ステップST3にて、CPU102は、記憶部101に記憶されている画像(第1画像、第2画像・・・)を読み出す。次に、CPU102は、ステップST4にて、読み出した画像を、通信I/F106を介して表示部107に表示する。なお、CPU102は、複数の画像を一枚ずつ読み出しながら表示部107に表示してもよいし、複数の画像を一度に読み出して表示部107にまとめて表示しても良い。
【0213】
表示部107が画像を表示することで、使用者は画像に対しての指示を与えることができる。使用者はステップST5にて、画像中に含まれる標識のポインタを指定する。例えばマウスやポインティングデバイスを使って、ポインタをドラッグする。この指定に基づいて、CPU102は、ステップST6にて、撮像装置(第1撮像装置、第2撮像装置、・・・)の位置の3次元座標の値を推定する。
【0214】
更に、使用者はステップST7にて、画像中に含まれる被写体の対象領域を形成する特定点を指定する。ポインタの指定と同様の作業である。この指定を受けて、CPU102は、ステップST8にて、特定点の3次元座標の値を推定する。
【0215】
次に、CPU102は、ステップST9にて、特定点の3次元座標の値に基づいて、対象領域の面積を算出する。このとき、実施の形態2で説明したように、算出された面積の誤差率もあわせて算出しても良い。
【0216】
最後に、CPU102は、ステップST110にて、算出した面積の値、誤差率、誤差範囲、撮像位置や特定点の3次元座標の値などを、表示部107に表示する。使用者は、この表示結果を確認して、必要な情報を得る。
【0217】
なお、プログラムは、特定点の3次元座標の値の推定や、面積の算出においては、実施の形態1、2で説明した種々の詳細なステップを含んでいても良い。また、実施の形態3で説明したように、算出された面積を利用する別途のステップを含んでいても良い。
【0218】
以上のように、被写体面積算出装置の機能の一部もしくは全部が、コンピュータで動作可能なプログラムで実装されることで、汎用のコンピュータでの実行が可能になったり、幅広い用途で活用できたりするメリットが生じる。
【0219】
以上、実施の形態1〜4で説明された被写体面積算出装置、被写体面積算出システム、被写体面積算出方法は、本発明の趣旨を説明する一例であり、本発明の趣旨を逸脱しない範囲での変形や改造を含む。
【図面の簡単な説明】
【0220】
【図1】本発明の実施の形態1における被写体面積算出システムの概念図である。
【図2】本発明の実施の形態1における第1画像と第2画像との撮像を説明する模式図である。
【図3】本発明の実施の形態1における被写体面積算出装置のブロック図である。
【図4】本発明の実施の形態1における第1画像と第2画像の写真例である。
【図5】本発明の実施の形態1における標識の正面図である。
【図6】本発明の実施の形態1における撮像装置の方向推定の模式図である。
【図7】本発明の実施の形態1における撮像装置と標識との距離の推定を説明する模式図である。
【図8】本発明の実施の形態1における特定点座標の推定を説明する写真である。
【図9】本発明の実施の形態1における特定点の3次元座標の推定を説明する模式図である。
【図10】本発明の実施の形態2における特定点の3次元座標を推定する説明図である。
【図11】本発明の実施の形態2における特定点の近似を説明する説明図である。
【図12】本発明の実施の形態2における表示部の模式図である。
【図13】本発明の実施の形態2における特定点座標の推定を説明する模式図である。
【図14】本発明の実施の形態2における特定点座標の推定を説明する模式図である。
【図15】本発明の実施の形態3における被写体面積算出システムの模式図である。
【図16】本発明の実施の形態4における被写体面積算出装置のブロック図である。
【図17】本発明の実施の形態4における被写体面積の算出処理を示すフローチャートである。
【符号の説明】
【0221】
1 被写体面積算出システム
2 被写体
3 標識
4、5、6 ポインタ
7 撮像装置
8、10 被写体面積算出装置
11 記憶部
12 読み出し手段
13 撮像装置座標推定手段
14 特定点座標推定手段
15 面積算出手段
16 表示手段
【技術分野】
【0001】
本発明は、撮像装置で撮像された被写体の面積を、画像情報に基づいて算出できる被写体面積算出装置、被写体面積算出システム、被写体面積算出方法に関する。
【背景技術】
【0002】
建物や建造物の壁面に、塗装を施したり看板やポスターを設置したりする際に、予めこれらの建物や建造物の壁面の面積が算出されていることが好ましい。壁面の面積が不明であると、どの程度の塗料や材料が必要となるのか、どの程度の面積の看板やポスターを設置できるのか不明であるからである。壁面の面積が予め分かっている場合には、塗装を施したり、看板やポスターを設置したりする工事の効率が向上する。
【0003】
このような壁面のある領域の面積を算出するには、危険な作業に基づいて実測を行うか、基準点測量やステレオカメラによる測量を行うのが一般的であった。
【0004】
しかしながら、実測による測量は、危険を伴う上に、対象となる領域が変更になってしまうと、改めて実測による測量作業を必要とする不便を有する。
【0005】
基準点測量やステレオカメラによる作業は、作業時間や作業工数が多くなる上に、測量対象となる建物や建造物を目視できる現場での作業しかできない。
【0006】
近年では、様々な場所における建物や建造物の種々の場所に、看板やポスターを設置したい事業者が数多い。これらの事業者は、設置する看板やポスターを決めてから壁面の面積の測量に入るよりも、壁面の面積に基づいて、設置する看板やポスターの種類を事後的に検討したい。事業者は、壁面における看板やポスターによる宣伝効果を高める工夫を追求するからである。
【0007】
このような看板やポスターを設置する事業者にとっては、設置現場以外で壁面における任意の領域を、事後的に測量したいことが多い。特に、種々の看板やポスターを設置できる面積を有する領域を、壁面の中で任意に探したい場合もある。
【0008】
このため、撮像装置で撮像された画像を用いて、建物や建造物の壁面を計測する技術が提案されている(例えば、特許文献1参照)。
【特許文献1】特開2007−147522号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
しかしながら、特許文献1は、複数の角度から撮像された画像に含まれる被写体の視差を、調整する技術を開示するだけである。
【0010】
このため、特許文献1は、被写体の面積を算出する技術を開示していない。また、特許文献1の標定基準体は、被写体の位置と面積を算出することに適用が難しい。特に、種々の角度から撮像された画像に含まれる標定基準体の任意の点を、高い精度で識別することが困難であり、事後的に撮像された画像を用いて、被写体の面積算出に必要となるデータを得ることが困難である。撮像された写真の角度や位置によっては、標定基準体の写り方が大きく異なって、標定基準体と被写体との関連性を得ることが難しいからである。
【0011】
本発明は、上記課題に鑑み、簡単な標識を含む画像のみで、被写体における対象領域の面積を算出する被写体面積算出装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記課題に鑑み、本発明の被写体面積算出装置は、第1撮像装置により撮像された被写体と標識とを含む第1画像と、第2撮像装置により第1撮像装置と異なる角度から撮像された被写体と標識とを含む第2画像と、を読み出す読み出し手段と、第1撮像装置の第1位置の3次元座標の値と、第2撮像装置の第2位置の3次元座標の値とを推定する撮像装置座標推定手段と、第1位置および第2位置に基づいて、被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する特定点座標推定手段と、複数の特定点のそれぞれの3次元座標の値に基づいて、被写体の面積を算出する面積算出手段と、を備え、標識は、3以上のポインタを備える2次元形状を有する。
【発明の効果】
【0013】
本発明の被写体面積算出装置は、標識と被写体とを含む複数の画像のみに基づいて、被写体における対象領域の面積を算出できる。特に、画像に基づいて面積を算出できるので、被写体のある現場だけでなく、画像のみがあれば、様々な場所において被写体における対象領域の面積を算出できる。このため、算出される面積が、様々な事業用途に活用できる。
【0014】
更に、撮像される角度が種々であっても、標識の認識と位置特定が容易かつ正確であるので、本発明の被写体面積算出装置は、高い精度で、被写体における対象領域の面積を算出できる。
【0015】
更に、本発明の被写体面積算出装置は、算出された面積の誤差率も含めて算出できるので、高いユーザビリティを有する。
【発明を実施するための最良の形態】
【0016】
本発明の第1の発明に係る被写体面積算出装置は、第1撮像装置により撮像された被写体と標識とを含む第1画像と、第2撮像装置により第1撮像装置と異なる角度から撮像された被写体と標識とを含む第2画像と、を読み出す読み出し手段と、第1撮像装置の第1位置の3次元座標の値と、第2撮像装置の第2位置の3次元座標の値とを推定する撮像装置座標推定手段と、第1位置および第2位置に基づいて、被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する特定点座標推定手段と、複数の特定点のそれぞれの3次元座標の値に基づいて、被写体の面積を算出する面積算出手段と、を備え、標識は、3以上のポインタを備える2次元形状を有する。
【0017】
この構成により、予め撮像された画像のみで、被写体の面積を、高い精度で算出できる。特に、3以上のポインタを備える標識を用いて被写体の3次元座標の値を算出できるので、算出精度が高まる。
【0018】
本発明の第2の発明に係る被写体面積算出装置では、第1の発明に加えて、3以上のポインタのそれぞれは、相互に色度が異なる。
【0019】
この構成により、画像中において、ポインタのそれぞれを区別しやすくなる。結果として、ポインタの選択精度が高まり、撮像装置の位置の推定精度が高まる。
【0020】
本発明の第3の発明に係る被写体面積算出装置では、第1又は第2の発明に加えて、3以上のポインタのそれぞれは、略球形を有する。
【0021】
この構成により、画像中における標識の傾きの大小にかかわらず、ポインタを確実に区別できる。結果として、ポインタの選択精度が高まり、撮像装置の位置の推定精度が高まる。
【0022】
本発明の第4の発明に係る被写体面積算出装置では、第2又は第3の発明に加えて、標識は、相互に色度が異なると共に略球形を有する3つのポインタを頂点とする3角形を有する。
【0023】
この構成により、撮像装置から標識までの距離が容易に算出できる。
【0024】
本発明の第5の発明に係る被写体面積算出装置では、第1から第4のいずれかの発明に加えて、撮像装置座標推定手段は、第1画像に含まれる標識の傾きに基づいて、第1撮像装置の標識に対する方向を第1方向として推定し、第1画像に含まれる標識の面積に基づいて、第1撮像装置と標識との距離を第1距離として推定し、第2画像に含まれる標識の傾きに基づいて、第2撮像装置の標識に対する方向を第2方向として推定し、第2画像に含まれる標識の面積に基づいて、第2撮像装置と標識との距離を第2距離として推定し、第1方向および第1距離に基づいて、第1位置を推定し、第2方向および第2距離に基づいて、第2位置を推定する。
【0025】
この構成により、撮像位置の3次元座標の値が容易かつ確実に推定できる。
【0026】
本発明の第6の発明に係る被写体面積算出装置では、第1から第5のいずれかの発明に加えて、第1位置から得られる特定点の3次元座標の値である第1特定座標と、第2位置から得られる特定点の3次元座標の値である第2特定座標と、が一致しない場合には、特定点座標推定手段は、第1特定座標および第2特定座標から、特定点の3次元座標の値を近似する。
【0027】
この構成により、特定点の3次元座標の値を、高い精度で推定できる。また、第1位置と第2位置からの特定点の推定が不十分な場合でも、一定の精度において、特定点の3次元座標の値を推定できる。
【0028】
本発明の第7の発明に係る被写体面積算出装置では、第6の発明に加えて、第1特定座標と第2特定座標とが一致しない場合には、特定点座標推定手段は、第1特定座標と第2特定座標との不一致量を算出する。
【0029】
この構成により、特定点の座標の推定精度を知ることができる。
【0030】
本発明の第8の発明に係る被写体面積算出装置では、第1から第7のいずれかの発明に加えて、読み出し手段は、第3撮像装置によって、第1撮像装置および第2撮像装置のそれぞれと異なる角度から撮像された被写体と標識とを含む第3画像を読み出し、撮像装置座標推定手段は、第3撮像装置の第3位置の3次元座標の値を推定し、特定点座標推定手段は、第1位置、第2位置および第3位置に基づいて、被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する。
【0031】
この構成により、特定点の推定精度を更に高めることができる。
【0032】
本発明の第9の発明に係る被写体面積算出装置では、第1から第8のいずれかの発明に加えて、特定点で形成されると共に面積算出手段は、被写体における面積算出の対象となる対象領域の面積を算出する。
【0033】
この構成により、使用者が算出を要求する領域の面積を算出できる。
【0034】
本発明の第10の発明に係る被写体面積算出装置では、第7から第9のいずれかの発明に加えて、面積算出手段は、不一致量に基づいて、算出される面積の誤差率および面積の誤差範囲の少なくとも一方を算出する。
【0035】
この構成により、算出された面積の確からしさを、使用者が認識できる。
【0036】
本発明の第11の発明に係る被写体面積算出装置では、第9から第10のいずれかの発明に加えて、複数の特定点のそれぞれは、対象領域の頂点に含まれる。
【0037】
この構成により、対象領域が特定点によって形成される。
【0038】
本発明の第12の発明に係る被写体面積算出装置では、第1から第11のいずれかの発明に加えて、面積算出手段が算出した対象領域の面積を表示する表示手段を更に備える。
【0039】
この構成により、使用者は、算出結果を容易に認識できる。
【0040】
以下、図面を参照しながら、本発明の実施の形態を説明する。
【0041】
(実施の形態1)
実施の形態1について説明する。
【0042】
(システム全体の概要)
図1は、本発明の実施の形態1における被写体面積算出システムの概念図である。
【0043】
被写体面積算出システム1は、被写体2と被写体2と近接しておかれた標識3と、被写体2と標識3とを撮像する撮像装置7と、撮像された画像を解析して、被写体2の面積を算出する被写体面積算出装置8とを備えている。
【0044】
被写体2は、建物や建造物の一部もしくは全部であり、特には建物や建造物の壁面である。面積を算出したい領域を含む部分である。例えば、被写体2の例は、ビルやマンションの壁面であったり、ビルやマンションの看板設置板であったりする。
【0045】
標識3は、3つのポインタ4、5,6を備える基準部材であり、標識3を基準とした撮像装置7の3次元座標から、被写体2の面積を算出する。
【0046】
撮像装置7は、カメラ、デジタルカメラ、デジタルビデオカメラ、携帯端末、携帯電話機などの撮像機能を有する電子機器や電子装置である。
【0047】
被写体面積算出装置8として、図1ではパーソナルコンピュータが例として示されているが、パーソナルコンピュータだけでなく、被写体の面積を算出するための処理を行うことのできる、専用装置、汎用装置などが幅広く用いられる。
【0048】
被写体面積算出システム1では、まず標識3を被写体2に近接して設置し、撮像装置7が標識3と被写体2とを同時に撮影する。このとき、撮像装置7は、標識3と被写体2とを含む第1画像と、第1画像と異なる角度から撮像される標識3と被写体2とを含む第2画像(あるいは、第3画像以上を)を撮像する。
【0049】
図2に、第1撮像装置と第2撮像装置が、被写体2と標識3とを撮像する様子を示す。図2は、本発明の実施の形態1における第1画像と第2画像との撮像を説明する模式図である。第1撮像装置7aは、所定の方向から被写体2と標識3とを撮像して、第1画像を得る。一方、第2撮像装置7bは、第1撮像装置7aと異なる角度から、被写体2と標識3とを撮像して、第2画像を得る。
【0050】
被写体面積算出装置8は、撮像装置7から第1画像と第2画像を得る。第1画像および第2画像は、上述の通り、被写体2と標識3とを含んでいる。被写体面積算出装置8は、読み出し手段、撮像装置座標推定手段、特定点座標推定手段、面積算出手段と、を備えている。読み出し手段は、第1画像と第2画像を読み出す。撮像装置座標推定手段は、第1画像を撮像した撮像装置(第1撮像装置という)の3次元座標で表される第1位置と、第2画像を撮像した撮像装置(第2撮像装置という)の3次元座標で表される第2位置とを推定する。なお、第1撮像装置7aと第2撮像装置7bとは、説明の便宜上「第1、第2」と記載されているだけで、第1撮像装置7aと第2撮像装置7bとは、同一の装置であっても異なる装置であってもかまわない。この点は、本明細書の全体に渡って同様である。
【0051】
第1位置と第2位置が推定されると、第1位置と第2位置に基づいて、特定点座標推定手段が、被写体2に含まれる複数の特定点のそれぞれの3次元座標を、推定する。被写体2に含まれる複数の特定点の3次元座標が定まれば、面積を算出することができるようになる。このため、面積算出手段は、特定点の3次元座標に基づいて、被写体2の面積を算出できる。なお、面積算出手段は、被写体2において、特定点によって囲まれる所定の領域の面積を算出する。
【0052】
被写体面積算出装置8は、このように撮像装置7から得られた第1画像、第2画像を用いて、被写体2の所定領域の面積を算出できる。
【0053】
被写体面積算出システムは、標識3、撮像装置7、被写体面積算出装置8とを備えることで、被写体2の所定領域の面積を算出できる。
【0054】
被写体2が建造物や建物の壁面である場合には、所定領域の面積が算出されるので、例えばこの所定領域に貼付するポスターや看板の大きさが、設置前に把握できる。あるいは、所定領域の面積が算出されるので、所定領域に塗装するための塗料の量が、予め把握できる。更には、被写体2と標識3の含まれる複数の画像さえあれば、被写体2を撮像する現場以外の場所でも被写体面積算出装置8を使って、被写体2の面積が算出されるので、使い勝手の良いシステムとなる。
【0055】
(被写体面積算出装置について)
次に、被写体面積算出装置の概要について説明する。
【0056】
図3は、本発明の実施の形態1における被写体面積算出装置のブロック図である。
【0057】
被写体面積算出装置10は、記憶部11に記憶されている画像を読み出す読み出し手段12、画像に含まれる標識に基づいて撮像装置の3次元座標を推定する撮像装置座標推定手段13、撮像装置の3次元座標から、被写体に含まれる複数の特定点のそれぞれの3次元座標を推定する特定点座標推定手段14、推定された特定点の3次元座標に基づいて被写体の面積を算出する面積算出手段15とを備える。面積算出手段15が算出した面積値は、表示手段16で表示される。
【0058】
なお、図3では、記憶部11と表示手段16とが被写体面積算出装置10の外部に表示されているが、被写体面積算出装置10は、記憶部11と表示手段16とを包含してもよいし、外部に持ってもよい。
【0059】
被写体面積算出装置10は、図1に示されるようにパーソナルコンピュータ8にて実現されても良いし、専用の装置によって実現されても良い。
【0060】
記憶部11は、様々な位置から撮像された被写体と標識とを含む画像を記憶する。例えば、第1位置に設置された第1撮像装置により撮像された第1画像と、第1位置と異なる位置である第2位置に設置された第2撮像装置により撮像された第2画像とを記憶する。第1画像および第2画像のそれぞれは、画像中に標識と被写体とを含む。記憶部11は、撮像装置が撮像する都度にあわせて画像を記憶してもよいし、予め撮像された複数の画像を記憶しても良い。
【0061】
読み出し手段12は、記憶部11が記憶する画像を読み出す。このとき、1枚ずつ読み出しもよいし、一度に複数の画像を読み出しても良い。読み出し手段12は、読み出した画像のデータを撮像装置座標推定手段13に出力する。
【0062】
撮像装置座標推定手段13は、読み出し手段12より得られた複数の画像を用いて、第1撮像装置が配置された第1位置の3次元座標を推定する。同様に、第2撮像装置が配置された第2位置の3次元座標を推定する。他の画像があれば、第3撮像装置が配置された第3位置の3次元座標(第n撮像装置が配置された第n位置の3次元座標も)を推定する。
【0063】
撮像装置座標推定手段13は、画像の中に含まれる標識の傾きに基づいて、撮像装置と標識との方向を推定する。ついで、画像の中に含まれる標識の面積に基づいて、撮像装置と標識との距離を推定する。撮像装置座標推定手段13は、この方向と距離を用いて、撮像装置の位置の3次元座標を推定する。なお、標識は、その大きさ、形状、面積などが既知である。
【0064】
撮像装置座標推定手段13によって、2次元座標であるローカル座標を有する撮像装置の座標が、標識を基準とした3次元座標であるグローバル座標に変換される。なお、撮像装置座標推定手段13は、複数の位置における撮像装置のそれぞれの3次元座標の値を推定する。結果として、異なる位置にある撮像装置それぞれの3次元座標の値が推定される。
【0065】
特定点座標推定手段14は、推定された撮像装置の3次元座標を基準に、被写体に含まれる特定点の3次元座標を推定する。被写体は、その面積を算出したい領域を有しており、特定点座標推定手段14は、この領域の外縁に沿った複数の点を特定点として決定する。これら複数の特定点のグローバルな3次元座標の値が求まれば、これら特定点で囲まれる領域の面積が算出できる。
【0066】
撮像装置座標推定手段13によって、撮像装置の3次元座標の値は推定されている。特定点の3次元座標は、撮像装置の3次元座標に基づいて推定される。すなわち、複数の撮像装置からある特定点の方向を推定し、複数の撮像装置から推定された特定点の方向の重複点が、特定点の3次元座標の値となる。このように、特定点の一つの3次元座標の値は、複数の撮像装置の位置に基づいて算出される。特定点座標推定手段14は、複数の特定点のそれぞれに推定の作業を行うことで、複数の特定点のそれぞれの3次元座標の値を算出する。
【0067】
特定点座標推定手段14は、推定した複数の特定点の3次元座標の値を、面積算出手段15に出力する。
【0068】
面積算出手段15は、得られた複数の特定点の3次元座標(それぞれは、同じ座標系列に基づいている)を用いて、複数の特定点で囲まれる被写体の対象領域の面積を算出する。ここで、被写体は標識と一緒に画像中に映りこんでいることが前提である。
【0069】
被写体がビルであって、面積を算出したい対象領域がビルの壁面の一部であるとすると、特定点は、この壁面の一部を囲む線上の点である。特定点の3次元座標に基づいて計算することで、面積算出手段15は、対象領域の面積を算出できる。3次元座標が定まっていれば、座標値に基づく積分計算によって対象領域の面積が算出できるからである。
【0070】
面積算出手段15は、算出した面積の値を、必要に応じて表示手段16に出力する。表示手段16は、面積の値を、テキスト、映像、音声など様々な形態で表示できる。なお、表示手段16は、パーソナルコンピュータのモニタと共通であってもよく、この場合には、表示手段16は、データや命令の入力を確認する画面としても機能する。
【0071】
このように、標識と被写体とを含む、異なる位置からの複数の画像によって、被写体面積算出装置10は、被写体の面積を算出できる。このとき、被写体面積算出装置10は、被写体と一緒に写りこんでいる標識(その形状、大きさ、面積などが既知である)に基づいて、撮像装置のグローバルな3次元座標を算出した上で、被写体の対象領域を形成する特定点の3次元座標を容易に算出できる。この特定点の3次元座標を用いて、被写体面積算出装置10は、被写体の面積を、容易に算出できる。特に、標識と被写体とは、撮像した画像に写っているので、記憶部11が画像を記憶していれば、いかなる場所においても、被写体面積算出装置10は、面積を算出できる。また、標識と共に写りこんでいる被写体であれば、その特定点の選び方によって、様々な対象領域の面積を算出できるので、使用者は、フレキシブルに対象領域を選択して、対象領域の面積を算出できる。
【0072】
次に、各部の詳細について、説明する。
【0073】
なお、被写体面積算出装置10は、被写体と標識とが写っている画像について、より様々な位置や角度から撮像された多くの画像に基づくことが、面積算出の精度を上げる。但し、異なる位置や角度から撮像された少なくとも2枚の画像によって、特定点の3次元座標が求まるので、この2枚の画像によって、面積を算出できる。
【0074】
以下では、説明の便宜のために、図2も用いて、2枚の画像(第1画像と第2画像)とに基づいて面積を算出する各部の動作について説明する。なお、第1画像と第2画像との2枚の画像を用いることは一例であって、3枚以上の画像を用いてもよいことは勿論である。また、第1撮像装置と第2撮像装置とは、同一の撮像装置による撮像位置の相違によって付している名称であってもよいし、異なる撮像装置のそれぞれに対して付している名称であっても良い。「第1、第2」なる語によって、第1撮像装置、第2撮像装置とが別体の装置であることに限定されるものではない。
【0075】
(記憶部)
記憶部11は、撮像装置によって撮像された画像を記憶する。
【0076】
ここでは、記憶部11は、第1撮像装置7aによって撮像された第1画像と第2撮像装置7bによって撮像された第2画像とを記憶する。
【0077】
第1撮像装置7aと、第2撮像装置7bとは、図2に示されるように、異なる位置(被写体および標識に対して異なる角度)に配置される。第1撮像装置7aと第2撮像装置7bとは、デジタルカメラ、デジタルビデオカメラなど、動画、静止画を撮像できる装置であれば何でも良い。
【0078】
第1撮像装置7aと第2撮像装置7bとは、被写体2と標識3とが一緒の画像内に入るように、画像を撮像する。また、第1撮像装置7aと第2撮像装置7bとは、標識3を基準として、異なる角度から、被写体2と標識3とを撮像する。このため、得られる第1画像と第2画像とは、異なる角度に写っている被写体2と標識3とを表示する。
【0079】
図4に第1画像と第2画像の例を示す。図4は、本発明の実施の形態1における第1画像と第2画像の写真例である。第1画像および第2画像のそれぞれは、被写体2であるブロック塀と三角形の形状を有する標識3とを含んでいる。また、被写体2の一部の領域が線で枠囲いされているが、この枠囲いされている領域が、面積算出の対象となる対象領域20である。
【0080】
図4の第1画像と第2画像が示すように、第1画像と第2画像とは、異なる角度から被写体2と標識3とを撮像している。
【0081】
記憶部11は、図4に例示されるような第1画像と第2画像とを記憶する。
【0082】
記憶部11は、HDD(ハードディスクドライブ)、磁気メモリ、半導体メモリ、ROM、RAM、CD、DVD、カードメモリなど、一般に知られる様々な記憶素子や記憶デバイスを含む。また、記憶部11は、独立した装置やデバイスであってもよいし、被写体面積算出装置10と一体の要素であってもよい。例えば、被写体面積算出装置10がパーソナルコンピュータや汎用装置によって実現される場合には、これらのパーソナルコンピュータや汎用装置に含まれるHDDや記録デバイスによって、記憶部11が実現される。
【0083】
また、記憶部11は、可搬性のある記録デバイスでもよく、記憶部11が読み出し手段12と電気的結合されることで、読み出し手段12が記憶部11から画像を読み出せる構成でも良い。また、記憶部11は、ネットワークによって、被写体面積算出装置10と接続されてもよい。
【0084】
(読み出し手段)
読み出し手段12は、記憶部11に記憶されている画像を読み出す。例えば、読み出し手段11は、HDDやDVDドライブなどに設けられているデータの読取装置およびこの読取装置を駆動するソフトウェアなどを含む。記憶部11が半導体メモリや光ディスクである場合には、読み出し手段12は、読み出し対象の画像が含まれているアドレスを指定し、当該アドレスに対応するデータを読み出す。
【0085】
読み出し手段12は、記憶部11から画像を読み出せればよく、その実現手段や構成は、公知技術や一般的に用いられる技術でよい。また、記憶部11がデータの書き込みも可能である場合には、読み出し手段12は、必要に応じてデータを記憶部11に書き込んでもよい。例えば、読み出し手段12は、面積算出手段15が算出した結果を、記憶部11に書き込んでも良い。このため、読み出し手段12は、データの読み出しだけに限定されるものではない。
【0086】
記憶部11に図4に示される第1画像と第2画像とが記憶されている場合、読み出し手段12は、これらの第1画像と第2画像とを読み出す。読み出し手段12は、読み出した第1画像と第2画像とのデータを、撮像装置座標推定手段13に出力する。
【0087】
なお、読み出し手段12は、ハードウェアで実現されてもソフトウェアで実現されも、ハードウェアとソフトウェアの混在で実現されても良い。
【0088】
(撮像装置座標推定手段)
撮像装置座標推定手段13は、第1撮像装置7aの配置される第1位置と、第2撮像装置7bの配置される第2位置の、グローバル座標に基づく3次元座標の値を推定する。撮像装置座標推定手段13は、標識3を利用して、第1位置と第2位置の3次元座標の値を推定する。第1位置と第2位置の3次元座標の値に基づいて、被写体2の特定点の3次元座標の値が推定できるようになる。
【0089】
ここで、撮像装置座標推定手段13は、第1画像に写っている標識3の傾きに基づいて、第1撮像装置7aの標識3に対する方向を第1方向として推定する。ついで、撮像装置座標推定手段13は、第1画像中における標識3の面積に基づいて、第1撮像装置7aと標識3との距離を第1距離として推定する。
【0090】
同様に、撮像装置座標推定手段13は、第2画像に写っている標識3の傾きに基づいて、第2撮像装置7bの標識3に対する方向を第2方向として推定する。ついで、撮像装置座標推定手段13は、第2画像中における標識3の面積に基づいて、第2撮像装置7bと標識3との距離を第2距離として推定する。
【0091】
なお、撮像装置座標推定手段13は、具体的には標識3が含む特定の部位(ポインタ)を基準として、撮像装置と標識3との方向を推定する。このため、標識3は、ポインタを有していることが必要である。特には、ポインタから傾きを検出する必要があるので、標識3は3個以上のポインタを有している必要がある。
【0092】
撮像装置座標推定手段13は、第1方向および第1距離に基づいて、第1位置の3次元座標の値を推定し、第2方向および第2距離に基づいて、第2位置の3次元座標の値を推定する。このとき、撮像装置座標推定手段13は、第1画像および第2画像に写っている標識3の傾きと面積を利用する。このため、標識3は、画像に移っている状態だけでその傾きと面積とを容易に算出できる構成を有していることが好ましい。
【0093】
例えば、標識3は、その形状や面積が既知であって、画像中で標識3の全体形状や画像中における面積が算出しやすい形状を有していることが好適である。加えて、標識3は、画像のみで、標識3の傾きが判別しやすい形状を有していることが好適である。
【0094】
(標識について)
図5は、本発明の実施の形態1における標識の正面図である。上述のように、画像中で標識3を認識しやすい一例を、図5は示している。勿論、図5に示される形状や構成に限られるものではない。
【0095】
標識3は、3以上のポインタを有している。図5では、標識3は、3つのポインタ21、22、23を有している。3つのポインタ21、22、23同士を結ぶ棒状部材によって、標識3は、3つのポインタ21、22、23を頂点とする略三角形の形状を有する。このとき、標識3を形成する三角形は、既知である所定の面積を有している。標識3の本来の面積が既知であることで、画像における標識3の面積(すなわち、三角形の面積)が算出されれば、算出された面積と本来の面積との縮尺率から、撮像装置から標識3までの距離が算出できる。
【0096】
また、標識3が図5に示されるように三角形を有していることで、最少の頂点数により面積を有するので、標識3が画像の中で判別しやすい上に面積や大きさが判別されやすい。
【0097】
このように、標識3が、3つのポインタ21、22、23を頂点とする三角形を有することで、(1)画像中における標識3が容易かつ確実に判別できる、(2)標識3の画像中における面積を算出しやすい、(3)画像中での標識3の面積と、実際の標識3の面積との比較から、撮像装置から標識3までの距離が容易に算出できる、とのメリットを生じる。
【0098】
また、撮像装置座標推定手段13は、画像中の標識3の傾きから、撮像装置と標識3との方向を推定する。例えば、図4の第1画像では、標識3は、正面から見て右側に傾いている。一方、図4の第2画像では、標識3は、正面から見て左側に傾いている。第1画像と第2画像のいずれであっても、標識3がどのように傾いているかは、容易に判別できる。撮像装置座標推定手段13にとって、標識3の傾きを容易かつ確実に判別できることは、撮像装置と標識3との方向を推定する上で重要である。
【0099】
ここで、3つのポインタ21、22、23のそれぞれは、相互に色度が異なっていることも好適である。相互に色度が異なっていることで、画像中における標識3の判別が確実になる。特に、撮像装置座標推定手段13は、ポインタ21、22、23のそれぞれを基準として、撮像装置と標識3との方向を推定するので、ポインタ21、22、23のそれぞれは、確実に区別できることが好ましい。ポインタ21、22、23のそれぞれの色度が相互に異なることで、画像中に写っているポインタ21、22、23のそれぞれが、個々に区別できるようになる。
【0100】
また、3つのポインタ21、22、23のそれぞれは、略球形を有することが好ましい。
【0101】
撮像装置座標推定手段13は、標識3に含まれるポインタ21、22、23のそれぞれを基準として撮像装置との方向を推定する。このため、標識3の画像中での写りこみの態様の如何にかかわらず、撮像装置座標推定手段13は、画像中のポインタを確実に認識できる必要がある。このとき、ポインタ21、22、23のそれぞれが略球形であることで、標識3がどのような角度から撮像されていてもポインタ21、22、23の形状に変化がない(画像に写っている形状において)。このため、撮像装置座標推定手段13は、画像の中から確実にポインタを認識できる。
【0102】
実際には、表示手段に表示された第1画像や第2画像において、使用者がポインタを選択することで、ポインタと撮像装置との方向や距離が算出される。このとき、撮像されている角度によってポインタの形状が異なってしまっては、正確な選択ができない。ポインタが略球形を有していることで、撮像されている角度によることなく(異なる画像によることなく)、ポインタを正確に選択できる。
【0103】
このように、ポインタ21、22、23が異なる色度を有していたり、略球形を有していたりすることで、(1)画像中におけるポインタが容易かつ確実に判別できる、(2)画像の撮像角度の違いによっても、ポインタを一義的に選択できる、(3)ポインタが正確に選択できることで、標識3に対する撮像装置の方向が確実に推定できる、メリットが生じる。
【0104】
撮像装置座標推定手段13は、第1画像に写っているポインタ21、22、23のそれぞれから、第1撮像装置7aの標識3に対する方向を推定する。同様に、撮像装置座標推定手段13は、第2画像に写っているポインタ21、22、23のそれぞれから、第2撮像装置7bの標識3に対する方向を推定する。
【0105】
図6は、撮像装置の標識3に対する方向を推定する状態を示している。図6は、本発明の実施の形態1における撮像装置の方向推定の模式図である。
【0106】
標識3は、3つのポインタ21、22、23を有しており、第1位置に配置される第1撮像装置7aは、第1画像を撮像し、第2位置に配置される第2撮像装置7bは、第2画像を撮像する。第1画像にも第2画像にも、3つのポインタ21、22、23を有する標識3が写っている。
【0107】
撮像装置座標推定手段13は、第1画像において、ポインタ21、ポインタ22およびポインタ23を選択して、ポインタ21、22、23のそれぞれで構成される平面(標識3の三角形の平面)の傾きを算出する。この傾きによって、第1撮像装置7aの標識3に対する第1方向が推定される。なお、標識3の画像中での形状と標識3の傾きとの相関関係を明示したテーブルに基づいて、撮像装置座標推定手段13は、第1方向を推定しても良い。
【0108】
同様に、撮像装置座標推定手段13は、第2画像において、ポインタ21、22、23を選択して、ポインタ21、22、23のそれぞれによって構成される平面(標識3の三角形の平面)の傾きを算出する。この傾きによって、第1撮像装置7bの標識3に対する第2方向が推定される。なお、第2方向も、標識3の画像中での形状と標識3の傾きとの相関関係を明示したテーブルに基づいて、推定されてもよい。
【0109】
第1方向および第2方向のいずれも、図6に示されるように、ポインタ21、22、23の各点と撮像装置とを結ぶベクトルによって、推定される。
【0110】
次に、撮像装置座標推定手段13は、画像中の標識3の面積と本来の標識3の面積との比較から、撮像装置から標識3までの距離を推定する。
【0111】
図7は、距離の推定の状態を示す。図7は、本発明の実施の形態1における撮像装置と標識との距離の推定を説明する模式図である。
【0112】
図7より明らかな通り、撮像装置は、線形を保ったまま標識3を撮像するので、撮像装置から標識3までの距離は、標識3の撮像装置の位置における面積(既知である固有の面積)と画像中で算出される標識3の面積との比較によって推定される。
【0113】
撮像装置座標推定手段13は、第1画像における標識3の面積を算出した上で既知の面積と比較して、第1撮像装置7aから標識3までの距離を第1距離として推定する。同様に、撮像装置座標推定手段13は、第2画像における標識3の面積を算出した上で既知の面積と比較して、第2撮像装置7bから標識3までの距離を第2距離として推定する。
【0114】
標識3を基準とした第1撮像装置7aの方向と距離が分かれば、第1撮像装置7aの画像中における2次元座標が、標識3を基準としたグローバルな3次元座標に変換される。すなわち、第1位置の3次元座標の値が得られる。同様に、標識3を基準とした第2撮像装置7bの方向と距離が分かれば、第2撮像装置7bの画像中における2次元座標が、標識3を基準としたグローバルな3次元座標に変換される。
【0115】
このことから、撮像装置座標推定手段13は、第1方向と第1距離とから第1位置の3次元座標の値を推定し、第2方向と第2距離と空第2位置の3次元座標の値を推定する。
【0116】
以上の処理手順によって、撮像装置座標推定手段13は、第1撮像装置7aの配置されている第1位置と第2撮像装置7bの配置されている第2位置との3次元座標の値を推定する。
【0117】
(特定点座標推定手段)
撮像装置座標推定手段13は、特定点座標推定手段14に、第1位置と第2位置の3次元座標の値を出力する。特定点座標推定手段14は、この第1位置と第2位置の3次元座標の値に基づいて、被写体2の特定点の3次元座標の値を推定する。
【0118】
図8は、本発明の実施の形態1における特定点座標の推定を説明する写真である。図8で示される画像は、標識3と一緒に撮像された被写体2を含んでおり、被写体2において、枠囲いされた面積を算出する対象である対象領域20を含んでいる。
【0119】
対象領域20は、任意に定まる複数の特定点を含んでいる。対象領域20は、特定点の3次元座標が分かれば、その面積が算出される。図8においては、対象領域20は、方形の領域であり、対象領域20の4つの頂点が、4つの特定点30、31、32、33として特定されている。特定点は、任意に定められれば良いが、面積算出の容易性から、対象領域の頂点に含まれればよい。あるいは対象領域の外枠の辺上の任意の点と頂点とが組み合わされて、特定点が定められても良い。
【0120】
実際には、表示手段に表示されている画像(図8に例示される画像)上で、使用者が任意の点を特定点として選択する。
【0121】
特定点座標推定手段14は、特定点30、31、32、33のそれぞれに対して、第1位置からの方向と第2位置からの方向のそれぞれを推定する。例えば、一つの特定点30に対する第1位置からの方向と第2位置からの方向を推定する。このとき、第1位置と第2位置とは、それぞれ3次元座標の値を有しているので、この3次元座標の値に基づいて、特定点30への方向が推定される。更に、特定点座標推定手段14は、第1位置からの方向と第2位置からの方向の交点の3次元座標の値を求める。交点の3次元座標の値が、求めるべき特定点30の3次元座標の値である。図9に特定点の3次元座標の推定の状態を示す。
【0122】
図9は、本発明の実施の形態1における特定点の3次元座標の推定を説明する模式図である。
【0123】
図9に示されるように、第1撮像装置7a(第1位置)から特定点30への方向を示す線40と第2撮像装置7b(第2位置)から特定点30への方向を示す線41とが描かれる。図9より明らかな通り、線40と線41とは、ある位置で交わる。この位置が、交点42である。線40は、第1画像に写っている特定点30と第1位置とを結ぶ線であり、線41は、第2画像に写っている特定点30と第2位置とを結ぶ線である。特定点30は、撮像された角度や位置によって、単一の画像だけでは、その3次元座標は正確に求まらない。これに対して、撮像角度が異なる複数の画像によって、それぞれの画像における特定点30への方向の共通項(交点)が得られる。この交点は、単一の画像だけの場合よりも特定点30の位置に近い位置となりうる。
【0124】
このように、第1画像と第2画像のそれぞれにおいて、第1位置から特定点を結ぶ線と、第2位置から特定点を結ぶ線とを算出し、それぞれの線同士の交点を算出することで、特定点の3次元座標(第1位置と第2位置が有する3次元座標と共通の座標)が求まる。
【0125】
特定点座標推定手段14は、残りの特定点31、32、33の3次元座標の値も求める。
【0126】
なお、ここでは、第1画像と第2画像の2つの画像に基づいて、特定点の3次元座標を求める処理を説明したが、3以上の画像に基づいて(すなわち、第3位置に配置される第3撮像装置にも基づいて)特定点の3次元座標の値を算出しても良い。
【0127】
なお、特定点は、対象領域を囲む外枠上のいくつかの点でもよいし、外枠の辺が特定点の集まりであるとして、辺を選択して、多数の特定点を選択したことにしてもよい。いずれにしても、特定点の数が多いほど、後述の面積算出手段15での対象領域の面積算出の精度が高まる。
【0128】
また、特定点座標推定手段14は、第1位置からの直線と第2位置からの直線との交点を、特定点の位置として推定しても良いが、第1位置から特定点までの方向と距離によって、まず第1位置に基づく特定点の3次元座標の値(第1特定座標とする)を推定し、ついで、第2位置から特定点までの方向と距離によって、第2位置に基づく特定点の3次元座標の値(第2特定座標とする)を推定した上で、第1特定座標と第2特定座標とに基づいて、特定点の3次元座標の値を推定しても良い。
【0129】
このとき、特定点を含む被写体2までの距離は、第1位置や第2位置から標識3までの距離と略同一であると考えればよい。方向は、特定点として選択した位置と第1位置(第2位置)の座標との角度で定まる。
【0130】
このとき、第1特定座標と第2特定座標が一致する場合には、第1特定座標と第2特定座標の値が、特定点の3次元座標の値として推定される。第1特定座標と第2特定座標とが不一致の場合には、実施の形態2で説明するように、第1特定座標と第2特定座標との近接位置が、特定点を近似する位置として定められる。
【0131】
このように、特定点座標推定手段14は、特定点の3次元座標を推定し、推定結果を面積算出手段15に出力する。
【0132】
なお、特定点座標推定手段14は、ハードウェアで実現されても、ソフトウェアで実現されても、ハードウェアとソフトウェアの混在で実現されても良い。
【0133】
(面積算出手段)
次に、面積算出手段15について説明する。
【0134】
面積算出手段15は、特定点座標推定手段14で推定された、対象領域20を示す特定点の3次元座標の値に基づいて、対象領域20の面積を算出する。
【0135】
複数の特定点は、共通の3次元座標の値を有している。複数の特定点によって囲まれる対象領域20は、3次元座標によって、その面積が算出できる。3次元座標の値によって、対象領域20を形成する各辺の長さや辺同士が形成する角度が算出されるので、この長さと角度を用いて、面積算出手段15は、対象領域20の面積を算出できる。
【0136】
ここで、面積算出手段15は、領域を形成する点の3次元座標に基づいて領域の面積を算出する種々の公知技術や周知技術を利用できる。これらは、種々の公知技術や周知技術を参考にすればよいので、説明を割愛する。
【0137】
面積算出手段15は、算出した対象領域20の面積値を、必要に応じて表示手段16に出力する。
【0138】
表示手段16は、液晶画面、CRTディスプレイなどを含み、算出された面積値をテキストや画像によって表示する。
【0139】
この表示を受けて、使用者は、被写体である建造物において、塗装を考慮している対象領域の面積を知ることができ、この面積に基づいて塗装のプランニングを行ったり、材料をそろえたりできる。
【0140】
表示手段16は、被写体2、被写体2における対象領域20、推定される第1位置や第2位置の3次元座標の値、推定される特定点の3次元座標の値、算出される面積の少なくとも一部を表示する。これらの要素を全て同時に表示してもよい。表示手段16は、使用者の便宜に供される種々の情報を全て表示可能であって、使用者の選択によって、いずれかの情報のみが表示されてもよい。
【0141】
以上の被写体面積算出装置10は、機能の一部もしくは全部がハードウェアの要素(半導体集積回路や電子回路)である専用装置で実現されてもよいし、パーソナルコンピュータのような汎用装置にハードウェアの要素が追加されて実現されてもよいし、機能の一部もしくは全部の機能を奏するソフトウェア(コンピュータープログラム)が汎用装置に組み込まれることで実現されても良い。
【0142】
実際には、コンピュータや専用装置に実装される被写体面積算出装置を、使用者が使用して対象領域の面積を算出する。
【0143】
使用者は、コンピュータや専用装置のキー入力装置を用いて、記憶部11に記憶されている画像を読み出す。このとき、読み出し手段12が作動して記憶部11に記憶されている画像を読み出す。読み出された画像は、例えば図4に示されるような第1画像と第2画像である。使用者は、第1画像および第2画像において、標識3のポインタのそれぞれをマウスやポインティングデバイスを用いてドラッグする。このドラッグによって、撮像装置座標推定手段13が作動して、第1画像を撮像した位置である第1位置の3次元座標の値と、第2画像を撮像した位置である第2位置の3次元座標の値と、が推定される。
【0144】
次に使用者は、図8に示されるように、第1画像もしくは第2画像中の対象領域20を特定する特定点30、31、32、33を、画像中においてマウスやポインティングデバイスを用いてドラッグする。このドラッグによって、特定点座標推定手段が作動して、特定点30、31、32、33の3次元座標の値が推定される。更には、面積算出手段15が作動して、特定点30、31、32、33で形成される対象領域20の面積が算出される。いずれも、画像上でのマウスやポインティングデバイスによるドラッグでは、画像中の座標値が決定されることによるものである。
【0145】
このように、被写体面積算出装置がコンピュータや専用装置に実装されている場合には、使用者は表示された画像において、必要となる点(標識3のポインタや対象領域20の特定点)を指定するだけで、対象領域20の面積を算出できる。
【0146】
以上のように、実施の形態1における被写体面積算出装置によって、被写体が実際に存在しない場所であっても、高い精度で対象領域の面積を算出できる。
【0147】
特に、対象領域の面積算出の精度を上げるためには、特定点の3次元座標の推定精度が高いことが必要である。この特定点の3次元座標の推定精度を上げるには、画像を撮像した際の撮像装置の位置の3次元座標が高い精度で推定されている必要がある。
【0148】
実施の形態1における被写体面積算出装置は、撮像装置の位置の3次元座標の算出において、撮像角度によらず同定の容易な略球形であって色度の異なる3以上のポインタを有する標識を用いる。このポインタは、撮像装置の3次元座標の基準となる。このような特徴を有する標識を被写体と一緒に撮像した画像を用いることで、被写体面積算出装置は、高い精度で撮像装置や特定点の3次元座標を推定でき、結果として、高い精度で被写体の対象領域の面積を算出できる。
【0149】
(実施の形態2)
次に、実施の形態2について説明する。
【0150】
実施の形態2では、特定点座標の推定における工夫について説明する。
【0151】
特定点座標推定手段は、第1位置および第2位置から特定点の3次元座標を推定する。このとき、第1から特定点に向けて延伸する直線と第2位置から特定点に向けて延伸する直線との交点を、特定点の位置として推定する。このとき第1位置および第2位置の2つの位置からの交点だけでなく、更に第3位置に基づくことで、特定点の3次元座標を、高い精度で推定できる。すなわち、異なる角度からの3以上の撮像画像に基づいて、特定点座標推定手段は、特定点の3次元座標を高い精度で推定できる。
【0152】
このように、2つの撮像位置からだけでなく、3以上の撮像位置からの特定点の3次元座標の推定によって、被写体の対象領域の面積が高い精度で算出される。
【0153】
ここで、各撮像位置から特定点へ形成される各直線が、一つの点で交差せずねじれの関係になることが生じうる。第1位置から特定点への直線は、画像中において選択された特定点と第1位置との方向と距離によって定まり、第2位置から特定点への直線は、画像中において選択された特定点と第2位置との方向と距離によって定まる。このとき、特定点は、平面である画像中において使用者が選択した位置を示し、3次元において一意に定まる本来の特定点と同じ位置となるとは限らない。このため、第1位置から特定点(画像中で選択された特定点)へ形成される直線と第2位置から特定点(画像中で選択された特定点)へ形成される直線とが、交差しないことが生じうる。
【0154】
図10は、このようなねじれの状態を示している。図10は、本発明の実施の形態2における特定点の3次元座標を推定する説明図である。図10は、3つの撮像位置から特定点へ形成される3つの直線50、51、52のそれぞれが交差しない場合を示している。
【0155】
図10に示される場合には、近似によって特定点の3次元座標を推定する。なお、2つの撮像位置から特定点の3次元座標を推定する場合も、下記に説明する近似を用いることができる。
【0156】
図3、図10、図11を用いて説明する。図11は、本発明の実施の形態2における特定点の近似を説明する説明図である。
【0157】
特定点座標推定手段14は、第1撮像装置7a、第2撮像装置7b、第3撮像装置7cのそれぞれで撮像された第1画像、第2画像、第3画像に基づいて、特定点の3次元座標を推定する。まず、撮像装置座標推定手段13は、第1撮像装置7aの3次元座標である第1位置、第2撮像装置7bの3次元座標である第2位置、第3撮像装置7cの3次元座標である第3位置を推定する。撮像装置座標推定手段13は、第1位置、第2位置、第3位置の情報を特定点座標推定手段14に出力する。
【0158】
特定点座標推定手段14は、第1位置から特定点に向けて延伸する直線50を形成する。同様に、特定点座標推定手段14は、第2位置から特定点に向けて延伸する直線51、第3位置から特定点に向けて延伸する直線52を形成する。図10に示されるように、直線50、直線51、直線52のそれぞれは、全てが交差せずねじれの関係を有する。このように、3つの直線50、51、52が交差しない場合には、特定点の3次元座標を一意に定めることができない。図10では、直線50と直線51とは交差せず、直線51と直線52とも交差せず、直線52と直線50とも交差しない。
【0159】
そこで、図11に示されるように、特定点座標推定手段14は、3つの直線50、51、52から特定点の3次元座標を近似する。
【0160】
まず、特定点座標推定手段14は、第1撮像装置7aの第1位置から延伸する直線50と第2撮像装置7bの第2位置から延伸する直線51との近接点を求める。このとき、直線50と直線51とが近接する位置同士を結ぶ線上において、特定点座標推定手段14は、重み付けにより近接点を求める。ここでは、第1位置からの直線50と第2位置からの直線51との重み付けを1:1とする。このため、直線50と直線51と近接する位置同士の中間位置を、直線50と直線51との近接点とする。この直線50と直線51との近接点を第1近接点とする。
【0161】
次に、特定点座標推定手段14は、第1近接点と直線52との近接点を算出する。特定点座標推定手段14は、第1近接点と直線52とが近接する位置同士を結ぶ線上において、重み付けにより近接点を求める。この第1近接点と直線52との近接点を第2近接点とする。ここでは、直線50と直線51との近接点と直線52との重み付けを2:1とする。
【0162】
第1近接点は、直線50と直線51との2つの直線の近接する位置を示すので、1つの直線である直線52との重み付けの比率を2:1とするのが適当だからである。
【0163】
特定点座標推定手段14は、第1特定点に直線52が近接する位置と第1特定点とを結ぶ線上において、第1特定点と直線52との比率が2:1となる位置を、第2近接点として算出する。この第2近接点が、3つの直線50、51、52の交点として近似される点である。特定点座標推定手段14は、この第2近接点の3次元座標の値を、特定点の3次元座標の値として推定し、面積算出手段15に出力する。
【0164】
なお、2つの画像に基づいて特定点の3次元座標を推定する場合には、第1からの直線と第2位置からの直線が交差しない場合には、直線50と直線51との近接点である第1近接点を算出する要領で、特定点を近似する。
【0165】
このように、3以上の撮像位置において撮像された3以上の画像に基づいて特定点の3次元座標を求めることで、より高い精度で、特定点の3次元座標が推定できる。
【0166】
なお、実施の形態2では、重み付けによる近似を説明したが、種々に知られる近似によって特定点の3次元座標が推定されれば良い。例えば、線形近似、最小二乗法、バンドル調整が用いられてもよい。
【0167】
また、特定点座標推定手段14は、第1位置から特定点までの方向と距離によって定めた特定点の3次元座標である第1特定座標と、第2位置から特定点までの方向と距離によって定めた特定点の3次元座標である第2特定座標(あるいは第3特定座標以降も含めて)とに基づいて特定点の3次元座標を近似しても良い。
【0168】
例えば、第1特定座標が(x1、y1、z1)であって、第2特定座標が(x2、y2、z2)であり、重み付けの比率が、第1特定座標:第2特定座標=1:1である場合には、近似される特定点の3次元座標の値は、((x1+x2)/2、(y1+y2)/2、(z1+z2)/2)となる。勿論、3以上の撮像位置に基づく場合には、第3特定座標や第4特定座標の値との重み付け計算によって、特定点の3次元座標の値が近似される。
【0169】
(特定点座標推定の他の態様)
また、特定点座標推定において、複数の撮像装置それぞれの位置から特定点に延伸する直線を、複数にして、複数の直線で囲まれる範囲を特定点の座標として推定することも好適である。
【0170】
図13は、本発明の実施の形態2における特定点座標の推定を説明する模式図である。図13は、第1撮像装置7aからある特定点に向けて複数の直線を延伸させ、第2撮像装置7bからある特定点に向けて複数の直線を延伸させて、複数の直線が囲む範囲を、特定点の3次元座標の存在位置であるとみなしている。
【0171】
第1撮像装置7aの第1位置は、撮像装置座標推定手段13によって定まる。使用者は、第1画像において、特定点と思われる位置を選択する。この選択された特定点の位置へは、第1位置の有する3次元座標を基準として、第1位置から直線が形成される。この際に、特定点とみなす位置を微小な差分で変える事で、微細に異なる複数の直線が、第1位置から特定点に向けて形成される。
【0172】
図13では、第1位置を基準として、ある特定点を3つの位置71a、71b、71cにおいて選択している。同様に、第2位置を基準として、ある特定点を3つの位置72a、72b、72cにおいて選択している。第1位置からは、位置71a、71b、71cのそれぞれに3つの直線が形成され、第2位置からは、位置72a、72b、72cのそれぞれに3つの直線が形成される。すなわち、一つの特定点に対して合計で6本の直線が形成される。6本の直線は、相互に外枠を形成する。この外枠によって領域70が形成される。特定点座標推定手段14は、この領域70の3次元座標の値を算出して、この値を特定点の3次元座標の値として推定する。
【0173】
本来の特定点は、この領域70の中に位置すると推定される。多くの選択肢(ここでは選択された位置71a、71、71cなど)に基づいて形成される領域70が、特定点の位置を推定するので、特定点の推定精度が高まる。
【0174】
更には、図14に示されるように、第3撮像装置7cの撮像位置である第3位置から選択された位置への直線も含めて、全ての直線で囲まれる領域75は、図13の場合の領域70に比べて更に限定された領域となる。このため、特定点は、この領域75の内部に位置すると推定され、特定点の推定精度が高まる。図14は、本発明の実施の形態2における特定点座標の推定を説明する模式図である。
【0175】
以上のように、特定点座標推定手段14は、複数の撮像装置の各位置から特定点として選択された位置に向けて形成される複数の直線に基づいて、高い精度で、特定点の座標を推定する。
【0176】
(面積の誤差率の算出)
被写体面積算出装置10は、特定点の推定精度に基づいて、算出する面積の誤差率および面積の誤差範囲の少なくとも一方を算出することも好適である。
【0177】
特定点座標推定手段14は、第1位置から特定点への直線と第2位置から特定点への直線とが交差しない場合には、交差しないことによって生じる不一致量を算出する。あるいは、第1特定座標と第2特定座標との不一致量を算出する。
【0178】
第1位置から特定点への直線と第2位置から特定点への直線とが交差しない場合には、それぞれの直線の離隔量が生じる。特定点座標推定手段14は、第1位置からの直線と第2位置からの直線とが近接する位置において、近接点を算出する。このとき、近接点を算出する位置における、2つの直線同士の離隔量が算出される。この離隔量が大きいことは、特定点の近似位置として算出される近接点の算出精度は低く、離隔量が小さいことは、特定点の近似位置として算出される近接点の算出精度が高いことを示す。言い換えると、特定点の推定精度を示す。特定点の3次元座標の推定精度が高いことは、面積算出手段15が算出する面積の算出精度が高いことを示す。逆に、特定点の3次元座標の推定精度が低いことは、面積算出手段15が算出する面積の算出精度が低いことを示す。
【0179】
特定点座標推定手段14は、この離隔量を不一致量として算出する。
【0180】
あるいは、特定点座標推定手段14が、第1位置から特定点までの方向と距離によって定めた第1特定座標と第2位置から特定点までの方向と距離によって定めた第2特定座標(あるいは第3特定座標以降も含めて)とに基づいて、特定点の3次元座標を推定する場合には、第1特定座標の値と第2特定座標の値の差分値を不一致量として算出する。
【0181】
面積算出手段15は、この不一致量に基づいて、算出する対象領域の面積の誤差率を算出する。例えば、面積算出手段15は、不一致量と算出された面積の乗算によって、面積の誤差率を算出する。あるいは、不一致量を絶対値ではなく、レベル値(不一致量によって、レベル1〜レベル5までの段階評価としておく)と面積の値との関係によって誤差率を算出する。例えば、面積が所定範囲内であるときに、不一致量がレベル1である場合には、誤差率を1%と定義し、不一致量がレベル2である場合には、誤差率を2%と定義する。
【0182】
あるいは、算出した面積を、「**平方メートルから○○平方メートルの範囲である」とのように、面積の誤差範囲を明示して算出しても良い。誤差範囲が明示されることで、利用者の便宜がますます高まるからである。
【0183】
以上のように、特定点座標推定手段14は不一致量を算出し、面積算出手段15は誤差率を算出する。算出された誤差率は、算出された面積と共に表示手段16で表示される。誤差率が表示されることによって、使用者の便宜が高まる。
【0184】
例えば、図12に示されるように、表示画面60において、対象領域61と、面積および誤差率62とが一度に表示される。図12は、本発明の実施の形態2における表示部の模式図である。この表示によって、使用者は、自らが選択した対象領域の形状や形態を視認できると共に、算出された面積とその誤差率を同時に視認できる。
【0185】
実施の形態2の被写体面積算出装置は、被写体の面積の算出精度を高めると共に、算出される面積の誤差率をも求めることができる。
【0186】
(実施の形態3)
次に実施の形態3について説明する。
【0187】
実施の形態3は、実施の形態1、2で説明された被写体面積算出装置を用いて、使用者に種々の便宜を供する被写体面積算出システムを説明する。
【0188】
図15は、本発明の実施の形態3における被写体面積算出システムの模式図である。
【0189】
被写体面積算出システム80は、被写体面積算出装置81、撮像装置82、第1表示装置83、第2表示装置84を備えている。被写体面積算出装置81は、実施の形態1、2で説明された機能や構成を有する。撮像装置82は、デジタルカメラやデジタルビデオカメラなど、画像を撮像できる装置である。
【0190】
撮像装置82は、撮像した画像を被写体面積算出装置81に送信する送信手段を備える。送信手段は、無線および有線を問わず、撮像した画像をデジタルデータやアナログデータとして、被写体面積算出装置81に送信する。被写体面積算出装置81は、送信された画像のデータを受信する受信手段を備える。送信手段や受信手段は、例えば赤外線通信、デジタル通信、接続ケーブルによる通信などを利用すればよい。
【0191】
被写体面積算出装置81は、送信された画像を記憶し、使用者の操作に基づいて、被写体の面積を算出する。
【0192】
第1表示装置83は、算出された面積や誤差率など、面積算出に関わる情報や結果を表示する。第1表示装置83は、液晶ディスプレイやCRTディスプレイなどを有する。
【0193】
第2表示装置84は、算出された面積に基づいて、使用者の便宜となる情報を表示する。
【0194】
例えば、被写体面積算出装置81は、算出された対象領域の面積に基づいて、使用者の要求する事項に対する回答を作成する。一例として、使用者は対象領域に塗料を塗装する必要があり、使用者は、被写体面積算出装置81に対象領域において必要となる塗料の量を算出することを被写体面積算出装置81に指示しているとする。この場合、被写体面積算出装置81は、単位面積あたりに必要となる塗料の量と算出された面積の値から、対象領域を塗装するのに必要となる塗料の量を算出する。第2表示装置84は、この算出された塗料の量を表示する。
【0195】
あるいは、使用者が被写体面積算出装置81に対して、対象領域に設置可能な看板のサイズを算出することを指示しているとする。この場合には、被写体面積算出装置81は、算出された対象領域の面積と、看板のサイズの種類とを比較して、対象領域に設置可能な看板のサイズを算出する。例えば、Lサイズの看板の設置が可能との算出を行う。第2表示装置84は、設置可能な看板のサイズを「Lサイズ」として表示する。
【0196】
このように、被写体面積算出装置81は、面積に基づいて算出できる種々の事項を算出し、第2表示装置84に表示する。勿論、第1表示装置83が、これらの事項を表示しても良い。
【0197】
また、塗料の必要量や看板のサイズが算出されると、算出結果が塗装作業や設置作業フローのプログラムに出力されても良い。例えば、看板作成を行う装置に被写体面積算出システムが組み合わされると、予め用意されているデザインに対して、被写体面積算出システムよりサイズの指示が加味される。結果として、看板作成を行う装置は、使用者の入力や指示行為を必要とせずに、設置場所に最適なサイズの看板を作成できる。
【0198】
このように、塗装作業を行う装置や看板作成を行う装置と、被写体面積算出システムとが一連に組み合わされることで、各種作業の自動化が図れる。
【0199】
なお、説明の便宜のために、第1表示装置83と第2表示装置84とを、別の要素として説明したが、別の要素である必要はなく、第1表示装置83と第2表示装置84とが一体でも良い。
【0200】
(実施の形態4)
次に、実施の形態4について説明する。
【0201】
実施の形態1、2で説明された被写体面積算出装置は、コンピュータ上で動作可能なプログラムとして実現されても良い。
【0202】
図16は、本発明の実施の形態4における被写体面積算出装置のブロック図であり、図17は、本発明の実施の形態4における被写体面積の算出処理を示すフローチャートである。
【0203】
コンピュータ100は、実施の形態1、2で説明した被写体面積算出装置の機能を有するプログラムを実行可能な処理装置である。コンピュータ100は、汎用コンピュータでもよいし、ワークステーションでもよいし、その一部もしくは全部が専用装置を有する処理装置であってもよい。
【0204】
コンピュータ100は、その内部もしくは外部に記憶部101を備える。記憶部101は、ハードディスクドライブ、半導体メモリ、磁気メモリ、光ディスク、磁気ディスクなど、電子データを記憶できる種々のデバイスを含む。また、コンピュータ100は、プログラムの読み込みおよび命令処理を実行するCPU(中央演算処理装置)102、プログラムを記憶するROM103、演算に必要なデータを読み書きするRAM(ランダムアクセスメモリ)104、CPU102の命令に従って演算を行う演算部105、演算結果や画像を表示する表示部107とのデータのやり取りを行う通信I/F106と表示部107とを備える。なお、表示部107も、コンピュータ100の内部もしくは外部に備えられる。また、コンピュータ100が備える要素は、コンピュータ100の内部もしくは外部のいずれに備えられても良い。
【0205】
CPU102は、ROMに記憶されているプログラムを読み込む。プログラムは、使用者の指示に従い、画像中に含まれる被写体(被写体の対象領域)の面積を算出する機能を有する。CPU102は、読み込まれたプログラムの指示に従い、記憶部101に記憶されている、被写体と標識とを含む複数の画像を読み出す。CPU102は、読み出した画像を、一時的にRAM104に保存する。更には、CPU102は、読み出した画像を表示部107に表示する。表示部107における画像の表示によって、使用者は、標識に含まれるポインタを指定したり、対象領域の特定点を指定したりでき、対象領域の面積算出を指示できる。なお、CPU102は、通信I/F106を介して、表示部107へ画像を表示すると共に、画像を通じた使用者の指示を、通信I/F106を介して受け取ることができる。
【0206】
使用者の指示に従い、CPU102は、演算部105も用いて、撮像装置の3次元座標を推定し、ついで特定点の3次元座標を推定する。被写体の対象領域を形成する特定点の3次元座標が推定されると、CPU102は、演算部105も用いて、対象領域の面積を算出する。
【0207】
CPU102は、算出された面積や、誤差率などの各種情報を、通信I/F106を介して、表示部107に出力する。
【0208】
以上のように、コンピュータ100は、ROM103に記憶されたプログラムを実行して、被写体の面積を、記憶されている画像から算出する。
【0209】
ここで、ROM103に記憶されているプログラムは、使用者からの指示も用いながら被写体の面積を算出する各ステップを備えている。すなわち、プログラムは、第1撮像装置により撮像された被写体と標識とを含む第1画像と、第2撮像装置により撮像された被写体と標識とを含む第2画像を読み出すステップと、第1撮像装置の撮像位置である第1位置と第2撮像装置の撮像位置である第2位置の3次元座標の値を推定するステップと、第1位置および第2位置に基づいて被写体に含まれる複数の特定点の3次元座標の値を推定するステップと、複数の特定点の3次元座標の値に基づいて被写体の面積を算出するステップを含む。
【0210】
図16、図17を用いて、プログラムの有するステップを説明する。図17のフローチャートにおいては、右側に使用者が行う作業を明示し、左側にプログラム自身が有する機能とこの機能に基づいたコンピュータ100の動作を明示する。
【0211】
ステップST1にて、使用者はプログラムを起動する。なお、記憶部101は、撮像された画像を予め記憶しているものとする。
【0212】
ステップST2にて、ROM103に記憶されているプログラムを、CPU102は読み出す。次に、ステップST3にて、CPU102は、記憶部101に記憶されている画像(第1画像、第2画像・・・)を読み出す。次に、CPU102は、ステップST4にて、読み出した画像を、通信I/F106を介して表示部107に表示する。なお、CPU102は、複数の画像を一枚ずつ読み出しながら表示部107に表示してもよいし、複数の画像を一度に読み出して表示部107にまとめて表示しても良い。
【0213】
表示部107が画像を表示することで、使用者は画像に対しての指示を与えることができる。使用者はステップST5にて、画像中に含まれる標識のポインタを指定する。例えばマウスやポインティングデバイスを使って、ポインタをドラッグする。この指定に基づいて、CPU102は、ステップST6にて、撮像装置(第1撮像装置、第2撮像装置、・・・)の位置の3次元座標の値を推定する。
【0214】
更に、使用者はステップST7にて、画像中に含まれる被写体の対象領域を形成する特定点を指定する。ポインタの指定と同様の作業である。この指定を受けて、CPU102は、ステップST8にて、特定点の3次元座標の値を推定する。
【0215】
次に、CPU102は、ステップST9にて、特定点の3次元座標の値に基づいて、対象領域の面積を算出する。このとき、実施の形態2で説明したように、算出された面積の誤差率もあわせて算出しても良い。
【0216】
最後に、CPU102は、ステップST110にて、算出した面積の値、誤差率、誤差範囲、撮像位置や特定点の3次元座標の値などを、表示部107に表示する。使用者は、この表示結果を確認して、必要な情報を得る。
【0217】
なお、プログラムは、特定点の3次元座標の値の推定や、面積の算出においては、実施の形態1、2で説明した種々の詳細なステップを含んでいても良い。また、実施の形態3で説明したように、算出された面積を利用する別途のステップを含んでいても良い。
【0218】
以上のように、被写体面積算出装置の機能の一部もしくは全部が、コンピュータで動作可能なプログラムで実装されることで、汎用のコンピュータでの実行が可能になったり、幅広い用途で活用できたりするメリットが生じる。
【0219】
以上、実施の形態1〜4で説明された被写体面積算出装置、被写体面積算出システム、被写体面積算出方法は、本発明の趣旨を説明する一例であり、本発明の趣旨を逸脱しない範囲での変形や改造を含む。
【図面の簡単な説明】
【0220】
【図1】本発明の実施の形態1における被写体面積算出システムの概念図である。
【図2】本発明の実施の形態1における第1画像と第2画像との撮像を説明する模式図である。
【図3】本発明の実施の形態1における被写体面積算出装置のブロック図である。
【図4】本発明の実施の形態1における第1画像と第2画像の写真例である。
【図5】本発明の実施の形態1における標識の正面図である。
【図6】本発明の実施の形態1における撮像装置の方向推定の模式図である。
【図7】本発明の実施の形態1における撮像装置と標識との距離の推定を説明する模式図である。
【図8】本発明の実施の形態1における特定点座標の推定を説明する写真である。
【図9】本発明の実施の形態1における特定点の3次元座標の推定を説明する模式図である。
【図10】本発明の実施の形態2における特定点の3次元座標を推定する説明図である。
【図11】本発明の実施の形態2における特定点の近似を説明する説明図である。
【図12】本発明の実施の形態2における表示部の模式図である。
【図13】本発明の実施の形態2における特定点座標の推定を説明する模式図である。
【図14】本発明の実施の形態2における特定点座標の推定を説明する模式図である。
【図15】本発明の実施の形態3における被写体面積算出システムの模式図である。
【図16】本発明の実施の形態4における被写体面積算出装置のブロック図である。
【図17】本発明の実施の形態4における被写体面積の算出処理を示すフローチャートである。
【符号の説明】
【0221】
1 被写体面積算出システム
2 被写体
3 標識
4、5、6 ポインタ
7 撮像装置
8、10 被写体面積算出装置
11 記憶部
12 読み出し手段
13 撮像装置座標推定手段
14 特定点座標推定手段
15 面積算出手段
16 表示手段
【特許請求の範囲】
【請求項1】
第1撮像装置により撮像された被写体と標識とを含む第1画像と、第2撮像装置により前記第1撮像装置と異なる角度から撮像された前記被写体と前記標識とを含む第2画像と、を読み出す読み出し手段と、
前記第1撮像装置の第1位置の3次元座標の値と、前記第2撮像装置の第2位置の3次元座標の値とを推定する撮像装置座標推定手段と、
前記第1位置および前記第2位置に基づいて、前記被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する特定点座標推定手段と、
前記複数の特定点のそれぞれの3次元座標の値に基づいて、前記被写体の面積を算出する面積算出手段と、を備え、
前記標識は、3以上のポインタを備える2次元形状を有する被写体面積算出装置。
【請求項2】
前記3以上のポインタのそれぞれは、相互に色度が異なる請求項1記載の被写体面積算出装置。
【請求項3】
前記3以上のポインタのそれぞれは、略球形を有する請求項1又は2記載の被写体面積算出装置。
【請求項4】
前記標識は、相互に色度が異なると共に略球形を有する3つの前記ポインタを頂点とする3角形を有する請求項2又は3記載の被写体面積算出装置。
【請求項5】
前記撮像装置座標推定手段は、
前記第1画像に含まれる前記標識の傾きに基づいて、前記第1撮像装置の前記標識に対する方向を第1方向として推定し、
前記第1画像に含まれる前記標識の面積に基づいて、前記第1撮像装置と前記標識との距離を第1距離として推定し、
前記第2画像に含まれる前記標識の傾きに基づいて、前記第2撮像装置の前記標識に対する方向を第2方向として推定し、
前記第2画像に含まれる前記標識の面積に基づいて、前記第2撮像装置と前記標識との距離を第2距離として推定し、
前記第1方向および前記第1距離に基づいて、前記第1位置を推定し、
前記第2方向および前記第2距離に基づいて、前記第2位置を推定する、請求項1から4のいずれか記載の被写体面積算出装置。
【請求項6】
前記第1位置から得られる前記特定点の3次元座標の値である第1特定座標と、前記第2位置から得られる前記特定点の3次元座標の値である第2特定座標と、が一致しない場合には、
前記特定点座標推定手段は、前記第1特定座標および前記第2特定座標から、前記特定点の3次元座標の値を近似する請求項1から5のいずれか記載の被写体面積算出装置。
【請求項7】
前記第1特定座標と前記第2特定座標とが一致しない場合には、前記特定点座標推定手段は、前記第1特定座標と前記第2特定座標との不一致量を算出する請求項6記載の被写体面積算出装置。
【請求項8】
前記読み出し手段は、第3撮像装置によって、前記第1撮像装置および前記第2撮像装置のそれぞれと異なる角度から撮像された前記被写体と前記標識とを含む第3画像を読み出し、
前記撮像装置座標推定手段は、前記第3撮像装置の第3位置の3次元座標の値を推定し、
前記特定点座標推定手段は、前記第1位置、前記第2位置および前記第3位置に基づいて、前記被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する請求項1から7のいずれか記載の被写体面積算出装置。
【請求項9】
前記面積算出手段は、前記特定点で形成されると共に前記被写体における面積算出の対象となる対象領域の面積を、算出する請求項1から8のいずれか記載の被写体面積算出装置。
【請求項10】
前記面積算出手段は、前記不一致量に基づいて、算出される面積の誤差率および面積の誤差範囲の少なくとも一方を算出する、請求項7から9のいずれか記載の被写体面積算出装置。
【請求項11】
前記複数の特定点のそれぞれは、前記対象領域の頂点に含まれる請求項9から10のいずれか記載の被写体面積算出装置。
【請求項12】
前記面積算出手段が算出した前記対象領域の面積を表示する表示手段を更に備える請求項1から11のいずれか記載の被写体面積算出装置。
【請求項13】
前記表示手段は、前記被写体、前記被写体における対象領域および前記対象領域の面積を同時に表示可能である請求項12記載の被写体面積算出装置。
【請求項14】
請求項1から13のいずれか記載の被写体面積算出装置と、
前記標識および前記被写体を撮像する撮像装置と、
前記撮像装置が撮像した画像を、前記被写体面積算出装置に送信する送信手段と、を備える被写体面積算出システム。
【請求項15】
第1撮像装置により撮像された被写体と標識とを含む第1画像と、第2撮像装置により前記第1撮像装置と異なる角度から撮像された前記被写体と前記標識とを含む第2画像と、を読み出し、
前記第1撮像装置の第1位置の3次元座標の値と、前記第2撮像装置の第2位置の3次元座標の値とを推定し、
前記第1位置および前記第2位置に基づいて、前記被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定し、
前記複数の特定点のそれぞれの3次元座標の値に基づいて、前記被写体の面積を算出し、
前記標識は、3以上のポインタを備える2次元形状を有する被写体面積算出方法。
【請求項16】
コンピュータ上で動作可能なプログラムであって、
第1撮像装置により撮像された被写体と標識とを含む第1画像と、第2撮像装置により前記第1撮像装置と異なる角度から撮像された前記被写体と前記標識とを含む第2画像と、を読み出すステップと、
前記第1撮像装置の第1位置の3次元座標の値と、前記第2撮像装置の第2位置の3次元座標の値とを推定するステップと、
前記第1位置および前記第2位置に基づいて、前記被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定するステップと、
前記複数の特定点のそれぞれの3次元座標の値に基づいて、前記被写体の面積を算出するステップを実行し、
前記標識は、3以上のポインタを備える2次元形状を有するプログラム。
【請求項1】
第1撮像装置により撮像された被写体と標識とを含む第1画像と、第2撮像装置により前記第1撮像装置と異なる角度から撮像された前記被写体と前記標識とを含む第2画像と、を読み出す読み出し手段と、
前記第1撮像装置の第1位置の3次元座標の値と、前記第2撮像装置の第2位置の3次元座標の値とを推定する撮像装置座標推定手段と、
前記第1位置および前記第2位置に基づいて、前記被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する特定点座標推定手段と、
前記複数の特定点のそれぞれの3次元座標の値に基づいて、前記被写体の面積を算出する面積算出手段と、を備え、
前記標識は、3以上のポインタを備える2次元形状を有する被写体面積算出装置。
【請求項2】
前記3以上のポインタのそれぞれは、相互に色度が異なる請求項1記載の被写体面積算出装置。
【請求項3】
前記3以上のポインタのそれぞれは、略球形を有する請求項1又は2記載の被写体面積算出装置。
【請求項4】
前記標識は、相互に色度が異なると共に略球形を有する3つの前記ポインタを頂点とする3角形を有する請求項2又は3記載の被写体面積算出装置。
【請求項5】
前記撮像装置座標推定手段は、
前記第1画像に含まれる前記標識の傾きに基づいて、前記第1撮像装置の前記標識に対する方向を第1方向として推定し、
前記第1画像に含まれる前記標識の面積に基づいて、前記第1撮像装置と前記標識との距離を第1距離として推定し、
前記第2画像に含まれる前記標識の傾きに基づいて、前記第2撮像装置の前記標識に対する方向を第2方向として推定し、
前記第2画像に含まれる前記標識の面積に基づいて、前記第2撮像装置と前記標識との距離を第2距離として推定し、
前記第1方向および前記第1距離に基づいて、前記第1位置を推定し、
前記第2方向および前記第2距離に基づいて、前記第2位置を推定する、請求項1から4のいずれか記載の被写体面積算出装置。
【請求項6】
前記第1位置から得られる前記特定点の3次元座標の値である第1特定座標と、前記第2位置から得られる前記特定点の3次元座標の値である第2特定座標と、が一致しない場合には、
前記特定点座標推定手段は、前記第1特定座標および前記第2特定座標から、前記特定点の3次元座標の値を近似する請求項1から5のいずれか記載の被写体面積算出装置。
【請求項7】
前記第1特定座標と前記第2特定座標とが一致しない場合には、前記特定点座標推定手段は、前記第1特定座標と前記第2特定座標との不一致量を算出する請求項6記載の被写体面積算出装置。
【請求項8】
前記読み出し手段は、第3撮像装置によって、前記第1撮像装置および前記第2撮像装置のそれぞれと異なる角度から撮像された前記被写体と前記標識とを含む第3画像を読み出し、
前記撮像装置座標推定手段は、前記第3撮像装置の第3位置の3次元座標の値を推定し、
前記特定点座標推定手段は、前記第1位置、前記第2位置および前記第3位置に基づいて、前記被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する請求項1から7のいずれか記載の被写体面積算出装置。
【請求項9】
前記面積算出手段は、前記特定点で形成されると共に前記被写体における面積算出の対象となる対象領域の面積を、算出する請求項1から8のいずれか記載の被写体面積算出装置。
【請求項10】
前記面積算出手段は、前記不一致量に基づいて、算出される面積の誤差率および面積の誤差範囲の少なくとも一方を算出する、請求項7から9のいずれか記載の被写体面積算出装置。
【請求項11】
前記複数の特定点のそれぞれは、前記対象領域の頂点に含まれる請求項9から10のいずれか記載の被写体面積算出装置。
【請求項12】
前記面積算出手段が算出した前記対象領域の面積を表示する表示手段を更に備える請求項1から11のいずれか記載の被写体面積算出装置。
【請求項13】
前記表示手段は、前記被写体、前記被写体における対象領域および前記対象領域の面積を同時に表示可能である請求項12記載の被写体面積算出装置。
【請求項14】
請求項1から13のいずれか記載の被写体面積算出装置と、
前記標識および前記被写体を撮像する撮像装置と、
前記撮像装置が撮像した画像を、前記被写体面積算出装置に送信する送信手段と、を備える被写体面積算出システム。
【請求項15】
第1撮像装置により撮像された被写体と標識とを含む第1画像と、第2撮像装置により前記第1撮像装置と異なる角度から撮像された前記被写体と前記標識とを含む第2画像と、を読み出し、
前記第1撮像装置の第1位置の3次元座標の値と、前記第2撮像装置の第2位置の3次元座標の値とを推定し、
前記第1位置および前記第2位置に基づいて、前記被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定し、
前記複数の特定点のそれぞれの3次元座標の値に基づいて、前記被写体の面積を算出し、
前記標識は、3以上のポインタを備える2次元形状を有する被写体面積算出方法。
【請求項16】
コンピュータ上で動作可能なプログラムであって、
第1撮像装置により撮像された被写体と標識とを含む第1画像と、第2撮像装置により前記第1撮像装置と異なる角度から撮像された前記被写体と前記標識とを含む第2画像と、を読み出すステップと、
前記第1撮像装置の第1位置の3次元座標の値と、前記第2撮像装置の第2位置の3次元座標の値とを推定するステップと、
前記第1位置および前記第2位置に基づいて、前記被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定するステップと、
前記複数の特定点のそれぞれの3次元座標の値に基づいて、前記被写体の面積を算出するステップを実行し、
前記標識は、3以上のポインタを備える2次元形状を有するプログラム。
【図1】
【図2】
【図3】
【図5】
【図6】
【図7】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図4】
【図8】
【図2】
【図3】
【図5】
【図6】
【図7】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図4】
【図8】
【公開番号】特開2010−286450(P2010−286450A)
【公開日】平成22年12月24日(2010.12.24)
【国際特許分類】
【出願番号】特願2009−142340(P2009−142340)
【出願日】平成21年6月15日(2009.6.15)
【出願人】(503445054)マツノデザイン店舗建築株式会社 (4)
【出願人】(509121019)株式会社春田建設 (7)
【出願人】(591065549)福岡県 (121)
【Fターム(参考)】
【公開日】平成22年12月24日(2010.12.24)
【国際特許分類】
【出願日】平成21年6月15日(2009.6.15)
【出願人】(503445054)マツノデザイン店舗建築株式会社 (4)
【出願人】(509121019)株式会社春田建設 (7)
【出願人】(591065549)福岡県 (121)
【Fターム(参考)】
[ Back to top ]