三次元計測用画像撮影装置
【課題】撮影者を現在位置から次回撮影予定位置へ的確にガイドする三次元計測用画像撮影装置を提供する。
【解決手段】本発明による三次元計測用画像撮影装置１は、測定対象物８を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置において、撮影者が移動しながら測定対象物８を撮影することによりライブ画像１１を取得し、適時に静止画像である撮影画像を取得する撮影部２と、撮影部２の現在位置でのライブ画像１１と次回撮影予定位置と略同じ相対的位置関係で撮影された静止画像である模擬対象物の見本画像１２とを同一画面内に表示する表示部３と、撮影部２の現在位置でのライブ画像１１と見本画像１２とを比較して、次回撮影予定位置に対する撮影部２の相対的位置を判定する撮影位置判定部４と、現在位置から次回撮影予定位置へ撮影者が移動するようにガイド情報を作成し表示部に報知させる移動情報報知部５とを備える。
【解決手段】本発明による三次元計測用画像撮影装置１は、測定対象物８を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置において、撮影者が移動しながら測定対象物８を撮影することによりライブ画像１１を取得し、適時に静止画像である撮影画像を取得する撮影部２と、撮影部２の現在位置でのライブ画像１１と次回撮影予定位置と略同じ相対的位置関係で撮影された静止画像である模擬対象物の見本画像１２とを同一画面内に表示する表示部３と、撮影部２の現在位置でのライブ画像１１と見本画像１２とを比較して、次回撮影予定位置に対する撮影部２の相対的位置を判定する撮影位置判定部４と、現在位置から次回撮影予定位置へ撮影者が移動するようにガイド情報を作成し表示部に報知させる移動情報報知部５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は三次元計測用画像撮影装置に関する。詳しくは、撮影者を現在位置から次回撮影予定位置へガイドする三次元計測用画像撮影装置に関する。
【背景技術】
【０００２】
測定対象物の全体像を把握し、三次元モデル画像に再現するには、複数の撮影位置から撮影した撮影画像を連結していく必要がある。このように撮影者が移動しながら撮影した複数の撮影画像から撮影装置または対象物の三次元座標を測定するには、２枚以上の各撮影画像上で相互に対応する特徴点（対象物上の同一点を表す）を求め、これを追跡する必要がある。この場合、三次元計測に不適切な特徴点が撮影画像に混入し得るので、撮影画像における特徴点の適否を判定しながら、その撮影装置の撮影位置、姿勢又は対象物の位置座標を精度良く計測できる画像処理装置が提案されている。（特許文献１参照）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８３２５６号公報（図１〜図１１、段落００２１〜００６５）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
測定対象物の三次元モデル画像を正確かつ効率的に再現するには、測定対象物を撮影する複数の撮影位置を予め適正に配置しておく必要がある。そして予め定められた撮影予定位置に確実に移動して撮影する必要がある。しかしながら、実際に、移動中の撮影者が測定対象物とその周辺を見て、現在位置が撮影予定位置であるか否かを判断するのは困難であるという問題があった。特に、三次元モデル画像作成のための撮影に、未経験者や不慣れな者、さらに慣れた人でも、自動車、美術品、建造物、地形など測定対象物が大きい場合、その表面形状が複雑な場合、同様な繰り返し模様が現れる場合には、隣り合う画像間の重複範囲を適切に取りながら撮影することが困難であった。
【０００５】
本発明は、上記問題点に鑑みてなされたものであり、撮影者が次回撮影予定位置に的確に移動できるように、撮影者を現在位置から次回撮影予定位置へ的確にガイドする三次元計測用画像撮影装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の態様の三次元計測用画像撮影装置１は、例えば、図１及び図４に示すように、測定対象物８を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置において、撮影者が移動しながら測定対象物８を撮影することによりライブ画像１１を取得し、適時に静止画像である撮影画像を取得する撮影部２と、撮影部２の現在位置でのライブ画像１１と次回撮影予定位置と略同じ相対的位置関係で撮影された静止画像である模擬対象物の見本画像１２とを同一画面内に表示する表示部３と、撮影部２の現在位置でのライブ画像１１と見本画像１２とを比較して、次回撮影予定位置に対する撮影部２の相対的位置を判定する撮影位置判定部４と、現在位置から次回撮影予定位置へ撮影者が移動するようにガイド情報を作成し表示部に報知させる移動情報報知部５とを備える。
【０００７】
ここにおいて、ライブ画像とは、例えば、現在の位置においてビデオカメラやデジタルカメラ等で取得された画像をいう。通常は、ビデオカメラやデジタルカメラを用いて撮影者が移動しながらファインダーやディスプレイ等に測定対象物をライブ画像として表示する。また、撮影画像とは、シャッター操作などにより撮影した静止画像をいう。また、模擬対象物の見本画像とは、測定対象物が自動車である場合には、典型的には、他の自動車について（形状が似ているほど好ましい）撮影予定位置と略同じ相対的位置関係（方向、距離）で既に撮影された撮影画像（静止画像）から選択された画像をいう。ただし、同じ型式の自動車や同一自動車で、ボケた部分や異物混入部分を修正したい、より高画質の撮影画像を得たい、条件を変えて撮影したい等の場合もあるので、模擬対象物は同じ型式の物や測定対象物を含むものとする。また、同じ相対的位置関係とは、撮影部と測定対象物との方向及び距離が、見本画像を撮影した撮影装置と模擬対象物との方向及び距離と等しいことを意味するが、測定対象物と模擬対象物の差異も考慮し、ここでは、方向、距離が同じに限られず、例えば差異が±１０％以内であれば良い。また、同じ相対的位置関係で既に撮影された撮影画像には、撮影予定位置から撮影現場に設置された模擬対象物又は測定対象物を撮影した撮影画像を含むものとする。また、次回撮影予定位置は例えば、予め定められた撮影予定位置から予め定められた順序に従って決めても良く、現在位置から最短の撮影予定位置を選択しても良い。また、ガイド情報は方向及び距離をガイドするものでも良いが、距離に係るガイドは例えば「前へ」、「後へ」、「近くへ」、「遠くへ」と方向でも表現できるので、方向のみをガイドするものでも良い。
本態様のように構成すると、撮影者を現在位置から次回撮影予定位置へ的確にガイドする三次元計測用画像撮影装置を提供できる。
【０００８】
本発明の第２の態様の三次元計測用画像撮影装置１Ａは、第１の態様の三次元計測用画像撮影装置において、例えば図６に示すように、撮影部２で取得された撮影画像における特徴点を抽出する特徴点抽出部２１と、特徴点抽出部２１で抽出した特徴点の撮影画像における画面位置から、撮影画像を撮影した撮影位置の二次元座標又は三次元座標を求める撮影位置測定部２３と、求められた撮影位置の位置座標に基づいて、複数の撮影予定位置の中から次回撮影予定位置を選択する次回撮影予定位置選択部２４とを備え、表示部３は、見本画像１２として選択された次回撮影予定位置と略同じ相対的位置関係で撮影された模擬対象物の画像を表示する。
【０００９】
ここにおいて、撮影位置の二次元座標又は三次元座標を求めるには、例えば、ＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）法または相互標定が用いられる。また、多くの撮影画像、多くの特徴点を用いる程、位置座標の精度を高くできる。
本態様のように構成すると、撮影者の撮影位置の二次元座標又は三次元座標を求めるので、撮影予定位置との定量的な位置関係に基づいて、撮影者を次回撮影予定位置に的確にガイドできる。
【００１０】
本発明の第３の態様の三次元計測用画像撮影装置１は、第１又は第２の態様の三次元計測用画像撮影装置において、例えば図４に示すように、ガイド情報は、撮影部２の測定対象物８に対する相対的移動方向又は次回撮影予定位置を示す表示である。
【００１１】
ここにおいて、相対的移動方向を示す表示とは、例えば、表示画面に矢印を表示する、文字で「右に移動してください」と表示する、音声で「右に移動してください」とアナウンスする等である。また、次回撮影予定位置を示す表示とは、例えば、次回撮影予定位置番号が２であれば、表示画面の撮影予定位置近傍に表示された番号２を点滅表示する、文字で「２番に移動してください」と表示する、音声で「２番に移動してください」とアナウンスする等である。
本態様のように構成すると、ガイド情報の表示を用いて撮影者に次回撮影予定位置をわかり易く報知できる。
【００１２】
本発明の第４の態様の三次元計測用画像撮影装置１は、第１ないし第４のいずれかの態様の三次元計測用画像撮影装置において、例えば図８又は図９に示すように、自他識別可能な識別コードを有するマークＣＴの識別コードを識別するコード識別部２２を備え、撮影部２は、撮影画像を測定対象物８と共に測定対象物８又はその周囲に存在する物に貼付された複数のマークＣＴを含むように撮影して取得し、特徴点抽出部２１は、撮影画像からマークＣＴを特徴点として抽出し、コード識別部２２は特徴点抽出部２１で抽出されたマークＣＴの識別コードを識別する。
【００１３】
ここにおいて、自他識別可能な識別コードを有するマークには、数字列、文字列、記号のように識別可能な符号を用いたコード、バーコード、２次元バーコード、カラーコードのようにパターン配置に識別性を持たせたコードが含まれる。このうち、実施例では主にカラーコードを使用する例を説明する。
このように構成すると、測定対象物又はその周囲に存在する物に自他識別可能な識別コードを有するマークを貼付することにより、撮影画像から撮影位置を正確に求めることができる。
【発明の効果】
【００１４】
本発明によれば、撮影者を現在位置から次回撮影予定位置へ的確にガイドする三次元計測用画像撮影装置を提供できる。
【図面の簡単な説明】
【００１５】
【図１】実施例１に係る三次元計測用画像撮影装置の構成を示すブロック図である。
【図２】実施例１における表示画面の例を示す図（その１）である。
【図３】実施例１における表示画面の例を示す図（その２）である。
【図４】実施例１における表示画面の例を示す図（その３）である。
【図５】実施例１における画像撮影の処理フロー例を示す図である。
【図６】実施例２に係る三次元計測用画像撮影装置の構成を示すブロック図である。
【図７】カラーコードターゲットの例を示す図である。
【図８】実施例２における表示画面の例を示す図（その１）である。
【図９】実施例２における表示画面の例を示す図（その２）である。
【図１０】レトロターゲットを用いた重心位置検出の説明図である。
【図１１】対応点探索を説明するための図である。
【図１２】相互標定を説明するための図である。
【図１３】実施例２における画像撮影の処理フロー例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施の形態について説明する。尚、各図において、互いに同一又は相当する部分には同一符号を付し，重複した説明は省略する。
【実施例１】
【００１７】
［三次元計測用画像撮影装置の構成］
図１は本発明の実施例１に係る三次元計測用画像撮影装置１の構成を示すブロック図である。三次元計測用画像撮影装置１は、撮影部２、表示部３、撮影位置判定部４、移動情報報知部５、画像記憶部６、制御部７を備える。撮影位置判定部４、移動情報報知部５、制御部７はパーソナルコンピュータ（ＰＣ）９内に設けられる。撮影部２は、例えばビデオカメラやデジタルカメラで構成され、撮影者が移動しながら現在位置で測定対象物８を撮影してライブ画像を取得し、ファインダーやディスプレイ等に表示させ、また、シャッター操作などにより静止画像である撮影画像を撮影して取得する。本実施例では、ビデオカメラ又はデジタルカメラでライブ画像を撮影し、かつ、静止画像を撮影するものとする。ビデオカメラではシャッター操作により通常は撮影画像を外部のメモリに記憶するが、内部メモリがあればそこに記憶される。デジタルカメラではシャッター操作により撮影画像を内部メモリに記憶する。画像記憶部６は、例えばハードディスクで構成されデータベースとして使用される。画像記憶部６は、撮影部２で撮影された撮影画像、撮影予定位置と略同じ相対的位置関係で予め撮影された模擬対象物の見本画像等を記憶する。画像記憶部６としてカメラの内部メモリを用いても良いが、ＰＣのハードディスクを用いる方が高速、多様な処理に適しているので好ましい。本実施例では、外部メモリを用いるカメラでは撮影画像を画像記憶部６に直接記憶し、内部メモリを用いるカメラでは撮影画像を画像記憶部６に転送するものとする。同じ相対的位置関係とは、撮影部と測定対象物との方向及び距離が、見本画像を撮影した撮影装置と模擬対象物との方向及び距離と等しいことを意味する。また、各見本画像は撮影予定位置と対応付けて記憶される。また、次回撮影予定位置に対する撮影部２の相対的位置を判定するためのライブ画像もシャッター操作などにより取得され、画像記憶部６に記憶される。記憶された撮影画像と相対的位置を判定するためのライブ画像の区別は、例えば撮影者が図示しない入力キーから、撮影画像の場合は１を、ライブ画像の場合は２を入力して行なう。また、ビデオカメラ又はデジタルカメラで撮影されたライブ画像は常時画像記憶部６のテンポラリメモリに上書きされて、表示部３に転送される。表示部３は、例えば、液晶ディスプレイ等のディスプレイを有する。少なくとも、撮影部２の現在位置でのライブ画像と次回撮影予定位置で撮影された静止画像である模擬対象物の見本画像とを同一画面内に表示する。両画像を左右に又は上下に並べて表示するのが比較し易いので好適であるが、同一画面内に表示されれば比較できるのでそれでも良い。また、表示部３は音声ガイドをする場合にはスピーカを有する。
【００１８】
図２〜図４に、表示部３に表示される表示画面の例を示す。左側にライブ画像１１を右側に見本画像１２を並べて表示する。模擬対象物の見本画像１２とは、撮影対象物８が例えば自動車である場合には、他の自動車について（形状が似ているほど好ましい）撮影予定位置と略同じ相対的位置関係（方向、距離）で既に撮影された自動車の撮影画像（静止画像）から選択された画像をいう。表示部３は、画像記憶部６に記憶された見本画像のうち次回撮影予定位置に対応付けられた画像から選んで表示する。また、撮影対象物と撮影予定位置との位置関係を二次元的に表す撮影位置画像１３を表示する。撮影位置画像１３には、撮影対象物８の設置領域１４が表示され、撮影予定位置には番号が付され（○内に１〜８の番号を付して示す）、各撮影予定位置（○内に１〜○内に８）から撮影対象物８を観察・撮影する方向が矢印で表されている。撮影者は撮影予定位置に付された番号順に撮影予定位置へ移動して、順次、撮影対象物８を撮影すれば良い。静止画像の撮影が行なわれ、撮影者が入力キーから１を入力すると、見本画像１２は次の次回撮影予定位置の画像に変化する。また、移動中に現在位置を知るため、ライブ画像を取得する際には、撮影者が入力キーから２を入力する。
【００１９】
図２の表示画面は撮影部２が撮影予定位置（○内に１）にある場合を示している。ライブ画像１１及び見本画像１２には前方から撮影された自動車が表示され、自動車の方向が略一致している。撮影位置画像１３には次回撮影予定位置（○内に１）が例えば赤色で表示され、他の撮影予定位置（○内に２〜８）が例えば黒色で表示されている。図３の表示画面は撮影部２が撮影予定位置（○内に２）にある場合を示している。ライブ画像１１及び見本画像１２には右前方から撮影された自動車が表示され、自動車の方向が略一致している。撮影位置画像１３には次回撮影予定位置（○内に２）が例えば赤色で表示され、他の撮影予定位置（○内に１，３〜８）が例えば黒色で表示されている。図４の表示画面は撮影部２が撮影予定位置（○内に１）と撮影予定位置（○内に８）の中間にある場合を示している。例えば撮影者が撮影予定位置（○内に１〜７）での撮影を終えて撮影予定位置（○内に８）に移動する時に行き過ぎた場合である。ライブ画像１１には前方やや左方から撮影された自動車が表示され、見本画像１２には左前方から撮影された自動車が表示され、撮影位置画像１３には次回撮影予定位置（○内に８）が例えば赤色で表示され、他の撮影予定位置（○内に１〜７）が例えば黒色で表示されている。また、ライブ画像１１には、「右に移動してください」との文字表示がされ、撮影者に次回撮影予定位置である撮影予定位置（○内に８）の方向に移動するようにガイド情報を報知している。なお、撮影位置画像１３の撮影予定位置（○内に１）と撮影予定位置（○内に８）との間に撮影予定位置（○内に８）に向かう矢印を表示してガイドしても良い。撮影者がこのガイド情報に従って自動車８に対して右回りに移動すれば、次回撮影予定位置（○内に８）に到達でき、次回撮影予定位置（○内に８）に到達すると、ライブ画像１１と見本画像１２における自動車の方向が略一致するので、次回撮影予定位置（○内に８）に到達したことがわかる。なお、このとき、ライブ画像１１又は撮影位置画像１３に「ＯＫ」と到達したことを示す文字表示をしても良く、音声で「ＯＫ」とアナウンスしても良い。静止画の撮影が行なわれると、見本画像１２は次の次回撮影予定位置に対応付けられた画像に変化する。全ての撮影予定位置（○内に１〜８）での撮影が行なわれれば、次回撮影予定位置に対応付けられた画像はなくなるので見本画像１２は空白になる。この場合、見本画像１２に「撮影完了」と文字表示をしても良く、音声で「撮影完了」とアナウンスしても良い。
【００２０】
撮影位置判定部４は、撮影部２すなわち撮影者の現在位置でのライブ画像１１と見本画像１２とを比較して、次回撮影予定位置に対する撮影部２の相対的位置を判定する。撮影位置判定部４はライブ画像１１の自動車の方向を解析する。例えば、データベースに多くの見本画像１２を撮影予定位置（○内に１〜８）と対応付けて蓄積し、これらの見本画像のパターン７からライブ画像１１に比較的似たパターンを抽出してライブ画像１１と比較する。例えば、撮影予定位置（○内に１）と撮影予定位置（○内に２）の両方のパターンに似ている場合には、撮影部２は撮影予定位置（○内に１）と撮影予定位置（○内に２）の中間に在ると判定し、その中で、撮影予定位置（○内に１）の見本画像により似ていれば、撮影予定位置（○内に１）により近い方にあり、撮影予定位置（○内に２）の見本画像により似ていれば、撮影予定位置（○内に２）により近い方にあると判定する。ライブ画像１１のパターンと見本画像１２のパターンの類似性は、例えばライブ画像１１と見本画像１２から特徴点を抽出し、対応する特徴点の画像間での距離を統計的に処理して求めても良い。また、撮影予定位置（○内に１〜８）以外の位置に対応付けられる見本画像（例えば撮影予定位置の中間と略同じ相対的位置関係で撮影された見本画像、斜め上方から撮影された見本画像等）も比較の対象として用いても良い。
【００２１】
撮影予定位置に対する撮影部２の相対的位置（方向、距離）は、撮影画像内の測定対象物の方向と寸法から判定される。例えば、画像記憶部６に多数の方向、距離から撮影された見本画像を、方向、距離と対応付けて蓄積しておき、取得したライブ画像１１をこれらの見本画像と比較し、類似性の高い画像を抽出して、撮影予定位置に対する撮影部２の相対的位置を判定する。取得されたライブ画像に自動車が大きく写っているときは撮影部２は自動車の近くにあり、自動車が小さく写っているときは撮影部２は自動車の遠くにあると判定される。また、ライブ画像１１を、撮影予定位置（○内に１）の方向から取得した場合は自動車の前方、撮影予定位置（○内に２）の方向から取得した場合は自動車の右前方、撮影予定位置（○内に３）の方向から取得した場合は自動車の右方、撮影予定位置（○内に４）の方向から取得した場合は自動車の右後方、撮影予定位置（○内に５）の方向から取得した場合は自動車の後方、撮影予定位置（○内に６）の方向から取得した場合は自動車の左後方、撮影予定位置（○内に７）の方向から取得した場合は自動車の左方、撮影予定位置（○内に８）の方向から取得した場合は自動車の左前方と判定される。また、これらの中間位置、例えば、撮影予定位置（○内に１）と撮影予定位置（○内に２）の中間から取得した場合は自動車の前方やや右側にあると判定される。
【００２２】
移動情報報知部５は、撮影部２の現在位置から次回撮影予定位置へ撮影者が移動するようにガイド情報を作成し、表示部３に報知させる。移動情報報知部５は撮影位置判定部４による次回撮影予定位置に対する撮影部２の相対的位置を判定に基づいてガイド情報を報知する。例えば、撮影部２が撮影予定位置（○内に１）や撮影予定位置（○内に２）にある場合には、ガイド情報を作成しなくても良く、「ＯＫ」と作成しても良い。また、例えば、撮影予定位置（○内に１）と撮影予定位置（○内に８）の中間にあり、次回撮影予定位置が撮影予定位置（○内に８）の場合には、「右に移動してください」とのガイド情報を作成し、表示部３であるディスプレイに文字表示させたり、スピーカにアナウンスさせる。また、例えば、撮影予定位置（○内に１）と撮影予定位置（○内に２）の中間にあり、次回撮影予定位置が撮影予定位置（○内に２）の場合には、「左に移動してください」とのガイド情報を作成し、表示部３であるディスプレイに文字表示させたり、スピーカにアナウンスさせる。また、ガイド情報は方向及び距離をガイドするものでも良いが、距離に係るガイドは方向でも表現できるので、方向のみをガイドするものでも良い。さらに、測定対象物８を周囲から撮影する等、測定対象物８と各撮影予定位置（○内に１〜８）との距離が予め決められている（例えば５ｍ）場合、遠方からの撮影で距離の影響が無視できる場合には、「右へ」、「左へ」等横方向へのガイドでも良い。
【００２３】
制御部７は、内臓メモリに制御プログラムを有し、三次元計測用画像撮影装置１の各部を制御し、信号及びデータの流れを制御し、三次元計測用画像撮影装置としての機能を実行させる。特に、撮像部２から常時ライブ画像を取得して、表示部３に表示させ、静止画像の撮影毎に、撮影予定位置に付された番号順に次回撮影予定位置を判定し、画像記憶部６から次回撮影予定位置に対応付けられた画像から測定対象物８に似た模擬対象物の画像を選んで見本画像１２として表示部３に表示させる。また、撮影位置判定部４に、ライブ画像１１と見本画像１２とを比較させ、次回撮影予定位置に対する撮影部２の相対的位置を判定させ、移動情報報知部５に、次回撮影予定位置へ撮影者が移動するようにガイド情報を作成させる。
【００２４】
図５に、本実施例における画像撮影の処理フロー例を示す。まず、制御部６に撮影予定位置（○内に１〜８）と撮影順番を設定する（Ｓ１０１）。ここでは撮影予定位置の番号順に撮影することとする。次に、表示部３にライブ画像と共に最初の次回撮影予定位置に対応付けられた見本画像を表示する（Ｓ１０２）。撮影者が、ライブ画像１１と見本画像１２を比較しながら、最初の次回撮影予定位置に到達したと判断して撮影画像を取得する（Ｓ１０３）。撮影が行なわれ、例えば撮影者が１を入力すると、見本画像は次の次回撮影予定位置に対応する画像に変化する（Ｓ１０４）。撮影者が、再度ライブ画像１１と見本画像１２を比較しながら、次回撮影予定位置に到達したと判断して撮影画像を取得する（Ｓ１０５）。このように、撮影予定位置の番号順に、画像表示と撮影を繰り返し、撮影者が、最後の次回撮影予定位置に到達したと判断して撮影画像を取得する（Ｓ１０６）。撮影予定位置での撮影が一巡したら、撮影者は、表示部３に撮影画像を表示させて解析し、適切な撮影予定位置で撮影されたか、画像にぶれや異物混入等の欠陥がないか解析し（Ｓ１０７）、不適切な画像があれば（Ｓ１０８でＮＯ）、再度撮影予定位置を設定して（Ｓ１０１に戻る）、不足分の撮影画像を取得する。不適切な画像がなければ（Ｓ１０８でＹＥＳ）、撮影を終了する。なお、解析の際に、撮影位置判定部４は撮影画像の自動車の方向を解析し、撮影位置画像１３の撮影対象物の設置領域１４内に自動車の方向（前方）を示す矢印を表示させても良い。
【００２５】
以上説明したように、本実施例によれば、撮影者を現在位置から次回撮影予定位置へ的確にガイドする三次元計測用画像撮影装置を提供できる。
【実施例２】
【００２６】
実施例２では、測定対象物又はその周囲に存在する物に自他識別可能な識別コードを有するマークを貼付し、マークの位置座標を用いて撮影位置の位置座標を求め、求められた撮影位置の位置座標に基づいて次回撮影予定位置を自動的に選択する例を説明する。
【００２７】
図６は実施例２に係る三次元計測用画像撮影装置１の構成を示すブロック図である。図１の構成に特徴点抽出部２１、コード識別部２２、撮影位置測定部２３、次回撮影予定位置選択部２４が追加されている。これらはパーソナルコンピュータ（ＰＣ）９内に設けられる。特徴点抽出部２１は、撮影部２で取得された撮影画像における特徴点を抽出する。コード識別部２２はマークの識別コードを識別する。撮影位置測定部２３は、特徴点抽出部２１で抽出した特徴点の撮影画像における画面位置から、撮影画像を撮影した撮影位置の二次元座標又は三次元座標を求める。次回撮影予定位置選択部２４は、求められた撮影位置の位置座標に基づいて、複数の撮影予定位置の中から次回撮影予定位置を選択する。また、撮影位置判定部４は、求められた撮影位置の位置座標に基づいて、次回撮影予定位置に対する撮影部の相対的位置を判定する。
【００２８】
特徴点抽出部２１は、撮影部２で取得された複数の撮影画像における特徴点を抽出する。本実施例では測定対象物である自動車の周囲にカラーコードターゲットが貼り付けられており、カラーコードターゲットを特徴点として使用できる。
【００２９】
［カラーコードターゲット］
図７にカラーコードターゲットＣＴの例を示す。図７（ａ）はカラーコードの単位領域が３個、図７（ｂ）は６個、図７（ｃ）は９個のカラーコードターゲットである。図７（ａ）〜（ｃ）のカラーコードターゲットＣＴ（ＣＴ１〜ＣＴ３）は、位置検出用パターン（レトロターゲット部）Ｐ１、基準色パターン（基準色部）Ｐ２、カラーコードパターン（カラーコード部）Ｐ３、空パターン（白色部）Ｐ４で構成されている。
【００３０】
レトロターゲット部Ｐ１は、ターゲット自体の検出用、その重心検出用、ターゲットの向き検出用、ターゲット領域検出用として使用する。
【００３１】
基準色部Ｐ２は、照明やカメラ等の撮影条件による色のずれに対応するために、相対比較時の参照用、色ずれを補正するためのカラーキャリブレーション用として使用する。さらに、基準色部Ｐ２は、簡易な方法で作成されたカラーコードターゲットＣＴの色彩補正用として使用できる。例えば、色管理がなされていないカラープリンター（インクジェット・レーザー・昇華型等のプリンタ）で印刷したカラーコードターゲットＣＴを使用する場合は、使用プリンタ等で色彩に個体差が出るが、基準色部Ｐ２とカラーコード部Ｐ３の色を相対比較し補正することで、個体差の影響を押さえることができる。
【００３２】
カラーコード部Ｐ３は、その各単位領域への配色の組み合わせによってコードを表現する。コードに使用するコード色の数により表現可能なコード数が変化する。例えば、コード色数がｎの場合、ｎ×ｎ×ｎ通りのコードを表せる。信頼度を上げるため、他の単位領域に使用されている色を重複して使用しないという条件を課した場合でも、ｎ×（ｎ−１）×（ｎ−２）通りのコードを表せる。そして、コード色数を増やせばコード数を増加できる。さらに、カラーコード部Ｐ３の単位領域の数とコード色数を等しくするという条件を課すと、全てのコード色がカラーコード部Ｐ３に使用されるため、基準色部Ｐ２との比較のみで無く、カラーコード部Ｐ３の各単位領域間で色を相対比較することにより、各単位領域の色彩を確認して識別コードを決定することができ、信頼性を上げることができる。さらに、各単位領域の面積を全て同じにする条件を追加すると、カラーコードターゲットＣＴを画像中から検出する際にも使用できる。これは、異なる識別コードをもつカラーコードターゲットＣＴ間でも各色の占有する面積が同じになるため、カラーコード部全体からの検出光からはほぼ同様な分散値が得られるからである。また、単位領域間の境界は等間隔に繰り返され、明確な色彩差が検出されるので、このような検出光の繰り返しパターンからもターゲットＣＴを画像中から検出することが可能である。
【００３３】
白色部Ｐ４は、カラーコードターゲットＣＴの向き検出用と色ずれのキャリブレーション用として使用する。ターゲットＣＴの四隅の内、一カ所だけレトロターゲットが配置されない箇所があり、これをターゲットＣＴの向き検出用に使用できる。このように白色部Ｐ４はレトロターゲットと異なるパターンであれば良い。したがって、白色部には目視でコードを確認するための番号などの文字列を印刷しても良く、また、バーコード等のコード領域としても使用しても良い。さらに、検出精度を上げるために、テンプレートマッチング用のテンプレートパターンとして使用することも可能である。
【００３４】
コード識別部２２はカラーコードターゲットＣＴの識別コードを識別する。パターン配置とコード番号の対応関係を記録するカラーコードターゲット対応表を用いて、カラーコードターゲットＣＴのカラーコード部Ｐ３における色彩の配列から識別コードを判別し、カラーコードターゲットＣＴに番号を付与する。
【００３５】
図８に表示部に表示される表示画面の例を示す。ライブ画像１１には、測定対象物８である自動車の周囲にカラーコードターゲットＣＴが貼り付けられている。これは、撮影対象物８の周囲、もしくは撮影対象物８に配置されたカラーコードターゲットＣＴを自動的に抽出し、識別コードが識別されたカラーコードターゲットＣＴの位置から撮影位置測定部２３で撮影部２の現在位置の二次元座標又は三次元座標を求め、次の次回撮影予定位置に対応する見本画像を自動的に表示するためである。撮影位置画像１３において、撮影部２の現在位置が撮影予定位置（○内に６）と撮影予定位置（○内に７）の間に在ることが表示される。また、見本画像１２には自動車を左後方から撮影した次回撮影予定位置（○内に６）の画像が表示され、移動情報報知部５により見本画像１２の下に「右に移動してください」とのガイド情報が表示される。
【００３６】
図９に表示部に表示される表示画面の別の例を示す。図９はライブ画像の表示例で、土器の表面にカラーコードターゲットＣＴ及びレトロターゲット（黒で縁どられた白丸の部分）が貼り付けられている。この場合も図８の自動車の場合と同様に、カラーコードターゲットＣＴを自動的に抽出し、識別コードが識別されたカラーコードターゲットＣＴの位置からからカメラの位置を求め、次の見本画像を自動的に表示するためである。レトロターゲットはそれ自身では識別性が無いが、周囲に貼り付けられたカラーコードターゲットＣＴとの位置関係から識別性が生じるので、撮影部２の現在位置の二次元座標又は三次元座標を求めるために使用できる。
【００３７】
カラーコードターゲットＣＴの位置はレトロターゲットＰ１を検出することにより求められる。カラーコードターゲットＣＴ以外にレトロターゲットが貼付される場合、カラーコードターゲットＣＴに代えてレトロターゲットが貼付される場合も、マークの位置はレトロターゲットを検出することにより求められる。
【００３８】
図１０はレトロターゲットを用いた重心位置検出の説明図である。本実施例ではレトロターゲットは２つの同心円で形成されている。図１０（Ａ１）は同心円のうち小円の内側である内円部２０４の明度が明るく、小円と大円との間に形成された円環状の部分である外円部２０６の明度が暗いレトロターゲット２００、図１０（Ａ２）は（Ａ１）のレトロターゲット２００の直径方向の明度分布図、図１０（Ｂ１）は内円部２０４の明度が暗く、外円部２０６の明度が明るいレトロターゲット２００、図１０（Ｂ２）は（Ｂ１）のレトロターゲット２００の直径方向の明度分布図を示している。レトロターゲットが図１０（Ａ１）のように内円部２０４の明度が明るい場合は、測定対象物１の撮影画像において重心位置での反射光量が多く明るい部分になっているため、画像の光量分布が図１０（Ａ２）のようになり、光量分布の閾値Ｔｏからレトロターゲットの内円部２０４や中心位置を求めることが可能となる。本実施例のカラーコードターゲットＣＴでは、（Ａ１）の場合、正方形の位置検出用パターンＰ１の中心部に小円に相当する円が一つ形成されていればよく、大円の外側は明るくても暗くてもよいが、暗くするのが良い。暗い場合は、実質的に一つの円（小円）が形成されているだけである。（Ｂ１）の場合は、大円の外側は明るくても暗くてもよいが、大円の外側が明るい場合は、実質的に明るい下地に暗い１つの円（小円）が形成されているだけである。
【００３９】
ターゲットの存在範囲が決定されると、例えばモーメント法によって重心位置を算出する。例えば、図１０（Ａ１）に表記されたレトロターゲット２００の平面座標を（ｘ、ｙ）とする。そして、レトロターゲット２００の明度が、閾値Ｔｏ以上のｘ、ｙ方向の点について、（式１）、（式２）を演算する。
ｘｇ＝｛Σｘ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式１）
ｙｇ＝｛Σｙ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式２）
（ｘｇ、ｙｇ）：重心位置の座標、ｆ（ｘ、ｙ）：（ｘ、ｙ）座標上の光量
なお、図１０（Ｂ１）に表記されたレトロターゲット２００の場合は、明度が閾値Ｔｏ以下のｘ、ｙ方向の点について、（式１）、（式２）を演算する。これにより、レトロターゲット２００の重心位置が求まる。
【００４０】
カラーコードターゲット、レトロターゲットが用いられない場合、特徴点抽出部２１は複数の撮影画像から特徴点を抽出する。特徴点には、例えば測定対象物８の中心位置、重心位置、コーナー位置、他と異なる特徴を有する位置、測定対象物８に貼付された又は投影された標識などがある。特徴点抽出には特徴抽出オペレータが使用される。ここではモラベック（ＭＯＲＡＶＥＣ）オペレータを用いる例を説明する。
【００４１】
ＭＯＲＡＶＥＣオペレータは、汎用の特徴抽出器として古くから使用されている。ＭＯＲＡＶＥＣオペレータは、例えば、ある注目画素の周囲３×３画素をマスクとし、マスクが注目画素の周囲４方向に各１画素移動した際の濃度差分（方向濃度差分）の最小値をその注目画素の特徴量とする。処理が単純で高速であること、比較的容易にハード化が可能なことなどが特徴である。なお、高速処理を行うためには、画像の数倍のメモリが必要となる。ここではモラベックオペレータによる特徴点抽出を説明したが、他のオペレータ、例えばハリスオペレータやその他のもの、特徴点を検出できるものならなんでもよい。
【００４２】
撮影位置測定部２３は、特徴点抽出部２１で抽出した特徴点の撮影画像における画面位置から、撮影画像を撮影した撮影位置の二次元座標又は三次元座標を求める。抽出されたターゲットの位置が既知の場合にはＤＬＴ法を使用して測定対象物８の特徴点及び撮影位置の二次元座標又は三次元座標を求めることができる。
［ＤＬＴ法］
ＤＬＴ法は、写真座標と被写体の三次元座標（対象点座標）との関係を三次の射影変換式で近似したものである。
ＤＬＴ法の基本式は（式３−１）となる。
【数１】
（式３−１）に対し、分母を消去すると、次の線形式を導き出せる。
【数２】
更に、（式３−２）を変形すると、以下の式となる。
【数３】
（式３−３）を直接、最小二乗法を用いて解くと、写真座標と対象点座標との関係を決定するＬ１〜Ｌ１１の１１個の未知変量を取得できる。したがって、位置座標が既知の６点について（式３−３）を解くことにより、被写体の写真座標（ｘ，ｙ）と被写体の三次元座標（対象点座標）（Ｘ，Ｙ，Ｚ）との関係が求まり、写真座標（ｘ，ｙ）と対象点座標（Ｘ，Ｙ，Ｚ）を結ぶ直線の収束点にあたる撮影位置の位置座標（０，０，０）を求めることができる。この場合、撮影位置は、対象点座標に対して（−Ｘ，−Ｙ，−Ｚ）の位置になる。
【００４３】
ターゲットの位置が確定していない場合、特徴点の位置座標が不明な場合には、２枚以上の撮影画像における重複部分の特徴点を用いて、相互標定により測定対象物８の特徴点及び撮影位置の二次元座標又は三次元座標を求める。
まず、２枚の撮影画像をステレオ画像（一方を基準画像、他方を探索画像とする）とし、特徴点の対応付け（対応点探索）を行なう。相互相関処理により対応点探索を行なう。
【００４４】
［相互相関処理］
相互相関係数による方法
【数４】
【００４５】
図１１は対応点探索を説明するための図である。図１１に示すようにＮ１×Ｎ１画素のテンプレート画像を、それより大きいＭ１×Ｍ１画素の入力画像内の探索範囲（Ｍ１−Ｎ１＋１）２上で動かし、上式のＣ（ａ，ｂ）が最大になるようなテンプレート画像の左上位置を求めて、テンプレート画像に対し探索されたとみなす。左右画像の場合には、例えば左画像上にＮ１×Ｎ１画素のテンプレート画像を設定し、右画像上にＭ１×Ｍ１画素の探索領域を設定し、この操作を各画像上での位置について行えばよい。
ここでは、対応点探索に関し、正規化相互相関処理について説明したが、他の手法、例えば、残差逐次検定法（ＳＳＤＡ）や、方向符号照合法（ＯＣＭ）などを用いてもよい。
【００４６】
次に、左右画像の対応付けられた点から、撮影部２での撮影位置や、特徴点の三次元座標を求める。まず、相互標定法によってカメラの位置、傾きを求める方法について説明する。
［外部標定要素の算出：相互標定］
モデル画像とは、２枚以上の立体写真が撮影されたときの状態に再現されたとき得られる立体像のことをいう。相対的に相似なモデル画像を形成することを、相互標定という。すなわち、相互標定とは、立体写真の対応する２本の光束が交会するように、左右それぞれの投影中心の位置および傾きを定めるものである。
【００４７】
図１２は相互標定を説明するための図である。次に，各モデル画像の標定計算の詳細について説明する。この計算により、左右それぞれのカメラの位置（三次元座標と三軸の傾き）が求められる。
以下の共面条件式によりそれらのパラメータを求める。
【数５】
【００４８】
モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要ない。
【００４９】
このような条件にすると、（式４）の共面条件式は（式５）のようになり、この式を解けば各パラメータが求まる。
【数６】
【００５０】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（式６）、（式７）が成り立つ。
【数７】
【００５１】
これらの式を用いて、次の手順により、未知パラメータを求める。
（ａ）未知パラメータの初期近似値は通常０とする。
（ｂ）共面条件式（式５）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を（式６）、（式７）により求め、観測方程式をたてる。
（ｃ）最小二乗法をあてはめ、近似値に対する補正量を求める。
（ｄ）近似値を補正する。
（ｅ）補正された近似値を用いて、（ｂ）〜（ｅ）までの操作を収束するまで繰り返す。
未知パラメータ（κ１，φ１，κ２，φ２，ω２）を求めることにより、カメラの位置と傾きが求まる。
【００５２】
次回撮影予定位置選択部２４は、求められた撮影位置の位置座標に基づいて、複数の撮影予定位置の中から次回撮影予定位置を選択する。次回撮影予定位置選択部２４は、予め複数の撮影予定位置の位置座標と、当該撮影予定位置において撮影済か未撮影かを記憶した撮影予定位置表を有し、次回撮影予定位置選択部２４は撮影予定位置表を参照して、例えば、求められた撮影位置と各撮影予定位置との距離（測定対象物が間に入る場合はこれを迂回した距離）を比較し、未撮影の撮影予定位置のうち求められた撮影位置と最短距離にある撮影予定位置を次回撮影予定位置として選択する。例えば図８の撮影位置画像１３において、撮影部２の現在位置が撮影予定位置（○内に６）と撮影予定位置（○内に７）の間に在り、未撮影の撮影予定位置のうち撮影予定位置（○内に６）が位置座標が求められた撮影位置と最短距離にある場合は、見本画像１２に撮影予定位置（○内に６）と略同じ相対的位置関係で撮影された画像が次回撮影予定位置の見本画像として表示される。もし、最短距離の撮影予定位置が２つある場合には、右回りか左回りのいずれかを優先させて選択させる。
【００５３】
図１３に画像撮影の処理フロー例を示す。
まず、測定対象物を選択し（Ｓ１０）、測定対象物又はその周囲に存在する物にカラーコードターゲットを貼り付ける（Ｓ２０）。撮影予定位置を予め定めておき、撮影を開始する（Ｓ３０）。すなわち、表示部３にライブ画像１１を表示し、撮影者は移動中の適当な位置で、例えばシャッターを操作し、入力キーから２を入力することにより、ライブ画像を取得する。次に、取得したライブ画像について特徴点抽出部２１でカラーコードターゲットを検出し（Ｓ３５）、コード識別部２２でカラーコードターゲットの識別コードを識別する（Ｓ４０）。撮影位置測定部２３は、取得したライブ画像におけるカラーコードターゲットの位置とカラーコードターゲットが貼り付けられた位置座標から、撮影部２の現在位置の二次元座標又は三次元座標を計算して求める（Ｓ５０）。次回撮影予定位置選択部２４は、求められた撮影部２の現在位置の位置座標に基づいて次回撮影予定位置を求め（Ｓ５５）、撮影位置判定部４は求められた撮影部２の現在位置の位置座標に基づいて次回撮影予定位置に対する撮影部２の相対的位置を判定する。移動情報報知部５は撮影位置判定部４の判定に添ってガイド情報を作成する。表示部３は、次回撮影予定位置と略同じ相対的位置関係で撮影された見本画像１２を表示する（Ｓ６０）。この際、表示部３の撮影位置画像１３に現在位置を表示し、移動情報報知部５が作成したガイド情報を表示する。撮影者はガイド情報に従い、また、ライブ画像１１と見本画像１２を比較しながら次回撮影予定位置に到達し、例えばシャッターを操作し、入力キーから１を入力することにより、撮影画像を取得する（Ｓ７０）。次に、取得された撮影画像について、カラーコードターゲットの検出（Ｓ３５）から撮影画像の取得（Ｓ７０）が順次繰り返される。もし、撮影画像の取得（Ｓ７０）後に、撮影者が現在位置を知りたい時、ガイド情報を得たい時にはその位置でシャッターを操作し、入力キーから２を入力することにより、ライブ画像を取得する。この場合には、撮影画像取得の場合と次回撮影予定位置に対する撮影部２の相対的位置が異なるが、カラーコードターゲットの検出（Ｓ３５）から撮影画像の取得（Ｓ７０）が行なわれる。全ての撮影予定位置での撮影が行なわれたら（Ｓ８０でＹＥＳ）、撮影を終了する。
【００５４】
以上説明したように、本実施例によれば、撮影者を現在位置から次回撮影予定位置へ的確にガイドする三次元計測用画像撮影装置を提供できる。
【００５５】
また、本発明は、以上の実施の形態のフローチャート等に記載の三次元計測用画像撮影方法の発明、当該方法の発明を三次元計測用画像撮影装置に実行させるためのプログラムとしても実現可能である。プログラムは三次元計測用画像撮影装置の内蔵記憶部に蓄積して使用してもよく、外付けの記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。
【００５６】
以上、本発明の実施の形態について説明したが、本発明は上記の実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で実施例に種々変更を加えられることは明白である。
【００５７】
例えば、以上の実施例では、ライブ画像と静止画像を同一のビデオカメラやデジタルカメラで取得する例を説明したが、例えば、各撮影予定位置において左右に少しずれた位置（例えば一歩動いた位置）から１回ずつ合計２回撮影し、一組のステレオ画像としても良い。このようにするとステレオカメラでの撮影に近くなり、カメラの標定や撮影位置の計測が容易になる。また、実施例２では、ライブ画像と撮影画像の撮影と撮影者のキー入力により、撮影位置測定部が撮影位置を求め、見本画像の次回撮影予定位置が変化する例を説明したが、次回撮影位置選択部２４が次回撮影予定位置を選択した時に、自動的に見本画像の次回撮影予定位置が変化するようにしても良い。また、撮影予定位置数、ターゲットの配置、ガイド情報の文章等は適宜変更可能である。
【産業上の利用可能性】
【００５８】
本発明は、三次元計測や三次元モデル画像作成のための撮影に利用できる。特に、未経験者や不慣れな者が撮影する場合に、また、慣れた人でも、測定対象物が大きい場合、表面形状が複雑な場合、同様な繰り返し模様が現れる場合等に、本発明を利用すると、隣り合う画像での撮影を適切な重複範囲で撮影することができる。
【符号の説明】
【００５９】
１，１Ａ 三次元計測用画像撮影装置
２ 撮影部
３ 表示部
４ 撮影位置判定部
５ 移動情報報知部
６ 画像記憶部
７ 制御部
８ 測定対象物
９ パーソナルコンピュータ（ＰＣ）
１１ ライブ画像
１２ 見本画像
１３ 撮影位置画像
１４ 撮影対象物の設置領域
２１ 特徴点抽出部
２２ コード識別部
２３ 撮影位置測定部
２４ 次回撮影位置選択部
２００ レトロターゲット
２０４ 内円部
２０６ 外円部
ＣＴ カラーコードターゲットＣＴ
Ｐ１ レトロターゲット部
Ｐ２ 基準色部
Ｐ３ カラーコード部
Ｐ４ 白色部
Ｔｏ 閾値
【技術分野】
【０００１】
本発明は三次元計測用画像撮影装置に関する。詳しくは、撮影者を現在位置から次回撮影予定位置へガイドする三次元計測用画像撮影装置に関する。
【背景技術】
【０００２】
測定対象物の全体像を把握し、三次元モデル画像に再現するには、複数の撮影位置から撮影した撮影画像を連結していく必要がある。このように撮影者が移動しながら撮影した複数の撮影画像から撮影装置または対象物の三次元座標を測定するには、２枚以上の各撮影画像上で相互に対応する特徴点（対象物上の同一点を表す）を求め、これを追跡する必要がある。この場合、三次元計測に不適切な特徴点が撮影画像に混入し得るので、撮影画像における特徴点の適否を判定しながら、その撮影装置の撮影位置、姿勢又は対象物の位置座標を精度良く計測できる画像処理装置が提案されている。（特許文献１参照）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８３２５６号公報（図１〜図１１、段落００２１〜００６５）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
測定対象物の三次元モデル画像を正確かつ効率的に再現するには、測定対象物を撮影する複数の撮影位置を予め適正に配置しておく必要がある。そして予め定められた撮影予定位置に確実に移動して撮影する必要がある。しかしながら、実際に、移動中の撮影者が測定対象物とその周辺を見て、現在位置が撮影予定位置であるか否かを判断するのは困難であるという問題があった。特に、三次元モデル画像作成のための撮影に、未経験者や不慣れな者、さらに慣れた人でも、自動車、美術品、建造物、地形など測定対象物が大きい場合、その表面形状が複雑な場合、同様な繰り返し模様が現れる場合には、隣り合う画像間の重複範囲を適切に取りながら撮影することが困難であった。
【０００５】
本発明は、上記問題点に鑑みてなされたものであり、撮影者が次回撮影予定位置に的確に移動できるように、撮影者を現在位置から次回撮影予定位置へ的確にガイドする三次元計測用画像撮影装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の態様の三次元計測用画像撮影装置１は、例えば、図１及び図４に示すように、測定対象物８を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置において、撮影者が移動しながら測定対象物８を撮影することによりライブ画像１１を取得し、適時に静止画像である撮影画像を取得する撮影部２と、撮影部２の現在位置でのライブ画像１１と次回撮影予定位置と略同じ相対的位置関係で撮影された静止画像である模擬対象物の見本画像１２とを同一画面内に表示する表示部３と、撮影部２の現在位置でのライブ画像１１と見本画像１２とを比較して、次回撮影予定位置に対する撮影部２の相対的位置を判定する撮影位置判定部４と、現在位置から次回撮影予定位置へ撮影者が移動するようにガイド情報を作成し表示部に報知させる移動情報報知部５とを備える。
【０００７】
ここにおいて、ライブ画像とは、例えば、現在の位置においてビデオカメラやデジタルカメラ等で取得された画像をいう。通常は、ビデオカメラやデジタルカメラを用いて撮影者が移動しながらファインダーやディスプレイ等に測定対象物をライブ画像として表示する。また、撮影画像とは、シャッター操作などにより撮影した静止画像をいう。また、模擬対象物の見本画像とは、測定対象物が自動車である場合には、典型的には、他の自動車について（形状が似ているほど好ましい）撮影予定位置と略同じ相対的位置関係（方向、距離）で既に撮影された撮影画像（静止画像）から選択された画像をいう。ただし、同じ型式の自動車や同一自動車で、ボケた部分や異物混入部分を修正したい、より高画質の撮影画像を得たい、条件を変えて撮影したい等の場合もあるので、模擬対象物は同じ型式の物や測定対象物を含むものとする。また、同じ相対的位置関係とは、撮影部と測定対象物との方向及び距離が、見本画像を撮影した撮影装置と模擬対象物との方向及び距離と等しいことを意味するが、測定対象物と模擬対象物の差異も考慮し、ここでは、方向、距離が同じに限られず、例えば差異が±１０％以内であれば良い。また、同じ相対的位置関係で既に撮影された撮影画像には、撮影予定位置から撮影現場に設置された模擬対象物又は測定対象物を撮影した撮影画像を含むものとする。また、次回撮影予定位置は例えば、予め定められた撮影予定位置から予め定められた順序に従って決めても良く、現在位置から最短の撮影予定位置を選択しても良い。また、ガイド情報は方向及び距離をガイドするものでも良いが、距離に係るガイドは例えば「前へ」、「後へ」、「近くへ」、「遠くへ」と方向でも表現できるので、方向のみをガイドするものでも良い。
本態様のように構成すると、撮影者を現在位置から次回撮影予定位置へ的確にガイドする三次元計測用画像撮影装置を提供できる。
【０００８】
本発明の第２の態様の三次元計測用画像撮影装置１Ａは、第１の態様の三次元計測用画像撮影装置において、例えば図６に示すように、撮影部２で取得された撮影画像における特徴点を抽出する特徴点抽出部２１と、特徴点抽出部２１で抽出した特徴点の撮影画像における画面位置から、撮影画像を撮影した撮影位置の二次元座標又は三次元座標を求める撮影位置測定部２３と、求められた撮影位置の位置座標に基づいて、複数の撮影予定位置の中から次回撮影予定位置を選択する次回撮影予定位置選択部２４とを備え、表示部３は、見本画像１２として選択された次回撮影予定位置と略同じ相対的位置関係で撮影された模擬対象物の画像を表示する。
【０００９】
ここにおいて、撮影位置の二次元座標又は三次元座標を求めるには、例えば、ＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）法または相互標定が用いられる。また、多くの撮影画像、多くの特徴点を用いる程、位置座標の精度を高くできる。
本態様のように構成すると、撮影者の撮影位置の二次元座標又は三次元座標を求めるので、撮影予定位置との定量的な位置関係に基づいて、撮影者を次回撮影予定位置に的確にガイドできる。
【００１０】
本発明の第３の態様の三次元計測用画像撮影装置１は、第１又は第２の態様の三次元計測用画像撮影装置において、例えば図４に示すように、ガイド情報は、撮影部２の測定対象物８に対する相対的移動方向又は次回撮影予定位置を示す表示である。
【００１１】
ここにおいて、相対的移動方向を示す表示とは、例えば、表示画面に矢印を表示する、文字で「右に移動してください」と表示する、音声で「右に移動してください」とアナウンスする等である。また、次回撮影予定位置を示す表示とは、例えば、次回撮影予定位置番号が２であれば、表示画面の撮影予定位置近傍に表示された番号２を点滅表示する、文字で「２番に移動してください」と表示する、音声で「２番に移動してください」とアナウンスする等である。
本態様のように構成すると、ガイド情報の表示を用いて撮影者に次回撮影予定位置をわかり易く報知できる。
【００１２】
本発明の第４の態様の三次元計測用画像撮影装置１は、第１ないし第４のいずれかの態様の三次元計測用画像撮影装置において、例えば図８又は図９に示すように、自他識別可能な識別コードを有するマークＣＴの識別コードを識別するコード識別部２２を備え、撮影部２は、撮影画像を測定対象物８と共に測定対象物８又はその周囲に存在する物に貼付された複数のマークＣＴを含むように撮影して取得し、特徴点抽出部２１は、撮影画像からマークＣＴを特徴点として抽出し、コード識別部２２は特徴点抽出部２１で抽出されたマークＣＴの識別コードを識別する。
【００１３】
ここにおいて、自他識別可能な識別コードを有するマークには、数字列、文字列、記号のように識別可能な符号を用いたコード、バーコード、２次元バーコード、カラーコードのようにパターン配置に識別性を持たせたコードが含まれる。このうち、実施例では主にカラーコードを使用する例を説明する。
このように構成すると、測定対象物又はその周囲に存在する物に自他識別可能な識別コードを有するマークを貼付することにより、撮影画像から撮影位置を正確に求めることができる。
【発明の効果】
【００１４】
本発明によれば、撮影者を現在位置から次回撮影予定位置へ的確にガイドする三次元計測用画像撮影装置を提供できる。
【図面の簡単な説明】
【００１５】
【図１】実施例１に係る三次元計測用画像撮影装置の構成を示すブロック図である。
【図２】実施例１における表示画面の例を示す図（その１）である。
【図３】実施例１における表示画面の例を示す図（その２）である。
【図４】実施例１における表示画面の例を示す図（その３）である。
【図５】実施例１における画像撮影の処理フロー例を示す図である。
【図６】実施例２に係る三次元計測用画像撮影装置の構成を示すブロック図である。
【図７】カラーコードターゲットの例を示す図である。
【図８】実施例２における表示画面の例を示す図（その１）である。
【図９】実施例２における表示画面の例を示す図（その２）である。
【図１０】レトロターゲットを用いた重心位置検出の説明図である。
【図１１】対応点探索を説明するための図である。
【図１２】相互標定を説明するための図である。
【図１３】実施例２における画像撮影の処理フロー例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施の形態について説明する。尚、各図において、互いに同一又は相当する部分には同一符号を付し，重複した説明は省略する。
【実施例１】
【００１７】
［三次元計測用画像撮影装置の構成］
図１は本発明の実施例１に係る三次元計測用画像撮影装置１の構成を示すブロック図である。三次元計測用画像撮影装置１は、撮影部２、表示部３、撮影位置判定部４、移動情報報知部５、画像記憶部６、制御部７を備える。撮影位置判定部４、移動情報報知部５、制御部７はパーソナルコンピュータ（ＰＣ）９内に設けられる。撮影部２は、例えばビデオカメラやデジタルカメラで構成され、撮影者が移動しながら現在位置で測定対象物８を撮影してライブ画像を取得し、ファインダーやディスプレイ等に表示させ、また、シャッター操作などにより静止画像である撮影画像を撮影して取得する。本実施例では、ビデオカメラ又はデジタルカメラでライブ画像を撮影し、かつ、静止画像を撮影するものとする。ビデオカメラではシャッター操作により通常は撮影画像を外部のメモリに記憶するが、内部メモリがあればそこに記憶される。デジタルカメラではシャッター操作により撮影画像を内部メモリに記憶する。画像記憶部６は、例えばハードディスクで構成されデータベースとして使用される。画像記憶部６は、撮影部２で撮影された撮影画像、撮影予定位置と略同じ相対的位置関係で予め撮影された模擬対象物の見本画像等を記憶する。画像記憶部６としてカメラの内部メモリを用いても良いが、ＰＣのハードディスクを用いる方が高速、多様な処理に適しているので好ましい。本実施例では、外部メモリを用いるカメラでは撮影画像を画像記憶部６に直接記憶し、内部メモリを用いるカメラでは撮影画像を画像記憶部６に転送するものとする。同じ相対的位置関係とは、撮影部と測定対象物との方向及び距離が、見本画像を撮影した撮影装置と模擬対象物との方向及び距離と等しいことを意味する。また、各見本画像は撮影予定位置と対応付けて記憶される。また、次回撮影予定位置に対する撮影部２の相対的位置を判定するためのライブ画像もシャッター操作などにより取得され、画像記憶部６に記憶される。記憶された撮影画像と相対的位置を判定するためのライブ画像の区別は、例えば撮影者が図示しない入力キーから、撮影画像の場合は１を、ライブ画像の場合は２を入力して行なう。また、ビデオカメラ又はデジタルカメラで撮影されたライブ画像は常時画像記憶部６のテンポラリメモリに上書きされて、表示部３に転送される。表示部３は、例えば、液晶ディスプレイ等のディスプレイを有する。少なくとも、撮影部２の現在位置でのライブ画像と次回撮影予定位置で撮影された静止画像である模擬対象物の見本画像とを同一画面内に表示する。両画像を左右に又は上下に並べて表示するのが比較し易いので好適であるが、同一画面内に表示されれば比較できるのでそれでも良い。また、表示部３は音声ガイドをする場合にはスピーカを有する。
【００１８】
図２〜図４に、表示部３に表示される表示画面の例を示す。左側にライブ画像１１を右側に見本画像１２を並べて表示する。模擬対象物の見本画像１２とは、撮影対象物８が例えば自動車である場合には、他の自動車について（形状が似ているほど好ましい）撮影予定位置と略同じ相対的位置関係（方向、距離）で既に撮影された自動車の撮影画像（静止画像）から選択された画像をいう。表示部３は、画像記憶部６に記憶された見本画像のうち次回撮影予定位置に対応付けられた画像から選んで表示する。また、撮影対象物と撮影予定位置との位置関係を二次元的に表す撮影位置画像１３を表示する。撮影位置画像１３には、撮影対象物８の設置領域１４が表示され、撮影予定位置には番号が付され（○内に１〜８の番号を付して示す）、各撮影予定位置（○内に１〜○内に８）から撮影対象物８を観察・撮影する方向が矢印で表されている。撮影者は撮影予定位置に付された番号順に撮影予定位置へ移動して、順次、撮影対象物８を撮影すれば良い。静止画像の撮影が行なわれ、撮影者が入力キーから１を入力すると、見本画像１２は次の次回撮影予定位置の画像に変化する。また、移動中に現在位置を知るため、ライブ画像を取得する際には、撮影者が入力キーから２を入力する。
【００１９】
図２の表示画面は撮影部２が撮影予定位置（○内に１）にある場合を示している。ライブ画像１１及び見本画像１２には前方から撮影された自動車が表示され、自動車の方向が略一致している。撮影位置画像１３には次回撮影予定位置（○内に１）が例えば赤色で表示され、他の撮影予定位置（○内に２〜８）が例えば黒色で表示されている。図３の表示画面は撮影部２が撮影予定位置（○内に２）にある場合を示している。ライブ画像１１及び見本画像１２には右前方から撮影された自動車が表示され、自動車の方向が略一致している。撮影位置画像１３には次回撮影予定位置（○内に２）が例えば赤色で表示され、他の撮影予定位置（○内に１，３〜８）が例えば黒色で表示されている。図４の表示画面は撮影部２が撮影予定位置（○内に１）と撮影予定位置（○内に８）の中間にある場合を示している。例えば撮影者が撮影予定位置（○内に１〜７）での撮影を終えて撮影予定位置（○内に８）に移動する時に行き過ぎた場合である。ライブ画像１１には前方やや左方から撮影された自動車が表示され、見本画像１２には左前方から撮影された自動車が表示され、撮影位置画像１３には次回撮影予定位置（○内に８）が例えば赤色で表示され、他の撮影予定位置（○内に１〜７）が例えば黒色で表示されている。また、ライブ画像１１には、「右に移動してください」との文字表示がされ、撮影者に次回撮影予定位置である撮影予定位置（○内に８）の方向に移動するようにガイド情報を報知している。なお、撮影位置画像１３の撮影予定位置（○内に１）と撮影予定位置（○内に８）との間に撮影予定位置（○内に８）に向かう矢印を表示してガイドしても良い。撮影者がこのガイド情報に従って自動車８に対して右回りに移動すれば、次回撮影予定位置（○内に８）に到達でき、次回撮影予定位置（○内に８）に到達すると、ライブ画像１１と見本画像１２における自動車の方向が略一致するので、次回撮影予定位置（○内に８）に到達したことがわかる。なお、このとき、ライブ画像１１又は撮影位置画像１３に「ＯＫ」と到達したことを示す文字表示をしても良く、音声で「ＯＫ」とアナウンスしても良い。静止画の撮影が行なわれると、見本画像１２は次の次回撮影予定位置に対応付けられた画像に変化する。全ての撮影予定位置（○内に１〜８）での撮影が行なわれれば、次回撮影予定位置に対応付けられた画像はなくなるので見本画像１２は空白になる。この場合、見本画像１２に「撮影完了」と文字表示をしても良く、音声で「撮影完了」とアナウンスしても良い。
【００２０】
撮影位置判定部４は、撮影部２すなわち撮影者の現在位置でのライブ画像１１と見本画像１２とを比較して、次回撮影予定位置に対する撮影部２の相対的位置を判定する。撮影位置判定部４はライブ画像１１の自動車の方向を解析する。例えば、データベースに多くの見本画像１２を撮影予定位置（○内に１〜８）と対応付けて蓄積し、これらの見本画像のパターン７からライブ画像１１に比較的似たパターンを抽出してライブ画像１１と比較する。例えば、撮影予定位置（○内に１）と撮影予定位置（○内に２）の両方のパターンに似ている場合には、撮影部２は撮影予定位置（○内に１）と撮影予定位置（○内に２）の中間に在ると判定し、その中で、撮影予定位置（○内に１）の見本画像により似ていれば、撮影予定位置（○内に１）により近い方にあり、撮影予定位置（○内に２）の見本画像により似ていれば、撮影予定位置（○内に２）により近い方にあると判定する。ライブ画像１１のパターンと見本画像１２のパターンの類似性は、例えばライブ画像１１と見本画像１２から特徴点を抽出し、対応する特徴点の画像間での距離を統計的に処理して求めても良い。また、撮影予定位置（○内に１〜８）以外の位置に対応付けられる見本画像（例えば撮影予定位置の中間と略同じ相対的位置関係で撮影された見本画像、斜め上方から撮影された見本画像等）も比較の対象として用いても良い。
【００２１】
撮影予定位置に対する撮影部２の相対的位置（方向、距離）は、撮影画像内の測定対象物の方向と寸法から判定される。例えば、画像記憶部６に多数の方向、距離から撮影された見本画像を、方向、距離と対応付けて蓄積しておき、取得したライブ画像１１をこれらの見本画像と比較し、類似性の高い画像を抽出して、撮影予定位置に対する撮影部２の相対的位置を判定する。取得されたライブ画像に自動車が大きく写っているときは撮影部２は自動車の近くにあり、自動車が小さく写っているときは撮影部２は自動車の遠くにあると判定される。また、ライブ画像１１を、撮影予定位置（○内に１）の方向から取得した場合は自動車の前方、撮影予定位置（○内に２）の方向から取得した場合は自動車の右前方、撮影予定位置（○内に３）の方向から取得した場合は自動車の右方、撮影予定位置（○内に４）の方向から取得した場合は自動車の右後方、撮影予定位置（○内に５）の方向から取得した場合は自動車の後方、撮影予定位置（○内に６）の方向から取得した場合は自動車の左後方、撮影予定位置（○内に７）の方向から取得した場合は自動車の左方、撮影予定位置（○内に８）の方向から取得した場合は自動車の左前方と判定される。また、これらの中間位置、例えば、撮影予定位置（○内に１）と撮影予定位置（○内に２）の中間から取得した場合は自動車の前方やや右側にあると判定される。
【００２２】
移動情報報知部５は、撮影部２の現在位置から次回撮影予定位置へ撮影者が移動するようにガイド情報を作成し、表示部３に報知させる。移動情報報知部５は撮影位置判定部４による次回撮影予定位置に対する撮影部２の相対的位置を判定に基づいてガイド情報を報知する。例えば、撮影部２が撮影予定位置（○内に１）や撮影予定位置（○内に２）にある場合には、ガイド情報を作成しなくても良く、「ＯＫ」と作成しても良い。また、例えば、撮影予定位置（○内に１）と撮影予定位置（○内に８）の中間にあり、次回撮影予定位置が撮影予定位置（○内に８）の場合には、「右に移動してください」とのガイド情報を作成し、表示部３であるディスプレイに文字表示させたり、スピーカにアナウンスさせる。また、例えば、撮影予定位置（○内に１）と撮影予定位置（○内に２）の中間にあり、次回撮影予定位置が撮影予定位置（○内に２）の場合には、「左に移動してください」とのガイド情報を作成し、表示部３であるディスプレイに文字表示させたり、スピーカにアナウンスさせる。また、ガイド情報は方向及び距離をガイドするものでも良いが、距離に係るガイドは方向でも表現できるので、方向のみをガイドするものでも良い。さらに、測定対象物８を周囲から撮影する等、測定対象物８と各撮影予定位置（○内に１〜８）との距離が予め決められている（例えば５ｍ）場合、遠方からの撮影で距離の影響が無視できる場合には、「右へ」、「左へ」等横方向へのガイドでも良い。
【００２３】
制御部７は、内臓メモリに制御プログラムを有し、三次元計測用画像撮影装置１の各部を制御し、信号及びデータの流れを制御し、三次元計測用画像撮影装置としての機能を実行させる。特に、撮像部２から常時ライブ画像を取得して、表示部３に表示させ、静止画像の撮影毎に、撮影予定位置に付された番号順に次回撮影予定位置を判定し、画像記憶部６から次回撮影予定位置に対応付けられた画像から測定対象物８に似た模擬対象物の画像を選んで見本画像１２として表示部３に表示させる。また、撮影位置判定部４に、ライブ画像１１と見本画像１２とを比較させ、次回撮影予定位置に対する撮影部２の相対的位置を判定させ、移動情報報知部５に、次回撮影予定位置へ撮影者が移動するようにガイド情報を作成させる。
【００２４】
図５に、本実施例における画像撮影の処理フロー例を示す。まず、制御部６に撮影予定位置（○内に１〜８）と撮影順番を設定する（Ｓ１０１）。ここでは撮影予定位置の番号順に撮影することとする。次に、表示部３にライブ画像と共に最初の次回撮影予定位置に対応付けられた見本画像を表示する（Ｓ１０２）。撮影者が、ライブ画像１１と見本画像１２を比較しながら、最初の次回撮影予定位置に到達したと判断して撮影画像を取得する（Ｓ１０３）。撮影が行なわれ、例えば撮影者が１を入力すると、見本画像は次の次回撮影予定位置に対応する画像に変化する（Ｓ１０４）。撮影者が、再度ライブ画像１１と見本画像１２を比較しながら、次回撮影予定位置に到達したと判断して撮影画像を取得する（Ｓ１０５）。このように、撮影予定位置の番号順に、画像表示と撮影を繰り返し、撮影者が、最後の次回撮影予定位置に到達したと判断して撮影画像を取得する（Ｓ１０６）。撮影予定位置での撮影が一巡したら、撮影者は、表示部３に撮影画像を表示させて解析し、適切な撮影予定位置で撮影されたか、画像にぶれや異物混入等の欠陥がないか解析し（Ｓ１０７）、不適切な画像があれば（Ｓ１０８でＮＯ）、再度撮影予定位置を設定して（Ｓ１０１に戻る）、不足分の撮影画像を取得する。不適切な画像がなければ（Ｓ１０８でＹＥＳ）、撮影を終了する。なお、解析の際に、撮影位置判定部４は撮影画像の自動車の方向を解析し、撮影位置画像１３の撮影対象物の設置領域１４内に自動車の方向（前方）を示す矢印を表示させても良い。
【００２５】
以上説明したように、本実施例によれば、撮影者を現在位置から次回撮影予定位置へ的確にガイドする三次元計測用画像撮影装置を提供できる。
【実施例２】
【００２６】
実施例２では、測定対象物又はその周囲に存在する物に自他識別可能な識別コードを有するマークを貼付し、マークの位置座標を用いて撮影位置の位置座標を求め、求められた撮影位置の位置座標に基づいて次回撮影予定位置を自動的に選択する例を説明する。
【００２７】
図６は実施例２に係る三次元計測用画像撮影装置１の構成を示すブロック図である。図１の構成に特徴点抽出部２１、コード識別部２２、撮影位置測定部２３、次回撮影予定位置選択部２４が追加されている。これらはパーソナルコンピュータ（ＰＣ）９内に設けられる。特徴点抽出部２１は、撮影部２で取得された撮影画像における特徴点を抽出する。コード識別部２２はマークの識別コードを識別する。撮影位置測定部２３は、特徴点抽出部２１で抽出した特徴点の撮影画像における画面位置から、撮影画像を撮影した撮影位置の二次元座標又は三次元座標を求める。次回撮影予定位置選択部２４は、求められた撮影位置の位置座標に基づいて、複数の撮影予定位置の中から次回撮影予定位置を選択する。また、撮影位置判定部４は、求められた撮影位置の位置座標に基づいて、次回撮影予定位置に対する撮影部の相対的位置を判定する。
【００２８】
特徴点抽出部２１は、撮影部２で取得された複数の撮影画像における特徴点を抽出する。本実施例では測定対象物である自動車の周囲にカラーコードターゲットが貼り付けられており、カラーコードターゲットを特徴点として使用できる。
【００２９】
［カラーコードターゲット］
図７にカラーコードターゲットＣＴの例を示す。図７（ａ）はカラーコードの単位領域が３個、図７（ｂ）は６個、図７（ｃ）は９個のカラーコードターゲットである。図７（ａ）〜（ｃ）のカラーコードターゲットＣＴ（ＣＴ１〜ＣＴ３）は、位置検出用パターン（レトロターゲット部）Ｐ１、基準色パターン（基準色部）Ｐ２、カラーコードパターン（カラーコード部）Ｐ３、空パターン（白色部）Ｐ４で構成されている。
【００３０】
レトロターゲット部Ｐ１は、ターゲット自体の検出用、その重心検出用、ターゲットの向き検出用、ターゲット領域検出用として使用する。
【００３１】
基準色部Ｐ２は、照明やカメラ等の撮影条件による色のずれに対応するために、相対比較時の参照用、色ずれを補正するためのカラーキャリブレーション用として使用する。さらに、基準色部Ｐ２は、簡易な方法で作成されたカラーコードターゲットＣＴの色彩補正用として使用できる。例えば、色管理がなされていないカラープリンター（インクジェット・レーザー・昇華型等のプリンタ）で印刷したカラーコードターゲットＣＴを使用する場合は、使用プリンタ等で色彩に個体差が出るが、基準色部Ｐ２とカラーコード部Ｐ３の色を相対比較し補正することで、個体差の影響を押さえることができる。
【００３２】
カラーコード部Ｐ３は、その各単位領域への配色の組み合わせによってコードを表現する。コードに使用するコード色の数により表現可能なコード数が変化する。例えば、コード色数がｎの場合、ｎ×ｎ×ｎ通りのコードを表せる。信頼度を上げるため、他の単位領域に使用されている色を重複して使用しないという条件を課した場合でも、ｎ×（ｎ−１）×（ｎ−２）通りのコードを表せる。そして、コード色数を増やせばコード数を増加できる。さらに、カラーコード部Ｐ３の単位領域の数とコード色数を等しくするという条件を課すと、全てのコード色がカラーコード部Ｐ３に使用されるため、基準色部Ｐ２との比較のみで無く、カラーコード部Ｐ３の各単位領域間で色を相対比較することにより、各単位領域の色彩を確認して識別コードを決定することができ、信頼性を上げることができる。さらに、各単位領域の面積を全て同じにする条件を追加すると、カラーコードターゲットＣＴを画像中から検出する際にも使用できる。これは、異なる識別コードをもつカラーコードターゲットＣＴ間でも各色の占有する面積が同じになるため、カラーコード部全体からの検出光からはほぼ同様な分散値が得られるからである。また、単位領域間の境界は等間隔に繰り返され、明確な色彩差が検出されるので、このような検出光の繰り返しパターンからもターゲットＣＴを画像中から検出することが可能である。
【００３３】
白色部Ｐ４は、カラーコードターゲットＣＴの向き検出用と色ずれのキャリブレーション用として使用する。ターゲットＣＴの四隅の内、一カ所だけレトロターゲットが配置されない箇所があり、これをターゲットＣＴの向き検出用に使用できる。このように白色部Ｐ４はレトロターゲットと異なるパターンであれば良い。したがって、白色部には目視でコードを確認するための番号などの文字列を印刷しても良く、また、バーコード等のコード領域としても使用しても良い。さらに、検出精度を上げるために、テンプレートマッチング用のテンプレートパターンとして使用することも可能である。
【００３４】
コード識別部２２はカラーコードターゲットＣＴの識別コードを識別する。パターン配置とコード番号の対応関係を記録するカラーコードターゲット対応表を用いて、カラーコードターゲットＣＴのカラーコード部Ｐ３における色彩の配列から識別コードを判別し、カラーコードターゲットＣＴに番号を付与する。
【００３５】
図８に表示部に表示される表示画面の例を示す。ライブ画像１１には、測定対象物８である自動車の周囲にカラーコードターゲットＣＴが貼り付けられている。これは、撮影対象物８の周囲、もしくは撮影対象物８に配置されたカラーコードターゲットＣＴを自動的に抽出し、識別コードが識別されたカラーコードターゲットＣＴの位置から撮影位置測定部２３で撮影部２の現在位置の二次元座標又は三次元座標を求め、次の次回撮影予定位置に対応する見本画像を自動的に表示するためである。撮影位置画像１３において、撮影部２の現在位置が撮影予定位置（○内に６）と撮影予定位置（○内に７）の間に在ることが表示される。また、見本画像１２には自動車を左後方から撮影した次回撮影予定位置（○内に６）の画像が表示され、移動情報報知部５により見本画像１２の下に「右に移動してください」とのガイド情報が表示される。
【００３６】
図９に表示部に表示される表示画面の別の例を示す。図９はライブ画像の表示例で、土器の表面にカラーコードターゲットＣＴ及びレトロターゲット（黒で縁どられた白丸の部分）が貼り付けられている。この場合も図８の自動車の場合と同様に、カラーコードターゲットＣＴを自動的に抽出し、識別コードが識別されたカラーコードターゲットＣＴの位置からからカメラの位置を求め、次の見本画像を自動的に表示するためである。レトロターゲットはそれ自身では識別性が無いが、周囲に貼り付けられたカラーコードターゲットＣＴとの位置関係から識別性が生じるので、撮影部２の現在位置の二次元座標又は三次元座標を求めるために使用できる。
【００３７】
カラーコードターゲットＣＴの位置はレトロターゲットＰ１を検出することにより求められる。カラーコードターゲットＣＴ以外にレトロターゲットが貼付される場合、カラーコードターゲットＣＴに代えてレトロターゲットが貼付される場合も、マークの位置はレトロターゲットを検出することにより求められる。
【００３８】
図１０はレトロターゲットを用いた重心位置検出の説明図である。本実施例ではレトロターゲットは２つの同心円で形成されている。図１０（Ａ１）は同心円のうち小円の内側である内円部２０４の明度が明るく、小円と大円との間に形成された円環状の部分である外円部２０６の明度が暗いレトロターゲット２００、図１０（Ａ２）は（Ａ１）のレトロターゲット２００の直径方向の明度分布図、図１０（Ｂ１）は内円部２０４の明度が暗く、外円部２０６の明度が明るいレトロターゲット２００、図１０（Ｂ２）は（Ｂ１）のレトロターゲット２００の直径方向の明度分布図を示している。レトロターゲットが図１０（Ａ１）のように内円部２０４の明度が明るい場合は、測定対象物１の撮影画像において重心位置での反射光量が多く明るい部分になっているため、画像の光量分布が図１０（Ａ２）のようになり、光量分布の閾値Ｔｏからレトロターゲットの内円部２０４や中心位置を求めることが可能となる。本実施例のカラーコードターゲットＣＴでは、（Ａ１）の場合、正方形の位置検出用パターンＰ１の中心部に小円に相当する円が一つ形成されていればよく、大円の外側は明るくても暗くてもよいが、暗くするのが良い。暗い場合は、実質的に一つの円（小円）が形成されているだけである。（Ｂ１）の場合は、大円の外側は明るくても暗くてもよいが、大円の外側が明るい場合は、実質的に明るい下地に暗い１つの円（小円）が形成されているだけである。
【００３９】
ターゲットの存在範囲が決定されると、例えばモーメント法によって重心位置を算出する。例えば、図１０（Ａ１）に表記されたレトロターゲット２００の平面座標を（ｘ、ｙ）とする。そして、レトロターゲット２００の明度が、閾値Ｔｏ以上のｘ、ｙ方向の点について、（式１）、（式２）を演算する。
ｘｇ＝｛Σｘ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式１）
ｙｇ＝｛Σｙ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式２）
（ｘｇ、ｙｇ）：重心位置の座標、ｆ（ｘ、ｙ）：（ｘ、ｙ）座標上の光量
なお、図１０（Ｂ１）に表記されたレトロターゲット２００の場合は、明度が閾値Ｔｏ以下のｘ、ｙ方向の点について、（式１）、（式２）を演算する。これにより、レトロターゲット２００の重心位置が求まる。
【００４０】
カラーコードターゲット、レトロターゲットが用いられない場合、特徴点抽出部２１は複数の撮影画像から特徴点を抽出する。特徴点には、例えば測定対象物８の中心位置、重心位置、コーナー位置、他と異なる特徴を有する位置、測定対象物８に貼付された又は投影された標識などがある。特徴点抽出には特徴抽出オペレータが使用される。ここではモラベック（ＭＯＲＡＶＥＣ）オペレータを用いる例を説明する。
【００４１】
ＭＯＲＡＶＥＣオペレータは、汎用の特徴抽出器として古くから使用されている。ＭＯＲＡＶＥＣオペレータは、例えば、ある注目画素の周囲３×３画素をマスクとし、マスクが注目画素の周囲４方向に各１画素移動した際の濃度差分（方向濃度差分）の最小値をその注目画素の特徴量とする。処理が単純で高速であること、比較的容易にハード化が可能なことなどが特徴である。なお、高速処理を行うためには、画像の数倍のメモリが必要となる。ここではモラベックオペレータによる特徴点抽出を説明したが、他のオペレータ、例えばハリスオペレータやその他のもの、特徴点を検出できるものならなんでもよい。
【００４２】
撮影位置測定部２３は、特徴点抽出部２１で抽出した特徴点の撮影画像における画面位置から、撮影画像を撮影した撮影位置の二次元座標又は三次元座標を求める。抽出されたターゲットの位置が既知の場合にはＤＬＴ法を使用して測定対象物８の特徴点及び撮影位置の二次元座標又は三次元座標を求めることができる。
［ＤＬＴ法］
ＤＬＴ法は、写真座標と被写体の三次元座標（対象点座標）との関係を三次の射影変換式で近似したものである。
ＤＬＴ法の基本式は（式３−１）となる。
【数１】
（式３−１）に対し、分母を消去すると、次の線形式を導き出せる。
【数２】
更に、（式３−２）を変形すると、以下の式となる。
【数３】
（式３−３）を直接、最小二乗法を用いて解くと、写真座標と対象点座標との関係を決定するＬ１〜Ｌ１１の１１個の未知変量を取得できる。したがって、位置座標が既知の６点について（式３−３）を解くことにより、被写体の写真座標（ｘ，ｙ）と被写体の三次元座標（対象点座標）（Ｘ，Ｙ，Ｚ）との関係が求まり、写真座標（ｘ，ｙ）と対象点座標（Ｘ，Ｙ，Ｚ）を結ぶ直線の収束点にあたる撮影位置の位置座標（０，０，０）を求めることができる。この場合、撮影位置は、対象点座標に対して（−Ｘ，−Ｙ，−Ｚ）の位置になる。
【００４３】
ターゲットの位置が確定していない場合、特徴点の位置座標が不明な場合には、２枚以上の撮影画像における重複部分の特徴点を用いて、相互標定により測定対象物８の特徴点及び撮影位置の二次元座標又は三次元座標を求める。
まず、２枚の撮影画像をステレオ画像（一方を基準画像、他方を探索画像とする）とし、特徴点の対応付け（対応点探索）を行なう。相互相関処理により対応点探索を行なう。
【００４４】
［相互相関処理］
相互相関係数による方法
【数４】
【００４５】
図１１は対応点探索を説明するための図である。図１１に示すようにＮ１×Ｎ１画素のテンプレート画像を、それより大きいＭ１×Ｍ１画素の入力画像内の探索範囲（Ｍ１−Ｎ１＋１）２上で動かし、上式のＣ（ａ，ｂ）が最大になるようなテンプレート画像の左上位置を求めて、テンプレート画像に対し探索されたとみなす。左右画像の場合には、例えば左画像上にＮ１×Ｎ１画素のテンプレート画像を設定し、右画像上にＭ１×Ｍ１画素の探索領域を設定し、この操作を各画像上での位置について行えばよい。
ここでは、対応点探索に関し、正規化相互相関処理について説明したが、他の手法、例えば、残差逐次検定法（ＳＳＤＡ）や、方向符号照合法（ＯＣＭ）などを用いてもよい。
【００４６】
次に、左右画像の対応付けられた点から、撮影部２での撮影位置や、特徴点の三次元座標を求める。まず、相互標定法によってカメラの位置、傾きを求める方法について説明する。
［外部標定要素の算出：相互標定］
モデル画像とは、２枚以上の立体写真が撮影されたときの状態に再現されたとき得られる立体像のことをいう。相対的に相似なモデル画像を形成することを、相互標定という。すなわち、相互標定とは、立体写真の対応する２本の光束が交会するように、左右それぞれの投影中心の位置および傾きを定めるものである。
【００４７】
図１２は相互標定を説明するための図である。次に，各モデル画像の標定計算の詳細について説明する。この計算により、左右それぞれのカメラの位置（三次元座標と三軸の傾き）が求められる。
以下の共面条件式によりそれらのパラメータを求める。
【数５】
【００４８】
モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要ない。
【００４９】
このような条件にすると、（式４）の共面条件式は（式５）のようになり、この式を解けば各パラメータが求まる。
【数６】
【００５０】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（式６）、（式７）が成り立つ。
【数７】
【００５１】
これらの式を用いて、次の手順により、未知パラメータを求める。
（ａ）未知パラメータの初期近似値は通常０とする。
（ｂ）共面条件式（式５）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を（式６）、（式７）により求め、観測方程式をたてる。
（ｃ）最小二乗法をあてはめ、近似値に対する補正量を求める。
（ｄ）近似値を補正する。
（ｅ）補正された近似値を用いて、（ｂ）〜（ｅ）までの操作を収束するまで繰り返す。
未知パラメータ（κ１，φ１，κ２，φ２，ω２）を求めることにより、カメラの位置と傾きが求まる。
【００５２】
次回撮影予定位置選択部２４は、求められた撮影位置の位置座標に基づいて、複数の撮影予定位置の中から次回撮影予定位置を選択する。次回撮影予定位置選択部２４は、予め複数の撮影予定位置の位置座標と、当該撮影予定位置において撮影済か未撮影かを記憶した撮影予定位置表を有し、次回撮影予定位置選択部２４は撮影予定位置表を参照して、例えば、求められた撮影位置と各撮影予定位置との距離（測定対象物が間に入る場合はこれを迂回した距離）を比較し、未撮影の撮影予定位置のうち求められた撮影位置と最短距離にある撮影予定位置を次回撮影予定位置として選択する。例えば図８の撮影位置画像１３において、撮影部２の現在位置が撮影予定位置（○内に６）と撮影予定位置（○内に７）の間に在り、未撮影の撮影予定位置のうち撮影予定位置（○内に６）が位置座標が求められた撮影位置と最短距離にある場合は、見本画像１２に撮影予定位置（○内に６）と略同じ相対的位置関係で撮影された画像が次回撮影予定位置の見本画像として表示される。もし、最短距離の撮影予定位置が２つある場合には、右回りか左回りのいずれかを優先させて選択させる。
【００５３】
図１３に画像撮影の処理フロー例を示す。
まず、測定対象物を選択し（Ｓ１０）、測定対象物又はその周囲に存在する物にカラーコードターゲットを貼り付ける（Ｓ２０）。撮影予定位置を予め定めておき、撮影を開始する（Ｓ３０）。すなわち、表示部３にライブ画像１１を表示し、撮影者は移動中の適当な位置で、例えばシャッターを操作し、入力キーから２を入力することにより、ライブ画像を取得する。次に、取得したライブ画像について特徴点抽出部２１でカラーコードターゲットを検出し（Ｓ３５）、コード識別部２２でカラーコードターゲットの識別コードを識別する（Ｓ４０）。撮影位置測定部２３は、取得したライブ画像におけるカラーコードターゲットの位置とカラーコードターゲットが貼り付けられた位置座標から、撮影部２の現在位置の二次元座標又は三次元座標を計算して求める（Ｓ５０）。次回撮影予定位置選択部２４は、求められた撮影部２の現在位置の位置座標に基づいて次回撮影予定位置を求め（Ｓ５５）、撮影位置判定部４は求められた撮影部２の現在位置の位置座標に基づいて次回撮影予定位置に対する撮影部２の相対的位置を判定する。移動情報報知部５は撮影位置判定部４の判定に添ってガイド情報を作成する。表示部３は、次回撮影予定位置と略同じ相対的位置関係で撮影された見本画像１２を表示する（Ｓ６０）。この際、表示部３の撮影位置画像１３に現在位置を表示し、移動情報報知部５が作成したガイド情報を表示する。撮影者はガイド情報に従い、また、ライブ画像１１と見本画像１２を比較しながら次回撮影予定位置に到達し、例えばシャッターを操作し、入力キーから１を入力することにより、撮影画像を取得する（Ｓ７０）。次に、取得された撮影画像について、カラーコードターゲットの検出（Ｓ３５）から撮影画像の取得（Ｓ７０）が順次繰り返される。もし、撮影画像の取得（Ｓ７０）後に、撮影者が現在位置を知りたい時、ガイド情報を得たい時にはその位置でシャッターを操作し、入力キーから２を入力することにより、ライブ画像を取得する。この場合には、撮影画像取得の場合と次回撮影予定位置に対する撮影部２の相対的位置が異なるが、カラーコードターゲットの検出（Ｓ３５）から撮影画像の取得（Ｓ７０）が行なわれる。全ての撮影予定位置での撮影が行なわれたら（Ｓ８０でＹＥＳ）、撮影を終了する。
【００５４】
以上説明したように、本実施例によれば、撮影者を現在位置から次回撮影予定位置へ的確にガイドする三次元計測用画像撮影装置を提供できる。
【００５５】
また、本発明は、以上の実施の形態のフローチャート等に記載の三次元計測用画像撮影方法の発明、当該方法の発明を三次元計測用画像撮影装置に実行させるためのプログラムとしても実現可能である。プログラムは三次元計測用画像撮影装置の内蔵記憶部に蓄積して使用してもよく、外付けの記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。
【００５６】
以上、本発明の実施の形態について説明したが、本発明は上記の実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で実施例に種々変更を加えられることは明白である。
【００５７】
例えば、以上の実施例では、ライブ画像と静止画像を同一のビデオカメラやデジタルカメラで取得する例を説明したが、例えば、各撮影予定位置において左右に少しずれた位置（例えば一歩動いた位置）から１回ずつ合計２回撮影し、一組のステレオ画像としても良い。このようにするとステレオカメラでの撮影に近くなり、カメラの標定や撮影位置の計測が容易になる。また、実施例２では、ライブ画像と撮影画像の撮影と撮影者のキー入力により、撮影位置測定部が撮影位置を求め、見本画像の次回撮影予定位置が変化する例を説明したが、次回撮影位置選択部２４が次回撮影予定位置を選択した時に、自動的に見本画像の次回撮影予定位置が変化するようにしても良い。また、撮影予定位置数、ターゲットの配置、ガイド情報の文章等は適宜変更可能である。
【産業上の利用可能性】
【００５８】
本発明は、三次元計測や三次元モデル画像作成のための撮影に利用できる。特に、未経験者や不慣れな者が撮影する場合に、また、慣れた人でも、測定対象物が大きい場合、表面形状が複雑な場合、同様な繰り返し模様が現れる場合等に、本発明を利用すると、隣り合う画像での撮影を適切な重複範囲で撮影することができる。
【符号の説明】
【００５９】
１，１Ａ 三次元計測用画像撮影装置
２ 撮影部
３ 表示部
４ 撮影位置判定部
５ 移動情報報知部
６ 画像記憶部
７ 制御部
８ 測定対象物
９ パーソナルコンピュータ（ＰＣ）
１１ ライブ画像
１２ 見本画像
１３ 撮影位置画像
１４ 撮影対象物の設置領域
２１ 特徴点抽出部
２２ コード識別部
２３ 撮影位置測定部
２４ 次回撮影位置選択部
２００ レトロターゲット
２０４ 内円部
２０６ 外円部
ＣＴ カラーコードターゲットＣＴ
Ｐ１ レトロターゲット部
Ｐ２ 基準色部
Ｐ３ カラーコード部
Ｐ４ 白色部
Ｔｏ 閾値
【特許請求の範囲】
【請求項１】
測定対象物を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置において；
撮影者が移動しながら測定対象物を撮影することによりライブ画像を取得し、適時に静止画像である撮影画像を取得する撮影部と；
前記撮影部の現在位置でのライブ画像と次回撮影予定位置と略同じ相対的位置関係で撮影された静止画像である模擬対象物の見本画像とを同一画面内に表示する表示部と；
前記撮影部の現在位置でのライブ画像と前記見本画像とを比較して、前記次回撮影予定位置に対する撮影部の相対的位置を判定する撮影位置判定部と；
前記現在位置から前記次回撮影予定位置へ撮影者が移動するようにガイド情報を作成し、前記表示部に報知させる移動情報報知部とを備える；
三次元計測用画像撮影装置。
【請求項２】
前記撮影部で取得された複数の撮影画像における特徴点を抽出する特徴点抽出部と；
前記特徴点抽出部で抽出した特徴点の前記撮影画像における画面位置から、前記撮影画像を撮影した撮影位置の二次元座標又は三次元座標を求める撮影位置測定部と；
求められた前記撮影位置の位置座標に基づいて、複数の撮影予定位置の中から次回撮影予定位置を選択する次回撮影予定位置選択部とを備え；
前記表示部は、前記見本画像として前記選択された次回撮影予定位置と略同じ相対的位置関係で撮影された模擬対象物の画像を表示する；
請求項１に記載の三次元計測用画像撮影装置。
【請求項３】
前記ガイド情報は、前記撮影部の前記測定対象物に対する相対的移動方向又は前記次回撮影予定位置を示す表示である；
請求項１又は請求項２に記載の三次元計測用画像撮影装置。
【請求項４】
自他識別可能な識別コードを有するマークの前記識別コードを識別するコード識別部を備え；
前記撮影部は、前記撮影画像を前記測定対象物と共に前記測定対象物又はその周囲に存在する物に貼付された複数の前記マークを含むように撮影して取得し；
前記特徴点抽出部は、前記撮影画像から前記マークを特徴点として抽出し；
前記コード識別部は前記特徴点抽出部で抽出されたマークの前記識別コードを識別する；
請求項１ないし請求項３のいずれか１項に記載の三次元計測用画像撮影装置。
【請求項１】
測定対象物を単カメラにより重複させながら順次撮影する三次元計測用画像撮影装置において；
撮影者が移動しながら測定対象物を撮影することによりライブ画像を取得し、適時に静止画像である撮影画像を取得する撮影部と；
前記撮影部の現在位置でのライブ画像と次回撮影予定位置と略同じ相対的位置関係で撮影された静止画像である模擬対象物の見本画像とを同一画面内に表示する表示部と；
前記撮影部の現在位置でのライブ画像と前記見本画像とを比較して、前記次回撮影予定位置に対する撮影部の相対的位置を判定する撮影位置判定部と；
前記現在位置から前記次回撮影予定位置へ撮影者が移動するようにガイド情報を作成し、前記表示部に報知させる移動情報報知部とを備える；
三次元計測用画像撮影装置。
【請求項２】
前記撮影部で取得された複数の撮影画像における特徴点を抽出する特徴点抽出部と；
前記特徴点抽出部で抽出した特徴点の前記撮影画像における画面位置から、前記撮影画像を撮影した撮影位置の二次元座標又は三次元座標を求める撮影位置測定部と；
求められた前記撮影位置の位置座標に基づいて、複数の撮影予定位置の中から次回撮影予定位置を選択する次回撮影予定位置選択部とを備え；
前記表示部は、前記見本画像として前記選択された次回撮影予定位置と略同じ相対的位置関係で撮影された模擬対象物の画像を表示する；
請求項１に記載の三次元計測用画像撮影装置。
【請求項３】
前記ガイド情報は、前記撮影部の前記測定対象物に対する相対的移動方向又は前記次回撮影予定位置を示す表示である；
請求項１又は請求項２に記載の三次元計測用画像撮影装置。
【請求項４】
自他識別可能な識別コードを有するマークの前記識別コードを識別するコード識別部を備え；
前記撮影部は、前記撮影画像を前記測定対象物と共に前記測定対象物又はその周囲に存在する物に貼付された複数の前記マークを含むように撮影して取得し；
前記特徴点抽出部は、前記撮影画像から前記マークを特徴点として抽出し；
前記コード識別部は前記特徴点抽出部で抽出されたマークの前記識別コードを識別する；
請求項１ないし請求項３のいずれか１項に記載の三次元計測用画像撮影装置。
【図１】
【図５】
【図６】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図５】
【図６】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２１９８２５（Ｐ２０１０−２１９８２５Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６３６５８（Ｐ２００９−６３６５８）
【出願日】平成２１年３月１６日（２００９．３．１６）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１６日（２００９．３．１６）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
[ Back to top ]