距離計測装置、合成画像生成装置及び距離計測プログラム
【課題】移動する複数の被写体間の実空間上の距離情報を、簡素な構成で迅速に取得可能な距離計測装置、距離計測プログラムを提供することを目的とする。また、複数の被写体間の実空間上の距離情報を画像に合成表示することが可能な合成画像生成装置を提供することを目的とする。
【解決手段】本発明の実施形態に係る距離計測装置１は、複数の被写体を撮影する撮影手段１０と、距離計測装置１からの実空間上の距離を、画像の水平座標に対応付けて計測する測距手段２０と、画像を表示する表示手段３０と、外部から、表示手段３０に表示された画像上の被写体を指定する操作信号の入力を複数受け付け、この操作信号により指定された各指定位置の画像座標を順次取得する測距対象指定手段４０と、この各指定位置の水平座標に対応付けられた各実空間上の距離に基づいて、指定された被写体間の被写体間距離を演算する距離演算手段５０とを主に備える構成とした。
【解決手段】本発明の実施形態に係る距離計測装置１は、複数の被写体を撮影する撮影手段１０と、距離計測装置１からの実空間上の距離を、画像の水平座標に対応付けて計測する測距手段２０と、画像を表示する表示手段３０と、外部から、表示手段３０に表示された画像上の被写体を指定する操作信号の入力を複数受け付け、この操作信号により指定された各指定位置の画像座標を順次取得する測距対象指定手段４０と、この各指定位置の水平座標に対応付けられた各実空間上の距離に基づいて、指定された被写体間の被写体間距離を演算する距離演算手段５０とを主に備える構成とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像上で指定した複数の被写体間の実空間上の距離である被写体間距離を計測し、また、この計測結果を画像上に可視化する技術に関する。
【背景技術】
【０００２】
従来、実空間上の距離の計測を行う距離計測の手法としては、以下に示す技術が知られている。
例えば、三角測量法やトラバース測量法は、１以上の基準点と、この基準点間を結ぶ直線に対する測点の方位や距離を計算することで、基準点から測点までの距離や測点の座標を求める手法である。
また、ステレオ法は、カメラ間の距離が既知の複数台のカメラで撮影された画像間で、被写体上の特徴点の対応付けを行い、三角測量法の原理に基づいて、対象物までの距離を計測する手法である。
【０００３】
さらに、レーザーレンジファインダ（レーザー距離計）やレーダーやＬｉＤＡＲ（Light Detection And Ranging）は、電波やレーザー光を対象物へ照射し、その反射光が戻るまでの遅延時間を測定することにより、対象物までの距離を求めるものである。レーザーレンジファインダとしては、比較的遠距離にある測距対象を正確に狙うための望遠鏡を備えたものも知られている。
またさらに、レーザーレンジファインダ等を機械的に走査することにより、線的または面的な距離情報を得る手法がある。
【０００４】
さらには、高速に強度変調された赤外光と高速シャッターを用いて通常の画像（輝度やカラーの画像）と距離画像とを同時に取得可能なＡｘｉ−Ｖｉｓｉｏｎカメラが実用化されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４０３１３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、近年、例えばマラソン競技などのスポーツをテレビ中継する際に、移動する複数の被写体を撮影しながら、この複数の被写体間の実空間上の距離を計測し、この計測結果を、例えば、複数の被写体を撮影した画像上に可視化するなどしてリアルタイムで利用したいという要望がある。しかしながら、前記した従来の距離計測の手法は、以下の理由により、このような場面への適用が困難であった。
つまり、三角測量法やトラバース測量法では、目視と手作業により測量を行うため、測定対象が移動する場合には、測量が困難であった。
また、ステレオ法では、複数のカメラの画像間での対応付けが困難であり、この対応付けを誤った場合には、正確な距離情報が得られなかった。
さらに、レーザーレンジファインダやレーダーでは、能動的に強力な電磁波を照射することで比較的遠距離にある被写体までの距離を計測できるものの、被写体上の一点への距離を求める手法であるため、走査機構を用いなければ、線的ないし面的な被写体の距離情報を得ることができない。また、走査機構を有するレーザーレンジファインダやレーザーによって線的ないし面的な複数の被写体間の距離を求めようとすると、時系列的に出力される測距データから各被写体に対応する距離値を取り出し、取り出した複数の距離値の間で演算を行う必要があるため、処理に時間を要していた。
そして、Ａｘｉ−Ｖｉｓｉｏｎカメラによれば、通常の画像を確認しつつ複数の被写体までの距離を測定することが可能となるが、変調された赤外光の瞬時の微弱な反射強度を測定することによって距離を測定する手法であるため、対象物が遠距離にある場合や、強い環境光にさらされている場合には、正確な測距を行えないおそれがある。
【０００７】
本発明は、以上のような問題点に鑑みてなされたものであり、移動する複数の被写体間の実空間上の距離情報を、簡素な構成で迅速に取得可能な距離計測装置、距離計測プログラムを提供することを目的とする。また、距離計測装置または距離計測プログラムによって得られた計測結果を画像に合成表示することが可能な合成画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決した請求項１に係る発明は、撮影された複数の被写体間の実空間上の距離である被写体間距離を計測する距離計測装置であって、撮影手段と、測距手段と、表示手段と、測距対象指定手段と、距離演算手段とを備えることを特徴とする。
【０００９】
かかる構成によれば、距離計測装置は、撮影手段によって、前記複数の被写体を撮影する。これにより、測距対象である被写体が複数撮影された画像を取得することができる。
また、距離計測装置は、測距手段によって、前記距離計測装置からの前記実空間上の距離を、前記撮影手段で撮影された画像の水平座標に対応付けて計測する。
ここで、測距手段は、走査線方向に実空間上の距離を測定するものであって、各距離は、画像の水平座標に対応付けられるものである。
また、距離計測装置は、表示手段によって、前記画像を表示する。これにより、撮影画像を可視化することができる。
またさらに、距離計測装置は、測距対象指定手段によって、外部から、前記表示手段に表示された前記画像上の前記被写体を指定する操作信号の入力を複数受け付け、前記操作信号により指定された各指定位置の画像座標を順次取得する。測距対象の指定は、例えば、オペレータが表示画面に表示された画像を確認しながら、この画像に含まれる複数の被写体のうち、測距対象として選択しようとする被写体の上でマウスやポインタをクリックすることによって、この被写体を測距対象として選択することができる。なお、この動作を繰り返すことにより、画像上の複数の被写体を測距対象として順次指定することができる。
そして、距離計測装置は、距離演算手段によって、前記各指定位置の水平座標に対応付けられた各前記実空間上の距離に基づいて、指定された前記被写体間の前記被写体間距離を演算する。これにより、オペレータが画像上で指定した複数の被写体間の実空間上の距離である被写体間距離を得ることができる。
【００１０】
請求項２に係る発明は、請求項１に係る距離計測装置において、前記撮影手段は、焦点距離が可変なレンズと、当該レンズと接続され、前記レンズの前記焦点距離を計測し、この焦点距離を画角情報に変換するズーム計測手段とをさらに備える構成とした。
これによれば、レンズの焦点距離を調整することが可能となるため、測距対象が移動し、撮影手段からの距離が変化する場合にも、測距対象が適切な大きさで撮影されるように画角を調整することができる。このため、オペレータが画像上で測距対象を指定しやすくなる。また、レンズの焦点距離を計測し、この焦点距離を画角情報に変換して距離演算手段に出力するズーム計測手段を備えるため、レンズの焦点距離を変化させた場合にも、距離演算手段によって、画角情報の範囲内で被写体間距離を演算することができるので、より広い距離範囲で被写体間距離を演算することができる。さらに、レンズの焦点距離が調整可能であるため、撮影手段により撮影された画像は、被写体の大きさや配置が演出上大きな重要性を有する用途にも利用可能となる。すなわち、演出上の意図を損なうことなく測距を行うことができる。
【００１１】
請求項３に係る発明は、請求項１または請求項２に係る距離計測装置において、前記測距対象指定手段は、外部からのタッチ操作による前記画像上の前記被写体を指定する前記操作信号の入力を受け付け、前記操作信号により指定された前記指定位置の画像座標を取得するタッチパネルであることとした。
これによれば、オペレータが、表示手段に表示された画像上の被写体に触れることにより、当該被写体を指定することができるので操作性を向上させることができる。
【００１２】
請求項４に係る発明は、請求項３に記載の距離計測装置において、前記タッチパネルは、前記操作信号の入力を複数受け付け、複数の前記操作信号により指定された複数の前記指定位置の画像座標をそれぞれ取得する構成とした。
これによれば、画像上の被写体を測距対象として複数指定することができるので、測距対象の指定を迅速に行うことができる。
【００１３】
請求項５に係る発明は、請求項１から請求項４のいずれか一項に記載の距離計測装置において、前記測距手段で取得された前記実空間上の距離の入力を受け付け、この前記実空間上の距離から、前記測距対象指定手段で取得された前記指定位置の水平座標に対応付けられた実空間上の距離を探索し、当該指定位置の水平座標に対応付けられた実空間上の距離が、所定の数値の範囲外にある場合に、この指定位置の水平座標の周囲で、実空間上の距離が前記所定の数値の範囲内にある水平座標を探索し、実空間上の距離が前記所定の数値の範囲内にある水平座標のうち、前記指定位置の水平座標に最も近い水平座標を選択し、この水平座標に対応付けられた実空間上の距離を、前記指定位置の水平座標に対応付けられた前記実空間上の距離とする距離探索手段をさらに備える構成とした。
これによれば、オペレータによる被写体の指定の入力時に、手のブレなどによって、指定位置が被写体の位置からずれてしまった場合に、指定位置に最も近い被写体を探索してこれを指定したものとみなすことができるため、操作性を向上させることができる。
【００１４】
請求項６に係る発明は、請求項１から請求項４のいずれか一項に記載の距離計測装置において、前記距離演算手段は、前記測距手段で計測された前記実空間上の各距離を空間的にクラスタリングし、各前記方位角にそれぞれ対応するクラスタを生成するクラスタリング手段と、前記クラスタリング手段で生成された各前記クラスタの代表値をそれぞれ演算する代表値演算手段と、前記代表値演算手段によって演算された前記各クラスタの代表値の中から、前記指定位置の水平座標に最も近い前記クラスタの代表値を、前記指定位置の水平座標に対応付けられた前記実空間上の距離として選択する代表値選択手段とをさらに備える構成とした。
これによれば、クラスタの各代表値を、複数の被写体の実空間上の各距離として被写体間距離を演算することができるので、測距手段によって得られる被写体の実空間上の距離に、ノイズや誤りが含まれている場合にも、このノイズや誤りの影響を低減し、より正確な被写体間距離を演算することができる。
また、クラスタの代表値の中から、指定位置の水平座標に最も近いクラスタの代表値を、指定位置の水平座標に対応付けられた実空間上の距離として選択することにより、オペレータによる被写体の指定の入力時に、手のブレなどによって、指定位置が被写体の位置からずれてしまった場合に、指定位置に最も近い被写体を探索してこれを指定したものとみなすことができるため、操作性を向上させることができる。
【００１５】
請求項７に係る発明は、請求項１から請求項６のいずれか一項の距離計測装置により得られた複数の被写体間の距離値に基づき、撮影手段により得られた画像上に、距離値を表す文字または前記被写体間の位置関係を表す図形を合成する画像合成手段を備える合成画像生成装置として構成した。
これによれば、画像上において、被写体間の距離や位置関係を文字や図形で表すことが可能となるため、視覚的にわかりやすい情報提示が可能となる。例えば、被写体間の距離を数字で表示し、被写体間の位置関係、例えば、前後の位置関係を矢印の向きで表示することによって、被写体間の距離や被写体間の位置関係をわかりやすく表示することができる。
【００１６】
請求項８に係る発明は、請求項７に記載の合成画像生成装置において、前記画像合成手段は、請求項１から請求項６のいずれか一項に記載の距離計測装置の前記距離演算手段により得られた前記被写体間距離と、請求項１から請求項６のいずれか一項に記載の距離計測装置の前記測距対象指定手段により得られた前記指定位置の画像座標とに基づき、前記被写体の実空間上における三次元位置を算出し、当該三次元位置に応じて、前記画像上に前記文字または前記図形を拡大、縮小又は変形して合成する構成とした。
これによれば、被写体間の距離や被写体間の位置関係を、実際の三次元的配置を考慮した自然な遠近感で実現することができるため、視覚的に違和感の少ない情報提示が可能となる。
【００１７】
請求項９に係る発明は、撮影手段によって撮影された複数の被写体間の実空間上の距離である被写体間距離を、距離計測装置からの実空間上の距離を、撮影手段で撮影された画像の水平座標に対応付けて計測する測距手段によって計測された前記実空間上の距離に基づいて演算するために、コンピュータを、距離演算手段として機能させることを特徴とする距離計測プログラムとして構成した。
これによれば、距離計測プログラムは、距離演算手段によって、外部から、前記撮影手段で撮影された画像を表示する表示手段に表示された前記画像上の前記被写体を指定する操作信号の入力を複数受け付け、前記操作信号により指定された指定位置を順次取得する測距対象指定手段により取得された各前記指定位置の水平座標に対応付けられた前記実空間上の距離に基づいて、指定された前記被写体間の前記被写体間距離を演算する。
【発明の効果】
【００１８】
本発明に係る距離計測装置、距離計測プログラム及び合成画像生成装置によれば、以下のような優れた効果を奏する。
請求項１及び請求項９に記載の発明によれば、オペレータが、画像上で測距対象を複数指定するだけで、測距対象間の実空間上の距離値を取得することができる。このため、スポーツ中継などにおいて、リアルタイムで画像上の測距対象間の実空間上の距離値を取得し、これを利用することができる。
また、請求項２に記載の発明によれば、測距対象が捉えやすくなるので、オペレータによる測距対象の指定を行いやすくすることができる。
さらに、請求項３に記載の発明によれば、測距対象を画像上の被写体に触れることで指定することができるため、オペレータによる測距対象の指定の作業効率を向上させることができる。
またさらに、請求項４に記載の発明によれば、複数の測距対象の実空間上の距離値を取得することができるので、オペレータによる測距対象の指定の作業効率をさらに向上させることができる。
さらに加えて、請求項５に記載の発明によれば、オペレータの手のブレなどによる測距対象の指定ミスを補正することができるため、操作性を向上させることができる。
加えて、請求項６に記載の発明によれば、ノイズや誤りの影響を低減した正確な被写体間距離を演算することができる。また、オペレータの手のブレなどによる測距対象の指定ミスを補正することができるため、操作性を向上させることができる。
そして、請求項７に記載の発明によれば、画像上に測距対象間の距離や位置関係を表示することができるため、視覚的にわかりやすい情報提示が可能となる。
また、請求項８に記載の発明によれば、測距対象間の距離や位置関係を、実際の三次元的配置を考慮した自然な遠近感で実現することができるため、視覚的に違和感の少ない情報提示が可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る距離計測装置の構成を示すブロック構成図である。
【図２】本発明の実施形態に係る距離計測装置において、測距手段によって複数の被写体の実空間上の距離を取得する様子を示す概念図である。
【図３】本発明の実施形態に係る距離計測装置において、測距対象指定手段によって、複数の被写体を測距対象として指定する様子を示す概念図である。
【図４】は、本発明の実施形態に係る距離計測装置において、測距対象指定手段によって指定された各指定位置にそれぞれ対応する位置間の実空間上の距離を演算する手法を説明するための概念図である。
【図５】本発明の実施形態に係る距離計測装置において、被写体間距離を演算する手法を説明するための概念図である。
【図６】本発明の実施形態に係る距離計測装置の動作を示すフローチャートである。
【図７】本発明の実施形態に係る距離計測装置における距離演算手段の動作を示すフローチャートである。
【図８】本発明の変形例に係る距離計測装置の構成を示すブロック構成図である。
【図９】本発明の変形例に係る距離計測装置において、距離演算手段によって、測距手段により計測された距離がクラスタリングされた様子を示す概念図である。
【図１０】本発明の変形例に係る距離計測装置の動作を示すフローチャートである。
【図１１】本発明の変形例に係る距離計測装置の距離演算手段の構成を示すブロック構成図である。
【図１２】本発明の変形例に係る距離計測装置における距離演算手段の動作を示すフローチャートである。
【図１３】本発明の実施形態に係る合成画像生成装置の構成を示すブロック構成図である。
【図１４】本発明の実施形態に係る合成画像生成装置の動作を示すフローチャートである。
【図１５】本発明の実施形態に係る合成画像生成装置によって、画像上に被写体間の距離を示す文字と位置関係を示す図形が合成された様子を示す概念図である。
【図１６】本発明の実施形態に係る合成画像生成装置によって、被写体間の位置関係を示す矢印型の図形を生成する様子を説明するための概念図である。
【発明を実施するための形態】
【００２０】
［第１実施形態に係る距離計測装置の説明]
次に、本発明の距離計測装置について図面を参照しながら説明する。
図１に示すように、本発明の実施形態に係る距離計測装置１は、撮影された複数の被写体間の実空間上の距離である被写体間距離を計測する装置であって、撮影手段１０と、測距手段２０と、表示手段３０と、測距対象指定手段４０と、距離演算手段５０とを主に備える構成とした。
【００２１】
撮影手段１０は、複数の被写体を撮影して動画像を取得するものであり、レンズ１１と、カメラ本体１２とを主に有して構成される。
レンズ１１は、被写体を結像させてカメラ本体１２に出力するものである。レンズ１１は、焦点距離が固定のものを用いても良いが、焦点距離が可変なレンズを用いると、被写体が移動する場合にも捉えやすくなるためより好ましい。本実施形態では、レンズ１１として、焦点距離が可変なズームレンズを用いている。
レンズ１１には、例えばズームリング等の図示しない環状の操作手段が装着され、オペレータが、この図示しない操作手段を回転させることにより、焦点距離が変化するようになっている。
【００２２】
カメラ本体１２は、レンズ１１から順次入力される被写体の結像を、電気信号に変換するものである。カメラ本体１２は、レンズ１１から被写体の結像が入力されると、この結像を電気信号に変換し、この電気信号を画像情報として表示手段３０に出力する。
【００２３】
ここで本実施形態では、レンズ１１をズームレンズとしているため、撮影手段１０は、ズーム計測手段１３をさらに備える。
ズーム計測手段１３は、レンズ１１の焦点距離を計測するものである。ズーム計測手段１３は、レンズ１１に装着された図示しないズームリング等の環状の操作手段に、例えば歯車などの運動伝達手段を介して結合されたロータリエンコーダやポテンショメータを（いずれも図示せず）を用いて環状の操作手段（いずれも図示せず）の回転角などを電気的に計測することによって、レンズ１１の焦点距離を計測するものである。
ズーム計測手段１３は、ロータリエンコーダ（図示せず）のカウント数やポテンショメータ（図示せず）の抵抗値を計数もしくは測定し、例えばルックアップテーブルを参照することで、計数値もしくは抵抗値を、画角あるいは焦点距離などの画角と１対１で対応する数値に変換して画角情報Θとする。ズーム計測手段１３は、このようにして計測したレンズ１１の画角情報Θを、距離演算手段５０に順次出力する。
このような撮影手段１０としては、テレビ映像の撮影等に用いられる一般的なカメラを用いることができる。
【００２４】
測距手段２０は、撮影手段１０の撮影する実空間上に存在する被写体までの距離を計測するものである。測距手段２０は、複数箇所の測距が可能であり、撮影手段１０の光軸近傍（例えば、２０ｃｍ以内）に配置される。
なお、撮影手段１０の光軸と測距手段２０の測定領域の距離を短縮するため、ハーフミラー等の光学系を利用して、撮影手段１０と測距手段２０とで光軸を共有する構成としても良い。
【００２５】
測距手段２０として、例えば、一般的な一次元走査型のレーザーレンジファインダを用いることができる。ここで、一次元走査型のレーザーレンジファインダは、ミラーと、レーザー発振手段と、センサ（いずれも図示せず）とを備えて構成され、回転するミラーに計測用のレーザーを発振して被写体に照射し、その反射光の往復遅延時間により、平面内もしくは円錐面内の被写体の距離を計測するようになっている。測距手段２０は、撮影手段１０のレンズ１１の画角情報Θに合わせた画角で走査線方向に走査するようになっているため、測定された各距離は、画像の水平座標にそれぞれ対応付けられるものである。
【００２６】
また、測距手段２０は、本実施形態では、図２上図に示すように、撮影手段１０の撮影ラインと平行なライン（破線で示すライン）上で走査を行うものである。ここで、図２下図に示すのは、図２上図の破線上の各点までの距離を測定した結果をグラフ化したものであり、下方の３つの曲線は、向かって左側から、測距手段２０からの被写体Ａの右腕、胴体、左腕までの距離を示しており、上方の１つの曲線は、測距手段２０からの被写体Ｂの胴体までの距離を示している。なお、図２下図に示すように、測距手段２０での測定結果は、方位角θに対する距離ｄ（θ）として得られる。なお、以下の説明では、方位角θは、光軸方向を０度とし、時計回りを正の向きとするものとする。
測距手段２０は、このようにして取得した測定結果を、距離演算手段５０に出力する。
【００２７】
表示手段３０は、撮影手段１０で撮影された画像を可視化するものである。表示手段３０は、撮影手段１０のカメラ本体１２から画像情報（電気信号）の入力を受け付け、この画像情報（電気信号）に基づいて、撮影手段１０で撮影された画像を明暗や反射率等の空間的パターンとして提示するものである。表示手段３０としては、例えば、一般的なＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）やＰＤＰ（Plasma Display Panel）などを用いることができる。
【００２８】
測距対象指定手段４０は、表示手段３０に表示された画像上で測距対象を指定するものである。本実施形態では、測距対象指定手段４０として一般的なタッチパネルを用いている。ここで、タッチパネルは、透明又は半透明の板状のセンサを表示手段の上に乗せて使用するデバイスであり、オペレータによる指やスタイラスペンなどでのパネル領域へのタッチ操作の入力を認識し、入力があった箇所の画像座標を取得するものである。これにより、表示手段３０上に表示された対象物の指定が可能となる。
なお、本実施形態では、多点認識機能を有するタッチパネルを用いている。測距対象指定手段４０は、図３に示すように、オペレータによって、測距対象指定手段４０上で複数の場所が同時に触れられたときに、この複数の指定位置の画像座標を取得し、距離演算手段５０に出力する。
なお、測距対象指定手段４０として、多点認識機能を有しないタッチパネルを用いても良いことはもちろんである。この場合、測距対象指定手段４０は、オペレータによって測距対象指定手段４０上で指定された指定位置の画像座標を順次取得し、距離演算手段５０に順次出力する。
【００２９】
また、測距対象指定手段４０を、例えばマウスやポインタとして、表示手段３０に表示された画像上の被写体をクリックすることで、この被写体を測距対象として指定するように構成しても良い。この場合、マウスやポインタで指定された指定位置の情報が図示しない制御手段に出力され、この制御手段によって、指定位置の画像座標を距離演算手段５０に出力する。
【００３０】
なお、オペレータが、測距対象指定手段４０上で、表示手段３０に表示された被写体Ａ，Ｂに触れ続けると、測距対象指定手段４０によって、指定位置の画像座標を取得し続け、この取得した画像座標を距離演算手段５０に順次出力する。一方、オペレータが、測距対象指定手段４０から手を離すと、例えば、指定位置の画像座標が得られなかった旨の信号が距離演算手段５０に出力され、また例えば、何らの信号も距離演算手段５０に出力されないようになっている。
【００３１】
距離演算手段５０は、測距対象指定手段４０によって取得された指定位置の画像座標に対応する実空間上の距離に基づいて、被写体間距離ｂを演算するものである。
距離演算手段５０は、ここでは、方位角変換手段５１と、被写体間距離演算手段５２とを備える構成とした。
【００３２】
方位角変換手段５１は、撮影手段１０のレンズ１１の画角情報Θを用いて、測距対象指定手段４０により指定された複数の指定位置の画像座標を、方位角θにそれぞれ変換するものである。
ここで、画像座標の水平座標をｘ、垂直座標をｙとおいたとき、画像座標の水平座標ｘに対する方位角θの関係を、関数ｆを用いて、例えば数式（１）で表すことができる。
【００３３】
【数１】
画角情報Θは水平画角を、Ｘは画像の水平画素数とし、水平座標ｘは画像中央を０として右方向に画素単位で測ったものとする。
方位角変換手段５１は、ズーム計測手段１３から、レンズ１１の画角情報Θの入力を順次受け付けるとともに、測距対象指定手段４０から画像座標として、例えば被写体Ａの画像座標（ｘ１，ｙ１）と、被写体Ｂの画像座標（ｘ２，ｙ２）（ここで、ｘｎ（ｎ＝１，２，・・・，ｎ）は、水平座標、ｙｎは、垂直座標とする）の入力を受け付けると、数式（１）に基づき、水平座標ｘ１を方位角θ２に、水平座標ｘ２を方位角θ１にそれぞれ変換する。方位角変換手段５１は、この方位角θ１、方位角θ２を被写体間距離演算手段５２に出力する。
【００３４】
被写体間距離演算手段５２は、測距対象指定手段４０によって複数指定された被写体までの実空間上の各距離に基づき、当該複数指定した被写体間の距離である被写体間距離を求めるものである。
ここで、測距手段２０から被写体間距離演算手段５２に入力される実空間上の距離は、方位角θに対応する距離ｄ（θ）（指定位置の水平座標に対応付けられている距離）として得られる。このため、被写体間距離演算手段５２は、測距手段２０から入力された距離ｄ（θ）のうち、方位角変換手段５１から入力を受け付けた方位角θ１と方位角θ２にそれぞれ対応する、距離ｄ（θ１）と距離ｄ（θ２）を用いて、被写体Ａ,Ｂ間の実空間上の距離である被写体間距離ｂを求める。
ここで、図４に示す例では、測距手段２０から被写体Ｂまでの実空間上の距離ｄ（θ１）が２５．３［ｍ］となっており、測距手段２０から被写体Ａまでの実空間上の距離ｄ（θ２）が２０．０［ｍ］となっている。また、方位角θ１が−３［ｄｅｇ］となっており、方位角θ２が−１［ｄｅｇ］となっている。
【００３５】
このとき、図５に示すように、方位角θ１に対応する距離をｄ（θ１）とし、方位角θ２に対応する距離をｄ（θ２）とし、方位角θ１と方位角θ２とでなす角を（θ２−θ１）とすると、被写体間距離ｂは、数式（２）によって求めることができる。
【００３６】
【数２】
【００３７】
なお、距離演算手段５０は、方位角θ１と方位角θ２の差分が小さい、例えば、差分が５度以内である場合には、近似的に、数式（３）を用いて被写体Ａ−Ｂ間の被写体間距離ｂを求めても良い。
【００３８】
【数３】
【００３９】
また、距離演算手段５０は、測距対象指定手段４０により指定された指定位置Ｐ１，Ｐ２の実空間における三次元座標（実座標）を算出し、この２つの指定位置Ｐ１，Ｐ２間のユークリッド距離を求めても良い。
まず、ある指定位置Ｐの画像座標を（ｘ，ｙ）とし、実空間における三次元座標（実座標）を（ξ，η，ζ）とおいたとき、ξ軸とｘ軸、η軸とｙ軸をそれぞれ同方向にとり、ζ軸は、ξ−η−ζ座標系が右手系をなすようにξ軸及びη軸と直交するようにとる。例えば、画像座標のｘ軸及び実座標のξ軸は、画像の中心を０とし、右方向にとる。この場合、画像座標のｙ軸及び実座標のη軸は、画像の中心を０とし、下方向にとる。さらに、この場合、ζ軸は、画像の中心を０とし、光軸上に被写界方向にとる。
次に、指定位置Ｐの画像座標の水平座標ｘに対する方位角θを数式（１）により求める。測距手段２０による測距結果である距離ｄ（θ）より、測距手段２０から指定位置Ｐまでの距離は、ｄ（θ）となる。このとき、指定位置Ｐの実空間座標（ξ，η，ζ）は、数式（４）により求めることができる。
【００４０】
【数４】
【００４１】
数式（４）の演算を、指定位置Ｐ１，Ｐ２についてそれぞれ実行することで、それぞれの三次元座標（実座標）（ξ１，η１，ζ１），（ξ２，η２，ζ２）を求め、これら三次元座標（実座標）間のユークリッド距離を被写体間距離ｂとする。
このようにして、距離演算手段５０は、数式（２）、数式（３）、数式（４）のうちの一つを用いて被写体間距離ｂを求め、適宜出力する。
なお、距離演算手段５０は、測距対象指定手段４０から指定位置の画像座標の入力を受け付けるごとに、被写体間距離ｂを順次演算する。
【００４２】
［距離計測装置の動作］
次に、本発明の実施形態に係る距離計測装置１の動作について以下に説明する。
なお、ここでは、距離計測装置１は、撮影手段１０のズーム計測手段１３によって、レンズの画角情報Θを測定し、測定結果を距離演算手段５０に順次出力しているものとする。
図６に示すように、距離計測装置１は、まず、撮影手段１０によって、複数の被写体を撮影する（ステップＳ１）。距離計測装置１は、撮影手段１０によって、撮影した画像を電気信号に変換して表示手段３０に出力する。
【００４３】
距離計測装置１は、表示手段３０によって、撮影手段１０から電気信号化された画像の入力を受け付け、この画像を明暗や反射率の空間的パターンとして表示する（ステップＳ２）。
さらに、距離計測装置１は、測距手段２０によって、測距手段２０から複数の被写体までの実空間上の距離ｄ（θ）をそれぞれ計測する（ステップＳ３）。距離計測装置１は、測距手段２０によって、計測結果である走査線１ライン上の各点の実空間上の距離ｄ（θ）を、距離演算手段５０に出力する。
【００４４】
次に、距離計測装置１は、測距対象指定手段４０によって、オペレータのタッチ操作により画像上で複数指定された指定位置の画像座標をそれぞれ取得する（ステップＳ４）。距離計測装置１は、測距対象指定手段４０によって、取得した指定位置の画像座標を距離演算手段５０に出力する。ここでは、測距対象指定手段４０により、被写体Ａ，Ｂが測距対象として指定されたものとする。
【００４５】
そして、距離計測装置１は、距離演算手段５０の方位角変換手段５１によって、測距対象指定手段４０から指定位置の画像座標（ｘ１，ｙ１）と画像座標（ｘ２，ｙ２）の入力を受け付ける。
【００４６】
距離計測装置１は、距離演算手段５０によって、測距対象指定手段４０から入力を受け付けた各指定位置の画像座標（ｘ１，ｙ１）と画像座標（ｘ２，ｙ２）の水平座標ｘ１，ｘ２を、方位角θ２，θ１にそれぞれ変換し、測距手段２０から入力を受け付けた測距結果である走査線１ライン上の各点の実空間上の距離ｄ（θ）のうち、方位角θ１に対応する実空間上の距離ｄ（θ１）と方位角θ２に対応する実空間上の距離ｄ（θ２）とを用いて、被写体Ａ−Ｂ間の距離である被写体間距離ｂを演算する（ステップＳ５）。
【００４７】
次に、距離計測装置１の距離演算手段５０の動作（図６のステップＳ５の動作）について、図７を用いて詳細に説明する。
距離計測装置１は、距離演算手段５０の方位角変換手段５１によって、測距対象指定手段４０から、各指定位置の画像座標（ｘ１，ｙ１）と画像座標（ｘ２，ｙ２）の入力を受け付ける（ステップＳ１１）。
また、距離計測装置１は、距離演算手段５０の方位角変換手段５１によって、ズーム計測手段１３からレンズの画角情報Θの入力を受け付ける（ステップＳ１２）。
さらに、距離計測装置１は、距離演算手段５０の被写体間距離演算手段５２によって、測距手段２０から距離ｄ（θ）の入力を受け付ける（ステップＳ１３）。なお、ステップＳ１１からステップＳ１３は、順番が入れ替わっても良く、また、同時に行われても良い。
【００４８】
そして、距離計測装置１は、距離演算手段５０の方位角変換手段５１によって、前記した数式（１）に基づき、画像座標（ｘ１，ｙ１）と画像座標（ｘ２，ｙ２）を、それぞれの方位角θ１と方位角θ２に変換する（ステップＳ１４）。
さらに、距離計測装置１は、距離演算手段５０の方位角変換手段５１によって、方位角θ１と方位角θ２とを、被写体間距離演算手段５２に出力する。
【００４９】
次に、距離計測装置１は、距離演算手段５０の被写体間距離演算手段５２によって、測距手段２０から入力された距離ｄ（θ）のうち、方位角変換手段５１から入力を受け付けた方位角θ１と方位角θ２にそれぞれ対応する、実空間上の距離ｄ（θ１）と実空間上の距離ｄ（θ２）を用いて、数式（２）から数式（４）のいずれか一つを用いて、被写体Ａと被写体Ｂとの間の実空間上の距離である被写体間距離ｂを求める（ステップＳ１５）。
距離計測装置１は、このようにして、複数の被写体間の実空間上の距離である被写体間距離ｂを求めることができる。
【００５０】
本実施形態に係る距離計測装置１によれば、オペレータが、画像上で測距対象を複数指定するだけで、測距対象間の実空間上の距離値を取得することができる。このため、スポーツ中継などにおいて、リアルタイムで画像上の測距対象間の実空間上の距離値を取得し、これを利用することができる。また、本実施形態に係る距離計測装置１によれば、レンズ１１を、焦点距離が可変なズームレンズとしたことにより、測距対象が捉えやすくなるので、オペレータによる測距対象の指定を行いやすくすることができる。
さらに、本実施形態に係る距離計測装置１によれば、測距対象指定手段４０を多点認証機能を有するタッチパネルとしたため、測距対象を画像上の被写体に触れることで指定することができるとともに、複数の測距対象の実空間上の距離値を取得することができるので、オペレータによる測距対象の指定の作業効率を向上させることができる。
【００５１】
以上、本発明の実施形態に係る距離計測装置１について説明したが、本発明は前記した実施形態に限定されるものではない。
ここで、図８を参照して、変形例に係る距離計測装置１Ｂについて説明する。変形例に係る距離計測装置１Ｂは、本発明の実施形態に係る距離計測装置１（図１参照）の距離演算手段５０（図１参照）の構成を変更したものであるため、その他の共通する構成については同一の符号を付し、重複する説明を省略する。
変形例に係る距離計測装置１Ｂは、撮影手段１０と、測距手段２０と、表示手段３０と、測距対象指定手段４０と、距離演算手段５０Ｂとを主に備える構成とした。
【００５２】
距離演算手段５０Ｂは、図８に示すように、方位角変換手段５１と、被写体間距離演算手段５２と、クラスタリング手段５３と、代表値演算手段５４と、代表値選択手段５５とを備えて構成される。
クラスタリング手段５３は、測距手段２０によって計測した各被写体の各距離のそれぞれ空間的に近傍に存在する距離のサンプル点群をグループ化したクラスタを生成するものである。
クラスタリング手段５３は、例えば、ｋ平均アルゴリズムにより、距離−方位平面上（又は、これを実座標に変換した空間内）において、距離のサンプル点群をグループ化してクラスタを生成する。ここで、図９上図に示すように、撮影手段１０によって、被写体Ａ，Ｂを含む画像が撮影され、表示手段３０に表示されている場合を例にとって説明する。この場合、クラスタリング手段５３は、測距手段２０から、距離ｄ（θ）の入力を受け付け、この距離ｄ（θ）をクラスタリングすることにより、図９下図に示すように、被写体Ａに対応する距離のサンプル点群として、破線の楕円で示すクラスタＣ２を、被写体Ｂに対応する距離のサンプル点群として、破線の楕円で示すクラスタＣ１を生成する。
【００５３】
クラスタ数ｋは、予め設定しておいても良いし、Ｄｉｒｉｃｈｌｅｔ過程で推定しても良い。Ｄｉｒｉｃｈｌｅｔ過程で推定することにより、クラスタ数ｋが未知の場合にも対応させることができる。
一方、クラスタ数ｋを予め設定する場合、被写体の数に対して不足することがないよう、撮影手段１０で撮影されると推定される被写体の数に対し、十分多めとなるように予め設定しておくと好ましい。例えば、クラスタ数ｋを５と予め設定しておいた場合に、図９上図に示すように被写体が２つ（被写体Ａ，Ｂ）の場合、クラスタリング手段５３は、この被写体Ａ，Ｂに５つのクラスタを自動的に割り当てるようになっている。クラスタリング手段５３は、例えば、被写体Ａにクラスタを２つ割り当て、被写体Ｂにクラスタを３つ割り当てる等して、それぞれについて距離のサンプル点群をグループ化する。
クラスタリング手段５３は、このようにして生成したクラスタを、代表値演算手段５４に出力する。
【００５４】
代表値演算手段５４は、クラスタリング手段５３から入力を受け付けたクラスタの代表値を演算する手段である。
代表値演算手段５４は、クラスタリング手段５３から、クラスタＣ１，Ｃ２の入力を受け付けると、このクラスタＣ１，Ｃ２のそれぞれについて、例えば、クラスタＣ１，Ｃ２内の距離値の平均値を演算し、この各平均値をそれぞれの代表値とする。
また例えば、代表値演算手段５４は、クラスタＣ１，Ｃ２内の、距離値の平均値から近い（例えば、それぞれの距離値の平均値から１ｍ以内）に存在するサンプル点のみに着目し、この着目したサンプル点のみを用いて距離値の平均値をそれぞれ演算し、各平均値をそれぞれの代表値としても良い。このように、より厳密に代表値を決定することによって、域外値に対する頑健性を向上させることができる。代表値演算手段５４は、演算結果である各クラスタＣの代表値及び各クラスタＣの番号を、代表値選択手段５５に出力する。
なおここでは、クラスタＣの距離値の平均値をクラスタＣの代表値としたが、これに限られるものではない。例えば、測距対象指定手段４０によって指定された指定位置が、クラスタＣから離れた位置であった場合、この指定位置から最も近いクラスタＣのサンプル点のうち、指定位置から最も距離が近いサンプル点をクラスタＣの代表値としても良く、適宜変更することができる。
【００５５】
代表値選択手段５５は、複数の被写体のそれぞれの方位角θに基づいて、各クラスタＣの中から、それぞれに最も近い代表値を持つクラスタを選択し、このクラスタＣの代表値を、被写体までの実空間上の距離ｄ（θ）とするものである。代表値選択手段５５は、選択したクラスタＣの代表値を、被写体までの実空間上の距離ｄ（θ）として、被写体間距離演算手段５２Ｂに出力する。
代表値選択手段５５は、方位角変換手段５１から複数の被写体のそれぞれの方位角θの入力を受け付けるとともに、代表値演算手段５４から各クラスタＣの各代表値及び各クラスタＣの番号の入力を受け付ける。そして、複数の被写体の各方位角θのそれぞれについて、各クラスタＣの中から最も近いクラスタＣの番号を選択し、選択したクラスタＣの代表値を、それぞれの距離ｄ（θ）とする。
【００５６】
例えば、図９に示す場合を例にとって説明すると、代表値選択手段５５は、方位角変換手段５１から被写体Ａ，Ｂのそれぞれの方位角θ１，θ２の入力を受け付けるとともに、代表値演算手段５４からクラスタＣ１，Ｃ２の各代表値及びクラスタＣ１，Ｃ２の番号の入力を受け付ける。
そして、代表値選択手段５５は、被写体Ａの方位角θ２について、最も近いクラスタＣとしてクラスタＣ２の番号を選択し、クラスタＣ２の代表値を被写体Ａの距離ｄ（θ２）として被写体間距離演算手段５２Ｂに出力する。また、代表値選択手段５５は、被写体Ｂの方位角θ１について、最も近いクラスタＣとしてクラスタＣ１の番号を選択し、クラスタＣ１の代表値を被写体Ｂの距離ｄ（θ１）として被写体間距離演算手段５２Ｂに出力する。
また例えば、図９上図に示す例で、測距対象指定手段４０によって、被写体Ａ，Ｂからずれた位置（左端の×印）が指定された場合には、代表値選択手段５５は、方位角変換手段５１から、この指定位置の画像座標を変換した方位角θ３（図示せず）の入力を受け付け、この方位角θ３に最も近いクラスタとして、クラスタＣ１の番号を選択し、クラスタＣ１の代表値を被写体間距離演算手段５２Ｂに出力する。
【００５７】
なお、代表値選択手段５５において、例えば、各クラスタｃ（ｃはクラスタの番号とする）の方位軸方向の平均μｃ及び分散σｃ２を考慮し、被写体の方位角θに最も近いクラスタＣを、数式（５）を用いて、マハラノビス距離の最小化により選択しても良い。
【００５８】
【数５】
【００５９】
あるいは、マハラノビス距離がＤ以上はなれたクラスタＣを無視するよう、数式（５）に代えて、数式（６）を用いてクラスタＣを選択しても良い。
【００６０】
【数６】
【００６１】
［変形例に係る距離計測装置の動作］
次に、変形例に係る距離計測装置１Ｂの動作について、図１０及び図６を参照して説明する。ここで、変形例に係る距離計測装置１Ｂの動作において、ステップＳ２１からステップＳ２５は、前記した実施形態に係る距離計測装置１の動作におけるステップＳ１からステップＳ５と共通するため説明を省略し、ここでは、距離計測装置１Ｂの距離演算手段５０の動作（図６のステップＳ２５の動作）について詳細に説明する。
【００６２】
図１０に示すように、距離計測装置１Ｂは、距離演算手段５０Ｂの方位角変換手段５１によって、測距対象指定手段４０から、各指定位置の画像座標（ｘ１，ｙ１）と画像座標（ｘ２，ｙ２）の入力を受け付ける（ステップＳ３１）。
また、距離計測装置１Ｂは、距離演算手段５０Ｂの方位角変換手段５１によって、ズーム計測手段１３からレンズの画角情報Θの入力を受け付ける（ステップＳ３２）。
さらに、距離計測装置１Ｂは、距離演算手段５０Ｂのクラスタリング手段５３によって、測距手段２０から距離ｄ（θ）の入力を受け付ける（ステップＳ３３）。なお、ステップＳ３１からステップＳ３３は、順番が入れ替わっても良く、また、同時に行われても良い。
【００６３】
次に、距離計測装置１Ｂは、距離演算手段５０Ｂの方位角変換手段５１によって、前記した数式（１）に基づき、画像座標（ｘ１，ｙ１）と画像座標（ｘ２，ｙ２）とを、それぞれの方位角θ１と方位角θ２とに変換する（ステップＳ３４）。
そして、距離計測装置１Ｂは、距離演算手段５０Ｂのクラスタリング手段５３によって、この被写体の実空間上の距離ｄ（θ）をクラスタリングすることにより、複数の被写体にそれぞれ対応するクラスタを生成する（ステップＳ３５）。距離計測装置１Ｂは、距離演算手段５０Ｂのクラスタリング手段５３によって、生成した各クラスタを、代表値演算手段５４に出力する。
【００６４】
距離計測装置１Ｂは、距離演算手段５０Ｂの代表値演算手段５４によって、クラスタリング手段５３から、各クラスタの入力を受け付けると、この各クラスタのそれぞれについて、代表値を演算する（ステップＳ３６）。距離計測装置１Ｂは、距離演算手段５０Ｂの代表値演算手段５４によって、演算結果である各代表値を、代表値選択手段５５に出力する。
【００６５】
距離計測装置１Ｂは、距離演算手段５０Ｂの代表値選択手段５５によって、方位角変換手段５１から複数の被写体のそれぞれの方位角θの入力を受け付ける。また、距離計測装置１Ｂは、距離演算手段５０Ｂの代表値選択手段５５によって、代表値演算手段５４から各クラスタの各代表値の入力を受け付ける。そして、距離計測装置１Ｂは、距離演算手段５０Ｂの代表値選択手段５５によって、複数の被写体の各方位角θのそれぞれについて、各代表値の中から最も近い代表値を選択し、選択した代表値を、測距対象指定手段４０によって指定した各被写体までの実空間上の各距離ｄ（θ）として、被写体間距離演算手段５２に出力する（ステップＳ３７）。
【００６６】
次に、距離計測装置１Ｂは、距離演算手段５０Ｂの被写体間距離演算手段５２によって、代表値選択手段５５から距離ｄ（θ１）及び距離ｄ（θ２）の入力を受け付ける。
そして、距離計測装置１Ｂは、距離演算手段５０Ｂの被写体間距離演算手段５２によって、数式（２）から数式（４）のいずれか一つを用いて、被写体間距離ｂを演算する（ステップＳ３８）。距離計測装置１Ｂは、距離演算手段５０Ｂの被写体間距離演算手段５２によって、演算結果である被写体間距離ｂを適宜出力する。
以上のようにして、距離計測装置１Ｂは、被写体間距離ｂを演算することができる。
【００６７】
変形例に係る距離計測装置１Ｂによれば、被写体の方位角に最も近いクラスタの代表値を選択するように構成したため、オペレータの手のブレなどにより所望の被写体からずれた位置を指定してしまい、これにより、測距対象指定手段４０によって、所望の被写体からずれた指定位置の画像座標を取得した場合にも、この指定位置の近傍のクラスタの代表値を被写体までの実空間上の距離として取得することができるので、操作性を向上させることができる。
【００６８】
また、第１実施形態に係る距離計測装置１では、被写体間距離演算手段５２によって、指定位置の水平座標に対応付けられた実空間上の距離をそのまま利用していたが、これに限られるものではない。
例えば、第１実施形態に係る距離計測装置において、距離演算手段５０に代えて、次のような距離演算手段５０Ｃとしても良い。
【００６９】
図１１に示すように、距離演算手段５０Ｃは、方位角変換手段５１と、被写体間距離演算手段５２Ｃと、距離探索手段５６とを備える構成とした。
被写体間距離演算手段５２Ｃは、測距対象指定手段４０によって取得した指定位置の水平座標に対応付けられた実空間上の距離に基づき、複数の被写体間の距離である被写体間距離を求めるものである。被写体間距離演算手段５２Ｃは、方位角変換手段５１から方位角θｎ（ｎ＝１，２,…，ｎ）の入力を複数受け付けると、距離探索手段５６に、方位角θｎに対応する距離ｄ（θｎ）を要求する信号を出力する。
被写体間距離演算手段５２Ｃは、距離探索手段５６から方位角θｎに対応する距離ｄ（θｎ）の入力を複数受け付け、これを用いて、被写体間距離ｂを演算する。
【００７０】
距離探索手段５６は、被写体間距離演算手段５２Ｃから探索要求信号の入力を受け付け、この探索要求信号に基づいて、測距手段２０から入力を受け付けた走査線１ライン分の実空間上の距離ｄ（θｎ）を探索し、探索結果を、方位角θｎに対応する距離ｄ（θｎ）として出力するものである。
距離探索手段５６は、被写体間距離演算手段５２Ｃから、方位角θｎ（ｎ＝１，２,…，ｎ）に対応する距離を要求する信号の入力を受け付けると、測距手段２０から入力を受け付けた距離ｄ（θ）を探索する。
【００７１】
具体的には、距離探索手段５６は、測距手段２０で計測した実空間上の距離ｄ（θ）を探索し、方位角θｎに対応する距離ｄ（θｎ）が見つかった場合、この距離ｄ（θｎ）が予め設定された距離範囲内にあるかどうかを判定する。そして、距離探索手段５６は、距離ｄ（θｎ）が予め設定された距離範囲内にあると判定した場合は、この距離ｄ（θｎ）を被写体間距離演算手段５２Ｃに出力する。
【００７２】
一方、距離探索手段５６は、方位角θｎに対応する距離ｄ（θｎ）があったが、予め設定された距離範囲内にない場合は、予め設定された距離範囲内にある測距結果のサンプル点のうち、方位角θｎに最も近い方位角φのサンプル点があるかどうかをさらに探索する。距離探索手段５６は、このサンプル点があった場合は、そのサンプル点の実空間上の距離ｄ（φ）を距離ｄ（θｎ）の代わりに、被写体間距離演算手段５２Ｃに出力する。なお、このとき、｜φ−θｎ｜が、予め設定された閾値（例えば、１０度）を超える場合は、距離ｄ（φ）を無効としても良い。
【００７３】
また、距離探索手段５６は、距離ｄ（θ）を探索し、方位角θｎに対応する距離ｄ（θｎ）がなかった場合、距離ｄ（θ）内に単に存在する測距結果のサンプル点のうち、方位角θｎに最も近い方位角φのサンプル点があるかどうかをさらに探索する。距離探索手段５６は、サンプル点があった場合、このサンプル点の実空間上の距離ｄ（φ）を、距離ｄ（θｎ）の代わりに、被写体間距離演算手段５２Ｃに出力する。
【００７４】
次に、距離演算手段５０Ｃの動作について図１２を参照して説明する。ここでは、方位角変換手段５１によって、測距対象指定手段４０から被写体Ａと被写体Ｂを指定する指定位置の画像座標の入力を受け付け、この画像座標をそれぞれの方位角θ１，θ２に変換し、被写体間距離演算手段５２Ｃに出力したものと仮定して説明する。
【００７５】
図１２に示すように、距離演算手段５０Ｃは、被写体間距離演算手段５２Ｃによって、方位角変換手段５１から方位角θ１，θ２の入力を受け付ける（ステップＳ４１）。また、距離演算手段５０Ｃは、被写体間距離演算手段５２Ｃによって、測距手段２０から測距結果として距離ｄ（θ）の入力を受け付ける（ステップＳ４２）。
【００７６】
距離演算手段５０Ｃは、被写体間距離演算手段５２Ｃによって、距離探索手段５６に、方位角θ１，θ２にそれぞれ対応する距離ｄ（θ１），距離ｄ（θ２）の探索を要求する信号を出力する（ステップＳ４３）。
次に、距離演算手段５０Ｃは、距離探索手段５６によって、被写体間距離演算手段５２Ｃから、距離ｄ（θ）から方位角θ１，θ２に対応する距離ｄ（θ１），ｄ（θ２）の探索を要求する信号の入力を受け付けると、探索を開始する（ステップＳ４４）。
距離演算手段５０Ｃは、距離探索手段５６によって、方位角θ１，θ２に対応する距離ｄ（θ１），ｄ（θ２）を見つけた場合（ステップＳ４５でＹｅｓ）、この距離ｄ（θ１），ｄ（θ２）のそれぞれについて、予め設定された距離範囲内（例えば、３ｍ乃至２００ｍまでの距離範囲）にあるかどうかをさらに判定する（ステップＳ４６）。
【００７７】
そして、距離演算手段５０Ｃは、距離探索手段５６によって、例えば、方位角θ１について、方位角θ１に対応する距離ｄ（θ１）があり、かつ、この距離ｄ（θ１）が予め設定された距離範囲内にあると判定した場合（ステップＳ４６でＹｅｓ）、この距離ｄ（θ１）を、被写体間距離演算手段５２Ｃに出力する（ステップＳ５１）。
【００７８】
一方、距離演算手段５０Ｃは、距離探索手段５６によって、例えば、方位角θ２について、方位角θ２に対応する距離ｄ（θ２）が見つかったが、この距離ｄ（θ２）が予め設定された距離範囲内にないと判定した場合（ステップＳ４６でＮｏ）、さらに距離ｄ（θ）を探索し、予め設定された距離範囲内にある測距結果のサンプル点のうち、方位角θ２に最も近い方位角φのサンプル点を探索する（ステップＳ４７）。距離探索手段５６は、このサンプル点があった場合（ステップＳ４８でＹｅｓ）は、さらに、｜φ−θ２｜が、予め設定された閾値（例えば、１０度）を超えないかどうかを判定する（ステップＳ４９）。なお、ステップＳ４９は、省略しても良い。
【００７９】
距離演算手段５０Ｃは、距離探索手段５６によって、｜φ−θ２｜が、予め設定された閾値を超えないと判定した場合（ステップＳ４９でＹｅｓ）、そのサンプル点の実空間上の距離ｄ（φ）を距離ｄ（θ２）の代わりに、被写体間距離演算手段５２Ｃに出力する（ステップＳ５０）。そして、距離演算手段５０Ｃは、被写体間距離演算手段５２Ｃによって、距離ｄ（θ１）と距離ｄ（φ）を用いて、被写体間距離ｂを演算する（ステップＳ５２）。
【００８０】
一方、距離演算手段５０Ｃは、距離探索手段５６によって、｜φ−θ２｜が、予め設定された閾値（例えば、１０度）を超えると判定した場合（ステップＳ４９でＮｏ）、被写体間距離演算手段５２Ｃに、方位角θ２に対応する距離が得られなかった旨のエラー信号を出力して処理を終了する（ステップＳ５３）。
【００８１】
また、距離演算手段５０Ｃは、距離探索手段５６によって、距離ｄ（θ）を探索し、例えば、方位角θ２に対応する距離ｄ（θ２）がなかった場合（ステップＳ４５でＮｏ）、距離ｄ（θ）内に単に存在する測距結果のサンプル点のうち、方位角θ２に最も近い方位角φのサンプル点があるかどうか探索する（ステップＳ４７）。距離探索手段５６は、サンプル点があった場合（ステップＳ４８でＹｅｓ）、さらに、前記したステップＳ４９を経て、方位角φが閾値を超えないかどうかを判定し、方位角φが閾値を超えないと判定した場合（ステップＳ４９でＹｅｓ）、サンプル点の実空間上の距離ｄ（φ）を、距離ｄ（θ２）の代わりに、被写体間距離演算手段５２Ｃに出力する。そして、距離演算手段５０Ｃは、被写体間距離演算手段５２Ｃによって、距離（θ２）と距離ｄ（φ）を用いて、被写体間距離ｂを演算する（ステップＳ５２）。
一方、距離演算手段５０Ｃは、距離探索手段５６によって、ステップＳ４９で方位角φが閾値を超えると判定した場合（ステップＳ４９でＮｏ）、被写体間距離演算手段５２Ｃに方位角θ２に対応する距離が得られなかった旨のエラー信号を出力して処理を終了する（ステップ５３）。
【００８２】
距離演算手段５０Ｃをこのように構成することで、オペレータの手のブレなどにより所望の被写体からずれた位置を指定し、測距対象指定手段４０によって、所望の被写体からずれた位置の画像座標を取得して被写体間距離演算手段５２に出力してしまった場合にも、近傍の被写体を探索してその被写体までの距離を取得することができるため、操作性を向上させることができる。
【００８３】
なお、前記した実施形態及び各変形例では、被写体が２人の場合を例にとって説明したが、被写体が３人以上であっても良いことはもちろんである。
例えば、撮影手段によって、３人の選手がマラソン競技をしている画像が得られた場合（仮に測距手段からの実空間上の距離が近い順に被写体Ａ，Ｂ，Ｃとする）に、オペレータによって、この被写体Ａ，Ｂ，Ｃが指定された場合、距離計測装置は、測距対象指定手段によって、この操作信号の入力を受け付け、指定位置の画像座標を取得し、距離演算手段に出力する。距離計測装置は、距離演算手段の方位角変換手段によって、指定位置の画像座標を方位角θ１，θ２，θ３に変換し、距離演算手段の被写体間距離演算手段によって、方位角θ１，θ２，θ３に対応する実空間上の距離ｄ（θ１），ｄ（θ２），ｄ（θ３）に基づいて、被写体間距離を演算する。このとき、被写体間距離演算手段は、隣接する選手間（Ａ−Ｂ間，Ｂ−Ｃ間）の距離を測定する。ここでいう「隣接」とは、例えば、画像上における水平座標が隣接するものと定義しても良いし、また、例えば、三次元実空間において、撮影手段から近い順に被写体を整順したときの隣同士の被写体を指すものと定義しても良い。
【００８４】
［合成画像生成装置の説明］
次に、前記した実施形態に係る距離計測装置又は変形例に係る距離計測装置を備えた合成画像生成装置の構成について説明する。
図１３に示すように、合成画像生成装置２は、距離計測装置１と、この距離計測装置１に接続された画像合成手段６０と、を主に備える構成とした。なお、距離計測装置１の構成は、前記した実施形態と同様であるため、ここでは説明を省略する。
【００８５】
画像合成手段６０は、距離計測装置１の撮影手段１０により得られた画像上に、距離計測装置１の距離演算手段５０により演算された被写体間距離ｂを表す文字又は被写体間の位置関係を表す図形を合成するものである。
画像合成手段６０は、距離計測装置１の撮影手段１０から画像情報の入力を受け付け、距離計測装置１の距離演算手段５０から被写体間距離ｂの入力を受け付け、距離計測装置１の測距対象指定手段４０から指定位置の画像座標の入力を受け付ける。
【００８６】
画像合成手段６０は、測距対象指定手段４０から入力を受け付けた指定位置の画像座標と、距離演算手段５０から入力を受け付けた被写体間距離ｂとに基づいて、撮影手段１０から入力を受け付けた画像上に、文字や図形を合成し、合成画像を生成する。
このとき、画像合成手段６０は、撮影手段１０で撮影された画像上に、当該画像の遠近感に整合するような投影変換を行いつつ文字や図形を描画するようにしても良い。
例えば、画像合成手段６０は、距離計測装置１の距離演算手段５０によって、数式（４）に基づいて演算された、指定位置Ｐ１の実座標（ξ１，η１，ζ１）及び指定位置Ｐ２の実座標（ξ２，η２，ζ２）の入力を受け付け、実座標系において、始点Ｄ１が（ξ１，η１，ζ１）となり、終点Ｄ２が（ξ２，η２，ζ２）となるように、例えば図１６に示すような矢印型の図形Ｄ（矢印の厚みは０とする）を画像上に仮想的に配置する。この仮想的な図形を、現在のレンズ１１の画角情報Θを考慮して透視投影することで、画像合成手段６０は、自然な遠近感で、矢印型の図形Ｄを画像上に配置することができる。この場合、画像合成手段６０は、ズーム計測手段１３からレンズ１１の画角情報Θの入力を受け付ける。なお、このようにして生成した図形又は文字を画像上に配置する場合、η軸の正又は負の方向に適宜ずらして、被写体に重ならないように配置すると、見やすく表示できるためより好ましい。
また、画像合成手段６０は、生成した合成画像を、表示手段３０に適宜出力する。
【００８７】
次に、合成画像生成装置２の動作について説明する。なお、合成画像生成装置２において、距離計測装置１が行う動作のうち、第１実施形態に係る距離計測装置１と共通する動作については、適宜説明を省略し、ここでは、主に画像合成手段６０の動作を説明する。ここでは、距離計測装置１の撮影手段１０によって、撮影された画像情報が画像合成手段６０に出力され、距離計測装置１の測距対象指定手段４０によって、指定位置の画像座標が取得されて、画像合成手段６０に出力され、また、距離計測装置１の距離演算手段５０によって、被写体間距離ｂが演算されて、画像合成手段６０に出力されているものとする。
【００８８】
図１４に示すように、合成画像生成装置２は、画像合成手段６０によって、距離計測装置１の撮影手段１０から、画像情報の入力を受け付ける（ステップＳ６１）。また、合成画像生成装置２は、画像合成手段６０によって、距離計測装置１の測距対象指定手段４０から、指定位置の画像座標の入力を受け付ける（ステップＳ６２）。また、合成画像生成装置２は、画像合成手段６０によって、距離計測装置１の距離演算手段５０から、被写体間距離ｂの入力を受け付ける（ステップＳ６３）。
【００８９】
合成画像生成装置２は、画像合成手段６０によって、指定位置の画像座標と、被写体間距離ｂとに基づいて、画像情報に文字、図形のいずれか一方又は双方を生成する（ステップＳ６４）。そして、合成画像生成装置２は、画像合成手段６０によって、生成した文字、図形のいずれか一方又は双方を画像に合成し、合成画像を生成する（ステップＳ６５）。
【００９０】
このようにして、合成画像生成装置２は、例えば、図１５に示すような合成画像を生成する。図１５に示すのは、被写体Ａ，Ｂが測距対象として指定されている場合であり、被写体Ｂから被写体Ａに向かって矢印型の図形Ｄを描画し、この矢印型の図形Ｄの横に、被写体間距離ｂの値を文字Ｅで描画している。ここでは、矢印型の図形Ｄの幅が、被写体Ｂから被写体Ａに向かうにつれて（距離計測装置１からの距離が近づくにつれて）広がるように描画することで、被写体Ａ−Ｂ間の距離感を表現している。
【００９１】
このような合成画像生成装置２によれば、画像上に被写体間距離や被写体間の位置関係を表示することができるため、視覚的にわかりやすい情報提示が可能となる。
例えば、マラソン競技の中継番組において、画面内に映っている選手間の距離の差を視覚的かつ定量的に表現することができるので、競技の状況を視聴者に詳細に伝達することが可能となる。また、被写体間距離や被写体間の位置関係を、実際の三次元的配置を考慮した自然な遠近感で実現することができるため、視覚的に違和感の少ない情報提示が可能となる。
【００９２】
以上説明したような、距離計測装置１，１Ｂ，１Ｃ及び合成画像生成装置２は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、距離計測装置の距離演算手段は、コンピュータを、距離演算手段として機能させる距離計測プログラムにより動作させることができる。この距離計測プログラムは、ネットワークを介して配信することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【符号の説明】
【００９３】
１，１Ｂ，１Ｃ 距離計測装置
２ 合成画像生成装置
１０ 撮影手段
２０ 測距手段
３０ 表示手段
４０ 測距対象指定手段
５０，５０Ｂ，５０Ｃ 距離演算手段
５１ 方位角変換手段
５２ 被写体間距離演算手段
５３ クラスタリング手段
５４ 代表値演算手段
５５ 代表値選択手段
５６ 距離探索手段
６０ 画像合成手段
Ａ，Ｂ 被写体
Ｃ クラスタ
Ｄ 矢印
Ｅ 図形
【技術分野】
【０００１】
本発明は、画像上で指定した複数の被写体間の実空間上の距離である被写体間距離を計測し、また、この計測結果を画像上に可視化する技術に関する。
【背景技術】
【０００２】
従来、実空間上の距離の計測を行う距離計測の手法としては、以下に示す技術が知られている。
例えば、三角測量法やトラバース測量法は、１以上の基準点と、この基準点間を結ぶ直線に対する測点の方位や距離を計算することで、基準点から測点までの距離や測点の座標を求める手法である。
また、ステレオ法は、カメラ間の距離が既知の複数台のカメラで撮影された画像間で、被写体上の特徴点の対応付けを行い、三角測量法の原理に基づいて、対象物までの距離を計測する手法である。
【０００３】
さらに、レーザーレンジファインダ（レーザー距離計）やレーダーやＬｉＤＡＲ（Light Detection And Ranging）は、電波やレーザー光を対象物へ照射し、その反射光が戻るまでの遅延時間を測定することにより、対象物までの距離を求めるものである。レーザーレンジファインダとしては、比較的遠距離にある測距対象を正確に狙うための望遠鏡を備えたものも知られている。
またさらに、レーザーレンジファインダ等を機械的に走査することにより、線的または面的な距離情報を得る手法がある。
【０００４】
さらには、高速に強度変調された赤外光と高速シャッターを用いて通常の画像（輝度やカラーの画像）と距離画像とを同時に取得可能なＡｘｉ−Ｖｉｓｉｏｎカメラが実用化されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４０３１３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、近年、例えばマラソン競技などのスポーツをテレビ中継する際に、移動する複数の被写体を撮影しながら、この複数の被写体間の実空間上の距離を計測し、この計測結果を、例えば、複数の被写体を撮影した画像上に可視化するなどしてリアルタイムで利用したいという要望がある。しかしながら、前記した従来の距離計測の手法は、以下の理由により、このような場面への適用が困難であった。
つまり、三角測量法やトラバース測量法では、目視と手作業により測量を行うため、測定対象が移動する場合には、測量が困難であった。
また、ステレオ法では、複数のカメラの画像間での対応付けが困難であり、この対応付けを誤った場合には、正確な距離情報が得られなかった。
さらに、レーザーレンジファインダやレーダーでは、能動的に強力な電磁波を照射することで比較的遠距離にある被写体までの距離を計測できるものの、被写体上の一点への距離を求める手法であるため、走査機構を用いなければ、線的ないし面的な被写体の距離情報を得ることができない。また、走査機構を有するレーザーレンジファインダやレーザーによって線的ないし面的な複数の被写体間の距離を求めようとすると、時系列的に出力される測距データから各被写体に対応する距離値を取り出し、取り出した複数の距離値の間で演算を行う必要があるため、処理に時間を要していた。
そして、Ａｘｉ−Ｖｉｓｉｏｎカメラによれば、通常の画像を確認しつつ複数の被写体までの距離を測定することが可能となるが、変調された赤外光の瞬時の微弱な反射強度を測定することによって距離を測定する手法であるため、対象物が遠距離にある場合や、強い環境光にさらされている場合には、正確な測距を行えないおそれがある。
【０００７】
本発明は、以上のような問題点に鑑みてなされたものであり、移動する複数の被写体間の実空間上の距離情報を、簡素な構成で迅速に取得可能な距離計測装置、距離計測プログラムを提供することを目的とする。また、距離計測装置または距離計測プログラムによって得られた計測結果を画像に合成表示することが可能な合成画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決した請求項１に係る発明は、撮影された複数の被写体間の実空間上の距離である被写体間距離を計測する距離計測装置であって、撮影手段と、測距手段と、表示手段と、測距対象指定手段と、距離演算手段とを備えることを特徴とする。
【０００９】
かかる構成によれば、距離計測装置は、撮影手段によって、前記複数の被写体を撮影する。これにより、測距対象である被写体が複数撮影された画像を取得することができる。
また、距離計測装置は、測距手段によって、前記距離計測装置からの前記実空間上の距離を、前記撮影手段で撮影された画像の水平座標に対応付けて計測する。
ここで、測距手段は、走査線方向に実空間上の距離を測定するものであって、各距離は、画像の水平座標に対応付けられるものである。
また、距離計測装置は、表示手段によって、前記画像を表示する。これにより、撮影画像を可視化することができる。
またさらに、距離計測装置は、測距対象指定手段によって、外部から、前記表示手段に表示された前記画像上の前記被写体を指定する操作信号の入力を複数受け付け、前記操作信号により指定された各指定位置の画像座標を順次取得する。測距対象の指定は、例えば、オペレータが表示画面に表示された画像を確認しながら、この画像に含まれる複数の被写体のうち、測距対象として選択しようとする被写体の上でマウスやポインタをクリックすることによって、この被写体を測距対象として選択することができる。なお、この動作を繰り返すことにより、画像上の複数の被写体を測距対象として順次指定することができる。
そして、距離計測装置は、距離演算手段によって、前記各指定位置の水平座標に対応付けられた各前記実空間上の距離に基づいて、指定された前記被写体間の前記被写体間距離を演算する。これにより、オペレータが画像上で指定した複数の被写体間の実空間上の距離である被写体間距離を得ることができる。
【００１０】
請求項２に係る発明は、請求項１に係る距離計測装置において、前記撮影手段は、焦点距離が可変なレンズと、当該レンズと接続され、前記レンズの前記焦点距離を計測し、この焦点距離を画角情報に変換するズーム計測手段とをさらに備える構成とした。
これによれば、レンズの焦点距離を調整することが可能となるため、測距対象が移動し、撮影手段からの距離が変化する場合にも、測距対象が適切な大きさで撮影されるように画角を調整することができる。このため、オペレータが画像上で測距対象を指定しやすくなる。また、レンズの焦点距離を計測し、この焦点距離を画角情報に変換して距離演算手段に出力するズーム計測手段を備えるため、レンズの焦点距離を変化させた場合にも、距離演算手段によって、画角情報の範囲内で被写体間距離を演算することができるので、より広い距離範囲で被写体間距離を演算することができる。さらに、レンズの焦点距離が調整可能であるため、撮影手段により撮影された画像は、被写体の大きさや配置が演出上大きな重要性を有する用途にも利用可能となる。すなわち、演出上の意図を損なうことなく測距を行うことができる。
【００１１】
請求項３に係る発明は、請求項１または請求項２に係る距離計測装置において、前記測距対象指定手段は、外部からのタッチ操作による前記画像上の前記被写体を指定する前記操作信号の入力を受け付け、前記操作信号により指定された前記指定位置の画像座標を取得するタッチパネルであることとした。
これによれば、オペレータが、表示手段に表示された画像上の被写体に触れることにより、当該被写体を指定することができるので操作性を向上させることができる。
【００１２】
請求項４に係る発明は、請求項３に記載の距離計測装置において、前記タッチパネルは、前記操作信号の入力を複数受け付け、複数の前記操作信号により指定された複数の前記指定位置の画像座標をそれぞれ取得する構成とした。
これによれば、画像上の被写体を測距対象として複数指定することができるので、測距対象の指定を迅速に行うことができる。
【００１３】
請求項５に係る発明は、請求項１から請求項４のいずれか一項に記載の距離計測装置において、前記測距手段で取得された前記実空間上の距離の入力を受け付け、この前記実空間上の距離から、前記測距対象指定手段で取得された前記指定位置の水平座標に対応付けられた実空間上の距離を探索し、当該指定位置の水平座標に対応付けられた実空間上の距離が、所定の数値の範囲外にある場合に、この指定位置の水平座標の周囲で、実空間上の距離が前記所定の数値の範囲内にある水平座標を探索し、実空間上の距離が前記所定の数値の範囲内にある水平座標のうち、前記指定位置の水平座標に最も近い水平座標を選択し、この水平座標に対応付けられた実空間上の距離を、前記指定位置の水平座標に対応付けられた前記実空間上の距離とする距離探索手段をさらに備える構成とした。
これによれば、オペレータによる被写体の指定の入力時に、手のブレなどによって、指定位置が被写体の位置からずれてしまった場合に、指定位置に最も近い被写体を探索してこれを指定したものとみなすことができるため、操作性を向上させることができる。
【００１４】
請求項６に係る発明は、請求項１から請求項４のいずれか一項に記載の距離計測装置において、前記距離演算手段は、前記測距手段で計測された前記実空間上の各距離を空間的にクラスタリングし、各前記方位角にそれぞれ対応するクラスタを生成するクラスタリング手段と、前記クラスタリング手段で生成された各前記クラスタの代表値をそれぞれ演算する代表値演算手段と、前記代表値演算手段によって演算された前記各クラスタの代表値の中から、前記指定位置の水平座標に最も近い前記クラスタの代表値を、前記指定位置の水平座標に対応付けられた前記実空間上の距離として選択する代表値選択手段とをさらに備える構成とした。
これによれば、クラスタの各代表値を、複数の被写体の実空間上の各距離として被写体間距離を演算することができるので、測距手段によって得られる被写体の実空間上の距離に、ノイズや誤りが含まれている場合にも、このノイズや誤りの影響を低減し、より正確な被写体間距離を演算することができる。
また、クラスタの代表値の中から、指定位置の水平座標に最も近いクラスタの代表値を、指定位置の水平座標に対応付けられた実空間上の距離として選択することにより、オペレータによる被写体の指定の入力時に、手のブレなどによって、指定位置が被写体の位置からずれてしまった場合に、指定位置に最も近い被写体を探索してこれを指定したものとみなすことができるため、操作性を向上させることができる。
【００１５】
請求項７に係る発明は、請求項１から請求項６のいずれか一項の距離計測装置により得られた複数の被写体間の距離値に基づき、撮影手段により得られた画像上に、距離値を表す文字または前記被写体間の位置関係を表す図形を合成する画像合成手段を備える合成画像生成装置として構成した。
これによれば、画像上において、被写体間の距離や位置関係を文字や図形で表すことが可能となるため、視覚的にわかりやすい情報提示が可能となる。例えば、被写体間の距離を数字で表示し、被写体間の位置関係、例えば、前後の位置関係を矢印の向きで表示することによって、被写体間の距離や被写体間の位置関係をわかりやすく表示することができる。
【００１６】
請求項８に係る発明は、請求項７に記載の合成画像生成装置において、前記画像合成手段は、請求項１から請求項６のいずれか一項に記載の距離計測装置の前記距離演算手段により得られた前記被写体間距離と、請求項１から請求項６のいずれか一項に記載の距離計測装置の前記測距対象指定手段により得られた前記指定位置の画像座標とに基づき、前記被写体の実空間上における三次元位置を算出し、当該三次元位置に応じて、前記画像上に前記文字または前記図形を拡大、縮小又は変形して合成する構成とした。
これによれば、被写体間の距離や被写体間の位置関係を、実際の三次元的配置を考慮した自然な遠近感で実現することができるため、視覚的に違和感の少ない情報提示が可能となる。
【００１７】
請求項９に係る発明は、撮影手段によって撮影された複数の被写体間の実空間上の距離である被写体間距離を、距離計測装置からの実空間上の距離を、撮影手段で撮影された画像の水平座標に対応付けて計測する測距手段によって計測された前記実空間上の距離に基づいて演算するために、コンピュータを、距離演算手段として機能させることを特徴とする距離計測プログラムとして構成した。
これによれば、距離計測プログラムは、距離演算手段によって、外部から、前記撮影手段で撮影された画像を表示する表示手段に表示された前記画像上の前記被写体を指定する操作信号の入力を複数受け付け、前記操作信号により指定された指定位置を順次取得する測距対象指定手段により取得された各前記指定位置の水平座標に対応付けられた前記実空間上の距離に基づいて、指定された前記被写体間の前記被写体間距離を演算する。
【発明の効果】
【００１８】
本発明に係る距離計測装置、距離計測プログラム及び合成画像生成装置によれば、以下のような優れた効果を奏する。
請求項１及び請求項９に記載の発明によれば、オペレータが、画像上で測距対象を複数指定するだけで、測距対象間の実空間上の距離値を取得することができる。このため、スポーツ中継などにおいて、リアルタイムで画像上の測距対象間の実空間上の距離値を取得し、これを利用することができる。
また、請求項２に記載の発明によれば、測距対象が捉えやすくなるので、オペレータによる測距対象の指定を行いやすくすることができる。
さらに、請求項３に記載の発明によれば、測距対象を画像上の被写体に触れることで指定することができるため、オペレータによる測距対象の指定の作業効率を向上させることができる。
またさらに、請求項４に記載の発明によれば、複数の測距対象の実空間上の距離値を取得することができるので、オペレータによる測距対象の指定の作業効率をさらに向上させることができる。
さらに加えて、請求項５に記載の発明によれば、オペレータの手のブレなどによる測距対象の指定ミスを補正することができるため、操作性を向上させることができる。
加えて、請求項６に記載の発明によれば、ノイズや誤りの影響を低減した正確な被写体間距離を演算することができる。また、オペレータの手のブレなどによる測距対象の指定ミスを補正することができるため、操作性を向上させることができる。
そして、請求項７に記載の発明によれば、画像上に測距対象間の距離や位置関係を表示することができるため、視覚的にわかりやすい情報提示が可能となる。
また、請求項８に記載の発明によれば、測距対象間の距離や位置関係を、実際の三次元的配置を考慮した自然な遠近感で実現することができるため、視覚的に違和感の少ない情報提示が可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る距離計測装置の構成を示すブロック構成図である。
【図２】本発明の実施形態に係る距離計測装置において、測距手段によって複数の被写体の実空間上の距離を取得する様子を示す概念図である。
【図３】本発明の実施形態に係る距離計測装置において、測距対象指定手段によって、複数の被写体を測距対象として指定する様子を示す概念図である。
【図４】は、本発明の実施形態に係る距離計測装置において、測距対象指定手段によって指定された各指定位置にそれぞれ対応する位置間の実空間上の距離を演算する手法を説明するための概念図である。
【図５】本発明の実施形態に係る距離計測装置において、被写体間距離を演算する手法を説明するための概念図である。
【図６】本発明の実施形態に係る距離計測装置の動作を示すフローチャートである。
【図７】本発明の実施形態に係る距離計測装置における距離演算手段の動作を示すフローチャートである。
【図８】本発明の変形例に係る距離計測装置の構成を示すブロック構成図である。
【図９】本発明の変形例に係る距離計測装置において、距離演算手段によって、測距手段により計測された距離がクラスタリングされた様子を示す概念図である。
【図１０】本発明の変形例に係る距離計測装置の動作を示すフローチャートである。
【図１１】本発明の変形例に係る距離計測装置の距離演算手段の構成を示すブロック構成図である。
【図１２】本発明の変形例に係る距離計測装置における距離演算手段の動作を示すフローチャートである。
【図１３】本発明の実施形態に係る合成画像生成装置の構成を示すブロック構成図である。
【図１４】本発明の実施形態に係る合成画像生成装置の動作を示すフローチャートである。
【図１５】本発明の実施形態に係る合成画像生成装置によって、画像上に被写体間の距離を示す文字と位置関係を示す図形が合成された様子を示す概念図である。
【図１６】本発明の実施形態に係る合成画像生成装置によって、被写体間の位置関係を示す矢印型の図形を生成する様子を説明するための概念図である。
【発明を実施するための形態】
【００２０】
［第１実施形態に係る距離計測装置の説明]
次に、本発明の距離計測装置について図面を参照しながら説明する。
図１に示すように、本発明の実施形態に係る距離計測装置１は、撮影された複数の被写体間の実空間上の距離である被写体間距離を計測する装置であって、撮影手段１０と、測距手段２０と、表示手段３０と、測距対象指定手段４０と、距離演算手段５０とを主に備える構成とした。
【００２１】
撮影手段１０は、複数の被写体を撮影して動画像を取得するものであり、レンズ１１と、カメラ本体１２とを主に有して構成される。
レンズ１１は、被写体を結像させてカメラ本体１２に出力するものである。レンズ１１は、焦点距離が固定のものを用いても良いが、焦点距離が可変なレンズを用いると、被写体が移動する場合にも捉えやすくなるためより好ましい。本実施形態では、レンズ１１として、焦点距離が可変なズームレンズを用いている。
レンズ１１には、例えばズームリング等の図示しない環状の操作手段が装着され、オペレータが、この図示しない操作手段を回転させることにより、焦点距離が変化するようになっている。
【００２２】
カメラ本体１２は、レンズ１１から順次入力される被写体の結像を、電気信号に変換するものである。カメラ本体１２は、レンズ１１から被写体の結像が入力されると、この結像を電気信号に変換し、この電気信号を画像情報として表示手段３０に出力する。
【００２３】
ここで本実施形態では、レンズ１１をズームレンズとしているため、撮影手段１０は、ズーム計測手段１３をさらに備える。
ズーム計測手段１３は、レンズ１１の焦点距離を計測するものである。ズーム計測手段１３は、レンズ１１に装着された図示しないズームリング等の環状の操作手段に、例えば歯車などの運動伝達手段を介して結合されたロータリエンコーダやポテンショメータを（いずれも図示せず）を用いて環状の操作手段（いずれも図示せず）の回転角などを電気的に計測することによって、レンズ１１の焦点距離を計測するものである。
ズーム計測手段１３は、ロータリエンコーダ（図示せず）のカウント数やポテンショメータ（図示せず）の抵抗値を計数もしくは測定し、例えばルックアップテーブルを参照することで、計数値もしくは抵抗値を、画角あるいは焦点距離などの画角と１対１で対応する数値に変換して画角情報Θとする。ズーム計測手段１３は、このようにして計測したレンズ１１の画角情報Θを、距離演算手段５０に順次出力する。
このような撮影手段１０としては、テレビ映像の撮影等に用いられる一般的なカメラを用いることができる。
【００２４】
測距手段２０は、撮影手段１０の撮影する実空間上に存在する被写体までの距離を計測するものである。測距手段２０は、複数箇所の測距が可能であり、撮影手段１０の光軸近傍（例えば、２０ｃｍ以内）に配置される。
なお、撮影手段１０の光軸と測距手段２０の測定領域の距離を短縮するため、ハーフミラー等の光学系を利用して、撮影手段１０と測距手段２０とで光軸を共有する構成としても良い。
【００２５】
測距手段２０として、例えば、一般的な一次元走査型のレーザーレンジファインダを用いることができる。ここで、一次元走査型のレーザーレンジファインダは、ミラーと、レーザー発振手段と、センサ（いずれも図示せず）とを備えて構成され、回転するミラーに計測用のレーザーを発振して被写体に照射し、その反射光の往復遅延時間により、平面内もしくは円錐面内の被写体の距離を計測するようになっている。測距手段２０は、撮影手段１０のレンズ１１の画角情報Θに合わせた画角で走査線方向に走査するようになっているため、測定された各距離は、画像の水平座標にそれぞれ対応付けられるものである。
【００２６】
また、測距手段２０は、本実施形態では、図２上図に示すように、撮影手段１０の撮影ラインと平行なライン（破線で示すライン）上で走査を行うものである。ここで、図２下図に示すのは、図２上図の破線上の各点までの距離を測定した結果をグラフ化したものであり、下方の３つの曲線は、向かって左側から、測距手段２０からの被写体Ａの右腕、胴体、左腕までの距離を示しており、上方の１つの曲線は、測距手段２０からの被写体Ｂの胴体までの距離を示している。なお、図２下図に示すように、測距手段２０での測定結果は、方位角θに対する距離ｄ（θ）として得られる。なお、以下の説明では、方位角θは、光軸方向を０度とし、時計回りを正の向きとするものとする。
測距手段２０は、このようにして取得した測定結果を、距離演算手段５０に出力する。
【００２７】
表示手段３０は、撮影手段１０で撮影された画像を可視化するものである。表示手段３０は、撮影手段１０のカメラ本体１２から画像情報（電気信号）の入力を受け付け、この画像情報（電気信号）に基づいて、撮影手段１０で撮影された画像を明暗や反射率等の空間的パターンとして提示するものである。表示手段３０としては、例えば、一般的なＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）やＰＤＰ（Plasma Display Panel）などを用いることができる。
【００２８】
測距対象指定手段４０は、表示手段３０に表示された画像上で測距対象を指定するものである。本実施形態では、測距対象指定手段４０として一般的なタッチパネルを用いている。ここで、タッチパネルは、透明又は半透明の板状のセンサを表示手段の上に乗せて使用するデバイスであり、オペレータによる指やスタイラスペンなどでのパネル領域へのタッチ操作の入力を認識し、入力があった箇所の画像座標を取得するものである。これにより、表示手段３０上に表示された対象物の指定が可能となる。
なお、本実施形態では、多点認識機能を有するタッチパネルを用いている。測距対象指定手段４０は、図３に示すように、オペレータによって、測距対象指定手段４０上で複数の場所が同時に触れられたときに、この複数の指定位置の画像座標を取得し、距離演算手段５０に出力する。
なお、測距対象指定手段４０として、多点認識機能を有しないタッチパネルを用いても良いことはもちろんである。この場合、測距対象指定手段４０は、オペレータによって測距対象指定手段４０上で指定された指定位置の画像座標を順次取得し、距離演算手段５０に順次出力する。
【００２９】
また、測距対象指定手段４０を、例えばマウスやポインタとして、表示手段３０に表示された画像上の被写体をクリックすることで、この被写体を測距対象として指定するように構成しても良い。この場合、マウスやポインタで指定された指定位置の情報が図示しない制御手段に出力され、この制御手段によって、指定位置の画像座標を距離演算手段５０に出力する。
【００３０】
なお、オペレータが、測距対象指定手段４０上で、表示手段３０に表示された被写体Ａ，Ｂに触れ続けると、測距対象指定手段４０によって、指定位置の画像座標を取得し続け、この取得した画像座標を距離演算手段５０に順次出力する。一方、オペレータが、測距対象指定手段４０から手を離すと、例えば、指定位置の画像座標が得られなかった旨の信号が距離演算手段５０に出力され、また例えば、何らの信号も距離演算手段５０に出力されないようになっている。
【００３１】
距離演算手段５０は、測距対象指定手段４０によって取得された指定位置の画像座標に対応する実空間上の距離に基づいて、被写体間距離ｂを演算するものである。
距離演算手段５０は、ここでは、方位角変換手段５１と、被写体間距離演算手段５２とを備える構成とした。
【００３２】
方位角変換手段５１は、撮影手段１０のレンズ１１の画角情報Θを用いて、測距対象指定手段４０により指定された複数の指定位置の画像座標を、方位角θにそれぞれ変換するものである。
ここで、画像座標の水平座標をｘ、垂直座標をｙとおいたとき、画像座標の水平座標ｘに対する方位角θの関係を、関数ｆを用いて、例えば数式（１）で表すことができる。
【００３３】
【数１】
画角情報Θは水平画角を、Ｘは画像の水平画素数とし、水平座標ｘは画像中央を０として右方向に画素単位で測ったものとする。
方位角変換手段５１は、ズーム計測手段１３から、レンズ１１の画角情報Θの入力を順次受け付けるとともに、測距対象指定手段４０から画像座標として、例えば被写体Ａの画像座標（ｘ１，ｙ１）と、被写体Ｂの画像座標（ｘ２，ｙ２）（ここで、ｘｎ（ｎ＝１，２，・・・，ｎ）は、水平座標、ｙｎは、垂直座標とする）の入力を受け付けると、数式（１）に基づき、水平座標ｘ１を方位角θ２に、水平座標ｘ２を方位角θ１にそれぞれ変換する。方位角変換手段５１は、この方位角θ１、方位角θ２を被写体間距離演算手段５２に出力する。
【００３４】
被写体間距離演算手段５２は、測距対象指定手段４０によって複数指定された被写体までの実空間上の各距離に基づき、当該複数指定した被写体間の距離である被写体間距離を求めるものである。
ここで、測距手段２０から被写体間距離演算手段５２に入力される実空間上の距離は、方位角θに対応する距離ｄ（θ）（指定位置の水平座標に対応付けられている距離）として得られる。このため、被写体間距離演算手段５２は、測距手段２０から入力された距離ｄ（θ）のうち、方位角変換手段５１から入力を受け付けた方位角θ１と方位角θ２にそれぞれ対応する、距離ｄ（θ１）と距離ｄ（θ２）を用いて、被写体Ａ,Ｂ間の実空間上の距離である被写体間距離ｂを求める。
ここで、図４に示す例では、測距手段２０から被写体Ｂまでの実空間上の距離ｄ（θ１）が２５．３［ｍ］となっており、測距手段２０から被写体Ａまでの実空間上の距離ｄ（θ２）が２０．０［ｍ］となっている。また、方位角θ１が−３［ｄｅｇ］となっており、方位角θ２が−１［ｄｅｇ］となっている。
【００３５】
このとき、図５に示すように、方位角θ１に対応する距離をｄ（θ１）とし、方位角θ２に対応する距離をｄ（θ２）とし、方位角θ１と方位角θ２とでなす角を（θ２−θ１）とすると、被写体間距離ｂは、数式（２）によって求めることができる。
【００３６】
【数２】
【００３７】
なお、距離演算手段５０は、方位角θ１と方位角θ２の差分が小さい、例えば、差分が５度以内である場合には、近似的に、数式（３）を用いて被写体Ａ−Ｂ間の被写体間距離ｂを求めても良い。
【００３８】
【数３】
【００３９】
また、距離演算手段５０は、測距対象指定手段４０により指定された指定位置Ｐ１，Ｐ２の実空間における三次元座標（実座標）を算出し、この２つの指定位置Ｐ１，Ｐ２間のユークリッド距離を求めても良い。
まず、ある指定位置Ｐの画像座標を（ｘ，ｙ）とし、実空間における三次元座標（実座標）を（ξ，η，ζ）とおいたとき、ξ軸とｘ軸、η軸とｙ軸をそれぞれ同方向にとり、ζ軸は、ξ−η−ζ座標系が右手系をなすようにξ軸及びη軸と直交するようにとる。例えば、画像座標のｘ軸及び実座標のξ軸は、画像の中心を０とし、右方向にとる。この場合、画像座標のｙ軸及び実座標のη軸は、画像の中心を０とし、下方向にとる。さらに、この場合、ζ軸は、画像の中心を０とし、光軸上に被写界方向にとる。
次に、指定位置Ｐの画像座標の水平座標ｘに対する方位角θを数式（１）により求める。測距手段２０による測距結果である距離ｄ（θ）より、測距手段２０から指定位置Ｐまでの距離は、ｄ（θ）となる。このとき、指定位置Ｐの実空間座標（ξ，η，ζ）は、数式（４）により求めることができる。
【００４０】
【数４】
【００４１】
数式（４）の演算を、指定位置Ｐ１，Ｐ２についてそれぞれ実行することで、それぞれの三次元座標（実座標）（ξ１，η１，ζ１），（ξ２，η２，ζ２）を求め、これら三次元座標（実座標）間のユークリッド距離を被写体間距離ｂとする。
このようにして、距離演算手段５０は、数式（２）、数式（３）、数式（４）のうちの一つを用いて被写体間距離ｂを求め、適宜出力する。
なお、距離演算手段５０は、測距対象指定手段４０から指定位置の画像座標の入力を受け付けるごとに、被写体間距離ｂを順次演算する。
【００４２】
［距離計測装置の動作］
次に、本発明の実施形態に係る距離計測装置１の動作について以下に説明する。
なお、ここでは、距離計測装置１は、撮影手段１０のズーム計測手段１３によって、レンズの画角情報Θを測定し、測定結果を距離演算手段５０に順次出力しているものとする。
図６に示すように、距離計測装置１は、まず、撮影手段１０によって、複数の被写体を撮影する（ステップＳ１）。距離計測装置１は、撮影手段１０によって、撮影した画像を電気信号に変換して表示手段３０に出力する。
【００４３】
距離計測装置１は、表示手段３０によって、撮影手段１０から電気信号化された画像の入力を受け付け、この画像を明暗や反射率の空間的パターンとして表示する（ステップＳ２）。
さらに、距離計測装置１は、測距手段２０によって、測距手段２０から複数の被写体までの実空間上の距離ｄ（θ）をそれぞれ計測する（ステップＳ３）。距離計測装置１は、測距手段２０によって、計測結果である走査線１ライン上の各点の実空間上の距離ｄ（θ）を、距離演算手段５０に出力する。
【００４４】
次に、距離計測装置１は、測距対象指定手段４０によって、オペレータのタッチ操作により画像上で複数指定された指定位置の画像座標をそれぞれ取得する（ステップＳ４）。距離計測装置１は、測距対象指定手段４０によって、取得した指定位置の画像座標を距離演算手段５０に出力する。ここでは、測距対象指定手段４０により、被写体Ａ，Ｂが測距対象として指定されたものとする。
【００４５】
そして、距離計測装置１は、距離演算手段５０の方位角変換手段５１によって、測距対象指定手段４０から指定位置の画像座標（ｘ１，ｙ１）と画像座標（ｘ２，ｙ２）の入力を受け付ける。
【００４６】
距離計測装置１は、距離演算手段５０によって、測距対象指定手段４０から入力を受け付けた各指定位置の画像座標（ｘ１，ｙ１）と画像座標（ｘ２，ｙ２）の水平座標ｘ１，ｘ２を、方位角θ２，θ１にそれぞれ変換し、測距手段２０から入力を受け付けた測距結果である走査線１ライン上の各点の実空間上の距離ｄ（θ）のうち、方位角θ１に対応する実空間上の距離ｄ（θ１）と方位角θ２に対応する実空間上の距離ｄ（θ２）とを用いて、被写体Ａ−Ｂ間の距離である被写体間距離ｂを演算する（ステップＳ５）。
【００４７】
次に、距離計測装置１の距離演算手段５０の動作（図６のステップＳ５の動作）について、図７を用いて詳細に説明する。
距離計測装置１は、距離演算手段５０の方位角変換手段５１によって、測距対象指定手段４０から、各指定位置の画像座標（ｘ１，ｙ１）と画像座標（ｘ２，ｙ２）の入力を受け付ける（ステップＳ１１）。
また、距離計測装置１は、距離演算手段５０の方位角変換手段５１によって、ズーム計測手段１３からレンズの画角情報Θの入力を受け付ける（ステップＳ１２）。
さらに、距離計測装置１は、距離演算手段５０の被写体間距離演算手段５２によって、測距手段２０から距離ｄ（θ）の入力を受け付ける（ステップＳ１３）。なお、ステップＳ１１からステップＳ１３は、順番が入れ替わっても良く、また、同時に行われても良い。
【００４８】
そして、距離計測装置１は、距離演算手段５０の方位角変換手段５１によって、前記した数式（１）に基づき、画像座標（ｘ１，ｙ１）と画像座標（ｘ２，ｙ２）を、それぞれの方位角θ１と方位角θ２に変換する（ステップＳ１４）。
さらに、距離計測装置１は、距離演算手段５０の方位角変換手段５１によって、方位角θ１と方位角θ２とを、被写体間距離演算手段５２に出力する。
【００４９】
次に、距離計測装置１は、距離演算手段５０の被写体間距離演算手段５２によって、測距手段２０から入力された距離ｄ（θ）のうち、方位角変換手段５１から入力を受け付けた方位角θ１と方位角θ２にそれぞれ対応する、実空間上の距離ｄ（θ１）と実空間上の距離ｄ（θ２）を用いて、数式（２）から数式（４）のいずれか一つを用いて、被写体Ａと被写体Ｂとの間の実空間上の距離である被写体間距離ｂを求める（ステップＳ１５）。
距離計測装置１は、このようにして、複数の被写体間の実空間上の距離である被写体間距離ｂを求めることができる。
【００５０】
本実施形態に係る距離計測装置１によれば、オペレータが、画像上で測距対象を複数指定するだけで、測距対象間の実空間上の距離値を取得することができる。このため、スポーツ中継などにおいて、リアルタイムで画像上の測距対象間の実空間上の距離値を取得し、これを利用することができる。また、本実施形態に係る距離計測装置１によれば、レンズ１１を、焦点距離が可変なズームレンズとしたことにより、測距対象が捉えやすくなるので、オペレータによる測距対象の指定を行いやすくすることができる。
さらに、本実施形態に係る距離計測装置１によれば、測距対象指定手段４０を多点認証機能を有するタッチパネルとしたため、測距対象を画像上の被写体に触れることで指定することができるとともに、複数の測距対象の実空間上の距離値を取得することができるので、オペレータによる測距対象の指定の作業効率を向上させることができる。
【００５１】
以上、本発明の実施形態に係る距離計測装置１について説明したが、本発明は前記した実施形態に限定されるものではない。
ここで、図８を参照して、変形例に係る距離計測装置１Ｂについて説明する。変形例に係る距離計測装置１Ｂは、本発明の実施形態に係る距離計測装置１（図１参照）の距離演算手段５０（図１参照）の構成を変更したものであるため、その他の共通する構成については同一の符号を付し、重複する説明を省略する。
変形例に係る距離計測装置１Ｂは、撮影手段１０と、測距手段２０と、表示手段３０と、測距対象指定手段４０と、距離演算手段５０Ｂとを主に備える構成とした。
【００５２】
距離演算手段５０Ｂは、図８に示すように、方位角変換手段５１と、被写体間距離演算手段５２と、クラスタリング手段５３と、代表値演算手段５４と、代表値選択手段５５とを備えて構成される。
クラスタリング手段５３は、測距手段２０によって計測した各被写体の各距離のそれぞれ空間的に近傍に存在する距離のサンプル点群をグループ化したクラスタを生成するものである。
クラスタリング手段５３は、例えば、ｋ平均アルゴリズムにより、距離−方位平面上（又は、これを実座標に変換した空間内）において、距離のサンプル点群をグループ化してクラスタを生成する。ここで、図９上図に示すように、撮影手段１０によって、被写体Ａ，Ｂを含む画像が撮影され、表示手段３０に表示されている場合を例にとって説明する。この場合、クラスタリング手段５３は、測距手段２０から、距離ｄ（θ）の入力を受け付け、この距離ｄ（θ）をクラスタリングすることにより、図９下図に示すように、被写体Ａに対応する距離のサンプル点群として、破線の楕円で示すクラスタＣ２を、被写体Ｂに対応する距離のサンプル点群として、破線の楕円で示すクラスタＣ１を生成する。
【００５３】
クラスタ数ｋは、予め設定しておいても良いし、Ｄｉｒｉｃｈｌｅｔ過程で推定しても良い。Ｄｉｒｉｃｈｌｅｔ過程で推定することにより、クラスタ数ｋが未知の場合にも対応させることができる。
一方、クラスタ数ｋを予め設定する場合、被写体の数に対して不足することがないよう、撮影手段１０で撮影されると推定される被写体の数に対し、十分多めとなるように予め設定しておくと好ましい。例えば、クラスタ数ｋを５と予め設定しておいた場合に、図９上図に示すように被写体が２つ（被写体Ａ，Ｂ）の場合、クラスタリング手段５３は、この被写体Ａ，Ｂに５つのクラスタを自動的に割り当てるようになっている。クラスタリング手段５３は、例えば、被写体Ａにクラスタを２つ割り当て、被写体Ｂにクラスタを３つ割り当てる等して、それぞれについて距離のサンプル点群をグループ化する。
クラスタリング手段５３は、このようにして生成したクラスタを、代表値演算手段５４に出力する。
【００５４】
代表値演算手段５４は、クラスタリング手段５３から入力を受け付けたクラスタの代表値を演算する手段である。
代表値演算手段５４は、クラスタリング手段５３から、クラスタＣ１，Ｃ２の入力を受け付けると、このクラスタＣ１，Ｃ２のそれぞれについて、例えば、クラスタＣ１，Ｃ２内の距離値の平均値を演算し、この各平均値をそれぞれの代表値とする。
また例えば、代表値演算手段５４は、クラスタＣ１，Ｃ２内の、距離値の平均値から近い（例えば、それぞれの距離値の平均値から１ｍ以内）に存在するサンプル点のみに着目し、この着目したサンプル点のみを用いて距離値の平均値をそれぞれ演算し、各平均値をそれぞれの代表値としても良い。このように、より厳密に代表値を決定することによって、域外値に対する頑健性を向上させることができる。代表値演算手段５４は、演算結果である各クラスタＣの代表値及び各クラスタＣの番号を、代表値選択手段５５に出力する。
なおここでは、クラスタＣの距離値の平均値をクラスタＣの代表値としたが、これに限られるものではない。例えば、測距対象指定手段４０によって指定された指定位置が、クラスタＣから離れた位置であった場合、この指定位置から最も近いクラスタＣのサンプル点のうち、指定位置から最も距離が近いサンプル点をクラスタＣの代表値としても良く、適宜変更することができる。
【００５５】
代表値選択手段５５は、複数の被写体のそれぞれの方位角θに基づいて、各クラスタＣの中から、それぞれに最も近い代表値を持つクラスタを選択し、このクラスタＣの代表値を、被写体までの実空間上の距離ｄ（θ）とするものである。代表値選択手段５５は、選択したクラスタＣの代表値を、被写体までの実空間上の距離ｄ（θ）として、被写体間距離演算手段５２Ｂに出力する。
代表値選択手段５５は、方位角変換手段５１から複数の被写体のそれぞれの方位角θの入力を受け付けるとともに、代表値演算手段５４から各クラスタＣの各代表値及び各クラスタＣの番号の入力を受け付ける。そして、複数の被写体の各方位角θのそれぞれについて、各クラスタＣの中から最も近いクラスタＣの番号を選択し、選択したクラスタＣの代表値を、それぞれの距離ｄ（θ）とする。
【００５６】
例えば、図９に示す場合を例にとって説明すると、代表値選択手段５５は、方位角変換手段５１から被写体Ａ，Ｂのそれぞれの方位角θ１，θ２の入力を受け付けるとともに、代表値演算手段５４からクラスタＣ１，Ｃ２の各代表値及びクラスタＣ１，Ｃ２の番号の入力を受け付ける。
そして、代表値選択手段５５は、被写体Ａの方位角θ２について、最も近いクラスタＣとしてクラスタＣ２の番号を選択し、クラスタＣ２の代表値を被写体Ａの距離ｄ（θ２）として被写体間距離演算手段５２Ｂに出力する。また、代表値選択手段５５は、被写体Ｂの方位角θ１について、最も近いクラスタＣとしてクラスタＣ１の番号を選択し、クラスタＣ１の代表値を被写体Ｂの距離ｄ（θ１）として被写体間距離演算手段５２Ｂに出力する。
また例えば、図９上図に示す例で、測距対象指定手段４０によって、被写体Ａ，Ｂからずれた位置（左端の×印）が指定された場合には、代表値選択手段５５は、方位角変換手段５１から、この指定位置の画像座標を変換した方位角θ３（図示せず）の入力を受け付け、この方位角θ３に最も近いクラスタとして、クラスタＣ１の番号を選択し、クラスタＣ１の代表値を被写体間距離演算手段５２Ｂに出力する。
【００５７】
なお、代表値選択手段５５において、例えば、各クラスタｃ（ｃはクラスタの番号とする）の方位軸方向の平均μｃ及び分散σｃ２を考慮し、被写体の方位角θに最も近いクラスタＣを、数式（５）を用いて、マハラノビス距離の最小化により選択しても良い。
【００５８】
【数５】
【００５９】
あるいは、マハラノビス距離がＤ以上はなれたクラスタＣを無視するよう、数式（５）に代えて、数式（６）を用いてクラスタＣを選択しても良い。
【００６０】
【数６】
【００６１】
［変形例に係る距離計測装置の動作］
次に、変形例に係る距離計測装置１Ｂの動作について、図１０及び図６を参照して説明する。ここで、変形例に係る距離計測装置１Ｂの動作において、ステップＳ２１からステップＳ２５は、前記した実施形態に係る距離計測装置１の動作におけるステップＳ１からステップＳ５と共通するため説明を省略し、ここでは、距離計測装置１Ｂの距離演算手段５０の動作（図６のステップＳ２５の動作）について詳細に説明する。
【００６２】
図１０に示すように、距離計測装置１Ｂは、距離演算手段５０Ｂの方位角変換手段５１によって、測距対象指定手段４０から、各指定位置の画像座標（ｘ１，ｙ１）と画像座標（ｘ２，ｙ２）の入力を受け付ける（ステップＳ３１）。
また、距離計測装置１Ｂは、距離演算手段５０Ｂの方位角変換手段５１によって、ズーム計測手段１３からレンズの画角情報Θの入力を受け付ける（ステップＳ３２）。
さらに、距離計測装置１Ｂは、距離演算手段５０Ｂのクラスタリング手段５３によって、測距手段２０から距離ｄ（θ）の入力を受け付ける（ステップＳ３３）。なお、ステップＳ３１からステップＳ３３は、順番が入れ替わっても良く、また、同時に行われても良い。
【００６３】
次に、距離計測装置１Ｂは、距離演算手段５０Ｂの方位角変換手段５１によって、前記した数式（１）に基づき、画像座標（ｘ１，ｙ１）と画像座標（ｘ２，ｙ２）とを、それぞれの方位角θ１と方位角θ２とに変換する（ステップＳ３４）。
そして、距離計測装置１Ｂは、距離演算手段５０Ｂのクラスタリング手段５３によって、この被写体の実空間上の距離ｄ（θ）をクラスタリングすることにより、複数の被写体にそれぞれ対応するクラスタを生成する（ステップＳ３５）。距離計測装置１Ｂは、距離演算手段５０Ｂのクラスタリング手段５３によって、生成した各クラスタを、代表値演算手段５４に出力する。
【００６４】
距離計測装置１Ｂは、距離演算手段５０Ｂの代表値演算手段５４によって、クラスタリング手段５３から、各クラスタの入力を受け付けると、この各クラスタのそれぞれについて、代表値を演算する（ステップＳ３６）。距離計測装置１Ｂは、距離演算手段５０Ｂの代表値演算手段５４によって、演算結果である各代表値を、代表値選択手段５５に出力する。
【００６５】
距離計測装置１Ｂは、距離演算手段５０Ｂの代表値選択手段５５によって、方位角変換手段５１から複数の被写体のそれぞれの方位角θの入力を受け付ける。また、距離計測装置１Ｂは、距離演算手段５０Ｂの代表値選択手段５５によって、代表値演算手段５４から各クラスタの各代表値の入力を受け付ける。そして、距離計測装置１Ｂは、距離演算手段５０Ｂの代表値選択手段５５によって、複数の被写体の各方位角θのそれぞれについて、各代表値の中から最も近い代表値を選択し、選択した代表値を、測距対象指定手段４０によって指定した各被写体までの実空間上の各距離ｄ（θ）として、被写体間距離演算手段５２に出力する（ステップＳ３７）。
【００６６】
次に、距離計測装置１Ｂは、距離演算手段５０Ｂの被写体間距離演算手段５２によって、代表値選択手段５５から距離ｄ（θ１）及び距離ｄ（θ２）の入力を受け付ける。
そして、距離計測装置１Ｂは、距離演算手段５０Ｂの被写体間距離演算手段５２によって、数式（２）から数式（４）のいずれか一つを用いて、被写体間距離ｂを演算する（ステップＳ３８）。距離計測装置１Ｂは、距離演算手段５０Ｂの被写体間距離演算手段５２によって、演算結果である被写体間距離ｂを適宜出力する。
以上のようにして、距離計測装置１Ｂは、被写体間距離ｂを演算することができる。
【００６７】
変形例に係る距離計測装置１Ｂによれば、被写体の方位角に最も近いクラスタの代表値を選択するように構成したため、オペレータの手のブレなどにより所望の被写体からずれた位置を指定してしまい、これにより、測距対象指定手段４０によって、所望の被写体からずれた指定位置の画像座標を取得した場合にも、この指定位置の近傍のクラスタの代表値を被写体までの実空間上の距離として取得することができるので、操作性を向上させることができる。
【００６８】
また、第１実施形態に係る距離計測装置１では、被写体間距離演算手段５２によって、指定位置の水平座標に対応付けられた実空間上の距離をそのまま利用していたが、これに限られるものではない。
例えば、第１実施形態に係る距離計測装置において、距離演算手段５０に代えて、次のような距離演算手段５０Ｃとしても良い。
【００６９】
図１１に示すように、距離演算手段５０Ｃは、方位角変換手段５１と、被写体間距離演算手段５２Ｃと、距離探索手段５６とを備える構成とした。
被写体間距離演算手段５２Ｃは、測距対象指定手段４０によって取得した指定位置の水平座標に対応付けられた実空間上の距離に基づき、複数の被写体間の距離である被写体間距離を求めるものである。被写体間距離演算手段５２Ｃは、方位角変換手段５１から方位角θｎ（ｎ＝１，２,…，ｎ）の入力を複数受け付けると、距離探索手段５６に、方位角θｎに対応する距離ｄ（θｎ）を要求する信号を出力する。
被写体間距離演算手段５２Ｃは、距離探索手段５６から方位角θｎに対応する距離ｄ（θｎ）の入力を複数受け付け、これを用いて、被写体間距離ｂを演算する。
【００７０】
距離探索手段５６は、被写体間距離演算手段５２Ｃから探索要求信号の入力を受け付け、この探索要求信号に基づいて、測距手段２０から入力を受け付けた走査線１ライン分の実空間上の距離ｄ（θｎ）を探索し、探索結果を、方位角θｎに対応する距離ｄ（θｎ）として出力するものである。
距離探索手段５６は、被写体間距離演算手段５２Ｃから、方位角θｎ（ｎ＝１，２,…，ｎ）に対応する距離を要求する信号の入力を受け付けると、測距手段２０から入力を受け付けた距離ｄ（θ）を探索する。
【００７１】
具体的には、距離探索手段５６は、測距手段２０で計測した実空間上の距離ｄ（θ）を探索し、方位角θｎに対応する距離ｄ（θｎ）が見つかった場合、この距離ｄ（θｎ）が予め設定された距離範囲内にあるかどうかを判定する。そして、距離探索手段５６は、距離ｄ（θｎ）が予め設定された距離範囲内にあると判定した場合は、この距離ｄ（θｎ）を被写体間距離演算手段５２Ｃに出力する。
【００７２】
一方、距離探索手段５６は、方位角θｎに対応する距離ｄ（θｎ）があったが、予め設定された距離範囲内にない場合は、予め設定された距離範囲内にある測距結果のサンプル点のうち、方位角θｎに最も近い方位角φのサンプル点があるかどうかをさらに探索する。距離探索手段５６は、このサンプル点があった場合は、そのサンプル点の実空間上の距離ｄ（φ）を距離ｄ（θｎ）の代わりに、被写体間距離演算手段５２Ｃに出力する。なお、このとき、｜φ−θｎ｜が、予め設定された閾値（例えば、１０度）を超える場合は、距離ｄ（φ）を無効としても良い。
【００７３】
また、距離探索手段５６は、距離ｄ（θ）を探索し、方位角θｎに対応する距離ｄ（θｎ）がなかった場合、距離ｄ（θ）内に単に存在する測距結果のサンプル点のうち、方位角θｎに最も近い方位角φのサンプル点があるかどうかをさらに探索する。距離探索手段５６は、サンプル点があった場合、このサンプル点の実空間上の距離ｄ（φ）を、距離ｄ（θｎ）の代わりに、被写体間距離演算手段５２Ｃに出力する。
【００７４】
次に、距離演算手段５０Ｃの動作について図１２を参照して説明する。ここでは、方位角変換手段５１によって、測距対象指定手段４０から被写体Ａと被写体Ｂを指定する指定位置の画像座標の入力を受け付け、この画像座標をそれぞれの方位角θ１，θ２に変換し、被写体間距離演算手段５２Ｃに出力したものと仮定して説明する。
【００７５】
図１２に示すように、距離演算手段５０Ｃは、被写体間距離演算手段５２Ｃによって、方位角変換手段５１から方位角θ１，θ２の入力を受け付ける（ステップＳ４１）。また、距離演算手段５０Ｃは、被写体間距離演算手段５２Ｃによって、測距手段２０から測距結果として距離ｄ（θ）の入力を受け付ける（ステップＳ４２）。
【００７６】
距離演算手段５０Ｃは、被写体間距離演算手段５２Ｃによって、距離探索手段５６に、方位角θ１，θ２にそれぞれ対応する距離ｄ（θ１），距離ｄ（θ２）の探索を要求する信号を出力する（ステップＳ４３）。
次に、距離演算手段５０Ｃは、距離探索手段５６によって、被写体間距離演算手段５２Ｃから、距離ｄ（θ）から方位角θ１，θ２に対応する距離ｄ（θ１），ｄ（θ２）の探索を要求する信号の入力を受け付けると、探索を開始する（ステップＳ４４）。
距離演算手段５０Ｃは、距離探索手段５６によって、方位角θ１，θ２に対応する距離ｄ（θ１），ｄ（θ２）を見つけた場合（ステップＳ４５でＹｅｓ）、この距離ｄ（θ１），ｄ（θ２）のそれぞれについて、予め設定された距離範囲内（例えば、３ｍ乃至２００ｍまでの距離範囲）にあるかどうかをさらに判定する（ステップＳ４６）。
【００７７】
そして、距離演算手段５０Ｃは、距離探索手段５６によって、例えば、方位角θ１について、方位角θ１に対応する距離ｄ（θ１）があり、かつ、この距離ｄ（θ１）が予め設定された距離範囲内にあると判定した場合（ステップＳ４６でＹｅｓ）、この距離ｄ（θ１）を、被写体間距離演算手段５２Ｃに出力する（ステップＳ５１）。
【００７８】
一方、距離演算手段５０Ｃは、距離探索手段５６によって、例えば、方位角θ２について、方位角θ２に対応する距離ｄ（θ２）が見つかったが、この距離ｄ（θ２）が予め設定された距離範囲内にないと判定した場合（ステップＳ４６でＮｏ）、さらに距離ｄ（θ）を探索し、予め設定された距離範囲内にある測距結果のサンプル点のうち、方位角θ２に最も近い方位角φのサンプル点を探索する（ステップＳ４７）。距離探索手段５６は、このサンプル点があった場合（ステップＳ４８でＹｅｓ）は、さらに、｜φ−θ２｜が、予め設定された閾値（例えば、１０度）を超えないかどうかを判定する（ステップＳ４９）。なお、ステップＳ４９は、省略しても良い。
【００７９】
距離演算手段５０Ｃは、距離探索手段５６によって、｜φ−θ２｜が、予め設定された閾値を超えないと判定した場合（ステップＳ４９でＹｅｓ）、そのサンプル点の実空間上の距離ｄ（φ）を距離ｄ（θ２）の代わりに、被写体間距離演算手段５２Ｃに出力する（ステップＳ５０）。そして、距離演算手段５０Ｃは、被写体間距離演算手段５２Ｃによって、距離ｄ（θ１）と距離ｄ（φ）を用いて、被写体間距離ｂを演算する（ステップＳ５２）。
【００８０】
一方、距離演算手段５０Ｃは、距離探索手段５６によって、｜φ−θ２｜が、予め設定された閾値（例えば、１０度）を超えると判定した場合（ステップＳ４９でＮｏ）、被写体間距離演算手段５２Ｃに、方位角θ２に対応する距離が得られなかった旨のエラー信号を出力して処理を終了する（ステップＳ５３）。
【００８１】
また、距離演算手段５０Ｃは、距離探索手段５６によって、距離ｄ（θ）を探索し、例えば、方位角θ２に対応する距離ｄ（θ２）がなかった場合（ステップＳ４５でＮｏ）、距離ｄ（θ）内に単に存在する測距結果のサンプル点のうち、方位角θ２に最も近い方位角φのサンプル点があるかどうか探索する（ステップＳ４７）。距離探索手段５６は、サンプル点があった場合（ステップＳ４８でＹｅｓ）、さらに、前記したステップＳ４９を経て、方位角φが閾値を超えないかどうかを判定し、方位角φが閾値を超えないと判定した場合（ステップＳ４９でＹｅｓ）、サンプル点の実空間上の距離ｄ（φ）を、距離ｄ（θ２）の代わりに、被写体間距離演算手段５２Ｃに出力する。そして、距離演算手段５０Ｃは、被写体間距離演算手段５２Ｃによって、距離（θ２）と距離ｄ（φ）を用いて、被写体間距離ｂを演算する（ステップＳ５２）。
一方、距離演算手段５０Ｃは、距離探索手段５６によって、ステップＳ４９で方位角φが閾値を超えると判定した場合（ステップＳ４９でＮｏ）、被写体間距離演算手段５２Ｃに方位角θ２に対応する距離が得られなかった旨のエラー信号を出力して処理を終了する（ステップ５３）。
【００８２】
距離演算手段５０Ｃをこのように構成することで、オペレータの手のブレなどにより所望の被写体からずれた位置を指定し、測距対象指定手段４０によって、所望の被写体からずれた位置の画像座標を取得して被写体間距離演算手段５２に出力してしまった場合にも、近傍の被写体を探索してその被写体までの距離を取得することができるため、操作性を向上させることができる。
【００８３】
なお、前記した実施形態及び各変形例では、被写体が２人の場合を例にとって説明したが、被写体が３人以上であっても良いことはもちろんである。
例えば、撮影手段によって、３人の選手がマラソン競技をしている画像が得られた場合（仮に測距手段からの実空間上の距離が近い順に被写体Ａ，Ｂ，Ｃとする）に、オペレータによって、この被写体Ａ，Ｂ，Ｃが指定された場合、距離計測装置は、測距対象指定手段によって、この操作信号の入力を受け付け、指定位置の画像座標を取得し、距離演算手段に出力する。距離計測装置は、距離演算手段の方位角変換手段によって、指定位置の画像座標を方位角θ１，θ２，θ３に変換し、距離演算手段の被写体間距離演算手段によって、方位角θ１，θ２，θ３に対応する実空間上の距離ｄ（θ１），ｄ（θ２），ｄ（θ３）に基づいて、被写体間距離を演算する。このとき、被写体間距離演算手段は、隣接する選手間（Ａ−Ｂ間，Ｂ−Ｃ間）の距離を測定する。ここでいう「隣接」とは、例えば、画像上における水平座標が隣接するものと定義しても良いし、また、例えば、三次元実空間において、撮影手段から近い順に被写体を整順したときの隣同士の被写体を指すものと定義しても良い。
【００８４】
［合成画像生成装置の説明］
次に、前記した実施形態に係る距離計測装置又は変形例に係る距離計測装置を備えた合成画像生成装置の構成について説明する。
図１３に示すように、合成画像生成装置２は、距離計測装置１と、この距離計測装置１に接続された画像合成手段６０と、を主に備える構成とした。なお、距離計測装置１の構成は、前記した実施形態と同様であるため、ここでは説明を省略する。
【００８５】
画像合成手段６０は、距離計測装置１の撮影手段１０により得られた画像上に、距離計測装置１の距離演算手段５０により演算された被写体間距離ｂを表す文字又は被写体間の位置関係を表す図形を合成するものである。
画像合成手段６０は、距離計測装置１の撮影手段１０から画像情報の入力を受け付け、距離計測装置１の距離演算手段５０から被写体間距離ｂの入力を受け付け、距離計測装置１の測距対象指定手段４０から指定位置の画像座標の入力を受け付ける。
【００８６】
画像合成手段６０は、測距対象指定手段４０から入力を受け付けた指定位置の画像座標と、距離演算手段５０から入力を受け付けた被写体間距離ｂとに基づいて、撮影手段１０から入力を受け付けた画像上に、文字や図形を合成し、合成画像を生成する。
このとき、画像合成手段６０は、撮影手段１０で撮影された画像上に、当該画像の遠近感に整合するような投影変換を行いつつ文字や図形を描画するようにしても良い。
例えば、画像合成手段６０は、距離計測装置１の距離演算手段５０によって、数式（４）に基づいて演算された、指定位置Ｐ１の実座標（ξ１，η１，ζ１）及び指定位置Ｐ２の実座標（ξ２，η２，ζ２）の入力を受け付け、実座標系において、始点Ｄ１が（ξ１，η１，ζ１）となり、終点Ｄ２が（ξ２，η２，ζ２）となるように、例えば図１６に示すような矢印型の図形Ｄ（矢印の厚みは０とする）を画像上に仮想的に配置する。この仮想的な図形を、現在のレンズ１１の画角情報Θを考慮して透視投影することで、画像合成手段６０は、自然な遠近感で、矢印型の図形Ｄを画像上に配置することができる。この場合、画像合成手段６０は、ズーム計測手段１３からレンズ１１の画角情報Θの入力を受け付ける。なお、このようにして生成した図形又は文字を画像上に配置する場合、η軸の正又は負の方向に適宜ずらして、被写体に重ならないように配置すると、見やすく表示できるためより好ましい。
また、画像合成手段６０は、生成した合成画像を、表示手段３０に適宜出力する。
【００８７】
次に、合成画像生成装置２の動作について説明する。なお、合成画像生成装置２において、距離計測装置１が行う動作のうち、第１実施形態に係る距離計測装置１と共通する動作については、適宜説明を省略し、ここでは、主に画像合成手段６０の動作を説明する。ここでは、距離計測装置１の撮影手段１０によって、撮影された画像情報が画像合成手段６０に出力され、距離計測装置１の測距対象指定手段４０によって、指定位置の画像座標が取得されて、画像合成手段６０に出力され、また、距離計測装置１の距離演算手段５０によって、被写体間距離ｂが演算されて、画像合成手段６０に出力されているものとする。
【００８８】
図１４に示すように、合成画像生成装置２は、画像合成手段６０によって、距離計測装置１の撮影手段１０から、画像情報の入力を受け付ける（ステップＳ６１）。また、合成画像生成装置２は、画像合成手段６０によって、距離計測装置１の測距対象指定手段４０から、指定位置の画像座標の入力を受け付ける（ステップＳ６２）。また、合成画像生成装置２は、画像合成手段６０によって、距離計測装置１の距離演算手段５０から、被写体間距離ｂの入力を受け付ける（ステップＳ６３）。
【００８９】
合成画像生成装置２は、画像合成手段６０によって、指定位置の画像座標と、被写体間距離ｂとに基づいて、画像情報に文字、図形のいずれか一方又は双方を生成する（ステップＳ６４）。そして、合成画像生成装置２は、画像合成手段６０によって、生成した文字、図形のいずれか一方又は双方を画像に合成し、合成画像を生成する（ステップＳ６５）。
【００９０】
このようにして、合成画像生成装置２は、例えば、図１５に示すような合成画像を生成する。図１５に示すのは、被写体Ａ，Ｂが測距対象として指定されている場合であり、被写体Ｂから被写体Ａに向かって矢印型の図形Ｄを描画し、この矢印型の図形Ｄの横に、被写体間距離ｂの値を文字Ｅで描画している。ここでは、矢印型の図形Ｄの幅が、被写体Ｂから被写体Ａに向かうにつれて（距離計測装置１からの距離が近づくにつれて）広がるように描画することで、被写体Ａ−Ｂ間の距離感を表現している。
【００９１】
このような合成画像生成装置２によれば、画像上に被写体間距離や被写体間の位置関係を表示することができるため、視覚的にわかりやすい情報提示が可能となる。
例えば、マラソン競技の中継番組において、画面内に映っている選手間の距離の差を視覚的かつ定量的に表現することができるので、競技の状況を視聴者に詳細に伝達することが可能となる。また、被写体間距離や被写体間の位置関係を、実際の三次元的配置を考慮した自然な遠近感で実現することができるため、視覚的に違和感の少ない情報提示が可能となる。
【００９２】
以上説明したような、距離計測装置１，１Ｂ，１Ｃ及び合成画像生成装置２は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、距離計測装置の距離演算手段は、コンピュータを、距離演算手段として機能させる距離計測プログラムにより動作させることができる。この距離計測プログラムは、ネットワークを介して配信することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【符号の説明】
【００９３】
１，１Ｂ，１Ｃ 距離計測装置
２ 合成画像生成装置
１０ 撮影手段
２０ 測距手段
３０ 表示手段
４０ 測距対象指定手段
５０，５０Ｂ，５０Ｃ 距離演算手段
５１ 方位角変換手段
５２ 被写体間距離演算手段
５３ クラスタリング手段
５４ 代表値演算手段
５５ 代表値選択手段
５６ 距離探索手段
６０ 画像合成手段
Ａ，Ｂ 被写体
Ｃ クラスタ
Ｄ 矢印
Ｅ 図形
【特許請求の範囲】
【請求項１】
撮影された複数の被写体間の実空間上の距離である被写体間距離を計測する距離計測装置であって、
前記複数の被写体を撮影する撮影手段と、
前記距離計測装置からの前記実空間上の距離を、前記撮影手段で撮影された画像の水平座標に対応付けて計測する測距手段と、
前記画像を表示する表示手段と、
外部から、前記表示手段に表示された前記画像上の前記被写体を指定する操作信号の入力を複数受け付け、前記操作信号により指定された各指定位置の画像座標を順次取得する測距対象指定手段と、
前記各指定位置の水平座標に対応付けられた各前記実空間上の距離に基づいて、指定された前記被写体間の前記被写体間距離を演算する距離演算手段とを備えることを特徴とする距離計測装置。
【請求項２】
前記撮影手段は、
焦点距離が可変なレンズと、
当該レンズと接続され、前記レンズの前記焦点距離を計測し、この焦点距離を画角情報に変換するズーム計測手段とをさらに備えることを特徴とする請求項１に記載の距離計測装置。
【請求項３】
前記測距対象指定手段は、
外部からのタッチ操作による前記画像上の前記被写体を指定する前記操作信号の入力を受け付け、前記操作信号により指定された前記指定位置の画像座標を取得するタッチパネルであることを特徴とする請求項１または請求項２に記載の距離計測装置。
【請求項４】
前記タッチパネルは、
前記操作信号の入力を複数受け付け、複数の前記操作信号により指定された複数の前記指定位置の画像座標をそれぞれ取得することを特徴とする請求項３に記載の距離計測装置。
【請求項５】
前記距離演算手段は、
前記測距手段で取得された前記実空間上の距離の入力を受け付け、この前記実空間上の距離から、前記測距対象指定手段で取得された前記指定位置の水平座標に対応付けられた実空間上の距離を探索し、当該指定位置の水平座標に対応付けられた実空間上の距離が、所定の数値の範囲外にある場合に、この指定位置の水平座標の周囲で、実空間上の距離が前記所定の数値の範囲内にある水平座標を探索し、実空間上の距離が前記所定の数値の範囲内にある水平座標のうち、前記指定位置の水平座標に最も近い水平座標を選択し、この水平座標に対応付けられた実空間上の距離を、前記指定位置の水平座標に対応付けられた前記実空間上の距離とする距離探索手段をさらに備えることを特徴とする請求項１から請求項４のいずれか一項に記載の距離計測装置。
【請求項６】
前記距離演算手段は、
前記測距手段で計測された前記実空間上の各距離を空間的にクラスタリングし、各前記方位角にそれぞれ対応するクラスタを生成するクラスタリング手段と、
前記クラスタリング手段で生成された各前記クラスタの代表値をそれぞれ演算する代表値演算手段と、
前記代表値演算手段によって演算された前記各クラスタの代表値の中から、前記指定位置の水平座標に最も近い前記クラスタの代表値を、前記指定位置の水平座標に対応付けられた前記実空間上の距離として選択する代表値選択手段とをさらに備えることを特徴とする請求項１から請求項４のいずれか一項に記載の距離計測装置。
【請求項７】
請求項１から請求項６のいずれか一項の距離計測装置により得られた、前記被写体間距離に基づき、前記撮影手段により得られた前記画像上に、前記被写体間距離を表す文字または前記被写体間の位置関係を表す図形を合成する画像合成手段を備えることを特徴とする合成画像生成装置。
【請求項８】
前記画像合成手段は、
請求項１から請求項６のいずれか一項に記載の距離計測装置の前記距離演算手段により得られた前記被写体間距離と、請求項１から請求項６のいずれか一項に記載の距離計測装置の前記測距対象指定手段により得られた前記指定位置の画像座標とに基づき、前記被写体の実空間上における三次元位置を算出し、当該三次元位置に応じて、前記画像上に前記文字または前記図形を拡大、縮小又は変形して合成することを特徴とする請求項７に記載の合成画像生成装置。
【請求項９】
撮影手段によって撮影された複数の被写体間の実空間上の距離である被写体間距離を、距離計測装置からの実空間上の距離を、撮影手段で撮影された画像の水平座標に対応付けて計測する測距手段によって計測された前記実空間上の距離に基づいて演算するために、コンピュータを、
外部から、前記撮影手段で撮影された画像を表示する表示手段に表示された前記画像上の前記被写体を指定する操作信号の入力を複数受け付け、前記操作信号により指定された指定位置を順次取得する測距対象指定手段により取得された各前記指定位置の水平座標に対応付けられた前記実空間上の距離に基づいて、指定された前記被写体間の前記被写体間距離を演算する距離演算手段として機能させることを特徴とする距離計測プログラム。
【請求項１】
撮影された複数の被写体間の実空間上の距離である被写体間距離を計測する距離計測装置であって、
前記複数の被写体を撮影する撮影手段と、
前記距離計測装置からの前記実空間上の距離を、前記撮影手段で撮影された画像の水平座標に対応付けて計測する測距手段と、
前記画像を表示する表示手段と、
外部から、前記表示手段に表示された前記画像上の前記被写体を指定する操作信号の入力を複数受け付け、前記操作信号により指定された各指定位置の画像座標を順次取得する測距対象指定手段と、
前記各指定位置の水平座標に対応付けられた各前記実空間上の距離に基づいて、指定された前記被写体間の前記被写体間距離を演算する距離演算手段とを備えることを特徴とする距離計測装置。
【請求項２】
前記撮影手段は、
焦点距離が可変なレンズと、
当該レンズと接続され、前記レンズの前記焦点距離を計測し、この焦点距離を画角情報に変換するズーム計測手段とをさらに備えることを特徴とする請求項１に記載の距離計測装置。
【請求項３】
前記測距対象指定手段は、
外部からのタッチ操作による前記画像上の前記被写体を指定する前記操作信号の入力を受け付け、前記操作信号により指定された前記指定位置の画像座標を取得するタッチパネルであることを特徴とする請求項１または請求項２に記載の距離計測装置。
【請求項４】
前記タッチパネルは、
前記操作信号の入力を複数受け付け、複数の前記操作信号により指定された複数の前記指定位置の画像座標をそれぞれ取得することを特徴とする請求項３に記載の距離計測装置。
【請求項５】
前記距離演算手段は、
前記測距手段で取得された前記実空間上の距離の入力を受け付け、この前記実空間上の距離から、前記測距対象指定手段で取得された前記指定位置の水平座標に対応付けられた実空間上の距離を探索し、当該指定位置の水平座標に対応付けられた実空間上の距離が、所定の数値の範囲外にある場合に、この指定位置の水平座標の周囲で、実空間上の距離が前記所定の数値の範囲内にある水平座標を探索し、実空間上の距離が前記所定の数値の範囲内にある水平座標のうち、前記指定位置の水平座標に最も近い水平座標を選択し、この水平座標に対応付けられた実空間上の距離を、前記指定位置の水平座標に対応付けられた前記実空間上の距離とする距離探索手段をさらに備えることを特徴とする請求項１から請求項４のいずれか一項に記載の距離計測装置。
【請求項６】
前記距離演算手段は、
前記測距手段で計測された前記実空間上の各距離を空間的にクラスタリングし、各前記方位角にそれぞれ対応するクラスタを生成するクラスタリング手段と、
前記クラスタリング手段で生成された各前記クラスタの代表値をそれぞれ演算する代表値演算手段と、
前記代表値演算手段によって演算された前記各クラスタの代表値の中から、前記指定位置の水平座標に最も近い前記クラスタの代表値を、前記指定位置の水平座標に対応付けられた前記実空間上の距離として選択する代表値選択手段とをさらに備えることを特徴とする請求項１から請求項４のいずれか一項に記載の距離計測装置。
【請求項７】
請求項１から請求項６のいずれか一項の距離計測装置により得られた、前記被写体間距離に基づき、前記撮影手段により得られた前記画像上に、前記被写体間距離を表す文字または前記被写体間の位置関係を表す図形を合成する画像合成手段を備えることを特徴とする合成画像生成装置。
【請求項８】
前記画像合成手段は、
請求項１から請求項６のいずれか一項に記載の距離計測装置の前記距離演算手段により得られた前記被写体間距離と、請求項１から請求項６のいずれか一項に記載の距離計測装置の前記測距対象指定手段により得られた前記指定位置の画像座標とに基づき、前記被写体の実空間上における三次元位置を算出し、当該三次元位置に応じて、前記画像上に前記文字または前記図形を拡大、縮小又は変形して合成することを特徴とする請求項７に記載の合成画像生成装置。
【請求項９】
撮影手段によって撮影された複数の被写体間の実空間上の距離である被写体間距離を、距離計測装置からの実空間上の距離を、撮影手段で撮影された画像の水平座標に対応付けて計測する測距手段によって計測された前記実空間上の距離に基づいて演算するために、コンピュータを、
外部から、前記撮影手段で撮影された画像を表示する表示手段に表示された前記画像上の前記被写体を指定する操作信号の入力を複数受け付け、前記操作信号により指定された指定位置を順次取得する測距対象指定手段により取得された各前記指定位置の水平座標に対応付けられた前記実空間上の距離に基づいて、指定された前記被写体間の前記被写体間距離を演算する距離演算手段として機能させることを特徴とする距離計測プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−２４３３５８（Ｐ２０１０−２４３３５８Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−９３１２５（Ｐ２００９−９３１２５）
【出願日】平成２１年４月７日（２００９．４．７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月７日（２００９．４．７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]