位置特定装置、位置特定方法、及びプログラム
【課題】基準位置からのベースライン長を十分に確保できない位置での撮像画像を用いて行うステレオ視による対象物の位置特定の精度を向上させる。
【解決手段】撮像位置特定部１は、位置情報が既知である基準位置の当該位置情報と、当該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で当該対象物を撮像して得た撮像位置画像とに基づいて、当該撮像位置の位置情報の特定を行う。対象物位置特定部２は、既知位置の位置情報と、当該既知位置で当該対象物を撮像して得た既知位置画像と、当該撮像位置の位置情報と、当該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、当該対象物の位置情報の特定を行う。なお、既知位置とは、撮像位置特定部１で位置情報が特定された撮像位置からの距離が前述の基準位置よりも大きい地点に位置しており、且つ、位置情報が既知である位置のことである。
【解決手段】撮像位置特定部１は、位置情報が既知である基準位置の当該位置情報と、当該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で当該対象物を撮像して得た撮像位置画像とに基づいて、当該撮像位置の位置情報の特定を行う。対象物位置特定部２は、既知位置の位置情報と、当該既知位置で当該対象物を撮像して得た既知位置画像と、当該撮像位置の位置情報と、当該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、当該対象物の位置情報の特定を行う。なお、既知位置とは、撮像位置特定部１で位置情報が特定された撮像位置からの距離が前述の基準位置よりも大きい地点に位置しており、且つ、位置情報が既知である位置のことである。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で議論される実施態様は、物体の位置の特定技術に関する。
【背景技術】
【０００２】
近年、自動車の安全運転を支援する技術として、ドライバから見難い範囲や死角となる汎用の映像をドライバへ提供する技術が各種提案されている。
また、このような安全運転の支援技術として、自車両の周囲に存在する各物体の自車両からの距離を計測し、例えば、その自車両の周囲の三次元画像を生成として表示することで、その周囲の情報をドライバへ違和感なく提供するようなシステムも考えられている。このようなシステムの実現には、自車両の速度に依存しない安定した距離計測の技術と、低廉なコストとが求められる。
【０００３】
距離計測の手法のひとつとして、ステレオ視を行って得られる視差画像を基に、三角測量の原理により距離を算出するという手法が知られている。例えば、第一技術として、車両に設置した単一の撮像装置で、時系列的に視差付けされた２枚の画像を２つの地点で撮像すると共に当該２地点間の移動データを求め、両画像に映っている立体物までの距離を、三角測量の原理で求めるという技術が知られている。
【０００４】
また、単眼ステレオと複眼ステレオとを切り替えて、あるいは、周囲の状況（立体物までの距離や車両速度）に応じて両者の重みを調整しつつ当該両者を利用して、両者の欠点を補いつつ、立体物までの距離を精度良く求めるという手法も知られている。例えば、第二技術として、車両の静止時には複眼ステレオのみを用いて立体物までの距離を求める一方、車両が移動しているときには単眼ステレオと複眼ステレオとの各々による距離測定の結果を統合して、立体物までの距離を求めるという技術が知られている。また、例えば、第三技術として、複眼ステレオが使用可能な領域では複眼ステレオを用いて立体物までの距離を求める一方、複眼ステレオが使用できない領域では、単眼ステレオを用いて立体物までの距離を求めるという技術も知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２６３６５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述した第一技術では、２地点間の移動データが自車両の速度に依存するため、安定した距離計測が難しい。
また、前述した第二技術では、単眼ステレオと複眼ステレオとの両者を使用するため、システムコストが高価なものになる。
【０００７】
また、前述した第二技術及び第三技術で使用される複眼ステレオでは、立体物の位置の推定精度が２台のカメラ間の距離（ベースライン）に依存し、ベースラインを長くするほど距離推定精度が向上する。しかし、２台のカメラを車両に搭載することを考えると、ベースラインを長くすることは難しいため、精度の良い距離計測を行える立体物の存在範囲が、自車両周囲の近距離に限定される。
【０００８】
なお、単眼ステレオでも、自車両が停止している状態から動き出した直後は十分なベースライン長を確保できないために、精度の良い距離計測が行えない。
上述した問題に鑑み、本明細書で後述する位置特定装置は、基準位置からのベースライン長を十分に確保できない位置での撮像画像を用いて行うステレオ視による対象物の位置特定の精度を向上させる。
【課題を解決するための手段】
【０００９】
本明細書で後述する位置特定装置のひとつに、撮像位置特定部と対象物位置特定部とを備えるというものがある。ここで、撮像位置特定部は、位置情報が既知である基準位置の当該位置情報と、当該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で当該対象物を撮像して得た撮像位置画像とに基づいて、当該撮像位置の位置情報の特定を行う。そして、対象物位置特定部は、既知位置の位置情報と、当該既知位置で当該対象物を撮像して得た既知位置画像と、当該撮像位置の位置情報と、当該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、当該対象物の位置情報の特定を行う。なお、ここで、既知位置とは、撮像位置特定部で位置情報が特定された撮像位置からの距離が前述の基準位置よりも大きい地点に位置しており、且つ、位置情報が既知である位置のことである。
【００１０】
また、本明細書で後述する位置特定方法のひとつは、まず、任意の撮像位置で対象物を撮像して撮像位置画像を得たときの当該撮像位置の位置情報の特定を撮像位置特定部が行う。なお、この撮像位置の位置情報の特定は、位置情報が既知である基準位置の当該位置情報と、当該基準位置で対象物を撮像して得た基準位置画像と、前述の撮像位置画像とに基づいて行う。次に、既知位置の位置情報と、当該既知位置で当該対象物を撮像して得た既知位置画像と、当該撮像位置の位置情報と、当該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいた当該対象物の位置情報の特定を、対象物位置特定部が行う。なお、ここで、既知位置とは、撮像位置特定部が位置情報を特定した撮像位置からの距離が前述の基準位置よりも大きい地点に位置しており、且つ、位置情報が既知である位置のことである。
【００１１】
また、本明細書で後述するプログラムのひとつは、以下の処理をコンピュータに行わせる。この処理は、まず、位置情報が既知である基準位置の当該位置情報と、当該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で当該対象物を撮像して得た撮像位置画像とに基づいて、当該撮像位置の位置情報の特定を行う。そして、次に、既知位置の位置情報と、当該既知位置で前述の対象物を撮像して得た既知位置画像と、当該撮像位置の位置情報と、当該撮像位置で当該対象物を撮像して得た撮像位置画像とに基づいて、当該対象物の位置情報の特定を行う。ここで、既知位置とは、前述の撮像位置の位置情報の特定によって位置情報を特定した撮像位置からの距離が前述の基準位置よりも大きい地点に位置しており、且つ、位置情報が既知である位置のことである。
【発明の効果】
【００１２】
本明細書で後述する位置特定装置によれば、基準位置からのベースライン長を十分に確保できない位置での撮像画像を用いて行うステレオ視による対象物の位置特定の精度が向上するという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】位置特定装置の一実施例の機能ブロック図である。
【図２】位置特定装置の別の一実施例の機能ブロック図である。
【図３Ａ】アクチュエータにより開閉可能なドアミラーにカメラが固定されている構造の一例（その１）である。
【図３Ｂ】アクチュエータにより開閉可能なドアミラーにカメラが固定されている構造の一例（その２）である。
【図４Ａ】第一撮影画像の説明図である。
【図４Ｂ】第二撮影画像の説明図である。
【図５】図２の位置特定装置における位置特定部による対象物の位置特定の動作を説明する図である。
【図６】位置特定装置の更なる別の一実施例の機能ブロック図である。
【図７】位置特定処理の処理内容を図解したフローチャートである。
【図８】図７のフローチャートの説明図である。
【図９】画像取得処理の処理内容を図解したフローチャートである。
【図１０】撮像位置特定処理の処理内容を図解したフローチャートである。
【図１１】選択処理の処理内容を図解したフローチャートである。
【図１２】位置特定及び距離算出処理の処理内容を図解したフローチャートである。
【図１３】コンピュータのハードウェア構成例である。
【発明を実施するための形態】
【００１４】
まず図１について説明する。図１は、位置特定装置の一実施例の機能ブロック図である。この位置特定装置は、撮像位置特定部１と対象物位置特定部２とを備えている。
撮像位置特定部１は、位置情報が既知である基準位置の当該位置情報と、当該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で当該対象物を撮像して得た撮像位置画像とに基づいて、当該撮像位置の位置情報の特定を行う。
【００１５】
対象物位置特定部２は、既知位置の位置情報と、既知位置画像と、撮像位置特定部１で位置情報が特定された撮像位置の位置情報と、当該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、当該対象物の位置情報の特定を行う。なお、ここでの既知位置とは、撮像位置特定部１で位置情報が特定された撮像位置からの距離が前述の基準位置よりも大きい（長い）地点に位置しており位置情報が既知である位置である。また、既知位置画像とは、当該既知位置で前述の対象物を撮像して得た画像である。
【００１６】
この位置特定装置では、撮像位置特定部１で位置情報が特定された撮像位置からの距離が基準位置よりも大きい（長い）地点に位置している既知位置と当該既知位置での既知位置画像とを用いて対象物の位置情報の特定が行われる。一般に、ステレオ視による対象物の位置の特定の精度は、その位置特定に用いる２枚の画像の撮像位置間の距離（ベースライン）を長くするほど向上する。従って、図１の位置特定装置による位置特定の精度は、基準位置と基準位置画像とを用いる場合におけるものよりも向上する。
【００１７】
なお、図１に破線を用いて図解したように、この位置特定装置に選択部３を備えるように構成してもよい。
この選択部３は、前述の既知位置が複数存在する場合に、当該複数の既知位置のうちから、対象物位置特定部２による前述の対象物の位置特定の基礎として用いるときの適性を表している所定の条件に合致するものを、前述の選択既知位置として選択する。
【００１８】
なお、このように構成する場合には、対象物位置特定部２は、選択部３が選択した選択既知位置の位置情報と、選択既知位置画像と、前述の撮像位置の位置情報と、前述の撮像位置画像とに基づいて、当該対象物の位置情報の特定を行う。なお、選択既知位置画像とは、選択部３が選択した選択既知位置で前述の対象物を撮像して得た画像である。
【００１９】
なお、選択部３による選択既知位置の選択では、例えば、前述の複数の既知位置のうちで、撮像位置特定部１が位置情報を特定した撮像位置からの距離が大きい順序（長い順序）に所定数個を選択するようにする。
【００２０】
前述したように、ステレオ視による対象物の位置の特定の精度は、その位置特定に用いる２枚の画像の撮像位置間のベースラインを長くするほど向上する。従って、上述のように、複数の既知位置のうちから、上述の撮像位置からの距離が長いものを選択部３が選択するようにすることで、対象物位置特定部２による対象物の位置特定の精度の更なる向上が期待できる。
【００２１】
また、図１に破線を用いて図解したように、この位置特定装置に記録部４を備えるように構成してもよい。この記録部４には、過去に行われた対象物の位置情報の特定結果の履歴が記録されている。なお、この構成においては、選択部３は、複数の既知位置からの選択既知位置の選択を、例えば以下のようにして行う。
【００２２】
すなわち、複数の既知位置のうちで、撮像位置特定部１が位置情報を特定した撮像位置を結ぶ線分の垂直二等分線からの、記録部４に記録されている過去の位置情報の特定結果に係る対象物の位置までの距離が短くなる順序に所定数個を、選択するようにしてもよい。
【００２３】
一般に、ステレオ視による対象物の位置の特定の精度は、その位置特定に用いる２枚の画像を撮像した２つの撮像位置からの距離の差が少ないほど向上する。つまり、対象物の位置が、当該２つの撮像位置を結ぶ線分の垂直二等分線に近いほど、当該対象物の位置特定の精度が向上する。従って、上述のようにして選択部３が選択既知位置を選択することで、対象物位置特定部２による対象物の位置特定の精度の更なる向上が期待できる。
【００２４】
なお、選択部３が選択既知位置を複数個選択した場合には、対象物位置特定部２は、対象物についての位置情報の特定を、例えば以下のように行う。
すなわち、対象物位置特定部２は、まず、対象物についての位置情報の特定を、選択部３が選択した複数個の選択既知位置の各々について行う。そして、この特定により得られる複数の位置情報で示される複数の位置の重心を求め、その重心の位置情報を、当該対象物の位置情報の特定結果とする。このようにして、複数個の選択既知位置の各々について特定された複数の位置情報の重心を、当該対象物の位置情報の特定結果とすることで、位置特定の精度の更なる向上が期待できる。
【００２５】
また、選択部３が選択既知位置を複数個選択した場合には、対象物位置特定部２は、対象物についての位置情報の特定を、例えば以下のように行ってもよい。
すなわち、対象物位置特定部２は、対象物についての位置情報の特定を、選択部３が選択した複数個の選択既知位置の各々についてまず行う。次に、この特定により得られる複数の位置情報で示される複数の位置の各々に対して、位置情報の特定に用いた選択既知位置を選択部３が選択したときの選択順序に応じた重み付けを与える。そして、この重み付けが各々与えられた複数の位置の重み付け重心を求め、その重み付け重心の位置情報を、当該対象物の位置情報の特定結果とする。このようにして、複数個の選択既知位置の各々について特定された複数の位置情報に、選択既知位置の選択順序に応じた重みを与えたときの重み付き重心を、当該対象物の位置情報の特定結果とすることで、位置特定の精度の更なる向上が期待できる。
【００２６】
また、図１に破線を用いて図解したように、この位置特定装置に判定部５を備えるように構成してもよい。判定部５は、前述の基準位置と撮像位置特定部１が特定した撮像位置との間の距離である基線距離と、所定の距離閾値との長短を判定する。なお、この構成においては、対象物位置特定部２は、対象物の位置情報の特定を、例えば以下のものに基づいて行う。
【００２７】
まず、基線距離が当該距離閾値よりも短いと判定部５が判定したときには、対象物の位置情報の特定が、選択部３が選択した選択既知位置の位置情報及び選択既知位置画像と、撮像位置特定部１が特定した撮像位置の位置情報及び撮像位置画像とに基づき行われる。一方、基線距離が当該距離閾値よりも長いと判定部５が判定したときには、対象物の位置情報の特定が、基準位置の位置情報及び基準位置画像と、撮像位置特定部１が特定した撮像位置の位置情報及び撮像位置画像とに基づき行われる。
【００２８】
この構成では、上述の基線距離（すなわちベースライン）が、所望の位置特定の精度が得られる距離閾値よりも長い場合には、対象物位置特定部２による対象物の位置情報の特定を、基準位置の位置情報及び基準位置画像を用いて行うというものである。
【００２９】
なお、図１に破線を用いて図解したように、この位置特定装置に、単一の撮像装置６を更に備えるように構成してもよい。この撮像装置６は、例えば自動車などの移動体に設置されており、前述の基準位置画像、撮像位置画像、及び既知位置画像の全ての撮像を行う。
【００３０】
また、図１に破線を用いて図解したように、この位置特定装置に、距離算出部７を更に備えるように構成してもよい。この距離算出部７は、撮像装置６から前述の対象物までの距離を、対象物位置特定部２が特定した対象物の位置情報と、撮像位置特定部１が特定した撮像位置の位置情報とに基づいて算出する。
【００３１】
次に、位置特定装置を用いて、自動車周辺の対象物の位置を特定して、当該対象物の当該車両からの距離を求める実施例について、当該自動車が静止している場合の実施例と、静止状態であった当該自動車が移動を開始した直後の場合の実施例とに分けて説明する。
【００３２】
まず図２について説明する。図２は、位置特定装置の別の一実施例の機能ブロック図である。この図２の位置特定装置は、自動車が静止している場合における、当該自動車周辺の対象物の位置の特定と、当該対象物の当該車両からの距離の算出とを行う。
【００３３】
図２の位置特定装置は、カメラ１１、アクチュエータ１２、アクチュエータ制御部１３、画像取得部１４、画像処理部１５、特徴点追跡結果格納メモリ１６、位置特定部１７、及び距離算出部１８を備えている。
【００３４】
カメラ１１は対象物を撮像する撮像装置であり、アクチュエータ１２は、このカメラ１１の位置を移動させる。アクチュエータ制御部１３は、アクチュエータ１２によるカメラ１１の移動動作を制御するものである。
【００３５】
ここで、カメラ１１と、アクチュエータ１２と、アクチュエータ制御部１３との関係について、図３Ａ及び図３Ｂを参照しながら説明する。
図３Ａに図解されているように、カメラ１１は自動車のドアミラー１９の先端部分に固定されており、当該自動車の側方の対象物を撮像する。アクチュエータ１２は、このドアミラー１９の自動開閉動作の駆動用のモータであり、アクチュエータ制御部１３がアクチュエータ１２を制御してドアミラー１９を開閉動作させることで、カメラ１１を移動させることができる。従って、ドアミラー１９を開閉動作させたときのカメラ１１の移動の経路（軌跡）は既知である。
【００３６】
なお、このアクチュエータ制御部１３は、ドアミラー１９が完全に閉じたこと及び完全に開いたことの検出はできるが、開閉動作の途中においてドアミラー１９がどの程度開いているかを検出することはできない。また、ドアミラー１９が完全に閉じたとき及び完全に開いたときのカメラ１１の位置（自動車に対する相対位置及び向き）及びカメラ１１の軌跡は既知であるが、その開閉動作の途中でカメラ１１の位置（軌跡上のどこか）を、知ることはできない。
【００３７】
カメラ１１は、ドアミラー１９の開閉動作による移動の途中で順次撮像を繰り返す。
画像取得部１４は、カメラ１１が移動しながら複数枚撮像した対象物の画像を取得する。
【００３８】
画像処理部１５は、画像取得部１４が取得した複数枚の画像に対して各種の画像処理を施す。より具体的には、画像処理部１５は、特徴点抽出部１５ａと特徴点追跡部１５ｂとを備えており、いわゆるブロックマッチング処理を行う。
【００３９】
特徴点抽出部１５ａは、画像取得部１４が取得した撮像画像から部分画像領域（特徴点）の抽出を行う。特徴点抽出部１５ａは、カメラ１１が撮像した対象物が映っている画像領域から特徴点を抽出する。なお、この特徴点を抽出する手法としては、形状の特徴を用いる手法や色彩の特徴を用いる手法など、広く知られている各種の手法を用いることができる。
【００４０】
特徴点追跡部１５ｂは、画像取得部１４が取得した２枚の撮像画像から、特徴点抽出部１５ａが抽出した特徴点の類似度が所定の閾値以上で最大の位置を抽出し、２枚の画像間での特徴点の移動を追跡する。
【００４１】
特徴点追跡結果格納メモリ１６は、画像取得部１４が取得した撮像画像と、画像処理部１５による処理結果である、各撮像画像間での特徴点の追跡結果とを格納して記憶しておく記憶装置である。
【００４２】
位置特定部１７は、特徴点追跡結果格納メモリ１６に格納されている情報を用いて、カメラ１１が撮像した対象物の位置（自動車に対する相対位置）を特定する。位置特定部１７は第一位置特定部１７ａ及び第二位置特定部１７ｂを備えている。
【００４３】
第一位置特定部１７ａは、カメラ１１が撮像した対象物のひとつである第一対象物の位置を特定する。この第一対象物の位置の特定は、位置が既知である、ドアミラー１９が完全に閉じたとき及び完全に開いたときの位置（２つの既知点）の各々からカメラ１１が撮像して得た、第一対象物についての２枚の撮像画像（第一撮像画像）に基づいて行われる。
【００４４】
第二位置特定部１７ｂは、カメラ１１が撮像した対象物のひとつであって第一対象物とは別のものである第二対象物の位置を特定する。この位置の特定は、第一対象物の位置と、カメラ１１の軌跡上の任意の位置から撮像して得た、第一対象物の像も含まれている第二対象物についての１枚の撮像画像（第二撮像画像）と、第一撮像画像のうち第二対象物の像も含まれているものとに基づいて行われる。
【００４５】
ここで、第一撮影画像及び第二撮影画像について、図４Ａ及び図４Ｂを用いて説明する。
図４Ａ及び図４Ｂは、ドアミラー１９の開閉動作により移動するカメラ１１の視野の変化を図解している。
【００４６】
図４Ａにおいて、［１］はドアミラー１９が完全に閉じたときの視野であり、［２］はドアミラー１９が完全に開いたときの視野であり、［３］はドアミラー１９の開閉動作による軌跡上のある位置での視野である。また、［４］は、［１］の視野と［２］の視野とには重なりがあり、自車両の左側方で立っている人Ｈが、この両者の共通部分に位置していることを表現している。従って、人Ｈの像は、カメラ１１が［１］の視野で撮像した画像と、カメラ１１が［２］の視野で撮像した画像とのどちらにも含まれる。この場合において、人Ｈが第一対象物であり、カメラ１１が［１］及び［２］の各々で撮像して得た２枚の撮像画像が第一撮像画像となり、第一位置特定部１７ａは、この２枚の撮像画像から人Ｈの位置を特定する。
【００４７】
一方、図４Ｂは、それまで完全に閉じていたドアミラー１９の開動作によって、人Ｈのみが含まれていたカメラ１１の視野が変化して、車Ｖの一部も視野内に含むようになった様子を示している。この場合においては、第一位置特定部１７ａが位置の特定を行った人Ｈが第一対象物であり、車Ｖが第二対象物となり、カメラ１１が人Ｈと車Ｖとの両者を視野に含む位置で撮像した撮像画像が第二撮像画像となる。そして、第二位置特定部１７ｂは、第一位置特定部１７ａにより特定された人Ｈの位置と、第二撮像画像と、第一撮像画像のうち車Ｖの像も含まれているもの（図４Ａの［２］の画像）とから、車Ｖの位置を特定する。
【００４８】
なお、上記説明においては、第一対象物と第二対象物とは別個の物体である場合を例としているが、本実施例はこれに限るものではない。第一対象物、第二対象物とも、カメラ１１が撮像した画像上で特定可能な特徴点若しくは特徴領域であれば良い。その意味からすれば、第一対象物及び第二対象物は、同一の物体の異なる部位であっても構わない。例えば、カメラ１１を搭載した車Ｖの側方に、図４Ａの［１］、［２］、［３］いずれの状態でも撮像範囲に存在する、トラックや壁のような長い物体が存在する場合には、その物体の一部分を第一対象物とし、当該一部分とは別の一部分を第二対象物としてもよい。また、カメラ１１を搭載した車Ｖの側方に、図４Ａの［１］、［２］、［３］いずれの状態でも撮像範囲に存在する路面ペイントが存在する場合には、その路面ペイントのある一部分を第一対象物とし、当該一部分とは別の一部分を第二対象物としてもよい。
【００４９】
図２の説明に戻る。
距離算出部１８は、位置特定部１７により特定された第一対象物、第二対象物、第三対象物、…の各対象物についての、カメラ１１が設置されている自動車の所定位置からの距離を算出する。
【００５０】
なお、図２の位置特定部１７は、更に第三位置特定部１７ｃも備えている。第三位置特定部１７ｃは、カメラ１１が撮像した対象物のひとつであって第一対象物及び第二対象物とは別のものである第三対象物の位置を特定する。この特定は、第一対象物の位置と、第一対象物の像も含まれている第三対象物についての１枚の撮像画像（第三撮像画像）と、第一撮像画像のうち第三対象物の像も含まれているものとに基づいて行われる。
【００５１】
次に、位置特定部１７による対象物の位置特定の動作について、図５を用いて更に説明する。
図５は、ドアミラー１９を開閉動作させてカメラ１１を移動させながら、対象物Ａ（図５では丸印で表現）、対象物Ｂ（図５では四角印で表現）、及び対象物Ｃ（図５では三角印で表現）を撮像する様子を模式的に表したものである。
【００５２】
図５において、Ｐ１、Ｐ２、及びＱｉはカメラ１１の位置を表している。このうちのＰ１及びＰ２は、その位置が既知であり、ドアミラー１９が完全に閉じたとき及び完全に開いたときのカメラ１１の位置である。また、Ｑｉは、ドアミラー１９の開閉動作によりカメラ１１が移動することで描かれるＰ１・Ｐ２間の軌跡上の任意の位置である。
【００５３】
また、Ｐ１画像、Ｑｉ画像、及びＰ２画像は、それぞれ、カメラ１１がＰ１、Ｑｉ、及びＰ２の各位置において撮像して得た画像である。ここで、対象物Ａは、位置Ｐ１におけるカメラ１１の視野と位置Ｐ２におけるカメラ１１の視野とのどちらにも含まれる場所に位置しているので、Ｐ１画像、Ｑｉ画像、及びＰ２画像のいずれにも、対象物Ａの像が含まれている。一方、対象物Ｂは位置Ｐ２におけるカメラ１１の視野から外れているため、対象物Ｂの像は、Ｐ１画像及びＱｉ画像には含まれているが、Ｐ２画像には含まれていない。また、対象物Ｃは位置Ｐ１におけるカメラ１１の視野から外れているため、対象物Ｃの像は、Ｑｉ画像及びＰ２画像には含まれているが、Ｐ１画像には含まれていない。
【００５４】
この図５の例において、位置特定部１７が備えている第一位置特定部１７ａ及び第二位置特定部１７ｂは、それぞれ以下のように動作する。
まず、第一位置特定部１７ａは、対象物Ａ（第一対象物）の位置を特定する。第一位置特定部１７ａは、この位置の特定を、位置が既知である２つの既知点Ｐ１及びＰ２の各々からカメラ１１が撮像して得た２枚の撮像画像（第一撮像画像）であるＰ１画像及びＰ２画像に基づいて行う。つまり、第一位置特定部１７ａは、第一撮像画像を視差画像として使用して、前述した三角測量の原理により対象物Ａの位置（特徴点抽出部１５ａが抽出した各特徴点に対応する対象物Ａの各部の位置）を算出することで、その位置を特定する。
【００５５】
第二位置特定部１７ｂは、対象物Ａとは別のものである対象物Ｂ（第二対象物）の位置を特定する。第二位置特定部１７ｂは、この位置の特定を、既に特定した対象物Ａの位置と、対象物Ａの像も含まれている対象物Ｂについての撮像画像であるＱｉ画像（第二撮像画像）と、第一撮像画像のうち対象物Ｂの像が含まれているＰ１画像とに基づいて行う。第二位置特定部１７ｂによる対象物Ｂの位置の特定は、より具体的には、以下のようにして行われる。
【００５６】
まず、位置Ｐ１から位置Ｑｉまでの移動によるカメラ１１の移動量の回転成分を回転行列Ｒｉと表し、その並進成分を並進行列Ｔｉと表すものとする。また、第一位置特定部１７ａにより特定された対象物Ａの位置（特徴点抽出部１５ａによりＰ１画像から抽出された対象物Ａ上の特徴点ｍの座標）をＸｒｍと表すものとする。このとき、Ｑｉ画像における対象物Ａの位置（特徴点追跡部１５ｂによる追跡の結果である、Ｑｉ画像における対象物Ａ上の特徴点ｍの座標）Ｘｍは、下記の式［１］により表される。
Ｘｍ＝Ｒｉ（Ｘｒｍ−Ｔｉ）………………式［１］
【００５７】
対象物Ａ上の複数の特徴点について、この式［１］を立て、得られた複数の式に対して最小二乗法を適用することで、Ｒｉ及びＴｉを求める。これにより、既知の位置Ｐ１から位置Ｑｉまでの移動によるカメラ１１の移動量が求まるので、位置Ｑｉを位置Ｐ１に基づき特定することができる。その後、第二位置特定部１７ｂは、既知の位置で撮像したＰ１画像と、特定された位置で撮像したＱｉ画像とを視差画像として使用して、前述した三角測量の原理により対象物Ｂの位置を算出することで、その位置を特定する。
【００５８】
ところで、第三位置特定部１７ｃは、対象物Ａ及び対象物Ｂとは別のものである対象物Ｃの位置を特定する。図５の例では、第三位置特定部１７ｃは、この位置の特定を、既に特定した対象物Ａの位置と、対象物Ａの像も含まれている対象物Ｃについての撮像画像であるＱｉ画像（第三撮像画像）と、第一撮像画像のうち対象物Ｃの像が含まれているＰ２画像とに基づいて行う。
【００５９】
位置特定部１７は、このようにして同様の処理を繰り返すことで、複数の対象物の位置特定を次々と行うことができる。
【００６０】
なお、カメラ１１での画像の撮像位置は、以下のようにして求めるようにしてもよい。
まず、Ｘｊ及びＸｋを、ドアミラー１９の開閉動作によりカメラ１１が移動することで描かれるＰ１・Ｐ２間の軌跡上の任意の位置とする。
まず、基準位置Ｘ０から位置Ｘｊまでの移動によるカメラ１１の移動量の回転成分を回転行列Ｒｊと表し、並進成分を並進行列Ｔｊと表すものとする。また、基準位置Ｘ０から位置Ｘｋまでの移動によるカメラ１１の移動量の回転成分を回転行列Ｒｋと表し、並進成分を並進行列Ｔｋと表すものとする。
【００６１】
位置Ｐ１をＸｒと表すと、位置Ｘｊ及び位置Ｘｋは下記の式で表すことができる。
このとき、
Ｘｊ＝Ｒｊ（Ｘ０−Ｔｊ）………………式［２］
Ｘｋ＝Ｒｋ（Ｘ０−Ｔｋ）………………式［３］
上記の［２］式及び［３］からＸ０を消去すると、下記の式［４］が得られる。
Ｘｋ＝ＲｋＲｊT ｛Ｘｊ−Ｒｊ（Ｔｋ−Ｔｊ）｝………………式［４］
なお、『ＲｊT』はＲｊの転置行列である。
【００６２】
ここで、Ｒｊｋ＝ＲｋＲｊT と置き、Ｔｊｋ＝Ｔｋ−Ｔｊと置くと、下記の式［５］が得られる。
Ｘｋ＝Ｒｊｋ（Ｘｊ−Ｔｊｋ）………………式［５］
【００６３】
この式［５］を用い、Ｒｊｋ及びＴｊｋを前述したようにして最小二乗法により求めておくことで、先に求まった位置Ｘｊから位置Ｘｋを求めることができる。このようにして、カメラ１１での画像の撮像位置を順次求めるようにしてもよい。
【００６４】
次に図６について説明する。図６は、位置特定装置の更なる別の一実施例の機能ブロック図である。この図２の位置特定装置は、静止状態であった自動車が移動を開始した直後の場合における、当該自動車周辺の対象物の位置の特定と、当該対象物の当該車両からの距離の算出とを行う。
【００６５】
図６の位置特定装置は、撮像装置２１、特徴点抽出部２２、特徴点追跡部２３、位置特定部２４、記録装置２５、撮像装置位置特定部２６、撮像装置位置選択部２７、距離算出部２８、及び距離記録装置２９を備えている。
【００６６】
この図６に図解した機能ブロックのうちの撮像装置２１、特徴点抽出部２２、特徴点追跡部２３、及び位置特定部２４は、図２に図解した位置特定装置の各機能ブロックと同一の機能を提供する。
【００６７】
より具体的に説明すると、撮像装置２１は、図２の位置特定装置におけるカメラ１１、アクチュエータ１２、アクチュエータ制御部１３、及び画像取得部１４を備えており、図１の位置特定装置における撮像装置６に相当するものである。なお、カメラ１１は、図３Ａ及び図３Ｂに図解したように、アクチュエータ１２により開閉可能な自動車のドアミラー１９に固定されている。なお、本実施例では、カメラ１１は、ドアミラー１９が閉じている状態から、所定の一定時間間隔で、当該自動車の周囲の画像を撮像し続ける。
【００６８】
また、特徴点抽出部２２、特徴点追跡部２３、及び位置特定部２４は、それぞれ、図２における特徴点抽出部１５ａ、特徴点追跡部１５ｂ、及び位置特定部２４と同一の機能を有している。
【００６９】
記録装置２５は、図２の特徴点追跡結果格納メモリ１６に記憶されるものと同一の記憶データを記憶する。加えて、記録装置２５は、自動車が静止状態であるときに位置特定部２４により行われる対象物の位置の特定の処理の途中で特定がされる、図５における撮影位置Ｑｉの位置情報の格納も行う。前述したように、撮影位置Ｑｉは、ドアミラー１９の開閉動作によりカメラ１１が移動することで描かれるＰ１・Ｐ２間の軌跡上の位置である。更に、記録装置２５には、この図６の位置特定装置によって過去に行われた対象物の位置情報の特定結果の履歴も記録される。つまり、この記録装置２５により、図１の位置特定装置における記録部４に相当する機能が提供される。
【００７０】
以上のように、図６の位置特定装置では、図２の位置特定装置と同様にして、自動車が静止していた場合における対象物の位置の特定が予め行われる。この結果、図５における位置Ｐ１から位置Ｐ２に至る区間上の複数の位置Ｑｉの位置情報は既知のものとなり、これらの位置Ｐ１、位置Ｐ２、及び位置Ｑｉの位置情報とこれらの各位置でカメラ１１が撮像した対象物の撮像画像とが、記録装置２５に格納される。
【００７１】
撮像装置位置特定部２６は、自動車が移動を開始して以降にカメラ１１が所定の一定時間間隔で当該自動車の周囲の画像を撮像したときの撮像位置の特定を行う。この撮像装置位置特定部２６により、図１の位置特定装置における撮像位置特定部１に相当する機能が提供される。
【００７２】
撮像装置位置選択部２７は、撮像装置位置特定部２６が特定した撮像位置の位置情報と当該撮像位置での撮像画像とに基づいた自動車周囲の対象物の位置の特定のための使用に適切な撮影位置の既知の撮影位置からの選択を、対象物の位置特定の精度の観点から行う。この撮像装置位置選択部２７により、図１の位置特定装置における選択部３及び判定部５の各々に相当する機能が提供される。
【００７３】
距離算出部２８は、対象物の位置を特定して、自動車から当該対象物までの距離を算出する。この位置の特定は、撮像装置位置特定部２６が特定した撮像位置の位置情報、当該撮像位置での撮像画像、撮像装置位置選択部２７が選択した撮影位置の位置情報、及び当該選択された撮影位置での撮像画像を用いて行われる。この距離算出部２８により、図１の位置特定装置における対象物位置特定部２及び距離算出部７の各々に相当する機能が提供される。
【００７４】
距離記録装置２９は、距離算出部２８により算出した、撮像装置位置特定部２６が特定した撮像位置における、対象物についての位置と自動車からの距離とを記録しておく記録装置である。
【００７５】
次に、図６の位置特定装置による、静止状態であった自動車が移動を開始して以降の当該自動車周辺の対象物の位置の特定処理の処理手順について、図７及び図８を用いて説明する。図７は、図６の位置特定装置によって行われる、位置特定処理の処理内容を図解したフローチャートであり、図８は、図７のフローチャートの説明図である。
【００７６】
なお、図７の処理の開始時には、図２の位置特定装置と同様の手法により、自動車が静止している場合における、当該自動車周辺の対象物の位置の特定と、当該対象物の位置の特定とが既に完了しているものとする。従って、記録装置２５には、図８における静止区間内の複数の位置の位置情報、当該複数の位置でのカメラ１１による撮像画像、及び、位置特定部２４による、対象物の位置情報の特定結果の履歴が既に記録されているものとする。
【００７７】
なお、図８に示されている静止区間とは、静止状態の自動車Ｖのドアミラー１９の開閉動作によりカメラ１１（図８では図示を省略している。）が移動することで描かれる軌跡の区間である。また、図８に示されている走行開始区間とは、ドアミラー１９が完全に開いた状態で自動車Ｖが静止状態から走行を開始したことによって移動するカメラ１１が描く軌跡の区間である。
【００７８】
なお、図７の処理は、自動車Ｖが走行を開始すると開始される。
図７において、まず、ステップ１では、基準位置を設定する処理を撮像装置位置特定部２６が行う。この処理では、静止区間と走行開始区間の境界点、すなわち、自動車Ｖが静止状態であり且つドアミラー１９が完全に開いた状態であるときのカメラ１１の位置を基準位置に設定する処理が行われる。なお、前に説明した図５においては、ドアミラー１９が完全に開いた状態であるときのカメラ１１の位置をＰ２と表示していたが、図８では、この位置を、基準位置Ｐ０と改めて表示している。
【００７９】
次に、ステップ２では、画像取得処理を撮像装置２１、特徴点抽出部２２、及び特徴点追跡部２３が行う。この処理は、自動車Ｖの周囲の画像をカメラ１１に撮像させ、得られた撮像画像から対象物Ａの像にける特徴点の抽出を行い、得られた撮像画像と基準位置で撮像していた撮像画像（基準位置画像）との間での特徴点の移動を追跡する処理である。この画像取得処理により得られる撮像画像と特徴点の追跡結果とは、記録装置２５に格納される。
【００８０】
次に、ステップ３では、ステップ２の処理により撮像が行われたときのカメラ１１の位置（撮像位置）の位置情報を特定する撮像位置特定処理を撮像装置位置特定部２６が行う。この処理は、撮像位置の位置情報の特定を、基準位置の位置情報と、基準位置画像と、当該撮像位置でのカメラ１１の撮像により得られた画像（撮像位置画像）とに基づいて行う処理である。図８では、この処理により位置情報が特定された撮像位置を、Ｐ１と表示している。
【００８１】
次に、ステップ４では、基準位置Ｐ０を含む静止区間内の複数の撮像位置から所定の条件に合致する撮像位置を選択する選択処理を撮像装置位置選択部２７が行う。この処理は、前述の撮像位置Ｐ１と当該撮像位置Ｐ１での撮像位置画像とに基づいて対象物Ａの位置の特定を行う場合の位置特定の基礎として用いる適性を有している撮像位置を、当該静止区間内の複数の撮像位置から選択する処理である。
【００８２】
次に、ステップ５では、対象物Ａの位置の特定、及び、ステップ３の処理で特定された撮像位置から対象物Ａの位置までの距離の算出の処理を、距離算出部２８が行う。この処理は、ステップ４の処理により選択された撮像位置及び当該選択された撮像位置と、前述の撮像位置Ｐ１と当該撮像位置Ｐ１での撮像位置画像とに基づいて対象物Ａの位置の特定と距離の算出とを行う処理である。このステップ５の位置特定及び距離算出処理を終えると、図７の位置特定処理が終了する。
【００８３】
次に、図７の位置特定処理におけるステップ２からステップ５までの各処理の詳細について説明する。
まず図９について説明する。図９は、図７におけるステップ２の処理である、画像取得処理の処理内容を図解したフローチャートである。
【００８４】
図９において、まず、Ｓ２０１では、撮像処理を撮像装置２１が行う。この処理は、図８における撮像位置Ｐ１に位置しているカメラ１１に、対象物Ａを含む自動車Ｖ周囲の画像を撮像させ、得られた撮像位置画像を記録装置２５に格納する処理である。
【００８５】
次に、Ｓ２０２では、特徴点抽出処理を特徴点抽出部２２が行う。この処理は、Ｓ２０１の処理により取得された画像における対象物Ａの像から特徴点を抽出する処理である。なお、この特徴点を抽出する手法としては、図２の特徴点抽出部１５ａと同様に、形状の特徴を用いる手法や色彩の特徴を用いる手法など、広く知られている各種の手法を用いることができる。
【００８６】
次に、Ｓ２０３では、特徴点追跡処理を特徴点追跡部２３が行う。この処理では、まず、基準位置Ｐ０において撮像された基準位置画像を記録装置２５から読み出す処理が行われる。次に、この基準位置画像とＳ２０１の処理により撮像位置Ｐ１において撮像された撮像位置画像とから、Ｓ２０２の処理で抽出された特徴点の類似度が所定の閾値以上で最大の位置を抽出する処理が行われる。そして次に、抽出された位置を、当該特徴点についての、基準位置画像から撮像位置画像への追跡結果として取得する処理が行われる。
【００８７】
次に、Ｓ２０４では、Ｓ２０３の処理により得られた、基準位置画像から撮像位置画像への特徴点の追跡結果を、当該撮像位置画像に対応付けて記録装置２５に格納して保存する処理を特徴点追跡部２３が行う。その後は図９の画像取得処理が終了する。
【００８８】
次に図１０について説明する。図１０は、図７におけるステップ３の処理である、撮像位置特定処理の処理内容を図解したフローチャートである。
図１０において、まず、Ｓ３０１では、ステップ２の画像取得処理によって記録装置２５に保存されている基準位置画像から撮像位置画像への特徴点の追跡結果を読み出す処理を撮像装置位置特定部２６が行う。
【００８９】
次に、Ｓ３０２では、Ｓ３０１の処理で得られた追跡結果に基づき、基準位置Ｐ０から撮像位置Ｐ１に至るまでのカメラ１１の移動量の回転成分を表す回転行列Ｒを算出する処理を撮像装置位置特定部２６が行う。そして、続くＳ３０３において、Ｓ３０１の処理で得られた追跡結果に基づき、基準位置Ｐ０から撮像位置Ｐ１に至るまでのカメラ１１の移動量の並進成分を表す並進行列Ｔを算出する処理を撮像装置位置特定部２６が行う。
【００９０】
次に、Ｓ３０４では、基準位置Ｐ０の位置情報と、Ｓ３０２及びＳ３０３の処理により算出されたカメラ１１の移動量を表す回転行列Ｒ及び並進行列Ｔとに基づいて、撮像位置Ｐ１の位置情報を特定する処理を撮像装置位置特定部２６が行う。その後は図１０の撮像位置特定処理が終了する。
【００９１】
以上のＳ３０２からＳ３０４にかけての処理内容を更に説明する。なお、ここでは、エピポーラ幾何（epipolar geometry）を利用した撮像位置Ｐ１の位置情報の特定手法について説明する。
【００９２】
まず、基準位置画像上における特徴点の位置を、
【数１】
と表し、この特徴点についての、撮像位置画像上における対応位置を、
【数２】
と表す。
【００９３】
このとき、エピポーラ拘束（epipolar constraints）により、基礎行列（fundamental matrix）Ｆについて
【数３】
が成り立つので、基礎行列Ｆを
【数４】
と表すと、
【数５】
が成り立つ。
【００９４】
そこで、基準位置画像と撮像位置画像とから両者間で対応する特徴点を８組以上抽出し、それらの各組の特徴点の位置データについて最小二乗法を適用することで基礎行列Ｆを導出する。
【００９５】
次に、カメラ１１の内部パラメータＫが既知であるとして、下記の式に従って基礎行列Ｆの正規化を行い、基本行列（essential matrix）Ｅを得る。
【００９６】
【数６】
【００９７】
ここで、基準位置画像から撮像位置画像に至るまでの画像間の幾何関係の並進ベクトルをｔとすると、基本行列Ｅについて、
【００９８】
【数７】
が成り立つ。
【００９９】
次に、
【数８】
の固有値分解を行って、最小の固有値に対応する固有ベクトルｅを導出する。
【０１００】
すると、
【数９】
の関係から、
【数１０】
が得られる。
【０１０１】
ここで、前述の回転行列Ｒについて、
【数１１】
の関係があるので、この関係から回転行列Ｒが得られる。
【０１０２】
次に、並進行列Ｔの算出手法について説明する。
まず、基準位置画像上の特徴点のうち、自動車が静止状態であるときに行われた処理によって基準位置Ｐ０からの距離が既知であるものを
【数１２】
と表す。また、基準位置画像上の特徴点に対応する撮像位置画像上での特徴点を、
【数１３】
と表す。
【０１０３】
このｐi とｑj とにおいて、対応付けができたものの集合をそれぞれ、
【数１４】
及び
【数１５】
と表す。更に、ｐk についての現実の三次元空間上での位置を、
【数１６】
と表し、その基準位置画像上での位置を
【数１７】
と表す。そして、ｑk についての現実の三次元空間上での位置を、
【数１８】
と表し、その撮像位置画像上での位置を
【数１９】
と表す。
【０１０４】
このとき、下記の３つの式が成り立つ。
【０１０５】
【数２０】
【０１０６】
ここで、並進行列Ｔを、未知数ｌを用いて
【数２１】
と表し、更に、
【数２２】
と置くと、［数２０］は以下のように整理できる。
【０１０７】
【数２３】
【０１０８】
この［数２３］におけるｌの値を、最小二乗法を用いて決定し、得られたｌの値を［数２１］に代入することで、並進行列Ｔが求まる。
【０１０９】
以上のようにして算出された回転行列Ｒ及び並進行列Ｔに相当する移動量だけ、基準位置Ｐ０を移動させる計算を行うことで、撮像位置Ｐ１の位置情報が特定される。
撮像装置位置特定部２６による撮像位置Ｐ１の位置情報の特定は、例えば以上のようにして行われる。この特定結果は、距離記録装置２９に記録される。
【０１１０】
次に図１１について説明する。図１１は、図７におけるステップ４の処理である、選択処理の処理内容を図解したフローチャートである。
図１１において、まず、Ｓ４０１では、ステップ３の撮像位置特定処理によって算出されたカメラ１１の移動量（基準位置Ｐ０から撮像位置Ｐ１までの移動量）を撮像装置位置特定部２６から取得する処理を撮像位置選択部２７が行う。
【０１１１】
次に、Ｓ４０２では、Ｓ４０１の処理によって取得したカメラ１１の移動量が、所定の距離閾値以上であるか否かを判定する処理を撮像位置選択部２７が行う。この処理により、基準位置Ｐ０と撮像位置Ｐ１との間の距離である基線距離と、当該距離閾値との長短を判定する処理が行われる。
【０１１２】
このＳ４０２の判定処理において、カメラ１１の移動量（基線距離）が所定の距離閾値以上であると判定されたとき（判定結果がＹｅｓのとき）には、Ｓ４０３に処理が進む。そして、Ｓ４０３において、基準位置Ｐ０を選択する処理を撮像位置選択部２７が行い、その後は図１１の選択処理が終了する。つまり、撮像位置選択部２７は、所望の位置特定の精度が得られる距離閾値よりも基線距離が長いと判定した場合には、距離算出部２８による対象物Ａの位置情報の特定を、基準位置Ｐ０の位置情報及び基準位置画像を用いて行わせるようにする。従って、この処理の後に行われる図７のステップ５の処理では、距離算出部２８は、対象物Ａの位置情報の特定を、基準位置Ｐ０の位置情報と、基準位置画像と、撮像位置Ｐ１の位置情報と、撮像位置画像とに基づいて行うことになる。
【０１１３】
一方、Ｓ４０２の判定処理において、カメラ１１の移動量（基線距離）が所定の距離閾値未満であると判定されたとき（判定結果がＮｏのとき）には、Ｓ４０４に処理が進む。そして、Ｓ４０４において、位置情報が記録装置２５に記録されている図８の静止区間内の複数の位置から、後述する所定の条件に合致するものを選択する処理を撮像位置選択部２７が行い、その後は図１１の選択処理が終了する。つまり、撮像位置選択部２７は、所当該距離閾値よりも基線距離が短いと判定した場合には、距離算出部２８による対象物Ａの位置情報の特定を、このＳ４０４の処理により選択された位置の位置情報及び当該位置で撮像された画像を用いて行わせるようにする。従って、この処理の後に行われる図７のステップ５の処理では、距離算出部２８は、対象物Ａの位置情報の特定を、この位置の情報と、この位置での撮像画像と、撮像位置Ｐ１の位置情報と、撮像位置画像とに基づいて行うことになる。
【０１１４】
なお、図８を参照すれば明らかなように、位置情報が記録装置２５に記録されている静止区間内の複数の位置は、いずれも、撮像位置Ｐ１からの距離が、基準位置Ｐ０よりも大きい（長い）地点に位置している。従って、これらの静止区間内の複数の位置は、図１の位置特定装置についての説明に使用していた既知位置の一例である。以下の説明では、これらの静止区間内の位置を『既知位置』と称することとし、当該既知位置で対象物Ａを撮像して得た画像を『既知位置画像』と称することとする。更に、Ｓ４０４の処理により選択された既知位置を『選択既知位置』と称することとし、当該選択既知位置で対象物Ａを撮像して得た画像を『選択既知位置画像』と称することとする。
【０１１５】
次に、Ｓ４０４の処理における選択の基準とする条件について説明する。この条件は、距離算出部２８による対象物Ａの位置特定の基礎として用いるときの適性を表しているものであり、例えば以下の２つの条件を挙げることができる。
【０１１６】
まず、第一の条件は、複数の既知位置のうちで、撮像位置Ｐ１からの距離が最長であることである。
このような既知位置を選択すれば、対象物Ａの位置特定に用いる２枚の画像の撮像位置間（すなわち撮像位置Ｐ１と選択既知位置との間）のベースラインが最長となる。従って、距離算出部２８が行うステレオ視による対象物の位置の特定を高い精度で行うことができる。
【０１１７】
また、第二の条件は、複数の既知位置のうちで、撮像位置Ｐ１を結ぶ線分の垂直二等分線から対象物Ａの位置までの距離が最短であることである。
前述したように、ステレオ視による対象物の位置の特定の精度は、その位置特定に用いる２枚の画像を撮像した２つの撮像位置からの距離の差が少ないほど向上する。ここで、上述の第二の条件に従って既知位置を選択すれば、対象物Ａの位置特定に用いる２枚の画像を撮像した２つの撮像位置（すなわち撮像位置Ｐ１及び選択既知位置）から対象物Ａの位置までの距離の差が最短となる。従って、距離算出部２８が行うステレオ視による対象物の位置の特定を高い精度で行うことができる。
【０１１８】
なお、第二の条件をＳ４０４の処理に採用する場合には、対象物Ａの位置として、記録装置２５に記録されている、対象物Ａについての過去の位置情報の特定結果を利用して行う。
【０１１９】
Ｓ４０４の処理では、上述した第一の条件及び第二の条件のどちらを採用してもよい。
また、Ｓ４０４の処理において、上述した条件に合致する既知位置を１つのみ選択するのではなく、条件に合致する程度に応じた順序に複数個選択してもよい。すなわち、第一の条件に関しては、複数の既知位置のうちで、撮像位置Ｐ１からの距離が大きい順序（長い順序）に複数個選択してもよい。また、第二の条件に関しては、複数の既知位置のうちで、撮像位置Ｐ１を結ぶ線分の垂直二等分線から対象物Ａの位置までの距離が短い順序に複数個選択してもよい。なお、このＳ４０４の処理において既知位置を複数選択した場合における、距離算出部２８による対象物Ａの位置の特定の手法については後述する。
なお、撮像位置選択部２７が行った選択の結果は、距離記録装置２９に格納される。
【０１２０】
次に図１２について説明する。図１２は、図７におけるステップ５の処理である、位置特定及び距離算出処理の処理内容を図解したフローチャートである。
【０１２１】
図１２において、まず、Ｓ５０１では、撮像位置画像と、図７のステップ４の処理により選択された位置での撮像画像（すなわち基準位置画像若しくは選択既知位置画像）とでの特徴点の位置と対応関係との情報を取得する処理を距離算出部２８が行う。なお、これらの情報は特徴点抽出部２２及び特徴点追跡部２３により既に求められており、距離算出部２８は、記録装置２５からこれらの情報を取得する。
【０１２２】
次に、Ｓ５０２では、三角測量の原理を用いて、対象物Ａ上の特徴点の現実の三次元空間での位置を特定し、その特定結果を距離記録装置２９に格納する処理を距離算出部２８が行う。この位置特定の処理は、Ｓ５０１の処理により取得した情報と、撮像位置Ｐ１の位置情報と、図７のステップ４の処理により選択された位置の位置情報（すなわち基準位置Ｐ０若しくは選択既知位置）とに基づいて行われる。
【０１２３】
次に、Ｓ５０３では、Ｓ５０２の処理により特定された対象物Ａについての特徴点の位置と、撮像位置Ｐ１との距離を算出し、その算出結果を距離記録装置２９に格納する処理を距離算出部２８が行い、その後は、この図１２の処理が終了する。
【０１２４】
ここで、Ｓ５０２の位置特定の処理の処理内容について、更に説明する。
［数２０］にも掲げた下記の関係式
【数２４】
は、現実の三次元空間上での特徴点ｐk とｑk との関係を表している。ここで、特徴点ｐk とｑk の画像上での位置を用いてこの関係式を表現するには、変数ｋ1 及びｋ2 を導入することで、
【数２５】
と表される。
【０１２５】
この［数２５］式を展開すると、
【数２６】
となる。この式を
【数２７】
と表現する。なお、特徴点ｐk とｑk の画像上での位置は、［数１７］及び［数１９］のように３つの要素で表現されているので、１組の特徴点の対応関係について、３つの関係式が得られる。
【０１２６】
ここで、撮像位置画像と、図７のステップ４の処理により選択された位置での撮像画像とでの特徴点の対応関係をｎ組得ることで、その各組について［数２７］の関係式を生成することで、
【数２８】
が得られる。この式は、
【数２９】
の形をしている。従って、
【数３０】
を、最小二乗法を適用して解くことで、ｋ（ｋ1 及びｋ2 ）の値が求まる。このようにして得られたｋ1 及びｋ2 の値と、特徴点ｐk 及びｑk の画像上の位置とから、特徴点ｐk 及びｑk の現実の三次元空間上での位置（すなわち、対象物Ａの位置の位置情報）が求まる。
【０１２７】
なお、図１１のＳ４０４の処理において撮像位置選択部２７が既知位置を複数選択した場合には、Ｓ５０２において、距離算出部２８は、対象物Ａの位置の特定処理を、次のようにして行う。
【０１２８】
まず、距離算出部２８は、撮像位置選択部２７が選択した複数の既知位置の１つずつに基づいて、対象物Ａについての位置情報の特定処理を前述のようにして行う。次に、距離算出部２８は、この特定処理によって得られた複数個の位置情報で示されている複数の位置の重心の位置を求める処理を行う。そして、このようにして求められた重心の位置情報を、Ｓ５０２の位置特定の処理による、対象物Ａの位置情報の特定結果とする。
【０１２９】
なお、上述したようにして重心の位置を求める際に、撮像位置選択部２７による既知位置の選択順序に応じた重みを考慮するようにしてもよい。すなわち、距離算出部２８は、まず、撮像位置選択部２７が選択した複数の既知位置の１つずつに基づいて、対象物Ａについての位置情報の特定処理を前述のようにして行う。次に、距離算出部２８は、この特定処理によって位置情報が得られた複数個の位置の各々に対し、当該位置情報の特定に用いた選択既知位置を撮像位置選択部２７がＳ４０４の処理において選択したときの選択順序に応じた重み付けを与える処理を行う。次に、距離算出部２８は、このようにして重み付けが各々与えられた複数個の位置の重心（重み付け重心）を求める処理を行う。そして、このようにして求められた重み付け重心の位置情報を、Ｓ５０２の位置特定の処理による、対象物Ａの位置情報の特定結果とする。距離算出部２８がこのようにして対象物Ａの位置情報の特定を行うようにしてもよい。
【０１３０】
図６の位置特定装置は、以上の処理を各構成要素が行うことによって、静止状態であった自動車Ｖが移動を開始して以降の対象物Ａの位置を特定する。
なお、図６の撮像装置は、カメラ１１が撮像位置画像の取得後に続いて画像を新たに撮像した場合における当該新画像の撮像位置Ｐ２の特定についても、同様に行うことができる。すなわち、この場合には、図７のステップ１において、前述のようにして特定した撮像位置Ｐ１を新たな基準位置Ｐ０に設定する処理を撮像装置位置特定部２６が行うことで、後は同様の処理によって、当該新画像の撮像位置Ｐ２を特定することができる。
【０１３１】
また、撮像位置Ｐ１に基づく新画像の撮像位置Ｐ２の特定は、以下のようにして行うこともできる。
まず、基準位置Ｐ０、撮像位置Ｐ１、及び上記の新画像の撮像位置Ｐ２の位置を表す座標を、それぞれＸ０、Ｘ１、及びＸ２とする。
【０１３２】
ここで、基準位置Ｐ０から撮像位置Ｐ１への移動におけるカメラ１１の移動量の回転成分を回転行列Ｒ１と表し、その並進成分を並進行列Ｔ１と表すものとする。また、基準位置Ｐ０から新画像の撮像位置Ｐ２への移動におけるカメラ１１の移動量の回転成分を回転行列Ｒ２と表し、その並進成分を並進行列Ｔ２と表すものとする。
【０１３３】
このとき、下記の式が成り立つ。
Ｘ１＝Ｒ１（Ｘ０−Ｔ１）………………式［６］
Ｘ２＝Ｒ２（Ｘ０−Ｔ２）………………式［７］
上記の式［６］を変形すると、
Ｘ０＝Ｒ１T Ｘ１＋Ｔ１…………………式［８］
この式［８］を式［７］に代入すると、
Ｘ２＝Ｒ２（Ｒ１T Ｘ１＋Ｔ１−Ｔ２）
＝Ｒ２Ｒ１T （Ｘ１−Ｒ１（Ｔ２−Ｔ１））…………………式［９］
ここで、Ｒ１２＝Ｒ２Ｒ１T 及びＴ１２＝Ｒ１（Ｔ２−Ｔ１）と置くと、式［９］は、
Ｘ２＝Ｒ１２（Ｘ１−Ｔ１２）…………式［１０］
と表される。
【０１３４】
従って、Ｒ１、Ｒ２、Ｔ１、及びＴ２を用いてＲ１２及びＴ１２を求めることで、撮像位置Ｐ１から新画像の撮像位置Ｐ２への移動におけるカメラ１１の移動量が求まり、従って、新画像の撮像位置Ｐ２の特定を、撮像位置Ｐ１に基づいて行うことができる。
【０１３５】
図６の位置特定装置は、以上のように動作する結果、自動車Ｖが移動を開始した直後においても、その周囲に存在する対象物Ａについての位置特定及び距離計測を高精度に行うことができる。従って、自動車Ｖの始動直後から周囲にある物体情報を自動車Ｖのドライバへ提供することができ、ドライバの安心安全を実現できる。また、図６の位置特定装置は単眼カメラシステム系であるので、低コストで実現できる。
なお、前述した各実施例に係る位置特定装置の各機能ブロックを、コンピュータを用いて構成することもできる。
【０１３６】
ここで図１３について説明する。図１３には、位置特定装置の各機能ブロックとして動作させることのできるコンピュータのハードウェア構成例が図解されている。
このコンピュータ３０は、ＭＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、入力装置３４、表示装置３５、インタフェース装置３６、及び記録媒体駆動装置３７を備えている。なお、これらの構成要素はバスライン３８を介して接続されており、ＭＰＵ３１の管理の下で各種のデータを相互に授受することができる。
【０１３７】
ＭＰＵ（Micro Processing Unit）３１は、このコンピュータ３０全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）３２は、所定の制御プログラムや各種の定数値が予め記録されている読み出し専用半導体メモリである。ＭＰＵ３１は、この制御プログラムをコンピュータ３０の起動時に読み出して実行することにより、このコンピュータ３０の各構成要素の動作制御が可能となる。
【０１３８】
ＲＡＭ（Random Access Memory）３３は、ＭＰＵ３１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。なお、このＲＡＭ３３は、図１における記録部４や、図２における特徴点追跡結果格納メモリ１６、あるいは図６における記録装置２５及び距離記録装置２９として機能する。
【０１３９】
入力装置３４は、例えばキーボード装置であり、コンピュータ３０の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ３１に送付する。
【０１４０】
表示装置３５は例えば液晶ディスプレイであり、ＭＰＵ３１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置３６は、このコンピュータ３０に接続される各種機器との間での各種データの授受の管理を行う。より具体的には、インタフェース装置３６は、カメラ１１から送られてくる撮像画像信号のアナログ−デジタル変換や、アクチュエータ１２を駆動させるための駆動信号の出力などを行う。
【０１４１】
このような構成を有するコンピュータ３０を、前述した各実施例に係る位置特定装置の各機能ブロックとして機能させることができる。例えば、図７及び図９から図１２の各図を用いて説明した位置特定処理の各処理手順をＭＰＵ３１に行わせるための制御プログラムを作成する。作成した制御プログラムはＲＯＭ３２に予め格納しておく。そして、ＭＰＵ３１に所定の実行開始指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ３１が、図６における特徴点抽出部２２、特徴点追跡部２３、位置特定部２４、撮像装置位置特定部２６、撮像位置選択部２７、及び距離算出部２８として機能するようになる。従って、コンピュータ３０のインタフェース装置３６に撮像装置２１を接続することで、図６の位置特定装置を構成することができる。
【０１４２】
なお、記録媒体駆動装置３７は、可搬型記録媒体３９に記録されている各種の制御プログラムやデータの読み出しを行う装置である。例えば、ＲＯＭ３２としてフラッシュメモリを使用し、ＭＰＵ３１が、可搬型記録媒体３９に記録されている前述の制御プログラムを、記録媒体駆動装置３８を介して読み出してＲＯＭ３２に格納するようにコンピュータ３０を構成してもよい。この場合には、ＭＰＵ３１は、所定の実行開始指示を受けたには、ＭＰＵ３１がＲＯＭ３２に格納した制御プログラムを読み出して実行するようにする。
【０１４３】
なお、可搬型記録媒体３９としては、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）などの非一時的（non-transitory）な記録媒体が利用可能である。また、可搬型記録媒体３９として、例えばＵＳＢ（Universal Serial Bus）規格のコネクタが備えられている半導体メモリも利用可能である。
【０１４４】
また、端末装置と、当該端末装置との間で各種データの授受を行うことのできるサーバ装置とからなるコンピュータシステムにより、前述した各実施例に係る位置特定装置を構成してもよい。例えば、このコンピュータシステムで図６の位置特定装置を構成する場合には、自動車Ｖに設置される端末装置に、撮像装置２１と、サーバ装置との通信用の通信装置と、対象物Ａについての位置特定及び距離算出の結果をドライバに提供する表示装置とを備える。一方、サーバ装置には、例えば図１３のコンピュータ３０の構成を備える。但し、インタフェース装置３６には、端末装置の通信装置との間でのデータ通信を管理する通信装置を備える。そして、端末装置は、撮像装置２１で順次撮像される自動車Ｖ周囲の撮像画像をサーバ装置に送付する。一方、サーバ装置では、端末装置から受け取った撮像画像に基づき、対象物Ａについての位置特定及び距離算出を前述したようにして行い、その結果を端末装置に送付して表示装置に表示させる。このようにして、図６の位置特定装置を上述のコンピュータシステムにより構成してもよい。
【符号の説明】
【０１４５】
１ 撮像位置特定部
２ 対象物位置特定部
３ 選択部
４ 記録部
５ 判定部
６ 撮像装置
７、１８、２８ 距離算出部
１１ カメラ
１２ アクチュエータ
１３ アクチュエータ制御部
１４ 画像取得部
１５ 画像処理部
１５ａ、２２ 特徴点抽出部
１５ｂ、２３ 特徴点追跡部
１６ 特徴点追跡結果格納メモリ
１７、２４ 位置特定部
１７ａ 第一位置特定部
１７ｂ 第二位置特定部
１７ｃ 第三位置特定部
１９ ドアミラー
２１ 撮像装置
２５ 記録装置
２６ 撮像装置位置特定部
２７ 撮像装置位置選択部
２９ 距離記録装置
３０ コンピュータ
３１ ＭＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ 入力装置
３５ 表示装置
３６ インタフェース装置
３７ 記録媒体駆動装置
３８ バスライン
３９ 可搬型記録媒体
【技術分野】
【０００１】
本明細書で議論される実施態様は、物体の位置の特定技術に関する。
【背景技術】
【０００２】
近年、自動車の安全運転を支援する技術として、ドライバから見難い範囲や死角となる汎用の映像をドライバへ提供する技術が各種提案されている。
また、このような安全運転の支援技術として、自車両の周囲に存在する各物体の自車両からの距離を計測し、例えば、その自車両の周囲の三次元画像を生成として表示することで、その周囲の情報をドライバへ違和感なく提供するようなシステムも考えられている。このようなシステムの実現には、自車両の速度に依存しない安定した距離計測の技術と、低廉なコストとが求められる。
【０００３】
距離計測の手法のひとつとして、ステレオ視を行って得られる視差画像を基に、三角測量の原理により距離を算出するという手法が知られている。例えば、第一技術として、車両に設置した単一の撮像装置で、時系列的に視差付けされた２枚の画像を２つの地点で撮像すると共に当該２地点間の移動データを求め、両画像に映っている立体物までの距離を、三角測量の原理で求めるという技術が知られている。
【０００４】
また、単眼ステレオと複眼ステレオとを切り替えて、あるいは、周囲の状況（立体物までの距離や車両速度）に応じて両者の重みを調整しつつ当該両者を利用して、両者の欠点を補いつつ、立体物までの距離を精度良く求めるという手法も知られている。例えば、第二技術として、車両の静止時には複眼ステレオのみを用いて立体物までの距離を求める一方、車両が移動しているときには単眼ステレオと複眼ステレオとの各々による距離測定の結果を統合して、立体物までの距離を求めるという技術が知られている。また、例えば、第三技術として、複眼ステレオが使用可能な領域では複眼ステレオを用いて立体物までの距離を求める一方、複眼ステレオが使用できない領域では、単眼ステレオを用いて立体物までの距離を求めるという技術も知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２６３６５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述した第一技術では、２地点間の移動データが自車両の速度に依存するため、安定した距離計測が難しい。
また、前述した第二技術では、単眼ステレオと複眼ステレオとの両者を使用するため、システムコストが高価なものになる。
【０００７】
また、前述した第二技術及び第三技術で使用される複眼ステレオでは、立体物の位置の推定精度が２台のカメラ間の距離（ベースライン）に依存し、ベースラインを長くするほど距離推定精度が向上する。しかし、２台のカメラを車両に搭載することを考えると、ベースラインを長くすることは難しいため、精度の良い距離計測を行える立体物の存在範囲が、自車両周囲の近距離に限定される。
【０００８】
なお、単眼ステレオでも、自車両が停止している状態から動き出した直後は十分なベースライン長を確保できないために、精度の良い距離計測が行えない。
上述した問題に鑑み、本明細書で後述する位置特定装置は、基準位置からのベースライン長を十分に確保できない位置での撮像画像を用いて行うステレオ視による対象物の位置特定の精度を向上させる。
【課題を解決するための手段】
【０００９】
本明細書で後述する位置特定装置のひとつに、撮像位置特定部と対象物位置特定部とを備えるというものがある。ここで、撮像位置特定部は、位置情報が既知である基準位置の当該位置情報と、当該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で当該対象物を撮像して得た撮像位置画像とに基づいて、当該撮像位置の位置情報の特定を行う。そして、対象物位置特定部は、既知位置の位置情報と、当該既知位置で当該対象物を撮像して得た既知位置画像と、当該撮像位置の位置情報と、当該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、当該対象物の位置情報の特定を行う。なお、ここで、既知位置とは、撮像位置特定部で位置情報が特定された撮像位置からの距離が前述の基準位置よりも大きい地点に位置しており、且つ、位置情報が既知である位置のことである。
【００１０】
また、本明細書で後述する位置特定方法のひとつは、まず、任意の撮像位置で対象物を撮像して撮像位置画像を得たときの当該撮像位置の位置情報の特定を撮像位置特定部が行う。なお、この撮像位置の位置情報の特定は、位置情報が既知である基準位置の当該位置情報と、当該基準位置で対象物を撮像して得た基準位置画像と、前述の撮像位置画像とに基づいて行う。次に、既知位置の位置情報と、当該既知位置で当該対象物を撮像して得た既知位置画像と、当該撮像位置の位置情報と、当該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいた当該対象物の位置情報の特定を、対象物位置特定部が行う。なお、ここで、既知位置とは、撮像位置特定部が位置情報を特定した撮像位置からの距離が前述の基準位置よりも大きい地点に位置しており、且つ、位置情報が既知である位置のことである。
【００１１】
また、本明細書で後述するプログラムのひとつは、以下の処理をコンピュータに行わせる。この処理は、まず、位置情報が既知である基準位置の当該位置情報と、当該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で当該対象物を撮像して得た撮像位置画像とに基づいて、当該撮像位置の位置情報の特定を行う。そして、次に、既知位置の位置情報と、当該既知位置で前述の対象物を撮像して得た既知位置画像と、当該撮像位置の位置情報と、当該撮像位置で当該対象物を撮像して得た撮像位置画像とに基づいて、当該対象物の位置情報の特定を行う。ここで、既知位置とは、前述の撮像位置の位置情報の特定によって位置情報を特定した撮像位置からの距離が前述の基準位置よりも大きい地点に位置しており、且つ、位置情報が既知である位置のことである。
【発明の効果】
【００１２】
本明細書で後述する位置特定装置によれば、基準位置からのベースライン長を十分に確保できない位置での撮像画像を用いて行うステレオ視による対象物の位置特定の精度が向上するという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】位置特定装置の一実施例の機能ブロック図である。
【図２】位置特定装置の別の一実施例の機能ブロック図である。
【図３Ａ】アクチュエータにより開閉可能なドアミラーにカメラが固定されている構造の一例（その１）である。
【図３Ｂ】アクチュエータにより開閉可能なドアミラーにカメラが固定されている構造の一例（その２）である。
【図４Ａ】第一撮影画像の説明図である。
【図４Ｂ】第二撮影画像の説明図である。
【図５】図２の位置特定装置における位置特定部による対象物の位置特定の動作を説明する図である。
【図６】位置特定装置の更なる別の一実施例の機能ブロック図である。
【図７】位置特定処理の処理内容を図解したフローチャートである。
【図８】図７のフローチャートの説明図である。
【図９】画像取得処理の処理内容を図解したフローチャートである。
【図１０】撮像位置特定処理の処理内容を図解したフローチャートである。
【図１１】選択処理の処理内容を図解したフローチャートである。
【図１２】位置特定及び距離算出処理の処理内容を図解したフローチャートである。
【図１３】コンピュータのハードウェア構成例である。
【発明を実施するための形態】
【００１４】
まず図１について説明する。図１は、位置特定装置の一実施例の機能ブロック図である。この位置特定装置は、撮像位置特定部１と対象物位置特定部２とを備えている。
撮像位置特定部１は、位置情報が既知である基準位置の当該位置情報と、当該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で当該対象物を撮像して得た撮像位置画像とに基づいて、当該撮像位置の位置情報の特定を行う。
【００１５】
対象物位置特定部２は、既知位置の位置情報と、既知位置画像と、撮像位置特定部１で位置情報が特定された撮像位置の位置情報と、当該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、当該対象物の位置情報の特定を行う。なお、ここでの既知位置とは、撮像位置特定部１で位置情報が特定された撮像位置からの距離が前述の基準位置よりも大きい（長い）地点に位置しており位置情報が既知である位置である。また、既知位置画像とは、当該既知位置で前述の対象物を撮像して得た画像である。
【００１６】
この位置特定装置では、撮像位置特定部１で位置情報が特定された撮像位置からの距離が基準位置よりも大きい（長い）地点に位置している既知位置と当該既知位置での既知位置画像とを用いて対象物の位置情報の特定が行われる。一般に、ステレオ視による対象物の位置の特定の精度は、その位置特定に用いる２枚の画像の撮像位置間の距離（ベースライン）を長くするほど向上する。従って、図１の位置特定装置による位置特定の精度は、基準位置と基準位置画像とを用いる場合におけるものよりも向上する。
【００１７】
なお、図１に破線を用いて図解したように、この位置特定装置に選択部３を備えるように構成してもよい。
この選択部３は、前述の既知位置が複数存在する場合に、当該複数の既知位置のうちから、対象物位置特定部２による前述の対象物の位置特定の基礎として用いるときの適性を表している所定の条件に合致するものを、前述の選択既知位置として選択する。
【００１８】
なお、このように構成する場合には、対象物位置特定部２は、選択部３が選択した選択既知位置の位置情報と、選択既知位置画像と、前述の撮像位置の位置情報と、前述の撮像位置画像とに基づいて、当該対象物の位置情報の特定を行う。なお、選択既知位置画像とは、選択部３が選択した選択既知位置で前述の対象物を撮像して得た画像である。
【００１９】
なお、選択部３による選択既知位置の選択では、例えば、前述の複数の既知位置のうちで、撮像位置特定部１が位置情報を特定した撮像位置からの距離が大きい順序（長い順序）に所定数個を選択するようにする。
【００２０】
前述したように、ステレオ視による対象物の位置の特定の精度は、その位置特定に用いる２枚の画像の撮像位置間のベースラインを長くするほど向上する。従って、上述のように、複数の既知位置のうちから、上述の撮像位置からの距離が長いものを選択部３が選択するようにすることで、対象物位置特定部２による対象物の位置特定の精度の更なる向上が期待できる。
【００２１】
また、図１に破線を用いて図解したように、この位置特定装置に記録部４を備えるように構成してもよい。この記録部４には、過去に行われた対象物の位置情報の特定結果の履歴が記録されている。なお、この構成においては、選択部３は、複数の既知位置からの選択既知位置の選択を、例えば以下のようにして行う。
【００２２】
すなわち、複数の既知位置のうちで、撮像位置特定部１が位置情報を特定した撮像位置を結ぶ線分の垂直二等分線からの、記録部４に記録されている過去の位置情報の特定結果に係る対象物の位置までの距離が短くなる順序に所定数個を、選択するようにしてもよい。
【００２３】
一般に、ステレオ視による対象物の位置の特定の精度は、その位置特定に用いる２枚の画像を撮像した２つの撮像位置からの距離の差が少ないほど向上する。つまり、対象物の位置が、当該２つの撮像位置を結ぶ線分の垂直二等分線に近いほど、当該対象物の位置特定の精度が向上する。従って、上述のようにして選択部３が選択既知位置を選択することで、対象物位置特定部２による対象物の位置特定の精度の更なる向上が期待できる。
【００２４】
なお、選択部３が選択既知位置を複数個選択した場合には、対象物位置特定部２は、対象物についての位置情報の特定を、例えば以下のように行う。
すなわち、対象物位置特定部２は、まず、対象物についての位置情報の特定を、選択部３が選択した複数個の選択既知位置の各々について行う。そして、この特定により得られる複数の位置情報で示される複数の位置の重心を求め、その重心の位置情報を、当該対象物の位置情報の特定結果とする。このようにして、複数個の選択既知位置の各々について特定された複数の位置情報の重心を、当該対象物の位置情報の特定結果とすることで、位置特定の精度の更なる向上が期待できる。
【００２５】
また、選択部３が選択既知位置を複数個選択した場合には、対象物位置特定部２は、対象物についての位置情報の特定を、例えば以下のように行ってもよい。
すなわち、対象物位置特定部２は、対象物についての位置情報の特定を、選択部３が選択した複数個の選択既知位置の各々についてまず行う。次に、この特定により得られる複数の位置情報で示される複数の位置の各々に対して、位置情報の特定に用いた選択既知位置を選択部３が選択したときの選択順序に応じた重み付けを与える。そして、この重み付けが各々与えられた複数の位置の重み付け重心を求め、その重み付け重心の位置情報を、当該対象物の位置情報の特定結果とする。このようにして、複数個の選択既知位置の各々について特定された複数の位置情報に、選択既知位置の選択順序に応じた重みを与えたときの重み付き重心を、当該対象物の位置情報の特定結果とすることで、位置特定の精度の更なる向上が期待できる。
【００２６】
また、図１に破線を用いて図解したように、この位置特定装置に判定部５を備えるように構成してもよい。判定部５は、前述の基準位置と撮像位置特定部１が特定した撮像位置との間の距離である基線距離と、所定の距離閾値との長短を判定する。なお、この構成においては、対象物位置特定部２は、対象物の位置情報の特定を、例えば以下のものに基づいて行う。
【００２７】
まず、基線距離が当該距離閾値よりも短いと判定部５が判定したときには、対象物の位置情報の特定が、選択部３が選択した選択既知位置の位置情報及び選択既知位置画像と、撮像位置特定部１が特定した撮像位置の位置情報及び撮像位置画像とに基づき行われる。一方、基線距離が当該距離閾値よりも長いと判定部５が判定したときには、対象物の位置情報の特定が、基準位置の位置情報及び基準位置画像と、撮像位置特定部１が特定した撮像位置の位置情報及び撮像位置画像とに基づき行われる。
【００２８】
この構成では、上述の基線距離（すなわちベースライン）が、所望の位置特定の精度が得られる距離閾値よりも長い場合には、対象物位置特定部２による対象物の位置情報の特定を、基準位置の位置情報及び基準位置画像を用いて行うというものである。
【００２９】
なお、図１に破線を用いて図解したように、この位置特定装置に、単一の撮像装置６を更に備えるように構成してもよい。この撮像装置６は、例えば自動車などの移動体に設置されており、前述の基準位置画像、撮像位置画像、及び既知位置画像の全ての撮像を行う。
【００３０】
また、図１に破線を用いて図解したように、この位置特定装置に、距離算出部７を更に備えるように構成してもよい。この距離算出部７は、撮像装置６から前述の対象物までの距離を、対象物位置特定部２が特定した対象物の位置情報と、撮像位置特定部１が特定した撮像位置の位置情報とに基づいて算出する。
【００３１】
次に、位置特定装置を用いて、自動車周辺の対象物の位置を特定して、当該対象物の当該車両からの距離を求める実施例について、当該自動車が静止している場合の実施例と、静止状態であった当該自動車が移動を開始した直後の場合の実施例とに分けて説明する。
【００３２】
まず図２について説明する。図２は、位置特定装置の別の一実施例の機能ブロック図である。この図２の位置特定装置は、自動車が静止している場合における、当該自動車周辺の対象物の位置の特定と、当該対象物の当該車両からの距離の算出とを行う。
【００３３】
図２の位置特定装置は、カメラ１１、アクチュエータ１２、アクチュエータ制御部１３、画像取得部１４、画像処理部１５、特徴点追跡結果格納メモリ１６、位置特定部１７、及び距離算出部１８を備えている。
【００３４】
カメラ１１は対象物を撮像する撮像装置であり、アクチュエータ１２は、このカメラ１１の位置を移動させる。アクチュエータ制御部１３は、アクチュエータ１２によるカメラ１１の移動動作を制御するものである。
【００３５】
ここで、カメラ１１と、アクチュエータ１２と、アクチュエータ制御部１３との関係について、図３Ａ及び図３Ｂを参照しながら説明する。
図３Ａに図解されているように、カメラ１１は自動車のドアミラー１９の先端部分に固定されており、当該自動車の側方の対象物を撮像する。アクチュエータ１２は、このドアミラー１９の自動開閉動作の駆動用のモータであり、アクチュエータ制御部１３がアクチュエータ１２を制御してドアミラー１９を開閉動作させることで、カメラ１１を移動させることができる。従って、ドアミラー１９を開閉動作させたときのカメラ１１の移動の経路（軌跡）は既知である。
【００３６】
なお、このアクチュエータ制御部１３は、ドアミラー１９が完全に閉じたこと及び完全に開いたことの検出はできるが、開閉動作の途中においてドアミラー１９がどの程度開いているかを検出することはできない。また、ドアミラー１９が完全に閉じたとき及び完全に開いたときのカメラ１１の位置（自動車に対する相対位置及び向き）及びカメラ１１の軌跡は既知であるが、その開閉動作の途中でカメラ１１の位置（軌跡上のどこか）を、知ることはできない。
【００３７】
カメラ１１は、ドアミラー１９の開閉動作による移動の途中で順次撮像を繰り返す。
画像取得部１４は、カメラ１１が移動しながら複数枚撮像した対象物の画像を取得する。
【００３８】
画像処理部１５は、画像取得部１４が取得した複数枚の画像に対して各種の画像処理を施す。より具体的には、画像処理部１５は、特徴点抽出部１５ａと特徴点追跡部１５ｂとを備えており、いわゆるブロックマッチング処理を行う。
【００３９】
特徴点抽出部１５ａは、画像取得部１４が取得した撮像画像から部分画像領域（特徴点）の抽出を行う。特徴点抽出部１５ａは、カメラ１１が撮像した対象物が映っている画像領域から特徴点を抽出する。なお、この特徴点を抽出する手法としては、形状の特徴を用いる手法や色彩の特徴を用いる手法など、広く知られている各種の手法を用いることができる。
【００４０】
特徴点追跡部１５ｂは、画像取得部１４が取得した２枚の撮像画像から、特徴点抽出部１５ａが抽出した特徴点の類似度が所定の閾値以上で最大の位置を抽出し、２枚の画像間での特徴点の移動を追跡する。
【００４１】
特徴点追跡結果格納メモリ１６は、画像取得部１４が取得した撮像画像と、画像処理部１５による処理結果である、各撮像画像間での特徴点の追跡結果とを格納して記憶しておく記憶装置である。
【００４２】
位置特定部１７は、特徴点追跡結果格納メモリ１６に格納されている情報を用いて、カメラ１１が撮像した対象物の位置（自動車に対する相対位置）を特定する。位置特定部１７は第一位置特定部１７ａ及び第二位置特定部１７ｂを備えている。
【００４３】
第一位置特定部１７ａは、カメラ１１が撮像した対象物のひとつである第一対象物の位置を特定する。この第一対象物の位置の特定は、位置が既知である、ドアミラー１９が完全に閉じたとき及び完全に開いたときの位置（２つの既知点）の各々からカメラ１１が撮像して得た、第一対象物についての２枚の撮像画像（第一撮像画像）に基づいて行われる。
【００４４】
第二位置特定部１７ｂは、カメラ１１が撮像した対象物のひとつであって第一対象物とは別のものである第二対象物の位置を特定する。この位置の特定は、第一対象物の位置と、カメラ１１の軌跡上の任意の位置から撮像して得た、第一対象物の像も含まれている第二対象物についての１枚の撮像画像（第二撮像画像）と、第一撮像画像のうち第二対象物の像も含まれているものとに基づいて行われる。
【００４５】
ここで、第一撮影画像及び第二撮影画像について、図４Ａ及び図４Ｂを用いて説明する。
図４Ａ及び図４Ｂは、ドアミラー１９の開閉動作により移動するカメラ１１の視野の変化を図解している。
【００４６】
図４Ａにおいて、［１］はドアミラー１９が完全に閉じたときの視野であり、［２］はドアミラー１９が完全に開いたときの視野であり、［３］はドアミラー１９の開閉動作による軌跡上のある位置での視野である。また、［４］は、［１］の視野と［２］の視野とには重なりがあり、自車両の左側方で立っている人Ｈが、この両者の共通部分に位置していることを表現している。従って、人Ｈの像は、カメラ１１が［１］の視野で撮像した画像と、カメラ１１が［２］の視野で撮像した画像とのどちらにも含まれる。この場合において、人Ｈが第一対象物であり、カメラ１１が［１］及び［２］の各々で撮像して得た２枚の撮像画像が第一撮像画像となり、第一位置特定部１７ａは、この２枚の撮像画像から人Ｈの位置を特定する。
【００４７】
一方、図４Ｂは、それまで完全に閉じていたドアミラー１９の開動作によって、人Ｈのみが含まれていたカメラ１１の視野が変化して、車Ｖの一部も視野内に含むようになった様子を示している。この場合においては、第一位置特定部１７ａが位置の特定を行った人Ｈが第一対象物であり、車Ｖが第二対象物となり、カメラ１１が人Ｈと車Ｖとの両者を視野に含む位置で撮像した撮像画像が第二撮像画像となる。そして、第二位置特定部１７ｂは、第一位置特定部１７ａにより特定された人Ｈの位置と、第二撮像画像と、第一撮像画像のうち車Ｖの像も含まれているもの（図４Ａの［２］の画像）とから、車Ｖの位置を特定する。
【００４８】
なお、上記説明においては、第一対象物と第二対象物とは別個の物体である場合を例としているが、本実施例はこれに限るものではない。第一対象物、第二対象物とも、カメラ１１が撮像した画像上で特定可能な特徴点若しくは特徴領域であれば良い。その意味からすれば、第一対象物及び第二対象物は、同一の物体の異なる部位であっても構わない。例えば、カメラ１１を搭載した車Ｖの側方に、図４Ａの［１］、［２］、［３］いずれの状態でも撮像範囲に存在する、トラックや壁のような長い物体が存在する場合には、その物体の一部分を第一対象物とし、当該一部分とは別の一部分を第二対象物としてもよい。また、カメラ１１を搭載した車Ｖの側方に、図４Ａの［１］、［２］、［３］いずれの状態でも撮像範囲に存在する路面ペイントが存在する場合には、その路面ペイントのある一部分を第一対象物とし、当該一部分とは別の一部分を第二対象物としてもよい。
【００４９】
図２の説明に戻る。
距離算出部１８は、位置特定部１７により特定された第一対象物、第二対象物、第三対象物、…の各対象物についての、カメラ１１が設置されている自動車の所定位置からの距離を算出する。
【００５０】
なお、図２の位置特定部１７は、更に第三位置特定部１７ｃも備えている。第三位置特定部１７ｃは、カメラ１１が撮像した対象物のひとつであって第一対象物及び第二対象物とは別のものである第三対象物の位置を特定する。この特定は、第一対象物の位置と、第一対象物の像も含まれている第三対象物についての１枚の撮像画像（第三撮像画像）と、第一撮像画像のうち第三対象物の像も含まれているものとに基づいて行われる。
【００５１】
次に、位置特定部１７による対象物の位置特定の動作について、図５を用いて更に説明する。
図５は、ドアミラー１９を開閉動作させてカメラ１１を移動させながら、対象物Ａ（図５では丸印で表現）、対象物Ｂ（図５では四角印で表現）、及び対象物Ｃ（図５では三角印で表現）を撮像する様子を模式的に表したものである。
【００５２】
図５において、Ｐ１、Ｐ２、及びＱｉはカメラ１１の位置を表している。このうちのＰ１及びＰ２は、その位置が既知であり、ドアミラー１９が完全に閉じたとき及び完全に開いたときのカメラ１１の位置である。また、Ｑｉは、ドアミラー１９の開閉動作によりカメラ１１が移動することで描かれるＰ１・Ｐ２間の軌跡上の任意の位置である。
【００５３】
また、Ｐ１画像、Ｑｉ画像、及びＰ２画像は、それぞれ、カメラ１１がＰ１、Ｑｉ、及びＰ２の各位置において撮像して得た画像である。ここで、対象物Ａは、位置Ｐ１におけるカメラ１１の視野と位置Ｐ２におけるカメラ１１の視野とのどちらにも含まれる場所に位置しているので、Ｐ１画像、Ｑｉ画像、及びＰ２画像のいずれにも、対象物Ａの像が含まれている。一方、対象物Ｂは位置Ｐ２におけるカメラ１１の視野から外れているため、対象物Ｂの像は、Ｐ１画像及びＱｉ画像には含まれているが、Ｐ２画像には含まれていない。また、対象物Ｃは位置Ｐ１におけるカメラ１１の視野から外れているため、対象物Ｃの像は、Ｑｉ画像及びＰ２画像には含まれているが、Ｐ１画像には含まれていない。
【００５４】
この図５の例において、位置特定部１７が備えている第一位置特定部１７ａ及び第二位置特定部１７ｂは、それぞれ以下のように動作する。
まず、第一位置特定部１７ａは、対象物Ａ（第一対象物）の位置を特定する。第一位置特定部１７ａは、この位置の特定を、位置が既知である２つの既知点Ｐ１及びＰ２の各々からカメラ１１が撮像して得た２枚の撮像画像（第一撮像画像）であるＰ１画像及びＰ２画像に基づいて行う。つまり、第一位置特定部１７ａは、第一撮像画像を視差画像として使用して、前述した三角測量の原理により対象物Ａの位置（特徴点抽出部１５ａが抽出した各特徴点に対応する対象物Ａの各部の位置）を算出することで、その位置を特定する。
【００５５】
第二位置特定部１７ｂは、対象物Ａとは別のものである対象物Ｂ（第二対象物）の位置を特定する。第二位置特定部１７ｂは、この位置の特定を、既に特定した対象物Ａの位置と、対象物Ａの像も含まれている対象物Ｂについての撮像画像であるＱｉ画像（第二撮像画像）と、第一撮像画像のうち対象物Ｂの像が含まれているＰ１画像とに基づいて行う。第二位置特定部１７ｂによる対象物Ｂの位置の特定は、より具体的には、以下のようにして行われる。
【００５６】
まず、位置Ｐ１から位置Ｑｉまでの移動によるカメラ１１の移動量の回転成分を回転行列Ｒｉと表し、その並進成分を並進行列Ｔｉと表すものとする。また、第一位置特定部１７ａにより特定された対象物Ａの位置（特徴点抽出部１５ａによりＰ１画像から抽出された対象物Ａ上の特徴点ｍの座標）をＸｒｍと表すものとする。このとき、Ｑｉ画像における対象物Ａの位置（特徴点追跡部１５ｂによる追跡の結果である、Ｑｉ画像における対象物Ａ上の特徴点ｍの座標）Ｘｍは、下記の式［１］により表される。
Ｘｍ＝Ｒｉ（Ｘｒｍ−Ｔｉ）………………式［１］
【００５７】
対象物Ａ上の複数の特徴点について、この式［１］を立て、得られた複数の式に対して最小二乗法を適用することで、Ｒｉ及びＴｉを求める。これにより、既知の位置Ｐ１から位置Ｑｉまでの移動によるカメラ１１の移動量が求まるので、位置Ｑｉを位置Ｐ１に基づき特定することができる。その後、第二位置特定部１７ｂは、既知の位置で撮像したＰ１画像と、特定された位置で撮像したＱｉ画像とを視差画像として使用して、前述した三角測量の原理により対象物Ｂの位置を算出することで、その位置を特定する。
【００５８】
ところで、第三位置特定部１７ｃは、対象物Ａ及び対象物Ｂとは別のものである対象物Ｃの位置を特定する。図５の例では、第三位置特定部１７ｃは、この位置の特定を、既に特定した対象物Ａの位置と、対象物Ａの像も含まれている対象物Ｃについての撮像画像であるＱｉ画像（第三撮像画像）と、第一撮像画像のうち対象物Ｃの像が含まれているＰ２画像とに基づいて行う。
【００５９】
位置特定部１７は、このようにして同様の処理を繰り返すことで、複数の対象物の位置特定を次々と行うことができる。
【００６０】
なお、カメラ１１での画像の撮像位置は、以下のようにして求めるようにしてもよい。
まず、Ｘｊ及びＸｋを、ドアミラー１９の開閉動作によりカメラ１１が移動することで描かれるＰ１・Ｐ２間の軌跡上の任意の位置とする。
まず、基準位置Ｘ０から位置Ｘｊまでの移動によるカメラ１１の移動量の回転成分を回転行列Ｒｊと表し、並進成分を並進行列Ｔｊと表すものとする。また、基準位置Ｘ０から位置Ｘｋまでの移動によるカメラ１１の移動量の回転成分を回転行列Ｒｋと表し、並進成分を並進行列Ｔｋと表すものとする。
【００６１】
位置Ｐ１をＸｒと表すと、位置Ｘｊ及び位置Ｘｋは下記の式で表すことができる。
このとき、
Ｘｊ＝Ｒｊ（Ｘ０−Ｔｊ）………………式［２］
Ｘｋ＝Ｒｋ（Ｘ０−Ｔｋ）………………式［３］
上記の［２］式及び［３］からＸ０を消去すると、下記の式［４］が得られる。
Ｘｋ＝ＲｋＲｊT ｛Ｘｊ−Ｒｊ（Ｔｋ−Ｔｊ）｝………………式［４］
なお、『ＲｊT』はＲｊの転置行列である。
【００６２】
ここで、Ｒｊｋ＝ＲｋＲｊT と置き、Ｔｊｋ＝Ｔｋ−Ｔｊと置くと、下記の式［５］が得られる。
Ｘｋ＝Ｒｊｋ（Ｘｊ−Ｔｊｋ）………………式［５］
【００６３】
この式［５］を用い、Ｒｊｋ及びＴｊｋを前述したようにして最小二乗法により求めておくことで、先に求まった位置Ｘｊから位置Ｘｋを求めることができる。このようにして、カメラ１１での画像の撮像位置を順次求めるようにしてもよい。
【００６４】
次に図６について説明する。図６は、位置特定装置の更なる別の一実施例の機能ブロック図である。この図２の位置特定装置は、静止状態であった自動車が移動を開始した直後の場合における、当該自動車周辺の対象物の位置の特定と、当該対象物の当該車両からの距離の算出とを行う。
【００６５】
図６の位置特定装置は、撮像装置２１、特徴点抽出部２２、特徴点追跡部２３、位置特定部２４、記録装置２５、撮像装置位置特定部２６、撮像装置位置選択部２７、距離算出部２８、及び距離記録装置２９を備えている。
【００６６】
この図６に図解した機能ブロックのうちの撮像装置２１、特徴点抽出部２２、特徴点追跡部２３、及び位置特定部２４は、図２に図解した位置特定装置の各機能ブロックと同一の機能を提供する。
【００６７】
より具体的に説明すると、撮像装置２１は、図２の位置特定装置におけるカメラ１１、アクチュエータ１２、アクチュエータ制御部１３、及び画像取得部１４を備えており、図１の位置特定装置における撮像装置６に相当するものである。なお、カメラ１１は、図３Ａ及び図３Ｂに図解したように、アクチュエータ１２により開閉可能な自動車のドアミラー１９に固定されている。なお、本実施例では、カメラ１１は、ドアミラー１９が閉じている状態から、所定の一定時間間隔で、当該自動車の周囲の画像を撮像し続ける。
【００６８】
また、特徴点抽出部２２、特徴点追跡部２３、及び位置特定部２４は、それぞれ、図２における特徴点抽出部１５ａ、特徴点追跡部１５ｂ、及び位置特定部２４と同一の機能を有している。
【００６９】
記録装置２５は、図２の特徴点追跡結果格納メモリ１６に記憶されるものと同一の記憶データを記憶する。加えて、記録装置２５は、自動車が静止状態であるときに位置特定部２４により行われる対象物の位置の特定の処理の途中で特定がされる、図５における撮影位置Ｑｉの位置情報の格納も行う。前述したように、撮影位置Ｑｉは、ドアミラー１９の開閉動作によりカメラ１１が移動することで描かれるＰ１・Ｐ２間の軌跡上の位置である。更に、記録装置２５には、この図６の位置特定装置によって過去に行われた対象物の位置情報の特定結果の履歴も記録される。つまり、この記録装置２５により、図１の位置特定装置における記録部４に相当する機能が提供される。
【００７０】
以上のように、図６の位置特定装置では、図２の位置特定装置と同様にして、自動車が静止していた場合における対象物の位置の特定が予め行われる。この結果、図５における位置Ｐ１から位置Ｐ２に至る区間上の複数の位置Ｑｉの位置情報は既知のものとなり、これらの位置Ｐ１、位置Ｐ２、及び位置Ｑｉの位置情報とこれらの各位置でカメラ１１が撮像した対象物の撮像画像とが、記録装置２５に格納される。
【００７１】
撮像装置位置特定部２６は、自動車が移動を開始して以降にカメラ１１が所定の一定時間間隔で当該自動車の周囲の画像を撮像したときの撮像位置の特定を行う。この撮像装置位置特定部２６により、図１の位置特定装置における撮像位置特定部１に相当する機能が提供される。
【００７２】
撮像装置位置選択部２７は、撮像装置位置特定部２６が特定した撮像位置の位置情報と当該撮像位置での撮像画像とに基づいた自動車周囲の対象物の位置の特定のための使用に適切な撮影位置の既知の撮影位置からの選択を、対象物の位置特定の精度の観点から行う。この撮像装置位置選択部２７により、図１の位置特定装置における選択部３及び判定部５の各々に相当する機能が提供される。
【００７３】
距離算出部２８は、対象物の位置を特定して、自動車から当該対象物までの距離を算出する。この位置の特定は、撮像装置位置特定部２６が特定した撮像位置の位置情報、当該撮像位置での撮像画像、撮像装置位置選択部２７が選択した撮影位置の位置情報、及び当該選択された撮影位置での撮像画像を用いて行われる。この距離算出部２８により、図１の位置特定装置における対象物位置特定部２及び距離算出部７の各々に相当する機能が提供される。
【００７４】
距離記録装置２９は、距離算出部２８により算出した、撮像装置位置特定部２６が特定した撮像位置における、対象物についての位置と自動車からの距離とを記録しておく記録装置である。
【００７５】
次に、図６の位置特定装置による、静止状態であった自動車が移動を開始して以降の当該自動車周辺の対象物の位置の特定処理の処理手順について、図７及び図８を用いて説明する。図７は、図６の位置特定装置によって行われる、位置特定処理の処理内容を図解したフローチャートであり、図８は、図７のフローチャートの説明図である。
【００７６】
なお、図７の処理の開始時には、図２の位置特定装置と同様の手法により、自動車が静止している場合における、当該自動車周辺の対象物の位置の特定と、当該対象物の位置の特定とが既に完了しているものとする。従って、記録装置２５には、図８における静止区間内の複数の位置の位置情報、当該複数の位置でのカメラ１１による撮像画像、及び、位置特定部２４による、対象物の位置情報の特定結果の履歴が既に記録されているものとする。
【００７７】
なお、図８に示されている静止区間とは、静止状態の自動車Ｖのドアミラー１９の開閉動作によりカメラ１１（図８では図示を省略している。）が移動することで描かれる軌跡の区間である。また、図８に示されている走行開始区間とは、ドアミラー１９が完全に開いた状態で自動車Ｖが静止状態から走行を開始したことによって移動するカメラ１１が描く軌跡の区間である。
【００７８】
なお、図７の処理は、自動車Ｖが走行を開始すると開始される。
図７において、まず、ステップ１では、基準位置を設定する処理を撮像装置位置特定部２６が行う。この処理では、静止区間と走行開始区間の境界点、すなわち、自動車Ｖが静止状態であり且つドアミラー１９が完全に開いた状態であるときのカメラ１１の位置を基準位置に設定する処理が行われる。なお、前に説明した図５においては、ドアミラー１９が完全に開いた状態であるときのカメラ１１の位置をＰ２と表示していたが、図８では、この位置を、基準位置Ｐ０と改めて表示している。
【００７９】
次に、ステップ２では、画像取得処理を撮像装置２１、特徴点抽出部２２、及び特徴点追跡部２３が行う。この処理は、自動車Ｖの周囲の画像をカメラ１１に撮像させ、得られた撮像画像から対象物Ａの像にける特徴点の抽出を行い、得られた撮像画像と基準位置で撮像していた撮像画像（基準位置画像）との間での特徴点の移動を追跡する処理である。この画像取得処理により得られる撮像画像と特徴点の追跡結果とは、記録装置２５に格納される。
【００８０】
次に、ステップ３では、ステップ２の処理により撮像が行われたときのカメラ１１の位置（撮像位置）の位置情報を特定する撮像位置特定処理を撮像装置位置特定部２６が行う。この処理は、撮像位置の位置情報の特定を、基準位置の位置情報と、基準位置画像と、当該撮像位置でのカメラ１１の撮像により得られた画像（撮像位置画像）とに基づいて行う処理である。図８では、この処理により位置情報が特定された撮像位置を、Ｐ１と表示している。
【００８１】
次に、ステップ４では、基準位置Ｐ０を含む静止区間内の複数の撮像位置から所定の条件に合致する撮像位置を選択する選択処理を撮像装置位置選択部２７が行う。この処理は、前述の撮像位置Ｐ１と当該撮像位置Ｐ１での撮像位置画像とに基づいて対象物Ａの位置の特定を行う場合の位置特定の基礎として用いる適性を有している撮像位置を、当該静止区間内の複数の撮像位置から選択する処理である。
【００８２】
次に、ステップ５では、対象物Ａの位置の特定、及び、ステップ３の処理で特定された撮像位置から対象物Ａの位置までの距離の算出の処理を、距離算出部２８が行う。この処理は、ステップ４の処理により選択された撮像位置及び当該選択された撮像位置と、前述の撮像位置Ｐ１と当該撮像位置Ｐ１での撮像位置画像とに基づいて対象物Ａの位置の特定と距離の算出とを行う処理である。このステップ５の位置特定及び距離算出処理を終えると、図７の位置特定処理が終了する。
【００８３】
次に、図７の位置特定処理におけるステップ２からステップ５までの各処理の詳細について説明する。
まず図９について説明する。図９は、図７におけるステップ２の処理である、画像取得処理の処理内容を図解したフローチャートである。
【００８４】
図９において、まず、Ｓ２０１では、撮像処理を撮像装置２１が行う。この処理は、図８における撮像位置Ｐ１に位置しているカメラ１１に、対象物Ａを含む自動車Ｖ周囲の画像を撮像させ、得られた撮像位置画像を記録装置２５に格納する処理である。
【００８５】
次に、Ｓ２０２では、特徴点抽出処理を特徴点抽出部２２が行う。この処理は、Ｓ２０１の処理により取得された画像における対象物Ａの像から特徴点を抽出する処理である。なお、この特徴点を抽出する手法としては、図２の特徴点抽出部１５ａと同様に、形状の特徴を用いる手法や色彩の特徴を用いる手法など、広く知られている各種の手法を用いることができる。
【００８６】
次に、Ｓ２０３では、特徴点追跡処理を特徴点追跡部２３が行う。この処理では、まず、基準位置Ｐ０において撮像された基準位置画像を記録装置２５から読み出す処理が行われる。次に、この基準位置画像とＳ２０１の処理により撮像位置Ｐ１において撮像された撮像位置画像とから、Ｓ２０２の処理で抽出された特徴点の類似度が所定の閾値以上で最大の位置を抽出する処理が行われる。そして次に、抽出された位置を、当該特徴点についての、基準位置画像から撮像位置画像への追跡結果として取得する処理が行われる。
【００８７】
次に、Ｓ２０４では、Ｓ２０３の処理により得られた、基準位置画像から撮像位置画像への特徴点の追跡結果を、当該撮像位置画像に対応付けて記録装置２５に格納して保存する処理を特徴点追跡部２３が行う。その後は図９の画像取得処理が終了する。
【００８８】
次に図１０について説明する。図１０は、図７におけるステップ３の処理である、撮像位置特定処理の処理内容を図解したフローチャートである。
図１０において、まず、Ｓ３０１では、ステップ２の画像取得処理によって記録装置２５に保存されている基準位置画像から撮像位置画像への特徴点の追跡結果を読み出す処理を撮像装置位置特定部２６が行う。
【００８９】
次に、Ｓ３０２では、Ｓ３０１の処理で得られた追跡結果に基づき、基準位置Ｐ０から撮像位置Ｐ１に至るまでのカメラ１１の移動量の回転成分を表す回転行列Ｒを算出する処理を撮像装置位置特定部２６が行う。そして、続くＳ３０３において、Ｓ３０１の処理で得られた追跡結果に基づき、基準位置Ｐ０から撮像位置Ｐ１に至るまでのカメラ１１の移動量の並進成分を表す並進行列Ｔを算出する処理を撮像装置位置特定部２６が行う。
【００９０】
次に、Ｓ３０４では、基準位置Ｐ０の位置情報と、Ｓ３０２及びＳ３０３の処理により算出されたカメラ１１の移動量を表す回転行列Ｒ及び並進行列Ｔとに基づいて、撮像位置Ｐ１の位置情報を特定する処理を撮像装置位置特定部２６が行う。その後は図１０の撮像位置特定処理が終了する。
【００９１】
以上のＳ３０２からＳ３０４にかけての処理内容を更に説明する。なお、ここでは、エピポーラ幾何（epipolar geometry）を利用した撮像位置Ｐ１の位置情報の特定手法について説明する。
【００９２】
まず、基準位置画像上における特徴点の位置を、
【数１】
と表し、この特徴点についての、撮像位置画像上における対応位置を、
【数２】
と表す。
【００９３】
このとき、エピポーラ拘束（epipolar constraints）により、基礎行列（fundamental matrix）Ｆについて
【数３】
が成り立つので、基礎行列Ｆを
【数４】
と表すと、
【数５】
が成り立つ。
【００９４】
そこで、基準位置画像と撮像位置画像とから両者間で対応する特徴点を８組以上抽出し、それらの各組の特徴点の位置データについて最小二乗法を適用することで基礎行列Ｆを導出する。
【００９５】
次に、カメラ１１の内部パラメータＫが既知であるとして、下記の式に従って基礎行列Ｆの正規化を行い、基本行列（essential matrix）Ｅを得る。
【００９６】
【数６】
【００９７】
ここで、基準位置画像から撮像位置画像に至るまでの画像間の幾何関係の並進ベクトルをｔとすると、基本行列Ｅについて、
【００９８】
【数７】
が成り立つ。
【００９９】
次に、
【数８】
の固有値分解を行って、最小の固有値に対応する固有ベクトルｅを導出する。
【０１００】
すると、
【数９】
の関係から、
【数１０】
が得られる。
【０１０１】
ここで、前述の回転行列Ｒについて、
【数１１】
の関係があるので、この関係から回転行列Ｒが得られる。
【０１０２】
次に、並進行列Ｔの算出手法について説明する。
まず、基準位置画像上の特徴点のうち、自動車が静止状態であるときに行われた処理によって基準位置Ｐ０からの距離が既知であるものを
【数１２】
と表す。また、基準位置画像上の特徴点に対応する撮像位置画像上での特徴点を、
【数１３】
と表す。
【０１０３】
このｐi とｑj とにおいて、対応付けができたものの集合をそれぞれ、
【数１４】
及び
【数１５】
と表す。更に、ｐk についての現実の三次元空間上での位置を、
【数１６】
と表し、その基準位置画像上での位置を
【数１７】
と表す。そして、ｑk についての現実の三次元空間上での位置を、
【数１８】
と表し、その撮像位置画像上での位置を
【数１９】
と表す。
【０１０４】
このとき、下記の３つの式が成り立つ。
【０１０５】
【数２０】
【０１０６】
ここで、並進行列Ｔを、未知数ｌを用いて
【数２１】
と表し、更に、
【数２２】
と置くと、［数２０］は以下のように整理できる。
【０１０７】
【数２３】
【０１０８】
この［数２３］におけるｌの値を、最小二乗法を用いて決定し、得られたｌの値を［数２１］に代入することで、並進行列Ｔが求まる。
【０１０９】
以上のようにして算出された回転行列Ｒ及び並進行列Ｔに相当する移動量だけ、基準位置Ｐ０を移動させる計算を行うことで、撮像位置Ｐ１の位置情報が特定される。
撮像装置位置特定部２６による撮像位置Ｐ１の位置情報の特定は、例えば以上のようにして行われる。この特定結果は、距離記録装置２９に記録される。
【０１１０】
次に図１１について説明する。図１１は、図７におけるステップ４の処理である、選択処理の処理内容を図解したフローチャートである。
図１１において、まず、Ｓ４０１では、ステップ３の撮像位置特定処理によって算出されたカメラ１１の移動量（基準位置Ｐ０から撮像位置Ｐ１までの移動量）を撮像装置位置特定部２６から取得する処理を撮像位置選択部２７が行う。
【０１１１】
次に、Ｓ４０２では、Ｓ４０１の処理によって取得したカメラ１１の移動量が、所定の距離閾値以上であるか否かを判定する処理を撮像位置選択部２７が行う。この処理により、基準位置Ｐ０と撮像位置Ｐ１との間の距離である基線距離と、当該距離閾値との長短を判定する処理が行われる。
【０１１２】
このＳ４０２の判定処理において、カメラ１１の移動量（基線距離）が所定の距離閾値以上であると判定されたとき（判定結果がＹｅｓのとき）には、Ｓ４０３に処理が進む。そして、Ｓ４０３において、基準位置Ｐ０を選択する処理を撮像位置選択部２７が行い、その後は図１１の選択処理が終了する。つまり、撮像位置選択部２７は、所望の位置特定の精度が得られる距離閾値よりも基線距離が長いと判定した場合には、距離算出部２８による対象物Ａの位置情報の特定を、基準位置Ｐ０の位置情報及び基準位置画像を用いて行わせるようにする。従って、この処理の後に行われる図７のステップ５の処理では、距離算出部２８は、対象物Ａの位置情報の特定を、基準位置Ｐ０の位置情報と、基準位置画像と、撮像位置Ｐ１の位置情報と、撮像位置画像とに基づいて行うことになる。
【０１１３】
一方、Ｓ４０２の判定処理において、カメラ１１の移動量（基線距離）が所定の距離閾値未満であると判定されたとき（判定結果がＮｏのとき）には、Ｓ４０４に処理が進む。そして、Ｓ４０４において、位置情報が記録装置２５に記録されている図８の静止区間内の複数の位置から、後述する所定の条件に合致するものを選択する処理を撮像位置選択部２７が行い、その後は図１１の選択処理が終了する。つまり、撮像位置選択部２７は、所当該距離閾値よりも基線距離が短いと判定した場合には、距離算出部２８による対象物Ａの位置情報の特定を、このＳ４０４の処理により選択された位置の位置情報及び当該位置で撮像された画像を用いて行わせるようにする。従って、この処理の後に行われる図７のステップ５の処理では、距離算出部２８は、対象物Ａの位置情報の特定を、この位置の情報と、この位置での撮像画像と、撮像位置Ｐ１の位置情報と、撮像位置画像とに基づいて行うことになる。
【０１１４】
なお、図８を参照すれば明らかなように、位置情報が記録装置２５に記録されている静止区間内の複数の位置は、いずれも、撮像位置Ｐ１からの距離が、基準位置Ｐ０よりも大きい（長い）地点に位置している。従って、これらの静止区間内の複数の位置は、図１の位置特定装置についての説明に使用していた既知位置の一例である。以下の説明では、これらの静止区間内の位置を『既知位置』と称することとし、当該既知位置で対象物Ａを撮像して得た画像を『既知位置画像』と称することとする。更に、Ｓ４０４の処理により選択された既知位置を『選択既知位置』と称することとし、当該選択既知位置で対象物Ａを撮像して得た画像を『選択既知位置画像』と称することとする。
【０１１５】
次に、Ｓ４０４の処理における選択の基準とする条件について説明する。この条件は、距離算出部２８による対象物Ａの位置特定の基礎として用いるときの適性を表しているものであり、例えば以下の２つの条件を挙げることができる。
【０１１６】
まず、第一の条件は、複数の既知位置のうちで、撮像位置Ｐ１からの距離が最長であることである。
このような既知位置を選択すれば、対象物Ａの位置特定に用いる２枚の画像の撮像位置間（すなわち撮像位置Ｐ１と選択既知位置との間）のベースラインが最長となる。従って、距離算出部２８が行うステレオ視による対象物の位置の特定を高い精度で行うことができる。
【０１１７】
また、第二の条件は、複数の既知位置のうちで、撮像位置Ｐ１を結ぶ線分の垂直二等分線から対象物Ａの位置までの距離が最短であることである。
前述したように、ステレオ視による対象物の位置の特定の精度は、その位置特定に用いる２枚の画像を撮像した２つの撮像位置からの距離の差が少ないほど向上する。ここで、上述の第二の条件に従って既知位置を選択すれば、対象物Ａの位置特定に用いる２枚の画像を撮像した２つの撮像位置（すなわち撮像位置Ｐ１及び選択既知位置）から対象物Ａの位置までの距離の差が最短となる。従って、距離算出部２８が行うステレオ視による対象物の位置の特定を高い精度で行うことができる。
【０１１８】
なお、第二の条件をＳ４０４の処理に採用する場合には、対象物Ａの位置として、記録装置２５に記録されている、対象物Ａについての過去の位置情報の特定結果を利用して行う。
【０１１９】
Ｓ４０４の処理では、上述した第一の条件及び第二の条件のどちらを採用してもよい。
また、Ｓ４０４の処理において、上述した条件に合致する既知位置を１つのみ選択するのではなく、条件に合致する程度に応じた順序に複数個選択してもよい。すなわち、第一の条件に関しては、複数の既知位置のうちで、撮像位置Ｐ１からの距離が大きい順序（長い順序）に複数個選択してもよい。また、第二の条件に関しては、複数の既知位置のうちで、撮像位置Ｐ１を結ぶ線分の垂直二等分線から対象物Ａの位置までの距離が短い順序に複数個選択してもよい。なお、このＳ４０４の処理において既知位置を複数選択した場合における、距離算出部２８による対象物Ａの位置の特定の手法については後述する。
なお、撮像位置選択部２７が行った選択の結果は、距離記録装置２９に格納される。
【０１２０】
次に図１２について説明する。図１２は、図７におけるステップ５の処理である、位置特定及び距離算出処理の処理内容を図解したフローチャートである。
【０１２１】
図１２において、まず、Ｓ５０１では、撮像位置画像と、図７のステップ４の処理により選択された位置での撮像画像（すなわち基準位置画像若しくは選択既知位置画像）とでの特徴点の位置と対応関係との情報を取得する処理を距離算出部２８が行う。なお、これらの情報は特徴点抽出部２２及び特徴点追跡部２３により既に求められており、距離算出部２８は、記録装置２５からこれらの情報を取得する。
【０１２２】
次に、Ｓ５０２では、三角測量の原理を用いて、対象物Ａ上の特徴点の現実の三次元空間での位置を特定し、その特定結果を距離記録装置２９に格納する処理を距離算出部２８が行う。この位置特定の処理は、Ｓ５０１の処理により取得した情報と、撮像位置Ｐ１の位置情報と、図７のステップ４の処理により選択された位置の位置情報（すなわち基準位置Ｐ０若しくは選択既知位置）とに基づいて行われる。
【０１２３】
次に、Ｓ５０３では、Ｓ５０２の処理により特定された対象物Ａについての特徴点の位置と、撮像位置Ｐ１との距離を算出し、その算出結果を距離記録装置２９に格納する処理を距離算出部２８が行い、その後は、この図１２の処理が終了する。
【０１２４】
ここで、Ｓ５０２の位置特定の処理の処理内容について、更に説明する。
［数２０］にも掲げた下記の関係式
【数２４】
は、現実の三次元空間上での特徴点ｐk とｑk との関係を表している。ここで、特徴点ｐk とｑk の画像上での位置を用いてこの関係式を表現するには、変数ｋ1 及びｋ2 を導入することで、
【数２５】
と表される。
【０１２５】
この［数２５］式を展開すると、
【数２６】
となる。この式を
【数２７】
と表現する。なお、特徴点ｐk とｑk の画像上での位置は、［数１７］及び［数１９］のように３つの要素で表現されているので、１組の特徴点の対応関係について、３つの関係式が得られる。
【０１２６】
ここで、撮像位置画像と、図７のステップ４の処理により選択された位置での撮像画像とでの特徴点の対応関係をｎ組得ることで、その各組について［数２７］の関係式を生成することで、
【数２８】
が得られる。この式は、
【数２９】
の形をしている。従って、
【数３０】
を、最小二乗法を適用して解くことで、ｋ（ｋ1 及びｋ2 ）の値が求まる。このようにして得られたｋ1 及びｋ2 の値と、特徴点ｐk 及びｑk の画像上の位置とから、特徴点ｐk 及びｑk の現実の三次元空間上での位置（すなわち、対象物Ａの位置の位置情報）が求まる。
【０１２７】
なお、図１１のＳ４０４の処理において撮像位置選択部２７が既知位置を複数選択した場合には、Ｓ５０２において、距離算出部２８は、対象物Ａの位置の特定処理を、次のようにして行う。
【０１２８】
まず、距離算出部２８は、撮像位置選択部２７が選択した複数の既知位置の１つずつに基づいて、対象物Ａについての位置情報の特定処理を前述のようにして行う。次に、距離算出部２８は、この特定処理によって得られた複数個の位置情報で示されている複数の位置の重心の位置を求める処理を行う。そして、このようにして求められた重心の位置情報を、Ｓ５０２の位置特定の処理による、対象物Ａの位置情報の特定結果とする。
【０１２９】
なお、上述したようにして重心の位置を求める際に、撮像位置選択部２７による既知位置の選択順序に応じた重みを考慮するようにしてもよい。すなわち、距離算出部２８は、まず、撮像位置選択部２７が選択した複数の既知位置の１つずつに基づいて、対象物Ａについての位置情報の特定処理を前述のようにして行う。次に、距離算出部２８は、この特定処理によって位置情報が得られた複数個の位置の各々に対し、当該位置情報の特定に用いた選択既知位置を撮像位置選択部２７がＳ４０４の処理において選択したときの選択順序に応じた重み付けを与える処理を行う。次に、距離算出部２８は、このようにして重み付けが各々与えられた複数個の位置の重心（重み付け重心）を求める処理を行う。そして、このようにして求められた重み付け重心の位置情報を、Ｓ５０２の位置特定の処理による、対象物Ａの位置情報の特定結果とする。距離算出部２８がこのようにして対象物Ａの位置情報の特定を行うようにしてもよい。
【０１３０】
図６の位置特定装置は、以上の処理を各構成要素が行うことによって、静止状態であった自動車Ｖが移動を開始して以降の対象物Ａの位置を特定する。
なお、図６の撮像装置は、カメラ１１が撮像位置画像の取得後に続いて画像を新たに撮像した場合における当該新画像の撮像位置Ｐ２の特定についても、同様に行うことができる。すなわち、この場合には、図７のステップ１において、前述のようにして特定した撮像位置Ｐ１を新たな基準位置Ｐ０に設定する処理を撮像装置位置特定部２６が行うことで、後は同様の処理によって、当該新画像の撮像位置Ｐ２を特定することができる。
【０１３１】
また、撮像位置Ｐ１に基づく新画像の撮像位置Ｐ２の特定は、以下のようにして行うこともできる。
まず、基準位置Ｐ０、撮像位置Ｐ１、及び上記の新画像の撮像位置Ｐ２の位置を表す座標を、それぞれＸ０、Ｘ１、及びＸ２とする。
【０１３２】
ここで、基準位置Ｐ０から撮像位置Ｐ１への移動におけるカメラ１１の移動量の回転成分を回転行列Ｒ１と表し、その並進成分を並進行列Ｔ１と表すものとする。また、基準位置Ｐ０から新画像の撮像位置Ｐ２への移動におけるカメラ１１の移動量の回転成分を回転行列Ｒ２と表し、その並進成分を並進行列Ｔ２と表すものとする。
【０１３３】
このとき、下記の式が成り立つ。
Ｘ１＝Ｒ１（Ｘ０−Ｔ１）………………式［６］
Ｘ２＝Ｒ２（Ｘ０−Ｔ２）………………式［７］
上記の式［６］を変形すると、
Ｘ０＝Ｒ１T Ｘ１＋Ｔ１…………………式［８］
この式［８］を式［７］に代入すると、
Ｘ２＝Ｒ２（Ｒ１T Ｘ１＋Ｔ１−Ｔ２）
＝Ｒ２Ｒ１T （Ｘ１−Ｒ１（Ｔ２−Ｔ１））…………………式［９］
ここで、Ｒ１２＝Ｒ２Ｒ１T 及びＴ１２＝Ｒ１（Ｔ２−Ｔ１）と置くと、式［９］は、
Ｘ２＝Ｒ１２（Ｘ１−Ｔ１２）…………式［１０］
と表される。
【０１３４】
従って、Ｒ１、Ｒ２、Ｔ１、及びＴ２を用いてＲ１２及びＴ１２を求めることで、撮像位置Ｐ１から新画像の撮像位置Ｐ２への移動におけるカメラ１１の移動量が求まり、従って、新画像の撮像位置Ｐ２の特定を、撮像位置Ｐ１に基づいて行うことができる。
【０１３５】
図６の位置特定装置は、以上のように動作する結果、自動車Ｖが移動を開始した直後においても、その周囲に存在する対象物Ａについての位置特定及び距離計測を高精度に行うことができる。従って、自動車Ｖの始動直後から周囲にある物体情報を自動車Ｖのドライバへ提供することができ、ドライバの安心安全を実現できる。また、図６の位置特定装置は単眼カメラシステム系であるので、低コストで実現できる。
なお、前述した各実施例に係る位置特定装置の各機能ブロックを、コンピュータを用いて構成することもできる。
【０１３６】
ここで図１３について説明する。図１３には、位置特定装置の各機能ブロックとして動作させることのできるコンピュータのハードウェア構成例が図解されている。
このコンピュータ３０は、ＭＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、入力装置３４、表示装置３５、インタフェース装置３６、及び記録媒体駆動装置３７を備えている。なお、これらの構成要素はバスライン３８を介して接続されており、ＭＰＵ３１の管理の下で各種のデータを相互に授受することができる。
【０１３７】
ＭＰＵ（Micro Processing Unit）３１は、このコンピュータ３０全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）３２は、所定の制御プログラムや各種の定数値が予め記録されている読み出し専用半導体メモリである。ＭＰＵ３１は、この制御プログラムをコンピュータ３０の起動時に読み出して実行することにより、このコンピュータ３０の各構成要素の動作制御が可能となる。
【０１３８】
ＲＡＭ（Random Access Memory）３３は、ＭＰＵ３１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。なお、このＲＡＭ３３は、図１における記録部４や、図２における特徴点追跡結果格納メモリ１６、あるいは図６における記録装置２５及び距離記録装置２９として機能する。
【０１３９】
入力装置３４は、例えばキーボード装置であり、コンピュータ３０の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ３１に送付する。
【０１４０】
表示装置３５は例えば液晶ディスプレイであり、ＭＰＵ３１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置３６は、このコンピュータ３０に接続される各種機器との間での各種データの授受の管理を行う。より具体的には、インタフェース装置３６は、カメラ１１から送られてくる撮像画像信号のアナログ−デジタル変換や、アクチュエータ１２を駆動させるための駆動信号の出力などを行う。
【０１４１】
このような構成を有するコンピュータ３０を、前述した各実施例に係る位置特定装置の各機能ブロックとして機能させることができる。例えば、図７及び図９から図１２の各図を用いて説明した位置特定処理の各処理手順をＭＰＵ３１に行わせるための制御プログラムを作成する。作成した制御プログラムはＲＯＭ３２に予め格納しておく。そして、ＭＰＵ３１に所定の実行開始指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ３１が、図６における特徴点抽出部２２、特徴点追跡部２３、位置特定部２４、撮像装置位置特定部２６、撮像位置選択部２７、及び距離算出部２８として機能するようになる。従って、コンピュータ３０のインタフェース装置３６に撮像装置２１を接続することで、図６の位置特定装置を構成することができる。
【０１４２】
なお、記録媒体駆動装置３７は、可搬型記録媒体３９に記録されている各種の制御プログラムやデータの読み出しを行う装置である。例えば、ＲＯＭ３２としてフラッシュメモリを使用し、ＭＰＵ３１が、可搬型記録媒体３９に記録されている前述の制御プログラムを、記録媒体駆動装置３８を介して読み出してＲＯＭ３２に格納するようにコンピュータ３０を構成してもよい。この場合には、ＭＰＵ３１は、所定の実行開始指示を受けたには、ＭＰＵ３１がＲＯＭ３２に格納した制御プログラムを読み出して実行するようにする。
【０１４３】
なお、可搬型記録媒体３９としては、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）などの非一時的（non-transitory）な記録媒体が利用可能である。また、可搬型記録媒体３９として、例えばＵＳＢ（Universal Serial Bus）規格のコネクタが備えられている半導体メモリも利用可能である。
【０１４４】
また、端末装置と、当該端末装置との間で各種データの授受を行うことのできるサーバ装置とからなるコンピュータシステムにより、前述した各実施例に係る位置特定装置を構成してもよい。例えば、このコンピュータシステムで図６の位置特定装置を構成する場合には、自動車Ｖに設置される端末装置に、撮像装置２１と、サーバ装置との通信用の通信装置と、対象物Ａについての位置特定及び距離算出の結果をドライバに提供する表示装置とを備える。一方、サーバ装置には、例えば図１３のコンピュータ３０の構成を備える。但し、インタフェース装置３６には、端末装置の通信装置との間でのデータ通信を管理する通信装置を備える。そして、端末装置は、撮像装置２１で順次撮像される自動車Ｖ周囲の撮像画像をサーバ装置に送付する。一方、サーバ装置では、端末装置から受け取った撮像画像に基づき、対象物Ａについての位置特定及び距離算出を前述したようにして行い、その結果を端末装置に送付して表示装置に表示させる。このようにして、図６の位置特定装置を上述のコンピュータシステムにより構成してもよい。
【符号の説明】
【０１４５】
１ 撮像位置特定部
２ 対象物位置特定部
３ 選択部
４ 記録部
５ 判定部
６ 撮像装置
７、１８、２８ 距離算出部
１１ カメラ
１２ アクチュエータ
１３ アクチュエータ制御部
１４ 画像取得部
１５ 画像処理部
１５ａ、２２ 特徴点抽出部
１５ｂ、２３ 特徴点追跡部
１６ 特徴点追跡結果格納メモリ
１７、２４ 位置特定部
１７ａ 第一位置特定部
１７ｂ 第二位置特定部
１７ｃ 第三位置特定部
１９ ドアミラー
２１ 撮像装置
２５ 記録装置
２６ 撮像装置位置特定部
２７ 撮像装置位置選択部
２９ 距離記録装置
３０ コンピュータ
３１ ＭＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ 入力装置
３５ 表示装置
３６ インタフェース装置
３７ 記録媒体駆動装置
３８ バスライン
３９ 可搬型記録媒体
【特許請求の範囲】
【請求項１】
位置情報が既知である基準位置の該位置情報と、該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、該撮像位置の位置情報の特定を行う撮像位置特定部、及び
前記撮像位置特定部で位置情報が特定された撮像位置からの距離が前記基準位置よりも大きい地点に位置しており位置情報が既知である既知位置の位置情報と、該既知位置で前記対象物を撮像して得た既知位置画像と、該撮像位置の位置情報と、該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、該対象物の位置情報の特定を行う対象物位置特定部、
を備えることを特徴とする位置特定装置。
【請求項２】
前記既知位置が複数存在する場合に、該複数の既知位置のうちから、前記対象物位置特定部による前記対象物の位置特定の基礎として用いるときの適性を表している所定の条件に合致するものを、選択既知位置として選択する選択部を更に備え、
前記対象物位置特定部は、前記選択部が選択した前記選択既知位置の位置情報と、該選択既知位置で前記対象物を撮像して得た選択既知位置画像と、前記撮像位置の位置情報と、前記撮像位置画像とに基づいて、該対象物の位置情報の特定を行う、
ことを特徴とする請求項１に記載の位置特定装置。
【請求項３】
前記選択部は、前記複数の既知位置のうちで、前記撮像位置特定部が位置情報を特定した撮像位置からの距離が大きい順に所定数個を、前記選択既知位置として選択することを特徴とする請求項２に記載の位置特定装置。
【請求項４】
過去に行われた前記対象物の位置情報の特定結果の履歴が記録されている記録部を更に備え、
前記選択部は、前記複数の既知位置のうちで、前記撮像位置特定部が位置情報を特定した撮像位置を結ぶ線分の垂直二等分線からの、前記記録部に記録されている過去の位置情報の特定結果に係る前記対象物の位置までの距離が短くなる順序に所定数個を、前記選択既知位置として選択する、
ことを特徴とする請求項２に記載の位置特定装置。
【請求項５】
前記選択部が前記選択既知位置を複数個選択した場合には、前記対象物位置特定部は、前記対象物についての位置情報の特定を、該選択部が選択した複数個の選択既知位置の各々についてまず行い、該特定により得られる複数の位置情報で示される複数の位置の重心を求め、該重心の位置情報を該対象物の位置情報の特定結果とすることを特徴とする請求項２から４のうちのいずれか一項に記載の位置特定装置。
【請求項６】
前記選択部が前記選択既知位置を複数個選択した場合には、前記対象物位置特定部は、前記対象物についての位置情報の特定を、該選択部が選択した複数個の選択既知位置の各々についてまず行い、該特定により得られる複数の位置情報で示される複数の位置の各々に対して、該位置情報の特定に用いた選択既知位置を前記選択部が選択したときの選択順序に応じた重み付けを与え、該重み付けが各々与えられた該複数の位置の重み付け重心を求め、該重み付け重心の位置情報を該対象物の位置情報の特定結果とすることを特徴とする請求項３又は４に記載の位置特定装置。
【請求項７】
前記基準位置と前記撮像位置特定部が特定した撮像位置との間の距離である基線距離と所定の距離閾値との長短を判定する判定部を更に備え、
前記対象物位置特定部は、
前記基線距離が前記距離閾値よりも短いと前記判定部が判定したときには、前記選択部が選択した選択既知位置の位置情報と、該選択既知位置で前記対象物を撮像して得た選択既知位置画像と、前記撮像位置特定部が特定した撮像位置の位置情報と、該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、該対象物の位置情報を特定し、
前記基線距離が前記距離閾値よりも長いと前記判定部が判定したときには、前記基準位置の位置情報と、前記基準位置画像と、前記撮像位置特定部が特定した撮像位置の位置情報と、該撮像位置で前記対象物を撮像して得た撮像位置画像とに基づいて、該対象物の位置情報を特定する、
ことを特徴とする請求項２から６のうちのいずれか一項に記載の位置特定装置。
【請求項８】
移動体に設置されており、前記基準位置画像、前記撮像位置画像、及び前記既知位置画像の全ての撮像を行う単一の撮像装置を更に備えることを特徴とする請求項１から７のうちのいずれか一項に記載の位置特定装置。
【請求項９】
前記撮像装置から前記対象物までの距離を、前記対象物位置特定部が特定した前記対象物の位置情報と、前記撮像位置特定部が特定した撮像位置の位置情報とに基づいて算出する距離算出部を更に備えることを特徴とする請求項８に記載の位置特定装置。
【請求項１０】
位置情報が既知である基準位置の該位置情報と、該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で該対象物を撮像して得た撮像位置画像とに基づいた、該撮像位置の位置情報の特定を撮像位置特定部が行い、
前記撮像位置特定部が位置情報を特定した撮像位置からの距離が前記基準位置よりも遠くに位置しており位置情報が既知である既知位置の位置情報と、該既知位置で前記対象物を撮像して得た既知位置画像と、該撮像位置の位置情報と、該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいた、該対象物の位置情報の特定を対象物位置特定部が行う、
ことを特徴とする位置特定方法。
【請求項１１】
位置情報が既知である基準位置の該位置情報と、該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、該撮像位置の位置情報の特定を行い、
前記撮像位置の位置情報の特定によって位置情報が特定された撮像位置からの距離が前記基準位置よりも遠くに位置しており位置情報が既知である既知位置の位置情報と、該既知位置で前記対象物を撮像して得た既知位置画像と、該撮像位置の位置情報と、該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、該対象物の位置情報の特定を行う、
処理をコンピュータに実行させるプログラム。
【請求項１】
位置情報が既知である基準位置の該位置情報と、該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、該撮像位置の位置情報の特定を行う撮像位置特定部、及び
前記撮像位置特定部で位置情報が特定された撮像位置からの距離が前記基準位置よりも大きい地点に位置しており位置情報が既知である既知位置の位置情報と、該既知位置で前記対象物を撮像して得た既知位置画像と、該撮像位置の位置情報と、該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、該対象物の位置情報の特定を行う対象物位置特定部、
を備えることを特徴とする位置特定装置。
【請求項２】
前記既知位置が複数存在する場合に、該複数の既知位置のうちから、前記対象物位置特定部による前記対象物の位置特定の基礎として用いるときの適性を表している所定の条件に合致するものを、選択既知位置として選択する選択部を更に備え、
前記対象物位置特定部は、前記選択部が選択した前記選択既知位置の位置情報と、該選択既知位置で前記対象物を撮像して得た選択既知位置画像と、前記撮像位置の位置情報と、前記撮像位置画像とに基づいて、該対象物の位置情報の特定を行う、
ことを特徴とする請求項１に記載の位置特定装置。
【請求項３】
前記選択部は、前記複数の既知位置のうちで、前記撮像位置特定部が位置情報を特定した撮像位置からの距離が大きい順に所定数個を、前記選択既知位置として選択することを特徴とする請求項２に記載の位置特定装置。
【請求項４】
過去に行われた前記対象物の位置情報の特定結果の履歴が記録されている記録部を更に備え、
前記選択部は、前記複数の既知位置のうちで、前記撮像位置特定部が位置情報を特定した撮像位置を結ぶ線分の垂直二等分線からの、前記記録部に記録されている過去の位置情報の特定結果に係る前記対象物の位置までの距離が短くなる順序に所定数個を、前記選択既知位置として選択する、
ことを特徴とする請求項２に記載の位置特定装置。
【請求項５】
前記選択部が前記選択既知位置を複数個選択した場合には、前記対象物位置特定部は、前記対象物についての位置情報の特定を、該選択部が選択した複数個の選択既知位置の各々についてまず行い、該特定により得られる複数の位置情報で示される複数の位置の重心を求め、該重心の位置情報を該対象物の位置情報の特定結果とすることを特徴とする請求項２から４のうちのいずれか一項に記載の位置特定装置。
【請求項６】
前記選択部が前記選択既知位置を複数個選択した場合には、前記対象物位置特定部は、前記対象物についての位置情報の特定を、該選択部が選択した複数個の選択既知位置の各々についてまず行い、該特定により得られる複数の位置情報で示される複数の位置の各々に対して、該位置情報の特定に用いた選択既知位置を前記選択部が選択したときの選択順序に応じた重み付けを与え、該重み付けが各々与えられた該複数の位置の重み付け重心を求め、該重み付け重心の位置情報を該対象物の位置情報の特定結果とすることを特徴とする請求項３又は４に記載の位置特定装置。
【請求項７】
前記基準位置と前記撮像位置特定部が特定した撮像位置との間の距離である基線距離と所定の距離閾値との長短を判定する判定部を更に備え、
前記対象物位置特定部は、
前記基線距離が前記距離閾値よりも短いと前記判定部が判定したときには、前記選択部が選択した選択既知位置の位置情報と、該選択既知位置で前記対象物を撮像して得た選択既知位置画像と、前記撮像位置特定部が特定した撮像位置の位置情報と、該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、該対象物の位置情報を特定し、
前記基線距離が前記距離閾値よりも長いと前記判定部が判定したときには、前記基準位置の位置情報と、前記基準位置画像と、前記撮像位置特定部が特定した撮像位置の位置情報と、該撮像位置で前記対象物を撮像して得た撮像位置画像とに基づいて、該対象物の位置情報を特定する、
ことを特徴とする請求項２から６のうちのいずれか一項に記載の位置特定装置。
【請求項８】
移動体に設置されており、前記基準位置画像、前記撮像位置画像、及び前記既知位置画像の全ての撮像を行う単一の撮像装置を更に備えることを特徴とする請求項１から７のうちのいずれか一項に記載の位置特定装置。
【請求項９】
前記撮像装置から前記対象物までの距離を、前記対象物位置特定部が特定した前記対象物の位置情報と、前記撮像位置特定部が特定した撮像位置の位置情報とに基づいて算出する距離算出部を更に備えることを特徴とする請求項８に記載の位置特定装置。
【請求項１０】
位置情報が既知である基準位置の該位置情報と、該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で該対象物を撮像して得た撮像位置画像とに基づいた、該撮像位置の位置情報の特定を撮像位置特定部が行い、
前記撮像位置特定部が位置情報を特定した撮像位置からの距離が前記基準位置よりも遠くに位置しており位置情報が既知である既知位置の位置情報と、該既知位置で前記対象物を撮像して得た既知位置画像と、該撮像位置の位置情報と、該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいた、該対象物の位置情報の特定を対象物位置特定部が行う、
ことを特徴とする位置特定方法。
【請求項１１】
位置情報が既知である基準位置の該位置情報と、該基準位置で対象物を撮像して得た基準位置画像と、任意の撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、該撮像位置の位置情報の特定を行い、
前記撮像位置の位置情報の特定によって位置情報が特定された撮像位置からの距離が前記基準位置よりも遠くに位置しており位置情報が既知である既知位置の位置情報と、該既知位置で前記対象物を撮像して得た既知位置画像と、該撮像位置の位置情報と、該撮像位置で該対象物を撮像して得た撮像位置画像とに基づいて、該対象物の位置情報の特定を行う、
処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５】
【図８】
【図２】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５】
【図８】
【公開番号】特開２０１２−１２２９１１（Ｐ２０１２−１２２９１１Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７５２２１（Ｐ２０１０−２７５２２１）
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]