対象物特定装置
【課題】 ユーザの手や指が指し示している方向に存在する対象物を正確に特定する対象物特定装置を提供する。
【解決手段】 測位部１３は、車両の現在位置および車両の方位を検出する。撮像部１８は、車両の周囲を撮像する。指差し方向検知部１６は、車両内のユーザが自身の手を用いて指し示した指示方向を検知する。対象物抽出部は、指差し方向検知部１６が検知した指示方向に存在する対象物を撮像部１８が撮像した画像内から抽出する。対象物位置特定部は、車両に対して、対象物抽出部が抽出した対象物の位置を特定する。
【解決手段】 測位部１３は、車両の現在位置および車両の方位を検出する。撮像部１８は、車両の周囲を撮像する。指差し方向検知部１６は、車両内のユーザが自身の手を用いて指し示した指示方向を検知する。対象物抽出部は、指差し方向検知部１６が検知した指示方向に存在する対象物を撮像部１８が撮像した画像内から抽出する。対象物位置特定部は、車両に対して、対象物抽出部が抽出した対象物の位置を特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物特定装置に関し、より特定的には、ユーザの手または指が指し示している方向に基づいて、車両周辺の対象物を特定する対象物特定装置に関する。
【背景技術】
【０００２】
近年、ＨＤＤ（ハードディスクドライブ）やＤＶＤ（デジタルヴァーサタイルディスク）等の記録媒体に地図情報と共に記憶された車両周辺の情報を、ディスプレイ上で閲覧可能なカーナビゲーション装置が広く普及している。
【０００３】
一方、ディスプレイ上の地図に表示されている情報からだけではなく、運転者等の搭乗者が手や指で指し示している指示方向に存在する地図上の地名や施設名を音声にて読上げて、ディスプレイ上に表示するナビゲーション装置が開示されている（例えば、特許文献１参照）。これにより、搭乗者が目に付いた建物や湖等の名称や周囲の地名等の情報を、当該搭乗者の手や指で指し示すことで迅速に入手することができる。
【特許文献１】特開２００３−１０６８６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に開示されているナビゲーション装置は、搭乗者の手や指で指し示している指示方向に存在する対象物までの距離を算出するにあたり、当該指示方向の仰角を用いて対象物までの距離を４段階に分けて対応付けして算出している。したがって、地図情報記憶部にある地図情報からある程度の広範囲を対象にして上記指示方向に存在する対象物を特定する必要があり、対象物特定の精度に課題を残している。また、車両周辺に関する情報だけでなく相対的に遠方にあり、搭乗者が視認困難な距離に存在する対象物（例えば、遠方の標識や看板）を高精度に特定することはできなかった。
【０００５】
それ故に、本発明の目的は、ユーザの手や指が指し示している方向に存在する対象物を正確に特定する対象物特定装置を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、以下に述べるような特徴を有している。
第１の発明は、車両周辺の対象物の位置を特定する対象物特定装置である。対象物特定装置は、測位部、撮像部、指差し方向検知部、対象物抽出部、および対象物位置特定部を備える。測位部は、車両の現在位置および車両の方位を検出する。撮像部は、車両の周囲を撮像する。指差し方向検知部は、車両内のユーザが自身の手を用いて指し示した指示方向を検知する。対象物抽出部は、指差し方向検知部が検知した指示方向に存在する対象物を撮像部が撮像した画像内から抽出する。対象物位置特定部は、車両に対して、対象物抽出部が抽出した対象物の位置を特定する。
【０００７】
第２の発明は、上記第１の発明において、撮像部は、車両に設置された少なくとも１つのカメラで構成される。対象物特定装置は、座標変換部を、さらに備える。座標変換部は、指差し方向検知部が検知した指示方向をカメラの撮像方向を基準とするカメラ座標系における指示方向に変換する。対象物抽出部は、撮像部が撮像した画像内から座標変換部が変換した指示方向に撮像された被撮像物を対象物として抽出する。
【０００８】
第３の発明は、上記第２の発明において、撮像部は、平行等位に車両に設置された複数のカメラで構成される。対象物抽出部は、一方のカメラが撮像した画像から指示方向に撮像された所定サイズの領域を抽出し、その領域の画像と他方のカメラが撮像した画像とのマッチングによってその指示方向に撮像された被撮像物を対象物として抽出する。対象物位置特定部は、複数のカメラが対象物をそれぞれ撮像している方向に基づいて、車両に対する対象物の位置を算出する。
【０００９】
第４の発明は、上記第３の発明において、対象物抽出部は、指示方向が時系列的に変化することによってその指示方向に囲まれた空間内に撮像された画像を領域の画像として抽出する。
【００１０】
第５の発明は、上記第２の発明において、撮像部は、車両に設置された単一のカメラで構成される。対象物特定装置は、地図情報記憶部を、さらに備える。地図情報記憶部は、少なくとも車両の現在位置付近の３次元地図を格納する。対象物抽出部は、カメラが撮像した画像から指示方向に撮像された被撮像物の輪郭を対象物の輪郭として抽出する。対象物位置特定部は、３次元地図から対象物抽出部が抽出した輪郭と一致する形状のオブジェクトの位置をその３次元地図上で特定して、車両に対する対象物の位置を算出する。
【００１１】
第６の発明は、上記第１の発明において、表示部、ポインタ座標決定部、および表示制御部を、さらに備える。表示部は、車両に備えられた少なくとも１つのガラスを表示領域にして画像を投影する。ポインタ座標決定部は、指差し方向検知部が検知した指示方向と表示領域が設定されたガラスとの交点座標を決定する。表示制御部は、ポインタ座標決定部が決定した交点座標上の表示領域にポインタ画像を表示制御する。
【００１２】
第７の発明は、上記第１の発明において、表示部、視線検知部、ポインタ座標決定部、および表示制御部を、さらに備える。表示部は、車両に備えられた少なくとも１つのガラスを表示領域にして画像を投影する。視線検知部は、車両内のユーザの視線方向を検知する。ポインタ座標決定部は、対象物位置特定部が特定した対象物の位置とユーザの視線とを結ぶ直線と表示領域が設定されたガラスとの交点座標を決定する。表示制御部は、ポインタ座標決定部が決定した交点座標上の表示領域にポインタ画像を表示制御する。
【００１３】
第８の発明は、上記第６または第７の発明において、調整部を、さらに備える。調整部は、ポインタ座標決定部が決定する交点座標をユーザからの指示に応じて調整する。
【００１４】
第９の発明は、上記第１の発明において、撮像部は、車両に設置された複数のカメラで構成される。対象物特定装置は、表示部および選択部を、さらに備える。表示部は、車両内に設置される。選択部は、指差し方向検知部が検知した指示方向に応じて、複数のカメラから出力される画像から何れか１つの画像を選択して表示部に表示する。
【００１５】
第１０の発明は、上記第９の発明において、撮像制御部を、さらに備える。撮像制御部は、対象物位置特定部が特定した対象物が画像の中心に撮像されるように、選択部が選択した画像を撮像するカメラの撮像方向を制御する。
【００１６】
第１１の発明は、上記第９の発明において、撮像制御部を、さらに備える。撮像制御部は、対象物位置特定部が特定した対象物が画像の中心で拡大または縮小して撮像されるように、選択部が選択した画像を撮像するカメラの撮像倍率を制御する。
【００１７】
第１２の発明は、上記第１の発明において、地図情報記憶部および情報出力部を、さらに備える。地図情報記憶部は、少なくとも車両の現在位置付近の地図情報およびその地図で表される各領域に対する情報を格納する。情報出力部は、対象物位置特定部が特定した対象物に関する情報を地図情報記憶部に格納されている情報から抽出して、車両内のユーザに報知する。
【００１８】
第１３の発明は、上記第１２の発明において、通信部および表示部を、さらに備える。通信部は、所定のネットワークを介して通信可能である。表示部は、情報出力部が出力する情報を表示する。情報出力部は、地図情報記憶部に格納されている情報がネットワーク上に存在する情報資源の場所を示すとき、通信部を介してその情報資源から情報を取得して表示部に表示する。
【００１９】
第１４の発明は、上記第１の発明において、地図情報記憶部およびルート検索部を、さらに備える。地図情報記憶部は、少なくとも車両の現在位置付近の地図情報を格納する。ルート検索部は、対象物位置特定部が特定した対象物の位置を経由地または目的地に設定してルート検索する。
【発明の効果】
【００２０】
上記第１の発明によれば、ユーザの手や指が指し示している方向に存在する対象物を特定するにあたり、撮像部が撮像した画像を用いて特定されるため高精度に対象物の位置を特定することができる。
【００２１】
上記第２の発明によれば、ユーザが指し示した方向がカメラ座標に変換され、その方向の被撮像物が抽出されるため、対象物の認識精度が向上する。
【００２２】
上記第３の発明によれば、ステレオカメラの原理を用いて対象物を高精度に特定することができる。
【００２３】
上記第４の発明によれば、ユーザが指し示して指定した形状に応じて対象物を抽出することができ、当該形状で囲まれた画像を用いてマッチングすることによってマッチング精度が高まり、結果的に効率よく高精度に対象物を特定することができる。
【００２４】
上記第５の発明によれば、撮像部を単一カメラで構成して対象物の特定を実現することができる。
【００２５】
上記第６または第７の発明によれば、ユーザは、指し示した方向と視認されている対象物の方向とを、表示されたポインタを見ながら調整することができるので、指し示した方向と対象物との関係を容易に把握することができる。
【００２６】
上記第８の発明によれば、指し示した方向に存在する対象物を確実に特定することができる。
【００２７】
上記第９の発明によれば、ユーザが指し示した方向に応じて適切な映像を表示部に表示することができる。
【００２８】
上記第１０および第１１の発明によれば、対象物に注目した映像をユーザに提供することができる。
【００２９】
上記第１２の発明によれば、対象物に関する情報を容易に得ることができる。
【００３０】
上記第１３の発明によれば、インターネット等に公開されたＷｅｂページ等の対象物に関する情報を容易に得ることができる。
【００３１】
上記第１４の発明によれば、ルート設定が容易に行うことができ、安全性に配慮した入力を行うことができるカーナビゲーション装置を提供することができる。
【発明を実施するための最良の形態】
【００３２】
（第１の実施形態）
以下、本発明の第１の実施形態に係る対象物特定装置について説明する。なお、説明を具体的にするために、当該対象物特定装置がカーナビゲーション装置に適用された一例を用いて、図面を参照しながら説明する。なお、以下参照する図面において、本発明に関係のない構成要素は省略している。
【００３３】
図１および図２を参照して、第１の実施形態に係るカーナビゲーション装置１について説明する。なお、図１は、第１の実施形態に係るカーナビゲーション装置１の概略の構成を示す構成図である。図２は、ユーザ（例えば、車両のドライバ等の搭乗者）が対象物を手や指で指し示す様子を示す模式図である。
【００３４】
図１において、カーナビゲーション装置１は、制御部１１、地図情報記憶部１２、測位部１３、入力部１４、音声出力部１５、指差し方向検知部１６、指差し座標取得部１７、撮像部１８、画像認識／測距部２０、ポインタ座標決定部２１、および表示部２２から構成されている。また、図２において、車両Ｃのユーザが手Ｈによって対象物Ｍの一部を指し示している。なお、車両Ｃ内にはカーナビゲーション装置１が搭載されるが、図２では測位部１３および撮像部１８のみ図示している。
【００３５】
制御部１１は、経路探索や案内等のナビゲーション機能等、カーナビゲーション装置１の基本機能を制御するとともに、後述する処理を実行する手段であり、例えば、ＣＰＵやＭＰＵで構成される。
【００３６】
地図情報記憶部１２は、経路案内や探索に必要な地図情報を格納する記憶媒体であり、例えば、ＨＤＤ（ハードディスクドライブ）やＤＶＤ（デジタルヴァーサタイルディスク）である。また、地図情報記憶部１２は、少なくとも車両Ｃが位置する現在地付近に存在する対象物（例えば、建物等の施設）の位置や名称および当該対象物に関連した情報（例えば、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ；ユニフォーム・リソース・ロケータ）、営業時間、広告等）が格納されている。なお、地図情報記憶部１２は、図示しない通信手段（例えば、携帯電話）によって情報をセンター設備から適宜ダウンロードして格納してもかまわない。
【００３７】
測位部１３は、車両の現在位置や方位を測位する手段であり、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ；全地球測位システム）、ＩＮＳ（Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ；慣性航法システム）、車速センサ等で構成される。ＩＮＳは、加速度センサやジャイロセンサから構成され、車両Ｃの現在位置および方位を初期値からの積分によって算出するものである。ここで、図２では測位部１３としてＩＮＳが車両Ｃに固定設置された様子を例示している。以下に説明する車両座標系では、車両Ｃの前後方向をＸ軸とし、車両Ｃの前方進行方向をＸ軸正方向とする。車体Ｃの左右方向をＹ軸とし、車両Ｃの右方向をＹ軸正方向とする。そして、Ｘ−Ｙ平面に対して垂直な方向（つまり、車両Ｃの上下方向）をＺ軸とし、車両Ｃの上方向をＺ軸正方向とする。
【００３８】
入力部１４は、ユーザが手や指（以下、手のみ記載する）Ｈで指し示した対象物Ｍに対して、ユーザ所望の指示を入力する手段であり、例えば、音声入力するマイクや音声認識エンジン等で構成される。
【００３９】
音声出力部１５は、制御部１１が地図情報記憶部１２から抽出した対象物Ｍに関連した情報を読上げるための手段であり、例えば、音声合成エンジンやスピーカ等で構成される。
【００４０】
指差し方向検知部１６は、ユーザ（運転手等の車両搭乗者）が手Ｈで指し示した方向を検知するための手段であり、例えば、手Ｈの画像を撮像する車両Ｃ内に固設された複数のカメラによって構成される。また、指差し方向検知部１６として、車両Ｃ内に所定の電波を放射して手Ｈが指し示す方向を検知する周知の検知手段を用いてもかまわない。
【００４１】
指差し座標取得部１７は、指差し方向検知部１６が取得した情報を用いて、３軸の座標値（以下、指差し座標（系）と記載する）を取得するための手段であり、例えば、指差し方向検知部１６が撮像した複数の画像を画像処理する画像処理回路で構成される。そして、指差し座標取得部１７は、取得した指差し座標を制御部１１に出力する。
【００４２】
撮像部１８は、車両Ｃ外部に設けられた車両周辺の画像を取得するための手段であり、例えば、単一カメラまたはステレオカメラである。撮像部１８は、図２に例示するように、車両Ｃのルーフ上に設置され、車両Ｃの前方を撮像する。ここで、撮像部１８は前述の車両座標系と原点は異なるが、Ｘ軸正方向が撮像方向となるように設置される。以下、撮像部１８の撮像方向を基準とした座標系をカメラ座標系と記載する。なお、図２では、車両Ｃのルーフ上に撮像部１８を設置する例を示したが、車両Ｃの室内（例えば、ルームミラー）にも設置してもかまわない。
【００４３】
画像認識／測距部２０は、撮像部１８が撮像した画像を認識し、制御部１１が特定した対象物Ｍまでの距離を測定するための手段である。そして、画像認識／測距部２０は、撮像部１８が撮像した画像や距離情報を制御部１１に出力する。
【００４４】
ポインタ座標決定部２１は、ユーザの手Ｈと対象物Ｍとの間に存在する車両Ｃのフロントガラス上の２次元座標であるポインタ座標（図２におけるＡ点）を決定するための手段である。以下、車両Ｃのフロントガラス上の２次元座標系をポインタ座標系と記載する。
【００４５】
表示部２２は、ポインタ座標決定部２１で決定したポインタ座標に基づいて、車両Ｃのフロントガラスの室内側表面にポインタＰを投影表示するための手段である。なお、表示部２２は、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ；ヘッドアップ・ディスプレイ）で構成してもかまわない。
【００４６】
次に、図３を参照して、ユーザが手Ｈを車両Ｃ前方のフロントガラスＦ越しに指し示した状態について説明する。なお、図３は、ユーザが手Ｈを車両Ｃ前方のフロントガラスＦ越しに指し示したときにポインタＰが投影されている様子を示す模式図である。
【００４７】
図３において、車両ＣのフロントガラスＦを介して視認できる車両周辺風景に対して、当該フロントガラスＦにポインタＰが表示されている。このようにポインタＰはフロントガラスＦ上に表示され、その表示位置はユーザの手Ｈと対象物Ｍとを結ぶ直線とフロントガラスＦとが重なる点（図２で示したＡ点、すなわちポインタ座標）に表示される。このように、ユーザは、ポインタＰを見ながら手Ｈで指し示した方向と対象物Ｍに対する方向との調整を行うことができるので、指し示した方向の対象物Ｍとの対応を容易に把握することができる。なお、撮像部１８や表示部２２を車両Ｃの周囲３６０度を撮像できるように複数設置することで、フロントガラスＦだけではなく、車両ＣのサイドガラスやリヤガラスにもポインタＰを投影表示してもかまわない。また、図３では、ポインタＰを表示するとしたが、指し示す方向と対象物Ｍとの対応関係が分かる表示であれば他の表示でもかまわない。例えば、指し示す方向に応じて特定された対象物Ｍの輪郭に相当する図形を表示したり、当該対象物Ｍの輪郭の内部を塗りつぶしたりする表示を行ってもかまわない。
【００４８】
次に、図４〜図８を参照して、カーナビゲーション装置１の動作の第１の例について説明する。なお、図４は、カーナビゲーション装置１の第１の例における前半部の動作を示すフローチャートである。図５は、カーナビゲーション装置１の第１の例における後半部の動作を示すフローチャートである。図６は、カーナビゲーション装置１の動作で用いる指差し座標系および車両座標系の一例を説明するための図である。図７は、カーナビゲーション装置１の動作で用いるカメラ座標系の一例を説明するための図である。図８は、カーナビゲーション装置１の動作で用いるポインタ座標系の一例を説明するための図である。ここで、撮像部１８は、ステレオカメラで構成されているとする。また、地図情報記憶部１２には、上記地図情報として２次元地図が格納されている。
【００４９】
図４において、カーナビゲーション装置１の起動を促すキーワード（例えば、「指差し入力起動」）がユーザから入力部１４に発話入力されると、カーナビゲーション装置１が起動する（ステップＳ１０）。そして、ユーザが車両Ｃ前方方向に存在する建物等の対象物Ｍを指し示すと（ステップＳ１１でＹｅｓ）、指差し方向検知部１６が検知する。そして、指差し方向検知部１６が検知した情報を用いて、指差し座標取得部１７は指差し座標（Ｘｈ、Ｙｈ）を取得する（ステップＳ１２）。そして、ポインタ座標決定部２１は、ステップＳ１２で取得した指差し座標（Ｘｈ、Ｙｈ）をポインタ座標（Ｘｐ、Ｙｐ）に座標変換する（ステップＳ１３）。また、制御部１１は、ステップＳ１２で取得した指差し座標（Ｘｈ、Ｙｈ）をカメラ座標ｍｒ（Ｘｒ、Ｙｒ）に座標変換する（ステップＳ１４）。制御部１１およびポインタ座標決定部２１は、それぞれフロントガラスＦの設置位置や角度、車両Ｃ内部および外部に設置したカメラ（すなわち、指差し方向検知部１６および撮像部１８）の設置位置や方向、さらに、車両Ｃに設置した測位部１３の位置等によって、これらの座標変換で用いる座標変換行列を予め決定する。
【００５０】
図６〜図８を用いて、指差し座標系、車両座標系、カメラ座標系、およびポインタ座標系について説明する。なお、制御部１１およびポインタ座標決定部２１は、それぞれ上記座標変換行列を用いてこれら座標系同士の座標変換が可能となる。
【００５１】
図６において、指差し座標系は、手Ｈの左右方向をＸ軸（横軸）、手Ｈの上下方向をＹ軸（縦軸）と定義し、右方向をＸ軸正方向、上方向をＹ軸正方向とする。そして、指差し座標系で指定される座標を指差し座標（Ｘｈ、Ｙｈ）で示す。また、車両座標系は、測位部１３の位置を基準に、車両Ｃの前後方向をＸ軸、車体Ｃの左右方向をＹ軸、車両Ｃの上下方向をＺ軸と定義し、車両Ｃの前方進行方向をＸ軸正方向、車両Ｃの右方向をＹ軸正方向、車両Ｃの上方向をＺ軸正方向とする。そして、車両座標系で指定される座標を車両座標（Ｘｖ、Ｙｖ、Ｚｖ）で示す。なお、制御部１１は、この車両座標系から、車両Ｃの緯度、経度、高度（測地座標系）を算出することも可能である。
【００５２】
図７において、撮像部１８として２台の同一仕様のカメラ（ステレオカメラ）を平行等位に設置する。平行等位とは、２つのカメラの光軸を平行にしてながらそれぞれの撮像面を一致させ、さらにそれぞれの撮像面の横軸（ｘ軸）も一致させたカメラ配置のことである。図７に示すカメラ配置の例では、左右のカメラの間隔をカメラ間隔Ｂとして焦点距離ｆのカメラを２台配置している。図７に示すように、右カメラの焦点Ｏを原点として左右カメラの光軸方向をＺ軸、左右カメラの焦点を結ぶ方向をＸ軸、Ｘ軸およびＺ軸に垂直な方向をＹ軸とした実空間の座標系の位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）に対象物Ｍが存在するとする。そして、右カメラのカメラ座標系ｍｒ（Ｘｒ、Ｙｒ）および左カメラの座標系ｍｌ（Ｘｌ、Ｙｌ）を、右カメラおよび左カメラの撮像面上でそれぞれ光軸との交点ＯｒおよびＯｌを原点とした座標系とする。また、実空間の座標系のＸ軸、右カメラ座標系のＸｒ軸、および左カメラ座標系のＸｌ軸は、全て左カメラの焦点から右カメラの焦点に向かう方向に一致させる。
【００５３】
このようなカメラ配置においては、Ｙｌ＝Ｙｒとなるため、対象物Ｍの位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）、右カメラ座標ｍｒ（Ｘｒ、Ｙｒ）、および左カメラ座標ｍｌ（Ｘｌ、Ｙｌ）は、以下の関係式を満たす。
Ｘｍ＝Ｚｍ／ｆ×Ｘｒ
Ｙｍ＝Ｚｍ／ｆ×Ｙｒ
Ｚｍ＝Ｂ×ｆ／（Ｘｌ−Ｘｒ）
ここで、Ｂはカメラ間隔、ｆは焦点距離であるため、共に定数となる。これらの式で明らかなように、Ｘｌ−Ｘｒ（視差）を計測すればＺｍが求まり、右カメラでの像の位置（Ｘｒ、Ｙｒ）を用いれば、対象物Ｍの座標（Ｘｍ、Ｙｍ、Ｚｍ）を算出することができる。
【００５４】
ここで、上記視差（Ｘｌ−Ｘｒ）は、右画像の小領域（所定サイズ画素×所定サイズ画素）と同じパターンを左画像から探し、一致したそれらの位置の相対的なずれを抽出するステレオマッチング処理を用いて求めることができる。より具体的には、パターンの一致度を示す評価関数を導入し、探索範囲を１画素ずつずらしながら一致度を判定し、最も一致度合いが高い小領域を左画像から求めることで視差を求めることができる。
【００５５】
図８において、ポインタ座標系は、フロントガラスＦの左上隅を原点として、横方向をＸ軸、縦方向をＹ軸と定義し、右方向をＸ軸正方向、下方向をＹ軸正方向とする。そして、ポインタ座標系で指定される座標をポインタ座標（Ｘｐ、Ｙｐ）で示す。
【００５６】
図４に戻り、上記ステップＳ１３で座標変換されたポインタ座標（Ｘｐ、Ｙｐ）を用いて、表示部２２は、ポインタＰをフロントガラスＦ上に投影表示する（ステップＳ１５；図３参照）。そして、カーナビゲーション装置１は、処理を次のステップＳ２０（図５）に進める。
【００５７】
なお、ステップＳ１５におけるポインタＰの表示は、カーナビゲーション装置１の起動中に常時表示していてもいいし、一定時間のみ表示してもいいし、地図情報記憶部１２に対象物Ｍに関連する情報が格納されている場合にだけ表示するようにしてもよい。情報の有無に応じて表示有無を対応させることによって、指し示した方向に存在する対象物Ｍに関連する情報が格納されていないことを容易に理解でき、ユーザの混乱を招くことを防止できる。
【００５８】
一方、上記ステップＳ１５の処理と並行して、上記ステップＳ１４で座標変換されたカメラ座標ｍｒ（Ｘｒ、Ｙｒ）を用いて、ユーザが指し示した対象物Ｍの３次元位置を特定する処理が行われる。画像認識／測距部２０は、撮像部１８の右カメラが撮像した画像から、座標変換されたカメラ座標ｍｒ（Ｘｒ、Ｙｒ）を中心とする小領域（図７参照）を抽出する（ステップＳ１６）。そして、画像認識／測距部２０および制御部１１は、ステレオマッチング処理を用いて、対象物Ｍの位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）を算出する（ステップＳ１７）。具体的には、画像認識／測距部２０は、上記小領域と同じパターンを撮像部１８の左カメラで撮像した画像から探し、一致したそれらの位置の相対的なずれから視差（Ｘｌ−Ｘｒ）を求める。そして、カメラ間隔Ｂ、焦点距離ｆ、および上述したＸｍ、Ｙｍ、Ｚｍを求める式を用いて、位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）が算出される。
【００５９】
次に、制御部１１は、位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）を車両座標系における位置Ｍ（Ｘｖ、Ｙｖ、Ｚｖ）に座標変換する（ステップＳ１８）。これは、位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）が右カメラの焦点Ｏを原点とする位置であるため、車両座標系における位置（Ｘｖ、Ｙｖ、Ｚｖ）に変換する処理である。そして、制御部１１は、車両座標系における位置Ｍ（Ｘｖ、Ｙｖ、Ｚｖ）を車両Ｃの緯度、経度、高度（測地座標系）に座標変換することによって、対象物Ｍの３次元位置を特定する（ステップＳ１９）。そして、カーナビゲーション装置１は、処理を次のステップＳ２０（図５）に進める。
【００６０】
図５において、対象物Ｍが特定されている場合（ステップＳ２０でＹｅｓ）、制御部１１は、入力部１４を介してユーザからの入力指示があるかを判断する（ステップＳ２１）。そして、制御部１１は、対象物Ｍが特定されていない場合（ステップＳ２０でＮｏ）または入力指示がない場合（ステップＳ２１でＮｏ）、上記ステップＳ１１に戻って処理を繰り返す。一方、入力指示がある場合（ステップＳ２１でＹｅｓ）、制御部１１は、その入力指示内容に応じた処理を行う（ステップＳ２２〜Ｓ２７）。
【００６１】
例えば、ユーザの発話が「読上げ」と認識された場合には、上記ステップＳ１９で特定した対象物Ｍの３次元位置に関連する情報を制御部１１が地図情報記憶部１２から取得し、音声出力部１５によって当該情報が音声で読上げられる（ステップＳ２２）。ユーザの発話が「表示」と認識された場合には、上記ステップＳ１９で特定した対象物Ｍの３次元位置に関連する情報を制御部１１が地図情報記憶部１２から取得し、表示部２２によって当該情報が表示される（ステップＳ２３）。ユーザの発話が「ルート設定」と認識された場合には、制御部１１が上記ステップＳ１９で特定した対象物Ｍまでの経路を計算し、表示部２２に計算したルートを表示して案内を実施する（ステップＳ２４）。この場合、対象物Ｍは、上記ルートにおける経由地や目的地のいずれに設定されてもかまわない。ユーザの発話が「ホームページ表示」と認識された場合には、上記ステップＳ１９で特定した対象物ＭのＵＲＬ情報を制御部１１が地図情報記憶部１２から取得し、図示しない通信手段を介して、当該対象物Ｍのホームページがサーバからダウンロードされて、表示部２２に当該ホームページが表示される（ステップＳ２５）。なお、ステップＳ２４およびＳ２５の場合、フロントガラスＦではなく、別途設けられた車載ディスプレイ（液晶ディスプレイや有機ＥＬディスプレイ等）を表示部２２として表示してもかまわない。ユーザの発話が「地図へ反映」と認識された場合には、制御部１１は、上記通信手段を介して上記ステップＳ１９で特定した対象物Ｍに関して地図情報記憶部１２が格納していない情報（差分情報）をセンター側からダウンロードし、地図情報記憶部１２に当該差分情報を反映させて格納する（ステップＳ２６）。すなわち、ステップＳ２６によって、地図や対象物に関連する情報の更新を行うことができる。そして、これらステップＳ２２〜Ｓ２６の動作の後、カーナビゲーション装置１は、上記ステップＳ１１に戻って処理を繰り返す。
【００６２】
一方、ユーザの発話が「停止」と認識された場合には、表示部２２がフロントガラスＦ上に表示しているポインタＰを消去し（ステップＳ２７〜、カーナビゲーション装置１の指差し入力機能に関する動作を停止して（ステップＳ２８）、当該フローチャートによる処理を終了する。
【００６３】
このように、対象物Ｍの特定を行った後、音声入力で所定の動作が完了するので、運転時の安全性等に配慮した入力を行うことができるカーナビゲーション装置を提供することができる。
【００６４】
なお、カーナビゲーション装置１は、上述した入力指示以外に対する機能も備えることができる。例えば、ユーザが指し示した方向に存在する車両を対象物Ｍとして、自車との間の車々間通信で情報の送受を行う際の動作、車両のプレートナンバーを読み取る動作、車両を追随する動的なルート検索および案内を行う動作等をカーナビゲーション装置１が行ってもかまわない。また、ユーザが指し示した方向に存在する対象物Ｍに設置されている電話を通話対象とする動作や対象物Ｍのメールアドレスにメールを送る動作等をカーナビゲーション装置１が行ってもかまわない。
【００６５】
なお、上述した説明では、ユーザが指し示す方向にポインタＰが表示されている状態で、ユーザからの指示があった場合の動作について説明したが、これに限定するものではない。例えば、ユーザからの入力指示がなくても自動的に施設名称等の対象物Ｍに関連する情報を同時に表示してもかまわない。また、ポインタＰは表示せず、施設名称等の対象物Ｍに関連する情報だけを表示してもかまわない。これによって、フロントガラスＦ越しに対象物Ｍを指差すだけで、対象物Ｍの施設名称等を瞬時に表示することが可能となる。
【００６６】
また、各座標系間の座標変換に用いる座標変換行列に誤差があり、指し示した方向とポインタＰとが一直線上にならない場合、ポインタ座標を微調整することでキャリブレーションを実施することが望ましい。これにより、座標変換行列のパラメータを補正することができる。
【００６７】
次に、図９および図１０を参照して、カーナビゲーション装置１の動作の第２の例について図面を参照し説明する。なお、図９は、カーナビゲーション装置１の第２の例における前半部の動作を示すフローチャートである。図１０は、３次元コンピュータグラフィック（ＣＧ）地図を用いて対象物を特定する動作を模式的に示した図である。なお、カーナビゲーション装置１の第２の例における後半部の動作については、図５と同様であるため詳細な説明を省略する。ここで、撮像部１８は、単一カメラで構成されているとする。また、地図情報記憶部１２には、上記地図情報の少なくとも１つとして３次元ＣＧ地図が格納されている。
【００６８】
図９において、カーナビゲーション装置１の起動を促すキーワード（例えば、「指差し入力起動」）がユーザから入力部１４に発話入力されると、カーナビゲーション装置１が起動する（ステップＳ３０）。そして、ユーザが車両Ｃ前方方向に存在する建物等の対象物Ｍを指し示すと（ステップＳ３１でＹｅｓ）、指差し方向検知部１６が検知する。そして、指差し方向検知部１６が検知した情報を用いて、指差し座標取得部１７は指差し座標（Ｘｈ、Ｙｈ）を取得する（ステップＳ３２）。そして、ポインタ座標決定部２１は、ステップＳ３２で取得した指差し座標（Ｘｈ、Ｙｈ）をポインタ座標（Ｘｐ、Ｙｐ）に座標変換する（ステップＳ３３）。また、制御部１１は、ステップＳ３２で取得した指差し座標（Ｘｈ、Ｙｈ）をカメラ座標ｃ（Ｘｃ、Ｙｃ）に座標変換する（ステップＳ３４）。制御部１１およびポインタ座標決定部２１は、それぞれフロントガラスＦの設置位置や角度、車両Ｃ内部および外部に設置したカメラ（すなわち、指差し方向検知部１６および撮像部１８）の設置位置や方向、さらに、車両Ｃに設置した測位部１３の位置等によって、これらの座標変換で用いる座標変換行列を予め決定する。
【００６９】
ここで、図９に示す動作において用いる指差し座標系、車両座標系、カメラ座標系、およびポインタ座標系については、カメラ座標系が単一カメラに対して設定されていることを除いて図６〜図８を用いて説明した座標系と同様であるため、詳細な説明を省略する。なお、ステレオカメラにおけるカメラ座標系ｍｒ（Ｘｒ、Ｙｒ）およびｍｌ（Ｘｌ、Ｙｌ）と区別するために、単一カメラにおけるカメラ座標系をｃ（Ｘｃ、Ｙｃ）と記載する。
【００７０】
上記ステップＳ３３で座標変換されたポインタ座標（Ｘｐ、Ｙｐ）を用いて、表示部２２は、ポインタＰをフロントガラスＦ上に投影表示する（ステップＳ３５；図３参照）。そして、カーナビゲーション装置１は、処理を次のステップＳ２０（図５）に進める。
【００７１】
一方、上記ステップＳ３５の処理と並行して、上記ステップＳ３４で座標変換されたカメラ座標ｃ（Ｘｃ、Ｙｃ）を用いて、ユーザが指し示した対象物Ｍの３次元位置を特定する処理が行われる。図９および図１０において、画像認識／測距部２０は、撮像部１８の単一カメラが撮像した車両前方映像を画像処理して、指し示した方向に撮像されている対象物の輪郭を取得する（ステップＳ３６）。次に、測位部１３が測位している車両Ｃの現在位置および車両Ｃの方位に基づいて、制御部１１は、当該車両Ｃに搭載された撮像部１８が撮像する景観と仮想的に対応する３次元ＣＧ地図を地図情報記憶部１２から取得する（ステップＳ３７）。そして、制御部１１は、取得した３次元ＣＧ地図の画像から上記ステップＳ３６で取得した輪郭と一致する形状の画像を抽出し、当該画像に対応する対象物Ｍの３次元位置を特定する（ステップＳ３８）。そして、カーナビゲーション装置１は、処理を次のステップＳ２０（図５）に進める。このような処理によって、指し示す対象物Ｍの３次元位置が特定できる。
【００７２】
次に、図１１および図１２を参照して、カーナビゲーション装置１の動作の第３の例について図面を参照し説明する。なお、図１１は、カーナビゲーション装置１の第３の例における前半部の動作を示すフローチャートである。図１２は、カーナビゲーション装置１の動作の第３の例について捕捉するための図である。なお、カーナビゲーション装置１の第１の例における後半部の動作については、図５と同様であるため詳細な説明を省略する。ここで、撮像部１８は、ステレオカメラで構成されているとする。また、地図情報記憶部１２には、上記地図情報として２次元地図が格納されている。
【００７３】
図１１において、カーナビゲーション装置１の起動を促すキーワード（例えば、「指差し入力起動」）がユーザから入力部１４に発話入力されると、カーナビゲーション装置１が起動する（ステップＳ４０）。そして、ユーザが車両Ｃ前方方向に存在する建物等の対象物Ｍを指し示すと（ステップＳ４１でＹｅｓ）、指差し方向検知部１６が検知する。そして、指差し方向検知部１６が検知した情報を用いて、指差し座標取得部１７は指差し座標（Ｘｈ、Ｙｈ）を取得する（ステップＳ４２）。そして、ポインタ座標決定部２１は、ステップＳ４２で取得した指差し座標（Ｘｈ、Ｙｈ）をポインタ座標（Ｘｐ、Ｙｐ）に座標変換する（ステップＳ４３）。なお、第３の例における動作で用いる指差し座標系、車両座標系、カメラ座標系、およびポインタ座標系は、図６〜図８を用いて説明した座標系と同様であるため、詳細な説明を省略する。なお、第３の例のおいても、制御部１１およびポインタ座標決定部２１は、それぞれフロントガラスＦの設置位置や角度、車両Ｃ内部および外部に設置したカメラ（すなわち、指差し方向検知部１６および撮像部１８）の設置位置や方向、さらに、車両Ｃに設置した測位部１３の位置等によって、これらの座標変換で用いる座標変換行列を予め決定する。
【００７４】
次に、上記ステップＳ４３で座標変換されたポインタ座標（Ｘｐ、Ｙｐ）を用いて、表示部２２は、ポインタＰをフロントガラスＦ上に投影表示する（ステップＳ４４；図３参照）。そして、制御部１１は、ポインタＰが囲み曲線の始点と終点とが一致するような軌跡を描いたか否かを判断する（ステップＳ４５；図１２）。カーナビゲーション装置１は、始点と終点とが一致するまで上記ステップＳ４１〜Ｓ４４の処理を繰り返し、始点と終点とが一致した場合（ステップＳ４５でＹｅｓ）、処理を次のステップＳ４６に進める。
【００７５】
ステップＳ４６において、制御部１１は、ステップＳ４３で座標変換され囲み曲線を描いたポインタ座標（Ｘｐ、Ｙｐ）群をカメラ座標ｍｒ（Ｘｒ、Ｙｒ）にそれぞれ座標変換する。画像認識／測距部２０は、撮像部１８の右カメラが撮像した画像から、座標変換されたカメラ座標ｍｒ（Ｘｒ、Ｙｒ）群に囲まれた小領域（図１２参照）を抽出する（ステップＳ４７）。そして、画像認識／測距部２０および制御部１１は、ステレオマッチング処理を用いて、囲まれたエリアに存在する対象物Ｍの位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）を算出する（ステップＳ４８）。具体的には、画像認識／測距部２０は、上記小領域と同じパターンを撮像部１８の左カメラで撮像した画像から探し、一致したそれらの位置の相対的なずれから視差（Ｘｌ−Ｘｒ）を求める。そして、カメラ間隔Ｂ、焦点距離ｆ、および上述したＸｍ、Ｙｍ、Ｚｍを求める式を用いて、位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）が算出される。
【００７６】
次に、制御部１１は、位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）を車両座標系における位置Ｍ（Ｘｖ、Ｙｖ、Ｚｖ）に座標変換する（ステップＳ４９）。これは、位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）が右カメラの焦点Ｏを原点とする位置であるため、車両座標系における位置（Ｘｖ、Ｙｖ、Ｚｖ）に変換する処理である。そして、制御部１１は、車両座標系における位置Ｍ（Ｘｖ、Ｙｖ、Ｚｖ）を車両Ｃの緯度、経度、高度（測地座標系）に座標変換することによって、対象物Ｍの３次元位置を特定する（ステップＳ５０）。そして、カーナビゲーション装置１は、処理を次のステップＳ２０（図５）に進める。
【００７７】
以上のように、カーナビゲーション装置１の動作について第１〜第３の例を説明したが、何れの例においてもユーザが指し示す対象物Ｍの３次元位置の特定を高精度に行うことができる。
【００７８】
（第２の実施形態）
以下、本発明の第２の実施形態に係る対象物特定装置について説明する。なお、説明を具体的にするために、当該対象物特定装置がカーナビゲーション装置に適用された一例を用いて、図面を参照しながら説明する。なお、以下参照する図面において、本発明に関係のない構成要素は省略している。
【００７９】
図１３は、第２の実施形態に係るカーナビゲーション装置２の概略の構成を示す構成図である。カーナビゲーション装置２は、第１の実施形態で説明したカーナビゲーション装置１に対して、視線方向検知部２３および視線座標取得部２４が追加されている。それ以外の構成要素は、第１の実施形態と同様であるため、同一の構成要素には同一の参照符号を付して詳細な説明を省略する。
【００８０】
視線方向検知部２３は、ユーザ（例えば、車両のドライバ等の搭乗者）の視線を検知するための手段であり、例えば、車内に設置された近赤外線照射装置またはカメラ等で構成される。視線座標取得部２４は、視線方向検知部２３で取得した情報を用いて、３軸の座標値（以下、視線座標（系）と記載する）を取得するための手段であり、例えば、視線方向検知部２３が近赤外線をユーザの眼に照射し、その瞳孔と角膜反射像との動きを検出することによって、ユーザの視線を検知する。他にも視線方向検知部２３が撮像したユーザの眼を含む画像を画像処理することによって、ユーザの視線を検知してもかまわない。
【００８１】
次に、図１４を参照して、ユーザが対象物Ｍを手Ｈで指し示す方向と当該ユーザの視線との関係を説明する、なお、図１４は、ユーザが対象物Ｍを手Ｈで指し示す方向と当該ユーザの視線を示す模式図である。
【００８２】
図１４において、フロントガラスＦのＡ点を介して、ユーザが手Ｈによって対象物Ｍの一部を指し示している。このＡ点は、図２を用いて説明したＡ点と同じである。
【００８３】
このとき、ポインタ座標決定部２１は、ユーザの手Ｈで指し示した対象物Ｍとユーザの眼Ｅとを結ぶ直線（ユーザが対象物Ｍを見ている場合は視線）と交差するフロントガラスＦ上の２次元座標（図１４におけるＢ点）をポインタ座標（Ｘｐ、Ｙｐ）に決定する。その後、表示部２２は、第１の実施形態と同様に、ポインタ座標決定部２１で決定したポインタ座標（Ｘｐ、Ｙｐ）にポインタＰを投影表示する。
【００８４】
例えば、第１の実施形態のように点ＡにポインタＰを投影表示するとき、ユーザの視線上に手Ｈを挙げて当該視線上にある対象物Ｍを指し示すと、ポインタＰと対象物Ｍとが一致して表示される。一方、第２の実施形態では、図１４に示すようにユーザの視線上に手Ｈを挙げなくても、ポインタＰがユーザの視線方向と完全に一致する。すなわち、手Ｈをユーザの視界に近づける必要なく、対象物Ｍを違和感なく視認することができる。例えば、手Ｈを車両Ｃのハンドル上に置いた状態でも、対象物Ｍを指し示すことができ、安全運転に寄与できる。
【００８５】
なお、視線方向と点Ｂに表示されたポインタＰとが図１４で示したように一直線上にならない場合、ポインタ座標（Ｘｐ、Ｙｐ）に座標変換する関数を微調整することによってキャリブレーションを実施することが望ましい。
【００８６】
また、ユーザの手Ｈで指し示す方向の対象物と当該ユーザの視線方向に存在する対象物とは、絶えず一致しているとは限らない。例えば、ユーザは、手Ｈで特定したい対象物Ｍを指し示していても、当該対象物Ｍとは異なった車両前方を視認していることがある。このようなときには、ポインタＰを表示しないようにしてもかまわない。図１５は、手Ｈで指し示した対象物と視線方向にある対象物とが一致している場合にのみ、ポインタＰを表示する様子を示す模式図である。
【００８７】
図１５において、フロントガラスＦを介した景観に対して、ユーザの視線が軌跡ＣＥに沿って移動している。一方、フロントガラスＦを介した景観に対して、ユーザの手Ｈで指し示す方向が軌跡ＣＨに沿って移動している。このとき、ポインタＰは、同一時刻でユーザの視線方向および手Ｈで指し示す方向が同じ対象物上で一致する箇所（同一時刻で軌跡ＣＥおよびＣＨが交わる交点）にのみ、フロントガラスＦ上に表示される。また、軌跡ＣＥやＣＨに対応する曲線は、フロントガラスＦ上には表示されないことが望ましい。これにより、手Ｈによって指し示す方向に存在する対象物と視線方向に存在する対象物とが一致していないときには、ポインタＰが表示されずユーザからの入力指示も受付けないように設定することによって、安全運転に寄与することができる。
【００８８】
なお、手Ｈで指し示す方向を表すポインタと視線方向を示すポインタとをそれぞれ同時に両方表示させて、どちらのポインタを使用するかをユーザが選択可能に構成してもかまわない。
【００８９】
（第３の実施形態）
以下、本発明の第３の実施形態に係る対象物特定装置について説明する。なお、説明を具体的にするために、当該対象物特定装置がカーナビゲーション装置に適用された一例を用いて、図面を参照しながら説明する。なお、以下参照する図面において、本発明に関係のない構成要素は省略している。
【００９０】
図１６は、第３の実施形態に係るカーナビゲーション装置３の概略の構成を示す構成図である。カーナビゲーション装置３は、第１の実施形態で説明したカーナビゲーション装置１に対して、撮像制御部２５が追加で構成され、ポインタ座標決定部２１を選択部２６に置き換えている。また、当該実施形態における表示部２２は、典型的には車載ディスプレイ（液晶ディスプレイや有機ＥＬディスプレイ等）であり、本装置の起動をトリガとして撮像部１８で撮像する映像を表示する。それ以外の構成要素は、第１の実施形態と同様であるため、同一の構成要素には同一の参照符号を付して詳細な説明を省略する。
【００９１】
撮像制御部２５は、制御部１１の指令により撮像部１８の撮像方向（パン、チルト）やズームを制御する手段である。また、選択部２６は、撮像部１８が複数のカメラで構成されている場合にそれらの映像から適切な映像を選択するための手段であり、選択された映像が表示部２２に表示される。
【００９２】
次に、図１７および図１８を参照して、カーナビゲーション装置３の動作について説明する。なお、図１７は、カーナビゲーション装置３における前半部の動作を示すフローチャートである。図１８は、カーナビゲーション装置３における後半部の動作を示すフローチャートである。ここで、カーナビゲーション装置３で行う対象物特定処理は、第１の実施形態で説明した第１の例（図４）を用いる一例で説明する。したがって、撮像部１８はステレオカメラで構成され、地図情報記憶部１２には上記地図情報として２次元地図が格納される。
【００９３】
図１７において、ステップＳ６０〜Ｓ６７の処理は、図４で示したステップＳ１０〜１２、Ｓ１４、およびステップＳ１４〜Ｓ１９と同様であるため、ここでは詳細な説明を省略する。また、第３の実施形態における動作で用いる指差し座標系、車両座標系、およびカメラ座標系は、図６〜図８を用いて説明した座標系と同様であるため、詳細な説明を省略する。なお、第３の実施形態においても、制御部１１は、それぞれ車両Ｃ内部および外部に設置したカメラ（すなわち、指差し方向検知部１６および撮像部１８）の設置位置や方向、さらに、車両Ｃに設置した測位部１３の位置等によって、これらの座標変換で用いる座標変換行列を予め決定する。
【００９４】
ステップＳ６７で対象物の３次元位置が特定された後、選択部２６は、撮像部１８のステレオカメラのうち、何れのカメラで撮像した映像を選択する（ステップＳ６８）。例えば、選択基準としては、撮像部１８が車両Ｃの進行方向右側および左側にそれぞれカメラを有している場合、搭乗者の指差し方向に対応して当該指差し方向が車両Ｃの進行方向右側なら当該右側のカメラからの映像を選択し、進行方向左側なら当該左側のカメラからの映像を選択することとする。そして、撮像制御部２５は、特定された対象物の３次元位置に基づいて、当該対象物が表示部２２の画面中央に配置されるように、選択されたカメラの撮像方向を制御する（ステップＳ６９）。これにより、所定の方向に存在する対象物を確実に表示部に表示することができる。そして、制御部１１は、処理を次のステップＳ７０（図１８）に進める。
【００９５】
図１８において、対象物Ｍが特定されている場合（ステップＳ７０でＹｅｓ）、制御部１１は、入力部１４を介してユーザからの入力指示があるかを判断する（ステップＳ７１）。そして、制御部１１は、対象物Ｍが特定されていない場合（ステップＳ７０でＮｏ）または入力指示がない場合（ステップＳ７１でＮｏ）、上記ステップＳ６１に戻って処理を繰り返す。一方、入力指示がある場合（ステップＳ７１でＹｅｓ）、制御部１１は、その入力指示内容に応じた処理を行う（ステップＳ７２〜Ｓ７５）。
【００９６】
例えば、ユーザの発話が「拡大」と認識された場合には、上記ステップＳ６８で選択した映像を撮像制御部２５が拡大するようズーム制御する（ステップＳ７２）。これにより、車両Ｃの遠方に存在する対象物の映像が拡大されるため、対象物を視認して得られる情報を容易に得ることが可能となる。例えば、少し遠方にあり、運転手が目を細めないと確認できないような距離に存在する対象物（例えば、標識や看板）を指差して「拡大」と発話することにより、容易に情報を得ることができる。なお、このとき標識や看板を優先して認識するようにしても良い。一方、ユーザの発話が「縮小」と認識された場合には、上記ステップＳ６８で選択した映像を撮像制御部２５が縮小するようズーム制御する（ステップＳ７３）。また、ユーザの発話が「記録」と認識された場合には、制御部１１は、表示部２２に表示している映像を静止画や動画等として、記録部（図示せず）に記録する（ステップＳ７４）。例えば、このステップＳ７４で記録した映像は、後で呼出すことによってルート案内等に利用することができる。そして、これらステップＳ７２〜Ｓ７４の動作の後、カーナビゲーション装置３は、上記ステップＳ６１に戻って処理を繰り返す。
【００９７】
一方、ユーザの発話が「停止」と認識された場合には、撮像制御部２５が撮像部１８のカメラ方向やズームを初期値に戻し消去し（ステップＳ７５）、カーナビゲーション装置３の指差し入力機能に関する動作を停止して（ステップＳ７６）、当該フローチャートによる処理を終了する。
【００９８】
なお、上記ステップＳ７２〜Ｓ７５の処理は、主に撮像部１８に関する動作を制御する一例を取りあげて説明したが、ユーザからの他の入力指示に対する機能を備えることもできる。例えば、図５で説明したステップＳ２２〜Ｓ２７の処理や、第１の実施形態で説明した他の処理についても同様に、カーナビゲーション装置３で実現することも可能である。
【００９９】
また、本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。特に、本対象物特定装置を車両だけでなく、列車や船舶、航空機等の移動体に設置して利用できる。例えば、列車に応用する場合では指差す方向に存在する駅の名称を前面ガラス上に投影することができる。
【産業上の利用可能性】
【０１００】
本発明に係る対象物特定装置は、ユーザの手や指が指し示している方向に存在する対象物を正確に特定することができ、車両内に設置される車載用入力装置、カーナビゲーション装置、車載情報端末等として有用であり、車両の他、列車、船舶、航空機等の移動体に設置することができる。
【図面の簡単な説明】
【０１０１】
【図１】第１の実施形態に係るカーナビゲーション装置１の概略の構成を示す構成図
【図２】ユーザが対象物を手や指で指し示す様子を示す模式図
【図３】ユーザが手Ｈを車両Ｃ前方のフロントガラスＦ越しに指し示したときにポインタＰが投影されている様子を示す模式図
【図４】図１のカーナビゲーション装置１の第１の例における前半部の動作を示すフローチャート
【図５】図１のカーナビゲーション装置１の第１の例における後半部の動作を示すフローチャート
【図６】図１のカーナビゲーション装置１の動作で用いる指差し座標系および車両座標系の一例を説明するための図
【図７】図１のカーナビゲーション装置１の動作で用いるカメラ座標系の一例を説明するための図
【図８】図１のカーナビゲーション装置１の動作で用いるポインタ座標系の一例を説明するための図
【図９】図１のカーナビゲーション装置１の第２の例における前半部の動作を示すフローチャート
【図１０】３次元コンピュータグラフィック地図を用いて対象物を特定する動作を模式的に示した図
【図１１】図１のカーナビゲーション装置１の第３の例における前半部の動作を示すフローチャート
【図１２】図１１のカーナビゲーション装置１の動作の第３の例について捕捉するための図
【図１３】第２の実施形態に係るカーナビゲーション装置２の概略の構成を示す構成図
【図１４】ユーザが対象物Ｍを手Ｈで指し示す方向と当該ユーザの視線を示す模式図
【図１５】手Ｈで指し示した対象物と視線方向にある対象物とが一致している場合にのみ、ポインタＰを表示する様子を示す模式図
【図１６】第３の実施形態に係るカーナビゲーション装置３の概略の構成を示す構成図
【図１７】図１６のカーナビゲーション装置３における前半部の動作を示すフローチャート
【図１８】図１６のカーナビゲーション装置３における後半部の動作を示すフローチャート
【符号の説明】
【０１０２】
１、２、３…カーナビゲーション装置
１１…制御部
１２…地図情報記憶部
１３…測位部
１４…入力部
１５…音声出力部
１６…指差し方向検知部
１７…指差し座標取得部
１８…撮像部
２０…画像認識／測距部
２１…ポインタ座標決定部
２２…表示部
２３…視線方向検知部
２４…視線座標取得部
２５…撮像制御部
２６…選択部
【技術分野】
【０００１】
本発明は、対象物特定装置に関し、より特定的には、ユーザの手または指が指し示している方向に基づいて、車両周辺の対象物を特定する対象物特定装置に関する。
【背景技術】
【０００２】
近年、ＨＤＤ（ハードディスクドライブ）やＤＶＤ（デジタルヴァーサタイルディスク）等の記録媒体に地図情報と共に記憶された車両周辺の情報を、ディスプレイ上で閲覧可能なカーナビゲーション装置が広く普及している。
【０００３】
一方、ディスプレイ上の地図に表示されている情報からだけではなく、運転者等の搭乗者が手や指で指し示している指示方向に存在する地図上の地名や施設名を音声にて読上げて、ディスプレイ上に表示するナビゲーション装置が開示されている（例えば、特許文献１参照）。これにより、搭乗者が目に付いた建物や湖等の名称や周囲の地名等の情報を、当該搭乗者の手や指で指し示すことで迅速に入手することができる。
【特許文献１】特開２００３−１０６８６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に開示されているナビゲーション装置は、搭乗者の手や指で指し示している指示方向に存在する対象物までの距離を算出するにあたり、当該指示方向の仰角を用いて対象物までの距離を４段階に分けて対応付けして算出している。したがって、地図情報記憶部にある地図情報からある程度の広範囲を対象にして上記指示方向に存在する対象物を特定する必要があり、対象物特定の精度に課題を残している。また、車両周辺に関する情報だけでなく相対的に遠方にあり、搭乗者が視認困難な距離に存在する対象物（例えば、遠方の標識や看板）を高精度に特定することはできなかった。
【０００５】
それ故に、本発明の目的は、ユーザの手や指が指し示している方向に存在する対象物を正確に特定する対象物特定装置を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、以下に述べるような特徴を有している。
第１の発明は、車両周辺の対象物の位置を特定する対象物特定装置である。対象物特定装置は、測位部、撮像部、指差し方向検知部、対象物抽出部、および対象物位置特定部を備える。測位部は、車両の現在位置および車両の方位を検出する。撮像部は、車両の周囲を撮像する。指差し方向検知部は、車両内のユーザが自身の手を用いて指し示した指示方向を検知する。対象物抽出部は、指差し方向検知部が検知した指示方向に存在する対象物を撮像部が撮像した画像内から抽出する。対象物位置特定部は、車両に対して、対象物抽出部が抽出した対象物の位置を特定する。
【０００７】
第２の発明は、上記第１の発明において、撮像部は、車両に設置された少なくとも１つのカメラで構成される。対象物特定装置は、座標変換部を、さらに備える。座標変換部は、指差し方向検知部が検知した指示方向をカメラの撮像方向を基準とするカメラ座標系における指示方向に変換する。対象物抽出部は、撮像部が撮像した画像内から座標変換部が変換した指示方向に撮像された被撮像物を対象物として抽出する。
【０００８】
第３の発明は、上記第２の発明において、撮像部は、平行等位に車両に設置された複数のカメラで構成される。対象物抽出部は、一方のカメラが撮像した画像から指示方向に撮像された所定サイズの領域を抽出し、その領域の画像と他方のカメラが撮像した画像とのマッチングによってその指示方向に撮像された被撮像物を対象物として抽出する。対象物位置特定部は、複数のカメラが対象物をそれぞれ撮像している方向に基づいて、車両に対する対象物の位置を算出する。
【０００９】
第４の発明は、上記第３の発明において、対象物抽出部は、指示方向が時系列的に変化することによってその指示方向に囲まれた空間内に撮像された画像を領域の画像として抽出する。
【００１０】
第５の発明は、上記第２の発明において、撮像部は、車両に設置された単一のカメラで構成される。対象物特定装置は、地図情報記憶部を、さらに備える。地図情報記憶部は、少なくとも車両の現在位置付近の３次元地図を格納する。対象物抽出部は、カメラが撮像した画像から指示方向に撮像された被撮像物の輪郭を対象物の輪郭として抽出する。対象物位置特定部は、３次元地図から対象物抽出部が抽出した輪郭と一致する形状のオブジェクトの位置をその３次元地図上で特定して、車両に対する対象物の位置を算出する。
【００１１】
第６の発明は、上記第１の発明において、表示部、ポインタ座標決定部、および表示制御部を、さらに備える。表示部は、車両に備えられた少なくとも１つのガラスを表示領域にして画像を投影する。ポインタ座標決定部は、指差し方向検知部が検知した指示方向と表示領域が設定されたガラスとの交点座標を決定する。表示制御部は、ポインタ座標決定部が決定した交点座標上の表示領域にポインタ画像を表示制御する。
【００１２】
第７の発明は、上記第１の発明において、表示部、視線検知部、ポインタ座標決定部、および表示制御部を、さらに備える。表示部は、車両に備えられた少なくとも１つのガラスを表示領域にして画像を投影する。視線検知部は、車両内のユーザの視線方向を検知する。ポインタ座標決定部は、対象物位置特定部が特定した対象物の位置とユーザの視線とを結ぶ直線と表示領域が設定されたガラスとの交点座標を決定する。表示制御部は、ポインタ座標決定部が決定した交点座標上の表示領域にポインタ画像を表示制御する。
【００１３】
第８の発明は、上記第６または第７の発明において、調整部を、さらに備える。調整部は、ポインタ座標決定部が決定する交点座標をユーザからの指示に応じて調整する。
【００１４】
第９の発明は、上記第１の発明において、撮像部は、車両に設置された複数のカメラで構成される。対象物特定装置は、表示部および選択部を、さらに備える。表示部は、車両内に設置される。選択部は、指差し方向検知部が検知した指示方向に応じて、複数のカメラから出力される画像から何れか１つの画像を選択して表示部に表示する。
【００１５】
第１０の発明は、上記第９の発明において、撮像制御部を、さらに備える。撮像制御部は、対象物位置特定部が特定した対象物が画像の中心に撮像されるように、選択部が選択した画像を撮像するカメラの撮像方向を制御する。
【００１６】
第１１の発明は、上記第９の発明において、撮像制御部を、さらに備える。撮像制御部は、対象物位置特定部が特定した対象物が画像の中心で拡大または縮小して撮像されるように、選択部が選択した画像を撮像するカメラの撮像倍率を制御する。
【００１７】
第１２の発明は、上記第１の発明において、地図情報記憶部および情報出力部を、さらに備える。地図情報記憶部は、少なくとも車両の現在位置付近の地図情報およびその地図で表される各領域に対する情報を格納する。情報出力部は、対象物位置特定部が特定した対象物に関する情報を地図情報記憶部に格納されている情報から抽出して、車両内のユーザに報知する。
【００１８】
第１３の発明は、上記第１２の発明において、通信部および表示部を、さらに備える。通信部は、所定のネットワークを介して通信可能である。表示部は、情報出力部が出力する情報を表示する。情報出力部は、地図情報記憶部に格納されている情報がネットワーク上に存在する情報資源の場所を示すとき、通信部を介してその情報資源から情報を取得して表示部に表示する。
【００１９】
第１４の発明は、上記第１の発明において、地図情報記憶部およびルート検索部を、さらに備える。地図情報記憶部は、少なくとも車両の現在位置付近の地図情報を格納する。ルート検索部は、対象物位置特定部が特定した対象物の位置を経由地または目的地に設定してルート検索する。
【発明の効果】
【００２０】
上記第１の発明によれば、ユーザの手や指が指し示している方向に存在する対象物を特定するにあたり、撮像部が撮像した画像を用いて特定されるため高精度に対象物の位置を特定することができる。
【００２１】
上記第２の発明によれば、ユーザが指し示した方向がカメラ座標に変換され、その方向の被撮像物が抽出されるため、対象物の認識精度が向上する。
【００２２】
上記第３の発明によれば、ステレオカメラの原理を用いて対象物を高精度に特定することができる。
【００２３】
上記第４の発明によれば、ユーザが指し示して指定した形状に応じて対象物を抽出することができ、当該形状で囲まれた画像を用いてマッチングすることによってマッチング精度が高まり、結果的に効率よく高精度に対象物を特定することができる。
【００２４】
上記第５の発明によれば、撮像部を単一カメラで構成して対象物の特定を実現することができる。
【００２５】
上記第６または第７の発明によれば、ユーザは、指し示した方向と視認されている対象物の方向とを、表示されたポインタを見ながら調整することができるので、指し示した方向と対象物との関係を容易に把握することができる。
【００２６】
上記第８の発明によれば、指し示した方向に存在する対象物を確実に特定することができる。
【００２７】
上記第９の発明によれば、ユーザが指し示した方向に応じて適切な映像を表示部に表示することができる。
【００２８】
上記第１０および第１１の発明によれば、対象物に注目した映像をユーザに提供することができる。
【００２９】
上記第１２の発明によれば、対象物に関する情報を容易に得ることができる。
【００３０】
上記第１３の発明によれば、インターネット等に公開されたＷｅｂページ等の対象物に関する情報を容易に得ることができる。
【００３１】
上記第１４の発明によれば、ルート設定が容易に行うことができ、安全性に配慮した入力を行うことができるカーナビゲーション装置を提供することができる。
【発明を実施するための最良の形態】
【００３２】
（第１の実施形態）
以下、本発明の第１の実施形態に係る対象物特定装置について説明する。なお、説明を具体的にするために、当該対象物特定装置がカーナビゲーション装置に適用された一例を用いて、図面を参照しながら説明する。なお、以下参照する図面において、本発明に関係のない構成要素は省略している。
【００３３】
図１および図２を参照して、第１の実施形態に係るカーナビゲーション装置１について説明する。なお、図１は、第１の実施形態に係るカーナビゲーション装置１の概略の構成を示す構成図である。図２は、ユーザ（例えば、車両のドライバ等の搭乗者）が対象物を手や指で指し示す様子を示す模式図である。
【００３４】
図１において、カーナビゲーション装置１は、制御部１１、地図情報記憶部１２、測位部１３、入力部１４、音声出力部１５、指差し方向検知部１６、指差し座標取得部１７、撮像部１８、画像認識／測距部２０、ポインタ座標決定部２１、および表示部２２から構成されている。また、図２において、車両Ｃのユーザが手Ｈによって対象物Ｍの一部を指し示している。なお、車両Ｃ内にはカーナビゲーション装置１が搭載されるが、図２では測位部１３および撮像部１８のみ図示している。
【００３５】
制御部１１は、経路探索や案内等のナビゲーション機能等、カーナビゲーション装置１の基本機能を制御するとともに、後述する処理を実行する手段であり、例えば、ＣＰＵやＭＰＵで構成される。
【００３６】
地図情報記憶部１２は、経路案内や探索に必要な地図情報を格納する記憶媒体であり、例えば、ＨＤＤ（ハードディスクドライブ）やＤＶＤ（デジタルヴァーサタイルディスク）である。また、地図情報記憶部１２は、少なくとも車両Ｃが位置する現在地付近に存在する対象物（例えば、建物等の施設）の位置や名称および当該対象物に関連した情報（例えば、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ；ユニフォーム・リソース・ロケータ）、営業時間、広告等）が格納されている。なお、地図情報記憶部１２は、図示しない通信手段（例えば、携帯電話）によって情報をセンター設備から適宜ダウンロードして格納してもかまわない。
【００３７】
測位部１３は、車両の現在位置や方位を測位する手段であり、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ；全地球測位システム）、ＩＮＳ（Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ；慣性航法システム）、車速センサ等で構成される。ＩＮＳは、加速度センサやジャイロセンサから構成され、車両Ｃの現在位置および方位を初期値からの積分によって算出するものである。ここで、図２では測位部１３としてＩＮＳが車両Ｃに固定設置された様子を例示している。以下に説明する車両座標系では、車両Ｃの前後方向をＸ軸とし、車両Ｃの前方進行方向をＸ軸正方向とする。車体Ｃの左右方向をＹ軸とし、車両Ｃの右方向をＹ軸正方向とする。そして、Ｘ−Ｙ平面に対して垂直な方向（つまり、車両Ｃの上下方向）をＺ軸とし、車両Ｃの上方向をＺ軸正方向とする。
【００３８】
入力部１４は、ユーザが手や指（以下、手のみ記載する）Ｈで指し示した対象物Ｍに対して、ユーザ所望の指示を入力する手段であり、例えば、音声入力するマイクや音声認識エンジン等で構成される。
【００３９】
音声出力部１５は、制御部１１が地図情報記憶部１２から抽出した対象物Ｍに関連した情報を読上げるための手段であり、例えば、音声合成エンジンやスピーカ等で構成される。
【００４０】
指差し方向検知部１６は、ユーザ（運転手等の車両搭乗者）が手Ｈで指し示した方向を検知するための手段であり、例えば、手Ｈの画像を撮像する車両Ｃ内に固設された複数のカメラによって構成される。また、指差し方向検知部１６として、車両Ｃ内に所定の電波を放射して手Ｈが指し示す方向を検知する周知の検知手段を用いてもかまわない。
【００４１】
指差し座標取得部１７は、指差し方向検知部１６が取得した情報を用いて、３軸の座標値（以下、指差し座標（系）と記載する）を取得するための手段であり、例えば、指差し方向検知部１６が撮像した複数の画像を画像処理する画像処理回路で構成される。そして、指差し座標取得部１７は、取得した指差し座標を制御部１１に出力する。
【００４２】
撮像部１８は、車両Ｃ外部に設けられた車両周辺の画像を取得するための手段であり、例えば、単一カメラまたはステレオカメラである。撮像部１８は、図２に例示するように、車両Ｃのルーフ上に設置され、車両Ｃの前方を撮像する。ここで、撮像部１８は前述の車両座標系と原点は異なるが、Ｘ軸正方向が撮像方向となるように設置される。以下、撮像部１８の撮像方向を基準とした座標系をカメラ座標系と記載する。なお、図２では、車両Ｃのルーフ上に撮像部１８を設置する例を示したが、車両Ｃの室内（例えば、ルームミラー）にも設置してもかまわない。
【００４３】
画像認識／測距部２０は、撮像部１８が撮像した画像を認識し、制御部１１が特定した対象物Ｍまでの距離を測定するための手段である。そして、画像認識／測距部２０は、撮像部１８が撮像した画像や距離情報を制御部１１に出力する。
【００４４】
ポインタ座標決定部２１は、ユーザの手Ｈと対象物Ｍとの間に存在する車両Ｃのフロントガラス上の２次元座標であるポインタ座標（図２におけるＡ点）を決定するための手段である。以下、車両Ｃのフロントガラス上の２次元座標系をポインタ座標系と記載する。
【００４５】
表示部２２は、ポインタ座標決定部２１で決定したポインタ座標に基づいて、車両Ｃのフロントガラスの室内側表面にポインタＰを投影表示するための手段である。なお、表示部２２は、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ；ヘッドアップ・ディスプレイ）で構成してもかまわない。
【００４６】
次に、図３を参照して、ユーザが手Ｈを車両Ｃ前方のフロントガラスＦ越しに指し示した状態について説明する。なお、図３は、ユーザが手Ｈを車両Ｃ前方のフロントガラスＦ越しに指し示したときにポインタＰが投影されている様子を示す模式図である。
【００４７】
図３において、車両ＣのフロントガラスＦを介して視認できる車両周辺風景に対して、当該フロントガラスＦにポインタＰが表示されている。このようにポインタＰはフロントガラスＦ上に表示され、その表示位置はユーザの手Ｈと対象物Ｍとを結ぶ直線とフロントガラスＦとが重なる点（図２で示したＡ点、すなわちポインタ座標）に表示される。このように、ユーザは、ポインタＰを見ながら手Ｈで指し示した方向と対象物Ｍに対する方向との調整を行うことができるので、指し示した方向の対象物Ｍとの対応を容易に把握することができる。なお、撮像部１８や表示部２２を車両Ｃの周囲３６０度を撮像できるように複数設置することで、フロントガラスＦだけではなく、車両ＣのサイドガラスやリヤガラスにもポインタＰを投影表示してもかまわない。また、図３では、ポインタＰを表示するとしたが、指し示す方向と対象物Ｍとの対応関係が分かる表示であれば他の表示でもかまわない。例えば、指し示す方向に応じて特定された対象物Ｍの輪郭に相当する図形を表示したり、当該対象物Ｍの輪郭の内部を塗りつぶしたりする表示を行ってもかまわない。
【００４８】
次に、図４〜図８を参照して、カーナビゲーション装置１の動作の第１の例について説明する。なお、図４は、カーナビゲーション装置１の第１の例における前半部の動作を示すフローチャートである。図５は、カーナビゲーション装置１の第１の例における後半部の動作を示すフローチャートである。図６は、カーナビゲーション装置１の動作で用いる指差し座標系および車両座標系の一例を説明するための図である。図７は、カーナビゲーション装置１の動作で用いるカメラ座標系の一例を説明するための図である。図８は、カーナビゲーション装置１の動作で用いるポインタ座標系の一例を説明するための図である。ここで、撮像部１８は、ステレオカメラで構成されているとする。また、地図情報記憶部１２には、上記地図情報として２次元地図が格納されている。
【００４９】
図４において、カーナビゲーション装置１の起動を促すキーワード（例えば、「指差し入力起動」）がユーザから入力部１４に発話入力されると、カーナビゲーション装置１が起動する（ステップＳ１０）。そして、ユーザが車両Ｃ前方方向に存在する建物等の対象物Ｍを指し示すと（ステップＳ１１でＹｅｓ）、指差し方向検知部１６が検知する。そして、指差し方向検知部１６が検知した情報を用いて、指差し座標取得部１７は指差し座標（Ｘｈ、Ｙｈ）を取得する（ステップＳ１２）。そして、ポインタ座標決定部２１は、ステップＳ１２で取得した指差し座標（Ｘｈ、Ｙｈ）をポインタ座標（Ｘｐ、Ｙｐ）に座標変換する（ステップＳ１３）。また、制御部１１は、ステップＳ１２で取得した指差し座標（Ｘｈ、Ｙｈ）をカメラ座標ｍｒ（Ｘｒ、Ｙｒ）に座標変換する（ステップＳ１４）。制御部１１およびポインタ座標決定部２１は、それぞれフロントガラスＦの設置位置や角度、車両Ｃ内部および外部に設置したカメラ（すなわち、指差し方向検知部１６および撮像部１８）の設置位置や方向、さらに、車両Ｃに設置した測位部１３の位置等によって、これらの座標変換で用いる座標変換行列を予め決定する。
【００５０】
図６〜図８を用いて、指差し座標系、車両座標系、カメラ座標系、およびポインタ座標系について説明する。なお、制御部１１およびポインタ座標決定部２１は、それぞれ上記座標変換行列を用いてこれら座標系同士の座標変換が可能となる。
【００５１】
図６において、指差し座標系は、手Ｈの左右方向をＸ軸（横軸）、手Ｈの上下方向をＹ軸（縦軸）と定義し、右方向をＸ軸正方向、上方向をＹ軸正方向とする。そして、指差し座標系で指定される座標を指差し座標（Ｘｈ、Ｙｈ）で示す。また、車両座標系は、測位部１３の位置を基準に、車両Ｃの前後方向をＸ軸、車体Ｃの左右方向をＹ軸、車両Ｃの上下方向をＺ軸と定義し、車両Ｃの前方進行方向をＸ軸正方向、車両Ｃの右方向をＹ軸正方向、車両Ｃの上方向をＺ軸正方向とする。そして、車両座標系で指定される座標を車両座標（Ｘｖ、Ｙｖ、Ｚｖ）で示す。なお、制御部１１は、この車両座標系から、車両Ｃの緯度、経度、高度（測地座標系）を算出することも可能である。
【００５２】
図７において、撮像部１８として２台の同一仕様のカメラ（ステレオカメラ）を平行等位に設置する。平行等位とは、２つのカメラの光軸を平行にしてながらそれぞれの撮像面を一致させ、さらにそれぞれの撮像面の横軸（ｘ軸）も一致させたカメラ配置のことである。図７に示すカメラ配置の例では、左右のカメラの間隔をカメラ間隔Ｂとして焦点距離ｆのカメラを２台配置している。図７に示すように、右カメラの焦点Ｏを原点として左右カメラの光軸方向をＺ軸、左右カメラの焦点を結ぶ方向をＸ軸、Ｘ軸およびＺ軸に垂直な方向をＹ軸とした実空間の座標系の位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）に対象物Ｍが存在するとする。そして、右カメラのカメラ座標系ｍｒ（Ｘｒ、Ｙｒ）および左カメラの座標系ｍｌ（Ｘｌ、Ｙｌ）を、右カメラおよび左カメラの撮像面上でそれぞれ光軸との交点ＯｒおよびＯｌを原点とした座標系とする。また、実空間の座標系のＸ軸、右カメラ座標系のＸｒ軸、および左カメラ座標系のＸｌ軸は、全て左カメラの焦点から右カメラの焦点に向かう方向に一致させる。
【００５３】
このようなカメラ配置においては、Ｙｌ＝Ｙｒとなるため、対象物Ｍの位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）、右カメラ座標ｍｒ（Ｘｒ、Ｙｒ）、および左カメラ座標ｍｌ（Ｘｌ、Ｙｌ）は、以下の関係式を満たす。
Ｘｍ＝Ｚｍ／ｆ×Ｘｒ
Ｙｍ＝Ｚｍ／ｆ×Ｙｒ
Ｚｍ＝Ｂ×ｆ／（Ｘｌ−Ｘｒ）
ここで、Ｂはカメラ間隔、ｆは焦点距離であるため、共に定数となる。これらの式で明らかなように、Ｘｌ−Ｘｒ（視差）を計測すればＺｍが求まり、右カメラでの像の位置（Ｘｒ、Ｙｒ）を用いれば、対象物Ｍの座標（Ｘｍ、Ｙｍ、Ｚｍ）を算出することができる。
【００５４】
ここで、上記視差（Ｘｌ−Ｘｒ）は、右画像の小領域（所定サイズ画素×所定サイズ画素）と同じパターンを左画像から探し、一致したそれらの位置の相対的なずれを抽出するステレオマッチング処理を用いて求めることができる。より具体的には、パターンの一致度を示す評価関数を導入し、探索範囲を１画素ずつずらしながら一致度を判定し、最も一致度合いが高い小領域を左画像から求めることで視差を求めることができる。
【００５５】
図８において、ポインタ座標系は、フロントガラスＦの左上隅を原点として、横方向をＸ軸、縦方向をＹ軸と定義し、右方向をＸ軸正方向、下方向をＹ軸正方向とする。そして、ポインタ座標系で指定される座標をポインタ座標（Ｘｐ、Ｙｐ）で示す。
【００５６】
図４に戻り、上記ステップＳ１３で座標変換されたポインタ座標（Ｘｐ、Ｙｐ）を用いて、表示部２２は、ポインタＰをフロントガラスＦ上に投影表示する（ステップＳ１５；図３参照）。そして、カーナビゲーション装置１は、処理を次のステップＳ２０（図５）に進める。
【００５７】
なお、ステップＳ１５におけるポインタＰの表示は、カーナビゲーション装置１の起動中に常時表示していてもいいし、一定時間のみ表示してもいいし、地図情報記憶部１２に対象物Ｍに関連する情報が格納されている場合にだけ表示するようにしてもよい。情報の有無に応じて表示有無を対応させることによって、指し示した方向に存在する対象物Ｍに関連する情報が格納されていないことを容易に理解でき、ユーザの混乱を招くことを防止できる。
【００５８】
一方、上記ステップＳ１５の処理と並行して、上記ステップＳ１４で座標変換されたカメラ座標ｍｒ（Ｘｒ、Ｙｒ）を用いて、ユーザが指し示した対象物Ｍの３次元位置を特定する処理が行われる。画像認識／測距部２０は、撮像部１８の右カメラが撮像した画像から、座標変換されたカメラ座標ｍｒ（Ｘｒ、Ｙｒ）を中心とする小領域（図７参照）を抽出する（ステップＳ１６）。そして、画像認識／測距部２０および制御部１１は、ステレオマッチング処理を用いて、対象物Ｍの位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）を算出する（ステップＳ１７）。具体的には、画像認識／測距部２０は、上記小領域と同じパターンを撮像部１８の左カメラで撮像した画像から探し、一致したそれらの位置の相対的なずれから視差（Ｘｌ−Ｘｒ）を求める。そして、カメラ間隔Ｂ、焦点距離ｆ、および上述したＸｍ、Ｙｍ、Ｚｍを求める式を用いて、位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）が算出される。
【００５９】
次に、制御部１１は、位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）を車両座標系における位置Ｍ（Ｘｖ、Ｙｖ、Ｚｖ）に座標変換する（ステップＳ１８）。これは、位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）が右カメラの焦点Ｏを原点とする位置であるため、車両座標系における位置（Ｘｖ、Ｙｖ、Ｚｖ）に変換する処理である。そして、制御部１１は、車両座標系における位置Ｍ（Ｘｖ、Ｙｖ、Ｚｖ）を車両Ｃの緯度、経度、高度（測地座標系）に座標変換することによって、対象物Ｍの３次元位置を特定する（ステップＳ１９）。そして、カーナビゲーション装置１は、処理を次のステップＳ２０（図５）に進める。
【００６０】
図５において、対象物Ｍが特定されている場合（ステップＳ２０でＹｅｓ）、制御部１１は、入力部１４を介してユーザからの入力指示があるかを判断する（ステップＳ２１）。そして、制御部１１は、対象物Ｍが特定されていない場合（ステップＳ２０でＮｏ）または入力指示がない場合（ステップＳ２１でＮｏ）、上記ステップＳ１１に戻って処理を繰り返す。一方、入力指示がある場合（ステップＳ２１でＹｅｓ）、制御部１１は、その入力指示内容に応じた処理を行う（ステップＳ２２〜Ｓ２７）。
【００６１】
例えば、ユーザの発話が「読上げ」と認識された場合には、上記ステップＳ１９で特定した対象物Ｍの３次元位置に関連する情報を制御部１１が地図情報記憶部１２から取得し、音声出力部１５によって当該情報が音声で読上げられる（ステップＳ２２）。ユーザの発話が「表示」と認識された場合には、上記ステップＳ１９で特定した対象物Ｍの３次元位置に関連する情報を制御部１１が地図情報記憶部１２から取得し、表示部２２によって当該情報が表示される（ステップＳ２３）。ユーザの発話が「ルート設定」と認識された場合には、制御部１１が上記ステップＳ１９で特定した対象物Ｍまでの経路を計算し、表示部２２に計算したルートを表示して案内を実施する（ステップＳ２４）。この場合、対象物Ｍは、上記ルートにおける経由地や目的地のいずれに設定されてもかまわない。ユーザの発話が「ホームページ表示」と認識された場合には、上記ステップＳ１９で特定した対象物ＭのＵＲＬ情報を制御部１１が地図情報記憶部１２から取得し、図示しない通信手段を介して、当該対象物Ｍのホームページがサーバからダウンロードされて、表示部２２に当該ホームページが表示される（ステップＳ２５）。なお、ステップＳ２４およびＳ２５の場合、フロントガラスＦではなく、別途設けられた車載ディスプレイ（液晶ディスプレイや有機ＥＬディスプレイ等）を表示部２２として表示してもかまわない。ユーザの発話が「地図へ反映」と認識された場合には、制御部１１は、上記通信手段を介して上記ステップＳ１９で特定した対象物Ｍに関して地図情報記憶部１２が格納していない情報（差分情報）をセンター側からダウンロードし、地図情報記憶部１２に当該差分情報を反映させて格納する（ステップＳ２６）。すなわち、ステップＳ２６によって、地図や対象物に関連する情報の更新を行うことができる。そして、これらステップＳ２２〜Ｓ２６の動作の後、カーナビゲーション装置１は、上記ステップＳ１１に戻って処理を繰り返す。
【００６２】
一方、ユーザの発話が「停止」と認識された場合には、表示部２２がフロントガラスＦ上に表示しているポインタＰを消去し（ステップＳ２７〜、カーナビゲーション装置１の指差し入力機能に関する動作を停止して（ステップＳ２８）、当該フローチャートによる処理を終了する。
【００６３】
このように、対象物Ｍの特定を行った後、音声入力で所定の動作が完了するので、運転時の安全性等に配慮した入力を行うことができるカーナビゲーション装置を提供することができる。
【００６４】
なお、カーナビゲーション装置１は、上述した入力指示以外に対する機能も備えることができる。例えば、ユーザが指し示した方向に存在する車両を対象物Ｍとして、自車との間の車々間通信で情報の送受を行う際の動作、車両のプレートナンバーを読み取る動作、車両を追随する動的なルート検索および案内を行う動作等をカーナビゲーション装置１が行ってもかまわない。また、ユーザが指し示した方向に存在する対象物Ｍに設置されている電話を通話対象とする動作や対象物Ｍのメールアドレスにメールを送る動作等をカーナビゲーション装置１が行ってもかまわない。
【００６５】
なお、上述した説明では、ユーザが指し示す方向にポインタＰが表示されている状態で、ユーザからの指示があった場合の動作について説明したが、これに限定するものではない。例えば、ユーザからの入力指示がなくても自動的に施設名称等の対象物Ｍに関連する情報を同時に表示してもかまわない。また、ポインタＰは表示せず、施設名称等の対象物Ｍに関連する情報だけを表示してもかまわない。これによって、フロントガラスＦ越しに対象物Ｍを指差すだけで、対象物Ｍの施設名称等を瞬時に表示することが可能となる。
【００６６】
また、各座標系間の座標変換に用いる座標変換行列に誤差があり、指し示した方向とポインタＰとが一直線上にならない場合、ポインタ座標を微調整することでキャリブレーションを実施することが望ましい。これにより、座標変換行列のパラメータを補正することができる。
【００６７】
次に、図９および図１０を参照して、カーナビゲーション装置１の動作の第２の例について図面を参照し説明する。なお、図９は、カーナビゲーション装置１の第２の例における前半部の動作を示すフローチャートである。図１０は、３次元コンピュータグラフィック（ＣＧ）地図を用いて対象物を特定する動作を模式的に示した図である。なお、カーナビゲーション装置１の第２の例における後半部の動作については、図５と同様であるため詳細な説明を省略する。ここで、撮像部１８は、単一カメラで構成されているとする。また、地図情報記憶部１２には、上記地図情報の少なくとも１つとして３次元ＣＧ地図が格納されている。
【００６８】
図９において、カーナビゲーション装置１の起動を促すキーワード（例えば、「指差し入力起動」）がユーザから入力部１４に発話入力されると、カーナビゲーション装置１が起動する（ステップＳ３０）。そして、ユーザが車両Ｃ前方方向に存在する建物等の対象物Ｍを指し示すと（ステップＳ３１でＹｅｓ）、指差し方向検知部１６が検知する。そして、指差し方向検知部１６が検知した情報を用いて、指差し座標取得部１７は指差し座標（Ｘｈ、Ｙｈ）を取得する（ステップＳ３２）。そして、ポインタ座標決定部２１は、ステップＳ３２で取得した指差し座標（Ｘｈ、Ｙｈ）をポインタ座標（Ｘｐ、Ｙｐ）に座標変換する（ステップＳ３３）。また、制御部１１は、ステップＳ３２で取得した指差し座標（Ｘｈ、Ｙｈ）をカメラ座標ｃ（Ｘｃ、Ｙｃ）に座標変換する（ステップＳ３４）。制御部１１およびポインタ座標決定部２１は、それぞれフロントガラスＦの設置位置や角度、車両Ｃ内部および外部に設置したカメラ（すなわち、指差し方向検知部１６および撮像部１８）の設置位置や方向、さらに、車両Ｃに設置した測位部１３の位置等によって、これらの座標変換で用いる座標変換行列を予め決定する。
【００６９】
ここで、図９に示す動作において用いる指差し座標系、車両座標系、カメラ座標系、およびポインタ座標系については、カメラ座標系が単一カメラに対して設定されていることを除いて図６〜図８を用いて説明した座標系と同様であるため、詳細な説明を省略する。なお、ステレオカメラにおけるカメラ座標系ｍｒ（Ｘｒ、Ｙｒ）およびｍｌ（Ｘｌ、Ｙｌ）と区別するために、単一カメラにおけるカメラ座標系をｃ（Ｘｃ、Ｙｃ）と記載する。
【００７０】
上記ステップＳ３３で座標変換されたポインタ座標（Ｘｐ、Ｙｐ）を用いて、表示部２２は、ポインタＰをフロントガラスＦ上に投影表示する（ステップＳ３５；図３参照）。そして、カーナビゲーション装置１は、処理を次のステップＳ２０（図５）に進める。
【００７１】
一方、上記ステップＳ３５の処理と並行して、上記ステップＳ３４で座標変換されたカメラ座標ｃ（Ｘｃ、Ｙｃ）を用いて、ユーザが指し示した対象物Ｍの３次元位置を特定する処理が行われる。図９および図１０において、画像認識／測距部２０は、撮像部１８の単一カメラが撮像した車両前方映像を画像処理して、指し示した方向に撮像されている対象物の輪郭を取得する（ステップＳ３６）。次に、測位部１３が測位している車両Ｃの現在位置および車両Ｃの方位に基づいて、制御部１１は、当該車両Ｃに搭載された撮像部１８が撮像する景観と仮想的に対応する３次元ＣＧ地図を地図情報記憶部１２から取得する（ステップＳ３７）。そして、制御部１１は、取得した３次元ＣＧ地図の画像から上記ステップＳ３６で取得した輪郭と一致する形状の画像を抽出し、当該画像に対応する対象物Ｍの３次元位置を特定する（ステップＳ３８）。そして、カーナビゲーション装置１は、処理を次のステップＳ２０（図５）に進める。このような処理によって、指し示す対象物Ｍの３次元位置が特定できる。
【００７２】
次に、図１１および図１２を参照して、カーナビゲーション装置１の動作の第３の例について図面を参照し説明する。なお、図１１は、カーナビゲーション装置１の第３の例における前半部の動作を示すフローチャートである。図１２は、カーナビゲーション装置１の動作の第３の例について捕捉するための図である。なお、カーナビゲーション装置１の第１の例における後半部の動作については、図５と同様であるため詳細な説明を省略する。ここで、撮像部１８は、ステレオカメラで構成されているとする。また、地図情報記憶部１２には、上記地図情報として２次元地図が格納されている。
【００７３】
図１１において、カーナビゲーション装置１の起動を促すキーワード（例えば、「指差し入力起動」）がユーザから入力部１４に発話入力されると、カーナビゲーション装置１が起動する（ステップＳ４０）。そして、ユーザが車両Ｃ前方方向に存在する建物等の対象物Ｍを指し示すと（ステップＳ４１でＹｅｓ）、指差し方向検知部１６が検知する。そして、指差し方向検知部１６が検知した情報を用いて、指差し座標取得部１７は指差し座標（Ｘｈ、Ｙｈ）を取得する（ステップＳ４２）。そして、ポインタ座標決定部２１は、ステップＳ４２で取得した指差し座標（Ｘｈ、Ｙｈ）をポインタ座標（Ｘｐ、Ｙｐ）に座標変換する（ステップＳ４３）。なお、第３の例における動作で用いる指差し座標系、車両座標系、カメラ座標系、およびポインタ座標系は、図６〜図８を用いて説明した座標系と同様であるため、詳細な説明を省略する。なお、第３の例のおいても、制御部１１およびポインタ座標決定部２１は、それぞれフロントガラスＦの設置位置や角度、車両Ｃ内部および外部に設置したカメラ（すなわち、指差し方向検知部１６および撮像部１８）の設置位置や方向、さらに、車両Ｃに設置した測位部１３の位置等によって、これらの座標変換で用いる座標変換行列を予め決定する。
【００７４】
次に、上記ステップＳ４３で座標変換されたポインタ座標（Ｘｐ、Ｙｐ）を用いて、表示部２２は、ポインタＰをフロントガラスＦ上に投影表示する（ステップＳ４４；図３参照）。そして、制御部１１は、ポインタＰが囲み曲線の始点と終点とが一致するような軌跡を描いたか否かを判断する（ステップＳ４５；図１２）。カーナビゲーション装置１は、始点と終点とが一致するまで上記ステップＳ４１〜Ｓ４４の処理を繰り返し、始点と終点とが一致した場合（ステップＳ４５でＹｅｓ）、処理を次のステップＳ４６に進める。
【００７５】
ステップＳ４６において、制御部１１は、ステップＳ４３で座標変換され囲み曲線を描いたポインタ座標（Ｘｐ、Ｙｐ）群をカメラ座標ｍｒ（Ｘｒ、Ｙｒ）にそれぞれ座標変換する。画像認識／測距部２０は、撮像部１８の右カメラが撮像した画像から、座標変換されたカメラ座標ｍｒ（Ｘｒ、Ｙｒ）群に囲まれた小領域（図１２参照）を抽出する（ステップＳ４７）。そして、画像認識／測距部２０および制御部１１は、ステレオマッチング処理を用いて、囲まれたエリアに存在する対象物Ｍの位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）を算出する（ステップＳ４８）。具体的には、画像認識／測距部２０は、上記小領域と同じパターンを撮像部１８の左カメラで撮像した画像から探し、一致したそれらの位置の相対的なずれから視差（Ｘｌ−Ｘｒ）を求める。そして、カメラ間隔Ｂ、焦点距離ｆ、および上述したＸｍ、Ｙｍ、Ｚｍを求める式を用いて、位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）が算出される。
【００７６】
次に、制御部１１は、位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）を車両座標系における位置Ｍ（Ｘｖ、Ｙｖ、Ｚｖ）に座標変換する（ステップＳ４９）。これは、位置Ｍ（Ｘｍ、Ｙｍ、Ｚｍ）が右カメラの焦点Ｏを原点とする位置であるため、車両座標系における位置（Ｘｖ、Ｙｖ、Ｚｖ）に変換する処理である。そして、制御部１１は、車両座標系における位置Ｍ（Ｘｖ、Ｙｖ、Ｚｖ）を車両Ｃの緯度、経度、高度（測地座標系）に座標変換することによって、対象物Ｍの３次元位置を特定する（ステップＳ５０）。そして、カーナビゲーション装置１は、処理を次のステップＳ２０（図５）に進める。
【００７７】
以上のように、カーナビゲーション装置１の動作について第１〜第３の例を説明したが、何れの例においてもユーザが指し示す対象物Ｍの３次元位置の特定を高精度に行うことができる。
【００７８】
（第２の実施形態）
以下、本発明の第２の実施形態に係る対象物特定装置について説明する。なお、説明を具体的にするために、当該対象物特定装置がカーナビゲーション装置に適用された一例を用いて、図面を参照しながら説明する。なお、以下参照する図面において、本発明に関係のない構成要素は省略している。
【００７９】
図１３は、第２の実施形態に係るカーナビゲーション装置２の概略の構成を示す構成図である。カーナビゲーション装置２は、第１の実施形態で説明したカーナビゲーション装置１に対して、視線方向検知部２３および視線座標取得部２４が追加されている。それ以外の構成要素は、第１の実施形態と同様であるため、同一の構成要素には同一の参照符号を付して詳細な説明を省略する。
【００８０】
視線方向検知部２３は、ユーザ（例えば、車両のドライバ等の搭乗者）の視線を検知するための手段であり、例えば、車内に設置された近赤外線照射装置またはカメラ等で構成される。視線座標取得部２４は、視線方向検知部２３で取得した情報を用いて、３軸の座標値（以下、視線座標（系）と記載する）を取得するための手段であり、例えば、視線方向検知部２３が近赤外線をユーザの眼に照射し、その瞳孔と角膜反射像との動きを検出することによって、ユーザの視線を検知する。他にも視線方向検知部２３が撮像したユーザの眼を含む画像を画像処理することによって、ユーザの視線を検知してもかまわない。
【００８１】
次に、図１４を参照して、ユーザが対象物Ｍを手Ｈで指し示す方向と当該ユーザの視線との関係を説明する、なお、図１４は、ユーザが対象物Ｍを手Ｈで指し示す方向と当該ユーザの視線を示す模式図である。
【００８２】
図１４において、フロントガラスＦのＡ点を介して、ユーザが手Ｈによって対象物Ｍの一部を指し示している。このＡ点は、図２を用いて説明したＡ点と同じである。
【００８３】
このとき、ポインタ座標決定部２１は、ユーザの手Ｈで指し示した対象物Ｍとユーザの眼Ｅとを結ぶ直線（ユーザが対象物Ｍを見ている場合は視線）と交差するフロントガラスＦ上の２次元座標（図１４におけるＢ点）をポインタ座標（Ｘｐ、Ｙｐ）に決定する。その後、表示部２２は、第１の実施形態と同様に、ポインタ座標決定部２１で決定したポインタ座標（Ｘｐ、Ｙｐ）にポインタＰを投影表示する。
【００８４】
例えば、第１の実施形態のように点ＡにポインタＰを投影表示するとき、ユーザの視線上に手Ｈを挙げて当該視線上にある対象物Ｍを指し示すと、ポインタＰと対象物Ｍとが一致して表示される。一方、第２の実施形態では、図１４に示すようにユーザの視線上に手Ｈを挙げなくても、ポインタＰがユーザの視線方向と完全に一致する。すなわち、手Ｈをユーザの視界に近づける必要なく、対象物Ｍを違和感なく視認することができる。例えば、手Ｈを車両Ｃのハンドル上に置いた状態でも、対象物Ｍを指し示すことができ、安全運転に寄与できる。
【００８５】
なお、視線方向と点Ｂに表示されたポインタＰとが図１４で示したように一直線上にならない場合、ポインタ座標（Ｘｐ、Ｙｐ）に座標変換する関数を微調整することによってキャリブレーションを実施することが望ましい。
【００８６】
また、ユーザの手Ｈで指し示す方向の対象物と当該ユーザの視線方向に存在する対象物とは、絶えず一致しているとは限らない。例えば、ユーザは、手Ｈで特定したい対象物Ｍを指し示していても、当該対象物Ｍとは異なった車両前方を視認していることがある。このようなときには、ポインタＰを表示しないようにしてもかまわない。図１５は、手Ｈで指し示した対象物と視線方向にある対象物とが一致している場合にのみ、ポインタＰを表示する様子を示す模式図である。
【００８７】
図１５において、フロントガラスＦを介した景観に対して、ユーザの視線が軌跡ＣＥに沿って移動している。一方、フロントガラスＦを介した景観に対して、ユーザの手Ｈで指し示す方向が軌跡ＣＨに沿って移動している。このとき、ポインタＰは、同一時刻でユーザの視線方向および手Ｈで指し示す方向が同じ対象物上で一致する箇所（同一時刻で軌跡ＣＥおよびＣＨが交わる交点）にのみ、フロントガラスＦ上に表示される。また、軌跡ＣＥやＣＨに対応する曲線は、フロントガラスＦ上には表示されないことが望ましい。これにより、手Ｈによって指し示す方向に存在する対象物と視線方向に存在する対象物とが一致していないときには、ポインタＰが表示されずユーザからの入力指示も受付けないように設定することによって、安全運転に寄与することができる。
【００８８】
なお、手Ｈで指し示す方向を表すポインタと視線方向を示すポインタとをそれぞれ同時に両方表示させて、どちらのポインタを使用するかをユーザが選択可能に構成してもかまわない。
【００８９】
（第３の実施形態）
以下、本発明の第３の実施形態に係る対象物特定装置について説明する。なお、説明を具体的にするために、当該対象物特定装置がカーナビゲーション装置に適用された一例を用いて、図面を参照しながら説明する。なお、以下参照する図面において、本発明に関係のない構成要素は省略している。
【００９０】
図１６は、第３の実施形態に係るカーナビゲーション装置３の概略の構成を示す構成図である。カーナビゲーション装置３は、第１の実施形態で説明したカーナビゲーション装置１に対して、撮像制御部２５が追加で構成され、ポインタ座標決定部２１を選択部２６に置き換えている。また、当該実施形態における表示部２２は、典型的には車載ディスプレイ（液晶ディスプレイや有機ＥＬディスプレイ等）であり、本装置の起動をトリガとして撮像部１８で撮像する映像を表示する。それ以外の構成要素は、第１の実施形態と同様であるため、同一の構成要素には同一の参照符号を付して詳細な説明を省略する。
【００９１】
撮像制御部２５は、制御部１１の指令により撮像部１８の撮像方向（パン、チルト）やズームを制御する手段である。また、選択部２６は、撮像部１８が複数のカメラで構成されている場合にそれらの映像から適切な映像を選択するための手段であり、選択された映像が表示部２２に表示される。
【００９２】
次に、図１７および図１８を参照して、カーナビゲーション装置３の動作について説明する。なお、図１７は、カーナビゲーション装置３における前半部の動作を示すフローチャートである。図１８は、カーナビゲーション装置３における後半部の動作を示すフローチャートである。ここで、カーナビゲーション装置３で行う対象物特定処理は、第１の実施形態で説明した第１の例（図４）を用いる一例で説明する。したがって、撮像部１８はステレオカメラで構成され、地図情報記憶部１２には上記地図情報として２次元地図が格納される。
【００９３】
図１７において、ステップＳ６０〜Ｓ６７の処理は、図４で示したステップＳ１０〜１２、Ｓ１４、およびステップＳ１４〜Ｓ１９と同様であるため、ここでは詳細な説明を省略する。また、第３の実施形態における動作で用いる指差し座標系、車両座標系、およびカメラ座標系は、図６〜図８を用いて説明した座標系と同様であるため、詳細な説明を省略する。なお、第３の実施形態においても、制御部１１は、それぞれ車両Ｃ内部および外部に設置したカメラ（すなわち、指差し方向検知部１６および撮像部１８）の設置位置や方向、さらに、車両Ｃに設置した測位部１３の位置等によって、これらの座標変換で用いる座標変換行列を予め決定する。
【００９４】
ステップＳ６７で対象物の３次元位置が特定された後、選択部２６は、撮像部１８のステレオカメラのうち、何れのカメラで撮像した映像を選択する（ステップＳ６８）。例えば、選択基準としては、撮像部１８が車両Ｃの進行方向右側および左側にそれぞれカメラを有している場合、搭乗者の指差し方向に対応して当該指差し方向が車両Ｃの進行方向右側なら当該右側のカメラからの映像を選択し、進行方向左側なら当該左側のカメラからの映像を選択することとする。そして、撮像制御部２５は、特定された対象物の３次元位置に基づいて、当該対象物が表示部２２の画面中央に配置されるように、選択されたカメラの撮像方向を制御する（ステップＳ６９）。これにより、所定の方向に存在する対象物を確実に表示部に表示することができる。そして、制御部１１は、処理を次のステップＳ７０（図１８）に進める。
【００９５】
図１８において、対象物Ｍが特定されている場合（ステップＳ７０でＹｅｓ）、制御部１１は、入力部１４を介してユーザからの入力指示があるかを判断する（ステップＳ７１）。そして、制御部１１は、対象物Ｍが特定されていない場合（ステップＳ７０でＮｏ）または入力指示がない場合（ステップＳ７１でＮｏ）、上記ステップＳ６１に戻って処理を繰り返す。一方、入力指示がある場合（ステップＳ７１でＹｅｓ）、制御部１１は、その入力指示内容に応じた処理を行う（ステップＳ７２〜Ｓ７５）。
【００９６】
例えば、ユーザの発話が「拡大」と認識された場合には、上記ステップＳ６８で選択した映像を撮像制御部２５が拡大するようズーム制御する（ステップＳ７２）。これにより、車両Ｃの遠方に存在する対象物の映像が拡大されるため、対象物を視認して得られる情報を容易に得ることが可能となる。例えば、少し遠方にあり、運転手が目を細めないと確認できないような距離に存在する対象物（例えば、標識や看板）を指差して「拡大」と発話することにより、容易に情報を得ることができる。なお、このとき標識や看板を優先して認識するようにしても良い。一方、ユーザの発話が「縮小」と認識された場合には、上記ステップＳ６８で選択した映像を撮像制御部２５が縮小するようズーム制御する（ステップＳ７３）。また、ユーザの発話が「記録」と認識された場合には、制御部１１は、表示部２２に表示している映像を静止画や動画等として、記録部（図示せず）に記録する（ステップＳ７４）。例えば、このステップＳ７４で記録した映像は、後で呼出すことによってルート案内等に利用することができる。そして、これらステップＳ７２〜Ｓ７４の動作の後、カーナビゲーション装置３は、上記ステップＳ６１に戻って処理を繰り返す。
【００９７】
一方、ユーザの発話が「停止」と認識された場合には、撮像制御部２５が撮像部１８のカメラ方向やズームを初期値に戻し消去し（ステップＳ７５）、カーナビゲーション装置３の指差し入力機能に関する動作を停止して（ステップＳ７６）、当該フローチャートによる処理を終了する。
【００９８】
なお、上記ステップＳ７２〜Ｓ７５の処理は、主に撮像部１８に関する動作を制御する一例を取りあげて説明したが、ユーザからの他の入力指示に対する機能を備えることもできる。例えば、図５で説明したステップＳ２２〜Ｓ２７の処理や、第１の実施形態で説明した他の処理についても同様に、カーナビゲーション装置３で実現することも可能である。
【００９９】
また、本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。特に、本対象物特定装置を車両だけでなく、列車や船舶、航空機等の移動体に設置して利用できる。例えば、列車に応用する場合では指差す方向に存在する駅の名称を前面ガラス上に投影することができる。
【産業上の利用可能性】
【０１００】
本発明に係る対象物特定装置は、ユーザの手や指が指し示している方向に存在する対象物を正確に特定することができ、車両内に設置される車載用入力装置、カーナビゲーション装置、車載情報端末等として有用であり、車両の他、列車、船舶、航空機等の移動体に設置することができる。
【図面の簡単な説明】
【０１０１】
【図１】第１の実施形態に係るカーナビゲーション装置１の概略の構成を示す構成図
【図２】ユーザが対象物を手や指で指し示す様子を示す模式図
【図３】ユーザが手Ｈを車両Ｃ前方のフロントガラスＦ越しに指し示したときにポインタＰが投影されている様子を示す模式図
【図４】図１のカーナビゲーション装置１の第１の例における前半部の動作を示すフローチャート
【図５】図１のカーナビゲーション装置１の第１の例における後半部の動作を示すフローチャート
【図６】図１のカーナビゲーション装置１の動作で用いる指差し座標系および車両座標系の一例を説明するための図
【図７】図１のカーナビゲーション装置１の動作で用いるカメラ座標系の一例を説明するための図
【図８】図１のカーナビゲーション装置１の動作で用いるポインタ座標系の一例を説明するための図
【図９】図１のカーナビゲーション装置１の第２の例における前半部の動作を示すフローチャート
【図１０】３次元コンピュータグラフィック地図を用いて対象物を特定する動作を模式的に示した図
【図１１】図１のカーナビゲーション装置１の第３の例における前半部の動作を示すフローチャート
【図１２】図１１のカーナビゲーション装置１の動作の第３の例について捕捉するための図
【図１３】第２の実施形態に係るカーナビゲーション装置２の概略の構成を示す構成図
【図１４】ユーザが対象物Ｍを手Ｈで指し示す方向と当該ユーザの視線を示す模式図
【図１５】手Ｈで指し示した対象物と視線方向にある対象物とが一致している場合にのみ、ポインタＰを表示する様子を示す模式図
【図１６】第３の実施形態に係るカーナビゲーション装置３の概略の構成を示す構成図
【図１７】図１６のカーナビゲーション装置３における前半部の動作を示すフローチャート
【図１８】図１６のカーナビゲーション装置３における後半部の動作を示すフローチャート
【符号の説明】
【０１０２】
１、２、３…カーナビゲーション装置
１１…制御部
１２…地図情報記憶部
１３…測位部
１４…入力部
１５…音声出力部
１６…指差し方向検知部
１７…指差し座標取得部
１８…撮像部
２０…画像認識／測距部
２１…ポインタ座標決定部
２２…表示部
２３…視線方向検知部
２４…視線座標取得部
２５…撮像制御部
２６…選択部
【特許請求の範囲】
【請求項１】
車両周辺の対象物の位置を特定する対象物特定装置であって、
車両の現在位置および車両の方位を検出する測位部と、
前記車両の周囲を撮像する撮像部と、
前記車両内のユーザが自身の手を用いて指し示した指示方向を検知する指差し方向検知部と、
前記指差し方向検知部が検知した指示方向に存在する対象物を前記撮像部が撮像した画像内から抽出する対象物抽出部と、
前記車両に対して、前記対象物抽出部が抽出した対象物の位置を特定する対象物位置特定部とを備える、対象物特定装置。
【請求項２】
前記撮像部は、前記車両に設置された少なくとも１つのカメラで構成され、
前記対象物特定装置は、前記指差し方向検知部が検知した指示方向を前記カメラの撮像方向を基準とするカメラ座標系における指示方向に変換する座標変換部を、さらに備え、
前記対象物抽出部は、前記撮像部が撮像した画像内から前記座標変換部が変換した指示方向に撮像された被撮像物を対象物として抽出することを特徴とする、請求項１に記載の対象物特定装置。
【請求項３】
前記撮像部は、平行等位に前記車両に設置された複数のカメラで構成され、
前記対象物抽出部は、一方の前記カメラが撮像した画像から前記指示方向に撮像された所定サイズの領域を抽出し、当該領域の画像と他方の前記カメラが撮像した画像とのマッチングによって当該指示方向に撮像された被撮像物を対象物として抽出し、
前記対象物位置特定部は、複数のカメラが対象物をそれぞれ撮像している方向に基づいて、前記車両に対する対象物の位置を算出することを特徴とする、請求項２に記載の対象物特定装置。
【請求項４】
前記対象物抽出部は、前記指示方向が時系列的に変化することによって当該指示方向に囲まれた空間内に撮像された画像を前記領域の画像として抽出することを特徴とする、請求項３に記載の対象物特定装置。
【請求項５】
前記撮像部は、前記車両に設置された単一のカメラで構成され、
前記対象物特定装置は、少なくとも前記車両の現在位置付近の３次元地図を格納する地図情報記憶部を、さらに備え、
前記対象物抽出部は、前記カメラが撮像した画像から前記指示方向に撮像された被撮像物の輪郭を対象物の輪郭として抽出し、
前記対象物位置特定部は、前記３次元地図から前記対象物抽出部が抽出した輪郭と一致する形状のオブジェクトの位置を当該３次元地図上で特定して、前記車両に対する対象物の位置を算出することを特徴とする、請求項２に記載の対象物特定装置。
【請求項６】
前記対象物特定装置は、
前記車両に備えられた少なくとも１つのガラスを表示領域にして画像を投影する表示部と、
前記指差し方向検知部が検知した指示方向と前記表示領域が設定されたガラスとの交点座標を決定するポインタ座標決定部と、
前記ポインタ座標決定部が決定した交点座標上の表示領域にポインタ画像を表示制御する表示制御部とを、さらに備える、請求項１に記載の対象物特定装置。
【請求項７】
前記対象物特定装置は、
前記車両に備えられた少なくとも１つのガラスを表示領域にして画像を投影する表示部と、
前記車両内のユーザの視線方向を検知する視線検知部と、
前記対象物位置特定部が特定した対象物の位置とユーザの視線とを結ぶ直線と前記表示領域が設定されたガラスとの交点座標を決定するポインタ座標決定部と、
前記ポインタ座標決定部が決定した交点座標上の表示領域にポインタ画像を表示制御する表示制御部とを、さらに備える、請求項１に記載の対象物特定装置。
【請求項８】
前記対象物特定装置は、前記ポインタ座標決定部が決定する交点座標をユーザからの指示に応じて調整する調整部を、さらに備える、請求項６または７に記載の対象物特定装置。
【請求項９】
前記撮像部は、前記車両に設置された複数のカメラで構成され、
前記対象物特定装置は、
前記車両内に設置される表示部と、
前記指差し方向検知部が検知した指示方向に応じて、前記複数のカメラから出力される画像から何れか１つの画像を選択して前記表示部に表示する選択部とを、さらに備える、請求項１に記載の対象物特定装置。
【請求項１０】
前記対象物位置特定部が特定した対象物が画像の中心に撮像されるように、前記選択部が選択した画像を撮像するカメラの撮像方向を制御する撮像制御部を、さらに備える、請求項９に記載の対象物特定装置。
【請求項１１】
前記対象物位置特定部が特定した対象物が画像の中心で拡大または縮小して撮像されるように、前記選択部が選択した画像を撮像するカメラの撮像倍率を制御する撮像制御部を、さらに備える、請求項９に記載の対象物特定装置。
【請求項１２】
前記対象物特定装置は、
少なくとも前記車両の現在位置付近の地図情報および当該地図で表される各領域に対する情報を格納する地図情報記憶部と、
前記対象物位置特定部が特定した対象物に関する情報を前記地図情報記憶部に格納されている情報から抽出して、前記車両内のユーザに報知する情報出力部とを、さらに備える、請求項１に記載の対象物特定装置。
【請求項１３】
前記対象物特定装置は、
所定のネットワークを介して通信可能な通信部と、
前記情報出力部が出力する情報を表示する表示部とを、さらに備え、
前記情報出力部は、前記地図情報記憶部に格納されている情報が前記ネットワーク上に存在する情報資源の場所を示すとき、前記通信部を介して当該情報資源から情報を取得して前記表示部に表示することを特徴とする、請求項１２に記載の対象物特定装置。
【請求項１４】
前記対象物特定装置は、
少なくとも前記車両の現在位置付近の地図情報を格納する地図情報記憶部と、
前記対象物位置特定部が特定した対象物の位置を経由地または目的地に設定してルート検索するルート検索部とを、さらに備える、請求項１に記載の対象物特定装置。
【請求項１】
車両周辺の対象物の位置を特定する対象物特定装置であって、
車両の現在位置および車両の方位を検出する測位部と、
前記車両の周囲を撮像する撮像部と、
前記車両内のユーザが自身の手を用いて指し示した指示方向を検知する指差し方向検知部と、
前記指差し方向検知部が検知した指示方向に存在する対象物を前記撮像部が撮像した画像内から抽出する対象物抽出部と、
前記車両に対して、前記対象物抽出部が抽出した対象物の位置を特定する対象物位置特定部とを備える、対象物特定装置。
【請求項２】
前記撮像部は、前記車両に設置された少なくとも１つのカメラで構成され、
前記対象物特定装置は、前記指差し方向検知部が検知した指示方向を前記カメラの撮像方向を基準とするカメラ座標系における指示方向に変換する座標変換部を、さらに備え、
前記対象物抽出部は、前記撮像部が撮像した画像内から前記座標変換部が変換した指示方向に撮像された被撮像物を対象物として抽出することを特徴とする、請求項１に記載の対象物特定装置。
【請求項３】
前記撮像部は、平行等位に前記車両に設置された複数のカメラで構成され、
前記対象物抽出部は、一方の前記カメラが撮像した画像から前記指示方向に撮像された所定サイズの領域を抽出し、当該領域の画像と他方の前記カメラが撮像した画像とのマッチングによって当該指示方向に撮像された被撮像物を対象物として抽出し、
前記対象物位置特定部は、複数のカメラが対象物をそれぞれ撮像している方向に基づいて、前記車両に対する対象物の位置を算出することを特徴とする、請求項２に記載の対象物特定装置。
【請求項４】
前記対象物抽出部は、前記指示方向が時系列的に変化することによって当該指示方向に囲まれた空間内に撮像された画像を前記領域の画像として抽出することを特徴とする、請求項３に記載の対象物特定装置。
【請求項５】
前記撮像部は、前記車両に設置された単一のカメラで構成され、
前記対象物特定装置は、少なくとも前記車両の現在位置付近の３次元地図を格納する地図情報記憶部を、さらに備え、
前記対象物抽出部は、前記カメラが撮像した画像から前記指示方向に撮像された被撮像物の輪郭を対象物の輪郭として抽出し、
前記対象物位置特定部は、前記３次元地図から前記対象物抽出部が抽出した輪郭と一致する形状のオブジェクトの位置を当該３次元地図上で特定して、前記車両に対する対象物の位置を算出することを特徴とする、請求項２に記載の対象物特定装置。
【請求項６】
前記対象物特定装置は、
前記車両に備えられた少なくとも１つのガラスを表示領域にして画像を投影する表示部と、
前記指差し方向検知部が検知した指示方向と前記表示領域が設定されたガラスとの交点座標を決定するポインタ座標決定部と、
前記ポインタ座標決定部が決定した交点座標上の表示領域にポインタ画像を表示制御する表示制御部とを、さらに備える、請求項１に記載の対象物特定装置。
【請求項７】
前記対象物特定装置は、
前記車両に備えられた少なくとも１つのガラスを表示領域にして画像を投影する表示部と、
前記車両内のユーザの視線方向を検知する視線検知部と、
前記対象物位置特定部が特定した対象物の位置とユーザの視線とを結ぶ直線と前記表示領域が設定されたガラスとの交点座標を決定するポインタ座標決定部と、
前記ポインタ座標決定部が決定した交点座標上の表示領域にポインタ画像を表示制御する表示制御部とを、さらに備える、請求項１に記載の対象物特定装置。
【請求項８】
前記対象物特定装置は、前記ポインタ座標決定部が決定する交点座標をユーザからの指示に応じて調整する調整部を、さらに備える、請求項６または７に記載の対象物特定装置。
【請求項９】
前記撮像部は、前記車両に設置された複数のカメラで構成され、
前記対象物特定装置は、
前記車両内に設置される表示部と、
前記指差し方向検知部が検知した指示方向に応じて、前記複数のカメラから出力される画像から何れか１つの画像を選択して前記表示部に表示する選択部とを、さらに備える、請求項１に記載の対象物特定装置。
【請求項１０】
前記対象物位置特定部が特定した対象物が画像の中心に撮像されるように、前記選択部が選択した画像を撮像するカメラの撮像方向を制御する撮像制御部を、さらに備える、請求項９に記載の対象物特定装置。
【請求項１１】
前記対象物位置特定部が特定した対象物が画像の中心で拡大または縮小して撮像されるように、前記選択部が選択した画像を撮像するカメラの撮像倍率を制御する撮像制御部を、さらに備える、請求項９に記載の対象物特定装置。
【請求項１２】
前記対象物特定装置は、
少なくとも前記車両の現在位置付近の地図情報および当該地図で表される各領域に対する情報を格納する地図情報記憶部と、
前記対象物位置特定部が特定した対象物に関する情報を前記地図情報記憶部に格納されている情報から抽出して、前記車両内のユーザに報知する情報出力部とを、さらに備える、請求項１に記載の対象物特定装置。
【請求項１３】
前記対象物特定装置は、
所定のネットワークを介して通信可能な通信部と、
前記情報出力部が出力する情報を表示する表示部とを、さらに備え、
前記情報出力部は、前記地図情報記憶部に格納されている情報が前記ネットワーク上に存在する情報資源の場所を示すとき、前記通信部を介して当該情報資源から情報を取得して前記表示部に表示することを特徴とする、請求項１２に記載の対象物特定装置。
【請求項１４】
前記対象物特定装置は、
少なくとも前記車両の現在位置付近の地図情報を格納する地図情報記憶部と、
前記対象物位置特定部が特定した対象物の位置を経由地または目的地に設定してルート検索するルート検索部とを、さらに備える、請求項１に記載の対象物特定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００７−８００６０（Ｐ２００７−８００６０Ａ）
【公開日】平成１９年３月２９日（２００７．３．２９）
【国際特許分類】
【出願番号】特願２００５−２６８５３５（Ｐ２００５−２６８５３５）
【出願日】平成１７年９月１５日（２００５．９．１５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＩＮＳ
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１９年３月２９日（２００７．３．２９）
【国際特許分類】
【出願日】平成１７年９月１５日（２００５．９．１５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＩＮＳ
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]