ナビゲーション装置
【課題】
従来のカーナビゲーション技術では、カメラ付き端末で撮影した実写画像とCG画像とが一致しなかった。
【解決手段】
GPS等による位置検知手段に加え、加速度センサや磁気センサなどの姿勢検知手段と、地理情報データベースを備え、更にカメラとカメラの姿勢検知手段を備える。位置検知手段及び姿勢検知手段からの信号に基づき地理情報データベースの情報から、利用者がカメラを向けている現実世界に即した経路案内のCG画像を作成するCG生成手段を備え、カメラで撮影している入力画像と作成したCG画像との正確な重ね合わせを実現する。
【効果】
携帯型のカメラ付き情報機器端末において、カメラで撮影した実写画像とCG画像とを組み合わせた、直感的に分かり易いナビゲーションシステムの実現を可能とする。
従来のカーナビゲーション技術では、カメラ付き端末で撮影した実写画像とCG画像とが一致しなかった。
【解決手段】
GPS等による位置検知手段に加え、加速度センサや磁気センサなどの姿勢検知手段と、地理情報データベースを備え、更にカメラとカメラの姿勢検知手段を備える。位置検知手段及び姿勢検知手段からの信号に基づき地理情報データベースの情報から、利用者がカメラを向けている現実世界に即した経路案内のCG画像を作成するCG生成手段を備え、カメラで撮影している入力画像と作成したCG画像との正確な重ね合わせを実現する。
【効果】
携帯型のカメラ付き情報機器端末において、カメラで撮影した実写画像とCG画像とを組み合わせた、直感的に分かり易いナビゲーションシステムの実現を可能とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ナビゲーションシステムに係り、特に携帯端末を用いて歩行者の経路誘導を行うシステムに関する。
【背景技術】
【0002】
直感的に分かり易いナビゲーションシステムを実現するため、任意の視点から3次元地図を眺めたときに得られる投影図を表示画面に表示する3次元地図表示のナビゲーション技術がある。そのような技術は、たとえば、特開2003−232639号公報で開示されている。3次元地図表示のナビゲーション装置を実現した場合、視点位置によっては、注目すべき地図構成物が他の地図構成物に隠れて表示されなくなることがある。このため、現在地や目的地、あるいは現在地と目的地とを結ぶ経路等、ユーザが知りたい情報が表示画面に表示されなくなることがあるという問題がある。前記公報では、公報で開示の技術により、地図構成物に隠れる位置にある情報を表示画面に表示することができる3次元地図表示を実現した地図表示装置及びナビゲーション装置を提供することを目的としている。
【0003】
また、直感的に分かり易いナビゲーションシステムを実現する別の方法として、実写画像とナビゲーションのためのCG画像とを重ね合わせ表示する複合現実感(Mixed Reality)と呼ばれる技術がある。
【0004】
さらに、特開平11−108684号公報で開示された技術は、自動車のノーズ等に取り付けた撮像カメラで進行方向の景色を撮像し、この背景画像に対して画像合成部によりナビゲーション情報要素を重ね合せて表示するというものである。これにより、グラフィックの表示だけに頼るより、運転者等は自動車の現在位置や進行経路等をより感覚的に把握できるようになることを狙っている。
【0005】
【特許文献1】特開2003−232639号公報
【特許文献2】特開平11−108684号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
本発明は、直感的に分かり易いナビゲーションシステムを提供することを目的としている。ナビゲーションの例として歩行者について考えると、歩行者に直感的に分かり易いナビゲーションを提供するためには、歩行者が見るであろう現実世界の画像とナビゲーション画像との対応が直感的に取りやすければよいと考えられる。このため、本発明では、単に地理情報データベースにアクセスできるだけでなく、端末(スクリーン)の姿勢を検知し、端末がどのような姿勢にあろうとも、端末のスクリーンには歩行者が見るであろう現実世界に即したナビゲーション画像を表示することが必要である。
【0007】
また、より直感的な案内を行うために、現実世界に即したCGを生成だけではなく、現実世界そのものの映像(実写画像)をカメラにより得て、この実写画像上に経路などのナビゲーションのためのCG画像を重ね合わせて表示する。この場合、カメラ付きの携帯端末は、歩行者の手に持って操作されることから、実写画像とCG画像とを正確に重ね合わせるためには、カメラ姿勢やスクリーンの姿勢の検知が重要となる。しかしながら、特開2003−232639号公報で開示の技術では、表示画面をすべてCG画像で表現しており、カメラ姿勢の検知が不要であった。また特開平11−108684号公報の技術を携帯型のナビゲーション端末に適用した場合、位置検知は行っているがカメラの姿勢検知を行っていないため、携帯型のカメラ付き端末で撮影した実写画像とCG画像とがずれてしまうという問題がある。
【0008】
一方、従来知られている拡張現実感技術によっては、地理情報データベースへの利用は必ずしも十分ではなく、ナビゲーションという領域においては、拡張現実感技術が十分応用されてきたとはいい難い。
【0009】
本発明では、携帯情報端末を用いたナビゲーションシステムにおいて、地理情報データベースにアクセスし、携帯情報端末の姿勢を検知し、それらの情報を利用して端末利用者が実際に目にしている風景に即した案内のためのCG画像を生成することを目的とする。また、カメラ付きの携帯情報端末において、地理情報データベースにアクセスし、携帯情報端末及びカメラの姿勢を検知し、実写画像と案内のためのCG画像とを正確に重ね合わせ表示することにより、直感的に分かり易いナビゲーションを実現することを目的とする。
【課題を解決するための手段】
【0010】
本発明では、課題を解決するため、従来の位置検知手段に加え、姿勢検知手段と、地理情報データベースアクセス手段を備えており、利用者が見ている現実世界に即した経路案内のCG生成手段を備えている。更にカメラとカメラの姿勢検知手段を備えており、利用者が向けている現実世界とカメラで撮影している入力画像とCG画像との正確な重ね合わせを実現している。
【発明の効果】
【0011】
本発明の技術により、携帯型のカメラ付き情報機器端末であっても、カメラで撮影した実写画像とCG画像との自然な重ね合わせを実現するとともに、地理情報データベースを活用することにより、直感的に分かり易いナビゲーションシステムの実現を可能とする。
【発明を実施するための最良の形態】
【0012】
本発明を用いたナビゲーションシステムの実施の形態を、図面を参照して説明する。
【実施例1】
【0013】
図1は本発明を用いたナビゲーション装置の全体構成を表す図である。本ナビゲーション装置は、姿勢検知手段10204により端末の姿勢を検知し、その検知量をもとにナビゲーション装置に設けられたスクリーンに垂直な視線ベクトルを算出する視線ベクトル算出手段10205と、表示対象量の検出手段10201及びその検出量を表示するための表示対象の提示用形状及び姿勢を求める提示用形状姿勢生成手段10202,提示用形状姿勢生成手段10202により生成された形状を10205で算出した視線ベクトルを用いて表示画像を表示する表示画像生成手段10203により構成される。
【0014】
次に、図1の動きを、図2の本発明を用いたナビゲーション装置として用いる端末の外観図、図3の端末の姿勢検知手段の動作例、及び、図4の視線と表示対象量の関係を示す図を用いて説明する。表示対象量として本実施形態では磁北を示すベクトル(水平面に平行な磁北を示すベクトル、例えば10007のように方位磁石が指し示すベクトルである)を、端末の姿勢を様々に変化させた場合に、端末10005に取り付けられた表示用の画面(スクリーン)10003を覗き窓として方位磁石10007を可視化したような表示を行う例を説明する。
【0015】
本実施例における端末10005はアプリケーションプログラムが動作する携帯電話の外観を示しているが、PDAや表示画面が付いた腕時計など、形状を表示可能なスクリーン10003とアプリケーションプログラムが動作する端末であればどのような形態でもかまわない。
【0016】
端末10005には姿勢を検知する姿勢検知手段10204が内蔵されている。この姿勢検知手段10204を使いスクリーンの姿勢を検知する。姿勢検知の一例を図3を用いて説明する。姿勢検知手段10204は、加速度センサと磁気センサを備えており、スクリーン10003に取り付けられているものとする。重力ベクトル10304は例えば3軸の加速度センサを用いて求める。重力加速度は静止状態であれば1Gであり、水平面
10303に垂直な成分となっている。スクリーン10003が傾斜することにより、各加速度センサからは、重力ベクトル10304と各々の加速度センサのなす角に比例した出力量が出力される。従って、各センサの成分量からスクリーン10003が受けている重力ベクトル10304を求める事が出来る。つまり、この重力ベクトルの成分は、スクリーン10003の傾きを示している。
【0017】
次に、スクリーン10003の向いている方向を決定するために地磁気ベクトルを利用する。地磁気ベクトル10302は、磁北ベクトル(10306)方向に向かって伏角
(10305)で水平面10303に向いている。地磁気ベクトル10302は3軸の磁気センサを用いて観測することが出来る。
【0018】
従って、先ほどの重力ベクトル10304と地磁気ベクトル10302を用いることにより、スクリーン10003の傾きと向いている絶対方位を検知する事が出来るので、スクリーン10003の絶対姿勢(傾きと方位)を検知することが出来る。スクリーン
10003の姿勢が検知できればこのスクリーンに垂直な視線ベクトル10002を求める事ができる。この演算はスクリーンに垂直な視線ベクトル算出手段10205を用いて行う。
【0019】
次に、表示対象量の検出手段10201について説明する。本実施例では表示対象量として磁北ベクトルを例に取っているため、表示対象量の検出手段10201では磁気センサの出力を用いる。この磁気センサの出力はスクリーン10003の姿勢を検知した磁気センサの出力をそのまま利用する事ができる。図3で磁北ベクトル10306は、水平面10303に地磁気ベクトル10302を投影することにより求める事が出来る。この投影計算は表示対象の提示用形状とその姿勢を求める提示用形状姿勢生成手段10202で行う。ここで言う提示用形状とは、磁北ベクトルの指し示す方向を分かり易く表示する形状の事であり、図2では三角錐10008をその形状としている。また提示用形状の姿勢とは磁北ベクトルの方向であり、上記投影手法により求める事ができる。無論、提示用形状として三角錐以外の例えば矢印や人の指し示す指などを用いてもかまわない。これらの提示用形状を地磁気ベクトル10302と同じ方向にスクリーン上で座標変換する。
【0020】
視線ベクトル10002と表示対象量10008の姿勢をもとにスクリーン10003に表示させる手法については、図4を用いて説明する。表示対象量10008などを配置する際のワールド座標系10401と、表示対象量10008などを表示する際のスクリーン座標系10004がある。視点位置は、スクリーン座標系10004でスクリーンに垂直で原点を通る視線ベクトル10002上にあり、注視点はワールド座標系10401における表示対象量10008の位置とする。従って、表示対象量10008の位置をスクリーン座標系10004に対する視点位置からの透視変換する事により、表示対象量
10008のスクリーン10003における提示用形状が求まり、スクリーン10003の姿勢を変化させることにより、表示対象量10008の提示用形状の表示が変化する。
【0021】
図5にその表示の一例と視点の位置を示す。視線10506はスクリーン10003に対して垂直方向が東を向いた状態である。この場合、表示対象量10008は左を指しているように表示され、北がスクリーン10003に対して左側である事を示す。視線
10505は、スクリーン10003を垂直に立て、ほぼ北北東の方向を向けた状態である。この場合、表示対象量10008は僅かに左側を向いており、北がスクリーン10003に対して僅かに左の方向であることを示している。視線10504は、スクリーン10003を地面に並行(真上から見る)にして覗いている状態である。この場合は真上から見た時の北の方向表示される。このように、様々な姿勢でも表示対象量10008(地磁気ベクトル10302)を直接可視化することが出来るので、直感的に表示対象量10008の指し示す方向を理解する事が出来る。
【0022】
なお、本実施形態では表示対象量10008として地磁気ベクトル10302を描画する例を説明したが、表示対象量10008として水平面10303の傾きを表す事も可能であるし、地磁気ベクトル10302を表す事も可能である。その他、その位置における場の状態を表現する手段として本実施形態は適用できる。
【0023】
次に、地理情報データベース17001と端末の位置検知手段17003を用いて、現在位置を基準として地理情報及び表示対象量10008を表示する方法について説明する。図1の端末の位置検知手段17003は、例えばGPSや無線LANの基地局情報,携帯電話の基地局情報,地面や壁・物などに取り付けられたRFIDの情報などを用いて位置を検知する。ここで検知する位置情報は、経度・緯度・高さで表す地理座標の値やX,Y,Zで表す3次元直交座標系でもかまわない。高さに関しては、楕円体高・標高・フロアーの階数などの値でもかまわない。高さの観測には位置検出手段と併用して高度計などを利用してもかまわない。図1に示す構成だけでは表示対象量10008の場の状態だけを検知していたが、位置検知手段17003で位置情報を検知することにより、端末が地理上の何処の位置に存在するかが判るようになる。
【0024】
地理情報データベース17001には、道路データや建物データ、店舗の位置や営業時間など地理情報に関する様々なデータが格納されている。このデータを可視化出来るように形状データに変換するのが描画用地理データ生成手段17002である。位置検知手段17003の情報をもとに描画用地理データ生成手段17002で周囲の地理情報を形状データに変換しで描画すると、図6に示すように端末の位置10703を中心にスクリーン10003の上端を北にして周囲の地理情報10702を描画することが出来る。また、図2で説明した手法により、表示対象量(この例では磁北ベクトル)を3次元的に可視化した形状10701を重ねて表示することが出来る。この磁北ベクトルを示す形状
10701は、スクリーン10003の傾斜に応じて覗き窓から見るように可視化した画像であり、端末の位置10703の情報と磁北ベクトル10701の状況を3次元的に可視化することにより直感的に端末の位置と磁北ベクトルの状況を理解出来る特徴がある。
【0025】
また、地理情報10702の画面に対する表示方向は固定(北が上)であったが、視線ベクトル算出手段10205によりスクリーン10003に垂直な視線方向を検知することにより、スクリーン10003に垂直な視線方向が向いている方位が上になるように地図を端末の位置10703を中心に回転して表示する事も可能である。この場合、自分の向いている方向を上とした地理情報を描画することが出来るために更に直感的に理解出来る地理情報を提示する事が可能になる。
【0026】
図7(a)は、図13における水平面10303と同じ位置に地理情報の画像を配置して描画した例である。水平面の状態は視線ベクトル算出手段10205で視線ベクトル
10002を演算する際に算出されるスクリーン10003に対する水平面の位置関係を利用して検知する。この水平面に描画用地理データ生成手段17002で生成した描画用地理データを重ね合わせることにより、スクリーン10003から覗いた時に見える地理情報(実世界と等価)を画面上に生成することが出来る。図7(a)はスクリーン10003を垂直にして覗いた状態を現す画面である。地理情報10801が遠近法で描かれて奥行きとして知覚することができる。図7(b)は図7(a)のスクリーン10003を右方向に回転した例である。回転に応じて水平面の位置も変化し、現実世界の水平面と平行になるように地理情報10801は描かれる。図7(c)はさらにスクリーン10003を回転して真横にした状態である。この状態でも地理情報10801は現実世界の水平面と同じ位置関係に描画される。
【0027】
また、視点方向を回転した場合(例えば、北から西に見る方角を買えた場合)には水平面も11003の回転軸で回転するので方角を変えても現実世界との対応関係は崩れない。さらに、スクリーンを地面と平行にして地面方向を覗くような動作を行った場合であっても水平面は追従するので真上から覗いた映像、例えば図6の描画画像10702のように真上から覗いた地理情報の映像を生成することが出来る。従って、スクリーン10003をいかなる方向に回転しても現実世界と対応が取れた地理情報を提供できるために直感的に理解し易い地理情報の提供が可能になる。
【0028】
また、姿勢検知手段によって、スクリーンに垂直なベクトルと重力ベクトルとが成す角が、ある一定角度以下(例えば10度以下)であることを検出した場合に、図6の様な2次元的な地図を表示し、そうでない場合には図7のような3次元的な地図を表示するということも可能である。この場合、図6のような地図を描画するためには、端末の位置検出手段において視点の高さを実際よりも高くし(例えば高度100mなど)、スクリーンに垂直な視線ベクトルの算出手段において、視線ベクトルを重力ベクトルに一致するとすればよい。
【0029】
情報提供手段として画像情報以外に音声を併用したり、あるいは単独で音声を利用して提示するために、発話文生成手段11301,発話音声生成手段11302を用いる。発話文生成手段11301は、提示用形状姿勢生成手段10202及び視線ベクトル算出手段10205より導かれるスクリーンと表示対象量の関係(図6における表示対象量を3次元的に可視化した形状10701)を発話文に変換する。例えば、スクリーンが図6のような姿勢で表示対象量が10701のように向いている場合には「画面の左上の奥行き方向が北を指しています」などと発話文を生成する。作られた発話文は発話音声生成手段11302を用いて音声信号に変換され、スピーカやイヤフォンを介して音として出力される。
【0030】
また、表示対象量ではなくスクリーン10003の姿勢に応じて、そこに表示されている地理情報を地理情報データベース17001と視線ベクトルの関係により、発話文生成手段11301で発話文を生成することも可能である。例えば、図6に表示されているような画像が表示された場合、「右にあるビルは○△ビルです。左のビルは□×ビルです。」のような発話文が11301で生成され11302を用いて音声として出力される。なお、前記実施例では、スクリーンに垂直な視線ベクトルを基準にしたが、端末の特定の方向を指すベクトル、例えば携帯電話であればアンテナの指し示す方向を基準にして音声を発話させてもかまわない。この場合、アンテナの指し示す方向のビルの名前や山の名前などを画面を見ないで音声だけで案内することが可能になる。
【0031】
これまで姿勢検知手段10204及び表示対象の検出手段10201は端末に内蔵する事を前提に説明したが、外部にアタッチメント形式で取り付けられるようにしてもかまわない。この場合、スクリーンの姿勢とアタッチメントの姿勢や取り付け位置関係を定義することによって同様の構成で実現可能である。
【0032】
次に、表示対象(目標対象物)が端末自体では検出できず通信回線を利用して表示目標対象の情報を取得して表示する実施形態を図8を用いて説明する。この実施例の変形では、目標対象物の位置姿勢検知手段11404,通信手段11402,11403,目標対象物の位置姿勢検知手段11404は検出手段10201と同様に目標物の位置や姿勢・状態を検知するセンサである。このセンサを用いて目標物の位置情報(高さも含む)や姿勢などを検知した情報を、通信手段11402,11403を介して目標対象物の形状姿勢生成手段11401へ送る。目標対象物の形状姿勢生成手段11401では、目標対象物の位置姿勢検知手段11404で検知した量を図形表示するための変換を行い、端末
(スクリーン10003)の姿勢を考慮して10203の表示画像の生成方法で描画される。
【0033】
例えば目標対象物として路線バスを採用した場合、目標対象物の位置姿勢検知手段
11404ではバスの現在位置を検知する。バスの現在位置は例えばGPSなどを用いて検出可能である。この現在位置情報を通信手段11403,11402を介して端末
10005へ送信する。端末10005の位置は端末の位置検知手段17003で検知し、スクリーンの姿勢は10205で検知できるので、端末のスクリーン10003をバスが走行している方向に向ければ、図9に示すようにバスの現在位置11501が3次元的に把握できる。11502はバスのID情報などをもとに行き先を表示している。スクリーン10003の姿勢を検知しているので端末をどのような姿勢にしても、そのスクリーンの視界に入っていればバスの位置と方向を把握できる。図9では目標対象物としてバスを表示したが、目標対象物として待ち合わせをしている人を描画する場合でも同様の手法で実現できる。これにより待ち合わせの人が今どちらの方向に居て、どの程度離れているかを直感的に把握できる。
【実施例2】
【0034】
実施例1では、ナビゲーション端末の利用者が目にしている現実世界をCGにより生成して経路の案内を行っていた。本実施例では、ナビゲーション端末の利用者が目にしている現実世界を、端末に付属するカメラにより撮影し、それと経路案内のCGを重ね合わせて経路誘導を行う。
【0035】
図10はカメラ付きの携帯端末の例として携帯電話を示した図である。携帯電話20105にはカメラ20009が内蔵または接続されており、撮影された画像はスクリーン10003に表示される。カメラの撮影する方向のベクトル(視線ベクトル)20010とスクリーンに垂直なベクトル20011の関係は予め判っているものとする。携帯電話20105には姿勢を検知する姿勢検知手段10204が内蔵されている。この姿勢検知手段10204を使いスクリーンの姿勢を検知する。図10では、カメラがスクリーンの上部に取り付けられているものとしているが、カメラの撮影方向はスクリーンを覗き込む端末利用者の視線と同じ方向を向いている。
【0036】
カメラの取り付け方の別な例として、カメラの向きを変更できるものが考えられる。そのような構成例を図11に示す。図11は、カメラが回転可能な取り付けをされている例である。この図では、カメラ20009は、端末の折りたたみ蝶番部分に取り付けられており、折りたたみ部を軸として回転角変更できるようになっている。ここでカメラの回転角20014は、図11におけるスクリーンに垂直なベクトル20011を基準としてみたカメラの視線ベクトル20012の回転角θであると定義する。ここで、カメラの視線ベクトルとはカメラのレンズの光軸方向に平行で、レンズの全面に向いたベクトルを意味する。本端末はこのθを計測することが可能となっており、端末利用者が手でカメラを回した場合においても、スクリーンとカメラの視線ベクトルの関係が計測できるようになっている。
【0037】
次に図12を用いてナビゲーションシステムの動作について説明する。図12のシステムでは、実施例1の図1のシステムに加えて、カメラ視線ベクトル算出手段27004,カメラ画像入力手段27005,表示画像合成手段27006,カメラ回転角取得手段
27007,経路探索手段27008、を備えている。また図1の描画用地理データ生成手段17002に代わって、描画用地理・経路データ生成手段27009を備えている。
【0038】
カメラ回転角取得手段27007は、携帯端末上のカメラの回転角を得て、その情報をカメラの視線ベクトル算出手段27004に伝える。ここでカメラの回転角とは、図11におけるベクトル20011を基準としてみたカメラの視線ベクトル20012の回転角θ20014である。図10のようにカメラと携帯端末の姿勢との関係が一定の場合には、カメラ回転角取得手段27007は回転角0度を出力し続けるものとする。カメラ視線ベクトル算出手段27004は、カメラの回転角の情報を受け取るとともに、カメラの画角及びレンズの歪みの情報を視線ベクトル算出手段27004内にデータベースとして保持しており、CGを投影する時に必要な画角,レンズの歪み等のカメラパラメータを表示画像生成手段10203に出力する。
【0039】
カメラ画像入力手段27005は、携帯端末に付属するカメラからの画像を連続して取得し、また、表示画像合成手段27006に連続的に(ストリーミングで)出力する。表示画像合成手段27006は、表示画像生成手段10203からナビゲーションのためのCG画像を受け取り、カメラ画像入力手段27005から受け取ったカメラからの入力画像にCGの画像を重ね合わせ処理して、携帯端末のスクリーン上に表示する。
【0040】
経路探索手段27008には、歩行者が予め設定する出発地点,目的地,経由地,交通手段(バス,電車,飛行機,船等)の情報が保持されており、また、それらの情報をもとに、地理情報データベース17001にアクセスを行うことで歩行者の誘導経路の探索を行い、探索した結果は経路探索手段27008内に保持する。また経路探索手段27008は、描画用地理・経路データ生成手段27009の要求に応じて、予め探索してある案内経路を三次元座標のデータ列として出力する。
【0041】
描画用地理・経路データ生成手段27009は、地理情報データベース17001に格納されている道路データや建物データ,店舗の位置データなどの地理情報を可視化するとともに、経路探索手段27008が出力する3次元座標のデータ列をもとに案内経路を3次元的なCGとして表現する。またその際、カメラ視線ベクトル算出手段27004からカメラの画角やレンズの歪みなどカメラパラメータの情報を受け取り、そのパラメータ情報をもとにカメラ画像に一致するCG画像を生成する。また表示対象の提示用形状姿勢生成手段27010でも、カメラ視線ベクトル算出手段27004からカメラの画角やレンズの歪みなどカメラパラメータの情報を受け取り、そのパラメータ情報をもとに、カメラ画像に一致するような表示対象量のCG画像を生成する。
【0042】
図13は、本発明を用いたナビゲーションシステムによる経路案内の例を示すための地図である。地理情報データベース17001には、道路(車道)20412,20426や、歩道20405,20413,20424といった道路データの他、歩道橋20407,横断歩道20411,陸橋20418,線路20401,駅20402,ランドマークとなるような建物20414,20421等の施設情報や地形の三次元形状情報(緯度経度に沿って等間隔のメッシュに分割された領域の高度情報または路側の高度情報など)および交通標識の設置情報(設置位置と標識種別または表示内容)が格納されている。案内経路20423は経路探索手段27008より探索された歩行者の誘導経路を表している。また、視点20425,20494,20495はそれぞれ図14,図15,図16の視点位置と端末の方向(視線の方向)を表している。そして視点20425における視野は、見える範囲の左端20408,見える範囲の右端20417,視野の最も遠方の位置を示す円弧20420で表されている。
【0043】
図14は本実施例における経路誘導のための経路表示画面である。図13における視点20425で示された経路誘導が開始される地点において、歩行者は現在歩道に立っており、携帯電話20105を手に持っているものとする。携帯電話の表示装置には、カメラ画像入力手段27005から入力される携帯電話のカメラで撮影されている風景画像が映っており、歩行者が手を動かすとその動きに従って表示装置に写っている風景画像も動く。本実施例では画面の更新周期は100ミリ秒とする。図10に示すカメラ付き携帯電話20105を使うと、ディスプレイに対して反対方向を向いたカメラを使うことにより、ディスプレイ上に今利用者が見ている現実世界と同じ映像をディスプレイ上に写し出すことが出来る。
【0044】
図14に示す経路表示画面では、本発明を用いたナビゲーションシステムの経路表示が行われており、携帯電話20105のメインディスプレイ20511には、歩道20107,車道20426の他、交通標識20102,陸橋20418等の施設情報や、山20104や土手20110,林20101といった携帯電話20105のカメラにより撮影された画像が表示され、表示画像合成手段27006により、写っているカメラからの映像の上部には日付及び時刻表示20301,目的地までの到達予想時間20501,経由ポイントまでの到達予想時間20502が合成されて表示されている。また表示画像合成手段
27006によりカメラにより撮影されている画像に重ねて、案内経路(誘導経路)
20423を表す矢印,視野に無い建物20414の輪郭を表す表示,交差点20508を示す表示,横断歩道20411を示す点線20512が描画される。また案内経路
20423についても、視野の範囲外となる部分、および地形の三次元形状情報に基づき視点位置から見て陰面となる範囲を通過する部分については点線で描画される。
【0045】
案内経路20423を表す矢印の描画においては、矢印の先端の間隔が一定の歩行距離を表していて、本実施例では1分とする。視野に入っている案内経路20423の一部は実線3本で表現されている。案内経路20423は、歩行者の位置に近い部分から遠方にいくにつれて、その3本の間隔を狭く表示して奥行きを表現している。これは表示画像生成手段10203における表示変換処理(透視変換処理)により行われる。交差点を示す表示20508は視野外にあるT字路の案内経路20423における誘導交差点の輪郭を線画で表している。また点線20512は視野外にある誘導交差点に設けられた横断歩道20411の存在を示していて、案内経路20423によりT字路で左折することが表されている。なお、案内経路20423上のどの交差点が誘導交差点となるかは、経路探索手段27008により案内経路が探索された時に決定される。図14で表示されている視野よりも、歩行者から見て携帯電話を左方向に向けた場合、ディスプレイに表示されているカメラの画像は携帯電話の向きの変化に連動して変化し、これと共にカメラ画像に重ねて描画される経路のCG画像も変化する。
【0046】
図14に示した画面の誘導に従い、歩行者が更に遠方の地点まで経路上を前進した場合のナビゲーションシステムの表示を図15,図16に示す。図15は、図13の視点
20494の位置における視野で見える経路のCG画像を表示した画面であり、図16は視点20495の位置に居て、図15よりも歩行者から見て携帯を左方向に向けた視野で見える経路のCG画像を表示した画面である。図15においては、視点20425の視野では周囲の地形により隠されていて波線で描画されていた案内経路20423が実線で描画されている。視点20425の視野外にあった横断歩道20411や建物20414の点線表示は消え、カメラの映像だけになっている。
【0047】
また図16においては、視点20495において周囲の地形により隠される歩道橋
20407の一部がCG画像により点線20803で補われている。同様にして、案内経路20423が周囲の地形により隠されている部分についても点線により描画されている。但し、木立や林などの植生20806によって隠れる部分については、地形の三次元形状情報からは案内経路が陰面に存在することが判定できないため、実線で描画されてしまう。さらに、誘導交差点ではない路地などとの交差点については、その存在を示す簡単な線画2080のみが描画される。そして、案内経路の目的地である駅20402については、その存在を強調するためにマーク20802を重ねて描画される。
【0048】
図17は、本発明を用いたナビゲーションシステム(携帯電話)のハードウェア構成を示す図である。携帯電話20105は、システムバス20902で互いに接続された、リードオンリーメモリ(ROM)20901,ランダムアクセスメモリ(RAM)20903,中央演算処理回路(CPU)20904,画像入力回路20905,圧力センサ
20918がつながったアナログディジタル変換回路(A/D)20912とディジタルアナログ変換回路(D/A)20913、及び加速度センサ20914,方位センサ
20915,角速度センサ20916,グローバルポジショニングシステム信号受信器
(GPS)20917等のセンサが接続されたシリアルインタフェース(SCI1) 20910と外部の機器と通信するためのシリアルインタフェース(SCI2)20911,通信モジュール20919とこれに接続されたアンテナ20920から構成される。
【0049】
CPU20904はナビゲーションシステム全体の動作を司り、ROM20901にはナビゲーションシステムの動作に必要な基本的なプログラムが納められている。さらに追加で必要なプログラムは、通信モジュール20919を通じ、RAM20903に必要に応じてダウンロードする。またRAM20903には、実行時に必要な一時データも格納される。加速度センサ20914,方位センサ20915,角速度センサ20916,
GPS20917からの情報は、シリアルインタフェース20910を経由してCPU
20904で処理される。圧力センサ20918の情報は、アナログディジタル変換回路20912を経由してCPU20904で処理される。またディジタルアナログ変換回路20913から圧力センサ20918に出力されるアナログ信号により、圧力センサのオフセット値及び増幅率が決定される。これにより、少ない量子化数で広いレンジを高精度にサンプリングすることができる。
【0050】
加速度センサ20914によって、携帯端末静止時には、重力加速度を検出することにより、携帯端末の傾きに関する情報を得ることができる。この加速度センサは3軸のセンサであるとする。また、加速度センサ20914によって携帯電話の上下動の周波数を計測することで、この携帯電話を持っている人の歩行速度を概算することができる。方位センサ20915から得られる情報と加速度センサ20914から得られる情報を組み合わせることにより、端末のカメラが向いている方位の情報を得ることができる。角速度センサと方位センサの情報を組み合わせることにより、方位の乱れを補整することができる。GPS20917により、絶対的な緯度経度の情報を得ることができる。
【0051】
以上、本実施例の説明では、実写画像と主として経路CG画像の重ね合わせについて説明した。しかしながら、実写画像の代わりに風景CG画像を用いることも可能である。その場合、実施例1に経路案内機能が付加されたことになり、フルCGでの経路案内も可能である。
【0052】
図18に、経路CG画像を風景CG画像に重ね合わせる場合のシステムの構成例を示す。風景CG生成処理22901は、GIS情報21001,位置検知処理21003,姿勢検知処理21004から情報を受け取り、実際にカメラから見える風景の3次元CGを生成する。3次元CGの視点位置および視線方向は、上記の説明と同様にして求められる。
【0053】
また、セレクタ23001により、風景の映像を実写画像と3次元CGとの間で切り替えられるようにして、画像入力処理21006からの実写画像と風景CG生成処理22901からのCGとを切り替えて、画像重ね合わせ処理21008に画像データを渡す構成とする。風景画像として実写画像とCGとを容易に切り替えられるようにすることで、計算機やネットワーク負荷を減らしたい場合には実写画像を用い、また、夜間や雨,霧のときなど、実写画像がよく見えない場合にはCGを用いる、といった使い分けが可能となる。
【産業上の利用可能性】
【0054】
本発明を、携帯端末に用いることにより、実写画像とCG画像を組み合わせた直感的に分かり易い案内表示を行うことにより、使い易い経路案内システムを実現することができる。
【図面の簡単な説明】
【0055】
【図1】本発明を用いたナビゲーション装置のブロック図である。
【図2】本発明を用いたナビゲーション装置の外観図である。
【図3】端末の姿勢検知手段の一例である。
【図4】姿勢と表示対象量の関係を示す図である。
【図5】姿勢変化による表示変化の例である。
【図6】表示対象量を地図に重ねて表示する場合の表示画面の例である。
【図7】画面を動かした場合の表示例である。
【図8】通信回線を利用して表示対象の情報を取得する場合のブロック図である。
【図9】バスの位置を三次元的に取得して表示した場合の表示例である。
【図10】カメラ付き携帯端末を示す図である。
【図11】カメラの向きが変更可能なカメラ付き携帯端末を示す図である。
【図12】本発明を用いたナビゲーションシステムのブロック図である。
【図13】ナビゲーションを行う経路を示す地図である。
【図14】ナビゲーションの経路表示例である。
【図15】歩行者が前進した場合の表示例である。
【図16】歩行者がさらに前進し、端末を左に向けた場合の表示例である。
【図17】本発明を用いた携帯端末のハードウェアの構成例である。
【図18】ナビゲーションシステムで風景CG画像を用いる場合のブロック図である。
【符号の説明】
【0056】
10201…表示対象量の検出手段、10202…提示用形状姿勢生成手段、10203…表示画像生成手段、10204…姿勢検知手段、10205…視線ベクトル算出手段、
11301…発話文生成手段、11302…発話音声生成手段、17001…地理情報データベース、17003…位置検知手段、27004…カメラ視線ベクトル算出手段、
27005…カメラ画像入力手段、27006…表示画像合成手段、27007…カメラ回転角取得手段、27008…経路探索手段、27009…描画用地理・経路データ生成手段。
【技術分野】
【0001】
本発明は、ナビゲーションシステムに係り、特に携帯端末を用いて歩行者の経路誘導を行うシステムに関する。
【背景技術】
【0002】
直感的に分かり易いナビゲーションシステムを実現するため、任意の視点から3次元地図を眺めたときに得られる投影図を表示画面に表示する3次元地図表示のナビゲーション技術がある。そのような技術は、たとえば、特開2003−232639号公報で開示されている。3次元地図表示のナビゲーション装置を実現した場合、視点位置によっては、注目すべき地図構成物が他の地図構成物に隠れて表示されなくなることがある。このため、現在地や目的地、あるいは現在地と目的地とを結ぶ経路等、ユーザが知りたい情報が表示画面に表示されなくなることがあるという問題がある。前記公報では、公報で開示の技術により、地図構成物に隠れる位置にある情報を表示画面に表示することができる3次元地図表示を実現した地図表示装置及びナビゲーション装置を提供することを目的としている。
【0003】
また、直感的に分かり易いナビゲーションシステムを実現する別の方法として、実写画像とナビゲーションのためのCG画像とを重ね合わせ表示する複合現実感(Mixed Reality)と呼ばれる技術がある。
【0004】
さらに、特開平11−108684号公報で開示された技術は、自動車のノーズ等に取り付けた撮像カメラで進行方向の景色を撮像し、この背景画像に対して画像合成部によりナビゲーション情報要素を重ね合せて表示するというものである。これにより、グラフィックの表示だけに頼るより、運転者等は自動車の現在位置や進行経路等をより感覚的に把握できるようになることを狙っている。
【0005】
【特許文献1】特開2003−232639号公報
【特許文献2】特開平11−108684号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
本発明は、直感的に分かり易いナビゲーションシステムを提供することを目的としている。ナビゲーションの例として歩行者について考えると、歩行者に直感的に分かり易いナビゲーションを提供するためには、歩行者が見るであろう現実世界の画像とナビゲーション画像との対応が直感的に取りやすければよいと考えられる。このため、本発明では、単に地理情報データベースにアクセスできるだけでなく、端末(スクリーン)の姿勢を検知し、端末がどのような姿勢にあろうとも、端末のスクリーンには歩行者が見るであろう現実世界に即したナビゲーション画像を表示することが必要である。
【0007】
また、より直感的な案内を行うために、現実世界に即したCGを生成だけではなく、現実世界そのものの映像(実写画像)をカメラにより得て、この実写画像上に経路などのナビゲーションのためのCG画像を重ね合わせて表示する。この場合、カメラ付きの携帯端末は、歩行者の手に持って操作されることから、実写画像とCG画像とを正確に重ね合わせるためには、カメラ姿勢やスクリーンの姿勢の検知が重要となる。しかしながら、特開2003−232639号公報で開示の技術では、表示画面をすべてCG画像で表現しており、カメラ姿勢の検知が不要であった。また特開平11−108684号公報の技術を携帯型のナビゲーション端末に適用した場合、位置検知は行っているがカメラの姿勢検知を行っていないため、携帯型のカメラ付き端末で撮影した実写画像とCG画像とがずれてしまうという問題がある。
【0008】
一方、従来知られている拡張現実感技術によっては、地理情報データベースへの利用は必ずしも十分ではなく、ナビゲーションという領域においては、拡張現実感技術が十分応用されてきたとはいい難い。
【0009】
本発明では、携帯情報端末を用いたナビゲーションシステムにおいて、地理情報データベースにアクセスし、携帯情報端末の姿勢を検知し、それらの情報を利用して端末利用者が実際に目にしている風景に即した案内のためのCG画像を生成することを目的とする。また、カメラ付きの携帯情報端末において、地理情報データベースにアクセスし、携帯情報端末及びカメラの姿勢を検知し、実写画像と案内のためのCG画像とを正確に重ね合わせ表示することにより、直感的に分かり易いナビゲーションを実現することを目的とする。
【課題を解決するための手段】
【0010】
本発明では、課題を解決するため、従来の位置検知手段に加え、姿勢検知手段と、地理情報データベースアクセス手段を備えており、利用者が見ている現実世界に即した経路案内のCG生成手段を備えている。更にカメラとカメラの姿勢検知手段を備えており、利用者が向けている現実世界とカメラで撮影している入力画像とCG画像との正確な重ね合わせを実現している。
【発明の効果】
【0011】
本発明の技術により、携帯型のカメラ付き情報機器端末であっても、カメラで撮影した実写画像とCG画像との自然な重ね合わせを実現するとともに、地理情報データベースを活用することにより、直感的に分かり易いナビゲーションシステムの実現を可能とする。
【発明を実施するための最良の形態】
【0012】
本発明を用いたナビゲーションシステムの実施の形態を、図面を参照して説明する。
【実施例1】
【0013】
図1は本発明を用いたナビゲーション装置の全体構成を表す図である。本ナビゲーション装置は、姿勢検知手段10204により端末の姿勢を検知し、その検知量をもとにナビゲーション装置に設けられたスクリーンに垂直な視線ベクトルを算出する視線ベクトル算出手段10205と、表示対象量の検出手段10201及びその検出量を表示するための表示対象の提示用形状及び姿勢を求める提示用形状姿勢生成手段10202,提示用形状姿勢生成手段10202により生成された形状を10205で算出した視線ベクトルを用いて表示画像を表示する表示画像生成手段10203により構成される。
【0014】
次に、図1の動きを、図2の本発明を用いたナビゲーション装置として用いる端末の外観図、図3の端末の姿勢検知手段の動作例、及び、図4の視線と表示対象量の関係を示す図を用いて説明する。表示対象量として本実施形態では磁北を示すベクトル(水平面に平行な磁北を示すベクトル、例えば10007のように方位磁石が指し示すベクトルである)を、端末の姿勢を様々に変化させた場合に、端末10005に取り付けられた表示用の画面(スクリーン)10003を覗き窓として方位磁石10007を可視化したような表示を行う例を説明する。
【0015】
本実施例における端末10005はアプリケーションプログラムが動作する携帯電話の外観を示しているが、PDAや表示画面が付いた腕時計など、形状を表示可能なスクリーン10003とアプリケーションプログラムが動作する端末であればどのような形態でもかまわない。
【0016】
端末10005には姿勢を検知する姿勢検知手段10204が内蔵されている。この姿勢検知手段10204を使いスクリーンの姿勢を検知する。姿勢検知の一例を図3を用いて説明する。姿勢検知手段10204は、加速度センサと磁気センサを備えており、スクリーン10003に取り付けられているものとする。重力ベクトル10304は例えば3軸の加速度センサを用いて求める。重力加速度は静止状態であれば1Gであり、水平面
10303に垂直な成分となっている。スクリーン10003が傾斜することにより、各加速度センサからは、重力ベクトル10304と各々の加速度センサのなす角に比例した出力量が出力される。従って、各センサの成分量からスクリーン10003が受けている重力ベクトル10304を求める事が出来る。つまり、この重力ベクトルの成分は、スクリーン10003の傾きを示している。
【0017】
次に、スクリーン10003の向いている方向を決定するために地磁気ベクトルを利用する。地磁気ベクトル10302は、磁北ベクトル(10306)方向に向かって伏角
(10305)で水平面10303に向いている。地磁気ベクトル10302は3軸の磁気センサを用いて観測することが出来る。
【0018】
従って、先ほどの重力ベクトル10304と地磁気ベクトル10302を用いることにより、スクリーン10003の傾きと向いている絶対方位を検知する事が出来るので、スクリーン10003の絶対姿勢(傾きと方位)を検知することが出来る。スクリーン
10003の姿勢が検知できればこのスクリーンに垂直な視線ベクトル10002を求める事ができる。この演算はスクリーンに垂直な視線ベクトル算出手段10205を用いて行う。
【0019】
次に、表示対象量の検出手段10201について説明する。本実施例では表示対象量として磁北ベクトルを例に取っているため、表示対象量の検出手段10201では磁気センサの出力を用いる。この磁気センサの出力はスクリーン10003の姿勢を検知した磁気センサの出力をそのまま利用する事ができる。図3で磁北ベクトル10306は、水平面10303に地磁気ベクトル10302を投影することにより求める事が出来る。この投影計算は表示対象の提示用形状とその姿勢を求める提示用形状姿勢生成手段10202で行う。ここで言う提示用形状とは、磁北ベクトルの指し示す方向を分かり易く表示する形状の事であり、図2では三角錐10008をその形状としている。また提示用形状の姿勢とは磁北ベクトルの方向であり、上記投影手法により求める事ができる。無論、提示用形状として三角錐以外の例えば矢印や人の指し示す指などを用いてもかまわない。これらの提示用形状を地磁気ベクトル10302と同じ方向にスクリーン上で座標変換する。
【0020】
視線ベクトル10002と表示対象量10008の姿勢をもとにスクリーン10003に表示させる手法については、図4を用いて説明する。表示対象量10008などを配置する際のワールド座標系10401と、表示対象量10008などを表示する際のスクリーン座標系10004がある。視点位置は、スクリーン座標系10004でスクリーンに垂直で原点を通る視線ベクトル10002上にあり、注視点はワールド座標系10401における表示対象量10008の位置とする。従って、表示対象量10008の位置をスクリーン座標系10004に対する視点位置からの透視変換する事により、表示対象量
10008のスクリーン10003における提示用形状が求まり、スクリーン10003の姿勢を変化させることにより、表示対象量10008の提示用形状の表示が変化する。
【0021】
図5にその表示の一例と視点の位置を示す。視線10506はスクリーン10003に対して垂直方向が東を向いた状態である。この場合、表示対象量10008は左を指しているように表示され、北がスクリーン10003に対して左側である事を示す。視線
10505は、スクリーン10003を垂直に立て、ほぼ北北東の方向を向けた状態である。この場合、表示対象量10008は僅かに左側を向いており、北がスクリーン10003に対して僅かに左の方向であることを示している。視線10504は、スクリーン10003を地面に並行(真上から見る)にして覗いている状態である。この場合は真上から見た時の北の方向表示される。このように、様々な姿勢でも表示対象量10008(地磁気ベクトル10302)を直接可視化することが出来るので、直感的に表示対象量10008の指し示す方向を理解する事が出来る。
【0022】
なお、本実施形態では表示対象量10008として地磁気ベクトル10302を描画する例を説明したが、表示対象量10008として水平面10303の傾きを表す事も可能であるし、地磁気ベクトル10302を表す事も可能である。その他、その位置における場の状態を表現する手段として本実施形態は適用できる。
【0023】
次に、地理情報データベース17001と端末の位置検知手段17003を用いて、現在位置を基準として地理情報及び表示対象量10008を表示する方法について説明する。図1の端末の位置検知手段17003は、例えばGPSや無線LANの基地局情報,携帯電話の基地局情報,地面や壁・物などに取り付けられたRFIDの情報などを用いて位置を検知する。ここで検知する位置情報は、経度・緯度・高さで表す地理座標の値やX,Y,Zで表す3次元直交座標系でもかまわない。高さに関しては、楕円体高・標高・フロアーの階数などの値でもかまわない。高さの観測には位置検出手段と併用して高度計などを利用してもかまわない。図1に示す構成だけでは表示対象量10008の場の状態だけを検知していたが、位置検知手段17003で位置情報を検知することにより、端末が地理上の何処の位置に存在するかが判るようになる。
【0024】
地理情報データベース17001には、道路データや建物データ、店舗の位置や営業時間など地理情報に関する様々なデータが格納されている。このデータを可視化出来るように形状データに変換するのが描画用地理データ生成手段17002である。位置検知手段17003の情報をもとに描画用地理データ生成手段17002で周囲の地理情報を形状データに変換しで描画すると、図6に示すように端末の位置10703を中心にスクリーン10003の上端を北にして周囲の地理情報10702を描画することが出来る。また、図2で説明した手法により、表示対象量(この例では磁北ベクトル)を3次元的に可視化した形状10701を重ねて表示することが出来る。この磁北ベクトルを示す形状
10701は、スクリーン10003の傾斜に応じて覗き窓から見るように可視化した画像であり、端末の位置10703の情報と磁北ベクトル10701の状況を3次元的に可視化することにより直感的に端末の位置と磁北ベクトルの状況を理解出来る特徴がある。
【0025】
また、地理情報10702の画面に対する表示方向は固定(北が上)であったが、視線ベクトル算出手段10205によりスクリーン10003に垂直な視線方向を検知することにより、スクリーン10003に垂直な視線方向が向いている方位が上になるように地図を端末の位置10703を中心に回転して表示する事も可能である。この場合、自分の向いている方向を上とした地理情報を描画することが出来るために更に直感的に理解出来る地理情報を提示する事が可能になる。
【0026】
図7(a)は、図13における水平面10303と同じ位置に地理情報の画像を配置して描画した例である。水平面の状態は視線ベクトル算出手段10205で視線ベクトル
10002を演算する際に算出されるスクリーン10003に対する水平面の位置関係を利用して検知する。この水平面に描画用地理データ生成手段17002で生成した描画用地理データを重ね合わせることにより、スクリーン10003から覗いた時に見える地理情報(実世界と等価)を画面上に生成することが出来る。図7(a)はスクリーン10003を垂直にして覗いた状態を現す画面である。地理情報10801が遠近法で描かれて奥行きとして知覚することができる。図7(b)は図7(a)のスクリーン10003を右方向に回転した例である。回転に応じて水平面の位置も変化し、現実世界の水平面と平行になるように地理情報10801は描かれる。図7(c)はさらにスクリーン10003を回転して真横にした状態である。この状態でも地理情報10801は現実世界の水平面と同じ位置関係に描画される。
【0027】
また、視点方向を回転した場合(例えば、北から西に見る方角を買えた場合)には水平面も11003の回転軸で回転するので方角を変えても現実世界との対応関係は崩れない。さらに、スクリーンを地面と平行にして地面方向を覗くような動作を行った場合であっても水平面は追従するので真上から覗いた映像、例えば図6の描画画像10702のように真上から覗いた地理情報の映像を生成することが出来る。従って、スクリーン10003をいかなる方向に回転しても現実世界と対応が取れた地理情報を提供できるために直感的に理解し易い地理情報の提供が可能になる。
【0028】
また、姿勢検知手段によって、スクリーンに垂直なベクトルと重力ベクトルとが成す角が、ある一定角度以下(例えば10度以下)であることを検出した場合に、図6の様な2次元的な地図を表示し、そうでない場合には図7のような3次元的な地図を表示するということも可能である。この場合、図6のような地図を描画するためには、端末の位置検出手段において視点の高さを実際よりも高くし(例えば高度100mなど)、スクリーンに垂直な視線ベクトルの算出手段において、視線ベクトルを重力ベクトルに一致するとすればよい。
【0029】
情報提供手段として画像情報以外に音声を併用したり、あるいは単独で音声を利用して提示するために、発話文生成手段11301,発話音声生成手段11302を用いる。発話文生成手段11301は、提示用形状姿勢生成手段10202及び視線ベクトル算出手段10205より導かれるスクリーンと表示対象量の関係(図6における表示対象量を3次元的に可視化した形状10701)を発話文に変換する。例えば、スクリーンが図6のような姿勢で表示対象量が10701のように向いている場合には「画面の左上の奥行き方向が北を指しています」などと発話文を生成する。作られた発話文は発話音声生成手段11302を用いて音声信号に変換され、スピーカやイヤフォンを介して音として出力される。
【0030】
また、表示対象量ではなくスクリーン10003の姿勢に応じて、そこに表示されている地理情報を地理情報データベース17001と視線ベクトルの関係により、発話文生成手段11301で発話文を生成することも可能である。例えば、図6に表示されているような画像が表示された場合、「右にあるビルは○△ビルです。左のビルは□×ビルです。」のような発話文が11301で生成され11302を用いて音声として出力される。なお、前記実施例では、スクリーンに垂直な視線ベクトルを基準にしたが、端末の特定の方向を指すベクトル、例えば携帯電話であればアンテナの指し示す方向を基準にして音声を発話させてもかまわない。この場合、アンテナの指し示す方向のビルの名前や山の名前などを画面を見ないで音声だけで案内することが可能になる。
【0031】
これまで姿勢検知手段10204及び表示対象の検出手段10201は端末に内蔵する事を前提に説明したが、外部にアタッチメント形式で取り付けられるようにしてもかまわない。この場合、スクリーンの姿勢とアタッチメントの姿勢や取り付け位置関係を定義することによって同様の構成で実現可能である。
【0032】
次に、表示対象(目標対象物)が端末自体では検出できず通信回線を利用して表示目標対象の情報を取得して表示する実施形態を図8を用いて説明する。この実施例の変形では、目標対象物の位置姿勢検知手段11404,通信手段11402,11403,目標対象物の位置姿勢検知手段11404は検出手段10201と同様に目標物の位置や姿勢・状態を検知するセンサである。このセンサを用いて目標物の位置情報(高さも含む)や姿勢などを検知した情報を、通信手段11402,11403を介して目標対象物の形状姿勢生成手段11401へ送る。目標対象物の形状姿勢生成手段11401では、目標対象物の位置姿勢検知手段11404で検知した量を図形表示するための変換を行い、端末
(スクリーン10003)の姿勢を考慮して10203の表示画像の生成方法で描画される。
【0033】
例えば目標対象物として路線バスを採用した場合、目標対象物の位置姿勢検知手段
11404ではバスの現在位置を検知する。バスの現在位置は例えばGPSなどを用いて検出可能である。この現在位置情報を通信手段11403,11402を介して端末
10005へ送信する。端末10005の位置は端末の位置検知手段17003で検知し、スクリーンの姿勢は10205で検知できるので、端末のスクリーン10003をバスが走行している方向に向ければ、図9に示すようにバスの現在位置11501が3次元的に把握できる。11502はバスのID情報などをもとに行き先を表示している。スクリーン10003の姿勢を検知しているので端末をどのような姿勢にしても、そのスクリーンの視界に入っていればバスの位置と方向を把握できる。図9では目標対象物としてバスを表示したが、目標対象物として待ち合わせをしている人を描画する場合でも同様の手法で実現できる。これにより待ち合わせの人が今どちらの方向に居て、どの程度離れているかを直感的に把握できる。
【実施例2】
【0034】
実施例1では、ナビゲーション端末の利用者が目にしている現実世界をCGにより生成して経路の案内を行っていた。本実施例では、ナビゲーション端末の利用者が目にしている現実世界を、端末に付属するカメラにより撮影し、それと経路案内のCGを重ね合わせて経路誘導を行う。
【0035】
図10はカメラ付きの携帯端末の例として携帯電話を示した図である。携帯電話20105にはカメラ20009が内蔵または接続されており、撮影された画像はスクリーン10003に表示される。カメラの撮影する方向のベクトル(視線ベクトル)20010とスクリーンに垂直なベクトル20011の関係は予め判っているものとする。携帯電話20105には姿勢を検知する姿勢検知手段10204が内蔵されている。この姿勢検知手段10204を使いスクリーンの姿勢を検知する。図10では、カメラがスクリーンの上部に取り付けられているものとしているが、カメラの撮影方向はスクリーンを覗き込む端末利用者の視線と同じ方向を向いている。
【0036】
カメラの取り付け方の別な例として、カメラの向きを変更できるものが考えられる。そのような構成例を図11に示す。図11は、カメラが回転可能な取り付けをされている例である。この図では、カメラ20009は、端末の折りたたみ蝶番部分に取り付けられており、折りたたみ部を軸として回転角変更できるようになっている。ここでカメラの回転角20014は、図11におけるスクリーンに垂直なベクトル20011を基準としてみたカメラの視線ベクトル20012の回転角θであると定義する。ここで、カメラの視線ベクトルとはカメラのレンズの光軸方向に平行で、レンズの全面に向いたベクトルを意味する。本端末はこのθを計測することが可能となっており、端末利用者が手でカメラを回した場合においても、スクリーンとカメラの視線ベクトルの関係が計測できるようになっている。
【0037】
次に図12を用いてナビゲーションシステムの動作について説明する。図12のシステムでは、実施例1の図1のシステムに加えて、カメラ視線ベクトル算出手段27004,カメラ画像入力手段27005,表示画像合成手段27006,カメラ回転角取得手段
27007,経路探索手段27008、を備えている。また図1の描画用地理データ生成手段17002に代わって、描画用地理・経路データ生成手段27009を備えている。
【0038】
カメラ回転角取得手段27007は、携帯端末上のカメラの回転角を得て、その情報をカメラの視線ベクトル算出手段27004に伝える。ここでカメラの回転角とは、図11におけるベクトル20011を基準としてみたカメラの視線ベクトル20012の回転角θ20014である。図10のようにカメラと携帯端末の姿勢との関係が一定の場合には、カメラ回転角取得手段27007は回転角0度を出力し続けるものとする。カメラ視線ベクトル算出手段27004は、カメラの回転角の情報を受け取るとともに、カメラの画角及びレンズの歪みの情報を視線ベクトル算出手段27004内にデータベースとして保持しており、CGを投影する時に必要な画角,レンズの歪み等のカメラパラメータを表示画像生成手段10203に出力する。
【0039】
カメラ画像入力手段27005は、携帯端末に付属するカメラからの画像を連続して取得し、また、表示画像合成手段27006に連続的に(ストリーミングで)出力する。表示画像合成手段27006は、表示画像生成手段10203からナビゲーションのためのCG画像を受け取り、カメラ画像入力手段27005から受け取ったカメラからの入力画像にCGの画像を重ね合わせ処理して、携帯端末のスクリーン上に表示する。
【0040】
経路探索手段27008には、歩行者が予め設定する出発地点,目的地,経由地,交通手段(バス,電車,飛行機,船等)の情報が保持されており、また、それらの情報をもとに、地理情報データベース17001にアクセスを行うことで歩行者の誘導経路の探索を行い、探索した結果は経路探索手段27008内に保持する。また経路探索手段27008は、描画用地理・経路データ生成手段27009の要求に応じて、予め探索してある案内経路を三次元座標のデータ列として出力する。
【0041】
描画用地理・経路データ生成手段27009は、地理情報データベース17001に格納されている道路データや建物データ,店舗の位置データなどの地理情報を可視化するとともに、経路探索手段27008が出力する3次元座標のデータ列をもとに案内経路を3次元的なCGとして表現する。またその際、カメラ視線ベクトル算出手段27004からカメラの画角やレンズの歪みなどカメラパラメータの情報を受け取り、そのパラメータ情報をもとにカメラ画像に一致するCG画像を生成する。また表示対象の提示用形状姿勢生成手段27010でも、カメラ視線ベクトル算出手段27004からカメラの画角やレンズの歪みなどカメラパラメータの情報を受け取り、そのパラメータ情報をもとに、カメラ画像に一致するような表示対象量のCG画像を生成する。
【0042】
図13は、本発明を用いたナビゲーションシステムによる経路案内の例を示すための地図である。地理情報データベース17001には、道路(車道)20412,20426や、歩道20405,20413,20424といった道路データの他、歩道橋20407,横断歩道20411,陸橋20418,線路20401,駅20402,ランドマークとなるような建物20414,20421等の施設情報や地形の三次元形状情報(緯度経度に沿って等間隔のメッシュに分割された領域の高度情報または路側の高度情報など)および交通標識の設置情報(設置位置と標識種別または表示内容)が格納されている。案内経路20423は経路探索手段27008より探索された歩行者の誘導経路を表している。また、視点20425,20494,20495はそれぞれ図14,図15,図16の視点位置と端末の方向(視線の方向)を表している。そして視点20425における視野は、見える範囲の左端20408,見える範囲の右端20417,視野の最も遠方の位置を示す円弧20420で表されている。
【0043】
図14は本実施例における経路誘導のための経路表示画面である。図13における視点20425で示された経路誘導が開始される地点において、歩行者は現在歩道に立っており、携帯電話20105を手に持っているものとする。携帯電話の表示装置には、カメラ画像入力手段27005から入力される携帯電話のカメラで撮影されている風景画像が映っており、歩行者が手を動かすとその動きに従って表示装置に写っている風景画像も動く。本実施例では画面の更新周期は100ミリ秒とする。図10に示すカメラ付き携帯電話20105を使うと、ディスプレイに対して反対方向を向いたカメラを使うことにより、ディスプレイ上に今利用者が見ている現実世界と同じ映像をディスプレイ上に写し出すことが出来る。
【0044】
図14に示す経路表示画面では、本発明を用いたナビゲーションシステムの経路表示が行われており、携帯電話20105のメインディスプレイ20511には、歩道20107,車道20426の他、交通標識20102,陸橋20418等の施設情報や、山20104や土手20110,林20101といった携帯電話20105のカメラにより撮影された画像が表示され、表示画像合成手段27006により、写っているカメラからの映像の上部には日付及び時刻表示20301,目的地までの到達予想時間20501,経由ポイントまでの到達予想時間20502が合成されて表示されている。また表示画像合成手段
27006によりカメラにより撮影されている画像に重ねて、案内経路(誘導経路)
20423を表す矢印,視野に無い建物20414の輪郭を表す表示,交差点20508を示す表示,横断歩道20411を示す点線20512が描画される。また案内経路
20423についても、視野の範囲外となる部分、および地形の三次元形状情報に基づき視点位置から見て陰面となる範囲を通過する部分については点線で描画される。
【0045】
案内経路20423を表す矢印の描画においては、矢印の先端の間隔が一定の歩行距離を表していて、本実施例では1分とする。視野に入っている案内経路20423の一部は実線3本で表現されている。案内経路20423は、歩行者の位置に近い部分から遠方にいくにつれて、その3本の間隔を狭く表示して奥行きを表現している。これは表示画像生成手段10203における表示変換処理(透視変換処理)により行われる。交差点を示す表示20508は視野外にあるT字路の案内経路20423における誘導交差点の輪郭を線画で表している。また点線20512は視野外にある誘導交差点に設けられた横断歩道20411の存在を示していて、案内経路20423によりT字路で左折することが表されている。なお、案内経路20423上のどの交差点が誘導交差点となるかは、経路探索手段27008により案内経路が探索された時に決定される。図14で表示されている視野よりも、歩行者から見て携帯電話を左方向に向けた場合、ディスプレイに表示されているカメラの画像は携帯電話の向きの変化に連動して変化し、これと共にカメラ画像に重ねて描画される経路のCG画像も変化する。
【0046】
図14に示した画面の誘導に従い、歩行者が更に遠方の地点まで経路上を前進した場合のナビゲーションシステムの表示を図15,図16に示す。図15は、図13の視点
20494の位置における視野で見える経路のCG画像を表示した画面であり、図16は視点20495の位置に居て、図15よりも歩行者から見て携帯を左方向に向けた視野で見える経路のCG画像を表示した画面である。図15においては、視点20425の視野では周囲の地形により隠されていて波線で描画されていた案内経路20423が実線で描画されている。視点20425の視野外にあった横断歩道20411や建物20414の点線表示は消え、カメラの映像だけになっている。
【0047】
また図16においては、視点20495において周囲の地形により隠される歩道橋
20407の一部がCG画像により点線20803で補われている。同様にして、案内経路20423が周囲の地形により隠されている部分についても点線により描画されている。但し、木立や林などの植生20806によって隠れる部分については、地形の三次元形状情報からは案内経路が陰面に存在することが判定できないため、実線で描画されてしまう。さらに、誘導交差点ではない路地などとの交差点については、その存在を示す簡単な線画2080のみが描画される。そして、案内経路の目的地である駅20402については、その存在を強調するためにマーク20802を重ねて描画される。
【0048】
図17は、本発明を用いたナビゲーションシステム(携帯電話)のハードウェア構成を示す図である。携帯電話20105は、システムバス20902で互いに接続された、リードオンリーメモリ(ROM)20901,ランダムアクセスメモリ(RAM)20903,中央演算処理回路(CPU)20904,画像入力回路20905,圧力センサ
20918がつながったアナログディジタル変換回路(A/D)20912とディジタルアナログ変換回路(D/A)20913、及び加速度センサ20914,方位センサ
20915,角速度センサ20916,グローバルポジショニングシステム信号受信器
(GPS)20917等のセンサが接続されたシリアルインタフェース(SCI1) 20910と外部の機器と通信するためのシリアルインタフェース(SCI2)20911,通信モジュール20919とこれに接続されたアンテナ20920から構成される。
【0049】
CPU20904はナビゲーションシステム全体の動作を司り、ROM20901にはナビゲーションシステムの動作に必要な基本的なプログラムが納められている。さらに追加で必要なプログラムは、通信モジュール20919を通じ、RAM20903に必要に応じてダウンロードする。またRAM20903には、実行時に必要な一時データも格納される。加速度センサ20914,方位センサ20915,角速度センサ20916,
GPS20917からの情報は、シリアルインタフェース20910を経由してCPU
20904で処理される。圧力センサ20918の情報は、アナログディジタル変換回路20912を経由してCPU20904で処理される。またディジタルアナログ変換回路20913から圧力センサ20918に出力されるアナログ信号により、圧力センサのオフセット値及び増幅率が決定される。これにより、少ない量子化数で広いレンジを高精度にサンプリングすることができる。
【0050】
加速度センサ20914によって、携帯端末静止時には、重力加速度を検出することにより、携帯端末の傾きに関する情報を得ることができる。この加速度センサは3軸のセンサであるとする。また、加速度センサ20914によって携帯電話の上下動の周波数を計測することで、この携帯電話を持っている人の歩行速度を概算することができる。方位センサ20915から得られる情報と加速度センサ20914から得られる情報を組み合わせることにより、端末のカメラが向いている方位の情報を得ることができる。角速度センサと方位センサの情報を組み合わせることにより、方位の乱れを補整することができる。GPS20917により、絶対的な緯度経度の情報を得ることができる。
【0051】
以上、本実施例の説明では、実写画像と主として経路CG画像の重ね合わせについて説明した。しかしながら、実写画像の代わりに風景CG画像を用いることも可能である。その場合、実施例1に経路案内機能が付加されたことになり、フルCGでの経路案内も可能である。
【0052】
図18に、経路CG画像を風景CG画像に重ね合わせる場合のシステムの構成例を示す。風景CG生成処理22901は、GIS情報21001,位置検知処理21003,姿勢検知処理21004から情報を受け取り、実際にカメラから見える風景の3次元CGを生成する。3次元CGの視点位置および視線方向は、上記の説明と同様にして求められる。
【0053】
また、セレクタ23001により、風景の映像を実写画像と3次元CGとの間で切り替えられるようにして、画像入力処理21006からの実写画像と風景CG生成処理22901からのCGとを切り替えて、画像重ね合わせ処理21008に画像データを渡す構成とする。風景画像として実写画像とCGとを容易に切り替えられるようにすることで、計算機やネットワーク負荷を減らしたい場合には実写画像を用い、また、夜間や雨,霧のときなど、実写画像がよく見えない場合にはCGを用いる、といった使い分けが可能となる。
【産業上の利用可能性】
【0054】
本発明を、携帯端末に用いることにより、実写画像とCG画像を組み合わせた直感的に分かり易い案内表示を行うことにより、使い易い経路案内システムを実現することができる。
【図面の簡単な説明】
【0055】
【図1】本発明を用いたナビゲーション装置のブロック図である。
【図2】本発明を用いたナビゲーション装置の外観図である。
【図3】端末の姿勢検知手段の一例である。
【図4】姿勢と表示対象量の関係を示す図である。
【図5】姿勢変化による表示変化の例である。
【図6】表示対象量を地図に重ねて表示する場合の表示画面の例である。
【図7】画面を動かした場合の表示例である。
【図8】通信回線を利用して表示対象の情報を取得する場合のブロック図である。
【図9】バスの位置を三次元的に取得して表示した場合の表示例である。
【図10】カメラ付き携帯端末を示す図である。
【図11】カメラの向きが変更可能なカメラ付き携帯端末を示す図である。
【図12】本発明を用いたナビゲーションシステムのブロック図である。
【図13】ナビゲーションを行う経路を示す地図である。
【図14】ナビゲーションの経路表示例である。
【図15】歩行者が前進した場合の表示例である。
【図16】歩行者がさらに前進し、端末を左に向けた場合の表示例である。
【図17】本発明を用いた携帯端末のハードウェアの構成例である。
【図18】ナビゲーションシステムで風景CG画像を用いる場合のブロック図である。
【符号の説明】
【0056】
10201…表示対象量の検出手段、10202…提示用形状姿勢生成手段、10203…表示画像生成手段、10204…姿勢検知手段、10205…視線ベクトル算出手段、
11301…発話文生成手段、11302…発話音声生成手段、17001…地理情報データベース、17003…位置検知手段、27004…カメラ視線ベクトル算出手段、
27005…カメラ画像入力手段、27006…表示画像合成手段、27007…カメラ回転角取得手段、27008…経路探索手段、27009…描画用地理・経路データ生成手段。
【特許請求の範囲】
【請求項1】
位置検知手段と表示手段とを備えた端末装置において、
地形の三次元形状情報を格納した地理情報記憶手段と、
端末装置の姿勢を検出する姿勢検知手段と、
該姿勢検知手段により求められた姿勢情報に基づいて、端末に備わった前記表示手段に垂直方向のベクトル情報を求め、前記位置検出手段により求められる現在位置と該ベクトル情報により定められる視線の情報と前記地理情報記憶手段の三次元形状情報から該視点における三次元地形画像を作成する画像生成手段を備え、
端末の姿勢を変化させた場合には、その姿勢変化に追従して前記表示手段上の三次元地形画像を更新すること
を特徴とする端末装置。
【請求項2】
画像入力のためのカメラと位置検知手段と表示手段とを備える端末装置において、
地形の三次元形状情報を格納した地理情報記憶手段と、
端末装置の姿勢を検出する姿勢検知手段と、
該姿勢検知手段により求められた姿勢情報に基づいて、端末に備わった前記表示手段に垂直方向のベクトル情報を求め、前記位置検出手段により求められる現在位置と該ベクトル情報により定められる視線の情報と前記地理情報記憶手段の三次元形状情報から該視点における三次元地形画像を作成する画像生成手段と、
前記カメラからの画像に前記三次元地形画像を重ね合わせる画像合成手段を備え、
端末装置の姿勢を変化させた場合には、その姿勢変化に追従して前記カメラからの画像に重ね合わせる三次元地形画像を更新すること
を特徴とする端末装置。
【請求項3】
請求項2の端末装置において、
前記表示手段に垂直方向のベクトルに対するカメラの光軸方向の変更量を検出する手段を備え、
前記画像生成手段において三次元地形画像を作成する際には、前記視線の情報を前記検出した変化量で補正し、
前記カメラの取り付け方向または位置を変更した場合にでも、前記表示手段の表示における前記カメラからの画像と該画像に重ね合わせる三次元地形画像とが一致するようにしたことを特徴とする端末装置。
【請求項4】
画像入力のためのカメラと位置検知手段と経路探索手段と表示手段とを備えるナビゲーション装置において、
地形の三次元形状情報を格納した地理情報記憶手段と、
ナビゲーション装置の姿勢を検出する姿勢検知手段と、
該姿勢検知手段により求められた姿勢情報に基づいて、端末に備わった前記表示手段に垂直方向のベクトル情報を求め、前記位置検出手段により求められる現在位置と該ベクトル情報により定められる視線の情報と前記地理情報記憶手段の三次元形状情報から、該視点における前記経路探索手段により求められた誘導経路および誘導情報の三次元形状画像を作成する画像生成手段と、
前記カメラからの画像に前記誘導経路および誘導情報の三次元形状画像を重ね合わせる画像合成手段を備え、
ナビゲーション装置の姿勢または現在位置を変化させた場合には、その変化に追従して前記カメラからの画像に重ね合わせる三次元形状画像を更新すること
を特徴とするナビゲーション装置。
【請求項5】
請求項4のナビゲーション装置において、
前記表示手段に垂直方向のベクトルに対するカメラの光軸方向の変更量を検出する手段を備え、
前記画像生成手段において三次元形状画像を作成する際には、前記視線の情報を前記検出した変化量で補正し、
前記カメラの取り付け方向または位置を変更した場合にでも、前記表示手段の表示における前記カメラからの画像と該画像に重ね合わせる三次元形状画像とが一致するようにしたことを特徴とするナビゲーション装置。
【請求項6】
請求項4のナビゲーション装置において、前記カメラによる画像の撮影範囲内に、地理情報データベースに情報が登録されている建物が存在した場合、その建物を強調表示することを特徴とするナビゲーション装置。
【請求項1】
位置検知手段と表示手段とを備えた端末装置において、
地形の三次元形状情報を格納した地理情報記憶手段と、
端末装置の姿勢を検出する姿勢検知手段と、
該姿勢検知手段により求められた姿勢情報に基づいて、端末に備わった前記表示手段に垂直方向のベクトル情報を求め、前記位置検出手段により求められる現在位置と該ベクトル情報により定められる視線の情報と前記地理情報記憶手段の三次元形状情報から該視点における三次元地形画像を作成する画像生成手段を備え、
端末の姿勢を変化させた場合には、その姿勢変化に追従して前記表示手段上の三次元地形画像を更新すること
を特徴とする端末装置。
【請求項2】
画像入力のためのカメラと位置検知手段と表示手段とを備える端末装置において、
地形の三次元形状情報を格納した地理情報記憶手段と、
端末装置の姿勢を検出する姿勢検知手段と、
該姿勢検知手段により求められた姿勢情報に基づいて、端末に備わった前記表示手段に垂直方向のベクトル情報を求め、前記位置検出手段により求められる現在位置と該ベクトル情報により定められる視線の情報と前記地理情報記憶手段の三次元形状情報から該視点における三次元地形画像を作成する画像生成手段と、
前記カメラからの画像に前記三次元地形画像を重ね合わせる画像合成手段を備え、
端末装置の姿勢を変化させた場合には、その姿勢変化に追従して前記カメラからの画像に重ね合わせる三次元地形画像を更新すること
を特徴とする端末装置。
【請求項3】
請求項2の端末装置において、
前記表示手段に垂直方向のベクトルに対するカメラの光軸方向の変更量を検出する手段を備え、
前記画像生成手段において三次元地形画像を作成する際には、前記視線の情報を前記検出した変化量で補正し、
前記カメラの取り付け方向または位置を変更した場合にでも、前記表示手段の表示における前記カメラからの画像と該画像に重ね合わせる三次元地形画像とが一致するようにしたことを特徴とする端末装置。
【請求項4】
画像入力のためのカメラと位置検知手段と経路探索手段と表示手段とを備えるナビゲーション装置において、
地形の三次元形状情報を格納した地理情報記憶手段と、
ナビゲーション装置の姿勢を検出する姿勢検知手段と、
該姿勢検知手段により求められた姿勢情報に基づいて、端末に備わった前記表示手段に垂直方向のベクトル情報を求め、前記位置検出手段により求められる現在位置と該ベクトル情報により定められる視線の情報と前記地理情報記憶手段の三次元形状情報から、該視点における前記経路探索手段により求められた誘導経路および誘導情報の三次元形状画像を作成する画像生成手段と、
前記カメラからの画像に前記誘導経路および誘導情報の三次元形状画像を重ね合わせる画像合成手段を備え、
ナビゲーション装置の姿勢または現在位置を変化させた場合には、その変化に追従して前記カメラからの画像に重ね合わせる三次元形状画像を更新すること
を特徴とするナビゲーション装置。
【請求項5】
請求項4のナビゲーション装置において、
前記表示手段に垂直方向のベクトルに対するカメラの光軸方向の変更量を検出する手段を備え、
前記画像生成手段において三次元形状画像を作成する際には、前記視線の情報を前記検出した変化量で補正し、
前記カメラの取り付け方向または位置を変更した場合にでも、前記表示手段の表示における前記カメラからの画像と該画像に重ね合わせる三次元形状画像とが一致するようにしたことを特徴とするナビゲーション装置。
【請求項6】
請求項4のナビゲーション装置において、前記カメラによる画像の撮影範囲内に、地理情報データベースに情報が登録されている建物が存在した場合、その建物を強調表示することを特徴とするナビゲーション装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2006−105640(P2006−105640A)
【公開日】平成18年4月20日(2006.4.20)
【国際特許分類】
【出願番号】特願2004−289513(P2004−289513)
【出願日】平成16年10月1日(2004.10.1)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
【公開日】平成18年4月20日(2006.4.20)
【国際特許分類】
【出願日】平成16年10月1日(2004.10.1)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
[ Back to top ]