説明

表示システム、表示方法,及び移動体

【課題】人の体験に応じた体験画像を効果的に表示することができる表示システム、表示方法、及び移動体を提供する。
【解決手段】本発明にかかる表示システムは、人移動体に搭乗したユーザの体験に応じた体験情報を表示する表示システムであって、ユーザの体験に応じた体験画像を取得するライフログ用カメラ42が設置された複数の移動体1と、体験画像を取得したときの移動体の位置情報を測定する測位手段47と、カメラによって取得された体験画像と、位置情報とを対応付けて記憶する体験情報記憶部73と、地図情報を記憶する地図情報記憶部75と、地図情報に基づいて地図を表示するとともに、位置情報に応じて前記地図上に複数の前記体験画像を表示する表示部71と、を備えるものである。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示システム、表示方法,及び移動体に関し、特に詳しくは人の体験に応じた体験画像を表示するための表示システム、表示方法,及び移動体に関する。
【背景技術】
【0002】
近年、人の体験を記憶、利用する体験メディアを構築する技術が開発されている(非特許文献1)。例えば、人の体験をデジタル化するため、体験に応じた画像を取得している。このようにすることによって、体験を通じた知識を共有化することができる。
【0003】
このような体験の記録(ログ)は、ライフログと呼ばれている(非特許文献2)。ライフログとは、体験の記録、共有をコンセプトに、映像情報に音声情報、位置情報、生体情報などを関連付けて、体験をデジタル化し、記録・共有することを目指す新しいメディアである。非特許文献2では、例えば、ウェアラブルシステム、車載カメラを用いて、ライフログが取得されている。
【0004】
【特許文献1】特表2006−502453号公報
【非特許文献1】角康之、河村竜幸、"体験メディアの構築に向けて:体験の記録・利用の技術動向"、2006年6月9日、The 20th Annual Conderence of JSAI,2006、[ONLINE]、平成20年4月15日検索、インターネット〈URL:http://www.jaist.ac.jp/jsai2006/program/pdf/100151.pdf〉
【非特許文献2】相澤清晴"ライフログの取得と処理 −ウエアラブル,ユビキタス,車−"、2005年6月17日 The 19th Annual Conderence of JSAI,2005、[ONLINE]、平成20年4月15日検索、インターネット〈URL:hthttp://www-kasm.nii.ac.jp/jsai2005/schedule/pdf/000141.pdf〉
【発明の開示】
【発明が解決しようとする課題】
【0005】
ライフログの体験画像を有効利用するためには、体験画像を効果的に表示することが望まれている。しかしながら、このようなライフログの体験画像を効果的に表示することは提案されていない。
【0006】
また、レースの体験画像を表示するシステムが特許文献1に開示されている。特許文献1のシステムでは、ビデオ(画像)、オーディオ(音声)、及びテレメトリ(位置)データが収集されている。例えば、乗員の顔や車両の前後の画像がカメラによって取得される。また、エンジン音や排気音のようなオーディオデータを収集している(段落0023)。ビーコンセンサを用いて、トラック上の車両の現在地を特定している(段落0025)。
そして、表示画面中に、トラック位置と、ユーザ視点の画像が画面上に表示される。
【0007】
しかしながら、特許文献1では、トラック上の位置を示すインジケータ・マークを表示して、そのインジケータマークの位置における画像を表示するのみである。すなわち、現在位置における画像を表示するのみであるため、移動先の情報については、視認することができない。従って、ある位置で既に取得した体験画像を他の位置では、参照することができない。さらには、他の車両のカメラで取得された画像を表示することができない。
【0008】
上記のように、人の体験に応じた体験画像を有効利用するために、効果的に表示することができないという問題点がある。
【0009】
本発明は、人の体験に応じた体験画像を効果的に表示することができる表示システム、表示方法、及び移動体を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の第1の態様にかかる表示システムは、移動体に搭乗したユーザの体験に応じた体験情報を表示する表示システムであって、ユーザの体験に応じた体験画像を取得するカメラが設置された複数の移動体と、前記体験画像を取得したときの前記移動体の位置情報を測定する測位手段と、前記カメラによって取得された体験画像と、前記位置情報とを対応付けて記憶する体験情報記憶部と、地図情報を記憶する地図情報記憶部と、前記地図情報に基づいて地図を表示するとともに、前記位置情報に応じて前記地図上に複数の前記体験画像を表示する表示部と、を備えるものである。これにより、地図上に複数の体験画像を表示することができるため、体験画像を効果的に表示することができる。
【0011】
本発明の第2の態様にかかる表示システムは、上記の表示システムであって、一連の体験における前記体験画像を含むログの検索条件を入力する入力部をさらに備え、前記検索条件に合致するログに含まれる体験画像を抽出して、前記表示部に表示するものである。これにより、所望のログに含まれる体験画像を表示することができるため、体験画像を有効利用することができる。
【0012】
本発明の第3の態様にかかる表示システムは、上記の表示システムであって、前記検索条件として、ユーザの属性が入力され、前記ユーザの属性が合致するログに含まれる体験画像を抽出して、前記表示部に表示するものである。所望のユーザが取得した体験画像を表示することができるため、体験画像を有効利用することができる。
【0013】
本発明の第4の態様にかかる表示システムは、上記の表示システムであって、前記表示部に同時に表示されている前記複数の体験画像には、異なる移動体のカメラによって取得された体験画像が含まれていることを特徴とするものである。これにより、主観的な画像だけでなく、客観的な画像を表示することができるため、体験画像を効果的に表示することができる。
【0014】
本発明の第5の態様にかかる表示システムは、上記の表示システムであって、前記表示部に表示されている地図上で特定の地点を指定することで、前記特定の地点に関する説明が表示されることを特徴とするものである。これにより、体験情報以外の情報が表示されるため、効果的な表示が可能になる。
【0015】
本発明の第6の態様にかかる表示システムは、上記の表示システムであって、前記地図が俯瞰的に表示され、前記表示部の表示画面における上下方向を時間軸として、前記表示画面における前記体験画像の位置が決定されていることを特徴とするものである。これにより、体験画像の取得位置だけでなく、取得時間についても即座に把握できるようになる。よって、より効果的な表示が可能になる。
【0016】
本発明の第7の態様にかかる表示方法は、移動体に搭乗したユーザの体験に応じた体験情報を表示する表示方法であって、複数の移動体に搭載したカメラで前記ユーザの体験に応じた体験画像を撮影するステップと、前記体験画像を取得したときの前記移動体の位置情報を測定するステップと、地図情報に基づいて地図を表示するとともに、前記位置情報に応じて前記地図上に複数の前記体験画像を表示するステップと、を備えるものである。これにより、地図上に複数の体験画像を表示することができるため、体験画像を効果的に表示することができる。
【0017】
本発明の第8の態様にかかる表示方法は、上記の表示方法であって、一連の体験における前記体験画像を含むログの検索条件を入力するステップをさらに備え、前記検索条件に合致するログに含まれる体験画像を抽出して、表示するものである。これにより、所望のログに含まれる体験画像を表示することができるため、体験画像を有効利用することができる。
【0018】
本発明の第9の態様にかかる表示方法は、上記の表示方法であって、前記検索条件として、ユーザの属性を入力して、前記ユーザの属性が合致するログに含まれる体験画像を抽出して、表示するものである。所望のユーザが取得した体験画像を表示することができるため、体験画像を有効利用することができる。
【0019】
本発明の第10の態様にかかる表示方法は、上記の表示方法であって、同時に表示されている前記複数の体験画像には、異なる移動体のカメラによって取得された体験画像が含まれていることを特徴とするものである。
【0020】
本発明の第11の態様にかかる表示方法は、上記の表示方法であって、表示されている地図上で特定の地点を指定することで、前記特定の地点に関する説明が表示されることを特徴とするものである。これにより、体験情報以外の情報が表示されるため、効果的な表示が可能になる。
【0021】
本発明の第12の態様にかかる表示方法は、上記の表示方法であって、前記地図が俯瞰的に表示され、前記表示部の表示画面における上下方向を時間軸として、前記表示画面における前記体験画像の位置が決定されていることを特徴とするものである。これにより、体験画像の取得位置だけでなく、取得時間についても即座に把握できるようになる。よって、より効果的な表示が可能になる。
【0022】
本発明の第13の態様にかかる移動体は、ユーザの体験に応じた体験画像を取得するカメラと、前記体験画像を取得したときの前記移動体の位置情報を測定する測位手段と、前記カメラによって取得された体験画像と、前記位置情報とを対応付けて記憶する体験情報記憶部と、地図情報を記憶する地図情報記憶部と、前記地図情報に基づいて地図を表示するとともに、前記位置情報に応じて前記地図上に複数の前記体験画像を表示する表示部と、を備えるものである。これにより、地図上に複数の体験画像を表示することができるため、体験画像を効果的に表示することができる。
【0023】
本発明の第14の態様にかかる移動体は、上記の移動体であって、一連の体験における前記体験画像を含むログの検索条件を入力する入力部をさらに備え、前記検索条件に合致するログに含まれる体験画像を抽出して、前記表示部に表示するものである。これにより、所望のログに含まれる体験画像を表示することができるため、体験画像を有効利用することができる。
【0024】
本発明の第15の態様にかかる移動体は、上記の移動体であって、前記体験情報記憶部には、他の移動体に搭載されたカメラで取得された体験画像が記憶され、前記他の移動体のカメラで取得した体験画像を、その位置情報に応じて前記地図上に表示するものである。所望のユーザが取得した体験画像を表示することができるため、体験画像を有効利用することができる。
【0025】
本発明の第16の態様にかかる移動体は、上記の移動体であって、前記移動体のカメラで取得した主観的な体験画像と、他の移動体のカメラで取得した客観的な体験画像を同時に前記地図上に表示するものである。これにより、客観的な体験画像を表示できるため、より効果的に表示することができる。
【0026】
本発明の第17の態様にかかる移動体は、上記の移動体であって、前記表示部に表示されている地図上で特定の地点を指定することで、前記特定の地点に関する説明が表示されることを特徴とするものである。これにより、体験情報以外の情報が表示されるため、効果的な表示が可能になる。
【0027】
本発明の第18の態様にかかる移動体は、上記の移動体であって、前記地図が俯瞰的に表示され、前記表示部の表示画面における上下方向を時間軸として、前記表示画面における前記体験画像の位置が決定されていることを特徴とするものである。これにより、体験画像の取得位置だけでなく、取得時間についても即座に把握できるようになる。よって、より効果的な表示が可能になる。
【発明の効果】
【0028】
本発明によれば、人の体験に応じた体験画像を効果的に表示することができる表示システム、表示方法、及び移動体を提供することができる。
【発明を実施するための最良の形態】
【0029】
本実施の形態にかかる表示システムについて図1を用いて説明する。図1は、本実施の形態にかかる表示システム100の構成を模式的に示す図である。表示システム100は、ユーザが体験した画像や音などの体験情報を出力するためのシステムである。表示システム100は、移動体1とサーバ装置2を有している。図1では、3台の移動体1が示されているが、移動体1の数は特に限定されるものではない。すなわち、1台以上の移動体1が設けられていればよい。また、複数ユーザ間における体験情報の共有化という観点から、移動体1を複数設けることが好ましい。もちろん、1台の移動体1に異なるユーザが搭乗して、体験情報を共有化してもよい。移動体1は、ライフログを作成するための体験情報を取得する。ライフログとは、体験の記録、共有をコンセプトに、映像情報に音声情報、位置情報、生体情報などを関連付けて、体験をデジタル化し、記録・共有することを目指す新しいメディアである。
【0030】
移動体1は、ユーザが搭乗可能な移動手段である。移動体1としては、例えば、パーソナルモビリティ、自動車を用いることができる。移動体1は、一人乗りのパーソナルモビリティであることが好ましい。パーソナルモビリティとしては、例えば、トヨタ自動車株式会社製のPM、i―REAL、i―swing、i―unit、i−footが挙げられる。もちろん、移動体1の構成に付いては特に限定されるものではなく、上記以外の移動体であってもよい。移動体1は、搭乗者であるユーザの体験に応じた体験情報を取得する。移動体1には、カメラやマイクが設けられており、移動体1周辺における風景と音が記録される。これらの画像や音のデータを収集することで、ライフログを作成することができる。すなわち、ライフログ用のコンテンツとして、画像データや音データが取得される。
【0031】
移動体1はサーバー装置2と通信する。無線通信によって、移動体1で取得した体験情報などの必要なデータがサーバ装置に送信される。そして、サーバ装置2は、移動体1からの体験情報のデータを記憶する。サーバ装置2は、複数の移動体1からの体験情報のデータを時系列に沿って蓄積していく。さらに、サーバ装置2は、移動体1に搭乗しているユーザからの求めに応じて、蓄積したデータを、移動体1に送信する。このように、サーバ装置2と移動体1の間で、データの送受信が行われる。また、サーバー装置2と移動体1とがインターネットなどの通信網を介して接続されていてもよい。すなわち、既存のネットワークを介して、データの送受信を行ってもよい。
【0032】
さらに、移動体1はお互いの画像を取得することができる。すなわち、移動体1が他の移動体1の近傍を移動している場合、移動体1が他の移動体1の画像を取得する。これにより、他の移動体1の客観的な体験情報が取得される。
【0033】
本実施の形態にかかる移動体1について、図2、及び図3を用いて説明する。図2は、移動体1の構成を模式的に示す図である。図3は、図2に示す移動体1を側方から見た様子を示す図である。図3では、左側が移動体1の前方になっている。移動体1は、移動領域である地面上を、搭乗者を載置した状態で、該搭乗者の操作により移動制御可能な倒立振子型移動体である。
【0034】
図2に示すように、移動体1は、搭乗者60を載置する搭乗席11と第1駆動輪31と第2駆動輪32と制御ボックス20とを備え、これらが移動体本体10を構成する。後述するように、移動体本体10には、ライフログ用の画像を取得するためのライフログ用カメラ42と表示デバイス41が取り付けられている。移動体10のライフログ用カメラ42及び表示デバイス41を除いた構成を移動体本体10とする。搭乗席11は座席の形状を有している。そして、この搭乗席11の上に、搭乗者60が座る。
【0035】
第1駆動輪31、及び第2駆動輪32は、同軸上に配置された1対の対向する回転体である。第1駆動輪31、及び第2駆動輪32は制御ボックス20に対して回転可能に保持されている。第1駆動輪31、及び第2駆動輪32は制御ボックス20内に設けられている駆動モータ21によって、回転する。駆動モータ21はサーボモータなどである。第1駆動輪31、及び第2駆動輪32が回転することによって、第1駆動輪31、及び第2駆動輪32が回転する。これにより、移動体1が前進、又は後退する。また、制御ボックス20には、第1駆動輪31、及び第2駆動輪32に対してそれぞれ、駆動モータ21が設けられている。第1駆動輪31、及び第2駆動輪32は独立に回転する。第1駆動輪31、及び第2駆動輪32を独立して制御することで、左折、右折、その場旋回などを行うことができる。
【0036】
例えば、搭乗者60が図示しない操作レバーなどの操作手段を操作することによって、移動体1が移動する。例えば、駆動モータ21に設けられているエンコーダによって、第1駆動輪31、及び第2駆動輪32の回転速度を検出する。そして、第1駆動輪31、及び第2駆動輪32の回転速度が搭乗者60の操作に応じた指令値になるように、フィードバック制御する。また、ジャイロセンサ等からのセンサ信号に応じて、移動体本体10が倒立するようにフィードバック制御している。こうすることで、搭乗者60の操作にしたがって、倒立を維持したまま、移動体1が移動する。
【0037】
制御ボックス20の中には駆動モータ21、及び制御部50が配設されている。また、制御ボックス20には、駆動モータ21などの電源を供給するバッテリ(図示せず)などが設けられている。制御ボックス20は、搭乗席11の直下に配置されている。そして、制御ボックス20に取り付けられている支持部材等を介して搭乗席11が支持される。
【0038】
制御部50は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、通信用のインターフェースなどを有する演算処理装置であり、駆動モータ21の動作を制御するための処理を行う。また、制御部50は、着脱可能なHDD、光ディスク、光磁気ディスク等を有し、各種プログラムや制御パラメータなどを記憶し、そのプログラムやデータを必要に応じてメモリ(不図示)等に供給する。また、制御部50には、ライフログを取得するためのプログラムが格納されている。
【0039】
さらに、移動体本体10には、ライフログ用カメラ42が設置されている。ライフログ用カメラ42は、例えば、CCDカメラなどのデジタルカメラである。そして、ライフログ用カメラ42で取得された画像は、制御部50に設けられた記憶装置に保存される。ライフログ用カメラ42は、人の体験に応じた体験画像を取得する体験用カメラである。ライフログ用カメラ42で取得された風景画像などが時系列にしたがって格納されていく。
【0040】
ライフログ用カメラ42としては、パノラマカメラを用いることが好ましい。具体的には、1200×400画素以上で、120°以上の視野角を有する高精細パノラマ画像を取得するパノラマカメラを用いることができる。これにより、臨場感の高い画像を取得することができる。
【0041】
ライフログ用カメラ42は、搭乗者60の体験に応じた景色を撮像するためのカメラである。ライフログ用カメラ42は、前方を向いており、搭乗者60の視線方向の景色を撮像する。ライフログ用カメラ42は、例えば、搭乗席11の上部に取り付けられている。従って、ライフログ用カメラ42は、搭乗者の顔位置の近くに設置される。ライフログ用カメラ42は静止画を取得する。すなわち、制御部50には、デフォルトの撮影条件が設定されている。このデフォルトの撮影条件で、搭乗者60が見ている景色をライフログ用カメラ42が連続撮影する。例えば、ライフログ用カメラ42は、一定の時間間隔で静止画を撮像する。なお、ライフログ用カメラ42の撮影条件を、搭乗者の動作や操作に応じて変更するようにしてもよい。さらに、ライフログ用カメラ42の向きを搭乗者の動作や操作に応じて、変えてもよい。制御部50がライフログ用カメラ42を制御する。
【0042】
ライフログ用カメラ42は、搭乗者60の視線方向を撮像する。すなわち、視線方向の風景、人、物等の画像を取得する。これにより、搭乗者の主観的な体験画像を取得することができる。さらに、ライフログ用カメラ42は、近傍に存在する他の移動体1を撮像する。例えば、移動体1が他の移動体1の位置情報を取得して、他の移動体1が移動体1の近傍を移動しているか判定する。すなわち、自己の位置情報と、他の移動体1の位置情報を比較して、移動体1の近傍を他の移動体1が移動しているかを判定する。そして、他の移動体1が移動体1の近傍を移動している場合、移動中の他の移動体1が撮像される。移動体1をライフログ用カメラ42の撮像範囲に収めるために、無線通信によって他の移動体1の方向を特定する。具体的には、他の移動体1の位置情報を受信して、他の移動体1の方向を特定する。そして、その方向にライフログ用カメラ42を向けて撮像する。あるいは画像認識を行って、他の移動体1を撮像してもよい。すなわち、画像認識によって、ライフログ用カメラ42の撮影範囲内に他の移動体1があると判定された場合、ライフログ用カメラ42が撮像する。これにより、他の移動体1の画像を取得することができる。
【0043】
ライフログ用カメラ42には、マイク48が搭載されている。すなわち、ライフログ用カメラ42はマイク内蔵カメラである。このマイク48が周囲の音を集音する。このように、移動体1が移動中に、移動体1の周辺で発生した音が集音される。マイク48によって、搭乗者の体験に応じた音データを取得する。これにより、ライフログ用のコンテンツとなる、音データを取得することができる。なお、音データは、画像データを取得したタイミングで必ず録音されなくてもよい。例えば、周囲の音が大きくなった場合のみ、音データを取得してもよい。
【0044】
さらに、移動体本体10には、表示デバイス41が搭載されている。表示デバイス41は、搭乗者60の顔の前方に配置されている。もちろん、表示デバイス41は、運転に支障のない位置に配置されている。搭乗者60が運転中に、表示デバイス41に表示されている画面を視認することができる。例えば、表示デバイス41としては、タッチパネル型の液晶ディスプレイを用いることができる。表示デバイス41は、体験画像や地図を表示する端末となる。表示デバイス41は、体験情報を掲示するビュワーディスプレイとなる。表示デバイス41は、搭乗者60が視認しやすい位置に設置されていることが好ましい。
【0045】
測位手段47は、カーナビゲーションシステムや携帯電話に搭載されているGPS受信機などを有し、現在位置を取得する。すなわち、測位手段47は、人工衛星から送信されるGPS信号に基づいて、位置を測定する。これにより、移動体1の位置が定期的に測定される。例えば、測位手段47は、移動体1の緯度と経度を測定する。すなわち、測位手段47で測定した位置情報は、緯度、及び経度の形で表される。もちろん、GPS以外の測位手段を用いてもよい。例えば、オドメトリを測位手段として用いてもよく、これらを組み合わせてもよい。
【0046】
通信手段49は、アンテナなどを有しており、サーバ装置2に対してデータの送受信を行う。さらに、移動体1同士で通信することも可能である。例えば、通信手段49は、サーバ装置2に対して体験情報などのデータを送信する。さらに、通信手段49は、サーバ装置2から送られたデータを受信する。なお、サーバ装置2からは、表示デバイス41、及びスピーカ43での表示、音声出力に必要なデータが送信される。
【0047】
搭乗者60が移動体1に搭乗すると、表示デバイス41、ライフログ用カメラ42などの動作が自動的に開始する。あるいは、搭乗者60の操作によって、これらの動作が開始してもよい。そして、搭乗者60が移動体1に搭乗している間、ライフログ用カメラ42は、ライフログのコンテンツとなる体験画像を取得する。さらに、ライフログ用カメラ42に搭載されたマイク48がそのときに発生した音を集音する。これにより、一連の体験における体験情報が、蓄積されていく。また、表示デバイス41は、移動している空間の地図を表示する。
【0048】
次にサーバ装置2について図4を用いて説明する。図4は、サーバ装置2の構成を模式的に示すブロック図である。サーバ装置2は、例えば、コンピュータ等の情報処理装置である。すなわち、サーバ装置2は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、通信用のインターフェースなどを有する演算処理装置であり、移動体1から収集した各種データを記憶して、それに対する演算処理を行う。また、サーバ装置2は、着脱可能なHDD、光ディスク、光磁気ディスク等を有し、各種プログラムや制御パラメータなどを記憶し、そのプログラムやデータを必要に応じてメモリ(不図示)等に供給する。また、サーバ装置には、ライフログ用のデータを取得、管理、処理するためのプログラムが格納されている。
【0049】
サーバ装置2は、体験情報記憶部51、ユーザ情報記憶部52、地図情報記憶部53、演算処理部54、通信部55、入出力部56を有している。なお、これらの各部は、物理的に単一な構成となっていなくもよい。さらには、各部が共通する構成となっていてもよい。また、一部をソフトウェアによって構成しても良い。
【0050】
入出力部56は、入力機器、及び出力機器を有している。入力機器としては、例えば、マウス、入力ボタン、ポインティングデバイス、キーボードがある。また、出力機器としては、モニタなどがある。そして、サーバ装置2は、モニタの表示画面上に演算処理結果などを出力する。通信部55は、移動体1と通信を行うための、アンテナなどを有している。この通信部55によって、データの送受信が行われる。なお、インターネットなどを介してデータの送受信を行う場合、通信部55が、ネットワークインタフェースとなる。演算処理部54は、プロセッサなどを用いて、通信や入出力に必要な各種演算処理を行う。すなわち、演算処理部54は、体験情報記憶部51、ユーザ情報記憶部52、地図情報記憶部53、通信部55、入出力部56における各処理を制御する。
【0051】
地図情報記憶部53は、移動体1が移動する空間の地図情報を記憶する。例えば、道路や建物などの位置(緯度、経度)、大きさなどが格納されている。具体的には、ナビゲーションシステムなどに用いられる地図情報と同様のものを用いることが可能である。たとえば、道路や建物などに関するデータが含まれている。
【0052】
体験情報記憶部51は、記憶媒体などを有し、移動体1が収集した体験情報を記憶する。すなわち、通信部55によって受信した移動体1からの体験情報が体験情報記憶部51に書き込まれる。従って、体験情報記憶部51には、移動体1が移動中に取得した画像データや音データが記憶されている。体験情報記憶部51は、例えば、体験情報を時系列に沿ったデータベースとして記憶する。体験情報記憶部51に記憶されるデータの一例を図5に示す。体験情報は、図5に示すような表形式になっている。図5に示すように、体験情報には、画像、位置、領域、音声、時間、ID、ログNo.などの項目が存在している。図5では、横一列に並んだ項目が対応づけられている。そして、体験情報には、画像、位置、領域、音声、時間、ID、ログNo.などの項目が対応付けられて、図5に示すような表形式で保存されている。
【0053】
画像の項目は、ライフログ用カメラ42によって取得した画像データに対応するものである。画像の項目には、例えば、画像データのファイル名が格納されている。この画像の項目を参照することで、画像データのファイルを特定することができる。画像データ毎に異なる番号や文字列が付される。位置の項目は、その画像データを所得した時の移動体1の位置を示すものである。すなわち、測位手段47によって取得された位置情報が、格納されている。この位置の項目を参照することで、データの取得位置を特定することができる。具体的には、移動体1の緯度、及び経度が位置情報として記憶される。例えば、図5の表では、ファイル名が「img0001」の画像データは、「pos.0001」の位置で取得されたことになる。
【0054】
領域の項目は、移動体1が移動している領域を示すものである。例えば、大学、公園、遊園地、美術館、博物館、商業施設などの中を移動体1が移動している場合、その場所を示す領域名が格納される。この領域の項目を参照することで、移動体1が移動していた領域を特定することができる。移動体1がAA大学内を移動している場合、領域の項目には、AA大学と示される。これらの領域を示す領域情報は、後述する地図情報に対応している。地図情報記憶部53に記憶されている地図上において、各領域の範囲を設定しておく。例えば、各領域に含まれる緯度、及び経度の範囲を指定しておく。移動体1の位置情報に基づいて、移動体1がいずれの領域を移動しているかを判別することができる。このようにすることで、移動体1の移動に応じて、領域が自動的に切り替わる。なお、領域の項目を、移動体1が判別してもよいし、サーバ装置2が判別してもよい。あるいは、領域の項目を、搭乗者60が入力するようにしてもよい。
【0055】
音声の項目は、マイク48によって集音した音データに対応するものである。音声の項目には、例えば、画像データを取得したときに、集音した音データのファイル名が格納されている。音データ毎に異なる番号や文字列が付される。音データのファイル名を参照することで、音データのファイルを特定することができる。なお、音データには、人の発声した音声に限らず、移動中に周囲で発生した音が含まれているものとする。移動体1が移動中に取得した、所定時間の音データが記憶されている。
【0056】
時間の項目は、画像データ、及び音データを取得した時間に対応するものである。時間の項目には、データを取得した日付と時間が格納されている。IDの項目は、ユーザを識別する識別子に対応するものである。IDの項目には、搭乗者60を識別するための番号や文字列が格納されている。IDを参照することで、搭乗者60を特定することができる。搭乗者60毎に異なるIDが付される。
【0057】
ログNo.の項目は、ライフログの番号を示すものである。このログNo.は、搭乗者60の体験した履歴に応じて決まる。すなわち、ある搭乗者60の一連の体験を同じログNoとする。例えば、2008年7月7日に搭乗者60が移動体1に搭乗して、自宅からAA大学に移動したときを考える。自宅からAA大学まで移動したときの体験を一連の体験とみなして、これらのデータのログNo.をLog.0001とする。また、次の日に搭乗者60が自宅からBB公園まで移動したときの体験を一連の体験とみなして、これらのデータのログNo.をLog0002とする。同様に、別の搭乗者60による体験情報についても異なるログNoを付加する。このように、一連の体験には同じログNo.を付加する。従って、ログNo.が同じである場合、それらの体験情報は、一連の体験で取得したものとみなすことができる。1つのライフログには、複数の体験画像が含まれることになる。このように、ライフログを管理するために、体験情報にログNo.の項目を設けている。なお、いずれの体験を一連の体験とみなすかは特に限定されるものではない。例えば、自宅からAA大学までの移動の前半を一連の体験とみなし、後半を別の一連の体験とみなしてもよい。また、自宅からAA大学までの往復を一連の体験とみなして、同じログNo.としてもよい。搭乗者60が移動体1に搭乗している間を一連と体験とし、搭乗者60が移動体1から降車したときに一連の体験が終了したとしてもよい。すなわち、搭乗者60が搭乗したときから降車するまでの間に取得した体験画像を同じログNo,としてもよい。
【0058】
例えば、「user0001」のIDを有する搭乗者60が搭乗する移動体1は、「time0001」の時間に、「pos.0001」の位置を走行していたことになる。さらに、「time0001」の時間で、「img0001」の画像データと、「sound0001」の音データを取得したことになる。換言すると、「pos.0001」の位置において、「img0001」の画像データと「sound0001」の音データを取得したことになる。そして、「time0001」の前後のデータには、同じログNo.が付加される。
【0059】
そして、移動体1で取得された画像データ、及び音データ等が、サーバ装置2に送信される。そして、サーバ装置2は、各移動体1から送信されたデータを順次記録していく。画像データ、及び音データには、上記のように、位置、領域、時間、ID、ログNo.が付加されている。すなわち、サーバ装置2は、画像データ、及び音データに、位置、領域、時間、ID、ログNo.が対応づけられたデータを受信する。受信したデータを時系列に従ったデータベースとして記憶する。このように、複数の移動体1からの体験情報がサーバ装置2に記録されていく。サーバ装置2は、ライフログ用のコンテンツに必要な画像データ、及び音データを取得時間、及び取得位置等に対応付けて、記憶する。なお、位置、領域、時間、ID、ログNo.の付加情報は、サーバ装置2において付加されてもよく、移動体1において付加されてもよい。移動体1からの体験情報を受信すると、体験情報記憶部51は逐次更新されていく。
【0060】
図4に示すように、サーバ装置2には、ユーザ情報記憶部52が設けられている。ユーザ情報記憶部52は、移動体1に搭乗する搭乗者60の情報を記憶する。ユーザ情報記憶部52に記憶されているユーザ情報について、図6を用いて説明する。図6は、ユーザ情報記憶部52に記憶されているユーザ情報を示す表である。
【0061】
ユーザ情報記憶部52は、各ユーザのID、名前、年齢、性別、所属、趣味嗜好などが対応付けられて、記憶している。すなわち、IDに対して、名前、年齢、性別、所属、趣味嗜好がひも付けられている。これらが、各ユーザの属性となる。IDは図5で示されたIDと同じものであり、搭乗者60ごとに異なっている。そして、そのIDのユーザの名前、年齢、性別が入力されている。また、名前の代わりに。あるいは名前とともにハンドルネームなどを用いてもよい。所属は、ユーザが所属する会社、学校、団体などを示すものである。たとえば、ユーザがAA大学の学生である場合は、AA大学と入力されている。趣味嗜好や、ユーザの趣味や嗜好を示すものである。各ユーザに関する情報が、データベースとして、ユーザ情報記憶部52に記憶されている。なお、ユーザ情報の入力は、サーバ装置2において行われる。あるいは、移動体1でユーザ情報を入力して、サーバ装置2に送信するようにしてもよい。また、異なるコンピュータによって、ユーザ情報を入力してもよい。搭乗者60、あるいはシステムの管理者等が、予めユーザ登録を行っておく。
【0062】
次に、移動体1に設けられた表示デバイス41について、図7を用いて説明する。図7は、表示デバイス41の構成を示すブロック図である。表示デバイス41は、表示部71、入力部72、体験情報記憶部73、演算処理部74、地図情報記憶部75、設定記憶部76、音声出力部77を有している。
【0063】
表示部71は、液晶ディスプレイなどを有し、移動体1に搭乗している搭乗者60に対して、体験情報を掲示する。さらに、移動体1が移動している空間の地図などを表示する。入力部72は、搭乗者60が操作可能な、タッチパネルやポインティングデバイスやキーボードを有している。搭乗者60が入力部72を操作して、体験情報を表示するために必要なデータを入力する。搭乗者60による操作は、この入力部72によって行われる。搭乗者60が入力部を操作することで、例えば、表示画面上におけるクリックや、文字入力が行われる。
【0064】
例えば、搭乗者60は入力部72を操作して、リアルタイムのライフログ、及び過去のライフログのいずれを表示するかを選択する。すると、選択したライフログが、表示部71上に表示される。さらに、搭乗者60が表示したいライフログを指定することができる。また、表示部71上には、移動体1が移動している地点周辺やその他の地点周辺の地図が表示される。入力部72によって、地図の縮尺などの表示設定を変更することができる。そして、表示画面の表示された地図には、体験画像が表示される。
【0065】
体験情報記憶部73は、ライフログ用カメラ42で取得した画像データや、マイク48で取得した音データを記憶する。これらの体験情報記憶部73で記憶された体験情報のデータがサーバ装置2に送信される。さらに、体験情報記憶部73は、サーバ装置2から送信された体験情報のデータを記憶する。サーバ装置2は、一部の体験情報のみを抽出して、移動体1に送信している。これにより、体験情報記憶部73に記憶する体験情報のデータ量を少なくすることができる。
【0066】
地図情報記憶部75は、移動体1が移動する空間の地図情報を記憶する。例えば、道路や建物などの位置、大きさ、配置などに関する情報が格納されている。具体的には、カーナビゲーションシステムなどに用いられる地図情報と同様のものを用いることが可能である。たとえば、道路や建物などに関するデータが含まれている。また、地図情報記憶部75に記憶されている情報は地図情報記憶部53に記憶されている情報と同じものであってもよい。この地図情報記憶部75に記憶されている地図情報に基づいて、表示部71に地図が表示される。すなわち、移動体1が移動している地点周辺の地図が表示される。あるいは、搭乗者60が指定した地点周辺の地図が表示される。さらには、地図情報記憶部75には、標識となる建物などが登録されている。さらに、標識となる建物に関する情報が登録されている。例えば、博物館、美術館などが標識となる建物として登録されている。
【0067】
音声出力部77は、スピーカ43を用いて、音声出力に必要な処理を行う。音声出力部77は、体験情報に含まれる音データを出力する。さらに、音声出力部77は、入力部72の操作音などを出力する。設定記憶部76は、表示部71、入力部72、音声出力部77の各種設定を記憶する。たとえば、スピーカの音量、表示部71に表示される地図の縮尺などを記憶する。さらには、地図の表示形式に関する設定などを記憶する。なお、これらの設定は、入力部72を操作することで、変更可能になっている。このように、設定記憶部76は、表示や音声出力に関する設定を記憶する。
【0068】
演算処理部74は、プロセッサ等を用いて、表示部71、入力部72、体験情報記憶部73、地図情報記憶部75、設定記憶部76、音声出力部77における各処理を制御する。たとえば、入力部72の入力に応じた演算処理を行う。そして、その演算処理結果が、表示部71に表示されたり、音声出力部77から出力されたりする。具体的には、搭乗者60による入力操作に応じて、体験情報記憶部73に記憶されている体験情報が表示される。表示部71、入力部72、体験情報記憶部73、演算処理部74、地図情報記憶部75、設定記憶部76、音声出力部77における各処理は、予め記憶されているプログラムによって、実行される。すなわち、ライフログのビューワーを構成するプログラムによって、体験の共有化を図っている。
【0069】
体験情報の表示方法について、図8乃至図11を用いて説明する。図8は、体験情報の表示方法を示すフローチャートである。図9乃至図11は、表示デバイス41の表示部71の表示画面を示す図である。ここでは、既に取得された体験情報を参照して表示が行われる。すなわち、予め体験情報を取得しておき、体験情報に含まれる体験画像と画像取得位置などに基づいて、ライフログを表示する。予め体験画像を取得して、その体験画像に取得位置を対応付けて記憶しておく。
【0070】
まず、搭乗者60がリアルタイムのライフログ、及び過去のライフログの一方を選択する(S101)。すなわち、搭乗者60が入力部72を操作することによって、表示画面の表示するライフログを現在のものとするか、過去のものとするかを選択する。
【0071】
そして、ライフログの絞込み項目を入力する(ステップS102)。すなわち、ライフログを抽出するための、絞り込み項目を入力する。絞り込み項目としては、撮影場所、撮影時間、ユーザ属性などがある。搭乗者60が例えば、絞り込み項目の一つである撮影場所を選択する。具体的には、AA大学などの領域の名称や、住所や、自己の現在位置付近などを入力する。なお、円の半径は、搭乗者60によって設定されていてもよい。
【0072】
また、複数の搭乗者60からライフログを収集している場合、ライフログを取得したユーザの属性などを選択する。すなわち、検索条件として、ユーザの属性を入力する。例えば、ユーザの年齢、性別、趣味嗜好、所属などを入力する。あるいは、他のユーザの名前などを入力してもよい。SNSでライフログを共有する場合は、仲間のハンドルネームなどを入力しても良い。あるいは同じ所属や趣味嗜好を有する他の搭乗者60がライフログを観ることが可能になる。搭乗者60本人の名前を絞り込み項目にすることで、自己が取得したライフログのみを抽出することができる。ユーザの属性が合致するライフログを抽出する。そして、抽出されたライフログの体験画像を同様の表示する。
【0073】
また、過去のライフログを選択した場合、撮影時間を入力してもよい。例えば、撮影開始日時、撮影終了時間、撮影した年、撮影した月、撮影した日、撮影した時間帯などを入力する。すなわち、検索条件として撮影時間を入力する。そして、撮影時間が合致したライフログに含まれる体験画像を抽出して、表示する。
【0074】
なお、これらの入力は、ウィザード形式で行うようにしてもよい。すなわち、表示部71の表示画面上にウィザード画面を表示させる。そして、そのウィザード画面に従って、搭乗者60が入力を行っていく。ウィザード画面に従ってライフログの検索条件が決定する。
【0075】
ここまでに入力された内容は、移動体1からサーバ装置2に送信される。そして、入力された内容に基づいて、サーバ装置2が、体験情報記憶部51からライフログを抽出する。そして、抽出されたライフログの体験情報が、サーバ装置2から移動体1に送信される。このように、サーバ装置2は、入力された情報に基づいて、ライフログを検索する。サーバ装置2は、入力された検索条件に合致するライフログを、移動体1に送信する。
【0076】
例えば、現在位置を中心とした半径500mの円内を指定した場合、その円内において取得した体験画像を含むライフログが抽出される。ログNo.がLog0001に含まれる体験画像のうちの1つが、円内で撮影された場合、ログNo.がLog0001のライフログが抽出される。一方、全ての体験画像が円外で撮影されている場合、そのライフログは抽出されない。住所や撮影場所を入力した場合も、その住所や撮影場所で取得した体験画像を含むライフログが抽出される。撮影時間を入力した場合、その撮影時間に撮影された体験画像を含むライフログが抽出される。全条件に合致する体験画像を含む1以上のライフログを抽出する。一つのライフログも抽出されない場合は、絞り込み項目への入力を変更する。
【0077】
そして、表示デバイス41が検索結果を表示する(ステップS103)。すなわち、検索結果に合致したライフログが、移動体1に送信される。そして、抽出されたライフログが、表示画面上に表示される。このときの表示画面80は,図9に示すようになる。ここでは、検索条件に合致した5つのライフログ81が、サムネイルとして表示されている。5つのライフログが重なって表示されている。なお、図9では、絞り込み項目として、撮影開始日時が2008年5月25日9:00、撮影場所がAA大学、撮影者属性が男性、学生、及び20代となっている。これにより、複数のライフログから一部のライフログを抽出することができる。
【0078】
そして、ライフログを選択して、表示させる(ステップS104)。例えば、図9に示す表示画面80において、奥から3つめのライフログをクリックする。これにより、ライフログが選択され、そのライフログ81が全画面表示される。これにより、俯瞰的体験ビューモードとなり、図10に示す表示画面80となる。図10では、ウィンドウ全体に地図が表示されている。すなわち、所定形状の道路や建物が配置され、全体として地図となっている。この地図は、地図情報記憶部75に基づいて作成、表示される。また、俯瞰的体験ビューモードでは、地図が俯瞰図として示されている。例えば、移動体1を中心とする地図を表示する。また、この地図上に、移動体1の現在位置を表示してもよい。さらに、カーナビゲーションシステムのように、移動体1の移動に応じて地図を移動させてもよい。すなわち、移動体1が常時、表示画面中の中心になるように、地図がスクロールしてもよい。さらに、ユーザが任意の位置に表示画面をスクロールさせてもよい。このような地図の表示については、既存のナビゲーションシステムと同様の方法を用いることができる。
【0079】
さらに、地図上には、取得した体験情報の体験画像82がサムネイルとして表示されている。すなわち、選択したライフログに含まれる複数の体験画像82が地図に重ね合わされている。体験画像82は、その取得位置に配置されている。すなわち、体験画像82は、表示画面10に表示されている地図上における画像取得位置に配置されている。従って、地図上の移動経路に沿って複数の体験画像82が配列されている。体験情報に含まれる位置情報を参照することで、表示されている地図上での表示位置が特定される。複数の体験画像82を地図上に重ね合わせて表示する。体験画像82は、画像取得位置において、縮小して配置されている。体験画像82が多い場合は、体験画像82の一部を間引いて、表示してもよい。体験画像82を間引く場合の設定は、設定記憶部76に記憶されている。図10では、選択したライフログに含まれる複数の体験画像82が道路に沿って表示されている。俯瞰的体験ビューモードでは、三次元空間に表示スケール及び記録コンテンツの種類に応じて整理して、一連の体験情報の流れが可視化された状態で掲示される。
【0080】
このように、体験情報記憶部51の中から検索条件に合致するライフログが抽出される。そして、1つのライフログが選択される。検索条件に合致するライフログに含まれる体験画像が抽出される。すなわち、抽出された体験画像がサーバ装置2から移動体1に送信される。移動体1の表示デバイス41が、抽出された体験画像を表示する。なお、2以上のライフログを選択してもよい。この場合、2以上のライフログの体験画像が同じ地図上に表示される。なお、検索条件に合致するライフログに関する体験情報のみを送信することで、送信するデータ量を低減することができる。
【0081】
それぞれの体験画像82は、アイコンとなっている。そして、地図上に表示されている体験画像82のうち、1つを選択すると、その体験画像82が拡大表示される。この選択した体験画像を選択体験画像83とする。例えば、入力部72を用いて、一枚の体験画像82をクリックして、選択する。すると、選択体験画像83が、ウィンドウ中の左側に、拡大して表示される。ここでは、表示画面80の左側に枠が表れ、その枠内に選択体験画像83が表示されている。さらに枠内には、選択体験画像83に対応する位置情報、時間情報等が表示されている。すなわち、選択体験画像83とともに、選択体験画像83の取得位置、及び取得時間が表示されている。選択体験画像83は、地図上の体験画像82よりも大きく表示される。さらに、体験画像82を選択したときに、選択体験画像83に対応する音データを再生してもよい。
【0082】
さらに、選択体験画像83の下には、オートヘディングアイコン85と、画像送りアイコン86が表示されている。オートヘディングアイコン85をクリックすることで、選択体験画像83が自動的に切り替わっていく。オートヘディングが行われる。すなわち、経路を自動的にトラッキングして、経路上の体験画像82をスタート地点から順番に表示することができる。よって、古い体験画像82から新しい体験画像82が順番に選択されて、選択体験画像83となって表示されていく。例えば、経路「route0001」の体験画像が取得時間順に一定時間間隔で表示されていく。すなわち、静止画像が移動順に表示されることで、動画的に表示されるようになる。換言すると、体験画像82のスライドショーが表示される。
【0083】
また、画像送りアイコン86をクリックすると、一枚前、又は一枚後の体験画像を表示することができる。例えば、右三角をクリックすると、一枚後の体験画像が選択体験画像83として表示され、左三角をクリックすると一枚前の体験画像82が選択体験画像83として表示される。なお、一枚後の体験画像82とは、選択体験画像83の直後に取得した体験画像82のことであり、一枚前の体験画像82とは、選択体験画像83の直前に取得した体験画像82のことである。よって、右三角を連続してクリックすると、取得した順番に画像が表示されることとなる。すなわち、オートヘディングと同様に選択体験画像83が切り替わっていく。画像送りアイコン86をクリックすることで、コマ送りのように選択体験画像83を切換えることができる。すなわち、移動経路に従って、順番に体験画像82が選択されていく。
【0084】
表示画面80の左端には、縮尺を変更するための縮尺アイコン87が表示されている。また、縮尺アイコン87をクリックすると、地図の縮尺が変更する。ここでは、2つの縮尺アイコン87が表示されている。「WIDE」が、縮尺を大きくするための縮尺アイコン87である。「NARROW」が、縮尺を小さくするための縮尺アイコン87である。これにより、表示画面80に表示される地図の縮尺を変更することができる。なお、縮尺を変えた場合、表示する体験画像82を間引くようにしてもよい。例えば、縮尺を大きくした場合、地図中に含まれる体験画像82の数が多くなる。従って、体験画像82を間引いて、表示する体験画像を少なくする。あるいは、縮尺に応じて、体験画像のアイコンのサイズを変更してもよい。また、表示画面80中に表示される体験画像82の数に応じて、間引くようにしてもよい。あるいは、搭乗者60の操作によって、体験画像82を間引くようにしてもよい。体験画像82の数が多い場合、例えば、3つおきに体験画像82を表示するなどと入力する。
【0085】
表示画面80の左上には、経路表示アイコン88が示されている。経路表示アイコン88をクリックすると、撮影時間の順番に、体験画像82が矢印で結ばれていく。例えば、ある体験画像82から一枚後の体験画像82への矢印が地図上に表示される。これにより、ライフログを取得した時に移動体1が移動した経路が矢印で表示される。
【0086】
枠内の選択体験画像83をクリックすることで、選択体験画像83を全画面表示することができる。例えば、図11に示すように、表示画面80全体に選択体験画像83が拡大して表示される。すなわち、俯瞰的体験ビューモードから詳細体験ビューモードに切り替わる。詳細体験ビューモードでは、選択体験画像83が全画面表示される。このようにすることで、選択体験画像83をより詳細に観ることができる。そして、所定の操作を行うと、詳細体験ビューモードから俯瞰的体験ビューモードに戻る。
【0087】
表示画面80上の地図で標識となる建物89をクリックすることで、その建物の情報を表示するようにしてもよい。例えば、入力部72を操作して、表示画面80上である場所を指定する。すると、図12に示すように、その場所にある建物に関する情報が表示される。具体的には、AA大学のCC研究室の建物をクリックした場合、CC研究室の研究内容が表示画面80の左側に配置された枠内に表示される。CC研究室の写真、研究内容の説明などが掲示される。このように、標識を指定することで、その標識に関する情報が表示画面80内に掲示される。もちろん、建物以外の場所に関する情報を表示するようにしてもよい。具体的には、大学、美術館、博物館、公園、駅、空港、港などを標識となる場所として設定することができる。このような、標識となる場所の地点、及びその情報を地図情報として予め登録しておく。特定の場所には、その場所に関する説明を関連付けて、地図に登録しておく。表示部71に表示されている地図上において、特定の場所を指定することで、特定の場所に関する説明が表示される。これらの説明としては、スライドやテキスト情報が含まれていてもよい。
【0088】
さらに、特定キーの入力で、体験画像の表示モードを変更してもよい。例えば、搭乗者60が入力部72によって所定の入力を行うことで、体験画像82の表示モードを切換える。表示モードを切換えると、高さ方向(上下方向)に時間軸を取り、撮影時間が遅いものほど、高い位置に表示される。この表示モードの切換えについて、図13を用いて説明する。図13は、表示画面80の一部を模式的に示す図である。なお、図13では、俯瞰的に表示されている地図の一部が示されている。L字型の道路91が俯瞰的に表示されているとする。この道路91において、3枚の体験画像82が取得されており、それぞれの体験画像を体験画像82a、体験画像82b、体験画像82cとする。体験画像82a、体験画像82b、体験画像82cの順番で撮影されたとする。すなわち、移動体1が右側から道路91に沿って下側に移動したときに体験画像82a〜体験画像82cが取得されたとする。
【0089】
このとき、撮影時間に応じて体験画像82の配置を変えている。すなわち、撮影時間が遅い体験画像82cを高い位置で表示している。すなわち、高さ方向(上下方向)を時間軸として、新しい体験画像ほど、上側(高い位置)になるように表示している。従って、体験画像82cの引き出し線92が最も長くなっており、体験画像82aの引き出し線92が最も短くなっている。引き出し線92の長さは、表示画面上における体験画像82の位置と画像取得位置に応じて決定すればよい。さらに、画像取得位置を示す引き出し線92を設けている。画像取得位置から体験画像をつなぐ引き出し線92がそれぞれ表示されている。位置情報に応じて地図上に複数の体験画像82を表示する。このように表示することで、視角的に撮影履歴が分かる。すなわち、一見しただけで、どの体験画像が新しいものであるかを把握することができる。これにより、効果的に表示することができ、ライフログを有効利用することができる。もちろん、特定キーの入力で、表示モードを元に戻してもよい。すなわち、表示モードを切換える入力を予め登録しておく。
【0090】
例えば、画像取得時間に応じて、表示画面における上下方向の位置が決定する。取得時間に応じて地図上に複数の体験画像を表示する。そして、同程度の高さの体験画像が重ならないように、左右方向に分散して体験画像82を配置する。このようにして体験画像82の位置を決定して、各体験画像と画像取得位置を引き出し線92で結ぶ。これにより、複数の体験画像82がある場合でも、体験画像が重なって表示されるのを防ぐことができる。地図を俯瞰的に表示して、表示部71の表示画面における上下方向を時間軸として、体験画像の位置が決定する。そして、体験画像82と画像取得位置の間に引き出し線92を設けることで、時空間におけるライフログの表示が可能となる。例えば、矢印や直線などを引き出し線92として、画像取得位置から体験画像までに引き出し線92を設ける。これにより、画像取得位置、及び画像取得時間を即座に把握することができる。
【0091】
このように、表示画面80中の地図において、体験画像がその取得位置に配置される。すなわち、表示部71が地図情報に基づいて地図を表示するとともに、位置情報に応じて地図上に体験画像を表示する。すなわち、位置情報に応じて、体験画像の表示位置を決定する。こうすることで、体験画像を効果的に表示することができ、体験画像を有効利用することが可能になる。一連の体験情報が可視化された形で、表示画面上に掲示される。すなわち、移動体1が移動した経路に沿って、体験画像が表示されているため、体験情報を有効利用することができる。例えば、現在、移動している搭乗者60が既に取得された体験画像を参照して、目的地を決定したり、移動ルートを変更したりすることが可能になる。よって、より利便性を向上することができる。
【0092】
他の移動体1によって取得された客観的な体験画像をライフログに含めるようにしてもよい。すなわち、移動体1が他の移動体1を撮影した場合、その撮影画像を客観的体験画像として、サーバ装置2に送信する。サーバ装置2は、撮影した移動体1のライフログではなく、撮影された移動体1のライフログのログNo.を付加する。例えば、撮影された移動体1のユーザのIDに基づいて、ログNo.を決定することができる。これにより、俯瞰的体験ビューにおいて、客観的な体験画像を表示することができる。表示部71に同時に表示されている複数の体験画像には、異なる移動体1のライフログ用カメラ42によって取得された体験画像が含まれている。換言すると、2台以上の移動体1で1つのライフログを作成することになる。また、俯瞰的体験ビューにおいて、客観的な体験画像を主観的な体験画像から識別できるように表示してもよい。
【0093】
さらに、複数のユーザの体験情報を共有化することで、コンテンツを充実化することができる。すなわち、ユーザが訪れたことがない場所であっても、他のユーザのライフログに含まれる体験画像を参照することができる。このように、体験情報を共有することで、体験情報を有効に利用することができる。また、体験情報を逐次、更新して、移動体1に送信することで、最新の体験情報を閲覧することができる。
【0094】
このように、パーソナルモビリティロボットである移動体1と体験記録データベースをネットワークで結ぶことで、現在記録されている体験情報を即座にビュワーで表示することができる。さらに、遠隔地で取得された体験情報を利用することができるため、遠隔コミュニケーションなどのアプリケーションを構築することができる。また、パーソナルモビリティロボットに限らす、各種モビリティにライフログ用カメラ42、及び表示デバイス41などを搭載することで、それぞれのモビリティに行動範囲に応じたコンテンツを記録、再生することが可能となる。
【0095】
個人の行動に密接に関わるモビリティが高臨場感の空間記録機能と持つことになる。さらに、複数の移動体1によって構成されるネットワークと結びつくことで、リアルタイムに主観的体験情報を記録、掲示することが実現される。また、複数の移動体1が協調動作、もしくは自律動作することで、個人の客観的な視点からの体験記録を行うことが可能となる。例えば、ある移動体1を他の移動体1が撮影することで、客観的な体験を記録することができる。一連の主観的体験情報を表示するだけでなく、時空間に渡るコンテンツを編集・再生することができる。
【0096】
従来のロボットなどでは、カメラ画像は、空間センシングのツールとしてしか利用されていなかったが、本実施の形態では、体験画像を共有化しているため、より広い用途に利用することができる。また、移動体1にライフログ用カメラ42を設けることで、ウェアラブルコンピュータや携帯端末に搭載されたカメラを用いる必要がなくなる。よって、個人の主観的な体験画像を容易に取得することができるようになる。ライフログ用カメラ42が定期的に画像を取得するため、搭乗者60がライフログ用カメラ42を操作することなく、体験画像を取得することができる。さらに、測位手段47で測定された位置情報と対応付けて送信されるため、体験情報を容易に蓄積することができる。蓄積された体験情報を時空間に整理して、可視化することができる。また、リアルタイムでの処理が可能であり、より、利便性を向上することができる。音データを取得することで、体験記録の充実化を図ることができる。
【0097】
なお、ステップS101でリアルタイムのライフログを指定した場合でも、体験情報の表示を随時更新する。ユーザがリアルタイムで取得している体験画像を地図上に表示させることが可能になる。この場合、体験画像の取得が逐次行われていくことで、体験情報が増えていく。すなわち、体験情報が蓄積されていき、逐次、表示が更新されていく。よって、地図上に表示されている体験画像が徐々に増加していくことになる。
【0098】
なお、ステップS101でリアルタイムのライフログを指定した場合でも、ユーザの属性を指定することができる。すなわち、他のユーザがリアルタイムで取得している体験画像を地図上に表示させることも可能である。絞り込み項目で、他のユーザを指定し、そのユーザ周辺の地図を表示する。移動体1とサーバ装置2間でのデータ送受信が行われ、他のユーザが取得した体験画像が、地図上で徐々に増えていくことになる。これにより、他のユーザが現在どのような場所を移動しているかを、ユーザが把握できる。
【0099】
なお、表示デバイス41は、移動体1に搭載されているものに限られない。表示デバイス41を例えば、パーソナルコンピュータなどで構成し、屋内などでライフログを表示するようにしてもよい。
【図面の簡単な説明】
【0100】
【図1】本発明の実施の形態にかかる表示システムの全体構成を示す図である。
【図2】本発明の実施の形態にかかる移動体の構成を模式的に示す斜視図である。
【図3】本発明の実施の形態にかかる移動体に搭乗者が登場した状態を模式的に示す側面図である。
【図4】本実施の形態にかかる表示システムに用いられるサーバ装置の構成を示すブロック図である。
【図5】サーバ装置に記憶される体験情報を示す図である。
【図6】サーバ装置に記憶されるユーザ情報を示す図である。
【図7】本実施の形態にかかる移動体に用いられる表示デバイスの構成を示すブロック図である。
【図8】本実施の形態にかかる表示方法を示すフローチャートである。
【図9】表示デバイスの表示画面を示す図である。
【図10】表示デバイスの表示画面を示す図である。
【図11】表示デバイスの表示画面を示す図である。
【図12】表示デバイスの表示画面を示す図である。
【図13】表示デバイスの表示画面を示す図である。
【符号の説明】
【0101】
1 移動体
2 サーバ装置
10 移動体本体
11 搭乗席
20 制御ボックス
21 モータ
31 第1駆動輪
32 第2駆動輪
41 表示デバイス
42 ライフログ用カメラ
43 スピーカ
47 測位手段
48 マイク
49 通信手段
50 制御部
51 体験情報記憶部
52 ユーザ情報記憶部
53 地図情報記憶部
54 演算処理部
55 通信部
56 入出力部
60 搭乗者
71 表示部
72 入力部
73 体験情報記憶部
74 演算処理部
75 地図情報記憶部
76 設定記憶部
77 音声出力部
80 表示画面
81 ライフログ
82 体験画像
83 選択体験画像
85 オートへディングアイコン
86 画像送りアイコン
87 縮尺アイコン
88 経路表示アイコン
91 道路
92 引き出し線

【特許請求の範囲】
【請求項1】
移動体に搭乗したユーザの体験に応じた体験画像を表示する表示システムであって、
ユーザの体験に応じた体験画像を取得するカメラが設置された複数の移動体と、
前記体験画像を取得したときの前記移動体の位置情報を測定する測位手段と、
前記カメラによって取得された体験画像と、前記位置情報とを対応付けて記憶する体験情報記憶部と、
地図情報を記憶する地図情報記憶部と、
前記地図情報に基づいて地図を表示するとともに、前記位置情報に応じて前記地図上に複数の前記体験画像を表示する表示部と、を備える表示システム。
【請求項2】
一連の体験における前記体験画像を含むログの検索条件を入力する入力部をさらに備え、
前記検索条件に合致するログに含まれる体験画像を抽出して、前記表示部に表示する請求項1に記載の表示システム。
【請求項3】
前記検索条件として、ユーザの属性が入力され、
前記ユーザの属性が合致するログに含まれる体験画像を抽出して、前記表示部に表示する請求項2に記載の表示システム。
【請求項4】
前記表示部に同時に表示されている前記複数の体験画像には、異なる移動体のカメラによって取得された体験画像が含まれていることを特徴とする請求項1乃至3のいずれか1項に記載の表示システム。
【請求項5】
前記表示部に表示されている地図上で特定の地点を指定することで、前記特定の地点に関する説明が表示されることを特徴とする請求項1乃至4のいずれか1項に記載の表示システム。
【請求項6】
前記地図が俯瞰的に表示され、
前記表示部の表示画面における上下方向を時間軸として、前記表示画面における前記体験画像の位置が決定されていることを特徴とする請求項1乃至5のいずれか1項に記載の表示システム。
【請求項7】
移動体に搭乗したユーザの体験に応じた体験画像を表示する表示方法であって、
複数の移動体に搭載したカメラで前記ユーザの体験に応じた体験画像を取得するステップと、
前記体験画像を取得したときの前記移動体の位置情報を測定するステップと、
地図情報に基づいて地図を表示するとともに、前記位置情報に応じて前記地図上に複数の前記体験画像を表示するステップと、を備える表示方法。
【請求項8】
一連の体験における前記体験画像を含むログの検索条件を入力するステップをさらに備え、
前記検索条件に合致するログに含まれる体験画像を抽出して、表示する請求項7に記載の表示方法。
【請求項9】
前記検索条件として、ユーザの属性を入力して、
前記ユーザの属性が合致するログに含まれる体験画像を抽出して、表示する請求項8に記載の表示方法。
【請求項10】
同時に表示されている前記複数の体験画像には、異なる移動体のカメラによって取得された体験画像が含まれていることを特徴とする請求項7乃至9のいずれか1項に記載の表示方法。
【請求項11】
表示されている地図上で特定の地点を指定することで、前記特定の地点に関する説明が表示されることを特徴とする請求項7乃至10のいずれか1項に記載の表示方法。
【請求項12】
前記地図が俯瞰的に表示され、
前記表示部の表示画面における上下方向を時間軸として、前記表示画面における前記体験画像の位置が決定されていることを特徴とする請求項7乃至11のいずれか1項に記載の表示方法。
【請求項13】
ユーザの体験に応じた体験画像を取得するカメラと、
前記体験画像を取得したときの前記移動体の位置情報を測定する測位手段と、
前記カメラによって取得された体験画像と、前記位置情報とを対応付けて記憶する体験情報記憶部と、
地図情報を記憶する地図情報記憶部と、
前記地図情報に基づいて地図を表示するとともに、前記位置情報に応じて前記地図上に複数の前記体験画像を表示する表示部と、を備える移動体。
【請求項14】
一連の体験における前記体験画像を含むログの検索条件を入力する入力部をさらに備え、
前記検索条件に合致するログに含まれる体験画像を抽出して、前記表示部に表示する請求項13に記載の移動体。
【請求項15】
前記体験情報記憶部には、他の移動体に搭載されたカメラで取得された体験画像が記憶され、
前記他の移動体のカメラで取得した体験画像を、前記位置情報に応じて前記地図上に表示する請求項13、又は14に記載の移動体。
【請求項16】
前記移動体のカメラで取得した主観的な体験画像と、他の移動体のカメラで取得した客観的な体験画像を同時に前記地図上に表示する請求項13乃至15のいずれか1項に記載の移動体。
【請求項17】
前記表示部に表示されている地図上で特定の地点を指定することで、前記特定の地点に関する説明が表示されることを特徴とする請求項13乃至16のいずれか1項に記載の移動体。
【請求項18】
前記地図が俯瞰的に表示され、
前記表示部の表示画面における上下方向を時間軸として、前記表示画面における前記体験画像の位置が決定されていることを特徴とする請求項13乃至17のいずれか1項に記載の移動体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2010−39256(P2010−39256A)
【公開日】平成22年2月18日(2010.2.18)
【国際特許分類】
【出願番号】特願2008−202801(P2008−202801)
【出願日】平成20年8月6日(2008.8.6)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成19年度 文部科学省 先端融合領域イノベーション創出拠点の形成 少子高齢社会と人を支えるIRT基盤の創出、産業技術力強化法第19条の適用を受ける特許出願
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【出願人】(504137912)国立大学法人 東京大学 (1,942)
【Fターム(参考)】