地図および動画を送信するデータサーバおよび動画・地図連動表示システム
【課題】地図と動画をユーザ端末に送信して表示させるデータサーバにおいて、ユーザが動画中で見つけた施設等に対して簡易に情報を登録することができるようにする。
【解決手段】表示端末のユーザが、データサーバに記録された動画中43に対してアイコン44bを登録し、その際、そのアイコン44bのアイコン表示フレーム区間およびフレーム中アイコン表示位置を指定すると、データサーバが、その指定されたアイコン表示フレーム区間中の複数のフレームと、登録先の動画44の撮影経路43a中の撮影時刻とを対応付けることで、撮影経路43aのうちアイコン表示フレーム区間が撮影された経路を算出する。そして、アイコン表示フレーム区間のうち2つのフレームにおけるフレーム中アイコン表示位置と、算出した経路中でその2つのフレームが撮影された地点との関係に基づいて、地図43上でアイコン44bを表示すべきアイコン表示地点を算出する。
【解決手段】表示端末のユーザが、データサーバに記録された動画中43に対してアイコン44bを登録し、その際、そのアイコン44bのアイコン表示フレーム区間およびフレーム中アイコン表示位置を指定すると、データサーバが、その指定されたアイコン表示フレーム区間中の複数のフレームと、登録先の動画44の撮影経路43a中の撮影時刻とを対応付けることで、撮影経路43aのうちアイコン表示フレーム区間が撮影された経路を算出する。そして、アイコン表示フレーム区間のうち2つのフレームにおけるフレーム中アイコン表示位置と、算出した経路中でその2つのフレームが撮影された地点との関係に基づいて、地図43上でアイコン44bを表示すべきアイコン表示地点を算出する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画および地図を送信するデータサーバおよび動画・地図連動表示システムに関するものである。
【背景技術】
【0002】
従来、地図データをユーザ端末に送信して表示させるデータサーバが利用されている(例えば、特許文献1参照)。例えば、Google(登録商標)マップというサービスでは、データサーバが地図を配信し、地図を閲覧するユーザが、地図上の各地点に対し、その地点を撮影した動画へのリンクを登録することができ、データサーバは、登録されたリンクを示すマークを地図上に表示させ、そのマークをユーザが選択すると、選択されたマークのリンク先の動画が地図と共に表示させるようになっている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−127437号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このように、Google(登録商標)マップでは、ユーザは地図を見て動画を登録したい地点を選び、その地点に当該動画へのリンクを追加することができる。しかし、ユーザは、動画の閲覧中に、情報を登録したい地点(施設、自然構造物等)を動画中に発見したとしても、地図でその地点を探し、探した地点にリンクを登録するという煩雑な作業を行わなければならない。
【0005】
本発明は上記点に鑑み、地図および動画をユーザ端末に送信して表示させるデータサーバにおいて、ユーザが動画中で見つけた地点(施設、自然構造物等)に対して簡易に情報を登録することができるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するための請求項1に記載の発明は、複数の表示端末(3)と通信し、その通信において地図および動画を前記表示端末(3)に送信することによって、前記複数の表示端末(3)で前記地図および前記動画を表示させるデータサーバであって、前記複数の表示端末(3)に表示させるための地図および複数の動画を記憶すると共に、前記複数の動画の1つ1つについて、当該1つの動画を撮影した撮影経路中の複数の撮影地点を撮影時刻に対応付ける動画経路情報を記憶するデータベース部(20)と、前記データベース部(20)に記録された前記複数の動画のそれぞれに対して、当該動画中に表示された地点を指し示すアイコンを登録するため、当該アイコンのアイコンIDに当該動画の動画IDが関連付けられた動画−アイコンリンク情報をデータベース部(20)に記録するアイコン登録手段(126、127)と、前記複数の動画のうち第1の動画および前記第1の動画の撮影経路を含む地図を、前記複数の表示端末(3)のうち第1の表示端末(3)に表示させると共に、前記第1の動画に登録された第1のアイコンを前記第1の動画中および前記地図中に表示させるため、前記第1の表示端末(3)に情報を送信する地図・動画送信手段(142、163、171)と、を備え、前記アイコン登録手段は:前記複数の表示端末(3)のうちいずれか1つの表示端末において前記複数の動画のうちいずれか1つの動画が表示されているとき、前記1つの表示端末のユーザが、前記1つの動画中において1つのアイコンを表示すべきフレームの区間(以下、アイコン表示フレーム区間という)を指定し、前記アイコン表示フレーム区間内のフレーム中における前記1つのアイコンの表示位置(以下、フレーム中アイコン表示位置という)を指定し、前記1つのアイコンの他の情報を入力したとき、前記1つの表示端末から、前記1つのアイコンについての前記アイコン表示フレーム区間の情報、前記1つのアイコンについての前記フレーム中アイコン表示位置の情報、および前記1つのアイコンについての他の情報を受信するアイコン表示区間・位置受信手段(126)と、前記アイコン表示区間・位置受信手段(126)が受信した前記1つのアイコンについての前記アイコン表示フレーム区間および前記1つのアイコンについての前記フレーム中アイコン表示位置を、前記1つの動画の動画IDと前記1つのアイコンのアイコンIDと共に、前記1つのアイコンに対応する動画−アイコンリンク情報として前記データベース部(20)に記録し、さらに、前記アイコン表示フレーム区間中の複数のフレームと、前記データベース部(20)に記録されている前記1つの動画の動画経路情報中の複数の撮影時刻と、を対応付けることで、前記撮影経路のうち前記アイコン表示フレーム区間が撮影された経路を示すアイコン経路情報を算出し、算出した前記アイコン経路情報を前記1つのアイコンに対応するアイコン経路情報として前記データベース部(20)に記録するアイコン経路情報記録手段(210)と、前記1つの動画中のフレームのうち2つのフレームにおける前記フレーム中アイコン表示位置を取得し、また、前記2つのフレームが撮影された撮影経路上の2つの地点を、前記1つのアイコンに対応する前記アイコン経路情報に基づいて取得し、取得した前記2つのフレームにおける前記フレーム中アイコン表示位置と、前記2つの地点と、の関係に基づいて、前記1つのアイコンについての地図上のアイコン表示地点を算出し、算出した前記アイコン表示地点をデータベース部(20)に記録するアイコン表示地点算出手段(220)と、を備え、前記地図・動画送信手段(142、163、171)は、前記第1のアイコンを前記1つのアイコンとすることで前記アイコン表示地点算出手段(220)によって前記データベース部(20)中に記録された、前記第1のアイコンについてのアイコン表示地点を前記第1の表示端末(3)に送信することで、前記地図中の前記アイコン表示地点に該当する地点に、前記第1のアイコンを表示させることを特徴とするデータサーバである。
【0007】
このように、複数の表示端末(3)のうち任意の(すなわち、不特定な1つの、または、どれでもよい1つの)表示端末(3)のユーザが、データベース部(20)に記録された任意の(すなわち、不特定な1つの、または、どれでもよい1つの)動画中に対してアイコンを登録し、その際、そのアイコンのアイコン表示フレーム区間およびフレーム中アイコン表示位置を指定することができ、また、データサーバが、その指定されたアイコン表示フレーム区間中の複数のフレームと、登録先の動画についてあらかじめ記録されている動画経路情報中の撮影時刻とを対応付けることで、撮影経路のうちアイコン表示フレーム区間が撮影された経路を示すアイコン経路情報を算出することができる。そして、アイコン表示フレームのうち2つのフレームにおけるフレーム中アイコン表示位置の情報と、算出した経路中でその2つのフレームが撮影された地点との関係に基づいて、地図上でアイコンを表示すべきアイコン表示地点を算出することができる。したがって、表示端末のユーザが動画中で見つけた地点(施設、自然構造物等)に対して簡易に情報を登録することができる。
【0008】
また、請求項2に記載の発明は、請求項1に記載のデータサーバにおいて、前記地図・動画送信手段(142、163、171)は、前記第1の表示端末に前記第1の動画および前記第1の動画の撮影経路を含む地図を表示させ、さらに、前記第1のアイコンに対応するアイコン表示地点に該当する前記地図上の地点に前記第1のアイコンを表示させると共に、前記第1の動画とは別の動画に対して登録されたアイコン(以下、他動画登録アイコンという)を前記1つのアイコンとすることで前記アイコン表示地点算出手段(220)によって前記データベース部(20)中に記録された、前記他動画登録アイコンのアイコン表示地点を、前記データベース部(20)から読み出し、読み出したアイコン表示地点に該当する前記地図上の地点に前記他動画登録アイコンを表示させることを特徴とする。
【0009】
このようになっていることで、別々の動画に対して登録された複数のアイコンを同じ地図上にまとめて表示させることができる。
【0010】
また、請求項3に記載の発明は、請求項1または2に記載のデータサーバにおいて、前記第1の表示端末のユーザが、アイコンを検索するためのアイコン検索操作をしたとき、前記第1の表示端末から、そのアイコン検索操作の内容の情報を受信し、受信したアイコン検索操作の内容に基づいて、前記複数の動画に登録されたアイコンのうちから1つのアイコンを抽出するアイコン検索手段(154)と、前記アイコン検索手段(154)が抽出したアイコンを前記第1のアイコンとし、前記第1のアイコンに対応する動画−アイコンリンク情報に基づいて、当該動画−アイコンリンク情報中の動画IDに対応する前記第1の動画と、前記動画−アイコンリンク情報中のアイコン表示フレーム区間の始点の情報とを、前記第1の動画の再生開始フレームとして特定する再生開始フレーム決定手段(161)と、を備え、前記地図・動画送信手段(142、163、171)は、前記第1の表示端末で前記第1の動画を前記再生開始フレームから再生させるよう、前記再生開始フレームの情報を前記第1の表示端末に送信することを特徴とする。
【0011】
このようにすることの意義について、以下説明する。地図上に表示されたアイコンをユーザが選択したときに、そのアイコンが登録された動画の再生をそのアイコンが表示されている地点から開始できるようにすると、再生開始と共にそのアイコンを閲覧することができるので便利である。しかし、地図上のアイコン表示地点は施設が存在する場所であり、その地点を動画再生開始地点としてしまうと、見たい施設の情報をほとんど見ることができない。これを解決するために、アイコン表示地点から一定距離だけ手前からアイコンを表示するようにしてもよいが、このようにすると、アイコン毎にアイコン表示開始のタイミングを変えることができない。
【0012】
そこで、上記のように、動画−アイコンリンク情報において、アイコン毎にアイコンの表示開始・終了フレームを記録しておくことで、アイコン毎に表示開始フレームを設定できる。
【0013】
また、請求項4に記載の発明は、請求項1ないし3のいずれか1つに記載のデータサーバにおいて、前記アイコン表示地点算出手段(220)は、請求項1ないし3のいずれか1つに記載のデータサーバにおいて、前記撮影経路中の2つの地点のうち、前記アイコン表示フレーム区間の終了時の撮影地点(52)を基準とする前記アイコン表示地点の相対位置座標の成分のうち、前記撮影経路の移動方向に平行な成分の値xを、x=L×R/(Q−R)という式で算出し、この際、Lは前記2つの地点間の前記移動距離であり、Rは、前記アイコン表示フレーム区間の開始時の撮影地点において撮影されたアイコン表示開始フレーム中の、左右方向の中心線(46a)から前記アイコン表示開始フレームにおけるフレーム中アイコン表示位置(46b)までの距離(46c)を、当該中心線(46a)から前記アイコン表示開始フレーム(46)の左右端部までの距離(46d)で除算した値であり、Qは、前記アイコン表示フレーム区間の終了時の撮影地点において撮影されたアイコン表示終了フレーム中の、左右方向の中心線(47a)から前記アイコン表示終了フレームにおけるフレーム中アイコン表示位置(46b)までの距離(47c)を、当該中心線(47a)から前記アイコン表示終了フレーム(47)の左右端部までの距離(47d)で除算した値であり、前記撮影経路中の2つの地点のうち、前記アイコン表示フレーム区間の終了時の撮影地点(51)を基準とする前記アイコン表示地点の相対位置座標の成分のうち、前記撮影経路の移動方向に垂直な成分の値yを、前記第1の動画を撮影したカメラの画角を特定できる場合、y=[L×Q×R/(Q−R)]×tanαという式で算出し、この際、αは、前記画角の1/2であり、前記第1の動画を撮影したカメラの画角を特定できない場合、前記アイコン表示フレーム区間の終了時の撮影地点(52)から前記値xに相当する距離だけ前記撮影経路の移動方向に沿って前方に進んだ地点(53)から、前記撮影経路の移動方向に垂直な方向に位置する施設のうち、前記前方に進んだ地点地点(53)に最も近い施設を、地図情報に基づいて検索し、検索の結果抽出した施設の所在位置を、前記アイコン表示地点とし、ただし、前記移動方向に垂直な方向としては、前記アイコン表示開始フレーム(46)または前記アイコン表示終了フレーム(47)で左右方向の中心線(46a、47a)に対してアイコンが表示された側のみに限定することを特徴とする。
【0014】
地図上のアイコン表示地点を特定する方法には、このように動画の撮影地点を元に特定する方法以外にも、フレーム中のアイコン表示位置にある画像と、地図情報中にあらかじめ用意された複数の施設の画像と、の間で画像マッチングを行う方法、ユーザによる地図中の施設の選択を受け付ける方法撮影地点を元に算出する方法などが考えられる。しかし、動画の撮影地点を元にアイコン表示地点情報を算出する方法は、画像マッチングほど処理負荷が高くなく、またアイコン表示地点を直接ユーザに入力してもらうといったユーザに対して手間をかけることのない方法である。そして、カメラ画角が分かっている場合には、その情報を利用してアイコン表示地点の算出を行い、分かっていない場合には画像と地図情報から推定することによって、多くの場合で自動でアイコン表示地点を決めることができるようになる。
【0015】
また、請求項5に記載の発明は、請求項1ないし4のいずれか1つに記載のデータサーバにおいて、前記第1の表示端末において地図および地図上の複数のアイコンが表示されており、前記第1の表示端末のユーザが、前記複数のアイコンを指定する動画検索操作を行ったとき、前記第1の表示端末から、その動画検索操作の内容の情報を受信し、受信した検索操作の内容に基づいて動画を抽出する動画検索手段(133、134)を備え、前記地図・動画送信手段(142、163、171)は、前記動画検索手段(133、134)によって抽出された動画を前記第1の動画として前記第1の表示端末に表示させるために、前記抽出された前記第1の動画を前記第1の表示端末に送信し、前記動画検索手段(133、134)は、前記ユーザによって指定された前記複数のアイコンのいずれか1つ以上のアイコンIDを含む動画−アイコンリンク情報から、動画IDを取得し、取得された動画IDを取得回数が多い順に並べたリストを前記第1の表示端末に送信することで、前記ユーザに前記リスト中から動画を選択させることを特徴とする。
【0016】
動画検索時になるべく多くのアイコンが登録されている動画を見たい場合が考えられる。例えば見たい経路が決まっておりその経路沿いのアイコンの情報を複数見たい場合などである。単一のアイコンを選択して映像を再生する場合、上記のようなニーズには応えられない。逆に経路を指定して映像を検索する場合、アイコンの情報が格納されていない映像も選択されてしまう可能性がある。このような場合、上記のように、動画検索時に複数の地図上のアイコンを指定して、指定したアイコンを多く含む動画を優先的に表示すればよい。このようにすることで、複数個のアイコンを元に動画を検索することができ、見たいアイコンが多く入っている好みの経路を撮影した動画を優先的に再生することができる。
【0017】
また、上記目的を達成するための請求項6に記載の発明は、請求項1ないし5のいずれか1つに記載のデータサーバと、前記第1の表示端末とを備えた動画・地図連動表示システムであって、前記第1の表示端末は、前記データサーバの前記地図・動画送信手段(142、163、171)によって送信された前記第1の動画、前記地図、および前記アイコン表示地点情報を受信する受信手段(172)と、前記受信手段(172)が受信した前記地図上の前記アイコン表示地点に基づく位置に、前記第1のアイコンを表示する地図表示手段(173)と、前記受信手段(172)が受信した前記第1の動画を再生する動画再生手段(174)と、を備えたことを特徴とする動画・地図連動表示システムである。このように、データサーバと第1の表示端末とを備えた動画・地図連動表示システムとしても、本発明を捉えることができる。
【0018】
また、請求項7に記載の発明は、請求項6に記載の動画・地図連動表示システムにおいて、前記データサーバの前記アイコン表示区間・位置受信手段(126)が受信する前記1つのアイコンの前記他の情報には、前記1つのアイコンの種別の情報および前記1つのアイコンの指し示す地点について説明するアイコン付加情報が含まれ、前記データサーバは更に、前記アイコン表示地点算出手段(220)が算出した前記1つのアイコンの前記地図上のアイコン表示地点が、前記データベース部(20)に記録されている他のアイコンのアイコン表示地点の近傍であり、かつ、前記1つのアイコンの種別と、前記データベース部(20)に記録されている前記他のアイコンの種別とが同じであることに基づいて、前記1つのアイコンと同一の地点を指し示しているアイコンのアイコンID(以下、前記1つのアイコンについての同一地点アイコンIDという)として、前記他のアイコンのアイコンIDをデータベース部(20)に記録する同一地点アイコンID記録手段(250〜280)を備え、前記地図・動画送信手段(142、163、171)は、前記第1の動画、前記地図、および前記アイコン表示地点情報に加え、前記第1の動画についての前記同一地点アイコンIDおよび前記同一地点アイコンIDに対応するアイコンについて前記データベース部(20)に記録されているアイコン表示地点情報およびアイコン付加情報を、前記第1の表示端末に送信し、前記第1の表示端末は、
前記受信手段(172)が受信した前記同一地点アイコンIDに対応するアイコンを、前記地図中および前記第1の動画中に表示させる対象から除外する同一地点アイコン除外手段(803、805、810)と、前記受信手段(172)が受信した前記第1のアイコンのアイコン付加情報と共に、前記受信手段(172)が受信した前記同一地点アイコンIDに対応するアイコンのアイコン付加情報を表示する付加情報表示手段(815〜840)と、を備えたことを特徴とする。
【0019】
同じ地点を指し示すアイコンが複数個重複して登録された場合、同じ地点に複数のアイコンが重なって表示されてしまい、見栄えが悪い。そこで、上記のように、新たに動画にアイコンを登録する時、同一の地点を指し示しているとみなせるアイコンのアイコンIDを記録しておく。そして、表示端末にあるアイコンを表示させる際には、そのアイコンと同一の地点を指し示しているとみなせる他のアイコンを表示対象から除外することで、見栄えを向上させることができる。そしてその上で、表示させたアイコンのアイコン付加情報と共に、そのアイコンと同一の地点を指し示しているとみなせる他のアイコンのアイコン付加情報も表示させることで、その地点について表示される情報の欠落を抑えることができる。
【0020】
また、請求項8に記載の発明は、請求項6に記載の動画・地図連動表示システムにおいて、前記データサーバは、 前記アイコン表示地点算出手段(220)が算出した前記1つのアイコンの前記地図上のアイコン表示地点が、前記データベース部(20)に記録されている他のアイコンのアイコン表示地点の近傍であり、かつ、前記アイコン表示区間・位置受信手段(126)が受信した前記1つのアイコンの種別と、前記データベース部(20)に記録されている前記他のアイコンの種別とが同じであることに基づいて、前記1つの表示端末のユーザに対して、前記1つのアイコンと前記他のアイコンとが同じ地点を指し示しているかを問い合わせ、その問い合わせに対する回答が肯定的であることに基づいて、前記1つのアイコンと同一の地点を指し示しているアイコンのアイコンIDとして、前記他のアイコンのアイコンIDをデータベース部(20)に記録する同一地点アイコンID記録手段(250〜280)と、前記アイコン表示地点算出手段(220)が算出した前記1つのアイコンのアイコン表示地点の確度を設定し、設定した確度を前記1つのアイコンの前記アイコン表示地点に関連付けて前記データベース部(20)に記録する確度設定手段(230)と、を備え、前記地図・動画送信手段(142、163、171)は、前記第1の動画、前記地図、および前記第1のアイコンのアイコン表示地点情報に加え、前記第1のアイコンの前記アイコン表示地点について設定された確度と、前記同一地点アイコンIDに対応するアイコンについてデータベース部(20)に記録されているアイコン表示地点情報、アイコン付加情報、および当該アイコン表示地点の確度を、前記第1の表示端末に送信し、前記第1の表示端末は、前記受信手段(172)が受信した前記同一地点アイコンIDに対応するアイコンを、前記地図中に表示させる対象から除外する同一地点アイコン除外手段(810)を備え、前記第1の表示端末の前記地図表示手段(173)は、前記受信手段(172)が受信した前記第1のアイコンについてのアイコン表示地点および当該アイコン表示地点について設定された確度との組、および、前記受信手段(172)が受信した前記同一地点アイコンIDに対応するアイコンについてのアイコン表示地点および当該アイコン表示地点について設定された確度との組、を用いて、アイコン表示地点の重み付き平均を算出し、この算出の際、各確度の値には、確度が高いほど大きい重み数値を対応付け、算出した重み付き平均の地点に、前記アイコンを表示することを特徴とする。
【0021】
同一の地点を指し示すアイコンが複数登録されている場合、仮に初めに付加されたアイコン情報を用いて表示地点を決めてしまうと、後からよりよい位置精度の表示地点が算出されたとしてもそれを反映することができない。
【0022】
そこで、上記のように、あるアイコンの表示地点を、そのアイコンと同じ地点を指し示すアイコンの表示地点を用いて補正する。このようにすることで、アイコンの地図上の表示地点をより正確に決定することができる。
【0023】
また、請求項9に記載の発明は、請求項6ないし8のいずれか1つに記載の動画・地図連動表示システムにおいて、前記第1の表示端末の前記動画再生手段(174)は、前記受信手段(172)が受信した前記第1の動画を再生する際に、前記第1の動画に登録されたアイコン(以下、再生動画登録アイコン)と、前記第1の動画以外の動画に登録され、かつ、前記第1の動画の撮影経路沿いにあるアイコン(以下、他動画登録アイコンという)を取得し、取得した前記再生動画登録アイコンおよび前記他動画登録アイコンのそれぞれが前記第1の動画中のどのフレーム区間に表示されるべきかを決定する決定処理(637)を実行し、その後、前記第1の動画を再生し、その再生中に、前記前記再生動画登録アイコンおよび前記他動画登録アイコンを、前記動画中アイコン表示区間・位置決定処理(637)で決定したフレーム区間および位置に表示させ、前記決定処理(637)においては:取得した前記再生動画登録アイコンのそれぞれについては、当該再生動画登録アイコンの動画−アイコンリンク情報中のアイコン表示フレーム区間に従って、当該再生動画登録アイコンを前記第1の動画中のどのフレーム区間に表示されるべきかを決定し、取得した前記他動画登録アイコンのそれぞれについては、当該他動画登録アイコンの動画−アイコンリンク情報からアイコン表示フレーム区間およびフレーム中アイコン表示位置を読み出し、当該他動画登録アイコンの登録先の動画(以下、他動画という)と前記第1の動画の移動方向が同じであるか否かを、前記他動画および前記第1の動画の動画経路情報に基づいて判定し、移動方向が同じである場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間(81a〜81b)に対応する撮影地点範囲(82a〜82b)と、前記第1の動画において当該他動画登録アイコンを表示する表示フレーム区間(83a〜83b)に対応する撮影地点範囲(82a〜82b)とが同じになるよう、前記第1の動画において当該他動画登録アイコンを表示するフレームの区間(83a〜83b)を決定し、移動方向が同じである場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間(81a〜81b)に対応する撮影地点範囲(82a〜82b)と、前記第1の動画において当該他動画登録アイコンを表示する表示フレームの区間(83a〜83b)に対応する撮影地点範囲(82a〜82b)とが同じになるよう、前記第1の動画において当該他動画登録アイコンを表示するフレームの区間(83a〜83b)を決定し、移動方向が逆である場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間(84a〜84b)に対応する撮影地点範囲(85a〜85b)の終点(85b)に対して、当該撮影地点範囲(85a〜85b)とは逆の方向から到達するような地点範囲(85c〜85b)が、前記第1の動画において当該他動画登録アイコンを表示するフレームの区間(86c〜86b)に対応する撮影地点範囲(85c〜85b)となるよう、前記第1の動画において当該他動画登録アイコンを表示するフレームの区間(86c〜86b)を決定することを特徴とする。
【0024】
決定処理(637)がこのようになっていることで、第1の動画中で表示フレーム区間が確定されていない他動画登録アイコンであっても、少なくとも表示区間と方向に基づいて、少ない処理負荷でユーザに分かりやすい情報提示が可能となる。これによって、他動画登録アイコンが表示されないことによるユーザへの不利益や、高負荷処理によるシステム動作不良を抑えることができる。
【0025】
また、請求項10に記載の発明は、請求項6ないし9のいずれか1つに記載の動画・地図連動表示システムにおいて、 前記第1の表示端末の前記動画再生手段(174)は、前記第1の動画の再生中に、前記第1の動画中に複数のアイコン(91a〜91f)が表示され、前記複数のアイコン(91a〜91f)のうちの少なくとも1つのアイコンのアイコン情報として他の情報へのリンクが表示され、そのリンクがユーザによって選択された場合は、一旦リンク先リストに当該リンクを保持し、そして、前記第1の動画中からアイコンがなくなるまでは、アイコン情報中のリンクが選択される度にそのリンクを前記リンク先リストに追加し、前記第1の動画中からアイコンがなくなったタイミングで、前記リンク先リスト中のリンク先のコンテンツを表示して再生動画の再生を一時停止することを特徴とする。
【0026】
動画再生中にアイコン情報にある他の情報(例えば、他動画、ないしはWEBページ)へのリンクを選択し、その情報が直ちに表示される場合、一旦動画の再生を一時停止しなければリンク先のコンテンツを見ることはできない。例えば、商店街を通過する場合のように、多くのアイコンが一度に動画に表示されている場合には、表示されるリンクの数も多くなるので、リンクを選択する度に動画の再生を中断するとスムーズに動画を見ることができなくなる恐れがある。だからといって、動画終了後まで待った上でリンク先のコンテンツを表示するのでは、表示が遅すぎてどのリンク先のコンテンツを表示したのか分からなくなってしまう。従って、適切なタイミングで動画の再生を一時停止し、リンク先のコンテンツを見る機会を作る必要がある。
【0027】
そこで、上記のように、第1の動画中に複数のアイコンが表示されているときにリンクが選択された場合、アイコンがひとつも表示されていないフレーム区間になるまでリンク先のコンテンツを表示しないようにし、アイコンがひとつも表示されなくなったタイミングでリンク先のコンテンツを表示する。このように、アイコンの表示が複数表示された場合は、アイコンの表示が途切れるきりのいいタイミングで、リンク先のコンテンツを表示することにより、ユーザに優しい情報表示が可能になる。
【0028】
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
【図面の簡単な説明】
【0029】
【図1】本発明に係る動画・地図連動表示システムの概要を示す図である。
【図2】動画撮影装置1、データサーバ2、表示端末3の構成例を示す図である。
【図3】各データベース20a〜20dに含まれる情報の一覧を示す図である。
【図4】動画撮影装置1、データサーバ2、表示端末3間でやりとりされるデータの流れを示す図である。
【図5】動画登録時の動画・地図連動表示システムの作動のシーケンス図である。
【図6】データサーバから表示端末に送信される地図画像および動画の例を示す図である。
【図7】動画にアイコンを登録する際におけるデータサーバ2、表示端末3の作動のシーケンス図である。
【図8】アイコンの表示開始点を設定するときの表示画面の一例を示す図である。
【図9】アイコンの表示終了点を設定するときの表示画面の一例を示す図である。
【図10】アイコン付加情報等の入力を受け付ける画像45を示す図である。
【図11】アイコン登録処理のフローチャートである。
【図12】アイコン表示位置仮決定処理のフローチャートである。
【図13】アイコン46bの指し示す位置が動画撮影装置の移動と共に変化することを示す図である。
【図14】アイコン表示位置仮決定処理における地点50の算出方法を示す図である。
【図15】アイコン表示地点確度設定処理のフローチャートである。
【図16】動画中に登録されたアイコン61aの表示例を示す図である。
【図17】動画検索のための作動のシーケンス図である。
【図18】動画検索処理のフローチャートである。
【図19】複数アイコン選択時用処理のフローチャートである。
【図20】複数アイコン選択時用処理におけるデータの抽出手順を示す模式図である。
【図21】アイコン検索およびアイコン検索に続く動画再生開始フレーム決定のための作動の一例示すシーケンス図である。
【図22】アイコン検索処理のフローチャートである。
【図23】動画再生開始フレーム決定処理のフローチャートである。
【図24】動画再生開始フレーム決定処理の処理手順を示す模式図である。
【図25】地図および動画の表示処理の作動を示すシーケンス図である。
【図26】地図表示処理のフローチャートである。
【図27】重み付き平均の算出例を概略的に示す図である。
【図28】動画再生処理のフローチャートである。
【図29】動画中アイコン表示区間・位置決定処理のフローチャートである。
【図30】他動画登録アイコン表示区間・位置決定処理のフローチャートである。
【図31】再生動画とアイコンが登録された他動画とで移動方向が同じ場合における表示開始フレーム83aおよび表示終了フレーム84aを示す図である。
【図32】再生動画とアイコンが登録された他動画とで移動方向が逆の場合における表示開始フレーム86cおよび表示終了フレーム86bを示す図である。
【図33】アイコン表示処理のフローチャートである。
【図34】アイコン情報がまとめて表示される例を示す図である。
【図35】アイコンリンク先選先択処理のフローチャートである。
【図36】アイコンリンク先選先表示理のフローチャートである。
【図37】動画中のアイコン表示の推移とリンク先の表示の推移を示す図である。
【発明を実施するための形態】
【0030】
以下、本発明の一実施形態について説明する。図1に示すように、本実施形態に係る動画・地図連動表示システムは、地点情報取得機能付きの複数の動画撮影装置1、データサーバ2、および複数の表示端末3を含んでいる。
【0031】
地点情報取得機能付きの動画撮影装置1のそれぞれは、自機の現在位置を特定する機能を有すると共に、自機の周囲の風景の画像を撮影して動画として記録する機能を有している。記録された動画は、現在位置を特定する機能を用いて特定されたその動画の撮影経路の情報と共に、データサーバ2に送られる。データが送られる方法は、データ通信であってもよいし、そのデータが記憶された記憶媒体を動画撮影装置1からデータサーバ2に付け替える方法であってもよい。また、動画撮影装置1は、車両に搭載されていてもよいし、歩行者に携帯されていてもよい。
【0032】
このような動画撮影装置1の例としては、GPS(Global Positioning System)機能付きデジタルカメラ1a、GPS機能付きビデオカメラ1b、GPS機能付きドライブレコーダ1cがある。GPS機能とは、GPS衛星からの信号に基づいて現在位置を特定する機能をいう。GPS機能付きデジタルカメラ1aおよびGPS機能付きビデオカメラ1bは、ユーザに携帯されて移動し、その移動の際に自機の周囲の風景を動画として撮影および記録することができる。GPS機能付きドライブレコーダ1cは、車両に搭載され、車両の移動と共に移動し、その移動の際に車両の周囲の風景を動画として撮影および記録することができる。
【0033】
データサーバ2は、動画撮影装置1から送られた動画データを蓄積し、それを地図のデータおよび付加情報のデータと共に表示端末3に送信することによって、表示端末3で地図および動画を表示させる装置である。図1に示すように、このデータサーバ2は、動画データサーバ機能、地図データサーバ機能、および付加情報データサーバ機能を有している。本実施形態においては、データサーバ2は、1台でこれら3つの機能を実現するようになっている。しかし、データサーバ2は、複数台でこれら機能を実現するようになっていてもよい。
【0034】
表示端末3のそれぞれは、データサーバ2から受信した動画データ、地図データ、付加情報データを表示する装置である。また、表示端末3は、ユーザの操作に応じて、表示した動画に関連付けた付加情報をデータサーバ2に送信して登録するようにもなっている。このような表示端末3としては、例えば、パーソナルコンピュータ3a、携帯電話機3b、通信機能を有するテレビ受像器3c、図示しないPND(Portable Navigation Device、携帯型ナビゲーション装置)および図示しない据置型カーナビゲーション装置等がある。
【0035】
図2に、本実施形態における動画撮影装置1、データサーバ2、表示端末3の構成を示す。この図に示すように、動画撮影装置1とデータサーバ2との間のデータ通信は、例えば、無線基地局4、無線基地局と接続する電話局5、および電話局と接続する広域ネットワーク6を介して行う。また、データサーバ2と表示端末3との間のデータ通信は、例えば広域ネットワーク6を介して行う。
【0036】
動画撮影装置1は、データ通信部10、表示部11、制御部12、スイッチ情報入力部13、位置検出部14、動画保存部15、動画撮影部16を備えている。データ通信部10は、無線基地局4、電話局5、広域ネットワーク6を介してデータサーバ2と通信を行うための周知の無線インターフェース装置である。表示部11は、制御部12の制御に従って各種情報を文字または画像で表示する装置である。制御部12は、データ通信部10、スイッチ情報入力部13から受けた信号に応じた処理を行い、その処理において、必要に応じてデータ通信部10、表示部11、動画撮影部16を制御し、位置検出部14、動画保存部15から情報を取得する。制御部12としては、例えばROM等に記録されているプログラムを実行することで各種機能を実現する周知のマイクロコンピュータを用いることができる。制御部12の具体的な処理内容については後述する。
【0037】
スイッチ情報入力部13は、ユーザの入力操作を直接受け付け、受け付けた入力操作の内容に応じた信号を制御部12に出力する。
【0038】
位置検出部14は、動画撮影装置1の現在位置を特定し、特定した現在位置の情報を制御部12に出力する装置である。このような装置としては、例えば、GPS受信機を用いることができる。動画保存部15は、動画撮影部16によって撮影された動画データを記憶する記憶媒体(例えば、磁気記憶媒体、フラッシュメモリ等)である。
【0039】
動画撮影部16は、制御部12の制御に従って、自機の周囲の風景を所定のフレームレート(例えば1秒に30フレーム)で繰り返し撮影し、繰り返し撮影された複数の撮影画像(すなわちフレーム)の集合体を、動画像として動画保存部15に記録する。
【0040】
表示端末3は、入力部30、回線端末装置31、制御部32、および表示部33を有している。入力部30は、ユーザの入力操作を直接受け付け、受け付けた入力操作の内容に応じた信号を制御部32に出力する。入力部30としては、例えば、キーボード、マウス、タッチパネル、リモートコントローラがある。回線端末装置31は、広域ネットワーク6を介してデータサーバ2との通信を行うためのインターフェース回路である。表示部33は、制御部32の制御に従って各種情報を文字または画像で表示する装置である。
【0041】
制御部32は、回線端末装置31、制御部32から受けた信号に応じた処理を行い、その処理において、必要に応じて回線端末装置31、表示部33を制御する。制御部32としては、例えばROM等に記録されているプログラムを実行することで各種機能を実現する周知のマイクロコンピュータを用いることができる。制御部32の具体的な処理内容については後述する。
【0042】
データサーバ2は、データベース部20、回線端末装置21、制御部22、およびを有している。回線端末装置21は、無線基地局4、電話局5、広域ネットワーク6等を介して動画撮影装置1および表示端末3との通信を行うためのインターフェース回路である。制御部22は、回線端末装置21から受けた信号に応じた処理を行い、その処理において、必要に応じてデータベース部20に対してデータの書き込みおよび読み出しを行う。制御部22としては、例えばROM等に記録されているプログラムを実行することで各種機能を実現する周知のマイクロコンピュータを用いることができる。
【0043】
データベース部20は、記憶媒体(例えば、磁気記憶媒体、フラッシュメモリ)を有し、この記憶媒体中には、動画データベース20a、地図データベース20b、アイコンデータベース20c、リンクデータベース20dが記録されるようになっている。
【0044】
図3に、各データベース20a〜20dに含まれる情報の一覧を示す。
【0045】
動画データベース20aには、複数個の動画情報が記録されるようになっている。個々の動画情報中では、1つの動画についての各種情報がまとめられている。具体的には、1つの動画情報中には、1つの動画についての動画ID、動画データ、撮影日時、再生時間、フォーマット、カメラ特性、投稿者情報、および動画付加情報等の情報が含まれる。
【0046】
動画IDは、その動画を一意に識別するための識別子(例えば識別番号)である。動画データは、当該動画そのもののデータである。撮影日時は、当該動画を撮影した日時の情報である。再生時間は、当該動画の総再生時間である。フォーマットは、当該動画の圧縮フォーマット(例えば、MPEG2、MPEG4)である。カメラ特性は、当該動画の撮影に用いられたカメラの特性(具体的には画角、または画角を決定するための各種カメラ特性)である。投稿者情報は、当該動画をデータサーバ2に送った人を識別する情報(例えば氏名、アカウント名、ニックネーム等)である。
【0047】
動画付加情報は、当該動画の内容をより詳しく説明するための情報である。この動画付加情報は、後述するように、動画撮影装置1を用いて当該動画をデータサーバ2に送信した人、または、表示端末3を用いて当該動画を閲覧した人が付加する情報である。動画付加情報としては、例えば、テキストデータ、画像データ、他の情報源(例えばデータサーバ2内の他の動画、データサーバ2以外のWebページ)へのリンク(例えばURL(Uniform Reference Locator))を示すリンク情報、当該動画の特徴を示す文字列であるタグ、当該動画の再生回数等がある。
【0048】
地図データベース20bには、地図情報が記録されている。地図情報は、道路の位置、接続関係、形状を示す道路情報、施設の名称、所在位置、種別を示す施設情報、各種地点の住所を示す住所情報、山、川、海等の自然構造物の位置、種別を示す構造物情報、各地点の標高を示す標高情報等が含まれる。
【0049】
アイコンデータベース20cには、複数個のアイコン情報が記録されるようになっている。アイコンとは、後述するように、地点(施設、自然構造物等)を指し示すために表示端末3のユーザによって動画中に登録され、動画中および地図中に表示される絵柄または記号の画像をいう。個々のアイコン情報中では、1つのアイコンについての各種情報がまとめられている。具体的には、1つのアイコン情報中には、1つのアイコンについてのアイコンID、登録者情報、アイコン付加情報、登録目的、種別、同一地点アイコンID等の情報が含まれる。
【0050】
アイコンIDは、当該アイコンを一意に識別するための識別子(例えば識別番号)である。登録者情報は、当該アイコンを登録したユーザを識別する情報(例えば氏名、アカウント名、ニックネーム等)である。
【0051】
アイコン付加情報は、当該アイコンの指し示す地点をより詳しく説明する情報である。このアイコン付加情報は、後述するように、表示端末3を用いて当該アイコンを登録したユーザ、または、表示端末3を用いて当該アイコンを閲覧したユーザが付加する情報である。アイコン付加情報としては、例えば、テキストデータ、画像データ、他の情報源(例えばWebサイト、動画)へのリンクを示すリンク情報、当該アイコンの特徴を示す文字列であるタグ、当該アイコンの再生回数等がある。
【0052】
登録目的は、当該アイコンが登録された目的(広告する、コメントを付加する、お気に入りであることを示す情報を付加する)である。種別は、当該アイコンが指し示すもの(例えば、施設、自然構造物等)の種別(例えば、コンビニエンスストア、ホテル、飲食店、イベント会場等)である。同一地点アイコンIDは、当該アイコンと同一の地点を指し示しているとみなした他のアイコンのアイコンIDである。
【0053】
リンクデータベース20dは、動画、地図およびアイコン間相互の関連を示すための情報を記録するようになっている。具体的には、複数個の動画−地図リンク情報、複数個の動画−アイコンリンク情報、および、複数個の地図−アイコンリンク情報を含むようになっている。
【0054】
動画−地図リンク情報は1つの動画につき1つ記録されており、個々の動画−地図リンク情報は、1つの動画が地図上のどの道路範囲で撮影されたかを示すための情報である。動画−アイコンリンク情報は1つのアイコンにつき1つ記録されており、個々の動画−アイコンリンク情報は、1つのアイコンがどの動画中のどの範囲に登録されたかを示すための情報である。地図−アイコンリンク情報は1つのアイコンにつき1つ記録されており、個々の地図−アイコンリンク情報は、1つのアイコンが地図上のどの地点を指し示しているかを示すための情報である。
【0055】
具体的には、ある動画に対応する動画−地図リンク情報は、当該動画の動画ID、動画表示地点情報、および動画経路情報を含んでいる。動画表示地点情報は、当該動画の存在を示すマークを地図中のどの地点(または地点範囲)に配置するかを示す。動画経路情報は、当該動画を撮影した経路(以下、撮影経路という)中の複数の撮影地点(撮影開始地点、撮影終了地点、およびそれらの間の複数の中間地点)を、当該撮影地点における撮影時刻に対応付ける情報である。つまり、撮影地点とその撮影地点における撮影時刻との組を複数有する情報である。
【0056】
また、あるアイコンに対応する動画−アイコンリンク情報は、動画ID、当該アイコンのアイコンID、表示開始点、表示終了点の情報を含んでいる。動画IDは、当該アイコンが登録された先の動画の動画IDである。表示開始点は、当該動画中で当該アイコンが登録された時間範囲の始点となるフレーム(以下、アイコン表示開始フレームという)、および当該表示開始フレーム中のアイコン登録位置の位置座標(以下、表示開始フレーム中アイコン表示位置という)を含む情報である。表示終了点は、当該動画中で当該アイコンが登録された時間範囲の終点となるフレーム(以下、アイコン表示終了フレームという)、および当該アイコン表示終了フレーム中のアイコン登録位置の位置座標(以下、表示終了フレーム中アイコン表示位置という)を含む情報である。
【0057】
また、あるアイコンに対応する地図−アイコンリンク情報は、当該アイコンのアイコンID、アイコン表示地点情報、アイコン経路情報、およびアイコン表示地点確度情報を含んでいる。
【0058】
アイコン表示地点情報は、当該アイコンを地図中のどの位置に配置するかを示す。アイコン経路情報は、動画の撮影経路のうち、動画中においてアイコンが表示されるべき部分である。より具体的には、アイコン経路情報は、動画中の当該アイコンが登録された時間範囲において当該動画を撮影した動画撮影装置1が移動した経路(始点、終点、およびそれらの間の複数の中間地点)を示す。アイコン表示地点確度情報は、当該アイコン表示地点情報の正確度を示す情報である。
【0059】
次に、このような構成の動画・地図連動表示システムの作動について説明する。図4は、動画・地図連動表示システムにおいて動画撮影装置1、データサーバ2、表示端末3間でやりとりされるデータの流れを示す図である。以下、この図を適宜参照して作動の説明を行う。なお、上記の各作動において、動画撮影装置1の制御部12、データサーバ2の制御部22、表示端末3の制御部32は、プログラムをROM等から読み出して実行することで、そのような作動を実現する。
【0060】
[1]動画登録
まず、動画を動画撮影装置1からデータサーバ2に登録する際の作動について説明する。図5は、動画の登録時における動画撮影装置1、データサーバ2、表示端末3の作動手順を示すシーケンス図である。動画登録時に動画撮影装置1からデータサーバ2に送信されるデータは、図4に示す通りである。
【0061】
まず動画撮影装置1は、動画撮影を行う(ステップ101)、この動画撮影は、動画撮影装置1の移動中にユーザがスイッチ情報入力部13に対して撮影開始の操作を行ったときに始まり、その後ユーザがスイッチ情報入力部13に対して撮影終了の操作を行ったときに終了する。つまり、制御部12が、撮影開始の操作があったときに動画撮影部16を制御して撮影を開始させ、撮影終了の操作があったときに動画撮影部16を制御して撮影を終了させる。このようにして撮影された動画は、動画保存部15に動画データとして記録される。
【0062】
続いて動画撮影装置1は、撮影された動画データに情報を関連付けて動画保存部15に記録する(ステップ102)。動画データに関連付ける情報は、図4に示す通り、図3に示した動画情報のうち、動画データおよび動画ID以外の情報がある。
【0063】
動画データに関連付ける撮影日時は、撮影開始時または終了時の日時とする。また、関連付ける再生時間は、撮影開始時刻から撮影終了時刻までの時間とする。関連付けるフォーマット、カメラ特性は、あらかじめ定められた値を用いる。また、関連付ける投稿者情報および動画付加情報は、ユーザがスイッチ情報入力部13を用いて入力し、その入力された情報を採用してもよい。
【0064】
さらに動画データに関連付ける情報としては、図4に示す通り、図3に示した動画−地図リンク情報のうち、動画経路情報がある。このために、動画撮影装置1の制御部12は、動画撮影部16が撮影を開始したタイミングから撮影を終了するタイミングまで、繰り返し(例えば定期的に1秒周期で)位置検出部14から現在位置を取得し、取得した現在位置と現在時刻の組を、逐次動画保存部15に記録しておく。このように記録された情報は、当該動画の撮影開始地点から撮影終了地点までの時刻情報付きの経路データとなり、このデータを、動画経路情報として当該動画に関連付ける。
【0065】
続いて動画撮影装置1は、データ通信部10を用いて、ステップ102で作成した情報をデータサーバ2に送信する(ステップ103)。
【0066】
するとデータサーバ2の制御部22は、回線端末装置21を介してその情報を受信し(ステップ104)、受信した情報中の動画データ用の動画IDを作成する(ステップ105)。この動画IDについては、それまでに作成した動画IDとは値が異なるようにする。
【0067】
続いて制御部22は、当該動画に対応する動画表示地点情報を作成する(ステップ106)。本実施形態では、動画撮影装置1から受信した動画経路情報に基づいて、当該動画経路情報が示す経路(すなわち動画撮影時に動画撮影装置1が移動した撮影経路)のすべての範囲を動画表示地点情報とする。しかし、他の例として、当該動画経路情報の始点となる地点、終点となる地点、および、動画経路情報が示す経路(以下、単に撮影経路という)上の始点と終点の中間点のうちいずれか1つを動画表示地点情報としてもよい。
【0068】
続いて、受信した動画データ、撮影日時、再生時間、フォーマット、カメラ特性、投稿者情報、および動画付加情報と、作成した動画IDとの組を、1個の動画情報として動画データベース20aに記録する。さらに、受信した動画経路情報と、ステップ105で作成した動画IDと、ステップ106で作成した動画表示地点情報との組を、1個の動画−地図リンク情報としてリンクデータベース20dに記録する(ステップ107)。
【0069】
このようにして、動画撮影装置1で撮影された動画およびそれに対応する動画情報および動画−地図リンク情報が、データサーバ2のデータベース部20に登録される。以上のような処理がデータサーバ2と複数の動画撮影装置1との間で繰り返されることにより、データサーバ2の地図データベース中の地図に対する1つの動画の登録が繰り返され、その結果、地図に複数の動画が登録される。なお、登録される動画の撮影経路は、重複する場合もある。
【0070】
その後、データサーバ2は必要に応じて地図画像のデータおよび動画データを表示端末3に送信し(ステップ108)、表示端末3では、回線端末装置31を介して地図画像データおよび動画データを受信した制御部32が、これら地図画像のデータおよび動画データを用いて表示部33に地図画像および動画を表示させる。
【0071】
図6に、データサーバ2から表示端末3に送信される地図および動画の例を示す。データサーバ2の制御部22は、動画−地図リンク情報中の動画表示地点情報に基づいて、送信用の地図画像中に動画表示地点情報で示された地点が含まれるか否かを判定し、含まれる場合は、地図画像のその地点を強調した画像および当該動画表示地点情報に対応する動画の動画情報および動画−地図リンク情報を表示端末3に送信する。本実施形態の場合、動画表示地点情報で示された地点は、撮影経路の全体である。したがって、図6のように、地図画像41中において、ある動画が撮影された撮影経路41aおよび別の動画が撮影された撮影経路41bが、強調して表示される。
【0072】
また、表示部33に地図画像41が表示されている状態で、表示端末3のユーザが入力部30を用いて撮影経路41aを選択した場合、制御部32はその選択した撮影経路41aに対応する動画情報中の動画データを再生して表示部33に表示させる。
【0073】
あるいは、表示部33に地図画像41が表示されている状態で、表示端末3のユーザが入力部30を用いて撮影経路41aを選択した場合、制御部32はその選択した撮影経路41aの情報をデータサーバ2に送信し、データサーバ2の制御部22は、その選択された撮影経路41aに対応する動画IDを動画−地図リンク情報から読み出し、読み出した動画IDを有する動画情報を動画データベース20aから抽出し、更にこの動画IDを有する動画−地図リンク情報リンクデータベース20dから読み出すようになっていてもよい。この場合制御部22は、読み出した動画情報および動画−地図リンク情報を表示端末3に送信する。そしてこの動画情報および動画−地図リンク情報を受信した表示端末3の制御部32は、動画情報中の動画データを再生して表示部33に表示させる。
【0074】
なお、動画42の再生の際、地図画像41と動画42とは、表示部33の同じ画面上に同時に表示させる。そして、動画−地図リンク情報中の動画経路情報(撮影時刻と撮影地点の組を複数有する情報)に基づいて、再生の進行に同期させて地図画像41中で撮影地点マーク41cを撮影経路41aに沿って移動させる。この際、撮影時刻の進行量とフレームの進行量との対応関係は、フレームレートから特定できる。これによって、動画42が現在表示しているフレーム(コマ)の画像が、撮影経路中のどの位置で撮影されたかが明確に視認できるようになる。
【0075】
なお、ここで示した地図および動画の表示の作動は、概略的なものであり、詳細な作動については後述する。
【0076】
[2]動画へのアイコン登録
次に、動画にアイコンを登録するための動画・地図連動表示システムの作動について説明する。図7は、動画にアイコンを登録する際におけるデータサーバ2、表示端末3の作動のシーケンス図である。動画へのアイコン登録時に表示端末3からデータサーバ2に送信されるデータは、図4に示す通りである。
【0077】
まず、上述の通り、表示端末3の制御部32は、データサーバ2から受信した動画情報中の動画データを再生して表示部33に表示させる(ステップ121)。その再生中は、動画の各フレームが時系列に沿って順番に表示部33に表示されることになる。
【0078】
動画の再生中、ユーザは入力部30を操作して、動画中のアイコンの表示開始点(表示開始フレーム、表示開始フレーム中アイコン表示位置)および表示終了点(表示終了フレーム、表示終了フレーム中アイコン表示位置)を指定し(図3の地図−アイコンリンク情報参照)、表示端末3は、その指定を受け付ける(ステップ122)。
【0079】
表示開始点および表示終了点は、(1)動画中の特定のフレーム、および(2)そのフレーム中の特定の位置または領域、として指定される。
【0080】
例えば、ユーザは、図8に示すように、表示部33において地図画像43の表示と共に撮影経路43aの動画44が表示されているとき、入力部30に対してアイコンを登録する旨の所定の操作を行う。すると制御部32は、動画44中に、表示開始点の指定を促すメッセージ(「アイコン表示開始地点をクリックしてください」)を表示させ、さらに、移動可能なポインタ44aに重ねてアイコン44bを表示させる。
【0081】
そしてユーザは、表示するフレーム任意に指定できるシークバー44c、停止ボタン44d、再生ボタン44eを操作することで、アイコン表示開始フレームにしたいフレームを表示させる。このとき制御部32は、地図画像43中で、そのフレームが撮影された地点にマーク43bを移動させる。そして、ユーザは、そのフレーム中で入力部30を用いてポインタ44aおよびアイコン44bを共に移動させ、そのフレーム中の所望の位置にポインタ44aおよびアイコン44bが配置されたときに、所定の確定操作(例えばマウスのクリック)を行う。これによって制御部32は、その確定操作時において表示しているフレーム、およびそのフレーム中のアイコン44bの位置座標を、アイコンの表示開始点(アイコン表示開始フレームおよび表示開始フレーム中アイコン表示位置)として特定する。
【0082】
続いて制御部32は、図9に示すように、動画44中に、表示終了点の指定を促すメッセージ(「アイコン表示終了点をクリックしてください」)を表示させ、さらに、ポインタ44aに重ねてアイコン44bを表示させる。
【0083】
そしてユーザは、シークバー44c、停止ボタン44d、再生ボタン44eを操作することで、アイコン表示終了フレームを表示させ、そのフレーム中で入力部30を用いてポインタ44aおよびアイコン44bを共に移動させ、そのフレーム中の所望の位置にポインタ44aおよびアイコン44bが配置されたときに、所定の確定操作を行う。これによって制御部32は、その確定操作時において表示しているフレーム、およびそのフレーム中のアイコン44bの位置座標を、アイコンの表示終了点(アイコン表示終了フレームおよび表示終了フレーム中アイコン表示位置)として特定する。
【0084】
なお、アイコン表示開始点、アイコン表示終了点は、いずれか一方のみユーザが登録する形式としてもよい。
【0085】
例えば、アイコン表示開始点をユーザが設定し、アイコン表示終了フレームをアイコン表示開始フレームから一定時間経過後の表示フレーム、または撮影地点が一定距離移動した後の表示フレームとし、表示終了フレーム中のアイコン表示位置を画像マッチング等で求めてもよい。
【0086】
このようにして得られたアイコン表示開始フレームからアイコン表示終了フレームまでの区間は、アイコン表示フレーム区間に相当する。また、表示開始フレーム中アイコン表示位置および表示終了フレーム中アイコン表示位置は、アイコン表示フレーム区間中の2つのフレーム(すなわちアイコン表示フレーム区間の両端のフレーム)におけるフレーム中アイコン表示位置に相当する。
【0087】
なお、後述する通り、表示端末3は、動画の再生中に、アイコンを動画に重畳させて表示する。そして、アイコンを表示するフレームの区間(すなわち、アイコン表示フレーム区間)は、上記のように特定されたアイコン表示開始フレームからアイコン表示終了フレームまでのすべての範囲である。
【0088】
続いてユーザは入力部30を用いて、当該アイコンに付加するアイコン付加情報等(図3のアイコン情報参照)を入力し、制御部32は、そのアイコン付加情報(他の情報の一例に相当する)の入力を受け付ける(ステップ123)。
【0089】
例えば、制御部32は、図10に示すような入力受付画像45を表示部33に表示させる。そしてユーザは、この入力受付画像45に従って、アイコンのタイトル、アイコンの種別、リンク、コメント、関連動画の指定(リンク等)を、入力部30を用いて入力し、入力後、確定ボタン44fを選択する。
【0090】
続いて制御部32は、ステップ122、123で受け付けた情報を元に、アイコン情報および動画−アイコンリンク情報を作成する(ステップ124)。
【0091】
ただし、図3と図4の比較からわかる通り、アイコンデータベース20cに記録されるべきアイコン情報のうち、アイコンIDおよび同一地点アイコンIDは作成しない。また、リンクデータベース20dに記録されるべき動画−アイコンリンク情報のうち、アイコンIDは作成しない。アイコンIDおよび同一地点アイコンIDは、後述するようにデータサーバ2で作成されるからである。ただし、動画IDは、現在再生している動画の動画IDなので、表示端末3側で動画−アイコンリンク情報に含めてもよい。
【0092】
ここで、アイコン情報に含める登録者情報(他の情報の一例に相当する)は、あらかじめ表示端末3に記録されていてもよいし、ユーザに入力部30から入力させることで取得してもよい。また、登録目的(他の情報の一例に相当する)についても、ユーザに入力部30から入力させることで取得してもよい。また、動画−アイコンリンク情報に含める動画IDは、現在再生している動画の動画IDとする。
【0093】
続いて制御部32は、作成したアイコン情報および動画−アイコンリンク情報を、回線端末装置31を用いてデータサーバ2に送信する(ステップ125)。そしてデータサーバ2の制御部22は、回線端末装置21を介してそれら情報を受信する(ステップ126)。
【0094】
アイコン情報および動画−アイコンリンク情報を受信した制御部22は、続いてアイコン登録処理を実行する(ステップ127)。アイコン登録処理は、表示端末3から受信したアイコン情報および動画−アイコンリンク情報に基づいて、アイコン情報および動画−アイコンリンク情報の不足している情報を作成すると共に、地図−アイコンリンク情報を作成し、それらの情報をデータベース部20に記録する処理である。図11に、アイコン登録処理の詳細をフローチャートで示す。
【0095】
この図11に示すように、制御部22は、まずステップ210で、受信したアイコン情報および動画−アイコンリンク情報に付加するためのアイコンIDを作成し、そのアイコンIDを当該アイコン情報および動画−アイコンリンク情報に付加し、それらアイコン情報および動画−アイコンリンク情報のそれぞれをアイコンデータベース20cおよびリンクデータベース20dに記録する。また、地図−アイコンリンク情報を作成し、作成した地図−アイコンリンク情報に当該アイコンIDおよびアイコン経路情報を付加した上で、リンクデータベース20dに記録する。
【0096】
なお、付加するアイコン経路情報は、受信した動画−アイコンリンク情報中の表示点のフレーム(すなわちアイコン表示開始フレーム)および表示終了点のフレーム(すなわちアイコン表示終了フレーム)の情報、および、受信した動画−アイコンリンク情報と同じ動画IDを有する動画−地図リンク情報中の動画経路情報(撮影時刻と撮影地点の組を複数有する情報)内の撮影時刻とを、所定のフレームレートを用いて対応付けることで算出することができる。
【0097】
すなわち、アイコン表示開始フレームが当該動画中のNa番目のフレームであり、アイコン表示終了フレームが当該動画中のNb番目のフレームであり、当該動画の撮影開始地点における撮影時刻がT0[秒]である場合、Ta[秒]=T0+(Na−1)/Rの時刻における撮影地点が表示開始地点となり、Tb[秒]=T0+(Na−1)/Rの時刻における撮影地点が表示終了地点となる。
【0098】
ただし、Rは、[フレーム/秒]の単位で表される所定のフレームレートである。そして、アイコン経路情報は、このようにして算出した表示開始地点から表示終了地点までの動画経路情報に沿った経路を表す情報となる。
【0099】
このようにすることで、同じ新たなアイコンIDを有するアイコン情報、動画−アイコンリンク情報、地図−アイコンリンク情報が、データベース部20中に記録される。つまり、同じ新規アイコンに対応するアイコン情報、動画−アイコンリンク情報、地図−アイコンリンク情報が作成される。ただしこの時点では、アイコン情報中の同一地点アイコンIDの内容は空であり、当該アイコンに対応する地図−アイコンリンク情報には、アイコン表示地点情報およびアイコン表示地点確度情報が欠けている。
【0100】
制御部22は、続くステップ220のアイコン表示地点仮決定処理で、アイコン表示地点情報を作成して地図−アイコンリンク情報に付加し、さらに続くステップ230のアイコン表示地点確度設定処理で、アイコン表示地点確度情報を作成して地図−アイコンリンク情報に付加する。そして続くステップ240〜280で、必要に応じてアイコン情報中に同一地点アイコンIDを付加する。
【0101】
図12に、アイコン表示地点仮決定処理の詳細をフローチャートで示す。アイコン表示地点仮決定処理で作成するアイコン表示地点情報は、動画に登録されたアイコンを地図上にも表示する際に、どの地点に表示するかを決定するための情報である。登録されるアイコンは、特定の地点(例えば施設の所在地点)を指し示すものであるから、地図上の当該特定の地点にアイコンを表示することが望ましい。本実施形態では、図13、図14に示すように、動画46の撮影の進行に伴って動画撮影装置1が移動することにより、動画46中で撮影後にアイコンで指し示したい地点46bの位置が変化することを利用して、アイコン表示地点情報を作成する。
【0102】
このアイコン表示位置仮決定処理において制御部22は、まずステップ221で、この新規アイコンの表示開始時および終了時における動画撮影装置1の撮影地点の情報を取得する。具体的には、当該新規アイコンに対応する地図−アイコンリンク情報中のアイコン経路情報を利用して取得する。つまり、アイコン経路情報の始点の地点を、アイコン表示開始時における撮影地点として特定し、アイコン経路情報の終点の地点を、アイコン表示終了時における撮影地点として特定する。
【0103】
続いてステップ222では、アイコン表示開始時および表示終了時における動画の撮影方向を取得する。ここでいう撮影方向とは、道路に沿った2つの互いに逆な方向(往路方向、復路方向)のどちらであるかを示せる情報であってもよいし、方位を示す情報であってもよい。この撮影方向は、動画−地図リンク情報中の動画経路情報に基づいて、アイコン表示開始時の撮影地点からアイコン表示終了時の撮影地点までの方向として、特定することができる。
【0104】
続いてステップ223では、アイコン表示開始時および表示終了時における、動画のフレーム内でのアイコンの表示位置を座標値で特定する。具体的には、図13の例においては、アイコン表示開始フレーム46中の左右方向の中心線46aからアイコン46bの表示位置(表示開始フレーム中アイコン表示位置)までの左右方向への変位量46c、および、アイコン表示開始フレーム46中のアイコン46bの上下方向の位置を、座標値として算出する。そして、アイコン表示終了フレーム47中の左右方向の中心線47aからアイコン46bの表示位置(表示終了フレーム中アイコン表示位置)までの左右方向への変位量47c、および、アイコン表示終了フレーム47中のアイコン46bの上下方向の位置を、座標値として算出する。これら表示位置座標は、動画−アイコンリンク情報の表示開始フレーム中アイコン位置および表示終了フレーム中アイコン位置の情報から特定することができる。
【0105】
続いてステップ224では、アイコン表示開始時から表示終了時までの撮影地点の移動距離Lを算出する。この移動距離Lは、地図−アイコンリンク情報中のアイコン経路情報に基づいて、アイコン表示開始時の撮影地点からアイコン表示終了時の撮影地点までの直線距離(または撮影経路に沿った距離)として、算出することができる。
【0106】
続いてステップ225では、図14に示すxの値、すなわち、地図上におけるアイコン表示終了時の撮影地点52を基準とするアイコン表示地点50の相対位置座標の成分のうち、撮影経路の移動方向に平行な成分の値を算出する。ここで移動方向とは、アイコン表示開始時の撮影地点51からアイコン表示終了時の撮影地点52までの方向である。
【0107】
この値xは、x=L×R/(Q−R)という式で算出することができる。ここで、Lは、ステップ224で算出した移動距離である。またQは、図14におけるp/qの値であり、Rは、図14におけるp/rの値である。図14中の角度αは、動画撮影装置1の動画撮影部16の左右方向のカメラ画角の1/2である。したがって、rは、アイコン表示開始時の撮影地点51から距離(x+L)前方における撮影可能な横方向範囲の1/2であり、qは、撮影地点52から距離x前方における撮影可能な横方向範囲の1/2である。なお、ここでいう横方向は、アイコン表示開始時の撮影地点51からアイコン表示終了時の撮影地点52までの方向に垂直な方向をいう。
【0108】
したがって、R(=p/r)の値は、撮影地点51において撮影されたフレーム46(図13(a)参照)中の、中心線46aからアイコン表示位置46bまでの距離46cを、当該中心線46aからフレームの左右端部までの距離46dで除算した値である。また、Q(=p/q)は、撮影地点52において撮影されたフレーム46(図13(b)参照)中の、中心線46aからアイコン表示位置46bまでの距離46cを、当該中心線46aからフレームの左右端部までの距離46dで除算した値である。したがって、これらR、Qの値は、ステップ223で取得したアイコンの表示位置座標から特定することができる。
【0109】
続いてステップ226では、当該新規アイコンの登録先の動画を撮影した動画撮影部16について、カメラ特性がわかっているか否かを判定する。具体的には、当該動画の動画情報を動画データベース20aから読み出し、その中のカメラ特性の情報中に、カメラの画角2αを特定できるデータ(例えば画角2αそのもの)が含まれているか否かを判定する。
【0110】
カメラ特性がわかっていると判定した場合、続いてステップ227で、当該カメラ特性の情報に基づいてカメラの画角を算出し、その算出結果を用いて、図14に示すyの値、すなわち、地図上におけるアイコン表示終了時の撮影地点51を基準としたときの、アイコン表示地点50の移動方向に直交する成分の値を算出する。この値yは、y=[L×Q×R/(Q−R)]×tanαという式で算出することができる。
【0111】
カメラ特性がわかっていないと判定した場合、続いてステップ228では、ステップ225で算出した値xと地図データベース20b中の地図情報に基づいて、値yを推定する。
【0112】
具体的には、地図情報中の施設を検索する。検索する施設は、アイコン表示終了時の撮影地点52から値xに相当する距離だけ撮影経路の移動方向に沿って前方に進んだ地点53(図14参照)から、撮影経路の移動方向(撮影地点51から撮影地点52までの方向)に垂直な方向に位置する施設のうち、地点53に最も近い施設を検索する。ただし、移動方向に垂直な方向としては、地点51または52で撮影したフレーム46、47中で中心線46a、47aに対してアイコンが表示された側のみに限定する。つまり、地点51または52で撮影したフレーム中でアイコンが中央より右に位置している場合は、移動方向に垂直な(移動方向を前方としたときの右折方向)右折方向に限定し、当該アイコンが中央より左に位置している場合は、移動方向に垂直な左折方向(移動方向を前方としたときの左折方向)に限定する。そして、検索の結果抽出した施設の所在地点を、アイコン表示地点とする。そして、値yは、そのアイコン表示地点の地点を示す値とする。
【0113】
ステップ227またはステップ228に続いては、ステップ229で、地図上の算出した値x、yの地点50を、アイコン表示地点情報として、当該新規アイコンに対応する地図−アイコンリンク情報に付加する。本実施形態においては、このアイコン表示地点情報に記録した地点は、後述するように、当該アイコンを表示する地点を決めるための仮の表示地点である。しかし、他の例として、この仮の表示地点を実際の表示地点としてもよい。
【0114】
このように、アイコンを登録する任意の(すなわち、不特定な1つの、または、どれでもよい1つの)表示端末3のユーザが当該アイコンの登録先の任意の(すなわち、不特定な1つの、または、どれでもよい1つの)動画中のアイコン表示フレーム区間(アイコン表示開始フレームからアイコン表示終了フレームまでの区間)およびフレーム中アイコン表示位置(表示開始フレーム中アイコン表示位置、表示終了フレーム中アイコン表示位置)を指定することができ、また、データサーバ2が、その指定されたアイコン表示フレーム区間と、当該動画についてあらかじめ記録されている動画経路情報中の撮影時刻とを対応付けることで、撮影経路のうちアイコン表示フレーム区間が撮影された経路を示すアイコン経路情報を算出することができる。そして、当該動画のフレームのうち撮影経路中の2つの地点で撮影されたフレーム(アイコン表示開始フレームおよびアイコン表示終了フレーム)におけるフレーム中アイコン表示位置の情報と、アイコン経路情報から得られる当該2つの地点間の移動距離と、の関係に基づいて、当該アイコンが指し示す地点の地図上の位置、すなわち、地図上でアイコンを表示すべきアイコン表示地点を算出することができる。したがって、表示端末3のユーザが動画中で見つけた地点(施設、自然構造物等)に対して簡易に情報を登録することができる。
【0115】
ステップ220に続いてステップ230(図11参照)では、アイコン表示地点確度設定処理を実行する。このアイコン表示地点確度設定処理では、ステップ220で算出したアイコン表示地点の正確度を決定する処理である。図15に、このアイコン表示地点確度設定処理のフローチャートを示す。
【0116】
この処理において制御部22は、まずステップ232で、図12のステップ226と同じ方法でカメラ特性が分かっているか否かを判定し、分かっていれば続いてステップ234でアイコン表示地点確度情報の値を“高”に設定し、算出したアイコン表示地点に関連付けたアイコン表示地点確度情報として、地図−アイコンリンク情報に記録する。また、分かっていなければ続いてステップ236でアイコン表示地点確度情報の値を“低”に設定し、算出したアイコン表示地点に関連付けたアイコン表示地点確度情報として、地図−アイコンリンク情報に記録する。ステップ234または236の後、アイコン表示地点確度設定処理を終了する。
【0117】
地図上のアイコン表示地点を特定する方法には、上記のように動画の撮影地点を元に特定する方法以外にも、フレーム中のアイコン表示位置にある画像と、地図情報中にあらかじめ用意された複数の施設の画像と、の間で画像マッチングを行う方法、ユーザによる地図中の施設の選択を受け付ける方法撮影地点を元に算出する方法などが考えられる。画像マッチングによる方法は、特開2003−337947や特開2008−159031等にて検討されているので類似の方法を用いれば実現可能である。ユーザによる地図中の施設の選択を受け付ける場合、地図に表示されている該当施設ないしは該当地点を直接選択してもらうことで実現できる。
【0118】
動画の撮影地点を元にアイコン表示地点情報を算出する方法は、画像マッチングほど処理負荷が高くなく、またアイコン表示地点を直接ユーザに入力してもらうといったユーザに対して手間をかけることのない方法である。
【0119】
そして、カメラ特性が分かっている場合には、その情報を利用してアイコン表示地点の算出を行い、特性が分かっていない場合には画像と地図情報から推定することによって、多くの場合で自動でアイコン表示地点を決めることができるようになる。その際、特性が分かっていれば地点情報の確度を高くし、分からない場合には低くすることによって地点情報の補正の度合いを変えることができる。
【0120】
ステップ230に続いては、ステップ240で、仮の地点として決定したアイコン表示地点の近傍に同じ種別のアイコンが登録されているか否かを判定する。具体的には、リンクデータベース20d中の複数の地図−アイコンリンク情報から、今回新たに登録される新規アイコンとアイコン表示地点情報が近い(例えば10メートル等の所定距離以内にある)地図−アイコンリンク情報を抽出する。抽出の母集団となる地図−アイコンリンク情報は、アイコンデータベース20c中のすべての地図−アイコンリンク情報であり、今回の新規アイコンと同じ動画に登録されたか否かは問わない。そして、抽出した地図−アイコンリンク情報中の各アイコンIDに対応する種別を、アイコンデータベース20c中で当該アイコンIDを有するアイコン情報から取得する。そして、それら取得した種別のうち、今回の新規アイコンと同じ種別のアイコンIDを最終的に抽出する。
【0121】
続いてステップ250では、近傍に同種別のアイコンが存在するか否かを、ステップ250で最終的に抽出されたアイコンが1つ以上あるか否かで判定する。近傍に同種別のアイコン(他のアイコンの一例に相当する)が存在する場合、同一地点アイコンIDを追加するために続いてステップ260を実行し、近傍に同種別のアイコンが存在しない場合、同一地点アイコンIDを追加する必要がないので、アイコン登録処理を終了する。
【0122】
ステップ260では、抽出したアイコンが、今回の新規アイコンと同一の地点(同一の施設または同一の自然構造物)を指し示しているとみなすか否かを、今回の新規アイコンの登録者であるユーザに問い合わせる。具体的には、抽出したアイコンIDのアイコン情報を読み出し、読み出したアイコン情報を問い合わせ信号に含め、今回の新規アイコンの登録元の表示端末3に、この問い合わせ信号を送信する。
【0123】
この問い合わせ信号を受信した表示端末3の制御部32は、問い合わせ信号中のアイコン情報を表示部33に表示させ、登録した新規アイコンと同一の地点にあるか否かを問い合わせる。ユーザがこれに応じて入力部30を用いて返答(同一の地点にあるか否か)を入力すると、制御部32は、その返答をデータサーバ2に送信する(図7のステップ128)。
【0124】
この返答を受信したデータサーバ2の制御部22は、ステップ270で、返答の内容に基づいて、ユーザが同一地点にあるとみなしたか否かを判定し、みなしていると判定した場合、続いてステップ280に進み、みなしていないと判定した場合、同一地点アイコンIDを追加する必要がないので、アイコン登録処理を終了する。
【0125】
ステップ280では、最終的に抽出したアイコンIDのすべてを、同一地点アイコンIDとして、今回の新規アイコンのアイコン情報に付加する。それと共に、今回の新規アイコンのアイコンIDを、同一地点アイコンIDとして、最終的に抽出したアイコンIDに対応するアイコン情報のそれぞれに付加する。このようにすることで、同一地点を指し示しているとみなせるアイコンのグループにおいて、各アイコンのアイコン情報は、グループ中の他のアイコンのアイコンIDを同一地点アイコンIDとして有するようになる。同一地点を指し示しているとみなせるアイコンのグループのうち、すべてが互いに異なる動画に登録されている場合もあれば、一部または全部が同じ動画に登録されている場合もある。ステップ280の後、アイコン登録処理を終了する。
【0126】
また、以上のような処理が、登録したいアイコンの数だけ繰り返されることにより、上記動画に対するアイコンの登録または上記動画とは別の動画に対するアイコン(他動画登録アイコンに相当する)の登録が繰り返され、その結果、上記動画および上記動画とは別の複数の動画のそれぞれに1つまたは複数のアイコンが登録される。そして、上記と同様の作動で各アイコンに対応するアイコン情報、動画−アイコンリンク情報、地図−アイコンリンク情報が、データベース部20に記録される。
【0127】
そして、新たに動画にアイコンが登録されたとき、登録したい地点近傍に既に他の動画で登録されている他のアイコンがないか検索し、あれば同一地点(同一施設または同一自然構造物)であるかどうかをユーザに尋ね、同一であった場合は、既存のアイコンと同一地点を指し示している(同一地点である)という情報(つまり、同一地点アイコン情報)を当該新規アイコンのアイコン情報に付加する。
【0128】
なお、動画中にアイコンが登録され、その動画を表示端末3が再生する場合、表示端末3の表示部33における表示は図16に例示するようなものになる。すなわち、表示部33は、地図画像61を表示し、その地図画像61中には、撮影経路61xで撮影された1つの動画に登録されたアイコン61a〜61dが重畳表示されている。また、別の撮影経路61yで撮影された別の動画に登録されたアイコン61f、61gも、アイコン61a〜61dと共に同じ地図画像61中に重畳表示されている。このようになっていることで、別々の動画に対して登録された複数のアイコンを同じ地図上にまとめて表示させることができる。これら地図画像61中の各アイコン61a〜61d、61f、61gの表示位置は、後述するように、それぞれのアイコン表示地点情報およびアイコン表示地点確度情報に基づいて決められている。
【0129】
そして、表示部33には、地図画像61と同時に撮影経路61xを撮影した動画62も表示されている。そして、当該動画62中で、撮影地点がアイコン61aの手前となっているフレームでは、アイコン61aが当該フレームにも重畳される。さらに動画62中にアイコン62aが表示されている間、表示部33には、そのアイコン62aに対応するアイコン情報(アイコン付加情報、登録者情報、登録目的、種別等)が、地図画像61および動画62と同時に表示される。このような地図、動画、アイコン、アイコン情報の表示のための処理の詳細については、後述する。
【0130】
[3]動画検索
次に、動画検索について説明する。データサーバ2において複数の動画およびアイコンが登録されている状態で、ある表示端末3(第1の表示端末に相当する)のユーザは、所望の動画をデータサーバ2に検索させることができる。図17に、動画を検索するためのデータサーバ2および表示端末3の作動の一例をシーケンス図で表す。
【0131】
まず表示端末3の制御部32は、入力部30に対するユーザの動画検索操作を受け付け(ステップ131)、続いて受け付けた動画検索操作の内容を示す情報をデータサーバ2に送信する(ステップ132)。データサーバ2の制御部22は、この動画検索操作の内容の情報を受信し(ステップ133)、受信した情報に応じた方法で動画検索処理を行う(ステップ134)。動画検索処理では、動画データベース20aから動画検索操作の内容に適合する動画を抽出する。
【0132】
抽出できた動画が1つである場合、そのまま抽出した動画(第1の動画の一例に相当する)を表示端末3で表示させるために必要な情報(動画情報、地図情報、アイコン情報、動画−地図リンク情報、動画−アイコンリンク情報、地図−アイコンリンク情報等)をデータベース部20から取得し(ステップ141)、取得した情報をリクエスト元の表示端末3に送信し(ステップ142)、表示端末3の制御部32はこの情報中の動画を受信し、表示部33に表示および再生させる(ステップ143)。
【0133】
動画検索処理で抽出できた動画が複数個ある場合、抽出した動画のリストおよび動画付加情報等を検索結果として表示端末3に送信する(ステップ135)。表示端末3の制御部32はこの検索結果を受信し(ステップ136)、受信した検索結果を表示部33に表示させる(ステップ137)。そして表示端末3のユーザが入力部30を用いて表示された動画のリストのうちから1つの動画を選択すると(ステップ138)、制御部32はその選択された動画(第1の動画の一例に相当する)を指定する情報をデータサーバ2に送信する(ステップ139)。
【0134】
データサーバ2はこの動画を指定する情報を受信し(ステップ140)、その後、この指定された動画の表示に必要な情報をデータベース部20から取得して(ステップ141)表示端末3に送信する(ステップ142)。
【0135】
ここで、ステップ134の動画検索処理について詳細に説明する。図18に、動画検索処理のフローチャートを示す。動画検索処理においては、表示端末3から受信した動画検索操作の内容の情報に基づいて検索モードを決定する(ステップ303)。検索モードとしては、“タグ、キーワード、ランキング検索モード”、“地図から検索モード”、“リンクから検索モード”、“複数アイコンによる検索モード”がある。
【0136】
“タグ、キーワード、ランキング検索モード”は、動画情報中のタグの文字列の検索、動画情報中の各種文字列の検索、あるいは、動画情報中の再生回数の最上位の複数件(例えば上位5件)の検索のうちいずれか1つを実行する検索モードである。
【0137】
表示端末3のユーザが、動画検索操作において、「特定のタグ」、「特定のキーワード」、「再生ランキングで選択する旨」のうちいずれかを指定した場合、検索モードが“タグ、キーワード、ランキング検索モード”となる。
【0138】
“タグ、キーワード、ランキング検索モード”である場合(ステップ305→YES)、制御部22は続いて、ユーザの動画検索操作に応じた検索を行う(ステップ310)。つまり、動画検索操作で特定のタグが指定された場合、その特定のタグを動画付加情報のタグとして含む動画を抽出し、動画検索操作で特定のキーワードが指定された場合、その特定のキーワードを動画付加情報または投稿者情報に含む動画を抽出し、動画検索操作で再生ランキングで選択する旨が指定された場合、すべての動画のうち、動画付加情報中の再生回数が最も高い所定の複数個を抽出する。なお、各動画付加情報中の再生回数の値は、対応する動画の登録時にはゼロに設定され、対応する動画を再生のために表示端末3に1回送信したときに、1回分増加させるようになっている。
【0139】
“地図から検索モード”は、ユーザが動画検索操作として、表示端末3の表示部33に強調されて表示されている地図中の撮影経路(例えば、図6の経路41a、41b)のうち1つを指定した場合の検索モードである。
【0140】
“地図から検索モード”である場合(ステップ325→YES)、制御部22は続いて、指定された地図上の撮影経路を動画経路情報として有している動画−地図リンク情報をリンクデータベース20dから抽出し、抽出した動画−地図リンク情報に対応する動画を抽出する(ステップ330)。
【0141】
“リンクから検索モード”は、ユーザが動画検索操作として、表示端末3の入力部30にリンク(Webページまたは他の動画へのリンク)として指定されている動画のうち1つを指定した場合の検索モードである。“リンクから検索モード”である場合(ステップ335→YES)、制御部22は続いて、指定されたリンク先の動画を抽出する(ステップ340)。
【0142】
“複数アイコンによる検索モード”は、表示端末3の表示部33に表示されている地図中のアイコン(例えば、図16のアイコン61a〜61f)のうち複数を指定した場合の検索モードである。
【0143】
このようなタイプの検索モードは、以下のような目的で設けられている。動画検索時になるべく多くのアイコンが登録されている動画を見たい場合が考えられる。例えば見たい経路が決まっておりその経路沿いのアイコンの情報を複数見たい場合などである。単一のアイコンを選択して映像を再生する場合、上記のようなニーズには応えられない。逆に経路を指定して映像を検索する場合、アイコンの情報が格納されていない映像も選択されてしまう可能性がある。このような場合、動画検索時に複数の地図上のアイコンを指定して、指定したアイコン(またはそれと同じものを指し示す別のアイコン)がより多く登録された動画を優先的に表示すればよい。このようにすることで、複数個のアイコンを元に動画を検索することができ、見たいアイコンが多く登録されている好みの経路を撮影した動画を優先的に再生することができる。
【0144】
“複数アイコンによる検索モード”である場合(ステップ350→YES)、制御部22は続いて、複数アイコン選択時用処理を実行する(ステップ360)。図19に、この複数アイコン選択時用処理のフローチャートを示す。また、図20に、この複数アイコン選択時用処理におけるデータの抽出手順を模式的に示す。
【0145】
この複数アイコン選択時用処理において制御部22は、まずステップ362で、選択された複数のアイコンのいずれかのアイコン情報中に、同一地点アイコンIDが含まれているかを判定し、肯定判定となれば続いてステップ364に進み、否定判定となれば続いてステップ366を実行する。
【0146】
例えば、図20の例においては、表示部33に表示された地図65中のアイコン65a(アイコンIDは1001)、アイコン65b(アイコンIDは3002)、アイコン65c(アイコンIDは2001)が選択され、アイコンデータベース20c中のデータによれば、アイコン65aに対応するアイコン情報には同一地点アイコンIDとして3001が含まれ、アイコン65bに対応するアイコン情報には同一地点アイコンIDとして1002が含まれ、アイコン65cに対応するアイコン情報には同一地点アイコンIDとして3003が含まれている。したがって、この例では、ステップ362の判定は肯定判定となる。
【0147】
ステップ364では、ステップ362で見つけた同一地点アイコンが登録された動画の動画IDを取得する。図20の例では、見つかった同一地点アイコンID3001、1002、3003をアイコンIDとして含む動画−アイコンリンク情報66a〜66cをリンクデータベース20dから抽出し、抽出した動画−アイコンリンク情報中の動画ID300、100、300を取得する。ステップ364に続いてはステップ366に進む。
【0148】
ステップ366では、表示端末3のユーザの操作によって指定されたアイコンのいずれか1つ以上が登録された動画のすべてについて動画IDを取得する。図20の例では、指定されたアイコン65a〜65cのアイコンID1001、3002、2001をアイコンIDとして含む動画−アイコンリンク情報66d〜66fをリンクデータベース20dから抽出し、抽出した動画−アイコンリンク情報中の動画ID100、300、200を取得する。
【0149】
続いてステップ368では、ステップ366(および実行していればステップ364)で取得した動画IDを、取得回数が大きい順に並べる。取得回数とは、今回のステップ366(および実行していれば今回のステップ364)で取得された延べ回数である。図20の例では、動画ID100の取得回数は2回であり、動画ID200の取得回数は1回であり、動画ID300の取得回数は3回である。したがって、動画IDの並び順は、動画ID300、動画ID100、動画ID200となる。そして、表示端末3に送信する動画のリストの表示順は、この並び順と同じにする。このようにすることで、表示端末3の表示部33において、取得回数のより多い動画が、すなわち、ユーザ所望のアイコン(またはそれと同等のものを指し示すアイコン)をより多く含んでいる動画が、動画リスト中でより上位に表示されることになる。なお、動画のリストに含める動画の数は、取得回数が1回以上のすべての動画であってもよいし、取得回数の多い順に上位からN個(N=2、3…)であってもよい。また、ステップ368では、最も取得回数の多い1つの動画のみを抽出するようになっていてもよい。
【0150】
[4]アイコン検索およびアイコン検索に続く動画再生開始フレーム決定
次に、アイコン検索およびアイコン検索に続く動画再生開始フレーム決定について説明する。データサーバ2において複数の動画およびアイコンが登録されている状態で、表示端末3(第1の表示端末に相当する)のユーザは、データサーバ2に所望のアイコンを検索させ、検索の結果抽出されたアイコン(第1のアイコンの一例に相当する)を、そのアイコンの指し示す地点を撮影した動画(第1の動画の一例に相当する)と共に閲覧することができる。図21に、アイコン検索およびアイコン検索に続く動画再生開始フレーム決定のためのデータサーバ2および表示端末3の作動の一例をシーケンス図で表す。
【0151】
まず表示端末3の制御部32は、入力部30に対するユーザのアイコン検索操作(アイコンを検索するための操作)を受け付け(ステップ151)、続いて受け付けたアイコン検索操作の内容を示す情報をデータサーバ2に送信する(ステップ152)。データサーバ2の制御部22は、このアイコン検索操作の内容の情報を受信し(ステップ153)、受信した情報に応じた方法でアイコン検索処理を行う(ステップ154)。アイコン検索処理では、アイコンデータベース20cからアイコン検索操作の内容に適合するアイコンを抽出する。
【0152】
抽出できたアイコンが1つである場合、そのまま抽出したアイコン(第1のアイコンの一例に相当する)を対象として動画再生開始フレーム決定処理を実行し(ステップ161)、その際必要であれば表示端末3に対して動画選択の問い合わせを行い、問い合わせを受けた表示端末3の制御部32は、ユーザの操作に応じて動画を選択し、その選択結果をデータサーバ2に送信する(ステップ162)。
【0153】
そしてデータサーバ2の制御部22は、動画再生開始フレーム決定処理によって特定した動画の開始フレーム以降を表示端末3に表示させるために必要な情報(動画情報、地図情報、アイコン情報、動画−地図リンク情報、動画−アイコンリンク情報、地図−アイコンリンク情報等)をデータベース部20から取得して表示端末3に送信し(ステップ163)、表示端末3の制御部32はこの情報中の動画を受信して当該動画の当該開始フレーム以降を再生し、表示部33に表示させる(ステップ164)。
【0154】
ステップ154のアイコン検索処理で抽出できたアイコンが複数個ある場合、抽出したアイコンのリストおよびアイコン付加情報等を検索結果として表示端末3に送信する(ステップ155)。表示端末3の制御部32はこの検索結果を受信し(ステップ156)、受信した検索結果を表示部33に表示させる(ステップ157)。そして表示端末3のユーザが入力部30を用いて表示されたアイコンのリストのうちから1つのアイコンを選択すると(ステップ158)、制御部32はその選択されたアイコンを指定する情報をデータサーバ2に送信する(ステップ159)。そしてデータサーバ2の制御部22はこの情報を受信して、受信した情報中の指定に従って、抽出するアイコンを1つ(第1のアイコンの一例に相当する)に絞る(ステップ160)。
【0155】
ここで、ステップ154のアイコン検索処理について詳細に説明する。図22に、アイコン検索処理のフローチャートを示す。アイコン検索処理においては、表示端末3から受信したアイコン検索操作の内容の情報に基づいて検索モードを決定する(ステップ403)。検索モードとしては、“タグ、キーワード、種別、ランキング検索モード”、“地図から検索モード”、“動画から検索モード”がある。
【0156】
“タグ、キーワード、種別、ランキング検索モード”は、アイコン情報中のタグの文字列の検索、アイコン情報中の各種文字列の検索、アイコン情報中の種別の検索、あるいは、アイコン情報中の選択回数の最上位の複数件(例えば上位5件)の検索のうちいずれか1つを実行する検索モードである。
【0157】
表示端末3のユーザが、アイコン検索操作において、「特定のタグ」、「特定のキーワード」、「特定の種別」、「選択ランキングで選択する旨」のうちいずれかを指定した場合、検索モードが“タグ、キーワード、種別、ランキング検索モード”となる。
【0158】
“タグ、キーワード、ランキング検索モード”である場合(ステップ405→YES)、制御部22は続いて、ユーザのアイコン検索操作に応じた検索を行う(ステップ410)。つまり、アイコン検索操作で特定のタグが指定された場合、その特定のタグをアイコン付加情報のタグとして含むアイコンを抽出し、アイコン検索操作で特定のキーワードが指定された場合、その特定のキーワードをアイコン付加情報または登録者情報に含むアイコンを抽出し、アイコン検索操作で特定の種別が指定された場合、その特定の種別をアイコン情報中の種別の情報に含むアイコンを抽出し、アイコン検索操作で選択回数ランキングで選択する旨が指定された場合、すべてのアイコンのうち、アイコン付加情報中の選択回数が最も高い所定の複数個を抽出する。なお、各アイコン付加情報中の選択回数の値は、対応するアイコンの登録時にはゼロに設定され、対応するアイコンが表示端末3のユーザによって1回選択されたときに、1回分増加させるようになっている。
【0159】
“地図から検索モード”は、ユーザがアイコン検索操作として、表示端末3の表示部33に表示されている地図中のアイコン(例えば、図16の地図画像61中のアイコン61a〜61f)のうち1つを指定した場合の検索モードである。“地図から検索モード”である場合(ステップ425→YES)、制御部22は続いて、指定されたアイコンを抽出する(ステップ430)。
【0160】
“動画から検索モード”は、ユーザがアイコン検索操作として、表示端末3の表示部33に表示されている動画中のアイコン(例えば、図16の動画62中のアイコン61a)のうち1つを指定した場合の検索モードである。“動画から検索モード”である場合(ステップ435→YES)、制御部22は続いて、指定されたアイコンを抽出する(ステップ440)。
【0161】
次に、図21のステップ161の動画再生開始フレーム決定処理について詳細に説明する。図23に、この動画再生開始フレーム決定処理のフローチャートを示す。また、図24に、この動画再生開始フレーム決定処理における処理手順を模式的に示す。
【0162】
まず制御部22は、ステップ510で、ステップ154またはステップ160において抽出された1つのアイコンのアイコン情報中に、同一地点アイコンIDがあるか否かを判定し、なければ続いてステップ520に進み、あれば続いてステップ530に進む。
【0163】
ステップ520では、抽出されたアイコン(第1のアイコンの一例に相当する)の登録先の動画(第1の動画の一例に相当する)の動画IDを、当該アイコンに対応する動画−アイコンリンク情報から特定し(図24の矢印71参照)、特定した動画IDを含む動画情報を取得する(矢印72参照)。
【0164】
ステップ530では、ステップ510で見つけた同一地点アイコンIDのそれぞれについて、登録先の動画をステップ520と同様に当該同一地点アイコンIDに対応する動画−アイコンリンク情報から特定し(矢印71参照)、特定した動画をリスト化し、そのリストを、アイコン選択の問い合わせとして表示端末3に送信する。なお、この際に、特定した動画と、その動画の特定に用いた動画−アイコンリンク情報との対応関係を記憶しておく。
【0165】
表示端末3の制御部32は、この問い合わせを受信して表示部33に表示させ、リストのうち1つの動画(第1の動画の一例に相当する)をユーザの選択操作に応じて選択し、選択結果の動画の動画IDをデータサーバ2に送信する(図21のステップ162)。
【0166】
するとデータサーバ2の制御部22は、ステップ540で、この選択結果を受信すると共に、受信した選択結果の動画IDに対応する動画情報を取得する(矢印72参照)。
【0167】
ステップ520または540に続いては、ステップ550で、再生する動画に対応する動画−アイコンリンク情報を読み出す。
【0168】
ここで、再生する動画に対応する動画−アイコンリンク情報は、ステップ520を実行した場合は、抽出されたアイコンに対応する動画−アイコンリンク情報である。
【0169】
また、再生する動画に対応する動画−アイコンリンク情報は、ステップ530、540を実行した場合は、ステップ510で見つけた同一地点アイコンIDのそれぞれに対応する動画−アイコンリンク情報のうち、ステップ540で受信した選択結果の動画IDを含む動画−アイコンリンク情報である。
【0170】
続いてステップ560では、読み出した動画アイコンリンク情報中の表示開始点情報から、アイコン表示開始フレーム(アイコン表示フレーム区間の始点に相当する)を読み出し、このアイコン表示開始フレームを、動画の再生開始位置として特定する(図24の矢印73、74参照)。ステップ560の後、動画再生開始フレーム決定処理を終了する。
【0171】
このように、制御部22は、表示端末3(第1の表示端末の一例に相当する)のユーザの検索操作に基づいて1つのアイコン(第1のアイコンの一例に相当する)を抽出し、そのアイコン(またはそのアイコンと同じ地点を指し示しているアイコン)が登録された動画を表示端末3で再生させる際に、抽出したアイコンの表示開始フレームの情報を表示端末3に送信することで、表示端末3で、当該アイコンの表示開始フレームから当該動画を再生させる。
【0172】
このようにすることの意義について、以下説明する。地図上に表示されたアイコンをユーザが選択したときに、そのアイコンが登録された動画の再生をそのアイコンが表示されている地点から開始できるようにすると、再生開始と共にそのアイコンを閲覧することができるので便利である。しかし、地図上のアイコン表示地点は施設が存在する場所であり、その地点を動画再生開始地点としてしまうと、見たい施設の情報をほとんど見ることができない。これを解決するために、アイコン表示地点から一定距離だけ手前からアイコンを表示するようにしてもよいが、このようにすると、アイコン毎にアイコン表示開始のタイミングを変えることができない。
【0173】
そこで、上記のように、動画−アイコンリンク情報において、アイコン毎にアイコンの表示開始・終了フレームを記録しておくことで、アイコン毎に表示開始フレームを設定できる。また、動画情報および地図情報と、動画−アイコンリンク情報を分けて記録し、動画−アイコンリンク情報に表示開始フレームの情報を含めておくことで、アイコンを選択して動画を再生する際、動画毎に違う地点から再生することができ、ユーザにとって見やすい動画を提供することが可能となる。
【0174】
[5]地図・動画表示
次に、上述した動画検索によって再生する動画が決定し、あるいは、上述した「アイコン検索およびアイコン検索に続く動画再生開始フレーム決定」によって再生する動画および再生開始フレームが決定した後に、地図、動画等を表示端末3に表示させるための作動について説明する。以下では、再生する動画を再生動画(第1の動画の一例に相当する)という。図25に、地図および動画の表示処理の作動を示すシーケンス図を示す。
【0175】
まずデータサーバ2の制御部22は、再生動画および再生動画の撮影地点周辺の地図等を表示端末3に表示させるため、必要なデータを表示端末3に送信する(ステップ171)。送信するデータは、図4に示すように、動画情報、地図情報、アイコン情報、動画−地図リンク情報、動画−アイコンリンク情報、地図−アイコンリンク情報を含む。そして、「アイコン検索およびアイコン検索に続く動画再生開始フレーム決定」によって再生開始フレームを決定している場合には、更に、再生する動画の再生開始フレームの情報も含む。
【0176】
送信する動画情報は、再生する動画の動画情報である。また、送信する地図情報は、再生する動画の撮影経路(動画−地図リンク情報の動画経路情報に基づいて特定する)を含む範囲の地図情報である。
【0177】
また、送信するアイコン情報は、送信する地図範囲中にアイコン表示地点(地図−アイコンリンク情報に基づいて特定する)が存在するすべてのアイコンのアイコン情報に加え、それらアイコン情報中の同一地点アイコンIDをアイコンIDとして有するすべてのアイコン情報である。
【0178】
また、送信する動画−地図リンク情報は、送信する動画情報に対応する動画−地図リンク情報、および、送信する地図中に登録されたすべての動画に対応する動画−地図リンク情報である。
【0179】
また、送信する動画−アイコンリンク情報は、送信するアイコン情報に対応するすべての動画−アイコンリンク情報である。また、送信する地図−アイコンリンク情報は、送信するアイコン情報に対応するすべての地図−アイコンリンク情報である。
【0180】
表示端末3の制御部32は、このようにして送信されたデータを受信すると(ステップ172)、地図表示処理を実行する(ステップ173)と共に、動画再生処理を実行する(ステップ174)。この地図表示処と動画再生処理は、制御部32において並列処理またはタイムシェアリング方式で実質的に同時に実行されるようになっっていてもよいし、地図表示処、動画再生処理の順に実行されるようになっていてもよい。
【0181】
そして、この動画再生処理において、表示部33において表示されたリンク先にある情報を必要に応じてデータサーバ2に要求し、その要求を受信したデータサーバ2の制御部22は、当該リンク先にある情報を要求元の表示端末3に送信する(ステップ175)。そしてこのリンク先にある情報を受信した表示端末3の制御部32は、リンク先にある情報を表示部33に表示させる。
【0182】
ここで、地図表示処理について詳細に説明する。図26に、地図表示処理のフローチャートを示す。地図表示処理において制御部32は、まずステップ1505で、データサーバ2から受信した地図情報を用いて地図を表示部33に表示させる。続いてステップ1510で、表示させた地図上に再生動画の撮影地点(より具体的には撮影経路)を強調表示させる。再生動画の撮影経路は、再生動画の動画−地図リンク情報中の動画経路情報に基づいて特定する。
【0183】
続いてステップ1515では、受信したすべてのアイコン情報のアイコンリストを作成する。つまり、受信したすべてのアイコン情報中のすべてのアイコンIDから成るリストを作成する。続いてステップ1520では、アイコンリストから1つのアイコンIDを抽出する。この際、抽出したアイコンIDはアイコンリストから削除する。
【0184】
続いてステップ1525では、抽出したアイコンIDのアイコン情報に同一地点アイコンIDが含まれているか否かを判定し、含まれていなければ続いてステップ1530を実行し、含まれていれば続いてステップ1535を実行する。
【0185】
ステップ1530では、抽出したアイコンIDの地図−アイコンリンク情報から、アイコン表示地点情報を取得し、続いてステップ1550で、取得したアイコン表示地点情報が示す地点を、抽出したアイコンの地図上の表示地点として確定する。
【0186】
抽出したアイコンIDのアイコン情報が同一地点アイコンIDを含む場合のステップ1535では、それら同一地点アイコンIDをアイコンIDとして有する地図−アイコンリンク情報を読み出し、それら地図−アイコンリンク情報の各々から、アイコン表示地点情報とアイコン表示地点確度情報の組を取り出す。また同様に、ステップ1520で抽出したアイコンIDの地図−アイコンリンク情報からも、アイコン表示地点情報とアイコン表示地点確度情報の組を取り出す。
【0187】
ステップ1540では、取り出したアイコン表示地点情報とアイコン表示地点確度情報の組を用いて、アイコン表示地点の重み付き平均を算出する。この算出の際、アイコン表示地点確度情報の値(すなわち、“高”または“低”。図15参照。)には、重み数値を対応付ける。具体的には、“高”には正の数値A(例えば0.7)を、“低”には数値Aより小さい正の数値B(例えば0.3)を対応付ける。すなわち、確度が高いほど重み数値は大きい。
【0188】
その上で、アイコン表示地点の重み付き平均の算出は、以下のように行う。すなわち、P=Σ(wi×xi)/Σwiを算出する。ここで、Σは添字iについての総和を表し、iは取り出した各組に1から順に割り当てられる自然数であり、取り出したi番目の組の中のアイコン表示地点情報が示す地点がxi(2次元ベクトル値)であり、i番目の組の中のアイコン表示地点確度情報に対応する重み数値がwi(具体的な値はAまたはB)である。
【0189】
重み付き平均の算出例を、図27に概略的に示す。動画75に登録されたアイコン75aについては、地図77上のアイコン75aのアイコン表示地点の算出時に、動画75を撮影した動画撮影部16のカメラ画角が分からなかったので、アイコン表示地点確度情報の値は“低”になったとする。
【0190】
そして、動画75とは別の動画76(ただし撮影経路は一部重複している)に登録されたアイコン76aについては、地図77上のアイコン76aのアイコン表示地点の算出時に、動画76を撮影した動画撮影部16のカメラ画角が分かったので、アイコン表示地点確度情報の値は“高”になったとする。
【0191】
そして、アイコン75aのアイコン情報が同一地点アイコンIDとしてアイコン76aのアイコンを有しているとする。すると、重み付き平均の算出は、アイコン75a、76aの地図上の地点をそれぞれx1、x2とすると、P=(B×x1+A×x2)/(A+B)となる。
【0192】
続いてステップ1545では、同一地点アイコンIDと同じアイコンIDをアイコンリストから削除する。このようにすることで、同じ地点を指し示す複数のアイコンを地図に重複して表示することがなくなる。続いて、ステップ1550では、このようにして算出された地点P(2次元ベクトル値)を、抽出したアイコンの地図上の表示地点として確定する。
【0193】
ステップ1550に続くステップ1555では、アイコンリストが空か否かを判定し、空ならば地図表示処理は終了し、空でないなら再度ステップ1520に処理を戻す。このようにすることで、異なる地点を指し示しているアイコン毎に、ステップ1520〜1550の処理が実行され、そのアイコンの地図上の表示地点が確定する。
【0194】
このように、あるアイコンAを地図上に表示させるときに、そのアイコンと同一の地点(施設、自然構造物等)を指し示す(1つまたは複数の)アイコンBが他にある場合、それらアイコンAの仮の表示地点とアイコンBの仮の表示地点との重み付け平均の結果の位置を、実際の地図上のアイコンAの表示地点として確定する。そして、重み付け平均に用いる重み数値は、それら仮の表示地点の確度が高いほど大きい。
【0195】
このようにすることの意義について、以下説明する。同一の地点(施設、自然構造物等)を指し示すアイコンが複数登録されている場合、仮にはじめに付加されたアイコン情報を用いて表示地点を決めてしまうと、後からよりよい位置精度の表示地点が算出されたとしてもそれを反映することができない。
【0196】
そこで、上記のように、あるアイコンの表示地点を、そのアイコンと同じ地点を指し示すアイコンの表示地点を用いて補正する。このようにすることで、アイコンの地図上の表示地点をより正確に決定することができる。
【0197】
次に、図26のステップ174の動画再生処理について説明する。図28に、動画再生処理のフローチャートを示す。制御部32は、この動画再生処理において、まずステップ605で、再生動画は動画検索で抽出されたものであるか否かを判定する。再生動画が動画検索で抽出されたものであれば、再生動画の再生開始フレームを指定する情報をデータサーバ2から受けておらず、再生動画が動画検索で抽出されたものでないならば、すなわち、再生動画が「アイコン検索およびアイコン検索に続く動画再生開始フレーム決定」によって決定されている場合は、再生動画の再生開始フレームを指定する情報をデータサーバ2から受けている。したがって、再生動画の再生開始フレームを指定する情報をデータサーバ2から受けていないかいるかに基づいて、上記判定を行うことができる。
【0198】
動画検索である場合、続いてステップ610で、再生動画の先頭のフレームを動画再生位置に設定する。動画検索でない場合、続いてステップ615で、受信した動画再生開始フレームの指定に従って、再生動画の再生開始フレームを決定する。
【0199】
ステップ610または615に続いては、ステップ620で、再生動画に登録されたアイコン(それぞれが第1のアイコンの一例に相当する)のアイコンIDを取得する。具体的には、データサーバ2からステップ171で受信した動画−アイコンリンク情報のうち、再生動画の動画IDを有する動画−アイコンリンク情報中のアイコンIDを取得する。
【0200】
続いてステップ625では、再生動画以外の動画に登録され、かつ、再生動画の撮影経路沿いにあるアイコンのアイコンIDを取得する。具体的には、データサーバ2からステップ171で受信した動画−アイコンリンク情報のうち、再生動画以外の動画IDを有する動画−アイコンリンク情報中のアイコンIDを抽出し、それら抽出したアイコンIDを含む地図−アイコンリンク情報を読み出し、読み出した各地図−アイコンリンク情報中のアイコン表示地点情報の示す地点が、再生動画の撮影経路(再生動画の動画−地図リンク情報に基づいて特定できる)の近傍(例えば所定距離以内)であるか否かを判定する。そして、近傍にあると判定したアイコンIDのみを、再生動画以外で登録され、かつ、再生動画の撮影経路沿いにあるアイコンIDとして取得する。
【0201】
続いてステップ630では、動画中アイコン表示区間・位置決定処理を実行する。この動画中アイコン表示区間・位置決定処理は、ステップ620で取得したアイコン(以下、再生動画登録アイコンという)およびステップ625で取得したアイコン(以下、他動画登録アイコンという)のそれぞれが、再生動画中のどのフレーム区間のどの位置座標に表示されるべきかを決定する処理である。
【0202】
この動画中アイコン表示区間・位置決定処理のフローチャートを、図29に示す。制御部32は、この決定処理において、取得した再生動画登録アイコンおよび他動画登録アイコンのそれぞれを対象として、ステップ631〜635に示す処理を実行する。まずステップ631では、現在の対象となっているアイコン(以下、対象アイコンという)が、再生動画登録アイコン(すなわち、再生中の動画で登録されたアイコン)であるか否かを、対象アイコンの動画−アイコンリンク情報中の動画IDに基づいて判定し、再生動画登録アイコンであれば続いてステップ633を実行し、再生動画登録アイコンでなければ、すなわち他動画登録アイコンであれば、続いてステップ635を実行する。
【0203】
ステップ633では、対象アイコンは再生動画に登録されているので、その表示フレームの区間および当該区間内の各フレームにおける表示位置座標は、単純に登録時通りとする。すなわち、対象アイコンの動画−アイコンリンク情報から、アイコン表示開始点情報(アイコン表示開始フレームおよび表示開始フレーム中アイコン表示位置)、およびアイコン表示終了点情報(アイコン表示終了フレームおよび表示終了フレーム中アイコン表示位置)を読み出し、読み出した情報に従って、現在のフレーム中における対象アイコンの表示位置座標を決定する。
【0204】
具体的には、対象アイコンを表示するフレームの区間(アイコンを表示フレーム区間に相当する)は、表示開始フレームから表示終了フレームまでとし、当該フレーム区間中における対象アイコンの表示位置(フレーム中アイコン表示位置に相当する)、表示開始座標から表示終了座標まで一直線に一定速度で移動するよう設定する。なお、一定速度とは、連続する2つのフレーム間での位置座標の移動距離が一定であることをいう。
【0205】
一方、対象アイコンが他動画登録アイコンである場合は、再生動画以外に登録された他動画登録アイコンを、再生動画に表示するフレーム区間および位置座標を決めなければならない。しかし、その対象アイコンの再生動画中への表示開始フレームおよび位置、表示終了フレームおよび位置は、当該アイコンの動画−アイコンリンク情報には直接記載されていないので、別途算出する必要がある。
【0206】
このために例えば、他動画登録アイコンを登録した他動画の場合と地理的に同じ位置、同じタイミングで表示することを実現してもよい。しかし、そのようにする場合、動画のマッチングによる地点同定処理が必要となる。マッチングは処理負荷が高い。動画の配信サービスにおいては、他動画で登録されたアイコン情報の表示には処理負荷が少なく、ユーザに分かりやすい情報表示方法が望ましい。
【0207】
そこで、ステップ635では、対象アイコンが登録された他動画中での対象アイコンのアイコン表示開始点情報(アイコン表示開始フレームおよび表示開始フレーム中アイコン表示位置)、およびアイコン表示終了点情報(アイコン表示終了フレームおよび表示終了フレーム中アイコン表示位置)を読み出す。この情報は、対象アイコンの動画−アイコンリンク情報に含まれている。
【0208】
続いてステップ637では、他動画登録アイコン表示区間・位置決定処理を実行する。図30に、この他動画登録アイコン表示区間・位置決定処理のフローチャートを示す。この決定処理は、他の動画に登録されたアイコンを、再生動画中のどのフレーム区間のどの位置座標で表示させるかを決めるための処理である。
【0209】
この決定処理において制御部32は、まずステップ705で、対象アイコンの登録先の他動画と再生動画の移動方向が同じであるか否かを判定する。対象アイコンの登録先の他動画は、対象アイコンの動画−アイコンリンク情報中の動画IDから特定できる。また、当該他動画と再生動画のそれぞれの移動方向は、当該動画の動画−地図リンク情報中の動画経路情報に基づいて特定することができる。ここでいう撮影方向とは、道路に沿った2つの互いに逆な方向(往路方向、復路方向)のどちらであるかを示せる情報である。移動方向が同じであれば続いてステップ710に進み、同じでなければ(すなわち逆であれば)続いてステップ715に進む。
【0210】
移動方向が同じ場合のステップ710では、他動画における対象アイコンのアイコン表示フレーム区間に対応する撮影地点範囲と、再生動画において対象アイコンを表示する表示フレーム区間に対応する撮影地点範囲とが同じになるよう、再生動画において対象アイコンを表示するフレームの区間を決定する。
【0211】
具体的には、図31に示すように、当該他動画に対象アイコンが登録されたフレーム区間(フレーム81aからフレーム81bまで)を、対象アイコンの動画−アイコンリンク情報中の表示開始フレーム、表示終了フレームに基づいて特定し、さらに、そのフレーム区間81a〜81bが撮影された期間に動画撮影装置1が移動した地点範囲82a〜82bを特定し、さらに、その同じ地点範囲82a〜82bを移動したときに撮影された再生動画のフレーム区間(開始フレーム83aから終了フレーム83bまでの区間)を特定し、当該フレーム区間83a〜83bを、再生動画において対象アイコンを表示するフレームの区間とする。
【0212】
ここで、フレーム区間81a〜81bの撮影期間に動画撮影装置1が移動した地点範囲82a〜82bは、当該他動画の動画−地図リンク情報中の動画経路情報(撮影時刻と撮影地点の組を複数有する情報)および所定のフレームレートから特定することができる。
【0213】
すなわち、他動画の開始フレーム81aが他動画中のNa番目のフレームであり、終了フレーム81bが他動画中のNb番目のフレームであり、他動画の撮影開始地点における撮影時刻がT0[秒]である場合、Ta[秒]=T0+(Na−1)/Rの時刻における撮影地点が表示開始地点82aとなり、Tb[秒]=T0+(Na−1)/Rの時刻における撮影地点が表示終了地点82bとなる。ただし、Rは、[フレーム/秒]の単位で表される所定のフレームレートである。
【0214】
また、地点範囲82a〜82bを移動したときに撮影された再生動画のフレーム区間83a〜83bも同様に、再生動画の動画−地図リンク情報中の動画経路情報(撮影時刻と撮影地点の組を複数有する情報)および所定のフレームレートから特定することができる。
【0215】
移動方向が逆の場合のステップ715では、他動画における対象アイコンの表示フレーム区間に対応する撮影地点範囲の長さを算出する。具体的には、対象アイコンの動画−アイコンリンク情報中の表示開始フレーム、表示終了フレーム、および、対象アイコンの動画−地図リンク情報中の動画経路情報に基づいて、表示開始フレームから表示終了フレームまでが撮影された期間に動画撮影装置1が移動した地図上の地点範囲を決定し、さらにその地点範囲の距離(例えば、直線距離または撮影経路に沿った距離)を算出する。
【0216】
続いてステップ720では、他動画における対象アイコンのアイコン表示フレーム区間に対応する撮影地点範囲の終点に対して、当該撮影地点範囲とは撮影経路上で逆の方向から到達するような地点範囲が、再生動画において対象アイコンを表示するフレーム区間に対応する撮影地点範囲となるよう、再生動画において対象アイコンを表示するフレームの区間を決定する。しかも、他動画の表示フレーム区間に対応する撮影地点範囲の長さAと、再生動画の表示フレーム区間に対応する撮影地点範囲の長さBとが同じになるようにする。
【0217】
具体的には、図32に示すように、当該他動画に対象アイコンが登録されたフレーム区間(フレーム84aからフレーム84bまで)を、対象アイコンの動画−アイコンリンク情報中の表示開始フレーム、表示終了フレームに基づいて特定し、さらに、そのフレーム区間84a〜84bが撮影された期間に動画撮影装置1が移動した地点範囲85a〜85bを特定する。
【0218】
さらに、その地点範囲85a〜85bの終点85bを終点とすると共に、当該終点85から、地点85aから地点85bまでの方向と同じ方向に、ステップ715で決定した距離だけ(地図情報中の)道路に沿って移動した地点85cを始点とする地点範囲85c〜85bを設定する。この地点範囲は、他動画の表示フレーム区間84a〜84bに対応する撮影地点範囲85a〜85bの終点85bに対して、当該撮影地点範囲85a〜85bとは逆の方向から到達するような地点範囲85c〜85bである。
【0219】
さらに、その地点範囲85c〜85bを移動したときに撮影された再生動画のフレーム区間(開始フレーム86cから終了フレーム86bまでの区間)を特定し、当該フレーム区間86c〜86bを、再生動画において対象アイコンを表示するフレームの区間とする。
【0220】
ここで、フレーム区間84a〜84bの撮影期間に動画撮影装置1が移動した地点範囲85a〜85bは、当該他動画の動画−地図リンク情報中の動画経路情報および所定のフレームレートから特定することができる。また、地点範囲85c〜85bを移動したときに撮影された再生動画のフレーム区間86c〜86bも同様に、再生動画の動画−地図リンク情報中の動画経路情報および所定のフレームレートから特定することができる。
【0221】
ステップ710、720に続くステップ725では、再生動画において対象アイコンを表示するフレーム区間中の各フレームにおいて、どの位置座標に対象アイコンを表示するかを決定する。具体的には、再生動画の撮影地点に対し、対象アイコンが左右どちらに地点登録されているかを判定し、フレーム中の判定された側の位置(例えば右上隅、左上隅等)に対象アイコンを表示させる。
【0222】
例えば、図31に示すように、再生動画と対象アイコンが登録された他動画とで移動方向が同じ場合、当該他動画のフレーム中の対象アイコンの位置87が中央より右側なら右側に、中央より左側なら左側に、再生動画の各フレーム中の対象アイコンの表示位置88を決定する。また、図32に示すように、再生動画と対象アイコンが登録された他動画とで移動方向が逆の場合、当該他動画のフレーム中の対象アイコンの位置89が中央より右側なら左側に、中央より左側なら右側に、再生動画の各フレーム中の対象アイコンの表示位置90を決定する。ステップ725の後、他動画登録アイコン表示区間・位置決定処理が終了する。他動画登録アイコン表示区間・位置決定処理が終了すると、図29のステップ637も終了する。
【0223】
他動画登録アイコン表示区間・位置決定処理(決定処理の一例に相当する)がこのようになっていることで、再生動画(第1の動画の一例に相当する)中で表示フレーム区間および表示位置座標が確定されていない他動画登録アイコンであっても、少なくとも表示区間と方向が判断できるような処理を施し、少ない処理負荷でユーザに分かりやすい情報提示を可能とする。これによって、アイコンが表示されないことによるユーザへの不利益や、高負荷処理によるシステム動作不良を抑えることができる。
【0224】
以上のような動画中アイコン表示区間・位置決定処理(図28のステップ630参照)を実行することで、取得した再生動画登録アイコンおよび他動画登録アイコンのそれぞれについて、再生動画のどのフレーム範囲のどの位置座標に表示させるかが決まる。
【0225】
ステップ630に続いてステップ640では、ステップ610または615で設定された再生開始フレームから再生動画を再生する。再生開始後は、動画の再生が終了するまで、ステップ645〜675の処理を繰り返す。
【0226】
ステップ645では、再生動画において現在表示中のフレームが、ステップ620で取得した再生動画登録アイコンおよびステップ625で取得した他動画登録アイコンのいずれかの表示フレーム区間内であるか否かを判定する。各アイコンの再生動画中における表示フレーム区間は、ステップ630で既に決定されている。
【0227】
現在のフレームが少なくとも1つのアイコンの表示区間内であれば、ステップ645の判定は肯定判定となって処理はステップ650に進み、現在のフレームがどのアイコンの表示区間内にもなければ、ステップ645の判定は否定判定となって処理はステップ665のアイコンリンク先表示処理に進む。
【0228】
ステップ650では、アイコン表示処理を実行する。図33に、アイコン表示処理のフローチャートを示す。このアイコン表示処理において制御部32は、まずステップ801で、現在のフレームが表示区間内に入っているすべてのアイコンID(再生動画登録アイコンおよび他動画登録アイコンのアイコンID)から成るアイコンリストを作成する。このアイコンリストは、同じ地点を指し示すアイコンを重複して表示しないよう管理するためのリストである。
【0229】
続いてステップ803では、アイコンリストから1つのアイコンIDを抽出し、抽出したアイコンIDをアイコンリスト中から消去する。この際、再生動画登録アイコンのIDがアイコンリスト中にある場合は、再生動画登録アイコンのIDを他動画登録アイコンのアイコンIDよりも優先して抽出する。このようにすることで、同一の地点を指し示す複数のアイコンのうち、再生動画登録アイコン(およびそのアイコン情報)が優先して表示されることになる。
【0230】
続いてステップ805では、再生動画の現在表示しているフレーム中に、抽出したアイコン(以下、抽出アイコンという)を重畳表示させる(例えば、図16のアイコン61a参照)。このとき、当該フレーム中の抽出アイコンの位置は、ステップ630で当該抽出アイコンについて決定した位置通りとする。さらに、表示部33中の抽出アイコンに割り当てられた情報表示画面内に、当該抽出アイコンのアイコン情報(ただし、アイコンID、同一地点アイコンIDは除いてもよいし、あるいは、アイコン付加情報以外を除いてもよい)を表示させる(図3、図16の情報表示画面63参照)。
【0231】
続いてステップ810では、抽出アイコンと同じ地点を指し示しているアイコンのID、すなわち、抽出アイコンのアイコン情報に含まれている同一地点アイコンIDをすべて読み出す。なお、読み出した同一地点アイコンIDと同じアイコンIDについては、アイコンリストから削除する。このように、読み出した同一地点アイコンIDと同じアイコンIDについては、表示対象から除外することで、同じ地点を指し示すアイコンを複数個重複して表示部33に表示させることがなくなる。
【0232】
続いてステップ815では、読み出した同一地点アイコンIDに対応するアイコンの表示優先順位を決定する。優先順位は、アイコンの登録日時が新しいほど高い(より1位に近い)ようになっていてもよいし、アイコンの登録先の動画の撮影日時が新しいほど高いようになっていてもよいし、アイコンの登録先の動画の再生回数が多いほど高いようになっていてもよい。
【0233】
ステップ815に続いては、ステップ820〜840を、(ステップ830で否定判定となる例外を除いて)読み出した同一地点アイコンID毎に実行する。
【0234】
まずステップ820では、読み出した同一地点アイコンIDのうち1つを抽出し、当該同一地点アイコンIDをアイコン情報として有するアイコン情報をアイコンデータベース20cから読み出す。ここで、アイコンIDの抽出順序は、ステップ815で決定した優先順位に従う。つまり、ステップ820〜840の繰り返しが今回でk回目である場合、ステップ815で決定した優先順位においてk番目となっているアイコンIDを抽出する。
【0235】
続いてステップ830では、今回のステップ820で取得したアイコン情報が追加表示可能か否かを判定する。具体的には、表示対象のアイコン情報に今回取得したアイコン情報を加えた場合、表示対象のアイコン情報全体を表示部33の一画面に表示可能か否かを判定する。これは、例えば、今回取得したアイコン情報が加えら得た場合の表示対象のアイコン情報全体の文字数と、抽出アイコンに割り当てられた情報表示画面内に表示可能な所定の最大文字数との比較に基づいて判定してもよい。
【0236】
追加可能な場合は続いてステップ840で、今回のステップ820で取得したアイコン情報を、表示部33中の抽出アイコンに割り当てられた情報表示画面内に追加表示させる。追加表示不可能な場合は、今回のアイコン情報およびそれよりも優先順位の低い同一地点アイコンIDのアイコン情報を表示させることなく、820〜840のループを抜けてステップ850に進む。ステップ820〜840のループが同一地点アイコンIDの数と同じ回数だけ実行された後も、ステップ850に進む。
【0237】
ステップ850では、アイコンリストが空か否かを判定し、空であればアイコン表示処理を終了し、空でなければステップ803に戻る。このようなアイコン表示処理を実行することで、異なる地点を指し示すアイコンのそれぞれについて(801、803、850参照)、フレーム中のステップ630で決定した適切な位置に当該アイコンおよびそのアイコン情報を表示する(ステップ805参照)。そして、表示されたアイコンと同一地点を指し示すアイコンがあれば(ステップ810)、それらのアイコン情報の表示を、当該表示されたアイコンのアイコン情報に追加して表示させる(ステップ840)。そしてその追加表示の順序は、各アイコンの重要度に応じて決定されるようになっている(ステップ820参照)。そして、アイコン情報の表示のためのスペースが足りなくなった段階で、以降の順位のアイコン情報の追加をやめる(ステップ830参照)。
【0238】
このように、同一の地点を指し示す複数のアイコンのアイコン情報をまとめて表示することができる。
【0239】
例えば、図34に示すように、動画Aにアイコン91a、91b、91cが登録され、動画Aにアイコン91aが登録された際にアイコン情報として動画付加情報93が追加されたとする。そして、動画Aとは異なる動画Bにアイコン92a、92b、92cが登録され、再生Bにアイコン92aが登録された際にアイコン情報として動画付加情報94が追加されたとする。そして、アイコン91aとアイコン92aとは、同一の施設を指し示すものであるとして、アイコン91aのアイコン情報には同一地点アイコンIDとしてアイコン91bのアイコンIDが記録されると共に、アイコン91bのアイコン情報には同一地点アイコンIDとしてアイコン91aのアイコンIDが記録される。
【0240】
この場合、動画Aが再生される際には、アイコン91a、91bのうち、再生動画Aに登録されたアイコン91aのみが再生動画中に表示される。同じ地点を指し示すアイコンが複数個重複して登録された場合、同じ地点に複数のアイコンが重なって表示されてしまい、見栄えが悪い。そこで、上記のように、新たに動画にアイコンを登録する時、同一の地点を指し示しているとみなせるアイコンのアイコンIDを記録しておく。そして、表示端末にあるアイコンを表示させる際には、そのアイコンと同一の地点を指し示しているとみなせる他のアイコンを表示対象から除外することで、見栄えを向上させることができる。
【0241】
そしてその上で、表示させたアイコンのアイコン付加情報と共に、そのアイコンと同一の地点を指し示しているとみなせる他のアイコンのアイコン付加情報も表示させることで、その地点について表示される情報の欠落を抑えることができる。つまり、図34ではアイコン91aの動画付加情報93と、アイコン91bの動画付加情報94とは、まとめて1つの付加情報95として表示部33に表示される。
【0242】
また、すべてのアイコン情報を表示できない場合、投稿順、付加された動画の撮影日時が近い順、付加された動画の再生数順などで表示する情報をフィルタリングする。
【0243】
このように、同一地点情報を付加することによって、同じ施設・地点であることが表現でき、アイコンの情報をまとめることができる。これによって、アイコンの重なりを防ぐことが可能となる。また、同一地点のアイコン情報を一元化してしまうと必要な情報の取捨選択ができなくなる。アイコン情報を一元化するのではなく、それぞれのアイコン情報に同一地点情報を付加することによってフィルタリングするなどの柔軟な情報表示が可能となる。
【0244】
また、同一地点を指し示す複数のアイコンの情報(アイコン情報、動画−アイコンリンク情報、地図−アイコンリンク情報)を、1つのアイコンの情報として一元化してしまうと必要な情報の取捨選択ができなくなる。そこで、本実施形態のように、同一地点を指し示すアイコンであっても、それらアイコン毎に情報(アイコン情報、動画−アイコンリンク情報、地図−アイコンリンク情報)を記録することで、上述のフィルタリングなどの柔軟な情報選択、情報表示が可能となる。
【0245】
ステップ650に続いては、ステップ655で、表示部33において動画中のアイコンとともに表示されている当該アイコンのアイコン情報(図16の情報表示63参照)にWebページ、他の動画へのリンク等の他情報へのリンクが含まれており、かつ、ユーザが入力部30を用いてそのリンクを選択したか否かを判定し、選択したと判定した場合続いてステップ660に進み、選択していない場合、ステップ660をバイパスしてステップ665に進む。
【0246】
ステップ660では、アイコンリンク先選択処理を実行する。図35に、アイコンリンク先選択処理のフローチャートを示す。ステップ660に続いては、ステップ665を実行する。そしてステップ665では、アイコンリンク先表示処理を実行する。図36に、アイコンリンク先表示処理のフローチャートを示す。以下、このアイコンリンク先選択処理およびアイコンリンク先表示処理を実行する制御部32の作動について、図37を参照して説明する。
【0247】
まず、現在動画中にアイコンが表示されていないか(ステップ645→NO)、あるいは表示されていてもユーザがリンクを選択していない(ステップ655→NO)場合について説明する。
【0248】
この場合、制御部32は、ステップ660を実行しないままステップ665のアイコンリンク先表示処理の実行を始め、まずステップ950では、リンク先リストにリンク(例えばWebページ、他の動画へのリンク)が登録されているか否かを判定する。リンク先リストは、動画の再生開始時に空にするようになっている。この事例においては、現時点のリンク先リストは空であるとする。したがって制御部32は、リンクが登録されていないと判定してアイコンリンク先表示処理を終了する。
【0249】
その後、再生中の動画に1つのアイコンが表示されるようになり(ステップ645→YES)、そのアイコンのアイコン情報中にリンクが存在し、ユーザがそのリンクを選択したとする(ステップ655→YES)。
【0250】
すると制御部32は、アイコンリンク先選択処理のステップ905でリンク先リストにアイコンが登録されていないと判定し、続いてステップ915に進み、動画に複数のアイコンが表示されていないと判定し、続いてステップ920に進む。そしてステップ920では、選択したリンクのリンク先のコンテンツを表示部33に表示すると共に、ステップ925で、再生中の動画の再生を一時停止する。ここで、リンク先のコンテンツとは、リンク先に記録されている情報であり、例えば、URL(リンク)が示すWebページの内容がリンク先のコンテンツに相当する。なお、選択したアイコンのリンク先を表示部33に表示している場合は、表示部33中に当該動画は表示されなくなる、または別ウィンドウでリンク先のWebページの内容が表示され、当該動画は一時停止状態となっている。
【0251】
続いて制御部32は、リンク先のコンテンツの表示を続けながらも、アイコンリンク先選択処理を抜けてアイコンリンク先表示処理に入り、ステップ950でリンク先リストにアイコンが登録されていないと判定し、アイコンリンク先表示処理を終了する。
【0252】
このように、再生動画中に1つのアイコンのみが表示され、当該アイコンのアイコン情報中のリンクが選択された場合は、動画の再生を中止すると共に選択したリンク先のコンテンツを表示する(ステップ920、925)。
【0253】
また、リンク先リストにリンクが登録されていない状態で、図37に示すように、再生中の動画のフレーム96内に複数のアイコン96a〜96fが表示されるようになり(ステップ645→YES、)、その複数のアイコン96a〜96fの少なくとも1つのアイコン情報中にリンクが存在し、ユーザがそのリンクを選択したとする(ステップ655→YES)。
【0254】
すると制御部32は、アイコンリンク先選択処理のステップ905でリンク先リストにアイコンが登録されていないと判定し、続いてステップ915に進み、動画に複数のアイコンが表示されていると判定し、続いてステップ910に進む。そしてステップ910で、選択したアイコンのリンクをリンク先リストに追加登録する。
【0255】
続いて制御部32は、アイコンリンク先表示処理のステップ950で、リンク先リストにリンクが登録されていると判定し、続いてステップ960で、動画にアイコンが表示されていると判定し、アイコンリンク先表示処理を終了する。
【0256】
このように、リンク先リストにリンクが登録されておらず、複数のアイコン96a〜96fが動画中に表示されているタイミングでリンクを選択した場合、動画の再生を一時停止してそのリンクのリンク先のコンテンツを表示するのではなく、そのリンクをリンク先リストに含める。つまり、リンク先リストとは、後でリンク先のコンテンツを表示する予定があるリンクのリストである。
【0257】
その後、リンク先リストにリンクが登録された状態で、図37に示すように、再生中の動画のフレーム97内に1つ以上のアイコン96aが表示されて続けているが(ステップ645→YES)、ユーザがリンクを選択していない状態であるとする(ステップ655→NO)。
【0258】
この状態において制御部32は、アイコンリンク先選択処理をバイパスしてアイコンリンク先表示処理を実行し始め、ステップ950でリンク先リストにリンクが登録されていると判定し、続いてステップ960で、動画にアイコンが表示されていると判定し、アイコンリンク先表示処理を終了する。
【0259】
このように、リンク先リストにリンクが登録されていても(ステップ950→YES)、動画中にアイコン96aが表示されていれば(ステップ960→YES)、動画の再生が続き、リスト中のリンク先のコンテンツはまだ表示されない。
【0260】
その後、リンク先リストにリンクが登録された状態で、図37に示すように、再生中の動画のフレーム97内に1つ以上のアイコン96aが表示されて続けており(ステップ645→YES)、かつ、そのアイコン96aの少なくとも1つのアイコン情報中にリンクが存在し、ユーザがそのリンクを選択したとする(ステップ655→YES)。
【0261】
すると制御部32は、アイコンリンク先選択処理のステップ905でリンク先リストにリンクが登録されていると判定し、続いてステップ910に進み、選択したアイコンのリンクをリンク先リストに追加登録する。続いて制御部32は、アイコンリンク先表示処理のステップ950で、リンク先リストにリンクが登録されていると判定し、続いてステップ960で、動画にアイコンが表示されていると判定し、アイコンリンク先表示処理を終了する。
【0262】
このように、リンク先リストにリンクが登録されている場合、新たにリンクが選択されると、そのリンクがリンク先リストに追加登録され、動画の再生が続き、リスト中のリンク先のコンテンツはまだ表示されない。
【0263】
その後、リンク先リストにリンクが登録された状態で、図37に示すように、再生中の動画のフレーム98内に表示されるアイコンがなくなった(ステップ645→NO)とする。
【0264】
すると制御部32は、アイコンリンク先選択処理をバイパスしてアイコンリンク先表示処理を実行し始め、ステップ950でリンク先リストにリンクが登録されていると判定し、続いてステップ960で、動画にアイコンが表示されてないと判定し、ステップ970に進む。そして、ステップ970では、リンク先リストにあるリンク先のコンテンツ(例えば図37に示す動画99)を表示し、続くステップ980では、再生動画の再生を一時停止する。なお、ステップ970で表示するリンク先のコンテンツは、リンク先リストに含まれるすべてのリンクのリンク先のコンテンツであってもよいし、ユーザが入力部30を用いて選択した一部のリンク先のコンテンツであってもよい。
【0265】
このように、リンク先リストにリンクが登録された後は、動画中にアイコンが表示されなくなって初めて、そのリンク先リスト中のリンク先のコンテンツを表示部33に表示させて再生動画の再生を一時停止する(ステップ960〜980)。
【0266】
以上のようなアイコンリンク先選択処理およびアイコンリンク先表示処理の作動により、再生動画中に1つのアイコンが表示され、そのアイコンのアイコン情報としてWebサイト、データサーバ2内の他の動画等へのリンクが表示され、そのリンクがユーザによって選択された場合は、直ちにそのリンク先のコンテンツを表示して再生動画の再生を一時停止する。
【0267】
しかし、再生動画中に複数のアイコン91a〜91fが表示され、それらのうちの少なくとも1(あるいは2つ以上)つのアイコン91aのアイコン情報としてWebサイト、データサーバ2内の他の動画等へのリンクが表示され、そのリンクがユーザによって選択された場合は、直ちにそのリンク先のコンテンツを表示するのではなく、一旦リンク先リストに当該リンクを保持しておく、そして、再生動画中からアイコンがなくなるまでは、アイコン情報中のリンクが選択される度にそのリンクがリンク先リストに追加される。そして、再生動画中からアイコンがなくなったタイミングで、リンク先リスト中のリンク先のコンテンツを表示して再生動画の再生を一時停止する。
【0268】
このようにすることの意義について、以下に説明する。動画再生中にアイコン情報にある他動画、ないしはWEBページへのリンクを選択し、その情報が直ちに表示される場合、一旦動画の再生を中断しなければリンク先のコンテンツの情報を見ることはできない。
【0269】
例えば、商店街を通過する場合のように、多くのアイコンが一度に動画に表示されている場合には、表示されるリンクの数も多くなるので、リンクを選択する度に動画の再生を中断するとスムーズに動画を見ることができなくなる恐れがある。だからといって、動画再生が完全に終了するまで待った上でリンク先のコンテンツを表示するのでは、表示が遅すぎてどのリンク先のコンテンツを表示したのか分からなくなってしまう。よって、適切なタイミングで動画を中断し、リンク先のコンテンツを見る機会を作る必要がある。
【0270】
そこで、上記のように、再生動画中に複数のアイコンが表示されているときにリンク先が選択された場合、アイコンがひとつも表示されていないフレーム区間になるまでリンク先のコンテンツを表示しないようにし、アイコンがひとつも表示されなくなったタイミングでリンク先のコンテンツを表示する。
【0271】
例えば、商店街を通過するときは、商店街を(動画が)進行しながら表示される多数のアイコン情報中の多数のリンクのうち、ユーザは気になったリンクを次々に選択していき、商店街を抜けてアイコンおよびアイコン情報が表示されなくなって一息ついたときに、リンク先のコンテンツが表示されることになる。
【0272】
このように、アイコンの表示が多く表示された場合は、アイコンの表示が途切れるきりのいいタイミングで、リンク先のコンテンツを表示することにより、ユーザに優しい情報表示が可能になる。
【0273】
なお、制御部32は、図28のステップ665に続いて、ステップ670で再生動画が一時停止されたか否かを判定し、一時停止されていなければ(動画の再生が終了していない限り)処理をステップ645に戻し、一時停止されていれば、続いてステップ645で、リンク先のコンテンツを表示部33に表示させる。なお、ここで表示させるリンク先のコンテンツは、リンク先リストに含まれるリンク先のコンテンツであってもよいし、一時停止時に表示されているフレームに表示されているアイコンに対応するアイコン情報中のリンク先のコンテンツであってもよい。ステップ675の後は(動画の再生が終了していない限り)処理をステップ645に戻す。
【0274】
ここで、上記実施形態と特許請求の範囲の用語の対応関係についてまとめる。データサーバ2の制御部22が、ステップ126、127を実行することで、アイコン登録手段の一例として機能し、ステップ142、163、171を実行することで、地図・動画送信手段の一例として機能し、ステップ142、163、171を実行することで、の地図・動画送信手段一例として機能し、ステップ126を実行することで、アイコン表示区間・位置受信手段の一例として機能し、ステップ210を実行することで、アイコン経路情報記録手段の一例として機能し、ステップ220を実行することで、アイコン表示地点算出手段の一例として機能し、ステップ154を実行することで、アイコン検索手段の一例として機能し、ステップ133、134を実行することで、動画検索手段の一例として機能し、ステップ161を実行することで、再生開始フレーム決定手段の一例として機能し、
ステップ250〜280を実行することで、同一地点アイコンID記録手段の一例として機能し、ステップ230を実行することで、確度設定手段の一例として機能する。
【0275】
また、表示端末3の制御部32が、ステップ172を実行することで、受信手段の一例として機能し、ステップ173を実行することで、地図表示手段の一例として機能し、ステップ174を実行することで、動画再生手段の一例として機能し、ステップ803、805、810を実行することで、同一地点アイコン除外手段の一例として機能し、ステップ815〜840を実行することで、付加情報表示手段の一例として機能する。また、複数の表示端末3のうち、図17、図21、図25中の表示端末3が、第1の表示端末に相当する。
【0276】
(他の実施形態)
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。
【0277】
上記実施形態では、データサーバ2は、動画共有サービスを表示端末3のユーザに提供するためのデータサーバである。しかしデータサーバ2は、このようなものに限らず、プローブカー情報を収集するデータセンタであってもよい。プローブカー情報とは、車両が自車両の周囲を撮影した結果の動画データと、その動画を撮影した位置のデータと、を含む情報である。
【0278】
また、上記の動画データベース20aは、上記実施形態のデータサーバ2とは異なる動画共有サービスのデータサーバに記録されていてもよい。この場合、データサーバ2と当該動画共有サービスのデータサーバが、本発明のデータサーバを構成する。
【0279】
また、上記の地図データベース20bは、上記実施形態のデータサーバ2とは異なるインターネット地図配信用データサーバに記録されていてもよい。この場合、データサーバ2と当該インターネット地図配信用データサーバが、本発明のデータサーバを構成する。
【0280】
また、上記実施形態においては、動画−地図リンク情報の動画経路情報中で、撮影位置が撮影時刻に対応づけられている。そして、この撮影時刻は、時、分、秒で表される時刻であった。しかし、この撮影時刻は、時間を表すための表現形態で表されてもよい。例えば、動画の撮影時における当該動画のフレーム番号も、一定時間の経過と共に一定量変化するので、撮影時刻を表す量として使用可能である。この場合は、図11のステップ210で動画経路情報中の撮影時刻と動画−アイコンリンク情報中の表示開始フレーム、表示終了フレームとの対応付けには、フレームレートは不要となる。
【0281】
また、上記実施形態では、アイコン表示フレーム区間中の2つのフレーム中のフレーム中アイコン表示位置と、当該2つのフレームが撮影された撮影経路上の2つの地点との関係に基づいて、地図中のアイコン表示地点を算出するようになっている。そして、アイコン表示フレーム区間中の2つのフレームとして、アイコン表示開始フレームおよびアイコン表示終了フレームが例示されている。しかし、2つのフレームは、このようなものに限らず、アイコン表示フレーム区間中の異なる2つのフレームであれば、どのようなものであってもよい。また、3以上の整数Nについて、N個のフレーム中のフレーム中アイコン表示位置と、当該N個のフレームが撮影された撮影経路上のN個の地点との関係に基づいて、地図中のアイコン表示地点を算出するようになっていてもよい。すなわち、本発明では、アイコン表示フレーム区間中の少なくとも2つのフレーム中のフレーム中アイコン表示位置と、当該少なくとも2つのフレームが撮影された撮影経路上の少なくとも2つの地点との関係に基づいて、地図中のアイコン表示地点を算出するようになっていればよい。
【0282】
また、図30のステップ720では、他動画の表示フレーム区間に対応する撮影地点範囲の長さAと、再生動画の表示フレーム区間に対応する撮影地点範囲の長さBとが同じになるようにするようになっている。しかし、長さAと長さBとは、必ずしも同じでなくともよく、例えば、長さBが長さAの2倍であってもよいし、長さBが長さAの2倍であってもよい。また例えば、他動画の札絵経路において上記終点の手前の最後の曲折点(右折点、左折点)から、上記終点までの距離を、長さBとしてもよい。このようにすることで、実際には見えていない地点を指し示すアイコンを動画中に表示してしまう可能性が低減される。
【0283】
また、図11のステップ260では、近傍に同種別のアイコンが存在した場合、同一地点かユーザに問い合わせを行い、ユーザが同一地点とみなした場合のみ同一地点情報にアイコンのIDを登録することになっている。しかし、アイコン登録の過程で明らかに同一地点に対するアイコンの登録が行われていることが判別できる場合、ステップ260およびステップ270を省略してもよい。
【0284】
例えば、再生中の動画(以下、再生動画という)に他の動画で登録されたアイコンが表示されていて、そのアイコンに対しアイコンの付加情報を追加するという操作があった場合、データサーバ2は、再生動画に新たなアイコンを登録するようになっていてもよい。
【0285】
このようなアイコン登録処理の場合、データサーバ2は、他の動画で登録されたアイコンに対して付加情報を追加する操作があったということに基づいて、ユーザに問い合わせをするまでもなく、新たなアイコンが他動画のアイコンと同一地点であることが判別できるため、ステップ260を省略することが可能である。
【0286】
また、上記の実施形態において、データサーバ2の制御部22、表示端末3の制御部32がプログラムを実行することで実現している各機能は、それらの機能を有するハードウェア(例えば回路構成をプログラムすることが可能なFPGA)を用いて実現するようになっていてもよい。
【符号の説明】
【0287】
1 動画撮影装置
2 データサーバ
3 表示端末
20 データベース部
20a 動画データベース
20b 地図データベース
20c アイコンデータベース
20d リンクデータベース
【技術分野】
【0001】
本発明は、動画および地図を送信するデータサーバおよび動画・地図連動表示システムに関するものである。
【背景技術】
【0002】
従来、地図データをユーザ端末に送信して表示させるデータサーバが利用されている(例えば、特許文献1参照)。例えば、Google(登録商標)マップというサービスでは、データサーバが地図を配信し、地図を閲覧するユーザが、地図上の各地点に対し、その地点を撮影した動画へのリンクを登録することができ、データサーバは、登録されたリンクを示すマークを地図上に表示させ、そのマークをユーザが選択すると、選択されたマークのリンク先の動画が地図と共に表示させるようになっている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−127437号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このように、Google(登録商標)マップでは、ユーザは地図を見て動画を登録したい地点を選び、その地点に当該動画へのリンクを追加することができる。しかし、ユーザは、動画の閲覧中に、情報を登録したい地点(施設、自然構造物等)を動画中に発見したとしても、地図でその地点を探し、探した地点にリンクを登録するという煩雑な作業を行わなければならない。
【0005】
本発明は上記点に鑑み、地図および動画をユーザ端末に送信して表示させるデータサーバにおいて、ユーザが動画中で見つけた地点(施設、自然構造物等)に対して簡易に情報を登録することができるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するための請求項1に記載の発明は、複数の表示端末(3)と通信し、その通信において地図および動画を前記表示端末(3)に送信することによって、前記複数の表示端末(3)で前記地図および前記動画を表示させるデータサーバであって、前記複数の表示端末(3)に表示させるための地図および複数の動画を記憶すると共に、前記複数の動画の1つ1つについて、当該1つの動画を撮影した撮影経路中の複数の撮影地点を撮影時刻に対応付ける動画経路情報を記憶するデータベース部(20)と、前記データベース部(20)に記録された前記複数の動画のそれぞれに対して、当該動画中に表示された地点を指し示すアイコンを登録するため、当該アイコンのアイコンIDに当該動画の動画IDが関連付けられた動画−アイコンリンク情報をデータベース部(20)に記録するアイコン登録手段(126、127)と、前記複数の動画のうち第1の動画および前記第1の動画の撮影経路を含む地図を、前記複数の表示端末(3)のうち第1の表示端末(3)に表示させると共に、前記第1の動画に登録された第1のアイコンを前記第1の動画中および前記地図中に表示させるため、前記第1の表示端末(3)に情報を送信する地図・動画送信手段(142、163、171)と、を備え、前記アイコン登録手段は:前記複数の表示端末(3)のうちいずれか1つの表示端末において前記複数の動画のうちいずれか1つの動画が表示されているとき、前記1つの表示端末のユーザが、前記1つの動画中において1つのアイコンを表示すべきフレームの区間(以下、アイコン表示フレーム区間という)を指定し、前記アイコン表示フレーム区間内のフレーム中における前記1つのアイコンの表示位置(以下、フレーム中アイコン表示位置という)を指定し、前記1つのアイコンの他の情報を入力したとき、前記1つの表示端末から、前記1つのアイコンについての前記アイコン表示フレーム区間の情報、前記1つのアイコンについての前記フレーム中アイコン表示位置の情報、および前記1つのアイコンについての他の情報を受信するアイコン表示区間・位置受信手段(126)と、前記アイコン表示区間・位置受信手段(126)が受信した前記1つのアイコンについての前記アイコン表示フレーム区間および前記1つのアイコンについての前記フレーム中アイコン表示位置を、前記1つの動画の動画IDと前記1つのアイコンのアイコンIDと共に、前記1つのアイコンに対応する動画−アイコンリンク情報として前記データベース部(20)に記録し、さらに、前記アイコン表示フレーム区間中の複数のフレームと、前記データベース部(20)に記録されている前記1つの動画の動画経路情報中の複数の撮影時刻と、を対応付けることで、前記撮影経路のうち前記アイコン表示フレーム区間が撮影された経路を示すアイコン経路情報を算出し、算出した前記アイコン経路情報を前記1つのアイコンに対応するアイコン経路情報として前記データベース部(20)に記録するアイコン経路情報記録手段(210)と、前記1つの動画中のフレームのうち2つのフレームにおける前記フレーム中アイコン表示位置を取得し、また、前記2つのフレームが撮影された撮影経路上の2つの地点を、前記1つのアイコンに対応する前記アイコン経路情報に基づいて取得し、取得した前記2つのフレームにおける前記フレーム中アイコン表示位置と、前記2つの地点と、の関係に基づいて、前記1つのアイコンについての地図上のアイコン表示地点を算出し、算出した前記アイコン表示地点をデータベース部(20)に記録するアイコン表示地点算出手段(220)と、を備え、前記地図・動画送信手段(142、163、171)は、前記第1のアイコンを前記1つのアイコンとすることで前記アイコン表示地点算出手段(220)によって前記データベース部(20)中に記録された、前記第1のアイコンについてのアイコン表示地点を前記第1の表示端末(3)に送信することで、前記地図中の前記アイコン表示地点に該当する地点に、前記第1のアイコンを表示させることを特徴とするデータサーバである。
【0007】
このように、複数の表示端末(3)のうち任意の(すなわち、不特定な1つの、または、どれでもよい1つの)表示端末(3)のユーザが、データベース部(20)に記録された任意の(すなわち、不特定な1つの、または、どれでもよい1つの)動画中に対してアイコンを登録し、その際、そのアイコンのアイコン表示フレーム区間およびフレーム中アイコン表示位置を指定することができ、また、データサーバが、その指定されたアイコン表示フレーム区間中の複数のフレームと、登録先の動画についてあらかじめ記録されている動画経路情報中の撮影時刻とを対応付けることで、撮影経路のうちアイコン表示フレーム区間が撮影された経路を示すアイコン経路情報を算出することができる。そして、アイコン表示フレームのうち2つのフレームにおけるフレーム中アイコン表示位置の情報と、算出した経路中でその2つのフレームが撮影された地点との関係に基づいて、地図上でアイコンを表示すべきアイコン表示地点を算出することができる。したがって、表示端末のユーザが動画中で見つけた地点(施設、自然構造物等)に対して簡易に情報を登録することができる。
【0008】
また、請求項2に記載の発明は、請求項1に記載のデータサーバにおいて、前記地図・動画送信手段(142、163、171)は、前記第1の表示端末に前記第1の動画および前記第1の動画の撮影経路を含む地図を表示させ、さらに、前記第1のアイコンに対応するアイコン表示地点に該当する前記地図上の地点に前記第1のアイコンを表示させると共に、前記第1の動画とは別の動画に対して登録されたアイコン(以下、他動画登録アイコンという)を前記1つのアイコンとすることで前記アイコン表示地点算出手段(220)によって前記データベース部(20)中に記録された、前記他動画登録アイコンのアイコン表示地点を、前記データベース部(20)から読み出し、読み出したアイコン表示地点に該当する前記地図上の地点に前記他動画登録アイコンを表示させることを特徴とする。
【0009】
このようになっていることで、別々の動画に対して登録された複数のアイコンを同じ地図上にまとめて表示させることができる。
【0010】
また、請求項3に記載の発明は、請求項1または2に記載のデータサーバにおいて、前記第1の表示端末のユーザが、アイコンを検索するためのアイコン検索操作をしたとき、前記第1の表示端末から、そのアイコン検索操作の内容の情報を受信し、受信したアイコン検索操作の内容に基づいて、前記複数の動画に登録されたアイコンのうちから1つのアイコンを抽出するアイコン検索手段(154)と、前記アイコン検索手段(154)が抽出したアイコンを前記第1のアイコンとし、前記第1のアイコンに対応する動画−アイコンリンク情報に基づいて、当該動画−アイコンリンク情報中の動画IDに対応する前記第1の動画と、前記動画−アイコンリンク情報中のアイコン表示フレーム区間の始点の情報とを、前記第1の動画の再生開始フレームとして特定する再生開始フレーム決定手段(161)と、を備え、前記地図・動画送信手段(142、163、171)は、前記第1の表示端末で前記第1の動画を前記再生開始フレームから再生させるよう、前記再生開始フレームの情報を前記第1の表示端末に送信することを特徴とする。
【0011】
このようにすることの意義について、以下説明する。地図上に表示されたアイコンをユーザが選択したときに、そのアイコンが登録された動画の再生をそのアイコンが表示されている地点から開始できるようにすると、再生開始と共にそのアイコンを閲覧することができるので便利である。しかし、地図上のアイコン表示地点は施設が存在する場所であり、その地点を動画再生開始地点としてしまうと、見たい施設の情報をほとんど見ることができない。これを解決するために、アイコン表示地点から一定距離だけ手前からアイコンを表示するようにしてもよいが、このようにすると、アイコン毎にアイコン表示開始のタイミングを変えることができない。
【0012】
そこで、上記のように、動画−アイコンリンク情報において、アイコン毎にアイコンの表示開始・終了フレームを記録しておくことで、アイコン毎に表示開始フレームを設定できる。
【0013】
また、請求項4に記載の発明は、請求項1ないし3のいずれか1つに記載のデータサーバにおいて、前記アイコン表示地点算出手段(220)は、請求項1ないし3のいずれか1つに記載のデータサーバにおいて、前記撮影経路中の2つの地点のうち、前記アイコン表示フレーム区間の終了時の撮影地点(52)を基準とする前記アイコン表示地点の相対位置座標の成分のうち、前記撮影経路の移動方向に平行な成分の値xを、x=L×R/(Q−R)という式で算出し、この際、Lは前記2つの地点間の前記移動距離であり、Rは、前記アイコン表示フレーム区間の開始時の撮影地点において撮影されたアイコン表示開始フレーム中の、左右方向の中心線(46a)から前記アイコン表示開始フレームにおけるフレーム中アイコン表示位置(46b)までの距離(46c)を、当該中心線(46a)から前記アイコン表示開始フレーム(46)の左右端部までの距離(46d)で除算した値であり、Qは、前記アイコン表示フレーム区間の終了時の撮影地点において撮影されたアイコン表示終了フレーム中の、左右方向の中心線(47a)から前記アイコン表示終了フレームにおけるフレーム中アイコン表示位置(46b)までの距離(47c)を、当該中心線(47a)から前記アイコン表示終了フレーム(47)の左右端部までの距離(47d)で除算した値であり、前記撮影経路中の2つの地点のうち、前記アイコン表示フレーム区間の終了時の撮影地点(51)を基準とする前記アイコン表示地点の相対位置座標の成分のうち、前記撮影経路の移動方向に垂直な成分の値yを、前記第1の動画を撮影したカメラの画角を特定できる場合、y=[L×Q×R/(Q−R)]×tanαという式で算出し、この際、αは、前記画角の1/2であり、前記第1の動画を撮影したカメラの画角を特定できない場合、前記アイコン表示フレーム区間の終了時の撮影地点(52)から前記値xに相当する距離だけ前記撮影経路の移動方向に沿って前方に進んだ地点(53)から、前記撮影経路の移動方向に垂直な方向に位置する施設のうち、前記前方に進んだ地点地点(53)に最も近い施設を、地図情報に基づいて検索し、検索の結果抽出した施設の所在位置を、前記アイコン表示地点とし、ただし、前記移動方向に垂直な方向としては、前記アイコン表示開始フレーム(46)または前記アイコン表示終了フレーム(47)で左右方向の中心線(46a、47a)に対してアイコンが表示された側のみに限定することを特徴とする。
【0014】
地図上のアイコン表示地点を特定する方法には、このように動画の撮影地点を元に特定する方法以外にも、フレーム中のアイコン表示位置にある画像と、地図情報中にあらかじめ用意された複数の施設の画像と、の間で画像マッチングを行う方法、ユーザによる地図中の施設の選択を受け付ける方法撮影地点を元に算出する方法などが考えられる。しかし、動画の撮影地点を元にアイコン表示地点情報を算出する方法は、画像マッチングほど処理負荷が高くなく、またアイコン表示地点を直接ユーザに入力してもらうといったユーザに対して手間をかけることのない方法である。そして、カメラ画角が分かっている場合には、その情報を利用してアイコン表示地点の算出を行い、分かっていない場合には画像と地図情報から推定することによって、多くの場合で自動でアイコン表示地点を決めることができるようになる。
【0015】
また、請求項5に記載の発明は、請求項1ないし4のいずれか1つに記載のデータサーバにおいて、前記第1の表示端末において地図および地図上の複数のアイコンが表示されており、前記第1の表示端末のユーザが、前記複数のアイコンを指定する動画検索操作を行ったとき、前記第1の表示端末から、その動画検索操作の内容の情報を受信し、受信した検索操作の内容に基づいて動画を抽出する動画検索手段(133、134)を備え、前記地図・動画送信手段(142、163、171)は、前記動画検索手段(133、134)によって抽出された動画を前記第1の動画として前記第1の表示端末に表示させるために、前記抽出された前記第1の動画を前記第1の表示端末に送信し、前記動画検索手段(133、134)は、前記ユーザによって指定された前記複数のアイコンのいずれか1つ以上のアイコンIDを含む動画−アイコンリンク情報から、動画IDを取得し、取得された動画IDを取得回数が多い順に並べたリストを前記第1の表示端末に送信することで、前記ユーザに前記リスト中から動画を選択させることを特徴とする。
【0016】
動画検索時になるべく多くのアイコンが登録されている動画を見たい場合が考えられる。例えば見たい経路が決まっておりその経路沿いのアイコンの情報を複数見たい場合などである。単一のアイコンを選択して映像を再生する場合、上記のようなニーズには応えられない。逆に経路を指定して映像を検索する場合、アイコンの情報が格納されていない映像も選択されてしまう可能性がある。このような場合、上記のように、動画検索時に複数の地図上のアイコンを指定して、指定したアイコンを多く含む動画を優先的に表示すればよい。このようにすることで、複数個のアイコンを元に動画を検索することができ、見たいアイコンが多く入っている好みの経路を撮影した動画を優先的に再生することができる。
【0017】
また、上記目的を達成するための請求項6に記載の発明は、請求項1ないし5のいずれか1つに記載のデータサーバと、前記第1の表示端末とを備えた動画・地図連動表示システムであって、前記第1の表示端末は、前記データサーバの前記地図・動画送信手段(142、163、171)によって送信された前記第1の動画、前記地図、および前記アイコン表示地点情報を受信する受信手段(172)と、前記受信手段(172)が受信した前記地図上の前記アイコン表示地点に基づく位置に、前記第1のアイコンを表示する地図表示手段(173)と、前記受信手段(172)が受信した前記第1の動画を再生する動画再生手段(174)と、を備えたことを特徴とする動画・地図連動表示システムである。このように、データサーバと第1の表示端末とを備えた動画・地図連動表示システムとしても、本発明を捉えることができる。
【0018】
また、請求項7に記載の発明は、請求項6に記載の動画・地図連動表示システムにおいて、前記データサーバの前記アイコン表示区間・位置受信手段(126)が受信する前記1つのアイコンの前記他の情報には、前記1つのアイコンの種別の情報および前記1つのアイコンの指し示す地点について説明するアイコン付加情報が含まれ、前記データサーバは更に、前記アイコン表示地点算出手段(220)が算出した前記1つのアイコンの前記地図上のアイコン表示地点が、前記データベース部(20)に記録されている他のアイコンのアイコン表示地点の近傍であり、かつ、前記1つのアイコンの種別と、前記データベース部(20)に記録されている前記他のアイコンの種別とが同じであることに基づいて、前記1つのアイコンと同一の地点を指し示しているアイコンのアイコンID(以下、前記1つのアイコンについての同一地点アイコンIDという)として、前記他のアイコンのアイコンIDをデータベース部(20)に記録する同一地点アイコンID記録手段(250〜280)を備え、前記地図・動画送信手段(142、163、171)は、前記第1の動画、前記地図、および前記アイコン表示地点情報に加え、前記第1の動画についての前記同一地点アイコンIDおよび前記同一地点アイコンIDに対応するアイコンについて前記データベース部(20)に記録されているアイコン表示地点情報およびアイコン付加情報を、前記第1の表示端末に送信し、前記第1の表示端末は、
前記受信手段(172)が受信した前記同一地点アイコンIDに対応するアイコンを、前記地図中および前記第1の動画中に表示させる対象から除外する同一地点アイコン除外手段(803、805、810)と、前記受信手段(172)が受信した前記第1のアイコンのアイコン付加情報と共に、前記受信手段(172)が受信した前記同一地点アイコンIDに対応するアイコンのアイコン付加情報を表示する付加情報表示手段(815〜840)と、を備えたことを特徴とする。
【0019】
同じ地点を指し示すアイコンが複数個重複して登録された場合、同じ地点に複数のアイコンが重なって表示されてしまい、見栄えが悪い。そこで、上記のように、新たに動画にアイコンを登録する時、同一の地点を指し示しているとみなせるアイコンのアイコンIDを記録しておく。そして、表示端末にあるアイコンを表示させる際には、そのアイコンと同一の地点を指し示しているとみなせる他のアイコンを表示対象から除外することで、見栄えを向上させることができる。そしてその上で、表示させたアイコンのアイコン付加情報と共に、そのアイコンと同一の地点を指し示しているとみなせる他のアイコンのアイコン付加情報も表示させることで、その地点について表示される情報の欠落を抑えることができる。
【0020】
また、請求項8に記載の発明は、請求項6に記載の動画・地図連動表示システムにおいて、前記データサーバは、 前記アイコン表示地点算出手段(220)が算出した前記1つのアイコンの前記地図上のアイコン表示地点が、前記データベース部(20)に記録されている他のアイコンのアイコン表示地点の近傍であり、かつ、前記アイコン表示区間・位置受信手段(126)が受信した前記1つのアイコンの種別と、前記データベース部(20)に記録されている前記他のアイコンの種別とが同じであることに基づいて、前記1つの表示端末のユーザに対して、前記1つのアイコンと前記他のアイコンとが同じ地点を指し示しているかを問い合わせ、その問い合わせに対する回答が肯定的であることに基づいて、前記1つのアイコンと同一の地点を指し示しているアイコンのアイコンIDとして、前記他のアイコンのアイコンIDをデータベース部(20)に記録する同一地点アイコンID記録手段(250〜280)と、前記アイコン表示地点算出手段(220)が算出した前記1つのアイコンのアイコン表示地点の確度を設定し、設定した確度を前記1つのアイコンの前記アイコン表示地点に関連付けて前記データベース部(20)に記録する確度設定手段(230)と、を備え、前記地図・動画送信手段(142、163、171)は、前記第1の動画、前記地図、および前記第1のアイコンのアイコン表示地点情報に加え、前記第1のアイコンの前記アイコン表示地点について設定された確度と、前記同一地点アイコンIDに対応するアイコンについてデータベース部(20)に記録されているアイコン表示地点情報、アイコン付加情報、および当該アイコン表示地点の確度を、前記第1の表示端末に送信し、前記第1の表示端末は、前記受信手段(172)が受信した前記同一地点アイコンIDに対応するアイコンを、前記地図中に表示させる対象から除外する同一地点アイコン除外手段(810)を備え、前記第1の表示端末の前記地図表示手段(173)は、前記受信手段(172)が受信した前記第1のアイコンについてのアイコン表示地点および当該アイコン表示地点について設定された確度との組、および、前記受信手段(172)が受信した前記同一地点アイコンIDに対応するアイコンについてのアイコン表示地点および当該アイコン表示地点について設定された確度との組、を用いて、アイコン表示地点の重み付き平均を算出し、この算出の際、各確度の値には、確度が高いほど大きい重み数値を対応付け、算出した重み付き平均の地点に、前記アイコンを表示することを特徴とする。
【0021】
同一の地点を指し示すアイコンが複数登録されている場合、仮に初めに付加されたアイコン情報を用いて表示地点を決めてしまうと、後からよりよい位置精度の表示地点が算出されたとしてもそれを反映することができない。
【0022】
そこで、上記のように、あるアイコンの表示地点を、そのアイコンと同じ地点を指し示すアイコンの表示地点を用いて補正する。このようにすることで、アイコンの地図上の表示地点をより正確に決定することができる。
【0023】
また、請求項9に記載の発明は、請求項6ないし8のいずれか1つに記載の動画・地図連動表示システムにおいて、前記第1の表示端末の前記動画再生手段(174)は、前記受信手段(172)が受信した前記第1の動画を再生する際に、前記第1の動画に登録されたアイコン(以下、再生動画登録アイコン)と、前記第1の動画以外の動画に登録され、かつ、前記第1の動画の撮影経路沿いにあるアイコン(以下、他動画登録アイコンという)を取得し、取得した前記再生動画登録アイコンおよび前記他動画登録アイコンのそれぞれが前記第1の動画中のどのフレーム区間に表示されるべきかを決定する決定処理(637)を実行し、その後、前記第1の動画を再生し、その再生中に、前記前記再生動画登録アイコンおよび前記他動画登録アイコンを、前記動画中アイコン表示区間・位置決定処理(637)で決定したフレーム区間および位置に表示させ、前記決定処理(637)においては:取得した前記再生動画登録アイコンのそれぞれについては、当該再生動画登録アイコンの動画−アイコンリンク情報中のアイコン表示フレーム区間に従って、当該再生動画登録アイコンを前記第1の動画中のどのフレーム区間に表示されるべきかを決定し、取得した前記他動画登録アイコンのそれぞれについては、当該他動画登録アイコンの動画−アイコンリンク情報からアイコン表示フレーム区間およびフレーム中アイコン表示位置を読み出し、当該他動画登録アイコンの登録先の動画(以下、他動画という)と前記第1の動画の移動方向が同じであるか否かを、前記他動画および前記第1の動画の動画経路情報に基づいて判定し、移動方向が同じである場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間(81a〜81b)に対応する撮影地点範囲(82a〜82b)と、前記第1の動画において当該他動画登録アイコンを表示する表示フレーム区間(83a〜83b)に対応する撮影地点範囲(82a〜82b)とが同じになるよう、前記第1の動画において当該他動画登録アイコンを表示するフレームの区間(83a〜83b)を決定し、移動方向が同じである場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間(81a〜81b)に対応する撮影地点範囲(82a〜82b)と、前記第1の動画において当該他動画登録アイコンを表示する表示フレームの区間(83a〜83b)に対応する撮影地点範囲(82a〜82b)とが同じになるよう、前記第1の動画において当該他動画登録アイコンを表示するフレームの区間(83a〜83b)を決定し、移動方向が逆である場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間(84a〜84b)に対応する撮影地点範囲(85a〜85b)の終点(85b)に対して、当該撮影地点範囲(85a〜85b)とは逆の方向から到達するような地点範囲(85c〜85b)が、前記第1の動画において当該他動画登録アイコンを表示するフレームの区間(86c〜86b)に対応する撮影地点範囲(85c〜85b)となるよう、前記第1の動画において当該他動画登録アイコンを表示するフレームの区間(86c〜86b)を決定することを特徴とする。
【0024】
決定処理(637)がこのようになっていることで、第1の動画中で表示フレーム区間が確定されていない他動画登録アイコンであっても、少なくとも表示区間と方向に基づいて、少ない処理負荷でユーザに分かりやすい情報提示が可能となる。これによって、他動画登録アイコンが表示されないことによるユーザへの不利益や、高負荷処理によるシステム動作不良を抑えることができる。
【0025】
また、請求項10に記載の発明は、請求項6ないし9のいずれか1つに記載の動画・地図連動表示システムにおいて、 前記第1の表示端末の前記動画再生手段(174)は、前記第1の動画の再生中に、前記第1の動画中に複数のアイコン(91a〜91f)が表示され、前記複数のアイコン(91a〜91f)のうちの少なくとも1つのアイコンのアイコン情報として他の情報へのリンクが表示され、そのリンクがユーザによって選択された場合は、一旦リンク先リストに当該リンクを保持し、そして、前記第1の動画中からアイコンがなくなるまでは、アイコン情報中のリンクが選択される度にそのリンクを前記リンク先リストに追加し、前記第1の動画中からアイコンがなくなったタイミングで、前記リンク先リスト中のリンク先のコンテンツを表示して再生動画の再生を一時停止することを特徴とする。
【0026】
動画再生中にアイコン情報にある他の情報(例えば、他動画、ないしはWEBページ)へのリンクを選択し、その情報が直ちに表示される場合、一旦動画の再生を一時停止しなければリンク先のコンテンツを見ることはできない。例えば、商店街を通過する場合のように、多くのアイコンが一度に動画に表示されている場合には、表示されるリンクの数も多くなるので、リンクを選択する度に動画の再生を中断するとスムーズに動画を見ることができなくなる恐れがある。だからといって、動画終了後まで待った上でリンク先のコンテンツを表示するのでは、表示が遅すぎてどのリンク先のコンテンツを表示したのか分からなくなってしまう。従って、適切なタイミングで動画の再生を一時停止し、リンク先のコンテンツを見る機会を作る必要がある。
【0027】
そこで、上記のように、第1の動画中に複数のアイコンが表示されているときにリンクが選択された場合、アイコンがひとつも表示されていないフレーム区間になるまでリンク先のコンテンツを表示しないようにし、アイコンがひとつも表示されなくなったタイミングでリンク先のコンテンツを表示する。このように、アイコンの表示が複数表示された場合は、アイコンの表示が途切れるきりのいいタイミングで、リンク先のコンテンツを表示することにより、ユーザに優しい情報表示が可能になる。
【0028】
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
【図面の簡単な説明】
【0029】
【図1】本発明に係る動画・地図連動表示システムの概要を示す図である。
【図2】動画撮影装置1、データサーバ2、表示端末3の構成例を示す図である。
【図3】各データベース20a〜20dに含まれる情報の一覧を示す図である。
【図4】動画撮影装置1、データサーバ2、表示端末3間でやりとりされるデータの流れを示す図である。
【図5】動画登録時の動画・地図連動表示システムの作動のシーケンス図である。
【図6】データサーバから表示端末に送信される地図画像および動画の例を示す図である。
【図7】動画にアイコンを登録する際におけるデータサーバ2、表示端末3の作動のシーケンス図である。
【図8】アイコンの表示開始点を設定するときの表示画面の一例を示す図である。
【図9】アイコンの表示終了点を設定するときの表示画面の一例を示す図である。
【図10】アイコン付加情報等の入力を受け付ける画像45を示す図である。
【図11】アイコン登録処理のフローチャートである。
【図12】アイコン表示位置仮決定処理のフローチャートである。
【図13】アイコン46bの指し示す位置が動画撮影装置の移動と共に変化することを示す図である。
【図14】アイコン表示位置仮決定処理における地点50の算出方法を示す図である。
【図15】アイコン表示地点確度設定処理のフローチャートである。
【図16】動画中に登録されたアイコン61aの表示例を示す図である。
【図17】動画検索のための作動のシーケンス図である。
【図18】動画検索処理のフローチャートである。
【図19】複数アイコン選択時用処理のフローチャートである。
【図20】複数アイコン選択時用処理におけるデータの抽出手順を示す模式図である。
【図21】アイコン検索およびアイコン検索に続く動画再生開始フレーム決定のための作動の一例示すシーケンス図である。
【図22】アイコン検索処理のフローチャートである。
【図23】動画再生開始フレーム決定処理のフローチャートである。
【図24】動画再生開始フレーム決定処理の処理手順を示す模式図である。
【図25】地図および動画の表示処理の作動を示すシーケンス図である。
【図26】地図表示処理のフローチャートである。
【図27】重み付き平均の算出例を概略的に示す図である。
【図28】動画再生処理のフローチャートである。
【図29】動画中アイコン表示区間・位置決定処理のフローチャートである。
【図30】他動画登録アイコン表示区間・位置決定処理のフローチャートである。
【図31】再生動画とアイコンが登録された他動画とで移動方向が同じ場合における表示開始フレーム83aおよび表示終了フレーム84aを示す図である。
【図32】再生動画とアイコンが登録された他動画とで移動方向が逆の場合における表示開始フレーム86cおよび表示終了フレーム86bを示す図である。
【図33】アイコン表示処理のフローチャートである。
【図34】アイコン情報がまとめて表示される例を示す図である。
【図35】アイコンリンク先選先択処理のフローチャートである。
【図36】アイコンリンク先選先表示理のフローチャートである。
【図37】動画中のアイコン表示の推移とリンク先の表示の推移を示す図である。
【発明を実施するための形態】
【0030】
以下、本発明の一実施形態について説明する。図1に示すように、本実施形態に係る動画・地図連動表示システムは、地点情報取得機能付きの複数の動画撮影装置1、データサーバ2、および複数の表示端末3を含んでいる。
【0031】
地点情報取得機能付きの動画撮影装置1のそれぞれは、自機の現在位置を特定する機能を有すると共に、自機の周囲の風景の画像を撮影して動画として記録する機能を有している。記録された動画は、現在位置を特定する機能を用いて特定されたその動画の撮影経路の情報と共に、データサーバ2に送られる。データが送られる方法は、データ通信であってもよいし、そのデータが記憶された記憶媒体を動画撮影装置1からデータサーバ2に付け替える方法であってもよい。また、動画撮影装置1は、車両に搭載されていてもよいし、歩行者に携帯されていてもよい。
【0032】
このような動画撮影装置1の例としては、GPS(Global Positioning System)機能付きデジタルカメラ1a、GPS機能付きビデオカメラ1b、GPS機能付きドライブレコーダ1cがある。GPS機能とは、GPS衛星からの信号に基づいて現在位置を特定する機能をいう。GPS機能付きデジタルカメラ1aおよびGPS機能付きビデオカメラ1bは、ユーザに携帯されて移動し、その移動の際に自機の周囲の風景を動画として撮影および記録することができる。GPS機能付きドライブレコーダ1cは、車両に搭載され、車両の移動と共に移動し、その移動の際に車両の周囲の風景を動画として撮影および記録することができる。
【0033】
データサーバ2は、動画撮影装置1から送られた動画データを蓄積し、それを地図のデータおよび付加情報のデータと共に表示端末3に送信することによって、表示端末3で地図および動画を表示させる装置である。図1に示すように、このデータサーバ2は、動画データサーバ機能、地図データサーバ機能、および付加情報データサーバ機能を有している。本実施形態においては、データサーバ2は、1台でこれら3つの機能を実現するようになっている。しかし、データサーバ2は、複数台でこれら機能を実現するようになっていてもよい。
【0034】
表示端末3のそれぞれは、データサーバ2から受信した動画データ、地図データ、付加情報データを表示する装置である。また、表示端末3は、ユーザの操作に応じて、表示した動画に関連付けた付加情報をデータサーバ2に送信して登録するようにもなっている。このような表示端末3としては、例えば、パーソナルコンピュータ3a、携帯電話機3b、通信機能を有するテレビ受像器3c、図示しないPND(Portable Navigation Device、携帯型ナビゲーション装置)および図示しない据置型カーナビゲーション装置等がある。
【0035】
図2に、本実施形態における動画撮影装置1、データサーバ2、表示端末3の構成を示す。この図に示すように、動画撮影装置1とデータサーバ2との間のデータ通信は、例えば、無線基地局4、無線基地局と接続する電話局5、および電話局と接続する広域ネットワーク6を介して行う。また、データサーバ2と表示端末3との間のデータ通信は、例えば広域ネットワーク6を介して行う。
【0036】
動画撮影装置1は、データ通信部10、表示部11、制御部12、スイッチ情報入力部13、位置検出部14、動画保存部15、動画撮影部16を備えている。データ通信部10は、無線基地局4、電話局5、広域ネットワーク6を介してデータサーバ2と通信を行うための周知の無線インターフェース装置である。表示部11は、制御部12の制御に従って各種情報を文字または画像で表示する装置である。制御部12は、データ通信部10、スイッチ情報入力部13から受けた信号に応じた処理を行い、その処理において、必要に応じてデータ通信部10、表示部11、動画撮影部16を制御し、位置検出部14、動画保存部15から情報を取得する。制御部12としては、例えばROM等に記録されているプログラムを実行することで各種機能を実現する周知のマイクロコンピュータを用いることができる。制御部12の具体的な処理内容については後述する。
【0037】
スイッチ情報入力部13は、ユーザの入力操作を直接受け付け、受け付けた入力操作の内容に応じた信号を制御部12に出力する。
【0038】
位置検出部14は、動画撮影装置1の現在位置を特定し、特定した現在位置の情報を制御部12に出力する装置である。このような装置としては、例えば、GPS受信機を用いることができる。動画保存部15は、動画撮影部16によって撮影された動画データを記憶する記憶媒体(例えば、磁気記憶媒体、フラッシュメモリ等)である。
【0039】
動画撮影部16は、制御部12の制御に従って、自機の周囲の風景を所定のフレームレート(例えば1秒に30フレーム)で繰り返し撮影し、繰り返し撮影された複数の撮影画像(すなわちフレーム)の集合体を、動画像として動画保存部15に記録する。
【0040】
表示端末3は、入力部30、回線端末装置31、制御部32、および表示部33を有している。入力部30は、ユーザの入力操作を直接受け付け、受け付けた入力操作の内容に応じた信号を制御部32に出力する。入力部30としては、例えば、キーボード、マウス、タッチパネル、リモートコントローラがある。回線端末装置31は、広域ネットワーク6を介してデータサーバ2との通信を行うためのインターフェース回路である。表示部33は、制御部32の制御に従って各種情報を文字または画像で表示する装置である。
【0041】
制御部32は、回線端末装置31、制御部32から受けた信号に応じた処理を行い、その処理において、必要に応じて回線端末装置31、表示部33を制御する。制御部32としては、例えばROM等に記録されているプログラムを実行することで各種機能を実現する周知のマイクロコンピュータを用いることができる。制御部32の具体的な処理内容については後述する。
【0042】
データサーバ2は、データベース部20、回線端末装置21、制御部22、およびを有している。回線端末装置21は、無線基地局4、電話局5、広域ネットワーク6等を介して動画撮影装置1および表示端末3との通信を行うためのインターフェース回路である。制御部22は、回線端末装置21から受けた信号に応じた処理を行い、その処理において、必要に応じてデータベース部20に対してデータの書き込みおよび読み出しを行う。制御部22としては、例えばROM等に記録されているプログラムを実行することで各種機能を実現する周知のマイクロコンピュータを用いることができる。
【0043】
データベース部20は、記憶媒体(例えば、磁気記憶媒体、フラッシュメモリ)を有し、この記憶媒体中には、動画データベース20a、地図データベース20b、アイコンデータベース20c、リンクデータベース20dが記録されるようになっている。
【0044】
図3に、各データベース20a〜20dに含まれる情報の一覧を示す。
【0045】
動画データベース20aには、複数個の動画情報が記録されるようになっている。個々の動画情報中では、1つの動画についての各種情報がまとめられている。具体的には、1つの動画情報中には、1つの動画についての動画ID、動画データ、撮影日時、再生時間、フォーマット、カメラ特性、投稿者情報、および動画付加情報等の情報が含まれる。
【0046】
動画IDは、その動画を一意に識別するための識別子(例えば識別番号)である。動画データは、当該動画そのもののデータである。撮影日時は、当該動画を撮影した日時の情報である。再生時間は、当該動画の総再生時間である。フォーマットは、当該動画の圧縮フォーマット(例えば、MPEG2、MPEG4)である。カメラ特性は、当該動画の撮影に用いられたカメラの特性(具体的には画角、または画角を決定するための各種カメラ特性)である。投稿者情報は、当該動画をデータサーバ2に送った人を識別する情報(例えば氏名、アカウント名、ニックネーム等)である。
【0047】
動画付加情報は、当該動画の内容をより詳しく説明するための情報である。この動画付加情報は、後述するように、動画撮影装置1を用いて当該動画をデータサーバ2に送信した人、または、表示端末3を用いて当該動画を閲覧した人が付加する情報である。動画付加情報としては、例えば、テキストデータ、画像データ、他の情報源(例えばデータサーバ2内の他の動画、データサーバ2以外のWebページ)へのリンク(例えばURL(Uniform Reference Locator))を示すリンク情報、当該動画の特徴を示す文字列であるタグ、当該動画の再生回数等がある。
【0048】
地図データベース20bには、地図情報が記録されている。地図情報は、道路の位置、接続関係、形状を示す道路情報、施設の名称、所在位置、種別を示す施設情報、各種地点の住所を示す住所情報、山、川、海等の自然構造物の位置、種別を示す構造物情報、各地点の標高を示す標高情報等が含まれる。
【0049】
アイコンデータベース20cには、複数個のアイコン情報が記録されるようになっている。アイコンとは、後述するように、地点(施設、自然構造物等)を指し示すために表示端末3のユーザによって動画中に登録され、動画中および地図中に表示される絵柄または記号の画像をいう。個々のアイコン情報中では、1つのアイコンについての各種情報がまとめられている。具体的には、1つのアイコン情報中には、1つのアイコンについてのアイコンID、登録者情報、アイコン付加情報、登録目的、種別、同一地点アイコンID等の情報が含まれる。
【0050】
アイコンIDは、当該アイコンを一意に識別するための識別子(例えば識別番号)である。登録者情報は、当該アイコンを登録したユーザを識別する情報(例えば氏名、アカウント名、ニックネーム等)である。
【0051】
アイコン付加情報は、当該アイコンの指し示す地点をより詳しく説明する情報である。このアイコン付加情報は、後述するように、表示端末3を用いて当該アイコンを登録したユーザ、または、表示端末3を用いて当該アイコンを閲覧したユーザが付加する情報である。アイコン付加情報としては、例えば、テキストデータ、画像データ、他の情報源(例えばWebサイト、動画)へのリンクを示すリンク情報、当該アイコンの特徴を示す文字列であるタグ、当該アイコンの再生回数等がある。
【0052】
登録目的は、当該アイコンが登録された目的(広告する、コメントを付加する、お気に入りであることを示す情報を付加する)である。種別は、当該アイコンが指し示すもの(例えば、施設、自然構造物等)の種別(例えば、コンビニエンスストア、ホテル、飲食店、イベント会場等)である。同一地点アイコンIDは、当該アイコンと同一の地点を指し示しているとみなした他のアイコンのアイコンIDである。
【0053】
リンクデータベース20dは、動画、地図およびアイコン間相互の関連を示すための情報を記録するようになっている。具体的には、複数個の動画−地図リンク情報、複数個の動画−アイコンリンク情報、および、複数個の地図−アイコンリンク情報を含むようになっている。
【0054】
動画−地図リンク情報は1つの動画につき1つ記録されており、個々の動画−地図リンク情報は、1つの動画が地図上のどの道路範囲で撮影されたかを示すための情報である。動画−アイコンリンク情報は1つのアイコンにつき1つ記録されており、個々の動画−アイコンリンク情報は、1つのアイコンがどの動画中のどの範囲に登録されたかを示すための情報である。地図−アイコンリンク情報は1つのアイコンにつき1つ記録されており、個々の地図−アイコンリンク情報は、1つのアイコンが地図上のどの地点を指し示しているかを示すための情報である。
【0055】
具体的には、ある動画に対応する動画−地図リンク情報は、当該動画の動画ID、動画表示地点情報、および動画経路情報を含んでいる。動画表示地点情報は、当該動画の存在を示すマークを地図中のどの地点(または地点範囲)に配置するかを示す。動画経路情報は、当該動画を撮影した経路(以下、撮影経路という)中の複数の撮影地点(撮影開始地点、撮影終了地点、およびそれらの間の複数の中間地点)を、当該撮影地点における撮影時刻に対応付ける情報である。つまり、撮影地点とその撮影地点における撮影時刻との組を複数有する情報である。
【0056】
また、あるアイコンに対応する動画−アイコンリンク情報は、動画ID、当該アイコンのアイコンID、表示開始点、表示終了点の情報を含んでいる。動画IDは、当該アイコンが登録された先の動画の動画IDである。表示開始点は、当該動画中で当該アイコンが登録された時間範囲の始点となるフレーム(以下、アイコン表示開始フレームという)、および当該表示開始フレーム中のアイコン登録位置の位置座標(以下、表示開始フレーム中アイコン表示位置という)を含む情報である。表示終了点は、当該動画中で当該アイコンが登録された時間範囲の終点となるフレーム(以下、アイコン表示終了フレームという)、および当該アイコン表示終了フレーム中のアイコン登録位置の位置座標(以下、表示終了フレーム中アイコン表示位置という)を含む情報である。
【0057】
また、あるアイコンに対応する地図−アイコンリンク情報は、当該アイコンのアイコンID、アイコン表示地点情報、アイコン経路情報、およびアイコン表示地点確度情報を含んでいる。
【0058】
アイコン表示地点情報は、当該アイコンを地図中のどの位置に配置するかを示す。アイコン経路情報は、動画の撮影経路のうち、動画中においてアイコンが表示されるべき部分である。より具体的には、アイコン経路情報は、動画中の当該アイコンが登録された時間範囲において当該動画を撮影した動画撮影装置1が移動した経路(始点、終点、およびそれらの間の複数の中間地点)を示す。アイコン表示地点確度情報は、当該アイコン表示地点情報の正確度を示す情報である。
【0059】
次に、このような構成の動画・地図連動表示システムの作動について説明する。図4は、動画・地図連動表示システムにおいて動画撮影装置1、データサーバ2、表示端末3間でやりとりされるデータの流れを示す図である。以下、この図を適宜参照して作動の説明を行う。なお、上記の各作動において、動画撮影装置1の制御部12、データサーバ2の制御部22、表示端末3の制御部32は、プログラムをROM等から読み出して実行することで、そのような作動を実現する。
【0060】
[1]動画登録
まず、動画を動画撮影装置1からデータサーバ2に登録する際の作動について説明する。図5は、動画の登録時における動画撮影装置1、データサーバ2、表示端末3の作動手順を示すシーケンス図である。動画登録時に動画撮影装置1からデータサーバ2に送信されるデータは、図4に示す通りである。
【0061】
まず動画撮影装置1は、動画撮影を行う(ステップ101)、この動画撮影は、動画撮影装置1の移動中にユーザがスイッチ情報入力部13に対して撮影開始の操作を行ったときに始まり、その後ユーザがスイッチ情報入力部13に対して撮影終了の操作を行ったときに終了する。つまり、制御部12が、撮影開始の操作があったときに動画撮影部16を制御して撮影を開始させ、撮影終了の操作があったときに動画撮影部16を制御して撮影を終了させる。このようにして撮影された動画は、動画保存部15に動画データとして記録される。
【0062】
続いて動画撮影装置1は、撮影された動画データに情報を関連付けて動画保存部15に記録する(ステップ102)。動画データに関連付ける情報は、図4に示す通り、図3に示した動画情報のうち、動画データおよび動画ID以外の情報がある。
【0063】
動画データに関連付ける撮影日時は、撮影開始時または終了時の日時とする。また、関連付ける再生時間は、撮影開始時刻から撮影終了時刻までの時間とする。関連付けるフォーマット、カメラ特性は、あらかじめ定められた値を用いる。また、関連付ける投稿者情報および動画付加情報は、ユーザがスイッチ情報入力部13を用いて入力し、その入力された情報を採用してもよい。
【0064】
さらに動画データに関連付ける情報としては、図4に示す通り、図3に示した動画−地図リンク情報のうち、動画経路情報がある。このために、動画撮影装置1の制御部12は、動画撮影部16が撮影を開始したタイミングから撮影を終了するタイミングまで、繰り返し(例えば定期的に1秒周期で)位置検出部14から現在位置を取得し、取得した現在位置と現在時刻の組を、逐次動画保存部15に記録しておく。このように記録された情報は、当該動画の撮影開始地点から撮影終了地点までの時刻情報付きの経路データとなり、このデータを、動画経路情報として当該動画に関連付ける。
【0065】
続いて動画撮影装置1は、データ通信部10を用いて、ステップ102で作成した情報をデータサーバ2に送信する(ステップ103)。
【0066】
するとデータサーバ2の制御部22は、回線端末装置21を介してその情報を受信し(ステップ104)、受信した情報中の動画データ用の動画IDを作成する(ステップ105)。この動画IDについては、それまでに作成した動画IDとは値が異なるようにする。
【0067】
続いて制御部22は、当該動画に対応する動画表示地点情報を作成する(ステップ106)。本実施形態では、動画撮影装置1から受信した動画経路情報に基づいて、当該動画経路情報が示す経路(すなわち動画撮影時に動画撮影装置1が移動した撮影経路)のすべての範囲を動画表示地点情報とする。しかし、他の例として、当該動画経路情報の始点となる地点、終点となる地点、および、動画経路情報が示す経路(以下、単に撮影経路という)上の始点と終点の中間点のうちいずれか1つを動画表示地点情報としてもよい。
【0068】
続いて、受信した動画データ、撮影日時、再生時間、フォーマット、カメラ特性、投稿者情報、および動画付加情報と、作成した動画IDとの組を、1個の動画情報として動画データベース20aに記録する。さらに、受信した動画経路情報と、ステップ105で作成した動画IDと、ステップ106で作成した動画表示地点情報との組を、1個の動画−地図リンク情報としてリンクデータベース20dに記録する(ステップ107)。
【0069】
このようにして、動画撮影装置1で撮影された動画およびそれに対応する動画情報および動画−地図リンク情報が、データサーバ2のデータベース部20に登録される。以上のような処理がデータサーバ2と複数の動画撮影装置1との間で繰り返されることにより、データサーバ2の地図データベース中の地図に対する1つの動画の登録が繰り返され、その結果、地図に複数の動画が登録される。なお、登録される動画の撮影経路は、重複する場合もある。
【0070】
その後、データサーバ2は必要に応じて地図画像のデータおよび動画データを表示端末3に送信し(ステップ108)、表示端末3では、回線端末装置31を介して地図画像データおよび動画データを受信した制御部32が、これら地図画像のデータおよび動画データを用いて表示部33に地図画像および動画を表示させる。
【0071】
図6に、データサーバ2から表示端末3に送信される地図および動画の例を示す。データサーバ2の制御部22は、動画−地図リンク情報中の動画表示地点情報に基づいて、送信用の地図画像中に動画表示地点情報で示された地点が含まれるか否かを判定し、含まれる場合は、地図画像のその地点を強調した画像および当該動画表示地点情報に対応する動画の動画情報および動画−地図リンク情報を表示端末3に送信する。本実施形態の場合、動画表示地点情報で示された地点は、撮影経路の全体である。したがって、図6のように、地図画像41中において、ある動画が撮影された撮影経路41aおよび別の動画が撮影された撮影経路41bが、強調して表示される。
【0072】
また、表示部33に地図画像41が表示されている状態で、表示端末3のユーザが入力部30を用いて撮影経路41aを選択した場合、制御部32はその選択した撮影経路41aに対応する動画情報中の動画データを再生して表示部33に表示させる。
【0073】
あるいは、表示部33に地図画像41が表示されている状態で、表示端末3のユーザが入力部30を用いて撮影経路41aを選択した場合、制御部32はその選択した撮影経路41aの情報をデータサーバ2に送信し、データサーバ2の制御部22は、その選択された撮影経路41aに対応する動画IDを動画−地図リンク情報から読み出し、読み出した動画IDを有する動画情報を動画データベース20aから抽出し、更にこの動画IDを有する動画−地図リンク情報リンクデータベース20dから読み出すようになっていてもよい。この場合制御部22は、読み出した動画情報および動画−地図リンク情報を表示端末3に送信する。そしてこの動画情報および動画−地図リンク情報を受信した表示端末3の制御部32は、動画情報中の動画データを再生して表示部33に表示させる。
【0074】
なお、動画42の再生の際、地図画像41と動画42とは、表示部33の同じ画面上に同時に表示させる。そして、動画−地図リンク情報中の動画経路情報(撮影時刻と撮影地点の組を複数有する情報)に基づいて、再生の進行に同期させて地図画像41中で撮影地点マーク41cを撮影経路41aに沿って移動させる。この際、撮影時刻の進行量とフレームの進行量との対応関係は、フレームレートから特定できる。これによって、動画42が現在表示しているフレーム(コマ)の画像が、撮影経路中のどの位置で撮影されたかが明確に視認できるようになる。
【0075】
なお、ここで示した地図および動画の表示の作動は、概略的なものであり、詳細な作動については後述する。
【0076】
[2]動画へのアイコン登録
次に、動画にアイコンを登録するための動画・地図連動表示システムの作動について説明する。図7は、動画にアイコンを登録する際におけるデータサーバ2、表示端末3の作動のシーケンス図である。動画へのアイコン登録時に表示端末3からデータサーバ2に送信されるデータは、図4に示す通りである。
【0077】
まず、上述の通り、表示端末3の制御部32は、データサーバ2から受信した動画情報中の動画データを再生して表示部33に表示させる(ステップ121)。その再生中は、動画の各フレームが時系列に沿って順番に表示部33に表示されることになる。
【0078】
動画の再生中、ユーザは入力部30を操作して、動画中のアイコンの表示開始点(表示開始フレーム、表示開始フレーム中アイコン表示位置)および表示終了点(表示終了フレーム、表示終了フレーム中アイコン表示位置)を指定し(図3の地図−アイコンリンク情報参照)、表示端末3は、その指定を受け付ける(ステップ122)。
【0079】
表示開始点および表示終了点は、(1)動画中の特定のフレーム、および(2)そのフレーム中の特定の位置または領域、として指定される。
【0080】
例えば、ユーザは、図8に示すように、表示部33において地図画像43の表示と共に撮影経路43aの動画44が表示されているとき、入力部30に対してアイコンを登録する旨の所定の操作を行う。すると制御部32は、動画44中に、表示開始点の指定を促すメッセージ(「アイコン表示開始地点をクリックしてください」)を表示させ、さらに、移動可能なポインタ44aに重ねてアイコン44bを表示させる。
【0081】
そしてユーザは、表示するフレーム任意に指定できるシークバー44c、停止ボタン44d、再生ボタン44eを操作することで、アイコン表示開始フレームにしたいフレームを表示させる。このとき制御部32は、地図画像43中で、そのフレームが撮影された地点にマーク43bを移動させる。そして、ユーザは、そのフレーム中で入力部30を用いてポインタ44aおよびアイコン44bを共に移動させ、そのフレーム中の所望の位置にポインタ44aおよびアイコン44bが配置されたときに、所定の確定操作(例えばマウスのクリック)を行う。これによって制御部32は、その確定操作時において表示しているフレーム、およびそのフレーム中のアイコン44bの位置座標を、アイコンの表示開始点(アイコン表示開始フレームおよび表示開始フレーム中アイコン表示位置)として特定する。
【0082】
続いて制御部32は、図9に示すように、動画44中に、表示終了点の指定を促すメッセージ(「アイコン表示終了点をクリックしてください」)を表示させ、さらに、ポインタ44aに重ねてアイコン44bを表示させる。
【0083】
そしてユーザは、シークバー44c、停止ボタン44d、再生ボタン44eを操作することで、アイコン表示終了フレームを表示させ、そのフレーム中で入力部30を用いてポインタ44aおよびアイコン44bを共に移動させ、そのフレーム中の所望の位置にポインタ44aおよびアイコン44bが配置されたときに、所定の確定操作を行う。これによって制御部32は、その確定操作時において表示しているフレーム、およびそのフレーム中のアイコン44bの位置座標を、アイコンの表示終了点(アイコン表示終了フレームおよび表示終了フレーム中アイコン表示位置)として特定する。
【0084】
なお、アイコン表示開始点、アイコン表示終了点は、いずれか一方のみユーザが登録する形式としてもよい。
【0085】
例えば、アイコン表示開始点をユーザが設定し、アイコン表示終了フレームをアイコン表示開始フレームから一定時間経過後の表示フレーム、または撮影地点が一定距離移動した後の表示フレームとし、表示終了フレーム中のアイコン表示位置を画像マッチング等で求めてもよい。
【0086】
このようにして得られたアイコン表示開始フレームからアイコン表示終了フレームまでの区間は、アイコン表示フレーム区間に相当する。また、表示開始フレーム中アイコン表示位置および表示終了フレーム中アイコン表示位置は、アイコン表示フレーム区間中の2つのフレーム(すなわちアイコン表示フレーム区間の両端のフレーム)におけるフレーム中アイコン表示位置に相当する。
【0087】
なお、後述する通り、表示端末3は、動画の再生中に、アイコンを動画に重畳させて表示する。そして、アイコンを表示するフレームの区間(すなわち、アイコン表示フレーム区間)は、上記のように特定されたアイコン表示開始フレームからアイコン表示終了フレームまでのすべての範囲である。
【0088】
続いてユーザは入力部30を用いて、当該アイコンに付加するアイコン付加情報等(図3のアイコン情報参照)を入力し、制御部32は、そのアイコン付加情報(他の情報の一例に相当する)の入力を受け付ける(ステップ123)。
【0089】
例えば、制御部32は、図10に示すような入力受付画像45を表示部33に表示させる。そしてユーザは、この入力受付画像45に従って、アイコンのタイトル、アイコンの種別、リンク、コメント、関連動画の指定(リンク等)を、入力部30を用いて入力し、入力後、確定ボタン44fを選択する。
【0090】
続いて制御部32は、ステップ122、123で受け付けた情報を元に、アイコン情報および動画−アイコンリンク情報を作成する(ステップ124)。
【0091】
ただし、図3と図4の比較からわかる通り、アイコンデータベース20cに記録されるべきアイコン情報のうち、アイコンIDおよび同一地点アイコンIDは作成しない。また、リンクデータベース20dに記録されるべき動画−アイコンリンク情報のうち、アイコンIDは作成しない。アイコンIDおよび同一地点アイコンIDは、後述するようにデータサーバ2で作成されるからである。ただし、動画IDは、現在再生している動画の動画IDなので、表示端末3側で動画−アイコンリンク情報に含めてもよい。
【0092】
ここで、アイコン情報に含める登録者情報(他の情報の一例に相当する)は、あらかじめ表示端末3に記録されていてもよいし、ユーザに入力部30から入力させることで取得してもよい。また、登録目的(他の情報の一例に相当する)についても、ユーザに入力部30から入力させることで取得してもよい。また、動画−アイコンリンク情報に含める動画IDは、現在再生している動画の動画IDとする。
【0093】
続いて制御部32は、作成したアイコン情報および動画−アイコンリンク情報を、回線端末装置31を用いてデータサーバ2に送信する(ステップ125)。そしてデータサーバ2の制御部22は、回線端末装置21を介してそれら情報を受信する(ステップ126)。
【0094】
アイコン情報および動画−アイコンリンク情報を受信した制御部22は、続いてアイコン登録処理を実行する(ステップ127)。アイコン登録処理は、表示端末3から受信したアイコン情報および動画−アイコンリンク情報に基づいて、アイコン情報および動画−アイコンリンク情報の不足している情報を作成すると共に、地図−アイコンリンク情報を作成し、それらの情報をデータベース部20に記録する処理である。図11に、アイコン登録処理の詳細をフローチャートで示す。
【0095】
この図11に示すように、制御部22は、まずステップ210で、受信したアイコン情報および動画−アイコンリンク情報に付加するためのアイコンIDを作成し、そのアイコンIDを当該アイコン情報および動画−アイコンリンク情報に付加し、それらアイコン情報および動画−アイコンリンク情報のそれぞれをアイコンデータベース20cおよびリンクデータベース20dに記録する。また、地図−アイコンリンク情報を作成し、作成した地図−アイコンリンク情報に当該アイコンIDおよびアイコン経路情報を付加した上で、リンクデータベース20dに記録する。
【0096】
なお、付加するアイコン経路情報は、受信した動画−アイコンリンク情報中の表示点のフレーム(すなわちアイコン表示開始フレーム)および表示終了点のフレーム(すなわちアイコン表示終了フレーム)の情報、および、受信した動画−アイコンリンク情報と同じ動画IDを有する動画−地図リンク情報中の動画経路情報(撮影時刻と撮影地点の組を複数有する情報)内の撮影時刻とを、所定のフレームレートを用いて対応付けることで算出することができる。
【0097】
すなわち、アイコン表示開始フレームが当該動画中のNa番目のフレームであり、アイコン表示終了フレームが当該動画中のNb番目のフレームであり、当該動画の撮影開始地点における撮影時刻がT0[秒]である場合、Ta[秒]=T0+(Na−1)/Rの時刻における撮影地点が表示開始地点となり、Tb[秒]=T0+(Na−1)/Rの時刻における撮影地点が表示終了地点となる。
【0098】
ただし、Rは、[フレーム/秒]の単位で表される所定のフレームレートである。そして、アイコン経路情報は、このようにして算出した表示開始地点から表示終了地点までの動画経路情報に沿った経路を表す情報となる。
【0099】
このようにすることで、同じ新たなアイコンIDを有するアイコン情報、動画−アイコンリンク情報、地図−アイコンリンク情報が、データベース部20中に記録される。つまり、同じ新規アイコンに対応するアイコン情報、動画−アイコンリンク情報、地図−アイコンリンク情報が作成される。ただしこの時点では、アイコン情報中の同一地点アイコンIDの内容は空であり、当該アイコンに対応する地図−アイコンリンク情報には、アイコン表示地点情報およびアイコン表示地点確度情報が欠けている。
【0100】
制御部22は、続くステップ220のアイコン表示地点仮決定処理で、アイコン表示地点情報を作成して地図−アイコンリンク情報に付加し、さらに続くステップ230のアイコン表示地点確度設定処理で、アイコン表示地点確度情報を作成して地図−アイコンリンク情報に付加する。そして続くステップ240〜280で、必要に応じてアイコン情報中に同一地点アイコンIDを付加する。
【0101】
図12に、アイコン表示地点仮決定処理の詳細をフローチャートで示す。アイコン表示地点仮決定処理で作成するアイコン表示地点情報は、動画に登録されたアイコンを地図上にも表示する際に、どの地点に表示するかを決定するための情報である。登録されるアイコンは、特定の地点(例えば施設の所在地点)を指し示すものであるから、地図上の当該特定の地点にアイコンを表示することが望ましい。本実施形態では、図13、図14に示すように、動画46の撮影の進行に伴って動画撮影装置1が移動することにより、動画46中で撮影後にアイコンで指し示したい地点46bの位置が変化することを利用して、アイコン表示地点情報を作成する。
【0102】
このアイコン表示位置仮決定処理において制御部22は、まずステップ221で、この新規アイコンの表示開始時および終了時における動画撮影装置1の撮影地点の情報を取得する。具体的には、当該新規アイコンに対応する地図−アイコンリンク情報中のアイコン経路情報を利用して取得する。つまり、アイコン経路情報の始点の地点を、アイコン表示開始時における撮影地点として特定し、アイコン経路情報の終点の地点を、アイコン表示終了時における撮影地点として特定する。
【0103】
続いてステップ222では、アイコン表示開始時および表示終了時における動画の撮影方向を取得する。ここでいう撮影方向とは、道路に沿った2つの互いに逆な方向(往路方向、復路方向)のどちらであるかを示せる情報であってもよいし、方位を示す情報であってもよい。この撮影方向は、動画−地図リンク情報中の動画経路情報に基づいて、アイコン表示開始時の撮影地点からアイコン表示終了時の撮影地点までの方向として、特定することができる。
【0104】
続いてステップ223では、アイコン表示開始時および表示終了時における、動画のフレーム内でのアイコンの表示位置を座標値で特定する。具体的には、図13の例においては、アイコン表示開始フレーム46中の左右方向の中心線46aからアイコン46bの表示位置(表示開始フレーム中アイコン表示位置)までの左右方向への変位量46c、および、アイコン表示開始フレーム46中のアイコン46bの上下方向の位置を、座標値として算出する。そして、アイコン表示終了フレーム47中の左右方向の中心線47aからアイコン46bの表示位置(表示終了フレーム中アイコン表示位置)までの左右方向への変位量47c、および、アイコン表示終了フレーム47中のアイコン46bの上下方向の位置を、座標値として算出する。これら表示位置座標は、動画−アイコンリンク情報の表示開始フレーム中アイコン位置および表示終了フレーム中アイコン位置の情報から特定することができる。
【0105】
続いてステップ224では、アイコン表示開始時から表示終了時までの撮影地点の移動距離Lを算出する。この移動距離Lは、地図−アイコンリンク情報中のアイコン経路情報に基づいて、アイコン表示開始時の撮影地点からアイコン表示終了時の撮影地点までの直線距離(または撮影経路に沿った距離)として、算出することができる。
【0106】
続いてステップ225では、図14に示すxの値、すなわち、地図上におけるアイコン表示終了時の撮影地点52を基準とするアイコン表示地点50の相対位置座標の成分のうち、撮影経路の移動方向に平行な成分の値を算出する。ここで移動方向とは、アイコン表示開始時の撮影地点51からアイコン表示終了時の撮影地点52までの方向である。
【0107】
この値xは、x=L×R/(Q−R)という式で算出することができる。ここで、Lは、ステップ224で算出した移動距離である。またQは、図14におけるp/qの値であり、Rは、図14におけるp/rの値である。図14中の角度αは、動画撮影装置1の動画撮影部16の左右方向のカメラ画角の1/2である。したがって、rは、アイコン表示開始時の撮影地点51から距離(x+L)前方における撮影可能な横方向範囲の1/2であり、qは、撮影地点52から距離x前方における撮影可能な横方向範囲の1/2である。なお、ここでいう横方向は、アイコン表示開始時の撮影地点51からアイコン表示終了時の撮影地点52までの方向に垂直な方向をいう。
【0108】
したがって、R(=p/r)の値は、撮影地点51において撮影されたフレーム46(図13(a)参照)中の、中心線46aからアイコン表示位置46bまでの距離46cを、当該中心線46aからフレームの左右端部までの距離46dで除算した値である。また、Q(=p/q)は、撮影地点52において撮影されたフレーム46(図13(b)参照)中の、中心線46aからアイコン表示位置46bまでの距離46cを、当該中心線46aからフレームの左右端部までの距離46dで除算した値である。したがって、これらR、Qの値は、ステップ223で取得したアイコンの表示位置座標から特定することができる。
【0109】
続いてステップ226では、当該新規アイコンの登録先の動画を撮影した動画撮影部16について、カメラ特性がわかっているか否かを判定する。具体的には、当該動画の動画情報を動画データベース20aから読み出し、その中のカメラ特性の情報中に、カメラの画角2αを特定できるデータ(例えば画角2αそのもの)が含まれているか否かを判定する。
【0110】
カメラ特性がわかっていると判定した場合、続いてステップ227で、当該カメラ特性の情報に基づいてカメラの画角を算出し、その算出結果を用いて、図14に示すyの値、すなわち、地図上におけるアイコン表示終了時の撮影地点51を基準としたときの、アイコン表示地点50の移動方向に直交する成分の値を算出する。この値yは、y=[L×Q×R/(Q−R)]×tanαという式で算出することができる。
【0111】
カメラ特性がわかっていないと判定した場合、続いてステップ228では、ステップ225で算出した値xと地図データベース20b中の地図情報に基づいて、値yを推定する。
【0112】
具体的には、地図情報中の施設を検索する。検索する施設は、アイコン表示終了時の撮影地点52から値xに相当する距離だけ撮影経路の移動方向に沿って前方に進んだ地点53(図14参照)から、撮影経路の移動方向(撮影地点51から撮影地点52までの方向)に垂直な方向に位置する施設のうち、地点53に最も近い施設を検索する。ただし、移動方向に垂直な方向としては、地点51または52で撮影したフレーム46、47中で中心線46a、47aに対してアイコンが表示された側のみに限定する。つまり、地点51または52で撮影したフレーム中でアイコンが中央より右に位置している場合は、移動方向に垂直な(移動方向を前方としたときの右折方向)右折方向に限定し、当該アイコンが中央より左に位置している場合は、移動方向に垂直な左折方向(移動方向を前方としたときの左折方向)に限定する。そして、検索の結果抽出した施設の所在地点を、アイコン表示地点とする。そして、値yは、そのアイコン表示地点の地点を示す値とする。
【0113】
ステップ227またはステップ228に続いては、ステップ229で、地図上の算出した値x、yの地点50を、アイコン表示地点情報として、当該新規アイコンに対応する地図−アイコンリンク情報に付加する。本実施形態においては、このアイコン表示地点情報に記録した地点は、後述するように、当該アイコンを表示する地点を決めるための仮の表示地点である。しかし、他の例として、この仮の表示地点を実際の表示地点としてもよい。
【0114】
このように、アイコンを登録する任意の(すなわち、不特定な1つの、または、どれでもよい1つの)表示端末3のユーザが当該アイコンの登録先の任意の(すなわち、不特定な1つの、または、どれでもよい1つの)動画中のアイコン表示フレーム区間(アイコン表示開始フレームからアイコン表示終了フレームまでの区間)およびフレーム中アイコン表示位置(表示開始フレーム中アイコン表示位置、表示終了フレーム中アイコン表示位置)を指定することができ、また、データサーバ2が、その指定されたアイコン表示フレーム区間と、当該動画についてあらかじめ記録されている動画経路情報中の撮影時刻とを対応付けることで、撮影経路のうちアイコン表示フレーム区間が撮影された経路を示すアイコン経路情報を算出することができる。そして、当該動画のフレームのうち撮影経路中の2つの地点で撮影されたフレーム(アイコン表示開始フレームおよびアイコン表示終了フレーム)におけるフレーム中アイコン表示位置の情報と、アイコン経路情報から得られる当該2つの地点間の移動距離と、の関係に基づいて、当該アイコンが指し示す地点の地図上の位置、すなわち、地図上でアイコンを表示すべきアイコン表示地点を算出することができる。したがって、表示端末3のユーザが動画中で見つけた地点(施設、自然構造物等)に対して簡易に情報を登録することができる。
【0115】
ステップ220に続いてステップ230(図11参照)では、アイコン表示地点確度設定処理を実行する。このアイコン表示地点確度設定処理では、ステップ220で算出したアイコン表示地点の正確度を決定する処理である。図15に、このアイコン表示地点確度設定処理のフローチャートを示す。
【0116】
この処理において制御部22は、まずステップ232で、図12のステップ226と同じ方法でカメラ特性が分かっているか否かを判定し、分かっていれば続いてステップ234でアイコン表示地点確度情報の値を“高”に設定し、算出したアイコン表示地点に関連付けたアイコン表示地点確度情報として、地図−アイコンリンク情報に記録する。また、分かっていなければ続いてステップ236でアイコン表示地点確度情報の値を“低”に設定し、算出したアイコン表示地点に関連付けたアイコン表示地点確度情報として、地図−アイコンリンク情報に記録する。ステップ234または236の後、アイコン表示地点確度設定処理を終了する。
【0117】
地図上のアイコン表示地点を特定する方法には、上記のように動画の撮影地点を元に特定する方法以外にも、フレーム中のアイコン表示位置にある画像と、地図情報中にあらかじめ用意された複数の施設の画像と、の間で画像マッチングを行う方法、ユーザによる地図中の施設の選択を受け付ける方法撮影地点を元に算出する方法などが考えられる。画像マッチングによる方法は、特開2003−337947や特開2008−159031等にて検討されているので類似の方法を用いれば実現可能である。ユーザによる地図中の施設の選択を受け付ける場合、地図に表示されている該当施設ないしは該当地点を直接選択してもらうことで実現できる。
【0118】
動画の撮影地点を元にアイコン表示地点情報を算出する方法は、画像マッチングほど処理負荷が高くなく、またアイコン表示地点を直接ユーザに入力してもらうといったユーザに対して手間をかけることのない方法である。
【0119】
そして、カメラ特性が分かっている場合には、その情報を利用してアイコン表示地点の算出を行い、特性が分かっていない場合には画像と地図情報から推定することによって、多くの場合で自動でアイコン表示地点を決めることができるようになる。その際、特性が分かっていれば地点情報の確度を高くし、分からない場合には低くすることによって地点情報の補正の度合いを変えることができる。
【0120】
ステップ230に続いては、ステップ240で、仮の地点として決定したアイコン表示地点の近傍に同じ種別のアイコンが登録されているか否かを判定する。具体的には、リンクデータベース20d中の複数の地図−アイコンリンク情報から、今回新たに登録される新規アイコンとアイコン表示地点情報が近い(例えば10メートル等の所定距離以内にある)地図−アイコンリンク情報を抽出する。抽出の母集団となる地図−アイコンリンク情報は、アイコンデータベース20c中のすべての地図−アイコンリンク情報であり、今回の新規アイコンと同じ動画に登録されたか否かは問わない。そして、抽出した地図−アイコンリンク情報中の各アイコンIDに対応する種別を、アイコンデータベース20c中で当該アイコンIDを有するアイコン情報から取得する。そして、それら取得した種別のうち、今回の新規アイコンと同じ種別のアイコンIDを最終的に抽出する。
【0121】
続いてステップ250では、近傍に同種別のアイコンが存在するか否かを、ステップ250で最終的に抽出されたアイコンが1つ以上あるか否かで判定する。近傍に同種別のアイコン(他のアイコンの一例に相当する)が存在する場合、同一地点アイコンIDを追加するために続いてステップ260を実行し、近傍に同種別のアイコンが存在しない場合、同一地点アイコンIDを追加する必要がないので、アイコン登録処理を終了する。
【0122】
ステップ260では、抽出したアイコンが、今回の新規アイコンと同一の地点(同一の施設または同一の自然構造物)を指し示しているとみなすか否かを、今回の新規アイコンの登録者であるユーザに問い合わせる。具体的には、抽出したアイコンIDのアイコン情報を読み出し、読み出したアイコン情報を問い合わせ信号に含め、今回の新規アイコンの登録元の表示端末3に、この問い合わせ信号を送信する。
【0123】
この問い合わせ信号を受信した表示端末3の制御部32は、問い合わせ信号中のアイコン情報を表示部33に表示させ、登録した新規アイコンと同一の地点にあるか否かを問い合わせる。ユーザがこれに応じて入力部30を用いて返答(同一の地点にあるか否か)を入力すると、制御部32は、その返答をデータサーバ2に送信する(図7のステップ128)。
【0124】
この返答を受信したデータサーバ2の制御部22は、ステップ270で、返答の内容に基づいて、ユーザが同一地点にあるとみなしたか否かを判定し、みなしていると判定した場合、続いてステップ280に進み、みなしていないと判定した場合、同一地点アイコンIDを追加する必要がないので、アイコン登録処理を終了する。
【0125】
ステップ280では、最終的に抽出したアイコンIDのすべてを、同一地点アイコンIDとして、今回の新規アイコンのアイコン情報に付加する。それと共に、今回の新規アイコンのアイコンIDを、同一地点アイコンIDとして、最終的に抽出したアイコンIDに対応するアイコン情報のそれぞれに付加する。このようにすることで、同一地点を指し示しているとみなせるアイコンのグループにおいて、各アイコンのアイコン情報は、グループ中の他のアイコンのアイコンIDを同一地点アイコンIDとして有するようになる。同一地点を指し示しているとみなせるアイコンのグループのうち、すべてが互いに異なる動画に登録されている場合もあれば、一部または全部が同じ動画に登録されている場合もある。ステップ280の後、アイコン登録処理を終了する。
【0126】
また、以上のような処理が、登録したいアイコンの数だけ繰り返されることにより、上記動画に対するアイコンの登録または上記動画とは別の動画に対するアイコン(他動画登録アイコンに相当する)の登録が繰り返され、その結果、上記動画および上記動画とは別の複数の動画のそれぞれに1つまたは複数のアイコンが登録される。そして、上記と同様の作動で各アイコンに対応するアイコン情報、動画−アイコンリンク情報、地図−アイコンリンク情報が、データベース部20に記録される。
【0127】
そして、新たに動画にアイコンが登録されたとき、登録したい地点近傍に既に他の動画で登録されている他のアイコンがないか検索し、あれば同一地点(同一施設または同一自然構造物)であるかどうかをユーザに尋ね、同一であった場合は、既存のアイコンと同一地点を指し示している(同一地点である)という情報(つまり、同一地点アイコン情報)を当該新規アイコンのアイコン情報に付加する。
【0128】
なお、動画中にアイコンが登録され、その動画を表示端末3が再生する場合、表示端末3の表示部33における表示は図16に例示するようなものになる。すなわち、表示部33は、地図画像61を表示し、その地図画像61中には、撮影経路61xで撮影された1つの動画に登録されたアイコン61a〜61dが重畳表示されている。また、別の撮影経路61yで撮影された別の動画に登録されたアイコン61f、61gも、アイコン61a〜61dと共に同じ地図画像61中に重畳表示されている。このようになっていることで、別々の動画に対して登録された複数のアイコンを同じ地図上にまとめて表示させることができる。これら地図画像61中の各アイコン61a〜61d、61f、61gの表示位置は、後述するように、それぞれのアイコン表示地点情報およびアイコン表示地点確度情報に基づいて決められている。
【0129】
そして、表示部33には、地図画像61と同時に撮影経路61xを撮影した動画62も表示されている。そして、当該動画62中で、撮影地点がアイコン61aの手前となっているフレームでは、アイコン61aが当該フレームにも重畳される。さらに動画62中にアイコン62aが表示されている間、表示部33には、そのアイコン62aに対応するアイコン情報(アイコン付加情報、登録者情報、登録目的、種別等)が、地図画像61および動画62と同時に表示される。このような地図、動画、アイコン、アイコン情報の表示のための処理の詳細については、後述する。
【0130】
[3]動画検索
次に、動画検索について説明する。データサーバ2において複数の動画およびアイコンが登録されている状態で、ある表示端末3(第1の表示端末に相当する)のユーザは、所望の動画をデータサーバ2に検索させることができる。図17に、動画を検索するためのデータサーバ2および表示端末3の作動の一例をシーケンス図で表す。
【0131】
まず表示端末3の制御部32は、入力部30に対するユーザの動画検索操作を受け付け(ステップ131)、続いて受け付けた動画検索操作の内容を示す情報をデータサーバ2に送信する(ステップ132)。データサーバ2の制御部22は、この動画検索操作の内容の情報を受信し(ステップ133)、受信した情報に応じた方法で動画検索処理を行う(ステップ134)。動画検索処理では、動画データベース20aから動画検索操作の内容に適合する動画を抽出する。
【0132】
抽出できた動画が1つである場合、そのまま抽出した動画(第1の動画の一例に相当する)を表示端末3で表示させるために必要な情報(動画情報、地図情報、アイコン情報、動画−地図リンク情報、動画−アイコンリンク情報、地図−アイコンリンク情報等)をデータベース部20から取得し(ステップ141)、取得した情報をリクエスト元の表示端末3に送信し(ステップ142)、表示端末3の制御部32はこの情報中の動画を受信し、表示部33に表示および再生させる(ステップ143)。
【0133】
動画検索処理で抽出できた動画が複数個ある場合、抽出した動画のリストおよび動画付加情報等を検索結果として表示端末3に送信する(ステップ135)。表示端末3の制御部32はこの検索結果を受信し(ステップ136)、受信した検索結果を表示部33に表示させる(ステップ137)。そして表示端末3のユーザが入力部30を用いて表示された動画のリストのうちから1つの動画を選択すると(ステップ138)、制御部32はその選択された動画(第1の動画の一例に相当する)を指定する情報をデータサーバ2に送信する(ステップ139)。
【0134】
データサーバ2はこの動画を指定する情報を受信し(ステップ140)、その後、この指定された動画の表示に必要な情報をデータベース部20から取得して(ステップ141)表示端末3に送信する(ステップ142)。
【0135】
ここで、ステップ134の動画検索処理について詳細に説明する。図18に、動画検索処理のフローチャートを示す。動画検索処理においては、表示端末3から受信した動画検索操作の内容の情報に基づいて検索モードを決定する(ステップ303)。検索モードとしては、“タグ、キーワード、ランキング検索モード”、“地図から検索モード”、“リンクから検索モード”、“複数アイコンによる検索モード”がある。
【0136】
“タグ、キーワード、ランキング検索モード”は、動画情報中のタグの文字列の検索、動画情報中の各種文字列の検索、あるいは、動画情報中の再生回数の最上位の複数件(例えば上位5件)の検索のうちいずれか1つを実行する検索モードである。
【0137】
表示端末3のユーザが、動画検索操作において、「特定のタグ」、「特定のキーワード」、「再生ランキングで選択する旨」のうちいずれかを指定した場合、検索モードが“タグ、キーワード、ランキング検索モード”となる。
【0138】
“タグ、キーワード、ランキング検索モード”である場合(ステップ305→YES)、制御部22は続いて、ユーザの動画検索操作に応じた検索を行う(ステップ310)。つまり、動画検索操作で特定のタグが指定された場合、その特定のタグを動画付加情報のタグとして含む動画を抽出し、動画検索操作で特定のキーワードが指定された場合、その特定のキーワードを動画付加情報または投稿者情報に含む動画を抽出し、動画検索操作で再生ランキングで選択する旨が指定された場合、すべての動画のうち、動画付加情報中の再生回数が最も高い所定の複数個を抽出する。なお、各動画付加情報中の再生回数の値は、対応する動画の登録時にはゼロに設定され、対応する動画を再生のために表示端末3に1回送信したときに、1回分増加させるようになっている。
【0139】
“地図から検索モード”は、ユーザが動画検索操作として、表示端末3の表示部33に強調されて表示されている地図中の撮影経路(例えば、図6の経路41a、41b)のうち1つを指定した場合の検索モードである。
【0140】
“地図から検索モード”である場合(ステップ325→YES)、制御部22は続いて、指定された地図上の撮影経路を動画経路情報として有している動画−地図リンク情報をリンクデータベース20dから抽出し、抽出した動画−地図リンク情報に対応する動画を抽出する(ステップ330)。
【0141】
“リンクから検索モード”は、ユーザが動画検索操作として、表示端末3の入力部30にリンク(Webページまたは他の動画へのリンク)として指定されている動画のうち1つを指定した場合の検索モードである。“リンクから検索モード”である場合(ステップ335→YES)、制御部22は続いて、指定されたリンク先の動画を抽出する(ステップ340)。
【0142】
“複数アイコンによる検索モード”は、表示端末3の表示部33に表示されている地図中のアイコン(例えば、図16のアイコン61a〜61f)のうち複数を指定した場合の検索モードである。
【0143】
このようなタイプの検索モードは、以下のような目的で設けられている。動画検索時になるべく多くのアイコンが登録されている動画を見たい場合が考えられる。例えば見たい経路が決まっておりその経路沿いのアイコンの情報を複数見たい場合などである。単一のアイコンを選択して映像を再生する場合、上記のようなニーズには応えられない。逆に経路を指定して映像を検索する場合、アイコンの情報が格納されていない映像も選択されてしまう可能性がある。このような場合、動画検索時に複数の地図上のアイコンを指定して、指定したアイコン(またはそれと同じものを指し示す別のアイコン)がより多く登録された動画を優先的に表示すればよい。このようにすることで、複数個のアイコンを元に動画を検索することができ、見たいアイコンが多く登録されている好みの経路を撮影した動画を優先的に再生することができる。
【0144】
“複数アイコンによる検索モード”である場合(ステップ350→YES)、制御部22は続いて、複数アイコン選択時用処理を実行する(ステップ360)。図19に、この複数アイコン選択時用処理のフローチャートを示す。また、図20に、この複数アイコン選択時用処理におけるデータの抽出手順を模式的に示す。
【0145】
この複数アイコン選択時用処理において制御部22は、まずステップ362で、選択された複数のアイコンのいずれかのアイコン情報中に、同一地点アイコンIDが含まれているかを判定し、肯定判定となれば続いてステップ364に進み、否定判定となれば続いてステップ366を実行する。
【0146】
例えば、図20の例においては、表示部33に表示された地図65中のアイコン65a(アイコンIDは1001)、アイコン65b(アイコンIDは3002)、アイコン65c(アイコンIDは2001)が選択され、アイコンデータベース20c中のデータによれば、アイコン65aに対応するアイコン情報には同一地点アイコンIDとして3001が含まれ、アイコン65bに対応するアイコン情報には同一地点アイコンIDとして1002が含まれ、アイコン65cに対応するアイコン情報には同一地点アイコンIDとして3003が含まれている。したがって、この例では、ステップ362の判定は肯定判定となる。
【0147】
ステップ364では、ステップ362で見つけた同一地点アイコンが登録された動画の動画IDを取得する。図20の例では、見つかった同一地点アイコンID3001、1002、3003をアイコンIDとして含む動画−アイコンリンク情報66a〜66cをリンクデータベース20dから抽出し、抽出した動画−アイコンリンク情報中の動画ID300、100、300を取得する。ステップ364に続いてはステップ366に進む。
【0148】
ステップ366では、表示端末3のユーザの操作によって指定されたアイコンのいずれか1つ以上が登録された動画のすべてについて動画IDを取得する。図20の例では、指定されたアイコン65a〜65cのアイコンID1001、3002、2001をアイコンIDとして含む動画−アイコンリンク情報66d〜66fをリンクデータベース20dから抽出し、抽出した動画−アイコンリンク情報中の動画ID100、300、200を取得する。
【0149】
続いてステップ368では、ステップ366(および実行していればステップ364)で取得した動画IDを、取得回数が大きい順に並べる。取得回数とは、今回のステップ366(および実行していれば今回のステップ364)で取得された延べ回数である。図20の例では、動画ID100の取得回数は2回であり、動画ID200の取得回数は1回であり、動画ID300の取得回数は3回である。したがって、動画IDの並び順は、動画ID300、動画ID100、動画ID200となる。そして、表示端末3に送信する動画のリストの表示順は、この並び順と同じにする。このようにすることで、表示端末3の表示部33において、取得回数のより多い動画が、すなわち、ユーザ所望のアイコン(またはそれと同等のものを指し示すアイコン)をより多く含んでいる動画が、動画リスト中でより上位に表示されることになる。なお、動画のリストに含める動画の数は、取得回数が1回以上のすべての動画であってもよいし、取得回数の多い順に上位からN個(N=2、3…)であってもよい。また、ステップ368では、最も取得回数の多い1つの動画のみを抽出するようになっていてもよい。
【0150】
[4]アイコン検索およびアイコン検索に続く動画再生開始フレーム決定
次に、アイコン検索およびアイコン検索に続く動画再生開始フレーム決定について説明する。データサーバ2において複数の動画およびアイコンが登録されている状態で、表示端末3(第1の表示端末に相当する)のユーザは、データサーバ2に所望のアイコンを検索させ、検索の結果抽出されたアイコン(第1のアイコンの一例に相当する)を、そのアイコンの指し示す地点を撮影した動画(第1の動画の一例に相当する)と共に閲覧することができる。図21に、アイコン検索およびアイコン検索に続く動画再生開始フレーム決定のためのデータサーバ2および表示端末3の作動の一例をシーケンス図で表す。
【0151】
まず表示端末3の制御部32は、入力部30に対するユーザのアイコン検索操作(アイコンを検索するための操作)を受け付け(ステップ151)、続いて受け付けたアイコン検索操作の内容を示す情報をデータサーバ2に送信する(ステップ152)。データサーバ2の制御部22は、このアイコン検索操作の内容の情報を受信し(ステップ153)、受信した情報に応じた方法でアイコン検索処理を行う(ステップ154)。アイコン検索処理では、アイコンデータベース20cからアイコン検索操作の内容に適合するアイコンを抽出する。
【0152】
抽出できたアイコンが1つである場合、そのまま抽出したアイコン(第1のアイコンの一例に相当する)を対象として動画再生開始フレーム決定処理を実行し(ステップ161)、その際必要であれば表示端末3に対して動画選択の問い合わせを行い、問い合わせを受けた表示端末3の制御部32は、ユーザの操作に応じて動画を選択し、その選択結果をデータサーバ2に送信する(ステップ162)。
【0153】
そしてデータサーバ2の制御部22は、動画再生開始フレーム決定処理によって特定した動画の開始フレーム以降を表示端末3に表示させるために必要な情報(動画情報、地図情報、アイコン情報、動画−地図リンク情報、動画−アイコンリンク情報、地図−アイコンリンク情報等)をデータベース部20から取得して表示端末3に送信し(ステップ163)、表示端末3の制御部32はこの情報中の動画を受信して当該動画の当該開始フレーム以降を再生し、表示部33に表示させる(ステップ164)。
【0154】
ステップ154のアイコン検索処理で抽出できたアイコンが複数個ある場合、抽出したアイコンのリストおよびアイコン付加情報等を検索結果として表示端末3に送信する(ステップ155)。表示端末3の制御部32はこの検索結果を受信し(ステップ156)、受信した検索結果を表示部33に表示させる(ステップ157)。そして表示端末3のユーザが入力部30を用いて表示されたアイコンのリストのうちから1つのアイコンを選択すると(ステップ158)、制御部32はその選択されたアイコンを指定する情報をデータサーバ2に送信する(ステップ159)。そしてデータサーバ2の制御部22はこの情報を受信して、受信した情報中の指定に従って、抽出するアイコンを1つ(第1のアイコンの一例に相当する)に絞る(ステップ160)。
【0155】
ここで、ステップ154のアイコン検索処理について詳細に説明する。図22に、アイコン検索処理のフローチャートを示す。アイコン検索処理においては、表示端末3から受信したアイコン検索操作の内容の情報に基づいて検索モードを決定する(ステップ403)。検索モードとしては、“タグ、キーワード、種別、ランキング検索モード”、“地図から検索モード”、“動画から検索モード”がある。
【0156】
“タグ、キーワード、種別、ランキング検索モード”は、アイコン情報中のタグの文字列の検索、アイコン情報中の各種文字列の検索、アイコン情報中の種別の検索、あるいは、アイコン情報中の選択回数の最上位の複数件(例えば上位5件)の検索のうちいずれか1つを実行する検索モードである。
【0157】
表示端末3のユーザが、アイコン検索操作において、「特定のタグ」、「特定のキーワード」、「特定の種別」、「選択ランキングで選択する旨」のうちいずれかを指定した場合、検索モードが“タグ、キーワード、種別、ランキング検索モード”となる。
【0158】
“タグ、キーワード、ランキング検索モード”である場合(ステップ405→YES)、制御部22は続いて、ユーザのアイコン検索操作に応じた検索を行う(ステップ410)。つまり、アイコン検索操作で特定のタグが指定された場合、その特定のタグをアイコン付加情報のタグとして含むアイコンを抽出し、アイコン検索操作で特定のキーワードが指定された場合、その特定のキーワードをアイコン付加情報または登録者情報に含むアイコンを抽出し、アイコン検索操作で特定の種別が指定された場合、その特定の種別をアイコン情報中の種別の情報に含むアイコンを抽出し、アイコン検索操作で選択回数ランキングで選択する旨が指定された場合、すべてのアイコンのうち、アイコン付加情報中の選択回数が最も高い所定の複数個を抽出する。なお、各アイコン付加情報中の選択回数の値は、対応するアイコンの登録時にはゼロに設定され、対応するアイコンが表示端末3のユーザによって1回選択されたときに、1回分増加させるようになっている。
【0159】
“地図から検索モード”は、ユーザがアイコン検索操作として、表示端末3の表示部33に表示されている地図中のアイコン(例えば、図16の地図画像61中のアイコン61a〜61f)のうち1つを指定した場合の検索モードである。“地図から検索モード”である場合(ステップ425→YES)、制御部22は続いて、指定されたアイコンを抽出する(ステップ430)。
【0160】
“動画から検索モード”は、ユーザがアイコン検索操作として、表示端末3の表示部33に表示されている動画中のアイコン(例えば、図16の動画62中のアイコン61a)のうち1つを指定した場合の検索モードである。“動画から検索モード”である場合(ステップ435→YES)、制御部22は続いて、指定されたアイコンを抽出する(ステップ440)。
【0161】
次に、図21のステップ161の動画再生開始フレーム決定処理について詳細に説明する。図23に、この動画再生開始フレーム決定処理のフローチャートを示す。また、図24に、この動画再生開始フレーム決定処理における処理手順を模式的に示す。
【0162】
まず制御部22は、ステップ510で、ステップ154またはステップ160において抽出された1つのアイコンのアイコン情報中に、同一地点アイコンIDがあるか否かを判定し、なければ続いてステップ520に進み、あれば続いてステップ530に進む。
【0163】
ステップ520では、抽出されたアイコン(第1のアイコンの一例に相当する)の登録先の動画(第1の動画の一例に相当する)の動画IDを、当該アイコンに対応する動画−アイコンリンク情報から特定し(図24の矢印71参照)、特定した動画IDを含む動画情報を取得する(矢印72参照)。
【0164】
ステップ530では、ステップ510で見つけた同一地点アイコンIDのそれぞれについて、登録先の動画をステップ520と同様に当該同一地点アイコンIDに対応する動画−アイコンリンク情報から特定し(矢印71参照)、特定した動画をリスト化し、そのリストを、アイコン選択の問い合わせとして表示端末3に送信する。なお、この際に、特定した動画と、その動画の特定に用いた動画−アイコンリンク情報との対応関係を記憶しておく。
【0165】
表示端末3の制御部32は、この問い合わせを受信して表示部33に表示させ、リストのうち1つの動画(第1の動画の一例に相当する)をユーザの選択操作に応じて選択し、選択結果の動画の動画IDをデータサーバ2に送信する(図21のステップ162)。
【0166】
するとデータサーバ2の制御部22は、ステップ540で、この選択結果を受信すると共に、受信した選択結果の動画IDに対応する動画情報を取得する(矢印72参照)。
【0167】
ステップ520または540に続いては、ステップ550で、再生する動画に対応する動画−アイコンリンク情報を読み出す。
【0168】
ここで、再生する動画に対応する動画−アイコンリンク情報は、ステップ520を実行した場合は、抽出されたアイコンに対応する動画−アイコンリンク情報である。
【0169】
また、再生する動画に対応する動画−アイコンリンク情報は、ステップ530、540を実行した場合は、ステップ510で見つけた同一地点アイコンIDのそれぞれに対応する動画−アイコンリンク情報のうち、ステップ540で受信した選択結果の動画IDを含む動画−アイコンリンク情報である。
【0170】
続いてステップ560では、読み出した動画アイコンリンク情報中の表示開始点情報から、アイコン表示開始フレーム(アイコン表示フレーム区間の始点に相当する)を読み出し、このアイコン表示開始フレームを、動画の再生開始位置として特定する(図24の矢印73、74参照)。ステップ560の後、動画再生開始フレーム決定処理を終了する。
【0171】
このように、制御部22は、表示端末3(第1の表示端末の一例に相当する)のユーザの検索操作に基づいて1つのアイコン(第1のアイコンの一例に相当する)を抽出し、そのアイコン(またはそのアイコンと同じ地点を指し示しているアイコン)が登録された動画を表示端末3で再生させる際に、抽出したアイコンの表示開始フレームの情報を表示端末3に送信することで、表示端末3で、当該アイコンの表示開始フレームから当該動画を再生させる。
【0172】
このようにすることの意義について、以下説明する。地図上に表示されたアイコンをユーザが選択したときに、そのアイコンが登録された動画の再生をそのアイコンが表示されている地点から開始できるようにすると、再生開始と共にそのアイコンを閲覧することができるので便利である。しかし、地図上のアイコン表示地点は施設が存在する場所であり、その地点を動画再生開始地点としてしまうと、見たい施設の情報をほとんど見ることができない。これを解決するために、アイコン表示地点から一定距離だけ手前からアイコンを表示するようにしてもよいが、このようにすると、アイコン毎にアイコン表示開始のタイミングを変えることができない。
【0173】
そこで、上記のように、動画−アイコンリンク情報において、アイコン毎にアイコンの表示開始・終了フレームを記録しておくことで、アイコン毎に表示開始フレームを設定できる。また、動画情報および地図情報と、動画−アイコンリンク情報を分けて記録し、動画−アイコンリンク情報に表示開始フレームの情報を含めておくことで、アイコンを選択して動画を再生する際、動画毎に違う地点から再生することができ、ユーザにとって見やすい動画を提供することが可能となる。
【0174】
[5]地図・動画表示
次に、上述した動画検索によって再生する動画が決定し、あるいは、上述した「アイコン検索およびアイコン検索に続く動画再生開始フレーム決定」によって再生する動画および再生開始フレームが決定した後に、地図、動画等を表示端末3に表示させるための作動について説明する。以下では、再生する動画を再生動画(第1の動画の一例に相当する)という。図25に、地図および動画の表示処理の作動を示すシーケンス図を示す。
【0175】
まずデータサーバ2の制御部22は、再生動画および再生動画の撮影地点周辺の地図等を表示端末3に表示させるため、必要なデータを表示端末3に送信する(ステップ171)。送信するデータは、図4に示すように、動画情報、地図情報、アイコン情報、動画−地図リンク情報、動画−アイコンリンク情報、地図−アイコンリンク情報を含む。そして、「アイコン検索およびアイコン検索に続く動画再生開始フレーム決定」によって再生開始フレームを決定している場合には、更に、再生する動画の再生開始フレームの情報も含む。
【0176】
送信する動画情報は、再生する動画の動画情報である。また、送信する地図情報は、再生する動画の撮影経路(動画−地図リンク情報の動画経路情報に基づいて特定する)を含む範囲の地図情報である。
【0177】
また、送信するアイコン情報は、送信する地図範囲中にアイコン表示地点(地図−アイコンリンク情報に基づいて特定する)が存在するすべてのアイコンのアイコン情報に加え、それらアイコン情報中の同一地点アイコンIDをアイコンIDとして有するすべてのアイコン情報である。
【0178】
また、送信する動画−地図リンク情報は、送信する動画情報に対応する動画−地図リンク情報、および、送信する地図中に登録されたすべての動画に対応する動画−地図リンク情報である。
【0179】
また、送信する動画−アイコンリンク情報は、送信するアイコン情報に対応するすべての動画−アイコンリンク情報である。また、送信する地図−アイコンリンク情報は、送信するアイコン情報に対応するすべての地図−アイコンリンク情報である。
【0180】
表示端末3の制御部32は、このようにして送信されたデータを受信すると(ステップ172)、地図表示処理を実行する(ステップ173)と共に、動画再生処理を実行する(ステップ174)。この地図表示処と動画再生処理は、制御部32において並列処理またはタイムシェアリング方式で実質的に同時に実行されるようになっっていてもよいし、地図表示処、動画再生処理の順に実行されるようになっていてもよい。
【0181】
そして、この動画再生処理において、表示部33において表示されたリンク先にある情報を必要に応じてデータサーバ2に要求し、その要求を受信したデータサーバ2の制御部22は、当該リンク先にある情報を要求元の表示端末3に送信する(ステップ175)。そしてこのリンク先にある情報を受信した表示端末3の制御部32は、リンク先にある情報を表示部33に表示させる。
【0182】
ここで、地図表示処理について詳細に説明する。図26に、地図表示処理のフローチャートを示す。地図表示処理において制御部32は、まずステップ1505で、データサーバ2から受信した地図情報を用いて地図を表示部33に表示させる。続いてステップ1510で、表示させた地図上に再生動画の撮影地点(より具体的には撮影経路)を強調表示させる。再生動画の撮影経路は、再生動画の動画−地図リンク情報中の動画経路情報に基づいて特定する。
【0183】
続いてステップ1515では、受信したすべてのアイコン情報のアイコンリストを作成する。つまり、受信したすべてのアイコン情報中のすべてのアイコンIDから成るリストを作成する。続いてステップ1520では、アイコンリストから1つのアイコンIDを抽出する。この際、抽出したアイコンIDはアイコンリストから削除する。
【0184】
続いてステップ1525では、抽出したアイコンIDのアイコン情報に同一地点アイコンIDが含まれているか否かを判定し、含まれていなければ続いてステップ1530を実行し、含まれていれば続いてステップ1535を実行する。
【0185】
ステップ1530では、抽出したアイコンIDの地図−アイコンリンク情報から、アイコン表示地点情報を取得し、続いてステップ1550で、取得したアイコン表示地点情報が示す地点を、抽出したアイコンの地図上の表示地点として確定する。
【0186】
抽出したアイコンIDのアイコン情報が同一地点アイコンIDを含む場合のステップ1535では、それら同一地点アイコンIDをアイコンIDとして有する地図−アイコンリンク情報を読み出し、それら地図−アイコンリンク情報の各々から、アイコン表示地点情報とアイコン表示地点確度情報の組を取り出す。また同様に、ステップ1520で抽出したアイコンIDの地図−アイコンリンク情報からも、アイコン表示地点情報とアイコン表示地点確度情報の組を取り出す。
【0187】
ステップ1540では、取り出したアイコン表示地点情報とアイコン表示地点確度情報の組を用いて、アイコン表示地点の重み付き平均を算出する。この算出の際、アイコン表示地点確度情報の値(すなわち、“高”または“低”。図15参照。)には、重み数値を対応付ける。具体的には、“高”には正の数値A(例えば0.7)を、“低”には数値Aより小さい正の数値B(例えば0.3)を対応付ける。すなわち、確度が高いほど重み数値は大きい。
【0188】
その上で、アイコン表示地点の重み付き平均の算出は、以下のように行う。すなわち、P=Σ(wi×xi)/Σwiを算出する。ここで、Σは添字iについての総和を表し、iは取り出した各組に1から順に割り当てられる自然数であり、取り出したi番目の組の中のアイコン表示地点情報が示す地点がxi(2次元ベクトル値)であり、i番目の組の中のアイコン表示地点確度情報に対応する重み数値がwi(具体的な値はAまたはB)である。
【0189】
重み付き平均の算出例を、図27に概略的に示す。動画75に登録されたアイコン75aについては、地図77上のアイコン75aのアイコン表示地点の算出時に、動画75を撮影した動画撮影部16のカメラ画角が分からなかったので、アイコン表示地点確度情報の値は“低”になったとする。
【0190】
そして、動画75とは別の動画76(ただし撮影経路は一部重複している)に登録されたアイコン76aについては、地図77上のアイコン76aのアイコン表示地点の算出時に、動画76を撮影した動画撮影部16のカメラ画角が分かったので、アイコン表示地点確度情報の値は“高”になったとする。
【0191】
そして、アイコン75aのアイコン情報が同一地点アイコンIDとしてアイコン76aのアイコンを有しているとする。すると、重み付き平均の算出は、アイコン75a、76aの地図上の地点をそれぞれx1、x2とすると、P=(B×x1+A×x2)/(A+B)となる。
【0192】
続いてステップ1545では、同一地点アイコンIDと同じアイコンIDをアイコンリストから削除する。このようにすることで、同じ地点を指し示す複数のアイコンを地図に重複して表示することがなくなる。続いて、ステップ1550では、このようにして算出された地点P(2次元ベクトル値)を、抽出したアイコンの地図上の表示地点として確定する。
【0193】
ステップ1550に続くステップ1555では、アイコンリストが空か否かを判定し、空ならば地図表示処理は終了し、空でないなら再度ステップ1520に処理を戻す。このようにすることで、異なる地点を指し示しているアイコン毎に、ステップ1520〜1550の処理が実行され、そのアイコンの地図上の表示地点が確定する。
【0194】
このように、あるアイコンAを地図上に表示させるときに、そのアイコンと同一の地点(施設、自然構造物等)を指し示す(1つまたは複数の)アイコンBが他にある場合、それらアイコンAの仮の表示地点とアイコンBの仮の表示地点との重み付け平均の結果の位置を、実際の地図上のアイコンAの表示地点として確定する。そして、重み付け平均に用いる重み数値は、それら仮の表示地点の確度が高いほど大きい。
【0195】
このようにすることの意義について、以下説明する。同一の地点(施設、自然構造物等)を指し示すアイコンが複数登録されている場合、仮にはじめに付加されたアイコン情報を用いて表示地点を決めてしまうと、後からよりよい位置精度の表示地点が算出されたとしてもそれを反映することができない。
【0196】
そこで、上記のように、あるアイコンの表示地点を、そのアイコンと同じ地点を指し示すアイコンの表示地点を用いて補正する。このようにすることで、アイコンの地図上の表示地点をより正確に決定することができる。
【0197】
次に、図26のステップ174の動画再生処理について説明する。図28に、動画再生処理のフローチャートを示す。制御部32は、この動画再生処理において、まずステップ605で、再生動画は動画検索で抽出されたものであるか否かを判定する。再生動画が動画検索で抽出されたものであれば、再生動画の再生開始フレームを指定する情報をデータサーバ2から受けておらず、再生動画が動画検索で抽出されたものでないならば、すなわち、再生動画が「アイコン検索およびアイコン検索に続く動画再生開始フレーム決定」によって決定されている場合は、再生動画の再生開始フレームを指定する情報をデータサーバ2から受けている。したがって、再生動画の再生開始フレームを指定する情報をデータサーバ2から受けていないかいるかに基づいて、上記判定を行うことができる。
【0198】
動画検索である場合、続いてステップ610で、再生動画の先頭のフレームを動画再生位置に設定する。動画検索でない場合、続いてステップ615で、受信した動画再生開始フレームの指定に従って、再生動画の再生開始フレームを決定する。
【0199】
ステップ610または615に続いては、ステップ620で、再生動画に登録されたアイコン(それぞれが第1のアイコンの一例に相当する)のアイコンIDを取得する。具体的には、データサーバ2からステップ171で受信した動画−アイコンリンク情報のうち、再生動画の動画IDを有する動画−アイコンリンク情報中のアイコンIDを取得する。
【0200】
続いてステップ625では、再生動画以外の動画に登録され、かつ、再生動画の撮影経路沿いにあるアイコンのアイコンIDを取得する。具体的には、データサーバ2からステップ171で受信した動画−アイコンリンク情報のうち、再生動画以外の動画IDを有する動画−アイコンリンク情報中のアイコンIDを抽出し、それら抽出したアイコンIDを含む地図−アイコンリンク情報を読み出し、読み出した各地図−アイコンリンク情報中のアイコン表示地点情報の示す地点が、再生動画の撮影経路(再生動画の動画−地図リンク情報に基づいて特定できる)の近傍(例えば所定距離以内)であるか否かを判定する。そして、近傍にあると判定したアイコンIDのみを、再生動画以外で登録され、かつ、再生動画の撮影経路沿いにあるアイコンIDとして取得する。
【0201】
続いてステップ630では、動画中アイコン表示区間・位置決定処理を実行する。この動画中アイコン表示区間・位置決定処理は、ステップ620で取得したアイコン(以下、再生動画登録アイコンという)およびステップ625で取得したアイコン(以下、他動画登録アイコンという)のそれぞれが、再生動画中のどのフレーム区間のどの位置座標に表示されるべきかを決定する処理である。
【0202】
この動画中アイコン表示区間・位置決定処理のフローチャートを、図29に示す。制御部32は、この決定処理において、取得した再生動画登録アイコンおよび他動画登録アイコンのそれぞれを対象として、ステップ631〜635に示す処理を実行する。まずステップ631では、現在の対象となっているアイコン(以下、対象アイコンという)が、再生動画登録アイコン(すなわち、再生中の動画で登録されたアイコン)であるか否かを、対象アイコンの動画−アイコンリンク情報中の動画IDに基づいて判定し、再生動画登録アイコンであれば続いてステップ633を実行し、再生動画登録アイコンでなければ、すなわち他動画登録アイコンであれば、続いてステップ635を実行する。
【0203】
ステップ633では、対象アイコンは再生動画に登録されているので、その表示フレームの区間および当該区間内の各フレームにおける表示位置座標は、単純に登録時通りとする。すなわち、対象アイコンの動画−アイコンリンク情報から、アイコン表示開始点情報(アイコン表示開始フレームおよび表示開始フレーム中アイコン表示位置)、およびアイコン表示終了点情報(アイコン表示終了フレームおよび表示終了フレーム中アイコン表示位置)を読み出し、読み出した情報に従って、現在のフレーム中における対象アイコンの表示位置座標を決定する。
【0204】
具体的には、対象アイコンを表示するフレームの区間(アイコンを表示フレーム区間に相当する)は、表示開始フレームから表示終了フレームまでとし、当該フレーム区間中における対象アイコンの表示位置(フレーム中アイコン表示位置に相当する)、表示開始座標から表示終了座標まで一直線に一定速度で移動するよう設定する。なお、一定速度とは、連続する2つのフレーム間での位置座標の移動距離が一定であることをいう。
【0205】
一方、対象アイコンが他動画登録アイコンである場合は、再生動画以外に登録された他動画登録アイコンを、再生動画に表示するフレーム区間および位置座標を決めなければならない。しかし、その対象アイコンの再生動画中への表示開始フレームおよび位置、表示終了フレームおよび位置は、当該アイコンの動画−アイコンリンク情報には直接記載されていないので、別途算出する必要がある。
【0206】
このために例えば、他動画登録アイコンを登録した他動画の場合と地理的に同じ位置、同じタイミングで表示することを実現してもよい。しかし、そのようにする場合、動画のマッチングによる地点同定処理が必要となる。マッチングは処理負荷が高い。動画の配信サービスにおいては、他動画で登録されたアイコン情報の表示には処理負荷が少なく、ユーザに分かりやすい情報表示方法が望ましい。
【0207】
そこで、ステップ635では、対象アイコンが登録された他動画中での対象アイコンのアイコン表示開始点情報(アイコン表示開始フレームおよび表示開始フレーム中アイコン表示位置)、およびアイコン表示終了点情報(アイコン表示終了フレームおよび表示終了フレーム中アイコン表示位置)を読み出す。この情報は、対象アイコンの動画−アイコンリンク情報に含まれている。
【0208】
続いてステップ637では、他動画登録アイコン表示区間・位置決定処理を実行する。図30に、この他動画登録アイコン表示区間・位置決定処理のフローチャートを示す。この決定処理は、他の動画に登録されたアイコンを、再生動画中のどのフレーム区間のどの位置座標で表示させるかを決めるための処理である。
【0209】
この決定処理において制御部32は、まずステップ705で、対象アイコンの登録先の他動画と再生動画の移動方向が同じであるか否かを判定する。対象アイコンの登録先の他動画は、対象アイコンの動画−アイコンリンク情報中の動画IDから特定できる。また、当該他動画と再生動画のそれぞれの移動方向は、当該動画の動画−地図リンク情報中の動画経路情報に基づいて特定することができる。ここでいう撮影方向とは、道路に沿った2つの互いに逆な方向(往路方向、復路方向)のどちらであるかを示せる情報である。移動方向が同じであれば続いてステップ710に進み、同じでなければ(すなわち逆であれば)続いてステップ715に進む。
【0210】
移動方向が同じ場合のステップ710では、他動画における対象アイコンのアイコン表示フレーム区間に対応する撮影地点範囲と、再生動画において対象アイコンを表示する表示フレーム区間に対応する撮影地点範囲とが同じになるよう、再生動画において対象アイコンを表示するフレームの区間を決定する。
【0211】
具体的には、図31に示すように、当該他動画に対象アイコンが登録されたフレーム区間(フレーム81aからフレーム81bまで)を、対象アイコンの動画−アイコンリンク情報中の表示開始フレーム、表示終了フレームに基づいて特定し、さらに、そのフレーム区間81a〜81bが撮影された期間に動画撮影装置1が移動した地点範囲82a〜82bを特定し、さらに、その同じ地点範囲82a〜82bを移動したときに撮影された再生動画のフレーム区間(開始フレーム83aから終了フレーム83bまでの区間)を特定し、当該フレーム区間83a〜83bを、再生動画において対象アイコンを表示するフレームの区間とする。
【0212】
ここで、フレーム区間81a〜81bの撮影期間に動画撮影装置1が移動した地点範囲82a〜82bは、当該他動画の動画−地図リンク情報中の動画経路情報(撮影時刻と撮影地点の組を複数有する情報)および所定のフレームレートから特定することができる。
【0213】
すなわち、他動画の開始フレーム81aが他動画中のNa番目のフレームであり、終了フレーム81bが他動画中のNb番目のフレームであり、他動画の撮影開始地点における撮影時刻がT0[秒]である場合、Ta[秒]=T0+(Na−1)/Rの時刻における撮影地点が表示開始地点82aとなり、Tb[秒]=T0+(Na−1)/Rの時刻における撮影地点が表示終了地点82bとなる。ただし、Rは、[フレーム/秒]の単位で表される所定のフレームレートである。
【0214】
また、地点範囲82a〜82bを移動したときに撮影された再生動画のフレーム区間83a〜83bも同様に、再生動画の動画−地図リンク情報中の動画経路情報(撮影時刻と撮影地点の組を複数有する情報)および所定のフレームレートから特定することができる。
【0215】
移動方向が逆の場合のステップ715では、他動画における対象アイコンの表示フレーム区間に対応する撮影地点範囲の長さを算出する。具体的には、対象アイコンの動画−アイコンリンク情報中の表示開始フレーム、表示終了フレーム、および、対象アイコンの動画−地図リンク情報中の動画経路情報に基づいて、表示開始フレームから表示終了フレームまでが撮影された期間に動画撮影装置1が移動した地図上の地点範囲を決定し、さらにその地点範囲の距離(例えば、直線距離または撮影経路に沿った距離)を算出する。
【0216】
続いてステップ720では、他動画における対象アイコンのアイコン表示フレーム区間に対応する撮影地点範囲の終点に対して、当該撮影地点範囲とは撮影経路上で逆の方向から到達するような地点範囲が、再生動画において対象アイコンを表示するフレーム区間に対応する撮影地点範囲となるよう、再生動画において対象アイコンを表示するフレームの区間を決定する。しかも、他動画の表示フレーム区間に対応する撮影地点範囲の長さAと、再生動画の表示フレーム区間に対応する撮影地点範囲の長さBとが同じになるようにする。
【0217】
具体的には、図32に示すように、当該他動画に対象アイコンが登録されたフレーム区間(フレーム84aからフレーム84bまで)を、対象アイコンの動画−アイコンリンク情報中の表示開始フレーム、表示終了フレームに基づいて特定し、さらに、そのフレーム区間84a〜84bが撮影された期間に動画撮影装置1が移動した地点範囲85a〜85bを特定する。
【0218】
さらに、その地点範囲85a〜85bの終点85bを終点とすると共に、当該終点85から、地点85aから地点85bまでの方向と同じ方向に、ステップ715で決定した距離だけ(地図情報中の)道路に沿って移動した地点85cを始点とする地点範囲85c〜85bを設定する。この地点範囲は、他動画の表示フレーム区間84a〜84bに対応する撮影地点範囲85a〜85bの終点85bに対して、当該撮影地点範囲85a〜85bとは逆の方向から到達するような地点範囲85c〜85bである。
【0219】
さらに、その地点範囲85c〜85bを移動したときに撮影された再生動画のフレーム区間(開始フレーム86cから終了フレーム86bまでの区間)を特定し、当該フレーム区間86c〜86bを、再生動画において対象アイコンを表示するフレームの区間とする。
【0220】
ここで、フレーム区間84a〜84bの撮影期間に動画撮影装置1が移動した地点範囲85a〜85bは、当該他動画の動画−地図リンク情報中の動画経路情報および所定のフレームレートから特定することができる。また、地点範囲85c〜85bを移動したときに撮影された再生動画のフレーム区間86c〜86bも同様に、再生動画の動画−地図リンク情報中の動画経路情報および所定のフレームレートから特定することができる。
【0221】
ステップ710、720に続くステップ725では、再生動画において対象アイコンを表示するフレーム区間中の各フレームにおいて、どの位置座標に対象アイコンを表示するかを決定する。具体的には、再生動画の撮影地点に対し、対象アイコンが左右どちらに地点登録されているかを判定し、フレーム中の判定された側の位置(例えば右上隅、左上隅等)に対象アイコンを表示させる。
【0222】
例えば、図31に示すように、再生動画と対象アイコンが登録された他動画とで移動方向が同じ場合、当該他動画のフレーム中の対象アイコンの位置87が中央より右側なら右側に、中央より左側なら左側に、再生動画の各フレーム中の対象アイコンの表示位置88を決定する。また、図32に示すように、再生動画と対象アイコンが登録された他動画とで移動方向が逆の場合、当該他動画のフレーム中の対象アイコンの位置89が中央より右側なら左側に、中央より左側なら右側に、再生動画の各フレーム中の対象アイコンの表示位置90を決定する。ステップ725の後、他動画登録アイコン表示区間・位置決定処理が終了する。他動画登録アイコン表示区間・位置決定処理が終了すると、図29のステップ637も終了する。
【0223】
他動画登録アイコン表示区間・位置決定処理(決定処理の一例に相当する)がこのようになっていることで、再生動画(第1の動画の一例に相当する)中で表示フレーム区間および表示位置座標が確定されていない他動画登録アイコンであっても、少なくとも表示区間と方向が判断できるような処理を施し、少ない処理負荷でユーザに分かりやすい情報提示を可能とする。これによって、アイコンが表示されないことによるユーザへの不利益や、高負荷処理によるシステム動作不良を抑えることができる。
【0224】
以上のような動画中アイコン表示区間・位置決定処理(図28のステップ630参照)を実行することで、取得した再生動画登録アイコンおよび他動画登録アイコンのそれぞれについて、再生動画のどのフレーム範囲のどの位置座標に表示させるかが決まる。
【0225】
ステップ630に続いてステップ640では、ステップ610または615で設定された再生開始フレームから再生動画を再生する。再生開始後は、動画の再生が終了するまで、ステップ645〜675の処理を繰り返す。
【0226】
ステップ645では、再生動画において現在表示中のフレームが、ステップ620で取得した再生動画登録アイコンおよびステップ625で取得した他動画登録アイコンのいずれかの表示フレーム区間内であるか否かを判定する。各アイコンの再生動画中における表示フレーム区間は、ステップ630で既に決定されている。
【0227】
現在のフレームが少なくとも1つのアイコンの表示区間内であれば、ステップ645の判定は肯定判定となって処理はステップ650に進み、現在のフレームがどのアイコンの表示区間内にもなければ、ステップ645の判定は否定判定となって処理はステップ665のアイコンリンク先表示処理に進む。
【0228】
ステップ650では、アイコン表示処理を実行する。図33に、アイコン表示処理のフローチャートを示す。このアイコン表示処理において制御部32は、まずステップ801で、現在のフレームが表示区間内に入っているすべてのアイコンID(再生動画登録アイコンおよび他動画登録アイコンのアイコンID)から成るアイコンリストを作成する。このアイコンリストは、同じ地点を指し示すアイコンを重複して表示しないよう管理するためのリストである。
【0229】
続いてステップ803では、アイコンリストから1つのアイコンIDを抽出し、抽出したアイコンIDをアイコンリスト中から消去する。この際、再生動画登録アイコンのIDがアイコンリスト中にある場合は、再生動画登録アイコンのIDを他動画登録アイコンのアイコンIDよりも優先して抽出する。このようにすることで、同一の地点を指し示す複数のアイコンのうち、再生動画登録アイコン(およびそのアイコン情報)が優先して表示されることになる。
【0230】
続いてステップ805では、再生動画の現在表示しているフレーム中に、抽出したアイコン(以下、抽出アイコンという)を重畳表示させる(例えば、図16のアイコン61a参照)。このとき、当該フレーム中の抽出アイコンの位置は、ステップ630で当該抽出アイコンについて決定した位置通りとする。さらに、表示部33中の抽出アイコンに割り当てられた情報表示画面内に、当該抽出アイコンのアイコン情報(ただし、アイコンID、同一地点アイコンIDは除いてもよいし、あるいは、アイコン付加情報以外を除いてもよい)を表示させる(図3、図16の情報表示画面63参照)。
【0231】
続いてステップ810では、抽出アイコンと同じ地点を指し示しているアイコンのID、すなわち、抽出アイコンのアイコン情報に含まれている同一地点アイコンIDをすべて読み出す。なお、読み出した同一地点アイコンIDと同じアイコンIDについては、アイコンリストから削除する。このように、読み出した同一地点アイコンIDと同じアイコンIDについては、表示対象から除外することで、同じ地点を指し示すアイコンを複数個重複して表示部33に表示させることがなくなる。
【0232】
続いてステップ815では、読み出した同一地点アイコンIDに対応するアイコンの表示優先順位を決定する。優先順位は、アイコンの登録日時が新しいほど高い(より1位に近い)ようになっていてもよいし、アイコンの登録先の動画の撮影日時が新しいほど高いようになっていてもよいし、アイコンの登録先の動画の再生回数が多いほど高いようになっていてもよい。
【0233】
ステップ815に続いては、ステップ820〜840を、(ステップ830で否定判定となる例外を除いて)読み出した同一地点アイコンID毎に実行する。
【0234】
まずステップ820では、読み出した同一地点アイコンIDのうち1つを抽出し、当該同一地点アイコンIDをアイコン情報として有するアイコン情報をアイコンデータベース20cから読み出す。ここで、アイコンIDの抽出順序は、ステップ815で決定した優先順位に従う。つまり、ステップ820〜840の繰り返しが今回でk回目である場合、ステップ815で決定した優先順位においてk番目となっているアイコンIDを抽出する。
【0235】
続いてステップ830では、今回のステップ820で取得したアイコン情報が追加表示可能か否かを判定する。具体的には、表示対象のアイコン情報に今回取得したアイコン情報を加えた場合、表示対象のアイコン情報全体を表示部33の一画面に表示可能か否かを判定する。これは、例えば、今回取得したアイコン情報が加えら得た場合の表示対象のアイコン情報全体の文字数と、抽出アイコンに割り当てられた情報表示画面内に表示可能な所定の最大文字数との比較に基づいて判定してもよい。
【0236】
追加可能な場合は続いてステップ840で、今回のステップ820で取得したアイコン情報を、表示部33中の抽出アイコンに割り当てられた情報表示画面内に追加表示させる。追加表示不可能な場合は、今回のアイコン情報およびそれよりも優先順位の低い同一地点アイコンIDのアイコン情報を表示させることなく、820〜840のループを抜けてステップ850に進む。ステップ820〜840のループが同一地点アイコンIDの数と同じ回数だけ実行された後も、ステップ850に進む。
【0237】
ステップ850では、アイコンリストが空か否かを判定し、空であればアイコン表示処理を終了し、空でなければステップ803に戻る。このようなアイコン表示処理を実行することで、異なる地点を指し示すアイコンのそれぞれについて(801、803、850参照)、フレーム中のステップ630で決定した適切な位置に当該アイコンおよびそのアイコン情報を表示する(ステップ805参照)。そして、表示されたアイコンと同一地点を指し示すアイコンがあれば(ステップ810)、それらのアイコン情報の表示を、当該表示されたアイコンのアイコン情報に追加して表示させる(ステップ840)。そしてその追加表示の順序は、各アイコンの重要度に応じて決定されるようになっている(ステップ820参照)。そして、アイコン情報の表示のためのスペースが足りなくなった段階で、以降の順位のアイコン情報の追加をやめる(ステップ830参照)。
【0238】
このように、同一の地点を指し示す複数のアイコンのアイコン情報をまとめて表示することができる。
【0239】
例えば、図34に示すように、動画Aにアイコン91a、91b、91cが登録され、動画Aにアイコン91aが登録された際にアイコン情報として動画付加情報93が追加されたとする。そして、動画Aとは異なる動画Bにアイコン92a、92b、92cが登録され、再生Bにアイコン92aが登録された際にアイコン情報として動画付加情報94が追加されたとする。そして、アイコン91aとアイコン92aとは、同一の施設を指し示すものであるとして、アイコン91aのアイコン情報には同一地点アイコンIDとしてアイコン91bのアイコンIDが記録されると共に、アイコン91bのアイコン情報には同一地点アイコンIDとしてアイコン91aのアイコンIDが記録される。
【0240】
この場合、動画Aが再生される際には、アイコン91a、91bのうち、再生動画Aに登録されたアイコン91aのみが再生動画中に表示される。同じ地点を指し示すアイコンが複数個重複して登録された場合、同じ地点に複数のアイコンが重なって表示されてしまい、見栄えが悪い。そこで、上記のように、新たに動画にアイコンを登録する時、同一の地点を指し示しているとみなせるアイコンのアイコンIDを記録しておく。そして、表示端末にあるアイコンを表示させる際には、そのアイコンと同一の地点を指し示しているとみなせる他のアイコンを表示対象から除外することで、見栄えを向上させることができる。
【0241】
そしてその上で、表示させたアイコンのアイコン付加情報と共に、そのアイコンと同一の地点を指し示しているとみなせる他のアイコンのアイコン付加情報も表示させることで、その地点について表示される情報の欠落を抑えることができる。つまり、図34ではアイコン91aの動画付加情報93と、アイコン91bの動画付加情報94とは、まとめて1つの付加情報95として表示部33に表示される。
【0242】
また、すべてのアイコン情報を表示できない場合、投稿順、付加された動画の撮影日時が近い順、付加された動画の再生数順などで表示する情報をフィルタリングする。
【0243】
このように、同一地点情報を付加することによって、同じ施設・地点であることが表現でき、アイコンの情報をまとめることができる。これによって、アイコンの重なりを防ぐことが可能となる。また、同一地点のアイコン情報を一元化してしまうと必要な情報の取捨選択ができなくなる。アイコン情報を一元化するのではなく、それぞれのアイコン情報に同一地点情報を付加することによってフィルタリングするなどの柔軟な情報表示が可能となる。
【0244】
また、同一地点を指し示す複数のアイコンの情報(アイコン情報、動画−アイコンリンク情報、地図−アイコンリンク情報)を、1つのアイコンの情報として一元化してしまうと必要な情報の取捨選択ができなくなる。そこで、本実施形態のように、同一地点を指し示すアイコンであっても、それらアイコン毎に情報(アイコン情報、動画−アイコンリンク情報、地図−アイコンリンク情報)を記録することで、上述のフィルタリングなどの柔軟な情報選択、情報表示が可能となる。
【0245】
ステップ650に続いては、ステップ655で、表示部33において動画中のアイコンとともに表示されている当該アイコンのアイコン情報(図16の情報表示63参照)にWebページ、他の動画へのリンク等の他情報へのリンクが含まれており、かつ、ユーザが入力部30を用いてそのリンクを選択したか否かを判定し、選択したと判定した場合続いてステップ660に進み、選択していない場合、ステップ660をバイパスしてステップ665に進む。
【0246】
ステップ660では、アイコンリンク先選択処理を実行する。図35に、アイコンリンク先選択処理のフローチャートを示す。ステップ660に続いては、ステップ665を実行する。そしてステップ665では、アイコンリンク先表示処理を実行する。図36に、アイコンリンク先表示処理のフローチャートを示す。以下、このアイコンリンク先選択処理およびアイコンリンク先表示処理を実行する制御部32の作動について、図37を参照して説明する。
【0247】
まず、現在動画中にアイコンが表示されていないか(ステップ645→NO)、あるいは表示されていてもユーザがリンクを選択していない(ステップ655→NO)場合について説明する。
【0248】
この場合、制御部32は、ステップ660を実行しないままステップ665のアイコンリンク先表示処理の実行を始め、まずステップ950では、リンク先リストにリンク(例えばWebページ、他の動画へのリンク)が登録されているか否かを判定する。リンク先リストは、動画の再生開始時に空にするようになっている。この事例においては、現時点のリンク先リストは空であるとする。したがって制御部32は、リンクが登録されていないと判定してアイコンリンク先表示処理を終了する。
【0249】
その後、再生中の動画に1つのアイコンが表示されるようになり(ステップ645→YES)、そのアイコンのアイコン情報中にリンクが存在し、ユーザがそのリンクを選択したとする(ステップ655→YES)。
【0250】
すると制御部32は、アイコンリンク先選択処理のステップ905でリンク先リストにアイコンが登録されていないと判定し、続いてステップ915に進み、動画に複数のアイコンが表示されていないと判定し、続いてステップ920に進む。そしてステップ920では、選択したリンクのリンク先のコンテンツを表示部33に表示すると共に、ステップ925で、再生中の動画の再生を一時停止する。ここで、リンク先のコンテンツとは、リンク先に記録されている情報であり、例えば、URL(リンク)が示すWebページの内容がリンク先のコンテンツに相当する。なお、選択したアイコンのリンク先を表示部33に表示している場合は、表示部33中に当該動画は表示されなくなる、または別ウィンドウでリンク先のWebページの内容が表示され、当該動画は一時停止状態となっている。
【0251】
続いて制御部32は、リンク先のコンテンツの表示を続けながらも、アイコンリンク先選択処理を抜けてアイコンリンク先表示処理に入り、ステップ950でリンク先リストにアイコンが登録されていないと判定し、アイコンリンク先表示処理を終了する。
【0252】
このように、再生動画中に1つのアイコンのみが表示され、当該アイコンのアイコン情報中のリンクが選択された場合は、動画の再生を中止すると共に選択したリンク先のコンテンツを表示する(ステップ920、925)。
【0253】
また、リンク先リストにリンクが登録されていない状態で、図37に示すように、再生中の動画のフレーム96内に複数のアイコン96a〜96fが表示されるようになり(ステップ645→YES、)、その複数のアイコン96a〜96fの少なくとも1つのアイコン情報中にリンクが存在し、ユーザがそのリンクを選択したとする(ステップ655→YES)。
【0254】
すると制御部32は、アイコンリンク先選択処理のステップ905でリンク先リストにアイコンが登録されていないと判定し、続いてステップ915に進み、動画に複数のアイコンが表示されていると判定し、続いてステップ910に進む。そしてステップ910で、選択したアイコンのリンクをリンク先リストに追加登録する。
【0255】
続いて制御部32は、アイコンリンク先表示処理のステップ950で、リンク先リストにリンクが登録されていると判定し、続いてステップ960で、動画にアイコンが表示されていると判定し、アイコンリンク先表示処理を終了する。
【0256】
このように、リンク先リストにリンクが登録されておらず、複数のアイコン96a〜96fが動画中に表示されているタイミングでリンクを選択した場合、動画の再生を一時停止してそのリンクのリンク先のコンテンツを表示するのではなく、そのリンクをリンク先リストに含める。つまり、リンク先リストとは、後でリンク先のコンテンツを表示する予定があるリンクのリストである。
【0257】
その後、リンク先リストにリンクが登録された状態で、図37に示すように、再生中の動画のフレーム97内に1つ以上のアイコン96aが表示されて続けているが(ステップ645→YES)、ユーザがリンクを選択していない状態であるとする(ステップ655→NO)。
【0258】
この状態において制御部32は、アイコンリンク先選択処理をバイパスしてアイコンリンク先表示処理を実行し始め、ステップ950でリンク先リストにリンクが登録されていると判定し、続いてステップ960で、動画にアイコンが表示されていると判定し、アイコンリンク先表示処理を終了する。
【0259】
このように、リンク先リストにリンクが登録されていても(ステップ950→YES)、動画中にアイコン96aが表示されていれば(ステップ960→YES)、動画の再生が続き、リスト中のリンク先のコンテンツはまだ表示されない。
【0260】
その後、リンク先リストにリンクが登録された状態で、図37に示すように、再生中の動画のフレーム97内に1つ以上のアイコン96aが表示されて続けており(ステップ645→YES)、かつ、そのアイコン96aの少なくとも1つのアイコン情報中にリンクが存在し、ユーザがそのリンクを選択したとする(ステップ655→YES)。
【0261】
すると制御部32は、アイコンリンク先選択処理のステップ905でリンク先リストにリンクが登録されていると判定し、続いてステップ910に進み、選択したアイコンのリンクをリンク先リストに追加登録する。続いて制御部32は、アイコンリンク先表示処理のステップ950で、リンク先リストにリンクが登録されていると判定し、続いてステップ960で、動画にアイコンが表示されていると判定し、アイコンリンク先表示処理を終了する。
【0262】
このように、リンク先リストにリンクが登録されている場合、新たにリンクが選択されると、そのリンクがリンク先リストに追加登録され、動画の再生が続き、リスト中のリンク先のコンテンツはまだ表示されない。
【0263】
その後、リンク先リストにリンクが登録された状態で、図37に示すように、再生中の動画のフレーム98内に表示されるアイコンがなくなった(ステップ645→NO)とする。
【0264】
すると制御部32は、アイコンリンク先選択処理をバイパスしてアイコンリンク先表示処理を実行し始め、ステップ950でリンク先リストにリンクが登録されていると判定し、続いてステップ960で、動画にアイコンが表示されてないと判定し、ステップ970に進む。そして、ステップ970では、リンク先リストにあるリンク先のコンテンツ(例えば図37に示す動画99)を表示し、続くステップ980では、再生動画の再生を一時停止する。なお、ステップ970で表示するリンク先のコンテンツは、リンク先リストに含まれるすべてのリンクのリンク先のコンテンツであってもよいし、ユーザが入力部30を用いて選択した一部のリンク先のコンテンツであってもよい。
【0265】
このように、リンク先リストにリンクが登録された後は、動画中にアイコンが表示されなくなって初めて、そのリンク先リスト中のリンク先のコンテンツを表示部33に表示させて再生動画の再生を一時停止する(ステップ960〜980)。
【0266】
以上のようなアイコンリンク先選択処理およびアイコンリンク先表示処理の作動により、再生動画中に1つのアイコンが表示され、そのアイコンのアイコン情報としてWebサイト、データサーバ2内の他の動画等へのリンクが表示され、そのリンクがユーザによって選択された場合は、直ちにそのリンク先のコンテンツを表示して再生動画の再生を一時停止する。
【0267】
しかし、再生動画中に複数のアイコン91a〜91fが表示され、それらのうちの少なくとも1(あるいは2つ以上)つのアイコン91aのアイコン情報としてWebサイト、データサーバ2内の他の動画等へのリンクが表示され、そのリンクがユーザによって選択された場合は、直ちにそのリンク先のコンテンツを表示するのではなく、一旦リンク先リストに当該リンクを保持しておく、そして、再生動画中からアイコンがなくなるまでは、アイコン情報中のリンクが選択される度にそのリンクがリンク先リストに追加される。そして、再生動画中からアイコンがなくなったタイミングで、リンク先リスト中のリンク先のコンテンツを表示して再生動画の再生を一時停止する。
【0268】
このようにすることの意義について、以下に説明する。動画再生中にアイコン情報にある他動画、ないしはWEBページへのリンクを選択し、その情報が直ちに表示される場合、一旦動画の再生を中断しなければリンク先のコンテンツの情報を見ることはできない。
【0269】
例えば、商店街を通過する場合のように、多くのアイコンが一度に動画に表示されている場合には、表示されるリンクの数も多くなるので、リンクを選択する度に動画の再生を中断するとスムーズに動画を見ることができなくなる恐れがある。だからといって、動画再生が完全に終了するまで待った上でリンク先のコンテンツを表示するのでは、表示が遅すぎてどのリンク先のコンテンツを表示したのか分からなくなってしまう。よって、適切なタイミングで動画を中断し、リンク先のコンテンツを見る機会を作る必要がある。
【0270】
そこで、上記のように、再生動画中に複数のアイコンが表示されているときにリンク先が選択された場合、アイコンがひとつも表示されていないフレーム区間になるまでリンク先のコンテンツを表示しないようにし、アイコンがひとつも表示されなくなったタイミングでリンク先のコンテンツを表示する。
【0271】
例えば、商店街を通過するときは、商店街を(動画が)進行しながら表示される多数のアイコン情報中の多数のリンクのうち、ユーザは気になったリンクを次々に選択していき、商店街を抜けてアイコンおよびアイコン情報が表示されなくなって一息ついたときに、リンク先のコンテンツが表示されることになる。
【0272】
このように、アイコンの表示が多く表示された場合は、アイコンの表示が途切れるきりのいいタイミングで、リンク先のコンテンツを表示することにより、ユーザに優しい情報表示が可能になる。
【0273】
なお、制御部32は、図28のステップ665に続いて、ステップ670で再生動画が一時停止されたか否かを判定し、一時停止されていなければ(動画の再生が終了していない限り)処理をステップ645に戻し、一時停止されていれば、続いてステップ645で、リンク先のコンテンツを表示部33に表示させる。なお、ここで表示させるリンク先のコンテンツは、リンク先リストに含まれるリンク先のコンテンツであってもよいし、一時停止時に表示されているフレームに表示されているアイコンに対応するアイコン情報中のリンク先のコンテンツであってもよい。ステップ675の後は(動画の再生が終了していない限り)処理をステップ645に戻す。
【0274】
ここで、上記実施形態と特許請求の範囲の用語の対応関係についてまとめる。データサーバ2の制御部22が、ステップ126、127を実行することで、アイコン登録手段の一例として機能し、ステップ142、163、171を実行することで、地図・動画送信手段の一例として機能し、ステップ142、163、171を実行することで、の地図・動画送信手段一例として機能し、ステップ126を実行することで、アイコン表示区間・位置受信手段の一例として機能し、ステップ210を実行することで、アイコン経路情報記録手段の一例として機能し、ステップ220を実行することで、アイコン表示地点算出手段の一例として機能し、ステップ154を実行することで、アイコン検索手段の一例として機能し、ステップ133、134を実行することで、動画検索手段の一例として機能し、ステップ161を実行することで、再生開始フレーム決定手段の一例として機能し、
ステップ250〜280を実行することで、同一地点アイコンID記録手段の一例として機能し、ステップ230を実行することで、確度設定手段の一例として機能する。
【0275】
また、表示端末3の制御部32が、ステップ172を実行することで、受信手段の一例として機能し、ステップ173を実行することで、地図表示手段の一例として機能し、ステップ174を実行することで、動画再生手段の一例として機能し、ステップ803、805、810を実行することで、同一地点アイコン除外手段の一例として機能し、ステップ815〜840を実行することで、付加情報表示手段の一例として機能する。また、複数の表示端末3のうち、図17、図21、図25中の表示端末3が、第1の表示端末に相当する。
【0276】
(他の実施形態)
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。
【0277】
上記実施形態では、データサーバ2は、動画共有サービスを表示端末3のユーザに提供するためのデータサーバである。しかしデータサーバ2は、このようなものに限らず、プローブカー情報を収集するデータセンタであってもよい。プローブカー情報とは、車両が自車両の周囲を撮影した結果の動画データと、その動画を撮影した位置のデータと、を含む情報である。
【0278】
また、上記の動画データベース20aは、上記実施形態のデータサーバ2とは異なる動画共有サービスのデータサーバに記録されていてもよい。この場合、データサーバ2と当該動画共有サービスのデータサーバが、本発明のデータサーバを構成する。
【0279】
また、上記の地図データベース20bは、上記実施形態のデータサーバ2とは異なるインターネット地図配信用データサーバに記録されていてもよい。この場合、データサーバ2と当該インターネット地図配信用データサーバが、本発明のデータサーバを構成する。
【0280】
また、上記実施形態においては、動画−地図リンク情報の動画経路情報中で、撮影位置が撮影時刻に対応づけられている。そして、この撮影時刻は、時、分、秒で表される時刻であった。しかし、この撮影時刻は、時間を表すための表現形態で表されてもよい。例えば、動画の撮影時における当該動画のフレーム番号も、一定時間の経過と共に一定量変化するので、撮影時刻を表す量として使用可能である。この場合は、図11のステップ210で動画経路情報中の撮影時刻と動画−アイコンリンク情報中の表示開始フレーム、表示終了フレームとの対応付けには、フレームレートは不要となる。
【0281】
また、上記実施形態では、アイコン表示フレーム区間中の2つのフレーム中のフレーム中アイコン表示位置と、当該2つのフレームが撮影された撮影経路上の2つの地点との関係に基づいて、地図中のアイコン表示地点を算出するようになっている。そして、アイコン表示フレーム区間中の2つのフレームとして、アイコン表示開始フレームおよびアイコン表示終了フレームが例示されている。しかし、2つのフレームは、このようなものに限らず、アイコン表示フレーム区間中の異なる2つのフレームであれば、どのようなものであってもよい。また、3以上の整数Nについて、N個のフレーム中のフレーム中アイコン表示位置と、当該N個のフレームが撮影された撮影経路上のN個の地点との関係に基づいて、地図中のアイコン表示地点を算出するようになっていてもよい。すなわち、本発明では、アイコン表示フレーム区間中の少なくとも2つのフレーム中のフレーム中アイコン表示位置と、当該少なくとも2つのフレームが撮影された撮影経路上の少なくとも2つの地点との関係に基づいて、地図中のアイコン表示地点を算出するようになっていればよい。
【0282】
また、図30のステップ720では、他動画の表示フレーム区間に対応する撮影地点範囲の長さAと、再生動画の表示フレーム区間に対応する撮影地点範囲の長さBとが同じになるようにするようになっている。しかし、長さAと長さBとは、必ずしも同じでなくともよく、例えば、長さBが長さAの2倍であってもよいし、長さBが長さAの2倍であってもよい。また例えば、他動画の札絵経路において上記終点の手前の最後の曲折点(右折点、左折点)から、上記終点までの距離を、長さBとしてもよい。このようにすることで、実際には見えていない地点を指し示すアイコンを動画中に表示してしまう可能性が低減される。
【0283】
また、図11のステップ260では、近傍に同種別のアイコンが存在した場合、同一地点かユーザに問い合わせを行い、ユーザが同一地点とみなした場合のみ同一地点情報にアイコンのIDを登録することになっている。しかし、アイコン登録の過程で明らかに同一地点に対するアイコンの登録が行われていることが判別できる場合、ステップ260およびステップ270を省略してもよい。
【0284】
例えば、再生中の動画(以下、再生動画という)に他の動画で登録されたアイコンが表示されていて、そのアイコンに対しアイコンの付加情報を追加するという操作があった場合、データサーバ2は、再生動画に新たなアイコンを登録するようになっていてもよい。
【0285】
このようなアイコン登録処理の場合、データサーバ2は、他の動画で登録されたアイコンに対して付加情報を追加する操作があったということに基づいて、ユーザに問い合わせをするまでもなく、新たなアイコンが他動画のアイコンと同一地点であることが判別できるため、ステップ260を省略することが可能である。
【0286】
また、上記の実施形態において、データサーバ2の制御部22、表示端末3の制御部32がプログラムを実行することで実現している各機能は、それらの機能を有するハードウェア(例えば回路構成をプログラムすることが可能なFPGA)を用いて実現するようになっていてもよい。
【符号の説明】
【0287】
1 動画撮影装置
2 データサーバ
3 表示端末
20 データベース部
20a 動画データベース
20b 地図データベース
20c アイコンデータベース
20d リンクデータベース
【特許請求の範囲】
【請求項1】
複数の表示端末(3)と通信し、その通信において地図および動画を前記表示端末(3)に送信することによって、前記複数の表示端末(3)で前記地図および前記動画を表示させるデータサーバであって、
前記複数の表示端末(3)に表示させるための地図および複数の動画を記憶すると共に、前記複数の動画の1つ1つについて、当該1つの動画を撮影した撮影経路中の複数の撮影地点を撮影時刻に対応付ける動画経路情報を記憶するデータベース部(20)と、
前記データベース部(20)に記録された前記複数の動画のそれぞれに対して、当該動画中に表示された地点を指し示すアイコンを登録するため、当該アイコンのアイコンIDに当該動画の動画IDが関連付けられた動画−アイコンリンク情報をデータベース部(20)に記録するアイコン登録手段(126、127)と、
前記複数の動画のうち第1の動画および前記第1の動画の撮影経路を含む地図を、前記複数の表示端末(3)のうち第1の表示端末(3)に表示させると共に、前記第1の動画に登録された第1のアイコンを前記第1の動画中および前記地図中に表示させるため、前記第1の表示端末(3)に情報を送信する地図・動画送信手段(142、163、171)と、を備え、
前記アイコン登録手段は:
前記複数の表示端末(3)のうちいずれか1つの表示端末において前記複数の動画のうちいずれか1つの動画が表示されているとき、前記1つの表示端末のユーザが、前記1つの動画中において1つのアイコンを表示すべきフレームの区間(以下、アイコン表示フレーム区間という)を指定し、前記アイコン表示フレーム区間内のフレーム中における前記1つのアイコンの表示位置(以下、フレーム中アイコン表示位置という)を指定し、前記1つのアイコンの他の情報を入力したとき、前記1つの表示端末から、前記1つのアイコンについての前記アイコン表示フレーム区間の情報、前記1つのアイコンについての前記フレーム中アイコン表示位置の情報、および前記1つのアイコンについての他の情報を受信するアイコン表示区間・位置受信手段(126)と、
前記アイコン表示区間・位置受信手段(126)が受信した前記1つのアイコンについての前記アイコン表示フレーム区間および前記1つのアイコンについての前記フレーム中アイコン表示位置を、前記1つの動画の動画IDと前記1つのアイコンのアイコンIDと共に、前記1つのアイコンに対応する動画−アイコンリンク情報として前記データベース部(20)に記録し、さらに、前記アイコン表示フレーム区間中の複数のフレームと、前記データベース部(20)に記録されている前記1つの動画の動画経路情報中の複数の撮影時刻と、を対応付けることで、前記撮影経路のうち前記アイコン表示フレーム区間が撮影された経路を示すアイコン経路情報を算出し、算出した前記アイコン経路情報を前記1つのアイコンに対応するアイコン経路情報として前記データベース部(20)に記録するアイコン経路情報記録手段(210)と、
前記1つの動画中のフレームのうち2つのフレームにおける前記フレーム中アイコン表示位置を取得し、また、前記2つのフレームが撮影された撮影経路上の2つの地点を、前記1つのアイコンに対応する前記アイコン経路情報に基づいて取得し、取得した前記2つのフレームにおける前記フレーム中アイコン表示位置と、前記2つの地点と、の関係に基づいて、前記1つのアイコンについての地図上のアイコン表示地点を算出し、算出した前記アイコン表示地点をデータベース部(20)に記録するアイコン表示地点算出手段(220)と、を備え、
前記地図・動画送信手段(142、163、171)は、前記第1のアイコンを前記1つのアイコンとすることで前記アイコン表示地点算出手段(220)によって前記データベース部(20)中に記録された、前記第1のアイコンについてのアイコン表示地点を、前記第1の表示端末(3)に送信することで、前記地図中の前記アイコン表示地点に該当する地点に、前記第1のアイコンを表示させることを特徴とするデータサーバ。
【請求項2】
前記地図・動画送信手段(142、163、171)は、前記第1の表示端末に前記第1の動画および前記第1の動画の撮影経路を含む地図を表示させ、さらに、前記第1のアイコンに対応するアイコン表示地点に該当する前記地図上の地点に前記第1のアイコンを表示させると共に、前記第1の動画とは別の動画に対して登録されたアイコン(以下、他動画登録アイコンという)を前記1つのアイコンとすることで前記アイコン表示地点算出手段(220)によって前記データベース部(20)中に記録された、前記他動画登録アイコンのアイコン表示地点を、前記データベース部(20)から読み出し、読み出したアイコン表示地点に該当する前記地図上の地点に前記他動画登録アイコンを表示させることを特徴とする請求項1に記載のデータサーバ。
【請求項3】
前記第1の表示端末のユーザが、アイコンを検索するためのアイコン検索操作をしたとき、前記第1の表示端末から、そのアイコン検索操作の内容の情報を受信し、受信したアイコン検索操作の内容に基づいて、前記複数の動画に登録されたアイコンのうちから1つのアイコンを抽出するアイコン検索手段(154)と、
前記アイコン検索手段(154)が抽出したアイコンを前記第1のアイコンとし、前記第1のアイコンに対応する動画−アイコンリンク情報に基づいて、当該動画−アイコンリンク情報中の動画IDに対応する前記第1の動画と、前記動画−アイコンリンク情報中のアイコン表示フレーム区間の始点の情報とを、前記第1の動画の再生開始フレームとして特定する再生開始フレーム決定手段(161)と、を備え、
前記地図・動画送信手段(142、163、171)は、前記第1の表示端末で前記第1の動画を前記再生開始フレームから再生させるよう、前記再生開始フレームの情報を前記第1の表示端末に送信することを特徴とする請求項1または2に記載のデータサーバ。
【請求項4】
前記アイコン表示地点算出手段(220)は、
前記撮影経路中の2つの地点のうち、前記アイコン表示フレーム区間の終了時の撮影地点(52)を基準とする前記アイコン表示地点の相対位置座標の成分のうち、前記撮影経路の移動方向に平行な成分の値xを、
x=L×R/(Q−R)
という式で算出し、この際、Lは前記2つの地点間の前記移動距離であり、Rは、前記アイコン表示フレーム区間の開始時の撮影地点において撮影されたアイコン表示開始フレーム中の、左右方向の中心線(46a)から前記アイコン表示開始フレームにおけるフレーム中アイコン表示位置(46b)までの距離(46c)を、当該中心線(46a)から前記アイコン表示開始フレーム(46)の左右端部までの距離(46d)で除算した値であり、Qは、前記アイコン表示フレーム区間の終了時の撮影地点において撮影されたアイコン表示終了フレーム中の、左右方向の中心線(47a)から前記アイコン表示終了フレームにおけるフレーム中アイコン表示位置(46b)までの距離(47c)を、当該中心線(47a)から前記アイコン表示終了フレーム(47)の左右端部までの距離(47d)で除算した値であり、
前記撮影経路中の2つの地点のうち、前記アイコン表示フレーム区間の終了時の撮影地点(51)を基準とする前記アイコン表示地点の相対位置座標の成分のうち、前記撮影経路の移動方向に垂直な成分の値yを、
前記第1の動画を撮影したカメラの画角を特定できる場合、
y=[L×Q×R/(Q−R)]×tanα
という式で算出し、この際、αは、前記画角の1/2であり、
前記第1の動画を撮影したカメラの画角を特定できない場合、前記アイコン表示フレーム区間の終了時の撮影地点(52)から前記値xに相当する距離だけ前記撮影経路の移動方向に沿って前方に進んだ地点(53)から、前記撮影経路の移動方向に垂直な方向に位置する施設のうち、前記前方に進んだ地点地点(53)に最も近い施設を、地図情報に基づいて検索し、検索の結果抽出した施設の所在位置を、前記アイコン表示地点とし、ただし、前記移動方向に垂直な方向としては、前記アイコン表示開始フレーム(46)または前記アイコン表示終了フレーム(47)で左右方向の中心線(46a、47a)に対してアイコンが表示された側のみに限定することを特徴とする請求項1ないし3のいずれか1つに記載のデータサーバ。
【請求項5】
前記第1の表示端末において地図および地図上の複数のアイコンが表示されており、前記第1の表示端末のユーザが、前記複数のアイコンを指定する動画検索操作を行ったとき、前記第1の表示端末から、その動画検索操作の内容の情報を受信し、受信した検索操作の内容に基づいて動画を抽出する動画検索手段(133、134)を備え、
前記地図・動画送信手段(142、163、171)は、前記動画検索手段(133、134)によって抽出された動画を前記第1の動画として前記第1の表示端末に表示させるために、前記抽出された前記第1の動画を前記第1の表示端末に送信し、
前記動画検索手段(133、134)は、前記ユーザによって指定された前記複数のアイコンのいずれか1つ以上のアイコンIDを含む動画−アイコンリンク情報から、動画IDを取得し、取得された動画IDを取得回数が多い順に並べたリストを前記第1の表示端末に送信することで、前記ユーザに前記リスト中から動画を選択させることを特徴とする請求項1ないし4のいずれか1つに記載のデータサーバ。
【請求項6】
請求項1ないし5のいずれか1つに記載のデータサーバと、前記第1の表示端末とを備えた動画・地図連動表示システムであって、
前記第1の表示端末は、
前記データサーバの前記地図・動画送信手段(142、163、171)によって送信された情報を受信する受信手段(172)と、
前記受信手段(172)が受信した前記地図上の前記アイコン表示地点に基づく位置に、前記第1のアイコンを表示する地図表示手段(173)と、
前記受信手段(172)が受信した前記第1の動画を再生する動画再生手段(174)と、を備えたことを特徴とする動画・地図連動表示システム。
【請求項7】
前記データサーバの前記アイコン表示区間・位置受信手段(126)が受信する前記1つのアイコンの前記他の情報には、前記1つのアイコンの種別の情報および前記1つのアイコンの指し示す地点について説明するアイコン付加情報が含まれ、
前記データサーバは更に、前記アイコン表示地点算出手段(220)が算出した前記1つのアイコンの前記地図上のアイコン表示地点が、前記データベース部(20)に記録されている他のアイコンのアイコン表示地点の近傍であり、かつ、前記1つのアイコンの種別と、前記データベース部(20)に記録されている前記他のアイコンの種別とが同じであることに基づいて、前記1つのアイコンと同一の地点を指し示しているアイコンのアイコンID(以下、前記1つのアイコンについての同一地点アイコンIDという)として、前記他のアイコンのアイコンIDをデータベース部(20)に記録する同一地点アイコンID記録手段(250〜280)を備え、
前記地図・動画送信手段(142、163、171)は、前記第1の動画、前記地図、および前記アイコン表示地点情報に加え、前記第1の動画についての前記同一地点アイコンIDおよび前記同一地点アイコンIDに対応するアイコンについて前記データベース部(20)に記録されているアイコン表示地点情報およびアイコン付加情報を、前記第1の表示端末に送信し、
前記第1の表示端末は、
前記受信手段(172)が受信した前記同一地点アイコンIDに対応するアイコンを、前記地図中および前記第1の動画中に表示させる対象から除外する同一地点アイコン除外手段(803、805、810)と、
前記受信手段(172)が受信した前記第1のアイコンのアイコン付加情報と共に、前記受信手段(172)が受信した前記同一地点アイコンIDに対応するアイコンのアイコン付加情報を表示する付加情報表示手段(815〜840)と、を備えたことを特徴とする請求項6に記載の動画・地図連動表示システム。
【請求項8】
前記データサーバは、
前記アイコン表示地点算出手段(220)が算出した前記1つのアイコンの前記地図上のアイコン表示地点が、前記データベース部(20)に記録されている他のアイコンのアイコン表示地点の近傍であり、かつ、前記アイコン表示区間・位置受信手段(126)が受信した前記1つのアイコンの種別と、前記データベース部(20)に記録されている前記他のアイコンの種別とが同じであることに基づいて、前記1つの表示端末のユーザに対して、前記1つのアイコンと前記他のアイコンとが同じ地点を指し示しているかを問い合わせ、その問い合わせに対する回答が肯定的であることに基づいて、前記1つのアイコンと同一の地点を指し示しているアイコンのアイコンIDとして、前記他のアイコンのアイコンIDをデータベース部(20)に記録する同一地点アイコンID記録手段(250〜280)と、
前記アイコン表示地点算出手段(220)が算出した前記1つのアイコンのアイコン表示地点の確度を設定し、設定した確度を前記1つのアイコンの前記アイコン表示地点に関連付けて前記データベース部(20)に記録する確度設定手段(230)と、を備え、
前記地図・動画送信手段(142、163、171)は、前記第1の動画、前記地図、および前記第1のアイコンのアイコン表示地点情報に加え、前記第1のアイコンの前記アイコン表示地点について設定された確度と、前記同一地点アイコンIDに対応するアイコンについてデータベース部(20)に記録されているアイコン表示地点情報、アイコン付加情報、および当該アイコン表示地点の確度を、前記第1の表示端末に送信し、
前記第1の表示端末は、前記受信手段(172)が受信した前記同一地点アイコンIDに対応するアイコンを、前記地図中に表示させる対象から除外する同一地点アイコン除外手段(810)を備え、
前記第1の表示端末の前記地図表示手段(173)は、前記受信手段(172)が受信した前記第1のアイコンについてのアイコン表示地点および当該アイコン表示地点について設定された確度との組、および、前記受信手段(172)が受信した前記同一地点アイコンIDに対応するアイコンについてのアイコン表示地点および当該アイコン表示地点について設定された確度との組、を用いて、アイコン表示地点の重み付き平均を算出し、この算出の際、各確度の値には、確度が高いほど大きい重み数値を対応付け、算出した重み付き平均の地点に、前記アイコンを表示することを特徴とする請求項6に記載の動画・地図連動表示システム。
【請求項9】
前記第1の表示端末の前記動画再生手段(174)は、
前記受信手段(172)が受信した前記第1の動画を再生する際に、前記第1の動画に登録されたアイコン(以下、再生動画登録アイコン)と、前記第1の動画以外の動画に登録され、かつ、前記第1の動画の撮影経路沿いにあるアイコン(以下、他動画登録アイコンという)を取得し、取得した前記再生動画登録アイコンおよび前記他動画登録アイコンのそれぞれが前記第1の動画中のどのフレーム区間に表示されるべきかを決定する決定処理(637)を実行し、その後、前記第1の動画を再生し、その再生中に、前記前記再生動画登録アイコンおよび前記他動画登録アイコンを、前記動画中アイコン表示区間・位置決定処理(637)で決定したフレーム区間および位置に表示させ、
前記決定処理(637)においては:
取得した前記再生動画登録アイコンのそれぞれについては、当該再生動画登録アイコンの動画−アイコンリンク情報中のアイコン表示フレーム区間に従って、当該再生動画登録アイコンを前記第1の動画中のどのフレーム区間に表示されるべきかを決定し、
取得した前記他動画登録アイコンのそれぞれについては、当該他動画登録アイコンの動画−アイコンリンク情報からアイコン表示フレーム区間およびフレーム中アイコン表示位置を読み出し、当該他動画登録アイコンの登録先の動画(以下、他動画という)と前記第1の動画の移動方向が同じであるか否かを、前記他動画および前記第1の動画の動画経路情報に基づいて判定し、
移動方向が同じである場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間(81a〜81b)に対応する撮影地点範囲(82a〜82b)と、前記第1の動画において当該他動画登録アイコンを表示する表示フレーム区間(83a〜83b)に対応する撮影地点範囲(82a〜82b)とが同じになるよう、前記第1の動画において当該他動画登録アイコンを表示するフレームの区間(83a〜83b)を決定し、
移動方向が同じである場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間(81a〜81b)に対応する撮影地点範囲(82a〜82b)と、前記第1の動画において当該他動画登録アイコンを表示する表示フレームの区間(83a〜83b)に対応する撮影地点範囲(82a〜82b)とが同じになるよう、前記第1の動画において当該他動画登録アイコンを表示するフレームの区間(83a〜83b)を決定し、
移動方向が逆である場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間(84a〜84b)に対応する撮影地点範囲(85a〜85b)の終点(85b)に対して、当該撮影地点範囲(85a〜85b)とは逆の方向から到達するような地点範囲(85c〜85b)が、前記第1の動画において当該他動画登録アイコンを表示するフレームの区間(86c〜86b)に対応する撮影地点範囲(85c〜85b)となるよう、前記第1の動画において当該他動画登録アイコンを表示するフレームの区間(86c〜86b)を決定することを特徴とする請求項6ないし8のいずれか1つに記載の動画・地図連動表示システム。
【請求項10】
前記第1の表示端末の前記動画再生手段(174)は、前記第1の動画の再生中に、前記第1の動画中に複数のアイコン(91a〜91f)が表示され、前記複数のアイコン(91a〜91f)のうちの少なくとも1つのアイコンのアイコン情報として他の情報へのリンクが表示され、そのリンクがユーザによって選択された場合は、一旦リンク先リストに当該リンクを保持し、そして、前記第1の動画中からアイコンがなくなるまでは、アイコン情報中のリンクが選択される度にそのリンクを前記リンク先リストに追加し、前記第1の動画中からアイコンがなくなったタイミングで、前記リンク先リスト中のリンク先のコンテンツを表示して再生動画の再生を一時停止することを特徴とする請求項6ないし9のいずれか1つに記載の動画・地図連動表示システム。
【請求項1】
複数の表示端末(3)と通信し、その通信において地図および動画を前記表示端末(3)に送信することによって、前記複数の表示端末(3)で前記地図および前記動画を表示させるデータサーバであって、
前記複数の表示端末(3)に表示させるための地図および複数の動画を記憶すると共に、前記複数の動画の1つ1つについて、当該1つの動画を撮影した撮影経路中の複数の撮影地点を撮影時刻に対応付ける動画経路情報を記憶するデータベース部(20)と、
前記データベース部(20)に記録された前記複数の動画のそれぞれに対して、当該動画中に表示された地点を指し示すアイコンを登録するため、当該アイコンのアイコンIDに当該動画の動画IDが関連付けられた動画−アイコンリンク情報をデータベース部(20)に記録するアイコン登録手段(126、127)と、
前記複数の動画のうち第1の動画および前記第1の動画の撮影経路を含む地図を、前記複数の表示端末(3)のうち第1の表示端末(3)に表示させると共に、前記第1の動画に登録された第1のアイコンを前記第1の動画中および前記地図中に表示させるため、前記第1の表示端末(3)に情報を送信する地図・動画送信手段(142、163、171)と、を備え、
前記アイコン登録手段は:
前記複数の表示端末(3)のうちいずれか1つの表示端末において前記複数の動画のうちいずれか1つの動画が表示されているとき、前記1つの表示端末のユーザが、前記1つの動画中において1つのアイコンを表示すべきフレームの区間(以下、アイコン表示フレーム区間という)を指定し、前記アイコン表示フレーム区間内のフレーム中における前記1つのアイコンの表示位置(以下、フレーム中アイコン表示位置という)を指定し、前記1つのアイコンの他の情報を入力したとき、前記1つの表示端末から、前記1つのアイコンについての前記アイコン表示フレーム区間の情報、前記1つのアイコンについての前記フレーム中アイコン表示位置の情報、および前記1つのアイコンについての他の情報を受信するアイコン表示区間・位置受信手段(126)と、
前記アイコン表示区間・位置受信手段(126)が受信した前記1つのアイコンについての前記アイコン表示フレーム区間および前記1つのアイコンについての前記フレーム中アイコン表示位置を、前記1つの動画の動画IDと前記1つのアイコンのアイコンIDと共に、前記1つのアイコンに対応する動画−アイコンリンク情報として前記データベース部(20)に記録し、さらに、前記アイコン表示フレーム区間中の複数のフレームと、前記データベース部(20)に記録されている前記1つの動画の動画経路情報中の複数の撮影時刻と、を対応付けることで、前記撮影経路のうち前記アイコン表示フレーム区間が撮影された経路を示すアイコン経路情報を算出し、算出した前記アイコン経路情報を前記1つのアイコンに対応するアイコン経路情報として前記データベース部(20)に記録するアイコン経路情報記録手段(210)と、
前記1つの動画中のフレームのうち2つのフレームにおける前記フレーム中アイコン表示位置を取得し、また、前記2つのフレームが撮影された撮影経路上の2つの地点を、前記1つのアイコンに対応する前記アイコン経路情報に基づいて取得し、取得した前記2つのフレームにおける前記フレーム中アイコン表示位置と、前記2つの地点と、の関係に基づいて、前記1つのアイコンについての地図上のアイコン表示地点を算出し、算出した前記アイコン表示地点をデータベース部(20)に記録するアイコン表示地点算出手段(220)と、を備え、
前記地図・動画送信手段(142、163、171)は、前記第1のアイコンを前記1つのアイコンとすることで前記アイコン表示地点算出手段(220)によって前記データベース部(20)中に記録された、前記第1のアイコンについてのアイコン表示地点を、前記第1の表示端末(3)に送信することで、前記地図中の前記アイコン表示地点に該当する地点に、前記第1のアイコンを表示させることを特徴とするデータサーバ。
【請求項2】
前記地図・動画送信手段(142、163、171)は、前記第1の表示端末に前記第1の動画および前記第1の動画の撮影経路を含む地図を表示させ、さらに、前記第1のアイコンに対応するアイコン表示地点に該当する前記地図上の地点に前記第1のアイコンを表示させると共に、前記第1の動画とは別の動画に対して登録されたアイコン(以下、他動画登録アイコンという)を前記1つのアイコンとすることで前記アイコン表示地点算出手段(220)によって前記データベース部(20)中に記録された、前記他動画登録アイコンのアイコン表示地点を、前記データベース部(20)から読み出し、読み出したアイコン表示地点に該当する前記地図上の地点に前記他動画登録アイコンを表示させることを特徴とする請求項1に記載のデータサーバ。
【請求項3】
前記第1の表示端末のユーザが、アイコンを検索するためのアイコン検索操作をしたとき、前記第1の表示端末から、そのアイコン検索操作の内容の情報を受信し、受信したアイコン検索操作の内容に基づいて、前記複数の動画に登録されたアイコンのうちから1つのアイコンを抽出するアイコン検索手段(154)と、
前記アイコン検索手段(154)が抽出したアイコンを前記第1のアイコンとし、前記第1のアイコンに対応する動画−アイコンリンク情報に基づいて、当該動画−アイコンリンク情報中の動画IDに対応する前記第1の動画と、前記動画−アイコンリンク情報中のアイコン表示フレーム区間の始点の情報とを、前記第1の動画の再生開始フレームとして特定する再生開始フレーム決定手段(161)と、を備え、
前記地図・動画送信手段(142、163、171)は、前記第1の表示端末で前記第1の動画を前記再生開始フレームから再生させるよう、前記再生開始フレームの情報を前記第1の表示端末に送信することを特徴とする請求項1または2に記載のデータサーバ。
【請求項4】
前記アイコン表示地点算出手段(220)は、
前記撮影経路中の2つの地点のうち、前記アイコン表示フレーム区間の終了時の撮影地点(52)を基準とする前記アイコン表示地点の相対位置座標の成分のうち、前記撮影経路の移動方向に平行な成分の値xを、
x=L×R/(Q−R)
という式で算出し、この際、Lは前記2つの地点間の前記移動距離であり、Rは、前記アイコン表示フレーム区間の開始時の撮影地点において撮影されたアイコン表示開始フレーム中の、左右方向の中心線(46a)から前記アイコン表示開始フレームにおけるフレーム中アイコン表示位置(46b)までの距離(46c)を、当該中心線(46a)から前記アイコン表示開始フレーム(46)の左右端部までの距離(46d)で除算した値であり、Qは、前記アイコン表示フレーム区間の終了時の撮影地点において撮影されたアイコン表示終了フレーム中の、左右方向の中心線(47a)から前記アイコン表示終了フレームにおけるフレーム中アイコン表示位置(46b)までの距離(47c)を、当該中心線(47a)から前記アイコン表示終了フレーム(47)の左右端部までの距離(47d)で除算した値であり、
前記撮影経路中の2つの地点のうち、前記アイコン表示フレーム区間の終了時の撮影地点(51)を基準とする前記アイコン表示地点の相対位置座標の成分のうち、前記撮影経路の移動方向に垂直な成分の値yを、
前記第1の動画を撮影したカメラの画角を特定できる場合、
y=[L×Q×R/(Q−R)]×tanα
という式で算出し、この際、αは、前記画角の1/2であり、
前記第1の動画を撮影したカメラの画角を特定できない場合、前記アイコン表示フレーム区間の終了時の撮影地点(52)から前記値xに相当する距離だけ前記撮影経路の移動方向に沿って前方に進んだ地点(53)から、前記撮影経路の移動方向に垂直な方向に位置する施設のうち、前記前方に進んだ地点地点(53)に最も近い施設を、地図情報に基づいて検索し、検索の結果抽出した施設の所在位置を、前記アイコン表示地点とし、ただし、前記移動方向に垂直な方向としては、前記アイコン表示開始フレーム(46)または前記アイコン表示終了フレーム(47)で左右方向の中心線(46a、47a)に対してアイコンが表示された側のみに限定することを特徴とする請求項1ないし3のいずれか1つに記載のデータサーバ。
【請求項5】
前記第1の表示端末において地図および地図上の複数のアイコンが表示されており、前記第1の表示端末のユーザが、前記複数のアイコンを指定する動画検索操作を行ったとき、前記第1の表示端末から、その動画検索操作の内容の情報を受信し、受信した検索操作の内容に基づいて動画を抽出する動画検索手段(133、134)を備え、
前記地図・動画送信手段(142、163、171)は、前記動画検索手段(133、134)によって抽出された動画を前記第1の動画として前記第1の表示端末に表示させるために、前記抽出された前記第1の動画を前記第1の表示端末に送信し、
前記動画検索手段(133、134)は、前記ユーザによって指定された前記複数のアイコンのいずれか1つ以上のアイコンIDを含む動画−アイコンリンク情報から、動画IDを取得し、取得された動画IDを取得回数が多い順に並べたリストを前記第1の表示端末に送信することで、前記ユーザに前記リスト中から動画を選択させることを特徴とする請求項1ないし4のいずれか1つに記載のデータサーバ。
【請求項6】
請求項1ないし5のいずれか1つに記載のデータサーバと、前記第1の表示端末とを備えた動画・地図連動表示システムであって、
前記第1の表示端末は、
前記データサーバの前記地図・動画送信手段(142、163、171)によって送信された情報を受信する受信手段(172)と、
前記受信手段(172)が受信した前記地図上の前記アイコン表示地点に基づく位置に、前記第1のアイコンを表示する地図表示手段(173)と、
前記受信手段(172)が受信した前記第1の動画を再生する動画再生手段(174)と、を備えたことを特徴とする動画・地図連動表示システム。
【請求項7】
前記データサーバの前記アイコン表示区間・位置受信手段(126)が受信する前記1つのアイコンの前記他の情報には、前記1つのアイコンの種別の情報および前記1つのアイコンの指し示す地点について説明するアイコン付加情報が含まれ、
前記データサーバは更に、前記アイコン表示地点算出手段(220)が算出した前記1つのアイコンの前記地図上のアイコン表示地点が、前記データベース部(20)に記録されている他のアイコンのアイコン表示地点の近傍であり、かつ、前記1つのアイコンの種別と、前記データベース部(20)に記録されている前記他のアイコンの種別とが同じであることに基づいて、前記1つのアイコンと同一の地点を指し示しているアイコンのアイコンID(以下、前記1つのアイコンについての同一地点アイコンIDという)として、前記他のアイコンのアイコンIDをデータベース部(20)に記録する同一地点アイコンID記録手段(250〜280)を備え、
前記地図・動画送信手段(142、163、171)は、前記第1の動画、前記地図、および前記アイコン表示地点情報に加え、前記第1の動画についての前記同一地点アイコンIDおよび前記同一地点アイコンIDに対応するアイコンについて前記データベース部(20)に記録されているアイコン表示地点情報およびアイコン付加情報を、前記第1の表示端末に送信し、
前記第1の表示端末は、
前記受信手段(172)が受信した前記同一地点アイコンIDに対応するアイコンを、前記地図中および前記第1の動画中に表示させる対象から除外する同一地点アイコン除外手段(803、805、810)と、
前記受信手段(172)が受信した前記第1のアイコンのアイコン付加情報と共に、前記受信手段(172)が受信した前記同一地点アイコンIDに対応するアイコンのアイコン付加情報を表示する付加情報表示手段(815〜840)と、を備えたことを特徴とする請求項6に記載の動画・地図連動表示システム。
【請求項8】
前記データサーバは、
前記アイコン表示地点算出手段(220)が算出した前記1つのアイコンの前記地図上のアイコン表示地点が、前記データベース部(20)に記録されている他のアイコンのアイコン表示地点の近傍であり、かつ、前記アイコン表示区間・位置受信手段(126)が受信した前記1つのアイコンの種別と、前記データベース部(20)に記録されている前記他のアイコンの種別とが同じであることに基づいて、前記1つの表示端末のユーザに対して、前記1つのアイコンと前記他のアイコンとが同じ地点を指し示しているかを問い合わせ、その問い合わせに対する回答が肯定的であることに基づいて、前記1つのアイコンと同一の地点を指し示しているアイコンのアイコンIDとして、前記他のアイコンのアイコンIDをデータベース部(20)に記録する同一地点アイコンID記録手段(250〜280)と、
前記アイコン表示地点算出手段(220)が算出した前記1つのアイコンのアイコン表示地点の確度を設定し、設定した確度を前記1つのアイコンの前記アイコン表示地点に関連付けて前記データベース部(20)に記録する確度設定手段(230)と、を備え、
前記地図・動画送信手段(142、163、171)は、前記第1の動画、前記地図、および前記第1のアイコンのアイコン表示地点情報に加え、前記第1のアイコンの前記アイコン表示地点について設定された確度と、前記同一地点アイコンIDに対応するアイコンについてデータベース部(20)に記録されているアイコン表示地点情報、アイコン付加情報、および当該アイコン表示地点の確度を、前記第1の表示端末に送信し、
前記第1の表示端末は、前記受信手段(172)が受信した前記同一地点アイコンIDに対応するアイコンを、前記地図中に表示させる対象から除外する同一地点アイコン除外手段(810)を備え、
前記第1の表示端末の前記地図表示手段(173)は、前記受信手段(172)が受信した前記第1のアイコンについてのアイコン表示地点および当該アイコン表示地点について設定された確度との組、および、前記受信手段(172)が受信した前記同一地点アイコンIDに対応するアイコンについてのアイコン表示地点および当該アイコン表示地点について設定された確度との組、を用いて、アイコン表示地点の重み付き平均を算出し、この算出の際、各確度の値には、確度が高いほど大きい重み数値を対応付け、算出した重み付き平均の地点に、前記アイコンを表示することを特徴とする請求項6に記載の動画・地図連動表示システム。
【請求項9】
前記第1の表示端末の前記動画再生手段(174)は、
前記受信手段(172)が受信した前記第1の動画を再生する際に、前記第1の動画に登録されたアイコン(以下、再生動画登録アイコン)と、前記第1の動画以外の動画に登録され、かつ、前記第1の動画の撮影経路沿いにあるアイコン(以下、他動画登録アイコンという)を取得し、取得した前記再生動画登録アイコンおよび前記他動画登録アイコンのそれぞれが前記第1の動画中のどのフレーム区間に表示されるべきかを決定する決定処理(637)を実行し、その後、前記第1の動画を再生し、その再生中に、前記前記再生動画登録アイコンおよび前記他動画登録アイコンを、前記動画中アイコン表示区間・位置決定処理(637)で決定したフレーム区間および位置に表示させ、
前記決定処理(637)においては:
取得した前記再生動画登録アイコンのそれぞれについては、当該再生動画登録アイコンの動画−アイコンリンク情報中のアイコン表示フレーム区間に従って、当該再生動画登録アイコンを前記第1の動画中のどのフレーム区間に表示されるべきかを決定し、
取得した前記他動画登録アイコンのそれぞれについては、当該他動画登録アイコンの動画−アイコンリンク情報からアイコン表示フレーム区間およびフレーム中アイコン表示位置を読み出し、当該他動画登録アイコンの登録先の動画(以下、他動画という)と前記第1の動画の移動方向が同じであるか否かを、前記他動画および前記第1の動画の動画経路情報に基づいて判定し、
移動方向が同じである場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間(81a〜81b)に対応する撮影地点範囲(82a〜82b)と、前記第1の動画において当該他動画登録アイコンを表示する表示フレーム区間(83a〜83b)に対応する撮影地点範囲(82a〜82b)とが同じになるよう、前記第1の動画において当該他動画登録アイコンを表示するフレームの区間(83a〜83b)を決定し、
移動方向が同じである場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間(81a〜81b)に対応する撮影地点範囲(82a〜82b)と、前記第1の動画において当該他動画登録アイコンを表示する表示フレームの区間(83a〜83b)に対応する撮影地点範囲(82a〜82b)とが同じになるよう、前記第1の動画において当該他動画登録アイコンを表示するフレームの区間(83a〜83b)を決定し、
移動方向が逆である場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間(84a〜84b)に対応する撮影地点範囲(85a〜85b)の終点(85b)に対して、当該撮影地点範囲(85a〜85b)とは逆の方向から到達するような地点範囲(85c〜85b)が、前記第1の動画において当該他動画登録アイコンを表示するフレームの区間(86c〜86b)に対応する撮影地点範囲(85c〜85b)となるよう、前記第1の動画において当該他動画登録アイコンを表示するフレームの区間(86c〜86b)を決定することを特徴とする請求項6ないし8のいずれか1つに記載の動画・地図連動表示システム。
【請求項10】
前記第1の表示端末の前記動画再生手段(174)は、前記第1の動画の再生中に、前記第1の動画中に複数のアイコン(91a〜91f)が表示され、前記複数のアイコン(91a〜91f)のうちの少なくとも1つのアイコンのアイコン情報として他の情報へのリンクが表示され、そのリンクがユーザによって選択された場合は、一旦リンク先リストに当該リンクを保持し、そして、前記第1の動画中からアイコンがなくなるまでは、アイコン情報中のリンクが選択される度にそのリンクを前記リンク先リストに追加し、前記第1の動画中からアイコンがなくなったタイミングで、前記リンク先リスト中のリンク先のコンテンツを表示して再生動画の再生を一時停止することを特徴とする請求項6ないし9のいずれか1つに記載の動画・地図連動表示システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【公開番号】特開2011−53103(P2011−53103A)
【公開日】平成23年3月17日(2011.3.17)
【国際特許分類】
【出願番号】特願2009−202701(P2009−202701)
【出願日】平成21年9月2日(2009.9.2)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】
【公開日】平成23年3月17日(2011.3.17)
【国際特許分類】
【出願日】平成21年9月2日(2009.9.2)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】
[ Back to top ]