説明

映像データベース構築システム

【課題】UGC形態で収集した大量の映像データの中から提供に適した映像をユーザに提供可能な映像データベース構築システムを提供すること。
【解決手段】端末(4)から送信された情報を受信する受信手段(201)と、受信手段(201)が受信した情報に基づいて映像が撮影された場所の最新の映像として採用するか否かを判別する映像判別手段(205)と、映像判別手段(205)により最新の映像として採用すると判別された場合に、前記映像を撮影した場所の最新の映像として、端末(4)から送信された映像を記憶する映像記憶手段(211)と、を有する映像データベース(2)と、を備えた映像データベース構築システム(1)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像のデータベースを構築するための映像データベース構築システムに関し、特に、ユーザの端末から送信された映像、すなわち、UGC(User Generated Contents)形態で収集された映像のデータベースを構築するための映像データベース構築システムに関する。
【背景技術】
【0002】
近年、インターネット通信や電話回線等の公衆通信回線の高速化と大容量化の進展に伴い、携帯電話等の携帯型の情報端末、いわゆるモバイル情報端末も急速に進化している。そうしたモバイル情報端末に文字や画像を提供するといったそれまでのサービスに加え、U-streamのようにリアルタイムにビデオ(映像)を配信するサービスが普及してきている。それらビデオ配信サービスの多くは、文字や音声による情報、そしてビデオやビデオフレーム(静止画像)といった情報を計算機で処理できるデジタル情報に変換して幅広い層のユーザに普遍的に提供するいわゆるコンテンツ配信形態である。ところが、このコンテンツ配信形態の場合、提供者側の一方的な意図や方針で制作し編集された情報を受益者側であるユーザに提供しているという点での課題が残されている。すなわち、ユーザには提供者側の意図した画一的な情報しか提供されないという点である。
【0003】
一方、そのような事情を背景に、多種多様なコンテンツが成り立っている背後にかくれた因子、成り立つための前後関係、脈絡などといったコンテキストと呼ばれる主観的なものに価値観を付与して情報提供しようという動向があり、発展途上ではあるが商品化されている。すなわち、コンテキスト情報をコンテンツ情報に組み込み、事情、因果、情感および情緒などの世界を情報に結合させてユーザの主観や気づき(awareness)に委ねようというものである。たとえば、車両などの移動体によって街区や観光地などのビデオ風景を収集して提供者側サーバに保存し、GPSデータや車両検出データに基づいてユーザが望む地点の風景を提供する道路情報提供サービスが実用化されて周知である。
【0004】
道路情報提供サービスに関する技術として、特許文献1(特表2010−531007号公報)に記載された米国グーグル社が提供する商品名『Google Street View』がある。この技術では、地図上の任意地点の風景の映像(静止画)を、ユーザ側の端末からの入力に応じて、全方位視点360度のパノラマに展開して閲覧可能としている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特表2010−531007号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
(従来技術の問題点)
しかしながら、上記特許文献に開示された各システムに共通する以下の問題点がある。
特に、特許文献1のGoogle Street Viewでは、提供者側の限られた台数の観測車で多方面にわたる街路や区域の風景情報を撮影して入手してから、数人の編集者により撮影された映像(画像)を編集してからユーザに供している。すなわち、撮影された映像(画像)に、個人の顔や、表札、車両のナンバープレート等の個人情報が含まれていないかとか、事故の映像が含まれていないかとか、あるいは撮影時に撮影する画像に駐車中や併走する大型のトラック等の障害物が写り込んで公開に適さない映像となっていないか等について、数人の編集者により編集する作業が必要となっており、撮影された映像が公開されるまでに1年以上の時間がかかる問題がある。したがって、ユーザが問合せをした街区の風景情報を閲覧する時点ですでに1年以上を経過しているために、最新情報とは言い難く、閲覧時には、建て替わった建物や新設、改修された道路等に対応でき無いことがある。
【0007】
しかも、時々刻々流れる街区風景を提供しているのではなく、ある特定の時期に観測車で撮影した画像を360度展開するパノラマ写真に編集してそれをWebサイトでユーザに提供している。そのため、サービスが画一的になって、ユーザにとって本当に望む街区風景、例えば、春夏秋冬の各季節の街区の風景の映像といった情報を得難い問題もある。
【0008】
特許文献1記載の技術に見られるように、ユーザが画一的な情報しか享受できないといった課題を解決する方法として、不特定多数のユーザから情報提供、投稿されるUGC形態を採用し、ユーザから様々な情報を随時、収集するが考えられる。しかしながら、UGC形態では、提供されてくる膨大な量のUGC情報のなかには送る側に悪意はなくともプライバシーを侵すと考えられる個人家屋の風景画像などが含まれることがある。さらに、交通事故現場の生々しい惨状などそのままで一般に公開するには社会規範や通念に反すると考えられる画像情報なども多々含まれる可能性もある。したがって、一般ユーザに公開前の段階で情報公開が可能か否かを判定して分別し、ユーザを満足せしめる役立つ最新情報だけを提供するサービスの構築が強く望まれるが、現在までかかるシステムやサービスは出現していない。
【0009】
本発明は、UGC形態で収集した大量の映像データの中から提供に適した映像をユーザに提供可能な映像データベース構築システムを提供することを技術的課題とする。
【課題を解決するための手段】
【0010】
前記技術的課題を解決するために、請求項1に記載の発明の映像データベース構築システムは、
撮影した映像のデータを送信するとともに、少なくとも撮影した場所を属性の1つに含んだ属性データを送信する情報提供端末と、
前記属性データに基づいて前記撮影した場所の前記映像を最新映像として採用か否かを判定する映像判定部を有し、最新映像として採用すると判定した場合に、前記撮影した場所の前記映像を最新映像として記憶して保存する第1映像保存部を有する映像データ処理手段と、
を備えたことを特徴とする。
【0011】
請求項2に記載の発明は、請求項1に記載の映像データベース構築システムにおいて、
前記映像データ処理手段がさらに、
前記撮影した場所の前記映像の閲覧を他の情報端末から要求があったときに公開可能か否かを予め設定してある公開条件に基づいて判定する公開判定部を含むことを特徴とする。
【0012】
請求項3に記載の発明は、請求項1に記載の映像データベース構築システムにおいて、
前記映像データ処理手段がさらに、
前記映像のデータについて画像の特徴抽出を行う特徴抽出部を含むことを特徴とする。
【0013】
請求項4に記載の発明は、請求項2に記載の映像データベース構築システムにおいて、
前記映像データ処理部手段が、前記第1映像保存部の他にさらに、
前記映像判定部で最新映像として採用はしないが前記公開判定部で公開可能と判定された前記映像を記憶して保存する第2映像保存部と、
前記公開判定部で公開不可と判定された前記映像を記憶して保存する第3映像保存部と、
からなっていることを特徴とする。
【0014】
請求項5に記載の発明は、請求項4に記載の映像データベース構築システムにおいて、
前記第3映像保存部は、
公開不可地域として予め登録されている前記公開条件に基づいて、前記公開判定部で前記撮影した場所が公開不可地域と判定された場合にその映像を記憶して保存することを特徴とする。
【0015】
請求項6に記載の発明は、請求項4または5に記載の映像データベース構築システムにおいて、
前記第3映像保存部は、
前記公開判定部で前記公開条件に基づいて前記映像に個人情報が存在すると判定され、かつ前記特徴抽出部による画像の特徴抽出に基づいて公開不可と判定されたときにその映像を記憶して保存することを特徴とする。
【0016】
請求項7に記載の発明は、請求項4ないし6のいずれかに記載の映像データベース構築システムにおいて、
前記第3映像保存部は、
前記公開判定部で前記公開条件に基づいて前記映像に公開不適情報が含まれていると判定され、かつ前記特徴抽出部による画像の特徴抽出に基づいて公開不可と判定されたときにその映像を記憶して保存することを特徴とする。
【発明の効果】
【0017】
請求項1に記載の発明によれば、UGC形態で収集した大量の映像データの中から提供に適した映像をユーザに提供可能な映像データベース構築システムを提供することができる。
請求項2に記載の発明によれば、映像を公開可能か否かを公開条件に基づいて自動的に判定することができる。
請求項3に記載の発明によれば、画像の特徴抽出により画像が、最新映像として採用可能か否かを判定することができる。
請求項4に記載の発明によれば、UGC形態で収集された映像データを、映像の内容に応じて、3つの映像記憶手段に自動的に振り分けて記憶することができる。
【0018】
請求項5に記載の発明によれば、公開不能地域の映像が投稿された場合に、公開不能と自動的に判別して、保存することができる。
請求項6に記載の発明によれば、個人情報が含まれる映像が投稿された場合に、公開不能と自動的に判別して、保存することができる。
請求項7に記載の発明によれば、公開不適情報が含まれる映像が投稿された場合に、公開不能と自動的に判別して、保存することができる。
【図面の簡単な説明】
【0019】
【図1】図1は実施例1の映像データベース構築システムの全体説明図である。
【図2】図2は、実施例1の映像データベース構築システムにおける携帯端末の機能をブロック図(機能ブロック図)で示した説明図である。
【図3】図3は実施例1の地図画像の説明図であり、図3Aは映像を表示する場所が入力される前の状態の説明図、図3Bは場所の入力がされて映像が表示された状態の説明図、図3Cは図3Bに示す状態から映像を表示する場所が移動した状態の説明図である。
【図4】図4は、実施例1の映像データベース構築システムにおける映像データベースサーバの機能をブロック図(機能ブロック図)で示した説明図である。
【図5】図5は、実施例1の映像データベース構築システムにおける端末の機能をブロック図(機能ブロック図)で示した説明図である。
【図6】図6は実施例1の公開不可映像閲覧用の画像の説明図であり、図6Aは検索用の画像、図6Bは検索結果の画像の説明図である。
【発明を実施するための形態】
【0020】
次に図面を参照しながら、本発明の実施の形態の具体例(以下、実施例と記載する)を説明するが、本発明は以下の実施例に限定されるものではない。
なお、以下の図面を使用した説明において、理解の容易のために説明に必要な部材以外の図示は適宜省略されている。
【実施例1】
【0021】
図1は実施例1の映像データベース構築システムの全体説明図である。
図1において、本発明の実施例1の映像データベース構築システム1は、映像データベースの一例であって映像サーバ(映像配信装置、映像データ処理手段)の一例としての映像データベースサーバ2と、公衆回線3を通じて有線または無線でデータベースサーバ2と情報の送受信が可能に接続された情報提供端末の一例としての複数の携帯端末4や情報端末の一例としてのパーソナルコンピュータ5、外部データベースサーバ6、を有する。実施例1の映像データベースサーバ2や外部データベースサーバ6は、いわゆるコンピュータ装置により構成されており、記憶媒体の一例としての図示しないハードディスクドライブ等を内部に有する。
【0022】
実施例1の各携帯端末4は、携帯電話や携帯情報端末(PDA:Personal Digital Assistants)、これらの機能を統合した携帯端末、いわゆるスマートフォン、あるいはノート型のパーソナルコンピュータにより構成されており、端末本体4aと、画像が表示される表示部4bとを有する。なお、携帯端末4は、ユーザが携帯する形態だけでなく、車両7のホルダ等に搭載された状態で映像を撮影するために使用することも可能である。
また、実施例1のパーソナルコンピュータ5は、コンピュータ本体H1と、表示器の一例としてのディスプレイH2と、キーボードH3やマウスH4等の入力装置、図示しないハードディスクドライブ等により構成されている。
【0023】
(実施例1の制御部の説明)
(携帯端末の制御部の説明)
図2は、実施例1の映像データベース構築システムにおける携帯端末の機能をブロック図(機能ブロック図)で示した説明図である。
図2において、実施例1の映像データベース構築システム1の携帯端末4では、端末本体4aの制御部(コントローラ)11は、外部との信号の入出力および入出力信号レベルの調節等を行うI/O(入出力インターフェース)、必要な起動処理を行うためのプログラムおよびデータ等が記憶されたROM(リードオンリーメモリ)、必要なデータ及びプログラムを一時的に記憶するためのRAM(ランダムアクセスメモリ)、ROM等に記憶された起動プログラムに応じた処理を行うCPU(中央演算処理装置)ならびにクロック発振器等を有しており、前記ROM及びRAM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
前記構成の携帯端末4は、内蔵されたハードディスクや不揮発性の半導体メモリ(いわゆるフラッシュメモリ)、ROM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
【0024】
(携帯端末の制御部に接続された信号入力要素)
携帯端末4の制御部11は、ユーザインタフェースや、撮影手段の一例としてのカメラ12、時刻データ提供手段の一例としての内蔵時計13、場所を特定するデータを提供する手段の一例としてのGPS(Grobal Positioning System)装置14、加速度のデータを提供する手段の一例としての加速度センサ15、方位のデータを提供する手段の一例としての方位センサ16等の信号入力要素からの信号が入力されている。
実施例1のユーザインタフェースは、ユーザが指で触れることで入力が可能ないわゆるタッチパネルにより構成された前記表示部4bや、入力キー等からなり、それらが入力されたことを検出して、検出信号を制御部11に入力する。
【0025】
カメラ12は、ユーザインタフェースからの入力に応じて、動画または静止画の映像を撮影する。
内蔵時計13は、現在の時刻を計時する。
GPS装置14は、携帯端末4の現在の位置を特定するGPS情報を取得、出力する。
方位センサ16は、携帯端末4の向いている向き、すなわち東西南北の方位を測定する。
【0026】
(携帯端末の制御部に接続された制御要素)
携帯端末4の制御部11は、表示部4b、その他の制御要素に接続されており、それらの作動制御信号を出力している。
前記表示部4bには、制御部11からの信号に応じた画像が表示される。
【0027】
(携帯端末の制御部の機能)
携帯端末4の制御部11は、前記各信号出力要素からの出力信号に応じた処理を実行して、前記各制御要素に制御信号を出力する機能(制御手段)を有している。前記制御部11の機能(制御手段)101〜108を次に説明する。
映像記憶手段101は、カメラ12で撮影された映像を記憶する。
属性データ取得手段102は、カメラ12で撮影が行われた場合に、GPS装置14で取得される撮影場所を特定するGPSデータを含む属性データを取得する。実施例1の属性データ取得手段102は、GPSデータに加えて、時計13から撮影時刻を特定する時刻データと、加速度センサ15から撮影時の加速度を特定する加速度データと、方位センサ16から撮影時の方位を特定する方位データと、を含む前記属性データ、いわゆるメタデータを取得する。
【0028】
投稿データ送信手段103は、映像データベースサーバ2に対する図示しない映像投稿用の表示画像における入力に応じて、映像データベースサーバ2に対して、映像データと属性データとを含むデータを送信することで、映像の投稿を行う。なお、実施例1の投稿データ送信手段103は、一例として、動画または静止画の映像データファイルを送信する構成としたが、この構成に限定されず、動画等の映像を撮影しながら逐次自動的に送信する構成とすることも可能である。
【0029】
図3は実施例1の地図画像の説明図であり、図3Aは映像を表示する場所が入力される前の状態の説明図、図3Bは場所の入力がされて映像が表示された状態の説明図、図3Cは図3Bに示す状態から映像を表示する場所が移動した状態の説明図である。
地図画像表示手段104は、表示部4bに地図画像17を表示する。図3Aにおいて、実施例1の地図画像17は、ユーザが指で表示部4bを触れることで場所を指定可能な地図画像本体17aと、地図画像本体17aに表示された地図の中心位置に関連づけられた周辺の情報を表示する情報表示画像17bと、映像を検索するための検索条件を入力可能な検索条件入力画像17cとを有する。なお、実施例1では、検索条件として、日時が入力可能に構成されている。すなわち、実施例1の地図画像表示手段104は、検索画像表示手段としての機能も併せ持つ構成となっているが、この構成に限定されず、地図画像17と検索条件入力画像17cとは別の画像として、検索条件を入力するための入力がされた場合に、地図画像本体17aから検索条件入力画像17cに切り替える構成とすることも可能である。
【0030】
場所入力判別手段105は、映像を表示する場所の入力がされたか否かを判別する。実施例1の場所入力判別手段105は、図3B、図3Cに示すように、地図画像本体17aに対してユーザが指22で触れことが検出されると、入力がされたものと判別し、指22で触れた位置に対応する地図上の場所を、映像を表示する場所と判別する。
映像送信要求手段の一例としての映像リクエスト手段106は、入力された場所の映像を配信するように要求する情報(リクエスト)を、映像データベースサーバ2に対して送信する。なお、実施例1の映像リクエスト手段106は、地図画像本体17aにユーザが指22で触れて場所の入力がされた場合には、入力された場所の最新の映像を送信するように要求すると共に、検索条件入力画像17cにおいて、検索開始の入力がされた場合には、検索条件に対応する映像の送信を要求する。すなわち、実施例1の映像リクエスト手段106は、検索条件送信手段としての機能も併せ持っている。なお、実施例1では、検索時には、検索開始の入力前に場所の入力がされている場合には、その場所を検索対象の場所とし、検索開始の入力前に場所の入力がされていない場合には、地図画像本体17aの中心の座標に対応する場所を検索対象の場所とみなすように設定されている。
【0031】
映像受信手段107は、映像リクエスト手段106からの送信要求に対して、映像データベースサーバ2から送信された映像データを受信する。なお、映像データベースサーバ2に、入力された場所の最新映像がない場合や、検索条件に該当する映像が無い場合には、該当する映像が無い旨の情報を受信する。すなわち、実施例1の映像受信手段107は、検索結果受信手段の機能も併せ持つ。
受信映像表示手段108は、映像受信手段107が受信した映像を地図画像17に表示する。実施例1の受信映像表示手段108は、受信した映像を、図3B、図3Cに示すように、入力された場所から吹き出し状に延びる映像部17dに表示する。なお、入力された場所に対応する映像がない場合には、映像が無いことをユーザに告知する予め設定された画像、例えば、「対応する画像が保存されていません」といったメッセージが、映像部17dに表示される。
【0032】
(映像データベースサーバの制御部の説明)
図4は、実施例1の映像データベース構築システムにおける映像データベースサーバの機能をブロック図(機能ブロック図)で示した説明図である。
図4において、実施例1の映像データベース構築システム1の映像データベースサーバ2の制御部(コントローラ)21は、外部との信号の入出力および入出力信号レベルの調節等を行うI/O(入出力インターフェース)、必要な起動処理を行うためのプログラムおよびデータ等が記憶されたROM(リードオンリーメモリ)、必要なデータ及びプログラムを一時的に記憶するためのRAM(ランダムアクセスメモリ)、ROM等に記憶された起動プログラムに応じた処理を行うCPU(中央演算処理装置)ならびにクロック発振器等を有しており、前記ROM及びRAM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
前記構成の映像データベースサーバ2は、内蔵されたハードディスクや不揮発性の半導体メモリ(いわゆるフラッシュメモリ)、ROM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
前記制御部21には、基本動作を制御する基本ソフト、いわゆる、オペレーティングシステムOS、アプリケーションプログラムとしての映像データベース構築プログラムAP1や映像データ配信プログラムAP2、その他の図示しないソフトウェアが記憶されている。
【0033】
(映像データベース構築プログラムAP1)
実施例1の映像データベース構築プログラムAP1は、下記の機能手段(プログラムモジュール)を有する。
投稿データ受信手段201は、携帯端末4の投稿データ送信手段103から送信された映像データおよび属性データを含む送信情報を受信する。
データバッファ202は、投稿データ受信手段201で受信したデータを一時的に記憶して(バッファして)、映像判定部の一例としてのデータ処理部203に映像データと属性データ(メタデータ)を送信すると共に、データベースキャッシュ206に属性データ(メタデータ)のみを送信する。
【0034】
データ処理部203は、第1のデータ処理部の一例としての前処理部204と、第2のデータ処理部の一例としてのストリームプロセッサ205とを有し、データバッファ202から送信されたデータの処理を行う。
前処理部204は、経路同定手段204aと、画像処理手段204bと、画像特徴抽出手段204cと、外部データベースストリーム変換手段204dと、映像本体保存手段204eと、映像保存先取得手段204fと、処理データ送信手段204gと、を有し、映像データと属性データとに基づいて、データベースを構築するための判別を行うための前処理を行う。
経路同定手段204aは、GPSデータや方位データ等の属性データに基づいて、映像が撮影された際の携帯端末4の経路を同定する。すなわち、撮影された場所とカメラ12が向いていた方位とを特定する。
【0035】
画像処理手段204bは、受信した映像データに対して、画像処理を行う。受信した映像が静止画である場合には、静止画に対して、画像解析を行う。受信した映像が動画である場合には、動画を静止画、いわゆるフレーム(コマ)に分割して、各フレームに対して画像解析を行う。
特徴抽出部の一例としての画像特徴抽出手段204cは、画像処理手段204bで画像処理されたデータに対して画像の特徴抽出を行う。すなわち、受信した映像に通行者の顔や車番(車のナンバープレート)が写り込んでいる可能性がどの程度あるかや、映像に映り込んでいるトラック等の障害物の占有率がどの程度であるか特徴量の抽出を行う。なお、画像処理や画像の特徴抽出に関する技術自体は従来公知であり、例えば、特開2003−224791号公報や特開平7−114567号公報等に記載されている技術を採用可能であるため、詳細な説明は省略する。
【0036】
外部データベースストリーム変換手段204dは、外部データベースデータ受信手段204d1を有し、外部データベースサーバ6に記憶されたデータを受信して、前処理部204で使用可能なデータ形式に変換する。実施例1の外部データベースストリーム変換手段204dは、経路同定手段204aで経路(位置や方位)の判断を行う場合に参照する位置情報や経路データ等の参照情報、いわば辞書情報を、辞書情報が記憶された外部データベースサーバ6から受信すると共に、テキスト形式の属性データ(メタデータ)に対応して、テキスト形式(例えば、CSV形式)に変換する。
映像本体保存手段204eは、映像データに、予め設定されたルールに従って名前(ファイル名)を付けて、映像本体記憶手段214に送信して記憶させる(保存する)。例えば、受信した順に、100001、100002、…といったルールで、映像データにファイル名を付与して保存する。なお、受信した映像が動画である場合には、画像処理手段204bで分割されたフレーム毎に、属性データ(メタデータ)を関連づけて保存する。
【0037】
映像保存先取得手段204fは、映像本体保存手段204eが保存した映像データの保存先、すなわち、保存した「ドライブ名」や「フォルダ名」を取得する。
処理データ送信手段204gは、前処理部204で処理されたデータをストリームプロセッサ205に送信する。実施例1の処理データ送信手段204gは、経路同定手段204aで同定された経路や、画像特徴抽出手段204cで抽出された特徴量、映像保存先取得手段204fで取得された保存先からなる処理データをストリームプロセッサ205に送信する。
【0038】
映像判別手段の一例としてのストリームプロセッサ205は、処理データ受信手段205aと、第1の判別部の一例としての公開判別手段205bと、第2の判別部の一例としての採用判別手段205cと、振り分け信号出力手段205dとを有し、投稿データ受信手段201が受信した情報に基づいて映像が撮影された場所の最新の映像として採用するか否かを判別する。実施例1のストリームプロセッサ205は、撮影された映像が公開可能であるか否かを判別し、公開可能である場合に最新の映像として採用可能であるか否かの判別を行う。
処理データ受信手段205aは、処理データ送信手段204gから送信されたデータを受信する。
【0039】
公開判別手段205bは、地域判定手段205b1と、プライバシー判定手段205b2と、不適正判定205b3とを有し、映像データが公開可能であるか否かを判別する。
地域判定手段205b1は、経路同定手段204aが判断した映像が撮影された場所のデータと、予め設定された公開条件の一例としての公開不能地域情報に基づいて、映像が公開可能であるか否かを判定する。実施例1の地域判定手段205b1は、映像が撮影された地域が、自衛隊基地や原子力発電施設等の機密等の関係で映像が公開不能な地域であるか否かを判定することで、映像が公開可能であるか否かを判定する。
【0040】
プライバシー判定手段205b2は、画像特徴抽出手段204cで抽出された特徴量に基づいて、公開条件の一例としてのプライバシー情報が映像に含まれているか否かの判定を行う。例えば、撮影された映像に、人の顔や車のナンバープレート、表札、洗濯物や布団等、個人を特定される恐れのあるプライバシー情報が含まれているか否かを判別する。実施例1のプライバシー判定手段205b2は、複合プライバシー判定を行うことで、プライバシー情報が含まれているか否かの判定を行う。すなわち、人の顔や車番など画像の特徴抽出により明確にプライバシー情報として判断可能な内容がある一方で、画像の特徴抽出だけではプライバシー情報か否か判断できない場合がある。例えば、映像に自転車が写り込んでいる場合、通常、自転車の映像だけではプライバシー情報とはならないが、場所が住宅地域で、複数の自転車が写り込んでいる場合、家族構成が特定される恐れがあり、プライバシー情報に該当する場合がある。したがって、実施例1の画像特徴抽出手段204cでは、人の顔や車番等の明確にプライバシー情報として判断可能な内容を顕現的プライバシー(Evident Privacy)と呼び、その測度をEPM(Evident Privacy Measure)とする。一方で、自転車等のそのままではプライバシー情報と判定しきれない内容を潜在的プライバシー(Latent Privacy)と呼び、その測度をLPM(Latent Privacy Measure)とする。そして、受信した画像の特徴量から、EPMを演算する。
【0041】
実施例1では、一例として、EPMについては、個人の顔や車番、表札が含まれている場合には、EPMに10ずつ加算し、洗濯物や布団が干してあったり、ゴミの集積がある場合には、EPMに7を加算、自転車やバイクがある場合には、EPMに5を加算、家屋や植木、花がある場合にEPMに3を加算する。
そして、実施例1では、LPMについては、PPDM(Privacy Preserving Data Mining)の研究分野において既に多数提案されているが(例えば、公知文献である「Agrawal R., Srikant R., “Privacy-Preserving OLAP. Proceedings of the ACM SIGMOD Conference, 2000」や「Evfimievski A., Gehrke J., Srikant R., “Limiting Privacy Breaches in Privacy Preserving Data Minig”, ACM PODS Conference, 2003」等参照)、実施例1では、摂動型の保護方式で定式化されている差分エントロピーに基づいた評価測度使用する。
【0042】
なお、差分エントロピーについては、例えば、公知文献である「Agrawal D., Aggarwal C., “On the Design and Quantification of Privacy-Preserving Data Mining”, ACM PODS Conference, 2002.」等に記載されており、公知であるため、詳細な説明は省略する。ここで、差分エントロピーは、任意のランダム変数Aに対して、差分エントロピーh(A) と記述されるので、プライバシー測度Π(A)=2h(A)なる。実施例1では、LPM=Π(A)と定義する。なお、実施例1では、LPMとして、正規化後のΠ(A)を使用する。すなわち、0≦Π(A)≦1となる。また、実施例1では、戸建て住宅地域の場合、プライバシー評価値LPMが高く計算されるようにAのドメインを構成する。
そして、実施例1では、複合プライバシー測度CPM(Complex Privacy Measure)を、CPM=EPM×(1+LPM)と定義する。そして、CPMが1.7以上の場合に、公開すべきでないレベルのプライバシー情報が含まれていると判別する。
【0043】
不適正判定手段205b3は、映像が公開に不適正な映像であるか否かの判定を行う。実施例1の不適正判定手段205b3は、公開条件の一例として、交通事故や火事、地震等の災害現場の惨状や喧嘩や乱闘等の現場のように社会性や公序良俗に反する内容が写り込んだ画像である場合には、公開に不適正な画像であると判定する。なお、不適正判定に関しては、SVM(サポートベクターマシーン)等の公知技術を使用して、不適正な画像を予め学習させておくことで判定が可能である。
したがって、前記地域判定手段205b1やプライバシー判定手段205b2、不適正判定手段205b3のいずれかで公開不可であると判別された場合には、公開判定手段205bは、公開不可の振り分け信号を振り若信号出力手段205dに出力する。
【0044】
採用判別手段205cは、障害物判定手段205c1と加速度判定手段205c2とを有し、公開判定手段205bで公開可能であると判定された映像について、撮影された場所の最新の画像として採用するか否かを判定する。
障害物判定手段205c1は、画像特徴抽出手段204cによる特徴抽出結果に基づいて、予め設定された以上の大きさの障害物が映像に存在するか否かを判定する。実施例1の障害物判定手段205c1は、一例として、トラックやバスなど広い均一の画像パターンを持った障害物の大きさが、映像全体の30%以上の場合に、最新の画像として採用するのに適さないと判定する。
【0045】
加速度判定手段205c2は、属性データに含まれる加速度データに基づいて、最新画像として採用するのに適さないか否かを判定する。実施例1の加速度判定手段205c2は、撮影時の加速度が予め設定された以上の加速度である場合に、急ブレーキや急発進等、車両7が異常な動作を行ったことから、撮影中に事故が発生した可能性があったり、車両7の移動速度が高速すぎたり振動が大きすぎて映像が不鮮明になっている可能性が高いと判定して、最新の画像として採用するのに適さないと判定する。なお、実施例1の加速度判定手段205c2では、受信した属性データの加速度データに基づいて、複数の加速度測定値の時系列方向の平均を求め、それらの隣接時間差分を求めて平均値に含まれるノイズ成分を除き、その平均値差分値が一定以上の大きさとなる時刻を急ブレーキや急加速位置とみなして判定を行っている。具体的には、加速度センサ15が、0.1秒間隔で加速度を計測する場合に、1秒間の加速度の平均値a1=(a11+a12+…+a20)/10と、次の1秒間の加速度の平均値a2=(a21+a22+…+a30)/10と、の差分値|a1−a2|が0.2以上の場合に、急ブレーキ等がされたと判定する。
したがって、実施例1の採用判別手段205cは、障害物判定手段205c1または加速度判定手段205c2で、最新の画像として適さないと判定された場合には、履歴に記憶する振り分け信号を出力すると共に、各判定手段205c1,205c2で最新の画像として適していると判定された場合には、最新の画像として採用する振り分け信号を出力する。
【0046】
振り分け信号出力手段205dは、公開判別手段205bまたは採用判別手段205cから出力された振り分け信号を、データベースキャッシュ206に出力する。実施例1の振り分け信号出力手段205dは、前記振り分け信号に、映像保存先取得手段204fで取得された保存先のデータを付加して出力する。
データベースキャッシュ206は、データバッファ202から送信されるメタデータを受信するメタデータ受信手段206aと、振り分け信号出力手段205dから送信される振り分け信号および保存先のデータを受信する振り分け信号受信手段206bと、データベース情報送信手段206cと、を有し、データベース211〜213に送信するデータを一時的に記憶する。
データベース情報送信手段206cは、受信した振り分け信号に基づいて、属性データ(メタデータ)と保存先データとを、データベース211〜213に送信して、登録する。
【0047】
第1映像記憶部の一例としての最新ビデオデータベース211は、端末4,5に対して最新の映像を公開可能な状態で記憶する。実施例1の最新ビデオデータベース211は、最新の画像として採用すると振り分けられた映像データについて、映像本体は記憶せず、最新の映像として採用された投稿映像の保存先データを記憶しており、属性データに基づいて、映像の撮影場所および撮影時の方位を保存先データに対応づけてデータベース化して記憶している。なお、実施例1の最新ビデオデータベース211では、既に登録済みの撮影場所および方位について、映像データの更新がされる場合、それまで登録されていた古い映像データに関する情報が公開可能履歴データベース212に登録されると共に、最新の映像データに更新される。
第2映像記憶部の一例としての公開可能履歴データベース212は、公開判別手段205bで公開可能であると判別され且つ採用判別手段205cにより最新の映像として採用しないと判別された映像を、端末4,5に対して公開可能な状態で記憶する。実施例1の公開可能履歴データベース212は、採用判別手段205cで履歴に振り分けられた映像データについて、最新ビデオデータベース211と同様に、映像の撮影場所および撮影時の方位を保存先データに対応づけてデータベース化して記憶している。
【0048】
第3映像記憶部の一例としての公開不可履歴データベース213は、公開可能判別手段205bで公開不能であると判別された映像を、端末4,5に対して公開不能な状態で記憶する。実施例1の公開不可履歴データベース213は、公開判別手段205bで公開不可に振り分けられた映像データについて、最新ビデオデータベース211等と同様に、映像の撮影場所および撮影時の方位を保存先データに対応づけてデータベース化して記憶している。
映像本体記憶手段214は、映像本体保存手段204eからの送信情報に基づいて、映像データの本体を記憶する(保存する)。
【0049】
実施例1の映像データベースサーバ2の映像データ配信プログラムAP2は、映像リクエスト受信手段221と、リクエスト映像検索手段222と、認証手段223と、リクエスト結果送信手段224と、を有し、端末4,5からの映像の配信要求(リクエスト)に応じて、映像の配信を行う。
映像リクエスト受信手段221は、端末4,5から送信された映像のリクエストを受信する。
【0050】
リクエスト映像検索手段222は、端末4,5から送信されたリクエストに対応する映像を各データベース211〜213から検索する。実施例1のリクエスト映像検索手段222は、リクエストに検索条件が含まれいない場合には、最新ビデオデータベース211から指定された場所の映像を検索する。また、リクエストに検索条件が含まれている場合には、検索条件と公開履歴データベース212に記憶された属性データ(メタデータ)とから対応する映像を検索する。公開不可の映像の閲覧のリクエストがあった場合には、公開不可履歴データベース213から対応する映像を検索する。
【0051】
認証手段223は、リクエストに公開不可の映像の閲覧のリクエストがあった場合に、リクエストを送信した端末を操作するユーザに公開不可の映像を閲覧する権限があるか否かの認証を行う。実施例1の認証手段223は、リクエストに付加されて送信されてくる認証情報を、映像データベースサーバ2に予め登録された認証情報と対比して、一致するか否かに基づいて認証を行う。
リクエスト結果送信手段224は、リクエスト映像検索手段222による検索結果や認証手段223による認証結果に応じた情報を送信する。
【0052】
(映像データベースサーバの制御部の説明)
図5は、実施例1の映像データベース構築システムにおける端末の機能をブロック図(機能ブロック図)で示した説明図である。
図5において、実施例1の映像データベース構築システム1の端末5の制御部(コントローラ)31は、外部との信号の入出力および入出力信号レベルの調節等を行うI/O(入出力インターフェース)、必要な起動処理を行うためのプログラムおよびデータ等が記憶されたROM(リードオンリーメモリ)、必要なデータ及びプログラムを一時的に記憶するためのRAM(ランダムアクセスメモリ)、ROM等に記憶された起動プログラムに応じた処理を行うCPU(中央演算処理装置)ならびにクロック発振器等を有しており、前記ROM及びRAM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
前記構成の端末5は、内蔵されたハードディスクや不揮発性の半導体メモリ(いわゆるフラッシュメモリ)、ROM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
前記制御部31には、基本動作を制御する基本ソフト、いわゆる、オペレーティングシステム(図示せず)やアプリケーションプログラムとしての公開不可映像閲覧プログラムAP3、その他の図示しないソフトウェアが記憶されている。
【0053】
(公開不可映像閲覧プログラムAP3)
実施例1の公開不可映像閲覧プログラムAP3は、下記の機能手段(プログラムモジュール)を有する。
図6は実施例1の公開不可映像閲覧用の画像の説明図であり、図6Aは検索用の画像、図6Bは検索結果の画像の説明図である。
閲覧入力画像表示手段301は、ディスプレイH2に公開不可映像の検索を行うための閲覧入力画像32を表示する。図6Aにおいて、実施例1の閲覧入力画像32は、キーボードH3等により認証情報の一例としてのIDおよびパスワードを入力するための認証情報入力欄32aと、マウスH4等で映像の検索条件の一例としての日時を入力するための検索条件入力欄32bと、検索する映像の撮影場所をマウスH4のカーソル32cにより特定するための地図画像32dと、映像データベースサーバ2に対して映像の配信要求(リクエスト)を開始するための問合せ開始ボタン32eと、を有する。
【0054】
リクエスト入力判別手段302は、問合せ開始ボタン32eの入力がされたか否かを判別することで、配信要求(リクエスト)の入力がされたか否かを判別する。
映像リクエスト手段303は、リクエストの入力がされた場合に、認証情報入力欄32に入力された認証データと、検索条件入力欄32bに入力された検索条件のデータと、カーソル32cにより特定された場所と、を含むリクエストデータを、映像データベースサーバ2に送信する。
映像受信手段304は、映像データベースサーバ2から送信されたリクエストに対する応答結果を受信する。すなわち、映像データベースサーバ2から映像が配信された場合には映像を受信し、検索条件に該当する映像がない場合にはその旨のデータを受信し、認証ができなかった場合にはその旨のデータを受信する。
【0055】
受信映像表示手段305は、映像受信手段304が受信した応答結果に基づいて、検索結果画像33を表示する。図6Bにおいて、実施例1の検索結果画像33は、撮影場所を特定するための地図画像部33aと、公開不可履歴データベース213から配信された映像が表示される映像表示部33bと、映像を閲覧する方向すなわち撮影された方位の異なる映像の送信を要求するための方位変更ボタン33cと、閲覧入力画像32を表示して再検索を行うための再検索ボタン33dと、を有する。なお、受信映像表示手段305は、検索条件に該当する映像がない場合や認証ができなかった場合には、受信映像表示手段108と同様に、その旨のメッセージをディスプレイH2に表示する。
【0056】
(実施例1の作用)
前記構成を備えた実施例1の映像データベース構築システム1では、携帯端末4から投稿された映像データは、映像データベースサーバ2に送信され、データ処理部203で、最新の映像として採用可能であるか否かや公開可能であるか否かが自動的に処理される。すなわち、投稿された映像データについて、撮影された場所や時刻等の状況を特定する属性データと、映像データの解析、特徴抽出に基づいて、公開可能な地域を撮影したものであるか、プライバシー情報が含まれていないか、公序良俗等に反していないか等の公開可否の判定がされると共に、障害物の存在や加速度に基づいて撮影場所の最新映像として採用するかの判定が自動的に行われる。
【0057】
したがって、従来の技術のように、担当の編集者が1つ1つ確認して映像の編集を行う構成に比べて、映像が公開可能となるまでの時間を大幅に短縮することができると共に、公開に適さない映像や、障害物が多い等で最新画像として適さない映像を最新映像から除外することができる。よって、最新画像に適した画像が投稿された場合には、速やかに最新画像として公開できると共に、悪意のない投稿者から投稿された映像にプライバシー情報等が含まれていても自動的に判別することができ、公開を規制することができる。
【0058】
そして、実施例1の映像データベース構築システム1で構築されたデータベース211〜214では、ユーザが携帯端末4の地図上に指22を触れることで、図3Bに示すように、映像データベースサーバ2の最新ビデオデータベース211から映像が配信される。そして、図3B、図3Cに示すように、地図上で、指22を動かしていくと、映像も対応する場所の映像に遷移していく。また、指22をなぞっていく方向に応じて、経路(方位)が検出可能であり、経路に対応した方位から撮影した映像を配信、閲覧することができる。よって、地図上の任意の位置に対して、最新の映像が存在する場合には、ユーザが現地に行かなくても、その場所の映像について、1年以上前の映像ではなく、最新の映像を閲覧することができる。
【0059】
また、実施例1の映像データベース構築システム1では、公開可能であるが最新映像として適さない映像は、公開可能履歴データベース212に保存される。したがって、ユーザが入力した場所、すなわち、興味のある場所について、過去の映像、すなわち、建物が建て替わる前の映像や、春夏秋冬の四季により異なる風景の映像等について表示を行いたい場合には、公開可能履歴データベース212から該当する映像を受信し、表示することも可能である。
さらに、実施例1の映像データベース構築システム1では、公開不可能の映像については公開不可履歴データベース213に保存される。したがって、事故や事件等の映像について、警察等の捜査機関が映像を参照したい場合には、端末5を使用して認証を行った上で、事故等の映像を参照することができたり、自動車保険の事故調査員が事故の調査を行う場合に、認証を行った上で事故等の映像を参照することができるようになっている。
【0060】
また、実施例1では、複合プライバシーを利用して、プライバシーの判定を行っている。したがって、映像解析、特徴抽出だけを行っていた従来技術では、プライバシー情報が含まれていると判定できなかった内容についても、高精度にプライバシー情報が含まれているか否かの判定を行うことができる。
【0061】
(変更例)
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例(H01)〜(H015)を下記に例示する。
(H01)前記実施例では、各装置2〜6として、携帯電話やパーソナルコンピュータ、サーバ等の構成を例示したが、これに限定されず、例えば、ネットワーク接続可能なテレビやゲーム機、電子ブックリーダ等の端末によって構成することも可能であり、サーバは、1つの固定の装置に限定されず、複数の装置に機能を分散させたり、ネットワーク上に分散した処理系、いわゆるクラウドコンピューティング等の構成を採用することも可能である。
【0062】
(H02)前記実施例において、例示した画像や数値等は、設計や仕様等に応じて任意に変更可能である。
(H03)前記実施例において、携帯端末4では、公開不可映像の閲覧ができない構成を例示したがこれに限定されず、携帯端末4にも公開不可映像閲覧プログラムAP3を導入して、携帯端末4から閲覧可能な構成とすることも可能である。
(H04)前記実施例において、カメラ12が内蔵された携帯端末4を例示したが、これに限定されず、ノートパソコン等の端末とカメラとが有線または無線(Blutooth等)で接続された構成とすることも可能である。
【0063】
(H05)前記実施例において、認証方法はIDとパスワードによる認証方法を例示したが、これに限定されず、ICカードや携帯端末4に内蔵されたICチップ、あるいは、生体認証(指紋や静脈等)等の利用可能な認証方法を採用可能である。
(H06)前記実施例において、映像の投稿は携帯端末4や車載の携帯端末4から行う構成を例示したが、これに限定されず、パーソナルコンピュータ固定の端末に接続されたカメラからの映像、いわゆる定点映像を投稿可能とすることも可能である。また、他にも、車載のカメラや、商店街やコンビニエンスストアに設置された監視カメラ等の固定のカメラからの映像を投稿する構成とすることも可能である。
(H07)前記実施例において、映像の判別方法として、公開判別手段205bで公開の可否を判別した後に、採用判別手段205cで最新映像として採用するか否かの判別を行う構成を例示したが、この構成に限定されず、順序を任意に入れ替えることも可能である。
【0064】
(H08)前記実施例において、地域判定やプライバシー判定、不適正判定、障害物判定、加速度判定の5つの判定を行う構成を例示したが、この構成に限定されず、設計や仕様等に応じて、さらに別の判定を追加したり、5つの判定から1つまたは複数の判定を省略することも可能である。
(H09)前記実施例において、3つのデータベースを使用する構成を例示したが、これに限定されず、最新画像として過去に採用されたことのある映像データのみを収集したデータベースを追加する等4つ以上のデータベースとしたり、データベースを2つ以下とすることも可能である。例えば、最新ビデオデータベース211のみとし、最新映像に採用されない映像は全て破棄するような構成とすることも可能である。
(H010)前記実施例示すように、プライバシーの判定を行う場合に、複合プライバシーを利用して判定を行うことが望ましいが、顕現的プライバシーのみで判定を行う構成とすることも可能である。
【0065】
(H011)前記実施例において、属性データの種類は例示したデータに限定されず、種類については、追加、削除が可能である。
(H012)前記実施例において、ユーザが指で触れることで、位置の入力を行う構成を例示したが、これに限定されず、例えば、従来公知の経路探索ソフトウェアと連動させて、経路上の映像を、経路に沿って順次、連続的に表示していくといった構成とすることも可能である。
【0066】
(H013)前記実施例において、携帯端末4から送信されたデータを受信した映像データベースサーバ2で、前処理や公開判別、採用判別を行う構成を例示したが、これに限定されず、携帯端末4内に、画像処理、公開判別、採用判別の全てを組み込んで、携帯端末4で判別後のデータを、各データベース211〜214に送信する構成とすることも可能である。また、携帯端末4で前処理と公開判別を行い、採用判別は映像データベースサーバ2で行うといった構成とすることも可能であり、携帯端末4で、プライバシー判定を行い、映像データベースサーバ2では、地域判定や不適正判定を行うといった構成、携帯端末4で加速度判定は行い、映像データベースサーバ2で障害物判定を行うといった構成も可能である。すなわち、各処理は、携帯端末4および映像データベースサーバ2のどちらで行うことも可能である。
(H014)前記実施例において、3つのデータベース211〜213には、映像データの本体を記憶せず、映像本体記憶手段214に映像データの本体を記憶する構成を例示したが、これに限定されず、3つのデータベース211〜213が映像データの本体も記憶する構成とすることも可能である。
【0067】
(H015)前記実施例において、映像データ配信プログラムAP2を映像データベースサーバ2に設ける構成を例示したが、これに限定されず、公衆回線等のネットワークを介して、接続された別のコンピュータ装置に組み込んで処理を行う構成とすることも可能である。同様に、映像データベース構築プログラムAP1と、各データベース211〜214を、別の情報処理装置に組み込む構成とすることも可能である。
【符号の説明】
【0068】
1…映像データベース構築システム、
2…映像データベース、
4…端末、
7…車両、
12…撮影手段、
15…加速度センサ、
102…属性データ取得手段、
103…送信手段、
201…受信手段、
204c…特徴抽出部、
205…映像判別手段、
205b…公開判別手段、
211…第1の映像記憶手段、
211〜214…映像記憶手段、
212…第2の映像記憶手段、
213…第3の映像記憶手段。

【特許請求の範囲】
【請求項1】
撮影した映像のデータを送信するとともに、少なくとも撮影した場所を属性の1つに含んだ属性データを送信する情報提供端末と、
前記属性データに基づいて前記撮影した場所の前記映像を最新映像として採用か否かを判定する映像判定部を有し、最新映像として採用すると判定した場合に、前記撮影した場所の前記映像を最新映像として記憶して保存する第1映像保存部を有する映像データ処理手段と、
を備えたことを特徴とする映像データベース構築システム。
【請求項2】
前記映像データ処理手段がさらに、
前記撮影した場所の前記映像の閲覧を他の情報端末から要求があったときに公開可能か否かを予め設定してある公開条件に基づいて判定する公開判定部を含むことを特徴とする請求項1に記載の映像データベース構築システム。
【請求項3】
前記映像データ処理手段がさらに、
前記映像のデータについて画像の特徴抽出を行う特徴抽出部を含むことを特徴とする請求項1に記載の映像データベース構築システム。
【請求項4】
前記映像データ処理部手段が、前記第1映像保存部の他にさらに、
前記映像判定部で最新映像として採用はしないが前記公開判定部で公開可能と判定された前記映像を記憶して保存する第2映像保存部と、
前記公開判定部で公開不可と判定された前記映像を記憶して保存する第3映像保存部と、
からなっていることを特徴とする請求項2に記載の映像データベース構築システム。
【請求項5】
前記第3映像保存部は、
公開不可地域として予め登録されている前記公開条件に基づいて、前記公開判定部で前記撮影した場所が公開不可地域と判定された場合にその映像を記憶して保存することを特徴とする請求項4に記載の映像データベース構築システム。
【請求項6】
前記第3映像保存部は、
前記公開判定部で前記公開条件に基づいて前記映像に個人情報が存在すると判定され、かつ前記特徴抽出部による画像の特徴抽出に基づいて公開不可と判定されたときにその映像を記憶して保存することを特徴とする請求項4または5に記載の映像データベース構築システム。
【請求項7】
前記第3映像保存部は、
前記公開判定部で前記公開条件に基づいて前記映像に公開不適情報が含まれていると判定され、かつ前記特徴抽出部による画像の特徴抽出に基づいて公開不可と判定されたときにその映像を記憶して保存することを特徴とする請求項4ないし6のいずれかに記載の映像データベース構築システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2012−129961(P2012−129961A)
【公開日】平成24年7月5日(2012.7.5)
【国際特許分類】
【出願番号】特願2010−282302(P2010−282302)
【出願日】平成22年12月17日(2010.12.17)
【出願人】(305027401)公立大学法人首都大学東京 (385)
【Fターム(参考)】