説明

車載用動画データ処理装置、データ処理システム、および、プログラム

【課題】様々な場所で記録された動画データの中の重要な箇所、例えば事件の様子を記録した箇所を迅速に見つけ出し、利用することが可能な手段を提供することを課題とする。
【解決手段】時間情報を介して音声データが関連付けられている動画データを、前記音声データとともに取得する動画データ取得部10と、前記音声データの中の、音声レベルが基準値より大きい箇所を一箇所以上抽出する抽出部20と、前記抽出した箇所を示す抽出箇所情報を取得する抽出箇所情報取得部30と、前記動画データのうち、前記抽出箇所情報で特定される静止画フレームのサムネイル画像を生成するサムネイル画像生成部40と、前記サムネイル画像を表示する表示部50と、を有する車載用動画データ処理装置を提供する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載用動画データ処理装置、データ処理システム、および、プログラムに関する。
【背景技術】
【0002】
近年、タクシー、コンビニエンスストア、スーパー、ビルなど、様々な場所において、防犯のため画像データが記録されている。例えば、特許文献1には、防犯のため、デジタルカメラ付き携帯電話機を使用して、乗客の顔写真を撮影する車載型防犯装置が開示されている。このような画像データは、事件が発生した際に、事件内容の把握や、犯人の特定などのために利用される。また、記録された犯人の画像は、その後の捜査に利用されることがある。
【0003】
ここで、動画データの中の代表的なシーンを抽出し、抽出したシーンのサムネイル画像を生成する装置が特許文献2に開示されている。この装置は、動画とともに記録された音声の音量レベルの変動を基に、動画データの代表的なシーンを特定し、そのシーンのサムネイル画像を生成するよう構成されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2002−342860号公報
【特許文献2】特開2004−159265号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、事件発生直後、例えば、事件発生の知らせを聞いて事件現場に駆け付けた警察官や警備員などが事件現場に到着直後に、記録された動画データをその後の捜査のためなどに効果的に利用する手段がなかった。
【0006】
事件発生直後は、犯人がまだ事件現場の近くにいる可能性があり、事件の様子を記録した画像、すなわち、犯人を記録した画像を一分一秒でも早く見つけ出すことが、犯人の検挙率を上げるために重要である。
【0007】
例えば、車両(例:警察用車両)に、動画データを記録したリムーバブルメディアのデータを読み込みディスプレイに表示する装置を備えておき、事件現場に到着直後、前記装置を利用して動画を再生表示することは可能である。しかし、一般的に防犯目的で動画データを記録する場合、24時間記録し続けることとなる。かかる場合、記録された動画データは膨大な量となっており、その中から、事件の様子を記録した画像を見つけ出すのは手間であり、時間がかかる。
【0008】
また、特許文献2に記載の装置を利用する場合、特許文献2に記載の装置を配置している場所、例えば警察署内などに動画データを持ち帰る必要があり、時間のロスが大きい。なお、インターネット経由で動画データを送信する手段も考えられるが、動画データの容量が膨大である場合、短時間でのデータ送信が期待できない可能性がある。
【課題を解決するための手段】
【0009】
本発明によれば、時間情報を介して音声データが関連付けられている動画データを、前記音声データとともに取得する動画データ取得部と、前記音声データの中の、音声レベルが基準値より大きい箇所を一箇所以上抽出する抽出部と、前記抽出した箇所を示す抽出箇所情報を取得する抽出箇所情報取得部と、前記動画データのうち、前記抽出箇所情報で特定される静止画フレームのサムネイル画像を生成するサムネイル画像生成部と、前記サムネイル画像を表示する表示部と、を有する車載用動画データ処理装置が提供される。
【0010】
本発明によれば、時間情報を介して音声データが関連付けられている動画データを、前記音声データとともに取得する動画データ取得ステップと、前記音声データの中の、音声レベルが基準値より大きい箇所を一箇所以上抽出する抽出ステップと、前記抽出した箇所を示す抽出箇所情報を取得する抽出箇所情報取得ステップと、前記動画データのうち、前記抽出箇所情報で特定される静止画フレームのサムネイル画像を生成するサムネイル画像生成ステップと、前記サムネイル画像を表示する表示ステップと、をコンピュータに実行させるためのプログラムが提供される。
【0011】
本発明の動画データ処理装置は車載用であるので、様々な場所において記録された動画データの中の音声レベルが基準値より大きい箇所のサムネイル画像を、その場で迅速に確認することが可能となる。また、本発明の車載用動画データ処理装置を警察の捜査に利用すれば、事件発生時は通常時に比べて音声レベルが高いと考えられるため、膨大な量のデータを記録した動画データの中から、事件の様子を記録したものである可能性の高い静止画フレームを迅速に抽出し、サムネイル画像により確認することができる。その結果、事件の早期解決を促進すると考えられる。
【発明の効果】
【0012】
様々な場所で記録された動画データの中の重要な箇所、例えば事件の様子を記録した箇所を迅速に見つけ出し、利用することが可能となる。
【図面の簡単な説明】
【0013】
【図1】実施形態1の車載用動画データ処理装置の機能ブロック図の一例である。
【図2】実施形態1の車載用動画データ処理装置のサムネイル画像の表示態様の一例である。
【図3】実施形態1の車載用動画データ処理装置の処理の流れを示すフローチャート図である。
【図4】実施形態2の車載用動画データ処理装置の機能ブロック図の一例である。
【図5】実施形態2のデータ処理システムの機能ブロック図の一例である。
【図6】実施形態2の車載用動画データ処理装置のサムネイル画像の表示態様の一例である。
【図7】実施形態3の車載用動画データ処理装置の機能ブロック図の一例である。
【図8】実施形態3の車載用動画データ処理装置の処理の流れを示すフローチャート図である。
【図9】実施形態5の車載用動画データ処理装置の機能ブロック図の一例である。
【図10】実施形態6の車載用動画データ処理装置の機能ブロック図の一例である。
【図11】実施形態6の車載用動画データ処理装置のサムネイル画像の表示態様の一例である。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について、図面を用いて説明する。すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0015】
なお、各実施形態の車載用動画データ処理装置を構成する各部は、任意のコンピュータのCPU、メモリ、メモリにロードされたプログラム(あらかじめ装置を出荷する段階からメモリ内に格納されているプログラムのほか、CDなどのリムーバブルメディアやインターネット上のサーバなどからダウンロードされたプログラムも含む)、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インターフェイス、ディスプレイなどを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【0016】
また、各実施形態の説明において利用する図1、図4、図5、図7、図9、図10の機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各実施形態の車載用動画データ処理装置は一つの物理的に分離した装置により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、二つ以上の物理的に分離した装置を有線または無線で接続し、これら複数の装置により、各実施形態の車載用動画データ処理装置を実現してもよい。
<<実施形態1>>
【0017】
図1に、本実施形態の車載用動画データ処理装置1の機能ブロック図の一例を示す。この車載用動画データ処理装置1は、動画データ取得部10と、抽出部20と、抽出箇所情報取得部30と、サムネイル画像生成部40と、表示部50と、を有する。その他、動画データ格納メモリを有してもよい。
【0018】
本実施形態の車載用動画データ処理装置1は、例えば、パトカーなどの警察用車両や、警備会社が業務に使用する車両などに搭載される。これは、以下のすべての実施形態において同様である。
【0019】
動画データ取得部10は、時間情報を介して音声データが関連付けられている動画データ(以下、単に「動画データ」ということがある)を、音声データとともに取得するよう構成される。ここでの時間情報とは、例えば、動画データおよび音声データの記録開始時を0(ゼロ)として、そこからの経過時間を示すデータであってもよい。または、動画データおよび音声データの記録時の日時を示す時刻データであってもよい。
【0020】
動画データ取得部10が動画データを取得する手段としては特段制限されず、例えば、動画データをHDDなどの内部メモリに格納している録画装置と無線または有線で通信できるようにして、録画装置から直接動画データを取得することで実現してもよい。または、車載用動画データ処理装置1に接続されたSDカード、CD、DVD、BD、USBメモリなどのリムーバブルメディアから動画データを読み出すことで実現してもよい。動画データ取得部10が取得する動画データは、例えば、タクシー、コンビニエンスストア、スーパー、ビルなど、様々な場所で防犯用に記録された動画データなどが該当する。
【0021】
なお、動画データ取得部10が取得した動画データは、車載用動画データ処理装置1内に設けられた不揮発性メモリである動画データ格納メモリに格納されてもよい。そして、車載用動画データ処理装置1が動画データを用いた様々な処理を実行する際、動画データ取得部10は、動画データ格納メモリから処理対象となる動画データを取り出すよう構成してもよい。
【0022】
抽出部20は、動画データ取得部10が取得した動画データに関連付けられている音声データの中の、音声レベルが基準値より大きい箇所を一箇所以上抽出するよう構成されている。ここでの「箇所」とは、時系列に複数のデータを記録した音声データの中のある時点におけるデータが該当する。すなわち、抽出部20は、動画データ取得部10が音声データとこの音声データを関連付けられている動画データとを取得すると、この音声データを動画データ取得部10から取得する。そして、基準値と、時系列に複数のデータを記録した音声データの音声レベルと、を比較していくことで、音声レベルが基準値より大きい箇所を一箇所以上抽出する。前記基準値は任意の設計事項であるが、動画データ中における重要な箇所、例えば事件の様子を記録した箇所を抽出可能な値に定められる必要がある。すなわち、本実施形態の車載用動画データ処理装置1は、音声レベルが基準値より大きい箇所を抽出することで、音声データの中の事件の様子を記録したものである可能性の高い箇所を抽出する。
【0023】
抽出部20は、あらかじめ任意に定められた基準値を保持しておき、その基準値を利用して音声データの音声レベルとの比較を行ってもよいし、または、動画データ取得部10が動画データを取得するごとに、ユーザから基準値の入力を受付け、入力を受付けた基準値を利用して音声データの音声レベルとの比較を行ってもよい。または、タクシー用基準値、コンビニエンスストア用基準値、スーパー用基準値など、動画データを記録した場所に応じて異なる基準値を複数保持しておいてもよい。そしてこの場合には、動画データ取得部10が動画データを取得するごとに、ユーザからいずれの基準値を利用するかの選択入力を受付け、選択された基準値を利用して音声データの音声レベルとの比較を行ってもよい。さらには、時系列に複数のデータを記録した音声データの中から無作為に所定数のサンプルを抽出し、抽出したサンプルを利用して算出した平均値を基準値として利用してもよい。このサンプルの抽出は、ユーザにより定められた所定範囲内の音声データから無作為に抽出するようにしてもよい。なお、これらの基準値は、ユーザ操作に応じて変更できるよう構成してもよい。
【0024】
ここで、抽出部20による抽出処理は、動画データ取得部10が動画データを取得したことをトリガに開始してもよいし、ユーザからの抽出処理開始指示入力(例:サムネイル画像表示指示入力)を受付けたことをトリガに開始してもよい。例えば、動画データ取得部10が動画データを取得したことをトリガにあらかじめ保持している基準値を利用して抽出処理を行い、ユーザが満足する抽出結果を得られなかった場合、例えば抽出箇所が多すぎる場合(例:表示されたサムネイル画像が多すぎる場合)には、ユーザからの入力に応じて基準値を変更し、ユーザからの抽出処理開始指示入力(例:サムネイル画像表示指示入力)を受付けたことをトリガに、再度、同じ音声データを対象にして抽出処理を行ってもよい。
【0025】
なお、ここでの抽出処理は迅速に行われる必要があるが、抽出箇所が多すぎると、処理速度が遅くなってしまうなどの不都合が生じる恐れがある。また、本実施形態の車載用動画データ処理装置1は、以下で説明するように、抽出された箇所に相当するサムネイル画像を生成し、一覧表示などするよう構成しているが、生成したサムネイル画像が多すぎると当然に、ユーザが確認しなければいけないサムネイル画像の量も多くなってしまい、画像確認作業に時間がかかり過ぎてしまうなどの不都合が生じる恐れがある。よって、表示するサムネイル画像は多すぎない適当な数量であるのが望ましく、換言すれば、抽出部20により抽出される箇所は多すぎない適当な数量であるのが望ましい。
【0026】
そこで、抽出部20は、音声データの中の、音声レベルが基準値より大きい箇所であって、極大値となっている箇所を抽出するように構成してもよい。このような抽出は、上述した基準値と音声データの音声レベルとの大小比較処理に加えて、時系列に複数のデータを記録した音声データの中の時間的に前後関係となる音声データの音声レベルどうしの大小比較を行うことで、実現してもよい。すなわち、音声レベルが、時間的に前および後の音声データの音声レベル以上である音声データを極大値データとして判定してもよい。
【0027】
または、抽出部20が抽出した箇所の数があらかじめ保持しておいた基準数量より多い場合には、抽出部20は、抽出した複数の箇所の中から、音声レベルが大きい方から順に基準数量分の箇所を抽出するよう構成してもよい。
【0028】
抽出箇所情報取得部30は、抽出部20が抽出した箇所を示す抽出箇所情報を取得するよう構成されている。抽出箇所情報としては、例えば、音声データの記録開始時を0(ゼロ)として、そこからの経過時間などが考えられる。
【0029】
サムネイル画像生成部40は、動画データ取得部10がリムーバブルメディアまたは動画データ格納メモリから取り出した動画データのうち、抽出箇所情報で特定される静止画フレームのサムネイル画像を生成するよう構成されている。具体的には、サムネイル画像生成部40は、抽出箇所情報(例:音声データの記録開始時からの経過時間)を取得すると、抽出箇所情報で特定される箇所に対応する動画データの静止画フレームを特定する。例えば、抽出箇所情報が音声データの記録開始時からの経過時間Tであった場合には、動画データの中の記録開始時から時間T経過時点の静止画フレームを特定する。その後、特定した静止画フレームを取得すると、解像度を落とすなどして、サムネイル画像を生成する。なお、抽出箇所情報で特定される箇所が複数ある場合、サムネイル画像生成部40は、すべての箇所に対応するサムネイル画像を生成してもよい。
【0030】
表示部50は、サムネイル画像生成部40が生成したサムネイル画像を表示するよう構成される。表示の態様としては、例えば、複数のサムネイル画像を一覧表示したり、スライド表示したりする手段が考えられる。
【0031】
ここで、図2に、表示部50がサムネイル画像を表示する態様の一例を示す。図2の表示画面では、5枚のサムネイル画像を一覧表示している。画面左上の「事案番号」は、事件ごとに割り振られた識別番号である。サムネイル画像の下の時間情報は、それぞれの画像を記録した時刻である。なお、この時間情報を、各動画データの記録開始時からの経過時間とすることも可能である。同じ囲み内に記載されたサイズは、サムネイル画像のデータ量を示している。各サムネイル画像の下方に設けられた「画像拡大」の選択入力を受付けると、表示部50は、サムネイル画像として表示されている画像を拡大表示する。拡大表示は、動画データから抽出した静止画フレームを利用し、サムネイル画像よりも解像度を上げて表示する。
【0032】
次に、本実施形態の車載用動画データ処理装置1の処理の流れの一例について、図3のフローチャート図を用いて説明する。
【0033】
まず、時間情報を介して音声データが関連付けられている動画データを、前記音声データとともに取得する(動画データ取得ステップS10)。例えば、タクシー車内、コンビニエンスストア店舗内などの事件現場を音声データとともに記録した動画データを、リムーバブルメディアまたは録画装置から取得する。
【0034】
次に、動画データ取得ステップS10で取得した動画データに関連付けられている音声データの中の、音声レベルが基準値より大きい箇所を一箇所以上抽出する(抽出ステップS20)。例えば、取得した動画データに関連付けられている音声データを取り出し、あらかじめ保持している基準値と、前記音声データの音声レベルと、を大小比較していき、音声データの中の音声レベルが基準値より大きい箇所を一箇所以上抽出する。
【0035】
また、抽出ステップS20で抽出した箇所を示す抽出箇所情報を取得する(抽出箇所情報取得ステップS30)。例えば、抽出ステップS20で、音声データの中の音声レベルが基準値より大きい箇所を抽出するごとに、抽出した箇所における音声データ記録開始時からの経過時間を示す情報を抽出箇所情報として取得する。
【0036】
次に、動画データ取得ステップS10で取得した動画データを利用し、抽出箇所情報で特定される静止画フレームのサムネイル画像を生成する(サムネイル画像生成ステップS40)。例えば、抽出箇所情報が音声データ記録開始時からの経過時間Tであった場合には、動画データの中の動画データ記録開始時から時間T経過時点の静止画フレームを特定する。そして、特定した静止画フレームを取り出すと、解像度を落とすなどの所定の処理を行い、サムネイル画像を生成する。このステップでは、抽出箇所情報取得ステップS30で取得したすべての抽出箇所情報を利用して、一以上のサムネイル画像を生成する。なお、このステップは、抽出ステップS20、および、抽出箇所情報取得ステップS30と並行して行われてもよい。すなわち、抽出箇所情報取得ステップS30で抽出箇所情報を取得するごとに、サムネイル画像を生成してもよい。
【0037】
次に、サムネイル画像生成ステップS40で生成した一以上のサムネイル画像を表示する(表示ステップS50)。例えば、ディスプレイにサムネイル画像を一覧表示したり、スライド表示したりする。なお、このステップは、抽出ステップS20、および、抽出箇所情報取得ステップS30、および、サムネイル画像生成ステップS40と並行して行われてもよい。すなわち、サムネイル画像生成ステップS40でサムネイル画像を生成するごとに、サムネイル画像を表示、および表示内容の更新を行ってもよい。
【0038】
このような処理は、例えば、時間情報を介して音声データが関連付けられている動画データを、前記音声データとともに取得する動画データ取得ステップと、前記音声データの中の、音声レベルが基準値より大きい箇所を一箇所以上抽出する抽出ステップと、前記抽出した箇所を示す抽出箇所情報を取得する抽出箇所情報取得ステップと、前記動画データのうち、前記抽出箇所情報で特定される静止画フレームのサムネイル画像を生成するサムネイル画像生成ステップと、前記サムネイル画像を表示する表示ステップと、をコンピュータに実行させるためのプログラムにより実現することができる。
【0039】
本実施形態の車載用動画データ処理装置1およびコンピュータプログラムによれば、様々な場所において防犯目的などで記録された動画データの中の重要な箇所を迅速に見つけ出し、表示することができる。このような装置によれば、事件発生直後に警察用車両に乗車して事件現場にかけつけた警察官は、その場で、動画データの中の事件の様子を記録した箇所を迅速に確認することが可能となる。その結果、犯人の追跡を迅速に開始することが可能となり、早期犯人逮捕を実現することが可能となる。
<<実施形態2>>
【0040】
図4に、本実施形態の車載用動画データ処理装置1の機能ブロック図の一例を示す。また、図5に、一以上の本実施形態の車載用データ処理装置1と、一以上の通信センター2と、一以上の端末端末3などの端末装置と、からなるデータ処理システムの機能ブロック図の一例を示す。
【0041】
図4に示すように、本実施形態の車載用動画データ処理装置1は、動画データ取得部10と、抽出部20と、抽出箇所情報取得部30と、サムネイル画像生成部40と、表示部50と、第二選択受付部110と、静止画フレーム取得部120と、送受信部130と、を有する。その他、動画データ格納メモリを有してもよい。
【0042】
なお、動画データ取得部10、抽出部20、抽出箇所情報取得部30、サムネイル画像生成部40、表示部50の構成については、実施形態1と同様であるので、ここでの詳細な説明は省略する。以下、第二選択受付部110、静止画フレーム取得部120、送受信部130の構成について説明する。
【0043】
まず、図6に、本実施形態の表示部50がサムネイル画像を表示する態様の一例を示す。図6の表示画面では、5枚のサムネイル画像を一覧表示している。なお、図6の表示画面は、動画データ取得部10が取得した動画データから抽出された静止画フレームを送信するためのインターフェイスとなっている。以下、図6のインターフェイスについて説明する。
【0044】
画面左上の「事案番号」は、事件ごとに割り振られた識別番号である。事案番号の横の「受理日時」は、事件発生の通知、例えば110番通報を受付けた日時である。例えば、車載用動画データ処理装置1を搭載した車両に乗車しているユーザが、無線などの手段により指令を受け従事することとなった事案番号を、車載用動画データ処理装置1に入力すると、車載用動画データ処理装置1は、事件発生の通知を受付けた日時や、通知の内容などを事案番号と関連付けて格納している通信センター2(図5参照)のサーバにアクセスし、受理日時を取得して、図のように表示してもよい。また、本実施形態の車載用動画データ処理装置1は、受理日時の横の「事案情報詳細表示」の選択入力を受付けると、通信センター2のサーバから取得した各事案番号に関連付けられている詳細な情報、例えば、犯人の性別、体格、髪型、服装、国籍、事件内容などを表示してもよい。
【0045】
各サムネイル画像の下の時間情報は、それぞれの画像を記録した時刻である。なお、この時間情報を、各動画データの記録開始時からの経過時間とすることも可能である。同じ囲み内に記載されたサイズは、サムネイル画像のデータ量を示している。また、各サムネイル画像の下方に設けられた「画像拡大」の選択入力を受付けると、表示部50は、サムネイル画像として表示されている画像を拡大表示する。拡大表示は、動画データから抽出した静止画フレームを利用し、サムネイル画像よりも解像度を上げて表示する。
【0046】
また、本実施形態の車載用動画データ処理装置1は、各サムネイル画像の下方に設けられた「送信選択」の選択入力を受付けると、選択された画像を、例えば警察本部などの通信センター2(図5参照)に送信する画像候補として選択する。その後、画面左下の「本部へ送信する」の選択入力を受付けると、選択された画像を本部に送信する。送信する画像は、サムネイル画像であってもよいし動画データから抽出した静止画フレームであってもよい。静止画フレームおよび/またはサムネイル画像を受信した通信センター2(図5参照)は、受信した静止画フレームおよび/またはサムネイル画像を、一以上の携帯端末3(図5参照)や、静止画フレームおよび/またはサムネイル画像を送信した車載用データ処理装置1とは異なる他の車載用データ処理装置1に送信してもよい。以下、このような処理を実現する構成について説明する。
【0047】
第二選択受付部110は、表示部50が表示するサムネイル画像の中から一つ以上のサムネイル画像の選択を受付けるよう構成されている。例えば、図6のように表示されている複数のサムネイル画像の中から、一つ以上のサムネイル画像の選択入力を受付ける。選択入力を受付ける手段としては特段制限されず、例えばタッチパネル入力により受付けてもよい。または、サムネイル画像を表示している画面にカーソルなどのポインタを表示しておき、ポインタを利用して一つのサムネイル画像の選択入力を受付けてもよい。図6の場合には、各サムネイル画像の下方に表示された「送信選択」のボタンに対して、例えばタッチパネル入力すると、第二選択受付部110は、一つのサムネイル画像の選択を受付ける。そして、もう一度同じ「送信選択」のボタンに対して、例えばタッチパネル入力すると、第二選択受付部110は、そのサムネイル画像の選択を解除する。なお、いずれのサムネイル画像が選択されているのかユーザが識別できるよう、図示するように、選択されているサムネイル画像の下方の「送信選択」ボタンと、選択されていないサムネイル画像の下方の「送信選択」ボタンと、の表示態様を異なるものとしてもよい。
【0048】
静止画フレーム取得部120は、第二選択受付部110が選択を受付けたサムネイル画像に対応する前記動画データの中の静止画フレームを取得するよう構成されている。「サムネイル画像に対応する静止画フレーム」とは、動画データとして記録された複数の静止画フレームの中の、選択されたサムネイル画像と同じ画像を記録している静止画フレームが該当する。
【0049】
静止画フレーム取得部120が、選択を受付けたサムネイル画像に対応する静止画フレームを取得する手段としては、例えば、以下のような処理であってもよい。サムネイル画像生成部40は、サムネイル画像を生成すると、サムネイル画像を生成するために動画データ中から取り出した静止画フレームを、生成したサムネイル画像と関連付けて車載用動画データ処理装置1内の内部メモリに保存する。そして、静止画フレーム取得部120は、第二選択受付部110が選択を受付けたサムネイル画像を識別すると、サムネイル画像生成部40が保存した静止画フレームの中から、識別したサムネイル画像を関連付けられている静止画フレームを特定し、取り出す。
【0050】
または、次のような処理であってもよい。サムネイル画像生成部40は、サムネイル画像を生成すると、サムネイル画像を生成するために動画データ中から取り出した静止画フレームの動画データの中における箇所を示す情報(例:動画データの記録開始時からの経過時間)を、生成したサムネイル画像と関連付けて車載用動画データ処理装置1内の内部メモリに保存する。そして、静止画フレーム取得部120は、第二選択受付部110が選択を受付けたサムネイル画像を識別すると、サムネイル画像生成部40が保存した動画データの中における箇所を示す情報の中から、識別したサムネイル画像を関連付けられている情報を取得する。そして、取得した情報を利用して、動画データ中における選択を受付けたサムネイル画像に対応する静止画フレームを記録した箇所を特定し、特定した静止画フレームを取得する。
【0051】
送受信部130は、静止画フレーム取得部120が取得した静止画フレームを外部機器に送信するよう構成されている。送受信部130は、例えば、インターネット経由で静止画フレームを通信センター2に設けられた機器や、携帯電話などの携帯端末3や、他の車載用データ処理装置1や、PCなどに送信する。その他、赤外線通信などにより、携帯電話などの携帯端末3に送信してもよい。また、送受信部130は、他の車載用データ処理装置1や、通信センター2や、携帯端末3から送信されたデータを受信するよう構成される。
【0052】
本実施形態の車載用動画データ処理装置1は、重要な箇所として抽出した箇所の静止画を他の外部機器に送信することができる。このような装置によれば、事件発生時に警察用車両に乗車して事件現場にかけつけた警察官は、その場で、動画データの中の事件の様子を記録した箇所をサムネイル画像により迅速に確認することができるほか、気になった画像を警察本部や他の警察官の携帯端末などに送信できる。その結果、事件の早期解決を実現することが可能となる。
【0053】
また、本実施形態のデータ処理システムによれば、通信センター2を介して、重要な箇所として抽出した箇所の静止画を多数の他の外部機器に迅速に送信することができる。このようなシステムによれば、事件発生直後に事件現場にかつけた警察官が選択した捜査において重要な資料となる静止画を、その事件に従事する警察官の携帯端末や車載用データ処理装置に一斉に送信することが可能となり、事件の早期解決が実現される。
<<実施形態3>>
【0054】
図7に、本実施形態の車載用動画データ処理装置1の機能ブロック図の一例を示す。この車載用動画データ処理装置1は、動画データ取得部10と、抽出部20と、抽出箇所情報取得部30と、サムネイル画像生成部40と、表示部50と、箇所指定受付部60と、を有する。その他、送受信部130と、動画データ格納メモリと、を有してもよい。
【0055】
なお、動画データ取得部10、抽出箇所情報取得部30、サムネイル画像生成部40、表示部50、送受信部130の構成については、実施形態1、2と同様であるので、ここでの詳細な説明は省略する。以下、箇所指定受付部60、抽出部20の構成について説明する。
【0056】
箇所指定受付部60は、時間情報の中の所定箇所の指定入力を受付けるよう構成されている。ここでの時間情報とは、実施形態1で説明したように、例えば、動画データおよび音声データの記録開始時を0(ゼロ)として、そこからの経過時間を示すデータや、動画データおよび音声データの記録時の日時を示す時刻データなどが該当する。
【0057】
時間情報の中の所定箇所の指定入力を受付ける手段としては、例えば、動画データおよび音声データの記録開始時を0(ゼロ)として、そこからの経過時間の入力を受付ける手段が考えられる。または、動画データに、動画データ記録時の日時を示す時刻データが関連付けて記録されている場合には、日時の入力を受付けることで、所定箇所の指定入力を受付ける手段が考えられる。かかる場合の日時としては、例えば、事件発生時の日時や、事件発生の通知、例えば110番通報を受付けた日時などが考えられる。
【0058】
なお、箇所指定受付部60が110番通報を受付けた日時の入力を受付ける手段としては、次のような手段であってもよい。例えば、車載用動画データ処理装置1が、実施形態2で説明したように、通信センター2のサーバなどから110番通報を受付けた日時情報を取得可能に構成する場合には、通信センター2から取得した110番通報を受付けた日時情報を、所定箇所の指定入力として自動的に取得してもよい。または、ユーザから所定箇所として110番通報を受付けた日時情報の入力を受付けることで実現してもよい。
【0059】
本実施形態の抽出部20は、実施形態1、2の構成を基本とし、さらに、箇所指定受付部60が受付けた箇所から時間的に遡りながら、抽出を行うよう構成されている。具体的には、抽出部20は、以下のような処理を実行できるよう構成される。まず、箇所指定受付部60が受付けた箇所を示す情報を取得する。そして、取得した情報が、例えば、動画データ記録時の日時を示す時刻データであった場合には、その時刻データで特定される日時に記録された音声データの箇所を特定する。また、取得した情報が、例えば、動画データおよび音声データの記録開始時からの経過時間Tであった場合には、音声データの中の冒頭から時間T経過時点の箇所を特定する。その後、音声データの中の前記特定した箇所から時間的に遡りながら、基準値と、音声データの音声レベルとを大小比較していく。
【0060】
本実施形態の場合、サムネイル画像生成部40は、抽出部20が抽出処理を行い、抽出箇所情報取得部30が抽出箇所情報を取得するごとにサムネイル画像を生成し、表示部50は、サムネイル画像が生成されるごとにサムネイル画像の表示、更新を行うのが望ましい。
【0061】
このように構成すれば、指定された箇所から時間的に遡りながら抽出された重要な箇所のサムネイル画像を、随時表示していくことが可能となる。このような構成によれば、例えば、110番通報を受付けた日時を所定箇所として指定入力することで、その時点から遡りながら抽出された事件時の画像をより迅速に確認することが可能となり、事件の早期解決が実現される。
【0062】
なお、抽出部20は、箇所指定受付部60が受付けた箇所から時間的に後の音声データを、時系列に従って抽出を行うよう構成されてもよい。このような構成は、事件当事者が事件発生時の日時を記憶しており、事件発生時の時刻から後の動画データを利用してサムネイル画像を生成するような場合に有用である。
【0063】
次に、本実施形態の車載用動画データ処理装置1の処理の流れの一例について、図8のフローチャート図を用いて説明する。
【0064】
まず、時間情報を介して音声データが関連付けられている動画データを、音声データとともに取得する(動画データ取得ステップS10)。例えば、タクシー車内、コンビニエンスストア店舗内などの事件現場を音声データとともに記録した動画データを、リムーバブルメディアまたは録画装置から取得する。
【0065】
次に、動画データおよび音声データを関連付ける時間情報の中の所定箇所の指定入力を受付ける(箇所指定受付ステップS11)。例えば、動画データに、動画データ記録時の日時を示す時刻データが関連付けて記録されている場合には、事件発生時の日時や、事件発生の通知(例:110番通報)を受付けた日時などの日時情報の入力を受付ける。
【0066】
次に、箇所指定受付ステップS11で受付けた箇所から時間的に遡りながら、動画データ取得ステップS10で取得した動画データに関連付けられている音声データの中の、音声レベルが基準値より大きい箇所を一箇所以上抽出する(抽出ステップS20)。例えば、箇所指定受付ステップS11で日時情報の入力を受付けた場合には、音声データの中の前記日時情報で特定される日時に記録された箇所を特定し、特定した箇所から時間的に遡りながら、あらかじめ保持している基準値と前記音声データの音声レベルとを大小比較していき、音声データの中の音声レベルが基準値より大きい箇所を一箇所以上抽出する。
【0067】
また、抽出ステップS20で抽出した箇所を示す抽出箇所情報を取得する(抽出箇所情報取得ステップS30)。例えば、抽出ステップS20で、音声データの中の音声レベルが基準値より大きい箇所を抽出するごとに、抽出した箇所における音声データ記録開始時からの経過時間を示す情報を抽出箇所情報として取得する。
【0068】
次に、動画データ取得ステップS10で取得した動画データを利用し、抽出箇所情報で特定される静止画フレームのサムネイル画像を生成する(サムネイル画像生成ステップS40)。例えば、抽出箇所情報が音声データ記録開始時からの経過時間Tであった場合には、動画データの中の動画データ記録開始時から時間T経過時点の静止画フレームを特定する。そして、特定した静止画フレームを取り出すと、解像度を落とすなどの所定の処理を行い、サムネイル画像を生成する。このステップでは、抽出箇所情報取得ステップS30で取得したすべての抽出箇所情報を利用して、一以上のサムネイル画像を生成する。なお、このステップは、抽出ステップS20、および、抽出箇所情報取得ステップS30と並行して行われるのが望ましい。すなわち、抽出箇所情報取得ステップS30で抽出箇所情報を取得するごとに、サムネイル画像を生成するのが望ましい。
【0069】
次に、サムネイル画像生成ステップS40で生成した一以上のサムネイル画像を表示する(表示ステップS50)。例えば、ディスプレイにサムネイル画像を一覧表示したり、スライド表示したり、動画データおよび静止画データを利用(再生、拡大表示、送信など)するためのインターフェイス上に表示したりする。なお、このステップは、抽出ステップS20、および、抽出箇所情報取得ステップS30、および、サムネイル画像生成ステップS40と並行して行われるのが望ましい。すなわち、サムネイル画像生成ステップS40でサムネイル画像を生成するごとに、サムネイル画像を表示、および表示内容の更新を行うのが望ましい。
【0070】
このような処理は、例えば、時間情報を介して音声データが関連付けられている動画データを、前記音声データとともに取得する動画データ取得ステップと、前記動画データの中の所定箇所の指定入力を受付ける箇所指定受付ステップと、前記音声データの中の前記所定箇所から時間的に遡りながら、音声レベルが基準値より大きい箇所を一箇所以上抽出する抽出ステップと、前記抽出した箇所を示す抽出箇所情報を取得する抽出箇所情報取得ステップと、前記動画データを利用し、前記抽出箇所情報で特定される静止画フレームのサムネイル画像を生成するサムネイル画像生成ステップと、前記サムネイル画像を表示する表示ステップと、をコンピュータに実行させるためのプログラムにより実現することができる。
【0071】
本実施形態の車載用動画データ処理装置1およびコンピュータプログラムによれば、様々な場所において防犯目的などで記録された動画データの中の重要な箇所をより迅速に見つけ出し、表示することができる。
<<実施形態4>>
【0072】
本実施形態の車載用動画データ処理装置1は、実施形態3の車載用動画データ処理装置1を基本とし、抽出部20の構成が一部異なる。以下、本実施形態の抽出部20の構成について説明する。なお、その他の構成については実施形態1、2、3における説明と同様であるので、ここでの詳細な説明は省略する。
【0073】
本実施形態の抽出部20は、箇所指定受付部60が受付けた箇所から所定時間内の音声データを対象にして、抽出を行うよう構成される。なお、本実施形態の抽出部20においても、箇所指定受付部60が受付けた箇所から時間的に遡りながら抽出を行うよう構成することも可能であるが、本実施形態の抽出部20の場合、この構成は必須でない。
【0074】
ここで、「箇所指定受付部60が受付けた箇所から所定時間内」とは、箇所指定受付部60が受付けた箇所の時点(以下、「指定時点」という)から前後いずれの所定時間であってもよく、例えば、指定時点から前後30分であってもよいし、指定時点よりも前の45分であってもよいし、指定時点よりも後の45分であってもよい。この所定時間を決定するためのルールはあらかじめ定まっており、抽出部20は、あらかじめ保持しているルール(例:指定時点から前後30分)に従い所定時間を決定してもよい。または、箇所指定受付部60がユーザから所定箇所の指定入力を受付けるのとあわせて、所定時間を決定するための情報の入力(例:指定時点から前何分、後何分にするかの入力)をも受付け、ユーザ入力に従い所定時間を決定してもよい。
【0075】
本実施形態の車載用動画データ処理装置1によれば、サムネイル画像の生成などの処理対象となるデータを絞り込むことが可能となるので、車載用動画データ処理装置1のデータ処理に要する時間を短縮することが可能となり、事件の様子を記録した画像をより迅速に確認することが可能となる。
【0076】
なお、本実施形態の車載用動画データ処理装置1の処理の流れについては、実施形態3に準じて実現できるので、ここでの詳細な説明は省略する。
<<実施形態5>>
【0077】
図9に、本実施形態の車載用動画データ処理装置1の機能ブロック図の一例を示す。この車載用動画データ処理装置1は、動画データ取得部10と、抽出部20と、抽出箇所情報取得部30と、サムネイル画像生成部40と、表示部50と、リムーバブルメディア検知部70と、を有する。その他、動画データ格納メモリを有してもよい。
【0078】
なお、抽出部20、抽出箇所情報取得部30、サムネイル画像生成部40、表示部50の構成については、実施形態1、2、3、4と同様であるので、ここでの詳細な説明は省略する。以下、リムーバブルメディア検知部70、動画データ取得部10の構成について説明する。
【0079】
リムーバブルメディア検知部70は、動画データ取得部10が動画データを取得可能な所定位置(以下、単に「所定位置」という)に、動画データを記録したリムーバブルメディアが配置されたことを検知するよう構成されている。所定位置とは、車載用動画データ処理装置1とリムーバブルメディアとがデータのやり取り可能となる位置である。すなわち、リムーバブルメディア検知部70は、CD、DVDなどのリムーバブルメディアが、所定のトレイに載置され、トレイの収納に伴い、車載用動画データ処理装置1とデータのやり取り可能となる所定位置に配置されると、それを検知する。また、リムーバブルメディア検知部70は、SDカード、USBメモリ、CD、DVDなどのリムーバブルメディアが車載用動画データ処理装置1とデータのやり取り可能となる所定位置に差し込まれると、それを検知する。車載用動画データ処理装置1は、リムーバブルメディアの種類に応じて、リムーバブルメディアを収納する所定位置を複数設けてもよい。
【0080】
動画データを記録したリムーバブルメディアが所定位置に配置されたことを検知する手段としては特段制限されず、例えば、赤外線センサなどを利用して検知してもよいし、または、リムーバブルメディアを収納するために設けられた所定位置に、リムーバブルメディアの収納に起因して物理的に押下されるよう構成されたボタンを設けておき、このボタンが押下されたのを電気的に検知することで、リムーバブルメディアの所定位置への配置を検知してもよい。
【0081】
本実施形態の動画データ取得部10は、リムーバブルメディア検知部70がリムーバブルメディアの所定位置への配置を検知したことをトリガに、リムーバブルメディアからの動画データの取得を開始するよう構成されている。
【0082】
このような本実施形態の車載用動画データ処理装置1は、ユーザの操作の量を少なくすることを実現したユーザフレンドリーな装置である。本実施形態の車載用動画データ処理装置1によれば、例えば、事件現場に到着した警察官は、事件当事者から防犯用に動画データを記録したリムーバブルメディアを受け取ると、受け取ったリムーバブルメディアを車載用動画データ処理装置1の所定位置にセットするだけで、迅速に、事件の様子を記録したサムネイル画像を確認することが可能となる。
<<実施形態6>>
【0083】
図10に、本実施形態の車載用動画データ処理装置1の機能ブロック図の一例を示す。この車載用動画データ処理装置1は、動画データ取得部10と、抽出部20と、抽出箇所情報取得部30と、サムネイル画像生成部40と、表示部50と、第一選択受付部80と、特定部90と、再生部100と、を有する。その他、動画データ格納メモリを有してもよい。
【0084】
なお、動画データ取得部10、抽出部20、抽出箇所情報取得部30、サムネイル画像生成部40、表示部50の構成については、実施形態1、2、3、4、5と同様であるので、ここでの詳細な説明は省略する。以下、第一選択受付部80、特定部90、再生部100の構成について説明する。
【0085】
まず、図11に、本実施形態の表示部50がサムネイル画像を表示する態様の一例を示す。図11の表示画面では、5枚のサムネイル画像を一覧表示している。なお、図11の表示画面は、動画データ取得部10が取得した動画データを所定の位置から再生表示するためのインターフェイスとなっている。すなわち、各サムネイル画像の下方に設けられた「再生する」の選択入力を受付けると、動画データ取得部10が取得した動画データを利用し、各サムネイル画像を記録した箇所を開始位置として、再生表示を開始する。以下、このような処理を実現する構成について説明する。なお、図11におけるその他の表示内容については、実施形態2で説明したもの(図6)と同様であるのでここでの詳細な説明は省略する。
【0086】
第一選択受付部80は、表示部50が表示するサムネイル画像の中から一つのサムネイル画像の選択を受付けるよう構成されている。例えば、図11のように表示されている複数のサムネイル画像の中から、一つのサムネイル画像の選択入力を受付ける。選択入力を受付ける手段としては特段制限されず、例えばタッチパネル入力により受付けてもよい。または、サムネイル画像を表示している画面にカーソルなどのポインタを表示しておき、ポインタを利用して一つのサムネイル画像の選択入力を受付けてもよい。図11の場合には、各サムネイル画像の下方に表示された「再生する」のボタンに対して、例えばタッチパネル入力すると、第一選択受付部80は、一つのサムネイル画像の選択を受付ける。
【0087】
特定部90は、動画データ取得部10が取得した動画データの中の、第一選択受付部80が選択を受付けたサムネイル画像が表示される箇所を特定するよう構成されている。ここでの「箇所」とは、時系列に複数のデータを記録した動画データの中のある時点における一フレーム分の静止画フレームデータが該当する。
【0088】
特定部90における前記特定を実現する手段としては、例えば、次のような処理であってもよい。サムネイル画像生成部40は、サムネイル画像を生成すると、その画像の動画データの中における箇所を示す情報(例:動画データの記録開始時からの経過時間)を、生成したサムネイル画像と関連付けて車載用動画データ処理装置1内の内部メモリに保存する。そして、特定部90は、第一選択受付部80が選択を受付けたサムネイル画像を識別すると、サムネイル画像生成部40が保存した動画データの中における箇所を示す情報の中から、識別したサムネイル画像を関連付けられている情報を取得する。なお、この処理はあくまで一例であり、その他の手段により特定部90の特定を実現してもよい。
【0089】
再生部100は、特定部90が特定した箇所以降の動画を再生表示するよう構成されている。すなわち、再生部100は、動画データ取得部10が動画データ格納メモリまたはリムーバブルメディアから取り出した動画データを取得する。また、特定部90から、動画データの中の特定した箇所を示す情報(例:冒頭部分からの経過時間)を取得する。そして、前記情報で特定される箇所以降のフレームのデータを順次VRAMに展開してディスプレイに表示し、あわせて、スピーカを介して音声を出力する。
【0090】
本実施形態の車載用動画データ処理装置1は、重要な箇所として抽出した箇所以降の動画を再生表示することができる。このような装置によれば、事件発生直後に警察用車両に乗車して事件現場にかけつけた警察官は、その場で、動画データの中の事件の様子を記録した箇所をサムネイル画像により迅速に確認することができるほか、気になったサムネイル画像以降の動画を確認することが可能となる。このように、従来にない効率的な動画データの活用が可能となる。
【符号の説明】
【0091】
1 車載用動画データ処理装置
2 通信センター
3 携帯端末
10 動画データ取得部
20 抽出部
30 抽出箇所情報取得部
40 サムネイル画像生成部
50 表示部
60 箇所指定受付部
70 リムーバブルメディア検知部
80 第一選択受付部
90 特定部
100 再生部
110 第二選択受付部
120 静止画フレーム取得部
130 送受信部

【特許請求の範囲】
【請求項1】
時間情報を介して音声データが関連付けられている動画データを、前記音声データとともに取得する動画データ取得部と、
前記音声データの中の、音声レベルが基準値より大きい箇所を一箇所以上抽出する抽出部と、
前記抽出した箇所を示す抽出箇所情報を取得する抽出箇所情報取得部と、
前記動画データのうち、前記抽出箇所情報で特定される静止画フレームのサムネイル画像を生成するサムネイル画像生成部と、
前記サムネイル画像を表示する表示部と、
を有する車載用動画データ処理装置。
【請求項2】
前記時間情報の中の所定箇所の指定入力を受付ける箇所指定受付部をさらに有し、
前記抽出部は、
前記箇所指定受付部が受付けた箇所から時間的に遡りながら、前記抽出を行う請求項1に記載の車載用動画データ処理装置。
【請求項3】
前記動画データには、動画データ記録時の日時を示す時刻データが関連付けて記録されており、
前記箇所指定受付部は、
日時情報の入力を受付けることで、前記時間情報の中の所定箇所の指定を受付ける請求項2に記載の車載用動画データ処理装置。
【請求項4】
前記動画データ取得部が動画データを取得可能な所定位置に、前記動画データを記録したリムーバブルメディアが配置されたことを検知するリムーバブルメディア検知部をさらに有し、
前記動画データ取得部は、
前記リムーバブルメディア検知部が前記リムーバブルメディアの前記所定位置への配置を検知したことをトリガに、前記リムーバブルメディアからの動画データの取得を開始する請求項1から4のいずれか一に記載の車載用動画データ処理装置。
【請求項5】
前記表示部が表示するサムネイル画像の中から一つのサムネイル画像の選択を受付ける第一選択受付部と、
前記動画データの中の、前記第一選択受付部が選択を受付けた前記サムネイル画像が表示される箇所を特定する特定部と、
前記特定部が特定した箇所以降の動画を再生表示する再生部と、
をさらに有する請求項1から4のいずれか一に記載の車載用動画データ処理装置。
【請求項6】
前記表示部が表示するサムネイル画像の中から一つ以上のサムネイル画像の選択を受付ける第二選択受付部と、
前記第二選択受付部が選択を受付けた前記サムネイル画像に対応する前記動画データの中の静止画フレームを取得する静止画フレーム取得部と、
前記静止画フレームを外部機器に送信する送受信部と、
をさらに有する請求項1から5のいずれか一に記載の車載用動画データ処理装置。
【請求項7】
請求項6に記載の車載用動画データ処理装置と、
前記車載用動画データ処理装置の前記送受信部が送信した前記静止画フレームを受信し、受信した前記静止画フレームを一以上の端末装置に送信する通信センターと、
からなるデータ処理システム。
【請求項8】
警察用車両に搭載される請求項1から6のいずれか一に記載の車載用動画データ処理装置。
【請求項9】
時間情報を介して音声データが関連付けられている動画データを、前記音声データとともに取得する動画データ取得ステップと、
前記音声データの中の、音声レベルが基準値より大きい箇所を一箇所以上抽出する抽出ステップと、
前記抽出した箇所を示す抽出箇所情報を取得する抽出箇所情報取得ステップと、
前記動画データのうち、前記抽出箇所情報で特定される静止画フレームのサムネイル画像を生成するサムネイル画像生成ステップと、
前記サムネイル画像を表示する表示ステップと、
をコンピュータに実行させるためのプログラム。
【請求項10】
時間情報を介して音声データが関連付けられている動画データを、前記音声データとともに取得する動画データ取得ステップと、
前記時間情報の中の所定箇所の指定入力を受付ける箇所指定受付ステップと、
前記音声データの中の前記所定箇所から時間的に遡りながら、音声レベルが基準値より大きい箇所を一箇所以上抽出する抽出ステップと、
前記抽出した箇所を示す抽出箇所情報を取得する抽出箇所情報取得ステップと、
前記動画データを利用し、前記抽出箇所情報で特定される静止画フレームのサムネイル画像を生成するサムネイル画像生成ステップと、
前記サムネイル画像を表示する表示ステップと、
をコンピュータに実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2010−288020(P2010−288020A)
【公開日】平成22年12月24日(2010.12.24)
【国際特許分類】
【出願番号】特願2009−139480(P2009−139480)
【出願日】平成21年6月10日(2009.6.10)
【出願人】(000004237)日本電気株式会社 (19,353)
【Fターム(参考)】