説明

画像再生装置及び画像記録再生装置

【課題】画像取得装置で記録した画像を再生する際に、使用者にとって必要度の低い画像をスキップして再生させることができる使いやすい装置を提供する。
【解決手段】画像取得装置10で取得した画像を画像データとして記憶装置20に記憶させるとともに、その画像データをスキップして表示装置30に表示させる際の基準となる情報であって、画像取得装置10で取得する画像に時間的に関連付けられた、再生画像データ以外の情報を、情報取得装置40で取得し、記憶装置20に記憶させる。そして、使用者が設定スイッチ60で設定したスキップ開始時刻を取得し、スキップ開始時刻における情報(情報取得装置40にて取得した情報)と、それに後続する情報とを時間的に近いものから順次比較して類似度を算出し、算出した類似度が所定の閾値以下となった時点まで、記憶装置20に記憶された画像データをスキップさせて表示装置30に表示させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラ等で撮影した記録画像の再生技術に関する。
【背景技術】
【0002】
従来、ドライブレコーダなどのように、車載カメラで取得した画像を長時間にわたって画像データとして記憶装置に記憶しておくデータ記録装置がある。このようなデータ記録装置では、長時間にわたって画像データを記憶させておくことができるので、記憶された画像データを再生して表示することにより、使用者は、車両の走行状態を目視確認しながら、何らかのイベント、例えば、車両の停止や発進、或いは事故などの発生や走行している道路のカーブの状態などを確認することができるようになっている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−76050号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところが、長時間にわたって記憶装置に画像データが記憶されているので、記憶されている画像データ中にどのようなイベントが発生しているのかを確認したい場合や走行中の道路の変化やドライバの行動の変化の状態を確認したい場合には、記憶されている画像データを長時間にわたって再生し、使用者が目視で確認しなければならず、使用者にとって使いづらいデータ記録装置となるという問題がある。
本発明は、こうした問題に鑑みなされたもので、画像取得装置で記録した画像を再生する際に、使用者にとって必要度の低い画像をスキップして再生させることができる使いやすい装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。
【0006】
上記「発明が解決しようとする課題」において述べた問題を解決するためになされた請求項1に記載の画像再生装置(5)は、画像取得装置(10)で取得した画像データを記憶し、記憶した画像データに基づいて表示する表示手段を具備した画像再生装置(5)であって、設定手段(60)及び制御手段(50)を備えている。
【0007】
制御手段(50)は、画像データの再生中に、画像取得装置(10)で取得した画像データと時間的に関連付けられた、再生画像データ以外の情報を取得・記憶する情報取得装置(40)から情報を取得し、設定手段(60)で設定されたスキップ開始時点における情報取得装置(40)から取得した情報と、それに後続する情報とを時間的に近いものから順次比較して類似度を求め、類似度が所定の閾値以下となった時点から時間的に対応する画像データを表示手段(30)に表示する。
【0008】
このような、画像再生装置(5)によれば、データを再生する際に使用者にとって必要度が低い画像をスキップして再生させることができる。以下、説明する。
上記画像再生装置(5)では、画像取得装置(10)で取得され、画像記憶手段(20)に記憶された画像データの再生中に、画像取得装置(10)と時間的に関連付けられた、再生画像データ以外の情報が情報取得装置(40)から取得される。
【0009】
そして、設定手段(60)で設定されたスキップ開始時点における情報取得装置(40)から取得した情報と、それに後続する情報とを時間的に近いものから順次比較して類似度が求められる。
【0010】
求められた類似度が所定の閾値以下となった時点から時間的に対応する画像データが表示手段(30)に表示される。
つまり、設定手段(60)で設定されたスキップ開始時点から、情報の類似度が所定の値以下となる時点まで、画像データがスキップされ、スキップ後の画像データが表示手段(30)に表示される。
【0011】
ここで、スキップ開始時点の情報に対して、類似度が閾値よりも大きい情報とは、変化が少ない情報であることを意味している。さらに、情報取得手段(40)から入力された情報は、画像取得装置(10)で取得された画像に時間的に関連付けられた情報であり、かつ、画像記憶手段(20)に記憶された画像データを表示手段(30)で表示する際に、画像データをスキップして表示させる際の基準となる情報である。
【0012】
したがって、スキップ開始時点から情報の類似度が所定の閾値以下となった時点まで、入力された画像データをスキップさせて表示させれば、画像データの表示をする際に基準となる情報の変化が少ない部分をスキップして表示することができることになる。
【0013】
一般的に画像を再生させる場合には、画像データの表示をする際に基準となる情報の変化の少ない画像は、使用者にとって必要度が少ない場合が多い。したがって、その部分の画像を、使用者が設定したスキップ開始時点からスキップすることにより、使用者は必要度が少ない画像を見る必要がなくなるので、使用者にとって使いやすい画像再生装置(5)とすることができる。
【0014】
ところで、画像を表示する際に画像データをスキップするだけでなく、スキップした画像データを削除して記憶しておくと、後で再度再生する場合に使用者にとって必要度の低い画像データが再生されないので便利である。
【0015】
そこで、請求項2に記載のように、制御手段(50)は、スキップ開始時点から類似度が所定の閾値以下となった時点までの画像を削除し、画像記憶手段(20)に記憶させるようにするとよい。
【0016】
このようにすると、スキップした画像データが削除された状態で画像記憶手段(20)に記憶されるので、後で再度再生する場合に必要度の低い画像データが再生されないので便利であり、また、画像記憶手段(20)に記憶させる画像データの容量を小さくすることができる。
【0017】
ここで、スキップした画像データを削除した状態で記憶手段に記憶する場合、画像取得装置(10)で取得し、記憶した画像データの記憶領域に記憶(いわゆる上書き)してもよいし、別の記憶領域や別の記憶手段に記憶してもよい。
【0018】
また、制御手段(50)の類似度算出工程における情報の類似度の求め方には種々の方法があるが、請求項3に記載のように、情報取得手段(40)から入力された情報を所定の時間長のフレームで区切り、その区切ったフレームごとに情報の特徴量を算出し、算出した特徴量をフレームごとに比較して類似度を求めるようにするとよい。
【0019】
このようにすると、所定の時間長を有するフレームを単位として情報の特徴量を算出することができるので、従来の特徴量算出方法を用い容易に情報の特徴量を算出することができる。
【0020】
また、類似度算出工程における特徴量は、請求項4に記載のように、フレームごとの特徴量を時系列アクティブ探索法に用いられるヒストグラム特徴とし、類似度をヒストグラム特徴間の類似度尺度であるヒストグラム重なり率であるようにすると、比較的容易で正確に情報の類似度を算出することができる。
【0021】
ところで、従来、データ記録装置として、イベント起動型のものがある。このイベント起動型のデータ記録装置では、発生したイベントをトリガとして画像の記録を開始するため、イベントを正確に取得できない場合、例えば、加速度センサで事故の衝撃を取得して画像の記録を開始するような場合、加速度センサで検出した加速度の変化が想定よりも少なかったときに、加速度センサによる事故の衝撃が検出できず、画像データが記憶されないようなケースが発生するという問題がある。
【0022】
一方、イベントを取得しないで画像を記録する場合には、長時間にわたって記憶装置に画像データが記憶されることになる。したがって、記録した画像中にどのようなイベントが発生しているのかを確認したい場合には、記録した画像を長時間にわたって使用者が目視で確認しなければならず、使用者にとって使いづらいデータ記録装置となるという問題がある。
【0023】
この問題を解決するためには、請求項5に記載の画像記録再生装置のようにするとよい。つまり、請求項1〜請求項4の何れかに記載の画像再生装置(5)、画像取得装置(10)、画像記憶手段(20)及び情報取得手段(40)を備えるようにする。
【0024】
画像取得装置(10)は、画像を取得するものであり、画像記憶手段(20)は、画像取得装置(10)で取得した画像を画像データとして記憶し、その記憶した画像データを画像再生装置(5)へ出力するものである。
【0025】
また、情報取得手段(40)は、画像記憶手段(20)に記憶された画像データを再生し、画像再生装置(5)の表示手段(30)で表示する際に、画像データをスキップして表示させる際の基準となる情報であって、画像取得装置(10)で取得する画像に時間的に関連付けられた、再生画像データ以外の情報を取得し、画像再生装置(5)へ出力するものである。
【0026】
このような画像記録再生装置(1)では、画像取得装置(10)で取得された画像が画像データとして記憶される。したがって、使用者が必要とする画像を確実に記録することができる。
【0027】
また、画像を再生する際には、使用者にとって必要度が低い画像データをスキップして表示することができる使いやすい画像記録再生装置(1)とすることができる。
さらに、請求項6に記載のように、画像取得装置(10)は、少なくとも車両前方の画像を含む車両の周囲画像を取得可能に車両に備えられ、情報取得手段(40)は、車両走行状態を直接的又は間接的に示す情報を取得するようにするとよい。
【0028】
このようにすると、車両走行状態を示す情報のスキップ開始時点から後の類似度が所定の閾値以下となった場合、つまり、車両走行状態を示す情報の変化が所定の閾値を上回った場合に、少なくとも車両前方の画像を含む車両の周囲画像がスキップされて表示される画像再生装置(5)となる。
【0029】
換言すれば、画像取得装置(10)で取得した画像をスキップ表示することができる使いやすいドライブ画像の再生装置とすることができる。
ここで、「車両走行状態を直接的又は間接的に示す情報」とは、以下の(1)〜(6)に示す情報を意味している。
【0030】
(1)車両位置、車両速度、車両加速度などの車両の走行中の状態量を示す情報(車両走行状態を直接的に示す情報)
(2)車両のステアリング角度、アクセル踏み込み量、ブレーキ踏み込み量などの運転者が操作する車両の操作量を示す情報(車両走行状態を間接的に示す情報)
(3)運転者の心拍数、皮膚電位、発汗量、呼吸数などの生体情報(車両走行状態を間接的に示す情報)
(4)車内における運転者と同乗者との会話、車載装置に対する指定発話などの音声情報(車両走行状態を間接的に示す情報)
(5)GPS情報、車車間通信情報、レーダを用いた車間距離情報、道路交通情報などの車両周囲環境情報(車両走行状態を間接的に示す情報)
(6)車室内の画像情報、運転者の表情画像など再生対象以外の画像情報(車両走行状態を間接的に示す情報)
【図面の簡単な説明】
【0031】
【図1】第1実施形態における画像記録再生装置の概略の構成を示すブロック図である。
【図2】制御処理の流れを示すフローチャートである。
【図3】スキップ表示処理の流れを示すフローチャートである。
【図4】特徴量算出処理の流れを示すフローチャートである。
【図5】特徴量算出処理の内容を示す説明図である。
【図6】類似度算出処理の流れを示すフローチャートである。
【図7】類似度算出処理の内容を示す説明図である。
【図8】画像データの表示をする際に基準となる情報に基づいて、画像データを、スキップして表示する様子の例を示す図である。
【発明を実施するための形態】
【0032】
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
[第1実施形態]
図1は、本発明が適用された画像記録再生装置1の概略の構成を示すブロック図である。
【0033】
画像記録再生装置1は、画像再生装置5、画像取得装置10、記憶装置20及び情報取得装置40を備えている。
画像取得装置10は、画像を取得するためのカメラであり、CCDカメラ、撮像管を用いたカメラ、赤外線カメラなどであり、少なくとも車両前方の画像を含む車両の周囲画像を取得可能に車両の前部ボンネットや車室内の前部などに備えられている。
【0034】
記憶装置20は、画像取得装置10で取得した画像を画像データとして記憶するとともに情報取得装置40で取得した情報を記憶し、その記憶した画像データ及び情報を画像再生装置5へ出力する装置であり、ハードディスク装置や大容量の半導体記憶装置である。
【0035】
情報取得装置40は、記憶装置20に記憶された画像データを、画像再生装置5の表示装置30で表示する際に、画像データをスキップして表示させる際の基準となる情報であって、画像取得装置10で取得する画像に時間的に関連付けられた、再生画像データ以外の情報を取得し、画像再生装置5へ出力する装置である。
【0036】
情報取得装置40は、車両速度センサ43、進行方向加速度センサ45、横方向加速度センサ46、ブレーキ踏力センサ41、アクセル踏力センサ42、ステアリング角センサ44を備えている。
【0037】
車両速度センサ43は、車両の速度を検出するための速度計であり、進行方向加速度センサ45は、車両の進行方向の加速度を検出するように車両に設置された加速度計であり、横方向加速度センサ46は、車両の進行方向に対して水平面直角方向の加速度を検出するように車両に設置された加速度計である。
【0038】
ブレーキ踏力センサ41は、運転者がブレーキペダルを踏む力を検出するためにブレーキペダルに設置された圧力センサであり、アクセル踏力センサ42は、運転者がアクセルペダルを踏む力を検出するためにアクセルペダルに設置された圧力センサである。
【0039】
ステアリング角センサ44は、ステアリングの角度を検出するポテンショメータなどの角度センサである。
つまり、情報取得装置40は、画像データをスキップして表示させる際の基準となる情報として、車両の走行状態を直接的に示す情報である車両の速度(車両速度センサ43にて検出)、車両の進行方向の加速度(進行方向加速度センサ45にて検出)及び車両の横方向の加速度(横方向加速度センサ46にて検出)を検出している。
【0040】
また、車両走行状態を間接的に示す情報として、ブレーキ踏力(ブレーキ踏力センサ41にて検出)、アクセル踏力(アクセル踏力センサ42にて検出)及び車両のステアリング角(ステアリング角センサ44にて検出)を検出している。
【0041】
画像再生装置5は、表示装置30、制御装置50及び設定スイッチ60を備えている。
表示装置30は、画像取得装置10で取得した画像を画像データとして記憶するための記憶装置20から画像データを入力して表示する装置であり、液晶ディスプレイ、有機ELディスプレイ或いはCRTディスプレイ等の表示装置である。
【0042】
制御装置50は、図示しないCPU、ROM、RAM及びI/Oを備えており、ROMに格納された制御処理プログラムにより以下の(ア)〜(エ)に示す処理を実行する。
(ア)記憶装置20に記憶された画像データを表示装置30で表示する際に、画像データをスキップして表示させる際の基準となる情報であって、画像取得装置10で取得する画像に時間的に関連付けられた、再生画像データ以外の情報を取得する情報取得装置40において取得された情報を入力する(データ入力処理工程)。
【0043】
具体的には、情報取得装置40から入力した情報(前述の車両の速度等)を、同時刻に画像取得装置10から取得した画像データとともに記憶装置20に記憶させる。
このように、情報取得装置40から入力した情報を同時刻に画像取得装置10から取得した画像データとともに記憶装置20に記憶させることにより、情報取得装置40から入力する情報と画像取得装置10で取得する画像とを時間的に関連付けるのである。
【0044】
(イ)記憶装置20から入力された画像データを表示装置30で表示する際に、画像データをスキップさせて表示する場合のスキップ開始時点において、情報取得装置40から入力された情報と、それに後続する情報とを時間的に近いものから順次比較して類似度を求める(類似度算出処理工程)。
【0045】
ここで、類似度は、情報取得装置40から入力された情報を所定の時間長のフレームで区切り、その区切ったフレームごとに情報の特徴量を算出し、その算出した特徴量をフレームごとに比較することによって求める。
【0046】
具体的には、特徴量は、時系列アクティブ探索法に用いられるヒストグラム特徴であり、類似度は、ヒストグラム特徴間の類似度尺度であるヒストグラム重なり率である。
(ウ)(イ)において求めた類似度が所定の閾値以下となった時点まで、記憶装置20から入力された画像データをスキップ開始時点からスキップさせて表示させる(スキップ処理工程)。
【0047】
(エ)画像データのスキップは、設定スイッチ60の状態により行う。つまり、設定スイッチ60の状態を取得し、設定スイッチ60がスキップ開始状態になっていた場合、その時刻をスキップ開始時点として、記憶装置20に記憶された画像データのスキップを行う。
【0048】
設定スイッチ60は、画像データのスキップ開始時点を使用者が設定するためのスイッチであり、プッシュスイッチ、レバースイッチなど使用者が操作している間のみオンとなるスイッチである。
【0049】
(制御装置50における処理)
次に、図2に基づいて、制御装置50において実行される制御処理について説明する。図2は、制御処理の流れを示すフローチャートである。
【0050】
制御処理は図2に示すように、S100において、使用者が再生したいとして表示装置30に入力した画像ファイルの名称(再生画像ファイル名)が取得され、続くS105では、S100において取得された再生画像ファイル名の画像データの一部である再生開始時刻データが記憶装置20から取得される。
【0051】
続くS110では、S105において取得された再生開始時刻データに再生開始時刻の指定があるか否かが判定される。そして、再生開始時刻の指定がないと判定された場合(S110:No)、処理がS115へ移行され、再生開始時刻の指定があると判定された場合(S110:Yes)、処理がS120へ移行される。
【0052】
S115では、記憶装置20の再生画像ファイルの先頭を起点として画像データが読み出される。また、S120では、記憶装置20の再生画像ファイルから再生開始時刻を起点に画像データが読み出される。
【0053】
続くS125では、S115又はS120において読み出された画像データが表示装置30へ表示される。
続くS130では、S125において表示されている画像データファイルが終端となったか否かが判定される。そして、ファイル終端であると判定された場合(S130:Yes)、処理がS155へ移行され、ファイル終端でないと判定された場合(S130:No)には、処理がS135へ移行される。
【0054】
S135では、設定スイッチ60の状態、つまり、表示装置30で表示させている画像データをスキップさせるか否かのどちらに設定スイッチ60が設定されているかが取得される。
【0055】
続くS140では、S135において取得された設定スイッチ60の状態が画像データをスキップするように設定されているか否かが判定される。そして、スキップ設定がされている場合(S140:Yes)、処理がS145へ移行され、スキップ設定がされていない場合(S140:No)には、処理がS125へ戻され、画像データの表示が継続される。
【0056】
S145では、S135においてスキップ設定された時刻を始点に記憶装置20から情報が読み出され、続くS150においてスキップ表示がなされる。この処理は、スキップ表示処理として詳細を後述する。そして、S150におけるスキップ表示処理がなされた後、処理がS125へ戻される。
【0057】
S155では、表示装置30にファイル終端表示がなされた後、本制御処理が終了される。
(スキップ表示処理)
次に、図3に基づき、スキップ表示処理について説明する。図3は、スキップ表示処理の流れを示すフローチャートである。
【0058】
スキップ表示処理では、図3に示すように、S200において、スキップ開始時刻からx秒分の情報から特徴量が算出される。S200において算出される特徴量を参照特徴量と呼ぶ。また、この処理を特徴量算出処理として詳細を後述する。
【0059】
続くS205では、特徴量の算出区間をy秒ずらして、算出した特徴量とS200において算出した参照特徴量とを比較し、類似度を算出する。この処理は、類似度算出処理として詳細を後述する。
【0060】
続くS210では、S205において算出した類似度が所定の閾値以下か否かが判定される。そして、類似度が閾値以下であると判定された場合(S210:Yes)、処理がS215へ移行され、類似度が閾値より大きいと判定された場合(S210:No)には、処理が205へ移行され、特徴量の算出区間をさらにy秒ずらして、参照特徴量との間で類似度が算出される。
【0061】
S215では、所定の閾値以下となった時刻がスキップする時刻として設定され、続くS220では、スキップ開始時刻から、S215において設定された時刻まで画像データがスキップされて表示された後、処理が図2に示す制御処理へ戻される。
【0062】
(特徴量算出処理)
次に、図4及び図5に基づき、特徴量算出処理について説明する。図4は、特徴量算出処理の流れを示すフローチャートであり、図5は、特徴量算出処理の内容を示す説明図である。なお、図5においては、説明を分かりやすくするため、情報取得装置40で取得する情報のうち、ブレーキ踏力、アクセル踏力、車速、ステアリング角のみを示している。
【0063】
特徴量算出処理では、図4に示すように、S300において、情報取得装置40の各センサから得られた複数の情報である、ブレーキ踏力、アクセル踏力、車速及びステアリング角の値を時刻ごとに並べたものがベクトル系列と見なされ、図5(a)においてαで示されるようにベクトル量子化され、符号系列化される。
【0064】
つまり、ある時刻において各センサで得られた4つの情報を1つのベクトルとみなし、そのベクトルがどの分類に属しているかによって、ベクトルに分類番号を付す。このときに付された番号を時系列順に並べたものが図5(a)の下欄に記載されている符号系列である。
【0065】
このようにして、ある時刻の複数(図5では4つ)の情報をベクトルとみなして分類していくことにより符号系列化するのである。
続く、S305では、S300においてベクトル量子化されてできた符号系列に、図5(a)においてβで示されるように指定長(x秒)の窓がかけられ、続くS310では、S305においてかけられた各窓内の符号の出現頻度のヒストグラムが算出される。
【0066】
つまり、図5(b)の横軸はベクトルの分類番号を示しており、縦軸は、その算出窓内における各分類番号のベクトルが現れた頻度を示している。
このようにして算出されたヒストグラムが、ヒストグラム特徴(HX)とされた後、処理が図3に示すスキップ表示処理へと戻される。
【0067】
(類似度算出処理)
次に、図6及び図7に基づき、類似度算出処理について説明する。図6は、類似度算出処理の流れを示すフローチャートであり、図7は、類似度算出処理の内容を示す説明図である。
【0068】
類似度算出処理では、S400において照合する2つのヒストグラム特徴量HAとHBの各符号の出現回数の小さい方の総和がとられる。
具体的には、図7の(a)に示すスキップ開始時刻における参照特徴量であるヒストグラム特徴量HAと、図7の(b)に示す、y秒ずらして算出した特徴量であるヒストグラム特徴量HBとが、図7の(c)に示すように重ね合わせられる。そして、2つのヒストグラムの重なりのある部分(図7(c)の黒塗りの部分)が求められる。
【0069】
続くS405では、S400において求められたヒストグラム特徴HAとHBの各符号の出現回数の小さい方の総和、つまり2つのヒストグラムの重なりのある部分(図7(c)の黒塗りの部分)がヒストグラムの総度数で割られ、ヒストグラムの重なり率として算出された後、処理が図3に示すスキップ表示処理へと戻される。
【0070】
(画像記録再生装置1の特徴)
以上に説明した画像記録再生装置1では、画像取得装置10で取得された画像が画像データとして記憶装置20に記憶される。したがって、使用者が必要とする画像を確実に記録することができる。
【0071】
また、記憶装置20から入力された画像データを表示装置30で表示する際に、画像データをスキップさせて表示する場合のスキップ開始時点において、情報取得装置40から入力された情報と、それに後続する情報とを時間的に近いものから順次比較して類似度が求められ、情報間の類似度が所定の閾値以下となった時点が求められる。
【0072】
そして、スキップ開始時点から情報の類似度が所定の閾値以下となった時点まで、入力された画像データをスキップさせて表示させているので、画像データの表示をする際に基準となる情報の変化が少ない部分をスキップして表示することができる。
【0073】
このように画像データを、画像データの表示をする際に基準となる情報に基づいてスキップして表示する様子を図8に示す。図8では、画像データとして、車両の前方を撮影できるように車室内に搭載したカメラ(画像取得装置10に相当)で取得した画像データを用い、スキップの基準となる情報として、ブレーキ画像データと同時に取得した、ブレーキ踏力、アクセル踏力、車速、ステアリング角、進行方向加速度及び横方向加速度を用いている。
【0074】
図8において、使用者が画像をスキップしたいと考え、設定スイッチ60(図1参照)を操作した時点であるA点から約80秒間は、ブレーキ踏力から横方向加速度までの情報は変化しておらず、車両は停止していることが分かる。
【0075】
そして、車両のブレーキが解除され、アクセルが踏み込まれたB点、つまり車両が動き出した状態となったB点では、ブレーキ踏力から横加速度までの情報が、車両の動きだしとともに変化している。
【0076】
この場合、前述したように、ブレーキ踏力から横加速度までをベクトル系列とし、その類似度を求めると、A点を基準特徴量として、B点までは類似度が高く、B点において類似度が低くなり閾値を下回ることになる。
【0077】
したがって、画像データは、A点からB点までスキップされて、B点の画像から表示されることになる。
このように、画像を再生させる場合には、画像データの表示をする際に基準となる情報の変化の少ない画像は、使用者にとって必要度が少ない場合が多い。したがって、その部分の画像をスキップすることにより、使用者は必要度が少ない画像を見ることが必要なくなるので、使いやすい画像記録再生装置1とすることができる。
【0078】
また、画像記録再生装置1は、少なくとも車両前方の画像を含む車両の周囲画像を取得可能に車両に備えられている。
また、情報取得装置40において、車両走行状態を直接的に示す情報として車両の速度(車両速度センサ43にて検出)、車両の進行方向の加速度(進行方向加速度センサ45にて検出)、車両の横方向の加速度(横方向加速度センサ46にて検出)、また、車両走行状態を間接的に示す情報として、ブレーキ踏力(ブレーキ踏力センサ41にて検出)、アクセル踏力(アクセル踏力センサ42にて検出)、車両のステアリング角(ステアリング角センサ44にて検出)を検出している。
【0079】
したがって、車両走行状態を示す情報の変化が所定の閾値を上回った場合に、少なくとも車両前方の画像を含む車両の周囲画像がスキップされて表示される画像記録再生装置1となる。換言すれば、画像取得装置10で取得した画像をスキップ表示することができる使いやすいドライブ画像の再生記録装置とすることができる。
【0080】
また、画像データのスキップ開始時点を使用者が設定するための設定スイッチ60を備えており、設定スイッチ60により設定された画像データのスキップ開始時点から記憶装置20に記憶された画像データのスキップを開始するようにしている。したがって、使用者の設定によりスキップ開始時点が設定されるので、使用者にとって使いやすい画像記録再生装置1となる。
【0081】
また、情報取得装置40から入力された情報を所定の時間長のフレームで区切り、その区切ったフレームごとに情報の特徴量を算出し、算出した特徴量をフレームごとに比較して類似度を求めている。つまり、所定の時間長を有するフレームを単位として情報の特徴量を算出することができるので、従来の特徴量算出方法を用い容易に情報の特徴量を算出することができる。
【0082】
さらに、フレームごとの特徴量を時系列アクティブ探索法に用いられるヒストグラム特徴とし、類似度をヒストグラム特徴間の類似度尺度であるヒストグラム重なり率であるようにしているので、比較的容易で正確に情報の類似率を算出することができる。
【0083】
なお、本第1実施形態において、図2に示すS145が、請求項1において、画像データの再生中に、画像取得装置とで取得された画像データが時間的に関連づけられた、再生画像データ以外の情報を取得・記憶する情報取得装置40から情報を取得する処理(情報取得処理)に相当する。
【0084】
また、図2に示すS200(図4に示す特徴量算出処理及び図6に示す類似度算出処理)が、請求項1において、設定手段(60)設定されたスキップ開始時点における情報取得手段から取得した情報と、それに後続する情報とを時間的に近いものから順次比較して類似度を求める処理(類似度算出処理)に相当する。
【0085】
また、図2に示すS145(図3に示すスキップ表示処理)が、請求項1において、 類似度が所定の閾値以下となった時点から時間的に対応する画像データを表示装置に表示する処理(スキップ表示処理)に相当する。
[第2実施形態]
次に、第1実施形態の画像記録再生装置1において、スキップした画像データを削除して記憶装置20に記憶させるようにした第2実施形態について説明する。
【0086】
なお、第2実施形態の画像記録装置の構成は第1実施形態における画像記録再生装置1と同じであるので、同じ構成には同じ符号を付し、その説明を省略し、異なる部分(制御装置50における処理)について説明する。
【0087】
第2実施形態における画像記録再生装置では、制御装置50において、記憶装置20から入力された画像データをスキップ開始時点から類似度が所定の閾値以下となった時点までスキップさせる際に、入力された画像データのうち、スキップ開始時点から類似度が所定の閾値以下となった時点までの画像を削除して、記憶装置20に出力し記憶させる。
【0088】
具体的には、図2に示す制御処理のフローチャートのS145(スキップ表示処理)において、記憶装置20からスキップ設定時刻を始点に情報を読み出しスキップ表示するとともに、スキップした部分の画像データを記憶装置20から削除する。
【0089】
さらに具体的には、図3に示すスキップ表示処理のフローチャートのS220の次に、スキップ開始時刻からS215において設定された時刻までの画像データを削除する工程を挿入するのである。
【0090】
このような第2実施形態における画像記録再生装置では、画像を表示する際に画像をスキップするだけでなく、スキップした画像データが削除された状態で記憶装置20に記憶されるので、後で再度再生する場合に使用者にとって必要度の低い画像データが再生されない。したがって、使用者にとって便利である。また、記憶装置20に記憶させる画像データの容量を小さくすることができる。
【0091】
ここで、スキップした画像データを削除した状態で記憶装置20に記憶する場合、画像取得装置10で取得し、記憶した画像データの記憶領域に記憶(いわゆる上書き)してもよいし、別の記憶領域や別の記憶手段に記憶してもよい。
【0092】
なお、本第2実施形態において、図3に示すスキップ表示処理のフローチャートのS220の次に挿入する、スキップ開始時刻からS215において設定された時刻までの画像データを削除する工程が、画像データ削除処理工程に相当する。
【0093】
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
【0094】
(1)上記実施形態では、車両走行状態を直接的に示す情報として車両の速度(車両速度センサ43にて検出)、車両の進行方向の加速度(進行方向加速度センサ45にて検出)、車両の横方向の加速度(横方向加速度センサ46にて検出)、また、車両走行状態を間接的に示す情報として、ブレーキ踏力(ブレーキ踏力センサ41にて検出)、アクセル踏力(アクセル踏力センサ42にて検出)、車両のステアリング角(ステアリング角センサ44にて検出)を検出したが、以下に示すような他の情報を検出するようにしてもよい。
【0095】
例えば、
(a)車両位置(車両走行状態を直接的に示す情報)
(b)運転者の心拍数、皮膚電位、発汗量、呼吸数などの生体情報(車両走行状態を間接的に示す情報)
(c)車内における運転者と同乗者との会話、車載装置に対する指定発話などの音声情報(車両走行状態を間接的に示す情報)
(d)GPS情報、車車間通信情報、レーダを用いた車間距離情報、道路交通情報などの車両周囲環境情報(車両走行状態を間接的に示す情報)
(e)車室内の画像情報、運転者の表情画像など再生対象以外の画像情報(車両走行状態を間接的に示す情報)
(2)上記実施形態では、画像再生装置5、画像取得装置10、記憶装置20、情報取得装置40を一体化して、画像記録再生装置1としたが、画像再生装置5のみを単独の装置として使用しても、上記実施形態における画像記録再生装置と同様の効果を得ることができる。
【0096】
つまり、画像取得装置10で取得された画像が画像データとして、外付けの記憶装置20に記憶させ、情報取得装置40で検出された情報を記憶装置20に記憶させるようにする。
【0097】
ここで、記憶装置20は、ハードディスク以外に記憶媒体(DVD、ブルーレイディスク、VTRテープなど)を取り外すことができる装置であり、その記憶媒体に画像データや情報取得装置40で取得された情報が記憶されている。
【0098】
そして、この記憶媒体から画像データ及び情報を画像再生装置5に入力し、スキップ表示やスキップ記録を行うようにしてもよいのである。
(3)上記実施形態では、類似度をヒストグラム特徴間の類似度尺度であるヒストグラム重なり率で求めたが、情報取得装置40にて求めた情報のフレーム間においてDPマッチング(動的計画法)により類似度を求めてもよいし、フレーム内の情報をベクトルとみなして、フレーム間のユークリッド距離やマハラノビス距離で類似度を表現してもよい。
【符号の説明】
【0099】
1…画像記録再生装置、5…画像再生装置、0…画像取得装置、20…記憶装置、30…表示装置、40…情報取得装置、41…ブレーキ踏力センサ、42…アクセル踏力センサ、43…車両速度センサ、44…ステアリング角センサ、45…進行方向加速度センサ、46…横方向加速度センサ、50…制御装置、60…設定スイッチ。

【特許請求の範囲】
【請求項1】
画像取得装置で取得した画像データを記憶し、前記記憶した画像データに基づいて表示する表示手段を具備した画像再生装置であって、
前記画像データを再生する際にスキップ開始する時点を設定する設定手段と、
前記画像データの再生制御を行う制御手段と、
を備え、
前記制御手段は、
前記画像データの再生中に、前記画像取得装置で取得した画像データと時間的に関連付けられた、前記再生画像データ以外の情報を取得・記憶する情報取得装置から前記情報を取得し、
前記設定手段で設定された前記スキップ開始時点における前記情報取得装置から取得した情報と、それに後続する情報とを時間的に近いものから順次比較して類似度を求め、
前記類似度が所定の閾値以下となった時点から時間的に対応する画像データを前記表示手段に表示することを特徴とする画像再生装置。
【請求項2】
請求項1に記載の画像再生装置において、
前記制御手段は、
前記スキップ開始時点から前記類似度が所定の閾値以下となった時点までの画像を削除し、前記画像記憶手段に記憶させることを特徴とする画像再生装置。
【請求項3】
請求項1又は請求項2に記載の画像再生装置において、
前記類似度算出工程において、前記制御手段は、
前記情報取得手段から入力された前記情報を所定の時間長のフレームで区切り、その区切ったフレームごとに前記情報の特徴量を算出し、その算出した特徴量をフレームごとに比較して類似度を求めることを特徴とする画像再生装置。
【請求項4】
請求項3に記載の画像再生装置において、
前記類似度算出工程における前記特徴量は、
時系列アクティブ探索法に用いられるヒストグラム特徴であり、
前記類似度は、
前記ヒストグラム特徴間の類似度尺度であるヒストグラム重なり率であることを特徴とする画像再生装置。
【請求項5】
請求項1〜請求項4のいずれか1項に記載の画像再生装置と、
画像を取得する画像取得装置と、
前記画像取得装置で取得した画像を画像データとして記憶し、その記憶した画像データを前記画像再生装置へ出力する画像記憶手段と、
前記画像記憶手段に記憶された画像データを再生し、前記画像再生装置の前記表示手段で表示する際に、前記画像データをスキップして表示させる際の基準となる情報であって、前記画像取得装置で取得する画像に時間的に関連付けられた、前記再生画像データ以外の情報を取得し、前記画像再生装置へ出力する情報取得手段と、
を備えたことを特徴とする画像記録再生装置。
【請求項6】
請求項5に記載の画像記録再生装置において、
前記画像取得装置は、
少なくとも前記車両前方の画像を含む車両の周囲画像を取得可能に前記車両に備えられ、
前記情報取得手段は、
前記車両走行状態を示す情報を直接的又は間接的に取得することを特徴とする画像記録再生装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図6】
image rotate

【図7】
image rotate

【図5】
image rotate

【図8】
image rotate


【公開番号】特開2011−146860(P2011−146860A)
【公開日】平成23年7月28日(2011.7.28)
【国際特許分類】
【出願番号】特願2010−4999(P2010−4999)
【出願日】平成22年1月13日(2010.1.13)
【出願人】(504139662)国立大学法人名古屋大学 (996)
【Fターム(参考)】