画像表示方法及び画像表示装置
【課題】車両に搭載された複数台のカメラによってそれぞれ撮像された複数の画像を同時に再生する画像表示方法及び画像表示装置を提供することを目的とする。
【解決手段】イベントの発生に対応して、車両に搭載された複数台のカメラ（１１１、１１２、１１３、１１４）によってそれぞれ撮像された複数の画像を取得し、再生操作手段（７４）による操作に応じて、同じイベントに対応する複数の画像を同時に再生する、ステップを有することを特徴とする画像表示方法。
【解決手段】イベントの発生に対応して、車両に搭載された複数台のカメラ（１１１、１１２、１１３、１１４）によってそれぞれ撮像された複数の画像を取得し、再生操作手段（７４）による操作に応じて、同じイベントに対応する複数の画像を同時に再生する、ステップを有することを特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示方法及び画像表示装置に関し、特にドライブレコーダで記憶された画像に基づいた画像を表示する方法及び画像表示装置に関するものである。
【背景技術】
【０００２】
自動車に装着したビデオカメラからの撮像情報を半導体記憶装置に順次循環的に記憶し、自動車事故発生時の画像を記憶させる車載用監視装置が知られている（特許文献１参照）。
【０００３】
また、道路の一車線を監視するための複数の監視カメラをネットワークを介してセンタと接続し、所定の事象発生（停止車両あり）があると、その時の１画面分の画像を時刻情報と共にセンタに送信する監視カメラシステムが知られている（特許文献２参照）。
【０００４】
さらに、テレビ画像を録画する場合に、録画画像データの特徴的なシーン（録画開始から５秒後の画像）に基づいたサムネイル画像を作成し、録画画像データとともに記憶して、再指示にサムネイル画像によって録画画像データの判別を容易に行わせるようにした受信記憶再生装置が知られている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開昭６３−１６７８５号公報（第１図）
【特許文献２】特開２００５−２７７６６０号公報（第４頁）
【特許文献３】特開２００４−３３６４４３号公報（第１図）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
所定のイベントが発生した場合にドライブレコーダで記憶された複数の画像を、後で再生して確認する場合に、それぞれの記憶画像がどのような内容であるのかをイベント毎に瞬時におおよそ判別したいという要望があった。
【０００７】
そこで、本発明は、車両に搭載された複数台のカメラによってそれぞれ撮像された複数の画像を同時に再生する画像表示方法及び画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像表示方法は、イベントの発生に対応して、車両に搭載された複数台のカメラによってそれぞれ撮像された複数の画像を取得し、再生操作手段による操作に応じて、同じイベントに対応する前記複数の画像を同時に再生するステップを有することを特徴とする。
【０００９】
また、本発明に係る画像表示装置は、イベントの発生に対応して、車両に搭載された複数台のカメラによってそれぞれ撮像された複数の画像を取得する手段と、再生操作手段と、再生操作手段の操作に応じて同じイベントに対応する前記複数の画像を同時に再生させる制御手段を有することを特徴とする。
【発明の効果】
【００１０】
本発明に係る画像表示方法及び画像表示装置では、Ｇセンサからの出力値に基づいて、車両に搭載された複数台のカメラによってそれぞれ撮像された複数の画像を同時に再生することが可能となる。
【００１１】
また、本発明に係る画像表示方法及び画像表示装置では、操作部による撮像開始指示があった場合には、タイムラグを考慮して、撮像開始指示より所定時刻前の画像に基づいてサムネイル画像を作成することができるので、そのイベントを代表する最も適当なサムネイル画像を作成することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る特徴画像作成装置及び方法を実行するためのシステムの概略構成を示す図である。
【図２（ａ）】ＣＣＤカメラ等の配置例を示す第１の図である。
【図２（ｂ）】ＣＣＤカメラ等の配置例を示す第２の図である。
【図２（ｃ）】ＣＣＤカメラ等の配置例を示す第３の図である。
【図２（ｄ）】ＣＣＤカメラ等の配置例を示す第４の図である。
【図３】前方から衝撃を受けた場合を示す図である。
【図４】右斜め前方から衝撃を受けた場合を示す図である。
【図５】操作部を操作した場合を示す図である。
【図６】サムネイル画像作成フローの一例を示す図である。
【図７】サムネイル画像の表示例を示す図である。
【図８】図７に示す複数のイベントの内の１つのイベントを再生する画面例を示す図である。
【発明を実施するための形態】
【００１３】
以下図面を参照して、本発明に係るサムネイル画像作成方法について説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
【００１４】
図１は、本発明に係るサムネイル画像作成方法を実行するためのシステムの概略構成を示す図である。
【００１５】
システムは、車両に搭載されるドライブレコーダ１００と、ドライブレコーダ１００においてイベント発生時に記憶された画像を記憶するメモリカード１０、及びメモリカード１０に記憶された画像を再生するためのセンタ端末２００から構成される。
【００１６】
ドライブレコーダ１００は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を含んで構成される第１制御部１０１、Ｇ（重力）センサ１０２、ＧＰＳ（Global Positioning System）レシーバ１０３、スイッチ、ボタン等を含んで構成される第１操作部１０４、画像を一次記憶するための第１メモリ１０５、メモリカード１０を挿入するスロットを有し且つメモリカード１０への画像の書き込み等を行うための第１メモリカードＩＦ（インターフェイス）１０６、ＧＰＳアンテナ１１０、撮像部として機能する第１ＣＣＤカメラ１１１〜第４ＣＣＤカメラ１１４、集音機能を有するマイク１１５、ＡＢＳ（Anti-lock Brake System）情報検出部１１６、ブレーキ操作検出部１１７、及びドライブレコーダ１００の各要素に電力を供給するための電源部１２０等を有している。
【００１７】
また、ドライブレコーダ１００は、ナビゲーション装置（不図示）と連携して、ナビゲーション装置のディスプレイにおいて画像を再生できるように構成しても良い。さらに、ＧＰＳレシーバ１０３は、必ずしも必須の構成ではないが、外付けの機器、例えばＡＶＭ（Automatic Vehide Monitoring）システムや、ナビゲーション装置が受信した位置情報を取得する構成としても良い。
【００１８】
Ｇサンサ１０２は、互いに直交する２軸方向（Ｘ軸及びＹ軸）の重力加速度を検出する。なお、Ｇセンサ１０２のＹ軸方向（正の値）と車両の前側が一致し、Ｇセンサ１０２のＸ軸方向（正の値）と車両の右側面が一致するように、Ｇセンサが車両内部に配置されている。したがって、第１制御部１０１は、Ｇセンサ１０２から出力される検出信号Ｇ（Ｇｘ、Ｇｙ）に基づいて、車両が衝撃を受けたか否か、また車両のどの方向から衝撃が加わったのかを判別することが可能となる。なお、ＧｘはＸ軸方向、ＧｙはＹ軸方向の重力加速度と示すものとする。また、Ｇセンサ１０２は、３軸のものを利用しても良いし、３軸のものにおいて、Ｚ軸方向の重力加速度Ｇｚのデータを利用しなくても良い。
【００１９】
第１制御部１０１は、各ＣＣＤカメラ１１１〜１１４が、それぞれ０．１秒おきに１枚の画像を撮像し、撮像された画像を第１メモリ１０５に順次循環的に記憶するように制御する。例えば、常に４台のＣＣＤカメラが撮像した画像６０秒分（画像２４００枚分）の画像データが、第１メモリ１０５に記憶されるように構成される。なお、各ＣＣＤカメラ１１１〜１１４が撮像する画像は、０．１秒毎に１枚でなく、例えば０．０５秒毎に１枚でも良い。また、４台のＣＣＤカメラが０．１秒毎に交互に１枚の画像を撮像して記憶するように構成しても良い。
【００２０】
ＡＢＳ情報検出部１１６は、タイヤがロックしたか否かのタイヤロックデータ及びタイヤがロックした時刻を示すタイヤロック時刻データを第１制御部１０１へ送信する。即ち、ＡＢＳ情報検出部１１６からのタイヤロックデータ及びタイヤロック時刻データによって、第１制御部１０１は、タイヤがロックしたか否か、及びタイヤがロックした場合にはその時刻を判別することができる。
【００２１】
ブレーキ操作検出部１１７は、車両のブレーキが操作されたか否かを示すブレーキ操作データ及びブレーキ操作が開始された時刻を示すブレーキ操作開始時刻データを１制御部１０１へ送信する。即ち、ブレーキ操作検出部１１７からのブレーキ操作データ及びブレーキ操作開始時刻データによって、第１制御部１０１は、ブレーキ操作がなされたか否か、及びブレーキ操作が開始された時刻を判別することができる。
【００２２】
なお、ＧＰＳレシーバ１０３、第１メモリカードＩＦ１０６、ＧＰＳアンテナ１１０、第１ＣＣＤカメラ１１１〜第４ＣＣＤカメラ１１４、マイク１１５、ＡＢＳ情報検出部１１６及びブレーキ操作検出部１１７等の一部又は全部は、ドライブレコーダ１００と別体に構成されても良い。例えば、ＧＰＳ機能を有する既存のナビゲーション装置と連携させた場合、ドライブレコーダ１００にＧＰＳレシーバ１０３等の機能は不要であるので、その分ドライブレコーダ１００のコストを低く抑えることができる。
【００２３】
センタ端末２００は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を含んで構成される第２制御部２０１、プリンタ等から構成される出力部２０２、ディスプレイ等によって構成される表示部２０３、キーボード、マウス等を含んで構成される第２操作部２０４、画像を一次記憶するための第２メモリ２０５、及びメモリカード１０を挿入するためのスロットを含み且つメモリカード１０から画像の読み出し等を行うための第２メモリカードＩＦ２０６等を有している。センタ端末２００は、上記構成に相当する機能を有するパーソナル・コンピュータとして構成されても良い。
【００２４】
メモリカード１０は、１２８Ｍバイトの記憶容量を有するＣＦカードであって、第１メモリカードＩＦ１０６を構成するスロットに挿入されて、イベント発生時に所定の画像が記憶され、その後、第１メモリカードＩＦ１０６を構成するスロットから排出されて第２メモリカードＩＦ２０６を構成するスロットに再挿入されて、記憶されている画像をセンタ端末２００へ出力する。なお、メモリカードとしてＣＦカードを用いたが、それに限定されるのではなく、ＳＤカード、メモリスティック等の他のメモリカード、持ち運び可能なＨＤ、その他の記憶媒体等をＣＦカードの代わりに利用することができる。また、メモリカード等の記憶容量は任意であって、用途に応じて自由に決定することが可能である。
【００２５】
図２は、ＣＣＤカメラ等の配置例を示す図である。
【００２６】
図２（ａ）に示す様に、第１ＣＣＤカメラ１１１は車両１の前方に向けて配置され、第２ＣＣＤカメラ１１２は車両１の右側方に向けて配置され、第３ＣＣＤカメラ１１３は車両１の後方に向けて配置され、第４ＣＣＤカメラ１１４は車両１の左側方に向けて配置されている。なお、図２（ａ）における１２１、１２２、１２３及び１２４は、それぞれのＣＣＤカメラの撮像可能方向及び／又は撮像可能角度の例を示すものである。また、スイッチとして構成された第１操作部１０４が運転席近傍に配置され、集音マイクのためのマイク１１５が車両１の前方に配置されている。
【００２７】
図２（ａ）では、４台のＣＣＤカメラを車両の四方に設けたが、１台のＣＣＤカメラを車両の前方のみに配置しても良いし（図２（ｂ）参照）、２台のＣＣＤカメラを車両の前後にのみ配置しても良いし（図２（ｃ）参照）、３台のＣＣＤカメラを１２０度ずつずれた方向を撮像できるように配置しても良い（図２（ｄ）参照）。なお、図２（ａ）〜（ｄ）に示すＣＣＤカメラ、スイッチ、マイクの配置例は一例であって、他の配置方法を採用しても良い。
【００２８】
次に、図３〜５を用いて、ドライブレコーダ１００（図２（ａ）参照）において、イベントが発生した場合の画像等の記憶方法について説明する。
【００２９】
図３は、前方から衝撃を受けた場合を示す図である。
【００３０】
図３（ａ）は車両１が受けた衝撃の方向を示し、図３（ｂ）は衝撃を受けた時のＧセンサ１０２の出力例を示し、図３（ｃ）はＧセンサ１０２からの出力信号Ｇ（Ｇｘ、Ｇｙ）の合成値の絶対値の時系列的変化を示しており、図３（ｄ）〜図３（ｇ）は第１ＣＣＤカメラ１１１〜第４ＣＣＤカメラ１１４が撮像する画像（静止画像）の撮像タイミング(０．１秒毎に１枚）を示し、図３（ｈ）は作成されるサムネイル画像の例を示している。なお、サムネイル画像の作成については後述する。
【００３１】
時刻Ｔｐにおいて、衝撃が、図３（ａ）に示す矢印３０の方向（前方）から車両１に生じた場合、Ｇセンサ１０２は、図３（ｂ）に示すような正のＹ軸方向の重力加速度Ｇｙ３１を発生する。この時Ｘ軸方向の重力加速度Ｇｘはほぼゼロである。Ｇセンサ１０２からの出力の合成重力加速度の絶対値（Ｇｘ２＋Ｇｙ２）０・５（この場合はＧｙ３１）が、閾値加速度Ｇｓ（例えば、０．４５）以上の場合、第１制御部１０１は、イベントが発生したと判断し、各ＣＣＤカメラ１１１〜１１４が撮像し、常に第１メモリ１０５に循環的に記憶している画像をメモリカード１０に記憶するように動作する。
【００３２】
具体的には、時刻Ｔｐの前Ｔｂ秒間の画像と、時刻Ｔｐ後のＴａ秒間の画像をメモリカード１０に記憶するように制御する。例えば、Ｔｐは１２秒、Ｔａは８秒とすることができる。なお、Ｔｂ及びＴａの期間は自由に設定できるものとする。
【００３３】
したがって、第１制御部１０１は、第１ＣＣＤカメラ１１１では図３（ｄ）に３３として示した２００枚分の画像を記憶し、第２ＣＣＤカメラ１１２では図３（ｅ）に３４として示した２００枚分の画像を記憶し、第３ＣＣＤカメラ１１３では図３（ｆ）に３５として示した２００枚分の画像を記憶し、第４ＣＣＤカメラ１１４では図３（ｇ）に３６として示した２００枚分の画像を記憶するように制御する。即ち、１回のイベントで、各ＣＣＤカメラについて２００枚、合計で８００枚の画像がメモリカード１０に記憶される。
【００３４】
また、１回のイベント毎に、第１制御部１０１は、（Ｇセンサ１０２によるイベントであることを示す）イベント種類データ、イベント発生時刻データ（Ｔｐ）、Ｇセンサ１０２の出力Ｇデータ（Ｇｘ、Ｇｙ）、マイク１１５で時刻Ｔｐの前Ｔｂ秒間及び時刻Ｔｐ後のＴａ秒間の音声データ、この間（Ｔｂ及びＴａ間）のタイヤロックデータ及びタイヤロック時刻データ、この間のブレーキ操作データ及びブレーキ操作開始時刻データを、画像データと共にメモリカード１０に記憶する。なお、上述したデータの一部のみをメモリカード１０に記憶するように構成しても良い。
【００３５】
メモリカード１０に記憶されるイベント数は、メモリカード１０の記憶容量に応じて、可変することができるが、少なくとも１０イベント分のデータが記憶できるようにすることが好ましい。また、第１制御部１０１は、イベント毎にメモリカード１０にフォルダを作成して、画像データ、イベント種類データ、イベント発生時刻データ（Ｔｐ）、Ｇセンサ１０２の出力Ｇデータ（Ｇｘ、Ｇｙ）、音声データ、タイヤロックデータ及びタイヤロック時刻データ、ブレーキ操作データ及びブレーキ操作開始時刻データを記憶するようにすることが好ましい。
【００３６】
上述したように、ドライブレコーダ１００は、衝撃が発生した時刻Ｔｐの前Ｔｂの期間及び時刻Ｔｐの後Ｔａの期間の画像を記憶することができるので、衝撃の発生原因が自動車同士の衝突等による事故であった場合に、後で記憶された画像を解析することによって、事故原因を正確に究明等することが可能となる。
【００３７】
図４は、右斜め前方から衝撃を受けた場合を示す図である。
【００３８】
図４（ａ）は車両１が受けた衝撃の方向を示し、図４（ｂ）は衝撃を受けた時のＧセンサの出力例を示し、図４（ｃ）はＧセンサからの出力信号Ｇ（Ｇｘ、Ｇｙ）の合成値の絶対値の時系列的変化を示しており、図４（ｄ）〜図４（ｇ）は第１ＣＣＤカメラ１１１〜第４ＣＣＤカメラ１１４が撮像する画像（静止画像）の撮像タイミング(０．１秒毎に１枚）を示し、図４（ｈ）は作成されるサムネイル画像の例を示している。なお、サムネイル画像の作成については後述する。
【００３９】
時刻Ｔｐにおいて、衝撃が、図４（ａ）に示す矢印４０の方向（右斜め前）から車両１に生じた場合、Ｇセンサ１０２は、図４（ｂ）に示すような正のＹ軸方向の重力加速度Ｇｙ４１及び正のＸ軸方向の重力加速度Ｇｘ４２を発生する。Ｇセンサ１０２からの出力の合成重力加速度の絶対値４３が、閾値加速度Ｇｓ（例えば、０．４５）以上の場合、第１制御部１０１は、イベントが発生したと判断し、各ＣＣＤカメラ１１１〜１１４が撮像する画像をメモリカード１０に記憶するように動作する。
【００４０】
具体的には、時刻Ｔｐの前Ｔｂ秒間の画像と、時刻Ｔｐ後のＴａ秒間の画像をメモリカード１０に記憶するように制御する。例えば、Ｔｐは１２秒、Ｔａは８秒とすることができる。なお、Ｔｂ及びＴａの期間は自由に設定できるものとする。
【００４１】
したがって、第１制御部１０１は、第１ＣＣＤカメラ１１１では図４（ｄ）に４５として示した２００枚分の画像を記憶し、第２ＣＣＤカメラ１１２では図４（ｅ）に４６として示した２００枚分の画像を記憶し、第３ＣＣＤカメラ１１３では図４（ｆ）に４７として示した２００枚分の画像を記憶し、第４ＣＣＤカメラ１１４では図４（ｇ）に４８として示した２００枚分の画像を記憶するように制御する。即ち、１回のイベントで、各ＣＣＤカメラについて２００枚、合計で８００枚の画像がメモリカード１０に記憶される。
【００４２】
また、１回のイベント毎に、第１制御部１０１は、（Ｇセンサ１０２によるイベントであることを示す）イベント種類データ、イベント発生時刻データ（Ｔｐ）、Ｇセンサ１０２の出力Ｇデータ（Ｇｘ、Ｇｙ）、マイク１１５で時刻Ｔｐの前Ｔｂ秒間及び時刻Ｔｐ後のＴａ秒間の音声データ、この間（Ｔｂ及びＴａ間）のタイヤロックデータ及びタイヤロック時刻データ、この間のブレーキ操作データ及びブレーキ操作開始時刻データを、画像データと共にメモリカード１０に記憶する。なお、上述したデータの一部のみをメモリカード１０に記憶するように構成しても良い。
【００４３】
上述したように、ドライブレコーダ１００は、衝撃が発生した時刻Ｔｐの前Ｔｂの期間及び時刻Ｔｐの後Ｔａの期間の画像を記憶することができるので、衝撃の発生原因が自動車同士の衝突等による事故であった場合に、後で記憶された画像を解析することによって、事故原因を正確に究明等することが可能となる。なお、上述した図３及び図４の例において、閾値加速度Ｇｓを超えることをイベント発生のトリガとしたが、例えば、単位時間あたりの加速度の変化量がある値を超えた場合（０．１秒間に、Ｇ値が０．３以上変化した場合）にイベントが発生したと認識するようにしても良い。
【００４４】
図５は、操作部を操作した場合を示す図である。
【００４５】
図５（ａ）は第１操作部１０４の出力信号の一例を示し、図５（ｂ）〜図５（ｅ）は第１ＣＣＤカメラ１１１〜第４ＣＣＤカメラ１１４が撮像する画像（静止画像）の撮像タイミング(０．１秒毎に１枚）を示し、図５（ｆ）は作成されるサムネイル画像の例を示している。なお、サムネイル画像の作成については後述する。
【００４６】
図５（ａ）に示すように、時刻Ｔｐにおいて、図２に示す第１操作部１０４から撮像開始指示のための操作信号５３が出力された場合、第１制御部１０１は、イベントが発生したと判断し、各ＣＣＤカメラ１１１〜１１４が撮像する画像をメモリカード１０に記憶するように動作する。
【００４７】
具体的には、時刻Ｔｐの前Ｔｂ秒間の画像と、時刻Ｔｐ後のＴａ秒間の画像をメモリカード１０に記憶するように制御する。例えば、Ｔｐは１２秒、Ｔａは８秒とすることができる。なお、Ｔｂ及びＴａの期間は自由に設定できるものとする。
【００４８】
したがって、第１制御部１０１は、第１ＣＣＤカメラ１１１では図５（ｂ）に５４として示した２００枚分の画像を記憶し、第２ＣＣＤカメラ１１２では図５（ｃ）に５５として示した２００枚分の画像を記憶し、第３ＣＣＤカメラ１１３では図５（ｄ）に５６として示した２００枚分の画像を記憶し、第４ＣＣＤカメラ１１４では図５（ｅ）に５７として示した２００枚分の画像を記憶するように制御する。即ち、１回のイベントで、各ＣＣＤカメラについて２００枚、合計で８００枚の画像がメモリカード１０に記憶される。
【００４９】
また、１回のイベント毎に、第１制御部１０１は、（操作部１０４の撮像開始指示によるイベントであることを示す）イベント種類データ、イベント発生時刻データ（Ｔｐ）、この間（Ｔｂ及びＴａ間）のＧセンサ１０２の出力Ｇデータ（Ｇｘ、Ｇｙ）、音声データ、この間のタイヤロックデータ及びタイヤロック時刻データ、この間のブレーキ操作データ及びブレーキ操作開始時刻データを、画像データと共にメモリカード１０に記憶する。なお、上述したデータの一部のみをメモリカード１０に記憶するように構成しても良い。
【００５０】
上述したように、ドライブレコーダ１００は、第１操作部１０４が操作された時刻Ｔｐの前Ｔｂの期間及び時刻Ｔｐの後Ｔａの期間の画像を記憶することができるので、例えば運転手が録画が必要だと判断した状況内容を、記憶された画像に基づいて後で確認することが可能となる。例えば、車両がタクシーである場合、第４ＣＣＤカメラ１１４を客用シートを撮像するように配置し、客に不審な行動が見られた場合に、第１操作部１０４を操作することによって画像の記憶を開始するように設定することが可能である。
【００５１】
以上、図３〜図５を用いて、ドライブレコーダ１００における画像の記憶方法について説明したが、画像の記録を開始するイベントとしては、ＡＢＳ情報検出部１１６及び／又はブレーキ操作検出部１１７からのデータに基づいて、例えば、急激なブレーキ操作等が行われた場合に、第１制御部１０１がイベントが発生したと判断して、画像の記録を開始するように構成しても良い。
【００５２】
次に、センタ端末２００におけるサムネイル画像の作成について説明する。
【００５３】
図６は、１つのイベントに関するサムネイル画像作成フローの一例を示す図である。
【００５４】
図６に示すフローは、センタ端末２００の第２制御部２０１が、予め記憶されたプログラムにしたがって実行し、第２操作部２０４の所定の操作に基づいて開始されるものとする。また、図６に示すフローが開始される時点で、スロットを構成する第２メモリカードＩＦ２０６にドライブレコーダ１００において画像が記憶されたメモリカード１０が挿入されているものとする。
【００５５】
最初に、第２制御部２０１は、１つのイベントに関するデータフォルダに含まれるイベント種類データに基づいて、イベントの種類の判断を行う（Ｓ１）。
【００５６】
イベントがＧセンサによるものである場合、第２制御部２０１は、Ｇセンサ１０２の出力Ｇ（Ｇｘ、Ｇｙ）を取得し（Ｓ２）、サムネイル画像を作成する場合の合成割合を、取得された出力Ｇ（Ｇｘ、Ｇｙ）に応じて決定する（Ｓ３）。例えば、図３の例では、Ｇｙ３１のみなので、第１ＣＣＤカメラ１１１の画像が１００％となり、図４の例では、第１ＣＣＤカメラ１１１と第２ＣＣＤカメラ１１２の画像の割合が、Ｇｙ：Ｇｘ（即ち、３：１）となる。
【００５７】
次に、第２制御部２０１は、Ｓ２で取得された出力Ｇ（Ｇｘ、Ｇｙ）に応じて、対象となるＣＣＤカメラの画像を選択する（Ｓ４）。例えば、図３の例では、車両１は前方からのみ衝撃を受け、その結果Ｇセンサ１０２の出力はＧｙ３１（正の値）のみであるので、第１ＣＣＤカメラ１１１の画像が選択される。また、図４の例では、車両１は右斜め前方から衝撃を受け、その結果Ｇセンサ１０２の出力はＧｙ４１（正の値）及びＧｘ４２（正の値）であるので、第１ＣＣＤカメラ１１１及び第２ＣＣＤカメラ１１２の画像が選択される。なお、車両１が後方から衝撃を受ければ、Ｇセンサ１０２の出力はＧｙ（負の値）のみとなるので、第３ＣＣＤカメラ１１３の画像が選択され、車両１が左側方から衝撃を受ければ、Ｇセンサ１０２の出力はＧｘ（負の値）となるので、第４ＣＣＤカメラ１１３の画像が選択されることとなる。なお、１台のＣＣＤカメラのみを車両に配置した場合には、自動的に１台のＣＣＤカメラの画像が選択されることとなる。
【００５８】
次に、第２制御部２０１は、イベント発生時刻データ（Ｔｐ）を取得し（Ｓ５）、Ｓ４で選択されたＣＣＤカメラの画像の内、イベント発生時刻Ｔｐから所定時間Ｔｒ前の画像を特徴画像として選択する（Ｓ６）。所定時間Ｔｒ前の画像を選択するのは、衝撃が発生した発生時刻よりも少し前の画像の方が、より衝撃が発生する原因や状況を把握し易いためである。なお、所定時間Ｔｒは例えば、０．２秒と設定することが可能であるが、アプリケーションに応じて、０秒を含め最適な値を選択することができる。
【００５９】
次に、第２制御部２０１は、Ｓ３で決定された合成割合に応じて、Ｓ６で選択された特徴画像を合成して、サムネイル画像（合成した画像を縮小化した画像）を作成し、表示部２０３に表示して（Ｓ７）、１つのイベントに関するサムネイル画像作成処理を終了する。
【００６０】
図３の場合には、図６に示すフローにしたがって、第１ＣＣＤカメラ１１１で撮像した画像の内、時刻Ｔｐより時間Ｔｒ（例えば、０．２秒）前に撮像された特徴画像３７を縮小化して、サムネイル画像３７（図３（ｈ）参照）を作成する。
【００６１】
図４の場合には、図６に示すフローにしたがって、第１ＣＣＤカメラ１１１で撮像した画像の内、時刻Ｔｐより時間Ｔｒ（例えば、０．２秒）前に撮像された特徴画像４９と第２ＣＣＤカメラ１１２で撮像した画像の内、時刻Ｔｐより時間Ｔｒ（例えば、０．２秒）前に撮像された特徴画像５０とが、Ｓ３で決定された合成割合（例えば、３：１）に応じて合成され、縮小化されてサムネイル画像５１(図４（ｈ）参照）が作成される。
【００６２】
なお、複数の特徴画像が選択された場合、複数の特徴画像を合成するのではなく、交互に表示するようなサムネイル画像を作成しても良い。また、表示時間比をＧセンサ１０２の出力Ｇ（Ｇｘ、Ｇｙ）に応じて決めても良い。例えば、図４の例では、Ｇｘ：Ｇｙが１：３であるから、表示時間も第１ＣＣＤカメラ１１１の特徴画像４９が３秒に対して、第２ＣＣＤカメラ１１２の特徴画像５０が１秒というように定めることができる。
【００６３】
Ｓ１でイベント種類が第１操作部１０４の操作による場合、第２制御部２０１は、予め定められたＣＣＤカメラの画像を選択する（Ｓ４）。例えば、図５の例では、第４ＣＣＤカメラ１１４の画像が選択される。
【００６４】
次に、第２制御部２０１は、イベント発生時刻（Ｔｐ）を取得し（Ｓ５）、Ｓ４で選択されたＣＣＤカメラの画像の内、イベント発生時刻Ｔｐから所定時間Ｔｒ前の画像を特徴画像として選択する（Ｓ６）。所定時間Ｔｒ前の画像を選択するのは、第１操作部１０４を操作した場合、動作にはタイムラグがあり、第１操作部が操作された時刻よりも少し前の画像の方が、より撮像したい画像に近い場合が多いためである。なお、所定時間Ｔｒは例えば、０．２秒と設定することが可能であるが、アプリケーションに応じて、０秒を含め最適な値を選択することができる。また、イベント種類によって動作のタイムラグが異なる場合が考えられるのでイベント種類に応じて、所定時間Ｔｒの値を変更するようにしても良い。
【００６５】
次に、第２制御部２０１は、Ｓ６で選択された画像からサムネイル画像（画像を縮小化した画像）を作成し、表示部２０３に表示して（Ｓ７）、１つのイベントに関するサムネイル画像作成処理を終了する。
【００６６】
図５の場合には、図６に示すフローにしたがって、第４ＣＣＤカメラ１１４で撮像した画像の内、時刻Ｔｐより時間Ｔｒ（例えば、０．２秒）前に撮像された特徴画像５８を縮小化してサムネイル画像５８（図５（ｆ）参照）を作成した。
【００６７】
図７は、サムネイル画像の表示例を示す図である。
【００６８】
図７は、センタ端末２００の表示部２０３に複数のイベントに関するサムネイル画像が表示された状態を示している。
【００６９】
それぞれのイベント６０は、Ｇセンサ１０２からの出力の合成重力加速度の絶対値の値６１、イベントの特徴を示すサムネイル画像６２、イベント発生時刻６３を一つのセットとしている。
【００７０】
なお、図７では、２０個のイベントを表示しているが、表示個数はこれに限定されるものではなく、他の個数を選択することや、他の要素と合わせて表示させること等も可能である。
【００７１】
図８は、図７に示す複数のイベントの内の１つのイベントを再生する画面例を示す図である。
【００７２】
図７に示す複数のイベントの内、第２操作部２０４によって６０として示すイベントを選択すると、図８の画面に切換わるものとする。
【００７３】
図８の画面では、第１ＣＣＤカメラ１１１で撮像した２００枚の画像が、操作表示７４（巻き戻し、再生、停止、早送り）何れかを選択することによって、表示領域７０に順次切換わりながら表示される。また、同時に、第２ＣＣＤカメラ１１２で撮像した２００枚の画像が表示領域７１に順次切換わりながら表示され、第３ＣＣＤカメラ１１３で撮像した２００枚の画像が表示領域７２に順次切換わりながら表示され、第４ＣＣＤカメラ１１４で撮像した２００枚の画像が表示領域７３に順次切換わりながら表示される。なお、表示領域７１〜７３を選択することによって、選択された画像が表示領域７０に拡大されて表示されるようにすることが好ましい。なお、図８に示す表示方法は一例であって、他の表示方法を選択することができる。
【００７４】
図３の例において、Ｇセンサ１０２からの出力に応じてイベントが発生した場合には、イベント発生時刻データ（Ｔｐ）に応じて特徴画像が選択された。しかしながら、イベント発生時刻データのみでなく、ブレーキ操作開始時刻データ及びタイヤロックデータを用いて、特徴画像を選択することが可能である。
【００７５】
例えば、イベント発生時刻（Ｔｐ）時にブレーキ操作を行い且つタイヤロックされていた場合には、ブレーキ操作開始時刻の画像を特徴画像として選択し、イベント発生時刻（Ｔｐ）時にブレーキ操作を行い且つタイヤロックしていなかった場合には、イベント発生時刻の画像を特徴画像として選択するように制御することが可能である。タイヤロックしていた場合には、ブレーキ操作開始時刻に重大の状況が発生した可能性があるので、そのタイミングの画像が重要となるからである。
【００７６】
上記の説明において、「画像」は、映像と静止画像との両方を含むものとする。また、「イベント」とは、撮像に値する特別な出来事をいい、例えば閾値加速度Ｇｓ以上の加速度を検出した場合等が該当する。
【符号の説明】
【００７７】
１０ メモリカード
１００ ドライブレコーダ
１０１ 第１制御部
１０２ Ｇセンサ
１０４ 第１操作部
１０６ 第１メモリ
１１１ 第１ＣＣＤカメラ
１１２ 第２ＣＣＤカメラ
１１３ 第３ＣＣＤカメラ
１１４ 第４ＣＣＤカメラ
２００ センタ端末
２０１ 第２制御部
２０３ 表示部
２０４ 第２操作部
【技術分野】
【０００１】
本発明は、画像表示方法及び画像表示装置に関し、特にドライブレコーダで記憶された画像に基づいた画像を表示する方法及び画像表示装置に関するものである。
【背景技術】
【０００２】
自動車に装着したビデオカメラからの撮像情報を半導体記憶装置に順次循環的に記憶し、自動車事故発生時の画像を記憶させる車載用監視装置が知られている（特許文献１参照）。
【０００３】
また、道路の一車線を監視するための複数の監視カメラをネットワークを介してセンタと接続し、所定の事象発生（停止車両あり）があると、その時の１画面分の画像を時刻情報と共にセンタに送信する監視カメラシステムが知られている（特許文献２参照）。
【０００４】
さらに、テレビ画像を録画する場合に、録画画像データの特徴的なシーン（録画開始から５秒後の画像）に基づいたサムネイル画像を作成し、録画画像データとともに記憶して、再指示にサムネイル画像によって録画画像データの判別を容易に行わせるようにした受信記憶再生装置が知られている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開昭６３−１６７８５号公報（第１図）
【特許文献２】特開２００５−２７７６６０号公報（第４頁）
【特許文献３】特開２００４−３３６４４３号公報（第１図）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
所定のイベントが発生した場合にドライブレコーダで記憶された複数の画像を、後で再生して確認する場合に、それぞれの記憶画像がどのような内容であるのかをイベント毎に瞬時におおよそ判別したいという要望があった。
【０００７】
そこで、本発明は、車両に搭載された複数台のカメラによってそれぞれ撮像された複数の画像を同時に再生する画像表示方法及び画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像表示方法は、イベントの発生に対応して、車両に搭載された複数台のカメラによってそれぞれ撮像された複数の画像を取得し、再生操作手段による操作に応じて、同じイベントに対応する前記複数の画像を同時に再生するステップを有することを特徴とする。
【０００９】
また、本発明に係る画像表示装置は、イベントの発生に対応して、車両に搭載された複数台のカメラによってそれぞれ撮像された複数の画像を取得する手段と、再生操作手段と、再生操作手段の操作に応じて同じイベントに対応する前記複数の画像を同時に再生させる制御手段を有することを特徴とする。
【発明の効果】
【００１０】
本発明に係る画像表示方法及び画像表示装置では、Ｇセンサからの出力値に基づいて、車両に搭載された複数台のカメラによってそれぞれ撮像された複数の画像を同時に再生することが可能となる。
【００１１】
また、本発明に係る画像表示方法及び画像表示装置では、操作部による撮像開始指示があった場合には、タイムラグを考慮して、撮像開始指示より所定時刻前の画像に基づいてサムネイル画像を作成することができるので、そのイベントを代表する最も適当なサムネイル画像を作成することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る特徴画像作成装置及び方法を実行するためのシステムの概略構成を示す図である。
【図２（ａ）】ＣＣＤカメラ等の配置例を示す第１の図である。
【図２（ｂ）】ＣＣＤカメラ等の配置例を示す第２の図である。
【図２（ｃ）】ＣＣＤカメラ等の配置例を示す第３の図である。
【図２（ｄ）】ＣＣＤカメラ等の配置例を示す第４の図である。
【図３】前方から衝撃を受けた場合を示す図である。
【図４】右斜め前方から衝撃を受けた場合を示す図である。
【図５】操作部を操作した場合を示す図である。
【図６】サムネイル画像作成フローの一例を示す図である。
【図７】サムネイル画像の表示例を示す図である。
【図８】図７に示す複数のイベントの内の１つのイベントを再生する画面例を示す図である。
【発明を実施するための形態】
【００１３】
以下図面を参照して、本発明に係るサムネイル画像作成方法について説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
【００１４】
図１は、本発明に係るサムネイル画像作成方法を実行するためのシステムの概略構成を示す図である。
【００１５】
システムは、車両に搭載されるドライブレコーダ１００と、ドライブレコーダ１００においてイベント発生時に記憶された画像を記憶するメモリカード１０、及びメモリカード１０に記憶された画像を再生するためのセンタ端末２００から構成される。
【００１６】
ドライブレコーダ１００は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を含んで構成される第１制御部１０１、Ｇ（重力）センサ１０２、ＧＰＳ（Global Positioning System）レシーバ１０３、スイッチ、ボタン等を含んで構成される第１操作部１０４、画像を一次記憶するための第１メモリ１０５、メモリカード１０を挿入するスロットを有し且つメモリカード１０への画像の書き込み等を行うための第１メモリカードＩＦ（インターフェイス）１０６、ＧＰＳアンテナ１１０、撮像部として機能する第１ＣＣＤカメラ１１１〜第４ＣＣＤカメラ１１４、集音機能を有するマイク１１５、ＡＢＳ（Anti-lock Brake System）情報検出部１１６、ブレーキ操作検出部１１７、及びドライブレコーダ１００の各要素に電力を供給するための電源部１２０等を有している。
【００１７】
また、ドライブレコーダ１００は、ナビゲーション装置（不図示）と連携して、ナビゲーション装置のディスプレイにおいて画像を再生できるように構成しても良い。さらに、ＧＰＳレシーバ１０３は、必ずしも必須の構成ではないが、外付けの機器、例えばＡＶＭ（Automatic Vehide Monitoring）システムや、ナビゲーション装置が受信した位置情報を取得する構成としても良い。
【００１８】
Ｇサンサ１０２は、互いに直交する２軸方向（Ｘ軸及びＹ軸）の重力加速度を検出する。なお、Ｇセンサ１０２のＹ軸方向（正の値）と車両の前側が一致し、Ｇセンサ１０２のＸ軸方向（正の値）と車両の右側面が一致するように、Ｇセンサが車両内部に配置されている。したがって、第１制御部１０１は、Ｇセンサ１０２から出力される検出信号Ｇ（Ｇｘ、Ｇｙ）に基づいて、車両が衝撃を受けたか否か、また車両のどの方向から衝撃が加わったのかを判別することが可能となる。なお、ＧｘはＸ軸方向、ＧｙはＹ軸方向の重力加速度と示すものとする。また、Ｇセンサ１０２は、３軸のものを利用しても良いし、３軸のものにおいて、Ｚ軸方向の重力加速度Ｇｚのデータを利用しなくても良い。
【００１９】
第１制御部１０１は、各ＣＣＤカメラ１１１〜１１４が、それぞれ０．１秒おきに１枚の画像を撮像し、撮像された画像を第１メモリ１０５に順次循環的に記憶するように制御する。例えば、常に４台のＣＣＤカメラが撮像した画像６０秒分（画像２４００枚分）の画像データが、第１メモリ１０５に記憶されるように構成される。なお、各ＣＣＤカメラ１１１〜１１４が撮像する画像は、０．１秒毎に１枚でなく、例えば０．０５秒毎に１枚でも良い。また、４台のＣＣＤカメラが０．１秒毎に交互に１枚の画像を撮像して記憶するように構成しても良い。
【００２０】
ＡＢＳ情報検出部１１６は、タイヤがロックしたか否かのタイヤロックデータ及びタイヤがロックした時刻を示すタイヤロック時刻データを第１制御部１０１へ送信する。即ち、ＡＢＳ情報検出部１１６からのタイヤロックデータ及びタイヤロック時刻データによって、第１制御部１０１は、タイヤがロックしたか否か、及びタイヤがロックした場合にはその時刻を判別することができる。
【００２１】
ブレーキ操作検出部１１７は、車両のブレーキが操作されたか否かを示すブレーキ操作データ及びブレーキ操作が開始された時刻を示すブレーキ操作開始時刻データを１制御部１０１へ送信する。即ち、ブレーキ操作検出部１１７からのブレーキ操作データ及びブレーキ操作開始時刻データによって、第１制御部１０１は、ブレーキ操作がなされたか否か、及びブレーキ操作が開始された時刻を判別することができる。
【００２２】
なお、ＧＰＳレシーバ１０３、第１メモリカードＩＦ１０６、ＧＰＳアンテナ１１０、第１ＣＣＤカメラ１１１〜第４ＣＣＤカメラ１１４、マイク１１５、ＡＢＳ情報検出部１１６及びブレーキ操作検出部１１７等の一部又は全部は、ドライブレコーダ１００と別体に構成されても良い。例えば、ＧＰＳ機能を有する既存のナビゲーション装置と連携させた場合、ドライブレコーダ１００にＧＰＳレシーバ１０３等の機能は不要であるので、その分ドライブレコーダ１００のコストを低く抑えることができる。
【００２３】
センタ端末２００は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を含んで構成される第２制御部２０１、プリンタ等から構成される出力部２０２、ディスプレイ等によって構成される表示部２０３、キーボード、マウス等を含んで構成される第２操作部２０４、画像を一次記憶するための第２メモリ２０５、及びメモリカード１０を挿入するためのスロットを含み且つメモリカード１０から画像の読み出し等を行うための第２メモリカードＩＦ２０６等を有している。センタ端末２００は、上記構成に相当する機能を有するパーソナル・コンピュータとして構成されても良い。
【００２４】
メモリカード１０は、１２８Ｍバイトの記憶容量を有するＣＦカードであって、第１メモリカードＩＦ１０６を構成するスロットに挿入されて、イベント発生時に所定の画像が記憶され、その後、第１メモリカードＩＦ１０６を構成するスロットから排出されて第２メモリカードＩＦ２０６を構成するスロットに再挿入されて、記憶されている画像をセンタ端末２００へ出力する。なお、メモリカードとしてＣＦカードを用いたが、それに限定されるのではなく、ＳＤカード、メモリスティック等の他のメモリカード、持ち運び可能なＨＤ、その他の記憶媒体等をＣＦカードの代わりに利用することができる。また、メモリカード等の記憶容量は任意であって、用途に応じて自由に決定することが可能である。
【００２５】
図２は、ＣＣＤカメラ等の配置例を示す図である。
【００２６】
図２（ａ）に示す様に、第１ＣＣＤカメラ１１１は車両１の前方に向けて配置され、第２ＣＣＤカメラ１１２は車両１の右側方に向けて配置され、第３ＣＣＤカメラ１１３は車両１の後方に向けて配置され、第４ＣＣＤカメラ１１４は車両１の左側方に向けて配置されている。なお、図２（ａ）における１２１、１２２、１２３及び１２４は、それぞれのＣＣＤカメラの撮像可能方向及び／又は撮像可能角度の例を示すものである。また、スイッチとして構成された第１操作部１０４が運転席近傍に配置され、集音マイクのためのマイク１１５が車両１の前方に配置されている。
【００２７】
図２（ａ）では、４台のＣＣＤカメラを車両の四方に設けたが、１台のＣＣＤカメラを車両の前方のみに配置しても良いし（図２（ｂ）参照）、２台のＣＣＤカメラを車両の前後にのみ配置しても良いし（図２（ｃ）参照）、３台のＣＣＤカメラを１２０度ずつずれた方向を撮像できるように配置しても良い（図２（ｄ）参照）。なお、図２（ａ）〜（ｄ）に示すＣＣＤカメラ、スイッチ、マイクの配置例は一例であって、他の配置方法を採用しても良い。
【００２８】
次に、図３〜５を用いて、ドライブレコーダ１００（図２（ａ）参照）において、イベントが発生した場合の画像等の記憶方法について説明する。
【００２９】
図３は、前方から衝撃を受けた場合を示す図である。
【００３０】
図３（ａ）は車両１が受けた衝撃の方向を示し、図３（ｂ）は衝撃を受けた時のＧセンサ１０２の出力例を示し、図３（ｃ）はＧセンサ１０２からの出力信号Ｇ（Ｇｘ、Ｇｙ）の合成値の絶対値の時系列的変化を示しており、図３（ｄ）〜図３（ｇ）は第１ＣＣＤカメラ１１１〜第４ＣＣＤカメラ１１４が撮像する画像（静止画像）の撮像タイミング(０．１秒毎に１枚）を示し、図３（ｈ）は作成されるサムネイル画像の例を示している。なお、サムネイル画像の作成については後述する。
【００３１】
時刻Ｔｐにおいて、衝撃が、図３（ａ）に示す矢印３０の方向（前方）から車両１に生じた場合、Ｇセンサ１０２は、図３（ｂ）に示すような正のＹ軸方向の重力加速度Ｇｙ３１を発生する。この時Ｘ軸方向の重力加速度Ｇｘはほぼゼロである。Ｇセンサ１０２からの出力の合成重力加速度の絶対値（Ｇｘ２＋Ｇｙ２）０・５（この場合はＧｙ３１）が、閾値加速度Ｇｓ（例えば、０．４５）以上の場合、第１制御部１０１は、イベントが発生したと判断し、各ＣＣＤカメラ１１１〜１１４が撮像し、常に第１メモリ１０５に循環的に記憶している画像をメモリカード１０に記憶するように動作する。
【００３２】
具体的には、時刻Ｔｐの前Ｔｂ秒間の画像と、時刻Ｔｐ後のＴａ秒間の画像をメモリカード１０に記憶するように制御する。例えば、Ｔｐは１２秒、Ｔａは８秒とすることができる。なお、Ｔｂ及びＴａの期間は自由に設定できるものとする。
【００３３】
したがって、第１制御部１０１は、第１ＣＣＤカメラ１１１では図３（ｄ）に３３として示した２００枚分の画像を記憶し、第２ＣＣＤカメラ１１２では図３（ｅ）に３４として示した２００枚分の画像を記憶し、第３ＣＣＤカメラ１１３では図３（ｆ）に３５として示した２００枚分の画像を記憶し、第４ＣＣＤカメラ１１４では図３（ｇ）に３６として示した２００枚分の画像を記憶するように制御する。即ち、１回のイベントで、各ＣＣＤカメラについて２００枚、合計で８００枚の画像がメモリカード１０に記憶される。
【００３４】
また、１回のイベント毎に、第１制御部１０１は、（Ｇセンサ１０２によるイベントであることを示す）イベント種類データ、イベント発生時刻データ（Ｔｐ）、Ｇセンサ１０２の出力Ｇデータ（Ｇｘ、Ｇｙ）、マイク１１５で時刻Ｔｐの前Ｔｂ秒間及び時刻Ｔｐ後のＴａ秒間の音声データ、この間（Ｔｂ及びＴａ間）のタイヤロックデータ及びタイヤロック時刻データ、この間のブレーキ操作データ及びブレーキ操作開始時刻データを、画像データと共にメモリカード１０に記憶する。なお、上述したデータの一部のみをメモリカード１０に記憶するように構成しても良い。
【００３５】
メモリカード１０に記憶されるイベント数は、メモリカード１０の記憶容量に応じて、可変することができるが、少なくとも１０イベント分のデータが記憶できるようにすることが好ましい。また、第１制御部１０１は、イベント毎にメモリカード１０にフォルダを作成して、画像データ、イベント種類データ、イベント発生時刻データ（Ｔｐ）、Ｇセンサ１０２の出力Ｇデータ（Ｇｘ、Ｇｙ）、音声データ、タイヤロックデータ及びタイヤロック時刻データ、ブレーキ操作データ及びブレーキ操作開始時刻データを記憶するようにすることが好ましい。
【００３６】
上述したように、ドライブレコーダ１００は、衝撃が発生した時刻Ｔｐの前Ｔｂの期間及び時刻Ｔｐの後Ｔａの期間の画像を記憶することができるので、衝撃の発生原因が自動車同士の衝突等による事故であった場合に、後で記憶された画像を解析することによって、事故原因を正確に究明等することが可能となる。
【００３７】
図４は、右斜め前方から衝撃を受けた場合を示す図である。
【００３８】
図４（ａ）は車両１が受けた衝撃の方向を示し、図４（ｂ）は衝撃を受けた時のＧセンサの出力例を示し、図４（ｃ）はＧセンサからの出力信号Ｇ（Ｇｘ、Ｇｙ）の合成値の絶対値の時系列的変化を示しており、図４（ｄ）〜図４（ｇ）は第１ＣＣＤカメラ１１１〜第４ＣＣＤカメラ１１４が撮像する画像（静止画像）の撮像タイミング(０．１秒毎に１枚）を示し、図４（ｈ）は作成されるサムネイル画像の例を示している。なお、サムネイル画像の作成については後述する。
【００３９】
時刻Ｔｐにおいて、衝撃が、図４（ａ）に示す矢印４０の方向（右斜め前）から車両１に生じた場合、Ｇセンサ１０２は、図４（ｂ）に示すような正のＹ軸方向の重力加速度Ｇｙ４１及び正のＸ軸方向の重力加速度Ｇｘ４２を発生する。Ｇセンサ１０２からの出力の合成重力加速度の絶対値４３が、閾値加速度Ｇｓ（例えば、０．４５）以上の場合、第１制御部１０１は、イベントが発生したと判断し、各ＣＣＤカメラ１１１〜１１４が撮像する画像をメモリカード１０に記憶するように動作する。
【００４０】
具体的には、時刻Ｔｐの前Ｔｂ秒間の画像と、時刻Ｔｐ後のＴａ秒間の画像をメモリカード１０に記憶するように制御する。例えば、Ｔｐは１２秒、Ｔａは８秒とすることができる。なお、Ｔｂ及びＴａの期間は自由に設定できるものとする。
【００４１】
したがって、第１制御部１０１は、第１ＣＣＤカメラ１１１では図４（ｄ）に４５として示した２００枚分の画像を記憶し、第２ＣＣＤカメラ１１２では図４（ｅ）に４６として示した２００枚分の画像を記憶し、第３ＣＣＤカメラ１１３では図４（ｆ）に４７として示した２００枚分の画像を記憶し、第４ＣＣＤカメラ１１４では図４（ｇ）に４８として示した２００枚分の画像を記憶するように制御する。即ち、１回のイベントで、各ＣＣＤカメラについて２００枚、合計で８００枚の画像がメモリカード１０に記憶される。
【００４２】
また、１回のイベント毎に、第１制御部１０１は、（Ｇセンサ１０２によるイベントであることを示す）イベント種類データ、イベント発生時刻データ（Ｔｐ）、Ｇセンサ１０２の出力Ｇデータ（Ｇｘ、Ｇｙ）、マイク１１５で時刻Ｔｐの前Ｔｂ秒間及び時刻Ｔｐ後のＴａ秒間の音声データ、この間（Ｔｂ及びＴａ間）のタイヤロックデータ及びタイヤロック時刻データ、この間のブレーキ操作データ及びブレーキ操作開始時刻データを、画像データと共にメモリカード１０に記憶する。なお、上述したデータの一部のみをメモリカード１０に記憶するように構成しても良い。
【００４３】
上述したように、ドライブレコーダ１００は、衝撃が発生した時刻Ｔｐの前Ｔｂの期間及び時刻Ｔｐの後Ｔａの期間の画像を記憶することができるので、衝撃の発生原因が自動車同士の衝突等による事故であった場合に、後で記憶された画像を解析することによって、事故原因を正確に究明等することが可能となる。なお、上述した図３及び図４の例において、閾値加速度Ｇｓを超えることをイベント発生のトリガとしたが、例えば、単位時間あたりの加速度の変化量がある値を超えた場合（０．１秒間に、Ｇ値が０．３以上変化した場合）にイベントが発生したと認識するようにしても良い。
【００４４】
図５は、操作部を操作した場合を示す図である。
【００４５】
図５（ａ）は第１操作部１０４の出力信号の一例を示し、図５（ｂ）〜図５（ｅ）は第１ＣＣＤカメラ１１１〜第４ＣＣＤカメラ１１４が撮像する画像（静止画像）の撮像タイミング(０．１秒毎に１枚）を示し、図５（ｆ）は作成されるサムネイル画像の例を示している。なお、サムネイル画像の作成については後述する。
【００４６】
図５（ａ）に示すように、時刻Ｔｐにおいて、図２に示す第１操作部１０４から撮像開始指示のための操作信号５３が出力された場合、第１制御部１０１は、イベントが発生したと判断し、各ＣＣＤカメラ１１１〜１１４が撮像する画像をメモリカード１０に記憶するように動作する。
【００４７】
具体的には、時刻Ｔｐの前Ｔｂ秒間の画像と、時刻Ｔｐ後のＴａ秒間の画像をメモリカード１０に記憶するように制御する。例えば、Ｔｐは１２秒、Ｔａは８秒とすることができる。なお、Ｔｂ及びＴａの期間は自由に設定できるものとする。
【００４８】
したがって、第１制御部１０１は、第１ＣＣＤカメラ１１１では図５（ｂ）に５４として示した２００枚分の画像を記憶し、第２ＣＣＤカメラ１１２では図５（ｃ）に５５として示した２００枚分の画像を記憶し、第３ＣＣＤカメラ１１３では図５（ｄ）に５６として示した２００枚分の画像を記憶し、第４ＣＣＤカメラ１１４では図５（ｅ）に５７として示した２００枚分の画像を記憶するように制御する。即ち、１回のイベントで、各ＣＣＤカメラについて２００枚、合計で８００枚の画像がメモリカード１０に記憶される。
【００４９】
また、１回のイベント毎に、第１制御部１０１は、（操作部１０４の撮像開始指示によるイベントであることを示す）イベント種類データ、イベント発生時刻データ（Ｔｐ）、この間（Ｔｂ及びＴａ間）のＧセンサ１０２の出力Ｇデータ（Ｇｘ、Ｇｙ）、音声データ、この間のタイヤロックデータ及びタイヤロック時刻データ、この間のブレーキ操作データ及びブレーキ操作開始時刻データを、画像データと共にメモリカード１０に記憶する。なお、上述したデータの一部のみをメモリカード１０に記憶するように構成しても良い。
【００５０】
上述したように、ドライブレコーダ１００は、第１操作部１０４が操作された時刻Ｔｐの前Ｔｂの期間及び時刻Ｔｐの後Ｔａの期間の画像を記憶することができるので、例えば運転手が録画が必要だと判断した状況内容を、記憶された画像に基づいて後で確認することが可能となる。例えば、車両がタクシーである場合、第４ＣＣＤカメラ１１４を客用シートを撮像するように配置し、客に不審な行動が見られた場合に、第１操作部１０４を操作することによって画像の記憶を開始するように設定することが可能である。
【００５１】
以上、図３〜図５を用いて、ドライブレコーダ１００における画像の記憶方法について説明したが、画像の記録を開始するイベントとしては、ＡＢＳ情報検出部１１６及び／又はブレーキ操作検出部１１７からのデータに基づいて、例えば、急激なブレーキ操作等が行われた場合に、第１制御部１０１がイベントが発生したと判断して、画像の記録を開始するように構成しても良い。
【００５２】
次に、センタ端末２００におけるサムネイル画像の作成について説明する。
【００５３】
図６は、１つのイベントに関するサムネイル画像作成フローの一例を示す図である。
【００５４】
図６に示すフローは、センタ端末２００の第２制御部２０１が、予め記憶されたプログラムにしたがって実行し、第２操作部２０４の所定の操作に基づいて開始されるものとする。また、図６に示すフローが開始される時点で、スロットを構成する第２メモリカードＩＦ２０６にドライブレコーダ１００において画像が記憶されたメモリカード１０が挿入されているものとする。
【００５５】
最初に、第２制御部２０１は、１つのイベントに関するデータフォルダに含まれるイベント種類データに基づいて、イベントの種類の判断を行う（Ｓ１）。
【００５６】
イベントがＧセンサによるものである場合、第２制御部２０１は、Ｇセンサ１０２の出力Ｇ（Ｇｘ、Ｇｙ）を取得し（Ｓ２）、サムネイル画像を作成する場合の合成割合を、取得された出力Ｇ（Ｇｘ、Ｇｙ）に応じて決定する（Ｓ３）。例えば、図３の例では、Ｇｙ３１のみなので、第１ＣＣＤカメラ１１１の画像が１００％となり、図４の例では、第１ＣＣＤカメラ１１１と第２ＣＣＤカメラ１１２の画像の割合が、Ｇｙ：Ｇｘ（即ち、３：１）となる。
【００５７】
次に、第２制御部２０１は、Ｓ２で取得された出力Ｇ（Ｇｘ、Ｇｙ）に応じて、対象となるＣＣＤカメラの画像を選択する（Ｓ４）。例えば、図３の例では、車両１は前方からのみ衝撃を受け、その結果Ｇセンサ１０２の出力はＧｙ３１（正の値）のみであるので、第１ＣＣＤカメラ１１１の画像が選択される。また、図４の例では、車両１は右斜め前方から衝撃を受け、その結果Ｇセンサ１０２の出力はＧｙ４１（正の値）及びＧｘ４２（正の値）であるので、第１ＣＣＤカメラ１１１及び第２ＣＣＤカメラ１１２の画像が選択される。なお、車両１が後方から衝撃を受ければ、Ｇセンサ１０２の出力はＧｙ（負の値）のみとなるので、第３ＣＣＤカメラ１１３の画像が選択され、車両１が左側方から衝撃を受ければ、Ｇセンサ１０２の出力はＧｘ（負の値）となるので、第４ＣＣＤカメラ１１３の画像が選択されることとなる。なお、１台のＣＣＤカメラのみを車両に配置した場合には、自動的に１台のＣＣＤカメラの画像が選択されることとなる。
【００５８】
次に、第２制御部２０１は、イベント発生時刻データ（Ｔｐ）を取得し（Ｓ５）、Ｓ４で選択されたＣＣＤカメラの画像の内、イベント発生時刻Ｔｐから所定時間Ｔｒ前の画像を特徴画像として選択する（Ｓ６）。所定時間Ｔｒ前の画像を選択するのは、衝撃が発生した発生時刻よりも少し前の画像の方が、より衝撃が発生する原因や状況を把握し易いためである。なお、所定時間Ｔｒは例えば、０．２秒と設定することが可能であるが、アプリケーションに応じて、０秒を含め最適な値を選択することができる。
【００５９】
次に、第２制御部２０１は、Ｓ３で決定された合成割合に応じて、Ｓ６で選択された特徴画像を合成して、サムネイル画像（合成した画像を縮小化した画像）を作成し、表示部２０３に表示して（Ｓ７）、１つのイベントに関するサムネイル画像作成処理を終了する。
【００６０】
図３の場合には、図６に示すフローにしたがって、第１ＣＣＤカメラ１１１で撮像した画像の内、時刻Ｔｐより時間Ｔｒ（例えば、０．２秒）前に撮像された特徴画像３７を縮小化して、サムネイル画像３７（図３（ｈ）参照）を作成する。
【００６１】
図４の場合には、図６に示すフローにしたがって、第１ＣＣＤカメラ１１１で撮像した画像の内、時刻Ｔｐより時間Ｔｒ（例えば、０．２秒）前に撮像された特徴画像４９と第２ＣＣＤカメラ１１２で撮像した画像の内、時刻Ｔｐより時間Ｔｒ（例えば、０．２秒）前に撮像された特徴画像５０とが、Ｓ３で決定された合成割合（例えば、３：１）に応じて合成され、縮小化されてサムネイル画像５１(図４（ｈ）参照）が作成される。
【００６２】
なお、複数の特徴画像が選択された場合、複数の特徴画像を合成するのではなく、交互に表示するようなサムネイル画像を作成しても良い。また、表示時間比をＧセンサ１０２の出力Ｇ（Ｇｘ、Ｇｙ）に応じて決めても良い。例えば、図４の例では、Ｇｘ：Ｇｙが１：３であるから、表示時間も第１ＣＣＤカメラ１１１の特徴画像４９が３秒に対して、第２ＣＣＤカメラ１１２の特徴画像５０が１秒というように定めることができる。
【００６３】
Ｓ１でイベント種類が第１操作部１０４の操作による場合、第２制御部２０１は、予め定められたＣＣＤカメラの画像を選択する（Ｓ４）。例えば、図５の例では、第４ＣＣＤカメラ１１４の画像が選択される。
【００６４】
次に、第２制御部２０１は、イベント発生時刻（Ｔｐ）を取得し（Ｓ５）、Ｓ４で選択されたＣＣＤカメラの画像の内、イベント発生時刻Ｔｐから所定時間Ｔｒ前の画像を特徴画像として選択する（Ｓ６）。所定時間Ｔｒ前の画像を選択するのは、第１操作部１０４を操作した場合、動作にはタイムラグがあり、第１操作部が操作された時刻よりも少し前の画像の方が、より撮像したい画像に近い場合が多いためである。なお、所定時間Ｔｒは例えば、０．２秒と設定することが可能であるが、アプリケーションに応じて、０秒を含め最適な値を選択することができる。また、イベント種類によって動作のタイムラグが異なる場合が考えられるのでイベント種類に応じて、所定時間Ｔｒの値を変更するようにしても良い。
【００６５】
次に、第２制御部２０１は、Ｓ６で選択された画像からサムネイル画像（画像を縮小化した画像）を作成し、表示部２０３に表示して（Ｓ７）、１つのイベントに関するサムネイル画像作成処理を終了する。
【００６６】
図５の場合には、図６に示すフローにしたがって、第４ＣＣＤカメラ１１４で撮像した画像の内、時刻Ｔｐより時間Ｔｒ（例えば、０．２秒）前に撮像された特徴画像５８を縮小化してサムネイル画像５８（図５（ｆ）参照）を作成した。
【００６７】
図７は、サムネイル画像の表示例を示す図である。
【００６８】
図７は、センタ端末２００の表示部２０３に複数のイベントに関するサムネイル画像が表示された状態を示している。
【００６９】
それぞれのイベント６０は、Ｇセンサ１０２からの出力の合成重力加速度の絶対値の値６１、イベントの特徴を示すサムネイル画像６２、イベント発生時刻６３を一つのセットとしている。
【００７０】
なお、図７では、２０個のイベントを表示しているが、表示個数はこれに限定されるものではなく、他の個数を選択することや、他の要素と合わせて表示させること等も可能である。
【００７１】
図８は、図７に示す複数のイベントの内の１つのイベントを再生する画面例を示す図である。
【００７２】
図７に示す複数のイベントの内、第２操作部２０４によって６０として示すイベントを選択すると、図８の画面に切換わるものとする。
【００７３】
図８の画面では、第１ＣＣＤカメラ１１１で撮像した２００枚の画像が、操作表示７４（巻き戻し、再生、停止、早送り）何れかを選択することによって、表示領域７０に順次切換わりながら表示される。また、同時に、第２ＣＣＤカメラ１１２で撮像した２００枚の画像が表示領域７１に順次切換わりながら表示され、第３ＣＣＤカメラ１１３で撮像した２００枚の画像が表示領域７２に順次切換わりながら表示され、第４ＣＣＤカメラ１１４で撮像した２００枚の画像が表示領域７３に順次切換わりながら表示される。なお、表示領域７１〜７３を選択することによって、選択された画像が表示領域７０に拡大されて表示されるようにすることが好ましい。なお、図８に示す表示方法は一例であって、他の表示方法を選択することができる。
【００７４】
図３の例において、Ｇセンサ１０２からの出力に応じてイベントが発生した場合には、イベント発生時刻データ（Ｔｐ）に応じて特徴画像が選択された。しかしながら、イベント発生時刻データのみでなく、ブレーキ操作開始時刻データ及びタイヤロックデータを用いて、特徴画像を選択することが可能である。
【００７５】
例えば、イベント発生時刻（Ｔｐ）時にブレーキ操作を行い且つタイヤロックされていた場合には、ブレーキ操作開始時刻の画像を特徴画像として選択し、イベント発生時刻（Ｔｐ）時にブレーキ操作を行い且つタイヤロックしていなかった場合には、イベント発生時刻の画像を特徴画像として選択するように制御することが可能である。タイヤロックしていた場合には、ブレーキ操作開始時刻に重大の状況が発生した可能性があるので、そのタイミングの画像が重要となるからである。
【００７６】
上記の説明において、「画像」は、映像と静止画像との両方を含むものとする。また、「イベント」とは、撮像に値する特別な出来事をいい、例えば閾値加速度Ｇｓ以上の加速度を検出した場合等が該当する。
【符号の説明】
【００７７】
１０ メモリカード
１００ ドライブレコーダ
１０１ 第１制御部
１０２ Ｇセンサ
１０４ 第１操作部
１０６ 第１メモリ
１１１ 第１ＣＣＤカメラ
１１２ 第２ＣＣＤカメラ
１１３ 第３ＣＣＤカメラ
１１４ 第４ＣＣＤカメラ
２００ センタ端末
２０１ 第２制御部
２０３ 表示部
２０４ 第２操作部
【特許請求の範囲】
【請求項１】
イベントの発生に対応して、車両に搭載された複数台のカメラによってそれぞれ撮像された複数の画像を取得し、
再生操作手段による操作に応じて、同じイベントに対応する前記複数の画像を同時に再生する、
ステップを有することを特徴とする画像表示方法。
【請求項２】
前記複数の画像を特徴付ける特徴画像に基づいたサムネイル画像を表示するステップを更に有し、
前記サムネイル画像が前記再生操作手段によって選択された場合に、前記サムネイル画像に対応するイベントに対応する前記複数の画像が同時に再生される、請求項１に記載の画像表示方法。
【請求項３】
前記複数の画像の中で選択された画像が拡大表示される、請求項１又は２に記載の画像表示方法。
【請求項４】
イベントの発生に対応して、車両に搭載された複数台のカメラによってそれぞれ撮像された複数の画像を取得する手段と、
再生操作手段と、
前記再生操作手段の操作に応じて、同じイベントに対応する前記複数の画像を同時に再生させる制御手段と、
を有することを特徴とする画像表示装置。
【請求項５】
前記制御手段は、前記複数の画像を特徴付ける特徴画像に基づいたサムネイル画像を表示させ、
前記サムネイル画像が前記再生操作手段によって選択された場合に、前記サムネイル画像に対応するイベントに対応する前記複数の画像を同時に再生する、請求項４に記載の画像表示装置。
【請求項６】
前記制御手段は、前記複数の画像の中で選択された画像を拡大表示する、請求項４又は５に記載の画像表示装置。
【請求項１】
イベントの発生に対応して、車両に搭載された複数台のカメラによってそれぞれ撮像された複数の画像を取得し、
再生操作手段による操作に応じて、同じイベントに対応する前記複数の画像を同時に再生する、
ステップを有することを特徴とする画像表示方法。
【請求項２】
前記複数の画像を特徴付ける特徴画像に基づいたサムネイル画像を表示するステップを更に有し、
前記サムネイル画像が前記再生操作手段によって選択された場合に、前記サムネイル画像に対応するイベントに対応する前記複数の画像が同時に再生される、請求項１に記載の画像表示方法。
【請求項３】
前記複数の画像の中で選択された画像が拡大表示される、請求項１又は２に記載の画像表示方法。
【請求項４】
イベントの発生に対応して、車両に搭載された複数台のカメラによってそれぞれ撮像された複数の画像を取得する手段と、
再生操作手段と、
前記再生操作手段の操作に応じて、同じイベントに対応する前記複数の画像を同時に再生させる制御手段と、
を有することを特徴とする画像表示装置。
【請求項５】
前記制御手段は、前記複数の画像を特徴付ける特徴画像に基づいたサムネイル画像を表示させ、
前記サムネイル画像が前記再生操作手段によって選択された場合に、前記サムネイル画像に対応するイベントに対応する前記複数の画像を同時に再生する、請求項４に記載の画像表示装置。
【請求項６】
前記制御手段は、前記複数の画像の中で選択された画像を拡大表示する、請求項４又は５に記載の画像表示装置。
【図１】
【図２（ａ）】
【図２（ｂ）】
【図２（ｃ）】
【図２（ｄ）】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２（ａ）】
【図２（ｂ）】
【図２（ｃ）】
【図２（ｄ）】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−１８６４８２（Ｐ２０１０−１８６４８２Ａ）
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願番号】特願２０１０−５８２２１（Ｐ２０１０−５８２２１）
【出願日】平成２２年３月１５日（２０１０．３．１５）
【分割の表示】特願２００７−１０４６９（Ｐ２００７−１０４６９）の分割
【原出願日】平成１９年１月１９日（２００７．１．１９）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願日】平成２２年３月１５日（２０１０．３．１５）
【分割の表示】特願２００７−１０４６９（Ｐ２００７−１０４６９）の分割
【原出願日】平成１９年１月１９日（２００７．１．１９）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]