運転情報記録装置及び車両周囲画像再現システム
【課題】俯瞰画像関連の画像データの有効活用が図れる技術を提供する。
【解決手段】ドライブレコーダ３０は、自車両の走行中に発生し得る所定種類のイベントの発生を監視し、発生したことを検出したイベントの内容及び発生時間を示す情報を記録媒体（メモリカード）５０に記録する機能、自車両に取り付けられている複数台のカメラからの複数の画像データに基づき自車両周辺についての俯瞰画像を表す画像データを繰り返し生成する俯瞰画像生成装置２０から、俯瞰画像を表す画像データ、複数台のカメラからの複数の画像データ及び俯瞰画像を表す画像データの生成過程で生成される画像データの中の少なくとも１種の画像データを繰り返し取得する機能、取得した各画像データを、各画像データの生成時刻が分かる形で記録媒体５０に記録する機能を有する。
【解決手段】ドライブレコーダ３０は、自車両の走行中に発生し得る所定種類のイベントの発生を監視し、発生したことを検出したイベントの内容及び発生時間を示す情報を記録媒体（メモリカード）５０に記録する機能、自車両に取り付けられている複数台のカメラからの複数の画像データに基づき自車両周辺についての俯瞰画像を表す画像データを繰り返し生成する俯瞰画像生成装置２０から、俯瞰画像を表す画像データ、複数台のカメラからの複数の画像データ及び俯瞰画像を表す画像データの生成過程で生成される画像データの中の少なくとも１種の画像データを繰り返し取得する機能、取得した各画像データを、各画像データの生成時刻が分かる形で記録媒体５０に記録する機能を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転情報記録装置と車両周囲画像再現システムとに関する。
【背景技術】
【０００２】
車両の前後左右の様子を示す４種の画像データに基づき、車両周辺についての、さまざまな視点からの俯瞰画像をディスプレイ上に表示する装置（以下、俯瞰画像生成装置と表記する）が、実用化されている。
【０００３】
俯瞰画像生成装置を車両に搭載しておけば、ドライバが、バックミラー等では確認しにくい場所や確認できない場所の様子を確認しながら車両を運転することができるため、より安全な運転が可能となる。
【０００４】
なお、本明細書で説明する技術に関連する技術が記載されている文献としては、以下の特許文献１、２が存在している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−０９６３１２号公報
【特許文献２】特開２０００−１２８０３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記したように、俯瞰画像生成装置を車両に搭載しておけば、より安全な運転が可能となるのであるが、既存の俯瞰画像生成装置は、その時点（現時点）における俯瞰画像をディスプレイ上に表示することしかできない。そして、俯瞰画像の画像データや、俯瞰画像生成用の各カメラからの画像データは、事故等の原因究明にも利用できるデータである。従って、そのような観点から考えると、既存の俯瞰画像生成装置は、俯瞰画像関連の画像データを十分に有効活用していないものとなっていることになる。
【０００７】
そこで、本発明の課題は、俯瞰画像関連の画像データの有効活用が図れる技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の運転情報記録装置は、車両に取り付けられている複数のカメラからの複数の画像データに基づき、当該車両周辺についての俯瞰画像を表す俯瞰画像データを生成する俯瞰画像生成手段と、車両に対するイベントの発生を検出し、当該検出されたイベントの内容及び発生時間を示す情報を記録媒体に記録する運転状況記録手段と、俯瞰画像生成手段から、俯瞰画像データ、複数のカメラからの複数の画像データ及び俯瞰画像データの生成過程で生成される画像データの中の少なくとも１種の画像データを取得する画像データ取得手段と、画像データ取得手段により取得された少なくとも１種の画像データを、複数のカメラによる画像データの生成時刻と対応づけてメモリカードに記録する画像データ記録手段とを備える。
【０００９】
すなわち、本発明の運転情報記録装置は、従来、運転中に、周囲の状況確認にしか使用されていなかった俯瞰画像関連の画像データを、運転状況に関する情報と共にメモリカードに記録する。そして、俯瞰画像関連の画像データがメモリカードに記録されていれば、事故や危険な運転をしてしまった原因等をより究明し易くなる。従って、本発明の運転情
報記録装置によれば、俯瞰画像関連の画像データの有効活用が図れることになる。
【００１０】
本発明の運転情報記録装置の画像データ記録手段としては、“俯瞰画像データの生成過程で生成される複数の画像データを合成した画像データを俯瞰画像生成手段から取得する”手段を採用しておくことが出来る。
【００１１】
本発明の第１の態様の車両周囲画像再現システムは、車両周囲を撮影するカメラにより撮影される複数の画像を合成処理して車両周囲の俯瞰画像を表示する俯瞰画像表示部と、車両周囲画像の画像データを記録するドライブレコーダ部と、ドライブレコーダ部により記録された画像データに基づき車両周囲の画像を表示するドラレコ画像再生部とを備え、ドライブレコーダ部は、俯瞰画像表示部の合成した俯瞰画像の俯瞰画像データを記録媒体に記録し、ドラレコ画像再生部は、記録媒体に記録された俯瞰画像データに基づき俯瞰画像を表示する。
【００１２】
すなわち、本発明の第１の態様の車両周囲画像再現システムは、実運転時に俯瞰画像表示部により表示されていた画像そのものをドラレコ画像再生部が表示（再生）できる構成を有している。従って、この本発明の第１の態様の車両周囲画像再現システムによっても、俯瞰画像関連の画像データの有効活用が図れる。
【００１３】
また、本発明の第２の態様の車両周囲画像再現システムは、車両周囲を撮影するカメラにより撮影される複数の画像を合成処理して車両周囲の俯瞰画像を表示する俯瞰画像表示部と、車両周囲画像の画像データを記録するドライブレコーダ部と、ドライブレコーダ部により記録された画像データに基づき車両周囲の画像を表示するドラレコ画像再生部とを備え、ドライブレコーダ部は、カメラにより撮影されたカメラ画像のカメラ画像データと、俯瞰画像表示部による俯瞰画像生成に用いられる俯瞰画像パラメータとを記録媒体に記録し、ドラレコ画像再生部は、記録媒体に記録されたカメラ画像データと俯瞰画像パラメータに基づき俯瞰画像生成し、当該生成した俯瞰画像を表示する。
【００１４】
すなわち、本発明の第２の態様の車両周囲画像再現システムは、実運転時に表示されていた画像以外の俯瞰画像（視点を変えた俯瞰画像、俯瞰画像が表示されていなかった実運転時の時刻に対する俯瞰画像）、特定のカメラ画像等の様々な画像をドラレコ画像再生部が表示できる構成を有している。従って、この第２の態様の車両周囲画像再現システムは、俯瞰画像関連の画像データを、上記した第１の態様の車両周囲画像再現システムよりも有効に利用できるシステムとなっていると言うことが出来る。
【００１５】
また、本発明の第３の態様の車両周囲画像再現システムは、車両周囲を撮影するカメラにより撮影される複数の画像を合成処理して車両周囲の俯瞰画像を表示する俯瞰画像表示部と、車両周囲画像の画像データを記録するドライブレコーダ部と、ドライブレコーダ部により記録された画像データに基づき車両周囲の画像を表示するドラレコ画像再生部とを備え、ドライブレコーダ部は、俯瞰画像表示部における俯瞰画像生成処理過程で生成される投影画像の投影画像データと、俯瞰画像表示部による投影画像から俯瞰画像生成に用いられる投影後パラメータとを記録媒体に記録し、ドラレコ画像再生部は、記録媒体に記録された投影画像データと投影後パラメータに基づき俯瞰画像生成し、当該生成した俯瞰画像を表示する。
【００１６】
すなわち、本発明の第３の態様の車両周囲画像再現システムは、第２の態様の車両周囲画像再現システムよりも表示可能な画像の種類（パターン）は少ないが、実運転時に俯瞰画像表示部により表示されていた画像以外の画像をドラレコ画像再生部が表示（再生）できる構成を有している。従って、この第２の態様の車両周囲画像再現システムも、俯瞰画像関連の画像データを、上記した第１の態様の車両周囲画像再現システムよりも有効に利
用できるシステムとなっていると言うことが出来る。
【発明の効果】
【００１７】
本発明によれば、俯瞰画像関連の画像データの有効活用が図れる。
【図面の簡単な説明】
【００１８】
【図１】図１は、本発明の第１実施形態に係る運転状況監視システムの、俯瞰画像生成装置及びナビゲーション装置を中心とした構成図である。
【図２】図２は、第１実施形態に係る運転状況監視システムの、ドライブレコーダを中心とした構成図である。
【図３】図３は、第１実施形態に係る俯瞰画像生成装置が備える画像処理部の構成図である。
【図４】図４は、第１実施形態に係る画像処理部内の視点変換部及び画像生成部による表示画像信号の生成手順の説明図である。
【図５】図５は、第１実施形態に係る運転状況監視システムのドライブレコーダにより実行される情報記録処理の流れ図である。
【図６】図６は、第１実施形態に係る運転状況監視システム用の運転内容評価装置の構成図である。
【図７】図７は、運転内容評価装置の制御部が実行する俯瞰画像生成処理の流れ図である。
【図８】図８は、本発明の第２実施形態に係る運転状況監視システムのドライブレコーダにより実行される情報記録処理の流れ図である。
【図９】図９は、本発明の第３実施形態に係る運転状況監視システムの、ドライブレコーダを中心とした構成図である。
【図１０】図１０は、ドライブレコーダの記録画像を俯瞰画像で再生する方法（３パターン）についての説明図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２０】
《第１実施形態》
図１及び図２に、本発明の第１実施形態に係る運転状況監視システムの構成を示す。まず、これらの図を用いて、本実施形態に係る運転状況監視システムの概要を説明する。
【００２１】
本実施形態に係る運転状況監視システムは、車両（自動車）に搭載されるシステムである。図１及び図２に示されているように、運転状況監視システムは、ナビゲーション装置１０、俯瞰画像生成装置２０及びドライブレコーダ３０を備えている。また、運転状況監視システムは、俯瞰画像生成装置２０と接続されたフロントカメラ４１Ｆ、サイドカメラ４１Ｒ、サイドカメラ４１Ｌ及びバックカメラ４１Ｂ（図１）、並びに、ドライブレコーダ３０と接続されたカメラ４２、マイク４３、記録スイッチ４４及び操作部４５（図２）を備えている。
【００２２】
ナビゲーション装置１０（図１）は、この運転状況監視システムを搭載した車両（以下、自車両と表記する）の現在位置、目的地までのルート等が示されている地図をディスプレイ１１に表示する装置である。また、ナビゲーション装置１０は、俯瞰画像生成装置２０からの、自車両を中心とした自車両周辺の俯瞰画像（以下、単に俯瞰画像とも表記する）を表す表示画像信号（映像信号）に基づく俯瞰画像表示をディスプレイ１１に行わせる機能等も有している。
【００２３】
俯瞰画像生成装置２０は、自車両に取り付けられた４台のカメラ４１（４１Ｆ、４１Ｒ
、４１Ｌ及び４１Ｂ）による撮影結果に基づき周期的に俯瞰画像の画像データ（以下、俯瞰画像データと表記する）を生成し、生成した俯瞰画像データ群から上記表示画像信号を生成してナビゲーション装置１０に供給（送信）する装置である。この俯瞰画像生成装置２０は、各カメラ４１による撮影結果を示す画像データである撮影画像データを撮影日時情報と共に、ドライブレコーダ３０に供給する機能も有している。
【００２４】
ドライブレコーダ３０（図２）は、車速センサ等からの情報に基づき、複数種類のイベント（急加速等）が発生するのを監視し、或るイベントの発生検出時に、そのイベントの発生位置等を示す運転内容情報を記録媒体５０（ＳＤＨＣ(Secure Digital High-Capacity)カード等）に記録する装置である。ドライブレコーダ３０は、イベント発生前後におけるカメラ４２による撮影結果を記録媒体５０に記録する機能、俯瞰画像生成装置２０から供給される各情報（１組の撮影画像データ及び撮影日時情報）記録媒体５０に記録する機能等も有している。
【００２５】
本実施形態では、イベントの発生を検出した場合に、そのイベントに関する運転内容情報を記録媒体に記録する構成（イベント記録方式）を一例として記載するが、他の実施形態である記録媒体へ運転内容情報を定期的に記録する構成（常時記録方式）であっても、本実施形態と同様の処理が実行される。尚、常時記録方式は、イベントの発生を検出する機能を有する場合、イベントの種類に関する種類情報及びイベントの発生時刻に関する時刻情報、イベントの発生位置に関する位置情報等を、画像情報と対応付けられて記録媒体に記録される。
【００２６】
以下、運転状況監視システムの構成及び機能をさらに具体的に説明する。
【００２７】
〔ナビゲーション装置１０〕
図１に示されているように、ナビゲーション装置１０は、ディスプレイ１１、操作部１２、音声出力部１３、制御部１４、ＧＰＳ（Global Positioning System）受信機１５及
び不揮発性メモリ１６を備えている。
【００２８】
ディスプレイ１１は、タッチスクリーン（液晶ディスプレイ等に透明なタッチパネルを重ねたディスプレイ装置）として機能し、各種情報（地図等）を表示する。また、タッチスクリーンとしてのディスプレイ１１は、各種の指示や地図上の位置の指定をユーザ（通常、自車両の運転者）から受け付け、受け付けた指示／指定を信号として制御部１４に出力する。
【００２９】
操作部１２は、自車両内のユーザが操作しやすい位置に配置され、各種のユーザ操作を受け付けて、受け付けたユーザ操作を信号として制御部１４に出力する。
【００３０】
音声出力部１３は、制御部１４から供給される音声データに応じた音声（案内音声）を出力する。ＧＰＳ受信機１５は、複数のＧＰＳ衛星からの信号を受信して、現時点における自車位置（自車両の位置）を取得する。ＧＰＳ受信機１５は、地球上における緯度経度で表現された位置情報として自車位ｄ置を取得して制御部１４へ出力する。
【００３１】
不揮発性メモリ１６は、例えば、ハードディスクやフラッシュメモリなどで構成され、ナビゲーション装置１０のファームウェアとしてのプログラムや、ユーザへの案内に用いる地図データ及び音声データなどを記憶する。
【００３２】
制御部１４は、不揮発性メモリ１６上のプログラムに従って演算処理を行うことで各種の制御機能を実現するＣＰＵ（Central Processing Unit）、演算処理の作業領域となる
ＲＡＭ（Random Access Memory）、俯瞰画像生成装置２０及びドライブレコーダ３０と通
信を行うための通信回路等から構成され、ナビゲーション装置１０内の各部を統合的に制御する。
【００３３】
この制御部１４（及びナビゲーション装置１０の他の各部）は、例えば、自車両のイグニッションスイッチのオンにより起動される。
【００３４】
制御部１４は、起動されると、所定のイニシャル処理を実行する。制御部１４は、イニシャル処理が完了すると、操作部１２やディスプレイ１１に対する操作を通じてユーザから各種の指示を受け付ける状態となる。そして、制御部１４は、例えば、地図の表示指示を受け付けた際には、ＧＰＳ受信機１５からの自車位置と不揮発性メモリ１６上の地図データとに基づき、各時点における自車位置が示された地図をディスプレイ１１に表示する処理を開始し、地図表示の終了指示を受け付けた際に当該処理を終了する。
【００３５】
また、制御部１４は、俯瞰画像（自車両を中心とした自車両周辺の俯瞰画像）の表示指示を受け付けた際には、所定内容の信号出力要求コマンドを俯瞰画像生成装置２０に対して送信する。次いで、制御部１４は、当該信号出力要求コマンドの受信により俯瞰画像生成装置２０から出力されることになる、俯瞰画像を表す表示画像信号をディスプレイ１１に供給するための処理を開始する。そして、制御部１４は、俯瞰画像表示の中止指示を受け付けた際に、所定内容の信号出力停止要求コマンドを俯瞰画像生成装置２０に送信してから当該処理を終了する。
【００３６】
さらに、制御部１４は、操作部１２やディスプレイ１１に対する操作を通じてユーザから、表示する俯瞰画像の視点位置（画像処理部２１に生成させる俯瞰画像データの視点位置）の変更指示、撮影画像データ等の記録媒体５０への記録の開始指示である連携指示、当該記録の終了指示である連携停止指示等を受け付ける。
【００３７】
視点位置の変更指示を受け付けると、制御部１４は、ユーザが指定した視点位置を表す情報を含めた視点位置変更指示コマンドを俯瞰画像生成装置２０に送信する。また、連携指示、連携停止指示を受け付けると、制御部１４は、それぞれ、所定内容の連携指示コマンド、連携停止指示コマンドを、俯瞰画像生成装置２０及びドライブレコーダ３０に送信する。
【００３８】
そして、制御部１４（及びナビゲーション装置１０の他の各部）は、例えば、自車両のイグニッションスイッチのオフにより動作を停止する。
【００３９】
〔俯瞰画像生成装置２０〕
俯瞰画像生成装置２０（図１）は、画像処理部２１、通信回路２２、制御部２３、カード読取部２４及び不揮発性メモリ２５を備えている。
【００４０】
俯瞰画像生成装置２０（画像処理部２１）と接続されている各カメラ４１（４１Ｆ、４１Ｒ、４１Ｌ、４１Ｂ）は、対物レンズとして魚眼レンズや超広角レンズが用いられた、１８０度以上の画角を有するカメラである。フロントカメラ４１Ｆは、通常、自車両のフロントバンパの左右略中心に、その光軸が自車両の前方（前進方向）を向いた姿勢で取り付けられる。バックカメラ４１Ｂは、通常、自車両のリアバンパの左右略中心に、その光軸が自車両の後方（後進方向）を向いた姿勢で取り付けられる。サイドカメラ４１Ｒは、通常、自車両の右側のドアミラーに、その光軸が右方を向いた姿勢で取り付けられる。サイドカメラ４１Ｌは、通常、自車両の左のドアミラー等に、その光軸が左方を向いた姿勢で取り付けられる。
【００４１】
制御部２３は、ＣＰＵ、ＲＡＭ、各種インタフェース回路等から構成され、俯瞰画像生
成装置２０内の各部を統合的に制御する。図１に示されているように、この制御部２３には、自車両の操舵角センサ、変速機、照度センサ、車速センサからの情報（つまり、自車両の操舵角、シフトポジション、照度、車速）が入力されている。また、制御部２３は、通信用の信号線によってナビゲーション装置１０の制御部１４と接続されている。
【００４２】
通信回路２２は、ドライブレコーダ３０との間で通信（情報交換）を行うための回路である。制御部２３は、この通信回路２２を利用して、ドライブレコーダ３０との間で通信を行う。
【００４３】
不揮発性メモリ２５は、俯瞰画像生成装置２０のファームウェアとしてのプログラムを記憶した書き換え可能な不揮発性メモリ（例えば、ハードディスクやフラッシュメモリ）である。この不揮発性メモリ２５には、制御部２３により読み出されて画像処理部２１に設定される車両情報及び対応関係情報が設定データとして格納されている。これらの情報の詳細については、画像処理部２１の詳細説明時に説明する。
【００４４】
カード読取部２４は、特定仕様の記録媒体（ＳＤカード等）からデータを読み出すためのユニットである。俯瞰画像生成装置２０は、新たなプログラムや設定データを記録した記録媒体を、このカード読取部２４にセットすることにより、不揮発性メモリ２５上のプログラムや設定データを更新できる装置として構成されている。
【００４５】
画像処理部２１は、俯瞰画像生成装置２０用のものとして開発された集積回路であり、俯瞰画像生成演算処理を効率良く行えるような回路構成（例えば、分岐・判断処理よりも、積算等の演算処理に適した構造）となっている。画像処理部２１は、４台のカメラ４１による撮影結果に基づき、上記表示画像信号を生成して出力する表示画像信号出力機能と、４台のカメラ４１による撮影結果を出力する撮影結果出力機能とを有している。
【００４６】
図３に、画像処理部２１の構成を示す。この図３に示されているように、画像処理部２１は、それぞれ、フロントカメラ４１Ｆ、サイドカメラ４１Ｒ、サイドカメラ４１Ｌ、バックカメラ４１Ｂに接続された４つのＡ／Ｄコンバータ２１１と、Ａ／Ｄコンバータ２１１毎に設けられた４つの画像書込部２１２と、フレームメモリ２１３と、画像読出部２１４と、視点変換部２１５と、画像生成部２１６とを、備えている。
【００４７】
画像処理部２１が備える各Ａ／Ｄコンバータ２１１は、自身に入力されている画像信号に対してＡ／Ｄ（analog-to-digital）変換を行う。フレームメモリ２１３は、４種の撮
影画像データを同時に記憶できる容量を有しており、各画像書込部２１２は、『各Ａ／Ｄコンバータ２１１による１フレーム分の画像信号のＡ／Ｄ変換結果を撮影画像データとしてフレームメモリ２１３の自ユニット専用の記憶領域に書き込む書込処理』を周期的に（例えば１／３０秒周期で）行う。
【００４８】
尚、画像処理部２１内には、表示画像信号出力機能を利用するか否かを指定するための第１指定値、及び、撮影結果出力機能を利用するか否かを指定するための第２指定値が、制御部２３により設定される指定値用レジスタ（図示略）が設けられている。そして、画像処理部２１内の各Ａ／Ｄコンバータ２１１及び各画像書込部２１２は、指定値用レジスタ上の少なくとも一方の指定値が、対応する機能（表示画像信号出力機能又は撮影結果出力機能）を利用することを示す値である場合に上記のように動作し、それ以外の場合には動作しない回路となっている。
【００４９】
画像読出部２１４も、指定値用レジスタ上の少なくとも一方の指定値が、対応する機能を利用すること示す値である場合に動作し、それ以外の場合には動作しない回路である。ただし、画像読出部２１４は、指定値用レジスタ上の第１、第２指定値の組み合わせに応
じた内容の動作を行う。
【００５０】
具体的には、画像読出部２１４は、以下のように動作する。尚、以下の説明において、第１指定値〔利用〕、第１指定値〔非利用〕とは、それぞれ、表示画像信号出力機能を利用すること、表示画像信号出力機能を利用しないことを示す第１指定値のことである。同様に、第２指定値〔利用〕、第２指定値〔非利用〕とは、それぞれ、撮影結果出力機能を利用すること、撮影結果出力機能を利用しないことを示す第２指定値のことであり、第１指定値〔非利用〕、第２指定値〔非利用〕が、各指定値の初期値（画像処理部２１への通電開始直後の指定値用レジスタ上の各指定値の値）である。
【００５１】
画像読出部２１４は、第１指定値〔利用〕と第２指定値〔非利用〕とが指定値用レジスタに設定されている場合には、『フレームメモリ２１３に記憶された４種の撮影画像データを読み出し、読み出した４種の撮影画像データの全ての内容を含む結合画像データを生成して視点変換部２１５に供給する画像読出処理』を、周期的に（通常、画像書込部２１２による書込処理の実行周期と同周期で）行う。
【００５２】
画像読出部２１４は、第１指定値〔利用〕と第２指定値〔利用〕とが指定値用レジスタに設定されている場合には、画像読出処理と『フレームメモリ２１３上の４種の撮影画像データをそのまま制御部２３に対して出力する撮影結果出力処理』とを、周期的に行う。また、画像読出部２１４は、第１指定値〔非利用〕と第２指定値〔利用〕とが指定値用レジスタに設定されている場合には、撮影結果出力処理のみを、周期的に行う。
【００５３】
視点変換部２１５及び画像生成部２１６は、第１指定値〔利用〕が指定値用レジスタに設定されている場合に動作し、それ以外の場合には動作しない回路である。すなわち、視点変換部２１５及び画像生成部２１６は、画像読出部２１４から視点変換部２１５に結合画像データ（４種の撮影画像データを含むデータ）が供給される場合にのみ動作する。
【００５４】
動作している視点変換部２１５は、『制御部２３により設定されている車両情報、対応関係情報及び視点位置を用いて、画像読出部２１４が生成した結合画像データから俯瞰画像データを生成する俯瞰画像データ生成処理』を、周期的に（通常、画像読出処理の実行周期と同周期で）行う。尚、制御部２３による車両情報等の設定タイミングについては、制御部２３の機能説明時に説明する。
【００５５】
また、動作している画像生成部２１６は、視点変換部２１５が周期的に生成する俯瞰画像データから、ナビゲーション装置１０のディスプレイ１１に供給するための表示画像信号を生成して制御部２３に出力する。
【００５６】
ここまでの説明から明らかなように、この画像処理部２１は、第１指定値〔利用〕及び第２指定値〔非利用〕が指定値用レジスタに設定されている場合には、表示画像信号のみを出力し、第１指定値〔利用〕及び第２指定値〔利用〕が指定値用レジスタに設定されている場合には、表示画像信号及び撮影画像データを出力し、第１指定値〔非利用〕及び第２指定値〔利用〕が指定値用レジスタに設定されている場合には、撮影画像データのみを出力し、第１指定値〔非利用〕及び第２指定値〔非利用〕が指定値用レジスタに設定されている場合には、何も出力しないように構成された回路となっている。
【００５７】
以下、図４を用いて、画像処理部２１の視点変換部２１５及び画像生成部２１６の機能をさらに具体的に説明すると共に、画像処理部２１（視点変換部２１５）に設定される車両情報及び対応関係情報の詳細を説明する。尚、この図４は、視点変換部２１５及び画像生成部２１６による表示画像信号の生成手順の説明図である。また、以下の説明では、指定値用レジスタに、第１指定値〔利用〕及び第２指定値〔非利用〕が設定されている（画
像処理部２１が、表示画像信号のみを出力する状態で動作している）ものとする。
【００５８】
第１指定値〔利用〕及び第２指定値〔非利用〕が指定値用レジスタに設定されている状態では、画像処理部２１内の各部が動作する。また、画像読出部２１４は、上記した内容の画像読出処理のみを周期的に行う。
【００５９】
従って、フレームメモリ２１３に、周期的に、４台のカメラ４１の撮影結果を示す撮影画像データＰ１〜Ｐ４が記憶され、それらから、周期的に、結合画像データ（撮影画像データＰ１〜Ｐ４の全ての内容を含む画像データ）が生成されることになる。
【００６０】
そして、視点変換部２１５により、画像読出部２１４により生成された結合画像データに対する俯瞰画像データ生成処理が行われる。
【００６１】
或る結合画像データに対する俯瞰画像データ生成処理を開始した視点変換部２１５は、当該結合画像データを、仮想的な三次元空間における立体曲面５２に投影する。立体曲面５２は、図４に示してあるように、略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が、自車両が存在する位置として定められている。
【００６２】
不揮発性メモリ２５から読み出されて画像処理部２１（視点変換部２１５）に設定される対応関係情報は、結合画像データ中の各画素データをこの立体曲面５２のどの画素の画素データとするかを規定しており、視点変換部２１５は、設定されている対応関係情報を利用して、結合画像データを、仮想的な三次元空間における立体曲面５２に投影する。尚、詳細説明は省略するが、対応関係情報の内容（結合画像データ中の各画素データに立体曲面５２上の画素との対応関係）は、各カメラ４１の位置、向き、各カメラ４１の対物レンズの仕様等に基づき、決定されている。
【００６３】
また、不揮発性メモリ２５から読み出されて視点変換部２１５に設定される車両情報は、自車両の３次元形状や色を示しており、視点変換部２１５は、上記処理と並行的に、設定されている車両情報に基づき、自車両の三次元形状及び各部の色を示すポリゴンモデルを仮想的に構成する。
【００６４】
そして、視点変換部２１５は、立体曲面５２に投影した結合画像データ（以下、合成画像データと表記する）に基づき、設定されている視点位置から立体曲面５２（立体曲面５２上の合成画像データ）の中央部分を見た画像を表す俯瞰画像データを生成する。
【００６５】
次いで、視点変換部２１５は、生成した俯瞰画像データのほぼ中心に、構成済みのポリゴンモデルをレンダリングすることにより生成した自車両の俯瞰画像データ（設定されている視点位置から見た様子を表すもの）を重畳する。そして、視点変換部２１５は、そのようにして生成した俯瞰画像データを画像生成部２１６に供給してから、１回分の俯瞰画像データ生成処理を終了する。
【００６６】
画像生成部２１６は、視点変換部２１５から周期的に供給される俯瞰画像データに、制御部２３から与えられている情報（文字列や線画）に応じた画像データ（画素データ群）を追加して、表示画像信号（映像信号）を生成する。画像生成部２１６は、例えば、ディスプレイ１１に供給すると図４に示してあるような画面５４が表示されることになる表示画像信号を生成する。
【００６７】
次に、制御部２３の機能を説明する。
【００６８】
制御部２３（及び俯瞰画像生成装置２０内の他の各部）は、例えば、自車両のイグニッ
ションスイッチのオンにより起動され、例えば、自車両のイグニッションスイッチのオフにより動作を停止する。
【００６９】
制御部２３は、起動されると、所定のイニシャル処理を実行する。制御部２３は、イニシャル処理が完了すると、不揮発性メモリ２５から、車両情報及び対応関係情報を読み出し、読み出した各情報を画像処理部２１（視点変換部２１５）に設定する（図３参照）。また、制御部２３は、デフォルトの視点位置（例えば、自車両の真上）を画像処理部２１（視点変換部２１５）に設定する。
【００７０】
その後、制御部２３は、ナビゲーション装置１０（制御部１４）から、上記した信号出力要求コマンド、連携指示コマンド等が送信されてくるのを監視する処理を開始する。
【００７１】
制御部２３は、信号出力要求コマンドを受信した際には、後述する撮影結果送信処理を実行中であってもなくても、第１指定値〔利用〕（表示画像信号出力機能を利用することを示す第１指定値）を画像処理部２１内の指定値用レジスタに設定する。次いで、制御部２３は、『画像処理部２１からの表示画像信号（第１指定値〔利用〕の設定により画像処理部２１が出力し始める表示画像信号）をナビゲーション装置１０に送信する表示画像信号送信処理』を開始する。既に説明したように、信号出力要求コマンドを送信したナビゲーション装置１０（制御部１４）は、俯瞰画像生成装置２０からの表示画像信号をディスプレイ１１に供給するための処理を開始している。従って、制御部２３の上記動作によりディスプレイ１１に、俯瞰画像（動画）が表示されることになる。
【００７２】
また、制御部２３は、制御部１４から視点位置変更指示コマンドが送信されてきた場合には、当該コマンド中の情報が示している視点位置を画像処理部２１に設定する。その結果、ディスプレイ１１にそれまでとは異なる視点位置から見た俯瞰画像が表示されることになる。
【００７３】
制御部２３は、信号出力停止要求コマンドを受信した際に、第１指定値〔非利用〕（表示画像信号出力機能を利用しないことを示す第１指定値）を指定値用レジスタに設定してから、それまで実行していた表示画像信号送信処理を終了する。すなわち、信号出力停止要求コマンドを受信した際、制御部２３は、画像処理部２１を表示画像信号を出力しない状態に制御してから、それまで実行していた表示画像信号送信処理を終了する。
【００７４】
また、制御部２３は、連携指示コマンドを受信した際には、表示画像信号送信処理を実行中であってもなくても、不揮発性メモリ２５上の車両情報及び対応関係情報をドライブレコーダ３０に送信する。次いで、制御部２３は、第２指定値〔利用〕（撮影結果出力機能を利用することを示す第２指定値）を画像処理部２１内の指定値用レジスタに設定する。その後、制御部２３は、『画像処理部２１から４種の撮影画像データが入力される度に、それらの撮影画像データを現在日時を示す撮影日時情報と共にドライブレコーダ３０に送信する撮影結果送信処理』を開始する。そして、制御部２３が送信した各情報が、ドライブレコーダ３０により記録媒体５０に記録される（詳細は後述）。
【００７５】
制御部２３は、連携停止指示コマンドを受信した際には、第２指定値〔非利用〕（撮影結果出力機能を利用しないことを示す第２指定値）を指定値用レジスタに設定する。すなわち、連携停止指示コマンドを受信した際、制御部２３は、画像処理部２１を撮影画像データを出力しない（撮影結果出力処理を行わない）状態に制御する。そして、制御部２３は、それまで実行していた撮影結果送信処理を終了する。
【００７６】
〔ドライブレコーダ３０の構成〕
ドライブレコーダ３０（図２）は、リーダライタ３１、計時回路３２、加速度センサ３
３、ＧＰＳ受信機３４、通信回路３５、制御部３６、画像処理回路３７、ＲＡＭ３８及び不揮発性メモリ３９を備えている。また、ドライブレコーダ３０には、カメラ４２、マイク４３、記録スイッチ４４、操作部４５等が接続されている。
【００７７】
記録スイッチ４４は記録媒体５０への記録指示を受け付けるスイッチである。ユーザは、この記録スイッチ４４を押下することにより、衝突などの事故には至らなかったものの危険を感じた場合などの所望のタイミングで動画データを記録媒体５０に記録することができる。
【００７８】
操作部４５は、複数のボタンを含んで構成され、ユーザから各種設定などの入力を受け付ける。記録スイッチ４４及び操作部４５で受け付けたユーザの操作内容は、信号として制御部３６に入力される。
【００７９】
カメラ４２は、レンズと撮像素子とを備えており、電子的に画像情報を取得する。本実施形態では、カメラ４２は、その光軸が車両の前方に向けられた状態でフロントガラスの上部付近の車両の前方の領域についての画像情報を取得できる位置（例えばルームミラーとフロントガラスの間）に配置される。図示してあるように、記録スイッチ４４及び操作部４５からのデータは、制御部３６に入力されており、カメラ４２からの画像信号は、画像処理回路３７に入力されている。
【００８０】
計時回路３２は、現在時刻に対応した信号を発生して、制御部３６へ出力する。計時回路３２は、例えば、内蔵電池を有することで、外部から電力供給を受けなくても動作して正確な時刻を計時する。
【００８１】
加速度センサ３３は、自車両に加わる衝撃の大きさを示す加速度を、重力加速度のｓＧを単位として検出する。検出される加速度は、現在時刻における加速度の瞬間値であり、例えば、互いに直行する３軸、又は、２軸に応じた向きに大きさを持つ。加速度センサ３３は、このような加速度に対応した信号を制御部３６へ出力する。
【００８２】
ＧＰＳ受信機３４は、複数のＧＰＳ衛星からの信号を受信して、現時点における自車位置（自車両の位置）を取得する。ＧＰＳ受信機３４は、地球上における緯度経度で表現された位置情報として自車位置を取得して制御部１４へ出力する。尚、ＧＰＳ受信機３４は、ＧＰＳ衛星からの信号に基づき、正確な時刻を検出できるため、計時回路３２として使用すること、あるいは計時回路３２の時刻を修正することに利用することが可能である。
【００８３】
通信回路３５は、ドライブレコーダ３０と他装置（ナビゲーション装置１０等）との間で通信を行うための回路である。マイク４３は、自車両の周辺で発生している音を電気信号に変換する機器である。このマイク４３の出力は、図示を省略した信号処理回路を介して、ＲＡＭ３８に入力（記憶）されている。
【００８４】
不揮発性メモリ３９は、例えば、ハードディスクやフラッシュメモリなどで構成され、ドライブレコーダ３０のファームウェアとしてのプログラムや設定パラメタなどを記憶する。この不揮発性メモリ３９には、運転状況監視システム（ドライブレコーダ３０）のセットアップ時等に、自車両の識別情報である車両番号が設定パラメタとして記憶される。
【００８５】
制御部３６は、不揮発性メモリ３９に記憶されているプログラムに従って各種処理を実行するユニット（ＣＰＵを中心としたユニット）である。ドライブレコーダ３０の各部を制御する機能は、不揮発性メモリ３９に予め記憶されたプログラムに従って制御部３６が演算処理を実行することにより実現される。図示してあるように、この制御部３６には、車速センサからのデータや、イグニッションキーの状態を検知するためのＩＧセンサから
のデータが入力されている。
【００８６】
画像処理回路３７は、カメラ４２から入力される画像信号に対してＡ／Ｄ変換、輝度補正、コントラスト補正等を行うことにより、特定形式（例えば、ＪＰＥＧ形式）のデジタルの画像データを生成し、生成した画像データをＲＡＭ３８に記憶する。マイク４３とＲＡＭ３８間に設けられている信号処理回路（図示略）は、マイク４３からの信号をデジタルデータ（以下、サウンドデータと表記する）に変換して、ＲＡＭ３８に記憶する。
【００８７】
ＲＡＭ３８の記憶領域のうちの一部（以下、リングバッファ領域と表記する）はリングバッファとして利用される。このリングバッファ領域が用いられて、画像処理回路３７において処理された、過去一定時間分の画像データ、及び、信号処理回路において処理された、過去一定時間分のサウンドデータが常時に記憶される。この時、加速度センサ３３によって取得された加速度データや車速センサによって取得された車速データ等を含む運転データも常時に記憶される。制御部３６は、運転データと、画像データ及びサウンドデータとを関連付けてＲＡＭ３８に記憶する。すなわち、制御部３６は、画像処理回路３７において処理された画像データ及び信号処理回路において処理されたサウンドデータと、各データがカメラ４２又はマイク４３により取得された時刻における運転データとを関連付けて、ＲＡＭ３８のリングバッファ領域に格納する。
【００８８】
尚、リングバッファ領域のサイズは、例えば、およそ４０秒分の画像データ及びサウンドデータを記憶しておくことが出来るように定められる。
【００８９】
リーダライタ３１は、記録媒体５０を装着するためのカードスロットを有し、制御部３６の制御下、カードスロットに装着された記録媒体５０からのデータの読み取りや、当該記録媒体５０へのデータの書き込みを行う。
【００９０】
制御部３６は、新たな記録媒体５０がリーダライタ３１にセットされると、不揮発性メモリ３９上の車両番号を、以降記録する情報が自ドライブレコーダ３０による記録情報である旨を示す情報として、記録媒体５０に記録する。
【００９１】
また、事故や危険挙動などのイベントが生じたとき、制御部３６は、ＲＡＭ３８のリングバッファ領域に記憶された画像データ及びサウンドデータから動画データを生成する。さらに、制御部３６は、ＲＡＭ３８のリングバッファ領域に記憶された運転データを利用して、発生したイベントの種類等を示す運転内容情報を生成する。そして、制御部３６は、リーダライタ３１を制御することにより、生成した動画データ、運転内容情報及びリングバッファ領域上の一部の運転データを、リーダライタ３１のカードスロットに装着されている記録媒体５０に記録する。
【００９２】
〔ドライブレコーダ３０の動作例〕
ドライブレコーダ３０は、例えば、車両のイグニッションスイッチのオンにより起動される。ドライブレコーダ３０が起動されると、制御部３６がイニシャル処理を実行する。そして、イニシャル処理が完了すると、ドライブレコーダ３０内の各部（主として、不揮発性メモリ３９上のプログラムに従った制御部３６）により情報記録処理が開始される。
【００９３】
図５に、情報記録処理の流れ図を示す。尚、この情報記録処理は、記録媒体５０がリーダライタ３１に装着されている状態で実行されるものである。
【００９４】
すなわち、ドライブレコーダ３０内では、イニシャル処理が完了した直後から、カメラ４２による車両の周辺の様子を示す画像データの取得、マイク４３による車両の周辺で発生している音を示すサウンドデータの取得、及び、計時回路３２、加速度センサ３３、Ｇ
ＰＳ受信機３４、車速センサ等による運転データの取得が開始される。取得された画像データ、サウンドデータ及び運転データは、ＲＡＭ３８のリングバッファ領域に記憶される（ステップＳ１０１）。これ以降、ドライブレコーダ３０の動作中にわたって、画像データ、サウンドデータ及び運転データは、継続的にＲＡＭ３８に記憶される。例えば、画像データは、毎秒３０回の割合で、継続的にＲＡＭ３８に記憶される。この時、画像データは、３０ｆｐｓ（毎秒３０フレーム）のフレームレートで記憶されていることになる。尚、同一時刻に取得された画像データ及びサウンドデータと、運転データとは、関連付けられている。
【００９５】
このように画像データ、サウンドデータ及び運転データが継続的に記憶される一方で、例えば、自車両のイグニッションスイッチをオフにする等の、ドライブレコーダ３０の動作を停止させるイベントが発生したか否かが監視される（ステップＳ１０２）。例えば、車両のイグニッションスイッチがオフにされると（ステップＳ１０２；ＹＥＳ）、この情報記録処理が終了され、ドライブレコーダ３０は動作を停止する。
【００９６】
他方、ドライブレコーダ３０の動作を停止させるイベントが発生していなければ（ステップＳ１０２；ＮＯ）、所定のイベントが発生したか否かが監視される（ステップＳ１０３）。
【００９７】
このステップＳ１０３では、以下の条件（Ａ）〜（Ｃ）を満足するイベント等の発生の有無が監視される。
【００９８】
（Ａ）加速度センサ３３が、所定以上の加速度を、所定時間以上継続して検出した。例えば、加速度センサ３３が、０．４０Ｇ以上の加速度を１００ミリ秒以上継続して検出した。
（Ｂ）車両が所定以上の速度で走行中に、車速センサが、所定の期間内に所定以上の減速を検出した。例えば、車両が速度６０ｋｍ／ｈ以上で走行中に、車速センサが検出した減速での１秒間の速度差が１４ｋｍ／ｈ以上となった。
（Ｃ）記録スイッチ４４がユーザにより押下された。
【００９９】
尚、各条件における所定の値及び閾値は、それぞれユーザにより設定及び変更可能であってもよい。
【０１００】
条件（Ａ）は、比較的強い加速度が発生しており、車両の衝突事故発生の蓋然性が高い状況に関する条件である。当該条件（Ａ）を満足するイベントは「Ｇ検知」と呼ばれる。
条件（Ｂ）は、車両において比較的急激な減速が生じており、事故が急迫した蓋然性が高い状況に関する条件である。この条件（Ｂ）を満足するイベントは「急減速」と呼ばれる。
条件（Ｃ）は、ユーザ（代表的には車両のドライバ）が動画データの記録を所望する状況に関する条件である。この条件（Ｃ）を満足するイベントは「スイッチ操作」と呼ばれる。
【０１０１】
或るイベントが発生した場合（ステップＳ１０３；ＹＥＳ）、例えば、Ｇ検知、急減速等が発生した場合には、イベント発生前の１２秒間と発生後の８秒間との合計２０秒分の画像データ、サウンドデータ及び運転データが、ＲＡＭ３８のリングバッファ領域から読み出される。また、例えば、スイッチ操作が発生した場合には、イベント発生後、任意の時間分の画像データ、サウンドデータ及び運転データが、ＲＡＭ３８のリングバッファ領域から読み出される。この時、必要であれば、リングバッファ領域以外の領域から画像データや運転データが読み出されてもよい。尚、該任意の時間は、不揮発性メモリ３９に格納される設定値として予め設定された時間であってもよいし、情報処理装置において時間
を指定し、記録媒体５０を介して設定されてもよい。
【０１０２】
そして、読み出された画像データ及びサウンドデータから動画データが生成される。この動画データは、イベントの発生時における車両の周辺の様子を示すものとなる。生成された動画データ、及び、ＲＡＭ３８のリングバッファ領域から読み出された運転データは記録媒体５０に記録される（ステップＳ１０４）。また、発生したイベントの種類（Ｇ検知、急減速等）を示す情報、イベントの発生日時を示す情報、及び、イベントの発生時における車両の位置データ（イベント発生時にＧＰＳ受信機３４により検出された位置データ）を含む運転内容情報も、記録媒体５０に記録される（ステップＳ１０４）。
【０１０３】
尚、ステップＳ１０２に係るドライブレコーダ３０の動作を停止させるイベントの監視処理は実行されなくてもよい。この時、例えば、ユーザがイグニッションスイッチをオフにした時点でドライブレコーダ３０の動作を停止させる処理が強制的に発生し、実行されることにより、ドライブレコーダ３０の動作は停止する。
【０１０４】
次に、ナビゲーション装置１０からの連携指示コマンド等及び俯瞰画像生成装置２０からの撮影画像データ等に対する制御部３６の動作を説明する。制御部３６は、上記情報記録処理と並行的に、以下の処理も行う。
【０１０５】
制御部３６は、ナビゲーション装置１０からの連携指示コマンドを受信すると、車両情報及び対応関係情報が俯瞰画像生成装置２０から送信されてくるのを待機する。そして、制御部３６は、車両情報及び対応関係情報を受信した際には、受信した情報を記録媒体５０に記録する。
【０１０６】
その後、制御部３６は、『俯瞰画像生成装置２０から４種の撮影画像データと撮影時刻情報が送信されてくる度に、それらを相互に関連づけた形で記録媒体５０に記録するデータ記録処理』を開始する。尚、制御部３６が実行するデータ記録処理は、記録媒体５０内に記憶される俯瞰画像生成装置２０からのデータの総サイズが、予め定められているサイズ以下となるように、過去に記録したデータを消去しながらデータを記録媒体５０に記録する処理である。
【０１０７】
そして、制御部３６は、ナビゲーション装置１０からの連携停止指示コマンドを受信した時（又はユーザがイグニッションスイッチをオフにした時）に、データ記録処理を終了する。
【０１０８】
〔運転状況監視システムの総合的な動作〕
上記説明から既に明らかであるとは考えるが、ここで、本実施形態に係る運転状況監視システムの総合的（全体的）な動作を説明しておくことにする。
【０１０９】
ユーザが、自車両のイグニッションスイッチをオンにすると、俯瞰画像生成装置２０の画像処理部２１に、不揮発性メモリ２５上の車両情報及び対応関係情報と、デフォルトの指定位置とが設定される。なお、第１指定値、第２指定値の初期値が、それぞれ、第１指定値〔非利用〕、第２指定値〔非利用〕であるため、車両情報等が設定されても、画像処理部２１は、情報（表示画像信号等）を出力しない状態をとり続ける。
【０１１０】
その後、ユーザが、操作部１２等の操作により連携指示を出すと、ナビゲーション装置１０（制御部１４）が、俯瞰画像生成装置２０及びドライブレコーダ３０に対して連携指示コマンドを送信する。
【０１１１】
連携指示コマンドを受信した俯瞰画像生成装置２０（制御部２３）は、不揮発性メモリ
３９上の車両情報及び対応関係情報をドライブレコーダ３０（制御部３６）に送信し、第２指定値〔利用〕を画像処理部２１内の指定値用レジスタに設定する。
【０１１２】
連携指示コマンドを受信したドライブレコーダ３０内の制御部３６は、車両情報及び対応関係情報が俯瞰画像生成装置２０から送信されてくるのを監視（待機）しており、車両情報及び対応関係情報を受信した際には、受信した各情報をリーダライタ３１にセットされている記録媒体５０に記録する。
【０１１３】
従って、ユーザが連携指示を出すと、記録媒体５０に、４種の撮影画像データから俯瞰画像データを生成するのに必要とされる情報（車両情報及び対応関係情報）が記録さることになる。
【０１１４】
また、指定値用レジスタに第２指定値〔利用〕が設定された画像処理部２１は、４種の撮影画像データを周期的に出力する状態となり、第２指定値〔利用〕の設定を終えた制御部２３は、『画像処理部２１から４種の撮影画像データが入力される度に、それらの撮影画像データを現在日時を示す撮影日時情報と共にドライブレコーダ３０に送信する撮影結果送信処理』を開始する。そして、車両情報等の記録媒体５０への記録を終えた制御部３６は、『俯瞰画像生成装置２０から４種の撮影画像データと撮影時刻情報が送信されてくる度に、それらを相互に関連づけた形で記録媒体５０に記録するデータ記録処理』を開始する。従って、記録媒体５０に、４種の撮影画像データと撮影時刻情報とからなる情報が追加されていくことになる。
【０１１５】
ユーザが、さらに俯瞰画像の表示指示を出した場合には、ナビゲーション装置１０から俯瞰画像生成装置２０へ信号出力要求コマンドが送信され、信号出力要求コマンドを受信した俯瞰画像生成装置２０内の制御部２３により、画像処理部２１の指定値用レジスタに第１指定値〔利用〕（表示画像信号出力機能を利用することを示す第１指定値）が設定される。
【０１１６】
指定値用レジスタに第１指定値〔利用〕が設定されると、それまで動作していなかった画像処理部２１内の視点変換部２１５及び画像生成部２１６が動作を開始する。また、それまで撮影結果出力処理（フレームメモリ２１３に記憶された４種の撮影画像データをそのまま制御部２３に対して出力する処理）しか行っていなかった画像読出部２１４が、『フレームメモリ２１３に記憶された４種の撮影画像データを読み出し、読み出した４種の撮影画像データの全ての内容を含む結合画像データを生成して視点変換部２１５に供給する画像読出処理』も周期的に行うようになる。
【０１１７】
そして、第１指定値〔利用〕の設定を終えた制御部２３は、『画像処理部２１からの表示画像信号をナビゲーション装置１０に送信する表示画像信号送信処理』を開始しており、信号出力要求コマンドを送信した制御部１４は、俯瞰画像生成装置２０からの表示画像信号をディスプレイ１１に供給する処理を開始している。
【０１１８】
従って、ユーザが、さらに俯瞰画像の表示指示を出した場合、俯瞰画像生成装置２０からの表示画像信号に応じた俯瞰画像がディスプレイ１１に表示されながら、ドライブレコーダ３０にセットされている記録媒体５０に、撮影画像データ等が追加されていくことになる。
【０１１９】
その後、ユーザが俯瞰画像表示の停止指示を出した場合、運転状況監視システムは、俯瞰画像の表示指示が出される前と同じ状態になる。また、ユーザが、俯瞰画像表示の停止指示ではなく、連携停止指示を出した場合、運転状況監視システムは、俯瞰画像生成装置２０からの表示画像信号に応じた画像がディスプレイ１１に表示され、記録媒体５０への
撮影画像データ等の記録が行われない状態となる。
【０１２０】
そして、運転状況監視システムは、例えば、自車両のイグニッションスイッチがオフされたときに、動作を停止する。
【０１２１】
〔運転内容評価装置６０〕
図６に、運転内容評価装置６０の構成を示す。
【０１２２】
この運転内容評価装置６０は、第１実施形態に係る運転状況監視システムが搭載された複数台の車両のドライバによる運転内容を、各運転状況監視システム（ドライブレコーダ３０）により記録媒体５０に記録された情報から評価するための情報処理装置として開発した装置である。図６に示されるように、運転内容評価装置６０は、バス６３で相互に接続された、記憶部６１、制御部６２、入出力部６４、カードスロット６５等を有している。
【０１２３】
記憶部６１は、制御部６２が実行するプログラム（図示略）や、運転者別（車両番号別）に、各運転者についての運転内容情報、動画データ、撮影画像データ等を管理しておくための運転履歴データベース１１０（以下、運転履歴ＤＢ１１０とも表記する）を記憶する。
【０１２４】
この記憶部６１は、例えば、ハードディスクやフラッシュメモリ等によって実現される。尚、記憶部６１は、ＵＳＢ（Universal Serial Bus）メモリやＳＤカード等の着脱可能な記録媒体により実現されてもよい。また、記憶部６１に記憶される各種情報は、ＣＤ（Compact Disc）又はＤＶＤ（Digital Versatile Disc）等の外部記録媒体から取得されてもよい。
【０１２５】
入出力部６４は、運転内容評価装置６０の外部に存在する装置との間で各種データを授受するための１又は複数のインタフェースである。入出力部６４は、例えば、ＬＡＮ（Local Area Network）ケーブルを接続するためのインタフェース、ユーザインタフェースと接続するためのインタフェース、又はＵＳＢ等のインタフェースである。
【０１２６】
入出力部６４は、タッチパネル、テンキー、キーボード、マウス等の操作装置６５と接続する。また、入出力部６４は、ディスプレイ６６と接続する。操作装置６５がタッチパネルである場合、操作装置６５とディスプレイ６６とは、一体の装置として構成されてもよい。
【０１２７】
カードスロット６５は、記録媒体５０を着脱可能に構成され、装着された記録媒体５０からのデータの読み取りや、記録媒体５０へのデータの書き込みを行う。運転内容評価装置６０（制御部６２）は、このカードスロット６５を介して、記録媒体５０に記録されている各種情報を取得する。
【０１２８】
制御部６２は、マイクロプロセッサ又はＣＰＵ等の１又は複数のプロセッサと、このプロセッサの処理に利用される周辺回路（ＲＯＭ、ＲＡＭ、インタフェース回路等）とを有する。制御部６２は、記憶部６１に格納されているプログラムを実行することにより、各種データについての演算と各構成の制御とを実行する。
【０１２９】
この制御部６２は、データベース更新処理、評価処理、撮影画像表示処理、俯瞰画像生成処理等を行う。
【０１３０】
＜データベース更新処理＞
データベース更新処理は、カードスロット６５に装着された記録媒体５０上の各種情報（撮影画像データ、車両情報、対応関係情報、運転内容情報、動画データ等）を、当該記録媒体５０に記憶されている車両番号に対応づけた形で運転履歴ＤＢ１１０に登録する処理である。制御部６２は、このデータベース更新処理を、記録媒体５０上の情報の取り込み指示を受け付けたときに実行する。尚、制御部６２が実行するデータベース更新処理は、同じ車両番号に対応づけられた車両情報及び対応関係情報が、運転履歴ＤＢ１１０内に既に登録されていた場合、車両情報及び対応関係情報を運転履歴ＤＢ１１０に登録（追加）しない処理となっている。
【０１３１】
＜評価処理＞
評価処理は、運転内容の評価を実行するための指示を受け付けたときに制御部６２が実行する処理である。この評価処理を開始した制御部６２は、評価対象とする運転者（車両）、評価対象とする期間等からなる検索条件をユーザ（運転内容評価装置６０の操作者）に指定させるための画面をディスプレイ６６に表示し、検索条件の指定を受けつける。この画面には、検索条件の指定完了後に押下すべきアイテム（以下、検索ボタンと表記する）も設けられている。検索ボタンが押下されたことを検出すると、制御部６２は、ユーザが指定した検索条件を満たす運行内容情報を運転履歴ＤＢ１１０から検索する。そして、制御部６２は、各運転者について検索された運行内容情報の数及び内容から、各運転者の運転内容を評価し、評価結果を、表示中の画面内に表示する。
【０１３２】
制御部６２は、検索条件が再設定されて検索ボタンが押下されると、再設定された検索条件を満たす運行内容情報を運転履歴ＤＢ１１０から検索する。そして、制御部６２は、各運転者について検索した運行内容情報の数及び内容から、各運転者の運転内容を評価し、評価結果を表示中の画面内に表示する。
【０１３３】
制御部６２は、評価処理の終了が指示された際に、上記のような内容の評価処理を終了する。
【０１３４】
＜撮影画像表示処理＞
撮影画像表示処理は、運転履歴ＤＢ１１０内の各種画像データ（撮影画像データ、動画データ）に基づく画像（静止画、動画）表示をディスプレイ６６に行わせる処理である。この撮影画像表示処理の実行指示を受け付けた制御部６２は、まず、表示する画像（正確には、表示する画像の元データ）をユーザに選択させるための表示画像選択受付処理を行う。
【０１３５】
表示画像選択受付処理は、表示する画像の元データ（撮影画像データ、動画データ）の検索条件（車両番号、撮影日時範囲等）をユーザに入力させ、ユーザが入力した検索条件を満たす元データを運転履歴ＤＢ１１０から検索し、検索した元データの属性情報（車両番号、撮影日時等）のリストを表示して、そのリストの中からユーザに表示する画像の元データを選択させるといった手順の処理である。
【０１３６】
この表示画像選択受付処理は、表示する画像の元データ（以下、処理対象データと表記する）として、ユーザが、動画データ（カメラ４２、マイク４３による撮影、録音結果）、１組の撮影画像データ（同一車両内の４台のカメラ４１による同一日時の撮影結果を表す４種の撮影画像データ）、又は、或る期間（ユーザが指定する期間）内に撮影された複数組の撮影画像データを選択できるものとなっている。
【０１３７】
表示画像選択受付処理を終えた制御部６２は、ユーザが処理対象データとして動画データを選択した場合には、選択された動画データを運転履歴ＤＢ１１０から読み出し、読み出した動画データに基づく表示をディスプレイ６６に行わせる。そして、制御部６２は、
他の画像の表示が指示された際には、表示画像選択受付処理を再び実行し、画像表示の終了が指示された際に、撮影画像表示処理を終了する。
【０１３８】
また、制御部６２は、ユーザが処理対象データとして１組の撮影画像データを選択した場合には、俯瞰画像生成処理を実行する。
【０１３９】
図７に、俯瞰画像生成処理の流れ図を示す。尚、この俯瞰画像生成処理の各ステップの処理は、運転履歴ＤＢ１１０から読み出した情報、制御部６２が生成したデータが、制御部６２内のＲＡＭ上に記憶される処理である。また、この図及びこの図に関する説明において、注目視点位置とは、俯瞰画像生成処理の開始前に定められている視点位置のことであり、注目車両とは、俯瞰画像の表示対象となっている車両のことである。
【０１４０】
図示してあるように、俯瞰画像生成処理を開始した制御部６２は、まず、運転履歴ＤＢ１１０から、車両番号を介して、処理対象データ（表示する画像の元データである１組の撮影画像データ）に対応付けられている車両情報及び対応関係情報を読み出す（ステップＳ２００）。
【０１４１】
次いで、制御部６２は、処理対象データを運転履歴ＤＢ１１０から読み出し（ステップＳ２０１）、対応関係情報を参照することにより、処理対象データを所定形状の立体曲面（図４における立体曲面５２）に投影した合成画像データを生成する（ステップＳ２０２）。さらに、制御部６２は、生成した合成画像データから、立体曲面上の画像の中央部分を注目視点位置（俯瞰画像表示処理開始前に定められている視点位置；例えば、真上）より見た画像を表す俯瞰画像データを生成する（ステップＳ２０３）。尚、このステップＳ２０３の処理は、合成画像データをＲＡＭ上に残す形で行われる。
【０１４２】
また、制御部６２は、運転履歴ＤＢ１１０から読み出した車両情報に基づき、注目車両の三次元形状及び各部の色を示すポリゴンモデルを仮想的に構成する（ステップＳ２０４）。次いで、制御部６２は、構成したポリゴンモデルをレンダリングすることにより、注目車両を注目視点位置から見た俯瞰画像データを生成する（ステップＳ２０５）。このステップＳ２０５の処理も、ポリゴンモデルをＲＡＭ上に残す形で行われる。
【０１４３】
その後、制御部６２は、ステップＳ２０３、Ｓ２０５の処理で生成した２つの俯瞰画像データを重畳することにより、表示用俯瞰画像データを生成（ステップＳ２０６）してから、この俯瞰画像生成処理を終了する。
【０１４４】
俯瞰画像生成処理を終えた制御部６２は、当該俯瞰画像生成処理により生成した表示用俯瞰画像データに基づく表示をディスプレイ６６に行わせる。より具体的には、制御部６２は、俯瞰画像生成処理により生成した表示用俯瞰画像データに基づく表示が行われる領域を有し、視点位置の変更指示を受け付けられる画面をディスプレイ６６上に表示する。
【０１４５】
そして、制御部６２は、視点位置の変更指示、他の画像の表示指示、画像表示の終了指示等を受け付ける状態となり、視点位置の変更指示を受け付けた場合には、図７のステップＳ２０３、Ｓ２０５、Ｓ２０６からなる処理と本質的には同内容の視点位置変更画像生成処理を実行する。すなわち、制御部６２は、まず、ＲＡＭ上に残っている合成画像データから、立体曲面上の画像の中央部分をユーザにより指定された注目視点位置より見た画像を表す俯瞰画像データを生成する。次いで、制御部６２は、ＲＡＭ上に残っているポリゴンモデルをレンダリングすることにより、注目車両を、注目視点位置から見た俯瞰画像データを生成する。そして、制御部６２は、新たに生成した２つの俯瞰画像データを重畳することにより表示用俯瞰画像データを生成してから、視点位置変更画像生成処理を終了する。
【０１４６】
視点位置変更画像生成を終えた制御部６２は、当該処理により生成した表示用俯瞰画像データに基づく表示をディスプレイ６６に行わせてから、視点位置の変更指示、他の画像の表示指示、画像表示の終了指示等を受け付ける状態に戻る。そして、制御部６２は、他の画像の表示が指示された際には、表示画像選択受付処理を再び実行し、画像表示の終了が指示された際に、撮影画像表示処理を終了する。
【０１４７】
表示画像選択受付処理を終えた制御部６２は、ユーザが、或る期間（以下、指定期間と表記する）内に撮影された複数組の撮影画像データを処理対象データとして選択した場合には、まず、図７のステップＳ２００と同じ処理を行う。すなわち、制御部６２は、運転履歴ＤＢ１１０から、車両番号を介して、処理対象データ（この場合、複数組の撮影画像データ）に対応付けられている車両情報及び対応関係情報を読み出す処理を行う。
【０１４８】
その後、制御部６２は、処理対象データ中の各１組の撮影画像データ毎に、図７のステップＳ２０１〜Ｓ２０６と本質的には同内容の処理により、表示用俯瞰画像データを生成する。
【０１４９】
より具体的には、制御部６２は、撮影日時が最も早い１組の撮影画像データについては、当該１組の撮影画像データを処理対象データとした、合成画像データを意図的にＲＡＭ上に残さない点のみが図７のステップＳ２０１〜Ｓ２０６の処理と異なる処理を行うことにより、表示用俯瞰画像データを生成する。また、制御部６２は、撮影日時が２番目以降の各組の撮影画像データについては、各組の撮影画像データを処理対象データとした、合成画像データを意図的にＲＡＭ上に残さない点と、ポリゴンモデルを生成しない点（ステップＳ２０３の処理が行われない点）が図７のステップＳ２０１〜Ｓ２０６の処理と異なる処理を行うことにより、表示用俯瞰画像データを生成する。
【０１５０】
その後、制御部６２は、生成した複数の表示用俯瞰画像データから動画データを生成し、生成した表示用俯瞰画像データに基づく画像表示をディスプレイ６６に行わせる。
【０１５１】
そして、制御部６２は、視点位置の変更指示、他の画像の表示指示、画像表示の終了指示等を受け付ける状態となり、視点位置の変更指示を受け付けた場合には、処理対象となっている各組の撮影画像データ毎に、注目視点位置をユーザにより指定された視点位置に変更した表示用俯瞰画像データを生成する。次いで、制御部６２は、生成した複数の表示用俯瞰画像データから動画データを生成し、生成した表示用俯瞰画像データに基づく画像表示をディスプレイ６６に行わせるから、視点位置の変更指示、他の画像の表示指示、画像表示の終了指示等を受け付ける状態に戻る。
【０１５２】
また、制御部６２は、他の画像の表示が指示された際には、表示画像選択受付処理を再び実行する。そして、制御部６２は、画像表示の終了が指示された際に、撮影画像表示処理を終了する。
【０１５３】
以上、詳細に説明したように、本実施形態に係る運転状況監視システム（ドライブレコーダ３０）は、何組かの撮影画像データと、各組の撮影画像データから俯瞰画像データを生成するのに必要とされる情報（車両情報及び対応関係情報）とを記録媒体５０に記録する機能を有している。従って、本実施形態に係る運転状況監視システム（ドライブレコーダ３０）を車両に搭載しておけば、記録媒体５０に記録された情報に基づき、当該車両に関する各種視点からの俯瞰画像をディスプレイに表示させることにより、事故や危険な運転をしてしまった原因を究明するといったことが可能となる。
【０１５４】
《第２実施形態》
本発明の第２実施形態に係る運転状況監視システムは、ドライブレコーダ３０の構成及び機能のみが第１実施形態に係る運転状況監視システムと異なるシステムである。そのため、以下では、第１実施形態と同様の構成等については同じ符号を用いて同様の説明を省略し、第２実施形態に係る運転状況監視システムのドライブレコーダ３０（以下、第２ドライブレコーダ３０とも表記する）の構成、機能を中心に、第２実施形態に係る運転状況監視システムの構成、機能を説明する。
【０１５５】
第２ドライブレコーダ３０（図２参照）は、第１実施形態に係る運転状況監視システムのドライブレコーダ３０（以下、第１ドライブレコーダ３０とも表記する）のＲＡＭ３８よりも大容量のＲＡＭ３８を備えている。
【０１５６】
また、第２ドライブレコーダ３０内の制御部３６は、第１ドライブレコーダ３０内の制御部３６と同様に、ナビゲーション装置１０からの連携指示コマンドを受信すると、車両情報及び対応関係情報が俯瞰画像生成装置２０から送信されてくるのを待機する。そして、制御部３６は、車両情報及び対応関係情報を受信した際には、受信した情報を記録媒体５０に記録する。
【０１５７】
ただし、第２ドライブレコーダ３０内の制御部３６は、車両情報等を記録媒体５０に記録した後、上記したデータ記録処理ではなく、『俯瞰画像生成装置２０から４種の撮影画像データと撮影日時情報が送信されてくる度に、それらを相互に関連づけた形で、予め定められているＲＡＭ３８上の撮影画像データ用記憶領域に記録するデータ記憶処理』を開始する。尚、このデータ記憶処理は、最新の複数組の撮影画像データ及び撮影日時情報が撮影画像データ用記憶領域に記憶されているように、過去に記憶したデータを消去しながらデータを撮影画像データ用記憶領域に記憶する処理である。
【０１５８】
そして、制御部３６は、連携停止指示コマンドを受信したときに、上記データ記憶処理を終了する。
【０１５９】
また、第２ドライブレコーダ３０では、上記したものとは異なる内容（手順）の情報記録処理が実行される。
【０１６０】
図８に、第２ドライブレコーダ３０内で実行される情報記録処理の流れ図を示す。
【０１６１】
この情報記録処理のステップＳ３０１〜Ｓ３０４の処理は、それぞれ、第１ドライブレコーダ３０が実行する情報記録処理（図５参照）のステップＳ１０１〜Ｓ１０４と同内容の処理である。
【０１６２】
すなわち、第２ドライブレコーダ３０における情報記録処理（図８）では、まず、画像データ（カメラ４２による撮影結果）、サウンドデータ（マイク４３による録音結果）及び運転データ（車速、加速度等からなるデータ）が、ＲＡＭ３８のリングバッファ領域に記憶される（ステップＳ３０１）。その後、ドライブレコーダ３０の動作を停止させるイベントが発生したか否かが判断され（ステップＳ３０２）、例えば、車両のイグニッションスイッチがオフにされると（ステップＳ３０２；ＹＥＳ）、この情報記録処理が終了されてドライブレコーダ３０は動作を停止する。
【０１６３】
他方、ドライブレコーダ３０の動作を停止させるイベントが発生していなければ（ステップＳ３０２；ＮＯ）、所定のイベントが発生したか否かが判断される（ステップＳ３０３）。そして、イベントが発生していなかった場合（ステップＳ３０３；ＮＯ）には、ステップＳ３０１以降の処理が再び実行される。
【０１６４】
また、或るイベントが発生していた場合（ステップＳ３０３；ＹＥＳ）には、イベント発生前後、又は、イベント発生後の所定時間分の画像データ、サウンドデータ及び運転データが、ＲＡＭ３８のリングバッファ領域から読み出される。そして、読み出された画像データ及びサウンドデータから動画データが生成され、生成された動画データ、及び、ＲＡＭ３８のリングバッファ領域から読み出された運転データが記録媒体５０に記録される（ステップＳ３０４）。また、発生したイベントの種類（Ｇ検知、急減速等）を示す情報、イベントの発生日時を示す情報、及び、イベントの発生時における車両の位置データを含む運転内容情報も記録媒体５０に記録される（ステップＳ３０４）。
【０１６５】
そして、第１ドライブレコーダ３０における情報記録処理（図５）は、記録媒体５０への情報の記録後、ステップＳ１０１からの処理が実行される処理であったが、第２ドライブレコーダ３０における情報記録処理では、記録媒体５０への情報の記録（ステップＳ３０４）後、連携動作中であるか否かが判断される（ステップＳ３０５）。このステップでは、上記内容のデータ記憶処理を実行中であるか否かにより、連携動作中であるか否かが判断される。
【０１６６】
そして、連携動作中でなかった場合（ステップＳ３０５；ＮＯ）には、ステップＳ３０１以降の処理が再び実行される。
【０１６７】
一方、連携動作中であった場合（ステップＳ３０５；ＹＥＳ）には、ＲＡＭ３８の撮影画像データ用記憶領域内の、イベント発生前後又はイベント発生後の上記所定時間分の撮影画像データ群及び撮影日時情報群が記録媒体５０に記録される（ステップＳ３０６）。そして、そのような情報の記録媒体５０への記録後、ステップＳ３０１以降の処理が再び実行される。
【０１６８】
以上の説明から明らかなように、本実施形態に係る運転状況監視システム（ドライブレコーダ３０）は、イベント発生時刻近傍の時間帯に取得された撮影画像データだけを記録媒体５０に記録する構成を有している。そして、事故や危険な運転をしてしまった原因の究明に役に立つデータは、通常、イベント発生時刻近傍の時間帯に取得された撮影画像データである。従って、この第２実施形態に係る運転状況監視システム（ドライブレコーダ３０）を車両に搭載しておけば、記録媒体５０に記録された情報に基づき、当該車両に関する各種視点からの俯瞰画像をディスプレイに表示させることにより事故や危険な運転をしてしまった原因を究明することが可能となると共に、記録媒体５０の記憶容量をより有効に利用できることになる。
【０１６９】
《第３実施形態》
以下、本発明の第３実施形態に係る運転状況監視システムの構成、機能を、第２実施形態に係る運転状況監視システムと異なる部分を中心に説明する。
【０１７０】
図９に、第３実施形態に係る運転状況監視システムが備えるドライブレコーダ３０（以下、第３ドライブレコーダ３０とも表記する）の構成を示す。
【０１７１】
本実施形態に係る運転状況監視システムは、第２実施形態に係る運転状況監視システム内のドライブレコーダ３０（図２参照）を、図９に示されている構成を有する第３ドライブレコーダ３０に置き換えた上で、カメラ４２を除去したシステムである。
【０１７２】
この第３ドライブレコーダ３０が備える画像処理回路３７′は、フロントカメラ４１Ｆが生成した画像データを、通常のカメラにより自車両の前方を撮影した画像を表す画像データに変換した上で、ＲＡＭ３８に予め確保されている前方画像データ記憶領域（図示略）に、当該前方画像データ記憶領域をリングバッファとして利用した形で記憶する回路で
ある。
【０１７３】
そして、第３ドライブレコーダ３０内の制御部３６は、俯瞰画像生成装置２０からの各撮影画像データをＲＡＭ３８の撮影画像データ用記憶領域内に記憶する際に、フロントカメラ４１Ｆの撮影結果を示す撮影画像データを複製して画像処理回路３７′に供給する処理も行うように構成（プログラミング）されている。
【０１７４】
以上の説明から明らかなように、この第３実施形態に係る運転状況監視システム（ドライブレコーダ３０）は、各組の撮影画像データから俯瞰画像データを生成するのに必要とされる情報とを記録媒体５０に記録する構成であって、カメラ４２を設けなくても、自車両の前方の様子を記録媒体５０に記録できる構成を有している。
【０１７５】
従って、第３実施形態に係る運転状況監視システム（ドライブレコーダ３０）は、第２実施形態に係る運転状況監視システム（ドライブレコーダ３０）と同様の作用効果を奏する、第２実施形態に係る運転状況監視システム（ドライブレコーダ３０）よりも低コストで実現可能なシステムとなっていると言うことが出来る。
【０１７６】
《変形形態》
上記した各実施形態に係る運転状況監視システムは、各種の変形を行えるものである。例えば、各実施形態に係る運転状況監視システムの俯瞰画像生成装置２０を、各組の撮影画像データを、動作中は、常時、ドライブレコーダ３０に送信する装置に変形することが出来る。また、俯瞰画像生成装置２０を、撮影画像データではない俯瞰画像関連データ（合成画像データ、俯瞰画像データ、表示画像信号、表示画像信号をデジタル化したデータ等）をドライブレコーダ３０に送信する装置や、複数種類の俯瞰画像関連データ（例えば、合成画像データ及び俯瞰画像データ）をドライブレコーダ３０に送信する装置に変形することが出来る。ただし、任意視点からの俯瞰画像を表示（再生）できるようにしておくために、各組の撮影画像データ（或いは結合画像データ）か合成画像データが、記録媒体５０に記録されるようにしておくことが望ましい。
【０１７７】
また、第２、第３実施形態に係る運転状況監視システム内のドライブレコーダ３０を、発生を検出したイベントがＧ検知イベントであった場合、１組の撮影画像データ中の加速度センサ３３によって検出された加速度の向きとは反対方向のカメラ４１による１つ又は２つの撮影画像データが記録媒体５０に記録されるシステムに変形することも出来る。また、各実施形態に係る運転状況監視システムは、俯瞰画像生成装置２０が自発的にドライブレコーダ３０に撮影画像データ等を送信するシステムであったが、各実施形態に係る運転状況監視システムを、ドライブレコーダ３０から要求されたときに俯瞰画像生成装置２０が撮影画像データ等を返送するシステムに変形することも出来る。
【０１７８】
さらに、第１実施形態に係る運転状況監視システムを、所定の条件（例えば、車速が規定速度以下等）を満たす場合にのみ、撮影画像データ等が記録媒体５０に記録されるシステムに変形することも出来る。尚、そのような運転状況監視システムは、俯瞰画像生成装置２０を所定の条件を満たす場合にのみ撮影画像データ等をドライブレコーダ３０の送信する装置に変形することによっても、ドライブレコーダ３０を所定の条件を満たす場合にのみ、俯瞰画像生成装置２０からの撮影画像データ等を記録媒体５０に記録する装置に変形することによっても、実現することが出来る。
【０１７９】
また、上記した運転内容評価装置６０についても、様々な変形を行うことが出来る。例えば、運転内容評価装置６０を、記録媒体５０上の情報をデータベースに記憶することなく、記録媒体５０上の情報に基づき、俯瞰画像表示や運転内容の評価を行う装置に変形することが出来る。
【０１８０】
次に、ドライブレコーダの記録画像を俯瞰画像で再生する方法の３パターンについて、その基本的方法、および効果について説明する。
【０１８１】
［パターンＡ］
パターンＡは、図１０の［Ａ］に示すように、ドライブレコーダのメモリカードに俯瞰画像生成装置が生成した俯瞰画像データ（車載表示装置に表示した俯瞰画像の画像データ）を記録するもので、俯瞰画像データと共に、走行データ（速度，加速度等）や運転データ（アクセル，ギア，ハンドル等の運転操作等）が、時刻データに関連付けられて記録される。
【０１８２】
ドラレコ再生装置は、装着（接続）されたメモリカードに記録された俯瞰画像データを読み込み俯瞰画像を表示する。また、俯瞰画像データと共に記録された走行データや運転データを読み込み、俯瞰画像と共に走行状態や運転状態を時刻に関連づけて、例えば横軸を時間軸とし、各時間における速度や加速度をグラフ表示したり、過大な加速度発生等のイベントの発生時刻にマークを表示する等の表示を行う。また、走行データや運転データ、また時刻、あるいはイベントのデータに基づき、各種事象の発生時刻を検索し、検索された時刻付近の俯瞰画像、走行データや運転データを表示する。尚、俯瞰画像（動画）を表示する際には、俯瞰画像の該当時刻を時間軸上（グラフ上）を当該時刻に同期して移動するマーク等で表示するのが好ましい。
【０１８３】
このパターンＡの方法では、実運転時に表示されていた画像そのものが表示される、つまり実運転時における表示画像そのものを再現できると言う特徴がある。
【０１８４】
［パターンＢ］
パターンＢは、図１０の［Ｂ］に示すように、ドライブレコーダのメモリカードに各カメラ画像（あるいはこれらを１画像に合成した画像）を記録するもので、カメラ画像データと共に、走行データ（速度，加速度等）や運転データ（アクセル，ギア，ハンドル等の運転操作等）が、時刻データに関連付けられて記録される。また、俯瞰画像生成に必要なパラメータ（各カメラの取付位置や撮影方向等のデータ）も合わせてメモリカードに記録される。尚、これらパラメータは、俯瞰画像生成装置における俯瞰画像生成処理で用いられるパラメータと同一で、ドラレコ再生装置には、俯瞰画像生成装置と同じアルゴリズムの俯瞰画像生成プログラムが記憶され、俯瞰画像生成時にはこれらパラメータを使用することにより、俯瞰画像生成装置と同じ俯瞰画像が生成されることになる。
【０１８５】
ドラレコ再生装置は、装着（接続）されたメモリカードに記録された各カメラの画像データと俯瞰画像生成パラメータに基づき俯瞰画像を生成して表示する。また、カメラ画像データと共に記録された走行データや運転データを読み込み、生成した俯瞰画像と共に走行状態や運転状態を時刻に関連づけて、例えば横軸を時間軸とし、各時間における速度や加速度をグラフ表示したり、過大な加速度発生等のイベントの発生時刻にマークを表示する等の表示を行う。また、走行データや運転データ、また時刻、あるいはイベントのデータに基づき、各種事象の発生時刻を検索し、検索された時刻付近の俯瞰画像、走行データや運転データを表示する。尚、俯瞰画像（動画）を表示する際には、俯瞰画像の該当時刻を時間軸上（グラフ上）を当該時刻に同期して移動するマーク等で表示するのが好ましい。
【０１８６】
このパターンＢの方法では、実運転時に表示されていた画像以外の俯瞰画像（視点を変えた俯瞰画像、俯瞰画像が表示されていなかった実運転時の時刻に対する俯瞰画像）や特定のカメラ画像等、いろいろなパターンで画像を表示できると言う特徴がある。
【０１８７】
［パターンＣ］
パターンＣは、図１０の［Ｃ］に示すように、ドライブレコーダのメモリカードに俯瞰画像作成用の投影画像データ（視点を決めて俯瞰画像を生成する元になる画像）を記録するもので、投影画像データと共に、走行データ（速度，加速度等）や運転データ（アクセル，ギア，ハンドル等の運転操作等）が、時刻データに関連付けられて記録される。また、俯瞰画像生成に必要なパラメータ（視点変換用のデータ）も合わせてメモリカードに記録される。尚、これらパラメータは、俯瞰画像生成装置で用いられるパラメータと同一で、ドラレコ再生装置には、俯瞰画像生成装置と同じアルゴリズムの俯瞰画像生成プログラム（投影画像データ生成後のプログラム）が記憶され、俯瞰画像生成時にはこれらパラメータが使用することにより、俯瞰画像生成装置と同じ俯瞰画像が生成されることになる。
【０１８８】
ドラレコ再生装置は、装着（接続）されたメモリカードに記録された投影画像データと俯瞰画像生成パラメータに基づき俯瞰画像を生成して表示する。また、投影画像データと共に記録された走行データや運転データを読み込み、生成した俯瞰画像と共に走行状態や運転状態を時刻に関連づけて、例えば横軸を時間軸とし、各時間における速度や加速度をグラフ表示したり、過大な加速度発生等のイベントの発生時刻にマークを表示する等の表示を行う。また、走行データや運転データ、また時刻、あるいはイベントのデータに基づき、各種事象の発生時刻を検索し、検索された時刻付近の俯瞰画像、走行データや運転データを表示する。尚、俯瞰画像（動画）を表示する際には、俯瞰画像の該当時刻を時間軸上（グラフ上）を当該時刻に同期して移動するマーク等で表示するのが好ましい。
【０１８９】
尚、このパターンＣの方法では、実運転時に表示されていた画像以外の俯瞰画像（視点を変えた俯瞰画像、俯瞰画像が表示されていなかった実運転時の時刻に対する俯瞰画像）等、パターンＢよりはやや自由度が低いものの、いろいろなパターンで画像を表示できると言う特徴がある。
【符号の説明】
【０１９０】
１０ ナビゲーション装置
１１、６６ ディスプレイ
１２、４５ 操作部
１４、２３、３６、６２ 制御部
１６、２５、３９ 不揮発性メモリ
２０ 俯瞰画像生成装置
２１ 画像処理部
３０ ドライブレコーダ
５０ 記録媒体
６０ 運転内容評価装置
６４ 入出力部
６５ カードスロット
【技術分野】
【０００１】
本発明は、運転情報記録装置と車両周囲画像再現システムとに関する。
【背景技術】
【０００２】
車両の前後左右の様子を示す４種の画像データに基づき、車両周辺についての、さまざまな視点からの俯瞰画像をディスプレイ上に表示する装置（以下、俯瞰画像生成装置と表記する）が、実用化されている。
【０００３】
俯瞰画像生成装置を車両に搭載しておけば、ドライバが、バックミラー等では確認しにくい場所や確認できない場所の様子を確認しながら車両を運転することができるため、より安全な運転が可能となる。
【０００４】
なお、本明細書で説明する技術に関連する技術が記載されている文献としては、以下の特許文献１、２が存在している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−０９６３１２号公報
【特許文献２】特開２０００−１２８０３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記したように、俯瞰画像生成装置を車両に搭載しておけば、より安全な運転が可能となるのであるが、既存の俯瞰画像生成装置は、その時点（現時点）における俯瞰画像をディスプレイ上に表示することしかできない。そして、俯瞰画像の画像データや、俯瞰画像生成用の各カメラからの画像データは、事故等の原因究明にも利用できるデータである。従って、そのような観点から考えると、既存の俯瞰画像生成装置は、俯瞰画像関連の画像データを十分に有効活用していないものとなっていることになる。
【０００７】
そこで、本発明の課題は、俯瞰画像関連の画像データの有効活用が図れる技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の運転情報記録装置は、車両に取り付けられている複数のカメラからの複数の画像データに基づき、当該車両周辺についての俯瞰画像を表す俯瞰画像データを生成する俯瞰画像生成手段と、車両に対するイベントの発生を検出し、当該検出されたイベントの内容及び発生時間を示す情報を記録媒体に記録する運転状況記録手段と、俯瞰画像生成手段から、俯瞰画像データ、複数のカメラからの複数の画像データ及び俯瞰画像データの生成過程で生成される画像データの中の少なくとも１種の画像データを取得する画像データ取得手段と、画像データ取得手段により取得された少なくとも１種の画像データを、複数のカメラによる画像データの生成時刻と対応づけてメモリカードに記録する画像データ記録手段とを備える。
【０００９】
すなわち、本発明の運転情報記録装置は、従来、運転中に、周囲の状況確認にしか使用されていなかった俯瞰画像関連の画像データを、運転状況に関する情報と共にメモリカードに記録する。そして、俯瞰画像関連の画像データがメモリカードに記録されていれば、事故や危険な運転をしてしまった原因等をより究明し易くなる。従って、本発明の運転情
報記録装置によれば、俯瞰画像関連の画像データの有効活用が図れることになる。
【００１０】
本発明の運転情報記録装置の画像データ記録手段としては、“俯瞰画像データの生成過程で生成される複数の画像データを合成した画像データを俯瞰画像生成手段から取得する”手段を採用しておくことが出来る。
【００１１】
本発明の第１の態様の車両周囲画像再現システムは、車両周囲を撮影するカメラにより撮影される複数の画像を合成処理して車両周囲の俯瞰画像を表示する俯瞰画像表示部と、車両周囲画像の画像データを記録するドライブレコーダ部と、ドライブレコーダ部により記録された画像データに基づき車両周囲の画像を表示するドラレコ画像再生部とを備え、ドライブレコーダ部は、俯瞰画像表示部の合成した俯瞰画像の俯瞰画像データを記録媒体に記録し、ドラレコ画像再生部は、記録媒体に記録された俯瞰画像データに基づき俯瞰画像を表示する。
【００１２】
すなわち、本発明の第１の態様の車両周囲画像再現システムは、実運転時に俯瞰画像表示部により表示されていた画像そのものをドラレコ画像再生部が表示（再生）できる構成を有している。従って、この本発明の第１の態様の車両周囲画像再現システムによっても、俯瞰画像関連の画像データの有効活用が図れる。
【００１３】
また、本発明の第２の態様の車両周囲画像再現システムは、車両周囲を撮影するカメラにより撮影される複数の画像を合成処理して車両周囲の俯瞰画像を表示する俯瞰画像表示部と、車両周囲画像の画像データを記録するドライブレコーダ部と、ドライブレコーダ部により記録された画像データに基づき車両周囲の画像を表示するドラレコ画像再生部とを備え、ドライブレコーダ部は、カメラにより撮影されたカメラ画像のカメラ画像データと、俯瞰画像表示部による俯瞰画像生成に用いられる俯瞰画像パラメータとを記録媒体に記録し、ドラレコ画像再生部は、記録媒体に記録されたカメラ画像データと俯瞰画像パラメータに基づき俯瞰画像生成し、当該生成した俯瞰画像を表示する。
【００１４】
すなわち、本発明の第２の態様の車両周囲画像再現システムは、実運転時に表示されていた画像以外の俯瞰画像（視点を変えた俯瞰画像、俯瞰画像が表示されていなかった実運転時の時刻に対する俯瞰画像）、特定のカメラ画像等の様々な画像をドラレコ画像再生部が表示できる構成を有している。従って、この第２の態様の車両周囲画像再現システムは、俯瞰画像関連の画像データを、上記した第１の態様の車両周囲画像再現システムよりも有効に利用できるシステムとなっていると言うことが出来る。
【００１５】
また、本発明の第３の態様の車両周囲画像再現システムは、車両周囲を撮影するカメラにより撮影される複数の画像を合成処理して車両周囲の俯瞰画像を表示する俯瞰画像表示部と、車両周囲画像の画像データを記録するドライブレコーダ部と、ドライブレコーダ部により記録された画像データに基づき車両周囲の画像を表示するドラレコ画像再生部とを備え、ドライブレコーダ部は、俯瞰画像表示部における俯瞰画像生成処理過程で生成される投影画像の投影画像データと、俯瞰画像表示部による投影画像から俯瞰画像生成に用いられる投影後パラメータとを記録媒体に記録し、ドラレコ画像再生部は、記録媒体に記録された投影画像データと投影後パラメータに基づき俯瞰画像生成し、当該生成した俯瞰画像を表示する。
【００１６】
すなわち、本発明の第３の態様の車両周囲画像再現システムは、第２の態様の車両周囲画像再現システムよりも表示可能な画像の種類（パターン）は少ないが、実運転時に俯瞰画像表示部により表示されていた画像以外の画像をドラレコ画像再生部が表示（再生）できる構成を有している。従って、この第２の態様の車両周囲画像再現システムも、俯瞰画像関連の画像データを、上記した第１の態様の車両周囲画像再現システムよりも有効に利
用できるシステムとなっていると言うことが出来る。
【発明の効果】
【００１７】
本発明によれば、俯瞰画像関連の画像データの有効活用が図れる。
【図面の簡単な説明】
【００１８】
【図１】図１は、本発明の第１実施形態に係る運転状況監視システムの、俯瞰画像生成装置及びナビゲーション装置を中心とした構成図である。
【図２】図２は、第１実施形態に係る運転状況監視システムの、ドライブレコーダを中心とした構成図である。
【図３】図３は、第１実施形態に係る俯瞰画像生成装置が備える画像処理部の構成図である。
【図４】図４は、第１実施形態に係る画像処理部内の視点変換部及び画像生成部による表示画像信号の生成手順の説明図である。
【図５】図５は、第１実施形態に係る運転状況監視システムのドライブレコーダにより実行される情報記録処理の流れ図である。
【図６】図６は、第１実施形態に係る運転状況監視システム用の運転内容評価装置の構成図である。
【図７】図７は、運転内容評価装置の制御部が実行する俯瞰画像生成処理の流れ図である。
【図８】図８は、本発明の第２実施形態に係る運転状況監視システムのドライブレコーダにより実行される情報記録処理の流れ図である。
【図９】図９は、本発明の第３実施形態に係る運転状況監視システムの、ドライブレコーダを中心とした構成図である。
【図１０】図１０は、ドライブレコーダの記録画像を俯瞰画像で再生する方法（３パターン）についての説明図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２０】
《第１実施形態》
図１及び図２に、本発明の第１実施形態に係る運転状況監視システムの構成を示す。まず、これらの図を用いて、本実施形態に係る運転状況監視システムの概要を説明する。
【００２１】
本実施形態に係る運転状況監視システムは、車両（自動車）に搭載されるシステムである。図１及び図２に示されているように、運転状況監視システムは、ナビゲーション装置１０、俯瞰画像生成装置２０及びドライブレコーダ３０を備えている。また、運転状況監視システムは、俯瞰画像生成装置２０と接続されたフロントカメラ４１Ｆ、サイドカメラ４１Ｒ、サイドカメラ４１Ｌ及びバックカメラ４１Ｂ（図１）、並びに、ドライブレコーダ３０と接続されたカメラ４２、マイク４３、記録スイッチ４４及び操作部４５（図２）を備えている。
【００２２】
ナビゲーション装置１０（図１）は、この運転状況監視システムを搭載した車両（以下、自車両と表記する）の現在位置、目的地までのルート等が示されている地図をディスプレイ１１に表示する装置である。また、ナビゲーション装置１０は、俯瞰画像生成装置２０からの、自車両を中心とした自車両周辺の俯瞰画像（以下、単に俯瞰画像とも表記する）を表す表示画像信号（映像信号）に基づく俯瞰画像表示をディスプレイ１１に行わせる機能等も有している。
【００２３】
俯瞰画像生成装置２０は、自車両に取り付けられた４台のカメラ４１（４１Ｆ、４１Ｒ
、４１Ｌ及び４１Ｂ）による撮影結果に基づき周期的に俯瞰画像の画像データ（以下、俯瞰画像データと表記する）を生成し、生成した俯瞰画像データ群から上記表示画像信号を生成してナビゲーション装置１０に供給（送信）する装置である。この俯瞰画像生成装置２０は、各カメラ４１による撮影結果を示す画像データである撮影画像データを撮影日時情報と共に、ドライブレコーダ３０に供給する機能も有している。
【００２４】
ドライブレコーダ３０（図２）は、車速センサ等からの情報に基づき、複数種類のイベント（急加速等）が発生するのを監視し、或るイベントの発生検出時に、そのイベントの発生位置等を示す運転内容情報を記録媒体５０（ＳＤＨＣ(Secure Digital High-Capacity)カード等）に記録する装置である。ドライブレコーダ３０は、イベント発生前後におけるカメラ４２による撮影結果を記録媒体５０に記録する機能、俯瞰画像生成装置２０から供給される各情報（１組の撮影画像データ及び撮影日時情報）記録媒体５０に記録する機能等も有している。
【００２５】
本実施形態では、イベントの発生を検出した場合に、そのイベントに関する運転内容情報を記録媒体に記録する構成（イベント記録方式）を一例として記載するが、他の実施形態である記録媒体へ運転内容情報を定期的に記録する構成（常時記録方式）であっても、本実施形態と同様の処理が実行される。尚、常時記録方式は、イベントの発生を検出する機能を有する場合、イベントの種類に関する種類情報及びイベントの発生時刻に関する時刻情報、イベントの発生位置に関する位置情報等を、画像情報と対応付けられて記録媒体に記録される。
【００２６】
以下、運転状況監視システムの構成及び機能をさらに具体的に説明する。
【００２７】
〔ナビゲーション装置１０〕
図１に示されているように、ナビゲーション装置１０は、ディスプレイ１１、操作部１２、音声出力部１３、制御部１４、ＧＰＳ（Global Positioning System）受信機１５及
び不揮発性メモリ１６を備えている。
【００２８】
ディスプレイ１１は、タッチスクリーン（液晶ディスプレイ等に透明なタッチパネルを重ねたディスプレイ装置）として機能し、各種情報（地図等）を表示する。また、タッチスクリーンとしてのディスプレイ１１は、各種の指示や地図上の位置の指定をユーザ（通常、自車両の運転者）から受け付け、受け付けた指示／指定を信号として制御部１４に出力する。
【００２９】
操作部１２は、自車両内のユーザが操作しやすい位置に配置され、各種のユーザ操作を受け付けて、受け付けたユーザ操作を信号として制御部１４に出力する。
【００３０】
音声出力部１３は、制御部１４から供給される音声データに応じた音声（案内音声）を出力する。ＧＰＳ受信機１５は、複数のＧＰＳ衛星からの信号を受信して、現時点における自車位置（自車両の位置）を取得する。ＧＰＳ受信機１５は、地球上における緯度経度で表現された位置情報として自車位ｄ置を取得して制御部１４へ出力する。
【００３１】
不揮発性メモリ１６は、例えば、ハードディスクやフラッシュメモリなどで構成され、ナビゲーション装置１０のファームウェアとしてのプログラムや、ユーザへの案内に用いる地図データ及び音声データなどを記憶する。
【００３２】
制御部１４は、不揮発性メモリ１６上のプログラムに従って演算処理を行うことで各種の制御機能を実現するＣＰＵ（Central Processing Unit）、演算処理の作業領域となる
ＲＡＭ（Random Access Memory）、俯瞰画像生成装置２０及びドライブレコーダ３０と通
信を行うための通信回路等から構成され、ナビゲーション装置１０内の各部を統合的に制御する。
【００３３】
この制御部１４（及びナビゲーション装置１０の他の各部）は、例えば、自車両のイグニッションスイッチのオンにより起動される。
【００３４】
制御部１４は、起動されると、所定のイニシャル処理を実行する。制御部１４は、イニシャル処理が完了すると、操作部１２やディスプレイ１１に対する操作を通じてユーザから各種の指示を受け付ける状態となる。そして、制御部１４は、例えば、地図の表示指示を受け付けた際には、ＧＰＳ受信機１５からの自車位置と不揮発性メモリ１６上の地図データとに基づき、各時点における自車位置が示された地図をディスプレイ１１に表示する処理を開始し、地図表示の終了指示を受け付けた際に当該処理を終了する。
【００３５】
また、制御部１４は、俯瞰画像（自車両を中心とした自車両周辺の俯瞰画像）の表示指示を受け付けた際には、所定内容の信号出力要求コマンドを俯瞰画像生成装置２０に対して送信する。次いで、制御部１４は、当該信号出力要求コマンドの受信により俯瞰画像生成装置２０から出力されることになる、俯瞰画像を表す表示画像信号をディスプレイ１１に供給するための処理を開始する。そして、制御部１４は、俯瞰画像表示の中止指示を受け付けた際に、所定内容の信号出力停止要求コマンドを俯瞰画像生成装置２０に送信してから当該処理を終了する。
【００３６】
さらに、制御部１４は、操作部１２やディスプレイ１１に対する操作を通じてユーザから、表示する俯瞰画像の視点位置（画像処理部２１に生成させる俯瞰画像データの視点位置）の変更指示、撮影画像データ等の記録媒体５０への記録の開始指示である連携指示、当該記録の終了指示である連携停止指示等を受け付ける。
【００３７】
視点位置の変更指示を受け付けると、制御部１４は、ユーザが指定した視点位置を表す情報を含めた視点位置変更指示コマンドを俯瞰画像生成装置２０に送信する。また、連携指示、連携停止指示を受け付けると、制御部１４は、それぞれ、所定内容の連携指示コマンド、連携停止指示コマンドを、俯瞰画像生成装置２０及びドライブレコーダ３０に送信する。
【００３８】
そして、制御部１４（及びナビゲーション装置１０の他の各部）は、例えば、自車両のイグニッションスイッチのオフにより動作を停止する。
【００３９】
〔俯瞰画像生成装置２０〕
俯瞰画像生成装置２０（図１）は、画像処理部２１、通信回路２２、制御部２３、カード読取部２４及び不揮発性メモリ２５を備えている。
【００４０】
俯瞰画像生成装置２０（画像処理部２１）と接続されている各カメラ４１（４１Ｆ、４１Ｒ、４１Ｌ、４１Ｂ）は、対物レンズとして魚眼レンズや超広角レンズが用いられた、１８０度以上の画角を有するカメラである。フロントカメラ４１Ｆは、通常、自車両のフロントバンパの左右略中心に、その光軸が自車両の前方（前進方向）を向いた姿勢で取り付けられる。バックカメラ４１Ｂは、通常、自車両のリアバンパの左右略中心に、その光軸が自車両の後方（後進方向）を向いた姿勢で取り付けられる。サイドカメラ４１Ｒは、通常、自車両の右側のドアミラーに、その光軸が右方を向いた姿勢で取り付けられる。サイドカメラ４１Ｌは、通常、自車両の左のドアミラー等に、その光軸が左方を向いた姿勢で取り付けられる。
【００４１】
制御部２３は、ＣＰＵ、ＲＡＭ、各種インタフェース回路等から構成され、俯瞰画像生
成装置２０内の各部を統合的に制御する。図１に示されているように、この制御部２３には、自車両の操舵角センサ、変速機、照度センサ、車速センサからの情報（つまり、自車両の操舵角、シフトポジション、照度、車速）が入力されている。また、制御部２３は、通信用の信号線によってナビゲーション装置１０の制御部１４と接続されている。
【００４２】
通信回路２２は、ドライブレコーダ３０との間で通信（情報交換）を行うための回路である。制御部２３は、この通信回路２２を利用して、ドライブレコーダ３０との間で通信を行う。
【００４３】
不揮発性メモリ２５は、俯瞰画像生成装置２０のファームウェアとしてのプログラムを記憶した書き換え可能な不揮発性メモリ（例えば、ハードディスクやフラッシュメモリ）である。この不揮発性メモリ２５には、制御部２３により読み出されて画像処理部２１に設定される車両情報及び対応関係情報が設定データとして格納されている。これらの情報の詳細については、画像処理部２１の詳細説明時に説明する。
【００４４】
カード読取部２４は、特定仕様の記録媒体（ＳＤカード等）からデータを読み出すためのユニットである。俯瞰画像生成装置２０は、新たなプログラムや設定データを記録した記録媒体を、このカード読取部２４にセットすることにより、不揮発性メモリ２５上のプログラムや設定データを更新できる装置として構成されている。
【００４５】
画像処理部２１は、俯瞰画像生成装置２０用のものとして開発された集積回路であり、俯瞰画像生成演算処理を効率良く行えるような回路構成（例えば、分岐・判断処理よりも、積算等の演算処理に適した構造）となっている。画像処理部２１は、４台のカメラ４１による撮影結果に基づき、上記表示画像信号を生成して出力する表示画像信号出力機能と、４台のカメラ４１による撮影結果を出力する撮影結果出力機能とを有している。
【００４６】
図３に、画像処理部２１の構成を示す。この図３に示されているように、画像処理部２１は、それぞれ、フロントカメラ４１Ｆ、サイドカメラ４１Ｒ、サイドカメラ４１Ｌ、バックカメラ４１Ｂに接続された４つのＡ／Ｄコンバータ２１１と、Ａ／Ｄコンバータ２１１毎に設けられた４つの画像書込部２１２と、フレームメモリ２１３と、画像読出部２１４と、視点変換部２１５と、画像生成部２１６とを、備えている。
【００４７】
画像処理部２１が備える各Ａ／Ｄコンバータ２１１は、自身に入力されている画像信号に対してＡ／Ｄ（analog-to-digital）変換を行う。フレームメモリ２１３は、４種の撮
影画像データを同時に記憶できる容量を有しており、各画像書込部２１２は、『各Ａ／Ｄコンバータ２１１による１フレーム分の画像信号のＡ／Ｄ変換結果を撮影画像データとしてフレームメモリ２１３の自ユニット専用の記憶領域に書き込む書込処理』を周期的に（例えば１／３０秒周期で）行う。
【００４８】
尚、画像処理部２１内には、表示画像信号出力機能を利用するか否かを指定するための第１指定値、及び、撮影結果出力機能を利用するか否かを指定するための第２指定値が、制御部２３により設定される指定値用レジスタ（図示略）が設けられている。そして、画像処理部２１内の各Ａ／Ｄコンバータ２１１及び各画像書込部２１２は、指定値用レジスタ上の少なくとも一方の指定値が、対応する機能（表示画像信号出力機能又は撮影結果出力機能）を利用することを示す値である場合に上記のように動作し、それ以外の場合には動作しない回路となっている。
【００４９】
画像読出部２１４も、指定値用レジスタ上の少なくとも一方の指定値が、対応する機能を利用すること示す値である場合に動作し、それ以外の場合には動作しない回路である。ただし、画像読出部２１４は、指定値用レジスタ上の第１、第２指定値の組み合わせに応
じた内容の動作を行う。
【００５０】
具体的には、画像読出部２１４は、以下のように動作する。尚、以下の説明において、第１指定値〔利用〕、第１指定値〔非利用〕とは、それぞれ、表示画像信号出力機能を利用すること、表示画像信号出力機能を利用しないことを示す第１指定値のことである。同様に、第２指定値〔利用〕、第２指定値〔非利用〕とは、それぞれ、撮影結果出力機能を利用すること、撮影結果出力機能を利用しないことを示す第２指定値のことであり、第１指定値〔非利用〕、第２指定値〔非利用〕が、各指定値の初期値（画像処理部２１への通電開始直後の指定値用レジスタ上の各指定値の値）である。
【００５１】
画像読出部２１４は、第１指定値〔利用〕と第２指定値〔非利用〕とが指定値用レジスタに設定されている場合には、『フレームメモリ２１３に記憶された４種の撮影画像データを読み出し、読み出した４種の撮影画像データの全ての内容を含む結合画像データを生成して視点変換部２１５に供給する画像読出処理』を、周期的に（通常、画像書込部２１２による書込処理の実行周期と同周期で）行う。
【００５２】
画像読出部２１４は、第１指定値〔利用〕と第２指定値〔利用〕とが指定値用レジスタに設定されている場合には、画像読出処理と『フレームメモリ２１３上の４種の撮影画像データをそのまま制御部２３に対して出力する撮影結果出力処理』とを、周期的に行う。また、画像読出部２１４は、第１指定値〔非利用〕と第２指定値〔利用〕とが指定値用レジスタに設定されている場合には、撮影結果出力処理のみを、周期的に行う。
【００５３】
視点変換部２１５及び画像生成部２１６は、第１指定値〔利用〕が指定値用レジスタに設定されている場合に動作し、それ以外の場合には動作しない回路である。すなわち、視点変換部２１５及び画像生成部２１６は、画像読出部２１４から視点変換部２１５に結合画像データ（４種の撮影画像データを含むデータ）が供給される場合にのみ動作する。
【００５４】
動作している視点変換部２１５は、『制御部２３により設定されている車両情報、対応関係情報及び視点位置を用いて、画像読出部２１４が生成した結合画像データから俯瞰画像データを生成する俯瞰画像データ生成処理』を、周期的に（通常、画像読出処理の実行周期と同周期で）行う。尚、制御部２３による車両情報等の設定タイミングについては、制御部２３の機能説明時に説明する。
【００５５】
また、動作している画像生成部２１６は、視点変換部２１５が周期的に生成する俯瞰画像データから、ナビゲーション装置１０のディスプレイ１１に供給するための表示画像信号を生成して制御部２３に出力する。
【００５６】
ここまでの説明から明らかなように、この画像処理部２１は、第１指定値〔利用〕及び第２指定値〔非利用〕が指定値用レジスタに設定されている場合には、表示画像信号のみを出力し、第１指定値〔利用〕及び第２指定値〔利用〕が指定値用レジスタに設定されている場合には、表示画像信号及び撮影画像データを出力し、第１指定値〔非利用〕及び第２指定値〔利用〕が指定値用レジスタに設定されている場合には、撮影画像データのみを出力し、第１指定値〔非利用〕及び第２指定値〔非利用〕が指定値用レジスタに設定されている場合には、何も出力しないように構成された回路となっている。
【００５７】
以下、図４を用いて、画像処理部２１の視点変換部２１５及び画像生成部２１６の機能をさらに具体的に説明すると共に、画像処理部２１（視点変換部２１５）に設定される車両情報及び対応関係情報の詳細を説明する。尚、この図４は、視点変換部２１５及び画像生成部２１６による表示画像信号の生成手順の説明図である。また、以下の説明では、指定値用レジスタに、第１指定値〔利用〕及び第２指定値〔非利用〕が設定されている（画
像処理部２１が、表示画像信号のみを出力する状態で動作している）ものとする。
【００５８】
第１指定値〔利用〕及び第２指定値〔非利用〕が指定値用レジスタに設定されている状態では、画像処理部２１内の各部が動作する。また、画像読出部２１４は、上記した内容の画像読出処理のみを周期的に行う。
【００５９】
従って、フレームメモリ２１３に、周期的に、４台のカメラ４１の撮影結果を示す撮影画像データＰ１〜Ｐ４が記憶され、それらから、周期的に、結合画像データ（撮影画像データＰ１〜Ｐ４の全ての内容を含む画像データ）が生成されることになる。
【００６０】
そして、視点変換部２１５により、画像読出部２１４により生成された結合画像データに対する俯瞰画像データ生成処理が行われる。
【００６１】
或る結合画像データに対する俯瞰画像データ生成処理を開始した視点変換部２１５は、当該結合画像データを、仮想的な三次元空間における立体曲面５２に投影する。立体曲面５２は、図４に示してあるように、略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が、自車両が存在する位置として定められている。
【００６２】
不揮発性メモリ２５から読み出されて画像処理部２１（視点変換部２１５）に設定される対応関係情報は、結合画像データ中の各画素データをこの立体曲面５２のどの画素の画素データとするかを規定しており、視点変換部２１５は、設定されている対応関係情報を利用して、結合画像データを、仮想的な三次元空間における立体曲面５２に投影する。尚、詳細説明は省略するが、対応関係情報の内容（結合画像データ中の各画素データに立体曲面５２上の画素との対応関係）は、各カメラ４１の位置、向き、各カメラ４１の対物レンズの仕様等に基づき、決定されている。
【００６３】
また、不揮発性メモリ２５から読み出されて視点変換部２１５に設定される車両情報は、自車両の３次元形状や色を示しており、視点変換部２１５は、上記処理と並行的に、設定されている車両情報に基づき、自車両の三次元形状及び各部の色を示すポリゴンモデルを仮想的に構成する。
【００６４】
そして、視点変換部２１５は、立体曲面５２に投影した結合画像データ（以下、合成画像データと表記する）に基づき、設定されている視点位置から立体曲面５２（立体曲面５２上の合成画像データ）の中央部分を見た画像を表す俯瞰画像データを生成する。
【００６５】
次いで、視点変換部２１５は、生成した俯瞰画像データのほぼ中心に、構成済みのポリゴンモデルをレンダリングすることにより生成した自車両の俯瞰画像データ（設定されている視点位置から見た様子を表すもの）を重畳する。そして、視点変換部２１５は、そのようにして生成した俯瞰画像データを画像生成部２１６に供給してから、１回分の俯瞰画像データ生成処理を終了する。
【００６６】
画像生成部２１６は、視点変換部２１５から周期的に供給される俯瞰画像データに、制御部２３から与えられている情報（文字列や線画）に応じた画像データ（画素データ群）を追加して、表示画像信号（映像信号）を生成する。画像生成部２１６は、例えば、ディスプレイ１１に供給すると図４に示してあるような画面５４が表示されることになる表示画像信号を生成する。
【００６７】
次に、制御部２３の機能を説明する。
【００６８】
制御部２３（及び俯瞰画像生成装置２０内の他の各部）は、例えば、自車両のイグニッ
ションスイッチのオンにより起動され、例えば、自車両のイグニッションスイッチのオフにより動作を停止する。
【００６９】
制御部２３は、起動されると、所定のイニシャル処理を実行する。制御部２３は、イニシャル処理が完了すると、不揮発性メモリ２５から、車両情報及び対応関係情報を読み出し、読み出した各情報を画像処理部２１（視点変換部２１５）に設定する（図３参照）。また、制御部２３は、デフォルトの視点位置（例えば、自車両の真上）を画像処理部２１（視点変換部２１５）に設定する。
【００７０】
その後、制御部２３は、ナビゲーション装置１０（制御部１４）から、上記した信号出力要求コマンド、連携指示コマンド等が送信されてくるのを監視する処理を開始する。
【００７１】
制御部２３は、信号出力要求コマンドを受信した際には、後述する撮影結果送信処理を実行中であってもなくても、第１指定値〔利用〕（表示画像信号出力機能を利用することを示す第１指定値）を画像処理部２１内の指定値用レジスタに設定する。次いで、制御部２３は、『画像処理部２１からの表示画像信号（第１指定値〔利用〕の設定により画像処理部２１が出力し始める表示画像信号）をナビゲーション装置１０に送信する表示画像信号送信処理』を開始する。既に説明したように、信号出力要求コマンドを送信したナビゲーション装置１０（制御部１４）は、俯瞰画像生成装置２０からの表示画像信号をディスプレイ１１に供給するための処理を開始している。従って、制御部２３の上記動作によりディスプレイ１１に、俯瞰画像（動画）が表示されることになる。
【００７２】
また、制御部２３は、制御部１４から視点位置変更指示コマンドが送信されてきた場合には、当該コマンド中の情報が示している視点位置を画像処理部２１に設定する。その結果、ディスプレイ１１にそれまでとは異なる視点位置から見た俯瞰画像が表示されることになる。
【００７３】
制御部２３は、信号出力停止要求コマンドを受信した際に、第１指定値〔非利用〕（表示画像信号出力機能を利用しないことを示す第１指定値）を指定値用レジスタに設定してから、それまで実行していた表示画像信号送信処理を終了する。すなわち、信号出力停止要求コマンドを受信した際、制御部２３は、画像処理部２１を表示画像信号を出力しない状態に制御してから、それまで実行していた表示画像信号送信処理を終了する。
【００７４】
また、制御部２３は、連携指示コマンドを受信した際には、表示画像信号送信処理を実行中であってもなくても、不揮発性メモリ２５上の車両情報及び対応関係情報をドライブレコーダ３０に送信する。次いで、制御部２３は、第２指定値〔利用〕（撮影結果出力機能を利用することを示す第２指定値）を画像処理部２１内の指定値用レジスタに設定する。その後、制御部２３は、『画像処理部２１から４種の撮影画像データが入力される度に、それらの撮影画像データを現在日時を示す撮影日時情報と共にドライブレコーダ３０に送信する撮影結果送信処理』を開始する。そして、制御部２３が送信した各情報が、ドライブレコーダ３０により記録媒体５０に記録される（詳細は後述）。
【００７５】
制御部２３は、連携停止指示コマンドを受信した際には、第２指定値〔非利用〕（撮影結果出力機能を利用しないことを示す第２指定値）を指定値用レジスタに設定する。すなわち、連携停止指示コマンドを受信した際、制御部２３は、画像処理部２１を撮影画像データを出力しない（撮影結果出力処理を行わない）状態に制御する。そして、制御部２３は、それまで実行していた撮影結果送信処理を終了する。
【００７６】
〔ドライブレコーダ３０の構成〕
ドライブレコーダ３０（図２）は、リーダライタ３１、計時回路３２、加速度センサ３
３、ＧＰＳ受信機３４、通信回路３５、制御部３６、画像処理回路３７、ＲＡＭ３８及び不揮発性メモリ３９を備えている。また、ドライブレコーダ３０には、カメラ４２、マイク４３、記録スイッチ４４、操作部４５等が接続されている。
【００７７】
記録スイッチ４４は記録媒体５０への記録指示を受け付けるスイッチである。ユーザは、この記録スイッチ４４を押下することにより、衝突などの事故には至らなかったものの危険を感じた場合などの所望のタイミングで動画データを記録媒体５０に記録することができる。
【００７８】
操作部４５は、複数のボタンを含んで構成され、ユーザから各種設定などの入力を受け付ける。記録スイッチ４４及び操作部４５で受け付けたユーザの操作内容は、信号として制御部３６に入力される。
【００７９】
カメラ４２は、レンズと撮像素子とを備えており、電子的に画像情報を取得する。本実施形態では、カメラ４２は、その光軸が車両の前方に向けられた状態でフロントガラスの上部付近の車両の前方の領域についての画像情報を取得できる位置（例えばルームミラーとフロントガラスの間）に配置される。図示してあるように、記録スイッチ４４及び操作部４５からのデータは、制御部３６に入力されており、カメラ４２からの画像信号は、画像処理回路３７に入力されている。
【００８０】
計時回路３２は、現在時刻に対応した信号を発生して、制御部３６へ出力する。計時回路３２は、例えば、内蔵電池を有することで、外部から電力供給を受けなくても動作して正確な時刻を計時する。
【００８１】
加速度センサ３３は、自車両に加わる衝撃の大きさを示す加速度を、重力加速度のｓＧを単位として検出する。検出される加速度は、現在時刻における加速度の瞬間値であり、例えば、互いに直行する３軸、又は、２軸に応じた向きに大きさを持つ。加速度センサ３３は、このような加速度に対応した信号を制御部３６へ出力する。
【００８２】
ＧＰＳ受信機３４は、複数のＧＰＳ衛星からの信号を受信して、現時点における自車位置（自車両の位置）を取得する。ＧＰＳ受信機３４は、地球上における緯度経度で表現された位置情報として自車位置を取得して制御部１４へ出力する。尚、ＧＰＳ受信機３４は、ＧＰＳ衛星からの信号に基づき、正確な時刻を検出できるため、計時回路３２として使用すること、あるいは計時回路３２の時刻を修正することに利用することが可能である。
【００８３】
通信回路３５は、ドライブレコーダ３０と他装置（ナビゲーション装置１０等）との間で通信を行うための回路である。マイク４３は、自車両の周辺で発生している音を電気信号に変換する機器である。このマイク４３の出力は、図示を省略した信号処理回路を介して、ＲＡＭ３８に入力（記憶）されている。
【００８４】
不揮発性メモリ３９は、例えば、ハードディスクやフラッシュメモリなどで構成され、ドライブレコーダ３０のファームウェアとしてのプログラムや設定パラメタなどを記憶する。この不揮発性メモリ３９には、運転状況監視システム（ドライブレコーダ３０）のセットアップ時等に、自車両の識別情報である車両番号が設定パラメタとして記憶される。
【００８５】
制御部３６は、不揮発性メモリ３９に記憶されているプログラムに従って各種処理を実行するユニット（ＣＰＵを中心としたユニット）である。ドライブレコーダ３０の各部を制御する機能は、不揮発性メモリ３９に予め記憶されたプログラムに従って制御部３６が演算処理を実行することにより実現される。図示してあるように、この制御部３６には、車速センサからのデータや、イグニッションキーの状態を検知するためのＩＧセンサから
のデータが入力されている。
【００８６】
画像処理回路３７は、カメラ４２から入力される画像信号に対してＡ／Ｄ変換、輝度補正、コントラスト補正等を行うことにより、特定形式（例えば、ＪＰＥＧ形式）のデジタルの画像データを生成し、生成した画像データをＲＡＭ３８に記憶する。マイク４３とＲＡＭ３８間に設けられている信号処理回路（図示略）は、マイク４３からの信号をデジタルデータ（以下、サウンドデータと表記する）に変換して、ＲＡＭ３８に記憶する。
【００８７】
ＲＡＭ３８の記憶領域のうちの一部（以下、リングバッファ領域と表記する）はリングバッファとして利用される。このリングバッファ領域が用いられて、画像処理回路３７において処理された、過去一定時間分の画像データ、及び、信号処理回路において処理された、過去一定時間分のサウンドデータが常時に記憶される。この時、加速度センサ３３によって取得された加速度データや車速センサによって取得された車速データ等を含む運転データも常時に記憶される。制御部３６は、運転データと、画像データ及びサウンドデータとを関連付けてＲＡＭ３８に記憶する。すなわち、制御部３６は、画像処理回路３７において処理された画像データ及び信号処理回路において処理されたサウンドデータと、各データがカメラ４２又はマイク４３により取得された時刻における運転データとを関連付けて、ＲＡＭ３８のリングバッファ領域に格納する。
【００８８】
尚、リングバッファ領域のサイズは、例えば、およそ４０秒分の画像データ及びサウンドデータを記憶しておくことが出来るように定められる。
【００８９】
リーダライタ３１は、記録媒体５０を装着するためのカードスロットを有し、制御部３６の制御下、カードスロットに装着された記録媒体５０からのデータの読み取りや、当該記録媒体５０へのデータの書き込みを行う。
【００９０】
制御部３６は、新たな記録媒体５０がリーダライタ３１にセットされると、不揮発性メモリ３９上の車両番号を、以降記録する情報が自ドライブレコーダ３０による記録情報である旨を示す情報として、記録媒体５０に記録する。
【００９１】
また、事故や危険挙動などのイベントが生じたとき、制御部３６は、ＲＡＭ３８のリングバッファ領域に記憶された画像データ及びサウンドデータから動画データを生成する。さらに、制御部３６は、ＲＡＭ３８のリングバッファ領域に記憶された運転データを利用して、発生したイベントの種類等を示す運転内容情報を生成する。そして、制御部３６は、リーダライタ３１を制御することにより、生成した動画データ、運転内容情報及びリングバッファ領域上の一部の運転データを、リーダライタ３１のカードスロットに装着されている記録媒体５０に記録する。
【００９２】
〔ドライブレコーダ３０の動作例〕
ドライブレコーダ３０は、例えば、車両のイグニッションスイッチのオンにより起動される。ドライブレコーダ３０が起動されると、制御部３６がイニシャル処理を実行する。そして、イニシャル処理が完了すると、ドライブレコーダ３０内の各部（主として、不揮発性メモリ３９上のプログラムに従った制御部３６）により情報記録処理が開始される。
【００９３】
図５に、情報記録処理の流れ図を示す。尚、この情報記録処理は、記録媒体５０がリーダライタ３１に装着されている状態で実行されるものである。
【００９４】
すなわち、ドライブレコーダ３０内では、イニシャル処理が完了した直後から、カメラ４２による車両の周辺の様子を示す画像データの取得、マイク４３による車両の周辺で発生している音を示すサウンドデータの取得、及び、計時回路３２、加速度センサ３３、Ｇ
ＰＳ受信機３４、車速センサ等による運転データの取得が開始される。取得された画像データ、サウンドデータ及び運転データは、ＲＡＭ３８のリングバッファ領域に記憶される（ステップＳ１０１）。これ以降、ドライブレコーダ３０の動作中にわたって、画像データ、サウンドデータ及び運転データは、継続的にＲＡＭ３８に記憶される。例えば、画像データは、毎秒３０回の割合で、継続的にＲＡＭ３８に記憶される。この時、画像データは、３０ｆｐｓ（毎秒３０フレーム）のフレームレートで記憶されていることになる。尚、同一時刻に取得された画像データ及びサウンドデータと、運転データとは、関連付けられている。
【００９５】
このように画像データ、サウンドデータ及び運転データが継続的に記憶される一方で、例えば、自車両のイグニッションスイッチをオフにする等の、ドライブレコーダ３０の動作を停止させるイベントが発生したか否かが監視される（ステップＳ１０２）。例えば、車両のイグニッションスイッチがオフにされると（ステップＳ１０２；ＹＥＳ）、この情報記録処理が終了され、ドライブレコーダ３０は動作を停止する。
【００９６】
他方、ドライブレコーダ３０の動作を停止させるイベントが発生していなければ（ステップＳ１０２；ＮＯ）、所定のイベントが発生したか否かが監視される（ステップＳ１０３）。
【００９７】
このステップＳ１０３では、以下の条件（Ａ）〜（Ｃ）を満足するイベント等の発生の有無が監視される。
【００９８】
（Ａ）加速度センサ３３が、所定以上の加速度を、所定時間以上継続して検出した。例えば、加速度センサ３３が、０．４０Ｇ以上の加速度を１００ミリ秒以上継続して検出した。
（Ｂ）車両が所定以上の速度で走行中に、車速センサが、所定の期間内に所定以上の減速を検出した。例えば、車両が速度６０ｋｍ／ｈ以上で走行中に、車速センサが検出した減速での１秒間の速度差が１４ｋｍ／ｈ以上となった。
（Ｃ）記録スイッチ４４がユーザにより押下された。
【００９９】
尚、各条件における所定の値及び閾値は、それぞれユーザにより設定及び変更可能であってもよい。
【０１００】
条件（Ａ）は、比較的強い加速度が発生しており、車両の衝突事故発生の蓋然性が高い状況に関する条件である。当該条件（Ａ）を満足するイベントは「Ｇ検知」と呼ばれる。
条件（Ｂ）は、車両において比較的急激な減速が生じており、事故が急迫した蓋然性が高い状況に関する条件である。この条件（Ｂ）を満足するイベントは「急減速」と呼ばれる。
条件（Ｃ）は、ユーザ（代表的には車両のドライバ）が動画データの記録を所望する状況に関する条件である。この条件（Ｃ）を満足するイベントは「スイッチ操作」と呼ばれる。
【０１０１】
或るイベントが発生した場合（ステップＳ１０３；ＹＥＳ）、例えば、Ｇ検知、急減速等が発生した場合には、イベント発生前の１２秒間と発生後の８秒間との合計２０秒分の画像データ、サウンドデータ及び運転データが、ＲＡＭ３８のリングバッファ領域から読み出される。また、例えば、スイッチ操作が発生した場合には、イベント発生後、任意の時間分の画像データ、サウンドデータ及び運転データが、ＲＡＭ３８のリングバッファ領域から読み出される。この時、必要であれば、リングバッファ領域以外の領域から画像データや運転データが読み出されてもよい。尚、該任意の時間は、不揮発性メモリ３９に格納される設定値として予め設定された時間であってもよいし、情報処理装置において時間
を指定し、記録媒体５０を介して設定されてもよい。
【０１０２】
そして、読み出された画像データ及びサウンドデータから動画データが生成される。この動画データは、イベントの発生時における車両の周辺の様子を示すものとなる。生成された動画データ、及び、ＲＡＭ３８のリングバッファ領域から読み出された運転データは記録媒体５０に記録される（ステップＳ１０４）。また、発生したイベントの種類（Ｇ検知、急減速等）を示す情報、イベントの発生日時を示す情報、及び、イベントの発生時における車両の位置データ（イベント発生時にＧＰＳ受信機３４により検出された位置データ）を含む運転内容情報も、記録媒体５０に記録される（ステップＳ１０４）。
【０１０３】
尚、ステップＳ１０２に係るドライブレコーダ３０の動作を停止させるイベントの監視処理は実行されなくてもよい。この時、例えば、ユーザがイグニッションスイッチをオフにした時点でドライブレコーダ３０の動作を停止させる処理が強制的に発生し、実行されることにより、ドライブレコーダ３０の動作は停止する。
【０１０４】
次に、ナビゲーション装置１０からの連携指示コマンド等及び俯瞰画像生成装置２０からの撮影画像データ等に対する制御部３６の動作を説明する。制御部３６は、上記情報記録処理と並行的に、以下の処理も行う。
【０１０５】
制御部３６は、ナビゲーション装置１０からの連携指示コマンドを受信すると、車両情報及び対応関係情報が俯瞰画像生成装置２０から送信されてくるのを待機する。そして、制御部３６は、車両情報及び対応関係情報を受信した際には、受信した情報を記録媒体５０に記録する。
【０１０６】
その後、制御部３６は、『俯瞰画像生成装置２０から４種の撮影画像データと撮影時刻情報が送信されてくる度に、それらを相互に関連づけた形で記録媒体５０に記録するデータ記録処理』を開始する。尚、制御部３６が実行するデータ記録処理は、記録媒体５０内に記憶される俯瞰画像生成装置２０からのデータの総サイズが、予め定められているサイズ以下となるように、過去に記録したデータを消去しながらデータを記録媒体５０に記録する処理である。
【０１０７】
そして、制御部３６は、ナビゲーション装置１０からの連携停止指示コマンドを受信した時（又はユーザがイグニッションスイッチをオフにした時）に、データ記録処理を終了する。
【０１０８】
〔運転状況監視システムの総合的な動作〕
上記説明から既に明らかであるとは考えるが、ここで、本実施形態に係る運転状況監視システムの総合的（全体的）な動作を説明しておくことにする。
【０１０９】
ユーザが、自車両のイグニッションスイッチをオンにすると、俯瞰画像生成装置２０の画像処理部２１に、不揮発性メモリ２５上の車両情報及び対応関係情報と、デフォルトの指定位置とが設定される。なお、第１指定値、第２指定値の初期値が、それぞれ、第１指定値〔非利用〕、第２指定値〔非利用〕であるため、車両情報等が設定されても、画像処理部２１は、情報（表示画像信号等）を出力しない状態をとり続ける。
【０１１０】
その後、ユーザが、操作部１２等の操作により連携指示を出すと、ナビゲーション装置１０（制御部１４）が、俯瞰画像生成装置２０及びドライブレコーダ３０に対して連携指示コマンドを送信する。
【０１１１】
連携指示コマンドを受信した俯瞰画像生成装置２０（制御部２３）は、不揮発性メモリ
３９上の車両情報及び対応関係情報をドライブレコーダ３０（制御部３６）に送信し、第２指定値〔利用〕を画像処理部２１内の指定値用レジスタに設定する。
【０１１２】
連携指示コマンドを受信したドライブレコーダ３０内の制御部３６は、車両情報及び対応関係情報が俯瞰画像生成装置２０から送信されてくるのを監視（待機）しており、車両情報及び対応関係情報を受信した際には、受信した各情報をリーダライタ３１にセットされている記録媒体５０に記録する。
【０１１３】
従って、ユーザが連携指示を出すと、記録媒体５０に、４種の撮影画像データから俯瞰画像データを生成するのに必要とされる情報（車両情報及び対応関係情報）が記録さることになる。
【０１１４】
また、指定値用レジスタに第２指定値〔利用〕が設定された画像処理部２１は、４種の撮影画像データを周期的に出力する状態となり、第２指定値〔利用〕の設定を終えた制御部２３は、『画像処理部２１から４種の撮影画像データが入力される度に、それらの撮影画像データを現在日時を示す撮影日時情報と共にドライブレコーダ３０に送信する撮影結果送信処理』を開始する。そして、車両情報等の記録媒体５０への記録を終えた制御部３６は、『俯瞰画像生成装置２０から４種の撮影画像データと撮影時刻情報が送信されてくる度に、それらを相互に関連づけた形で記録媒体５０に記録するデータ記録処理』を開始する。従って、記録媒体５０に、４種の撮影画像データと撮影時刻情報とからなる情報が追加されていくことになる。
【０１１５】
ユーザが、さらに俯瞰画像の表示指示を出した場合には、ナビゲーション装置１０から俯瞰画像生成装置２０へ信号出力要求コマンドが送信され、信号出力要求コマンドを受信した俯瞰画像生成装置２０内の制御部２３により、画像処理部２１の指定値用レジスタに第１指定値〔利用〕（表示画像信号出力機能を利用することを示す第１指定値）が設定される。
【０１１６】
指定値用レジスタに第１指定値〔利用〕が設定されると、それまで動作していなかった画像処理部２１内の視点変換部２１５及び画像生成部２１６が動作を開始する。また、それまで撮影結果出力処理（フレームメモリ２１３に記憶された４種の撮影画像データをそのまま制御部２３に対して出力する処理）しか行っていなかった画像読出部２１４が、『フレームメモリ２１３に記憶された４種の撮影画像データを読み出し、読み出した４種の撮影画像データの全ての内容を含む結合画像データを生成して視点変換部２１５に供給する画像読出処理』も周期的に行うようになる。
【０１１７】
そして、第１指定値〔利用〕の設定を終えた制御部２３は、『画像処理部２１からの表示画像信号をナビゲーション装置１０に送信する表示画像信号送信処理』を開始しており、信号出力要求コマンドを送信した制御部１４は、俯瞰画像生成装置２０からの表示画像信号をディスプレイ１１に供給する処理を開始している。
【０１１８】
従って、ユーザが、さらに俯瞰画像の表示指示を出した場合、俯瞰画像生成装置２０からの表示画像信号に応じた俯瞰画像がディスプレイ１１に表示されながら、ドライブレコーダ３０にセットされている記録媒体５０に、撮影画像データ等が追加されていくことになる。
【０１１９】
その後、ユーザが俯瞰画像表示の停止指示を出した場合、運転状況監視システムは、俯瞰画像の表示指示が出される前と同じ状態になる。また、ユーザが、俯瞰画像表示の停止指示ではなく、連携停止指示を出した場合、運転状況監視システムは、俯瞰画像生成装置２０からの表示画像信号に応じた画像がディスプレイ１１に表示され、記録媒体５０への
撮影画像データ等の記録が行われない状態となる。
【０１２０】
そして、運転状況監視システムは、例えば、自車両のイグニッションスイッチがオフされたときに、動作を停止する。
【０１２１】
〔運転内容評価装置６０〕
図６に、運転内容評価装置６０の構成を示す。
【０１２２】
この運転内容評価装置６０は、第１実施形態に係る運転状況監視システムが搭載された複数台の車両のドライバによる運転内容を、各運転状況監視システム（ドライブレコーダ３０）により記録媒体５０に記録された情報から評価するための情報処理装置として開発した装置である。図６に示されるように、運転内容評価装置６０は、バス６３で相互に接続された、記憶部６１、制御部６２、入出力部６４、カードスロット６５等を有している。
【０１２３】
記憶部６１は、制御部６２が実行するプログラム（図示略）や、運転者別（車両番号別）に、各運転者についての運転内容情報、動画データ、撮影画像データ等を管理しておくための運転履歴データベース１１０（以下、運転履歴ＤＢ１１０とも表記する）を記憶する。
【０１２４】
この記憶部６１は、例えば、ハードディスクやフラッシュメモリ等によって実現される。尚、記憶部６１は、ＵＳＢ（Universal Serial Bus）メモリやＳＤカード等の着脱可能な記録媒体により実現されてもよい。また、記憶部６１に記憶される各種情報は、ＣＤ（Compact Disc）又はＤＶＤ（Digital Versatile Disc）等の外部記録媒体から取得されてもよい。
【０１２５】
入出力部６４は、運転内容評価装置６０の外部に存在する装置との間で各種データを授受するための１又は複数のインタフェースである。入出力部６４は、例えば、ＬＡＮ（Local Area Network）ケーブルを接続するためのインタフェース、ユーザインタフェースと接続するためのインタフェース、又はＵＳＢ等のインタフェースである。
【０１２６】
入出力部６４は、タッチパネル、テンキー、キーボード、マウス等の操作装置６５と接続する。また、入出力部６４は、ディスプレイ６６と接続する。操作装置６５がタッチパネルである場合、操作装置６５とディスプレイ６６とは、一体の装置として構成されてもよい。
【０１２７】
カードスロット６５は、記録媒体５０を着脱可能に構成され、装着された記録媒体５０からのデータの読み取りや、記録媒体５０へのデータの書き込みを行う。運転内容評価装置６０（制御部６２）は、このカードスロット６５を介して、記録媒体５０に記録されている各種情報を取得する。
【０１２８】
制御部６２は、マイクロプロセッサ又はＣＰＵ等の１又は複数のプロセッサと、このプロセッサの処理に利用される周辺回路（ＲＯＭ、ＲＡＭ、インタフェース回路等）とを有する。制御部６２は、記憶部６１に格納されているプログラムを実行することにより、各種データについての演算と各構成の制御とを実行する。
【０１２９】
この制御部６２は、データベース更新処理、評価処理、撮影画像表示処理、俯瞰画像生成処理等を行う。
【０１３０】
＜データベース更新処理＞
データベース更新処理は、カードスロット６５に装着された記録媒体５０上の各種情報（撮影画像データ、車両情報、対応関係情報、運転内容情報、動画データ等）を、当該記録媒体５０に記憶されている車両番号に対応づけた形で運転履歴ＤＢ１１０に登録する処理である。制御部６２は、このデータベース更新処理を、記録媒体５０上の情報の取り込み指示を受け付けたときに実行する。尚、制御部６２が実行するデータベース更新処理は、同じ車両番号に対応づけられた車両情報及び対応関係情報が、運転履歴ＤＢ１１０内に既に登録されていた場合、車両情報及び対応関係情報を運転履歴ＤＢ１１０に登録（追加）しない処理となっている。
【０１３１】
＜評価処理＞
評価処理は、運転内容の評価を実行するための指示を受け付けたときに制御部６２が実行する処理である。この評価処理を開始した制御部６２は、評価対象とする運転者（車両）、評価対象とする期間等からなる検索条件をユーザ（運転内容評価装置６０の操作者）に指定させるための画面をディスプレイ６６に表示し、検索条件の指定を受けつける。この画面には、検索条件の指定完了後に押下すべきアイテム（以下、検索ボタンと表記する）も設けられている。検索ボタンが押下されたことを検出すると、制御部６２は、ユーザが指定した検索条件を満たす運行内容情報を運転履歴ＤＢ１１０から検索する。そして、制御部６２は、各運転者について検索された運行内容情報の数及び内容から、各運転者の運転内容を評価し、評価結果を、表示中の画面内に表示する。
【０１３２】
制御部６２は、検索条件が再設定されて検索ボタンが押下されると、再設定された検索条件を満たす運行内容情報を運転履歴ＤＢ１１０から検索する。そして、制御部６２は、各運転者について検索した運行内容情報の数及び内容から、各運転者の運転内容を評価し、評価結果を表示中の画面内に表示する。
【０１３３】
制御部６２は、評価処理の終了が指示された際に、上記のような内容の評価処理を終了する。
【０１３４】
＜撮影画像表示処理＞
撮影画像表示処理は、運転履歴ＤＢ１１０内の各種画像データ（撮影画像データ、動画データ）に基づく画像（静止画、動画）表示をディスプレイ６６に行わせる処理である。この撮影画像表示処理の実行指示を受け付けた制御部６２は、まず、表示する画像（正確には、表示する画像の元データ）をユーザに選択させるための表示画像選択受付処理を行う。
【０１３５】
表示画像選択受付処理は、表示する画像の元データ（撮影画像データ、動画データ）の検索条件（車両番号、撮影日時範囲等）をユーザに入力させ、ユーザが入力した検索条件を満たす元データを運転履歴ＤＢ１１０から検索し、検索した元データの属性情報（車両番号、撮影日時等）のリストを表示して、そのリストの中からユーザに表示する画像の元データを選択させるといった手順の処理である。
【０１３６】
この表示画像選択受付処理は、表示する画像の元データ（以下、処理対象データと表記する）として、ユーザが、動画データ（カメラ４２、マイク４３による撮影、録音結果）、１組の撮影画像データ（同一車両内の４台のカメラ４１による同一日時の撮影結果を表す４種の撮影画像データ）、又は、或る期間（ユーザが指定する期間）内に撮影された複数組の撮影画像データを選択できるものとなっている。
【０１３７】
表示画像選択受付処理を終えた制御部６２は、ユーザが処理対象データとして動画データを選択した場合には、選択された動画データを運転履歴ＤＢ１１０から読み出し、読み出した動画データに基づく表示をディスプレイ６６に行わせる。そして、制御部６２は、
他の画像の表示が指示された際には、表示画像選択受付処理を再び実行し、画像表示の終了が指示された際に、撮影画像表示処理を終了する。
【０１３８】
また、制御部６２は、ユーザが処理対象データとして１組の撮影画像データを選択した場合には、俯瞰画像生成処理を実行する。
【０１３９】
図７に、俯瞰画像生成処理の流れ図を示す。尚、この俯瞰画像生成処理の各ステップの処理は、運転履歴ＤＢ１１０から読み出した情報、制御部６２が生成したデータが、制御部６２内のＲＡＭ上に記憶される処理である。また、この図及びこの図に関する説明において、注目視点位置とは、俯瞰画像生成処理の開始前に定められている視点位置のことであり、注目車両とは、俯瞰画像の表示対象となっている車両のことである。
【０１４０】
図示してあるように、俯瞰画像生成処理を開始した制御部６２は、まず、運転履歴ＤＢ１１０から、車両番号を介して、処理対象データ（表示する画像の元データである１組の撮影画像データ）に対応付けられている車両情報及び対応関係情報を読み出す（ステップＳ２００）。
【０１４１】
次いで、制御部６２は、処理対象データを運転履歴ＤＢ１１０から読み出し（ステップＳ２０１）、対応関係情報を参照することにより、処理対象データを所定形状の立体曲面（図４における立体曲面５２）に投影した合成画像データを生成する（ステップＳ２０２）。さらに、制御部６２は、生成した合成画像データから、立体曲面上の画像の中央部分を注目視点位置（俯瞰画像表示処理開始前に定められている視点位置；例えば、真上）より見た画像を表す俯瞰画像データを生成する（ステップＳ２０３）。尚、このステップＳ２０３の処理は、合成画像データをＲＡＭ上に残す形で行われる。
【０１４２】
また、制御部６２は、運転履歴ＤＢ１１０から読み出した車両情報に基づき、注目車両の三次元形状及び各部の色を示すポリゴンモデルを仮想的に構成する（ステップＳ２０４）。次いで、制御部６２は、構成したポリゴンモデルをレンダリングすることにより、注目車両を注目視点位置から見た俯瞰画像データを生成する（ステップＳ２０５）。このステップＳ２０５の処理も、ポリゴンモデルをＲＡＭ上に残す形で行われる。
【０１４３】
その後、制御部６２は、ステップＳ２０３、Ｓ２０５の処理で生成した２つの俯瞰画像データを重畳することにより、表示用俯瞰画像データを生成（ステップＳ２０６）してから、この俯瞰画像生成処理を終了する。
【０１４４】
俯瞰画像生成処理を終えた制御部６２は、当該俯瞰画像生成処理により生成した表示用俯瞰画像データに基づく表示をディスプレイ６６に行わせる。より具体的には、制御部６２は、俯瞰画像生成処理により生成した表示用俯瞰画像データに基づく表示が行われる領域を有し、視点位置の変更指示を受け付けられる画面をディスプレイ６６上に表示する。
【０１４５】
そして、制御部６２は、視点位置の変更指示、他の画像の表示指示、画像表示の終了指示等を受け付ける状態となり、視点位置の変更指示を受け付けた場合には、図７のステップＳ２０３、Ｓ２０５、Ｓ２０６からなる処理と本質的には同内容の視点位置変更画像生成処理を実行する。すなわち、制御部６２は、まず、ＲＡＭ上に残っている合成画像データから、立体曲面上の画像の中央部分をユーザにより指定された注目視点位置より見た画像を表す俯瞰画像データを生成する。次いで、制御部６２は、ＲＡＭ上に残っているポリゴンモデルをレンダリングすることにより、注目車両を、注目視点位置から見た俯瞰画像データを生成する。そして、制御部６２は、新たに生成した２つの俯瞰画像データを重畳することにより表示用俯瞰画像データを生成してから、視点位置変更画像生成処理を終了する。
【０１４６】
視点位置変更画像生成を終えた制御部６２は、当該処理により生成した表示用俯瞰画像データに基づく表示をディスプレイ６６に行わせてから、視点位置の変更指示、他の画像の表示指示、画像表示の終了指示等を受け付ける状態に戻る。そして、制御部６２は、他の画像の表示が指示された際には、表示画像選択受付処理を再び実行し、画像表示の終了が指示された際に、撮影画像表示処理を終了する。
【０１４７】
表示画像選択受付処理を終えた制御部６２は、ユーザが、或る期間（以下、指定期間と表記する）内に撮影された複数組の撮影画像データを処理対象データとして選択した場合には、まず、図７のステップＳ２００と同じ処理を行う。すなわち、制御部６２は、運転履歴ＤＢ１１０から、車両番号を介して、処理対象データ（この場合、複数組の撮影画像データ）に対応付けられている車両情報及び対応関係情報を読み出す処理を行う。
【０１４８】
その後、制御部６２は、処理対象データ中の各１組の撮影画像データ毎に、図７のステップＳ２０１〜Ｓ２０６と本質的には同内容の処理により、表示用俯瞰画像データを生成する。
【０１４９】
より具体的には、制御部６２は、撮影日時が最も早い１組の撮影画像データについては、当該１組の撮影画像データを処理対象データとした、合成画像データを意図的にＲＡＭ上に残さない点のみが図７のステップＳ２０１〜Ｓ２０６の処理と異なる処理を行うことにより、表示用俯瞰画像データを生成する。また、制御部６２は、撮影日時が２番目以降の各組の撮影画像データについては、各組の撮影画像データを処理対象データとした、合成画像データを意図的にＲＡＭ上に残さない点と、ポリゴンモデルを生成しない点（ステップＳ２０３の処理が行われない点）が図７のステップＳ２０１〜Ｓ２０６の処理と異なる処理を行うことにより、表示用俯瞰画像データを生成する。
【０１５０】
その後、制御部６２は、生成した複数の表示用俯瞰画像データから動画データを生成し、生成した表示用俯瞰画像データに基づく画像表示をディスプレイ６６に行わせる。
【０１５１】
そして、制御部６２は、視点位置の変更指示、他の画像の表示指示、画像表示の終了指示等を受け付ける状態となり、視点位置の変更指示を受け付けた場合には、処理対象となっている各組の撮影画像データ毎に、注目視点位置をユーザにより指定された視点位置に変更した表示用俯瞰画像データを生成する。次いで、制御部６２は、生成した複数の表示用俯瞰画像データから動画データを生成し、生成した表示用俯瞰画像データに基づく画像表示をディスプレイ６６に行わせるから、視点位置の変更指示、他の画像の表示指示、画像表示の終了指示等を受け付ける状態に戻る。
【０１５２】
また、制御部６２は、他の画像の表示が指示された際には、表示画像選択受付処理を再び実行する。そして、制御部６２は、画像表示の終了が指示された際に、撮影画像表示処理を終了する。
【０１５３】
以上、詳細に説明したように、本実施形態に係る運転状況監視システム（ドライブレコーダ３０）は、何組かの撮影画像データと、各組の撮影画像データから俯瞰画像データを生成するのに必要とされる情報（車両情報及び対応関係情報）とを記録媒体５０に記録する機能を有している。従って、本実施形態に係る運転状況監視システム（ドライブレコーダ３０）を車両に搭載しておけば、記録媒体５０に記録された情報に基づき、当該車両に関する各種視点からの俯瞰画像をディスプレイに表示させることにより、事故や危険な運転をしてしまった原因を究明するといったことが可能となる。
【０１５４】
《第２実施形態》
本発明の第２実施形態に係る運転状況監視システムは、ドライブレコーダ３０の構成及び機能のみが第１実施形態に係る運転状況監視システムと異なるシステムである。そのため、以下では、第１実施形態と同様の構成等については同じ符号を用いて同様の説明を省略し、第２実施形態に係る運転状況監視システムのドライブレコーダ３０（以下、第２ドライブレコーダ３０とも表記する）の構成、機能を中心に、第２実施形態に係る運転状況監視システムの構成、機能を説明する。
【０１５５】
第２ドライブレコーダ３０（図２参照）は、第１実施形態に係る運転状況監視システムのドライブレコーダ３０（以下、第１ドライブレコーダ３０とも表記する）のＲＡＭ３８よりも大容量のＲＡＭ３８を備えている。
【０１５６】
また、第２ドライブレコーダ３０内の制御部３６は、第１ドライブレコーダ３０内の制御部３６と同様に、ナビゲーション装置１０からの連携指示コマンドを受信すると、車両情報及び対応関係情報が俯瞰画像生成装置２０から送信されてくるのを待機する。そして、制御部３６は、車両情報及び対応関係情報を受信した際には、受信した情報を記録媒体５０に記録する。
【０１５７】
ただし、第２ドライブレコーダ３０内の制御部３６は、車両情報等を記録媒体５０に記録した後、上記したデータ記録処理ではなく、『俯瞰画像生成装置２０から４種の撮影画像データと撮影日時情報が送信されてくる度に、それらを相互に関連づけた形で、予め定められているＲＡＭ３８上の撮影画像データ用記憶領域に記録するデータ記憶処理』を開始する。尚、このデータ記憶処理は、最新の複数組の撮影画像データ及び撮影日時情報が撮影画像データ用記憶領域に記憶されているように、過去に記憶したデータを消去しながらデータを撮影画像データ用記憶領域に記憶する処理である。
【０１５８】
そして、制御部３６は、連携停止指示コマンドを受信したときに、上記データ記憶処理を終了する。
【０１５９】
また、第２ドライブレコーダ３０では、上記したものとは異なる内容（手順）の情報記録処理が実行される。
【０１６０】
図８に、第２ドライブレコーダ３０内で実行される情報記録処理の流れ図を示す。
【０１６１】
この情報記録処理のステップＳ３０１〜Ｓ３０４の処理は、それぞれ、第１ドライブレコーダ３０が実行する情報記録処理（図５参照）のステップＳ１０１〜Ｓ１０４と同内容の処理である。
【０１６２】
すなわち、第２ドライブレコーダ３０における情報記録処理（図８）では、まず、画像データ（カメラ４２による撮影結果）、サウンドデータ（マイク４３による録音結果）及び運転データ（車速、加速度等からなるデータ）が、ＲＡＭ３８のリングバッファ領域に記憶される（ステップＳ３０１）。その後、ドライブレコーダ３０の動作を停止させるイベントが発生したか否かが判断され（ステップＳ３０２）、例えば、車両のイグニッションスイッチがオフにされると（ステップＳ３０２；ＹＥＳ）、この情報記録処理が終了されてドライブレコーダ３０は動作を停止する。
【０１６３】
他方、ドライブレコーダ３０の動作を停止させるイベントが発生していなければ（ステップＳ３０２；ＮＯ）、所定のイベントが発生したか否かが判断される（ステップＳ３０３）。そして、イベントが発生していなかった場合（ステップＳ３０３；ＮＯ）には、ステップＳ３０１以降の処理が再び実行される。
【０１６４】
また、或るイベントが発生していた場合（ステップＳ３０３；ＹＥＳ）には、イベント発生前後、又は、イベント発生後の所定時間分の画像データ、サウンドデータ及び運転データが、ＲＡＭ３８のリングバッファ領域から読み出される。そして、読み出された画像データ及びサウンドデータから動画データが生成され、生成された動画データ、及び、ＲＡＭ３８のリングバッファ領域から読み出された運転データが記録媒体５０に記録される（ステップＳ３０４）。また、発生したイベントの種類（Ｇ検知、急減速等）を示す情報、イベントの発生日時を示す情報、及び、イベントの発生時における車両の位置データを含む運転内容情報も記録媒体５０に記録される（ステップＳ３０４）。
【０１６５】
そして、第１ドライブレコーダ３０における情報記録処理（図５）は、記録媒体５０への情報の記録後、ステップＳ１０１からの処理が実行される処理であったが、第２ドライブレコーダ３０における情報記録処理では、記録媒体５０への情報の記録（ステップＳ３０４）後、連携動作中であるか否かが判断される（ステップＳ３０５）。このステップでは、上記内容のデータ記憶処理を実行中であるか否かにより、連携動作中であるか否かが判断される。
【０１６６】
そして、連携動作中でなかった場合（ステップＳ３０５；ＮＯ）には、ステップＳ３０１以降の処理が再び実行される。
【０１６７】
一方、連携動作中であった場合（ステップＳ３０５；ＹＥＳ）には、ＲＡＭ３８の撮影画像データ用記憶領域内の、イベント発生前後又はイベント発生後の上記所定時間分の撮影画像データ群及び撮影日時情報群が記録媒体５０に記録される（ステップＳ３０６）。そして、そのような情報の記録媒体５０への記録後、ステップＳ３０１以降の処理が再び実行される。
【０１６８】
以上の説明から明らかなように、本実施形態に係る運転状況監視システム（ドライブレコーダ３０）は、イベント発生時刻近傍の時間帯に取得された撮影画像データだけを記録媒体５０に記録する構成を有している。そして、事故や危険な運転をしてしまった原因の究明に役に立つデータは、通常、イベント発生時刻近傍の時間帯に取得された撮影画像データである。従って、この第２実施形態に係る運転状況監視システム（ドライブレコーダ３０）を車両に搭載しておけば、記録媒体５０に記録された情報に基づき、当該車両に関する各種視点からの俯瞰画像をディスプレイに表示させることにより事故や危険な運転をしてしまった原因を究明することが可能となると共に、記録媒体５０の記憶容量をより有効に利用できることになる。
【０１６９】
《第３実施形態》
以下、本発明の第３実施形態に係る運転状況監視システムの構成、機能を、第２実施形態に係る運転状況監視システムと異なる部分を中心に説明する。
【０１７０】
図９に、第３実施形態に係る運転状況監視システムが備えるドライブレコーダ３０（以下、第３ドライブレコーダ３０とも表記する）の構成を示す。
【０１７１】
本実施形態に係る運転状況監視システムは、第２実施形態に係る運転状況監視システム内のドライブレコーダ３０（図２参照）を、図９に示されている構成を有する第３ドライブレコーダ３０に置き換えた上で、カメラ４２を除去したシステムである。
【０１７２】
この第３ドライブレコーダ３０が備える画像処理回路３７′は、フロントカメラ４１Ｆが生成した画像データを、通常のカメラにより自車両の前方を撮影した画像を表す画像データに変換した上で、ＲＡＭ３８に予め確保されている前方画像データ記憶領域（図示略）に、当該前方画像データ記憶領域をリングバッファとして利用した形で記憶する回路で
ある。
【０１７３】
そして、第３ドライブレコーダ３０内の制御部３６は、俯瞰画像生成装置２０からの各撮影画像データをＲＡＭ３８の撮影画像データ用記憶領域内に記憶する際に、フロントカメラ４１Ｆの撮影結果を示す撮影画像データを複製して画像処理回路３７′に供給する処理も行うように構成（プログラミング）されている。
【０１７４】
以上の説明から明らかなように、この第３実施形態に係る運転状況監視システム（ドライブレコーダ３０）は、各組の撮影画像データから俯瞰画像データを生成するのに必要とされる情報とを記録媒体５０に記録する構成であって、カメラ４２を設けなくても、自車両の前方の様子を記録媒体５０に記録できる構成を有している。
【０１７５】
従って、第３実施形態に係る運転状況監視システム（ドライブレコーダ３０）は、第２実施形態に係る運転状況監視システム（ドライブレコーダ３０）と同様の作用効果を奏する、第２実施形態に係る運転状況監視システム（ドライブレコーダ３０）よりも低コストで実現可能なシステムとなっていると言うことが出来る。
【０１７６】
《変形形態》
上記した各実施形態に係る運転状況監視システムは、各種の変形を行えるものである。例えば、各実施形態に係る運転状況監視システムの俯瞰画像生成装置２０を、各組の撮影画像データを、動作中は、常時、ドライブレコーダ３０に送信する装置に変形することが出来る。また、俯瞰画像生成装置２０を、撮影画像データではない俯瞰画像関連データ（合成画像データ、俯瞰画像データ、表示画像信号、表示画像信号をデジタル化したデータ等）をドライブレコーダ３０に送信する装置や、複数種類の俯瞰画像関連データ（例えば、合成画像データ及び俯瞰画像データ）をドライブレコーダ３０に送信する装置に変形することが出来る。ただし、任意視点からの俯瞰画像を表示（再生）できるようにしておくために、各組の撮影画像データ（或いは結合画像データ）か合成画像データが、記録媒体５０に記録されるようにしておくことが望ましい。
【０１７７】
また、第２、第３実施形態に係る運転状況監視システム内のドライブレコーダ３０を、発生を検出したイベントがＧ検知イベントであった場合、１組の撮影画像データ中の加速度センサ３３によって検出された加速度の向きとは反対方向のカメラ４１による１つ又は２つの撮影画像データが記録媒体５０に記録されるシステムに変形することも出来る。また、各実施形態に係る運転状況監視システムは、俯瞰画像生成装置２０が自発的にドライブレコーダ３０に撮影画像データ等を送信するシステムであったが、各実施形態に係る運転状況監視システムを、ドライブレコーダ３０から要求されたときに俯瞰画像生成装置２０が撮影画像データ等を返送するシステムに変形することも出来る。
【０１７８】
さらに、第１実施形態に係る運転状況監視システムを、所定の条件（例えば、車速が規定速度以下等）を満たす場合にのみ、撮影画像データ等が記録媒体５０に記録されるシステムに変形することも出来る。尚、そのような運転状況監視システムは、俯瞰画像生成装置２０を所定の条件を満たす場合にのみ撮影画像データ等をドライブレコーダ３０の送信する装置に変形することによっても、ドライブレコーダ３０を所定の条件を満たす場合にのみ、俯瞰画像生成装置２０からの撮影画像データ等を記録媒体５０に記録する装置に変形することによっても、実現することが出来る。
【０１７９】
また、上記した運転内容評価装置６０についても、様々な変形を行うことが出来る。例えば、運転内容評価装置６０を、記録媒体５０上の情報をデータベースに記憶することなく、記録媒体５０上の情報に基づき、俯瞰画像表示や運転内容の評価を行う装置に変形することが出来る。
【０１８０】
次に、ドライブレコーダの記録画像を俯瞰画像で再生する方法の３パターンについて、その基本的方法、および効果について説明する。
【０１８１】
［パターンＡ］
パターンＡは、図１０の［Ａ］に示すように、ドライブレコーダのメモリカードに俯瞰画像生成装置が生成した俯瞰画像データ（車載表示装置に表示した俯瞰画像の画像データ）を記録するもので、俯瞰画像データと共に、走行データ（速度，加速度等）や運転データ（アクセル，ギア，ハンドル等の運転操作等）が、時刻データに関連付けられて記録される。
【０１８２】
ドラレコ再生装置は、装着（接続）されたメモリカードに記録された俯瞰画像データを読み込み俯瞰画像を表示する。また、俯瞰画像データと共に記録された走行データや運転データを読み込み、俯瞰画像と共に走行状態や運転状態を時刻に関連づけて、例えば横軸を時間軸とし、各時間における速度や加速度をグラフ表示したり、過大な加速度発生等のイベントの発生時刻にマークを表示する等の表示を行う。また、走行データや運転データ、また時刻、あるいはイベントのデータに基づき、各種事象の発生時刻を検索し、検索された時刻付近の俯瞰画像、走行データや運転データを表示する。尚、俯瞰画像（動画）を表示する際には、俯瞰画像の該当時刻を時間軸上（グラフ上）を当該時刻に同期して移動するマーク等で表示するのが好ましい。
【０１８３】
このパターンＡの方法では、実運転時に表示されていた画像そのものが表示される、つまり実運転時における表示画像そのものを再現できると言う特徴がある。
【０１８４】
［パターンＢ］
パターンＢは、図１０の［Ｂ］に示すように、ドライブレコーダのメモリカードに各カメラ画像（あるいはこれらを１画像に合成した画像）を記録するもので、カメラ画像データと共に、走行データ（速度，加速度等）や運転データ（アクセル，ギア，ハンドル等の運転操作等）が、時刻データに関連付けられて記録される。また、俯瞰画像生成に必要なパラメータ（各カメラの取付位置や撮影方向等のデータ）も合わせてメモリカードに記録される。尚、これらパラメータは、俯瞰画像生成装置における俯瞰画像生成処理で用いられるパラメータと同一で、ドラレコ再生装置には、俯瞰画像生成装置と同じアルゴリズムの俯瞰画像生成プログラムが記憶され、俯瞰画像生成時にはこれらパラメータを使用することにより、俯瞰画像生成装置と同じ俯瞰画像が生成されることになる。
【０１８５】
ドラレコ再生装置は、装着（接続）されたメモリカードに記録された各カメラの画像データと俯瞰画像生成パラメータに基づき俯瞰画像を生成して表示する。また、カメラ画像データと共に記録された走行データや運転データを読み込み、生成した俯瞰画像と共に走行状態や運転状態を時刻に関連づけて、例えば横軸を時間軸とし、各時間における速度や加速度をグラフ表示したり、過大な加速度発生等のイベントの発生時刻にマークを表示する等の表示を行う。また、走行データや運転データ、また時刻、あるいはイベントのデータに基づき、各種事象の発生時刻を検索し、検索された時刻付近の俯瞰画像、走行データや運転データを表示する。尚、俯瞰画像（動画）を表示する際には、俯瞰画像の該当時刻を時間軸上（グラフ上）を当該時刻に同期して移動するマーク等で表示するのが好ましい。
【０１８６】
このパターンＢの方法では、実運転時に表示されていた画像以外の俯瞰画像（視点を変えた俯瞰画像、俯瞰画像が表示されていなかった実運転時の時刻に対する俯瞰画像）や特定のカメラ画像等、いろいろなパターンで画像を表示できると言う特徴がある。
【０１８７】
［パターンＣ］
パターンＣは、図１０の［Ｃ］に示すように、ドライブレコーダのメモリカードに俯瞰画像作成用の投影画像データ（視点を決めて俯瞰画像を生成する元になる画像）を記録するもので、投影画像データと共に、走行データ（速度，加速度等）や運転データ（アクセル，ギア，ハンドル等の運転操作等）が、時刻データに関連付けられて記録される。また、俯瞰画像生成に必要なパラメータ（視点変換用のデータ）も合わせてメモリカードに記録される。尚、これらパラメータは、俯瞰画像生成装置で用いられるパラメータと同一で、ドラレコ再生装置には、俯瞰画像生成装置と同じアルゴリズムの俯瞰画像生成プログラム（投影画像データ生成後のプログラム）が記憶され、俯瞰画像生成時にはこれらパラメータが使用することにより、俯瞰画像生成装置と同じ俯瞰画像が生成されることになる。
【０１８８】
ドラレコ再生装置は、装着（接続）されたメモリカードに記録された投影画像データと俯瞰画像生成パラメータに基づき俯瞰画像を生成して表示する。また、投影画像データと共に記録された走行データや運転データを読み込み、生成した俯瞰画像と共に走行状態や運転状態を時刻に関連づけて、例えば横軸を時間軸とし、各時間における速度や加速度をグラフ表示したり、過大な加速度発生等のイベントの発生時刻にマークを表示する等の表示を行う。また、走行データや運転データ、また時刻、あるいはイベントのデータに基づき、各種事象の発生時刻を検索し、検索された時刻付近の俯瞰画像、走行データや運転データを表示する。尚、俯瞰画像（動画）を表示する際には、俯瞰画像の該当時刻を時間軸上（グラフ上）を当該時刻に同期して移動するマーク等で表示するのが好ましい。
【０１８９】
尚、このパターンＣの方法では、実運転時に表示されていた画像以外の俯瞰画像（視点を変えた俯瞰画像、俯瞰画像が表示されていなかった実運転時の時刻に対する俯瞰画像）等、パターンＢよりはやや自由度が低いものの、いろいろなパターンで画像を表示できると言う特徴がある。
【符号の説明】
【０１９０】
１０ ナビゲーション装置
１１、６６ ディスプレイ
１２、４５ 操作部
１４、２３、３６、６２ 制御部
１６、２５、３９ 不揮発性メモリ
２０ 俯瞰画像生成装置
２１ 画像処理部
３０ ドライブレコーダ
５０ 記録媒体
６０ 運転内容評価装置
６４ 入出力部
６５ カードスロット
【特許請求の範囲】
【請求項１】
車両に取り付けられている複数のカメラからの複数の画像データに基づき、当該車両周辺についての俯瞰画像を表す俯瞰画像データを生成する俯瞰画像生成手段と、
前記車両に対するイベントの発生を検出し、当該検出されたイベントの発生時間を示す情報を記録媒体に記録する運転状況記録手段と、
前記俯瞰画像生成手段から、前記俯瞰画像データ、前記複数のカメラからの前記複数の画像データ及び前記俯瞰画像データの生成過程で生成される画像データの中の少なくとも１種の画像データを取得する画像データ取得手段と、
前記画像データ取得手段により取得された前記少なくとも１種の画像データを、前記複数のカメラによる画像データの生成時刻と対応づけてメモリカードに記録する画像データ記録手段と、
を備えることを特徴とする運転情報記録装置。
【請求項２】
前記画像データ取得手段は、
前記俯瞰画像データの生成過程で生成される複数の画像データを合成した画像データを前記俯瞰画像生成手段から取得する
ことを特徴とする請求項１に記載の運転情報記録装置。
【請求項３】
車両周囲を撮影するカメラにより撮影される複数の画像を合成処理して車両周囲の俯瞰画像を表示する俯瞰画像表示部と、車両周囲画像の画像データを記録するドライブレコーダ部と、ドライブレコーダ部により記録された画像データに基づき車両周囲の画像を表示するドラレコ画像再生部とを備えた車両周囲画像再現システムにおいて、
前記ドライブレコーダ部は、前記俯瞰画像表示部の合成した俯瞰画像の俯瞰画像データを記録媒体に記録し、
前記ドラレコ画像再生部は、前記記録媒体に記録された俯瞰画像データに基づき俯瞰画像を表示することを特徴とする車両周囲画像再現システム。
【請求項４】
車両周囲を撮影するカメラにより撮影される複数の画像を合成処理して車両周囲の俯瞰画像を表示する俯瞰画像表示部と、車両周囲画像の画像データを記録するドライブレコーダ部と、ドライブレコーダ部により記録された画像データに基づき車両周囲の画像を表示するドラレコ画像再生部とを備えた車両周囲画像再現システムにおいて、
前記ドライブレコーダ部は、前記カメラにより撮影されたカメラ画像のカメラ画像データと、前記俯瞰画像表示部による俯瞰画像生成に用いられる俯瞰画像パラメータとを記録媒体に記録し、
前記ドラレコ画像再生部は、前記記録媒体に記録されたカメラ画像データと俯瞰画像パラメータに基づき俯瞰画像生成し、当該生成した俯瞰画像を表示することを特徴とする車両周囲画像再現システム。
【請求項５】
車両周囲を撮影するカメラにより撮影される複数の画像を合成処理して車両周囲の俯瞰画像を表示する俯瞰画像表示部と、車両周囲画像の画像データを記録するドライブレコーダ部と、ドライブレコーダ部により記録された画像データに基づき車両周囲の画像を表示するドラレコ画像再生部とを備えた車両周囲画像再現システムにおいて、
前記ドライブレコーダ部は、前記俯瞰画像表示部における俯瞰画像生成処理過程で生成される投影画像の投影画像データと、前記俯瞰画像表示部による前記投影画像から俯瞰画像生成に用いられる投影後パラメータとを記録媒体に記録し、
前記ドラレコ画像再生部は、前記記録媒体に記録された投影画像データと投影後パラメータに基づき俯瞰画像生成し、当該生成した俯瞰画像を表示することを特徴とする車両周囲画像再現システム。
【請求項１】
車両に取り付けられている複数のカメラからの複数の画像データに基づき、当該車両周辺についての俯瞰画像を表す俯瞰画像データを生成する俯瞰画像生成手段と、
前記車両に対するイベントの発生を検出し、当該検出されたイベントの発生時間を示す情報を記録媒体に記録する運転状況記録手段と、
前記俯瞰画像生成手段から、前記俯瞰画像データ、前記複数のカメラからの前記複数の画像データ及び前記俯瞰画像データの生成過程で生成される画像データの中の少なくとも１種の画像データを取得する画像データ取得手段と、
前記画像データ取得手段により取得された前記少なくとも１種の画像データを、前記複数のカメラによる画像データの生成時刻と対応づけてメモリカードに記録する画像データ記録手段と、
を備えることを特徴とする運転情報記録装置。
【請求項２】
前記画像データ取得手段は、
前記俯瞰画像データの生成過程で生成される複数の画像データを合成した画像データを前記俯瞰画像生成手段から取得する
ことを特徴とする請求項１に記載の運転情報記録装置。
【請求項３】
車両周囲を撮影するカメラにより撮影される複数の画像を合成処理して車両周囲の俯瞰画像を表示する俯瞰画像表示部と、車両周囲画像の画像データを記録するドライブレコーダ部と、ドライブレコーダ部により記録された画像データに基づき車両周囲の画像を表示するドラレコ画像再生部とを備えた車両周囲画像再現システムにおいて、
前記ドライブレコーダ部は、前記俯瞰画像表示部の合成した俯瞰画像の俯瞰画像データを記録媒体に記録し、
前記ドラレコ画像再生部は、前記記録媒体に記録された俯瞰画像データに基づき俯瞰画像を表示することを特徴とする車両周囲画像再現システム。
【請求項４】
車両周囲を撮影するカメラにより撮影される複数の画像を合成処理して車両周囲の俯瞰画像を表示する俯瞰画像表示部と、車両周囲画像の画像データを記録するドライブレコーダ部と、ドライブレコーダ部により記録された画像データに基づき車両周囲の画像を表示するドラレコ画像再生部とを備えた車両周囲画像再現システムにおいて、
前記ドライブレコーダ部は、前記カメラにより撮影されたカメラ画像のカメラ画像データと、前記俯瞰画像表示部による俯瞰画像生成に用いられる俯瞰画像パラメータとを記録媒体に記録し、
前記ドラレコ画像再生部は、前記記録媒体に記録されたカメラ画像データと俯瞰画像パラメータに基づき俯瞰画像生成し、当該生成した俯瞰画像を表示することを特徴とする車両周囲画像再現システム。
【請求項５】
車両周囲を撮影するカメラにより撮影される複数の画像を合成処理して車両周囲の俯瞰画像を表示する俯瞰画像表示部と、車両周囲画像の画像データを記録するドライブレコーダ部と、ドライブレコーダ部により記録された画像データに基づき車両周囲の画像を表示するドラレコ画像再生部とを備えた車両周囲画像再現システムにおいて、
前記ドライブレコーダ部は、前記俯瞰画像表示部における俯瞰画像生成処理過程で生成される投影画像の投影画像データと、前記俯瞰画像表示部による前記投影画像から俯瞰画像生成に用いられる投影後パラメータとを記録媒体に記録し、
前記ドラレコ画像再生部は、前記記録媒体に記録された投影画像データと投影後パラメータに基づき俯瞰画像生成し、当該生成した俯瞰画像を表示することを特徴とする車両周囲画像再現システム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図４】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図４】
【公開番号】特開２０１２−２５３６０９（Ｐ２０１２−２５３６０９Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２５４８３（Ｐ２０１１−１２５４８３）
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]