撮像表示制御装置と方法及びこれを用いたカーナビゲーションシステムとカメラシステム
【課題】カメラの不具合発生時に利用するカメラを予め設定し、代替利用するカメラを選択することで、運転者支援を補足し、安全性を向上させる撮像表示制御装置と方法及びこれを用いたカーナビゲーションシステムとカメラシステムを提供する。
【解決手段】カメラ１０１、撮像した映像を表示する表示装置１０８と、表示装置１０８へ出力するカメラを選択するよう指示するカメラ操作部１０９と、カメラ操作部１０９の指示に応じて表示装置１０８へ出力する撮像映像を切り替えるカメラ選択部１０７とを設けた撮像表示制御装置において、カメラ１０１が撮像可能か不可かを検出するカメラ状態検出部１０４と、表示装置１０８への出力するカメラの優先順位を示したカメラ選択リスト１０５と、カメラ状態検出部１０４が撮像不可と判断した場合に前記カメラ選択リスト１０５の優先順位に従ってカメラを選択するカメラ選択処理部１１０とを設ける。
【解決手段】カメラ１０１、撮像した映像を表示する表示装置１０８と、表示装置１０８へ出力するカメラを選択するよう指示するカメラ操作部１０９と、カメラ操作部１０９の指示に応じて表示装置１０８へ出力する撮像映像を切り替えるカメラ選択部１０７とを設けた撮像表示制御装置において、カメラ１０１が撮像可能か不可かを検出するカメラ状態検出部１０４と、表示装置１０８への出力するカメラの優先順位を示したカメラ選択リスト１０５と、カメラ状態検出部１０４が撮像不可と判断した場合に前記カメラ選択リスト１０５の優先順位に従ってカメラを選択するカメラ選択処理部１１０とを設ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に車両における運転者支援のためのカメラ表示制御に関する。
【背景技術】
【０００２】
近年の車両において運転者の死角となっている側後方や後方をカメラで撮影しモニタに表示するシステムが普及し始めている。この車両周辺を撮像する技術を利用し車内装置によって生じる死角を解消することも提案されている(例えば特許文献１参照)。
さらに、カメラレンズの汚れなどにより運転者が死角部分を十分認識できない場合が考えられるが、それに対してはレンズ汚れをカメラ画像を構成するピクセルの輝度情報の変化から検出し、運転者に対してメッセージを出力することでレンズ汚れを通知する方法が提案されている(例えば特許文献２参照)。
【特許文献１】特開平１１−２９１８１７公報
【特許文献２】特開２００７−１８９３６９公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の技術では、前述のようなカメラの故障や、レンズの汚れ等の不具合が発生した場合、運転者もしくは第３者から清掃や修理などの処理が行われるまで運転者に対する視覚補助や接近車認識等のカメラの画像認識を用いた高度な運転支援が滞る恐れがある。
【０００４】
本発明の目的は、上記課題を解決することであり、カメラの不具合発生時に利用するカメラを予め設定し、代替利用するカメラを選択することで、運転者支援を補足し、安全性を向上させる撮像表示制御装置と方法及びこれを用いたカーナビゲーションシステムとカメラシステムを提供することである。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明では、前記カメラが撮像可能か否かを検出するカメラ状態検出部と、前記表示装置への表示で選択される初期選択カメラと、該初期選択カメラの代替カメラの選択順序を示したカメラ選択リストと、前記初期選択カメラの撮像可不可を前記カメラ状態検出部より判断し、撮像不可の場合に前記カメラ選択リストの順序に従って代替カメラを選択するカメラ選択処理部を設けたことを特徴とする。
【０００６】
すなわち、本発明は、少なくとも２つのカメラと、前記カメラにて撮像した映像を表示する表示装置と、前記表示装置へ出力するカメラを選択する指示を受け付けるカメラ操作部と、前記カメラ操作部の指示に応じて前記表示装置へ出力する撮像映像を切り替えるカメラ選択部と、を設けた撮像表示制御装置において、前記カメラが撮像可能か不可かを検出するカメラ状態検出部と、前記表示装置へ出力するカメラの優先順位を示したカメラ選択リストと、前記カメラ状態検出部が撮像不可と判断した場合に前記カメラ選択リストの優先順位に従ってカメラを選択するカメラ選択処理部と、前記カメラ選択処理部で選択されたカメラを前記表示装置へ出力するよう前記カメラ操作部へ指示する表示制御部と、を設けたことを特徴とする撮像表示制御装置である。
【０００７】
また、本発明は、前記撮像表示制御装置におけるカメラ選択処理部に、カメラ撮像不可時に車両ディーラ探索指示を出力するディーラ探索指示部を設け、車両ディーラ位置を含む地図データと、少なくとも経路情報を前記表示装置に出力する経路情報出力部とを有するカーナビゲーションシステムに、前記ディーラ探索指示部からの通知を受け、現在地から所定の車両ディーラまでの経路を前記経路情報出力部により、前記表示部に出力されることを特徴とするカーナビゲーションシステムである。
【０００８】
そして、本発明は、少なくとも２つのカメラと、前記カメラにて撮像した映像を表示する表示装置と、前記撮像表示制御装置からなることを特徴とするカメラシステムである。
【０００９】
更に、本発明は、少なくとも２つのカメラ及び前記カメラにて撮像した映像を表示する表示装置を接続し、前記表示装置へ出力する映像を撮像するカメラを選択するよう指示するカメラ操作ステップと、前記カメラ操作部の指示に応じて前記表示装置へ出力する撮像映像を切り替えるカメラ選択ステップと、を含む撮像表示制御方法において、前記カメラが撮像可能か不可かを検出するカメラ状態検出ステップと、前記表示装置への表示で選択される初期選択カメラ及び該初期選択カメラの代替カメラの選択順序を示したカメラ選択リストを使用し、前記カメラ状態検出ステップで初期選択カメラの撮像不可と判断した場合に前記カメラ選択リストの選択順序に従って代替カメラを選択するカメラ選択処理ステップと、前記カメラ選択処理ステップで選択されたカメラを前記表示装置へ出力するよう前記カメラ操作ステップで行うよう指示する表示制御ステップとを含むことを特徴とする撮像表示制御方法である。
【発明の効果】
【００１０】
本発明によれば、運転支援カメラが故障やレンズの汚れなどの不具合により十分に視認できない場合において、代替カメラを選択し、代替カメラが撮像した映像を同じ表示装置に表示することで、運転者の視認を補助し、安全性を高めることが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について、図面を用いて説明する。
【実施例１】
【００１２】
図１〜図４は本発明の実施例１の説明図である。
本実施例は、後方カメラの撮像画像に不備があり利用できなかったために他のカメラの映像を表示する場合の例である。
図１は本実施例のカメラシステムの構成の説明図である。
１０１は後方カメラ、１０２は左方カメラ、１０３は右方カメラであり、後方カメラ１０１及び左方カメラ１０２及び右方カメラ１０３としては、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)やＣＣＤ(Charge Coupled Device)等の撮像素子を持つカメラである。赤外線暗視機能を持つカメラであってもよい。
１０４はカメラ状態検出部であり、例えば特許文献２に記載の「カメラのレンズ汚れ検出装置」に示される公知技術を用いて、後方カメラ１０１、左方カメラ１０２、右方カメラ１０３いずれのカメラに不具合が発生しているかを検出する。
１０５はカメラの不具合発生時に次候補を選択するためのカメラ選択リストであり、本実施例の特徴となる構成要素の一つである。詳細は後述する。
１０６はシステム制御部であり、ＣＰＵ等の演算装置やメモリなどの記憶装置からなる構成要素である。システム制御部１０６は、図示のようにカメラ状態検出部１０４、カメラ選択部１０７、カメラ操作部１０９、カメラ選択リスト１０５、メッセージ保持部１１１と接続し、カメラシステム全体の制御を行う。システム制御部１０６に示したカメラ選択処理部１１０は本実施例の特徴となるカメラ選択制御処理を行うプログラムであり特徴は後述する。
１０７はシステム制御部１０６からの指示に従って表示装置１０８へ映像出力するカメラを選択するカメラ選択部である。
１０８はカメラ映像の表示装置であり、例えば液晶やプラズマディスプレイ、有機ＥＬ(Electro Luminescence)などのパネル、電源停止後も映像が残る電子ペーパー、投射方式、オーバーヘッドディスプレイ、ヘッドマウントディスプレイである。
カメラ操作部１０９としては運転者や搭乗者からの入力を受け付けるボタンやタッチパネルや音声認識による入力、シフトレバーを後進（Ｒ）に切り替え等の車両の操作や、車両状態に伴って生じる入力、等を受付可能な操作装置であり、これら操作に応じて各カメラの映像を出力する。
１１１はメッセージ保持部であり、カメラの状態または異常発生をユーザに通知するメッセージを保持する。メッセージ保持部１１１としてはＨＤＤやメモリ、メモリカードなどで構成され、カーメーカやディーラにより設定されたメッセージを保持する。
【００１３】
図２は車両と車両に搭載されたカメラの位置関係を示す図である。
図２において、２０１は車両である。なお、図１と同一の装置については同符号を記す。
車両２０１では後進時に運転者への視覚支援として後方カメラ１０１や、左方カメラ１０２や、右方カメラ１０３を図示のように備えている。
各カメラで撮像できる範囲（境界）をカメラ採光部より直線で図示しており、それぞれ一部が重複している。特に左右の側方カメラ１０２、１０３では撮像範囲を広げることにより撮像範囲に車両後方を含めることが可能であるため、本実施例では例えば後方カメラ１０１で視認が困難となった場合、左右の側方カメラ１０２、１０３を代替手段として用いることで運転者への視覚支援を可能とする。
【００１４】
図３は上記図１におけるカメラ選択リスト１０５の一例を示しており、行方向に初期選択カメラ、列方向に代替カメラを示している。表中の数値１〜２は選択候補の順位を示しており、選択されたカメラの状態に応じ優先度フラグが設定され、優先度フラグに対応したカメラが選択されるようになっている。例えば初期選択カメラとして後方カメラ１０１を選択した時に、不具合が生じていた場合は初期選択カメラが不具合であると判断されたときに優先度フラグが１に設定され、選択候補で１に設定された左方カメラ１０２が選択される。さらに左方カメラ１０２に不具合が生じていた場合は代替カメラが不具合であると判断されたときに優先度フラグがカウントアップされて２となり、選択候補で２に設定した右方カメラ１０３が選択される。なおリストのデータはテキストやバイナリー、XML(Extensible Markup Language)などの形式で記述しても良い。
【００１５】
図４は本実施例のカメラ選択処理１１０の処理手順を示すフローチャートであり、ここでは、後方カメラが不具合の時に他のカメラを選択する場合の処理の一例を説明する。
Ｓ４００はカメラ操作部１０９のカメラ選択操作有無をチェックする処理であり、本処理ではカメラ操作部１０９の状態を一定時間毎にチェックする。
Ｓ４０１は、Ｓ４００の結果に基づき、操作有りのとき、選択されたカメラの状態をカメラ状態検出部１０４より取得する処理である。また優先度フラグを０に設定する。
Ｓ４０２は、Ｓ４０１で取得したカメラ状態検出部１０４の検出結果を受け、初期選択カメラの不具合有無によりカメラが正常であるかをチェックする処理を実施する。カメラが異常である場合優先フラグを１に設定する。
Ｓ４０３は、カメラ選択部切り替え制御処理であり、Ｓ４０２でカメラ正常の場合、該当するカメラを選択するようカメラ選択部１０７の切り替え制御を行う。
Ｓ４０４は、前記選択されたカメラの映像を、表示装置１０８に出力して表示する処理である。
Ｓ４０５は、Ｓ４０２で初期選択カメラが不具合であると判断された場合、優先度フラグを１に設定する。
Ｓ４０６は、代替カメラ選択処理であり、カメラ選択リスト１０５にてカメラの選択候補を参照し、優先度フラグと対応したカメラを選択する。例えば優先度フラグが１なら、選択候補が１となっているカメラを選択する。
Ｓ４０７は、Ｓ４０６の結果に基づき、選択された代替カメラの状態をカメラ状態検出部１０４から取得する。
Ｓ４０８は、Ｓ４０７で取得したカメラ状態検出部１０４の検出結果を受け、不具合有無をチェックする処理を実施する。前記検出された結果が正常である場合、Ｓ４０３及びＳ４０４の処理を行う。
Ｓ４０９は、優先度フラグをカウントアップさせる。
Ｓ４１０は、Ｓ４０８で不具合が有る場合に次の代替カメラの有無をチェックする処理である。Ｓ４１０ではカメラ選択リスト１０５にて次代替カメラの選択候補を参照し、優先度フラグと合致するカメラがあるかどうかチェックする。優先度フラグと合致するカメラが有る場合は、再度Ｓ４０６からの処理を繰り返す。優先度フラグと合致するカメラが無い場合は次のＳ４１１の処理に進む。
Ｓ４１１は、Ｓ４１０にて優先度フラグと合致するカメラが無い場合、運転者にメッセージを出力する処理であり、システム制御部１０６は、メッセージ保持部１１１より読み出したカメラの不具合発生メッセージを表示部１０８へ表示し、運転者にカメラに不具合が発生していることを通知する。
上記のようにＳ４００からＳ４１１に記載のステップの処理がカメラ選択処理部１１０にて行われる。
例えば後方カメラ１０１が不具合の時に他のカメラを選択する場合の処理は、以下のようになる。
カメラ操作部１０９より後方カメラ１０１の表示が選択され（Ｓ４００）、システム制御部１０６はカメラ状態検出部１０４にて後方カメラ１０１の状態を検出した結果を取得し(Ｓ４０１)、取得した結果より後方カメラ１０１に不具合が有ることが判明し（Ｓ４０２）、優先度フラグが１となり（Ｓ４０５）、カメラ選択リスト１０５より後方カメラ１０１の代替カメラとして優先度フラグが１を示す左方カメラ１０２を選択する(Ｓ４０６)。
さらにカメラ状態検出部１０４にて左方カメラ１０２の状態を検出した結果を取得し(Ｓ４０７)、取得した結果、左方カメラ１０２が正常であることが判明し（Ｓ４０８）、カメラ選択部１０７にて左方カメラ１０２を選択し（Ｓ４０３）、選択された左方カメラ１０２の撮像映像を表示装置１０８に出力する（Ｓ４０４）。
実施例１では、後方カメラ１０１、左方カメラ１０２、及び右方カメラ１０３はカメラ状態検出部１０４及びカメラ選択部１０７との接続にアナログ線だけでなくデジタル信号線や車内ＬＡＮにより接続しても良い。この場合、接続形態（トポロジー）は図１のようなスター型だけでなく、リング型やバス型やデイジーチェーン型で接続しても良い。デイジーチェーン型の接続の場合、映像は１本のケーブル内に複数の映像を多重化して伝送され、カメラ選択部１０７において映像の選択は映像チャンネルを選択することで実施される。
また実施例１では、選択されたカメラに不具合があり、さらに代替カメラにも不具合があり表示可能な撮像映像が無い場合に運転者へのメッセージを出力したが、選択されたカメラに不具合が有ることを検出した時点で、運転者にメッセージを用いて通知しても良い。
そして、実施例１では、運転者へのメッセージ出力として表示装置を用いたが、音声を用いて通知しても良い。
更に、実施例１では、カメラ毎に「後方」「左方」「右方」などの設置方向等に関する情報であるカメラ種別情報を保持したカメラを用い、さらにカメラ状態検出部１０４にて接続されたカメラ有無と、カメラ種別情報を検出することにより、カメラ選択処理部１１０はカメラ選択リスト１０５に記載された代替カメラリストに該当するカメラが存在しない場合は、次代替カメラを選択する制御を行なうこともできる。
以上説明したように実施例１によれば、運転支援カメラの不具合によりカメラ映像が十分に視認できない場合に、ユーザ操作無しに自動的に代替映像を表示することで運転者の視認性を確保し、安全性を高めることが可能となる。また運転者にカメラの不具合を通知することで注意喚起を図り、早期にカメラ交換などの対応が可能となり利便性が向上する。
【実施例２】
【００１６】
図５及び図６は本発明の実施例２の説明図である。
実施例２は選択されたカメラの不具合を検知し、カメラに不具合が有る場合は代替カメラを選択表示し、さらに車両の最寄のディーラまでの経路を運転者に通知する場合の例である。
【００１７】
図５は本実施例であるカメラシステム及びナビゲーション部の構成の説明図である。
５０１は経路検索を行うナビゲーション部であり、５０２は自車位置を特定するＧＰＳであり、ＧＰＳ５０２としてはＧＰＳ（Global Positioning System）アンテナ及び、受信データから自車位置を算出する装置を有する。
５０３は道路情報を有する地図データであり、５０４は地図データに含まれるディーラ情報であり、位置情報及びカメラ不具合の修理可不可の情報を有する。
５０５は地図及び探索した経路を表示する表示部であり、表示部５０５としては表示装置１０８と同様である。
５０６はナビゲーション部全体の制御を行うナビゲーション制御部であり、ＣＰＵ等の演算装置やメモリなどの記憶装置からなる構成要素である。ナビゲーション制御部５０６は、図示されるようにＧＰＳ５０２、地図データ５０３、表示部５０５と接続し、ナビゲーション全体の制御を行う。
５０７はカメラシステムからのディーラ探索指示を受けてディーラまでの経路を運転者に通知するディーラ通知処理部である。
５０８は出発地から目的地までの経路を探索する経路探索制御部である。
なお、図１と同一の構成要素については同符号を記す。
【００１８】
図６は図５の前記カメラシステムにおいてカメラの利用可不可を判断し、選択した代替カメラを使用する場合に、運転者にカメラ不具合を修理するディーラへの経路を通知するカメラ選択処理部１１０とディーラ通知処理部５０７の動作シーケンス図である。なお、図４と同一の動作ステップについては同符号を記す。
Ｓ４００からＳ４１０までは実施例１の図４の説明で記載のステップの処理と同一である。
Ｓ６００はＳ４１０にて優先度フラグと合致するカメラが無い場合、カメラに不具合が有ることをナビゲーション部５０１に通知して、ディーラ探索を指示する。
Ｓ６０１は、カメラ選択処理部１１０からのディーラ探索指示の有無をチェックする処理であり、本処理ではディーラ通知処理部の状態を一定時間毎にチェックし対応する処理を行う。
Ｓ６０２は、Ｓ４１０にて優先度フラグと合致するカメラがカメラ選択リスト１０９にて存在しない場合、ナビゲーション部５０１にて自車位置に最寄のディーラを検索し、該ディーラを目的地とした経路探索を行う。ここで最寄のディーラの検索及び、該ディーラまでの経路探索を上記構成要素を用いて以下に説明する。なお、最寄のディーラの情報として、カーナビゲーションシステムが車に取り付ける際に、自車を取り扱うディーラのみが設定されている。
ナビゲーション部５０１が前記カメラシステムを制御するシステム制御部１０６から、カメラ不具合の通知を受け、ディーラ経路探索の指示をディーラ通知処理部５０７にて取得し、ナビゲーション制御部５０６はＧＰＳ５０２より自車位置情報を取得し、ディーラ情報５０４から最寄のディーラを検索する。検索した結果、最寄ディーラの位置情報を取得し、地図データ５０３を用いて、経路探索制御部５０８にて出発地点として自車位置を、目的地として最寄ディーラ位置を設定した経路探索を行う。
Ｓ６０３はＳ６０２の最寄ディーラまでの経路探索結果を表示部５０５に出力して表示する。
上記した実施例では、カメラ映像と経路探索結果を運転者へ表示したが、実施例１に記載のようなメッセージ出力を併用しても良い。また、運転者へのメッセージ出力方法としては表示装置だけでなく音声を用いた通知でも良い。
上記した実施例では、選択されたカメラに不具合があり、さらに代替カメラにも不具合があり表示可能な撮像映像が無い場合に最寄ディーラまでの経路探索を行ったが、選択されたカメラに不具合が有ることを検出した時点で、最寄ディーラまでの経路探索を行い運転者に通知しても良い。
上記した実施例では、表示装置１０８と表示部５０５は別の構成要素として扱ったが、単一の表示画面を２分割してカメラ映像と探索経路映像を同時に表示する方法や、一方の映像を他方の画面中に小画面として表示する方法を用いることで、表示装置１０８もしくは表示部５０５のどちらか一方に両情報を表示しても良い。
以上説明したように上記実施例によれば、予め代替カメラ候補を指定することで運転支援カメラに不具合が生じた場合に、ユーザ操作無しに自動的に代替映像を表示し、運転支援を継続し、安全性を高めることに加え、不具合が生じたカメラの修理依頼の受け付けが可能な自車を取り扱うディーラまでの経路を通知することでユーザの利便性を向上することが可能となる。
【実施例３】
【００１９】
図７及び図８は本発明の実施例３の説明図である。
実施例３は選択されたカメラの不具合を検知し、カメラに不具合が有る場合は代替カメラを選択表示し、さらに通信によりカメラ不具合を車両管理者に通知する場合の例である。
図７は本実施例であるカメラシステムの構成の説明図である。
７０１は、通信にて車両情報を通知する無線通信装置であり、PHS(Personal Handy-phone System)、PDC(Personal Digital Cellular)、GSM（Global System for Mobile Communications）、CDMA(Code Division Multiple Access)、W-CDMA(Wideband Code Division Multiple Access)、CDMA-2000、DSRC(Dedicated Short Range Communication)、WiMax(Worldwide Interoperability for Microwave Access)等の通信方式を少なくとも一つを有する。
７０２は前記通信装置７０１と通信によって接続される基地局であり、７０３は通信ネットワークであり、７０４は車両の管理者が車両データを蓄積する車両管理サーバであり、車両管理サーバ７０４は車両を販売したディーラや車両所有者が管理するサーバで、各車両からの不具合発生情報、例えば不具合箇所、発生日時、発生時の天気の情報など、を蓄積し、ＣＲＭ(Customer Relationship Management)や、車両メンテナンス管理等に使用する。
なお、図１と同一の構成要素については同符号を記す。
【００２０】
図８は図７の前記カメラシステムにおいてカメラの利用可不可を判断し、選択した代替カメラを使用する場合に、ディーラにカメラ不具合を通知する場合の動作シーケンス図である。なお、図４と同一の動作ステップについては同番号を記す。
Ｓ４００からＳ４１０までは実施例１の図４の説明で記載されるステップの処理と同一である。
Ｓ８００はＳ４１０にて代替カメラの候補がカメラ選択リスト１０９にて存在しない場合、通信装置７０１にて車両管理サーバ７０４にカメラに不具合が生じた事を通知する。ここで車両管理サーバまでの通知方法を上記構成要素を用いて以下に説明する。
通信装置７０１は、システム制御部１０６よりカメラ不具合の通知を受け、基地局７０２に対して発信を開始し、通信接続後は通信ネットワーク７０３を経由して車両管理サーバ７０４に対してカメラ不具合の情報を登録する。
登録された情報より車両管理サーバ７０４を運用するディーラでは運転手に対してメンテナンスの案内通知などを行う。
上記した実施例では、カメラ映像と通信によるカメラの不具合通知に関する説明を行ったが、実施例１に記載のようなメッセージ出力を併用し、ディーラへ通信によりカメラ不具合を通知したこと運転手に知らせても良い。また、運転者へのメッセージを出力としては表示装置だけでなく音声を用いた通知でも良い。
上記した実施例では、選択されたカメラに不具合があり、さらに代替カメラにも不具合があり表示可能な撮像映像が無い場合に不具合情報を通信装置から車両管理サーバに通知したが、選択されたカメラに不具合が有ることを検出した時点で、不具合情報を車両管理サーバに通知しても良い。
上記した実施例の通信装置７０１は、予め車両に搭載された通信装置、または運転者や搭乗者が車内に持ち込んだ携帯型の通信装置でも良い。携帯型の通信装置を用いる場合、システム制御部１０６と通信装置との通信にはシリアル線やＵＳＢ等の有線通信や、赤外線、Bluetooth（登録商標）、Ｗｉ−Ｆｉ、ＵＷＢ(Ultra Wide Band)等の無線通信を用いても良い。
以上説明したように上記実施例によれば、予め代替カメラ候補を指定することで運転支援カメラに不具合が生じた場合に、ユーザ操作無しに自動的に代替映像を表示し、運転支援を継続し、安全性を高めることに加え、車両のカメラに不具合が生じた事をディーラなどの車両管理サーバまで通知することで、ユーザの利便性を向上することが可能となる。
【実施例４】
【００２１】
図９及び図１０は本発明の実施例４の説明図である。
実施例４はカメラシステム初期起動時に接続されたカメラを検知し、検知されたカメラの撮像範囲情報から代替カメラリストを生成する場合の例である。
図９は本実施例であるカメラシステムの構成の説明図である。
９０１は、該カメラシステムに接続されたカメラが撮像可能な範囲を予め保持する撮像範囲情報であり、一例を図１０に示す。該撮像範囲情報としては車両中央部から水平面上での撮像角度である。なお、図１と同一の構成要素については同符号を記す。
図２の車両と車載カメラの関係図の場合、車両前方を０度とすると、右方向は９０度、後方は１８０度、左方は２７０度となる。おおよそ後方カメラ１０１の撮像範囲は１００度から２６０度、左方カメラ１０２の撮像範囲は１７０度から２９０度、右方カメラ１０３の撮像範囲は８０度から２００度となる。ここで左方カメラ１０２に不具合が生じた場合の代替カメラとしては、撮像範囲が１７０度から２６０度までの９０度が重複する後方カメラ１０１が初めに選択され、次に１７０度から２００度までの３０度が重複する右方カメラ１０３が選択される。
このように撮像範囲情報から各カメラの撮像範囲を読み出し、重複範囲を比較することで代替カメラのリストを作成する。
なお、前記撮像範囲情報で保持する撮像範囲は、車両に予め定められたカメラ設置位置と方向に加え、使用するカメラに用いられるレンズの画角によって決まる。実際の車両では設置されるカメラ位置及び位置に応じたカメラは定まっており、本実施例のように設置位置に応じたカメラの撮像範囲の情報を予め算出し、ディーラなどで予め設定することが可能である。
【００２２】
図１１は図９の前記カメラシステムにおいてカメラの有無およびカメラが保持するカメラ種別情報を元にカメラ選択リスト１０５を書き換える場合の動作フローチャートである。
Ｓ１０００はカメラ操作部１０９のカメラ選択リストの初期化操作有無を一定時間毎にチェックする処理である。
Ｓ１００１はＳ１０００の結果に基づき、カメラ状態検出部１０４より接続されたカメラが設置されているかを確認する処理である。なお、本実施例におけるカメラ状態検出部１０４は、カメラの設置位置を確認する機能を有しており、設置位置の確認は、カメラにあらかじめ保持されている情報、例えば車種、設置位置、方向、画角などの情報、を使用して行う。カメラが設置されていなければ終了となる。
Ｓ１００２はＳ１００１でカメラ設置の確認結果を受け、カメラのチェックＩＤを１とする。
Ｓ１００３はチェックＩＤと同じＩＤのカメラ情報を撮像範囲情報から取得する。
Ｓ１００４はカメラのチェックＩＤを＋１とする。
Ｓ１００５はチェックＩＤと同じＩＤのカメラ情報があるか判断し、あればＳ１００３に戻り、なければＳ１００６に進む。
Ｓ１００６はカメラ毎のＳ１００３〜Ｓ１００５の処理を行い、カメラ毎の撮像範囲情報の取得結果に基づき、カメラ毎の代替カメラを計算し、カメラ選択リスト１０５として保持し、終了となる。なお、計算する際は、撮像範囲の重なりの大きいものの優先順位を高くする、すなわち、死角となる範囲の少ないものの順位を高くすることにより行うことができる。
上記した実施例では撮像範囲の例として水平方向の画角を用いたが、鉛直方向の画角であっても良い。
上記した実施例では撮像範囲の例として水平方向の画角の重複が大きい順で優先順位を決定したが、重複する画角が等しい場合には、選定基準として運転席からの距離を追加しても良い。このような運転支援カメラの場合、運転者から離れるほど死角が大きくなる傾向があり、カメラ映像による支援が必要と考えられる。
上記した実施例では代替カメラの選択のみ行なっているが、代替カメラの撮像範囲情報を用いて撮像映像を部分的に拡大し、元のカメラの撮像範囲に近い映像を表示しても良い。例えば、代替カメラが全方位カメラの場合であれば、元カメラの撮像範囲に該当する部分を切り出し、歪みを修正して表示することで違和感無くユーザの安全性を高めることが可能となる。
以上説明したように上記実施例によれば、予めカメラ設置位置に応じた撮像範囲情報を保持することで、カメラ毎の代替カメラを算出しカメラ選択リストを生成することが可能となり、車両に搭載されたカメラ数が増減する場合においても、カメラ選択リストをユーザが書き換える必要が無くなり、利便性が向上する。
【図面の簡単な説明】
【００２３】
【図１】実施例１のカメラシステムの構成の説明図。
【図２】実施例１におけるカメラ配置の概念の説明図。
【図３】実施例１におけるカメラ選択リストのテーブルの説明図。
【図４】実施例１における構成機器の動作説明図。
【図５】実施例２のナビゲーションシステムの構成の説明図。
【図６】実施例２における構成機器の動作説明図。
【図７】実施例３のカメラシステムの構成の説明図。
【図８】実施例３における構成機器の動作説明図。
【図９】実施例４のカメラシステムの構成の説明図。
【図１０】実施例４における撮像範囲情報テーブルの説明図。
【図１１】実施例４における構成機器の動作説明図。
【符号の説明】
【００２４】
１０１ 後方カメラ
１０２ 左方カメラ
１０３ 右方カメラ
１０４ カメラ状態検出部
１０５ カメラ選択リスト
１０６ システム制御部
１０７ カメラ選択部
１０８ 表示装置
１０９ 操作部
１１０ カメラ選択処理部
１１１ メッセージ保持部
２０１ 車両
５０１ ナビゲーション部
５０２ ＧＰＳ
５０３ 地図データ
５０４ ディーラ情報
５０５ 表示部
５０６ ナビゲーション制御部
５０７ ディーラ通知処理部
５０８ 経路探索制御部
７０１ 通信装置
７０２ 基地局
７０３ 通信ネットワーク
７０４ 車両管理サーバ
【技術分野】
【０００１】
本発明は、特に車両における運転者支援のためのカメラ表示制御に関する。
【背景技術】
【０００２】
近年の車両において運転者の死角となっている側後方や後方をカメラで撮影しモニタに表示するシステムが普及し始めている。この車両周辺を撮像する技術を利用し車内装置によって生じる死角を解消することも提案されている(例えば特許文献１参照)。
さらに、カメラレンズの汚れなどにより運転者が死角部分を十分認識できない場合が考えられるが、それに対してはレンズ汚れをカメラ画像を構成するピクセルの輝度情報の変化から検出し、運転者に対してメッセージを出力することでレンズ汚れを通知する方法が提案されている(例えば特許文献２参照)。
【特許文献１】特開平１１−２９１８１７公報
【特許文献２】特開２００７−１８９３６９公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の技術では、前述のようなカメラの故障や、レンズの汚れ等の不具合が発生した場合、運転者もしくは第３者から清掃や修理などの処理が行われるまで運転者に対する視覚補助や接近車認識等のカメラの画像認識を用いた高度な運転支援が滞る恐れがある。
【０００４】
本発明の目的は、上記課題を解決することであり、カメラの不具合発生時に利用するカメラを予め設定し、代替利用するカメラを選択することで、運転者支援を補足し、安全性を向上させる撮像表示制御装置と方法及びこれを用いたカーナビゲーションシステムとカメラシステムを提供することである。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明では、前記カメラが撮像可能か否かを検出するカメラ状態検出部と、前記表示装置への表示で選択される初期選択カメラと、該初期選択カメラの代替カメラの選択順序を示したカメラ選択リストと、前記初期選択カメラの撮像可不可を前記カメラ状態検出部より判断し、撮像不可の場合に前記カメラ選択リストの順序に従って代替カメラを選択するカメラ選択処理部を設けたことを特徴とする。
【０００６】
すなわち、本発明は、少なくとも２つのカメラと、前記カメラにて撮像した映像を表示する表示装置と、前記表示装置へ出力するカメラを選択する指示を受け付けるカメラ操作部と、前記カメラ操作部の指示に応じて前記表示装置へ出力する撮像映像を切り替えるカメラ選択部と、を設けた撮像表示制御装置において、前記カメラが撮像可能か不可かを検出するカメラ状態検出部と、前記表示装置へ出力するカメラの優先順位を示したカメラ選択リストと、前記カメラ状態検出部が撮像不可と判断した場合に前記カメラ選択リストの優先順位に従ってカメラを選択するカメラ選択処理部と、前記カメラ選択処理部で選択されたカメラを前記表示装置へ出力するよう前記カメラ操作部へ指示する表示制御部と、を設けたことを特徴とする撮像表示制御装置である。
【０００７】
また、本発明は、前記撮像表示制御装置におけるカメラ選択処理部に、カメラ撮像不可時に車両ディーラ探索指示を出力するディーラ探索指示部を設け、車両ディーラ位置を含む地図データと、少なくとも経路情報を前記表示装置に出力する経路情報出力部とを有するカーナビゲーションシステムに、前記ディーラ探索指示部からの通知を受け、現在地から所定の車両ディーラまでの経路を前記経路情報出力部により、前記表示部に出力されることを特徴とするカーナビゲーションシステムである。
【０００８】
そして、本発明は、少なくとも２つのカメラと、前記カメラにて撮像した映像を表示する表示装置と、前記撮像表示制御装置からなることを特徴とするカメラシステムである。
【０００９】
更に、本発明は、少なくとも２つのカメラ及び前記カメラにて撮像した映像を表示する表示装置を接続し、前記表示装置へ出力する映像を撮像するカメラを選択するよう指示するカメラ操作ステップと、前記カメラ操作部の指示に応じて前記表示装置へ出力する撮像映像を切り替えるカメラ選択ステップと、を含む撮像表示制御方法において、前記カメラが撮像可能か不可かを検出するカメラ状態検出ステップと、前記表示装置への表示で選択される初期選択カメラ及び該初期選択カメラの代替カメラの選択順序を示したカメラ選択リストを使用し、前記カメラ状態検出ステップで初期選択カメラの撮像不可と判断した場合に前記カメラ選択リストの選択順序に従って代替カメラを選択するカメラ選択処理ステップと、前記カメラ選択処理ステップで選択されたカメラを前記表示装置へ出力するよう前記カメラ操作ステップで行うよう指示する表示制御ステップとを含むことを特徴とする撮像表示制御方法である。
【発明の効果】
【００１０】
本発明によれば、運転支援カメラが故障やレンズの汚れなどの不具合により十分に視認できない場合において、代替カメラを選択し、代替カメラが撮像した映像を同じ表示装置に表示することで、運転者の視認を補助し、安全性を高めることが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について、図面を用いて説明する。
【実施例１】
【００１２】
図１〜図４は本発明の実施例１の説明図である。
本実施例は、後方カメラの撮像画像に不備があり利用できなかったために他のカメラの映像を表示する場合の例である。
図１は本実施例のカメラシステムの構成の説明図である。
１０１は後方カメラ、１０２は左方カメラ、１０３は右方カメラであり、後方カメラ１０１及び左方カメラ１０２及び右方カメラ１０３としては、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)やＣＣＤ(Charge Coupled Device)等の撮像素子を持つカメラである。赤外線暗視機能を持つカメラであってもよい。
１０４はカメラ状態検出部であり、例えば特許文献２に記載の「カメラのレンズ汚れ検出装置」に示される公知技術を用いて、後方カメラ１０１、左方カメラ１０２、右方カメラ１０３いずれのカメラに不具合が発生しているかを検出する。
１０５はカメラの不具合発生時に次候補を選択するためのカメラ選択リストであり、本実施例の特徴となる構成要素の一つである。詳細は後述する。
１０６はシステム制御部であり、ＣＰＵ等の演算装置やメモリなどの記憶装置からなる構成要素である。システム制御部１０６は、図示のようにカメラ状態検出部１０４、カメラ選択部１０７、カメラ操作部１０９、カメラ選択リスト１０５、メッセージ保持部１１１と接続し、カメラシステム全体の制御を行う。システム制御部１０６に示したカメラ選択処理部１１０は本実施例の特徴となるカメラ選択制御処理を行うプログラムであり特徴は後述する。
１０７はシステム制御部１０６からの指示に従って表示装置１０８へ映像出力するカメラを選択するカメラ選択部である。
１０８はカメラ映像の表示装置であり、例えば液晶やプラズマディスプレイ、有機ＥＬ(Electro Luminescence)などのパネル、電源停止後も映像が残る電子ペーパー、投射方式、オーバーヘッドディスプレイ、ヘッドマウントディスプレイである。
カメラ操作部１０９としては運転者や搭乗者からの入力を受け付けるボタンやタッチパネルや音声認識による入力、シフトレバーを後進（Ｒ）に切り替え等の車両の操作や、車両状態に伴って生じる入力、等を受付可能な操作装置であり、これら操作に応じて各カメラの映像を出力する。
１１１はメッセージ保持部であり、カメラの状態または異常発生をユーザに通知するメッセージを保持する。メッセージ保持部１１１としてはＨＤＤやメモリ、メモリカードなどで構成され、カーメーカやディーラにより設定されたメッセージを保持する。
【００１３】
図２は車両と車両に搭載されたカメラの位置関係を示す図である。
図２において、２０１は車両である。なお、図１と同一の装置については同符号を記す。
車両２０１では後進時に運転者への視覚支援として後方カメラ１０１や、左方カメラ１０２や、右方カメラ１０３を図示のように備えている。
各カメラで撮像できる範囲（境界）をカメラ採光部より直線で図示しており、それぞれ一部が重複している。特に左右の側方カメラ１０２、１０３では撮像範囲を広げることにより撮像範囲に車両後方を含めることが可能であるため、本実施例では例えば後方カメラ１０１で視認が困難となった場合、左右の側方カメラ１０２、１０３を代替手段として用いることで運転者への視覚支援を可能とする。
【００１４】
図３は上記図１におけるカメラ選択リスト１０５の一例を示しており、行方向に初期選択カメラ、列方向に代替カメラを示している。表中の数値１〜２は選択候補の順位を示しており、選択されたカメラの状態に応じ優先度フラグが設定され、優先度フラグに対応したカメラが選択されるようになっている。例えば初期選択カメラとして後方カメラ１０１を選択した時に、不具合が生じていた場合は初期選択カメラが不具合であると判断されたときに優先度フラグが１に設定され、選択候補で１に設定された左方カメラ１０２が選択される。さらに左方カメラ１０２に不具合が生じていた場合は代替カメラが不具合であると判断されたときに優先度フラグがカウントアップされて２となり、選択候補で２に設定した右方カメラ１０３が選択される。なおリストのデータはテキストやバイナリー、XML(Extensible Markup Language)などの形式で記述しても良い。
【００１５】
図４は本実施例のカメラ選択処理１１０の処理手順を示すフローチャートであり、ここでは、後方カメラが不具合の時に他のカメラを選択する場合の処理の一例を説明する。
Ｓ４００はカメラ操作部１０９のカメラ選択操作有無をチェックする処理であり、本処理ではカメラ操作部１０９の状態を一定時間毎にチェックする。
Ｓ４０１は、Ｓ４００の結果に基づき、操作有りのとき、選択されたカメラの状態をカメラ状態検出部１０４より取得する処理である。また優先度フラグを０に設定する。
Ｓ４０２は、Ｓ４０１で取得したカメラ状態検出部１０４の検出結果を受け、初期選択カメラの不具合有無によりカメラが正常であるかをチェックする処理を実施する。カメラが異常である場合優先フラグを１に設定する。
Ｓ４０３は、カメラ選択部切り替え制御処理であり、Ｓ４０２でカメラ正常の場合、該当するカメラを選択するようカメラ選択部１０７の切り替え制御を行う。
Ｓ４０４は、前記選択されたカメラの映像を、表示装置１０８に出力して表示する処理である。
Ｓ４０５は、Ｓ４０２で初期選択カメラが不具合であると判断された場合、優先度フラグを１に設定する。
Ｓ４０６は、代替カメラ選択処理であり、カメラ選択リスト１０５にてカメラの選択候補を参照し、優先度フラグと対応したカメラを選択する。例えば優先度フラグが１なら、選択候補が１となっているカメラを選択する。
Ｓ４０７は、Ｓ４０６の結果に基づき、選択された代替カメラの状態をカメラ状態検出部１０４から取得する。
Ｓ４０８は、Ｓ４０７で取得したカメラ状態検出部１０４の検出結果を受け、不具合有無をチェックする処理を実施する。前記検出された結果が正常である場合、Ｓ４０３及びＳ４０４の処理を行う。
Ｓ４０９は、優先度フラグをカウントアップさせる。
Ｓ４１０は、Ｓ４０８で不具合が有る場合に次の代替カメラの有無をチェックする処理である。Ｓ４１０ではカメラ選択リスト１０５にて次代替カメラの選択候補を参照し、優先度フラグと合致するカメラがあるかどうかチェックする。優先度フラグと合致するカメラが有る場合は、再度Ｓ４０６からの処理を繰り返す。優先度フラグと合致するカメラが無い場合は次のＳ４１１の処理に進む。
Ｓ４１１は、Ｓ４１０にて優先度フラグと合致するカメラが無い場合、運転者にメッセージを出力する処理であり、システム制御部１０６は、メッセージ保持部１１１より読み出したカメラの不具合発生メッセージを表示部１０８へ表示し、運転者にカメラに不具合が発生していることを通知する。
上記のようにＳ４００からＳ４１１に記載のステップの処理がカメラ選択処理部１１０にて行われる。
例えば後方カメラ１０１が不具合の時に他のカメラを選択する場合の処理は、以下のようになる。
カメラ操作部１０９より後方カメラ１０１の表示が選択され（Ｓ４００）、システム制御部１０６はカメラ状態検出部１０４にて後方カメラ１０１の状態を検出した結果を取得し(Ｓ４０１)、取得した結果より後方カメラ１０１に不具合が有ることが判明し（Ｓ４０２）、優先度フラグが１となり（Ｓ４０５）、カメラ選択リスト１０５より後方カメラ１０１の代替カメラとして優先度フラグが１を示す左方カメラ１０２を選択する(Ｓ４０６)。
さらにカメラ状態検出部１０４にて左方カメラ１０２の状態を検出した結果を取得し(Ｓ４０７)、取得した結果、左方カメラ１０２が正常であることが判明し（Ｓ４０８）、カメラ選択部１０７にて左方カメラ１０２を選択し（Ｓ４０３）、選択された左方カメラ１０２の撮像映像を表示装置１０８に出力する（Ｓ４０４）。
実施例１では、後方カメラ１０１、左方カメラ１０２、及び右方カメラ１０３はカメラ状態検出部１０４及びカメラ選択部１０７との接続にアナログ線だけでなくデジタル信号線や車内ＬＡＮにより接続しても良い。この場合、接続形態（トポロジー）は図１のようなスター型だけでなく、リング型やバス型やデイジーチェーン型で接続しても良い。デイジーチェーン型の接続の場合、映像は１本のケーブル内に複数の映像を多重化して伝送され、カメラ選択部１０７において映像の選択は映像チャンネルを選択することで実施される。
また実施例１では、選択されたカメラに不具合があり、さらに代替カメラにも不具合があり表示可能な撮像映像が無い場合に運転者へのメッセージを出力したが、選択されたカメラに不具合が有ることを検出した時点で、運転者にメッセージを用いて通知しても良い。
そして、実施例１では、運転者へのメッセージ出力として表示装置を用いたが、音声を用いて通知しても良い。
更に、実施例１では、カメラ毎に「後方」「左方」「右方」などの設置方向等に関する情報であるカメラ種別情報を保持したカメラを用い、さらにカメラ状態検出部１０４にて接続されたカメラ有無と、カメラ種別情報を検出することにより、カメラ選択処理部１１０はカメラ選択リスト１０５に記載された代替カメラリストに該当するカメラが存在しない場合は、次代替カメラを選択する制御を行なうこともできる。
以上説明したように実施例１によれば、運転支援カメラの不具合によりカメラ映像が十分に視認できない場合に、ユーザ操作無しに自動的に代替映像を表示することで運転者の視認性を確保し、安全性を高めることが可能となる。また運転者にカメラの不具合を通知することで注意喚起を図り、早期にカメラ交換などの対応が可能となり利便性が向上する。
【実施例２】
【００１６】
図５及び図６は本発明の実施例２の説明図である。
実施例２は選択されたカメラの不具合を検知し、カメラに不具合が有る場合は代替カメラを選択表示し、さらに車両の最寄のディーラまでの経路を運転者に通知する場合の例である。
【００１７】
図５は本実施例であるカメラシステム及びナビゲーション部の構成の説明図である。
５０１は経路検索を行うナビゲーション部であり、５０２は自車位置を特定するＧＰＳであり、ＧＰＳ５０２としてはＧＰＳ（Global Positioning System）アンテナ及び、受信データから自車位置を算出する装置を有する。
５０３は道路情報を有する地図データであり、５０４は地図データに含まれるディーラ情報であり、位置情報及びカメラ不具合の修理可不可の情報を有する。
５０５は地図及び探索した経路を表示する表示部であり、表示部５０５としては表示装置１０８と同様である。
５０６はナビゲーション部全体の制御を行うナビゲーション制御部であり、ＣＰＵ等の演算装置やメモリなどの記憶装置からなる構成要素である。ナビゲーション制御部５０６は、図示されるようにＧＰＳ５０２、地図データ５０３、表示部５０５と接続し、ナビゲーション全体の制御を行う。
５０７はカメラシステムからのディーラ探索指示を受けてディーラまでの経路を運転者に通知するディーラ通知処理部である。
５０８は出発地から目的地までの経路を探索する経路探索制御部である。
なお、図１と同一の構成要素については同符号を記す。
【００１８】
図６は図５の前記カメラシステムにおいてカメラの利用可不可を判断し、選択した代替カメラを使用する場合に、運転者にカメラ不具合を修理するディーラへの経路を通知するカメラ選択処理部１１０とディーラ通知処理部５０７の動作シーケンス図である。なお、図４と同一の動作ステップについては同符号を記す。
Ｓ４００からＳ４１０までは実施例１の図４の説明で記載のステップの処理と同一である。
Ｓ６００はＳ４１０にて優先度フラグと合致するカメラが無い場合、カメラに不具合が有ることをナビゲーション部５０１に通知して、ディーラ探索を指示する。
Ｓ６０１は、カメラ選択処理部１１０からのディーラ探索指示の有無をチェックする処理であり、本処理ではディーラ通知処理部の状態を一定時間毎にチェックし対応する処理を行う。
Ｓ６０２は、Ｓ４１０にて優先度フラグと合致するカメラがカメラ選択リスト１０９にて存在しない場合、ナビゲーション部５０１にて自車位置に最寄のディーラを検索し、該ディーラを目的地とした経路探索を行う。ここで最寄のディーラの検索及び、該ディーラまでの経路探索を上記構成要素を用いて以下に説明する。なお、最寄のディーラの情報として、カーナビゲーションシステムが車に取り付ける際に、自車を取り扱うディーラのみが設定されている。
ナビゲーション部５０１が前記カメラシステムを制御するシステム制御部１０６から、カメラ不具合の通知を受け、ディーラ経路探索の指示をディーラ通知処理部５０７にて取得し、ナビゲーション制御部５０６はＧＰＳ５０２より自車位置情報を取得し、ディーラ情報５０４から最寄のディーラを検索する。検索した結果、最寄ディーラの位置情報を取得し、地図データ５０３を用いて、経路探索制御部５０８にて出発地点として自車位置を、目的地として最寄ディーラ位置を設定した経路探索を行う。
Ｓ６０３はＳ６０２の最寄ディーラまでの経路探索結果を表示部５０５に出力して表示する。
上記した実施例では、カメラ映像と経路探索結果を運転者へ表示したが、実施例１に記載のようなメッセージ出力を併用しても良い。また、運転者へのメッセージ出力方法としては表示装置だけでなく音声を用いた通知でも良い。
上記した実施例では、選択されたカメラに不具合があり、さらに代替カメラにも不具合があり表示可能な撮像映像が無い場合に最寄ディーラまでの経路探索を行ったが、選択されたカメラに不具合が有ることを検出した時点で、最寄ディーラまでの経路探索を行い運転者に通知しても良い。
上記した実施例では、表示装置１０８と表示部５０５は別の構成要素として扱ったが、単一の表示画面を２分割してカメラ映像と探索経路映像を同時に表示する方法や、一方の映像を他方の画面中に小画面として表示する方法を用いることで、表示装置１０８もしくは表示部５０５のどちらか一方に両情報を表示しても良い。
以上説明したように上記実施例によれば、予め代替カメラ候補を指定することで運転支援カメラに不具合が生じた場合に、ユーザ操作無しに自動的に代替映像を表示し、運転支援を継続し、安全性を高めることに加え、不具合が生じたカメラの修理依頼の受け付けが可能な自車を取り扱うディーラまでの経路を通知することでユーザの利便性を向上することが可能となる。
【実施例３】
【００１９】
図７及び図８は本発明の実施例３の説明図である。
実施例３は選択されたカメラの不具合を検知し、カメラに不具合が有る場合は代替カメラを選択表示し、さらに通信によりカメラ不具合を車両管理者に通知する場合の例である。
図７は本実施例であるカメラシステムの構成の説明図である。
７０１は、通信にて車両情報を通知する無線通信装置であり、PHS(Personal Handy-phone System)、PDC(Personal Digital Cellular)、GSM（Global System for Mobile Communications）、CDMA(Code Division Multiple Access)、W-CDMA(Wideband Code Division Multiple Access)、CDMA-2000、DSRC(Dedicated Short Range Communication)、WiMax(Worldwide Interoperability for Microwave Access)等の通信方式を少なくとも一つを有する。
７０２は前記通信装置７０１と通信によって接続される基地局であり、７０３は通信ネットワークであり、７０４は車両の管理者が車両データを蓄積する車両管理サーバであり、車両管理サーバ７０４は車両を販売したディーラや車両所有者が管理するサーバで、各車両からの不具合発生情報、例えば不具合箇所、発生日時、発生時の天気の情報など、を蓄積し、ＣＲＭ(Customer Relationship Management)や、車両メンテナンス管理等に使用する。
なお、図１と同一の構成要素については同符号を記す。
【００２０】
図８は図７の前記カメラシステムにおいてカメラの利用可不可を判断し、選択した代替カメラを使用する場合に、ディーラにカメラ不具合を通知する場合の動作シーケンス図である。なお、図４と同一の動作ステップについては同番号を記す。
Ｓ４００からＳ４１０までは実施例１の図４の説明で記載されるステップの処理と同一である。
Ｓ８００はＳ４１０にて代替カメラの候補がカメラ選択リスト１０９にて存在しない場合、通信装置７０１にて車両管理サーバ７０４にカメラに不具合が生じた事を通知する。ここで車両管理サーバまでの通知方法を上記構成要素を用いて以下に説明する。
通信装置７０１は、システム制御部１０６よりカメラ不具合の通知を受け、基地局７０２に対して発信を開始し、通信接続後は通信ネットワーク７０３を経由して車両管理サーバ７０４に対してカメラ不具合の情報を登録する。
登録された情報より車両管理サーバ７０４を運用するディーラでは運転手に対してメンテナンスの案内通知などを行う。
上記した実施例では、カメラ映像と通信によるカメラの不具合通知に関する説明を行ったが、実施例１に記載のようなメッセージ出力を併用し、ディーラへ通信によりカメラ不具合を通知したこと運転手に知らせても良い。また、運転者へのメッセージを出力としては表示装置だけでなく音声を用いた通知でも良い。
上記した実施例では、選択されたカメラに不具合があり、さらに代替カメラにも不具合があり表示可能な撮像映像が無い場合に不具合情報を通信装置から車両管理サーバに通知したが、選択されたカメラに不具合が有ることを検出した時点で、不具合情報を車両管理サーバに通知しても良い。
上記した実施例の通信装置７０１は、予め車両に搭載された通信装置、または運転者や搭乗者が車内に持ち込んだ携帯型の通信装置でも良い。携帯型の通信装置を用いる場合、システム制御部１０６と通信装置との通信にはシリアル線やＵＳＢ等の有線通信や、赤外線、Bluetooth（登録商標）、Ｗｉ−Ｆｉ、ＵＷＢ(Ultra Wide Band)等の無線通信を用いても良い。
以上説明したように上記実施例によれば、予め代替カメラ候補を指定することで運転支援カメラに不具合が生じた場合に、ユーザ操作無しに自動的に代替映像を表示し、運転支援を継続し、安全性を高めることに加え、車両のカメラに不具合が生じた事をディーラなどの車両管理サーバまで通知することで、ユーザの利便性を向上することが可能となる。
【実施例４】
【００２１】
図９及び図１０は本発明の実施例４の説明図である。
実施例４はカメラシステム初期起動時に接続されたカメラを検知し、検知されたカメラの撮像範囲情報から代替カメラリストを生成する場合の例である。
図９は本実施例であるカメラシステムの構成の説明図である。
９０１は、該カメラシステムに接続されたカメラが撮像可能な範囲を予め保持する撮像範囲情報であり、一例を図１０に示す。該撮像範囲情報としては車両中央部から水平面上での撮像角度である。なお、図１と同一の構成要素については同符号を記す。
図２の車両と車載カメラの関係図の場合、車両前方を０度とすると、右方向は９０度、後方は１８０度、左方は２７０度となる。おおよそ後方カメラ１０１の撮像範囲は１００度から２６０度、左方カメラ１０２の撮像範囲は１７０度から２９０度、右方カメラ１０３の撮像範囲は８０度から２００度となる。ここで左方カメラ１０２に不具合が生じた場合の代替カメラとしては、撮像範囲が１７０度から２６０度までの９０度が重複する後方カメラ１０１が初めに選択され、次に１７０度から２００度までの３０度が重複する右方カメラ１０３が選択される。
このように撮像範囲情報から各カメラの撮像範囲を読み出し、重複範囲を比較することで代替カメラのリストを作成する。
なお、前記撮像範囲情報で保持する撮像範囲は、車両に予め定められたカメラ設置位置と方向に加え、使用するカメラに用いられるレンズの画角によって決まる。実際の車両では設置されるカメラ位置及び位置に応じたカメラは定まっており、本実施例のように設置位置に応じたカメラの撮像範囲の情報を予め算出し、ディーラなどで予め設定することが可能である。
【００２２】
図１１は図９の前記カメラシステムにおいてカメラの有無およびカメラが保持するカメラ種別情報を元にカメラ選択リスト１０５を書き換える場合の動作フローチャートである。
Ｓ１０００はカメラ操作部１０９のカメラ選択リストの初期化操作有無を一定時間毎にチェックする処理である。
Ｓ１００１はＳ１０００の結果に基づき、カメラ状態検出部１０４より接続されたカメラが設置されているかを確認する処理である。なお、本実施例におけるカメラ状態検出部１０４は、カメラの設置位置を確認する機能を有しており、設置位置の確認は、カメラにあらかじめ保持されている情報、例えば車種、設置位置、方向、画角などの情報、を使用して行う。カメラが設置されていなければ終了となる。
Ｓ１００２はＳ１００１でカメラ設置の確認結果を受け、カメラのチェックＩＤを１とする。
Ｓ１００３はチェックＩＤと同じＩＤのカメラ情報を撮像範囲情報から取得する。
Ｓ１００４はカメラのチェックＩＤを＋１とする。
Ｓ１００５はチェックＩＤと同じＩＤのカメラ情報があるか判断し、あればＳ１００３に戻り、なければＳ１００６に進む。
Ｓ１００６はカメラ毎のＳ１００３〜Ｓ１００５の処理を行い、カメラ毎の撮像範囲情報の取得結果に基づき、カメラ毎の代替カメラを計算し、カメラ選択リスト１０５として保持し、終了となる。なお、計算する際は、撮像範囲の重なりの大きいものの優先順位を高くする、すなわち、死角となる範囲の少ないものの順位を高くすることにより行うことができる。
上記した実施例では撮像範囲の例として水平方向の画角を用いたが、鉛直方向の画角であっても良い。
上記した実施例では撮像範囲の例として水平方向の画角の重複が大きい順で優先順位を決定したが、重複する画角が等しい場合には、選定基準として運転席からの距離を追加しても良い。このような運転支援カメラの場合、運転者から離れるほど死角が大きくなる傾向があり、カメラ映像による支援が必要と考えられる。
上記した実施例では代替カメラの選択のみ行なっているが、代替カメラの撮像範囲情報を用いて撮像映像を部分的に拡大し、元のカメラの撮像範囲に近い映像を表示しても良い。例えば、代替カメラが全方位カメラの場合であれば、元カメラの撮像範囲に該当する部分を切り出し、歪みを修正して表示することで違和感無くユーザの安全性を高めることが可能となる。
以上説明したように上記実施例によれば、予めカメラ設置位置に応じた撮像範囲情報を保持することで、カメラ毎の代替カメラを算出しカメラ選択リストを生成することが可能となり、車両に搭載されたカメラ数が増減する場合においても、カメラ選択リストをユーザが書き換える必要が無くなり、利便性が向上する。
【図面の簡単な説明】
【００２３】
【図１】実施例１のカメラシステムの構成の説明図。
【図２】実施例１におけるカメラ配置の概念の説明図。
【図３】実施例１におけるカメラ選択リストのテーブルの説明図。
【図４】実施例１における構成機器の動作説明図。
【図５】実施例２のナビゲーションシステムの構成の説明図。
【図６】実施例２における構成機器の動作説明図。
【図７】実施例３のカメラシステムの構成の説明図。
【図８】実施例３における構成機器の動作説明図。
【図９】実施例４のカメラシステムの構成の説明図。
【図１０】実施例４における撮像範囲情報テーブルの説明図。
【図１１】実施例４における構成機器の動作説明図。
【符号の説明】
【００２４】
１０１ 後方カメラ
１０２ 左方カメラ
１０３ 右方カメラ
１０４ カメラ状態検出部
１０５ カメラ選択リスト
１０６ システム制御部
１０７ カメラ選択部
１０８ 表示装置
１０９ 操作部
１１０ カメラ選択処理部
１１１ メッセージ保持部
２０１ 車両
５０１ ナビゲーション部
５０２ ＧＰＳ
５０３ 地図データ
５０４ ディーラ情報
５０５ 表示部
５０６ ナビゲーション制御部
５０７ ディーラ通知処理部
５０８ 経路探索制御部
７０１ 通信装置
７０２ 基地局
７０３ 通信ネットワーク
７０４ 車両管理サーバ
【特許請求の範囲】
【請求項１】
少なくとも２つのカメラと、前記カメラにて撮像した映像を表示する表示装置と、前記表示装置へ出力するカメラを選択する指示を受け付けるカメラ操作部と、
前記カメラ操作部の指示に応じて前記表示装置へ出力する撮像映像を切り替えるカメラ選択部と、
を設けた撮像表示制御装置において、
前記カメラが撮像可能か不可かを検出するカメラ状態検出部と、
前記表示装置へ出力するカメラの優先順位を示したカメラ選択リストと、
前記カメラ状態検出部が撮像不可と判断した場合に前記カメラ選択リストの優先順位に従ってカメラを選択するカメラ選択処理部と、前記カメラ選択処理部で選択されたカメラを前記表示装置へ出力するよう前記カメラ操作部へ指示する表示制御部と、を設けたことを特徴とする撮像表示制御装置。
【請求項２】
請求項１に記載の撮像表示制御装置において、
前記カメラ選択処理部は、運転者に通知するメッセージを保持するメッセージ保持部を有し、
該カメラ選択処理部は、撮像不可の場合には、前記メッセージ保持部より、カメラの状態または異常発生に応じたメッセージを選択し、前記表示装置に出力することを特徴とする撮像表示制御装置。
【請求項３】
請求項１または請求項２に記載の撮像表示制御装置におけるカメラ選択処理部に、カメラ撮像不可時に車両ディーラ探索指示を出力するディーラ探索指示部を設け、
車両ディーラ位置を含む地図データと、少なくとも経路情報を前記表示装置に出力する経路情報出力部とを有するカーナビゲーションシステムに、
前記ディーラ探索指示部からの通知を受け、現在地から所定の車両ディーラまでの経路を前記経路情報出力部により、前記表示装置に出力されることを特徴とするカーナビゲーションシステム。
【請求項４】
請求項１または請求項２に記載の撮像表示制御装置において、
外部と通信を行う通信部を有し、
前記カメラ選択処理部が、撮像不可と判断した場合に前記通信部を用いて車両管理を行うサーバに前記カメラの状態を通知することを特徴とする撮像表示制御装置。
【請求項５】
請求項１に記載の撮像表示制御装置において、
前記カメラの設置位置に応じた撮像範囲を予め保持する撮像範囲情報を有し、
前記カメラ選択処理部は、該カメラシステムに接続されたカメラ設置位置より、前記撮像範囲情報からカメラ毎の撮像範囲を取得し、カメラに不具合が発生した場合には該カメラの撮像範囲と重複する割合が大きい順に、代替カメラのリストを作成し、前記カメラシステムが有するカメラ選択リストとして保持することを特徴とする撮像表示制御装置。
【請求項６】
少なくとも２つのカメラと、前記カメラにて撮像した映像を表示する表示装置と、請求項１記載の撮像表示制御装置からなることを特徴とするカメラシステム。
【請求項７】
少なくとも２つのカメラ及び前記カメラにて撮像した映像を表示する表示装置を接続し、
前記表示装置へ出力する映像を撮像するカメラを選択するよう指示するカメラ操作ステップと、
前記カメラ操作部の指示に応じて前記表示装置へ出力する撮像映像を切り替えるカメラ選択ステップと、
を含む撮像表示制御方法において、
前記カメラが撮像可能か不可かを検出するカメラ状態検出ステップと、
前記表示装置への表示で選択される初期選択カメラ及び該初期選択カメラの代替カメラの選択順序を示したカメラ選択リストを使用し、前記カメラ状態検出ステップで初期選択カメラの撮像不可と判断した場合に前記カメラ選択リストの選択順序に従って代替カメラを選択するカメラ選択処理ステップと、前記カメラ選択処理ステップで選択されたカメラを前記表示装置へ出力するよう前記カメラ操作ステップで行うよう指示する表示制御ステップとを含むことを特徴とする撮像表示制御方法。
【請求項１】
少なくとも２つのカメラと、前記カメラにて撮像した映像を表示する表示装置と、前記表示装置へ出力するカメラを選択する指示を受け付けるカメラ操作部と、
前記カメラ操作部の指示に応じて前記表示装置へ出力する撮像映像を切り替えるカメラ選択部と、
を設けた撮像表示制御装置において、
前記カメラが撮像可能か不可かを検出するカメラ状態検出部と、
前記表示装置へ出力するカメラの優先順位を示したカメラ選択リストと、
前記カメラ状態検出部が撮像不可と判断した場合に前記カメラ選択リストの優先順位に従ってカメラを選択するカメラ選択処理部と、前記カメラ選択処理部で選択されたカメラを前記表示装置へ出力するよう前記カメラ操作部へ指示する表示制御部と、を設けたことを特徴とする撮像表示制御装置。
【請求項２】
請求項１に記載の撮像表示制御装置において、
前記カメラ選択処理部は、運転者に通知するメッセージを保持するメッセージ保持部を有し、
該カメラ選択処理部は、撮像不可の場合には、前記メッセージ保持部より、カメラの状態または異常発生に応じたメッセージを選択し、前記表示装置に出力することを特徴とする撮像表示制御装置。
【請求項３】
請求項１または請求項２に記載の撮像表示制御装置におけるカメラ選択処理部に、カメラ撮像不可時に車両ディーラ探索指示を出力するディーラ探索指示部を設け、
車両ディーラ位置を含む地図データと、少なくとも経路情報を前記表示装置に出力する経路情報出力部とを有するカーナビゲーションシステムに、
前記ディーラ探索指示部からの通知を受け、現在地から所定の車両ディーラまでの経路を前記経路情報出力部により、前記表示装置に出力されることを特徴とするカーナビゲーションシステム。
【請求項４】
請求項１または請求項２に記載の撮像表示制御装置において、
外部と通信を行う通信部を有し、
前記カメラ選択処理部が、撮像不可と判断した場合に前記通信部を用いて車両管理を行うサーバに前記カメラの状態を通知することを特徴とする撮像表示制御装置。
【請求項５】
請求項１に記載の撮像表示制御装置において、
前記カメラの設置位置に応じた撮像範囲を予め保持する撮像範囲情報を有し、
前記カメラ選択処理部は、該カメラシステムに接続されたカメラ設置位置より、前記撮像範囲情報からカメラ毎の撮像範囲を取得し、カメラに不具合が発生した場合には該カメラの撮像範囲と重複する割合が大きい順に、代替カメラのリストを作成し、前記カメラシステムが有するカメラ選択リストとして保持することを特徴とする撮像表示制御装置。
【請求項６】
少なくとも２つのカメラと、前記カメラにて撮像した映像を表示する表示装置と、請求項１記載の撮像表示制御装置からなることを特徴とするカメラシステム。
【請求項７】
少なくとも２つのカメラ及び前記カメラにて撮像した映像を表示する表示装置を接続し、
前記表示装置へ出力する映像を撮像するカメラを選択するよう指示するカメラ操作ステップと、
前記カメラ操作部の指示に応じて前記表示装置へ出力する撮像映像を切り替えるカメラ選択ステップと、
を含む撮像表示制御方法において、
前記カメラが撮像可能か不可かを検出するカメラ状態検出ステップと、
前記表示装置への表示で選択される初期選択カメラ及び該初期選択カメラの代替カメラの選択順序を示したカメラ選択リストを使用し、前記カメラ状態検出ステップで初期選択カメラの撮像不可と判断した場合に前記カメラ選択リストの選択順序に従って代替カメラを選択するカメラ選択処理ステップと、前記カメラ選択処理ステップで選択されたカメラを前記表示装置へ出力するよう前記カメラ操作ステップで行うよう指示する表示制御ステップとを含むことを特徴とする撮像表示制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−１３６２９５（Ｐ２０１０−１３６２９５Ａ）
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２００８−３１２６０４（Ｐ２００８−３１２６０４）
【出願日】平成２０年１２月８日（２００８．１２．８）
【出願人】（５９１１３２３３５）株式会社ザナヴィ・インフォマティクス (745)
【Ｆターム（参考）】
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２０年１２月８日（２００８．１２．８）
【出願人】（５９１１３２３３５）株式会社ザナヴィ・インフォマティクス (745)
【Ｆターム（参考）】
[ Back to top ]