カメラシステム
【課題】車載画像認識装置や、搭乗者、また車外のユーザなどにより複数の装置からカメラ操作命令が行われ、カメラへの操作が同時または近接した時間内に発生する状況ではカメラに対する操作命令が競合しドライバの運転に危険が生じる可能性があった。
【解決手段】各装置からのカメラ制御命令の実行基準を規定する優先度を予め保持した優先度保持手段と、各装置からの操作命令を受けカメラを制御するカメラ制御手段とを有し、該カメラ制御手段は少なくとも、前記優先度を前記優先度保持手段から読出し、受信したカメラ操作命令を各装置に対応する該優先度の高い順に実行する。
【解決手段】各装置からのカメラ制御命令の実行基準を規定する優先度を予め保持した優先度保持手段と、各装置からの操作命令を受けカメラを制御するカメラ制御手段とを有し、該カメラ制御手段は少なくとも、前記優先度を前記優先度保持手段から読出し、受信したカメラ操作命令を各装置に対応する該優先度の高い順に実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラシステムに関し、特に、車両の状態に応じたカメラ制御優先度管理技術に関する。
【背景技術】
【０００２】
近年、カメラシステムが普及し、社会インフラとしてカメラシステムの利用が拡大している。これらのカメラシステムはネットワークを通じて遠隔操作が可能であり、操作内容も上下方向のチルトや、左右方向のパン、レンズ調整のズームイン・ズームアウト、絞りを用いた露光調整など多彩である。このようなカメラシステムはドライバの視界を補助するために車両にも搭載が検討されており、現在市販されている車両においても、後方確認の後方カメラや、助手席側の側方カメラ、また夜間の障害物認識を行う赤外線カメラ等、既に搭載されている。
【０００３】
例えば、特許文献１には、前方または後方を監視する車載カメラを車両の速度に従ってズーム制御し車両の速度に応じて焦点距離を変えて撮影する技術が記載されている。また、車載カメラを、運転席などの操作パネルからの指令、車両外部からの信号、ナビゲーション装置からの信号など応じて調節することが記載されている。また、特許文献２には、車載カメラ画像に映った道路上の白線を認識する等、画像認識処理を用いた安全性の向上技術が記載されている。また、特許文献３には、車両に搭載された無線通信装置を介して車外からカメラ画像を参照すること、ドライバ以外のユーザが車載カメラの画像を利用することが記載されている。
【特許文献１】特開平１１−３１２３００号公報
【特許文献２】特開２０００−２４２７９３号公報
【特許文献３】特開２００３−１１２５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では車内機器、例えば車内の画像認識装置や、後席の搭乗者、また車外のユーザからカメラ操作が行われることに関して充分に検討されていなかった。このように複数の装置から同一のカメラへの操作が同時または近接した時間内に発生する状況では、カメラに対する操作命令が競合しドライバの運転に危険が生じる可能性がある。例えば、後方カメラの画像を視認して後進する際に、他のユーザが後方カメラに対してチルトやパン、ズームイン・ズームアウトなどの操作を行うことは、ドライバの運転を誤らせる可能性があり、非常に危険である。
【０００５】
本発明の目的は、上記背景技術の状況に鑑み、予め保持した優先度に基づいてカメラ制御を管理することが可能な車載カメラシステムを提供し、安全性を向上させることである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明では、複数の装置がネットワークを介して撮像装置を制御する撮像システムにおいて、各装置からのカメラ操作命令の実行基準を規定する優先度を予め保持した優先度保持手段と、各装置からの操作命令を受けカメラを制御するカメラ制御手段とを有し、該カメラ制御手段は少なくとも、前記優先度を前記優先度保持手段から読出し、受信したカメラ操作命令を各装置に対応する該優先度の高い順に実行することを特徴とする。
【０００７】
また、本発明では、複数の装置が車内ネットワークを介して車載カメラを制御する車載カメラシステムにおいて、走行（右左折、前進後退）や停止、事故（エアバック作動）などの車両状況を取得する車両状況取得手段と、前記車両状況毎に各装置からのカメラ操作命令の実行基準を規定する優先度を予め保持した優先度保持手段と、各装置からの操作命令を受けカメラを制御するカメラ制御手段を有し、該カメラ制御手段は少なくとも前記車両状況取得手段から読み出した車両状況に応じた各機器の優先度を前記優先度保持手段から読み出し、各装置から受信したカメラ操作命令を該優先度に従って実行することを特徴とする。
【０００８】
また、本発明では、前記カメラ制御手段は、前記カメラ操作命令の実行状況を、少なくとも該カメラ操作命令の送信元を含む複数の装置へ通知することを特徴とする。
【０００９】
また、本発明では、前記カメラ制御手段は少なくとも、受信したカメラ操作命令が実行不可の場合は、該カメラ操作命令の送信元に、実行不可であることを通知することを特徴とする。
【００１０】
また、本発明では、複数の装置がネットワークを介して撮像装置を制御する撮像システムの制御方法において、前記複数の装置からの操作命令の実行基準を規定する優先度を予め優先度保持手段に保持し、撮像装置制御手段は、前記複数の装置の各装置からの操作命令を受信すると、前記優先度保持手段に予め保持された前記優先度を前記優先度保持手段から読出し、前記受信した操作命令を各装置に対応する前記優先度の高い順に実行することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、カメラへの操作命令が競合した場合においても安定度に関連した装置からの操作命令を優先することにより、システム全体の安定度の低下を防ぐことができる。また、車載カメラへの操作命令が競合した場合においても、ドライバの運転に支障を与えることなく、安全に制御が行われるようになる。また、車載カメラへの操作命令が実行不可の状況である場合においても、操作命令実行の有無を確認することが可能であり、システムに異常が発生していると、操作命令の送信元に誤認識されることを防ぐことができる。また、ドライバや後席搭乗者や遠隔操作者に対してカメラ操作が競合していることを通知することにより、操作内容の変更や、他のユーザの操作を監視可能となり、ユーザの利便性を向上させることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について、図面を用いて説明する。
【実施例１】
【００１３】
図１〜図３及び図９は本発明の実施例１の説明図である。図１は本発明である撮像システムを適用した車載カメラシステムの概念図、図２は本発明である撮像システムの構成図、図３は図２の構成機器の動作説明図である。図９は予め保持された優先度を管理する記憶情報テーブルの一例である。
【００１４】
本発明の実施例１は複数の装置から撮像装置の制御が可能なシステムにおいて、各装置に対する優先度を予め設けることにより、操作命令の競合を防ぐ場合の例である。図１において、１０１は車載カメラシステムを搭載した車両、１０２は前方に取り付けられ、車内ネットワーク（車載ＬＡＮ）１１６に接続され、該ネットワークからの制御信号で焦点を調整したり、カメラ方向を変更することが可能な車載カメラ、１０３は後方に取り付けられ、車内ネットワークと接続され、該ネットワークからの制御信号で焦点を調整したり、カメラ方向を変更することが可能な車載カメラである。
【００１５】
１０４は車内ネットワークと接続され、該ネットワークへ制御信号を送信可能かつ、該ネットワークから受信したカメラデータを表示可能なカーナビ、１０５は前記カーナビ１０４に接続された前席表示装置、１０６は車内ネットワークと接続され、該ネットワークへ制御信号を送信可能かつ、該ネットワークから受信したカメラデータを表示可能な後席ＵＩ（User Interface）制御装置、１０７は前記後席ＵＩ制御装置１０６に接続された後席表示装置、１０８は車内ネットワークに接続され、車外と通信可能な無線装置、１０９は車内ネットワークを構成するリピータＨＵＢ、１１０は車内ネットワークと接続され、該ネットワークに接続されたカメラの制御可能かつ、他の装置が送信したカメラ操作命令を受信し車両の状況などに応じた優先順位に従ってカメラ操作命令を実行するカメラ制御管理装置、１１１は少なくとも１つのカメラ映像を処理し認識処理を行う画像認識装置である。
【００１６】
１１２は無線通信を行う通信基地局、１１３は通信ネットワーク網、１１４は車両１０１と通信可能な車両、１１５は車外にあり、基地局１１２と通信可能なカメラ画像表示装置である。
【００１７】
本例の車載カメラ１０２、１０３としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）の撮像素子を持ち、接続された車内ネットワークからの操作命令を受け出力するフレームレートや画質、カメラのフォーカス、カメラ方向等の制御が可能なカメラである。
【００１８】
また、ネットワークへの接続方式としてはＩＥＥＥ１３９４やＥｔｈｅｒｎｅｔ（登録商標）（ＩＥＥＥ ８０２．３）、情報系の車載ネットワークであるＭＯＳＴ（Media Oriented Systems Transport）などのデジタル有線接続や、カメラデータを転送するデータ線と制御データを転送する制御線を持つアナログ有線接続、ＷｉＦｉ（８０２．１１ａ／ｂ／ｇ）やＢｌｕｅｔｏｏｔｈ等の無線接続、などの方式が考えられる。以降、本明細書における車内ネットワーク接続の接続方式は同様とする。
【００１９】
カーナビ１０４は地図情報をＨＤＤまたはＤＶＤまたは通信によるダウンロードなどにより保持し、音声入出力を持つナビゲーションシステムである。音声出力としてはスピーカーやイヤホンジャックやＢｌｕｅｔｏｏｔｈ接続ヘッドフォンが考えられる。音声入力としてはマイクやＢｌｕｅｔｏｏｔｈ接続マイクが考えられる。また、前記車内ネットワーク接続を有する。
【００２０】
前席表示装置１０５は搭乗者に映像や地図などを表示する装置である、表示方式としては液晶や有機ＥＬ（electro luminescence）などのパネル、電源停止後も映像が残る電子ペーパー、投射方式、オーバーヘッドディスプレイなどが考えられる。カーナビ１０４との接続方式としては前記車内ネットワーク接続や、ＧＶＩＦ（Gigabit Video Interface）やＬＶＤＳ（Low Voltage Differential Signaling）などの低電圧差動伝送方式や、家電やＡＶ機器向けのデジタル映像・音声入出力 インターフェース規格であるＨＤＭＩ（High Definition Multimedia Interface）などでも良い。また、ユーザからの入力インターフェースとして操作キーやタッチパネル機能を備えても良い。
【００２１】
後席ＵＩ（User Interface）制御装置１０６と後席表示装置１０７はそれぞれ前記カーナビ１０４および前記前席表示装置１０５と同様である。
【００２２】
無線装置１０８は、ＰＨＳ（Personal Handy-phone System）、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（Global System for Mobile Communications）、ＣＤＭＡ（Code Division Multiple Access）、Ｗ−ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ−２０００、ＤＳＲＣ（Dedicated Short Range Communication）、ＷｉＭａｘ（Worldwide Interoperability for Microwave Access）等の通信方式を少なくとも一つは有する通信装置。また、前記車内ネットワーク接続を有する。
【００２３】
リピータＨＵＢ１０９は前記車内ネットワーク接続と接続され、受信した情報をネットワークへ再送する機能を有し、前記ＩＥＥＥ１３９４、Ｅｔｈｅｒｎｅｔ、ＭＯＳＴ等のデジタル有線接続で用いられるリピータＨＵＢ等が考えられる。またアナログ接続では複数のカメラ画像の入力を受け一つのカメラ画像だけを出力するような画像切り替え機などが考えられる。
【００２４】
カメラ制御管理装置１１０は車両状態に応じた各装置の優先度を保持するメモリ等の記憶装置と、ＣＰＵで構成された装置であって、各装置からの操作命令を受信し、前記優先度に従って実行するプログラムで構成される。また、前記車内ネットワーク接続を有する。
画像認識装置１１１は少なくとも一つのカメラ映像を解析し、人物または物体を検出する装置である。また、前記車内ネットワーク接続を有する。
【００２５】
通信基地局１１２は前記無線装置１０８が用いる通信方式で接続可能な通信基地局または中継局であり、通信ネットワーク１１３へ接続されている。通信ネットワーク１１３はインターネット等の無線及び有線のネットワークである。車両１１４は通信により車両１０１や通信基地局１１２と通信可能な車両である。
【００２６】
カメラ画像表示装置１１５はＩＥＥＥ１３９４やＥｔｈｅｒｎｅｔ（ＩＥＥＥ ８０２．３）、もしくは前記無線装置１０８が用いる通信方式で前記通信ネットワーク１１３に接続され、車両からの情報を読み取り可能で、カメラに対する操作命令も送信可能である。家庭から車両の状態を参照するためのＰＣ端末や、コールセンタなどから緊急時に車両のサポートを行うオペレータ端末、複数の車両からの画像を集めたデータベース等が考えられる。
【００２７】
なお、本図１ではリピータＨＵＢ１０９を用いて車内ネットワーク（車載ＬＡＮ）１１６を構成しているが、ＩＥＥＥ１３９４機器のように各機器間が直接接続されネットワークを構成する場合等であれば、リピータＨＵＢ１０９を使用せずに車内ネットワークを実現しても良い。
【００２８】
図２において、２０１は撮像装置を制御可能な装置群、２０２は装置２０１から送信された撮像装置２０３に対する操作命令を優先度保持手段２０４に保持された優先度に従って実行する撮像装置制御手段、２０３は静止画もしくは動画の撮像可能な撮像装置、２０４は各装置の優先度を保持した優先度保持手段である。
【００２９】
本例の装置２０１としては、車内、車外に関わらず撮像装置２０３に対する制御を行う装置であり、車載ディスプレイと制御ボタンなどから成るナビゲーションシステムや後席ディスプレイ、または警備会社などに設置された監視カメラ管理端末などでもよい。
【００３０】
撮像装置制御手段２０２としてはＣＰＵ等の演算装置やメモリなどの記憶装置を持つユニットに内蔵され、優先度に従った制御処理を実行するプログラムで構成される。撮像装置２０３としては、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）の撮像素子を持ち、接続された撮像装置制御手段からの操作命令を受け出力する画像データのフレームレートや画質、カメラのフォーカス、カメラ方向等の制御が可能なカメラである。優先度保持手段２０４としては、フラッシュメモリなどの記憶装置が考えられる。
【００３１】
図３は、上記図２における装置２０１、撮像装置制御手段２０２、撮像装置２０３、および優先度保持手段２０４の動作説明図である。撮像装置制御手段２０２は、装置２０１からの撮像装置２０３に対する操作命令を取得し（ステップＳ３０１）、対象となる撮像装置２０３に対する撮像装置操作命令が存在するかどうか、即ち、撮像装置操作命令の有無を判定し（ステップＳ３０２）、優先度保持手段２０４に保持された優先度を参照し（ステップＳ３０３）、撮像装置操作命令のうち優先度の最も高い処理について実行する（ステップＳ３０４）。このステップＳ３０１〜Ｓ３０４の処理を繰り返し、操作命令が無くなると終了する。
【００３２】
ステップＳ３０１において、装置２０１からの撮像装置２０３に対する操作命令を取得する際には、撮像装置制御手段２０２は、装置２０１からの撮像装置２０３に対する操作命令を受信した後、受信した操作命令を図示しないバッファ等に格納し、バッファ等に格納された操作命令を読み出して、該当の操作命令を取得する。
【００３３】
撮像装置制御手段２０２が上記図３に示す処理を実行するタイミングは、装置２０１からの撮像装置への操作命令を制御手段２０３が受信する毎や、タイマー処理により数ミリ秒などの単位時間経過毎等でも良い。
【００３４】
図９は左縦軸に車載カメラ種別を示し、右側列に各装置の優先度を示している。優先度は３が最大値で２，１と順に低くなる。また０は実施不可としている。なお、本優先度は車両メーカもしくは車載機器提供メーカなどにより予め定められたものとする。
【００３５】
かかる構成において、例えば図９のＮｏ．１の行に示される優先度を用いる例であれば、車両１０１が走行中に車載カメラ１０２により撮像した画像を画像認識装置１１１が処理し障害物認識を行い、その最中に後席搭乗者が後席ＵＩ制御装置１０６から車載カメラ１０２へチルト操作命令を入力すると、該操作命令はカメラ制御管理装置１１０へ送られ、該操作命令を受信したカメラ制御管理装置１１０は画像認識装置１１１が車載カメラ１０２を使用している状態であることを認識し、対応する優先度を参照した結果として、画像認識装置が優先度３で他の車内ディスプレイが優先度１であることから、画像認識装置１１１の操作命令を優先し、後席ＵＩ制御装置１０６からの該操作命令を受け付けない。もしくは画像認識装置１１１による障害物認識処理が終了し、後席ＵＩ制御装置１０６の優先度が最も高くなった場合に前記操作命令は実行される。
【００３６】
また、上記の例えば図９のＮｏ．１の行に示される優先度を用いる例において、後席搭乗者が後席ＵＩ制御装置１０６から車載カメラ１０２へチルト操作命令を入力しチルト制御が行われている最中に、車両１０１が走行中に車載カメラ１０２により撮像した画像を画像認識装置１１１が処理し障害物認識を行ための操作命令がカメラ制御管理装置１１０へ送られると、該操作命令を受信したカメラ制御管理装置１１０は、チルト制御が行われている状態であることを認識し、対応する優先度を参照した結果として、画像認識装置が優先度３で他の車内ディスプレイが優先度１であることから、画像認識装置１１１の操作命令を優先し、画像認識装置１１１による障害物認識処理のための操作命令が優先的に実行される。
【００３７】
上記実施例１によれば、複数の装置から同一の撮像装置に対して制御を行う場合において、各装置に対する優先度を予め設けることにより、操作命令の競合を防ぐことが可能となり、システム全体の安定度を向上させることができる。
【実施例２】
【００３８】
図４〜図５および図１１は、本発明の実施例２の説明図である。図４は本発明である車載カメラシステムの構成図、図５は図４の構成機器の動作説明図である。図１１は予め保持され、車両状況に応じた優先度を管理する記憶情報テーブルの一例である。
【００３９】
本発明の実施例２は、複数の装置から車載カメラの制御が可能なシステムにおいて、車両状況に応じて各車載機器の優先度を予め設け、該優先度に従って操作命令を実行することで操作命令の競合を防ぐ場合の例である。
【００４０】
図４において、４０１はカメラを制御する可能性の有る車載機器群、４０２は車載機器４０１から送信されたカメラ４０３に対する操作命令を車両状況取得手段４０５から読み出した車両状況に応じた優先度を優先度保持手段４０４から参照し、該優先度に従って制御処理を実行するカメラ制御手段、４０３は静止画もしくは動画の撮像可能なカメラ、４０４は車両状況に応じた各装置の優先度を保持した優先度保持手段、４０５は車両状況を取得、もしくは保持する車両状況取得手段である。
【００４１】
本例の車載機器４０１としては車内、車外に関わらず撮像装置２０３に対する制御を行う装置であり、走行中にカメラを用いて障害物認識を行う障害物認識装置や、カメラ制御可能なナビゲーションシステムや、車載ディスプレイと制御ボタンなどから成る後席ディスプレイ、または警備会社などに設置されたカメラ管理端末と無線接続を行う無線通信装置等でもよい。
【００４２】
カメラ制御手段４０２としてはナビゲーションシステムや、ＣＰＵ等の演算装置とメモリなどの記憶装置を持つユニットに内蔵され、優先度に従った制御処理を実行するプログラムで構成される電子制御ユニット（ＥＣＵ）などが考えられる。
【００４３】
撮像装置２０３としてはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）の撮像素子を持ち、接続された撮像装置制御手段からの操作命令を受け出力する画像データのフレームレートや画質、カメラのフォーカス、カメラ方向等の制御が可能なカメラである。優先度保持手段４０４としてはフラッシュメモリなどの記憶装置が考えられる。
【００４４】
車両状況保持手段４０５としては、自車両で実行中の画像認識処理や、ステアリングの傾きを検出する陀角センサ、ブレーキ制御で用いるＡＢＳセンサ、タイヤ圧力センサー（ＴＰＭＳ）、車両と障害物の距離を計測するマイクロ波センサなどの各種センサの情報、または該各種センサの情報から判定した状態を保持し、随時更新する電子制御ユニット（ＥＣＵ）やカーナビゲーションなどが考えられる。
【００４５】
図５は、上記図４における車載機器４０１、カメラ制御手段４０２、カメラ４０３、優先度保持手段４０４、および車両状況取得手段４０５の動作説明図である。
【００４６】
カメラ制御手段４０２は車載機器４０１からのカメラ４０３に対する操作命令を取得し（ステップＳ５０１）、対象となるカメラ４０３に対するカメラ操作命令が存在するか有無を判定し、カメラ操作命令が無い場合は終了する（ステップＳ５０２）。カメラ操作命令が有る場合は車両状況取得手段４０５により取得され、図示しないバッファ等に保持された車両状況を読み出し（ステップＳ５０３）、優先度保持手段４０４に保持され、車両状況に応じた優先度を参照し（ステップＳ５０４）、カメラ操作命令のうち優先度の最も高い処理について実行する（ステップＳ５０５）。この後、ステップＳ５０１からの処理を繰り返す。
【００４７】
カメラ制御手段５０２が上記図５に示す処理を実行するタイミングは、車載機器４０１からカメラへの操作命令をカメラ制御手段４０２が受信する毎や、タイマー処理により数ミリ秒などの単位時間経過毎等でも良い。
【００４８】
図１１は左縦軸に車両状況とカメラ種別を示し、右側列に各装置の車両状況に応じた優先度を示す。優先度は３が最大値で２，１と順に低くなる。また０は実施不可としている。例えば、前記車両状況取得手段４０５がＴＰＭＳの急激な圧力低下や、エアバックの作動などの各種センサ情報からタイヤのパンク・追突などを検知・取得し、車両１０１が事故の状況となった場合、「事故時」に記されるように車外からの車載カメラへの操作が最優先となり、通信装置１０８からネットワーク１１３で接続され、コールセンタに設置されたカメラ画像表示装置１１５から車載カメラの制御を行い、車両周辺状況の確認などが可能となる。
【００４９】
なお、車両状況としては、この例で示す「通常時」「事故時」「緊急時」等だけでなく、例えば「画像認識装置作動時」など、特定の機器が車載カメラを使用していることを示すような車両状況であっても構わない。
【００５０】
上記実施例２によれば、複数の車載機器から同一のカメラに対して制御を行う場合において、各車載機器に対する優先度を車両状況に応じて予め設けることにより、操作命令の競合を防ぐことが可能となり、運転の安全性低下を防ぐことができる。
【実施例３】
【００５１】
図６〜図８、及び図１０は本発明の実施例３の説明図である。図６は本発明である車載カメラシステムの構成図、図７及び図８は図６の構成機器の動作説明図である。図１０は車内ディスプレイに表示されたカメラ操作命令の実行不可メッセージの一例である。
【００５２】
本発明の実施例３は、複数の装置から車載カメラの制御が可能なシステムにおいて、車両状況に応じた各車載機器の優先度を予め設け、該優先度に従って操作命令を実行することで操作命令の競合を防ぎ、かつ該優先度が実施不可の操作命令に対してはユーザに実施不可であることを通知する場合の例である。
【００５３】
図６において、６０１はカメラ制御手段４０２において実施不可である操作命令をユーザに通知処理を行う通知手段、また図４と同様の構成部品については同一符号を付す。本例の通知手段６０１としてはカメラ制御手段４０２から車載機器４０１へ操作命令が実行不可であることを通知する処理を実行するプログラムで構成される。
【００５４】
図７は、上記図６における車載機器４０１、カメラ制御手段４０２、カメラ４０３、優先度保持手段４０４、車両状況取得手段４０５、および通知手段６０１の動作説明図である。なお図５と同様の処理手順については同一符号を付す。
【００５５】
カメラ制御手段４０２は車載機器４０１からのカメラ４０３に対する操作命令を取得し（ステップＳ５０１）、対象となるカメラ４０３に対するカメラ操作命令が存在するかどうかを判定し、カメラ操作命令が無い場合は終了する（ステップＳ５０２）。
【００５６】
カメラ操作命令が有る場合は車両状況取得手段４０５により取得・保持された車両状況を読み出し（ステップＳ５０３）、優先度保持手段４０４に保持され、車両状況に応じた優先度を参照し（ステップＳ５０４）、カメラ操作命令のうち優先度の最も高い処理について実行し（ステップＳ５０５）、続けてカメラ制御手段の内部で未実施のカメラ操作命令のうち実行不可である処理の有無を判定し、該当する処理が無い場合はステップＳ５０１から処理を繰り返す（ステップＳ７０１）。
該当する処理が有る場合は該当操作の命令を送信した車載機器に対し実行不可であることを通知する（ステップＳ７０２）。この後、ステップＳ５０１からの処理を繰り返す。
【００５７】
図８は、上記図６における車載機器４０１、カメラ制御手段４０２、カメラ４０３、優先度保持手段４０４、車両状況保持手段４０５、および通知手段６０１の動作説明図である。なお図５及び図７と同様の処理手順については同一符号を付す。
【００５８】
カメラ制御手段４０２は車載機器４０１からのカメラ４０３に対する操作命令を取得し（ステップＳ５０１）、対象となるカメラ４０３に対するカメラ操作命令が存在するかどうかを判定し、カメラ操作命令が無い場合は終了する（ステップＳ５０２）。
【００５９】
カメラ操作命令が有る場合は、車両状況取得手段４０５により取得され、保持された車両状況を読み出し（ステップＳ５０３）、優先度保持手段４０４に保持され、車両状況に応じた優先度を参照し（ステップＳ５０４）、カメラ操作命令のうち優先度の最も高い処理について実行し（ステップＳ５０５）、続けてカメラ制御手段の内部で未実施のカメラ操作命令のうち実行不可である処理の有無を判定し、該当する処理が無い場合はステップＳ５０１から処理を繰り返す。（ステップＳ７０１）
【００６０】
該当する処理が有る場合は該当操作の命令を送信した車載機器に対し実行不可であることを通知し（ステップＳ７０２）、ユーザのＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）に対し実行不可であることを通知する（ステップＳ８０１）。この後、ステップＳ５０１からの処理を繰り返す。
【００６１】
カメラ制御手段５０２が上記図５に示す処理を実行するタイミングは、車載機器４０１からカメラへの操作命令をカメラ制御手段４０２が受信する毎や、タイマー処理により数ミリ秒などの単位時間経過毎等でも良い。
【００６２】
図１０は車内ディスプレイと、該ディスプレイに表示されたカメラ操作命令の実行不可メッセージ一例である。例えば、前記図１１のＮｏ．１１に記されるように、地デジ放送で検討されているような緊急放送を外部から通知された場合、車内の後席ディスプレイからのカメラチルトなどの命令は実施不可となり、後席ディスプレイだけでなく運転席側のディスプレイにも実行不可の内容と操作元を示すメッセージが表示される。
【００６３】
なお、車両状況取得手段４０５により取得され、図示しないバッファ等に保持される緊急状況としては、車両自体の状況ではなく、車両の現在の緊急状況、あるいは今後予想される車両の緊急状況等が含まれ、上述の緊急放送を外部から通知された場合のほか、道路災害の発生、急激な気象異常の発生、交通事故の発生、救急車・パトカーの接近といった車両を取り巻く緊急状況が含まれる。
【００６４】
上記実施例３によれば、複数の車載機器から同一のカメラに対して制御を行った場合において、各車載機器に対する優先度を車両状況に応じて予め設け操作命令の競合を防ぎ、かつ操作命令が実行不可であったことを車載機器へ通知可能することで、操作命令元の車載機器において処理が実行されなかったことを認識することが可能となり、システムに異常が発生していると、操作命令の送信元に誤認識されることを防ぐことができる。
【００６５】
また、操作命令が実行不可であったことをユーザのＨＭＩへ通知することで、ユーザはカメラ制御を車載機器が試みたことを知ることができ、不要な機能が起動していることや、他のユーザの操作を監視することが可能となる。
【００６６】
なお、上記の説明では、実行状況の通知として、特定の操作命令の実行不可メッセージと、上記操作命令の操作元を示すメッセージしか表示されていないが、上記の実行不可のメッセージに加えて、例えば、「ＸＸＸがチルト操作中（ＸＸＸ：装置名等）というように、優先度が考慮されて、どの装置がどういう操作をしているかの実行状態に関する情報をメッセージとして、あるいは、実行不可のメッセージに追加して表示して、通知するようにすることもできる。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施例１の車載カメラシステムの概要図である。
【図２】本発明の実施例１の撮像システムの構成例図である。
【図３】図２のカメラシステムの一動作説明図である。
【図４】本発明の実施例２のカメラシステムの構成例図である。
【図５】図４のカメラシステムの一動作説明図である。
【図６】本発明の実施例３のカメラシステムの構成例図である。
【図７】図６のカメラシステムの一動作説明図である。
【図８】図６のカメラシステムの一動作説明図である。
【図９】本発明の実施例１による車載機器の優先度を管理する記憶情報テーブルである。
【図１０】本発明の実施例３によるディスプレイに表示されたカメラ操作命令が実施不可であるメッセージの図である。
【図１１】本発明の実施例２による車載機器の車両状況に応じた優先度を管理する記憶情報テーブルである。
【符号の説明】
【００６８】
１０１ 車両
１０２ 車載カメラ
１０３ 車載カメラ
１０４ カーナビ
１０５ 前席表示装置
１０６ 後席ＵＩ制御装置
１０７ 後席表示装置
１０８ 無線装置
１０９ リピータＨＵＢ
１１０ カメラ制御管理装置
１１１ 画像認識装置
１１２ 通信基地局
１１３ 通信ネットワーク網
１１４ 車両
１１５ カメラ画像表示装置
１１６ 車載ＬＡＮ
２０１ 撮像装置を制御可能な装置群
２０２ 撮像装置制御手段
２０３ 撮像装置
２０４ 優先度保持手段
４０１ 車載機器群
４０２ カメラ制御手段
４０３ カメラ
４０４ 優先度保持手段
４０５ 車両状況取得手段
６０１ 通知手段
【技術分野】
【０００１】
本発明は、カメラシステムに関し、特に、車両の状態に応じたカメラ制御優先度管理技術に関する。
【背景技術】
【０００２】
近年、カメラシステムが普及し、社会インフラとしてカメラシステムの利用が拡大している。これらのカメラシステムはネットワークを通じて遠隔操作が可能であり、操作内容も上下方向のチルトや、左右方向のパン、レンズ調整のズームイン・ズームアウト、絞りを用いた露光調整など多彩である。このようなカメラシステムはドライバの視界を補助するために車両にも搭載が検討されており、現在市販されている車両においても、後方確認の後方カメラや、助手席側の側方カメラ、また夜間の障害物認識を行う赤外線カメラ等、既に搭載されている。
【０００３】
例えば、特許文献１には、前方または後方を監視する車載カメラを車両の速度に従ってズーム制御し車両の速度に応じて焦点距離を変えて撮影する技術が記載されている。また、車載カメラを、運転席などの操作パネルからの指令、車両外部からの信号、ナビゲーション装置からの信号など応じて調節することが記載されている。また、特許文献２には、車載カメラ画像に映った道路上の白線を認識する等、画像認識処理を用いた安全性の向上技術が記載されている。また、特許文献３には、車両に搭載された無線通信装置を介して車外からカメラ画像を参照すること、ドライバ以外のユーザが車載カメラの画像を利用することが記載されている。
【特許文献１】特開平１１−３１２３００号公報
【特許文献２】特開２０００−２４２７９３号公報
【特許文献３】特開２００３−１１２５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では車内機器、例えば車内の画像認識装置や、後席の搭乗者、また車外のユーザからカメラ操作が行われることに関して充分に検討されていなかった。このように複数の装置から同一のカメラへの操作が同時または近接した時間内に発生する状況では、カメラに対する操作命令が競合しドライバの運転に危険が生じる可能性がある。例えば、後方カメラの画像を視認して後進する際に、他のユーザが後方カメラに対してチルトやパン、ズームイン・ズームアウトなどの操作を行うことは、ドライバの運転を誤らせる可能性があり、非常に危険である。
【０００５】
本発明の目的は、上記背景技術の状況に鑑み、予め保持した優先度に基づいてカメラ制御を管理することが可能な車載カメラシステムを提供し、安全性を向上させることである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明では、複数の装置がネットワークを介して撮像装置を制御する撮像システムにおいて、各装置からのカメラ操作命令の実行基準を規定する優先度を予め保持した優先度保持手段と、各装置からの操作命令を受けカメラを制御するカメラ制御手段とを有し、該カメラ制御手段は少なくとも、前記優先度を前記優先度保持手段から読出し、受信したカメラ操作命令を各装置に対応する該優先度の高い順に実行することを特徴とする。
【０００７】
また、本発明では、複数の装置が車内ネットワークを介して車載カメラを制御する車載カメラシステムにおいて、走行（右左折、前進後退）や停止、事故（エアバック作動）などの車両状況を取得する車両状況取得手段と、前記車両状況毎に各装置からのカメラ操作命令の実行基準を規定する優先度を予め保持した優先度保持手段と、各装置からの操作命令を受けカメラを制御するカメラ制御手段を有し、該カメラ制御手段は少なくとも前記車両状況取得手段から読み出した車両状況に応じた各機器の優先度を前記優先度保持手段から読み出し、各装置から受信したカメラ操作命令を該優先度に従って実行することを特徴とする。
【０００８】
また、本発明では、前記カメラ制御手段は、前記カメラ操作命令の実行状況を、少なくとも該カメラ操作命令の送信元を含む複数の装置へ通知することを特徴とする。
【０００９】
また、本発明では、前記カメラ制御手段は少なくとも、受信したカメラ操作命令が実行不可の場合は、該カメラ操作命令の送信元に、実行不可であることを通知することを特徴とする。
【００１０】
また、本発明では、複数の装置がネットワークを介して撮像装置を制御する撮像システムの制御方法において、前記複数の装置からの操作命令の実行基準を規定する優先度を予め優先度保持手段に保持し、撮像装置制御手段は、前記複数の装置の各装置からの操作命令を受信すると、前記優先度保持手段に予め保持された前記優先度を前記優先度保持手段から読出し、前記受信した操作命令を各装置に対応する前記優先度の高い順に実行することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、カメラへの操作命令が競合した場合においても安定度に関連した装置からの操作命令を優先することにより、システム全体の安定度の低下を防ぐことができる。また、車載カメラへの操作命令が競合した場合においても、ドライバの運転に支障を与えることなく、安全に制御が行われるようになる。また、車載カメラへの操作命令が実行不可の状況である場合においても、操作命令実行の有無を確認することが可能であり、システムに異常が発生していると、操作命令の送信元に誤認識されることを防ぐことができる。また、ドライバや後席搭乗者や遠隔操作者に対してカメラ操作が競合していることを通知することにより、操作内容の変更や、他のユーザの操作を監視可能となり、ユーザの利便性を向上させることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について、図面を用いて説明する。
【実施例１】
【００１３】
図１〜図３及び図９は本発明の実施例１の説明図である。図１は本発明である撮像システムを適用した車載カメラシステムの概念図、図２は本発明である撮像システムの構成図、図３は図２の構成機器の動作説明図である。図９は予め保持された優先度を管理する記憶情報テーブルの一例である。
【００１４】
本発明の実施例１は複数の装置から撮像装置の制御が可能なシステムにおいて、各装置に対する優先度を予め設けることにより、操作命令の競合を防ぐ場合の例である。図１において、１０１は車載カメラシステムを搭載した車両、１０２は前方に取り付けられ、車内ネットワーク（車載ＬＡＮ）１１６に接続され、該ネットワークからの制御信号で焦点を調整したり、カメラ方向を変更することが可能な車載カメラ、１０３は後方に取り付けられ、車内ネットワークと接続され、該ネットワークからの制御信号で焦点を調整したり、カメラ方向を変更することが可能な車載カメラである。
【００１５】
１０４は車内ネットワークと接続され、該ネットワークへ制御信号を送信可能かつ、該ネットワークから受信したカメラデータを表示可能なカーナビ、１０５は前記カーナビ１０４に接続された前席表示装置、１０６は車内ネットワークと接続され、該ネットワークへ制御信号を送信可能かつ、該ネットワークから受信したカメラデータを表示可能な後席ＵＩ（User Interface）制御装置、１０７は前記後席ＵＩ制御装置１０６に接続された後席表示装置、１０８は車内ネットワークに接続され、車外と通信可能な無線装置、１０９は車内ネットワークを構成するリピータＨＵＢ、１１０は車内ネットワークと接続され、該ネットワークに接続されたカメラの制御可能かつ、他の装置が送信したカメラ操作命令を受信し車両の状況などに応じた優先順位に従ってカメラ操作命令を実行するカメラ制御管理装置、１１１は少なくとも１つのカメラ映像を処理し認識処理を行う画像認識装置である。
【００１６】
１１２は無線通信を行う通信基地局、１１３は通信ネットワーク網、１１４は車両１０１と通信可能な車両、１１５は車外にあり、基地局１１２と通信可能なカメラ画像表示装置である。
【００１７】
本例の車載カメラ１０２、１０３としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）の撮像素子を持ち、接続された車内ネットワークからの操作命令を受け出力するフレームレートや画質、カメラのフォーカス、カメラ方向等の制御が可能なカメラである。
【００１８】
また、ネットワークへの接続方式としてはＩＥＥＥ１３９４やＥｔｈｅｒｎｅｔ（登録商標）（ＩＥＥＥ ８０２．３）、情報系の車載ネットワークであるＭＯＳＴ（Media Oriented Systems Transport）などのデジタル有線接続や、カメラデータを転送するデータ線と制御データを転送する制御線を持つアナログ有線接続、ＷｉＦｉ（８０２．１１ａ／ｂ／ｇ）やＢｌｕｅｔｏｏｔｈ等の無線接続、などの方式が考えられる。以降、本明細書における車内ネットワーク接続の接続方式は同様とする。
【００１９】
カーナビ１０４は地図情報をＨＤＤまたはＤＶＤまたは通信によるダウンロードなどにより保持し、音声入出力を持つナビゲーションシステムである。音声出力としてはスピーカーやイヤホンジャックやＢｌｕｅｔｏｏｔｈ接続ヘッドフォンが考えられる。音声入力としてはマイクやＢｌｕｅｔｏｏｔｈ接続マイクが考えられる。また、前記車内ネットワーク接続を有する。
【００２０】
前席表示装置１０５は搭乗者に映像や地図などを表示する装置である、表示方式としては液晶や有機ＥＬ（electro luminescence）などのパネル、電源停止後も映像が残る電子ペーパー、投射方式、オーバーヘッドディスプレイなどが考えられる。カーナビ１０４との接続方式としては前記車内ネットワーク接続や、ＧＶＩＦ（Gigabit Video Interface）やＬＶＤＳ（Low Voltage Differential Signaling）などの低電圧差動伝送方式や、家電やＡＶ機器向けのデジタル映像・音声入出力 インターフェース規格であるＨＤＭＩ（High Definition Multimedia Interface）などでも良い。また、ユーザからの入力インターフェースとして操作キーやタッチパネル機能を備えても良い。
【００２１】
後席ＵＩ（User Interface）制御装置１０６と後席表示装置１０７はそれぞれ前記カーナビ１０４および前記前席表示装置１０５と同様である。
【００２２】
無線装置１０８は、ＰＨＳ（Personal Handy-phone System）、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（Global System for Mobile Communications）、ＣＤＭＡ（Code Division Multiple Access）、Ｗ−ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ−２０００、ＤＳＲＣ（Dedicated Short Range Communication）、ＷｉＭａｘ（Worldwide Interoperability for Microwave Access）等の通信方式を少なくとも一つは有する通信装置。また、前記車内ネットワーク接続を有する。
【００２３】
リピータＨＵＢ１０９は前記車内ネットワーク接続と接続され、受信した情報をネットワークへ再送する機能を有し、前記ＩＥＥＥ１３９４、Ｅｔｈｅｒｎｅｔ、ＭＯＳＴ等のデジタル有線接続で用いられるリピータＨＵＢ等が考えられる。またアナログ接続では複数のカメラ画像の入力を受け一つのカメラ画像だけを出力するような画像切り替え機などが考えられる。
【００２４】
カメラ制御管理装置１１０は車両状態に応じた各装置の優先度を保持するメモリ等の記憶装置と、ＣＰＵで構成された装置であって、各装置からの操作命令を受信し、前記優先度に従って実行するプログラムで構成される。また、前記車内ネットワーク接続を有する。
画像認識装置１１１は少なくとも一つのカメラ映像を解析し、人物または物体を検出する装置である。また、前記車内ネットワーク接続を有する。
【００２５】
通信基地局１１２は前記無線装置１０８が用いる通信方式で接続可能な通信基地局または中継局であり、通信ネットワーク１１３へ接続されている。通信ネットワーク１１３はインターネット等の無線及び有線のネットワークである。車両１１４は通信により車両１０１や通信基地局１１２と通信可能な車両である。
【００２６】
カメラ画像表示装置１１５はＩＥＥＥ１３９４やＥｔｈｅｒｎｅｔ（ＩＥＥＥ ８０２．３）、もしくは前記無線装置１０８が用いる通信方式で前記通信ネットワーク１１３に接続され、車両からの情報を読み取り可能で、カメラに対する操作命令も送信可能である。家庭から車両の状態を参照するためのＰＣ端末や、コールセンタなどから緊急時に車両のサポートを行うオペレータ端末、複数の車両からの画像を集めたデータベース等が考えられる。
【００２７】
なお、本図１ではリピータＨＵＢ１０９を用いて車内ネットワーク（車載ＬＡＮ）１１６を構成しているが、ＩＥＥＥ１３９４機器のように各機器間が直接接続されネットワークを構成する場合等であれば、リピータＨＵＢ１０９を使用せずに車内ネットワークを実現しても良い。
【００２８】
図２において、２０１は撮像装置を制御可能な装置群、２０２は装置２０１から送信された撮像装置２０３に対する操作命令を優先度保持手段２０４に保持された優先度に従って実行する撮像装置制御手段、２０３は静止画もしくは動画の撮像可能な撮像装置、２０４は各装置の優先度を保持した優先度保持手段である。
【００２９】
本例の装置２０１としては、車内、車外に関わらず撮像装置２０３に対する制御を行う装置であり、車載ディスプレイと制御ボタンなどから成るナビゲーションシステムや後席ディスプレイ、または警備会社などに設置された監視カメラ管理端末などでもよい。
【００３０】
撮像装置制御手段２０２としてはＣＰＵ等の演算装置やメモリなどの記憶装置を持つユニットに内蔵され、優先度に従った制御処理を実行するプログラムで構成される。撮像装置２０３としては、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）の撮像素子を持ち、接続された撮像装置制御手段からの操作命令を受け出力する画像データのフレームレートや画質、カメラのフォーカス、カメラ方向等の制御が可能なカメラである。優先度保持手段２０４としては、フラッシュメモリなどの記憶装置が考えられる。
【００３１】
図３は、上記図２における装置２０１、撮像装置制御手段２０２、撮像装置２０３、および優先度保持手段２０４の動作説明図である。撮像装置制御手段２０２は、装置２０１からの撮像装置２０３に対する操作命令を取得し（ステップＳ３０１）、対象となる撮像装置２０３に対する撮像装置操作命令が存在するかどうか、即ち、撮像装置操作命令の有無を判定し（ステップＳ３０２）、優先度保持手段２０４に保持された優先度を参照し（ステップＳ３０３）、撮像装置操作命令のうち優先度の最も高い処理について実行する（ステップＳ３０４）。このステップＳ３０１〜Ｓ３０４の処理を繰り返し、操作命令が無くなると終了する。
【００３２】
ステップＳ３０１において、装置２０１からの撮像装置２０３に対する操作命令を取得する際には、撮像装置制御手段２０２は、装置２０１からの撮像装置２０３に対する操作命令を受信した後、受信した操作命令を図示しないバッファ等に格納し、バッファ等に格納された操作命令を読み出して、該当の操作命令を取得する。
【００３３】
撮像装置制御手段２０２が上記図３に示す処理を実行するタイミングは、装置２０１からの撮像装置への操作命令を制御手段２０３が受信する毎や、タイマー処理により数ミリ秒などの単位時間経過毎等でも良い。
【００３４】
図９は左縦軸に車載カメラ種別を示し、右側列に各装置の優先度を示している。優先度は３が最大値で２，１と順に低くなる。また０は実施不可としている。なお、本優先度は車両メーカもしくは車載機器提供メーカなどにより予め定められたものとする。
【００３５】
かかる構成において、例えば図９のＮｏ．１の行に示される優先度を用いる例であれば、車両１０１が走行中に車載カメラ１０２により撮像した画像を画像認識装置１１１が処理し障害物認識を行い、その最中に後席搭乗者が後席ＵＩ制御装置１０６から車載カメラ１０２へチルト操作命令を入力すると、該操作命令はカメラ制御管理装置１１０へ送られ、該操作命令を受信したカメラ制御管理装置１１０は画像認識装置１１１が車載カメラ１０２を使用している状態であることを認識し、対応する優先度を参照した結果として、画像認識装置が優先度３で他の車内ディスプレイが優先度１であることから、画像認識装置１１１の操作命令を優先し、後席ＵＩ制御装置１０６からの該操作命令を受け付けない。もしくは画像認識装置１１１による障害物認識処理が終了し、後席ＵＩ制御装置１０６の優先度が最も高くなった場合に前記操作命令は実行される。
【００３６】
また、上記の例えば図９のＮｏ．１の行に示される優先度を用いる例において、後席搭乗者が後席ＵＩ制御装置１０６から車載カメラ１０２へチルト操作命令を入力しチルト制御が行われている最中に、車両１０１が走行中に車載カメラ１０２により撮像した画像を画像認識装置１１１が処理し障害物認識を行ための操作命令がカメラ制御管理装置１１０へ送られると、該操作命令を受信したカメラ制御管理装置１１０は、チルト制御が行われている状態であることを認識し、対応する優先度を参照した結果として、画像認識装置が優先度３で他の車内ディスプレイが優先度１であることから、画像認識装置１１１の操作命令を優先し、画像認識装置１１１による障害物認識処理のための操作命令が優先的に実行される。
【００３７】
上記実施例１によれば、複数の装置から同一の撮像装置に対して制御を行う場合において、各装置に対する優先度を予め設けることにより、操作命令の競合を防ぐことが可能となり、システム全体の安定度を向上させることができる。
【実施例２】
【００３８】
図４〜図５および図１１は、本発明の実施例２の説明図である。図４は本発明である車載カメラシステムの構成図、図５は図４の構成機器の動作説明図である。図１１は予め保持され、車両状況に応じた優先度を管理する記憶情報テーブルの一例である。
【００３９】
本発明の実施例２は、複数の装置から車載カメラの制御が可能なシステムにおいて、車両状況に応じて各車載機器の優先度を予め設け、該優先度に従って操作命令を実行することで操作命令の競合を防ぐ場合の例である。
【００４０】
図４において、４０１はカメラを制御する可能性の有る車載機器群、４０２は車載機器４０１から送信されたカメラ４０３に対する操作命令を車両状況取得手段４０５から読み出した車両状況に応じた優先度を優先度保持手段４０４から参照し、該優先度に従って制御処理を実行するカメラ制御手段、４０３は静止画もしくは動画の撮像可能なカメラ、４０４は車両状況に応じた各装置の優先度を保持した優先度保持手段、４０５は車両状況を取得、もしくは保持する車両状況取得手段である。
【００４１】
本例の車載機器４０１としては車内、車外に関わらず撮像装置２０３に対する制御を行う装置であり、走行中にカメラを用いて障害物認識を行う障害物認識装置や、カメラ制御可能なナビゲーションシステムや、車載ディスプレイと制御ボタンなどから成る後席ディスプレイ、または警備会社などに設置されたカメラ管理端末と無線接続を行う無線通信装置等でもよい。
【００４２】
カメラ制御手段４０２としてはナビゲーションシステムや、ＣＰＵ等の演算装置とメモリなどの記憶装置を持つユニットに内蔵され、優先度に従った制御処理を実行するプログラムで構成される電子制御ユニット（ＥＣＵ）などが考えられる。
【００４３】
撮像装置２０３としてはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）の撮像素子を持ち、接続された撮像装置制御手段からの操作命令を受け出力する画像データのフレームレートや画質、カメラのフォーカス、カメラ方向等の制御が可能なカメラである。優先度保持手段４０４としてはフラッシュメモリなどの記憶装置が考えられる。
【００４４】
車両状況保持手段４０５としては、自車両で実行中の画像認識処理や、ステアリングの傾きを検出する陀角センサ、ブレーキ制御で用いるＡＢＳセンサ、タイヤ圧力センサー（ＴＰＭＳ）、車両と障害物の距離を計測するマイクロ波センサなどの各種センサの情報、または該各種センサの情報から判定した状態を保持し、随時更新する電子制御ユニット（ＥＣＵ）やカーナビゲーションなどが考えられる。
【００４５】
図５は、上記図４における車載機器４０１、カメラ制御手段４０２、カメラ４０３、優先度保持手段４０４、および車両状況取得手段４０５の動作説明図である。
【００４６】
カメラ制御手段４０２は車載機器４０１からのカメラ４０３に対する操作命令を取得し（ステップＳ５０１）、対象となるカメラ４０３に対するカメラ操作命令が存在するか有無を判定し、カメラ操作命令が無い場合は終了する（ステップＳ５０２）。カメラ操作命令が有る場合は車両状況取得手段４０５により取得され、図示しないバッファ等に保持された車両状況を読み出し（ステップＳ５０３）、優先度保持手段４０４に保持され、車両状況に応じた優先度を参照し（ステップＳ５０４）、カメラ操作命令のうち優先度の最も高い処理について実行する（ステップＳ５０５）。この後、ステップＳ５０１からの処理を繰り返す。
【００４７】
カメラ制御手段５０２が上記図５に示す処理を実行するタイミングは、車載機器４０１からカメラへの操作命令をカメラ制御手段４０２が受信する毎や、タイマー処理により数ミリ秒などの単位時間経過毎等でも良い。
【００４８】
図１１は左縦軸に車両状況とカメラ種別を示し、右側列に各装置の車両状況に応じた優先度を示す。優先度は３が最大値で２，１と順に低くなる。また０は実施不可としている。例えば、前記車両状況取得手段４０５がＴＰＭＳの急激な圧力低下や、エアバックの作動などの各種センサ情報からタイヤのパンク・追突などを検知・取得し、車両１０１が事故の状況となった場合、「事故時」に記されるように車外からの車載カメラへの操作が最優先となり、通信装置１０８からネットワーク１１３で接続され、コールセンタに設置されたカメラ画像表示装置１１５から車載カメラの制御を行い、車両周辺状況の確認などが可能となる。
【００４９】
なお、車両状況としては、この例で示す「通常時」「事故時」「緊急時」等だけでなく、例えば「画像認識装置作動時」など、特定の機器が車載カメラを使用していることを示すような車両状況であっても構わない。
【００５０】
上記実施例２によれば、複数の車載機器から同一のカメラに対して制御を行う場合において、各車載機器に対する優先度を車両状況に応じて予め設けることにより、操作命令の競合を防ぐことが可能となり、運転の安全性低下を防ぐことができる。
【実施例３】
【００５１】
図６〜図８、及び図１０は本発明の実施例３の説明図である。図６は本発明である車載カメラシステムの構成図、図７及び図８は図６の構成機器の動作説明図である。図１０は車内ディスプレイに表示されたカメラ操作命令の実行不可メッセージの一例である。
【００５２】
本発明の実施例３は、複数の装置から車載カメラの制御が可能なシステムにおいて、車両状況に応じた各車載機器の優先度を予め設け、該優先度に従って操作命令を実行することで操作命令の競合を防ぎ、かつ該優先度が実施不可の操作命令に対してはユーザに実施不可であることを通知する場合の例である。
【００５３】
図６において、６０１はカメラ制御手段４０２において実施不可である操作命令をユーザに通知処理を行う通知手段、また図４と同様の構成部品については同一符号を付す。本例の通知手段６０１としてはカメラ制御手段４０２から車載機器４０１へ操作命令が実行不可であることを通知する処理を実行するプログラムで構成される。
【００５４】
図７は、上記図６における車載機器４０１、カメラ制御手段４０２、カメラ４０３、優先度保持手段４０４、車両状況取得手段４０５、および通知手段６０１の動作説明図である。なお図５と同様の処理手順については同一符号を付す。
【００５５】
カメラ制御手段４０２は車載機器４０１からのカメラ４０３に対する操作命令を取得し（ステップＳ５０１）、対象となるカメラ４０３に対するカメラ操作命令が存在するかどうかを判定し、カメラ操作命令が無い場合は終了する（ステップＳ５０２）。
【００５６】
カメラ操作命令が有る場合は車両状況取得手段４０５により取得・保持された車両状況を読み出し（ステップＳ５０３）、優先度保持手段４０４に保持され、車両状況に応じた優先度を参照し（ステップＳ５０４）、カメラ操作命令のうち優先度の最も高い処理について実行し（ステップＳ５０５）、続けてカメラ制御手段の内部で未実施のカメラ操作命令のうち実行不可である処理の有無を判定し、該当する処理が無い場合はステップＳ５０１から処理を繰り返す（ステップＳ７０１）。
該当する処理が有る場合は該当操作の命令を送信した車載機器に対し実行不可であることを通知する（ステップＳ７０２）。この後、ステップＳ５０１からの処理を繰り返す。
【００５７】
図８は、上記図６における車載機器４０１、カメラ制御手段４０２、カメラ４０３、優先度保持手段４０４、車両状況保持手段４０５、および通知手段６０１の動作説明図である。なお図５及び図７と同様の処理手順については同一符号を付す。
【００５８】
カメラ制御手段４０２は車載機器４０１からのカメラ４０３に対する操作命令を取得し（ステップＳ５０１）、対象となるカメラ４０３に対するカメラ操作命令が存在するかどうかを判定し、カメラ操作命令が無い場合は終了する（ステップＳ５０２）。
【００５９】
カメラ操作命令が有る場合は、車両状況取得手段４０５により取得され、保持された車両状況を読み出し（ステップＳ５０３）、優先度保持手段４０４に保持され、車両状況に応じた優先度を参照し（ステップＳ５０４）、カメラ操作命令のうち優先度の最も高い処理について実行し（ステップＳ５０５）、続けてカメラ制御手段の内部で未実施のカメラ操作命令のうち実行不可である処理の有無を判定し、該当する処理が無い場合はステップＳ５０１から処理を繰り返す。（ステップＳ７０１）
【００６０】
該当する処理が有る場合は該当操作の命令を送信した車載機器に対し実行不可であることを通知し（ステップＳ７０２）、ユーザのＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）に対し実行不可であることを通知する（ステップＳ８０１）。この後、ステップＳ５０１からの処理を繰り返す。
【００６１】
カメラ制御手段５０２が上記図５に示す処理を実行するタイミングは、車載機器４０１からカメラへの操作命令をカメラ制御手段４０２が受信する毎や、タイマー処理により数ミリ秒などの単位時間経過毎等でも良い。
【００６２】
図１０は車内ディスプレイと、該ディスプレイに表示されたカメラ操作命令の実行不可メッセージ一例である。例えば、前記図１１のＮｏ．１１に記されるように、地デジ放送で検討されているような緊急放送を外部から通知された場合、車内の後席ディスプレイからのカメラチルトなどの命令は実施不可となり、後席ディスプレイだけでなく運転席側のディスプレイにも実行不可の内容と操作元を示すメッセージが表示される。
【００６３】
なお、車両状況取得手段４０５により取得され、図示しないバッファ等に保持される緊急状況としては、車両自体の状況ではなく、車両の現在の緊急状況、あるいは今後予想される車両の緊急状況等が含まれ、上述の緊急放送を外部から通知された場合のほか、道路災害の発生、急激な気象異常の発生、交通事故の発生、救急車・パトカーの接近といった車両を取り巻く緊急状況が含まれる。
【００６４】
上記実施例３によれば、複数の車載機器から同一のカメラに対して制御を行った場合において、各車載機器に対する優先度を車両状況に応じて予め設け操作命令の競合を防ぎ、かつ操作命令が実行不可であったことを車載機器へ通知可能することで、操作命令元の車載機器において処理が実行されなかったことを認識することが可能となり、システムに異常が発生していると、操作命令の送信元に誤認識されることを防ぐことができる。
【００６５】
また、操作命令が実行不可であったことをユーザのＨＭＩへ通知することで、ユーザはカメラ制御を車載機器が試みたことを知ることができ、不要な機能が起動していることや、他のユーザの操作を監視することが可能となる。
【００６６】
なお、上記の説明では、実行状況の通知として、特定の操作命令の実行不可メッセージと、上記操作命令の操作元を示すメッセージしか表示されていないが、上記の実行不可のメッセージに加えて、例えば、「ＸＸＸがチルト操作中（ＸＸＸ：装置名等）というように、優先度が考慮されて、どの装置がどういう操作をしているかの実行状態に関する情報をメッセージとして、あるいは、実行不可のメッセージに追加して表示して、通知するようにすることもできる。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施例１の車載カメラシステムの概要図である。
【図２】本発明の実施例１の撮像システムの構成例図である。
【図３】図２のカメラシステムの一動作説明図である。
【図４】本発明の実施例２のカメラシステムの構成例図である。
【図５】図４のカメラシステムの一動作説明図である。
【図６】本発明の実施例３のカメラシステムの構成例図である。
【図７】図６のカメラシステムの一動作説明図である。
【図８】図６のカメラシステムの一動作説明図である。
【図９】本発明の実施例１による車載機器の優先度を管理する記憶情報テーブルである。
【図１０】本発明の実施例３によるディスプレイに表示されたカメラ操作命令が実施不可であるメッセージの図である。
【図１１】本発明の実施例２による車載機器の車両状況に応じた優先度を管理する記憶情報テーブルである。
【符号の説明】
【００６８】
１０１ 車両
１０２ 車載カメラ
１０３ 車載カメラ
１０４ カーナビ
１０５ 前席表示装置
１０６ 後席ＵＩ制御装置
１０７ 後席表示装置
１０８ 無線装置
１０９ リピータＨＵＢ
１１０ カメラ制御管理装置
１１１ 画像認識装置
１１２ 通信基地局
１１３ 通信ネットワーク網
１１４ 車両
１１５ カメラ画像表示装置
１１６ 車載ＬＡＮ
２０１ 撮像装置を制御可能な装置群
２０２ 撮像装置制御手段
２０３ 撮像装置
２０４ 優先度保持手段
４０１ 車載機器群
４０２ カメラ制御手段
４０３ カメラ
４０４ 優先度保持手段
４０５ 車両状況取得手段
６０１ 通知手段
【特許請求の範囲】
【請求項１】
複数の装置がネットワークを介して撮像装置を制御する撮像システムにおいて、
各装置からの撮像装置操作命令の実行基準を規定する優先度を予め保持した優先度保持手段と、各装置からの撮像装置操作命令を受け撮像装置を制御する撮像装置制御手段とを有し、
該撮像装置制御手段は少なくとも、前記優先度を前記優先度保持手段から読出し、受信した撮像装置操作命令を各装置に対応する該優先度の高い順に実行することを特徴とする撮像システム。
【請求項２】
複数の装置が車内ネットワークを介して車載カメラを制御する車載カメラシステムにおいて、
車両状況を取得する車両状況取得手段と、前記車両状況毎に各装置からのカメラ操作命令の実行基準を規定する優先度を予め保持した優先度保持手段と、各装置からの操作命令を受けカメラを制御するカメラ制御手段とを有し、
該カメラ制御手段は少なくとも、前記車両状況取得手段から読み出した車両状況に応じた各機器の優先度を前記優先度保持手段から読み出し、各装置から受信したカメラ操作命令を該優先度に従って実行することを特徴とする車載カメラシステム。
【請求項３】
請求項２に記載の車載カメラシステムにおいて、
前記カメラ制御手段は、前記カメラ操作命令の実行状況を、少なくとも該カメラ操作命令の送信元を含む複数の装置へ通知することを特徴とする車載カメラシステム。
【請求項４】
請求項２に記載の車載カメラシステムにおいて、
前記カメラ制御手段は少なくとも、受信したカメラ操作命令が実行不可の場合は、該カメラ操作命令の送信元に、実行不可であることを通知することを特徴とする車載カメラシステム。
【請求項５】
複数の装置がネットワークを介して撮像装置を制御する撮像システムの制御方法において、
前記複数の装置からの操作命令の実行基準を規定する優先度を予め優先度保持手段に保持し、
撮像装置制御手段は、前記複数の装置の各装置からの操作命令を受信すると、
前記優先度保持手段に予め保持された前記優先度を前記優先度保持手段から読出し、
前記受信した操作命令を各装置に対応する前記優先度の高い順に実行することを特徴とする撮像システムの制御方法。
【請求項１】
複数の装置がネットワークを介して撮像装置を制御する撮像システムにおいて、
各装置からの撮像装置操作命令の実行基準を規定する優先度を予め保持した優先度保持手段と、各装置からの撮像装置操作命令を受け撮像装置を制御する撮像装置制御手段とを有し、
該撮像装置制御手段は少なくとも、前記優先度を前記優先度保持手段から読出し、受信した撮像装置操作命令を各装置に対応する該優先度の高い順に実行することを特徴とする撮像システム。
【請求項２】
複数の装置が車内ネットワークを介して車載カメラを制御する車載カメラシステムにおいて、
車両状況を取得する車両状況取得手段と、前記車両状況毎に各装置からのカメラ操作命令の実行基準を規定する優先度を予め保持した優先度保持手段と、各装置からの操作命令を受けカメラを制御するカメラ制御手段とを有し、
該カメラ制御手段は少なくとも、前記車両状況取得手段から読み出した車両状況に応じた各機器の優先度を前記優先度保持手段から読み出し、各装置から受信したカメラ操作命令を該優先度に従って実行することを特徴とする車載カメラシステム。
【請求項３】
請求項２に記載の車載カメラシステムにおいて、
前記カメラ制御手段は、前記カメラ操作命令の実行状況を、少なくとも該カメラ操作命令の送信元を含む複数の装置へ通知することを特徴とする車載カメラシステム。
【請求項４】
請求項２に記載の車載カメラシステムにおいて、
前記カメラ制御手段は少なくとも、受信したカメラ操作命令が実行不可の場合は、該カメラ操作命令の送信元に、実行不可であることを通知することを特徴とする車載カメラシステム。
【請求項５】
複数の装置がネットワークを介して撮像装置を制御する撮像システムの制御方法において、
前記複数の装置からの操作命令の実行基準を規定する優先度を予め優先度保持手段に保持し、
撮像装置制御手段は、前記複数の装置の各装置からの操作命令を受信すると、
前記優先度保持手段に予め保持された前記優先度を前記優先度保持手段から読出し、
前記受信した操作命令を各装置に対応する前記優先度の高い順に実行することを特徴とする撮像システムの制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−３５２０１（Ｐ２００８−３５２０１Ａ）
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願番号】特願２００６−２０６２１１（Ｐ２００６−２０６２１１）
【出願日】平成１８年７月２８日（２００６．７．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【出願人】（５０１３４８１３９）株式会社 エイチ・シー・エックス (86)
【Ｆターム（参考）】
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願日】平成１８年７月２８日（２００６．７．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【出願人】（５０１３４８１３９）株式会社 エイチ・シー・エックス (86)
【Ｆターム（参考）】
[ Back to top ]