撮像装置および自動車における車載機器の操作装置
【課題】 可視光線および赤外線の両方の画像を撮像可能なカメラを用いて、赤外線の照射時にも車室内の照度を的確に判定できるようにする。
【解決手段】 撮像装置は、可視光線および赤外線の両方の画像を撮像可能なカメラＣＡと、画像から周囲環境の照度を判定する照度判定装置と、照度判定装置が周囲環境の照度が所定値未満であると判定すると赤外線を照射する赤外線照射手段ＵＲとを備えるので、周囲環境の照度が低いときでも赤外線を照射することで支障なく撮像を行うことができる。赤外線照射手段ＵＲは赤外線を断続的に照射し、照度判定装置は赤外線照射手段ＵＲが赤外線を照射していないときの画像から周囲環境の照度を判定するので、照射された赤外線によって周囲環境の照度が実際の照度よりも高く判定されるのを防止し、照度の判定精度を高めることができる。
【解決手段】 撮像装置は、可視光線および赤外線の両方の画像を撮像可能なカメラＣＡと、画像から周囲環境の照度を判定する照度判定装置と、照度判定装置が周囲環境の照度が所定値未満であると判定すると赤外線を照射する赤外線照射手段ＵＲとを備えるので、周囲環境の照度が低いときでも赤外線を照射することで支障なく撮像を行うことができる。赤外線照射手段ＵＲは赤外線を断続的に照射し、照度判定装置は赤外線照射手段ＵＲが赤外線を照射していないときの画像から周囲環境の照度を判定するので、照射された赤外線によって周囲環境の照度が実際の照度よりも高く判定されるのを防止し、照度の判定精度を高めることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可視光線および赤外線の両方の画像を撮像可能なカメラを用いて周辺環境の照度を判定するための撮像装置と、この撮像装置を用いた自動車における車載機器の操作装置とに関する。
【背景技術】
【０００２】
従来、ステアリングハンドル上の乗員の手の形や動きを読み取る撮像手段と、その撮像手段が読み取った手の形や動きに基づいて車載機器に対する操作コマンドを出力できるようにした操作指令手段とをえたゼスチャーリモコン式操作装置が知られている。
【０００３】
かかるゼスチャーリモコン式操作装置において、撮像手段として可視光線用のカメラと赤外線用のカメラとを別個に備備え、照度の高い昼間等には可視光線用のカメラで撮像した画像を用い、照度の低い夜間等には赤外線を照射するとともに、赤外線用のカメラで撮像した画像を用いることで、車室内の照度に関わらずに乗員の手の形や動きを読み取れるようにしたものが、下記特許文献１より公知である。このものによれば、可視光線用のカメラは赤外線を感知しないため、可視光線用のカメラで撮像した画像から車室内の照度を判定することが可能であり、その判定した照度に基づいて赤外線の照射および照射停止を切り替えることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１７０８７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年実用化された可視光線および赤外線の両方の画像を撮像可能なカメラを採用した場合、その画像から車室内の照度が低下したことを判定して赤外線の照射を開始することは可能であるが、赤外線の照射を行っている間は、画像から判定される車室内の照度は実際の可視光線による車室内の照度に関わらずに高くなるため、赤外線の照射を停止するタイミングを知ることができないという問題が発生する。
【０００６】
本発明は前述の事情に鑑みてなされたもので、可視光線および赤外線の両方の画像を撮像可能なカメラを用いて、赤外線の照射時にも周囲環境の照度を的確に判定できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に記載された発明によれば、可視光線および赤外線の両方の画像を撮像可能なカメラと、前記画像から周囲環境の照度を判定する照度判定装置と、前記照度判定装置が周囲環境の照度が所定値未満であると判定すると赤外線を照射する赤外線照射手段とを備える撮像装置において、前記赤外線照射手段は赤外線を断続的に照射し、前記照度判定装置は前記赤外線照射手段が赤外線を照射していないときの前記画像から周囲環境の照度を判定することを特徴とする撮像装置が提案される。
【０００８】
また請求項２に記載された発明によれば、請求項１の構成に加えて、前記照度判定装置は、前記画像の明度ヒストグラムを作成するとともに、前記明度ヒストグラムから高明度領域および低明度領域のデータを除外した中間明度領域のデータの平均値に基づいて周囲環境の照度を判定することを特徴とする撮像装置が提案される。
【０００９】
また請求項３に記載された発明によれば、請求項１または請求項２の構成に加えて、前記赤外線照射手段が赤外線の照射を開始する照度と赤外線の照射を停止する照度とがヒステリシスを有することを特徴とする撮像装置が提案される。
【００１０】
また請求項４に記載された発明によれば、請求項１〜請求項３の何れか１項に記載の撮像装置を用いた自動車における車載機器の操作装置であって、複数個のマークが設けられたステアリングハンドルを撮像し得る前記撮像手段と、前記撮像手段から出力される撮像データに基づいて前記マークが隠されたか否かを該マーク毎に個別に判定可能な判定手段と、前記判定手段による判定結果に基づいて車載機器に対する操作コマンドを出力する操作指令手段とを備えることを特徴とする自動車における車載機器の操作装置が提案される。
【００１１】
尚、実施の形態のオーディオＡＵ、ビデオＤＶＤおよびカーナビＣＮは本発明の車載機器に対応し、実施の形態の認識手段Ｃ４は本発明の照度判定装置に対応する。
【発明の効果】
【００１２】
請求項１の構成によれば、撮像装置は、可視光線および赤外線の両方の画像を撮像可能なカメラと、画像から周囲環境の照度を判定する照度判定装置と、照度判定装置が周囲環境の照度が所定値未満であると判定すると赤外線を照射する赤外線照射手段とを備えるので、周囲環境の照度が低いときでも赤外線を照射することで支障なく撮像を行うことができる。赤外線照射手段は赤外線を断続的に照射し、照度判定装置は赤外線照射手段が赤外線を照射していないときの画像から周囲環境の照度を判定するので、照射された赤外線によって周囲環境の照度が実際の照度よりも高く判定されるのを防止し、照度の判定精度を高めることができる。
【００１３】
また請求項２の構成によれば、照度判定装置は、画像の明度ヒストグラムを作成し、その明度ヒストグラムから高明度領域および低明度領域のデータを除外した中間明度領域のデータの平均値に基づいて周囲環境の照度を判定するので、画像中に極端の明るい部分や極端に暗い部分が存在しても、それらの部分に影響されずに周囲環境の照度を精度良く判定することができる。
【００１４】
また請求項３の構成によれば、赤外線照射手段が赤外線の照射を開始する照度と赤外線の照射を停止する照度とがヒステリシスを有するので、赤外線照射手段が赤外線の照射および照射停止を短い時間間隔で繰り返すチャタリングの発生を防止することができる。
【００１５】
また請求項４の構成によれば、判定手段は、撮像手段から出力される撮像データに基づいて、複数個のマークの何れかが隠されたか否かを該マーク毎に個別に判定し、操作指令手段は、その判定結果に基づいて車載機器に対する操作コマンドを出力するので、各々のマークが撮像手段から隠された否かに基づいて車載機器に対する操作コマンドを正確に出力できるだけでなく、操作者の操作手順も判り易くなって操作者の認識違いによる誤操作も効果的に防止できる。しかも操作指令手段における判断ロジックは比較的単純であってコスト節減に寄与し得るだけでなく、演算処理も迅速に行うことができる。
【図面の簡単な説明】
【００１６】
【図１】自動車の車室内を示す概略図。
【図２】インストルメントパネル付近を運転者側から見た正面図。
【図３】図２の３−３線拡大断面図。
【図４】制御系のブロック図。
【図５】操作指令手段の待機モードから第１の作動モードへの切換操作過程を簡略的に示す説明図。
【図６】操作指令手段の第１の作動モードから第２の作動モードへの切換操作過程を簡略的に示す説明図。
【図７】車載機器に対する走行中操作の規制を解除して、走行中であっても運転者以外の同乗者による車載機器への手動操作を可能とするための操作過程を簡略的に示す説明図。
【図８】照度を判定するロジックを示すブロック図。
【図９】明度ヒストグラムの一例を示す図。
【図１０】ボリューム調整操作を行うための操作手順を示すステップ概要図。
【図１１】ソース選択操作を行うための操作手順を示すステップ概要図。
【図１２】アルバム名・曲名の選択操作を行うための操作手順を示すステップ概要図。
【図１３】音声検索モードへの移行操作を行うための操作手順を示すステップ概要図。
【発明を実施するための形態】
【００１７】
以下、図１〜図１３に基づいて本発明の実施の形態を説明する。
【００１８】
先ず、図１〜図３において、車室のインストルメントパネルＩには、速度計等の各種計器の他、オーディオＡＵ、ビデオＤＶＤ、カーナビＣＮ等の車載機器のための表示部Ｌや、これら車載機器ＡＵ，ＤＶＤ，ＣＮを手動操作するための操作部１等が設けられ、更にその各種計器の正面側には、運転者により操向操作されるステアリングハンドルＳが配設される。
【００１９】
ステアリングハンドルＳは、操向軸（図示せず）に連結された中央ハブ部Ｓａと、その中央ハブ部Ｓａを円環状に取り囲むリム部Ｓｍと、そのリム部Ｓｍおよび中央ハブ部Ｓａ間を連結する３本のスポーク部Ｓｂ１〜Ｓｂ３とを備える。中央ハブ部Ｓａの外面にはホーンカバー２が着脱可能に被着され、そのホーンカバー２の中央外面には、デザイン処理されたＨ字状の第１マークＭ１が装着される。
【００２０】
また前記スポーク部Ｓｂ１〜Ｓｂ３には、これらの外面を体裁よく覆うスポークカバー３が着脱可能に装着される。このスポークカバー３は、図示例では可撓性のあるシート状の金属板をスポーク部Ｓｂ１〜Ｓｂ３に対応した展開形状に形成して構成されており、その裏面には貼付用の接着剤または接着シートが設けられる。このスポークカバー３をスポーク部Ｓｂ１〜Ｓｂ３に取付ける際には、該カバー３をスポーク部Ｓｂ１〜Ｓｂ３の外面に倣わせるように巻き付けて貼付し、且つ該カバー３の自由端縁３ｅを図３に示すように内方に折り曲げるようにして、スポーク部Ｓｂ１〜Ｓｂ３に固定する。
【００２１】
前記スポークカバー３の、左側のスポーク部Ｓｂ１に対応する部分には、第２〜第４マークＭ２〜Ｍ４（図示例ではＭ２がボリュームマーク、Ｍ３がソースマーク、Ｍ４がセレクトマークに該当）がそれぞれ接着または印刷により一列に付設されており、またスポークカバー３の、右側のスポーク部Ｓｂ３に対応する部分には、第５〜第７マークＭ５〜Ｍ７（図示例ではＭ５がボイスマーク、Ｍ６がアップマーク、Ｍ７がダウンマークに該当）がそれぞれ接着または印刷により、第５マークＭ５を内寄りとしたジグザグの配列で付設されている。
【００２２】
車室内の適所、図示例では運転者のやや斜め後方の天井部には、各マークＭ１〜Ｍ７を撮像し得る撮像手段としてのモノクロのカメラＣＡが設置される。このカメラＣＡは、運転者が何れかのマークＭ１〜Ｍ７を隠したときには、その隠されたことが明確に認識可能となる撮像データを電子制御装置ＥＣＵ（図４参照）に出力する。また車室内が暗くなって可視光線の撮像データが得られなくなった場合のために、ステアリングハンドルＳの周囲に所定時間間隔で断続的に赤外線を照射するＬＥＤよりなる赤外線照射手段ＵＲが、カメラＣＡの近傍の天井部に配置される。
【００２３】
カメラＣＡの撮像データから第１〜第７マークＭ１〜Ｍ７および運転者の手Ｈを容易に認識できるように、ステアリングハンドルＳの色は黒に近い暗色系であることが望ましく、第１〜第７マークＭ１〜Ｍ７は黒に白の縁取りをしたものであることが望ましい。
【００２４】
図４に示すように、電子制御装置ＥＣＵは、車室内の適所、例えばインストルメントパネルＩの内部に設置されるものであり、それは、カメラＣＡから出力される撮像データを分析し、その分析データに基づいてマークＭ１〜Ｍ７が隠されたか否かをマークＭ１〜Ｍ７毎に個別に判定可能な判定手段Ｃ１と、その判定手段Ｃ１による判定結果に基づいて車載機器（即ちオーディオＡＵ、ビデオＤＶＤ、カーナビＣＮ）に対する操作コマンドとしての操作指令信号を出力する操作指令手段Ｃ２と、この操作指令手段Ｃ２の出力信号を前記車載機器に対する駆動信号に変換して車載機器ＡＵ，ＤＶＤ，ＣＮに出力する信号出力部Ｃ３と、カメラＣＡから出力される撮像データに基づいて乗員の手Ｈを認識し得る認識手段Ｃ４とを備えている。
【００２５】
前記カメラＣＡは、判定手段Ｃ１および認識手段Ｃ４の各入力側に接続される。また操作指令手段Ｃ２の入力側には、判定手段Ｃ１および認識手段Ｃ４の各出力側、ならびに外部の前記操作部１、舵角センサＳＥ１および車速センサＳＥ２がそれぞれ接続される。更に信号出力部Ｃ３の入力側には操作指令手段Ｃ２の出力側が接続されるとともに、その信号出力部Ｃ３の出力側には前記車載機器ＡＵ，ＤＶＤ，ＣＮが接続されている。
【００２６】
操作指令手段Ｃ２は、前記外部の操作部１による車載機器ＡＵ，ＤＶＤ，ＣＮの操作入力を可能とする待機モードと、その操作入力を禁止する第１，第２の作動モードの何れかとを選択的にとることができ、前記待機モードでは、第１マークＭ１および第５マークＭ５以外のマーク（即ち第２〜第４マークＭ２〜Ｍ４、第６マークＭ６および第７マークＭ７）が隠されても操作指令手段Ｃ２は応答せず、即ち操作コマンドが発せられることはなない。
【００２７】
また操作指令手段Ｃ２は、該操作指令手段Ｃ２が第１または第２の作動モードにある時に、車両において、予め設定した状態（具体的には所定角以上の舵角操作があった状態、あるいは所定時間内の急激な車速変化があった状態、あるいは第１，第２の何れかの作動モードに切換わってから一定時間以上、第２〜第７マークＭ２〜Ｍ７の何れかを隠す操作が無く、放置された状態、あるいは第１または第２の作動モードにあるにも拘わらず第１マークＭ１が再度隠される操作がなされた状態）になるのに応じて前記待機モードに自動的に切換わる。
【００２８】
図８に示すように、認識手段Ｃ４のうち車室の照度を判定する部分は、可視光線画像選択手段Ｐ１と、ヒストグラム作成手段Ｐ２と、低・高明度領域削除手段Ｐ３と、平均値算出手段Ｐ４と、照度判定手段Ｐ５とを備える。カメラＣＡは可視光線画像選択手段Ｐ１に接続され、可視光線画像選択手段Ｐ１はヒストグラム作成手段Ｐ２に接続され、ヒストグラム作成手段Ｐ２は低・高明度領域削除手段Ｐ３に接続され、低・高明度領域削除手段Ｐ３は平均値算出手段Ｐ４に接続され、平均値算出手段Ｐ４は照度判定手段Ｐ５に接続され、照度判定手段Ｐ５は赤外線照射手段ＵＲに接続される。
【００２９】
車室内が暗いために可視光線だけでは明瞭な画像が得られないとき、赤外線照射手段ＵＲが作動して赤外線を断続的に照射する。よって赤外線照射手段ＵＲによる断続的な赤外線の照射が途切れた断のとき、カメラＣＡは可視光線による画像を撮像し、赤外線照射手段ＵＲによる断続的な赤外線の照射が途切れない続のとき、カメラＣＡは可視光線および赤外線の両方による画像を撮像する。
【００３０】
可視光線画像選択手段Ｐ１は、赤外線照射手段ＵＲによる断続的な赤外線の照射が途切れた断のときの可視光線による画像を選択し、車室の照度を判定すべくヒストグラム作成手段Ｐ２に出力する。尚、赤外線照射手段ＵＲによる断続的な赤外線の照射が途切れない続のときの可視光線および赤外線の両方による画像は、第１〜第７マークＭ１〜Ｍ７を認識するために使用される。そしてヒストグラム作成手段Ｐ２は、可視光線画像選択手段Ｐ１により選択された画像の全ての画素を抽出し、それを明度ごとに並べることで、図９に示す明度ヒストグラムを作成する。
【００３１】
低・高明度領域削除手段Ｐ３は、明度ヒストグラムの画素のうち、例えばダッシュボードの下部のように極端に明度の低い部分の画素と、モニタ画面のように極端に明度の高い部分の画素とを削除する。続いて平均値算出手段Ｐ４は、低・高明度領域削除手段Ｐ３により削除されずに残った画素の明度の平均値を算出し、その平均値を所定の閾値と比較する。続いて照度判定手段Ｐ５は、前記平均値が閾値未満であれば、車室内の照度が低いために赤外線の照射が必要であると判断して赤外線照射手段ＵＲを作動させるとともに、前記平均値が閾値以上であれば、車室内の照度が高いために赤外線の照射が不要であると判断して赤外線照射手段ＵＲを作動を停止させる。
【００３２】
例えば車両がトンネルの内部に入って車室内が暗くなったために赤外線の照射を一旦開始すると、車両がトンネルを出て車質内が明るくなっても、赤外線が照射されているために画像から検出される車室内の照度は殆ど変化せず、赤外線の照射を停止するタイミングを判定できないという問題があるが、本実施の形態によれば、赤外線を断続的に照射し、赤外線の照射が断になったときの画像、つまり可視光線の画像に基づいて車室内の照度を判定するので、車室内が明るくなって赤外線の照射を停止するタイミングを確実に判定することができる。
【００３３】
しかも、その際に可視光線の画像から明度ヒストグラムを作成し、そこから極端に明度の低い画素と極端に明度の高い画素とを削除した残りの画素に基づいて照度を判定するので、照度判定の精度を高めることができる。
【００３４】
尚、車室内が暗くなって赤外線の照射を開始するときは、未だ赤外線の照射開始前であって得られる画像が可視光線の画像であるため、任意の画像から車室の照度を判定することができる。
【００３５】
また赤外線照射手段ＵＲを作動させる照度の閾値は、赤外線照射手段ＵＲの作動を停止させる照度の閾値よりも低く設定されており、これにより赤外線照射手段ＵＲが赤外線の照射および照射停止を短い時間間隔で繰り返すチャタリングの発生を防止することができる。
【００３６】
而して、判定手段Ｃ１は、操作指令手段Ｃ２が待機モードにある状態では、カメラＣＡの撮像データに基づき、図５の（Ａ）に示すようにステアリング本体Ｓｍの輪郭（丸）を認識して監視対象範囲とし、次いで図５の（Ｂ）に示すように中央の第１マークＭ１を認識しているので、この認識中に、図５の（Ｃ）に示すように第１マークＭ１が運転者の手Ｈで隠された場合にはそのことを迅速確実に認識でき、その認識結果を操作指令手段Ｃ２に出力することで、該手段Ｃ２が第１の作動モードに切り換わる。
【００３７】
また判定手段Ｃ１は、操作指令手段Ｃ２が第１または第２の作動モードにある状態では、図６の（Ａ）に示すようにスポーク部Ｓｂ１，Ｓｂ２の第２〜第７マークＭ２〜Ｍ７を認識しているので、この認識中に、例えば図６の（Ｂ）に示すように複数個の第２のマーク（即ち第２〜第５マークＭ２〜Ｍ５）が運転者の手Ｈで隠された場合にはそのことを迅速確実に認識でき、この認識結果に基づいて操作指令手段Ｃ２が第２の作動モードに切り換わる。更にこの第２の作動モードの状態で、図６の（Ｃ）に示すように複数個の第３のマーク（即ち第６，第７マークＭ６，Ｍ７）が運転者の手Ｈで隠されたことを迅速確実に認識でき、その認識結果を操作指令手段Ｃ２に出力する。
【００３８】
更に認識手段Ｃ４は、操作指令手段Ｃ２が何れのモードにある場合でも、カメラＣＡの撮像データに基づき、図７の（Ａ）に示すようにステアリング本体Ｓｍの輪郭を認識して監視対象範囲としている。そして操作指令手段Ｃ２は、それが車速センサＳＥ２の検出信号に基づき自動車が走行中であると判断しているときに、認識手段Ｃ４がリム部Ｓｍ上に手Ｈが２つ有ることを認識しない場合には前記操作部１からの少なくとも一部の操作信号を無効にするが、認識手段Ｃ４が図７の（Ｂ）に示すようにリム部Ｓｍ上に手Ｈが２つ有ることを認識した場合には前記操作信号を無効にしないように構成される。
【００３９】
よって、走行中においては従来と同様、安全運転の観点から車載機器ＡＵ，ＤＶＤ，ＣＮの操作部１への手動操作の少なくとも一部を無効にできる。しかしながら走行中であってもリム部Ｓｍ上に手Ｈが２つ有ることを認識手段Ｃ４が認識した場合には、前記操作部１から操作信号が出力されても、それは運転者以外の乗員により操作されたものと見做せることから、操作指令手段Ｃ２は前記操作信号を無効にしないようにして、運転者以外の乗員による操作を有効としている。これにより、自動車が走行中であっても、運転者が両手ＨでステアリングＳを握っておれば、運転者以外の同乗者による車載機器ＡＵ，ＤＶＤ，ＣＮへの操作が可能となり、使い勝手、利便性が向上する。
【００４０】
操作指令手段Ｃ２は、これが待機モードにある時に第１マークＭ１が隠されたと判定手段Ｃ１が判定するのに基づいて第１の作動モードに切換わり、その第１の作動モードでは、第２〜第５マークＭ２〜Ｍ５の１つが隠されることで車載機器における操作対象（図示例では「ボリューム」と、ビデオ・オーディオを選択する「ソース」と、アルバム名・曲名を選択する「セレクト」と、カーナビの音声検索モードを選択する「ボイス」と）を任意に選択可能となる。
【００４１】
また操作指令手段Ｃ２は、これが第１の作動モードにある時に、第２〜第５マークＭ２〜Ｍ５の何れかが隠されたと判定手段Ｃ１が判定するのに基づいて第２の作動モードに切換わり、その第２の作動モードでは、第６，第７マークＭ６，Ｍ７の１つが隠されることで前記操作対象に関係した複数の操作パラメータの１つを選択可能である。その操作パラメータとは、前記操作対象に関連して操作者がより具体的に選択操作すべき操作内容を意味しており、図示例では第２マークＭ２が隠されたことで「ボリューム」が選択された場合には、第６マークＭ６を隠すことが「音量上げ」に、また第７マークＭ７を隠すことが「音量下げ」にそれぞれ対応する。
【００４２】
また第３マークＭ３が隠されたことで「ソース」が選択された場合には、第６マークＭ６を隠すことがＯＦＦ・ビデオ・オーディオの「一方向順送り」に、また第７マークＭ７を隠すことが「他方向の順送り」にそれぞれ対応する。
【００４３】
更に第４マークＭ４が隠されたことで「セレクト」が選択された場合には、第６マークＭ６を長く（例えば２秒）隠すことがアルバム名の「一方向順送り」に、また第６マークＭ６を短く隠すことが曲名の「一方向順送り」に、また第７マークＭ７を長く（例えば２秒）隠すことがアルバム名の「他方向順送り」に、また第７マークＭ７を短く隠すことが曲名の「他方向順送り」にそれぞれ対応する。
【００４４】
次に前記操作装置の操作手順について、図１０〜図１３を参照して、より具体的に説明する。
［１］ボリューム調整操作
操作指令手段Ｃ２が前記待機モードにあるときは、図１０のステップＳ１０に示すように表示部Ｌは通常のカーナビ画面となっており、この状態から操作者が第１マークＭ１を隠すと（ステップＳ１１）、「操作をどうぞ」のアナウンスと共に画面下半分に次に選択操作すべきマークＭ２〜Ｍ５の表示が強調して現れる（ステップＳ１２）。そこで第２マークＭ２を隠すと（ステップＳ１３）、「ボリューム」のアナウンスと共に画面下半分に次に選択操作すべきマークＭ６，Ｍ７の表示が強調して現れ（ステップＳ１４）、次いで所定時間（例えば３秒）経過すると、現時点でのボリューム表示が現れる（ステップＳ１５）。そこで第６マークＭ６または第７マークＭ７の何れかを隠すと（ステップＳ１６）、隠したマークに対応して音量調整が実行され、その調整後のボリューム表示が現れる（ステップＳ１７）。
［２］ソース選択操作
図１１に示すように、ステップＳ２０〜Ｓ２２までは、前記ステップＳ１０〜Ｓ１２と同じであり、そのステップＳ２２の状態から第３マークＭ３を隠すと（ステップＳ２３）、「ソース選択」のアナウンスと共に画面下半分に次に選択操作すべきマークＭ６，Ｍ７の表示が強調して現れ（ステップＳ２４）、次いで所定時間（例えば３秒）経過すると、現時点でのソース表示（図では「ＯＦＦ」の選択表示）が現れる（ステップＳ２５）。そこで第６マークＭ６または第７マークＭ７の何れかを隠すと（ステップＳ２６）、隠したマークに対応してＯＦＦ・ビデオ・オーディオの一方向または他方向の順送りが実行され、「ソース選択〇〇〇〇」のアナウンスと共にその選択後のソース表示が現れる（ステップＳ２７）。
［３］アルバム名・曲名の選択操作
図１２に示すように、ステップＳ３０〜Ｓ３２までは、前記ステップＳ１０〜Ｓ１２と同じであり、そのステップＳ３２の状態から第４マークＭ４を隠すと（ステップＳ３３）、「アルバム名・曲名選択」のアナウンスと共に画面下半分に次に選択操作すべきマークＭ６，Ｍ７の表示が強調して現れ（ステップＳ３４）、次いで所定時間（例えば３秒）経過すると、現時点でのアルバム名・曲名ソース表示が現れる（ステップＳ３５）。そこで第６マークＭ６または第７マークＭ７の何れかを長く（例えば２秒間）隠すようにすれば、アルバム名の一方向順送りまたは他方向順送りが実行され（ステップＳ３６）、また第６マークＭ６または第７マークＭ７の何れかを短く隠すようにすれば、曲名の一方向順送りまたは他方向順送りが実行され（ステップＳ３６）、それらの実行と共に新たに選択されたアルバム名・曲名の表示が現れる（ステップＳ３７）。その表示が現れてから、所定時間（例えば５秒）放置すれば、新たに選択されたアルバム名・曲名が確定する。
［４］音声検索モードへの移行操作
図１３に示すように、ステップＳ４０〜Ｓ４２までは、前記ステップＳ１０〜Ｓ１２と同じであり、そのステップＳ４２の状態から操作者が第５マークＭ５を隠すと（ステップＳ４３）、「音声検索」のアナウンスと共に、カーナビＣＮを従来公知の音声検索モードに移行させることができる。
【００４５】
以上説明した本実施の形態によれば、カメラＣＡから出力される撮像データに基づいて複数のマークＭ１〜Ｍ７が隠されたか否かをマーク毎に個別に判定可能な判定手段Ｃ１と、その判定手段Ｃ１による判定結果に基づいて車載機器ＡＵ，ＤＶＤ，ＣＮに対する操作コマンド（操作指令信号）を出力する操作指令手段Ｃ２とを備えるので、各々のマークＭ１〜Ｍ７が操作者の手ＨでカメラＣＡから隠された否かに基づいて車載機器ＡＵ，ＤＶＤ，ＣＮに対する操作コマンドを正確に出力できるだけでなく、操作者の操作手順も判り易く、操作者の認識違いによる誤操作も効果的に防止可能となる。
【００４６】
しかもその操作指令手段Ｃ２における判断ロジックは比較的単純であってコスト節減が図られる上、演算処理も迅速に行うことができる。また前記複数個のマークＭ１〜Ｍ７は車室内の被取付部材（図示例ではステアリングＳに着脱可能なホーンカバー２、スポークカバー３）に設けられていて、それらカバー２，３やステアリングＳに読み取り用の貫通孔を特別に穿設する必要はないため、後付けのオプション対応が比較的容易であるばかりか、各マークＭ１〜Ｍ７およびカメラＣＡの設置位置の自由度も比較的高くなり、更にステアリングＳを持つ運転者が手元でマークＭ１〜Ｍ７を隠す操作を容易且つ迅速に行うことができる。
【００４７】
その上、操作者は、第１マークＭを隠すだけで操作指令手段Ｃ２を待機モードから第１の作動モードに迅速且つ確実に切換えることができ、更にその第１の作動モードでは、複数個のマークＭ２〜Ｍ５の１つを隠すだけで車載機器ＡＵ，ＤＶＤ，ＣＮにおける操作対象を迅速且つ確実に選択することができる。更に操作者は、操作指令手段Ｃ２が前記第２の作動モードにある時に、第６，第７マークＭ６，Ｍ７の１つを隠すだけで、操作対象に関係して指定すべき複数の操作パラメータ、即ち操作内容の１つを迅速且つ確実に選択できる。
【００４８】
ところで操作指令手段Ｃ２は、該手段が何れかの作動モードにある時に、車両が予め設定した状態（具体的には所定角以上の舵角操作があった状態、あるいは所定時間内の急激な車速変化があった状態、あるいは第１，第２の何れかの作動モードに切換わってから一定時間以上、第２〜第７マークＭ２〜Ｍ７が隠されず放置された状態、あるいは第１または第２の作動モードにあるにも拘わらず第１マークＭ１が再度隠される操作がなされた状態）になるのに応じて待機モードに自動的に切換わる。これにより、カーブ走行時や急加速時等の、運転に専念すべき特別な走行状態等の場合や、一定時間以上放置の場合、更には運転者が即座に待機モードに戻したいと希望する場合に、操作指令手段Ｃ２を自動的に待機モードに戻すことができるため、それらの場合に操作者の誤操作により操作指令手段Ｃ２がコマンドを出力するのを未然に確実に防止することができる。
【００４９】
以上、本発明の実施の形態を説明したが、本発明は上記実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明を逸脱することなく種々の設計変更を行うことが可能である。
【００５０】
例えば、実施の形態では、認識手段Ｃ４に照度判定装置の機能を持たせているが、認識手段Ｃ４から独立した照度判定装置を設けても良い。
【００５１】
本発明操作装置によりオーディオＡＵ、ビデオＤＶＤ、カーナビＣＮ等を操作できるようにしたものを示したが、本発明では、操作対象を車載の他の機器、例えばエアコン等の空調装置、テレビ等にしてもよい。
【００５２】
また実施の形態では、操作指令手段Ｃ２は、マークＭ１〜Ｍ７が隠されたことについての判定手段Ｃ１の判定結果に基づいて車載機器ＡＵ，ＤＶＤ，ＣＮに対する操作コマンド（操作指令信号）を出力するようにしたものを示したが、本発明では、マークＭ１〜Ｍ７が隠されたことについての判定手段Ｃ１の判定結果と、認識手段Ｃ４が手Ｈを認識した結果とを組み合わせた判断ロジックに基づき車載機器ＡＵ，ＤＶＤ，ＣＮに対する操作コマンド（操作指令信号）を出力するようにしてもよい。この場合においても、認識手段Ｃ４は、手Ｈを手Ｈ以外の身体部位（頭、腕等）と識別するだけであるため、従来技術のように判断ロジックが複雑化することはない。
【符号の説明】
【００５３】
ＡＵ オーディオ（車載機器）
Ｃ１ 判定手段
Ｃ２ 操作指令手段
Ｃ４ 認識手段（照度判定装置）
ＣＡ カメラ（撮像手段）
ＣＮ カーナビ（車載機器）
ＤＶＤ ビデオ（車載機器）
Ｍ１〜Ｍ７ 複数個のマーク
Ｓ ステアリングハンドル
ＵＲ 赤外線照射手段
【技術分野】
【０００１】
本発明は、可視光線および赤外線の両方の画像を撮像可能なカメラを用いて周辺環境の照度を判定するための撮像装置と、この撮像装置を用いた自動車における車載機器の操作装置とに関する。
【背景技術】
【０００２】
従来、ステアリングハンドル上の乗員の手の形や動きを読み取る撮像手段と、その撮像手段が読み取った手の形や動きに基づいて車載機器に対する操作コマンドを出力できるようにした操作指令手段とをえたゼスチャーリモコン式操作装置が知られている。
【０００３】
かかるゼスチャーリモコン式操作装置において、撮像手段として可視光線用のカメラと赤外線用のカメラとを別個に備備え、照度の高い昼間等には可視光線用のカメラで撮像した画像を用い、照度の低い夜間等には赤外線を照射するとともに、赤外線用のカメラで撮像した画像を用いることで、車室内の照度に関わらずに乗員の手の形や動きを読み取れるようにしたものが、下記特許文献１より公知である。このものによれば、可視光線用のカメラは赤外線を感知しないため、可視光線用のカメラで撮像した画像から車室内の照度を判定することが可能であり、その判定した照度に基づいて赤外線の照射および照射停止を切り替えることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１７０８７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年実用化された可視光線および赤外線の両方の画像を撮像可能なカメラを採用した場合、その画像から車室内の照度が低下したことを判定して赤外線の照射を開始することは可能であるが、赤外線の照射を行っている間は、画像から判定される車室内の照度は実際の可視光線による車室内の照度に関わらずに高くなるため、赤外線の照射を停止するタイミングを知ることができないという問題が発生する。
【０００６】
本発明は前述の事情に鑑みてなされたもので、可視光線および赤外線の両方の画像を撮像可能なカメラを用いて、赤外線の照射時にも周囲環境の照度を的確に判定できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に記載された発明によれば、可視光線および赤外線の両方の画像を撮像可能なカメラと、前記画像から周囲環境の照度を判定する照度判定装置と、前記照度判定装置が周囲環境の照度が所定値未満であると判定すると赤外線を照射する赤外線照射手段とを備える撮像装置において、前記赤外線照射手段は赤外線を断続的に照射し、前記照度判定装置は前記赤外線照射手段が赤外線を照射していないときの前記画像から周囲環境の照度を判定することを特徴とする撮像装置が提案される。
【０００８】
また請求項２に記載された発明によれば、請求項１の構成に加えて、前記照度判定装置は、前記画像の明度ヒストグラムを作成するとともに、前記明度ヒストグラムから高明度領域および低明度領域のデータを除外した中間明度領域のデータの平均値に基づいて周囲環境の照度を判定することを特徴とする撮像装置が提案される。
【０００９】
また請求項３に記載された発明によれば、請求項１または請求項２の構成に加えて、前記赤外線照射手段が赤外線の照射を開始する照度と赤外線の照射を停止する照度とがヒステリシスを有することを特徴とする撮像装置が提案される。
【００１０】
また請求項４に記載された発明によれば、請求項１〜請求項３の何れか１項に記載の撮像装置を用いた自動車における車載機器の操作装置であって、複数個のマークが設けられたステアリングハンドルを撮像し得る前記撮像手段と、前記撮像手段から出力される撮像データに基づいて前記マークが隠されたか否かを該マーク毎に個別に判定可能な判定手段と、前記判定手段による判定結果に基づいて車載機器に対する操作コマンドを出力する操作指令手段とを備えることを特徴とする自動車における車載機器の操作装置が提案される。
【００１１】
尚、実施の形態のオーディオＡＵ、ビデオＤＶＤおよびカーナビＣＮは本発明の車載機器に対応し、実施の形態の認識手段Ｃ４は本発明の照度判定装置に対応する。
【発明の効果】
【００１２】
請求項１の構成によれば、撮像装置は、可視光線および赤外線の両方の画像を撮像可能なカメラと、画像から周囲環境の照度を判定する照度判定装置と、照度判定装置が周囲環境の照度が所定値未満であると判定すると赤外線を照射する赤外線照射手段とを備えるので、周囲環境の照度が低いときでも赤外線を照射することで支障なく撮像を行うことができる。赤外線照射手段は赤外線を断続的に照射し、照度判定装置は赤外線照射手段が赤外線を照射していないときの画像から周囲環境の照度を判定するので、照射された赤外線によって周囲環境の照度が実際の照度よりも高く判定されるのを防止し、照度の判定精度を高めることができる。
【００１３】
また請求項２の構成によれば、照度判定装置は、画像の明度ヒストグラムを作成し、その明度ヒストグラムから高明度領域および低明度領域のデータを除外した中間明度領域のデータの平均値に基づいて周囲環境の照度を判定するので、画像中に極端の明るい部分や極端に暗い部分が存在しても、それらの部分に影響されずに周囲環境の照度を精度良く判定することができる。
【００１４】
また請求項３の構成によれば、赤外線照射手段が赤外線の照射を開始する照度と赤外線の照射を停止する照度とがヒステリシスを有するので、赤外線照射手段が赤外線の照射および照射停止を短い時間間隔で繰り返すチャタリングの発生を防止することができる。
【００１５】
また請求項４の構成によれば、判定手段は、撮像手段から出力される撮像データに基づいて、複数個のマークの何れかが隠されたか否かを該マーク毎に個別に判定し、操作指令手段は、その判定結果に基づいて車載機器に対する操作コマンドを出力するので、各々のマークが撮像手段から隠された否かに基づいて車載機器に対する操作コマンドを正確に出力できるだけでなく、操作者の操作手順も判り易くなって操作者の認識違いによる誤操作も効果的に防止できる。しかも操作指令手段における判断ロジックは比較的単純であってコスト節減に寄与し得るだけでなく、演算処理も迅速に行うことができる。
【図面の簡単な説明】
【００１６】
【図１】自動車の車室内を示す概略図。
【図２】インストルメントパネル付近を運転者側から見た正面図。
【図３】図２の３−３線拡大断面図。
【図４】制御系のブロック図。
【図５】操作指令手段の待機モードから第１の作動モードへの切換操作過程を簡略的に示す説明図。
【図６】操作指令手段の第１の作動モードから第２の作動モードへの切換操作過程を簡略的に示す説明図。
【図７】車載機器に対する走行中操作の規制を解除して、走行中であっても運転者以外の同乗者による車載機器への手動操作を可能とするための操作過程を簡略的に示す説明図。
【図８】照度を判定するロジックを示すブロック図。
【図９】明度ヒストグラムの一例を示す図。
【図１０】ボリューム調整操作を行うための操作手順を示すステップ概要図。
【図１１】ソース選択操作を行うための操作手順を示すステップ概要図。
【図１２】アルバム名・曲名の選択操作を行うための操作手順を示すステップ概要図。
【図１３】音声検索モードへの移行操作を行うための操作手順を示すステップ概要図。
【発明を実施するための形態】
【００１７】
以下、図１〜図１３に基づいて本発明の実施の形態を説明する。
【００１８】
先ず、図１〜図３において、車室のインストルメントパネルＩには、速度計等の各種計器の他、オーディオＡＵ、ビデオＤＶＤ、カーナビＣＮ等の車載機器のための表示部Ｌや、これら車載機器ＡＵ，ＤＶＤ，ＣＮを手動操作するための操作部１等が設けられ、更にその各種計器の正面側には、運転者により操向操作されるステアリングハンドルＳが配設される。
【００１９】
ステアリングハンドルＳは、操向軸（図示せず）に連結された中央ハブ部Ｓａと、その中央ハブ部Ｓａを円環状に取り囲むリム部Ｓｍと、そのリム部Ｓｍおよび中央ハブ部Ｓａ間を連結する３本のスポーク部Ｓｂ１〜Ｓｂ３とを備える。中央ハブ部Ｓａの外面にはホーンカバー２が着脱可能に被着され、そのホーンカバー２の中央外面には、デザイン処理されたＨ字状の第１マークＭ１が装着される。
【００２０】
また前記スポーク部Ｓｂ１〜Ｓｂ３には、これらの外面を体裁よく覆うスポークカバー３が着脱可能に装着される。このスポークカバー３は、図示例では可撓性のあるシート状の金属板をスポーク部Ｓｂ１〜Ｓｂ３に対応した展開形状に形成して構成されており、その裏面には貼付用の接着剤または接着シートが設けられる。このスポークカバー３をスポーク部Ｓｂ１〜Ｓｂ３に取付ける際には、該カバー３をスポーク部Ｓｂ１〜Ｓｂ３の外面に倣わせるように巻き付けて貼付し、且つ該カバー３の自由端縁３ｅを図３に示すように内方に折り曲げるようにして、スポーク部Ｓｂ１〜Ｓｂ３に固定する。
【００２１】
前記スポークカバー３の、左側のスポーク部Ｓｂ１に対応する部分には、第２〜第４マークＭ２〜Ｍ４（図示例ではＭ２がボリュームマーク、Ｍ３がソースマーク、Ｍ４がセレクトマークに該当）がそれぞれ接着または印刷により一列に付設されており、またスポークカバー３の、右側のスポーク部Ｓｂ３に対応する部分には、第５〜第７マークＭ５〜Ｍ７（図示例ではＭ５がボイスマーク、Ｍ６がアップマーク、Ｍ７がダウンマークに該当）がそれぞれ接着または印刷により、第５マークＭ５を内寄りとしたジグザグの配列で付設されている。
【００２２】
車室内の適所、図示例では運転者のやや斜め後方の天井部には、各マークＭ１〜Ｍ７を撮像し得る撮像手段としてのモノクロのカメラＣＡが設置される。このカメラＣＡは、運転者が何れかのマークＭ１〜Ｍ７を隠したときには、その隠されたことが明確に認識可能となる撮像データを電子制御装置ＥＣＵ（図４参照）に出力する。また車室内が暗くなって可視光線の撮像データが得られなくなった場合のために、ステアリングハンドルＳの周囲に所定時間間隔で断続的に赤外線を照射するＬＥＤよりなる赤外線照射手段ＵＲが、カメラＣＡの近傍の天井部に配置される。
【００２３】
カメラＣＡの撮像データから第１〜第７マークＭ１〜Ｍ７および運転者の手Ｈを容易に認識できるように、ステアリングハンドルＳの色は黒に近い暗色系であることが望ましく、第１〜第７マークＭ１〜Ｍ７は黒に白の縁取りをしたものであることが望ましい。
【００２４】
図４に示すように、電子制御装置ＥＣＵは、車室内の適所、例えばインストルメントパネルＩの内部に設置されるものであり、それは、カメラＣＡから出力される撮像データを分析し、その分析データに基づいてマークＭ１〜Ｍ７が隠されたか否かをマークＭ１〜Ｍ７毎に個別に判定可能な判定手段Ｃ１と、その判定手段Ｃ１による判定結果に基づいて車載機器（即ちオーディオＡＵ、ビデオＤＶＤ、カーナビＣＮ）に対する操作コマンドとしての操作指令信号を出力する操作指令手段Ｃ２と、この操作指令手段Ｃ２の出力信号を前記車載機器に対する駆動信号に変換して車載機器ＡＵ，ＤＶＤ，ＣＮに出力する信号出力部Ｃ３と、カメラＣＡから出力される撮像データに基づいて乗員の手Ｈを認識し得る認識手段Ｃ４とを備えている。
【００２５】
前記カメラＣＡは、判定手段Ｃ１および認識手段Ｃ４の各入力側に接続される。また操作指令手段Ｃ２の入力側には、判定手段Ｃ１および認識手段Ｃ４の各出力側、ならびに外部の前記操作部１、舵角センサＳＥ１および車速センサＳＥ２がそれぞれ接続される。更に信号出力部Ｃ３の入力側には操作指令手段Ｃ２の出力側が接続されるとともに、その信号出力部Ｃ３の出力側には前記車載機器ＡＵ，ＤＶＤ，ＣＮが接続されている。
【００２６】
操作指令手段Ｃ２は、前記外部の操作部１による車載機器ＡＵ，ＤＶＤ，ＣＮの操作入力を可能とする待機モードと、その操作入力を禁止する第１，第２の作動モードの何れかとを選択的にとることができ、前記待機モードでは、第１マークＭ１および第５マークＭ５以外のマーク（即ち第２〜第４マークＭ２〜Ｍ４、第６マークＭ６および第７マークＭ７）が隠されても操作指令手段Ｃ２は応答せず、即ち操作コマンドが発せられることはなない。
【００２７】
また操作指令手段Ｃ２は、該操作指令手段Ｃ２が第１または第２の作動モードにある時に、車両において、予め設定した状態（具体的には所定角以上の舵角操作があった状態、あるいは所定時間内の急激な車速変化があった状態、あるいは第１，第２の何れかの作動モードに切換わってから一定時間以上、第２〜第７マークＭ２〜Ｍ７の何れかを隠す操作が無く、放置された状態、あるいは第１または第２の作動モードにあるにも拘わらず第１マークＭ１が再度隠される操作がなされた状態）になるのに応じて前記待機モードに自動的に切換わる。
【００２８】
図８に示すように、認識手段Ｃ４のうち車室の照度を判定する部分は、可視光線画像選択手段Ｐ１と、ヒストグラム作成手段Ｐ２と、低・高明度領域削除手段Ｐ３と、平均値算出手段Ｐ４と、照度判定手段Ｐ５とを備える。カメラＣＡは可視光線画像選択手段Ｐ１に接続され、可視光線画像選択手段Ｐ１はヒストグラム作成手段Ｐ２に接続され、ヒストグラム作成手段Ｐ２は低・高明度領域削除手段Ｐ３に接続され、低・高明度領域削除手段Ｐ３は平均値算出手段Ｐ４に接続され、平均値算出手段Ｐ４は照度判定手段Ｐ５に接続され、照度判定手段Ｐ５は赤外線照射手段ＵＲに接続される。
【００２９】
車室内が暗いために可視光線だけでは明瞭な画像が得られないとき、赤外線照射手段ＵＲが作動して赤外線を断続的に照射する。よって赤外線照射手段ＵＲによる断続的な赤外線の照射が途切れた断のとき、カメラＣＡは可視光線による画像を撮像し、赤外線照射手段ＵＲによる断続的な赤外線の照射が途切れない続のとき、カメラＣＡは可視光線および赤外線の両方による画像を撮像する。
【００３０】
可視光線画像選択手段Ｐ１は、赤外線照射手段ＵＲによる断続的な赤外線の照射が途切れた断のときの可視光線による画像を選択し、車室の照度を判定すべくヒストグラム作成手段Ｐ２に出力する。尚、赤外線照射手段ＵＲによる断続的な赤外線の照射が途切れない続のときの可視光線および赤外線の両方による画像は、第１〜第７マークＭ１〜Ｍ７を認識するために使用される。そしてヒストグラム作成手段Ｐ２は、可視光線画像選択手段Ｐ１により選択された画像の全ての画素を抽出し、それを明度ごとに並べることで、図９に示す明度ヒストグラムを作成する。
【００３１】
低・高明度領域削除手段Ｐ３は、明度ヒストグラムの画素のうち、例えばダッシュボードの下部のように極端に明度の低い部分の画素と、モニタ画面のように極端に明度の高い部分の画素とを削除する。続いて平均値算出手段Ｐ４は、低・高明度領域削除手段Ｐ３により削除されずに残った画素の明度の平均値を算出し、その平均値を所定の閾値と比較する。続いて照度判定手段Ｐ５は、前記平均値が閾値未満であれば、車室内の照度が低いために赤外線の照射が必要であると判断して赤外線照射手段ＵＲを作動させるとともに、前記平均値が閾値以上であれば、車室内の照度が高いために赤外線の照射が不要であると判断して赤外線照射手段ＵＲを作動を停止させる。
【００３２】
例えば車両がトンネルの内部に入って車室内が暗くなったために赤外線の照射を一旦開始すると、車両がトンネルを出て車質内が明るくなっても、赤外線が照射されているために画像から検出される車室内の照度は殆ど変化せず、赤外線の照射を停止するタイミングを判定できないという問題があるが、本実施の形態によれば、赤外線を断続的に照射し、赤外線の照射が断になったときの画像、つまり可視光線の画像に基づいて車室内の照度を判定するので、車室内が明るくなって赤外線の照射を停止するタイミングを確実に判定することができる。
【００３３】
しかも、その際に可視光線の画像から明度ヒストグラムを作成し、そこから極端に明度の低い画素と極端に明度の高い画素とを削除した残りの画素に基づいて照度を判定するので、照度判定の精度を高めることができる。
【００３４】
尚、車室内が暗くなって赤外線の照射を開始するときは、未だ赤外線の照射開始前であって得られる画像が可視光線の画像であるため、任意の画像から車室の照度を判定することができる。
【００３５】
また赤外線照射手段ＵＲを作動させる照度の閾値は、赤外線照射手段ＵＲの作動を停止させる照度の閾値よりも低く設定されており、これにより赤外線照射手段ＵＲが赤外線の照射および照射停止を短い時間間隔で繰り返すチャタリングの発生を防止することができる。
【００３６】
而して、判定手段Ｃ１は、操作指令手段Ｃ２が待機モードにある状態では、カメラＣＡの撮像データに基づき、図５の（Ａ）に示すようにステアリング本体Ｓｍの輪郭（丸）を認識して監視対象範囲とし、次いで図５の（Ｂ）に示すように中央の第１マークＭ１を認識しているので、この認識中に、図５の（Ｃ）に示すように第１マークＭ１が運転者の手Ｈで隠された場合にはそのことを迅速確実に認識でき、その認識結果を操作指令手段Ｃ２に出力することで、該手段Ｃ２が第１の作動モードに切り換わる。
【００３７】
また判定手段Ｃ１は、操作指令手段Ｃ２が第１または第２の作動モードにある状態では、図６の（Ａ）に示すようにスポーク部Ｓｂ１，Ｓｂ２の第２〜第７マークＭ２〜Ｍ７を認識しているので、この認識中に、例えば図６の（Ｂ）に示すように複数個の第２のマーク（即ち第２〜第５マークＭ２〜Ｍ５）が運転者の手Ｈで隠された場合にはそのことを迅速確実に認識でき、この認識結果に基づいて操作指令手段Ｃ２が第２の作動モードに切り換わる。更にこの第２の作動モードの状態で、図６の（Ｃ）に示すように複数個の第３のマーク（即ち第６，第７マークＭ６，Ｍ７）が運転者の手Ｈで隠されたことを迅速確実に認識でき、その認識結果を操作指令手段Ｃ２に出力する。
【００３８】
更に認識手段Ｃ４は、操作指令手段Ｃ２が何れのモードにある場合でも、カメラＣＡの撮像データに基づき、図７の（Ａ）に示すようにステアリング本体Ｓｍの輪郭を認識して監視対象範囲としている。そして操作指令手段Ｃ２は、それが車速センサＳＥ２の検出信号に基づき自動車が走行中であると判断しているときに、認識手段Ｃ４がリム部Ｓｍ上に手Ｈが２つ有ることを認識しない場合には前記操作部１からの少なくとも一部の操作信号を無効にするが、認識手段Ｃ４が図７の（Ｂ）に示すようにリム部Ｓｍ上に手Ｈが２つ有ることを認識した場合には前記操作信号を無効にしないように構成される。
【００３９】
よって、走行中においては従来と同様、安全運転の観点から車載機器ＡＵ，ＤＶＤ，ＣＮの操作部１への手動操作の少なくとも一部を無効にできる。しかしながら走行中であってもリム部Ｓｍ上に手Ｈが２つ有ることを認識手段Ｃ４が認識した場合には、前記操作部１から操作信号が出力されても、それは運転者以外の乗員により操作されたものと見做せることから、操作指令手段Ｃ２は前記操作信号を無効にしないようにして、運転者以外の乗員による操作を有効としている。これにより、自動車が走行中であっても、運転者が両手ＨでステアリングＳを握っておれば、運転者以外の同乗者による車載機器ＡＵ，ＤＶＤ，ＣＮへの操作が可能となり、使い勝手、利便性が向上する。
【００４０】
操作指令手段Ｃ２は、これが待機モードにある時に第１マークＭ１が隠されたと判定手段Ｃ１が判定するのに基づいて第１の作動モードに切換わり、その第１の作動モードでは、第２〜第５マークＭ２〜Ｍ５の１つが隠されることで車載機器における操作対象（図示例では「ボリューム」と、ビデオ・オーディオを選択する「ソース」と、アルバム名・曲名を選択する「セレクト」と、カーナビの音声検索モードを選択する「ボイス」と）を任意に選択可能となる。
【００４１】
また操作指令手段Ｃ２は、これが第１の作動モードにある時に、第２〜第５マークＭ２〜Ｍ５の何れかが隠されたと判定手段Ｃ１が判定するのに基づいて第２の作動モードに切換わり、その第２の作動モードでは、第６，第７マークＭ６，Ｍ７の１つが隠されることで前記操作対象に関係した複数の操作パラメータの１つを選択可能である。その操作パラメータとは、前記操作対象に関連して操作者がより具体的に選択操作すべき操作内容を意味しており、図示例では第２マークＭ２が隠されたことで「ボリューム」が選択された場合には、第６マークＭ６を隠すことが「音量上げ」に、また第７マークＭ７を隠すことが「音量下げ」にそれぞれ対応する。
【００４２】
また第３マークＭ３が隠されたことで「ソース」が選択された場合には、第６マークＭ６を隠すことがＯＦＦ・ビデオ・オーディオの「一方向順送り」に、また第７マークＭ７を隠すことが「他方向の順送り」にそれぞれ対応する。
【００４３】
更に第４マークＭ４が隠されたことで「セレクト」が選択された場合には、第６マークＭ６を長く（例えば２秒）隠すことがアルバム名の「一方向順送り」に、また第６マークＭ６を短く隠すことが曲名の「一方向順送り」に、また第７マークＭ７を長く（例えば２秒）隠すことがアルバム名の「他方向順送り」に、また第７マークＭ７を短く隠すことが曲名の「他方向順送り」にそれぞれ対応する。
【００４４】
次に前記操作装置の操作手順について、図１０〜図１３を参照して、より具体的に説明する。
［１］ボリューム調整操作
操作指令手段Ｃ２が前記待機モードにあるときは、図１０のステップＳ１０に示すように表示部Ｌは通常のカーナビ画面となっており、この状態から操作者が第１マークＭ１を隠すと（ステップＳ１１）、「操作をどうぞ」のアナウンスと共に画面下半分に次に選択操作すべきマークＭ２〜Ｍ５の表示が強調して現れる（ステップＳ１２）。そこで第２マークＭ２を隠すと（ステップＳ１３）、「ボリューム」のアナウンスと共に画面下半分に次に選択操作すべきマークＭ６，Ｍ７の表示が強調して現れ（ステップＳ１４）、次いで所定時間（例えば３秒）経過すると、現時点でのボリューム表示が現れる（ステップＳ１５）。そこで第６マークＭ６または第７マークＭ７の何れかを隠すと（ステップＳ１６）、隠したマークに対応して音量調整が実行され、その調整後のボリューム表示が現れる（ステップＳ１７）。
［２］ソース選択操作
図１１に示すように、ステップＳ２０〜Ｓ２２までは、前記ステップＳ１０〜Ｓ１２と同じであり、そのステップＳ２２の状態から第３マークＭ３を隠すと（ステップＳ２３）、「ソース選択」のアナウンスと共に画面下半分に次に選択操作すべきマークＭ６，Ｍ７の表示が強調して現れ（ステップＳ２４）、次いで所定時間（例えば３秒）経過すると、現時点でのソース表示（図では「ＯＦＦ」の選択表示）が現れる（ステップＳ２５）。そこで第６マークＭ６または第７マークＭ７の何れかを隠すと（ステップＳ２６）、隠したマークに対応してＯＦＦ・ビデオ・オーディオの一方向または他方向の順送りが実行され、「ソース選択〇〇〇〇」のアナウンスと共にその選択後のソース表示が現れる（ステップＳ２７）。
［３］アルバム名・曲名の選択操作
図１２に示すように、ステップＳ３０〜Ｓ３２までは、前記ステップＳ１０〜Ｓ１２と同じであり、そのステップＳ３２の状態から第４マークＭ４を隠すと（ステップＳ３３）、「アルバム名・曲名選択」のアナウンスと共に画面下半分に次に選択操作すべきマークＭ６，Ｍ７の表示が強調して現れ（ステップＳ３４）、次いで所定時間（例えば３秒）経過すると、現時点でのアルバム名・曲名ソース表示が現れる（ステップＳ３５）。そこで第６マークＭ６または第７マークＭ７の何れかを長く（例えば２秒間）隠すようにすれば、アルバム名の一方向順送りまたは他方向順送りが実行され（ステップＳ３６）、また第６マークＭ６または第７マークＭ７の何れかを短く隠すようにすれば、曲名の一方向順送りまたは他方向順送りが実行され（ステップＳ３６）、それらの実行と共に新たに選択されたアルバム名・曲名の表示が現れる（ステップＳ３７）。その表示が現れてから、所定時間（例えば５秒）放置すれば、新たに選択されたアルバム名・曲名が確定する。
［４］音声検索モードへの移行操作
図１３に示すように、ステップＳ４０〜Ｓ４２までは、前記ステップＳ１０〜Ｓ１２と同じであり、そのステップＳ４２の状態から操作者が第５マークＭ５を隠すと（ステップＳ４３）、「音声検索」のアナウンスと共に、カーナビＣＮを従来公知の音声検索モードに移行させることができる。
【００４５】
以上説明した本実施の形態によれば、カメラＣＡから出力される撮像データに基づいて複数のマークＭ１〜Ｍ７が隠されたか否かをマーク毎に個別に判定可能な判定手段Ｃ１と、その判定手段Ｃ１による判定結果に基づいて車載機器ＡＵ，ＤＶＤ，ＣＮに対する操作コマンド（操作指令信号）を出力する操作指令手段Ｃ２とを備えるので、各々のマークＭ１〜Ｍ７が操作者の手ＨでカメラＣＡから隠された否かに基づいて車載機器ＡＵ，ＤＶＤ，ＣＮに対する操作コマンドを正確に出力できるだけでなく、操作者の操作手順も判り易く、操作者の認識違いによる誤操作も効果的に防止可能となる。
【００４６】
しかもその操作指令手段Ｃ２における判断ロジックは比較的単純であってコスト節減が図られる上、演算処理も迅速に行うことができる。また前記複数個のマークＭ１〜Ｍ７は車室内の被取付部材（図示例ではステアリングＳに着脱可能なホーンカバー２、スポークカバー３）に設けられていて、それらカバー２，３やステアリングＳに読み取り用の貫通孔を特別に穿設する必要はないため、後付けのオプション対応が比較的容易であるばかりか、各マークＭ１〜Ｍ７およびカメラＣＡの設置位置の自由度も比較的高くなり、更にステアリングＳを持つ運転者が手元でマークＭ１〜Ｍ７を隠す操作を容易且つ迅速に行うことができる。
【００４７】
その上、操作者は、第１マークＭを隠すだけで操作指令手段Ｃ２を待機モードから第１の作動モードに迅速且つ確実に切換えることができ、更にその第１の作動モードでは、複数個のマークＭ２〜Ｍ５の１つを隠すだけで車載機器ＡＵ，ＤＶＤ，ＣＮにおける操作対象を迅速且つ確実に選択することができる。更に操作者は、操作指令手段Ｃ２が前記第２の作動モードにある時に、第６，第７マークＭ６，Ｍ７の１つを隠すだけで、操作対象に関係して指定すべき複数の操作パラメータ、即ち操作内容の１つを迅速且つ確実に選択できる。
【００４８】
ところで操作指令手段Ｃ２は、該手段が何れかの作動モードにある時に、車両が予め設定した状態（具体的には所定角以上の舵角操作があった状態、あるいは所定時間内の急激な車速変化があった状態、あるいは第１，第２の何れかの作動モードに切換わってから一定時間以上、第２〜第７マークＭ２〜Ｍ７が隠されず放置された状態、あるいは第１または第２の作動モードにあるにも拘わらず第１マークＭ１が再度隠される操作がなされた状態）になるのに応じて待機モードに自動的に切換わる。これにより、カーブ走行時や急加速時等の、運転に専念すべき特別な走行状態等の場合や、一定時間以上放置の場合、更には運転者が即座に待機モードに戻したいと希望する場合に、操作指令手段Ｃ２を自動的に待機モードに戻すことができるため、それらの場合に操作者の誤操作により操作指令手段Ｃ２がコマンドを出力するのを未然に確実に防止することができる。
【００４９】
以上、本発明の実施の形態を説明したが、本発明は上記実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明を逸脱することなく種々の設計変更を行うことが可能である。
【００５０】
例えば、実施の形態では、認識手段Ｃ４に照度判定装置の機能を持たせているが、認識手段Ｃ４から独立した照度判定装置を設けても良い。
【００５１】
本発明操作装置によりオーディオＡＵ、ビデオＤＶＤ、カーナビＣＮ等を操作できるようにしたものを示したが、本発明では、操作対象を車載の他の機器、例えばエアコン等の空調装置、テレビ等にしてもよい。
【００５２】
また実施の形態では、操作指令手段Ｃ２は、マークＭ１〜Ｍ７が隠されたことについての判定手段Ｃ１の判定結果に基づいて車載機器ＡＵ，ＤＶＤ，ＣＮに対する操作コマンド（操作指令信号）を出力するようにしたものを示したが、本発明では、マークＭ１〜Ｍ７が隠されたことについての判定手段Ｃ１の判定結果と、認識手段Ｃ４が手Ｈを認識した結果とを組み合わせた判断ロジックに基づき車載機器ＡＵ，ＤＶＤ，ＣＮに対する操作コマンド（操作指令信号）を出力するようにしてもよい。この場合においても、認識手段Ｃ４は、手Ｈを手Ｈ以外の身体部位（頭、腕等）と識別するだけであるため、従来技術のように判断ロジックが複雑化することはない。
【符号の説明】
【００５３】
ＡＵ オーディオ（車載機器）
Ｃ１ 判定手段
Ｃ２ 操作指令手段
Ｃ４ 認識手段（照度判定装置）
ＣＡ カメラ（撮像手段）
ＣＮ カーナビ（車載機器）
ＤＶＤ ビデオ（車載機器）
Ｍ１〜Ｍ７ 複数個のマーク
Ｓ ステアリングハンドル
ＵＲ 赤外線照射手段
【特許請求の範囲】
【請求項１】
可視光線および赤外線の両方の画像を撮像可能なカメラ（ＣＡ）と、前記画像から周囲環境の照度を判定する照度判定装置（Ｃ４）と、前記照度判定装置（Ｃ４）が周囲環境の照度が所定値未満であると判定すると赤外線を照射する赤外線照射手段（ＵＲ）とを備える撮像装置において、
前記赤外線照射手段（ＵＲ）は赤外線を断続的に照射し、前記照度判定装置（Ｃ４）は前記赤外線照射手段（ＵＲ）が赤外線を照射していないときの前記画像から周囲環境の照度を判定することを特徴とする撮像装置。
【請求項２】
前記照度判定装置（Ｃ４）は、前記画像の明度ヒストグラムを作成するとともに、前記明度ヒストグラムから高明度領域および低明度領域のデータを除外した中間明度領域のデータの平均値に基づいて周囲環境の照度を判定することを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記赤外線照射手段（ＵＲ）が赤外線の照射を開始する照度と赤外線の照射を停止する照度とがヒステリシスを有することを特徴とする、請求項１または請求項２に記載の撮像装置。
【請求項４】
請求項１〜請求項３の何れか１項に記載の撮像装置を用いた自動車における車載機器の操作装置であって、
複数個のマーク（Ｍ１〜Ｍ７）が設けられたステアリングハンドル（Ｓ）を撮像し得る前記撮像手段（ＣＡ）と、前記撮像手段（ＣＡ）から出力される撮像データに基づいて前記マーク（Ｍ１〜Ｍ７）が隠されたか否かを該マーク（Ｍ１〜Ｍ７）毎に個別に判定可能な判定手段（Ｃ１）と、前記判定手段（Ｃ１）による判定結果に基づいて車載機器（ＡＵ，ＤＶＤ，ＣＮ）に対する操作コマンドを出力する操作指令手段（Ｃ２）とを備えることを特徴とする自動車における車載機器の操作装置。
【請求項１】
可視光線および赤外線の両方の画像を撮像可能なカメラ（ＣＡ）と、前記画像から周囲環境の照度を判定する照度判定装置（Ｃ４）と、前記照度判定装置（Ｃ４）が周囲環境の照度が所定値未満であると判定すると赤外線を照射する赤外線照射手段（ＵＲ）とを備える撮像装置において、
前記赤外線照射手段（ＵＲ）は赤外線を断続的に照射し、前記照度判定装置（Ｃ４）は前記赤外線照射手段（ＵＲ）が赤外線を照射していないときの前記画像から周囲環境の照度を判定することを特徴とする撮像装置。
【請求項２】
前記照度判定装置（Ｃ４）は、前記画像の明度ヒストグラムを作成するとともに、前記明度ヒストグラムから高明度領域および低明度領域のデータを除外した中間明度領域のデータの平均値に基づいて周囲環境の照度を判定することを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記赤外線照射手段（ＵＲ）が赤外線の照射を開始する照度と赤外線の照射を停止する照度とがヒステリシスを有することを特徴とする、請求項１または請求項２に記載の撮像装置。
【請求項４】
請求項１〜請求項３の何れか１項に記載の撮像装置を用いた自動車における車載機器の操作装置であって、
複数個のマーク（Ｍ１〜Ｍ７）が設けられたステアリングハンドル（Ｓ）を撮像し得る前記撮像手段（ＣＡ）と、前記撮像手段（ＣＡ）から出力される撮像データに基づいて前記マーク（Ｍ１〜Ｍ７）が隠されたか否かを該マーク（Ｍ１〜Ｍ７）毎に個別に判定可能な判定手段（Ｃ１）と、前記判定手段（Ｃ１）による判定結果に基づいて車載機器（ＡＵ，ＤＶＤ，ＣＮ）に対する操作コマンドを出力する操作指令手段（Ｃ２）とを備えることを特徴とする自動車における車載機器の操作装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２０１３０２（Ｐ２０１２−２０１３０２Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６９６２８（Ｐ２０１１−６９６２８）
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（３９０００５４３０）株式会社ホンダアクセス (205)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（３９０００５４３０）株式会社ホンダアクセス (205)
【Ｆターム（参考）】
[ Back to top ]