手の判定方法、手の判定装置および自動車における車載機器の操作装置
【課題】 操作者の手およびステアリングハンドルを白・黒に的確に２値化して手の判定精度を高める。
【解決手段】 第１工程で、マークＭ１が手Ｈで隠されたときのステアリングハンドルＳの所定領域ＲＣ，ＲＬ，ＲＲの明度ヒストグラムを作成し、第２工程で、明度ヒストグラムの二つの山部の間に白・黒を判定する明度の閾値を設定し、第３工程で、閾値よりも明度が高い領域を白の領域であると判定する。よってステアリングハンドルＳの明度に対して手Ｈの明度が相対的に高ければ、ステアリングハンドルＳを黒に、且つ手Ｈを白に確実に２値化できる適切な閾値を設定することができ、白の領域を手Ｈであると判定することで判定精度を大幅に高めることが可能となる。
【解決手段】 第１工程で、マークＭ１が手Ｈで隠されたときのステアリングハンドルＳの所定領域ＲＣ，ＲＬ，ＲＲの明度ヒストグラムを作成し、第２工程で、明度ヒストグラムの二つの山部の間に白・黒を判定する明度の閾値を設定し、第３工程で、閾値よりも明度が高い領域を白の領域であると判定する。よってステアリングハンドルＳの明度に対して手Ｈの明度が相対的に高ければ、ステアリングハンドルＳを黒に、且つ手Ｈを白に確実に２値化できる適切な閾値を設定することができ、白の領域を手Ｈであると判定することで判定精度を大幅に高めることが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数個のマークが設けられたステアリングハンドルを撮像手段で撮像した画像を明度によって白・黒に２値化し、白の領域を手であると判定する手の判定方法および手の判定装置と、この手の判定装置を用いた自動車における車載機器の操作装置とに関する。
【背景技術】
【０００２】
従来、ステアリングハンドル上の乗員の手の位置、動きを読み取るＣＣＤカメラ等の撮像手段と、その撮像手段が読み取った手の位置、動きに基づいて車載機器に対する操作コマンドを出力できるようにした操作指令手段とを備えたゼスチャーリモコン式操作装置が知られている。
【０００３】
例えば、下記特許文献１には、操作者のゼスチャー、即ち手の位置や手の動きに基づいて車載機器に対する操作コマンドを出力するものが記載されている。
【０００４】
また下記特許文献２には、ステアリングに設けた貫通孔が運転者の手で塞がれるのに応じてゼスチャーリモコンの作動を開始することで、ゼスチャーリモコンの作動が誤って開始されないようにしたものが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３９４１７８６号公報
【特許文献２】特開２００６−３１２３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、従来のこの種のゼスチャーリモコン式操作装置では、撮像手段で撮像した画像に基づき、比較的に明度が低い（暗い）ステアリングハンドルと比較的に明度が高い（明るい）操作者の手とを、予め設定した固定の閾値に基づいて黒（ステアリングハンドル）と白（手）とに２値化し、これにより得られた白・黒の２値化画像から、所定面積以上の白の領域を手であると判定することが行われていた。
【０００７】
しかしながら、手が光の影の部分に入ったり、操作者が暗色の手袋を装着しているような場合、従来の固定の閾値を用いた２値化画像では、操作者の手とステアリングハンドルとが共に黒に２値化されてしまい、手を確実に判定できない場合があった。また逆に、ステアリングハンドルに直射日光が当たって白く光ったような場合、従来の固定の閾値を用いた２値化画像では、操作者の手とステアリングハンドルとが共に白に２値化されてしまい、手を確実に判定できない場合があった。
【０００８】
本発明は前述の事情に鑑みてなされたもので、操作者の手およびステアリングハンドルを白・黒に的確に２値化して手の判定精度を高めることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１に記載された発明によれば、マークが設けられたステアリングハンドルを撮像手段で撮像した画像を明度によって白・黒に２値化し、白の領域を手であると判定する手の判定方法において、前記マークが手で隠されたときの前記ステアリングハンドルの所定領域の明度ヒストグラムを作成する第１工程と、前記明度ヒストグラムの二つの山部の間に白・黒を判定する明度の閾値を設定する第２工程と、前記閾値よりも明度が高い領域を白の領域であると判定する第３工程とを含むことを特徴とする手の判定方法が提案される。
【００１０】
また請求項２に記載された発明によれば、請求項１の構成に加えて、前記ステアリングハンドルの所定領域は、前記マークを手で隠すときに、通常手で隠される領域と隠されない領域とを含むことを特徴とする手の判定方法が提案される。
【００１１】
また請求項３に記載された発明によれば、マークが設けられたステアリングハンドルを撮像手段で撮像した画像を明度によって白・黒に２値化し、白の領域を手であると判定する手の判定装置において、前記マークが手で隠されたときの前記ステアリングハンドルの所定領域の明度ヒストグラムを作成する明度ヒストグラム作成手段と、前記明度ヒストグラムの二つの山部を判定する山部判定手段と、前記二つの山部の間に白・黒を判定する明度の閾値を設定する閾値設定手段と、前記画像を前記閾値に基づいて白・黒の２値化画像に変換する２値化画像変換手段と、前記２値化画像における白の領域を手であると判定する手判定手段とを備えることを特徴とする手の判定装置が提案される。
【００１２】
また請求項４に記載された発明によれば、請求項３の構成に加えて、前記ステアリングハンドルの所定領域は、前記マークを手で隠すときに、通常手で隠される領域と隠されない領域とを含むことを特徴とする手の判定装置が提案される。
【００１３】
また請求項５に記載された発明によれば、請求項３または請求項４に記載の手の判定装置を用いた自動車における車載機器の操作装置であって、前記撮像手段から出力される撮像データに基づいて、前記マークを含む複数個のマークの何れかが手によって隠されたか否かを該マーク毎に個別に判定可能な判定手段と、前記判定手段による判定結果に基づいて車載機器に対する操作コマンドを出力する操作指令手段とを備えることを特徴とする自動車における車載機器の操作装置が提案される。
【００１４】
尚、実施の形態のオーディオＡＵ、ビデオＤＶＤおよびカーナビＣＮは本発明の車載機器に対応し、実施の形態のカメラＣＡは本発明の撮像手段に対応する。
【発明の効果】
【００１５】
請求項１の構成によれば、第１工程で、マークが手で隠されたときのステアリングハンドルの所定領域の明度ヒストグラムを作成し、第２工程で、明度ヒストグラムの二つの山部の間に白・黒を判定する明度の閾値を設定し、第３工程で、閾値よりも明度が高い領域を白の領域であると判定する。よってステアリングハンドルの明度に対して手の明度が相対的に明るければ、ステアリングハンドルを黒に、且つ手を白に確実に２値化できる適切な閾値を設定することができ、白の領域を手であると判定することで判定精度を大幅に高めることが可能となる。
【００１６】
また請求項２の構成によれば、ステアリングハンドルの所定領域は、マークを手で隠すときに、通常手で隠される領域と隠されない領域とを含むので、明度ヒストグラムに二つの山部を確実に形成することが可能となり、その明度ヒストグラムから的確な閾値を設定して手の判定精度を更に高めることができる。
【００１７】
また請求項３の構成によれば、明度ヒストグラム作成手段が、マークが手で隠されたときのステアリングハンドルの所定領域の明度ヒストグラムを作成し、山部判定手段が、明度ヒストグラムの二つの山部を判定し、閾値設定手段が、二つの山部の間に白・黒を判定する明度の閾値を設定し、２値化画像変換手段が、画像を閾値に基づいて白・黒の２値化画像に変換し、手判定手段が、２値化画像における白の領域を手であると判定する。よってステアリングハンドルの明度に対して手の明度が相対的に明るければ、ステアリングハンドルを黒に、且つ手を白に確実に２値化できる適切な閾値を設定することができ、白の領域を手であると判定することで判定精度を大幅に高めることが可能となる。
【００１８】
また請求項４の構成によれば、ステアリングハンドルの所定領域は、マークを手で隠すときに、通常手で隠される領域と隠されない領域とを含むので、明度ヒストグラムに二つの山部を確実に形成することが可能となり、その明度ヒストグラムから的確な閾値を設定して手の判定精度を更に高めることができる。
【００１９】
また請求項５の構成によれば、判定手段は、撮像手段から出力される撮像データに基づいて、マークを含む複数個のマークの何れかが手によって隠されたか否かを該マーク毎に個別に判定し、操作指令手段は、その判定結果に基づいて車載機器に対する操作コマンドを出力するので、各々のマークが操作者の手で撮像手段から隠された否かに基づいて車載機器に対する操作コマンドを正確に出力できるだけでなく、操作者の操作手順も判り易くなって操作者の認識違いによる誤操作も効果的に防止できる。しかも操作指令手段における判断ロジックは比較的単純であってコスト節減に寄与し得るだけでなく、演算処理も迅速に行うことができる。
【図面の簡単な説明】
【００２０】
【図１】自動車の車室内を示す概略図。
【図２】インストルメントパネル付近を運転者側から見た正面図。
【図３】図２の３−３線拡大断面図。
【図４】制御系のブロック図。
【図５】操作指令手段の待機モードから第１の作動モードへの切換操作過程を簡略的に示す説明図。
【図６】操作指令手段の第１の作動モードから第２の作動モードへの切換操作過程を簡略的に示す説明図。
【図７】車載機器に対する走行中操作の規制を解除して、走行中であっても運転者以外の同乗者による車載機器への手動操作を可能とするための操作過程を簡略的に示す説明図。
【図８】手を判定するロジックを示すブロック図。
【図９】明度ヒストグラムの一例を示す図。
【図１０】ボリューム調整操作を行うための操作手順を示すステップ概要図。
【図１１】ソース選択操作を行うための操作手順を示すステップ概要図。
【図１２】アルバム名・曲名の選択操作を行うための操作手順を示すステップ概要図。
【図１３】音声検索モードへの移行操作を行うための操作手順を示すステップ概要図。
【発明を実施するための形態】
【００２１】
以下、図１〜図１３に基づいて本発明の実施の形態を説明する。
【００２２】
先ず、図１〜図３において、車室のインストルメントパネルＩには、速度計等の各種計器の他、オーディオＡＵ、ビデオＤＶＤ、カーナビＣＮ等の車載機器のための表示部Ｌや、これら車載機器ＡＵ，ＤＶＤ，ＣＮを手動操作するための操作部１等が設けられ、更にその各種計器の正面側には、運転者により操向操作されるステアリングハンドルＳが配設される。
【００２３】
ステアリングハンドルＳは、操向軸（図示せず）に連結された中央ハブ部Ｓａと、その中央ハブ部Ｓａを円環状に取り囲むリム部Ｓｍと、そのリム部Ｓｍおよび中央ハブ部Ｓａ間を連結する３本のスポーク部Ｓｂ１〜Ｓｂ３とを備える。中央ハブ部Ｓａの外面にはホーンカバー２が着脱可能に被着され、そのホーンカバー２の中央外面には、デザイン処理されたＨ字状の第１マークＭ１が装着される。
【００２４】
また前記スポーク部Ｓｂ１〜Ｓｂ３には、これらの外面を体裁よく覆うスポークカバー３が着脱可能に装着される。このスポークカバー３は、図示例では可撓性のあるシート状の金属板をスポーク部Ｓｂ１〜Ｓｂ３に対応した展開形状に形成して構成されており、その裏面には貼付用の接着剤または接着シートが設けられる。このスポークカバー３をスポーク部Ｓｂ１〜Ｓｂ３に取付ける際には、該カバー３をスポーク部Ｓｂ１〜Ｓｂ３の外面に倣わせるように巻き付けて貼付し、且つ該カバー３の自由端縁３ｅを図３に示すように内方に折り曲げるようにして、スポーク部Ｓｂ１〜Ｓｂ３に固定する。
【００２５】
前記スポークカバー３の、左側のスポーク部Ｓｂ１に対応する部分には、第２〜第４マークＭ２〜Ｍ４（図示例ではＭ２がボリュームマーク、Ｍ３がソースマーク、Ｍ４がセレクトマークに該当）がそれぞれ接着または印刷により一列に付設されており、またスポークカバー３の、右側のスポーク部Ｓｂ３に対応する部分には、第５〜第７マークＭ５〜Ｍ７（図示例ではＭ５がボイスマーク、Ｍ６がアップマーク、Ｍ７がダウンマークに該当）がそれぞれ接着または印刷により、第５マークＭ５を内寄りとしたジグザグの配列で付設されている。
【００２６】
車室内の適所、図示例では運転者のやや斜め後方の天井部には、各マークＭ１〜Ｍ７を撮像し得る撮像手段としてのモノクロのカメラＣＡが設置される。このカメラＣＡは、運転者が何れかのマークＭ１〜Ｍ７を隠したときには、その隠されたことが明確に認識可能となる撮像データを電子制御装置ＥＣＵ（図４参照）に出力する。
【００２７】
カメラＣＡの撮像データから第１〜第７マークＭ１〜Ｍ７および運転者の手Ｈを容易に認識できるように、ステアリングハンドルＳの色は黒に近い暗色系であることが望ましく、第１〜第７マークＭ１〜Ｍ７は黒を白で縁取りしたものであることが望ましい。
【００２８】
図４に示すように、電子制御装置ＥＣＵは、車室内の適所、例えばインストルメントパネルＩの内部に設置されるものであり、それは、カメラＣＡから出力される撮像データを分析し、その分析データに基づいてマークＭ１〜Ｍ７が隠されたか否かをマークＭ１〜Ｍ７毎に個別に判定可能な判定手段Ｃ１と、その判定手段Ｃ１による判定結果に基づいて車載機器（即ちオーディオＡＵ、ビデオＤＶＤ、カーナビＣＮ）に対する操作コマンドとしての操作指令信号を出力する操作指令手段Ｃ２と、この操作指令手段Ｃ２の出力信号を前記車載機器に対する駆動信号に変換して車載機器ＡＵ，ＤＶＤ，ＣＮに出力する信号出力部Ｃ３と、カメラＣＡから出力される撮像データに基づいて乗員の手Ｈを認識し得る認識手段Ｃ４とを備えている。
【００２９】
前記カメラＣＡは、判定手段Ｃ１および認識手段Ｃ４の各入力側に接続される。また操作指令手段Ｃ２の入力側には、判定手段Ｃ１および認識手段Ｃ４の各出力側、ならびに外部の前記操作部１、舵角センサＳＥ１および車速センサＳＥ２がそれぞれ接続される。更に信号出力部Ｃ３の入力側には操作指令手段Ｃ２の出力側が接続されるとともに、その信号出力部Ｃ３の出力側には前記車載機器ＡＵ，ＤＶＤ，ＣＮが接続されている。
【００３０】
操作指令手段Ｃ２は、前記外部の操作部１による車載機器ＡＵ，ＤＶＤ，ＣＮの操作入力を可能とする待機モードと、その操作入力を禁止する第１，第２の作動モードの何れかとを選択的にとることができ、前記待機モードでは、第１マークＭ１および第５マークＭ５以外のマーク（即ち第２〜第４マークＭ２〜Ｍ４、第６マークＭ６および第７マークＭ７）が隠されても操作指令手段Ｃ２は応答せず、即ち操作コマンドが発せられることはなない。
【００３１】
また操作指令手段Ｃ２は、該操作指令手段Ｃ２が第１または第２の作動モードにある時に、車両において、予め設定した状態（図示例では所定角以上の舵角操作があった状態、あるいは所定時間内の急激な車速変化があった状態、あるいは第１，第２の何れかの作動モードに切換わってから一定時間以上、第２〜第７マークＭ２〜Ｍ７の何れかを隠す操作が無く、放置された状態、あるいは第１または第２の作動モードにあるにも拘わらず第１マークＭ１が再度隠される操作がなされた状態）になるのに応じて前記待機モードに自動的に切換わる。
【００３２】
図８に示すように、認識手段Ｃ４は、明度ヒストグラム作成手段Ｐ１と、山部判定手段Ｐ２と、閾値設定手段Ｐ３と、２値化画像変換手段Ｐ４と、手判定手段Ｐ５とを備える。明度ヒストグラム作成手段Ｐ１および２値化画像変換手段Ｐ４にはカメラＣＡが接続され、明度ヒストグラム作成手段Ｐ１は山部判定手段Ｐ２に接続され、山部判定手段Ｐ２は閾値設定手段Ｐ３に接続され、閾値設定手段Ｐ３は２値化画像変換手段Ｐ４に接続され、２値化画像変換手段Ｐ４は手判定手段Ｐ５に接続される。
【００３３】
図２に示すように、ステアリングハンドルＳには、中央の第１領域ＲＣと、その左右両側に位置する第２、第３領域ＲＬ，ＲＲとが設定される。第１領域ＲＣおよび第２、第３領域ＲＬ，ＲＲは何れも仮想的な領域であり、第１領域ＲＣは第１マークＭ１をカバーする位置に設定され、第２、第３領域ＲＬ，ＲＲは第１領域ＲＣから所定距離離間した位置に設定される。言い換えると、第１領域ＲＣは、運転者が第１マークＭ１を手で隠そうとしたときに覆われる位置に設定され、第２、第３領域ＲＬ，ＲＲは、運転者が第１マークＭ１を手で隠そうとしたときに覆われ難い位置に設定される。
【００３４】
図８に戻り、認識手段Ｃ４の明度ヒストグラム作成手段Ｐ１は、カメラＣＡの画像から前記第１領域ＲＣおよび第２、第３領域ＲＬ，ＲＲに対応する画素を抽出し、それを明度ごとに並べることで、図９に示す明度ヒストグラムを作成する。運転者が第１マークＭ１を手で隠そうとしたとき、第１領域ＲＣの大部分は明色の手で覆われるため、その画素の明度は高い傾向になり、第２、第３領域ＲＬ，ＲＲの大部分は明色の手で覆われず、暗色のステアリングハンドルＳのホーンカバー２が露出するため、その明度は低い傾向になる。その結果、明度ヒストグラムには、第１領域ＲＣの画素に対応する明度が高い領域に一つの山部が生じるとともに、第２、第３領域ＲＬ，ＲＲの画素に対応する明度が低い領域に他の一つの山部が生じることになる。
【００３５】
山部判定手段Ｐ２は前記二つの山部を判定し、閾値設定手段Ｐ３は前記二つの山部の間に２値化のための明度の閾値を設定する。この閾値は車室の環境等に応じて変化する値であり、例えば車室が暗い場合には第１〜第３領域ＲＣ，ＲＬ，ＲＲの画素の明度が全体的に低くなるために閾値は低い（暗い）方に移動し、車室が明るい場合には第１〜第３領域ＲＣ，ＲＬ，ＲＲの画素の明度が全体的に高くなるために閾値は高い（明るい）方に移動することになる。
【００３６】
２値化画像変換手段Ｐ４は、カメラＣＡで撮像した画像の全ての画素を前記閾値によって振り分け、閾値よりも明るい画素を白にし、閾値よりも暗い画素を黒に２値化することで、カメラＣＡの画像を白および黒の２色で構成された２値化画像に変換する。そして手判定手段Ｐ５は、２値化画像の白の領域のうち、所定値以上の面積を持って纏まっている部分を運転者の手Ｈであると判定する。
【００３７】
このように、明度ヒストグラム作成手段Ｐ１で、第１マークＭ１が手Ｈで隠されたときのステアリングハンドルＳの第１領域ＲＣおよび第２、第３領域ＲＬ，ＲＲの明度ヒストグラムを作成し、山部判定手段Ｐ２で、明度ヒストグラムの二つの山部を判定し、閾値設定手段Ｐ３で、二つの山部の間に白・黒を判定する明度の閾値を設定し、２値化画像変換手段Ｐ４で、画像を閾値に基づいて白・黒の２値化画像に変換し、手判定手段Ｐ５で、２値化画像における所定面積以上の白の領域を手Ｈであると判定するので、ステアリングハンドルＳの明度に対して手Ｈの明度が相対的に高ければ、ステアリングハンドルＳを黒に、且つ手Ｈを白に確実に２値化できる適切な閾値を設定することができ、判定精度を大幅に高めることが可能となる。
【００３８】
而して、判定手段Ｃ１は、操作指令手段Ｃ２が待機モードにある状態では、カメラＣＡの撮像データに基づき、図５の（Ａ）に示すようにステアリング本体Ｓｍの輪郭（丸）を認識して監視対象範囲とし、次いで図５の（Ｂ）に示すように中央の第１マークＭ１を認識しているので、この認識中に、図５の（Ｃ）に示すように第１マークＭ１が運転者の手Ｈで隠された場合にはそのことを迅速確実に認識でき、その認識結果を操作指令手段Ｃ２に出力することで、該手段Ｃ２が第１の作動モードに切り換わる。
【００３９】
また判定手段Ｃ１は、操作指令手段Ｃ２が第１または第２の作動モードにある状態では、図６の（Ａ）に示すようにスポーク部Ｓｂ１，Ｓｂ２の第２〜第７マークＭ２〜Ｍ７を認識しているので、この認識中に、例えば図６の（Ｂ）に示すように複数個の第２のマーク（即ち第２〜第５マークＭ２〜Ｍ５）が運転者の手Ｈで隠された場合にはそのことを迅速確実に認識でき、この認識結果に基づいて操作指令手段Ｃ２が第２の作動モードに切り換わる。更にこの第２の作動モードの状態で、図６の（Ｃ）に示すように複数個の第３のマーク（即ち第６，第７マークＭ６，Ｍ７）が運転者の手Ｈで隠されたことを迅速確実に認識でき、その認識結果を操作指令手段Ｃ２に出力する。
【００４０】
更に認識手段Ｃ４は、操作指令手段Ｃ２が何れのモードにある場合でも、カメラＣＡの撮像データに基づき、図７の（Ａ）に示すようにステアリング本体Ｓｍの輪郭を認識して監視対象範囲としている。そして操作指令手段Ｃ２は、それが車速センサＳＥ２の検出信号に基づき自動車が走行中であると判断しているときに、認識手段Ｃ４がリム部Ｓｍ上に手Ｈが２つ有ることを認識しない場合には前記操作部１からの少なくとも一部の操作信号を無効にするが、認識手段Ｃ４が図７の（Ｂ）に示すようにリム部Ｓｍ上に手Ｈが２つ有ることを認識した場合には前記操作信号を無効にしないように構成される。
【００４１】
よって、走行中においては従来と同様、安全運転の観点から車載機器ＡＵ，ＤＶＤ，ＣＮの操作部１への手動操作の少なくとも一部を無効にできる。しかしながら走行中であってもリム部Ｓｍ上に手Ｈが２つ有ることを認識手段Ｃ４が認識した場合には、前記操作部１から操作信号が出力されても、それは運転者以外の乗員により操作されたものと見做せることから、操作指令手段Ｃ２は前記操作信号を無効にしないようにして、運転者以外の乗員による操作を有効としている。これにより、自動車が走行中であっても、運転者が両手ＨでステアリングＳを握っておれば、運転者以外の同乗者による車載機器ＡＵ，ＤＶＤ，ＣＮへの操作が可能となり、使い勝手、利便性が向上する。
【００４２】
操作指令手段Ｃ２は、これが待機モードにある時に第１マークＭ１が隠されたと判定手段Ｃ１が判定するのに基づいて第１の作動モードに切換わり、その第１の作動モードでは、第２〜第５マークＭ２〜Ｍ５の１つが隠されることで車載機器における操作対象（図示例では「ボリューム」と、ビデオ・オーディオを選択する「ソース」と、アルバム名・曲名を選択する「セレクト」と、カーナビの音声検索モードを選択する「ボイス」と）を任意に選択可能となる。
【００４３】
また操作指令手段Ｃ２は、これが第１の作動モードにある時に、第２〜第５マークＭ２〜Ｍ５の何れかが隠されたと判定手段Ｃ１が判定するのに基づいて第２の作動モードに切換わり、その第２の作動モードでは、第６，第７マークＭ６，Ｍ７の１つが隠されることで前記操作対象に関係した複数の操作パラメータの１つを選択可能である。その操作パラメータとは、前記操作対象に関連して操作者がより具体的に選択操作すべき操作内容を意味しており、図示例では第２マークＭ２が隠されたことで「ボリューム」が選択された場合には、第６マークＭ６を隠すことが「音量上げ」に、また第７マークＭ７を隠すことが「音量下げ」にそれぞれ対応する。
【００４４】
また第３マークＭ３が隠されたことで「ソース」が選択された場合には、第６マークＭ６を隠すことがＯＦＦ・ビデオ・オーディオの「一方向順送り」に、また第７マークＭ７を隠すことが「他方向の順送り」にそれぞれ対応する。
【００４５】
更に第４マークＭ４が隠されたことで「セレクト」が選択された場合には、第６マークＭ６を長く（例えば２秒）隠すことがアルバム名の「一方向順送り」に、また第６マークＭ６を短く隠すことが曲名の「一方向順送り」に、また第７マークＭ７を長く（例えば２秒）隠すことがアルバム名の「他方向順送り」に、また第７マークＭ７を短く隠すことが曲名の「他方向順送り」にそれぞれ対応する。
【００４６】
次に前記操作装置の操作手順について、図１０〜図１３を参照して、より具体的に説明する。
［１］ボリューム調整操作
操作指令手段Ｃ２が前記待機モードにあるときは、図１０のステップＳ１０に示すように表示部Ｌは通常のカーナビ画面となっており、この状態から操作者が第１マークＭ１を隠すと（ステップＳ１１）、「操作をどうぞ」のアナウンスと共に画面下半分に次に選択操作すべきマークＭ２〜Ｍ５の表示が強調して現れる（ステップＳ１２）。そこで第２マークＭ２を隠すと（ステップＳ１３）、「ボリューム」のアナウンスと共に画面下半分に次に選択操作すべきマークＭ６，Ｍ７の表示が強調して現れ（ステップＳ１４）、次いで所定時間（例えば３秒）経過すると、現時点でのボリューム表示が現れる（ステップＳ１５）。そこで第６マークＭ６または第７マークＭ７の何れかを隠すと（ステップＳ１６）、隠したマークに対応して音量調整が実行され、その調整後のボリューム表示が現れる（ステップＳ１７）。
［２］ソース選択操作
図１１に示すように、ステップＳ２０〜Ｓ２２までは、前記ステップＳ１０〜Ｓ１２と同じであり、そのステップＳ２２の状態から第３マークＭ３を隠すと（ステップＳ２３）、「ソース選択」のアナウンスと共に画面下半分に次に選択操作すべきマークＭ６，Ｍ７の表示が強調して現れ（ステップＳ２４）、次いで所定時間（例えば３秒）経過すると、現時点でのソース表示（図では「ＯＦＦ」の選択表示）が現れる（ステップＳ２５）。そこで第６マークＭ６または第７マークＭ７の何れかを隠すと（ステップＳ２６）、隠したマークに対応してＯＦＦ・ビデオ・オーディオの一方向または他方向の順送りが実行され、「ソース選択〇〇〇〇」のアナウンスと共にその選択後のソース表示が現れる（ステップＳ２７）。
［３］アルバム名・曲名の選択操作
図１２に示すように、ステップＳ３０〜Ｓ３２までは、前記ステップＳ１０〜Ｓ１２と同じであり、そのステップＳ３２の状態から第４マークＭ４を隠すと（ステップＳ３３）、「アルバム名・曲名選択」のアナウンスと共に画面下半分に次に選択操作すべきマークＭ６，Ｍ７の表示が強調して現れ（ステップＳ３４）、次いで所定時間（例えば３秒）経過すると、現時点でのアルバム名・曲名ソース表示が現れる（ステップＳ３５）。そこで第６マークＭ６または第７マークＭ７の何れかを長く（例えば２秒間）隠すようにすれば、アルバム名の一方向順送りまたは他方向順送りが実行され（ステップＳ３６）、また第６マークＭ６または第７マークＭ７の何れかを短く隠すようにすれば、曲名の一方向順送りまたは他方向順送りが実行され（ステップＳ３６）、それらの実行と共に新たに選択されたアルバム名・曲名の表示が現れる（ステップＳ３７）。その表示が現れてから、所定時間（例えば５秒）放置すれば、新たに選択されたアルバム名・曲名が確定する。
［４］音声検索モードへの移行操作
図１３に示すように、ステップＳ４０〜Ｓ４２までは、前記ステップＳ１０〜Ｓ１２と同じであり、そのステップＳ４２の状態から操作者が第５マークＭ５を隠すと（ステップＳ４３）、「音声検索」のアナウンスと共に、カーナビＣＮを従来公知の音声検索モードに移行させることができる。
【００４７】
以上説明した本実施の形態によれば、カメラＣＡから出力される撮像データに基づいて複数のマークＭ１〜Ｍ７が隠されたか否かをマーク毎に個別に判定可能な判定手段Ｃ１と、その判定手段Ｃ１による判定結果に基づいて車載機器ＡＵ，ＤＶＤ，ＣＮに対する操作コマンド（操作指令信号）を出力する操作指令手段Ｃ２とを備えるので、各々のマークＭ１〜Ｍ７が操作者の手ＨでカメラＣＡから隠された否かに基づいて車載機器ＡＵ，ＤＶＤ，ＣＮに対する操作コマンドを正確に出力できるだけでなく、操作者の操作手順も判り易く、操作者の認識違いによる誤操作も効果的に防止可能となる。
【００４８】
しかもその操作指令手段Ｃ２における判断ロジックは比較的単純であってコスト節減が図られる上、演算処理も迅速に行うことができる。また前記複数個のマークＭ１〜Ｍ７は車室内の被取付部材（図示例ではステアリングＳに着脱可能なホーンカバー２、スポークカバー３）に設けられていて、それらカバー２，３やステアリングＳに読み取り用の貫通孔を特別に穿設する必要はないため、後付けのオプション対応が比較的容易であるばかりか、各マークＭ１〜Ｍ７およびカメラＣＡの設置位置の自由度も比較的高くなり、更にステアリングＳを持つ運転者が手元でマークＭ１〜Ｍ７を隠す操作を容易且つ迅速に行うことができる。
【００４９】
その上、操作者は、第１マークＭを隠すだけで操作指令手段Ｃ２を待機モードから第１の作動モードに迅速且つ確実に切換えることができ、更にその第１の作動モードでは、複数個のマークＭ２〜Ｍ５の１つを隠すだけで車載機器ＡＵ，ＤＶＤ，ＣＮにおける操作対象を迅速且つ確実に選択することができる。更に操作者は、操作指令手段Ｃ２が前記第２の作動モードにある時に、第６，第７マークＭ６，Ｍ７の１つを隠すだけで、操作対象に関係して指定すべき複数の操作パラメータ、即ち操作内容の１つを迅速且つ確実に選択できる。
【００５０】
ところで操作指令手段Ｃ２は、該手段が何れかの作動モードにある時に、車両が予め設定した状態（図示例では所定角以上の舵角操作があった状態、あるいは所定時間内の急激な車速変化があった状態、あるいは第１，第２の何れかの作動モードに切換わってから一定時間以上、第２〜第７マークＭ２〜Ｍ７が隠されず放置された状態、あるいは第１または第２の作動モードにあるにも拘わらず第１マークＭ１が再度隠される操作がなされた状態）になるのに応じて待機モードに自動的に切換わる。これにより、カーブ走行時や急加速時等の、運転に専念すべき特別な走行状態等の場合や、一定時間以上放置の場合、更には運転者が即座に待機モードに戻したいと希望する場合に、操作指令手段Ｃ２を自動的に待機モードに戻すことができるため、それらの場合に操作者の誤操作により操作指令手段Ｃ２がコマンドを出力するのを未然に確実に防止することができる。
【００５１】
以上、本発明の実施の形態を説明したが、本発明は上記実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明を逸脱することなく種々の設計変更を行うことが可能である。
【００５２】
例えば、実施の形態では、第１領域ＲＣおよび第２、第３領域ＲＬ，ＲＲの三つの領域を相互に離間するように設定しているが、それらが連続する一つの領域となるように設定しても良い。領域の設定の仕方は任意であるが、その一部に必ず第１マークＭ１が含まれることが必要である。
【００５３】
また実施の形態では、本発明操作装置によりオーディオＡＵ、ビデオＤＶＤ、カーナビＣＮ等を操作できるようにしたものを示したが、本発明では、操作対象を車載の他の機器、例えばエアコン等の空調装置、テレビ等にしてもよい。
【００５４】
また実施の形態では、操作指令手段Ｃ２は、マークＭ１〜Ｍ７が隠されたことについての判定手段Ｃ１の判定結果に基づいて車載機器ＡＵ，ＤＶＤ，ＣＮに対する操作コマンド（操作指令信号）を出力するようにしたものを示したが、本発明では、マークＭ１〜Ｍ７が隠されたことについての判定手段Ｃ１の判定結果と、認識手段Ｃ４が手Ｈを認識した結果とを組み合わせた判断ロジックに基づき車載機器ＡＵ，ＤＶＤ，ＣＮに対する操作コマンド（操作指令信号）を出力するようにしてもよい。この場合においても、認識手段Ｃ４は、手Ｈを手Ｈ以外の身体部位（頭、腕等）と識別するだけであるため、従来技術のように判断ロジックが複雑化することはない。
【００５５】
また実施の形態では所定面積以上の白の領域を手と判定しているが、白の領域の中心位置から放射状に延びる突起が１本以上あることを手の判定条件としても良い。
【符号の説明】
【００５６】
ＡＵ オーディオ（車載機器）
Ｃ１ 判定手段
Ｃ２ 操作指令手段
ＣＡ カメラ（撮像手段）
ＣＮ カーナビ（車載機器）
ＤＶＤ ビデオ（車載機器）
Ｈ 手
Ｍ１ マーク
Ｍ１〜Ｍ７ 複数個のマーク
Ｐ１ 明度ヒストグラム作成手段
Ｐ２ 山部判定手段
Ｐ３ 閾値設定手段
Ｐ４ ２値化画像変換手段
Ｐ５ 手判定手段
Ｓ ステアリングハンドル
【技術分野】
【０００１】
本発明は、複数個のマークが設けられたステアリングハンドルを撮像手段で撮像した画像を明度によって白・黒に２値化し、白の領域を手であると判定する手の判定方法および手の判定装置と、この手の判定装置を用いた自動車における車載機器の操作装置とに関する。
【背景技術】
【０００２】
従来、ステアリングハンドル上の乗員の手の位置、動きを読み取るＣＣＤカメラ等の撮像手段と、その撮像手段が読み取った手の位置、動きに基づいて車載機器に対する操作コマンドを出力できるようにした操作指令手段とを備えたゼスチャーリモコン式操作装置が知られている。
【０００３】
例えば、下記特許文献１には、操作者のゼスチャー、即ち手の位置や手の動きに基づいて車載機器に対する操作コマンドを出力するものが記載されている。
【０００４】
また下記特許文献２には、ステアリングに設けた貫通孔が運転者の手で塞がれるのに応じてゼスチャーリモコンの作動を開始することで、ゼスチャーリモコンの作動が誤って開始されないようにしたものが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３９４１７８６号公報
【特許文献２】特開２００６−３１２３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、従来のこの種のゼスチャーリモコン式操作装置では、撮像手段で撮像した画像に基づき、比較的に明度が低い（暗い）ステアリングハンドルと比較的に明度が高い（明るい）操作者の手とを、予め設定した固定の閾値に基づいて黒（ステアリングハンドル）と白（手）とに２値化し、これにより得られた白・黒の２値化画像から、所定面積以上の白の領域を手であると判定することが行われていた。
【０００７】
しかしながら、手が光の影の部分に入ったり、操作者が暗色の手袋を装着しているような場合、従来の固定の閾値を用いた２値化画像では、操作者の手とステアリングハンドルとが共に黒に２値化されてしまい、手を確実に判定できない場合があった。また逆に、ステアリングハンドルに直射日光が当たって白く光ったような場合、従来の固定の閾値を用いた２値化画像では、操作者の手とステアリングハンドルとが共に白に２値化されてしまい、手を確実に判定できない場合があった。
【０００８】
本発明は前述の事情に鑑みてなされたもので、操作者の手およびステアリングハンドルを白・黒に的確に２値化して手の判定精度を高めることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１に記載された発明によれば、マークが設けられたステアリングハンドルを撮像手段で撮像した画像を明度によって白・黒に２値化し、白の領域を手であると判定する手の判定方法において、前記マークが手で隠されたときの前記ステアリングハンドルの所定領域の明度ヒストグラムを作成する第１工程と、前記明度ヒストグラムの二つの山部の間に白・黒を判定する明度の閾値を設定する第２工程と、前記閾値よりも明度が高い領域を白の領域であると判定する第３工程とを含むことを特徴とする手の判定方法が提案される。
【００１０】
また請求項２に記載された発明によれば、請求項１の構成に加えて、前記ステアリングハンドルの所定領域は、前記マークを手で隠すときに、通常手で隠される領域と隠されない領域とを含むことを特徴とする手の判定方法が提案される。
【００１１】
また請求項３に記載された発明によれば、マークが設けられたステアリングハンドルを撮像手段で撮像した画像を明度によって白・黒に２値化し、白の領域を手であると判定する手の判定装置において、前記マークが手で隠されたときの前記ステアリングハンドルの所定領域の明度ヒストグラムを作成する明度ヒストグラム作成手段と、前記明度ヒストグラムの二つの山部を判定する山部判定手段と、前記二つの山部の間に白・黒を判定する明度の閾値を設定する閾値設定手段と、前記画像を前記閾値に基づいて白・黒の２値化画像に変換する２値化画像変換手段と、前記２値化画像における白の領域を手であると判定する手判定手段とを備えることを特徴とする手の判定装置が提案される。
【００１２】
また請求項４に記載された発明によれば、請求項３の構成に加えて、前記ステアリングハンドルの所定領域は、前記マークを手で隠すときに、通常手で隠される領域と隠されない領域とを含むことを特徴とする手の判定装置が提案される。
【００１３】
また請求項５に記載された発明によれば、請求項３または請求項４に記載の手の判定装置を用いた自動車における車載機器の操作装置であって、前記撮像手段から出力される撮像データに基づいて、前記マークを含む複数個のマークの何れかが手によって隠されたか否かを該マーク毎に個別に判定可能な判定手段と、前記判定手段による判定結果に基づいて車載機器に対する操作コマンドを出力する操作指令手段とを備えることを特徴とする自動車における車載機器の操作装置が提案される。
【００１４】
尚、実施の形態のオーディオＡＵ、ビデオＤＶＤおよびカーナビＣＮは本発明の車載機器に対応し、実施の形態のカメラＣＡは本発明の撮像手段に対応する。
【発明の効果】
【００１５】
請求項１の構成によれば、第１工程で、マークが手で隠されたときのステアリングハンドルの所定領域の明度ヒストグラムを作成し、第２工程で、明度ヒストグラムの二つの山部の間に白・黒を判定する明度の閾値を設定し、第３工程で、閾値よりも明度が高い領域を白の領域であると判定する。よってステアリングハンドルの明度に対して手の明度が相対的に明るければ、ステアリングハンドルを黒に、且つ手を白に確実に２値化できる適切な閾値を設定することができ、白の領域を手であると判定することで判定精度を大幅に高めることが可能となる。
【００１６】
また請求項２の構成によれば、ステアリングハンドルの所定領域は、マークを手で隠すときに、通常手で隠される領域と隠されない領域とを含むので、明度ヒストグラムに二つの山部を確実に形成することが可能となり、その明度ヒストグラムから的確な閾値を設定して手の判定精度を更に高めることができる。
【００１７】
また請求項３の構成によれば、明度ヒストグラム作成手段が、マークが手で隠されたときのステアリングハンドルの所定領域の明度ヒストグラムを作成し、山部判定手段が、明度ヒストグラムの二つの山部を判定し、閾値設定手段が、二つの山部の間に白・黒を判定する明度の閾値を設定し、２値化画像変換手段が、画像を閾値に基づいて白・黒の２値化画像に変換し、手判定手段が、２値化画像における白の領域を手であると判定する。よってステアリングハンドルの明度に対して手の明度が相対的に明るければ、ステアリングハンドルを黒に、且つ手を白に確実に２値化できる適切な閾値を設定することができ、白の領域を手であると判定することで判定精度を大幅に高めることが可能となる。
【００１８】
また請求項４の構成によれば、ステアリングハンドルの所定領域は、マークを手で隠すときに、通常手で隠される領域と隠されない領域とを含むので、明度ヒストグラムに二つの山部を確実に形成することが可能となり、その明度ヒストグラムから的確な閾値を設定して手の判定精度を更に高めることができる。
【００１９】
また請求項５の構成によれば、判定手段は、撮像手段から出力される撮像データに基づいて、マークを含む複数個のマークの何れかが手によって隠されたか否かを該マーク毎に個別に判定し、操作指令手段は、その判定結果に基づいて車載機器に対する操作コマンドを出力するので、各々のマークが操作者の手で撮像手段から隠された否かに基づいて車載機器に対する操作コマンドを正確に出力できるだけでなく、操作者の操作手順も判り易くなって操作者の認識違いによる誤操作も効果的に防止できる。しかも操作指令手段における判断ロジックは比較的単純であってコスト節減に寄与し得るだけでなく、演算処理も迅速に行うことができる。
【図面の簡単な説明】
【００２０】
【図１】自動車の車室内を示す概略図。
【図２】インストルメントパネル付近を運転者側から見た正面図。
【図３】図２の３−３線拡大断面図。
【図４】制御系のブロック図。
【図５】操作指令手段の待機モードから第１の作動モードへの切換操作過程を簡略的に示す説明図。
【図６】操作指令手段の第１の作動モードから第２の作動モードへの切換操作過程を簡略的に示す説明図。
【図７】車載機器に対する走行中操作の規制を解除して、走行中であっても運転者以外の同乗者による車載機器への手動操作を可能とするための操作過程を簡略的に示す説明図。
【図８】手を判定するロジックを示すブロック図。
【図９】明度ヒストグラムの一例を示す図。
【図１０】ボリューム調整操作を行うための操作手順を示すステップ概要図。
【図１１】ソース選択操作を行うための操作手順を示すステップ概要図。
【図１２】アルバム名・曲名の選択操作を行うための操作手順を示すステップ概要図。
【図１３】音声検索モードへの移行操作を行うための操作手順を示すステップ概要図。
【発明を実施するための形態】
【００２１】
以下、図１〜図１３に基づいて本発明の実施の形態を説明する。
【００２２】
先ず、図１〜図３において、車室のインストルメントパネルＩには、速度計等の各種計器の他、オーディオＡＵ、ビデオＤＶＤ、カーナビＣＮ等の車載機器のための表示部Ｌや、これら車載機器ＡＵ，ＤＶＤ，ＣＮを手動操作するための操作部１等が設けられ、更にその各種計器の正面側には、運転者により操向操作されるステアリングハンドルＳが配設される。
【００２３】
ステアリングハンドルＳは、操向軸（図示せず）に連結された中央ハブ部Ｓａと、その中央ハブ部Ｓａを円環状に取り囲むリム部Ｓｍと、そのリム部Ｓｍおよび中央ハブ部Ｓａ間を連結する３本のスポーク部Ｓｂ１〜Ｓｂ３とを備える。中央ハブ部Ｓａの外面にはホーンカバー２が着脱可能に被着され、そのホーンカバー２の中央外面には、デザイン処理されたＨ字状の第１マークＭ１が装着される。
【００２４】
また前記スポーク部Ｓｂ１〜Ｓｂ３には、これらの外面を体裁よく覆うスポークカバー３が着脱可能に装着される。このスポークカバー３は、図示例では可撓性のあるシート状の金属板をスポーク部Ｓｂ１〜Ｓｂ３に対応した展開形状に形成して構成されており、その裏面には貼付用の接着剤または接着シートが設けられる。このスポークカバー３をスポーク部Ｓｂ１〜Ｓｂ３に取付ける際には、該カバー３をスポーク部Ｓｂ１〜Ｓｂ３の外面に倣わせるように巻き付けて貼付し、且つ該カバー３の自由端縁３ｅを図３に示すように内方に折り曲げるようにして、スポーク部Ｓｂ１〜Ｓｂ３に固定する。
【００２５】
前記スポークカバー３の、左側のスポーク部Ｓｂ１に対応する部分には、第２〜第４マークＭ２〜Ｍ４（図示例ではＭ２がボリュームマーク、Ｍ３がソースマーク、Ｍ４がセレクトマークに該当）がそれぞれ接着または印刷により一列に付設されており、またスポークカバー３の、右側のスポーク部Ｓｂ３に対応する部分には、第５〜第７マークＭ５〜Ｍ７（図示例ではＭ５がボイスマーク、Ｍ６がアップマーク、Ｍ７がダウンマークに該当）がそれぞれ接着または印刷により、第５マークＭ５を内寄りとしたジグザグの配列で付設されている。
【００２６】
車室内の適所、図示例では運転者のやや斜め後方の天井部には、各マークＭ１〜Ｍ７を撮像し得る撮像手段としてのモノクロのカメラＣＡが設置される。このカメラＣＡは、運転者が何れかのマークＭ１〜Ｍ７を隠したときには、その隠されたことが明確に認識可能となる撮像データを電子制御装置ＥＣＵ（図４参照）に出力する。
【００２７】
カメラＣＡの撮像データから第１〜第７マークＭ１〜Ｍ７および運転者の手Ｈを容易に認識できるように、ステアリングハンドルＳの色は黒に近い暗色系であることが望ましく、第１〜第７マークＭ１〜Ｍ７は黒を白で縁取りしたものであることが望ましい。
【００２８】
図４に示すように、電子制御装置ＥＣＵは、車室内の適所、例えばインストルメントパネルＩの内部に設置されるものであり、それは、カメラＣＡから出力される撮像データを分析し、その分析データに基づいてマークＭ１〜Ｍ７が隠されたか否かをマークＭ１〜Ｍ７毎に個別に判定可能な判定手段Ｃ１と、その判定手段Ｃ１による判定結果に基づいて車載機器（即ちオーディオＡＵ、ビデオＤＶＤ、カーナビＣＮ）に対する操作コマンドとしての操作指令信号を出力する操作指令手段Ｃ２と、この操作指令手段Ｃ２の出力信号を前記車載機器に対する駆動信号に変換して車載機器ＡＵ，ＤＶＤ，ＣＮに出力する信号出力部Ｃ３と、カメラＣＡから出力される撮像データに基づいて乗員の手Ｈを認識し得る認識手段Ｃ４とを備えている。
【００２９】
前記カメラＣＡは、判定手段Ｃ１および認識手段Ｃ４の各入力側に接続される。また操作指令手段Ｃ２の入力側には、判定手段Ｃ１および認識手段Ｃ４の各出力側、ならびに外部の前記操作部１、舵角センサＳＥ１および車速センサＳＥ２がそれぞれ接続される。更に信号出力部Ｃ３の入力側には操作指令手段Ｃ２の出力側が接続されるとともに、その信号出力部Ｃ３の出力側には前記車載機器ＡＵ，ＤＶＤ，ＣＮが接続されている。
【００３０】
操作指令手段Ｃ２は、前記外部の操作部１による車載機器ＡＵ，ＤＶＤ，ＣＮの操作入力を可能とする待機モードと、その操作入力を禁止する第１，第２の作動モードの何れかとを選択的にとることができ、前記待機モードでは、第１マークＭ１および第５マークＭ５以外のマーク（即ち第２〜第４マークＭ２〜Ｍ４、第６マークＭ６および第７マークＭ７）が隠されても操作指令手段Ｃ２は応答せず、即ち操作コマンドが発せられることはなない。
【００３１】
また操作指令手段Ｃ２は、該操作指令手段Ｃ２が第１または第２の作動モードにある時に、車両において、予め設定した状態（図示例では所定角以上の舵角操作があった状態、あるいは所定時間内の急激な車速変化があった状態、あるいは第１，第２の何れかの作動モードに切換わってから一定時間以上、第２〜第７マークＭ２〜Ｍ７の何れかを隠す操作が無く、放置された状態、あるいは第１または第２の作動モードにあるにも拘わらず第１マークＭ１が再度隠される操作がなされた状態）になるのに応じて前記待機モードに自動的に切換わる。
【００３２】
図８に示すように、認識手段Ｃ４は、明度ヒストグラム作成手段Ｐ１と、山部判定手段Ｐ２と、閾値設定手段Ｐ３と、２値化画像変換手段Ｐ４と、手判定手段Ｐ５とを備える。明度ヒストグラム作成手段Ｐ１および２値化画像変換手段Ｐ４にはカメラＣＡが接続され、明度ヒストグラム作成手段Ｐ１は山部判定手段Ｐ２に接続され、山部判定手段Ｐ２は閾値設定手段Ｐ３に接続され、閾値設定手段Ｐ３は２値化画像変換手段Ｐ４に接続され、２値化画像変換手段Ｐ４は手判定手段Ｐ５に接続される。
【００３３】
図２に示すように、ステアリングハンドルＳには、中央の第１領域ＲＣと、その左右両側に位置する第２、第３領域ＲＬ，ＲＲとが設定される。第１領域ＲＣおよび第２、第３領域ＲＬ，ＲＲは何れも仮想的な領域であり、第１領域ＲＣは第１マークＭ１をカバーする位置に設定され、第２、第３領域ＲＬ，ＲＲは第１領域ＲＣから所定距離離間した位置に設定される。言い換えると、第１領域ＲＣは、運転者が第１マークＭ１を手で隠そうとしたときに覆われる位置に設定され、第２、第３領域ＲＬ，ＲＲは、運転者が第１マークＭ１を手で隠そうとしたときに覆われ難い位置に設定される。
【００３４】
図８に戻り、認識手段Ｃ４の明度ヒストグラム作成手段Ｐ１は、カメラＣＡの画像から前記第１領域ＲＣおよび第２、第３領域ＲＬ，ＲＲに対応する画素を抽出し、それを明度ごとに並べることで、図９に示す明度ヒストグラムを作成する。運転者が第１マークＭ１を手で隠そうとしたとき、第１領域ＲＣの大部分は明色の手で覆われるため、その画素の明度は高い傾向になり、第２、第３領域ＲＬ，ＲＲの大部分は明色の手で覆われず、暗色のステアリングハンドルＳのホーンカバー２が露出するため、その明度は低い傾向になる。その結果、明度ヒストグラムには、第１領域ＲＣの画素に対応する明度が高い領域に一つの山部が生じるとともに、第２、第３領域ＲＬ，ＲＲの画素に対応する明度が低い領域に他の一つの山部が生じることになる。
【００３５】
山部判定手段Ｐ２は前記二つの山部を判定し、閾値設定手段Ｐ３は前記二つの山部の間に２値化のための明度の閾値を設定する。この閾値は車室の環境等に応じて変化する値であり、例えば車室が暗い場合には第１〜第３領域ＲＣ，ＲＬ，ＲＲの画素の明度が全体的に低くなるために閾値は低い（暗い）方に移動し、車室が明るい場合には第１〜第３領域ＲＣ，ＲＬ，ＲＲの画素の明度が全体的に高くなるために閾値は高い（明るい）方に移動することになる。
【００３６】
２値化画像変換手段Ｐ４は、カメラＣＡで撮像した画像の全ての画素を前記閾値によって振り分け、閾値よりも明るい画素を白にし、閾値よりも暗い画素を黒に２値化することで、カメラＣＡの画像を白および黒の２色で構成された２値化画像に変換する。そして手判定手段Ｐ５は、２値化画像の白の領域のうち、所定値以上の面積を持って纏まっている部分を運転者の手Ｈであると判定する。
【００３７】
このように、明度ヒストグラム作成手段Ｐ１で、第１マークＭ１が手Ｈで隠されたときのステアリングハンドルＳの第１領域ＲＣおよび第２、第３領域ＲＬ，ＲＲの明度ヒストグラムを作成し、山部判定手段Ｐ２で、明度ヒストグラムの二つの山部を判定し、閾値設定手段Ｐ３で、二つの山部の間に白・黒を判定する明度の閾値を設定し、２値化画像変換手段Ｐ４で、画像を閾値に基づいて白・黒の２値化画像に変換し、手判定手段Ｐ５で、２値化画像における所定面積以上の白の領域を手Ｈであると判定するので、ステアリングハンドルＳの明度に対して手Ｈの明度が相対的に高ければ、ステアリングハンドルＳを黒に、且つ手Ｈを白に確実に２値化できる適切な閾値を設定することができ、判定精度を大幅に高めることが可能となる。
【００３８】
而して、判定手段Ｃ１は、操作指令手段Ｃ２が待機モードにある状態では、カメラＣＡの撮像データに基づき、図５の（Ａ）に示すようにステアリング本体Ｓｍの輪郭（丸）を認識して監視対象範囲とし、次いで図５の（Ｂ）に示すように中央の第１マークＭ１を認識しているので、この認識中に、図５の（Ｃ）に示すように第１マークＭ１が運転者の手Ｈで隠された場合にはそのことを迅速確実に認識でき、その認識結果を操作指令手段Ｃ２に出力することで、該手段Ｃ２が第１の作動モードに切り換わる。
【００３９】
また判定手段Ｃ１は、操作指令手段Ｃ２が第１または第２の作動モードにある状態では、図６の（Ａ）に示すようにスポーク部Ｓｂ１，Ｓｂ２の第２〜第７マークＭ２〜Ｍ７を認識しているので、この認識中に、例えば図６の（Ｂ）に示すように複数個の第２のマーク（即ち第２〜第５マークＭ２〜Ｍ５）が運転者の手Ｈで隠された場合にはそのことを迅速確実に認識でき、この認識結果に基づいて操作指令手段Ｃ２が第２の作動モードに切り換わる。更にこの第２の作動モードの状態で、図６の（Ｃ）に示すように複数個の第３のマーク（即ち第６，第７マークＭ６，Ｍ７）が運転者の手Ｈで隠されたことを迅速確実に認識でき、その認識結果を操作指令手段Ｃ２に出力する。
【００４０】
更に認識手段Ｃ４は、操作指令手段Ｃ２が何れのモードにある場合でも、カメラＣＡの撮像データに基づき、図７の（Ａ）に示すようにステアリング本体Ｓｍの輪郭を認識して監視対象範囲としている。そして操作指令手段Ｃ２は、それが車速センサＳＥ２の検出信号に基づき自動車が走行中であると判断しているときに、認識手段Ｃ４がリム部Ｓｍ上に手Ｈが２つ有ることを認識しない場合には前記操作部１からの少なくとも一部の操作信号を無効にするが、認識手段Ｃ４が図７の（Ｂ）に示すようにリム部Ｓｍ上に手Ｈが２つ有ることを認識した場合には前記操作信号を無効にしないように構成される。
【００４１】
よって、走行中においては従来と同様、安全運転の観点から車載機器ＡＵ，ＤＶＤ，ＣＮの操作部１への手動操作の少なくとも一部を無効にできる。しかしながら走行中であってもリム部Ｓｍ上に手Ｈが２つ有ることを認識手段Ｃ４が認識した場合には、前記操作部１から操作信号が出力されても、それは運転者以外の乗員により操作されたものと見做せることから、操作指令手段Ｃ２は前記操作信号を無効にしないようにして、運転者以外の乗員による操作を有効としている。これにより、自動車が走行中であっても、運転者が両手ＨでステアリングＳを握っておれば、運転者以外の同乗者による車載機器ＡＵ，ＤＶＤ，ＣＮへの操作が可能となり、使い勝手、利便性が向上する。
【００４２】
操作指令手段Ｃ２は、これが待機モードにある時に第１マークＭ１が隠されたと判定手段Ｃ１が判定するのに基づいて第１の作動モードに切換わり、その第１の作動モードでは、第２〜第５マークＭ２〜Ｍ５の１つが隠されることで車載機器における操作対象（図示例では「ボリューム」と、ビデオ・オーディオを選択する「ソース」と、アルバム名・曲名を選択する「セレクト」と、カーナビの音声検索モードを選択する「ボイス」と）を任意に選択可能となる。
【００４３】
また操作指令手段Ｃ２は、これが第１の作動モードにある時に、第２〜第５マークＭ２〜Ｍ５の何れかが隠されたと判定手段Ｃ１が判定するのに基づいて第２の作動モードに切換わり、その第２の作動モードでは、第６，第７マークＭ６，Ｍ７の１つが隠されることで前記操作対象に関係した複数の操作パラメータの１つを選択可能である。その操作パラメータとは、前記操作対象に関連して操作者がより具体的に選択操作すべき操作内容を意味しており、図示例では第２マークＭ２が隠されたことで「ボリューム」が選択された場合には、第６マークＭ６を隠すことが「音量上げ」に、また第７マークＭ７を隠すことが「音量下げ」にそれぞれ対応する。
【００４４】
また第３マークＭ３が隠されたことで「ソース」が選択された場合には、第６マークＭ６を隠すことがＯＦＦ・ビデオ・オーディオの「一方向順送り」に、また第７マークＭ７を隠すことが「他方向の順送り」にそれぞれ対応する。
【００４５】
更に第４マークＭ４が隠されたことで「セレクト」が選択された場合には、第６マークＭ６を長く（例えば２秒）隠すことがアルバム名の「一方向順送り」に、また第６マークＭ６を短く隠すことが曲名の「一方向順送り」に、また第７マークＭ７を長く（例えば２秒）隠すことがアルバム名の「他方向順送り」に、また第７マークＭ７を短く隠すことが曲名の「他方向順送り」にそれぞれ対応する。
【００４６】
次に前記操作装置の操作手順について、図１０〜図１３を参照して、より具体的に説明する。
［１］ボリューム調整操作
操作指令手段Ｃ２が前記待機モードにあるときは、図１０のステップＳ１０に示すように表示部Ｌは通常のカーナビ画面となっており、この状態から操作者が第１マークＭ１を隠すと（ステップＳ１１）、「操作をどうぞ」のアナウンスと共に画面下半分に次に選択操作すべきマークＭ２〜Ｍ５の表示が強調して現れる（ステップＳ１２）。そこで第２マークＭ２を隠すと（ステップＳ１３）、「ボリューム」のアナウンスと共に画面下半分に次に選択操作すべきマークＭ６，Ｍ７の表示が強調して現れ（ステップＳ１４）、次いで所定時間（例えば３秒）経過すると、現時点でのボリューム表示が現れる（ステップＳ１５）。そこで第６マークＭ６または第７マークＭ７の何れかを隠すと（ステップＳ１６）、隠したマークに対応して音量調整が実行され、その調整後のボリューム表示が現れる（ステップＳ１７）。
［２］ソース選択操作
図１１に示すように、ステップＳ２０〜Ｓ２２までは、前記ステップＳ１０〜Ｓ１２と同じであり、そのステップＳ２２の状態から第３マークＭ３を隠すと（ステップＳ２３）、「ソース選択」のアナウンスと共に画面下半分に次に選択操作すべきマークＭ６，Ｍ７の表示が強調して現れ（ステップＳ２４）、次いで所定時間（例えば３秒）経過すると、現時点でのソース表示（図では「ＯＦＦ」の選択表示）が現れる（ステップＳ２５）。そこで第６マークＭ６または第７マークＭ７の何れかを隠すと（ステップＳ２６）、隠したマークに対応してＯＦＦ・ビデオ・オーディオの一方向または他方向の順送りが実行され、「ソース選択〇〇〇〇」のアナウンスと共にその選択後のソース表示が現れる（ステップＳ２７）。
［３］アルバム名・曲名の選択操作
図１２に示すように、ステップＳ３０〜Ｓ３２までは、前記ステップＳ１０〜Ｓ１２と同じであり、そのステップＳ３２の状態から第４マークＭ４を隠すと（ステップＳ３３）、「アルバム名・曲名選択」のアナウンスと共に画面下半分に次に選択操作すべきマークＭ６，Ｍ７の表示が強調して現れ（ステップＳ３４）、次いで所定時間（例えば３秒）経過すると、現時点でのアルバム名・曲名ソース表示が現れる（ステップＳ３５）。そこで第６マークＭ６または第７マークＭ７の何れかを長く（例えば２秒間）隠すようにすれば、アルバム名の一方向順送りまたは他方向順送りが実行され（ステップＳ３６）、また第６マークＭ６または第７マークＭ７の何れかを短く隠すようにすれば、曲名の一方向順送りまたは他方向順送りが実行され（ステップＳ３６）、それらの実行と共に新たに選択されたアルバム名・曲名の表示が現れる（ステップＳ３７）。その表示が現れてから、所定時間（例えば５秒）放置すれば、新たに選択されたアルバム名・曲名が確定する。
［４］音声検索モードへの移行操作
図１３に示すように、ステップＳ４０〜Ｓ４２までは、前記ステップＳ１０〜Ｓ１２と同じであり、そのステップＳ４２の状態から操作者が第５マークＭ５を隠すと（ステップＳ４３）、「音声検索」のアナウンスと共に、カーナビＣＮを従来公知の音声検索モードに移行させることができる。
【００４７】
以上説明した本実施の形態によれば、カメラＣＡから出力される撮像データに基づいて複数のマークＭ１〜Ｍ７が隠されたか否かをマーク毎に個別に判定可能な判定手段Ｃ１と、その判定手段Ｃ１による判定結果に基づいて車載機器ＡＵ，ＤＶＤ，ＣＮに対する操作コマンド（操作指令信号）を出力する操作指令手段Ｃ２とを備えるので、各々のマークＭ１〜Ｍ７が操作者の手ＨでカメラＣＡから隠された否かに基づいて車載機器ＡＵ，ＤＶＤ，ＣＮに対する操作コマンドを正確に出力できるだけでなく、操作者の操作手順も判り易く、操作者の認識違いによる誤操作も効果的に防止可能となる。
【００４８】
しかもその操作指令手段Ｃ２における判断ロジックは比較的単純であってコスト節減が図られる上、演算処理も迅速に行うことができる。また前記複数個のマークＭ１〜Ｍ７は車室内の被取付部材（図示例ではステアリングＳに着脱可能なホーンカバー２、スポークカバー３）に設けられていて、それらカバー２，３やステアリングＳに読み取り用の貫通孔を特別に穿設する必要はないため、後付けのオプション対応が比較的容易であるばかりか、各マークＭ１〜Ｍ７およびカメラＣＡの設置位置の自由度も比較的高くなり、更にステアリングＳを持つ運転者が手元でマークＭ１〜Ｍ７を隠す操作を容易且つ迅速に行うことができる。
【００４９】
その上、操作者は、第１マークＭを隠すだけで操作指令手段Ｃ２を待機モードから第１の作動モードに迅速且つ確実に切換えることができ、更にその第１の作動モードでは、複数個のマークＭ２〜Ｍ５の１つを隠すだけで車載機器ＡＵ，ＤＶＤ，ＣＮにおける操作対象を迅速且つ確実に選択することができる。更に操作者は、操作指令手段Ｃ２が前記第２の作動モードにある時に、第６，第７マークＭ６，Ｍ７の１つを隠すだけで、操作対象に関係して指定すべき複数の操作パラメータ、即ち操作内容の１つを迅速且つ確実に選択できる。
【００５０】
ところで操作指令手段Ｃ２は、該手段が何れかの作動モードにある時に、車両が予め設定した状態（図示例では所定角以上の舵角操作があった状態、あるいは所定時間内の急激な車速変化があった状態、あるいは第１，第２の何れかの作動モードに切換わってから一定時間以上、第２〜第７マークＭ２〜Ｍ７が隠されず放置された状態、あるいは第１または第２の作動モードにあるにも拘わらず第１マークＭ１が再度隠される操作がなされた状態）になるのに応じて待機モードに自動的に切換わる。これにより、カーブ走行時や急加速時等の、運転に専念すべき特別な走行状態等の場合や、一定時間以上放置の場合、更には運転者が即座に待機モードに戻したいと希望する場合に、操作指令手段Ｃ２を自動的に待機モードに戻すことができるため、それらの場合に操作者の誤操作により操作指令手段Ｃ２がコマンドを出力するのを未然に確実に防止することができる。
【００５１】
以上、本発明の実施の形態を説明したが、本発明は上記実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明を逸脱することなく種々の設計変更を行うことが可能である。
【００５２】
例えば、実施の形態では、第１領域ＲＣおよび第２、第３領域ＲＬ，ＲＲの三つの領域を相互に離間するように設定しているが、それらが連続する一つの領域となるように設定しても良い。領域の設定の仕方は任意であるが、その一部に必ず第１マークＭ１が含まれることが必要である。
【００５３】
また実施の形態では、本発明操作装置によりオーディオＡＵ、ビデオＤＶＤ、カーナビＣＮ等を操作できるようにしたものを示したが、本発明では、操作対象を車載の他の機器、例えばエアコン等の空調装置、テレビ等にしてもよい。
【００５４】
また実施の形態では、操作指令手段Ｃ２は、マークＭ１〜Ｍ７が隠されたことについての判定手段Ｃ１の判定結果に基づいて車載機器ＡＵ，ＤＶＤ，ＣＮに対する操作コマンド（操作指令信号）を出力するようにしたものを示したが、本発明では、マークＭ１〜Ｍ７が隠されたことについての判定手段Ｃ１の判定結果と、認識手段Ｃ４が手Ｈを認識した結果とを組み合わせた判断ロジックに基づき車載機器ＡＵ，ＤＶＤ，ＣＮに対する操作コマンド（操作指令信号）を出力するようにしてもよい。この場合においても、認識手段Ｃ４は、手Ｈを手Ｈ以外の身体部位（頭、腕等）と識別するだけであるため、従来技術のように判断ロジックが複雑化することはない。
【００５５】
また実施の形態では所定面積以上の白の領域を手と判定しているが、白の領域の中心位置から放射状に延びる突起が１本以上あることを手の判定条件としても良い。
【符号の説明】
【００５６】
ＡＵ オーディオ（車載機器）
Ｃ１ 判定手段
Ｃ２ 操作指令手段
ＣＡ カメラ（撮像手段）
ＣＮ カーナビ（車載機器）
ＤＶＤ ビデオ（車載機器）
Ｈ 手
Ｍ１ マーク
Ｍ１〜Ｍ７ 複数個のマーク
Ｐ１ 明度ヒストグラム作成手段
Ｐ２ 山部判定手段
Ｐ３ 閾値設定手段
Ｐ４ ２値化画像変換手段
Ｐ５ 手判定手段
Ｓ ステアリングハンドル
【特許請求の範囲】
【請求項１】
マーク（Ｍ１）が設けられたステアリングハンドル（Ｓ）を撮像手段（ＣＡ）で撮像した画像を明度によって白・黒に２値化し、白の領域を手（Ｈ）であると判定する手の判定方法において、
前記マーク（Ｍ１）が手（Ｈ）で隠されたときの前記ステアリングハンドル（Ｓ）の所定領域の明度ヒストグラムを作成する工程と、前記明度ヒストグラムの二つの山部の間に白・黒を判定する明度の閾値を設定する工程と、前記閾値よりも明度が高い領域を白の領域であると判定する工程とを含むことを特徴とする手の判定方法。
【請求項２】
前記ステアリングハンドル（Ｓ）の所定領域は、前記マーク（Ｍ１）を手（Ｈ）で隠すときに、通常手（Ｈ）で隠される領域と隠されない領域とを含むことを特徴とする、請求項１に記載の手の判定方法。
【請求項３】
マーク（Ｍ１）が設けられたステアリングハンドル（Ｓ）を撮像手段（ＣＡ）で撮像した画像を明度によって白・黒に２値化し、白の領域を手（Ｈ）であると判定する手の判定装置において、
前記マーク（Ｍ１）が手（Ｈ）で隠されたときの前記ステアリングハンドル（Ｓ）の所定領域の明度ヒストグラムを作成する明度ヒストグラム作成手段（Ｐ１）と、
前記明度ヒストグラムの二つの山部を判定する山部判定手段（Ｐ２）と、
前記二つの山部の間に白・黒を判定する明度の閾値を設定する閾値設定手段（Ｐ３）と、
前記画像を前記閾値に基づいて白・黒の２値化画像に変換する２値化画像変換手段（Ｐ４）と、
前記２値化画像における白の領域を手（Ｈ）であると判定する手判定手段（Ｐ５）と、を備えることを特徴とする手の判定装置。
【請求項４】
前記ステアリングハンドル（Ｓ）の所定領域は、前記マーク（Ｍ１）を手で隠すときに、通常手（Ｈ）で隠される領域と隠されない領域とを含むことを特徴とする、請求項３に記載の手の判定装置。
【請求項５】
請求項３または請求項４に記載の手の判定装置を用いた自動車における車載機器の操作装置であって、
前記撮像手段（ＣＡ）から出力される撮像データに基づいて、前記マーク（Ｍ１）を含む複数個のマーク（Ｍ１〜Ｍ７）の何れかが手（Ｈ）によって隠されたか否かを該マーク（Ｍ１〜Ｍ７）毎に個別に判定可能な判定手段（Ｃ１）と、前記判定手段（Ｃ１）による判定結果に基づいて車載機器（ＡＵ，ＤＶＤ，ＣＮ）に対する操作コマンドを出力する操作指令手段（Ｃ２）とを備えることを特徴とする自動車における車載機器の操作装置。
【請求項１】
マーク（Ｍ１）が設けられたステアリングハンドル（Ｓ）を撮像手段（ＣＡ）で撮像した画像を明度によって白・黒に２値化し、白の領域を手（Ｈ）であると判定する手の判定方法において、
前記マーク（Ｍ１）が手（Ｈ）で隠されたときの前記ステアリングハンドル（Ｓ）の所定領域の明度ヒストグラムを作成する工程と、前記明度ヒストグラムの二つの山部の間に白・黒を判定する明度の閾値を設定する工程と、前記閾値よりも明度が高い領域を白の領域であると判定する工程とを含むことを特徴とする手の判定方法。
【請求項２】
前記ステアリングハンドル（Ｓ）の所定領域は、前記マーク（Ｍ１）を手（Ｈ）で隠すときに、通常手（Ｈ）で隠される領域と隠されない領域とを含むことを特徴とする、請求項１に記載の手の判定方法。
【請求項３】
マーク（Ｍ１）が設けられたステアリングハンドル（Ｓ）を撮像手段（ＣＡ）で撮像した画像を明度によって白・黒に２値化し、白の領域を手（Ｈ）であると判定する手の判定装置において、
前記マーク（Ｍ１）が手（Ｈ）で隠されたときの前記ステアリングハンドル（Ｓ）の所定領域の明度ヒストグラムを作成する明度ヒストグラム作成手段（Ｐ１）と、
前記明度ヒストグラムの二つの山部を判定する山部判定手段（Ｐ２）と、
前記二つの山部の間に白・黒を判定する明度の閾値を設定する閾値設定手段（Ｐ３）と、
前記画像を前記閾値に基づいて白・黒の２値化画像に変換する２値化画像変換手段（Ｐ４）と、
前記２値化画像における白の領域を手（Ｈ）であると判定する手判定手段（Ｐ５）と、を備えることを特徴とする手の判定装置。
【請求項４】
前記ステアリングハンドル（Ｓ）の所定領域は、前記マーク（Ｍ１）を手で隠すときに、通常手（Ｈ）で隠される領域と隠されない領域とを含むことを特徴とする、請求項３に記載の手の判定装置。
【請求項５】
請求項３または請求項４に記載の手の判定装置を用いた自動車における車載機器の操作装置であって、
前記撮像手段（ＣＡ）から出力される撮像データに基づいて、前記マーク（Ｍ１）を含む複数個のマーク（Ｍ１〜Ｍ７）の何れかが手（Ｈ）によって隠されたか否かを該マーク（Ｍ１〜Ｍ７）毎に個別に判定可能な判定手段（Ｃ１）と、前記判定手段（Ｃ１）による判定結果に基づいて車載機器（ＡＵ，ＤＶＤ，ＣＮ）に対する操作コマンドを出力する操作指令手段（Ｃ２）とを備えることを特徴とする自動車における車載機器の操作装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２０１３０１（Ｐ２０１２−２０１３０１Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６９６２７（Ｐ２０１１−６９６２７）
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（３９０００５４３０）株式会社ホンダアクセス (205)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（３９０００５４３０）株式会社ホンダアクセス (205)
【Ｆターム（参考）】
[ Back to top ]