説明

手の判定方法、手の判定装置および自動車における車載機器の操作装置

【課題】ステアリングハンドル上にある運転者の手を精度良く判定できるようにする。
【解決手段】暗色系のステアリングハンドルSおよび運転者の開いた手Hをカメラで撮像した画像を明度によって白・黒に2値化し、白の領域を手Hであると判定する際に、2値化画像変換手段が画像を白・黒の2値化画像に変換し、交差部分計数手段が2値化画像における白の領域がステアリングハンドルS上に設定した仮想線ILと交差する交差部分CPの数を計数し、手判定手段が交差部分CPの数が所定数以上であるときに白の領域を手Hであると判定するので、運転者の白っぽい服を着た腕や白っぽい帽子を被った頭等が手Hと誤認識されるのを確実に防止して判定精度を高めることができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、暗色系のステアリングハンドルおよび運転者の開いた手をカメラで撮像した画像を明度によって白・黒に2値化し、白の領域を手であると判定する手の判定方法および手の判定装置と、その手の判定装置を用いた自動車における車載機器の操作装置とに関する。
【背景技術】
【0002】
従来、ステアリングハンドル上の乗員の手の位置、動きを読み取るCCDカメラ等の撮像手段と、その撮像手段が読み取った手の位置、動きに基づいて車載機器に対する操作コマンドを出力できるようにした操作指令手段とを備えたゼスチャーリモコン式操作装置が知られている。
【0003】
例えば、下記特許文献1には、操作者のゼスチャー、即ち手の位置や手の動きに基づいて車載機器に対する操作コマンドを出力するものが記載されている。
【0004】
また下記特許文献2には、ステアリングに設けた貫通孔が運転者の手で塞がれるのに応じてゼスチャーリモコンの作動を開始することで、ゼスチャーリモコンの作動が誤って開始されないようにしたものが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第3941786号公報
【特許文献2】特開2006−312347号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載されたものは、ゼスチャーに対する判断ロジックが複雑になるだけでなく、操作者の手の位置や動きを正確に読み取ることが難しく、例えば操作者の違いによるゼスチャーの微妙な違いも明確には識別できないため、読み取り誤差によりゼスチャーリモコンが誤って作動開始されてしまったり、あるいは車載機器に誤った操作コマンドが出力されてしまったりする等の不都合があった。
【0007】
また特許文献2に記載されたものは、ステアリングに製造段階から必ず貫通孔を設ける必要があり、後付けのオプション対応が難しい上、貫通孔の設置位置やその孔の閉塞状況を読み取る撮像手段の設置位置の制約が大きい等の不都合がある。またゼスチャーリモコンの作動開始後は、特許文献1に記載されたものと同様に、操作者のゼスチャーを読み取って操作コマンドを出力するため、やはり判断ロジックが複雑になるとともに読み取り誤差が生じ易く、車載機器に誤った操作コマンドを出力してしまう場合があった。
【0008】
そこで、ステアリングハンドルに複数個のマークを設け、これらのマークが操作者の手で隠されたことが撮像手段の撮像データから判定されたときに、車載機器に所定の操作コマンドを出力することが考えられる。
【0009】
この場合、カメラの画像を白・黒の2値化画像に変換し、その2値化画像の白の領域を運転者の手であると判定することになるが、白い服で覆われた腕や白い帽子で覆われた頭を手と識別することが難しく、運転者の手を精度良く判定できない問題がある。
【0010】
本発明は前述の事情に鑑みてなされたもので、ステアリングハンドル上にある運転者の手を精度良く判定できるようにすることを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するために、請求項1に記載された発明によれば、暗色系のステアリングハンドルおよび運転者の開いた手をカメラで撮像した画像を明度によって白・黒に2値化し、白の領域を手であると判定する手の判定方法であって、前記ステアリングハンドル上に設定した仮想線上に前記白の領域との交差部分が所定数以上認識されたときに、前記白の領域を手であると判定することを特徴とする手の判定方法が提案される。
【0012】
また請求項2に記載された発明によれば、請求項1の構成に加えて、前記仮想線上に所定長さの前記交差部分が所定数以上認識されたときに、前記白の領域を手であると判定することを特徴とする手の判定方法が提案される。
【0013】
また請求項3に記載された発明によれば、暗色系のステアリングハンドルおよび運転者の開いた手をカメラで撮像した画像を明度によって白・黒に2値化し、白の領域を手であると判定する手の判定装置であって、前記画像を白・黒の2値化画像に変換する2値化画像変換手段と、前記2値化画像における前記白の領域が前記ステアリングハンドル上に設定した仮想線と交差する交差部分の数を計数する交差部分計数手段と、前記交差部分の数が所定数以上であるときに前記白の領域を手であると判定する手判定手段とを備えることを特徴とする手の判定装置が提案される。
【0014】
また請求項4に記載された発明によれば、請求項3に記載の手の判定装置を用いた自動車における車載機器の操作装置であって、前記カメラから出力される撮像データに基づいて、複数個のマークの何れかが手によって隠されたか否かを該マーク毎に個別に判定可能な判定手段と、前記判定手段による判定結果に基づいて車載機器に対する操作コマンドを出力する操作指令手段とを備えることを特徴とする自動車における車載機器の操作装置が提案される。
【0015】
尚、実施の形態のオーディオAU、ビデオDVDおよびカーナビCNは本発明の車載機器に対応する。
【発明の効果】
【0016】
請求項1の構成によれば、暗色系のステアリングハンドルおよび運転者の開いた手をカメラで撮像した画像を明度によって白・黒に2値化し、白の領域を手であると判定する。その際に、ステアリングハンドル上に設定した仮想線上に白の領域との交差部分が所定数以上認識されたときに、その交差部分の各々が指であると認識することで運転者の手を判定するので、運転者の白っぽい服を着た腕や白っぽい帽子を被った頭等が手と誤認識されるのを確実に防止して判定精度を高めることができる。
【0017】
また請求項2の構成によれば、仮想線上に所定長さの交差部分が所定数以上認識されたときに白の領域を手であると判定するので、運転者の指を一層確実に認識して手の判定精度を高めることができる。
【0018】
また請求項3の構成によれば、暗色系のステアリングハンドルおよび運転者の開いた手をカメラで撮像した画像を明度によって白・黒に2値化し、白の領域を手であると判定する際に、2値化画像変換手段が画像を白・黒の2値化画像に変換し、交差部分計数手段が2値化画像における白の領域がステアリングハンドル上に設定した仮想線と交差する交差部分の数を計数し、手判定手段が交差部分の数が所定数以上であるときに白の領域を手であると判定するので、運転者の白っぽい服を着た腕や白っぽい帽子を被った頭等が手と誤認識されるのを確実に防止して判定精度を高めることができる。
【0019】
また請求項4の構成によれば、判定手段は、カメラから出力される撮像データに基づいて複数個のマークの何れかが手によって隠されたか否かを該マーク毎に個別に判定し、操作指令手段は、判定手段の判定結果に基づいて車載機器に対する操作コマンドを出力するので、各々のマークが操作者の手でカメラから隠された否かに基づいて車載機器に対する操作コマンドを正確に出力できるだけでなく、運転者の操作手順も判り易くなって運転者の認識違いによる誤操作も効果的に防止できる。しかも操作指令手段における判断ロジックは比較的単純であってコスト節減に寄与し得るだけでなく、演算処理も迅速に行うことができる。
【図面の簡単な説明】
【0020】
【図1】自動車の車室内を示す概略図。
【図2】インストルメントパネル付近を運転者側から見た正面図。
【図3】図2の3−3線拡大断面図。
【図4】制御系のブロック図。
【図5】手を判定するロジックを示すブロック図。
【図6】手の判定手法の説明図。
【図7】操作指令手段の待機モードから第1の作動モードへの切換操作過程を簡略的に示す説明図。
【図8】操作指令手段の第1の作動モードから第2の作動モードへの切換操作過程を簡略的に示す説明図。
【図9】車載機器に対する走行中操作の規制を解除して、走行中であっても運転者以外の同乗者による車載機器への手動操作を可能とするための操作過程を簡略的に示す説明図。
【図10】基準マークの画像処理の手法を示す説明図。
【図11】第1〜第7マークの作用を説明する図。
【発明を実施するための形態】
【0021】
以下、図1〜図11に基づいて本発明の実施の形態を説明する。
【0022】
先ず、図1〜図3において、車室のインストルメントパネルIには、速度計等の各種計器の他、オーディオAU、ビデオDVD、カーナビCN等の車載機器のための表示部Lや、これら車載機器AU,DVD,CNを手動操作するための操作部1等が設けられ、更にその各種計器の正面側には、運転者により操向操作されるステアリングハンドルSが配設される。
【0023】
ステアリングハンドルSは、操向軸(図示せず)に連結された中央ハブ部Saと、その中央ハブ部Saを円環状に取り囲むリム部Smと、そのリム部Smおよび中央ハブ部Sa間を連結する3本のスポーク部Sb1〜Sb3とを備える。中央ハブ部Saの外面にはホーンカバー2が着脱可能に被着され、そのホーンカバー2の中央外面には、デザイン処理されたH字状の第1マークM1が装着される。
【0024】
また前記スポーク部Sb1〜Sb3には、これらの外面を体裁よく覆うスポークカバー3が着脱可能に装着される。このスポークカバー3は、図示例では可撓性のあるシート状の金属板をスポーク部Sb1〜Sb3に対応した展開形状に形成して構成されており、その裏面には貼付用の接着剤または接着シートが設けられる。このスポークカバー3をスポーク部Sb1〜Sb3に取付ける際には、該カバー3をスポーク部Sb1〜Sb3の外面に倣わせるように巻き付けて貼付し、且つ該カバー3の自由端縁3eを図3に示すように内方に折り曲げるようにして、スポーク部Sb1〜Sb3に固定する。
【0025】
前記スポークカバー3の、左側のスポーク部Sb1に対応する部分には、第2〜第4マークM2〜M4(図示例ではM2がボリュームマーク、M3がソースマーク、M4がセレクトマークに該当)がそれぞれ接着または印刷により付設されており、またスポークカバー3の、右側のスポーク部Sb3に対応する部分には、第5〜第7マークM5〜M7(図示例ではM5がミュートマーク、M6がアップマーク、M7がダウンマークに該当)がそれぞれ接着または印刷により付設されている。
【0026】
第2〜第4マークM2〜M4のうち、第2マークM2(ボリュームマーク)および第4マークM4(セレクトマーク)がステアリングハンドルSの径方向外側に配置されて第3マークM3(ソースマーク)が径方向内側に配置され、同一円周上にある第2マークM2(ボリュームマーク)および第4マークM4(セレクトマーク)のうち、第2マークM2(ボリュームマーク)が上側に配置されて第4マークM4(セレクトマーク)が下側に配置されている。また第5〜第7マークM5〜M7のうち、第6マークM6(アップマーク)および第7マークM7(ダウンマーク)がステアリングハンドルSの径方向外側に配置されて第5マークM5(ミュートマーク)が径方向内側に配置され、同一円周上にある第6マークM6(アップマーク)および第7マークM7(ダウンマーク)のうち、第6マークM6(アップマーク)が上側に配置されて第7マークM7(ダウンマーク)が下側に配置されている。
【0027】
スポークカバー3の左側のスポーク部Sb1に対応する部分であって、第2〜第4マークM2〜M4よりもステアリングハンドルSの径方向内側位置には、赤外線を強く反射する赤外線反射素材(再帰性反射素材)で構成されたL字状の基準マークMsが設けられる。同様に、スポークカバー3の右側のスポーク部Sb3に対応する部分であって、第5〜第7マークM5〜M7の径方向内側位置には、赤外線を強く反射する赤外線反射素材で構成されたL字状の基準マークMsが設けられる。左右の基準マークMs,Msは、ステアリングハンドルSが中立位置にあるとき、その中心を通る鉛直面に対して左右対称に配置される。基準マークMs,Msは、第2〜第7マークM2〜M7よりもステアリングハンドルSの径方向内側に配置されるだけでなく、運転者がステアリングハンドルSのリム部Smに手を置いたときに指が届かないように、リム部Smから充分に離れた位置に配置される。
【0028】
後述するカメラCAの撮像データから基準マークMs,Msの位置や形状を識別し易いように、スポークカバー3の色は暗色(例えば黒)であり、基準マークMs,Msの色は明色(例えば白)である。一方、第1〜第7マークM1〜M7の位置や形状をカメラCAの撮像データから識別する必要はないため、それらの色は暗色であれば任意であるが、運転者が第1〜第7マークM1〜M7を位置を認識して手で隠す必要があるため、運転者が容易に認識可能な色であることが望ましい。
【0029】
車室内の適所、図示例では運転者のやや斜め後方の天井部には、各マークM1〜M7を撮像し得る撮像手段としてのモノクロのカメラCAが設置される。このカメラCAは、基準マークMs,Msの位置や形状を認識可能な撮像データや、運転者が何れかのマークM1〜M7を隠したときは、その隠されたことが明確に認識可能となる撮像データを電子制御装置ECU(図4参照)に出力する。
【0030】
図4に示すように、電子制御装置ECUは、車室内の適所、例えばインストルメントパネルIの内部に設置されるものであり、それは、カメラCAから出力される撮像データを分析し、その分析データに基づいてマークM1〜M7が隠されたか否かをマークM1〜M7毎に個別に判定可能な判定手段C1と、その判定手段C1による判定結果に基づいて車載機器(即ちオーディオAU、ビデオDVD、カーナビCN)に対する操作コマンドとしての操作指令信号を出力する操作指令手段C2と、この操作指令手段C2の出力信号を前記車載機器に対する駆動信号に変換して車載機器AU,DVD,CNに出力する信号出力部C3と、カメラCAから出力される撮像データに基づいて乗員の手Hを認識し得る認識手段C4とを備えている。
【0031】
前記カメラCAは、判定手段C1および認識手段C4の各入力側に接続される。また操作指令手段C2の入力側には、判定手段C1および認識手段C4の各出力側、ならびに外部の前記操作部1、舵角センサSE1および車速センサSE2がそれぞれ接続される。更に信号出力部C3の入力側には操作指令手段C2の出力側が接続されるとともに、その信号出力部C3の出力側には前記車載機器AU,DVD,CNが接続されている。
【0032】
操作指令手段C2は、前記外部の操作部1による車載機器AU,DVD,CNの操作入力を可能とする待機モードと、その操作入力を禁止する第1,第2の作動モードの何れかとを選択的にとることができ、前記待機モードでは、第1マークM1および第5マークM5以外のマーク(即ち第2〜第4マークM2〜M4、第6マークM6および第7マークM7)が隠されても操作指令手段C2は応答せず、即ち操作コマンドが発せられることはなない。
【0033】
また操作指令手段C2は、該操作指令手段C2が第1または第2の作動モードにある時に、車両において予め設定した状態、即ち所定角以上の舵角操作があった状態、あるいは所定時間内の急激な車速変化があった状態、あるいは第1,第2の何れかの作動モードに切換わってから一定時間(例えば8秒)以上、第2〜第7マークM2〜M7の何れかを隠す操作が無く、放置された状態、あるいは第1または第2の作動モードにあるにも拘わらず第1マークM1が再度隠される操作がなされた状態では、前記待機モードに自動的に切換わる。
【0034】
而して、判定手段C1は、操作指令手段C2が待機モードにある状態では、カメラCAの撮像データに基づき、図7の(A)に示すようにステアリングハンドルSの一対の基準マークMs,Msを認識することで、ステアリングハンドルSの中心位置と、中立位置からの左右の回転角を検出する。そして後述するように、判定手段C1は、ステアリングハンドルSの中心位置および回転角から第1〜第7マークM1〜M7の位置を推定する。ステアリングハンドルSに対する基準マークMs,Msおよび第1〜第7マークM1〜M7の位置関係は既知であるから、基準マークMs,Msの位置が分かればステアリングハンドルSの中心位置が分かり、更にステアリングハンドルSの回転角が分かれば第1〜第7マークM1〜M7の位置を推定することができる。
【0035】
次に、図10に基づいて基準マークMsの認識および基準マークMsの角度(ステアリングハンドルSの回転角)の検出について説明する。
【0036】
L字状の基準マークMsは5個の凸部aと1個の凹部bとを備えており、先ずカメラCAの撮像データから凸部aおよび凹部bを抽出する。そして基準マークMsの縁に対応する画素を例えば矢印で示すように時計回りに確認してゆく。図中の白の画素は基準マークMsに対応し、黒の画素は背景のスポークカバー3に対応する。各画素はその周囲の8個の画素に接しているが、そのうち5個の画素が白であれば、その画素は基準マークMsの直線部に存在することになる。例えば、画素P1,P2は周囲の8個の画素のうちの5個の画素が白であり、基準マークMsの直線部に存在することになる。また画素P3,P4は周囲の8個の画素のうちの7個の画素が白であり、基準マークMsの凹部bに存在することになる。またP5〜P7は周囲の8個の画素のうちの3個ないし4個の画素が白であり、基準マークMsの凸部aに存在することになる。
【0037】
従って、基準マークMsの縁に対応する画素が、その周囲の8個の画素のうちの6個以上が白であれば凹部bに対応する画素であると判定することができ、その周囲の8個の画素のうちの4個以下が白であれば凸部aに対応する画素であると判定することができるので、基準マークMsの凸部aおよび凹部bの位置を特定することができる。
【0038】
而して、撮像データから認識された明度の高い物体が、5個の凸部aと1個の凹部bとを備えていれば、その物体が基準マークMsであると判定することができる。そして、例えば右側の基準マークMsの凹部bの位置と左側の基準マークMsの凹部bの位置とから、ステアリングハンドルSの回転角を検出することができる。また左右の基準マークMs,Msの何れか一方しか認識できない場合でも、認識された側の基準マークMsの合計6個の凸部aおよび凹部bのうちの任意の2個の位置関係から、ステアリングハンドルSの回転角を検出することができる。但し、この場合には、採用する二つの凸部aあるいは凹部bの距離が左右の基準マークMs,Ms間の距離よりも小さいことから、ステアリングハンドルSの回転角の検出精度は若干低くなる。
【0039】
尚、本実施の形態の基準マークMs,MsはL字状に形成されているが、その形状はL字状に限定されず、T字状やE字状のような他の形状であっても良い。即ち、基準マークMs,Msは回転対称な図形でないことが必要である。回転対称な図形とは、nを2以上の自然数としたときに、その中心回りに(360/n)°回転させると自らと重なり合う図形である。また基準マークMs,Msの認識は所定時間間隔で行われるが、何らかの理由で左右の基準マークMs,Msを両方とも認識できなかった場合には、次回のサイクルで再度認識が試みられる。
【0040】
ステアリングハンドルSの位置は運転者の体格や好みに合わせて調節可能であるが、上述のようにして左右の基準マークMs,Msの位置を特定することで、ステアリングハンドルSの中心の位置を特定することができる。そしてステアリングハンドルSにおける第1〜第7マークM1〜M7の位置は既知であるため、ステアリングハンドルSの中心の位置とステアリングハンドルSの回転角とが決まれば、第1〜第7マークM1〜M7の位置を推定することができる。
【0041】
撮像データから第1〜第7マークM1〜M7の位置を直接識別するには、撮像データを複雑な画像処理で解析する必要があり、そのためにコンピュータの演算時間や演算負荷が増大する問題がある。しかしながら本実施の形態の如く、基準マークMs,Msに基づいて第1〜第7マークM1〜M7の位置を推定することで、コンピュータの演算時間や演算負荷を節減しながら、第1〜第7マークM1〜M7の位置を短時間で精度良く推定することが可能になる。
【0042】
次に、図5および図6に基づいて、認識手段C4の機能のうち、運転者が第1マークM1を隠すときの手Hを判定する機能を説明する。
【0043】
運転者が第1マークM1を隠すときの手Hの形は、掌を広げたいわゆるパーの形と決められている。このパーの形を認識するために、認識手段C4は、2値化画像変換手段Q1と、交差部分計数手段Q2と、手判定手段Q3とを備える、カメラCAは2値化画像変換手段Q1に接続され、2値化画像変換手段Q1は交差部分計数手段Q2に接続され、交差部分計数手段Q2は手判定手段Q3に接続され、手判定手段Q3は操作指令手段C2に接続される。
【0044】
ステアリングハンドルSの第1マークM1の上方部分には、手Hの幅よりも若干広い範囲に亙って左右方向に延びる仮想線IL(図6参照)が設けられる。仮想線ILは実際には存在せず、コンピュータにおいてその位置が認識されるものである。運転者が掌を開いた手Hで第1マークM1を隠したとき、4本の指F…が4カ所で仮想線ILを横切ったことが認識されると、それが運転者の手Hであると判定される。
【0045】
そのために、2値化画像変換手段Q1はカメラCAで撮像した画像のうち、所定明度以上の部分を白に、所定明度以下の部分を黒に2値化し、白・黒の2値化画像を作成する。この2値化画像では、ステアリングハンドルSが黒になり、運転者の手Hが白になる。
【0046】
交差部分計数手段Q2は、ステアリングハンドルSの仮想線IL上のピクセルが白であるか黒であるかを確認し、所定個数(例えば4個〜26個)の白のピクセルが連続している部分を交差部分CPと判定し、その交差部分CPの数を計数する。前記所定個数は、運転者の手Hの指F…の1本の幅に相当するピクセルの数である。そして手判定手段Q3は、交差部分計数手段Q2が計数した交差部分CPの数が3個以上であれば、第1マークM1の上に置かれた物体が手Hであると判定する。
【0047】
次に、図7〜図9および図11を参照しながら、第1〜第7マークM1〜M7の機能を説明する。
【0048】
判定手段C1は、図7の(B)に示すように中央の第1マークM1を認識しているので、この認識中に、図7の(C)に示すように第1マークM1が運転者の手Hで隠された場合にはそのことを迅速確実に認識でき、その認識結果を操作指令手段C2に出力することで、該手段C2が待機モードから第1の作動モードに切り換わる。
【0049】
また第5マークM5(ミュートマーク)は、待機モード、第1の作動モードおよび第2の作動モードの何れの状態においても、それが運転者の手Hによって隠されたことが判定手段C1により判定可能である。よって、上記いずれの状態においても、第5マークM5が運転者の手Hによって隠されると車載機器AU,DVD,CNのボリュームがゼロになり、第5マークM5運転者の手Hによって再び隠されるとボリュームが元の状態に復帰する。第5マークM5が運転者の手Hによって隠されたことを常時認識可能にする理由は、車載のハンズフリー電話が掛かってきたような場合に、車載機器AU,DVD,CNのボリュームを速やかにゼロにして電話に出られるようにするためである。
【0050】
第1マークM1および第5マークM5(ミュートマーク)だけは、それが例えば1秒〜1.5秒間隠されたときに認識される、いわゆる「長押し」に設定されているが、その他の第2〜第4マークM2〜M4、第6マークM6および第7マークM7は、それらが例えば0.5秒〜0.8秒間隠されたときに認識される、いわゆる「チョン押し」に設定されている。
【0051】
また判定手段C1は、操作指令手段C2が第1または第2の作動モードにある状態では、図8の(A)に示すようにスポーク部Sb1,Sb2の第2〜第7マークM2〜M7を認識しているので、この認識中に、例えば図8の(B)に示すように第2〜第5マークM2〜M5の何れかが運転者の手Hで隠された場合にはそのことを迅速確実に認識でき、この認識結果に基づいて操作指令手段C2が第2の作動モードに切り換わる。更にこの第2の作動モードの状態で、図8の(C)に示すように第6,第7マークM6,M7の何れかが運転者の手Hで隠されたことを迅速確実に認識でき、その認識結果を操作指令手段C2に出力する。
【0052】
更に操作指令手段C2は、それが車速センサSE2の検出信号に基づき自動車が走行中であると判断しているときに、認識手段C4がリム部Sm上に手Hが2つ有ることを認識しない場合には前記操作部1からの少なくとも一部の操作信号を無効にするが、認識手段C4が図9に示すようにリム部Sm上に手Hが2つ有ることを認識した場合には前記操作信号を無効にしないように構成される。
【0053】
よって、走行中においては従来と同様、安全運転の観点から車載機器AU,DVD,CNの操作部1への手動操作の少なくとも一部を無効にできる。しかしながら走行中であってもリム部Sm上に手Hが2つ有ることを認識手段C4が認識した場合には、前記操作部1から操作信号が出力されても、それは運転者以外の乗員により操作されたものと見做せることから、操作指令手段C2は前記操作信号を無効にしないようにして、運転者以外の乗員による操作を有効としている。これにより、自動車が走行中であっても、運転者が両手HでステアリングSを握っておれば、運転者以外の同乗者による車載機器AU,DVD,CNへの操作が可能となり、使い勝手、利便性が向上する。
【0054】
操作指令手段C2は、これが待機モードにある時に第1マークM1が隠されたと判定手段C1が判定するのに基づいて第1の作動モードに切換わる。その第1の作動モードでは、第2〜第4マークM2〜M4の1つが隠されることで車載機器における操作対象(図示例では「ボリューム」と、ビデオ・オーディオを選択する「ソース」と、アルバム名・曲名を選択する「セレクト」と)を任意に選択可能となる。尚、第1の作動モードに切換わった当初は、前記「ボリューム」、「ソース」および「セレクト」のうち、「ボリューム」が自動的に選択される。
【0055】
また操作指令手段C2は、これが第1の作動モードにある時に、第2〜第4マークM2〜M4の何れかが隠されたと判定手段C1が判定するのに基づいて第2の作動モードに切換わり、その第2の作動モードでは、第6,第7マークM6,M7の1つが隠されることで前記操作対象に関係した複数の操作パラメータの1つを選択可能である。
【0056】
その操作パラメータとは、前記操作対象に関連して操作者がより具体的に選択操作すべき操作内容を意味しており、図示例では第2マークM2が隠されたことで「ボリューム」が選択された場合には、第6マークM6を隠すことが「音量上げ」に、また第7マークM7を隠すことが「音量下げ」にそれぞれ対応する。
【0057】
また第3マークM3が隠されたことで「ソース」が選択された場合には、第6マークM6を隠すことがOFF・ビデオ・オーディオの「一方向順送り」に、また第7マークM7を隠すことが「他方向の順送り」にそれぞれ対応する。
【0058】
更に第4マークM4が隠されたことで「セレクト」が選択された場合には、第6マークM6を隠すことが楽曲や動画の「一方向順送り」に、また第7マークM7を隠すことが楽曲や動画の「他方向順送り」にそれぞれ対応する。
【0059】
第2の作動モードにおいて、第1マークM1が隠されるか、第6マークM6あるいは第7マークM7が隠されない状態が所定時間(例えば8秒)継続してアイムアウトになると、第2の作動モードから待機モードに切り換わる。第1の作動モードにおいて、第1マークM1が隠されるか、第2〜第4マークM2〜M4の何れかが隠されない状態が所定時間(例えば8秒)継続してアイムアウトになると、第1の作動モードから待機モードに切り換わる。
【0060】
以上のように本実施の形態によれば、認識手段C4が第1マークM1を隠そうとする運転者の手Hを判定するとき、指F…に相当する交差部分CPの数を計数し、その数が3個以上の場合に手Hであると判定するので、運転者の白っぽい服を着た腕や白っぽい帽子を被った頭を手Hと誤判定することが防止され、手Hの判定精度が高められる。
【0061】
またカメラCAから出力される撮像データに基づいて複数のマークM1〜M7が隠されたか否かをマーク毎に個別に判定可能な判定手段C1と、その判定手段C1による判定結果に基づいて車載機器AU,DVD,CNに対する操作コマンド(操作指令信号)を出力する操作指令手段C2とを備えるので、各々のマークM1〜M7が操作者の手HでカメラCAから隠された否かに基づいて車載機器AU,DVD,CNに対する操作コマンドを正確に出力できるだけでなく、操作者の操作手順も判り易く、操作者の認識違いによる誤操作も効果的に防止可能となる。
【0062】
しかもその操作指令手段C2における判断ロジックは比較的単純であってコスト節減が図られる上、演算処理も迅速に行うことができる。また前記複数個のマークM1〜M7は車室内の被取付部材(図示例ではステアリングSに着脱可能なホーンカバー2、スポークカバー3)に設けられていて、それらカバー2,3やステアリングSに読み取り用の貫通孔を特別に穿設する必要はないため、後付けのオプション対応が比較的容易であるばかりか、各マークM1〜M7およびカメラCAの設置位置の自由度も比較的高くなり、更にステアリングSを持つ運転者が手元でマークM1〜M7を隠す操作を容易且つ迅速に行うことができる。
【0063】
その上、操作者は、第1マークMを隠すだけで操作指令手段C2を待機モードから第1の作動モードに迅速且つ確実に切換えることができ、更にその第1の作動モードでは、複数個のマークM2〜M4の1つを隠すだけで車載機器AU,DVD,CNにおける操作対象を迅速且つ確実に選択することができる。更に操作者は、操作指令手段C2が前記第2の作動モードにある時に、第6,第7マークM6,M7の1つを隠すだけで、操作対象に関係して指定すべき複数の操作パラメータ、即ち操作内容の1つを迅速且つ確実に選択できる。
【0064】
以上、本発明の実施の形態を説明したが、本発明は上記実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明を逸脱することなく種々の設計変更を行うことが可能である。
【0065】
例えば、実施の形態の仮想線ILは運転者から目視不能な仮想的なものであるが、それを運転者から目視可能なものとしても良い。
【0066】
また実施の形態では、交差部分CPが3個以上認識されたときに手Hであると判定しているが、それを2個以上あるいは4個以上としても良い。
【0067】
また実施の形態では、本発明操作装置によりオーディオAU、ビデオDVD、カーナビCN等を操作できるようにしたものを示したが、本発明では、操作対象を車載の他の機器、例えばエアコン等の空調装置、テレビ等にしてもよい。
【0068】
また実施の形態では、操作指令手段C2は、マークM1〜M7が隠されたことについての判定手段C1の判定結果に基づいて車載機器AU,DVD,CNに対する操作コマンド(操作指令信号)を出力するようにしたものを示したが、本発明では、マークM1〜M7が隠されたことについての判定手段C1の判定結果と、認識手段C4が手Hを認識した結果とを組み合わせた判断ロジックに基づき車載機器AU,DVD,CNに対する操作コマンド(操作指令信号)を出力するようにしてもよい。この場合においても、認識手段C4は、手Hを手H以外の身体部位(頭、腕等)と識別するだけであるため、従来技術のように判断ロジックが複雑化することはない。
【符号の説明】
【0069】
AU オーディオ(車載機器)
C1 判定手段
C2 操作指令手段
CA カメラ
CN カーナビ(車載機器)
CP 交差部分
DVD ビデオ(車載機器)
H 手
IL 仮想線
M1〜M7 マーク
Q1 2値化画像変換手段
Q2 交差部分計数手段
Q3 手判定手段
S ステアリングハンドル

【特許請求の範囲】
【請求項1】
暗色系のステアリングハンドル(S)および運転者の開いた手(H)をカメラ(CA)で撮像した画像を明度によって白・黒に2値化し、白の領域を手(H)であると判定する手の判定方法であって、
前記ステアリングハンドル(S)上に設定した仮想線(IL)上に前記白の領域との交差部分(CP)が所定数以上認識されたときに、前記白の領域を手(H)であると判定することを特徴とする手の判定方法。
【請求項2】
前記仮想線(IL)上に所定長さの前記交差部分(CP)が所定数以上認識されたときに、前記白の領域を手(H)であると判定することを特徴とする、請求項1に記載の手の判定方法。
【請求項3】
暗色系のステアリングハンドル(S)および運転者の開いた手(H)をカメラ(CA)で撮像した画像を明度によって白・黒に2値化し、白の領域を前記手(H)であると判定する手の判定装置であって、
前記画像を白・黒の2値化画像に変換する2値化画像変換手段(Q1)と、
前記2値化画像における前記白の領域が前記ステアリングハンドル(S)上に設定した仮想線(IL)と交差する交差部分(CP)の数を計数する交差部分計数手段(Q2)と、
前記交差部分(CP)の数が所定数以上であるときに前記白の領域を手(H)であると判定する手判定手段(Q3)と、
を備えることを特徴とする手の判定装置。
【請求項4】
請求項3に記載の手の判定装置を用いた自動車における車載機器の操作装置であって、 前記カメラ(CA)から出力される撮像データに基づいて、複数個のマーク(M1〜M7)の何れかが手(H)によって隠されたか否かを該マーク(M1〜M7)毎に個別に判定可能な判定手段(C1)と、前記判定手段(C1)による判定結果に基づいて車載機器(AU,DVD,CN)に対する操作コマンドを出力する操作指令手段(C2)とを備えることを特徴とする自動車における車載機器の操作装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2012−201309(P2012−201309A)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願番号】特願2011−69635(P2011−69635)
【出願日】平成23年3月28日(2011.3.28)
【出願人】(390005430)株式会社ホンダアクセス (205)