自動車における車載機器の操作装置
【課題】 撮像手段による撮像データからステアリングハンドルに設けられたマークの位置を簡単かつ高精度で特定できるようにする。
【解決手段】 ステアリングハンドルSに設けた基準マークMsの撮像データに基づいて、判定手段C1は基準マークMsを認識するとともに、基準マークMsの位置から複数個のマークM1〜M7の位置を特定するので、撮像データから複数個のマークM1〜M7の位置を直接特定することなく、基準マークMsの位置から間接的に複数個のマークM1〜M7の位置を特定することが可能となる。これにより、安価なモノクロの撮像手段CAを採用したためにステアリングハンドルS、マークM1〜M7および操作者の手Hを識別することが難い場合でも、複数個のマークM1〜M7の位置を精度良く特定することが可能となり、しかも複数個のマークM1〜M7の位置を特定するロジックが簡素化されるのでコンピュータの演算負荷を軽減することができる。
【解決手段】 ステアリングハンドルSに設けた基準マークMsの撮像データに基づいて、判定手段C1は基準マークMsを認識するとともに、基準マークMsの位置から複数個のマークM1〜M7の位置を特定するので、撮像データから複数個のマークM1〜M7の位置を直接特定することなく、基準マークMsの位置から間接的に複数個のマークM1〜M7の位置を特定することが可能となる。これにより、安価なモノクロの撮像手段CAを採用したためにステアリングハンドルS、マークM1〜M7および操作者の手Hを識別することが難い場合でも、複数個のマークM1〜M7の位置を精度良く特定することが可能となり、しかも複数個のマークM1〜M7の位置を特定するロジックが簡素化されるのでコンピュータの演算負荷を軽減することができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数個のマークが設けられたステアリングハンドルを撮像し得る撮像手段と、前記撮像手段から出力される撮像データに基づいて前記マークが隠されたか否かを該マーク毎に個別に判定可能な判定手段と、前記判定手段による判定結果に基づいて車載機器に対する操作コマンドを出力する操作指令手段とを備える自動車における車載機器の操作装置に関する。
【背景技術】
【0002】
従来、ステアリングハンドル上の乗員の手の位置、動きを読み取るCCDカメラ等の撮像手段と、その撮像手段が読み取った手の位置、動きに基づいて車載機器に対する操作コマンドを出力できるようにした操作指令手段とを備えたゼスチャーリモコン式操作装置が知られている。
【0003】
例えば、下記特許文献1には、操作者のゼスチャー、即ち手の位置や手の動きに基づいて車載機器に対する操作コマンドを出力するものが記載されている。
【0004】
また下記特許文献2には、ステアリングに設けた貫通孔が運転者の手で塞がれるのに応じてゼスチャーリモコンの作動を開始することで、ゼスチャーリモコンの作動が誤って開始されないようにしたものが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第3941786号公報
【特許文献2】特開2006−312347号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載されたものは、ゼスチャーに対する判断ロジックが複雑になるだけでなく、操作者の手の位置や動きを正確に読み取ることが難しく、例えば操作者の違いによるゼスチャーの微妙な違いも明確には識別できないため、読み取り誤差によりゼスチャーリモコンが誤って作動開始されてしまったり、あるいは車載機器に誤った操作コマンドが出力されてしまったりする等の不都合があった。
【0007】
また特許文献2に記載されたものは、ステアリングに製造段階から必ず貫通孔を設ける必要があり、後付けのオプション対応が難しい上、貫通孔の設置位置やその孔の閉塞状況を読み取る撮像手段の設置位置の制約が大きい等の不都合がある。またゼスチャーリモコンの作動開始後は、特許文献1に記載されたものと同様に、操作者のゼスチャーを読み取って操作コマンドを出力するため、やはり判断ロジックが複雑になるとともに読み取り誤差が生じ易く、車載機器に誤った操作コマンドを出力してしまう場合があった。
【0008】
そこで、ステアリングハンドルに複数のマークを設け、これらのマークが操作者の手で隠されたことが撮像手段の撮像データから判定されたときに、車載機器に所定の操作コマンドを出力することが考えられる。この場合、撮像データから複数のマークを直接識別することは難しいため、先ずステアリングハンドルの円形のリム部を識別し、このリム部に対する位置関係および複数のマークの配列関係から各マークを識別することが必要になるが、このような手順を踏むとマークの識別に時間が掛かるだけでなく、コンピュータの演算負荷が大きくなる問題がある。
【0009】
また安価なモノクロの撮像手段を採用した場合、一般的に黒等の暗色のステアリングハンドルに白等の明色のマークを設けると、白っぽい手とマークとを識別することが難しくなってマークが手で隠されたか否かを判定できなくなる問題があり、逆に手との明度差を出すためにマークを暗色にすると、ステアリングハンドルとの明度差が減少してマークを識別できなくなる問題がある。
【0010】
本発明は前述の事情に鑑みてなされたもので、撮像手段による撮像データからステアリングハンドルに設けられたマークの位置を簡単かつ高精度で特定できるようにすることを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するために、請求項1に記載された発明によれば、複数個のマークが設けられたステアリングハンドルを撮像し得る撮像手段と、前記撮像手段から出力される撮像データに基づいて前記マークが隠されたか否かを該マーク毎に個別に判定可能な判定手段と、前記判定手段による判定結果に基づいて車載機器に対する操作コマンドを出力する操作指令手段とを備える自動車における車載機器の操作装置において、前記ステアリングハンドルに基準マークを設け、前記撮像手段による前記基準マークの撮像データに基づいて、前記判定手段は前記基準マークを認識し、前記基準マークの位置から前記複数個のマークの位置を特定することを特徴とする自動車における車載機器の操作装置が提案される。
【0012】
また請求項2に記載された発明によれば、請求項1の構成に加えて、前記基準マークは凸部および凹部の両方を備えることを特徴とする自動車における車載機器の操作装置が提案される。
【0013】
また請求項3に記載された発明によれば、請求項1または請求項2の構成に加えて、前記基準マークを赤外線反射素材で構成し、前記基準マークに赤外線を断続的に照射する赤外線照射手段を設け、前記判定手段は、赤外線照射時の撮像データと赤外線非照射時の撮像データとを比較し、明度変化が大きい部分を前記基準マークとして認識することを特徴とする自動車における車載機器の操作装置が提案される。
【0014】
尚、実施の形態のオーディオAU、ビデオDVDおよびカーナビCNは本発明の車載機器に対応し、実施の形態のカメラCAは本発明の撮像手段に対応する。
【発明の効果】
【0015】
請求項1の構成によれば、撮像手段が複数個のマークが設けられたステアリングハンドルを撮像し、判定手段が撮像手段から出力される撮像データに基づいてマークが隠されたか否かを該マーク毎に個別に判定し、操作指令手段が判定手段による判定結果に基づいて車載機器に対する操作コマンドを出力する。ステアリングハンドルに設けた基準マークの撮像データに基づいて、判定手段は基準マークを認識するとともに、基準マークの位置から複数個のマークの位置を特定するので、撮像データから複数個のマークの位置を直接特定することなく、基準マークの位置から間接的に複数のマークの位置を特定することが可能となる。これにより、安価なモノクロの撮像手段を採用したためにステアリングハンドル、マークおよび操作者の手を識別することが難い場合でも、複数個のマークの位置を精度良く特定することが可能となり、しかも複数個のマークの位置を特定するロジックが簡素化されるのでコンピュータの演算負荷を軽減することができる。
【0016】
また請求項2の構成によれば、基準マークは凸部および凹部の両方を備えるので、凸部および凹部の位置関係に応じてステアリングハンドルの位置や角度を精度良く検出することができる。
【0017】
また請求項3の構成によれば、基準マークを赤外線反射素材で構成し、赤外線照射手段で基準マークに赤外線を断続的に照射するので、赤外線照射時の撮像データと赤外線非照射時の撮像データとを比較することで、判定手段は明度変化が大きい部分を基準マークとして認識することができる。これにより、車室内の明るさやステアリングハンドルに付着したシール等の付着物に影響されずに基準マークを確実に認識することができる。
【図面の簡単な説明】
【0018】
【図1】自動車の車室内を示す概略図。(第1の実施の形態)
【図2】インストルメントパネル付近を運転者側から見た正面図。(第1の実施の形態)
【図3】図2の3−3線拡大断面図。(第1の実施の形態)
【図4】制御系のブロック図。(第1の実施の形態)
【図5】操作指令手段の待機モードから第1の作動モードへの切換操作過程を簡略的に示す説明図。(第1の実施の形態)
【図6】操作指令手段の第1の作動モードから第2の作動モードへの切換操作過程を簡略的に示す説明図。(第1の実施の形態)
【図7】車載機器に対する走行中操作の規制を解除して、走行中であっても運転者以外の同乗者による車載機器への手動操作を可能とするための操作過程を簡略的に示す説明図。(第1の実施の形態)
【図8】基準マークの画像処理の手法を示す説明図。(第1の実施の形態)
【図9】ボリューム調整操作を行うための操作手順を示すステップ概要図。(第1の実施の形態)
【図10】ソース選択操作を行うための操作手順を示すステップ概要図。(第1の実施の形態)
【図11】アルバム名・曲名の選択操作を行うための操作手順を示すステップ概要図。(第1の実施の形態)
【図12】音声検索モードへの移行操作を行うための操作手順を示すステップ概要図。(第1の実施の形態)
【図13】マークの位置の推定を説明するフローチャート。(第1の実施の形態)
【図14】他の実施の形態による基準マークの形状を示す図。(第2の実施の形態)
【発明を実施するための形態】
【0019】
以下、図1〜図13に基づいて本発明の第1の実施の形態を説明する。
【0020】
先ず、図1〜図3において、車室のインストルメントパネルIには、速度計等の各種計器の他、オーディオAU、ビデオDVD、カーナビCN等の車載機器のための表示部Lや、これら車載機器AU,DVD,CNを手動操作するための操作部1等が設けられ、更にその各種計器の正面側には、運転者により操向操作されるステアリングハンドルSが配設される。
【0021】
ステアリングハンドルSは、操向軸(図示せず)に連結された中央ハブ部Saと、その中央ハブ部Saを円環状に取り囲むリム部Smと、そのリム部Smおよび中央ハブ部Sa間を連結する3本のスポーク部Sb1〜Sb3とを備える。中央ハブ部Saの外面にはホーンカバー2が着脱可能に被着され、そのホーンカバー2の中央外面には、デザイン処理されたH字状の第1マークM1が装着される。
【0022】
また前記スポーク部Sb1〜Sb3には、これらの外面を体裁よく覆うスポークカバー3が着脱可能に装着される。このスポークカバー3は、図示例では可撓性のあるシート状の金属板をスポーク部Sb1〜Sb3に対応した展開形状に形成して構成されており、その裏面には貼付用の接着剤または接着シートが設けられる。このスポークカバー3をスポーク部Sb1〜Sb3に取付ける際には、該カバー3をスポーク部Sb1〜Sb3の外面に倣わせるように巻き付けて貼付し、且つ該カバー3の自由端縁3eを図3に示すように内方に折り曲げるようにして、スポーク部Sb1〜Sb3に固定する。
【0023】
前記スポークカバー3の、左側のスポーク部Sb1に対応する部分には、第2〜第4マークM2〜M4(図示例ではM2がボリュームマーク、M3がソースマーク、M4がセレクトマークに該当)がそれぞれ接着または印刷により一列に付設されており、またスポークカバー3の、右側のスポーク部Sb3に対応する部分には、第5〜第7マークM5〜M7(図示例ではM5がボイスマーク、M6がアップマーク、M7がダウンマークに該当)がそれぞれ接着または印刷により、第5マークM5を内寄りとしたジグザグの配列で付設されている。
【0024】
スポークカバー3の左側のスポーク部Sb1に対応する部分であって、第2〜第4マークM2〜M4よりもステアリングハンドルSの径方向内側位置には、赤外線を強く反射する赤外線反射素材(再帰性反射素材)で構成されたL字状の基準マークMsが設けられる。同様に、スポークカバー3の右側のスポーク部Sb3に対応する部分であって、第5〜第7マークM5〜M7の径方向内側位置には、赤外線を強く反射する赤外線反射素材で構成されたL字状の基準マークMsが設けられる。左右の基準マークMs,Msは、ステアリングハンドルSが中立位置にあるとき、その中心を通る鉛直面に対して左右対称に配置される。基準マークMs,Msは、第1〜第7マークM1〜M7よりもステアリングハンドルSの径方向内側に配置されるだけでなく、運転者がステアリングハンドルSのリム部Smに手を置いたときに指が届かないように、リム部Smから充分に離れた位置に配置される。
【0025】
後述するカメラCAの撮像データから基準マークMs,Msの位置や形状を識別し易いように、スポークカバー3の色は暗色(例えば黒)であり、基準マークMs,Msの色は明色(例えば白)である。一方、第1〜第7マークM1〜M7の位置や形状をカメラCAの撮像データから識別する必要はないため、それらの色は暗色であれば任意であるが、運転者が第1〜第7マークM1〜M7を位置を認識して手で隠す必要があるため、運転者が容易に認識可能な色であることが望ましい。
【0026】
車室内の適所、図示例では運転者のやや斜め後方の天井部には、各マークM1〜M7を撮像し得る撮像手段としてのモノクロのカメラCAが設置される。このカメラCAは可視光線の画像および赤外線の画像の両方を撮像可能なもので、基準マークMs,Msの位置や形状を認識可能な撮像データや、運転者が何れかのマークM1〜M7を隠したときは、その隠されたことが明確に認識可能となる撮像データを電子制御装置ECU(図4参照)に出力する。
【0027】
また車室内が暗くなって可視光線の撮像データが得られなくなった場合のために、ステアリングハンドルSの周囲に所定時間間隔で断続的に赤外線を照射するLEDよりなる赤外線照射手段URが、カメラCAの近傍の天井部に配置される。赤外線照射手段URのON/OFFは、例えばヘッドライトあるいはスモールライトのスイッチに連動しており、外界が暗くなってヘッドライトあるいはスモールライトがONしたときに赤外線照射手段URがONするようになっている。
【0028】
図4に示すように、電子制御装置ECUは、車室内の適所、例えばインストルメントパネルIの内部に設置されるものであり、それは、カメラCAから出力される撮像データを分析し、その分析データに基づいてマークM1〜M7が隠されたか否かをマークM1〜M7毎に個別に判定可能な判定手段C1と、その判定手段C1による判定結果に基づいて車載機器(即ちオーディオAU、ビデオDVD、カーナビCN)に対する操作コマンドとしての操作指令信号を出力する操作指令手段C2と、この操作指令手段C2の出力信号を前記車載機器に対する駆動信号に変換して車載機器AU,DVD,CNに出力する信号出力部C3と、カメラCAから出力される撮像データに基づいて乗員の手Hを認識し得る認識手段C4とを備えている。
【0029】
前記カメラCAは、判定手段C1および認識手段C4の各入力側に接続される。また操作指令手段C2の入力側には、判定手段C1および認識手段C4の各出力側、ならびに外部の前記操作部1、舵角センサSE1および車速センサSE2がそれぞれ接続される。更に信号出力部C3の入力側には操作指令手段C2の出力側が接続されるとともに、その信号出力部C3の出力側には前記車載機器AU,DVD,CNが接続されている。
【0030】
操作指令手段C2は、前記外部の操作部1による車載機器AU,DVD,CNの操作入力を可能とする待機モードと、その操作入力を禁止する第1,第2の作動モードの何れかとを選択的にとることができ、前記待機モードでは、第1マークM1以外のマーク(即ち第2〜第7マークM2〜M7)が隠されても操作指令手段C2は応答せず、即ち操作コマンドが発せられることはなない。
【0031】
また操作指令手段C2は、該操作指令手段C2が第1または第2の作動モードにある時に、車両において、予め設定した状態(具体的には所定角以上の舵角操作があった状態、あるいは所定時間内の急激な車速変化があった状態、あるいは第1,第2の何れかの作動モードに切換わってから一定時間以上、第2〜第7マークM2〜M7の何れかを隠す操作が無く、放置された状態、あるいは第1または第2の作動モードにあるにも拘わらず第1マークM1が再度隠される操作がなされた状態)になるのに応じて前記待機モードに自動的に切換わる。
【0032】
而して、判定手段C1は、操作指令手段C2が待機モードにある状態では、カメラCAの撮像データに基づき、図5の(A)に示すようにステアリングハンドルSの一対の基準マークMs,Msを認識することで、ステアリングハンドルSの中心位置と、中立位置からの左右の回転角を検出する。そして後述するように、判定手段C1は、ステアリングハンドルSの中心位置および回転角から第1〜第7マークM1〜M7の位置を推定する。ステアリングハンドルSに対する基準マークMs,Msおよび第1〜第7マークM1〜M7の位置関係は既知であるから、基準マークMs,Msの位置が分かればステアリングハンドルSの中心位置が分かり、更にステアリングハンドルSの回転角が分かれば第1〜第7マークM1〜M7の位置を推定することができる。
【0033】
次に、図8に基づいて基準マークMsの認識および基準マークMsの角度(ステアリングハンドルSの回転角)の検出について説明する。
【0034】
L字状の基準マークMsは5個の凸部aと1個の凹部bとを備えており、先ずカメラCAの撮像データから凸部aおよび凹部bを抽出する。そして基準マークMsの縁に対応する画素を例えば矢印で示すように時計回りに確認してゆく。図中の白の画素は基準マークMsに対応し、黒の画素は背景のスポークカバー3に対応する。各画素はその周囲の8個の画素に接しているが、そのうち5個の画素が白であれば、その画素は基準マークMsの直線部に存在することになる。例えば、画素P1,P2は周囲の8個の画素のうちの5個の画素が白であり、基準マークMsの直線部に存在することになる。また画素P3,P4は周囲の8個の画素のうちの7個の画素が白であり、基準マークMsの凹部bに存在することになる。またP5〜P7は周囲の8個の画素のうちの3個ないし4個の画素が白であり、基準マークMsの凸部aに存在することになる。
【0035】
従って、基準マークMsの縁に対応する画素が、その周囲の8個の画素のうちの6個以上が白であれば凹部bに対応する画素であると判定することができ、その周囲の8個の画素のうちの4個以下が白であれば凸部aに対応する画素であると判定することができるので、基準マークMsの凸部aおよび凹部bの位置を特定することができる。
【0036】
而して、撮像データから認識された明度の高い物体が、5個の凸部aと1個の凹部bとを備えていれば、その物体が基準マークMsであると判定することができる。そして、例えば右側の基準マークMsの凹部bの位置と左側の基準マークMsの凹部bの位置とから、ステアリングハンドルSの回転角を検出することができる。また左右の基準マークMs,Msの何れか一方しか認識できない場合でも、認識された側の基準マークMsの合計6個の凸部aおよび凹部bのうちの任意の2個の位置関係から、ステアリングハンドルSの回転角を検出することができる。但し、この場合には、採用する二つの凸部aあるいは凹部bの距離が左右の基準マークMs,Ms間の距離よりも小さいことから、ステアリングハンドルSの回転角の検出精度は若干低くなる。
【0037】
尚、基準マークMs,Msの認識は所定時間間隔で行われるが、何らかの理由で左右の基準マークMs,Msを両方とも認識できなかった場合には、次回のサイクルで再度認識が試みられる。
【0038】
ステアリングハンドルSの位置は運転者の体格や好みに合わせて調節可能であるが、上述のようにして左右の基準マークMs,Msの位置を特定することで、ステアリングハンドルSの中心の位置を特定することができる。そしてステアリングハンドルSにおける第1〜第7マークM1〜M7の位置は既知であるため、ステアリングハンドルSの中心の位置とステアリングハンドルSの回転角とが決まれば、第1〜第7マークM1〜M7の位置を推定することができる。
【0039】
撮像データから第1〜第7マークM1〜M7の位置を直接識別するには、撮像データを複雑な画像処理で解析する必要があり、そのためにコンピュータの演算時間や演算負荷が増大する問題がある。しかしながら本実施の形態の如く、基準マークMs,Msに基づいて第1〜第7マークM1〜M7の位置を推定することで、コンピュータの演算時間や演算負荷を節減しながら、第1〜第7マークM1〜M7の位置を短時間で精度良く推定することが可能になる。
【0040】
以上のようにして、判定手段C1は、図5の(B)に示すように中央の第1マークM1を認識しているので、この認識中に、図5の(C)に示すように第1マークM1が運転者の手Hで隠された場合にはそのことを迅速確実に認識でき、その認識結果を操作指令手段C2に出力することで、該手段C2が第1の作動モードに切り換わる。
【0041】
また判定手段C1は、操作指令手段C2が第1または第2の作動モードにある状態では、図6の(A)に示すようにスポーク部Sb1,Sb2の第2〜第7マークM2〜M7を認識しているので、この認識中に、例えば図6の(B)に示すように複数個の第2のマーク(即ち第2〜第5マークM2〜M5)が運転者の手Hで隠された場合にはそのことを迅速確実に認識でき、この認識結果に基づいて操作指令手段C2が第2の作動モードに切り換わる。更にこの第2の作動モードの状態で、図6の(C)に示すように複数個の第3のマーク(即ち第6,第7マークM6,M7)が運転者の手Hで隠されたことを迅速確実に認識でき、その認識結果を操作指令手段C2に出力する。
【0042】
更に操作指令手段C2は、それが車速センサSE2の検出信号に基づき自動車が走行中であると判断しているときに、認識手段C4がリム部Sm上に手Hが2つ有ることを認識しない場合には前記操作部1からの少なくとも一部の操作信号を無効にするが、認識手段C4が図7に示すようにリム部Sm上に手Hが2つ有ることを認識した場合には前記操作信号を無効にしないように構成される。
【0043】
よって、走行中においては従来と同様、安全運転の観点から車載機器AU,DVD,CNの操作部1への手動操作の少なくとも一部を無効にできる。しかしながら走行中であってもリム部Sm上に手Hが2つ有ることを認識手段C4が認識した場合には、前記操作部1から操作信号が出力されても、それは運転者以外の乗員により操作されたものと見做せることから、操作指令手段C2は前記操作信号を無効にしないようにして、運転者以外の乗員による操作を有効としている。これにより、自動車が走行中であっても、運転者が両手HでステアリングSを握っておれば、運転者以外の同乗者による車載機器AU,DVD,CNへの操作が可能となり、使い勝手、利便性が向上する。
【0044】
操作指令手段C2は、これが待機モードにある時に第1マークM1が隠されたと判定手段C1が判定するのに基づいて第1の作動モードに切換わり、その第1の作動モードでは、第2〜第5マークM2〜M5の1つが隠されることで車載機器における操作対象(図示例では「ボリューム」と、ビデオ・オーディオを選択する「ソース」と、アルバム名・曲名を選択する「セレクト」と、カーナビの音声検索モードを選択する「ボイス」と)を任意に選択可能となる。
【0045】
また操作指令手段C2は、これが第1の作動モードにある時に、第2〜第5マークM2〜M5の何れかが隠されたと判定手段C1が判定するのに基づいて第2の作動モードに切換わり、その第2の作動モードでは、第6,第7マークM6,M7の1つが隠されることで前記操作対象に関係した複数の操作パラメータの1つを選択可能である。その操作パラメータとは、前記操作対象に関連して操作者がより具体的に選択操作すべき操作内容を意味しており、図示例では第2マークM2が隠されたことで「ボリューム」が選択された場合には、第6マークM6を隠すことが「音量上げ」に、また第7マークM7を隠すことが「音量下げ」にそれぞれ対応する。
【0046】
また第3マークM3が隠されたことで「ソース」が選択された場合には、第6マークM6を隠すことがOFF・ビデオ・オーディオの「一方向順送り」に、また第7マークM7を隠すことが「他方向の順送り」にそれぞれ対応する。
【0047】
更に第4マークM4が隠されたことで「セレクト」が選択された場合には、第6マークM6を長く(例えば2秒)隠すことがアルバム名の「一方向順送り」に、また第6マークM6を短く隠すことが曲名の「一方向順送り」に、また第7マークM7を長く(例えば2秒)隠すことがアルバム名の「他方向順送り」に、また第7マークM7を短く隠すことが曲名の「他方向順送り」にそれぞれ対応する。
【0048】
次に前記操作装置の操作手順について、図9〜図12を参照して、より具体的に説明する。
[1]ボリューム調整操作
操作指令手段C2が前記待機モードにあるときは、図9のステップS10に示すように表示部Lは通常のカーナビ画面となっており、この状態から操作者が第1マークM1を隠すと(ステップS11)、「操作をどうぞ」のアナウンスと共に画面下半分に次に選択操作すべきマークM2〜M5の表示が強調して現れる(ステップS12)。そこで第2マークM2を隠すと(ステップS13)、「ボリューム」のアナウンスと共に画面下半分に次に選択操作すべきマークM6,M7の表示が強調して現れ(ステップS14)、次いで所定時間(例えば3秒)経過すると、現時点でのボリューム表示が現れる(ステップS15)。そこで第6マークM6または第7マークM7の何れかを隠すと(ステップS16)、隠したマークに対応して音量調整が実行され、その調整後のボリューム表示が現れる(ステップS17)。
[2]ソース選択操作
図10に示すように、ステップS20〜S22までは、前記ステップS10〜S12と同じであり、そのステップS22の状態から第3マークM3を隠すと(ステップS23)、「ソース選択」のアナウンスと共に画面下半分に次に選択操作すべきマークM6,M7の表示が強調して現れ(ステップS24)、次いで所定時間(例えば3秒)経過すると、現時点でのソース表示(図では「OFF」の選択表示)が現れる(ステップS25)。そこで第6マークM6または第7マークM7の何れかを隠すと(ステップS26)、隠したマークに対応してOFF・ビデオ・オーディオの一方向または他方向の順送りが実行され、「ソース選択〇〇〇〇」のアナウンスと共にその選択後のソース表示が現れる(ステップS27)。
[3]アルバム名・曲名の選択操作
図11に示すように、ステップS30〜S32までは、前記ステップS10〜S12と同じであり、そのステップS32の状態から第4マークM4を隠すと(ステップS33)、「アルバム名・曲名選択」のアナウンスと共に画面下半分に次に選択操作すべきマークM6,M7の表示が強調して現れ(ステップS34)、次いで所定時間(例えば3秒)経過すると、現時点でのアルバム名・曲名ソース表示が現れる(ステップS35)。そこで第6マークM6または第7マークM7の何れかを長く(例えば2秒間)隠すようにすれば、アルバム名の一方向順送りまたは他方向順送りが実行され(ステップS36)、また第6マークM6または第7マークM7の何れかを短く隠すようにすれば、曲名の一方向順送りまたは他方向順送りが実行され(ステップS36)、それらの実行と共に新たに選択されたアルバム名・曲名の表示が現れる(ステップS37)。その表示が現れてから、所定時間(例えば5秒)放置すれば、新たに選択されたアルバム名・曲名が確定する。
[4]音声検索モードへの移行操作
図12に示すように、ステップS40〜S42までは、前記ステップS10〜S12と同じであり、そのステップS42の状態から操作者が第5マークM5を隠すと(ステップS43)、「音声検索」のアナウンスと共に、カーナビCNを従来公知の音声検索モードに移行させることができる。
【0049】
以上説明した本実施の形態によれば、カメラCAから出力される撮像データに基づいて複数のマークM1〜M7が隠されたか否かをマーク毎に個別に判定可能な判定手段C1と、その判定手段C1による判定結果に基づいて車載機器AU,DVD,CNに対する操作コマンド(操作指令信号)を出力する操作指令手段C2とを備えるので、各々のマークM1〜M7が操作者の手HでカメラCAから隠された否かに基づいて車載機器AU,DVD,CNに対する操作コマンドを正確に出力できるだけでなく、操作者の操作手順も判り易く、操作者の認識違いによる誤操作も効果的に防止可能となる。
【0050】
しかもその操作指令手段C2における判断ロジックは比較的単純であってコスト節減が図られる上、演算処理も迅速に行うことができる。また前記複数個のマークM1〜M7は車室内の被取付部材(図示例ではステアリングSに着脱可能なホーンカバー2、スポークカバー3)に設けられていて、それらカバー2,3やステアリングSに読み取り用の貫通孔を特別に穿設する必要はないため、後付けのオプション対応が比較的容易であるばかりか、各マークM1〜M7およびカメラCAの設置位置の自由度も比較的高くなり、更にステアリングSを持つ運転者が手元でマークM1〜M7を隠す操作を容易且つ迅速に行うことができる。
【0051】
その上、操作者は、第1マークMを隠すだけで操作指令手段C2を待機モードから第1の作動モードに迅速且つ確実に切換えることができ、更にその第1の作動モードでは、複数個のマークM2〜M5の1つを隠すだけで車載機器AU,DVD,CNにおける操作対象を迅速且つ確実に選択することができる。更に操作者は、操作指令手段C2が前記第1の作動モードにある時に、第6,第7マークM6,M7の1つを隠すだけで、操作対象に関係して指定すべき複数の操作パラメータ、即ち操作内容の1つを迅速且つ確実に選択できる。
【0052】
更に、基準マークMs,Msは、ステアリングハンドルSのリム部Smから遠い位置、即ち第1〜第7マークM1〜M7よりもステアリングハンドルSの径方向内側位置に設けられているので、運転者が第1〜第7マークM1〜M7を手Hで隠そうとしたときに意図せずに基準マークMs,Msを隠してしまうのを効果的に防止することができる。また運転者がステアリングハンドルSのリム部Smを把持した状態で指が基準マークMs,Msに届き難くなるため、通常の運転時に基準マークMs,Msが意図せずに隠されてしまい、その位置が特定不能になる事態を未然に防止することができる。
【0053】
ところで操作指令手段C2は、該手段が何れかの作動モードにある時に、車両が予め設定した状態(図示例では所定角以上の舵角操作があった状態、あるいは所定時間内の急激な車速変化があった状態、あるいは第1,第2の何れかの作動モードに切換わってから一定時間以上、第2〜第7マークM2〜M7が隠されず放置された状態、あるいは第1または第2の作動モードにあるにも拘わらず第1マークM1が再度隠される操作がなされた状態)になるのに応じて待機モードに自動的に切換わる。これにより、カーブ走行時や急加速時等の、運転に専念すべき特別な走行状態等の場合や、一定時間以上放置の場合、更には運転者が即座に待機モードに戻したいと希望する場合に、操作指令手段C2を自動的に待機モードに戻すことができるため、それらの場合に操作者の誤操作により操作指令手段C2がコマンドを出力するのを未然に確実に防止することができる。
【0054】
また夜間等に車室内が暗くなってカメラCAが可視光線の撮像データを取得できなくなるような場合には、赤外線照射手段URがステアリングハンドルSを含む領域に赤外線を断続的に照射することで、昼間と同様に撮像データを取得することができる。このとき、基準マークMs,Msは赤外線反射素材で構成されているため、赤外線照射時の撮像データと赤外線非照射時の撮像データとを比較すると、基準マークMs,Msの部分の明度に著しい差が生じるため、撮像データから基準マークMs,Msの位置を仮決定することができる。これにより、仮決定した基準マークMs,Msの凸部aおよび凹部bの配列を確認して基準マークMs,Msを最終決定する作業が容易になり、コンピュータの演算時間および演算負荷を更に節減することができる。
【0055】
上記作用を図13のフローチャートに基づいて説明すると、先ずステップS1で撮像データを入力し、ステップS2で赤外線が照射されていれば、ステップS3で赤外線の照射時および非照射時の差画像を作成し、ステップS4で差画像の明度の高い部分を基準マークMs,Msとして仮決定する。続くステップS5で仮決定した基準マークMs,Msの特徴点(凸部aおよび凹部b)を検出し、ステップS6で特徴点の数や配列から基準マークMs,Msを決定し、ステップS7で基準マークMs,Msの位置から第1〜第7マークM1〜M7の位置を推定する。前記ステップS2で赤外線が照射されていなければ、ステップS5にスキップして基準マークMs,Msの全ての候補について特徴点(凸部aおよび凹部b)を検出を行うため、赤外線の照射時に比べてコンピュータの演算時間および演算負荷が若干増加することになる。
【0056】
次に、図14に基づいて本発明の第2の実施の形態を説明する。
【0057】
第1の実施の形態の基準マークMs,MsはL字状に形成されているが、第2の実施の形態で基準マークMs,MsはT字状に形成されており、6個の凸部aと2個の凹部bとを備えている。この基準マークMs,Msを用いても、第1の実施の形態と同様の作用効果を達成することができる。基準マークMs,Msは少なくとも1個の凸部aおよび少なくとも1個の凹部bを備えていることが必要であるが、それ以外に回転対称な図形でないことが必要である。
【0058】
回転対称な図形とは、nを2以上の自然数としたときに、その中心回りに(360/n)°回転させると自らと重なり合う図形であり、n=2のときに2回対称.n=3のときに3回対称、n=4のときに4回対称という。例えば、「×」は8個の凸部aと4個の凹部bとを備えているが、90°回転させると重なり合う4回対称な図形であるため、ステアリングハンドルSが中立位置にある状態と、そこから左右に90°回転した状態とを識別することができず、よって基準マークMs,Msとしては不適切である。
【0059】
以上、本発明の実施の形態を説明したが、本発明は上記実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明を逸脱することなく種々の設計変更を行うことが可能である。
【0060】
例えば、実施の形態では基準マークMsとしてL字状およびT字状のものを例示したが、基準マークMsの形状はそれに限定されるものではない。
【0061】
また実施の形態では、本発明操作装置によりオーディオAU、ビデオDVD、カーナビCN等を操作できるようにしたものを示したが、本発明では、操作対象を車載の他の機器、例えばエアコン等の空調装置、テレビ等にしてもよい。
【0062】
また実施の形態では、操作指令手段C2は、マークM1〜M7が隠されたことについての判定手段C1の判定結果に基づいて車載機器AU,DVD,CNに対する操作コマンド(操作指令信号)を出力するようにしたものを示したが、本発明では、マークM1〜M7が隠されたことについての判定手段C1の判定結果と、認識手段C4が手Hを認識した結果とを組み合わせた判断ロジックに基づき車載機器AU,DVD,CNに対する操作コマンド(操作指令信号)を出力するようにしてもよい。この場合においても、認識手段C4は、手Hを手H以外の身体部位(頭、腕等)と識別するだけであるため、従来技術のように判断ロジックが複雑化することはない。
【符号の説明】
【0063】
AU オーディオ(車載機器)
C1 判定手段
C2 操作指令手段
CA カメラ(撮像手段)
CN カーナビ(車載機器)
DVD ビデオ(車載機器)
M1〜M7 マーク
Ms 基準マーク
S ステアリングハンドル
UR 赤外線照射手段
a 凸部
b 凹部
【技術分野】
【0001】
本発明は、複数個のマークが設けられたステアリングハンドルを撮像し得る撮像手段と、前記撮像手段から出力される撮像データに基づいて前記マークが隠されたか否かを該マーク毎に個別に判定可能な判定手段と、前記判定手段による判定結果に基づいて車載機器に対する操作コマンドを出力する操作指令手段とを備える自動車における車載機器の操作装置に関する。
【背景技術】
【0002】
従来、ステアリングハンドル上の乗員の手の位置、動きを読み取るCCDカメラ等の撮像手段と、その撮像手段が読み取った手の位置、動きに基づいて車載機器に対する操作コマンドを出力できるようにした操作指令手段とを備えたゼスチャーリモコン式操作装置が知られている。
【0003】
例えば、下記特許文献1には、操作者のゼスチャー、即ち手の位置や手の動きに基づいて車載機器に対する操作コマンドを出力するものが記載されている。
【0004】
また下記特許文献2には、ステアリングに設けた貫通孔が運転者の手で塞がれるのに応じてゼスチャーリモコンの作動を開始することで、ゼスチャーリモコンの作動が誤って開始されないようにしたものが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第3941786号公報
【特許文献2】特開2006−312347号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載されたものは、ゼスチャーに対する判断ロジックが複雑になるだけでなく、操作者の手の位置や動きを正確に読み取ることが難しく、例えば操作者の違いによるゼスチャーの微妙な違いも明確には識別できないため、読み取り誤差によりゼスチャーリモコンが誤って作動開始されてしまったり、あるいは車載機器に誤った操作コマンドが出力されてしまったりする等の不都合があった。
【0007】
また特許文献2に記載されたものは、ステアリングに製造段階から必ず貫通孔を設ける必要があり、後付けのオプション対応が難しい上、貫通孔の設置位置やその孔の閉塞状況を読み取る撮像手段の設置位置の制約が大きい等の不都合がある。またゼスチャーリモコンの作動開始後は、特許文献1に記載されたものと同様に、操作者のゼスチャーを読み取って操作コマンドを出力するため、やはり判断ロジックが複雑になるとともに読み取り誤差が生じ易く、車載機器に誤った操作コマンドを出力してしまう場合があった。
【0008】
そこで、ステアリングハンドルに複数のマークを設け、これらのマークが操作者の手で隠されたことが撮像手段の撮像データから判定されたときに、車載機器に所定の操作コマンドを出力することが考えられる。この場合、撮像データから複数のマークを直接識別することは難しいため、先ずステアリングハンドルの円形のリム部を識別し、このリム部に対する位置関係および複数のマークの配列関係から各マークを識別することが必要になるが、このような手順を踏むとマークの識別に時間が掛かるだけでなく、コンピュータの演算負荷が大きくなる問題がある。
【0009】
また安価なモノクロの撮像手段を採用した場合、一般的に黒等の暗色のステアリングハンドルに白等の明色のマークを設けると、白っぽい手とマークとを識別することが難しくなってマークが手で隠されたか否かを判定できなくなる問題があり、逆に手との明度差を出すためにマークを暗色にすると、ステアリングハンドルとの明度差が減少してマークを識別できなくなる問題がある。
【0010】
本発明は前述の事情に鑑みてなされたもので、撮像手段による撮像データからステアリングハンドルに設けられたマークの位置を簡単かつ高精度で特定できるようにすることを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するために、請求項1に記載された発明によれば、複数個のマークが設けられたステアリングハンドルを撮像し得る撮像手段と、前記撮像手段から出力される撮像データに基づいて前記マークが隠されたか否かを該マーク毎に個別に判定可能な判定手段と、前記判定手段による判定結果に基づいて車載機器に対する操作コマンドを出力する操作指令手段とを備える自動車における車載機器の操作装置において、前記ステアリングハンドルに基準マークを設け、前記撮像手段による前記基準マークの撮像データに基づいて、前記判定手段は前記基準マークを認識し、前記基準マークの位置から前記複数個のマークの位置を特定することを特徴とする自動車における車載機器の操作装置が提案される。
【0012】
また請求項2に記載された発明によれば、請求項1の構成に加えて、前記基準マークは凸部および凹部の両方を備えることを特徴とする自動車における車載機器の操作装置が提案される。
【0013】
また請求項3に記載された発明によれば、請求項1または請求項2の構成に加えて、前記基準マークを赤外線反射素材で構成し、前記基準マークに赤外線を断続的に照射する赤外線照射手段を設け、前記判定手段は、赤外線照射時の撮像データと赤外線非照射時の撮像データとを比較し、明度変化が大きい部分を前記基準マークとして認識することを特徴とする自動車における車載機器の操作装置が提案される。
【0014】
尚、実施の形態のオーディオAU、ビデオDVDおよびカーナビCNは本発明の車載機器に対応し、実施の形態のカメラCAは本発明の撮像手段に対応する。
【発明の効果】
【0015】
請求項1の構成によれば、撮像手段が複数個のマークが設けられたステアリングハンドルを撮像し、判定手段が撮像手段から出力される撮像データに基づいてマークが隠されたか否かを該マーク毎に個別に判定し、操作指令手段が判定手段による判定結果に基づいて車載機器に対する操作コマンドを出力する。ステアリングハンドルに設けた基準マークの撮像データに基づいて、判定手段は基準マークを認識するとともに、基準マークの位置から複数個のマークの位置を特定するので、撮像データから複数個のマークの位置を直接特定することなく、基準マークの位置から間接的に複数のマークの位置を特定することが可能となる。これにより、安価なモノクロの撮像手段を採用したためにステアリングハンドル、マークおよび操作者の手を識別することが難い場合でも、複数個のマークの位置を精度良く特定することが可能となり、しかも複数個のマークの位置を特定するロジックが簡素化されるのでコンピュータの演算負荷を軽減することができる。
【0016】
また請求項2の構成によれば、基準マークは凸部および凹部の両方を備えるので、凸部および凹部の位置関係に応じてステアリングハンドルの位置や角度を精度良く検出することができる。
【0017】
また請求項3の構成によれば、基準マークを赤外線反射素材で構成し、赤外線照射手段で基準マークに赤外線を断続的に照射するので、赤外線照射時の撮像データと赤外線非照射時の撮像データとを比較することで、判定手段は明度変化が大きい部分を基準マークとして認識することができる。これにより、車室内の明るさやステアリングハンドルに付着したシール等の付着物に影響されずに基準マークを確実に認識することができる。
【図面の簡単な説明】
【0018】
【図1】自動車の車室内を示す概略図。(第1の実施の形態)
【図2】インストルメントパネル付近を運転者側から見た正面図。(第1の実施の形態)
【図3】図2の3−3線拡大断面図。(第1の実施の形態)
【図4】制御系のブロック図。(第1の実施の形態)
【図5】操作指令手段の待機モードから第1の作動モードへの切換操作過程を簡略的に示す説明図。(第1の実施の形態)
【図6】操作指令手段の第1の作動モードから第2の作動モードへの切換操作過程を簡略的に示す説明図。(第1の実施の形態)
【図7】車載機器に対する走行中操作の規制を解除して、走行中であっても運転者以外の同乗者による車載機器への手動操作を可能とするための操作過程を簡略的に示す説明図。(第1の実施の形態)
【図8】基準マークの画像処理の手法を示す説明図。(第1の実施の形態)
【図9】ボリューム調整操作を行うための操作手順を示すステップ概要図。(第1の実施の形態)
【図10】ソース選択操作を行うための操作手順を示すステップ概要図。(第1の実施の形態)
【図11】アルバム名・曲名の選択操作を行うための操作手順を示すステップ概要図。(第1の実施の形態)
【図12】音声検索モードへの移行操作を行うための操作手順を示すステップ概要図。(第1の実施の形態)
【図13】マークの位置の推定を説明するフローチャート。(第1の実施の形態)
【図14】他の実施の形態による基準マークの形状を示す図。(第2の実施の形態)
【発明を実施するための形態】
【0019】
以下、図1〜図13に基づいて本発明の第1の実施の形態を説明する。
【0020】
先ず、図1〜図3において、車室のインストルメントパネルIには、速度計等の各種計器の他、オーディオAU、ビデオDVD、カーナビCN等の車載機器のための表示部Lや、これら車載機器AU,DVD,CNを手動操作するための操作部1等が設けられ、更にその各種計器の正面側には、運転者により操向操作されるステアリングハンドルSが配設される。
【0021】
ステアリングハンドルSは、操向軸(図示せず)に連結された中央ハブ部Saと、その中央ハブ部Saを円環状に取り囲むリム部Smと、そのリム部Smおよび中央ハブ部Sa間を連結する3本のスポーク部Sb1〜Sb3とを備える。中央ハブ部Saの外面にはホーンカバー2が着脱可能に被着され、そのホーンカバー2の中央外面には、デザイン処理されたH字状の第1マークM1が装着される。
【0022】
また前記スポーク部Sb1〜Sb3には、これらの外面を体裁よく覆うスポークカバー3が着脱可能に装着される。このスポークカバー3は、図示例では可撓性のあるシート状の金属板をスポーク部Sb1〜Sb3に対応した展開形状に形成して構成されており、その裏面には貼付用の接着剤または接着シートが設けられる。このスポークカバー3をスポーク部Sb1〜Sb3に取付ける際には、該カバー3をスポーク部Sb1〜Sb3の外面に倣わせるように巻き付けて貼付し、且つ該カバー3の自由端縁3eを図3に示すように内方に折り曲げるようにして、スポーク部Sb1〜Sb3に固定する。
【0023】
前記スポークカバー3の、左側のスポーク部Sb1に対応する部分には、第2〜第4マークM2〜M4(図示例ではM2がボリュームマーク、M3がソースマーク、M4がセレクトマークに該当)がそれぞれ接着または印刷により一列に付設されており、またスポークカバー3の、右側のスポーク部Sb3に対応する部分には、第5〜第7マークM5〜M7(図示例ではM5がボイスマーク、M6がアップマーク、M7がダウンマークに該当)がそれぞれ接着または印刷により、第5マークM5を内寄りとしたジグザグの配列で付設されている。
【0024】
スポークカバー3の左側のスポーク部Sb1に対応する部分であって、第2〜第4マークM2〜M4よりもステアリングハンドルSの径方向内側位置には、赤外線を強く反射する赤外線反射素材(再帰性反射素材)で構成されたL字状の基準マークMsが設けられる。同様に、スポークカバー3の右側のスポーク部Sb3に対応する部分であって、第5〜第7マークM5〜M7の径方向内側位置には、赤外線を強く反射する赤外線反射素材で構成されたL字状の基準マークMsが設けられる。左右の基準マークMs,Msは、ステアリングハンドルSが中立位置にあるとき、その中心を通る鉛直面に対して左右対称に配置される。基準マークMs,Msは、第1〜第7マークM1〜M7よりもステアリングハンドルSの径方向内側に配置されるだけでなく、運転者がステアリングハンドルSのリム部Smに手を置いたときに指が届かないように、リム部Smから充分に離れた位置に配置される。
【0025】
後述するカメラCAの撮像データから基準マークMs,Msの位置や形状を識別し易いように、スポークカバー3の色は暗色(例えば黒)であり、基準マークMs,Msの色は明色(例えば白)である。一方、第1〜第7マークM1〜M7の位置や形状をカメラCAの撮像データから識別する必要はないため、それらの色は暗色であれば任意であるが、運転者が第1〜第7マークM1〜M7を位置を認識して手で隠す必要があるため、運転者が容易に認識可能な色であることが望ましい。
【0026】
車室内の適所、図示例では運転者のやや斜め後方の天井部には、各マークM1〜M7を撮像し得る撮像手段としてのモノクロのカメラCAが設置される。このカメラCAは可視光線の画像および赤外線の画像の両方を撮像可能なもので、基準マークMs,Msの位置や形状を認識可能な撮像データや、運転者が何れかのマークM1〜M7を隠したときは、その隠されたことが明確に認識可能となる撮像データを電子制御装置ECU(図4参照)に出力する。
【0027】
また車室内が暗くなって可視光線の撮像データが得られなくなった場合のために、ステアリングハンドルSの周囲に所定時間間隔で断続的に赤外線を照射するLEDよりなる赤外線照射手段URが、カメラCAの近傍の天井部に配置される。赤外線照射手段URのON/OFFは、例えばヘッドライトあるいはスモールライトのスイッチに連動しており、外界が暗くなってヘッドライトあるいはスモールライトがONしたときに赤外線照射手段URがONするようになっている。
【0028】
図4に示すように、電子制御装置ECUは、車室内の適所、例えばインストルメントパネルIの内部に設置されるものであり、それは、カメラCAから出力される撮像データを分析し、その分析データに基づいてマークM1〜M7が隠されたか否かをマークM1〜M7毎に個別に判定可能な判定手段C1と、その判定手段C1による判定結果に基づいて車載機器(即ちオーディオAU、ビデオDVD、カーナビCN)に対する操作コマンドとしての操作指令信号を出力する操作指令手段C2と、この操作指令手段C2の出力信号を前記車載機器に対する駆動信号に変換して車載機器AU,DVD,CNに出力する信号出力部C3と、カメラCAから出力される撮像データに基づいて乗員の手Hを認識し得る認識手段C4とを備えている。
【0029】
前記カメラCAは、判定手段C1および認識手段C4の各入力側に接続される。また操作指令手段C2の入力側には、判定手段C1および認識手段C4の各出力側、ならびに外部の前記操作部1、舵角センサSE1および車速センサSE2がそれぞれ接続される。更に信号出力部C3の入力側には操作指令手段C2の出力側が接続されるとともに、その信号出力部C3の出力側には前記車載機器AU,DVD,CNが接続されている。
【0030】
操作指令手段C2は、前記外部の操作部1による車載機器AU,DVD,CNの操作入力を可能とする待機モードと、その操作入力を禁止する第1,第2の作動モードの何れかとを選択的にとることができ、前記待機モードでは、第1マークM1以外のマーク(即ち第2〜第7マークM2〜M7)が隠されても操作指令手段C2は応答せず、即ち操作コマンドが発せられることはなない。
【0031】
また操作指令手段C2は、該操作指令手段C2が第1または第2の作動モードにある時に、車両において、予め設定した状態(具体的には所定角以上の舵角操作があった状態、あるいは所定時間内の急激な車速変化があった状態、あるいは第1,第2の何れかの作動モードに切換わってから一定時間以上、第2〜第7マークM2〜M7の何れかを隠す操作が無く、放置された状態、あるいは第1または第2の作動モードにあるにも拘わらず第1マークM1が再度隠される操作がなされた状態)になるのに応じて前記待機モードに自動的に切換わる。
【0032】
而して、判定手段C1は、操作指令手段C2が待機モードにある状態では、カメラCAの撮像データに基づき、図5の(A)に示すようにステアリングハンドルSの一対の基準マークMs,Msを認識することで、ステアリングハンドルSの中心位置と、中立位置からの左右の回転角を検出する。そして後述するように、判定手段C1は、ステアリングハンドルSの中心位置および回転角から第1〜第7マークM1〜M7の位置を推定する。ステアリングハンドルSに対する基準マークMs,Msおよび第1〜第7マークM1〜M7の位置関係は既知であるから、基準マークMs,Msの位置が分かればステアリングハンドルSの中心位置が分かり、更にステアリングハンドルSの回転角が分かれば第1〜第7マークM1〜M7の位置を推定することができる。
【0033】
次に、図8に基づいて基準マークMsの認識および基準マークMsの角度(ステアリングハンドルSの回転角)の検出について説明する。
【0034】
L字状の基準マークMsは5個の凸部aと1個の凹部bとを備えており、先ずカメラCAの撮像データから凸部aおよび凹部bを抽出する。そして基準マークMsの縁に対応する画素を例えば矢印で示すように時計回りに確認してゆく。図中の白の画素は基準マークMsに対応し、黒の画素は背景のスポークカバー3に対応する。各画素はその周囲の8個の画素に接しているが、そのうち5個の画素が白であれば、その画素は基準マークMsの直線部に存在することになる。例えば、画素P1,P2は周囲の8個の画素のうちの5個の画素が白であり、基準マークMsの直線部に存在することになる。また画素P3,P4は周囲の8個の画素のうちの7個の画素が白であり、基準マークMsの凹部bに存在することになる。またP5〜P7は周囲の8個の画素のうちの3個ないし4個の画素が白であり、基準マークMsの凸部aに存在することになる。
【0035】
従って、基準マークMsの縁に対応する画素が、その周囲の8個の画素のうちの6個以上が白であれば凹部bに対応する画素であると判定することができ、その周囲の8個の画素のうちの4個以下が白であれば凸部aに対応する画素であると判定することができるので、基準マークMsの凸部aおよび凹部bの位置を特定することができる。
【0036】
而して、撮像データから認識された明度の高い物体が、5個の凸部aと1個の凹部bとを備えていれば、その物体が基準マークMsであると判定することができる。そして、例えば右側の基準マークMsの凹部bの位置と左側の基準マークMsの凹部bの位置とから、ステアリングハンドルSの回転角を検出することができる。また左右の基準マークMs,Msの何れか一方しか認識できない場合でも、認識された側の基準マークMsの合計6個の凸部aおよび凹部bのうちの任意の2個の位置関係から、ステアリングハンドルSの回転角を検出することができる。但し、この場合には、採用する二つの凸部aあるいは凹部bの距離が左右の基準マークMs,Ms間の距離よりも小さいことから、ステアリングハンドルSの回転角の検出精度は若干低くなる。
【0037】
尚、基準マークMs,Msの認識は所定時間間隔で行われるが、何らかの理由で左右の基準マークMs,Msを両方とも認識できなかった場合には、次回のサイクルで再度認識が試みられる。
【0038】
ステアリングハンドルSの位置は運転者の体格や好みに合わせて調節可能であるが、上述のようにして左右の基準マークMs,Msの位置を特定することで、ステアリングハンドルSの中心の位置を特定することができる。そしてステアリングハンドルSにおける第1〜第7マークM1〜M7の位置は既知であるため、ステアリングハンドルSの中心の位置とステアリングハンドルSの回転角とが決まれば、第1〜第7マークM1〜M7の位置を推定することができる。
【0039】
撮像データから第1〜第7マークM1〜M7の位置を直接識別するには、撮像データを複雑な画像処理で解析する必要があり、そのためにコンピュータの演算時間や演算負荷が増大する問題がある。しかしながら本実施の形態の如く、基準マークMs,Msに基づいて第1〜第7マークM1〜M7の位置を推定することで、コンピュータの演算時間や演算負荷を節減しながら、第1〜第7マークM1〜M7の位置を短時間で精度良く推定することが可能になる。
【0040】
以上のようにして、判定手段C1は、図5の(B)に示すように中央の第1マークM1を認識しているので、この認識中に、図5の(C)に示すように第1マークM1が運転者の手Hで隠された場合にはそのことを迅速確実に認識でき、その認識結果を操作指令手段C2に出力することで、該手段C2が第1の作動モードに切り換わる。
【0041】
また判定手段C1は、操作指令手段C2が第1または第2の作動モードにある状態では、図6の(A)に示すようにスポーク部Sb1,Sb2の第2〜第7マークM2〜M7を認識しているので、この認識中に、例えば図6の(B)に示すように複数個の第2のマーク(即ち第2〜第5マークM2〜M5)が運転者の手Hで隠された場合にはそのことを迅速確実に認識でき、この認識結果に基づいて操作指令手段C2が第2の作動モードに切り換わる。更にこの第2の作動モードの状態で、図6の(C)に示すように複数個の第3のマーク(即ち第6,第7マークM6,M7)が運転者の手Hで隠されたことを迅速確実に認識でき、その認識結果を操作指令手段C2に出力する。
【0042】
更に操作指令手段C2は、それが車速センサSE2の検出信号に基づき自動車が走行中であると判断しているときに、認識手段C4がリム部Sm上に手Hが2つ有ることを認識しない場合には前記操作部1からの少なくとも一部の操作信号を無効にするが、認識手段C4が図7に示すようにリム部Sm上に手Hが2つ有ることを認識した場合には前記操作信号を無効にしないように構成される。
【0043】
よって、走行中においては従来と同様、安全運転の観点から車載機器AU,DVD,CNの操作部1への手動操作の少なくとも一部を無効にできる。しかしながら走行中であってもリム部Sm上に手Hが2つ有ることを認識手段C4が認識した場合には、前記操作部1から操作信号が出力されても、それは運転者以外の乗員により操作されたものと見做せることから、操作指令手段C2は前記操作信号を無効にしないようにして、運転者以外の乗員による操作を有効としている。これにより、自動車が走行中であっても、運転者が両手HでステアリングSを握っておれば、運転者以外の同乗者による車載機器AU,DVD,CNへの操作が可能となり、使い勝手、利便性が向上する。
【0044】
操作指令手段C2は、これが待機モードにある時に第1マークM1が隠されたと判定手段C1が判定するのに基づいて第1の作動モードに切換わり、その第1の作動モードでは、第2〜第5マークM2〜M5の1つが隠されることで車載機器における操作対象(図示例では「ボリューム」と、ビデオ・オーディオを選択する「ソース」と、アルバム名・曲名を選択する「セレクト」と、カーナビの音声検索モードを選択する「ボイス」と)を任意に選択可能となる。
【0045】
また操作指令手段C2は、これが第1の作動モードにある時に、第2〜第5マークM2〜M5の何れかが隠されたと判定手段C1が判定するのに基づいて第2の作動モードに切換わり、その第2の作動モードでは、第6,第7マークM6,M7の1つが隠されることで前記操作対象に関係した複数の操作パラメータの1つを選択可能である。その操作パラメータとは、前記操作対象に関連して操作者がより具体的に選択操作すべき操作内容を意味しており、図示例では第2マークM2が隠されたことで「ボリューム」が選択された場合には、第6マークM6を隠すことが「音量上げ」に、また第7マークM7を隠すことが「音量下げ」にそれぞれ対応する。
【0046】
また第3マークM3が隠されたことで「ソース」が選択された場合には、第6マークM6を隠すことがOFF・ビデオ・オーディオの「一方向順送り」に、また第7マークM7を隠すことが「他方向の順送り」にそれぞれ対応する。
【0047】
更に第4マークM4が隠されたことで「セレクト」が選択された場合には、第6マークM6を長く(例えば2秒)隠すことがアルバム名の「一方向順送り」に、また第6マークM6を短く隠すことが曲名の「一方向順送り」に、また第7マークM7を長く(例えば2秒)隠すことがアルバム名の「他方向順送り」に、また第7マークM7を短く隠すことが曲名の「他方向順送り」にそれぞれ対応する。
【0048】
次に前記操作装置の操作手順について、図9〜図12を参照して、より具体的に説明する。
[1]ボリューム調整操作
操作指令手段C2が前記待機モードにあるときは、図9のステップS10に示すように表示部Lは通常のカーナビ画面となっており、この状態から操作者が第1マークM1を隠すと(ステップS11)、「操作をどうぞ」のアナウンスと共に画面下半分に次に選択操作すべきマークM2〜M5の表示が強調して現れる(ステップS12)。そこで第2マークM2を隠すと(ステップS13)、「ボリューム」のアナウンスと共に画面下半分に次に選択操作すべきマークM6,M7の表示が強調して現れ(ステップS14)、次いで所定時間(例えば3秒)経過すると、現時点でのボリューム表示が現れる(ステップS15)。そこで第6マークM6または第7マークM7の何れかを隠すと(ステップS16)、隠したマークに対応して音量調整が実行され、その調整後のボリューム表示が現れる(ステップS17)。
[2]ソース選択操作
図10に示すように、ステップS20〜S22までは、前記ステップS10〜S12と同じであり、そのステップS22の状態から第3マークM3を隠すと(ステップS23)、「ソース選択」のアナウンスと共に画面下半分に次に選択操作すべきマークM6,M7の表示が強調して現れ(ステップS24)、次いで所定時間(例えば3秒)経過すると、現時点でのソース表示(図では「OFF」の選択表示)が現れる(ステップS25)。そこで第6マークM6または第7マークM7の何れかを隠すと(ステップS26)、隠したマークに対応してOFF・ビデオ・オーディオの一方向または他方向の順送りが実行され、「ソース選択〇〇〇〇」のアナウンスと共にその選択後のソース表示が現れる(ステップS27)。
[3]アルバム名・曲名の選択操作
図11に示すように、ステップS30〜S32までは、前記ステップS10〜S12と同じであり、そのステップS32の状態から第4マークM4を隠すと(ステップS33)、「アルバム名・曲名選択」のアナウンスと共に画面下半分に次に選択操作すべきマークM6,M7の表示が強調して現れ(ステップS34)、次いで所定時間(例えば3秒)経過すると、現時点でのアルバム名・曲名ソース表示が現れる(ステップS35)。そこで第6マークM6または第7マークM7の何れかを長く(例えば2秒間)隠すようにすれば、アルバム名の一方向順送りまたは他方向順送りが実行され(ステップS36)、また第6マークM6または第7マークM7の何れかを短く隠すようにすれば、曲名の一方向順送りまたは他方向順送りが実行され(ステップS36)、それらの実行と共に新たに選択されたアルバム名・曲名の表示が現れる(ステップS37)。その表示が現れてから、所定時間(例えば5秒)放置すれば、新たに選択されたアルバム名・曲名が確定する。
[4]音声検索モードへの移行操作
図12に示すように、ステップS40〜S42までは、前記ステップS10〜S12と同じであり、そのステップS42の状態から操作者が第5マークM5を隠すと(ステップS43)、「音声検索」のアナウンスと共に、カーナビCNを従来公知の音声検索モードに移行させることができる。
【0049】
以上説明した本実施の形態によれば、カメラCAから出力される撮像データに基づいて複数のマークM1〜M7が隠されたか否かをマーク毎に個別に判定可能な判定手段C1と、その判定手段C1による判定結果に基づいて車載機器AU,DVD,CNに対する操作コマンド(操作指令信号)を出力する操作指令手段C2とを備えるので、各々のマークM1〜M7が操作者の手HでカメラCAから隠された否かに基づいて車載機器AU,DVD,CNに対する操作コマンドを正確に出力できるだけでなく、操作者の操作手順も判り易く、操作者の認識違いによる誤操作も効果的に防止可能となる。
【0050】
しかもその操作指令手段C2における判断ロジックは比較的単純であってコスト節減が図られる上、演算処理も迅速に行うことができる。また前記複数個のマークM1〜M7は車室内の被取付部材(図示例ではステアリングSに着脱可能なホーンカバー2、スポークカバー3)に設けられていて、それらカバー2,3やステアリングSに読み取り用の貫通孔を特別に穿設する必要はないため、後付けのオプション対応が比較的容易であるばかりか、各マークM1〜M7およびカメラCAの設置位置の自由度も比較的高くなり、更にステアリングSを持つ運転者が手元でマークM1〜M7を隠す操作を容易且つ迅速に行うことができる。
【0051】
その上、操作者は、第1マークMを隠すだけで操作指令手段C2を待機モードから第1の作動モードに迅速且つ確実に切換えることができ、更にその第1の作動モードでは、複数個のマークM2〜M5の1つを隠すだけで車載機器AU,DVD,CNにおける操作対象を迅速且つ確実に選択することができる。更に操作者は、操作指令手段C2が前記第1の作動モードにある時に、第6,第7マークM6,M7の1つを隠すだけで、操作対象に関係して指定すべき複数の操作パラメータ、即ち操作内容の1つを迅速且つ確実に選択できる。
【0052】
更に、基準マークMs,Msは、ステアリングハンドルSのリム部Smから遠い位置、即ち第1〜第7マークM1〜M7よりもステアリングハンドルSの径方向内側位置に設けられているので、運転者が第1〜第7マークM1〜M7を手Hで隠そうとしたときに意図せずに基準マークMs,Msを隠してしまうのを効果的に防止することができる。また運転者がステアリングハンドルSのリム部Smを把持した状態で指が基準マークMs,Msに届き難くなるため、通常の運転時に基準マークMs,Msが意図せずに隠されてしまい、その位置が特定不能になる事態を未然に防止することができる。
【0053】
ところで操作指令手段C2は、該手段が何れかの作動モードにある時に、車両が予め設定した状態(図示例では所定角以上の舵角操作があった状態、あるいは所定時間内の急激な車速変化があった状態、あるいは第1,第2の何れかの作動モードに切換わってから一定時間以上、第2〜第7マークM2〜M7が隠されず放置された状態、あるいは第1または第2の作動モードにあるにも拘わらず第1マークM1が再度隠される操作がなされた状態)になるのに応じて待機モードに自動的に切換わる。これにより、カーブ走行時や急加速時等の、運転に専念すべき特別な走行状態等の場合や、一定時間以上放置の場合、更には運転者が即座に待機モードに戻したいと希望する場合に、操作指令手段C2を自動的に待機モードに戻すことができるため、それらの場合に操作者の誤操作により操作指令手段C2がコマンドを出力するのを未然に確実に防止することができる。
【0054】
また夜間等に車室内が暗くなってカメラCAが可視光線の撮像データを取得できなくなるような場合には、赤外線照射手段URがステアリングハンドルSを含む領域に赤外線を断続的に照射することで、昼間と同様に撮像データを取得することができる。このとき、基準マークMs,Msは赤外線反射素材で構成されているため、赤外線照射時の撮像データと赤外線非照射時の撮像データとを比較すると、基準マークMs,Msの部分の明度に著しい差が生じるため、撮像データから基準マークMs,Msの位置を仮決定することができる。これにより、仮決定した基準マークMs,Msの凸部aおよび凹部bの配列を確認して基準マークMs,Msを最終決定する作業が容易になり、コンピュータの演算時間および演算負荷を更に節減することができる。
【0055】
上記作用を図13のフローチャートに基づいて説明すると、先ずステップS1で撮像データを入力し、ステップS2で赤外線が照射されていれば、ステップS3で赤外線の照射時および非照射時の差画像を作成し、ステップS4で差画像の明度の高い部分を基準マークMs,Msとして仮決定する。続くステップS5で仮決定した基準マークMs,Msの特徴点(凸部aおよび凹部b)を検出し、ステップS6で特徴点の数や配列から基準マークMs,Msを決定し、ステップS7で基準マークMs,Msの位置から第1〜第7マークM1〜M7の位置を推定する。前記ステップS2で赤外線が照射されていなければ、ステップS5にスキップして基準マークMs,Msの全ての候補について特徴点(凸部aおよび凹部b)を検出を行うため、赤外線の照射時に比べてコンピュータの演算時間および演算負荷が若干増加することになる。
【0056】
次に、図14に基づいて本発明の第2の実施の形態を説明する。
【0057】
第1の実施の形態の基準マークMs,MsはL字状に形成されているが、第2の実施の形態で基準マークMs,MsはT字状に形成されており、6個の凸部aと2個の凹部bとを備えている。この基準マークMs,Msを用いても、第1の実施の形態と同様の作用効果を達成することができる。基準マークMs,Msは少なくとも1個の凸部aおよび少なくとも1個の凹部bを備えていることが必要であるが、それ以外に回転対称な図形でないことが必要である。
【0058】
回転対称な図形とは、nを2以上の自然数としたときに、その中心回りに(360/n)°回転させると自らと重なり合う図形であり、n=2のときに2回対称.n=3のときに3回対称、n=4のときに4回対称という。例えば、「×」は8個の凸部aと4個の凹部bとを備えているが、90°回転させると重なり合う4回対称な図形であるため、ステアリングハンドルSが中立位置にある状態と、そこから左右に90°回転した状態とを識別することができず、よって基準マークMs,Msとしては不適切である。
【0059】
以上、本発明の実施の形態を説明したが、本発明は上記実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明を逸脱することなく種々の設計変更を行うことが可能である。
【0060】
例えば、実施の形態では基準マークMsとしてL字状およびT字状のものを例示したが、基準マークMsの形状はそれに限定されるものではない。
【0061】
また実施の形態では、本発明操作装置によりオーディオAU、ビデオDVD、カーナビCN等を操作できるようにしたものを示したが、本発明では、操作対象を車載の他の機器、例えばエアコン等の空調装置、テレビ等にしてもよい。
【0062】
また実施の形態では、操作指令手段C2は、マークM1〜M7が隠されたことについての判定手段C1の判定結果に基づいて車載機器AU,DVD,CNに対する操作コマンド(操作指令信号)を出力するようにしたものを示したが、本発明では、マークM1〜M7が隠されたことについての判定手段C1の判定結果と、認識手段C4が手Hを認識した結果とを組み合わせた判断ロジックに基づき車載機器AU,DVD,CNに対する操作コマンド(操作指令信号)を出力するようにしてもよい。この場合においても、認識手段C4は、手Hを手H以外の身体部位(頭、腕等)と識別するだけであるため、従来技術のように判断ロジックが複雑化することはない。
【符号の説明】
【0063】
AU オーディオ(車載機器)
C1 判定手段
C2 操作指令手段
CA カメラ(撮像手段)
CN カーナビ(車載機器)
DVD ビデオ(車載機器)
M1〜M7 マーク
Ms 基準マーク
S ステアリングハンドル
UR 赤外線照射手段
a 凸部
b 凹部
【特許請求の範囲】
【請求項1】
複数個のマーク(M1〜M7)が設けられたステアリングハンドル(S)を撮像し得る撮像手段(CA)と、前記撮像手段(CA)から出力される撮像データに基づいて前記マーク(M1〜M7)が隠されたか否かを該マーク(M1〜M7)毎に個別に判定可能な判定手段(C1)と、前記判定手段(C1)による判定結果に基づいて車載機器(AU,DVD,CN)に対する操作コマンドを出力する操作指令手段(C2)とを備える自動車における車載機器の操作装置において、
前記ステアリングハンドル(S)に基準マーク(Ms)を設け、前記撮像手段(CA)による前記基準マーク(Ms)の撮像データに基づいて、前記判定手段(C1)は前記基準マーク(Ms)を認識し、前記基準マーク(Ms)の位置から前記複数個のマーク(M1〜M7)の位置を特定することを特徴とする自動車における車載機器の操作装置。
【請求項2】
前記基準マーク(Ms)は凸部(a)および凹部(b)の両方を備えることを特徴とする、請求項1に記載の自動車における車載機器の操作装置。
【請求項3】
前記基準マーク(Ms)を赤外線反射素材で構成し、前記基準マーク(Ms)に赤外線を断続的に照射する赤外線照射手段(UR)を設け、
前記判定手段(C1)は、赤外線照射時の撮像データと赤外線非照射時の撮像データとを比較し、明度変化が大きい部分を前記基準マーク(Ms)として認識することを特徴とする、請求項1または請求項2に記載の自動車における車載機器の操作装置。
【請求項1】
複数個のマーク(M1〜M7)が設けられたステアリングハンドル(S)を撮像し得る撮像手段(CA)と、前記撮像手段(CA)から出力される撮像データに基づいて前記マーク(M1〜M7)が隠されたか否かを該マーク(M1〜M7)毎に個別に判定可能な判定手段(C1)と、前記判定手段(C1)による判定結果に基づいて車載機器(AU,DVD,CN)に対する操作コマンドを出力する操作指令手段(C2)とを備える自動車における車載機器の操作装置において、
前記ステアリングハンドル(S)に基準マーク(Ms)を設け、前記撮像手段(CA)による前記基準マーク(Ms)の撮像データに基づいて、前記判定手段(C1)は前記基準マーク(Ms)を認識し、前記基準マーク(Ms)の位置から前記複数個のマーク(M1〜M7)の位置を特定することを特徴とする自動車における車載機器の操作装置。
【請求項2】
前記基準マーク(Ms)は凸部(a)および凹部(b)の両方を備えることを特徴とする、請求項1に記載の自動車における車載機器の操作装置。
【請求項3】
前記基準マーク(Ms)を赤外線反射素材で構成し、前記基準マーク(Ms)に赤外線を断続的に照射する赤外線照射手段(UR)を設け、
前記判定手段(C1)は、赤外線照射時の撮像データと赤外線非照射時の撮像データとを比較し、明度変化が大きい部分を前記基準マーク(Ms)として認識することを特徴とする、請求項1または請求項2に記載の自動車における車載機器の操作装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−201206(P2012−201206A)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願番号】特願2011−67314(P2011−67314)
【出願日】平成23年3月25日(2011.3.25)
【出願人】(390005430)株式会社ホンダアクセス (205)
【出願人】(592161372)日本システムウエア株式会社 (31)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願日】平成23年3月25日(2011.3.25)
【出願人】(390005430)株式会社ホンダアクセス (205)
【出願人】(592161372)日本システムウエア株式会社 (31)
[ Back to top ]