操作支援装置および方法、並びにプログラム
【課題】よりユーザに適した操作支援を行うことができるようにする。
【解決手段】撮像制御部１３１は、撮像部１２５を制御し、車両操作支援装置１００が搭載される車両を操作するユーザを撮像させ、そのユーザの画像を生成させる。ユーザ認証部１３２は、記憶部１２３に記憶されている登録情報１４１を参照し、撮像制御部１３１に制御されて生成された画像に含まれる被写体（ユーザ）の認証を行う。説明必要性判定部１３３は、ユーザ認証部１３２によるユーザの認証結果に基づいて、説明の必要性を判定する。操作説明部１３４は、例えば出力部１２２を制御して、説明必要性判定部１３３において説明の必要があると判定された操作説明を行う。本発明は、例えば、車両操作支援装置に適用することができる。
【解決手段】撮像制御部１３１は、撮像部１２５を制御し、車両操作支援装置１００が搭載される車両を操作するユーザを撮像させ、そのユーザの画像を生成させる。ユーザ認証部１３２は、記憶部１２３に記憶されている登録情報１４１を参照し、撮像制御部１３１に制御されて生成された画像に含まれる被写体（ユーザ）の認証を行う。説明必要性判定部１３３は、ユーザ認証部１３２によるユーザの認証結果に基づいて、説明の必要性を判定する。操作説明部１３４は、例えば出力部１２２を制御して、説明必要性判定部１３３において説明の必要があると判定された操作説明を行う。本発明は、例えば、車両操作支援装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作支援装置および方法、並びにプログラムに関し、特に、よりユーザに適した操作支援を行うことができるようにした操作支援装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、例えば自動車等の車両を操作するユーザに対して、案内や通知を行う等の支援を行う支援装置がある（例えば、特許文献１参照）。
【０００３】
例えば、特許文献１においては、車両の操作対象が乗員によって操作された場合に、その操作状態から乗員の焦りを検出し、焦りが感じられる場合は操作支援を行うという装置が提案されている。
【先行技術文献】
【非特許文献】
【０００４】
【特許文献１】特開２００８−１９５２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法の場合、車両の操作対象が操作され、不慣れな操作が検出されて初めて操作支援が行われるので、乗員が一旦操作にとまどってからでないと操作支援を行うことができない恐れがあった。つまり、この操作支援は操作内容に基づいて行われるものであり、乗員個人の事情に基づいて行われるものでなかった。
【０００６】
本発明は、このような状況に鑑みて提案されたものであり、ユーザ認証を行うことにより、操作内容以外のユーザ情報も考慮して、よりユーザに適した操作支援を行うことができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面は、所定の装置のユーザを撮像する撮像手段と、ユーザ毎の情報を記憶する記憶手段と、前記撮像手段による撮像により得られた前記ユーザの画像、および、前記記憶手段により記憶されている前記ユーザ毎の情報に基づいて、前記ユーザの認証を行う認証手段と、前記認証手段による認証結果に基づいて、前記ユーザに対して前記装置の操作に関する説明を行う必要があるか否かを判定する判定手段と、前記判定手段により前記説明が必要と判定された場合、前記説明を行う説明手段とを備える操作支援装置である。
【０００８】
本発明の第１の側面においては、所定の装置のユーザが撮像され、ユーザ毎の情報が記憶され、撮像により得られたユーザの画像、および、記憶されているユーザ毎の情報に基づいて、ユーザの認証が行われ、認証結果に基づいて、ユーザに対して装置の操作に関する説明を行う必要があるか否かが判定され、説明が必要と判定された場合、説明が行われる。
【０００９】
従って、よりユーザに適した操作支援を行うことができる。
【００１０】
この撮像手段は、例えば、撮像部により構成され、記憶手段は、例えば、記憶部により構成され、認証手段は、例えば、ユーザ認証部により構成され、判定手段は、例えば、説明必要性判定部により構成され、説明手段は、例えば、操作説明部により構成される。
【００１１】
前記判定手段は、前記撮像手段により撮像された前記ユーザが初めて前記装置を利用する場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定することができる。
【００１２】
また、前記判定手段は、前記撮像手段により撮像された前記ユーザが所定の期間以上、前記装置を利用していない場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定することができる。
【００１３】
さらに、前記判定手段は、前記撮像手段により撮像された前記ユーザが未実施の操作が存在する場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定することができる。
【００１４】
また、前記判定手段は、前記撮像手段により撮像された前記ユーザが前記装置の所有者でない場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定することができる。
【００１５】
さらに、前記判定手段は、前記撮像手段により撮像された前記ユーザが所有する装置の操作方法と、前記装置の操作方法が異なる場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定することができる。
【００１６】
これらにより、よりユーザに適した操作支援を行うことができる。
【００１７】
前記判定手段により説明を行う必要があると判定された説明に含まれる複数の内容の中から、説明を行う内容を状況に応じて選択する選択手段をさらに備えることができる。
【００１８】
これにより、状況に応じて、よりユーザに適した操作支援を行うことができる。
【００１９】
選択手段は、例えば、説明内容選択部により構成される。
【００２０】
前記装置の状態に関する情報を取得する装置状態取得手段をさらに備え、前記選択手段は、前記装置状態取得手段により取得された前記装置の状態に関する情報に基づいて、前記説明を行う内容を選択することができる。
【００２１】
これにより、装置の状態に応じて、よりユーザに適した操作支援を行うことができる。
【００２２】
装置状態取得手段は、例えば、車両状態取得部により構成される。
【００２３】
前記装置の位置または移動経路に関する情報を取得する位置取得手段をさらに備え、前記選択手段は、前記位置取得手段により取得された前記装置の位置または移動経路に関する情報に基づいて、前記説明を行う内容を選択することができる。
【００２４】
これにより、装置の位置または移動経路に応じて、よりユーザに適した操作支援を行うことができる。
【００２５】
位置取得手段は、例えば、車両位置取得部により構成される。
【００２６】
前記ユーザの状態に関する情報を取得するユーザ状態取得手段をさらに備え、前記選択手段は、前記ユーザ状態取得手段により取得された前記ユーザの状態に関する情報に基づいて、前記説明を行う内容を選択することができる。
【００２７】
これにより、ユーザの状態に応じて、よりユーザに適した操作支援を行うことができる。
【００２８】
ユーザ状態取得手段は、例えば、ユーザ状態取得部により構成される。
【００２９】
前記装置の外部環境に関する情報を取得する外部環境取得手段をさらに備え、前記選択手段は、前記外部環境取得手段により取得された前記装置の外部環境に関する情報に基づいて、前記説明を行う内容を選択することができる。
【００３０】
これにより、外部環境に応じて、よりユーザに適した操作支援を行うことができる。
【００３１】
外部環境取得手段は、例えば、外部環境取得部により構成される。
【００３２】
前記判定手段により必要と判定された前記説明を行うか否かを確認する確認手段をさらに備えることができる。
【００３３】
これにより、ユーザに不快感を与えてしまうような事態の発生を抑制することができる。
【００３４】
確認手段は、例えば、説明確認部により構成される。
【００３５】
本発明の一側面はまた、撮像手段が、所定の装置のユーザを撮像し、認証手段が、撮像により得られた前記ユーザの画像、および、記憶手段により記憶されているユーザ毎の情報に基づいて、前記ユーザの認証を行い、判定手段が、認証結果に基づいて、前記ユーザに対して前記装置の操作に関する説明を行う必要があるか否かを判定し、説明手段が、前記説明が必要と判定された場合、前記説明を行う操作支援方法である。
【００３６】
従って、よりユーザに適した操作支援を行うことができる。
【００３７】
本発明の一側面はさらに、コンピュータを、所定の装置のユーザを撮像する撮像手段と、ユーザ毎の情報を記憶する記憶手段と、前記撮像手段による撮像により得られた前記ユーザの画像、および、前記記憶手段により記憶されている前記ユーザ毎の情報に基づいて、前記ユーザの認証を行う認証手段と、前記認証手段による認証結果に基づいて、前記ユーザに対して前記装置の操作に関する説明を行う必要があるか否かを判定する判定手段と、前記判定手段により前記説明が必要だと判定された場合、前記説明を行う説明手段として機能させるためのプログラムである。
【００３８】
従って、よりユーザに適した操作支援を行うことができる。
【発明の効果】
【００３９】
本発明によれば、操作を支援することができる。特に、よりユーザに適した操作支援を行うことができる。
【図面の簡単な説明】
【００４０】
【図１】本発明を適用した車両操作支援装置の構成例を示すブロック図である。
【図２】車両操作支援装置の設置例を説明する図である。
【図３】登録情報の内容例を説明する図である。
【図４】操作支援処理の流れの例を説明するフローチャートである。
【図５】説明必要性判定処理の流れの例を説明するフローチャートである。
【図６】本発明を適用した車両操作支援装置の他の構成例を示すブロック図である。
【図７】説明の内容例を説明する図である。
【図８】車両状態に基づく説明内容の選択例を説明する図である。
【図９】車両位置若しくは移動経路に基づく説明内容の選択例を説明する図である。
【図１０】ユーザ状態に基づく説明内容の選択例を説明する図である。
【図１１】外部環境に基づく説明内容の選択例を説明する図である。
【図１２】操作支援処理の流れの、他の例を説明するフローチャートである。
【図１３】説明確認処理の流れの例を説明するフローチャートである。
【図１４】説明内容選択処理の流れの例を説明するフローチャートである。
【図１５】本発明を適用したパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための形態】
【００４１】
図１は、本発明を適用した車両操作支援装置の構成例を示すブロック図である。
【００４２】
図１に示される車両操作支援装置１００は、例えば自動車等の車両に搭載され、その車両を操作するユーザに対して情報提供等を行い、ユーザがより適切に操作を行うことが出来るように、ユーザの操作を支援する装置である。なお、この操作は、車両の運転操作だけでなく、例えば、照明、空調、またはナビゲーションシステム等の車両に搭載される設備の操作等も含むようにしてもよい。また、提供される情報は、操作に関するものであればどのようなものであってもよく、例えば、速度や温度等のデータ、操作方法や操作タイミング等の案内、または警告等を含むようにしてもよい。
【００４３】
車両操作支援装置１００は、図１に示されるように制御部１１１、ROM（Read Only Memory）１１２、RAM（Random Access Memory）１１３、入力部１２１、出力部１２２、記憶部１２３、通信部１２４、および撮像部１２５を有する。
【００４４】
制御部１１１は、例えば、図示せぬCPU（Central Processing Unit）等により構成されるマイクロコンピュータにより構成される。制御部１１１は、ROM１１２に記憶されているプログラム、または記憶部１２３からRAM１１３にロードされたプログラムに従って各種の処理を実行する。RAM１１３にはまた、制御部１１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００４５】
ROM１１２は、書き換え不可能な記憶領域を有し、例えば工場出荷時等に書き込まれたソフトウェアプログラムやデータを記憶する。RAM１１３は、書き換え可能な記憶領域を有し、実行中のソフトウェアプログラムや、処理中のデータを一時的に保持する。
【００４６】
入力部１２１は、例えば、ボタン、スイッチ、タッチパッド、マイクロホン等の、ユーザ操作や情報を受け付ける各種入力デバイスを有する。入力部１２１は、ユーザ操作や音声等の情報を受け付けると、その情報を制御部１１１に供給する。
【００４７】
出力部１２２は、例えばスピーカ、LED（Light Emitting Diode）、モニタ、または出力端子等の出力デバイスを有する。出力部１２２は、制御部１１１より供給される出力用の情報（例えば、データ、音声、または画像等）を、適切な出力デバイスを用いて出力する（音声出力や画像表示を含む）。
【００４８】
記憶部１２３は、例えばフラッシュメモリやハードディスク等のような、書き換え可能な不揮発性の記憶領域を有する。記憶部１２３は、例えば、予め登録されたユーザに関する情報を含む登録情報１４１を記憶し、その登録情報１４１を必要に応じて適宜、制御部１１１に供給する。
【００４９】
通信部１２４は、例えばモデム等の、所定の規格の通信インタフェースを有し、例えばインターネットやLAN（Local Area Network）を含む任意のネットワークを介しての、有線または無線の通信処理を行う。
【００５０】
撮像部１２５は、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等の所定の撮像素子を有し、被写体を撮像し、得られた画像データを制御部１１１に供給する。
【００５１】
制御部１１１は、入力部１２１乃至撮像部１２５を制御し、車両の操作を支援する情報をユーザに提供させる。制御部１１１は、例えば、機能ブロックとして、撮像制御部１３１、ユーザ認証部１３２、説明必要性判定部１３３、操作説明部１３４、および登録情報更新部１３５を有する。これらの機能ブロックは、制御部１１１がプログラムを実行する等して実現される機能を示す。
【００５２】
撮像制御部１３１は、撮像部１２５を制御し、車両操作支援装置１００が搭載される車両を操作するユーザを撮像させ、そのユーザの画像を生成させる。
【００５３】
ユーザ認証部１３２は、記憶部１２３に記憶されている登録情報１４１を参照し、撮像制御部１３１に制御されて生成された画像に含まれる被写体（ユーザ）の認証を行う。
【００５４】
説明必要性判定部１３３は、ユーザ認証部１３２によるユーザの認証結果に基づいて、説明の必要性を判定する。
【００５５】
操作説明部１３４は、例えば出力部１２２を制御して、説明必要性判定部１３３において説明の必要があると判定された操作説明を行う。
【００５６】
登録情報更新部１３５は、記憶部１２３に記憶されている登録情報１４１の更新を行う。
【００５７】
この車両操作支援装置１００は、例えば自動車のインスツルメントパネル内等、車両の任意の位置に設置される。また、例えば撮像部１２５や出力部１２２等、車両操作支援装置１００の一部の構成を、制御部１１１と情報の授受が可能な状態で別体として構成されるようにしてもよい。
【００５８】
図２は、車両操作支援装置１００の設置例を説明する図である。
【００５９】
図２Ａに示されるように、撮像部１２５は、例えば、車両操作支援装置１００が搭載される車両のステアリングホイール１５１に、そのステアリングホイール１５１を操作するユーザ（例えば車両の運転者）顔付近を撮像可能な姿勢で設置される。もちろん、例えば助手席付近や後部座席付近等、撮像部１２５がこれ以外の位置に設置されるようにしても良い。例えば、撮像部１２５が助手席や後部座席に位置するユーザを撮像することができるようにしてもよい。また、撮像部１２５が複数のカメラ等により構成されるようにし、複数の位置においてユーザを撮像するようにしてもよい。
【００６０】
また、出力部１２２として、図２Ｂに示されるように、「この車の給油口は左側です」等の音声案内を出力するスピーカ１６１が設けられるようにしてもよい。このスピーカ１６１は、例えば、車両の車室内の、スピーカ１６１より出力される音声をユーザが容易に聴取可能な所定の位置に設置される。
【００６１】
図３は、記憶部１２３に記憶される登録情報１４１の内容例を説明する図である。
【００６２】
図３に示されるように、登録情報１４１には、例えば、ドライバ、搭乗回数、前回搭乗時からの時間、所有者、所有車種、および操作履歴等の情報がユーザ（ドライバ）毎に管理される。
【００６３】
項目「ドライバ」は、予め登録された各ユーザの識別情報である。例えばユーザの顔画像等、ユーザを示す画像も登録される。項目「搭乗回数」はユーザがこれまでにこの車両に搭乗した回数を示す。項目「前回搭乗時からの時間」は、ユーザの前回搭乗時からの経過時間を示す。項目「所有者」は、ユーザがこの車両の所有者であるか否かを示す。項目「所有車種」は、ユーザが所有する車両の種類を示す。項目「所有者」および項目「所有車種」の各情報は、例えばユーザ登録時（項目「ドライバ」生成時）に登録される。
【００６４】
項目「操作履歴」は、ユーザの過去の操作内容を示す。例えば、車両の全操作可能項目（例えばＡ乃至Ｚ）が予めリスト化され、その操作可能項目のうちユーザが実行した項目の識別情報が項目「操作履歴」に反映される。
【００６５】
図３の例の場合、ドライバ「Ａさん」の搭乗回数は「２０回」であり、前回搭乗時からの経過時間は「１日」であり、「Ａさんは」この車両の所有者であり（YES）、所有車種は「AAA」であり、操作履歴は「A,B,・・・,Z」（すなわち全ての操作を実行済み）である。
【００６６】
なお、登録情報１４１は、少なくとも「搭乗回数」および「前回搭乗時からの時間」の項目を含んでいればよく、その他の項目は任意である。つまり登録情報１４１に上述した以外の項目が含まれるようにしてもよいし、「所有者」、「所有車種」、および「操作履歴」の項目の一部または全部が省略されるようにしてもよい。
【００６７】
次に、図１の車両操作支援装置１００により実行される操作支援処理の流れの例を図４のフローチャートを参照して説明する。
【００６８】
例えば、車両操作支援装置１００に電源が投入される等して、操作支援処理が開始されると、撮像制御部１３１は、ステップＳ１０１において、ユーザ情報を取得する。撮像制御部１３１は、例えば、撮像部１２５を制御してユーザ（例えばユーザの顔付近）を撮像させ、そのユーザの画像をユーザ情報として取得する。
【００６９】
ステップＳ１０２においてユーザ認証部１３２は、ステップＳ１０１において得られたユーザ情報（ユーザの画像）と、記憶部１２３に登録されている登録情報１４１とを用いて、ユーザの認証を行う。ステップＳ１０３において、説明必要性判定部１３３は、ユーザの認証結果に基づいて、ユーザに応じた説明必要性判定を行う。
【００７０】
ステップＳ１０４において、操作説明部１３４は、説明必要性判定処理の結果に基づいて、操作方法の説明が必要であるか否かを判定する。説明の必要性があると判定された場合、処理はステップＳ１０５に進む。ステップＳ１０５において、操作説明部１３４は、必要な操作説明を行う。ステップＳ１０５の処理終了後、処理はステップＳ１０６に進む。
また、ステップＳ１０４において操作方法の説明の必要がないと判定された場合、ステップＳ１０５の処理は省略され、処理はステップＳ１０６に進む。
【００７１】
ステップＳ１０６において、登録情報更新部１３５は、登録情報１４１の内容を適宜更新する。ステップＳ１０６の処理終了後、操作支援処理が終了される。
【００７２】
次に、図４のステップＳ１０３において実行される説明必要性判定処理の流れの例を図５のフローチャートを参照して説明する。
【００７３】
説明必要性判定処理が開始されると、ステップＳ１２１において、説明必要性判定部１３３は、登録情報１４１に基づいて、ユーザが初搭乗である（初めて利用する）か否かを判定する。例えば、撮像制御部１３１の制御により得られた撮像画像の被写体であるユーザが登録情報１４１に登録されておらず、このユーザが初搭乗であると判定された場合、処理はステップＳ１２２に進む。ステップＳ１２２において、説明必要性判定部１３３は、初搭乗のユーザ向けの操作説明が必要であると設定する。ステップＳ１２２の処理終了後、説明必要性判定処理が終了され、図４のステップＳ１０３に戻り、ステップＳ１０４以降の処理が実行される。
【００７４】
また、ステップＳ１２１において、例えば、撮像制御部１３１の制御により得られた撮像画像の被写体であるユーザが登録情報１４１に登録されており、初搭乗のユーザでないと判定された場合、処理はステップＳ１２３に進む。
【００７５】
ステップＳ１２３において、説明必要性判定部１３３は、登録情報１４１に基づいて、前回搭乗時（前回利用時）から所定の期間以上経過しているか否かを判定する。所定の期間以上経過していると判定された場合、処理はステップＳ１２４に進む。ステップＳ１２４において、説明必要性判定部１３３は、長期間未搭乗のユーザ向けの操作説明が必要であると設定する。ステップＳ１２４の処理終了後、説明必要性判定処理が終了され、図４のステップＳ１０３に戻り、ステップＳ１０４以降の処理が実行される。
【００７６】
また、ステップＳ１２３において、例えば、前回搭乗時から所定の期間以上経過していないと判定された場合、処理はステップＳ１２５に進む。
【００７７】
ステップＳ１２５において、説明必要性判定部１３３は、登録情報１４１に基づいて、実施したことのない操作が存在するか否かを判定する。例えば、登録情報１４１の項目「操作履歴」に登録されていない操作（未実施の操作）が存在し、ユーザが実施したことのない操作が存在すると判定された場合、処理はステップＳ１２６に進む。ステップＳ１２６において、説明必要性判定部１３３は、未実施の操作についての操作説明が必要であると設定する。ステップＳ１２６の処理終了後、説明必要性判定処理が終了され、図４のステップＳ１０３に戻り、ステップＳ１０４以降の処理が実行される。
【００７８】
また、ステップＳ１２５において、例えば、登録情報１４１の項目「操作履歴」に実施可能な操作が全て登録されており、ユーザが実施したことのない操作（未実施の操作）が存在しないと判定された場合、処理はステップＳ１２７に進む。
【００７９】
ステップＳ１２７において、説明必要性判定部１３３は、登録情報１４１に基づいて、ユーザが所有者でないか否かを判定する。例えば、登録情報１４１の項目「所有者」の値が「YES」であり、ユーザが所有者であると判定された場合、処理はステップＳ１２８に進む。ステップＳ１２８において、説明必要性判定部１３３は、操作説明が必要でないと設定する。ステップＳ１２８の処理終了後、説明必要性判定処理が終了され、図４のステップＳ１０３に戻り、ステップＳ１０４以降の処理が実行される。
【００８０】
また、ステップＳ１２７において、例えば、登録情報１４１の項目「所有者」の値が「NO」であり、ユーザが所有者でないと判定された場合、処理はステップＳ１２９に進む。ステップＳ１２９において、説明必要性判定部１３３は、登録情報１４１に基づいて、ユーザが所有する車が登録されているか否かを判定する。例えば登録情報１４１の項目「所有車種」に車種が登録されており、ユーザが所有する車が登録されていると判定された場合、処理はステップＳ１３０に進む。
【００８１】
ステップＳ１３０において、説明必要性判定部１３３は、登録情報１４１に基づいて、ユーザが所有する車と操作方法が異なるか否かを判定する。例えば、登録情報１４１の項目「所有車種」に登録されている車種が実施可能な操作と、この車両が実施可能な操作とが完全に一致し、ユーザが所有する車と操作方法が異ならないと判定された場合、ステップＳ１２８に戻り、それ以降の処理が繰り返される。
【００８２】
また、ステップＳ１３０において、例えば、登録情報１４１の項目「所有車種」に登録されている車種が実施可能な操作と、この車両が実施可能な操作とが完全に一致せず、ユーザが所有する車と操作方法が異なると判定された場合、処理は、ステップＳ１３１に進む。ステップＳ１３１において、説明必要性判定部１３３は、一致しない操作について操作説明が必要であると設定する。ステップＳ１３１の処理終了後、説明必要性判定処理が終了され、図４のステップＳ１０３に戻り、ステップＳ１０４以降の処理が実行される。
【００８３】
さらに、ステップＳ１２９において、ユーザが所有する車が登録されていないと判定された場合、処理はステップＳ１３２に進む。ステップＳ１３２において、説明必要性判定部１３３は、一般的な非所有者のユーザ向けの操作説明が必要であると設定する。ステップＳ１３２の処理終了後、説明必要性判定処理が終了され、図４のステップＳ１０３に戻り、ステップＳ１０４以降の処理が実行される。
【００８４】
以上のように、予め登録されたユーザ情報（登録情報１４１）に基づいて、操作説明の必要性を判定し、設定を行うことにより、車両操作支援装置１００は、各ユーザに対して必要な説明だけを適切に行うことができる。つまり、車両操作支援装置１００は、各ユーザの搭乗回数や前回搭乗時からの時間等の情報に基づいて、よりユーザに適した操作支援を行うことができる。また、車両操作支援装置１００は、例えば、「所有者」、「所有車種」、または「操作履歴」等のその他の情報に基づいて、よりユーザに適した操作支援を行うこともできる。
【００８５】
つまり、車両操作支援装置１００は、ユーザの不慣れな操作を抑制することができる。これにより、操作支援を受けるユーザは、より容易に車両を操作することができる。
る。
【００８６】
なお、さらに、操作説明が必要か否かをユーザに確認するようにしてもよい。また、例えば外部環境やユーザの状態等に応じて、操作説明の内容が変更される（選択される）ようにしてもよい。
【００８７】
図６は、本発明を適用した車両操作支援装置の他の構成例を示すブロック図である。
【００８８】
図６に示される車両操作支援装置２００は、基本的に図１の車両操作支援装置１００と同様の構成を有するが、図１の制御部１１１の代わりに制御部２１１を有する。
【００８９】
制御部２１１は、機能ブロックとして、図１の制御部１１１が有する機能ブロックである撮像制御部１３１乃至登録情報更新部１３５の他に、さらに、説明確認部２２１、説明内容選択部２２２、外部環境取得部２３１、車両状態取得部２３２、車両位置取得部２３３、およびユーザ状態取得部２３４を有する。
【００９０】
説明確認部２２１は、例えば入力部１２１や出力部１２２を制御し、説明必要性判定部１３３において実施する必要があると設定された説明を行うか否かを例えばユーザに確認する。なお、説明確認部２２１による確認は、ユーザ以外に対して行うようにしてもよい。
【００９１】
説明内容選択部２２２は、外部環境取得部２３１乃至ユーザ状態取得部２３４より供給される各種情報に基づいて、実施する必要があると設定された説明の中からさらに、内容の選択を行う。
【００９２】
外部環境取得部２３１は、例えば入力部１２１等を制御して、外部環境に関する情報を取得する。車両状態取得部２３２は、例えば入力部１２１等を制御して、車両状態に関する情報を取得する。車両位置取得部２３３は、例えば入力部１２１等を制御して、車両位置に関する情報を取得する。ユーザ状態取得部２３４は、例えば撮像制御部１３１により取得されたユーザの撮像画像に基づいて、ユーザ状態に関する情報を取得する。外部環境取得部２３１乃至ユーザ状態取得部２３４は、それぞれ、取得した情報を説明内容選択部２２２に供給する。
【００９３】
次に、説明内容およびその選択について説明する。
【００９４】
図７は、説明の内容例を説明する図である。操作説明の内容としては、例えば「ドアの開閉方法」や「ドアガラスの開閉方法」等、図７に示される表２５１の項目がある。もちろん、これ以外の事項について説明を行うようにしてもよいし、表２５１の項目の一部が省略されるようにしてもよい。
【００９５】
説明内容選択部２２２は、外部環境取得部２３１乃至ユーザ状態取得部２３４より供給される各種情報に基づいて、この表２５１に示される各内容のうち、いずれを説明するかを選択する。
【００９６】
図８は、車両状態に基づく説明内容の選択例を説明する図である。車両状態取得部２３２において取得される車両状態の内容としては、図８Ａの表２６１に示されるように、例えば、「エンジン状態」、「シフトポジション」、および「車速」等がある。車両状態取得部２３２は、例えば入力部１２１の各種センサを制御する等して、これらの車両状態に関する情報を取得し、説明内容選択部２２２に供給する。
【００９７】
もちろん、表２６１の項目以外の内容が含まれるようにしてもよいし、表２６１の項目の一部が省略されるようにしてもよい。
【００９８】
このような車両状態の各内容に基づいて説明内容の選択が行われる。例えば、車両の状態が、「エンジン停止時」であるか、「エンジン動作時」であるか、または「車両故障時」であるかによって、説明内容は、図８Ｂの表２６２のように選択される。表２６２において白丸は、各車両状態によって選択される内容を示している。例えば、車両状態が「エンジン停止時」である場合においては、「ドアの開閉方法」や「シートの取り扱い方法」等が選択される。このように各車両状態に対して説明内容の選択パターンが予め決定されており、説明内容選択部２２２は、その選択パターンに従って、車両状態取得部２３２より供給される車両状態に応じた説明内容の選択を行う。この選択された内容の説明が、操作説明部１３４によって行われる。
【００９９】
もちろん、各車両状態に対して、表２６２の例以外の選択パターンが適用されてもよい。
【０１００】
図９は、車両位置若しくは移動経路に基づく説明内容の選択例を説明する図である。車両位置取得部２３３において取得される車両位置若しくは移動経路の内容としては、図９Ａの表２７１に示されるように、例えば、「駐車場」、「ガソリンスタンド」、および「一般道経由」等がある。車両位置取得部２３３は、例えば、入力部１２１の各種センサを制御したり、RAM１１３や記憶部１２３からナビゲーション機能により得られる情報を取得したりして、これらの車両状態に関する情報を取得し、説明内容選択部２２２に供給する。
【０１０１】
もちろん、表２７１の項目以外の内容が含まれるようにしてもよいし、表２７１の項目の一部が省略されるようにしてもよい。
【０１０２】
このような車両位置若しくは移動経路の各内容に基づいて説明内容の選択が行われる。例えば、車両位置が「駐車場」であるか、「駐車場ゲート」であるか、「ガソリンスタンド」であるか、「ドライブスルー」であるか、「一般道」であるか、若しくは「高速道」であるかによって、または、移動経路が「一般道経由」であるか、若しくは「高速道経由」であるかによって、説明内容は、図９Ｂの表２７２のように選択される。表２７２において白丸は、車両位置若しくは移動経路によって選択される内容を示している。例えば、車両位置が「駐車場」である場合においては、「ドアの開閉方法」や「シートの取り扱い方法」等が選択される。このように各車両位置若しくは移動経路に対して説明内容の選択パターンが予め決定されており、説明内容選択部２２２は、その選択パターンに従って、車両位置取得部２３３より供給される車両位置若しくは移動経路に応じた説明内容の選択を行う。この選択された内容の説明が、操作説明部１３４によって行われる。
【０１０３】
もちろん、各車両位置若しくは移動経路に対して、表２７２の例以外の選択パターンが適用されてもよい。
【０１０４】
図１０は、ユーザ状態に基づく説明内容の選択例を説明する図である。ユーザ状態取得部２３４において取得されるユーザ状態の内容としては、図１０Ａの表２８１に示されるように、例えば、「座席位置」、「顔向き／視線」、および「年齢」等がある。ユーザ状態取得部２３４は、例えば、入力部１２１の各種センサを制御したり、撮像制御部１３１により得られたユーザの画像を解析したり、RAM１１３や記憶部１２３に登録されているユーザに関する登録情報を取得したりして、これらのユーザの状態に関する情報を取得し、説明内容選択部２２２に供給する。
【０１０５】
もちろん、表２８１の項目以外の内容が含まれるようにしてもよいし、表２８１の項目の一部が省略されるようにしてもよい。
【０１０６】
このようなユーザ状態の各内容に基づいて説明内容の選択が行われる。例えば、ユーザの「座席位置」が「運転席」であるか、「助手席」であるか、若しくは「後部座席」であるかによって、説明内容は、図１０Ｂの表２８２のように選択される。表２８２において白丸は、ユーザ状態によって選択される内容を示している。例えば、ユーザの「座席位置」が「運転席」である場合においては、「ドアの開閉方法」、「ドアガラスの開閉方法」、「シートの取り扱い方法」、および「ハンドル、ミラーの調整方法」等が選択される。このように各ユーザ状態に対して説明内容の選択パターンが予め決定されており、説明内容選択部２２２は、その選択パターンに従って、ユーザ状態取得部２３４より供給されるユーザ状態に応じた説明内容の選択を行う。この選択された内容の説明が、操作説明部１３４によって行われる。
【０１０７】
もちろん、各ユーザ状態に対して、表２８２の例以外の選択パターンが適用されてもよい。
【０１０８】
図１１は、外部環境に基づく説明内容の選択例を説明する図である。外部環境取得部２３１において取得される外部環境の内容としては、図１１Ａの表２９１に示されるように、例えば、「天候」、「明るさ」、および「気温」等がある。外部環境取得部２３１は、例えば、入力部１２１の各種センサを制御する等して、これらの外部環境に関する情報を取得し、説明内容選択部２２２に供給する。
【０１０９】
もちろん、表２９１の項目以外の内容が含まれるようにしてもよいし、表２９１の項目の一部が省略されるようにしてもよい。
【０１１０】
このような外部環境の各内容に基づいて説明内容の選択が行われる。例えば、「天候」が「晴」であるか、「雨や雪」であるか、若しくは「霧」であるかによって、「明るさ」が「明るい」か、若しくは「暗いか」によって、「気温」が「高い」か、「快適」か、若しくは「低い」かによって、または、「路面」の状態が「乾燥」しているか、「湿潤」であるか、「積雪」であるかによって、説明内容は、図１１Ｂの表２９２のように選択される。表２９２において白丸は、外部環境によって選択される内容を示している。例えば、「天候」が「雨か雪」である場合においては、「ワイパーのスイッチ類の取り扱い方法」等が選択され、例えば、「天候」が「霧」である場合においては、「フォグランプのスイッチ類の取り扱い方法」等が選択される。このように各外部環境に対して説明内容の選択パターンが予め決定されており、説明内容選択部２２２は、その選択パターンに従って、外部環境取得部２３１より供給される外部環境に応じた説明内容の選択を行う。この選択された内容の説明が、操作説明部１３４によって行われる。
【０１１１】
もちろん、各ユーザ状態に対して、表２９２の例以外の選択パターンが適用されてもよい。
【０１１２】
以上のような説明の確認や内容の選択を行う場合の操作支援処理の流れの例を、図１２のフローチャートを参照して説明する。
【０１１３】
操作支援処理が開始されると、ステップＳ２０１乃至ステップＳ２０４の各処理が、図４のステップＳ１０１乃至ステップＳ１０４の場合と同様に実行される。
【０１１４】
すなわち、ステップＳ２０１において撮像制御部１３１はユーザ情報を取得し、ステップＳ２０２においてユーザ認証部１３２はユーザの認証を行い、ステップＳ２０３において説明必要性判定部１３３はユーザに応じた説明必要性判定を行う。なお、この説明必要性判定処理の詳細は、図５を参照して説明した場合と同様であるので、その説明を省略する。
【０１１５】
ステップＳ２０４において、操作説明部１３４は、説明必要性判定処理の結果に基づいて、操作方法の説明が必要であるか否かを判定する。
【０１１６】
説明の必要性があると判定された場合、処理はステップＳ２０５に進む。ステップＳ２０５において、説明確認部２２１は、操作説明を行うか否かをユーザに確認する説明確認処理を行う。ステップＳ２０６において、説明確認部２２１は、ステップＳ２０５の処理結果（確認結果）に基づいて、操作方法を説明するか否かを判定する。説明すると判定された場合、処理はステップＳ２０７に進む。
【０１１７】
ステップＳ２０７において、説明内容選択部２２２、並びに、外部環境取得部２３１乃至ユーザ状態取得部２３４は、各種情報に基づいて、状況に応じた説明内容の選択を行う説明内容選択処理を行う。
【０１１８】
ステップＳ２０８において、操作説明部１３４は、以上の処理により説明すると設定された内容について操作説明を行う。ステップＳ２０８の処理が終了すると処理はステップＳ２０９に進む。
【０１１９】
また、ステップＳ２０４において操作方法の説明が必要でないと判定された場合、または、ステップＳ２０６において操作方法を説明しないと判定された場合、処理はステップＳ２０９に進む。
【０１２０】
ステップＳ２０９において、登録情報更新部１３５は、図４のステップＳ１０６の場合と同様に、登録情報１４１の内容を適宜更新する。ステップＳ２０９の処理終了後、操作支援処理が終了される。
【０１２１】
次に、図１３のフローチャートを参照して、図１２のステップＳ２０５において実行される説明確認処理の流れの例を説明する。
【０１２２】
説明確認処理が開始されると、説明確認部２２１は、ステップＳ２２１において、例えば、出力部１２２のモニタやスピーカ等を制御して操作説明の内容や操作説明の可否確認を促すメッセージをユーザに提示し、入力部１２１のボタンやタッチパネル等を制御してユーザ指示を受け付ける等して、操作説明の可否をユーザに確認する。
【０１２３】
ステップＳ２２２において、説明確認部２２１は、ステップＳ２２１の処理により入力部１２１において受け付けられたユーザ指示等に基づいて、操作説明の実行を指示されたか否かを判定する。ユーザが操作説明について賛成し、説明の実行を指示したと判定された場合、処理はステップＳ２２３に進む。ステップＳ２２３において、説明確認部２２１は、操作説明を行うと設定する。ステップＳ２２３の処理が終了すると、図１２のステップＳ２０５に戻り、ステップＳ２０６以降の処理が実行される。
【０１２４】
また、ステップＳ２２２において、ユーザが操作説明について反対し、操作説明の実行を指示していないと判定された場合、処理はステップＳ２２４に進む。ステップＳ２２４において、説明確認部２２１は、操作説明を行わないと設定する。ステップＳ２２４の処理が終了すると、図１２のステップＳ２０５に戻り、ステップＳ２０６以降の処理が実行される。
【０１２５】
次に、図１４のフローチャートを参照して、図１２のステップＳ２０７において実行される説明内容選択処理の流れの例を説明する。
【０１２６】
説明内容選択処理が開始されると、ステップＳ２４１において、車両状態取得部２３２は車両状態に関する情報を取得する。ステップＳ２４２において、説明内容選択部２２２は、ステップＳ２４１において取得された車両状態に基づいて、説明内容を選択する。
【０１２７】
ステップＳ２４３において、車両位置取得部２３３は車両位置若しくは移動経路に関する情報を取得する。ステップＳ２４４において、説明内容選択部２２２は、ステップＳ２４３において取得された車両位置若しくは移動経路に基づいて、説明内容を選択する。
【０１２８】
ステップＳ２４５において、ユーザ状態取得部２３４はユーザ状態に関する情報を取得する。ステップＳ２４６において、説明内容選択部２２２は、ステップＳ２４５において取得されたユーザ状態に基づいて、説明内容を選択する。
【０１２９】
ステップＳ２４７において、外部環境取得部２３１は外部環境に関する情報を取得する。ステップＳ２４８において、説明内容選択部２２２は、ステップＳ２４７において取得された外部環境に基づいて、説明内容を選択する。
【０１３０】
ステップＳ２４８の処理が終了すると、図１２のステップＳ２０７に戻り、ステップＳ２０８以降の処理が実行される。
【０１３１】
以上のように、車両操作支援装置２００は、図１の車両操作支援装置１００と同様に、予め登録されたユーザ情報（登録情報１４１）に基づいて、操作説明の必要性を判定し、設定を行うことにより、よりユーザに適した操作支援を行うことができ、ユーザの不慣れな操作をより抑制することができる。これにより、操作支援を受けるユーザは、より容易に車両を操作することができる。
【０１３２】
また、車両操作支援装置２００は、ユーザに操作説明の可否を確認することができるので、ユーザの判断に基づいて操作説明を行うことができる。例えば、ユーザが長期間車両に搭乗していなくても車両の操作方法を熟知している場合がある。ユーザが把握している内容について説明が改めて行われると、ユーザにとってその説明が不要なだけでなく、ユーザに不快感を与えてしまう恐れがある。車両操作支援装置２００は、上述したように説明の可否をユーザに確認し、ユーザが不要と判断した内容についての説明を省略することができるので、ユーザに不快感を与えてしまうような事態の発生を抑制することができる。
【０１３３】
さらに、車両操作支援装置２００は、外部環境、車両状態、車両位置や移動経路、またはユーザ状態等の各種情報に基づいて説明内容の選択を行うことができる。これにより、車両操作支援装置２００は、状況に応じてより適切な説明を行うことが出来る。換言するに、車両操作支援装置２００は、この内容選択によって、現在の状況において不要な説明を省略することができる。つまり、車両操作支援装置２００は、不要な説明を行うことによってユーザに不快感を与えてしまうような事態の発生を抑制することができる。
【０１３４】
なお、以上においては、車両を操作するユーザに対してその車両の操作についての説明を行うことにより、車両操作の支援を行う装置について説明したが、これに限らず、車両以外の装置の操作を支援する支援装置であってもよい。つまり、本発明は、任意の装置を操作するユーザに対して、その装置の操作の支援する支援装置に適用することができる。
【０１３５】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図１５に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０１３６】
図１５において、パーソナルコンピュータ４００のCPU４０１は、ROM４０２に記憶されているプログラム、または記憶部４１３からRAM４０３にロードされたプログラムに従って各種の処理を実行する。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１３７】
CPU４０１、ROM４０２、およびRAM４０３は、バス４０４を介して相互に接続されている。このバス４０４にはまた、入出力インタフェース４１０も接続されている。
【０１３８】
入出力インタフェース４１０には、キーボード、マウスなどよりなる入力部４１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部４１２、ハードディスクなどより構成される記憶部４１３、モデムなどより構成される通信部４１４が接続されている。通信部４１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０１３９】
入出力インタフェース４１０にはまた、必要に応じてドライブ４１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４１３にインストールされる。
【０１４０】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１４１】
この記録媒体は、例えば、図１５に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア４２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM４０２や、記憶部４１３に含まれるハードディスクなどで構成される。
【０１４２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４３】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４４】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表わすものである。
【０１４５】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１４６】
１００ 車両操作支援装置
１１１ 制御部
１３１ 撮像制御部
１３２ ユーザ認証部
１３３ 説明必要性判定部
１３４ 操作説明部
１３５ 登録情報更新部
１４１ 登録情報
２２１ 説明確認部
２２２ 説明内容選択部
２３１ 外部環境取得部
２３２ 車両状態取得部
２３３ 車両位置取得部
２３４ ユーザ状態取得部
【技術分野】
【０００１】
本発明は、操作支援装置および方法、並びにプログラムに関し、特に、よりユーザに適した操作支援を行うことができるようにした操作支援装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、例えば自動車等の車両を操作するユーザに対して、案内や通知を行う等の支援を行う支援装置がある（例えば、特許文献１参照）。
【０００３】
例えば、特許文献１においては、車両の操作対象が乗員によって操作された場合に、その操作状態から乗員の焦りを検出し、焦りが感じられる場合は操作支援を行うという装置が提案されている。
【先行技術文献】
【非特許文献】
【０００４】
【特許文献１】特開２００８−１９５２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法の場合、車両の操作対象が操作され、不慣れな操作が検出されて初めて操作支援が行われるので、乗員が一旦操作にとまどってからでないと操作支援を行うことができない恐れがあった。つまり、この操作支援は操作内容に基づいて行われるものであり、乗員個人の事情に基づいて行われるものでなかった。
【０００６】
本発明は、このような状況に鑑みて提案されたものであり、ユーザ認証を行うことにより、操作内容以外のユーザ情報も考慮して、よりユーザに適した操作支援を行うことができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面は、所定の装置のユーザを撮像する撮像手段と、ユーザ毎の情報を記憶する記憶手段と、前記撮像手段による撮像により得られた前記ユーザの画像、および、前記記憶手段により記憶されている前記ユーザ毎の情報に基づいて、前記ユーザの認証を行う認証手段と、前記認証手段による認証結果に基づいて、前記ユーザに対して前記装置の操作に関する説明を行う必要があるか否かを判定する判定手段と、前記判定手段により前記説明が必要と判定された場合、前記説明を行う説明手段とを備える操作支援装置である。
【０００８】
本発明の第１の側面においては、所定の装置のユーザが撮像され、ユーザ毎の情報が記憶され、撮像により得られたユーザの画像、および、記憶されているユーザ毎の情報に基づいて、ユーザの認証が行われ、認証結果に基づいて、ユーザに対して装置の操作に関する説明を行う必要があるか否かが判定され、説明が必要と判定された場合、説明が行われる。
【０００９】
従って、よりユーザに適した操作支援を行うことができる。
【００１０】
この撮像手段は、例えば、撮像部により構成され、記憶手段は、例えば、記憶部により構成され、認証手段は、例えば、ユーザ認証部により構成され、判定手段は、例えば、説明必要性判定部により構成され、説明手段は、例えば、操作説明部により構成される。
【００１１】
前記判定手段は、前記撮像手段により撮像された前記ユーザが初めて前記装置を利用する場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定することができる。
【００１２】
また、前記判定手段は、前記撮像手段により撮像された前記ユーザが所定の期間以上、前記装置を利用していない場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定することができる。
【００１３】
さらに、前記判定手段は、前記撮像手段により撮像された前記ユーザが未実施の操作が存在する場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定することができる。
【００１４】
また、前記判定手段は、前記撮像手段により撮像された前記ユーザが前記装置の所有者でない場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定することができる。
【００１５】
さらに、前記判定手段は、前記撮像手段により撮像された前記ユーザが所有する装置の操作方法と、前記装置の操作方法が異なる場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定することができる。
【００１６】
これらにより、よりユーザに適した操作支援を行うことができる。
【００１７】
前記判定手段により説明を行う必要があると判定された説明に含まれる複数の内容の中から、説明を行う内容を状況に応じて選択する選択手段をさらに備えることができる。
【００１８】
これにより、状況に応じて、よりユーザに適した操作支援を行うことができる。
【００１９】
選択手段は、例えば、説明内容選択部により構成される。
【００２０】
前記装置の状態に関する情報を取得する装置状態取得手段をさらに備え、前記選択手段は、前記装置状態取得手段により取得された前記装置の状態に関する情報に基づいて、前記説明を行う内容を選択することができる。
【００２１】
これにより、装置の状態に応じて、よりユーザに適した操作支援を行うことができる。
【００２２】
装置状態取得手段は、例えば、車両状態取得部により構成される。
【００２３】
前記装置の位置または移動経路に関する情報を取得する位置取得手段をさらに備え、前記選択手段は、前記位置取得手段により取得された前記装置の位置または移動経路に関する情報に基づいて、前記説明を行う内容を選択することができる。
【００２４】
これにより、装置の位置または移動経路に応じて、よりユーザに適した操作支援を行うことができる。
【００２５】
位置取得手段は、例えば、車両位置取得部により構成される。
【００２６】
前記ユーザの状態に関する情報を取得するユーザ状態取得手段をさらに備え、前記選択手段は、前記ユーザ状態取得手段により取得された前記ユーザの状態に関する情報に基づいて、前記説明を行う内容を選択することができる。
【００２７】
これにより、ユーザの状態に応じて、よりユーザに適した操作支援を行うことができる。
【００２８】
ユーザ状態取得手段は、例えば、ユーザ状態取得部により構成される。
【００２９】
前記装置の外部環境に関する情報を取得する外部環境取得手段をさらに備え、前記選択手段は、前記外部環境取得手段により取得された前記装置の外部環境に関する情報に基づいて、前記説明を行う内容を選択することができる。
【００３０】
これにより、外部環境に応じて、よりユーザに適した操作支援を行うことができる。
【００３１】
外部環境取得手段は、例えば、外部環境取得部により構成される。
【００３２】
前記判定手段により必要と判定された前記説明を行うか否かを確認する確認手段をさらに備えることができる。
【００３３】
これにより、ユーザに不快感を与えてしまうような事態の発生を抑制することができる。
【００３４】
確認手段は、例えば、説明確認部により構成される。
【００３５】
本発明の一側面はまた、撮像手段が、所定の装置のユーザを撮像し、認証手段が、撮像により得られた前記ユーザの画像、および、記憶手段により記憶されているユーザ毎の情報に基づいて、前記ユーザの認証を行い、判定手段が、認証結果に基づいて、前記ユーザに対して前記装置の操作に関する説明を行う必要があるか否かを判定し、説明手段が、前記説明が必要と判定された場合、前記説明を行う操作支援方法である。
【００３６】
従って、よりユーザに適した操作支援を行うことができる。
【００３７】
本発明の一側面はさらに、コンピュータを、所定の装置のユーザを撮像する撮像手段と、ユーザ毎の情報を記憶する記憶手段と、前記撮像手段による撮像により得られた前記ユーザの画像、および、前記記憶手段により記憶されている前記ユーザ毎の情報に基づいて、前記ユーザの認証を行う認証手段と、前記認証手段による認証結果に基づいて、前記ユーザに対して前記装置の操作に関する説明を行う必要があるか否かを判定する判定手段と、前記判定手段により前記説明が必要だと判定された場合、前記説明を行う説明手段として機能させるためのプログラムである。
【００３８】
従って、よりユーザに適した操作支援を行うことができる。
【発明の効果】
【００３９】
本発明によれば、操作を支援することができる。特に、よりユーザに適した操作支援を行うことができる。
【図面の簡単な説明】
【００４０】
【図１】本発明を適用した車両操作支援装置の構成例を示すブロック図である。
【図２】車両操作支援装置の設置例を説明する図である。
【図３】登録情報の内容例を説明する図である。
【図４】操作支援処理の流れの例を説明するフローチャートである。
【図５】説明必要性判定処理の流れの例を説明するフローチャートである。
【図６】本発明を適用した車両操作支援装置の他の構成例を示すブロック図である。
【図７】説明の内容例を説明する図である。
【図８】車両状態に基づく説明内容の選択例を説明する図である。
【図９】車両位置若しくは移動経路に基づく説明内容の選択例を説明する図である。
【図１０】ユーザ状態に基づく説明内容の選択例を説明する図である。
【図１１】外部環境に基づく説明内容の選択例を説明する図である。
【図１２】操作支援処理の流れの、他の例を説明するフローチャートである。
【図１３】説明確認処理の流れの例を説明するフローチャートである。
【図１４】説明内容選択処理の流れの例を説明するフローチャートである。
【図１５】本発明を適用したパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための形態】
【００４１】
図１は、本発明を適用した車両操作支援装置の構成例を示すブロック図である。
【００４２】
図１に示される車両操作支援装置１００は、例えば自動車等の車両に搭載され、その車両を操作するユーザに対して情報提供等を行い、ユーザがより適切に操作を行うことが出来るように、ユーザの操作を支援する装置である。なお、この操作は、車両の運転操作だけでなく、例えば、照明、空調、またはナビゲーションシステム等の車両に搭載される設備の操作等も含むようにしてもよい。また、提供される情報は、操作に関するものであればどのようなものであってもよく、例えば、速度や温度等のデータ、操作方法や操作タイミング等の案内、または警告等を含むようにしてもよい。
【００４３】
車両操作支援装置１００は、図１に示されるように制御部１１１、ROM（Read Only Memory）１１２、RAM（Random Access Memory）１１３、入力部１２１、出力部１２２、記憶部１２３、通信部１２４、および撮像部１２５を有する。
【００４４】
制御部１１１は、例えば、図示せぬCPU（Central Processing Unit）等により構成されるマイクロコンピュータにより構成される。制御部１１１は、ROM１１２に記憶されているプログラム、または記憶部１２３からRAM１１３にロードされたプログラムに従って各種の処理を実行する。RAM１１３にはまた、制御部１１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００４５】
ROM１１２は、書き換え不可能な記憶領域を有し、例えば工場出荷時等に書き込まれたソフトウェアプログラムやデータを記憶する。RAM１１３は、書き換え可能な記憶領域を有し、実行中のソフトウェアプログラムや、処理中のデータを一時的に保持する。
【００４６】
入力部１２１は、例えば、ボタン、スイッチ、タッチパッド、マイクロホン等の、ユーザ操作や情報を受け付ける各種入力デバイスを有する。入力部１２１は、ユーザ操作や音声等の情報を受け付けると、その情報を制御部１１１に供給する。
【００４７】
出力部１２２は、例えばスピーカ、LED（Light Emitting Diode）、モニタ、または出力端子等の出力デバイスを有する。出力部１２２は、制御部１１１より供給される出力用の情報（例えば、データ、音声、または画像等）を、適切な出力デバイスを用いて出力する（音声出力や画像表示を含む）。
【００４８】
記憶部１２３は、例えばフラッシュメモリやハードディスク等のような、書き換え可能な不揮発性の記憶領域を有する。記憶部１２３は、例えば、予め登録されたユーザに関する情報を含む登録情報１４１を記憶し、その登録情報１４１を必要に応じて適宜、制御部１１１に供給する。
【００４９】
通信部１２４は、例えばモデム等の、所定の規格の通信インタフェースを有し、例えばインターネットやLAN（Local Area Network）を含む任意のネットワークを介しての、有線または無線の通信処理を行う。
【００５０】
撮像部１２５は、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等の所定の撮像素子を有し、被写体を撮像し、得られた画像データを制御部１１１に供給する。
【００５１】
制御部１１１は、入力部１２１乃至撮像部１２５を制御し、車両の操作を支援する情報をユーザに提供させる。制御部１１１は、例えば、機能ブロックとして、撮像制御部１３１、ユーザ認証部１３２、説明必要性判定部１３３、操作説明部１３４、および登録情報更新部１３５を有する。これらの機能ブロックは、制御部１１１がプログラムを実行する等して実現される機能を示す。
【００５２】
撮像制御部１３１は、撮像部１２５を制御し、車両操作支援装置１００が搭載される車両を操作するユーザを撮像させ、そのユーザの画像を生成させる。
【００５３】
ユーザ認証部１３２は、記憶部１２３に記憶されている登録情報１４１を参照し、撮像制御部１３１に制御されて生成された画像に含まれる被写体（ユーザ）の認証を行う。
【００５４】
説明必要性判定部１３３は、ユーザ認証部１３２によるユーザの認証結果に基づいて、説明の必要性を判定する。
【００５５】
操作説明部１３４は、例えば出力部１２２を制御して、説明必要性判定部１３３において説明の必要があると判定された操作説明を行う。
【００５６】
登録情報更新部１３５は、記憶部１２３に記憶されている登録情報１４１の更新を行う。
【００５７】
この車両操作支援装置１００は、例えば自動車のインスツルメントパネル内等、車両の任意の位置に設置される。また、例えば撮像部１２５や出力部１２２等、車両操作支援装置１００の一部の構成を、制御部１１１と情報の授受が可能な状態で別体として構成されるようにしてもよい。
【００５８】
図２は、車両操作支援装置１００の設置例を説明する図である。
【００５９】
図２Ａに示されるように、撮像部１２５は、例えば、車両操作支援装置１００が搭載される車両のステアリングホイール１５１に、そのステアリングホイール１５１を操作するユーザ（例えば車両の運転者）顔付近を撮像可能な姿勢で設置される。もちろん、例えば助手席付近や後部座席付近等、撮像部１２５がこれ以外の位置に設置されるようにしても良い。例えば、撮像部１２５が助手席や後部座席に位置するユーザを撮像することができるようにしてもよい。また、撮像部１２５が複数のカメラ等により構成されるようにし、複数の位置においてユーザを撮像するようにしてもよい。
【００６０】
また、出力部１２２として、図２Ｂに示されるように、「この車の給油口は左側です」等の音声案内を出力するスピーカ１６１が設けられるようにしてもよい。このスピーカ１６１は、例えば、車両の車室内の、スピーカ１６１より出力される音声をユーザが容易に聴取可能な所定の位置に設置される。
【００６１】
図３は、記憶部１２３に記憶される登録情報１４１の内容例を説明する図である。
【００６２】
図３に示されるように、登録情報１４１には、例えば、ドライバ、搭乗回数、前回搭乗時からの時間、所有者、所有車種、および操作履歴等の情報がユーザ（ドライバ）毎に管理される。
【００６３】
項目「ドライバ」は、予め登録された各ユーザの識別情報である。例えばユーザの顔画像等、ユーザを示す画像も登録される。項目「搭乗回数」はユーザがこれまでにこの車両に搭乗した回数を示す。項目「前回搭乗時からの時間」は、ユーザの前回搭乗時からの経過時間を示す。項目「所有者」は、ユーザがこの車両の所有者であるか否かを示す。項目「所有車種」は、ユーザが所有する車両の種類を示す。項目「所有者」および項目「所有車種」の各情報は、例えばユーザ登録時（項目「ドライバ」生成時）に登録される。
【００６４】
項目「操作履歴」は、ユーザの過去の操作内容を示す。例えば、車両の全操作可能項目（例えばＡ乃至Ｚ）が予めリスト化され、その操作可能項目のうちユーザが実行した項目の識別情報が項目「操作履歴」に反映される。
【００６５】
図３の例の場合、ドライバ「Ａさん」の搭乗回数は「２０回」であり、前回搭乗時からの経過時間は「１日」であり、「Ａさんは」この車両の所有者であり（YES）、所有車種は「AAA」であり、操作履歴は「A,B,・・・,Z」（すなわち全ての操作を実行済み）である。
【００６６】
なお、登録情報１４１は、少なくとも「搭乗回数」および「前回搭乗時からの時間」の項目を含んでいればよく、その他の項目は任意である。つまり登録情報１４１に上述した以外の項目が含まれるようにしてもよいし、「所有者」、「所有車種」、および「操作履歴」の項目の一部または全部が省略されるようにしてもよい。
【００６７】
次に、図１の車両操作支援装置１００により実行される操作支援処理の流れの例を図４のフローチャートを参照して説明する。
【００６８】
例えば、車両操作支援装置１００に電源が投入される等して、操作支援処理が開始されると、撮像制御部１３１は、ステップＳ１０１において、ユーザ情報を取得する。撮像制御部１３１は、例えば、撮像部１２５を制御してユーザ（例えばユーザの顔付近）を撮像させ、そのユーザの画像をユーザ情報として取得する。
【００６９】
ステップＳ１０２においてユーザ認証部１３２は、ステップＳ１０１において得られたユーザ情報（ユーザの画像）と、記憶部１２３に登録されている登録情報１４１とを用いて、ユーザの認証を行う。ステップＳ１０３において、説明必要性判定部１３３は、ユーザの認証結果に基づいて、ユーザに応じた説明必要性判定を行う。
【００７０】
ステップＳ１０４において、操作説明部１３４は、説明必要性判定処理の結果に基づいて、操作方法の説明が必要であるか否かを判定する。説明の必要性があると判定された場合、処理はステップＳ１０５に進む。ステップＳ１０５において、操作説明部１３４は、必要な操作説明を行う。ステップＳ１０５の処理終了後、処理はステップＳ１０６に進む。
また、ステップＳ１０４において操作方法の説明の必要がないと判定された場合、ステップＳ１０５の処理は省略され、処理はステップＳ１０６に進む。
【００７１】
ステップＳ１０６において、登録情報更新部１３５は、登録情報１４１の内容を適宜更新する。ステップＳ１０６の処理終了後、操作支援処理が終了される。
【００７２】
次に、図４のステップＳ１０３において実行される説明必要性判定処理の流れの例を図５のフローチャートを参照して説明する。
【００７３】
説明必要性判定処理が開始されると、ステップＳ１２１において、説明必要性判定部１３３は、登録情報１４１に基づいて、ユーザが初搭乗である（初めて利用する）か否かを判定する。例えば、撮像制御部１３１の制御により得られた撮像画像の被写体であるユーザが登録情報１４１に登録されておらず、このユーザが初搭乗であると判定された場合、処理はステップＳ１２２に進む。ステップＳ１２２において、説明必要性判定部１３３は、初搭乗のユーザ向けの操作説明が必要であると設定する。ステップＳ１２２の処理終了後、説明必要性判定処理が終了され、図４のステップＳ１０３に戻り、ステップＳ１０４以降の処理が実行される。
【００７４】
また、ステップＳ１２１において、例えば、撮像制御部１３１の制御により得られた撮像画像の被写体であるユーザが登録情報１４１に登録されており、初搭乗のユーザでないと判定された場合、処理はステップＳ１２３に進む。
【００７５】
ステップＳ１２３において、説明必要性判定部１３３は、登録情報１４１に基づいて、前回搭乗時（前回利用時）から所定の期間以上経過しているか否かを判定する。所定の期間以上経過していると判定された場合、処理はステップＳ１２４に進む。ステップＳ１２４において、説明必要性判定部１３３は、長期間未搭乗のユーザ向けの操作説明が必要であると設定する。ステップＳ１２４の処理終了後、説明必要性判定処理が終了され、図４のステップＳ１０３に戻り、ステップＳ１０４以降の処理が実行される。
【００７６】
また、ステップＳ１２３において、例えば、前回搭乗時から所定の期間以上経過していないと判定された場合、処理はステップＳ１２５に進む。
【００７７】
ステップＳ１２５において、説明必要性判定部１３３は、登録情報１４１に基づいて、実施したことのない操作が存在するか否かを判定する。例えば、登録情報１４１の項目「操作履歴」に登録されていない操作（未実施の操作）が存在し、ユーザが実施したことのない操作が存在すると判定された場合、処理はステップＳ１２６に進む。ステップＳ１２６において、説明必要性判定部１３３は、未実施の操作についての操作説明が必要であると設定する。ステップＳ１２６の処理終了後、説明必要性判定処理が終了され、図４のステップＳ１０３に戻り、ステップＳ１０４以降の処理が実行される。
【００７８】
また、ステップＳ１２５において、例えば、登録情報１４１の項目「操作履歴」に実施可能な操作が全て登録されており、ユーザが実施したことのない操作（未実施の操作）が存在しないと判定された場合、処理はステップＳ１２７に進む。
【００７９】
ステップＳ１２７において、説明必要性判定部１３３は、登録情報１４１に基づいて、ユーザが所有者でないか否かを判定する。例えば、登録情報１４１の項目「所有者」の値が「YES」であり、ユーザが所有者であると判定された場合、処理はステップＳ１２８に進む。ステップＳ１２８において、説明必要性判定部１３３は、操作説明が必要でないと設定する。ステップＳ１２８の処理終了後、説明必要性判定処理が終了され、図４のステップＳ１０３に戻り、ステップＳ１０４以降の処理が実行される。
【００８０】
また、ステップＳ１２７において、例えば、登録情報１４１の項目「所有者」の値が「NO」であり、ユーザが所有者でないと判定された場合、処理はステップＳ１２９に進む。ステップＳ１２９において、説明必要性判定部１３３は、登録情報１４１に基づいて、ユーザが所有する車が登録されているか否かを判定する。例えば登録情報１４１の項目「所有車種」に車種が登録されており、ユーザが所有する車が登録されていると判定された場合、処理はステップＳ１３０に進む。
【００８１】
ステップＳ１３０において、説明必要性判定部１３３は、登録情報１４１に基づいて、ユーザが所有する車と操作方法が異なるか否かを判定する。例えば、登録情報１４１の項目「所有車種」に登録されている車種が実施可能な操作と、この車両が実施可能な操作とが完全に一致し、ユーザが所有する車と操作方法が異ならないと判定された場合、ステップＳ１２８に戻り、それ以降の処理が繰り返される。
【００８２】
また、ステップＳ１３０において、例えば、登録情報１４１の項目「所有車種」に登録されている車種が実施可能な操作と、この車両が実施可能な操作とが完全に一致せず、ユーザが所有する車と操作方法が異なると判定された場合、処理は、ステップＳ１３１に進む。ステップＳ１３１において、説明必要性判定部１３３は、一致しない操作について操作説明が必要であると設定する。ステップＳ１３１の処理終了後、説明必要性判定処理が終了され、図４のステップＳ１０３に戻り、ステップＳ１０４以降の処理が実行される。
【００８３】
さらに、ステップＳ１２９において、ユーザが所有する車が登録されていないと判定された場合、処理はステップＳ１３２に進む。ステップＳ１３２において、説明必要性判定部１３３は、一般的な非所有者のユーザ向けの操作説明が必要であると設定する。ステップＳ１３２の処理終了後、説明必要性判定処理が終了され、図４のステップＳ１０３に戻り、ステップＳ１０４以降の処理が実行される。
【００８４】
以上のように、予め登録されたユーザ情報（登録情報１４１）に基づいて、操作説明の必要性を判定し、設定を行うことにより、車両操作支援装置１００は、各ユーザに対して必要な説明だけを適切に行うことができる。つまり、車両操作支援装置１００は、各ユーザの搭乗回数や前回搭乗時からの時間等の情報に基づいて、よりユーザに適した操作支援を行うことができる。また、車両操作支援装置１００は、例えば、「所有者」、「所有車種」、または「操作履歴」等のその他の情報に基づいて、よりユーザに適した操作支援を行うこともできる。
【００８５】
つまり、車両操作支援装置１００は、ユーザの不慣れな操作を抑制することができる。これにより、操作支援を受けるユーザは、より容易に車両を操作することができる。
る。
【００８６】
なお、さらに、操作説明が必要か否かをユーザに確認するようにしてもよい。また、例えば外部環境やユーザの状態等に応じて、操作説明の内容が変更される（選択される）ようにしてもよい。
【００８７】
図６は、本発明を適用した車両操作支援装置の他の構成例を示すブロック図である。
【００８８】
図６に示される車両操作支援装置２００は、基本的に図１の車両操作支援装置１００と同様の構成を有するが、図１の制御部１１１の代わりに制御部２１１を有する。
【００８９】
制御部２１１は、機能ブロックとして、図１の制御部１１１が有する機能ブロックである撮像制御部１３１乃至登録情報更新部１３５の他に、さらに、説明確認部２２１、説明内容選択部２２２、外部環境取得部２３１、車両状態取得部２３２、車両位置取得部２３３、およびユーザ状態取得部２３４を有する。
【００９０】
説明確認部２２１は、例えば入力部１２１や出力部１２２を制御し、説明必要性判定部１３３において実施する必要があると設定された説明を行うか否かを例えばユーザに確認する。なお、説明確認部２２１による確認は、ユーザ以外に対して行うようにしてもよい。
【００９１】
説明内容選択部２２２は、外部環境取得部２３１乃至ユーザ状態取得部２３４より供給される各種情報に基づいて、実施する必要があると設定された説明の中からさらに、内容の選択を行う。
【００９２】
外部環境取得部２３１は、例えば入力部１２１等を制御して、外部環境に関する情報を取得する。車両状態取得部２３２は、例えば入力部１２１等を制御して、車両状態に関する情報を取得する。車両位置取得部２３３は、例えば入力部１２１等を制御して、車両位置に関する情報を取得する。ユーザ状態取得部２３４は、例えば撮像制御部１３１により取得されたユーザの撮像画像に基づいて、ユーザ状態に関する情報を取得する。外部環境取得部２３１乃至ユーザ状態取得部２３４は、それぞれ、取得した情報を説明内容選択部２２２に供給する。
【００９３】
次に、説明内容およびその選択について説明する。
【００９４】
図７は、説明の内容例を説明する図である。操作説明の内容としては、例えば「ドアの開閉方法」や「ドアガラスの開閉方法」等、図７に示される表２５１の項目がある。もちろん、これ以外の事項について説明を行うようにしてもよいし、表２５１の項目の一部が省略されるようにしてもよい。
【００９５】
説明内容選択部２２２は、外部環境取得部２３１乃至ユーザ状態取得部２３４より供給される各種情報に基づいて、この表２５１に示される各内容のうち、いずれを説明するかを選択する。
【００９６】
図８は、車両状態に基づく説明内容の選択例を説明する図である。車両状態取得部２３２において取得される車両状態の内容としては、図８Ａの表２６１に示されるように、例えば、「エンジン状態」、「シフトポジション」、および「車速」等がある。車両状態取得部２３２は、例えば入力部１２１の各種センサを制御する等して、これらの車両状態に関する情報を取得し、説明内容選択部２２２に供給する。
【００９７】
もちろん、表２６１の項目以外の内容が含まれるようにしてもよいし、表２６１の項目の一部が省略されるようにしてもよい。
【００９８】
このような車両状態の各内容に基づいて説明内容の選択が行われる。例えば、車両の状態が、「エンジン停止時」であるか、「エンジン動作時」であるか、または「車両故障時」であるかによって、説明内容は、図８Ｂの表２６２のように選択される。表２６２において白丸は、各車両状態によって選択される内容を示している。例えば、車両状態が「エンジン停止時」である場合においては、「ドアの開閉方法」や「シートの取り扱い方法」等が選択される。このように各車両状態に対して説明内容の選択パターンが予め決定されており、説明内容選択部２２２は、その選択パターンに従って、車両状態取得部２３２より供給される車両状態に応じた説明内容の選択を行う。この選択された内容の説明が、操作説明部１３４によって行われる。
【００９９】
もちろん、各車両状態に対して、表２６２の例以外の選択パターンが適用されてもよい。
【０１００】
図９は、車両位置若しくは移動経路に基づく説明内容の選択例を説明する図である。車両位置取得部２３３において取得される車両位置若しくは移動経路の内容としては、図９Ａの表２７１に示されるように、例えば、「駐車場」、「ガソリンスタンド」、および「一般道経由」等がある。車両位置取得部２３３は、例えば、入力部１２１の各種センサを制御したり、RAM１１３や記憶部１２３からナビゲーション機能により得られる情報を取得したりして、これらの車両状態に関する情報を取得し、説明内容選択部２２２に供給する。
【０１０１】
もちろん、表２７１の項目以外の内容が含まれるようにしてもよいし、表２７１の項目の一部が省略されるようにしてもよい。
【０１０２】
このような車両位置若しくは移動経路の各内容に基づいて説明内容の選択が行われる。例えば、車両位置が「駐車場」であるか、「駐車場ゲート」であるか、「ガソリンスタンド」であるか、「ドライブスルー」であるか、「一般道」であるか、若しくは「高速道」であるかによって、または、移動経路が「一般道経由」であるか、若しくは「高速道経由」であるかによって、説明内容は、図９Ｂの表２７２のように選択される。表２７２において白丸は、車両位置若しくは移動経路によって選択される内容を示している。例えば、車両位置が「駐車場」である場合においては、「ドアの開閉方法」や「シートの取り扱い方法」等が選択される。このように各車両位置若しくは移動経路に対して説明内容の選択パターンが予め決定されており、説明内容選択部２２２は、その選択パターンに従って、車両位置取得部２３３より供給される車両位置若しくは移動経路に応じた説明内容の選択を行う。この選択された内容の説明が、操作説明部１３４によって行われる。
【０１０３】
もちろん、各車両位置若しくは移動経路に対して、表２７２の例以外の選択パターンが適用されてもよい。
【０１０４】
図１０は、ユーザ状態に基づく説明内容の選択例を説明する図である。ユーザ状態取得部２３４において取得されるユーザ状態の内容としては、図１０Ａの表２８１に示されるように、例えば、「座席位置」、「顔向き／視線」、および「年齢」等がある。ユーザ状態取得部２３４は、例えば、入力部１２１の各種センサを制御したり、撮像制御部１３１により得られたユーザの画像を解析したり、RAM１１３や記憶部１２３に登録されているユーザに関する登録情報を取得したりして、これらのユーザの状態に関する情報を取得し、説明内容選択部２２２に供給する。
【０１０５】
もちろん、表２８１の項目以外の内容が含まれるようにしてもよいし、表２８１の項目の一部が省略されるようにしてもよい。
【０１０６】
このようなユーザ状態の各内容に基づいて説明内容の選択が行われる。例えば、ユーザの「座席位置」が「運転席」であるか、「助手席」であるか、若しくは「後部座席」であるかによって、説明内容は、図１０Ｂの表２８２のように選択される。表２８２において白丸は、ユーザ状態によって選択される内容を示している。例えば、ユーザの「座席位置」が「運転席」である場合においては、「ドアの開閉方法」、「ドアガラスの開閉方法」、「シートの取り扱い方法」、および「ハンドル、ミラーの調整方法」等が選択される。このように各ユーザ状態に対して説明内容の選択パターンが予め決定されており、説明内容選択部２２２は、その選択パターンに従って、ユーザ状態取得部２３４より供給されるユーザ状態に応じた説明内容の選択を行う。この選択された内容の説明が、操作説明部１３４によって行われる。
【０１０７】
もちろん、各ユーザ状態に対して、表２８２の例以外の選択パターンが適用されてもよい。
【０１０８】
図１１は、外部環境に基づく説明内容の選択例を説明する図である。外部環境取得部２３１において取得される外部環境の内容としては、図１１Ａの表２９１に示されるように、例えば、「天候」、「明るさ」、および「気温」等がある。外部環境取得部２３１は、例えば、入力部１２１の各種センサを制御する等して、これらの外部環境に関する情報を取得し、説明内容選択部２２２に供給する。
【０１０９】
もちろん、表２９１の項目以外の内容が含まれるようにしてもよいし、表２９１の項目の一部が省略されるようにしてもよい。
【０１１０】
このような外部環境の各内容に基づいて説明内容の選択が行われる。例えば、「天候」が「晴」であるか、「雨や雪」であるか、若しくは「霧」であるかによって、「明るさ」が「明るい」か、若しくは「暗いか」によって、「気温」が「高い」か、「快適」か、若しくは「低い」かによって、または、「路面」の状態が「乾燥」しているか、「湿潤」であるか、「積雪」であるかによって、説明内容は、図１１Ｂの表２９２のように選択される。表２９２において白丸は、外部環境によって選択される内容を示している。例えば、「天候」が「雨か雪」である場合においては、「ワイパーのスイッチ類の取り扱い方法」等が選択され、例えば、「天候」が「霧」である場合においては、「フォグランプのスイッチ類の取り扱い方法」等が選択される。このように各外部環境に対して説明内容の選択パターンが予め決定されており、説明内容選択部２２２は、その選択パターンに従って、外部環境取得部２３１より供給される外部環境に応じた説明内容の選択を行う。この選択された内容の説明が、操作説明部１３４によって行われる。
【０１１１】
もちろん、各ユーザ状態に対して、表２９２の例以外の選択パターンが適用されてもよい。
【０１１２】
以上のような説明の確認や内容の選択を行う場合の操作支援処理の流れの例を、図１２のフローチャートを参照して説明する。
【０１１３】
操作支援処理が開始されると、ステップＳ２０１乃至ステップＳ２０４の各処理が、図４のステップＳ１０１乃至ステップＳ１０４の場合と同様に実行される。
【０１１４】
すなわち、ステップＳ２０１において撮像制御部１３１はユーザ情報を取得し、ステップＳ２０２においてユーザ認証部１３２はユーザの認証を行い、ステップＳ２０３において説明必要性判定部１３３はユーザに応じた説明必要性判定を行う。なお、この説明必要性判定処理の詳細は、図５を参照して説明した場合と同様であるので、その説明を省略する。
【０１１５】
ステップＳ２０４において、操作説明部１３４は、説明必要性判定処理の結果に基づいて、操作方法の説明が必要であるか否かを判定する。
【０１１６】
説明の必要性があると判定された場合、処理はステップＳ２０５に進む。ステップＳ２０５において、説明確認部２２１は、操作説明を行うか否かをユーザに確認する説明確認処理を行う。ステップＳ２０６において、説明確認部２２１は、ステップＳ２０５の処理結果（確認結果）に基づいて、操作方法を説明するか否かを判定する。説明すると判定された場合、処理はステップＳ２０７に進む。
【０１１７】
ステップＳ２０７において、説明内容選択部２２２、並びに、外部環境取得部２３１乃至ユーザ状態取得部２３４は、各種情報に基づいて、状況に応じた説明内容の選択を行う説明内容選択処理を行う。
【０１１８】
ステップＳ２０８において、操作説明部１３４は、以上の処理により説明すると設定された内容について操作説明を行う。ステップＳ２０８の処理が終了すると処理はステップＳ２０９に進む。
【０１１９】
また、ステップＳ２０４において操作方法の説明が必要でないと判定された場合、または、ステップＳ２０６において操作方法を説明しないと判定された場合、処理はステップＳ２０９に進む。
【０１２０】
ステップＳ２０９において、登録情報更新部１３５は、図４のステップＳ１０６の場合と同様に、登録情報１４１の内容を適宜更新する。ステップＳ２０９の処理終了後、操作支援処理が終了される。
【０１２１】
次に、図１３のフローチャートを参照して、図１２のステップＳ２０５において実行される説明確認処理の流れの例を説明する。
【０１２２】
説明確認処理が開始されると、説明確認部２２１は、ステップＳ２２１において、例えば、出力部１２２のモニタやスピーカ等を制御して操作説明の内容や操作説明の可否確認を促すメッセージをユーザに提示し、入力部１２１のボタンやタッチパネル等を制御してユーザ指示を受け付ける等して、操作説明の可否をユーザに確認する。
【０１２３】
ステップＳ２２２において、説明確認部２２１は、ステップＳ２２１の処理により入力部１２１において受け付けられたユーザ指示等に基づいて、操作説明の実行を指示されたか否かを判定する。ユーザが操作説明について賛成し、説明の実行を指示したと判定された場合、処理はステップＳ２２３に進む。ステップＳ２２３において、説明確認部２２１は、操作説明を行うと設定する。ステップＳ２２３の処理が終了すると、図１２のステップＳ２０５に戻り、ステップＳ２０６以降の処理が実行される。
【０１２４】
また、ステップＳ２２２において、ユーザが操作説明について反対し、操作説明の実行を指示していないと判定された場合、処理はステップＳ２２４に進む。ステップＳ２２４において、説明確認部２２１は、操作説明を行わないと設定する。ステップＳ２２４の処理が終了すると、図１２のステップＳ２０５に戻り、ステップＳ２０６以降の処理が実行される。
【０１２５】
次に、図１４のフローチャートを参照して、図１２のステップＳ２０７において実行される説明内容選択処理の流れの例を説明する。
【０１２６】
説明内容選択処理が開始されると、ステップＳ２４１において、車両状態取得部２３２は車両状態に関する情報を取得する。ステップＳ２４２において、説明内容選択部２２２は、ステップＳ２４１において取得された車両状態に基づいて、説明内容を選択する。
【０１２７】
ステップＳ２４３において、車両位置取得部２３３は車両位置若しくは移動経路に関する情報を取得する。ステップＳ２４４において、説明内容選択部２２２は、ステップＳ２４３において取得された車両位置若しくは移動経路に基づいて、説明内容を選択する。
【０１２８】
ステップＳ２４５において、ユーザ状態取得部２３４はユーザ状態に関する情報を取得する。ステップＳ２４６において、説明内容選択部２２２は、ステップＳ２４５において取得されたユーザ状態に基づいて、説明内容を選択する。
【０１２９】
ステップＳ２４７において、外部環境取得部２３１は外部環境に関する情報を取得する。ステップＳ２４８において、説明内容選択部２２２は、ステップＳ２４７において取得された外部環境に基づいて、説明内容を選択する。
【０１３０】
ステップＳ２４８の処理が終了すると、図１２のステップＳ２０７に戻り、ステップＳ２０８以降の処理が実行される。
【０１３１】
以上のように、車両操作支援装置２００は、図１の車両操作支援装置１００と同様に、予め登録されたユーザ情報（登録情報１４１）に基づいて、操作説明の必要性を判定し、設定を行うことにより、よりユーザに適した操作支援を行うことができ、ユーザの不慣れな操作をより抑制することができる。これにより、操作支援を受けるユーザは、より容易に車両を操作することができる。
【０１３２】
また、車両操作支援装置２００は、ユーザに操作説明の可否を確認することができるので、ユーザの判断に基づいて操作説明を行うことができる。例えば、ユーザが長期間車両に搭乗していなくても車両の操作方法を熟知している場合がある。ユーザが把握している内容について説明が改めて行われると、ユーザにとってその説明が不要なだけでなく、ユーザに不快感を与えてしまう恐れがある。車両操作支援装置２００は、上述したように説明の可否をユーザに確認し、ユーザが不要と判断した内容についての説明を省略することができるので、ユーザに不快感を与えてしまうような事態の発生を抑制することができる。
【０１３３】
さらに、車両操作支援装置２００は、外部環境、車両状態、車両位置や移動経路、またはユーザ状態等の各種情報に基づいて説明内容の選択を行うことができる。これにより、車両操作支援装置２００は、状況に応じてより適切な説明を行うことが出来る。換言するに、車両操作支援装置２００は、この内容選択によって、現在の状況において不要な説明を省略することができる。つまり、車両操作支援装置２００は、不要な説明を行うことによってユーザに不快感を与えてしまうような事態の発生を抑制することができる。
【０１３４】
なお、以上においては、車両を操作するユーザに対してその車両の操作についての説明を行うことにより、車両操作の支援を行う装置について説明したが、これに限らず、車両以外の装置の操作を支援する支援装置であってもよい。つまり、本発明は、任意の装置を操作するユーザに対して、その装置の操作の支援する支援装置に適用することができる。
【０１３５】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図１５に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０１３６】
図１５において、パーソナルコンピュータ４００のCPU４０１は、ROM４０２に記憶されているプログラム、または記憶部４１３からRAM４０３にロードされたプログラムに従って各種の処理を実行する。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１３７】
CPU４０１、ROM４０２、およびRAM４０３は、バス４０４を介して相互に接続されている。このバス４０４にはまた、入出力インタフェース４１０も接続されている。
【０１３８】
入出力インタフェース４１０には、キーボード、マウスなどよりなる入力部４１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部４１２、ハードディスクなどより構成される記憶部４１３、モデムなどより構成される通信部４１４が接続されている。通信部４１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０１３９】
入出力インタフェース４１０にはまた、必要に応じてドライブ４１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４１３にインストールされる。
【０１４０】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１４１】
この記録媒体は、例えば、図１５に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア４２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM４０２や、記憶部４１３に含まれるハードディスクなどで構成される。
【０１４２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４３】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４４】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表わすものである。
【０１４５】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１４６】
１００ 車両操作支援装置
１１１ 制御部
１３１ 撮像制御部
１３２ ユーザ認証部
１３３ 説明必要性判定部
１３４ 操作説明部
１３５ 登録情報更新部
１４１ 登録情報
２２１ 説明確認部
２２２ 説明内容選択部
２３１ 外部環境取得部
２３２ 車両状態取得部
２３３ 車両位置取得部
２３４ ユーザ状態取得部
【特許請求の範囲】
【請求項１】
所定の装置のユーザを撮像する撮像手段と、
ユーザ毎の情報を記憶する記憶手段と、
前記撮像手段による撮像により得られた前記ユーザの画像、および、前記記憶手段により記憶されている前記ユーザ毎の情報に基づいて、前記ユーザの認証を行う認証手段と、
前記認証手段による認証結果に基づいて、前記ユーザに対して前記装置の操作に関する説明を行う必要があるか否かを判定する判定手段と、
前記判定手段により前記説明が必要と判定された場合、前記説明を行う説明手段と
を備える操作支援装置。
【請求項２】
前記判定手段は、前記撮像手段により撮像された前記ユーザが初めて前記装置を利用する場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定する
請求項１に記載の操作支援装置。
【請求項３】
前記判定手段は、前記撮像手段により撮像された前記ユーザが所定の期間以上、前記装置を利用していない場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定する
請求項１に記載の操作支援装置。
【請求項４】
前記判定手段は、前記撮像手段により撮像された前記ユーザが未実施の操作が存在する場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定する
請求項１に記載の操作支援装置。
【請求項５】
前記判定手段は、前記撮像手段により撮像された前記ユーザが前記装置の所有者でない場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定する
請求項１に記載の操作支援装置。
【請求項６】
前記判定手段は、前記撮像手段により撮像された前記ユーザが所有する装置の操作方法と、前記装置の操作方法が異なる場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定する
請求項１に記載の操作支援装置。
【請求項７】
前記判定手段により説明を行う必要があると判定された説明に含まれる複数の内容の中から、説明を行う内容を状況に応じて選択する選択手段をさらに備える
請求項１に記載の操作支援装置。
【請求項８】
前記装置の状態に関する情報を取得する装置状態取得手段をさらに備え、
前記選択手段は、前記装置状態取得手段により取得された前記装置の状態に関する情報に基づいて、前記説明を行う内容を選択する
請求項７に記載の操作支援装置。
【請求項９】
前記装置の位置または移動経路に関する情報を取得する位置取得手段をさらに備え、
前記選択手段は、前記位置取得手段により取得された前記装置の位置または移動経路に関する情報に基づいて、前記説明を行う内容を選択する
請求項７に記載の操作支援装置。
【請求項１０】
前記ユーザの状態に関する情報を取得するユーザ状態取得手段をさらに備え、
前記選択手段は、前記ユーザ状態取得手段により取得された前記ユーザの状態に関する情報に基づいて、前記説明を行う内容を選択する
請求項７に記載の操作支援装置。
【請求項１１】
前記装置の外部環境に関する情報を取得する外部環境取得手段をさらに備え、
前記選択手段は、前記外部環境取得手段により取得された前記装置の外部環境に関する情報に基づいて、前記説明を行う内容を選択する
請求項７に記載の操作支援装置。
【請求項１２】
前記判定手段により必要と判定された前記説明を行うか否かを確認する確認手段をさらに備える
請求項１に記載の操作支援装置。
【請求項１３】
操作支援装置の操作支援方法であって、
前記操作支援装置の撮像手段は、所定の装置のユーザを撮像し、
前記操作支援装置の認証手段は、撮像により得られた前記ユーザの画像、および、記憶手段により記憶されているユーザ毎の情報に基づいて、前記ユーザの認証を行い、
前記操作支援装置の判定手段は、認証結果に基づいて、前記ユーザに対して前記装置の操作に関する説明を行う必要があるか否かを判定し、
前記操作支援装置の説明手段は、前記説明が必要と判定された場合、前記説明を行う
操作支援方法。
【請求項１４】
コンピュータを、
所定の装置のユーザを撮像する撮像手段と、
ユーザ毎の情報を記憶する記憶手段と、
前記撮像手段による撮像により得られた前記ユーザの画像、および、前記記憶手段により記憶されている前記ユーザ毎の情報に基づいて、前記ユーザの認証を行う認証手段と、
前記認証手段による認証結果に基づいて、前記ユーザに対して前記装置の操作に関する説明を行う必要があるか否かを判定する判定手段と、
前記判定手段により前記説明が必要と判定された場合、前記説明を行う説明手段
として機能させるためのプログラム。
【請求項１】
所定の装置のユーザを撮像する撮像手段と、
ユーザ毎の情報を記憶する記憶手段と、
前記撮像手段による撮像により得られた前記ユーザの画像、および、前記記憶手段により記憶されている前記ユーザ毎の情報に基づいて、前記ユーザの認証を行う認証手段と、
前記認証手段による認証結果に基づいて、前記ユーザに対して前記装置の操作に関する説明を行う必要があるか否かを判定する判定手段と、
前記判定手段により前記説明が必要と判定された場合、前記説明を行う説明手段と
を備える操作支援装置。
【請求項２】
前記判定手段は、前記撮像手段により撮像された前記ユーザが初めて前記装置を利用する場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定する
請求項１に記載の操作支援装置。
【請求項３】
前記判定手段は、前記撮像手段により撮像された前記ユーザが所定の期間以上、前記装置を利用していない場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定する
請求項１に記載の操作支援装置。
【請求項４】
前記判定手段は、前記撮像手段により撮像された前記ユーザが未実施の操作が存在する場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定する
請求項１に記載の操作支援装置。
【請求項５】
前記判定手段は、前記撮像手段により撮像された前記ユーザが前記装置の所有者でない場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定する
請求項１に記載の操作支援装置。
【請求項６】
前記判定手段は、前記撮像手段により撮像された前記ユーザが所有する装置の操作方法と、前記装置の操作方法が異なる場合、前記ユーザに対して前記装置の操作に関する説明を行う必要があると判定する
請求項１に記載の操作支援装置。
【請求項７】
前記判定手段により説明を行う必要があると判定された説明に含まれる複数の内容の中から、説明を行う内容を状況に応じて選択する選択手段をさらに備える
請求項１に記載の操作支援装置。
【請求項８】
前記装置の状態に関する情報を取得する装置状態取得手段をさらに備え、
前記選択手段は、前記装置状態取得手段により取得された前記装置の状態に関する情報に基づいて、前記説明を行う内容を選択する
請求項７に記載の操作支援装置。
【請求項９】
前記装置の位置または移動経路に関する情報を取得する位置取得手段をさらに備え、
前記選択手段は、前記位置取得手段により取得された前記装置の位置または移動経路に関する情報に基づいて、前記説明を行う内容を選択する
請求項７に記載の操作支援装置。
【請求項１０】
前記ユーザの状態に関する情報を取得するユーザ状態取得手段をさらに備え、
前記選択手段は、前記ユーザ状態取得手段により取得された前記ユーザの状態に関する情報に基づいて、前記説明を行う内容を選択する
請求項７に記載の操作支援装置。
【請求項１１】
前記装置の外部環境に関する情報を取得する外部環境取得手段をさらに備え、
前記選択手段は、前記外部環境取得手段により取得された前記装置の外部環境に関する情報に基づいて、前記説明を行う内容を選択する
請求項７に記載の操作支援装置。
【請求項１２】
前記判定手段により必要と判定された前記説明を行うか否かを確認する確認手段をさらに備える
請求項１に記載の操作支援装置。
【請求項１３】
操作支援装置の操作支援方法であって、
前記操作支援装置の撮像手段は、所定の装置のユーザを撮像し、
前記操作支援装置の認証手段は、撮像により得られた前記ユーザの画像、および、記憶手段により記憶されているユーザ毎の情報に基づいて、前記ユーザの認証を行い、
前記操作支援装置の判定手段は、認証結果に基づいて、前記ユーザに対して前記装置の操作に関する説明を行う必要があるか否かを判定し、
前記操作支援装置の説明手段は、前記説明が必要と判定された場合、前記説明を行う
操作支援方法。
【請求項１４】
コンピュータを、
所定の装置のユーザを撮像する撮像手段と、
ユーザ毎の情報を記憶する記憶手段と、
前記撮像手段による撮像により得られた前記ユーザの画像、および、前記記憶手段により記憶されている前記ユーザ毎の情報に基づいて、前記ユーザの認証を行う認証手段と、
前記認証手段による認証結果に基づいて、前記ユーザに対して前記装置の操作に関する説明を行う必要があるか否かを判定する判定手段と、
前記判定手段により前記説明が必要と判定された場合、前記説明を行う説明手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−２１１６１４（Ｐ２０１０−２１１６１４Ａ）
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願番号】特願２００９−５８２３０（Ｐ２００９−５８２３０）
【出願日】平成２１年３月１１日（２００９．３．１１）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願日】平成２１年３月１１日（２００９．３．１１）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]