顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム
【課題】 外乱光の存在や露光不足等のため鮮明な撮影画像が得られない場合に限り照明光源が点灯するようにした顔認識装置と、それを用いた自動車用ユーザーもてなしシステムとを提供する。
【解決手段】 自動車に取り付けられ、撮影視野内に存在する人物の顔を撮影する撮影装置１５と、ユーザー登録された人物の顔特徴情報をユーザ−特定情報と対応付けて記憶する顔登録部１７とを備え、撮影した顔画像の顔特徴情報と、顔登録部１７に登録された顔特徴情報とでユーザー認識処理を行ない、その認識結果を出力する。ユーザー認識に失敗した場合には、撮影視野内の人物の顔を照らす照明装置１６を点灯させて再度顔画像を撮影し、認証処理を行なう。
【解決手段】 自動車に取り付けられ、撮影視野内に存在する人物の顔を撮影する撮影装置１５と、ユーザー登録された人物の顔特徴情報をユーザ−特定情報と対応付けて記憶する顔登録部１７とを備え、撮影した顔画像の顔特徴情報と、顔登録部１７に登録された顔特徴情報とでユーザー認識処理を行ない、その認識結果を出力する。ユーザー認識に失敗した場合には、撮影視野内の人物の顔を照らす照明装置１６を点灯させて再度顔画像を撮影し、認証処理を行なう。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、自動車を利用するユーザーを認識するための顔認識装置と、それを用いて構成され、ユーザーの自動車への接近、乗車、運転、降車及び自動車からの離間、の少なくともいずれかにおいて、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませる（あるいはサービスする）ための自動車用ユーザーもてなしシステムに関する。
【背景技術】
【０００２】
【特許文献１】特開２００４−１４４５１２号公報
【０００３】
特許文献１には、自動車を利用するユーザーを認識するための顔認識装置として、可視外乱光によりユーザーの顔撮影画像が不鮮明化することを防止するために、赤外線光を補助照明光として用い、かつ、入射光学系に赤外線を選択通過させるフィルタを配置して顔画像を撮影することにより可視外乱光の影響を排除し、鮮明な撮影画像を得やすくするようにした装置が提案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記の装置は、撮影光量が十分確保できる昼間においても撮影時には赤外照明光源を常時点灯させなければならず不経済であり、車載バッテリー寿命にも影響しやすい問題がある。
【０００５】
本発明の課題は、外乱光の存在や露光不足等のため鮮明な撮影画像が得られない場合に限り照明光源が点灯するようにした顔認識装置と、それを用いた自動車用ユーザーもてなしシステムとを提供することにある。
【課題を解決するための手段及び作用・効果】
【０００６】
上記の課題を解決するために、本発明の顔認識装置は、
自動車の内部又は外部に取り付けられ、予め定められた視野内に存在する人物の顔を撮影する撮影装置と、
自動車のユーザーとして登録された人物の顔特徴情報をユーザ−特定情報と対応付けて記憶する顔登録部と、
撮影装置の視野内に存在する人物の顔を照らす照明装置と、
撮影装置が撮影した顔画像から顔特徴情報を取得し、該取得された顔特徴情報を顔登録部に登録された顔特徴情報と照合することによりユーザー認識処理を行なうユーザー認識手段と、
該ユーザー認識結果を出力するユーザー認識結果出力手段と、
照明装置が非点灯状態にて撮影された画像によるユーザー認識に失敗した場合に、照明装置を点灯させる照明制御手段と、を備えたことを特徴とする。
【０００７】
上記本発明の顔認識装置によると、照明装置が非点灯状態にて撮影された画像によるユーザー認識にユーザー認識手段が失敗した場合に照明装置を点灯させるようにしたから、ユーザー認識のための顔撮影時に、昼間等においても常時照明装置が点灯する不具合を効果的に解消することができる。
【０００８】
また、本発明の自動車用ユーザーもてなしシステムは、
上記本発明の顔認識装置と、
ユーザーの自動車への接近、乗車、運転又は車内での滞在、降車及び自動車からの離間、の少なくともいずれかにおいて、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なうもてなし動作部と、
登録ユーザーと、該登録ユーザー固毎に固有のもてなし動作部の動作内容を規定するもてなし動作情報とを互いに対応付けた形で記憶するもてなし動作情報記憶部と、
顔認識装置により認識された登録ユーザーに対応するもてなし動作情報をもてなし動作情報記憶部から読み出して、該もてなし動作情報に従いもてなし動作部の動作制御を行なうもてなし実行制御部と、を備えたことを特徴とする。
【０００９】
上記本発明の自動車用もてなしシステムによると、露光不足等のため鮮明な撮影画像が得られずユーザー認識に仮に失敗しても、その結果を受けて照明光を点灯することにより、次回はユーザー認識に好都合な鮮明度を有した顔画像を確実に得ることができる。その結果、もてなしの対象となるユーザーを確実に特定することができ、ひいてはそのユーザーに適合するもてなし処理を適格に実施することが可能となるので、自動車を利用するユーザーの満足感を高めることができる。
【００１０】
次に、撮影装置は、撮像素子として可視光域と赤外域との双方に顔撮影に必要な感度を有したものを使用することにより、視光と赤外光との双方による顔撮影が可能とされたものを使用できる。これにより、撮影光量が不足する夜間等においては、照明光源として不可視光である赤外光を用いるので、ユーザーが照明により眩惑されにくい利点がある。他方、昼間等においては、撮像素子の可視光域感度特性を利用して問題なく撮影が可能である。赤外線光源としては近赤外線光源を用いることが照明光源を安価に構成でき、また、照明強度も得やすい。さらに、可視光感度域の低波長側に隣接した近赤外域であれば、撮像素子の感度も比較的確保しやすい利点がある。
【００１１】
なお、照明光源としては、赤外光光源に替えて、可視光光源や紫外光光源を使用することも可能である。
【００１２】
次に、照明装置は、撮影装置の視野内に存在する顔を互いに異なる方向から照明するものを複数設けることが可能である。これにより、被写体となる人物の顔を複数の照明装置により均一に照らし出すことができ、照明を点灯させてから用いて行なうユーザー認識処理の認識精度を高めることができる。顔を均一な照度で照らす観点からは、（照明制御手段により）複数の照明装置を一括して点灯することが望ましいとも言える。しかし、ユーザー認識の失敗の原因が、撮影光軸に対して斜めから入射する強い外乱光により顔画像がつぶれてしまったことにある場合などでは、照明光を顔に均一に当てるよりも、外乱光による被写体上の照度分布の偏りを矯正した方が効果的な場合がある。
【００１３】
また、撮影装置の撮影画像に基づいて視野内に人物の顔が存在するか否かを判定する顔存在判定手段と、顔存在判定手段が顔存在と判定した場合に、撮影装置は照明装置を非点灯状態で一次顔撮影を行ない、ユーザー認識手段は当該非点灯状態での顔画像に基づいて一次ユーザー認識処理を行なうとともに、該一次ユーザー認識処理によるユーザー特定に失敗した場合に、照明制御手段により照明装置を点灯させ、その状態で撮影装置は照明装置を点灯状態で二次顔撮影を行ない、ユーザー認識手段は当該点灯状態での顔画像に基づいて二次ユーザー認識処理を行なうことができる。この構成によると、撮影された画像の中に顔が存在すると判定されたときのみ、ユーザー認識処理が実行されるようになるから、無駄なユーザー認識処理を行なわなくてすむ。また、一次ユーザー認識処理でユーザーの特定に失敗しても、照明装置点灯後に二次ユーザー認識処理が行なわれるから、ユーザーの特定を確実に行なえる。
【００１４】
また、この場合、照明装置を、撮影装置の視野内に存在する顔を互いに異なる方向から照明するものを複数設けるとともに、撮影装置による二次顔撮影と、ユーザー認識手段による二次ユーザー認識処理とを、点灯させる照明装置の種別を、照明方向が互いに異なるものとなるよう順次変更しながら繰り返し実行することができる。この構成によると、照明の向きが順次変わるので、適切な照明状態で二次顔画像を撮影することができ、顔検出を確実に行なうことができる。
【００１５】
次に、複数回の顔撮影により得られる各顔画像からの特徴情報を合成する特徴情報合成手段が設けられ、ユーザー認識手段は、該合成された特徴情報に基づいてユーザー認識を行なうことができる。合成された特徴情報を用いることで、顔画像を用いたユーザー認識を効率的に行うことが可能となる。
【００１６】
また、撮影装置による顔撮影と、該撮影された顔画像に基づくユーザー認識手段によるユーザー認識処理とを周期的に反復実行させるユーザー認識処理反復制御手段と、ユーザー認識手段がユーザー認識に一度成功した後、ユーザー認識処理のその後の反復過程においてユーザー認識に失敗した場合においても、当該失敗認識回数が予め定められた回数に到達するまではユーザー認識結果出力手段に該失敗認識結果を出力させないようにするユーザー認識結果出力制御手段とを備えることができる。照明状態は随時代わるので、それが原因で認識ＮＧ判定されることは適切でない。特に車室内のユーザー認識の場合には、ユーザーが頻繁に着座位置を変えることは考え難い。この構成によると、１回でもユーザー認識の成功があった場合には、予め定められた回数以内又は予め定められた期間内の失敗認識により認識ＮＧ判定としないようにされており、この判定に伴い実行される車両の各種アプリケーションを適切に動作させることができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態を添付の図面を用いて詳しく説明する。図１は、本発明の顔認識装置が組み込まれた自動車用制御システムの概念ブロック図である。この図の自動車用制御システム１は、撮影された人の顔画像によりユーザー認識を行なう本発明の顔認識装置１０と、認識されたユーザーに対応する各種制御を実行する乗員適応システムマスター装置（以下、マスター制御装置という）２０とが接続されて構成される。
【００１８】
まず、本実施形態における顔認識装置１０について説明する。
図１及び図２に示す顔認識装置１０は、自動車の内部又は外部に取り付けられ、予め定められた視野内に存在する人物の顔を撮影する撮影装置１５、撮影装置の視野内に存在する人物の顔を照らす照明装置１６、撮影装置１５の視野内の撮影対象（人）を検出する撮影対象検出部３１、及びこれらが接続された制御部（画像処理装置）１１とにより構成されている。
【００１９】
制御部１１は、自動車のユーザーとして登録された人物の顔特徴情報をユーザ−特定情報と対応付けて記憶する顔登録部１７を備え、撮影装置１５が撮影した顔画像から顔特徴情報を取得し、該取得された顔特徴情報を顔登録部１７に登録された顔特徴情報と照合することによりユーザー認識処理を行なうとともに、該ユーザー認識結果をマスター制御装置２０に出力する。具体的には、図２に示すように、制御部１１は、ＣＰＵ１２、ワークメモリを備えるＲＡＭ１３、各種プログラムを記憶するＲＯＭ１４を備えて構成されており、ＲＯＭ１４は、不揮発性メモリであるフラッシュＲＯＭであり、その一部記憶領域が顔登録部１７とされている。そして、制御部１１は撮影装置１５や照明装置１６に対し制御信号を出力している。この制御部１１は、ＲＯＭ１４に格納されたプログラムを実行することにより、ユーザー認識手段、ユーザー認識結果出力手段、照明制御手段、顔存在判定手段、特徴情報合成手段、ユーザー認識結果出力制御手段として機能する。
【００２０】
撮影対象検出部３１は、各撮影装置１５に対応して設けられ、それら撮影装置１５の撮影視野内に存在する撮影対象、又はその撮影視野内に接近する撮影対象を検出する近接センサである。本実施形態においては、車外撮影装置１５に対応する撮影対象検出部３１には、赤外線、高周波、超音波等を出力して測定域への侵入を感知する周知のものを採用することができる。また、車内撮影装置１５に対応する撮影対象検出部３１は、上記と同様の近接センサを採用することもできるし、座席に設けられる着座センサやドアの開閉操作に係る動作（例えばドアノブの把持）を検知するものであってもよい。
【００２１】
撮影装置１５は、図６に示すように、撮像素子として可視光域と赤外域の双方に顔撮影に必要な感度を有したものが使用され、可視光と赤外光との双方による顔撮影が可能とされている。図３Ａ及び図３Ｂに示すように、この撮影装置１５は、自動車の座席に着座するユーザーの顔を撮影する車内撮影装置１５ａ，１５ｂ，１５ｃと、ドアから搭乗してくる車外のユーザーの顔を撮影する車外撮影装置１５ｄ，１５ｅ，１５ｆとを備える。
【００２２】
車内撮影装置１５は車内の座席に対応して設けられ、それぞれが対応する座席に着座するユーザーの顔が撮影できるようそれぞれの撮影視野が定められている。ここでは、図３Ａに示すように、車内撮影装置１５ａは運転席の搭乗者（運転者）の顔を撮影するためにメータークラスター内又はメータークラスター上部に設けられ、車内撮影装置１５ｂは助手席の搭乗者の顔を撮影するために助手席前のダシュボード上部に設けられ，車内撮影装置１５ｃは後部座席の搭乗者の顔を撮影するために前席シート上部又はそのヘッドレストに設けられる。なお、後席用の撮像装置１５ｃには、シートが動いても撮影できる様、画角の広いものを使用している。
【００２３】
他方、車外撮影装置１５は、車両の各ドアに対応して設けられる。ここでは、ドア毎に複数の車外撮影装置１５が対応しており、図３Ｂに示すように、車外撮影装置１５ｄはフロントドア窓枠下端、車外撮影装置１５ｆはリアドア窓枠下端、車外撮影装置１５ｅはその間にある中央ピラーに設けられ、複数の撮影装置により、ドアに接近する搭乗者を撮影するように構成されている。なお、図３Ｂに示す車外撮影装置１５ｄ，１５ｅ，１５ｆは、助手席側のドア（助手席のドア１１０１及びスライドドア１１０２）に対応するものであるが、運転席にも同様に設けられている。また、バックドアに接近する搭乗者を撮影するために車外撮影装置１５ｇがバックドア窓枠下端に設けられている。なお、他にもドアがある場合には、同じように車外撮影装置を設けるようにすることができる。
【００２４】
照明装置１６は、照明光源として赤外線光源を、具体的には図５に示すような近赤外線光源を有するＬＥＤが使用されており、各撮影装置１５の撮影視野に対応して設けられている。例えば、運転席に対応する車内撮影装置１５ａの視野に対しては、車内撮影装置１６ａがドア窓枠下端に、車内撮影装置１６ｂがフロントピラーに、車内撮影装置１６ｃがメータカウルに、車内撮影装置１６ｄがセンターコンソール上部に、車内撮影装置１６ｅがセンターコンソール下部に、車内撮影装置１６ｆがマップランプ部に、それぞれ設けられている。このように、本発明においては、車内撮影装置１５に対応する照明装置１６を、該撮影装置１５の視野内に存在する顔を互いに異なる方向から照明できるように複数設けることができる。なお、助手席側及び後部座席側も同様に、複数設けることができる。また、車外撮影装置１５ｄ，１５ｅ，１５ｆに対しても、１又は複数の照明装置（図示なし）を設ける。なお、撮影装置１５の撮影視野に共通の空間が含まれている場合には、それら撮影装置１５に対し共有して使用される照明装置を設けてもよい。
【００２５】
また、制御部１１は、撮影装置１５が撮影した顔画像から顔特徴情報を取得し、該取得された顔特徴情報を顔登録部１７に登録された顔特徴情報と照合することによりユーザーを認識するユーザー認識プログラムをＲＯＭ１４に格納している。以下、このユーザー認識プログラムの流れを、図８に示すフローチャートを用いて説明する。
【００２６】
まず、Ｓ１０１にて、撮影対象検出部３１が撮影装置１５の撮影視野内において撮影対象（人）を検知したか否かを判定する。非検知の場合には本プログラムを終了する。検知している場合にはＳ１０２に進み、検知した撮影対象検出部３１に対応する撮影装置１５により、予め定められた撮影タイミングの到来に伴い順次行なう。このときの撮影は、照明装置１６を非点灯状態として行なう一次顔撮影である。撮影された画像は制御部１１に順次入力される。
【００２７】
なお、撮影装置１５による撮影は、対応する撮影対象検出部３１が撮影対象物を検知し続けている間、予め定められた撮像周期で繰り返し行なわれる。例えば、図７Ａに示すように１つの撮像周期に対し１回の撮影タイミングが到来する場合や、図７Ｂに示すように１つの撮像周期に対し複数回の撮影タイミングが到来する場合がある。本実施形態においては、図７Ａの場合を採用しているものとする。
【００２８】
Ｓ１０２に続いてＳ１０３では、入力されたその撮影画像に基づいて視野内に人物の顔が存在するか否かを制御部１１が判定し、顔が発見されるまでこれを繰り返す。顔の存在確認は、顔特徴情報を検出する周知のプログラムにおいて、顔と認められる部分が少しでも認められれば顔が存在するものとする。顔が存在すると判定されるとＳ１０４に進み、撮影された顔画像に基づいてユーザー認識処理を行なう。最初は、非点灯状態で撮影されるので一次ユーザー認識処理が行なわれる。Ｓ１０４では、複数回の顔撮影により得られる各顔画像からの特徴情報を合成し、合成された特徴情報に基づいてユーザー認識を行なう。具体的には、図９に示すように、まずＳ１０において、最近に撮影された予め定められた数の撮影画像を取得し、Ｓ２０において、それらの撮影画像を合成して顔認識に適する合成顔画像を作成する。そして、Ｓ３０にてその合成顔画像から特徴点（目や口といった器官）を抽出し、Ｓ４０にて抽出した特徴点に対し傾きや大きさを正規化した上で、その特徴点と顔登録部１７に記憶された顔特徴情報とマッチングさせることで顔認識を行なう。なお、この顔認識処理は予め定められた時間以内（例えば、１ｓｅｃ）で終了するものである。なお、この処理で顔認識できなかった撮影画像については、以降の処理において使用されないよう消去してもよい。
【００２９】
図８に戻る。Ｓ１０５では、Ｓ１０４の顔認識の結果、撮影された顔画像が登録されたユーザーの顔と一致するか否かを判定する。一致すれば、Ｓ１０６に進んで特定されたユーザーに係るユーザー特定情報をマスター制御装置２０に送信し、本プログラムを終了する。一致しなければ、Ｓ１０７に進む。
【００３０】
Ｓ１０７では、Ｓ１０４における顔認識処理が完了する十分な時間（例えば２ｓｅｃ）が経過したか否かを判定する。この予め定められた時間が経過していなければＳ１０４に戻る。経過していた場合にはＳ１０８に進み、照明装置１６を点灯させる。本実施形態においては、照明装置１６は、対応する撮影装置１５の視野内に存在する顔を互いに異なる方向から照明するものが複数設けられており、それら複数の照明装置１６が図７Ａに示すように一括して点灯する。これにより、被写体となる人物の顔を複数の照明装置により均一に照らし出すことができ、照明を点灯させてから用いて行なうユーザー認識処理の認識精度を高めることができる。なお、照明装置１６が、上記と同じように複数設けられた状態で、図７Ｂに示すように、照明方向が互いに異なるものとなるよう順次変更しながら点灯・消灯をさせてもよい。なお、この場合、二次顔撮影は、それぞれの照明装置１６の点灯状態に合わせて行われる。これにより、撮影される者の目への負担を低減する効果が生まれる。
【００３１】
照明装置１６が点灯状態となると、その点灯状態に応じて周期的に撮影装置１５による二次顔撮影が行なわれ、その撮影画像が制御部１１に入力され、再度顔認識処理を行なう。この二次顔撮影により得られた顔画像により行なわれる顔認識処理は二次ユーザー認識処理である。なお、上記の一次ユーザー認識処理と二次ユーザー認識処理とは同じ処理で行なわれるが、後者は照明装置１６を点灯させて撮影した撮影画像を用いるので、より認識し易くなっている。
【００３２】
Ｓ１０８にて照明装置１６が点灯すると、そこから予め定められた時間（例えば５ｓｅｃ）が経過するまで照明装置１６の点灯状態を継続し、予め定められた時間が経過してなおＳ１０４にて顔認識処理によるユーザー特定が完了しない場合にはＳ１１０に進み、顔認識ができなかったことをマスター制御装置２０に送信し、Ｓ１１１にて照明装置１６を消灯状態とした上で、本プログラムを終了する。なお、このプログラムは周期的に繰り返し実行される。
【００３３】
このプログラムによれば、露光不足等のため鮮明な撮影画像が得られずユーザー認識に仮に失敗しても、その結果を受けて照明光を点灯することにより、次回はユーザー認識に好都合な鮮明度を有した顔画像を確実に得ることができる。その結果、ユーザーを確実に特定することができる。また、失敗した場合にのみ照明光が点灯するので、無駄な点灯制御、点灯駆動がなされない利点もある。
【００３４】
なお、ユーザー認識プログラムは、図１０の流れのものであってもよい。このプログラムでは、撮影装置１５による顔撮影と、撮影された顔画像に基づくユーザー認識処理とを周期的に反復実行するとともに、ユーザー認識に一度成功した後、ユーザー認識処理のその後の反復過程においてユーザー認識に失敗した場合においても、当該失敗認識回数が予め定められた回数に到達するまでは該失敗認識結果を出力させないようにするものである。以下、図１０に示すユーザー認識プログラムの流れを説明する。
【００３５】
Ｓ２０１〜Ｓ２０５では上記図８のプログラムの（Ｓ１０１〜Ｓ１０５）と同一の処理が行なわれる。
【００３６】
Ｓ２０５では、Ｓ２０４の顔認識の結果、撮影された顔画像が登録されたユーザーの顔と一致するか否かを判定しており、一致すればＳ２０６に進む。Ｓ２０６では予め定められた制御部１１の予め定められた記憶領域に記憶される失敗認識回数ＮをＮ＝０にリセットする。そして、Ｓ２０７にて、過去に顔認識がなされたときに「１」がセットされる顔認識済みフラグＴをＴ＝１にセットして、Ｓ２０８で特定されたユーザーの特定ユーザー情報をマスター制御装置２０に送信し、本プログラムを終了する。
【００３７】
Ｓ２０５で、撮影された顔画像が登録されたユーザーの顔と一致しなかった場合にはければ、Ｓ２０９に進む。Ｓ２０９では、顔認識済みフラグＴが「１」であるか否かを判定し、「１」でない場合、即ち「０」である場合にはＳ２１３に進み、顔認識ができなかったことをマスター制御装置２０に送信して本プログラムを終了する。
【００３８】
Ｓ２０９で、顔認識済みフラグＴが「１」であった場合は、Ｓ２１０に進んで失敗認識回数ＮをＮ＝Ｎ＋１とする。Ｓ２１１では、Ｓ２１０の結果Ｎ＝３であるか否かを判定する。Ｎ＝３であった場合には、顔認識済みフラグＴをＴ＝０にセットしてＳ２１３に進み、顔認識ができなかったことをマスター制御装置２０に送信して本プログラムを終了する。Ｎ＝３ではない場合には、そのまま本プログラムを終了する。なお、このプログラムは周期的に繰り返し実行される。
【００３９】
このプログラムによれば、一度ユーザー認識がなされれば、予め定められた回数以内の失敗認識が合っても、これにより直ちに認識ＮＧ判定して、これを出力することはない。撮影対象への照明状態は対象姿勢・動作や環境光の状況に応じて随時代わるので、それが原因で認識ＮＧと認識ＯＫとが繰り返し出力されると、それをもとに制御を行なう側、本実施形態においてはマスター制御装置２０側の制御負荷が大きくなってしまうが、上記プログラムによれば、予め定められた回数の失敗認識では認識ＮＧ判定が外部に出力されないので、マスター制御装置２０側の制御負荷は低減される。
【００４０】
なお、ユーザー認識プログラムは、上記図８のプログラムのように、一次ユーザー認識処理と二次ユーザー認識処理とを実行し、かつ、上記図１０のプログラムのように、失敗認識回数が予め定められた回数に到達するまで失敗認識結果を出力させないようにプログラムが構成されていてもよい。これにより、上記プログラムの双方の効果を実現することが可能となる。
【００４１】
次に、顔認識装置１０を用いた自動車用制御システム１について説明する。
図１に示すように、マスター制御装置２０自身のＲＯＭに記憶された動作制御アプリケーションを実行することで、制御対象となる装置５１３，５４１，５１１，５１５等の動作を制御している。マスター制御装置２０は顔認識装置１０から入力されるユーザー認識結果（ユーザー特定情報）に応じてその制御内容を変更する。つまり、マスター制御装置２０は、認識したユーザーに応じた制御を実行する。
【００４２】
例えば、認識したユーザーに応じて、マスター制御装置２０がドアロック装置５１３を制御することができる。具体的には、車外撮影装置１５で撮影された顔画像により、顔認識装置１０側が予め登録されたユーザーであると認識した場合に、ドアロックを解除する制御を行なうことができる。
【００４３】
また、認識したユーザーに応じて、マスター制御装置２０がスライドドア装置５４１を制御することができる。具体的には、車外撮影装置１５で撮影された顔画像により、顔認識装置１０側が予め登録されたユーザーであると認識した場合で、その認識されたユーザーが子供又は老人であった場合には、スライドドアを自動オープンする制御を行なうことができる。
【００４４】
また、認識したユーザーに応じて、マスター制御装置２０が室内イルミネーション装置５１１を制御することができる。具体的には、撮影装置（特に車内撮影装置）１５で撮影された顔画像により認識されたユーザーに応じて、該ユーザーに対応付けて予め登録された室内イルミネーションの設定に切り替える制御を行なうことができる。
【００４５】
また、認識したユーザーに応じて、マスター制御装置２０が音楽再生装置５１５を制御することができる。具体的には、撮影装置（特に車内撮影装置）１５で撮影された顔画像により認識されたユーザーに応じて、該ユーザーに対応付けて予め登録された音楽リストに従い、音楽再生装置の再生制御を行なうことができる。
【００４６】
次に、自動車用制御システム１の具体的な実施形態の一例を説明する。
図１１は、本発明の自動車用制御システム１の一実施形態である、自動車用もてなし情報提供システムの機能が組み込まれた自動車用ユーザーもてなしシステム（以下、単に「もてなしシステム」ともいう）１の概念ブロック図である。該もてなしシステム１は、種々のもてなし動作部５０２〜５１７，５３４，５４１，５４８，５４９，５５０，５５１，５５２，１００１Ｂが接続された第一のコンピュータからなるもてなし実行制御部３と、種々のセンサ・カメラ群５１８〜５２８が接続された第二のコンピュータからなるもてなし意思決定部２とからなる自動車側搭載部１００Ａを、その要部とする形で構成されている。第一のコンピュータと第二のコンピュータは、いずれもＣＰＵ，ＲＯＭ，ＲＡＭを備え、ＲＯＭに格納された制御ソフトウェアを、ＲＡＭをワークメモリとして実行することにより、後述の種々の機能を実現する。
【００４７】
なお、もてなし意思決定部２の一部には、図１に示す上記実施形態における顔認識装置１０が顔認識部１０として組み込まれており、同じく上記実施形態におけるマスター制御部２０は、当該顔認識部１０を除くもてなし意思決定部２及びもてなし実行制御部３に相当するものである。顔認識部１０を含むもてなし意思決定部２には、ユーザー認識用に次のようなセンサ・カメラ群が接続されている。
・車外用カメラ５１８（上記実施形態における車外撮影装置１５に相当する）：自動車に接近してくるユーザーの姿を撮影する。ユーザーの仕草や顔の表情などを静止画ないし動画として取得する。遠距離のユーザーを撮影する又はユーザーの顔部分のみを拡大して撮影するために、望遠レンズを用いた光学式ズーム方式や、撮影画像をデジタル的に拡大するデジタルズーム方式を併用することができる。
・顔カメラ５２１（上記実施形態における車内撮影装置１５に相当する）：着座したユーザーの顔の表情を撮影する。この実施形態においては、バックミラー等に取り付けられ、フロントグラス側から運転者を斜め上方から、シートに着座したユーザー（運転者）の顔を含む上半身を撮影するものとする。助手席側も同様にバックミラー等に取り付けられる。後部座席側は上記実施形態と同様に取り付けられる。取り付けられた顔カメラからは、それぞれに対応する座席の搭乗者の上半身を撮影できる。その撮影画像から顔部分の画像を切り出し、ユーザーの種々の表情を予め撮影して用意されたマスター画像と比較することにより、ユーザーの顔認証のみならず、人以外の荷重源が載置された場合と、人が着座した場合とを相互に区別でき、さらには、着座したユーザーの種々の表情の特定も可能である。
【００４８】
また、顔認識部１０を含むもてなし意思決定部２には、撮影装置１５の撮影領域内に存在する撮影対象、又は当該撮影領域内に接近する撮影対象を検出する次のようなセンサ・カメラ群が接続されている。このセンサ・カメラ群の撮影対象の検出が、一次顔撮影処理実行のトリガーとなる。
・着座センサ５２０（上記実施形態における撮影対象検出部３１に相当する）：ユーザーが座席に着座したか否かを検出する。自動車のシートに埋設される近接スイッチ等で構成することができる。なお、感圧センサを用いることもできる。この場合、感圧センサをシートに装着することで、シート上でのユーザーの動作を検出することも可能となる。
・ドアカーテシスイッチ５３７（上記実施形態における撮影対象検出部３１に相当する）：ドアの開閉を検知する。乗り込みシーン及び降車シーンへの移行を検出する、シーン推定情報取得手段として使用される。
【００４９】
なお、ユーザー側端末装置（携帯電話）１００に位置情報を取得するための周知のＧＰＳを設け、これも車両側のＧＰＳ５３３とともに撮影対象検出部として機能する。
【００５０】
また、その他にもセンサ・カメラ５１９、５２２〜５２８を有し、これらはシーン推定情報取得手段や生体状態検出部として機能する。
【００５１】
もてなし意思決定部２には、エンジン始動を検知するためのイグニッションスイッチ５３８の出力も分岐入力されている。また、車内の明るさレベルを検出する照度センサ５３９、車内の音響レベルを測定する音圧センサ５４０も、もてなし意思決定部２に同様に接続されている。
【００５２】
また、もてなし意思決定部２には、タッチパネル（図２０に示すカーナビゲーション装置５３４のモニターに重ねられたタッチパネルで兼用してもよい：この場合は、入力情報はもてなし実行制御部３からもてなし意思決定部２に転送される）等で構成された入力部５２９と、もてなし動作情報記憶部として機能するハードディスクドライブ等で構成された記憶装置５３５とが接続されている。
【００５３】
なお、ユーザー認識処理の方法は、図１に示す上記実施形態と同様である。撮影対象検出部３１に相当するセンサが撮影対象（人）を検出している状態で、一次顔撮影又は二次顔撮影がなされ、撮影された画像から得られる顔特徴情報とユーザー登録部（顔登録部）１７（もてなし意思決定部２のＲＯＭの一部記憶領域：図１１参照）に記憶された顔特徴情報（マスター情報）とを比較し、ユーザー特定を行う。
【００５４】
ここで、自動車用もてなし情報提供システム１におけるユーザー登録について説明する。自動車のユーザーは、ユーザー登録部１７（例えば、もてなし意思決定部２のＲＯＭ（書換えが可能となるように、フラッシュＲＯＭで構成しておくことが望ましい）：上記した実施形態における顔登録部を有する）や記憶装置５３５に予め登録しておくことができる。このユーザー登録部１７には、図１２に示すように、各ユーザー名（あるいは、ユーザーＩＤ（及び暗証番号）と、その顔画像（ユーザー認識用のマスター顔画像）とを互いに対応付けられた形で登録されている。
【００５５】
具体的には、図１１のモニター５３６（カーナビゲーション装置５３４のモニターで代用してもよい）に、表情特定が可能な正面画像が得られるよう撮影角度に関する注意事項を表示した上で、座席に着座したユーザーを撮影装置１５（ここでは車内撮影装置１５を用いる）により撮影する。そして、撮影されたユーザー認識用のマスター顔画像をユーザー名（ユーザー特定情報）に対応付けてユーザー登録部１７に記憶する。なお、撮影した顔画像により正しく顔認識処理が行なえるか確認するステップを設け、正しく認識されなかった場合には画像で再度撮影を行なうようにしてもよい。
【００５６】
また、本実施形態においては、図１２に示すように、各ユーザー名に対し、各ユーザーの年齢、性別、さらに性格種別（図１６参照）を互いに対応付けて登録する。性格種別は、前述のごとく、ユーザーによる自動車使用継続中に、特定の操作部における操作履歴情報として取得・蓄積し、その蓄積された操作履歴情報に基づいて推定されるものである。しかし、自動車の使用開始直後など、操作履歴情報の蓄積が不十分な場合、あるいは、操作履歴情報を敢えて収集せずに性格種別を推定したい場合は、次のように、性格種別情報又は該性格種別情報を特定するために必要な情報を、ユーザー自身により入力させ、その入力結果に基づいて性格種別を決定するようにしてもよい。
【００５７】
まず、図２２に示すように、図１１のモニター５３６（カーナビゲーション装置５３４のモニターで代用してもよい）に性格種別を表示し、ユーザーは自分に適合する性格種別を選んで、入力部５２９からこれを入力する方法がある。ここでは、入力部はモニター５３６に重ねられたタッチパネルであり、表示形成された選択ボタン５２９Ｂに触れて選択入力を行なう。他方、図２３に示すように、性格種別を直接入力させる代わりに、性格種別判定のためのアンケート入力を行なう方法もある。この場合、モニター５３６にアンケートの質問事項を表示し、ユーザーは回答選択肢から回答を選ぶ形で答える（ここでは、画面上の選択ボタンで選択肢を構成し、この上に重ねられたタッチパネルの該当位置に触れて選択入力を行なう）。全ての質問に回答することで、その回答の組み合わせに応じて予め定められた性格種別群から、１つのものが一義的に決定されるようになっている。
【００５８】
そして、ユーザー名（ユーザー特定情報）を含めたユーザー登録入力は、上記の入力部５２９からなされ、撮影された顔画像及び決定された性格種別とともにユーザー登録部１７に記憶される。また、これらの一連の入力は、携帯電話１から行なうことも可能であり、この場合は、その入力情報を無線により自動車側に転送する。また、ユーザーが自動車購入する際に、入力部５２９か専用の入力ツールを用いて、ディーラー側で事前にユーザー登録入力を済ませておく方法もある。この場合、ユーザー名と、年齢、性別も合わせて入力し、ユーザー登録情報として互いに対応付けて記憶しておく。また、前述のように、そのユーザーの性格種別が特定できた場合は性格コードも合わせて登録しておく。これにより、登録ユーザーの認証を顔画像の撮影（一次顔撮影及び二次顔撮影）により行ない、登録ユーザーに応じたもてなし動作を実行できるとともに、実行されるもてなし動作の実行・選択に、認識されたユーザーの性格種別を反映させることも可能となる。
【００５９】
上記のもてなしシステム１においては、ユーザーが自動車に向けて接近し、該自動車に乗り込み、該自動車を運転し又は車内にて滞在し、その後、降車に至るまでのユーザーの自動車利用に係る一連の動作が、予め定められた複数のシーンに区切られる。そして、区切られた複数のシーン毎に、もてなし動作部５０２〜５１７，５３４，５４１，５４８，５４９，５５０，５５１，５５２，１００１Ｂが、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なう。本実施形態では、車外への音波発生装置としてホーン５０２、ブザー５０３が接続されている。また、照明装置（ランプ類）としては、ヘッドランプ５０４（ビームをハイとローとで切り替え可）、フォグランプ５０５、ハザードランプ５０６、テールランプ５０７、コーナリングランプ５０８、バックアップランプ５０９、ストップランプ５１０、室内照明５１１及び床下ランプ５１２が接続されている。また、他のもてなし動作部として、エアコン５１４、カーオーディオシステム（カーステレオ）５１５、電動シート５１６及びサイドミラーやバックミラーなどの角度調整用の駆動部５１７、カーナビゲーション装置５３４、ドア開閉用のアシスト機構（以下、ドアアシスト機構という）５４１、車内に芳香剤を放出する芳香発生部５４８、重度体調不良（重度の眠気を催した状態を含む）に対する気付け・覚醒用のアンモニア発生部５４９（運転用のハンドルの中心部に、運転者の顔付近を目指す形でアンモニアを噴出するように取り付けられている）、運転者に注意喚起したり眠気から覚醒させるためのシートバイブレータ５５０（シート底部あるいは背もたれ部に埋設される）、ハンドルバイブレータ５５１（ハンドルの軸に取り付けられている）、車内騒音低減用のノイズキャンセラ１００１Ｂが接続されている。また、もてなし実行制御部３には、自動車位置情報を取得するためのＧＰＳ５３３（カーナビゲーション装置５３４においても使用する）、ブレーキセンサ５３０、車速センサ５３１及び加速度センサ５３２も接続されている。
【００６０】
なお、シーンは、本実施形態では、接近シーンＳＣＮ１、乗り込みシーンＳＣＮ２、準備シーンＳＣＮ３、運転／滞在シーンＳＣＮ４、降車シーンＳＣＮ５及び離脱シーンＳＣＮ６が、時系列的にこの順序で設定されている。
【００６１】
接近シーンＳＣＮ１の特定は、後述するごとく、ユーザー側端末装置１００のＧＰＳと、自動車側のＧＰＳ５３３とにより、自動車と、当該自動車外に位置するユーザーとの相対距離及びその変化を特定し、ユーザーが自動車へ予め定められた距離以内に接近したことを検出することで行なう。乗り込みシーンＳＣＮ２と降車シーンＳＣＮ５とは、ドアカーテシスイッチ５３７のドア開検知出力に基づいて特定する。ただし、単にドア開の情報だけでは乗り込みシーンか降車シーンかを特定できないから、もてなし意思決定部２のＲＡＭ内に、現在シーン特定情報を記憶保持する現在シーン特定情報記憶手段として、シーンフラグを設けることで対応するようにしている。シーンフラグは各シーンに対応した個別シーンフラグを有し、時系列順に到来順序が定められた各シーンが到来する毎に、そのシーンに対応するフラグを「到来（フラグ値１）」に設定してゆく。シーンフラグにて、値が「１」になっているフラグの最新のもの（「１」フラグ列の末尾のもの）を特定することで、現在どのシーンまで進んできているかを特定できる。
【００６２】
また、準備シーンＳＣＮ３と運転／滞在シーンＳＣＮ４とは、いずれも前述の着座センサがユーザーを検出しているか否かにより特定するが、自動車に乗り込んでイグニッションスイッチ５３８がＯＮになるまでの間、あるいは、イグニッションスイッチ５３８がＯＮにならず、かつ一定以上の着座継続が確認されるまでの間は、準備シーンとして認識される。また、離脱シーンＳＣＮ６への移行は、降車シーンＳＣＮ５のあと、ドアカーテシスイッチ５３７がドア閉を検知することで識別される。
【００６３】
各シーンにおけるもてなし動作は、対応するもてなし動作部の動作制御アプリケーションにより制御される。もてなし意思決定部２側で決定されたテーマがもてなし実行制御部３に通知され、そこで対応するシーンの動作制御アプリケーションが読み出され、実行される。動作制御アプリケーションの実行に際しては、各もてなしテーマのもとで統括されている複数のもてなし動作に対し、ユーザーが当該もてなしを指向する度合いに応じて採用の優先順位が予め定められており、各シーンにおいて、用意された前記複数のもてなし動作のうち、その優先順位の高いものから選択される。
【００６４】
上記構成を有するもてなしシステムにおいては、もてなし意思決定部２の顔検出部１０がユーザー特定情報を出力し、その内容に応じてどのもてなし動作部にどのようなもてなし動作をさせるかを決定して、これをもてなし実行制御部３に指令する。もてなし実行制御部３は、これを受けて、対応するもてなし動作部５０２〜５１７，５３４，５４１，５４８，５４９，５５０，５５１，５５２，１００１Ｂにもてなし動作を実行させる。すなわち、もてなし意思決定部２ともてなし実行制御部３とが互いに協働して、取得されたユーザー生体状態情報の内容に応じてもてなし動作部５０２〜５１７，５３４，５４１，５４８，５４９，５５０，５５１，５５２，１００１Ｂの動作内容を変化させる機能を実現する。
【００６５】
以下、もてなし実行制御部３により制御される上記もてなし動作部５０２〜５１７，５３４，５４１，５４８，５４９，５５０，５５１，５５２，１００１Ｂのうち、上記顔認識部１０から出力されるユーザー特定情報に基づいて制御がなされるものについて説明を行なう。
【００６６】
まず、もてなし動作としての室内イルミネーションについて説明する。室内イルミネーションにおいては、車両側に登録された登録ユーザー毎に室内イルミネーション用の点灯条件（点灯色・点灯パターン等）が設定されており、顔認識部１０によりユーザーが認識されると、予め定められたシーンの到来とともに、認識された登録ユーザーに応じた点灯条件で室内照明５１１が点灯する。
【００６７】
図１３は、室内照明５１１の構成例を示すもので、各々固有の照明色からなる複数の照明部（本実施形態では、赤色系照明５１１ｒ、アンバー系照明５１１ｕ、黄色系照明５１１ｙ、白色系照明５１１ｗ及び青色系照明５１１ｂからなる）を有する。これらの照明は、もてなし意思決定部２からもてなし実行制御部３を経て入力される制御指令信号を受けて、指定されたものが選択され、制御指令信号に従い種々の点灯パターンにて点灯制御される。点灯色及び点灯パターンは、登録ユーザー毎に設定されている。図１４は、登録ユーザー毎に設定された点灯設定条件（点灯制御データ）の構成例を示すもので、もてなし意思決定部２のＲＯＭに記憶されている。例えば、ユーザー１（図１２参照）に対しては、赤色系照明５１１ｒを選んでこれをフラッシュ点灯（最初のみ、その後連続点灯）させ、ユーザー２に対しては、アンバー系照明５１１ｕを選んでフェードイン点灯させる、などであるが、これはほんの一例である。室内照明５１１の点灯は、顔認識部１０によりユーザーが認識されると該顔認識部１０からユーザー特定情報が出力され、もてなし意思決定部２がその入力を受けてユーザーが特定され、さらに、対応するシーンが到来すると、もてなし意思決定部２が、入力されたユーザー特定情報に対応する点灯設定条件をＲＯＭから読み出し、もてなし実行制御部３に点灯指令信号及び点灯条件信号を出力し、もてなし実行制御部３が、対応する照明部に対し制御指令信号を出力して、照明部を発光させる。なお、ＲＯＭに記憶される点灯条件設定は、入力部５２９からの入力操作によってカスタマイズ可能であり、点灯色・点灯パターンをユーザーが任意に設定することができる。
【００６８】
なお、照明装置は、白熱電球、蛍光ランプのほか、発光ダイオードを用いた照明装置を採用することも可能である。特に、赤色系（Ｒ）、緑色系（Ｇ）、青色系（Ｂ）の３原色の発光ダイオードを組み合わせることにより、種々の照明光を簡単に得ることができる。各色の発光ダイオードへの指令信号の入力波形は、各々独立に変更可能であり、３つの発光色の混合比率に応じて任意の色調の照明色が得られ、また、色調や照明強度パターンを、指令信号の入力波形に応じて経時的に変化させることも可能である。なお、各色の発光ダイオードの発光強度は、ＰＷＭ制御する方式のほか、連続点灯を前提として駆動電流レベルにて調整することも可能であるし、これとＰＷＭ制御とを組み合わせた方式も可能である。
【００６９】
この室内イルミネーションを接近シーンＳＣＮ１において実行することで、自動車に搭載された照明類を、ユーザーの出迎え演出のためのイルミネーションとして使用でき、気分高揚等に寄与する。また、夜間や暗所の場合、駐車した自動車の位置を把握しやすくできる利点も生ずる。離脱シーンＳＣＮ６において実行してユーザーの見送り演出を行なってもよい。
【００７０】
また、この場合、照明装置として、自動車に搭載された自動車外空間を照らし出す他の照明装置（ヘッドランプ、テールランプ、ハザードランプなど：室内灯も窓ガラスを介した漏洩により車外空間を照らすことができる）を加えてもよい。これにより上記効果は一層増す。
【００７１】
また、もてなし制御部は、既に動作中のもてなし動作部の停止、及び未動作のもてなし動作部の動作開始の少なくともいずれか（当然、両者の組み合わせである、複数のもてなし動作部間での動作切り替えを含む）に基づいて、ユーザーと自動車との距離に応じてもてなし動作部の動作内容を段階的に変化させるものとして構成することができる。この構成によると、ユーザーと自動車との距離に適当な閾値を定め、閾値を超えて自動車に接近するかどうかの簡単な判定で、個々のもてなし動作部を単位として動作／非動作の切り替え制御を行なえばよく、上記効果を比較的軽量な制御処理にて達成することが可能となる。
【００７２】
上記照明装置によるもてなし動作の場合、もてなし制御部は、ユーザー側端末装置と自動車との距離が縮小するにつれて総照明光量が減少するように、照明装置を点灯制御することができる。自動車までの距離が長い段階では、総照明光量を高めることで、自動車までの間に障害物等の異常がないかをより把握しやすくすることができ、自動車までの距離が縮小すれば、必要な視野だけを照らすことができるよう、光量を少なくすれば無駄を排除することができ、また照明光源に接近したときの眩しさも軽減できる。
【００７３】
次に、もてなし動作として機能するカーオーディオシステムについて説明する。カーオーディオシステムでは、車両側に記憶される選曲実績記憶部４０３（図１１の記憶装置５３５内に形成されている）の実績を反映する形で再生される曲に係るもてなし用曲演奏制御情報（曲特定情報やボリュームコントロール情報を含む）が作成され、予め定められたシーンの到来とともに、該曲リストに基づいて曲の再生が実行される。
【００７４】
図１５は、カーオーディオシステム５１５の構成例を示すもので、もてなし意思決定部２からもてなし実行制御部３を経て、曲特定情報やボリュームコントロール情報などの、もてなし用曲演奏制御情報が入力されるインターフェース部５１５ａを有する。該カーオーディオシステム５１５も、本発明の自動車用もてなし情報提供装置の機能出力部分を担うものであり、インターフェース部５１５ａには、デジタルオーディオ制御部５１５ｅ、多数の音楽ソースデータを格納した音楽ソースデータベース５１５ｂ，５１５ｃ（前者はＭＰＥＧ３データベース、後者はＭＩＤＩデータベース）が接続されている。曲特定情報に基づいて選曲された音楽ソースデータはインターフェース部５１５ａを経てオーディオ制御部５１５ｅに送られ、そこでデジタル音楽波形データにデコードされ、アナログ変換部５１５ｆでアナログ変換された後、プリアンプ５１５ｇ及びパワーアンプ５１５ｈを経て、もてなし用曲演奏制御情報により指定されたボリュームにてスピーカー５１５ｊから出力される。
【００７５】
図１６は、上記音楽ソースデータのデータベース構造の一例を示すもので、曲ＩＤ、曲名及びジャンルコードと対応付ける形で音楽ソースデータ（ＭＰＥＧ３又はＭＩＤＩ）が記憶されている。また、各音楽ソースデータには、その音楽を選曲したユーザーについて推定される性格種別（「活動的」、「おとなしい」、「楽観的」、「悲観的」、「頽廃的」、「体育会系」、「知性派」、「ロマンチスト」など）を示す性格コード、同じく年齢コード（「幼児」、「子供」、「ジュニア」、「青年」、「壮年」、「中年」、「熟年」、「敬老」、「年齢無関係」など）、性別コード（「男性」、「女性」及び「性別無関係」）が個々に対応付けて記憶されている。性格コードはユーザー性格特定情報の一つであり、年齢コード及び性別コードは、性格とは無関係なサブ分類である。ユーザー特定情報からユーザーの性格が特定できても、年齢層や性別に合わない音楽ソースを選択したのでは、ユーザーを楽しませる「もてなし」としての効果は半減する。従って、ユーザーに提供する音楽ソースの適性をより絞り込むために、上記のようなサブ分類付与は有効である。
【００７６】
一方、各音楽ソースデータには、曲モードコードも個々に対応付けて記憶されている。曲モードコードは、その曲を選曲したユーザーの精神状態や体調と、当該曲との連関を示すデータであり、本実施形態では、「盛り上げ系」、「爽快系」、「温和・癒し系」、「ヒーリング・α波系」等に分類されている。なお、性格種別コード、年齢コード、性別コード、ジャンルコード及び曲モードコードは、各ユーザーに固有のもてなし内容を選定する際に参照するデータなので、これらを総称してもてなし参照データと呼ぶことにする。
【００７７】
カーオーディオシステム５１５には、ユーザーが手動で操作する操作部５１５ｄ（図１５）が設けられ、ここからの選曲データの入力により、所望の音楽ソースデータを読み出して演奏することもできる。また、操作部５１５ｄからのボリューム／トーンコントロール信号は、プリアンプ５１５ｇへ入力される。この選曲データは、インターフェース部５１５ａから、図１１のもてなし実行制御部３を経てもてなし意思決定部２へ転送され、これに接続された記憶装置５３５に選曲実績データ４０３（図１７）として蓄積される。予め定められたシーンが到来すると、もてなし意思決定部２がその蓄積内容に基づいて曲リストを作成し、その曲リストに含まれる曲の再生が順次行なわれる。なお、もてなし意思決定部２が１曲ずつ順次曲を選択するものであってもよい。
【００７８】
ただし、もてなし意思決定部２が自動選択した曲が気に入らなければ、ユーザーは操作部５１５ｄ（図１５）からの入力により、いつでも好きな曲に演奏を切り替えることができる。ユーザーが自身で選曲した場合は、図１７に示すように、そのユーザーの特定情報（ユーザー名あるいはユーザーＩＤ）と、選曲された音楽ソースデータのＩＤと、前述のもてなし参照データ（性格種別コード、年齢コード、性別コード、ジャンルコード及び曲モードコード）とが互いに対応付けられた形で、選曲実績記憶部４０３に記憶される。本実施形態では、選曲の日時、ユーザーの性別及び年齢も合わせて記憶されている。
【００７９】
選曲実績記憶部４０３には、図１８に示すように、登録ユーザー別に、その選曲実績の統計情報４０４（図１１の記憶装置５３５に記憶されている）が作成される。この統計情報４０４では、選曲データが、性格コード別（ＳＫＣ）にカウントされ、どの性格種別の曲が最も多く選曲されたかが数値パラメータとして特定される。最も単純な処理としては、選曲頻度が最も高い性格種別を、そのユーザーの性格として特定することが可能である。例えば、統計情報４０４に蓄積されている選曲実績数が一定レベルに到達すれば、例えばユーザー入力により初期設定された性格種別を、統計情報４０４から上記のごとく導かれた性格種別と置き換えるようにすればよい。
【００８０】
この音楽再生を、準備シーンＳＣＮ３や運転／滞在シーンＳＣＮ４の到来に基づいて実行する、又はユーザーの操作部５１５ｄの操作に基づいて実行することで、自動車に搭載されたカーオーディオ機器をより快適に利用することができる。また、接近シーンＳＣＮ１（又は離脱シーンＳＣＮ６）において実行することで、ユーザーの出迎え（見送り）演出を行なうことができ、ユーザーの精神状態の向上ないし改善に寄与する。
【００８１】
次に、ドアアシスト機構５４１について説明する。ドアアシスト機構５４１では、車両側に登録ユーザー毎に記憶される年齢情報（年齢コード）に基づいて、ドア開閉時におけるアクチュエータ（ドアアシストモータ）の駆動トルクを制御する。
【００８２】
自動車には、図３Ｂに示すように、乗降用のスイング式ドア（以下、単に「ドア」ともいう）１１０１が、乗降口の一縁にドア旋回軸（図示なし）を介して取り付けられている。ドア１１０１は、手動操作により乗降口を閉塞する閉塞位置から任意の角度位置へ開放可能とされている。そして、この手動によるドア開操作が、モーター（アクチュエータ：図示なし）によりパワーアシストされる。本実施形態では、ドア１１０１とともに回動するドア旋回軸（図示なし）に対し、モーターの回転出力を、減速ギア機構を介してトルクアップしつつ、旋回軸にドア開閉アシストの回転駆動力として直接伝達するようにしている。
【００８３】
ドアアシスト機構５４１は、ドアの開操作時に、該ドアと干渉する車外の障害物を検出する障害物検出手段（例えば周知の近接スイッチ、反射式光学センサ（赤外線式を含む）あるいは超音波センサなどの障害物センサ）を有し、また、アクチュエータ制御手段は、障害物が検出されていない場合には、ドア開操作時において、アクチュエータによりドア開方向の正アシスト力が生ずる通常アシストモードとなり、障害物検出手段が障害物を検出した場合には、ドア開操作時において、ドアが乗降口を塞ぐ閉位置から障害物に衝突する衝突位置に至るドア旋回区間の少なくとも途中位置まではドアの開操作を可能としつつ、障害物とドアとの衝突は抑制される衝突抑制モードとなるように、アクチュエータによるドアアシストを制御するものとして構成される。
【００８４】
アクチュエータは正逆両方向に回転可能なモーターであり、本実施形態ではＤＣモータにより構成されている（もちろん、インダクションモータ、ブラシレスモータ、ステッピングモータなど、他の種類のモーターを用いてもよい）。アクチュエータ制御手段は、正アシストモードではモーターを正方向に回転させ、逆アシストモードではモーターを逆方向に回転させるものであり、本実施形態では、プッシュプルトランジスタ回路を用いた双方向リニア制御型のモータドライバがアクチュエータ制御手段を構成している。
【００８５】
なお、ドア１１０１は、周知のごとく、車外側操作ノブ及び車内側操作ノブのいずれによっても開閉操作が可能であり、ロックボタンを倒すと、周知のドアロック機構５１３により、車内外のノブによるドア開閉操作が不能となる。このドアロック機構５１３がロック状態になったときはモーターを駆動停止するようにしている。
【００８６】
ドアロック機構５１３は、ロック部の要部は、ドア１１０１の旋回軸に設けられたドア側係合部（本実施形態では雄スプライン）と、車体側に固定され、該ドア側係合部に対し旋回軸の旋回角度に応じた任意の角度位相にて着脱可能に係合し、係合状態の角度位相にて旋回軸の旋回をロックする車体側係合部（本実施形態では雌スプライン）とを有する。車体側係合部は、旋回軸の軸線方向においてドア側係合部に対し接近・離間可能に設けられ、接近時に車体側係合部とロック係合状態となり、離間時にロック解除となる。本実施形態においては、この接近・離間機構を周知のソレノイド機構（シリンダ機構等でもよい）にて構成している。ロック部は、障害物検出手段が障害物を検出したときのドア角度位置に応じて（つまり、障害物の位置に応じて）、限界角度位置が可変に定まる。これにより、自動車に対する障害物の相対距離に関係なく、開操作によりドアが近づいてくれば、障害物に当たらないようにドア開操作が妨げられる。
【００８７】
ドアアシスト機構５４１には、ドア１１０１の操作力を検出するトルクセンサ等の操作力検出部１００２が設けられ、アクチュエータ制御手段により、正アシストモードにおいて、操作力検出部１００２が検出するドア操作力が小さくなるほど、正アシスト力が大きくなるようにアクチュエータの動作を制御する。つまり、もてなし意思決定部２は、乗り込みシーンＳＣＮ２又は降車シーンＳＣＮ５が到来した場合に、乗り込み又は降車するユーザーを認識するとともに、認識されたユーザーの年齢情報（年齢又は年齢コード（「幼児」、「子供」、「ジュニア」、「青年」、「壮年」、「中年」、「熟年」、「敬老」、「年齢無関係」などにより分類））を取得し、取得した年齢情報に基づいて、力が弱いと推定される年齢の人がドア１１０１を開こうとする場合は、対応するドアのモーターによる正アシスト力が強く作用して楽にドア１１０１を開くことができる。他方、力が強いと推定される年齢の人が強くドアを開こうとする場合は、正アシスト力は比較的弱く働くことになる。例えば、外部からの操作力によるドア開トルクと正アシスト力によるドア開トルクとの合計がほぼ一定になるように制御すれば、誰が操作してもドア１１０１をほぼ一定の標準トルクで開くことができる。
【００８８】
なお、上記のようなアシスト機構を有したスイング式ドアを採用する態様に代え、周知の電動自動開閉機構ないしアシスト機構を備えた図３Ｂの電動スライド式ドア１１０２にも採用することも可能である。
【００８９】
次に、ユーザー側端末装置１００によるもてなし動作について説明する。携帯電話機１００では、登録ユーザー毎に車両に接近したときに流れる音情報（音楽、効果音、声等）を設定し、再生することができる。
【００９０】
次に、ユーザー側端末装置１００は、本実施形態では携帯電話として構成されている（以下、「携帯電話１」ともいう）。携帯電話１は、液晶ディスプレイ等で構成されたモニター、キーボードからなる入力部、送話器及び受話器等を備えている。また、その側面には脈拍センサ（心拍センサ）３４２も設けられている。
【００９１】
図１９は、携帯電話１の電気的構成の一例を示すブロック図である。回路の要部は、入出力部１３１１と、これに接続されたＣＰＵ３１２、ＲＯＭ３１４、ＲＡＭ３１３等からなる制御部３１０を含む。入出力部１３１１には、入力部３０５、オンフック／オフフック切換スイッチ３０６が接続される。また、受話器３０３はアンプ３１５とＤ／Ａ変換器３１６を介して、送話器３０４はアンプ３１７とＡ／Ｄ変換器３１８を介して、それぞれ入出力部１３１１に接続されている。さらに、入出力部１３１１には、携帯電話１の位置情報を取得するための周知のＧＰＳ５５４が接続されている。
【００９２】
本実施形態では、ユーザー側端末装置１と自動車との距離及び方位関係を把握するために、自動車側のＧＰＳ５３３（図１１）に加えてユーザー側端末装置１にもＧＰＳ５５４を設けることで、ユーザー側端末装置１が自立的にその位置情報を取得できるようにしておき、その端末位置情報を、無線通信網を介して自動車側に送信する方式を採用している。これにより、自動車側では、自身に接続されたＧＰＳ５３３による正確な自動車位置と、ユーザー側端末装置１から受信したＧＰＳ５５４による正確な端末位置との双方を取得でき、ユーザー側端末装置１と自動車との距離及び方位関係を極めて正確に把握することができる。また、ユーザー側端末装置１と自動車との距離変化や接近方向変化も事実上リアルタイムに把握できる。
【００９３】
次に、携帯電話１には、着信音出力や音楽演奏のために、次のような機能が設けられている。すなわち、無線受信によりダウンロードした着信音データや音楽データ（ＭＰＥＧ３データあるいはＭＩＤＩデータ：着信音としても使用される）が、音データ用フラッシュＲＯＭ３１６に格納される。ＭＩＤＩデータの場合、ＭＩＤＩコードに従い音色、音高、音長及びテンポ等が記述された楽音データが楽音合成部３５７に送られる。楽音合成部３５７では、その楽音データをバッファリングしつつ、音源として機能する波形ＲＯＭ３５８から、指定された音色の波形データを読み出し、ＭＩＤＩコードの規定する音高となるように周波数変換して、規定されたテンポに従い順次これをデジタル波形データとして出力する。出力されたデジタル波形データは、アナログ変換回路３５９及びアンプ３５０を経てスピーカー３１１から出力される。なお、ＭＰＥＧ３等の圧縮波形データからなる音データの場合は、デコード処理を経てアナログ変換回路３５９及びアンプ３５０を経てスピーカー３１１から出力される。なお、本実施形態では、楽音合成部３５７による音声出力のタイミング情報がシーケンサ３５２に入力され、ＰＷＭユニット３５３を経てバイブレータユニット３５４及びＬＥＤユニット３５５を音楽と同期駆動し、携帯電話１での音出力によるもてなし効果を、振動及びＬＥＤ発光と組み合わせてさらに高める工夫がなされている。
【００９４】
ユーザーが自動車に接近する際には、上記のような照明装置以外に、携帯電話１（ユーザー側端末装置）に設けられたスピーカー（音声出力部）３１１をもてなし動作部として使用することもできる。この場合、自動車側の通信装置４は、携帯電話１すなわちユーザーの接近を検出し、そのユーザーに対応する性格種別（つまり、取得されたユーザー生体状態情報）に応じて異なる出力内容にてスピーカー３１１からもてなし用音声を出力させる。本実施形態において、もてなし用音声データは音楽ソースデータとするが、効果音や人間の声（いわゆる着声あるいは着ボイスと称されるもの）のデータであってもよい。このもてなし用音声データは、図１１に示す自動車側の記憶装置５３５に記憶しておき、必要なものを携帯電話１に通信装置４を介して配信するようにしてもよいし、携帯電話１側の音データ用フラッシュＲＯＭ３１６に記憶させても、いずれでもよい。ここでは、後者の場合を例に取り説明する。
【００９５】
まず、顔認識部１０によりユーザーが認識されると該顔認識部１０からユーザー特定情報が出力され、もてなし意思決定部２はその入力を受けてユーザーを特定する。ユーザーが特定され、さらに対応するシーン（接近シーンＳＣＮ１）が到来すると、そのユーザーに対応するもてなし用音声データのＩＤ（音データ用フラッシュＲＯＭ３１６に記憶されている）を、携帯電話１から無線により取得する（ここでは、ＭＩＤＩデータを用いた場合を例に取る）。次に、そのＩＤに対応する音楽ソースデータを選択し、携帯電話１で演奏を開始する。なお、ユーザーの接近距離に応じたもてなし用音声データが設定されている。また、バイブレータユニット３５４及びＬＥＤユニット３５５を音楽と同期駆動し、音出力によるもてなしをより盛り上げてもよい。また、自動車側の照明装置を、音楽に連動させて明滅させるようにしてもよい。さらに、いよいよユーザーが自動車に乗り込む寸前にまで近づいたときには、パワーウィンドウを作動させて窓を開いて、携帯電話１の演奏と同期出力し、盛り上げ効果をさらに高めてもよい。さらに、自動車側では、ＭＩＤＩデータの主旋律部分の音程コードを、携帯電話１側の主旋律部分に対し、協和音程を形成する度数だけ低く（又は高く）なるように変更して出力させれば、携帯電話１の出力とカーオーディオシステム５１５の出力とをハモらせることができるし、ＭＩＤＩデータの主旋律部分の出力タイミングを、携帯電話１側の主旋律部分に対し、一定拍数遅らせる（又は進ませる）ように変更して出力させれば、携帯電話１の出力とカーオーディオシステム５１５の出力との間で輪唱効果を達成することもできる。
【００９６】
カーナビゲーション装置５３４について説明する。カーナビゲーション装置５３４においては、車両側に登録された登録ユーザー毎に設定された設定情報を、例えばカーナビゲーション装置の目的地設定等に適用することが可能となる。
【００９７】
図２０は、図１１のカーナビゲーション装置５３４の構成例を示すブロック図である。カーナビゲーション装置５３４は、本発明の自動車用もてなし情報提供装置の機能出力部分を担うものであり、位置検出器１０１、地図データ入力器１０６、操作スイッチ群１０７、リモートコントロール（以下リモコンと称する）センサ１１１、音声案内などを行なうスピーカー１１５、フラッシュメモリ等で構成された不揮発性メモリ１０９、ＬＣＤ等からなるモニター１１０、これらの接続された主制御部をなす情報系ＥＣＵ５１、リモコン端末１１２及び主記憶装置をなすハードディスク装置１２１等を備えている。不揮発性メモリ１０９には、自動車の履歴情報等のナビゲーション装置の動作に必要な情報およびデータが記憶されている。
【００９８】
位置検出器１０１は、周知の地磁気センサ１０２、ジャイロスコープ１０３、距離センサ１０４、および衛星からの電波に基づいて自動車の位置を検出するＧＰＳのためのＧＰＳ受信機１０５を有している。これらのセンサ等１０２，１０３，１０４，１０５は各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。なお、精度によっては前述したうちの一部のセンサで構成してもよく、さらに、ステアリングの回転センサや各転動輪の車輪センサ等を用いてもよい。
【００９９】
操作スイッチ群１０７は、メカニカルなスイッチ等を使用できるが、本実施形態では、モニター１１０と一体になったタッチパネル１２２を併用しており、モニター１１０上に表示されるボタン画像に対応するタッチパネル領域を指で触れることにより、操作状態を認識できるようにしている（いわゆるソフトボタン）。これら操作スイッチ群１０７およびリモコン端末１１２によって、種々の指示を入力することが可能である。
【０１００】
操作スイッチ群１０７およびリモコン端末１１２の他に、音声認識ユニット１３０を用いて種々の指示を入力することも可能である。これは、音声認識ユニット１３０に接続されるマイク１３１から音声を入力することによって、その音声信号を周知の音声認識技術により音声認識処理して、その結果に応じた操作コマンドに変換するものである。
【０１０１】
情報系ＥＣＵ５１は通常のコンピュータとして構成されており、周知のＣＰＵ１８１、ＲＯＭ１８２、ＲＡＭ１８３、前述の不揮発性メモリ１０９、入出力部１８４がバス接続されたものである。前述のＨＤＤ１２１はインターフェース１２９ｆを介してバス接続されている。また、地図やナビ操作画面を表示する描画情報に基づいて、モニター１１０に画像出力する機能を担う描画ＬＳＩ１８７と、描画処理用のグラフィックメモリ１８７Ｍとが同様にバス接続され、前述のモニター１１０がこれに接続されている。ＣＰＵ１８１は、ＨＤＤ１２１に記憶されたナビプログラム２１ｐおよびデータにより制御を行なう。また、ＨＤＤ１２１へのデータの読み書きの制御はＣＰＵ１８１によって行なわれる。
【０１０２】
ＨＤＤ１２１には、道路データを含む地図データ２１ｍと、目的地データベース２１ｄとが記憶されている。その他に、地点登録など、ユーザーが独自にデータ２１ｕを書き込むことができる。これらのデータは、操作スイッチ群１０７およびリモコン端末１１２の操作あるいは音声入力によって内容の書き換えが可能である。また、外部情報入出力装置（地図データ入力器）１０６を用いて記憶媒体１２０からデータを読み込んでＨＤＤ１２１の内容を更新することも可能である。なお、本実施形態では、通信インターフェース１２６及び通信データを一次格納するためのバッファメモリ１２６ｆを介して情報系ＥＣＵ５１が、車内ネットワークをなすシリアル通信バス１２７に接続され、ボデー系ＥＣＵ１４２やエンジン制御ＥＣＵ（図示せず）などの、車内の他の制御装置との間でデータの遣り取りを行なうようになっている。
【０１０３】
なお、図１１のもてなし実行制御部３は、ここまで概念把握を容易にするために単独のＥＣＵで構成されている場合を例にとって説明を行なってきたが、当然、上記ネットワーク接続された複数のＥＣＵにて実行制御部３を構成することがより現実的である。また、もてなし意思決定部２がもてなし意思決定に使用する記憶部５３５内の種々のデータや、自動車用もてなし情報提供装置の出力対象となるデータ（例えば後述の目的地データベース２１ｄ（図２０）や音楽ソースデータベース５１５ｂ，５１５ｃ（図１５）に格納されたデータ）の少なくとも一部を、自動車外のデータサーバに蓄積し、無線通信により自動車にてダウンロードして使用するようにしてもよい。
【０１０４】
モニター１１０はカラー液晶表示器により構成されており、その画面には位置検出器１０１から入力された自動車の現在位置マークと、ＨＤＤ１２１から入力された地図データ２１ｍと、さらに地図上に表示する誘導経路等付加データとを重ね合わせて表示するとともに、本画面に経路案内の設定および経路誘導中の案内や画面の切り替え操作を行なうためのメニューボタンが表示される。
【０１０５】
カーステレオ５１５に搭載されたＦＭチューナ１４１は、例えばＶＩＣＳ（Vehicle Information and Communication System：道路交通情報通信システム）センタ１１４からの渋滞表示用道路交通情報を搬送する放送電波を受信し、車内ネットワークを介してその情報が情報系ＥＣＵ５１に送られる。
【０１０６】
カーナビゲーション装置５３４は、情報系ＥＣＵ５１のＣＰＵ１８１によりナビプログラム２１ｐが起動される。運転者は、操作スイッチ群１０７あるいはリモコン端末１１２の操作あるいはマイク１３１からの音声入力によって、目的地データベース２１ｄから所望の目的地を選択する。例えば、モニター１１０上に表示されるメニューから目的地経路をモニター１１０に表示させるための経路案内処理を選択した場合、次のような処理を実施する。即ち、運転者がモニター１１０上の地図あるいは目的地選択画面に基づいて目的地を入力すると、ＧＰＳ受信機１０５から得られる衛星のデータに基づき自動車の現在位置が求められ、該現在位置から目的地までの最適な経路を求める処理が行われる。そして、モニター１１０上の道路地図に誘導経路を重ねて表示し、運転者に適切な経路を案内する。このような自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。また、モニター１１０およびスピーカー１１５の少なくとも一方によって、操作時のガイダンスや動作状態に応じたメッセージの報知を行なう。
【０１０７】
図２１は、カーナビゲーション装置５３４で使用する目的地データベース２１ｄの内容を示すもので、上記の音楽ソースデータベースと同様、各目的地の所在地情報に、個々の目的地を特定するためのＩＤとともに、同様のもてなし参照データにて構成された分類情報が付与されている。このうち、性格コード、年齢コード及び性別コードは音楽ソースデータベースに使用されているものとほぼ同じである。すなわち、目的地を選択するユーザーについて推定される性格種別（「活動的」、「おとなしい」、「楽観的」、「悲観的」、「頽廃的」、「体育会系」、「知性派」、「ロマンチスト」など）を示す性格コード、同じく年齢コード（「幼児」、「子供」、「ジュニア」、「青年」、「壮年」、「中年」、「熟年」、「敬老」、「年齢無関係」など）、性別コード（「男性」、「女性」及び「性別無関係」）が個々に対応付けて記憶されている。性格コードはユーザー性格特定情報の一つであり、年齢コード及び性別コードは、性格とは無関係なサブ分類である。ユーザーの性格が特定できても、年齢層や性別に合わない目的地を選択したのでは、ユーザーを楽しませる「もてなし」としての効果は半減する。従って、ユーザーに提案する目的地の適性をより絞り込むために、上記のようなサブ分類付与は有効である。
【０１０８】
また、ジャンルコードは、目的地をなす施設を、その種別により分類するもので、「飲食店」、「娯楽施設」、「公園」、宿泊施設、「道路関連サービス施設」、「コンビニエンスストア」、「スーパーマーケット」などに分かれている。このうち、「飲食店」、「道路関連サービス施設」、「コンビニエンスストア」、「スーパーマーケット」などが、飲食可能施設として位置付けられる。
【０１０９】
また、各ジャンルコードには、それぞれのジャンルコードに適合したサブ分類コードが付与されている。「飲食店」の場合、「もてなし」効果を考慮して、ユーザーの体調や精神状態と関連付けた目的地選択が可能となるように、サブ分類コードの種別が考慮されている。すなわち、体調良好で食欲もあり（特に、青年／壮年など）、空腹が進んだ場合に選択すべき飲食店には、満腹感を優先したサブ分類コード（「がっつり・こってり系」）が付与されており、体調がそれほどでもなく食欲についても淡白な状態（特に、女性など）、精々小腹が空いた程度の状況で選択すべき飲食店には、軽めの食事を優先したサブ分類コード（「かるーく・あっさり系」）が付与されている。また、倦怠感が進み、気分転換が望ましい状況や、カップルなどでムードを盛り上げたい場合に選択すべき飲食店には、雰囲気重視の食事を優先したサブ分類コード（「シック・おしゃれ系」）が付与されている。
【０１１０】
また、「もてなし」効果の優先性とは別に、一般的な料理種別（「和食・寿司」「中華・ラーメン」「洋食・カレー」）に基づくサブ分類コードも別途付与され、適宜選択できるようになっている。
【０１１１】
一方、娯楽施設（あるいは観光スポット）や公園などの、レクリエーションないしエンターテインメント系のサービス提供施設についても、ユーザーの体調や精神状態と関連付けた目的地選択が可能となるように、サブ分類コードの種別が考慮されている。すなわち、体調良好で、陽気で活動的なサービスを欲している場合（特に、青年／壮年など）に選択すべき施設には、体力的あるいは精神的な発散を優先したサブ分類コード（「元気一杯スポット」）が付与されており、体調がそれほどでもないか疲れている場合（特に、女性など）には、体力消耗抑制を優先したサブ分類コード（「リラックス・いやし系」）が付与されている。また、カップルなどでムードを盛り上げたい場合に選択すべき施設には、雰囲気重視のサブ分類コード（「ラブラブスポット」）が付与されている。
【０１１２】
他方、「道路関連サービス施設」は、「サービスエリア」、「パーキングエリア」、「道の駅」及び「ドライブイン」のサブ分類コードが付与されている。
【０１１３】
本実施形態においては、顔認識部１０によりユーザー認識がなされるので、認識されたユーザーの登録情報（年齢、性別、性格）と照合することで、目的地や音楽ソースを検索する場合は、年齢コード、性別コード及び性格コードによる絞り込みが直ちに可能である。つまり、そのユーザーに適合した検索がなされるわけである。
【０１１４】
上記のカーナビゲーション装置５３４においては、登録ユーザー毎に、ユーザー固有のナビ設定情報（メモリ地点情報や目的地選択実績，ルート設定に係る優先条件設定等）もユーザーデータ２１ｕに記憶される。従って、顔認識部１０によりユーザーが認識されると該顔認識部１０からユーザー特定情報が出力され、もてなし意思決定部２はその入力を受けてユーザーを特定し、さらに、対応するシーン（例えば準備シーンＳＣＮ３）が到来すると、もてなし意思決定部２が、入力されたユーザー特定情報をもてなし意思決定部２のＲＯＭから読み出してもてなし実行制御部３に出力し、さらに、もてなし実行制御部３が該ユーザー特定情報をカーナビゲーション装置５３４に対し出力する。そして、カーナビゲーション装置５３４はそのユーザー特定情報に基づいて設定を反映させることができる。
【０１１５】
また、カーナビゲーション装置５３４は、外部スケジューラ２００１から目的地に対応するスケジュールの情報を受信できる。スケジュール情報がユーザーに対応して定められている場合には、当該スケジュール情報を受信し、かつ該当ユーザーが認識された場合にスケジュールを報知（音声又は画面表示による）することもできる。
【０１１６】
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
【図面の簡単な説明】
【０１１７】
【図１】本発明の顔認識装置が組み込まれた自動車用制御システムの電気的構成の一例を示すブロック図。
【図２】本発明の顔認識装置の、電気的構成の一例を示すブロック図。
【図３Ａ】車内撮影装置の配置を説明する図。
【図３Ｂ】車外撮影装置の配置を説明する図。
【図４】照明装置の配置を説明する図。
【図５】照明装置の特性を説明するグラフ。
【図６】撮影装置の分光感度を説明するグラフ。
【図７Ａ】撮影装置の撮影タイミング及び照明装置の点灯タイミングの第一実施例を説明する図。
【図７Ｂ】撮影装置の撮影タイミング及び照明装置の点灯タイミングの第二実施例を説明する図。
【図８】ユーザー認識処理の第一実施例を説明するフローチャート。
【図９】顔認識処理を説明するフローチャート。
【図１０】ユーザー認識処理の第二実施例を説明するフローチャート。
【図１１】本発明の顔認識装置が組み込まれた自動車用ユーザーもてなしシステムの、電気的構成の一例を示すブロック図。
【図１２】ユーザー登録情報の内容を示す概念図。
【図１３】車内照明の電気的構成の一例を示すブロック図。
【図１４】照明装置の点灯制御データの構成例を示す概念図。
【図１５】カーオーディオシステムの電気的構成の一例を示すブロック図。
【図１６】音楽ソースデータベースの内容を示す概念図。
【図１７】選曲実績記憶部の内容を示す概念図。
【図１８】選曲実績の統計情報の内容を示す概念図。
【図１９】ユーザー側端末装置の電気的構成の一例を示すブロック図。
【図２０】自動車用ユーザーもてなしシステムに組み込まれるカーナビゲーション装置の電気的構成例を示すブロック図。
【図２１】目的地データベースの概念図。
【図２２】性格種別決定の入力方式の第一例を示す模式図。
【図２３】性格種別決定の入力方式の第二例を示す模式図。
【符号の説明】
【０１１８】
１ 自動車用制御システム（自動車用ユーザーもてなしシステム）
１０ 顔認識装置（顔認識部）
１１ 制御部（ユーザー認識手段、ユーザー認識結果出力手段、照明制御手段、顔存在判定手段、特徴情報合成手段、ユーザー認識結果出力制御手段）
１５（５１８，５２１） 撮影装置（車内撮影カメラ（顔カメラ）、車外撮影カメラ（車外用カメラ））
１６ 照明装置
２０ システムマスター装置（マスター制御装置）
３１ 撮影対象検出部
１７ 顔登録部
２ もてなし意思決定部（シーン特定手段、もてなし制御部、精神／肉体状態推定手段）
３ もてなし実行制御部（もてなし制御部）
１００ 携帯電話（ユーザー側端末装置）
【技術分野】
【０００１】
この発明は、自動車を利用するユーザーを認識するための顔認識装置と、それを用いて構成され、ユーザーの自動車への接近、乗車、運転、降車及び自動車からの離間、の少なくともいずれかにおいて、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませる（あるいはサービスする）ための自動車用ユーザーもてなしシステムに関する。
【背景技術】
【０００２】
【特許文献１】特開２００４−１４４５１２号公報
【０００３】
特許文献１には、自動車を利用するユーザーを認識するための顔認識装置として、可視外乱光によりユーザーの顔撮影画像が不鮮明化することを防止するために、赤外線光を補助照明光として用い、かつ、入射光学系に赤外線を選択通過させるフィルタを配置して顔画像を撮影することにより可視外乱光の影響を排除し、鮮明な撮影画像を得やすくするようにした装置が提案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記の装置は、撮影光量が十分確保できる昼間においても撮影時には赤外照明光源を常時点灯させなければならず不経済であり、車載バッテリー寿命にも影響しやすい問題がある。
【０００５】
本発明の課題は、外乱光の存在や露光不足等のため鮮明な撮影画像が得られない場合に限り照明光源が点灯するようにした顔認識装置と、それを用いた自動車用ユーザーもてなしシステムとを提供することにある。
【課題を解決するための手段及び作用・効果】
【０００６】
上記の課題を解決するために、本発明の顔認識装置は、
自動車の内部又は外部に取り付けられ、予め定められた視野内に存在する人物の顔を撮影する撮影装置と、
自動車のユーザーとして登録された人物の顔特徴情報をユーザ−特定情報と対応付けて記憶する顔登録部と、
撮影装置の視野内に存在する人物の顔を照らす照明装置と、
撮影装置が撮影した顔画像から顔特徴情報を取得し、該取得された顔特徴情報を顔登録部に登録された顔特徴情報と照合することによりユーザー認識処理を行なうユーザー認識手段と、
該ユーザー認識結果を出力するユーザー認識結果出力手段と、
照明装置が非点灯状態にて撮影された画像によるユーザー認識に失敗した場合に、照明装置を点灯させる照明制御手段と、を備えたことを特徴とする。
【０００７】
上記本発明の顔認識装置によると、照明装置が非点灯状態にて撮影された画像によるユーザー認識にユーザー認識手段が失敗した場合に照明装置を点灯させるようにしたから、ユーザー認識のための顔撮影時に、昼間等においても常時照明装置が点灯する不具合を効果的に解消することができる。
【０００８】
また、本発明の自動車用ユーザーもてなしシステムは、
上記本発明の顔認識装置と、
ユーザーの自動車への接近、乗車、運転又は車内での滞在、降車及び自動車からの離間、の少なくともいずれかにおいて、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なうもてなし動作部と、
登録ユーザーと、該登録ユーザー固毎に固有のもてなし動作部の動作内容を規定するもてなし動作情報とを互いに対応付けた形で記憶するもてなし動作情報記憶部と、
顔認識装置により認識された登録ユーザーに対応するもてなし動作情報をもてなし動作情報記憶部から読み出して、該もてなし動作情報に従いもてなし動作部の動作制御を行なうもてなし実行制御部と、を備えたことを特徴とする。
【０００９】
上記本発明の自動車用もてなしシステムによると、露光不足等のため鮮明な撮影画像が得られずユーザー認識に仮に失敗しても、その結果を受けて照明光を点灯することにより、次回はユーザー認識に好都合な鮮明度を有した顔画像を確実に得ることができる。その結果、もてなしの対象となるユーザーを確実に特定することができ、ひいてはそのユーザーに適合するもてなし処理を適格に実施することが可能となるので、自動車を利用するユーザーの満足感を高めることができる。
【００１０】
次に、撮影装置は、撮像素子として可視光域と赤外域との双方に顔撮影に必要な感度を有したものを使用することにより、視光と赤外光との双方による顔撮影が可能とされたものを使用できる。これにより、撮影光量が不足する夜間等においては、照明光源として不可視光である赤外光を用いるので、ユーザーが照明により眩惑されにくい利点がある。他方、昼間等においては、撮像素子の可視光域感度特性を利用して問題なく撮影が可能である。赤外線光源としては近赤外線光源を用いることが照明光源を安価に構成でき、また、照明強度も得やすい。さらに、可視光感度域の低波長側に隣接した近赤外域であれば、撮像素子の感度も比較的確保しやすい利点がある。
【００１１】
なお、照明光源としては、赤外光光源に替えて、可視光光源や紫外光光源を使用することも可能である。
【００１２】
次に、照明装置は、撮影装置の視野内に存在する顔を互いに異なる方向から照明するものを複数設けることが可能である。これにより、被写体となる人物の顔を複数の照明装置により均一に照らし出すことができ、照明を点灯させてから用いて行なうユーザー認識処理の認識精度を高めることができる。顔を均一な照度で照らす観点からは、（照明制御手段により）複数の照明装置を一括して点灯することが望ましいとも言える。しかし、ユーザー認識の失敗の原因が、撮影光軸に対して斜めから入射する強い外乱光により顔画像がつぶれてしまったことにある場合などでは、照明光を顔に均一に当てるよりも、外乱光による被写体上の照度分布の偏りを矯正した方が効果的な場合がある。
【００１３】
また、撮影装置の撮影画像に基づいて視野内に人物の顔が存在するか否かを判定する顔存在判定手段と、顔存在判定手段が顔存在と判定した場合に、撮影装置は照明装置を非点灯状態で一次顔撮影を行ない、ユーザー認識手段は当該非点灯状態での顔画像に基づいて一次ユーザー認識処理を行なうとともに、該一次ユーザー認識処理によるユーザー特定に失敗した場合に、照明制御手段により照明装置を点灯させ、その状態で撮影装置は照明装置を点灯状態で二次顔撮影を行ない、ユーザー認識手段は当該点灯状態での顔画像に基づいて二次ユーザー認識処理を行なうことができる。この構成によると、撮影された画像の中に顔が存在すると判定されたときのみ、ユーザー認識処理が実行されるようになるから、無駄なユーザー認識処理を行なわなくてすむ。また、一次ユーザー認識処理でユーザーの特定に失敗しても、照明装置点灯後に二次ユーザー認識処理が行なわれるから、ユーザーの特定を確実に行なえる。
【００１４】
また、この場合、照明装置を、撮影装置の視野内に存在する顔を互いに異なる方向から照明するものを複数設けるとともに、撮影装置による二次顔撮影と、ユーザー認識手段による二次ユーザー認識処理とを、点灯させる照明装置の種別を、照明方向が互いに異なるものとなるよう順次変更しながら繰り返し実行することができる。この構成によると、照明の向きが順次変わるので、適切な照明状態で二次顔画像を撮影することができ、顔検出を確実に行なうことができる。
【００１５】
次に、複数回の顔撮影により得られる各顔画像からの特徴情報を合成する特徴情報合成手段が設けられ、ユーザー認識手段は、該合成された特徴情報に基づいてユーザー認識を行なうことができる。合成された特徴情報を用いることで、顔画像を用いたユーザー認識を効率的に行うことが可能となる。
【００１６】
また、撮影装置による顔撮影と、該撮影された顔画像に基づくユーザー認識手段によるユーザー認識処理とを周期的に反復実行させるユーザー認識処理反復制御手段と、ユーザー認識手段がユーザー認識に一度成功した後、ユーザー認識処理のその後の反復過程においてユーザー認識に失敗した場合においても、当該失敗認識回数が予め定められた回数に到達するまではユーザー認識結果出力手段に該失敗認識結果を出力させないようにするユーザー認識結果出力制御手段とを備えることができる。照明状態は随時代わるので、それが原因で認識ＮＧ判定されることは適切でない。特に車室内のユーザー認識の場合には、ユーザーが頻繁に着座位置を変えることは考え難い。この構成によると、１回でもユーザー認識の成功があった場合には、予め定められた回数以内又は予め定められた期間内の失敗認識により認識ＮＧ判定としないようにされており、この判定に伴い実行される車両の各種アプリケーションを適切に動作させることができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態を添付の図面を用いて詳しく説明する。図１は、本発明の顔認識装置が組み込まれた自動車用制御システムの概念ブロック図である。この図の自動車用制御システム１は、撮影された人の顔画像によりユーザー認識を行なう本発明の顔認識装置１０と、認識されたユーザーに対応する各種制御を実行する乗員適応システムマスター装置（以下、マスター制御装置という）２０とが接続されて構成される。
【００１８】
まず、本実施形態における顔認識装置１０について説明する。
図１及び図２に示す顔認識装置１０は、自動車の内部又は外部に取り付けられ、予め定められた視野内に存在する人物の顔を撮影する撮影装置１５、撮影装置の視野内に存在する人物の顔を照らす照明装置１６、撮影装置１５の視野内の撮影対象（人）を検出する撮影対象検出部３１、及びこれらが接続された制御部（画像処理装置）１１とにより構成されている。
【００１９】
制御部１１は、自動車のユーザーとして登録された人物の顔特徴情報をユーザ−特定情報と対応付けて記憶する顔登録部１７を備え、撮影装置１５が撮影した顔画像から顔特徴情報を取得し、該取得された顔特徴情報を顔登録部１７に登録された顔特徴情報と照合することによりユーザー認識処理を行なうとともに、該ユーザー認識結果をマスター制御装置２０に出力する。具体的には、図２に示すように、制御部１１は、ＣＰＵ１２、ワークメモリを備えるＲＡＭ１３、各種プログラムを記憶するＲＯＭ１４を備えて構成されており、ＲＯＭ１４は、不揮発性メモリであるフラッシュＲＯＭであり、その一部記憶領域が顔登録部１７とされている。そして、制御部１１は撮影装置１５や照明装置１６に対し制御信号を出力している。この制御部１１は、ＲＯＭ１４に格納されたプログラムを実行することにより、ユーザー認識手段、ユーザー認識結果出力手段、照明制御手段、顔存在判定手段、特徴情報合成手段、ユーザー認識結果出力制御手段として機能する。
【００２０】
撮影対象検出部３１は、各撮影装置１５に対応して設けられ、それら撮影装置１５の撮影視野内に存在する撮影対象、又はその撮影視野内に接近する撮影対象を検出する近接センサである。本実施形態においては、車外撮影装置１５に対応する撮影対象検出部３１には、赤外線、高周波、超音波等を出力して測定域への侵入を感知する周知のものを採用することができる。また、車内撮影装置１５に対応する撮影対象検出部３１は、上記と同様の近接センサを採用することもできるし、座席に設けられる着座センサやドアの開閉操作に係る動作（例えばドアノブの把持）を検知するものであってもよい。
【００２１】
撮影装置１５は、図６に示すように、撮像素子として可視光域と赤外域の双方に顔撮影に必要な感度を有したものが使用され、可視光と赤外光との双方による顔撮影が可能とされている。図３Ａ及び図３Ｂに示すように、この撮影装置１５は、自動車の座席に着座するユーザーの顔を撮影する車内撮影装置１５ａ，１５ｂ，１５ｃと、ドアから搭乗してくる車外のユーザーの顔を撮影する車外撮影装置１５ｄ，１５ｅ，１５ｆとを備える。
【００２２】
車内撮影装置１５は車内の座席に対応して設けられ、それぞれが対応する座席に着座するユーザーの顔が撮影できるようそれぞれの撮影視野が定められている。ここでは、図３Ａに示すように、車内撮影装置１５ａは運転席の搭乗者（運転者）の顔を撮影するためにメータークラスター内又はメータークラスター上部に設けられ、車内撮影装置１５ｂは助手席の搭乗者の顔を撮影するために助手席前のダシュボード上部に設けられ，車内撮影装置１５ｃは後部座席の搭乗者の顔を撮影するために前席シート上部又はそのヘッドレストに設けられる。なお、後席用の撮像装置１５ｃには、シートが動いても撮影できる様、画角の広いものを使用している。
【００２３】
他方、車外撮影装置１５は、車両の各ドアに対応して設けられる。ここでは、ドア毎に複数の車外撮影装置１５が対応しており、図３Ｂに示すように、車外撮影装置１５ｄはフロントドア窓枠下端、車外撮影装置１５ｆはリアドア窓枠下端、車外撮影装置１５ｅはその間にある中央ピラーに設けられ、複数の撮影装置により、ドアに接近する搭乗者を撮影するように構成されている。なお、図３Ｂに示す車外撮影装置１５ｄ，１５ｅ，１５ｆは、助手席側のドア（助手席のドア１１０１及びスライドドア１１０２）に対応するものであるが、運転席にも同様に設けられている。また、バックドアに接近する搭乗者を撮影するために車外撮影装置１５ｇがバックドア窓枠下端に設けられている。なお、他にもドアがある場合には、同じように車外撮影装置を設けるようにすることができる。
【００２４】
照明装置１６は、照明光源として赤外線光源を、具体的には図５に示すような近赤外線光源を有するＬＥＤが使用されており、各撮影装置１５の撮影視野に対応して設けられている。例えば、運転席に対応する車内撮影装置１５ａの視野に対しては、車内撮影装置１６ａがドア窓枠下端に、車内撮影装置１６ｂがフロントピラーに、車内撮影装置１６ｃがメータカウルに、車内撮影装置１６ｄがセンターコンソール上部に、車内撮影装置１６ｅがセンターコンソール下部に、車内撮影装置１６ｆがマップランプ部に、それぞれ設けられている。このように、本発明においては、車内撮影装置１５に対応する照明装置１６を、該撮影装置１５の視野内に存在する顔を互いに異なる方向から照明できるように複数設けることができる。なお、助手席側及び後部座席側も同様に、複数設けることができる。また、車外撮影装置１５ｄ，１５ｅ，１５ｆに対しても、１又は複数の照明装置（図示なし）を設ける。なお、撮影装置１５の撮影視野に共通の空間が含まれている場合には、それら撮影装置１５に対し共有して使用される照明装置を設けてもよい。
【００２５】
また、制御部１１は、撮影装置１５が撮影した顔画像から顔特徴情報を取得し、該取得された顔特徴情報を顔登録部１７に登録された顔特徴情報と照合することによりユーザーを認識するユーザー認識プログラムをＲＯＭ１４に格納している。以下、このユーザー認識プログラムの流れを、図８に示すフローチャートを用いて説明する。
【００２６】
まず、Ｓ１０１にて、撮影対象検出部３１が撮影装置１５の撮影視野内において撮影対象（人）を検知したか否かを判定する。非検知の場合には本プログラムを終了する。検知している場合にはＳ１０２に進み、検知した撮影対象検出部３１に対応する撮影装置１５により、予め定められた撮影タイミングの到来に伴い順次行なう。このときの撮影は、照明装置１６を非点灯状態として行なう一次顔撮影である。撮影された画像は制御部１１に順次入力される。
【００２７】
なお、撮影装置１５による撮影は、対応する撮影対象検出部３１が撮影対象物を検知し続けている間、予め定められた撮像周期で繰り返し行なわれる。例えば、図７Ａに示すように１つの撮像周期に対し１回の撮影タイミングが到来する場合や、図７Ｂに示すように１つの撮像周期に対し複数回の撮影タイミングが到来する場合がある。本実施形態においては、図７Ａの場合を採用しているものとする。
【００２８】
Ｓ１０２に続いてＳ１０３では、入力されたその撮影画像に基づいて視野内に人物の顔が存在するか否かを制御部１１が判定し、顔が発見されるまでこれを繰り返す。顔の存在確認は、顔特徴情報を検出する周知のプログラムにおいて、顔と認められる部分が少しでも認められれば顔が存在するものとする。顔が存在すると判定されるとＳ１０４に進み、撮影された顔画像に基づいてユーザー認識処理を行なう。最初は、非点灯状態で撮影されるので一次ユーザー認識処理が行なわれる。Ｓ１０４では、複数回の顔撮影により得られる各顔画像からの特徴情報を合成し、合成された特徴情報に基づいてユーザー認識を行なう。具体的には、図９に示すように、まずＳ１０において、最近に撮影された予め定められた数の撮影画像を取得し、Ｓ２０において、それらの撮影画像を合成して顔認識に適する合成顔画像を作成する。そして、Ｓ３０にてその合成顔画像から特徴点（目や口といった器官）を抽出し、Ｓ４０にて抽出した特徴点に対し傾きや大きさを正規化した上で、その特徴点と顔登録部１７に記憶された顔特徴情報とマッチングさせることで顔認識を行なう。なお、この顔認識処理は予め定められた時間以内（例えば、１ｓｅｃ）で終了するものである。なお、この処理で顔認識できなかった撮影画像については、以降の処理において使用されないよう消去してもよい。
【００２９】
図８に戻る。Ｓ１０５では、Ｓ１０４の顔認識の結果、撮影された顔画像が登録されたユーザーの顔と一致するか否かを判定する。一致すれば、Ｓ１０６に進んで特定されたユーザーに係るユーザー特定情報をマスター制御装置２０に送信し、本プログラムを終了する。一致しなければ、Ｓ１０７に進む。
【００３０】
Ｓ１０７では、Ｓ１０４における顔認識処理が完了する十分な時間（例えば２ｓｅｃ）が経過したか否かを判定する。この予め定められた時間が経過していなければＳ１０４に戻る。経過していた場合にはＳ１０８に進み、照明装置１６を点灯させる。本実施形態においては、照明装置１６は、対応する撮影装置１５の視野内に存在する顔を互いに異なる方向から照明するものが複数設けられており、それら複数の照明装置１６が図７Ａに示すように一括して点灯する。これにより、被写体となる人物の顔を複数の照明装置により均一に照らし出すことができ、照明を点灯させてから用いて行なうユーザー認識処理の認識精度を高めることができる。なお、照明装置１６が、上記と同じように複数設けられた状態で、図７Ｂに示すように、照明方向が互いに異なるものとなるよう順次変更しながら点灯・消灯をさせてもよい。なお、この場合、二次顔撮影は、それぞれの照明装置１６の点灯状態に合わせて行われる。これにより、撮影される者の目への負担を低減する効果が生まれる。
【００３１】
照明装置１６が点灯状態となると、その点灯状態に応じて周期的に撮影装置１５による二次顔撮影が行なわれ、その撮影画像が制御部１１に入力され、再度顔認識処理を行なう。この二次顔撮影により得られた顔画像により行なわれる顔認識処理は二次ユーザー認識処理である。なお、上記の一次ユーザー認識処理と二次ユーザー認識処理とは同じ処理で行なわれるが、後者は照明装置１６を点灯させて撮影した撮影画像を用いるので、より認識し易くなっている。
【００３２】
Ｓ１０８にて照明装置１６が点灯すると、そこから予め定められた時間（例えば５ｓｅｃ）が経過するまで照明装置１６の点灯状態を継続し、予め定められた時間が経過してなおＳ１０４にて顔認識処理によるユーザー特定が完了しない場合にはＳ１１０に進み、顔認識ができなかったことをマスター制御装置２０に送信し、Ｓ１１１にて照明装置１６を消灯状態とした上で、本プログラムを終了する。なお、このプログラムは周期的に繰り返し実行される。
【００３３】
このプログラムによれば、露光不足等のため鮮明な撮影画像が得られずユーザー認識に仮に失敗しても、その結果を受けて照明光を点灯することにより、次回はユーザー認識に好都合な鮮明度を有した顔画像を確実に得ることができる。その結果、ユーザーを確実に特定することができる。また、失敗した場合にのみ照明光が点灯するので、無駄な点灯制御、点灯駆動がなされない利点もある。
【００３４】
なお、ユーザー認識プログラムは、図１０の流れのものであってもよい。このプログラムでは、撮影装置１５による顔撮影と、撮影された顔画像に基づくユーザー認識処理とを周期的に反復実行するとともに、ユーザー認識に一度成功した後、ユーザー認識処理のその後の反復過程においてユーザー認識に失敗した場合においても、当該失敗認識回数が予め定められた回数に到達するまでは該失敗認識結果を出力させないようにするものである。以下、図１０に示すユーザー認識プログラムの流れを説明する。
【００３５】
Ｓ２０１〜Ｓ２０５では上記図８のプログラムの（Ｓ１０１〜Ｓ１０５）と同一の処理が行なわれる。
【００３６】
Ｓ２０５では、Ｓ２０４の顔認識の結果、撮影された顔画像が登録されたユーザーの顔と一致するか否かを判定しており、一致すればＳ２０６に進む。Ｓ２０６では予め定められた制御部１１の予め定められた記憶領域に記憶される失敗認識回数ＮをＮ＝０にリセットする。そして、Ｓ２０７にて、過去に顔認識がなされたときに「１」がセットされる顔認識済みフラグＴをＴ＝１にセットして、Ｓ２０８で特定されたユーザーの特定ユーザー情報をマスター制御装置２０に送信し、本プログラムを終了する。
【００３７】
Ｓ２０５で、撮影された顔画像が登録されたユーザーの顔と一致しなかった場合にはければ、Ｓ２０９に進む。Ｓ２０９では、顔認識済みフラグＴが「１」であるか否かを判定し、「１」でない場合、即ち「０」である場合にはＳ２１３に進み、顔認識ができなかったことをマスター制御装置２０に送信して本プログラムを終了する。
【００３８】
Ｓ２０９で、顔認識済みフラグＴが「１」であった場合は、Ｓ２１０に進んで失敗認識回数ＮをＮ＝Ｎ＋１とする。Ｓ２１１では、Ｓ２１０の結果Ｎ＝３であるか否かを判定する。Ｎ＝３であった場合には、顔認識済みフラグＴをＴ＝０にセットしてＳ２１３に進み、顔認識ができなかったことをマスター制御装置２０に送信して本プログラムを終了する。Ｎ＝３ではない場合には、そのまま本プログラムを終了する。なお、このプログラムは周期的に繰り返し実行される。
【００３９】
このプログラムによれば、一度ユーザー認識がなされれば、予め定められた回数以内の失敗認識が合っても、これにより直ちに認識ＮＧ判定して、これを出力することはない。撮影対象への照明状態は対象姿勢・動作や環境光の状況に応じて随時代わるので、それが原因で認識ＮＧと認識ＯＫとが繰り返し出力されると、それをもとに制御を行なう側、本実施形態においてはマスター制御装置２０側の制御負荷が大きくなってしまうが、上記プログラムによれば、予め定められた回数の失敗認識では認識ＮＧ判定が外部に出力されないので、マスター制御装置２０側の制御負荷は低減される。
【００４０】
なお、ユーザー認識プログラムは、上記図８のプログラムのように、一次ユーザー認識処理と二次ユーザー認識処理とを実行し、かつ、上記図１０のプログラムのように、失敗認識回数が予め定められた回数に到達するまで失敗認識結果を出力させないようにプログラムが構成されていてもよい。これにより、上記プログラムの双方の効果を実現することが可能となる。
【００４１】
次に、顔認識装置１０を用いた自動車用制御システム１について説明する。
図１に示すように、マスター制御装置２０自身のＲＯＭに記憶された動作制御アプリケーションを実行することで、制御対象となる装置５１３，５４１，５１１，５１５等の動作を制御している。マスター制御装置２０は顔認識装置１０から入力されるユーザー認識結果（ユーザー特定情報）に応じてその制御内容を変更する。つまり、マスター制御装置２０は、認識したユーザーに応じた制御を実行する。
【００４２】
例えば、認識したユーザーに応じて、マスター制御装置２０がドアロック装置５１３を制御することができる。具体的には、車外撮影装置１５で撮影された顔画像により、顔認識装置１０側が予め登録されたユーザーであると認識した場合に、ドアロックを解除する制御を行なうことができる。
【００４３】
また、認識したユーザーに応じて、マスター制御装置２０がスライドドア装置５４１を制御することができる。具体的には、車外撮影装置１５で撮影された顔画像により、顔認識装置１０側が予め登録されたユーザーであると認識した場合で、その認識されたユーザーが子供又は老人であった場合には、スライドドアを自動オープンする制御を行なうことができる。
【００４４】
また、認識したユーザーに応じて、マスター制御装置２０が室内イルミネーション装置５１１を制御することができる。具体的には、撮影装置（特に車内撮影装置）１５で撮影された顔画像により認識されたユーザーに応じて、該ユーザーに対応付けて予め登録された室内イルミネーションの設定に切り替える制御を行なうことができる。
【００４５】
また、認識したユーザーに応じて、マスター制御装置２０が音楽再生装置５１５を制御することができる。具体的には、撮影装置（特に車内撮影装置）１５で撮影された顔画像により認識されたユーザーに応じて、該ユーザーに対応付けて予め登録された音楽リストに従い、音楽再生装置の再生制御を行なうことができる。
【００４６】
次に、自動車用制御システム１の具体的な実施形態の一例を説明する。
図１１は、本発明の自動車用制御システム１の一実施形態である、自動車用もてなし情報提供システムの機能が組み込まれた自動車用ユーザーもてなしシステム（以下、単に「もてなしシステム」ともいう）１の概念ブロック図である。該もてなしシステム１は、種々のもてなし動作部５０２〜５１７，５３４，５４１，５４８，５４９，５５０，５５１，５５２，１００１Ｂが接続された第一のコンピュータからなるもてなし実行制御部３と、種々のセンサ・カメラ群５１８〜５２８が接続された第二のコンピュータからなるもてなし意思決定部２とからなる自動車側搭載部１００Ａを、その要部とする形で構成されている。第一のコンピュータと第二のコンピュータは、いずれもＣＰＵ，ＲＯＭ，ＲＡＭを備え、ＲＯＭに格納された制御ソフトウェアを、ＲＡＭをワークメモリとして実行することにより、後述の種々の機能を実現する。
【００４７】
なお、もてなし意思決定部２の一部には、図１に示す上記実施形態における顔認識装置１０が顔認識部１０として組み込まれており、同じく上記実施形態におけるマスター制御部２０は、当該顔認識部１０を除くもてなし意思決定部２及びもてなし実行制御部３に相当するものである。顔認識部１０を含むもてなし意思決定部２には、ユーザー認識用に次のようなセンサ・カメラ群が接続されている。
・車外用カメラ５１８（上記実施形態における車外撮影装置１５に相当する）：自動車に接近してくるユーザーの姿を撮影する。ユーザーの仕草や顔の表情などを静止画ないし動画として取得する。遠距離のユーザーを撮影する又はユーザーの顔部分のみを拡大して撮影するために、望遠レンズを用いた光学式ズーム方式や、撮影画像をデジタル的に拡大するデジタルズーム方式を併用することができる。
・顔カメラ５２１（上記実施形態における車内撮影装置１５に相当する）：着座したユーザーの顔の表情を撮影する。この実施形態においては、バックミラー等に取り付けられ、フロントグラス側から運転者を斜め上方から、シートに着座したユーザー（運転者）の顔を含む上半身を撮影するものとする。助手席側も同様にバックミラー等に取り付けられる。後部座席側は上記実施形態と同様に取り付けられる。取り付けられた顔カメラからは、それぞれに対応する座席の搭乗者の上半身を撮影できる。その撮影画像から顔部分の画像を切り出し、ユーザーの種々の表情を予め撮影して用意されたマスター画像と比較することにより、ユーザーの顔認証のみならず、人以外の荷重源が載置された場合と、人が着座した場合とを相互に区別でき、さらには、着座したユーザーの種々の表情の特定も可能である。
【００４８】
また、顔認識部１０を含むもてなし意思決定部２には、撮影装置１５の撮影領域内に存在する撮影対象、又は当該撮影領域内に接近する撮影対象を検出する次のようなセンサ・カメラ群が接続されている。このセンサ・カメラ群の撮影対象の検出が、一次顔撮影処理実行のトリガーとなる。
・着座センサ５２０（上記実施形態における撮影対象検出部３１に相当する）：ユーザーが座席に着座したか否かを検出する。自動車のシートに埋設される近接スイッチ等で構成することができる。なお、感圧センサを用いることもできる。この場合、感圧センサをシートに装着することで、シート上でのユーザーの動作を検出することも可能となる。
・ドアカーテシスイッチ５３７（上記実施形態における撮影対象検出部３１に相当する）：ドアの開閉を検知する。乗り込みシーン及び降車シーンへの移行を検出する、シーン推定情報取得手段として使用される。
【００４９】
なお、ユーザー側端末装置（携帯電話）１００に位置情報を取得するための周知のＧＰＳを設け、これも車両側のＧＰＳ５３３とともに撮影対象検出部として機能する。
【００５０】
また、その他にもセンサ・カメラ５１９、５２２〜５２８を有し、これらはシーン推定情報取得手段や生体状態検出部として機能する。
【００５１】
もてなし意思決定部２には、エンジン始動を検知するためのイグニッションスイッチ５３８の出力も分岐入力されている。また、車内の明るさレベルを検出する照度センサ５３９、車内の音響レベルを測定する音圧センサ５４０も、もてなし意思決定部２に同様に接続されている。
【００５２】
また、もてなし意思決定部２には、タッチパネル（図２０に示すカーナビゲーション装置５３４のモニターに重ねられたタッチパネルで兼用してもよい：この場合は、入力情報はもてなし実行制御部３からもてなし意思決定部２に転送される）等で構成された入力部５２９と、もてなし動作情報記憶部として機能するハードディスクドライブ等で構成された記憶装置５３５とが接続されている。
【００５３】
なお、ユーザー認識処理の方法は、図１に示す上記実施形態と同様である。撮影対象検出部３１に相当するセンサが撮影対象（人）を検出している状態で、一次顔撮影又は二次顔撮影がなされ、撮影された画像から得られる顔特徴情報とユーザー登録部（顔登録部）１７（もてなし意思決定部２のＲＯＭの一部記憶領域：図１１参照）に記憶された顔特徴情報（マスター情報）とを比較し、ユーザー特定を行う。
【００５４】
ここで、自動車用もてなし情報提供システム１におけるユーザー登録について説明する。自動車のユーザーは、ユーザー登録部１７（例えば、もてなし意思決定部２のＲＯＭ（書換えが可能となるように、フラッシュＲＯＭで構成しておくことが望ましい）：上記した実施形態における顔登録部を有する）や記憶装置５３５に予め登録しておくことができる。このユーザー登録部１７には、図１２に示すように、各ユーザー名（あるいは、ユーザーＩＤ（及び暗証番号）と、その顔画像（ユーザー認識用のマスター顔画像）とを互いに対応付けられた形で登録されている。
【００５５】
具体的には、図１１のモニター５３６（カーナビゲーション装置５３４のモニターで代用してもよい）に、表情特定が可能な正面画像が得られるよう撮影角度に関する注意事項を表示した上で、座席に着座したユーザーを撮影装置１５（ここでは車内撮影装置１５を用いる）により撮影する。そして、撮影されたユーザー認識用のマスター顔画像をユーザー名（ユーザー特定情報）に対応付けてユーザー登録部１７に記憶する。なお、撮影した顔画像により正しく顔認識処理が行なえるか確認するステップを設け、正しく認識されなかった場合には画像で再度撮影を行なうようにしてもよい。
【００５６】
また、本実施形態においては、図１２に示すように、各ユーザー名に対し、各ユーザーの年齢、性別、さらに性格種別（図１６参照）を互いに対応付けて登録する。性格種別は、前述のごとく、ユーザーによる自動車使用継続中に、特定の操作部における操作履歴情報として取得・蓄積し、その蓄積された操作履歴情報に基づいて推定されるものである。しかし、自動車の使用開始直後など、操作履歴情報の蓄積が不十分な場合、あるいは、操作履歴情報を敢えて収集せずに性格種別を推定したい場合は、次のように、性格種別情報又は該性格種別情報を特定するために必要な情報を、ユーザー自身により入力させ、その入力結果に基づいて性格種別を決定するようにしてもよい。
【００５７】
まず、図２２に示すように、図１１のモニター５３６（カーナビゲーション装置５３４のモニターで代用してもよい）に性格種別を表示し、ユーザーは自分に適合する性格種別を選んで、入力部５２９からこれを入力する方法がある。ここでは、入力部はモニター５３６に重ねられたタッチパネルであり、表示形成された選択ボタン５２９Ｂに触れて選択入力を行なう。他方、図２３に示すように、性格種別を直接入力させる代わりに、性格種別判定のためのアンケート入力を行なう方法もある。この場合、モニター５３６にアンケートの質問事項を表示し、ユーザーは回答選択肢から回答を選ぶ形で答える（ここでは、画面上の選択ボタンで選択肢を構成し、この上に重ねられたタッチパネルの該当位置に触れて選択入力を行なう）。全ての質問に回答することで、その回答の組み合わせに応じて予め定められた性格種別群から、１つのものが一義的に決定されるようになっている。
【００５８】
そして、ユーザー名（ユーザー特定情報）を含めたユーザー登録入力は、上記の入力部５２９からなされ、撮影された顔画像及び決定された性格種別とともにユーザー登録部１７に記憶される。また、これらの一連の入力は、携帯電話１から行なうことも可能であり、この場合は、その入力情報を無線により自動車側に転送する。また、ユーザーが自動車購入する際に、入力部５２９か専用の入力ツールを用いて、ディーラー側で事前にユーザー登録入力を済ませておく方法もある。この場合、ユーザー名と、年齢、性別も合わせて入力し、ユーザー登録情報として互いに対応付けて記憶しておく。また、前述のように、そのユーザーの性格種別が特定できた場合は性格コードも合わせて登録しておく。これにより、登録ユーザーの認証を顔画像の撮影（一次顔撮影及び二次顔撮影）により行ない、登録ユーザーに応じたもてなし動作を実行できるとともに、実行されるもてなし動作の実行・選択に、認識されたユーザーの性格種別を反映させることも可能となる。
【００５９】
上記のもてなしシステム１においては、ユーザーが自動車に向けて接近し、該自動車に乗り込み、該自動車を運転し又は車内にて滞在し、その後、降車に至るまでのユーザーの自動車利用に係る一連の動作が、予め定められた複数のシーンに区切られる。そして、区切られた複数のシーン毎に、もてなし動作部５０２〜５１７，５３４，５４１，５４８，５４９，５５０，５５１，５５２，１００１Ｂが、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なう。本実施形態では、車外への音波発生装置としてホーン５０２、ブザー５０３が接続されている。また、照明装置（ランプ類）としては、ヘッドランプ５０４（ビームをハイとローとで切り替え可）、フォグランプ５０５、ハザードランプ５０６、テールランプ５０７、コーナリングランプ５０８、バックアップランプ５０９、ストップランプ５１０、室内照明５１１及び床下ランプ５１２が接続されている。また、他のもてなし動作部として、エアコン５１４、カーオーディオシステム（カーステレオ）５１５、電動シート５１６及びサイドミラーやバックミラーなどの角度調整用の駆動部５１７、カーナビゲーション装置５３４、ドア開閉用のアシスト機構（以下、ドアアシスト機構という）５４１、車内に芳香剤を放出する芳香発生部５４８、重度体調不良（重度の眠気を催した状態を含む）に対する気付け・覚醒用のアンモニア発生部５４９（運転用のハンドルの中心部に、運転者の顔付近を目指す形でアンモニアを噴出するように取り付けられている）、運転者に注意喚起したり眠気から覚醒させるためのシートバイブレータ５５０（シート底部あるいは背もたれ部に埋設される）、ハンドルバイブレータ５５１（ハンドルの軸に取り付けられている）、車内騒音低減用のノイズキャンセラ１００１Ｂが接続されている。また、もてなし実行制御部３には、自動車位置情報を取得するためのＧＰＳ５３３（カーナビゲーション装置５３４においても使用する）、ブレーキセンサ５３０、車速センサ５３１及び加速度センサ５３２も接続されている。
【００６０】
なお、シーンは、本実施形態では、接近シーンＳＣＮ１、乗り込みシーンＳＣＮ２、準備シーンＳＣＮ３、運転／滞在シーンＳＣＮ４、降車シーンＳＣＮ５及び離脱シーンＳＣＮ６が、時系列的にこの順序で設定されている。
【００６１】
接近シーンＳＣＮ１の特定は、後述するごとく、ユーザー側端末装置１００のＧＰＳと、自動車側のＧＰＳ５３３とにより、自動車と、当該自動車外に位置するユーザーとの相対距離及びその変化を特定し、ユーザーが自動車へ予め定められた距離以内に接近したことを検出することで行なう。乗り込みシーンＳＣＮ２と降車シーンＳＣＮ５とは、ドアカーテシスイッチ５３７のドア開検知出力に基づいて特定する。ただし、単にドア開の情報だけでは乗り込みシーンか降車シーンかを特定できないから、もてなし意思決定部２のＲＡＭ内に、現在シーン特定情報を記憶保持する現在シーン特定情報記憶手段として、シーンフラグを設けることで対応するようにしている。シーンフラグは各シーンに対応した個別シーンフラグを有し、時系列順に到来順序が定められた各シーンが到来する毎に、そのシーンに対応するフラグを「到来（フラグ値１）」に設定してゆく。シーンフラグにて、値が「１」になっているフラグの最新のもの（「１」フラグ列の末尾のもの）を特定することで、現在どのシーンまで進んできているかを特定できる。
【００６２】
また、準備シーンＳＣＮ３と運転／滞在シーンＳＣＮ４とは、いずれも前述の着座センサがユーザーを検出しているか否かにより特定するが、自動車に乗り込んでイグニッションスイッチ５３８がＯＮになるまでの間、あるいは、イグニッションスイッチ５３８がＯＮにならず、かつ一定以上の着座継続が確認されるまでの間は、準備シーンとして認識される。また、離脱シーンＳＣＮ６への移行は、降車シーンＳＣＮ５のあと、ドアカーテシスイッチ５３７がドア閉を検知することで識別される。
【００６３】
各シーンにおけるもてなし動作は、対応するもてなし動作部の動作制御アプリケーションにより制御される。もてなし意思決定部２側で決定されたテーマがもてなし実行制御部３に通知され、そこで対応するシーンの動作制御アプリケーションが読み出され、実行される。動作制御アプリケーションの実行に際しては、各もてなしテーマのもとで統括されている複数のもてなし動作に対し、ユーザーが当該もてなしを指向する度合いに応じて採用の優先順位が予め定められており、各シーンにおいて、用意された前記複数のもてなし動作のうち、その優先順位の高いものから選択される。
【００６４】
上記構成を有するもてなしシステムにおいては、もてなし意思決定部２の顔検出部１０がユーザー特定情報を出力し、その内容に応じてどのもてなし動作部にどのようなもてなし動作をさせるかを決定して、これをもてなし実行制御部３に指令する。もてなし実行制御部３は、これを受けて、対応するもてなし動作部５０２〜５１７，５３４，５４１，５４８，５４９，５５０，５５１，５５２，１００１Ｂにもてなし動作を実行させる。すなわち、もてなし意思決定部２ともてなし実行制御部３とが互いに協働して、取得されたユーザー生体状態情報の内容に応じてもてなし動作部５０２〜５１７，５３４，５４１，５４８，５４９，５５０，５５１，５５２，１００１Ｂの動作内容を変化させる機能を実現する。
【００６５】
以下、もてなし実行制御部３により制御される上記もてなし動作部５０２〜５１７，５３４，５４１，５４８，５４９，５５０，５５１，５５２，１００１Ｂのうち、上記顔認識部１０から出力されるユーザー特定情報に基づいて制御がなされるものについて説明を行なう。
【００６６】
まず、もてなし動作としての室内イルミネーションについて説明する。室内イルミネーションにおいては、車両側に登録された登録ユーザー毎に室内イルミネーション用の点灯条件（点灯色・点灯パターン等）が設定されており、顔認識部１０によりユーザーが認識されると、予め定められたシーンの到来とともに、認識された登録ユーザーに応じた点灯条件で室内照明５１１が点灯する。
【００６７】
図１３は、室内照明５１１の構成例を示すもので、各々固有の照明色からなる複数の照明部（本実施形態では、赤色系照明５１１ｒ、アンバー系照明５１１ｕ、黄色系照明５１１ｙ、白色系照明５１１ｗ及び青色系照明５１１ｂからなる）を有する。これらの照明は、もてなし意思決定部２からもてなし実行制御部３を経て入力される制御指令信号を受けて、指定されたものが選択され、制御指令信号に従い種々の点灯パターンにて点灯制御される。点灯色及び点灯パターンは、登録ユーザー毎に設定されている。図１４は、登録ユーザー毎に設定された点灯設定条件（点灯制御データ）の構成例を示すもので、もてなし意思決定部２のＲＯＭに記憶されている。例えば、ユーザー１（図１２参照）に対しては、赤色系照明５１１ｒを選んでこれをフラッシュ点灯（最初のみ、その後連続点灯）させ、ユーザー２に対しては、アンバー系照明５１１ｕを選んでフェードイン点灯させる、などであるが、これはほんの一例である。室内照明５１１の点灯は、顔認識部１０によりユーザーが認識されると該顔認識部１０からユーザー特定情報が出力され、もてなし意思決定部２がその入力を受けてユーザーが特定され、さらに、対応するシーンが到来すると、もてなし意思決定部２が、入力されたユーザー特定情報に対応する点灯設定条件をＲＯＭから読み出し、もてなし実行制御部３に点灯指令信号及び点灯条件信号を出力し、もてなし実行制御部３が、対応する照明部に対し制御指令信号を出力して、照明部を発光させる。なお、ＲＯＭに記憶される点灯条件設定は、入力部５２９からの入力操作によってカスタマイズ可能であり、点灯色・点灯パターンをユーザーが任意に設定することができる。
【００６８】
なお、照明装置は、白熱電球、蛍光ランプのほか、発光ダイオードを用いた照明装置を採用することも可能である。特に、赤色系（Ｒ）、緑色系（Ｇ）、青色系（Ｂ）の３原色の発光ダイオードを組み合わせることにより、種々の照明光を簡単に得ることができる。各色の発光ダイオードへの指令信号の入力波形は、各々独立に変更可能であり、３つの発光色の混合比率に応じて任意の色調の照明色が得られ、また、色調や照明強度パターンを、指令信号の入力波形に応じて経時的に変化させることも可能である。なお、各色の発光ダイオードの発光強度は、ＰＷＭ制御する方式のほか、連続点灯を前提として駆動電流レベルにて調整することも可能であるし、これとＰＷＭ制御とを組み合わせた方式も可能である。
【００６９】
この室内イルミネーションを接近シーンＳＣＮ１において実行することで、自動車に搭載された照明類を、ユーザーの出迎え演出のためのイルミネーションとして使用でき、気分高揚等に寄与する。また、夜間や暗所の場合、駐車した自動車の位置を把握しやすくできる利点も生ずる。離脱シーンＳＣＮ６において実行してユーザーの見送り演出を行なってもよい。
【００７０】
また、この場合、照明装置として、自動車に搭載された自動車外空間を照らし出す他の照明装置（ヘッドランプ、テールランプ、ハザードランプなど：室内灯も窓ガラスを介した漏洩により車外空間を照らすことができる）を加えてもよい。これにより上記効果は一層増す。
【００７１】
また、もてなし制御部は、既に動作中のもてなし動作部の停止、及び未動作のもてなし動作部の動作開始の少なくともいずれか（当然、両者の組み合わせである、複数のもてなし動作部間での動作切り替えを含む）に基づいて、ユーザーと自動車との距離に応じてもてなし動作部の動作内容を段階的に変化させるものとして構成することができる。この構成によると、ユーザーと自動車との距離に適当な閾値を定め、閾値を超えて自動車に接近するかどうかの簡単な判定で、個々のもてなし動作部を単位として動作／非動作の切り替え制御を行なえばよく、上記効果を比較的軽量な制御処理にて達成することが可能となる。
【００７２】
上記照明装置によるもてなし動作の場合、もてなし制御部は、ユーザー側端末装置と自動車との距離が縮小するにつれて総照明光量が減少するように、照明装置を点灯制御することができる。自動車までの距離が長い段階では、総照明光量を高めることで、自動車までの間に障害物等の異常がないかをより把握しやすくすることができ、自動車までの距離が縮小すれば、必要な視野だけを照らすことができるよう、光量を少なくすれば無駄を排除することができ、また照明光源に接近したときの眩しさも軽減できる。
【００７３】
次に、もてなし動作として機能するカーオーディオシステムについて説明する。カーオーディオシステムでは、車両側に記憶される選曲実績記憶部４０３（図１１の記憶装置５３５内に形成されている）の実績を反映する形で再生される曲に係るもてなし用曲演奏制御情報（曲特定情報やボリュームコントロール情報を含む）が作成され、予め定められたシーンの到来とともに、該曲リストに基づいて曲の再生が実行される。
【００７４】
図１５は、カーオーディオシステム５１５の構成例を示すもので、もてなし意思決定部２からもてなし実行制御部３を経て、曲特定情報やボリュームコントロール情報などの、もてなし用曲演奏制御情報が入力されるインターフェース部５１５ａを有する。該カーオーディオシステム５１５も、本発明の自動車用もてなし情報提供装置の機能出力部分を担うものであり、インターフェース部５１５ａには、デジタルオーディオ制御部５１５ｅ、多数の音楽ソースデータを格納した音楽ソースデータベース５１５ｂ，５１５ｃ（前者はＭＰＥＧ３データベース、後者はＭＩＤＩデータベース）が接続されている。曲特定情報に基づいて選曲された音楽ソースデータはインターフェース部５１５ａを経てオーディオ制御部５１５ｅに送られ、そこでデジタル音楽波形データにデコードされ、アナログ変換部５１５ｆでアナログ変換された後、プリアンプ５１５ｇ及びパワーアンプ５１５ｈを経て、もてなし用曲演奏制御情報により指定されたボリュームにてスピーカー５１５ｊから出力される。
【００７５】
図１６は、上記音楽ソースデータのデータベース構造の一例を示すもので、曲ＩＤ、曲名及びジャンルコードと対応付ける形で音楽ソースデータ（ＭＰＥＧ３又はＭＩＤＩ）が記憶されている。また、各音楽ソースデータには、その音楽を選曲したユーザーについて推定される性格種別（「活動的」、「おとなしい」、「楽観的」、「悲観的」、「頽廃的」、「体育会系」、「知性派」、「ロマンチスト」など）を示す性格コード、同じく年齢コード（「幼児」、「子供」、「ジュニア」、「青年」、「壮年」、「中年」、「熟年」、「敬老」、「年齢無関係」など）、性別コード（「男性」、「女性」及び「性別無関係」）が個々に対応付けて記憶されている。性格コードはユーザー性格特定情報の一つであり、年齢コード及び性別コードは、性格とは無関係なサブ分類である。ユーザー特定情報からユーザーの性格が特定できても、年齢層や性別に合わない音楽ソースを選択したのでは、ユーザーを楽しませる「もてなし」としての効果は半減する。従って、ユーザーに提供する音楽ソースの適性をより絞り込むために、上記のようなサブ分類付与は有効である。
【００７６】
一方、各音楽ソースデータには、曲モードコードも個々に対応付けて記憶されている。曲モードコードは、その曲を選曲したユーザーの精神状態や体調と、当該曲との連関を示すデータであり、本実施形態では、「盛り上げ系」、「爽快系」、「温和・癒し系」、「ヒーリング・α波系」等に分類されている。なお、性格種別コード、年齢コード、性別コード、ジャンルコード及び曲モードコードは、各ユーザーに固有のもてなし内容を選定する際に参照するデータなので、これらを総称してもてなし参照データと呼ぶことにする。
【００７７】
カーオーディオシステム５１５には、ユーザーが手動で操作する操作部５１５ｄ（図１５）が設けられ、ここからの選曲データの入力により、所望の音楽ソースデータを読み出して演奏することもできる。また、操作部５１５ｄからのボリューム／トーンコントロール信号は、プリアンプ５１５ｇへ入力される。この選曲データは、インターフェース部５１５ａから、図１１のもてなし実行制御部３を経てもてなし意思決定部２へ転送され、これに接続された記憶装置５３５に選曲実績データ４０３（図１７）として蓄積される。予め定められたシーンが到来すると、もてなし意思決定部２がその蓄積内容に基づいて曲リストを作成し、その曲リストに含まれる曲の再生が順次行なわれる。なお、もてなし意思決定部２が１曲ずつ順次曲を選択するものであってもよい。
【００７８】
ただし、もてなし意思決定部２が自動選択した曲が気に入らなければ、ユーザーは操作部５１５ｄ（図１５）からの入力により、いつでも好きな曲に演奏を切り替えることができる。ユーザーが自身で選曲した場合は、図１７に示すように、そのユーザーの特定情報（ユーザー名あるいはユーザーＩＤ）と、選曲された音楽ソースデータのＩＤと、前述のもてなし参照データ（性格種別コード、年齢コード、性別コード、ジャンルコード及び曲モードコード）とが互いに対応付けられた形で、選曲実績記憶部４０３に記憶される。本実施形態では、選曲の日時、ユーザーの性別及び年齢も合わせて記憶されている。
【００７９】
選曲実績記憶部４０３には、図１８に示すように、登録ユーザー別に、その選曲実績の統計情報４０４（図１１の記憶装置５３５に記憶されている）が作成される。この統計情報４０４では、選曲データが、性格コード別（ＳＫＣ）にカウントされ、どの性格種別の曲が最も多く選曲されたかが数値パラメータとして特定される。最も単純な処理としては、選曲頻度が最も高い性格種別を、そのユーザーの性格として特定することが可能である。例えば、統計情報４０４に蓄積されている選曲実績数が一定レベルに到達すれば、例えばユーザー入力により初期設定された性格種別を、統計情報４０４から上記のごとく導かれた性格種別と置き換えるようにすればよい。
【００８０】
この音楽再生を、準備シーンＳＣＮ３や運転／滞在シーンＳＣＮ４の到来に基づいて実行する、又はユーザーの操作部５１５ｄの操作に基づいて実行することで、自動車に搭載されたカーオーディオ機器をより快適に利用することができる。また、接近シーンＳＣＮ１（又は離脱シーンＳＣＮ６）において実行することで、ユーザーの出迎え（見送り）演出を行なうことができ、ユーザーの精神状態の向上ないし改善に寄与する。
【００８１】
次に、ドアアシスト機構５４１について説明する。ドアアシスト機構５４１では、車両側に登録ユーザー毎に記憶される年齢情報（年齢コード）に基づいて、ドア開閉時におけるアクチュエータ（ドアアシストモータ）の駆動トルクを制御する。
【００８２】
自動車には、図３Ｂに示すように、乗降用のスイング式ドア（以下、単に「ドア」ともいう）１１０１が、乗降口の一縁にドア旋回軸（図示なし）を介して取り付けられている。ドア１１０１は、手動操作により乗降口を閉塞する閉塞位置から任意の角度位置へ開放可能とされている。そして、この手動によるドア開操作が、モーター（アクチュエータ：図示なし）によりパワーアシストされる。本実施形態では、ドア１１０１とともに回動するドア旋回軸（図示なし）に対し、モーターの回転出力を、減速ギア機構を介してトルクアップしつつ、旋回軸にドア開閉アシストの回転駆動力として直接伝達するようにしている。
【００８３】
ドアアシスト機構５４１は、ドアの開操作時に、該ドアと干渉する車外の障害物を検出する障害物検出手段（例えば周知の近接スイッチ、反射式光学センサ（赤外線式を含む）あるいは超音波センサなどの障害物センサ）を有し、また、アクチュエータ制御手段は、障害物が検出されていない場合には、ドア開操作時において、アクチュエータによりドア開方向の正アシスト力が生ずる通常アシストモードとなり、障害物検出手段が障害物を検出した場合には、ドア開操作時において、ドアが乗降口を塞ぐ閉位置から障害物に衝突する衝突位置に至るドア旋回区間の少なくとも途中位置まではドアの開操作を可能としつつ、障害物とドアとの衝突は抑制される衝突抑制モードとなるように、アクチュエータによるドアアシストを制御するものとして構成される。
【００８４】
アクチュエータは正逆両方向に回転可能なモーターであり、本実施形態ではＤＣモータにより構成されている（もちろん、インダクションモータ、ブラシレスモータ、ステッピングモータなど、他の種類のモーターを用いてもよい）。アクチュエータ制御手段は、正アシストモードではモーターを正方向に回転させ、逆アシストモードではモーターを逆方向に回転させるものであり、本実施形態では、プッシュプルトランジスタ回路を用いた双方向リニア制御型のモータドライバがアクチュエータ制御手段を構成している。
【００８５】
なお、ドア１１０１は、周知のごとく、車外側操作ノブ及び車内側操作ノブのいずれによっても開閉操作が可能であり、ロックボタンを倒すと、周知のドアロック機構５１３により、車内外のノブによるドア開閉操作が不能となる。このドアロック機構５１３がロック状態になったときはモーターを駆動停止するようにしている。
【００８６】
ドアロック機構５１３は、ロック部の要部は、ドア１１０１の旋回軸に設けられたドア側係合部（本実施形態では雄スプライン）と、車体側に固定され、該ドア側係合部に対し旋回軸の旋回角度に応じた任意の角度位相にて着脱可能に係合し、係合状態の角度位相にて旋回軸の旋回をロックする車体側係合部（本実施形態では雌スプライン）とを有する。車体側係合部は、旋回軸の軸線方向においてドア側係合部に対し接近・離間可能に設けられ、接近時に車体側係合部とロック係合状態となり、離間時にロック解除となる。本実施形態においては、この接近・離間機構を周知のソレノイド機構（シリンダ機構等でもよい）にて構成している。ロック部は、障害物検出手段が障害物を検出したときのドア角度位置に応じて（つまり、障害物の位置に応じて）、限界角度位置が可変に定まる。これにより、自動車に対する障害物の相対距離に関係なく、開操作によりドアが近づいてくれば、障害物に当たらないようにドア開操作が妨げられる。
【００８７】
ドアアシスト機構５４１には、ドア１１０１の操作力を検出するトルクセンサ等の操作力検出部１００２が設けられ、アクチュエータ制御手段により、正アシストモードにおいて、操作力検出部１００２が検出するドア操作力が小さくなるほど、正アシスト力が大きくなるようにアクチュエータの動作を制御する。つまり、もてなし意思決定部２は、乗り込みシーンＳＣＮ２又は降車シーンＳＣＮ５が到来した場合に、乗り込み又は降車するユーザーを認識するとともに、認識されたユーザーの年齢情報（年齢又は年齢コード（「幼児」、「子供」、「ジュニア」、「青年」、「壮年」、「中年」、「熟年」、「敬老」、「年齢無関係」などにより分類））を取得し、取得した年齢情報に基づいて、力が弱いと推定される年齢の人がドア１１０１を開こうとする場合は、対応するドアのモーターによる正アシスト力が強く作用して楽にドア１１０１を開くことができる。他方、力が強いと推定される年齢の人が強くドアを開こうとする場合は、正アシスト力は比較的弱く働くことになる。例えば、外部からの操作力によるドア開トルクと正アシスト力によるドア開トルクとの合計がほぼ一定になるように制御すれば、誰が操作してもドア１１０１をほぼ一定の標準トルクで開くことができる。
【００８８】
なお、上記のようなアシスト機構を有したスイング式ドアを採用する態様に代え、周知の電動自動開閉機構ないしアシスト機構を備えた図３Ｂの電動スライド式ドア１１０２にも採用することも可能である。
【００８９】
次に、ユーザー側端末装置１００によるもてなし動作について説明する。携帯電話機１００では、登録ユーザー毎に車両に接近したときに流れる音情報（音楽、効果音、声等）を設定し、再生することができる。
【００９０】
次に、ユーザー側端末装置１００は、本実施形態では携帯電話として構成されている（以下、「携帯電話１」ともいう）。携帯電話１は、液晶ディスプレイ等で構成されたモニター、キーボードからなる入力部、送話器及び受話器等を備えている。また、その側面には脈拍センサ（心拍センサ）３４２も設けられている。
【００９１】
図１９は、携帯電話１の電気的構成の一例を示すブロック図である。回路の要部は、入出力部１３１１と、これに接続されたＣＰＵ３１２、ＲＯＭ３１４、ＲＡＭ３１３等からなる制御部３１０を含む。入出力部１３１１には、入力部３０５、オンフック／オフフック切換スイッチ３０６が接続される。また、受話器３０３はアンプ３１５とＤ／Ａ変換器３１６を介して、送話器３０４はアンプ３１７とＡ／Ｄ変換器３１８を介して、それぞれ入出力部１３１１に接続されている。さらに、入出力部１３１１には、携帯電話１の位置情報を取得するための周知のＧＰＳ５５４が接続されている。
【００９２】
本実施形態では、ユーザー側端末装置１と自動車との距離及び方位関係を把握するために、自動車側のＧＰＳ５３３（図１１）に加えてユーザー側端末装置１にもＧＰＳ５５４を設けることで、ユーザー側端末装置１が自立的にその位置情報を取得できるようにしておき、その端末位置情報を、無線通信網を介して自動車側に送信する方式を採用している。これにより、自動車側では、自身に接続されたＧＰＳ５３３による正確な自動車位置と、ユーザー側端末装置１から受信したＧＰＳ５５４による正確な端末位置との双方を取得でき、ユーザー側端末装置１と自動車との距離及び方位関係を極めて正確に把握することができる。また、ユーザー側端末装置１と自動車との距離変化や接近方向変化も事実上リアルタイムに把握できる。
【００９３】
次に、携帯電話１には、着信音出力や音楽演奏のために、次のような機能が設けられている。すなわち、無線受信によりダウンロードした着信音データや音楽データ（ＭＰＥＧ３データあるいはＭＩＤＩデータ：着信音としても使用される）が、音データ用フラッシュＲＯＭ３１６に格納される。ＭＩＤＩデータの場合、ＭＩＤＩコードに従い音色、音高、音長及びテンポ等が記述された楽音データが楽音合成部３５７に送られる。楽音合成部３５７では、その楽音データをバッファリングしつつ、音源として機能する波形ＲＯＭ３５８から、指定された音色の波形データを読み出し、ＭＩＤＩコードの規定する音高となるように周波数変換して、規定されたテンポに従い順次これをデジタル波形データとして出力する。出力されたデジタル波形データは、アナログ変換回路３５９及びアンプ３５０を経てスピーカー３１１から出力される。なお、ＭＰＥＧ３等の圧縮波形データからなる音データの場合は、デコード処理を経てアナログ変換回路３５９及びアンプ３５０を経てスピーカー３１１から出力される。なお、本実施形態では、楽音合成部３５７による音声出力のタイミング情報がシーケンサ３５２に入力され、ＰＷＭユニット３５３を経てバイブレータユニット３５４及びＬＥＤユニット３５５を音楽と同期駆動し、携帯電話１での音出力によるもてなし効果を、振動及びＬＥＤ発光と組み合わせてさらに高める工夫がなされている。
【００９４】
ユーザーが自動車に接近する際には、上記のような照明装置以外に、携帯電話１（ユーザー側端末装置）に設けられたスピーカー（音声出力部）３１１をもてなし動作部として使用することもできる。この場合、自動車側の通信装置４は、携帯電話１すなわちユーザーの接近を検出し、そのユーザーに対応する性格種別（つまり、取得されたユーザー生体状態情報）に応じて異なる出力内容にてスピーカー３１１からもてなし用音声を出力させる。本実施形態において、もてなし用音声データは音楽ソースデータとするが、効果音や人間の声（いわゆる着声あるいは着ボイスと称されるもの）のデータであってもよい。このもてなし用音声データは、図１１に示す自動車側の記憶装置５３５に記憶しておき、必要なものを携帯電話１に通信装置４を介して配信するようにしてもよいし、携帯電話１側の音データ用フラッシュＲＯＭ３１６に記憶させても、いずれでもよい。ここでは、後者の場合を例に取り説明する。
【００９５】
まず、顔認識部１０によりユーザーが認識されると該顔認識部１０からユーザー特定情報が出力され、もてなし意思決定部２はその入力を受けてユーザーを特定する。ユーザーが特定され、さらに対応するシーン（接近シーンＳＣＮ１）が到来すると、そのユーザーに対応するもてなし用音声データのＩＤ（音データ用フラッシュＲＯＭ３１６に記憶されている）を、携帯電話１から無線により取得する（ここでは、ＭＩＤＩデータを用いた場合を例に取る）。次に、そのＩＤに対応する音楽ソースデータを選択し、携帯電話１で演奏を開始する。なお、ユーザーの接近距離に応じたもてなし用音声データが設定されている。また、バイブレータユニット３５４及びＬＥＤユニット３５５を音楽と同期駆動し、音出力によるもてなしをより盛り上げてもよい。また、自動車側の照明装置を、音楽に連動させて明滅させるようにしてもよい。さらに、いよいよユーザーが自動車に乗り込む寸前にまで近づいたときには、パワーウィンドウを作動させて窓を開いて、携帯電話１の演奏と同期出力し、盛り上げ効果をさらに高めてもよい。さらに、自動車側では、ＭＩＤＩデータの主旋律部分の音程コードを、携帯電話１側の主旋律部分に対し、協和音程を形成する度数だけ低く（又は高く）なるように変更して出力させれば、携帯電話１の出力とカーオーディオシステム５１５の出力とをハモらせることができるし、ＭＩＤＩデータの主旋律部分の出力タイミングを、携帯電話１側の主旋律部分に対し、一定拍数遅らせる（又は進ませる）ように変更して出力させれば、携帯電話１の出力とカーオーディオシステム５１５の出力との間で輪唱効果を達成することもできる。
【００９６】
カーナビゲーション装置５３４について説明する。カーナビゲーション装置５３４においては、車両側に登録された登録ユーザー毎に設定された設定情報を、例えばカーナビゲーション装置の目的地設定等に適用することが可能となる。
【００９７】
図２０は、図１１のカーナビゲーション装置５３４の構成例を示すブロック図である。カーナビゲーション装置５３４は、本発明の自動車用もてなし情報提供装置の機能出力部分を担うものであり、位置検出器１０１、地図データ入力器１０６、操作スイッチ群１０７、リモートコントロール（以下リモコンと称する）センサ１１１、音声案内などを行なうスピーカー１１５、フラッシュメモリ等で構成された不揮発性メモリ１０９、ＬＣＤ等からなるモニター１１０、これらの接続された主制御部をなす情報系ＥＣＵ５１、リモコン端末１１２及び主記憶装置をなすハードディスク装置１２１等を備えている。不揮発性メモリ１０９には、自動車の履歴情報等のナビゲーション装置の動作に必要な情報およびデータが記憶されている。
【００９８】
位置検出器１０１は、周知の地磁気センサ１０２、ジャイロスコープ１０３、距離センサ１０４、および衛星からの電波に基づいて自動車の位置を検出するＧＰＳのためのＧＰＳ受信機１０５を有している。これらのセンサ等１０２，１０３，１０４，１０５は各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。なお、精度によっては前述したうちの一部のセンサで構成してもよく、さらに、ステアリングの回転センサや各転動輪の車輪センサ等を用いてもよい。
【００９９】
操作スイッチ群１０７は、メカニカルなスイッチ等を使用できるが、本実施形態では、モニター１１０と一体になったタッチパネル１２２を併用しており、モニター１１０上に表示されるボタン画像に対応するタッチパネル領域を指で触れることにより、操作状態を認識できるようにしている（いわゆるソフトボタン）。これら操作スイッチ群１０７およびリモコン端末１１２によって、種々の指示を入力することが可能である。
【０１００】
操作スイッチ群１０７およびリモコン端末１１２の他に、音声認識ユニット１３０を用いて種々の指示を入力することも可能である。これは、音声認識ユニット１３０に接続されるマイク１３１から音声を入力することによって、その音声信号を周知の音声認識技術により音声認識処理して、その結果に応じた操作コマンドに変換するものである。
【０１０１】
情報系ＥＣＵ５１は通常のコンピュータとして構成されており、周知のＣＰＵ１８１、ＲＯＭ１８２、ＲＡＭ１８３、前述の不揮発性メモリ１０９、入出力部１８４がバス接続されたものである。前述のＨＤＤ１２１はインターフェース１２９ｆを介してバス接続されている。また、地図やナビ操作画面を表示する描画情報に基づいて、モニター１１０に画像出力する機能を担う描画ＬＳＩ１８７と、描画処理用のグラフィックメモリ１８７Ｍとが同様にバス接続され、前述のモニター１１０がこれに接続されている。ＣＰＵ１８１は、ＨＤＤ１２１に記憶されたナビプログラム２１ｐおよびデータにより制御を行なう。また、ＨＤＤ１２１へのデータの読み書きの制御はＣＰＵ１８１によって行なわれる。
【０１０２】
ＨＤＤ１２１には、道路データを含む地図データ２１ｍと、目的地データベース２１ｄとが記憶されている。その他に、地点登録など、ユーザーが独自にデータ２１ｕを書き込むことができる。これらのデータは、操作スイッチ群１０７およびリモコン端末１１２の操作あるいは音声入力によって内容の書き換えが可能である。また、外部情報入出力装置（地図データ入力器）１０６を用いて記憶媒体１２０からデータを読み込んでＨＤＤ１２１の内容を更新することも可能である。なお、本実施形態では、通信インターフェース１２６及び通信データを一次格納するためのバッファメモリ１２６ｆを介して情報系ＥＣＵ５１が、車内ネットワークをなすシリアル通信バス１２７に接続され、ボデー系ＥＣＵ１４２やエンジン制御ＥＣＵ（図示せず）などの、車内の他の制御装置との間でデータの遣り取りを行なうようになっている。
【０１０３】
なお、図１１のもてなし実行制御部３は、ここまで概念把握を容易にするために単独のＥＣＵで構成されている場合を例にとって説明を行なってきたが、当然、上記ネットワーク接続された複数のＥＣＵにて実行制御部３を構成することがより現実的である。また、もてなし意思決定部２がもてなし意思決定に使用する記憶部５３５内の種々のデータや、自動車用もてなし情報提供装置の出力対象となるデータ（例えば後述の目的地データベース２１ｄ（図２０）や音楽ソースデータベース５１５ｂ，５１５ｃ（図１５）に格納されたデータ）の少なくとも一部を、自動車外のデータサーバに蓄積し、無線通信により自動車にてダウンロードして使用するようにしてもよい。
【０１０４】
モニター１１０はカラー液晶表示器により構成されており、その画面には位置検出器１０１から入力された自動車の現在位置マークと、ＨＤＤ１２１から入力された地図データ２１ｍと、さらに地図上に表示する誘導経路等付加データとを重ね合わせて表示するとともに、本画面に経路案内の設定および経路誘導中の案内や画面の切り替え操作を行なうためのメニューボタンが表示される。
【０１０５】
カーステレオ５１５に搭載されたＦＭチューナ１４１は、例えばＶＩＣＳ（Vehicle Information and Communication System：道路交通情報通信システム）センタ１１４からの渋滞表示用道路交通情報を搬送する放送電波を受信し、車内ネットワークを介してその情報が情報系ＥＣＵ５１に送られる。
【０１０６】
カーナビゲーション装置５３４は、情報系ＥＣＵ５１のＣＰＵ１８１によりナビプログラム２１ｐが起動される。運転者は、操作スイッチ群１０７あるいはリモコン端末１１２の操作あるいはマイク１３１からの音声入力によって、目的地データベース２１ｄから所望の目的地を選択する。例えば、モニター１１０上に表示されるメニューから目的地経路をモニター１１０に表示させるための経路案内処理を選択した場合、次のような処理を実施する。即ち、運転者がモニター１１０上の地図あるいは目的地選択画面に基づいて目的地を入力すると、ＧＰＳ受信機１０５から得られる衛星のデータに基づき自動車の現在位置が求められ、該現在位置から目的地までの最適な経路を求める処理が行われる。そして、モニター１１０上の道路地図に誘導経路を重ねて表示し、運転者に適切な経路を案内する。このような自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。また、モニター１１０およびスピーカー１１５の少なくとも一方によって、操作時のガイダンスや動作状態に応じたメッセージの報知を行なう。
【０１０７】
図２１は、カーナビゲーション装置５３４で使用する目的地データベース２１ｄの内容を示すもので、上記の音楽ソースデータベースと同様、各目的地の所在地情報に、個々の目的地を特定するためのＩＤとともに、同様のもてなし参照データにて構成された分類情報が付与されている。このうち、性格コード、年齢コード及び性別コードは音楽ソースデータベースに使用されているものとほぼ同じである。すなわち、目的地を選択するユーザーについて推定される性格種別（「活動的」、「おとなしい」、「楽観的」、「悲観的」、「頽廃的」、「体育会系」、「知性派」、「ロマンチスト」など）を示す性格コード、同じく年齢コード（「幼児」、「子供」、「ジュニア」、「青年」、「壮年」、「中年」、「熟年」、「敬老」、「年齢無関係」など）、性別コード（「男性」、「女性」及び「性別無関係」）が個々に対応付けて記憶されている。性格コードはユーザー性格特定情報の一つであり、年齢コード及び性別コードは、性格とは無関係なサブ分類である。ユーザーの性格が特定できても、年齢層や性別に合わない目的地を選択したのでは、ユーザーを楽しませる「もてなし」としての効果は半減する。従って、ユーザーに提案する目的地の適性をより絞り込むために、上記のようなサブ分類付与は有効である。
【０１０８】
また、ジャンルコードは、目的地をなす施設を、その種別により分類するもので、「飲食店」、「娯楽施設」、「公園」、宿泊施設、「道路関連サービス施設」、「コンビニエンスストア」、「スーパーマーケット」などに分かれている。このうち、「飲食店」、「道路関連サービス施設」、「コンビニエンスストア」、「スーパーマーケット」などが、飲食可能施設として位置付けられる。
【０１０９】
また、各ジャンルコードには、それぞれのジャンルコードに適合したサブ分類コードが付与されている。「飲食店」の場合、「もてなし」効果を考慮して、ユーザーの体調や精神状態と関連付けた目的地選択が可能となるように、サブ分類コードの種別が考慮されている。すなわち、体調良好で食欲もあり（特に、青年／壮年など）、空腹が進んだ場合に選択すべき飲食店には、満腹感を優先したサブ分類コード（「がっつり・こってり系」）が付与されており、体調がそれほどでもなく食欲についても淡白な状態（特に、女性など）、精々小腹が空いた程度の状況で選択すべき飲食店には、軽めの食事を優先したサブ分類コード（「かるーく・あっさり系」）が付与されている。また、倦怠感が進み、気分転換が望ましい状況や、カップルなどでムードを盛り上げたい場合に選択すべき飲食店には、雰囲気重視の食事を優先したサブ分類コード（「シック・おしゃれ系」）が付与されている。
【０１１０】
また、「もてなし」効果の優先性とは別に、一般的な料理種別（「和食・寿司」「中華・ラーメン」「洋食・カレー」）に基づくサブ分類コードも別途付与され、適宜選択できるようになっている。
【０１１１】
一方、娯楽施設（あるいは観光スポット）や公園などの、レクリエーションないしエンターテインメント系のサービス提供施設についても、ユーザーの体調や精神状態と関連付けた目的地選択が可能となるように、サブ分類コードの種別が考慮されている。すなわち、体調良好で、陽気で活動的なサービスを欲している場合（特に、青年／壮年など）に選択すべき施設には、体力的あるいは精神的な発散を優先したサブ分類コード（「元気一杯スポット」）が付与されており、体調がそれほどでもないか疲れている場合（特に、女性など）には、体力消耗抑制を優先したサブ分類コード（「リラックス・いやし系」）が付与されている。また、カップルなどでムードを盛り上げたい場合に選択すべき施設には、雰囲気重視のサブ分類コード（「ラブラブスポット」）が付与されている。
【０１１２】
他方、「道路関連サービス施設」は、「サービスエリア」、「パーキングエリア」、「道の駅」及び「ドライブイン」のサブ分類コードが付与されている。
【０１１３】
本実施形態においては、顔認識部１０によりユーザー認識がなされるので、認識されたユーザーの登録情報（年齢、性別、性格）と照合することで、目的地や音楽ソースを検索する場合は、年齢コード、性別コード及び性格コードによる絞り込みが直ちに可能である。つまり、そのユーザーに適合した検索がなされるわけである。
【０１１４】
上記のカーナビゲーション装置５３４においては、登録ユーザー毎に、ユーザー固有のナビ設定情報（メモリ地点情報や目的地選択実績，ルート設定に係る優先条件設定等）もユーザーデータ２１ｕに記憶される。従って、顔認識部１０によりユーザーが認識されると該顔認識部１０からユーザー特定情報が出力され、もてなし意思決定部２はその入力を受けてユーザーを特定し、さらに、対応するシーン（例えば準備シーンＳＣＮ３）が到来すると、もてなし意思決定部２が、入力されたユーザー特定情報をもてなし意思決定部２のＲＯＭから読み出してもてなし実行制御部３に出力し、さらに、もてなし実行制御部３が該ユーザー特定情報をカーナビゲーション装置５３４に対し出力する。そして、カーナビゲーション装置５３４はそのユーザー特定情報に基づいて設定を反映させることができる。
【０１１５】
また、カーナビゲーション装置５３４は、外部スケジューラ２００１から目的地に対応するスケジュールの情報を受信できる。スケジュール情報がユーザーに対応して定められている場合には、当該スケジュール情報を受信し、かつ該当ユーザーが認識された場合にスケジュールを報知（音声又は画面表示による）することもできる。
【０１１６】
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
【図面の簡単な説明】
【０１１７】
【図１】本発明の顔認識装置が組み込まれた自動車用制御システムの電気的構成の一例を示すブロック図。
【図２】本発明の顔認識装置の、電気的構成の一例を示すブロック図。
【図３Ａ】車内撮影装置の配置を説明する図。
【図３Ｂ】車外撮影装置の配置を説明する図。
【図４】照明装置の配置を説明する図。
【図５】照明装置の特性を説明するグラフ。
【図６】撮影装置の分光感度を説明するグラフ。
【図７Ａ】撮影装置の撮影タイミング及び照明装置の点灯タイミングの第一実施例を説明する図。
【図７Ｂ】撮影装置の撮影タイミング及び照明装置の点灯タイミングの第二実施例を説明する図。
【図８】ユーザー認識処理の第一実施例を説明するフローチャート。
【図９】顔認識処理を説明するフローチャート。
【図１０】ユーザー認識処理の第二実施例を説明するフローチャート。
【図１１】本発明の顔認識装置が組み込まれた自動車用ユーザーもてなしシステムの、電気的構成の一例を示すブロック図。
【図１２】ユーザー登録情報の内容を示す概念図。
【図１３】車内照明の電気的構成の一例を示すブロック図。
【図１４】照明装置の点灯制御データの構成例を示す概念図。
【図１５】カーオーディオシステムの電気的構成の一例を示すブロック図。
【図１６】音楽ソースデータベースの内容を示す概念図。
【図１７】選曲実績記憶部の内容を示す概念図。
【図１８】選曲実績の統計情報の内容を示す概念図。
【図１９】ユーザー側端末装置の電気的構成の一例を示すブロック図。
【図２０】自動車用ユーザーもてなしシステムに組み込まれるカーナビゲーション装置の電気的構成例を示すブロック図。
【図２１】目的地データベースの概念図。
【図２２】性格種別決定の入力方式の第一例を示す模式図。
【図２３】性格種別決定の入力方式の第二例を示す模式図。
【符号の説明】
【０１１８】
１ 自動車用制御システム（自動車用ユーザーもてなしシステム）
１０ 顔認識装置（顔認識部）
１１ 制御部（ユーザー認識手段、ユーザー認識結果出力手段、照明制御手段、顔存在判定手段、特徴情報合成手段、ユーザー認識結果出力制御手段）
１５（５１８，５２１） 撮影装置（車内撮影カメラ（顔カメラ）、車外撮影カメラ（車外用カメラ））
１６ 照明装置
２０ システムマスター装置（マスター制御装置）
３１ 撮影対象検出部
１７ 顔登録部
２ もてなし意思決定部（シーン特定手段、もてなし制御部、精神／肉体状態推定手段）
３ もてなし実行制御部（もてなし制御部）
１００ 携帯電話（ユーザー側端末装置）
【特許請求の範囲】
【請求項１】
自動車の内部又は外部に取り付けられ、予め定められた視野内に存在する人物の顔を撮影する撮影装置と、
前記自動車のユーザーとして登録された人物の顔特徴情報をユーザ−特定情報と対応付けて記憶する顔登録部と、
前記撮影装置の前記視野内に存在する人物の顔を照らす照明装置と、
前記撮影装置が撮影した顔画像から顔特徴情報を取得し、該取得された顔特徴情報を前記顔登録部に登録された顔特徴情報と照合することによりユーザー認識処理を行なうユーザー認識手段と、
該ユーザー認識結果を出力するユーザー認識結果出力手段と、
前記照明装置が非点灯状態にて撮影された画像によるユーザー認識に失敗した場合に、前記照明装置を点灯させる照明制御手段と、
を備えたことを特徴とする顔認識装置。
【請求項２】
前記撮影装置は、撮像素子として可視光域と赤外域の双方に顔撮影に必要な感度を有したものが使用され、可視光と赤外光との双方による顔撮影が可能とされてなり、
前記照明装置は照明光源として赤外線光源を有するものが使用される請求項１記載の顔認識装置。
【請求項３】
前記赤外線光源が近赤外線光源である請求項２記載の顔認識装置。
【請求項４】
前記照明装置は、前記撮影装置の視野内に存在する顔を互いに異なる方向から照明するものが複数設けられている請求項１ないし請求項３のいずれか１項に記載の顔認識装置。
【請求項５】
前記照明制御手段は複数の前記照明装置を一括して点灯するものである請求項４に記載の顔認識装置。
【請求項６】
前記撮影装置の撮影画像に基づいて前記視野内に人物の顔が存在するか否かを判定する顔存在判定手段と、
前記顔存在判定手段が顔存在と判定した場合に、前記撮影装置は前記照明装置を非点灯状態で一次顔撮影を行ない、前記ユーザー認識手段は当該非点灯状態での顔画像に基づいて一次ユーザー認識処理を行なうとともに、
該一次ユーザー認識処理によるユーザー特定に失敗した場合に、前記照明制御手段により前記照明装置を点灯させ、その状態で前記撮影装置は前記照明装置を点灯状態で二次顔撮影を行ない、前記ユーザー認識手段は当該点灯状態での顔画像に基づいて二次ユーザー認識処理を行なう請求項１ないし請求項３のいずれか１項に記載の顔認識装置。
【請求項７】
請求項４記載の要件を備え、前記撮影装置による前記二次顔撮影と、前記ユーザー認識手段による前記二次ユーザー認識処理とを、点灯させる照明装置の種別を、照明方向が互いに異なるものとなるよう順次変更しながら繰り返し実行する請求項６記載の顔認識装置。
【請求項８】
複数回の顔撮影により得られる各顔画像からの特徴情報を合成する特徴情報合成手段が設けられ、前記ユーザー認識手段は該合成された特徴情報に基づいて前記ユーザー認識を行なう請求項１ないし請求項７のいずれか１項に記載の顔認識装置。
【請求項９】
前記撮影装置による顔撮影と、該撮影された顔画像に基づく前記ユーザー認識手段によるユーザー認識処理とを周期的に反復実行させるユーザー認識処理反復制御手段と、
前記ユーザー認識手段がユーザー認識に一度成功した後、前記ユーザー認識処理のその後の反復過程において前記ユーザー認識に失敗した場合においても、当該失敗認識回数が予め定められた回数に到達するまでは前記ユーザー認識結果出力手段に該失敗認識結果を出力させないようにするユーザー認識結果出力制御手段とを備える請求項１ないし請求項８のいずれか１項に記載の顔認識装置。
【請求項１０】
請求項１ないし請求項９のいずれか１項に記載の顔認識装置と、
ユーザーの自動車への接近、乗車、運転又は車内での滞在、降車及び自動車からの離間、の少なくともいずれかにおいて、前記ユーザーによる前記自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なうもてなし動作部と、
前記登録ユーザーと、該登録ユーザー固毎に固有の前記もてなし動作部の動作内容を規定するもてなし動作情報とを互いに対応付けた形で記憶するもてなし動作情報記憶部と、
前記顔認識装置により認識された登録ユーザーに対応するもてなし動作情報を前記もてなし動作情報記憶部から読み出して、該もてなし動作情報に従い前記もてなし動作部の動作制御を行なうもてなし実行制御部と、
を備えたことを特徴とする自動車用ユーザーもてなしシステム。
【請求項１】
自動車の内部又は外部に取り付けられ、予め定められた視野内に存在する人物の顔を撮影する撮影装置と、
前記自動車のユーザーとして登録された人物の顔特徴情報をユーザ−特定情報と対応付けて記憶する顔登録部と、
前記撮影装置の前記視野内に存在する人物の顔を照らす照明装置と、
前記撮影装置が撮影した顔画像から顔特徴情報を取得し、該取得された顔特徴情報を前記顔登録部に登録された顔特徴情報と照合することによりユーザー認識処理を行なうユーザー認識手段と、
該ユーザー認識結果を出力するユーザー認識結果出力手段と、
前記照明装置が非点灯状態にて撮影された画像によるユーザー認識に失敗した場合に、前記照明装置を点灯させる照明制御手段と、
を備えたことを特徴とする顔認識装置。
【請求項２】
前記撮影装置は、撮像素子として可視光域と赤外域の双方に顔撮影に必要な感度を有したものが使用され、可視光と赤外光との双方による顔撮影が可能とされてなり、
前記照明装置は照明光源として赤外線光源を有するものが使用される請求項１記載の顔認識装置。
【請求項３】
前記赤外線光源が近赤外線光源である請求項２記載の顔認識装置。
【請求項４】
前記照明装置は、前記撮影装置の視野内に存在する顔を互いに異なる方向から照明するものが複数設けられている請求項１ないし請求項３のいずれか１項に記載の顔認識装置。
【請求項５】
前記照明制御手段は複数の前記照明装置を一括して点灯するものである請求項４に記載の顔認識装置。
【請求項６】
前記撮影装置の撮影画像に基づいて前記視野内に人物の顔が存在するか否かを判定する顔存在判定手段と、
前記顔存在判定手段が顔存在と判定した場合に、前記撮影装置は前記照明装置を非点灯状態で一次顔撮影を行ない、前記ユーザー認識手段は当該非点灯状態での顔画像に基づいて一次ユーザー認識処理を行なうとともに、
該一次ユーザー認識処理によるユーザー特定に失敗した場合に、前記照明制御手段により前記照明装置を点灯させ、その状態で前記撮影装置は前記照明装置を点灯状態で二次顔撮影を行ない、前記ユーザー認識手段は当該点灯状態での顔画像に基づいて二次ユーザー認識処理を行なう請求項１ないし請求項３のいずれか１項に記載の顔認識装置。
【請求項７】
請求項４記載の要件を備え、前記撮影装置による前記二次顔撮影と、前記ユーザー認識手段による前記二次ユーザー認識処理とを、点灯させる照明装置の種別を、照明方向が互いに異なるものとなるよう順次変更しながら繰り返し実行する請求項６記載の顔認識装置。
【請求項８】
複数回の顔撮影により得られる各顔画像からの特徴情報を合成する特徴情報合成手段が設けられ、前記ユーザー認識手段は該合成された特徴情報に基づいて前記ユーザー認識を行なう請求項１ないし請求項７のいずれか１項に記載の顔認識装置。
【請求項９】
前記撮影装置による顔撮影と、該撮影された顔画像に基づく前記ユーザー認識手段によるユーザー認識処理とを周期的に反復実行させるユーザー認識処理反復制御手段と、
前記ユーザー認識手段がユーザー認識に一度成功した後、前記ユーザー認識処理のその後の反復過程において前記ユーザー認識に失敗した場合においても、当該失敗認識回数が予め定められた回数に到達するまでは前記ユーザー認識結果出力手段に該失敗認識結果を出力させないようにするユーザー認識結果出力制御手段とを備える請求項１ないし請求項８のいずれか１項に記載の顔認識装置。
【請求項１０】
請求項１ないし請求項９のいずれか１項に記載の顔認識装置と、
ユーザーの自動車への接近、乗車、運転又は車内での滞在、降車及び自動車からの離間、の少なくともいずれかにおいて、前記ユーザーによる前記自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なうもてなし動作部と、
前記登録ユーザーと、該登録ユーザー固毎に固有の前記もてなし動作部の動作内容を規定するもてなし動作情報とを互いに対応付けた形で記憶するもてなし動作情報記憶部と、
前記顔認識装置により認識された登録ユーザーに対応するもてなし動作情報を前記もてなし動作情報記憶部から読み出して、該もてなし動作情報に従い前記もてなし動作部の動作制御を行なうもてなし実行制御部と、
を備えたことを特徴とする自動車用ユーザーもてなしシステム。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２００８−１７２２７（Ｐ２００８−１７２２７Ａ）
【公開日】平成２０年１月２４日（２００８．１．２４）
【国際特許分類】
【出願番号】特願２００６−１８７１３３（Ｐ２００６−１８７１３３）
【出願日】平成１８年７月６日（２００６．７．６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２０年１月２４日（２００８．１．２４）
【国際特許分類】
【出願日】平成１８年７月６日（２００６．７．６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]