車載用電子機器、車載用電子機器の動作制御方法
【課題】ユーザー個人に応じた好適な動作状態への自動設定を行う。
【解決手段】ナビゲーション装置やオーディオ再生装置の表示部や操作パネル付近などの位置に、乗車しているユーザーを撮像できる撮像部を設け、撮像部で撮像した画像から顔特徴データを検出する(F102)。顔特徴データはユーザー個人を判別する情報として用いる。そしてユーザー個人を判別したら、ナビゲーション動作やオーディオ再生動作においてそのユーザー個人に応じた制御を行う(F104,F105,F107)。例えばナビゲーション装置の場合の地図画像表示や音声による走行ガイドなどとして、ユーザーの好みや必要性に応じたナビゲーション出力を行う。
【解決手段】ナビゲーション装置やオーディオ再生装置の表示部や操作パネル付近などの位置に、乗車しているユーザーを撮像できる撮像部を設け、撮像部で撮像した画像から顔特徴データを検出する(F102)。顔特徴データはユーザー個人を判別する情報として用いる。そしてユーザー個人を判別したら、ナビゲーション動作やオーディオ再生動作においてそのユーザー個人に応じた制御を行う(F104,F105,F107)。例えばナビゲーション装置の場合の地図画像表示や音声による走行ガイドなどとして、ユーザーの好みや必要性に応じたナビゲーション出力を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えばナビゲーション装置やオーディオ再生装置などの車載用電子機器と、その動作制御方法に関するものである。
【背景技術】
【0002】
【特許文献1】特開2003−32776号公報
【特許文献2】特開平7−329639号公報
【特許文献3】特開平9−90963号公報
【0003】
車載用の電子機器として、例えばナビゲーション装置やオーディオ再生装置が広く利用されている。
そしてこれらの車載用機器として、特に撮像部(カメラ)を備えるようにして、撮像した画像から例えば自動車の乗車人数や乗車位置を判別するなどし、それらの状況に応じて音響特性を調整する技術が、上記特許文献に記載されている。
【発明の開示】
【発明が解決しようとする課題】
【0004】
ところで車載用電子機器は、ユーザー個人毎に、使用する際の設定の好みや動作の必要性が異なる。例えば一台の自動車を家族で使用している場合、車載用電子機器のユーザーは複数となるが、車載用電子機器の動作に関してそれぞれの好みや必要性が異なる。
例えばナビゲーション装置の場合、表示や音声によるガイド内容として、欲する内容がユーザー毎に異なり、ユーザー個人毎にとって、過剰なガイドとなったり、逆に望むガイド内容が出力されないといったことが生ずる。
オーディオ再生装置の場合、音量、音響設定などの好みがユーザー毎に異なる。
このため、乗車するユーザーが代わる毎に、各人は自分の好みの状態に操作し直す必要があり、操作が面倒となる。或いは操作が面倒であれば、好みでない動作状態を認容しなければならない。
【0005】
そこで本発明では、乗車するユーザーが代わっても、各人が毎回面倒な操作を行うことなく、乗車するユーザーに適した動作が行われる車載用電子機器を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の車載用電子機器は、車内の人物を撮像できるように配置された撮像部と、上記撮像部で撮像された画像データを解析し、撮像された人物の顔特徴データを生成する画像解析部と、顔特徴データに対応したユーザー情報を記憶するメモリ部と、上記メモリ部から上記画像解析部で生成された顔特徴データに対応するユーザー情報を読み出し、読み出したユーザー情報に基づいた動作制御を実行する制御部とを備える。
【0007】
また上記車載用電子機器は車載用のナビゲーション装置であって、表示部と、ナビゲーション情報を取得するナビゲーション情報取得部とを更に備える。そして上記制御部は、上記表示部において、上記ナビゲーション情報取得部で取得したナビゲーション情報としての地図情報による地図表示を実行させる際に、上記画像解析部で生成された顔特徴データに対応して上記メモリ部から読み出したユーザー情報に基づいて、地図表示上の表示内容を制御する。
また上記車載用電子機器は車載用のナビゲーション装置であって、音声出力部と、ナビゲーション情報を取得するナビゲーション情報取得部と、現在位置情報を検出する位置検出部とを更に備える。そして上記制御部は、上記音声出力部から、上記ナビゲーション情報取得部で取得したナビゲーション情報又は上記位置検出部で検出した現在位置情報に基づいた音声出力を実行させる動作に関して、上記画像解析部で生成された顔特徴データに対応して上記メモリ部から読み出したユーザー情報に基づいて、音声出力内容を制御する。
【0008】
なお、ここでのナビゲーション情報とは、地図データや地図上に表示する画像データ、POI(Point of Interest)データ、車線/進路情報、有料道路の料金情報、走行上の注意や案内の情報、道路情報、渋滞情報など、ナビゲーション動作として出力する情報の元となる情報のことである。
そしてナビゲーション情報取得部とは、例えば光ディスク、HDD(Hard Disc Drive)などの記録媒体からナビゲーション情報を再生したり、或いは外部と通信してナビゲーション情報を受信するなどして情報を取得する部位である。
【0009】
また上記車載用電子機器は車載用のオーディオ再生装置であって、オーディオソースから供給されるオーディオ信号について信号処理を行うオーディオ信号処理部と、上記オーディオ信号処理部で信号処理されたオーディオ信号を1又は複数のスピーカに供給するオーディオ出力処理部とを更に備える。そして上記制御部は、上記画像解析部で生成された顔特徴データに対応して上記メモリ部から読み出したユーザー情報に基づいて、上記オーディオ信号処理部での信号処理を制御する。
なお、上記オーディオ信号処理部での信号処理とは、例えば音量調整処理、イコライジングやリバーブなどの音響処理、複数チャンネルスピーカの出力バランスの設定処理などである。
また上記車載用電子機器は車載用のオーディオ再生装置であって、複数のオーディオソースからのオーディオ信号を選択する選択部と、上記選択部で選択されたオーディオ信号を1又は複数のスピーカに供給するオーディオ出力処理部とを更に備える。そして上記制御部は、上記画像解析部で生成された顔特徴データに対応して上記メモリ部から読み出したユーザー情報に基づいて、上記選択部でのオーディオ信号の選択動作を制御する。
【0010】
また、上記画像解析部が生成する上記顔特徴データは、顔の構成要素の相対位置情報である。
また上記ユーザー情報を入力する入力部を更に備え、上記制御部は、上記入力部により入力されたユーザー情報を、上記画像解析部で生成された顔特徴データに対応させて、上記メモリ部に記憶させる。
また操作入力部を更に備え、上記制御部は、上記操作入力部を用いた操作内容、もしくは操作内容の履歴によりユーザー情報を生成し、上記画像解析部で生成された顔特徴データに対応させて、上記メモリ部に記憶させる。
【0011】
本発明の動作制御方法は、車内の人物を撮像できるように配置された撮像部と、上記撮像部で撮像された画像データを解析し、撮像された人物の顔特徴データを生成する画像解析部と、顔特徴データに対応したユーザー情報を記憶するメモリ部とを備えた車載用電子機器の動作制御方法であり、上記画像解析部で顔特徴データを生成するステップと、上記メモリ部から、上記顔特徴データに対応するユーザー情報を読み出すステップと、読み出したユーザー情報に基づいて動作制御を実行するステップとを備える。
【0012】
以上の本発明の場合、例えばナビゲーション装置やオーディオ再生装置の表示部や操作パネル付近などの位置に、乗車しているユーザーを撮像できる撮像部を設け、撮像部で撮像した画像から顔特徴データを検出する。顔特徴データはユーザー個人を判別する情報として用いる。そしてユーザー個人を判別したら、ナビゲーション動作やオーディオ再生動作においてそのユーザー個人に応じた制御を行う。
【発明の効果】
【0013】
本発明によれば、撮像部で撮像された人物の顔特徴データにより、ユーザーを判別し、そのユーザーに対応したユーザー情報に基づいた動作制御を実行することで、個々のユーザーに適した動作が行われる。例えばナビゲーション装置の場合の地図画像表示や音声による走行ガイドなどとして、ユーザーの好みや必要性に応じたナビゲーション出力を行うことができる。同様にオーディオ再生装置の場合は、再生出力されるオーディオ信号として、ユーザーの好み等に応じた音量、音質(音響効果)、バランス、オーディオソース選択などが行われる。
即ち、複数のユーザーが乗車する車の車載用電子機器として、個々のユーザーが、調整操作を行わなくとも、乗車しているユーザーにとって快適なナビゲーション動作やオーディオ再生動作等が実現できる。
【発明を実施するための最良の形態】
【0014】
以下、本発明の車載用電子機器の実施の形態として、ナビゲーション装置、オーディオ再生装置の例を、次の順序で説明する。
[1.第1の実施の形態:ナビゲーション装置]
[2.第2の実施の形態:オーディオ再生装置]
[3.実施の形態の効果及び変形例]
【0015】
[1.第1の実施の形態:ナビゲーション装置]
図1は実施の形態の車載用ナビゲーション装置10のブロック図である。
図1のナビゲーション装置10は、演算処理部1、操作入力部2、映像信号処理部3、位置検出部4、センサ部5、ディスクドライブ装置部6、音声合成/再生処理部7、表示部8、スピーカ部9、撮像部16、画像解析部17、通信部18を有する。これらの各部は、一体的に設けられても良いし、それぞれ別の筐体の装置部とされ、有線又は無線で通信可能に接続されるものであってもよい。
【0016】
操作入力部2は、ユーザの操作を受け、その操作情報を演算処理部1に伝達する装置部である。例えばナビゲーション装置10の本体筐体のパネル上に設けられた各種のキーやジョグダイヤル、スティック等の操作子として実現されたり、本体筐体とは別体に設けられたリモートコントローラなどとして実現される。リモートコントローラとされる場合、リモートコントローラ上に設けられたキーやダイヤル等の操作子の操作情報を、赤外線や電波により演算処理部1に送信したり、或いは演算処理部1を有する筐体と有線接続されて操作情報を送信する。
また操作入力部2としては、表示画面上のタッチパネルとされる場合もある。その場合、表示部8と一体的に設けられる。さらには表示部8に表示されたメニュー画面やアイコン表示に対してマウスや所定のポインティングデバイスによってクリックを行う形態も操作入力部2の一態様として考えられる。
【0017】
表示部8及びスピーカ部9は、ユーザーに対する画像や音声の出力装置部となる。
表示部8は、演算処理部1でのナビゲーション動作のための処理で生成された地図画像、経路案内画像、操作メニュー、アイコン、POI(Point of Interest)情報、検索リスト等の各種ナビゲーション画像を表示する。
映像信号処理部3は、演算処理部1で生成されたナビゲーション画像データやその他の画像データに関して必要な処理を行い、表示部8での表示を実行させる。
スピーカ部9は、演算処理部1でのナビゲーション動作のための処理に基づく音声の出力を行う。
音声合成/再生処理部7は、ナビゲーション音声、例えば経路案内処理によるガイド音声等を出力するための音声合成処理を実行し、スピーカ部9から出力させる。
【0018】
位置検出部4は、当該ナビゲーション装置10の位置、即ち当該ナビゲーション装置10が搭載された自動車の位置を検出する装置部であり、例えばGPS(Global Positioning System)を利用したGPS測位装置である。既に公知の通り、GPS測位装置は、複数のGPS衛星から送られてくる電波を受信することで、静止衛星からの位置を計算し、自車の地図上の位置として緯度、経度を求める。
位置検出部4は測位した自車位置としての緯度、経度の情報を演算処理部1に供給する。
【0019】
センサ部5は、車の走行状況や挙動等を検出する装置部である。例えば、車輪の回転数を検知する車速センサ、車体の回転角速度を検知する振動ジャイロセンサ、車の加速度を検知する加速度センサ、車の振動を検知する振動センサなどである。また、車の走行操作装置の状態を検出する装置、例えばパーキングブレーキスイッチやブレーキランプスイッチ、ステアリング舵角センサ、スロットル開度センサなども想定される。
センサ部5によるこれらの検出情報は、演算処理部1に供給される。演算処理部1では、これらのセンサ部5からの検出情報と、位置検出部4からの位置情報とを併せて用いることで、より精度の高い自車位置検出を実行することができる。
【0020】
ディスクドライブ装置部6は、CD(Compact Disc)方式或いはDVD(Digital Versatile Disc)方式、或いはブルーレイディスク方式など外部記録媒体としてのディスク90について再生を行う再生装置である。
このディスクドライブ装置6に地図データ等を含むナビゲーション情報が記録されたディスク90が装填されることで、本ナビゲーション装置10はナビゲーション情報を読み込むことができ、地図データ等に基づいたナビゲーション処理が可能となる。
なお、本明細書では「ナビゲーション情報」とは、ナビゲーション処理に用いるデータの総称として用いており、ナビゲーション情報には、地図データ、地図画像を生成するための地図画像や地図画像上のアイコン等を含む地図描画データ、経路計算用のデータ、経路誘導データ、POI(Point of Interest)データ、検索用データ、管理データなどが含まれる。POIデータとは、レストラン、各種店舗、スポーツ施設、娯楽施設など、多様な地点情報を示すものであり、例えばこれらの各種地点をジャンル別等に体系化して検索できるようにした情報である。
一般に車載用ナビゲーション装置では、ユーザーが目的地を設定することに応じて好適な経路を算出し、表示部において地図画像上で経路を表示するナビゲーション動作が行われる。このナビゲーション動作のためには、まずユーザーが目的地を入力することが必要であるが、この目的地の入力のためには様々な方式があり、例えば目的地の住所や地名等を入力する方式や、地図上で位置を指定する方式、さらには目的地を検索して選択する方式などがある。検索による方式としてPOI入力方式が知られている。例えばユーザーの操作に応じて、POIデータとしての地点情報をカテゴリ別などで分類したデータベースに対して検索を行い、検索結果をリスト表示する。そしてユーザーがリストアップされたエントリの1つを指定することで、目的地として登録できるものである。検索のためのユーザーの入力は、例えばメニュー形式などでカテゴリを指定し、指定されたカテゴリをキーとして検索を行ったり、或いはユーザーがキーとなる文字等を入力し、これに基づいて検索するなど、多様な形態がある。
【0021】
ディスクドライブ装置部6は、演算処理部1を有する本体筐体に一体的に設けられても良いし、別体とされて有線又は無線で演算処理部1と通信可能とされてもよい。
なお説明上は、再生される外部記録媒体の例として、CD方式又はDVD方式のディスク90を挙げているが、他の種類の光ディスクや光磁気ディスク、或いはメモリカードなどの可搬型の記録媒体が外部記録媒体として用いられても良い。もちろんその場合は、外部記録媒体に対応した再生装置部が設けられる。またHDDとしてのディスクドライブ装置部6が設けられても良い。
【0022】
撮像部16は、撮像光学レンズ系、レンズ駆動系、CCDセンサやCMOSセンサによる撮像素子部、撮像素子部で撮像された画像信号についてサンプリング、ゲイン調整、映像信号処理(輝度処理、色処理、補正処理等)等を行う撮像信号処理回路などを搭載して形成され、撮像動作により画像データを出力する。この撮像部16により、自動車内のユーザーの顔の撮像が行われる。
図3には、自動車内のフロントコンソールに配置されたナビゲーション装置10を示しているが、そのフロントパネル上には、表示部8としての画面や、操作入力部2としての各種操作子とともに、撮像部16における撮像レンズ16aが設けられる。この撮像レンズ16aは、例えば運転席のユーザーの顔の位置を被写体方向として捉えるように撮像方向が設定されている。
なお、撮像部16の撮像方向は、運転者の顔の方向に固定しても良いが、助手席方向や後部座席方向に変更できるようにしてもよい。また車内を広角で撮像し、車内のユーザーの全ての顔を被写体として捉えることができるようにしてもよい。
【0023】
画像解析部17は、撮像部16で得られた撮像画像データについて解析処理を行う。
この画像解析部17は、撮像画像データから人物の顔の画像を処理対象のオブジェクトとして抽出する処理と、抽出した顔画像から、顔特徴データFDTを生成する処理を行う。
顔特徴データFDTとは、例えば顔の構成要素の相対位置情報であり、ここでは比情報Fa、Fbの2つのデータを含む例とする。
比情報Faは、図4(b)に示す、目の中心と鼻との距離ENと目の間隔の距離Edの比とする。例えばFa=Ed/ENとする。
比情報Fbは、目の中心と口との距離EMと目の間隔の距離Edの比とする。例えばFb=Ed/EMとする。
このような顔の構成要素の相対位置情報は、個人毎に特有となるとともに、髪型や眼鏡等の装着物などによる、外観上の変化の影響を受けない情報である。さらに加齢によっても変化しないことが知られている。従って、これら比情報Fa,Fbを含む顔特徴データFDTは、ユーザー個人の顔を高い精度で識別できる情報となる。
画像解析部17は、撮像画像データからこのような顔特徴データFDTを生成して演算処理部1に供給する。
【0024】
通信部18は、携帯電話網や他の無線ネットワークを介して情報サーバと通信を行う通信部である。演算処理部1は、通信部18による所定の情報サーバとの間の通信により、例えば道路状況、渋滞情報などを得ることができる。
【0025】
演算処理部1は、ナビゲーション動作としての必要な演算処理を行う装置部であり、例えばCPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、不揮発性メモリ14、インターフェース部15を備えて構成される。
ROM12には動作プログラムや各種処理に用いる定数、固定情報が記憶される。なお、動作プログラムは、ディスクドライブ装置部6に装填されたディスク90に格納され、動作時に演算処理部1内にロードされるようにしてもよい。
RAM13は、ワーク領域やプログラムのロード領域に用いられたり、一時的な情報の蓄積に用いられる。またディスクドライブ装置部6で読み出されたデータについてのバッファリングやデータ処理のための一時的な格納領域ともされる。
【0026】
不揮発性メモリ14は書換え可能かつシステムの電源供給が途絶えた時にも記憶したデータを保持できるメモリであり、例えばフラッシュメモリである。なお電池によりバックアップされたSRAM(Static Random Access Memory)等でもよい。この不揮発性メモリ14には、各種処理に用いる係数やユーザが登録した情報や指定した経路情報、過去の走行履歴情報などが記憶される。
さらに本例では、不揮発性メモリ14は後述するユーザーデータベースの格納にも用いられる。
【0027】
CPU11は、ROM12に記憶されたプログラムに基づいて、ナビゲーション装置として必要な情報処理や制御処理を行う。これらの情報処理や制御処理のために、RAM13をワーク領域として用いたり、ROM12や不揮発性メモリ14に記憶された情報を参照する。
【0028】
インターフェース15は、演算処理部1と他の各部、即ち操作入力部2、映像信号処理部3、位置検出部4、センサ部5、ディスクドライブ装置部6、音声合成/再生処理部7、画像解析部17、通信部18との間での入出力を行う。インターフェース部15は、操作入力部2からの操作情報や各種入力情報、位置検出部4からの位置情報、センサ部5による検出情報を入力し、CPU11に伝達する。またインターフェース部15は、CPU11が出力する制御情報や画像データ、音声データを映像信号処理部3や音声合成/再生処理部7に供給し、ナビゲーションシステムとしての必要な表示出力、音声出力を実行させる。またインターフェース部15はCPU11からのアクセス要求をディスクドライブ装置部6に伝え、ディスクドライブ装置部6に所要のデータ再生を実行させる。またインターフェース部15は、ディスクドライブ装置部6での再生動作によって転送されてくるナビゲーション情報を演算処理部1内に取り込む。またインターフェース部15は、画像解析部17で生成される顔特徴データ17をCPU11に伝達する。またインターフェース部15は通信部18により行われるデータ通信のためのデータ授受を行う。
【0029】
図2に、CPU11が有する機能、即ちROM12等に記憶されたプログラムに基づいた演算処理により実現される機能を示す。
CPU11の機能として、ナビゲーション処理制御機能21、顔特徴データ対応学習/設定機能22、顔特徴データ対応制御機能23が設けられる。これらの機能は、それぞれが個別のプログラムモジュールで実現されても良いし、1つのプログラム内に複数の機能を実行するためのプログラムが混在しても良い。
【0030】
ナビゲーション処理制御機能21は、ナビゲーション装置として必要とされる処理動作を制御する機能であり、他の各部に対して処理の指示やタイミング制御を行い、系統的なナビゲーション動作を実行させる。
例えばナビゲーション処理制御機能21は、ユーザーの目的地や中継地点の登録、経路探索等の処理や、自車の進行に伴った経路案内の処理を行う。また、後述する通常ナビゲーションモード、簡易ナビゲーションモードの設定や、モードに応じた処理の指示を行う。
またナビゲーション処理制御機能21は、ディスクドライブ装置部6を制御し、ディスク90からのナビゲーション情報の読込を実行させる。例えば自車位置やユーザーに指定された位置、或いはユーザーが指定した経路情報などに応じて、必要とされる範囲の地図情報、地図描画用データ、POIデータ、ガイド情報等をRAM13に読み込む。
またナビゲーション処理制御機能21は、位置検出部4からの位置情報とセンサ部5からの検出情報に基づいて、自車位置や自車の挙動を判別する。
またナビゲーション処理制御機能21は、表示部8に表示する画像データ、例えば地図画像、メニュー画像、アイコン画像、各種イメージ画像、各種案内画像のための画像データを生成する。
またナビゲーション処理制御機能21は、経路案内音声等の音声出力制御を行う。
【0031】
顔特徴データ対応学習/設定機能22は、顔特徴データFDTで識別される個々のユーザーについてのユーザー情報を、自動的な学習処理もしくはユーザー操作に応じた設定処理によりユーザーデータベースに登録する機能である。
ユーザーデータベースは例えば図5のようなデータベースであり、例えばこのユーザーデータベースは不揮発性メモリ14内の記憶領域に格納される。
ユーザーデータベースは、図5のように、個々の顔特徴データFDT(FDT1,FDT2・・・)、つまりユーザー個人毎に、ユーザー情報を登録するデータベースである。この場合、ユーザー情報の例として目的地履歴情報、嗜好種別情報、音声ガイド選択情報を挙げている。
【0032】
例えば顔特徴データFDT1が「ユーザーA」、顔特徴データFDT2が「ユーザーB」であるとする。
目的地履歴情報は、各ユーザーが設定した目的地情報を登録したものである。
例えばユーザーAがナビゲーション装置10を使用して目的地を選択した場合に、その目的地を示す目的地情報PP11、PP12・・・が顔特徴データFDT1に対応した目的地履歴情報として登録される。
またユーザーBがナビゲーション装置10を使用して目的地を選択した場合は、その目的地を示す目的地情報PP21、PP22・・・が顔特徴データFDT2に対応した目的地履歴情報として登録される。
【0033】
嗜好種別情報は、ユーザーが興味を持っている分野やナビゲーション装置としてのガイドを欲する分野(嗜好種別)を示す情報である。これは、例えば「スポーツ」「ファッション」「ショッピング」「音楽」「グルメ」「レジャー」などの各分野や、これらをさらに再分類した分野(例えば「スポーツ」の下位として「野球」「サッカー」「テニス」・・・等)などを示す情報が嗜好種別情報である。この種別は、POIデータにおける分類に沿ったものとすればよい。
例えばユーザーAが興味を持っている分野が「スポーツ」「音楽」であるとすると、顔特徴データFDT1に対応して嗜好種別情報として「スポーツ」を示す値LJ1や「音楽」を示す値LJ2等が登録される。
またユーザーBが興味を持っている分野が「ファッション」「ショッピング」「グルメ」であるとすると、顔特徴データFDT2に対応して、嗜好種別情報として「ファッション」を示す値LJ3、「ショッピング」を示す値LJ4、「グルメ」を示す値LJ5等が登録される。
【0034】
音声ガイド選択情報は、ユーザーが音声によるナビゲーションを出力させたいとして選択された内容を示す情報である。
上記ナビゲーション処理制御機能21によるナビゲーション動作として、音声による各種ガイド出力がおこなれるが、その音声の内容としては、例えば、右折、左折等を指示する「経路案内音声」、道路幅、車線数、カーブ、上り下りなどを案内する「道路情報音声」、「渋滞情報音声」、「有料道路の料金案内音声」、適切な進路や車線を案内する「推奨走行案内音声」、走行中にユーザーの注意を促す「注意音声」、さらにはナビゲーション装置10の操作方法の「操作ガイド音声」など、多様な種類がある。
これらの中で、各ユーザーが必要と考える音声ガイドが、音声ガイド選択情報として登録される。
例えばユーザーAが、音声ガイドは最小限必要なもののみが良いと選択した場合は、例えば「経路案内音声」を示す値AG1が顔特徴データFDT1に対応して登録される。
またユーザーBが、「経路案内音声」「渋滞情報音声」「操作ガイド音声」を必要と考えて選択した場合は、顔特徴データFDT2に対応して、これらを示す値AG1,AG2,AG3が登録される。
【0035】
顔特徴データ対応学習/設定機能22によっては、このようなユーザーデータベースとして、顔特徴データFDTに対応したデータ群が生成される。
【0036】
顔特徴データ対応制御機能23は、ナビゲーション動作としての地図画像表示や音声出力において、上記ユーザーデータベースに登録された内容に基づいた制御を行う機能である。即ち顔特徴データ対応制御機能23は、乗車しているユーザー(例えば運転者)を、顔特徴データFDTにより判別し、そのユーザーが顔特徴データFDT1のユーザーであれば、ユーザーデータベースにおいて顔特徴データFDT1に対応して登録されている内容に沿うように画像や音声の出力制御を行う。
例えばユーザーAが運転者である場合、顔特徴データFDT1に対応して登録されている嗜好種別情報LJ1、LJ2に該当する施設や店舗のアイコンや名称を地図画像上に表示させる。嗜好種別情報LJに対応する施設や店舗などの情報は、POIデータを検索することで得ることができる。また、顔特徴データFDT1に対応した目的地履歴情報として記憶されている各目的地を表示させる。また、音声ガイドについては、顔特徴データFDT1の音声ガイド選択情報として選択されている内容の音声のみを出力するように制御する。
一方、ユーザーBが運転者である場合、顔特徴データFDT2に対応して登録されている嗜好種別情報LJ3、LJ4、LJ5に該当する施設や店舗のアイコンや名称を地図画像上に表示させる。また、顔特徴データFDT2に対応した目的地履歴情報として記憶されている各目的地を表示させる。音声ガイドについては、顔特徴データFDT2の音声ガイド選択情報として選択されている内容の音声のみを出力するように制御する。
つまり顔特徴データ対応制御機能23は、ナビゲーション処理制御機能21が実行するナビゲーション処理において表示及び音声出力する内容を、ユーザー毎に切り換えるように制御するものである。
【0037】
以上の構成のナビゲーション装置10の処理動作を説明していく。なお以下の動作例では、撮像部16は、運転席に座ったときの運転者の顔の位置を中心とした範囲を被写体方向とし、従って画像解析部17は、運転者の顔特徴データFDTを生成するものとして説明する。
【0038】
図6は、ナビゲーション装置10が電源オンとされたときのCPU11の処理を示している。例えばユーザーが自動車のエンジンキーをアクセサリポジションとするか、もしくはエンジンをかけることで、ナビゲーション装置10が電源オンとされる。
電源オンとなったら、CPU11はステップF101として起動処理を行い、動作プログラムのロードや各部の起動制御を行う。
【0039】
電源オン時の起動処理を完了したら、CPU11はステップF102で、撮像部16の撮像処理及び画像解析部17の顔特徴データFDTの生成処理を開始させ、画像解析部17からの顔特徴データFDTの取込を開始する。
なお、画像解析部17での顔特徴データFDTの生成及びCPU11の顔特徴データFDTの取込は、その顔特徴データFDTの生成に要する時間間隔で常時連続的に行っても良いし、或る程度の時間間隔で定期的に行うようにしても良い。また、通常、車のエンジンが起動されている状態で運転者が頻繁に代わることは無いことを考えれば、運転中に顔特徴データFDTを取り込んだ後は、停車、エンジン停止など、運転者が代わる可能性のあるタイミングをセンサ部5の情報から検出し、それに応じて顔特徴データFDTを新たに取り込むようにしてもよい。
【0040】
顔特徴データFDTを取り込んだら、CPU11はステップF103で、その顔特徴データFDTがユーザーデータベースに登録されているユーザーに相当するか否かを確認する。即ちユーザーデータベースを検索して、同一(或いは或る程度の許容範囲内で類似)の顔特徴データFDTが存在するか否かを確認する。
ユーザーデータベースの登録については図8,図9で後述する処理などで行われるが、CPU11が、過去にユーザーの操作に応じた登録処理や学習による登録処理が行われていれば、ユーザーデータベースには1又は複数の顔特徴データFDTに対して図5のような内容のユーザー情報が記憶されている。
【0041】
もし、今回取り込まれた顔特徴データFDTが、ユーザーデータベースに登録されていない顔特徴データFDTであったら、CPU11は処理をステップF106に進め、通常のナビゲーション動作の設定を行い、ステップF107のナビゲーション処理にうつる。通常のナビゲーション動作の設定とは、ナビゲーション処理において表示出力する内容や、出力する音声ガイドの内容として、例えば装置内でデフォルトで決められている設定である。
ステップF107でのナビゲーション処理では、上述したナビゲーション処理制御機能21の制御に基づいて、ディスクドライブ装置部6からのナビゲーション情報の読み込み、位置検出部4からの現在位置情報の取得、センサ部5の検出情報の取得、通信部18を介した通信、操作入力部2からの操作の検知を行うと共に、これらに基づいて、ユーザーに対して表示部8で地図画像等を表示させたり、スピーカ部9からのガイド音声の出力を実行させる。
【0042】
一方、ステップF103で、今回の顔特徴データFDT(つまり運転者)が、ユーザーデータベースに登録された顔特徴データFDTであると判別された場合は、CPU11は処理をステップF104、F105として顔特徴データ対応制御機能23による処理を行う。まずステップF104では、ユーザーデータベースからユーザー情報を読み出す。例えば取り込まれた顔特徴データFDTが「FDT1」であったとしたら、図5のユーザーデータベースにおいて顔特徴データ「FDT1」に対して登録されている目的地履歴情報、嗜好種別情報、音声ガイド選択情報を読み出すことになる。
そしてCPU11はステップF105で、読み出したユーザー情報に基づいて、ナビゲーション動作の設定を行う。これは、顔特徴データ対応制御機能23が、ナビゲーション処理制御機能21によって実行されるナビゲーション動作処理において、特にユーザー情報に基づいた表示処理や音声ガイドの出力処理が行われるように指示する処理であり、表示出力や音声ガイド出力に関する動作設定を通常の設定ではなく現在の運転者であるユーザー個人に対応した設定とする処理である。
続いてステップF107でのナビゲーション処理として、上述したようにナビゲーション処理制御機能21の制御に基づいてナビゲーション動作が行われるものとなるが、この場合は、ユーザー個人に対応した設定状態で、表示出力や音声ガイド出力が行われることになる。
【0043】
なお、ステップF102で顔特徴データFDTの取込が開始された以降は、ステップF107のナビゲーション動作中も、例えば定期的、或いは運転者の変更の可能性がある場合などに、CPU11は逐次顔特徴データFDTを取り込んでおり、取り込まれる顔特徴データFDTが変化したか否か(つまり運転者が代わったか否か)を確認している。
顔特徴データFDTの変化が検知されなければ、ステップF107のナビゲーション処理が、それまでの設定状態で継続されるが、もし顔特徴データFDTの変化を検知したら、ステップF108からF103に戻って、上述した処理を行う。
従って、もし運転者が代わると、ステップF105もしくはF106で再度ナビゲーション動作設定が行われ、その後のステップF107のナビゲーション動作の設定が変更されることになる。
【0044】
この図9の処理からわかるように、ステップF107のナビゲーション処理では、運転者に応じて動作設定、つまり表示内容と音声ガイド出力内容が切り換えられる。このようなユーザー個人に対応した動作設定による出力例を示す。
例えば図7(a)(b)は、表示部8に表示する地図画像の例である。例えば自車位置31を略中心とした地図画像30が表示され、また地図画像30上では、目的地32(或いは経由地)が表示されている。また図では表現していないが、目的地32までの経路が異なる色などで表示される。
ここで図7(a)は、運転者がユーザーA(顔特徴データFDT1)の場合の表示例、図7(b)は、運転者がユーザーB(顔特徴データFDT2)の場合の表示例としている。
【0045】
図7(a)(b)では、いずれも基本的な地図画像30は同じであるが、図7(a)の場合、ユーザーデータベースに顔特徴データFDT1に対応して登録されている嗜好種別情報及び目的地履歴情報が反映された表示となる。
即ちユーザーAが、「スポーツ」や「音楽」を嗜好することが嗜好種別情報として示されているとすると、図7(a)のように、嗜好種別情報に応じた画像33が表示される。例えばCPU11は、POIデータを参照して、現在の表示中の地図範囲内で「スポーツ」や「音楽」に関連する店舗や施設を検出し、その店舗等を提示する画像33として表示させるようにすることで、画像33としてスポーツショップや音楽ショップ等が明示される。
またユーザーAが過去に目的地として目的地履歴情報に登録されている地点が、現在の表示中の地図範囲内に存在すれば、過去の目的地を提示する画像34を表示させる。
このような表示が行われることで、ユーザーAが、現在位置の近くに自分の興味のある店舗や施設が存在することや、過去に訪れた場所などを認識でき、ユーザーAにとって有用な地図表示となる。
【0046】
一方、ユーザーBが運転者であるときは、図7(b)のような表示となる。
即ちユーザーBが、「ファッション」や「ショッピング」等を嗜好することが嗜好種別情報として示されているとすると、図7(b)のように、嗜好種別情報に応じた画像33が表示される。例えばCPU11は、POIデータを参照して、現在の表示中の地図範囲内で「ファッション」や「ショッピング」に関連する店舗や施設を検出し、その店舗等を提示する画像33として表示させるようにすることで、画像33としてファッション関係の店舗等が明示される。
またユーザーBが過去に目的地として目的地履歴情報に登録されている地点が、現在の表示中の地図範囲内に存在すれば、過去の目的地を提示する画像34を表示させる。
このような表示が行われることで、ユーザーBが、現在位置の近くに自分の興味のある店舗や施設が存在することや、過去に訪れた場所などを認識でき、ユーザーBにとって有用な地図表示となる。
【0047】
例えばこのように、ステップF107でのナビゲーション処理の際には、CPU11は顔特徴データFDTによって判別したユーザーの嗜好や履歴に応じた地図表示、即ちユーザーデータベース登録された嗜好種別情報に該当する店舗、施設等の表示や、目的地履歴情報による過去の目的地の表示を行うことで、ユーザー個人にあわせて有効なナビゲーション表示を行うことができる。
【0048】
またスピーカ部9から出力させる音声ガイドの内容も、CPU11はユーザーデータベースの登録内容に応じて制御する。
CPU11はステップF107において、音声ガイド情報として、経路案内音声、道路情報音声、渋滞情報音声、有料道路の料金案内音声、推奨走行案内音声、注意音声、操作ガイド音声など、多様な種類の音声を所要のタイミングで出力させる。
即ちCPU11は、右折・左折・直進などを告知する経路案内音声については、現在位置情報、目的地までの経路探索結果、地図データに基づいて、例えば交差点に接近したタイミングなどでスピーカ部9から出力させる。
またCPU11は道路情報音声、料金案内音声、推奨走行案内音声、注意音声などを、地図データに付加された情報や、現在位置に応じた所要のタイミングで出力させる。
またCPU11は、通信部18を介して受信した渋滞情報の音声を、所要のタイミングで出力させる。
またCPU11は、ユーザーは操作入力部2で操作を行うための操作ガイド音声を、操作の必要性や表示中の内容などに応じた所要のタイミングで出力させる。
【0049】
例えばステップF106による通常の設定では、これらの各内容のガイド音声を全て出力させるように設定されているとする。
一方、ステップF105でユーザー個人に応じた設定がされる場合とは、ユーザーデータベースにおいて音声ガイド選択情報として登録されている音声のみを出力させる。
即ちユーザーAについて、顔特徴データFDT1に対応した音声ガイド選択情報として、経路案内音声のみが登録されている場合、ユーザーAが運転者であるときは、ステップF105の設定で経路案内音声のみが出力されるように設定されることになり、ステップF107のナビゲーション処理中には、音声ガイド情報としては経路案内音声のみが出力される。
またユーザーBについて、顔特徴データFDT2に対応した音声ガイド選択情報として、経路案内音声、渋滞情報音声、操作ガイド音声が登録されている場合、ユーザーBが運転者であるときは、ステップF105の設定で経路案内音声、渋滞情報音声、操作ガイド音声が出力されるように設定されることになり、ステップF107のナビゲーション処理中には、音声ガイド情報としては経路案内音声、渋滞情報音声、操作ガイド音声のみが出力される。
【0050】
例えばこのように、ステップF107でのナビゲーション処理の際には、CPU11は顔特徴データFDTによって判別したユーザーについての音声ガイド選択情報に応じたガイド音声出力を行うことで、ユーザー個人にあわせて好適な音声ガイドを行うことができる。
【0051】
ところで、以上の説明では、ユーザーデータベースにユーザー個人に対応したユーザー情報が登録されていることを前提に述べた。以下では、ユーザーデータベースへのユーザー情報の登録処理について説明する。
ユーザーデータベースへのユーザー情報の登録は、ユーザーの登録操作に基づいて行われたり、学習動作によって自動的に行われる。
【0052】
図8は、ユーザーが登録操作を行う場合のCPU11の処理を示している。なお、この図8の処理は、図6のステップF107のナビゲーション処理中に、ユーザーが操作入力部2を用いて登録モード操作を行った場合に開始されればよい。CPU11、顔特徴データ対応学習/設定機能22による処理として図8の処理を行う。
【0053】
CPU11は、ユーザーが操作入力部2を用いて登録モード操作を行ったことを検知したら、処理を図8のステップF201からF202に進める。
ステップF202では、CPU11は、その時点で取り込まれている顔特徴データFDTについて、ユーザーデータベースに登録されている顔特徴データFDTであるか否かを確認する。なお、顔特徴データFDTの取込が或る程度の時間行われていなければ、この時点で新たに顔特徴データFDTを取り込んで、その顔特徴データFDTがユーザーデータベースに登録されているものでであるか否かを判断しても良い。
【0054】
現在の顔特徴データFDT(即ち現在の運転者)が、ユーザーデータベースに登録されていない顔特徴データFDTであれば、ステップF203からF204に進み、現在の顔特徴データFDTを新規の顔特徴データとして新たにユーザーデータベースに登録してからステップF205に進む。
現在の顔特徴データFDTが既に登録されている顔特徴データであったら、ステップF203からそのままF205に進む。
【0055】
CPU11はステップF205では、表示部8に登録用の画面を表示する。
登録用画面は、例えばメニュー形式で、ユーザーの趣味・嗜好や、音声ガイドの内容を選択させるような画面とし、ユーザーがその画面表示を見ながら選択操作することで、趣味・嗜好や、望む音声ガイドの内容を入力できるようにする。
例えば嗜好種別の選択画面として、メニュー形式で「スポーツ」「ファッション」「ショッピング」「音楽」「グルメ」「レジャー」などの各分野の項目を表示させ、これらのうちからユーザーが選択できるようにする。もちろん、階層的にメニュー画面が進んで、これらの下位の分類も選択できるようにしてもよい。
また、ガイド音声の内容の選択画面として、メニュー形式で「経路案内音声」「道路情報音声」「渋滞情報音声」「有料道路の料金案内音声」「推奨走行案内音声」「注意音声」「操作ガイド音声」などの項目を表示させ、ユーザーが出力させ音声内容を選択できるようにする。
【0056】
CPU11は、このような登録用の画面表示を行い、またユーザー操作に応じてメニュー画面を切り換えさせながらユーザーの選択決定操作を待機する。ユーザーが項目を選択決定する操作を行ったら、ステップF206からF207に進んで、選択された項目を記憶する。これを登録終了操作がおこなわれるまで繰り返す。
ユーザーが、例えばメニュー画面や操作案内の表示に従って、嗜好種別やガイド音声を選択する操作を行っていくことで、各選択結果がCPU11に記憶される。
ユーザーが一連の登録のための選択操作を完了するとして登録終了操作を行ったら、CPU11はステップF208からF209に進み、顔特徴データFDTに対応させて、選択された内容をユーザーデータベースに登録する。即ちユーザーの選択操作に応じて、そのユーザーの顔特徴データFDTに対応された状態で、嗜好種別情報、音声ガイド選択情報がユーザーデータベースに登録されることになる。
【0057】
なお、この処理では新規なユーザーは無条件で登録される(ステップF203→F204)としたが、新規なユーザーの顔特徴データFDTを登録する際には、例えば車のオーナー等が予め設定したパスワード等の入力を要求するようにし、乗車した人物がむやみに登録されないようにしてもよい。
【0058】
図9は、CPU11がユーザーデータベースに目的地履歴情報を登録すると共に、学習動作により嗜好種別情報を登録する処理例を示している。
図9の処理も、図6のステップF107のナビゲーション処理中に行われるもので、この場合、ユーザーが操作入力部2を用いて目的地指定操作を行った場合の処理としている。
一般に車載用ナビゲーション装置では、ユーザーが目的地を設定することに応じて好適な経路を算出し、表示部において地図画像上で経路を表示するナビゲーション動作が行われる。
このナビゲーション動作のためには、まずユーザーが目的地を入力することが必要であるが、この目的地の入力のためには様々な方式があり、例えば目的地の住所や地名等を入力する方式や、地図上で位置を指定する方式、さらには目的地を検索して選択する方式などがある。
ユーザーが目的地指定を行おうとする場合、CPU11は、まずユーザーに出発地、目的地、経由地等、経路探索のために必要な情報の入力を求める表示を表示部8で実行させる。ユーザーは表示部8でのメニュー表示、ガイド表示、地図表示等に従って、操作入力部2を用いて目的地等を入力する。CPU11は、ユーザーの入力に従って、出発地、経由地、目的地等を設定する。
このような目的地指定操作が行われたら、CPU11は処理をステップF302に進め、目的地(経由地)に対する経路探索計算を行う。即ち出発地から目的地までの最適ルート、場合によっては経由地を介した最適経路を探索する。そして探索結果を目的地までの経路情報として決定する。
ここで決定された経路情報が、以降のナビゲーション処理での表示や音声ガイドに反映される。
【0059】
CPU11では、ナビゲーション処理制御機能21による通常のナビゲーション処理制御としてステップF302までが行われるが、本例の場合、CPU11の顔特徴データ対応学習/設定機能22による処理として、ステップF303以降が行われる。
ステップF303では、CPU11は、その時点で取り込まれている顔特徴データFDTについて、ユーザーデータベースに登録されている顔特徴データFDTであるか否かを確認する。なお、顔特徴データFDTの取込が或る程度の時間行われていなければ、この時点で新たに顔特徴データFDTを取り込んで、その顔特徴データFDTがユーザーデータベースに登録されているものでであるか否かを判断しても良い。
【0060】
現在の顔特徴データFDT(即ち現在の運転者)が、ユーザーデータベースに登録されていない顔特徴データFDTであれば、ステップF304からF305に進み、現在の顔特徴データFDTを新規の顔特徴データとして新たにユーザーデータベースに登録してからステップF306に進む。
現在の顔特徴データFDTが既に登録されている顔特徴データであったら、ステップF304からそのままF306に進む。
【0061】
ステップF306では、今回設定された目的地の情報を、ユーザーデータベースに登録する。即ち、この時点で取得されている顔特徴データFDTに対応させて、目的地情報をユーザーデータベースの目的地履歴情報として追加登録する。
この処理により、ユーザーがナビゲーション装置10において目的地指定を行う毎に、ユーザーデータベースには、そのユーザーに対応して、今回の目的地が目的地履歴情報として登録されることになる。
【0062】
またステップF307では、登録されている目的地履歴情報から、嗜好種別の判定処理を行う。即ち今回目的地履歴情報に追加された目的地を含んで、この時点で目的地履歴情報に登録されている各目的地の種別を判別し、ユーザーの嗜好を推定する学習処理を行う。
例えば履歴登録されている各目的地について、POIデータを参照し、分類が判定できる目的地を抽出する。そして抽出された各目的地の分類、例えばスポーツ関係、ショッピング関係などの分類を集計し、そのユーザーが目的地とする機会の多い分類を判定する。例えば所定回数以上目的地とされた分類を判定するなどの処理を行なって、ユーザーの嗜好種別を推定する。
【0063】
例えば目的地履歴情報に登録された目的地が少数であったり、多様な分野に分散しすぎているなどで、ステップF307で或る嗜好種別を判定できなかった場合は、ステップF308で判定不能として処理を終える。
一方、目的地履歴情報に登録された目的地の分類の傾向から、ユーザーの嗜好種別が推定できた場合は、ステップF309に進む。ステップF309では、その嗜好種別が、当該ユーザー(顔特徴データFDT)に対応した嗜好種別情報として、既にユーザーデータベースに登録されているか否かを判断し、登録されていれば、処理を終える。登録されていなければステップF310に進み、CPU11は今回判定した嗜好種別を、当該ユーザー(顔特徴データFDT)に対応した新たな嗜好種別としてユーザーデータベースの嗜好種別情報に登録して処理を終える。
【0064】
例えばこの図9の処理により、ユーザーの目的地指定に応じてユーザーデータベースに目的地履歴情報が追加登録され、また目的地履歴情報から推定される、ユーザー嗜好種別が嗜好種別情報として登録されることになる。
そして、図8,図9のような処理でユーザー情報がユーザーデータベースに登録されることで、上記図6の処理において述べたように、ユーザー個人の目的地履歴、嗜好種別情報、音声ガイド選択情報に応じたナビゲーション処理が実行されるものとなる。
【0065】
[2.第2の実施の形態:オーディオ再生装置]
続いて第2の実施の形態を説明する。第2の実施の形態は、車載用のオーディオ再生装置の例である。
図10はオーディオ再生装置100の構成を示している。このオーディオ再生装置100は、図12のように自動車のフロントコンソールなどに取り付けられる車載用のオーディオ再生装置であって、例えばCD(Compact Disc)やミニディスクなどのオーディオディスクの再生機能やラジオチューナ機能などを備え、自動車内に配置されたスピーカから音楽等の再生音声を出力させる装置である。
【0066】
図10のオーディオ再生装置100において、CPU110は、動作プログラムや操作入力に応じて、オーディオ再生のために各部を制御する。
メモリ部111は、CPU110において実行されるプログラムコードを格納したり、実行中の作業データを一時保管するために使用される。この図の場合、メモリ部111としては、揮発メモリ、不揮発性メモリの双方を含むものとして示している。例えばプログラムを格納するROM、演算ワーク領域や各種一時記憶のためのRAM、EEP−ROM(Electrically Erasable and Programmable Read Only Memory)等の不揮発性メモリを含む。
またメモリ部111としての不揮発性メモリには、ユーザー個人に対応したユーザー情報を登録するユーザーデータベースが格納される。
【0067】
操作部112は、オーディオ再生装置100のフロントパネルに配置される各種操作キーやダイヤル等の操作子を備える。ユーザーは操作部112により、例えばオーディオモード(ソース切換)操作、ボリューム(音量)操作、音質操作、ディスク再生操作、早送り/早戻し操作、頭出し操作、ラジオ放送等の選局操作が可能とされる。
表示部113は、例えば液晶パネルによる表示部とされ、図12に示したように、オーディオ再生装置100のフロントパネルに設けられる。この表示部113では、CPU110の制御に基づいて、オーディオモード表示、再生や早送りなどの動作を示す表示、スペクトルアナライザ表示、音量レベル表示、再生している曲等のトラックナンバや受信している放送局の表示などが行われる。
【0068】
再生出力するオーディオ信号のソースとして、ディスク再生部115、チューナ部116、外部入力部117を示している。セレクタ118はこれらオーディオ信号のソースを選択する回路である。
なお、オーディオ信号のソースとして、これ以外に楽曲等を記憶させたHDD(Hard Disc Drive)や、メモリカードからオーディオ信号を再生するメモリカードリーダなどが設けられても良い。
【0069】
ディスク再生部115は、例えばCD(Compact Disc)/DVD(Digital Versatile Disc)等の光ディスクに対する再生装置部、もしくはミニディスク等の光ディスク/光磁気ディスクに対する再生装置部とされる。
ユーザーが操作部112からディスク再生に関する操作を行うことで、CPU110はディスク再生部115に再生動作を開始させたり、操作に応じた動作(頭出しサーチ等)を実行させる。ディスク再生部115で再生が行われるときはCPU110はセレクタ118がディスク再生部115を選択するように制御する。そしてディスク再生部115でディスクから再生されたオーディオ信号は、デジタルデータのままセレクタ118を介してDSP(Digital Signal Processor)114に供給される。
【0070】
チューナ部116は、ラジオ放送等の放送受信器であり、放送波の受信/復調を行う。チューナ部116で放送受信を行うときはCPU110はセレクタ118がチューナ部116を選択するように制御する。そしてチューナ部116で復調されたオーディオ信号はデジタルデータに変換されて、セレクタ118を介してDSP114に供給される。
【0071】
外部入力部117は、例えばチェンジャーシステム、ナビゲーション装置など、同じく自動車内に搭載された外部の機器からのオーディオ信号を入力する回路部である。
ユーザー操作によりソースとして外部入力部117が指定された場合、CPU110はセレクタ118が外部入力部117を選択するように制御する。そして外部入力部117により外部機器から入力されたオーディオ信号(デジタルデータ)は、セレクタ118を介してDSP114に供給される。
【0072】
DSP114は、出力するオーディオ信号に対して各種の信号処理を行う。例えばイコライジング/リバーブ等の音響効果処理、音量調整処理、タイムアライメント処理、チャンネルデバイド処理、スピーカバランス調整処理などを行う。
音量調整処理、音響効果処理、スピーカバランス調整処理などは、操作部112からのユーザー操作に基づいて行う。
【0073】
DSP114では、以上のような各種の音声信号処理を行って、例えば4チャンネルスピーカから出力する4チャンネルのオーディオ信号を出力する。
各チャンネルのオーディオ信号は、D/A変換器119a,119b,119c,119dにおいてアナログ信号に変換された後、それぞれアンプ部120a,120b,120c,120dで増幅され、スピーカ121a,121b,121c,121dから音声として出力される。スピーカ121a,121b,121c,121dは、例えばフロント右スピーカ、フロント左スピーカ、リア右スピーカ、リア左スピーカとして車内に配置されている。
なお、DSP114で行われるスピーカバランス調整処理とは、例えばフロント側スピーカとリア側スピーカでの音量バランスや、左側のスピーカと右側のスピーカでの音量バランスなどの可変設定処理である。
ユーザーは、フロント側スピーカとリア側スピーカとの音量バランス等を操作により任意に設定できる。
【0074】
撮像部123は、撮像光学レンズ系、レンズ駆動系、CCDセンサやCMOSセンサによる撮像素子部、撮像素子部で撮像された画像信号についてサンプリング、ゲイン調整、映像信号処理(輝度処理、色処理、補正処理等)等を行う撮像信号処理回路などを搭載して形成され、撮像動作により画像データを出力する。この撮像部123により、自動車内のユーザーの顔の撮像が行われる。
撮像部123における撮像レンズ123aは図12のように、オーディオ再生装置100のフロントパネル上に設けられており、この撮像レンズ123aは、例えば運転席のユーザーの顔の位置を被写体方向として捉えるように撮像方向が設定されている。
もちろん、撮像部123の撮像方向は、運転者の顔の方向に固定しても良いが、助手席方向や後部座席方向に変更できるようにしてもよい。また車内を広角で撮像し、車内のユーザーの全ての顔を被写体として捉えることができるようにしてもよい。
【0075】
画像解析部124は、撮像部123で得られた撮像画像データについて解析処理を行う。
この画像解析部124は、撮像画像データから人物の顔の画像を処理対象のオブジェクトとして抽出する処理と、抽出した顔画像から、顔特徴データFDTを生成する処理を行う。第1の実施の形態の場合と同様、顔特徴データFDTは、例えば顔の構成要素の相対位置情報であり、図4で説明した比情報Fa、Fbの2つのデータを含む。
画像解析部124は、撮像画像データから生成した顔特徴データFDTをCPU110に供給する。
【0076】
図11に、CPU100が有する機能、即ちメモリ部111のROM等に記憶されたプログラムに基づいた演算処理により実現される機能を示す。
CPU100の機能として、オーディオ再生装置制御機能131、顔特徴データ対応学習/設定機能132、顔特徴データ対応制御機能133が設けられる。これらの機能は、それぞれが個別のプログラムモジュールで実現されても良いし、1つのプログラム内に複数の機能を実行するためのプログラムが混在しても良い。
【0077】
オーディオ再生制御機能131は、オーディオ再生装置として必要とされる処理動作を制御する機能であり、他の各部に対して処理の指示やタイミング制御を行い、必要なオーディオ再生動作を実行させる。
例えばオーディオソースであるディスク再生部115やチューナ部116の動作制御、競れ苦端部118の切換制御、DSP114のオーディオ信号処理の制御、撮像部123の撮像動作制御、表示部113の表示動作制御、操作部112の操作入力の検知などの処理を行う。
【0078】
顔特徴データ対応学習/設定機能132は、顔特徴データFDTで識別される個々のユーザーについてのユーザー情報を、自動的な学習処理もしくはユーザー操作に応じた設定処理によりユーザーデータベースに登録する機能である。
ユーザーデータベースは例えば図13のようなデータベースであり、例えばこのユーザーデータベースはメモリ部111内の不揮発性メモリに格納される。
ユーザーデータベースは、図13のように、個々の顔特徴データFDT(FDT1,FDT2・・・)、つまりユーザー個人毎に、ユーザー情報を登録するデータベースである。この場合、ユーザー情報の例として音響設定情報、ソース設定情報を挙げている。音響設定情報とは、イコライジングやリバーブ等のための音響効果値EF、音量値VOL、スピーカバランス調整値SPBなどである。ソース設定情報ASは、例えば図10のようにディスク再生部115,チューナ部116、外部入力部117の3つのオーディオソースが存在する場合、そのうちの1つを示す値である。
【0079】
例えば顔特徴データFDT1が「ユーザーA」、顔特徴データFDT2が「ユーザーB」であるとする。
音響設定情報は、各ユーザーが設定した音響設定値を登録したものである。例えばユーザーAがオーディオ再生装置100の使用のために登録した音響効果値EF、音量値VOL、スピーカバランス調整値SPBが、顔特徴データFDT1に対応して登録される。
またユーザーBがオーディオ再生装置100の使用のために登録した音響効果値EF、音量値VOL、スピーカバランス調整値SPBが、顔特徴データFDT2に対応して登録される。
【0080】
ソース設定情報ASは、ユーザーが選択したオーディオソースを示す情報である。例えばユーザーAがディスク再生部115を通常使用するオーディオソースとして選択した場合、ディスク再生部115を示す値がソース設定情報ASとして顔特徴データFDT1に対応して登録される。またユーザーBがチューナ部116を通常使用するオーディオソースとして選択した場合、チューナ部116を示す値がソース設定情報ASとして顔特徴データFDT2に対応して登録される。
顔特徴データ対応学習/設定機能132によっては、このようなユーザーデータベースとして、顔特徴データFDTに対応したデータ群が生成される。
【0081】
顔特徴データ対応制御機能133は、オーディオ再生動作の際に、セレクタ部118でのソース選択やDSP114でのオーディオ信号処理に関して、上記ユーザーデータベースに登録された内容に基づいた動作が行われるように制御する機能である。即ち顔特徴データ対応制御機能133は、乗車しているユーザー(例えば運転者)を、顔特徴データFDTにより判別し、そのユーザーが顔特徴データFDT1のユーザーであれば、ユーザーデータベースにおいて顔特徴データFDT1に対応して登録されている内容に沿うようにソース選択やオーディオ信号処理が実行されるように制御する。
例えばユーザーAが運転者である場合、顔特徴データFDT1に対応して登録されているソース設定情報ASに示されたソースが、最初のオーディオソースとして選択されるようにし、また音響設定情報で示される値として、音響効果、音量、スピーカバランス調整が行われるようにする。
一方、ユーザーBが運転者である場合、顔特徴データFDT2に対応して登録されてい
るソース設定情報ASに示されたソースが、最初のオーディオソースとして選択されるようにし、また音響設定情報で示される値として、音響効果、音量、スピーカバランス調整が行われるようにする。
つまり顔特徴データ対応制御機能133は、オーディオ再生時のソース選択やオーディオ信号処理の内容を、ユーザー毎に切り換えるように制御するものである。
【0082】
以上の構成のオーディオ再生装置100の処理動作を説明していく。なお撮像部123は、運転席に座ったときの運転者の顔の位置を中心とした範囲を被写体方向とし、従って画像解析部124は、運転者の顔特徴データFDTを生成するものとして説明する。
【0083】
図14は、オーディオ再生装置100が電源オンとされたときのCPU110の処理を示している。例えばユーザーが自動車のエンジンキーをアクセサリポジションとするか、もしくはエンジンをかけることで、オーディオ再生装置100が電源オンとされる。
電源オンとなったら、CPU110はステップF401として起動処理を行い、動作プログラムのロードや各部の起動制御を行う。
【0084】
電源オン時の起動処理を完了したら、CPU110はステップF402で、撮像部123の撮像処理及び画像解析部124の顔特徴データFDTの生成処理を開始させ、画像解析部124からの顔特徴データFDTの取込を開始する。
上記第1の実施の形態の場合と同様に、画像解析部124での顔特徴データFDTの生成及びCPU110の顔特徴データFDTの取込は、その顔特徴データFDTの生成に要する時間間隔で常時連続して行っても良いし、或る程度の時間間隔で定期的に行うようにしても良い。また、停車時、エンジン停止時などを検出できるようにして、運転者が代わる可能性のあるタイミングで顔特徴データFDTを新たに取り込むようにしてもよい。
【0085】
顔特徴データFDTを取り込んだら、CPU110はステップF403で、その顔特徴データFDTがユーザーデータベースに登録されているユーザーに相当するか否かを確認する。即ちユーザーデータベースを検索して、同一(或いは或る程度の許容範囲内で類似)の顔特徴データFDTが存在するか否かを確認する。
もし、今回取り込まれた顔特徴データFDTが、ユーザーデータベースに登録されていない顔特徴データFDTであったら、CPU110は処理をステップF406に進め、通常のオーディオ再生動作の設定を行い、ステップF407のオーディオ再生処理にうつる。通常のオーディオ再生設定とは、最初に選択するオーディオソースや、音響効果値、音量値、スピーカバランス調整値として、例えば装置内でデフォルトで決められている設定である。或いは、前回の電源オフ時におけるこれらの値を記憶しておき(いわゆるラストメモリ)、その記憶値に応じた設定としてもよい。
【0086】
ステップF407でのオーディオ再生処理では、ユーザーの操作や、上述したオーディオ再生制御機能131の制御に基づいて、選択されているオーディオソースからの再生音声出力が行われる。
【0087】
一方、ステップF403で、今回の顔特徴データFDT(つまり運転者)が、ユーザーデータベースに登録された顔特徴データFDTであると判別された場合は、CPU110は処理をステップF404、F405として顔特徴データ対応制御機能133による処理を行う。まずステップF404では、ユーザーデータベースからユーザー情報を読み出す。例えば取り込まれた顔特徴データFDTが「FDT1」であったとしたら、図13のユーザーデータベースにおいて顔特徴データ「FDT1」に対して登録されている音響設定情報EF,VOL,SPB、ソース設定情報ASを読み出す。
そしてCPU110はステップF405で、読み出したユーザー情報に基づいて、オーディオ再生動作の設定、即ちオーディオソース及びオーディオ信号処理の設定を行う。
続いてステップF407でのオーディオ再生処理として、オーディオ再生動作が行われるものとなるが、この場合は、ユーザー個人に対応した設定状態で動作が行われる。つまりこの場合CPU110は、音響設定情報EF,VOL,SPBに示された値で音量調整、音響効果処理、スピーカバランス調整処理が行われるようにDSP114を制御し、またソース設定情報ASに基づいてセレクタ部118の切換制御及びソース指定された部位の動作制御を行うことになる。
【0088】
なお、ステップF402で顔特徴データFDTの取込が開始された以降は、ステップF407のオーディオ再生動作中も、例えば定期的、或いは運転者の変更の可能性がある場合などに、CPU110は逐次顔特徴データFDTを取り込んでおり、取り込まれる顔特徴データFDTが変化したか否か(つまり運転者が代わったか否か)を確認している。
顔特徴データFDTの変化が検知されなければ、ステップF407のオーディオ再生処理が、それまでの設定状態で継続されるが、もし顔特徴データFDTの変化を検知したら、ステップF408からF403に戻って、上述した処理を行う。
従って、もし運転者が代わると、ステップF405もしくはF406で再度オーディオ再生動作設定が行われ、その後のステップF407のナビゲーション動作の設定が変更されることになる。
【0089】
この図14の処理からわかるように、ステップF407のオーディオ再生処理では、運転者に応じて動作設定、つまりソース選択やオーディオ信号処理の値が切り換えられることになる。
例えば、通常はCD等のディスク再生音楽をいつも聴く人や、通常はラジオ放送を主に聞く人など、ユーザー個人毎にオーディオソースの選択の傾向が異なる。
また大音量を好む人、大音量を嫌う人という違いもある。音響効果やスピーカバランスの設定に関しても好みがある。
本例の場合、ユーザー毎に、そのユーザーに適したオーディオソースや音量、音響効果、スピーカバランス調整などが自動的に行われることになる。これによって、乗車するユーザーが代わる毎に、ソース選択を切り換えたり、音量や音響効果、スピーカバランス調整をし直すような操作を行う必要はなく、各ユーザーにとって快適なオーディオ再生を楽しむことができるようになる。
【0090】
ユーザーデータベースへのユーザー情報の登録は、ユーザーの登録操作に基づいて行われたり、学習動作によって自動的に行われる。
ユーザーが登録操作を行う場合のCPU110の処理は、上述した図8とほぼ同様とすればよい。
即ち図8のステップF201〜F204の処理を行った後、ステップF205で、オーディオソース選択のための画面や、音量、音響効果、スピーカバランス調整のための設定を行う画面を表示させ、ユーザーの項目の選択操作や値の入力操作に応じて、ステップF209で、顔特徴データFDTに対応するユーザー情報としてユーザーデータベースに音響設定情報(EF,VOL,SPB)やソース設定情報ASを登録すればよい。
なお、音響設定情報(EF,VOL,SPB)の登録のためには、例えば再生音声出力を行った状態でユーザー操作により好みの音量、音響効果状態、スピーカバランス調整状態を可変させ、ユーザーが決定操作したときのこれらの値を、音響設定情報としての音響効果値EF、音量値VOL、スピーカバランス調整値SPBとして登録すればよい。
【0091】
また、このようなユーザー操作に基づく登録の他、学習処理による登録を行うこともできる。
例えばユーザーデータベースを図15のような内容とする。即ち、ユーザーデータベースには、音響設定情報(EF,VOL,SPB)、ソース設定情報ASとともに、これらの履歴情報として音響設定履歴情報やソース履歴情報を登録する。
【0092】
例えば図14のステップF407のオーディオ再生処理中には、ユーザーの操作に応じて図16の処理が行われるようにする。
図16はユーザーが音量変更操作、音響効果変更操作、スピーカバランス変更操作、ソース変更操作を行った際の処理を示している。
【0093】
CPU110は、ユーザーが音量変更操作を行ったら、処理をステップF501からF505に進め、DSP114に対して操作に応じた音量変更制御を行う。これにより再生されている音楽等の出力音量が変更される。次にステップF506で、今回の変更後の音量値をユーザーデータベースに登録する。即ち、この時点で取得されている顔特徴データFDTに対応させて、音響設定履歴情報の音量値VOLxxとして追加登録する。
ステップF505では、音響設定履歴情報に追加登録された音量値VOLxxを加えた、その時点で履歴登録されている音量値(例えばユーザーAの場合としたら、図15のVOL11,VOL12・・・VOLxx)を用いて、このユーザーの好む音量値を算出する。例えば履歴登録されいる音量値VOL11,VOL12・・・の平均値を算出するなどして、これをユーザーの好む音量値とする。なお、平均値をとるときに、履歴として登録されている各音量値の分布や標準偏差などを求め、代表的な音量と極端に異なる音量値は、平均値算出から除外するようにするとよい。
そして例えば平均値などとして音量値が算出されたら、それを新たな音響設定情報における音量値VOLとして更新する。
【0094】
またCPU110は、ユーザーが音響効果としてイコライジングやリバーブレベル等の変更操作を行ったら、処理をステップF502からF508に進め、DSP114に対して操作に応じた音響効果値の変更制御を行う。これにより再生されている音楽等の出力音量の音響効果が変更される。次にステップF509で、今回の変更後の音響効果値をユーザーデータベースに登録する。即ち、この時点で取得されている顔特徴データFDTに対応させて、音響設定履歴情報の音響効果値EFxxとして追加登録する。
ステップF510では、音響設定履歴情報に追加登録された音響設定値EFxxを加えた、その時点で履歴登録されている音響効果値(ユーザーAの場合としたらEF11,EF12・・・EFxx)を用いて、このユーザーの好む音量値を算出する。例えば履歴登録されいる音響効果値EF11,EF12・・・の平均値を算出するなどして、これをユーザーの好む音響効果値とする。この場合も、履歴登録された音響効果値において代表的な音響効果値と極端に異なる音響効果値は、平均値算出から除外するようにするとよい。
そして例えば平均値などとして音響効果値が算出されたら、それを新たな音響設定情報における音響効果値EFとして更新する。
【0095】
またCPU110は、ユーザーがスピーカバランス変更操作を行ったら、処理をステップF503からF511に進め、DSP114に対して操作に応じたスピーカバランスの変更制御を行う。これにより再生されている音楽等の出力のスピーカバランスが変更される。次にステップF512で、今回の変更後のスピーカバランス調整値をユーザーデータベースに登録する。即ち、この時点で取得されている顔特徴データFDTに対応させて、音響設定履歴情報のスピーカバランス調整値SPBxxとして追加登録する。
ステップF513では、音響設定履歴情報に追加登録されたスピーカバランス調整値SPBxxを加えた、その時点で履歴登録されているスピーカバランス調整値(ユーザーAの場合としたらSPB11,SPB12・・・SPBxx)を用いて、このユーザーの好むスピーカバランス調整値を算出する。これも平均的な値を算出すればよい。
そして例えば平均値などとしてスピーカバランス調整値が算出されたら、それを新たな音響設定情報におけるスピーカバランス調整値SPBとして更新する。
【0096】
またCPU110は、ユーザーがオーディオソースの切り換え操作を行ったら、処理をステップF504からF514に進め、セレクタ部118の切換制御及び新たに選択されたオーディオソースの動作制御(例えばチューナ部116が選択された場合はチューナ部116の動作制御)を行う。これにより再生出力されるオーディオソースが切り換えられる。次にステップF515で、今回の変更後のオーディオソースを示す値をユーザーデータベースに登録する。即ち、この時点で取得されている顔特徴データFDTに対応させて、ソース履歴情報に、今回のオーディオソースを示す値を追加登録する。
ステップF516では、ソース履歴情報に追加登録されたオーディオソースを加えた、その時点で履歴登録されているオーディオソースを用いて、このユーザーの好むオーディオソースを判別する。例えばオーディオソースとしてディスク再生部115(AS1)、チューナ部116(AS2)、外部入力部117(AS3)として、それぞれ履歴登録されている数を集計し、最大数のオーディオソースを、そのユーザーが好むオーディオソースと判定する。そして判定したオーディオソースにより、ソース設定情報ASの値を更新する。
【0097】
例えばこのような処理が行われることで、図15のようなユーザーデータベースでは、音響設定情報(EF,VOL、SPB)及びソース設定情報ASが、ユーザーの使用時の操作に応じて経時的に好む傾向が学習され、その結果、音響設定情報(EF,VOL、SPB)及びソース設定情報ASはユーザーの好みの設定状態を示すものとなる。そして図14のステップF405でオーディオ再生動作の設定が行われるときに、このような学習結果としての音響設定情報(EF,VOL、SPB)及びソース設定情報ASが反映されることで、ユーザーの好みの状態のオーディオ再生が行われることになる。
【0098】
[3.実施の形態の効果及び変形例]
以上、実施の形態を説明してきたが、これらのような実施の形態によれば、撮像された人物の顔特徴データFDTによりユーザーを判別し、ユーザーデータベースにおいてそのユーザーに対応したユーザー情報に基づいた動作制御を実行することで、個々のユーザーに適した動作が行われる。
例えばナビゲーション装置10の場合の地図画像表示や音声による走行ガイドなどとして、ユーザーの好みや必要性に応じたナビゲーション出力を行うことができる。
同様にオーディオ再生装置100の場合は、再生出力されるオーディオ信号として、ユーザーの好み等に応じた音量、音質(音響効果)、スピーカバランス、オーディオソース選択などが行われる。
即ち、複数のユーザーが乗車する車の車載用電子機器として、個々のユーザーが、わざわざ調整操作を行わなくとも、乗車しているユーザー(運転者)にとって快適なナビゲーション動作やオーディオ再生動作等が実現できる。
【0099】
なお、本発明は実施の形態の例に限らず、多様な変形例が考えられる。
ナビゲーション処理10やオーディオ再生装置100の構成は上記例に限らず多様に考えられる。また、ナビゲーション装置とオーディオ再生装置の複合機器も想定される。
さらに車載用の電子機器としては、これら以外に、ビデオ機器、テレビジョンチューナ機器なども想定される。
【0100】
ユーザーデータベースに登録されるユーザー情報も、上記例に限られない。例えばナビゲーション装置や映像再生装置、テレビジョン装置等において表示部の輝度レベル、コントラスト、シャープネスなどの調整値として、各ユーザー個人の好む値をユーザーデータベースに登録し、そのユーザーの使用時にその調整値が設定されるようにしてもよい。
オーディオ再生装置やテレビジョンチューナ機器の場合の選局(チャンネル)の好みなどもユーザー情報として採用できる。
【0101】
実施の形態では、撮像して顔特徴データFDTを検出するユーザーを、運転者としたが、もちろんこれに限らず、助手席の人物や後部座席の人物を撮像対象としても良いし、撮像対象となる人物(座席位置)を可変できるようにしてもよい。
また、車室内全体を撮像できるようにし、複数の人物が乗車するときには、それに応じた登録が行われるようにしても良い。即ち検出される顔特徴データFDTの組み合わせでユーザーデータベースを構成する。
ユーザーA、B、Cの3人の家族で使用する車のナビゲーション装置10やオーディオ再生装置100であるとして、撮像部16,123が車室内の全体を撮像するように被写体方向が設定されている場合、検出される顔特徴データFDTとしては、次の場合がある。
・ユーザーAのみ
・ユーザーBのみ
・ユーザーCのみ
・ユーザーAとB
・ユーザーAとC
・ユーザーBとC
・ユーザーAとBとC
これら7とおりの場合を、それぞれユーザーデータベースにおいて、別に登録されるようにする。そしてそれぞれの場合において、操作状況や登録操作に応じて、ユーザー情報を登録する。
このようにすることで、乗っている人物の組み合わせに応じて、適切なナビゲーション処理やオーディオ再生処理が実現できる。
【0102】
ところで、ナビゲーション装置10やオーディオ再生装置100に撮像部16、123を設けることで、次のような処理も可能となる。
例えば撮像画像信号から車室内の明るさを検出し、車室内の明るさに合わせて表示部8、113装置の輝度を設定する。これにより、室内が暗くなった場合に表示画面の輝度を下げることはもちろん、天気の良い日中には非常に見にくくなるカーオーディオやカーナビゲーションの表示画面の輝度を明るく調整することも可能となる。
【0103】
また、ユーザーデータベースに顔特徴データFDTを登録することは、車のセキュリティに利用できる。即ち運転席に、ユーザーデータベースに登録されていない顔特徴データFDTの人物が座っているときには、エンジンを始動させないなどの処理が可能である。
【0104】
また、定期的に車室内を撮像して、例えばナビゲーション装置で得られる現在位置情報と合わせて撮像画像データ一定期間記録しておくことにより、位置情報にリンクした写真日記として利用することもできる。
【図面の簡単な説明】
【0105】
【図1】本発明の第1の実施の形態のナビゲーション装置のブロック図である。
【図2】第1の実施の形態のナビゲーション装置の機能構成の説明図である。
【図3】第1の実施の形態のナビゲーション装置の設置状態の説明図である。
【図4】実施の形態の顔特徴データの説明図である。
【図5】第1の実施の形態のユーザーデータベースの説明図である。
【図6】第1の実施の形態の処理のフローチャートである。
【図7】第1の実施の形態の地図表示例の説明図である。
【図8】第1の実施の形態の登録操作時の処理のフローチャートである。
【図9】第1の実施の形態の学習による登録処理のフローチャートである。
【図10】本発明の第2の実施の形態のオーディオ再生装置のブロック図である。
【図11】第2の実施の形態のオーディオ再生装置の機能構成の説明図である。
【図12】第2の実施の形態のオーディオ再生装置の設置状態の説明図である。
【図13】第2の実施の形態のユーザーデータベースの説明図である。
【図14】第2の実施の形態の処理のフローチャートである。
【図15】第2の実施の形態のユーザーデータベースの変形例の説明図である。
【図16】第2の実施の形態の学習処理のフローチャートである。
【符号の説明】
【0106】
1 演算処理部、2 操作入力部、3 映像信号処理部、4 位置検出部、5 センサ部、6 ディスクドライブ装置部、7 音声合成/再生処理部、8 表示部、9 スピーカ部、11 CPU、12 ROM、13 RAM、14 不揮発性メモリ、15 インターフェース部、16 撮像部、17 画像解析部、21 ナビゲーション処理制御機能、22 顔特徴データ対応学習/設定機能、23 顔特徴データ対応制御機能、100 オーディオ再生装置、110 CPU110、111 メモリ部、112 操作部、113 表示部、114 DSP、123 撮像部、124 画像解析部、131 オーディオ再生制御機能、132 顔特徴データ対応学習/設定機能、133 顔特徴データ対応制御機能
【技術分野】
【0001】
本発明は、例えばナビゲーション装置やオーディオ再生装置などの車載用電子機器と、その動作制御方法に関するものである。
【背景技術】
【0002】
【特許文献1】特開2003−32776号公報
【特許文献2】特開平7−329639号公報
【特許文献3】特開平9−90963号公報
【0003】
車載用の電子機器として、例えばナビゲーション装置やオーディオ再生装置が広く利用されている。
そしてこれらの車載用機器として、特に撮像部(カメラ)を備えるようにして、撮像した画像から例えば自動車の乗車人数や乗車位置を判別するなどし、それらの状況に応じて音響特性を調整する技術が、上記特許文献に記載されている。
【発明の開示】
【発明が解決しようとする課題】
【0004】
ところで車載用電子機器は、ユーザー個人毎に、使用する際の設定の好みや動作の必要性が異なる。例えば一台の自動車を家族で使用している場合、車載用電子機器のユーザーは複数となるが、車載用電子機器の動作に関してそれぞれの好みや必要性が異なる。
例えばナビゲーション装置の場合、表示や音声によるガイド内容として、欲する内容がユーザー毎に異なり、ユーザー個人毎にとって、過剰なガイドとなったり、逆に望むガイド内容が出力されないといったことが生ずる。
オーディオ再生装置の場合、音量、音響設定などの好みがユーザー毎に異なる。
このため、乗車するユーザーが代わる毎に、各人は自分の好みの状態に操作し直す必要があり、操作が面倒となる。或いは操作が面倒であれば、好みでない動作状態を認容しなければならない。
【0005】
そこで本発明では、乗車するユーザーが代わっても、各人が毎回面倒な操作を行うことなく、乗車するユーザーに適した動作が行われる車載用電子機器を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の車載用電子機器は、車内の人物を撮像できるように配置された撮像部と、上記撮像部で撮像された画像データを解析し、撮像された人物の顔特徴データを生成する画像解析部と、顔特徴データに対応したユーザー情報を記憶するメモリ部と、上記メモリ部から上記画像解析部で生成された顔特徴データに対応するユーザー情報を読み出し、読み出したユーザー情報に基づいた動作制御を実行する制御部とを備える。
【0007】
また上記車載用電子機器は車載用のナビゲーション装置であって、表示部と、ナビゲーション情報を取得するナビゲーション情報取得部とを更に備える。そして上記制御部は、上記表示部において、上記ナビゲーション情報取得部で取得したナビゲーション情報としての地図情報による地図表示を実行させる際に、上記画像解析部で生成された顔特徴データに対応して上記メモリ部から読み出したユーザー情報に基づいて、地図表示上の表示内容を制御する。
また上記車載用電子機器は車載用のナビゲーション装置であって、音声出力部と、ナビゲーション情報を取得するナビゲーション情報取得部と、現在位置情報を検出する位置検出部とを更に備える。そして上記制御部は、上記音声出力部から、上記ナビゲーション情報取得部で取得したナビゲーション情報又は上記位置検出部で検出した現在位置情報に基づいた音声出力を実行させる動作に関して、上記画像解析部で生成された顔特徴データに対応して上記メモリ部から読み出したユーザー情報に基づいて、音声出力内容を制御する。
【0008】
なお、ここでのナビゲーション情報とは、地図データや地図上に表示する画像データ、POI(Point of Interest)データ、車線/進路情報、有料道路の料金情報、走行上の注意や案内の情報、道路情報、渋滞情報など、ナビゲーション動作として出力する情報の元となる情報のことである。
そしてナビゲーション情報取得部とは、例えば光ディスク、HDD(Hard Disc Drive)などの記録媒体からナビゲーション情報を再生したり、或いは外部と通信してナビゲーション情報を受信するなどして情報を取得する部位である。
【0009】
また上記車載用電子機器は車載用のオーディオ再生装置であって、オーディオソースから供給されるオーディオ信号について信号処理を行うオーディオ信号処理部と、上記オーディオ信号処理部で信号処理されたオーディオ信号を1又は複数のスピーカに供給するオーディオ出力処理部とを更に備える。そして上記制御部は、上記画像解析部で生成された顔特徴データに対応して上記メモリ部から読み出したユーザー情報に基づいて、上記オーディオ信号処理部での信号処理を制御する。
なお、上記オーディオ信号処理部での信号処理とは、例えば音量調整処理、イコライジングやリバーブなどの音響処理、複数チャンネルスピーカの出力バランスの設定処理などである。
また上記車載用電子機器は車載用のオーディオ再生装置であって、複数のオーディオソースからのオーディオ信号を選択する選択部と、上記選択部で選択されたオーディオ信号を1又は複数のスピーカに供給するオーディオ出力処理部とを更に備える。そして上記制御部は、上記画像解析部で生成された顔特徴データに対応して上記メモリ部から読み出したユーザー情報に基づいて、上記選択部でのオーディオ信号の選択動作を制御する。
【0010】
また、上記画像解析部が生成する上記顔特徴データは、顔の構成要素の相対位置情報である。
また上記ユーザー情報を入力する入力部を更に備え、上記制御部は、上記入力部により入力されたユーザー情報を、上記画像解析部で生成された顔特徴データに対応させて、上記メモリ部に記憶させる。
また操作入力部を更に備え、上記制御部は、上記操作入力部を用いた操作内容、もしくは操作内容の履歴によりユーザー情報を生成し、上記画像解析部で生成された顔特徴データに対応させて、上記メモリ部に記憶させる。
【0011】
本発明の動作制御方法は、車内の人物を撮像できるように配置された撮像部と、上記撮像部で撮像された画像データを解析し、撮像された人物の顔特徴データを生成する画像解析部と、顔特徴データに対応したユーザー情報を記憶するメモリ部とを備えた車載用電子機器の動作制御方法であり、上記画像解析部で顔特徴データを生成するステップと、上記メモリ部から、上記顔特徴データに対応するユーザー情報を読み出すステップと、読み出したユーザー情報に基づいて動作制御を実行するステップとを備える。
【0012】
以上の本発明の場合、例えばナビゲーション装置やオーディオ再生装置の表示部や操作パネル付近などの位置に、乗車しているユーザーを撮像できる撮像部を設け、撮像部で撮像した画像から顔特徴データを検出する。顔特徴データはユーザー個人を判別する情報として用いる。そしてユーザー個人を判別したら、ナビゲーション動作やオーディオ再生動作においてそのユーザー個人に応じた制御を行う。
【発明の効果】
【0013】
本発明によれば、撮像部で撮像された人物の顔特徴データにより、ユーザーを判別し、そのユーザーに対応したユーザー情報に基づいた動作制御を実行することで、個々のユーザーに適した動作が行われる。例えばナビゲーション装置の場合の地図画像表示や音声による走行ガイドなどとして、ユーザーの好みや必要性に応じたナビゲーション出力を行うことができる。同様にオーディオ再生装置の場合は、再生出力されるオーディオ信号として、ユーザーの好み等に応じた音量、音質(音響効果)、バランス、オーディオソース選択などが行われる。
即ち、複数のユーザーが乗車する車の車載用電子機器として、個々のユーザーが、調整操作を行わなくとも、乗車しているユーザーにとって快適なナビゲーション動作やオーディオ再生動作等が実現できる。
【発明を実施するための最良の形態】
【0014】
以下、本発明の車載用電子機器の実施の形態として、ナビゲーション装置、オーディオ再生装置の例を、次の順序で説明する。
[1.第1の実施の形態:ナビゲーション装置]
[2.第2の実施の形態:オーディオ再生装置]
[3.実施の形態の効果及び変形例]
【0015】
[1.第1の実施の形態:ナビゲーション装置]
図1は実施の形態の車載用ナビゲーション装置10のブロック図である。
図1のナビゲーション装置10は、演算処理部1、操作入力部2、映像信号処理部3、位置検出部4、センサ部5、ディスクドライブ装置部6、音声合成/再生処理部7、表示部8、スピーカ部9、撮像部16、画像解析部17、通信部18を有する。これらの各部は、一体的に設けられても良いし、それぞれ別の筐体の装置部とされ、有線又は無線で通信可能に接続されるものであってもよい。
【0016】
操作入力部2は、ユーザの操作を受け、その操作情報を演算処理部1に伝達する装置部である。例えばナビゲーション装置10の本体筐体のパネル上に設けられた各種のキーやジョグダイヤル、スティック等の操作子として実現されたり、本体筐体とは別体に設けられたリモートコントローラなどとして実現される。リモートコントローラとされる場合、リモートコントローラ上に設けられたキーやダイヤル等の操作子の操作情報を、赤外線や電波により演算処理部1に送信したり、或いは演算処理部1を有する筐体と有線接続されて操作情報を送信する。
また操作入力部2としては、表示画面上のタッチパネルとされる場合もある。その場合、表示部8と一体的に設けられる。さらには表示部8に表示されたメニュー画面やアイコン表示に対してマウスや所定のポインティングデバイスによってクリックを行う形態も操作入力部2の一態様として考えられる。
【0017】
表示部8及びスピーカ部9は、ユーザーに対する画像や音声の出力装置部となる。
表示部8は、演算処理部1でのナビゲーション動作のための処理で生成された地図画像、経路案内画像、操作メニュー、アイコン、POI(Point of Interest)情報、検索リスト等の各種ナビゲーション画像を表示する。
映像信号処理部3は、演算処理部1で生成されたナビゲーション画像データやその他の画像データに関して必要な処理を行い、表示部8での表示を実行させる。
スピーカ部9は、演算処理部1でのナビゲーション動作のための処理に基づく音声の出力を行う。
音声合成/再生処理部7は、ナビゲーション音声、例えば経路案内処理によるガイド音声等を出力するための音声合成処理を実行し、スピーカ部9から出力させる。
【0018】
位置検出部4は、当該ナビゲーション装置10の位置、即ち当該ナビゲーション装置10が搭載された自動車の位置を検出する装置部であり、例えばGPS(Global Positioning System)を利用したGPS測位装置である。既に公知の通り、GPS測位装置は、複数のGPS衛星から送られてくる電波を受信することで、静止衛星からの位置を計算し、自車の地図上の位置として緯度、経度を求める。
位置検出部4は測位した自車位置としての緯度、経度の情報を演算処理部1に供給する。
【0019】
センサ部5は、車の走行状況や挙動等を検出する装置部である。例えば、車輪の回転数を検知する車速センサ、車体の回転角速度を検知する振動ジャイロセンサ、車の加速度を検知する加速度センサ、車の振動を検知する振動センサなどである。また、車の走行操作装置の状態を検出する装置、例えばパーキングブレーキスイッチやブレーキランプスイッチ、ステアリング舵角センサ、スロットル開度センサなども想定される。
センサ部5によるこれらの検出情報は、演算処理部1に供給される。演算処理部1では、これらのセンサ部5からの検出情報と、位置検出部4からの位置情報とを併せて用いることで、より精度の高い自車位置検出を実行することができる。
【0020】
ディスクドライブ装置部6は、CD(Compact Disc)方式或いはDVD(Digital Versatile Disc)方式、或いはブルーレイディスク方式など外部記録媒体としてのディスク90について再生を行う再生装置である。
このディスクドライブ装置6に地図データ等を含むナビゲーション情報が記録されたディスク90が装填されることで、本ナビゲーション装置10はナビゲーション情報を読み込むことができ、地図データ等に基づいたナビゲーション処理が可能となる。
なお、本明細書では「ナビゲーション情報」とは、ナビゲーション処理に用いるデータの総称として用いており、ナビゲーション情報には、地図データ、地図画像を生成するための地図画像や地図画像上のアイコン等を含む地図描画データ、経路計算用のデータ、経路誘導データ、POI(Point of Interest)データ、検索用データ、管理データなどが含まれる。POIデータとは、レストラン、各種店舗、スポーツ施設、娯楽施設など、多様な地点情報を示すものであり、例えばこれらの各種地点をジャンル別等に体系化して検索できるようにした情報である。
一般に車載用ナビゲーション装置では、ユーザーが目的地を設定することに応じて好適な経路を算出し、表示部において地図画像上で経路を表示するナビゲーション動作が行われる。このナビゲーション動作のためには、まずユーザーが目的地を入力することが必要であるが、この目的地の入力のためには様々な方式があり、例えば目的地の住所や地名等を入力する方式や、地図上で位置を指定する方式、さらには目的地を検索して選択する方式などがある。検索による方式としてPOI入力方式が知られている。例えばユーザーの操作に応じて、POIデータとしての地点情報をカテゴリ別などで分類したデータベースに対して検索を行い、検索結果をリスト表示する。そしてユーザーがリストアップされたエントリの1つを指定することで、目的地として登録できるものである。検索のためのユーザーの入力は、例えばメニュー形式などでカテゴリを指定し、指定されたカテゴリをキーとして検索を行ったり、或いはユーザーがキーとなる文字等を入力し、これに基づいて検索するなど、多様な形態がある。
【0021】
ディスクドライブ装置部6は、演算処理部1を有する本体筐体に一体的に設けられても良いし、別体とされて有線又は無線で演算処理部1と通信可能とされてもよい。
なお説明上は、再生される外部記録媒体の例として、CD方式又はDVD方式のディスク90を挙げているが、他の種類の光ディスクや光磁気ディスク、或いはメモリカードなどの可搬型の記録媒体が外部記録媒体として用いられても良い。もちろんその場合は、外部記録媒体に対応した再生装置部が設けられる。またHDDとしてのディスクドライブ装置部6が設けられても良い。
【0022】
撮像部16は、撮像光学レンズ系、レンズ駆動系、CCDセンサやCMOSセンサによる撮像素子部、撮像素子部で撮像された画像信号についてサンプリング、ゲイン調整、映像信号処理(輝度処理、色処理、補正処理等)等を行う撮像信号処理回路などを搭載して形成され、撮像動作により画像データを出力する。この撮像部16により、自動車内のユーザーの顔の撮像が行われる。
図3には、自動車内のフロントコンソールに配置されたナビゲーション装置10を示しているが、そのフロントパネル上には、表示部8としての画面や、操作入力部2としての各種操作子とともに、撮像部16における撮像レンズ16aが設けられる。この撮像レンズ16aは、例えば運転席のユーザーの顔の位置を被写体方向として捉えるように撮像方向が設定されている。
なお、撮像部16の撮像方向は、運転者の顔の方向に固定しても良いが、助手席方向や後部座席方向に変更できるようにしてもよい。また車内を広角で撮像し、車内のユーザーの全ての顔を被写体として捉えることができるようにしてもよい。
【0023】
画像解析部17は、撮像部16で得られた撮像画像データについて解析処理を行う。
この画像解析部17は、撮像画像データから人物の顔の画像を処理対象のオブジェクトとして抽出する処理と、抽出した顔画像から、顔特徴データFDTを生成する処理を行う。
顔特徴データFDTとは、例えば顔の構成要素の相対位置情報であり、ここでは比情報Fa、Fbの2つのデータを含む例とする。
比情報Faは、図4(b)に示す、目の中心と鼻との距離ENと目の間隔の距離Edの比とする。例えばFa=Ed/ENとする。
比情報Fbは、目の中心と口との距離EMと目の間隔の距離Edの比とする。例えばFb=Ed/EMとする。
このような顔の構成要素の相対位置情報は、個人毎に特有となるとともに、髪型や眼鏡等の装着物などによる、外観上の変化の影響を受けない情報である。さらに加齢によっても変化しないことが知られている。従って、これら比情報Fa,Fbを含む顔特徴データFDTは、ユーザー個人の顔を高い精度で識別できる情報となる。
画像解析部17は、撮像画像データからこのような顔特徴データFDTを生成して演算処理部1に供給する。
【0024】
通信部18は、携帯電話網や他の無線ネットワークを介して情報サーバと通信を行う通信部である。演算処理部1は、通信部18による所定の情報サーバとの間の通信により、例えば道路状況、渋滞情報などを得ることができる。
【0025】
演算処理部1は、ナビゲーション動作としての必要な演算処理を行う装置部であり、例えばCPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、不揮発性メモリ14、インターフェース部15を備えて構成される。
ROM12には動作プログラムや各種処理に用いる定数、固定情報が記憶される。なお、動作プログラムは、ディスクドライブ装置部6に装填されたディスク90に格納され、動作時に演算処理部1内にロードされるようにしてもよい。
RAM13は、ワーク領域やプログラムのロード領域に用いられたり、一時的な情報の蓄積に用いられる。またディスクドライブ装置部6で読み出されたデータについてのバッファリングやデータ処理のための一時的な格納領域ともされる。
【0026】
不揮発性メモリ14は書換え可能かつシステムの電源供給が途絶えた時にも記憶したデータを保持できるメモリであり、例えばフラッシュメモリである。なお電池によりバックアップされたSRAM(Static Random Access Memory)等でもよい。この不揮発性メモリ14には、各種処理に用いる係数やユーザが登録した情報や指定した経路情報、過去の走行履歴情報などが記憶される。
さらに本例では、不揮発性メモリ14は後述するユーザーデータベースの格納にも用いられる。
【0027】
CPU11は、ROM12に記憶されたプログラムに基づいて、ナビゲーション装置として必要な情報処理や制御処理を行う。これらの情報処理や制御処理のために、RAM13をワーク領域として用いたり、ROM12や不揮発性メモリ14に記憶された情報を参照する。
【0028】
インターフェース15は、演算処理部1と他の各部、即ち操作入力部2、映像信号処理部3、位置検出部4、センサ部5、ディスクドライブ装置部6、音声合成/再生処理部7、画像解析部17、通信部18との間での入出力を行う。インターフェース部15は、操作入力部2からの操作情報や各種入力情報、位置検出部4からの位置情報、センサ部5による検出情報を入力し、CPU11に伝達する。またインターフェース部15は、CPU11が出力する制御情報や画像データ、音声データを映像信号処理部3や音声合成/再生処理部7に供給し、ナビゲーションシステムとしての必要な表示出力、音声出力を実行させる。またインターフェース部15はCPU11からのアクセス要求をディスクドライブ装置部6に伝え、ディスクドライブ装置部6に所要のデータ再生を実行させる。またインターフェース部15は、ディスクドライブ装置部6での再生動作によって転送されてくるナビゲーション情報を演算処理部1内に取り込む。またインターフェース部15は、画像解析部17で生成される顔特徴データ17をCPU11に伝達する。またインターフェース部15は通信部18により行われるデータ通信のためのデータ授受を行う。
【0029】
図2に、CPU11が有する機能、即ちROM12等に記憶されたプログラムに基づいた演算処理により実現される機能を示す。
CPU11の機能として、ナビゲーション処理制御機能21、顔特徴データ対応学習/設定機能22、顔特徴データ対応制御機能23が設けられる。これらの機能は、それぞれが個別のプログラムモジュールで実現されても良いし、1つのプログラム内に複数の機能を実行するためのプログラムが混在しても良い。
【0030】
ナビゲーション処理制御機能21は、ナビゲーション装置として必要とされる処理動作を制御する機能であり、他の各部に対して処理の指示やタイミング制御を行い、系統的なナビゲーション動作を実行させる。
例えばナビゲーション処理制御機能21は、ユーザーの目的地や中継地点の登録、経路探索等の処理や、自車の進行に伴った経路案内の処理を行う。また、後述する通常ナビゲーションモード、簡易ナビゲーションモードの設定や、モードに応じた処理の指示を行う。
またナビゲーション処理制御機能21は、ディスクドライブ装置部6を制御し、ディスク90からのナビゲーション情報の読込を実行させる。例えば自車位置やユーザーに指定された位置、或いはユーザーが指定した経路情報などに応じて、必要とされる範囲の地図情報、地図描画用データ、POIデータ、ガイド情報等をRAM13に読み込む。
またナビゲーション処理制御機能21は、位置検出部4からの位置情報とセンサ部5からの検出情報に基づいて、自車位置や自車の挙動を判別する。
またナビゲーション処理制御機能21は、表示部8に表示する画像データ、例えば地図画像、メニュー画像、アイコン画像、各種イメージ画像、各種案内画像のための画像データを生成する。
またナビゲーション処理制御機能21は、経路案内音声等の音声出力制御を行う。
【0031】
顔特徴データ対応学習/設定機能22は、顔特徴データFDTで識別される個々のユーザーについてのユーザー情報を、自動的な学習処理もしくはユーザー操作に応じた設定処理によりユーザーデータベースに登録する機能である。
ユーザーデータベースは例えば図5のようなデータベースであり、例えばこのユーザーデータベースは不揮発性メモリ14内の記憶領域に格納される。
ユーザーデータベースは、図5のように、個々の顔特徴データFDT(FDT1,FDT2・・・)、つまりユーザー個人毎に、ユーザー情報を登録するデータベースである。この場合、ユーザー情報の例として目的地履歴情報、嗜好種別情報、音声ガイド選択情報を挙げている。
【0032】
例えば顔特徴データFDT1が「ユーザーA」、顔特徴データFDT2が「ユーザーB」であるとする。
目的地履歴情報は、各ユーザーが設定した目的地情報を登録したものである。
例えばユーザーAがナビゲーション装置10を使用して目的地を選択した場合に、その目的地を示す目的地情報PP11、PP12・・・が顔特徴データFDT1に対応した目的地履歴情報として登録される。
またユーザーBがナビゲーション装置10を使用して目的地を選択した場合は、その目的地を示す目的地情報PP21、PP22・・・が顔特徴データFDT2に対応した目的地履歴情報として登録される。
【0033】
嗜好種別情報は、ユーザーが興味を持っている分野やナビゲーション装置としてのガイドを欲する分野(嗜好種別)を示す情報である。これは、例えば「スポーツ」「ファッション」「ショッピング」「音楽」「グルメ」「レジャー」などの各分野や、これらをさらに再分類した分野(例えば「スポーツ」の下位として「野球」「サッカー」「テニス」・・・等)などを示す情報が嗜好種別情報である。この種別は、POIデータにおける分類に沿ったものとすればよい。
例えばユーザーAが興味を持っている分野が「スポーツ」「音楽」であるとすると、顔特徴データFDT1に対応して嗜好種別情報として「スポーツ」を示す値LJ1や「音楽」を示す値LJ2等が登録される。
またユーザーBが興味を持っている分野が「ファッション」「ショッピング」「グルメ」であるとすると、顔特徴データFDT2に対応して、嗜好種別情報として「ファッション」を示す値LJ3、「ショッピング」を示す値LJ4、「グルメ」を示す値LJ5等が登録される。
【0034】
音声ガイド選択情報は、ユーザーが音声によるナビゲーションを出力させたいとして選択された内容を示す情報である。
上記ナビゲーション処理制御機能21によるナビゲーション動作として、音声による各種ガイド出力がおこなれるが、その音声の内容としては、例えば、右折、左折等を指示する「経路案内音声」、道路幅、車線数、カーブ、上り下りなどを案内する「道路情報音声」、「渋滞情報音声」、「有料道路の料金案内音声」、適切な進路や車線を案内する「推奨走行案内音声」、走行中にユーザーの注意を促す「注意音声」、さらにはナビゲーション装置10の操作方法の「操作ガイド音声」など、多様な種類がある。
これらの中で、各ユーザーが必要と考える音声ガイドが、音声ガイド選択情報として登録される。
例えばユーザーAが、音声ガイドは最小限必要なもののみが良いと選択した場合は、例えば「経路案内音声」を示す値AG1が顔特徴データFDT1に対応して登録される。
またユーザーBが、「経路案内音声」「渋滞情報音声」「操作ガイド音声」を必要と考えて選択した場合は、顔特徴データFDT2に対応して、これらを示す値AG1,AG2,AG3が登録される。
【0035】
顔特徴データ対応学習/設定機能22によっては、このようなユーザーデータベースとして、顔特徴データFDTに対応したデータ群が生成される。
【0036】
顔特徴データ対応制御機能23は、ナビゲーション動作としての地図画像表示や音声出力において、上記ユーザーデータベースに登録された内容に基づいた制御を行う機能である。即ち顔特徴データ対応制御機能23は、乗車しているユーザー(例えば運転者)を、顔特徴データFDTにより判別し、そのユーザーが顔特徴データFDT1のユーザーであれば、ユーザーデータベースにおいて顔特徴データFDT1に対応して登録されている内容に沿うように画像や音声の出力制御を行う。
例えばユーザーAが運転者である場合、顔特徴データFDT1に対応して登録されている嗜好種別情報LJ1、LJ2に該当する施設や店舗のアイコンや名称を地図画像上に表示させる。嗜好種別情報LJに対応する施設や店舗などの情報は、POIデータを検索することで得ることができる。また、顔特徴データFDT1に対応した目的地履歴情報として記憶されている各目的地を表示させる。また、音声ガイドについては、顔特徴データFDT1の音声ガイド選択情報として選択されている内容の音声のみを出力するように制御する。
一方、ユーザーBが運転者である場合、顔特徴データFDT2に対応して登録されている嗜好種別情報LJ3、LJ4、LJ5に該当する施設や店舗のアイコンや名称を地図画像上に表示させる。また、顔特徴データFDT2に対応した目的地履歴情報として記憶されている各目的地を表示させる。音声ガイドについては、顔特徴データFDT2の音声ガイド選択情報として選択されている内容の音声のみを出力するように制御する。
つまり顔特徴データ対応制御機能23は、ナビゲーション処理制御機能21が実行するナビゲーション処理において表示及び音声出力する内容を、ユーザー毎に切り換えるように制御するものである。
【0037】
以上の構成のナビゲーション装置10の処理動作を説明していく。なお以下の動作例では、撮像部16は、運転席に座ったときの運転者の顔の位置を中心とした範囲を被写体方向とし、従って画像解析部17は、運転者の顔特徴データFDTを生成するものとして説明する。
【0038】
図6は、ナビゲーション装置10が電源オンとされたときのCPU11の処理を示している。例えばユーザーが自動車のエンジンキーをアクセサリポジションとするか、もしくはエンジンをかけることで、ナビゲーション装置10が電源オンとされる。
電源オンとなったら、CPU11はステップF101として起動処理を行い、動作プログラムのロードや各部の起動制御を行う。
【0039】
電源オン時の起動処理を完了したら、CPU11はステップF102で、撮像部16の撮像処理及び画像解析部17の顔特徴データFDTの生成処理を開始させ、画像解析部17からの顔特徴データFDTの取込を開始する。
なお、画像解析部17での顔特徴データFDTの生成及びCPU11の顔特徴データFDTの取込は、その顔特徴データFDTの生成に要する時間間隔で常時連続的に行っても良いし、或る程度の時間間隔で定期的に行うようにしても良い。また、通常、車のエンジンが起動されている状態で運転者が頻繁に代わることは無いことを考えれば、運転中に顔特徴データFDTを取り込んだ後は、停車、エンジン停止など、運転者が代わる可能性のあるタイミングをセンサ部5の情報から検出し、それに応じて顔特徴データFDTを新たに取り込むようにしてもよい。
【0040】
顔特徴データFDTを取り込んだら、CPU11はステップF103で、その顔特徴データFDTがユーザーデータベースに登録されているユーザーに相当するか否かを確認する。即ちユーザーデータベースを検索して、同一(或いは或る程度の許容範囲内で類似)の顔特徴データFDTが存在するか否かを確認する。
ユーザーデータベースの登録については図8,図9で後述する処理などで行われるが、CPU11が、過去にユーザーの操作に応じた登録処理や学習による登録処理が行われていれば、ユーザーデータベースには1又は複数の顔特徴データFDTに対して図5のような内容のユーザー情報が記憶されている。
【0041】
もし、今回取り込まれた顔特徴データFDTが、ユーザーデータベースに登録されていない顔特徴データFDTであったら、CPU11は処理をステップF106に進め、通常のナビゲーション動作の設定を行い、ステップF107のナビゲーション処理にうつる。通常のナビゲーション動作の設定とは、ナビゲーション処理において表示出力する内容や、出力する音声ガイドの内容として、例えば装置内でデフォルトで決められている設定である。
ステップF107でのナビゲーション処理では、上述したナビゲーション処理制御機能21の制御に基づいて、ディスクドライブ装置部6からのナビゲーション情報の読み込み、位置検出部4からの現在位置情報の取得、センサ部5の検出情報の取得、通信部18を介した通信、操作入力部2からの操作の検知を行うと共に、これらに基づいて、ユーザーに対して表示部8で地図画像等を表示させたり、スピーカ部9からのガイド音声の出力を実行させる。
【0042】
一方、ステップF103で、今回の顔特徴データFDT(つまり運転者)が、ユーザーデータベースに登録された顔特徴データFDTであると判別された場合は、CPU11は処理をステップF104、F105として顔特徴データ対応制御機能23による処理を行う。まずステップF104では、ユーザーデータベースからユーザー情報を読み出す。例えば取り込まれた顔特徴データFDTが「FDT1」であったとしたら、図5のユーザーデータベースにおいて顔特徴データ「FDT1」に対して登録されている目的地履歴情報、嗜好種別情報、音声ガイド選択情報を読み出すことになる。
そしてCPU11はステップF105で、読み出したユーザー情報に基づいて、ナビゲーション動作の設定を行う。これは、顔特徴データ対応制御機能23が、ナビゲーション処理制御機能21によって実行されるナビゲーション動作処理において、特にユーザー情報に基づいた表示処理や音声ガイドの出力処理が行われるように指示する処理であり、表示出力や音声ガイド出力に関する動作設定を通常の設定ではなく現在の運転者であるユーザー個人に対応した設定とする処理である。
続いてステップF107でのナビゲーション処理として、上述したようにナビゲーション処理制御機能21の制御に基づいてナビゲーション動作が行われるものとなるが、この場合は、ユーザー個人に対応した設定状態で、表示出力や音声ガイド出力が行われることになる。
【0043】
なお、ステップF102で顔特徴データFDTの取込が開始された以降は、ステップF107のナビゲーション動作中も、例えば定期的、或いは運転者の変更の可能性がある場合などに、CPU11は逐次顔特徴データFDTを取り込んでおり、取り込まれる顔特徴データFDTが変化したか否か(つまり運転者が代わったか否か)を確認している。
顔特徴データFDTの変化が検知されなければ、ステップF107のナビゲーション処理が、それまでの設定状態で継続されるが、もし顔特徴データFDTの変化を検知したら、ステップF108からF103に戻って、上述した処理を行う。
従って、もし運転者が代わると、ステップF105もしくはF106で再度ナビゲーション動作設定が行われ、その後のステップF107のナビゲーション動作の設定が変更されることになる。
【0044】
この図9の処理からわかるように、ステップF107のナビゲーション処理では、運転者に応じて動作設定、つまり表示内容と音声ガイド出力内容が切り換えられる。このようなユーザー個人に対応した動作設定による出力例を示す。
例えば図7(a)(b)は、表示部8に表示する地図画像の例である。例えば自車位置31を略中心とした地図画像30が表示され、また地図画像30上では、目的地32(或いは経由地)が表示されている。また図では表現していないが、目的地32までの経路が異なる色などで表示される。
ここで図7(a)は、運転者がユーザーA(顔特徴データFDT1)の場合の表示例、図7(b)は、運転者がユーザーB(顔特徴データFDT2)の場合の表示例としている。
【0045】
図7(a)(b)では、いずれも基本的な地図画像30は同じであるが、図7(a)の場合、ユーザーデータベースに顔特徴データFDT1に対応して登録されている嗜好種別情報及び目的地履歴情報が反映された表示となる。
即ちユーザーAが、「スポーツ」や「音楽」を嗜好することが嗜好種別情報として示されているとすると、図7(a)のように、嗜好種別情報に応じた画像33が表示される。例えばCPU11は、POIデータを参照して、現在の表示中の地図範囲内で「スポーツ」や「音楽」に関連する店舗や施設を検出し、その店舗等を提示する画像33として表示させるようにすることで、画像33としてスポーツショップや音楽ショップ等が明示される。
またユーザーAが過去に目的地として目的地履歴情報に登録されている地点が、現在の表示中の地図範囲内に存在すれば、過去の目的地を提示する画像34を表示させる。
このような表示が行われることで、ユーザーAが、現在位置の近くに自分の興味のある店舗や施設が存在することや、過去に訪れた場所などを認識でき、ユーザーAにとって有用な地図表示となる。
【0046】
一方、ユーザーBが運転者であるときは、図7(b)のような表示となる。
即ちユーザーBが、「ファッション」や「ショッピング」等を嗜好することが嗜好種別情報として示されているとすると、図7(b)のように、嗜好種別情報に応じた画像33が表示される。例えばCPU11は、POIデータを参照して、現在の表示中の地図範囲内で「ファッション」や「ショッピング」に関連する店舗や施設を検出し、その店舗等を提示する画像33として表示させるようにすることで、画像33としてファッション関係の店舗等が明示される。
またユーザーBが過去に目的地として目的地履歴情報に登録されている地点が、現在の表示中の地図範囲内に存在すれば、過去の目的地を提示する画像34を表示させる。
このような表示が行われることで、ユーザーBが、現在位置の近くに自分の興味のある店舗や施設が存在することや、過去に訪れた場所などを認識でき、ユーザーBにとって有用な地図表示となる。
【0047】
例えばこのように、ステップF107でのナビゲーション処理の際には、CPU11は顔特徴データFDTによって判別したユーザーの嗜好や履歴に応じた地図表示、即ちユーザーデータベース登録された嗜好種別情報に該当する店舗、施設等の表示や、目的地履歴情報による過去の目的地の表示を行うことで、ユーザー個人にあわせて有効なナビゲーション表示を行うことができる。
【0048】
またスピーカ部9から出力させる音声ガイドの内容も、CPU11はユーザーデータベースの登録内容に応じて制御する。
CPU11はステップF107において、音声ガイド情報として、経路案内音声、道路情報音声、渋滞情報音声、有料道路の料金案内音声、推奨走行案内音声、注意音声、操作ガイド音声など、多様な種類の音声を所要のタイミングで出力させる。
即ちCPU11は、右折・左折・直進などを告知する経路案内音声については、現在位置情報、目的地までの経路探索結果、地図データに基づいて、例えば交差点に接近したタイミングなどでスピーカ部9から出力させる。
またCPU11は道路情報音声、料金案内音声、推奨走行案内音声、注意音声などを、地図データに付加された情報や、現在位置に応じた所要のタイミングで出力させる。
またCPU11は、通信部18を介して受信した渋滞情報の音声を、所要のタイミングで出力させる。
またCPU11は、ユーザーは操作入力部2で操作を行うための操作ガイド音声を、操作の必要性や表示中の内容などに応じた所要のタイミングで出力させる。
【0049】
例えばステップF106による通常の設定では、これらの各内容のガイド音声を全て出力させるように設定されているとする。
一方、ステップF105でユーザー個人に応じた設定がされる場合とは、ユーザーデータベースにおいて音声ガイド選択情報として登録されている音声のみを出力させる。
即ちユーザーAについて、顔特徴データFDT1に対応した音声ガイド選択情報として、経路案内音声のみが登録されている場合、ユーザーAが運転者であるときは、ステップF105の設定で経路案内音声のみが出力されるように設定されることになり、ステップF107のナビゲーション処理中には、音声ガイド情報としては経路案内音声のみが出力される。
またユーザーBについて、顔特徴データFDT2に対応した音声ガイド選択情報として、経路案内音声、渋滞情報音声、操作ガイド音声が登録されている場合、ユーザーBが運転者であるときは、ステップF105の設定で経路案内音声、渋滞情報音声、操作ガイド音声が出力されるように設定されることになり、ステップF107のナビゲーション処理中には、音声ガイド情報としては経路案内音声、渋滞情報音声、操作ガイド音声のみが出力される。
【0050】
例えばこのように、ステップF107でのナビゲーション処理の際には、CPU11は顔特徴データFDTによって判別したユーザーについての音声ガイド選択情報に応じたガイド音声出力を行うことで、ユーザー個人にあわせて好適な音声ガイドを行うことができる。
【0051】
ところで、以上の説明では、ユーザーデータベースにユーザー個人に対応したユーザー情報が登録されていることを前提に述べた。以下では、ユーザーデータベースへのユーザー情報の登録処理について説明する。
ユーザーデータベースへのユーザー情報の登録は、ユーザーの登録操作に基づいて行われたり、学習動作によって自動的に行われる。
【0052】
図8は、ユーザーが登録操作を行う場合のCPU11の処理を示している。なお、この図8の処理は、図6のステップF107のナビゲーション処理中に、ユーザーが操作入力部2を用いて登録モード操作を行った場合に開始されればよい。CPU11、顔特徴データ対応学習/設定機能22による処理として図8の処理を行う。
【0053】
CPU11は、ユーザーが操作入力部2を用いて登録モード操作を行ったことを検知したら、処理を図8のステップF201からF202に進める。
ステップF202では、CPU11は、その時点で取り込まれている顔特徴データFDTについて、ユーザーデータベースに登録されている顔特徴データFDTであるか否かを確認する。なお、顔特徴データFDTの取込が或る程度の時間行われていなければ、この時点で新たに顔特徴データFDTを取り込んで、その顔特徴データFDTがユーザーデータベースに登録されているものでであるか否かを判断しても良い。
【0054】
現在の顔特徴データFDT(即ち現在の運転者)が、ユーザーデータベースに登録されていない顔特徴データFDTであれば、ステップF203からF204に進み、現在の顔特徴データFDTを新規の顔特徴データとして新たにユーザーデータベースに登録してからステップF205に進む。
現在の顔特徴データFDTが既に登録されている顔特徴データであったら、ステップF203からそのままF205に進む。
【0055】
CPU11はステップF205では、表示部8に登録用の画面を表示する。
登録用画面は、例えばメニュー形式で、ユーザーの趣味・嗜好や、音声ガイドの内容を選択させるような画面とし、ユーザーがその画面表示を見ながら選択操作することで、趣味・嗜好や、望む音声ガイドの内容を入力できるようにする。
例えば嗜好種別の選択画面として、メニュー形式で「スポーツ」「ファッション」「ショッピング」「音楽」「グルメ」「レジャー」などの各分野の項目を表示させ、これらのうちからユーザーが選択できるようにする。もちろん、階層的にメニュー画面が進んで、これらの下位の分類も選択できるようにしてもよい。
また、ガイド音声の内容の選択画面として、メニュー形式で「経路案内音声」「道路情報音声」「渋滞情報音声」「有料道路の料金案内音声」「推奨走行案内音声」「注意音声」「操作ガイド音声」などの項目を表示させ、ユーザーが出力させ音声内容を選択できるようにする。
【0056】
CPU11は、このような登録用の画面表示を行い、またユーザー操作に応じてメニュー画面を切り換えさせながらユーザーの選択決定操作を待機する。ユーザーが項目を選択決定する操作を行ったら、ステップF206からF207に進んで、選択された項目を記憶する。これを登録終了操作がおこなわれるまで繰り返す。
ユーザーが、例えばメニュー画面や操作案内の表示に従って、嗜好種別やガイド音声を選択する操作を行っていくことで、各選択結果がCPU11に記憶される。
ユーザーが一連の登録のための選択操作を完了するとして登録終了操作を行ったら、CPU11はステップF208からF209に進み、顔特徴データFDTに対応させて、選択された内容をユーザーデータベースに登録する。即ちユーザーの選択操作に応じて、そのユーザーの顔特徴データFDTに対応された状態で、嗜好種別情報、音声ガイド選択情報がユーザーデータベースに登録されることになる。
【0057】
なお、この処理では新規なユーザーは無条件で登録される(ステップF203→F204)としたが、新規なユーザーの顔特徴データFDTを登録する際には、例えば車のオーナー等が予め設定したパスワード等の入力を要求するようにし、乗車した人物がむやみに登録されないようにしてもよい。
【0058】
図9は、CPU11がユーザーデータベースに目的地履歴情報を登録すると共に、学習動作により嗜好種別情報を登録する処理例を示している。
図9の処理も、図6のステップF107のナビゲーション処理中に行われるもので、この場合、ユーザーが操作入力部2を用いて目的地指定操作を行った場合の処理としている。
一般に車載用ナビゲーション装置では、ユーザーが目的地を設定することに応じて好適な経路を算出し、表示部において地図画像上で経路を表示するナビゲーション動作が行われる。
このナビゲーション動作のためには、まずユーザーが目的地を入力することが必要であるが、この目的地の入力のためには様々な方式があり、例えば目的地の住所や地名等を入力する方式や、地図上で位置を指定する方式、さらには目的地を検索して選択する方式などがある。
ユーザーが目的地指定を行おうとする場合、CPU11は、まずユーザーに出発地、目的地、経由地等、経路探索のために必要な情報の入力を求める表示を表示部8で実行させる。ユーザーは表示部8でのメニュー表示、ガイド表示、地図表示等に従って、操作入力部2を用いて目的地等を入力する。CPU11は、ユーザーの入力に従って、出発地、経由地、目的地等を設定する。
このような目的地指定操作が行われたら、CPU11は処理をステップF302に進め、目的地(経由地)に対する経路探索計算を行う。即ち出発地から目的地までの最適ルート、場合によっては経由地を介した最適経路を探索する。そして探索結果を目的地までの経路情報として決定する。
ここで決定された経路情報が、以降のナビゲーション処理での表示や音声ガイドに反映される。
【0059】
CPU11では、ナビゲーション処理制御機能21による通常のナビゲーション処理制御としてステップF302までが行われるが、本例の場合、CPU11の顔特徴データ対応学習/設定機能22による処理として、ステップF303以降が行われる。
ステップF303では、CPU11は、その時点で取り込まれている顔特徴データFDTについて、ユーザーデータベースに登録されている顔特徴データFDTであるか否かを確認する。なお、顔特徴データFDTの取込が或る程度の時間行われていなければ、この時点で新たに顔特徴データFDTを取り込んで、その顔特徴データFDTがユーザーデータベースに登録されているものでであるか否かを判断しても良い。
【0060】
現在の顔特徴データFDT(即ち現在の運転者)が、ユーザーデータベースに登録されていない顔特徴データFDTであれば、ステップF304からF305に進み、現在の顔特徴データFDTを新規の顔特徴データとして新たにユーザーデータベースに登録してからステップF306に進む。
現在の顔特徴データFDTが既に登録されている顔特徴データであったら、ステップF304からそのままF306に進む。
【0061】
ステップF306では、今回設定された目的地の情報を、ユーザーデータベースに登録する。即ち、この時点で取得されている顔特徴データFDTに対応させて、目的地情報をユーザーデータベースの目的地履歴情報として追加登録する。
この処理により、ユーザーがナビゲーション装置10において目的地指定を行う毎に、ユーザーデータベースには、そのユーザーに対応して、今回の目的地が目的地履歴情報として登録されることになる。
【0062】
またステップF307では、登録されている目的地履歴情報から、嗜好種別の判定処理を行う。即ち今回目的地履歴情報に追加された目的地を含んで、この時点で目的地履歴情報に登録されている各目的地の種別を判別し、ユーザーの嗜好を推定する学習処理を行う。
例えば履歴登録されている各目的地について、POIデータを参照し、分類が判定できる目的地を抽出する。そして抽出された各目的地の分類、例えばスポーツ関係、ショッピング関係などの分類を集計し、そのユーザーが目的地とする機会の多い分類を判定する。例えば所定回数以上目的地とされた分類を判定するなどの処理を行なって、ユーザーの嗜好種別を推定する。
【0063】
例えば目的地履歴情報に登録された目的地が少数であったり、多様な分野に分散しすぎているなどで、ステップF307で或る嗜好種別を判定できなかった場合は、ステップF308で判定不能として処理を終える。
一方、目的地履歴情報に登録された目的地の分類の傾向から、ユーザーの嗜好種別が推定できた場合は、ステップF309に進む。ステップF309では、その嗜好種別が、当該ユーザー(顔特徴データFDT)に対応した嗜好種別情報として、既にユーザーデータベースに登録されているか否かを判断し、登録されていれば、処理を終える。登録されていなければステップF310に進み、CPU11は今回判定した嗜好種別を、当該ユーザー(顔特徴データFDT)に対応した新たな嗜好種別としてユーザーデータベースの嗜好種別情報に登録して処理を終える。
【0064】
例えばこの図9の処理により、ユーザーの目的地指定に応じてユーザーデータベースに目的地履歴情報が追加登録され、また目的地履歴情報から推定される、ユーザー嗜好種別が嗜好種別情報として登録されることになる。
そして、図8,図9のような処理でユーザー情報がユーザーデータベースに登録されることで、上記図6の処理において述べたように、ユーザー個人の目的地履歴、嗜好種別情報、音声ガイド選択情報に応じたナビゲーション処理が実行されるものとなる。
【0065】
[2.第2の実施の形態:オーディオ再生装置]
続いて第2の実施の形態を説明する。第2の実施の形態は、車載用のオーディオ再生装置の例である。
図10はオーディオ再生装置100の構成を示している。このオーディオ再生装置100は、図12のように自動車のフロントコンソールなどに取り付けられる車載用のオーディオ再生装置であって、例えばCD(Compact Disc)やミニディスクなどのオーディオディスクの再生機能やラジオチューナ機能などを備え、自動車内に配置されたスピーカから音楽等の再生音声を出力させる装置である。
【0066】
図10のオーディオ再生装置100において、CPU110は、動作プログラムや操作入力に応じて、オーディオ再生のために各部を制御する。
メモリ部111は、CPU110において実行されるプログラムコードを格納したり、実行中の作業データを一時保管するために使用される。この図の場合、メモリ部111としては、揮発メモリ、不揮発性メモリの双方を含むものとして示している。例えばプログラムを格納するROM、演算ワーク領域や各種一時記憶のためのRAM、EEP−ROM(Electrically Erasable and Programmable Read Only Memory)等の不揮発性メモリを含む。
またメモリ部111としての不揮発性メモリには、ユーザー個人に対応したユーザー情報を登録するユーザーデータベースが格納される。
【0067】
操作部112は、オーディオ再生装置100のフロントパネルに配置される各種操作キーやダイヤル等の操作子を備える。ユーザーは操作部112により、例えばオーディオモード(ソース切換)操作、ボリューム(音量)操作、音質操作、ディスク再生操作、早送り/早戻し操作、頭出し操作、ラジオ放送等の選局操作が可能とされる。
表示部113は、例えば液晶パネルによる表示部とされ、図12に示したように、オーディオ再生装置100のフロントパネルに設けられる。この表示部113では、CPU110の制御に基づいて、オーディオモード表示、再生や早送りなどの動作を示す表示、スペクトルアナライザ表示、音量レベル表示、再生している曲等のトラックナンバや受信している放送局の表示などが行われる。
【0068】
再生出力するオーディオ信号のソースとして、ディスク再生部115、チューナ部116、外部入力部117を示している。セレクタ118はこれらオーディオ信号のソースを選択する回路である。
なお、オーディオ信号のソースとして、これ以外に楽曲等を記憶させたHDD(Hard Disc Drive)や、メモリカードからオーディオ信号を再生するメモリカードリーダなどが設けられても良い。
【0069】
ディスク再生部115は、例えばCD(Compact Disc)/DVD(Digital Versatile Disc)等の光ディスクに対する再生装置部、もしくはミニディスク等の光ディスク/光磁気ディスクに対する再生装置部とされる。
ユーザーが操作部112からディスク再生に関する操作を行うことで、CPU110はディスク再生部115に再生動作を開始させたり、操作に応じた動作(頭出しサーチ等)を実行させる。ディスク再生部115で再生が行われるときはCPU110はセレクタ118がディスク再生部115を選択するように制御する。そしてディスク再生部115でディスクから再生されたオーディオ信号は、デジタルデータのままセレクタ118を介してDSP(Digital Signal Processor)114に供給される。
【0070】
チューナ部116は、ラジオ放送等の放送受信器であり、放送波の受信/復調を行う。チューナ部116で放送受信を行うときはCPU110はセレクタ118がチューナ部116を選択するように制御する。そしてチューナ部116で復調されたオーディオ信号はデジタルデータに変換されて、セレクタ118を介してDSP114に供給される。
【0071】
外部入力部117は、例えばチェンジャーシステム、ナビゲーション装置など、同じく自動車内に搭載された外部の機器からのオーディオ信号を入力する回路部である。
ユーザー操作によりソースとして外部入力部117が指定された場合、CPU110はセレクタ118が外部入力部117を選択するように制御する。そして外部入力部117により外部機器から入力されたオーディオ信号(デジタルデータ)は、セレクタ118を介してDSP114に供給される。
【0072】
DSP114は、出力するオーディオ信号に対して各種の信号処理を行う。例えばイコライジング/リバーブ等の音響効果処理、音量調整処理、タイムアライメント処理、チャンネルデバイド処理、スピーカバランス調整処理などを行う。
音量調整処理、音響効果処理、スピーカバランス調整処理などは、操作部112からのユーザー操作に基づいて行う。
【0073】
DSP114では、以上のような各種の音声信号処理を行って、例えば4チャンネルスピーカから出力する4チャンネルのオーディオ信号を出力する。
各チャンネルのオーディオ信号は、D/A変換器119a,119b,119c,119dにおいてアナログ信号に変換された後、それぞれアンプ部120a,120b,120c,120dで増幅され、スピーカ121a,121b,121c,121dから音声として出力される。スピーカ121a,121b,121c,121dは、例えばフロント右スピーカ、フロント左スピーカ、リア右スピーカ、リア左スピーカとして車内に配置されている。
なお、DSP114で行われるスピーカバランス調整処理とは、例えばフロント側スピーカとリア側スピーカでの音量バランスや、左側のスピーカと右側のスピーカでの音量バランスなどの可変設定処理である。
ユーザーは、フロント側スピーカとリア側スピーカとの音量バランス等を操作により任意に設定できる。
【0074】
撮像部123は、撮像光学レンズ系、レンズ駆動系、CCDセンサやCMOSセンサによる撮像素子部、撮像素子部で撮像された画像信号についてサンプリング、ゲイン調整、映像信号処理(輝度処理、色処理、補正処理等)等を行う撮像信号処理回路などを搭載して形成され、撮像動作により画像データを出力する。この撮像部123により、自動車内のユーザーの顔の撮像が行われる。
撮像部123における撮像レンズ123aは図12のように、オーディオ再生装置100のフロントパネル上に設けられており、この撮像レンズ123aは、例えば運転席のユーザーの顔の位置を被写体方向として捉えるように撮像方向が設定されている。
もちろん、撮像部123の撮像方向は、運転者の顔の方向に固定しても良いが、助手席方向や後部座席方向に変更できるようにしてもよい。また車内を広角で撮像し、車内のユーザーの全ての顔を被写体として捉えることができるようにしてもよい。
【0075】
画像解析部124は、撮像部123で得られた撮像画像データについて解析処理を行う。
この画像解析部124は、撮像画像データから人物の顔の画像を処理対象のオブジェクトとして抽出する処理と、抽出した顔画像から、顔特徴データFDTを生成する処理を行う。第1の実施の形態の場合と同様、顔特徴データFDTは、例えば顔の構成要素の相対位置情報であり、図4で説明した比情報Fa、Fbの2つのデータを含む。
画像解析部124は、撮像画像データから生成した顔特徴データFDTをCPU110に供給する。
【0076】
図11に、CPU100が有する機能、即ちメモリ部111のROM等に記憶されたプログラムに基づいた演算処理により実現される機能を示す。
CPU100の機能として、オーディオ再生装置制御機能131、顔特徴データ対応学習/設定機能132、顔特徴データ対応制御機能133が設けられる。これらの機能は、それぞれが個別のプログラムモジュールで実現されても良いし、1つのプログラム内に複数の機能を実行するためのプログラムが混在しても良い。
【0077】
オーディオ再生制御機能131は、オーディオ再生装置として必要とされる処理動作を制御する機能であり、他の各部に対して処理の指示やタイミング制御を行い、必要なオーディオ再生動作を実行させる。
例えばオーディオソースであるディスク再生部115やチューナ部116の動作制御、競れ苦端部118の切換制御、DSP114のオーディオ信号処理の制御、撮像部123の撮像動作制御、表示部113の表示動作制御、操作部112の操作入力の検知などの処理を行う。
【0078】
顔特徴データ対応学習/設定機能132は、顔特徴データFDTで識別される個々のユーザーについてのユーザー情報を、自動的な学習処理もしくはユーザー操作に応じた設定処理によりユーザーデータベースに登録する機能である。
ユーザーデータベースは例えば図13のようなデータベースであり、例えばこのユーザーデータベースはメモリ部111内の不揮発性メモリに格納される。
ユーザーデータベースは、図13のように、個々の顔特徴データFDT(FDT1,FDT2・・・)、つまりユーザー個人毎に、ユーザー情報を登録するデータベースである。この場合、ユーザー情報の例として音響設定情報、ソース設定情報を挙げている。音響設定情報とは、イコライジングやリバーブ等のための音響効果値EF、音量値VOL、スピーカバランス調整値SPBなどである。ソース設定情報ASは、例えば図10のようにディスク再生部115,チューナ部116、外部入力部117の3つのオーディオソースが存在する場合、そのうちの1つを示す値である。
【0079】
例えば顔特徴データFDT1が「ユーザーA」、顔特徴データFDT2が「ユーザーB」であるとする。
音響設定情報は、各ユーザーが設定した音響設定値を登録したものである。例えばユーザーAがオーディオ再生装置100の使用のために登録した音響効果値EF、音量値VOL、スピーカバランス調整値SPBが、顔特徴データFDT1に対応して登録される。
またユーザーBがオーディオ再生装置100の使用のために登録した音響効果値EF、音量値VOL、スピーカバランス調整値SPBが、顔特徴データFDT2に対応して登録される。
【0080】
ソース設定情報ASは、ユーザーが選択したオーディオソースを示す情報である。例えばユーザーAがディスク再生部115を通常使用するオーディオソースとして選択した場合、ディスク再生部115を示す値がソース設定情報ASとして顔特徴データFDT1に対応して登録される。またユーザーBがチューナ部116を通常使用するオーディオソースとして選択した場合、チューナ部116を示す値がソース設定情報ASとして顔特徴データFDT2に対応して登録される。
顔特徴データ対応学習/設定機能132によっては、このようなユーザーデータベースとして、顔特徴データFDTに対応したデータ群が生成される。
【0081】
顔特徴データ対応制御機能133は、オーディオ再生動作の際に、セレクタ部118でのソース選択やDSP114でのオーディオ信号処理に関して、上記ユーザーデータベースに登録された内容に基づいた動作が行われるように制御する機能である。即ち顔特徴データ対応制御機能133は、乗車しているユーザー(例えば運転者)を、顔特徴データFDTにより判別し、そのユーザーが顔特徴データFDT1のユーザーであれば、ユーザーデータベースにおいて顔特徴データFDT1に対応して登録されている内容に沿うようにソース選択やオーディオ信号処理が実行されるように制御する。
例えばユーザーAが運転者である場合、顔特徴データFDT1に対応して登録されているソース設定情報ASに示されたソースが、最初のオーディオソースとして選択されるようにし、また音響設定情報で示される値として、音響効果、音量、スピーカバランス調整が行われるようにする。
一方、ユーザーBが運転者である場合、顔特徴データFDT2に対応して登録されてい
るソース設定情報ASに示されたソースが、最初のオーディオソースとして選択されるようにし、また音響設定情報で示される値として、音響効果、音量、スピーカバランス調整が行われるようにする。
つまり顔特徴データ対応制御機能133は、オーディオ再生時のソース選択やオーディオ信号処理の内容を、ユーザー毎に切り換えるように制御するものである。
【0082】
以上の構成のオーディオ再生装置100の処理動作を説明していく。なお撮像部123は、運転席に座ったときの運転者の顔の位置を中心とした範囲を被写体方向とし、従って画像解析部124は、運転者の顔特徴データFDTを生成するものとして説明する。
【0083】
図14は、オーディオ再生装置100が電源オンとされたときのCPU110の処理を示している。例えばユーザーが自動車のエンジンキーをアクセサリポジションとするか、もしくはエンジンをかけることで、オーディオ再生装置100が電源オンとされる。
電源オンとなったら、CPU110はステップF401として起動処理を行い、動作プログラムのロードや各部の起動制御を行う。
【0084】
電源オン時の起動処理を完了したら、CPU110はステップF402で、撮像部123の撮像処理及び画像解析部124の顔特徴データFDTの生成処理を開始させ、画像解析部124からの顔特徴データFDTの取込を開始する。
上記第1の実施の形態の場合と同様に、画像解析部124での顔特徴データFDTの生成及びCPU110の顔特徴データFDTの取込は、その顔特徴データFDTの生成に要する時間間隔で常時連続して行っても良いし、或る程度の時間間隔で定期的に行うようにしても良い。また、停車時、エンジン停止時などを検出できるようにして、運転者が代わる可能性のあるタイミングで顔特徴データFDTを新たに取り込むようにしてもよい。
【0085】
顔特徴データFDTを取り込んだら、CPU110はステップF403で、その顔特徴データFDTがユーザーデータベースに登録されているユーザーに相当するか否かを確認する。即ちユーザーデータベースを検索して、同一(或いは或る程度の許容範囲内で類似)の顔特徴データFDTが存在するか否かを確認する。
もし、今回取り込まれた顔特徴データFDTが、ユーザーデータベースに登録されていない顔特徴データFDTであったら、CPU110は処理をステップF406に進め、通常のオーディオ再生動作の設定を行い、ステップF407のオーディオ再生処理にうつる。通常のオーディオ再生設定とは、最初に選択するオーディオソースや、音響効果値、音量値、スピーカバランス調整値として、例えば装置内でデフォルトで決められている設定である。或いは、前回の電源オフ時におけるこれらの値を記憶しておき(いわゆるラストメモリ)、その記憶値に応じた設定としてもよい。
【0086】
ステップF407でのオーディオ再生処理では、ユーザーの操作や、上述したオーディオ再生制御機能131の制御に基づいて、選択されているオーディオソースからの再生音声出力が行われる。
【0087】
一方、ステップF403で、今回の顔特徴データFDT(つまり運転者)が、ユーザーデータベースに登録された顔特徴データFDTであると判別された場合は、CPU110は処理をステップF404、F405として顔特徴データ対応制御機能133による処理を行う。まずステップF404では、ユーザーデータベースからユーザー情報を読み出す。例えば取り込まれた顔特徴データFDTが「FDT1」であったとしたら、図13のユーザーデータベースにおいて顔特徴データ「FDT1」に対して登録されている音響設定情報EF,VOL,SPB、ソース設定情報ASを読み出す。
そしてCPU110はステップF405で、読み出したユーザー情報に基づいて、オーディオ再生動作の設定、即ちオーディオソース及びオーディオ信号処理の設定を行う。
続いてステップF407でのオーディオ再生処理として、オーディオ再生動作が行われるものとなるが、この場合は、ユーザー個人に対応した設定状態で動作が行われる。つまりこの場合CPU110は、音響設定情報EF,VOL,SPBに示された値で音量調整、音響効果処理、スピーカバランス調整処理が行われるようにDSP114を制御し、またソース設定情報ASに基づいてセレクタ部118の切換制御及びソース指定された部位の動作制御を行うことになる。
【0088】
なお、ステップF402で顔特徴データFDTの取込が開始された以降は、ステップF407のオーディオ再生動作中も、例えば定期的、或いは運転者の変更の可能性がある場合などに、CPU110は逐次顔特徴データFDTを取り込んでおり、取り込まれる顔特徴データFDTが変化したか否か(つまり運転者が代わったか否か)を確認している。
顔特徴データFDTの変化が検知されなければ、ステップF407のオーディオ再生処理が、それまでの設定状態で継続されるが、もし顔特徴データFDTの変化を検知したら、ステップF408からF403に戻って、上述した処理を行う。
従って、もし運転者が代わると、ステップF405もしくはF406で再度オーディオ再生動作設定が行われ、その後のステップF407のナビゲーション動作の設定が変更されることになる。
【0089】
この図14の処理からわかるように、ステップF407のオーディオ再生処理では、運転者に応じて動作設定、つまりソース選択やオーディオ信号処理の値が切り換えられることになる。
例えば、通常はCD等のディスク再生音楽をいつも聴く人や、通常はラジオ放送を主に聞く人など、ユーザー個人毎にオーディオソースの選択の傾向が異なる。
また大音量を好む人、大音量を嫌う人という違いもある。音響効果やスピーカバランスの設定に関しても好みがある。
本例の場合、ユーザー毎に、そのユーザーに適したオーディオソースや音量、音響効果、スピーカバランス調整などが自動的に行われることになる。これによって、乗車するユーザーが代わる毎に、ソース選択を切り換えたり、音量や音響効果、スピーカバランス調整をし直すような操作を行う必要はなく、各ユーザーにとって快適なオーディオ再生を楽しむことができるようになる。
【0090】
ユーザーデータベースへのユーザー情報の登録は、ユーザーの登録操作に基づいて行われたり、学習動作によって自動的に行われる。
ユーザーが登録操作を行う場合のCPU110の処理は、上述した図8とほぼ同様とすればよい。
即ち図8のステップF201〜F204の処理を行った後、ステップF205で、オーディオソース選択のための画面や、音量、音響効果、スピーカバランス調整のための設定を行う画面を表示させ、ユーザーの項目の選択操作や値の入力操作に応じて、ステップF209で、顔特徴データFDTに対応するユーザー情報としてユーザーデータベースに音響設定情報(EF,VOL,SPB)やソース設定情報ASを登録すればよい。
なお、音響設定情報(EF,VOL,SPB)の登録のためには、例えば再生音声出力を行った状態でユーザー操作により好みの音量、音響効果状態、スピーカバランス調整状態を可変させ、ユーザーが決定操作したときのこれらの値を、音響設定情報としての音響効果値EF、音量値VOL、スピーカバランス調整値SPBとして登録すればよい。
【0091】
また、このようなユーザー操作に基づく登録の他、学習処理による登録を行うこともできる。
例えばユーザーデータベースを図15のような内容とする。即ち、ユーザーデータベースには、音響設定情報(EF,VOL,SPB)、ソース設定情報ASとともに、これらの履歴情報として音響設定履歴情報やソース履歴情報を登録する。
【0092】
例えば図14のステップF407のオーディオ再生処理中には、ユーザーの操作に応じて図16の処理が行われるようにする。
図16はユーザーが音量変更操作、音響効果変更操作、スピーカバランス変更操作、ソース変更操作を行った際の処理を示している。
【0093】
CPU110は、ユーザーが音量変更操作を行ったら、処理をステップF501からF505に進め、DSP114に対して操作に応じた音量変更制御を行う。これにより再生されている音楽等の出力音量が変更される。次にステップF506で、今回の変更後の音量値をユーザーデータベースに登録する。即ち、この時点で取得されている顔特徴データFDTに対応させて、音響設定履歴情報の音量値VOLxxとして追加登録する。
ステップF505では、音響設定履歴情報に追加登録された音量値VOLxxを加えた、その時点で履歴登録されている音量値(例えばユーザーAの場合としたら、図15のVOL11,VOL12・・・VOLxx)を用いて、このユーザーの好む音量値を算出する。例えば履歴登録されいる音量値VOL11,VOL12・・・の平均値を算出するなどして、これをユーザーの好む音量値とする。なお、平均値をとるときに、履歴として登録されている各音量値の分布や標準偏差などを求め、代表的な音量と極端に異なる音量値は、平均値算出から除外するようにするとよい。
そして例えば平均値などとして音量値が算出されたら、それを新たな音響設定情報における音量値VOLとして更新する。
【0094】
またCPU110は、ユーザーが音響効果としてイコライジングやリバーブレベル等の変更操作を行ったら、処理をステップF502からF508に進め、DSP114に対して操作に応じた音響効果値の変更制御を行う。これにより再生されている音楽等の出力音量の音響効果が変更される。次にステップF509で、今回の変更後の音響効果値をユーザーデータベースに登録する。即ち、この時点で取得されている顔特徴データFDTに対応させて、音響設定履歴情報の音響効果値EFxxとして追加登録する。
ステップF510では、音響設定履歴情報に追加登録された音響設定値EFxxを加えた、その時点で履歴登録されている音響効果値(ユーザーAの場合としたらEF11,EF12・・・EFxx)を用いて、このユーザーの好む音量値を算出する。例えば履歴登録されいる音響効果値EF11,EF12・・・の平均値を算出するなどして、これをユーザーの好む音響効果値とする。この場合も、履歴登録された音響効果値において代表的な音響効果値と極端に異なる音響効果値は、平均値算出から除外するようにするとよい。
そして例えば平均値などとして音響効果値が算出されたら、それを新たな音響設定情報における音響効果値EFとして更新する。
【0095】
またCPU110は、ユーザーがスピーカバランス変更操作を行ったら、処理をステップF503からF511に進め、DSP114に対して操作に応じたスピーカバランスの変更制御を行う。これにより再生されている音楽等の出力のスピーカバランスが変更される。次にステップF512で、今回の変更後のスピーカバランス調整値をユーザーデータベースに登録する。即ち、この時点で取得されている顔特徴データFDTに対応させて、音響設定履歴情報のスピーカバランス調整値SPBxxとして追加登録する。
ステップF513では、音響設定履歴情報に追加登録されたスピーカバランス調整値SPBxxを加えた、その時点で履歴登録されているスピーカバランス調整値(ユーザーAの場合としたらSPB11,SPB12・・・SPBxx)を用いて、このユーザーの好むスピーカバランス調整値を算出する。これも平均的な値を算出すればよい。
そして例えば平均値などとしてスピーカバランス調整値が算出されたら、それを新たな音響設定情報におけるスピーカバランス調整値SPBとして更新する。
【0096】
またCPU110は、ユーザーがオーディオソースの切り換え操作を行ったら、処理をステップF504からF514に進め、セレクタ部118の切換制御及び新たに選択されたオーディオソースの動作制御(例えばチューナ部116が選択された場合はチューナ部116の動作制御)を行う。これにより再生出力されるオーディオソースが切り換えられる。次にステップF515で、今回の変更後のオーディオソースを示す値をユーザーデータベースに登録する。即ち、この時点で取得されている顔特徴データFDTに対応させて、ソース履歴情報に、今回のオーディオソースを示す値を追加登録する。
ステップF516では、ソース履歴情報に追加登録されたオーディオソースを加えた、その時点で履歴登録されているオーディオソースを用いて、このユーザーの好むオーディオソースを判別する。例えばオーディオソースとしてディスク再生部115(AS1)、チューナ部116(AS2)、外部入力部117(AS3)として、それぞれ履歴登録されている数を集計し、最大数のオーディオソースを、そのユーザーが好むオーディオソースと判定する。そして判定したオーディオソースにより、ソース設定情報ASの値を更新する。
【0097】
例えばこのような処理が行われることで、図15のようなユーザーデータベースでは、音響設定情報(EF,VOL、SPB)及びソース設定情報ASが、ユーザーの使用時の操作に応じて経時的に好む傾向が学習され、その結果、音響設定情報(EF,VOL、SPB)及びソース設定情報ASはユーザーの好みの設定状態を示すものとなる。そして図14のステップF405でオーディオ再生動作の設定が行われるときに、このような学習結果としての音響設定情報(EF,VOL、SPB)及びソース設定情報ASが反映されることで、ユーザーの好みの状態のオーディオ再生が行われることになる。
【0098】
[3.実施の形態の効果及び変形例]
以上、実施の形態を説明してきたが、これらのような実施の形態によれば、撮像された人物の顔特徴データFDTによりユーザーを判別し、ユーザーデータベースにおいてそのユーザーに対応したユーザー情報に基づいた動作制御を実行することで、個々のユーザーに適した動作が行われる。
例えばナビゲーション装置10の場合の地図画像表示や音声による走行ガイドなどとして、ユーザーの好みや必要性に応じたナビゲーション出力を行うことができる。
同様にオーディオ再生装置100の場合は、再生出力されるオーディオ信号として、ユーザーの好み等に応じた音量、音質(音響効果)、スピーカバランス、オーディオソース選択などが行われる。
即ち、複数のユーザーが乗車する車の車載用電子機器として、個々のユーザーが、わざわざ調整操作を行わなくとも、乗車しているユーザー(運転者)にとって快適なナビゲーション動作やオーディオ再生動作等が実現できる。
【0099】
なお、本発明は実施の形態の例に限らず、多様な変形例が考えられる。
ナビゲーション処理10やオーディオ再生装置100の構成は上記例に限らず多様に考えられる。また、ナビゲーション装置とオーディオ再生装置の複合機器も想定される。
さらに車載用の電子機器としては、これら以外に、ビデオ機器、テレビジョンチューナ機器なども想定される。
【0100】
ユーザーデータベースに登録されるユーザー情報も、上記例に限られない。例えばナビゲーション装置や映像再生装置、テレビジョン装置等において表示部の輝度レベル、コントラスト、シャープネスなどの調整値として、各ユーザー個人の好む値をユーザーデータベースに登録し、そのユーザーの使用時にその調整値が設定されるようにしてもよい。
オーディオ再生装置やテレビジョンチューナ機器の場合の選局(チャンネル)の好みなどもユーザー情報として採用できる。
【0101】
実施の形態では、撮像して顔特徴データFDTを検出するユーザーを、運転者としたが、もちろんこれに限らず、助手席の人物や後部座席の人物を撮像対象としても良いし、撮像対象となる人物(座席位置)を可変できるようにしてもよい。
また、車室内全体を撮像できるようにし、複数の人物が乗車するときには、それに応じた登録が行われるようにしても良い。即ち検出される顔特徴データFDTの組み合わせでユーザーデータベースを構成する。
ユーザーA、B、Cの3人の家族で使用する車のナビゲーション装置10やオーディオ再生装置100であるとして、撮像部16,123が車室内の全体を撮像するように被写体方向が設定されている場合、検出される顔特徴データFDTとしては、次の場合がある。
・ユーザーAのみ
・ユーザーBのみ
・ユーザーCのみ
・ユーザーAとB
・ユーザーAとC
・ユーザーBとC
・ユーザーAとBとC
これら7とおりの場合を、それぞれユーザーデータベースにおいて、別に登録されるようにする。そしてそれぞれの場合において、操作状況や登録操作に応じて、ユーザー情報を登録する。
このようにすることで、乗っている人物の組み合わせに応じて、適切なナビゲーション処理やオーディオ再生処理が実現できる。
【0102】
ところで、ナビゲーション装置10やオーディオ再生装置100に撮像部16、123を設けることで、次のような処理も可能となる。
例えば撮像画像信号から車室内の明るさを検出し、車室内の明るさに合わせて表示部8、113装置の輝度を設定する。これにより、室内が暗くなった場合に表示画面の輝度を下げることはもちろん、天気の良い日中には非常に見にくくなるカーオーディオやカーナビゲーションの表示画面の輝度を明るく調整することも可能となる。
【0103】
また、ユーザーデータベースに顔特徴データFDTを登録することは、車のセキュリティに利用できる。即ち運転席に、ユーザーデータベースに登録されていない顔特徴データFDTの人物が座っているときには、エンジンを始動させないなどの処理が可能である。
【0104】
また、定期的に車室内を撮像して、例えばナビゲーション装置で得られる現在位置情報と合わせて撮像画像データ一定期間記録しておくことにより、位置情報にリンクした写真日記として利用することもできる。
【図面の簡単な説明】
【0105】
【図1】本発明の第1の実施の形態のナビゲーション装置のブロック図である。
【図2】第1の実施の形態のナビゲーション装置の機能構成の説明図である。
【図3】第1の実施の形態のナビゲーション装置の設置状態の説明図である。
【図4】実施の形態の顔特徴データの説明図である。
【図5】第1の実施の形態のユーザーデータベースの説明図である。
【図6】第1の実施の形態の処理のフローチャートである。
【図7】第1の実施の形態の地図表示例の説明図である。
【図8】第1の実施の形態の登録操作時の処理のフローチャートである。
【図9】第1の実施の形態の学習による登録処理のフローチャートである。
【図10】本発明の第2の実施の形態のオーディオ再生装置のブロック図である。
【図11】第2の実施の形態のオーディオ再生装置の機能構成の説明図である。
【図12】第2の実施の形態のオーディオ再生装置の設置状態の説明図である。
【図13】第2の実施の形態のユーザーデータベースの説明図である。
【図14】第2の実施の形態の処理のフローチャートである。
【図15】第2の実施の形態のユーザーデータベースの変形例の説明図である。
【図16】第2の実施の形態の学習処理のフローチャートである。
【符号の説明】
【0106】
1 演算処理部、2 操作入力部、3 映像信号処理部、4 位置検出部、5 センサ部、6 ディスクドライブ装置部、7 音声合成/再生処理部、8 表示部、9 スピーカ部、11 CPU、12 ROM、13 RAM、14 不揮発性メモリ、15 インターフェース部、16 撮像部、17 画像解析部、21 ナビゲーション処理制御機能、22 顔特徴データ対応学習/設定機能、23 顔特徴データ対応制御機能、100 オーディオ再生装置、110 CPU110、111 メモリ部、112 操作部、113 表示部、114 DSP、123 撮像部、124 画像解析部、131 オーディオ再生制御機能、132 顔特徴データ対応学習/設定機能、133 顔特徴データ対応制御機能
【特許請求の範囲】
【請求項1】
車内の人物を撮像できるように配置された撮像部と、
上記撮像部で撮像された画像データを解析し、撮像された人物の顔特徴データを生成する画像解析部と、
顔特徴データに対応したユーザー情報を記憶するメモリ部と、
上記メモリ部から、上記画像解析部で生成された顔特徴データに対応するユーザー情報を読み出し、読み出したユーザー情報に基づいた動作制御を実行する制御部と、
を備えたことを特徴とする車載用電子機器。
【請求項2】
上記車載用電子機器は車載用のナビゲーション装置であって、
表示部と、
ナビゲーション情報を取得するナビゲーション情報取得部と、
を更に備え、
上記制御部は、上記表示部において、上記ナビゲーション情報取得部で取得したナビゲーション情報としての地図情報による地図表示を実行させる際に、上記画像解析部で生成された顔特徴データに対応して上記メモリ部から読み出したユーザー情報に基づいて、地図表示上の表示内容を制御することを特徴とする請求項1に記載の車載用電子機器。
【請求項3】
上記車載用電子機器は車載用のナビゲーション装置であって、
音声出力部と、
ナビゲーション情報を取得するナビゲーション情報取得部と、
現在位置情報を検出する位置検出部と、
を更に備え、
上記制御部は、上記音声出力部から、上記ナビゲーション情報取得部で取得したナビゲーション情報又は上記位置検出部で検出した現在位置情報に基づいた音声出力を実行させる動作に関して、上記画像解析部で生成された顔特徴データに対応して上記メモリ部から読み出したユーザー情報に基づいて、音声出力内容を制御することを特徴とする請求項1に記載の車載用電子機器。
【請求項4】
上記車載用電子機器は車載用のオーディオ再生装置であって、
オーディオソースから供給されるオーディオ信号について信号処理を行うオーディオ信号処理部と、
上記オーディオ信号処理部で信号処理されたオーディオ信号を1又は複数のスピーカに供給するオーディオ出力処理部と、
を更に備え、
上記制御部は、上記画像解析部で生成された顔特徴データに対応して上記メモリ部から読み出したユーザー情報に基づいて、上記オーディオ信号処理部での信号処理を制御することを特徴とする請求項1に記載の車載用電子機器。
【請求項5】
上記車載用電子機器は車載用のオーディオ再生装置であって、
複数のオーディオソースからのオーディオ信号を選択する選択部と、
上記選択部で選択されたオーディオ信号を1又は複数のスピーカに供給するオーディオ出力処理部と、
を更に備え、
上記制御部は、上記画像解析部で生成された顔特徴データに対応して上記メモリ部から読み出したユーザー情報に基づいて、上記選択部でのオーディオ信号の選択動作を制御することを特徴とする請求項1に記載の車載用電子機器。
【請求項6】
上記画像解析部が生成する上記顔特徴データは、顔の構成要素の相対位置情報であることを特徴とする請求項1に記載の車載用電子機器。
【請求項7】
上記ユーザー情報を入力する入力部を更に備え、
上記制御部は、上記入力部により入力されたユーザー情報を、上記画像解析部で生成された顔特徴データに対応させて、上記メモリ部に記憶させることを特徴とする請求項1に記載の車載用電子機器。
【請求項8】
操作入力部を更に備え、
上記制御部は、上記操作入力部を用いた操作内容、もしくは操作内容の履歴によりユーザー情報を生成し、上記画像解析部で生成された顔特徴データに対応させて、上記メモリ部に記憶させることを特徴とする請求項1に記載の車載用電子機器。
【請求項9】
車内の人物を撮像できるように配置された撮像部と、
上記撮像部で撮像された画像データを解析し、撮像された人物の顔特徴データを生成する画像解析部と、
顔特徴データに対応したユーザー情報を記憶するメモリ部と、
を備えた車載用電子機器の動作制御方法として、
上記画像解析部で顔特徴データを生成するステップと、
上記メモリ部から、上記顔特徴データに対応するユーザー情報を読み出すステップと、
読み出したユーザー情報に基づいて動作制御を実行するステップと、
を備えたことを特徴とする車載用電子機器の動作制御方法。
【請求項1】
車内の人物を撮像できるように配置された撮像部と、
上記撮像部で撮像された画像データを解析し、撮像された人物の顔特徴データを生成する画像解析部と、
顔特徴データに対応したユーザー情報を記憶するメモリ部と、
上記メモリ部から、上記画像解析部で生成された顔特徴データに対応するユーザー情報を読み出し、読み出したユーザー情報に基づいた動作制御を実行する制御部と、
を備えたことを特徴とする車載用電子機器。
【請求項2】
上記車載用電子機器は車載用のナビゲーション装置であって、
表示部と、
ナビゲーション情報を取得するナビゲーション情報取得部と、
を更に備え、
上記制御部は、上記表示部において、上記ナビゲーション情報取得部で取得したナビゲーション情報としての地図情報による地図表示を実行させる際に、上記画像解析部で生成された顔特徴データに対応して上記メモリ部から読み出したユーザー情報に基づいて、地図表示上の表示内容を制御することを特徴とする請求項1に記載の車載用電子機器。
【請求項3】
上記車載用電子機器は車載用のナビゲーション装置であって、
音声出力部と、
ナビゲーション情報を取得するナビゲーション情報取得部と、
現在位置情報を検出する位置検出部と、
を更に備え、
上記制御部は、上記音声出力部から、上記ナビゲーション情報取得部で取得したナビゲーション情報又は上記位置検出部で検出した現在位置情報に基づいた音声出力を実行させる動作に関して、上記画像解析部で生成された顔特徴データに対応して上記メモリ部から読み出したユーザー情報に基づいて、音声出力内容を制御することを特徴とする請求項1に記載の車載用電子機器。
【請求項4】
上記車載用電子機器は車載用のオーディオ再生装置であって、
オーディオソースから供給されるオーディオ信号について信号処理を行うオーディオ信号処理部と、
上記オーディオ信号処理部で信号処理されたオーディオ信号を1又は複数のスピーカに供給するオーディオ出力処理部と、
を更に備え、
上記制御部は、上記画像解析部で生成された顔特徴データに対応して上記メモリ部から読み出したユーザー情報に基づいて、上記オーディオ信号処理部での信号処理を制御することを特徴とする請求項1に記載の車載用電子機器。
【請求項5】
上記車載用電子機器は車載用のオーディオ再生装置であって、
複数のオーディオソースからのオーディオ信号を選択する選択部と、
上記選択部で選択されたオーディオ信号を1又は複数のスピーカに供給するオーディオ出力処理部と、
を更に備え、
上記制御部は、上記画像解析部で生成された顔特徴データに対応して上記メモリ部から読み出したユーザー情報に基づいて、上記選択部でのオーディオ信号の選択動作を制御することを特徴とする請求項1に記載の車載用電子機器。
【請求項6】
上記画像解析部が生成する上記顔特徴データは、顔の構成要素の相対位置情報であることを特徴とする請求項1に記載の車載用電子機器。
【請求項7】
上記ユーザー情報を入力する入力部を更に備え、
上記制御部は、上記入力部により入力されたユーザー情報を、上記画像解析部で生成された顔特徴データに対応させて、上記メモリ部に記憶させることを特徴とする請求項1に記載の車載用電子機器。
【請求項8】
操作入力部を更に備え、
上記制御部は、上記操作入力部を用いた操作内容、もしくは操作内容の履歴によりユーザー情報を生成し、上記画像解析部で生成された顔特徴データに対応させて、上記メモリ部に記憶させることを特徴とする請求項1に記載の車載用電子機器。
【請求項9】
車内の人物を撮像できるように配置された撮像部と、
上記撮像部で撮像された画像データを解析し、撮像された人物の顔特徴データを生成する画像解析部と、
顔特徴データに対応したユーザー情報を記憶するメモリ部と、
を備えた車載用電子機器の動作制御方法として、
上記画像解析部で顔特徴データを生成するステップと、
上記メモリ部から、上記顔特徴データに対応するユーザー情報を読み出すステップと、
読み出したユーザー情報に基づいて動作制御を実行するステップと、
を備えたことを特徴とする車載用電子機器の動作制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2007−255971(P2007−255971A)
【公開日】平成19年10月4日(2007.10.4)
【国際特許分類】
【出願番号】特願2006−78392(P2006−78392)
【出願日】平成18年3月22日(2006.3.22)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成19年10月4日(2007.10.4)
【国際特許分類】
【出願日】平成18年3月22日(2006.3.22)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]