車外音提供装置、車外音提供方法およびプログラム
【課題】 車外と車内の一体感を高めることができる車外音提供装置を提供する。
【解決手段】
車外音提供装置１０は、車外を撮影する赤外線カメラ１１と、赤外線カメラ１１の画像から一定の大きさを有する熱源を人物として検出する人物検出部１８と、車外の音を集音する指向性マイク１２と、赤外線カメラ１１にて撮影した画像から道路以外の領域を検出し、道路以外の領域の中から、人物の検出結果に基づいて集音すべきターゲット領域を求め、当該ターゲット領域の方向を集音方向として決定する集音方向決定部１９と、集音方向に指向性マイクを向ける指向性マイク制御部２０と、指向性マイクにて集音した音を車内に出力するスピーカ１３とを備える。
【解決手段】
車外音提供装置１０は、車外を撮影する赤外線カメラ１１と、赤外線カメラ１１の画像から一定の大きさを有する熱源を人物として検出する人物検出部１８と、車外の音を集音する指向性マイク１２と、赤外線カメラ１１にて撮影した画像から道路以外の領域を検出し、道路以外の領域の中から、人物の検出結果に基づいて集音すべきターゲット領域を求め、当該ターゲット領域の方向を集音方向として決定する集音方向決定部１９と、集音方向に指向性マイクを向ける指向性マイク制御部２０と、指向性マイクにて集音した音を車内に出力するスピーカ１３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車の車外の音を車内の乗員に提供する装置に関する。
【背景技術】
【０００２】
自動車は、窓を閉めると車外の音が遮断される。車外が騒々しい場合には、窓を閉めることにより、車外の喧噪から逃れることができる。その反面、車外において、イベントやアクティビティが行われている場合においては、乗員は、それらのイベント等の雰囲気から隔離されてしまい、ドライブの楽しみを満喫することができない。もちろん、窓を開ければ、車外の音を取り込むことは可能であるが、車内でエアコンを使っている場合には、窓を開けることは好ましくない。
【０００３】
車外の音をマイクロホンで集音し、乗員に提供する装置としては、特許文献１に記載された車外情報提供装置の発明がある。この発明では、複数のマイクロホンと、集音指向性の制御技術、移動性の音源検出技術、車両の運動情報取得技術を用いて、追い越し車両等のような移動性音源を検出した場合に、車外の音を集音して乗員に提供する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２５８８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来、車外と車内との一体感を実現し、ドライブのクオリティを高める目的で、車外の音を車内に取り込む装置は存在しなかった。特許文献１は、車外の音を運転手に提供する発明であるが、この発明は、運転の安全性を向上させることを目的としており、視野外に存在する追い越し車両や、緊急車両の接近をドライバに伝達する。従って、この装置によって、ドライブのクオリティが向上することはない。
【０００６】
本発明は、上記背景に鑑み、車外と車内の一体感を高めることができる車外音提供装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の車外音提供装置は、車外を撮影するカメラと、車外にいる人物を検出する人物検出部と、車外の音を集音する指向性マイクと、前記カメラにて撮影した画像から道路以外の領域を検出し、道路以外の領域の中から、前記人物検出部による検出結果に基づいて集音すべきターゲット領域を求め、当該ターゲット領域の方向を集音方向として決定する集音方向決定部と、前記集音方向に指向性マイクを向ける指向性マイク制御部と、前記指向性マイクにて集音した音を車内に出力するスピーカとを備える。ここで、前記カメラは赤外線カメラであってもよく、前記人物検出部は前記赤外線カメラにて撮影された画像から所定の大きさ以上の熱源を人物として検出してもよい。
【０００８】
このように道路以外の領域をターゲット領域として集音方向を決定することにより、運転支援に関係する音ではなく、車外で行われているアクティビティやイベント等の音を車内に提供し、ドライブのクオリティを高めることができる。また、人物検出部による検出結果に基づいてターゲット領域を求めることにより、人物が検出された方向あるいは人物が検出されなかった方向を集音方向として求めることが可能である。これにより、例えば、街にいる場合には、人物が検出された方向から集音することで人々が聞いている音や話し声を集音し、自然の中にいる場合には、人物が検出されなかった方向から波の音や虫の声を集音する、といったようにシーンに応じて適切な音を集音できる。
【０００９】
本発明の車外音提供装置は、人物のいる方向を集音方向とするか、人物のいない方向を集音方向とするかの選択を受け付ける入力部を備え、前記集音方向決定部は、前記選択に応じて、人物が検出された方向または人物が検出されなかった方向を集音方向として決定してもよい。これにより、乗員が望む車外音を提供することができる。
【００１０】
本発明の車外音提供装置は、車両の速度を検出する速度センサから車両速度のデータを取得する車速データ取得部を備え、車速が所定の閾値以上の場合には、車外音を提供しないこととしてもよい。この構成により、車速が所定の閾値以上の場合には、運転に集中できる環境を作ることができる。
【００１１】
本発明の車外音提供装置において、前記集音方向決定部は、検出した人物が移動している場合、あるいは、検出した人物が単独である場合には、その人物領域をターゲット領域に含めないこととしてもよい。検出した人物が移動している場合や単独でいる場合には、話しをしていない可能性があるので、ターゲット領域としないことにより、指向性マイクを適切な方向に向けることができる。
【００１２】
本発明の車外音提供装置は、車両の現在位置のデータを取得する位置データ取得部と、施設のデータを含む道路地図を記憶した道路地図データベースとを備え、前記集音方向決定部は、前記位置データ取得部にて取得した車両の現在位置と前記道路地図データベースに記憶されたデータに基づいて、前記人物領域が施設を含む所定の範囲内にあるか否かを判定し、前記人物領域が前記所定の範囲内にない場合には、その人物領域をターゲット領域に含めないこととしてもよい。この構成により、店舗、スタジアム、観光地などの施設の周辺で集音し、それ以外の場所で集音しないことにより、上記したような施設の周辺でなされているイベントやアクティビティに関係しそうな会話を適切に集音することができる。
【００１３】
本発明の車外音提供装置において、前記集音方向決定部は、車両から所定の距離内にある人物領域に基づいてターゲット領域を求めてもよい。これにより、自車両に対して話しかけている人物をターゲットとして、その発話内容を適切に集音できる。
【００１４】
本発明の車外音提供装置において、前記指向性マイク制御部は、前記ターゲット領域内にいる人数が所定の閾値以下である場合には、前記指向性マイクの感度を下げることとしてもよい。少人数のグループの場合には、プライベートな会話をしている可能性があるが、本発明の構成により、プライバシーを侵害しない態様で集音を行える。
【００１５】
本発明の車外音提供装置は、車両の現在位置のデータを取得する位置データ取得部と、地域の分類を示すデータを含む道路地図を記憶した道路地図データベースと、地域の分類と指向性マイクの感度とを関連付けて記憶したマイク感度テーブルとを備え、前記指向性マイク制御部は、前記位置データ取得部にて取得した車両の現在位置に対応する地域の分類を前記道路地図データベースから読み出し、読み出した地域の分類に対応する指向性マイクの感度を前記マイク感度テーブルから読み出し、読み出した感度にて集音を行うように前記指向性マイクを制御してもよい。例えば、静かな地域では屋外にいる人の声のみならず、屋内にいる人の声まで集音してしまう可能性があるので指向性マイクの感度を下げる等、地域によって指向性マイクの感度を変えることにより、プライバシーを侵害しない態様で集音を行える。
【００１６】
本発明の車外音提供装置は、車両の現在位置のデータを取得する位置データ取得部と、道路の種別を示すデータを含む道路地図を記憶した道路地図データベースと、道路の種別と車外音の提供を行うか否かのデータを関連付けて記憶した提供可否テーブルとを備え、前記位置データ取得部にて取得した車両の現在位置に対応する道路の種別を前記道路地図データベースから読み出し、読み出した道路の種別と前記提供可否テーブルに記憶されたデータとに基づいて、車外音の提供を行うか否かを決定してもよい。この構成により、道路の種別によって集音を行うか否かを適切に判断することができる。例えば、高速道路においては、車外音の提供を停止することにより、安全運転の妨げにならないようにできる。
【００１７】
本発明の車外音提供装置において、前記集音方向決定部は、対向車線を挟んで自車両と反対側の領域にある人物領域をターゲット領域に含めないこととしてもよい。対向車線を挟んで反対側にある領域を集音方向から除外することにより、対向車両に起因する集音ノイズを低減できる。
【００１８】
本発明の車外音提供装置は、車両の状態を検出する車両状態データ取得部と、前記車両状態データ取得部にて取得した車両の状態のデータに基づいて、前記スピーカから車外音を出力するタイミングを決定する提供タイミング決定部とを備えてもよい。この構成により、車両の安全性を確保したタイミングで車外音を提供することができる。
【００１９】
本発明の車外音提供装置において、前記車両状態データ取得部は、車両の速度を検出する速度センサから車速データを取得し、前記提供タイミング決定部は、車両が加減速しているとき、あるいは、加減速が所定の閾値より大きいときには、車外音を出力しないことを決定してもよい。車両の加減速時は通常よりも注意を要するので車外音を提供しないことにより、車両の安全を確保することができる。また、加減速の度合いが所定の閾値より大きい場合に車外音を提供しない構成とすれば、ドライバが意図していないわずかな加減速によって車外音の提供が妨げられることがなくなる。なお、加減速中に提供しなかった車外音を、後から提供することとしてもよい。
【００２０】
本発明の車外音提供装置において、前記車両状態データ取得部は、シフト位置を検出するシフトセンサからシフト位置を示すデータを取得し、前記提供タイミング決定部は、シフトが「後進」の位置にあるときには、車外音を出力しないことを決定してもよい。車両の後進時は通常よりも注意を要するので車外音を提供しないことにより、車両の安全を確保することができる。なお、後進中に提供しなかった車外音を、後から提供することとしてもよい。
【００２１】
本発明の車外音提供装置は、前記指向性マイクが複数の集音方向から集音した場合に、集音した音の大きさに基づいて、車内に提供する音を選択してもよい。この構成により価値の高い音を提供することができる。
【００２２】
本発明の車外音提供装置は、前記指向性マイクが複数の集音方向から集音した場合に、集音した音の周波数に基づいて、車内に提供する音を選択してもよい。周波数に基いて集音した音に人の声が含まれているか否かを判定できるので、乗員のニーズに合わせて人の声を含む音あるいは含まない音を提供することができる。
【００２３】
本発明の車外音提供方法は、車外の音を車内に提供する方法であって、車外音提供装置が、カメラにて撮影された車外の画像を取得するステップと、前記車外音提供装置が、人物検出部にて検出された車外にいる人物のデータを取得するステップと、前記車外音提供装置が、前記カメラにて撮影された画像から道路以外の領域を検出し、道路以外の領域の中から、前記人物検出部による検出結果に基づいて集音すべきターゲット領域を求め、当該ターゲット領域の方向を集音方向として決定するステップと、前記車外音提供装置が、指向性マイクにて前記集音方向から集音するステップと、前記車外音提供装置が、指向性マイクにて集音した音をスピーカにて車内に出力するステップとを備える。この構成により、上記した車外音提供装置と同様に、車外で行われているアクティビティやイベント等の音を車内に提供し、ドライブのクオリティを高めることができる。また、上記した車外音提供装置の各種の構成を本発明の車外音提供方法に適用することができる。
【００２４】
本発明のプログラムは、車外の音を車内に提供するためのプログラムであって、車外を撮影するカメラと、車外の音を集音する指向性マイクと、車内に音声を出力するスピーカとが接続されたコンピュータに、前記カメラにて撮影された車外の画像を取得するステップと、前記車外の画像から車外にいる人物を検出するステップと、前記カメラにて撮影された画像から道路以外の領域を検出し、道路以外の領域の中から、前記人物の検出結果に基づいて集音すべきターゲット領域を求め、当該ターゲット領域の方向を集音方向として決定するステップと、前記指向性マイクにて前記集音方向から集音するステップと、前記指向性マイクにて集音した音をスピーカにて車内に出力するステップとを実行させる。この構成により、上記した車外音提供装置と同様に、車外で行われているアクティビティやイベント等の音を車内に提供し、ドライブのクオリティを高めることができる。また、上記した車外音提供装置の各種の構成を本発明のプログラムに適用することができる。
【発明の効果】
【００２５】
本発明によれば、車外で行われているアクティビティやイベント等の音を車内に提供し、ドライブのクオリティを高めることができるという効果を有し、自動車に搭載される装置等として有用である。
【図面の簡単な説明】
【００２６】
【図１】第１の実施の形態の車外音提供装置の構成を示す図である。
【図２】道路地図データベースに記憶されたデータの例を示す図である。
【図３】マイク感度テーブルに記憶されたデータの例を示す図である。
【図４】人物領域に基づいてターゲット領域を求める例を示す図である。
【図５】第１の実施の形態の車外音提供装置のハードウェア構成を示す図である。
【図６】第１の実施の形態の車外音提供装置の動作を示す図である。
【図７】第１の実施の形態の車外音提供装置による集音方向決定処理の動作を示す図である。
【図８】第２の実施の形態における集音方向の決定の仕方を説明するための図である。
【図９】第２の実施の形態の車外音提供装置の集音方向決定処理を示す図である。
【図１０】第３の実施の形態の車外音提供装置の構成を示す図である。
【図１１】道路地図データベースに記憶されたデータの例を示す図である。
【図１２】第３の実施の形態の車外音提供装置の動作を示す図である。
【図１３】第４の実施の形態の車外音提供装置の動作を示す図である。
【図１４】第５の実施の形態の車外音提供装置の構成を示す図である。
【図１５】第５の実施の形態の車外音提供装置の動作を示す図である。
【図１６】第６の実施の形態の車外音提供装置の構成を示す図である。
【図１７】第６の実施の形態の車外音提供装置の動作を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明の実施の形態の車外音提供装置について図面を参照しながら説明する。
（第１の実施の形態）
図１は、第１の実施の形態の車外音提供装置１０の構成を示す図である。車外音提供装置１０は、自動車に搭載して用いられる装置である。車外音提供装置１０は、車外を撮影する赤外線カメラ１１と、車外の音を集音する指向性マイク１２と、車外音を車内に出力するスピーカ１３と、車外音を取得して車内に出力するように指向性マイク１２等を制御する制御部１４と、道路地図データベース（以下、「道路地図ＤＢ」）１５と、マイク感度テーブル１６とを有している。
【００２８】
図２は、道路地図ＤＢ１５に記憶されたデータの例を示す図である。道路地図ＤＢ１５には、道路を表すデータと地域の分類を示すデータとが記憶されている。地域の分類としては、図２に示されるように、住宅街、オフィス街、繁華街等の分類が記憶されている。図２では、地図を図示しているが、実際のデータベースには、地域の位置を示すデータとその分類とが関連付けて記憶されている。これらの地域の分類は、本装置の提供者が決めることとしてもよいし、地図上にあるＰＯＩを分析することによって自動的に決めることとしてもよい。
【００２９】
図３は、マイク感度テーブル１６に記憶されたデータの例を示す図である。マイク感度テーブル１６は、地域の分類を示すデータとマイクの感度とを関係付けて記憶している。このテーブルは、本装置の提供者が決めることとしてもよい。図３に示す例では、住宅街にあっては−３６ｄｂ、繁華街にあっては−２０ｄｂに設定されている。従って、繁華街においてはマイクの感度を高くし、住宅街においてはマイクの感度を低くする。これにより、例えば、住宅街において、住宅内にいる人の話し声まで集音してしまわないようにでき、プライバシーの保護を図ることができる。なお、ここでは、住宅街において感度を低くする設定をしているが、感度を「０」にする、すなわち、集音を行わないこととしてもよい。
【００３０】
制御部１４は、道路領域検出部１７、人物検出部１８、集音方向決定部１９、指向性マイク制御部２０、位置データ取得部２１、車外音出力部２２、車速データ取得部２３の機能を有する。道路領域検出部１７は、赤外線カメラ１１にて撮影した画像の中から道路の領域を検出する。赤外線カメラ１１の取付方向から画像内において道路が映るおおよその領域が分かっているので、道路と道路以外との領域の境界線をエッジ検出等によって求めることにより、道路領域を検出できる。
【００３１】
人物検出部１８は、赤外線カメラ１１で撮影した画像の中から所定の大きさ以上の熱源を検出することにより、画像から人物を検出する。ここで、検出した領域を「人物領域」という。所定の大きさは、例えば、現実の座標系に換算したときの高さが１５０ｃｍである。このように所定の大きさ以上の熱源を検出することにより、精度良く人物を検出することができる。
【００３２】
集音方向決定部１９は、道路領域検出部１７にて求めた道路を除く領域に存在する人物領域に基づいて、集音すべきターゲット領域を求め、ターゲット領域の方向を集音方向として決定する。
【００３３】
図４は、人物領域に基づいてターゲット領域を求める例を示す図である。集音方向決定部１９は、人物領域を取り囲む所定範囲の領域をターゲット領域として決定する。ここで所定範囲は、図４に示すように楕円であってもよいし、矩形であってもよい。隣接する人物領域との間でターゲット領域が重なり合う場合には、重なり合った複数のターゲット領域を結合して一つのターゲット領域として扱う。
【００３４】
指向性マイク制御部２０は、指向性マイク１２の集音方向および感度を制御する。指向性マイク制御部２０は、上記した集音方向決定部１９にて決定された方向にマイクの集音方向を向ける。制御部１４は、位置データ取得部２１にて車両の現在位置のデータを位置検出部３０から取得する。指向性マイク制御部２０は、取得した位置データに対応する地域の分類データを道路地図ＤＢ１５から読み出し、読み出した地域の分類に対応するマイク感度のデータをマイク感度テーブル１６から読み出す。指向性マイク制御部２０は、読み出したマイク感度になるように、指向性マイク１２の感度を制御する。また、指向性マイク制御部２０は、ターゲット領域の大きさやターゲット領域までの距離に応じて、指向性マイク１２の指向角度を制御してもよい。
【００３５】
車外音出力部２２は、指向性マイク１２にて集音した車外音をスピーカ１３から出力する機能を有する。車速データ取得部２３は、車両に取り付けられた速度センサ３１から車両の走行速度のデータを取得する。制御部１４は、車速が所定の閾値以上になったときには、車外音の提供を行わないように制御する。
【００３６】
図５は、図１に示す車外音提供装置１０のハードウエア構成を示す図である。車外音提供装置１０は、ＣＰＵ４０と、メモリ４１と、赤外線カメラ４２と、指向性マイク４３と、ハードディスク４４と、スピーカ４５と、通信インターフェース４６とを有しており、これらの構成がデータバス４７によって接続されている。メモリ４１には、図１にて説明した制御部１４の機能を実現するためのプログラム４８が記憶されている。ＣＰＵ４０が、メモリ４１に記憶されたプログラム４８を読み出して実行することにより、図１に示す制御部１４の各機能が実現され、後述する動作が実行される。このようなプログラム４８も、本発明の範囲に含まれる。
【００３７】
ハードディスク４４には、図１に示す道路地図ＤＢ１５およびマイク感度テーブル１６が記憶される。通信インターフェース４６は、車両に搭載された各種センサや他の機器と通信を行うためのインターフェースである。例えば、通信インターフェース４６は、位置検出部３０から現在位置のデータを受信したり、速度センサ３１から車速のデータを受信したりする。
【００３８】
図６は、第１の実施の形態の車外音提供装置１０の動作を示す図である。車外音提供装置１０は、図６に示すフローを繰り返し実行することにより、車外に人物が検出された場合に、その人物が聞いている音やその人物の会話等を車内に提供する。
【００３９】
車外音提供装置１０は、まず、速度センサ３１から車両の速度データを受信し、車両速度が所定の閾値以下になったか否かを判定する（Ｓ１０）。車両速度が所定の閾値以下になっていない場合には（Ｓ１０でＮＯ）、車両速度が所定の閾値になるまでこの処理を繰り返し行う。
【００４０】
車両速度が所定の閾値以下である場合には（Ｓ１０でＹＥＳ）、車外音を車内に提供する処理を開始する。まず、車外音提供装置１０は、赤外線カメラ１１によって車両の周辺を撮影する（Ｓ１２）。車外音提供装置１０は、撮影した画像内に一定以上の大きさを有する熱源領域の検出処理を行い（Ｓ１４）、このような熱源が検出されたか否かを判定する（Ｓ１６）。車外音提供装置１０は、ここで検出される一定以上の熱源は、人物として取り扱う。すなわち、画像内において検出された熱源の領域が「人物領域」である。
【００４１】
車外音提供装置１０は、一定以上の大きさの熱源が検出されなかった場合には（Ｓ１６でＮＯ）、再び、車速と所定の閾値を比較する処理に戻る（Ｓ１０）。一定以上の大きさの熱源が検出された場合には（Ｓ１６でＹＥＳ）、車外音提供装置１０は、集音方向の決定処理を行う（Ｓ１８）。
【００４２】
図７は、集音方向の決定処理の動作を示す図である。車外音提供装置１０は、赤外線カメラ１１にて撮影した画像から道路領域を検出する（Ｓ３０）。次に、人物領域が道路領域以外の領域に存在するか否かを判定する（Ｓ３２）。人物領域が道路領域以外の領域に存在する場合には（Ｓ３２でＹＥＳ）、当該人物領域に基づいてターゲット領域を求める。ここでは、人物領域を取り囲む所定の領域をターゲット領域として求め、追加する（Ｓ３４）。隣接するターゲット領域が重なった場合には、１つのターゲット領域として取り扱う。人物領域が道路領域内に存在する場合には（Ｓ３２でＮＯ）、当該人物領域に基づくターゲット領域を求めないで、次の人物領域について、道路領域内に存在するか否かの判定を行う（Ｓ３２）。すべての人物領域について、上記処理（Ｓ３２、Ｓ３４）を繰り返し行う。
【００４３】
すべての人物領域に基づいてターゲット領域を求める処理を行った後、車外音提供装置１０は、ターゲット領域に基づいて集音方向を決定する（Ｓ３６）。具体的には、車外音提供装置１０は、ターゲット領域を集音範囲に含むように集音方向を決定する。
【００４４】
図６を参照して、集音方向を決定した後の車外音提供装置１０の動作について説明する。車外音提供装置１０は、車両の現在位置のデータを位置検出部３０から受信し、現在位置の地域分類データを道路地図ＤＢ１５から読み出す。続いて、車外音提供装置１０は、地域分類データに対応するマイク感度のデータをマイク感度テーブル１６から読み出し、指向性マイク１２の感度を決定する（Ｓ２０）。ここまでの処理により、指向性マイク１２の集音方向および感度が決定される。次に、車外音提供装置１０の指向性マイク制御部２０は、決定された集音方向に指向性マイク１２を向け、決定されたマイク感度で集音する（Ｓ２２）。続いて、車外音提供装置１０は、指向性マイク１２にて集音した音をスピーカ１３から車内に出力する（Ｓ２４）。
【００４５】
以上、本発明の第１の実施の形態の車外音提供装置１０の構成および動作について説明した。第１の実施の形態の車外音提供装置１０は、道路以外の領域にある人物領域に基づいてターゲット領域を求め、ターゲット領域から集音できるように集音方向を決定している。これにより、道路以外の領域にいる人物が聞いている音やその人の会話を車内に提供することができ、車外と車内の一体感を実現することができる。また、道路以外の領域から集音しているため、道路上にある他の車両等の耳障りな音が取り込まれにくい。
【００４６】
また、第１の実施の形態の車外音提供装置１０は、車速が所定の閾値以上の場合には、車外音を提供しないので、車速が大きい場合には、運転に集中できる環境を作ることができる。
【００４７】
また、第１の実施の形態の車外音提供装置１０は、車両の現在位置の地域に対応する感度で指向性マイク１２による集音を行うので、例えば、閑静な住宅街ではマイクの感度を落としてプライベートな会話まで集音してしまわないように制御でき、プライバシーに配慮した態様で集音を行うことができる。
【００４８】
なお、本実施の形態では地域の分類に応じて、指向性マイク１２の感度を変える例について説明したが、道路の種別に応じて車外音の提供を行うか否かを変えることとしてもよい。この場合、道路の種別と車外音提供の可否とを関係付けたテーブルを準備しておく。位置データ取得部２１にて取得した現在位置から車両が走行している道路種別を求め、道路種別に対応する車外音提供の可否のデータをテーブルから読み出す。車外音提供装置１０は、テーブルから読み出したデータに基づいて車外音の提供可否を決定することができる。例えば、道路種別が高速道路の場合には車外音を提供しない等の処理を行うことができる。
【００４９】
本実施の形態では、地域の分類に応じて感度を変える例について説明したが、ターゲット領域に含まれる人物の数に応じて感度を変更することとしてもよい。例えば、ターゲット領域内の人数が所定数（例えば、３人）以下の場合には、プライベートな会話をしている可能性があるので、指向性マイク１２の感度を下げることとしてもよい。
【００５０】
また、本実施の形態において、車両の最も近くにある人物領域に基づいてターゲット領域を求めてもよい。これにより、自車両に対して話しかけている人の発話内容を車内に伝えることができる。
【００５１】
また、道路以外の領域にあるすべての人物領域をターゲット領域とするのではなく、例えば、人物領域内にいる人物が移動している場合や、単独の場合には、そのような人物領域に基づいてターゲット領域を求めないこととしてもよい。移動中の人物や単独の人物は話しをしていない可能性があり、指向性マイク１２を使って集音する処理が無駄になってしまうおそれがあるので、その時間を他の人物領域からの集音に充てた方が効率良く車外音を取得できる可能性が高まる。
【００５２】
（第２の実施の形態）
次に、本発明の第２の実施の形態の車外音提供装置１０について説明する。第２の実施の形態の車外音提供装置１０の基本的な構成は第１の実施の形態と同じであるが（図１参照）、第２の実施の形態の車外音提供装置１０は、集音方向の決定の仕方が第１の実施の形態と異なる。
【００５３】
図８は、第２の実施の形態における集音方向の決定の仕方を説明するための図である。図８に示す例では、車両の周辺の４つの場所Ａ１〜Ａ４で人物が検出されている。これらの４つの人物領域は、いずれも道路以外の領域に存在している。第２の実施の形態では、車外音提供装置１０は、道路以外の領域に存在している人物領域のうち、対向車線を挟んで反対側にある人物領域に基づくターゲット領域を求めない。図８に示す例では、人物領域Ａ３，Ａ４に基づくターゲット領域は求めず、人物領域Ａ１，Ａ２に基づくターゲット領域を求める。そして、車外音提供装置１０は、ターゲット領域の方向を集音方向として決定する。
【００５４】
図９は、第２の実施の形態の車外音提供装置１０の集音方向決定処理を示す図である。車外音提供装置１０は、赤外線カメラ１１にて撮影した画像から道路領域を検出する（Ｓ３０）。次に、人物領域が道路領域以外の領域に存在するか否かを判定する（Ｓ３２）。人物領域が道路領域以外の領域に存在する場合には（Ｓ３２でＹＥＳ）、当該人物領域が対向車線を挟んで反対側にあるか否かを判定する（Ｓ３３）。対向車線を挟んで反対側ではないと判定された場合には（Ｓ３３でＮＯ）、当該人物領域に基づくターゲット領域を追加する（Ｓ３４）。人物領域が道路領域内に存在する場合（Ｓ３２でＮＯ）または人物領域が対向車線を挟んで反対側にある場合には（Ｓ３３でＹＥＳ）、当該人物領域に基づくターゲット領域を求めないで、次の人物領域について、道路領域内に存在するか否かの判定を行う（Ｓ３２）。すべての人物領域について、上記処理（Ｓ３２、Ｓ３３、Ｓ３４）を繰り返し行う。
【００５５】
すべての人物領域に基づいてターゲット領域を求める処理を行った後、車外音提供装置１０は、ターゲット領域に基づいて集音方向を決定する（Ｓ３６）。具体的には、車外音提供装置１０は、ターゲット領域を集音範囲に含むように集音方向を決定する。
【００５６】
第２の実施の形態の車外音提供装置１０は、対向車線を挟んだ側にある領域を集音方向から除外するので、ターゲット領域から集音する際に対向車の音を集音することがなく、集音ノイズを低減できる。
【００５７】
（第３の実施の形態）
次に、本発明の第３の実施の形態の車外音提供装置１０ａについて説明する。第３の実施の形態の車外音提供装置１０ａの基本的な構成は第１の実施の形態と同じであるが（図１参照）、第３の実施の形態の車外音提供装置１０ａは、集音方向の決定の仕方が第１の実施の形態と異なる。
【００５８】
図１０は、第３の実施の形態の車外音提供装置１０ａの構成を示す図である。第３の実施の形態の車外音提供装置１０ａの基本的な構成は第１の実施の形態と同じであるが、道路地図ＤＢ１５ａに記憶されたデータが異なり、また、集音方向決定部１９ａの処理が異なる。道路地図ＤＢ１５ａには、第１の実施の形態で説明した地域の分類データに加え、ＰＯＩのデータが記憶されている。
【００５９】
図１１は、道路地図ＤＢ１５ａに記憶されたＰＯＩのデータの例を示す図である。図１１では、ＰＯＩを含む地図を図示しているが、実際のデータベースでは、ＰＯＩの位置を示すデータ、ＰＯＩの属性等が関連付けて記憶されている。この道路地図ＤＢ１５ａにより、どの場所に何の施設があるかを把握することができる。
【００６０】
図１２は、第３の実施の形態における集音方向の決定処理を示す図である。車外音提供装置１０ａは、赤外線カメラ１１にて撮影した画像から道路領域を検出する（Ｓ３０）。次に、人物領域が道路領域以外の領域に存在するか否かを判定する（Ｓ３２）。人物領域が道路領域以外の領域に存在する場合には（Ｓ３２でＹＥＳ）、当該人物領域が施設から所定の範囲内にあるか否かを判定する（Ｓ３３ａ）。人物領域が所定の範囲内にあると判定された場合には（Ｓ３３ａでＹＥＳ）、当該人物領域に基づくターゲット領域を追加する（Ｓ３４）。人物領域が道路領域に存在する場合（Ｓ３２でＮＯ）または人物領域が施設の所定の範囲内にない場合には（Ｓ３３ａでＮＯ）、当該人物領域に基づくターゲット領域を求めないで、次の人物領域について、道路領域内に存在するかを判定する処理を行う（Ｓ３２）。すべての人物領域について、上記処理（Ｓ３２、Ｓ３３ａ、Ｓ３４）を繰り返し行う。
【００６１】
すべての人物領域に基づいてターゲット領域を求める処理を行った後、車外音提供装置１０ａは、ターゲット領域に基づいて集音方向を決定する（Ｓ３６）。具体的には、車外音提供装置１０ａは、ターゲット領域を集音範囲に含むように集音方向を決定する。
【００６２】
第３の実施の形態の車外音提供装置１０ａは、施設から所定の範囲内にある人物領域をターゲット領域として集音方向を決定するので、イベントやアクティビティに関する音を取得できる可能性が高まり、ドライブのクオリティを向上できる。
【００６３】
なお、本実施の形態では、道路地図ＤＢ１５に記憶されている施設のデータをそのまま用いる例について説明したが、乗員の嗜好等に合わせて集音を行う施設の属性等を指定してもよい。例えば、食べ歩きが好きな乗員の場合には、レストランの属性を指定することにより、レストランの周辺の人物領域から集音を行うことができ、乗員の好みにあった音声を取得できる。
【００６４】
（第４の実施の形態）
次に、第４の実施の形態の車外音提供装置１０について説明する。第４の実施の形態の車外音提供装置１０の基本的な構成は、第１の実施の形態と同じである。上記した実施の形態では、人物領域をターゲット領域として集音を行っているが、第４の実施の形態では、人物領域以外の領域をターゲット領域として集音を行う点が異なる。これにより、人の話し声に邪魔されずに、道路脇の自然の音（川のせせらぎ、海の音、虫の声等）を楽しむことができる。
【００６５】
図１３は、第４の実施の形態の車外音提供装置１０による集音方向決定処理を示す図である。車外音提供装置１０は、赤外線カメラ１１にて撮影した画像から道路領域を検出する（Ｓ４０）。次に、車外音提供装置１０は、人物領域の方向を集音しない方向（これを「非集音方向」という）として追加していく（Ｓ４２）。すべての人物領域について非集音方向を求める。次に、車外音提供装置１０は、道路領域以外の領域の存在する方向から、非集音方向を除外していき、残った方向を集音方向として決定する（Ｓ４４）。
【００６６】
（第５の実施の形態）
図１４は、本発明の第５の実施の形態の車外音提供装置１０ｂの構成を示す図である。第５の実施の形態の車外音提供装置１０ｂは、第１の実施の形態の車外音提供装置１０の構成に加え、社外音を提供するタイミングを決定するための提供タイミング決定部２５と、音データを記憶しておく音データ記憶部２６を備えている。また、第５の実施の形態の車外音提供装置１０ｂでは、車速データのみならず、シフト位置のデータを受信する車両状態データ取得部２４を有している。車両状態データ取得部２４は、車両に取り付けられた速度センサ３１およびシフトセンサ３２と接続されている。
【００６７】
第５の実施の形態の車外音提供装置１０ｂは、指向性マイク１２にて取得した車外音を音データ記憶部２６に記憶する。提供タイミング決定部２５は、車両状態データ取得部２４にて取得した車両状態に基づいて、車外音を提供してよいか否かを判定し、提供してよいタイミングを決定する。車外音出力部２２は、提供タイミング決定部２５にて車外音を提供してよいタイミングであると決定されたときに、音データ記憶部２６から音データを読み出し、スピーカ１３から出力する。
【００６８】
図１５は、第５の実施の形態の車外音提供装置１０ｂの動作を示す図である。第５の実施の形態の車外音提供装置１０ｂが車外音を集音する処理までは（Ｓ１０〜Ｓ２２）、第１の実施の形態と同じである。第５の実施の形態の車外音提供装置１０ｂは、集音した車外音をいったん音データ記憶部２６に記憶する（Ｓ５０）。
【００６９】
次に、車外音提供装置１０ｂは、車両状態データ取得部２４にて、車両の速度データ、シフト位置のデータを取得し、車両状態に基づいて、車外音の提供が可能か否かを判定する（Ｓ５２）。具体的には、車両が加減速を行っているとき、あるいは、シフト位置が「後進（バック）」にあるときには車外音の提供ができないと判定する。車外音の提供が可能ではないと判定された場合には（Ｓ５２でＮＯ）、車両速度と所定の閾値とを判定する処理（Ｓ１０）に戻り、引き続き車外音を集音する。
【００７０】
車外音の提供が可能であると判定された場合には（Ｓ５２でＹＥＳ）、車外音提供装置１０ｂは、音データ記憶部２６から車外音のデータを読み出し、読み出したデータをアナログ信号に変換し（Ｓ５４）、スピーカ１３から車外音を出力する（Ｓ５６）。
【００７１】
第５の実施の形態によれば、車両の状態に応じて車外音を提供してよいか否かを判定しているので、運転の妨げになるようなタイミングで車外音を出力しないようにでき、安全性を確保することができる。
【００７２】
上記した実施の形態において、車外音を提供できないときに集音した車外音については、廃棄することとしてもよいし、提供できるタイミングになったときに提供することとしてもよい。提供できるタイミングに、後から車外音を提供する場合には、集音した車外音に含まれる無音期間をカットするなどして、遅延した時間を短縮してもよい。
【００７３】
上記した実施の形態では、車両状態として車両が加減速しているか、またはバックしているかを判断しているが、これは一例であり、他に様々な車両状態を提供可否の判定に用いることができる。例えば、ウィンカーの状態に基づいて、車両が右左折しようとしていることや、車両が車線変更しようとしていることを検知した場合には、車外音を提供しないこととしてもよい。また、ワイパーの状態に基づいて、雨が降っていると判断される場合には車外音を提供しないこととしてもよい。また、ライトの点灯状態に基づいて、ライトが点灯している場合には周囲が暗いと判断して、車外音を提供しないこととしてもよい。
【００７４】
（第６の実施の形態）
図１６は、第６の実施の形態の車外音提供装置１０の構成を示す図である。第６の実施の形態の車外音提供装置１０の基本的な構成は、第１の実施の形態と同じであるが、第６の実施の形態では、指向性マイク１２で集音した音を記憶する音データ記憶部２６と、複数の方向から取得した車外音のうち、どの車外音を出力するかを決定する出力音決定部２７を備えている。出力音決定部２７は、同時期に取得した複数の車外音の中から、音量の最も大きい車外音を車内に出力すべき車外音として決定する。
【００７５】
図１７は、第６の実施の形態の車外音提供装置１０の動作を示す図である。第６の実施の形態の車外音提供装置１０が車外音を集音する処理までは（Ｓ１０〜Ｓ２２）、第１の実施の形態と同じである。第６の実施の形態の車外音提供装置１０は、集音した車外音をいったん音データ記憶部２６に記憶する（Ｓ５０）。
【００７６】
第６の実施の形態の車外音提供装置１０は、音データ記憶部２６に、複数の集音方向からの音データがあるか否かを判定する（Ｓ６０）。複数の集音方向からの音データがない場合には（Ｓ６０でＮＯ）、音データ記憶部２６から車外音のデータを読み出し、読み出したデータをアナログ信号に変換し（Ｓ６４）、スピーカ１３から車外音を出力する（Ｓ６６）。
【００７７】
複数の集音方向からの音データがある場合には（Ｓ６０でＹＥＳ）、車外音提供装置１０は、どの方向から集音した音を出力するかを、その音量に基づいて決定する（Ｓ６２）。そして、決定された方向から集音した音データを、音データ記憶部２６から読み出し、読み出したデータをアナログ信号に変換し（Ｓ６４）、スピーカ１３から車外音を出力する（Ｓ６６）。
【００７８】
第６の実施の形態の車外音提供装置１０は、複数の方向から集音した車外音のうち、音量が最大の車外音を提供するので、乗員にとって価値が高い可能性の高い音を優先して提供することができる。
【００７９】
なお、第６の実施の形態の車外音提供装置１０は、音量に基づいて音を選択する例について説明したが、周波数に基づいて音を選択することとしてもよい。例えば、人間の声の周波数成分を最も多く含む音データを選択して出力することとしてもよい。
【００８０】
以上、本発明の車外音提供装置１０の構成について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
【００８１】
上記した実施の形態では、赤外線カメラ１１を用いているが、本発明で用いるカメラは必ずしも赤外線カメラ１１でなくてもよく、通常のカメラを用いてもよい。
【００８２】
上記した第６の実施の形態では、複数の方向から集音を行ったときに出力すべき車外音を選択する例について説明しているが、複数の指向性マイクで集音した車外音をすべて提供することとしてもよい。この場合、サラウンディングシステムを用いて、集音した各音を集音した方向から出力する。これにより、車外で聞こえる音を適切に再現することができる。
【００８３】
上記した実施の形態において、車外音を集音している最中に、車外音を集音中であることのサインを表示するようにしてもよい。このように車外にいる人物に注意を喚起することにより、普通に人が歩いているときに耳に入ってくる程度の会話しか集音しないようにでき、プライバシーに関わる会話を集音しないようにすることができる。
【産業上の利用可能性】
【００８４】
本発明は、車外で行われているアクティビティやイベント等の音を車内に提供し、ドライブのクオリティを高めることができるという効果を有し、車両に搭載して用いられる装置として有用である。
【符号の説明】
【００８５】
１０ 車外音提供装置
１１ 赤外線カメラ
１２ 指向性マイク
１３ スピーカ
１４ 制御部
１５，１５ａ 道路地図データベース
１６ マイク感度テーブル
１７ 道路領域検出部
１８ 人物検出部
１９，１９ａ 集音方向決定部
２０ 指向性マイク制御部
２１ 位置データ取得部
２２ 車外音出力部
２３ 車速データ取得部
２４ 車両状態データ取得部
２５ 提供タイミング決定部
２６ 音データ記憶部
２７ 出力音決定部
３０ 位置検出部
３１ 速度センサ
３２ シフトセンサ
【技術分野】
【０００１】
本発明は、自動車の車外の音を車内の乗員に提供する装置に関する。
【背景技術】
【０００２】
自動車は、窓を閉めると車外の音が遮断される。車外が騒々しい場合には、窓を閉めることにより、車外の喧噪から逃れることができる。その反面、車外において、イベントやアクティビティが行われている場合においては、乗員は、それらのイベント等の雰囲気から隔離されてしまい、ドライブの楽しみを満喫することができない。もちろん、窓を開ければ、車外の音を取り込むことは可能であるが、車内でエアコンを使っている場合には、窓を開けることは好ましくない。
【０００３】
車外の音をマイクロホンで集音し、乗員に提供する装置としては、特許文献１に記載された車外情報提供装置の発明がある。この発明では、複数のマイクロホンと、集音指向性の制御技術、移動性の音源検出技術、車両の運動情報取得技術を用いて、追い越し車両等のような移動性音源を検出した場合に、車外の音を集音して乗員に提供する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２５８８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来、車外と車内との一体感を実現し、ドライブのクオリティを高める目的で、車外の音を車内に取り込む装置は存在しなかった。特許文献１は、車外の音を運転手に提供する発明であるが、この発明は、運転の安全性を向上させることを目的としており、視野外に存在する追い越し車両や、緊急車両の接近をドライバに伝達する。従って、この装置によって、ドライブのクオリティが向上することはない。
【０００６】
本発明は、上記背景に鑑み、車外と車内の一体感を高めることができる車外音提供装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の車外音提供装置は、車外を撮影するカメラと、車外にいる人物を検出する人物検出部と、車外の音を集音する指向性マイクと、前記カメラにて撮影した画像から道路以外の領域を検出し、道路以外の領域の中から、前記人物検出部による検出結果に基づいて集音すべきターゲット領域を求め、当該ターゲット領域の方向を集音方向として決定する集音方向決定部と、前記集音方向に指向性マイクを向ける指向性マイク制御部と、前記指向性マイクにて集音した音を車内に出力するスピーカとを備える。ここで、前記カメラは赤外線カメラであってもよく、前記人物検出部は前記赤外線カメラにて撮影された画像から所定の大きさ以上の熱源を人物として検出してもよい。
【０００８】
このように道路以外の領域をターゲット領域として集音方向を決定することにより、運転支援に関係する音ではなく、車外で行われているアクティビティやイベント等の音を車内に提供し、ドライブのクオリティを高めることができる。また、人物検出部による検出結果に基づいてターゲット領域を求めることにより、人物が検出された方向あるいは人物が検出されなかった方向を集音方向として求めることが可能である。これにより、例えば、街にいる場合には、人物が検出された方向から集音することで人々が聞いている音や話し声を集音し、自然の中にいる場合には、人物が検出されなかった方向から波の音や虫の声を集音する、といったようにシーンに応じて適切な音を集音できる。
【０００９】
本発明の車外音提供装置は、人物のいる方向を集音方向とするか、人物のいない方向を集音方向とするかの選択を受け付ける入力部を備え、前記集音方向決定部は、前記選択に応じて、人物が検出された方向または人物が検出されなかった方向を集音方向として決定してもよい。これにより、乗員が望む車外音を提供することができる。
【００１０】
本発明の車外音提供装置は、車両の速度を検出する速度センサから車両速度のデータを取得する車速データ取得部を備え、車速が所定の閾値以上の場合には、車外音を提供しないこととしてもよい。この構成により、車速が所定の閾値以上の場合には、運転に集中できる環境を作ることができる。
【００１１】
本発明の車外音提供装置において、前記集音方向決定部は、検出した人物が移動している場合、あるいは、検出した人物が単独である場合には、その人物領域をターゲット領域に含めないこととしてもよい。検出した人物が移動している場合や単独でいる場合には、話しをしていない可能性があるので、ターゲット領域としないことにより、指向性マイクを適切な方向に向けることができる。
【００１２】
本発明の車外音提供装置は、車両の現在位置のデータを取得する位置データ取得部と、施設のデータを含む道路地図を記憶した道路地図データベースとを備え、前記集音方向決定部は、前記位置データ取得部にて取得した車両の現在位置と前記道路地図データベースに記憶されたデータに基づいて、前記人物領域が施設を含む所定の範囲内にあるか否かを判定し、前記人物領域が前記所定の範囲内にない場合には、その人物領域をターゲット領域に含めないこととしてもよい。この構成により、店舗、スタジアム、観光地などの施設の周辺で集音し、それ以外の場所で集音しないことにより、上記したような施設の周辺でなされているイベントやアクティビティに関係しそうな会話を適切に集音することができる。
【００１３】
本発明の車外音提供装置において、前記集音方向決定部は、車両から所定の距離内にある人物領域に基づいてターゲット領域を求めてもよい。これにより、自車両に対して話しかけている人物をターゲットとして、その発話内容を適切に集音できる。
【００１４】
本発明の車外音提供装置において、前記指向性マイク制御部は、前記ターゲット領域内にいる人数が所定の閾値以下である場合には、前記指向性マイクの感度を下げることとしてもよい。少人数のグループの場合には、プライベートな会話をしている可能性があるが、本発明の構成により、プライバシーを侵害しない態様で集音を行える。
【００１５】
本発明の車外音提供装置は、車両の現在位置のデータを取得する位置データ取得部と、地域の分類を示すデータを含む道路地図を記憶した道路地図データベースと、地域の分類と指向性マイクの感度とを関連付けて記憶したマイク感度テーブルとを備え、前記指向性マイク制御部は、前記位置データ取得部にて取得した車両の現在位置に対応する地域の分類を前記道路地図データベースから読み出し、読み出した地域の分類に対応する指向性マイクの感度を前記マイク感度テーブルから読み出し、読み出した感度にて集音を行うように前記指向性マイクを制御してもよい。例えば、静かな地域では屋外にいる人の声のみならず、屋内にいる人の声まで集音してしまう可能性があるので指向性マイクの感度を下げる等、地域によって指向性マイクの感度を変えることにより、プライバシーを侵害しない態様で集音を行える。
【００１６】
本発明の車外音提供装置は、車両の現在位置のデータを取得する位置データ取得部と、道路の種別を示すデータを含む道路地図を記憶した道路地図データベースと、道路の種別と車外音の提供を行うか否かのデータを関連付けて記憶した提供可否テーブルとを備え、前記位置データ取得部にて取得した車両の現在位置に対応する道路の種別を前記道路地図データベースから読み出し、読み出した道路の種別と前記提供可否テーブルに記憶されたデータとに基づいて、車外音の提供を行うか否かを決定してもよい。この構成により、道路の種別によって集音を行うか否かを適切に判断することができる。例えば、高速道路においては、車外音の提供を停止することにより、安全運転の妨げにならないようにできる。
【００１７】
本発明の車外音提供装置において、前記集音方向決定部は、対向車線を挟んで自車両と反対側の領域にある人物領域をターゲット領域に含めないこととしてもよい。対向車線を挟んで反対側にある領域を集音方向から除外することにより、対向車両に起因する集音ノイズを低減できる。
【００１８】
本発明の車外音提供装置は、車両の状態を検出する車両状態データ取得部と、前記車両状態データ取得部にて取得した車両の状態のデータに基づいて、前記スピーカから車外音を出力するタイミングを決定する提供タイミング決定部とを備えてもよい。この構成により、車両の安全性を確保したタイミングで車外音を提供することができる。
【００１９】
本発明の車外音提供装置において、前記車両状態データ取得部は、車両の速度を検出する速度センサから車速データを取得し、前記提供タイミング決定部は、車両が加減速しているとき、あるいは、加減速が所定の閾値より大きいときには、車外音を出力しないことを決定してもよい。車両の加減速時は通常よりも注意を要するので車外音を提供しないことにより、車両の安全を確保することができる。また、加減速の度合いが所定の閾値より大きい場合に車外音を提供しない構成とすれば、ドライバが意図していないわずかな加減速によって車外音の提供が妨げられることがなくなる。なお、加減速中に提供しなかった車外音を、後から提供することとしてもよい。
【００２０】
本発明の車外音提供装置において、前記車両状態データ取得部は、シフト位置を検出するシフトセンサからシフト位置を示すデータを取得し、前記提供タイミング決定部は、シフトが「後進」の位置にあるときには、車外音を出力しないことを決定してもよい。車両の後進時は通常よりも注意を要するので車外音を提供しないことにより、車両の安全を確保することができる。なお、後進中に提供しなかった車外音を、後から提供することとしてもよい。
【００２１】
本発明の車外音提供装置は、前記指向性マイクが複数の集音方向から集音した場合に、集音した音の大きさに基づいて、車内に提供する音を選択してもよい。この構成により価値の高い音を提供することができる。
【００２２】
本発明の車外音提供装置は、前記指向性マイクが複数の集音方向から集音した場合に、集音した音の周波数に基づいて、車内に提供する音を選択してもよい。周波数に基いて集音した音に人の声が含まれているか否かを判定できるので、乗員のニーズに合わせて人の声を含む音あるいは含まない音を提供することができる。
【００２３】
本発明の車外音提供方法は、車外の音を車内に提供する方法であって、車外音提供装置が、カメラにて撮影された車外の画像を取得するステップと、前記車外音提供装置が、人物検出部にて検出された車外にいる人物のデータを取得するステップと、前記車外音提供装置が、前記カメラにて撮影された画像から道路以外の領域を検出し、道路以外の領域の中から、前記人物検出部による検出結果に基づいて集音すべきターゲット領域を求め、当該ターゲット領域の方向を集音方向として決定するステップと、前記車外音提供装置が、指向性マイクにて前記集音方向から集音するステップと、前記車外音提供装置が、指向性マイクにて集音した音をスピーカにて車内に出力するステップとを備える。この構成により、上記した車外音提供装置と同様に、車外で行われているアクティビティやイベント等の音を車内に提供し、ドライブのクオリティを高めることができる。また、上記した車外音提供装置の各種の構成を本発明の車外音提供方法に適用することができる。
【００２４】
本発明のプログラムは、車外の音を車内に提供するためのプログラムであって、車外を撮影するカメラと、車外の音を集音する指向性マイクと、車内に音声を出力するスピーカとが接続されたコンピュータに、前記カメラにて撮影された車外の画像を取得するステップと、前記車外の画像から車外にいる人物を検出するステップと、前記カメラにて撮影された画像から道路以外の領域を検出し、道路以外の領域の中から、前記人物の検出結果に基づいて集音すべきターゲット領域を求め、当該ターゲット領域の方向を集音方向として決定するステップと、前記指向性マイクにて前記集音方向から集音するステップと、前記指向性マイクにて集音した音をスピーカにて車内に出力するステップとを実行させる。この構成により、上記した車外音提供装置と同様に、車外で行われているアクティビティやイベント等の音を車内に提供し、ドライブのクオリティを高めることができる。また、上記した車外音提供装置の各種の構成を本発明のプログラムに適用することができる。
【発明の効果】
【００２５】
本発明によれば、車外で行われているアクティビティやイベント等の音を車内に提供し、ドライブのクオリティを高めることができるという効果を有し、自動車に搭載される装置等として有用である。
【図面の簡単な説明】
【００２６】
【図１】第１の実施の形態の車外音提供装置の構成を示す図である。
【図２】道路地図データベースに記憶されたデータの例を示す図である。
【図３】マイク感度テーブルに記憶されたデータの例を示す図である。
【図４】人物領域に基づいてターゲット領域を求める例を示す図である。
【図５】第１の実施の形態の車外音提供装置のハードウェア構成を示す図である。
【図６】第１の実施の形態の車外音提供装置の動作を示す図である。
【図７】第１の実施の形態の車外音提供装置による集音方向決定処理の動作を示す図である。
【図８】第２の実施の形態における集音方向の決定の仕方を説明するための図である。
【図９】第２の実施の形態の車外音提供装置の集音方向決定処理を示す図である。
【図１０】第３の実施の形態の車外音提供装置の構成を示す図である。
【図１１】道路地図データベースに記憶されたデータの例を示す図である。
【図１２】第３の実施の形態の車外音提供装置の動作を示す図である。
【図１３】第４の実施の形態の車外音提供装置の動作を示す図である。
【図１４】第５の実施の形態の車外音提供装置の構成を示す図である。
【図１５】第５の実施の形態の車外音提供装置の動作を示す図である。
【図１６】第６の実施の形態の車外音提供装置の構成を示す図である。
【図１７】第６の実施の形態の車外音提供装置の動作を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明の実施の形態の車外音提供装置について図面を参照しながら説明する。
（第１の実施の形態）
図１は、第１の実施の形態の車外音提供装置１０の構成を示す図である。車外音提供装置１０は、自動車に搭載して用いられる装置である。車外音提供装置１０は、車外を撮影する赤外線カメラ１１と、車外の音を集音する指向性マイク１２と、車外音を車内に出力するスピーカ１３と、車外音を取得して車内に出力するように指向性マイク１２等を制御する制御部１４と、道路地図データベース（以下、「道路地図ＤＢ」）１５と、マイク感度テーブル１６とを有している。
【００２８】
図２は、道路地図ＤＢ１５に記憶されたデータの例を示す図である。道路地図ＤＢ１５には、道路を表すデータと地域の分類を示すデータとが記憶されている。地域の分類としては、図２に示されるように、住宅街、オフィス街、繁華街等の分類が記憶されている。図２では、地図を図示しているが、実際のデータベースには、地域の位置を示すデータとその分類とが関連付けて記憶されている。これらの地域の分類は、本装置の提供者が決めることとしてもよいし、地図上にあるＰＯＩを分析することによって自動的に決めることとしてもよい。
【００２９】
図３は、マイク感度テーブル１６に記憶されたデータの例を示す図である。マイク感度テーブル１６は、地域の分類を示すデータとマイクの感度とを関係付けて記憶している。このテーブルは、本装置の提供者が決めることとしてもよい。図３に示す例では、住宅街にあっては−３６ｄｂ、繁華街にあっては−２０ｄｂに設定されている。従って、繁華街においてはマイクの感度を高くし、住宅街においてはマイクの感度を低くする。これにより、例えば、住宅街において、住宅内にいる人の話し声まで集音してしまわないようにでき、プライバシーの保護を図ることができる。なお、ここでは、住宅街において感度を低くする設定をしているが、感度を「０」にする、すなわち、集音を行わないこととしてもよい。
【００３０】
制御部１４は、道路領域検出部１７、人物検出部１８、集音方向決定部１９、指向性マイク制御部２０、位置データ取得部２１、車外音出力部２２、車速データ取得部２３の機能を有する。道路領域検出部１７は、赤外線カメラ１１にて撮影した画像の中から道路の領域を検出する。赤外線カメラ１１の取付方向から画像内において道路が映るおおよその領域が分かっているので、道路と道路以外との領域の境界線をエッジ検出等によって求めることにより、道路領域を検出できる。
【００３１】
人物検出部１８は、赤外線カメラ１１で撮影した画像の中から所定の大きさ以上の熱源を検出することにより、画像から人物を検出する。ここで、検出した領域を「人物領域」という。所定の大きさは、例えば、現実の座標系に換算したときの高さが１５０ｃｍである。このように所定の大きさ以上の熱源を検出することにより、精度良く人物を検出することができる。
【００３２】
集音方向決定部１９は、道路領域検出部１７にて求めた道路を除く領域に存在する人物領域に基づいて、集音すべきターゲット領域を求め、ターゲット領域の方向を集音方向として決定する。
【００３３】
図４は、人物領域に基づいてターゲット領域を求める例を示す図である。集音方向決定部１９は、人物領域を取り囲む所定範囲の領域をターゲット領域として決定する。ここで所定範囲は、図４に示すように楕円であってもよいし、矩形であってもよい。隣接する人物領域との間でターゲット領域が重なり合う場合には、重なり合った複数のターゲット領域を結合して一つのターゲット領域として扱う。
【００３４】
指向性マイク制御部２０は、指向性マイク１２の集音方向および感度を制御する。指向性マイク制御部２０は、上記した集音方向決定部１９にて決定された方向にマイクの集音方向を向ける。制御部１４は、位置データ取得部２１にて車両の現在位置のデータを位置検出部３０から取得する。指向性マイク制御部２０は、取得した位置データに対応する地域の分類データを道路地図ＤＢ１５から読み出し、読み出した地域の分類に対応するマイク感度のデータをマイク感度テーブル１６から読み出す。指向性マイク制御部２０は、読み出したマイク感度になるように、指向性マイク１２の感度を制御する。また、指向性マイク制御部２０は、ターゲット領域の大きさやターゲット領域までの距離に応じて、指向性マイク１２の指向角度を制御してもよい。
【００３５】
車外音出力部２２は、指向性マイク１２にて集音した車外音をスピーカ１３から出力する機能を有する。車速データ取得部２３は、車両に取り付けられた速度センサ３１から車両の走行速度のデータを取得する。制御部１４は、車速が所定の閾値以上になったときには、車外音の提供を行わないように制御する。
【００３６】
図５は、図１に示す車外音提供装置１０のハードウエア構成を示す図である。車外音提供装置１０は、ＣＰＵ４０と、メモリ４１と、赤外線カメラ４２と、指向性マイク４３と、ハードディスク４４と、スピーカ４５と、通信インターフェース４６とを有しており、これらの構成がデータバス４７によって接続されている。メモリ４１には、図１にて説明した制御部１４の機能を実現するためのプログラム４８が記憶されている。ＣＰＵ４０が、メモリ４１に記憶されたプログラム４８を読み出して実行することにより、図１に示す制御部１４の各機能が実現され、後述する動作が実行される。このようなプログラム４８も、本発明の範囲に含まれる。
【００３７】
ハードディスク４４には、図１に示す道路地図ＤＢ１５およびマイク感度テーブル１６が記憶される。通信インターフェース４６は、車両に搭載された各種センサや他の機器と通信を行うためのインターフェースである。例えば、通信インターフェース４６は、位置検出部３０から現在位置のデータを受信したり、速度センサ３１から車速のデータを受信したりする。
【００３８】
図６は、第１の実施の形態の車外音提供装置１０の動作を示す図である。車外音提供装置１０は、図６に示すフローを繰り返し実行することにより、車外に人物が検出された場合に、その人物が聞いている音やその人物の会話等を車内に提供する。
【００３９】
車外音提供装置１０は、まず、速度センサ３１から車両の速度データを受信し、車両速度が所定の閾値以下になったか否かを判定する（Ｓ１０）。車両速度が所定の閾値以下になっていない場合には（Ｓ１０でＮＯ）、車両速度が所定の閾値になるまでこの処理を繰り返し行う。
【００４０】
車両速度が所定の閾値以下である場合には（Ｓ１０でＹＥＳ）、車外音を車内に提供する処理を開始する。まず、車外音提供装置１０は、赤外線カメラ１１によって車両の周辺を撮影する（Ｓ１２）。車外音提供装置１０は、撮影した画像内に一定以上の大きさを有する熱源領域の検出処理を行い（Ｓ１４）、このような熱源が検出されたか否かを判定する（Ｓ１６）。車外音提供装置１０は、ここで検出される一定以上の熱源は、人物として取り扱う。すなわち、画像内において検出された熱源の領域が「人物領域」である。
【００４１】
車外音提供装置１０は、一定以上の大きさの熱源が検出されなかった場合には（Ｓ１６でＮＯ）、再び、車速と所定の閾値を比較する処理に戻る（Ｓ１０）。一定以上の大きさの熱源が検出された場合には（Ｓ１６でＹＥＳ）、車外音提供装置１０は、集音方向の決定処理を行う（Ｓ１８）。
【００４２】
図７は、集音方向の決定処理の動作を示す図である。車外音提供装置１０は、赤外線カメラ１１にて撮影した画像から道路領域を検出する（Ｓ３０）。次に、人物領域が道路領域以外の領域に存在するか否かを判定する（Ｓ３２）。人物領域が道路領域以外の領域に存在する場合には（Ｓ３２でＹＥＳ）、当該人物領域に基づいてターゲット領域を求める。ここでは、人物領域を取り囲む所定の領域をターゲット領域として求め、追加する（Ｓ３４）。隣接するターゲット領域が重なった場合には、１つのターゲット領域として取り扱う。人物領域が道路領域内に存在する場合には（Ｓ３２でＮＯ）、当該人物領域に基づくターゲット領域を求めないで、次の人物領域について、道路領域内に存在するか否かの判定を行う（Ｓ３２）。すべての人物領域について、上記処理（Ｓ３２、Ｓ３４）を繰り返し行う。
【００４３】
すべての人物領域に基づいてターゲット領域を求める処理を行った後、車外音提供装置１０は、ターゲット領域に基づいて集音方向を決定する（Ｓ３６）。具体的には、車外音提供装置１０は、ターゲット領域を集音範囲に含むように集音方向を決定する。
【００４４】
図６を参照して、集音方向を決定した後の車外音提供装置１０の動作について説明する。車外音提供装置１０は、車両の現在位置のデータを位置検出部３０から受信し、現在位置の地域分類データを道路地図ＤＢ１５から読み出す。続いて、車外音提供装置１０は、地域分類データに対応するマイク感度のデータをマイク感度テーブル１６から読み出し、指向性マイク１２の感度を決定する（Ｓ２０）。ここまでの処理により、指向性マイク１２の集音方向および感度が決定される。次に、車外音提供装置１０の指向性マイク制御部２０は、決定された集音方向に指向性マイク１２を向け、決定されたマイク感度で集音する（Ｓ２２）。続いて、車外音提供装置１０は、指向性マイク１２にて集音した音をスピーカ１３から車内に出力する（Ｓ２４）。
【００４５】
以上、本発明の第１の実施の形態の車外音提供装置１０の構成および動作について説明した。第１の実施の形態の車外音提供装置１０は、道路以外の領域にある人物領域に基づいてターゲット領域を求め、ターゲット領域から集音できるように集音方向を決定している。これにより、道路以外の領域にいる人物が聞いている音やその人の会話を車内に提供することができ、車外と車内の一体感を実現することができる。また、道路以外の領域から集音しているため、道路上にある他の車両等の耳障りな音が取り込まれにくい。
【００４６】
また、第１の実施の形態の車外音提供装置１０は、車速が所定の閾値以上の場合には、車外音を提供しないので、車速が大きい場合には、運転に集中できる環境を作ることができる。
【００４７】
また、第１の実施の形態の車外音提供装置１０は、車両の現在位置の地域に対応する感度で指向性マイク１２による集音を行うので、例えば、閑静な住宅街ではマイクの感度を落としてプライベートな会話まで集音してしまわないように制御でき、プライバシーに配慮した態様で集音を行うことができる。
【００４８】
なお、本実施の形態では地域の分類に応じて、指向性マイク１２の感度を変える例について説明したが、道路の種別に応じて車外音の提供を行うか否かを変えることとしてもよい。この場合、道路の種別と車外音提供の可否とを関係付けたテーブルを準備しておく。位置データ取得部２１にて取得した現在位置から車両が走行している道路種別を求め、道路種別に対応する車外音提供の可否のデータをテーブルから読み出す。車外音提供装置１０は、テーブルから読み出したデータに基づいて車外音の提供可否を決定することができる。例えば、道路種別が高速道路の場合には車外音を提供しない等の処理を行うことができる。
【００４９】
本実施の形態では、地域の分類に応じて感度を変える例について説明したが、ターゲット領域に含まれる人物の数に応じて感度を変更することとしてもよい。例えば、ターゲット領域内の人数が所定数（例えば、３人）以下の場合には、プライベートな会話をしている可能性があるので、指向性マイク１２の感度を下げることとしてもよい。
【００５０】
また、本実施の形態において、車両の最も近くにある人物領域に基づいてターゲット領域を求めてもよい。これにより、自車両に対して話しかけている人の発話内容を車内に伝えることができる。
【００５１】
また、道路以外の領域にあるすべての人物領域をターゲット領域とするのではなく、例えば、人物領域内にいる人物が移動している場合や、単独の場合には、そのような人物領域に基づいてターゲット領域を求めないこととしてもよい。移動中の人物や単独の人物は話しをしていない可能性があり、指向性マイク１２を使って集音する処理が無駄になってしまうおそれがあるので、その時間を他の人物領域からの集音に充てた方が効率良く車外音を取得できる可能性が高まる。
【００５２】
（第２の実施の形態）
次に、本発明の第２の実施の形態の車外音提供装置１０について説明する。第２の実施の形態の車外音提供装置１０の基本的な構成は第１の実施の形態と同じであるが（図１参照）、第２の実施の形態の車外音提供装置１０は、集音方向の決定の仕方が第１の実施の形態と異なる。
【００５３】
図８は、第２の実施の形態における集音方向の決定の仕方を説明するための図である。図８に示す例では、車両の周辺の４つの場所Ａ１〜Ａ４で人物が検出されている。これらの４つの人物領域は、いずれも道路以外の領域に存在している。第２の実施の形態では、車外音提供装置１０は、道路以外の領域に存在している人物領域のうち、対向車線を挟んで反対側にある人物領域に基づくターゲット領域を求めない。図８に示す例では、人物領域Ａ３，Ａ４に基づくターゲット領域は求めず、人物領域Ａ１，Ａ２に基づくターゲット領域を求める。そして、車外音提供装置１０は、ターゲット領域の方向を集音方向として決定する。
【００５４】
図９は、第２の実施の形態の車外音提供装置１０の集音方向決定処理を示す図である。車外音提供装置１０は、赤外線カメラ１１にて撮影した画像から道路領域を検出する（Ｓ３０）。次に、人物領域が道路領域以外の領域に存在するか否かを判定する（Ｓ３２）。人物領域が道路領域以外の領域に存在する場合には（Ｓ３２でＹＥＳ）、当該人物領域が対向車線を挟んで反対側にあるか否かを判定する（Ｓ３３）。対向車線を挟んで反対側ではないと判定された場合には（Ｓ３３でＮＯ）、当該人物領域に基づくターゲット領域を追加する（Ｓ３４）。人物領域が道路領域内に存在する場合（Ｓ３２でＮＯ）または人物領域が対向車線を挟んで反対側にある場合には（Ｓ３３でＹＥＳ）、当該人物領域に基づくターゲット領域を求めないで、次の人物領域について、道路領域内に存在するか否かの判定を行う（Ｓ３２）。すべての人物領域について、上記処理（Ｓ３２、Ｓ３３、Ｓ３４）を繰り返し行う。
【００５５】
すべての人物領域に基づいてターゲット領域を求める処理を行った後、車外音提供装置１０は、ターゲット領域に基づいて集音方向を決定する（Ｓ３６）。具体的には、車外音提供装置１０は、ターゲット領域を集音範囲に含むように集音方向を決定する。
【００５６】
第２の実施の形態の車外音提供装置１０は、対向車線を挟んだ側にある領域を集音方向から除外するので、ターゲット領域から集音する際に対向車の音を集音することがなく、集音ノイズを低減できる。
【００５７】
（第３の実施の形態）
次に、本発明の第３の実施の形態の車外音提供装置１０ａについて説明する。第３の実施の形態の車外音提供装置１０ａの基本的な構成は第１の実施の形態と同じであるが（図１参照）、第３の実施の形態の車外音提供装置１０ａは、集音方向の決定の仕方が第１の実施の形態と異なる。
【００５８】
図１０は、第３の実施の形態の車外音提供装置１０ａの構成を示す図である。第３の実施の形態の車外音提供装置１０ａの基本的な構成は第１の実施の形態と同じであるが、道路地図ＤＢ１５ａに記憶されたデータが異なり、また、集音方向決定部１９ａの処理が異なる。道路地図ＤＢ１５ａには、第１の実施の形態で説明した地域の分類データに加え、ＰＯＩのデータが記憶されている。
【００５９】
図１１は、道路地図ＤＢ１５ａに記憶されたＰＯＩのデータの例を示す図である。図１１では、ＰＯＩを含む地図を図示しているが、実際のデータベースでは、ＰＯＩの位置を示すデータ、ＰＯＩの属性等が関連付けて記憶されている。この道路地図ＤＢ１５ａにより、どの場所に何の施設があるかを把握することができる。
【００６０】
図１２は、第３の実施の形態における集音方向の決定処理を示す図である。車外音提供装置１０ａは、赤外線カメラ１１にて撮影した画像から道路領域を検出する（Ｓ３０）。次に、人物領域が道路領域以外の領域に存在するか否かを判定する（Ｓ３２）。人物領域が道路領域以外の領域に存在する場合には（Ｓ３２でＹＥＳ）、当該人物領域が施設から所定の範囲内にあるか否かを判定する（Ｓ３３ａ）。人物領域が所定の範囲内にあると判定された場合には（Ｓ３３ａでＹＥＳ）、当該人物領域に基づくターゲット領域を追加する（Ｓ３４）。人物領域が道路領域に存在する場合（Ｓ３２でＮＯ）または人物領域が施設の所定の範囲内にない場合には（Ｓ３３ａでＮＯ）、当該人物領域に基づくターゲット領域を求めないで、次の人物領域について、道路領域内に存在するかを判定する処理を行う（Ｓ３２）。すべての人物領域について、上記処理（Ｓ３２、Ｓ３３ａ、Ｓ３４）を繰り返し行う。
【００６１】
すべての人物領域に基づいてターゲット領域を求める処理を行った後、車外音提供装置１０ａは、ターゲット領域に基づいて集音方向を決定する（Ｓ３６）。具体的には、車外音提供装置１０ａは、ターゲット領域を集音範囲に含むように集音方向を決定する。
【００６２】
第３の実施の形態の車外音提供装置１０ａは、施設から所定の範囲内にある人物領域をターゲット領域として集音方向を決定するので、イベントやアクティビティに関する音を取得できる可能性が高まり、ドライブのクオリティを向上できる。
【００６３】
なお、本実施の形態では、道路地図ＤＢ１５に記憶されている施設のデータをそのまま用いる例について説明したが、乗員の嗜好等に合わせて集音を行う施設の属性等を指定してもよい。例えば、食べ歩きが好きな乗員の場合には、レストランの属性を指定することにより、レストランの周辺の人物領域から集音を行うことができ、乗員の好みにあった音声を取得できる。
【００６４】
（第４の実施の形態）
次に、第４の実施の形態の車外音提供装置１０について説明する。第４の実施の形態の車外音提供装置１０の基本的な構成は、第１の実施の形態と同じである。上記した実施の形態では、人物領域をターゲット領域として集音を行っているが、第４の実施の形態では、人物領域以外の領域をターゲット領域として集音を行う点が異なる。これにより、人の話し声に邪魔されずに、道路脇の自然の音（川のせせらぎ、海の音、虫の声等）を楽しむことができる。
【００６５】
図１３は、第４の実施の形態の車外音提供装置１０による集音方向決定処理を示す図である。車外音提供装置１０は、赤外線カメラ１１にて撮影した画像から道路領域を検出する（Ｓ４０）。次に、車外音提供装置１０は、人物領域の方向を集音しない方向（これを「非集音方向」という）として追加していく（Ｓ４２）。すべての人物領域について非集音方向を求める。次に、車外音提供装置１０は、道路領域以外の領域の存在する方向から、非集音方向を除外していき、残った方向を集音方向として決定する（Ｓ４４）。
【００６６】
（第５の実施の形態）
図１４は、本発明の第５の実施の形態の車外音提供装置１０ｂの構成を示す図である。第５の実施の形態の車外音提供装置１０ｂは、第１の実施の形態の車外音提供装置１０の構成に加え、社外音を提供するタイミングを決定するための提供タイミング決定部２５と、音データを記憶しておく音データ記憶部２６を備えている。また、第５の実施の形態の車外音提供装置１０ｂでは、車速データのみならず、シフト位置のデータを受信する車両状態データ取得部２４を有している。車両状態データ取得部２４は、車両に取り付けられた速度センサ３１およびシフトセンサ３２と接続されている。
【００６７】
第５の実施の形態の車外音提供装置１０ｂは、指向性マイク１２にて取得した車外音を音データ記憶部２６に記憶する。提供タイミング決定部２５は、車両状態データ取得部２４にて取得した車両状態に基づいて、車外音を提供してよいか否かを判定し、提供してよいタイミングを決定する。車外音出力部２２は、提供タイミング決定部２５にて車外音を提供してよいタイミングであると決定されたときに、音データ記憶部２６から音データを読み出し、スピーカ１３から出力する。
【００６８】
図１５は、第５の実施の形態の車外音提供装置１０ｂの動作を示す図である。第５の実施の形態の車外音提供装置１０ｂが車外音を集音する処理までは（Ｓ１０〜Ｓ２２）、第１の実施の形態と同じである。第５の実施の形態の車外音提供装置１０ｂは、集音した車外音をいったん音データ記憶部２６に記憶する（Ｓ５０）。
【００６９】
次に、車外音提供装置１０ｂは、車両状態データ取得部２４にて、車両の速度データ、シフト位置のデータを取得し、車両状態に基づいて、車外音の提供が可能か否かを判定する（Ｓ５２）。具体的には、車両が加減速を行っているとき、あるいは、シフト位置が「後進（バック）」にあるときには車外音の提供ができないと判定する。車外音の提供が可能ではないと判定された場合には（Ｓ５２でＮＯ）、車両速度と所定の閾値とを判定する処理（Ｓ１０）に戻り、引き続き車外音を集音する。
【００７０】
車外音の提供が可能であると判定された場合には（Ｓ５２でＹＥＳ）、車外音提供装置１０ｂは、音データ記憶部２６から車外音のデータを読み出し、読み出したデータをアナログ信号に変換し（Ｓ５４）、スピーカ１３から車外音を出力する（Ｓ５６）。
【００７１】
第５の実施の形態によれば、車両の状態に応じて車外音を提供してよいか否かを判定しているので、運転の妨げになるようなタイミングで車外音を出力しないようにでき、安全性を確保することができる。
【００７２】
上記した実施の形態において、車外音を提供できないときに集音した車外音については、廃棄することとしてもよいし、提供できるタイミングになったときに提供することとしてもよい。提供できるタイミングに、後から車外音を提供する場合には、集音した車外音に含まれる無音期間をカットするなどして、遅延した時間を短縮してもよい。
【００７３】
上記した実施の形態では、車両状態として車両が加減速しているか、またはバックしているかを判断しているが、これは一例であり、他に様々な車両状態を提供可否の判定に用いることができる。例えば、ウィンカーの状態に基づいて、車両が右左折しようとしていることや、車両が車線変更しようとしていることを検知した場合には、車外音を提供しないこととしてもよい。また、ワイパーの状態に基づいて、雨が降っていると判断される場合には車外音を提供しないこととしてもよい。また、ライトの点灯状態に基づいて、ライトが点灯している場合には周囲が暗いと判断して、車外音を提供しないこととしてもよい。
【００７４】
（第６の実施の形態）
図１６は、第６の実施の形態の車外音提供装置１０の構成を示す図である。第６の実施の形態の車外音提供装置１０の基本的な構成は、第１の実施の形態と同じであるが、第６の実施の形態では、指向性マイク１２で集音した音を記憶する音データ記憶部２６と、複数の方向から取得した車外音のうち、どの車外音を出力するかを決定する出力音決定部２７を備えている。出力音決定部２７は、同時期に取得した複数の車外音の中から、音量の最も大きい車外音を車内に出力すべき車外音として決定する。
【００７５】
図１７は、第６の実施の形態の車外音提供装置１０の動作を示す図である。第６の実施の形態の車外音提供装置１０が車外音を集音する処理までは（Ｓ１０〜Ｓ２２）、第１の実施の形態と同じである。第６の実施の形態の車外音提供装置１０は、集音した車外音をいったん音データ記憶部２６に記憶する（Ｓ５０）。
【００７６】
第６の実施の形態の車外音提供装置１０は、音データ記憶部２６に、複数の集音方向からの音データがあるか否かを判定する（Ｓ６０）。複数の集音方向からの音データがない場合には（Ｓ６０でＮＯ）、音データ記憶部２６から車外音のデータを読み出し、読み出したデータをアナログ信号に変換し（Ｓ６４）、スピーカ１３から車外音を出力する（Ｓ６６）。
【００７７】
複数の集音方向からの音データがある場合には（Ｓ６０でＹＥＳ）、車外音提供装置１０は、どの方向から集音した音を出力するかを、その音量に基づいて決定する（Ｓ６２）。そして、決定された方向から集音した音データを、音データ記憶部２６から読み出し、読み出したデータをアナログ信号に変換し（Ｓ６４）、スピーカ１３から車外音を出力する（Ｓ６６）。
【００７８】
第６の実施の形態の車外音提供装置１０は、複数の方向から集音した車外音のうち、音量が最大の車外音を提供するので、乗員にとって価値が高い可能性の高い音を優先して提供することができる。
【００７９】
なお、第６の実施の形態の車外音提供装置１０は、音量に基づいて音を選択する例について説明したが、周波数に基づいて音を選択することとしてもよい。例えば、人間の声の周波数成分を最も多く含む音データを選択して出力することとしてもよい。
【００８０】
以上、本発明の車外音提供装置１０の構成について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
【００８１】
上記した実施の形態では、赤外線カメラ１１を用いているが、本発明で用いるカメラは必ずしも赤外線カメラ１１でなくてもよく、通常のカメラを用いてもよい。
【００８２】
上記した第６の実施の形態では、複数の方向から集音を行ったときに出力すべき車外音を選択する例について説明しているが、複数の指向性マイクで集音した車外音をすべて提供することとしてもよい。この場合、サラウンディングシステムを用いて、集音した各音を集音した方向から出力する。これにより、車外で聞こえる音を適切に再現することができる。
【００８３】
上記した実施の形態において、車外音を集音している最中に、車外音を集音中であることのサインを表示するようにしてもよい。このように車外にいる人物に注意を喚起することにより、普通に人が歩いているときに耳に入ってくる程度の会話しか集音しないようにでき、プライバシーに関わる会話を集音しないようにすることができる。
【産業上の利用可能性】
【００８４】
本発明は、車外で行われているアクティビティやイベント等の音を車内に提供し、ドライブのクオリティを高めることができるという効果を有し、車両に搭載して用いられる装置として有用である。
【符号の説明】
【００８５】
１０ 車外音提供装置
１１ 赤外線カメラ
１２ 指向性マイク
１３ スピーカ
１４ 制御部
１５，１５ａ 道路地図データベース
１６ マイク感度テーブル
１７ 道路領域検出部
１８ 人物検出部
１９，１９ａ 集音方向決定部
２０ 指向性マイク制御部
２１ 位置データ取得部
２２ 車外音出力部
２３ 車速データ取得部
２４ 車両状態データ取得部
２５ 提供タイミング決定部
２６ 音データ記憶部
２７ 出力音決定部
３０ 位置検出部
３１ 速度センサ
３２ シフトセンサ
【特許請求の範囲】
【請求項１】
車外を撮影するカメラと、
車外にいる人物を検出する人物検出部と、
車外の音を集音する指向性マイクと、
前記カメラにて撮影した画像から道路以外の領域を検出し、道路以外の領域の中から、前記人物検出部による検出結果に基づいて集音すべきターゲット領域を求め、当該ターゲット領域の方向を集音方向として決定する集音方向決定部と、
前記集音方向に指向性マイクを向ける指向性マイク制御部と、
前記指向性マイクにて集音した音を車内に出力するスピーカと、
を備える車外音提供装置。
【請求項２】
前記カメラは赤外線カメラであり、前記人物検出部は前記赤外線カメラにて撮影された画像から所定の大きさ以上の熱源を人物として検出する請求項１に記載の車外音提供装置。
【請求項３】
車両の速度を検出する速度センサから車両速度のデータを取得する車速データ取得部を備え、
車速が所定の閾値以上の場合には、車外音を提供しない請求項１または２に記載の車外音提供装置。
【請求項４】
前記集音方向決定部は、道路以外にある領域の中で、前記人物検出部により検出された人物領域を含む前記ターゲット領域を求める請求項１〜３のいずれかに記載の車外音提供装置。
【請求項５】
前記集音方向決定部は、検出した人物が移動している場合には、その人物領域をターゲット領域に含めない請求項４に記載の車外音提供装置。
【請求項６】
前記集音方向決定部は、検出した人物が単独である場合には、その人物領域をターゲット領域に含めない請求項４に記載の車外音提供装置。
【請求項７】
車両の現在位置のデータを取得する位置データ取得部と、
施設のデータを含む道路地図を記憶した道路地図データベースと、
を備え、
前記集音方向決定部は、前記位置データ取得部にて取得した車両の現在位置と前記道路地図データベースに記憶されたデータに基づいて、前記人物領域が施設を含む所定の範囲内にあるか否かを判定し、前記人物領域が前記所定の範囲内にない場合には、その人物領域をターゲット領域に含めない請求項４に記載の車外音提供装置。
【請求項８】
前記集音方向決定部は、車両から所定の距離内にある人物領域に基づいてターゲット領域を求める請求項４に記載の車外音提供装置。
【請求項９】
前記指向性マイク制御部は、前記ターゲット領域内にいる人数が所定の閾値以下である場合には、前記指向性マイクの感度を下げる請求項４〜８のいずれかに記載の車外音提供装置。
【請求項１０】
車両の現在位置のデータを取得する位置データ取得部と、
地域の分類を示すデータを含む道路地図を記憶した道路地図データベースと、
地域の分類と指向性マイクの感度とを関連付けて記憶したマイク感度テーブルと、
を備え、
前記指向性マイク制御部は、前記位置データ取得部にて取得した車両の現在位置に対応する地域の分類を前記道路地図データベースから読み出し、読み出した地域の分類に対応する指向性マイクの感度を前記マイク感度テーブルから読み出し、読み出した感度にて集音を行うように前記指向性マイクを制御する請求項１〜９のいずれかに記載の車外音提供装置。
【請求項１１】
車両の現在位置のデータを取得する位置データ取得部と、
道路の種別を示すデータを含む道路地図を記憶した道路地図データベースと、
道路の種別と車外音の提供を行うか否かのデータを関連付けて記憶した提供可否テーブルと、
を備え、
前記位置データ取得部にて取得した車両の現在位置に対応する道路の種別を前記道路地図データベースから読み出し、読み出した道路の種別と前記提供可否テーブルに記憶されたデータとに基づいて、車外音の提供を行うか否かを決定する請求項１〜１０のいずれかに記載の車外音提供装置。
【請求項１２】
前記集音方向決定部は、対向車線を挟んで自車両と反対側の領域にある人物領域をターゲット領域に含めない請求項１〜１１のいずれかに記載の車外音提供装置。
【請求項１３】
前記集音方向決定部は、道路以外の領域の中で、前記人物検出部により人物が検出されなかった方向を集音方向として求める請求項１〜３のいずれかに記載の車外音提供装置。
【請求項１４】
人物のいる方向を集音方向とするか、人物のいない方向を集音方向とするかの選択を受け付ける入力部を備え、
前記集音方向決定部は、前記選択に応じて、人物が検出された方向または人物が検出されなかった方向を集音方向として決定する請求項１〜３のいずれかに記載の車外音提供装置。
【請求項１５】
車両の状態を示すデータを取得する車両状態データ取得部と、
前記車両状態データ取得部にて取得した車両の状態のデータに基づいて、前記スピーカから車外音を出力するタイミングを決定する提供タイミング決定部と、
を備える請求項１〜１４のいずれかに記載の車外音提供装置。
【請求項１６】
前記車両状態データ取得部は、車両の速度を検出する速度センサから車速データを取得し、
前記提供タイミング決定部は、車両が加減速しているときには、車外音を出力しないことを決定する請求項１５に記載の車外音提供装置。
【請求項１７】
前記車両状態データ取得部は、シフト位置を検出するシフトセンサからシフト位置を示すデータを取得し、
前記提供タイミング決定部は、シフトが「後進」の位置にあるときには、車外音を出力しないことを決定する請求項１５に記載の車外音提供装置。
【請求項１８】
前記指向性マイクが複数の集音方向から集音した場合に、集音した音の大きさに基づいて、車内に提供する音を選択する請求項１〜１７のいずれかに記載の車外音提供装置。
【請求項１９】
前記指向性マイクが複数の集音方向から集音した場合に、集音した音の周波数に基づいて、車内に提供する音を選択する請求項１〜１７のいずれかに記載の車外音提供装置。
【請求項２０】
車外の音を車内に提供する方法であって、
車外音提供装置が、カメラにて撮影された車外の画像を取得するステップと、
前記車外音提供装置が、人物検出部にて検出された車外にいる人物のデータを取得するステップと、
前記車外音提供装置が、前記カメラにて撮影された画像から道路以外の領域を検出し、道路以外の領域の中から、前記人物検出部による検出結果に基づいて集音すべきターゲット領域を求め、当該ターゲット領域の方向を集音方向として決定するステップと、
前記車外音提供装置が、指向性マイクにて前記集音方向から集音するステップと、
前記車外音提供装置が、指向性マイクにて集音した音をスピーカにて車内に出力するステップと、
を備える車外音提供方法。
【請求項２１】
車外の音を車内に提供するためのプログラムであって、車外を撮影するカメラと、車外の音を集音する指向性マイクと、車内に音声を出力するスピーカとが接続されたコンピュータに、
前記カメラにて撮影された車外の画像を取得するステップと、
前記車外の画像から車外にいる人物を検出するステップと、
前記カメラにて撮影された画像から道路以外の領域を検出し、道路以外の領域の中から、前記人物の検出結果に基づいて集音すべきターゲット領域を求め、当該ターゲット領域の方向を集音方向として決定するステップと、
前記指向性マイクにて前記集音方向から集音するステップと、
前記指向性マイクにて集音した音をスピーカにて車内に出力するステップと、
を実行させるプログラム。
【請求項１】
車外を撮影するカメラと、
車外にいる人物を検出する人物検出部と、
車外の音を集音する指向性マイクと、
前記カメラにて撮影した画像から道路以外の領域を検出し、道路以外の領域の中から、前記人物検出部による検出結果に基づいて集音すべきターゲット領域を求め、当該ターゲット領域の方向を集音方向として決定する集音方向決定部と、
前記集音方向に指向性マイクを向ける指向性マイク制御部と、
前記指向性マイクにて集音した音を車内に出力するスピーカと、
を備える車外音提供装置。
【請求項２】
前記カメラは赤外線カメラであり、前記人物検出部は前記赤外線カメラにて撮影された画像から所定の大きさ以上の熱源を人物として検出する請求項１に記載の車外音提供装置。
【請求項３】
車両の速度を検出する速度センサから車両速度のデータを取得する車速データ取得部を備え、
車速が所定の閾値以上の場合には、車外音を提供しない請求項１または２に記載の車外音提供装置。
【請求項４】
前記集音方向決定部は、道路以外にある領域の中で、前記人物検出部により検出された人物領域を含む前記ターゲット領域を求める請求項１〜３のいずれかに記載の車外音提供装置。
【請求項５】
前記集音方向決定部は、検出した人物が移動している場合には、その人物領域をターゲット領域に含めない請求項４に記載の車外音提供装置。
【請求項６】
前記集音方向決定部は、検出した人物が単独である場合には、その人物領域をターゲット領域に含めない請求項４に記載の車外音提供装置。
【請求項７】
車両の現在位置のデータを取得する位置データ取得部と、
施設のデータを含む道路地図を記憶した道路地図データベースと、
を備え、
前記集音方向決定部は、前記位置データ取得部にて取得した車両の現在位置と前記道路地図データベースに記憶されたデータに基づいて、前記人物領域が施設を含む所定の範囲内にあるか否かを判定し、前記人物領域が前記所定の範囲内にない場合には、その人物領域をターゲット領域に含めない請求項４に記載の車外音提供装置。
【請求項８】
前記集音方向決定部は、車両から所定の距離内にある人物領域に基づいてターゲット領域を求める請求項４に記載の車外音提供装置。
【請求項９】
前記指向性マイク制御部は、前記ターゲット領域内にいる人数が所定の閾値以下である場合には、前記指向性マイクの感度を下げる請求項４〜８のいずれかに記載の車外音提供装置。
【請求項１０】
車両の現在位置のデータを取得する位置データ取得部と、
地域の分類を示すデータを含む道路地図を記憶した道路地図データベースと、
地域の分類と指向性マイクの感度とを関連付けて記憶したマイク感度テーブルと、
を備え、
前記指向性マイク制御部は、前記位置データ取得部にて取得した車両の現在位置に対応する地域の分類を前記道路地図データベースから読み出し、読み出した地域の分類に対応する指向性マイクの感度を前記マイク感度テーブルから読み出し、読み出した感度にて集音を行うように前記指向性マイクを制御する請求項１〜９のいずれかに記載の車外音提供装置。
【請求項１１】
車両の現在位置のデータを取得する位置データ取得部と、
道路の種別を示すデータを含む道路地図を記憶した道路地図データベースと、
道路の種別と車外音の提供を行うか否かのデータを関連付けて記憶した提供可否テーブルと、
を備え、
前記位置データ取得部にて取得した車両の現在位置に対応する道路の種別を前記道路地図データベースから読み出し、読み出した道路の種別と前記提供可否テーブルに記憶されたデータとに基づいて、車外音の提供を行うか否かを決定する請求項１〜１０のいずれかに記載の車外音提供装置。
【請求項１２】
前記集音方向決定部は、対向車線を挟んで自車両と反対側の領域にある人物領域をターゲット領域に含めない請求項１〜１１のいずれかに記載の車外音提供装置。
【請求項１３】
前記集音方向決定部は、道路以外の領域の中で、前記人物検出部により人物が検出されなかった方向を集音方向として求める請求項１〜３のいずれかに記載の車外音提供装置。
【請求項１４】
人物のいる方向を集音方向とするか、人物のいない方向を集音方向とするかの選択を受け付ける入力部を備え、
前記集音方向決定部は、前記選択に応じて、人物が検出された方向または人物が検出されなかった方向を集音方向として決定する請求項１〜３のいずれかに記載の車外音提供装置。
【請求項１５】
車両の状態を示すデータを取得する車両状態データ取得部と、
前記車両状態データ取得部にて取得した車両の状態のデータに基づいて、前記スピーカから車外音を出力するタイミングを決定する提供タイミング決定部と、
を備える請求項１〜１４のいずれかに記載の車外音提供装置。
【請求項１６】
前記車両状態データ取得部は、車両の速度を検出する速度センサから車速データを取得し、
前記提供タイミング決定部は、車両が加減速しているときには、車外音を出力しないことを決定する請求項１５に記載の車外音提供装置。
【請求項１７】
前記車両状態データ取得部は、シフト位置を検出するシフトセンサからシフト位置を示すデータを取得し、
前記提供タイミング決定部は、シフトが「後進」の位置にあるときには、車外音を出力しないことを決定する請求項１５に記載の車外音提供装置。
【請求項１８】
前記指向性マイクが複数の集音方向から集音した場合に、集音した音の大きさに基づいて、車内に提供する音を選択する請求項１〜１７のいずれかに記載の車外音提供装置。
【請求項１９】
前記指向性マイクが複数の集音方向から集音した場合に、集音した音の周波数に基づいて、車内に提供する音を選択する請求項１〜１７のいずれかに記載の車外音提供装置。
【請求項２０】
車外の音を車内に提供する方法であって、
車外音提供装置が、カメラにて撮影された車外の画像を取得するステップと、
前記車外音提供装置が、人物検出部にて検出された車外にいる人物のデータを取得するステップと、
前記車外音提供装置が、前記カメラにて撮影された画像から道路以外の領域を検出し、道路以外の領域の中から、前記人物検出部による検出結果に基づいて集音すべきターゲット領域を求め、当該ターゲット領域の方向を集音方向として決定するステップと、
前記車外音提供装置が、指向性マイクにて前記集音方向から集音するステップと、
前記車外音提供装置が、指向性マイクにて集音した音をスピーカにて車内に出力するステップと、
を備える車外音提供方法。
【請求項２１】
車外の音を車内に提供するためのプログラムであって、車外を撮影するカメラと、車外の音を集音する指向性マイクと、車内に音声を出力するスピーカとが接続されたコンピュータに、
前記カメラにて撮影された車外の画像を取得するステップと、
前記車外の画像から車外にいる人物を検出するステップと、
前記カメラにて撮影された画像から道路以外の領域を検出し、道路以外の領域の中から、前記人物の検出結果に基づいて集音すべきターゲット領域を求め、当該ターゲット領域の方向を集音方向として決定するステップと、
前記指向性マイクにて前記集音方向から集音するステップと、
前記指向性マイクにて集音した音をスピーカにて車内に出力するステップと、
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−２０１４０６（Ｐ２０１１−２０１４０６Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−７０２５４（Ｐ２０１０−７０２５４）
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【Ｆターム（参考）】
[ Back to top ]