環境情報伝達装置
【課題】 障害物等の物体を精度良く識別することができる環境情報伝達装置を提供する。
【解決手段】 使用者の周囲の環境情報を複数のスピーカ5〜8から出力する音により伝達する環境情報伝達装置100であって、一対の画像データを撮像するステレオカメラ200と、画像データに含まれる物体の距離情報を算出する距離算出手段14と、画像データにおける距離情報が基準値以下の要注意領域を抽出する領域抽出手段16と、抽出された要注意領域に対応する位置に音像定位するように環境表現音を処理してスピーカ5〜8から出力する音処理手段18とを備える。
【解決手段】 使用者の周囲の環境情報を複数のスピーカ5〜8から出力する音により伝達する環境情報伝達装置100であって、一対の画像データを撮像するステレオカメラ200と、画像データに含まれる物体の距離情報を算出する距離算出手段14と、画像データにおける距離情報が基準値以下の要注意領域を抽出する領域抽出手段16と、抽出された要注意領域に対応する位置に音像定位するように環境表現音を処理してスピーカ5〜8から出力する音処理手段18とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、環境情報伝達装置に関し、より詳しくは、使用者の周囲の環境情報を音により伝達する環境情報伝達装置に関する。
【背景技術】
【0002】
視覚障害者が周囲の環境情報を取得するための装置として、従来から下記のものが存在する。
1.複数の超音波器を設置し、視覚障害者に振動子とイヤホンを使用して障害物を表現する視覚障害者用歩行補助携帯器具(特許文献1)
2.ビデオカメラからの信号を画像処理し、複数設置したアクチュエータを駆動し、障害物の存在を体感的に伝達する視覚障害者歩行用補助具(特許文献2)
3.視覚障害者の補助機能として、映像情報を可聴できる音波に変換する人工視覚装置(特許文献3)
ところが、上記従来の装置は、周囲に障害物が存在するか否か等の大まかな情報は得られるものの、当該障害物の形状や距離などの詳細情報を把握することが困難であるという問題があった。
【0003】
また、特許文献4には、2つのカメラで取得した画像データに基づき対象物までの距離を計測し、距離の大きさに基づいて発生させる音の音量および周波数を決定する景色認識装置が開示されている。この装置によれば、景色全体について水平方向に細長いウインドウを設定し、このウインドウ内で音源を走査させることにより、定位された音源から距離情報に対応した音量および周波数の音情報が出力される。
【0004】
ところが、上記特許文献4に記載された景色認識装置は、対象物までの距離は認識できる一方で、使用者が注意すべき物体を把握することが困難であり、環境情報の伝達が不十分になり易いという問題があった。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2001−33552号公報
【特許文献2】特開2003−79685号公報
【特許文献3】特開2007−175510号公報
【特許文献4】特開2001−84484号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
そこで、本発明は、障害物等の物体を精度良く識別することができる環境情報伝達装置の提供を目的とする。
【課題を解決するための手段】
【0007】
本発明の前記目的は、使用者の周囲の環境情報を複数のスピーカから出力する音により伝達する環境情報伝達装置であって、一対の画像データを撮像するステレオカメラと、前記画像データに含まれる物体の距離情報を算出する距離算出手段と、前記画像データにおける前記距離情報が基準値以下の要注意領域を抽出する領域抽出手段と、抽出された前記要注意領域に対応する位置に音像定位するように環境表現音を処理して前記スピーカから出力する音処理手段とを備える環境情報伝達装置により達成される。
【0008】
この環境情報伝達装置において、前記音処理手段は、前記要注意領域内の単位領域毎の輝度情報に応じて前記環境表現音の周波数が変化するように、音像を定位した位置を移動させることが好ましい。
【0009】
また、前記各スピーカは、両耳の上部および下部にそれぞれ装着可能となるように配置されていることが好ましく、前記音処理手段は、音像を定位した位置を上下方向および左右方向に移動させることが好ましい。
【0010】
また、時間間隔をあけて撮像した複数の前記画像データに基づいて、所定値以上の速度で移動する物体を検出するモーション検出手段を更に備えることが好ましく、前記音処理手段は、前記モーション検出手段の検出に基づき警告音を前記スピーカから出力することが好ましい。
【発明の効果】
【0011】
本発明によれば、障害物等の物体を精度良く識別することができる環境情報伝達装置を提供することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態に係る環境情報伝達装置の概略構成を示す斜視図である。
【図2】図1に示す環境情報伝達装置のブロック図である。
【図3】ステレオカメラが撮像した画像データの一例を示す図である。
【図4】領域抽出部による処理を説明するための模式図である。
【図5】領域抽出部により抽出された画像データの一例を示す図である。
【図6】図5に示す画像データの画像処理後の状態を示す図である。
【図7】変換テーブルの一例を示す図である。
【図8】音像定位の手法を説明するための模式図である。
【図9】音像定位の手法を説明するための模式図である。
【図10】仮想音源の移動を説明するための模式図である。
【図11】モーション検出部による処理の一例を説明するための図である。
【図12】変換テーブルの他の例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、添付図面を参照して説明する。図1は、本発明の一実施形態に係る環境情報伝達装置の概略構成を示す斜視図であり、図2は、図1に示す環境情報伝達装置のブロック図である。図1および図2に示すように、環境情報伝達装置100は、使用者に装着可能な装着具1と、使用者の前方を撮像するように装着具1に固定された2台のカメラ2,3からなるステレオカメラ200と、使用者の耳部9,10に装着可能となるように装着具1に取り付けられた4つのスピーカ5,6,7,8と、ステレオカメラ200が取得した画像データに基づいて各スピーカ5〜8から環境表現音を出力する制御装置4とを備えている。
【0014】
装着具1は、本実施形態では使用者の耳部9,10に装着可能な眼鏡またはサングラスから構成されているが、使用者の頭部や顔部等に安定して装着可能なものであれば特に限定されず、例えばヘッドホンや帽子等であってもよい。2台のカメラ2,3は、例えばCCDカメラであり、光軸が互いに略平行となるように配置され、それぞれ異なる視点から同時に撮像できるように構成されている。また、4つのスピーカ5,6,7,8は、両方の耳部9,10の上部および下部にそれぞれ装着されるように配置されている。
【0015】
制御装置4は、図2に示すように、ステレオカメラ200が撮像した一対の画像データを取得してメモリに記憶する画像取得部12と、一対の画像データに含まれる物体11の距離情報を算出する距離算出部14と、距離情報が基準値以下となる画像データ内の要注意領域を抽出する領域抽出部16と、要注意領域に対応する位置に音像定位するように環境表現音を処理してスピーカ5〜8から出力する音処理部18とを備えている。
【0016】
距離算出部14は、ステレオカメラ200が取得した一方の画像データを基準画像データとし、他方の画像データを参照画像データとして、公知のステレオマッチングの手法により距離情報を取得する。距離情報は、ステレオカメラ200から物体11までの距離に対応しており、画像データを所定の単位領域(例えば、一画素)で細分化し、単位領域毎に取得されてメモリに格納される。すなわち、距離情報は、同一の物体11であっても、物体表面の位置によって変化し得る値である。
【0017】
領域抽出部16は、距離算出部14が取得した距離情報に基づき、予め設定された基準値以下の距離情報に対応する単位領域(例えば、一画素)を判別し、これら単位領域の集合体によって構成される要注意領域を抽出する。単位領域を判別するための基準値は、使用者が用途や環境に応じて適宜増減できるように、ボタン操作等によって調整可能に構成してもよい。
【0018】
音処理部18は、領域抽出部16が抽出した要注意領域を使用者が音で知覚できるように、環境表現音の処理を行う。環境表現音の具体的な処理方法については、後に詳述する。
【0019】
制御装置4は、更に、画像取得部12が取得した画像データの時系列解析を行い、時間間隔をあけて撮像した複数の画像データに基づいて、所定値以上の速度で移動する物体を検出するモーション検出部20を備えている。
【0020】
次に、上記構成を備える環境情報伝達装置100の作動を説明する。環境情報伝達装置100の動作開始と共に、ステレオカメラ200による撮像が開始され、画像取得部12は、所定の時間間隔(例えば、0.2s)で画像データを取得する。距離算出部14は、2台のカメラ2,3が同時に撮像して得られた2つの画像データ(例えば、図3に示す画像データD1,D2)の対象点(例えば、P1,P2)を互いに対応付けし、これによって得られた視差から三角測量等によって、この対象点を含む単位領域の距離情報を算出する。こうして、画像データ上の全ての単位領域について、距離情報が得られる。
【0021】
そして、領域抽出部16は、得られた距離情報を基準値と比較して、基準値以下の距離情報を有する単位領域を判別し、これらの単位領域によって構成される要注意領域を抽出する。例えば、図4に示すように、画像データに2つの物体11a,11bが含まれている場合、ステレオカメラ200からの距離L1が基準値STよりも小さい物体11aが抽出される一方、ステレオカメラ200からの距離L2が基準値STよりも大きい物体11bは抽出されない。こうして、図5に示すように、物体11aに対応する要注意領域Rを含む画像データが抽出される。要注意領域Rの抽出は、例えば図6に示すように、抽出された画像データに対して縦16画素×横32画素程度の減画素処理を行い、要注意領域R内の各画素Piの輝度値を16段階で表す一方、要注意領域R外の有効でない画素については、輝度値を全て0として行うことができる。なお、抽出される要注意領域Rは、図5及び図6に示すように物体全体の場合だけでなく、物体の一部のみの場合もあり得る。
【0022】
音処理部18は、撮像した画像データにおける要注意領域Rの位置情報に基づいて、この要注意領域Rに対応する物体が実際に存在すると想定される位置に音像定位するように、環境表現音を4つのスピーカ5〜8から出力する。環境表現音の周波数は、例えば図7に示すように、輝度値と周波数との関係が予め設定された変換テーブルT1に基づき決定される。すなわち、図7に示す変換テーブルT1によれば、要注意領域Rを構成する画素の輝度値が高くなるほど環境表現音の周波数が高くなり、スピーカ5〜8から高音が出力される。
【0023】
音像定位は、スピーカ5〜8から発生する環境表現音に時間差や振幅差を生じさせて行う。人が認識する音の方向感や距離感は、その音が左右の耳にそれぞれ到達するまでの時間差や振幅(音量)差に基づいて生じることから、各スピーカ5〜8から発生する環境表現音の時間差や振幅差を、それぞれ遅延器や乗算器で調整することにより、所望の空間位置に音像を定位することができる。例えば、図8に示すように、左右のスピーカ5,7から両耳9,10に環境表現音を同じタイミングで出力した場合、左右のスピーカ5,7から等距離の位置に仮想音源S1が定位される。一方、左のスピーカ5よりも右のスピーカ7から先に環境表現音を出力すると、仮想音源S2は中央よりも右側に定位され、右のスピーカ7よりも左のスピーカ5から先に環境表現音を出力すると、仮想音源S3は中央よりも左側に定位される。
【0024】
本実施形態の環境情報伝達装置100は、図9に示すように、4つのスピーカ5,6,7,8を備えていることから、左側の上下に配置されたスピーカ5,6の間、および、右側の上下に配置されたスピーカ7,8の間で、それぞれ環境表現音の出力に時間差を生じさせることにより、仮想平面VP上の任意の位置に仮想音源Sを定位することができる。したがって、この仮想平面VPと画像データとを対応させることにより、画像データ上の要注意領域Rの位置に仮想音源を定位することができる。
【0025】
ステレオカメラ200が撮像する画像データは、距離情報を含む三次元画像データである。一方、仮想音源の定位は、各スピーカ5〜8から出力する環境表現音に音量差を生じさせることで、仮想音源に距離感を与えることが可能である。したがって、要注意領域Rの平面上の位置情報に距離情報を加えることにより、要注意領域Rに対応する仮想音源を三次元空間に定位することができる。なお、仮想音源を三次元空間に定位するためのスピーカの数は、複数であれば特に限定されない。
【0026】
要注意領域Rに含まれる画素が複数存在する場合には、画素によって輝度が異なり得ることから、各画素の輝度に対応する環境表現音の周波数の変化が使用者に認識できる程度の速度で、仮想音源を移動させることが好ましい。例えば図10に矢印で示すように、仮想音源Sを左上から右下に向けて主走査および副走査を行うことが可能であり、各走査位置で環境表現音の周波数を異ならせることができる。なお、図10は、各画素における仮想音源Sをブロック状に模式的に示しており、各ブロックの長さは周波数を表している。
【0027】
こうして、画像取得部12が画像データを取得する毎に制御部4の内部で上述した各手順が実行され、使用者は現在の環境情報をリアルタイムに把握することができる。モーション検出部20は、時間間隔をあけて撮像した複数の画像データに基づいて、所定値以上の速度で移動する物体を検出する。例えば、図11(a)および(b)に示すように、ステレオカメラ200の一方のカメラ2(または3)が時間差をおいて撮像した2つの画像データを比較して複数の対象点の対応付けを行い、所定の距離以上移動した対象点を含む画像を抽出する(図11(b)の正方形で囲んだエリアA)。音処理部18は、この画像抽出に基づき移動物の存在を知らせるための警告音を生成し、各スピーカ5〜8から出力する。警告音は、例えばブザー音や音声であり、移動物の位置や移動方向などを情報として含むようにしてもよい。
【0028】
本実施形態の環境情報伝達装置100によれば、ステレオカメラ200が撮像した画像データにおいて距離情報が基準値以下の要注意領域Rを抽出し、この要注意領域Rに対応する位置に音像定位するように環境表現音を処理して各スピーカ5〜8から出力するように構成しているため、視覚障害者にとっては特に重要な情報である、使用者の近傍における障害物等の物体の存在や位置を把握することができる。また、画像データの中から要注意領域Rのみを抽出して画像処理や音処理を施すことで、ノイズの混入を抑制しつつ迅速な情報伝達が可能である。
【0029】
また、要注意領域R内の単位領域(例えば、一画素)毎の輝度情報に応じて環境表現音の周波数が変化するように、音像を定位した位置を移動させることで、物体の形状や色などの情報を使用者に的確に伝達することができ、使用者が当該物体を識別し易くすることができる。
【0030】
以上、本発明の一実施形態について詳述したが、本発明の具体的な態様は上記実施形態に限定されるものではない。例えば、本実施形態においては、画像データから要注意領域を抽出するために用いる単位領域毎の距離情報を、ステレオカメラ200を基準とした物体11までの距離に対応させているが、ステレオカメラ200に最も近い物体11の位置を基準として、ステレオカメラ200から各単位領域までの距離と、ステレオカメラ200から上記基準位置までの距離との差を、距離情報としてもよい。この構成によれば、画像データに含まれる物体が全体的に近い位置にある場合でも、物体の中で特に近接しているため注意が必要な領域のみを的確に抽出することが可能であり、使用者に環境情報を正確に伝達し易くすることができる。
【0031】
また、本実施形態においては、スピーカ5〜8から出力する環境表現音を、輝度値に対応した周波数の単音としているが、周波数が互いに異なる複数の単音を重ねあわせた和音であってもよい。環境表現音を和音とすることで、より多くの情報を環境表現音に含めることができ、環境情報の伝達力を高めることができる。例えば、和音を構成する複数の単音を、それぞれ画像データを上下方向(垂直方向)に分割した複数のブロックに対応させ、図12に示す変換テーブルT2のように各単音のベース周波数を固有のものとして、各ブロック内の単位領域の輝度値に基づいて単音の周波数をそれぞれ決定する(一例として、各ブロック1,2,3,・・・の単位領域の輝度値にそれぞれ対応する周波数1100Hz、2050Hz、3100Hz、・・・の各単音の集合体により、和音を生成する)。この構成によれば、仮想音源を左右方向(水平方向)に移動させるだけで、左右方向の各位置で上下方向の輝度情報を表現することが可能であり、環境情報の伝達を迅速且つ的確に行うことができる。
【符号の説明】
【0032】
100 環境情報伝達装置
200 ステレオカメラ
5,6,7,8 スピーカ
12 画像取得部
14 距離算出部
16 領域抽出部
18 音処理部
20 モーション検出部
【技術分野】
【0001】
本発明は、環境情報伝達装置に関し、より詳しくは、使用者の周囲の環境情報を音により伝達する環境情報伝達装置に関する。
【背景技術】
【0002】
視覚障害者が周囲の環境情報を取得するための装置として、従来から下記のものが存在する。
1.複数の超音波器を設置し、視覚障害者に振動子とイヤホンを使用して障害物を表現する視覚障害者用歩行補助携帯器具(特許文献1)
2.ビデオカメラからの信号を画像処理し、複数設置したアクチュエータを駆動し、障害物の存在を体感的に伝達する視覚障害者歩行用補助具(特許文献2)
3.視覚障害者の補助機能として、映像情報を可聴できる音波に変換する人工視覚装置(特許文献3)
ところが、上記従来の装置は、周囲に障害物が存在するか否か等の大まかな情報は得られるものの、当該障害物の形状や距離などの詳細情報を把握することが困難であるという問題があった。
【0003】
また、特許文献4には、2つのカメラで取得した画像データに基づき対象物までの距離を計測し、距離の大きさに基づいて発生させる音の音量および周波数を決定する景色認識装置が開示されている。この装置によれば、景色全体について水平方向に細長いウインドウを設定し、このウインドウ内で音源を走査させることにより、定位された音源から距離情報に対応した音量および周波数の音情報が出力される。
【0004】
ところが、上記特許文献4に記載された景色認識装置は、対象物までの距離は認識できる一方で、使用者が注意すべき物体を把握することが困難であり、環境情報の伝達が不十分になり易いという問題があった。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2001−33552号公報
【特許文献2】特開2003−79685号公報
【特許文献3】特開2007−175510号公報
【特許文献4】特開2001−84484号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
そこで、本発明は、障害物等の物体を精度良く識別することができる環境情報伝達装置の提供を目的とする。
【課題を解決するための手段】
【0007】
本発明の前記目的は、使用者の周囲の環境情報を複数のスピーカから出力する音により伝達する環境情報伝達装置であって、一対の画像データを撮像するステレオカメラと、前記画像データに含まれる物体の距離情報を算出する距離算出手段と、前記画像データにおける前記距離情報が基準値以下の要注意領域を抽出する領域抽出手段と、抽出された前記要注意領域に対応する位置に音像定位するように環境表現音を処理して前記スピーカから出力する音処理手段とを備える環境情報伝達装置により達成される。
【0008】
この環境情報伝達装置において、前記音処理手段は、前記要注意領域内の単位領域毎の輝度情報に応じて前記環境表現音の周波数が変化するように、音像を定位した位置を移動させることが好ましい。
【0009】
また、前記各スピーカは、両耳の上部および下部にそれぞれ装着可能となるように配置されていることが好ましく、前記音処理手段は、音像を定位した位置を上下方向および左右方向に移動させることが好ましい。
【0010】
また、時間間隔をあけて撮像した複数の前記画像データに基づいて、所定値以上の速度で移動する物体を検出するモーション検出手段を更に備えることが好ましく、前記音処理手段は、前記モーション検出手段の検出に基づき警告音を前記スピーカから出力することが好ましい。
【発明の効果】
【0011】
本発明によれば、障害物等の物体を精度良く識別することができる環境情報伝達装置を提供することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態に係る環境情報伝達装置の概略構成を示す斜視図である。
【図2】図1に示す環境情報伝達装置のブロック図である。
【図3】ステレオカメラが撮像した画像データの一例を示す図である。
【図4】領域抽出部による処理を説明するための模式図である。
【図5】領域抽出部により抽出された画像データの一例を示す図である。
【図6】図5に示す画像データの画像処理後の状態を示す図である。
【図7】変換テーブルの一例を示す図である。
【図8】音像定位の手法を説明するための模式図である。
【図9】音像定位の手法を説明するための模式図である。
【図10】仮想音源の移動を説明するための模式図である。
【図11】モーション検出部による処理の一例を説明するための図である。
【図12】変換テーブルの他の例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、添付図面を参照して説明する。図1は、本発明の一実施形態に係る環境情報伝達装置の概略構成を示す斜視図であり、図2は、図1に示す環境情報伝達装置のブロック図である。図1および図2に示すように、環境情報伝達装置100は、使用者に装着可能な装着具1と、使用者の前方を撮像するように装着具1に固定された2台のカメラ2,3からなるステレオカメラ200と、使用者の耳部9,10に装着可能となるように装着具1に取り付けられた4つのスピーカ5,6,7,8と、ステレオカメラ200が取得した画像データに基づいて各スピーカ5〜8から環境表現音を出力する制御装置4とを備えている。
【0014】
装着具1は、本実施形態では使用者の耳部9,10に装着可能な眼鏡またはサングラスから構成されているが、使用者の頭部や顔部等に安定して装着可能なものであれば特に限定されず、例えばヘッドホンや帽子等であってもよい。2台のカメラ2,3は、例えばCCDカメラであり、光軸が互いに略平行となるように配置され、それぞれ異なる視点から同時に撮像できるように構成されている。また、4つのスピーカ5,6,7,8は、両方の耳部9,10の上部および下部にそれぞれ装着されるように配置されている。
【0015】
制御装置4は、図2に示すように、ステレオカメラ200が撮像した一対の画像データを取得してメモリに記憶する画像取得部12と、一対の画像データに含まれる物体11の距離情報を算出する距離算出部14と、距離情報が基準値以下となる画像データ内の要注意領域を抽出する領域抽出部16と、要注意領域に対応する位置に音像定位するように環境表現音を処理してスピーカ5〜8から出力する音処理部18とを備えている。
【0016】
距離算出部14は、ステレオカメラ200が取得した一方の画像データを基準画像データとし、他方の画像データを参照画像データとして、公知のステレオマッチングの手法により距離情報を取得する。距離情報は、ステレオカメラ200から物体11までの距離に対応しており、画像データを所定の単位領域(例えば、一画素)で細分化し、単位領域毎に取得されてメモリに格納される。すなわち、距離情報は、同一の物体11であっても、物体表面の位置によって変化し得る値である。
【0017】
領域抽出部16は、距離算出部14が取得した距離情報に基づき、予め設定された基準値以下の距離情報に対応する単位領域(例えば、一画素)を判別し、これら単位領域の集合体によって構成される要注意領域を抽出する。単位領域を判別するための基準値は、使用者が用途や環境に応じて適宜増減できるように、ボタン操作等によって調整可能に構成してもよい。
【0018】
音処理部18は、領域抽出部16が抽出した要注意領域を使用者が音で知覚できるように、環境表現音の処理を行う。環境表現音の具体的な処理方法については、後に詳述する。
【0019】
制御装置4は、更に、画像取得部12が取得した画像データの時系列解析を行い、時間間隔をあけて撮像した複数の画像データに基づいて、所定値以上の速度で移動する物体を検出するモーション検出部20を備えている。
【0020】
次に、上記構成を備える環境情報伝達装置100の作動を説明する。環境情報伝達装置100の動作開始と共に、ステレオカメラ200による撮像が開始され、画像取得部12は、所定の時間間隔(例えば、0.2s)で画像データを取得する。距離算出部14は、2台のカメラ2,3が同時に撮像して得られた2つの画像データ(例えば、図3に示す画像データD1,D2)の対象点(例えば、P1,P2)を互いに対応付けし、これによって得られた視差から三角測量等によって、この対象点を含む単位領域の距離情報を算出する。こうして、画像データ上の全ての単位領域について、距離情報が得られる。
【0021】
そして、領域抽出部16は、得られた距離情報を基準値と比較して、基準値以下の距離情報を有する単位領域を判別し、これらの単位領域によって構成される要注意領域を抽出する。例えば、図4に示すように、画像データに2つの物体11a,11bが含まれている場合、ステレオカメラ200からの距離L1が基準値STよりも小さい物体11aが抽出される一方、ステレオカメラ200からの距離L2が基準値STよりも大きい物体11bは抽出されない。こうして、図5に示すように、物体11aに対応する要注意領域Rを含む画像データが抽出される。要注意領域Rの抽出は、例えば図6に示すように、抽出された画像データに対して縦16画素×横32画素程度の減画素処理を行い、要注意領域R内の各画素Piの輝度値を16段階で表す一方、要注意領域R外の有効でない画素については、輝度値を全て0として行うことができる。なお、抽出される要注意領域Rは、図5及び図6に示すように物体全体の場合だけでなく、物体の一部のみの場合もあり得る。
【0022】
音処理部18は、撮像した画像データにおける要注意領域Rの位置情報に基づいて、この要注意領域Rに対応する物体が実際に存在すると想定される位置に音像定位するように、環境表現音を4つのスピーカ5〜8から出力する。環境表現音の周波数は、例えば図7に示すように、輝度値と周波数との関係が予め設定された変換テーブルT1に基づき決定される。すなわち、図7に示す変換テーブルT1によれば、要注意領域Rを構成する画素の輝度値が高くなるほど環境表現音の周波数が高くなり、スピーカ5〜8から高音が出力される。
【0023】
音像定位は、スピーカ5〜8から発生する環境表現音に時間差や振幅差を生じさせて行う。人が認識する音の方向感や距離感は、その音が左右の耳にそれぞれ到達するまでの時間差や振幅(音量)差に基づいて生じることから、各スピーカ5〜8から発生する環境表現音の時間差や振幅差を、それぞれ遅延器や乗算器で調整することにより、所望の空間位置に音像を定位することができる。例えば、図8に示すように、左右のスピーカ5,7から両耳9,10に環境表現音を同じタイミングで出力した場合、左右のスピーカ5,7から等距離の位置に仮想音源S1が定位される。一方、左のスピーカ5よりも右のスピーカ7から先に環境表現音を出力すると、仮想音源S2は中央よりも右側に定位され、右のスピーカ7よりも左のスピーカ5から先に環境表現音を出力すると、仮想音源S3は中央よりも左側に定位される。
【0024】
本実施形態の環境情報伝達装置100は、図9に示すように、4つのスピーカ5,6,7,8を備えていることから、左側の上下に配置されたスピーカ5,6の間、および、右側の上下に配置されたスピーカ7,8の間で、それぞれ環境表現音の出力に時間差を生じさせることにより、仮想平面VP上の任意の位置に仮想音源Sを定位することができる。したがって、この仮想平面VPと画像データとを対応させることにより、画像データ上の要注意領域Rの位置に仮想音源を定位することができる。
【0025】
ステレオカメラ200が撮像する画像データは、距離情報を含む三次元画像データである。一方、仮想音源の定位は、各スピーカ5〜8から出力する環境表現音に音量差を生じさせることで、仮想音源に距離感を与えることが可能である。したがって、要注意領域Rの平面上の位置情報に距離情報を加えることにより、要注意領域Rに対応する仮想音源を三次元空間に定位することができる。なお、仮想音源を三次元空間に定位するためのスピーカの数は、複数であれば特に限定されない。
【0026】
要注意領域Rに含まれる画素が複数存在する場合には、画素によって輝度が異なり得ることから、各画素の輝度に対応する環境表現音の周波数の変化が使用者に認識できる程度の速度で、仮想音源を移動させることが好ましい。例えば図10に矢印で示すように、仮想音源Sを左上から右下に向けて主走査および副走査を行うことが可能であり、各走査位置で環境表現音の周波数を異ならせることができる。なお、図10は、各画素における仮想音源Sをブロック状に模式的に示しており、各ブロックの長さは周波数を表している。
【0027】
こうして、画像取得部12が画像データを取得する毎に制御部4の内部で上述した各手順が実行され、使用者は現在の環境情報をリアルタイムに把握することができる。モーション検出部20は、時間間隔をあけて撮像した複数の画像データに基づいて、所定値以上の速度で移動する物体を検出する。例えば、図11(a)および(b)に示すように、ステレオカメラ200の一方のカメラ2(または3)が時間差をおいて撮像した2つの画像データを比較して複数の対象点の対応付けを行い、所定の距離以上移動した対象点を含む画像を抽出する(図11(b)の正方形で囲んだエリアA)。音処理部18は、この画像抽出に基づき移動物の存在を知らせるための警告音を生成し、各スピーカ5〜8から出力する。警告音は、例えばブザー音や音声であり、移動物の位置や移動方向などを情報として含むようにしてもよい。
【0028】
本実施形態の環境情報伝達装置100によれば、ステレオカメラ200が撮像した画像データにおいて距離情報が基準値以下の要注意領域Rを抽出し、この要注意領域Rに対応する位置に音像定位するように環境表現音を処理して各スピーカ5〜8から出力するように構成しているため、視覚障害者にとっては特に重要な情報である、使用者の近傍における障害物等の物体の存在や位置を把握することができる。また、画像データの中から要注意領域Rのみを抽出して画像処理や音処理を施すことで、ノイズの混入を抑制しつつ迅速な情報伝達が可能である。
【0029】
また、要注意領域R内の単位領域(例えば、一画素)毎の輝度情報に応じて環境表現音の周波数が変化するように、音像を定位した位置を移動させることで、物体の形状や色などの情報を使用者に的確に伝達することができ、使用者が当該物体を識別し易くすることができる。
【0030】
以上、本発明の一実施形態について詳述したが、本発明の具体的な態様は上記実施形態に限定されるものではない。例えば、本実施形態においては、画像データから要注意領域を抽出するために用いる単位領域毎の距離情報を、ステレオカメラ200を基準とした物体11までの距離に対応させているが、ステレオカメラ200に最も近い物体11の位置を基準として、ステレオカメラ200から各単位領域までの距離と、ステレオカメラ200から上記基準位置までの距離との差を、距離情報としてもよい。この構成によれば、画像データに含まれる物体が全体的に近い位置にある場合でも、物体の中で特に近接しているため注意が必要な領域のみを的確に抽出することが可能であり、使用者に環境情報を正確に伝達し易くすることができる。
【0031】
また、本実施形態においては、スピーカ5〜8から出力する環境表現音を、輝度値に対応した周波数の単音としているが、周波数が互いに異なる複数の単音を重ねあわせた和音であってもよい。環境表現音を和音とすることで、より多くの情報を環境表現音に含めることができ、環境情報の伝達力を高めることができる。例えば、和音を構成する複数の単音を、それぞれ画像データを上下方向(垂直方向)に分割した複数のブロックに対応させ、図12に示す変換テーブルT2のように各単音のベース周波数を固有のものとして、各ブロック内の単位領域の輝度値に基づいて単音の周波数をそれぞれ決定する(一例として、各ブロック1,2,3,・・・の単位領域の輝度値にそれぞれ対応する周波数1100Hz、2050Hz、3100Hz、・・・の各単音の集合体により、和音を生成する)。この構成によれば、仮想音源を左右方向(水平方向)に移動させるだけで、左右方向の各位置で上下方向の輝度情報を表現することが可能であり、環境情報の伝達を迅速且つ的確に行うことができる。
【符号の説明】
【0032】
100 環境情報伝達装置
200 ステレオカメラ
5,6,7,8 スピーカ
12 画像取得部
14 距離算出部
16 領域抽出部
18 音処理部
20 モーション検出部
【特許請求の範囲】
【請求項1】
使用者の周囲の環境情報を複数のスピーカから出力する音により伝達する環境情報伝達装置であって、
一対の画像データを撮像するステレオカメラと、
前記画像データに含まれる物体の距離情報を算出する距離算出手段と、
前記画像データにおける前記距離情報が基準値以下の要注意領域を抽出する領域抽出手段と、
抽出された前記要注意領域に対応する位置に音像定位するように環境表現音を処理して前記スピーカから出力する音処理手段とを備える環境情報伝達装置。
【請求項2】
前記音処理手段は、前記要注意領域内の単位領域毎の輝度情報に応じて前記環境表現音の周波数が変化するように、音像を定位した位置を移動させる請求項1に記載の環境情報伝達装置。
【請求項3】
前記各スピーカは、両耳の上部および下部にそれぞれ装着可能となるように配置されており、
前記音処理手段は、音像を定位した位置を上下方向および左右方向に移動させる請求項2に記載の環境情報伝達装置。
【請求項4】
時間間隔をあけて撮像した複数の前記画像データに基づいて、所定値以上の速度で移動する物体を検出するモーション検出手段を更に備え、
前記音処理手段は、前記モーション検出手段の検出に基づき警告音を前記スピーカから出力する請求項1から3のいずれかに記載の環境情報伝達装置。
【請求項1】
使用者の周囲の環境情報を複数のスピーカから出力する音により伝達する環境情報伝達装置であって、
一対の画像データを撮像するステレオカメラと、
前記画像データに含まれる物体の距離情報を算出する距離算出手段と、
前記画像データにおける前記距離情報が基準値以下の要注意領域を抽出する領域抽出手段と、
抽出された前記要注意領域に対応する位置に音像定位するように環境表現音を処理して前記スピーカから出力する音処理手段とを備える環境情報伝達装置。
【請求項2】
前記音処理手段は、前記要注意領域内の単位領域毎の輝度情報に応じて前記環境表現音の周波数が変化するように、音像を定位した位置を移動させる請求項1に記載の環境情報伝達装置。
【請求項3】
前記各スピーカは、両耳の上部および下部にそれぞれ装着可能となるように配置されており、
前記音処理手段は、音像を定位した位置を上下方向および左右方向に移動させる請求項2に記載の環境情報伝達装置。
【請求項4】
時間間隔をあけて撮像した複数の前記画像データに基づいて、所定値以上の速度で移動する物体を検出するモーション検出手段を更に備え、
前記音処理手段は、前記モーション検出手段の検出に基づき警告音を前記スピーカから出力する請求項1から3のいずれかに記載の環境情報伝達装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2013−17555(P2013−17555A)
【公開日】平成25年1月31日(2013.1.31)
【国際特許分類】
【出願番号】特願2011−151548(P2011−151548)
【出願日】平成23年7月8日(2011.7.8)
【特許番号】特許第5002068号(P5002068)
【特許公報発行日】平成24年8月15日(2012.8.15)
【出願人】(308025989)
【Fターム(参考)】
【公開日】平成25年1月31日(2013.1.31)
【国際特許分類】
【出願日】平成23年7月8日(2011.7.8)
【特許番号】特許第5002068号(P5002068)
【特許公報発行日】平成24年8月15日(2012.8.15)
【出願人】(308025989)
【Fターム(参考)】
[ Back to top ]