携帯型表示装置及び表示制御プログラム
【課題】音源を識別することなく、音の特徴に応じたオブジェクトを表示することができる携帯型表示装置及び表示制御プログラムを提供する。
【解決手段】表示部と、マイクロフォンと、このマイクロフォンに入力された音の周波数成分から最大音圧の周波数ｆmaxを決定する音処理部と、複数の帯域に分割された音の周波数の各帯域に割り付けられた互いに異なるオブジェクトを記憶するオブジェクト記憶部と、音処理部により決定された最大音圧の周波数ｆmaxを含む帯域Ｂmaxに割り付けられたオブジェクトをオブジェクト記憶部から読み出して前記表示部に表示させる表示制御部と、を備える。
【解決手段】表示部と、マイクロフォンと、このマイクロフォンに入力された音の周波数成分から最大音圧の周波数ｆmaxを決定する音処理部と、複数の帯域に分割された音の周波数の各帯域に割り付けられた互いに異なるオブジェクトを記憶するオブジェクト記憶部と、音処理部により決定された最大音圧の周波数ｆmaxを含む帯域Ｂmaxに割り付けられたオブジェクトをオブジェクト記憶部から読み出して前記表示部に表示させる表示制御部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯型表示装置及び表示制御プログラムに関するものであり、特に、マイクロフォンから入力された音に応じたオブジェクトを表示する携帯型表示装置及び表示制御プログラムに関するものである。
【背景技術】
【０００２】
従来より、マイクロフォンに入力された音を、表示部により視覚的に表示する携帯機器が提案されている。かかる携帯機器により、音の認識が困難である聴覚障害者に対して、マイクロフォンに入力された音が視覚情報として提供される。
【０００３】
例えば、特許文献１では、各音源からの音を識別して、各音源を示すオブジェクト画像を表示することができる携帯機器が提案されている。この携帯機器では、音源の音の特徴部分をサンプリングして特徴を抽出して得られた特徴データと音源を示すオブジェクトのデータとを関連付けて記憶している。そして、この携帯機器は、マイクロフォンに入力された音の特徴と合致する特徴データがあるときに、この特徴データに対応する音源を示すオブジェクトを表示する。例えば、踏み切り遮断機の音の特徴をサンプリングした特徴データと踏み切り遮断機の画像データとが関連づけて記憶された状態で、マイクロフォンに入力された音に踏み切り遮断機の音の特徴と合致する音が含まれていれば、踏み切り遮断機の画像が表示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−９９４１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に記載の携帯機器では、特徴データを記憶していない未知の音源の音がマイクロフォンに入力された場合には、その音源を識別することができない。また、様々な音源の音に対応しようとする場合には、記憶すべき音源の音の特徴データ量が膨大となり、現実的でない。このように、特許文献１に記載の携帯機器は、実用化が困難である。
【０００６】
本発明は、上述したような課題に鑑みてなされたものであり、音源を識別することなく、マイクロフォンに入力された音に応じたオブジェクトを表示することができる携帯型表示装置及び表示制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に係る発明は、表示部と、マイクロフォンと、前記マイクロフォンに入力された音の周波数成分から最大音圧の周波数を決定する音処理部と、複数の帯域に分割された音の周波数の各帯域に割り付けられた互いに異なるオブジェクトを記憶するオブジェクト記憶部と、前記音処理部により決定された前記最大音圧の周波数を含む帯域に割り付けられたオブジェクトを前記オブジェクト記憶部から読み出して前記表示部に表示させる表示制御部と、を備えることを特徴とする携帯型表示装置である。
【０００８】
また、請求項２に係る発明は、請求項１に記載の携帯型表示装置において、前記最大音圧と前記最大音圧の周波数の周囲の周波数の音圧との比較結果に基づいて、前記周囲の周波数の音圧に対する前記最大音圧の突出度合いを判定する突出度合い判定部を備え、前記表示制御部は、前記突出度合い判定部によって判定された前記突出度合いが、所定値以上であることを条件として、前記オブジェクトを前記表示部に表示させることを特徴とする。
【０００９】
また、請求項３に係る発明は、請求項１又は請求項２に記載の携帯型表示装置において、前記音処理部は、前記周波数成分から基音の周波数成分を抽出し、抽出した基音の周波数成分から前記最大音圧の周波数を決定することを特徴とする。
【００１０】
また、請求項４に係る発明は、請求項１〜３のいずれか１項に記載の携帯型表示装置において、前記音処理部により決定された最大音圧の周波数が周期的に出現しているか否かを判定する周期性判定部を備え、前記表示制御部は、前記周期性判定部によって前記音処理部により決定された最大音圧の周波数が周期的に出現していると判定されたことを条件として、前記オブジェクトを前記表示部に表示させることを特徴とする。
【００１１】
また、請求項５に係る発明は、請求項１〜４のいずれか１項に記載の携帯型表示装置において、前記表示制御部は、前記最大音圧が閾値以上であると判定したことを条件として、前記オブジェクトを前記表示部に表示させることを特徴とする。
【００１２】
また、請求項６に係る発明は、請求項１〜５のいずれか１項に記載の携帯型表示装置において、前記複数の帯域の幅は、それぞれ対数表において互いに等しいことを特徴とする。
【００１３】
また、請求項７に係る発明は、請求項６に記載の携帯型表示装置において、前記複数の帯域のそれぞれは、１オクターブを複数の音階に分割した音律における、それぞれの音階に対応していることを特徴とする。
【００１４】
また、請求項８に係る発明は、請求項１〜７のいずれか１項に記載の携帯表示装置において、前記表示部は、シースルー型のヘッドマウントディスプレイであることを特徴とする。
【００１５】
また、請求項９に係る発明は、表示部と、マイクロフォンとを備えた携帯表示装置を、前記マイクロフォンに入力された音の周波数成分から最大音圧の周波数を決定する音処理手段、複数の帯域に分割された音の周波数の各帯域に割り付けられたオブジェクトを記憶するオブジェクト記憶手段、前記音処理手段により決定された前記最大音圧の周波数を含む帯域に割り付けられたオブジェクトを前記オブジェクト記憶手段から読み出して前記表示部に表示させる表示制御手段、として機能させるための表示制御プログラムである。
【発明の効果】
【００１６】
本発明によれば、音の周波数成分から最大音圧の周波数を決定し、最大音圧を含む帯域に割り付けられたオブジェクトを表示しているため、音源を識別することなく、音に応じたオブジェクトを表示することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施形態に係る携帯型表示装置の概略構成を示す図である。
【図２】携帯型表示装置１の構成を示すブロック図である。
【図３】割り付けテーブルの一例を示す図である。
【図４】オブジェクトの一例を示す図である。
【図５】周波数スペクトルを模式的に示した図である。
【図６】オブジェクトの表示方法の一例を示す図である。
【図７】オブジェクトの表示方法の他の例を示す図である。
【図８】オブジェクトの表示例を示す図である。
【図９】オブジェクトの他の表示例を示す図である。
【図１０】突出度合い判定処理を説明する図である。
【図１１】他の突出度合いを判定する処理を説明する図である。
【図１２】周期性を判定する処理を説明する図である。
【図１３】閾値の判定を行う処理を説明する図である。
【図１４】帯域の幅を示す図である。
【図１５】帯域の幅を示す他の図である。
【図１６】携帯型表示装置で実行される処理の流れを示す図である。
【図１７】本発明の第２実施形態に係る携帯型表示装置の概略構成を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施形態を、図面を参照して説明する。
【００１９】
［１．第１実施形態］
［１．１．携帯型表示装置１の概要］
まず、本発明の第１実施形態に係る携帯型表示装置の概要について図１を参照して説明する。
【００２０】
第１実施形態に係る携帯型表示装置１は、マイクロフォン１１と、表示部１２とを有し、マイクロフォン１１に入力された音（以下、入力音ともいう）を解析して、予め記憶されたオブジェクトＯの中から、入力音に応じたオブジェクトＯを表示部１２に表示するものである。
【００２１】
特に、この携帯型表示装置１では、入力音の解析処理、入力音に応じたオブジェクトＯの選択処理を次のように行うことで、音源を識別することなく、マイクロフォンに入力された音に応じたオブジェクトを表示するようにしている。
【００２２】
まず、携帯型表示装置１は、入力音の解析処理として、入力音の周波数成分を解析し、これらの周波数成分のうち最も音圧が高い周波数を選択して、この周波数を最大音圧の周波数として決定する処理を行う。携帯型表示装置１は、入力音の周波数成分の解析を、例えば、ＦＦＴ（Fast Fourier Transform：高速フーリエ変換）処理によって行う。
【００２３】
次に、携帯型表示装置１は、入力音に応じたオブジェクトＯの選択処理として、前記解析処理により決定した最大音圧の周波数を含む帯域に割り付けられたオブジェクトを選択する処理を行う。後述する記憶部１３には、予め複数の帯域に分割された音の周波数の各帯域の情報とオブジェクトの情報とが互いに関連づけられて記憶されている。携帯型表示装置１は、記憶部１３に記憶している情報に基づいて、最大音圧の周波数を含む帯域に割り付けられたオブジェクトを選択する。
【００２４】
記憶部１３に記憶されたオブジェクトは、帯域毎に異なるように割り当てられている。これにより、携帯型表示装置１の利用者Ｕは、自身の周囲で発生した音のうち最も音圧が大きい音の周波数に応じたオブジェクトを視覚的に認識することができる。そのため、携帯型表示装置１の利用者Ｕは、自身の周囲の状況と表示部１２の表示内容を関連づける学習をすることで、自身の周囲で発生した音を視覚情報として得ることができる。例えば、救急車のサイレンの音が、７７０Ｈｚの低音と９６０Ｈｚの高音とが１秒毎に切り替わるものであるとする。そして、７７０Ｈｚを含む帯域に割り当てられたオブジェクトが「○」で、９６０Ｈｚを含む帯域に割り当てられたオブジェクトが「△」であるとする。このとき、携帯型表示装置１は、「○」と「△」とを１秒毎に交互に表示部１２に表示することになる。利用者Ｕは、表示部１２において「○」と「△」とが交互に表示されていることを確認した後、周囲を見回して、周囲の状況を把握する。このとき、救急車が近くを通っていれば、利用者Ｕは、「○」と「△」とが交互に現れるオブジェクト表示が救急車に対応するものではないかと考える。このような状況に繰り返し遭遇することで、利用者Ｕは、「○」と「△」とが交互に現れるオブジェクト表示があれば、救急車が近くを通っていると学習することができる。
【００２５】
携帯型表示装置１では、マイクロフォン１１に入力された音の周波数成分のうち最大の音圧の周波数に応じたオブジェクトを表示することで、利用者Ｕは、その周囲で発生した音を視覚情報として得ることができる。特に、携帯型表示装置１では、最大の音圧の周波数のオブジェクトのみを表示し、それ以外の周波数はオブジェクト表示に使用しないため、表示内容が複雑にならず、利用者Ｕによる音の識別が容易になる。しかも、携帯型表示装置１では、音源の音の特徴を予め記憶して音源を識別するのではなく、最大音圧の周波数に応じたオブジェクトを表示するだけなので、未知の音源に対しても対応することができる。さらに、携帯型表示装置１では、周波数毎にではなく帯域毎にオブジェクトを割り当ているため、オブジェクトの数を少なくすることができ、音に応じたオブジェクトの把握が容易である。
【００２６】
以下、携帯型表示装置１の具体的な構成及び動作の一例について図面を参照して具体的に説明する。
【００２７】
［１．２．携帯型表示装置１の構成］
次に、本実施形態に係る携帯型表示装置１の構成について説明する。携帯型表示装置１は、図２に示すように、マイクロフォン１１と、表示部１２と、記憶部１３と、制御部１４とを備える。
【００２８】
マイクロフォン１１は、例えば、携帯型表示装置１の上端部に設けられている。マイクロフォン１１は、利用者の周囲で発生した音を入力可能に構成されている（図１参照）。このマイクロフォン１１は、入力音を電気信号に変換する機能を有する。マイクロフォン１１に入力された音は、変換した電気信号の波形を音データとして記憶部１３に一時的に記憶される。予め規定された基準時間Ｔ（例えば、数十ｍｓ）分の最新の電気信号の波形は、音データとして記憶され、基準時間Ｔよりも以前の電気信号の波形は記憶部１３から消去される。
【００２９】
表示部１２は、例えば、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）により構成される。表示部１２は、入力音の周波数成分のうち最大音圧の周波数に応じたオブジェクトＯを表示する。
【００３０】
記憶部１３は、例えば、不揮発性メモリやハードディスクにより構成される。記憶部１３は、オブジェクトＯと音の周波数の帯域とを関連づけた割り付けテーブルを記憶する割り付けテーブル記憶部、及び割り付けテーブルで帯域と割り付けられた複数のオブジェクトＯを記憶するオブジェクト記憶部として機能する。
【００３１】
記憶部１３に記憶される割り付けテーブルは、図３に示すように、各オブジェクトＯと、複数の帯域に分割された音の周波数の各帯域Ｂとを関連づけるテーブルである。
【００３２】
記憶部１３に記憶される複数のオブジェクトＯは、例えば形状、模様、色彩などが異なる、互いに異なるオブジェクトである。一例として、本実施形態では、図４に示すように、周波数が０Ｈｚ〜２００００Ｈｚまでの範囲７つに分割した各大帯域Ｂ1〜Ｂ7に、それぞれ形状の異なるオブジェクトＯ1〜Ｏ7が割り付けられる。また、大帯域Ｂ1は、７つの小帯域Ｂ11〜Ｂ17に分割され、各小帯域Ｂ11〜Ｂ17には、それぞれ色彩の異なるオブジェクトＯ11〜Ｏ17が割り付けられる。なお、図４では、大帯域Ｂ1を、７つの小帯域Ｂ11〜Ｂ17に分割した状態のみを図示しているが、これと同様に、大帯域Ｂ2〜Ｂ7もそれぞれ７つの小帯域に分割される。すなわち、大帯域Ｂ2は小帯域Ｂ21〜Ｂ27に分割され、大帯域Ｂ3は帯域Ｂ31〜Ｂ37に分割され、大帯域Ｂ4は小帯域Ｂ41〜Ｂ47に分割され、大帯域Ｂ5は小帯域Ｂ51〜Ｂ57に分割され、大帯域Ｂ6は小帯域Ｂ61〜Ｂ67に分割され、大帯域Ｂ7は小帯域Ｂ71〜Ｂ77に分割される。また、本実施形態では、オブジェクトＯの形状や色彩により、帯域Ｂを区別するようにしたが、これには限定されない。例えば、オブジェクトを記号や文字で表現するときには、記号や文字で帯域Ｂを区別する。
【００３３】
制御部１４は、ＣＰＵ１５とＲＯＭ１６とＲＡＭ１７とを有する。ＲＯＭ１６は携帯型表示装置１の表示制御プログラムを記憶している。携帯型表示装置１を起動すると、ＣＰＵ１５は、ＲＯＭ１６から表示制御プログラムをＲＡＭ１７に読み出し、ＲＡＭ１７を作業領域として表示制御プログラムを実行する。これにより、制御部１４は、表示制御プログラムに応じた機能を発揮する。
【００３４】
制御部１４は、最大音圧の周波数を抽出するために、音データを周波数解析する処理を行う。制御部１４は、音データを周波数解析する処理として、例えば、音データに対して、ＦＦＴ処理を行う。具体的には、制御部１４は、記憶部１３に記憶した音データを基準時間Ｔ毎にＦＦＴ処理を行い、基準時間Ｔ毎に入力音の周波数スペクトル（即ち、入力音を構成する音の周波数の分布）を解析し、周波数スペクトルの情報を順次記憶部１３に記憶する。
【００３５】
音データを周波数解析する処理により得られた周波数スペクトルの一例を図５に示す。同図において、横軸は音の周波数ｆを示し、縦軸は音圧Ｌを示している。このように入力音の周波数スペクトルを解析することにより、制御部１４は、周波数成分が存在する帯域Ｂと、周波数成分の音圧Ｌの大きさを特定することができる。ここで、帯域Ｂは、解析される周波数の範囲が複数の領域に分割されたものであり、隣り合う帯域Ｂ間の周波数は連続する。なお、同図では、説明の便宜上、帯域Ｂの幅を簡略化している。また、帯域Ｂの音圧Ｌは、各帯域Ｂに含まれる周波数成分のうち音圧が最も大きな周波数成分の音圧が帯域Ｂの代表値として採用されたものである。
【００３６】
制御部１４は、入力音の周波数スペクトルに基づき、入力音の周波数成分のうち最も音圧が大きい周波数を、基準時間Ｔ毎に最大音圧の周波数ｆmaxとして決定する。なお、制御部１４は、最大音圧の周波数ｆmaxを、基準時間Ｔ毎に順次記憶部１３に格納する。このように、制御部１４は、マイクロフォン１１に入力された音の周波数成分から最大音圧の周波数ｆmaxを決定する音処理部として機能する。
【００３７】
また、制御部１４は、記憶部１３に記憶されたオブジェクトの中から、最大音圧の周波数ｆmaxに応じたオブジェクトＯを読み出して表示部１２に表示させる処理を行う。すなわち、制御部１４は、最大音圧の周波数ｆmaxを含む帯域Ｂmaxに割り付けられたオブジェクトＯを読み出して表示させる。例えば、制御部１４は、最大音圧の周波数ｆmaxを含む帯域Ｂmaxが、周波数１００Ｈｚ〜１２０Ｈｚの帯域Ｂ16（図４参照）であるとき、制御部１４は、オブジェクトＯ16を表示部１２に表示させる。
【００３８】
また、制御部１４は、記憶部１３に記憶されたオブジェクトの中から、最大音圧の周波数ｆmaxを含む帯域Ｂmaxに応じたオブジェクトＯを読み出して表示部１２に表示させる処理を行う際に、オブジェクトＯを単体表示させたり、スクロール表示させたりする。具体的には、制御部１４は、オブジェクトＯを単体表示させるときには、表示部１２に、オブジェクトＯを、基準時間Ｔ毎に切り替えながら表示させる。つまり、制御部１４により、表示部１２に表示されるオブジェクトＯは、基準時間Ｔ毎に更新される。例えば、図６に示すように、制御部１４は、ある基準時間Ｔ1ではオブジェクトＯaを表示させ、基準時間Ｔ1の次の基準時間Ｔ2ではオブジェクトＯbを表示させ、基準時間Ｔ2の次の基準時間Ｔ3ではオブジェクトＯcを表示させる。このように、制御部１４は、オブジェクトＯの表示を基準時間Ｔ毎に更新することで、利用者は、自身の周囲で発生する音を認識することができる。
【００３９】
また、制御部１４は、オブジェクトＯをスクロール表示させるときには、表示部１２に、所定期間（Ｔ×ｎ：ｎはオブジェクトＯを一度に表示する数）のオブジェクトＯを一見して視認可能に表示させることができる。例えば、図７に示すように、制御部１４は、ある基準時間Ｔ1ではオブジェクトＯaを表示部１２の表示画面の右端に表示させる。そして、制御部１４は、基準時間Ｔ1の次の基準時間Ｔ2では、オブジェクトＯaを表示画面の右端から左側に所定量移動させるとともに、オブジェクトＯaを表示部１２の表示画面の右端に表示させる。そして、制御部１４は、基準時間Ｔ2の次の基準時間Ｔ3では、オブジェクトＯa，Ｏbを表示画面の左側に所定量移動させるとともに、オブジェクトＯcを表示部１２の表示画面の右端に表示させる。このように、制御部１４がオブジェクトＯをスクロール表示させることで、利用者は、自身の周囲で発生する音の特徴の変化を一見して認識することができる。なお、図７に示す例では、４つのオブジェクトＯを同時に表示することとしているが、利用者Ｕは携帯型表示装置１入力部（図示せず）からの入力により、同時に表示するオブジェクトＯの数ｎを設定することができる。
【００４０】
また、制御部１４は、オブジェクトＯを表示部１２に表示させる際には、周波数成分の最大音圧Ｌmaxの大きさに応じた大きさでオブジェクトＯを表示させる。例えば、電話の呼出音のように、所定の位置から発せられる音が一定の大きさでマイクロフォン１１に入力された場合、制御部１４は、図８に示すように、オブジェクトＯを一定の大きさで表示する。
【００４１】
一方、制御部１４は、移動している救急車のサイレンの音のように、マイクロフォン１１に入力される音の大きさが変化する場合には、図９に示すように、オブジェクトＯを、入力される音の大きさに応じた大きさで表示させる。すなわち、制御部１４は、救急車が利用者に近づいて、マイクロフォン１１に入力される音が大きくなるときは、オブジェクトＯを大きく表示し、救急車が利用者から離れて、マイクロフォン１１に入力される音が小さくなるときは、オブジェクトＯを小さく表示する。なお、マイクロフォン１０に入力される音の大きさの変化は、オブジェクトＯの大きさの変化に限られず、オブジェクトＯの形状の変化として表示されてもよい。
【００４２】
携帯型表示装置１は、振動を出力するバイブレータを設けるようにしてもよい。この場合、制御部１４は、表示部１２にオブジェクトＯを表示するとともに、最大音圧の周波数に応じた周波数でバイブレータを振動させるようにしてもよい。これにより、利用者の周囲で音が発生していることを、オブジェクトＯの表示に加え、振動により報知することが可能となる。
【００４３】
以上、説明したように、携帯型表示装置１では、マイクロフォン１１に入力された音の周波数成分のうち最大音圧の周波数に応じたオブジェクトＯを表示部１２に表示するようにしたので、利用者Ｕに、自身の周囲で発生した音を視覚情報として提供することができる。そのため、利用者Ｕは、表示されたオブジェクトＯを視認することで、自身の周囲で発生している音がどのようなものかを認識することができ、より快適に日常生活をおくることができる。特に、携帯型表示装置１によれば、音源を識別することなく、オブジェクトＯを表示することができるため、実用化が容易となる。
【００４４】
また、本実施形態の携帯型表示装置１においては、制御部１４は、最大音圧の周波数ｆmaxの決定に際して、マイクロフォン１１に入力された音の周波数成分から基音の周波数成分を抽出する処理を行う。その後、制御部１４は、基音の周波数成分のうち最も音圧が大きな周波数を判定して最大音圧の周波数ｆmaxを決定する。基音とは、例えば、楽器の弦や管が振動して発する複合音のうち、振動数の最も少ない音である。本実施形態では、オブジェクトＯが割り付けられた帯域Ｂの全ての周波数に対して基音を抽出するようにしており、制御部１４は、マイクロフォン１１に入力された音の周波数成分から基音の周波数成分の周波数スペクトルを解析する。これにより、制御部１４は、マイクロフォン１１に入力された音の周波数成分から、ノイズや音の干渉を除去することができる。
【００４５】
例えば、基音の周波数毎にコムフィルタ（櫛形フィルタ）を設けており、各コムフィルタにより、マイクロフォン１１に入力された音の周波数成分から基音の周波数成分と倍音の周波数成分を抽出する。そして、倍音の周波数成分を除去することで、基音の周波数成分を抽出する。
【００４６】
また、本実施形態の携帯型表示装置１においては、制御部１４は、オブジェクトＯの表示を行うに際して、最大音圧の周波数ｆmaxの周囲の周波数の音圧に対する最大音圧Ｌmaxの突出度合いを判定する。具体的には、制御部１４は、図１０に示すように、最大音圧Ｌmaxと最大音圧の周波数ｆmaxの周囲の周波数ｆcの音圧とを比較し、この比較結果に基づいて突出度合いを判定する。これにより、制御部１４は、最大音圧の周波数のピークが鋭い人工音と、人工音以外の自然音とを識別するようにしている。
【００４７】
制御部１４は、最大音圧Ｌmaxと周囲の周波数の音圧とを比較するとき、周囲の周波数の音圧を、例えば、最大音圧の周波数ｆmaxが含まれる帯域Ｂmaxより周波数が低く、かつ帯域Ｂmaxに直近の帯域Ｂに含まれる周波数ｆLの音圧ＬLとする。そのとき、制御部１４は、最大音圧Ｌmaxと、音圧ＬLとの差や比を算出することにより、最大音圧Ｌmaxの周囲の周波数の音圧に対する突出度合いＶaを算出する。最大音圧Ｌmaxと、音圧ＬLとの差によって突出度合いＶaを算出する場合には、
突出度合いＶa＝最大音圧Ｌmax−音圧ＬL
となる。
また、最大音圧Ｌmaxと、音圧ＬLとの比によって突出度合いＶaを算出する場合には、
突出度合いＶa＝最大音圧Ｌmax／ＬL
となる。
【００４８】
制御部１４は、突出度合いＶaが、予め記憶部１３に記憶された突出度合いの所定値Ｖb以上であることを条件として、最大音圧Ｌmaxの周波数ｆmaxに対応するオブジェクトＯを記憶部１３から読み出し、表示部１２に表示させる。突出度合いの所定値Ｖbとは、例えば、人工音と自然音とを識別することができる値である。
【００４９】
また、上述した例では、周囲の周波数の音圧を音圧ＬLとしたが、これには限定されず、例えば、最大音圧の周波数ｆmaxが含まれる帯域Ｂmaxより周波数が高く、かつ帯域Ｂmaxに直近の帯域Ｂに含まれる周波数ｆHの音圧ＬHとしてもよい。また、周囲の周波数の音圧を、音圧ＬLと音圧ＬHとの平均したものとしてもよい。なお、周波数ｆLや周波数ｆHはそれぞれ属する帯域Ｂ内で最も音圧が高い周波数である。
【００５０】
また、制御部１４は、突出度合いの判定を、周波数スペクトルを用いて得たガウス分布の半値幅に基づいて用いて行うこともできる。これにより、突出度合いの判定を、精度よく行うことができる。例えば、制御部１４は、図１０に示す周波数スペクトルに基づいて、図１１に示すガウス分布を得る。そして、制御部１４は、最大音圧Ｌmaxに基づいて半値幅ｗaを算出する。具体的には、最大音圧Ｌmaxの半分の値Ｌmidとなる周波数ｆx，ｆyを算出することにより、半値幅ｗaを算出する。そして、制御部１４は、半値幅ｗaが、予め記憶部１３に記憶された半値幅の所定値ｗb以下であることを条件として、最大音圧Ｌmaxの周波数ｆmaxに対応するオブジェクトＯを記憶部１３から読み出し、表示部１２に表示させる。半値幅の所定値ｗbは、突出度合いの所定値Ｖbと同様に、人工音と自然音とを識別することができる値である。このように、制御部１４は、突出度合い判定部として機能する。
【００５１】
また、本実施形態の携帯型表示装置１においては、制御部１４は、オブジェクトＯの表示を行うに際して、最大音圧の周波数ｆmaxが同一周波数で周期的に出現しているか否かを判定する。制御部１４は、周期性判定を行うとき、基準時間Ｔ毎に最大音圧の周波数ｆmaxを決定すると、決定した基準時間Ｔ毎に最大音圧の周波数ｆmaxを順次記憶部１３に記憶する。そして、制御部１４は、記憶部１３に記憶された最大音圧の周波数ｆmaxを読み出し、図１２に示すように、最大音圧の周波数ｆmaxが同一周波数で周期的に、すなわち、一定期間Δｔ毎に出現するか否かを判定する。これにより、制御部１４は、周期的に繰り返し発せられる報知音を抽出する。そして、制御部１４は、最大音圧の周波数ｆmaxが同一周波数で周期的に出現していると判定すると、最大音圧Ｌmaxの周波数ｆmaxに対応するオブジェクトＯを記憶部１３から読み出し、表示部１２に表示させる。
【００５２】
また、本実施形態の携帯型表示装置１においては、制御部１４は、オブジェクトＯの表示を行うに際して、最大音圧Ｌmaxが、予め記憶部１３に記憶された閾値Ｌｔ以上であるか否かを判定する。制御部１４は、図１３に示すように、最大音圧Ｌmaxが、閾値Ｌｔ以上であることを条件として、オブジェクトＯを表示部１２に表示させる。これにより、制御部１４は、マイクロフォン１１に入力された音がノイズであるか否かを識別することができる。なお、閾値Ｌｔは、例えば、マイクロフォン１１により入力した音とノイズとを識別可能な値である。なお、制御部１４は、マイクロフォン１１により入力した音の周波数成分からノイズレベルを判定し、閾値Ｌｔを調整するようにしている。ノイズレベルの判定例は、例えば、マイクロフォン１１に入力された全周波数帯における音圧の平均値を閾値Ｌｔとして採用する、最大音圧の周波数ｆmaxから所定値だけ離間した周波数における音圧の値を閾値Ｌｔとして採用する、などであってよい。なお、利用者Ｕは携帯型表示装置１入力部（図示せず）からの入力により、閾値Ｌｔを設定することもできる。
【００５３】
また、複数の帯域Ｂの幅は、それぞれ対数表において互いに等しいことが好ましい。例えば、図１４（ａ）に示すように、指数関数的に変化する各帯域Ｂ（Ｂ1〜Ｂ7）の幅は、対数表示することにより、図１４（ｂ）に示すように、各帯域Ｂ’（Ｂ1’〜Ｂ7’）の幅は互いに等しくなる。このように、複数の帯域Ｂの幅を、それぞれ対数表において互いに等しくすることで、人間が認識できる感度に応じてオブジェクトを適切に割り付けることができる。
【００５４】
また、図１５に示すように、複数の帯域Ｂ11’〜Ｂ17’のそれぞれは、１オクターブを複数の音階に分割した音律における、それぞれの音階に対応させてもよい。例えば、（例えば、１オクターブを、ド・レ・ミ・ファ・ソ・ラ・シの７音階に分割する。これにより、各帯域Ｂ’の細かさを７音階が識別可能な帯域幅とすることができる。なお、音階が識別可能な帯域幅であればよく、７音階ではなく例えば１２音階としてもよい。
【００５５】
［１．３．携帯型表示装置１で実行される処理］
以下、携帯型表示装置１で実行される処理について、図１６を用いて説明する。図１６は携帯型表示装置１の制御部１４により実行される処理の流れの一例を示すフロー図である。
【００５６】
図１６に示すように、制御部１４は、ステップＳ１０において、マイクロフォン１１に入力された音を変換した電気信号の波形を音データとして記憶部１３に記憶する処理を行う。この処理が終了すると、制御部１４は、ステップＳ１１に処理を移す。
【００５７】
ステップＳ１１において、制御部１４は、音データを周波数解析する処理を行う。この処理において、制御部１４は、記憶部１３に記憶している音データから、マイクロフォン１１に入力された音の周波数スペクトル（図５参照）を解析する。制御部１４は、この処理が終了すると、ステップＳ１２へ処理を移す。
【００５８】
ステップＳ１２において、制御部１４は、基音の周波数成分を抽出する処理を行う。この処理では、ステップＳ１１において解析した周波数スペクトルから基音の周波数成分の周波数スペクトルを解析する。この処理が終了すると、制御部１４は、ステップＳ１３へ処理を移す。なお、基音の周波数成分の抽出処理は、利用者Ｕの入力部（図示せず）への入力操作によってスキップすることが可能である。
【００５９】
ステップＳ１３において、制御部１４は、最大音圧の周波数ｆmaxを決定する処理を行う。この処理において、制御部１４は、ステップＳ１２で解析した周波数スペクトルに基づいて、最大音圧の周波数ｆmaxを決定する。なお、ステップＳ１２をスキップした場合にはステップＳ１１で解析した周波数スペクトルに基づいて、最大音圧の周波数ｆmaxを決定する。この処理が終了すると、制御部１４は、ステップＳ１４へ処理を移す。
【００６０】
ステップＳ１４において、制御部１４は、ステップＳ１３において決定した最大音圧Ｌmaxが閾値Ｌｔ以上であるか否かを判定する。この処理において、最大音圧Ｌmaxは閾値Ｌｔ以上であると判定すると（ステップＳ１４：Ｙｅｓ）、制御部１４は、処理をステップＳ１５に移す。一方。最大音圧Ｌmaxは閾値Ｌｔ以上でないと判定すると（ステップＳ１４：Ｎｏ）、制御部１４は、処理をステップＳ２０に移す。
【００６１】
ステップＳ１５において、制御部１４は、最大音圧の周波数ｆmaxの突出度合いを判定する処理を行う。この処理において、制御部１４は、図１０に示すように最大音圧Ｌmaxと周囲の周波数の音圧とを比較した突出度合いＶaが所定値Ｖb以上であるか否かを判定する。この処理において、制御部１４は、突出度合いＶaが所定値Ｖb以上であると判定すると（ステップＳ１５：Ｙｅｓ）、ステップＳ１６へ処理を移す。一方、制御部１４は、突出度合いＶaが所定値Ｖb以上でないと判定すると（ステップＳ１５：Ｎｏ）、ステップＳ２０へ処理を移す。
【００６２】
ステップＳ１６において、制御部１４は、周期性判定の設定が記憶部１３にされているか否かを判定する。周期性判定の設定は、利用者Ｕによる携帯型表示装置１の入力部（図示せず）への入力操作によって行うことができる。利用者Ｕが入力部を操作して周期性判定を行う設定をしたとき、制御部１４は、記憶部１３に周期性判定の設定を行う。このステップＳ１６において、制御部１４は、周期性判定の設定が記憶部１３にされていると判定すると（ステップＳ１６：Ｙｅｓ）、ステップＳ１７へ処理を移す。一方、制御部１４は、周期性判定の設定が記憶部１３にされていないと判定すると（ステップＳ１６：Ｎｏ）、ステップＳ１９へ処理を移す。
【００６３】
ステップＳ１７において、制御部１４は、最大音圧の周波数ｆmaxの周期性を検出する処理を行う。すなわち、制御部１４は、最大音圧の周波数ｆmaxが同一周波数で一定期間Δｔ毎に出現することを、周波数ｆmaxの周期性として検出する。この処理が終了すると、制御部１４は、処理をステップＳ１８に移す。なお、一定期間Δｔは、所定の時間幅（Δｔ＝ｔａ〜ｔｂ）を有しており、ｔａより短い周期の場合やｔｂを超える周期の場合には、制御部１４は、その最大音圧の周波数ｆmaxの出現を周期性を有するものとしては検出しない。この一定期間Δｔは、利用者Ｕによる携帯型表示装置１の入力部（図示せず）への入力操作によって任意に設定することができる。
【００６４】
ステップＳ１８において、制御部１４は、最大音圧の周波数ｆmaxが周期的に出現するか否かを判定する。つまり、制御部１４は、ステップＳ１７における最大音圧の周波数ｆmaxの周期性の検出の有無に基づき、検出があった場合は最大音圧の周波数ｆmaxが周期的に出現すると判定し、検出がなかった場合は最大音圧の周波数ｆmaxが周期的に出現しないと判定する。制御部１４は、最大音圧の周波数ｆmaxが周期的に出現すると判定すると（ステップＳ１８：Ｙｅｓ）、ステップＳ１９に処理を移す。一方、制御部１４は、最大音圧の周波数ｆmaxが周期的に出現しないと判定すると（ステップＳ１８：Ｎｏ）、ステップＳ２０に処理を移す。
【００６５】
ステップＳ１９において、制御部１４は、オブジェクトを表示させる処理を行う。この処理では、制御部１４は、記憶部１３に記憶されたオブジェクトの中から、最大音圧の周波数ｆmaxを含む帯域Ｂmaxに応じたオブジェクトＯを読み出し、このオブジェクトＯを最大音圧Ｌmaxの大きさに応じた大きさで表示部１２に表示させる。この処理が終了すると、制御部１４は、ステップＳ２０へ処理を移す。なお、制御部１４は、単体表示設定がされているときには単体表示を行い、スクロール表示設定がされているときにはスクロール表示を行う。単体表示設定とスクロール表示設定とは選択的に設定可能であり、利用者Ｕによる携帯型表示装置１の入力部（図示せず）への入力操作によって設定することができる。
【００６６】
ステップＳ２０において、制御部１４は、利用者Ｕによる携帯型表示装置１の入力部（図示せず）への入力操作などによってアプリ終了トリガがあるか否かを判定し、アプリ終了トリガがあると判定すると（ステップＳ２０：Ｙｅｓ）、制御部１４は、携帯型表示装置１で実行される処理のフローを終了する。一方、アプリ終了トリガがないと判定すると（ステップＳ２０：Ｎｏ）、制御部１４は、ステップＳ１０へ処理を戻す。
【００６７】
上述した携帯型表示装置１で実行される処理は、ＣＰＵ１５が表示制御プログラムを読み込むことで実行される。すなわち、表示制御プログラムは、表示部１２と、マイクロフォン１１とを備えた携帯型表示装置１を、マイクロフォン１１に入力された音の周波数成分から最大音圧の周波数ｆmaxを決定する音処理手段、複数の帯域Ｂに分割された音の周波数の各帯域Ｂに割り付けられたオブジェクトＯを記憶するオブジェクト記憶手段、音処理手段により決定された最大音圧の周波数を含む帯域に割り付けられたオブジェクトＯをオブジェクト記憶手段から読み出して表示部１２に表示させる表示制御手段、として機能させる。
【００６８】
［２．第２実施形態］
本発明の第２実施形態について説明する。携帯型表示装置２の構成について、図１７を用いて説明する。なお、本実施形態の携帯型表示装置２の処理については、上述した携帯型表示装置１の処理と同様であるため説明を省略する。この携帯型表示装置２は、表示部１２をＬＣＤなどの表示装置とするのではなく、シースルー型のヘッドマウントディスプレイ（以下、ＨＭＤという）とする点で異なる。表示部をシースルー型のＨＭＤとすることで、利用者Ｕは、例えば、移動しながら前方にオブジェクトＯを視認することが可能となる。
【００６９】
図１７に示すように、携帯型表示装置２は、コントロールユニット２０と、表示部としてのシースルー型のＨＭＤ３０と、マイクロフォン５０とを備える。
【００７０】
ＨＭＤ３０は、投影ユニット３１、フレーム３２を有している。投影ユニット３１は、コントロールユニット２０から出力される画像信号に基づいて、画像光を生成して利用者の眼に投射する。投影ユニット３１は、画像信号に応じて強度変調した光束を２次元走査して利用者の眼に投射し、利用者の眼の網膜上で強度変調した光束を２次元走査することで、利用者に画像信号に応じた画像を視認させる網膜走査型の表示部である。なお、投影ユニット３１として網膜走査型の表示部ではなくＬＣＤ型の表示部を採用することも可能である。ＬＣＤ型の表示部は、例えば、反射型ＬＣＤに画像信号に応じた画像を表示し、このＬＣＤに光を反射させて画像光を生成し、利用者の眼に投射することで、利用者に画像信号に応じた画像を視認させる。
【００７１】
投影ユニット３１は、利用者の眼に画像光を入射させるためのハーフミラー３３を有する。ハーフミラー３３は、利用者の眼の前方に位置するように設けられる。投影ユニット３１は、ハーフミラー３３により、出射した画像光を反射させて利用者の眼に入射させる。また、ハーフミラー３３は、外光を透過させて利用者の眼に入射させる。したがって、利用者は、外光により認識される外景に、画像光による画像を重ねて視認することができる。
【００７２】
フレーム３２は、投影ユニット３１を支持するとともに、利用者の頭部に装着される部分である。フレーム３２は、利用者の頭部に装着された状態で、前述したような投影ユニット３１による利用者の眼への画像光の投射ができるように、投影ユニット３１を支持する。本実施形態の携帯型表示装置２では、投影ユニット３１は、フレーム３２に対して、フレーム３２を頭部に装着した状態の利用者の左側に取り付けられる。
【００７３】
マイクロフォン５０は、上述したマイクロフォン１１と同様に、利用者の周囲で発生した音を入力可能に構成されている。このマイクロフォン５０は、入力された音を電気信号に変換する機能を有し、マイクロフォン５０に入力された音を電気信号として伝送ケーブル４０を介してコントロールユニット２０の記憶部２１に音データとして一時的に記憶する。このマイクロフォン５０は、フレーム３２に対して、フレーム３２を頭部に装着した状態の利用者の左側に取り付けられ、利用者の耳に近い位置で音を入力できるようになっている。なお、マイクロフォン５０は、コントロールユニット２０に設けられていてもよい。
【００７４】
マイクロフォン５０に入力された音は、マイクロフォン５０で電気信号に変換される。この電気信号は、記憶部２１に音データとして一時的に記憶され、コントロールユニット２０の制御部２２において周波数解析されて最大音圧の周波数ｆmaxが決定される。制御部２２では、最大音圧の周波数ｆmaxを含む帯域Ｂmaxに割り当てられたオブジェクトＯを記憶部２１から読み出す。このオブジェクトＯは、ＨＭＤ３０の投影ユニット３１により、利用者の眼に投影される。
【００７５】
このように、携帯型表示装置２では、表示部を利用者の頭部に装着したＨＭＤ３０としたので、利用者は、自身の周囲で発生する音に応じたオブジェクトを外景と重ねて視覚情報として得ることができるため、より快適に日常生活を送ることができる。また、利用者は表示部を手に保持した状態でなくともオブジェクトＯを視認することができるため、利便性にも優れる。
【００７６】
以上、本発明の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【００７７】
本発明を、以上説明した実施形態の携帯型表示装置及び表示制御プログラムによれば、以下の効果が期待できる。
【００７８】
（１）本実施形態に係る携帯型表示装置は、表示部１２と、マイクロフォン１１と、マイクロフォン１１に入力された音の周波数成分から最大音圧の周波数ｆmaxを決定する音処理部（制御部１４）と、複数の帯域Ｂに分割された音の周波数ｆの各帯域Ｂに割り付けられた互いに異なるオブジェクトＯを記憶する記憶部１３（オブジェクト記憶部）と、音処理部（制御部１４）により決定された最大音圧の周波数ｆmaxを含む帯域Ｂに割り付けられたオブジェクトＯを記憶部１３（オブジェクト記憶部）から読み出して表示部１２に表示させる表示制御部（制御部１４）と、を備える。これにより、利用者に、自身の周囲で発生した音を視覚情報として提供することができる。また、携帯型表示装置１によれば、音源を識別することなく、入力される音の周波数成分のうち最大音圧の周波数に応じたオブジェクトＯを表示するため、容易に実用化することができる。
【００７９】
（２）また、本実施形態に係る携帯型表示装置においては、最大音圧Ｌmaxと最大音圧の周波数の周囲の周波数の音圧Ｌcとの比較結果に基づいて、周囲の周波数の音圧Ｌcに対する最大音圧Ｌmaxの突出度合いを判定する突出度合い判定部（制御部１４）を備える。また、表示制御部（制御部１４）は、突出度合い判定部（制御部１４）によって判定された突出度合いが、所定値Ｖb以上であることを条件として、オブジェクトＯを表示部１２に表示させる。これにより、マイクロフォン１１に入力された音の周波数成分から、人工音の周波数成分を抽出することができる。
【００８０】
（３）また、本実施形態に係る携帯型表示装置においては、音処理部（制御部１４）は、周波数成分から基音の周波数成分を抽出し、抽出した基音の周波数成分から最大音圧の周波数ｆmaxを決定する。これにより、ノイズや音の干渉の影響を除去することができ、音源本来の音の成分を抽出することができる。
【００８１】
（４）また、本実施形態に係る携帯型表示装置においては、音処理部（制御部１４）により決定された最大音圧の周波数ｆmaxが周期的に出現しているか否かを判定する制御部１４（周期性判定部）を備える。また、表示制御部（制御部１４）は、周期性判定部（制御部１４）によって音処理部（制御部１４）により決定された最大音圧の周波数ｆmaxが周期的に出現していると判定されたことを条件として、オブジェクトＯを表示部１２に表示させる。これにより、マイクロフォン１１に入力された音の周波数成分から、報知音等の繰り返し発せられる音の周波数成分を抽出することができる。
【００８２】
（５）また、本実施形態に係る携帯型表示装置においては、表示制御部（制御部１４）は、最大音圧Ｌmaxが閾値Ｌｔ以上であると判定したことを条件として、オブジェクトＯを表示部１２に表示させる。これにより、例えば、マイクロフォン１１に入力された音がノイズしかない場合にオブジェクト表示することを防止することができ、利用者の混乱を防止することができる。
【００８３】
（６）また、本実施形態に係る携帯型表示装置においては、複数の帯域Ｂの幅は、それぞれ対数表において互いに等しいこととする。これにより、例えば、複数の帯域Ｂの幅を、それぞれ対数表において互いに等しくすることで、人間が認識できる感度に応じてオブジェクトを適切に割り付けることができる。
【００８４】
（７）また、本実施形態に係る携帯型表示装置においては、複数の帯域Ｂのそれぞれは、１オクターブを複数の音階に分割した音律における、それぞれの音階に対応している。これにより、例えば、各帯域Ｂ’の細かさをそれぞれの音階が識別可能な帯域幅とすることができる。
【００８５】
（８）また、本実施形態に係る携帯型表示装置においては、表示部は、シースルー型のヘッドマウントディスプレイである。これにより、オブジェクトＯをＨＭＤ３０により表示することができる。これにより、利用者は表示部を手に保持した状態でなくともオブジェクトＯを視認することができるため、利便性にも優れる。また、表示部をシースルー型のＨＭＤとしたので、外景とオブジェクトとを重ねて情報を得ることができる。
【００８６】
（９）本実施形態に係る表示制御プログラムは、表示部１２と、マイクロフォン１１とを備えた携帯型表示装置１を、マイクロフォン１１に入力された音の周波数成分から最大音圧の周波数ｆmaxを決定する音処理手段（制御部１４）、複数の帯域Ｂに分割された音の周波数の各帯域Ｂに割り付けられたオブジェクトＯを記憶する記憶部１３（オブジェクト記憶手段）、音処理手段（制御部１４）により決定された最大音圧の周波数ｆmaxを含む帯域Ｂmaxに割り付けられたオブジェクトＯを記憶部１３（オブジェクト記憶手段）から読み出して表示部１２に表示させる表示制御手段（制御部１４）、として機能させる。これにより、例えば、この表示制御プログラムをインストールすることで、最大音圧の周波数ｆmaxを含む帯域Ｂmaxに割り付けられたオブジェクトＯを、表示部１２に表示させることができる。
【符号の説明】
【００８７】
１，２ 携帯型表示装置
１１，５０ マイクロフォン
１２ 表示部
１３，２１ 記憶部
１４，２２ 制御部
１５ ＣＰＵ
１６ ＲＯＭ
１７ ＲＡＭ
２０ コントロールユニット
２３ 光源部
３０ ヘッドマウントディスプレイ
３１ 投影ユニット
３２ フレーム
３３ ハーフミラー
４０ 伝送ケーブル
Ｂ 帯域
Ｏ オブジェクト
【技術分野】
【０００１】
本発明は、携帯型表示装置及び表示制御プログラムに関するものであり、特に、マイクロフォンから入力された音に応じたオブジェクトを表示する携帯型表示装置及び表示制御プログラムに関するものである。
【背景技術】
【０００２】
従来より、マイクロフォンに入力された音を、表示部により視覚的に表示する携帯機器が提案されている。かかる携帯機器により、音の認識が困難である聴覚障害者に対して、マイクロフォンに入力された音が視覚情報として提供される。
【０００３】
例えば、特許文献１では、各音源からの音を識別して、各音源を示すオブジェクト画像を表示することができる携帯機器が提案されている。この携帯機器では、音源の音の特徴部分をサンプリングして特徴を抽出して得られた特徴データと音源を示すオブジェクトのデータとを関連付けて記憶している。そして、この携帯機器は、マイクロフォンに入力された音の特徴と合致する特徴データがあるときに、この特徴データに対応する音源を示すオブジェクトを表示する。例えば、踏み切り遮断機の音の特徴をサンプリングした特徴データと踏み切り遮断機の画像データとが関連づけて記憶された状態で、マイクロフォンに入力された音に踏み切り遮断機の音の特徴と合致する音が含まれていれば、踏み切り遮断機の画像が表示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−９９４１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に記載の携帯機器では、特徴データを記憶していない未知の音源の音がマイクロフォンに入力された場合には、その音源を識別することができない。また、様々な音源の音に対応しようとする場合には、記憶すべき音源の音の特徴データ量が膨大となり、現実的でない。このように、特許文献１に記載の携帯機器は、実用化が困難である。
【０００６】
本発明は、上述したような課題に鑑みてなされたものであり、音源を識別することなく、マイクロフォンに入力された音に応じたオブジェクトを表示することができる携帯型表示装置及び表示制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に係る発明は、表示部と、マイクロフォンと、前記マイクロフォンに入力された音の周波数成分から最大音圧の周波数を決定する音処理部と、複数の帯域に分割された音の周波数の各帯域に割り付けられた互いに異なるオブジェクトを記憶するオブジェクト記憶部と、前記音処理部により決定された前記最大音圧の周波数を含む帯域に割り付けられたオブジェクトを前記オブジェクト記憶部から読み出して前記表示部に表示させる表示制御部と、を備えることを特徴とする携帯型表示装置である。
【０００８】
また、請求項２に係る発明は、請求項１に記載の携帯型表示装置において、前記最大音圧と前記最大音圧の周波数の周囲の周波数の音圧との比較結果に基づいて、前記周囲の周波数の音圧に対する前記最大音圧の突出度合いを判定する突出度合い判定部を備え、前記表示制御部は、前記突出度合い判定部によって判定された前記突出度合いが、所定値以上であることを条件として、前記オブジェクトを前記表示部に表示させることを特徴とする。
【０００９】
また、請求項３に係る発明は、請求項１又は請求項２に記載の携帯型表示装置において、前記音処理部は、前記周波数成分から基音の周波数成分を抽出し、抽出した基音の周波数成分から前記最大音圧の周波数を決定することを特徴とする。
【００１０】
また、請求項４に係る発明は、請求項１〜３のいずれか１項に記載の携帯型表示装置において、前記音処理部により決定された最大音圧の周波数が周期的に出現しているか否かを判定する周期性判定部を備え、前記表示制御部は、前記周期性判定部によって前記音処理部により決定された最大音圧の周波数が周期的に出現していると判定されたことを条件として、前記オブジェクトを前記表示部に表示させることを特徴とする。
【００１１】
また、請求項５に係る発明は、請求項１〜４のいずれか１項に記載の携帯型表示装置において、前記表示制御部は、前記最大音圧が閾値以上であると判定したことを条件として、前記オブジェクトを前記表示部に表示させることを特徴とする。
【００１２】
また、請求項６に係る発明は、請求項１〜５のいずれか１項に記載の携帯型表示装置において、前記複数の帯域の幅は、それぞれ対数表において互いに等しいことを特徴とする。
【００１３】
また、請求項７に係る発明は、請求項６に記載の携帯型表示装置において、前記複数の帯域のそれぞれは、１オクターブを複数の音階に分割した音律における、それぞれの音階に対応していることを特徴とする。
【００１４】
また、請求項８に係る発明は、請求項１〜７のいずれか１項に記載の携帯表示装置において、前記表示部は、シースルー型のヘッドマウントディスプレイであることを特徴とする。
【００１５】
また、請求項９に係る発明は、表示部と、マイクロフォンとを備えた携帯表示装置を、前記マイクロフォンに入力された音の周波数成分から最大音圧の周波数を決定する音処理手段、複数の帯域に分割された音の周波数の各帯域に割り付けられたオブジェクトを記憶するオブジェクト記憶手段、前記音処理手段により決定された前記最大音圧の周波数を含む帯域に割り付けられたオブジェクトを前記オブジェクト記憶手段から読み出して前記表示部に表示させる表示制御手段、として機能させるための表示制御プログラムである。
【発明の効果】
【００１６】
本発明によれば、音の周波数成分から最大音圧の周波数を決定し、最大音圧を含む帯域に割り付けられたオブジェクトを表示しているため、音源を識別することなく、音に応じたオブジェクトを表示することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施形態に係る携帯型表示装置の概略構成を示す図である。
【図２】携帯型表示装置１の構成を示すブロック図である。
【図３】割り付けテーブルの一例を示す図である。
【図４】オブジェクトの一例を示す図である。
【図５】周波数スペクトルを模式的に示した図である。
【図６】オブジェクトの表示方法の一例を示す図である。
【図７】オブジェクトの表示方法の他の例を示す図である。
【図８】オブジェクトの表示例を示す図である。
【図９】オブジェクトの他の表示例を示す図である。
【図１０】突出度合い判定処理を説明する図である。
【図１１】他の突出度合いを判定する処理を説明する図である。
【図１２】周期性を判定する処理を説明する図である。
【図１３】閾値の判定を行う処理を説明する図である。
【図１４】帯域の幅を示す図である。
【図１５】帯域の幅を示す他の図である。
【図１６】携帯型表示装置で実行される処理の流れを示す図である。
【図１７】本発明の第２実施形態に係る携帯型表示装置の概略構成を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施形態を、図面を参照して説明する。
【００１９】
［１．第１実施形態］
［１．１．携帯型表示装置１の概要］
まず、本発明の第１実施形態に係る携帯型表示装置の概要について図１を参照して説明する。
【００２０】
第１実施形態に係る携帯型表示装置１は、マイクロフォン１１と、表示部１２とを有し、マイクロフォン１１に入力された音（以下、入力音ともいう）を解析して、予め記憶されたオブジェクトＯの中から、入力音に応じたオブジェクトＯを表示部１２に表示するものである。
【００２１】
特に、この携帯型表示装置１では、入力音の解析処理、入力音に応じたオブジェクトＯの選択処理を次のように行うことで、音源を識別することなく、マイクロフォンに入力された音に応じたオブジェクトを表示するようにしている。
【００２２】
まず、携帯型表示装置１は、入力音の解析処理として、入力音の周波数成分を解析し、これらの周波数成分のうち最も音圧が高い周波数を選択して、この周波数を最大音圧の周波数として決定する処理を行う。携帯型表示装置１は、入力音の周波数成分の解析を、例えば、ＦＦＴ（Fast Fourier Transform：高速フーリエ変換）処理によって行う。
【００２３】
次に、携帯型表示装置１は、入力音に応じたオブジェクトＯの選択処理として、前記解析処理により決定した最大音圧の周波数を含む帯域に割り付けられたオブジェクトを選択する処理を行う。後述する記憶部１３には、予め複数の帯域に分割された音の周波数の各帯域の情報とオブジェクトの情報とが互いに関連づけられて記憶されている。携帯型表示装置１は、記憶部１３に記憶している情報に基づいて、最大音圧の周波数を含む帯域に割り付けられたオブジェクトを選択する。
【００２４】
記憶部１３に記憶されたオブジェクトは、帯域毎に異なるように割り当てられている。これにより、携帯型表示装置１の利用者Ｕは、自身の周囲で発生した音のうち最も音圧が大きい音の周波数に応じたオブジェクトを視覚的に認識することができる。そのため、携帯型表示装置１の利用者Ｕは、自身の周囲の状況と表示部１２の表示内容を関連づける学習をすることで、自身の周囲で発生した音を視覚情報として得ることができる。例えば、救急車のサイレンの音が、７７０Ｈｚの低音と９６０Ｈｚの高音とが１秒毎に切り替わるものであるとする。そして、７７０Ｈｚを含む帯域に割り当てられたオブジェクトが「○」で、９６０Ｈｚを含む帯域に割り当てられたオブジェクトが「△」であるとする。このとき、携帯型表示装置１は、「○」と「△」とを１秒毎に交互に表示部１２に表示することになる。利用者Ｕは、表示部１２において「○」と「△」とが交互に表示されていることを確認した後、周囲を見回して、周囲の状況を把握する。このとき、救急車が近くを通っていれば、利用者Ｕは、「○」と「△」とが交互に現れるオブジェクト表示が救急車に対応するものではないかと考える。このような状況に繰り返し遭遇することで、利用者Ｕは、「○」と「△」とが交互に現れるオブジェクト表示があれば、救急車が近くを通っていると学習することができる。
【００２５】
携帯型表示装置１では、マイクロフォン１１に入力された音の周波数成分のうち最大の音圧の周波数に応じたオブジェクトを表示することで、利用者Ｕは、その周囲で発生した音を視覚情報として得ることができる。特に、携帯型表示装置１では、最大の音圧の周波数のオブジェクトのみを表示し、それ以外の周波数はオブジェクト表示に使用しないため、表示内容が複雑にならず、利用者Ｕによる音の識別が容易になる。しかも、携帯型表示装置１では、音源の音の特徴を予め記憶して音源を識別するのではなく、最大音圧の周波数に応じたオブジェクトを表示するだけなので、未知の音源に対しても対応することができる。さらに、携帯型表示装置１では、周波数毎にではなく帯域毎にオブジェクトを割り当ているため、オブジェクトの数を少なくすることができ、音に応じたオブジェクトの把握が容易である。
【００２６】
以下、携帯型表示装置１の具体的な構成及び動作の一例について図面を参照して具体的に説明する。
【００２７】
［１．２．携帯型表示装置１の構成］
次に、本実施形態に係る携帯型表示装置１の構成について説明する。携帯型表示装置１は、図２に示すように、マイクロフォン１１と、表示部１２と、記憶部１３と、制御部１４とを備える。
【００２８】
マイクロフォン１１は、例えば、携帯型表示装置１の上端部に設けられている。マイクロフォン１１は、利用者の周囲で発生した音を入力可能に構成されている（図１参照）。このマイクロフォン１１は、入力音を電気信号に変換する機能を有する。マイクロフォン１１に入力された音は、変換した電気信号の波形を音データとして記憶部１３に一時的に記憶される。予め規定された基準時間Ｔ（例えば、数十ｍｓ）分の最新の電気信号の波形は、音データとして記憶され、基準時間Ｔよりも以前の電気信号の波形は記憶部１３から消去される。
【００２９】
表示部１２は、例えば、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）により構成される。表示部１２は、入力音の周波数成分のうち最大音圧の周波数に応じたオブジェクトＯを表示する。
【００３０】
記憶部１３は、例えば、不揮発性メモリやハードディスクにより構成される。記憶部１３は、オブジェクトＯと音の周波数の帯域とを関連づけた割り付けテーブルを記憶する割り付けテーブル記憶部、及び割り付けテーブルで帯域と割り付けられた複数のオブジェクトＯを記憶するオブジェクト記憶部として機能する。
【００３１】
記憶部１３に記憶される割り付けテーブルは、図３に示すように、各オブジェクトＯと、複数の帯域に分割された音の周波数の各帯域Ｂとを関連づけるテーブルである。
【００３２】
記憶部１３に記憶される複数のオブジェクトＯは、例えば形状、模様、色彩などが異なる、互いに異なるオブジェクトである。一例として、本実施形態では、図４に示すように、周波数が０Ｈｚ〜２００００Ｈｚまでの範囲７つに分割した各大帯域Ｂ1〜Ｂ7に、それぞれ形状の異なるオブジェクトＯ1〜Ｏ7が割り付けられる。また、大帯域Ｂ1は、７つの小帯域Ｂ11〜Ｂ17に分割され、各小帯域Ｂ11〜Ｂ17には、それぞれ色彩の異なるオブジェクトＯ11〜Ｏ17が割り付けられる。なお、図４では、大帯域Ｂ1を、７つの小帯域Ｂ11〜Ｂ17に分割した状態のみを図示しているが、これと同様に、大帯域Ｂ2〜Ｂ7もそれぞれ７つの小帯域に分割される。すなわち、大帯域Ｂ2は小帯域Ｂ21〜Ｂ27に分割され、大帯域Ｂ3は帯域Ｂ31〜Ｂ37に分割され、大帯域Ｂ4は小帯域Ｂ41〜Ｂ47に分割され、大帯域Ｂ5は小帯域Ｂ51〜Ｂ57に分割され、大帯域Ｂ6は小帯域Ｂ61〜Ｂ67に分割され、大帯域Ｂ7は小帯域Ｂ71〜Ｂ77に分割される。また、本実施形態では、オブジェクトＯの形状や色彩により、帯域Ｂを区別するようにしたが、これには限定されない。例えば、オブジェクトを記号や文字で表現するときには、記号や文字で帯域Ｂを区別する。
【００３３】
制御部１４は、ＣＰＵ１５とＲＯＭ１６とＲＡＭ１７とを有する。ＲＯＭ１６は携帯型表示装置１の表示制御プログラムを記憶している。携帯型表示装置１を起動すると、ＣＰＵ１５は、ＲＯＭ１６から表示制御プログラムをＲＡＭ１７に読み出し、ＲＡＭ１７を作業領域として表示制御プログラムを実行する。これにより、制御部１４は、表示制御プログラムに応じた機能を発揮する。
【００３４】
制御部１４は、最大音圧の周波数を抽出するために、音データを周波数解析する処理を行う。制御部１４は、音データを周波数解析する処理として、例えば、音データに対して、ＦＦＴ処理を行う。具体的には、制御部１４は、記憶部１３に記憶した音データを基準時間Ｔ毎にＦＦＴ処理を行い、基準時間Ｔ毎に入力音の周波数スペクトル（即ち、入力音を構成する音の周波数の分布）を解析し、周波数スペクトルの情報を順次記憶部１３に記憶する。
【００３５】
音データを周波数解析する処理により得られた周波数スペクトルの一例を図５に示す。同図において、横軸は音の周波数ｆを示し、縦軸は音圧Ｌを示している。このように入力音の周波数スペクトルを解析することにより、制御部１４は、周波数成分が存在する帯域Ｂと、周波数成分の音圧Ｌの大きさを特定することができる。ここで、帯域Ｂは、解析される周波数の範囲が複数の領域に分割されたものであり、隣り合う帯域Ｂ間の周波数は連続する。なお、同図では、説明の便宜上、帯域Ｂの幅を簡略化している。また、帯域Ｂの音圧Ｌは、各帯域Ｂに含まれる周波数成分のうち音圧が最も大きな周波数成分の音圧が帯域Ｂの代表値として採用されたものである。
【００３６】
制御部１４は、入力音の周波数スペクトルに基づき、入力音の周波数成分のうち最も音圧が大きい周波数を、基準時間Ｔ毎に最大音圧の周波数ｆmaxとして決定する。なお、制御部１４は、最大音圧の周波数ｆmaxを、基準時間Ｔ毎に順次記憶部１３に格納する。このように、制御部１４は、マイクロフォン１１に入力された音の周波数成分から最大音圧の周波数ｆmaxを決定する音処理部として機能する。
【００３７】
また、制御部１４は、記憶部１３に記憶されたオブジェクトの中から、最大音圧の周波数ｆmaxに応じたオブジェクトＯを読み出して表示部１２に表示させる処理を行う。すなわち、制御部１４は、最大音圧の周波数ｆmaxを含む帯域Ｂmaxに割り付けられたオブジェクトＯを読み出して表示させる。例えば、制御部１４は、最大音圧の周波数ｆmaxを含む帯域Ｂmaxが、周波数１００Ｈｚ〜１２０Ｈｚの帯域Ｂ16（図４参照）であるとき、制御部１４は、オブジェクトＯ16を表示部１２に表示させる。
【００３８】
また、制御部１４は、記憶部１３に記憶されたオブジェクトの中から、最大音圧の周波数ｆmaxを含む帯域Ｂmaxに応じたオブジェクトＯを読み出して表示部１２に表示させる処理を行う際に、オブジェクトＯを単体表示させたり、スクロール表示させたりする。具体的には、制御部１４は、オブジェクトＯを単体表示させるときには、表示部１２に、オブジェクトＯを、基準時間Ｔ毎に切り替えながら表示させる。つまり、制御部１４により、表示部１２に表示されるオブジェクトＯは、基準時間Ｔ毎に更新される。例えば、図６に示すように、制御部１４は、ある基準時間Ｔ1ではオブジェクトＯaを表示させ、基準時間Ｔ1の次の基準時間Ｔ2ではオブジェクトＯbを表示させ、基準時間Ｔ2の次の基準時間Ｔ3ではオブジェクトＯcを表示させる。このように、制御部１４は、オブジェクトＯの表示を基準時間Ｔ毎に更新することで、利用者は、自身の周囲で発生する音を認識することができる。
【００３９】
また、制御部１４は、オブジェクトＯをスクロール表示させるときには、表示部１２に、所定期間（Ｔ×ｎ：ｎはオブジェクトＯを一度に表示する数）のオブジェクトＯを一見して視認可能に表示させることができる。例えば、図７に示すように、制御部１４は、ある基準時間Ｔ1ではオブジェクトＯaを表示部１２の表示画面の右端に表示させる。そして、制御部１４は、基準時間Ｔ1の次の基準時間Ｔ2では、オブジェクトＯaを表示画面の右端から左側に所定量移動させるとともに、オブジェクトＯaを表示部１２の表示画面の右端に表示させる。そして、制御部１４は、基準時間Ｔ2の次の基準時間Ｔ3では、オブジェクトＯa，Ｏbを表示画面の左側に所定量移動させるとともに、オブジェクトＯcを表示部１２の表示画面の右端に表示させる。このように、制御部１４がオブジェクトＯをスクロール表示させることで、利用者は、自身の周囲で発生する音の特徴の変化を一見して認識することができる。なお、図７に示す例では、４つのオブジェクトＯを同時に表示することとしているが、利用者Ｕは携帯型表示装置１入力部（図示せず）からの入力により、同時に表示するオブジェクトＯの数ｎを設定することができる。
【００４０】
また、制御部１４は、オブジェクトＯを表示部１２に表示させる際には、周波数成分の最大音圧Ｌmaxの大きさに応じた大きさでオブジェクトＯを表示させる。例えば、電話の呼出音のように、所定の位置から発せられる音が一定の大きさでマイクロフォン１１に入力された場合、制御部１４は、図８に示すように、オブジェクトＯを一定の大きさで表示する。
【００４１】
一方、制御部１４は、移動している救急車のサイレンの音のように、マイクロフォン１１に入力される音の大きさが変化する場合には、図９に示すように、オブジェクトＯを、入力される音の大きさに応じた大きさで表示させる。すなわち、制御部１４は、救急車が利用者に近づいて、マイクロフォン１１に入力される音が大きくなるときは、オブジェクトＯを大きく表示し、救急車が利用者から離れて、マイクロフォン１１に入力される音が小さくなるときは、オブジェクトＯを小さく表示する。なお、マイクロフォン１０に入力される音の大きさの変化は、オブジェクトＯの大きさの変化に限られず、オブジェクトＯの形状の変化として表示されてもよい。
【００４２】
携帯型表示装置１は、振動を出力するバイブレータを設けるようにしてもよい。この場合、制御部１４は、表示部１２にオブジェクトＯを表示するとともに、最大音圧の周波数に応じた周波数でバイブレータを振動させるようにしてもよい。これにより、利用者の周囲で音が発生していることを、オブジェクトＯの表示に加え、振動により報知することが可能となる。
【００４３】
以上、説明したように、携帯型表示装置１では、マイクロフォン１１に入力された音の周波数成分のうち最大音圧の周波数に応じたオブジェクトＯを表示部１２に表示するようにしたので、利用者Ｕに、自身の周囲で発生した音を視覚情報として提供することができる。そのため、利用者Ｕは、表示されたオブジェクトＯを視認することで、自身の周囲で発生している音がどのようなものかを認識することができ、より快適に日常生活をおくることができる。特に、携帯型表示装置１によれば、音源を識別することなく、オブジェクトＯを表示することができるため、実用化が容易となる。
【００４４】
また、本実施形態の携帯型表示装置１においては、制御部１４は、最大音圧の周波数ｆmaxの決定に際して、マイクロフォン１１に入力された音の周波数成分から基音の周波数成分を抽出する処理を行う。その後、制御部１４は、基音の周波数成分のうち最も音圧が大きな周波数を判定して最大音圧の周波数ｆmaxを決定する。基音とは、例えば、楽器の弦や管が振動して発する複合音のうち、振動数の最も少ない音である。本実施形態では、オブジェクトＯが割り付けられた帯域Ｂの全ての周波数に対して基音を抽出するようにしており、制御部１４は、マイクロフォン１１に入力された音の周波数成分から基音の周波数成分の周波数スペクトルを解析する。これにより、制御部１４は、マイクロフォン１１に入力された音の周波数成分から、ノイズや音の干渉を除去することができる。
【００４５】
例えば、基音の周波数毎にコムフィルタ（櫛形フィルタ）を設けており、各コムフィルタにより、マイクロフォン１１に入力された音の周波数成分から基音の周波数成分と倍音の周波数成分を抽出する。そして、倍音の周波数成分を除去することで、基音の周波数成分を抽出する。
【００４６】
また、本実施形態の携帯型表示装置１においては、制御部１４は、オブジェクトＯの表示を行うに際して、最大音圧の周波数ｆmaxの周囲の周波数の音圧に対する最大音圧Ｌmaxの突出度合いを判定する。具体的には、制御部１４は、図１０に示すように、最大音圧Ｌmaxと最大音圧の周波数ｆmaxの周囲の周波数ｆcの音圧とを比較し、この比較結果に基づいて突出度合いを判定する。これにより、制御部１４は、最大音圧の周波数のピークが鋭い人工音と、人工音以外の自然音とを識別するようにしている。
【００４７】
制御部１４は、最大音圧Ｌmaxと周囲の周波数の音圧とを比較するとき、周囲の周波数の音圧を、例えば、最大音圧の周波数ｆmaxが含まれる帯域Ｂmaxより周波数が低く、かつ帯域Ｂmaxに直近の帯域Ｂに含まれる周波数ｆLの音圧ＬLとする。そのとき、制御部１４は、最大音圧Ｌmaxと、音圧ＬLとの差や比を算出することにより、最大音圧Ｌmaxの周囲の周波数の音圧に対する突出度合いＶaを算出する。最大音圧Ｌmaxと、音圧ＬLとの差によって突出度合いＶaを算出する場合には、
突出度合いＶa＝最大音圧Ｌmax−音圧ＬL
となる。
また、最大音圧Ｌmaxと、音圧ＬLとの比によって突出度合いＶaを算出する場合には、
突出度合いＶa＝最大音圧Ｌmax／ＬL
となる。
【００４８】
制御部１４は、突出度合いＶaが、予め記憶部１３に記憶された突出度合いの所定値Ｖb以上であることを条件として、最大音圧Ｌmaxの周波数ｆmaxに対応するオブジェクトＯを記憶部１３から読み出し、表示部１２に表示させる。突出度合いの所定値Ｖbとは、例えば、人工音と自然音とを識別することができる値である。
【００４９】
また、上述した例では、周囲の周波数の音圧を音圧ＬLとしたが、これには限定されず、例えば、最大音圧の周波数ｆmaxが含まれる帯域Ｂmaxより周波数が高く、かつ帯域Ｂmaxに直近の帯域Ｂに含まれる周波数ｆHの音圧ＬHとしてもよい。また、周囲の周波数の音圧を、音圧ＬLと音圧ＬHとの平均したものとしてもよい。なお、周波数ｆLや周波数ｆHはそれぞれ属する帯域Ｂ内で最も音圧が高い周波数である。
【００５０】
また、制御部１４は、突出度合いの判定を、周波数スペクトルを用いて得たガウス分布の半値幅に基づいて用いて行うこともできる。これにより、突出度合いの判定を、精度よく行うことができる。例えば、制御部１４は、図１０に示す周波数スペクトルに基づいて、図１１に示すガウス分布を得る。そして、制御部１４は、最大音圧Ｌmaxに基づいて半値幅ｗaを算出する。具体的には、最大音圧Ｌmaxの半分の値Ｌmidとなる周波数ｆx，ｆyを算出することにより、半値幅ｗaを算出する。そして、制御部１４は、半値幅ｗaが、予め記憶部１３に記憶された半値幅の所定値ｗb以下であることを条件として、最大音圧Ｌmaxの周波数ｆmaxに対応するオブジェクトＯを記憶部１３から読み出し、表示部１２に表示させる。半値幅の所定値ｗbは、突出度合いの所定値Ｖbと同様に、人工音と自然音とを識別することができる値である。このように、制御部１４は、突出度合い判定部として機能する。
【００５１】
また、本実施形態の携帯型表示装置１においては、制御部１４は、オブジェクトＯの表示を行うに際して、最大音圧の周波数ｆmaxが同一周波数で周期的に出現しているか否かを判定する。制御部１４は、周期性判定を行うとき、基準時間Ｔ毎に最大音圧の周波数ｆmaxを決定すると、決定した基準時間Ｔ毎に最大音圧の周波数ｆmaxを順次記憶部１３に記憶する。そして、制御部１４は、記憶部１３に記憶された最大音圧の周波数ｆmaxを読み出し、図１２に示すように、最大音圧の周波数ｆmaxが同一周波数で周期的に、すなわち、一定期間Δｔ毎に出現するか否かを判定する。これにより、制御部１４は、周期的に繰り返し発せられる報知音を抽出する。そして、制御部１４は、最大音圧の周波数ｆmaxが同一周波数で周期的に出現していると判定すると、最大音圧Ｌmaxの周波数ｆmaxに対応するオブジェクトＯを記憶部１３から読み出し、表示部１２に表示させる。
【００５２】
また、本実施形態の携帯型表示装置１においては、制御部１４は、オブジェクトＯの表示を行うに際して、最大音圧Ｌmaxが、予め記憶部１３に記憶された閾値Ｌｔ以上であるか否かを判定する。制御部１４は、図１３に示すように、最大音圧Ｌmaxが、閾値Ｌｔ以上であることを条件として、オブジェクトＯを表示部１２に表示させる。これにより、制御部１４は、マイクロフォン１１に入力された音がノイズであるか否かを識別することができる。なお、閾値Ｌｔは、例えば、マイクロフォン１１により入力した音とノイズとを識別可能な値である。なお、制御部１４は、マイクロフォン１１により入力した音の周波数成分からノイズレベルを判定し、閾値Ｌｔを調整するようにしている。ノイズレベルの判定例は、例えば、マイクロフォン１１に入力された全周波数帯における音圧の平均値を閾値Ｌｔとして採用する、最大音圧の周波数ｆmaxから所定値だけ離間した周波数における音圧の値を閾値Ｌｔとして採用する、などであってよい。なお、利用者Ｕは携帯型表示装置１入力部（図示せず）からの入力により、閾値Ｌｔを設定することもできる。
【００５３】
また、複数の帯域Ｂの幅は、それぞれ対数表において互いに等しいことが好ましい。例えば、図１４（ａ）に示すように、指数関数的に変化する各帯域Ｂ（Ｂ1〜Ｂ7）の幅は、対数表示することにより、図１４（ｂ）に示すように、各帯域Ｂ’（Ｂ1’〜Ｂ7’）の幅は互いに等しくなる。このように、複数の帯域Ｂの幅を、それぞれ対数表において互いに等しくすることで、人間が認識できる感度に応じてオブジェクトを適切に割り付けることができる。
【００５４】
また、図１５に示すように、複数の帯域Ｂ11’〜Ｂ17’のそれぞれは、１オクターブを複数の音階に分割した音律における、それぞれの音階に対応させてもよい。例えば、（例えば、１オクターブを、ド・レ・ミ・ファ・ソ・ラ・シの７音階に分割する。これにより、各帯域Ｂ’の細かさを７音階が識別可能な帯域幅とすることができる。なお、音階が識別可能な帯域幅であればよく、７音階ではなく例えば１２音階としてもよい。
【００５５】
［１．３．携帯型表示装置１で実行される処理］
以下、携帯型表示装置１で実行される処理について、図１６を用いて説明する。図１６は携帯型表示装置１の制御部１４により実行される処理の流れの一例を示すフロー図である。
【００５６】
図１６に示すように、制御部１４は、ステップＳ１０において、マイクロフォン１１に入力された音を変換した電気信号の波形を音データとして記憶部１３に記憶する処理を行う。この処理が終了すると、制御部１４は、ステップＳ１１に処理を移す。
【００５７】
ステップＳ１１において、制御部１４は、音データを周波数解析する処理を行う。この処理において、制御部１４は、記憶部１３に記憶している音データから、マイクロフォン１１に入力された音の周波数スペクトル（図５参照）を解析する。制御部１４は、この処理が終了すると、ステップＳ１２へ処理を移す。
【００５８】
ステップＳ１２において、制御部１４は、基音の周波数成分を抽出する処理を行う。この処理では、ステップＳ１１において解析した周波数スペクトルから基音の周波数成分の周波数スペクトルを解析する。この処理が終了すると、制御部１４は、ステップＳ１３へ処理を移す。なお、基音の周波数成分の抽出処理は、利用者Ｕの入力部（図示せず）への入力操作によってスキップすることが可能である。
【００５９】
ステップＳ１３において、制御部１４は、最大音圧の周波数ｆmaxを決定する処理を行う。この処理において、制御部１４は、ステップＳ１２で解析した周波数スペクトルに基づいて、最大音圧の周波数ｆmaxを決定する。なお、ステップＳ１２をスキップした場合にはステップＳ１１で解析した周波数スペクトルに基づいて、最大音圧の周波数ｆmaxを決定する。この処理が終了すると、制御部１４は、ステップＳ１４へ処理を移す。
【００６０】
ステップＳ１４において、制御部１４は、ステップＳ１３において決定した最大音圧Ｌmaxが閾値Ｌｔ以上であるか否かを判定する。この処理において、最大音圧Ｌmaxは閾値Ｌｔ以上であると判定すると（ステップＳ１４：Ｙｅｓ）、制御部１４は、処理をステップＳ１５に移す。一方。最大音圧Ｌmaxは閾値Ｌｔ以上でないと判定すると（ステップＳ１４：Ｎｏ）、制御部１４は、処理をステップＳ２０に移す。
【００６１】
ステップＳ１５において、制御部１４は、最大音圧の周波数ｆmaxの突出度合いを判定する処理を行う。この処理において、制御部１４は、図１０に示すように最大音圧Ｌmaxと周囲の周波数の音圧とを比較した突出度合いＶaが所定値Ｖb以上であるか否かを判定する。この処理において、制御部１４は、突出度合いＶaが所定値Ｖb以上であると判定すると（ステップＳ１５：Ｙｅｓ）、ステップＳ１６へ処理を移す。一方、制御部１４は、突出度合いＶaが所定値Ｖb以上でないと判定すると（ステップＳ１５：Ｎｏ）、ステップＳ２０へ処理を移す。
【００６２】
ステップＳ１６において、制御部１４は、周期性判定の設定が記憶部１３にされているか否かを判定する。周期性判定の設定は、利用者Ｕによる携帯型表示装置１の入力部（図示せず）への入力操作によって行うことができる。利用者Ｕが入力部を操作して周期性判定を行う設定をしたとき、制御部１４は、記憶部１３に周期性判定の設定を行う。このステップＳ１６において、制御部１４は、周期性判定の設定が記憶部１３にされていると判定すると（ステップＳ１６：Ｙｅｓ）、ステップＳ１７へ処理を移す。一方、制御部１４は、周期性判定の設定が記憶部１３にされていないと判定すると（ステップＳ１６：Ｎｏ）、ステップＳ１９へ処理を移す。
【００６３】
ステップＳ１７において、制御部１４は、最大音圧の周波数ｆmaxの周期性を検出する処理を行う。すなわち、制御部１４は、最大音圧の周波数ｆmaxが同一周波数で一定期間Δｔ毎に出現することを、周波数ｆmaxの周期性として検出する。この処理が終了すると、制御部１４は、処理をステップＳ１８に移す。なお、一定期間Δｔは、所定の時間幅（Δｔ＝ｔａ〜ｔｂ）を有しており、ｔａより短い周期の場合やｔｂを超える周期の場合には、制御部１４は、その最大音圧の周波数ｆmaxの出現を周期性を有するものとしては検出しない。この一定期間Δｔは、利用者Ｕによる携帯型表示装置１の入力部（図示せず）への入力操作によって任意に設定することができる。
【００６４】
ステップＳ１８において、制御部１４は、最大音圧の周波数ｆmaxが周期的に出現するか否かを判定する。つまり、制御部１４は、ステップＳ１７における最大音圧の周波数ｆmaxの周期性の検出の有無に基づき、検出があった場合は最大音圧の周波数ｆmaxが周期的に出現すると判定し、検出がなかった場合は最大音圧の周波数ｆmaxが周期的に出現しないと判定する。制御部１４は、最大音圧の周波数ｆmaxが周期的に出現すると判定すると（ステップＳ１８：Ｙｅｓ）、ステップＳ１９に処理を移す。一方、制御部１４は、最大音圧の周波数ｆmaxが周期的に出現しないと判定すると（ステップＳ１８：Ｎｏ）、ステップＳ２０に処理を移す。
【００６５】
ステップＳ１９において、制御部１４は、オブジェクトを表示させる処理を行う。この処理では、制御部１４は、記憶部１３に記憶されたオブジェクトの中から、最大音圧の周波数ｆmaxを含む帯域Ｂmaxに応じたオブジェクトＯを読み出し、このオブジェクトＯを最大音圧Ｌmaxの大きさに応じた大きさで表示部１２に表示させる。この処理が終了すると、制御部１４は、ステップＳ２０へ処理を移す。なお、制御部１４は、単体表示設定がされているときには単体表示を行い、スクロール表示設定がされているときにはスクロール表示を行う。単体表示設定とスクロール表示設定とは選択的に設定可能であり、利用者Ｕによる携帯型表示装置１の入力部（図示せず）への入力操作によって設定することができる。
【００６６】
ステップＳ２０において、制御部１４は、利用者Ｕによる携帯型表示装置１の入力部（図示せず）への入力操作などによってアプリ終了トリガがあるか否かを判定し、アプリ終了トリガがあると判定すると（ステップＳ２０：Ｙｅｓ）、制御部１４は、携帯型表示装置１で実行される処理のフローを終了する。一方、アプリ終了トリガがないと判定すると（ステップＳ２０：Ｎｏ）、制御部１４は、ステップＳ１０へ処理を戻す。
【００６７】
上述した携帯型表示装置１で実行される処理は、ＣＰＵ１５が表示制御プログラムを読み込むことで実行される。すなわち、表示制御プログラムは、表示部１２と、マイクロフォン１１とを備えた携帯型表示装置１を、マイクロフォン１１に入力された音の周波数成分から最大音圧の周波数ｆmaxを決定する音処理手段、複数の帯域Ｂに分割された音の周波数の各帯域Ｂに割り付けられたオブジェクトＯを記憶するオブジェクト記憶手段、音処理手段により決定された最大音圧の周波数を含む帯域に割り付けられたオブジェクトＯをオブジェクト記憶手段から読み出して表示部１２に表示させる表示制御手段、として機能させる。
【００６８】
［２．第２実施形態］
本発明の第２実施形態について説明する。携帯型表示装置２の構成について、図１７を用いて説明する。なお、本実施形態の携帯型表示装置２の処理については、上述した携帯型表示装置１の処理と同様であるため説明を省略する。この携帯型表示装置２は、表示部１２をＬＣＤなどの表示装置とするのではなく、シースルー型のヘッドマウントディスプレイ（以下、ＨＭＤという）とする点で異なる。表示部をシースルー型のＨＭＤとすることで、利用者Ｕは、例えば、移動しながら前方にオブジェクトＯを視認することが可能となる。
【００６９】
図１７に示すように、携帯型表示装置２は、コントロールユニット２０と、表示部としてのシースルー型のＨＭＤ３０と、マイクロフォン５０とを備える。
【００７０】
ＨＭＤ３０は、投影ユニット３１、フレーム３２を有している。投影ユニット３１は、コントロールユニット２０から出力される画像信号に基づいて、画像光を生成して利用者の眼に投射する。投影ユニット３１は、画像信号に応じて強度変調した光束を２次元走査して利用者の眼に投射し、利用者の眼の網膜上で強度変調した光束を２次元走査することで、利用者に画像信号に応じた画像を視認させる網膜走査型の表示部である。なお、投影ユニット３１として網膜走査型の表示部ではなくＬＣＤ型の表示部を採用することも可能である。ＬＣＤ型の表示部は、例えば、反射型ＬＣＤに画像信号に応じた画像を表示し、このＬＣＤに光を反射させて画像光を生成し、利用者の眼に投射することで、利用者に画像信号に応じた画像を視認させる。
【００７１】
投影ユニット３１は、利用者の眼に画像光を入射させるためのハーフミラー３３を有する。ハーフミラー３３は、利用者の眼の前方に位置するように設けられる。投影ユニット３１は、ハーフミラー３３により、出射した画像光を反射させて利用者の眼に入射させる。また、ハーフミラー３３は、外光を透過させて利用者の眼に入射させる。したがって、利用者は、外光により認識される外景に、画像光による画像を重ねて視認することができる。
【００７２】
フレーム３２は、投影ユニット３１を支持するとともに、利用者の頭部に装着される部分である。フレーム３２は、利用者の頭部に装着された状態で、前述したような投影ユニット３１による利用者の眼への画像光の投射ができるように、投影ユニット３１を支持する。本実施形態の携帯型表示装置２では、投影ユニット３１は、フレーム３２に対して、フレーム３２を頭部に装着した状態の利用者の左側に取り付けられる。
【００７３】
マイクロフォン５０は、上述したマイクロフォン１１と同様に、利用者の周囲で発生した音を入力可能に構成されている。このマイクロフォン５０は、入力された音を電気信号に変換する機能を有し、マイクロフォン５０に入力された音を電気信号として伝送ケーブル４０を介してコントロールユニット２０の記憶部２１に音データとして一時的に記憶する。このマイクロフォン５０は、フレーム３２に対して、フレーム３２を頭部に装着した状態の利用者の左側に取り付けられ、利用者の耳に近い位置で音を入力できるようになっている。なお、マイクロフォン５０は、コントロールユニット２０に設けられていてもよい。
【００７４】
マイクロフォン５０に入力された音は、マイクロフォン５０で電気信号に変換される。この電気信号は、記憶部２１に音データとして一時的に記憶され、コントロールユニット２０の制御部２２において周波数解析されて最大音圧の周波数ｆmaxが決定される。制御部２２では、最大音圧の周波数ｆmaxを含む帯域Ｂmaxに割り当てられたオブジェクトＯを記憶部２１から読み出す。このオブジェクトＯは、ＨＭＤ３０の投影ユニット３１により、利用者の眼に投影される。
【００７５】
このように、携帯型表示装置２では、表示部を利用者の頭部に装着したＨＭＤ３０としたので、利用者は、自身の周囲で発生する音に応じたオブジェクトを外景と重ねて視覚情報として得ることができるため、より快適に日常生活を送ることができる。また、利用者は表示部を手に保持した状態でなくともオブジェクトＯを視認することができるため、利便性にも優れる。
【００７６】
以上、本発明の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【００７７】
本発明を、以上説明した実施形態の携帯型表示装置及び表示制御プログラムによれば、以下の効果が期待できる。
【００７８】
（１）本実施形態に係る携帯型表示装置は、表示部１２と、マイクロフォン１１と、マイクロフォン１１に入力された音の周波数成分から最大音圧の周波数ｆmaxを決定する音処理部（制御部１４）と、複数の帯域Ｂに分割された音の周波数ｆの各帯域Ｂに割り付けられた互いに異なるオブジェクトＯを記憶する記憶部１３（オブジェクト記憶部）と、音処理部（制御部１４）により決定された最大音圧の周波数ｆmaxを含む帯域Ｂに割り付けられたオブジェクトＯを記憶部１３（オブジェクト記憶部）から読み出して表示部１２に表示させる表示制御部（制御部１４）と、を備える。これにより、利用者に、自身の周囲で発生した音を視覚情報として提供することができる。また、携帯型表示装置１によれば、音源を識別することなく、入力される音の周波数成分のうち最大音圧の周波数に応じたオブジェクトＯを表示するため、容易に実用化することができる。
【００７９】
（２）また、本実施形態に係る携帯型表示装置においては、最大音圧Ｌmaxと最大音圧の周波数の周囲の周波数の音圧Ｌcとの比較結果に基づいて、周囲の周波数の音圧Ｌcに対する最大音圧Ｌmaxの突出度合いを判定する突出度合い判定部（制御部１４）を備える。また、表示制御部（制御部１４）は、突出度合い判定部（制御部１４）によって判定された突出度合いが、所定値Ｖb以上であることを条件として、オブジェクトＯを表示部１２に表示させる。これにより、マイクロフォン１１に入力された音の周波数成分から、人工音の周波数成分を抽出することができる。
【００８０】
（３）また、本実施形態に係る携帯型表示装置においては、音処理部（制御部１４）は、周波数成分から基音の周波数成分を抽出し、抽出した基音の周波数成分から最大音圧の周波数ｆmaxを決定する。これにより、ノイズや音の干渉の影響を除去することができ、音源本来の音の成分を抽出することができる。
【００８１】
（４）また、本実施形態に係る携帯型表示装置においては、音処理部（制御部１４）により決定された最大音圧の周波数ｆmaxが周期的に出現しているか否かを判定する制御部１４（周期性判定部）を備える。また、表示制御部（制御部１４）は、周期性判定部（制御部１４）によって音処理部（制御部１４）により決定された最大音圧の周波数ｆmaxが周期的に出現していると判定されたことを条件として、オブジェクトＯを表示部１２に表示させる。これにより、マイクロフォン１１に入力された音の周波数成分から、報知音等の繰り返し発せられる音の周波数成分を抽出することができる。
【００８２】
（５）また、本実施形態に係る携帯型表示装置においては、表示制御部（制御部１４）は、最大音圧Ｌmaxが閾値Ｌｔ以上であると判定したことを条件として、オブジェクトＯを表示部１２に表示させる。これにより、例えば、マイクロフォン１１に入力された音がノイズしかない場合にオブジェクト表示することを防止することができ、利用者の混乱を防止することができる。
【００８３】
（６）また、本実施形態に係る携帯型表示装置においては、複数の帯域Ｂの幅は、それぞれ対数表において互いに等しいこととする。これにより、例えば、複数の帯域Ｂの幅を、それぞれ対数表において互いに等しくすることで、人間が認識できる感度に応じてオブジェクトを適切に割り付けることができる。
【００８４】
（７）また、本実施形態に係る携帯型表示装置においては、複数の帯域Ｂのそれぞれは、１オクターブを複数の音階に分割した音律における、それぞれの音階に対応している。これにより、例えば、各帯域Ｂ’の細かさをそれぞれの音階が識別可能な帯域幅とすることができる。
【００８５】
（８）また、本実施形態に係る携帯型表示装置においては、表示部は、シースルー型のヘッドマウントディスプレイである。これにより、オブジェクトＯをＨＭＤ３０により表示することができる。これにより、利用者は表示部を手に保持した状態でなくともオブジェクトＯを視認することができるため、利便性にも優れる。また、表示部をシースルー型のＨＭＤとしたので、外景とオブジェクトとを重ねて情報を得ることができる。
【００８６】
（９）本実施形態に係る表示制御プログラムは、表示部１２と、マイクロフォン１１とを備えた携帯型表示装置１を、マイクロフォン１１に入力された音の周波数成分から最大音圧の周波数ｆmaxを決定する音処理手段（制御部１４）、複数の帯域Ｂに分割された音の周波数の各帯域Ｂに割り付けられたオブジェクトＯを記憶する記憶部１３（オブジェクト記憶手段）、音処理手段（制御部１４）により決定された最大音圧の周波数ｆmaxを含む帯域Ｂmaxに割り付けられたオブジェクトＯを記憶部１３（オブジェクト記憶手段）から読み出して表示部１２に表示させる表示制御手段（制御部１４）、として機能させる。これにより、例えば、この表示制御プログラムをインストールすることで、最大音圧の周波数ｆmaxを含む帯域Ｂmaxに割り付けられたオブジェクトＯを、表示部１２に表示させることができる。
【符号の説明】
【００８７】
１，２ 携帯型表示装置
１１，５０ マイクロフォン
１２ 表示部
１３，２１ 記憶部
１４，２２ 制御部
１５ ＣＰＵ
１６ ＲＯＭ
１７ ＲＡＭ
２０ コントロールユニット
２３ 光源部
３０ ヘッドマウントディスプレイ
３１ 投影ユニット
３２ フレーム
３３ ハーフミラー
４０ 伝送ケーブル
Ｂ 帯域
Ｏ オブジェクト
【特許請求の範囲】
【請求項１】
表示部と、
マイクロフォンと、
前記マイクロフォンに入力された音の周波数成分から最大音圧の周波数を決定する音処理部と、
複数の帯域に分割された音の周波数の各帯域に割り付けられた互いに異なるオブジェクトを記憶するオブジェクト記憶部と、
前記音処理部により決定された前記最大音圧の周波数を含む帯域に割り付けられたオブジェクトを前記オブジェクト記憶部から読み出して前記表示部に表示させる表示制御部と、を備える
ことを特徴とする携帯型表示装置。
【請求項２】
前記最大音圧と前記最大音圧の周波数の周囲の周波数の音圧との比較結果に基づいて前記周囲の周波数の音圧に対する前記最大音圧の突出度合いを判定する突出度合い判定部を備え、
前記表示制御部は、前記突出度合い判定部によって判定された前記突出度合いが、所定値以上であることを条件として、前記オブジェクトを前記表示部に表示させる
ことを特徴とする請求項１に記載の携帯型表示装置。
【請求項３】
前記音処理部は、前記周波数成分から基音の周波数成分を抽出し、抽出した基音の周波数成分から前記最大音圧の周波数を決定する
ことを特徴とする請求項１又は請求項２に記載の携帯型表示装置。
【請求項４】
前記音処理部により決定された最大音圧の周波数が周期的に出現しているか否かを判定する周期性判定部を備え、
前記表示制御部は、前記周期性判定部によって前記音処理部により決定された最大音圧の周波数が周期的に出現していると判定されたことを条件として、前記オブジェクトを前記表示部に表示させる
ことを特徴とする請求項１〜３のいずれか１項に記載の携帯型表示装置。
【請求項５】
前記表示制御部は、前記最大音圧が閾値以上であると判定したことを条件として、前記オブジェクトを前記表示部に表示させる
ことを特徴とする請求項１〜４のいずれか１項に記載の携帯型表示装置。
【請求項６】
前記複数の帯域の幅は、それぞれ対数表において互いに等しい
ことを特徴とする請求項１〜５のいずれか１項に記載の携帯型表示装置。
【請求項７】
前記複数の帯域のそれぞれは、１オクターブを複数の音階に分割した音律における、それぞれの音階に対応している
ことを特徴とする請求項６に記載の携帯型表示装置。
【請求項８】
前記表示部は、シースルー型のヘッドマウントディスプレイである
ことを特徴とする請求項１〜７のいずれか１項に記載の携帯表示装置。
【請求項９】
表示部と、マイクロフォンとを備えた携帯表示装置を、
前記マイクロフォンに入力された音の周波数成分から最大音圧の周波数を決定する音処理手段、
複数の帯域に分割された音の周波数の各帯域に割り付けられたオブジェクトを記憶するオブジェクト記憶手段、
前記音処理手段により決定された前記最大音圧の周波数を含む帯域に割り付けられたオブジェクトを前記オブジェクト記憶手段から読み出して前記表示部に表示させる表示制御手段、
として機能させるための表示制御プログラム。
【請求項１】
表示部と、
マイクロフォンと、
前記マイクロフォンに入力された音の周波数成分から最大音圧の周波数を決定する音処理部と、
複数の帯域に分割された音の周波数の各帯域に割り付けられた互いに異なるオブジェクトを記憶するオブジェクト記憶部と、
前記音処理部により決定された前記最大音圧の周波数を含む帯域に割り付けられたオブジェクトを前記オブジェクト記憶部から読み出して前記表示部に表示させる表示制御部と、を備える
ことを特徴とする携帯型表示装置。
【請求項２】
前記最大音圧と前記最大音圧の周波数の周囲の周波数の音圧との比較結果に基づいて前記周囲の周波数の音圧に対する前記最大音圧の突出度合いを判定する突出度合い判定部を備え、
前記表示制御部は、前記突出度合い判定部によって判定された前記突出度合いが、所定値以上であることを条件として、前記オブジェクトを前記表示部に表示させる
ことを特徴とする請求項１に記載の携帯型表示装置。
【請求項３】
前記音処理部は、前記周波数成分から基音の周波数成分を抽出し、抽出した基音の周波数成分から前記最大音圧の周波数を決定する
ことを特徴とする請求項１又は請求項２に記載の携帯型表示装置。
【請求項４】
前記音処理部により決定された最大音圧の周波数が周期的に出現しているか否かを判定する周期性判定部を備え、
前記表示制御部は、前記周期性判定部によって前記音処理部により決定された最大音圧の周波数が周期的に出現していると判定されたことを条件として、前記オブジェクトを前記表示部に表示させる
ことを特徴とする請求項１〜３のいずれか１項に記載の携帯型表示装置。
【請求項５】
前記表示制御部は、前記最大音圧が閾値以上であると判定したことを条件として、前記オブジェクトを前記表示部に表示させる
ことを特徴とする請求項１〜４のいずれか１項に記載の携帯型表示装置。
【請求項６】
前記複数の帯域の幅は、それぞれ対数表において互いに等しい
ことを特徴とする請求項１〜５のいずれか１項に記載の携帯型表示装置。
【請求項７】
前記複数の帯域のそれぞれは、１オクターブを複数の音階に分割した音律における、それぞれの音階に対応している
ことを特徴とする請求項６に記載の携帯型表示装置。
【請求項８】
前記表示部は、シースルー型のヘッドマウントディスプレイである
ことを特徴とする請求項１〜７のいずれか１項に記載の携帯表示装置。
【請求項９】
表示部と、マイクロフォンとを備えた携帯表示装置を、
前記マイクロフォンに入力された音の周波数成分から最大音圧の周波数を決定する音処理手段、
複数の帯域に分割された音の周波数の各帯域に割り付けられたオブジェクトを記憶するオブジェクト記憶手段、
前記音処理手段により決定された前記最大音圧の周波数を含む帯域に割り付けられたオブジェクトを前記オブジェクト記憶手段から読み出して前記表示部に表示させる表示制御手段、
として機能させるための表示制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−８８４２（Ｐ２０１２−８８４２Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４４８２２（Ｐ２０１０−１４４８２２）
【出願日】平成２２年６月２５日（２０１０．６．２５）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【出願人】（３０４０２１２７７）国立大学法人 名古屋工業大学 (784)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２５日（２０１０．６．２５）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【出願人】（３０４０２１２７７）国立大学法人 名古屋工業大学 (784)
【Ｆターム（参考）】
[ Back to top ]