説明

画像表示装置

【課題】表示領域から離れた位置からも任意の画像を表示領域に表示することができ、表示領域から離れた位置から自由に絵を描いているような演出を行うことができる画像表示装置を提供する。
【解決手段】所定の音波を発生させる音波発生手段と、所定の音波を検出する音波検出手段と、所定の音波を発生させた位置を特定する位置特定手段と、位置特定手段によって特定された位置と、該特定された位置に略正対した表示領域における任意の画像の表示位置とを相関付けする相関手段と、任意の画像の画像データを記憶する記憶手段と、音波発生手段によって発生させた所定の音波に応じ、記憶手段に記憶された画像データに基づいて、相関手段によって特定された位置と相関付けされた表示位置に、任意の画像Z1〜Z7、Z10を所定時間に亘って表示する制御を行う表示制御手段と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、表示手段の表示領域に、任意の画像を入力して表示する画像表示装置に関する。
【背景技術】
【0002】
特許文献1には、入力手段の移動に応じて動的で面白みのある画像入力を行うことができ、さらにアクセントのある画像を入力する技術が開示されている。特許文献1の技術では、タッチペンによって落書き入力領域をタッチする位置に親画像を表示し、落書き入力領域をタッチペンが移動する軌跡上に子画像を配置する。これにより、落書き入力領域では、親画像から子画像の画像要素が次々に生まれているような落書き画像を描くことができ、落書き画像の編集時に面白みが増す。
【0003】
さらに、子画像が複数で構成されている場合には、タッチペンが移動する軌跡上に一の子画像と他の子画像とを配置することにより、他の子画像が一の子画像のアクセントになり、落書き画像を編集する作業が多様なものとなる。
【0004】
また、特許文献2には、音源の方向を推定すると共に、推定された音源位置近傍の映像をカメラで採取し、ディスプレイに表示された前記音源位置近傍の映像上に、音源位置を表示する音源探査システムに関する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−60603号公報
【特許文献2】特開2002−181913号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1の技術では、タッチペンによってタッチされた落書き入力領域等の表示領域に親画像を表示したり、該表示領域での軌跡上に子画像を表示したりすることができるが、表示領域からタッチペンが離れた状態では、親画像や子画像等の任意の画像を表示領域に表示することができなかった。
【0007】
これに対し、表示領域から離れた位置からも、タッチペンを用いた場合のように表示領域に任意の画像を表示することができれば、該表示領域に表示される任意の画像に従って、自由に絵を描いているような演出を行うことができる。
【0008】
この発明は、このような状況に鑑み提案されたものであって、表示領域から離れた位置からも任意の画像を表示領域に表示することができ、表示領域から離れた位置から自由に絵を描いているような演出を行うことができる画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
請求項1の発明に係る画像表示装置は、任意の画像を表示する表示領域を有する表示手段と、所定の音波を発生させることが可能な音波発生手段と、前記音波発生手段によって発生させた前記所定の音波を検出する音波検出手段と、前記音波検出手段によって検出した前記所定の音波に基づいて、該所定の音波を発生させた位置を特定する位置特定手段と、前記位置特定手段によって特定された位置と、該特定された位置に略正対した前記表示領域における前記任意の画像の表示位置とを相関付けする相関手段と、前記音波発生手段によって発生させる前記所定の音波に関連付けて前記任意の画像の画像データを記憶する記憶手段と、前記音波発生手段によって発生させた前記所定の音波に応じ、前記記憶手段に記憶された前記画像データに基づいて、前記相関手段によって前記特定された位置と相関付けされた前記表示位置に、該任意の画像を所定時間に亘って表示する制御を行う表示制御手段と、を備えることを特徴とする。
請求項1の発明によれば、表示制御手段を用い、相関手段によって前記特定された位置と相関付けされた前記表示位置に、前記任意の画像を所定時間に亘って表示する制御を行えば、表示位置に、該任意の画像からなる静止画像を所定時間に亘って表示することができる。
このため、表示領域から離れた位置から音波発生手段によって所定の音波を発生させる位置を順次変化させることに伴って、前記特定された位置と相関付けされた表示位置を順次変化させることにより、表示制御手段によって、順次変化させた表示位置に、前記静止画像を所定時間に亘り継続して表示することが可能になる。
これにより、音波発生手段によって所定の音波を発生させることを起点として、順次変化させた表示位置に表示される静止画像によって、表示領域に自由に絵を描いているような演出を行うことができる。
【0010】
請求項2の発明は、請求項1において、前記音波発生手段は、前記表示位置に表示する前記任意の画像を複数の画像から選択する画像選択手段と、前記画像選択手段によって選択される前記複数の画像に含まれる各画像毎に、互いに異なる特定の周波数帯域を有する前記所定の音波をそれぞれ生成する音波生成手段と、を備えることを特徴とする。
請求項2の発明によれば、音波発生手段が備える音波生成手段が、画像選択手段によって選択された各画像毎に、互いに異なる周波数帯域を有する所定の音波をそれぞれ生成するため、音波発生手段は、前記選択される各画像に対応付けた特有の周波数帯域を有する所定の音波を発生させることができる。
【0011】
請求項3の発明は、請求項2において、前記画像選択手段は、前記任意の画像として前記各画像を選択可能な画像選択ボタンと、前記画像選択ボタンに対する押圧力を検出する押圧力検出手段と、を備え、前記表示制御手段は、前記押圧力検出手段によって検出された押圧力に応じ、前記表示位置に表示する前記任意の画像の大きさを変化させる制御を行うことを特徴とする。
請求項3の発明によれば、表示制御手段が、押圧力検出手段によって検出された押圧力に応じ、表示位置に表示する前記任意の画像の大きさを変化させれば、互いに異なる前記表示位置に、大きさが異なる任意の画像をそれぞれ表示することが可能になる。
これに伴って、前記表示位置を含む表示領域では、変化に富んだ絵を描いているような演出が可能になる。
【0012】
請求項4の発明は、請求項1ないし3のいずれかにおいて、前記音波発生手段は、前記音波生成手段によってそれぞれ生成する前記所定の音波の周波数帯域を変更する周波数帯域変更手段を備え、前記表示制御手段は、前記周波数帯域変更手段によって変更された前記周波数帯域に応じ、前記表示位置に表示する前記任意の画像の表示色を変化させる制御を行うことを特徴とする。
請求項4の発明によれば、表示制御手段が、周波数帯域変更手段によって変更された周波数帯域に応じ、表示位置に表示する前記任意の画像の表示色を変化させる制御を行うと、例えば、表示制御手段によって、任意の画像の表示色の色合いを制御する場合には、互いに異なる前記表示位置に、色が相互に異なる任意の画像を表示することが可能になる。
これにより、前記表示位置を含む表示領域では、様々な種類の色を用いて絵を描いているような演出が可能になる。
【0013】
請求項5の発明は、請求項2ないし4のいずれかにおいて、前記音波生成手段によって前記所定の音波が生成されている音波生成時間が予め定めた所定の時間を経過するか否かを検出する音波生成時間検出手段を備え、前記音波生成時間検出手段によって前記音波生成時間が前記所定の時間を経過したこと検出した場合には、前記表示制御手段は、隣接する前記表示位置に表示する前記任意の画像を繋げて表示する制御を行うことを特徴とする。
請求項5の発明によれば、音波生成時間検出手段が、音波生成時間が所定の時間を経過したこと検出した場合に、表示制御手段によって、隣接する表示位置に表示する任意の画像を繋げて表示する制御を行えば、該任意の画像を繋げた軌跡により、任意の画像を表示する表示領域に、一続きの画像を表示することが可能になる。
このため、一続きの画像によって、表示領域には線を描いているような演出が可能になる。
【0014】
請求項6の発明は、請求項1ないし5のいずれかにおいて、前記音波発生手段は、前記表示位置に前記任意の画像を表示しない初期状態に戻すことを指示可能な初期設定手段を備え、前記初期設定手段によって前記初期状態に戻すことが指示された場合には、前記表示制御手段は、前記初期状態に対応させた初期画面を前記表示領域に表示する制御を行うことを特徴とする。
請求項6の発明によれば、初期設定手段によって初期状態に戻すことが指示された場合に、表示制御手段によって、前記表示位置に前記任意の画像を表示しない初期状態に対応させた初期画面を表示領域に表示する制御を行えば、該表示領域に前記任意の画像が表示されることがない。
このため、表示領域から離れた位置から音波発生手段によって所定の音波を発生させることを起点として、前記表示位置に、再び任意の画像を表示することが可能になる。
【0015】
請求項7の発明は、請求項1ないし6のいずれかにおいて、前記音波検出手段は、前記音波発生手段が発生させた前記所定の音波を検出するために、所定の水平間隔を隔てて配置された一対のマイクロフォン同士を互いに直交して配置したマイクロフォン群と、前記一対のマイクロフォンを構成する各マイクロフォンから前記水平間隔と同一の間隔である対向間隔を隔てて配置された対向マイクロフォンと、を備え、前記位置特定手段は、前記音波発生手段が発生させた前記所定の音波が、前記マイクロフォン群を構成する各一対のマイクロフォンに到達する時間差及び前記各マイクロフォンと前記対向マイクロフォンとの間に到達する時間差をそれぞれ用い、双曲線法によって、前記所定の音波を発生させた位置を算出することを特徴とする。
請求項7の発明によれば、位置特定手段が、マイクロフォン群を構成する所定の水平間隔を隔てて配置された各一対のマイクロフォン及び各一対のマイクロフォンを構成する各マイクロフォンと対向マイクロフォンとの間にそれぞれ到達する所定の音波の到達時間差を用い、双曲線法によって、所定の音波を発生させた位置を算出するため、該所定の音波を発生させた位置が順次変化した場合であっても、双曲線法により、各一対のマイクロフォンの間や、上記の各マイクロフォンと対向マイクロフォンとの間をそれぞれ通過する複数の双曲線軌跡の交点を、前記所定の音波を発生させた位置として定めることができる。
【0016】
請求項8の発明は、請求項1ないし7のいずれかにおいて、前記相関手段は、前記表示領域の横方向へ前記音波発生手段が予め移動可能な移動距離と、前記表示領域の横寸法との比に応じて、前記所定の音波を発生させた位置と、前記表示領域の横方向における該所定の音波を発生させた位置に略正対した前記表示位置とを相関付けすると共に、前記表示領域の縦方向に沿って前記音波発生手段が予め前記所定の音波を発生させることが可能な範囲と、前記表示領域の縦寸法との比に応じて、前記所定の音波を発生させた位置と、前記表示領域の縦方向における該所定の音波を発生させた位置に略正対した前記表示位置とを相関付けすることを特徴とする。
請求項8の発明によれば、表示領域の横方向へ音波発生手段が移動可能な距離を予め定めることにより、前記移動可能な距離と、前記表示領域の横寸法との比を一定の値に定めることができる。これにより、相関手段は、一定の値に応じて、音波発生手段が所定の音波を発生させた位置と、表示領域の横方向における該所定の音波を発生させた位置に略正対した任意の画像の表示位置とを容易に対応付けることができる。
さらに、表示領域の縦方向に沿って音波発生手段が予め所定の音波を発生させることが可能は範囲を定めることにより、予め所定の音波を発生させることが可能な範囲と、前記表示領域の縦寸法との比を一定の値に定めることができる。これにより、相関手段は、一定の値に応じて、音波発生手段が所定の音波を発生させた位置と、表示領域の縦方向における該所定の音波を発生させた位置に略正対した任意の画像の表示位置とを容易に対応付けることができる。
【発明の効果】
【0017】
本発明の画像表示装置によれば、表示制御手段を用い、相関手段によって前記特定された位置と相関付けされた前記表示位置に、前記任意の画像を所定時間に亘って表示する制御を行えば、表示位置に、該任意の画像からなる静止画像を所定時間に亘って表示することができる。
このため、表示領域から離れた位置から音波発生手段によって所定の音波を発生させる位置を順次変化させることに伴って、前記特定された位置と相関付けされた表示位置を順次変化させることにより、表示制御手段によって、順次変化させた表示位置に、前記静止画像を所定時間に亘り継続して表示することが可能になる。
これにより、音波発生手段によって所定の音波を発生させることを起点として、順次変化させた表示位置に表示される静止画像によって、表示領域に自由に絵を描いているような演出を行うことができる。
【図面の簡単な説明】
【0018】
【図1】本発明の画像表示装置の概略構成図である。
【図2】同画像表示装置を構成するパーソナルコンピュータの概略ブロック図である。
【図3】ペン型音波発信装置の外観図である。
【図4】同ペン型音波発信装置の概略ブロック図である。
【図5】同画像表示装置が実行する処理に関するフローチャートである。
【図6】同画像表示装置が実行する音源位置特定処理の説明図である。
【図7】同画像表示装置が実行する画像入力座標変換処理の説明図である。
【図8】大型ディスプレイに図形画像が表示された状態を示す図である。
【発明を実施するための形態】
【0019】
本発明の実施形態を、図1ないし図8を参照しつつ説明する。図1に示すように、画像表示装置1は、測定ユニット10と、増幅器20と、ローパスフィルタ30と、A/D変換器40と、パーソナルコンピュータ50と、大型ディスプレイ60とを備えている。
【0020】
図1に示すように、測定ユニット10は、支持部材15A〜15Cと、基台16と、CCDカメラ17と、マイクロフォン支持台18と、マイクロフォンM1〜M5とを備えている。基台16は、支持部材15A〜15Cの上部に配置されている。マイクロフォン支持台18は、カメラ支持部材によって、基台16上に支持されている。カメラ支持部材には、CCDカメラ17が固定されている。マイクロフォン支持台18には、マイクロフォンM1〜M5が、取り付けられている。
【0021】
測定ユニット10では、マイクロフォンM1及びマイクロフォンM4によって、一対のマイクロフォンを構成する。マイクロフォンM1とマイクロフォンM4との水平間隔は、所定の距離に保たれている。さらに、マイクロフォンM2及びマイクロフォンM3によって、他の一対のマイクロフォンを構成する。マイクロフォンM2とマイクロフォンM3との水平間隔は、マイクロフォンM1とマイクロフォンM4との水平間隔と同様に、所定の距離に保たれている。一対のマイクロフォンM1、M4は、他の一対のマイクロフォンM2、M3と直交して配置されている。一対のマイクロフォンM1、M4及び他の一対のマイクロフォンM2、M3によって、マイクロフォン群が形成されている。マイクロフォンM5は、各マイクロフォンM1〜M4よりも上方へ突出するように配置されている。マイクロフォンM5と、各マイクロフォンM1〜M4とのそれぞれの対向間隔は、マイクロフォンM1とマイクロフォンM4との水平間隔やマイクロフォンM2とマイクロフォンM3との水平間隔と同じ距離に保たれている。なお、マイクロフォンM5は、本発明の対向マイクロフォンの一例であり、マイクロフォンM1〜M5は、本発明の音波検出手段の一例である。
【0022】
各マイクロフォンM1〜M5は、増幅器20に接続されている。増幅器20は、各マイクロフォンM1〜M5から送信された音波信号を増幅する。増幅器20は、ローパスフィルタ30に接続されている。ローパスフィルタ30によって、フィルタを通過する周波数の帯域が制限され、所定の周波数以下(ここでは4500Hz以下)の音波信号を通過させる。ローパスフィルタ30は、A/D変換器40に接続されている。A/D変換器40は、上記の音波信号(アナログ信号)をディジタル信号に変換する。ディジタル信号は、パーソナルコンピュータ50に送信される。パーソナルコンピュータ50は、大型ディスプレイ60に接続されている。符号61は、大型ディスプレイ60の表示領域である。なお、大型ディスプレイ60は、本発明の表示手段の一例である。
【0023】
図2は、パーソナルコンピュータ50の概略ブロック図である。パーソナルコンピュータ50は、キーボード51と、演算処理部52と、記憶部53とを備えている。
【0024】
キーボード51は、演算処理部52に接続されている。キーボード51は、マイクロフォンの数、上述したマイクロフォンM1とマイクロフォンM4との間隔、マイクロフォンM2とマイクロフォンM3との間隔、マイクロフォンM5と各マイクロフォンM1〜M4とのそれぞれの間隔、ローパスフィルタ30を通過させる周波数の設定値等を入力するために用いられる。
【0025】
演算処理部52は、記憶部53及び大型ディスプレイ60にそれぞれ接続されている。記憶部53は、ディジタル信号(音波信号)演算処理プログラム記憶部53Aと、入力画像データ選択処理プログラム記憶部53Bと、画像表示制御プログラム記憶部53Cと、データ記憶部53Dとを備えている。ディジタル信号(音波信号)演算処理プログラム記憶部53Aには、後述する画像選択ボタン判別処理(S4)、音程分析処理(S5)、画像選択ボタン押圧力判別処理(S6)、音源位置特定処理(S8)、実空間座標変換処理(S9)、画像入力座標変換処理(S10)を実行するプログラムが記憶されている。入力画像データ選択処理プログラム記憶部53Bには、後述する音波生成時間検出処理(S7)、入力画像データ選択処理(S11)を実行するプログラムが記憶されている。画像表示制御プログラム記憶部53Cには、後述する図形画像表示処理(S12)を実行するプログラムが記憶されている。
【0026】
データ記憶部53Dには、上記の表示領域61に表示される図形画像の画像データや画像選択ボタン判別処理(S4)、音程分析処理(S5)、画像選択ボタン押圧力判別処理(S6)、音波生成時間検出処理(S7)、音源位置特定処理(S8)、実空間座標変換処理(S9)、画像入力座標変換処理(S10)によって算出された各データ等が記憶されている。データ記憶部53Dには、後述のペン型音波発信装置70によって発せられる音波の周波数の値等に対応付けて、互いに異なる種類の図形画像の画像データが記憶されている。なお、データ記憶部53Dは本発明の記憶手段の一例であり、図形画像の画像データは、本発明の任意の画像の画像データの一例である。
【0027】
演算処理部52は、後述するように、ペン型音波発信装置70が音波を発信したことに起因して、データ記憶部53Dから図形画像の画像データを読み出す。その後、演算処理部52は、前記画像データに基づいて、図形画像の画像信号を生成する。続いて、演算処理部52は、生成した画像信号を大型ディスプレイ60に送信して表示領域61に図形画像を所定時間に亘って表示する。
【0028】
図3及び図4に示すように、ペン型音波発信装置70は、第1図形画像選択ボタン71Aと、第2図形画像選択ボタン71Bと、第3図形画像選択ボタン71Cと、音程変更ダイヤル72と、リセットボタン73と、第1発信回路74Aと、第2発信回路74Bと、第3発信回路74Cと、第4発信回路74Dと、音波発信器75と、増幅回路76と、周波数シフト部77とを備えている。
【0029】
第1図形画像選択ボタン71Aは、第1圧力センサ71Dを備えている。第1圧力センサ71Dは、図3に示す第1図形画像選択ボタン71Aの下方に配置されている。第2図形画像選択ボタン71B及び第3図形画像選択ボタン71Cは、それぞれ第2圧力センサ71E及び第3圧力センサ71Fを備えている。第2圧力センサ71E及び第3圧力センサ71Fは、図3に示す第2図形画像選択ボタン71B及び第3図形画像選択ボタン71Cの下方にそれぞれ配置されている。
【0030】
第1図形画像選択ボタン71Aは、「星」の図形画像を選択するために用いられる。第2図形画像選択ボタン71Bは、「ハート」の図形画像を選択するために用いられる。第3図形画像選択ボタン71Cは、縦長の「長方形」の図形画像を選択するために用いられる。音波発信器75が所定の周波数帯域(例えば、1000Hz〜1500Hz)を有する音波を発信するために、リセットボタン73は、後述の第4発信回路74Dにパルス信号を発信することを指示する。なお、第1ないし第3図形画像選択ボタン71A〜71Cは、本発明の画像選択手段(画像選択ボタン)の一例である。
【0031】
第1発信回路74Aには、第1図形画像選択ボタン71Aが接続されている。第1図形画像選択ボタン71Aがユーザによって押されると、第1発信回路74Aは、音波発信器75によって音波を発信させるためのパルス信号を発信する。
【0032】
第2発信回路74Bには、第2図形画像選択ボタン71Bが接続されている。また、第3発信回路74Cには、第3図形画像選択ボタン71Cが接続されている。各図形画像選択ボタン71B、71Cがそれぞれ押されることにより、各発信回路74B、74Cはそれぞれ前記音波発信器75によって音波を発信させるためのパルス信号を発信する。第4発信回路74Dには、リセットボタン73が接続されている。リセットボタン73が押されることにより、第4発信回路74Dは、音波発信器75が上記の所定の周波数帯域を有する音波を発信するために必要なパルス信号を発信する。
【0033】
音波発信器75には、各発信回路74A〜74Dが接続されている。各発信回路74A〜74Dは、互いに異なる発信パルス間隔を有するパルス信号を発信する。音波発信器75は、各発信回路74A〜74Dからパルス信号が入力されることにより、音波を発信する。音波発信器75は、該音波発信器75に入力されるパルス信号の発信パルス間隔が異なることに応じ、互いに周波数帯域が異なる4つの音波を発信することが可能である。なお、ペン型音波発信装置70は、本発明の音波発生手段の一例であり、各発信回路74A〜74C及び音波発信器75は、本発明の音波生成手段の一例である。互いに異なる周波数帯域は、本発明の特定の周波数帯域の一例である。
【0034】
音波発信器75は、増幅回路76を備えている。増幅回路76には、第1ないし第3圧力センサ71D〜71Fが接続されている。増幅回路76は、各圧力センサ71D〜71Fが所定の圧力以上で押されたことを検知したときに動作する。これにより、音波発信器75が発信する音波の振幅が増幅される。
【0035】
音波発信器75には、周波数シフト部77が接続されている。周波数シフト部77は、狭帯域のバンドパスフィルタによって構成されている。これにより、周波数シフト部77は、音波発信器75が発信する音波のピーク周波数近傍成分のみを通過させることができる。ここでは、第1発信回路74Aが発信したパルス信号に従って、音波発信器75が音波を発信した場合には、周波数シフト部77は、440Hzの音波を通過させる。また、第2発信回路74Bが発信したパルス信号に従って、音波発信器75が音波を発信した場合には、周波数シフト部77は、550Hzの音波を通過させ、第3発信回路74Cが発信したパルス信号に従って、音波発信器75が音波を発信した場合には、周波数シフト部77は、660Hzの音波を通過させる。
【0036】
周波数シフト部77には、音程変更ダイヤル72が接続されている。周波数シフト部77は、音程変更ダイヤル72がペン型音波発信装置70の先端方向(図3中のY1方向)もしくは後端方向(図3中のY2方向)に回されたことに起因して、フィルタ係数を算出する。その後、周波数シフト部77では、フィルタ係数に基づいて、所定の通過帯域周波数を有するバンドパスフィルタを生成する。周波数シフト部77では、後述するように、バンドパスフィルタによって、ペン型音波発信装置70から発信する音波の周波数帯域を、該周波数帯域よりも高い周波数帯域又は低い周波数帯域にシフトする。なお、周波数シフト部77は、本発明の周波数帯域変更手段の一例である。
【0037】
次に、ペン型音波発信装置70から発信する音波に応じ、演算処理部52が表示領域61に図形画像を所定時間に亘って表示する処理を説明する。画像表示装置1の電源が投入されると、演算処理部52は、図5に示すように、初期設定処理(S1)と、初期画像表示処理(S2)と、音波信号取得処理(S3)と、画像選択ボタン判別処理(S4)と、音程分析処理(S5)と、画像選択ボタン押圧力判別処理(S6)と、音波生成時間検出処理(S7)と、音源位置特定処理(S8)と、実空間座標変換処理(S9)と、画像入力座標変換処理(S10)と、入力画像データ選択処理(S11)と、図形画像表示処理(S12)とをそれぞれ実行する。
【0038】
初期設定処理(S1)では、上記のキーボード51によって入力されたマイクロフォンの数(ここでは5個)、上述したマイクロフォンM1とマイクロフォンM4との間隔、マイクロフォンM2とマイクロフォンM3との間隔、マイクロフォンM5と各マイクロホンM1〜M4との間隔、ローパスフィルタ30を通過させる周波数の設定値、後述する水平距離L3の値、ユーザがペン型音波発信装置70を用いて音波を発信させることができる所定の高さの値、表示領域61の横寸法X(図6参照。)や該表示領域61の縦寸法Y(図6参照。)のそれぞれの値等に関するデータを、データ記憶部53Dに記憶する処理を実行する。
【0039】
演算処理部52は、初期設定処理(S1)の後に、初期画面表示処理(S2)を実行する。初期画像表示処理(S2)では、上記の画像表示制御プログラム記憶部53Cに記憶されたプログラムを実行することにより、初期画像として、表示領域61に、絵を描くキャンバスを見立てた疑似キャンバス画像を表示する処理を実行する。表示領域61には、疑似キャンバス画像によって、後述する「星」の図形画像や「ハート」の図形画像等を表示するため、描画領域が写し出される。このとき、描画領域には、「星」の図形画像や「ハート」の図形画像等は表示されていない。なお、描画領域が写し出された画面は、本発明の初期画面の一例である。
【0040】
演算処理部52は、初期画面表示処理(S2)の後に、音波信号取得処理(S3)を実行する。音波信号取得処理(S3)では、ユーザがペン型音波発信装置70を用いて発信させた音波信号を取得する処理を実行する。ここでは、上記のマイクロホンM1〜M5によって検出された音波信号が、図2に示したように、ディジタル信号として、演算処理部52に入力される。その後、演算処理部52は、音波信号(ディジタル信号)をデータ記憶部53Dに記憶させる処理を実行する。音波信号取得処理(S3)では、音波信号を取得できない場合には、後述するステップ13(S13)の判断にジャンプする処理を実行する。
【0041】
演算処理部52は、音波信号取得処理(S3)の後に、画像選択ボタン判別処理(S4)を実行する。画像選択ボタン判別処理(S4)では、ディジタル信号(音波信号)演算処理プログラム記憶部53Aに記憶されたプログラムを実行し、音波信号取得処理(S3)によって取得された音波信号の周波数帯域に含まれるピーク周波数を抽出する処理を実行する。ここでは、ピーク周波数として440Hzを抽出した場合には、演算処理部52は、第1図形画像選択ボタン71Aがユーザによって押されたことによって、音波発信器75が音波を発信したと判定する。その後、画像選択ボタン判別処理(S4)では、演算処理部52が、ユーザによって第1図形画像選択ボタン71Aが押されたことを特定する第1図形画像選択ボタン特定データを、データ記憶部53Dに記憶させる処理を実行する。
【0042】
画像選択ボタン判別処理(S4)では、ピーク周波数として550Hzを抽出した場合には、演算処理部52は、第2図形画像選択ボタン71Bがユーザによって押されたことによって、音波発信器75が音波を発信したと判定する。その後、画像選択ボタン判別処理(S4)では、演算処理部52が、ユーザによって第2図形画像選択ボタン71Bが押されたことを特定する第2図形画像選択ボタン特定データを、データ記憶部53Dに記憶させる処理を実行する。
【0043】
また、画像選択ボタン判別処理(S4)では、ピーク周波数として660Hzを抽出した場合には、演算処理部52は、第3図形画像選択ボタン71Cがユーザによって押されたことによって、音波発信器75が音波を発信したと判定する。その後、画像選択ボタン判別処理(S4)では、演算処理部52が、ユーザによって第3図形画像選択ボタン71Cが押されたことを特定する第3図形画像選択ボタン特定データを、データ記憶部53Dに記憶させる処理を実行する。
【0044】
演算処理部52は、画像選択ボタン判別処理(S4)の後に、音程分析処理(S5)を実行する。音程分析処理(S5)では、ディジタル信号(音波信号)演算処理プログラム記憶部53Aに記憶されたプログラムを実行し、音波信号取得処理(S3)によって取得された音波信号の周波数帯域が所定の周波数帯域にシフトされているか否かを判断する処理を実行する。ここでは、周波数帯域に含まれるピーク周波数の値が450Hzの場合には、演算処理部52は、ユーザが、第1図形画像選択ボタン71Aを押した状態で音程変更ダイヤル72をY1方向(図3参照。)へ回したことにより、周波数シフト部77が、ピーク周波数の値(440Hz)を該ピーク周波数よりも高い周波数の値(450Hz)にシフトしたことを判断する。その後、音程分析処理(S5)では、演算処理部52が、ピーク周波数を高い方向にシフトしたことを判別する第1ピーク周波数上昇判別データを、データ記憶部53Dに記憶させる処理を実行する。
【0045】
一方、ピーク周波数の値が430Hzの場合には、演算処理部52は、ユーザが、第1図形画像選択ボタン71Aを押した状態で音程変更ダイヤル72をY2方向(図3参照。)へ回したことにより、周波数シフト部77が、ピーク周波数の値(440Hz)を該ピーク周波数よりも低い周波数の値(430Hz)にシフトしたことを判断する。その後、音程分析処理(S5)では、演算処理部52が、ピーク周波数を低い方向にシフトしたことを判別する第1ピーク周波数下降判別データを、データ記憶部53Dに記憶させる処理を実行する。
【0046】
音程分析処理(S5)では、取得したピーク周波数の値が560Hzの場合には、演算処理部52は、ユーザが、第2図形画像選択ボタン71Bを押した状態で音程変更ダイヤル72をY1方向へ回したことにより、周波数シフト部77が、ピーク周波数の値(550Hz)を該ピーク周波数よりも高い周波数の値(560Hz)にシフトしたことを判断する。その後、音程分析処理(S5)では、演算処理部52が、ピーク周波数を高い方向にシフトしたことを判別する第2ピーク周波数上昇判別データを、データ記憶部53Dに記憶させる処理を実行する。
【0047】
一方、取得したピーク周波数の値が540Hzの場合には、演算処理部52は、ユーザが、第2図形画像選択ボタン71Bを押した状態で音程変更ダイヤル72をY2方向へ回したことにより、周波数シフト部77が、ピーク周波数の値(550Hz)を該ピーク周波数よりも低い周波数の値(540Hz)にシフトしたことを判断する。その後、音程分析処理(S5)では、演算処理部52が、ピーク周波数を低い方向にシフトしたことを判別する第2ピーク周波数下降判別データを、データ記憶部53Dに記憶させる処理を実行する。
【0048】
さらに、音程分析処理(S5)では、取得したピーク周波数の値が670Hzの場合には、演算処理部52は、ユーザが、第3図形画像選択ボタン71Cを押した状態で音程変更ダイヤル72をY1方向へ回したことにより、周波数シフト部77が、ピーク周波数の値(660Hz)を該ピーク周波数よりも高い周波数の値(670Hz)にシフトしたことを判断する。その後、音程分析処理(S5)では、演算処理部52が、ピーク周波数を高い方向にシフトしたことを判別する第3ピーク周波数上昇判別データを、データ記憶部53Dに記憶させる処理を実行する。
【0049】
一方、取得したピーク周波数の値が650Hzの場合には、演算処理部52は、ユーザが、第3図形画像選択ボタン71Cを押した状態で音程変更ダイヤル72をY2方向へ回したことにより、周波数シフト部77が、ピーク周波数の値(660Hz)を該ピーク周波数よりも低い周波数の値(650Hz)にシフトしたことを判断する。その後、音程分析処理(S5)では、演算処理部52が、ピーク周波数を低い方向にシフトしたことを判別する第3ピーク周波数下降判別データを、データ記憶部53Dに記憶させる処理を実行する。
【0050】
演算処理部52は、音程分析処理(S5)の後に、画像選択ボタン押圧力判別処理(S6)を実行する。画像選択ボタン押圧力判別処理(S6)では、ディジタル信号(音波信号)演算処理プログラム記憶部53Aに記憶されたプログラムを実行し、音波信号取得処理(S3)によって取得された音波信号の振幅に基づいて、各圧力センサ71D〜71Fが押された圧力の強度を判別する処理を実行する。
【0051】
画像選択ボタン押圧力判別処理(S6)では、前記音波信号を全波整流した後に、該全波整流した信号の包絡線を抽出する。続いて、画像選択ボタン押圧力判別処理(S6)では、包絡線の値を閾値と比較して、該包絡線の値が閾値を超過しているか否かを判断する。ここでは、包絡線の値が閾値を超過していると判断した場合には、演算処理部52が、ユーザによって各圧力センサ71D〜71Fの内のいずれかの圧力センサが強く押されていることを検出する。その後、画像選択ボタン押圧力判別処理(S6)では、演算処理部52が、いずれかの圧力センサが強く押されたことを判別する第1押圧強度判別データを、データ記憶部53Dに記憶させる処理を実行する。本実施形態では、演算処理部52が、上述した各図形画像選択ボタン特定データ及び第1押圧強度判別データを組み合わせて判断することにより、各圧力センサ71D〜71Fの内のいずれの圧力センサが強く押されているか特定することができる。なお、演算処理部52及び各圧力センサ71D〜71Fは、本発明の押圧力検出手段の一例である。
【0052】
一方、画像選択ボタン押圧力判別処理(S6)において、包絡線の値が閾値を超過していないと判断した場合には、演算処理部52が、ユーザによって各圧力センサ71D〜71Fの内のいずれかの圧力センサが弱く押されていることを検出する。その後、画像選択ボタン押圧力判別処理(S6)では、演算処理部52が、いずれかの圧力センサが弱く押されたことを判別する第2押圧強度判別データを、データ記憶部53Dに記憶させる処理を実行する。本実施形態では、演算処理部52が、上述した各図形画像選択ボタン特定データ及び第2押圧強度判別データを組み合わせて判断することにより、各圧力センサ71D〜71Fの内のいずれの圧力センサが弱く押されているかを特定することができる。
【0053】
演算処理部52は、画像選択ボタン押圧力判別処理(S6)の後に、音波生成時間検出処理(S7)を実行する。音波生成時間検出処理(S7)では、演算処理部52が、入力画像データ選択処理プログラム記憶部53Bに記憶されたプログラムを実行し、前記ディジタル信号(図2参照。)の受信が継続する受信継続時間を計測すると共に、該受信継続時間が、予め定めた所定の時間を経過するか否かを検出する処理を実行する。具体的には、前記ディジタル信号がハイレベルになる時間が前記所定の時間に亘り継続していることを検出した場合に、該ディジタル信号の受信継続時間が所定の時間を経過したと判断する。なお、演算処理部52は、本発明の音波生成時間検出手段の一例である。
【0054】
音波生成時間検出処理(S7)では、演算処理部52は、前記受信継続時間が予め定めた所定の時間を経過したことを検出した場合には、所定時間経過検出データを、データ記憶部53Dに記憶させる処理を実行する。一方、演算処理部52は、前記ディジタル信号がハイレベルになる時間が前記所定の時間に亘って継続せず前記受信継続時間が予め定めた所定の時間を経過していないことを検出した場合には、所定時間未経過検出データを、データ記憶部53Dに記憶させる処理を実行する。
【0055】
演算処理部52は、音波生成時間検出処理(S7)の後に、音源位置特定処理(S8)を実行する。音源位置特定処理(S8)では、ディジタル信号(音波信号)演算処理プログラム記憶部53Aに記憶されたプログラムを実行し、双曲線法によって、マイクロフォン群原点位置O(図6参照。)と位置P1との間の水平角度θ(図6参照。)を算出する処理を実行する。マイクロフォン群原点位置Oは、上記のマイクロフォンM1とマイクロフォンM4とを結ぶ直線と、マイクロフォンM2とマイクロフォンM3とを結ぶ直線とが交わる位置である。位置P1は、ユーザが各図形画像選択ボタン71A等を押すことにより、ペン型音波発信装置70が音波を発信した位置である。
【0056】
上記の水平角度θの値は、マイクロフォンM1とマイクロフォンM4との間の距離、マイクロフォンM2とマイクロフォンM3との間の距離、位置P1においてペン型音波発信装置70が発信した音波が一対のマイクロフォンM1、M4に到達する時間差、位置P1においてペン型音波発信装置70が発信した音波が他の一対のマイクロフォンM2、M3に到達する時間差によって変化する。水平角度θは、下記の式(1)を用いて算出される。なお、DXは、一対のマイクロフォンM1、M4における音波の到達時間差であり、DYは、他の一対のマイクロフォンM2、M3における音波の到達時間差である。
θ=tan−1(DY/DX)・・・(1)
【0057】
また、音源位置特定処理(S8)では、マイクロホンM1〜M4に加え、上記のマイクロホンM5を用いることにより、下記の式(2)を用い、位置P1からマイクロフォン群原点位置Oを見上げた仰角φを算出することができる。なお、下記のDZ1は、マイクロフォンM5、M1における音波の到達時間差、DZ2は、マイクロフォンM5、M2における音波の到達時間差、DZ3は、マイクロフォンM5、M3における音波の到達時間差、DZ4は、マイクロフォンM5、M4における音波の到達時間差をそれぞれ示す。
φ=tan−1{(DZ1+DZ2+DZ3+DZ4)/[2×√3×(√DX+√DY)]}・・・(2)
【0058】
音源位置特定処理(S8)では、双曲線法を用いることにより、マイクロフォンM1とマイクロフォンM4との間を通過する双曲線軌跡、マイクロフォンM2とマイクロフォンM3との間を通過する双曲線軌跡、マイクロフォンM5と各マイクロフォンM1〜M4との間をそれぞれ通過する双曲線軌跡が交わる点を、位置P1として算出することができる。なお、演算処理部52は、本発明の位置特定手段の一例である。
【0059】
演算処理部52は、音源位置特定処理(S8)の後に、実空間座標変換処理(S9)を実行する。実空間座標変換処理(S9)では、ディジタル信号(音波信号)演算処理プログラム記憶部53Aに記憶されたプログラムを実行し、大型ディスプレイ60を背にした状態でマイクロフォン群原点位置Oに正対した位置O1(図6参照。)から上記の位置P1までの水平距離L1(図6参照。)を算出する処理を実行する。水平距離L1は、下記の式(3)を用いて算出される。なお、下記の符号L2(図6参照。)は、マイクロフォン群原点位置Oから位置O1までの距離である。
L1=L2×tanθ/cosφ・・・(3)
【0060】
加えて、実空間座標変換処理(S9)では、垂直距離L4(図6参照。)を算出する処理を実行する。垂直距離L4は、上記の位置O1(図6参照。)と位置O2(図6参照。)との間の距離である。位置O2は、位置O1から下方に延ばした垂直線と、位置P1から左方に向けて延ばした水平線とが交わる位置である。垂直距離L4は、下記の式(4)を用いて算出される。
L4=L2×tanφ・・・(4)
【0061】
演算処理部52は、実空間座標変換処理(S9)の後に、画像入力座標変換処理(S10)を実行する。画像入力座標変換処理(S10)では、上記の位置P1に正対した表示領域61の表示位置に図形画像を表示するために、位置P1を、該位置P1と正対した表示領域61の表示位置に相関付けするために必要なデータを算出する処理を実行する。ここでは、水平距離L3(図6参照。)と、表示領域61の横寸法Xとの比に基づいて、位置P1と正対する表示領域61の表示位置を算出する。なお、水平距離L3は、ペン型音波発信装置70が移動可能な距離の一例である。
【0062】
一例として、図7を用い、水平距離L3と上記の横寸法Xとの比αの値が0.05の場合について説明する。水平距離L1の値(=800mm)とαの値との乗算結果は、40mmとなる。これにより、上記の位置P1に正対する表示領域61の横方向における表示位置は、ユーザを背にした状態でマイクロフォン群原点位置Oが表示領域61に正対した位置から右方へ40mm離れた位置P3に決定される。なお、位置P3は、本発明の任意の画像の表示位置の一例である。
【0063】
また、例えば、画像表示装置1の設置エリアをフェンスで囲むことにより、ユーザがペン型音波発信装置70を操作して音波を発信させることができる高さを所定の高さに制限し、上記の位置P3を決定する場合と同様に、画像入力座標変換処理(S10)では、前記所定の高さと、上記の縦寸法Yとの比βに基づいて、位置P1と正対する表示領域61の縦方向における表示位置を算出する。画像入力座標変換処理(S10)における最後の処理として、上記の比αを用いた乗算結果及び比βを用いた乗算結果により、位置P1に正対する表示領域61における図形画像の表示位置が決定される。なお、演算処理部52は、本発明の相関手段の一例である。
【0064】
演算処理部52は、画像入力座標変換処理(S10)の後に、入力画像データ選択処理(S11)を実行する。入力画像データ選択処理(S11)では、上述した各処理(S4〜S7)によってそれぞれデータ記憶部53Dに記憶されたデータに応じ、予めデータ記憶部53Dに記憶された図形画像データを選択する処理を実行する。
【0065】
入力画像データ選択処理(S11)では、以下に説明するように、「星」の図形画像の画像データ、「ハート」の図形画像の画像データ、「長方形」の図形画像の画像データを選択する。最初に、入力画像データ選択処理(S11)において、「星」の主図形画像の画像データ及び「星」の副図形画像の画像データを選択する例を説明する。「星」の副図形画像の画像データは、「星」の主図形画像の画像データによって表示される「星」の図形画像の大きさに比べて小さい大きさの「星」の図形画像を表示するために用いられる。
【0066】
演算処理部52は、入力画像データ選択処理プログラム記憶部53Bに記憶されたプログラムを実行し、上述した第1ないし第3図形画像選択ボタン特定データ、第1ないし第3ピーク周波数上昇判別データ、第1ないし第3ピーク周波数下降判別データ、第1又は第2押圧強度判別データがデータ記憶部53Dに記憶されているか否かを判断する。演算処理部52は、第1図形画像選択ボタン特定データ、第1ピーク周波数上昇判別データ、第1押圧強度判別データがデータ記憶部53Dに記憶されていると判断した場合には、データ記憶部53Dから暖色主星図形画像データを選択する。暖色主星図形画像データは、図8中の暖色(例えばオレンジ色)の「星」の図形画像Z1を表示領域61に表示するために用いられる。ここでは、第1図形画像選択ボタン特定データによって図形の種類が「星」に決定され、第1ピーク周波数上昇判別データによって図形画像Z1の表示色が暖色(オレンジ色)に決定され、第1押圧強度判別データによって、図形画像Z1の大きさが、後述する図形画像Z2の大きさと比べて大きいものに決定される。
【0067】
これに対し、演算処理部52は、第1図形画像選択ボタン特定データ、第1ピーク周波数下降判別データ、第2押圧強度判別データがデータ記憶部53Dに記憶されていると判断した場合には、データ記憶部53Dから寒色副星図形画像データを選択する。寒色副星図形画像データは、図8中の寒色(例えば水色)の「星」の図形画像Z2を表示領域61に表示するために用いられる。ここでは、第1図形画像選択ボタン特定データによって図形の種類が「星」に決定され、第1ピーク周波数下降判別データによって図形画像Z2の表示色が寒色(水色)に決定され、第2押圧強度判別データによって、図形画像Z2の大きさが、上述の図形画像Z1の大きさと比べて小さいものに決定される。
【0068】
次に、入力画像データ選択処理(S11)において、「ハート」の主図形画像の画像データ及び「ハート」の副図形画像の画像データを選択する例を説明する。演算処理部52は、第2図形画像選択ボタン特定データ、第2ピーク周波数下降判別データ、第1押圧強度判別データがデータ記憶部53Dに記憶されていると判断した場合には、データ記憶部53Dから寒色主ハート図形画像データを選択する。寒色主ハート図形画像データは、図8中の寒色(例えば水色)の「ハート」の図形画像Z4を表示領域61に表示するために用いられる。ここでは、第2図形画像選択ボタン特定データによって図形の種類が「ハート」に決定され、第2ピーク周波数下降判別データによって図形画像Z4の表示色が寒色(水色)に決定され、第1押圧強度判別データによって、図形画像Z4の大きさが、後述する図形画像Z5の大きさと比べて大きいものに決定される。
【0069】
これに対し、演算処理部52は、第2図形画像選択ボタン特定データ、第2ピーク周波数上昇判別データ、第2押圧強度判別データがデータ記憶部53Dに記憶されていると判断した場合には、データ記憶部53Dから暖色副ハート図形画像データを選択する。暖色副ハート図形画像データは、図8中の暖色(例えばオレンジ色)の「ハート」の図形画像Z5を表示領域61に表示するために用いられる。ここでは、第2図形画像選択ボタン特定データによって図形の種類が「ハート」に決定され、第2ピーク周波数上昇判別データによって図形画像Z5の表示色が暖色(オレンジ色)に決定され、第2押圧強度判別データによって、図形画像Z5の大きさが、上述の図形画像Z4の大きさと比べて小さいものに決定される。
【0070】
さらに、入力画像データ選択処理(S11)において、縦長の「長方形」の主図形画像の画像データ及び該「長方形」の副図形画像の画像データを選択する例を説明する。演算処理部52は、第3図形画像選択ボタン特定データ、第3ピーク周波数上昇判別データ、第1押圧強度判別データがデータ記憶部53Dに記憶されていると判断した場合には、データ記憶部53Dから暖色主長方形図形画像データを選択する。暖色主長方形図形画像データは、暖色(例えばオレンジ色)の前記「長方形」の図形画像を表示領域61に表示するために用いられる。ここでは、第3図形画像選択ボタン特定データによって図形の種類が前記「長方形」に決定され、第3ピーク周波数上昇判別データによって該「長方形」の図形画像の表示色が暖色(オレンジ色)に決定され、第1押圧強度判別データによって、前記「長方形」の図形画像の大きさが、後述の暖色副長方形図形画像データを用いて表示領域61に表示される「長方形」の図形画像の大きさと比べて大きいものに決定される。
【0071】
これに対し、演算処理部52は、第3図形画像選択ボタン特定データ、第3ピーク周波数上昇判別データ、第2押圧強度判別データがデータ記憶部53Dに記憶されていると判断した場合には、データ記憶部53Dから暖色副長方形図形画像データを選択する。暖色副長方形図形画像データは、上述した暖色主長方形図形画像データを用いて表示領域61に表示される「長方形」の図形画像の大きさと比べて小さい大きさで、暖色(例えばオレンジ色)の前記「長方形」の図形画像を表示領域61に表示するために用いられる。ここでは、第3図形画像選択ボタン特定データによって図形の種類が前記「長方形」に決定され、第3ピーク周波数上昇判別データによって該「長方形」の図形画像の表示色が暖色(オレンジ色)に決定され、第2押圧強度判別データによって、「長方形」の図形の大きさが、上述の暖色主長方形図形画像データを用いて表示領域61に表示される「長方形」の図形画像の大きさと比べて小さいものに決定される。
【0072】
入力画像データ選択処理(S11)では、上述したように、圧力センサ71D〜71Fが所定の圧力以上で強く又は所定の圧力を下回った状態で弱く押されたこと判別する第1又は第2押圧強度判別データに従って、主図形画像又は副図形画像の画像データを選択し、該主図形画像又は該副図形画像の画像データに応じ、図形画像Z1(図8参照。)と図形画像Z2(図8参照。)とを互いに異なる大きさにしたり、図形画像Z4(図8参照。)と図形画像Z5(図8参照。)とを互いに異なる大きさすることができる。
【0073】
加えて、入力画像データ選択処理(S11)では、上述したように、音波信号のピーク周波数を高い方向又は低い方向にシフトする各ピーク周波数上昇判別データ又は各ピーク周波数下降判別データに従って、暖色(オレンジ色)の図形画像データ又は寒色(水色)の図形画像データを選択する。入力画像データ選択処理(S11)では、暖色(オレンジ色)の図形画像データ又は寒色(水色)の図形画像データに応じ、図形画像Z1と図形画像Z2とを互いに異なる表示色にしたり、図形画像Z4と図形画像Z5とを互いに異なる表示色にすることができる。
【0074】
続いて、演算処理部52は、入力画像データ選択処理(S11)の後に、図形画像表示処理(S12)を実行する。図形画像表示処理(S12)では、以下に説明するように、入力画像データ選択処理(S11)によって選択された各種の図形画像データに基づいて、上記の画像入力座標変換処理(S10)によって決定された表示位置に、「星」の図形等の各種の図形画像を表示する処理を実行する。
【0075】
図6に示す位置P1において、ユーザU(図8参照。)が第1図形画像選択ボタン71Aを所定の圧力以上で強く押すと共に音程変更ダイヤル72をY1方向へ回し、入力画像データ選択処理(S11)によって、暖色主星図形画像データを選択した場合には、演算処理部52は、画像表示制御プログラム記憶部53Cに記憶されたプログラムを実行し、該暖色主星図形画像データに基づいて、位置P1に正対した表示領域61の表示位置に、オレンジ色の「星」の図形画像Z1(図8参照。)を所定の時間に亘り継続して表示する。
【0076】
一方、位置P1において、ユーザUが第1図形画像選択ボタン71Aを所定の圧力を下回った状態で弱く押すと共に音程変更ダイヤル72をY2方向へ回し、入力画像データ選択処理(S11)によって、寒色副星図形画像データを選択した場合には、演算処理部52は、画像表示制御プログラム記憶部53Cに記憶されたプログラムを実行し、該寒色副星図形画像データに基づいて、位置P1に正対した表示領域61の表示位置に、水色の「星」の図形画像Z2(図8参照。)を所定の時間に亘り継続して表示する。図8に示すように、図形画像Z2の大きさは、図形画像Z1の大きさと比べて小さい。
【0077】
さらに、ユーザUが移動して位置P1が順次変化した場合には、表示領域61に上述した図形画像Z1、Z2を表示する場合と同様な方法により、演算処理部52は、図8に例示するように、順次変化した位置P1に正対する表示領域61における複数の表示位置に、水色の「星」の図形画像を所定の時間に亘り継続して表示する。
【0078】
また、位置P1において、ユーザUが第2図形画像選択ボタン71Bを所定の圧力以上で強く押すと共に音程変更ダイヤル72をY2方向へ回し、入力画像データ選択処理(S11)によって、寒色主ハート図形画像データを選択した場合には、演算処理部52は、画像表示制御プログラム記憶部53Cに記憶されたプログラムを実行し、前記寒色主ハート図形画像データに基づいて、位置P1に正対した表示領域61の表示位置に、水色の「ハート」の図形画像Z4を所定の時間に亘り継続して表示する。
【0079】
ユーザUが、上記の寒色主ハート図形画像データを選択するために音波を発信した位置P1と同じ位置で、第2図形画像選択ボタン71Bを所定の圧力を下回った状態で弱く押すと共に音程変更ダイヤル72をY1方向へ回した場合には、演算処理部52は、入力画像データ選択処理(S11)によって、暖色副ハート図形画像データを選択する。その後、演算処理部52は、画像表示制御プログラム記憶部53Cに記憶されたプログラムを実行し、前記暖色副ハート図形画像データに基づいて、位置P1に正対した表示領域61の表示位置に、上記の「ハート」の図形画像Z4に重ねてオレンジ色の「ハート」の図形画像Z5を所定の時間に亘り継続して表示する。
【0080】
加えて、図形画像表示処理(S12)では、図8の表示領域61における左側の領域に例示するように、一続きの画像Z10を所定の時間に亘り継続して表示することができる。図形画像表示処理(S12)では、演算処理部52が、以下に説明する処理を実行することにより、一続きの画像Z10を表示領域61に表示する。
【0081】
演算処理部52は、画像表示制御プログラム記憶部53Cに記憶されたプログラムを実行し、上述した所定時間経過検出データがデータ記憶部53Dに記憶されているか否かを判断する。演算処理部52は、所定時間経過検出データがデータ記憶部53Dに記憶されていると判断した後に、入力画像データ選択処理(S11)によって、暖色副長方形図形画像データを選択した場合には、演算処理部52が、画像表示制御プログラム記憶部53Cに記憶されたプログラムを実行し、オレンジ色の「長方形」の図形画像同士を部分的に重ね合わせるように制御する処理を開始する。なお、演算処理部52は、本発明の表示制御手段の一例である。
【0082】
ユーザUが移動して位置P1が変化した場合には、図形画像表示処理(S12)によって、演算処理部52が、当該位置P1に正対する表示領域61に表示する前記「長方形」の図形画像と、当該位置P1から移動した次の位置P1に正対する表示領域61の表示領域に表示する「長方形」の図形画像とを部分的に重ねる。
【0083】
その後もユーザUが移動して位置P1が順次変化すると、演算処理部52は、「長方形」の図形画像同士を部分的に重ねる処理を継続する。これにより、「長方形」の図形画像同士が途切れることなく繋げられて、図8に示すように、表示領域61には、あたかも一続きの線になるような画像Z10が所定の時間に亘り継続して表示される。
【0084】
さらに、演算処理部52は、「長方形」の図形画像同士に加え、図8の表示領域61における右側下方の領域に例示するように、表示色(オレンジ色及び水色)が異なる「ハート」の複数の図形画像同士を繋げて所定の時間に亘り継続して表示することもできる。
【0085】
演算処理部52は、図形画像表示処理(S12)の後に、リセット処理がされたか否かを判断する(S13)。ここでは、ペン型音波発信装置70のリセットボタン73が押されることにより、該ペン型音波発信装置70が上記の所定の周波数帯域(1000Hz〜1500Hz)を有する音波を発信し、図2中のディジタル信号が所定の時間を経過して演算処理部52に入力されていることを確認する。なお、リセットボタン73は、本発明の初期設定手段の一例である。
【0086】
S13において、演算処理部52が、ディジタル信号が所定の時間を経過して演算処理部52に入力されておりリセット処理がされたと判断した場合には、初期画面表示処理(S2)に戻る。これにより、表示領域61には、上述した描画領域が写し出される。一方、S13において、演算処理部52は、ペン型音波発信装置70が上記の所定の周波数帯域を有する音波を発信せず、ディジタル信号が該演算処理部52に入力されずにリセット処理がされていないと判断した場合には、画像表示装置1の電源がオフ状態であるか否かを判断する(S14)。
【0087】
S14において、演算処理部52が、画像表示装置1の電源がオン状態であると判断した場合には、図形画像表示処理(S12)に戻る。このため、演算処理部52は、図8に例示するように、表示領域61に、各図形画像Z1等を引き続き表示する。一方、S14において、演算処理部52が、画像表示装置1の電源がオフ状態であると判断した場合には、上述した各処理等(S1〜S13)を終了する。
【0088】
<本実施形態の効果>
本実施形態の画像表示装置1では、図形画像表示処理(S12)において、画像入力座標変換処理(S10)によって決定された前記位置P1に正対する表示領域61の図形画像の表示位置に、「星」の図形画像や「ハート」の図形画像を所定時間に亘って表示する制御を行えば、図形画像の表示位置に、図8に例示するような「星」の図形画像Z1、Z2等や「ハート」の図形画像Z4、Z5等からなる静止画像を所定時間に亘って表示することができる。
このため、表示領域61から離れた位置から、ユーザUがペン型音波発信装置70によって音波を発信する位置を順次変化させることに伴って、画像入力座標変換処理(S10)によって決定される前記図形画像の表示位置を順次変化させることにより、図形画像表示処理(S12)において、該順次変化させた表示位置に、図柄画像Z1、Z2、Z4、Z5等からなる静止画像を所定時間に亘り継続して表示することが可能になる。
これにより、ペン型音波発信装置70によって音波を発信することを起点として、順次変化させた表示位置に表示される静止画像によって、ユーザUが表示領域61に自由に絵を描いているような演出を行うことができる。
【0089】
また、各種の図形画像(「星」「ハート」「長方形」の各図形画像)を選択する図形画像選択ボタン71A〜71Cが押されることによって選択された図形画像の種類毎に、各発信回路74A〜74Cは、互いに異なる発信パルス間隔を有するパルス信号を発信する。その後、ペン型音波発信装置70が備える音波発信器75は、互いに異なる発信パルス間隔を有するパルス信号に応じ、互いに周波数帯域が異なる3種類の音波を発信することが可能である。
このため、音波発信器75は、選択された図形画像の種類に対応付けた特有の周波数帯域を有する音波を発信させることができる。
【0090】
さらに、図形画像表示処理(S12)においては、画像選択ボタン押圧力判別処理(S6)によって、各圧力センサ71D〜71Fが所定の圧力以上で強く又は所定の圧力を下回った状態で弱く押されたことを検出したことに基づいて、表示領域61の図形画像の表示位置における図形画像の大きさを変化させれば、図8に例示するように、互いに異なる前記表示位置に、大きさが異なる図形図柄Z1、Z2等をそれぞれ表示することが可能になる。
これに伴って、表示領域61では、図8に例示するように、大きさが異なる複数の図形図柄によって、ユーザUが変化に富んだ絵を描いているような演出が可能になる。
【0091】
加えて、図形画像表示処理(S12)においては、音程分析処理(S5)によって、周波数シフト部77が前記音波信号の周波数帯域を所定の周波数帯域にシフトしたことを検出したことに基づいて、表示領域61の図形画像の表示位置における図形画像の表示色を変化させる制御を行っている。図8に例示するように、図形画像表示処理(S12)によって、図形画像Z1、Z5をオレンジ色(暖色)、図形画像Z2、Z4を水色(寒色)で表示して、図形画像の色合いを制御する場合には、互いに異なる図形画像の表示位置に、オレンジ色と水色によって、色が相互に異なる図形画像を表示することが可能になる。
これにより、表示領域61では、図8に例示するように、ユーザUがオレンジ色及び水色を用いて絵を描いているような演出が可能になる。
【0092】
音波生成時間検出処理(S7)において、ディジタル信号(音波信号)の受信継続時間が所定の時間を経過したことを検出すると共に、ユーザUが移動して位置P1が変化する場合には、図形画像表示処理(S12)によって、前記位置P1に正対する表示領域61に表示する前記「長方形」の図形画像と、これに隣接して次の位置P1に正対する表示領域61の表示位置に表示する「長方形」の図形画像とを部分的に重ねる制御を行っている。この場合には、「長方形」の図形画像同士が途切れることなく繋げられた軌跡によって、図8に例示するように、表示領域61には、あたかも一続きの線になるような画像Z10を表示することが可能になる。
このため、表示領域61では、ユーザUが線を描いているような演出が可能になる。
【0093】
また、ペン型音波発信装置70のリセットボタン73が押されることにより、上述のS13の判断において、リセット処理がされたと判断した場合に、演算処理部52が、初期画面表示処理(S2)に戻る処理を行えば、該初期画面表示処理(S2)によって、表示領域61には、上述した描画領域が写し出されて図形画像が表示されることがない。
このため、表示領域61から離れた位置から、ユーザUがペン型音波発信装置70によって音波を発信させたことを起点として、表示領域61に、再び図形画像を表示することが可能になる。
【0094】
さらに、位置P1においてユーザUがペン型音波発信装置70を用いて発信させた音波が一対のマイクロフォンM1、M4に到達する時間差、該音波が他の一対のマイクロフォンM2、M3に到達する時間差及び前記音波が、マイクロフォンM5と各マイクロフォンM1〜M4との間にそれぞれ到達する時間差を用い、双曲線法によって、位置P1を算出する。このため、ユーザUが音波を発信させた位置が順次変化する場合であっても、双曲線法により、マイクロフォンM1とマイクロフォンM4との間を通過する双曲線軌跡、マイクロフォンM2とマイクロフォンM3との間を通過する双曲線軌跡及びマイクロフォンM5と各マイクロフォンM1〜M4との間をそれぞれ通過する双曲線軌跡を、順次算出することができる。これにより、マイクロフォンM1とマイクロフォンM4との間を通過する双曲線軌跡、マイクロフォンM2とマイクロフォンM3との間を通過する双曲線軌跡及びマイクロフォンM5と各マイクロフォンM1〜M4との間をそれぞれ通過する双曲線軌跡がそれぞれ交わる点を、ユーザUが音波を発信させた位置として算出することができる。
【0095】
加えて、上記の水平距離L3の長さを所定の長さ(ここでは4000mm)に定めることにより、該水平距離L3と、上記の横寸法Xとの比αを一定の値(ここでは0.05)に定めることができる。これにより、画像入力座標変換処理(S10)では、一定の値に応じて、位置P1と、該位置P1に正対する表示領域61の横方向における図形画像の表示位置とを容易に対応付けすることができる。
さらに加えて、上述したように、ユーザUが音波を発信可能な高さを所定の高さに制限することにより、該所定の高さと、上記の縦寸法Yとの比βを一定の値に定めることができる。これにより、画像入力座標変換処理(S10)では、一定の値に応じて、位置P1と、該位置P1に正対する表示領域61の縦方向における図形画像の表示位置とを容易に対応付けすることができる。
【0096】
本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において構成の一部を適宜変更して実施することができる。本実施形態の画像表示装置1では、画像選択ボタン押圧力判別処理(S6)によって各圧力センサ71D〜71Fが所定の圧力以上で強く又は所定の圧力を下回った状態で弱く押されたことを検出する例に限らず、各圧力センサ71D〜71Fに対する押圧力を多段階(例えば、大・中・小の3段階)で検出してもよい。この場合には、前記押圧力の検出段階に対応させて、押圧強度判別データを生成し、該押圧強度判別データに基づいて、画像図形表示処理(S12)により、図8に例示すように、表示領域61に、3段階の大きさの「星」の図形画像Z1〜Z3や、4段階の大きさの「ハート」の図形画像Z4〜Z7を表示することが可能になる。
【0097】
また、上述した実施形態とは異なり、各図形画像Z1、Z5等の表示色を、オレンジ色に代えて他の暖色としたり、各図形画像Z2、Z4等の表示色を、水色に代えて他の寒色としてもよい。上述した実施形態とは異なり、音程変更ダイヤル72を、Y1方向及びY2方向にそれぞれ回すことにより、ペン型音波発信装置70から発信する音波の周波数帯域を、多段階で該周波数帯域よりも高い周波数帯域又は低い周波数帯域にシフトするようにしてもよい。この場合には、周波数帯域をシフトさせた段階に対応させて、ピーク周波数上昇判別データやピーク周波数下降判別データを生成し、各判別データに基づいて、画像図形表示処理(S12)により、図8に示す表示領域61に、オレンジ色や水色を含む複数の表示色で、「星」の図形画像や「ハート」の図形画像を表示することが可能になる。
さらに、図形画像表示処理(S12)によって、表示領域61に各図形画像Z1等を継続して表示する時間は、ユーザUが表示領域61に表示された図形画像Z1等を楽しみことができる適宜の時間に設定すればよい。
加えて、音波生成時間検出処理(S7)によって、ディジタル信号(音波信号)がハイレベルになる時間を検出する時間は、該ハイレベルの状態を安定して検出できる適宜の時間に設定すればよい。
【0098】
上述した実施形態とは異なり、各図形画像選択ボタン71A〜71Cがユーザによって押されたときに、音波発信器75が発信する音波の周波数の値は、実施形態に示した値に限らず、この値とは異なる適宜の値に設定してもよい。
また、ペン型音波発信装置70は、3つの図形画像選択ボタン71A〜71Cを有するものに限らず、ユーザに選択させる図形の種類を増加させることに対応させて4つ以上の図形画像選択ボタンを有するものであってもよい。
【符号の説明】
【0099】
1・・画像表示装置、52・・演算処理部、53D・・データ記憶部、60・・大型ディスプレイ、61・・表示領域、70・・ペン型音波発信装置、71A・・第1図形画像選択ボタン、71B・・第2図形画像選択ボタン、71C・・第3図形画像選択ボタン、71D・・第1圧力センサ、71E・・第2圧力センサ、71F・・第3圧力センサ、73・・リセットボタン、74A・・第1発信回路、74B・・第2発信回路、74C・・第3発信回路、75・・音波発信器、77・・周波数シフト部、M1〜M5・・マイクロフォン

【特許請求の範囲】
【請求項1】
任意の画像を表示する表示領域を有する表示手段と、
所定の音波を発生させることが可能な音波発生手段と、
前記音波発生手段によって発生させた前記所定の音波を検出する音波検出手段と、
前記音波検出手段によって検出した前記所定の音波に基づいて、該所定の音波を発生させた位置を特定する位置特定手段と、
前記位置特定手段によって特定された位置と、該特定された位置に略正対した前記表示領域における前記任意の画像の表示位置とを相関付けする相関手段と、
前記音波発生手段によって発生させる前記所定の音波に関連付けて前記任意の画像の画像データを記憶する記憶手段と、
前記音波発生手段によって発生させた前記所定の音波に応じ、前記記憶手段に記憶された前記画像データに基づいて、前記相関手段によって前記特定された位置と相関付けされた前記表示位置に、該任意の画像を所定時間に亘って表示する制御を行う表示制御手段と、
を備えることを特徴とする画像表示装置。
【請求項2】
前記音波発生手段は、
前記表示位置に表示する前記任意の画像を複数の画像から選択する画像選択手段と、
前記画像選択手段によって選択される前記複数の画像に含まれる各画像毎に、互いに異なる特定の周波数帯域を有する前記所定の音波をそれぞれ生成する音波生成手段と、
を備えることを特徴とする請求項1に記載の画像表示装置。
【請求項3】
前記画像選択手段は、
前記任意の画像として前記各画像を選択可能な画像選択ボタンと、
前記画像選択ボタンに対する押圧力を検出する押圧力検出手段と、を備え、
前記表示制御手段は、前記押圧力検出手段によって検出された押圧力に応じ、前記表示位置に表示する前記任意の画像の大きさを変化させる制御を行うことを特徴とする請求項2に記載の画像表示装置。
【請求項4】
前記音波発生手段は、前記音波生成手段によってそれぞれ生成する前記所定の音波の周波数帯域を変更する周波数帯域変更手段を備え、
前記表示制御手段は、前記周波数帯域変更手段によって変更された前記周波数帯域に応じ、前記表示位置に表示する前記任意の画像の表示色を変化させる制御を行うこと特徴とする請求項1ないし3のいずれかに記載の画像表示装置。
【請求項5】
前記音波生成手段によって前記所定の音波が生成されている音波生成時間が予め定めた所定の時間を経過するか否かを検出する音波生成時間検出手段を備え、
前記音波生成時間検出手段によって前記音波生成時間が前記所定の時間を経過したこと検出した場合には、前記表示制御手段は、隣接する前記表示位置に表示する前記任意の画像を繋げて表示する制御を行うことを特徴とする請求項2ないし4のいずれかに記載の画像表示装置。
【請求項6】
前記音波発生手段は、前記表示位置に前記任意の画像を表示しない初期状態に戻すことを指示可能な初期設定手段を備え、
前記初期設定手段によって前記初期状態に戻すことが指示された場合には、前記表示制御手段は、前記初期状態に対応させた初期画面を前記表示領域に表示する制御を行うことを特徴とする請求項1ないし5のいずれかに記載の画像表示装置。
【請求項7】
前記音波検出手段は、
前記音波発生手段が発生させた前記所定の音波を検出するために、所定の水平間隔を隔てて配置された一対のマイクロフォン同士を互いに直交して配置したマイクロフォン群と、
前記一対のマイクロフォンを構成する各マイクロフォンから前記水平間隔と同一の間隔である対向間隔を隔てて配置された対向マイクロフォンと、を備え、
前記位置特定手段は、前記音波発生手段が発生させた前記所定の音波が、前記マイクロフォン群を構成する各一対のマイクロフォンに到達する時間差及び前記各マイクロフォンと前記対向マイクロフォンとの間に到達する時間差をそれぞれ用い、双曲線法によって、前記所定の音波を発生させた位置を算出することを特徴とする請求項1ないし6のいずれかに記載の画像表示装置。
【請求項8】
前記相関手段は、
前記表示領域の横方向へ前記音波発生手段が予め移動可能な移動距離と、前記表示領域の横寸法との比に応じて、前記所定の音波を発生させた位置と、前記表示領域の横方向における該所定の音波を発生させた位置に略正対した前記表示位置とを相関付けすると共に、
前記表示領域の縦方向に沿って前記音波発生手段が予め前記所定の音波を発生させることが可能な範囲と、前記表示領域の縦寸法との比に応じて、前記所定の音波を発生させた位置と、前記表示領域の縦方向における該所定の音波を発生させた位置に略正対した前記表示位置とを相関付けすることを特徴とする請求項1ないし7のいずれかに記載の画像表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2010−262481(P2010−262481A)
【公開日】平成22年11月18日(2010.11.18)
【国際特許分類】
【出願番号】特願2009−112817(P2009−112817)
【出願日】平成21年5月7日(2009.5.7)
【出願人】(000213297)中部電力株式会社 (811)
【Fターム(参考)】