セッション端末
【課題】演奏者の演奏動作を予測し、予測結果に基づいて楽音発生を制御する。
【解決手段】セッション端末１の操作盤２２はタッチパネルであり、スタイラス２１の入力を受け付ける。操作盤２２の操作面は、左側信号発生領域ＡＬと右側信号発生領域ＡＲと、両者の間に挟まれた検知領域ＡＣを有し、液晶表示によりユーザに視認できる。スタイラス２１が左右いずれかの信号発生領域から検知領域ＡＣへ移動すると検知が開始され、検知領域ＡＣから反対側の信号発生領域へ脱出するまでの予測到達時刻ｔｆが推算され、当該予測到達時刻ｔｆに対して、ネットの遅延時間分だけ早く楽音信号がセッション端末２へ送信されるとともに、実際にスタイラス２１が検知領域ＡＣを脱出するとセッション端末１において楽音が発生する。
【解決手段】セッション端末１の操作盤２２はタッチパネルであり、スタイラス２１の入力を受け付ける。操作盤２２の操作面は、左側信号発生領域ＡＬと右側信号発生領域ＡＲと、両者の間に挟まれた検知領域ＡＣを有し、液晶表示によりユーザに視認できる。スタイラス２１が左右いずれかの信号発生領域から検知領域ＡＣへ移動すると検知が開始され、検知領域ＡＣから反対側の信号発生領域へ脱出するまでの予測到達時刻ｔｆが推算され、当該予測到達時刻ｔｆに対して、ネットの遅延時間分だけ早く楽音信号がセッション端末２へ送信されるとともに、実際にスタイラス２１が検知領域ＡＣを脱出するとセッション端末１において楽音が発生する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏者の演奏動作を予測し、予測結果に基づいて楽音発生を制御する技術に関する。
【背景技術】
【０００２】
近年の通信ネットワークの発達により、地理的に離れ通信ネットワークを介して接続された複数の楽器端末によりセッション（合奏）を行うことができるセッションシステムが開発されている。このようなセッションシステムにおいては、セッションに参加している各参加者の楽器端末において生成される楽音信号（音高、音量、音色等を示す信号）が逐次他の全ての参加者の楽器端末に送信されなければならない。
【０００３】
ところが、通信ネットワークを介した上記のようなセッションシステムの場合、必ずネットワーク上の遅延が生じる。ネットワークの遅延があると、演奏者は、タイミングのずれた発音に演奏をあわせなければならないので、自然なセッションを行うことができない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
そこで、演奏者の演奏動作を予測し、発音時刻の予測結果に基づいて楽音発生を制御する技術が提案されている（特許文献１を参照）。特許文献１の技術によれば、受信側の端末において、楽音信号を受信する前に、予測結果に基づいてホワイトノイズ等を事前に発音し、その後に受信した楽音信号を重ね合わせている。これにより、ホワイトノイズと楽音とが聴感上ほぼ同じ音色として感知され、この結果、遅れのない楽音として聞くことができる。
しかしながら、特許文献１に記載の装置においては、本来の楽音に対してホワイトノイズ等を重畳させているので、ホワイトノイズが耳障りになるなどという問題があった。
本発明はこのような事情に鑑みてなされたものであり、ホワイトノイズ等の楽音ではない音を重畳させることなく、受信側の端末において遅れのない楽音を発音させることができるセッション端末を提供する。
【０００５】
【特許文献１】特開２００６−１９５３８６号公報
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明は、通信ネットワークを介して他の通信端末と通信を行うセッション端末において、表面に物体が位置することが可能な面部材であって、前記物体が前記表面に沿って移動可能である面部材と、前記面部材の表面上における前記物体の位置を検出する検出手段と、前記検出手段が検出した位置の変化に基づいて前記物体の運動を検出する運動検出手段と、前記面部材の面において所定のエリアを設定するエリア設定手段と、前記エリア設定手段が設定したエリアにおいて前記運動検出手段が検出した運動に基づき前記物体が前記エリア外に出る時刻を推定し、推定時刻情報を生成する時刻推定手段と、前記推定時刻情報が生成されると当該推定時刻情報と対になる送信データを生成する送信データ生成手段と、前記送信データ生成手段により生成された送信データを、当該送信データと対になっている推定時刻情報が示す時刻より早い時刻に前記ネットワークを介して他の通信端末に送信する送信手段と、を具備することを特徴とするセッション端末を提供する。
【０００７】
本発明の好ましい態様においては、前記面部材の前記表面を構成する表示手段を具備し、前記表示手段は、前記エリア設定手段により前記表面に設定される前記エリアに対応した面画像を表示する。
また、本発明の別の好ましい態様においては、前記表示手段は液晶表示装置であり、前記検出手段は前記液晶表示装置の表示面に重ねて設けられ、前記物体が接触した位置を検出し得る透明性を有する接触検出パネルである。
【０００８】
また、本発明の別の好ましい態様においては、前記通信ネットワークの遅延量を検出する遅延検出手段を設け、前記送信手段は前記遅延検出手段が検出した遅延量に応じて前記送信データの送信タイミングを決定する。
また、本発明の別の好ましい態様においては、前記エリア設定手段は、前記遅延検出手段によって検出された遅延量に応じて前記エリアを設定する
また、本発明の別の好ましい態様においては、前記送信手段は、前記送信データとともに、当該送信データと対になっている前記推定時刻情報を送信する。
【０００９】
また、本発明の別の好ましい態様においては、前記送信データ生成手段が生成する前記送信データは、楽音を示す楽音情報である。
また、本発明の別の好ましい態様においては、前記送信データ生成手段は、前記運動検出手段が検出した運動に基づいて前記楽音の属性を決定し、当該属性を有する楽音の楽音情報を生成する。
また、本発明の別の好ましい態様においては、前記送信データ生成手段は、前記検出手段の検出結果に基づいて前記物体が前記エリアに進入または前記エリアから脱出した位置を認識し、認識した位置に応じて前記楽音の属性を決定し、当該属性を有する楽音の楽音情報を生成する。
また、本発明の別の好ましい態様においては、楽音信号を生成し、前記時刻推定手段が推定した時刻に対応するタイミングにおいて前記楽音信号を放音する楽音放音手段を具備する。
【発明の効果】
【００１０】
本発明によれば、演奏者はホワイトノイズ等の楽音ではない音を重畳させることなく、受信側の端末において遅れのない楽音を発音させることができる。
【発明を実施するための最良の形態】
【００１１】
次に、この発明を実施するための最良の形態を説明する。
（Ａ）構成
図１は、本実施形態に係るセッションシステムの全体構成を示すブロック図である。図１に示すように、このシステムは、セッション端末１，２が通信ネットワークにより接続されて構成される。なお、実際にはより多くのセッション端末が通信ネットワークにより接続されてシステムを構成することも可能であるが、説明の便宜上、省略する。また、この実施形態においては、セッション端末１とセッション端末２の各構成は同じであるとする。
【００１２】
図２は、セッション端末１の構成を示す図である。１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、その他の各種演算プロセッサからなり、ハードウェア回路の各部を制御する制御部である。１３は、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ；登録商標）音源を有する音源部である。１４は楽音信号処理回路１４ａと増幅器１４ｂ、スピーカ１４ｃからなる放音部である。楽音信号処理回路１４ａはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等であり、音源部１３より受信したデジタル楽音信号をアナログのオーディオ信号に変換する。増幅器１４ｂは楽音信号処理回路１４ａから受信したオーディオ信号を増幅する。スピーカ１４ｃは増幅器１４ｂから受信した増幅されたオーディオ信号を外部へ放音する。
【００１３】
ここで、図３を用いて、セッション端末１の外観構成を説明する。セッション端末１の外観は図３（ａ）に示すように、扁平な箱状の筐体を有し、筐体の上面左側には、十字型の入力装置である十字キー１１ａが配置されている。筐体の上面右側には、４つの円形のボタン１１ｂが配置されている。筐体上面の図面手前側左右には上述したスピーカ１４ｃが配置されている。十字キー１１ａや４つのボタン１１ｂは、図２に示すスイッチ群１１を構成する。ここで、十字キー１１ａは音高を指定し、４つのボタン１１ｂはそれぞれ効果音の付与を指定する。この実施形態においては、十字キー１１ａは右側が押されると音高が半音あがり、左側が押されると音高が半音さがり、上側が押されると音高が１オクターブあがり、下側が押されると音高が１オクターブ下がるように設定されている。４つのボタン１１ｂはそれぞれが、楽音に対して残響効果の付与を指定したり、エコーやコーラス効果を指定したりするようになっている。この場合、制御部１２は、十字キー１１ａのいずれの部分が押されたかを検出して、発音すべき音高を決定し、ボタン１１ｂのいずれが押されたかによって楽音に付与すべき効果を決定するようになっている。なお、以下においては、４つのボタン１１ｂのうち残響効果を指定するものが操作される場合を例にとって説明する。
【００１４】
次に、図３（ａ）に示すように筐体上面の中央部には、方形状の操作盤２２が配置されている。操作盤２２は、ユーザがスタイラス２１（操作子）により操作盤２２の表面上の任意の箇所を指示すると、その位置を示す情報がセッション端末１に入力される。
図３（ｂ）は、操作盤２２を更に詳述する分解斜視図である。２２ａは方形状の透明感圧パネルであり、２層の透明電極パネル２２ａ−１、２２ａ−２がわずかな隙間をあけて重ねられて構成されている。透明電極パネル２２ａ−１はパネル平面の水平方向に帯状電極が並べられたものであり、透明電極パネル２２ａ−２はパネル平面の垂直方向に帯状電極が並べられたものである。透明感圧パネル２２ａの表面にスタイラス２１を押し付けると、２層の透明電極パネルがスタイラス２１によって押し付けられた部分で接するため、その部分を通過する水平・垂直両方向の帯状電極に流れる電流よって、押圧位置を検知することが可能になっている。２２ｂは透明感圧パネル２２ａと同形の方形状の液晶ディスプレイであり、透明感圧パネル２２ａの下部に重ねて配置されている。液晶ディスプレイ２２ｂの下部には図示しない光源があり、当該光源より照射された光のうち液晶ディスプレイ２２ｂを透過した光は、透明感圧パネル２２ａを通過して、外部に達する。これにより、液晶ディスプレイ２２ｂに表示されている画像を外部から視認することができる。
【００１５】
本実施形態においては、液晶ディスプレイ２２ｂが帯状の表示を行うにより、領域を表示するようになっており、その領域が、図３（ａ）に示すように、操作盤２２の表面において視認される。以下においては、この領域を検知領域ＡＣという。ここで、制御部１２は操作盤２２内の液晶ディスプレイ２２ｂの表示制御に対応させて、透明感圧パネル２２ａの領域を区分して認識するようになっている。すなわち、液晶ディスプレイ２２ｂに表示された検知領域ＡＣと同じ領域が透明感圧パネル２２ａについても認識される。
本実施形態の場合、検知領域ＡＣは液晶ディスプレイ２２ｂによって黒色で表示され、操作盤２２の幅方向の左右の余白は白色で表示されるようになっている。以下においては、操作盤２２の幅方向の左右の白色部分を、左側信号発生領域ＡＬと右側信号発生領域ＡＲという。このようにして操作盤２２の表面は、左側信号発生領域ＡＬと右側信号発生領域ＡＲと、両者の間に挟まれた検知領域ＡＣの３つの領域に区分され、検知領域ＡＣと左側信号発生領域ＡＬとの境界、および検知領域ＡＣと右側信号発生領域ＡＲとの境界がユーザにとって明確に視認できる。また、検知領域ＡＣの幅ｗは、後述する処理によって可変されるようになっている。
【００１６】
次に、図２に示す１６は、タイマであり、時刻を示す時刻情報を常時発生している。１７は、通信インターフェース等を有する通信部である。本実施形態においては、制御部１２の制御の下、スイッチ群１１の操作や操作盤２２の操作に対応した楽音信号が生成されるが、通信部１７は、この楽音信号を通信ネットワークを介してセッション端末２に送信する一方、セッション端末２から送信された楽音信号を受信する。
１８は、セッション端末を制御する基本ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、セッション端末で用いるアプリケーションソフトウェアなどが記憶される記憶部である。また、この記憶部１８には、制御部１２の演算処理におけるワーク領域が設定されている。
１９は外部インターフェース（ＩＦ）であり、外部機器との入出力を行う。なお、図において、ＢＵＳは、以下に説明するセッション端末１が有する各構成要素間のデータ授受を仲介するバスである。
【００１７】
（Ｂ）動作
次に、本実施形態の動作について説明する。図４（ａ）、図４（ｂ）、図４（ｃ）はセッション端末１の制御動作を示すフローチャートである。図４（ａ）に示すフローチャートは割込処理によって所定の間隔で起動される処理である。まず、ステップＳ１０１では、制御部１２によってネットワークの遅延量Ｔｄが測定される。ネットワークの遅延量Ｔｄとは、セッション端末１から送信された信号がセッション端末２に到達するまでの時間である。この実施形態においては、制御部１２は、セッション端末２に定期的にパケットを送信することによって遅延量Ｔｄを計算している。より詳しく言えば、送信したパケットがセッション端末２によって返信され、その往復に要した時間から遅延量Ｔｄを算出するようにしている。
次に、ステップＳ１０２に移ると、制御部１２は、ステップＳ１０１で求めた遅延量Ｔｄに基づいて検知領域ＡＣの幅ｗを決定する。ここでは、遅延量Ｔｄが大きいほど幅ｗは大きく、遅延量Ｔｄが小さいほど幅ｗは小さくなるように演算される。そして、制御部１２は、決定した幅ｗに応じて液晶ディスプレイ２２ｂに表示する検知領域ＡＣの幅を制御するとともに、透明感圧パネル２２ａについての検知領域の幅も新たな幅ｗとして認識する。
以上により図４（ａ）に示す割込処理が終了し、以後は割込周期毎に同様の処理が繰り返される。これにより、遅延量Ｔｄの測定と検知領域ＡＣの幅ｗの算出が実質的に常時行われることになる。
【００１８】
一方、制御部１２は、操作盤２２のどの部分が押圧されているかを常時監視しており、押圧位置が検知領域ＡＣに至ったか否かを、図４（ｂ）に示すフローチャートのステップＳ１０３を循環することより監視している。そして、セッション端末１の演奏者が、演奏を開始するために、左側信号発生領域ＡＬに置いたスタイラス２１を移動させると、これに伴って、操作盤２２が検知している押圧位置が移動する。制御部１２は、この押圧位置が検知領域ＡＣに進入した時点で、演奏操作が開始されたと判断する（Ｓ１０３；ＹＥＳ）。押圧位置が検知領域ＡＣに進入してない場合は、演奏操作が開始されていないとして待機状態を維持する（Ｓ１０３；ＮＯ）。
そして、制御部１２は、演奏操作が開始されたと判定した場合には、その時刻を測定開始時刻ｔ０として検出する。また、制御部１２は、十字キー１１ａの操作を検出して音高を決定し、ボタン１１ｂの入力に応じて残響効果を決定する。これらの音高および残響効果は楽音信号ｓｄ１の属性として制御部１２内のＲＡＭに記憶される（Ｓ１０４）。なお、楽音の音色も楽音信号の属性となるが、この実施形態における楽音信号の音色はピアノやギターなどの減衰音を現す音色が設定されている。なお、どのような音色を指示するかは、予め決められているが、これを任意に変更できるように構成してもよい。
次に、スタイラス２１が検知領域ＡＣに入ってから、予め定められている距離（以下、測定距離ｓという）を移動すると、ステップＳ１０５の判定がＹＥＳとなってステップＳ１０６に進んで到達予測時刻ｔｆを演算する。到達予測時刻ｔｆとは、スタイラス２１が検知領域ＡＣを脱出して右側信号発生領域ＡＲに到達すると予想される時刻である。この演算は以下のようにして行われる。
制御部１２は、スタイラス２１が検知領域ＡＣに入ってから測定距離ｓを移動した時刻（以下、測定終了時刻ｔｓという）（Ｓ１０５；ＹＥＳ）で、スタイラス２１の速度を演算し、スタイラス２１が右側信号発生領域ＡＲへ到達する到達時間予測処理をする（Ｓ１０６）。ここで、図５を用いて、到達時間予測処理法について説明する。なお、本実施形態では、スタイラス２１の運動は等速直線運動であるとする。
【００１９】
図５に示すように、検知領域ＡＣ（矩形）の幅はｗ、測定距離はｓである。検知領域ＡＣにおける座標を、幅方向であるｘ成分と、高さ方向であるｙ成分によって（ｘ，ｙ）と表すこととし、スタイラス２１が検知領域ＡＣに進入した時点（測定開始時刻ｔ０）の座標を（ｘ０，ｙ０）とし、測定終了時刻ｔｓにおけるスタイラス２１の座標を（ｘｓ，ｙｓ）と表す。制御部１２はこれらの座標を透明電極パネルの帯状電極を介して認識している。ここで、測定開始時刻ｔ０から測定終了時刻ｔｓまでの間にスタイラス２１が移動した距離のｘ成分Δｘとｙ成分Δｙはそれぞれ、
Δｘ＝｜ｘｓ−ｘ０｜
Δｙ＝｜ｙｓ−ｙ０｜
で表すことができる。また、スタイラス２１が検知領域ＡＣに進入してから（測定開始時刻ｔ０）測定距離ｓを移動するまで（測定終了時刻ｔｓ）の時間Ｔ０（以下、測定時間Ｔ０という）は、
Ｔ０＝ｔｓ−ｔ０
で、求めることができる。この場合、測定距離ｓを移動する移動速度ｖは
ｖ＝ｓ／Ｔ０
である。スタイラス２１が検知領域ＡＣに進入してから、検知領域ＡＣを脱出するまでに移動する距離Ｌは
Ｌ＝ｗ・ｓ／Δｘ
であり、スタイラス２１は距離Ｌを前述の移動速度ｖのまま通過するので、通過にかかる時間、すなわち測定時間Ｔ０と予測到達時間Ｔ１の和は、
Ｔ０＋Ｔ１＝Ｌ／ｖ＝Ｔ０・ｗ／Δｘ
となる。したがって、予測到達時間Ｔ１は
Ｔ１＝Ｔ０・（ｗ／Δｘ − １）
の式で演算が可能となる。
【００２０】
次に、図４（ｂ）で示すように、制御部１２は遅延量Ｔｄと予測到達時間Ｔ１を比較し（Ｓ１０７）、遅延量Ｔｄが予測到達時間Ｔ１より大であれば（Ｓ１０７；ＮＯ）、楽音信号ｓｄ１はただちに通信部１７を介してセッション端末２へ送信される（Ｓ１０８）。遅延量Ｔｄが予測到達時間Ｔ１より小であれば（Ｓ１０７；ＹＥＳ）、制御部１２は、次に示す演算処理により特定される送信予定時刻ｔｐにセッション端末２へ楽音信号ｓｄ１を送信するように通信部１７を設定する（Ｓ１０９）。
【００２１】
次に、図６を用いて、送信予定時刻ｔｐの演算処理を説明する。図６は、予測動作を、時間軸に沿って示した図である。横軸は時間の流れを示し、測定開始時刻ｔ０と測定終了時刻ｔｓとの間の時間は測定時間Ｔ０であり、測定終了時刻ｔｓに、前述の演算により得られた予測到達時間Ｔ１を加算した時刻が予測到達時刻ｔｆである。そこで制御部１２は、予測到達時刻ｔｆより遅延量Ｔｄだけ早い時刻を送信予定時刻ｔｐとして演算し、この送信予定時刻ｔｐにセッション端末１から楽音信号ｓｄ１を送信するように、通信部１７を設定する。送信先であるセッション端末２では、セッション端末１から送信された楽音信号ｓｄ１を受信した時点で、ただちにこれを放音するので、セッション端末２において、楽音信号ｓｄ１を予測到達時刻ｔｆに発生させることができる。この送信は、制御部１２が、送信予定時刻ｔｐと楽音信号ｓｄ１の組み合わせを通信部１７に設定し、通信部１７が設定された送信予定時刻ｔｐとタイマ１６によって得られる現在の時刻ｔを比較し、一致したタイミングでおこなう。時刻の比較には任意に許容誤差を設けてもよい。また、通信部１７において送信される楽音信号は本実施形態の場合は、発音の開始を指示するキーオン、楽音の属性を示す音高、音色、効果（残響など）がＭＩＤＩ形式の信号として出力される。
【００２２】
次に、制御部１２はスタイラス２１の位置を監視し、スタイラス２１が検知領域ＡＣを脱出していない間は、待機状態を維持する（Ｓ１１０；ＮＯ）。スタイラス２１が検知領域ＡＣを脱出して右側信号発生領域ＡＲへ到達したことを操作盤２２が検知すると（Ｓ１１０；ＹＥＳ）、制御部１２は、ＲＡＭに記憶された楽音信号ｓｄ１を音源部１３に送り、音源部１３は送られた楽音信号ｓｄ１を、放音部１４を用いて、発生させる（Ｓ１１１）。このタイミングは、通信部１７が楽音信号ｓｄ１を送信した時刻ｔｐに遅延量Ｔｄを加えた時刻に対応するから、放音部１４の放音とセッション端末２における放音のタイミングは一致する。このように、セッション端末１とセッション端末２で同時に楽音を発音させることができ、セッションを行うことが可能となる。
また、セッション端末１の演奏者は、操作盤２２に表示されている検知領域ＡＣを見ながらスタイラス２１を操作するから、スタイラス２１が右側信号発生領域ＡＲへ到達した瞬間を楽音の発音と結び付けて認識するため、検知領域の幅ｗの増減によってネットワークの遅延を意識しながら演奏のタイミングを調整することができる。なお、演奏操作は、スタイラス２１を左側から右側へ操作するように設定してもよいが、左右対称に演奏操作できるようにしてもよい。すなわち、左右いずれかの信号発生領域から検知領域ＡＣへの移動によって測定を開始し、検知領域ＡＣから左右いずれかの信号発生領域への移動を予測して楽音発生タイミングを認識するように構成してもよい。また、発音タイミングには任意に許容誤差を設けてもよい。
【００２３】
次に、図４（ｃ）に示すフローチャートは割込処理によって所定の間隔で起動される処理である。制御部１２は通信部１７の受信状態を監視し、通信部１７がセッション端末２から送信された楽音信号ｓｄ２を受信していれば（Ｓ１１３；ＹＥＳ）、セッション端末２から送信された楽音信号ｓｄ２を、随時、音源部１３に送り、音源部１３は送られた楽音信号ｓｄ２を、放音部１４を用いて発生させる（Ｓ１１４）。以上の図４（ａ）〜図４（ｃ）の動作は図示しないスイッチによる演奏終了を示す入力がされるまで続けられる（Ｓ１１２）。
なお、上述した実施形態においては、楽音信号の属性として音色や残響（音響効果）が設定される例を示したが、スタイラス２１の移動速度ｖに基づいて音の強さを示すベロシティデータを生成し、これを属性として含めて送信してもよい。
【００２４】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
（変形例１）
上記実施形態では、検知領域ＡＣを単一の領域としたが、検知領域ＡＣを縦方向に分割して、縦方向の位置を楽音信号ｓｄ１の属性（音高、音色、音の強さ、ベロシティなど）に関連付けてもよい。この形態の一例を図７を用いて説明する。図７に示すように、検知領域ＡＣは上下に複数に分割されており、制御部１２の制御の下に、液晶ディスプレイ２２ｂにより当該分割の境界線が表示されていると同時に、それぞれの分割の領域を示す情報が制御部１２のＲＡＭ上に記憶されており、操作盤２２内の透明感圧パネル２２ａで検知される位置情報を当該分割の領域を示す情報と照らし合わせることにより、スタイラス２１が分割した領域のいずれに位置しているかが認識される。ＡＣ−ｏｎは発音領域であり、縦方向にＡＣ−１、ＡＣ−２、・・・ＡＣ−ｎのｎ個に分割され、それぞれの位置が制御部１２によって音高に関係付けられてＲＡＭに記憶されている。これらの関係は、液晶表示によってユーザに認識可能となっている。また、ＡＣ−ｏｆｆは消音領域であり、ＡＣ−ｏｎと同様にその位置は制御部１２によって消音に関係付けられてＲＡＭに記憶されており、ユーザには文字や色彩などの液晶表示によって、音を消すための領域であることが認識可能となっている。操作盤２２内の透明感圧パネル２２ａはスタイラス２１が進入した検知領域ＡＣにおける縦方向の位置情報を制御部１２へ送信し、制御部１２は当該位置に基づいて、この入力が発音か消音のいずれの指示であるかを判定する。さらに、縦方向位置が発音領域であれば音高も決定する。なお、音高は、進入位置で定めるだけでなく、脱出位置を推測して定めても良い。例えば、スタイラス２１の軌跡は常に直線であることを前提として、図５を用いて説明すると、スタイラス２１の進行方向が検知領域ＡＣを幅方向に対して水平でない場合は、スタイラス２１の検知領域ＡＣにおける進入位置と脱出位置のそれぞれの縦方向成分は
ｍ＝Ｌ・Δｙ／ｓ
だけ異なる。したがって、この差異ｍに基づいてスタイラス２１が検知領域ＡＣに進入した時点で検知した進入位置の情報を補正することで、脱出位置が推測され、これに応じた音高を決定することができる。
また、検知した進入位置と推測した脱出位置のいずれか一方のみの位置によって一定の音高を発音するだけではなく、発音から消音までの音高が、検知した進入位置と推測した脱出位置のそれぞれに応じるように変化してもよい。この場合、音高の変化は時間に対して線形的な変化でもよいし、スタイラス２１の軌跡に関係付けてもよい。
また、前述した実施形態においても操作盤２２に消音領域を表示して、消音指示を行うように構成してもよい。設定した音色がバイオリンやオルガンのように継続音の音色の場合は、消音指示があると好適である。
【００２５】
（変形例２）
また、操作盤２２の操作面は方形状に限られず、一次元的な形状でもよい。例えば、図８の（ａ）に示すように操作面は棒状の矩形であってもよい。さらに、一次元的な操作を行う場合は、操作盤２２は、図８の（ｂ）に示すように半固定抵抗器を用いたスライダースイッチやスライドボリュームによって実現してもよい。
また、実施形態においては、スタイラス２１と操作盤２２の接触により位置情報を入力するようにしたが、非接触の検知方法、例えば、光学的な検知方法を用いてもよい。光学的検知方法の例としては、操作盤がブラウン管であり、操作子としてスタイラス２１に替えてライトペンを用いる方法がある。これはブラウン管の画面上の走査線をライトペンで受光して、ライトペンが受光したタイミングから位置情報を獲得するというものである。
また、上記実施形態では透明電極パネルを通る電流を検知したが、電圧や静電容量の分布を検知してもよい。
また、操作盤２２の操作面は平面に限られず、曲面であってもよい。位置の入力装置は、図９に示すような、回転軸を有するハンドルや円盤状テーブルによって実現してもよい。なお、ハンドルのように操作子の軌道が円である場合には、必ずしも信号発生領域は複数必要ではなく、回転軸を基点として所定の角度で示される扇形領域を信号発生領域としてもよい（図９参照）。
【００２６】
（変形例３）
上記実施形態では、スタイラス２１が移動する検知領域ＡＣは矩形であることを前提としたが、台形や円であってもよいし、任意の境界を持つものでもよい。すなわち、制御部１２が認識可能な領域であれば、領域の形状はどのような形状であってもよい。
【００２７】
（変形例４）
また、上記実施形態では、制御部１２は予め設定された測定距離ｓを用いて測定時間Ｔ０を演算したが、測定距離ｓは遅延量Ｔｄに応じて設定してもよいし、手動で設定してもよい。また、測定距離ｓに基づいて測定時間Ｔ０を演算することに替えて、逆に測定時間Ｔ０を基準にし、この基準時間内にどれだけ移動したかを測定してスタイラス２１の移動速度を検出してもよい。この場合、前述と同様に、測定時間Ｔ０は予め固定値を設定してもよいし、手動で設定しても、遅延量Ｔｄに応じて設定してもよい。また、上記実施形態ではスタイラス２１の運動は等速直線運動と仮定したが、曲線運動でもよいし、加速運動であってもよい。測定開始時刻ｔ０から測定終了時刻ｔｓまでを複数に分割し、それぞれの時刻と位置情報から速度、加速度を算出し、これらの値から、所定の関数のパラメータを求めて、得られたパラメータで特定される関数によって、予測到達時間Ｔ１を算出してもよい。なお、この算出には、周知のアルゴリズム（例えば、最小二乗法）などを用いることができる。
【００２８】
（変形例５）
また、上記実施形態では、楽音信号ｓｄ１はＭＩＤＩデータとしたが、波形データでもよい。また、送信するデータは楽音信号に限らなくてもよい。例えば、セッション端末２において、予測到達時刻ｔｆに楽音を発生させる替わりに、セッション端末２の外部ＩＦに接続された発光ダイオードを発光させてもよい。すなわち、ユーザの表現に応じたタイミングで送信先のセッション端末における出力が制御可能としてもよい。
【００２９】
（変形例６）
また、上記実施形態では、検知領域の幅ｗが遅延量Ｔｄに応じて変化し、その変化する検知領域の幅ｗが液晶ディスプレイ２２ｂによって表示されていたが、検知領域の幅ｗがユーザにとって大きく変化しないような場合には、表示される幅は固定してもよい。この場合、この幅は、必ずしも液晶ディスプレイ２２ｂによって表示されなくてもよく、操作盤２２に直接着色することによって表示されていてもよい。また、表示される幅は演奏のしやすさに応じて任意に変えてもよく、さらにユーザが検知領域の幅を認識しているような場合や、検知領域の幅を認識することが演奏にとって重要でない場合には、これらの「幅の表示」をおこなわなくてもよい。ただし、制御部１２が認識する透明感圧パネル２２ａ上の検知領域の幅ｗについては上記実施形態と同様である。
【００３０】
（変形例７）
また、上記実施形態では、楽音信号はピアノやギターなどの減衰音を現すＭＩＤＩデータとしたが、楽音信号に継続音を用いる場合には、４つのボタン１１ｂのうち、いずれかを消音の指示に割り当ててもよい。また、次の音が発音されるタイミングで前の音を消音してもよい。
【００３１】
（変形例８）
また、上記変形例１に係る実施形態では、予測到達時刻ｔｆにおけるスタイラス２１の位置は予測通りになっていることを前提としたが、予測到達時刻ｔｆにおけるスタイラス２１の位置を検知するようにしてもよい。この場合、スタイラス２１が予測到達時刻ｔｆに右側信号発生領域ＡＲ（あるいは左側信号発生領域ＡＬ）へ到達しなかったことを検知したら、制御部１２は、測定開始時刻ｔ０からの入力を誤入力として処理し、楽音信号ｓｄ１の送信前であれば、ＲＡＭの記憶を消去し、送信後であれば、送信された信号を訂正する信号を送信するのが好適である。
【００３２】
（変形例９）
また、上記実施形態では、検知領域ＡＣをスタイラス２１が横断する一動作（ストローク）につき単一の音が発音されたが、複数の音が発音されてもよい。例えば、液晶ディスプレイ２２ｂによって、操作盤２２内に縦方向に複数の弦が表示され、弦の部分をスタイラス２１が通過するごとに音が発音されるようにしてもよい。この場合、弦と弦の間の矩形は検知領域とし、弦を表示している部分は信号発生領域としてもよい。
【００３３】
（変形例１０）
また、上記実施形態における制御に加えて、スタイラス２１が検知領域ＡＣ内を移動する速度や加速度、あるいはスタイラス２１が検知領域ＡＣと接触する位置に応じて、ベロシティをはじめとして、音色、残響効果など楽音情報の属性を決定してもよい。
さらに透明感圧パネル２２ａにスタイラス２１の筆圧強度を感知する機能を設け、その筆圧強度に応じて、前述の楽音情報の属性（例えば、ベロシティ）を決定してもよい。
【００３４】
（変形例１１）
また、上記実施形態では、セッション端末１からは楽音信号ｓｄ１のみを送信したが、楽音信号ｓｄ１と予測到達時刻ｔｆの一組を送信してもよい。この場合に、セッション端末１で入力された楽音信号ｓｄ１は、対応する予測到達時刻ｔｆとともにセッション端末２へ送信され、セッション端末２上の制御部１２がこの一組の情報をＲＡＭに記憶して、セッション端末２上の制御部１２の制御の下、記憶された予測到達時刻ｔｆに発音処理がなされるようにしてもよい。
さらに、楽音信号を送らずに、予測到達時刻ｔｆのみを送信してもよい。例えば、セッション端末１とセッション端末２の間で予め楽音信号（音色や効果音などの属性）が取り決められているような場合には、予測到達時刻ｔｆのみを送信すれば、セッション端末２において予測到達時刻ｔｆにおいて予め取り決められた楽音信号を発音することができる。この場合、予測到達時刻ｔｆは、キーオン信号またはキーオフ信号の機能を兼ねる。
【００３５】
（変形例１２）
また、上記実施形態では、検知領域ＡＣは液晶ディスプレイ２２ｂにより表示したが、操作盤平面の凹凸の差異や、スライダースイッチの摩擦抵抗など、力学的機構を用いて表現してもよい。例えば、図１０に示すように、操作盤２２の表面に沿って、幅方向に移動可能な２枚の薄板３１を設置してもよい。この薄板３１はスタイラス２１で触れるユーザにクリック感を与えるもので、これによりユーザは検知領域の幅ｗを認識できると同時に、制御部１２において、検知領域が特定される。すなわち、演奏者が視覚を用いなくても、測定開始と楽音発生のそれぞれを示す操作盤上の位置または境界を認識できさえすればよい。
【００３６】
（変形例１３）
また、上記実施形態では、割り込み処理があるごとに、遅延量Ｔｄから検知領域の幅ｗを決定して表示したが、所定時間分の遅延量Ｔｄを、ＲＡＭ等に記憶させ、遅延量Ｔｄの単位時間当たりの平均値に基づいて検知領域の幅ｗを決定してもよい。
【００３７】
（変形例１４）
また、上記実施形態では、表示機能を有する部分は液晶ディスプレイ２２ｂのみであったが、図１１に示すように、端末筐体に蓋を設け、その蓋側に操作盤２２の液晶ディスプレイ２２ｂとは別のフロント液晶ディスプレイ３２を配置してもよい。このような構成の場合には、例えば、フロント液晶ディスプレイ３２によってゲーム画面を表示することもでき、好適である。
【００３８】
（変形例１５）
また、上記実施形態では、セッション端末１の放音部１４は、スタイラス２１が検知領域ＡＣを脱出して右側信号発生領域ＡＲへ到達したことを検知して楽音を発生させたが、タイマ１６が示す現在の時刻ｔを参照し、当該現在の時刻ｔが、ＲＡＭに記憶された予測到達時刻ｔｆに至ったことを契機として楽音を発生させてもよい。
【００３９】
（変形例１６）
また、上記実施形態では、楽音信号ｓｄ１は送信予定時刻ｔｐに送信されたが、送信予定時刻ｔｐより前の任意の時刻に送信してもよい。
【図面の簡単な説明】
【００４０】
【図１】本実施形態に係るセッションシステムの全体構成を示すブロック図である。
【図２】同実施形態のセッション端末１の構成の一例を示す図である。
【図３】同実施形態のセッション端末１の外観構成図及び操作盤２２の分解斜視図である。
【図４（ａ）】同実施形態のセッション端末１の制御について、詳細な動作を示すフローチャートである。
【図４（ｂ）】同実施形態のセッション端末１の制御について、詳細な動作を示すフローチャートである。
【図４（ｃ）】同実施形態のセッション端末１の制御について、詳細な動作を示すフローチャートである。
【図５】同実施形態の楽音信号と到達時刻予測処理の演算方法を示す図である。
【図６】同実施形態の予測動作を、時間軸に沿って示した図である。
【図７】変形例１に係る実施形態の操作盤２２の構成を示す図である。
【図８】変形例２に係る実施形態の棒状の操作面と、半固定抵抗器を用いたスライダースイッチを示す図である。
【図９】変形例２に係る実施形態の回転軸を有するハンドル型の操作子を示す図である。
【図１０】変形例１２に係る実施形態のセッション端末１の外観構成図である。
【図１１】変形例１４に係る実施形態のセッション端末１の外観構成図である。
【符号の説明】
【００４１】
１，２…セッション端末、１１…スイッチ群、１２…制御部、１３…音源部、１４…放音部、１６…タイマ、１７…通信部、１８…記憶部、１９…外部ＩＦ、２１…スタイラス、２２…操作盤、
【技術分野】
【０００１】
本発明は、演奏者の演奏動作を予測し、予測結果に基づいて楽音発生を制御する技術に関する。
【背景技術】
【０００２】
近年の通信ネットワークの発達により、地理的に離れ通信ネットワークを介して接続された複数の楽器端末によりセッション（合奏）を行うことができるセッションシステムが開発されている。このようなセッションシステムにおいては、セッションに参加している各参加者の楽器端末において生成される楽音信号（音高、音量、音色等を示す信号）が逐次他の全ての参加者の楽器端末に送信されなければならない。
【０００３】
ところが、通信ネットワークを介した上記のようなセッションシステムの場合、必ずネットワーク上の遅延が生じる。ネットワークの遅延があると、演奏者は、タイミングのずれた発音に演奏をあわせなければならないので、自然なセッションを行うことができない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
そこで、演奏者の演奏動作を予測し、発音時刻の予測結果に基づいて楽音発生を制御する技術が提案されている（特許文献１を参照）。特許文献１の技術によれば、受信側の端末において、楽音信号を受信する前に、予測結果に基づいてホワイトノイズ等を事前に発音し、その後に受信した楽音信号を重ね合わせている。これにより、ホワイトノイズと楽音とが聴感上ほぼ同じ音色として感知され、この結果、遅れのない楽音として聞くことができる。
しかしながら、特許文献１に記載の装置においては、本来の楽音に対してホワイトノイズ等を重畳させているので、ホワイトノイズが耳障りになるなどという問題があった。
本発明はこのような事情に鑑みてなされたものであり、ホワイトノイズ等の楽音ではない音を重畳させることなく、受信側の端末において遅れのない楽音を発音させることができるセッション端末を提供する。
【０００５】
【特許文献１】特開２００６−１９５３８６号公報
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明は、通信ネットワークを介して他の通信端末と通信を行うセッション端末において、表面に物体が位置することが可能な面部材であって、前記物体が前記表面に沿って移動可能である面部材と、前記面部材の表面上における前記物体の位置を検出する検出手段と、前記検出手段が検出した位置の変化に基づいて前記物体の運動を検出する運動検出手段と、前記面部材の面において所定のエリアを設定するエリア設定手段と、前記エリア設定手段が設定したエリアにおいて前記運動検出手段が検出した運動に基づき前記物体が前記エリア外に出る時刻を推定し、推定時刻情報を生成する時刻推定手段と、前記推定時刻情報が生成されると当該推定時刻情報と対になる送信データを生成する送信データ生成手段と、前記送信データ生成手段により生成された送信データを、当該送信データと対になっている推定時刻情報が示す時刻より早い時刻に前記ネットワークを介して他の通信端末に送信する送信手段と、を具備することを特徴とするセッション端末を提供する。
【０００７】
本発明の好ましい態様においては、前記面部材の前記表面を構成する表示手段を具備し、前記表示手段は、前記エリア設定手段により前記表面に設定される前記エリアに対応した面画像を表示する。
また、本発明の別の好ましい態様においては、前記表示手段は液晶表示装置であり、前記検出手段は前記液晶表示装置の表示面に重ねて設けられ、前記物体が接触した位置を検出し得る透明性を有する接触検出パネルである。
【０００８】
また、本発明の別の好ましい態様においては、前記通信ネットワークの遅延量を検出する遅延検出手段を設け、前記送信手段は前記遅延検出手段が検出した遅延量に応じて前記送信データの送信タイミングを決定する。
また、本発明の別の好ましい態様においては、前記エリア設定手段は、前記遅延検出手段によって検出された遅延量に応じて前記エリアを設定する
また、本発明の別の好ましい態様においては、前記送信手段は、前記送信データとともに、当該送信データと対になっている前記推定時刻情報を送信する。
【０００９】
また、本発明の別の好ましい態様においては、前記送信データ生成手段が生成する前記送信データは、楽音を示す楽音情報である。
また、本発明の別の好ましい態様においては、前記送信データ生成手段は、前記運動検出手段が検出した運動に基づいて前記楽音の属性を決定し、当該属性を有する楽音の楽音情報を生成する。
また、本発明の別の好ましい態様においては、前記送信データ生成手段は、前記検出手段の検出結果に基づいて前記物体が前記エリアに進入または前記エリアから脱出した位置を認識し、認識した位置に応じて前記楽音の属性を決定し、当該属性を有する楽音の楽音情報を生成する。
また、本発明の別の好ましい態様においては、楽音信号を生成し、前記時刻推定手段が推定した時刻に対応するタイミングにおいて前記楽音信号を放音する楽音放音手段を具備する。
【発明の効果】
【００１０】
本発明によれば、演奏者はホワイトノイズ等の楽音ではない音を重畳させることなく、受信側の端末において遅れのない楽音を発音させることができる。
【発明を実施するための最良の形態】
【００１１】
次に、この発明を実施するための最良の形態を説明する。
（Ａ）構成
図１は、本実施形態に係るセッションシステムの全体構成を示すブロック図である。図１に示すように、このシステムは、セッション端末１，２が通信ネットワークにより接続されて構成される。なお、実際にはより多くのセッション端末が通信ネットワークにより接続されてシステムを構成することも可能であるが、説明の便宜上、省略する。また、この実施形態においては、セッション端末１とセッション端末２の各構成は同じであるとする。
【００１２】
図２は、セッション端末１の構成を示す図である。１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、その他の各種演算プロセッサからなり、ハードウェア回路の各部を制御する制御部である。１３は、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ；登録商標）音源を有する音源部である。１４は楽音信号処理回路１４ａと増幅器１４ｂ、スピーカ１４ｃからなる放音部である。楽音信号処理回路１４ａはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等であり、音源部１３より受信したデジタル楽音信号をアナログのオーディオ信号に変換する。増幅器１４ｂは楽音信号処理回路１４ａから受信したオーディオ信号を増幅する。スピーカ１４ｃは増幅器１４ｂから受信した増幅されたオーディオ信号を外部へ放音する。
【００１３】
ここで、図３を用いて、セッション端末１の外観構成を説明する。セッション端末１の外観は図３（ａ）に示すように、扁平な箱状の筐体を有し、筐体の上面左側には、十字型の入力装置である十字キー１１ａが配置されている。筐体の上面右側には、４つの円形のボタン１１ｂが配置されている。筐体上面の図面手前側左右には上述したスピーカ１４ｃが配置されている。十字キー１１ａや４つのボタン１１ｂは、図２に示すスイッチ群１１を構成する。ここで、十字キー１１ａは音高を指定し、４つのボタン１１ｂはそれぞれ効果音の付与を指定する。この実施形態においては、十字キー１１ａは右側が押されると音高が半音あがり、左側が押されると音高が半音さがり、上側が押されると音高が１オクターブあがり、下側が押されると音高が１オクターブ下がるように設定されている。４つのボタン１１ｂはそれぞれが、楽音に対して残響効果の付与を指定したり、エコーやコーラス効果を指定したりするようになっている。この場合、制御部１２は、十字キー１１ａのいずれの部分が押されたかを検出して、発音すべき音高を決定し、ボタン１１ｂのいずれが押されたかによって楽音に付与すべき効果を決定するようになっている。なお、以下においては、４つのボタン１１ｂのうち残響効果を指定するものが操作される場合を例にとって説明する。
【００１４】
次に、図３（ａ）に示すように筐体上面の中央部には、方形状の操作盤２２が配置されている。操作盤２２は、ユーザがスタイラス２１（操作子）により操作盤２２の表面上の任意の箇所を指示すると、その位置を示す情報がセッション端末１に入力される。
図３（ｂ）は、操作盤２２を更に詳述する分解斜視図である。２２ａは方形状の透明感圧パネルであり、２層の透明電極パネル２２ａ−１、２２ａ−２がわずかな隙間をあけて重ねられて構成されている。透明電極パネル２２ａ−１はパネル平面の水平方向に帯状電極が並べられたものであり、透明電極パネル２２ａ−２はパネル平面の垂直方向に帯状電極が並べられたものである。透明感圧パネル２２ａの表面にスタイラス２１を押し付けると、２層の透明電極パネルがスタイラス２１によって押し付けられた部分で接するため、その部分を通過する水平・垂直両方向の帯状電極に流れる電流よって、押圧位置を検知することが可能になっている。２２ｂは透明感圧パネル２２ａと同形の方形状の液晶ディスプレイであり、透明感圧パネル２２ａの下部に重ねて配置されている。液晶ディスプレイ２２ｂの下部には図示しない光源があり、当該光源より照射された光のうち液晶ディスプレイ２２ｂを透過した光は、透明感圧パネル２２ａを通過して、外部に達する。これにより、液晶ディスプレイ２２ｂに表示されている画像を外部から視認することができる。
【００１５】
本実施形態においては、液晶ディスプレイ２２ｂが帯状の表示を行うにより、領域を表示するようになっており、その領域が、図３（ａ）に示すように、操作盤２２の表面において視認される。以下においては、この領域を検知領域ＡＣという。ここで、制御部１２は操作盤２２内の液晶ディスプレイ２２ｂの表示制御に対応させて、透明感圧パネル２２ａの領域を区分して認識するようになっている。すなわち、液晶ディスプレイ２２ｂに表示された検知領域ＡＣと同じ領域が透明感圧パネル２２ａについても認識される。
本実施形態の場合、検知領域ＡＣは液晶ディスプレイ２２ｂによって黒色で表示され、操作盤２２の幅方向の左右の余白は白色で表示されるようになっている。以下においては、操作盤２２の幅方向の左右の白色部分を、左側信号発生領域ＡＬと右側信号発生領域ＡＲという。このようにして操作盤２２の表面は、左側信号発生領域ＡＬと右側信号発生領域ＡＲと、両者の間に挟まれた検知領域ＡＣの３つの領域に区分され、検知領域ＡＣと左側信号発生領域ＡＬとの境界、および検知領域ＡＣと右側信号発生領域ＡＲとの境界がユーザにとって明確に視認できる。また、検知領域ＡＣの幅ｗは、後述する処理によって可変されるようになっている。
【００１６】
次に、図２に示す１６は、タイマであり、時刻を示す時刻情報を常時発生している。１７は、通信インターフェース等を有する通信部である。本実施形態においては、制御部１２の制御の下、スイッチ群１１の操作や操作盤２２の操作に対応した楽音信号が生成されるが、通信部１７は、この楽音信号を通信ネットワークを介してセッション端末２に送信する一方、セッション端末２から送信された楽音信号を受信する。
１８は、セッション端末を制御する基本ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、セッション端末で用いるアプリケーションソフトウェアなどが記憶される記憶部である。また、この記憶部１８には、制御部１２の演算処理におけるワーク領域が設定されている。
１９は外部インターフェース（ＩＦ）であり、外部機器との入出力を行う。なお、図において、ＢＵＳは、以下に説明するセッション端末１が有する各構成要素間のデータ授受を仲介するバスである。
【００１７】
（Ｂ）動作
次に、本実施形態の動作について説明する。図４（ａ）、図４（ｂ）、図４（ｃ）はセッション端末１の制御動作を示すフローチャートである。図４（ａ）に示すフローチャートは割込処理によって所定の間隔で起動される処理である。まず、ステップＳ１０１では、制御部１２によってネットワークの遅延量Ｔｄが測定される。ネットワークの遅延量Ｔｄとは、セッション端末１から送信された信号がセッション端末２に到達するまでの時間である。この実施形態においては、制御部１２は、セッション端末２に定期的にパケットを送信することによって遅延量Ｔｄを計算している。より詳しく言えば、送信したパケットがセッション端末２によって返信され、その往復に要した時間から遅延量Ｔｄを算出するようにしている。
次に、ステップＳ１０２に移ると、制御部１２は、ステップＳ１０１で求めた遅延量Ｔｄに基づいて検知領域ＡＣの幅ｗを決定する。ここでは、遅延量Ｔｄが大きいほど幅ｗは大きく、遅延量Ｔｄが小さいほど幅ｗは小さくなるように演算される。そして、制御部１２は、決定した幅ｗに応じて液晶ディスプレイ２２ｂに表示する検知領域ＡＣの幅を制御するとともに、透明感圧パネル２２ａについての検知領域の幅も新たな幅ｗとして認識する。
以上により図４（ａ）に示す割込処理が終了し、以後は割込周期毎に同様の処理が繰り返される。これにより、遅延量Ｔｄの測定と検知領域ＡＣの幅ｗの算出が実質的に常時行われることになる。
【００１８】
一方、制御部１２は、操作盤２２のどの部分が押圧されているかを常時監視しており、押圧位置が検知領域ＡＣに至ったか否かを、図４（ｂ）に示すフローチャートのステップＳ１０３を循環することより監視している。そして、セッション端末１の演奏者が、演奏を開始するために、左側信号発生領域ＡＬに置いたスタイラス２１を移動させると、これに伴って、操作盤２２が検知している押圧位置が移動する。制御部１２は、この押圧位置が検知領域ＡＣに進入した時点で、演奏操作が開始されたと判断する（Ｓ１０３；ＹＥＳ）。押圧位置が検知領域ＡＣに進入してない場合は、演奏操作が開始されていないとして待機状態を維持する（Ｓ１０３；ＮＯ）。
そして、制御部１２は、演奏操作が開始されたと判定した場合には、その時刻を測定開始時刻ｔ０として検出する。また、制御部１２は、十字キー１１ａの操作を検出して音高を決定し、ボタン１１ｂの入力に応じて残響効果を決定する。これらの音高および残響効果は楽音信号ｓｄ１の属性として制御部１２内のＲＡＭに記憶される（Ｓ１０４）。なお、楽音の音色も楽音信号の属性となるが、この実施形態における楽音信号の音色はピアノやギターなどの減衰音を現す音色が設定されている。なお、どのような音色を指示するかは、予め決められているが、これを任意に変更できるように構成してもよい。
次に、スタイラス２１が検知領域ＡＣに入ってから、予め定められている距離（以下、測定距離ｓという）を移動すると、ステップＳ１０５の判定がＹＥＳとなってステップＳ１０６に進んで到達予測時刻ｔｆを演算する。到達予測時刻ｔｆとは、スタイラス２１が検知領域ＡＣを脱出して右側信号発生領域ＡＲに到達すると予想される時刻である。この演算は以下のようにして行われる。
制御部１２は、スタイラス２１が検知領域ＡＣに入ってから測定距離ｓを移動した時刻（以下、測定終了時刻ｔｓという）（Ｓ１０５；ＹＥＳ）で、スタイラス２１の速度を演算し、スタイラス２１が右側信号発生領域ＡＲへ到達する到達時間予測処理をする（Ｓ１０６）。ここで、図５を用いて、到達時間予測処理法について説明する。なお、本実施形態では、スタイラス２１の運動は等速直線運動であるとする。
【００１９】
図５に示すように、検知領域ＡＣ（矩形）の幅はｗ、測定距離はｓである。検知領域ＡＣにおける座標を、幅方向であるｘ成分と、高さ方向であるｙ成分によって（ｘ，ｙ）と表すこととし、スタイラス２１が検知領域ＡＣに進入した時点（測定開始時刻ｔ０）の座標を（ｘ０，ｙ０）とし、測定終了時刻ｔｓにおけるスタイラス２１の座標を（ｘｓ，ｙｓ）と表す。制御部１２はこれらの座標を透明電極パネルの帯状電極を介して認識している。ここで、測定開始時刻ｔ０から測定終了時刻ｔｓまでの間にスタイラス２１が移動した距離のｘ成分Δｘとｙ成分Δｙはそれぞれ、
Δｘ＝｜ｘｓ−ｘ０｜
Δｙ＝｜ｙｓ−ｙ０｜
で表すことができる。また、スタイラス２１が検知領域ＡＣに進入してから（測定開始時刻ｔ０）測定距離ｓを移動するまで（測定終了時刻ｔｓ）の時間Ｔ０（以下、測定時間Ｔ０という）は、
Ｔ０＝ｔｓ−ｔ０
で、求めることができる。この場合、測定距離ｓを移動する移動速度ｖは
ｖ＝ｓ／Ｔ０
である。スタイラス２１が検知領域ＡＣに進入してから、検知領域ＡＣを脱出するまでに移動する距離Ｌは
Ｌ＝ｗ・ｓ／Δｘ
であり、スタイラス２１は距離Ｌを前述の移動速度ｖのまま通過するので、通過にかかる時間、すなわち測定時間Ｔ０と予測到達時間Ｔ１の和は、
Ｔ０＋Ｔ１＝Ｌ／ｖ＝Ｔ０・ｗ／Δｘ
となる。したがって、予測到達時間Ｔ１は
Ｔ１＝Ｔ０・（ｗ／Δｘ − １）
の式で演算が可能となる。
【００２０】
次に、図４（ｂ）で示すように、制御部１２は遅延量Ｔｄと予測到達時間Ｔ１を比較し（Ｓ１０７）、遅延量Ｔｄが予測到達時間Ｔ１より大であれば（Ｓ１０７；ＮＯ）、楽音信号ｓｄ１はただちに通信部１７を介してセッション端末２へ送信される（Ｓ１０８）。遅延量Ｔｄが予測到達時間Ｔ１より小であれば（Ｓ１０７；ＹＥＳ）、制御部１２は、次に示す演算処理により特定される送信予定時刻ｔｐにセッション端末２へ楽音信号ｓｄ１を送信するように通信部１７を設定する（Ｓ１０９）。
【００２１】
次に、図６を用いて、送信予定時刻ｔｐの演算処理を説明する。図６は、予測動作を、時間軸に沿って示した図である。横軸は時間の流れを示し、測定開始時刻ｔ０と測定終了時刻ｔｓとの間の時間は測定時間Ｔ０であり、測定終了時刻ｔｓに、前述の演算により得られた予測到達時間Ｔ１を加算した時刻が予測到達時刻ｔｆである。そこで制御部１２は、予測到達時刻ｔｆより遅延量Ｔｄだけ早い時刻を送信予定時刻ｔｐとして演算し、この送信予定時刻ｔｐにセッション端末１から楽音信号ｓｄ１を送信するように、通信部１７を設定する。送信先であるセッション端末２では、セッション端末１から送信された楽音信号ｓｄ１を受信した時点で、ただちにこれを放音するので、セッション端末２において、楽音信号ｓｄ１を予測到達時刻ｔｆに発生させることができる。この送信は、制御部１２が、送信予定時刻ｔｐと楽音信号ｓｄ１の組み合わせを通信部１７に設定し、通信部１７が設定された送信予定時刻ｔｐとタイマ１６によって得られる現在の時刻ｔを比較し、一致したタイミングでおこなう。時刻の比較には任意に許容誤差を設けてもよい。また、通信部１７において送信される楽音信号は本実施形態の場合は、発音の開始を指示するキーオン、楽音の属性を示す音高、音色、効果（残響など）がＭＩＤＩ形式の信号として出力される。
【００２２】
次に、制御部１２はスタイラス２１の位置を監視し、スタイラス２１が検知領域ＡＣを脱出していない間は、待機状態を維持する（Ｓ１１０；ＮＯ）。スタイラス２１が検知領域ＡＣを脱出して右側信号発生領域ＡＲへ到達したことを操作盤２２が検知すると（Ｓ１１０；ＹＥＳ）、制御部１２は、ＲＡＭに記憶された楽音信号ｓｄ１を音源部１３に送り、音源部１３は送られた楽音信号ｓｄ１を、放音部１４を用いて、発生させる（Ｓ１１１）。このタイミングは、通信部１７が楽音信号ｓｄ１を送信した時刻ｔｐに遅延量Ｔｄを加えた時刻に対応するから、放音部１４の放音とセッション端末２における放音のタイミングは一致する。このように、セッション端末１とセッション端末２で同時に楽音を発音させることができ、セッションを行うことが可能となる。
また、セッション端末１の演奏者は、操作盤２２に表示されている検知領域ＡＣを見ながらスタイラス２１を操作するから、スタイラス２１が右側信号発生領域ＡＲへ到達した瞬間を楽音の発音と結び付けて認識するため、検知領域の幅ｗの増減によってネットワークの遅延を意識しながら演奏のタイミングを調整することができる。なお、演奏操作は、スタイラス２１を左側から右側へ操作するように設定してもよいが、左右対称に演奏操作できるようにしてもよい。すなわち、左右いずれかの信号発生領域から検知領域ＡＣへの移動によって測定を開始し、検知領域ＡＣから左右いずれかの信号発生領域への移動を予測して楽音発生タイミングを認識するように構成してもよい。また、発音タイミングには任意に許容誤差を設けてもよい。
【００２３】
次に、図４（ｃ）に示すフローチャートは割込処理によって所定の間隔で起動される処理である。制御部１２は通信部１７の受信状態を監視し、通信部１７がセッション端末２から送信された楽音信号ｓｄ２を受信していれば（Ｓ１１３；ＹＥＳ）、セッション端末２から送信された楽音信号ｓｄ２を、随時、音源部１３に送り、音源部１３は送られた楽音信号ｓｄ２を、放音部１４を用いて発生させる（Ｓ１１４）。以上の図４（ａ）〜図４（ｃ）の動作は図示しないスイッチによる演奏終了を示す入力がされるまで続けられる（Ｓ１１２）。
なお、上述した実施形態においては、楽音信号の属性として音色や残響（音響効果）が設定される例を示したが、スタイラス２１の移動速度ｖに基づいて音の強さを示すベロシティデータを生成し、これを属性として含めて送信してもよい。
【００２４】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
（変形例１）
上記実施形態では、検知領域ＡＣを単一の領域としたが、検知領域ＡＣを縦方向に分割して、縦方向の位置を楽音信号ｓｄ１の属性（音高、音色、音の強さ、ベロシティなど）に関連付けてもよい。この形態の一例を図７を用いて説明する。図７に示すように、検知領域ＡＣは上下に複数に分割されており、制御部１２の制御の下に、液晶ディスプレイ２２ｂにより当該分割の境界線が表示されていると同時に、それぞれの分割の領域を示す情報が制御部１２のＲＡＭ上に記憶されており、操作盤２２内の透明感圧パネル２２ａで検知される位置情報を当該分割の領域を示す情報と照らし合わせることにより、スタイラス２１が分割した領域のいずれに位置しているかが認識される。ＡＣ−ｏｎは発音領域であり、縦方向にＡＣ−１、ＡＣ−２、・・・ＡＣ−ｎのｎ個に分割され、それぞれの位置が制御部１２によって音高に関係付けられてＲＡＭに記憶されている。これらの関係は、液晶表示によってユーザに認識可能となっている。また、ＡＣ−ｏｆｆは消音領域であり、ＡＣ−ｏｎと同様にその位置は制御部１２によって消音に関係付けられてＲＡＭに記憶されており、ユーザには文字や色彩などの液晶表示によって、音を消すための領域であることが認識可能となっている。操作盤２２内の透明感圧パネル２２ａはスタイラス２１が進入した検知領域ＡＣにおける縦方向の位置情報を制御部１２へ送信し、制御部１２は当該位置に基づいて、この入力が発音か消音のいずれの指示であるかを判定する。さらに、縦方向位置が発音領域であれば音高も決定する。なお、音高は、進入位置で定めるだけでなく、脱出位置を推測して定めても良い。例えば、スタイラス２１の軌跡は常に直線であることを前提として、図５を用いて説明すると、スタイラス２１の進行方向が検知領域ＡＣを幅方向に対して水平でない場合は、スタイラス２１の検知領域ＡＣにおける進入位置と脱出位置のそれぞれの縦方向成分は
ｍ＝Ｌ・Δｙ／ｓ
だけ異なる。したがって、この差異ｍに基づいてスタイラス２１が検知領域ＡＣに進入した時点で検知した進入位置の情報を補正することで、脱出位置が推測され、これに応じた音高を決定することができる。
また、検知した進入位置と推測した脱出位置のいずれか一方のみの位置によって一定の音高を発音するだけではなく、発音から消音までの音高が、検知した進入位置と推測した脱出位置のそれぞれに応じるように変化してもよい。この場合、音高の変化は時間に対して線形的な変化でもよいし、スタイラス２１の軌跡に関係付けてもよい。
また、前述した実施形態においても操作盤２２に消音領域を表示して、消音指示を行うように構成してもよい。設定した音色がバイオリンやオルガンのように継続音の音色の場合は、消音指示があると好適である。
【００２５】
（変形例２）
また、操作盤２２の操作面は方形状に限られず、一次元的な形状でもよい。例えば、図８の（ａ）に示すように操作面は棒状の矩形であってもよい。さらに、一次元的な操作を行う場合は、操作盤２２は、図８の（ｂ）に示すように半固定抵抗器を用いたスライダースイッチやスライドボリュームによって実現してもよい。
また、実施形態においては、スタイラス２１と操作盤２２の接触により位置情報を入力するようにしたが、非接触の検知方法、例えば、光学的な検知方法を用いてもよい。光学的検知方法の例としては、操作盤がブラウン管であり、操作子としてスタイラス２１に替えてライトペンを用いる方法がある。これはブラウン管の画面上の走査線をライトペンで受光して、ライトペンが受光したタイミングから位置情報を獲得するというものである。
また、上記実施形態では透明電極パネルを通る電流を検知したが、電圧や静電容量の分布を検知してもよい。
また、操作盤２２の操作面は平面に限られず、曲面であってもよい。位置の入力装置は、図９に示すような、回転軸を有するハンドルや円盤状テーブルによって実現してもよい。なお、ハンドルのように操作子の軌道が円である場合には、必ずしも信号発生領域は複数必要ではなく、回転軸を基点として所定の角度で示される扇形領域を信号発生領域としてもよい（図９参照）。
【００２６】
（変形例３）
上記実施形態では、スタイラス２１が移動する検知領域ＡＣは矩形であることを前提としたが、台形や円であってもよいし、任意の境界を持つものでもよい。すなわち、制御部１２が認識可能な領域であれば、領域の形状はどのような形状であってもよい。
【００２７】
（変形例４）
また、上記実施形態では、制御部１２は予め設定された測定距離ｓを用いて測定時間Ｔ０を演算したが、測定距離ｓは遅延量Ｔｄに応じて設定してもよいし、手動で設定してもよい。また、測定距離ｓに基づいて測定時間Ｔ０を演算することに替えて、逆に測定時間Ｔ０を基準にし、この基準時間内にどれだけ移動したかを測定してスタイラス２１の移動速度を検出してもよい。この場合、前述と同様に、測定時間Ｔ０は予め固定値を設定してもよいし、手動で設定しても、遅延量Ｔｄに応じて設定してもよい。また、上記実施形態ではスタイラス２１の運動は等速直線運動と仮定したが、曲線運動でもよいし、加速運動であってもよい。測定開始時刻ｔ０から測定終了時刻ｔｓまでを複数に分割し、それぞれの時刻と位置情報から速度、加速度を算出し、これらの値から、所定の関数のパラメータを求めて、得られたパラメータで特定される関数によって、予測到達時間Ｔ１を算出してもよい。なお、この算出には、周知のアルゴリズム（例えば、最小二乗法）などを用いることができる。
【００２８】
（変形例５）
また、上記実施形態では、楽音信号ｓｄ１はＭＩＤＩデータとしたが、波形データでもよい。また、送信するデータは楽音信号に限らなくてもよい。例えば、セッション端末２において、予測到達時刻ｔｆに楽音を発生させる替わりに、セッション端末２の外部ＩＦに接続された発光ダイオードを発光させてもよい。すなわち、ユーザの表現に応じたタイミングで送信先のセッション端末における出力が制御可能としてもよい。
【００２９】
（変形例６）
また、上記実施形態では、検知領域の幅ｗが遅延量Ｔｄに応じて変化し、その変化する検知領域の幅ｗが液晶ディスプレイ２２ｂによって表示されていたが、検知領域の幅ｗがユーザにとって大きく変化しないような場合には、表示される幅は固定してもよい。この場合、この幅は、必ずしも液晶ディスプレイ２２ｂによって表示されなくてもよく、操作盤２２に直接着色することによって表示されていてもよい。また、表示される幅は演奏のしやすさに応じて任意に変えてもよく、さらにユーザが検知領域の幅を認識しているような場合や、検知領域の幅を認識することが演奏にとって重要でない場合には、これらの「幅の表示」をおこなわなくてもよい。ただし、制御部１２が認識する透明感圧パネル２２ａ上の検知領域の幅ｗについては上記実施形態と同様である。
【００３０】
（変形例７）
また、上記実施形態では、楽音信号はピアノやギターなどの減衰音を現すＭＩＤＩデータとしたが、楽音信号に継続音を用いる場合には、４つのボタン１１ｂのうち、いずれかを消音の指示に割り当ててもよい。また、次の音が発音されるタイミングで前の音を消音してもよい。
【００３１】
（変形例８）
また、上記変形例１に係る実施形態では、予測到達時刻ｔｆにおけるスタイラス２１の位置は予測通りになっていることを前提としたが、予測到達時刻ｔｆにおけるスタイラス２１の位置を検知するようにしてもよい。この場合、スタイラス２１が予測到達時刻ｔｆに右側信号発生領域ＡＲ（あるいは左側信号発生領域ＡＬ）へ到達しなかったことを検知したら、制御部１２は、測定開始時刻ｔ０からの入力を誤入力として処理し、楽音信号ｓｄ１の送信前であれば、ＲＡＭの記憶を消去し、送信後であれば、送信された信号を訂正する信号を送信するのが好適である。
【００３２】
（変形例９）
また、上記実施形態では、検知領域ＡＣをスタイラス２１が横断する一動作（ストローク）につき単一の音が発音されたが、複数の音が発音されてもよい。例えば、液晶ディスプレイ２２ｂによって、操作盤２２内に縦方向に複数の弦が表示され、弦の部分をスタイラス２１が通過するごとに音が発音されるようにしてもよい。この場合、弦と弦の間の矩形は検知領域とし、弦を表示している部分は信号発生領域としてもよい。
【００３３】
（変形例１０）
また、上記実施形態における制御に加えて、スタイラス２１が検知領域ＡＣ内を移動する速度や加速度、あるいはスタイラス２１が検知領域ＡＣと接触する位置に応じて、ベロシティをはじめとして、音色、残響効果など楽音情報の属性を決定してもよい。
さらに透明感圧パネル２２ａにスタイラス２１の筆圧強度を感知する機能を設け、その筆圧強度に応じて、前述の楽音情報の属性（例えば、ベロシティ）を決定してもよい。
【００３４】
（変形例１１）
また、上記実施形態では、セッション端末１からは楽音信号ｓｄ１のみを送信したが、楽音信号ｓｄ１と予測到達時刻ｔｆの一組を送信してもよい。この場合に、セッション端末１で入力された楽音信号ｓｄ１は、対応する予測到達時刻ｔｆとともにセッション端末２へ送信され、セッション端末２上の制御部１２がこの一組の情報をＲＡＭに記憶して、セッション端末２上の制御部１２の制御の下、記憶された予測到達時刻ｔｆに発音処理がなされるようにしてもよい。
さらに、楽音信号を送らずに、予測到達時刻ｔｆのみを送信してもよい。例えば、セッション端末１とセッション端末２の間で予め楽音信号（音色や効果音などの属性）が取り決められているような場合には、予測到達時刻ｔｆのみを送信すれば、セッション端末２において予測到達時刻ｔｆにおいて予め取り決められた楽音信号を発音することができる。この場合、予測到達時刻ｔｆは、キーオン信号またはキーオフ信号の機能を兼ねる。
【００３５】
（変形例１２）
また、上記実施形態では、検知領域ＡＣは液晶ディスプレイ２２ｂにより表示したが、操作盤平面の凹凸の差異や、スライダースイッチの摩擦抵抗など、力学的機構を用いて表現してもよい。例えば、図１０に示すように、操作盤２２の表面に沿って、幅方向に移動可能な２枚の薄板３１を設置してもよい。この薄板３１はスタイラス２１で触れるユーザにクリック感を与えるもので、これによりユーザは検知領域の幅ｗを認識できると同時に、制御部１２において、検知領域が特定される。すなわち、演奏者が視覚を用いなくても、測定開始と楽音発生のそれぞれを示す操作盤上の位置または境界を認識できさえすればよい。
【００３６】
（変形例１３）
また、上記実施形態では、割り込み処理があるごとに、遅延量Ｔｄから検知領域の幅ｗを決定して表示したが、所定時間分の遅延量Ｔｄを、ＲＡＭ等に記憶させ、遅延量Ｔｄの単位時間当たりの平均値に基づいて検知領域の幅ｗを決定してもよい。
【００３７】
（変形例１４）
また、上記実施形態では、表示機能を有する部分は液晶ディスプレイ２２ｂのみであったが、図１１に示すように、端末筐体に蓋を設け、その蓋側に操作盤２２の液晶ディスプレイ２２ｂとは別のフロント液晶ディスプレイ３２を配置してもよい。このような構成の場合には、例えば、フロント液晶ディスプレイ３２によってゲーム画面を表示することもでき、好適である。
【００３８】
（変形例１５）
また、上記実施形態では、セッション端末１の放音部１４は、スタイラス２１が検知領域ＡＣを脱出して右側信号発生領域ＡＲへ到達したことを検知して楽音を発生させたが、タイマ１６が示す現在の時刻ｔを参照し、当該現在の時刻ｔが、ＲＡＭに記憶された予測到達時刻ｔｆに至ったことを契機として楽音を発生させてもよい。
【００３９】
（変形例１６）
また、上記実施形態では、楽音信号ｓｄ１は送信予定時刻ｔｐに送信されたが、送信予定時刻ｔｐより前の任意の時刻に送信してもよい。
【図面の簡単な説明】
【００４０】
【図１】本実施形態に係るセッションシステムの全体構成を示すブロック図である。
【図２】同実施形態のセッション端末１の構成の一例を示す図である。
【図３】同実施形態のセッション端末１の外観構成図及び操作盤２２の分解斜視図である。
【図４（ａ）】同実施形態のセッション端末１の制御について、詳細な動作を示すフローチャートである。
【図４（ｂ）】同実施形態のセッション端末１の制御について、詳細な動作を示すフローチャートである。
【図４（ｃ）】同実施形態のセッション端末１の制御について、詳細な動作を示すフローチャートである。
【図５】同実施形態の楽音信号と到達時刻予測処理の演算方法を示す図である。
【図６】同実施形態の予測動作を、時間軸に沿って示した図である。
【図７】変形例１に係る実施形態の操作盤２２の構成を示す図である。
【図８】変形例２に係る実施形態の棒状の操作面と、半固定抵抗器を用いたスライダースイッチを示す図である。
【図９】変形例２に係る実施形態の回転軸を有するハンドル型の操作子を示す図である。
【図１０】変形例１２に係る実施形態のセッション端末１の外観構成図である。
【図１１】変形例１４に係る実施形態のセッション端末１の外観構成図である。
【符号の説明】
【００４１】
１，２…セッション端末、１１…スイッチ群、１２…制御部、１３…音源部、１４…放音部、１６…タイマ、１７…通信部、１８…記憶部、１９…外部ＩＦ、２１…スタイラス、２２…操作盤、
【特許請求の範囲】
【請求項１】
通信ネットワークを介して他の通信端末と通信を行うセッション端末において、
表面に物体が位置することが可能な面部材であって、前記物体が前記表面に沿って移動可能である面部材と、
前記面部材の表面上における前記物体の位置を検出する検出手段と、
前記検出手段が検出した位置の変化に基づいて前記物体の運動を検出する運動検出手段と、
前記面部材の面において所定のエリアを設定するエリア設定手段と、前記エリア設定手段が設定したエリアにおいて前記運動検出手段が検出した運動に基づき前記物体が前記エリア外に出る時刻を推定し、推定時刻情報を生成する時刻推定手段と、
前記推定時刻情報が生成されると当該推定時刻情報と対になる送信データを生成する送信データ生成手段と、
前記送信データ生成手段により生成された送信データを、当該送信データと対になっている推定時刻情報が示す時刻より早い時刻に前記通信ネットワークを介して他の通信端末に送信する送信手段と
を具備することを特徴とするセッション端末。
【請求項２】
前記面部材の前記表面を構成する表示手段を具備し、
前記表示手段は、前記エリア設定手段により前記表面に設定される前記エリアに対応した面画像を表示することを特徴とする請求項１記載のセッション端末。
【請求項３】
前記表示手段は液晶表示装置であり、前記検出手段は前記液晶表示装置の表示面に重ねて設けられ、前記物体が接触した位置を検出し得る透明性を有する接触検出パネルであることを特徴とする請求項２記載のセッション端末。
【請求項４】
前記通信ネットワークの遅延量を検出する遅延検出手段を設け、前記送信手段は前記遅延検出手段が検出した遅延量に応じて前記送信データの送信タイミングを決定することを特徴とする請求項１乃至３いずれかに記載のセッション端末。
【請求項５】
前記エリア設定手段は、前記遅延検出手段によって検出された遅延量に応じて前記エリアを設定することを特徴とする請求項４記載のセッション端末。
【請求項６】
前記送信手段は、前記送信データとともに、当該送信データと対になっている前記推定時刻情報を送信することを特徴とする請求項１乃至５いずれかに記載のセッション端末。
【請求項７】
前記送信データ生成手段が生成する前記送信データは、楽音を示す楽音情報であることを特徴とする請求項１乃至６いずれかに記載のセッション端末。
【請求項８】
前記送信データ生成手段は、前記運動検出手段が検出した運動に基づいて前記楽音の属性を決定し、当該属性を有する楽音の楽音情報を生成することを特徴とする請求項７記載のセッション端末。
【請求項９】
前記送信データ生成手段は、前記検出手段の検出結果に基づいて前記物体が前記エリアに進入または前記エリアから脱出した位置を認識し、認識した位置に応じて前記楽音の属性を決定し、当該属性を有する楽音の楽音情報を生成することを特徴とする請求項７又は８に記載のセッション端末。
【請求項１０】
楽音信号を生成し、前記時刻推定手段が推定した時刻に対応するタイミングにおいて前記楽音信号を放音する楽音放音手段を具備することを特徴とする請求項１乃至９いずれかに記載のセッション端末。
【請求項１】
通信ネットワークを介して他の通信端末と通信を行うセッション端末において、
表面に物体が位置することが可能な面部材であって、前記物体が前記表面に沿って移動可能である面部材と、
前記面部材の表面上における前記物体の位置を検出する検出手段と、
前記検出手段が検出した位置の変化に基づいて前記物体の運動を検出する運動検出手段と、
前記面部材の面において所定のエリアを設定するエリア設定手段と、前記エリア設定手段が設定したエリアにおいて前記運動検出手段が検出した運動に基づき前記物体が前記エリア外に出る時刻を推定し、推定時刻情報を生成する時刻推定手段と、
前記推定時刻情報が生成されると当該推定時刻情報と対になる送信データを生成する送信データ生成手段と、
前記送信データ生成手段により生成された送信データを、当該送信データと対になっている推定時刻情報が示す時刻より早い時刻に前記通信ネットワークを介して他の通信端末に送信する送信手段と
を具備することを特徴とするセッション端末。
【請求項２】
前記面部材の前記表面を構成する表示手段を具備し、
前記表示手段は、前記エリア設定手段により前記表面に設定される前記エリアに対応した面画像を表示することを特徴とする請求項１記載のセッション端末。
【請求項３】
前記表示手段は液晶表示装置であり、前記検出手段は前記液晶表示装置の表示面に重ねて設けられ、前記物体が接触した位置を検出し得る透明性を有する接触検出パネルであることを特徴とする請求項２記載のセッション端末。
【請求項４】
前記通信ネットワークの遅延量を検出する遅延検出手段を設け、前記送信手段は前記遅延検出手段が検出した遅延量に応じて前記送信データの送信タイミングを決定することを特徴とする請求項１乃至３いずれかに記載のセッション端末。
【請求項５】
前記エリア設定手段は、前記遅延検出手段によって検出された遅延量に応じて前記エリアを設定することを特徴とする請求項４記載のセッション端末。
【請求項６】
前記送信手段は、前記送信データとともに、当該送信データと対になっている前記推定時刻情報を送信することを特徴とする請求項１乃至５いずれかに記載のセッション端末。
【請求項７】
前記送信データ生成手段が生成する前記送信データは、楽音を示す楽音情報であることを特徴とする請求項１乃至６いずれかに記載のセッション端末。
【請求項８】
前記送信データ生成手段は、前記運動検出手段が検出した運動に基づいて前記楽音の属性を決定し、当該属性を有する楽音の楽音情報を生成することを特徴とする請求項７記載のセッション端末。
【請求項９】
前記送信データ生成手段は、前記検出手段の検出結果に基づいて前記物体が前記エリアに進入または前記エリアから脱出した位置を認識し、認識した位置に応じて前記楽音の属性を決定し、当該属性を有する楽音の楽音情報を生成することを特徴とする請求項７又は８に記載のセッション端末。
【請求項１０】
楽音信号を生成し、前記時刻推定手段が推定した時刻に対応するタイミングにおいて前記楽音信号を放音する楽音放音手段を具備することを特徴とする請求項１乃至９いずれかに記載のセッション端末。
【図１】
【図２】
【図３】
【図４（ａ）】
【図４（ｂ）】
【図４（ｃ）】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４（ａ）】
【図４（ｂ）】
【図４（ｃ）】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−２１６６７８（Ｐ２００８−２１６６７８Ａ）
【公開日】平成２０年９月１８日（２００８．９．１８）
【国際特許分類】
【出願番号】特願２００７−５４５７５（Ｐ２００７−５４５７５）
【出願日】平成１９年３月５日（２００７．３．５）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２０年９月１８日（２００８．９．１８）
【国際特許分類】
【出願日】平成１９年３月５日（２００７．３．５）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]