立体的インタラクティブシステム及び立体的インタラクティブ方法
【課題】立体的インタラクティブと立体表示を組み合わせてシミュレーションするときに使用する操作棒を提供する。
【解決手段】立体的インタラクティブシステムであって、被操作設備と操作棒とを含む。被操作設備は、被操作ユニットの立体画像を表示可能な感知スクリーンと、インタラクティブ制御装置と、インタラクティブ制御装置と操作棒との間の情報インタラクティブを実現するための通信装置と、画像処理装置とを含む。インタラクティブ制御装置は、操作棒接触部の三次元位置を特定するための第１位置特定ユニットと、操作棒と被操作ユニットとのバーチャルタッチが生じたかをリアルタイムに判断し、生じたと判断した場合に、画像処理装置における視差調整ユニットを活性化させるためのバーチャルタッチ検出ユニットとを含む。
【解決手段】立体的インタラクティブシステムであって、被操作設備と操作棒とを含む。被操作設備は、被操作ユニットの立体画像を表示可能な感知スクリーンと、インタラクティブ制御装置と、インタラクティブ制御装置と操作棒との間の情報インタラクティブを実現するための通信装置と、画像処理装置とを含む。インタラクティブ制御装置は、操作棒接触部の三次元位置を特定するための第１位置特定ユニットと、操作棒と被操作ユニットとのバーチャルタッチが生じたかをリアルタイムに判断し、生じたと判断した場合に、画像処理装置における視差調整ユニットを活性化させるためのバーチャルタッチ検出ユニットとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体的インタラクティブ技術に関し、特に立体的インタラクティブシステム及び立体的インタラクティブ方法に関する。
【背景技術】
【０００２】
現在の人間とコンピュータとのインタラクティブ型システムにおける各種類の技術案のほとんどは、２Ｄ表示を基とするものであり、そのためユーザの操作による直接的な表示効果が２Ｄで表されている。さらに、シャドーや、近くのものを大きくして遠くのものを小さくするなどの透視効果を用いて立体的な感覚を近似シミュレーションしている。
【０００３】
３Ｄ表示技術の発展に伴い、このような２Ｄに基づく表示界面において、一連の常識に合致しない操作結果をもたらしている。３Ｄによる操作者への直感的な表示効果を与えるものとして、すべての操作界面がスクリーンに対して凸となるか、凹となる必要があるからである。現在の一般的なタッチスクリーンの場合、指または操作ペンはスクリーンにおいて二次元の操作しかできない。スクリーンに対して手前の空中や、スクリーンに対して奥となる界面のような真の３Ｄ操作界面に対し、このような伝統的な方式は、実際の界面に実際にタッチしていない感覚を操作者にもたらす。
【０００４】
現在のバーチャルリアリティ（ＶＲ）技術において、データグローブなどを利用して空間中の物体を操作する技術があるものの、このような技術は実現が複雑であり、たとえば精度の高いデータグローブや、バーチャル空間全体に対してモデル化できるコンピュータシステムが必要となり、場合によっては、実際の環境によるバーチャル環境への干渉を遮断するのに特別な表示ヘルメットが必要となる。そのため、使用者が使用するのが不便となり、コストも相当高い。したがって、多くの設備、特に移動設備には適用しない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明により解決しようとする技術課題は、以下のとおりのものである。
（１）立体的インタラクティブと立体表示を組み合わせてシミュレーションするときに使用する操作棒を提供する。
（２）立体表示を組み合わせて立体的インタラクティブをシミュレーションできる立体的インタラクティブ方法及び対応する被操作設備を提供する。
（３）立体表示を組み合わせて立体的インタラクティブをシミュレーションできる、別の立体的インタラクティブ方法及び対応する被操作設備を提供する。
（４）より多くのリアリティをユーザに実感させることができ、立体表示を組み合わせて表現する立体的インタラクティブシステムを提供する。
【課題を解決するための手段】
【０００６】
前記課題の（１）を解決するために、本発明は、ハウジングを含む操作棒を提供する。該操作棒において、前記ハウジングに伸縮可能に接続する伸縮可能な頭部と、操作棒と被操作設備との間の情報インタラクティブを実現するための通信ユニットと、操作棒の空間における位置及び姿勢の少なくとも一方をリアルタイムに検出し、検出した三次元位置情報を通信ユニットに伝送して、通信ユニットから送信するための位置決めユニットとをさらに含む。
【０００７】
好ましくは、該操作棒において、操作棒の伸縮可能な頭部の縮み込み長をリアルタイムに検出し、検出した縮み込み長の情報を通信ユニットに伝送して、通信ユニットから送信するための伸縮感知ユニットをさらに含む。
好ましくは、該操作棒において、前記通信ユニットが受信した力フィードバック指令に基づき、力フィードバックをシミュレーションする動作を実行するための力フィードバックユニットをさらに含む。
好ましくは、前記位置決めユニットにおいて、運動軌跡検出をするセンサー、及び方位角検出をするセンサーの少なくとも一方を含み、該運動軌跡の初期位置は、操作棒の初期状態で表示スクリーンがある平面を基準とする参照系における相対位置に設置されている。
【０００８】
好ましくは、前記伸縮可能な頭部において、操作棒ヘッドと、該操作棒ヘッドと伸縮感知装置との間に当接する弾力部材とを含み、前記伸縮感知ユニットは、圧力センシングの方式で実現し、前記弾力部材の圧力を感知して、対応する電気信号に変換して通信ユニットに伝送して、通信ユニットから送信するためのものである。
好ましくは、前記力フィードバックユニットは、電子機械装置で実現し、力フィードバック指令を受信した後に、被操作ユニットが押圧されるときの実際の振動をシミュレーションするためのものである。
好ましくは、前記伸縮可能な頭部のハウジングから離れた一端は、先端である。
【０００９】
前記課題の（２）を解決するために、本発明は、感知スクリーンに立体表示される被操作ユニットへの操作棒の操作を被操作設備上にシミュレーションするための立体的インタラクティブ方法を提供する。該立体的インタラクティブ方法において、被操作ユニットの立体画像の視差に基づき、被操作ユニット表面のスクリーンに対する深さを特定し、リアルタイムに取得した操作棒接触部の三次元位置情報から操作棒接触部の三次元位置を特定し、操作棒接触部の三次元位置と、表示される被操作ユニット表面の三次元位置とを比較し、操作棒と被操作ユニットとのバーチャルタッチが発生したかをリアルタイムに判断し、操作棒が被操作ユニットにタッチしたと判断する場合、被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションする。
【００１０】
好ましくは、前記操作棒接触部の三次元位置と被操作ユニット表面の三次元位置は、ともに相対座標で示し、該相対座標が感知スクリーンのある平面を参照系として特定される。
好ましくは、前記のリアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定することは、少なくとも前記操作棒が前記感知スクリーンにタッチしないときに、受信した操作棒接触部の三次元座標情報に基づいて前記操作棒接触部の三次元位置を取得すること、または、受信した操作棒上の別箇所の三次元座標情報、操作棒の方位角情報、及び接触部から該別箇所までの固有の距離に基づいて、前記操作棒接触部の三次元位置を算出すること、を含む。
好ましくは、前記のリアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定することは、前記操作棒が前記感知スクリーンにタッチした場合、操作棒頭部の縮み込み長、操作棒の方位角、及び操作棒と感知スクリーンとのタッチ位置に基づいて、前記操作棒接触部の三次元位置を算出することを含む。
【００１１】
好ましくは、前記操作棒頭部の縮み込み長は、前記操作棒から送信された縮み込み長の情報から特定された、または前記感知スクリーンにおける圧力感知装置の検出結果から算出された、または受信した該操作棒の三次元位置と姿勢の情報に基づいて操作棒接触部の深さと、操作棒と感知スクリーンとがなす角度とを特定してから算出された、リアルタイムに取得されたものである。
好ましくは、前記の被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションすることは、リアルタイムに取得した、スクリーンに対する操作棒接触部の深さを被操作ユニット表面の深さとし、該深さに基づいて被操作ユニットの立体画像における視差を調整することを含む。
好ましくは、操作棒が被操作ユニットにタッチしたことを判断すると、前記被操作設備がさらに前記操作棒に力フィードバック指令を送信する。
好ましくは、操作棒と被操作ユニットとのタッチを判断した後、さらに、被操作ユニット表面の深さの変化に基づいて、操作棒による被操作ユニットへのクリック操作が完成したかを判断し、完成したと判断した場合、該被操作ユニットへのクリック命令を生成する。
【００１２】
前記方法に応じて、本発明は、立体的インタラクティブシステムにおける被操作設備も提供する。該被操作設備は、感知スクリーンと、通信装置と画像処理装置とを含み、さらにインタラクティブ制御装置を含む。前記感知スクリーンは、被操作ユニットの立体画像を表示するためのものである。前記通信装置は、インタラクティブ制御装置と操作棒との間の情報インタラクティブを実現するためのものである。前記インタラクティブ制御装置は、リアルタイムに取得した操作棒接触部の三次元位置情報から操作棒接触部の三次元位置を特定するための位置特定ユニットと、操作棒接触部の三次元位置と、表示される被操作ユニット表面の三次元位置とに基づいて、操作棒と被操作ユニットとのバーチャルタッチが生じたかをリアルタイムに判断するためのバーチャルタッチ検出ユニットであって、生じたと判断した場合に、画像処理装置における視差調整ユニットを活性化させるためのバーチャルタッチ検出ユニットとを含む。前記画像処理装置は、被操作ユニットの立体画像の視差に基づいて、感知スクリーンに対する被操作ユニット表面の深さを特定し、バーチャルタッチ検出ユニットに通知するための深さ計算ユニットと、被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションするための視差調整ユニットとを含む。
【００１３】
好ましくは、前記位置特定ユニットがリアルタイムに取得した操作棒接触部の三次元位置情報から操作棒接触部の三次元位置を特定することは、少なくとも前記操作棒が前記感知スクリーンにタッチしないときに、受信した操作棒接触部の三次元座標情報に基づいて前記操作棒接触部の三次元位置を取得すること、または、受信した操作棒上の別箇所の三次元座標情報、操作棒の方位角情報、及び接触部から該別箇所までの固有の距離に基づいて、前記操作棒接触部の三次元位置を算出することを含む。
好ましくは、前記インタラクティブ制御装置において、操作棒がスクリーンにタッチしたことを検出すると、検出したタッチ位置を位置特定ユニットに通知するための実際タッチ検出ユニットをさらに含む。
【００１４】
前記位置特定ユニットがリアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定することは、前記操作棒が前記感知スクリーンにタッチした場合、操作棒頭部の縮み込み長、操作棒の方位角、及び操作棒と感知スクリーンとのタッチ位置に基づいて、前記操作棒接触部の三次元位置を算出することを含む。
好ましくは、前記位置特定ユニットが前記操作棒接触部の三次元位置を計算するときに使用する前記操作棒頭部の縮み込み長は、前記操作棒から送信された縮み込み長の情報から特定された、または前記感知スクリーンにおける圧力感知装置の検出結果から算出された、または受信した該操作棒の三次元位置と姿勢の情報に基づいて操作棒接触部の深さと、操作棒と感知スクリーンとがなす角度とを特定してから算出された、リアルタイムに取得されたものである。
【００１５】
好ましくは、前記視差調整ユニットが被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションすることは、リアルタイムに取得した、スクリーンに対する操作棒接触部の深さを被操作ユニット表面の深さとし、該深さに基づいて被操作ユニットの立体画像における視差を調整することを含む。
好ましくは、前記バーチャルタッチ検出ユニットが操作棒と被操作ユニットとのタッチを判断した後、さらに、被操作ユニット表面の深さの変化に基づいて、操作棒による被操作ユニットへのクリック操作が完成したかを判断し、完成したと判断した場合、該被操作ユニットへのクリック命令を生成する。
好ましくは、前記バーチャルタッチ検出ユニットがリアルタイムに操作棒が被操作ユニットにタッチしたことを判断すると、さらに、前記通信装置を通じて、前記操作棒に力フィードバック指令を送信する。
好ましくは、前記被操作設備がスマートフォンまたはタブレット型コンピュータである。
【００１６】
前記課題の（３）を解決するために、本発明は、感知スクリーンに入る操作棒の操作を被操作設備に立体表示でシミュレーションするための立体的インタラクティブ方法を提供する。該立体的インタラクティブ方法において、操作棒が前記感知スクリーンにタッチしたか否かを検出し、操作棒が前記感知スクリーンにタッチした場合、リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報と、操作棒と感知スクリーンとのタッチ位置とに基づいて、前記操作棒の縮み込み部分のバーチャル三次元位置を算出し、操作棒の縮み込み部分のバーチャル三次元位置に基づいて、操作棒の縮み込み部分の画像をリアルタイムに描写し、描写した該画像を前記感知スクリーンに表示することを含む。
【００１７】
好ましくは、前記のリアルタイムに取得した操作棒の縮み込み部分の三次元位置情報に基づいて操作棒の縮み込み部分のバーチャル三次元位置を算出することは、リアルタイムに取得した操作棒頭部の縮み込み長と、操作棒の方位角及び操作棒と感知スクリーンとのタッチ位置に基づいて、操作棒の縮み込み部分における少なくとも一点のバーチャル三次元位置を算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することを含む。
【００１８】
好ましくは、前記操作棒頭部の縮み込み長は、前記操作棒から送信された縮み込み長の情報から特定された、または前記感知スクリーンにおける圧力感知装置の検出結果から算出された、または受信した該操作棒の三次元位置と姿勢の情報に基づいて操作棒接触部の深さと、操作棒と感知スクリーンとがなす角度とを特定してから算出された、リアルタイムに取得されたものである。
【００１９】
好ましくは、前記のリアルタイムに取得した操作棒の縮み込み部分の三次元位置情報に基づいて操作棒の縮み込み部分のバーチャル三次元位置を算出することは、リアルタイムに受信した操作棒の三次元位置情報から、操作棒接触部の三次元位置を得るか算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することを含む。
好ましくは、前記のリアルタイムに描写した操作棒の縮み込み部分の画像が立体画像である。該立体画像は、設定または追跡したユーザがスクリーンを見るときに左目、右目の三次元位置をそれぞれ左カメラ、右カメラとし、感知スクリーンを零視差面として、前記操作棒の縮み込み部分の左画像と右画像を描写して得たものである。
好ましくは、前記立体的インタラクティブ方法に使用する三次元位置は、感知スクリーンのある平面を参照系として特定する相対座標を用いて示す。
【００２０】
前記方法に応じて、本発明は、立体的インタラクティブシステムにおける被操作設備も提供する。該被操作設備は、感知スクリーンと、通信装置と画像処理装置とを含み、さらにインタラクティブ制御装置を含む。前記感知スクリーンは、被操作ユニットの立体画像を表示するためのものである。前記通信装置は、インタラクティブ制御装置と操作棒との間の情報インタラクティブを実現するためのものである。前記インタラクティブ制御装置は、リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報と、操作棒と感知スクリーンとのタッチ位置とに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を取得するための位置特定ユニットと、操作棒と感知スクリーンとのタッチを検出した場合、画像処理装置における画像描写ユニットを活性化させ、操作棒と感知スクリーンとのタッチ位置を位置特定ユニットに通知するための実際タッチ検出ユニットとをさらに含む。前記画像処理装置は、操作棒の縮み込み部分のバーチャル三次元位置に基づいて、操作棒の縮み込み部分の立体画像をリアルタイムに描写し、描写した該立体画像を前記感知スクリーンに表示するための画像描写ユニットをさらに含む。
【００２１】
好ましくは、前記位置特定ユニットがリアルタイムに取得した操作棒の縮み込み部分の三次元位置情報に基づいて操作棒の縮み込み部分のバーチャル三次元位置を算出することは、リアルタイムに取得した操作棒頭部の縮み込み長と、操作棒の方位角及び操作棒と感知スクリーンとのタッチ位置に基づいて、操作棒の縮み込み部分における少なくとも一点のバーチャル三次元位置を算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することを含む。
【００２２】
好ましくは、前記位置特定ユニットは、前記操作棒から送信された縮み込み長の情報から特定された、または前記感知スクリーンにおける圧力感知装置の検出結果から算出された、または受信した該操作棒の三次元位置と姿勢の情報に基づいて操作棒接触部の深さと、操作棒と感知スクリーンとがなす角度とを特定してから算出された、前記操作棒頭部の縮み込み長をリアルタイムに取得する。
好ましくは、前記位置特定ユニットがリアルタイムに取得した操作棒の縮み込み部分の三次元位置に基づいて操作棒の縮み込み部分のバーチャル三次元位置を算出することは、リアルタイムに受信した操作棒の三次元位置情報から、操作棒接触部の三次元位置を得るか算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することを含む。
【００２３】
好ましくは、前記画像描写ユニットがリアルタイムに描写した操作棒の縮み込み部分の画像が立体画像である。該立体画像は、設定または追跡したユーザがスクリーンを見るときに左目、右目の三次元位置をそれぞれ左カメラ、右カメラとし、感知スクリーンを零視差面として、前記操作棒の縮み込み部分の左画像と右画像を描写して得たものである。
好ましくは、前記被操作設備がスマートフォンまたはタブレット型コンピュータである。
【００２４】
前記課題の（４）を解決するために、本発明は、被操作設備と操作棒とを含む立体的インタラクティブシステムを提供する。前記被操作設備は、被操作ユニットの立体画像を表示可能な感知スクリーンと、インタラクティブ制御装置と、インタラクティブ制御装置と操作棒との間の情報インタラクティブを実現するための通信装置と、画像処理装置とを含む。前記インタラクティブ制御装置は、リアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定するための第１位置特定ユニットと、操作棒接触部の三次元位置と、表示される被操作ユニット表面の三次元位置とに基づいて、操作棒と被操作ユニットとのバーチャルタッチが生じたかをリアルタイムに判断するためのバーチャルタッチ検出ユニットであって、生じたと判断した場合に、画像処理装置における視差調整ユニットを活性化させるためのバーチャルタッチ検出ユニットとを含む。前記画像処理装置は、被操作ユニットの立体画像の視差に基づいて、感知スクリーンに対する被操作ユニット表面の深さを特定し、バーチャルタッチ検出ユニットに通知するための深さ計算ユニットと、被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションするための視差調整ユニットとを含む。
【００２５】
好ましくは、前記操作棒において、操作棒の空間における位置及び姿勢の少なくとも１つをリアルタイムに検出し、検出した三次元位置情報を通信ユニットに伝送して、通信ユニットから送信するための位置決めユニットと、操作棒と被操作設備との間の情報インタラクティブを実現するための通信ユニットとを含む。前記第１位置特定ユニットがリアルタイムに取得した操作棒接触部の三次元位置情報は、前記操作棒における位置決めユニットから送信されるものである。
【００２６】
好ましくは、前記位置決めユニットにおいて、運動軌跡検出をするセンサー、及び方位角検出をするセンサーの少なくとも一方を含む。該運動軌跡の初期位置は、操作棒の初期状態で表示スクリーンがある平面を基準とする参照系における相対位置に設置されている。
好ましくは、前記立体的インタラクティブシステムにおいて、感知スクリーンに対する操作棒の三次元位置をリアルタイムに感知し、感知した三次元位置の情報を前記第１位置特定ユニットに送信するための位置決め補助装置をさらに含む。
【００２７】
好ましくは、前記第１位置特定ユニットがリアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定することは、少なくとも前記操作棒が前記感知スクリーンにタッチしないときに、受信した操作棒接触部の三次元座標情報から前記操作棒接触部の三次元位置を取得すること、または、受信した操作棒上の別箇所の三次元座標情報、操作棒の方位角情報、及び接触部から該別箇所までの固有の距離から、前記操作棒接触部の三次元位置を算出すること、を含む。
好ましくは、前記インタラクティブ制御装置において、操作棒がスクリーンにタッチしたことを検出すると、検出したタッチ位置を第１位置特定ユニットに通知するための実際タッチ検出ユニットをさらに含む。
【００２８】
前記第１位置特定ユニットがリアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定することは、前記操作棒が前記感知スクリーンにタッチした場合、操作棒頭部の縮み込み長、操作棒の方位角、及び操作棒と感知スクリーンとのタッチ位置に基づいて、前記操作棒接触部の三次元位置を算出することを含む。
好ましくは、前記第１位置特定ユニットが前記操作棒接触部の三次元位置を計算するときに使用する前記操作棒頭部の縮み込み長は、操作棒または位置決め補助装置から送信された該操作棒の三次元位置と姿勢の情報に基づいて、操作棒接触部の深さと、操作棒と感知スクリーンとがなす角度とを特定してから算出したものである。
【００２９】
好ましくは、前記視差調整ユニットが被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションすることは、リアルタイムに取得した、スクリーンに対する操作棒接触部の深さを被操作ユニット表面の深さとし、該深さに基づいて被操作ユニットの立体画像における視差を調整することを含む。
好ましくは、前記バーチャルタッチ検出ユニットが、操作棒と被操作ユニットとのタッチを判断すると、さらに、被操作ユニット表面の深さの変化に基づいて、操作棒による被操作ユニットへのクリック操作が完成したかを判断し、完成したと判断した場合、該被操作ユニットへのクリック命令を生成する。
【００３０】
好ましくは、前記操作棒において、前記通信ユニットが受信した力フィードバック指令に基づいて、力フィードバックをシミュレーションする動作を実行するための力フィードバックユニットと、操作棒と被操作設備との間の情報インタラクティブを実現するための通信ユニットとを含む。前記バーチャルタッチ検出ユニットが操作棒と被操作ユニットとのタッチをリアルタイムに判断する場合、さらに、前記通信装置を介して前記操作棒に力フィードバック指令を送信する。
【００３１】
好ましくは、前記操作棒において、伸縮可能な頭部を含む。前記インタラクティブ制御装置は、リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報と、操作棒と感知スクリーンとのタッチ位置とに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を取得するための第２位置特定ユニットと、操作棒と感知スクリーンとのタッチを検出した場合、画像処理装置における画像描写ユニットを活性化させ、操作棒と感知スクリーンとのタッチ位置を第２位置特定ユニットに通知するための実際タッチ検出ユニットとをさらに含む。前記画像処理装置は、操作棒の縮み込み部分のバーチャル三次元位置に基づいて、操作棒の縮み込み部分の立体画像をリアルタイムに描写し、描写した該立体画像を前記感知スクリーンに表示するための画像描写ユニットをさらに含む。
【００３２】
好ましくは、前記第２位置特定ユニットがリアルタイムに取得した操作棒の縮み込み部分の三次元位置情報に基づいて操作棒の縮み込み部分のバーチャル三次元位置を算出することは、リアルタイムに取得した操作棒頭部の縮み込み長と、操作棒の方位角及び操作棒と感知スクリーンとのタッチ位置に基づいて、操作棒の縮み込み部分における少なくとも一点のバーチャル三次元位置を算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することを含む。
好ましくは、前記第２位置特定ユニットが操作棒の縮み込み部分のバーチャル三次元位置を計算するときに使用する操作棒頭部の縮み込み長は、受信した該操作棒の三次元位置と姿勢の情報に基づいて、操作棒接触部の深さと、操作棒と感知スクリーンとがなす角度とを特定してから算出したものである。
【００３３】
好ましくは、前記操作棒において、伸縮可能な頭部と、操作棒の伸縮可能な頭部の縮み込み長をリアルタイムに検出し、検出した縮み込み長の情報を通信ユニットに伝送して、通信ユニットから送信するための伸縮感知ユニットと、操作棒と被操作設備との間の情報インタラクティブを実現するための通信ユニットとを含む。
好ましくは、前記伸縮可能な頭部は、操作棒ヘッドと、該操作棒ヘッドと伸縮感知装置との間に当接する弾力部材とを含む。
【００３４】
前記伸縮感知ユニットは、圧力センシングの方式で実現し、前記弾力部材の圧力を感知して、対応する電気信号に変換して通信ユニットに伝送して、通信ユニットから送信するためのものである。
好ましくは、前記操作棒において、伸縮可能な頭部を含む。前記感知スクリーンの表面には、操作棒と感知スクリーンとのタッチ時における、操作棒頭部の縮み込み長に対応する圧力を検出して検出結果をインタラクティブ制御装置に送信するための圧力感知装置が増設されている。
好ましくは、前記位置特定ユニットがリアルタイムに取得した操作棒の縮み込み部分の三次元位置情報に基づいて操作棒の縮み込み部分のバーチャル三次元位置を算出することは、リアルタイムに受信した操作棒の三次元位置情報から、操作棒接触部の三次元位置を得るか算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することを含む。
【００３５】
好ましくは、前記画像描写ユニットがリアルタイムに描写した操作棒の縮み込み部分の画像が立体画像である。該立体画像は、設定または追跡したユーザがスクリーンを見るときに左、右目の三次元位置を左、右カメラとし、感知スクリーンを零視差面として、前記操作棒の縮み込み部分の左画像と右画像を描写して得たものである。
好ましくは、前記被操作設備がスマートフォンまたはタブレット型コンピュータである。
好ましくは、前記操作棒の頭部のハウジングから離れた一端は、先端であり、該先端は、前記操作棒接触部を構成する。
【発明の効果】
【００３６】
前記技術案から、本発明によれば下記の効果を奏する。
（１）操作棒に位置決めユニットと伸縮可能な頭部とを含み、操作棒の空間における位置と姿勢が分かるため、立体的インタラクティブをシミュレーションするときに必要な各種類のパラメータを取得でき、スクリーンに接触した後に縮み込み可能なため、タッチコントロールに対し、より多くのリアリティをユーザに実感させる。
（２）感知スクリーンに立体表示される被操作ユニットへの操作棒の操作をシミュレーションでき、より多くのリアリティをユーザに実感させ、実感する操作棒とスクリーンとのインタラクティブがより実際と合致している。
（３）感知スクリーンに入る操作棒の操作を立体表示でシミュレーションでき、より多くのリアリティをユーザに実感させ、実感する操作棒とスクリーンとのインタラクティブがより実際と合致している。
（４）特別な操作棒を使用するとともに、対応的に立体表示機能を有する被操作設備を組み合わせることにより、立体表示を組み合わせて表現する立体的インタラクティブを実現しており、より多くのリアリティをユーザに実感させ、実感する操作棒とスクリーンとのインタラクティブがより実際と合致している。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施例においてスクリーンから凸となるボタンへのタッチコントロール操作を示す図面である。
【図２】本発明の実施例においてスクリーンに凹となるボタンへのタッチコントロール操作を示す図面である。
【図３ａ】本発明の実施例１の操作棒の構造を示す図面である。
【図３ｂ】本発明の実施例１の操作棒における各ユニットの接続を示す図面である。
【図４】本発明の実施例１の被操作設備の構造を示す図面である。
【図５】本発明の実施例１においてスクリーンに立体表示する被操作ユニットへのタッチコントロール操作の処理フロー図である。
【図６ａ】画素点の視差と深さとの関係を示す図面である。
【図６ｂ】画素点の視差と深さとの関係を示す図面である。
【図７】本発明の実施例１において感知スクリーンに入る操作棒の操作を立体表示でシミュレーションする処理のフロー図である。
【図８】スクリーン上の圧力感知装置で操作棒の縮み込み長を検出することを示す図面である。
【発明を実施するための形態】
【００３８】
本発明の目的、技術及び利点をより明確かつ明らかにするために、以下、図面を参照して、本発明の実施例を詳しく説明する。なお、組み合わせに支障がない限り、本願における実施例及び実施例の中の特徴を互いに任意に組み合わせることができる。
【００３９】
（実施例１）
図１及び図２に示すように、本発明の立体的インタラクティブシステムは、操作棒と被操作設備とを含み、該被操作設備は、立体表示が可能な感知スクリーンを含み、たとえばスマートフォン、タブレット型コンピュータなどである。感知スクリーン（以下、スクリーンと略称する）に立体表示される操作可能ユニット（ボタンを例とするが、キーやほかのアイコンであってもよい）は、ユーザから見てスクリーンに対して凸となるか、または凹となる可能性がある。スクリーンから凸となるように表示する被操作ユニットに対してタッチコントロール操作をする場合、より多くのリアリティをユーザに実感させるために、操作棒の頭部が被操作ユニットの表面に達し、仮想的な接触（以下「バーチャルタッチ」とする。）が生じたとき、該被操作ユニットが押圧されるときの視覚的な変化をシミュレーションすることができるとともに、ユーザに一定の力フィードバックを与え、ユーザが感じる操作棒による被操作ユニットへのタッチコントロールをより実際と合致するものにする。一方、スクリーンに凹となるように表示する被操作ユニットに対してタッチコントロール操作をする場合、操作棒の頭部が被操作ユニットの表面に達する前にスクリーンに接触することとなる。その際、より多くのリアリティをユーザに実感させるために、操作棒の頭部を伸縮可能なものにすることができ、操作棒の縮む込み部分を描写してスクリーンに立体表示をするとともに、該頭部が伸縮しないときの三次元位置を計算して、バーチャルタッチが生じるか否かを判断し、バーチャルタッチが生じると、前記同様の方式で被操作ユニットの相応する表示と力フィードバック処理を行う。
【００４０】
本実施例では、三次元位置情報とは、三次元位置、またはあらゆる三次元位置の計算に用いる情報、たとえば姿勢、縮み込み長などを含む。三次元位置は、三次元座標例えばｘ、ｙ、ｚ座標で示すか、または、長さと方位角による極座標で示す。三次元位置を示す座標は、感知スクリーンがある平面を参照系として特定可能であり、すなわち、感知スクリーンに対する相対座標である。スマートフォンを例とする場合、スクリーンの中点またはいずれかの端点を座標の原点とし、スクリーンに直交する方向をＺ軸とし、スクリーンがある平面がＸＹ座標軸で示す平面とすることができるが、これに限ったものではない。
【００４１】
図３ａに示す操作棒の構造図と図３ｂに示す各ユニットの接続図を参照する。該操作棒は、ハウジング１０１、伸縮可能な頭部１０２、通信ユニット１０３、位置決めユニット１０４、力フィードバックユニット１０５及び伸縮感知ユニット１０６を含む。
ハウジング１０１は、持つのに便利な任意の形状、たとえばペン状などである。
伸縮可能な頭部１０２は、ハウジング１０１に伸縮可能に接続し、従来の各種類の構造を採用できる。本実施例では、伸縮可能な頭部１０２のうち被操作ユニットにタッチするための箇所を接触部と呼ぶ。好ましくは、伸縮可能な頭部１０２のハウジングから離れた一端を先端にし、該先端を操作棒の接触部とし、操作棒の接触点と呼んでもよい。
【００４２】
通信ユニット１０３は、位置決めユニット１０４、力フィードバックユニット１０５、伸縮感知ユニット１０６に電気接続し、操作棒と被操作設備との間の情報インタラクティブを実現する。その手段としては、例えばブルートゥース、無線ＵＳＢなどの無線通信方式を採用してもよいし、例えばＩ２Ｃ、ＵＳＢなどの有線通信方式を採用してもよい。
【００４３】
位置決めユニット１０４は、操作棒の空間における位置と姿勢をリアルタイムに検出し、検出した三次元位置情報が通信ユニット１０３に伝送されて、通信ユニット１０３から送信される。該位置決めユニット１０４は、運動軌跡の検出をするセンサーや姿勢の検出をするセンサーを含んでもよい。例えば、iPhone（登録商標）のような従来の移動設備において、ジャイロセンサーを用いて運動軌跡データ（操作棒の空間における位置情報とすることができる）を取得するとともに、加速度センサーを用いて方位角データ（操作棒の姿勢情報とすることができる）を取得する。該運動軌跡の初期位置は、操作棒の初期状態において位置決めユニット（または他の箇所）の参照系における相対位置に設定することができる。位置決めユニットが検出した三次元位置情報は、操作棒の三次元位置情報と姿勢の情報であってもよく、該情報から算出した操作棒接触部の三次元位置または中間結果などであってもよい。位置決めユニット１０４は、地磁気センサーを用いて実現することもできる。
【００４４】
力フィードバックユニット１０５は、通信ユニットが受信した力フィードバック指令に基づいて、力フィードバックをシミュレーションする動作を実行する。たとえば、電子機械装置を力フィードバックユニットとすることができ、力フィードバック指令を受信した後に、実のボタンが押圧される振動をシミュレーションし、その場にいるような３Ｄ界面の操作を操作者に実感させ、３Ｄ世界に入りきる感覚を生み出す。電子機械モジュールは、電動振動モータ、人造筋肉膜またはその他の振動シミュレーション装置とすることができる。
【００４５】
伸縮感知ユニット１０６は、操作部頭部の縮み込み長（すなわち伸縮可能な頭部の縮み込み長）をリアルタイムに検出し、検出した縮み込み長の情報を通信ユニット１０３に伝送して、通信ユニット１０３から送信する。本実施例の伸縮感知ユニット１０６は、圧力センシング方式で実現する。それに応じて、伸縮可能な頭部１０２は、操作棒ヘッドと、該伸縮感知ユニットと操作棒ヘッドとの間に当接する例えばばねのような弾力部材とを含み、伸縮可能な頭部の縮み込み長に変化が生じると、該弾力部材による伸縮感知ユニット１０５への圧力が変化し、伸縮感知ユニット１０５は、圧力を対応する電気信号に変換して通信ユニット１０３に伝送して、通信ユニット１０３から送信する。こうして、該電気信号の大きさから、操作棒頭部の縮み込み長を特定することができる。なお、伸縮感知装置の構造はこれに限ることがなく、光電検出など多くの実現方式がある。
前記操作棒は、例えば電池、充電装置などの補助装置を含んでもよいが、ここでは個別に紹介することはしない。
【００４６】
被操作設備は、図４に示すように感知スクリーン１０と、通信装置２０と、画像処理装置４０とを含む。
感知スクリーン１０は、被操作ユニットの立体画像を表示できる。本実施例では、スクリーンに略称することもある。
通信装置２０は、インタラクティブ制御装置と操作棒との間の情報インタラクティブを実現するためのものである。
インタラクティブ制御装置３０は、第１位置特定ユニット３０１、バーチャルタッチ検出ユニット３０２、実際タッチ検出ユニット３０３、第２位置特定ユニット３０４を含む。
【００４７】
第１位置特定ユニット３０１は、リアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定するためのものである。前記操作棒がスクリーンに接触しないときには、受信した操作棒接触部の三次元座標情報に基づいて前記操作棒接触部の三次元位置を取得でき、または、受信した操作棒上の別箇所の三次元座標情報、操作棒の方位角情報、及び接触部から該別箇所までの固有の距離に基づいて、前記操作棒接触部の三次元位置を算出できる。操作棒がスクリーンに接触した場合には、操作棒頭部の縮み込み長、操作棒の方位角、及び操作棒と感知スクリーンとのタッチ位置に基づいて、前記操作棒接触部の三次元位置を算出できる。ただし、操作棒頭部の縮み込み長は、操作棒から送信される縮み込み長の情報でも特定できる。なお、操作棒がスクリーンにタッチする前の操作棒接触部の三次元位置は実際の位置であり、操作棒がスクリーンにタッチした後の操作棒接触部の三次元位置はバーチャルの位置であり、本文では、両者を特別に区別して説明しない。
【００４８】
バーチャルタッチ検出ユニット３０２は、操作棒接触部の三次元位置と、表示される被操作ユニット表面の三次元位置とに基づいて、操作棒と被操作ユニットとのバーチャルタッチが生じたかをリアルタイムに判断する。バーチャルタッチが生じたと判断した場合に、画像処理装置における視差調整ユニットを活性化させ、通信装置を通じて操作棒に力フィードバック指令を送信する。また、被操作ユニット表面の深さの変化に基づいて、操作棒による被操作ユニットへのクリック操作が完成したかを判断し、完成したと判断した場合、該被操作ユニットへのクリック命令を生成する。
【００４９】
実際タッチ検出ユニット３０３は、操作棒の感知スクリーンとのタッチを検出した場合、画像処理装置における画像描写ユニットを活性化させ、操作棒と感知スクリーンとのタッチ位置を第１位置特定ユニットと第２位置特定ユニットに通知するためのものである。
第２位置特定ユニット３０４は、操作棒接触部の三次元位置情報、さらに操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出するためのものである。
【００５０】
リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報と、操作棒と感知スクリーンとのタッチ位置とに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出する。例えば、リアルタイムに取得した操作棒頭部の縮み込み長と、操作棒の方位角及び操作棒と感知スクリーンとのタッチ位置に基づいて、操作棒の縮み込み部分における少なくとも一点（例えば接触部）のバーチャルな三次元位置を算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャルな三次元位置を算出する。ただし、接触部のバーチャルな三次元位置は、リアルタイムに取得した操作棒の三次元位置と姿勢の情報から得るか算出することもでき、操作棒頭部の縮み込み長は、操作棒から送信される縮み込み長の情報から特定できる。
【００５１】
画像処理装置４０は、深さ計算ユニット４０１、視差調整ユニット４０２、画像描写ユニット４０３を含む。
深さ計算ユニット４０１は、被操作ユニットの立体画像の視差に基づいて、感知スクリーンに対する被操作ユニット表面の深さを特定し、バーチャルタッチ検出ユニットに通知するためのものである。
視差調整ユニット４０２は、被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションするためのものである。例えば、リアルタイムに取得した、スクリーンに対する操作棒接触部の深さを被操作ユニット表面の深さとし、該深さに基づいて被操作ユニットの立体画像における視差を調整する。
【００５２】
画像描写ユニット４０３は、操作棒の縮み込み部分のバーチャル三次元位置に基づいて、操作棒の縮み込み部分の画像をリアルタイムに描写し、描写した該画像を前記感知スクリーンに表示するためのものであり、好ましくは立体画像を描写する。たとえば、設定または追跡したユーザがスクリーンを見るときに左目、右目の三次元位置を左カメラ、右カメラとし、感知スクリーンを零視差面として、前記操作棒の縮み込み部分の左画像と右画像を描写する。
前記画像処理装置は、表示される立体画像に対してその他の画像処理をすることもあるが、ここでは、本実施例に関するユニットのみを説明する。
【００５３】
以下、スクリーンに立体表示する被操作ユニットへの操作棒のタッチ操作の処理フローを紹介する。図５に示すように、以下のステップを含む。
ステップ３１０において、被操作ユニットの立体画像の視差に基づいて、スクリーンに対する被操作ユニット表面の深さを特定する。
本実施例において、立体画像における左画像と右画像の視差により立体表示効果を形成する。図６ａと図６ｂは、それぞれ視差ｄを有する画素点Ｐが立体表示時にスクリーンに対して凹、凸となることを示す画面である。視差ｄは、画素点Ｐの立体画像の左画像と右画像上の座標の差であり、画素点の視差ｄ及び左目、右目の三次元位置に基づき、スクリーンに対する画素点Ｐの深さ、すなわち垂直の距離を容易に算出できる。被操作ユニットがスクリーンに対して凸となるとき、プラスを取り、凹となるとき、マイナスを取る。または、逆でもよい。
【００５４】
ユーザの左目、右目の距離及び観察位置は、本技術分野の経験値を参照して設定でき、ここでは詳細に説明しない。頭部追跡装置がある場合、追跡して検出した左目、右目の三次元位置を使用して視差を動的に算出できるため、より正確なものとなる。
被操作ユニット表面のスクリーンにおける位置が既知であるため、本ステップにおいてスクリーンに対する被操作ユニット表面の深さを特定すると、被操作ユニット表面の三次元位置を得ることとなる。
【００５５】
ステップ３２０において、リアルタイムに取得した操作棒接触部の三次元位置情報に基づいて、操作棒接触部の三次元位置を特定する。
操作棒が送信する操作棒接触部の三次元位置情報は、操作棒接触部の空間における三次元座標であってもよいし、該三次元座標を推定できるほかの情報であってもよい。操作棒がスクリーンに接触しないときには、操作棒接触部の三次元位置は、受信した操作棒接触部の三次元座標情報から得ることができ、または、受信した操作棒上の別箇所の三次元座標情報、操作棒の方位角情報（例えば操作棒とスクリーンとがなす角度や、操作棒のスクリーンにおける投影とＸ軸またはＹ軸との角度）、及び接触部から該別箇所までの固有の距離に基づいて、前記操作棒接触部の三次元位置を算出できる。該計算は、操作棒の位置決めユニットにおいて行うことができるし、被操作設備においても行うことができる。
【００５６】
操作棒がスクリーンに接触した場合も、操作棒がスクリーンに接触しない場合と同様の方式を用いて操作棒接触部の三次元位置を取得できる。操作棒がスクリーンに接触すると、操作棒とスクリーンとのタッチ位置及び操作棒頭部の縮み込み長などのパラメータが使用可能であるため、操作棒頭部の縮み込み長、操作棒の方位角、及び操作棒と感知スクリーンとのタッチ位置に基づいて、前記操作棒接触部の三次元位置を算出できるため、結果がより正確なものである。ただし、操作棒頭部の縮み込み長は、前記操作棒から送信される縮み込み長の情報で特定できる。
【００５７】
ステップ３３０において、操作棒接触部の三次元位置と、表示される被操作ユニット表面の三次元位置とに基づいて、操作棒と被操作ユニットとのバーチャルタッチが生じたかを判断し、ＹＥＳの場合、ステップ３４０を実行するが、ＮＯの場合、ステップ３２０に戻る。
一般的に、操作棒接触部の三次元位置と被操作ユニット表面の三次元位置とは重なるか、または交差するときに、両者にバーチャルタッチがあったとみなす。
【００５８】
ステップ３４０において、被操作ユニットの立体画像に対する視差調整により、被操作ユニット表面が押圧されるときの深さの変化をシミュレーションし、操作棒へ力フィードバック指令を送信する。
本ステップにおいて、被操作ユニット表面の深さの変化から、被操作ユニットへの操作棒によるクリック操作（一部のボタンは、一定位置に押圧されてから選ばれたとみなす）が完成したかを判断することもできる。ＹＥＳの場合、該被操作ユニットへのクリック命令を生成する。
【００５９】
本ステップにおいて、リアルタイムに取得した、スクリーンに対する操作棒接触部の深さを被操作ユニット表面の深さとし、該深さに基づいて立体画像における被操作ユニットの視差を調整し、例えば左画像及び右画像の少なくとも一方の上の該被操作ユニットの画素点座標に対してシフト処理を行なう。表示される被操作ユニットにより、被操作ユニットが押圧されるときの深さの変化をシミュレーションすることができる。別の実施例において、縮み込み長が比較的小さい場合、中間過程の表示を簡単化し、被操作ユニットが停止位置まで押圧されるときの立体画像を直接表示してもよい。また別の実施例において、被操作ユニットが停止位置及び中間のいくつかの位置まで押圧されるときの立体画像を逐一表示してもよい。
【００６０】
図７は、感知スクリーンに入る操作棒の操作を立体表示でシミュレーションする処理のフロー図であり、以下のステップを含む。
ステップ４１０において、操作棒が感知スクリーンにタッチしたか否かを検出し、ＹＥＳの場合、ステップ４２０を実行するが、ＮＯの場合、引き続き検出をする。
ステップ４２０において、リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報と、操作棒と感知スクリーンとのタッチ位置とに基づいて、前記操作棒の縮み込み部分のバーチャルな三次元位置を算出する。
【００６１】
操作棒の縮み込み部分のバーチャル三次元位置を算出するとき、リアルタイムに取得した操作棒頭部の縮み込み長と、操作棒の方位角及び操作棒と感知スクリーンとのタッチ位置に基づいて、操作棒の縮み込み部分における少なくとも一点（例えば接触部）のバーチャルな三次元位置を算出し、さらに操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャルな三次元位置を算出することができる。リアルタイムに受信した操作棒の三次元位置情報から、操作棒接触部の三次元位置を直接得るか算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することもできる。ただし、操作棒頭部の縮み込み長は、操作棒から送信される縮み込み長の情報から特定できる。
【００６２】
ステップ４３０において、操作棒の縮み込み部分のバーチャル三次元位置に基づいて、操作棒の縮み込み部分の画像をリアルタイムに描写し、描写した該画像をスクリーンに表示する。
描写するときに、設定または追跡したユーザがスクリーンを見るときに左目、右目の三次元位置をそれぞれ左カメラ、右カメラとし、感知スクリーンを零視差面として、該縮み込み部分の左画像と右画像をそれぞれ描写できる。本ステップの完成後、スクリーンには操作棒の縮み込み部分の立体画像が表示され、操作棒が本当にスクリーンに入ったようにユーザに感じさせ、立体的インタラクティブ時のユーザのリアリティを向上させている。
【００６３】
前記技術案から分かるように、本実施例により、立体表示を組み合わせて表現したタッチコントロール操作を実現している。より多くのリアリティをユーザに実感させ、実感した操作棒とスクリーンとのインタラクティブをさらに実際と合致させるために、操作棒において操作棒の運動検出をする位置決めユニットを設置し、操作棒の位置と姿勢をリアルタイムに検出できる。図１を再び参照し、スクリーンから凸となるように表示されるキーに対して、操作棒がスクリーンに接触する前に、人の目では既にスクリーンに接触したと感じた場合、バーチャルタッチ検出を通じて該キーの表示を取得して変更させ、本当に押圧されたようにし、同時に力フィードバックユニットを通じてユーザに接触感を与える。
【００６４】
一方、スクリーンに凹となるように表示されるキーの場合には、再び図２を参照し、操作棒が既にスクリーンに接触したが人の目ではキーにまだ接触していないと感じた場合に、操作棒頭部が操作者の動作にしたがって自動的に縮み込みをし、縮み込み長の情報を端末設備に送信する。端末設備は、該縮み込み部分の立体画像を描写してスクリーンに表示させる。ユーザは、実に該操作棒がスクリーンの中に入り込んでキーをクリックするかのように感じる。操作棒がその他の動作をするとき、例えば左右の移動をするときに、バーチャル操作棒も同時に移動する。スクリーンに入った後、バーチャルタッチ検出により、操作棒がキーをクリックしたことがわかり、それから被操作ユニットに対して視差調整と力フィードバックの処理をする。
【００６５】
本実施例を簡単化した変更例として、力フィードバックに関する内容をキャンセルしてもよい。操作棒に力フィードバックユニットを設けず、被操作設備にも関連処理をしない。その他の実施例は、本実施例と同様である。
【００６６】
応用例としては、スクリーンから凸となるように表示される被操作ユニットの操作のみとすることができる。該応用例についての実施例は、本実施例を基に簡単化することができ、伸縮操作に関する装置と処理をキャンセルすることができ、例えば操作棒における伸縮ヘッダと伸縮感知ユニットがキャンセル可能であり、被操作設備における画像処理装置の第２位置特定ユニット、画像描写ユニットはキャンセル可能であり、しかも縮み込み長計算、バーチャル操作棒描写などの処理をキャンセル可能である。
【００６７】
応用例によっては、スクリーンに凹となるように表示される被操作ユニットの操作のみにとすることができる、該応用例についての実施例では、本実施例を基に簡単化することができ、操作棒における位置決めユニットには、運動軌跡検出をするセンサーをキャンセル可能である。操作棒の姿勢、縮み込み長、感知スクリーンと操作棒とのタッチ位置だけに基づき、バーチャルタッチ検出が完成できるからである。
【００６８】
（実施例２）
実施例１と異なるところは、本実施例の立体的インタラクティブとして、スクリーンに立体表示する被操作ユニットへの操作棒のタッチ操作に係ることがなく、感知スクリーンに入る操作棒の操作を立体表示でシミュレーションする処理のみとした点である。したがって、実施例１を基にして一部簡単化することができる。
操作棒の構造は、実施例１の操作棒と同一でもよいが、一部簡単化してもよい。たとえば、位置決めユニットが姿勢の検出をするセンサーのみを含むものとしてもよい。
【００６９】
被操作設備は、実施例１と同様に、感知スクリーン１０と、通信装置２０と、画像処理装置４０とを含む。感知スクリーン１０と通信装置２０は、実施例１と同一である。
インタラクティブ制御装置３０は、実際タッチ検出ユニット３０３と位置決めユニットとを含む。
実際タッチ検出ユニット３０３は、操作棒と感知スクリーン１０とのタッチを検出した場合、画像処理装置における画像描写ユニットを活性化させ、操作棒と感知スクリーン１０とのタッチ位置を位置特定ユニットに通知するためのものである。
【００７０】
位置決めユニットは、リアルタイムに取得した操作棒縮み込み部分の三次元位置情報と、操作棒と感知スクリーンとのタッチ位置とに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出するためのものである。例えば、リアルタイムに取得した操作棒頭部の縮み込み長と、操作棒の方位角及び操作棒と感知スクリーンとのタッチ位置に基づいて、操作棒の縮み込み部分における少なくとも一点（例えば接触部）のバーチャル三次元位置を算出し、さらに操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出する。ただし、接触部のバーチャル三次元位置は、リアルタイムに取得した操作棒の三次元位置と姿勢の情報から得るか、または算出することもでき、操作棒頭部の縮み込み長は、操作棒から送信される縮み込み長の情報から特定する。
【００７１】
画像処理装置４０は、実施例１の画像描写ユニット４０３と同様に、操作棒の縮み込み部分のバーチャル三次元位置に基づいて、操作棒の縮み込み部分の立体画像をリアルタイムに描写し、描写した該立体画像を感知スクリーン１０に表示するための画像描写ユニットを含む。
本実施例において、感知スクリーン１０に入る操作棒の操作を立体表示でシミュレーションする処理フローは、実施例１と同じである。
【００７２】
（実施例３）
本実施例は、実施例１とほぼ同一であり、異なるところは、操作棒の三次元位置の検出にある。本実施例において、操作棒には、位置と姿勢の検出用の位置決めユニットがなく、その他の位置決め補助装置を使用して共同で操作棒の空間における三次元座標を位置決めすることが必要となる。
該位置決め補助装置は、感知スクリーン１０に対する操作棒の三次元位置を感知して感知した三次元位置情報を被操作設備に送信するためのものである。その方式は以下のようになるが、これに限ったものではない。
【００７３】
（ａ）カメラ等の追跡装置
カメラで操作棒の追跡識別を行い、操作棒の三次元位置情報を特定して被操作設備に送信する。該三次元位置情報は、操作棒接触部またはその他の構成の三次元位置と操作棒の方位角の情報を含む。
（ｂ）赤外線感知装置
操作棒と被操作設備の両方に赤外線感知装置を備えることが必要であり、一方のものを発生装置とし、他方を受信装置とし、被操作設備または操作棒により操作棒の三次元位置情報を算出する。
前記位置決め補助装置は、被操作設備のインタラクティブ制御装置に三次元位置情報を直接送信してもよいし、まず被操作ユニットの通信装置に送信してそれから該通信装置から該インタラクティブ制御装置に提供してもよい。
【００７４】
本実施例における操作棒の三次元位置の検出は、実施例１の変更例と実施例２にも適用できる。最も簡単な方式では、操作棒は、普通のペンのように、縮み込み可能な頭部と伸縮感知機構、位置決めユニットと力フィードバックユニットを有しない。操作棒の位置と姿勢が位置決め補助装置によって検出され、立体的インタラクティブ時にスクリーンから凸となる被操作ユニットへのタッチコントロール操作をシミュレーションするのみことが必要となるため、被操作設備における操作棒縮み込み部分に関する位置きめと描写のユニット及び処理は省略可能である。
【００７５】
（実施例４）
本実施例は、実施例１とほぼ同一であり、異なるところは、操作棒に縮み込み感知ユニットを設置しないことにある。操作棒と感知スクリーン１０にタッチした後の縮み込み長は、別の方式で計算する。
図８に示すように、本実施例では、被操作設備の感知スクリーン１０の表面に特別な圧力感知装置の層が増設されている。たとえば、該圧力感知装置は、特別な容量性スクリーンであり、操作棒が該容量性スクリーンにタッチすると、該容量性スクリーンにおいて、操作棒の圧力の変化に応じて電界の変化が発生し、このような電界の変化が検出されると、インタラクティブ制御装置に送信される。圧力と操作棒頭部の縮み込み長と対応関係を有するため、感知スクリーンの容量電圧の変化から、操作棒頭部の縮み込み長を算出できる。さらに操作棒接触部の三次元位置を特定する。すなわち、操作棒頭部の縮み込み長は、感知スクリーン上の圧力感知装置の検出結果からも算出できる。
本実施例における操作棒の縮み込み長の検出は、実施例１の変更例と実施例２にも適用できる。
【００７６】
（実施例５）
本実施例は、実施例１とほぼ同一であり、異なるところは、操作棒に縮み込み感知ユニットを設置しないことにある。操作棒がスクリーンにタッチした後の操作棒接触部の三次元位置は、別の方式で計算する。
縮み込み感知ユニットがないため、本実施例では、操作棒がスクリーンにタッチした後に、検出した操作棒頭部の縮み込み長の情報を取得できない。しかし、操作棒における位置決めユニットがリアルタイムに操作棒の位置と姿勢を検出できるため、位置決めユニットの検出結果から縮み込み長を推定できる。
位置決めユニットが検出した操作棒の三次元位置と姿勢の情報から、操作棒接触部の深さ及び操作棒と感知スクリーンとがなす角度を得ることができる。該深さと角度から操作棒頭部の縮み込み長を算出できる。該縮み込み長を得た後、操作棒の方位角及び操作棒と感知スクリーンとのタッチ位置から操作棒接触部の三次元位置を算出できる。本実施例では、位置決めユニットのデータと実際タッチ位置のデータとを組み合わせており、位置決めの精度を保証でき、操作棒が断続するなど不良な表示効果の発生を回避している。
【００７７】
本実施例における操作棒の縮み込み長への検出は、実施例１の変更例にも適用できる。本実施例の位置決めユニットがリアルタイムに検出した操作棒の三次元位置と姿勢の情報は、実施例２における補助装置により提供することも容易に理解できる。
【００７８】
前記方法におけるステップのすべてまたは一部が、プログラムでハードウェアに指令することにより行うことができる。また、前記プログラムは、コンピュータが読み取り可能な記憶媒体、たとえばＲＯＭ、磁気ディスクまたは光ディスクに格納してもよい。さらに選択可能なこととして、前記実施例のステップの全てまたは一部は、一つまたは複数の集成回路で実現でき、それに応じて、前記実施例における各モジュール／ユニットは、ハードウェアの形式でも実現できるし、ソフトウェア機能モジュールの形式でも実現できる。本発明は、特定形式のハードウェアとソフトウェアのいかなる組み合わせにも限定しない。
以上の記載は、本発明の好ましい実施例に過ぎず、本発明を限定するためのものではない。本技術分野の当業者にとって、本発明は、様々な変更を加えることができる。本発明の精神と原則に基づいたいかなる修正、同等の差し替え、改良などは、いずれも本発明の保護範囲内に含まれるべきである。
【符号の説明】
【００７９】
１０１ ハウジング
１０２ 伸縮可能な頭部
１０３ 通信ユニット
１０４ 位置決めユニット
１０５ 力フィードバックユニット
１０６ 伸縮感知ユニット
１０ 感知スクリーン
２０ 通信装置
３０ インタラクティブ制御装置
３０１ 第１位置特定ユニット
３０２ バーチャルタッチ検出ユニット
３０３ 実際タッチ検出ユニット
３０４ 第２位置特定ユニット
４０ 画像処理装置
４０１ 深さ計算ユニット
４０２ 視差調整ユニット
４０３ 画像描写ユニット
【技術分野】
【０００１】
本発明は、立体的インタラクティブ技術に関し、特に立体的インタラクティブシステム及び立体的インタラクティブ方法に関する。
【背景技術】
【０００２】
現在の人間とコンピュータとのインタラクティブ型システムにおける各種類の技術案のほとんどは、２Ｄ表示を基とするものであり、そのためユーザの操作による直接的な表示効果が２Ｄで表されている。さらに、シャドーや、近くのものを大きくして遠くのものを小さくするなどの透視効果を用いて立体的な感覚を近似シミュレーションしている。
【０００３】
３Ｄ表示技術の発展に伴い、このような２Ｄに基づく表示界面において、一連の常識に合致しない操作結果をもたらしている。３Ｄによる操作者への直感的な表示効果を与えるものとして、すべての操作界面がスクリーンに対して凸となるか、凹となる必要があるからである。現在の一般的なタッチスクリーンの場合、指または操作ペンはスクリーンにおいて二次元の操作しかできない。スクリーンに対して手前の空中や、スクリーンに対して奥となる界面のような真の３Ｄ操作界面に対し、このような伝統的な方式は、実際の界面に実際にタッチしていない感覚を操作者にもたらす。
【０００４】
現在のバーチャルリアリティ（ＶＲ）技術において、データグローブなどを利用して空間中の物体を操作する技術があるものの、このような技術は実現が複雑であり、たとえば精度の高いデータグローブや、バーチャル空間全体に対してモデル化できるコンピュータシステムが必要となり、場合によっては、実際の環境によるバーチャル環境への干渉を遮断するのに特別な表示ヘルメットが必要となる。そのため、使用者が使用するのが不便となり、コストも相当高い。したがって、多くの設備、特に移動設備には適用しない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明により解決しようとする技術課題は、以下のとおりのものである。
（１）立体的インタラクティブと立体表示を組み合わせてシミュレーションするときに使用する操作棒を提供する。
（２）立体表示を組み合わせて立体的インタラクティブをシミュレーションできる立体的インタラクティブ方法及び対応する被操作設備を提供する。
（３）立体表示を組み合わせて立体的インタラクティブをシミュレーションできる、別の立体的インタラクティブ方法及び対応する被操作設備を提供する。
（４）より多くのリアリティをユーザに実感させることができ、立体表示を組み合わせて表現する立体的インタラクティブシステムを提供する。
【課題を解決するための手段】
【０００６】
前記課題の（１）を解決するために、本発明は、ハウジングを含む操作棒を提供する。該操作棒において、前記ハウジングに伸縮可能に接続する伸縮可能な頭部と、操作棒と被操作設備との間の情報インタラクティブを実現するための通信ユニットと、操作棒の空間における位置及び姿勢の少なくとも一方をリアルタイムに検出し、検出した三次元位置情報を通信ユニットに伝送して、通信ユニットから送信するための位置決めユニットとをさらに含む。
【０００７】
好ましくは、該操作棒において、操作棒の伸縮可能な頭部の縮み込み長をリアルタイムに検出し、検出した縮み込み長の情報を通信ユニットに伝送して、通信ユニットから送信するための伸縮感知ユニットをさらに含む。
好ましくは、該操作棒において、前記通信ユニットが受信した力フィードバック指令に基づき、力フィードバックをシミュレーションする動作を実行するための力フィードバックユニットをさらに含む。
好ましくは、前記位置決めユニットにおいて、運動軌跡検出をするセンサー、及び方位角検出をするセンサーの少なくとも一方を含み、該運動軌跡の初期位置は、操作棒の初期状態で表示スクリーンがある平面を基準とする参照系における相対位置に設置されている。
【０００８】
好ましくは、前記伸縮可能な頭部において、操作棒ヘッドと、該操作棒ヘッドと伸縮感知装置との間に当接する弾力部材とを含み、前記伸縮感知ユニットは、圧力センシングの方式で実現し、前記弾力部材の圧力を感知して、対応する電気信号に変換して通信ユニットに伝送して、通信ユニットから送信するためのものである。
好ましくは、前記力フィードバックユニットは、電子機械装置で実現し、力フィードバック指令を受信した後に、被操作ユニットが押圧されるときの実際の振動をシミュレーションするためのものである。
好ましくは、前記伸縮可能な頭部のハウジングから離れた一端は、先端である。
【０００９】
前記課題の（２）を解決するために、本発明は、感知スクリーンに立体表示される被操作ユニットへの操作棒の操作を被操作設備上にシミュレーションするための立体的インタラクティブ方法を提供する。該立体的インタラクティブ方法において、被操作ユニットの立体画像の視差に基づき、被操作ユニット表面のスクリーンに対する深さを特定し、リアルタイムに取得した操作棒接触部の三次元位置情報から操作棒接触部の三次元位置を特定し、操作棒接触部の三次元位置と、表示される被操作ユニット表面の三次元位置とを比較し、操作棒と被操作ユニットとのバーチャルタッチが発生したかをリアルタイムに判断し、操作棒が被操作ユニットにタッチしたと判断する場合、被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションする。
【００１０】
好ましくは、前記操作棒接触部の三次元位置と被操作ユニット表面の三次元位置は、ともに相対座標で示し、該相対座標が感知スクリーンのある平面を参照系として特定される。
好ましくは、前記のリアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定することは、少なくとも前記操作棒が前記感知スクリーンにタッチしないときに、受信した操作棒接触部の三次元座標情報に基づいて前記操作棒接触部の三次元位置を取得すること、または、受信した操作棒上の別箇所の三次元座標情報、操作棒の方位角情報、及び接触部から該別箇所までの固有の距離に基づいて、前記操作棒接触部の三次元位置を算出すること、を含む。
好ましくは、前記のリアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定することは、前記操作棒が前記感知スクリーンにタッチした場合、操作棒頭部の縮み込み長、操作棒の方位角、及び操作棒と感知スクリーンとのタッチ位置に基づいて、前記操作棒接触部の三次元位置を算出することを含む。
【００１１】
好ましくは、前記操作棒頭部の縮み込み長は、前記操作棒から送信された縮み込み長の情報から特定された、または前記感知スクリーンにおける圧力感知装置の検出結果から算出された、または受信した該操作棒の三次元位置と姿勢の情報に基づいて操作棒接触部の深さと、操作棒と感知スクリーンとがなす角度とを特定してから算出された、リアルタイムに取得されたものである。
好ましくは、前記の被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションすることは、リアルタイムに取得した、スクリーンに対する操作棒接触部の深さを被操作ユニット表面の深さとし、該深さに基づいて被操作ユニットの立体画像における視差を調整することを含む。
好ましくは、操作棒が被操作ユニットにタッチしたことを判断すると、前記被操作設備がさらに前記操作棒に力フィードバック指令を送信する。
好ましくは、操作棒と被操作ユニットとのタッチを判断した後、さらに、被操作ユニット表面の深さの変化に基づいて、操作棒による被操作ユニットへのクリック操作が完成したかを判断し、完成したと判断した場合、該被操作ユニットへのクリック命令を生成する。
【００１２】
前記方法に応じて、本発明は、立体的インタラクティブシステムにおける被操作設備も提供する。該被操作設備は、感知スクリーンと、通信装置と画像処理装置とを含み、さらにインタラクティブ制御装置を含む。前記感知スクリーンは、被操作ユニットの立体画像を表示するためのものである。前記通信装置は、インタラクティブ制御装置と操作棒との間の情報インタラクティブを実現するためのものである。前記インタラクティブ制御装置は、リアルタイムに取得した操作棒接触部の三次元位置情報から操作棒接触部の三次元位置を特定するための位置特定ユニットと、操作棒接触部の三次元位置と、表示される被操作ユニット表面の三次元位置とに基づいて、操作棒と被操作ユニットとのバーチャルタッチが生じたかをリアルタイムに判断するためのバーチャルタッチ検出ユニットであって、生じたと判断した場合に、画像処理装置における視差調整ユニットを活性化させるためのバーチャルタッチ検出ユニットとを含む。前記画像処理装置は、被操作ユニットの立体画像の視差に基づいて、感知スクリーンに対する被操作ユニット表面の深さを特定し、バーチャルタッチ検出ユニットに通知するための深さ計算ユニットと、被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションするための視差調整ユニットとを含む。
【００１３】
好ましくは、前記位置特定ユニットがリアルタイムに取得した操作棒接触部の三次元位置情報から操作棒接触部の三次元位置を特定することは、少なくとも前記操作棒が前記感知スクリーンにタッチしないときに、受信した操作棒接触部の三次元座標情報に基づいて前記操作棒接触部の三次元位置を取得すること、または、受信した操作棒上の別箇所の三次元座標情報、操作棒の方位角情報、及び接触部から該別箇所までの固有の距離に基づいて、前記操作棒接触部の三次元位置を算出することを含む。
好ましくは、前記インタラクティブ制御装置において、操作棒がスクリーンにタッチしたことを検出すると、検出したタッチ位置を位置特定ユニットに通知するための実際タッチ検出ユニットをさらに含む。
【００１４】
前記位置特定ユニットがリアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定することは、前記操作棒が前記感知スクリーンにタッチした場合、操作棒頭部の縮み込み長、操作棒の方位角、及び操作棒と感知スクリーンとのタッチ位置に基づいて、前記操作棒接触部の三次元位置を算出することを含む。
好ましくは、前記位置特定ユニットが前記操作棒接触部の三次元位置を計算するときに使用する前記操作棒頭部の縮み込み長は、前記操作棒から送信された縮み込み長の情報から特定された、または前記感知スクリーンにおける圧力感知装置の検出結果から算出された、または受信した該操作棒の三次元位置と姿勢の情報に基づいて操作棒接触部の深さと、操作棒と感知スクリーンとがなす角度とを特定してから算出された、リアルタイムに取得されたものである。
【００１５】
好ましくは、前記視差調整ユニットが被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションすることは、リアルタイムに取得した、スクリーンに対する操作棒接触部の深さを被操作ユニット表面の深さとし、該深さに基づいて被操作ユニットの立体画像における視差を調整することを含む。
好ましくは、前記バーチャルタッチ検出ユニットが操作棒と被操作ユニットとのタッチを判断した後、さらに、被操作ユニット表面の深さの変化に基づいて、操作棒による被操作ユニットへのクリック操作が完成したかを判断し、完成したと判断した場合、該被操作ユニットへのクリック命令を生成する。
好ましくは、前記バーチャルタッチ検出ユニットがリアルタイムに操作棒が被操作ユニットにタッチしたことを判断すると、さらに、前記通信装置を通じて、前記操作棒に力フィードバック指令を送信する。
好ましくは、前記被操作設備がスマートフォンまたはタブレット型コンピュータである。
【００１６】
前記課題の（３）を解決するために、本発明は、感知スクリーンに入る操作棒の操作を被操作設備に立体表示でシミュレーションするための立体的インタラクティブ方法を提供する。該立体的インタラクティブ方法において、操作棒が前記感知スクリーンにタッチしたか否かを検出し、操作棒が前記感知スクリーンにタッチした場合、リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報と、操作棒と感知スクリーンとのタッチ位置とに基づいて、前記操作棒の縮み込み部分のバーチャル三次元位置を算出し、操作棒の縮み込み部分のバーチャル三次元位置に基づいて、操作棒の縮み込み部分の画像をリアルタイムに描写し、描写した該画像を前記感知スクリーンに表示することを含む。
【００１７】
好ましくは、前記のリアルタイムに取得した操作棒の縮み込み部分の三次元位置情報に基づいて操作棒の縮み込み部分のバーチャル三次元位置を算出することは、リアルタイムに取得した操作棒頭部の縮み込み長と、操作棒の方位角及び操作棒と感知スクリーンとのタッチ位置に基づいて、操作棒の縮み込み部分における少なくとも一点のバーチャル三次元位置を算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することを含む。
【００１８】
好ましくは、前記操作棒頭部の縮み込み長は、前記操作棒から送信された縮み込み長の情報から特定された、または前記感知スクリーンにおける圧力感知装置の検出結果から算出された、または受信した該操作棒の三次元位置と姿勢の情報に基づいて操作棒接触部の深さと、操作棒と感知スクリーンとがなす角度とを特定してから算出された、リアルタイムに取得されたものである。
【００１９】
好ましくは、前記のリアルタイムに取得した操作棒の縮み込み部分の三次元位置情報に基づいて操作棒の縮み込み部分のバーチャル三次元位置を算出することは、リアルタイムに受信した操作棒の三次元位置情報から、操作棒接触部の三次元位置を得るか算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することを含む。
好ましくは、前記のリアルタイムに描写した操作棒の縮み込み部分の画像が立体画像である。該立体画像は、設定または追跡したユーザがスクリーンを見るときに左目、右目の三次元位置をそれぞれ左カメラ、右カメラとし、感知スクリーンを零視差面として、前記操作棒の縮み込み部分の左画像と右画像を描写して得たものである。
好ましくは、前記立体的インタラクティブ方法に使用する三次元位置は、感知スクリーンのある平面を参照系として特定する相対座標を用いて示す。
【００２０】
前記方法に応じて、本発明は、立体的インタラクティブシステムにおける被操作設備も提供する。該被操作設備は、感知スクリーンと、通信装置と画像処理装置とを含み、さらにインタラクティブ制御装置を含む。前記感知スクリーンは、被操作ユニットの立体画像を表示するためのものである。前記通信装置は、インタラクティブ制御装置と操作棒との間の情報インタラクティブを実現するためのものである。前記インタラクティブ制御装置は、リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報と、操作棒と感知スクリーンとのタッチ位置とに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を取得するための位置特定ユニットと、操作棒と感知スクリーンとのタッチを検出した場合、画像処理装置における画像描写ユニットを活性化させ、操作棒と感知スクリーンとのタッチ位置を位置特定ユニットに通知するための実際タッチ検出ユニットとをさらに含む。前記画像処理装置は、操作棒の縮み込み部分のバーチャル三次元位置に基づいて、操作棒の縮み込み部分の立体画像をリアルタイムに描写し、描写した該立体画像を前記感知スクリーンに表示するための画像描写ユニットをさらに含む。
【００２１】
好ましくは、前記位置特定ユニットがリアルタイムに取得した操作棒の縮み込み部分の三次元位置情報に基づいて操作棒の縮み込み部分のバーチャル三次元位置を算出することは、リアルタイムに取得した操作棒頭部の縮み込み長と、操作棒の方位角及び操作棒と感知スクリーンとのタッチ位置に基づいて、操作棒の縮み込み部分における少なくとも一点のバーチャル三次元位置を算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することを含む。
【００２２】
好ましくは、前記位置特定ユニットは、前記操作棒から送信された縮み込み長の情報から特定された、または前記感知スクリーンにおける圧力感知装置の検出結果から算出された、または受信した該操作棒の三次元位置と姿勢の情報に基づいて操作棒接触部の深さと、操作棒と感知スクリーンとがなす角度とを特定してから算出された、前記操作棒頭部の縮み込み長をリアルタイムに取得する。
好ましくは、前記位置特定ユニットがリアルタイムに取得した操作棒の縮み込み部分の三次元位置に基づいて操作棒の縮み込み部分のバーチャル三次元位置を算出することは、リアルタイムに受信した操作棒の三次元位置情報から、操作棒接触部の三次元位置を得るか算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することを含む。
【００２３】
好ましくは、前記画像描写ユニットがリアルタイムに描写した操作棒の縮み込み部分の画像が立体画像である。該立体画像は、設定または追跡したユーザがスクリーンを見るときに左目、右目の三次元位置をそれぞれ左カメラ、右カメラとし、感知スクリーンを零視差面として、前記操作棒の縮み込み部分の左画像と右画像を描写して得たものである。
好ましくは、前記被操作設備がスマートフォンまたはタブレット型コンピュータである。
【００２４】
前記課題の（４）を解決するために、本発明は、被操作設備と操作棒とを含む立体的インタラクティブシステムを提供する。前記被操作設備は、被操作ユニットの立体画像を表示可能な感知スクリーンと、インタラクティブ制御装置と、インタラクティブ制御装置と操作棒との間の情報インタラクティブを実現するための通信装置と、画像処理装置とを含む。前記インタラクティブ制御装置は、リアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定するための第１位置特定ユニットと、操作棒接触部の三次元位置と、表示される被操作ユニット表面の三次元位置とに基づいて、操作棒と被操作ユニットとのバーチャルタッチが生じたかをリアルタイムに判断するためのバーチャルタッチ検出ユニットであって、生じたと判断した場合に、画像処理装置における視差調整ユニットを活性化させるためのバーチャルタッチ検出ユニットとを含む。前記画像処理装置は、被操作ユニットの立体画像の視差に基づいて、感知スクリーンに対する被操作ユニット表面の深さを特定し、バーチャルタッチ検出ユニットに通知するための深さ計算ユニットと、被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションするための視差調整ユニットとを含む。
【００２５】
好ましくは、前記操作棒において、操作棒の空間における位置及び姿勢の少なくとも１つをリアルタイムに検出し、検出した三次元位置情報を通信ユニットに伝送して、通信ユニットから送信するための位置決めユニットと、操作棒と被操作設備との間の情報インタラクティブを実現するための通信ユニットとを含む。前記第１位置特定ユニットがリアルタイムに取得した操作棒接触部の三次元位置情報は、前記操作棒における位置決めユニットから送信されるものである。
【００２６】
好ましくは、前記位置決めユニットにおいて、運動軌跡検出をするセンサー、及び方位角検出をするセンサーの少なくとも一方を含む。該運動軌跡の初期位置は、操作棒の初期状態で表示スクリーンがある平面を基準とする参照系における相対位置に設置されている。
好ましくは、前記立体的インタラクティブシステムにおいて、感知スクリーンに対する操作棒の三次元位置をリアルタイムに感知し、感知した三次元位置の情報を前記第１位置特定ユニットに送信するための位置決め補助装置をさらに含む。
【００２７】
好ましくは、前記第１位置特定ユニットがリアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定することは、少なくとも前記操作棒が前記感知スクリーンにタッチしないときに、受信した操作棒接触部の三次元座標情報から前記操作棒接触部の三次元位置を取得すること、または、受信した操作棒上の別箇所の三次元座標情報、操作棒の方位角情報、及び接触部から該別箇所までの固有の距離から、前記操作棒接触部の三次元位置を算出すること、を含む。
好ましくは、前記インタラクティブ制御装置において、操作棒がスクリーンにタッチしたことを検出すると、検出したタッチ位置を第１位置特定ユニットに通知するための実際タッチ検出ユニットをさらに含む。
【００２８】
前記第１位置特定ユニットがリアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定することは、前記操作棒が前記感知スクリーンにタッチした場合、操作棒頭部の縮み込み長、操作棒の方位角、及び操作棒と感知スクリーンとのタッチ位置に基づいて、前記操作棒接触部の三次元位置を算出することを含む。
好ましくは、前記第１位置特定ユニットが前記操作棒接触部の三次元位置を計算するときに使用する前記操作棒頭部の縮み込み長は、操作棒または位置決め補助装置から送信された該操作棒の三次元位置と姿勢の情報に基づいて、操作棒接触部の深さと、操作棒と感知スクリーンとがなす角度とを特定してから算出したものである。
【００２９】
好ましくは、前記視差調整ユニットが被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションすることは、リアルタイムに取得した、スクリーンに対する操作棒接触部の深さを被操作ユニット表面の深さとし、該深さに基づいて被操作ユニットの立体画像における視差を調整することを含む。
好ましくは、前記バーチャルタッチ検出ユニットが、操作棒と被操作ユニットとのタッチを判断すると、さらに、被操作ユニット表面の深さの変化に基づいて、操作棒による被操作ユニットへのクリック操作が完成したかを判断し、完成したと判断した場合、該被操作ユニットへのクリック命令を生成する。
【００３０】
好ましくは、前記操作棒において、前記通信ユニットが受信した力フィードバック指令に基づいて、力フィードバックをシミュレーションする動作を実行するための力フィードバックユニットと、操作棒と被操作設備との間の情報インタラクティブを実現するための通信ユニットとを含む。前記バーチャルタッチ検出ユニットが操作棒と被操作ユニットとのタッチをリアルタイムに判断する場合、さらに、前記通信装置を介して前記操作棒に力フィードバック指令を送信する。
【００３１】
好ましくは、前記操作棒において、伸縮可能な頭部を含む。前記インタラクティブ制御装置は、リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報と、操作棒と感知スクリーンとのタッチ位置とに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を取得するための第２位置特定ユニットと、操作棒と感知スクリーンとのタッチを検出した場合、画像処理装置における画像描写ユニットを活性化させ、操作棒と感知スクリーンとのタッチ位置を第２位置特定ユニットに通知するための実際タッチ検出ユニットとをさらに含む。前記画像処理装置は、操作棒の縮み込み部分のバーチャル三次元位置に基づいて、操作棒の縮み込み部分の立体画像をリアルタイムに描写し、描写した該立体画像を前記感知スクリーンに表示するための画像描写ユニットをさらに含む。
【００３２】
好ましくは、前記第２位置特定ユニットがリアルタイムに取得した操作棒の縮み込み部分の三次元位置情報に基づいて操作棒の縮み込み部分のバーチャル三次元位置を算出することは、リアルタイムに取得した操作棒頭部の縮み込み長と、操作棒の方位角及び操作棒と感知スクリーンとのタッチ位置に基づいて、操作棒の縮み込み部分における少なくとも一点のバーチャル三次元位置を算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することを含む。
好ましくは、前記第２位置特定ユニットが操作棒の縮み込み部分のバーチャル三次元位置を計算するときに使用する操作棒頭部の縮み込み長は、受信した該操作棒の三次元位置と姿勢の情報に基づいて、操作棒接触部の深さと、操作棒と感知スクリーンとがなす角度とを特定してから算出したものである。
【００３３】
好ましくは、前記操作棒において、伸縮可能な頭部と、操作棒の伸縮可能な頭部の縮み込み長をリアルタイムに検出し、検出した縮み込み長の情報を通信ユニットに伝送して、通信ユニットから送信するための伸縮感知ユニットと、操作棒と被操作設備との間の情報インタラクティブを実現するための通信ユニットとを含む。
好ましくは、前記伸縮可能な頭部は、操作棒ヘッドと、該操作棒ヘッドと伸縮感知装置との間に当接する弾力部材とを含む。
【００３４】
前記伸縮感知ユニットは、圧力センシングの方式で実現し、前記弾力部材の圧力を感知して、対応する電気信号に変換して通信ユニットに伝送して、通信ユニットから送信するためのものである。
好ましくは、前記操作棒において、伸縮可能な頭部を含む。前記感知スクリーンの表面には、操作棒と感知スクリーンとのタッチ時における、操作棒頭部の縮み込み長に対応する圧力を検出して検出結果をインタラクティブ制御装置に送信するための圧力感知装置が増設されている。
好ましくは、前記位置特定ユニットがリアルタイムに取得した操作棒の縮み込み部分の三次元位置情報に基づいて操作棒の縮み込み部分のバーチャル三次元位置を算出することは、リアルタイムに受信した操作棒の三次元位置情報から、操作棒接触部の三次元位置を得るか算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することを含む。
【００３５】
好ましくは、前記画像描写ユニットがリアルタイムに描写した操作棒の縮み込み部分の画像が立体画像である。該立体画像は、設定または追跡したユーザがスクリーンを見るときに左、右目の三次元位置を左、右カメラとし、感知スクリーンを零視差面として、前記操作棒の縮み込み部分の左画像と右画像を描写して得たものである。
好ましくは、前記被操作設備がスマートフォンまたはタブレット型コンピュータである。
好ましくは、前記操作棒の頭部のハウジングから離れた一端は、先端であり、該先端は、前記操作棒接触部を構成する。
【発明の効果】
【００３６】
前記技術案から、本発明によれば下記の効果を奏する。
（１）操作棒に位置決めユニットと伸縮可能な頭部とを含み、操作棒の空間における位置と姿勢が分かるため、立体的インタラクティブをシミュレーションするときに必要な各種類のパラメータを取得でき、スクリーンに接触した後に縮み込み可能なため、タッチコントロールに対し、より多くのリアリティをユーザに実感させる。
（２）感知スクリーンに立体表示される被操作ユニットへの操作棒の操作をシミュレーションでき、より多くのリアリティをユーザに実感させ、実感する操作棒とスクリーンとのインタラクティブがより実際と合致している。
（３）感知スクリーンに入る操作棒の操作を立体表示でシミュレーションでき、より多くのリアリティをユーザに実感させ、実感する操作棒とスクリーンとのインタラクティブがより実際と合致している。
（４）特別な操作棒を使用するとともに、対応的に立体表示機能を有する被操作設備を組み合わせることにより、立体表示を組み合わせて表現する立体的インタラクティブを実現しており、より多くのリアリティをユーザに実感させ、実感する操作棒とスクリーンとのインタラクティブがより実際と合致している。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施例においてスクリーンから凸となるボタンへのタッチコントロール操作を示す図面である。
【図２】本発明の実施例においてスクリーンに凹となるボタンへのタッチコントロール操作を示す図面である。
【図３ａ】本発明の実施例１の操作棒の構造を示す図面である。
【図３ｂ】本発明の実施例１の操作棒における各ユニットの接続を示す図面である。
【図４】本発明の実施例１の被操作設備の構造を示す図面である。
【図５】本発明の実施例１においてスクリーンに立体表示する被操作ユニットへのタッチコントロール操作の処理フロー図である。
【図６ａ】画素点の視差と深さとの関係を示す図面である。
【図６ｂ】画素点の視差と深さとの関係を示す図面である。
【図７】本発明の実施例１において感知スクリーンに入る操作棒の操作を立体表示でシミュレーションする処理のフロー図である。
【図８】スクリーン上の圧力感知装置で操作棒の縮み込み長を検出することを示す図面である。
【発明を実施するための形態】
【００３８】
本発明の目的、技術及び利点をより明確かつ明らかにするために、以下、図面を参照して、本発明の実施例を詳しく説明する。なお、組み合わせに支障がない限り、本願における実施例及び実施例の中の特徴を互いに任意に組み合わせることができる。
【００３９】
（実施例１）
図１及び図２に示すように、本発明の立体的インタラクティブシステムは、操作棒と被操作設備とを含み、該被操作設備は、立体表示が可能な感知スクリーンを含み、たとえばスマートフォン、タブレット型コンピュータなどである。感知スクリーン（以下、スクリーンと略称する）に立体表示される操作可能ユニット（ボタンを例とするが、キーやほかのアイコンであってもよい）は、ユーザから見てスクリーンに対して凸となるか、または凹となる可能性がある。スクリーンから凸となるように表示する被操作ユニットに対してタッチコントロール操作をする場合、より多くのリアリティをユーザに実感させるために、操作棒の頭部が被操作ユニットの表面に達し、仮想的な接触（以下「バーチャルタッチ」とする。）が生じたとき、該被操作ユニットが押圧されるときの視覚的な変化をシミュレーションすることができるとともに、ユーザに一定の力フィードバックを与え、ユーザが感じる操作棒による被操作ユニットへのタッチコントロールをより実際と合致するものにする。一方、スクリーンに凹となるように表示する被操作ユニットに対してタッチコントロール操作をする場合、操作棒の頭部が被操作ユニットの表面に達する前にスクリーンに接触することとなる。その際、より多くのリアリティをユーザに実感させるために、操作棒の頭部を伸縮可能なものにすることができ、操作棒の縮む込み部分を描写してスクリーンに立体表示をするとともに、該頭部が伸縮しないときの三次元位置を計算して、バーチャルタッチが生じるか否かを判断し、バーチャルタッチが生じると、前記同様の方式で被操作ユニットの相応する表示と力フィードバック処理を行う。
【００４０】
本実施例では、三次元位置情報とは、三次元位置、またはあらゆる三次元位置の計算に用いる情報、たとえば姿勢、縮み込み長などを含む。三次元位置は、三次元座標例えばｘ、ｙ、ｚ座標で示すか、または、長さと方位角による極座標で示す。三次元位置を示す座標は、感知スクリーンがある平面を参照系として特定可能であり、すなわち、感知スクリーンに対する相対座標である。スマートフォンを例とする場合、スクリーンの中点またはいずれかの端点を座標の原点とし、スクリーンに直交する方向をＺ軸とし、スクリーンがある平面がＸＹ座標軸で示す平面とすることができるが、これに限ったものではない。
【００４１】
図３ａに示す操作棒の構造図と図３ｂに示す各ユニットの接続図を参照する。該操作棒は、ハウジング１０１、伸縮可能な頭部１０２、通信ユニット１０３、位置決めユニット１０４、力フィードバックユニット１０５及び伸縮感知ユニット１０６を含む。
ハウジング１０１は、持つのに便利な任意の形状、たとえばペン状などである。
伸縮可能な頭部１０２は、ハウジング１０１に伸縮可能に接続し、従来の各種類の構造を採用できる。本実施例では、伸縮可能な頭部１０２のうち被操作ユニットにタッチするための箇所を接触部と呼ぶ。好ましくは、伸縮可能な頭部１０２のハウジングから離れた一端を先端にし、該先端を操作棒の接触部とし、操作棒の接触点と呼んでもよい。
【００４２】
通信ユニット１０３は、位置決めユニット１０４、力フィードバックユニット１０５、伸縮感知ユニット１０６に電気接続し、操作棒と被操作設備との間の情報インタラクティブを実現する。その手段としては、例えばブルートゥース、無線ＵＳＢなどの無線通信方式を採用してもよいし、例えばＩ２Ｃ、ＵＳＢなどの有線通信方式を採用してもよい。
【００４３】
位置決めユニット１０４は、操作棒の空間における位置と姿勢をリアルタイムに検出し、検出した三次元位置情報が通信ユニット１０３に伝送されて、通信ユニット１０３から送信される。該位置決めユニット１０４は、運動軌跡の検出をするセンサーや姿勢の検出をするセンサーを含んでもよい。例えば、iPhone（登録商標）のような従来の移動設備において、ジャイロセンサーを用いて運動軌跡データ（操作棒の空間における位置情報とすることができる）を取得するとともに、加速度センサーを用いて方位角データ（操作棒の姿勢情報とすることができる）を取得する。該運動軌跡の初期位置は、操作棒の初期状態において位置決めユニット（または他の箇所）の参照系における相対位置に設定することができる。位置決めユニットが検出した三次元位置情報は、操作棒の三次元位置情報と姿勢の情報であってもよく、該情報から算出した操作棒接触部の三次元位置または中間結果などであってもよい。位置決めユニット１０４は、地磁気センサーを用いて実現することもできる。
【００４４】
力フィードバックユニット１０５は、通信ユニットが受信した力フィードバック指令に基づいて、力フィードバックをシミュレーションする動作を実行する。たとえば、電子機械装置を力フィードバックユニットとすることができ、力フィードバック指令を受信した後に、実のボタンが押圧される振動をシミュレーションし、その場にいるような３Ｄ界面の操作を操作者に実感させ、３Ｄ世界に入りきる感覚を生み出す。電子機械モジュールは、電動振動モータ、人造筋肉膜またはその他の振動シミュレーション装置とすることができる。
【００４５】
伸縮感知ユニット１０６は、操作部頭部の縮み込み長（すなわち伸縮可能な頭部の縮み込み長）をリアルタイムに検出し、検出した縮み込み長の情報を通信ユニット１０３に伝送して、通信ユニット１０３から送信する。本実施例の伸縮感知ユニット１０６は、圧力センシング方式で実現する。それに応じて、伸縮可能な頭部１０２は、操作棒ヘッドと、該伸縮感知ユニットと操作棒ヘッドとの間に当接する例えばばねのような弾力部材とを含み、伸縮可能な頭部の縮み込み長に変化が生じると、該弾力部材による伸縮感知ユニット１０５への圧力が変化し、伸縮感知ユニット１０５は、圧力を対応する電気信号に変換して通信ユニット１０３に伝送して、通信ユニット１０３から送信する。こうして、該電気信号の大きさから、操作棒頭部の縮み込み長を特定することができる。なお、伸縮感知装置の構造はこれに限ることがなく、光電検出など多くの実現方式がある。
前記操作棒は、例えば電池、充電装置などの補助装置を含んでもよいが、ここでは個別に紹介することはしない。
【００４６】
被操作設備は、図４に示すように感知スクリーン１０と、通信装置２０と、画像処理装置４０とを含む。
感知スクリーン１０は、被操作ユニットの立体画像を表示できる。本実施例では、スクリーンに略称することもある。
通信装置２０は、インタラクティブ制御装置と操作棒との間の情報インタラクティブを実現するためのものである。
インタラクティブ制御装置３０は、第１位置特定ユニット３０１、バーチャルタッチ検出ユニット３０２、実際タッチ検出ユニット３０３、第２位置特定ユニット３０４を含む。
【００４７】
第１位置特定ユニット３０１は、リアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定するためのものである。前記操作棒がスクリーンに接触しないときには、受信した操作棒接触部の三次元座標情報に基づいて前記操作棒接触部の三次元位置を取得でき、または、受信した操作棒上の別箇所の三次元座標情報、操作棒の方位角情報、及び接触部から該別箇所までの固有の距離に基づいて、前記操作棒接触部の三次元位置を算出できる。操作棒がスクリーンに接触した場合には、操作棒頭部の縮み込み長、操作棒の方位角、及び操作棒と感知スクリーンとのタッチ位置に基づいて、前記操作棒接触部の三次元位置を算出できる。ただし、操作棒頭部の縮み込み長は、操作棒から送信される縮み込み長の情報でも特定できる。なお、操作棒がスクリーンにタッチする前の操作棒接触部の三次元位置は実際の位置であり、操作棒がスクリーンにタッチした後の操作棒接触部の三次元位置はバーチャルの位置であり、本文では、両者を特別に区別して説明しない。
【００４８】
バーチャルタッチ検出ユニット３０２は、操作棒接触部の三次元位置と、表示される被操作ユニット表面の三次元位置とに基づいて、操作棒と被操作ユニットとのバーチャルタッチが生じたかをリアルタイムに判断する。バーチャルタッチが生じたと判断した場合に、画像処理装置における視差調整ユニットを活性化させ、通信装置を通じて操作棒に力フィードバック指令を送信する。また、被操作ユニット表面の深さの変化に基づいて、操作棒による被操作ユニットへのクリック操作が完成したかを判断し、完成したと判断した場合、該被操作ユニットへのクリック命令を生成する。
【００４９】
実際タッチ検出ユニット３０３は、操作棒の感知スクリーンとのタッチを検出した場合、画像処理装置における画像描写ユニットを活性化させ、操作棒と感知スクリーンとのタッチ位置を第１位置特定ユニットと第２位置特定ユニットに通知するためのものである。
第２位置特定ユニット３０４は、操作棒接触部の三次元位置情報、さらに操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出するためのものである。
【００５０】
リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報と、操作棒と感知スクリーンとのタッチ位置とに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出する。例えば、リアルタイムに取得した操作棒頭部の縮み込み長と、操作棒の方位角及び操作棒と感知スクリーンとのタッチ位置に基づいて、操作棒の縮み込み部分における少なくとも一点（例えば接触部）のバーチャルな三次元位置を算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャルな三次元位置を算出する。ただし、接触部のバーチャルな三次元位置は、リアルタイムに取得した操作棒の三次元位置と姿勢の情報から得るか算出することもでき、操作棒頭部の縮み込み長は、操作棒から送信される縮み込み長の情報から特定できる。
【００５１】
画像処理装置４０は、深さ計算ユニット４０１、視差調整ユニット４０２、画像描写ユニット４０３を含む。
深さ計算ユニット４０１は、被操作ユニットの立体画像の視差に基づいて、感知スクリーンに対する被操作ユニット表面の深さを特定し、バーチャルタッチ検出ユニットに通知するためのものである。
視差調整ユニット４０２は、被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションするためのものである。例えば、リアルタイムに取得した、スクリーンに対する操作棒接触部の深さを被操作ユニット表面の深さとし、該深さに基づいて被操作ユニットの立体画像における視差を調整する。
【００５２】
画像描写ユニット４０３は、操作棒の縮み込み部分のバーチャル三次元位置に基づいて、操作棒の縮み込み部分の画像をリアルタイムに描写し、描写した該画像を前記感知スクリーンに表示するためのものであり、好ましくは立体画像を描写する。たとえば、設定または追跡したユーザがスクリーンを見るときに左目、右目の三次元位置を左カメラ、右カメラとし、感知スクリーンを零視差面として、前記操作棒の縮み込み部分の左画像と右画像を描写する。
前記画像処理装置は、表示される立体画像に対してその他の画像処理をすることもあるが、ここでは、本実施例に関するユニットのみを説明する。
【００５３】
以下、スクリーンに立体表示する被操作ユニットへの操作棒のタッチ操作の処理フローを紹介する。図５に示すように、以下のステップを含む。
ステップ３１０において、被操作ユニットの立体画像の視差に基づいて、スクリーンに対する被操作ユニット表面の深さを特定する。
本実施例において、立体画像における左画像と右画像の視差により立体表示効果を形成する。図６ａと図６ｂは、それぞれ視差ｄを有する画素点Ｐが立体表示時にスクリーンに対して凹、凸となることを示す画面である。視差ｄは、画素点Ｐの立体画像の左画像と右画像上の座標の差であり、画素点の視差ｄ及び左目、右目の三次元位置に基づき、スクリーンに対する画素点Ｐの深さ、すなわち垂直の距離を容易に算出できる。被操作ユニットがスクリーンに対して凸となるとき、プラスを取り、凹となるとき、マイナスを取る。または、逆でもよい。
【００５４】
ユーザの左目、右目の距離及び観察位置は、本技術分野の経験値を参照して設定でき、ここでは詳細に説明しない。頭部追跡装置がある場合、追跡して検出した左目、右目の三次元位置を使用して視差を動的に算出できるため、より正確なものとなる。
被操作ユニット表面のスクリーンにおける位置が既知であるため、本ステップにおいてスクリーンに対する被操作ユニット表面の深さを特定すると、被操作ユニット表面の三次元位置を得ることとなる。
【００５５】
ステップ３２０において、リアルタイムに取得した操作棒接触部の三次元位置情報に基づいて、操作棒接触部の三次元位置を特定する。
操作棒が送信する操作棒接触部の三次元位置情報は、操作棒接触部の空間における三次元座標であってもよいし、該三次元座標を推定できるほかの情報であってもよい。操作棒がスクリーンに接触しないときには、操作棒接触部の三次元位置は、受信した操作棒接触部の三次元座標情報から得ることができ、または、受信した操作棒上の別箇所の三次元座標情報、操作棒の方位角情報（例えば操作棒とスクリーンとがなす角度や、操作棒のスクリーンにおける投影とＸ軸またはＹ軸との角度）、及び接触部から該別箇所までの固有の距離に基づいて、前記操作棒接触部の三次元位置を算出できる。該計算は、操作棒の位置決めユニットにおいて行うことができるし、被操作設備においても行うことができる。
【００５６】
操作棒がスクリーンに接触した場合も、操作棒がスクリーンに接触しない場合と同様の方式を用いて操作棒接触部の三次元位置を取得できる。操作棒がスクリーンに接触すると、操作棒とスクリーンとのタッチ位置及び操作棒頭部の縮み込み長などのパラメータが使用可能であるため、操作棒頭部の縮み込み長、操作棒の方位角、及び操作棒と感知スクリーンとのタッチ位置に基づいて、前記操作棒接触部の三次元位置を算出できるため、結果がより正確なものである。ただし、操作棒頭部の縮み込み長は、前記操作棒から送信される縮み込み長の情報で特定できる。
【００５７】
ステップ３３０において、操作棒接触部の三次元位置と、表示される被操作ユニット表面の三次元位置とに基づいて、操作棒と被操作ユニットとのバーチャルタッチが生じたかを判断し、ＹＥＳの場合、ステップ３４０を実行するが、ＮＯの場合、ステップ３２０に戻る。
一般的に、操作棒接触部の三次元位置と被操作ユニット表面の三次元位置とは重なるか、または交差するときに、両者にバーチャルタッチがあったとみなす。
【００５８】
ステップ３４０において、被操作ユニットの立体画像に対する視差調整により、被操作ユニット表面が押圧されるときの深さの変化をシミュレーションし、操作棒へ力フィードバック指令を送信する。
本ステップにおいて、被操作ユニット表面の深さの変化から、被操作ユニットへの操作棒によるクリック操作（一部のボタンは、一定位置に押圧されてから選ばれたとみなす）が完成したかを判断することもできる。ＹＥＳの場合、該被操作ユニットへのクリック命令を生成する。
【００５９】
本ステップにおいて、リアルタイムに取得した、スクリーンに対する操作棒接触部の深さを被操作ユニット表面の深さとし、該深さに基づいて立体画像における被操作ユニットの視差を調整し、例えば左画像及び右画像の少なくとも一方の上の該被操作ユニットの画素点座標に対してシフト処理を行なう。表示される被操作ユニットにより、被操作ユニットが押圧されるときの深さの変化をシミュレーションすることができる。別の実施例において、縮み込み長が比較的小さい場合、中間過程の表示を簡単化し、被操作ユニットが停止位置まで押圧されるときの立体画像を直接表示してもよい。また別の実施例において、被操作ユニットが停止位置及び中間のいくつかの位置まで押圧されるときの立体画像を逐一表示してもよい。
【００６０】
図７は、感知スクリーンに入る操作棒の操作を立体表示でシミュレーションする処理のフロー図であり、以下のステップを含む。
ステップ４１０において、操作棒が感知スクリーンにタッチしたか否かを検出し、ＹＥＳの場合、ステップ４２０を実行するが、ＮＯの場合、引き続き検出をする。
ステップ４２０において、リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報と、操作棒と感知スクリーンとのタッチ位置とに基づいて、前記操作棒の縮み込み部分のバーチャルな三次元位置を算出する。
【００６１】
操作棒の縮み込み部分のバーチャル三次元位置を算出するとき、リアルタイムに取得した操作棒頭部の縮み込み長と、操作棒の方位角及び操作棒と感知スクリーンとのタッチ位置に基づいて、操作棒の縮み込み部分における少なくとも一点（例えば接触部）のバーチャルな三次元位置を算出し、さらに操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャルな三次元位置を算出することができる。リアルタイムに受信した操作棒の三次元位置情報から、操作棒接触部の三次元位置を直接得るか算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することもできる。ただし、操作棒頭部の縮み込み長は、操作棒から送信される縮み込み長の情報から特定できる。
【００６２】
ステップ４３０において、操作棒の縮み込み部分のバーチャル三次元位置に基づいて、操作棒の縮み込み部分の画像をリアルタイムに描写し、描写した該画像をスクリーンに表示する。
描写するときに、設定または追跡したユーザがスクリーンを見るときに左目、右目の三次元位置をそれぞれ左カメラ、右カメラとし、感知スクリーンを零視差面として、該縮み込み部分の左画像と右画像をそれぞれ描写できる。本ステップの完成後、スクリーンには操作棒の縮み込み部分の立体画像が表示され、操作棒が本当にスクリーンに入ったようにユーザに感じさせ、立体的インタラクティブ時のユーザのリアリティを向上させている。
【００６３】
前記技術案から分かるように、本実施例により、立体表示を組み合わせて表現したタッチコントロール操作を実現している。より多くのリアリティをユーザに実感させ、実感した操作棒とスクリーンとのインタラクティブをさらに実際と合致させるために、操作棒において操作棒の運動検出をする位置決めユニットを設置し、操作棒の位置と姿勢をリアルタイムに検出できる。図１を再び参照し、スクリーンから凸となるように表示されるキーに対して、操作棒がスクリーンに接触する前に、人の目では既にスクリーンに接触したと感じた場合、バーチャルタッチ検出を通じて該キーの表示を取得して変更させ、本当に押圧されたようにし、同時に力フィードバックユニットを通じてユーザに接触感を与える。
【００６４】
一方、スクリーンに凹となるように表示されるキーの場合には、再び図２を参照し、操作棒が既にスクリーンに接触したが人の目ではキーにまだ接触していないと感じた場合に、操作棒頭部が操作者の動作にしたがって自動的に縮み込みをし、縮み込み長の情報を端末設備に送信する。端末設備は、該縮み込み部分の立体画像を描写してスクリーンに表示させる。ユーザは、実に該操作棒がスクリーンの中に入り込んでキーをクリックするかのように感じる。操作棒がその他の動作をするとき、例えば左右の移動をするときに、バーチャル操作棒も同時に移動する。スクリーンに入った後、バーチャルタッチ検出により、操作棒がキーをクリックしたことがわかり、それから被操作ユニットに対して視差調整と力フィードバックの処理をする。
【００６５】
本実施例を簡単化した変更例として、力フィードバックに関する内容をキャンセルしてもよい。操作棒に力フィードバックユニットを設けず、被操作設備にも関連処理をしない。その他の実施例は、本実施例と同様である。
【００６６】
応用例としては、スクリーンから凸となるように表示される被操作ユニットの操作のみとすることができる。該応用例についての実施例は、本実施例を基に簡単化することができ、伸縮操作に関する装置と処理をキャンセルすることができ、例えば操作棒における伸縮ヘッダと伸縮感知ユニットがキャンセル可能であり、被操作設備における画像処理装置の第２位置特定ユニット、画像描写ユニットはキャンセル可能であり、しかも縮み込み長計算、バーチャル操作棒描写などの処理をキャンセル可能である。
【００６７】
応用例によっては、スクリーンに凹となるように表示される被操作ユニットの操作のみにとすることができる、該応用例についての実施例では、本実施例を基に簡単化することができ、操作棒における位置決めユニットには、運動軌跡検出をするセンサーをキャンセル可能である。操作棒の姿勢、縮み込み長、感知スクリーンと操作棒とのタッチ位置だけに基づき、バーチャルタッチ検出が完成できるからである。
【００６８】
（実施例２）
実施例１と異なるところは、本実施例の立体的インタラクティブとして、スクリーンに立体表示する被操作ユニットへの操作棒のタッチ操作に係ることがなく、感知スクリーンに入る操作棒の操作を立体表示でシミュレーションする処理のみとした点である。したがって、実施例１を基にして一部簡単化することができる。
操作棒の構造は、実施例１の操作棒と同一でもよいが、一部簡単化してもよい。たとえば、位置決めユニットが姿勢の検出をするセンサーのみを含むものとしてもよい。
【００６９】
被操作設備は、実施例１と同様に、感知スクリーン１０と、通信装置２０と、画像処理装置４０とを含む。感知スクリーン１０と通信装置２０は、実施例１と同一である。
インタラクティブ制御装置３０は、実際タッチ検出ユニット３０３と位置決めユニットとを含む。
実際タッチ検出ユニット３０３は、操作棒と感知スクリーン１０とのタッチを検出した場合、画像処理装置における画像描写ユニットを活性化させ、操作棒と感知スクリーン１０とのタッチ位置を位置特定ユニットに通知するためのものである。
【００７０】
位置決めユニットは、リアルタイムに取得した操作棒縮み込み部分の三次元位置情報と、操作棒と感知スクリーンとのタッチ位置とに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出するためのものである。例えば、リアルタイムに取得した操作棒頭部の縮み込み長と、操作棒の方位角及び操作棒と感知スクリーンとのタッチ位置に基づいて、操作棒の縮み込み部分における少なくとも一点（例えば接触部）のバーチャル三次元位置を算出し、さらに操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出する。ただし、接触部のバーチャル三次元位置は、リアルタイムに取得した操作棒の三次元位置と姿勢の情報から得るか、または算出することもでき、操作棒頭部の縮み込み長は、操作棒から送信される縮み込み長の情報から特定する。
【００７１】
画像処理装置４０は、実施例１の画像描写ユニット４０３と同様に、操作棒の縮み込み部分のバーチャル三次元位置に基づいて、操作棒の縮み込み部分の立体画像をリアルタイムに描写し、描写した該立体画像を感知スクリーン１０に表示するための画像描写ユニットを含む。
本実施例において、感知スクリーン１０に入る操作棒の操作を立体表示でシミュレーションする処理フローは、実施例１と同じである。
【００７２】
（実施例３）
本実施例は、実施例１とほぼ同一であり、異なるところは、操作棒の三次元位置の検出にある。本実施例において、操作棒には、位置と姿勢の検出用の位置決めユニットがなく、その他の位置決め補助装置を使用して共同で操作棒の空間における三次元座標を位置決めすることが必要となる。
該位置決め補助装置は、感知スクリーン１０に対する操作棒の三次元位置を感知して感知した三次元位置情報を被操作設備に送信するためのものである。その方式は以下のようになるが、これに限ったものではない。
【００７３】
（ａ）カメラ等の追跡装置
カメラで操作棒の追跡識別を行い、操作棒の三次元位置情報を特定して被操作設備に送信する。該三次元位置情報は、操作棒接触部またはその他の構成の三次元位置と操作棒の方位角の情報を含む。
（ｂ）赤外線感知装置
操作棒と被操作設備の両方に赤外線感知装置を備えることが必要であり、一方のものを発生装置とし、他方を受信装置とし、被操作設備または操作棒により操作棒の三次元位置情報を算出する。
前記位置決め補助装置は、被操作設備のインタラクティブ制御装置に三次元位置情報を直接送信してもよいし、まず被操作ユニットの通信装置に送信してそれから該通信装置から該インタラクティブ制御装置に提供してもよい。
【００７４】
本実施例における操作棒の三次元位置の検出は、実施例１の変更例と実施例２にも適用できる。最も簡単な方式では、操作棒は、普通のペンのように、縮み込み可能な頭部と伸縮感知機構、位置決めユニットと力フィードバックユニットを有しない。操作棒の位置と姿勢が位置決め補助装置によって検出され、立体的インタラクティブ時にスクリーンから凸となる被操作ユニットへのタッチコントロール操作をシミュレーションするのみことが必要となるため、被操作設備における操作棒縮み込み部分に関する位置きめと描写のユニット及び処理は省略可能である。
【００７５】
（実施例４）
本実施例は、実施例１とほぼ同一であり、異なるところは、操作棒に縮み込み感知ユニットを設置しないことにある。操作棒と感知スクリーン１０にタッチした後の縮み込み長は、別の方式で計算する。
図８に示すように、本実施例では、被操作設備の感知スクリーン１０の表面に特別な圧力感知装置の層が増設されている。たとえば、該圧力感知装置は、特別な容量性スクリーンであり、操作棒が該容量性スクリーンにタッチすると、該容量性スクリーンにおいて、操作棒の圧力の変化に応じて電界の変化が発生し、このような電界の変化が検出されると、インタラクティブ制御装置に送信される。圧力と操作棒頭部の縮み込み長と対応関係を有するため、感知スクリーンの容量電圧の変化から、操作棒頭部の縮み込み長を算出できる。さらに操作棒接触部の三次元位置を特定する。すなわち、操作棒頭部の縮み込み長は、感知スクリーン上の圧力感知装置の検出結果からも算出できる。
本実施例における操作棒の縮み込み長の検出は、実施例１の変更例と実施例２にも適用できる。
【００７６】
（実施例５）
本実施例は、実施例１とほぼ同一であり、異なるところは、操作棒に縮み込み感知ユニットを設置しないことにある。操作棒がスクリーンにタッチした後の操作棒接触部の三次元位置は、別の方式で計算する。
縮み込み感知ユニットがないため、本実施例では、操作棒がスクリーンにタッチした後に、検出した操作棒頭部の縮み込み長の情報を取得できない。しかし、操作棒における位置決めユニットがリアルタイムに操作棒の位置と姿勢を検出できるため、位置決めユニットの検出結果から縮み込み長を推定できる。
位置決めユニットが検出した操作棒の三次元位置と姿勢の情報から、操作棒接触部の深さ及び操作棒と感知スクリーンとがなす角度を得ることができる。該深さと角度から操作棒頭部の縮み込み長を算出できる。該縮み込み長を得た後、操作棒の方位角及び操作棒と感知スクリーンとのタッチ位置から操作棒接触部の三次元位置を算出できる。本実施例では、位置決めユニットのデータと実際タッチ位置のデータとを組み合わせており、位置決めの精度を保証でき、操作棒が断続するなど不良な表示効果の発生を回避している。
【００７７】
本実施例における操作棒の縮み込み長への検出は、実施例１の変更例にも適用できる。本実施例の位置決めユニットがリアルタイムに検出した操作棒の三次元位置と姿勢の情報は、実施例２における補助装置により提供することも容易に理解できる。
【００７８】
前記方法におけるステップのすべてまたは一部が、プログラムでハードウェアに指令することにより行うことができる。また、前記プログラムは、コンピュータが読み取り可能な記憶媒体、たとえばＲＯＭ、磁気ディスクまたは光ディスクに格納してもよい。さらに選択可能なこととして、前記実施例のステップの全てまたは一部は、一つまたは複数の集成回路で実現でき、それに応じて、前記実施例における各モジュール／ユニットは、ハードウェアの形式でも実現できるし、ソフトウェア機能モジュールの形式でも実現できる。本発明は、特定形式のハードウェアとソフトウェアのいかなる組み合わせにも限定しない。
以上の記載は、本発明の好ましい実施例に過ぎず、本発明を限定するためのものではない。本技術分野の当業者にとって、本発明は、様々な変更を加えることができる。本発明の精神と原則に基づいたいかなる修正、同等の差し替え、改良などは、いずれも本発明の保護範囲内に含まれるべきである。
【符号の説明】
【００７９】
１０１ ハウジング
１０２ 伸縮可能な頭部
１０３ 通信ユニット
１０４ 位置決めユニット
１０５ 力フィードバックユニット
１０６ 伸縮感知ユニット
１０ 感知スクリーン
２０ 通信装置
３０ インタラクティブ制御装置
３０１ 第１位置特定ユニット
３０２ バーチャルタッチ検出ユニット
３０３ 実際タッチ検出ユニット
３０４ 第２位置特定ユニット
４０ 画像処理装置
４０１ 深さ計算ユニット
４０２ 視差調整ユニット
４０３ 画像描写ユニット
【特許請求の範囲】
【請求項１】
立体的インタラクティブシステムであって、被操作設備と操作棒とを含み、
前記被操作設備は、被操作ユニットの立体画像を表示可能な感知スクリーンと、インタラクティブ制御装置と、インタラクティブ制御装置と操作棒との間の情報インタラクティブを実現するための通信装置と、画像処理装置とを含み、
前記インタラクティブ制御装置は、
リアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定するための第１位置特定ユニットと、
操作棒接触部の三次元位置と、表示される被操作ユニット表面の三次元位置とに基づいて、操作棒と被操作ユニットとのバーチャルタッチが生じたかをリアルタイムに判断するためのバーチャルタッチ検出ユニットであって、生じたと判断した場合に、画像処理装置における視差調整ユニットを活性化させるためのバーチャルタッチ検出ユニットとを含み、
前記画像処理装置は、
被操作ユニットの立体画像の視差に基づいて、感知スクリーンに対する被操作ユニット表面の深さを特定し、バーチャルタッチ検出ユニットに通知するための深さ計算ユニットと、
被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションするための視差調整ユニットとを含むことを特徴とする立体的インタラクティブシステム。
【請求項２】
前記操作棒は、
操作棒の空間における位置及び姿勢の少なくとも一方をリアルタイムに検出し、検出した三次元位置情報を通信ユニットに伝送して、通信ユニットから送信するための位置決めユニットと、
操作棒と被操作設備との間の情報インタラクティブを実現するための通信ユニットとを含み、
前記第１位置特定ユニットがリアルタイムに取得した操作棒接触部の三次元位置情報は、前記操作棒における位置決めユニットから送信されるものであることを特徴とする請求項１に記載の立体的インタラクティブシステム。
【請求項３】
前記位置決めユニットは、運動軌跡検出をするセンサー、及び方位角検出をするセンサーの少なくとも一方を含み、
該運動軌跡の初期位置は、操作棒の初期状態で表示スクリーンがある平面を基準とする参照系における相対位置に設置されていることを特徴とする請求項２に記載の立体的インタラクティブシステム。
【請求項４】
感知スクリーンに対する操作棒の三次元位置をリアルタイムに感知し、感知した三次元位置の情報を前記第１位置特定ユニットに送信するための位置決め補助装置をさらに含むことを特徴とする請求項１に記載の立体的インタラクティブシステム。
【請求項５】
前記第１位置特定ユニットが、リアルタイムに取得した操作棒接触部の三次元位置情報に基づいて、操作棒接触部の三次元位置を特定することは、
少なくとも前記操作棒が前記感知スクリーンにタッチしないときに、受信した操作棒接触部の三次元座標情報に基づいて前記操作棒接触部の三次元位置を取得すること、または、
受信した操作棒上の別箇所の三次元座標情報、操作棒の方位角情報、及び接触部から該別箇所までの固有の距離に基づいて、前記操作棒接触部の三次元位置を算出すること、を含むことを特徴とする請求項１〜４のいずれか一項に記載の立体的インタラクティブシステム。
【請求項６】
前記インタラクティブ制御装置は、
操作棒がスクリーンにタッチしたことを検出すると、検出したタッチ位置を第１位置特定ユニットに通知するための実際タッチ検出ユニットをさらに含み、
前記第１位置特定ユニットが、リアルタイムに取得した操作棒接触部の三次元位置情報に基づいて、操作棒接触部の三次元位置を特定することは、
前記操作棒が前記感知スクリーンにタッチした場合、操作棒頭部の縮み込み長、操作棒の方位角、及び操作棒と感知スクリーンとのタッチ位置に基づいて、前記操作棒接触部の三次元位置を算出することを含むことを特徴とする請求項１〜４のいずれか一項に記載の立体的インタラクティブシステム。
【請求項７】
前記第１位置特定ユニットが前記操作棒接触部の三次元位置を計算するときに使用する前記操作棒頭部の縮み込み長は、
操作棒または位置決め補助装置から送信された該操作棒の三次元位置と姿勢の情報に基づいて、操作棒接触部の深さと、操作棒と感知スクリーンとがなす角度とを特定してから算出したものであることを特徴とする請求項６に記載の立体的インタラクティブシステム。
【請求項８】
前記視差調整ユニットが、被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションすることは、
リアルタイムに取得した、スクリーンに対する操作棒接触部の深さを被操作ユニット表面の深さとし、該深さに基づいて被操作ユニットの立体画像における視差を調整することを含むことを特徴とする請求項１に記載の立体的インタラクティブシステム。
【請求項９】
前記バーチャルタッチ検出ユニットは、操作棒と被操作ユニットとのタッチを判断すると、さらに、被操作ユニット表面の深さの変化に基づいて、操作棒による被操作ユニットへのクリック操作が完成したかを判断し、完成したと判断した場合、該被操作ユニットへのクリック命令を生成することを特徴とする請求項１に記載の立体的インタラクティブシステム。
【請求項１０】
前記操作棒は、
前記通信ユニットが受信した力フィードバック指令に基づいて、力フィードバックをシミュレーションする動作を実行するための力フィードバックユニットと、
操作棒と被操作設備との間の情報インタラクティブを実現するための通信ユニットとを含み、
前記バーチャルタッチ検出ユニットが操作棒と被操作ユニットとのタッチをリアルタイムに判断する場合、さらに、前記通信装置を介して前記操作棒に力フィードバック指令を送信することを特徴とする請求項１に記載の立体的インタラクティブシステム。
【請求項１１】
前記操作棒は、伸縮可能な頭部を含み、
前記インタラクティブ制御装置は、
リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報と、操作棒と感知スクリーンとのタッチ位置とに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を取得するための第２位置特定ユニットと、
操作棒と感知スクリーンとのタッチを検出した場合、画像処理装置における画像描写ユニットを活性化させ、操作棒と感知スクリーンとのタッチ位置を第２位置特定ユニットに通知するための実際タッチ検出ユニットとをさらに含み、
前記画像処理装置は、
操作棒の縮み込み部分のバーチャル三次元位置に基づいて、操作棒の縮み込み部分の立体画像をリアルタイムに描写し、描写した該立体画像を前記感知スクリーンに表示するための画像描写ユニットをさらに含むことを特徴とする請求項１〜４のいずれか一項に記載の立体的インタラクティブシステム。
【請求項１２】
前記第２位置特定ユニットが、リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報に基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することは、
リアルタイムに取得した操作棒頭部の縮み込み長と、操作棒の方位角及び操作棒と感知スクリーンとのタッチ位置に基づいて、操作棒の縮み込み部分における少なくとも一点のバーチャル三次元位置を算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することを含むことを特徴とする請求項１１に記載の立体的インタラクティブシステム。
【請求項１３】
前記第２位置特定ユニットが操作棒の縮み込み部分のバーチャル三次元位置を計算するときに使用する操作棒頭部の縮み込み長は、
受信した該操作棒の三次元位置と姿勢の情報に基づいて、操作棒接触部の深さと、操作棒と感知スクリーンとがなす角度とを特定してから算出したものであることを特徴とする請求項１２に記載の立体的インタラクティブシステム。
【請求項１４】
前記操作棒は、
伸縮可能な頭部と、
操作棒の伸縮可能な頭部の縮み込み長をリアルタイムに検出し、検出した縮み込み長の情報を通信ユニットに伝送して、通信ユニットから送信するための伸縮感知ユニットと、
操作棒と被操作設備との間の情報インタラクティブを実現するための通信ユニットとを含むことを特徴とする請求項１に記載の立体的インタラクティブシステム。
【請求項１５】
前記伸縮可能な頭部は、操作棒ヘッドと、該操作棒ヘッドと伸縮感知装置との間に当接する弾力部材とを含み、
前記伸縮感知ユニットは、圧力センシングの方式で実現し、前記弾力部材の圧力を感知して、対応する電気信号に変換して通信ユニットに伝送して、通信ユニットから送信するためのものであることを特徴とする請求項１４に記載の立体的インタラクティブシステム。
【請求項１６】
前記操作棒は、伸縮可能な頭部を含み、
前記感知スクリーンの表面には、操作棒と感知スクリーンとのタッチ時における、操作棒頭部の縮み込み長に対応する圧力を検出して検出結果をインタラクティブ制御装置に送信するための圧力感知装置が増設されていることを特徴とする請求項１に記載の立体的インタラクティブシステム。
【請求項１７】
前記位置特定ユニットが、リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報に基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することは、
リアルタイムに受信した操作棒の三次元位置情報に基づいて、操作棒接触部の三次元位置を得るか算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することを含むことを特徴とする請求項１１に記載の立体的インタラクティブシステム。
【請求項１８】
前記画像描写ユニットがリアルタイムに描写した操作棒の縮み込み部分の画像が立体画像であり、該立体画像は、設定または追跡したユーザがスクリーンを見るときに左目、右目の三次元位置をそれぞれ左カメラ、右カメラとし、感知スクリーンを零視差面として、前記操作棒の縮み込み部分の左画像と右画像を描写して得たものであることを特徴とする請求項１１に記載の立体的インタラクティブシステム。
【請求項１９】
前記被操作設備がスマートフォンまたはタブレット型コンピュータであることを特徴とする請求項１に記載の立体的インタラクティブシステム。
【請求項２０】
前記操作棒の頭部のハウジングから離れた一端は、先端であり、該先端は、前記操作棒接触部を構成することを特徴とする請求項１、２、１０、または１４のいずれか一項に記載の立体的インタラクティブシステム。
【請求項２１】
ハウジングを含む操作棒において、
前記ハウジングに伸縮可能に接続する伸縮可能な頭部と、
操作棒と被操作設備との間の情報インタラクティブを実現するための通信ユニットと、
操作棒の空間における位置及び姿勢の少なくとも一つをリアルタイムに検出し、検出した三次元位置情報を通信ユニットに伝送して、通信ユニットから送信するための位置決めユニットとをさらに含むことを特徴とする操作棒。
【請求項２２】
操作棒の伸縮可能な頭部の縮み込み長をリアルタイムに検出し、検出した縮み込み長の情報を通信ユニットに伝送して、通信ユニットから送信するための伸縮感知ユニットをさらに含むことを特徴とする請求項２１に記載の操作棒。
【請求項２３】
前記通信ユニットが受信した力フィードバック指令に基づいて、力フィードバックをシミュレーションする動作を実行するための力フィードバックユニットをさらに含むことを特徴とする請求項２１または２２に記載の操作棒。
【請求項２４】
感知スクリーンに入る操作棒の操作を被操作設備に立体表示でシミュレーションするための立体的インタラクティブ方法において、
操作棒が前記感知スクリーンにタッチしたか否かを検出し、
操作棒が前記感知スクリーンにタッチした場合、リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報と、操作棒と感知スクリーンとのタッチ位置とに基づいて、前記操作棒の縮み込み部分のバーチャル三次元位置を算出し、
操作棒の縮み込み部分のバーチャル三次元位置に基づいて、操作棒の縮み込み部分の画像をリアルタイムに描写し、描写した該画像を前記感知スクリーンに表示することを含むことを特徴とする立体的インタラクティブ方法。
【請求項２５】
感知スクリーンに立体表示される被操作ユニットへの操作棒の操作を被操作設備にシミュレーションするための立体的インタラクティブ方法において、
被操作ユニットの立体画像の視差に基づいて、スクリーンに対する被操作ユニット表面の深さを特定し、
リアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定し、操作棒接触部の三次元位置と、表示される被操作ユニット表面の三次元位置とを比較し、操作棒と被操作ユニットとのバーチャルタッチが生じたかをリアルタイムに判断し、
操作棒が被操作ユニットにタッチしたと判断した場合、被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションすることを含むことを特徴とする立体的インタラクティブ方法。
【請求項１】
立体的インタラクティブシステムであって、被操作設備と操作棒とを含み、
前記被操作設備は、被操作ユニットの立体画像を表示可能な感知スクリーンと、インタラクティブ制御装置と、インタラクティブ制御装置と操作棒との間の情報インタラクティブを実現するための通信装置と、画像処理装置とを含み、
前記インタラクティブ制御装置は、
リアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定するための第１位置特定ユニットと、
操作棒接触部の三次元位置と、表示される被操作ユニット表面の三次元位置とに基づいて、操作棒と被操作ユニットとのバーチャルタッチが生じたかをリアルタイムに判断するためのバーチャルタッチ検出ユニットであって、生じたと判断した場合に、画像処理装置における視差調整ユニットを活性化させるためのバーチャルタッチ検出ユニットとを含み、
前記画像処理装置は、
被操作ユニットの立体画像の視差に基づいて、感知スクリーンに対する被操作ユニット表面の深さを特定し、バーチャルタッチ検出ユニットに通知するための深さ計算ユニットと、
被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションするための視差調整ユニットとを含むことを特徴とする立体的インタラクティブシステム。
【請求項２】
前記操作棒は、
操作棒の空間における位置及び姿勢の少なくとも一方をリアルタイムに検出し、検出した三次元位置情報を通信ユニットに伝送して、通信ユニットから送信するための位置決めユニットと、
操作棒と被操作設備との間の情報インタラクティブを実現するための通信ユニットとを含み、
前記第１位置特定ユニットがリアルタイムに取得した操作棒接触部の三次元位置情報は、前記操作棒における位置決めユニットから送信されるものであることを特徴とする請求項１に記載の立体的インタラクティブシステム。
【請求項３】
前記位置決めユニットは、運動軌跡検出をするセンサー、及び方位角検出をするセンサーの少なくとも一方を含み、
該運動軌跡の初期位置は、操作棒の初期状態で表示スクリーンがある平面を基準とする参照系における相対位置に設置されていることを特徴とする請求項２に記載の立体的インタラクティブシステム。
【請求項４】
感知スクリーンに対する操作棒の三次元位置をリアルタイムに感知し、感知した三次元位置の情報を前記第１位置特定ユニットに送信するための位置決め補助装置をさらに含むことを特徴とする請求項１に記載の立体的インタラクティブシステム。
【請求項５】
前記第１位置特定ユニットが、リアルタイムに取得した操作棒接触部の三次元位置情報に基づいて、操作棒接触部の三次元位置を特定することは、
少なくとも前記操作棒が前記感知スクリーンにタッチしないときに、受信した操作棒接触部の三次元座標情報に基づいて前記操作棒接触部の三次元位置を取得すること、または、
受信した操作棒上の別箇所の三次元座標情報、操作棒の方位角情報、及び接触部から該別箇所までの固有の距離に基づいて、前記操作棒接触部の三次元位置を算出すること、を含むことを特徴とする請求項１〜４のいずれか一項に記載の立体的インタラクティブシステム。
【請求項６】
前記インタラクティブ制御装置は、
操作棒がスクリーンにタッチしたことを検出すると、検出したタッチ位置を第１位置特定ユニットに通知するための実際タッチ検出ユニットをさらに含み、
前記第１位置特定ユニットが、リアルタイムに取得した操作棒接触部の三次元位置情報に基づいて、操作棒接触部の三次元位置を特定することは、
前記操作棒が前記感知スクリーンにタッチした場合、操作棒頭部の縮み込み長、操作棒の方位角、及び操作棒と感知スクリーンとのタッチ位置に基づいて、前記操作棒接触部の三次元位置を算出することを含むことを特徴とする請求項１〜４のいずれか一項に記載の立体的インタラクティブシステム。
【請求項７】
前記第１位置特定ユニットが前記操作棒接触部の三次元位置を計算するときに使用する前記操作棒頭部の縮み込み長は、
操作棒または位置決め補助装置から送信された該操作棒の三次元位置と姿勢の情報に基づいて、操作棒接触部の深さと、操作棒と感知スクリーンとがなす角度とを特定してから算出したものであることを特徴とする請求項６に記載の立体的インタラクティブシステム。
【請求項８】
前記視差調整ユニットが、被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションすることは、
リアルタイムに取得した、スクリーンに対する操作棒接触部の深さを被操作ユニット表面の深さとし、該深さに基づいて被操作ユニットの立体画像における視差を調整することを含むことを特徴とする請求項１に記載の立体的インタラクティブシステム。
【請求項９】
前記バーチャルタッチ検出ユニットは、操作棒と被操作ユニットとのタッチを判断すると、さらに、被操作ユニット表面の深さの変化に基づいて、操作棒による被操作ユニットへのクリック操作が完成したかを判断し、完成したと判断した場合、該被操作ユニットへのクリック命令を生成することを特徴とする請求項１に記載の立体的インタラクティブシステム。
【請求項１０】
前記操作棒は、
前記通信ユニットが受信した力フィードバック指令に基づいて、力フィードバックをシミュレーションする動作を実行するための力フィードバックユニットと、
操作棒と被操作設備との間の情報インタラクティブを実現するための通信ユニットとを含み、
前記バーチャルタッチ検出ユニットが操作棒と被操作ユニットとのタッチをリアルタイムに判断する場合、さらに、前記通信装置を介して前記操作棒に力フィードバック指令を送信することを特徴とする請求項１に記載の立体的インタラクティブシステム。
【請求項１１】
前記操作棒は、伸縮可能な頭部を含み、
前記インタラクティブ制御装置は、
リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報と、操作棒と感知スクリーンとのタッチ位置とに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を取得するための第２位置特定ユニットと、
操作棒と感知スクリーンとのタッチを検出した場合、画像処理装置における画像描写ユニットを活性化させ、操作棒と感知スクリーンとのタッチ位置を第２位置特定ユニットに通知するための実際タッチ検出ユニットとをさらに含み、
前記画像処理装置は、
操作棒の縮み込み部分のバーチャル三次元位置に基づいて、操作棒の縮み込み部分の立体画像をリアルタイムに描写し、描写した該立体画像を前記感知スクリーンに表示するための画像描写ユニットをさらに含むことを特徴とする請求項１〜４のいずれか一項に記載の立体的インタラクティブシステム。
【請求項１２】
前記第２位置特定ユニットが、リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報に基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することは、
リアルタイムに取得した操作棒頭部の縮み込み長と、操作棒の方位角及び操作棒と感知スクリーンとのタッチ位置に基づいて、操作棒の縮み込み部分における少なくとも一点のバーチャル三次元位置を算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することを含むことを特徴とする請求項１１に記載の立体的インタラクティブシステム。
【請求項１３】
前記第２位置特定ユニットが操作棒の縮み込み部分のバーチャル三次元位置を計算するときに使用する操作棒頭部の縮み込み長は、
受信した該操作棒の三次元位置と姿勢の情報に基づいて、操作棒接触部の深さと、操作棒と感知スクリーンとがなす角度とを特定してから算出したものであることを特徴とする請求項１２に記載の立体的インタラクティブシステム。
【請求項１４】
前記操作棒は、
伸縮可能な頭部と、
操作棒の伸縮可能な頭部の縮み込み長をリアルタイムに検出し、検出した縮み込み長の情報を通信ユニットに伝送して、通信ユニットから送信するための伸縮感知ユニットと、
操作棒と被操作設備との間の情報インタラクティブを実現するための通信ユニットとを含むことを特徴とする請求項１に記載の立体的インタラクティブシステム。
【請求項１５】
前記伸縮可能な頭部は、操作棒ヘッドと、該操作棒ヘッドと伸縮感知装置との間に当接する弾力部材とを含み、
前記伸縮感知ユニットは、圧力センシングの方式で実現し、前記弾力部材の圧力を感知して、対応する電気信号に変換して通信ユニットに伝送して、通信ユニットから送信するためのものであることを特徴とする請求項１４に記載の立体的インタラクティブシステム。
【請求項１６】
前記操作棒は、伸縮可能な頭部を含み、
前記感知スクリーンの表面には、操作棒と感知スクリーンとのタッチ時における、操作棒頭部の縮み込み長に対応する圧力を検出して検出結果をインタラクティブ制御装置に送信するための圧力感知装置が増設されていることを特徴とする請求項１に記載の立体的インタラクティブシステム。
【請求項１７】
前記位置特定ユニットが、リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報に基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することは、
リアルタイムに受信した操作棒の三次元位置情報に基づいて、操作棒接触部の三次元位置を得るか算出し、操作棒と感知スクリーンとのタッチ位置と、操作棒の伸縮可能な頭部のモデルに基づいて、操作棒の縮み込み部分のバーチャル三次元位置を算出することを含むことを特徴とする請求項１１に記載の立体的インタラクティブシステム。
【請求項１８】
前記画像描写ユニットがリアルタイムに描写した操作棒の縮み込み部分の画像が立体画像であり、該立体画像は、設定または追跡したユーザがスクリーンを見るときに左目、右目の三次元位置をそれぞれ左カメラ、右カメラとし、感知スクリーンを零視差面として、前記操作棒の縮み込み部分の左画像と右画像を描写して得たものであることを特徴とする請求項１１に記載の立体的インタラクティブシステム。
【請求項１９】
前記被操作設備がスマートフォンまたはタブレット型コンピュータであることを特徴とする請求項１に記載の立体的インタラクティブシステム。
【請求項２０】
前記操作棒の頭部のハウジングから離れた一端は、先端であり、該先端は、前記操作棒接触部を構成することを特徴とする請求項１、２、１０、または１４のいずれか一項に記載の立体的インタラクティブシステム。
【請求項２１】
ハウジングを含む操作棒において、
前記ハウジングに伸縮可能に接続する伸縮可能な頭部と、
操作棒と被操作設備との間の情報インタラクティブを実現するための通信ユニットと、
操作棒の空間における位置及び姿勢の少なくとも一つをリアルタイムに検出し、検出した三次元位置情報を通信ユニットに伝送して、通信ユニットから送信するための位置決めユニットとをさらに含むことを特徴とする操作棒。
【請求項２２】
操作棒の伸縮可能な頭部の縮み込み長をリアルタイムに検出し、検出した縮み込み長の情報を通信ユニットに伝送して、通信ユニットから送信するための伸縮感知ユニットをさらに含むことを特徴とする請求項２１に記載の操作棒。
【請求項２３】
前記通信ユニットが受信した力フィードバック指令に基づいて、力フィードバックをシミュレーションする動作を実行するための力フィードバックユニットをさらに含むことを特徴とする請求項２１または２２に記載の操作棒。
【請求項２４】
感知スクリーンに入る操作棒の操作を被操作設備に立体表示でシミュレーションするための立体的インタラクティブ方法において、
操作棒が前記感知スクリーンにタッチしたか否かを検出し、
操作棒が前記感知スクリーンにタッチした場合、リアルタイムに取得した操作棒の縮み込み部分の三次元位置情報と、操作棒と感知スクリーンとのタッチ位置とに基づいて、前記操作棒の縮み込み部分のバーチャル三次元位置を算出し、
操作棒の縮み込み部分のバーチャル三次元位置に基づいて、操作棒の縮み込み部分の画像をリアルタイムに描写し、描写した該画像を前記感知スクリーンに表示することを含むことを特徴とする立体的インタラクティブ方法。
【請求項２５】
感知スクリーンに立体表示される被操作ユニットへの操作棒の操作を被操作設備にシミュレーションするための立体的インタラクティブ方法において、
被操作ユニットの立体画像の視差に基づいて、スクリーンに対する被操作ユニット表面の深さを特定し、
リアルタイムに取得した操作棒接触部の三次元位置情報に基づいて操作棒接触部の三次元位置を特定し、操作棒接触部の三次元位置と、表示される被操作ユニット表面の三次元位置とを比較し、操作棒と被操作ユニットとのバーチャルタッチが生じたかをリアルタイムに判断し、
操作棒が被操作ユニットにタッチしたと判断した場合、被操作ユニットの立体画像に対する視差調整により、被操作ユニットが押圧されるときの深さの変化をシミュレーションすることを含むことを特徴とする立体的インタラクティブ方法。
【図１】
【図２】
【図３ａ】
【図３ｂ】
【図４】
【図５】
【図６ａ】
【図６ｂ】
【図７】
【図８】
【図２】
【図３ａ】
【図３ｂ】
【図４】
【図５】
【図６ａ】
【図６ｂ】
【図７】
【図８】
【公開番号】特開２０１３−９７８０５（Ｐ２０１３−９７８０５Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１２−２３９８７１（Ｐ２０１２−２３９８７１）
【出願日】平成２４年１０月３１日（２０１２．１０．３１）
【出願人】（５１１２４３７５０）深▲セン▼超多▲維▼光▲電▼子有限公司 (1)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２４年１０月３１日（２０１２．１０．３１）
【出願人】（５１１２４３７５０）深▲セン▼超多▲維▼光▲電▼子有限公司 (1)
【Ｆターム（参考）】
[ Back to top ]