操作抵抗感制御装置及び操作抵抗感制御方法
【課題】特殊な物理デバイスを用いることなく、視覚に提示する映像に伴って操作抵抗感を増減させる。
【解決手段】操作者10の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出部1と、肢運動方向検出部1にて検出された体の部位の位置を示すマーカ画像を生成する肢運動マーカ画像生成部2と、肢運動方向検出部1にて検出された運動方向に画像上を移動する視覚運動刺激画像を生成する視覚運動刺激生成部3と、肢運動マーカ画像生成部2にて生成されたマーカ画像と、視覚運動刺激生成部3にて生成された視覚運動刺激画像と、予め設定された背景画像とを合成する画像合成部4と、画像合成部4にて合成された画像を表示する画像表示部5とを有する。
【解決手段】操作者10の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出部1と、肢運動方向検出部1にて検出された体の部位の位置を示すマーカ画像を生成する肢運動マーカ画像生成部2と、肢運動方向検出部1にて検出された運動方向に画像上を移動する視覚運動刺激画像を生成する視覚運動刺激生成部3と、肢運動マーカ画像生成部2にて生成されたマーカ画像と、視覚運動刺激生成部3にて生成された視覚運動刺激画像と、予め設定された背景画像とを合成する画像合成部4と、画像合成部4にて合成された画像を表示する画像表示部5とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボットや機器等の視覚表示を伴う操作端末やテレビゲーム等の操作端末等で、操作抵抗感を増減させる操作抵抗感制御装置及び操作抵抗感制御方法に関する。
【背景技術】
【0002】
ロボットやゲーム、バーチャルリアリティ等の操作インタフェースにおいて、操作者の操作に関与する体の部位や操作対象の動きに対する操作抵抗感として、
(1)映像の遅延に伴って意図せずに引き起こされる操作抵抗感
(2)ロボットデバイス等により、作為的に引き起こされる操作抵抗感
がある。
【0003】
(1)は、映像の伝送遅延により、遅延がない場合よりも操作が重たくなったように感じる(操作抵抗感が大きく感じる)ものであり、提示されている映像の内容や操作者の意図とは無関係に引き起こされてしまう現象である。このように遅延に伴って引き起こされる操作抵抗感を軽減する技術として、動きを予測して操作者に提示することにより遅延を補償する手段が、例えば、非特許文献1に開示されている。
【0004】
(2)は、操作者の体の部位に装着したデバイスにより、映像に合わせた操作抵抗感を与えることで、映像上で物体に衝突した際に、操作者にも衝突したような振動を提示する技術であり、例えば、特許文献3に開示されている。また、視覚運動刺激を与えることにより、操作者が無意識のうちにその運動方向を変化させることができる技術が、例えば、特許文献1,2に開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−317784号公報
【特許文献2】特開2010−72221号公報
【特許文献3】特開2002−123840号公報
【非特許文献】
【0006】
【非特許文献1】Sheridan T (1993) Space teleoperation through time delay: review and prognosis. Robotics and Automation, IEEE Transactions on 9:592-606
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上述した従来の技術においては下記のような問題点がある。
【0008】
非特許文献1に開示された技術では、遅延の軽減を目的としており、それ以外の操作抵抗感の操作には利用することができない。また、予測できない操作者の動きには対応することができない。
【0009】
また、特許文献1,2に開示された技術においては、操作者の肢運動を所望の方向(操作者の意図していない方向)に無意識のうちに誘導することを目的としたものであり、操作者の操作抵抗感を変化させるものではない。
【0010】
また、特許文献3に開示された技術では、操作者に操作抵抗感を与えるための振動デバイス等、物理的なデバイスを用意しなければならない。
【0011】
本発明は、上述したような技術が有する問題点に鑑みてなされたものであって、特殊な物理デバイスを用いることなく、視覚に提示する映像に伴って操作抵抗感を増減させることができる操作抵抗感制御装置及び操作抵抗感制御方法を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記目的を達成するために本発明は、
画像を見ながら操作を行う操作者の操作抵抗感を軽減する操作抵抗感制御装置であって、
前記操作者の操作に関与する体の部位の位置及び該部位の運動方向を検出する肢運動方向検出部と、
前記肢運動方向検出部にて検出された体の部位の位置を示すマーカ画像を生成する肢運動マーカ画像生成部と、
所定の大きさの視覚運動刺激エリア内部のパターンを、前記肢運動方向検出部にて検出された運動方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
前記肢運動マーカ画像生成部にて生成されたマーカ画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像と、予め設定された背景画像とを合成する画像合成部と、
前記画像合成部にて合成された画像を表示する画像表示部とを有する。
【0013】
また、操作者の操作に応じて動く操作対象を該操作対象の画像を見ながら遠隔操作する際に、前記操作対象の動きに応じて前記操作者の操作抵抗感を増加させる操作抵抗感制御装置であって、
前記操作者の操作に関与する体の部位の位置及び該部位の運動方向を検出する肢運動方向検出部と、
前記操作対象を含む画像を取得する撮影部と、
前記撮影部にて取得された画像に基づいて、前記操作対象が他の物体に衝突したことを検出した場合または衝突する可能性のあることを検出した場合、所定の大きさの視覚運動刺激エリア内部のパターンを、前記肢運動方向検出部にて検出された運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
前記撮影部にて撮影された画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像とを合成する画像合成部と、
前記画像合成部にて合成された画像を表示する画像表示部とを有する。
【0014】
また、操作者の操作に応じて仮想物体が移動する仮想空間画像を見ながら操作を行う際の操作抵抗感を増減する操作抵抗感制御装置であって、
前記操作者の操作に関与する体の部位の位置及び該部位の運動方向を検出する肢運動方向検出部と、
前記仮想物体の大きさや重量情報を保持し、前記肢運動方向検出部にて検出された運動方向に前記仮想物体を移動させる仮想空間操作部と、
所定の大きさの視覚運動刺激エリア内部のパターンを、前記仮想空間操作部にて移動させる仮想物体の大きさや重量に応じて、前記肢運動方向検出部にて検出された運動方向、または該運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
前記仮想空間画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像とを合成する画像合成部と、
前記画像合成部にて合成された画像を表示する画像表示部とを有する。
【発明の効果】
【0015】
本発明においては、特殊な物理デバイスを用いることなく、視覚に提示する映像に伴って操作者に様々な操作抵抗感を感じさせることできる。
【0016】
例えば、遠隔地にて画像を見ながら操作を行う場合に、画像表示部に表示される画像が遅延していたとしても、操作の際に知覚する操作抵抗感を軽減させることができる。
【0017】
また、操作者の操作に応じて動く操作対象を該操作対象の画像を見ながら遠隔操作する場合に、特殊な物理デバイスによって振動等を生じさせることなく、操作対象が他の物体に衝突したこと、あるいは衝突しそうであることを、操作抵抗感の増加により知らせることができる。
【0018】
また、操作者の操作に応じて仮想物体が移動する仮想空間画像を見ながら操作を行う場合に、特殊なデバイスによって実際に抵抗を増減させることなく、仮想空間上での操作対象の大きさや重さを操作者に感じさせることができる。
【図面の簡単な説明】
【0019】
【図1】本発明の操作抵抗感制御装置の第1の実施の形態を示すブロック図である。
【図2】図1に示した操作抵抗感制御装置による具体的構成例を示す図である。
【図3】図1及び図2に示した視覚運動刺激生成部にて生成される視覚運動刺激画像を構成するための画像の一例である。
【図4】図1及び図2に示した操作抵抗感制御装置による有効性を示す実験結果の一例を示す図である。
【図5】本発明の操作抵抗感制御装置の第2の実施の形態が適用される状況を示す図である。
【図6】本発明の操作抵抗感制御装置の第2の実施の形態を示すブロック図である。
【図7】本発明の操作抵抗感制御装置の第3の実施の形態を示すブロック図である。
【図8】図7に示した視覚運動刺激生成部にて生成される視覚運動刺激画像による効果を説明するための図である。
【図9】図1に示した操作抵抗感制御装置を用いた実験装置の他の例を示す図である。
【図10】図9に示したスクリーンに表示される情報を示す図である。
【図11】図9に示した実験装置を用いた実験方法を説明するための図である。
【図12】視覚運動刺激生成部で生成する模様を示す図である。
【図13】本実験における抵抗感の主観評価を示す図である。
【図14】本実験における書字時間を示す図である。
【図15】本実験におけるオーバーシュート量を示す図である。
【図16】本実験で使用した2文字についてのオーバーシュートの変化の様子を示す図である。
【発明を実施するための形態】
【0020】
以下に、本発明の実施の形態について図面を参照して説明する。
【0021】
(第1の実施の形態)
図1は、本発明の操作抵抗感制御装置の第1の実施の形態を示すブロック図である。
【0022】
本形態は図1に示すように、肢運動方向検出部1と、肢運動マーカ画像生成部2と、視覚運動刺激生成部3と、画像合成部4と、画像表示部5とから構成されている。
【0023】
肢運動方向検出部1は、画像表示部5によって表示される画像を見ながら操作を行う操作者10の操作に関与する体の部位及びその部位の運動方向をカメラやセンサーによって検出する。
【0024】
肢運動マーカ画像生成部2は、肢運動方向検出部1にて検出された体の部位の位置を示すマーカ画像を生成する。
【0025】
視覚運動刺激生成部3は、所定の大きさの視覚運動刺激エリアを設定し、そのエリア内に表示される所定の空間周波数のパターンを、肢運動方向検出部1にて検出された運動方向に、所定の空間周波数及び時間周波数で動かす画像である視覚運動刺激画像を生成する。なお、視覚運動刺激エリアの大きさは、任意の大きさとすることができる。
【0026】
画像合成部4は、肢運動マーカ画像生成部2にて生成されたマーカ画像と、視覚運動刺激生成部3にて生成された視覚運動刺激画像と、予め設定された背景画像とを合成する。このとき、マーカ画像と視覚運動刺激画像は、予め設定された背景画像と重ならないように、その周囲に表示されるよう合成しても良いし、予め設定された背景画像と重なる位置に表示しても良い。ただし、予め設定された背景画像と重ねて表示する場合には、背景画像全体が隠れてしまわないように、マーカ画像と視覚運動刺激画像(視覚運動刺激エリア)の大きさは背景画像よりも小さくしておく。
【0027】
画像表示部5は、スクリーンやコンピュータディスプレイからなり、画像合成部4にて合成された画像を投影表示して操作者10に提示する。
【0028】
以下に、上記のように構成された操作抵抗感制御装置の動作について具体的構成例を挙げて説明する。
【0029】
図2は、図1に示した操作抵抗感制御装置による具体的構成例を示す図である。
【0030】
図2に示す構成においては、まず、肢運動方向検出部1は、操作者10の腕の動きをカメラで撮影し、手の位置を計算して時々刻々求めることにより、手の位置とその運動方向を検出する。そして、その検出信号を肢運動マーカ画像生成部2に送る。
【0031】
次に、肢運動マーカ画像生成部2は、肢運動方向検出部1にて検出された手の位置に対して、手の位置を示すマーカ画像を生成し、画像合成部4に送る。
【0032】
また、視覚運動刺激生成部3は、白黒の縞模様を表示しておく。この際、肢運動方向検出部1にて検出された手の運動方向、すなわち、操作者10の手の動きと同時に手の動きを示すマーカ画像と同じ方向に縞模様を動かし、手を止めたとき縞模様を消すあるいはその動きを止めるように制御した視覚運動刺激画像を生成し、画像合成部4へ送る。この視覚運動刺激画像は、操作抵抗感を改善するのに適した空間周波数、時間周波数、サイズを有するものとする。なお、図2においては、水平方向の運動を対象とした場合を例に挙げて示しているが、垂直方向の動きの検出、刺激画像の提示を組み合わせることにより、どの方向への手の動作であっても操作抵抗感を改善できる。
【0033】
図3は、図1及び図2に示した視覚運動刺激生成部3にて生成される視覚運動刺激画像を構成するための画像の一例である。
【0034】
図2においては、縦の細い縞模様を間欠的に縦に並べた例を示しているが、図3(a)に示すように中心付近にだけ視覚運動刺激画像を提示するパターンや、図3(b)に示すように周辺付近にだけ視覚運動刺激画像を提示するパターンや、図3(c)に示すように縦横の縞模様を提示するパターン等、様々なパターンを視覚運動刺激画像として用いることが可能である。なお、視覚運動刺激は、この図で言えば,白黒エリア(視覚運動刺激エリア)内の白黒パターンが動くことを示しており、エリア全体が移動することを意味するものではない。また、画像は縞模様だけでなく、ランダムドットやその他のパターンも用いることが可能である。なお、視覚運動刺激生成部3にて生成される視覚運動刺激画像は、画像表示部5によって表示される画像全体を覆うものではないため、図3中視覚運動刺激画像エリア以外のグレー色で示す部分には視覚運動刺激画像とは関係のない別の画像を提示することができる。
【0035】
その後、画像合成部4が、肢運動マーカ画像生成部2にて生成されたマーカ画像と、視覚運動刺激生成部3にて生成された視覚運動刺激画像と、予め設定された背景画像とを合成し、合成された画像を画像表示部5に送る。
【0036】
そして、画像表示部5が、画像合成部4にて合成された画像を投影表示して操作者10に提示する。
【0037】
以下に、上述した操作抵抗感制御装置による有効性について説明する。
【0038】
(実験1)
図4は、図1及び図2に示した操作抵抗感制御装置による有効性を示す実験結果の一例を示す図である。
【0039】
まず、実験1では、操作抵抗感の変化の検出には以下の実験方法を用いた。
【0040】
画像表示部5によって画像が投影されるスクリーンには、始点・終点を示す印、並びに操作者10の手の位置を示すマーカ画像が提示されている。手の位置は肢運動方向検出部1となるカメラで検出され、前額面での手の動きがマーカ画像としてスクリーンに投影される。
【0041】
操作者10には、始点にマーカ画像を移動した後、スクリーンに提示された終点を見ながら、ビープ音に合わせてマーカ画像を始点から終点に向けて動かしてもらう。2回連続して運動試行を行ってもらい、1回は基準刺激条件(追加遅延=83ms、縞模様の運動なし)、もう1回は変化刺激条件で、変化刺激はマーカ画像の表示時間遅れと背景の縞模様パターンの動きが設定値からランダムに選択される。基準刺激と比較刺激の順番はランダムに選択される。
【0042】
そして、操作者10に、2回の試行のうちどちらの操作抵抗感が悪かったかを答えてもらい、それを繰り返し行う。時間遅延は、遅れを追加しない条件を0msとし、0,50,67,83,100,117,167msの7条件で、背景の縞模様は、動かさなかった場合(静止)、手の動きと同じ方向に動かした場合(順方向)、手の動きと反対方向に動かした場合(逆方向)の、3つの条件で行った。縞模様の動きの速さは正負どちらの方向についても、176cm/sとした。このような21(7×3)の刺激条件に対して、多数の回答を求めることにより「操作抵抗感」の強さを確率として求めた。
【0043】
図4では、上述したような縞模様の動作が異なる3条件に対し、基準刺激に対する操作抵抗感が、設定した遅延時間でどのように変化するかを示している。なお、各プロットが実験で得られた値(確率値)であり、曲線は計測値を使って近似した精神測定関数(サイコメトリック関数)である。
【0044】
まず、縞模様が静止の条件では、基準刺激条件に対して遅延時間が少ない場合は、比較する刺激を与えた場合に「操作抵抗感が大きい」と答える確率は低くなり、遅延時間が大きい場合には、「操作抵抗感が大きい」と答える確率が高い。また、縞模様を順方向に動かした場合は、曲線が右側にシフトしており、操作抵抗感は減少していることを示している。さらに、縞模様を反対方向に動かした場合は、曲線が左側にシフトしており、操作抵抗感がより大きくなっていることを示している。
【0045】
すなわち、縞模様の運動を与えることにより、遅延に伴う操作抵抗感の改善や、操作抵抗感を変化させることが可能であることが示された。
【0046】
このように、視覚運動刺激生成部3にて生成される視覚運動刺激画像を、肢運動方向検出部1にて検出された手の運動方向に縞模様が動くようなものとすることにより、遅延に伴う操作抵抗感の改善や、操作抵抗感を変化させることができる。
(実験2)
実験2では、ペンタブレットで文字を書く際における表示の遅延による抵抗感(重たさ感)が、本発明の視覚運動刺激画像の提示により軽減されるかについて、実験を行った。
【0047】
図9は、図1に示した操作抵抗感制御装置を用いた実験装置の他の例を示す図である。
【0048】
図9に示すように、実験2においては、画像表示部5としてスクリーンを用い、肢運動方向検出部1としてペンタブレットを用い、操作者10の視点で見たときに、スクリーンの下にペンタブレットが配置されるようにする。また、音声を出力するためのスピーカや、情報を入力するためのキーボードもペンタブレットの周辺に配置する。
【0049】
図10は、図9に示したスクリーンに表示される情報を示す図である。
【0050】
画像表示部5となるスクリーンには、プロジェクタから投影される画像が提示されることになるが、図10に示すように、注視点を示す画像として画面中央に「+」記号が提示されるとともに、操作者10が持つペン軌跡や現在のペンの位置を示すマーカ画像及び視覚運動刺激画像が提示されている。ペンの位置はペンタブレットで検出され、ペンが動くに従って、その軌跡及びペンの位置を示すマーカ画像としてスクリーンに投影される。
【0051】
また、遅延を伴う状況を作り出すため、遅延生成部(不図示)において、ペンタブレットにて検出されたペンの位置を示すマーカ画像及びその軌跡を、一定時間だけ遅らせてからスクリーンに表示する構成とした。
【0052】
図11は、図9に示した実験装置を用いた実験方法を説明するための図である。
【0053】
上記のように構成された操作抵抗感制御装置において、操作者10は、常に注視点を見た状態で、書字運動を行う。
【0054】
まず、スクリーンに文字が提示される(図11中a)。
【0055】
一定時間が経過後、文字が消え(図11中b)、注視点と現在の操作者10の手の位置(ペンの位置)を示すマーカ画像が提示された状態となる(図11中c)。この状態から、操作者10は注視点を見ながら先ほど提示されていた文字と同じ文字を書く運動を行う。
【0056】
この文字の提示と書字運動を1セットとし、最初に「練習」の設定で2セット連続して運動試行を行い、次に「基準刺激」と「比較刺激」の設定でそれぞれ1セットずつ前後の順序はランダムにして運動試行を行った後、操作者10に基準刺激と比較刺激の試行を比較して、どちらの操作で抵抗感(重たさ感)が強かったかをキーボードを用いて回答してもらった。ただし、書字時間を一定に保つために、練習時にはスピーカから一定間隔(833ms周期)のビープ音を鳴らし、その音で指定する速さで文字を書くように指示した。
【0057】
「練習」、「基準刺激」、「比較刺激」は、それぞれ視覚運動刺激生成部3と遅延生成部を以下の設定とした。
【0058】
図12は、視覚運動刺激生成部3で生成する模様を示す図である。
【0059】
視覚運動刺激生成部3で生成する模様としては、図12(a)に示すような斜め格子模様の他、図12(b)に示すような縦横格子模様や、図12(c)に示すような円形の縁を持つ縞模様のパターン等、様々な図柄を用いることが可能である。以下の例においては、図12(a)に示すような斜め格子模様を用いた。
【0060】
(1)練習時
遅延時間を0(遅延させない)とし、視覚運動刺激生成部3では図12(a)に示す格子模様を動かさないで提示する(静止)。
【0061】
(2)基準刺激提示時
遅延時間を100msとし、視覚運動刺激生成部3では図12(a)に示す格子模様を動かさないで提示する(静止)。
【0062】
(3)比較刺激提示時
遅延時間を66ms,100ms,133msのいずれかに設定する(ランダムに選択する)。また、視覚運動刺激生成部3では、図12(a)に示す格子模様を動かさないで提示する(静止)か、図12(a)に示す格子模様を操作者10の書字方向と同じ方向に動かす(順方向)か、のいずれかに設定する(ランダムに選択する)。縞模様の動きの速さは336cm/sとした。ここで、「模様を動かす」際、中心部の円形の模様の無い部分の位置や文字の位置は動かさない。
【0063】
同様の試行を、1名の被験者について14文字×2回の計28回行い、これを男女4名ずつの計8名の被験者について行った。使用した14文字はアルファベット(A,E,F,H,I,K,L,M,N,T,V,W,X,Z)である。実験の結果を図13〜図16に示す。
【0064】
図13は、本実験における抵抗感の主観評価を示す図であり、比較刺激の方が重いと選ばれた比率(%)を示したものである。
【0065】
図13に示すように、どの遅延条件においても、視覚運動刺激(順方向への刺激)の提示により操作抵抗感が減少していることがわかる。
【0066】
図14は、本実験における書字時間を示す図である。なお、書字時間とは、(比較刺激の試行において文字を書くためにペンがペンタブレットに触れていた時間)/(練習時にビープ音で指定した書字時間)(%)を示したものである。
【0067】
図14に示すように、遅延が増加すると文字を書くために要する時間が長くなり、視覚運動刺激画像を提示するとこの時間が短くなることがわかる。
【0068】
図15は、本実験におけるオーバーシュート量を示す図である。なお、オーバーシュート量とは、(書いた文字の軌跡の合計長さ)/(指定した形状と大きさで文字を書いた場合の文字の軌跡の合計長さ)(%)を示したものである。
【0069】
図15に示すように、遅延が増加すると文字を書いた際のオーバーシュート(行き過ぎ量)が増え、視覚運動刺激画像を提示すると、このオーバーシュートが小さくなることがわかる。
【0070】
図16は、本実験で使用した2文字についてのオーバーシュートの変化の様子を示す図である。
【0071】
図16に示すように、2文字とも、遅延の増加とともにオーバーシュートが出現するものの、刺激提示によりオーバーシュートが減少していることがわかる。
【0072】
以上のように、本実験の結果から、視覚運動刺激生成部3で順方向の刺激を提示することにより、運動における操作抵抗感を軽減する効果に加え、書字時間及びストロークのオーバーシュートを減少させる効果が得られることが確認できた。
【0073】
(第2の実施の形態)
図5は、本発明の操作抵抗感制御装置の第2の実施の形態が適用される状況を示す図である。
【0074】
本形態においては、図5に示すように、視覚フィードバックのみを利用した操作対象となるロボットアームの遠隔操作を想定する。操作者の手先位置はカメラにより取得されており、ロボットアームはその手先と連動して動いている。すなわち、ロボットアームは、操作者の操作に応じて動くものであり、操作者は、ディスプレイによりロボットアームの姿勢をリアルタイムで確認することができる。このように、視覚フィードバックのみが提示される状況では、ロボットアームが周辺の物体と衝突しても操作者はそれに気付かない可能性があり、ロボットアームの可動範囲内の物体に継続的に力を加え、それを変形してしまうという危険性がある。
【0075】
図6は、本発明の操作抵抗感制御装置の第2の実施の形態を示すブロック図である。
【0076】
本形態は図6に示すように、肢運動方向検出部1と、撮影装置7と、視覚運動刺激生成部3と、画像合成部4と、画像表示部5と、操作入力部6とから構成されている。
【0077】
肢運動方向検出部1は、画像表示部5によって表示されるロボットアーム20の画像を見ながら操作を行う操作者10の操作に関与する腕の動きをカメラで撮影し、手先の位置と運動方向を計算して時々刻々求めることにより、手先の位置とその運動方向を検出する。
【0078】
撮影装置7は、遠隔地の操作対象となるロボットアーム20及びその周辺の画像を撮影することによって取得する。
【0079】
視覚運動刺激生成部3は、撮影装置7から取得した画像を解析し、この解析結果に基づいて、ロボットアーム20が他の物体と衝突したことあるいは衝突の可能性があることを検出した場合、所定の視覚運動刺激エリア内に表示されるパターン(縞模様)が、肢運動方向検出部1にて検出された操作者10の手先の運動と反対の方向に、第1の実施の形態にて示したものと同様の縞模様が動き、操作者が手を止めると縞模様の動きも止めるように制御した視覚運動刺激画像を生成する。
【0080】
画像合成部4は、視覚運動刺激生成部3で生成された視覚運動刺激画像と、撮影装置7で取得したロボットアーム20の映像とを合成し、画像表示部5へ送る。このとき、視覚運動刺激画像は、撮影装置7で取得したロボットアーム20の映像と重ならないように、その周囲に表示されるよう合成しても良いし、ロボットアーム20の映像と重なる位置に表示しても良い。ただし、ロボットアーム20の映像と重ねて表示する場合には、ロボットアーム20の映像全体が隠れてしまわないように、視覚運動刺激画像(視覚運動刺激エリア)の大きさはロボットアーム20の映像よりも小さくしておく。
【0081】
画像表示部5は、画像合成部4から取得した画像を操作者10に表示する。
【0082】
上記のように構成された操作抵抗感制御装置においては、視覚運動刺激生成部3において、ロボットアーム20と他の物体との衝突あるいは衝突の可能性を検出した場合、操作者10の手先の運動と反対の方向に、第1の実施の形態に示したものと同様に所定の視覚運動刺激エリア内を縞状の模様が動く視覚運動刺激画像を提示するものであり、この点が第1の実施の形態に示したものに対して異なる。
【0083】
このように、操作者10の動きと反対方向に所定のパターンが動く画像である視覚運動刺激画像を提示することにより、操作者10は実際よりも大きな操作抵抗感を感じる。このような視覚運動刺激画像の提示とそれによって生じる運動の抵抗感により、操作者10に、ロボットアーム20が他の物体と衝突したこと、あるいは衝突しそうである状況であることに対する注意を喚起することができる。これにより、外部の他の物体を変形するといった事故を軽減することが可能となる。
【0084】
なお、操作対象の大きさが大きいほど、視覚運動刺激画像を操作の方向と逆方向に動かす速度を早くすることにより、操作対象の大きさを考慮した操作抵抗感を操作者に与えることができる。
【0085】
(第3の実施の形態)
図7は、本発明の操作抵抗感制御装置の第3の実施の形態を示すブロック図である。
【0086】
本形態は図7に示すように、肢運動方向検出部1と、仮想空間操作部8と、視覚運動刺激生成部3と、画像合成部4と、画像表示部5とから構成されている。
【0087】
肢運動方向検出部1は、画像表示部5によって表示される仮想物体の画像を見ながら操作を行う操作者10の操作に関与する腕の動きをカメラで撮影し、手先の位置と運動方向を計算して時々刻々求めることにより、手先の位置とその運動方向を検出する。
【0088】
仮想空間操作部8は、仮想物体の大きさや想定された重量情報を保持し、肢運動方向検出部1にて検出された操作者10の手の位置及び動きに応じて、画像表示部5に投影された仮想空間中の仮想物体を移動させる指示を画像合成部4へ送る。
【0089】
視覚運動刺激生成部3は、仮想空間操作部8から、移動対象となっている仮想物体の大きさや重量情報を取得し、仮想物体の大きさや重量に応じて、視覚運動刺激エリアに表示される所定の空間周波数を持つパターンを動かす量や大きさ、方向等を変化させた視覚運動刺激を生成する。例えば、仮想物体が大きな場合や想定された重量が重い場合には、肢運動方向検出部1にて検出された運動方向と反対方向にパターンを動かし、また、仮想物体が小さいあるいは軽いという想定の場合には運動方向と同じ方向にパターンを動かす。このとき、仮想物体の大きさや想定された重量に比例させて、パターンを動かす速度を増減させると、仮想物体の大きさの違いによる操作抵抗感をより細かく制御することができる。速度の増減は、時間周波数を変化させることにより制御できる。さらに、仮想物体の大きさや想定された重量に応じて、視覚運動刺激エリアの面積を増減させてもよく、面積が大きいほど、操作抵抗感の変化をより大きく実感することができる。
【0090】
画像合成部4は、画像表示部5に表示されている現在の仮想空間の画像について、仮想空間操作部8から指定された仮想物体を動かした画像を生成する。そして、生成した画像と視覚運動刺激生成部3から取得した視覚運動刺激画像とを合成した画像を画像表示部5へ送る。なお、仮想物体の現在の位置は、画像合成部に記憶されているものとする。また、視覚運動刺激画像は、仮想空間の画像と重ならないように、その周囲に表示されるよう合成しても良いし、仮想空間の画像と重なる位置に表示しても良い。ただし、仮想空間の画像と重ねて表示する場合には、仮想空間の画像全体が隠れてしまわないように、視覚運動刺激画像(視覚運動刺激エリア)の大きさは仮想空間の画像よりも小さくしておく。
【0091】
画像表示部5は、画像合成部4から取得した仮想空間と視覚運動刺激画像を操作者10に表示する。
【0092】
上記のように構成された操作抵抗感制御装置においては、仮想現実感を実現するような環境において、視覚的仮想物体の移動を実際の手の動きに合わせて表示する場合において、視覚運動刺激生成部3において、操作対象物となる仮想物体の大きさや想定された重量に応じて視覚運動刺激の速度を増加・減少させたり、視覚運動刺激の面積を増加・減少させたりすることにより、仮想空間上での操作対象の大きさや重さを操作者に感じさせることができ、この点が第1及び第2の実施の形態と異なるものである。
【0093】
図8は、図7に示した視覚運動刺激生成部3にて生成される視覚運動刺激画像による効果を説明するための図である。
【0094】
図8においては、図中Aに示すなめらかなテクスチャの画像と、図中Bに示す荒いテクスチャの画像を指で横になぞる場合の摩擦による抵抗感の違いを、図中Cに示す縞模様の動きによって生成するための画像全体を示している。
【0095】
指が図中Aにある場合は指の動きの方向にCのエリアの縞模様を動かし、指が図中Bにある場合は指の動きの方向と反対方向にCのエリアの縞模様を動かす。これにより、図中Aに示すなめらかなテクスチャの画像を指で横になぞる場合は操作抵抗感が小さくなり、また、図中Bに示す荒いテクスチャの画像を指で横になぞる場合は操作抵抗感が大きくなるようにできる。
【0096】
なお、本例では横方向の抵抗感の操作しか想定していないが、縦方向や斜め方向の指の動きに対する抵抗感についても、図3に示した例のような縞模様を適切に設定することにより実現することができる。
【0097】
このように、本形態においては、手の動きに対して順方向や反対方向に与える視覚運動刺激画像の量や大きさを変化させることで、実際に外部から力を与えることをまったく行わないで操作抵抗感の増加・減少を制御し、重さの感覚や質感の違いを擬似的に伝えることができる。
【0098】
なお、本形態においても、第1の実施の形態に示したものと同様に、画像表示部7に表示された仮想空間における操作者の手の位置を示すマーカ画像を生成するために肢運動マーカ画像生成部を有する構成とすることも考えられる。
【0099】
なお、本発明においては、操作抵抗感制御装置内の処理は上述の専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを操作抵抗感制御装置にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを操作抵抗感制御装置に読み込ませ、実行するものであっても良い。操作抵抗感制御装置にて読取可能な記録媒体とは、ICカードやメモリカード、あるいは、フロッピーディスク(登録商標)、光磁気ディスク、DVD、CDなどの移設可能な記録媒体の他、操作抵抗感制御装置に内蔵されたHDD等を指す。この記録媒体に記録されたプログラムは、例えば、制御ブロックにて読み込まれ、制御ブロックの制御によって、上述したものと同様の処理が行われる。
【符号の説明】
【0100】
1 肢運動方向検出部
2 肢運動マーカ画像生成部
3 視覚運動刺激生成部
4 画像合成部
5 画像表示部
6 操作入力部
7 撮影装置
8 仮想空間操作部
10 操作者
【技術分野】
【0001】
本発明は、ロボットや機器等の視覚表示を伴う操作端末やテレビゲーム等の操作端末等で、操作抵抗感を増減させる操作抵抗感制御装置及び操作抵抗感制御方法に関する。
【背景技術】
【0002】
ロボットやゲーム、バーチャルリアリティ等の操作インタフェースにおいて、操作者の操作に関与する体の部位や操作対象の動きに対する操作抵抗感として、
(1)映像の遅延に伴って意図せずに引き起こされる操作抵抗感
(2)ロボットデバイス等により、作為的に引き起こされる操作抵抗感
がある。
【0003】
(1)は、映像の伝送遅延により、遅延がない場合よりも操作が重たくなったように感じる(操作抵抗感が大きく感じる)ものであり、提示されている映像の内容や操作者の意図とは無関係に引き起こされてしまう現象である。このように遅延に伴って引き起こされる操作抵抗感を軽減する技術として、動きを予測して操作者に提示することにより遅延を補償する手段が、例えば、非特許文献1に開示されている。
【0004】
(2)は、操作者の体の部位に装着したデバイスにより、映像に合わせた操作抵抗感を与えることで、映像上で物体に衝突した際に、操作者にも衝突したような振動を提示する技術であり、例えば、特許文献3に開示されている。また、視覚運動刺激を与えることにより、操作者が無意識のうちにその運動方向を変化させることができる技術が、例えば、特許文献1,2に開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−317784号公報
【特許文献2】特開2010−72221号公報
【特許文献3】特開2002−123840号公報
【非特許文献】
【0006】
【非特許文献1】Sheridan T (1993) Space teleoperation through time delay: review and prognosis. Robotics and Automation, IEEE Transactions on 9:592-606
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上述した従来の技術においては下記のような問題点がある。
【0008】
非特許文献1に開示された技術では、遅延の軽減を目的としており、それ以外の操作抵抗感の操作には利用することができない。また、予測できない操作者の動きには対応することができない。
【0009】
また、特許文献1,2に開示された技術においては、操作者の肢運動を所望の方向(操作者の意図していない方向)に無意識のうちに誘導することを目的としたものであり、操作者の操作抵抗感を変化させるものではない。
【0010】
また、特許文献3に開示された技術では、操作者に操作抵抗感を与えるための振動デバイス等、物理的なデバイスを用意しなければならない。
【0011】
本発明は、上述したような技術が有する問題点に鑑みてなされたものであって、特殊な物理デバイスを用いることなく、視覚に提示する映像に伴って操作抵抗感を増減させることができる操作抵抗感制御装置及び操作抵抗感制御方法を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記目的を達成するために本発明は、
画像を見ながら操作を行う操作者の操作抵抗感を軽減する操作抵抗感制御装置であって、
前記操作者の操作に関与する体の部位の位置及び該部位の運動方向を検出する肢運動方向検出部と、
前記肢運動方向検出部にて検出された体の部位の位置を示すマーカ画像を生成する肢運動マーカ画像生成部と、
所定の大きさの視覚運動刺激エリア内部のパターンを、前記肢運動方向検出部にて検出された運動方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
前記肢運動マーカ画像生成部にて生成されたマーカ画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像と、予め設定された背景画像とを合成する画像合成部と、
前記画像合成部にて合成された画像を表示する画像表示部とを有する。
【0013】
また、操作者の操作に応じて動く操作対象を該操作対象の画像を見ながら遠隔操作する際に、前記操作対象の動きに応じて前記操作者の操作抵抗感を増加させる操作抵抗感制御装置であって、
前記操作者の操作に関与する体の部位の位置及び該部位の運動方向を検出する肢運動方向検出部と、
前記操作対象を含む画像を取得する撮影部と、
前記撮影部にて取得された画像に基づいて、前記操作対象が他の物体に衝突したことを検出した場合または衝突する可能性のあることを検出した場合、所定の大きさの視覚運動刺激エリア内部のパターンを、前記肢運動方向検出部にて検出された運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
前記撮影部にて撮影された画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像とを合成する画像合成部と、
前記画像合成部にて合成された画像を表示する画像表示部とを有する。
【0014】
また、操作者の操作に応じて仮想物体が移動する仮想空間画像を見ながら操作を行う際の操作抵抗感を増減する操作抵抗感制御装置であって、
前記操作者の操作に関与する体の部位の位置及び該部位の運動方向を検出する肢運動方向検出部と、
前記仮想物体の大きさや重量情報を保持し、前記肢運動方向検出部にて検出された運動方向に前記仮想物体を移動させる仮想空間操作部と、
所定の大きさの視覚運動刺激エリア内部のパターンを、前記仮想空間操作部にて移動させる仮想物体の大きさや重量に応じて、前記肢運動方向検出部にて検出された運動方向、または該運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
前記仮想空間画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像とを合成する画像合成部と、
前記画像合成部にて合成された画像を表示する画像表示部とを有する。
【発明の効果】
【0015】
本発明においては、特殊な物理デバイスを用いることなく、視覚に提示する映像に伴って操作者に様々な操作抵抗感を感じさせることできる。
【0016】
例えば、遠隔地にて画像を見ながら操作を行う場合に、画像表示部に表示される画像が遅延していたとしても、操作の際に知覚する操作抵抗感を軽減させることができる。
【0017】
また、操作者の操作に応じて動く操作対象を該操作対象の画像を見ながら遠隔操作する場合に、特殊な物理デバイスによって振動等を生じさせることなく、操作対象が他の物体に衝突したこと、あるいは衝突しそうであることを、操作抵抗感の増加により知らせることができる。
【0018】
また、操作者の操作に応じて仮想物体が移動する仮想空間画像を見ながら操作を行う場合に、特殊なデバイスによって実際に抵抗を増減させることなく、仮想空間上での操作対象の大きさや重さを操作者に感じさせることができる。
【図面の簡単な説明】
【0019】
【図1】本発明の操作抵抗感制御装置の第1の実施の形態を示すブロック図である。
【図2】図1に示した操作抵抗感制御装置による具体的構成例を示す図である。
【図3】図1及び図2に示した視覚運動刺激生成部にて生成される視覚運動刺激画像を構成するための画像の一例である。
【図4】図1及び図2に示した操作抵抗感制御装置による有効性を示す実験結果の一例を示す図である。
【図5】本発明の操作抵抗感制御装置の第2の実施の形態が適用される状況を示す図である。
【図6】本発明の操作抵抗感制御装置の第2の実施の形態を示すブロック図である。
【図7】本発明の操作抵抗感制御装置の第3の実施の形態を示すブロック図である。
【図8】図7に示した視覚運動刺激生成部にて生成される視覚運動刺激画像による効果を説明するための図である。
【図9】図1に示した操作抵抗感制御装置を用いた実験装置の他の例を示す図である。
【図10】図9に示したスクリーンに表示される情報を示す図である。
【図11】図9に示した実験装置を用いた実験方法を説明するための図である。
【図12】視覚運動刺激生成部で生成する模様を示す図である。
【図13】本実験における抵抗感の主観評価を示す図である。
【図14】本実験における書字時間を示す図である。
【図15】本実験におけるオーバーシュート量を示す図である。
【図16】本実験で使用した2文字についてのオーバーシュートの変化の様子を示す図である。
【発明を実施するための形態】
【0020】
以下に、本発明の実施の形態について図面を参照して説明する。
【0021】
(第1の実施の形態)
図1は、本発明の操作抵抗感制御装置の第1の実施の形態を示すブロック図である。
【0022】
本形態は図1に示すように、肢運動方向検出部1と、肢運動マーカ画像生成部2と、視覚運動刺激生成部3と、画像合成部4と、画像表示部5とから構成されている。
【0023】
肢運動方向検出部1は、画像表示部5によって表示される画像を見ながら操作を行う操作者10の操作に関与する体の部位及びその部位の運動方向をカメラやセンサーによって検出する。
【0024】
肢運動マーカ画像生成部2は、肢運動方向検出部1にて検出された体の部位の位置を示すマーカ画像を生成する。
【0025】
視覚運動刺激生成部3は、所定の大きさの視覚運動刺激エリアを設定し、そのエリア内に表示される所定の空間周波数のパターンを、肢運動方向検出部1にて検出された運動方向に、所定の空間周波数及び時間周波数で動かす画像である視覚運動刺激画像を生成する。なお、視覚運動刺激エリアの大きさは、任意の大きさとすることができる。
【0026】
画像合成部4は、肢運動マーカ画像生成部2にて生成されたマーカ画像と、視覚運動刺激生成部3にて生成された視覚運動刺激画像と、予め設定された背景画像とを合成する。このとき、マーカ画像と視覚運動刺激画像は、予め設定された背景画像と重ならないように、その周囲に表示されるよう合成しても良いし、予め設定された背景画像と重なる位置に表示しても良い。ただし、予め設定された背景画像と重ねて表示する場合には、背景画像全体が隠れてしまわないように、マーカ画像と視覚運動刺激画像(視覚運動刺激エリア)の大きさは背景画像よりも小さくしておく。
【0027】
画像表示部5は、スクリーンやコンピュータディスプレイからなり、画像合成部4にて合成された画像を投影表示して操作者10に提示する。
【0028】
以下に、上記のように構成された操作抵抗感制御装置の動作について具体的構成例を挙げて説明する。
【0029】
図2は、図1に示した操作抵抗感制御装置による具体的構成例を示す図である。
【0030】
図2に示す構成においては、まず、肢運動方向検出部1は、操作者10の腕の動きをカメラで撮影し、手の位置を計算して時々刻々求めることにより、手の位置とその運動方向を検出する。そして、その検出信号を肢運動マーカ画像生成部2に送る。
【0031】
次に、肢運動マーカ画像生成部2は、肢運動方向検出部1にて検出された手の位置に対して、手の位置を示すマーカ画像を生成し、画像合成部4に送る。
【0032】
また、視覚運動刺激生成部3は、白黒の縞模様を表示しておく。この際、肢運動方向検出部1にて検出された手の運動方向、すなわち、操作者10の手の動きと同時に手の動きを示すマーカ画像と同じ方向に縞模様を動かし、手を止めたとき縞模様を消すあるいはその動きを止めるように制御した視覚運動刺激画像を生成し、画像合成部4へ送る。この視覚運動刺激画像は、操作抵抗感を改善するのに適した空間周波数、時間周波数、サイズを有するものとする。なお、図2においては、水平方向の運動を対象とした場合を例に挙げて示しているが、垂直方向の動きの検出、刺激画像の提示を組み合わせることにより、どの方向への手の動作であっても操作抵抗感を改善できる。
【0033】
図3は、図1及び図2に示した視覚運動刺激生成部3にて生成される視覚運動刺激画像を構成するための画像の一例である。
【0034】
図2においては、縦の細い縞模様を間欠的に縦に並べた例を示しているが、図3(a)に示すように中心付近にだけ視覚運動刺激画像を提示するパターンや、図3(b)に示すように周辺付近にだけ視覚運動刺激画像を提示するパターンや、図3(c)に示すように縦横の縞模様を提示するパターン等、様々なパターンを視覚運動刺激画像として用いることが可能である。なお、視覚運動刺激は、この図で言えば,白黒エリア(視覚運動刺激エリア)内の白黒パターンが動くことを示しており、エリア全体が移動することを意味するものではない。また、画像は縞模様だけでなく、ランダムドットやその他のパターンも用いることが可能である。なお、視覚運動刺激生成部3にて生成される視覚運動刺激画像は、画像表示部5によって表示される画像全体を覆うものではないため、図3中視覚運動刺激画像エリア以外のグレー色で示す部分には視覚運動刺激画像とは関係のない別の画像を提示することができる。
【0035】
その後、画像合成部4が、肢運動マーカ画像生成部2にて生成されたマーカ画像と、視覚運動刺激生成部3にて生成された視覚運動刺激画像と、予め設定された背景画像とを合成し、合成された画像を画像表示部5に送る。
【0036】
そして、画像表示部5が、画像合成部4にて合成された画像を投影表示して操作者10に提示する。
【0037】
以下に、上述した操作抵抗感制御装置による有効性について説明する。
【0038】
(実験1)
図4は、図1及び図2に示した操作抵抗感制御装置による有効性を示す実験結果の一例を示す図である。
【0039】
まず、実験1では、操作抵抗感の変化の検出には以下の実験方法を用いた。
【0040】
画像表示部5によって画像が投影されるスクリーンには、始点・終点を示す印、並びに操作者10の手の位置を示すマーカ画像が提示されている。手の位置は肢運動方向検出部1となるカメラで検出され、前額面での手の動きがマーカ画像としてスクリーンに投影される。
【0041】
操作者10には、始点にマーカ画像を移動した後、スクリーンに提示された終点を見ながら、ビープ音に合わせてマーカ画像を始点から終点に向けて動かしてもらう。2回連続して運動試行を行ってもらい、1回は基準刺激条件(追加遅延=83ms、縞模様の運動なし)、もう1回は変化刺激条件で、変化刺激はマーカ画像の表示時間遅れと背景の縞模様パターンの動きが設定値からランダムに選択される。基準刺激と比較刺激の順番はランダムに選択される。
【0042】
そして、操作者10に、2回の試行のうちどちらの操作抵抗感が悪かったかを答えてもらい、それを繰り返し行う。時間遅延は、遅れを追加しない条件を0msとし、0,50,67,83,100,117,167msの7条件で、背景の縞模様は、動かさなかった場合(静止)、手の動きと同じ方向に動かした場合(順方向)、手の動きと反対方向に動かした場合(逆方向)の、3つの条件で行った。縞模様の動きの速さは正負どちらの方向についても、176cm/sとした。このような21(7×3)の刺激条件に対して、多数の回答を求めることにより「操作抵抗感」の強さを確率として求めた。
【0043】
図4では、上述したような縞模様の動作が異なる3条件に対し、基準刺激に対する操作抵抗感が、設定した遅延時間でどのように変化するかを示している。なお、各プロットが実験で得られた値(確率値)であり、曲線は計測値を使って近似した精神測定関数(サイコメトリック関数)である。
【0044】
まず、縞模様が静止の条件では、基準刺激条件に対して遅延時間が少ない場合は、比較する刺激を与えた場合に「操作抵抗感が大きい」と答える確率は低くなり、遅延時間が大きい場合には、「操作抵抗感が大きい」と答える確率が高い。また、縞模様を順方向に動かした場合は、曲線が右側にシフトしており、操作抵抗感は減少していることを示している。さらに、縞模様を反対方向に動かした場合は、曲線が左側にシフトしており、操作抵抗感がより大きくなっていることを示している。
【0045】
すなわち、縞模様の運動を与えることにより、遅延に伴う操作抵抗感の改善や、操作抵抗感を変化させることが可能であることが示された。
【0046】
このように、視覚運動刺激生成部3にて生成される視覚運動刺激画像を、肢運動方向検出部1にて検出された手の運動方向に縞模様が動くようなものとすることにより、遅延に伴う操作抵抗感の改善や、操作抵抗感を変化させることができる。
(実験2)
実験2では、ペンタブレットで文字を書く際における表示の遅延による抵抗感(重たさ感)が、本発明の視覚運動刺激画像の提示により軽減されるかについて、実験を行った。
【0047】
図9は、図1に示した操作抵抗感制御装置を用いた実験装置の他の例を示す図である。
【0048】
図9に示すように、実験2においては、画像表示部5としてスクリーンを用い、肢運動方向検出部1としてペンタブレットを用い、操作者10の視点で見たときに、スクリーンの下にペンタブレットが配置されるようにする。また、音声を出力するためのスピーカや、情報を入力するためのキーボードもペンタブレットの周辺に配置する。
【0049】
図10は、図9に示したスクリーンに表示される情報を示す図である。
【0050】
画像表示部5となるスクリーンには、プロジェクタから投影される画像が提示されることになるが、図10に示すように、注視点を示す画像として画面中央に「+」記号が提示されるとともに、操作者10が持つペン軌跡や現在のペンの位置を示すマーカ画像及び視覚運動刺激画像が提示されている。ペンの位置はペンタブレットで検出され、ペンが動くに従って、その軌跡及びペンの位置を示すマーカ画像としてスクリーンに投影される。
【0051】
また、遅延を伴う状況を作り出すため、遅延生成部(不図示)において、ペンタブレットにて検出されたペンの位置を示すマーカ画像及びその軌跡を、一定時間だけ遅らせてからスクリーンに表示する構成とした。
【0052】
図11は、図9に示した実験装置を用いた実験方法を説明するための図である。
【0053】
上記のように構成された操作抵抗感制御装置において、操作者10は、常に注視点を見た状態で、書字運動を行う。
【0054】
まず、スクリーンに文字が提示される(図11中a)。
【0055】
一定時間が経過後、文字が消え(図11中b)、注視点と現在の操作者10の手の位置(ペンの位置)を示すマーカ画像が提示された状態となる(図11中c)。この状態から、操作者10は注視点を見ながら先ほど提示されていた文字と同じ文字を書く運動を行う。
【0056】
この文字の提示と書字運動を1セットとし、最初に「練習」の設定で2セット連続して運動試行を行い、次に「基準刺激」と「比較刺激」の設定でそれぞれ1セットずつ前後の順序はランダムにして運動試行を行った後、操作者10に基準刺激と比較刺激の試行を比較して、どちらの操作で抵抗感(重たさ感)が強かったかをキーボードを用いて回答してもらった。ただし、書字時間を一定に保つために、練習時にはスピーカから一定間隔(833ms周期)のビープ音を鳴らし、その音で指定する速さで文字を書くように指示した。
【0057】
「練習」、「基準刺激」、「比較刺激」は、それぞれ視覚運動刺激生成部3と遅延生成部を以下の設定とした。
【0058】
図12は、視覚運動刺激生成部3で生成する模様を示す図である。
【0059】
視覚運動刺激生成部3で生成する模様としては、図12(a)に示すような斜め格子模様の他、図12(b)に示すような縦横格子模様や、図12(c)に示すような円形の縁を持つ縞模様のパターン等、様々な図柄を用いることが可能である。以下の例においては、図12(a)に示すような斜め格子模様を用いた。
【0060】
(1)練習時
遅延時間を0(遅延させない)とし、視覚運動刺激生成部3では図12(a)に示す格子模様を動かさないで提示する(静止)。
【0061】
(2)基準刺激提示時
遅延時間を100msとし、視覚運動刺激生成部3では図12(a)に示す格子模様を動かさないで提示する(静止)。
【0062】
(3)比較刺激提示時
遅延時間を66ms,100ms,133msのいずれかに設定する(ランダムに選択する)。また、視覚運動刺激生成部3では、図12(a)に示す格子模様を動かさないで提示する(静止)か、図12(a)に示す格子模様を操作者10の書字方向と同じ方向に動かす(順方向)か、のいずれかに設定する(ランダムに選択する)。縞模様の動きの速さは336cm/sとした。ここで、「模様を動かす」際、中心部の円形の模様の無い部分の位置や文字の位置は動かさない。
【0063】
同様の試行を、1名の被験者について14文字×2回の計28回行い、これを男女4名ずつの計8名の被験者について行った。使用した14文字はアルファベット(A,E,F,H,I,K,L,M,N,T,V,W,X,Z)である。実験の結果を図13〜図16に示す。
【0064】
図13は、本実験における抵抗感の主観評価を示す図であり、比較刺激の方が重いと選ばれた比率(%)を示したものである。
【0065】
図13に示すように、どの遅延条件においても、視覚運動刺激(順方向への刺激)の提示により操作抵抗感が減少していることがわかる。
【0066】
図14は、本実験における書字時間を示す図である。なお、書字時間とは、(比較刺激の試行において文字を書くためにペンがペンタブレットに触れていた時間)/(練習時にビープ音で指定した書字時間)(%)を示したものである。
【0067】
図14に示すように、遅延が増加すると文字を書くために要する時間が長くなり、視覚運動刺激画像を提示するとこの時間が短くなることがわかる。
【0068】
図15は、本実験におけるオーバーシュート量を示す図である。なお、オーバーシュート量とは、(書いた文字の軌跡の合計長さ)/(指定した形状と大きさで文字を書いた場合の文字の軌跡の合計長さ)(%)を示したものである。
【0069】
図15に示すように、遅延が増加すると文字を書いた際のオーバーシュート(行き過ぎ量)が増え、視覚運動刺激画像を提示すると、このオーバーシュートが小さくなることがわかる。
【0070】
図16は、本実験で使用した2文字についてのオーバーシュートの変化の様子を示す図である。
【0071】
図16に示すように、2文字とも、遅延の増加とともにオーバーシュートが出現するものの、刺激提示によりオーバーシュートが減少していることがわかる。
【0072】
以上のように、本実験の結果から、視覚運動刺激生成部3で順方向の刺激を提示することにより、運動における操作抵抗感を軽減する効果に加え、書字時間及びストロークのオーバーシュートを減少させる効果が得られることが確認できた。
【0073】
(第2の実施の形態)
図5は、本発明の操作抵抗感制御装置の第2の実施の形態が適用される状況を示す図である。
【0074】
本形態においては、図5に示すように、視覚フィードバックのみを利用した操作対象となるロボットアームの遠隔操作を想定する。操作者の手先位置はカメラにより取得されており、ロボットアームはその手先と連動して動いている。すなわち、ロボットアームは、操作者の操作に応じて動くものであり、操作者は、ディスプレイによりロボットアームの姿勢をリアルタイムで確認することができる。このように、視覚フィードバックのみが提示される状況では、ロボットアームが周辺の物体と衝突しても操作者はそれに気付かない可能性があり、ロボットアームの可動範囲内の物体に継続的に力を加え、それを変形してしまうという危険性がある。
【0075】
図6は、本発明の操作抵抗感制御装置の第2の実施の形態を示すブロック図である。
【0076】
本形態は図6に示すように、肢運動方向検出部1と、撮影装置7と、視覚運動刺激生成部3と、画像合成部4と、画像表示部5と、操作入力部6とから構成されている。
【0077】
肢運動方向検出部1は、画像表示部5によって表示されるロボットアーム20の画像を見ながら操作を行う操作者10の操作に関与する腕の動きをカメラで撮影し、手先の位置と運動方向を計算して時々刻々求めることにより、手先の位置とその運動方向を検出する。
【0078】
撮影装置7は、遠隔地の操作対象となるロボットアーム20及びその周辺の画像を撮影することによって取得する。
【0079】
視覚運動刺激生成部3は、撮影装置7から取得した画像を解析し、この解析結果に基づいて、ロボットアーム20が他の物体と衝突したことあるいは衝突の可能性があることを検出した場合、所定の視覚運動刺激エリア内に表示されるパターン(縞模様)が、肢運動方向検出部1にて検出された操作者10の手先の運動と反対の方向に、第1の実施の形態にて示したものと同様の縞模様が動き、操作者が手を止めると縞模様の動きも止めるように制御した視覚運動刺激画像を生成する。
【0080】
画像合成部4は、視覚運動刺激生成部3で生成された視覚運動刺激画像と、撮影装置7で取得したロボットアーム20の映像とを合成し、画像表示部5へ送る。このとき、視覚運動刺激画像は、撮影装置7で取得したロボットアーム20の映像と重ならないように、その周囲に表示されるよう合成しても良いし、ロボットアーム20の映像と重なる位置に表示しても良い。ただし、ロボットアーム20の映像と重ねて表示する場合には、ロボットアーム20の映像全体が隠れてしまわないように、視覚運動刺激画像(視覚運動刺激エリア)の大きさはロボットアーム20の映像よりも小さくしておく。
【0081】
画像表示部5は、画像合成部4から取得した画像を操作者10に表示する。
【0082】
上記のように構成された操作抵抗感制御装置においては、視覚運動刺激生成部3において、ロボットアーム20と他の物体との衝突あるいは衝突の可能性を検出した場合、操作者10の手先の運動と反対の方向に、第1の実施の形態に示したものと同様に所定の視覚運動刺激エリア内を縞状の模様が動く視覚運動刺激画像を提示するものであり、この点が第1の実施の形態に示したものに対して異なる。
【0083】
このように、操作者10の動きと反対方向に所定のパターンが動く画像である視覚運動刺激画像を提示することにより、操作者10は実際よりも大きな操作抵抗感を感じる。このような視覚運動刺激画像の提示とそれによって生じる運動の抵抗感により、操作者10に、ロボットアーム20が他の物体と衝突したこと、あるいは衝突しそうである状況であることに対する注意を喚起することができる。これにより、外部の他の物体を変形するといった事故を軽減することが可能となる。
【0084】
なお、操作対象の大きさが大きいほど、視覚運動刺激画像を操作の方向と逆方向に動かす速度を早くすることにより、操作対象の大きさを考慮した操作抵抗感を操作者に与えることができる。
【0085】
(第3の実施の形態)
図7は、本発明の操作抵抗感制御装置の第3の実施の形態を示すブロック図である。
【0086】
本形態は図7に示すように、肢運動方向検出部1と、仮想空間操作部8と、視覚運動刺激生成部3と、画像合成部4と、画像表示部5とから構成されている。
【0087】
肢運動方向検出部1は、画像表示部5によって表示される仮想物体の画像を見ながら操作を行う操作者10の操作に関与する腕の動きをカメラで撮影し、手先の位置と運動方向を計算して時々刻々求めることにより、手先の位置とその運動方向を検出する。
【0088】
仮想空間操作部8は、仮想物体の大きさや想定された重量情報を保持し、肢運動方向検出部1にて検出された操作者10の手の位置及び動きに応じて、画像表示部5に投影された仮想空間中の仮想物体を移動させる指示を画像合成部4へ送る。
【0089】
視覚運動刺激生成部3は、仮想空間操作部8から、移動対象となっている仮想物体の大きさや重量情報を取得し、仮想物体の大きさや重量に応じて、視覚運動刺激エリアに表示される所定の空間周波数を持つパターンを動かす量や大きさ、方向等を変化させた視覚運動刺激を生成する。例えば、仮想物体が大きな場合や想定された重量が重い場合には、肢運動方向検出部1にて検出された運動方向と反対方向にパターンを動かし、また、仮想物体が小さいあるいは軽いという想定の場合には運動方向と同じ方向にパターンを動かす。このとき、仮想物体の大きさや想定された重量に比例させて、パターンを動かす速度を増減させると、仮想物体の大きさの違いによる操作抵抗感をより細かく制御することができる。速度の増減は、時間周波数を変化させることにより制御できる。さらに、仮想物体の大きさや想定された重量に応じて、視覚運動刺激エリアの面積を増減させてもよく、面積が大きいほど、操作抵抗感の変化をより大きく実感することができる。
【0090】
画像合成部4は、画像表示部5に表示されている現在の仮想空間の画像について、仮想空間操作部8から指定された仮想物体を動かした画像を生成する。そして、生成した画像と視覚運動刺激生成部3から取得した視覚運動刺激画像とを合成した画像を画像表示部5へ送る。なお、仮想物体の現在の位置は、画像合成部に記憶されているものとする。また、視覚運動刺激画像は、仮想空間の画像と重ならないように、その周囲に表示されるよう合成しても良いし、仮想空間の画像と重なる位置に表示しても良い。ただし、仮想空間の画像と重ねて表示する場合には、仮想空間の画像全体が隠れてしまわないように、視覚運動刺激画像(視覚運動刺激エリア)の大きさは仮想空間の画像よりも小さくしておく。
【0091】
画像表示部5は、画像合成部4から取得した仮想空間と視覚運動刺激画像を操作者10に表示する。
【0092】
上記のように構成された操作抵抗感制御装置においては、仮想現実感を実現するような環境において、視覚的仮想物体の移動を実際の手の動きに合わせて表示する場合において、視覚運動刺激生成部3において、操作対象物となる仮想物体の大きさや想定された重量に応じて視覚運動刺激の速度を増加・減少させたり、視覚運動刺激の面積を増加・減少させたりすることにより、仮想空間上での操作対象の大きさや重さを操作者に感じさせることができ、この点が第1及び第2の実施の形態と異なるものである。
【0093】
図8は、図7に示した視覚運動刺激生成部3にて生成される視覚運動刺激画像による効果を説明するための図である。
【0094】
図8においては、図中Aに示すなめらかなテクスチャの画像と、図中Bに示す荒いテクスチャの画像を指で横になぞる場合の摩擦による抵抗感の違いを、図中Cに示す縞模様の動きによって生成するための画像全体を示している。
【0095】
指が図中Aにある場合は指の動きの方向にCのエリアの縞模様を動かし、指が図中Bにある場合は指の動きの方向と反対方向にCのエリアの縞模様を動かす。これにより、図中Aに示すなめらかなテクスチャの画像を指で横になぞる場合は操作抵抗感が小さくなり、また、図中Bに示す荒いテクスチャの画像を指で横になぞる場合は操作抵抗感が大きくなるようにできる。
【0096】
なお、本例では横方向の抵抗感の操作しか想定していないが、縦方向や斜め方向の指の動きに対する抵抗感についても、図3に示した例のような縞模様を適切に設定することにより実現することができる。
【0097】
このように、本形態においては、手の動きに対して順方向や反対方向に与える視覚運動刺激画像の量や大きさを変化させることで、実際に外部から力を与えることをまったく行わないで操作抵抗感の増加・減少を制御し、重さの感覚や質感の違いを擬似的に伝えることができる。
【0098】
なお、本形態においても、第1の実施の形態に示したものと同様に、画像表示部7に表示された仮想空間における操作者の手の位置を示すマーカ画像を生成するために肢運動マーカ画像生成部を有する構成とすることも考えられる。
【0099】
なお、本発明においては、操作抵抗感制御装置内の処理は上述の専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを操作抵抗感制御装置にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを操作抵抗感制御装置に読み込ませ、実行するものであっても良い。操作抵抗感制御装置にて読取可能な記録媒体とは、ICカードやメモリカード、あるいは、フロッピーディスク(登録商標)、光磁気ディスク、DVD、CDなどの移設可能な記録媒体の他、操作抵抗感制御装置に内蔵されたHDD等を指す。この記録媒体に記録されたプログラムは、例えば、制御ブロックにて読み込まれ、制御ブロックの制御によって、上述したものと同様の処理が行われる。
【符号の説明】
【0100】
1 肢運動方向検出部
2 肢運動マーカ画像生成部
3 視覚運動刺激生成部
4 画像合成部
5 画像表示部
6 操作入力部
7 撮影装置
8 仮想空間操作部
10 操作者
【特許請求の範囲】
【請求項1】
画像を見ながら操作を行う操作者の操作抵抗感を軽減する操作抵抗感制御装置であって、
前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出部と、
前記肢運動方向検出部にて検出された体の部位の位置を示すマーカ画像を生成する肢運動マーカ画像生成部と、
所定の大きさの視覚運動刺激エリア内部に表示するパターンを前記肢運動方向検出部にて検出された運動方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
前記肢運動マーカ画像生成部にて生成されたマーカ画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像と、予め設定された背景画像とを合成する画像合成部と、
前記画像合成部にて合成された画像を表示する画像表示部とを有する操作抵抗感制御装置。
【請求項2】
操作者の操作に応じて動く操作対象を該操作対象の画像を見ながら遠隔操作する際に、前記操作対象の動きに応じて前記操作者の操作抵抗感を増加させる操作抵抗感制御装置であって、
前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出部と、
前記操作対象を含む画像を取得する撮影部と、
前記撮影部にて取得された画像に基づいて、前記操作対象が他の物体に衝突したことを検出した場合または衝突する可能性のあることを検出した場合、所定の大きさの視覚運動刺激エリア内部に表示するパターンを前記肢運動方向検出部にて検出された運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
前記撮影部にて撮影された画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像とを合成する画像合成部と、
前記画像合成部にて合成された画像を表示する画像表示部とを有する操作抵抗感制御装置。
【請求項3】
請求項2に記載の操作抵抗感制御装置において、
前記視覚運動刺激生成部は、前記操作対象の大きさが大きいほど前記視覚運動刺激エリア内部に表示するパターンが逆方向に移動する速度を早くする操作抵抗感制御装置。
【請求項4】
操作者の操作に応じて仮想物体が移動する仮想空間画像を見ながら操作を行う際の操作抵抗感を増減する操作抵抗感制御装置であって、
前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出部と、
前記仮想物体の大きさや重量情報を保持し、前記肢運動方向検出部にて検出された運動方向に前記仮想物体を移動させる仮想空間操作部と、
所定の大きさの視覚運動刺激エリア内部のパターンを、前記仮想空間操作部にて移動させる仮想物体の大きさや重量に応じて、前記肢運動方向検出部にて検出された運動方向、または該運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
前記仮想空間画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像とを合成する画像合成部と、
前記画像合成部にて合成された画像を表示する画像表示部とを有する操作抵抗感制御装置。
【請求項5】
請求項1乃至4のいずれか1項に記載の操作抵抗感制御装置を動作させるためのプログラム。
【請求項6】
画像を見ながら操作を行う操作者の操作抵抗感を軽減する操作抵抗感制御方法であって、
前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出ステップと、
前記肢運動方向検出ステップにて検出した体の部位の位置を示すマーカ画像を生成する肢運動マーカ画像生成ステップと、
所定の大きさの視覚運動刺激エリア内部のパターンを、前記肢運動方向検出ステップにて検出した運動方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成ステップと、
前記肢運動マーカ画像生成ステップにて生成したマーカ画像と、前記視覚運動刺激生成ステップにて生成した視覚運動刺激画像と、予め設定された背景画像とを合成する画像合成ステップと、
前記画像合成ステップにて合成した画像を表示する画像表示ステップとを有する操作抵抗感制御方法。
【請求項7】
操作者の操作に応じて動く操作対象を該操作対象の画像を見ながら遠隔操作する際に、前記操作対象の動きに応じて前記操作者の操作抵抗感を増加させる操作抵抗感制御方法であって、
前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出ステップと、
前記操作対象を含む画像を取得する撮影ステップと、
前記肢運動方向検出ステップにて検出した体の部位及び該部位の運動方向と、前記撮影ステップにて取得した画像とに基づいて、前記操作対象が他の物体に衝突したことを検出した場合または衝突する可能性のあることを検出した場合、所定の大きさの視覚運動刺激エリア内部のパターンを、前記肢運動方向検出部にて検出した運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成ステップと、
前記撮影ステップにて撮影した画像と、前記視覚運動刺激生成部にて生成した視覚運動刺激画像とを合成する画像合成ステップと、
前記画像合成ステップにて合成した画像を表示する画像表示ステップとを有する操作抵抗感制御方法。
【請求項8】
請求項7に記載の操作抵抗感制御方法において、
前記視覚運動刺激生成ステップは、前記操作対象の大きさが大きいほど前記視覚運動刺激エリア内部に表示するパターンが逆方向に移動する速度を早くする操作抵抗感制御方法。
【請求項9】
操作者の操作に応じて仮想物体が移動する仮想空間画像を見ながら操作を行う際の操作抵抗感を増減する操作抵抗感制御方法であって、
前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出ステップと、
前記肢運動方向検出ステップにて検出した運動方向に前記仮想物体を移動させる仮想空間操作ステップと、
所定の大きさの視覚運動刺激エリア内部のパターンを、前記仮想空間操作ステップにて移動させる仮想物体の大きさや重量に応じて、前記肢運動方向検出ステップにて検出した運動方向、または該運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成ステップと、
前記仮想空間画像と、前記視覚運動刺激生成ステップにて生成した視覚運動刺激画像とを合成する画像合成ステップと、
前記画像合成ステップにて合成した画像を表示する画像表示ステップとを有する操作抵抗感制御方法。
【請求項1】
画像を見ながら操作を行う操作者の操作抵抗感を軽減する操作抵抗感制御装置であって、
前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出部と、
前記肢運動方向検出部にて検出された体の部位の位置を示すマーカ画像を生成する肢運動マーカ画像生成部と、
所定の大きさの視覚運動刺激エリア内部に表示するパターンを前記肢運動方向検出部にて検出された運動方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
前記肢運動マーカ画像生成部にて生成されたマーカ画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像と、予め設定された背景画像とを合成する画像合成部と、
前記画像合成部にて合成された画像を表示する画像表示部とを有する操作抵抗感制御装置。
【請求項2】
操作者の操作に応じて動く操作対象を該操作対象の画像を見ながら遠隔操作する際に、前記操作対象の動きに応じて前記操作者の操作抵抗感を増加させる操作抵抗感制御装置であって、
前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出部と、
前記操作対象を含む画像を取得する撮影部と、
前記撮影部にて取得された画像に基づいて、前記操作対象が他の物体に衝突したことを検出した場合または衝突する可能性のあることを検出した場合、所定の大きさの視覚運動刺激エリア内部に表示するパターンを前記肢運動方向検出部にて検出された運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
前記撮影部にて撮影された画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像とを合成する画像合成部と、
前記画像合成部にて合成された画像を表示する画像表示部とを有する操作抵抗感制御装置。
【請求項3】
請求項2に記載の操作抵抗感制御装置において、
前記視覚運動刺激生成部は、前記操作対象の大きさが大きいほど前記視覚運動刺激エリア内部に表示するパターンが逆方向に移動する速度を早くする操作抵抗感制御装置。
【請求項4】
操作者の操作に応じて仮想物体が移動する仮想空間画像を見ながら操作を行う際の操作抵抗感を増減する操作抵抗感制御装置であって、
前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出部と、
前記仮想物体の大きさや重量情報を保持し、前記肢運動方向検出部にて検出された運動方向に前記仮想物体を移動させる仮想空間操作部と、
所定の大きさの視覚運動刺激エリア内部のパターンを、前記仮想空間操作部にて移動させる仮想物体の大きさや重量に応じて、前記肢運動方向検出部にて検出された運動方向、または該運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
前記仮想空間画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像とを合成する画像合成部と、
前記画像合成部にて合成された画像を表示する画像表示部とを有する操作抵抗感制御装置。
【請求項5】
請求項1乃至4のいずれか1項に記載の操作抵抗感制御装置を動作させるためのプログラム。
【請求項6】
画像を見ながら操作を行う操作者の操作抵抗感を軽減する操作抵抗感制御方法であって、
前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出ステップと、
前記肢運動方向検出ステップにて検出した体の部位の位置を示すマーカ画像を生成する肢運動マーカ画像生成ステップと、
所定の大きさの視覚運動刺激エリア内部のパターンを、前記肢運動方向検出ステップにて検出した運動方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成ステップと、
前記肢運動マーカ画像生成ステップにて生成したマーカ画像と、前記視覚運動刺激生成ステップにて生成した視覚運動刺激画像と、予め設定された背景画像とを合成する画像合成ステップと、
前記画像合成ステップにて合成した画像を表示する画像表示ステップとを有する操作抵抗感制御方法。
【請求項7】
操作者の操作に応じて動く操作対象を該操作対象の画像を見ながら遠隔操作する際に、前記操作対象の動きに応じて前記操作者の操作抵抗感を増加させる操作抵抗感制御方法であって、
前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出ステップと、
前記操作対象を含む画像を取得する撮影ステップと、
前記肢運動方向検出ステップにて検出した体の部位及び該部位の運動方向と、前記撮影ステップにて取得した画像とに基づいて、前記操作対象が他の物体に衝突したことを検出した場合または衝突する可能性のあることを検出した場合、所定の大きさの視覚運動刺激エリア内部のパターンを、前記肢運動方向検出部にて検出した運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成ステップと、
前記撮影ステップにて撮影した画像と、前記視覚運動刺激生成部にて生成した視覚運動刺激画像とを合成する画像合成ステップと、
前記画像合成ステップにて合成した画像を表示する画像表示ステップとを有する操作抵抗感制御方法。
【請求項8】
請求項7に記載の操作抵抗感制御方法において、
前記視覚運動刺激生成ステップは、前記操作対象の大きさが大きいほど前記視覚運動刺激エリア内部に表示するパターンが逆方向に移動する速度を早くする操作抵抗感制御方法。
【請求項9】
操作者の操作に応じて仮想物体が移動する仮想空間画像を見ながら操作を行う際の操作抵抗感を増減する操作抵抗感制御方法であって、
前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出ステップと、
前記肢運動方向検出ステップにて検出した運動方向に前記仮想物体を移動させる仮想空間操作ステップと、
所定の大きさの視覚運動刺激エリア内部のパターンを、前記仮想空間操作ステップにて移動させる仮想物体の大きさや重量に応じて、前記肢運動方向検出ステップにて検出した運動方向、または該運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成ステップと、
前記仮想空間画像と、前記視覚運動刺激生成ステップにて生成した視覚運動刺激画像とを合成する画像合成ステップと、
前記画像合成ステップにて合成した画像を表示する画像表示ステップとを有する操作抵抗感制御方法。
【図1】
【図4】
【図6】
【図7】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図5】
【図8】
【図9】
【図10】
【図11】
【図12】
【図4】
【図6】
【図7】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図5】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−33146(P2012−33146A)
【公開日】平成24年2月16日(2012.2.16)
【国際特許分類】
【出願番号】特願2011−37096(P2011−37096)
【出願日】平成23年2月23日(2011.2.23)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
【公開日】平成24年2月16日(2012.2.16)
【国際特許分類】
【出願日】平成23年2月23日(2011.2.23)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
[ Back to top ]