説明

表示システム、表示方法およびプログラム

【課題】コンピュータ等を直接操作することなく、実空間内の物体の外観をコピーして、実空間内の任意の位置に表示する。
【解決手段】実空間における対象領域に対するユーザの操作を検出する操作検出部と、対象領域に対してユーザが予め定められたコピー操作をしたことに応じて、対象領域を撮像した画像におけるコピー操作により指定された範囲を取得する画像取得部と、対象領域に対してユーザが予め定められたペースト操作をしたこと応じて、実空間に画像を表示するための表示装置を制御して、コピー操作により取得された画像をペースト操作により指定された位置に表示する表示制御部と、を備える表示システムを提供する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示システム、表示方法およびプログラムに関する。
【背景技術】
【0002】
特許文献1には、コピー対象を正確に選択するための方法が記載されている。特許文献2には、マルチタッチパネルにおいて、指のジェスチャーにより情報を入力する方法が記載されている。特許文献3には、対象物を含む領域に注釈画像を表示する方法が記載されている。特許文献4には、複数のデプスセンシングカメラと複数のプロジェクタとの座標を一致させて、3次元空間の任意の位置に仮想的なオブジェクトを表示する方法が記載されている。
特許文献1 特許第4056477号明細書
特許文献2 特表2010−532055号公報(WO2009/002758)
特許文献3 特開2009−290488号公報
特許文献4 US2011/0205341
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかし、従来、コンピュータ等を直接操作することなく、実空間内の物体の外観をコピーして、実空間内の任意の位置に表示させることはできなかった。
【課題を解決するための手段】
【0004】
本発明の第1の態様においては、実空間における対象領域に対するユーザの操作を検出する操作検出部と、前記対象領域に対してユーザが予め定められたコピー操作をしたことに応じて、前記対象領域を撮像した画像における前記コピー操作により指定された範囲を取得する画像取得部と、前記対象領域に対して前記ユーザが予め定められたペースト操作をしたこと応じて、前記実空間に画像を表示するための表示装置を制御して、前記コピー操作により取得された画像を前記ペースト操作により指定された位置に表示する表示制御部と、を備える表示システム、及び、このような表示システムに関連する表示方法およびプログラムを提供する。
【0005】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0006】
【図1】本実施形態に係る表示システム10の構成を示す。
【図2】本実施形態に係る制御装置30の機能構成を示す。
【図3】スクリーン14(対象平面)に設けられたポスター62および表示された画像オブジェクトの一例を示す。
【図4】初期化処理のフローを示す。
【図5】通常処理のフローを示す。
【図6】コピー操作の一例を示す。
【図7】コピー操作がされた場合の処理フローを示す。
【図8】ペースト操作の一例を示す。
【図9】ペースト操作がされた場合の処理フローを示す。
【図10】移動操作の一例を示す。
【図11】移動操作または拡大縮小操作がされた場合の処理フローを示す。
【図12】コピー操作時に表示される枠66および画像68の一例を示す。
【図13】低解像度でコピーする場合および高解像度でコピーする場合のコピー操作の一例を示す。
【図14】操作する指毎に異なる画像を対応付けてコピーする場合のコピー操作およびペースト操作の一例を示す。
【図15】本実施形態の変形例に係る制御装置30の機能ブロックを示す。
【図16】本実施形態の変形例に係る表示システム10によるデータの表示例を示す。
【図17】本実施形態に係るコンピュータ1900のハードウェア構成の一例を示す。
【発明を実施するための形態】
【0007】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0008】
図1は、本実施形態に係る表示システム10の構成を示す。表示システム10は、ユーザがコピーを表す動作(コピー操作)をしたことに応じて、対象領域(本実施形態においては対象平面)におけるユーザにより指定された範囲の画像を撮像して取得する。そして、表示システム10は、ユーザがペーストを表す動作(ペースト操作)をしたことに応じて、コピー操作によって取得した画像を対象領域(本実施形態においては対象平面)のユーザにより指定された位置に例えば投影して表示する。
【0009】
表示システム10は、撮像装置22と、表示装置24と、距離検出装置26と、制御装置30とを備える。撮像装置22は、実空間における対象平面の少なくとも一部を撮像する。本実施形態において、対象平面は、部屋12内に設けられたスクリーン14である。しかし、対象領域は、スクリーン14に限らず、机上の面、部屋の側壁、床面等の他の領域であってもよい。また、対象領域は、平面に限らず、曲面または段差が付いた面等であってもよい。
【0010】
表示装置24は、実空間における対象平面の少なくとも一部に画像を表示する。表示装置24は、一例として、対象平面に画像を投影するプロジェクタである。また、表示装置24は、スクリーン14と一体的に設けられたフラットパネルディスプレイであってもよい。
【0011】
なお、撮像装置22の撮像範囲と表示装置24の表示範囲とは、互いに重複する範囲であってもよいし、重複しない範囲であってもよい。例えば、スクリーン14の全面が対象平面である場合、撮像装置22の撮像範囲がスクリーン14における左半分の範囲であり、表示装置24の表示範囲がスクリーン14における右半分の範囲である。
【0012】
距離検出装置26は、実空間における物体までの距離を検出する。距離検出装置26は、一例として、右側カメラと左側カメラとを有するステレオカメラである。このような距離検出装置26は、右側カメラにより撮像された画像と左側カメラにより撮像された画像との間の視差により、画面内の各物体までの被写体距離を表すことができる。本実施形態においては、距離検出装置26は、ステレオ画像に基づき画面内に含まれる物体の表面の各位置までの距離を示す距離画像を生成して出力する。
【0013】
制御装置30は、コンピュータである。制御装置30は、撮像装置22、表示装置24および距離検出装置26の動作を制御する。より具体的には、制御装置30は、撮像装置22を制御して、撮像装置22により撮像された撮像画像を取得する。また、制御装置30は、距離検出装置26を制御して、距離検出装置26により生成された距離画像を取得する。さらに、制御装置30は、表示装置24を制御して、対象平面に画像を表示する。
【0014】
図2は、本実施形態に係る制御装置30の機能構成を示す。制御装置30は、距離取得部42と、対象平面特定部44と、平面パラメータ記憶部46と、操作検出部48と、メイン制御部50と、画像取得部52と、コピー画像記憶部54と、オブジェクト記憶部56と、表示制御部58とを有する。
【0015】
距離取得部42は、距離検出装置26から、実空間における各物体までの距離を示す距離画像を取得する。対象平面特定部44は、距離取得部42により取得された距離画像に基づき、対象平面の位置を特定する。対象平面特定部44は、一例として、初期化処理において、対象平面の位置を特定する。平面パラメータ記憶部46は、対象平面特定部44により特定された対象平面の位置を表す平面パラメータを記憶する。
【0016】
操作検出部48は、通常処理において、距離取得部42により取得された距離画像、および、平面パラメータ記憶部46に記憶された平面パラメータに基づき、実空間における対象平面に対するユーザの操作を検出する。本実施形態においては、操作検出部48は、対象平面から予め定められた距離内に位置するユーザの身体の予め定められた部位(例えば手)の動きに基づき、対象平面に対するユーザの操作を検出する。
【0017】
操作検出部48は、一例として、ユーザの手が対象平面に触れた状態で右に動いた場合、コピー操作がされたと検出する。操作検出部48は、一例として、ユーザの手が対象平面に触れた状態で左に動いた場合、ペースト操作がされたと検出する。操作検出部48は、一例として、ユーザの手が対象平面に触れた状態で下に動いた場合、消去操作がされたと検出する。操作検出部48は、一例として、ユーザの手が表示されている画像に触れている場合、移動操作または拡大縮小操作がされたと検出する。
【0018】
メイン制御部50は、操作検出部48により検出されたユーザの操作に応じて、画像取得部52、コピー画像記憶部54、オブジェクト記憶部56および表示制御部58を制御する。さらに、メイン制御部50は、距離取得部42を制御して距離画像を取得させる。
【0019】
画像取得部52は、撮像装置22により撮像された画像を入力する。そして、画像取得部52は、対象平面に対してユーザがコピー操作をしたことに応じて、対象平面を撮像した画像におけるコピー操作により指定された範囲を取得する。コピー画像記憶部54は、画像取得部52が取得した範囲の画像を、コピー画像として一時的に記憶する。
【0020】
オブジェクト記憶部56は、対象平面に表示するべき1または複数の画像オブジェクトを記憶する。ここで、画像オブジェクトは、画像データとともに、当該画像の表示上の大きさを示す大きさデータおよび表示位置を表す座標データを含むデータである。
【0021】
表示制御部58は、表示装置24を制御して、オブジェクト記憶部56に含まれる1または複数の画像オブジェクトを対象平面上に表示する。この場合において、表示制御部58は、1または複数の画像オブジェクトのそれぞれに含まれる画像データが、座標データにより表させる座標に表示され、且つ、大きさデータにより表される大きさで表示されるように、1または複数の画像オブジェクトに含まれる画像データを合成して表示する。
【0022】
さらに、表示制御部58は、対象平面に対してユーザがペースト操作をしたこと応じて、表示装置24を制御して、画像取得部52により取得されたコピー画像を実空間におけるペースト操作により指定された位置に表示する。この場合、メイン制御部50は、対象平面に対してユーザがペースト操作をしたことに応じて、コピー画像記憶部54に記憶されているコピー画像にペースト操作により指定された座標データおよび大きさデータを付加して新たな画像オブジェクトを生成し、生成した新たな画像オブジェクトをオブジェクト記憶部56に記憶させる。
【0023】
そして、表示制御部58は、オブジェクト記憶部56に記憶された新たな画像オブジェクトを含む1または複数の画像オブジェクトを合成して対象平面に表示する。これにより、表示制御部58は、ペースト操作により指定された位置に、コピー画像を表示することができる。
【0024】
なお、制御装置30は、対象平面の座標を1つの物理オブジェクトとして予め登録し、物理オブジェクトとして登録された対象平面に対する各種の操作入力があったことに応じて対応するメソッドを呼び出してデータの入出力をするプログラムを実行する。これにより、ユーザは、対象平面を1つのコンピュータにより制御可能な物理オブジェクトとして認識しながら制御プログラムを記述することができるので、容易にプログラミングをすることができる。
【0025】
図3は、スクリーン14(対象平面)に設けられたポスター62および表示された画像オブジェクトの一例を示す。表示システム10によれば、ユーザがあたかも対象平面上の物体の外観をコピーして指定された位置にペーストしているように、画像の撮像および表示をすることができる。
【0026】
例えば、図3に示されるように、人物およびカレンダーが描かれたポスター62がスクリーン14上に設けられていたとする。このような場合において、表示システム10は、スクリーン14に対するユーザの動作によって、ポスター62内の人物の画像とカレンダーの画像とをそれぞれ別個にコピーして、それぞれの画像をスクリーン14上の指定された位置にペーストすることができる。また、さらに、表示システム10は、スクリーン14に対するユーザの動作によって、ペーストした画像を移動したり、ペーストした画像を拡大縮小したり、ペーストした画像を消去したりすることもできる。
【0027】
図4は、初期化処理のフローを示す。表示システム10の制御装置30は、ユーザによる操作に先立って、図4に示すステップS11からステップS15の初期化処理を実行する。
【0028】
まず、ステップS11において、制御装置30は、距離検出装置26から距離画像を取得する。この場合において、制御装置30は、少なくとも対象平面を含む距離画像を取得する。
【0029】
続いて、ステップS12において、制御装置30は、距離画像に基づき対象平面の位置を特定する。制御装置30は、一例として、距離画像内の各点から、RANSAC法等により、空間内における平面を表す式(a・x+b・y+c・z=d)に一致する点を抽出して、対象平面の位置を特定する。なお、平面を表す式において、a、b、c、dは、定数である。また、平面を表す式において、xは、実空間における横軸方向の位置を表す変数であり、yは、実空間における縦軸方向の位置を表す変数であり、zは、実空間における高さ軸方向の位置を表す変数である。
【0030】
続いて、ステップS13において、制御装置30は、表示装置24を制御して、対象平面上に予め定められた模様のチェッカーパターンを表示する。制御装置30は、一例として、格子状のチェッカーパターンを表示する。続いて、ステップS14において、制御装置30は、チェッカーパターンが表示された対象平面を撮像装置22および距離検出装置26のそれぞれにより撮像して、画像を取得する。
【0031】
続いて、ステップS15において、制御装置30は、表示装置24により表示される画像の座標、撮像装置22により撮像される画像の座標、および、距離検出装置26により検出される距離画像の座標のそれぞれを互いに位置合わせする。このような初期化処理を実行することにより、制御装置30は、対象平面に対するユーザの操作位置、対象平面に対する画像の撮像位置、および、対象平面に対する画像の表示位置を一致させることができる。
【0032】
図5は、通常処理のフローを示す。表示システム10の制御装置30は、初期化処理を終了した後に、図5に示すステップS21からステップS35の通常処理を実行する。
【0033】
まず、ステップS21において、制御装置30は、距離画像を取得する。続いて、ステップS22において、制御装置30は、距離画像に基づき、対象平面から予め定められた距離範囲内に位置する物体の表面領域Tを検出する。例えば、制御装置30は、ユーザの手等が、対象平面であるスクリーン14から予め定められた距離(例えば5cm)以内に位置する場合、当該手の表面領域Tを検出する。これにより、制御装置30は、ユーザの手が対象平面であるスクリーン14に触った或いは接触しているといえるほどに近づいたことを検出することができる。
【0034】
続いて、ステップS23において、制御装置30は、ステップS22で検出した表面領域Tを、初期化処理のステップS12で特定した対象平面に射影した領域T´に変換する。続いて、ステップS24において、制御装置30は、領域T´の重心座標Pを算出する。
【0035】
続いて、ステップS25において、制御装置30は、重心座標Pが、対象平面上に表示されている画像オブジェクト上に位置するか否かを判断する。すなわち、制御装置30は、例えばユーザの手が画像オブジェクト上にあるか否かを判断する。制御装置30は、重心座標Pが画像オブジェクト上に位置する場合(ステップS25のYes)、処理をステップS26に進めて、画像オブジェクトの移動操作または拡大縮小操作に応じた処理を実行する。そして、制御装置30は、移動操作または拡大縮小操作に応じた処理を終了すると、処理をステップS21に戻す。
【0036】
制御装置30は、重心座標Pが画像オブジェクト上に位置しない場合(ステップS25のNo)、処理をステップS27に進める。ステップS27において、制御装置30は、重心座標Pが、右方向に移動したか否かを判断する。制御装置30は、重心座標Pが右方向に移動した場合(ステップS27のYes)、処理をステップS28に進めて、コピー操作に応じた処理を実行する。そして、制御装置30は、コピー操作に応じた処理を終了すると、処理をステップS21に戻す。
【0037】
制御装置30は、重心座標Pが右方向に移動していない場合(ステップS27のNo)、処理をステップS29に進める。ステップS29において、制御装置30は、重心座標Pが左方向に移動したか否かを判断する。制御装置30は、重心座標Pが左方向に移動した場合(ステップS29のYes)、処理をステップS30に進めて、ペースト操作に応じた処理を実行する。そして、制御装置30は、ペースト操作に応じた処理を終了すると、処理をステップS21に戻す。
【0038】
制御装置30は、重心座標Pが左方向に移動していない場合(ステップS29のNo)、処理をステップS31に進める。ステップS31において、制御装置30は、重心座標Pが上方向に移動したか否かを判断する。制御装置30は、重心座標Pが上方向に移動した場合(ステップS31のYes)、処理をステップS32に進めて、保存操作に応じた処理を実行する。ここで、制御装置30は、保存操作がされた場合には、例えば、対象平面上に表示している画像オブジェクトをデータ格納部内に保存する処理を実行する。そして、制御装置30は、保存操作に応じた処理を終了すると、処理をステップS21に戻す。
【0039】
制御装置30は、重心座標Pが上方向に移動していない場合(ステップS31のNo)、処理をステップS33に進める。ステップS33において、制御装置30は、重心座標Pが下方向に移動したか否かを判断する。制御装置30は、重心座標Pが下方向に移動した場合(ステップS33のYes)、処理をステップS34に進めて、消去操作に応じた処理を実行する。ここで、制御装置30は、消去操作がされた場合には、例えば、対象平面上に表示している画像オブジェクトを消去する処理を実行する。そして、制御装置30は、消去操作に応じた処理を終了すると、処理をステップS21に戻す。
【0040】
制御装置30は、重心座標Pが、対象平面上において下方向に移動していない場合(ステップS33のNo)、処理をステップS35に進める。ステップS35において、制御装置30は、ユーザにより予め定められた停止指示がされたか否かを判断する。制御装置30は、ユーザにより停止指示がされた場合(ステップS35のYes)、当該フローを抜けて、通常処理を終了する。制御装置30は、ユーザにより停止指示がされていない場合(ステップS35のNo)、処理をステップS21に戻す。
【0041】
このような通常処理を実行することにより、制御装置30は、対象平面に対するユーザの操作に応じた処理を実行することができる。より具体的には、制御装置30は、対象平面に対するコピー操作、ペースト操作、移動操作、拡大縮小操作、保存操作および消去操作に応じた処理を実行することができる。
【0042】
図6は、コピー操作の一例を示す。制御装置30の画像取得部52は、対象平面に対してユーザがコピー操作をしたことに応じて、撮像装置22により撮像された対象平面を撮像した画像における、コピー操作により指定された範囲を取得する。
【0043】
画像取得部52は、一例として、対象平面に対してユーザが手を触れた状態で、縦方向に平行に並んだ複数の直線を一連の動作で描いた場合、これらの複数の直線を含む矩形の範囲の画像を、コピー操作において指定された範囲の画像として取得する。より詳しくは、画像取得部52は、ユーザが、対象平面上に右から左へ且つ上方向から下方向へと複数本の直線を描いた場合、これら複数の直線を囲む矩形の範囲の画像を、撮像装置22により撮像された画像から取得する。
【0044】
図7は、コピー操作がされた場合の処理フローを示す。表示システム10の制御装置30は、図5のステップS28のコピー操作に応じた処理として、ステップS41からステップS52の処理を実行する。
【0045】
まず、ステップS41において、制御装置30は、コピー範囲Wを0とする。続いて、ステップS42において、制御装置30は、距離画像を取得する。
【0046】
続いて、ステップS43において、制御装置30は、距離画像に基づき、対象平面から予め定められた距離範囲内に位置する物体の表面領域Tを検出する。続いて、ステップS44において、制御装置30は、ステップS43で検出した表面領域Tを、対象平面に射影した領域T´に変換する。
【0047】
続いて、ステップS45において、制御装置30は、コピー範囲Wと領域T´との論理和を演算して、演算結果をコピー範囲Wに代入する。これにより、制御装置30は、ユーザが対象平面を手で触って移動させた場合、手の移動範囲をコピー範囲として検出することができる。
【0048】
続いて、ステップS46において、制御装置30は、領域T´の面積Sを算出する。続いて、ステップS47において、制御装置30は、面積Sが予め定められた面積Cより大きいか否かを判断する。制御装置30は、面積Sが予め定められた面積Cより大きい場合(ステップS47のYes)、処理をステップS42に戻す。これにより、制御装置30は、ユーザの手が対象平面に接触し続けている場合には、コピー操作が継続していると判断して、コピー範囲Wの選択動作を継続することができる。
【0049】
制御装置30は、面積Sが予め定められた面積C以下の場合(ステップS47のNo)、処理をステップS48に進める。これにより、制御装置30は、例えばユーザの手が対象平面から離れた場合には、ユーザによるコピー操作が終了したと判断して、コピー範囲Wの選択動作を抜けて、次の処理に進むことができる。
【0050】
続いて、ステップS48において、制御装置30は、撮像装置22を制御して、実空間を撮像し、撮像画像Xを取得する。この場合において、制御装置30は、コピー範囲Wを含む範囲を撮像する。続いて、ステップS49において、制御装置30は、撮像画像Xを対象平面に射影した射影画像X´に変換する。
【0051】
続いて、ステップS50において、制御装置30は、射影画像X´とコピー範囲Wとをアンド演算して、射影画像X´からコピー範囲Wの画像(コピー画像R)を取得する。続いて、ステップS51において、制御装置30は、取得したコピー画像Rに、識別番号を割り当てる。そして、ステップS52において、制御装置30は、コピー画像R、当該コピー画像Rの大きさ(例えば横方向の長さおよび縦方向の長さ)、および、識別番号の組をコピー画像記憶部54に一時的に保存する。
【0052】
以上の処理により、制御装置30は、対象平面に対してユーザがコピー操作をした場合、コピー操作により指定された範囲の画像を取得することができる。
【0053】
図8は、ペースト操作の一例を示す。制御装置30の表示制御部58は、対象平面に対してユーザがペースト操作をしたことに応じて、表示装置24を制御して、コピー操作により取得されたコピー画像Rをペースト操作により指定された位置に表示する。
【0054】
表示制御部58は、一例として、ユーザが対象平面に対して手を触れた後に予め定められた方向(例えば左方向)に直線を描いたことに応じて、図7のステップS41からステップS52の処理により取得されたコピー画像Rを表示する。この場合において、表示制御部58は、例えば、対象平面上におけるユーザが手を触れた座標から、予め定められたベクトルを加算した位置にコピー画像Rを表示する。
【0055】
図9は、ペースト操作がされた場合の処理フローを示す。表示システム10の制御装置30は、図5のステップS30のペースト操作に応じた処理として、ステップS61からステップS67の処理を実行する。
【0056】
まず、ステップS61において、制御装置30は、距離画像を取得する。続いて、ステップS62において、制御装置30は、距離画像に基づき、対象平面から予め定められた距離範囲内に位置する物体の表面領域Tを検出する。
【0057】
続いて、ステップS63において、制御装置30は、ステップS62で検出した表面領域Tを、対象平面に射影した領域T´に変換する。続いて、ステップS64において、制御装置30は、領域T´の重心座標Pを算出する。
【0058】
続いて、ステップS65において、制御装置30は、領域T´の重心座標Pから、コピー画像Rを表示するための開始座標を算出する。制御装置30は、一例として、領域T´の重心座標Pを開始座標としてもよいし、領域T´の重心座標Pに予め定められたベクトルを加算した座標を開始座標としてもよい。
【0059】
続いて、ステップS66において、制御装置30は、コピー画像記憶部54に一時的に保存されたコピー画像Rに、ステップS65で算出した開始座標および当該コピー画像Rの大きさデータを付加して、新たな画像オブジェクトとしてオブジェクト記憶部56に保存する。これにより、オブジェクト記憶部56には、新たな画像オブジェクトが記憶される。
【0060】
続いて、ステップS67において、制御装置30は、オブジェクト記憶部56に記憶された1または複数の画像オブジェクトを合成して、対象平面上に表示する。より詳しくは、制御装置30は、オブジェクト記憶部56に記憶された1または複数の画像オブジェクトに含まれる画像データのそれぞれを、開始座標に示された位置、且つ、大きさデータに示された大きさで表示されるように合成する。
【0061】
以上の処理により、制御装置30は、対象平面に対してユーザがペースト操作をした場合、コピー画像Rをペースト操作により指定した位置に表示することができる。
【0062】
図10は、移動操作の一例を示す。制御装置30の表示制御部58は、対象平面に対して表示している画像に対してユーザが移動操作をしたことに応じて、表示装置24を制御して、当該画像の表示位置を移動操作により指定された方向に移動する。表示制御部58は、一例として、対象平面上に表示している画像に対してユーザが手を接触させた後に手を移動させたことに応じて、当該画像をユーザが手を移動させた方向に移動する。
【0063】
また、制御装置30の表示制御部58は、対象平面に対して表示している画像に対してユーザが拡大縮小操作をしたことに応じて、表示装置24を制御して、当該画像の大きさを拡大縮小操作により指定された大きさに変更する。表示制御部58は、一例として、対象平面上に表示している画像の4つの角の何れかにユーザが手を接触させた後に手を移動させたことに応じて、手を接触させた角の座標位置をユーザが手を移動させた方向に移動して当該画像を拡大縮小する。
【0064】
また、制御装置30の表示制御部58は、対象平面に対して表示している画像に対してユーザが予め定められた消去操作をしたことに応じて、当該画像を消去する。表示制御部58は、一例として、対象平面に対して表示している画像の近傍において、ユーザが手を接触させた後に手を下側に移動させたことに応じて、当該画像を消去する。
【0065】
図11は、移動操作または拡大縮小操作がされた場合の処理フローを示す。表示システム10の制御装置30は、図5のステップS26の移動操作および拡大縮小操作に応じた処理として、ステップS71からステップS81の処理を実行する。
【0066】
まず、ステップS71において、制御装置30は、ユーザの手等に重なっている画像オブジェクトLの開始座標および大きさデータを取得する。続いて、ステップS72において、制御装置30は、距離画像を取得する。ステップS73において、制御装置30は、距離画像に基づき、対象平面から予め定められた距離範囲内に位置する物体の表面領域Tを検出する。
【0067】
続いて、ステップS74において、制御装置30は、ステップS73で検出した表面領域Tを、対象平面に射影した領域T´に変換する。続いて、ステップS75において、制御装置30は、領域T´の重心座標Pを算出する。続いて、ステップS76において、制御装置30は、画像オブジェクトLの重心座標から、領域T´の重心座標PへのベクトルVを算出する。
【0068】
続いて、ステップS77において、制御装置30は、領域T´の重心座標Pが、画像オブジェクトLの4つの角から予め定められた範囲内に含まれているか否かを判断する。領域T´の重心座標Pが画像オブジェクトLの4つの角から予め定められた範囲内に含まれていない場合(ステップS77のNo)、制御装置30は、処理をステップS78に進める。また、領域T´の重心座標Pが画像オブジェクトLの4つの角から予め定められた範囲内に含まれている場合(ステップS77のYes)、制御装置30は、処理をステップS79に進める。
【0069】
ステップS78において、制御装置30は、画像オブジェクトLの開始座標に、ベクトルVを加算する。これにより、制御装置30は、画像オブジェクトLの表示位置を領域T´の重心座標Pの移動量分、移動させることができる。
【0070】
また、ステップS78において、制御装置30は、画像オブジェクトLの大きさデータ(横方向の長さおよび縦方向の長さ)に、ベクトルVを加算する。さらに、ステップS78において、制御装置30は、領域T´の重心座標Pが画像オブジェクトLの4つの角のいずれの領域に含まれているかに応じて、領域T´の重心座標Pの近傍の角が移動して、領域T´の重心座標Pの近傍の角に対して対向している角が固定するように、開始座標を併せて変更してもよい。これにより、制御装置30は、画像オブジェクトLを領域T´の重心座標Pの移動量分、拡大または縮小することができる。
【0071】
続いて、ステップS80において、制御装置30は、オブジェクト記憶部56に記憶された対応する画像オブジェクトLの開始座標および大きさデータを更新する。続いて、ステップS81において、制御装置30は、オブジェクト記憶部56に記憶された1または複数の画像オブジェクトを合成して、対象平面上に表示する。
【0072】
以上の処理により、制御装置30は、対象平面に対してユーザが移動操作または拡大縮小操作をした場合、表示している画像を移動または拡大縮小することができる。
【0073】
図12は、コピー操作時に表示される枠66および画像68の一例を示す。例えば、制御装置30の表示制御部58は、対象平面に対してユーザがコピー操作を開始してからコピー操作を完了するまでの間において、コピー操作において指定されている範囲を示す枠66を表示してもよい。これにより、表示システム10は、コピー操作により選択されている範囲を、ユーザに視覚的にフィードバックすることができる。この結果、表示システム10は、ユーザに正確な範囲指定をさせることができる。
【0074】
また、例えば、制御装置30の表示制御部58は、対象平面に対してユーザがコピー操作を開始してからコピー操作を完了するまでの間において、コピー操作において指定されている範囲の画像68を、対象平面におけるコピー操作において指定されている範囲外に表示してもよい。このようにしても、表示システム10は、コピー操作により選択されている範囲を、ユーザに視覚的に認識させることができる。
【0075】
また、制御装置30の表示制御部58は、予め指定された操作が割り付けられたボタンを有する操作パネルを表示してもよい。例えば、表示制御部58は、コピー操作、ペースト操作、移動操作、拡大縮小操作および消去操作等が割り付けられたボタンを有する操作パネルを、対象平面の上部等に表示してもよい。そして、この場合、制御装置30の操作検出部48は、操作パネルが有するボタンに対してユーザが操作したことに応じて、当該ボタンに割り付けられた操作を検出する。これにより、表示システム10は、ユーザの操作内容を確実に判別することができる。
【0076】
図13は、低解像度でコピーする場合および高解像度でコピーする場合のコピー操作の一例を示す。操作検出部48は、対象平面上にユーザが手で予め定められた方向に直線を描いたことに応じて、コピー操作がされたことを検出する。この場合において、画像取得部52は、一連の動作で描いた1または複数の直線を含む矩形の範囲を、コピー操作において指定された範囲として取得するとともに、ユーザが引いた直線の種類に応じて異なる解像度でコピー操作において指定された範囲の画像を取得してもよい。これにより、表示システム10は、ユーザの動作に応じて、コピーする画像の画質等の属性を変更することができる。
【0077】
例えば、画像取得部52は、ユーザが引いた複数の直線の間隔に応じて、異なる解像度の画像を取得する。より具体的には、画像取得部52は、間隔が広い場合には低解像度の画像を取得し、間隔が狭い場合には高解像度の画像を取得する。
【0078】
また、例えば、画像取得部52は、ユーザが引いた複数の直線の太さに応じて、異なる解像度の画像を取得する。より具体的には、画像取得部52は、直線が太い場合には低解像度の画像を取得し、直線が細い場合には高解像度の画像を取得する。
【0079】
同様に、画像取得部52は、直線を描く速度に応じて異なる解像度の画像を取得してもよい。さらに、画像取得部52は、画像の解像度に代えて、直線の種類に応じて異なる色深度で画像を取得してもよい。
【0080】
図14は、操作する指毎に異なる画像を対応付けてコピーする場合のコピー操作およびペースト操作の一例を示す。操作検出部48は、ユーザが何れの指でコピー操作またはペースト操作をしたかを検出してもよい。この場合、画像取得部52は、ユーザがコピー操作をしたことに応じて、操作をした指に対応付けて画像を取得する。そして、表示制御部58は、ユーザがペースト操作をしたことに応じて、操作をした指に対応して取得した画像を表示する。
【0081】
例えば、図14に示されるように、表示制御部58は、ユーザが親指でペースト操作をした場合には、親指でコピー操作をして取得したコピー画像(例えば人の画像)を表示する。また、図14に示されるように、表示制御部58は、ユーザが人差し指でペースト操作をした場合には、人差し指でコピー操作をして取得したコピー画像(例えばカレンダー画像)を表示する。これにより、表示システム10は、指毎に区別して画像のコピーおよびペースト等をすることができる。
【0082】
また、操作検出部48は、ユーザが、予め指定された属性が割り付けられた物体を持って対象平面に対して操作をしているか否かを検出してもよい。そして、この場合、画像取得部52は、操作検出部48が検出した物体に割り付けられた属性で、対象平面を撮像した画像におけるコピー操作により指定された範囲を取得してもよい。
【0083】
例えば、ボールには高解像度の属性が割り当てられ、箱には低解像度の属性が割り当てられているとする。この場合、操作検出部48は、ユーザがボールを持ってコピー操作をしているか、箱を持ってコピー操作をしているかを検出する。そして、画像取得部52は、ユーザがボールを持ってコピー操作をした場合には、コピー画像を高解像度で取得し、ユーザが箱を持ってコピー操作をした場合には、コピー画像を低解像度で取得する。これにより、表示システム10は、ユーザが保持している物に応じて、コピーする画像の画質等の属性を変更することができる。
【0084】
また、操作検出部48は、対象平面に対してユーザが手のみで操作をしたことを条件として、ユーザの操作を検出してもよい。例えば、操作検出部48は、ペン等を持って対象平面に対して文字を記入している場合には、ユーザの操作を検出しない。すなわち、操作検出部48は、ユーザが予め定められた物を持って操作をした場合にはユーザの操作を検出せず、何ら物を持たずに操作した場合にユーザの操作を検出する。これにより、表示システム10は、ペン等を持って対象平面に対して文字を記入している場合に、ユーザが対象平面に対して何らかの操作をしていると誤って判断してしまうことを無くすことができる。
【0085】
また、複数のユーザが対象平面に対して操作をしている場合、操作検出部48は、対象平面に対して操作をしたユーザを識別してもよい。この場合、画像取得部52は、対象平面に対してユーザがコピー操作をしたことに応じて、コピー操作をしたユーザに対応付けてコピー操作により指定された範囲を取得する。そして、表示制御部58は、対象平面に対してユーザがペースト操作をしたことに応じて、ペースト操作をしたユーザに対応して取得した画像を表示する。これにより、表示システム10は、ユーザ毎に区別して、区別して画像のコピーおよびペースト等をすることができる。
【0086】
また、画像取得部52は、対象平面の平面度が基準値以上となるタイミングにおいて撮像された画像における、対象平面におけるコピー操作により指定された範囲を取得してもよい。これにより、画像取得部52は、例えばユーザが対象平面の前に立っていることにより、対象平面に設けられた物体の外観がユーザに隠れて撮像装置22により撮像できない場合であっても、ユーザが対象平面の前から他の場所へ移動したタイミングにおいて撮像された画像から、コピー操作により指定された範囲を取得することができる。これにより、表示システム10によれば、障害物が写りこんでいないコピー画像を確実に取得することができる。
【0087】
また、画像取得部52は、異なるタイミングで撮像された複数の画像のそれぞれからコピー操作により指定された範囲における障害物により隠れていない部分を抽出し、抽出した部分を合成してコピー操作により指定された範囲を取得してもよい。このようにしても、表示システム10によれば、障害物が写りこんでいないコピー画像を確実に取得することができる。
【0088】
また、画像取得部52は、画像取得部52は、対象平面の全体を画角内に含めて撮像している状態より撮像倍率を大きくして撮像された画像から、対象平面におけるコピー操作により指定された範囲を取得してもよい。これにより、表示システム10によれば、鮮明なコピー画像を取得することができる。
【0089】
図15は、本実施形態の変形例に係る制御装置30の機能ブロックを示す。本変形例に係る表示システム10は、図1から図14を参照して説明した本実施形態に係る表示システム10と略同一の機能および構成を採るので、略同一の機能および構成を有する構成要素には同一の符号を付けて、相違点を除き説明を省略する。
【0090】
本変形例に係る制御装置30は、読出部70を更に有する。読出部70は、メイン制御部50からの制御に応じて、保存されたデータを読み出す。読出部70は、ネットワークを介して外部サーバ等からデータを読み出してもよいし、当該制御装置30内のデータ記憶装置からデータを読み出してもよい。読出部70は、読み出したデータを画像オブジェクトに変換してオブジェクト記憶部56に転送する。
【0091】
オブジェクト記憶部56は、読出部70により読み出されたデータを一つの画像オブジェクトとして記憶する。そして、表示制御部58は、表示装置24を制御して、オブジェクト記憶部56に記憶された1または複数の画像オブジェクトを表示する。これにより、表示制御部58は、読出部70により読み出されたデータを含む画像を対象平面に表示することができる。
【0092】
図16は、本実施形態の変形例に係る表示システム10によるデータの表示例を示す。操作検出部48は、ユーザによって対象平面に記載されたファイル名を検出する。例えば、操作検出部48は、記載された文字80を認識して、ファイル名を検出する。そして、操作検出部48は、ユーザによる対象平面に対する予め定められたデータ読出操作を検出する。
【0093】
メイン制御部50は、データ読出操作がされると、読出部70に対して検出したファイル名およびデータ読出指示を与える。データ読出部70は、データ読出操作がされたことに応じて、与えられたファイル名で表されるデータを読み出す。そして、読出部70は、読み出したデータの内容を画像オブジェクトとしてオブジェクト記憶部56に記憶させる。例えば、読出部70は、読み出したデータが文書データである場合には、文書を開いた状態の画像データをオブジェクト記憶部56に記憶させる。そして、表示制御部58は、データ読出部70により読み出されたデータを含む画像オブジェクトを対象平面に表示する。これにより、本変形例に係る表示システム10によれば、対象平面に対するユーザの動作に応じて、データを読み出して表示することができる。
【0094】
また、操作検出部48は、対象平面に記載された人物名を検出してもよい。この場合、メイン制御部50は、データ読出操作がされると、読出部70に対して検出した人物名およびデータ読出指示を与える。データ読出部70は、データ読出操作がされたことに応じて、人物名で表される人物に関するデータを検索して読み出す。そして、読出部70は、読み出したデータの内容を画像オブジェクトとしてオブジェクト記憶部56に記憶させる。そして、表示制御部58は、データ読出部70により読み出されたデータを含む画像オブジェクトを対象平面に表示する。これにより、本変形例に係る表示システム10によれば、対象平面に対するユーザの動作に応じて、人物に関するデータを読み出して表示することができる。
【0095】
図17は、本実施形態に係るコンピュータ1900のハードウェア構成の一例を示す。本実施形態に係るコンピュータ1900は、ホスト・コントローラ2082により相互に接続されるCPU2000、RAM2020、グラフィック・コントローラ2075、及び表示装置2080を有するCPU周辺部と、入出力コントローラ2084によりホスト・コントローラ2082に接続される通信インターフェイス2030、ハードディスクドライブ2040、及びCD−ROMドライブ2060を有する入出力部と、入出力コントローラ2084に接続されるROM2010、フレキシブルディスク・ドライブ2050、及び入出力チップ2070を有するレガシー入出力部とを備える。
【0096】
ホスト・コントローラ2082は、RAM2020と、高い転送レートでRAM2020をアクセスするCPU2000及びグラフィック・コントローラ2075とを接続する。CPU2000は、ROM2010及びRAM2020に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ2075は、CPU2000等がRAM2020内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置2080上に表示させる。これに代えて、グラフィック・コントローラ2075は、CPU2000等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【0097】
入出力コントローラ2084は、ホスト・コントローラ2082と、比較的高速な入出力装置である通信インターフェイス2030、ハードディスクドライブ2040、CD−ROMドライブ2060を接続する。通信インターフェイス2030は、ネットワークを介して他の装置と通信する。ハードディスクドライブ2040は、コンピュータ1900内のCPU2000が使用するプログラム及びデータを格納する。CD−ROMドライブ2060は、CD−ROM2095からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。
【0098】
また、入出力コントローラ2084には、ROM2010と、フレキシブルディスク・ドライブ2050、及び入出力チップ2070の比較的低速な入出力装置とが接続される。ROM2010は、コンピュータ1900が起動時に実行するブート・プログラム、及び/又は、コンピュータ1900のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ2050は、フレキシブルディスク2090からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。入出力チップ2070は、フレキシブルディスク・ドライブ2050を入出力コントローラ2084へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ2084へと接続する。
【0099】
RAM2020を介してハードディスクドライブ2040に提供されるプログラムは、フレキシブルディスク2090、CD−ROM2095、又はICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM2020を介してコンピュータ1900内のハードディスクドライブ2040にインストールされ、CPU2000において実行される。
【0100】
コンピュータ1900にインストールされ、コンピュータ1900を制御装置30として機能させるプログラムは、距離取得モジュールと、対象平面特定モジュールと、平面パラメータ記憶モジュールと、操作検出モジュールと、メイン制御モジュールと、画像取得モジュールと、コピー画像記憶モジュールと、オブジェクト記憶モジュールと、表示制御モジュールとを備える。これらのプログラム又はモジュールは、CPU2000等に働きかけて、コンピュータ1900を、距離取得部42、対象平面特定部44、平面パラメータ記憶部46、操作検出部48、メイン制御部50、画像取得部52、コピー画像記憶部54、オブジェクト記憶部56および表示制御部58としてそれぞれ機能させる。
【0101】
これらのプログラムに記述された情報処理は、コンピュータ1900に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である距離取得部42、対象平面特定部44、平面パラメータ記憶部46、操作検出部48、メイン制御部50、画像取得部52、コピー画像記憶部54、オブジェクト記憶部56および表示制御部58として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ1900の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の制御装置30が構築される。
【0102】
一例として、コンピュータ1900と外部の装置等との間で通信を行う場合には、CPU2000は、RAM2020上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス2030に対して通信処理を指示する。通信インターフェイス2030は、CPU2000の制御を受けて、RAM2020、ハードディスクドライブ2040、フレキシブルディスク2090、又はCD−ROM2095等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス2030は、DMA(ダイレクト・メモリ・アクセス)方式により記憶装置との間で送受信データを転送してもよく、これに代えて、CPU2000が転送元の記憶装置又は通信インターフェイス2030からデータを読み出し、転送先の通信インターフェイス2030又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
【0103】
また、CPU2000は、ハードディスクドライブ2040、CD−ROMドライブ2060(CD−ROM2095)、フレキシブルディスク・ドライブ2050(フレキシブルディスク2090)等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をDMA転送等によりRAM2020へと読み込ませ、RAM2020上のデータに対して各種の処理を行う。そして、CPU2000は、処理を終えたデータを、DMA転送等により外部記憶装置へと書き戻す。このような処理において、RAM2020は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはRAM2020および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、CPU2000は、RAM2020の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはRAM2020の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもRAM2020、メモリ、及び/又は記憶装置に含まれるものとする。
【0104】
また、CPU2000は、RAM2020から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、RAM2020へと書き戻す。例えば、CPU2000は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合(又は不成立であった場合)に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
【0105】
また、CPU2000は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第1属性の属性値に対し第2属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、CPU2000は、記憶装置に格納されている複数のエントリの中から第1属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第2属性の属性値を読み出すことにより、所定の条件を満たす第1属性に対応付けられた第2属性の属性値を得ることができる。
【0106】
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク2090、CD−ROM2095の他に、DVD又はCD等の光学記録媒体、MO等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ1900に提供してもよい。
【0107】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0108】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0109】
10 表示システム、12 部屋、14 スクリーン、22 撮像装置、24 表示装置、26 距離検出装置、30 制御装置、42 距離取得部、44 対象平面特定部、46 平面パラメータ記憶部、48 操作検出部、50 メイン制御部、52 画像取得部、54 コピー画像記憶部、56 オブジェクト記憶部、58 表示制御部、62 ポスター、66 枠、68 画像、70 読出部、80 文字、1900 コンピュータ、2000 CPU、2010 ROM、2020 RAM、2030 通信インターフェイス、2040 ハードディスクドライブ、2050 フレキシブルディスク・ドライブ、2060 CD−ROMドライブ、2070 入出力チップ、2075 グラフィック・コントローラ、2080 表示装置、2082 ホスト・コントローラ、2084 入出力コントローラ、2090 フレキシブルディスク、2095 CD−ROM

【特許請求の範囲】
【請求項1】
実空間における対象領域に対するユーザの操作を検出する操作検出部と、
前記対象領域に対してユーザが予め定められたコピー操作をしたことに応じて、前記対象領域を撮像した画像における前記コピー操作により指定された範囲を取得する画像取得部と、
前記対象領域に対して前記ユーザが予め定められたペースト操作をしたこと応じて、前記実空間に画像を表示するための表示装置を制御して、前記コピー操作により取得された画像を前記ペースト操作により指定された位置に表示する表示制御部と、
を備える表示システム。
【請求項2】
前記対象領域を撮像する撮像装置と、
前記対象領域に画像を表示する表示装置と
を更に備える請求項1に記載の表示システム。
【請求項3】
前記実空間における物体までの距離を検出する距離検出装置を更に備え、
前記操作検出部は、前記対象領域から予め定められた距離内に位置するユーザの身体の予め定められた部位の動きに基づき、前記対象領域に対するユーザの操作を検出する
請求項2に記載の表示システム。
【請求項4】
前記表示制御部は、前記対象領域に対して表示している画像に対して前記ユーザが予め定められた移動操作をしたことに応じて、当該画像の表示位置を前記移動操作により指定された方向に移動する
請求項1から3の何れか1項に記載の表示システム。
【請求項5】
前記表示制御部は、前記対象領域に対して表示している画像に対して前記ユーザが予め定められた拡大縮小操作をしたことに応じて、当該画像の大きさを前記拡大縮小操作により指定された大きさに変更する
請求項1から3の何れか1項に記載の表示システム。
【請求項6】
前記表示制御部は、前記対象領域に対して表示している画像に対して前記ユーザが予め定められた消去操作をしたことに応じて、当該画像を消去する
請求項1から3の何れか1項に記載の表示システム。
【請求項7】
前記操作検出部は、前記対象領域に対してユーザが手のみで操作をしたことを条件として、ユーザの操作を検出する
請求項1から6の何れか1項に記載の表示システム。
【請求項8】
前記画像取得部は、前記対象領域の全体を画角内に含めて撮像している状態より撮像倍率を大きくして撮像された画像から、前記対象領域における前記コピー操作により指定された範囲を取得する
請求項1から7の何れか1項に記載の表示システム。
【請求項9】
前記画像取得部は、前記対象領域の平面度が基準値以上となるタイミングにおいて撮像された画像における、前記対象領域における前記コピー操作により指定された範囲を取得する
請求項1から8の何れか1項に記載の表示システム。
【請求項10】
前記画像取得部は、異なるタイミングで撮像された複数の画像のそれぞれから前記コピー操作により指定された範囲における障害物により隠れていない部分を抽出し、抽出した部分を合成して前記コピー操作により指定された範囲を取得する
請求項1から9の何れか1項に記載の表示システム。
【請求項11】
前記表示制御部は、前記対象領域に対してユーザが前記コピー操作を開始してから前記コピー操作を完了するまでの間において、前記コピー操作において指定されている範囲を示す枠を表示する
請求項1から10の何れか1項に記載の表示システム。
【請求項12】
前記表示制御部は、前記対象領域に対してユーザが前記コピー操作を開始してから前記コピー操作を完了するまでの間において、前記コピー操作において指定されている範囲の画像を、前記対象領域における前記コピー操作において指定されている範囲外に表示する
請求項1から10の何れか1項に記載の表示システム。
【請求項13】
前記表示制御部は、予め指定された操作が割り付けられたボタンを有する操作パネルを表示し、
前記操作検出部は、前記操作パネルが有するボタンに対してユーザが操作したことに応じて、当該ボタンに割り付けられた操作を検出する
請求項1から12の何れか1項に記載の表示システム。
【請求項14】
前記操作検出部は、前記対象領域上にユーザが手で予め定められた方向に直線を描いたことに応じて、コピー操作がされたことを検出し、
前記画像取得部は、一連の動作で描いた1または複数の前記直線を含む矩形の範囲を、前記コピー操作において指定された範囲として取得するとともに、前記ユーザが引いた直線の種類に応じて異なる解像度で前記コピー操作において指定された範囲の画像を取得する
請求項1から13の何れか1項に記載の表示システム。
【請求項15】
前記操作検出部は、ユーザが何れの指でコピー操作またはペースト操作をしたかを検出し、
前記画像取得部は、ユーザが前記コピー操作をしたことに応じて、操作をした指に対応付けて画像を取得し、
前記表示制御部は、ユーザが前記ペースト操作をしたことに応じて、操作をした指に対応して取得した画像を表示する
請求項1から13の何れか1項に記載の表示システム。
【請求項16】
前記操作検出部は、ユーザが予め指定された属性が割り付けられた物体を持って前記対象領域に対して操作をしているか否かを検出し、
前記画像取得部は、前記操作検出部が検出した物体に割り付けられた属性で、前記対象領域を撮像した画像における前記コピー操作により指定された範囲を取得する
請求項1から14の何れか1項に記載の表示システム。
【請求項17】
前記操作検出部は、前記対象領域に対して操作をしたユーザを識別し、
前記画像取得部は、前記対象領域に対してユーザが前記コピー操作をしたことに応じて、コピー操作をしたユーザに対応付けて前記コピー操作により指定された範囲を取得し、
前記表示制御部は、前記対象領域に対してユーザが前記ペースト操作をしたことに応じて、前記ペースト操作をしたユーザに対応して取得した画像を表示する
請求項1から15の何れか1項に記載の表示システム。
【請求項18】
保存されたデータを読み出すデータ読出部を更に備え、
前記操作検出部は、前記対象領域に記載されたファイル名、および、予め定められたデータ読出操作を検出し、
前記データ読出部は、前記データ読出操作がされたことに応じて前記ファイル名で表されるデータを読み出し、
前記表示制御部は、前記データ読出部により読み出されたデータを表示する
請求項1から16の何れか1項に記載の表示システム。
【請求項19】
前記操作検出部は、前記対象領域に記載された人物名を検出し、
前記表示制御部は、前記データ読出操作がされたことに応じて前記人物名で表される人物に関するデータを読み出し、
前記表示制御部は、前記データ読出部により読み出されたデータを表示する
請求項18に記載の表示システム。
【請求項20】
実空間における対象領域に対するユーザの操作を検出する操作検出ステップと、
前記対象領域に対してユーザが予め定められたコピー操作をしたことに応じて、前記対象領域を撮像した画像における前記コピー操作により指定された範囲を取得する画像取得ステップと、
前記対象領域に対して前記ユーザが予め定められたペースト操作をしたこと応じて、前記実空間に画像を表示するための表示装置を制御して、前記画像取得ステップにより取得された画像を前記実空間における前記ペースト操作により指定された位置に表示する表示制御ステップと、
を備える表示方法。
【請求項21】
コンピュータを、
実空間における対象領域に対するユーザの操作を検出する操作検出部と、
前記対象領域に対してユーザが予め定められたコピー操作をしたことに応じて、前記対象領域を撮像した画像における前記コピー操作により指定された範囲を取得する画像取得部と、
前記対象領域に対して前記ユーザが予め定められたペースト操作をしたこと応じて、前記実空間に画像を表示するための表示装置を制御して、前記画像取得部により取得された画像を前記実空間における前記ペースト操作により指定された位置に表示する表示制御部と、
を備える制御装置として機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2013−114467(P2013−114467A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−260236(P2011−260236)
【出願日】平成23年11月29日(2011.11.29)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】