ポインティング位置検出システム
【課題】ポインティング位置の検出が障害物により邪魔されることを防ぐことが可能なポインティング位置検出システムを提供する。
【解決手段】ポインティング位置検出システム1は、2次元画像表示スクリーン10と、2次元画像表示スクリーン10の裏面に画像光を照射する2次元画像光照射装置30と、2次元画像表示スクリーン10の表面に光を照射するポインタ50と、2次元画像表示スクリーン10の裏面を撮影する撮影装置60と、撮影装置60による撮像結果が入力される制御装置80と、を備え、制御装置80は、撮影結果から照射された光をポインティング位置として検出する。
【解決手段】ポインティング位置検出システム1は、2次元画像表示スクリーン10と、2次元画像表示スクリーン10の裏面に画像光を照射する2次元画像光照射装置30と、2次元画像表示スクリーン10の表面に光を照射するポインタ50と、2次元画像表示スクリーン10の裏面を撮影する撮影装置60と、撮影装置60による撮像結果が入力される制御装置80と、を備え、制御装置80は、撮影結果から照射された光をポインティング位置として検出する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ポインティング位置検出システムに関する。
【背景技術】
【0002】
従来、多人数に対して表示画像を用いてプレゼンテーションを行ったり、多人数で表示画像を用いて協調作業を行ったりする際に、レーザポインタにより表示画像の特定位置を指し示すことが行われている。
ここで、かかるポインティング位置を検出し、検出されたポインティング位置を表示画像の制御に利用する技術がある(特許文献1参照)。
【特許文献1】特開2000−276297号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、特許文献1に記載の技術は、表示画像におけるポインティング位置の検出を表示画像の表面を撮影手段により撮影することにより行っているため、表示画像と撮影装置との間に障害物が介在した場合にポインティング位置の検出を行うことができなくなるというおそれがある。
【0004】
本発明は、前記した問題を解決すべく創案されたものであり、ポインティング位置の検出が障害物により邪魔されることを防ぐことが可能なポインティング位置検出システムを提供することを課題とする。
【課題を解決するための手段】
【0005】
前記課題を解決するため、請求項1に記載の発明であるポインティング位置検出システムは、スクリーンと、前記スクリーンの裏面に画像光を照射する照射装置と、前記スクリーンの表面に光を照射するポインタと、前記スクリーンの裏面を撮影する撮影装置と、前記撮影装置による撮像結果が入力される制御装置と、を備え、前記制御装置は、前記撮影結果から照射された前記光をポインティング位置として検出する。
【0006】
かかる構成によると、ポインティング位置の検出をスクリーンを裏面から撮影することにより行うので、ポインティング位置の検出が障害物により邪魔されることを防ぐことができる。
【0007】
また、請求項2に記載の発明は、請求項1に記載のポインティング位置検出システムであって、前記ポインタにより照射される光の波長は、前記照射装置により照射される画像光の波長とは異なることを特徴とする。
【0008】
かかる構成によると、ポインティング位置の検出におけるポインタによる光とスクリーンの表示画像との混同を防ぐことができる。
例えば、照射装置により照射される画像光を可視光とし、ポインタにより照射される光を赤外光とし、撮影装置を赤外光撮影装置とすることが好適である。
【0009】
また、請求項3に記載の発明は、請求項1または請求項2に記載のポインティング位置検出システムであって、前記制御装置は、前記撮影結果における照射された前記光の姿勢に基づいて、前記ポインタの向きに対応するポインティング向きを検出することを特徴とする。
【0010】
かかる構成によると、利用者によるポインティング向きの設定が容易になる。
【0011】
また、請求項4に記載の発明は、請求項3に記載のポインティング位置検出システムであって、前記光は、二つに分かれた第一の光および第二の光からなり、前記制御装置は、前記撮影結果における前記第一の光および前記第二の光の相対位置に基づいて、ポインティング向きを算出することを特徴とする。
【0012】
かかる構成によると、二つの点光源を利用することで、簡易な構成により、利用者によるポインティング向きの設定が可能となる。
【発明の効果】
【0013】
本発明によれば、ポインティング位置の検出が障害物により邪魔されることを防ぐことができる。
【発明を実施するための最良の形態】
【0014】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。
【0015】
(第一の実施形態)
図1は、本発明の第一の実施形態に係る画像表示システムの外観を示す模式図である。図2は、本発明の第一の実施形態に係る画像表示システムを示すブロック図である。図3は、本発明の第一の実施形態に係るポインティング位置検出システムを示す概略構成図である。図4は、本発明の第一の実施形態に係るポインタを示す斜視図である。なお、図4における方向は、ポインタの利用者による使用状態での方向を基準としている。
【0016】
図1に示すように、本発明の第一の実施形態に係る画像表示システム1は、2次元画像表示スクリーン10に表示された2次元画像と3次元画像表示スクリーン20に表示された3次元画像とを連動させて利用者に見せるためのシステムである。
図2に示すように、本発明の第一の実施形態に係る画像表示システム1は、2次元画像表示スクリーン10と、3次元画像表示スクリーン20と、2次元画像光照射装置30と、3次元画像光照射装置40と、一以上のポインタ50と、撮影装置60と、3次元位置センサ70と、制御装置80と、一以上の液晶シャッタメガネ90と、を備えている。
ここで、2次元画像表示スクリーン10と、2次元画像光照射装置30と、撮影装置60と、制御装置80(の一部)との組み合わせが、ポインティング位置検出システムを構成している。
【0017】
図1および図3に示すように、2次元画像表示スクリーン10は、リアプロジェクション型対応のスクリーンであり、表面が上、裏面が下を向くように水平に配置されている。
【0018】
図1および図3に示すように、3次元画像表示スクリーン20は、リアプロジェクション型対応のスクリーンであり、鉛直に配置されている。
【0019】
図3に示すように、2次元画像光照射装置30は、リアプロジェクション型であり、2次元画像表示スクリーン10の裏面側(下側)に設けられている。2次元画像光照射装置30は、ミラーMを介して、後記する2次元画像に基づいて2次元画像光を照射することにより、2次元画像表示スクリーン10に2次元画像(本実施形態では、平面図)を表示させる。
【0020】
図2に示すように、3次元画像光照射装置40は、リアプロジェクション型であり、3次元画像表示スクリーン20の裏面側に設けられている。3次元画像光照射装置40は、後記する3次元画像データに基づいて3次元画像光を照射することにより、3次元画像表示スクリーン20に3次元画像を表示させる。
なお、3次元画像光照射装置40は、フロントプロジェクション型であり、3次元画像表示スクリーンの表面側に設けられていてもよい。
3次元画像光照射装置40は、時分割シャッタ方式の立体視を行う場合には、液晶シャッタメガネ90と同期して右眼用画像光と左眼用画像光とを交互に照射する。
また、偏光方式の立体視を行う場合には、3次元画像光照射装置40は、右眼用画像光および左眼用画像光を2台の3次元画像光照射装置で照射する。2台の3次元画像光照射装置は、互いに直交する偏光(直線偏光または円偏光)板を通して右眼用画像光と左眼用画像光をそれぞれ照射する。利用者は、左右が互いに直交する偏光メガネを装着して3次元画像を観察する。
なお、立体視をせずに3次元画像を表示する場合には、3次元画像表示スクリーン20および3次元画像光照射装置に代えて、液晶ディスプレイ、プラズマディスプレイ等を使用することができる。
また、立体視対応のディスプレイを使用することもできる。
【0021】
本発明において、2次元画像とは、xy平面のみが表れる画像であり、3次元画像とは、xyz座標が表れ、立体を表示する画像である。
【0022】
図1および図3に示すように、一以上のポインタ50は、2次元画像に対応して2次元方向の位置・向き(本実施形態では、水平面における位置・向き)等を入力するための装置である。
図4に示すように、ポインタ50は、台座部51と、本体部52と、を備えている。
台座部51は、底板部51a、後板部51bおよび上板部51cからなり、側面視で「コ」字状を呈する透明樹脂製の部材である。上板部51cには二つの穴(図示せず)が設けられており、二つの穴に後記する第一の筒部52aおよび第二の筒部52bをそれぞれ挿通させた状態で、上板部51cの上面と本体部52の下面とが固定されている。
本体部52は、第一の赤外線LED52a1を有する第一の筒部52aと、第二の赤外線LED52b1を有する第二の筒部52bと、第一のボタン52cと、第二のボタン52dと、を備えている。
第一の赤外線LED52a1は、第一の筒部52aの先端に設けられており、赤外線(第一の光)を照射する。
第二の赤外線LED52b1は、第二の筒部52bの先端に設けられており、赤外線(第二の光)を照射する。
第一のボタン52cは、本体部52の上面の前方左側に設けられている。
第二のボタン52dは、本体部52の上面の前方右側に設けられている。
第一のボタン52cおよび第二のボタン52dは、例えばマウスの左ボタンおよび右ボタンと同様の機能を有することができる。
第一のボタン52cおよび第二のボタン52dの入力信号は、制御装置80に出力される。
【0023】
ポインタ50は、水平な2次元画像表示スクリーン10の表面(上面)に台座部51の底板部51aの下面が接するように置かれて使用される。かかる使用状態において、ポインタ50の第一の赤外線LED52a1および第二の赤外線LED52b1は、鉛直下方に赤外線(第一の光および第二の光)を照射する。
【0024】
図3に示すように、撮影装置60は、2次元画像表示スクリーン10の裏面側(下側)に設けられており、2次元画像表示スクリーン10の裏面を撮影する。撮影結果は、第一の赤外線LED52a1および第二の赤外線LED52b1による光(第一の光および第二の光)を含んでいる。
撮影装置60は、2次元画像表示スクリーン10の裏面を1台または複数台連動で撮影し、撮影結果(画像)をポインタ50による光(第一の光および第二の光)の取得に支障がない程度の頻度(例えば、1/30秒ごと)と分解能(例えば、2次元画像表示スクリーン10のサイズの1/1000)とで制御装置80に送信する。
撮影装置60としては、CCDカメラ、CMOSカメラ等が使用可能である。
撮影装置60の撮影可能な波長領域は、第一の赤外線LED52a1および第二の赤外線LED52b1の光(第一の光および第二の光)を撮影可能であればよい。
撮影結果は、制御装置80に出力される。
【0025】
図2に示すように、3次元位置センサ70は、利用者の操作入力に基づいて3次元位置データ(3次元座標)を生成するための装置である。
3次元位置センサ70としては、磁気式、力学式、ワイヤー式、光学式、超音波式、これらを組み合わせた方式などのセンサが使用可能である。
生成された3次元位置データは、制御装置80に出力される。
【0026】
制御装置80は、例えば、CPU、RAM、ROM、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ50、撮影装置60および3次元位置センサ70からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図5に示すように、制御装置80は、ボタン入力信号取得部81と、ポインティング位置取得部82と、3次元位置データ取得部83と、記憶部84と、データ更新部85と、2次元画像データ生成部86と、3次元画像データ生成部87と、を備えている。
【0027】
ボタン入力信号取得部81は、ポインタ50から第一のボタン52cおよび第二のボタン52dの入力信号(ボタン入力信号)を取得する。
取得されたボタン入力信号は、データ更新部85に出力される。
【0028】
ポインティング位置取得部82は、前記撮影結果から照射された前記光をポインティング位置として検出する。換言すると、ポインティング位置取得部82は、撮影装置60からの入力(撮影結果)に基づいて、2次元画像表示スクリーン10上におけるポインタ50の光の位置に対応するポインティング位置を取得する。また、ポインティング位置取得部82は、撮影装置60からの入力(撮影結果)に基づいて、ポインタ50の向きに対応するポインティング向きを取得する。そして、ポインティング位置取得部82は、取得されたポインティング位置およびポインティング向きと、2次元画像データに反映された空間データ84aとに基づいて、2次元画像に対応する2次元位置データおよび2次元向きデータを生成する。生成された2次元位置データおよび2次元向きデータは、データ更新部85に出力される。
【0029】
3次元位置データ取得部83は、3次元位置センサ70からの入力信号に基づいて、3次元位置データを取得する。3次元位置データ取得部83は、3次元位置センサ70からの入力と、3次元画像データに反映された空間データ84aとに基づいて、3次元画像に対応する3次元位置データを生成する。
取得された3次元位置データは、データ更新部85に出力される。
【0030】
記憶部84は、画像として表示される空間に関する空間データ84aと、この空間内に配置される物体に関する物体データ84bと、を記憶している。
空間データ84aは、物体が配置される空間に関するデータであり、例えば、住居の一室(床、壁、天井など)の形状、寸法、座標、都市部の一区画(道路、川など)の形状、寸法、座標に関するデータである。
物体データ84bは、物体のID、種類、形状、寸法、座標(位置)、向きなどを関連付けたものである。物体データ84bの移動可能な範囲は、空間データ84aの規定する範囲内である。
ここで、物体データ84bにおける座標(位置)に関するデータが、特許請求の範囲における物体位置データである。
【0031】
データ更新部85は、ボタン入力信号取得部81およびポインティング位置取得部82から入力されたデータまたは3次元位置データ取得部83から入力されたデータに基づいて、記憶部84に記憶された物体データを更新する。
また、データ更新部85は、図示しないキーボード等の入力装置からの入力信号に基づいて、新たな物体データを生成して記憶部84に記憶させることができる。
また、データ更新部85は、ボタン入力信号取得部81およびポインティング位置取得部82から入力されたデータまたは3次元位置データ取得部83から入力されたデータに基づいて、記憶部84に記憶された空間データ84aを更新する。
【0032】
2次元画像データ生成部86は、記憶部84に記憶された空間データ84aおよび物体データ84bに基づいて、2次元画像データを生成する。
2次元画像データ生成部86は、2次元画像データを時間的に連続して生成しており、更新結果が反映される。
生成された2次元画像データは、2次元画像光照射装置30に出力される。
【0033】
3次元画像データ生成部87は、記憶部84に記憶された空間データ84aおよび物体データ84bに基づいて、3次元画像データを生成する。
3次元画像データ生成部87は、3次元画像データを時間的に連続して生成しており、更新結果が反映される。
生成された3次元画像データは、3次元画像光照射装置40に出力される。
また、立体視を行う場合には、3次元画像データ生成部87は、3次元画像データとして右眼用画像光データと左眼用画像光データとを生成する。時分割シャッタ方式の立体視を行う場合には、3次元画像データ生成部87は、右眼用画像データおよび左眼用画像データとともに同期信号を生成する。生成された同期信号は、液晶シャッタメガネ90に出力される。偏光方式の立体視を行う場合には、右眼用画像データおよび左眼用画像データは、2台の3次元画像照射装置にそれぞれ出力される。
【0034】
(明るさ補正について)
記憶部84は、明るさ補正テーブル84cをさらに記憶している。
明るさ補正テーブル84cは、キャリブレーション(位置較正)時に作成される。
例えば、矩形を呈する2次元画像表示スクリーン10の四隅および中央にマークを表示させた状態で、利用者にポインタ50の位置合わせを実行させる。ここで、明るさの最大値が明るさ補正テーブル84cに記憶可能な上限を超えないように、予め明るさ調整がなされているものとする。
このとき、マークをクリックしたときの第一の赤外線LED52a1および第二の赤外線LED52b1による光(第一の光および第二の光)領域付近の明るさを取得し、それらの最大値(光点)および最小値(背景)を明るさ補正テーブル84cに記憶させる。ポインティング位置算出部82は、これらの値に基づいて撮影結果の画像内各領域での明るさの最大値および最小値を補間して算出し、光領域の明るさを補正する。例えば、ポインティング位置算出部82は、光領域の明るさが小さい場合に明るさが大きくなるように補正する(明るさフィルタ処理)。
【0035】
(位置補正について)
記憶部84は、位置補正テーブル84dをさらに記憶している。
位置補正テーブル84dは、撮影装置60による撮影結果における位置と、2次元画像表示スクリーン10に表示される2次元画像における位置との関係を関連付けるテーブルであり、キャリブレーション(位置較正)時に作成される。
第一の赤外線LED52a1および第二の赤外線LED52b1は、第一の光および第二の光の撮影結果が撮影装置60の縦横それぞれに対して数ピクセルにわたる大きさとなるように、その高さ等が調整されている。そして、位置補正テーブル84dは、複数ピクセル範囲に対する明るさ分布と当該明るさ分布における光の中心との関係を予め複数のパターンとして記憶している。位置補正テーブル84dが複数のパターンを備えている場合には、ポインティング位置取得部82は、これらのパターンと実際の撮影結果の光のパターンとをマッチングし、最も一致したパターンに基づいて光の中心を算出する。
すなわち、ポインティング位置取得部82は、位置補正テーブル84dを用いて、第一の赤外線LED52a1および第二の赤外線LED52b1による光の中心を第一の赤外線LED52a1および第二の赤外線LED52b1によるポインティング位置として決定する。
なお、ポインティング位置算出部82は、予め記憶された複数のパターンを用いずに、光の明るさを曲線補間することにより明るさのピーク位置を算出し、このピーク位置をポインティング位置として決定する構成であってもよい。
前記した各手法によると、撮影装置60のピクセル単位以上の精度でポインティング位置を算出することができる。
また、ポインティング位置算出部82は、キャリブレーション時に取得された2次元画像表示スクリーン10の四隅および中央の点における取得座標対スクリーン座標の関係に基づいて、線形補間等の補間手法を用いて光の位置(またはポインティング位置)を補正する。
【0036】
(LEDの識別について)
記憶部84は、LED識別データ84eを記憶している。
LED識別データ84eは、一以上のポインタ50の第一の赤外線LED52a1および第二の赤外線LED52b1を識別するためのデータである。
各赤外線LEDは、他の赤外線LEDと識別可能なように、固有の明るさまたは点灯タイミングで赤外線を照射するように構成されている。LED識別データ84eは、これら固有の明るさまたは点灯タイミングと赤外線LEDのIDとを関連付けて記憶している。
ポインティング位置取得部82は、LED識別データ84eを用いて、ポインティング位置がどの赤外線LEDによるものであるかを識別する。
なお、ポインティング位置取得部82は、前回ポインティング位置と今回ポインティング位置とが所定距離内である場合には、同一LEDによるポインティング位置であると判定する。このロジックは、前回ポインティング位置と今回ポインティング位置とが所定距離を超えて離れている場合には適用されない。所定距離が大きいと誤判定が増え、所定距離が小さいと判定外となりロジックが適用されない場合が増えるので、所定距離は、ポインタ50の操作の限界移動速度に基づいて決定される。
ポインティング位置取得部82は、前記したロジックの判定でLEDの識別ができない場合に、明るさまたは点灯タイミングによる識別を実行する。
【0037】
図2に示すように、一以上の液晶シャッタメガネ90は、右眼用シャッタと、左眼用シャッタと、同期信号受信装置と、を備えている。液晶シャッタメガネ90は、同期信号受信装置により受信された同期信号に基づいて右眼用シャッタおよび左眼用シャッタを開閉させることにより、利用者に3次元画像を見せる。
【0038】
続いて、ポインティング位置およびポインティング向きを検出するための処理に関する制御フローについて、図6を参照して説明する。
図6は、本発明の第一の実施形態に係るポインティング位置およびポインティング向き検出処理を説明するためのフローチャートである。
まず、ポインティング位置取得部82が、撮影装置60の撮影結果に基づいて画像データを取得する(ステップS1)。
続いて、ポインティング位置取得部82が、フィルタ処理を行い、画像データからノイズを除去する(ステップS2)。
続いて、ポインティング位置取得部82が、明るさ補正テーブル84cを用いて、明るさフィルタ処理を行う(ステップS3)。
続いて、ポインティング位置取得部82が、画像データからポインタ50による光に関するデータを分離する(ステップS4)。
続いて、ポインティング位置取得部82が、位置補正テーブル84dを用いて、ポインティング位置を算出する(ステップS5)。すなわち、第一の赤外線LED52a1および第二の赤外線LED52b1の光の中心を第一の赤外線LED52a1および第二の赤外線LED52b1のポインティング位置として決定する。ここで、ポインティング位置取得部82は、第一の赤外線LED52a1のポインティング位置をポインタ50のポインティング位置として決定する。
続いて、ポインティング位置取得部82が、第一の赤外線LED52a1および第二の赤外線LED52b1のポインティング位置に基づいて、ポインタ50のポインティング向きを算出する(ステップS6)。
続いて、ポインティング位置取得部82が、LED識別データ84eを用いて、光すなわちポインティング位置のID(光を照射するLEDのID)を識別する(ステップS7)。
続いて、ポインティング位置取得部82が、取得されたポインティング位置およびポインティング向きと、2次元画像データに反映された空間データ84aとに基づいて、2次元画像に対応する2次元位置データおよび2次元向きデータを生成し、生成された2次元位置データおよび2次元向きデータをデータ更新部85に出力する(ステップS8)。
【0039】
続いて、本発明の第一の実施形態に係る画像表示システム1の使用例について、2次元画像および3次元画像を参照して説明する。以下の例において、空間は病室、物体はベッドである。
図7ないし図9は、本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、(a)は2次元画像を示す図、(b)は3次元画像を示す図である。
【0040】
図7(a)に示すように、ポインタ50が2次元画像表示スクリーン10上に置かれると、ポインティング位置取得部82がポインティング位置およびポインティング向きを算出し、データ更新部85は、ポインティング位置およびポインティング向きを記憶部84に記憶させる。3次元画像データ生成部87は、ポインタ40のポインティング位置およびポインティング向きを3次元画像における視点位置および視点向きとして3次元画像データを生成し、図7(b)に示すように、3次元画像表示スクリーン20に3次元画像を表示させる。
【0041】
そして、図8(a)に示すように、ポインタ50が2次元画像表示スクリーン10上を移動すると、3次元画像データ生成部87は、移動したポインタ50のポインティング位置(視点位置)に基づいて3次元画像データを再生成し、図8(b)に示すように、3次元画像表示スクリーン20に新たな視点位置に基づく3次元画像を表示させる。
【0042】
また、図9(a)に示すように、ポインタ50が2次元画像表示スクリーン10上で向きを変えると、3次元画像データ生成部87は、向きを変えたポインタ50のポインティング位置(視点向き)に基づいて3次元画像データを再生成し、図9(b)に示すように、3次元画像表示スクリーン20に新たな視点の向きに基づく3次元画像を表示させる。
ここで、図9(c)に、向き変更前における第一の赤外線LED52a1および第二の赤外線LED52b1のポインティング位置(x1,y1)、(x2,y2)と、向き変更後における第一の赤外線LED52a1および第二の赤外線LED52b1のポインティング位置(x3,y3)、(x4,y4)との関係を示す。ポインティング位置取得部82は、これらポインティング位置のなす角θだけポインティング向きを変えることになる。
すなわち、データ更新部85は、ポインティング位置に対応する2次元画像上の位置を視点位置として決定するとともにポインティング向きを視点向きとして決定して記憶部84に記憶させており、3次元画像データ生成部87は、視点位置および視点向きに基づいて3次元画像データを生成する。
【0043】
なお、図7(a)、図8(a)および図9(a)に示すように、2次元画像データ生成部86は、記憶部84に記憶された視野角データに基づいて、3次元画像として表示される部分を視野角として表示させてもよい。
すなわち、2次元画像データ生成部86は、3次元画像の視点位置および視野に対応する視点位置および視野角を2次元画像に表示可能な2次元画像データを生成する。このようにすることで、3次元画像における視点を2次元画像で確認することができる。
【0044】
図10ないし図12は、本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、(a)は2次元画像を示す図、(b)は3次元画像を示す図である。以下の図では、ポインタ50を1つだけ図示したが、複数のポインタ50を同時に操作することも可能である。
【0045】
図10(a)に示すように、ポインタ50が2次元画像表示スクリーン10上でベッドBを選択すると(例えば、ベッドBの画像上でポインタ50の第一のボタン52cをクリック)、データ更新部85は、ベッドBを選択した旨のデータを記憶部84に記憶させる。そして、図10(a)および図10(b)に示すように、2次元画像データ生成部86および3次元画像データ生成部87は、ベッドBを囲む枠線を生成し、表示させる。
【0046】
そして、図11(a)に示すように、ポインタ50が2次元画像表示スクリーン10上を移動すると、データ更新部85は、記憶部84に記憶されたベッドBの位置データを更新する。そして、図11(a)および図11(b)に示すように、2次元画像データ生成部86および3次元画像データ生成部87は、ベッドBの移動を反映した2次元画像データおよび3次元画像データを再生成し、表示させる。
【0047】
また、図12(a)に示すように、ポインタ50が2次元画像表示スクリーン10上で向きを変えると、データ更新部85は、記憶部84に記憶されたベッドBの向きデータを更新する。そして、図12(a)および図12(b)に示すように、2次元画像データ生成部86および3次元画像データ生成部87は、ベッドBの向き変更を反映した2次元画像データおよび3次元画像データを再生成し、表示させる。
すなわち、データ更新部85は、ポインティング位置に対応する2次元画像上の位置をベッドBの位置として決定するとともにポインティング向きをベッドBの向きとして決定して記憶部84内のデータを更新しており、3次元画像データ生成部87は、更新されたベッドBの位置および向きを反映した3次元画像データを生成する。
【0048】
第一の使用例および第二の使用例以外にも、画像表示システム1は、空間データ84aを更新することにより空間のレイアウト(間取り、広さ等)を変更したり、物体データ84bを更新することにより物体の大きさを変更したり、2次元画像および3次元画像の縮尺率を変更したりすることができる。
また、3次元位置センサ70からの入力に基づいて、空間データ84aおよび物体データ84bを更新することも可能である。
また、これらの更新内容の切換は、例えばGUIを利用して実行可能である。
また、ポインタ50および撮影装置60または3次元位置センサ70による2次元画像または3次元画像における2点を指示する入力と記憶部84に記憶されたデータとに基づいて、2次元画像データ生成部86および3次元画像データ生成部87の少なくとも一方が、指示された2点間の距離を表示可能な2次元画像データまたは3次元画像データを生成して出力し、2点間の距離の表示を利用者に見せる構成であってもよい。この場合、3次元画像における距離の表示は、引き出し線とともに、常に利用者(観察者)視点方向に向くように3次元画像内に配置されることが好ましい。
【0049】
すなわち、データ更新部85は、位置データ入力手段(ポインタ50および撮影装置60ならびに3次元位置センサ70の少なくとも一方)により入力された二つの位置データ(2次元位置データおよび3次元位置データの少なくとも一方)に基づいて空間データ84aおよび物体データ84bにおける点、線、面および物体のいずれか二つを選択して選択結果を記憶部84に記憶させ、2次元画像データ生成部86は、選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な2次元画像データを生成し、3次元画像データ生成部87は、選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な3次元画像データを生成する。ここで、点と線、点と面、線と面等の組み合わせが可能であり、物体の距離としては、物体間の最も狭い距離でもよく、物体の中心間の距離であってもよい。
図13は、3次元画像における距離の表示例を示す図である。
図13(a)において、3次元位置センサ70の入力により、ベッドB1,B2が選択され、3次元画像データ生成部87は、ベッドB1,B2間の最短距離AAAAを表示可能な3次元画像データを生成する。
そして、図13(b)に示すように、3次元位置センサ70の入力により、ベッドB2の配置が変更される場合には、変更された配置に対応するベッドB1,B2間の最短距離BBBBを表示可能な3次元画像データが生成される。
【0050】
また、空間データ84aは、物体の配置を禁止する領域に関する物体配置禁止領域データを含み、データ更新部85は、物体データ84bにおける物体位置データと物体配置禁止領域データとに基づいて、前記物体が前記物体の配置を禁止する領域へ配置されるようなデータ更新を禁止することが望ましい。
例えば、法規制、敷地境界等に基づいて、空間データ84a内に物体の配置禁止領域データを設定し、ポインタ50および撮影装置60または3次元位置センサ70による物体(例えば、病室における前記したベッドB、都市空間における建築物等)を配置禁止領域に移動させようとする指示が入力された場合に、2次元画像データ生成部86および3次元画像データ生成部87が、前記した移動は不可能である旨を伝えるメッセージを含むデータを生成して出力し、このメッセージを利用者に見せる構成であってもよい。
【0051】
本発明の第一の実施形態に係る画像表示システム1は、以下の効果を奏する。
画像表示システム1は、ポインティング位置の検出が障害物により邪魔されることを防ぐことができる。また、赤外光を利用することで、照射された光とスクリーンの表示画像との混同を防ぐことができる。また、ポインタ50の向きを変えるだけポインティング向きを変えることができるので、利用者によるポインティング向きの設定が容易になる。
画像表示システム1は、2次元画像と3次元画像とを更新結果に応じて連動して表示するので、空間における物体のレイアウトを好適に確認することができる。すなわち、住宅、建築物(工場、学校、病院等)等の設計、レイアウトに関する合意形成のためにプレゼンテーションや協調作業を行う際には、2次元画像および3次元画像の両方を用いることができるので、実際の設計、レイアウトを説明するのに好適である。特に、住宅、建築物のレイアウトを3次元画像として表示する場合には、実物大で表示することが望ましい。
特に、2次元画像を見ながらポインタ50を用いて物体の移動を指示し、実際の移動結果を3次元画像を見て確認することにより、利用者にとってよりわかりやすい説明が可能である。
また、3次元画像の視点を2次元位置データを入力可能なポインタ50または3次元位置センサ70を用いて変更したり、3次元画像の視点を2次元画像を見ることで確認することが可能となる。
【0052】
(第二の実施形態)
続いて、本発明の第二の実施形態に係る画像表示システム2について、第一の実施形態に係る画像表示システム1との相違点を中心に説明する。
図14は、本発明の第二の実施形態に係る画像表示システムを示すブロック図である。図15は、本発明の第二の実施形態に係る制御装置の詳細を示すブロック図である。
【0053】
図14に示すように、本発明の第二の実施形態に係る画像表示システム2は、制御装置80に代えて、制御装置(第一の制御装置)110および制御装置(第二の制御装置)120を備えている。
【0054】
制御装置110は、例えば、CPU、RAM、ROM、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ50および撮影装置60からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図15に示すように、制御装置110は、ボタン入力信号取得部111と、ポインティング位置取得部112と、記憶部(第一の記憶部)114と、データ更新部(第一のデータ更新部)115と、2次元画像データ生成部116と、データ送受信部(第一のデータ送受信部)118と、を備えている。
ここで、ボタン入力信号取得部111、ポインティング位置取得部112、記憶部(第一の記憶部)114、データ更新部(第一のデータ更新部)115および2次元画像データ生成部116は、第一の実施形態に係るボタン入力信号取得部81、ポインティング位置取得部82、記憶部84、データ更新部85および2次元画像データ生成部86とほぼ同等の機能を有するので、説明を省略する。
すなわち、記憶部114に記憶された空間データ114a、物体データ114b、明るさ補正テーブル114c、位置補正テーブル114dおよびLED識別データ114eは、記憶部84に記憶された空間データ84a、物体データ84b、明るさ補正テーブル84c、位置補正テーブル84dおよびLED識別データ84eと同様である。
【0055】
制御装置120は、例えば、CPU、RAM、ROM、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ50および撮影装置60からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図15に示すように、制御装置120は、3次元位置データ取得部123と、記憶部(第二の記憶部)124と、データ更新部(第二のデータ更新部)125と、3次元画像データ生成部127と、データ送受信部(第二のデータ送受信部)128を備えている。
ここで、ボタン入力信号取得部111、ポインティング位置取得部112、記憶部(第一の記憶部)114、データ更新部(第一のデータ更新部)115および2次元画像データ生成部116は、第一の実施形態に係る3次元位置データ取得部83、記憶部84、データ更新部85および3次元画像データ生成部87とほぼ同等の機能を有するので、説明を省略する。
すなわち、記憶部124に記憶された空間データ124aおよび物体データ124bは、記憶部84に記憶された空間データ84aおよび物体データ84bと同様である。
【0056】
データ送受信部118,128は、例えばLAN回線を介して、記憶部114,124の一方の物体データが更新された場合に、更新された物体データを送受信し、記憶部114,124の他方の物体データを更新させる。
第二の実施形態に係る画像表示システム2は、データ送受信部118,128を介して記憶部114,124に記憶されたデータを同一に更新するので、第一の実施形態に係る画像表示システム1と同様の効果を奏することができる。
【0057】
以上、本発明の実施形態について図面を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。
例えば、制御装置80,110,120は、各機能部をソフトウェアとハードウェアとの協働により実現する構成であってもよく、これらの機能の一部をハードウェアのみで実現する構成であってもよい。
また、ポインタが第一の赤外線LED52a1および第二の赤外線LED52b1に代えて非円形状(例えば、線状、楕円形、多角形等)を呈する光を照射することが可能な赤外光源を備え、制御装置が非円形状を呈する光の姿勢に基づいてポインティング向きを検出する構成であってもよい。
【図面の簡単な説明】
【0058】
【図1】本発明の第一の実施形態に係る画像表示システムの外観を示す模式図である。
【図2】本発明の第一の実施形態に係る画像表示システムを示すブロック図である。
【図3】本発明の第一の実施形態に係るポインティング位置検出システムを示す概略構成図である。
【図4】本発明の第一の実施形態に係るポインタを示す斜視図である。
【図5】本発明の第一の実施形態に係る制御装置を示す詳細ブロック図である。
【図6】図6は、本発明の第一の実施形態に係るポインティング位置およびポインティング向き検出処理を説明するためのフローチャートである。
【図7】本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、(a)は2次元画像を示す図、(b)は3次元画像を示す図である。
【図8】本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、(a)は2次元画像を示す図、(b)は3次元画像を示す図である。
【図9】本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、(a)は2次元画像を示す図、(b)は3次元画像を示す図である。
【図10】本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、(a)は2次元画像を示す図、(b)は3次元画像を示す図である。
【図11】本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、(a)は2次元画像を示す図、(b)は3次元画像を示す図である。
【図12】本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、(a)は2次元画像を示す図、(b)は3次元画像を示す図である。
【図13】3次元画像における距離の表示例を示す図である。
【図14】本発明の第二の実施形態に係る画像表示システムを示すブロック図である。
【図15】本発明の第二の実施形態に係る制御装置の詳細を示すブロック図である。
【符号の説明】
【0059】
1,2 画像表示システム
10 2次元画像表示スクリーン
20 3次元画像表示スクリーン
30 2次元画像光照射装置
40 3次元画像光照射装置
50 ポインタ
60 撮影装置
70 3次元位置センサ
80 制御装置
90 液晶シャッタメガネ
【技術分野】
【0001】
本発明は、ポインティング位置検出システムに関する。
【背景技術】
【0002】
従来、多人数に対して表示画像を用いてプレゼンテーションを行ったり、多人数で表示画像を用いて協調作業を行ったりする際に、レーザポインタにより表示画像の特定位置を指し示すことが行われている。
ここで、かかるポインティング位置を検出し、検出されたポインティング位置を表示画像の制御に利用する技術がある(特許文献1参照)。
【特許文献1】特開2000−276297号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、特許文献1に記載の技術は、表示画像におけるポインティング位置の検出を表示画像の表面を撮影手段により撮影することにより行っているため、表示画像と撮影装置との間に障害物が介在した場合にポインティング位置の検出を行うことができなくなるというおそれがある。
【0004】
本発明は、前記した問題を解決すべく創案されたものであり、ポインティング位置の検出が障害物により邪魔されることを防ぐことが可能なポインティング位置検出システムを提供することを課題とする。
【課題を解決するための手段】
【0005】
前記課題を解決するため、請求項1に記載の発明であるポインティング位置検出システムは、スクリーンと、前記スクリーンの裏面に画像光を照射する照射装置と、前記スクリーンの表面に光を照射するポインタと、前記スクリーンの裏面を撮影する撮影装置と、前記撮影装置による撮像結果が入力される制御装置と、を備え、前記制御装置は、前記撮影結果から照射された前記光をポインティング位置として検出する。
【0006】
かかる構成によると、ポインティング位置の検出をスクリーンを裏面から撮影することにより行うので、ポインティング位置の検出が障害物により邪魔されることを防ぐことができる。
【0007】
また、請求項2に記載の発明は、請求項1に記載のポインティング位置検出システムであって、前記ポインタにより照射される光の波長は、前記照射装置により照射される画像光の波長とは異なることを特徴とする。
【0008】
かかる構成によると、ポインティング位置の検出におけるポインタによる光とスクリーンの表示画像との混同を防ぐことができる。
例えば、照射装置により照射される画像光を可視光とし、ポインタにより照射される光を赤外光とし、撮影装置を赤外光撮影装置とすることが好適である。
【0009】
また、請求項3に記載の発明は、請求項1または請求項2に記載のポインティング位置検出システムであって、前記制御装置は、前記撮影結果における照射された前記光の姿勢に基づいて、前記ポインタの向きに対応するポインティング向きを検出することを特徴とする。
【0010】
かかる構成によると、利用者によるポインティング向きの設定が容易になる。
【0011】
また、請求項4に記載の発明は、請求項3に記載のポインティング位置検出システムであって、前記光は、二つに分かれた第一の光および第二の光からなり、前記制御装置は、前記撮影結果における前記第一の光および前記第二の光の相対位置に基づいて、ポインティング向きを算出することを特徴とする。
【0012】
かかる構成によると、二つの点光源を利用することで、簡易な構成により、利用者によるポインティング向きの設定が可能となる。
【発明の効果】
【0013】
本発明によれば、ポインティング位置の検出が障害物により邪魔されることを防ぐことができる。
【発明を実施するための最良の形態】
【0014】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。
【0015】
(第一の実施形態)
図1は、本発明の第一の実施形態に係る画像表示システムの外観を示す模式図である。図2は、本発明の第一の実施形態に係る画像表示システムを示すブロック図である。図3は、本発明の第一の実施形態に係るポインティング位置検出システムを示す概略構成図である。図4は、本発明の第一の実施形態に係るポインタを示す斜視図である。なお、図4における方向は、ポインタの利用者による使用状態での方向を基準としている。
【0016】
図1に示すように、本発明の第一の実施形態に係る画像表示システム1は、2次元画像表示スクリーン10に表示された2次元画像と3次元画像表示スクリーン20に表示された3次元画像とを連動させて利用者に見せるためのシステムである。
図2に示すように、本発明の第一の実施形態に係る画像表示システム1は、2次元画像表示スクリーン10と、3次元画像表示スクリーン20と、2次元画像光照射装置30と、3次元画像光照射装置40と、一以上のポインタ50と、撮影装置60と、3次元位置センサ70と、制御装置80と、一以上の液晶シャッタメガネ90と、を備えている。
ここで、2次元画像表示スクリーン10と、2次元画像光照射装置30と、撮影装置60と、制御装置80(の一部)との組み合わせが、ポインティング位置検出システムを構成している。
【0017】
図1および図3に示すように、2次元画像表示スクリーン10は、リアプロジェクション型対応のスクリーンであり、表面が上、裏面が下を向くように水平に配置されている。
【0018】
図1および図3に示すように、3次元画像表示スクリーン20は、リアプロジェクション型対応のスクリーンであり、鉛直に配置されている。
【0019】
図3に示すように、2次元画像光照射装置30は、リアプロジェクション型であり、2次元画像表示スクリーン10の裏面側(下側)に設けられている。2次元画像光照射装置30は、ミラーMを介して、後記する2次元画像に基づいて2次元画像光を照射することにより、2次元画像表示スクリーン10に2次元画像(本実施形態では、平面図)を表示させる。
【0020】
図2に示すように、3次元画像光照射装置40は、リアプロジェクション型であり、3次元画像表示スクリーン20の裏面側に設けられている。3次元画像光照射装置40は、後記する3次元画像データに基づいて3次元画像光を照射することにより、3次元画像表示スクリーン20に3次元画像を表示させる。
なお、3次元画像光照射装置40は、フロントプロジェクション型であり、3次元画像表示スクリーンの表面側に設けられていてもよい。
3次元画像光照射装置40は、時分割シャッタ方式の立体視を行う場合には、液晶シャッタメガネ90と同期して右眼用画像光と左眼用画像光とを交互に照射する。
また、偏光方式の立体視を行う場合には、3次元画像光照射装置40は、右眼用画像光および左眼用画像光を2台の3次元画像光照射装置で照射する。2台の3次元画像光照射装置は、互いに直交する偏光(直線偏光または円偏光)板を通して右眼用画像光と左眼用画像光をそれぞれ照射する。利用者は、左右が互いに直交する偏光メガネを装着して3次元画像を観察する。
なお、立体視をせずに3次元画像を表示する場合には、3次元画像表示スクリーン20および3次元画像光照射装置に代えて、液晶ディスプレイ、プラズマディスプレイ等を使用することができる。
また、立体視対応のディスプレイを使用することもできる。
【0021】
本発明において、2次元画像とは、xy平面のみが表れる画像であり、3次元画像とは、xyz座標が表れ、立体を表示する画像である。
【0022】
図1および図3に示すように、一以上のポインタ50は、2次元画像に対応して2次元方向の位置・向き(本実施形態では、水平面における位置・向き)等を入力するための装置である。
図4に示すように、ポインタ50は、台座部51と、本体部52と、を備えている。
台座部51は、底板部51a、後板部51bおよび上板部51cからなり、側面視で「コ」字状を呈する透明樹脂製の部材である。上板部51cには二つの穴(図示せず)が設けられており、二つの穴に後記する第一の筒部52aおよび第二の筒部52bをそれぞれ挿通させた状態で、上板部51cの上面と本体部52の下面とが固定されている。
本体部52は、第一の赤外線LED52a1を有する第一の筒部52aと、第二の赤外線LED52b1を有する第二の筒部52bと、第一のボタン52cと、第二のボタン52dと、を備えている。
第一の赤外線LED52a1は、第一の筒部52aの先端に設けられており、赤外線(第一の光)を照射する。
第二の赤外線LED52b1は、第二の筒部52bの先端に設けられており、赤外線(第二の光)を照射する。
第一のボタン52cは、本体部52の上面の前方左側に設けられている。
第二のボタン52dは、本体部52の上面の前方右側に設けられている。
第一のボタン52cおよび第二のボタン52dは、例えばマウスの左ボタンおよび右ボタンと同様の機能を有することができる。
第一のボタン52cおよび第二のボタン52dの入力信号は、制御装置80に出力される。
【0023】
ポインタ50は、水平な2次元画像表示スクリーン10の表面(上面)に台座部51の底板部51aの下面が接するように置かれて使用される。かかる使用状態において、ポインタ50の第一の赤外線LED52a1および第二の赤外線LED52b1は、鉛直下方に赤外線(第一の光および第二の光)を照射する。
【0024】
図3に示すように、撮影装置60は、2次元画像表示スクリーン10の裏面側(下側)に設けられており、2次元画像表示スクリーン10の裏面を撮影する。撮影結果は、第一の赤外線LED52a1および第二の赤外線LED52b1による光(第一の光および第二の光)を含んでいる。
撮影装置60は、2次元画像表示スクリーン10の裏面を1台または複数台連動で撮影し、撮影結果(画像)をポインタ50による光(第一の光および第二の光)の取得に支障がない程度の頻度(例えば、1/30秒ごと)と分解能(例えば、2次元画像表示スクリーン10のサイズの1/1000)とで制御装置80に送信する。
撮影装置60としては、CCDカメラ、CMOSカメラ等が使用可能である。
撮影装置60の撮影可能な波長領域は、第一の赤外線LED52a1および第二の赤外線LED52b1の光(第一の光および第二の光)を撮影可能であればよい。
撮影結果は、制御装置80に出力される。
【0025】
図2に示すように、3次元位置センサ70は、利用者の操作入力に基づいて3次元位置データ(3次元座標)を生成するための装置である。
3次元位置センサ70としては、磁気式、力学式、ワイヤー式、光学式、超音波式、これらを組み合わせた方式などのセンサが使用可能である。
生成された3次元位置データは、制御装置80に出力される。
【0026】
制御装置80は、例えば、CPU、RAM、ROM、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ50、撮影装置60および3次元位置センサ70からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図5に示すように、制御装置80は、ボタン入力信号取得部81と、ポインティング位置取得部82と、3次元位置データ取得部83と、記憶部84と、データ更新部85と、2次元画像データ生成部86と、3次元画像データ生成部87と、を備えている。
【0027】
ボタン入力信号取得部81は、ポインタ50から第一のボタン52cおよび第二のボタン52dの入力信号(ボタン入力信号)を取得する。
取得されたボタン入力信号は、データ更新部85に出力される。
【0028】
ポインティング位置取得部82は、前記撮影結果から照射された前記光をポインティング位置として検出する。換言すると、ポインティング位置取得部82は、撮影装置60からの入力(撮影結果)に基づいて、2次元画像表示スクリーン10上におけるポインタ50の光の位置に対応するポインティング位置を取得する。また、ポインティング位置取得部82は、撮影装置60からの入力(撮影結果)に基づいて、ポインタ50の向きに対応するポインティング向きを取得する。そして、ポインティング位置取得部82は、取得されたポインティング位置およびポインティング向きと、2次元画像データに反映された空間データ84aとに基づいて、2次元画像に対応する2次元位置データおよび2次元向きデータを生成する。生成された2次元位置データおよび2次元向きデータは、データ更新部85に出力される。
【0029】
3次元位置データ取得部83は、3次元位置センサ70からの入力信号に基づいて、3次元位置データを取得する。3次元位置データ取得部83は、3次元位置センサ70からの入力と、3次元画像データに反映された空間データ84aとに基づいて、3次元画像に対応する3次元位置データを生成する。
取得された3次元位置データは、データ更新部85に出力される。
【0030】
記憶部84は、画像として表示される空間に関する空間データ84aと、この空間内に配置される物体に関する物体データ84bと、を記憶している。
空間データ84aは、物体が配置される空間に関するデータであり、例えば、住居の一室(床、壁、天井など)の形状、寸法、座標、都市部の一区画(道路、川など)の形状、寸法、座標に関するデータである。
物体データ84bは、物体のID、種類、形状、寸法、座標(位置)、向きなどを関連付けたものである。物体データ84bの移動可能な範囲は、空間データ84aの規定する範囲内である。
ここで、物体データ84bにおける座標(位置)に関するデータが、特許請求の範囲における物体位置データである。
【0031】
データ更新部85は、ボタン入力信号取得部81およびポインティング位置取得部82から入力されたデータまたは3次元位置データ取得部83から入力されたデータに基づいて、記憶部84に記憶された物体データを更新する。
また、データ更新部85は、図示しないキーボード等の入力装置からの入力信号に基づいて、新たな物体データを生成して記憶部84に記憶させることができる。
また、データ更新部85は、ボタン入力信号取得部81およびポインティング位置取得部82から入力されたデータまたは3次元位置データ取得部83から入力されたデータに基づいて、記憶部84に記憶された空間データ84aを更新する。
【0032】
2次元画像データ生成部86は、記憶部84に記憶された空間データ84aおよび物体データ84bに基づいて、2次元画像データを生成する。
2次元画像データ生成部86は、2次元画像データを時間的に連続して生成しており、更新結果が反映される。
生成された2次元画像データは、2次元画像光照射装置30に出力される。
【0033】
3次元画像データ生成部87は、記憶部84に記憶された空間データ84aおよび物体データ84bに基づいて、3次元画像データを生成する。
3次元画像データ生成部87は、3次元画像データを時間的に連続して生成しており、更新結果が反映される。
生成された3次元画像データは、3次元画像光照射装置40に出力される。
また、立体視を行う場合には、3次元画像データ生成部87は、3次元画像データとして右眼用画像光データと左眼用画像光データとを生成する。時分割シャッタ方式の立体視を行う場合には、3次元画像データ生成部87は、右眼用画像データおよび左眼用画像データとともに同期信号を生成する。生成された同期信号は、液晶シャッタメガネ90に出力される。偏光方式の立体視を行う場合には、右眼用画像データおよび左眼用画像データは、2台の3次元画像照射装置にそれぞれ出力される。
【0034】
(明るさ補正について)
記憶部84は、明るさ補正テーブル84cをさらに記憶している。
明るさ補正テーブル84cは、キャリブレーション(位置較正)時に作成される。
例えば、矩形を呈する2次元画像表示スクリーン10の四隅および中央にマークを表示させた状態で、利用者にポインタ50の位置合わせを実行させる。ここで、明るさの最大値が明るさ補正テーブル84cに記憶可能な上限を超えないように、予め明るさ調整がなされているものとする。
このとき、マークをクリックしたときの第一の赤外線LED52a1および第二の赤外線LED52b1による光(第一の光および第二の光)領域付近の明るさを取得し、それらの最大値(光点)および最小値(背景)を明るさ補正テーブル84cに記憶させる。ポインティング位置算出部82は、これらの値に基づいて撮影結果の画像内各領域での明るさの最大値および最小値を補間して算出し、光領域の明るさを補正する。例えば、ポインティング位置算出部82は、光領域の明るさが小さい場合に明るさが大きくなるように補正する(明るさフィルタ処理)。
【0035】
(位置補正について)
記憶部84は、位置補正テーブル84dをさらに記憶している。
位置補正テーブル84dは、撮影装置60による撮影結果における位置と、2次元画像表示スクリーン10に表示される2次元画像における位置との関係を関連付けるテーブルであり、キャリブレーション(位置較正)時に作成される。
第一の赤外線LED52a1および第二の赤外線LED52b1は、第一の光および第二の光の撮影結果が撮影装置60の縦横それぞれに対して数ピクセルにわたる大きさとなるように、その高さ等が調整されている。そして、位置補正テーブル84dは、複数ピクセル範囲に対する明るさ分布と当該明るさ分布における光の中心との関係を予め複数のパターンとして記憶している。位置補正テーブル84dが複数のパターンを備えている場合には、ポインティング位置取得部82は、これらのパターンと実際の撮影結果の光のパターンとをマッチングし、最も一致したパターンに基づいて光の中心を算出する。
すなわち、ポインティング位置取得部82は、位置補正テーブル84dを用いて、第一の赤外線LED52a1および第二の赤外線LED52b1による光の中心を第一の赤外線LED52a1および第二の赤外線LED52b1によるポインティング位置として決定する。
なお、ポインティング位置算出部82は、予め記憶された複数のパターンを用いずに、光の明るさを曲線補間することにより明るさのピーク位置を算出し、このピーク位置をポインティング位置として決定する構成であってもよい。
前記した各手法によると、撮影装置60のピクセル単位以上の精度でポインティング位置を算出することができる。
また、ポインティング位置算出部82は、キャリブレーション時に取得された2次元画像表示スクリーン10の四隅および中央の点における取得座標対スクリーン座標の関係に基づいて、線形補間等の補間手法を用いて光の位置(またはポインティング位置)を補正する。
【0036】
(LEDの識別について)
記憶部84は、LED識別データ84eを記憶している。
LED識別データ84eは、一以上のポインタ50の第一の赤外線LED52a1および第二の赤外線LED52b1を識別するためのデータである。
各赤外線LEDは、他の赤外線LEDと識別可能なように、固有の明るさまたは点灯タイミングで赤外線を照射するように構成されている。LED識別データ84eは、これら固有の明るさまたは点灯タイミングと赤外線LEDのIDとを関連付けて記憶している。
ポインティング位置取得部82は、LED識別データ84eを用いて、ポインティング位置がどの赤外線LEDによるものであるかを識別する。
なお、ポインティング位置取得部82は、前回ポインティング位置と今回ポインティング位置とが所定距離内である場合には、同一LEDによるポインティング位置であると判定する。このロジックは、前回ポインティング位置と今回ポインティング位置とが所定距離を超えて離れている場合には適用されない。所定距離が大きいと誤判定が増え、所定距離が小さいと判定外となりロジックが適用されない場合が増えるので、所定距離は、ポインタ50の操作の限界移動速度に基づいて決定される。
ポインティング位置取得部82は、前記したロジックの判定でLEDの識別ができない場合に、明るさまたは点灯タイミングによる識別を実行する。
【0037】
図2に示すように、一以上の液晶シャッタメガネ90は、右眼用シャッタと、左眼用シャッタと、同期信号受信装置と、を備えている。液晶シャッタメガネ90は、同期信号受信装置により受信された同期信号に基づいて右眼用シャッタおよび左眼用シャッタを開閉させることにより、利用者に3次元画像を見せる。
【0038】
続いて、ポインティング位置およびポインティング向きを検出するための処理に関する制御フローについて、図6を参照して説明する。
図6は、本発明の第一の実施形態に係るポインティング位置およびポインティング向き検出処理を説明するためのフローチャートである。
まず、ポインティング位置取得部82が、撮影装置60の撮影結果に基づいて画像データを取得する(ステップS1)。
続いて、ポインティング位置取得部82が、フィルタ処理を行い、画像データからノイズを除去する(ステップS2)。
続いて、ポインティング位置取得部82が、明るさ補正テーブル84cを用いて、明るさフィルタ処理を行う(ステップS3)。
続いて、ポインティング位置取得部82が、画像データからポインタ50による光に関するデータを分離する(ステップS4)。
続いて、ポインティング位置取得部82が、位置補正テーブル84dを用いて、ポインティング位置を算出する(ステップS5)。すなわち、第一の赤外線LED52a1および第二の赤外線LED52b1の光の中心を第一の赤外線LED52a1および第二の赤外線LED52b1のポインティング位置として決定する。ここで、ポインティング位置取得部82は、第一の赤外線LED52a1のポインティング位置をポインタ50のポインティング位置として決定する。
続いて、ポインティング位置取得部82が、第一の赤外線LED52a1および第二の赤外線LED52b1のポインティング位置に基づいて、ポインタ50のポインティング向きを算出する(ステップS6)。
続いて、ポインティング位置取得部82が、LED識別データ84eを用いて、光すなわちポインティング位置のID(光を照射するLEDのID)を識別する(ステップS7)。
続いて、ポインティング位置取得部82が、取得されたポインティング位置およびポインティング向きと、2次元画像データに反映された空間データ84aとに基づいて、2次元画像に対応する2次元位置データおよび2次元向きデータを生成し、生成された2次元位置データおよび2次元向きデータをデータ更新部85に出力する(ステップS8)。
【0039】
続いて、本発明の第一の実施形態に係る画像表示システム1の使用例について、2次元画像および3次元画像を参照して説明する。以下の例において、空間は病室、物体はベッドである。
図7ないし図9は、本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、(a)は2次元画像を示す図、(b)は3次元画像を示す図である。
【0040】
図7(a)に示すように、ポインタ50が2次元画像表示スクリーン10上に置かれると、ポインティング位置取得部82がポインティング位置およびポインティング向きを算出し、データ更新部85は、ポインティング位置およびポインティング向きを記憶部84に記憶させる。3次元画像データ生成部87は、ポインタ40のポインティング位置およびポインティング向きを3次元画像における視点位置および視点向きとして3次元画像データを生成し、図7(b)に示すように、3次元画像表示スクリーン20に3次元画像を表示させる。
【0041】
そして、図8(a)に示すように、ポインタ50が2次元画像表示スクリーン10上を移動すると、3次元画像データ生成部87は、移動したポインタ50のポインティング位置(視点位置)に基づいて3次元画像データを再生成し、図8(b)に示すように、3次元画像表示スクリーン20に新たな視点位置に基づく3次元画像を表示させる。
【0042】
また、図9(a)に示すように、ポインタ50が2次元画像表示スクリーン10上で向きを変えると、3次元画像データ生成部87は、向きを変えたポインタ50のポインティング位置(視点向き)に基づいて3次元画像データを再生成し、図9(b)に示すように、3次元画像表示スクリーン20に新たな視点の向きに基づく3次元画像を表示させる。
ここで、図9(c)に、向き変更前における第一の赤外線LED52a1および第二の赤外線LED52b1のポインティング位置(x1,y1)、(x2,y2)と、向き変更後における第一の赤外線LED52a1および第二の赤外線LED52b1のポインティング位置(x3,y3)、(x4,y4)との関係を示す。ポインティング位置取得部82は、これらポインティング位置のなす角θだけポインティング向きを変えることになる。
すなわち、データ更新部85は、ポインティング位置に対応する2次元画像上の位置を視点位置として決定するとともにポインティング向きを視点向きとして決定して記憶部84に記憶させており、3次元画像データ生成部87は、視点位置および視点向きに基づいて3次元画像データを生成する。
【0043】
なお、図7(a)、図8(a)および図9(a)に示すように、2次元画像データ生成部86は、記憶部84に記憶された視野角データに基づいて、3次元画像として表示される部分を視野角として表示させてもよい。
すなわち、2次元画像データ生成部86は、3次元画像の視点位置および視野に対応する視点位置および視野角を2次元画像に表示可能な2次元画像データを生成する。このようにすることで、3次元画像における視点を2次元画像で確認することができる。
【0044】
図10ないし図12は、本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、(a)は2次元画像を示す図、(b)は3次元画像を示す図である。以下の図では、ポインタ50を1つだけ図示したが、複数のポインタ50を同時に操作することも可能である。
【0045】
図10(a)に示すように、ポインタ50が2次元画像表示スクリーン10上でベッドBを選択すると(例えば、ベッドBの画像上でポインタ50の第一のボタン52cをクリック)、データ更新部85は、ベッドBを選択した旨のデータを記憶部84に記憶させる。そして、図10(a)および図10(b)に示すように、2次元画像データ生成部86および3次元画像データ生成部87は、ベッドBを囲む枠線を生成し、表示させる。
【0046】
そして、図11(a)に示すように、ポインタ50が2次元画像表示スクリーン10上を移動すると、データ更新部85は、記憶部84に記憶されたベッドBの位置データを更新する。そして、図11(a)および図11(b)に示すように、2次元画像データ生成部86および3次元画像データ生成部87は、ベッドBの移動を反映した2次元画像データおよび3次元画像データを再生成し、表示させる。
【0047】
また、図12(a)に示すように、ポインタ50が2次元画像表示スクリーン10上で向きを変えると、データ更新部85は、記憶部84に記憶されたベッドBの向きデータを更新する。そして、図12(a)および図12(b)に示すように、2次元画像データ生成部86および3次元画像データ生成部87は、ベッドBの向き変更を反映した2次元画像データおよび3次元画像データを再生成し、表示させる。
すなわち、データ更新部85は、ポインティング位置に対応する2次元画像上の位置をベッドBの位置として決定するとともにポインティング向きをベッドBの向きとして決定して記憶部84内のデータを更新しており、3次元画像データ生成部87は、更新されたベッドBの位置および向きを反映した3次元画像データを生成する。
【0048】
第一の使用例および第二の使用例以外にも、画像表示システム1は、空間データ84aを更新することにより空間のレイアウト(間取り、広さ等)を変更したり、物体データ84bを更新することにより物体の大きさを変更したり、2次元画像および3次元画像の縮尺率を変更したりすることができる。
また、3次元位置センサ70からの入力に基づいて、空間データ84aおよび物体データ84bを更新することも可能である。
また、これらの更新内容の切換は、例えばGUIを利用して実行可能である。
また、ポインタ50および撮影装置60または3次元位置センサ70による2次元画像または3次元画像における2点を指示する入力と記憶部84に記憶されたデータとに基づいて、2次元画像データ生成部86および3次元画像データ生成部87の少なくとも一方が、指示された2点間の距離を表示可能な2次元画像データまたは3次元画像データを生成して出力し、2点間の距離の表示を利用者に見せる構成であってもよい。この場合、3次元画像における距離の表示は、引き出し線とともに、常に利用者(観察者)視点方向に向くように3次元画像内に配置されることが好ましい。
【0049】
すなわち、データ更新部85は、位置データ入力手段(ポインタ50および撮影装置60ならびに3次元位置センサ70の少なくとも一方)により入力された二つの位置データ(2次元位置データおよび3次元位置データの少なくとも一方)に基づいて空間データ84aおよび物体データ84bにおける点、線、面および物体のいずれか二つを選択して選択結果を記憶部84に記憶させ、2次元画像データ生成部86は、選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な2次元画像データを生成し、3次元画像データ生成部87は、選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な3次元画像データを生成する。ここで、点と線、点と面、線と面等の組み合わせが可能であり、物体の距離としては、物体間の最も狭い距離でもよく、物体の中心間の距離であってもよい。
図13は、3次元画像における距離の表示例を示す図である。
図13(a)において、3次元位置センサ70の入力により、ベッドB1,B2が選択され、3次元画像データ生成部87は、ベッドB1,B2間の最短距離AAAAを表示可能な3次元画像データを生成する。
そして、図13(b)に示すように、3次元位置センサ70の入力により、ベッドB2の配置が変更される場合には、変更された配置に対応するベッドB1,B2間の最短距離BBBBを表示可能な3次元画像データが生成される。
【0050】
また、空間データ84aは、物体の配置を禁止する領域に関する物体配置禁止領域データを含み、データ更新部85は、物体データ84bにおける物体位置データと物体配置禁止領域データとに基づいて、前記物体が前記物体の配置を禁止する領域へ配置されるようなデータ更新を禁止することが望ましい。
例えば、法規制、敷地境界等に基づいて、空間データ84a内に物体の配置禁止領域データを設定し、ポインタ50および撮影装置60または3次元位置センサ70による物体(例えば、病室における前記したベッドB、都市空間における建築物等)を配置禁止領域に移動させようとする指示が入力された場合に、2次元画像データ生成部86および3次元画像データ生成部87が、前記した移動は不可能である旨を伝えるメッセージを含むデータを生成して出力し、このメッセージを利用者に見せる構成であってもよい。
【0051】
本発明の第一の実施形態に係る画像表示システム1は、以下の効果を奏する。
画像表示システム1は、ポインティング位置の検出が障害物により邪魔されることを防ぐことができる。また、赤外光を利用することで、照射された光とスクリーンの表示画像との混同を防ぐことができる。また、ポインタ50の向きを変えるだけポインティング向きを変えることができるので、利用者によるポインティング向きの設定が容易になる。
画像表示システム1は、2次元画像と3次元画像とを更新結果に応じて連動して表示するので、空間における物体のレイアウトを好適に確認することができる。すなわち、住宅、建築物(工場、学校、病院等)等の設計、レイアウトに関する合意形成のためにプレゼンテーションや協調作業を行う際には、2次元画像および3次元画像の両方を用いることができるので、実際の設計、レイアウトを説明するのに好適である。特に、住宅、建築物のレイアウトを3次元画像として表示する場合には、実物大で表示することが望ましい。
特に、2次元画像を見ながらポインタ50を用いて物体の移動を指示し、実際の移動結果を3次元画像を見て確認することにより、利用者にとってよりわかりやすい説明が可能である。
また、3次元画像の視点を2次元位置データを入力可能なポインタ50または3次元位置センサ70を用いて変更したり、3次元画像の視点を2次元画像を見ることで確認することが可能となる。
【0052】
(第二の実施形態)
続いて、本発明の第二の実施形態に係る画像表示システム2について、第一の実施形態に係る画像表示システム1との相違点を中心に説明する。
図14は、本発明の第二の実施形態に係る画像表示システムを示すブロック図である。図15は、本発明の第二の実施形態に係る制御装置の詳細を示すブロック図である。
【0053】
図14に示すように、本発明の第二の実施形態に係る画像表示システム2は、制御装置80に代えて、制御装置(第一の制御装置)110および制御装置(第二の制御装置)120を備えている。
【0054】
制御装置110は、例えば、CPU、RAM、ROM、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ50および撮影装置60からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図15に示すように、制御装置110は、ボタン入力信号取得部111と、ポインティング位置取得部112と、記憶部(第一の記憶部)114と、データ更新部(第一のデータ更新部)115と、2次元画像データ生成部116と、データ送受信部(第一のデータ送受信部)118と、を備えている。
ここで、ボタン入力信号取得部111、ポインティング位置取得部112、記憶部(第一の記憶部)114、データ更新部(第一のデータ更新部)115および2次元画像データ生成部116は、第一の実施形態に係るボタン入力信号取得部81、ポインティング位置取得部82、記憶部84、データ更新部85および2次元画像データ生成部86とほぼ同等の機能を有するので、説明を省略する。
すなわち、記憶部114に記憶された空間データ114a、物体データ114b、明るさ補正テーブル114c、位置補正テーブル114dおよびLED識別データ114eは、記憶部84に記憶された空間データ84a、物体データ84b、明るさ補正テーブル84c、位置補正テーブル84dおよびLED識別データ84eと同様である。
【0055】
制御装置120は、例えば、CPU、RAM、ROM、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ50および撮影装置60からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図15に示すように、制御装置120は、3次元位置データ取得部123と、記憶部(第二の記憶部)124と、データ更新部(第二のデータ更新部)125と、3次元画像データ生成部127と、データ送受信部(第二のデータ送受信部)128を備えている。
ここで、ボタン入力信号取得部111、ポインティング位置取得部112、記憶部(第一の記憶部)114、データ更新部(第一のデータ更新部)115および2次元画像データ生成部116は、第一の実施形態に係る3次元位置データ取得部83、記憶部84、データ更新部85および3次元画像データ生成部87とほぼ同等の機能を有するので、説明を省略する。
すなわち、記憶部124に記憶された空間データ124aおよび物体データ124bは、記憶部84に記憶された空間データ84aおよび物体データ84bと同様である。
【0056】
データ送受信部118,128は、例えばLAN回線を介して、記憶部114,124の一方の物体データが更新された場合に、更新された物体データを送受信し、記憶部114,124の他方の物体データを更新させる。
第二の実施形態に係る画像表示システム2は、データ送受信部118,128を介して記憶部114,124に記憶されたデータを同一に更新するので、第一の実施形態に係る画像表示システム1と同様の効果を奏することができる。
【0057】
以上、本発明の実施形態について図面を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。
例えば、制御装置80,110,120は、各機能部をソフトウェアとハードウェアとの協働により実現する構成であってもよく、これらの機能の一部をハードウェアのみで実現する構成であってもよい。
また、ポインタが第一の赤外線LED52a1および第二の赤外線LED52b1に代えて非円形状(例えば、線状、楕円形、多角形等)を呈する光を照射することが可能な赤外光源を備え、制御装置が非円形状を呈する光の姿勢に基づいてポインティング向きを検出する構成であってもよい。
【図面の簡単な説明】
【0058】
【図1】本発明の第一の実施形態に係る画像表示システムの外観を示す模式図である。
【図2】本発明の第一の実施形態に係る画像表示システムを示すブロック図である。
【図3】本発明の第一の実施形態に係るポインティング位置検出システムを示す概略構成図である。
【図4】本発明の第一の実施形態に係るポインタを示す斜視図である。
【図5】本発明の第一の実施形態に係る制御装置を示す詳細ブロック図である。
【図6】図6は、本発明の第一の実施形態に係るポインティング位置およびポインティング向き検出処理を説明するためのフローチャートである。
【図7】本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、(a)は2次元画像を示す図、(b)は3次元画像を示す図である。
【図8】本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、(a)は2次元画像を示す図、(b)は3次元画像を示す図である。
【図9】本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、(a)は2次元画像を示す図、(b)は3次元画像を示す図である。
【図10】本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、(a)は2次元画像を示す図、(b)は3次元画像を示す図である。
【図11】本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、(a)は2次元画像を示す図、(b)は3次元画像を示す図である。
【図12】本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、(a)は2次元画像を示す図、(b)は3次元画像を示す図である。
【図13】3次元画像における距離の表示例を示す図である。
【図14】本発明の第二の実施形態に係る画像表示システムを示すブロック図である。
【図15】本発明の第二の実施形態に係る制御装置の詳細を示すブロック図である。
【符号の説明】
【0059】
1,2 画像表示システム
10 2次元画像表示スクリーン
20 3次元画像表示スクリーン
30 2次元画像光照射装置
40 3次元画像光照射装置
50 ポインタ
60 撮影装置
70 3次元位置センサ
80 制御装置
90 液晶シャッタメガネ
【特許請求の範囲】
【請求項1】
スクリーンと、
前記スクリーンの裏面に画像光を照射する照射装置と、
前記スクリーンの表面に光を照射するポインタと、
前記スクリーンの裏面を撮影する撮影装置と、
前記撮影装置による撮像結果が入力される制御装置と、
を備え、
前記制御装置は、前記撮影結果から照射された前記光をポインティング位置として検出することを特徴とするポインティング位置検出システム。
【請求項2】
前記ポインタにより照射される光の波長は、前記照射装置により照射される画像光の波長とは異なることを特徴とする請求項1に記載のポインティング位置検出システム。
【請求項3】
前記制御装置は、前記撮影結果における照射された前記光の姿勢に基づいて、前記ポインタの向きに対応するポインティング向きを検出することを特徴とする請求項1または請求項2に記載のポインティング位置検出システム。
【請求項4】
前記光は、二つに分かれた第一の光および第二の光からなり、
前記制御装置は、前記撮影結果における前記第一の光および前記第二の光の相対位置に基づいて、ポインティング向きを算出することを特徴とする請求項3に記載のポインティング位置検出システム。
【請求項1】
スクリーンと、
前記スクリーンの裏面に画像光を照射する照射装置と、
前記スクリーンの表面に光を照射するポインタと、
前記スクリーンの裏面を撮影する撮影装置と、
前記撮影装置による撮像結果が入力される制御装置と、
を備え、
前記制御装置は、前記撮影結果から照射された前記光をポインティング位置として検出することを特徴とするポインティング位置検出システム。
【請求項2】
前記ポインタにより照射される光の波長は、前記照射装置により照射される画像光の波長とは異なることを特徴とする請求項1に記載のポインティング位置検出システム。
【請求項3】
前記制御装置は、前記撮影結果における照射された前記光の姿勢に基づいて、前記ポインタの向きに対応するポインティング向きを検出することを特徴とする請求項1または請求項2に記載のポインティング位置検出システム。
【請求項4】
前記光は、二つに分かれた第一の光および第二の光からなり、
前記制御装置は、前記撮影結果における前記第一の光および前記第二の光の相対位置に基づいて、ポインティング向きを算出することを特徴とする請求項3に記載のポインティング位置検出システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2007−334697(P2007−334697A)
【公開日】平成19年12月27日(2007.12.27)
【国際特許分類】
【出願番号】特願2006−166753(P2006−166753)
【出願日】平成18年6月15日(2006.6.15)
【出願人】(000206211)大成建設株式会社 (1,602)
【出願人】(000132769)株式会社ソリッドレイ研究所 (6)
【Fターム(参考)】
【公開日】平成19年12月27日(2007.12.27)
【国際特許分類】
【出願日】平成18年6月15日(2006.6.15)
【出願人】(000206211)大成建設株式会社 (1,602)
【出願人】(000132769)株式会社ソリッドレイ研究所 (6)
【Fターム(参考)】
[ Back to top ]