画像表示システム
【課題】空間における物体のレイアウトを好適に確認することが可能な画像表示システムを提供する。
【解決手段】画像表示システムは、空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する記憶部８４と、物体データを更新するデータ更新部８５と、空間データおよび物体データに基づいて、２次元画像データを生成する２次元画像データ生成部８６と、空間データおよび物体データに基づいて、３次元画像データを生成する３次元画像データ生成部８７と、２次元画像データに基づいて、２次元画像を表示する２次元画像表示装置と、前記３次元画像データに基づいて、３次元画像を表示する３次元画像表示装置と、を備えている。
【解決手段】画像表示システムは、空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する記憶部８４と、物体データを更新するデータ更新部８５と、空間データおよび物体データに基づいて、２次元画像データを生成する２次元画像データ生成部８６と、空間データおよび物体データに基づいて、３次元画像データを生成する３次元画像データ生成部８７と、２次元画像データに基づいて、２次元画像を表示する２次元画像表示装置と、前記３次元画像データに基づいて、３次元画像を表示する３次元画像表示装置と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示システムに関する。
【背景技術】
【０００２】
従来、多人数に対して表示画像を用いてプレゼンテーションを行ったり、多人数で表示画像を用いて協調作業を行ったりする際に、レーザポインタにより表示画像の特定位置を指し示すことが行われている。
ここで、かかるポインティング位置を検出し、検出されたポインティング位置を表示画像の制御に利用する技術がある（特許文献１参照）。
【特許文献１】特開２０００−２７６２９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載の技術を用いて、住宅、建築物等の設計、レイアウトに関する合意形成のためにプレゼンテーションや協調作業を行う際には、平面図を表示させていたが、平面図ベースでは、実際の設計、レイアウトを説明するのに限界があった。
【０００４】
本発明は、前記した問題を解決すべく創案されたものであり、空間における物体のレイアウトを好適に確認することが可能な画像表示システムを提供することを課題とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するため、請求項１に記載の発明である画像表示システムは、空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する記憶部と、前記空間データおよび前記物体データを更新するデータ更新部と、前記空間データおよび前記物体データに基づいて、２次元画像データを生成する２次元画像データ生成部と、前記空間データおよび前記物体データに基づいて、３次元画像データを生成する３次元画像データ生成部と、前記２次元画像データに基づいて、２次元画像を表示する２次元画像表示装置と、前記３次元画像データに基づいて、３次元画像を表示する３次元画像表示装置と、を備えていることを特徴とする。
【０００６】
かかる構成によると、２次元画像と３次元画像とが更新結果に応じて連動して表示されるので、空間における物体のレイアウトを好適に確認することができる。
【０００７】
また、請求項２に記載の発明は、請求項１に記載の画像表示システムであって、２次元位置データを入力する２次元位置データ入力手段をさらに備え、前記データ更新部は、入力された前記２次元位置データを３次元画像データにおける視点位置データとして前記記憶部に記憶させ、前記３次元画像データ生成部は、前記視点位置データに基づいて前記３次元画像データを生成することを特徴とする。
【０００８】
また、請求項３に記載の発明は、請求項１または請求項２に記載の画像表示システムであって、３次元位置データを入力する３次元位置データ入力手段をさらに備え、前記データ更新部は、入力された前記３次元位置データを３次元画像データにおける視点位置データとして前記記憶部に記憶させ、前記３次元画像データ生成部は、前記視点位置データに基づいて前記３次元画像データを生成することを特徴とする。
【０００９】
また、請求項４に記載の発明は、請求項１に記載の画像表示システムであって、２次元位置データを入力する２次元位置データ入力手段をさらに備え、前記データ更新部は、入力された前記２次元位置データを物体データにおける物体位置データとして前記記憶部に記憶させ、前記２次元画像データ生成部は、前記物体位置データに基づいて前記２次元画像データを生成し、前記３次元画像データ生成部は、前記物体位置データに基づいて前記３次元画像データを生成することを特徴とする。
【００１０】
また、請求項５に記載の発明は、請求項１または請求項４に記載の画像表示システムであって、３次元位置データを入力する３次元位置データ入力手段をさらに備え、前記データ更新部は、入力された前記３次元位置データを物体データにおける物体位置データとして前記記憶部に記憶させ、前記２次元画像データ生成部は、前記物体位置データに基づいて前記２次元画像データを生成し、前記３次元画像データ生成部は、前記物体位置データに基づいて前記３次元画像データを生成することを特徴とする。
【００１１】
また、請求項６に記載の発明は、請求項１に記載の画像表示システムであって、前記空間データは、前記物体の配置を禁止する領域に関する物体配置禁止領域データを含み、
前記データ更新部は、前記物体データにおける物体位置データと前記物体配置禁止領域データとに基づいて、前記物体が前記物体の配置を禁止する領域へ配置されるようなデータ更新を禁止することを特徴とする。
【００１２】
また、請求項７に記載の発明は、請求項１に記載の画像表示システムであって、位置データを入力する位置データ入力手段をさらに備え、前記データ更新部は、前記位置データ入力手段により入力された二つの位置データに基づいて前記空間データおよび前記物体データにおける点、線、面および物体のいずれか二つを選択して選択結果を前記記憶部に記憶させ、前記２次元画像データ生成部は、前記選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な２次元画像データを生成し、前記３次元画像データ生成部は、前記選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な３次元画像データを生成することを特徴とする。
【００１３】
また、請求項８に記載の発明である画像表示システムは、空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する第一の記憶部と、前記第一の記憶部に記憶された前記空間データおよび前記物体データを更新する第一のデータ更新部と、前記第一の記憶部に記憶された前記空間データおよび前記物体データに基づいて、２次元画像データを生成する２次元画像データ生成部と、データの送受信を行う第一のデータ送受信部と、を備えた第一の制御装置と、前記２次元画像データに基づいて、２次元画像を表示する２次元画像表示装置と、空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する第二の記憶部と、前記第二の記憶部に記憶された前記空間データおよび前記物体データを更新する第二のデータ更新部と、前記第二の記憶部に記憶された前記空間データおよび前記物体データに基づいて、３次元画像データを生成する３次元画像データ生成部と、データの送受信を行う第二のデータ送受信部と、を備えた第二の制御装置と、前記３次元画像データに基づいて、３次元画像を表示する３次元画像表示装置と、を備え、前記第一のデータ送受信部および前記第二のデータ送受信部が、前記第一のデータ記憶部および前記第二のデータ記憶部の一方の更新結果を他方に反映させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、２次元画像と３次元画像とが更新結果に応じて連動して表示されるので、空間における物体のレイアウトを好適に確認することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。
【００１６】
（第一の実施形態）
図１は、本発明の第一の実施形態に係る画像表示システムの外観を示す模式図である。図２は、本発明の第一の実施形態に係る画像表示システムを示すブロック図である。図３は、本発明の第一の実施形態に係るポインティング位置検出システムを示す概略構成図である。図４は、本発明の第一の実施形態に係るポインタを示す斜視図である。なお、図４における方向は、ポインタの利用者による使用状態での方向を基準としている。
【００１７】
図１に示すように、本発明の第一の実施形態に係る画像表示システム１は、２次元画像表示スクリーン１０に表示された２次元画像と３次元画像表示スクリーン２０に表示された３次元画像とを連動させて利用者に見せるためのシステムである。
図２に示すように、本発明の第一の実施形態に係る画像表示システム１は、２次元画像表示スクリーン１０と、３次元画像表示スクリーン２０と、２次元画像光照射装置３０と、３次元画像光照射装置４０と、一以上のポインタ５０と、撮影装置６０と、３次元位置センサ７０と、制御装置８０と、一以上の液晶シャッタメガネ９０と、を備えている。
ここで、２次元画像表示スクリーン１０と、２次元画像光照射装置３０との組み合わせが、特許請求の範囲における「２次元画像表示装置」の一例である。
また、３次元画像表示スクリーン２０と、３次元画像光照射装置４０と、一以上の液晶シャッタメガネ９０との組み合わせが、特許請求の範囲における「３次元画像表示装置」の一例である。
また、２次元画像表示スクリーン１０と、一以上のポインタ５０と、撮影装置６０との組み合わせが、特許請求の範囲における「２次元位置データ入力手段」の一例である。
また、３次元位置センサ７０が、特許請求の範囲における「３次元位置データ入力手段」の一例である。
また、２次元画像表示スクリーン１０と、２次元画像光照射装置３０と、撮影装置６０と、制御装置８０（の一部）との組み合わせが、ポインティング位置検出システムを構成している。
【００１８】
図１および図３に示すように、２次元画像表示スクリーン１０は、リアプロジェクション型対応のスクリーンであり、表面が上、裏面が下を向くように水平に配置されている。
【００１９】
図１および図３に示すように、３次元画像表示スクリーン２０は、リアプロジェクション型対応のスクリーンであり、鉛直に配置されている。
【００２０】
図３に示すように、２次元画像光照射装置３０は、リアプロジェクション型であり、２次元画像表示スクリーン１０の裏面側（下側）に設けられている。２次元画像光照射装置３０は、ミラーＭを介して、後記する２次元画像に基づいて２次元画像光を照射することにより、２次元画像表示スクリーン１０に２次元画像（本実施形態では、平面図）を表示させる。
【００２１】
図２に示すように、３次元画像光照射装置４０は、リアプロジェクション型であり、３次元画像表示スクリーン２０の裏面側に設けられている。３次元画像光照射装置４０は、後記する３次元画像データに基づいて３次元画像光を照射することにより、３次元画像表示スクリーン２０に３次元画像を表示させる。
なお、３次元画像光照射装置４０は、フロントプロジェクション型であり、３次元画像表示スクリーンの表面側に設けられていてもよい。
３次元画像光照射装置４０は、時分割シャッタ方式の立体視を行う場合には、液晶シャッタメガネ９０と同期して右眼用画像光と左眼用画像光とを交互に照射する。
また、偏光方式の立体視を行う場合には、３次元画像光照射装置４０は、右眼用画像光および左眼用画像光を２台の３次元画像光照射装置で照射する。２台の３次元画像光照射装置は、互いに直交する偏光（直線偏光または円偏光）板を通して右眼用画像光と左眼用画像光をそれぞれ照射する。利用者は、左右が互いに直交する偏光メガネを装着して３次元画像を観察する。
なお、立体視をせずに３次元画像を表示する場合には、３次元画像表示スクリーン２０および３次元画像光照射装置に代えて、液晶ディスプレイ、プラズマディスプレイ等を使用することができる。
また、立体視対応のディスプレイを使用することもできる。
【００２２】
本発明において、２次元画像とは、ｘｙ平面のみが表れる画像であり、３次元画像とは、ｘｙｚ座標が表れ、立体を表示する画像である。
【００２３】
図１および図３に示すように、一以上のポインタ５０は、２次元画像に対応して２次元方向の位置・向き（本実施形態では、水平面における位置・向き）等を入力するための装置である。
図４に示すように、ポインタ５０は、台座部５１と、本体部５２と、を備えている。
台座部５１は、底板部５１ａ、後板部５１ｂおよび上板部５１ｃからなり、側面視で「コ」字状を呈する透明樹脂製の部材である。上板部５１ｃには二つの穴（図示せず）が設けられており、二つの穴に後記する第一の筒部５２ａおよび第二の筒部５２ｂをそれぞれ挿通させた状態で、上板部５１ｃの上面と本体部５２の下面とが固定されている。
本体部５２は、第一の赤外線ＬＥＤ５２ａ１を有する第一の筒部５２ａと、第二の赤外線ＬＥＤ５２ｂ１を有する第二の筒部５２ｂと、第一のボタン５２ｃと、第二のボタン５２ｄと、を備えている。
第一の赤外線ＬＥＤ５２ａ１は、第一の筒部５２ａの先端に設けられており、赤外線（第一の光）を照射する。
第二の赤外線ＬＥＤ５２ｂ１は、第二の筒部５２ｂの先端に設けられており、赤外線（第二の光）を照射する。
第一のボタン５２ｃは、本体部５２の上面の前方左側に設けられている。
第二のボタン５２ｄは、本体部５２の上面の前方右側に設けられている。
第一のボタン５２ｃおよび第二のボタン５２ｄは、例えばマウスの左ボタンおよび右ボタンと同様の機能を有することができる。
第一のボタン５２ｃおよび第二のボタン５２ｄの入力信号は、制御装置８０に出力される。
【００２４】
ポインタ５０は、水平な２次元画像表示スクリーン１０の表面（上面）に台座部５１の底板部５１ａの下面が接するように置かれて使用される。かかる使用状態において、ポインタ５０の第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１は、鉛直下方に赤外線（第一の光および第二の光）を照射する。
【００２５】
図３に示すように、撮影装置６０は、２次元画像表示スクリーン１０の裏面側（下側）に設けられており、２次元画像表示スクリーン１０の裏面を撮影する。撮影結果は、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１による光（第一の光および第二の光）を含んでいる。
撮影装置６０は、２次元画像表示スクリーン１０の裏面を１台または複数台連動で撮影し、撮影結果（画像）をポインタ５０による光（第一の光および第二の光）の取得に支障がない程度の頻度（例えば、１／３０秒ごと）と分解能（例えば、２次元画像表示スクリーン１０のサイズの１／１０００）とで制御装置８０に送信する。
撮影装置６０としては、ＣＣＤカメラ、ＣＭＯＳカメラ等が使用可能である。
撮影装置６０の撮影可能な波長領域は、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１の光（第一の光および第二の光）を撮影可能であればよい。
撮影結果は、制御装置８０に出力される。
【００２６】
図２に示すように、３次元位置センサ７０は、利用者の操作入力に基づいて３次元位置データ（３次元座標）を生成するための装置である。
３次元位置センサ７０としては、磁気式、力学式、ワイヤー式、光学式、超音波式、これらを組み合わせた方式などのセンサが使用可能である。
生成された３次元位置データは、制御装置８０に出力される。
【００２７】
制御装置８０は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ５０、撮影装置６０および３次元位置センサ７０からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図５に示すように、制御装置８０は、ボタン入力信号取得部８１と、ポインティング位置取得部８２と、３次元位置データ取得部８３と、記憶部８４と、データ更新部８５と、２次元画像データ生成部８６と、３次元画像データ生成部８７と、を備えている。
【００２８】
ボタン入力信号取得部８１は、ポインタ５０から第一のボタン５２ｃおよび第二のボタン５２ｄの入力信号（ボタン入力信号）を取得する。
取得されたボタン入力信号は、データ更新部８５に出力される。
【００２９】
ポインティング位置取得部８２は、前記撮影結果から照射された前記光をポインティング位置として検出する。換言すると、ポインティング位置取得部８２は、撮影装置６０からの入力（撮影結果）に基づいて、２次元画像表示スクリーン１０上におけるポインタ５０の光の位置に対応するポインティング位置を取得する。また、ポインティング位置取得部８２は、撮影装置６０からの入力（撮影結果）に基づいて、ポインタ５０の向きに対応するポインティング向きを取得する。そして、ポインティング位置取得部８２は、取得されたポインティング位置およびポインティング向きと、２次元画像データに反映された空間データ８４ａとに基づいて、２次元画像に対応する２次元位置データおよび２次元向きデータを生成する。生成された２次元位置データおよび２次元向きデータは、データ更新部８５に出力される。
【００３０】
３次元位置データ取得部８３は、３次元位置センサ７０からの入力信号に基づいて、３次元位置データを取得する。３次元位置データ取得部８３は、３次元位置センサ７０からの入力と、３次元画像データに反映された空間データ８４ａとに基づいて、３次元画像に対応する３次元位置データを生成する。
取得された３次元位置データは、データ更新部８５に出力される。
【００３１】
記憶部８４は、画像として表示される空間に関する空間データ８４ａと、この空間内に配置される物体に関する物体データ８４ｂと、を記憶している。
空間データ８４ａは、物体が配置される空間に関するデータであり、例えば、住居の一室（床、壁、天井など）の形状、寸法、座標、都市部の一区画（道路、川など）の形状、寸法、座標に関するデータである。
物体データ８４ｂは、物体のＩＤ、種類、形状、寸法、座標（位置）、向きなどを関連付けたものである。物体データ８４ｂの移動可能な範囲は、空間データ８４ａの規定する範囲内である。
ここで、物体データ８４ｂにおける座標（位置）に関するデータが、特許請求の範囲における物体位置データである。
【００３２】
データ更新部８５は、ボタン入力信号取得部８１およびポインティング位置取得部８２から入力されたデータまたは３次元位置データ取得部８３から入力されたデータに基づいて、記憶部８４に記憶された物体データを更新する。
また、データ更新部８５は、図示しないキーボード等の入力装置からの入力信号に基づいて、新たな物体データを生成して記憶部８４に記憶させることができる。
また、データ更新部８５は、ボタン入力信号取得部８１およびポインティング位置取得部８２から入力されたデータまたは３次元位置データ取得部８３から入力されたデータに基づいて、記憶部８４に記憶された空間データ８４ａを更新する。
【００３３】
２次元画像データ生成部８６は、記憶部８４に記憶された空間データ８４ａおよび物体データ８４ｂに基づいて、２次元画像データを生成する。
２次元画像データ生成部８６は、２次元画像データを時間的に連続して生成しており、更新結果が反映される。
生成された２次元画像データは、２次元画像光照射装置３０に出力される。
【００３４】
３次元画像データ生成部８７は、記憶部８４に記憶された空間データ８４ａおよび物体データ８４ｂに基づいて、３次元画像データを生成する。
３次元画像データ生成部８７は、３次元画像データを時間的に連続して生成しており、更新結果が反映される。
生成された３次元画像データは、３次元画像光照射装置４０に出力される。
また、立体視を行う場合には、３次元画像データ生成部８７は、３次元画像データとして右眼用画像光データと左眼用画像光データとを生成する。時分割シャッタ方式の立体視を行う場合には、３次元画像データ生成部８７は、右眼用画像データおよび左眼用画像データとともに同期信号を生成する。生成された同期信号は、液晶シャッタメガネ９０に出力される。偏光方式の立体視を行う場合には、右眼用画像データおよび左眼用画像データは、２台の３次元画像照射装置にそれぞれ出力される。
【００３５】
（明るさ補正について）
記憶部８４は、明るさ補正テーブル８４ｃをさらに記憶している。
明るさ補正テーブル８４ｃは、キャリブレーション（位置較正）時に作成される。
例えば、矩形を呈する２次元画像表示スクリーン１０の四隅および中央にマークを表示させた状態で、利用者にポインタ５０の位置合わせを実行させる。ここで、明るさの最大値が明るさ補正テーブル８４ｃに記憶可能な上限を超えないように、予め明るさ調整がなされているものとする。
このとき、マークをクリックしたときの第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１による光（第一の光および第二の光）領域付近の明るさを取得し、それらの最大値（光点）および最小値（背景）を明るさ補正テーブル８４ｃに記憶させる。ポインティング位置算出部８２は、これらの値に基づいて撮影結果の画像内各領域での明るさの最大値および最小値を補間して算出し、光領域の明るさを補正する。例えば、ポインティング位置算出部８２は、光領域の明るさが小さい場合に明るさが大きくなるように補正する（明るさフィルタ処理）。
【００３６】
（位置補正について）
記憶部８４は、位置補正テーブル８４ｄをさらに記憶している。
位置補正テーブル８４ｄは、撮影装置６０による撮影結果における位置と、２次元画像表示スクリーン１０に表示される２次元画像における位置との関係を関連付けるテーブルであり、キャリブレーション（位置較正）時に作成される。
第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１は、第一の光および第二の光の撮影結果が撮影装置６０の縦横それぞれに対して数ピクセルにわたる大きさとなるように、その高さ等が調整されている。そして、位置補正テーブル８４ｄは、複数ピクセル範囲に対する明るさ分布と当該明るさ分布における光の中心との関係を予め複数のパターンとして記憶している。位置補正テーブル８４ｄが複数のパターンを備えている場合には、ポインティング位置取得部８２は、これらのパターンと実際の撮影結果の光のパターンとをマッチングし、最も一致したパターンに基づいて光の中心を算出する。
すなわち、ポインティング位置取得部８２は、位置補正テーブル８４ｄを用いて、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１による光の中心を第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１によるポインティング位置として決定する。
なお、ポインティング位置算出部８２は、予め記憶された複数のパターンを用いずに、光の明るさを曲線補間することにより明るさのピーク位置を算出し、このピーク位置をポインティング位置として決定する構成であってもよい。
前記した各手法によると、撮影装置６０のピクセル単位以上の精度でポインティング位置を算出することができる。
また、ポインティング位置算出部８２は、キャリブレーション時に取得された２次元画像表示スクリーン１０の四隅および中央の点における取得座標対スクリーン座標の関係に基づいて、線形補間等の補間手法を用いて光の位置（またはポインティング位置）を補正する。
【００３７】
（ＬＥＤの識別について）
記憶部８４は、ＬＥＤ識別データ８４ｅを記憶している。
ＬＥＤ識別データ８４ｅは、一以上のポインタ５０の第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１を識別するためのデータである。
各赤外線ＬＥＤは、他の赤外線ＬＥＤと識別可能なように、固有の明るさまたは点灯タイミングで赤外線を照射するように構成されている。ＬＥＤ識別データ８４ｅは、これら固有の明るさまたは点灯タイミングと赤外線ＬＥＤのＩＤとを関連付けて記憶している。
ポインティング位置取得部８２は、ＬＥＤ識別データ８４ｅを用いて、ポインティング位置がどの赤外線ＬＥＤによるものであるかを識別する。
なお、ポインティング位置取得部８２は、前回ポインティング位置と今回ポインティング位置とが所定距離内である場合には、同一ＬＥＤによるポインティング位置であると判定する。このロジックは、前回ポインティング位置と今回ポインティング位置とが所定距離を超えて離れている場合には適用されない。所定距離が大きいと誤判定が増え、所定距離が小さいと判定外となりロジックが適用されない場合が増えるので、所定距離は、ポインタ５０の操作の限界移動速度に基づいて決定される。
ポインティング位置取得部８２は、前記したロジックの判定でＬＥＤの識別ができない場合に、明るさまたは点灯タイミングによる識別を実行する。
【００３８】
図２に示すように、一以上の液晶シャッタメガネ９０は、右眼用シャッタと、左眼用シャッタと、同期信号受信装置と、を備えている。液晶シャッタメガネ９０は、同期信号受信装置により受信された同期信号に基づいて右眼用シャッタおよび左眼用シャッタを開閉させることにより、利用者に３次元画像を見せる。
【００３９】
続いて、ポインティング位置およびポインティング向きを検出するための処理に関する制御フローについて、図６を参照して説明する。
図６は、本発明の第一の実施形態に係るポインティング位置およびポインティング向き検出処理を説明するためのフローチャートである。
まず、ポインティング位置取得部８２が、撮影装置６０の撮影結果に基づいて画像データを取得する（ステップＳ１）。
続いて、ポインティング位置取得部８２が、フィルタ処理を行い、画像データからノイズを除去する（ステップＳ２）。
続いて、ポインティング位置取得部８２が、明るさ補正テーブル８４ｃを用いて、明るさフィルタ処理を行う（ステップＳ３）。
続いて、ポインティング位置取得部８２が、画像データからポインタ５０による光に関するデータを分離する（ステップＳ４）。
続いて、ポインティング位置取得部８２が、位置補正テーブル８４ｄを用いて、ポインティング位置を算出する（ステップＳ５）。すなわち、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１の光の中心を第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１のポインティング位置として決定する。ここで、ポインティング位置取得部８２は、第一の赤外線ＬＥＤ５２ａ１のポインティング位置をポインタ５０のポインティング位置として決定する。
続いて、ポインティング位置取得部８２が、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１のポインティング位置に基づいて、ポインタ５０のポインティング向きを算出する（ステップＳ６）。
続いて、ポインティング位置取得部８２が、ＬＥＤ識別データ８４ｅを用いて、光すなわちポインティング位置のＩＤ（光を照射するＬＥＤのＩＤ）を識別する（ステップＳ７）。
続いて、ポインティング位置取得部８２が、取得されたポインティング位置およびポインティング向きと、２次元画像データに反映された空間データ８４ａとに基づいて、２次元画像に対応する２次元位置データおよび２次元向きデータを生成し、生成された２次元位置データおよび２次元向きデータをデータ更新部８５に出力する（ステップＳ８）。
【００４０】
続いて、本発明の第一の実施形態に係る画像表示システム１の使用例について、２次元画像および３次元画像を参照して説明する。以下の例において、空間は病室、物体はベッドである。
図７ないし図９は、本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【００４１】
図７（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上に置かれると、ポインティング位置取得部８２がポインティング位置およびポインティング向きを算出し、データ更新部８５は、ポインティング位置およびポインティング向きを記憶部８４に記憶させる。３次元画像データ生成部８７は、ポインタ４０のポインティング位置およびポインティング向きを３次元画像における視点位置および視点向きとして３次元画像データを生成し、図７（ｂ）に示すように、３次元画像表示スクリーン２０に３次元画像を表示させる。
【００４２】
そして、図８（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上を移動すると、３次元画像データ生成部８７は、移動したポインタ５０のポインティング位置（視点位置）に基づいて３次元画像データを再生成し、図８（ｂ）に示すように、３次元画像表示スクリーン２０に新たな視点位置に基づく３次元画像を表示させる。
【００４３】
また、図９（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上で向きを変えると、３次元画像データ生成部８７は、向きを変えたポインタ５０のポインティング位置（視点向き）に基づいて３次元画像データを再生成し、図９（ｂ）に示すように、３次元画像表示スクリーン２０に新たな視点の向きに基づく３次元画像を表示させる。
ここで、図９（ｃ）に、向き変更前における第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１のポインティング位置（ｘ１，ｙ１）、（ｘ２，ｙ２）と、向き変更後における第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１のポインティング位置（ｘ３，ｙ３）、（ｘ４，ｙ４）との関係を示す。ポインティング位置取得部８２は、これらポインティング位置のなす角θだけポインティング向きを変えることになる。
すなわち、データ更新部８５は、ポインティング位置に対応する２次元画像上の位置を視点位置として決定するとともにポインティング向きを視点向きとして決定して記憶部８４に記憶させており、３次元画像データ生成部８７は、視点位置および視点向きに基づいて３次元画像データを生成する。
【００４４】
なお、図７（ａ）、図８（ａ）および図９（ａ）に示すように、２次元画像データ生成部８６は、記憶部８４に記憶された視野角データに基づいて、３次元画像として表示される部分を視野角として表示させてもよい。
すなわち、２次元画像データ生成部８６は、３次元画像の視点位置および視野に対応する視点位置および視野角を２次元画像に表示可能な２次元画像データを生成する。このようにすることで、３次元画像における視点を２次元画像で確認することができる。
【００４５】
図１０ないし図１２は、本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。以下の図では、ポインタ５０を１つだけ図示したが、複数のポインタ５０を同時に操作することも可能である。
【００４６】
図１０（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上でベッドＢを選択すると（例えば、ベッドＢの画像上でポインタ５０の第一のボタン５２ｃをクリック）、データ更新部８５は、ベッドＢを選択した旨のデータを記憶部８４に記憶させる。そして、図１０（ａ）および図１０（ｂ）に示すように、２次元画像データ生成部８６および３次元画像データ生成部８７は、ベッドＢを囲む枠線を生成し、表示させる。
【００４７】
そして、図１１（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上を移動すると、データ更新部８５は、記憶部８４に記憶されたベッドＢの位置データを更新する。そして、図１１（ａ）および図１１（ｂ）に示すように、２次元画像データ生成部８６および３次元画像データ生成部８７は、ベッドＢの移動を反映した２次元画像データおよび３次元画像データを再生成し、表示させる。
【００４８】
また、図１２（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上で向きを変えると、データ更新部８５は、記憶部８４に記憶されたベッドＢの向きデータを更新する。そして、図１２（ａ）および図１２（ｂ）に示すように、２次元画像データ生成部８６および３次元画像データ生成部８７は、ベッドＢの向き変更を反映した２次元画像データおよび３次元画像データを再生成し、表示させる。
すなわち、データ更新部８５は、ポインティング位置に対応する２次元画像上の位置をベッドＢの位置として決定するとともにポインティング向きをベッドＢの向きとして決定して記憶部８４内のデータを更新しており、３次元画像データ生成部８７は、更新されたベッドＢの位置および向きを反映した３次元画像データを生成する。
【００４９】
第一の使用例および第二の使用例以外にも、画像表示システム１は、空間データ８４ａを更新することにより空間のレイアウト（間取り、広さ等）を変更したり、物体データ８４ｂを更新することにより物体の大きさを変更したり、２次元画像および３次元画像の縮尺率を変更したりすることができる。
また、３次元位置センサ７０からの入力に基づいて、空間データ８４ａおよび物体データ８４ｂを更新することも可能である。
また、これらの更新内容の切換は、例えばＧＵＩを利用して実行可能である。
また、ポインタ５０および撮影装置６０または３次元位置センサ７０による２次元画像または３次元画像における２点を指示する入力と記憶部８４に記憶されたデータとに基づいて、２次元画像データ生成部８６および３次元画像データ生成部８７の少なくとも一方が、指示された２点間の距離を表示可能な２次元画像データまたは３次元画像データを生成して出力し、２点間の距離の表示を利用者に見せる構成であってもよい。この場合、３次元画像における距離の表示は、引き出し線とともに、常に利用者（観察者）視点方向に向くように３次元画像内に配置されることが好ましい。
【００５０】
すなわち、データ更新部８５は、位置データ入力手段（ポインタ５０および撮影装置６０ならびに３次元位置センサ７０の少なくとも一方）により入力された二つの位置データ（２次元位置データおよび３次元位置データの少なくとも一方）に基づいて空間データ８４ａおよび物体データ８４ｂにおける点、線、面および物体のいずれか二つを選択して選択結果を記憶部８４に記憶させ、２次元画像データ生成部８６は、選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な２次元画像データを生成し、３次元画像データ生成部８７は、選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な３次元画像データを生成する。ここで、点と線、点と面、線と面等の組み合わせが可能であり、物体の距離としては、物体間の最も狭い距離でもよく、物体の中心間の距離であってもよい。
図１３は、３次元画像における距離の表示例を示す図である。
図１３（ａ）において、３次元位置センサ７０の入力により、ベッドＢ１，Ｂ２が選択され、３次元画像データ生成部８７は、ベッドＢ１，Ｂ２間の最短距離ＡＡＡＡを表示可能な３次元画像データを生成する。
そして、図１３（ｂ）に示すように、３次元位置センサ７０の入力により、ベッドＢ２の配置が変更される場合には、変更された配置に対応するベッドＢ１，Ｂ２間の最短距離ＢＢＢＢを表示可能な３次元画像データが生成される。
【００５１】
また、空間データ８４ａは、物体の配置を禁止する領域に関する物体配置禁止領域データを含み、データ更新部８５は、物体データ８４ｂにおける物体位置データと物体配置禁止領域データとに基づいて、前記物体が前記物体の配置を禁止する領域へ配置されるようなデータ更新を禁止することが望ましい。
例えば、法規制、敷地境界等に基づいて、空間データ８４ａ内に物体の配置禁止領域データを設定し、ポインタ５０および撮影装置６０または３次元位置センサ７０による物体（例えば、病室における前記したベッドＢ、都市空間における建築物等）を配置禁止領域に移動させようとする指示が入力された場合に、２次元画像データ生成部８６および３次元画像データ生成部８７が、前記した移動は不可能である旨を伝えるメッセージを含むデータを生成して出力し、このメッセージを利用者に見せる構成であってもよい。
【００５２】
本発明の第一の実施形態に係る画像表示システム１は、以下の効果を奏する。
画像表示システム１は、ポインティング位置の検出が障害物により邪魔されることを防ぐことができる。また、赤外光を利用することで、照射された光とスクリーンの表示画像との混同を防ぐことができる。また、ポインタ５０の向きを変えるだけポインティング向きを変えることができるので、利用者によるポインティング向きの設定が容易になる。
画像表示システム１は、２次元画像と３次元画像とを更新結果に応じて連動して表示するので、空間における物体のレイアウトを好適に確認することができる。すなわち、住宅、建築物（工場、学校、病院等）等の設計、レイアウトに関する合意形成のためにプレゼンテーションや協調作業を行う際には、２次元画像および３次元画像の両方を用いることができるので、実際の設計、レイアウトを説明するのに好適である。特に、住宅、建築物のレイアウトを３次元画像として表示する場合には、実物大で表示することが望ましい。
特に、２次元画像を見ながらポインタ５０を用いて物体の移動を指示し、実際の移動結果を３次元画像を見て確認することにより、利用者にとってよりわかりやすい説明が可能である。
また、３次元画像の視点を２次元位置データを入力可能なポインタ５０または３次元位置センサ７０を用いて変更したり、３次元画像の視点を２次元画像を見ることで確認することが可能となる。
【００５３】
（第二の実施形態）
続いて、本発明の第二の実施形態に係る画像表示システム２について、第一の実施形態に係る画像表示システム１との相違点を中心に説明する。
図１４は、本発明の第二の実施形態に係る画像表示システムを示すブロック図である。図１５は、本発明の第二の実施形態に係る制御装置の詳細を示すブロック図である。
【００５４】
図１４に示すように、本発明の第二の実施形態に係る画像表示システム２は、制御装置８０に代えて、制御装置（第一の制御装置）１１０および制御装置（第二の制御装置）１２０を備えている。
【００５５】
制御装置１１０は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ５０および撮影装置６０からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図１５に示すように、制御装置１１０は、ボタン入力信号取得部１１１と、ポインティング位置取得部１１２と、記憶部（第一の記憶部）１１４と、データ更新部（第一のデータ更新部）１１５と、２次元画像データ生成部１１６と、データ送受信部（第一のデータ送受信部）１１８と、を備えている。
ここで、ボタン入力信号取得部１１１、ポインティング位置取得部１１２、記憶部（第一の記憶部）１１４、データ更新部（第一のデータ更新部）１１５および２次元画像データ生成部１１６は、第一の実施形態に係るボタン入力信号取得部８１、ポインティング位置取得部８２、記憶部８４、データ更新部８５および２次元画像データ生成部８６とほぼ同等の機能を有するので、説明を省略する。
すなわち、記憶部１１４に記憶された空間データ１１４ａ、物体データ１１４ｂ、明るさ補正テーブル１１４ｃ、位置補正テーブル１１４ｄおよびＬＥＤ識別データ１１４ｅは、記憶部８４に記憶された空間データ８４ａ、物体データ８４ｂ、明るさ補正テーブル８４ｃ、位置補正テーブル８４ｄおよびＬＥＤ識別データ８４ｅと同様である。
【００５６】
制御装置１２０は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ５０および撮影装置６０からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図１５に示すように、制御装置１２０は、３次元位置データ取得部１２３と、記憶部（第二の記憶部）１２４と、データ更新部（第二のデータ更新部）１２５と、３次元画像データ生成部１２７と、データ送受信部（第二のデータ送受信部）１２８を備えている。
ここで、ボタン入力信号取得部１１１、ポインティング位置取得部１１２、記憶部（第一の記憶部）１１４、データ更新部（第一のデータ更新部）１１５および２次元画像データ生成部１１６は、第一の実施形態に係る３次元位置データ取得部８３、記憶部８４、データ更新部８５および３次元画像データ生成部８７とほぼ同等の機能を有するので、説明を省略する。
すなわち、記憶部１２４に記憶された空間データ１２４ａおよび物体データ１２４ｂは、記憶部８４に記憶された空間データ８４ａおよび物体データ８４ｂと同様である。
【００５７】
データ送受信部１１８，１２８は、例えばＬＡＮ回線を介して、記憶部１１４，１２４の一方の物体データが更新された場合に、更新された物体データを送受信し、記憶部１１４，１２４の他方の物体データを更新させる。
第二の実施形態に係る画像表示システム２は、データ送受信部１１８，１２８を介して記憶部１１４，１２４に記憶されたデータを同一に更新するので、第一の実施形態に係る画像表示システム１と同様の効果を奏することができる。
【００５８】
以上、本発明の実施形態について図面を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。
例えば、制御装置８０，１１０，１２０は、各機能部をソフトウェアとハードウェアとの協働により実現する構成であってもよく、これらの機能の一部をハードウェアのみで実現する構成であってもよい。
また、ポインタが第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１に代えて非円形状（例えば、線状、楕円形、多角形等）を呈する光を照射することが可能な赤外光源を備え、制御装置が非円形状を呈する光の姿勢に基づいてポインティング向きを検出する構成であってもよい。
【図面の簡単な説明】
【００５９】
【図１】本発明の第一の実施形態に係る画像表示システムの外観を示す模式図である。
【図２】本発明の第一の実施形態に係る画像表示システムを示すブロック図である。
【図３】本発明の第一の実施形態に係るポインティング位置検出システムを示す概略構成図である。
【図４】本発明の第一の実施形態に係るポインタを示す斜視図である。
【図５】本発明の第一の実施形態に係る制御装置を示す詳細ブロック図である。
【図６】図６は、本発明の第一の実施形態に係るポインティング位置およびポインティング向き検出処理を説明するためのフローチャートである。
【図７】本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図８】本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図９】本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図１０】本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図１１】本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図１２】本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図１３】３次元画像における距離の表示例を示す図である。
【図１４】本発明の第二の実施形態に係る画像表示システムを示すブロック図である。
【図１５】本発明の第二の実施形態に係る制御装置の詳細を示すブロック図である。
【符号の説明】
【００６０】
１，２ 画像表示システム
１０ ２次元画像表示スクリーン
２０ ３次元画像表示スクリーン
３０ ２次元画像光照射装置
４０ ３次元画像光照射装置
５０ ポインタ
６０ 撮影装置
７０ ３次元位置センサ
８０ 制御装置
９０ 液晶シャッタメガネ
【技術分野】
【０００１】
本発明は、画像表示システムに関する。
【背景技術】
【０００２】
従来、多人数に対して表示画像を用いてプレゼンテーションを行ったり、多人数で表示画像を用いて協調作業を行ったりする際に、レーザポインタにより表示画像の特定位置を指し示すことが行われている。
ここで、かかるポインティング位置を検出し、検出されたポインティング位置を表示画像の制御に利用する技術がある（特許文献１参照）。
【特許文献１】特開２０００−２７６２９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載の技術を用いて、住宅、建築物等の設計、レイアウトに関する合意形成のためにプレゼンテーションや協調作業を行う際には、平面図を表示させていたが、平面図ベースでは、実際の設計、レイアウトを説明するのに限界があった。
【０００４】
本発明は、前記した問題を解決すべく創案されたものであり、空間における物体のレイアウトを好適に確認することが可能な画像表示システムを提供することを課題とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するため、請求項１に記載の発明である画像表示システムは、空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する記憶部と、前記空間データおよび前記物体データを更新するデータ更新部と、前記空間データおよび前記物体データに基づいて、２次元画像データを生成する２次元画像データ生成部と、前記空間データおよび前記物体データに基づいて、３次元画像データを生成する３次元画像データ生成部と、前記２次元画像データに基づいて、２次元画像を表示する２次元画像表示装置と、前記３次元画像データに基づいて、３次元画像を表示する３次元画像表示装置と、を備えていることを特徴とする。
【０００６】
かかる構成によると、２次元画像と３次元画像とが更新結果に応じて連動して表示されるので、空間における物体のレイアウトを好適に確認することができる。
【０００７】
また、請求項２に記載の発明は、請求項１に記載の画像表示システムであって、２次元位置データを入力する２次元位置データ入力手段をさらに備え、前記データ更新部は、入力された前記２次元位置データを３次元画像データにおける視点位置データとして前記記憶部に記憶させ、前記３次元画像データ生成部は、前記視点位置データに基づいて前記３次元画像データを生成することを特徴とする。
【０００８】
また、請求項３に記載の発明は、請求項１または請求項２に記載の画像表示システムであって、３次元位置データを入力する３次元位置データ入力手段をさらに備え、前記データ更新部は、入力された前記３次元位置データを３次元画像データにおける視点位置データとして前記記憶部に記憶させ、前記３次元画像データ生成部は、前記視点位置データに基づいて前記３次元画像データを生成することを特徴とする。
【０００９】
また、請求項４に記載の発明は、請求項１に記載の画像表示システムであって、２次元位置データを入力する２次元位置データ入力手段をさらに備え、前記データ更新部は、入力された前記２次元位置データを物体データにおける物体位置データとして前記記憶部に記憶させ、前記２次元画像データ生成部は、前記物体位置データに基づいて前記２次元画像データを生成し、前記３次元画像データ生成部は、前記物体位置データに基づいて前記３次元画像データを生成することを特徴とする。
【００１０】
また、請求項５に記載の発明は、請求項１または請求項４に記載の画像表示システムであって、３次元位置データを入力する３次元位置データ入力手段をさらに備え、前記データ更新部は、入力された前記３次元位置データを物体データにおける物体位置データとして前記記憶部に記憶させ、前記２次元画像データ生成部は、前記物体位置データに基づいて前記２次元画像データを生成し、前記３次元画像データ生成部は、前記物体位置データに基づいて前記３次元画像データを生成することを特徴とする。
【００１１】
また、請求項６に記載の発明は、請求項１に記載の画像表示システムであって、前記空間データは、前記物体の配置を禁止する領域に関する物体配置禁止領域データを含み、
前記データ更新部は、前記物体データにおける物体位置データと前記物体配置禁止領域データとに基づいて、前記物体が前記物体の配置を禁止する領域へ配置されるようなデータ更新を禁止することを特徴とする。
【００１２】
また、請求項７に記載の発明は、請求項１に記載の画像表示システムであって、位置データを入力する位置データ入力手段をさらに備え、前記データ更新部は、前記位置データ入力手段により入力された二つの位置データに基づいて前記空間データおよび前記物体データにおける点、線、面および物体のいずれか二つを選択して選択結果を前記記憶部に記憶させ、前記２次元画像データ生成部は、前記選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な２次元画像データを生成し、前記３次元画像データ生成部は、前記選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な３次元画像データを生成することを特徴とする。
【００１３】
また、請求項８に記載の発明である画像表示システムは、空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する第一の記憶部と、前記第一の記憶部に記憶された前記空間データおよび前記物体データを更新する第一のデータ更新部と、前記第一の記憶部に記憶された前記空間データおよび前記物体データに基づいて、２次元画像データを生成する２次元画像データ生成部と、データの送受信を行う第一のデータ送受信部と、を備えた第一の制御装置と、前記２次元画像データに基づいて、２次元画像を表示する２次元画像表示装置と、空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する第二の記憶部と、前記第二の記憶部に記憶された前記空間データおよび前記物体データを更新する第二のデータ更新部と、前記第二の記憶部に記憶された前記空間データおよび前記物体データに基づいて、３次元画像データを生成する３次元画像データ生成部と、データの送受信を行う第二のデータ送受信部と、を備えた第二の制御装置と、前記３次元画像データに基づいて、３次元画像を表示する３次元画像表示装置と、を備え、前記第一のデータ送受信部および前記第二のデータ送受信部が、前記第一のデータ記憶部および前記第二のデータ記憶部の一方の更新結果を他方に反映させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、２次元画像と３次元画像とが更新結果に応じて連動して表示されるので、空間における物体のレイアウトを好適に確認することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。
【００１６】
（第一の実施形態）
図１は、本発明の第一の実施形態に係る画像表示システムの外観を示す模式図である。図２は、本発明の第一の実施形態に係る画像表示システムを示すブロック図である。図３は、本発明の第一の実施形態に係るポインティング位置検出システムを示す概略構成図である。図４は、本発明の第一の実施形態に係るポインタを示す斜視図である。なお、図４における方向は、ポインタの利用者による使用状態での方向を基準としている。
【００１７】
図１に示すように、本発明の第一の実施形態に係る画像表示システム１は、２次元画像表示スクリーン１０に表示された２次元画像と３次元画像表示スクリーン２０に表示された３次元画像とを連動させて利用者に見せるためのシステムである。
図２に示すように、本発明の第一の実施形態に係る画像表示システム１は、２次元画像表示スクリーン１０と、３次元画像表示スクリーン２０と、２次元画像光照射装置３０と、３次元画像光照射装置４０と、一以上のポインタ５０と、撮影装置６０と、３次元位置センサ７０と、制御装置８０と、一以上の液晶シャッタメガネ９０と、を備えている。
ここで、２次元画像表示スクリーン１０と、２次元画像光照射装置３０との組み合わせが、特許請求の範囲における「２次元画像表示装置」の一例である。
また、３次元画像表示スクリーン２０と、３次元画像光照射装置４０と、一以上の液晶シャッタメガネ９０との組み合わせが、特許請求の範囲における「３次元画像表示装置」の一例である。
また、２次元画像表示スクリーン１０と、一以上のポインタ５０と、撮影装置６０との組み合わせが、特許請求の範囲における「２次元位置データ入力手段」の一例である。
また、３次元位置センサ７０が、特許請求の範囲における「３次元位置データ入力手段」の一例である。
また、２次元画像表示スクリーン１０と、２次元画像光照射装置３０と、撮影装置６０と、制御装置８０（の一部）との組み合わせが、ポインティング位置検出システムを構成している。
【００１８】
図１および図３に示すように、２次元画像表示スクリーン１０は、リアプロジェクション型対応のスクリーンであり、表面が上、裏面が下を向くように水平に配置されている。
【００１９】
図１および図３に示すように、３次元画像表示スクリーン２０は、リアプロジェクション型対応のスクリーンであり、鉛直に配置されている。
【００２０】
図３に示すように、２次元画像光照射装置３０は、リアプロジェクション型であり、２次元画像表示スクリーン１０の裏面側（下側）に設けられている。２次元画像光照射装置３０は、ミラーＭを介して、後記する２次元画像に基づいて２次元画像光を照射することにより、２次元画像表示スクリーン１０に２次元画像（本実施形態では、平面図）を表示させる。
【００２１】
図２に示すように、３次元画像光照射装置４０は、リアプロジェクション型であり、３次元画像表示スクリーン２０の裏面側に設けられている。３次元画像光照射装置４０は、後記する３次元画像データに基づいて３次元画像光を照射することにより、３次元画像表示スクリーン２０に３次元画像を表示させる。
なお、３次元画像光照射装置４０は、フロントプロジェクション型であり、３次元画像表示スクリーンの表面側に設けられていてもよい。
３次元画像光照射装置４０は、時分割シャッタ方式の立体視を行う場合には、液晶シャッタメガネ９０と同期して右眼用画像光と左眼用画像光とを交互に照射する。
また、偏光方式の立体視を行う場合には、３次元画像光照射装置４０は、右眼用画像光および左眼用画像光を２台の３次元画像光照射装置で照射する。２台の３次元画像光照射装置は、互いに直交する偏光（直線偏光または円偏光）板を通して右眼用画像光と左眼用画像光をそれぞれ照射する。利用者は、左右が互いに直交する偏光メガネを装着して３次元画像を観察する。
なお、立体視をせずに３次元画像を表示する場合には、３次元画像表示スクリーン２０および３次元画像光照射装置に代えて、液晶ディスプレイ、プラズマディスプレイ等を使用することができる。
また、立体視対応のディスプレイを使用することもできる。
【００２２】
本発明において、２次元画像とは、ｘｙ平面のみが表れる画像であり、３次元画像とは、ｘｙｚ座標が表れ、立体を表示する画像である。
【００２３】
図１および図３に示すように、一以上のポインタ５０は、２次元画像に対応して２次元方向の位置・向き（本実施形態では、水平面における位置・向き）等を入力するための装置である。
図４に示すように、ポインタ５０は、台座部５１と、本体部５２と、を備えている。
台座部５１は、底板部５１ａ、後板部５１ｂおよび上板部５１ｃからなり、側面視で「コ」字状を呈する透明樹脂製の部材である。上板部５１ｃには二つの穴（図示せず）が設けられており、二つの穴に後記する第一の筒部５２ａおよび第二の筒部５２ｂをそれぞれ挿通させた状態で、上板部５１ｃの上面と本体部５２の下面とが固定されている。
本体部５２は、第一の赤外線ＬＥＤ５２ａ１を有する第一の筒部５２ａと、第二の赤外線ＬＥＤ５２ｂ１を有する第二の筒部５２ｂと、第一のボタン５２ｃと、第二のボタン５２ｄと、を備えている。
第一の赤外線ＬＥＤ５２ａ１は、第一の筒部５２ａの先端に設けられており、赤外線（第一の光）を照射する。
第二の赤外線ＬＥＤ５２ｂ１は、第二の筒部５２ｂの先端に設けられており、赤外線（第二の光）を照射する。
第一のボタン５２ｃは、本体部５２の上面の前方左側に設けられている。
第二のボタン５２ｄは、本体部５２の上面の前方右側に設けられている。
第一のボタン５２ｃおよび第二のボタン５２ｄは、例えばマウスの左ボタンおよび右ボタンと同様の機能を有することができる。
第一のボタン５２ｃおよび第二のボタン５２ｄの入力信号は、制御装置８０に出力される。
【００２４】
ポインタ５０は、水平な２次元画像表示スクリーン１０の表面（上面）に台座部５１の底板部５１ａの下面が接するように置かれて使用される。かかる使用状態において、ポインタ５０の第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１は、鉛直下方に赤外線（第一の光および第二の光）を照射する。
【００２５】
図３に示すように、撮影装置６０は、２次元画像表示スクリーン１０の裏面側（下側）に設けられており、２次元画像表示スクリーン１０の裏面を撮影する。撮影結果は、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１による光（第一の光および第二の光）を含んでいる。
撮影装置６０は、２次元画像表示スクリーン１０の裏面を１台または複数台連動で撮影し、撮影結果（画像）をポインタ５０による光（第一の光および第二の光）の取得に支障がない程度の頻度（例えば、１／３０秒ごと）と分解能（例えば、２次元画像表示スクリーン１０のサイズの１／１０００）とで制御装置８０に送信する。
撮影装置６０としては、ＣＣＤカメラ、ＣＭＯＳカメラ等が使用可能である。
撮影装置６０の撮影可能な波長領域は、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１の光（第一の光および第二の光）を撮影可能であればよい。
撮影結果は、制御装置８０に出力される。
【００２６】
図２に示すように、３次元位置センサ７０は、利用者の操作入力に基づいて３次元位置データ（３次元座標）を生成するための装置である。
３次元位置センサ７０としては、磁気式、力学式、ワイヤー式、光学式、超音波式、これらを組み合わせた方式などのセンサが使用可能である。
生成された３次元位置データは、制御装置８０に出力される。
【００２７】
制御装置８０は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ５０、撮影装置６０および３次元位置センサ７０からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図５に示すように、制御装置８０は、ボタン入力信号取得部８１と、ポインティング位置取得部８２と、３次元位置データ取得部８３と、記憶部８４と、データ更新部８５と、２次元画像データ生成部８６と、３次元画像データ生成部８７と、を備えている。
【００２８】
ボタン入力信号取得部８１は、ポインタ５０から第一のボタン５２ｃおよび第二のボタン５２ｄの入力信号（ボタン入力信号）を取得する。
取得されたボタン入力信号は、データ更新部８５に出力される。
【００２９】
ポインティング位置取得部８２は、前記撮影結果から照射された前記光をポインティング位置として検出する。換言すると、ポインティング位置取得部８２は、撮影装置６０からの入力（撮影結果）に基づいて、２次元画像表示スクリーン１０上におけるポインタ５０の光の位置に対応するポインティング位置を取得する。また、ポインティング位置取得部８２は、撮影装置６０からの入力（撮影結果）に基づいて、ポインタ５０の向きに対応するポインティング向きを取得する。そして、ポインティング位置取得部８２は、取得されたポインティング位置およびポインティング向きと、２次元画像データに反映された空間データ８４ａとに基づいて、２次元画像に対応する２次元位置データおよび２次元向きデータを生成する。生成された２次元位置データおよび２次元向きデータは、データ更新部８５に出力される。
【００３０】
３次元位置データ取得部８３は、３次元位置センサ７０からの入力信号に基づいて、３次元位置データを取得する。３次元位置データ取得部８３は、３次元位置センサ７０からの入力と、３次元画像データに反映された空間データ８４ａとに基づいて、３次元画像に対応する３次元位置データを生成する。
取得された３次元位置データは、データ更新部８５に出力される。
【００３１】
記憶部８４は、画像として表示される空間に関する空間データ８４ａと、この空間内に配置される物体に関する物体データ８４ｂと、を記憶している。
空間データ８４ａは、物体が配置される空間に関するデータであり、例えば、住居の一室（床、壁、天井など）の形状、寸法、座標、都市部の一区画（道路、川など）の形状、寸法、座標に関するデータである。
物体データ８４ｂは、物体のＩＤ、種類、形状、寸法、座標（位置）、向きなどを関連付けたものである。物体データ８４ｂの移動可能な範囲は、空間データ８４ａの規定する範囲内である。
ここで、物体データ８４ｂにおける座標（位置）に関するデータが、特許請求の範囲における物体位置データである。
【００３２】
データ更新部８５は、ボタン入力信号取得部８１およびポインティング位置取得部８２から入力されたデータまたは３次元位置データ取得部８３から入力されたデータに基づいて、記憶部８４に記憶された物体データを更新する。
また、データ更新部８５は、図示しないキーボード等の入力装置からの入力信号に基づいて、新たな物体データを生成して記憶部８４に記憶させることができる。
また、データ更新部８５は、ボタン入力信号取得部８１およびポインティング位置取得部８２から入力されたデータまたは３次元位置データ取得部８３から入力されたデータに基づいて、記憶部８４に記憶された空間データ８４ａを更新する。
【００３３】
２次元画像データ生成部８６は、記憶部８４に記憶された空間データ８４ａおよび物体データ８４ｂに基づいて、２次元画像データを生成する。
２次元画像データ生成部８６は、２次元画像データを時間的に連続して生成しており、更新結果が反映される。
生成された２次元画像データは、２次元画像光照射装置３０に出力される。
【００３４】
３次元画像データ生成部８７は、記憶部８４に記憶された空間データ８４ａおよび物体データ８４ｂに基づいて、３次元画像データを生成する。
３次元画像データ生成部８７は、３次元画像データを時間的に連続して生成しており、更新結果が反映される。
生成された３次元画像データは、３次元画像光照射装置４０に出力される。
また、立体視を行う場合には、３次元画像データ生成部８７は、３次元画像データとして右眼用画像光データと左眼用画像光データとを生成する。時分割シャッタ方式の立体視を行う場合には、３次元画像データ生成部８７は、右眼用画像データおよび左眼用画像データとともに同期信号を生成する。生成された同期信号は、液晶シャッタメガネ９０に出力される。偏光方式の立体視を行う場合には、右眼用画像データおよび左眼用画像データは、２台の３次元画像照射装置にそれぞれ出力される。
【００３５】
（明るさ補正について）
記憶部８４は、明るさ補正テーブル８４ｃをさらに記憶している。
明るさ補正テーブル８４ｃは、キャリブレーション（位置較正）時に作成される。
例えば、矩形を呈する２次元画像表示スクリーン１０の四隅および中央にマークを表示させた状態で、利用者にポインタ５０の位置合わせを実行させる。ここで、明るさの最大値が明るさ補正テーブル８４ｃに記憶可能な上限を超えないように、予め明るさ調整がなされているものとする。
このとき、マークをクリックしたときの第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１による光（第一の光および第二の光）領域付近の明るさを取得し、それらの最大値（光点）および最小値（背景）を明るさ補正テーブル８４ｃに記憶させる。ポインティング位置算出部８２は、これらの値に基づいて撮影結果の画像内各領域での明るさの最大値および最小値を補間して算出し、光領域の明るさを補正する。例えば、ポインティング位置算出部８２は、光領域の明るさが小さい場合に明るさが大きくなるように補正する（明るさフィルタ処理）。
【００３６】
（位置補正について）
記憶部８４は、位置補正テーブル８４ｄをさらに記憶している。
位置補正テーブル８４ｄは、撮影装置６０による撮影結果における位置と、２次元画像表示スクリーン１０に表示される２次元画像における位置との関係を関連付けるテーブルであり、キャリブレーション（位置較正）時に作成される。
第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１は、第一の光および第二の光の撮影結果が撮影装置６０の縦横それぞれに対して数ピクセルにわたる大きさとなるように、その高さ等が調整されている。そして、位置補正テーブル８４ｄは、複数ピクセル範囲に対する明るさ分布と当該明るさ分布における光の中心との関係を予め複数のパターンとして記憶している。位置補正テーブル８４ｄが複数のパターンを備えている場合には、ポインティング位置取得部８２は、これらのパターンと実際の撮影結果の光のパターンとをマッチングし、最も一致したパターンに基づいて光の中心を算出する。
すなわち、ポインティング位置取得部８２は、位置補正テーブル８４ｄを用いて、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１による光の中心を第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１によるポインティング位置として決定する。
なお、ポインティング位置算出部８２は、予め記憶された複数のパターンを用いずに、光の明るさを曲線補間することにより明るさのピーク位置を算出し、このピーク位置をポインティング位置として決定する構成であってもよい。
前記した各手法によると、撮影装置６０のピクセル単位以上の精度でポインティング位置を算出することができる。
また、ポインティング位置算出部８２は、キャリブレーション時に取得された２次元画像表示スクリーン１０の四隅および中央の点における取得座標対スクリーン座標の関係に基づいて、線形補間等の補間手法を用いて光の位置（またはポインティング位置）を補正する。
【００３７】
（ＬＥＤの識別について）
記憶部８４は、ＬＥＤ識別データ８４ｅを記憶している。
ＬＥＤ識別データ８４ｅは、一以上のポインタ５０の第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１を識別するためのデータである。
各赤外線ＬＥＤは、他の赤外線ＬＥＤと識別可能なように、固有の明るさまたは点灯タイミングで赤外線を照射するように構成されている。ＬＥＤ識別データ８４ｅは、これら固有の明るさまたは点灯タイミングと赤外線ＬＥＤのＩＤとを関連付けて記憶している。
ポインティング位置取得部８２は、ＬＥＤ識別データ８４ｅを用いて、ポインティング位置がどの赤外線ＬＥＤによるものであるかを識別する。
なお、ポインティング位置取得部８２は、前回ポインティング位置と今回ポインティング位置とが所定距離内である場合には、同一ＬＥＤによるポインティング位置であると判定する。このロジックは、前回ポインティング位置と今回ポインティング位置とが所定距離を超えて離れている場合には適用されない。所定距離が大きいと誤判定が増え、所定距離が小さいと判定外となりロジックが適用されない場合が増えるので、所定距離は、ポインタ５０の操作の限界移動速度に基づいて決定される。
ポインティング位置取得部８２は、前記したロジックの判定でＬＥＤの識別ができない場合に、明るさまたは点灯タイミングによる識別を実行する。
【００３８】
図２に示すように、一以上の液晶シャッタメガネ９０は、右眼用シャッタと、左眼用シャッタと、同期信号受信装置と、を備えている。液晶シャッタメガネ９０は、同期信号受信装置により受信された同期信号に基づいて右眼用シャッタおよび左眼用シャッタを開閉させることにより、利用者に３次元画像を見せる。
【００３９】
続いて、ポインティング位置およびポインティング向きを検出するための処理に関する制御フローについて、図６を参照して説明する。
図６は、本発明の第一の実施形態に係るポインティング位置およびポインティング向き検出処理を説明するためのフローチャートである。
まず、ポインティング位置取得部８２が、撮影装置６０の撮影結果に基づいて画像データを取得する（ステップＳ１）。
続いて、ポインティング位置取得部８２が、フィルタ処理を行い、画像データからノイズを除去する（ステップＳ２）。
続いて、ポインティング位置取得部８２が、明るさ補正テーブル８４ｃを用いて、明るさフィルタ処理を行う（ステップＳ３）。
続いて、ポインティング位置取得部８２が、画像データからポインタ５０による光に関するデータを分離する（ステップＳ４）。
続いて、ポインティング位置取得部８２が、位置補正テーブル８４ｄを用いて、ポインティング位置を算出する（ステップＳ５）。すなわち、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１の光の中心を第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１のポインティング位置として決定する。ここで、ポインティング位置取得部８２は、第一の赤外線ＬＥＤ５２ａ１のポインティング位置をポインタ５０のポインティング位置として決定する。
続いて、ポインティング位置取得部８２が、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１のポインティング位置に基づいて、ポインタ５０のポインティング向きを算出する（ステップＳ６）。
続いて、ポインティング位置取得部８２が、ＬＥＤ識別データ８４ｅを用いて、光すなわちポインティング位置のＩＤ（光を照射するＬＥＤのＩＤ）を識別する（ステップＳ７）。
続いて、ポインティング位置取得部８２が、取得されたポインティング位置およびポインティング向きと、２次元画像データに反映された空間データ８４ａとに基づいて、２次元画像に対応する２次元位置データおよび２次元向きデータを生成し、生成された２次元位置データおよび２次元向きデータをデータ更新部８５に出力する（ステップＳ８）。
【００４０】
続いて、本発明の第一の実施形態に係る画像表示システム１の使用例について、２次元画像および３次元画像を参照して説明する。以下の例において、空間は病室、物体はベッドである。
図７ないし図９は、本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【００４１】
図７（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上に置かれると、ポインティング位置取得部８２がポインティング位置およびポインティング向きを算出し、データ更新部８５は、ポインティング位置およびポインティング向きを記憶部８４に記憶させる。３次元画像データ生成部８７は、ポインタ４０のポインティング位置およびポインティング向きを３次元画像における視点位置および視点向きとして３次元画像データを生成し、図７（ｂ）に示すように、３次元画像表示スクリーン２０に３次元画像を表示させる。
【００４２】
そして、図８（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上を移動すると、３次元画像データ生成部８７は、移動したポインタ５０のポインティング位置（視点位置）に基づいて３次元画像データを再生成し、図８（ｂ）に示すように、３次元画像表示スクリーン２０に新たな視点位置に基づく３次元画像を表示させる。
【００４３】
また、図９（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上で向きを変えると、３次元画像データ生成部８７は、向きを変えたポインタ５０のポインティング位置（視点向き）に基づいて３次元画像データを再生成し、図９（ｂ）に示すように、３次元画像表示スクリーン２０に新たな視点の向きに基づく３次元画像を表示させる。
ここで、図９（ｃ）に、向き変更前における第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１のポインティング位置（ｘ１，ｙ１）、（ｘ２，ｙ２）と、向き変更後における第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１のポインティング位置（ｘ３，ｙ３）、（ｘ４，ｙ４）との関係を示す。ポインティング位置取得部８２は、これらポインティング位置のなす角θだけポインティング向きを変えることになる。
すなわち、データ更新部８５は、ポインティング位置に対応する２次元画像上の位置を視点位置として決定するとともにポインティング向きを視点向きとして決定して記憶部８４に記憶させており、３次元画像データ生成部８７は、視点位置および視点向きに基づいて３次元画像データを生成する。
【００４４】
なお、図７（ａ）、図８（ａ）および図９（ａ）に示すように、２次元画像データ生成部８６は、記憶部８４に記憶された視野角データに基づいて、３次元画像として表示される部分を視野角として表示させてもよい。
すなわち、２次元画像データ生成部８６は、３次元画像の視点位置および視野に対応する視点位置および視野角を２次元画像に表示可能な２次元画像データを生成する。このようにすることで、３次元画像における視点を２次元画像で確認することができる。
【００４５】
図１０ないし図１２は、本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。以下の図では、ポインタ５０を１つだけ図示したが、複数のポインタ５０を同時に操作することも可能である。
【００４６】
図１０（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上でベッドＢを選択すると（例えば、ベッドＢの画像上でポインタ５０の第一のボタン５２ｃをクリック）、データ更新部８５は、ベッドＢを選択した旨のデータを記憶部８４に記憶させる。そして、図１０（ａ）および図１０（ｂ）に示すように、２次元画像データ生成部８６および３次元画像データ生成部８７は、ベッドＢを囲む枠線を生成し、表示させる。
【００４７】
そして、図１１（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上を移動すると、データ更新部８５は、記憶部８４に記憶されたベッドＢの位置データを更新する。そして、図１１（ａ）および図１１（ｂ）に示すように、２次元画像データ生成部８６および３次元画像データ生成部８７は、ベッドＢの移動を反映した２次元画像データおよび３次元画像データを再生成し、表示させる。
【００４８】
また、図１２（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上で向きを変えると、データ更新部８５は、記憶部８４に記憶されたベッドＢの向きデータを更新する。そして、図１２（ａ）および図１２（ｂ）に示すように、２次元画像データ生成部８６および３次元画像データ生成部８７は、ベッドＢの向き変更を反映した２次元画像データおよび３次元画像データを再生成し、表示させる。
すなわち、データ更新部８５は、ポインティング位置に対応する２次元画像上の位置をベッドＢの位置として決定するとともにポインティング向きをベッドＢの向きとして決定して記憶部８４内のデータを更新しており、３次元画像データ生成部８７は、更新されたベッドＢの位置および向きを反映した３次元画像データを生成する。
【００４９】
第一の使用例および第二の使用例以外にも、画像表示システム１は、空間データ８４ａを更新することにより空間のレイアウト（間取り、広さ等）を変更したり、物体データ８４ｂを更新することにより物体の大きさを変更したり、２次元画像および３次元画像の縮尺率を変更したりすることができる。
また、３次元位置センサ７０からの入力に基づいて、空間データ８４ａおよび物体データ８４ｂを更新することも可能である。
また、これらの更新内容の切換は、例えばＧＵＩを利用して実行可能である。
また、ポインタ５０および撮影装置６０または３次元位置センサ７０による２次元画像または３次元画像における２点を指示する入力と記憶部８４に記憶されたデータとに基づいて、２次元画像データ生成部８６および３次元画像データ生成部８７の少なくとも一方が、指示された２点間の距離を表示可能な２次元画像データまたは３次元画像データを生成して出力し、２点間の距離の表示を利用者に見せる構成であってもよい。この場合、３次元画像における距離の表示は、引き出し線とともに、常に利用者（観察者）視点方向に向くように３次元画像内に配置されることが好ましい。
【００５０】
すなわち、データ更新部８５は、位置データ入力手段（ポインタ５０および撮影装置６０ならびに３次元位置センサ７０の少なくとも一方）により入力された二つの位置データ（２次元位置データおよび３次元位置データの少なくとも一方）に基づいて空間データ８４ａおよび物体データ８４ｂにおける点、線、面および物体のいずれか二つを選択して選択結果を記憶部８４に記憶させ、２次元画像データ生成部８６は、選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な２次元画像データを生成し、３次元画像データ生成部８７は、選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な３次元画像データを生成する。ここで、点と線、点と面、線と面等の組み合わせが可能であり、物体の距離としては、物体間の最も狭い距離でもよく、物体の中心間の距離であってもよい。
図１３は、３次元画像における距離の表示例を示す図である。
図１３（ａ）において、３次元位置センサ７０の入力により、ベッドＢ１，Ｂ２が選択され、３次元画像データ生成部８７は、ベッドＢ１，Ｂ２間の最短距離ＡＡＡＡを表示可能な３次元画像データを生成する。
そして、図１３（ｂ）に示すように、３次元位置センサ７０の入力により、ベッドＢ２の配置が変更される場合には、変更された配置に対応するベッドＢ１，Ｂ２間の最短距離ＢＢＢＢを表示可能な３次元画像データが生成される。
【００５１】
また、空間データ８４ａは、物体の配置を禁止する領域に関する物体配置禁止領域データを含み、データ更新部８５は、物体データ８４ｂにおける物体位置データと物体配置禁止領域データとに基づいて、前記物体が前記物体の配置を禁止する領域へ配置されるようなデータ更新を禁止することが望ましい。
例えば、法規制、敷地境界等に基づいて、空間データ８４ａ内に物体の配置禁止領域データを設定し、ポインタ５０および撮影装置６０または３次元位置センサ７０による物体（例えば、病室における前記したベッドＢ、都市空間における建築物等）を配置禁止領域に移動させようとする指示が入力された場合に、２次元画像データ生成部８６および３次元画像データ生成部８７が、前記した移動は不可能である旨を伝えるメッセージを含むデータを生成して出力し、このメッセージを利用者に見せる構成であってもよい。
【００５２】
本発明の第一の実施形態に係る画像表示システム１は、以下の効果を奏する。
画像表示システム１は、ポインティング位置の検出が障害物により邪魔されることを防ぐことができる。また、赤外光を利用することで、照射された光とスクリーンの表示画像との混同を防ぐことができる。また、ポインタ５０の向きを変えるだけポインティング向きを変えることができるので、利用者によるポインティング向きの設定が容易になる。
画像表示システム１は、２次元画像と３次元画像とを更新結果に応じて連動して表示するので、空間における物体のレイアウトを好適に確認することができる。すなわち、住宅、建築物（工場、学校、病院等）等の設計、レイアウトに関する合意形成のためにプレゼンテーションや協調作業を行う際には、２次元画像および３次元画像の両方を用いることができるので、実際の設計、レイアウトを説明するのに好適である。特に、住宅、建築物のレイアウトを３次元画像として表示する場合には、実物大で表示することが望ましい。
特に、２次元画像を見ながらポインタ５０を用いて物体の移動を指示し、実際の移動結果を３次元画像を見て確認することにより、利用者にとってよりわかりやすい説明が可能である。
また、３次元画像の視点を２次元位置データを入力可能なポインタ５０または３次元位置センサ７０を用いて変更したり、３次元画像の視点を２次元画像を見ることで確認することが可能となる。
【００５３】
（第二の実施形態）
続いて、本発明の第二の実施形態に係る画像表示システム２について、第一の実施形態に係る画像表示システム１との相違点を中心に説明する。
図１４は、本発明の第二の実施形態に係る画像表示システムを示すブロック図である。図１５は、本発明の第二の実施形態に係る制御装置の詳細を示すブロック図である。
【００５４】
図１４に示すように、本発明の第二の実施形態に係る画像表示システム２は、制御装置８０に代えて、制御装置（第一の制御装置）１１０および制御装置（第二の制御装置）１２０を備えている。
【００５５】
制御装置１１０は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ５０および撮影装置６０からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図１５に示すように、制御装置１１０は、ボタン入力信号取得部１１１と、ポインティング位置取得部１１２と、記憶部（第一の記憶部）１１４と、データ更新部（第一のデータ更新部）１１５と、２次元画像データ生成部１１６と、データ送受信部（第一のデータ送受信部）１１８と、を備えている。
ここで、ボタン入力信号取得部１１１、ポインティング位置取得部１１２、記憶部（第一の記憶部）１１４、データ更新部（第一のデータ更新部）１１５および２次元画像データ生成部１１６は、第一の実施形態に係るボタン入力信号取得部８１、ポインティング位置取得部８２、記憶部８４、データ更新部８５および２次元画像データ生成部８６とほぼ同等の機能を有するので、説明を省略する。
すなわち、記憶部１１４に記憶された空間データ１１４ａ、物体データ１１４ｂ、明るさ補正テーブル１１４ｃ、位置補正テーブル１１４ｄおよびＬＥＤ識別データ１１４ｅは、記憶部８４に記憶された空間データ８４ａ、物体データ８４ｂ、明るさ補正テーブル８４ｃ、位置補正テーブル８４ｄおよびＬＥＤ識別データ８４ｅと同様である。
【００５６】
制御装置１２０は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ５０および撮影装置６０からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図１５に示すように、制御装置１２０は、３次元位置データ取得部１２３と、記憶部（第二の記憶部）１２４と、データ更新部（第二のデータ更新部）１２５と、３次元画像データ生成部１２７と、データ送受信部（第二のデータ送受信部）１２８を備えている。
ここで、ボタン入力信号取得部１１１、ポインティング位置取得部１１２、記憶部（第一の記憶部）１１４、データ更新部（第一のデータ更新部）１１５および２次元画像データ生成部１１６は、第一の実施形態に係る３次元位置データ取得部８３、記憶部８４、データ更新部８５および３次元画像データ生成部８７とほぼ同等の機能を有するので、説明を省略する。
すなわち、記憶部１２４に記憶された空間データ１２４ａおよび物体データ１２４ｂは、記憶部８４に記憶された空間データ８４ａおよび物体データ８４ｂと同様である。
【００５７】
データ送受信部１１８，１２８は、例えばＬＡＮ回線を介して、記憶部１１４，１２４の一方の物体データが更新された場合に、更新された物体データを送受信し、記憶部１１４，１２４の他方の物体データを更新させる。
第二の実施形態に係る画像表示システム２は、データ送受信部１１８，１２８を介して記憶部１１４，１２４に記憶されたデータを同一に更新するので、第一の実施形態に係る画像表示システム１と同様の効果を奏することができる。
【００５８】
以上、本発明の実施形態について図面を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。
例えば、制御装置８０，１１０，１２０は、各機能部をソフトウェアとハードウェアとの協働により実現する構成であってもよく、これらの機能の一部をハードウェアのみで実現する構成であってもよい。
また、ポインタが第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１に代えて非円形状（例えば、線状、楕円形、多角形等）を呈する光を照射することが可能な赤外光源を備え、制御装置が非円形状を呈する光の姿勢に基づいてポインティング向きを検出する構成であってもよい。
【図面の簡単な説明】
【００５９】
【図１】本発明の第一の実施形態に係る画像表示システムの外観を示す模式図である。
【図２】本発明の第一の実施形態に係る画像表示システムを示すブロック図である。
【図３】本発明の第一の実施形態に係るポインティング位置検出システムを示す概略構成図である。
【図４】本発明の第一の実施形態に係るポインタを示す斜視図である。
【図５】本発明の第一の実施形態に係る制御装置を示す詳細ブロック図である。
【図６】図６は、本発明の第一の実施形態に係るポインティング位置およびポインティング向き検出処理を説明するためのフローチャートである。
【図７】本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図８】本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図９】本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図１０】本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図１１】本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図１２】本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。
【図１３】３次元画像における距離の表示例を示す図である。
【図１４】本発明の第二の実施形態に係る画像表示システムを示すブロック図である。
【図１５】本発明の第二の実施形態に係る制御装置の詳細を示すブロック図である。
【符号の説明】
【００６０】
１，２ 画像表示システム
１０ ２次元画像表示スクリーン
２０ ３次元画像表示スクリーン
３０ ２次元画像光照射装置
４０ ３次元画像光照射装置
５０ ポインタ
６０ 撮影装置
７０ ３次元位置センサ
８０ 制御装置
９０ 液晶シャッタメガネ
【特許請求の範囲】
【請求項１】
空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する記憶部と、
前記空間データおよび前記物体データを更新するデータ更新部と、
前記空間データおよび前記物体データに基づいて、２次元画像データを生成する２次元画像データ生成部と、
前記空間データおよび前記物体データに基づいて、３次元画像データを生成する３次元画像データ生成部と、
前記２次元画像データに基づいて、２次元画像を表示する２次元画像表示装置と、
前記３次元画像データに基づいて、３次元画像を表示する３次元画像表示装置と、
を備えていることを特徴とする画像表示システム。
【請求項２】
２次元位置データを入力する２次元位置データ入力手段をさらに備え、
前記データ更新部は、入力された前記２次元位置データを３次元画像データにおける視点位置データとして前記記憶部に記憶させ、
前記３次元画像データ生成部は、前記視点位置データに基づいて前記３次元画像データを生成することを特徴とする請求項１に記載の画像表示システム。
【請求項３】
３次元位置データを入力する３次元位置データ入力手段をさらに備え、
前記データ更新部は、入力された前記３次元位置データを３次元画像データにおける視点位置データとして前記記憶部に記憶させ、
前記３次元画像データ生成部は、前記視点位置データに基づいて前記３次元画像データを生成することを特徴とする請求項１または請求項２に記載の画像表示システム。
【請求項４】
２次元位置データを入力する２次元位置データ入力手段をさらに備え、
前記データ更新部は、入力された前記２次元位置データを物体データにおける物体位置データとして前記記憶部に記憶させ、
前記２次元画像データ生成部は、前記物体位置データに基づいて前記２次元画像データを生成し、
前記３次元画像データ生成部は、前記物体位置データに基づいて前記３次元画像データを生成することを特徴とする請求項１に記載の画像表示システム。
【請求項５】
３次元位置データを入力する３次元位置データ入力手段をさらに備え、
前記データ更新部は、入力された前記３次元位置データを物体データにおける物体位置データとして前記記憶部に記憶させ、
前記２次元画像データ生成部は、前記物体位置データに基づいて前記２次元画像データを生成し、
前記３次元画像データ生成部は、前記物体位置データに基づいて前記３次元画像データを生成することを特徴とする請求項１または請求項４に記載の画像表示システム。
【請求項６】
前記空間データは、前記物体の配置を禁止する領域に関する物体配置禁止領域データを含み、
前記データ更新部は、前記物体データにおける物体位置データと前記物体配置禁止領域データとに基づいて、前記物体が前記物体の配置を禁止する領域へ配置されるようなデータ更新を禁止することを特徴とする請求項１に記載の画像表示システム。
【請求項７】
位置データを入力する位置データ入力手段をさらに備え、
前記データ更新部は、前記位置データ入力手段により入力された二つの位置データに基づいて前記空間データおよび前記物体データにおける点、線、面および物体のいずれか二つを選択して選択結果を前記記憶部に記憶させ、
前記２次元画像データ生成部は、前記選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な２次元画像データを生成し、
前記３次元画像データ生成部は、前記選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な３次元画像データを生成することを特徴とする請求項１に記載の画像表示システム。
【請求項８】
空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する第一の記憶部と、前記第一の記憶部に記憶された前記空間データおよび前記物体データを更新する第一のデータ更新部と、前記第一の記憶部に記憶された前記空間データおよび前記物体データに基づいて、２次元画像データを生成する２次元画像データ生成部と、データの送受信を行う第一のデータ送受信部と、を備えた第一の制御装置と、
前記２次元画像データに基づいて、２次元画像を表示する２次元画像表示装置と、
空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する第二の記憶部と、前記第二の記憶部に記憶された前記空間データおよび前記物体データを更新する第二のデータ更新部と、前記第二の記憶部に記憶された前記空間データおよび前記物体データに基づいて、３次元画像データを生成する３次元画像データ生成部と、データの送受信を行う第二のデータ送受信部と、を備えた第二の制御装置と、
前記３次元画像データに基づいて、３次元画像を表示する３次元画像表示装置と、
を備え、
前記第一のデータ送受信部および前記第二のデータ送受信部が、前記第一のデータ記憶部および前記第二のデータ記憶部の一方の更新結果を他方に反映させることを特徴とする画像表示システム。
【請求項１】
空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する記憶部と、
前記空間データおよび前記物体データを更新するデータ更新部と、
前記空間データおよび前記物体データに基づいて、２次元画像データを生成する２次元画像データ生成部と、
前記空間データおよび前記物体データに基づいて、３次元画像データを生成する３次元画像データ生成部と、
前記２次元画像データに基づいて、２次元画像を表示する２次元画像表示装置と、
前記３次元画像データに基づいて、３次元画像を表示する３次元画像表示装置と、
を備えていることを特徴とする画像表示システム。
【請求項２】
２次元位置データを入力する２次元位置データ入力手段をさらに備え、
前記データ更新部は、入力された前記２次元位置データを３次元画像データにおける視点位置データとして前記記憶部に記憶させ、
前記３次元画像データ生成部は、前記視点位置データに基づいて前記３次元画像データを生成することを特徴とする請求項１に記載の画像表示システム。
【請求項３】
３次元位置データを入力する３次元位置データ入力手段をさらに備え、
前記データ更新部は、入力された前記３次元位置データを３次元画像データにおける視点位置データとして前記記憶部に記憶させ、
前記３次元画像データ生成部は、前記視点位置データに基づいて前記３次元画像データを生成することを特徴とする請求項１または請求項２に記載の画像表示システム。
【請求項４】
２次元位置データを入力する２次元位置データ入力手段をさらに備え、
前記データ更新部は、入力された前記２次元位置データを物体データにおける物体位置データとして前記記憶部に記憶させ、
前記２次元画像データ生成部は、前記物体位置データに基づいて前記２次元画像データを生成し、
前記３次元画像データ生成部は、前記物体位置データに基づいて前記３次元画像データを生成することを特徴とする請求項１に記載の画像表示システム。
【請求項５】
３次元位置データを入力する３次元位置データ入力手段をさらに備え、
前記データ更新部は、入力された前記３次元位置データを物体データにおける物体位置データとして前記記憶部に記憶させ、
前記２次元画像データ生成部は、前記物体位置データに基づいて前記２次元画像データを生成し、
前記３次元画像データ生成部は、前記物体位置データに基づいて前記３次元画像データを生成することを特徴とする請求項１または請求項４に記載の画像表示システム。
【請求項６】
前記空間データは、前記物体の配置を禁止する領域に関する物体配置禁止領域データを含み、
前記データ更新部は、前記物体データにおける物体位置データと前記物体配置禁止領域データとに基づいて、前記物体が前記物体の配置を禁止する領域へ配置されるようなデータ更新を禁止することを特徴とする請求項１に記載の画像表示システム。
【請求項７】
位置データを入力する位置データ入力手段をさらに備え、
前記データ更新部は、前記位置データ入力手段により入力された二つの位置データに基づいて前記空間データおよび前記物体データにおける点、線、面および物体のいずれか二つを選択して選択結果を前記記憶部に記憶させ、
前記２次元画像データ生成部は、前記選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な２次元画像データを生成し、
前記３次元画像データ生成部は、前記選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な３次元画像データを生成することを特徴とする請求項１に記載の画像表示システム。
【請求項８】
空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する第一の記憶部と、前記第一の記憶部に記憶された前記空間データおよび前記物体データを更新する第一のデータ更新部と、前記第一の記憶部に記憶された前記空間データおよび前記物体データに基づいて、２次元画像データを生成する２次元画像データ生成部と、データの送受信を行う第一のデータ送受信部と、を備えた第一の制御装置と、
前記２次元画像データに基づいて、２次元画像を表示する２次元画像表示装置と、
空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する第二の記憶部と、前記第二の記憶部に記憶された前記空間データおよび前記物体データを更新する第二のデータ更新部と、前記第二の記憶部に記憶された前記空間データおよび前記物体データに基づいて、３次元画像データを生成する３次元画像データ生成部と、データの送受信を行う第二のデータ送受信部と、を備えた第二の制御装置と、
前記３次元画像データに基づいて、３次元画像を表示する３次元画像表示装置と、
を備え、
前記第一のデータ送受信部および前記第二のデータ送受信部が、前記第一のデータ記憶部および前記第二のデータ記憶部の一方の更新結果を他方に反映させることを特徴とする画像表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００７−３３４６９８（Ｐ２００７−３３４６９８Ａ）
【公開日】平成１９年１２月２７日（２００７．１２．２７）
【国際特許分類】
【出願番号】特願２００６−１６６７５４（Ｐ２００６−１６６７５４）
【出願日】平成１８年６月１５日（２００６．６．１５）
【出願人】（０００２０６２１１）大成建設株式会社 (1,602)
【出願人】（０００１３２７６９）株式会社ソリッドレイ研究所 (6)
【Ｆターム（参考）】
【公開日】平成１９年１２月２７日（２００７．１２．２７）
【国際特許分類】
【出願日】平成１８年６月１５日（２００６．６．１５）
【出願人】（０００２０６２１１）大成建設株式会社 (1,602)
【出願人】（０００１３２７６９）株式会社ソリッドレイ研究所 (6)
【Ｆターム（参考）】
[ Back to top ]