プロジェクタシステム
【課題】雑音影響を受けない真の２次元射影変換式を生成する。
【解決手段】導出用マーカー３０１０と共に保証用マーカー３０２０をプロジェクタスクリーン６０に投影する。雑音イメージをマーカー候補として許容し、複数の仮の２次元者絵変換式を自動生成する。保証用マーカー３０２０の位置を使用して生成された複数の変換式の中から真の変換式を検出する。
【解決手段】導出用マーカー３０１０と共に保証用マーカー３０２０をプロジェクタスクリーン６０に投影する。雑音イメージをマーカー候補として許容し、複数の仮の２次元者絵変換式を自動生成する。保証用マーカー３０２０の位置を使用して生成された複数の変換式の中から真の変換式を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージを投影するプロジェクタシステム、特にコンピュータの表示器に表示されたイメージと同じイメージをプロジェクタにより物体の表面（以下、プロジェクタスクリーンと称する）に投影するプロジェクタシステムに関する。
【背景技術】
【０００２】
従来のプロジェクタシステムは、パソコンなどのコンピュータで作成した図、文書などをプロジェクタスクリーンに投影することができるので、講演会など広い場所でプレゼンテーションに用いられてきた。
【０００３】
このようなプロジェクタシステムでは、説明者が投影イメージを指し示す場合には、長い棒を使用してプロジェクタスクリーン上の特定の位置を指し示さなければならない。このため、投影するイメージのページめくりなどのためにパソコンを操作する者と、説明を行う者の２人がプレゼンテーションに必要であった。
【０００４】
このような不具合を解消するために、レーザーペンと呼ばれる携帯型の赤外線発光装置を使用して遠隔で、プロジェクタスクリーン上にレーザ光を発射し、特定色のスポット（丸い点）の形態で投影することで、プロジェクタスクリーン上の任意の位置を閲覧者に知らせるプロジェクタシステムが提案されている（特許文献１）。
【０００５】
このような従来例のシステム構成を図１に示す。図１において、１０は統制するイメージを発生するパーソナルコンピュータ(以下、パソコンと略記する)である。パソコン１０は表示器に表示する１画面分のイメージの画像データを格納するメモリ（ＲＡＭ）を有している。この画像データは１画面を構成する画素、それぞれについての輝度データと色成分データ（ＲＧＢデータ）である。
【０００６】
パソコン１０にはイメージ表示用ソフトウェアプログラム（ワープロソフト、作画ソフトなど、以下表示用ソフトと略記する）と共に、プロジェクタ２０を制御するためのプロジェクタ用ソフトウェア(以下、プロジェクタ用ソフトと略記する)が搭載されている。プロジェクタソフトをパソコン内のＣＰＵが実行することによりメモリに格納された画像データ（一般に画像信号と呼ばれる）の形態の投影用イメージがパソコン１０からプロジェクタ２０に送られる。
【０００７】
２０はプロジェクタであり、液晶表示器（ＬＣＤ）および光源を有する。液晶表示器の裏から３原色（ＲＧＢ）の光源の光を照射すると、液晶表示器の画素の中で開となっている画素は光を通過させて、その後、３原色の透過光は、合成光学系を経てプロジェクタスクリーン６０に透過光５０が投影される。液晶表示器の各画素（１画素についてＲＧＢ３つの画素）を上述の画像データにより開閉すると共に、３原色の光源の輝度を画像データに基づいて調整することでパソコンから送られた画像データ形態のイメージがプロジェクタスクリーン６０上に可視のイメージとして投影される。
【０００８】
３０はレーザ光６０を発射する光学手段であり、一般的にはレーザーペンという名称がいきわたっているので、本願明細書では以下、レーザーペン３０と呼ぶことにする。４０は受光器であり、１画面分の光センサを有する受光器、たとえば、ＣＣＤと呼ばれる受光器を使用することができる。受光器４０はレーザーペン３０からの反射光７０のみを透過させ、プロジェクタ２０から投影される光の反射光を遮断するフィルタを有する。受光器４０のＣＣＤの受光画面の中の特定画素に反射光７０が入射すると、ＣＣＤは各画素の光センサへの入射光を電気信号(光電変換信号)に変換して出力する。
【０００９】
各画素から出力される光電変換信号の電圧が、その画素入射光の輝度を表す。各画素の光電変換信号はアナログ信号であるので、受光器４０内のＡ／Ｄ変換器により電圧を数値で表すデジタル信号に変換する。このようにして受光器４０が発生した１画面分のデジタル信号（以下撮影イメージと称する）はパソコン１０に送られる。パソコン１０のプロジェクタソフトは、受信した撮影イメージの中の各画素の画像データの示す輝度値を、予め定めた閾値と比較し、閾値より大きい輝度値を有する画素位置を検出する。プロジェクタスクリーン６０を見ている人は、プロジェクタスクリーン６０上のレーザ光の照射イメージにより説明者が指示しようとしていた位置を知ることができる。この位置に表示されるレーザ光の照射イメージを以後、レーザーポインタと呼ぶことにする。
【００１０】
また、受光器４０の撮影イメージ中で上述の方法でレーザーポインタの位置を検出すると、パソコン１０は、レーザーポインタの位置に関する情報をマウスなどのポインティングデバイスと同様に取り扱う。
【００１１】
上述したプロジェクタシステムにより、説明者はパソコン１０を操作しながら、レーザーペン３０を操作して、プロジェクタスクリーン６０上に投影されたイメージの任意位置を指定するだけでなく、パソコン１０に対して位置情報を入力することができるようになってきた。
【００１２】
ところが、スクリーンプロジェクタ６０での投影画面が図４に示すよう正しい矩形を呈しても、受光器４０の設置位置が異なること、光学系の影響で、受光器４０の受光画面は図５のように矩形から変形してしまう。
【００１３】
そこで、従来では２次元の射影変換と呼ばれる変換処理を行って、図５の受光画面上の任意の位置の座標（Ｘ，Ｙ）を投影画面上の対応する位置の座標（ｘ．ｙ）に変換している。(非特許文献１参照)
【００１４】
一般的に、投影画面上の位置（ｘ．ｙ）と受光画面上の位置（Ｘ，Ｙ）との間には、
ｘ＝（Ａ１Ｘ＋Ｂ１Ｙ＋Ｃ１）／（Ａ０Ｘ＋Ｂ０Ｙ＋Ｃ０）
ｙ＝（Ａ２Ｘ＋Ｂ２Ｙ＋Ｃ２）／（Ａ０Ｘ＋Ｂ０Ｙ＋Ｃ０）
の関係がある。ここで、Ａ０、Ａ１，Ａ２，Ｂ０，Ｂ１，Ｂ２，Ｃ０，Ｃ１，Ｃ２はパラメータである。
【００１５】
２次元の射影変換で使用する上述のパラメータを得るために従来では、図４の符号３０１０で示すように矩形枠の投影画面上の４隅にゆがみ補正用パラメータ検出用のマーカー３０１０を４つプロジェクタ２０により投影させている。
【００１６】
受光器４０の受光画面上でも上記マーカーのイメージをパソコン１０側の画像処理で検出する。投影画面上の４つのマーカーの座標位置(予め決められている固定値)と受光画面上の４つのマーカーのイメージの位置（受光画面から検出した位置、図５の符号４０１０のマーカーの位置）が与えられると、非特許文献１の実用計算式を使用して、上記９つのパラメータは８つのパラメータに簡略化される。簡略化された８つのパラメータを使用した変換式（２次元射影変換式）をパソコン１０により自動生成し、生成した変換式を使用して、受光画面で検出されたレーザーペンのポインターイメージ（レーザーペン３０によりプロジェクタスクリーン６０上に照射したイメージを受光器４０により撮影したイメージ）の受光画面上の座標位置をプロジェクタスクリーン６０上の座標位置にパソコン１０上で計算により変換する。
【００１７】
【特許文献１】特開平１１−８５３９５号公報
【非特許文献１】http://www.ke.ics.saitama-u.ac.jp/kondo/Geomap/CADCGHTML/ChapE/ChapE02.html
【発明の開示】
【発明が解決しようとする課題】
【００１８】
プロジェクタの投影環境が、窓の光が入らないような良好な環境であれば、問題はないのであるが、室内灯（非常灯など）を点灯させなければならないなど、いわゆる雑音発生源があると、受光器４０の受光画面４０にはいくつかの雑音イメージ４０３０（図５参照）が発生してしまう。このような場合、パソコン１０ではどれが、受光画面上の雑音イメージとマーカーのイメージか判別付かない。そこで、たとえば、受光画面のイメージ全体をパソコン１０のディスプレイ(表示器)に表示し、説明者がマウスなどを操作して、ディスプレイ表示画面上のマーカーのイメージを指示することが考えられる。
【００１９】
しかしながら、プロジェクタシステムを操作する者は、コンピュータの熟練者とは限らず、まちがって、雑音を指定しまうこともあるであろうし、そもそも受光器４０で撮影した受光画面をパソコン１０のディスプレイに表示させ、マウスで正しいマーカーを指示する操作すること自体が煩雑なものとなる。
【００２０】
そこで、本発明の目的は、受光画面に雑音が混入しても、２次元射影変換式を精度よく自動生成することができるプロジェクタシステムを提供することにある。
【課題を解決するための手段】
【００２１】
このような目的を達成するために、本発明は、プロジェクタ（２０）によりイメージをプロジェクタスクリーン（６０）上に投影し、前記プロジェクタスクリーン上にレーザーペン（３０）により照射されたレーザーポインタのイメージを受光器で受光し、受光画面上のレーザーポインタの位置を２次元射影変換式により前記プロジェクタスクリーン上の座標位置に変換すると共に、予め前記プロジェクタスクリーン上にマーカー（３０１０）を前記プロジェクタにより投影し、前記受光器で受光した前記マーカーの位置（４０１０のマーカの位置）と、あらかじめ定められている前記プロジェクタスクリーン上のマーカーの位置（３０１０のマーカの位置）とを使用して前記２次元射影変換式を自動生成するプロジェクタシステムにおいて、
前記マーカーに加えて保証用マーカー（３０２０）を前記プロジェクタに投影させる制御手段（Ｓ１０を実行するＣＰＵ１０００）と、
雑音（４０３０）および前記保証用マーカーを前記マーカーの候補に含むことを許容して前記受光画面上の前記マーカーの候補の位置を検出する検出手段（Ｓ２０を実行するＣＰＵ１０００）と、
当該検出されたマーカーの候補の中の所定個数の候補の位置および前記プロジェクタスクリーン上のあらかじめ定められたマーカーの位置とを使用して仮の２次元射影変換式を生成する変換式生成手段（Ｓ４０を実行するＣＰＵ１０００）と、
当該作成された仮の２次元射影変換式を使用して、前記変換式生成手段により２次元射影変換式を作成する際に使用されなかった前記マーカーの候補の位置を前記プロジェクタスクリーン上の位置に変換する位置変換手段（Ｓ５０を実行するＣＰＵ１０００）と、
当該変換された位置の中に予め定められた前記保証用マーカーのプロジェクタスクリーン上の位置と一致するものがあるか否かを判定することにより前記変換式生成手段により生成される仮の２次元射影変換式が、受光画面上のマーカーの位置を使用した真の２次元射影変換式であるか否かを判定する判定手段（Ｓ６０，Ｓ７０を実行するＣＰＵ１０００）と
を有し、前記判定手段により否定判定が得られた場合には、肯定判定が得られるまで、前記変換式生成手段による２次元射影変換式の生成に使用するマーカーの候補を異ならせて前記変換式生成手段により異なる仮の２次元射影変換式を生成し（Ｓ３０〜Ｓ７０のループ処理）、前記判定手段により肯定判定が得られた時の仮の２次元射影変換式を真の２次元変換式として、前記レーザーポインタの位置の変換に使用する（Ｓ８０）ことを特徴とする。
【００２２】
上述の（）部は請求項の構成要件に対応する実施形態の対応箇所を示すが、特許請求の範囲の記載がこれに限定されることはない。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明の実施形態を詳細に説明する。
(第１の実施形態)
本発明第１の実施形態のハードウェアに関するプロジェクタシステムの構成は図１の従来技術とほぼ同様とすることでき、本願明細書の背景技術で説明しているので、ここでは詳細な説明を省略する。
【００２４】
本発明を説明するために、図１のパソコン１０の内部構成を簡単に説明する。パソコン１０に限らず、ＣＰＵを使用した情報処理機器、あるいは論理演算回路を組み合わせた電子回路などもパソコン１０として使用することができる。
【００２５】
１０００はパソコン１０のハードディスク１０３０に搭載されたプログラムを実行するＣＰＵである。
【００２６】
１０１０はシステムメモリであり、ＲＯＭやＲＡＭで構成される。システムメモリ１０１０内には、ＣＰＵ１０００が実行するプログラムをロードするための記憶領域、ディスプレイ１０２０に表示するイメージを記憶するための記憶領域、ＣＰＵ１０００が情報処理を実行するときに使用する種々の情報を記憶する記憶領域が設けられている。その他、プロジェクタスクリーン表示(投影)用のイメージを記憶する記憶領域も設けられている。
【００２７】
１０２０はディスプレイであり、プロジェクタ２０により投影する投影用イメージと同じイメージを表示する。
【００２８】
１０３０は後述(図３)のプログラムを保存するためのハードディスクである。ＣＰＵ１０００が実行するプログラムはハードディスク１０３０からシステムメモリ１０１０にロードされた後ＣＰＵ１０００により実行される。
【００２９】
１０４０は入出力インターフェースであり、受光器４０からの撮影イメージを入力する。また、入出力インターフェース１０４０から投影用イメージをプロジェクタ２０に送信する。入出力インターフェース１０４０にはマウスやキーボードなど従来周知の入出力デバイスも接続可能である。
【００３０】
図３は本発明第１の実施形態において、パソコン１０に搭載するソフトウェアの構成を示す。図２において、２０００はプロジェクタ用プログラムであり、投影用イメージ発生プログラム(後述)２０１０により作成した投影用イメージをプロジェクタ２０へ送信するためのプログラムである。このための機能は従来と同様である。
【００３１】
２０１０は投影用イメージ発生プログラムであり、投影すべきイメージを作成する周知のプログラムである。たとえば、ワープロソフト、帳票処理ソフト、作画ソフト、プレゼンテーション用コンテンツ作成ソフトなどがよく知られている。これらソフトにより作成された投影用イメージは、パソコン１０の表示器に表示するために使用されるシステムメモリ１０１０内の記憶領域に格納されるので、この記憶領域を介して投影用イメージがプロジェクタ用プログラム２０００に引き渡される（プロジェクタ用プログラム２０００が記憶領域から読み出す）。
【００３２】
２０２０は、たとえば、マイクロソフト社のウィンドウズ(登録商標)などのオペレーティングシステム２０２０であり、オペレーティングシステム上で上述のプログラムが稼動する。
【００３３】
上述のハードウェアおよびソフトウェアで実行される本発明を図４および図５を使用して説明する。従来と異なる第１の点は、プロジェクタスクリーン上にプロジェクタ２０により(精度)保証用マーカー３０２０(図４参照)を投影する点にある。なお、図４の３０１０は従来と同様２次元射影変換式に使用するマーカーである。マーカー３０１０および３０２０の位置は予め定められている。この形態では、４つのマーカー３０１０の位置はプロジェクタスクリーンの矩形枠の４隅に位置させ、保証用マーカー３０２０の位置は上部の２つのマーカー３０１０の中間点に位置させている。しかしながら、保証用マーカーの位置は、この例に限定される必要はなく、任意に定めておけばよい。
【００３４】
図５は受光器４０の受光画面の撮影内容を示す。４０１０はマーカー３０１０のイメージであり、４０２０は保証用マーカーのイメージである。４０３０は雑音イメージであり、照明環境から受光器４０に混入した雑音イメージである。
【００３５】
本実施形態では、保証用イメージおよび雑音イメージをもマーカーの候補として取り扱い、その位置を受光画面から検出する。マーカーの検出には従来と同様の画像処理方法を使用すればよい。一例としては、マーカーの画像特徴を有する閉区画領域を検出すればよい。図５の例では９つの候補を示している。
【００３６】
このようにして検出したマーカーの候補の位置は４つ以上となる。そこで、プロジェクタスクリーン６０上の４つのマーカー３０１０の予め定められている位置（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）および受光画面上の９つの候補の中の任意の４つを使用して仮の２次元射影変換式を生成する。生成方法は従来と同様とすることができる。
【００３７】
選択した４つの候補が真の４つのマーカー３０１０のイメージであれば、保証用マーカー３０２０のイメージ（４０２０）は、残りの５つ（９−４）の候補の中にある。この性質を利用して、本実施形態では、生成された２次元射影変換式に上記残りの５つの候補の位置をそれぞれ代入してプロジェクタスクリーン６０上の位置を計算する。得られた５つの位置と、あらかじめ定められていて、位置が判明している保証用マーカーの位置とを比較する。保証用マーカーの位置と一致するものが、２次元射影変換式により得られた５つの位置の中にあれば、その時点で生成された仮の２次元射影変換式は、真の４つのマーカー３０１０を使用した真の２次元射影変換式と言うことができる。
【００３８】
一方、選択した４つの候補の中に雑音イメージが１つでも含まれていると真の２次元射影変換式は得られない。したがって、受光画面上の保証用マーカーのイメージ位置を、そのときに得られる仮の２次元射影変換式を使用してプロジェクタスクリーン５０上の位置に変換しても、その位置は、投影され、予め定められている保証用マーカー３０２０の位置と異なったものとなる。選択した４つの候補の中に保証用マーカーのイメージが含まれても同様である。
【００３９】
以上説明した真の２次元射影変換式を見つける方法を実現するためのプログラムを図６に示す。このプログラムは図３のプロジェクタ用プログラム２０００内に組み込まれ、プロジェクタ用プログラム２０００が起動されたときに初期処理としてパソコン１０のＣＰＵ１０００(以下、ＣＰＵと略記する)により自動的に実行される。
【００４０】
ＣＰＵはハードディスク１０３０に記憶してある図４のイメージ（ファイル形態、導出用マーカー及び保証用マーカーを投影するためのイメージ）をシステムメモリ１０１０の中の投影用イメージ記憶領域にロードする。また、ＣＰＵはロードされたこのイメージをプロジェクタ２０に送信することで図４のイメージをプロジェクタスクリーン６０に投影するように制御する（Ｓ１０）。
【００４１】
ＣＰＵは受光器４０の撮影イメージを取り込み、システムメモリ１０１０内の作業領域に一時記憶する。記憶されたイメージの中の導出用マーカー（３０１０）の画像特徴を有する候補イメージを検出すると共に、その位置を取得する（Ｓ２０）。このとき、保証用マーカーおよび雑音も候補として許容される点に注意されたい。
【００４２】
ＣＰＵは得られたマーカー候補の位置の中から任意に４つを選択する。得られた４つの位置および予め与えられている、プロジェクタスクリーン６０上の４つの導出用マーカー（３０１０）の位置を使用して、従来と同様にして、(仮の)２次元射影変換式を生成する（Ｓ３０→Ｓ４０）。
【００４３】
ＣＰＵは選択されなかったマーカー候補の位置の各々を２次元射影変換式に代入してプロジェクタスクリーン６０上の位置に変換する（Ｓ５０）。
【００４４】
ＣＰＵは変換された各位置と予め与えられている、プロジェクタスクリーン６−上の保証用マーカーの位置とを比較して（Ｓ５０）、一致しているものがあるか否かを判定する（Ｓ６０）。
【００４５】
否定判定（ＮＯ判定）が得られた場合には、Ｓ３０に戻り、これまでとは組み合わせが異なる４つのマーカー候補の位置を選択して、上述の操作手順を繰り返す（Ｓ３０→Ｓ７０）のループ処理。
【００４６】
ＹＥＳ判定が得られたときは、そのときに生成されている仮の２次元射影変換式が真の２次元射影変換式であるので、手順はＳ７０へと進み、レーザーペン３０により指示するポインタの位置変換に使用する２次元射影変換式として、得られた仮の２次元射影変換式を設定する（Ｓ８０）。
【００４７】
(他の実施形態)
上述の実施形態では保障用マーカーは１つの例を示したがこれに限ることはない。複数設けてもよい。この場合にはＳ７０の判定処理では比較処理で比較した結果、一致するものが所定数個（保証用マーカーの個数）あるか否かの判定を行うことになる。
【図面の簡単な説明】
【００４８】
【図１】従来例のハードウェア構成を示すブロック図である。
【図２】本発明第１の実施形態のパソコン１０のハードウェアの概略の構成を示すブロック図である。
【図３】本発明第１の実施形態のソフトウェアの構成を示すブロック図である。
【図４】投影用画面上のマーカー位置を示す説明図である。
【図５】受光画面上のマーカーおよび雑音の位置を示す説明図である。
【図６】本発明第１の実施形態の最適化処理の処理手順を示すフローチャートである。
【符号の説明】
【００４９】
１０００ ＣＰＵ
１０１０ システムメモリ
１０２０ ディスプレイ
１０３０ ハードディスク
１０４０ 入出力インターフェース
【技術分野】
【０００１】
本発明は、イメージを投影するプロジェクタシステム、特にコンピュータの表示器に表示されたイメージと同じイメージをプロジェクタにより物体の表面（以下、プロジェクタスクリーンと称する）に投影するプロジェクタシステムに関する。
【背景技術】
【０００２】
従来のプロジェクタシステムは、パソコンなどのコンピュータで作成した図、文書などをプロジェクタスクリーンに投影することができるので、講演会など広い場所でプレゼンテーションに用いられてきた。
【０００３】
このようなプロジェクタシステムでは、説明者が投影イメージを指し示す場合には、長い棒を使用してプロジェクタスクリーン上の特定の位置を指し示さなければならない。このため、投影するイメージのページめくりなどのためにパソコンを操作する者と、説明を行う者の２人がプレゼンテーションに必要であった。
【０００４】
このような不具合を解消するために、レーザーペンと呼ばれる携帯型の赤外線発光装置を使用して遠隔で、プロジェクタスクリーン上にレーザ光を発射し、特定色のスポット（丸い点）の形態で投影することで、プロジェクタスクリーン上の任意の位置を閲覧者に知らせるプロジェクタシステムが提案されている（特許文献１）。
【０００５】
このような従来例のシステム構成を図１に示す。図１において、１０は統制するイメージを発生するパーソナルコンピュータ(以下、パソコンと略記する)である。パソコン１０は表示器に表示する１画面分のイメージの画像データを格納するメモリ（ＲＡＭ）を有している。この画像データは１画面を構成する画素、それぞれについての輝度データと色成分データ（ＲＧＢデータ）である。
【０００６】
パソコン１０にはイメージ表示用ソフトウェアプログラム（ワープロソフト、作画ソフトなど、以下表示用ソフトと略記する）と共に、プロジェクタ２０を制御するためのプロジェクタ用ソフトウェア(以下、プロジェクタ用ソフトと略記する)が搭載されている。プロジェクタソフトをパソコン内のＣＰＵが実行することによりメモリに格納された画像データ（一般に画像信号と呼ばれる）の形態の投影用イメージがパソコン１０からプロジェクタ２０に送られる。
【０００７】
２０はプロジェクタであり、液晶表示器（ＬＣＤ）および光源を有する。液晶表示器の裏から３原色（ＲＧＢ）の光源の光を照射すると、液晶表示器の画素の中で開となっている画素は光を通過させて、その後、３原色の透過光は、合成光学系を経てプロジェクタスクリーン６０に透過光５０が投影される。液晶表示器の各画素（１画素についてＲＧＢ３つの画素）を上述の画像データにより開閉すると共に、３原色の光源の輝度を画像データに基づいて調整することでパソコンから送られた画像データ形態のイメージがプロジェクタスクリーン６０上に可視のイメージとして投影される。
【０００８】
３０はレーザ光６０を発射する光学手段であり、一般的にはレーザーペンという名称がいきわたっているので、本願明細書では以下、レーザーペン３０と呼ぶことにする。４０は受光器であり、１画面分の光センサを有する受光器、たとえば、ＣＣＤと呼ばれる受光器を使用することができる。受光器４０はレーザーペン３０からの反射光７０のみを透過させ、プロジェクタ２０から投影される光の反射光を遮断するフィルタを有する。受光器４０のＣＣＤの受光画面の中の特定画素に反射光７０が入射すると、ＣＣＤは各画素の光センサへの入射光を電気信号(光電変換信号)に変換して出力する。
【０００９】
各画素から出力される光電変換信号の電圧が、その画素入射光の輝度を表す。各画素の光電変換信号はアナログ信号であるので、受光器４０内のＡ／Ｄ変換器により電圧を数値で表すデジタル信号に変換する。このようにして受光器４０が発生した１画面分のデジタル信号（以下撮影イメージと称する）はパソコン１０に送られる。パソコン１０のプロジェクタソフトは、受信した撮影イメージの中の各画素の画像データの示す輝度値を、予め定めた閾値と比較し、閾値より大きい輝度値を有する画素位置を検出する。プロジェクタスクリーン６０を見ている人は、プロジェクタスクリーン６０上のレーザ光の照射イメージにより説明者が指示しようとしていた位置を知ることができる。この位置に表示されるレーザ光の照射イメージを以後、レーザーポインタと呼ぶことにする。
【００１０】
また、受光器４０の撮影イメージ中で上述の方法でレーザーポインタの位置を検出すると、パソコン１０は、レーザーポインタの位置に関する情報をマウスなどのポインティングデバイスと同様に取り扱う。
【００１１】
上述したプロジェクタシステムにより、説明者はパソコン１０を操作しながら、レーザーペン３０を操作して、プロジェクタスクリーン６０上に投影されたイメージの任意位置を指定するだけでなく、パソコン１０に対して位置情報を入力することができるようになってきた。
【００１２】
ところが、スクリーンプロジェクタ６０での投影画面が図４に示すよう正しい矩形を呈しても、受光器４０の設置位置が異なること、光学系の影響で、受光器４０の受光画面は図５のように矩形から変形してしまう。
【００１３】
そこで、従来では２次元の射影変換と呼ばれる変換処理を行って、図５の受光画面上の任意の位置の座標（Ｘ，Ｙ）を投影画面上の対応する位置の座標（ｘ．ｙ）に変換している。(非特許文献１参照)
【００１４】
一般的に、投影画面上の位置（ｘ．ｙ）と受光画面上の位置（Ｘ，Ｙ）との間には、
ｘ＝（Ａ１Ｘ＋Ｂ１Ｙ＋Ｃ１）／（Ａ０Ｘ＋Ｂ０Ｙ＋Ｃ０）
ｙ＝（Ａ２Ｘ＋Ｂ２Ｙ＋Ｃ２）／（Ａ０Ｘ＋Ｂ０Ｙ＋Ｃ０）
の関係がある。ここで、Ａ０、Ａ１，Ａ２，Ｂ０，Ｂ１，Ｂ２，Ｃ０，Ｃ１，Ｃ２はパラメータである。
【００１５】
２次元の射影変換で使用する上述のパラメータを得るために従来では、図４の符号３０１０で示すように矩形枠の投影画面上の４隅にゆがみ補正用パラメータ検出用のマーカー３０１０を４つプロジェクタ２０により投影させている。
【００１６】
受光器４０の受光画面上でも上記マーカーのイメージをパソコン１０側の画像処理で検出する。投影画面上の４つのマーカーの座標位置(予め決められている固定値)と受光画面上の４つのマーカーのイメージの位置（受光画面から検出した位置、図５の符号４０１０のマーカーの位置）が与えられると、非特許文献１の実用計算式を使用して、上記９つのパラメータは８つのパラメータに簡略化される。簡略化された８つのパラメータを使用した変換式（２次元射影変換式）をパソコン１０により自動生成し、生成した変換式を使用して、受光画面で検出されたレーザーペンのポインターイメージ（レーザーペン３０によりプロジェクタスクリーン６０上に照射したイメージを受光器４０により撮影したイメージ）の受光画面上の座標位置をプロジェクタスクリーン６０上の座標位置にパソコン１０上で計算により変換する。
【００１７】
【特許文献１】特開平１１−８５３９５号公報
【非特許文献１】http://www.ke.ics.saitama-u.ac.jp/kondo/Geomap/CADCGHTML/ChapE/ChapE02.html
【発明の開示】
【発明が解決しようとする課題】
【００１８】
プロジェクタの投影環境が、窓の光が入らないような良好な環境であれば、問題はないのであるが、室内灯（非常灯など）を点灯させなければならないなど、いわゆる雑音発生源があると、受光器４０の受光画面４０にはいくつかの雑音イメージ４０３０（図５参照）が発生してしまう。このような場合、パソコン１０ではどれが、受光画面上の雑音イメージとマーカーのイメージか判別付かない。そこで、たとえば、受光画面のイメージ全体をパソコン１０のディスプレイ(表示器)に表示し、説明者がマウスなどを操作して、ディスプレイ表示画面上のマーカーのイメージを指示することが考えられる。
【００１９】
しかしながら、プロジェクタシステムを操作する者は、コンピュータの熟練者とは限らず、まちがって、雑音を指定しまうこともあるであろうし、そもそも受光器４０で撮影した受光画面をパソコン１０のディスプレイに表示させ、マウスで正しいマーカーを指示する操作すること自体が煩雑なものとなる。
【００２０】
そこで、本発明の目的は、受光画面に雑音が混入しても、２次元射影変換式を精度よく自動生成することができるプロジェクタシステムを提供することにある。
【課題を解決するための手段】
【００２１】
このような目的を達成するために、本発明は、プロジェクタ（２０）によりイメージをプロジェクタスクリーン（６０）上に投影し、前記プロジェクタスクリーン上にレーザーペン（３０）により照射されたレーザーポインタのイメージを受光器で受光し、受光画面上のレーザーポインタの位置を２次元射影変換式により前記プロジェクタスクリーン上の座標位置に変換すると共に、予め前記プロジェクタスクリーン上にマーカー（３０１０）を前記プロジェクタにより投影し、前記受光器で受光した前記マーカーの位置（４０１０のマーカの位置）と、あらかじめ定められている前記プロジェクタスクリーン上のマーカーの位置（３０１０のマーカの位置）とを使用して前記２次元射影変換式を自動生成するプロジェクタシステムにおいて、
前記マーカーに加えて保証用マーカー（３０２０）を前記プロジェクタに投影させる制御手段（Ｓ１０を実行するＣＰＵ１０００）と、
雑音（４０３０）および前記保証用マーカーを前記マーカーの候補に含むことを許容して前記受光画面上の前記マーカーの候補の位置を検出する検出手段（Ｓ２０を実行するＣＰＵ１０００）と、
当該検出されたマーカーの候補の中の所定個数の候補の位置および前記プロジェクタスクリーン上のあらかじめ定められたマーカーの位置とを使用して仮の２次元射影変換式を生成する変換式生成手段（Ｓ４０を実行するＣＰＵ１０００）と、
当該作成された仮の２次元射影変換式を使用して、前記変換式生成手段により２次元射影変換式を作成する際に使用されなかった前記マーカーの候補の位置を前記プロジェクタスクリーン上の位置に変換する位置変換手段（Ｓ５０を実行するＣＰＵ１０００）と、
当該変換された位置の中に予め定められた前記保証用マーカーのプロジェクタスクリーン上の位置と一致するものがあるか否かを判定することにより前記変換式生成手段により生成される仮の２次元射影変換式が、受光画面上のマーカーの位置を使用した真の２次元射影変換式であるか否かを判定する判定手段（Ｓ６０，Ｓ７０を実行するＣＰＵ１０００）と
を有し、前記判定手段により否定判定が得られた場合には、肯定判定が得られるまで、前記変換式生成手段による２次元射影変換式の生成に使用するマーカーの候補を異ならせて前記変換式生成手段により異なる仮の２次元射影変換式を生成し（Ｓ３０〜Ｓ７０のループ処理）、前記判定手段により肯定判定が得られた時の仮の２次元射影変換式を真の２次元変換式として、前記レーザーポインタの位置の変換に使用する（Ｓ８０）ことを特徴とする。
【００２２】
上述の（）部は請求項の構成要件に対応する実施形態の対応箇所を示すが、特許請求の範囲の記載がこれに限定されることはない。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明の実施形態を詳細に説明する。
(第１の実施形態)
本発明第１の実施形態のハードウェアに関するプロジェクタシステムの構成は図１の従来技術とほぼ同様とすることでき、本願明細書の背景技術で説明しているので、ここでは詳細な説明を省略する。
【００２４】
本発明を説明するために、図１のパソコン１０の内部構成を簡単に説明する。パソコン１０に限らず、ＣＰＵを使用した情報処理機器、あるいは論理演算回路を組み合わせた電子回路などもパソコン１０として使用することができる。
【００２５】
１０００はパソコン１０のハードディスク１０３０に搭載されたプログラムを実行するＣＰＵである。
【００２６】
１０１０はシステムメモリであり、ＲＯＭやＲＡＭで構成される。システムメモリ１０１０内には、ＣＰＵ１０００が実行するプログラムをロードするための記憶領域、ディスプレイ１０２０に表示するイメージを記憶するための記憶領域、ＣＰＵ１０００が情報処理を実行するときに使用する種々の情報を記憶する記憶領域が設けられている。その他、プロジェクタスクリーン表示(投影)用のイメージを記憶する記憶領域も設けられている。
【００２７】
１０２０はディスプレイであり、プロジェクタ２０により投影する投影用イメージと同じイメージを表示する。
【００２８】
１０３０は後述(図３)のプログラムを保存するためのハードディスクである。ＣＰＵ１０００が実行するプログラムはハードディスク１０３０からシステムメモリ１０１０にロードされた後ＣＰＵ１０００により実行される。
【００２９】
１０４０は入出力インターフェースであり、受光器４０からの撮影イメージを入力する。また、入出力インターフェース１０４０から投影用イメージをプロジェクタ２０に送信する。入出力インターフェース１０４０にはマウスやキーボードなど従来周知の入出力デバイスも接続可能である。
【００３０】
図３は本発明第１の実施形態において、パソコン１０に搭載するソフトウェアの構成を示す。図２において、２０００はプロジェクタ用プログラムであり、投影用イメージ発生プログラム(後述)２０１０により作成した投影用イメージをプロジェクタ２０へ送信するためのプログラムである。このための機能は従来と同様である。
【００３１】
２０１０は投影用イメージ発生プログラムであり、投影すべきイメージを作成する周知のプログラムである。たとえば、ワープロソフト、帳票処理ソフト、作画ソフト、プレゼンテーション用コンテンツ作成ソフトなどがよく知られている。これらソフトにより作成された投影用イメージは、パソコン１０の表示器に表示するために使用されるシステムメモリ１０１０内の記憶領域に格納されるので、この記憶領域を介して投影用イメージがプロジェクタ用プログラム２０００に引き渡される（プロジェクタ用プログラム２０００が記憶領域から読み出す）。
【００３２】
２０２０は、たとえば、マイクロソフト社のウィンドウズ(登録商標)などのオペレーティングシステム２０２０であり、オペレーティングシステム上で上述のプログラムが稼動する。
【００３３】
上述のハードウェアおよびソフトウェアで実行される本発明を図４および図５を使用して説明する。従来と異なる第１の点は、プロジェクタスクリーン上にプロジェクタ２０により(精度)保証用マーカー３０２０(図４参照)を投影する点にある。なお、図４の３０１０は従来と同様２次元射影変換式に使用するマーカーである。マーカー３０１０および３０２０の位置は予め定められている。この形態では、４つのマーカー３０１０の位置はプロジェクタスクリーンの矩形枠の４隅に位置させ、保証用マーカー３０２０の位置は上部の２つのマーカー３０１０の中間点に位置させている。しかしながら、保証用マーカーの位置は、この例に限定される必要はなく、任意に定めておけばよい。
【００３４】
図５は受光器４０の受光画面の撮影内容を示す。４０１０はマーカー３０１０のイメージであり、４０２０は保証用マーカーのイメージである。４０３０は雑音イメージであり、照明環境から受光器４０に混入した雑音イメージである。
【００３５】
本実施形態では、保証用イメージおよび雑音イメージをもマーカーの候補として取り扱い、その位置を受光画面から検出する。マーカーの検出には従来と同様の画像処理方法を使用すればよい。一例としては、マーカーの画像特徴を有する閉区画領域を検出すればよい。図５の例では９つの候補を示している。
【００３６】
このようにして検出したマーカーの候補の位置は４つ以上となる。そこで、プロジェクタスクリーン６０上の４つのマーカー３０１０の予め定められている位置（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）および受光画面上の９つの候補の中の任意の４つを使用して仮の２次元射影変換式を生成する。生成方法は従来と同様とすることができる。
【００３７】
選択した４つの候補が真の４つのマーカー３０１０のイメージであれば、保証用マーカー３０２０のイメージ（４０２０）は、残りの５つ（９−４）の候補の中にある。この性質を利用して、本実施形態では、生成された２次元射影変換式に上記残りの５つの候補の位置をそれぞれ代入してプロジェクタスクリーン６０上の位置を計算する。得られた５つの位置と、あらかじめ定められていて、位置が判明している保証用マーカーの位置とを比較する。保証用マーカーの位置と一致するものが、２次元射影変換式により得られた５つの位置の中にあれば、その時点で生成された仮の２次元射影変換式は、真の４つのマーカー３０１０を使用した真の２次元射影変換式と言うことができる。
【００３８】
一方、選択した４つの候補の中に雑音イメージが１つでも含まれていると真の２次元射影変換式は得られない。したがって、受光画面上の保証用マーカーのイメージ位置を、そのときに得られる仮の２次元射影変換式を使用してプロジェクタスクリーン５０上の位置に変換しても、その位置は、投影され、予め定められている保証用マーカー３０２０の位置と異なったものとなる。選択した４つの候補の中に保証用マーカーのイメージが含まれても同様である。
【００３９】
以上説明した真の２次元射影変換式を見つける方法を実現するためのプログラムを図６に示す。このプログラムは図３のプロジェクタ用プログラム２０００内に組み込まれ、プロジェクタ用プログラム２０００が起動されたときに初期処理としてパソコン１０のＣＰＵ１０００(以下、ＣＰＵと略記する)により自動的に実行される。
【００４０】
ＣＰＵはハードディスク１０３０に記憶してある図４のイメージ（ファイル形態、導出用マーカー及び保証用マーカーを投影するためのイメージ）をシステムメモリ１０１０の中の投影用イメージ記憶領域にロードする。また、ＣＰＵはロードされたこのイメージをプロジェクタ２０に送信することで図４のイメージをプロジェクタスクリーン６０に投影するように制御する（Ｓ１０）。
【００４１】
ＣＰＵは受光器４０の撮影イメージを取り込み、システムメモリ１０１０内の作業領域に一時記憶する。記憶されたイメージの中の導出用マーカー（３０１０）の画像特徴を有する候補イメージを検出すると共に、その位置を取得する（Ｓ２０）。このとき、保証用マーカーおよび雑音も候補として許容される点に注意されたい。
【００４２】
ＣＰＵは得られたマーカー候補の位置の中から任意に４つを選択する。得られた４つの位置および予め与えられている、プロジェクタスクリーン６０上の４つの導出用マーカー（３０１０）の位置を使用して、従来と同様にして、(仮の)２次元射影変換式を生成する（Ｓ３０→Ｓ４０）。
【００４３】
ＣＰＵは選択されなかったマーカー候補の位置の各々を２次元射影変換式に代入してプロジェクタスクリーン６０上の位置に変換する（Ｓ５０）。
【００４４】
ＣＰＵは変換された各位置と予め与えられている、プロジェクタスクリーン６−上の保証用マーカーの位置とを比較して（Ｓ５０）、一致しているものがあるか否かを判定する（Ｓ６０）。
【００４５】
否定判定（ＮＯ判定）が得られた場合には、Ｓ３０に戻り、これまでとは組み合わせが異なる４つのマーカー候補の位置を選択して、上述の操作手順を繰り返す（Ｓ３０→Ｓ７０）のループ処理。
【００４６】
ＹＥＳ判定が得られたときは、そのときに生成されている仮の２次元射影変換式が真の２次元射影変換式であるので、手順はＳ７０へと進み、レーザーペン３０により指示するポインタの位置変換に使用する２次元射影変換式として、得られた仮の２次元射影変換式を設定する（Ｓ８０）。
【００４７】
(他の実施形態)
上述の実施形態では保障用マーカーは１つの例を示したがこれに限ることはない。複数設けてもよい。この場合にはＳ７０の判定処理では比較処理で比較した結果、一致するものが所定数個（保証用マーカーの個数）あるか否かの判定を行うことになる。
【図面の簡単な説明】
【００４８】
【図１】従来例のハードウェア構成を示すブロック図である。
【図２】本発明第１の実施形態のパソコン１０のハードウェアの概略の構成を示すブロック図である。
【図３】本発明第１の実施形態のソフトウェアの構成を示すブロック図である。
【図４】投影用画面上のマーカー位置を示す説明図である。
【図５】受光画面上のマーカーおよび雑音の位置を示す説明図である。
【図６】本発明第１の実施形態の最適化処理の処理手順を示すフローチャートである。
【符号の説明】
【００４９】
１０００ ＣＰＵ
１０１０ システムメモリ
１０２０ ディスプレイ
１０３０ ハードディスク
１０４０ 入出力インターフェース
【特許請求の範囲】
【請求項１】
プロジェクタによりイメージをプロジェクタスクリーン上に投影し、前記プロジェクタスクリーン上にレーザーペンにより照射されたレーザーポインタのイメージを受光器で受光し、受光画面上のレーザーポインタの位置を２次元射影変換式により前記プロジェクタスクリーン上の座標位置に変換すると共に、予め前記プロジェクタスクリーン上にマーカーを前記プロジェクタにより投影し、前記受光器で受光した前記マーカーの位置と、あらかじめ定められている前記プロジェクタスクリーン上のマーカーの位置とを使用して前記２次元射影変換式を自動生成するプロジェクタシステムにおいて、
前記マーカーに加えて保証用マーカーを前記プロジェクタに投影させる制御手段と、
雑音および前記保証用マーカーを前記マーカーの候補に含むことを許容して前記受光画面上の前記マーカーの候補の位置を検出する検出手段と、
当該検出されたマーカーの候補の中の所定個数の候補の位置および前記プロジェクタスクリーン上のあらかじめ定められたマーカーの位置とを使用して仮の２次元射影変換式を生成する変換式生成手段と、
当該作成された仮の２次元射影変換式を使用して、前記変換式生成手段により２次元射影変換式を作成する際に使用されなかった前記マーカーの候補の位置を前記プロジェクタスクリーン上の位置に変換する位置変換手段と、
当該変換された位置の中に予め定められた前記保証用マーカーのプロジェクタスクリーン上の位置と一致するものがあるか否かを判定することにより前記変換式生成手段により生成される仮の２次元射影変換式が、受光画面上のマーカーの位置を使用した真の２次元射影変換式であるか否かを判定する判定手段と
を有し、前記判定手段により否定判定が得られた場合には、肯定判定が得られるまで、前記変換式生成手段による２次元射影変換式の生成に使用するマーカーの候補を異ならせて前記変換式生成手段により異なる仮の２次元射影変換式を生成して、前記判定手段により肯定判定が得られた時の仮の２次元射影変換式を真の２次元変換式として、前記レーザーポインタの位置の変換に使用することを特徴とするプロジェクタシステム。
【請求項１】
プロジェクタによりイメージをプロジェクタスクリーン上に投影し、前記プロジェクタスクリーン上にレーザーペンにより照射されたレーザーポインタのイメージを受光器で受光し、受光画面上のレーザーポインタの位置を２次元射影変換式により前記プロジェクタスクリーン上の座標位置に変換すると共に、予め前記プロジェクタスクリーン上にマーカーを前記プロジェクタにより投影し、前記受光器で受光した前記マーカーの位置と、あらかじめ定められている前記プロジェクタスクリーン上のマーカーの位置とを使用して前記２次元射影変換式を自動生成するプロジェクタシステムにおいて、
前記マーカーに加えて保証用マーカーを前記プロジェクタに投影させる制御手段と、
雑音および前記保証用マーカーを前記マーカーの候補に含むことを許容して前記受光画面上の前記マーカーの候補の位置を検出する検出手段と、
当該検出されたマーカーの候補の中の所定個数の候補の位置および前記プロジェクタスクリーン上のあらかじめ定められたマーカーの位置とを使用して仮の２次元射影変換式を生成する変換式生成手段と、
当該作成された仮の２次元射影変換式を使用して、前記変換式生成手段により２次元射影変換式を作成する際に使用されなかった前記マーカーの候補の位置を前記プロジェクタスクリーン上の位置に変換する位置変換手段と、
当該変換された位置の中に予め定められた前記保証用マーカーのプロジェクタスクリーン上の位置と一致するものがあるか否かを判定することにより前記変換式生成手段により生成される仮の２次元射影変換式が、受光画面上のマーカーの位置を使用した真の２次元射影変換式であるか否かを判定する判定手段と
を有し、前記判定手段により否定判定が得られた場合には、肯定判定が得られるまで、前記変換式生成手段による２次元射影変換式の生成に使用するマーカーの候補を異ならせて前記変換式生成手段により異なる仮の２次元射影変換式を生成して、前記判定手段により肯定判定が得られた時の仮の２次元射影変換式を真の２次元変換式として、前記レーザーポインタの位置の変換に使用することを特徴とするプロジェクタシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−２２５５５３（Ｐ２００８−２２５５５３Ａ）
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願番号】特願２００７−５８７２５（Ｐ２００７−５８７２５）
【出願日】平成１９年３月８日（２００７．３．８）
【出願人】（５０５２０８７９８）Ｌｕｎａｓｃａｐｅ株式会社 (4)
【出願人】（３０５０６００３９）株式会社タクラム・デザイン・エンジニアリング (7)
【Ｆターム（参考）】
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願日】平成１９年３月８日（２００７．３．８）
【出願人】（５０５２０８７９８）Ｌｕｎａｓｃａｐｅ株式会社 (4)
【出願人】（３０５０６００３９）株式会社タクラム・デザイン・エンジニアリング (7)
【Ｆターム（参考）】
[ Back to top ]