電子情報ボードシステム、コンピューター端末およびキャリブレーション方法
【課題】射影変換パラメーターの誤差を軽減し、より正確なキャリブレーションを行なう電子ボード情報システムを提供する。
【解決手段】プロジェクターが、投影画像内における座標位置を示す指標が含まれるキャリブレーション画像を投影し、カメラが、プロジェクターによってキャリブレーション画像が投影された領域を撮像し、コンピューター端末が、カメラによって撮像された撮像画像を、複数の画像に分割し、分割された複数の画像のそれぞれについて、画像に含まれる指標に基づいて撮像画像を投影画像に射影変換するための射影変換パラメーターを算出し、算出された射影変換パラメーターに基づいて、カメラによって撮像された撮像画像を投影画像に射影変換する。
【解決手段】プロジェクターが、投影画像内における座標位置を示す指標が含まれるキャリブレーション画像を投影し、カメラが、プロジェクターによってキャリブレーション画像が投影された領域を撮像し、コンピューター端末が、カメラによって撮像された撮像画像を、複数の画像に分割し、分割された複数の画像のそれぞれについて、画像に含まれる指標に基づいて撮像画像を投影画像に射影変換するための射影変換パラメーターを算出し、算出された射影変換パラメーターに基づいて、カメラによって撮像された撮像画像を投影画像に射影変換する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スクリーン領域上の赤外光に応じてコンピューター端末上のカーソルを移動させる電子情報ボードシステム、コンピューター端末およびキャリブレーション方法に関する。
【背景技術】
【０００２】
近年、コンピューター端末の表示部に表示される画像を、プロジェクターによってホワイトボードなどのスクリーン領域に投影し、ユーザーの操作に応じてスクリーン領域上を移動するペンをカメラによって検出し、検出したペンの軌跡や動作に応じてコンピューター端末上の画像に描画する電子情報ボードシステムが提供されている。スクリーン領域を移動させるペンとしては、例えばホワイトボードに接触することにより赤外光を発光する発光ペンが用いられる。そして、赤外光を撮像するカメラによって捉えられる発光ペンの動作に応じてコンピューター端末上のカーソルを移動させ、カーソルの移動に合わせて、コンピューター端末上の画像に重ねて描画を行なう。このような電子情報ボードシステムによれば、プロジェクターによってスクリーン領域に投影された画像を複数人が同時に見ることができるとともに、ユーザーがスクリーン領域上でペンを移動させることによって投影画像に書き込みを行なうことができ、電子的な黒板を提供できる。特許文献１には、このような電子情報ボードシステムを利用した遠隔講義システムが提案されている。
【０００３】
このような電子情報ボードシステムにおいて、スクリーン領域上の赤外光の移動に応じてコンピューター端末上のカーソルを移動させるに当たっては、カメラによって撮像されたスクリーン領域の撮像画像の座標系から、プロジェクターによって投影される投影画像の座標系への変換処理が必要となる。ここでは、撮像画像の座標系から、投影画像の座標系への射影変換パラメーターを算出し、算出した射影変換パラメーターに基づいて射影変換を行なう。射影変換パラメーターは、射影変換の一般式に画像の四辺形の４頂点を代入することで算出される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２３４３６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、射影変換パラメーターを算出するためには上述のように画像の四辺形を抽出することが必要になるが、カメラによって撮像された撮像画像は、スクリーン領域自体の歪みや弛みのために歪んでいたり、カメラのレンズによる収差歪みのために、やや楕円に膨らんだ四辺形になったりすることが考えられる。例えば、プロジェクターによって投影される投影画像が、図９に示されるようにＸ軸とＹ軸とに沿った長方形である場合、カメラによって撮像された撮像画像は、図１０に示されるように楕円に膨らんだ画像となる。このような歪みにより、算出される射影変換パラメーターにずれが生じれば、射影変換を行なう際に誤差が生じ、撮像画像に含まれる赤外光の座標位置と、投影画像に含まれるカーソルの座標位置とがずれることとなる。すなわち、発光ペンを用いたユーザーによるスクリーン領域上での動作と、コンピューター端末上の画像への描画とにずれが生じる。ここで、射影変換を行なう際には、このような歪みによるずれを補正し、誤差を軽減してより正確なキャリブレーションを行なうことが望ましい。
【０００６】
本発明は、このような状況に鑑みてなされたもので、射影変換パラメーターの誤差を軽減し、より正確なキャリブレーションを行なう電子ボード情報システム、コンピューター端末およびキャリブレーション方法を提供する。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明は、定められた投影画像を投影するプロジェクターと、プロジェクターによって投影された領域を撮像するカメラと、カメラによって撮像された画像を受信するコンピューター端末とを備えた電子情報ボードシステムであって、プロジェクターは、投影画像内における座標位置を示す指標が含まれるキャリブレーション画像を投影し、カメラは、プロジェクターによってキャリブレーション画像が投影された領域を撮像し、コンピューター端末は、カメラによって撮像された撮像画像を、複数の画像に分割する画像分割部と、画像分割部によって分割された複数の画像のそれぞれについて、画像に含まれる指標に基づいて撮像画像を投影画像に射影変換するための射影変換パラメーターを算出する射影変換パラメーター算出部と、射影変換パラメーター算出部によって算出された射影変換パラメーターに基づいて、カメラによって撮像された撮像画像を投影画像に射影変換する射影変換部と、を備えることを特徴とする。
【０００８】
また、本発明は、上述のカメラは可視光を撮像し、射影変換パラメーター算出部は、画像内における指標の座標位置を算出し、算出した座標位置に基づいて射影変換パラメーターを算出することを特徴とする。
【０００９】
また、本発明は、投影する画像内における座標位置を示す指標が含まれるキャリブレーション画像を投影プロジェクターと、プロジェクターによってキャリブレーション画像が投影された領域を撮像するカメラと、カメラによって撮像された画像を受信するコンピューター端末とを備えた電子情報ボードシステムにおけるコンピューター端末であって、カメラによって撮像された撮像画像を、複数の画像に分割する画像分割部と、画像分割部によって分割された複数の画像のそれぞれについて、画像に含まれる指標に基づいて撮像画像を投影画像に射影変換するための射影変換パラメーターを算出する射影変換パラメーター算出部と、射影変換パラメーター算出部によって算出された射影変換パラメーターに基づいて、カメラによって撮像された撮像画像を投影画像に射影変換する射影変換部と、を備えることを特徴とする。
【００１０】
また、本発明は、定められた投影画像を投影するプロジェクターと、プロジェクターによって投影された領域を撮像するカメラと、カメラによって撮像された画像を受信するコンピューター端末とを備えた電子情報ボードシステムのキャリブレーション方法であって、プロジェクターが、投影画像内における座標位置を示す指標が含まれるキャリブレーション画像を投影するステップと、カメラが、プロジェクターによってキャリブレーション画像が投影された領域を撮像するステップと、コンピューター端末の、画像分割部が、カメラによって撮像された撮像画像を、複数の画像に分割するステップと、射影変換パラメーター算出部が、画像分割部によって分割された複数の画像のそれぞれについて、画像に含まれる指標に基づいて撮像画像を投影画像に射影変換するための射影変換パラメーターを算出するステップと、射影変換部が、射影変換パラメーター算出部によって算出された射影変換パラメーターに基づいて、カメラによって撮像された撮像画像を投影画像に射影変換するステップと、を備えることを特徴とする。
【００１１】
以上説明したように、本発明によれば、プロジェクターが、投影画像内における座標位置を示す指標が含まれるキャリブレーション画像を投影し、カメラが、プロジェクターによってキャリブレーション画像が投影された領域を撮像し、コンピューター端末が、カメラによって撮像された撮像画像を、複数の画像に分割し、分割された複数の画像のそれぞれについて、画像に含まれる指標に基づいて撮像画像を投影画像に射影変換するための射影変換パラメーターを算出し、算出された射影変換パラメーターに基づいて、カメラによって撮像された撮像画像を投影画像に射影変換するようにしたので、射影変換を行う画像を複数の画像に分割し、分割された画面のそれぞれについて射影変換パラメーターを算出して射影変換を行うことができる。これにより、より誤差が少ない射影変換パラメーターにより射影変換を行なうことが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態による電子情報ボードシステムの概念を示す図である。
【図２】本発明の一実施形態による電子情報ボードシステムの構成例を示すブロック図である。
【図３】本発明の一実施形態によるキャリブレーション画像の例を示す図である。
【図４】本発明の一実施形態により分割する撮像画像の例を示す図である。
【図５】本発明の一実施形態により分割する投影画像の例を示す図である。
【図６】本発明の一実施形態による描画ツールボックスの例を示す図である。
【図７】本発明の一実施形態による電子情報ボードシステムの動作例を示すフローチャートである。
【図８】本発明の一実施形態による電子情報ボードシステムの動作例を示すフローチャートである。
【図９】従来技術による投影画像の例を示す図である。
【図１０】従来技術による撮像画像の例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態による電子情報ボードシステム１の概念を示す図である。ここでは、ユーザーが、電子情報ボードシステム１を用いてプレゼンテーションを行なう例を示している。例えば、プレゼンテーションが行なわれる室内には、画面を投影するためのスクリーン領域２００であるホワイトボードが設置される。プロジェクター１００は、スクリーン領域２００に向かって画像を投影するように設置される。ユーザーは、スクリーン領域２００の前に立ち、黒板にチョークで書き込みを行なうように、スクリーン領域２００に投影された画像上で発光ペン２１０を移動させる。発光ペン２１０の先端部には、赤外光を発光する発光部が設けられており、スクリーン領域２００に接触していることを検知すると、赤外光を発光する。カメラ３００は、スクリーン領域２００の全体を撮像するように設置される。コンピューター端末４００は、例えば、ＶＧＡ（Video Graphics Array）ケーブルによりプロジェクター１００に接続され、ＵＳＢ（Universal Serial Bus）ケーブルによりカメラ３００に接続される。
【００１４】
図２は、本実施形態による電子情報ボードシステム１の構成を示すブロック図である。プロジェクター１００は、コンピューター端末４００の表示部４１０に表示される画像を受信して、受信した画像を投影画像としてスクリーン領域２００に投影するディスプレイ装置である。
スクリーン領域２００は、プロジェクター１００によって投影される画像の投影面である。本実施形態では、スクリーン領域２００はホワイトボードであるとして説明するが、スクリーン領域２００はプロジェクター１００から画像が投影されるものであれば良く、室内の壁の平面部や、布やビニールシートなどのスクリーンでも良い。
【００１５】
カメラ３００は、スクリーン領域２００に投影された画像を撮像する撮像装置である。カメラ３００は、可視光と赤外光とを撮像する機能を有し、撮像カメラ３００が備えるレンズの前に可視光カットフィルタ（赤外光透過フィルタ）を設置して撮像することで、赤外光のみを撮像することが可能である。一方、可視光カットフィルタを設置せずに撮像すれば、可視光と赤外光との双方を撮像する。
【００１６】
コンピューター端末４００は、表示部４１０と、表示制御部４２０と、キャリブレーション画像記憶部４３０と、画像受信部４４０と、画面分割部４５０と、射影変換パラメーター算出部４６０と、射影変換パラメーター記憶部４７０と、射影変換部４８０と、描画処理部４９０と、オーバーレイ処理部４９５とを備えており、ＯＳ（Operating System）等の制御部からの動作命令により各部を動作させる。
表示部４１０は、画像を出力するディスプレイであり、例えば、ＬＣＤ（Liquid Crystal Display）である。
【００１７】
表示制御部４２０は、ＯＳ等から入力される画像情報を表示部４１０に出力させる。例えば、表示制御部４２０は、コンピューター端末４００の記憶領域に予め記憶されているプレゼンテーション画像を、表示部４１０に出力させる。
キャリブレーション画像記憶部４３０は、プロジェクター１００がスクリーン領域２００に投影した投影画像と、カメラ３００が撮像した撮像画像とのゆがみを較正（キャリブレーション）する射影変換パラメーターを算出するための座標位置を示す指標が含まれる画像である。例えば、図３は、キャリブレーション画像記憶部４３０に記憶されたキャリブレーション画像の例を示す図である。キャリブレーション画像は、表示部４１０の画面のアスペクト比に応じた長方形を成しており、画像内には定められた間隔で指標が配置される。この例では、指標として黒い円が配置されている。指標は、長方形の４頂点と、各辺の中央に４点の計８点が配置されている。
【００１８】
画像受信部４４０は、カメラ３００が撮像したスクリーン領域２００の撮像画像をカメラ３００から受信する。ここで、画像受信部４４０がカメラ３００から受信する撮像画像は、スクリーン領域２００自体の歪みやカメラ３００の収差歪みなどによって、表示部４１０に出力される画像が歪んだ画像となる。ここで、画像受信部４４０が受信する撮像画像は、カメラ３００のレンズの前に可視光カットフィルタが設置された状態では、可視光がカットされ赤外光のみが撮像された赤外光撮像画像であり、可視光カットフィルタが設置されていない状態では、可視光と赤外光との双方が含まれる可視光撮像画像である。
【００１９】
画面分割部４５０は、画像受信部４４０が受信した可視光撮像画像を、複数の画像に分割する。例えば図４に示すように、画面分割部４５０は、可視光撮像画像を分割し、符号ａが示す第１の分割画像と、符号ｂが示す第２の分割画像と、符号ｃが示す第３の分割画像と、符号ｄが示す第４の分割画像との４区画の分割画像を生成する。
射影変換パラメーター算出部４６０は、可視光撮像画像に基づいて画面分割部４５０が生成した分割画像のそれぞれについて、射影変換パラメーターを算出する。射影変換パラメーターは、以下式（１）で表される射影変換の一般式により求められる。
【００２０】
【数１】
【００２１】
上記式（１）において、ｘ、ｙは射影変換前の可視光撮像画像における座標位置を示し、Ｘ、Ｙは射影変換後の投影画像における座標位置を示す。すなわち、上記式（１）における９個の係数（ａ０、ａ１、ａ２、ｂ０、ｂ１、ｂ２、ｃ０、ｃ１、ｃ２）が与えられれば、可視光撮像画像の座標位置（ｘ、ｙ）に対応する投影画像の座標位置（Ｘ、Ｙ）を算出できる。この９個の係数は、可視光撮像画像から投影画像への射影変換を行なうための射影変換パラメーターとなる。ただし、上記式（１）は分子分母をスカラーで通分できるため、独立した未知数は８個になる。そこで、射影変換パラメーター算出部４６０は、可視光撮像画像の四辺形の４頂点と、投影画像の４頂点とを上記式（１）に代入して、８元連立方程式を解くことで射影変換パラメーターを算出する。射影変換パラメーター算出部４６０は、可視光撮像画像として受信したキャリブレーション画像に含まれる指標（黒い円）を検出することで、四辺形の４頂点の座標位置を算出する。射影変換パラメーター算出部４６０は、画面分割部４５０によって分割された分割画像のそれぞれについて、射影変換パラメーターを算出する。例えば、図３に示したような位置に指標が含まれるキャリブレーション画像を４分割し、分割された分割画像のそれぞれについて４頂点の座標位置を算出する場合には、分割画像に含まれる各指標の位置関係から頂点を算出する。例えば、分割前の画像の右上の指標および左下の指標を結んだ線と、分割前の画像の左上の指標および右下の指標とを結んだ線との交点を、分割画像の１頂点として算出する。また、射影変換パラメーター算出部４６０は、算出した射影変換パラメーターを、射影変換パラメーター記憶部４７０に記憶させる。
【００２２】
射影変換部４８０は、画像受信部４４０が受信した赤外光撮像画像に含まれる赤外光の座標位置を、射影変換パラメーター記憶部４７０に記憶された射影変換パラメーターに基づいて射影変換し、赤外光撮像に撮像された赤外光の座標位置に対応する投影画像における座標位置を算出する。例えば、射影変換部４８０は、図４に示される撮像画像における点（ｘ，ｙ）に対応して、図５に示される投影画像における点（Ｘ、Ｙ）を算出する。
【００２３】
描画処理部４９０は、予め定められた設定に基づいて、射影変換部４８０が算出した座標位置に応じた描画処理を行う。例えば、描画処理部４９０は、射影変換部４８０が算出した座標位置に、マウスによって操作されたと同様の描画処理を行う。ここでは、描画処理部４９０は、図６に示すような描画ツールボックスを予め表示部４１０に表示させ、描画処理に関する設定情報の入力を受付けて、自身の記憶領域に描画設定情報を記憶させておくようにしても良い。例えば、描画処理部４９０は、描画ツールボックスにおいて「ペン」が選択されている場合には、射影変換された赤外光の座標位置に、設定に応じた太さの線を描画した描画像を生成する。
オーバーレイ処理部４９５は、描画処理部４９０によって生成された描画像を、表示制御部４２０によって表示部４１０に出力される画像に重ねて合成させるオーバーレイ処理を行う。また、オーバーレイ処理部４９５によって合成された画像は、コンピューター端末４００の記憶領域に記憶されるようにしても良い。
【００２４】
次に、図面を参照して、電子情報ボードシステム１によるキャリブレーションの動作例を説明する。
図７は、電子情報ボードシステム１によって行なわれる射影変換パラメーター算出処理の動作例を示すフローチャートである。
ここで、カメラ３００のレンズには可視光カットフィルタが設置されておらず、可視光撮像画像が撮像されるものとする。スクリーン領域２００には、プロジェクター１００によってコンピューター端末４００から受信したキャリブレーション画像が投影されている。カメラ３００は、スクリーン領域２００に投影されたキャリブレーション画像を撮像し、可視光撮像画像を生成し、出力する（ステップＳ１）。コンピューター端末４００の画像受信部４４０は、カメラ３００が出力した可視光撮像画像を受信する（ステップＳ２）。画面分割部４５０は、画像受信部４４０が受信した可視光撮像画像を４分割した分割画像を生成する（ステップＳ３）。
【００２５】
射影変換パラメーター算出部４６０は、画面分割部４５０が生成した可視光撮像画像の分割画像と、キャリブレーション画像記憶部４３０に記憶されたキャリブレーション画像とに基づいて、上記式（１）により射影変換パラメーターを算出する（ステップＳ４）。射影変換パラメーター算出部４６０は、算出した射影変換パラメーターを、射影変換パラメーター記憶部４７０に記憶させる（ステップＳ５）。
【００２６】
図８は、電子情報ボードシステム１によって較正された投影画像を投影する動作例を示すフローチャートである。
ここで、カメラ３００のレンズには可視光カットフィルタが設置されており、赤外光撮像画像が撮像されるものとする。スクリーン領域２００には、プロジェクター１００によってコンピューター端末４００から受信したプレゼンテーション画像が投影されている。カメラ３００は、スクリーン領域２００を撮像して赤外光撮像画像を生成し、出力する（ステップＳ１１）。コンピューター端末４００の画像受信部４４０は、カメラ３００が出力した赤外光撮像画像を受信する（ステップＳ１２）。射影変換部４８０は、射影変換パラメーター記憶部４７０に記憶された射影変換パラメーターを読み出す（ステップＳ１３）。射影変換部４８０は、読み出した射影変換パラメーターに基づいて、赤外光撮像画像に含まれる赤外光の座標位置に対応する投影画像の座標位置を算出し、座標位置の射影変換を行なう（ステップＳ１４）。
【００２７】
描画処理部４９０は、射影変換部４８０が算出した座標位置に応じて、定められた描画処理を行い、描画像を生成する（ステップＳ１５）。オーバーレイ処理部４９５は、描画処理部４９０が生成した描画像を、表示制御部４２０が出力する画像に重ねるオーバーレイ処理を行う（ステップＳ１６）。表示制御部４２０は、描画像がオーバーレイされた画像を、プロジェクター１００に出力する（ステップＳ１７）。プロジェクター１００は、コンピューター端末４００の表示制御部４２０から送信された画像をスクリーン領域２００に投影する（ステップＳ１８）。
【００２８】
なお、本実施形態では、プロジェクター１００によって画像が投影されるスクリーン領域２００としてホワイトボードを適用することとして説明したが、例えば、人体模型や、地図などをスクリーン領域２００とするようにしても良い。この場合でも、スクリーン領域２００とカメラ３００との間で発光ペン２１０を発光させながら移動させることで、オーバーレイ処理部４９５による描画を行なうことができる。このため、ユーザーは、ペン等を用いてインクを塗布することにより書き込みを行なうとインクが消せないものなどをスクリーン領域２００の対象物とする場合でも、電子情報ボードシステム１を用いて対象物に電子的な描画をしながら説明を行なうことができる。
【００２９】
また、本実施形態では、画面分割部４５０は、撮像画像を４分割する場合を説明したが、画面のアスペクト比や要求するキャリブレーションの精度などに応じて、６分割、８分割などの複数画像に分割し、それぞれの分割画像について射影変換パラメーターを算出するようにしても良い。
【００３０】
また、本実施形態では、発光ペン２１０は、スクリーン領域２００に接触したことを検知して赤外光を発光することとしたが、例えば発光ペン２１０にボタンを設け、ボタンが押下されている場合に赤外光を発光するようにしても良い。すなわち、スクリーン領域２００とカメラ３００との間に存在する発光ペン２１０から発光される赤外光を検知して描画を行なうため、発光ペン２１０はスクリーン領域２００に接地していなくとも描画が可能である。このようにすれば、スクリーン領域２００の対象物が変形しやすいものや傷付き易いものであった場合に、対象物に触れずに描画することが可能となる。この際、描画処理部４９０は、赤外光の座標位置に点を描画するようにすれば、ポインタとして利用することが可能となる。
【００３１】
また、スクリーン領域２００の形状や、スクリーン領域２００に照射される他の光などの影響により、可視光を用いたキャリブレーションによって正確な射影変換パラメーターが算出できない場合には、赤外光によるキャリブレーションを行うようにしても良い。
また、本実施形態では、コンピューター端末４００が各機能部を備えることとしたが、専用のコンピューター装置が、描画処理やキャリブレーション処理に必要な機能部を備えるようにしても良い。
【００３２】
以上説明したように、本実施形態によれば、収差歪み等により歪んだ撮像画像を複数に分割して、分割画像のそれぞれについて射影変換パラメーターを算出し、算出した射影変換パラメーターにより撮像画像の射影変換を行なうようにしたので、撮像画像全体で一つの射影変化パラメーターを用いて射影変換を行なうことに比べて、射影変換の精度を上げることが可能となる。これにより、スクリーン領域２００に投影された画像に対する発光ペン２１０の座標位置を、より正確に投影画像に反映することができる。このため、ユーザーは、意図した箇所への発光ペン２１０による書き込みをより正確に行なうことができ、円滑にプレゼンテーションを行なうことが可能となる。一方、プレゼンテーションの視聴者にとっても、よりストレスなく理解し易いプレゼンテーションを視聴することが可能となる。
【００３３】
また、本実施形態では、カメラ３００に対して可視光フィルタを設置することにより赤外光のみを撮像し、可視光フィルタを外すことにより可視光を撮像するようにしたので、可視光撮像用のカメラと赤外光撮像用のカメラとの２台のカメラを設置する必要がなく、より簡易に電子情報ボードシステム１を構成することが可能となる。また、カメラ３００は可視光を撮像することができるため、スクリーン領域２００の定められた箇所にて発光ペン２１０を発光させるなどによるキャリブレーションを行なう必要がなく、自動的なキャリブレーションが可能である。また、スクリーン領域２００のスナップショットを撮影し、保存することも可能である。この場合、スクリーン領域２００がホワイトボードなどである場合には、インクペンによってホワイトボードに書き込んだ情報をも、撮像して記憶することができる。
【００３４】
なお、本発明における処理部の機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによりキャリブレーションを行ってもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューターシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピューターシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００３６】
１ 電子情報ボードシステム
１００ プロジェクター
２００ スクリーン領域
２１０ 発光ペン
３００ カメラ
４００ コンピューター端末
４１０ 表示部
４２０ 表示制御部
４３０ キャリブレーション画像記憶部
４４０ 画像受信部
４５０ 画面分割部
４６０ 射影変換パラメーター算出部
４７０ 射影変換パラメーター記憶部
４８０ 射影変換部
４９０ 描画処理部
４９５ オーバーレイ処理部
【技術分野】
【０００１】
本発明は、スクリーン領域上の赤外光に応じてコンピューター端末上のカーソルを移動させる電子情報ボードシステム、コンピューター端末およびキャリブレーション方法に関する。
【背景技術】
【０００２】
近年、コンピューター端末の表示部に表示される画像を、プロジェクターによってホワイトボードなどのスクリーン領域に投影し、ユーザーの操作に応じてスクリーン領域上を移動するペンをカメラによって検出し、検出したペンの軌跡や動作に応じてコンピューター端末上の画像に描画する電子情報ボードシステムが提供されている。スクリーン領域を移動させるペンとしては、例えばホワイトボードに接触することにより赤外光を発光する発光ペンが用いられる。そして、赤外光を撮像するカメラによって捉えられる発光ペンの動作に応じてコンピューター端末上のカーソルを移動させ、カーソルの移動に合わせて、コンピューター端末上の画像に重ねて描画を行なう。このような電子情報ボードシステムによれば、プロジェクターによってスクリーン領域に投影された画像を複数人が同時に見ることができるとともに、ユーザーがスクリーン領域上でペンを移動させることによって投影画像に書き込みを行なうことができ、電子的な黒板を提供できる。特許文献１には、このような電子情報ボードシステムを利用した遠隔講義システムが提案されている。
【０００３】
このような電子情報ボードシステムにおいて、スクリーン領域上の赤外光の移動に応じてコンピューター端末上のカーソルを移動させるに当たっては、カメラによって撮像されたスクリーン領域の撮像画像の座標系から、プロジェクターによって投影される投影画像の座標系への変換処理が必要となる。ここでは、撮像画像の座標系から、投影画像の座標系への射影変換パラメーターを算出し、算出した射影変換パラメーターに基づいて射影変換を行なう。射影変換パラメーターは、射影変換の一般式に画像の四辺形の４頂点を代入することで算出される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２３４３６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、射影変換パラメーターを算出するためには上述のように画像の四辺形を抽出することが必要になるが、カメラによって撮像された撮像画像は、スクリーン領域自体の歪みや弛みのために歪んでいたり、カメラのレンズによる収差歪みのために、やや楕円に膨らんだ四辺形になったりすることが考えられる。例えば、プロジェクターによって投影される投影画像が、図９に示されるようにＸ軸とＹ軸とに沿った長方形である場合、カメラによって撮像された撮像画像は、図１０に示されるように楕円に膨らんだ画像となる。このような歪みにより、算出される射影変換パラメーターにずれが生じれば、射影変換を行なう際に誤差が生じ、撮像画像に含まれる赤外光の座標位置と、投影画像に含まれるカーソルの座標位置とがずれることとなる。すなわち、発光ペンを用いたユーザーによるスクリーン領域上での動作と、コンピューター端末上の画像への描画とにずれが生じる。ここで、射影変換を行なう際には、このような歪みによるずれを補正し、誤差を軽減してより正確なキャリブレーションを行なうことが望ましい。
【０００６】
本発明は、このような状況に鑑みてなされたもので、射影変換パラメーターの誤差を軽減し、より正確なキャリブレーションを行なう電子ボード情報システム、コンピューター端末およびキャリブレーション方法を提供する。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明は、定められた投影画像を投影するプロジェクターと、プロジェクターによって投影された領域を撮像するカメラと、カメラによって撮像された画像を受信するコンピューター端末とを備えた電子情報ボードシステムであって、プロジェクターは、投影画像内における座標位置を示す指標が含まれるキャリブレーション画像を投影し、カメラは、プロジェクターによってキャリブレーション画像が投影された領域を撮像し、コンピューター端末は、カメラによって撮像された撮像画像を、複数の画像に分割する画像分割部と、画像分割部によって分割された複数の画像のそれぞれについて、画像に含まれる指標に基づいて撮像画像を投影画像に射影変換するための射影変換パラメーターを算出する射影変換パラメーター算出部と、射影変換パラメーター算出部によって算出された射影変換パラメーターに基づいて、カメラによって撮像された撮像画像を投影画像に射影変換する射影変換部と、を備えることを特徴とする。
【０００８】
また、本発明は、上述のカメラは可視光を撮像し、射影変換パラメーター算出部は、画像内における指標の座標位置を算出し、算出した座標位置に基づいて射影変換パラメーターを算出することを特徴とする。
【０００９】
また、本発明は、投影する画像内における座標位置を示す指標が含まれるキャリブレーション画像を投影プロジェクターと、プロジェクターによってキャリブレーション画像が投影された領域を撮像するカメラと、カメラによって撮像された画像を受信するコンピューター端末とを備えた電子情報ボードシステムにおけるコンピューター端末であって、カメラによって撮像された撮像画像を、複数の画像に分割する画像分割部と、画像分割部によって分割された複数の画像のそれぞれについて、画像に含まれる指標に基づいて撮像画像を投影画像に射影変換するための射影変換パラメーターを算出する射影変換パラメーター算出部と、射影変換パラメーター算出部によって算出された射影変換パラメーターに基づいて、カメラによって撮像された撮像画像を投影画像に射影変換する射影変換部と、を備えることを特徴とする。
【００１０】
また、本発明は、定められた投影画像を投影するプロジェクターと、プロジェクターによって投影された領域を撮像するカメラと、カメラによって撮像された画像を受信するコンピューター端末とを備えた電子情報ボードシステムのキャリブレーション方法であって、プロジェクターが、投影画像内における座標位置を示す指標が含まれるキャリブレーション画像を投影するステップと、カメラが、プロジェクターによってキャリブレーション画像が投影された領域を撮像するステップと、コンピューター端末の、画像分割部が、カメラによって撮像された撮像画像を、複数の画像に分割するステップと、射影変換パラメーター算出部が、画像分割部によって分割された複数の画像のそれぞれについて、画像に含まれる指標に基づいて撮像画像を投影画像に射影変換するための射影変換パラメーターを算出するステップと、射影変換部が、射影変換パラメーター算出部によって算出された射影変換パラメーターに基づいて、カメラによって撮像された撮像画像を投影画像に射影変換するステップと、を備えることを特徴とする。
【００１１】
以上説明したように、本発明によれば、プロジェクターが、投影画像内における座標位置を示す指標が含まれるキャリブレーション画像を投影し、カメラが、プロジェクターによってキャリブレーション画像が投影された領域を撮像し、コンピューター端末が、カメラによって撮像された撮像画像を、複数の画像に分割し、分割された複数の画像のそれぞれについて、画像に含まれる指標に基づいて撮像画像を投影画像に射影変換するための射影変換パラメーターを算出し、算出された射影変換パラメーターに基づいて、カメラによって撮像された撮像画像を投影画像に射影変換するようにしたので、射影変換を行う画像を複数の画像に分割し、分割された画面のそれぞれについて射影変換パラメーターを算出して射影変換を行うことができる。これにより、より誤差が少ない射影変換パラメーターにより射影変換を行なうことが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態による電子情報ボードシステムの概念を示す図である。
【図２】本発明の一実施形態による電子情報ボードシステムの構成例を示すブロック図である。
【図３】本発明の一実施形態によるキャリブレーション画像の例を示す図である。
【図４】本発明の一実施形態により分割する撮像画像の例を示す図である。
【図５】本発明の一実施形態により分割する投影画像の例を示す図である。
【図６】本発明の一実施形態による描画ツールボックスの例を示す図である。
【図７】本発明の一実施形態による電子情報ボードシステムの動作例を示すフローチャートである。
【図８】本発明の一実施形態による電子情報ボードシステムの動作例を示すフローチャートである。
【図９】従来技術による投影画像の例を示す図である。
【図１０】従来技術による撮像画像の例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態による電子情報ボードシステム１の概念を示す図である。ここでは、ユーザーが、電子情報ボードシステム１を用いてプレゼンテーションを行なう例を示している。例えば、プレゼンテーションが行なわれる室内には、画面を投影するためのスクリーン領域２００であるホワイトボードが設置される。プロジェクター１００は、スクリーン領域２００に向かって画像を投影するように設置される。ユーザーは、スクリーン領域２００の前に立ち、黒板にチョークで書き込みを行なうように、スクリーン領域２００に投影された画像上で発光ペン２１０を移動させる。発光ペン２１０の先端部には、赤外光を発光する発光部が設けられており、スクリーン領域２００に接触していることを検知すると、赤外光を発光する。カメラ３００は、スクリーン領域２００の全体を撮像するように設置される。コンピューター端末４００は、例えば、ＶＧＡ（Video Graphics Array）ケーブルによりプロジェクター１００に接続され、ＵＳＢ（Universal Serial Bus）ケーブルによりカメラ３００に接続される。
【００１４】
図２は、本実施形態による電子情報ボードシステム１の構成を示すブロック図である。プロジェクター１００は、コンピューター端末４００の表示部４１０に表示される画像を受信して、受信した画像を投影画像としてスクリーン領域２００に投影するディスプレイ装置である。
スクリーン領域２００は、プロジェクター１００によって投影される画像の投影面である。本実施形態では、スクリーン領域２００はホワイトボードであるとして説明するが、スクリーン領域２００はプロジェクター１００から画像が投影されるものであれば良く、室内の壁の平面部や、布やビニールシートなどのスクリーンでも良い。
【００１５】
カメラ３００は、スクリーン領域２００に投影された画像を撮像する撮像装置である。カメラ３００は、可視光と赤外光とを撮像する機能を有し、撮像カメラ３００が備えるレンズの前に可視光カットフィルタ（赤外光透過フィルタ）を設置して撮像することで、赤外光のみを撮像することが可能である。一方、可視光カットフィルタを設置せずに撮像すれば、可視光と赤外光との双方を撮像する。
【００１６】
コンピューター端末４００は、表示部４１０と、表示制御部４２０と、キャリブレーション画像記憶部４３０と、画像受信部４４０と、画面分割部４５０と、射影変換パラメーター算出部４６０と、射影変換パラメーター記憶部４７０と、射影変換部４８０と、描画処理部４９０と、オーバーレイ処理部４９５とを備えており、ＯＳ（Operating System）等の制御部からの動作命令により各部を動作させる。
表示部４１０は、画像を出力するディスプレイであり、例えば、ＬＣＤ（Liquid Crystal Display）である。
【００１７】
表示制御部４２０は、ＯＳ等から入力される画像情報を表示部４１０に出力させる。例えば、表示制御部４２０は、コンピューター端末４００の記憶領域に予め記憶されているプレゼンテーション画像を、表示部４１０に出力させる。
キャリブレーション画像記憶部４３０は、プロジェクター１００がスクリーン領域２００に投影した投影画像と、カメラ３００が撮像した撮像画像とのゆがみを較正（キャリブレーション）する射影変換パラメーターを算出するための座標位置を示す指標が含まれる画像である。例えば、図３は、キャリブレーション画像記憶部４３０に記憶されたキャリブレーション画像の例を示す図である。キャリブレーション画像は、表示部４１０の画面のアスペクト比に応じた長方形を成しており、画像内には定められた間隔で指標が配置される。この例では、指標として黒い円が配置されている。指標は、長方形の４頂点と、各辺の中央に４点の計８点が配置されている。
【００１８】
画像受信部４４０は、カメラ３００が撮像したスクリーン領域２００の撮像画像をカメラ３００から受信する。ここで、画像受信部４４０がカメラ３００から受信する撮像画像は、スクリーン領域２００自体の歪みやカメラ３００の収差歪みなどによって、表示部４１０に出力される画像が歪んだ画像となる。ここで、画像受信部４４０が受信する撮像画像は、カメラ３００のレンズの前に可視光カットフィルタが設置された状態では、可視光がカットされ赤外光のみが撮像された赤外光撮像画像であり、可視光カットフィルタが設置されていない状態では、可視光と赤外光との双方が含まれる可視光撮像画像である。
【００１９】
画面分割部４５０は、画像受信部４４０が受信した可視光撮像画像を、複数の画像に分割する。例えば図４に示すように、画面分割部４５０は、可視光撮像画像を分割し、符号ａが示す第１の分割画像と、符号ｂが示す第２の分割画像と、符号ｃが示す第３の分割画像と、符号ｄが示す第４の分割画像との４区画の分割画像を生成する。
射影変換パラメーター算出部４６０は、可視光撮像画像に基づいて画面分割部４５０が生成した分割画像のそれぞれについて、射影変換パラメーターを算出する。射影変換パラメーターは、以下式（１）で表される射影変換の一般式により求められる。
【００２０】
【数１】
【００２１】
上記式（１）において、ｘ、ｙは射影変換前の可視光撮像画像における座標位置を示し、Ｘ、Ｙは射影変換後の投影画像における座標位置を示す。すなわち、上記式（１）における９個の係数（ａ０、ａ１、ａ２、ｂ０、ｂ１、ｂ２、ｃ０、ｃ１、ｃ２）が与えられれば、可視光撮像画像の座標位置（ｘ、ｙ）に対応する投影画像の座標位置（Ｘ、Ｙ）を算出できる。この９個の係数は、可視光撮像画像から投影画像への射影変換を行なうための射影変換パラメーターとなる。ただし、上記式（１）は分子分母をスカラーで通分できるため、独立した未知数は８個になる。そこで、射影変換パラメーター算出部４６０は、可視光撮像画像の四辺形の４頂点と、投影画像の４頂点とを上記式（１）に代入して、８元連立方程式を解くことで射影変換パラメーターを算出する。射影変換パラメーター算出部４６０は、可視光撮像画像として受信したキャリブレーション画像に含まれる指標（黒い円）を検出することで、四辺形の４頂点の座標位置を算出する。射影変換パラメーター算出部４６０は、画面分割部４５０によって分割された分割画像のそれぞれについて、射影変換パラメーターを算出する。例えば、図３に示したような位置に指標が含まれるキャリブレーション画像を４分割し、分割された分割画像のそれぞれについて４頂点の座標位置を算出する場合には、分割画像に含まれる各指標の位置関係から頂点を算出する。例えば、分割前の画像の右上の指標および左下の指標を結んだ線と、分割前の画像の左上の指標および右下の指標とを結んだ線との交点を、分割画像の１頂点として算出する。また、射影変換パラメーター算出部４６０は、算出した射影変換パラメーターを、射影変換パラメーター記憶部４７０に記憶させる。
【００２２】
射影変換部４８０は、画像受信部４４０が受信した赤外光撮像画像に含まれる赤外光の座標位置を、射影変換パラメーター記憶部４７０に記憶された射影変換パラメーターに基づいて射影変換し、赤外光撮像に撮像された赤外光の座標位置に対応する投影画像における座標位置を算出する。例えば、射影変換部４８０は、図４に示される撮像画像における点（ｘ，ｙ）に対応して、図５に示される投影画像における点（Ｘ、Ｙ）を算出する。
【００２３】
描画処理部４９０は、予め定められた設定に基づいて、射影変換部４８０が算出した座標位置に応じた描画処理を行う。例えば、描画処理部４９０は、射影変換部４８０が算出した座標位置に、マウスによって操作されたと同様の描画処理を行う。ここでは、描画処理部４９０は、図６に示すような描画ツールボックスを予め表示部４１０に表示させ、描画処理に関する設定情報の入力を受付けて、自身の記憶領域に描画設定情報を記憶させておくようにしても良い。例えば、描画処理部４９０は、描画ツールボックスにおいて「ペン」が選択されている場合には、射影変換された赤外光の座標位置に、設定に応じた太さの線を描画した描画像を生成する。
オーバーレイ処理部４９５は、描画処理部４９０によって生成された描画像を、表示制御部４２０によって表示部４１０に出力される画像に重ねて合成させるオーバーレイ処理を行う。また、オーバーレイ処理部４９５によって合成された画像は、コンピューター端末４００の記憶領域に記憶されるようにしても良い。
【００２４】
次に、図面を参照して、電子情報ボードシステム１によるキャリブレーションの動作例を説明する。
図７は、電子情報ボードシステム１によって行なわれる射影変換パラメーター算出処理の動作例を示すフローチャートである。
ここで、カメラ３００のレンズには可視光カットフィルタが設置されておらず、可視光撮像画像が撮像されるものとする。スクリーン領域２００には、プロジェクター１００によってコンピューター端末４００から受信したキャリブレーション画像が投影されている。カメラ３００は、スクリーン領域２００に投影されたキャリブレーション画像を撮像し、可視光撮像画像を生成し、出力する（ステップＳ１）。コンピューター端末４００の画像受信部４４０は、カメラ３００が出力した可視光撮像画像を受信する（ステップＳ２）。画面分割部４５０は、画像受信部４４０が受信した可視光撮像画像を４分割した分割画像を生成する（ステップＳ３）。
【００２５】
射影変換パラメーター算出部４６０は、画面分割部４５０が生成した可視光撮像画像の分割画像と、キャリブレーション画像記憶部４３０に記憶されたキャリブレーション画像とに基づいて、上記式（１）により射影変換パラメーターを算出する（ステップＳ４）。射影変換パラメーター算出部４６０は、算出した射影変換パラメーターを、射影変換パラメーター記憶部４７０に記憶させる（ステップＳ５）。
【００２６】
図８は、電子情報ボードシステム１によって較正された投影画像を投影する動作例を示すフローチャートである。
ここで、カメラ３００のレンズには可視光カットフィルタが設置されており、赤外光撮像画像が撮像されるものとする。スクリーン領域２００には、プロジェクター１００によってコンピューター端末４００から受信したプレゼンテーション画像が投影されている。カメラ３００は、スクリーン領域２００を撮像して赤外光撮像画像を生成し、出力する（ステップＳ１１）。コンピューター端末４００の画像受信部４４０は、カメラ３００が出力した赤外光撮像画像を受信する（ステップＳ１２）。射影変換部４８０は、射影変換パラメーター記憶部４７０に記憶された射影変換パラメーターを読み出す（ステップＳ１３）。射影変換部４８０は、読み出した射影変換パラメーターに基づいて、赤外光撮像画像に含まれる赤外光の座標位置に対応する投影画像の座標位置を算出し、座標位置の射影変換を行なう（ステップＳ１４）。
【００２７】
描画処理部４９０は、射影変換部４８０が算出した座標位置に応じて、定められた描画処理を行い、描画像を生成する（ステップＳ１５）。オーバーレイ処理部４９５は、描画処理部４９０が生成した描画像を、表示制御部４２０が出力する画像に重ねるオーバーレイ処理を行う（ステップＳ１６）。表示制御部４２０は、描画像がオーバーレイされた画像を、プロジェクター１００に出力する（ステップＳ１７）。プロジェクター１００は、コンピューター端末４００の表示制御部４２０から送信された画像をスクリーン領域２００に投影する（ステップＳ１８）。
【００２８】
なお、本実施形態では、プロジェクター１００によって画像が投影されるスクリーン領域２００としてホワイトボードを適用することとして説明したが、例えば、人体模型や、地図などをスクリーン領域２００とするようにしても良い。この場合でも、スクリーン領域２００とカメラ３００との間で発光ペン２１０を発光させながら移動させることで、オーバーレイ処理部４９５による描画を行なうことができる。このため、ユーザーは、ペン等を用いてインクを塗布することにより書き込みを行なうとインクが消せないものなどをスクリーン領域２００の対象物とする場合でも、電子情報ボードシステム１を用いて対象物に電子的な描画をしながら説明を行なうことができる。
【００２９】
また、本実施形態では、画面分割部４５０は、撮像画像を４分割する場合を説明したが、画面のアスペクト比や要求するキャリブレーションの精度などに応じて、６分割、８分割などの複数画像に分割し、それぞれの分割画像について射影変換パラメーターを算出するようにしても良い。
【００３０】
また、本実施形態では、発光ペン２１０は、スクリーン領域２００に接触したことを検知して赤外光を発光することとしたが、例えば発光ペン２１０にボタンを設け、ボタンが押下されている場合に赤外光を発光するようにしても良い。すなわち、スクリーン領域２００とカメラ３００との間に存在する発光ペン２１０から発光される赤外光を検知して描画を行なうため、発光ペン２１０はスクリーン領域２００に接地していなくとも描画が可能である。このようにすれば、スクリーン領域２００の対象物が変形しやすいものや傷付き易いものであった場合に、対象物に触れずに描画することが可能となる。この際、描画処理部４９０は、赤外光の座標位置に点を描画するようにすれば、ポインタとして利用することが可能となる。
【００３１】
また、スクリーン領域２００の形状や、スクリーン領域２００に照射される他の光などの影響により、可視光を用いたキャリブレーションによって正確な射影変換パラメーターが算出できない場合には、赤外光によるキャリブレーションを行うようにしても良い。
また、本実施形態では、コンピューター端末４００が各機能部を備えることとしたが、専用のコンピューター装置が、描画処理やキャリブレーション処理に必要な機能部を備えるようにしても良い。
【００３２】
以上説明したように、本実施形態によれば、収差歪み等により歪んだ撮像画像を複数に分割して、分割画像のそれぞれについて射影変換パラメーターを算出し、算出した射影変換パラメーターにより撮像画像の射影変換を行なうようにしたので、撮像画像全体で一つの射影変化パラメーターを用いて射影変換を行なうことに比べて、射影変換の精度を上げることが可能となる。これにより、スクリーン領域２００に投影された画像に対する発光ペン２１０の座標位置を、より正確に投影画像に反映することができる。このため、ユーザーは、意図した箇所への発光ペン２１０による書き込みをより正確に行なうことができ、円滑にプレゼンテーションを行なうことが可能となる。一方、プレゼンテーションの視聴者にとっても、よりストレスなく理解し易いプレゼンテーションを視聴することが可能となる。
【００３３】
また、本実施形態では、カメラ３００に対して可視光フィルタを設置することにより赤外光のみを撮像し、可視光フィルタを外すことにより可視光を撮像するようにしたので、可視光撮像用のカメラと赤外光撮像用のカメラとの２台のカメラを設置する必要がなく、より簡易に電子情報ボードシステム１を構成することが可能となる。また、カメラ３００は可視光を撮像することができるため、スクリーン領域２００の定められた箇所にて発光ペン２１０を発光させるなどによるキャリブレーションを行なう必要がなく、自動的なキャリブレーションが可能である。また、スクリーン領域２００のスナップショットを撮影し、保存することも可能である。この場合、スクリーン領域２００がホワイトボードなどである場合には、インクペンによってホワイトボードに書き込んだ情報をも、撮像して記憶することができる。
【００３４】
なお、本発明における処理部の機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによりキャリブレーションを行ってもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューターシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピューターシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００３６】
１ 電子情報ボードシステム
１００ プロジェクター
２００ スクリーン領域
２１０ 発光ペン
３００ カメラ
４００ コンピューター端末
４１０ 表示部
４２０ 表示制御部
４３０ キャリブレーション画像記憶部
４４０ 画像受信部
４５０ 画面分割部
４６０ 射影変換パラメーター算出部
４７０ 射影変換パラメーター記憶部
４８０ 射影変換部
４９０ 描画処理部
４９５ オーバーレイ処理部
【特許請求の範囲】
【請求項１】
定められた投影画像を投影するプロジェクターと、前記プロジェクターによって前記投影画像が投影された領域を撮像して撮像画像を生成するカメラと、前記カメラによって生成された前記撮像画像を受信するコンピューター端末とを備えた電子情報ボードシステムであって、
前記プロジェクターは、
前記領域内における座標位置を示す指標が含まれるキャリブレーション画像を投影し、
前記カメラは、
前記プロジェクターによって前記キャリブレーション画像が投影された領域を撮像して前記撮像画像を生成し、
前記コンピューター端末は、
前記カメラによって生成された前記撮像画像を、複数の画像に分割する画像分割部と、
前記画像分割部によって分割された複数の前記画像のそれぞれについて、当該画像に含まれる前記指標に基づいて前記撮像画像を前記投影画像に射影変換するための射影変換パラメーターを算出する射影変換パラメーター算出部と、
前記射影変換パラメーター算出部によって算出された前記射影変換パラメーターに基づいて、前記カメラによって撮像された前記撮像画像を前記投影画像に射影変換する射影変換部と、
を備えることを特徴とする電子情報ボードシステム。
【請求項２】
前記カメラは可視光を撮像し、
前記射影変換パラメーター算出部は、前記画像内における前記指標の座標位置を算出し、算出した当該座標位置に基づいて前記射影変換パラメーターを算出する
ことを特徴とする請求項１に記載の電子情報ボードシステム。
【請求項３】
投影する画像内における座標位置を示す指標が含まれるキャリブレーション画像を投影するプロジェクターと、前記プロジェクターによって前記キャリブレーション画像が投影された領域を撮像して撮像画像を生成するカメラと、前記カメラによって生成された前記撮像画像を受信するコンピューター端末とを備えた電子情報ボードシステムにおける前記コンピューター端末であって、
前記カメラによって生成された前記撮像画像を、複数の画像に分割する画像分割部と、
前記画像分割部によって分割された複数の前記画像のそれぞれについて、当該画像に含まれる前記指標に基づいて前記撮像画像を前記投影画像に射影変換するための射影変換パラメーターを算出する射影変換パラメーター算出部と、
前記射影変換パラメーター算出部によって算出された前記射影変換パラメーターに基づいて、前記カメラによって撮像された前記撮像画像を前記投影画像に射影変換する射影変換部と、
を備えることを特徴とするコンピューター端末。
【請求項４】
定められた投影画像を投影するプロジェクターと、前記プロジェクターによって投影された領域を撮像して撮像画像を生成するカメラと、前記カメラによって生成された前記撮像画像を受信するコンピューター端末とを備えた電子情報ボードシステムのキャリブレーション方法であって、
前記プロジェクターが、
前記領域内における座標位置を示す指標が含まれるキャリブレーション画像を投影するステップと、
前記カメラが、
前記プロジェクターによって前記キャリブレーション画像が投影された領域を撮像して前記撮像画像を生成するステップと、
前記コンピューター端末の、
画像分割部が、前記カメラによって生成された前記撮像画像を、複数の画像に分割するステップと、
射影変換パラメーター算出部が、前記画像分割部によって分割された複数の前記画像のそれぞれについて、当該画像に含まれる前記指標に基づいて前記撮像画像を前記投影画像に射影変換するための射影変換パラメーターを算出するステップと、
射影変換部が、前記射影変換パラメーター算出部によって算出された前記射影変換パラメーターに基づいて、前記カメラによって撮像された前記撮像画像を前記投影画像に射影変換するステップと、
を備えることを特徴とするキャリブレーション方法。
【請求項１】
定められた投影画像を投影するプロジェクターと、前記プロジェクターによって前記投影画像が投影された領域を撮像して撮像画像を生成するカメラと、前記カメラによって生成された前記撮像画像を受信するコンピューター端末とを備えた電子情報ボードシステムであって、
前記プロジェクターは、
前記領域内における座標位置を示す指標が含まれるキャリブレーション画像を投影し、
前記カメラは、
前記プロジェクターによって前記キャリブレーション画像が投影された領域を撮像して前記撮像画像を生成し、
前記コンピューター端末は、
前記カメラによって生成された前記撮像画像を、複数の画像に分割する画像分割部と、
前記画像分割部によって分割された複数の前記画像のそれぞれについて、当該画像に含まれる前記指標に基づいて前記撮像画像を前記投影画像に射影変換するための射影変換パラメーターを算出する射影変換パラメーター算出部と、
前記射影変換パラメーター算出部によって算出された前記射影変換パラメーターに基づいて、前記カメラによって撮像された前記撮像画像を前記投影画像に射影変換する射影変換部と、
を備えることを特徴とする電子情報ボードシステム。
【請求項２】
前記カメラは可視光を撮像し、
前記射影変換パラメーター算出部は、前記画像内における前記指標の座標位置を算出し、算出した当該座標位置に基づいて前記射影変換パラメーターを算出する
ことを特徴とする請求項１に記載の電子情報ボードシステム。
【請求項３】
投影する画像内における座標位置を示す指標が含まれるキャリブレーション画像を投影するプロジェクターと、前記プロジェクターによって前記キャリブレーション画像が投影された領域を撮像して撮像画像を生成するカメラと、前記カメラによって生成された前記撮像画像を受信するコンピューター端末とを備えた電子情報ボードシステムにおける前記コンピューター端末であって、
前記カメラによって生成された前記撮像画像を、複数の画像に分割する画像分割部と、
前記画像分割部によって分割された複数の前記画像のそれぞれについて、当該画像に含まれる前記指標に基づいて前記撮像画像を前記投影画像に射影変換するための射影変換パラメーターを算出する射影変換パラメーター算出部と、
前記射影変換パラメーター算出部によって算出された前記射影変換パラメーターに基づいて、前記カメラによって撮像された前記撮像画像を前記投影画像に射影変換する射影変換部と、
を備えることを特徴とするコンピューター端末。
【請求項４】
定められた投影画像を投影するプロジェクターと、前記プロジェクターによって投影された領域を撮像して撮像画像を生成するカメラと、前記カメラによって生成された前記撮像画像を受信するコンピューター端末とを備えた電子情報ボードシステムのキャリブレーション方法であって、
前記プロジェクターが、
前記領域内における座標位置を示す指標が含まれるキャリブレーション画像を投影するステップと、
前記カメラが、
前記プロジェクターによって前記キャリブレーション画像が投影された領域を撮像して前記撮像画像を生成するステップと、
前記コンピューター端末の、
画像分割部が、前記カメラによって生成された前記撮像画像を、複数の画像に分割するステップと、
射影変換パラメーター算出部が、前記画像分割部によって分割された複数の前記画像のそれぞれについて、当該画像に含まれる前記指標に基づいて前記撮像画像を前記投影画像に射影変換するための射影変換パラメーターを算出するステップと、
射影変換部が、前記射影変換パラメーター算出部によって算出された前記射影変換パラメーターに基づいて、前記カメラによって撮像された前記撮像画像を前記投影画像に射影変換するステップと、
を備えることを特徴とするキャリブレーション方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２７３２８９（Ｐ２０１０−２７３２８９Ａ）
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願番号】特願２００９−１２５６４２（Ｐ２００９−１２５６４２）
【出願日】平成２１年５月２５日（２００９．５．２５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【出願人】（５０４１８２２５５）国立大学法人横浜国立大学 (429)
【Ｆターム（参考）】
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願日】平成２１年５月２５日（２００９．５．２５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【出願人】（５０４１８２２５５）国立大学法人横浜国立大学 (429)
【Ｆターム（参考）】
[ Back to top ]