電子黒板システム及びプログラム
【課題】カメラや遮光板の取り付け位置の微調整作業を行わなくても、背景板の画像だけを常に取得可能とし、座標指示物の座標を正確に計算できる電子黒板システムを提供する。
【解決手段】表示面に対する座標指示物の接触位置又は表示面の手前側に設定された検出面に対する座標指示物の操作位置を、表示面上の２次元座標として検出できる電子黒板システムにおいて、遮光板を用いずに撮像された画像内から背景板の領域だけを自動的に識別し、識別された領域の画像だけを用いて座標指示物の座標を検出する。
【解決手段】表示面に対する座標指示物の接触位置又は表示面の手前側に設定された検出面に対する座標指示物の操作位置を、表示面上の２次元座標として検出できる電子黒板システムにおいて、遮光板を用いずに撮像された画像内から背景板の領域だけを自動的に識別し、識別された領域の画像だけを用いて座標指示物の座標を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示面に対する座標指示物の接触位置又は表示面の手前側に設定された検出面に対する座標指示物の操作位置を、表示面上の２次元座標として検出できる電子黒板システムと当該システムを構成するコンピュータ上で実行されるプログラムに関する。
【背景技術】
【０００２】
電子黒板システムは、表示装置又は投影装置と、それらの表示面に対する座標指示物の操作入力を検出する座標検出装置と、検出された操作入力に基づく描画処理やシステム全体の動作を制御するコンピュータとで構成されている。
【０００３】
座標検出装置は、検出位置を表示画面上の２次元座標として出力する。コンピュータは、座標検出装置の２次元座標をコンピュータ操作画面上の２次元座標に変換し、予め指定された色と太さを有するオブジェクトとしてコンピュータ操作画面上に描画する。このコンピュータ操作画面が、表示装置又は投影装置の表示面として利用者に提供される。
【０００４】
電子黒板システムは、この座標検出装置による座標の検出からコンピュータ操作画面上の描画までの処理を毎秒何十回も繰り返すことで、座標指示物の操作者がコンピュータ操作画面上に文字や図形をあたかも直接筆記したかのような体験を利用者に提供することができる。また、電子黒板システムが座標指示物による操作入力をコンピュータに接続したマウスの操作と同等に扱う機能に対応している場合には、表示面に対する座標指示物の操作入力を通じてコンピュータを操作することもできる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−６７１８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、電子黒板システムに使われる座標検出装置の座標検出方式には、所定の又は任意の座標指示物が表示面から数センチメートルの範囲に設定された仮想の検出面に侵入した位置（操作位置）を光学的に検出するものがある。
【０００７】
例えば特許文献１には、表示面の上方両端にカラー２次元撮像素子と検出面全体を撮影可能な画角を有するレンズで構成されるカメラを備えた座標検出装置が開示されている。この座標検出装置は、（１）座標指示物が検出面にない時に予め左右２つのカメラで撮影した基準画像と、その後に両カメラで検出面を撮影した最新画像との差分を左右各画像について算出する処理と、（２）座標指示物が検出面にある場合には、差分画像に残るシルエットの位置から左右２つのカメラからの各方角を求めると共に、予め測定済みのカメラ間の距離を用いて三角測量の要領で表示面における座標指示物の座標を計算する処理を実行する。また、外乱光等によるノイズの発生を減少させるため、表示面の上部を除く周縁部には視野を狭くするための背景板が配置されること、撮影領域を検出面に限定するために縦長の切欠（スリット）を有する遮光板が左右２つのカメラの撮像面前方に取り付けられていることが開示されている。これら背景板と遮光板により、左右２つのカメラは、座標指示物がなければ背景板だけを撮影する。
【０００８】
ところが、実用的な電子黒板のサイズになると（例えば表示面のアスペクト比が４：３や１６：９であり、かつ、対角線長が数十インチ程度以上になると）、特許文献１の座標検出装置では、温度変化や経年変化に伴う筺体の歪み等の影響でカメラの撮影範囲を背景板だけに限定し続けることが難しくなる。具体的には、表示面や背景板の外側にある景色が撮像範囲に写り込むようになる。この不都合の修正には、ユーザやサポートスタッフによるカメラや遮光板の取り付け位置の微調整作業が必要となる。
【０００９】
そこで、本発明は、カメラや遮光板の取り付け位置の微調整作業を行わなくても、背景板の画像だけを常に取得可能とし、座標指示物の座標を正確に計算できる電子黒板システム及び当該システムを実現するプログラムの提供を目的とする。
【課題を解決するための手段】
【００１０】
本発明者は、遮光版を用いずに撮像された画像内から背景板の領域だけを自動的に識別し、識別された領域の画像だけを用いて座標指示物の座標を検出する仕組みを提案する。より具体的には、本発明者は、電子黒板システムとして、以下に示す手段を有するものを提案する。
(a) 所定の背景板を外周に有する表示面上に座標指示物の接触位置を指示する表示面指示標的を１つ以上含む表示面指定画面を表示する表示面指定画面表示制御手段
(b) 前記表示面の上空近傍の検出面に挿入された座標指示物を撮像する１つ以上の撮像手段
(c) 前記検出面に座標指示物が挿入されていない時に前記撮像手段で撮像された基準画像と、前記検出面に座標指示物が挿入されている時に前記撮像手段で撮像された標的画像とから、前記撮像手段の撮像画像内における前記表示面指示標的に対応する標的座標を検出する標的座標検出手段
(d) 前記基準画像のエッジを抽出した第１エッジ画像を生成する第１エッジ画像生成手段
(e) 前記第１エッジ画像内において、近接平行するエッジを合成してエッジ合成領域を生成すると共に、前記標的座標に対して第１の相対位置関係を満たさないエッジを除去してエッジ合成除去画像を生成するエッジ合成除去画像生成手段
(f) 前記エッジ合成除去画像のエッジを抽出した第２エッジ画像を生成する第２エッジ画像生成手段
(g) 前記第２エッジ画像内において、前記標的座標に対して第２の相対位置関係を満たすエッジを前記背景板の輪郭に相当する背景板領域として抽出する背景板領域抽出手段
【００１１】
また、本発明者は、電子黒板システムを構成するコンピュータを、以下に示す手段として機能させるプログラムを提案する。
(a) 所定の背景板を外周に有する表示面上に、座標指示物の接触位置を指示する表示面指示標的を１つ以上含む表示面指定画面を表示する表示面指定画面表示制御手段
(b) 前記表示面の上空近傍の検出面に挿入された座標指示物を撮像する１つ以上の撮像手段を制御する制御手段
(c) 前記検出面に座標指示物が挿入されていない時に前記撮像手段で撮像された基準画像と、前記検出面に座標指示物が挿入されている時に前記撮像手段で撮像された標的画像とから、前記撮像手段の撮像画像内における前記表示面指示標的に対応する標的座標を検出する標的座標検出手段
(d) 前記基準画像のエッジを抽出した第１エッジ画像を生成する第１エッジ画像生成手段
(e) 前記第１エッジ画像内において、近接平行するエッジを合成してエッジ合成領域を生成すると共に、前記標的座標に対して第１の相対位置関係を満たさないエッジを除去してエッジ合成除去画像を生成するエッジ合成除去画像生成手段
(f) 前記エッジ合成除去画像のエッジを抽出した第２エッジ画像を生成する第２エッジ画像生成手段
(g) 前記第２エッジ画像内において、前記標的座標に対して第２の相対位置関係を満たすエッジを前記背景板の輪郭に相当する背景板領域として抽出する背景板領域抽出手段
【発明の効果】
【００１２】
本発明の採用により、撮像範囲を制限する遮光板を不要にできるだけでなく、カメラの取り付け位置等の微調整作業を行わなくても、座標指示物の座標を正確に計算できる電子黒板システムを実現することができる。なお、上述した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１３】
【図１】電子黒板周辺の機器配置例を説明する図。
【図２】コンピュータと周辺機器との接続例を説明する図。
【図３】背景板領域抽出機能部の処理手順を示す図。
【図４】表示面指定画面の一例を示す図。
【図５】全体画像の一例を示す図。
【図６】第１エッジ画像の一例を示す図。
【図７】エッジ合成除去画像の一例を示す図。
【図８】第２エッジ画像で背景板領域の境界線を関数で近似する方法の一例を示す図。
【発明を実施するための形態】
【００１４】
以下、図面に基づいて、発明の実施例を説明する。なお、後述する電子黒板システムはいずれも説明のための一例であり、発明の実施形態は、後述する実施例に限定されるものでない。また、本発明は、後述する電子黒板システムの全ての機能を組み合わせる場合だけでなく、一部の機能のみを搭載する場合、既知の技術を追加する場合、一部機能を既知の技術との置換する場合など、様々な実施形態を含み得る。また、以下の実施例では、各種の処理機能がコンピュータ上で実行されるプログラムとして提供されるものとして説明するが、当該処理機能の一部又は全部を、ハードウェアを通じて実現しても良い。
【００１５】
（電子黒板の構成）
図１に、電子黒板１００の実施例を示す。なお、図１に示す電子黒板１００は、光学式の座標検出方式を採用する場合について表している。この例では、赤外光を使用する。また、図１に示す電子黒板１００は、画像の表示にプロジェクタを使用している。すなわち、光学式の座標検出機能とプロジェクション方式の画像表示機能を組み合わせた電子黒板システムについて説明する。
【００１６】
電子黒板１００は、平板状の電子黒板筐体（ボード１０１）に、カメラＡ１０３、カメラＢ１０４、背景板１０５を取り付けた構成を有している。これらの付属物は、いずれもボード１０１の外周部分に配置される。なお、ボード１０１の中央部分は、プロジェクタ２１０（図２）からの投影光が投影される表示面１０２として用いられる。勿論、画像の表示にフラットパネルディスプレイを使用する場合には、表示面１０２はディスプレイの表示領域と一致する。
【００１７】
カメラＡ１０３、カメラＢ１０４、背景板１０５は、座標検出装置のハードウェア部分を構成する。この実施例の場合、カメラＡ１０３はボード１０１の左上隅に配置し、カメラＢ１０４はボード１０１の右上隅に配置する。画角が約９０°のカメラを使用するためである。従って、左上隅に配置されるカメラＡ１０３は、表示面１０２の下辺と右辺側に位置する背景板１０５を撮像し、右上隅に配置されるカメラＢ１０４は、表示面１０２の下辺と左辺側に位置する背景板１０５を撮像する。
【００１８】
なお、画角が９０°より大きい（例えば約１８０°）カメラを使用できる場合には、カメラＡ１０３及びカメラＢ１０４は、表示面１０２の左右両端よりも内側位置に（水平方向の辺長よりも短い間隔だけ離した位置に）配置することができる。
【００１９】
背景板１０５は、矩形形状を有するボード１０１の左辺、右辺、下辺の３辺に沿うように、ボード１０１の表面に対して垂直に設置される。背景板１０５は、カメラＡ１０３及びカメラＢ１０４が座標指示物を撮像する際に座標指示物の背景として撮像されるだけの十分な幅を有する。なお、カメラＡ１０３及びカメラＢ１０４によって撮像される背景板１０５の表面は、無地の無彩色又は無彩色のみで構成される縞模様若しくは格子模様であることが好ましい。
【００２０】
また、当該表面には、例えば再帰性の反射特性を有するテープ状の部材を配置する。再帰性の反射部材を背景板１０５の表面に沿って配置することにより、カメラ側から背景板１０５の表面に入射された光（例えば赤外光）は、その入射角の違いに関わらず、いずれも入射角と平行な方向に反射する。このため、背景板１０５の表面は明画像として撮像され、背景板１０５の表面を横切る座標指示物（人の指、手、ペン、スタイラス（指示棒）等）は影として撮像される。
【００２１】
カメラＡ１０３及びカメラＢ１０４は、表示面１０２の上空近傍に接近又は表示面１０２に接触した座標指示物の検出と、検出された座標指示物の表示面上の位置を特定する２次元座標の検出に用いられる。カメラＡ１０３及びカメラＢ１０４は、ＰＣ２００（図２）からの指示に基づいて背景板１０５を撮像する。この実施例に係るカメラＡ１０３及びカメラＢ１０４の特徴として、その撮像面の前方には撮像を妨げるスリットは配置されていない。このため、後述するように、カメラＡ１０３及びカメラＢ１０４の撮像画面には背景板１０５だけでなく、その周辺に位置する全ての物体が撮像される。
【００２２】
なお、カメラＡ１０３及びカメラＢ１０４からＰＣ２００（図２）への撮像画像の出力はデジタル信号であることが望ましい。ＰＣ２００（図２）の信号処理はデジタル信号について実行されるためである。もっとも、ＰＣ２００（図２）の側でアナログ信号形式の画像信号をデジタル信号形式の画像信号に変換できる機能が搭載されている場合にはアナログ信号による出力でも問題はない。また、カメラの撮像素子は上記条件を満たす限りＣＭＯＳやＣＣＤ、あるいはその他の撮像素子であっても良い。さらに、カメラＡ１０３及びカメラＢ１０４は、表示面１０２を撮像可能な画角のレンズを有する。なお、カメラＡ１０３及びカメラＢ１０４は、単一のカメラに限らず、画角の小さいカメラの集合体でも良い。
【００２３】
座標指示物の座標の検出は概ね次のように行われる。まず、カメラＡ１０３及びカメラＢ１０４は、ＰＣ２００（図２）からの指示に基づき左基準画像、右基準画像をそれぞれ撮像する。なお、基準画像の取得時には、撮像領域内に座標指示物が存在しないことが必須である。撮像された基準画像は、新たな基準画像が撮像されるまでＲＡＭ２０３（図２）に一時保存される。
【００２４】
続いて、カメラＡ１０３及びカメラＢ１０４は、ＰＣ２００（図２）からの定期的な指示に基づいて左最新画像、右最新画像をそれぞれ撮像する。次にＰＣ２００（図２）は、左基準画像と左最新画像の各ピクセルの値の差分から左差分画像を生成する。同様に、ＰＣ２００は、右基準画像と右最新画像の各ピクセルの差分から右差分画像を生成する。
【００２５】
左右の最新画像を撮像する際、表示面１０２の上空近傍に座標指示物が存在すると、そのシルエットが左差分画像及び右差分画像に残る。ＰＣ２００は、当該シルエットの位置を検出し、当該検出位置と各カメラの取り付け位置との角度情報を検出する。この後、ＰＣ２００は、検出された角度情報とカメラ間の距離との関係に基づいて、表示面１０２上における座標指示物の座標を三角測量の原理に従って計算する。
【００２６】
座標の計算に使用する差分画像には、光環境のわずかな揺らぎも影響しないことが座標値の安定性の観点からも誤検出を避ける上でも必要である。従って、差分画像には、基準画像と最新画像との単純な差分を用いるのでなく、一定値（閾値）以上の差分成分だけを差分画像として取り出すことが望ましい。
【００２７】
また、左右の各基準画像は周囲の光環境の変化に適応するため、随時更新することが望ましい。例えば左右の各差分画像にシルエットが残っていない場合（ＰＣ２００によってシルエットが残っていないとＰＣ２００によって検出された場合）には、左右の各最新画像を既存の基準画像と置き換えても良い。あるいは、左右の各差分画像にシルエットが残っていない場合（ＰＣ２００によってシルエットが残っていないとＰＣ２００によって検出された場合）、直近の複数の最新画像について各ピクセルの平均値を算出し、当該平均値で構成される画像を基準画像として用いても良い。
【００２８】
なお、本実施例の場合、前述した基準画像や最新画像等は、カメラＡ１０３及びカメラＢ１０４で撮像した画像全体の意味ではなく、後述する背景板領域抽出機能によって抽出される背景板領域（基準画像等から切り出された部分画像領域）に対応する部分画像の意味で使用する。
【００２９】
（コンピュータの内部構成）
図２に、電子黒板１００に接続するＰＣ２００の内部構成と周辺装置との接続を示す。ＰＣ２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０４、ビデオカード２０５、ディスプレイインターフェース（Ｉ／Ｆ）２０６、外部インターフェース（Ｉ／Ｆ）２０７、内部バス２０８で構成される。
【００３０】
ＣＰＵ２０１は、ＢＩＯＳプログラム、ＯＳ、電子黒板プログラム（座標位置検出機能だけでなく、後述する背景板領域抽出機能も含む。）を実行する演算装置である。ＲＯＭ２０２は、ＰＣ２００の起動時の動作手順及びＰＣ２００の内部及び外部の各ハードウェアの基本的な制御手順であるＢＩＯＳプログラムを記録する領域である。ＲＡＭ２０３は、ＢＩＯＳプログラム、ＯＳ、電子黒板プログラム、その他のプログラム、カメラＡ１０３、カメラＢ１０４で撮像された画像、それらの処理結果等を一時的に記憶する領域である。ＨＤＤ２０４は、ＯＳや電子黒板プログラムを記録する領域である。ビデオカード２０５は、表示用データを演算して一時的に蓄積し、表示装置（図２においては、プロジェクタ２１０）に出力する装置である。ディスプレイＩ／Ｆ２０６は、ビデオカード２０５と表示装置を接続するインターフェースである。外部Ｉ／Ｆ２０７は、電子黒板１００を構成する各種の装置とＰＣ２００を接続するインターフェースである。内部バス２０８は、２０１〜２０７間におけるデータのやり取りに使用される。
【００３１】
ＰＣ２００では、次のように動作が実行される。ＣＰＵ２０１は、ＰＣ２００の電源が投入されると、ＲＯＭ２０２から読み込んだＢＩＯＳプログラムを読み込み実行する。続いて、ＣＰＵ２０１は、ＨＤＤ２０４からＯＳと電子黒板プログラムをＲＡＭ２０３にコピーし、順次実行する。ＣＰＵ２０１は、ＢＩＯＳプログラム、ＯＳ、電子黒板プログラムに含まれる表示装置への出力命令を実行すると、ビデオカード２０５に描画命令と描画データを送り込む。ビデオカード２０５は、描画命令に基づいて描画データを演算し、演算結果を表示用データとして一時的に蓄積した後、ディスプレイＩ／Ｆ２０６に接続された表示装置に表示用データとして送信し表示させる。ＣＰＵ２０１は、ＢＩＯＳプログラム、ＯＳ、電子黒板プログラムに含まれる電子黒板１００の操作命令を実行すると、外部Ｉ／Ｆ２０７を介して所定の指示を電子黒板１００へ送り、その指示の処理結果を受け取ってＲＡＭ２０３に一時的に記憶させる。
【００３２】
表示装置としてのプロジェクタ２１０は、ディスプレイケーブル２０９を介してＰＣ２００に接続されており、当該ケーブルを通じてＰＣ２００から送られた表示用データを電子黒板１００の表示面１０２に投影する。
【００３３】
電子黒板１００を構成するカメラＡ１０３、カメラＢ１０４は、接続ケーブル２１１を介してＰＣ２００に接続されており、当該ケーブルを通じてＣＰＵ２０１から送られた所定の指示に基づいて撮像等の処理を行い、その処理結果を送り返す。
【００３４】
（プログラム）
ＢＩＯＳプログラムには、ＰＣ２００の起動時の動作手順、ＰＣ２００の内部・外部の各ハードウェアの基本的な制御手順が記述されている。ＯＳは、ＰＣ２００のオペレーティングシステムであり、ＰＣ２００の内部・外部の各ハードウェアを抽象化し、アプリケーションプログラムからの指示に基づいて各ハードウェアを操作する。例えばＯＳは、プロジェクタ２１０に表示用データを投影させたり、電子黒板１００のカメラＡ１０３及びカメラＢ１０４に画像を撮像させたり、撮像された画像を受け取ったりする。
【００３５】
電子黒板プログラムは、ＯＳ上で動作するアプリケーションプログラムであり、カメラＡ１０３及びカメラＢ１０４が撮像した画像から背景板１０５が写る部分領域を抽出する処理（背景板領域抽出機能）、左右一対のカメラにより撮像される基準画像と最新画像の各差分画像から座標指示物の指示座標を計算する処理（座標位置検出機能）等を実行する。
【００３６】
（背景板領域抽出機能）
ここでは、電子黒板１００を使用する前（座標指示物による操作入力を開始する前。すなわち、座標指示物の座標検出を開始する前）に実行して好適な背景板領域抽出機能について説明する。当該機能は、座標指示物の座標を正確に検出するためのキャリブレーションに対応する。なお、当該機能の実行は、電子黒板１００の毎使用開始時（例えば電源投入時）が望ましいが、数回に１回の割合、１日の最初の使用前、数日に１回の割合、午前の最初の使用前と午後の最初の使用前等に実行しても良い。
【００３７】
前述の通り、本実施例で使用するカメラＡ１０３及びカメラＢ１０４の場合、その撮像画像は、遮光板（スリット）等により撮像視野が制限されていない。このため、各撮像画面には、背景板１０５だけでなく、ボード１０１（表示面１０２を含む）や床も同じフレーム内に撮像される。そこで、背景板領域抽出機能を実行し、カメラＡ１０３及びカメラＢ１０４で撮像した画像から基本的に背景板１０５だけが写った領域部分を自動的に抽出可能とし、ユーザやサポートスタッフによるカメラや遮光板（スリット）の取り付け位置の微調整を不要にする。
【００３８】
図３に、当該背景板領域抽出機能を実現するプログラムの処理手順の概要を示す。本プログラムは、電子黒板プログラムの起動時に自動的に、予め定めた条件を満たすタイミングで自動的に、又は電子黒板システムの使用者の要求により開始される。
【００３９】
なお、以下の説明では、カメラＡ１０３の撮像画像（全体画像）に含まれる背景板領域（背景板１０５の画像領域）を抽出する場合について説明するが、カメラＡ１０４の撮影画像（全体画像）に含まれる背景板領域（背景板１０５の画像領域）を抽出する場合にも同じ処理手順を適用できる。
【００４０】
ステップ３０１において、背景板領域抽出機能部（ＣＰＵ２０１）は、プロジェクタ２１０に表示面指定画面を表示面１０２に表示させると共に、カメラＡ１０３に撮像指示を出し、その撮像画像を受け取る。このステップ３０１において、背景板領域抽出機能部（ＣＰＵ２０１）は、表示面指定画面表示制御部及び表示面指示標的座標検出部として動作する。
【００４１】
まず、表示面指定画面表示制御部としての機能を説明する。表示面指定画面は、背景板領域の特定を容易にするために用意された基本的に全面白色の画面である。もっとも、表示面１０２内には、ユーザ又はサポートスタッフに特定位置を座標指示物で指示させるための表示面指示標的が１つ以上配置されている。
【００４２】
なお、全面白色の画面（画面全体が一定値以上の同一の光度又は照度を有する画面）を表示するのは、電子黒板１００の使用環境によっては、表示面１０２の一部分に外光が映り込み、撮像画面に輝度ムラが発生する可能性があるためである。輝度ムラは、背景板１０５のエッジと誤検出されるおそれがある。従って、ここでの光度又は照度は、少なくとも任意の外光が存在しても写り込みによる擬似エッジを撮像画面内から消去可能な値に設定する。
【００４３】
また、表示面指示標的は、画像処理において、撮像画面に含まれるエッジ情報のうち背景板１０５に対応するエッジとその他のエッジとの識別を容易にするために、すなわち表示面１０２と背景板１０５の境界の識別を容易にするために表示される。図４に、表示面指定画面の表示例を示す。図４に示す表示面指定画面の場合には、その四隅付近に各１つ（計４つ）の表示面指示標的を配置している。なお、表示面指示標的は、表示面指定画面上の任意の位置に１つだけ、２つだけ、３つだけ、５つ以上配置されても良い。好ましくは、背景板１０５が設置される各辺に付き１つの表示面指示標的を配置する。さらに好ましくは、背景板１０５が設置される各辺に付き２つの表示面指示標的を配置する。
【００４４】
次に、表示面指示標的座標検出部としての機能を説明する。背景板領域抽出機能部（ＣＰＵ２０１）は、表示面指定画面の表示直後に、カメラＡ１０３に対して撮像指示を出力する。その結果、背景板領域抽出機能部（ＣＰＵ２０１）は、カメラＡ１０３から撮影画像（以下、「全体画像」という。）を取得する。
【００４５】
同様に、背景板領域抽出機能部（ＣＰＵ２０１）は、電子黒板１００の操作者に対し、表示面指定画面に表示された表示面指示標的を座標指示物で指し示すように通知する。例えば表示面指定画面上に、これから画面表示される表示面指示標的を座標指示物で指し示すように指示文を表示する。なお、操作に慣れた上級者向け用として、当該指示文の表示を省略し、すぐさま表示面指示標的を表示する機能を用意しても良い。
【００４６】
表示面指定画面が表示面１０２に表示されている間も、背景板領域抽出機能部（ＣＰＵ２０１）は撮像指示を出力し、カメラＡ１０３から撮影画像（以下、「標的画像」という。）を取得する。
【００４７】
なお、表示面指示標的を複数表示する場合、背景板領域抽出機能部（ＣＰＵ２０１）は、表示面指示標的を１つずつ画面上に表示する。例えば図４の場合、背景板領域抽出機能部（ＣＰＵ２０１）は、表示面指示標的１を表示し、次に、表示面指示標的２を表示し、次に、表示面指示標的３を表示し、次に、表示面指示標的４を表示する。また、背景板領域抽出機能部（ＣＰＵ２０１）は、新たな表示面指示標的が画面上に表示されるたびに撮像指示を出力し、各表示面指示標的に対応する標的画像を順次取得する。
【００４８】
この後、背景板領域抽出機能部（ＣＰＵ２０１）は全体画像を基準画像とし、当該基準画像と各標的画像との差画像から全体画像上における表示面指示標的の座標位置を取得する。ここでの座標位置は、カメラＡ１０３により撮像される画像及びこれから生成される画像（全体画像、標的画像、差画像、第１エッジ画像、エッジ合成除去画像、第２エッジ画像）内における各表示面指示標的の座標位置として用いられる。勿論、カメラＢ１０４についても、同様に、全体画像上における表示面指示標的の座標位置が取得され、カメラＢ１０４によって撮像される画像及びこれから生成される画像内における各表示面指示標的の座標位置として用いられる。
【００４９】
図５に、カメラＡ１０３によって撮像される全体画像の例を示す。図５の画像中央において縦方向に延伸する屈曲した細長い領域が、表示面１０２の右辺と下辺に位置する背景板１０５に対応する。領域が屈曲しているのは、２つの背景板１０５が形成する面からオフセットした位置から撮像しているためである。また、領域幅が太い部分はカメラＡ１０３に近い領域であることを意味し、領域幅が狭い部分はカメラＡ１０３から遠く離れた領域であることを意味する。すなわち、遠近効果の影響である。
【００５０】
この他、図５に示す全体画像には、電子黒板筺体（ボード１０１）と表示面１０２が背景板１０５に対応する領域の左側に撮像され、床１０６が背景板１０５に対応する領域の右側に撮像される。
【００５１】
背景板１０５に対応する領域のうち画像上方で若干細く縊れている部分は、電子黒板１００の右下隅に対応するためである。電子黒板１００の右下隅は、カメラＡ１０３から一番遠い場所に当たるためである。
【００５２】
図５においては、説明を簡単にするため、背景板１０５に対応する領域の右側に床１０６だけが写っている例を表している。しかし、実際の撮像画面には、床１０６以外にも、人、物、壁、窓等が写り込むことがある。また、図５の例では、表示面１０２、背景板１０５、ボード１０１、床１０６の各境界が直線となるように描いているが、実際にはカメラＡ１０３に付属するレンズの歪み等の影響で若干弓なり（すなわち、弧線として）に撮像される。
【００５３】
なお、以降の説明の便宜上、カメラＡ１０３で撮像する画像およびこれから生成される画像（全体画像、標的画像、差画像、第１エッジ画像、エッジ合成除去画像、第２エッジ画像）は、いずれも図中の左上隅を座標原点とし、右方向をｘ軸方向とし、下方向をｙ軸方向とする。
【００５４】
続く、ステップ３０２において、背景板領域抽出機能部（ＣＰＵ２０１）は、全体画像から第１エッジ画像を作成する。この機能を、本明細書では、第１エッジ画像生成部と呼ぶ。ここでの第１エッジ画像は、全体画像から変化量が大きい画像データだけを抽出した画像に当たる。すなわち、第１エッジ画像は、全体画像の各ピクセルについて、一定範囲の周囲に隣接するピクセルからの明度の変化量（一次微分値）をｘ軸方向またはｙ軸方向のいずれかに計算した値、あるいはそれらを合成した値が、所定の閾値以上であるピクセルの値を１、それ以外のピクセルの値を０とした二値画像に当たる。
【００５５】
エッジの検出には、例えばＣａｎｎｙエッジ検出器やＨｏｕｇｈ変換器等を使用する。もっとも、エッジの検出に用いる方法は任意であり、これらの検出器や変換器に限らない。図６に、第１エッジ画像の例を示す。図６の場合、画像中央には、縦方向に複数のエッジがほぼ平行に走っている。これらのエッジは、表示面１０２と背景板１０５との隙間や、背景板１０５とその構造を裏側から支える電子黒板筺体（ボード１０１）の境界、背景板１０５の表示面１０２への写り込み等で生じたものである。
【００５６】
図６に示す第１エッジ画像のうち左半分の領域に斜めに延びる２本のエッジは、電子黒板筺体（ボード１０１）と表示面１０２の境界によって生じたものである。第１エッジ画像のうち中央部の矩形状領域は、白色光が投影された表示面１０２を撮像した領域なのでエッジは抽出されない。なお、画像右側に床以外のものが写り込んでいれば、この領域には様々なエッジが抽出される。
【００５７】
ステップ３０３において、背景板領域抽出機能部（ＣＰＵ２０１）は、画像処理により、第１エッジ画像に含まれる平行エッジを一つにまとめ、エッジ合成領域として取り扱い可能とする。すなわち、エッジの合成と除去を実行する。この際、背景板領域抽出機能部（ＣＰＵ２０１）は、エッジ合成除去画像生成部として動作する。
【００５８】
ここで、エッジの合成と除去には、エッジ同士の隙間を埋めるモルフォロジー変換処理（膨張処理、収縮処理又はそれらの組み合わせ処理等）やエッジで囲まれた領域を特定するフラッドフィル処理等を使用する。もっとも、これらは一例であり、他の任意の手法を用いることができる。
【００５９】
また、背景板領域抽出機能部（ＣＰＵ２０１）は、第１エッジ画像内の表示面指示標的の座標よりもｘ軸の負の方向に延びるエッジを除去する。これにより、電子黒板筺体（ボード１０１）と表示面１０２の境界部分に生じたエッジを取り除くことができる。図７に、エッジの合成処理と除去処理を実行した後の画像（エッジ合成除去画像）の一例を示す。図７のうち画面中央の灰色に着色した領域がエッジの合成処理で得られた領域である。図７の場合には、背景板１０５に対応する領域だけが残っている。ただし、全体画像中に床以外の物体、例えば人、物、壁、窓等が写り込んでいる場合、エッジ合成除去画像の右半分にはそれらから生じたエッジ合成領域がこの時点でも残っている。
【００６０】
そこで、ステップ３０４において、背景板領域抽出機能部（ＣＰＵ２０１）は、背景板領域に対応する境界線だけをエッジ合成除去画像から抽出する処理を実行する。ここで、背景板領域抽出機能部（ＣＰＵ２０１）は、第２エッジ画像生成部及び背景板領域抽出部として動作する。
【００６１】
まず、第２エッジ画像生成部としての機能を説明する。このとき、背景板領域抽出機能部（ＣＰＵ２０１）は、ステップ３０２と同様のエッジ検出処理を適用し、エッジ合成領域に含まれるエッジ成分の画像（第２エッジ画像）を作成する。すなわち、エッジ合成除去画像から変化量が大きいエッジだけを抽出する。
【００６２】
次に、背景板領域抽出部としての機能を説明する。このとき、背景板領域抽出機能部（ＣＰＵ２０１）は、背景板１０５が表示面指示標的の座標よりも右側（ｘ軸座標が大きい側）に存在することが自明であることを利用し、背景板１０５に対応するエッジだけを効率良く抽出する。すなわち、表示面指示標的の座標と背景板１０５に対応するエッジの相対的な位置関係に基づいて、背景板１０５に対応するエッジだけを抽出する。
【００６３】
具体的には、第２エッジ画像における表示面指示標的の座標を起点としてｘ軸の正方向に進んだ際に１番目に出会うエッジと２番目に出会うエッジを、背景板１０５に対応する領域の左右の境界線とする。また、これら２つの境界線と第２エッジ画像の上下端で挟まれた領域を背景板領域とみなす。
【００６４】
このエッジ選択方法の適用により、床１０６の撮像領域に人、物、壁、窓等が写り込み、エッジ合成除去画像の右側半分にそれらに対応するエッジ合成領域が残っている場合でも、背景板領域の境界線だけを確実に選択することができる。
【００６５】
なお、実際のエッジ合成領域の境界線は、一般に複数のエッジの合成で形成されている。すなわち、境界線は、単純な直線になっていないことも多い。具体的には、境界線は、複数の線分の集まりとして構成される場合が多い。この場合、１つの表示面指示標的から放射状にｘ軸の正方向に進んだ際に１番目に出会うエッジと２番目に出会うエッジを抽出する方法、背景板１０５の各辺に平行になるように配置される２つの表示面指示標的を結ぶ仮想線を分割し、分割点からｘ軸の正方向に進んだ際に１番目に出会うエッジと２番目に出会うエッジを抽出する方法等の処理が必要となる。ただし、これらの方法は、エッジを構成する線分が多い場合、画像処理の演算量が多くなる。なお、レンズ歪みの影響等により、境界線を構成する線分は、一直線ではなく弓なりの弧線となる場合もある。
【００６６】
そこで、本発明者は、背景板領域の境界線を与えるエッジを効率的に検出できる手法として、以下の処理内容を提案する。具体的には、多数の線分で構成されるエッジを関数に近似し、画像処理の効率化を実現する方法を提案する。ここでは、近似方法の一例として、境界線を直線に近似する場合について説明する。
【００６７】
図８に、第２エッジ画像の例を示す。図８の場合、画像中央の縦線２本がエッジ合成領域を構成する境界線である。図８では、説明を簡単にするため、背景板１０５に対応する境界線のみを表しているが、床以外の物体の映り込みがある場合には第２エッジ画像の右半分側にその他の境界線も存在することは既に述べた通りである。
【００６８】
直線近似法を適用する場合、背景板領域抽出機能部（ＣＰＵ２０１）は、第２エッジ画像上で表示面指示標的２と表示面指示標的４の座標間を結ぶ線分を等分に分割する分割点の各座標を算出する。次に、背景板領域抽出機能部（ＣＰＵ２０１）は、各分割点からｘ軸の正方向（図８の右方向）に進み、１番目に出会うエッジとの交点の座標と２番目に出会うエッジとの交点の座標を検出する。次に、背景板領域抽出機能部（ＣＰＵ２０１）は、１番目に出会うエッジとの交点の座標だけを集め、それらの近傍を通る近似直線を最小二乗法により求める。例えば図８の左下側の背景板領域の境界線は、ｙ＝ａｘ＋ｂで与えられる一次式として求められる。同様に、２番目に出会うエッジとの交点の座標だけを集め、それらの近傍を通る近似直線を最小二乗法により求めると、同右下側の境界線を得ることができる。
【００６９】
表示面指示標的３と表示面指示標的４についても同様の手順を実行すると、同左上側と右上側の境界線を得ることができる。なお、表示面指示標的を結ぶ線分の等分数は幾つでも良く、図８に例示したものに限らない。また、境界線の近似方法は、ここで挙げた最小二乗法以外の手法でも良く、一次式以外の関数に近似しても良い。
【００７０】
なお、第２エッジ画像に含まれるエッジ合成領域の幅が途中で大きく変化したり、又はエッジ合成領域が分断されていたりすると、近似に用いる交点の座標が他の座標より大きくずれてしまう。この場合でも、境界線の近似後に各交点との差異を検証し、大きくずれている座標を除外したうえで境界線の再近似を行えば、本来の背景板１０５の輪郭に近い背景板領域の境界線を得ることができる。
【００７１】
ところで、前述した方法で抽出した背景板領域は、背景板１０５の表示面１０２等への写り込み等により、本来の背景板領域より幅が広がっている可能性がある。そのような検出結果が想定される場合には、前述した方法で抽出された背景板領域の幅の数分の１を両側又は一方から削って最終的な背景板領域として扱っても良い。
【００７２】
また、背景板領域の幅が一定のほうが画像処理の効率が良いので、表示面指示標的からｘ軸方向に進んで１番目に出会ったエッジのみを抽出し、当該エッジ又は更に近似した境界線からｘ軸の正方向に一定の幅を取った領域を背景板領域とみなしても良い。
【００７３】
同様に、表示面指示標的からｘ軸の正方向に進んで２番目に出会ったエッジのみを抽出し、当該エッジ又は更に近似した境界線からｘ軸の負方向に一定の幅を取った領域を背景板領域とみなしても良い。
【００７４】
（座標検出機能）
前述した背景板領域抽出機能の実行により、カメラＡ１０３及びカメラＢ１０４の撮像画面のうち背景板１０５に対応する領域（背景板領域）が抽出されると、座標指示物による指示された画面上の座標が三角測量の原理を用いて検出される。ここでは、本実施例における座標検出処理の概要を説明する。
【００７５】
まず、ＣＰＵ２０１は、検出面に座標指示物が存在しない状態で、カメラＡ１０３及びカメラＢ１０４で撮像された全体画像から前述した背景板領域抽出部によって確定された背景板領域の画像を基準画像として切り出す。このとき、ＣＰＵ２０１は、基準画像記憶制御部として機能する。カメラＡ１０３に対応する基準画像は左基準画像として、カメラＢ１０４に対応する基準画像は右基準画像としてＲＡＭ２０３の基準画像記憶領域に保存される。なお、背景板領域を与える情報は、ＲＡＭ２０３に格納されている。
【００７６】
次に、ＣＰＵ２０１は、検出面に座標指示物が挿入された状態で、カメラＡ１０３及びカメラＢ１０４で撮像された全体画像から前述した背景板領域抽出部によって確定された背景板領域の画像を最新画像として切り出す。このとき、ＣＰＵ２０１は、座標指示物画像記憶として機能する。カメラＡ１０３に対応する最新画像は左座標指示物画像として、カメラＢ１０４に対応する最新画像は右座標指示物画像としてＲＡＭ２０３の座標指示物画像領域に保存される。
【００７７】
次に、ＣＰＵ２０１は、各座標指示物画像と対応する基準画像との差分画像から座標指示物だけを被写体として抽出する。すなわち、ＣＰＵ２０１は、被写体抽出部として機能する。
【００７８】
続いて、ＣＰＵ２０１は、抽出された被写体の左右一対の座標指示物画像内における位置情報に基づいて座標指示物の表示面上における座標を検出（算出）する。すなわち、ＣＰＵ２０１は、座標検出部として機能する。この際、左右一対の座標指示物画像には、被写体である座標指示物画像だけが含まれるため、常に正確な座標の検出（算出）が可能となる。
【００７９】
（まとめ）
以上説明したように、実施例に係る電子黒板システムにおいては、背景板領域抽出処理を電子黒板１００の使用前に実行する。これにより、カメラＡ１０３及びカメラＢ１０４で撮像された全体画像から背景板１０５に対応する背景板領域だけを自動的に抽出することができる。当該抽出された背景板領域又は更に画像処理して長方形に整形した背景板領域を用いれば、温度変化や経年変化等により電子黒板筺体（ボード１０１）が変形した場合やカメラの取り付け位置が多少ずれた場合にも、ユーザ等によるカメラ等の取り付けの微調整無しに、座標指示物の座標を正確に検出可能とする背景板領域の自動抽出を実現できる。
【００８０】
また、当該背景板領域の自動抽出機能を搭載することにより、従来に比して少ない負担で、常に正確な座標検出を実現できる。
【符号の説明】
【００８１】
１００…電子黒板、１０１…ボード、１０２…表示面、１０３…カメラＡ、１０４…カメラＢ、１０５…背景板、１０６…床、２００…ＰＣ、２０１…ＣＰＵ、２０２…ＲＯＭ、２０３…ＲＡＭ、２０４…ＨＤＤ、２０５…ビデオカード、２０６…ディスプレイＩ／Ｆ、２０７…外部Ｉ／Ｆ、２０８…内部バス、２０９…ディスプレイケーブル、２１０…プロジェクタ、２１１…接続ケーブル。
【技術分野】
【０００１】
本発明は、表示面に対する座標指示物の接触位置又は表示面の手前側に設定された検出面に対する座標指示物の操作位置を、表示面上の２次元座標として検出できる電子黒板システムと当該システムを構成するコンピュータ上で実行されるプログラムに関する。
【背景技術】
【０００２】
電子黒板システムは、表示装置又は投影装置と、それらの表示面に対する座標指示物の操作入力を検出する座標検出装置と、検出された操作入力に基づく描画処理やシステム全体の動作を制御するコンピュータとで構成されている。
【０００３】
座標検出装置は、検出位置を表示画面上の２次元座標として出力する。コンピュータは、座標検出装置の２次元座標をコンピュータ操作画面上の２次元座標に変換し、予め指定された色と太さを有するオブジェクトとしてコンピュータ操作画面上に描画する。このコンピュータ操作画面が、表示装置又は投影装置の表示面として利用者に提供される。
【０００４】
電子黒板システムは、この座標検出装置による座標の検出からコンピュータ操作画面上の描画までの処理を毎秒何十回も繰り返すことで、座標指示物の操作者がコンピュータ操作画面上に文字や図形をあたかも直接筆記したかのような体験を利用者に提供することができる。また、電子黒板システムが座標指示物による操作入力をコンピュータに接続したマウスの操作と同等に扱う機能に対応している場合には、表示面に対する座標指示物の操作入力を通じてコンピュータを操作することもできる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−６７１８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、電子黒板システムに使われる座標検出装置の座標検出方式には、所定の又は任意の座標指示物が表示面から数センチメートルの範囲に設定された仮想の検出面に侵入した位置（操作位置）を光学的に検出するものがある。
【０００７】
例えば特許文献１には、表示面の上方両端にカラー２次元撮像素子と検出面全体を撮影可能な画角を有するレンズで構成されるカメラを備えた座標検出装置が開示されている。この座標検出装置は、（１）座標指示物が検出面にない時に予め左右２つのカメラで撮影した基準画像と、その後に両カメラで検出面を撮影した最新画像との差分を左右各画像について算出する処理と、（２）座標指示物が検出面にある場合には、差分画像に残るシルエットの位置から左右２つのカメラからの各方角を求めると共に、予め測定済みのカメラ間の距離を用いて三角測量の要領で表示面における座標指示物の座標を計算する処理を実行する。また、外乱光等によるノイズの発生を減少させるため、表示面の上部を除く周縁部には視野を狭くするための背景板が配置されること、撮影領域を検出面に限定するために縦長の切欠（スリット）を有する遮光板が左右２つのカメラの撮像面前方に取り付けられていることが開示されている。これら背景板と遮光板により、左右２つのカメラは、座標指示物がなければ背景板だけを撮影する。
【０００８】
ところが、実用的な電子黒板のサイズになると（例えば表示面のアスペクト比が４：３や１６：９であり、かつ、対角線長が数十インチ程度以上になると）、特許文献１の座標検出装置では、温度変化や経年変化に伴う筺体の歪み等の影響でカメラの撮影範囲を背景板だけに限定し続けることが難しくなる。具体的には、表示面や背景板の外側にある景色が撮像範囲に写り込むようになる。この不都合の修正には、ユーザやサポートスタッフによるカメラや遮光板の取り付け位置の微調整作業が必要となる。
【０００９】
そこで、本発明は、カメラや遮光板の取り付け位置の微調整作業を行わなくても、背景板の画像だけを常に取得可能とし、座標指示物の座標を正確に計算できる電子黒板システム及び当該システムを実現するプログラムの提供を目的とする。
【課題を解決するための手段】
【００１０】
本発明者は、遮光版を用いずに撮像された画像内から背景板の領域だけを自動的に識別し、識別された領域の画像だけを用いて座標指示物の座標を検出する仕組みを提案する。より具体的には、本発明者は、電子黒板システムとして、以下に示す手段を有するものを提案する。
(a) 所定の背景板を外周に有する表示面上に座標指示物の接触位置を指示する表示面指示標的を１つ以上含む表示面指定画面を表示する表示面指定画面表示制御手段
(b) 前記表示面の上空近傍の検出面に挿入された座標指示物を撮像する１つ以上の撮像手段
(c) 前記検出面に座標指示物が挿入されていない時に前記撮像手段で撮像された基準画像と、前記検出面に座標指示物が挿入されている時に前記撮像手段で撮像された標的画像とから、前記撮像手段の撮像画像内における前記表示面指示標的に対応する標的座標を検出する標的座標検出手段
(d) 前記基準画像のエッジを抽出した第１エッジ画像を生成する第１エッジ画像生成手段
(e) 前記第１エッジ画像内において、近接平行するエッジを合成してエッジ合成領域を生成すると共に、前記標的座標に対して第１の相対位置関係を満たさないエッジを除去してエッジ合成除去画像を生成するエッジ合成除去画像生成手段
(f) 前記エッジ合成除去画像のエッジを抽出した第２エッジ画像を生成する第２エッジ画像生成手段
(g) 前記第２エッジ画像内において、前記標的座標に対して第２の相対位置関係を満たすエッジを前記背景板の輪郭に相当する背景板領域として抽出する背景板領域抽出手段
【００１１】
また、本発明者は、電子黒板システムを構成するコンピュータを、以下に示す手段として機能させるプログラムを提案する。
(a) 所定の背景板を外周に有する表示面上に、座標指示物の接触位置を指示する表示面指示標的を１つ以上含む表示面指定画面を表示する表示面指定画面表示制御手段
(b) 前記表示面の上空近傍の検出面に挿入された座標指示物を撮像する１つ以上の撮像手段を制御する制御手段
(c) 前記検出面に座標指示物が挿入されていない時に前記撮像手段で撮像された基準画像と、前記検出面に座標指示物が挿入されている時に前記撮像手段で撮像された標的画像とから、前記撮像手段の撮像画像内における前記表示面指示標的に対応する標的座標を検出する標的座標検出手段
(d) 前記基準画像のエッジを抽出した第１エッジ画像を生成する第１エッジ画像生成手段
(e) 前記第１エッジ画像内において、近接平行するエッジを合成してエッジ合成領域を生成すると共に、前記標的座標に対して第１の相対位置関係を満たさないエッジを除去してエッジ合成除去画像を生成するエッジ合成除去画像生成手段
(f) 前記エッジ合成除去画像のエッジを抽出した第２エッジ画像を生成する第２エッジ画像生成手段
(g) 前記第２エッジ画像内において、前記標的座標に対して第２の相対位置関係を満たすエッジを前記背景板の輪郭に相当する背景板領域として抽出する背景板領域抽出手段
【発明の効果】
【００１２】
本発明の採用により、撮像範囲を制限する遮光板を不要にできるだけでなく、カメラの取り付け位置等の微調整作業を行わなくても、座標指示物の座標を正確に計算できる電子黒板システムを実現することができる。なお、上述した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１３】
【図１】電子黒板周辺の機器配置例を説明する図。
【図２】コンピュータと周辺機器との接続例を説明する図。
【図３】背景板領域抽出機能部の処理手順を示す図。
【図４】表示面指定画面の一例を示す図。
【図５】全体画像の一例を示す図。
【図６】第１エッジ画像の一例を示す図。
【図７】エッジ合成除去画像の一例を示す図。
【図８】第２エッジ画像で背景板領域の境界線を関数で近似する方法の一例を示す図。
【発明を実施するための形態】
【００１４】
以下、図面に基づいて、発明の実施例を説明する。なお、後述する電子黒板システムはいずれも説明のための一例であり、発明の実施形態は、後述する実施例に限定されるものでない。また、本発明は、後述する電子黒板システムの全ての機能を組み合わせる場合だけでなく、一部の機能のみを搭載する場合、既知の技術を追加する場合、一部機能を既知の技術との置換する場合など、様々な実施形態を含み得る。また、以下の実施例では、各種の処理機能がコンピュータ上で実行されるプログラムとして提供されるものとして説明するが、当該処理機能の一部又は全部を、ハードウェアを通じて実現しても良い。
【００１５】
（電子黒板の構成）
図１に、電子黒板１００の実施例を示す。なお、図１に示す電子黒板１００は、光学式の座標検出方式を採用する場合について表している。この例では、赤外光を使用する。また、図１に示す電子黒板１００は、画像の表示にプロジェクタを使用している。すなわち、光学式の座標検出機能とプロジェクション方式の画像表示機能を組み合わせた電子黒板システムについて説明する。
【００１６】
電子黒板１００は、平板状の電子黒板筐体（ボード１０１）に、カメラＡ１０３、カメラＢ１０４、背景板１０５を取り付けた構成を有している。これらの付属物は、いずれもボード１０１の外周部分に配置される。なお、ボード１０１の中央部分は、プロジェクタ２１０（図２）からの投影光が投影される表示面１０２として用いられる。勿論、画像の表示にフラットパネルディスプレイを使用する場合には、表示面１０２はディスプレイの表示領域と一致する。
【００１７】
カメラＡ１０３、カメラＢ１０４、背景板１０５は、座標検出装置のハードウェア部分を構成する。この実施例の場合、カメラＡ１０３はボード１０１の左上隅に配置し、カメラＢ１０４はボード１０１の右上隅に配置する。画角が約９０°のカメラを使用するためである。従って、左上隅に配置されるカメラＡ１０３は、表示面１０２の下辺と右辺側に位置する背景板１０５を撮像し、右上隅に配置されるカメラＢ１０４は、表示面１０２の下辺と左辺側に位置する背景板１０５を撮像する。
【００１８】
なお、画角が９０°より大きい（例えば約１８０°）カメラを使用できる場合には、カメラＡ１０３及びカメラＢ１０４は、表示面１０２の左右両端よりも内側位置に（水平方向の辺長よりも短い間隔だけ離した位置に）配置することができる。
【００１９】
背景板１０５は、矩形形状を有するボード１０１の左辺、右辺、下辺の３辺に沿うように、ボード１０１の表面に対して垂直に設置される。背景板１０５は、カメラＡ１０３及びカメラＢ１０４が座標指示物を撮像する際に座標指示物の背景として撮像されるだけの十分な幅を有する。なお、カメラＡ１０３及びカメラＢ１０４によって撮像される背景板１０５の表面は、無地の無彩色又は無彩色のみで構成される縞模様若しくは格子模様であることが好ましい。
【００２０】
また、当該表面には、例えば再帰性の反射特性を有するテープ状の部材を配置する。再帰性の反射部材を背景板１０５の表面に沿って配置することにより、カメラ側から背景板１０５の表面に入射された光（例えば赤外光）は、その入射角の違いに関わらず、いずれも入射角と平行な方向に反射する。このため、背景板１０５の表面は明画像として撮像され、背景板１０５の表面を横切る座標指示物（人の指、手、ペン、スタイラス（指示棒）等）は影として撮像される。
【００２１】
カメラＡ１０３及びカメラＢ１０４は、表示面１０２の上空近傍に接近又は表示面１０２に接触した座標指示物の検出と、検出された座標指示物の表示面上の位置を特定する２次元座標の検出に用いられる。カメラＡ１０３及びカメラＢ１０４は、ＰＣ２００（図２）からの指示に基づいて背景板１０５を撮像する。この実施例に係るカメラＡ１０３及びカメラＢ１０４の特徴として、その撮像面の前方には撮像を妨げるスリットは配置されていない。このため、後述するように、カメラＡ１０３及びカメラＢ１０４の撮像画面には背景板１０５だけでなく、その周辺に位置する全ての物体が撮像される。
【００２２】
なお、カメラＡ１０３及びカメラＢ１０４からＰＣ２００（図２）への撮像画像の出力はデジタル信号であることが望ましい。ＰＣ２００（図２）の信号処理はデジタル信号について実行されるためである。もっとも、ＰＣ２００（図２）の側でアナログ信号形式の画像信号をデジタル信号形式の画像信号に変換できる機能が搭載されている場合にはアナログ信号による出力でも問題はない。また、カメラの撮像素子は上記条件を満たす限りＣＭＯＳやＣＣＤ、あるいはその他の撮像素子であっても良い。さらに、カメラＡ１０３及びカメラＢ１０４は、表示面１０２を撮像可能な画角のレンズを有する。なお、カメラＡ１０３及びカメラＢ１０４は、単一のカメラに限らず、画角の小さいカメラの集合体でも良い。
【００２３】
座標指示物の座標の検出は概ね次のように行われる。まず、カメラＡ１０３及びカメラＢ１０４は、ＰＣ２００（図２）からの指示に基づき左基準画像、右基準画像をそれぞれ撮像する。なお、基準画像の取得時には、撮像領域内に座標指示物が存在しないことが必須である。撮像された基準画像は、新たな基準画像が撮像されるまでＲＡＭ２０３（図２）に一時保存される。
【００２４】
続いて、カメラＡ１０３及びカメラＢ１０４は、ＰＣ２００（図２）からの定期的な指示に基づいて左最新画像、右最新画像をそれぞれ撮像する。次にＰＣ２００（図２）は、左基準画像と左最新画像の各ピクセルの値の差分から左差分画像を生成する。同様に、ＰＣ２００は、右基準画像と右最新画像の各ピクセルの差分から右差分画像を生成する。
【００２５】
左右の最新画像を撮像する際、表示面１０２の上空近傍に座標指示物が存在すると、そのシルエットが左差分画像及び右差分画像に残る。ＰＣ２００は、当該シルエットの位置を検出し、当該検出位置と各カメラの取り付け位置との角度情報を検出する。この後、ＰＣ２００は、検出された角度情報とカメラ間の距離との関係に基づいて、表示面１０２上における座標指示物の座標を三角測量の原理に従って計算する。
【００２６】
座標の計算に使用する差分画像には、光環境のわずかな揺らぎも影響しないことが座標値の安定性の観点からも誤検出を避ける上でも必要である。従って、差分画像には、基準画像と最新画像との単純な差分を用いるのでなく、一定値（閾値）以上の差分成分だけを差分画像として取り出すことが望ましい。
【００２７】
また、左右の各基準画像は周囲の光環境の変化に適応するため、随時更新することが望ましい。例えば左右の各差分画像にシルエットが残っていない場合（ＰＣ２００によってシルエットが残っていないとＰＣ２００によって検出された場合）には、左右の各最新画像を既存の基準画像と置き換えても良い。あるいは、左右の各差分画像にシルエットが残っていない場合（ＰＣ２００によってシルエットが残っていないとＰＣ２００によって検出された場合）、直近の複数の最新画像について各ピクセルの平均値を算出し、当該平均値で構成される画像を基準画像として用いても良い。
【００２８】
なお、本実施例の場合、前述した基準画像や最新画像等は、カメラＡ１０３及びカメラＢ１０４で撮像した画像全体の意味ではなく、後述する背景板領域抽出機能によって抽出される背景板領域（基準画像等から切り出された部分画像領域）に対応する部分画像の意味で使用する。
【００２９】
（コンピュータの内部構成）
図２に、電子黒板１００に接続するＰＣ２００の内部構成と周辺装置との接続を示す。ＰＣ２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０４、ビデオカード２０５、ディスプレイインターフェース（Ｉ／Ｆ）２０６、外部インターフェース（Ｉ／Ｆ）２０７、内部バス２０８で構成される。
【００３０】
ＣＰＵ２０１は、ＢＩＯＳプログラム、ＯＳ、電子黒板プログラム（座標位置検出機能だけでなく、後述する背景板領域抽出機能も含む。）を実行する演算装置である。ＲＯＭ２０２は、ＰＣ２００の起動時の動作手順及びＰＣ２００の内部及び外部の各ハードウェアの基本的な制御手順であるＢＩＯＳプログラムを記録する領域である。ＲＡＭ２０３は、ＢＩＯＳプログラム、ＯＳ、電子黒板プログラム、その他のプログラム、カメラＡ１０３、カメラＢ１０４で撮像された画像、それらの処理結果等を一時的に記憶する領域である。ＨＤＤ２０４は、ＯＳや電子黒板プログラムを記録する領域である。ビデオカード２０５は、表示用データを演算して一時的に蓄積し、表示装置（図２においては、プロジェクタ２１０）に出力する装置である。ディスプレイＩ／Ｆ２０６は、ビデオカード２０５と表示装置を接続するインターフェースである。外部Ｉ／Ｆ２０７は、電子黒板１００を構成する各種の装置とＰＣ２００を接続するインターフェースである。内部バス２０８は、２０１〜２０７間におけるデータのやり取りに使用される。
【００３１】
ＰＣ２００では、次のように動作が実行される。ＣＰＵ２０１は、ＰＣ２００の電源が投入されると、ＲＯＭ２０２から読み込んだＢＩＯＳプログラムを読み込み実行する。続いて、ＣＰＵ２０１は、ＨＤＤ２０４からＯＳと電子黒板プログラムをＲＡＭ２０３にコピーし、順次実行する。ＣＰＵ２０１は、ＢＩＯＳプログラム、ＯＳ、電子黒板プログラムに含まれる表示装置への出力命令を実行すると、ビデオカード２０５に描画命令と描画データを送り込む。ビデオカード２０５は、描画命令に基づいて描画データを演算し、演算結果を表示用データとして一時的に蓄積した後、ディスプレイＩ／Ｆ２０６に接続された表示装置に表示用データとして送信し表示させる。ＣＰＵ２０１は、ＢＩＯＳプログラム、ＯＳ、電子黒板プログラムに含まれる電子黒板１００の操作命令を実行すると、外部Ｉ／Ｆ２０７を介して所定の指示を電子黒板１００へ送り、その指示の処理結果を受け取ってＲＡＭ２０３に一時的に記憶させる。
【００３２】
表示装置としてのプロジェクタ２１０は、ディスプレイケーブル２０９を介してＰＣ２００に接続されており、当該ケーブルを通じてＰＣ２００から送られた表示用データを電子黒板１００の表示面１０２に投影する。
【００３３】
電子黒板１００を構成するカメラＡ１０３、カメラＢ１０４は、接続ケーブル２１１を介してＰＣ２００に接続されており、当該ケーブルを通じてＣＰＵ２０１から送られた所定の指示に基づいて撮像等の処理を行い、その処理結果を送り返す。
【００３４】
（プログラム）
ＢＩＯＳプログラムには、ＰＣ２００の起動時の動作手順、ＰＣ２００の内部・外部の各ハードウェアの基本的な制御手順が記述されている。ＯＳは、ＰＣ２００のオペレーティングシステムであり、ＰＣ２００の内部・外部の各ハードウェアを抽象化し、アプリケーションプログラムからの指示に基づいて各ハードウェアを操作する。例えばＯＳは、プロジェクタ２１０に表示用データを投影させたり、電子黒板１００のカメラＡ１０３及びカメラＢ１０４に画像を撮像させたり、撮像された画像を受け取ったりする。
【００３５】
電子黒板プログラムは、ＯＳ上で動作するアプリケーションプログラムであり、カメラＡ１０３及びカメラＢ１０４が撮像した画像から背景板１０５が写る部分領域を抽出する処理（背景板領域抽出機能）、左右一対のカメラにより撮像される基準画像と最新画像の各差分画像から座標指示物の指示座標を計算する処理（座標位置検出機能）等を実行する。
【００３６】
（背景板領域抽出機能）
ここでは、電子黒板１００を使用する前（座標指示物による操作入力を開始する前。すなわち、座標指示物の座標検出を開始する前）に実行して好適な背景板領域抽出機能について説明する。当該機能は、座標指示物の座標を正確に検出するためのキャリブレーションに対応する。なお、当該機能の実行は、電子黒板１００の毎使用開始時（例えば電源投入時）が望ましいが、数回に１回の割合、１日の最初の使用前、数日に１回の割合、午前の最初の使用前と午後の最初の使用前等に実行しても良い。
【００３７】
前述の通り、本実施例で使用するカメラＡ１０３及びカメラＢ１０４の場合、その撮像画像は、遮光板（スリット）等により撮像視野が制限されていない。このため、各撮像画面には、背景板１０５だけでなく、ボード１０１（表示面１０２を含む）や床も同じフレーム内に撮像される。そこで、背景板領域抽出機能を実行し、カメラＡ１０３及びカメラＢ１０４で撮像した画像から基本的に背景板１０５だけが写った領域部分を自動的に抽出可能とし、ユーザやサポートスタッフによるカメラや遮光板（スリット）の取り付け位置の微調整を不要にする。
【００３８】
図３に、当該背景板領域抽出機能を実現するプログラムの処理手順の概要を示す。本プログラムは、電子黒板プログラムの起動時に自動的に、予め定めた条件を満たすタイミングで自動的に、又は電子黒板システムの使用者の要求により開始される。
【００３９】
なお、以下の説明では、カメラＡ１０３の撮像画像（全体画像）に含まれる背景板領域（背景板１０５の画像領域）を抽出する場合について説明するが、カメラＡ１０４の撮影画像（全体画像）に含まれる背景板領域（背景板１０５の画像領域）を抽出する場合にも同じ処理手順を適用できる。
【００４０】
ステップ３０１において、背景板領域抽出機能部（ＣＰＵ２０１）は、プロジェクタ２１０に表示面指定画面を表示面１０２に表示させると共に、カメラＡ１０３に撮像指示を出し、その撮像画像を受け取る。このステップ３０１において、背景板領域抽出機能部（ＣＰＵ２０１）は、表示面指定画面表示制御部及び表示面指示標的座標検出部として動作する。
【００４１】
まず、表示面指定画面表示制御部としての機能を説明する。表示面指定画面は、背景板領域の特定を容易にするために用意された基本的に全面白色の画面である。もっとも、表示面１０２内には、ユーザ又はサポートスタッフに特定位置を座標指示物で指示させるための表示面指示標的が１つ以上配置されている。
【００４２】
なお、全面白色の画面（画面全体が一定値以上の同一の光度又は照度を有する画面）を表示するのは、電子黒板１００の使用環境によっては、表示面１０２の一部分に外光が映り込み、撮像画面に輝度ムラが発生する可能性があるためである。輝度ムラは、背景板１０５のエッジと誤検出されるおそれがある。従って、ここでの光度又は照度は、少なくとも任意の外光が存在しても写り込みによる擬似エッジを撮像画面内から消去可能な値に設定する。
【００４３】
また、表示面指示標的は、画像処理において、撮像画面に含まれるエッジ情報のうち背景板１０５に対応するエッジとその他のエッジとの識別を容易にするために、すなわち表示面１０２と背景板１０５の境界の識別を容易にするために表示される。図４に、表示面指定画面の表示例を示す。図４に示す表示面指定画面の場合には、その四隅付近に各１つ（計４つ）の表示面指示標的を配置している。なお、表示面指示標的は、表示面指定画面上の任意の位置に１つだけ、２つだけ、３つだけ、５つ以上配置されても良い。好ましくは、背景板１０５が設置される各辺に付き１つの表示面指示標的を配置する。さらに好ましくは、背景板１０５が設置される各辺に付き２つの表示面指示標的を配置する。
【００４４】
次に、表示面指示標的座標検出部としての機能を説明する。背景板領域抽出機能部（ＣＰＵ２０１）は、表示面指定画面の表示直後に、カメラＡ１０３に対して撮像指示を出力する。その結果、背景板領域抽出機能部（ＣＰＵ２０１）は、カメラＡ１０３から撮影画像（以下、「全体画像」という。）を取得する。
【００４５】
同様に、背景板領域抽出機能部（ＣＰＵ２０１）は、電子黒板１００の操作者に対し、表示面指定画面に表示された表示面指示標的を座標指示物で指し示すように通知する。例えば表示面指定画面上に、これから画面表示される表示面指示標的を座標指示物で指し示すように指示文を表示する。なお、操作に慣れた上級者向け用として、当該指示文の表示を省略し、すぐさま表示面指示標的を表示する機能を用意しても良い。
【００４６】
表示面指定画面が表示面１０２に表示されている間も、背景板領域抽出機能部（ＣＰＵ２０１）は撮像指示を出力し、カメラＡ１０３から撮影画像（以下、「標的画像」という。）を取得する。
【００４７】
なお、表示面指示標的を複数表示する場合、背景板領域抽出機能部（ＣＰＵ２０１）は、表示面指示標的を１つずつ画面上に表示する。例えば図４の場合、背景板領域抽出機能部（ＣＰＵ２０１）は、表示面指示標的１を表示し、次に、表示面指示標的２を表示し、次に、表示面指示標的３を表示し、次に、表示面指示標的４を表示する。また、背景板領域抽出機能部（ＣＰＵ２０１）は、新たな表示面指示標的が画面上に表示されるたびに撮像指示を出力し、各表示面指示標的に対応する標的画像を順次取得する。
【００４８】
この後、背景板領域抽出機能部（ＣＰＵ２０１）は全体画像を基準画像とし、当該基準画像と各標的画像との差画像から全体画像上における表示面指示標的の座標位置を取得する。ここでの座標位置は、カメラＡ１０３により撮像される画像及びこれから生成される画像（全体画像、標的画像、差画像、第１エッジ画像、エッジ合成除去画像、第２エッジ画像）内における各表示面指示標的の座標位置として用いられる。勿論、カメラＢ１０４についても、同様に、全体画像上における表示面指示標的の座標位置が取得され、カメラＢ１０４によって撮像される画像及びこれから生成される画像内における各表示面指示標的の座標位置として用いられる。
【００４９】
図５に、カメラＡ１０３によって撮像される全体画像の例を示す。図５の画像中央において縦方向に延伸する屈曲した細長い領域が、表示面１０２の右辺と下辺に位置する背景板１０５に対応する。領域が屈曲しているのは、２つの背景板１０５が形成する面からオフセットした位置から撮像しているためである。また、領域幅が太い部分はカメラＡ１０３に近い領域であることを意味し、領域幅が狭い部分はカメラＡ１０３から遠く離れた領域であることを意味する。すなわち、遠近効果の影響である。
【００５０】
この他、図５に示す全体画像には、電子黒板筺体（ボード１０１）と表示面１０２が背景板１０５に対応する領域の左側に撮像され、床１０６が背景板１０５に対応する領域の右側に撮像される。
【００５１】
背景板１０５に対応する領域のうち画像上方で若干細く縊れている部分は、電子黒板１００の右下隅に対応するためである。電子黒板１００の右下隅は、カメラＡ１０３から一番遠い場所に当たるためである。
【００５２】
図５においては、説明を簡単にするため、背景板１０５に対応する領域の右側に床１０６だけが写っている例を表している。しかし、実際の撮像画面には、床１０６以外にも、人、物、壁、窓等が写り込むことがある。また、図５の例では、表示面１０２、背景板１０５、ボード１０１、床１０６の各境界が直線となるように描いているが、実際にはカメラＡ１０３に付属するレンズの歪み等の影響で若干弓なり（すなわち、弧線として）に撮像される。
【００５３】
なお、以降の説明の便宜上、カメラＡ１０３で撮像する画像およびこれから生成される画像（全体画像、標的画像、差画像、第１エッジ画像、エッジ合成除去画像、第２エッジ画像）は、いずれも図中の左上隅を座標原点とし、右方向をｘ軸方向とし、下方向をｙ軸方向とする。
【００５４】
続く、ステップ３０２において、背景板領域抽出機能部（ＣＰＵ２０１）は、全体画像から第１エッジ画像を作成する。この機能を、本明細書では、第１エッジ画像生成部と呼ぶ。ここでの第１エッジ画像は、全体画像から変化量が大きい画像データだけを抽出した画像に当たる。すなわち、第１エッジ画像は、全体画像の各ピクセルについて、一定範囲の周囲に隣接するピクセルからの明度の変化量（一次微分値）をｘ軸方向またはｙ軸方向のいずれかに計算した値、あるいはそれらを合成した値が、所定の閾値以上であるピクセルの値を１、それ以外のピクセルの値を０とした二値画像に当たる。
【００５５】
エッジの検出には、例えばＣａｎｎｙエッジ検出器やＨｏｕｇｈ変換器等を使用する。もっとも、エッジの検出に用いる方法は任意であり、これらの検出器や変換器に限らない。図６に、第１エッジ画像の例を示す。図６の場合、画像中央には、縦方向に複数のエッジがほぼ平行に走っている。これらのエッジは、表示面１０２と背景板１０５との隙間や、背景板１０５とその構造を裏側から支える電子黒板筺体（ボード１０１）の境界、背景板１０５の表示面１０２への写り込み等で生じたものである。
【００５６】
図６に示す第１エッジ画像のうち左半分の領域に斜めに延びる２本のエッジは、電子黒板筺体（ボード１０１）と表示面１０２の境界によって生じたものである。第１エッジ画像のうち中央部の矩形状領域は、白色光が投影された表示面１０２を撮像した領域なのでエッジは抽出されない。なお、画像右側に床以外のものが写り込んでいれば、この領域には様々なエッジが抽出される。
【００５７】
ステップ３０３において、背景板領域抽出機能部（ＣＰＵ２０１）は、画像処理により、第１エッジ画像に含まれる平行エッジを一つにまとめ、エッジ合成領域として取り扱い可能とする。すなわち、エッジの合成と除去を実行する。この際、背景板領域抽出機能部（ＣＰＵ２０１）は、エッジ合成除去画像生成部として動作する。
【００５８】
ここで、エッジの合成と除去には、エッジ同士の隙間を埋めるモルフォロジー変換処理（膨張処理、収縮処理又はそれらの組み合わせ処理等）やエッジで囲まれた領域を特定するフラッドフィル処理等を使用する。もっとも、これらは一例であり、他の任意の手法を用いることができる。
【００５９】
また、背景板領域抽出機能部（ＣＰＵ２０１）は、第１エッジ画像内の表示面指示標的の座標よりもｘ軸の負の方向に延びるエッジを除去する。これにより、電子黒板筺体（ボード１０１）と表示面１０２の境界部分に生じたエッジを取り除くことができる。図７に、エッジの合成処理と除去処理を実行した後の画像（エッジ合成除去画像）の一例を示す。図７のうち画面中央の灰色に着色した領域がエッジの合成処理で得られた領域である。図７の場合には、背景板１０５に対応する領域だけが残っている。ただし、全体画像中に床以外の物体、例えば人、物、壁、窓等が写り込んでいる場合、エッジ合成除去画像の右半分にはそれらから生じたエッジ合成領域がこの時点でも残っている。
【００６０】
そこで、ステップ３０４において、背景板領域抽出機能部（ＣＰＵ２０１）は、背景板領域に対応する境界線だけをエッジ合成除去画像から抽出する処理を実行する。ここで、背景板領域抽出機能部（ＣＰＵ２０１）は、第２エッジ画像生成部及び背景板領域抽出部として動作する。
【００６１】
まず、第２エッジ画像生成部としての機能を説明する。このとき、背景板領域抽出機能部（ＣＰＵ２０１）は、ステップ３０２と同様のエッジ検出処理を適用し、エッジ合成領域に含まれるエッジ成分の画像（第２エッジ画像）を作成する。すなわち、エッジ合成除去画像から変化量が大きいエッジだけを抽出する。
【００６２】
次に、背景板領域抽出部としての機能を説明する。このとき、背景板領域抽出機能部（ＣＰＵ２０１）は、背景板１０５が表示面指示標的の座標よりも右側（ｘ軸座標が大きい側）に存在することが自明であることを利用し、背景板１０５に対応するエッジだけを効率良く抽出する。すなわち、表示面指示標的の座標と背景板１０５に対応するエッジの相対的な位置関係に基づいて、背景板１０５に対応するエッジだけを抽出する。
【００６３】
具体的には、第２エッジ画像における表示面指示標的の座標を起点としてｘ軸の正方向に進んだ際に１番目に出会うエッジと２番目に出会うエッジを、背景板１０５に対応する領域の左右の境界線とする。また、これら２つの境界線と第２エッジ画像の上下端で挟まれた領域を背景板領域とみなす。
【００６４】
このエッジ選択方法の適用により、床１０６の撮像領域に人、物、壁、窓等が写り込み、エッジ合成除去画像の右側半分にそれらに対応するエッジ合成領域が残っている場合でも、背景板領域の境界線だけを確実に選択することができる。
【００６５】
なお、実際のエッジ合成領域の境界線は、一般に複数のエッジの合成で形成されている。すなわち、境界線は、単純な直線になっていないことも多い。具体的には、境界線は、複数の線分の集まりとして構成される場合が多い。この場合、１つの表示面指示標的から放射状にｘ軸の正方向に進んだ際に１番目に出会うエッジと２番目に出会うエッジを抽出する方法、背景板１０５の各辺に平行になるように配置される２つの表示面指示標的を結ぶ仮想線を分割し、分割点からｘ軸の正方向に進んだ際に１番目に出会うエッジと２番目に出会うエッジを抽出する方法等の処理が必要となる。ただし、これらの方法は、エッジを構成する線分が多い場合、画像処理の演算量が多くなる。なお、レンズ歪みの影響等により、境界線を構成する線分は、一直線ではなく弓なりの弧線となる場合もある。
【００６６】
そこで、本発明者は、背景板領域の境界線を与えるエッジを効率的に検出できる手法として、以下の処理内容を提案する。具体的には、多数の線分で構成されるエッジを関数に近似し、画像処理の効率化を実現する方法を提案する。ここでは、近似方法の一例として、境界線を直線に近似する場合について説明する。
【００６７】
図８に、第２エッジ画像の例を示す。図８の場合、画像中央の縦線２本がエッジ合成領域を構成する境界線である。図８では、説明を簡単にするため、背景板１０５に対応する境界線のみを表しているが、床以外の物体の映り込みがある場合には第２エッジ画像の右半分側にその他の境界線も存在することは既に述べた通りである。
【００６８】
直線近似法を適用する場合、背景板領域抽出機能部（ＣＰＵ２０１）は、第２エッジ画像上で表示面指示標的２と表示面指示標的４の座標間を結ぶ線分を等分に分割する分割点の各座標を算出する。次に、背景板領域抽出機能部（ＣＰＵ２０１）は、各分割点からｘ軸の正方向（図８の右方向）に進み、１番目に出会うエッジとの交点の座標と２番目に出会うエッジとの交点の座標を検出する。次に、背景板領域抽出機能部（ＣＰＵ２０１）は、１番目に出会うエッジとの交点の座標だけを集め、それらの近傍を通る近似直線を最小二乗法により求める。例えば図８の左下側の背景板領域の境界線は、ｙ＝ａｘ＋ｂで与えられる一次式として求められる。同様に、２番目に出会うエッジとの交点の座標だけを集め、それらの近傍を通る近似直線を最小二乗法により求めると、同右下側の境界線を得ることができる。
【００６９】
表示面指示標的３と表示面指示標的４についても同様の手順を実行すると、同左上側と右上側の境界線を得ることができる。なお、表示面指示標的を結ぶ線分の等分数は幾つでも良く、図８に例示したものに限らない。また、境界線の近似方法は、ここで挙げた最小二乗法以外の手法でも良く、一次式以外の関数に近似しても良い。
【００７０】
なお、第２エッジ画像に含まれるエッジ合成領域の幅が途中で大きく変化したり、又はエッジ合成領域が分断されていたりすると、近似に用いる交点の座標が他の座標より大きくずれてしまう。この場合でも、境界線の近似後に各交点との差異を検証し、大きくずれている座標を除外したうえで境界線の再近似を行えば、本来の背景板１０５の輪郭に近い背景板領域の境界線を得ることができる。
【００７１】
ところで、前述した方法で抽出した背景板領域は、背景板１０５の表示面１０２等への写り込み等により、本来の背景板領域より幅が広がっている可能性がある。そのような検出結果が想定される場合には、前述した方法で抽出された背景板領域の幅の数分の１を両側又は一方から削って最終的な背景板領域として扱っても良い。
【００７２】
また、背景板領域の幅が一定のほうが画像処理の効率が良いので、表示面指示標的からｘ軸方向に進んで１番目に出会ったエッジのみを抽出し、当該エッジ又は更に近似した境界線からｘ軸の正方向に一定の幅を取った領域を背景板領域とみなしても良い。
【００７３】
同様に、表示面指示標的からｘ軸の正方向に進んで２番目に出会ったエッジのみを抽出し、当該エッジ又は更に近似した境界線からｘ軸の負方向に一定の幅を取った領域を背景板領域とみなしても良い。
【００７４】
（座標検出機能）
前述した背景板領域抽出機能の実行により、カメラＡ１０３及びカメラＢ１０４の撮像画面のうち背景板１０５に対応する領域（背景板領域）が抽出されると、座標指示物による指示された画面上の座標が三角測量の原理を用いて検出される。ここでは、本実施例における座標検出処理の概要を説明する。
【００７５】
まず、ＣＰＵ２０１は、検出面に座標指示物が存在しない状態で、カメラＡ１０３及びカメラＢ１０４で撮像された全体画像から前述した背景板領域抽出部によって確定された背景板領域の画像を基準画像として切り出す。このとき、ＣＰＵ２０１は、基準画像記憶制御部として機能する。カメラＡ１０３に対応する基準画像は左基準画像として、カメラＢ１０４に対応する基準画像は右基準画像としてＲＡＭ２０３の基準画像記憶領域に保存される。なお、背景板領域を与える情報は、ＲＡＭ２０３に格納されている。
【００７６】
次に、ＣＰＵ２０１は、検出面に座標指示物が挿入された状態で、カメラＡ１０３及びカメラＢ１０４で撮像された全体画像から前述した背景板領域抽出部によって確定された背景板領域の画像を最新画像として切り出す。このとき、ＣＰＵ２０１は、座標指示物画像記憶として機能する。カメラＡ１０３に対応する最新画像は左座標指示物画像として、カメラＢ１０４に対応する最新画像は右座標指示物画像としてＲＡＭ２０３の座標指示物画像領域に保存される。
【００７７】
次に、ＣＰＵ２０１は、各座標指示物画像と対応する基準画像との差分画像から座標指示物だけを被写体として抽出する。すなわち、ＣＰＵ２０１は、被写体抽出部として機能する。
【００７８】
続いて、ＣＰＵ２０１は、抽出された被写体の左右一対の座標指示物画像内における位置情報に基づいて座標指示物の表示面上における座標を検出（算出）する。すなわち、ＣＰＵ２０１は、座標検出部として機能する。この際、左右一対の座標指示物画像には、被写体である座標指示物画像だけが含まれるため、常に正確な座標の検出（算出）が可能となる。
【００７９】
（まとめ）
以上説明したように、実施例に係る電子黒板システムにおいては、背景板領域抽出処理を電子黒板１００の使用前に実行する。これにより、カメラＡ１０３及びカメラＢ１０４で撮像された全体画像から背景板１０５に対応する背景板領域だけを自動的に抽出することができる。当該抽出された背景板領域又は更に画像処理して長方形に整形した背景板領域を用いれば、温度変化や経年変化等により電子黒板筺体（ボード１０１）が変形した場合やカメラの取り付け位置が多少ずれた場合にも、ユーザ等によるカメラ等の取り付けの微調整無しに、座標指示物の座標を正確に検出可能とする背景板領域の自動抽出を実現できる。
【００８０】
また、当該背景板領域の自動抽出機能を搭載することにより、従来に比して少ない負担で、常に正確な座標検出を実現できる。
【符号の説明】
【００８１】
１００…電子黒板、１０１…ボード、１０２…表示面、１０３…カメラＡ、１０４…カメラＢ、１０５…背景板、１０６…床、２００…ＰＣ、２０１…ＣＰＵ、２０２…ＲＯＭ、２０３…ＲＡＭ、２０４…ＨＤＤ、２０５…ビデオカード、２０６…ディスプレイＩ／Ｆ、２０７…外部Ｉ／Ｆ、２０８…内部バス、２０９…ディスプレイケーブル、２１０…プロジェクタ、２１１…接続ケーブル。
【特許請求の範囲】
【請求項１】
所定の背景板を外周に有する表示面上に、座標指示物の接触位置を指示する表示面指示標的を１つ以上含む表示面指定画面を表示する表示面指定画面表示制御手段と、
前記表示面の上空近傍の検出面に挿入された座標指示物を撮像する１つ以上の撮像手段と、
前記検出面に座標指示物が挿入されていない時に前記撮像手段で撮像された基準画像と、前記検出面に座標指示物が挿入されている時に前記撮像手段で撮像された標的画像とから、前記撮像手段の撮像画像内における前記表示面指示標的に対応する標的座標を検出する標的座標検出手段と、
前記基準画像のエッジを抽出した第１エッジ画像を生成する第１エッジ画像生成手段と、
前記第１エッジ画像内において、近接平行するエッジを合成してエッジ合成領域を生成すると共に、前記標的座標に対して第１の相対位置関係を満たさないエッジを除去してエッジ合成除去画像を生成するエッジ合成除去画像生成手段と、
前記エッジ合成除去画像のエッジを抽出した第２エッジ画像を生成する第２エッジ画像生成手段と、
前記第２エッジ画像内において、少なくとも１つの前記表示面指示標的座標に対して第２の相対位置関係を満たすエッジを前記背景板の輪郭に相当する背景板領域として抽出する背景板領域抽出手段と、
を有することを特徴とする電子黒板システム。
【請求項２】
請求項１に記載の電子黒板システムにおいて、
前記検出面に座標指示物が存在しない状態で複数の前記撮像手段によって撮像した画像から前記背景板領域抽出手段で抽出された領域を切り出した基準画像を保存する基準画像記憶制御手段と、
前記検出面に座標指示物が挿入された状態で複数の前記撮像手段によって撮像した画像から前記背景板領域抽出手段で抽出された領域を切り出した座標指示物の画像を保存する座標指示物画像記憶制御手段と、
基準画像に基づいて座標指示物画像から座標指示物に当たる被写体だけを抽出する被写体抽出手段と、
被写体抽出手段によって抽出された被写体の座標指示物画像内での位置から座標指示物の座標を検出する座標検出手段と、
を有することを特徴とする電子黒板システム。
【請求項３】
請求項１に記載の電子黒板システムにおいて、
前記第２の相対位置関係を満たすエッジは、前記標的座標を起点として背景板が存在する方向に延びる仮想線が１番目に出会うエッジと２番目に出会うエッジである
ことを特徴とする電子黒板システム。
【請求項４】
請求項１に記載の電子黒板システムにおいて、
前記第２の相対位置関係を満たすエッジは、前記標的座標を起点として背景板が存在する方向に延びる仮想線が１番目に出会うエッジであり、
前記背景板領域は、前記１番目に出会うエッジから一定の幅だけ前記標的座標から離れる方向の範囲内にある領域である
ことを特徴とする電子黒板システム。
【請求項５】
請求項１に記載の電子黒板システムにおいて、
前記第２の相対位置関係を満たすエッジは、前記標的座標を起点として背景板が存在する方向に延びる仮想線が２番目に出会うエッジであり、
前記背景板領域は、前記２番目に出会うエッジから一定の幅だけ前記標的座標に近づく方向の範囲内にある領域である
ことを特徴とする電子黒板システム。
【請求項６】
請求項１に記載の電子黒板システムにおいて、
前記第２の相対位置関係を満たすエッジは、前記標的座標及び複数の標的座標間を結ぶ線分上の分割点を起点として背景板が存在する方向に延びる仮想線が１番目に出会うエッジとの交点の集合についての近似関数と、前記仮想線が２番目に出会うエッジとの交点の集合についての近似関数で与えられる
ことを特徴とする電子黒板システム。
【請求項７】
電子黒板システムを構成するコンピュータを、
所定の背景板を外周に有する表示面上に、座標指示物の接触位置を指示する表示面指示標的を１つ以上含む表示面指定画面を表示する表示面指定画面表示制御手段と、
前記表示面の上空近傍の検出面に挿入された座標指示物を撮像する１つ以上の撮像手段を制御する制御手段と、
前記検出面に座標指示物が挿入されていない時に前記撮像手段で撮像された基準画像と、前記検出面に座標指示物が挿入されている時に前記撮像手段で撮像された標的画像とから、前記撮像手段の撮像画像内における前記表示面指示標的に対応する標的座標を検出する標的座標検出手段と、
前記基準画像のエッジを抽出した第１エッジ画像を生成する第１エッジ画像生成手段と、
前記第１エッジ画像内において、近接平行するエッジを合成してエッジ合成領域を生成すると共に、前記標的座標に対して第１の相対位置関係を満たさないエッジを除去してエッジ合成除去画像を生成するエッジ合成除去画像生成手段と、
前記エッジ合成除去画像のエッジを抽出した第２エッジ画像を生成する第２エッジ画像生成手段と、
前記第２エッジ画像内において、前記標的座標に対して第２の相対位置関係を満たすエッジを前記背景板の輪郭に相当する背景板領域として抽出する背景板領域抽出手段と、
として機能させることを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムは、コンピュータを、
前記検出面に座標指示物が存在しない状態で複数の前記撮像手段によって撮像した画像から前記背景板領域抽出手段で抽出された領域を切り出した基準画像を保存する基準画像記憶制御手段と、
前記検出面に座標指示物が挿入された状態で複数の前記撮像手段によって撮像した画像から前記背景板領域抽出手段で抽出された領域を切り出した座標指示物の画像を保存する座標指示物画像記憶制御手段と、
基準画像に基づいて座標指示物画像から座標指示物に当たる被写体だけを抽出する被写体抽出手段と、
被写体抽出手段によって抽出された被写体の座標指示物画像内での位置から座標指示物の座標を検出する座標検出手段と、
をして機能させることを特徴とするプログラム。
【請求項９】
請求項７に記載のプログラムにおいて、
前記第２の相対位置関係を満たすエッジは、前記標的座標を起点として背景板が存在する方向に延びる仮想線が１番目に出会うエッジと２番目に出会うエッジである
ことを特徴とするプログラム。
【請求項１０】
請求項７に記載のプログラムにおいて、
前記第２の相対位置関係を満たすエッジは、前記標的座標を起点として背景板が存在する方向に延びる仮想線が１番目に出会うエッジであり、
前記背景板領域は、前記１番目に出会うエッジから一定の幅だけ前記標的座標から離れる方向の範囲内にある領域である
ことを特徴とするプログラム。
【請求項１１】
請求項７に記載のプログラムにおいて、
前記第２の相対位置関係を満たすエッジは、前記標的座標を起点として背景板が存在する方向に延びる仮想線が２番目に出会うエッジであり、
前記背景板領域は、前記２番目に出会うエッジから一定の幅だけ前記標的座標に近づく方向の範囲内にある領域である
ことを特徴とするプログラム。
【請求項１２】
請求項７に記載のプログラムにおいて、
前記第２の相対位置関係を満たすエッジは、前記標的座標及び複数の標的座標間を結ぶ線分上の分割点を起点として背景板が存在する方向に延びる仮想線が１番目に出会うエッジとの交点の集合についての近似関数と、前記仮想線が２番目に出会うエッジとの交点の集合についての近似関数で与えられる
ことを特徴とするプログラム。
【請求項１】
所定の背景板を外周に有する表示面上に、座標指示物の接触位置を指示する表示面指示標的を１つ以上含む表示面指定画面を表示する表示面指定画面表示制御手段と、
前記表示面の上空近傍の検出面に挿入された座標指示物を撮像する１つ以上の撮像手段と、
前記検出面に座標指示物が挿入されていない時に前記撮像手段で撮像された基準画像と、前記検出面に座標指示物が挿入されている時に前記撮像手段で撮像された標的画像とから、前記撮像手段の撮像画像内における前記表示面指示標的に対応する標的座標を検出する標的座標検出手段と、
前記基準画像のエッジを抽出した第１エッジ画像を生成する第１エッジ画像生成手段と、
前記第１エッジ画像内において、近接平行するエッジを合成してエッジ合成領域を生成すると共に、前記標的座標に対して第１の相対位置関係を満たさないエッジを除去してエッジ合成除去画像を生成するエッジ合成除去画像生成手段と、
前記エッジ合成除去画像のエッジを抽出した第２エッジ画像を生成する第２エッジ画像生成手段と、
前記第２エッジ画像内において、少なくとも１つの前記表示面指示標的座標に対して第２の相対位置関係を満たすエッジを前記背景板の輪郭に相当する背景板領域として抽出する背景板領域抽出手段と、
を有することを特徴とする電子黒板システム。
【請求項２】
請求項１に記載の電子黒板システムにおいて、
前記検出面に座標指示物が存在しない状態で複数の前記撮像手段によって撮像した画像から前記背景板領域抽出手段で抽出された領域を切り出した基準画像を保存する基準画像記憶制御手段と、
前記検出面に座標指示物が挿入された状態で複数の前記撮像手段によって撮像した画像から前記背景板領域抽出手段で抽出された領域を切り出した座標指示物の画像を保存する座標指示物画像記憶制御手段と、
基準画像に基づいて座標指示物画像から座標指示物に当たる被写体だけを抽出する被写体抽出手段と、
被写体抽出手段によって抽出された被写体の座標指示物画像内での位置から座標指示物の座標を検出する座標検出手段と、
を有することを特徴とする電子黒板システム。
【請求項３】
請求項１に記載の電子黒板システムにおいて、
前記第２の相対位置関係を満たすエッジは、前記標的座標を起点として背景板が存在する方向に延びる仮想線が１番目に出会うエッジと２番目に出会うエッジである
ことを特徴とする電子黒板システム。
【請求項４】
請求項１に記載の電子黒板システムにおいて、
前記第２の相対位置関係を満たすエッジは、前記標的座標を起点として背景板が存在する方向に延びる仮想線が１番目に出会うエッジであり、
前記背景板領域は、前記１番目に出会うエッジから一定の幅だけ前記標的座標から離れる方向の範囲内にある領域である
ことを特徴とする電子黒板システム。
【請求項５】
請求項１に記載の電子黒板システムにおいて、
前記第２の相対位置関係を満たすエッジは、前記標的座標を起点として背景板が存在する方向に延びる仮想線が２番目に出会うエッジであり、
前記背景板領域は、前記２番目に出会うエッジから一定の幅だけ前記標的座標に近づく方向の範囲内にある領域である
ことを特徴とする電子黒板システム。
【請求項６】
請求項１に記載の電子黒板システムにおいて、
前記第２の相対位置関係を満たすエッジは、前記標的座標及び複数の標的座標間を結ぶ線分上の分割点を起点として背景板が存在する方向に延びる仮想線が１番目に出会うエッジとの交点の集合についての近似関数と、前記仮想線が２番目に出会うエッジとの交点の集合についての近似関数で与えられる
ことを特徴とする電子黒板システム。
【請求項７】
電子黒板システムを構成するコンピュータを、
所定の背景板を外周に有する表示面上に、座標指示物の接触位置を指示する表示面指示標的を１つ以上含む表示面指定画面を表示する表示面指定画面表示制御手段と、
前記表示面の上空近傍の検出面に挿入された座標指示物を撮像する１つ以上の撮像手段を制御する制御手段と、
前記検出面に座標指示物が挿入されていない時に前記撮像手段で撮像された基準画像と、前記検出面に座標指示物が挿入されている時に前記撮像手段で撮像された標的画像とから、前記撮像手段の撮像画像内における前記表示面指示標的に対応する標的座標を検出する標的座標検出手段と、
前記基準画像のエッジを抽出した第１エッジ画像を生成する第１エッジ画像生成手段と、
前記第１エッジ画像内において、近接平行するエッジを合成してエッジ合成領域を生成すると共に、前記標的座標に対して第１の相対位置関係を満たさないエッジを除去してエッジ合成除去画像を生成するエッジ合成除去画像生成手段と、
前記エッジ合成除去画像のエッジを抽出した第２エッジ画像を生成する第２エッジ画像生成手段と、
前記第２エッジ画像内において、前記標的座標に対して第２の相対位置関係を満たすエッジを前記背景板の輪郭に相当する背景板領域として抽出する背景板領域抽出手段と、
として機能させることを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムは、コンピュータを、
前記検出面に座標指示物が存在しない状態で複数の前記撮像手段によって撮像した画像から前記背景板領域抽出手段で抽出された領域を切り出した基準画像を保存する基準画像記憶制御手段と、
前記検出面に座標指示物が挿入された状態で複数の前記撮像手段によって撮像した画像から前記背景板領域抽出手段で抽出された領域を切り出した座標指示物の画像を保存する座標指示物画像記憶制御手段と、
基準画像に基づいて座標指示物画像から座標指示物に当たる被写体だけを抽出する被写体抽出手段と、
被写体抽出手段によって抽出された被写体の座標指示物画像内での位置から座標指示物の座標を検出する座標検出手段と、
をして機能させることを特徴とするプログラム。
【請求項９】
請求項７に記載のプログラムにおいて、
前記第２の相対位置関係を満たすエッジは、前記標的座標を起点として背景板が存在する方向に延びる仮想線が１番目に出会うエッジと２番目に出会うエッジである
ことを特徴とするプログラム。
【請求項１０】
請求項７に記載のプログラムにおいて、
前記第２の相対位置関係を満たすエッジは、前記標的座標を起点として背景板が存在する方向に延びる仮想線が１番目に出会うエッジであり、
前記背景板領域は、前記１番目に出会うエッジから一定の幅だけ前記標的座標から離れる方向の範囲内にある領域である
ことを特徴とするプログラム。
【請求項１１】
請求項７に記載のプログラムにおいて、
前記第２の相対位置関係を満たすエッジは、前記標的座標を起点として背景板が存在する方向に延びる仮想線が２番目に出会うエッジであり、
前記背景板領域は、前記２番目に出会うエッジから一定の幅だけ前記標的座標に近づく方向の範囲内にある領域である
ことを特徴とするプログラム。
【請求項１２】
請求項７に記載のプログラムにおいて、
前記第２の相対位置関係を満たすエッジは、前記標的座標及び複数の標的座標間を結ぶ線分上の分割点を起点として背景板が存在する方向に延びる仮想線が１番目に出会うエッジとの交点の集合についての近似関数と、前記仮想線が２番目に出会うエッジとの交点の集合についての近似関数で与えられる
ことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１５０７６０（Ｐ２０１２−１５０７６０Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−１０７５０（Ｐ２０１１−１０７５０）
【出願日】平成２３年１月２１日（２０１１．１．２１）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月２１日（２０１１．１．２１）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
[ Back to top ]