発光体識別装置、発光体識別方法、および発光体識別プログラム
【課題】発光体の発光を入力情報として、発光体の発光色に基づき簡易な手順で入力情報を識別する。
【解決手段】発光体識別装置１００は、ＩＲカメラ１５０およびカラーカメラ１５２で同一の対象物を同時に撮像してそれぞれ得たＩＲ画像およびカラー画像を取得する画像取得部１１２と、ＩＲ画像から、輝度値が所定の閾値以上となる第１の画素を発光体の存在位置として検出して、当該存在位置を示す第１の位置情報を取得する位置情報取得部１１４と、位置情報取得部１１４が取得した第１の位置情報に基づき、カラー画像から第１の位置に対応する位置の第２の画素を含む発光体の発光色判定領域を選択する発光色判定領域選択部１１６と、カラー画像の発光色判定領域に含まれる画素の色成分情報に基づき、発光体の発光色を判定する発光色判定部１１８と、を含む。
【解決手段】発光体識別装置１００は、ＩＲカメラ１５０およびカラーカメラ１５２で同一の対象物を同時に撮像してそれぞれ得たＩＲ画像およびカラー画像を取得する画像取得部１１２と、ＩＲ画像から、輝度値が所定の閾値以上となる第１の画素を発光体の存在位置として検出して、当該存在位置を示す第１の位置情報を取得する位置情報取得部１１４と、位置情報取得部１１４が取得した第１の位置情報に基づき、カラー画像から第１の位置に対応する位置の第２の画素を含む発光体の発光色判定領域を選択する発光色判定領域選択部１１６と、カラー画像の発光色判定領域に含まれる画素の色成分情報に基づき、発光体の発光色を判定する発光色判定部１１８と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発光体識別装置、発光体識別方法、および発光体識別プログラムに関する。
【背景技術】
【０００２】
近年、ユーザに模擬的なペンを用いて電子黒板等への描画を行わせ、ペンの軌跡を取得してプロジェクタ等で画像データを表示する技術が開発されている。
【０００３】
たとえば、特許文献１（特開２００２−０７９７９２号公報）には、弾性波振動を伝達する振動伝達板と、該振動伝達板に弾性波振動を入力する振動入力手段（振動入力ペン）と、振動伝達板の外縁に設けた、弾性波振動を検出する振動検出手段と、振動入力手段からの弾性波振動が振動検出手段まで到達する時間に応じて、振動入力手段の振動伝達板上の座標位置を算出する座標算出手段とを備えた電子黒板装置が記載されている。ここで、振動入力ペンは、インクで描画することができるマーカーペンとしても機能する構成とすることが記載されている。
【０００４】
また、特許文献２（特開２００５−１３５０８１号公報）には、撮像素子による画像取り込みによってポインタの座標を取得するスクリーンに用いるライトペンであって、ポインタの先端に設けた発光手段と、前記ポインタの先端が前記スクリーンに押圧されていることを検知する押圧検知手段と、前記発光手段を制御する発光制御手段とを備えるライトペンが記載されている。これによりライトペンの動作を受光素子によって知ることができ、プロジェクタに対して画像データを生成することができるとされている。
【０００５】
また、ゲームを行う際に、ユーザが手に持って操作するコントローラが用いられている。たとえば特許文献３（特開２００７−３１３３５４号公報）には、片手でも安定して操作できることを目的としたコントローラ（ゲーム用操作装置）の構成が記載されている。ここでは、ゲーム機とコントローラとが、Ｂｌｕｅｔｏｏｔｈによる無線通信を行う例が記載されている。当該文献に記載の技術においては、コントローラとゲーム機とが初期設定等により互いのＢｌｕｅｔｏｏｔｈアドレスを予め記憶した構成とすることにより、ゲーム機に対して複数のコントローラを接続可能としている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−０７９７９２号公報
【特許文献２】特開２００５−１３５０８１号公報
【特許文献３】特開２００７−３１３３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、従来、ペンやコントローラ等の入力手段を複数のユーザがそれぞれ用いる場合に、簡易な手順でそれら複数の入力手段を区別する方法がなかった。たとえば特許文献３に記載されたように、Ｂｌｕｅｔｏｏｔｈによる無線通信を用いて予めＢｌｕｅｔｏｏｔｈアドレスを記憶しておく構成とすることにより、各入力手段を区別することが可能となる。しかし、このような方法では、入力手段側にも無線通信機能を持たせる必要があり、構成が複雑となる。
【０００８】
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、発光体の発光を入力情報として、発光体の発光色に基づき簡易な手順で入力情報を識別する技術を提供することにある。
【課題を解決するための手段】
【０００９】
本発明によれば、
ＩＲカメラおよびカラーカメラで同一の対象物を同時に撮像してそれぞれ得たＩＲ画像およびカラー画像を取得する画像取得部と、
前記ＩＲ画像から、輝度値が所定の閾値以上となる第１の画素を発光体の存在位置として検出して、当該存在位置を示す第１の位置情報を取得する位置情報取得部と、
前記位置情報取得部が取得した前記第１の位置情報に基づき、前記カラー画像から前記第１の位置に対応する位置の第２の画素を含む発光体の発光色判定領域を選択する発光色判定領域選択部と、
前記発光色判定領域選択部が選択した前記カラー画像の前記発光色判定領域に含まれる画素の色成分情報に基づき、前記発光体の発光色を判定する発光色判定部と、
を含む発光体識別装置が提供される。
【００１０】
本発明によれば、
ＩＲカメラおよびカラーカメラで同一の対象物を同時に撮像してそれぞれ得たＩＲ画像およびカラー画像を取得する工程と、
前記ＩＲ画像から、輝度値が所定の閾値以上となる第１の画素を発光体の存在位置として検出して、当該存在位置を示す第１の位置情報を取得する工程と、
前記第１の位置情報を取得する工程で取得された前記第１の位置情報に基づき、前記カラー画像から前記第１の位置に対応する位置の第２の画素を含む発光体の発光色判定領域を選択する工程と、
前記発光色判定領域を選択する工程で選択された前記カラー画像の前記発光色判定領域に含まれる画素の色成分情報に基づき、前記発光体の発光色を判定する工程と、
を含む発光体識別方法が提供される。
【００１１】
発光体を含む風景をＩＲカメラで撮像して得たＩＲ画像は近赤外線だけを取得しているため、照明等の環境光の影響を低減することができ、カラーカメラで得られたカラー画像に比べてノイズを低減することができ、画素の輝度値に基づき、発光体とそれ以外の部分との違いを判断しやすい。本発明の発光体識別装置および発光体識別方法によると、まずＩＲ画像から発光体の存在位置を検出するので、発光体の検出を精度よく迅速に行うことができる。その後、カラー画像の対応する位置の色成分情報に基づき発光色判定処理を行うので、発光体の発光色判定も精度よく簡易に行うことができる。このような構成によれば、たとえば発光色を異ならせた複数の発光体を準備した場合、各発光体の発光色判定を行い、各発光体を発光色に基づき識別する処理を簡易に行うことができる。そのため、発光体を入力デバイスとして用いた際に、複数の入力デバイスを簡易に識別することができる。
【００１２】
本発明の発光体識別装置において、前記発光色判定部は、前記発光体の発光色と前記ＩＲ画像の第１の位置情報または前記カラー画像の前記第２の画素の位置を示す第２の位置情報とを対応付けて出力することができる。このようにすれば、発光体を識別する発光色が発光体により特定される第１の位置情報または第２の位置情報とともに得られるので、たとえばディスプレイの対応する位置に識別された発光体による出力を行うようにすることができる。
【００１３】
また、本発明の発光体識別装置は、前記発光色判定部が出力した前記発光体の発光色および前記第１の位置情報または前記第２の位置情報に基づき、当該発光色で識別される入力デバイスから当該第１の位置情報または当該第２の位置情報への入力があったことを受け付ける入力受付部をさらに含むことができる。このようにすれば、入力デバイスによる入力情報を発光体の位置情報に基づき受け付けるとともに、カラー画像の色成分情報から判定された発光色に応じて入力デバイスを識別することができる。そのため、発光色の異なる発光体をそれぞれ含む複数の入力デバイスを用いて複数のユーザにより入力される入力情報をそれぞれ識別することができる。
【００１４】
本発明の発光体識別装置において、
前記発光色判定領域選択部は、選択した前記発光色判定領域に含まれる画素の輝度値Ｙｉが所定の必要輝度値Ｙｄ以上か否かを判定し、前記輝度値Ｙｉが前記必要輝度値Ｙｄより低い場合に当該発光色判定領域をノイズであると判定するとともに、前記輝度値Ｙｉが前記必要輝度値Ｙｄ以上の場合に当該発光色判定領域をノイズでないと判定することができ、
前記発光色判定部は、前記発光色判定領域選択部により前記発光色判定領域がノイズでないと判定された場合に、当該カラー画像の前記発光色判定領域に含まれる画素の色成分情報に基づき、前記発光体の発光色を判定することができ、
前記必要輝度値Ｙｄは、前記カラー画像の中心部と前記発光色判定領域との距離Ｄｉに応じて当該距離Ｄｉが大きい方が値が低くなるように設定することができる。
【００１５】
発光体がカメラのレンズの中心軸の延長上付近にあり、カメラレンズへの入射角が小さい場合には輝度値が比較的大きくなるが、発光体がカメラのレンズの中心軸の延長上から離れた位置にあり、カメラレンズへの入射角が大きい場合には輝度値が小さくなってしまう。以上の構成によれば、カラー画像の発光色判定領域のノイズ判定処理において、判定に用いる必要輝度値Ｙｄは、カラー画像の中心部と発光色判定領域との距離Ｄｉに応じて距離Ｄｉが大きい方、すなわちカメラレンズへの入射角が大きい場合には値が低くなるように設定されるので、発光体が検出される場所における輝度値の出方の特性も考慮して精度よくノイズを除去することができる。
【００１６】
本発明によれば、上記発光体識別装置と、発光色が異なる複数の発光体と、前記発光体を撮像するＩＲカメラと、カラーカメラと、を含む発光体識別システムが提供される。
【００１７】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラム等の間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１８】
本発明によれば、発光体の発光を入力情報として、発光体の発光色に基づき簡易な手順で入力情報を識別することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態における発光体識別システムの構成の一例を模式的に示す図である。
【図２】本発明の実施の形態における入力デバイスの構成の一例を模式的に示す図である。
【図３】本発明の実施の形態における入力デバイスにより描かれた軌跡が発光体識別装置から出力されて描画ボードに表示された状態を示す図である。
【図４】本発明の実施の形態における発光体識別装置の構成の一例を示すブロック図である。
【図５】対応記憶部の構成の一例を示す図である。
【図６】本発明の実施の形態における発光体識別装置の処理手順を示すフローチャートである。
【図７】本発明の実施の形態における暗化撮像条件決定部による処理を説明するための模式図である。
【図８】本発明の実施の形態における暗化撮像条件決定部による処理を説明するための模式図である。
【図９】図６のステップＳ１８の処理手順を詳細に示すフローチャートである。
【図１０】ＩＲ画像およびカラー画像への処理の一例を模式的に示す図である。
【図１１】ＩＲ画像およびカラー画像への処理の他の例を模式的に示す図である。
【図１２】図６のステップＳ２０の処理手順を詳細に示すフローチャートである。
【図１３】図１２のステップＳ１３０の処理手順の一例を詳細に示すフローチャートである。
【図１４】図１２のステップＳ１３４の処理手順の一例を詳細に示すフローチャートである。
【図１５】図１２のステップＳ１３６の処理手順の一例を詳細に示すフローチャートである。
【図１６】設定値記憶部の構成の一例を示す図である。
【図１８】前処理時にプロジェクタ用投影フィルムに投影され、描画ボードの描画面側にいるユーザに表示される画面の一例を示す図である。
【図１７】シャッタスピードの設定手順において、設定者であるユーザに提示される画面の一例を示す図である。
【図１９】図６に示したフローチャートのステップＳ１６からステップＳ２０の処理の変形例を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００２１】
まず、本実施の形態における発光体識別システム１０の構成を簡単に説明する。図１は、本実施の形態における発光体識別システム１０の構成の一例を模式的に示す図である。
発光体識別システム１０は、支持台１６２により支持された描画ボード１６０、撮像手段１４８、プロジェクタ１５４、複数の入力デバイス１７０および発光体識別装置１００を含む。図１（ａ）は、ユーザが入力デバイス１７０により描画を行う描画面から見た描画ボード１６０の平面図、図１（ｂ）は、描画ボード１６０の側面図である。
【００２２】
本実施の形態において、撮像手段１４８は、ＩＲカメラ１５０（赤外線カメラ）およびカラーカメラ１５２を含む構成とすることができる。ここで、ＩＲカメラ１５０およびカラーカメラ１５２は、それぞれ動画を取得する。ＩＲカメラ１５０は、対象物を赤外線で撮像してＩＲ画像を得る。カラーカメラ１５２は、対象物を可視光で撮像してカラー画像を得る。本実施の形態において、ＩＲカメラ１５０で撮像したＩＲ画像は、発光体の位置情報（座標）を検出するために用いられる。本実施の形態において、カラーカメラ１５２で撮像したカラー画像は、発光体の発光色を判定するために用いられる。
【００２３】
また、ＩＲカメラ１５０とカラーカメラ１５２とは、同一の対象物を略同時に撮像可能に配置される。つまり、ＩＲカメラ１５０とカラーカメラ１５２とが略同じ方向を向くように配置しておく。たとえば、ＩＲカメラ１５０とカラーカメラ１５２とを上下に並べたり、ＩＲカメラ１５０とカラーカメラ１５２とを左右に並べて配することができる。
【００２４】
また、本実施の形態において、ＩＲカメラ１５０およびカラーカメラ１５２は、描画ボード１６０から距離を隔てて設置され、それぞれその撮像可能な領域内に描画ボード１６０が収まるとともに、領域内のほぼ全体に描画ボード１６０が撮像されるように配置することができる。ＩＲカメラ１５０およびカラーカメラ１５２は、たとえば描画ボード１６０の中心部と重なる位置に配置することができる。これにより、ＩＲカメラ１５０またはカラーカメラ１５２のレンズの中心軸の延長上の対象物がＩＲカメラ１５０またはカラーカメラ１５２により取得される画像の中心部に撮像されるようになる。
【００２５】
ＩＲカメラ１５０は、たとえば光学フィルタにより可視光をカットすることにより構成することができる。ＩＲカメラ１５０は、たとえば９２０ｎｍ以下の可視光をカットした構成とすることができる。カラーカメラ１５２は、たとえば光学フィルタにより近赤外線および赤外線をカットすることにより構成することができる。ただし、ＩＲカメラ１５０およびカラーカメラ１５２は、入力デバイス１７０の発光体１７２として用いるＬＥＤ（Light Emitting Diode）等の発光体を検出可能に構成される。
【００２６】
本実施の形態において、ＩＲカメラ１５０およびカラーカメラ１５２は、たとえば同じ構成のカメラを用いて、カットする光の波長がそれぞれ異なる光学フィルタを設けることにより準備することもできる。一例として、ＩＲカメラ１５０およびカラーカメラ１５２は、それぞれ６４０×４８０ピクセルのＶＧＡ（Video Graphics Array）や１２８０×９６０ピクセルのＸＧＡ等を用いることができる。
【００２７】
本実施の形態において、描画ボード１６０は、たとえば透明アクリル板により構成することができる。また、描画ボード１６０の描画面と反対側の面には、プロジェクタ１５４から投影するデータを表示するためのプロジェクタ用投影フィルム１６４を設けた構成とすることができる。発光体識別装置１００から出力されるデータは、プロジェクタ１５４からプロジェクタ用投影フィルム１６４に投影されて描画ボード１６０の描画面側のユーザに表示される。また、本実施の形態において、ユーザは、プロジェクタ用投影フィルム１６４に投影される画面を見て、入力デバイス１７０を用いて各種入力操作を行う。
【００２８】
図２は、入力デバイス１７０の構成の一例を模式的に示す図である。入力デバイス１７０は、先端に発光体１７２が取り付けられた構成とすることができる。また、入力デバイス１７０には、発光体１７２の発光のオンオフを制御するスイッチ１７４が設けられている。ここで、スイッチ１７４は、たとえばユーザがスイッチ１７４を押している間だけ発光体１７２が発光する構成とすることができる。これにより、ユーザが入力デバイス１７０のスイッチ１７４を瞬間的に押すことにより発光体１７２を瞬間的に発光させることができ、クリックボタンを有するマウス等と同様に用いることができる。また、スイッチ１７４は、発光体１７２を連続的に発光させておくモードに切り替え可能に構成することもできる。これにより、入力デバイス１７０をたとえばユーザが文字や絵を描いたりするためのペンとしても簡易に用いることができるようになる。本実施の形態において、発光体１７２は、ＬＥＤにより構成することができる。なお、入力デバイス１７０の構成はこれに限られず、たとえばスイッチ１７４は、発光体１７２と本体との間に設けられ、入力デバイス１７０の発光体１７２を描画ボード１６０に押しつけることにより、スイッチ１７４がオンとされる構成として、発光体１７２が発光するようにすることもできる。このようにすれば、ユーザが入力デバイス１７０の発光体１７２を描画ボード１６０に押しつけるだけで発光体１７２を発光させることができ、ユーザが入力デバイス１７０で描画する動作をスムーズにすることができる。
【００２９】
図１に戻り、本実施の形態における発光体識別システム１０では、発光色の異なる発光体をそれぞれ含む複数の入力デバイス１７０が用いられる構成とすることができる。たとえば、本実施の形態において、発光体識別システム１０は、入力デバイス１７０として、発光体１７２が白色ＬＥＤである白色入力デバイス１７０ａ、発光体１７２が青色ＬＥＤである青色入力デバイス１７０ｂ、発光体１７２が緑色ＬＥＤである緑色入力デバイス１７０ｃ、および発光体１７２が赤色ＬＥＤである赤色入力デバイス１７０ｄを含む構成とすることができる。
【００３０】
本実施の形態において、発光体識別装置１００は、各発光体１７２の発光色を判定し、発光色に応じて入力デバイス１７０を識別する。これにより、発光体識別装置１００は、複数のユーザがそれぞれ入力デバイス１７０を用いて入力操作を行う場合でも、発光色に基づき入力デバイス１７０を識別することができるので、各入力デバイス１７０による入力操作を区別して把握することができる。
【００３１】
このような状態で、ユーザは、入力デバイス１７０の発光体１７２を描画ボード１６０に押し当てて、発光体１７２を発光させたまま文字や図形等を描画したり、発光体１７２を点滅させたりする。発光体識別装置１００は、発光体１７２を撮像手段１４８で撮像して得られた画像から輝度値に基づき発光体１７２の存在およびその位置情報を入力操作として取得する。発光体識別装置１００は、検出した発光体１７２の入力操作に基づき制御されるデータをプロジェクタ１５４に出力する。プロジェクタ１５４から出力されたデータは、プロジェクタ用投影フィルム１６４に投影され、描画ボード１６０に表示される。
【００３２】
図３は、入力デバイス１７０により描かれた軌跡１６６および軌跡１６８が発光体識別装置１００から出力されて描画ボード１６０に表示された状態を示す図である。
ここで、たとえば軌跡１６６は白色入力デバイス１７０ａにより描かれた軌跡、軌跡１６８は青色入力デバイス１７０ｂにより描かれた軌跡であるとする。本実施の形態において、発光体識別装置１００は、これらの軌跡を白色入力デバイス１７０ａの発光体１７２の発光色と青色入力デバイス１７０ｂの発光体１７２の発光色とに基づき識別して、それぞれ区別して出力するようにすることができる。
【００３３】
図４は、本実施の形態における発光体識別装置１００の構成の一例を示すブロック図である。発光体識別装置１００は、たとえばパーソナルコンピュータ等により構成することができる。
発光体識別装置１００は、ＩＲ画像入力部１０２、カラー画像入力部１０４、データ出力部１０６、画像取得部１１２、位置情報取得部１１４、発光色判定領域選択部１１６、発光色判定部１１８、暗化撮像条件決定部１２０、入力受付部１２２、プログラム実行処理部１２４、設定値記憶部１３０、発光色判定情報記憶部１３２、対応記憶部１３４、および画像記憶部１３６を含む。
【００３４】
ＩＲ画像入力部１０２は、ＩＲカメラ１５０とＵＳＢやシリアルポート等の接続インタフェースを介して接続されており、ＩＲカメラ１５０が撮像したＩＲ画像を入力する。カラー画像入力部１０４は、カラーカメラ１５２とＵＳＢやシリアルポート等の接続インタフェースを介して接続されており、カラーカメラ１５２が撮像したカラー画像を入力する。
【００３５】
データ出力部１０６は、発光体識別装置１００の各種データを外部のディスプレイに出力する。本実施の形態において、データ出力部１０６は、プロジェクタ１５４とアナログＲＧＢコネクタ（ディスプレイポート）等の接続インタフェースを介して接続されており、プロジェクタ１５４にデータを出力する。なお、ＩＲカメラ１５０とＩＲ画像入力部１０２との間、カラーカメラ１５２とカラー画像入力部１０４との間、およびデータ出力部１０６とプロジェクタ１５４との間の画像の送受信の接続インタフェースはとくに限定されず、他の例において、たとえばそれぞれ無線通信等により行う構成とすることもできる。
【００３６】
画像取得部１１２は、ＩＲカメラ１５０およびカラーカメラ１５２で同一の対象物を略同時に撮像して得たＩＲ画像およびカラー画像を取得する。画像取得部１１２は、ＩＲ画像入力部１０２を介してＩＲカメラ１５０からＩＲ画像を、カラー画像入力部１０４を介してカラーカメラ１５２からカラー画像を取得する。画像取得部１１２が取得したＩＲ画像およびカラー画像は、画像記憶部１３６に記憶される。
【００３７】
位置情報取得部１１４は、画像取得部１１２が取得したＩＲ画像から、発光体１７２の存在位置を検出する。発光色判定領域選択部１１６は、位置情報取得部１１４がＩＲ画像から検出した入力デバイス１７０の存在位置の位置情報に基づき、そのＩＲ画像と略同時に取得されたカラー画像の対応する位置を含む発光色判定領域を選択する。発光色判定部１１８は、発光色判定領域選択部１１６により選択されたカラー画像の発光色判定領域の色成分情報に基づき、発光体１７２の発光色を判定する。暗化撮像条件決定部１２０は、ＩＲカメラ１５０およびカラーカメラ１５２の撮像条件を決定する。
【００３８】
入力受付部１２２は、発光色判定部１１８が判定した発光体１７２の発光色およびその位置情報に基づき、当該発光色で識別される入力デバイス１７０から当該位置情報への入力操作があったことを受け付ける。
【００３９】
対応記憶部１３４は、入力デバイス１７０の発光体１７２の発光色と、入力デバイスの識別情報との対応付けを記憶する。図５は、対応記憶部１３４の構成の一例を示す図である。ここでは、発光体１７２の発光色にそれぞれ入力デバイスＩＤが対応付けられている。たとえば、発光色「白色」が入力デバイスＩＤ「１」、発光色「青色」が入力デバイスＩＤ「２」、発光色「緑色」が入力デバイスＩＤ「３」、発光色「赤色」が入力デバイスＩＤ「４」となっている。入力受付部１２２は、対応記憶部１３４にアクセスして、発光色判定部１１８が判定した発光色に対応する入力デバイスＩＤを取得する。入力受付部１２２は、識別した結果に基づき、対応する位置に識別した入力デバイス１７０のポインタ等が表示されるような表示データをデータ出力部１０６から出力するようにすることもできる。
【００４０】
プログラム実行処理部１２４は、入力受付部１２２が受け付けた入力操作に基づき、プログラムを実行する。
【００４１】
設定値記憶部１３０は、位置情報取得部１１４、発光色判定領域選択部１１６、および暗化撮像条件決定部１２０等が画像の輝度値を判定する際や、その他の各種判定を行う際に参照する基準値等の設定値や各種設定を記憶する。発光色判定情報記憶部１３２は、発光色判定部１１８が発光体の発光色を判定する際に参照する基準値等の設定値や各種設定を記憶する。
【００４２】
次に、本実施の形態における発光体識別装置１００の処理手順を詳細に説明する。図６は、本実施の形態における発光体識別装置１００の処理手順を示すフローチャートである。
【００４３】
（前処理：暗化撮像条件決定）
まず、前処理として、発光体１７２の発光による入力を受け付ける際に発光体識別装置１００を実際に適用する環境（以下適用環境という。）に応じて、ＩＲカメラ１５０およびカラーカメラ１５２が撮像する画像に環境光が映り込まないように画像を暗化する暗化撮像条件を決定する（Ｓ４）。
【００４４】
発光体１７２の発光による入力を受け付ける際に、ＩＲカメラ１５０およびカラーカメラ１５２が撮像する画像中に目的の発光体１７２だけでなく、照明やプロジェクタ１５４からプロジェクタ用投影フィルム１６４に投影されるデータの光等の環境光が映り込むと、環境光を発光体１７２の発光として誤検出する可能性が高くなってしまう。そこで、本実施の形態において、環境光が存在している適用環境において発光体１７２の発光がないときにＩＲカメラ１５０およびカラーカメラ１５２で撮像した画像の画素値が全体にわたって、一般的な画像処理の色判定において黒と判定される値となるように画像を暗化する暗化撮像条件を予め決定しておく。このように決定した暗化撮像条件で発光体１７２を発光させてＩＲカメラ１５０およびカラーカメラ１５２で撮像した画像では発光体１７２の存在位置以外の画素値は黒となるので、発光体１７２の検出を精度よく行うようにすることができる。暗化撮像条件は、たとえば、ＩＲカメラ１５０やカラーカメラ１５２のシャッタスピード、絞り量、ゲイン調整量、または露光量等とすることができる。ただし、発光体１７２の発光強度は環境光の発光強度より充分強く、ＩＲカメラ１５０およびカラーカメラ１５２で撮像した画像に環境光が映り込まない暗化撮像条件で撮像した画像においてもある程度の輝度値やＲＧＢ値等の画素値を有するものとする。
【００４５】
以下、暗化撮像条件としてＩＲカメラ１５０およびカラーカメラ１５２のシャッタスピードを制御する構成を例として説明する。
まず、カラーカメラ１５２のシャッタスピードの決定手順を説明する。
環境光が存在している適用環境に発光体識別システム１０を設置し、目的の発光体１７２の発光がない状態をカラーカメラ１５２のシャッタスピードを適宜変更しながら順次撮像する。ここで、シャッタスピードは、スピードが速くなる方向に適宜変更していくようにすることができる。画像取得部１１２は、カラーカメラ１５２により撮像されたカラー画像である第１の前処理画像をカラー画像入力部１０４を介して取得する。暗化撮像条件決定部１２０は、画像取得部１１２が取得した第１の前処理画像をその画像が撮像されたときのカラーカメラ１５２のシャッタスピードに対応付けて取得する。シャッタスピード制御部１２０は、第１の前処理画像に含まれる複数の位置の画素値をそれぞれ当該画素値が黒色か否かを判定するための所定値ｓ１と比較する。所定値ｓ１は、予め設定値記憶部１３０に記憶しておくことができ、暗化撮像条件決定部１２０は、設定値記憶部１３０にアクセスして複数の位置の画素値を所定値ｓ１と比較する。所定値ｓ１とは、環境光の色情報がほとんどない状態、たとえば一般的な画像処理の色判定において黒と判定される値とすることができる。画素値はＲＧＢ値とすることができる。この場合、所定値ｓ１は、ＲＧＢ値のすべてがそれぞれほぼゼロとなる値、たとえば２０以上３０以下（ＲＧＢ値それぞれが０から２５５の値をとる場合）程度とすることができる。暗化撮像条件決定部１２０は、複数の位置の画素値すべてが所定値ｓ１以下となる第１のシャッタスピードをこの適用環境におけるカラーカメラ１５２の暗化撮像条件として決定する。ここで、第１の前処理画像に含まれる複数の位置は、たとえば中心部とその周囲の外周部を含む。
【００４６】
目的の発光体１７２の発光がない状態をカラーカメラ１５２のシャッタスピードをたとえば１／１２５秒として撮像して得られた第１の前処理画像に含まれる複数の位置の画素値のいずれかが所定値ｓ１以下でない場合、カラーカメラ１５２のシャッタスピードをさらに速くし、たとえば１／２５０秒とする。次いで、カラーカメラ１５２のシャッタスピードを１／２５０秒として撮像して得られた第１の前処理画像に含まれる複数の位置の画素値すべてが所定値ｓ１以下となるか否かを判定する。このようにして、複数の位置の画素値すべてが所定値ｓ１以下となるシャッタスピードを検出する。シャッタスピードは、連続的に変更してもよいが、たとえば１／６０秒、１／１２５秒、１／２５０秒、１／５００秒等、カメラのシャッタスピードとして一般的に多く用いられているシャッタスピードに段階的に変更するようにすることもできる。
【００４７】
図７は、画像取得部１１２が取得した描画ボード１６０のカラー画像である第１の前処理画像１８０を模式的に示す図である。ここでは、第１の前処理画像１８０のほぼ全体に描画ボード１６０の画像１８２が表示されている。暗化撮像条件決定部１２０は、たとえば画像の中心部ｅと、その周囲の外周部の位置ａから位置ｄおよび位置ｆから位置ｉの計９箇所のそれぞれのＲＧＢ値を取得することができる。また、複数の位置は、たとえば画像１８２を均等に等分した各領域の中心位置とすることもできる。たとえば、複数の位置は、画像１８２を縦×横を３×３の９等分にした各領域の中心位置としてもよい。各位置のＲＧＢ値は、順次取得するようにしてもよいが、略リアルタイムで取得するようにすることもできる。暗化撮像条件決定部１２０は、位置ａから位置ｉのすべてでそれぞれ所定値ｓ１以下となる第１のシャッタスピードを検出し、当該第１のシャッタスピードを暗化撮像条件として決定する。
【００４８】
次に、ＩＲカメラ１５０のシャッタスピードの決定手順を説明する。
この手順も、基本的にはカラーカメラ１５２のシャッタスピードの決定手順と同様とすることができる。環境光が存在している適用環境に発光体識別システム１０を設置し、目的の発光体１７２の発光がない状態をＩＲカメラ１５０のシャッタスピードを適宜変更しながら順次撮像する。画像取得部１１２は、ＩＲカメラ１５０により撮像されたＩＲ画像である第２の前処理画像をＩＲ画像入力部１０２を介して取得する。暗化撮像条件決定部１２０は、画像取得部１１２が取得した第２の前処理画像をその画像が撮像されたときのＩＲカメラ１５０のシャッタスピードに対応付けて取得する。シャッタスピード制御部１２０は、第２の前処理画像に含まれる複数の位置の画素値をそれぞれ当該画素値が黒色か否かを判定するための所定値ｓ２と比較する。所定値ｓ２は、予め設定値記憶部１３０に記憶しておくことができ、暗化撮像条件決定部１２０は、設定値記憶部１３０にアクセスして複数の位置の画素値を所定値ｓ２と比較する。所定値ｓ２とは、環境光の色情報がほとんどない状態、たとえば一般的な画像処理の色判定において黒と判定される値とすることができる。画素値はＲＧＢ値とすることができる。この場合、所定値ｓ２は、ＲＧＢ値のすべてがそれぞれほぼゼロとなる値、たとえば２５以上４０以下（ＲＧＢ値それぞれが０から２５５の値をとる場合）程度とすることができる。暗化撮像条件決定部１２０は、複数の位置の画素値すべてが所定値ｓ２以下となる第２のシャッタスピードをこの適用環境におけるＩＲカメラ１５０の暗化撮像条件として決定する。ここで、第２の前処理画像に含まれる複数の位置は、たとえば中心部とその周囲の外周部を含む。
なお、所定値ｓ１および所定値ｓ２は、ＲＧＢ値それぞれに対して一定ではなく、Ｒ値、Ｇ値、およびＢ値それぞれに対して異なる値とすることもできる。また、これらの所定値ｓ１および所定値ｓ２は、判定すべき位置が画像の中心部か外周部によって、異なる値とすることもできる。たとえば、後述するように、同じ光源を撮像した場合、画像の中心部において画像の周辺部よりも輝度が大きくなる。そのため、画像の周辺部において所定値ｓ１および所定値ｓ２の値を中心部よりも厳しく、すなわち小さい値に設定することもできる。
以上の処理において、ＩＲカメラ１５０およびカラーカメラ１５２のシャッタスピードは、ユーザが手動で制御する構成とすることもでき、また暗化撮像条件決定部１２０により自動制御される構成とすることもできる。
【００４９】
（前処理：閾値、所定値決定）
図６に戻り、ＩＲカメラ１５０およびカラーカメラ１５２の暗化撮像条件であるシャッタスピードが決定された後、決定されたシャッタスピードに応じて以下で説明する各種判定で用いる閾値や所定値を決定し、設定値記憶部１３０や発光色判定情報記憶部１３２に記憶する（Ｓ６）。各閾値や所定値の具体例や決定方法は後述する。
以上で前処理が終了する。
【００５０】
（暗化撮像条件設定）
次いで、発光体１７２の発光による入力を受け付ける処理の開始に先立ち、ＩＲカメラ１５０およびカラーカメラ１５２をステップＳ４で決定した暗化撮像条件に設定する（Ｓ８）。具体的には、ＩＲカメラ１５０のシャッタスピードを第１のシャッタスピードに、カラーカメラ１５２のシャッタスピードを第２のシャッタスピードに設定する。このＩＲカメラ１５０およびカラーカメラ１５２のシャッタスピードも、ユーザが手動で制御する構成とすることもでき、また暗化撮像条件決定部１２０により自動制御される構成とすることもできる。
【００５１】
（ＩＲ画像およびカラー画像取得）
以上の設定処理が終了した後、発光体１７２の発光による入力の受け付ける処理を開始する（Ｓ１０）。画像取得部１１２は、ＩＲカメラ１５０およびカラーカメラ１５２で同一の対象物を略同時に撮像して得たＩＲ画像およびカラー画像を取得する（Ｓ１２）。画像取得部１１２は、略同時に得られたＩＲ画像およびカラー画像をそれぞれ、フレーム数、取得時刻、撮像時刻、またはタイムコード等の対応関係を示す情報に対応付けて取得することができる。なお、ＩＲカメラ１５０およびカラーカメラ１５２は、同じフレームレートで動画を取得する構成とすることができる。略同時とは、ユーザが入力デバイス１７０により描画を行う際の発光体１７２の移動をＩＲカメラ１５０およびカラーカメラ１５２でそれぞれ撮像した場合に、発光体１７２の位置が互いに対応する位置に存在するよう認識し得る状態とすることができる。たとえば、画像取得部１１２は、ＩＲ画像入力部１０２およびカラー画像入力部１０４から略同時に取得したＩＲ画像およびカラー画像に同じフレーム数を順次付与してもよい。また、画像取得部１１２は、ＩＲ画像入力部１０２およびカラー画像入力部１０４から取得したＩＲ画像およびカラー画像に、それぞれの画像を取得した取得時刻を付与してもよい。また、他の例として、発光体識別システム１０は、たとえば同期発生器を有する構成とすることができ、同期発生器によりＩＲカメラ１５０およびカラーカメラ１５２がそれぞれ撮像した画像に撮像時刻やタイムコード等を付与するようにすることもできる。以下では、画像取得部１１２がＩＲ画像入力部１０２およびカラー画像入力部１０４から略同時に取得したＩＲ画像およびカラー画像に同じフレーム数を順次付与する場合を例として説明する。画像取得部１１２は、ＩＲ画像およびカラー画像をそれぞれ対応関係を示す情報に対応付けて画像記憶部１３６に記憶する。
【００５２】
（ＩＲ画像から発光体の存在位置検出）
つづいて、位置情報取得部１１４は、画像取得部１１２が取得して画像記憶部１３６に記憶されたＩＲ画像から、輝度値が所定の閾値ｔ１以上となる第１の画素を発光体として検出して、当該第１の画素の位置を示す第１の位置情報を取得する（Ｓ１４）。具体的には、第１の位置情報として第１の画素の座標（ピクセル座標）を取得する。ＩＲ画像の輝度値は、各画素のＲＧＢ値に基づき、たとえば「輝度値＝０．２９８９１２×Ｒ＋０．５８６６１１×Ｇ＋０．１１４４７８×Ｂ（Ｒ、Ｂ、ＧはそれぞれＲ値、Ｂ値、Ｇ値）」から算出することができる。閾値ｔ１は、たとえば６０以上１００以下程度の値とすることができる。閾値ｔ１は、図６のステップＳ６において決定することができ、設定値記憶部１３０に記憶しておくことができる。
【００５３】
図１０は、ＩＲ画像およびカラー画像への処理の一例を模式的に示す図である。以下、図１０も適宜参照して説明する。
図１０（ａ）に示すように、ＩＲ画像２００の横方向の座標をｘ座標、縦方向の座標をｙ座標とする。位置情報取得部１１４は、ＩＲ画像２００の全画素を順次走査して各画素の輝度値が閾値ｔ１以上か否かを順次判断する。ここで、輝度値が閾値ｔ１以上となる第１の画素があると、当該第１の画素を発光体１７２の存在位置として検出する。そして、その第１の画素の位置を示す第１の位置情報としてその座標（ｘｉ，ｙｉ）を取得する。たとえばＩＲカメラ１５０が６４０×４８０ピクセルのＶＧＡで構成されており、ＩＲ画像の解像度が６４０×４８０ピクセルの場合、ｘｉは０以上６４０未満の実数、ｙｉは０以上４８０未満の実数となる。次いで、位置情報取得部１１４は、第１の位置情報およびそのＩＲ画像のフレーム数を発光色判定領域選択部１１６に通知する。これにより、発光色判定領域選択部１１６において後述する発光色判定領域の選択処理が行われる。位置情報取得部１１４は、この処理を、画像取得部１１２が取得したＩＲ画像２００の全画素に対して順次行っていく。
【００５４】
（カラー画像から発光色判定領域選択）
図６に戻り、発光色判定領域選択部１１６は、位置情報取得部１１４からＩＲ画像の第１の位置情報およびそのＩＲ画像のフレーム数が通知されると、画像記憶部１３６にアクセスして対応するフレーム数のカラー画像から第１の位置に対応する位置の第２の画素を含む発光体の発光色判定領域を選択する（Ｓ１６）。
【００５５】
図１０（ｂ）に示すように、カラー画像２０２の横方向の座標をｍ座標、縦方向の座標をｎ座標とする。発光色判定領域選択部１１６は、位置情報取得部１１４が取得したＩＲ画像の第１の位置情報（ｘｉ，ｙｉ）に基づき、カラー画像から第１の位置に対応する位置の第２の画素を含む発光体の発光色判定領域２０４を選択する。ここで、ＩＲ画像の第１の画素の座標（ｘｉ，ｙｉ）に対応するカラー画像の第２の画素の座標（ピクセル座標）を（ｍｉ，ｎｉ）とする。
【００５６】
ここで、たとえばステップＳ６において、ＩＲカメラ１５０により撮像されるＩＲ画像の解像度およびカラーカメラ１５２により撮像されるカラー画像の解像度も予め設定値記憶部１３０に記憶しておくことができる。発光色判定領域選択部１１６は、設定値記憶部１３０に記憶されたＩＲ画像の解像度とカラー画像の解像度との比に基づき、ＩＲ画像の第１の画素に対応するカラー画像の第２の画素の座標を決定することができる。たとえばカラーカメラ１５２が６４０×４８０ピクセルのＶＧＡで構成されており、ＩＲ画像の解像度が６４０×４８０ピクセルの場合、ｍｉは０以上６４０未満の実数、ｎｉは０以上４８０未満の実数となる。また、画像取得部１１２が取得するＩＲ画素の解像度とカラー画像の解像度とが等しい場合、ｍｉ＝ｘｉ、ｎｉ＝ｙｉとなる。
【００５７】
発光色判定領域選択部１１６が選択する発光色判定領域は、図１０（ｂ）に示したように、位置情報取得部１１４が取得したＩＲ画像の第１の画素に対応する位置の第２の画素のみを含む構成とすることもできるが、第２の画素を含むさらに多くの画素を含む構成とすることもできる。たとえば発光色判定領域選択部１１６は、発光色判定領域として、第２の画素とその周囲の所定数の画素とを含む広い範囲の画素を選択することができる。
【００５８】
図１１は、ＩＲ画像２００およびカラー画像２０２への処理の他の例を模式的に示す図である。図１１（ｂ）に示すように、発光色判定領域選択部１１６は、第２の画素とその周囲の画素を含む領域を発光色判定領域２０４として選択することもできる。どのような範囲を発光色判定領域２０４として選択するかの設定範囲は、予め設定値記憶部１３０に記憶しておくことができる。発光色判定領域選択部１１６は、設定値記憶部１３０に記憶された設定範囲に基づき、発光色判定領域２０４を選択することができる。
【００５９】
なお、発光色判定領域選択部１１６は、ＩＲカメラ１５０が取得するＩＲ画像とカラーカメラ１５２が取得するカラー画像にずれが生じる場合は、そのずれ部分を補正して対応する第２の画素を選択して第２の位置情報を取得する構成とすることができる。ＩＲ画像およびカラー画像中の発光体の存在位置のずれは、たとえば前処理として描画ボード１６０をＩＲカメラ１５０およびカラーカメラ１５２でそれぞれ撮像し、取得したＩＲ画像およびカラー画像中の描画ボード１６０の位置のずれを検出することにより、同様にずれが生じているとして設定することができる。ＩＲ画像およびカラー画像中の描画ボード１６０の位置のずれは、パターンマッチング等のソフトウェアプログラムを用いて自動的に補正するようにしたり、ＩＲ画像およびカラー画像中の描画ボード１６０の位置をユーザに指定させた後にソフトウェアプログラムで補正するようにすることができる。
【００６０】
（カラー画像に対するノイズ除去）
図６に戻り、発光色判定領域選択部１１６は、選択した発光色判定領域の輝度値に基づきノイズ除去を行う（Ｓ１８）。具体的には、発光色判定領域選択部１１６は、選択した発光色判定領域に含まれる画素の輝度値Ｙｉが所定の必要輝度値Ｙｄ以上か否かを判定し、輝度値が必要輝度値Ｙｄより低い場合に当該発光色判定領域をノイズであると判定するとともに、輝度値が必要輝度値Ｙｄ以上の場合に当該発光色判定領域をノイズでないと判定する。
【００６１】
発光体をカラーカメラ１５２で撮像した場合、発光体の明るさが同じであっても、その発光体の光点の中心部と外周部では得られた画像中の輝度が異なる。とくに、ＬＥＤのような指向性が高い発光体を用いた場合、発光体がカメラのレンズの中心軸の延長上付近にあり、カメラレンズへの入射角が小さい場合には発光体の光点の中心部が撮像されて輝度値が大きくなる。一方、発光体がカメラのレンズの中心軸の延長上から離れた位置にあり、カメラレンズへの入射角が大きい場合には光点の外周部が撮像されて輝度値が小さくなってしまう。とくに、カラー画像の場合この傾向は顕著に現れる。つまり、同じ発光体を撮像した場合でも、発光体がカラーカメラ１５２で撮像したカラー画像の中心部に存在する場合は、その発光体の光点の中心部が撮像されることになるのでその発光体の輝度値が大きくなる。一方、発光体がカラーカメラ１５２で撮像したカラー画像の外周部に存在する場合は、その発光体の光点の外周部が撮像されることになるのでその発光体の輝度値が小さくなる。そのため、カラー画像の中心部と外周部とで同じ必要輝度値を用いた場合、たとえば外周部では発光体の存在が検出されにくくなる一方、中心部ではノイズまでもを発光体であると判定してしまう可能性が高くなる。そこで、本実施の形態においては、発光色判定領域選択部１１６が判定に用いる必要輝度値Ｙｄは、カラー画像の中心部と発光色判定領域との距離Ｄｉに応じて距離Ｄｉが大きい方が値が低くなるように設定する。
【００６２】
図９は、この手順を詳細に示すフローチャートである。
まず、発光色判定領域選択部１１６は、カラー画像の発光色判定領域の輝度値Ｙｉを算出する（Ｓ１０４）。カラー画像の輝度値は、各画素のＲＧＢ値に基づき、たとえば「輝度値＝０．２９８９１２×Ｒ＋０．５８６６１１×Ｇ＋０．１１４４７８×Ｂ（Ｒ、Ｇ、ＢはそれぞれＲ値、Ｇ値、Ｂ値）」から算出することができる。ここで、発光色判定領域に複数の画素が含まれる場合、発光色判定領域選択部１１６は、発光色判定領域に含まれる画素の輝度値Ｙｉとして、複数の画素の輝度値の平均値を用いることもでき、また複数の画素の中の中心に位置する画素の輝度値を用いることもできる。また、複数の画素のうち、中心に位置する画素の輝度値ほど貢献比率が高くなるような加重平均値を用いることもできる。
【００６３】
次いで、発光色判定領域選択部１１６は、カラー画像の中心部と発光色判定領域との距離Ｄｉを算出する（Ｓ１０６）。ここで、発光色判定領域に複数の画素が含まれる場合、発光色判定領域選択部１１６は、距離Ｄｉとして、カラー画像の中心部と発光色判定領域の中心部との距離を用いることができる。
【００６４】
距離Ｄｉは、カラー画像の中心座標を（ｍｃ，ｎｃ）とすると、
Ｄｉ＝ｓｑｒｔ（（ｍｉ−ｍｃ）２＋（ｎｉ−ｎｃ）２）
から算出することができる（ただし、ｓｑｒｔは平方根を求める関数）。
【００６５】
図１０（ｃ）および図１１（ｃ）に示すように、発光色判定領域選択部１１６は、カラー画像２０２の中心座標（ｍｃ，ｎｃ）から発光色判定領域２０４の中心座標までの距離Ｄｉに基づき、必要輝度値Ｙｄを算出して発光色判定領域２０４のノイズ判定を行う。
【００６６】
図９に戻り、この後、発光色判定領域選択部１１６は、距離Ｄｉに基づき、必要輝度値Ｙｄを算出する（Ｓ１０８）。必要輝度値Ｙｄは、たとえば以下の式に基づき算出することができる。以下の式に基づけば、必要輝度値Ｙｄは、距離Ｄｉが大きい程値が連続的に低くなるように設定される。
【００６７】
Ｙｄ＝（Ｙｆ−Ｙｃ）×Ｄｉ／Ｄｆ＋Ｙｃ （式１）
【００６８】
ここで、「Ｙｃ」はカラー画像の中心部における必要輝度値、「Ｙｆ」はカラー画像の最外周部における必要輝度値、「Ｄｆ」は、カラー画像の中心部から最外周部までの距離である（Ｙｆ＜Ｙｃ）。Ｙｃは、たとえば８０以上１２０以下程度の値とすることができる。Ｙｆの値はＤｆの値にもよるが、たとえばカラー画像の解像度が６４０×４８０ピクセルでＤｆ＝６４０ピクセルの場合、１５以上３０以下程度の値とすることができる。必要輝度値ＹｃおよびＹｆは、図６のステップＳ６において決定することができ、設定値記憶部１３０に記憶しておくことができる。式１やその他の値についても予め設定値記憶部１３０に記憶しておくことができる。
【００６９】
なお、以上の例では、必要輝度値Ｙｄがカラー画像の中心部と発光色判定領域との距離Ｄｉに応じて連続的に変化する例を示したが、カラー画像の中心部と発光色判定領域との距離Ｄｉに応じて距離Ｄｉが大きい方が値が低くなるように設定されていれば、他の例において、必要輝度値Ｙｄは、距離Ｄｉの範囲に応じて段階的に変更されるように設定することもできる。
【００７０】
つづいて、発光色判定領域選択部１１６は、輝度値Ｙｉが必要輝度値Ｙｄ以上か否かを判定する（Ｓ１１０）。輝度値Ｙｉが必要輝度Ｙｄ以上の場合（Ｓ１１０のＹＥＳ）、発光色判定領域選択部１１６は、この発光色判定領域で発光体が検出されたと判定し（Ｓ１１２）、発光色判定部１１８にその旨通知する。この後、発光色判定部１１８は、図６のステップＳ２０の発光色判定処理を行う。一方、ステップＳ１１０において、輝度値Ｙｉが必要輝度値Ｙｄ以上でない場合（Ｓ１１０のＮＯ）、発光色判定領域選択部１１６は、この発光色判定領域がノイズであると判定し（Ｓ１１４）、処理を終了する。
【００７１】
（発光色の判定）
図６に戻り、ステップＳ１８で発光体検出判定が行われ、発光色判定領域選択部１１６から通知があると、発光色判定部１１８は、発光色判定領域選択部１１６が選択したカラー画像の発光色判定領域に含まれる画素の色成分情報（ＲＧＢ値）に基づき、発光体の発光色を判定する（Ｓ２０）。ここで、画素の色成分情報は、ＲＧＢ値とすることができる。
【００７２】
図１２は、図６のステップＳ２０の処理手順を詳細に示すフローチャートである。
ここで、発光体１７２の発光色が白色、青色、緑色、および赤色のいずれかである場合を例として説明する。このような場合、発光色判定部１１８は、まず発光体の発光色が白色か否かの判定から行う。発光体の発光色が白色の場合、ＲＧＢ値のいずれかが突出するという傾向が少なく、ＲＧＢ値のバランスを考慮して白色か否かを判定する。そのため、Ｒ値、Ｇ値、Ｂ値の出方にばらつきが生じるような場合でも誤判定される可能性を低減することができ、判定精度を向上させることができる。
【００７３】
（白色判定）
発光体が白色の場合は、ＲＧＢ値それぞれの値が同じように平均的となるとともに、これらの平均値の値が比較的高くなるという特徴がある。
【００７４】
まず、発光色判定部１１８は、発光色判定領域に含まれる画素の色成分情報（ＲＧＢ値）に基づき、ＲＧＢ値の平均値ａｖｅＣが所定値ｓ３より大きいか否かを判定する（Ｓ１２２）。ここで、発光色判定領域に含まれる画素のＲＧＢ値をそれぞれｓＲ、ｓＧ、ｓＢとすると、ＲＧＢ値の平均値ａｖｅＣ＝（ｓＲ＋ｓＧ＋ｓＢ）／３となる。なお、図１１（ｂ）および図１１（ｃ）を参照して説明した例のように、発光色判定領域２０４が複数の画素を含む場合、たとえばｓＲ、ｓＧ、およびｓＢは、複数の画素の平均値とすることができる。また、この場合、たとえば発光色判定領域２０４の中心に位置する画素の値が高くなるような加重平均値とすることもできる。
【００７５】
ＲＧＢ値の平均値ａｖｅＣが所定値ｓ３より大きい場合（Ｓ１２２のＹＥＳ）、発光色判定部１１８は、各成分が平均的か否かを判定する（Ｓ１２４）。各成分が平均的か否かの判定は、以下のように行うことができる。
【００７６】
まず、ｓＲ、ｓＧ、ｓＢの中の最小値ｍｉｎＣを検出する。次いで、ｓＲ、ｓＧ、ｓＢからそれぞれｍｉｎＣを減じたｔＲ＝ｓＲ−ｍｉｎＣ、ｔＧ＝ｓＧ−ｍｉｎＣ、ｔＢ＝ｓＢ−ｍｉｎＣをそれぞれ算出する。次いで、ｔＲ、ｔＧ、ｔＢの平均値ａｖｅＴＣ＝（ｔＲ＋ｔＧ＋ｔＢ）／３を算出する。各成分が平均的な場合、ｓＲ、ｓＧ、ｓＢの中の最小値ｍｉｎＣをそれぞれｓＲ、ｓＧ、ｓＢから減じて得られるｔＲ、ｔＧ、ｔＢの値は小さくなる。発光色判定部１１８は、各成分が平均的か否かの判定として、ａｖｅＴＣが所定値ｓ４より小さいか否かを判定することができる。
【００７７】
つまり、発光色判定部１１８は、ａｖｅＣ＞所定値ｓ３（Ｓ１２２のＹＥＳ）かつａｖｅＴＣ＜所定値ｓ４（Ｓ１２４のＹＥＳ）の場合に、発光体の発光色が白色であると判定することができる。この場合、発光色判定部１１８は、発光体の発光色として白色を出力する（Ｓ１２６）。ここで、所定値ｓ３は、白色であると判定するための限界閾値（white_color_limit）であり、たとえば５０以上７０以下程度の値とすることができる。また、所定値ｓ４は、たとえば１５以上２５以下程度の値とすることができる。
【００７８】
以上の手順で、発光体の発光色が白色と判定できなかった場合（Ｓ１２２のＮＯ、またはＳ１２４のＮＯ）、発光色判定部１１８は、発光体の発光色が白色以外の青色、緑色、赤色か否かの判定を行う。
【００７９】
（青色、緑色、赤色判定）
白色以外の発光色の判定処理は、発光色判定領域に含まれる画素のｓＲ、ｓＧ、ｓＢに応じて、最も値が大きい成分の色判定を行う。すなわち、Ｂ成分（ｓＢ）が最も大きい場合（Ｓ１２８のＹＥＳ）、青色判定処理を行う（Ｓ１３０）。また、Ｇ成分（ｓＧ）が最も大きい場合（Ｓ１２８のＮＯ、Ｓ１３２のＹＥＳ）、緑色判定処理を行う（Ｓ１３４）。また、Ｒ成分（ｓＲ）が最も大きい場合（Ｓ１３２のＮＯ）、赤色判定処理を行う（Ｓ１３６）。次に、各色の判定処理の具体例を説明する。
【００８０】
（ａ）青色判定処理
まず、ステップＳ１３０の青色判定処理の一例を説明する。図１３は、図１２のステップＳ１３０の処理手順の一例を詳細に示すフローチャートである。
まず、発光色判定部１１８は、青色成分に対する緑色成分の比率ｐｅｒＧ＝ｔＧ／ｔＢを算出し、ｐｅｒＧ＝ｔＧ／ｔＢが所定値ｓ５以下か否かを判断する（Ｓ１６０）。ここで、所定値ｓ５は、たとえば０．２以上０．３以下程度の値とすることができる。ｐｅｒＧ＝ｔＧ／ｔＢが所定値ｓ５以下の場合（Ｓ１６０のＹＥＳ）、発光色判定部１１８は、カラー画像の中心部と発光色判定領域との距離Ｄｉが所定値ｄ１以内か否かを判断する（Ｓ１６２）。
【００８１】
本発明者らの検討により、発光色が青色の場合は、発光色判定領域がカラー画像の中心部に近いと、ｓＢが大きく出ることが明らかになった。そのため、本実施の形態において、判定対象の画素がカラー画像の中心部に位置するか否かによって判定手順を異ならせている。所定値ｄ１は、たとえばカラー画像の長辺の画素数をｎ１とした場合に、ｎ１／２０以上ｎ１／５以下の範囲の値とすることができる。たとえば、カラーカメラ１５２の解像度が６４０×４８０（横×縦）ピクセルのＶＧＡサイズの場合、カラー画像の長辺である横辺の画素数ｎ１＝６４０ピクセルとなるが、一例として、所定値ｄ１をｎ１／１０となる６４ピクセルとすることができる。つまり、この場合、判定対象の画素がカラー画像の中心部から半径６４ピクセル以内か否かによって判定手順が異なるようにすることができる。所定値ｄ１は、実際に青色入力デバイスを用いてカラー画像を取得し、カラー画像の各位置のｓＢの値を測定して、どの範囲でｓＢが大きく出るかを検出することにより設定することができる。
【００８２】
ステップＳ１６２で距離Ｄｉが所定値ｄ１以内でない場合（Ｓ１６２のＮＯ）、青色判定とする（Ｓ１６４）。一方、距離Ｄｉが所定値ｄ１以内の場合（Ｓ１６２のＹＥＳ）、ｓＢが所定値ｓ６以上か否かを判断する（Ｓ１６６）。ここで、所定値ｓ６は、たとえば９６以上１２０以下程度の値とすることができる。ｓＢが所定値ｓ６以上の場合（Ｓ１６６のＹＥＳ）、青色判定とするが（Ｓ１６４）、所定値ｓ６以上でない場合（Ｓ１６６のＮＯ）、ノイズ判定とする（Ｓ１６８）。
【００８３】
なお、他の例として、ステップＳ１６２で距離Ｄｉが所定値ｄ１以内でない場合、すなわち発光色判定領域がカラー画像の中心部にない場合でも、基準値を設けておき、ｓＢが当該基準値以上か否かを判定して、基準値以上の場合のみ青色判定とし、基準値より小さい場合はノイズ判定とするようにすることもできる。この場合の基準値としては、発光色判定領域がカラー画像の中心部にある場合に用いた所定値所定値ｓ６よりも値の小さい所定値ｓ７を用いることができる。
【００８４】
また、ステップＳ１６０でｐｅｒＧ＝ｔＧ／ｔＢが所定値ｓ５以下でない場合（Ｓ１６０のＮＯ）、ｐｅｒＧ＝ｔＧ／ｔＢが所定値ｓ８（ただし所定値ｓ８＞所定値ｓ５）以上か否かを判定する（Ｓ１７０）。ここで、所定値ｓ８は、たとえば０．７以上０．９以下程度の値とすることができる。
【００８５】
ｐｅｒＧ＝ｔＧ／ｔＢが所定値ｓ８以上の場合（Ｓ１７０のＹＥＳ）、発光体の発光色が緑色である可能性が高い。この場合、発光色判定部１１８は、ステップＳ１７０で判定に用いたｔＢの値が所定値ｓ９以上であるか否かを判定する（Ｓ１７２）。ここで、所定値ｓ９は、たとえば３０以上５０以下程度の値とすることができる。ｔＢの値があまりにも小さい場合、ノイズによってｔＧが微量変化してしまうと、ｐｅｒＧが極端に変動してしまうため、ｔＢが所定値ｓ９より小さい場合はノイズ処理とするためである。ｔＢが所定値ｓ９以上である場合（Ｓ１７２のＹＥＳ）、緑色判定とする（Ｓ１７３）。
【００８６】
ただし、ステップＳ１７２でｔＢが所定値ｓ９より小さい場合でも（Ｓ１７２のＮＯ）、ｓＢが所定値ｓ１０（ただし所定値ｓ１０＞所定値ｓ９）以上の場合（Ｓ１７４のＹＥＳ）、ステップＳ１６４に進み、青色判定とする。これは、ｓＢの値が大きい場合は、青色が明るすぎるためにカメラの色分解能力を超えてしまい、Ｇ成分が飽和状態で高く出力されてしまう可能性があることを考慮しての処理である。ここで、所定値ｓ１０は、たとえば２００以上２２０以下程度の値とすることができる。
【００８７】
ステップＳ１７４でｓＢが所定値ｓ１０以上でない場合（Ｓ１７４のＮＯ）、ノイズ判定とする（Ｓ１７６）。ステップＳ１７０でｐｅｒＧ＝ｔＧ／ｔＢが所定値ｓ８以上でない場合（Ｓ１７０のＮＯ）もノイズ判定とする（Ｓ１７８）。
【００８８】
（ｂ）緑色判定処理
次に、緑色判定処理の一例を説明する。図１４は、図１２のステップＳ１３４の処理の一例を詳細に示すフローチャートである。
ここでも、発光色判定部１１８は、緑色成分に対する赤色成分の比率ｐｅｒＲ＝ｔＲ／ｔＧを算出し、ｐｅｒＲが所定値ｓ１１以下の場合（Ｓ１８０のＹＥＳ）は緑色判定とする（Ｓ１８２）。ここで、所定値ｓ１１は、たとえば０．４以上０．６以下程度の値とすることができる。一方、ステップＳ１８０でｐｅｒＲが所定値ｓ１１以下でない場合（Ｓ１８０のＮＯ）は、ノイズ判定とする（Ｓ１８４）。
【００８９】
（ｃ）赤色判定処理
次に、赤判定処理の一例を説明する。図１５は、図１２のステップＳ１３６の処理手順の一例を詳細に示すフローチャートである。
ここでも、発光色判定部１１８は、赤色成分に対する緑色成分の比率ｐｅｒＧ＝ｔＧ／ｔＲを算出し、ｐｅｒＧが所定値ｓ１２以下の場合（Ｓ１９０のＹＥＳ）は赤色判定とする（Ｓ１９２）。ここで、所定値ｓ１２は、たとえば０．７以上０．９以下程度の値とすることができる。一方、ステップＳ１９０でｐｅｒＧが所定値ｓ１２以下でない場合（Ｓ１９０のＮＯ）は、ノイズ判定とする（Ｓ１９４）。
以上により発光色の判定が終了する。発光色判定部１１８は、判定した発光体の発光色を示すデータを位置情報取得部１１４に通知する。位置情報取得部１１４は、発光色判定部１１８から取得した発光色を示すデータと、そのＩＲ画像の第１の画素の位置を示す第１の位置情報（ｘｉ，ｙｉ）とを入力受付部１２２に通知する。なお、他の例において、位置情報としては、カラー画像の第２の画素の位置を示す第２の位置情報（ｍｉ，ｎｉ）を用いてもよい。
【００９０】
（入力操作受付）
図６に戻り、入力受付部１２２は、発光色判定部１１８が出力した発光体１７２の発光色および第１の位置情報（または第２の位置情報）に基づき、当該発光色で識別される入力デバイス１７０から当該第１の位置情報（または第２の位置情報）への入力があったことを受け付ける（Ｓ２２）。具体的には、入力受付部１２２は、対応記憶部１３４を参照して、発光体１７２の発光色を示すデータに基づき、入力情報がどの入力デバイス１７０によるものかを識別するとともに、ＩＲ画像の座標（ｘｉ，ｙｉ）（またはカラー画像の座標（ｍｉ，ｎｉ））への入力を受け付ける。たとえば、発光色判定部１１８から出力された発光色が白色の場合、入力受付部１２２は、対応記憶部１３４にアクセスして、白色に対応する入力デバイスのＩＤ「１」の入力デバイスにより、第２の位置情報への入力があったことを受け付ける。入力受付部１２２は、受け付けた入力をプログラム実行処理部１２４に通知する。
【００９１】
その後、プログラム実行処理部１２４は、入力受付部１２２が受け付けた入力操作に応じてプログラムを実行する（Ｓ２４）。プログラム実行処理部１２４が実行するプログラムにより形成されたデータはデータ出力部１０６から出力される。データ出力部１０６から出力されたデータは、プロジェクタ１５４によりプロジェクタ用投影フィルム１６４に投影され、描画ボード１６０の描画面に表示されるようにすることができる。これにより、入力デバイス１７０を用いて入力を行っているユーザは、描画ボード１６０を見ながら自己の入力が反映されたデータを確認することができる。
【００９２】
ここで、プログラム実行処理部１２４が実行するプログラムは、たとえばユーザが入力デバイス１７０を用いて図形等を描画するための描画プログラムとすることができる。この場合、たとえばプログラム実行処理部１２４は、画像取得部１１２が取得したＩＲ画像またはカラー画像中の発光体の軌跡に対応する軌跡をデータ出力部１０６から出力するようにすることができる。また、プログラム実行処理部１２４は、各ユーザが描画した図形等の色を設定するためのカラーパレット等をたとえば描画ボード１６０に表示されるようにすることができる。プログラム実行処理部１２４は、ユーザがカラーパレットのいずれかの色を選択すると、表示しているカラーパレットの位置情報、入力デバイス１７０の位置情報、ユーザが入力デバイス１７０を用いて行う発光体１７２の発光タイミングの制御動作（クリックに対応）、および入力デバイス１７０の発光色に基づき、各ユーザが選択した色を判断して、データ出力部１０６から出力する発光体１７２の軌跡の色が選択された色となるようにすることができる。
【００９３】
次に、本実施の形態における発光体識別装置１００の効果を説明する。
本実施の形態における発光体識別装置１００によれば、入力デバイスによる入力情報を発光体の位置情報に基づき受け付けるとともに、カラー画像の色成分情報から判定された発光色に応じて入力デバイスを識別することができる。そのため、発光色の異なる発光体をそれぞれ含む複数の入力デバイスを用いて複数のユーザにより入力される入力情報をそれぞれ識別することができる。また、まずＩＲ画像から発光体の位置を検出して、カラー画像の対応する位置の色成分情報に基づき発光色判定処理を行うので、発光体の検出および発光色判定を精度よく迅速に行うことができる。
【００９４】
また、本実施の形態において、入力デバイスの発光体としてはＬＥＤを用いている。上述したように、カメラレンズへの発光体からの光の入射角は発光体の位置により変化する。以上の実施の形態において、カラー画像の発光色判定領域のノイズ判定処理において、判定に用いる必要輝度値Ｙｄは、カラー画像の中心部と発光色判定領域との距離Ｄｉに応じて距離Ｄｉが大きい方が値が低くなるように設定されている。そのため、カメラレンズへの発光体からの光の入射角の違いによる発光体の輝度値の違いも考慮してノイズ除去が行われるので、精度よくノイズを除去することができる。
【００９５】
以上のような構成の発光体識別装置１００を含む発光体識別システム１０は、コンピュータ用ソフトウェアの操作において、発光体１７２をカメラ等の撮像手段１４８で撮像し、その座標を認識することで入力を受け付ける構成となっている。その際に、発光色の異なる発光体１７２を用いることにより、複数の発光体１７２をリアルタイムに認識し、コンピュータ用ソフトウェアの操作を多人数で同時に行えるようにする。これにより、たとえばゲーム等のエンタテインメント用ソフト、イベント用ソフト、教育用ソフト等のアプリケーションソフトの操作において、多人数同時操作を行うようにすることができる。また、これにより、入力デバイスにより、マウスやタッチパネル、タブレットのような自由で直観的な操作と同様の操作ができるようになる。
【００９６】
なお、図１に示した発光体識別装置１００の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。発光体識別装置１００の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。また、発光体識別装置１００の各構成要素は、一つの装置内に設けられる必要はなく、複数の装置に分散配置されて互いにネットワークを介してデータの授受を行う構成とすることもできる。
【００９７】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【００９８】
（変形例１）
以上の実施の形態においては、図６のステップＳ６で説明したように、ステップＳ４で環境光が存在している適用環境における暗化撮像条件を決定した後に決定された暗化撮像条件に応じて各種判定で用いる閾値や所定値を決定し、設定値記憶部１３０や発光色判定情報記憶部１３２に記憶する例を示した。しかし、他の例として、各種判定で用いる閾値や所定値は、図６のステップＳ４の処理に先立ち、複数の撮像条件に対してそれぞれ予め決定しておき、設定値記憶部１３０や発光色判定情報記憶部１３２に記憶しておくようにすることもできる。一例を図１６に示す。図１６は、設定値記憶部１３０の内部構成の一部の一例を示す図である。ここでは、暗化撮像条件としてシャッタスピードを制御している場合を示している。たとえば、シャッタスピードとしては、１／５００秒、１／２５０秒、１／１２５秒、１／６０秒等が想定され、それぞれに対して用いられる閾値ｔ１、必要輝度値ＹｆおよびＹｃ等が記憶されている。このような構成とした場合、ステップＳ４で決定された暗化撮像条件であるカラーカメラ１５２の第１のシャッタスピードおよびＩＲカメラ１５０の第２のシャッタスピードに応じて、対応する設定値を各種判定で用いるようにすることができる。たとえば、図示した例では、ＩＲカメラ１５０の暗化撮像条件である第２のシャッタスピードが１／２５０秒の場合、ステップＳ１４で用いられる閾値ｔ１は７０、第２のシャッタスピードが１／１２５秒の場合、閾値ｔ１は７５等とすることができる。
【００９９】
このようにすれば、図６のおよびステップＳ４で暗化撮像条件が決定される度にステップＳ６の設定値を決定する処理を行う必要がなくなる。また、発光体識別システム１０をある環境下に設置した後に環境光の状態が変化した場合でも、再度設定値を決定しなおす必要がない。そのため、発光体識別システム１０周囲の環境光の変化に柔軟に対応可能とすることができる。よって、発光体識別装置１００を起動する度に周囲の環境光の状態に応じてＩＲカメラ１５０およびカラーカメラ１５２の暗化撮像条件を決定し、決定された暗化撮像条件に対応する設定値を用いて各種判定を行うようにすることができる。
【０１００】
図８は、周囲の環境光の状態に応じてＩＲカメラ１５０およびカラーカメラ１５２の暗化撮像条件を決定する際にプロジェクタ用投影フィルム１６４に投影され、描画ボード１６０の描画面側にいるユーザに表示される画面の一例を示す図である。
ここでは、前処理中にユーザが入力デバイス１７０の発光体１７２を発光させないように、たとえば「準備中です。入力デバイスのスイッチを入れないでください。」等のメッセーを表示するようにすることができる。これにより、実際に発光体識別装置１００を用いる場所でのそのときの環境光を考慮して暗化撮像条件を決定するすることができる。
【０１０１】
（変形例２）
以上の実施の形態においては、図６のステップＳ４で説明した暗化撮像条件の決定手順において、暗化撮像条件決定部１２０がＩＲカメラ１５０およびカラーカメラ１５２で撮像された第１の前処理画像および第２の前処理画像の複数の位置の画素値がそれぞれ所定値ｓ１または所定値ｓ２以下となるか否かを判定して暗化撮像条件を決定する例を示した。しかし、ＩＲカメラ１５０およびカラーカメラ１５２で撮像された第１の前処理画像および第２の前処理画像に環境光が映り込まない状態となっているか否かは、ユーザが判定するようにすることもできる。この場合、暗化撮像条件決定部１２０は、現在のＩＲカメラ１５０またはカラーカメラ１５２のシャッタスピードと、画像取得部１１２が取得したＩＲ画像またはカラー画像の複数の位置におけるＲＧＢ値とをデータ出力部１０６から出力してユーザ（設定者）に提示するようにすることができる。図１７は、ユーザに提示される画面１８４の一例を示す図である。画面１８４には、描画ボードの画像１８６を含む画像１８８（カラー画像またはＩＲ画像）が表示されている。また、画像１８８中の複数の位置ａ〜ｉの各位置におけるＲＧＢ値がそれぞれ表示されている。ユーザは画面１８４に表示された複数の位置ａ〜ｉの各位置におけるＲＧＢ値を見て、すべての位置におけるＲＧＢ値がそれぞれ所定値以下か否かによって現在のシャッタスピードを暗化撮像条件として決定するか否かを判断することができる。また、さらに他の例として、各位置におけるＲＧＢ値をグラフ化してユーザに提示するようにすることもできる。
【０１０２】
（変形例３）
入力デバイス１７０の発光体としてＬＥＤを用いた場合、ＬＥＤには、製造ばらつきが生じやすいという問題がある。たとえば、青色の発光体であっても、製造ばらつきによってＲＧＢ値が大きく異なることがある。そのため、たとえば、発光体識別装置１００は、前処理として、ユーザに発光色を指示して用いる予定のその発光色の入力デバイスの発光体を発光させた状態をカラーカメラ１５２により撮像し、各発光色の発光体の色成分情報を取得して参考値として発光色判定情報記憶部１３２に記憶しておくことができる。そして、発光色判定部１１８は、発光色の判定を行う際に、発光色判定情報記憶部１３２に記憶された参考値を参照して、参考値との類似度に基づき発光色の判定をすることもできる。
【０１０３】
図１８は、以上の前処理時にプロジェクタ用投影フィルム１６４に投影され、描画ボード１６０の描画面側にいるユーザに表示される画面の一例を示す図である。
ここでは、前処理中にユーザが各発光色の入力デバイス１７０の発光体１７２を発光させるように、たとえば「赤色の入力デバイスのスイッチを入れてこの円の中を塗ってください。」等のメッセーを表示するようにすることができる。画像取得部１１２は、この状態で取得した発光体の色成分情報を赤色の発光体の参考値として発光色判定情報記憶部１３２に記憶することができる。また、赤色以外の他の発光色についても同様の手順で参考値を取得することができる。
【０１０４】
（変形例４）
また、以上の実施の形態では、描画ボード１６０を設け、ユーザが入力デバイス１７０の発光体１７２を描画ボード１６０に押し当てて描画等する例を示した。しかし、他の例として、ユーザが入力デバイス１７０の発光体１７２を描画ボード１６０に押し当てるのではなく、ユーザが入力デバイス１７０を手に持って自在に操ることにより描画等される構成や、発光体識別システム１０が描画ボード１６０を含まず、ＩＲカメラ１５０およびカラーカメラ１５２の撮像手段１４８が、ユーザが入力デバイス１７０を手に持って自在に操る状態を撮影する構成とすることもできる。
【０１０５】
（変形例５）
また、以上の実施の形態において、データ出力部１０６から出力される情報がプロジェクタ１５４によりプロジェクタ用投影フィルム１６４に投影される例を示した。複数人でプレーするためには、表示装置としてこのような比較的大きいものを用いることが好ましい。しかし、表示装置としては、プロジェクタによる投影に限定されるものではなく、通常のディスプレイ等を用いることもできる。
【０１０６】
（変形例６）
図６のステップＳ１６からステップＳ２０の処理の変形例を示す。図１９にこの処理手順のフローチャートを示す。
図６のステップＳ１４の処理においてＩＲ画像から発光体が検出され、位置情報取得部１１４から当該ＩＲ画像のフレーム数（例として１０）および第１の位置情報（例として（ｘ１，ｙ１））が通知されると（Ｓ２０２のＹＥＳ）、発光色判定領域選択部１１６は、通知されたフレーム数（１０）および第１の位置情報（ｘ１，ｙ１）を記憶部（不図示）に記憶する（Ｓ２０４）。この後、発光色判定領域選択部１１６および発光色判定部１１８は、この記憶部に記憶されたフレーム数（１０）に対応するフレーム数（１０）が対応付けられたカラー画像の第１の位置情報に対応する位置（例として（ｍ１，ｎ１））を対象として発光色の判定処理を行う（Ｓ２０６）。このフレーム数（１０）のカラー画像から発光体の発光色が判定された場合（Ｓ２０８のＹＥＳ）、この処理は終了して、図６のステップＳ２２の処理に進む。一方、このフレーム数（１０）のカラー画像から発光体の発光色が判定されない場合（Ｓ２０８のＮＯ）、発光色判定領域選択部１１６は、フレーム数を＋１増加し（Ｓ２１０）、ステップＳ２０４に戻って記憶部のフレーム数（１１）を更新する。この後、更新されたフレーム数（１１）が対応付けられたカラー画像の位置（ｍ１，ｎ１）を対象として発光色の判定処理を行い（Ｓ２０６）、カラー画像から発光体の発光色が判定されるまで同様の処理を行うことができる。
【０１０７】
ただし、フレーム数を所定数以上増加させてもカラー画像から発光体の発光色が判定されない場合は、この位置（ｍ１，ｎ１）に対する処理を終了するようにすることもできる。また、図６のステップＳ１４の処理で新たなＩＲ画像から発光体が検出され、新たなＩＲ画像のフレーム数（例として１５）および第１の位置情報（例として（ｘ２，ｙ２））が位置情報取得部１１４から通知されると（Ｓ２０２のＹＥＳ）、カラー画像の位置（ｍ１，ｎ１）に対する処理はフレーム数（１４）までとし、カラー画像から発光体の発光色が判定されない場合でも処理を終了するようにすることができる。
【符号の説明】
【０１０８】
１０ 発光体識別システム
１００ 発光体識別装置
１０２ ＩＲ画像入力部
１０４ カラー画像入力部
１０６ データ出力部
１１２ 画像取得部
１１４ 位置情報取得部
１１６ 発光色判定領域選択部
１１８ 発光色判定部
１２０ 暗化撮像条件決定部
１２２ 入力受付部
１２４ プログラム実行処理部
１３０ 設定値記憶部
１３２ 発光色判定情報記憶部
１３４ 対応記憶部
１３６ 画像記憶部
１４８ 撮像手段
１５０ ＩＲカメラ
１５２ カラーカメラ
１５４ プロジェクタ
１６０ 描画ボード
１６２ 支持台
１６４ プロジェクタ用投影フィルム
１６６ 軌跡
１６８ 軌跡
１７０ 入力デバイス
１７０ａ 白色入力デバイス
１７０ｂ 青色入力デバイス
１７０ｃ 緑色入力デバイス
１７０ｄ 赤色入力デバイス
１７２ 発光体
１７４ スイッチ
１８２、１８６、１８８ 画像
１８０ 第１の前処理画像
１８４ 画面
２００ ＩＲ画像
２０２ カラー画像
２０４ 発光色判定領域
【技術分野】
【０００１】
本発明は、発光体識別装置、発光体識別方法、および発光体識別プログラムに関する。
【背景技術】
【０００２】
近年、ユーザに模擬的なペンを用いて電子黒板等への描画を行わせ、ペンの軌跡を取得してプロジェクタ等で画像データを表示する技術が開発されている。
【０００３】
たとえば、特許文献１（特開２００２−０７９７９２号公報）には、弾性波振動を伝達する振動伝達板と、該振動伝達板に弾性波振動を入力する振動入力手段（振動入力ペン）と、振動伝達板の外縁に設けた、弾性波振動を検出する振動検出手段と、振動入力手段からの弾性波振動が振動検出手段まで到達する時間に応じて、振動入力手段の振動伝達板上の座標位置を算出する座標算出手段とを備えた電子黒板装置が記載されている。ここで、振動入力ペンは、インクで描画することができるマーカーペンとしても機能する構成とすることが記載されている。
【０００４】
また、特許文献２（特開２００５−１３５０８１号公報）には、撮像素子による画像取り込みによってポインタの座標を取得するスクリーンに用いるライトペンであって、ポインタの先端に設けた発光手段と、前記ポインタの先端が前記スクリーンに押圧されていることを検知する押圧検知手段と、前記発光手段を制御する発光制御手段とを備えるライトペンが記載されている。これによりライトペンの動作を受光素子によって知ることができ、プロジェクタに対して画像データを生成することができるとされている。
【０００５】
また、ゲームを行う際に、ユーザが手に持って操作するコントローラが用いられている。たとえば特許文献３（特開２００７−３１３３５４号公報）には、片手でも安定して操作できることを目的としたコントローラ（ゲーム用操作装置）の構成が記載されている。ここでは、ゲーム機とコントローラとが、Ｂｌｕｅｔｏｏｔｈによる無線通信を行う例が記載されている。当該文献に記載の技術においては、コントローラとゲーム機とが初期設定等により互いのＢｌｕｅｔｏｏｔｈアドレスを予め記憶した構成とすることにより、ゲーム機に対して複数のコントローラを接続可能としている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−０７９７９２号公報
【特許文献２】特開２００５−１３５０８１号公報
【特許文献３】特開２００７−３１３３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、従来、ペンやコントローラ等の入力手段を複数のユーザがそれぞれ用いる場合に、簡易な手順でそれら複数の入力手段を区別する方法がなかった。たとえば特許文献３に記載されたように、Ｂｌｕｅｔｏｏｔｈによる無線通信を用いて予めＢｌｕｅｔｏｏｔｈアドレスを記憶しておく構成とすることにより、各入力手段を区別することが可能となる。しかし、このような方法では、入力手段側にも無線通信機能を持たせる必要があり、構成が複雑となる。
【０００８】
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、発光体の発光を入力情報として、発光体の発光色に基づき簡易な手順で入力情報を識別する技術を提供することにある。
【課題を解決するための手段】
【０００９】
本発明によれば、
ＩＲカメラおよびカラーカメラで同一の対象物を同時に撮像してそれぞれ得たＩＲ画像およびカラー画像を取得する画像取得部と、
前記ＩＲ画像から、輝度値が所定の閾値以上となる第１の画素を発光体の存在位置として検出して、当該存在位置を示す第１の位置情報を取得する位置情報取得部と、
前記位置情報取得部が取得した前記第１の位置情報に基づき、前記カラー画像から前記第１の位置に対応する位置の第２の画素を含む発光体の発光色判定領域を選択する発光色判定領域選択部と、
前記発光色判定領域選択部が選択した前記カラー画像の前記発光色判定領域に含まれる画素の色成分情報に基づき、前記発光体の発光色を判定する発光色判定部と、
を含む発光体識別装置が提供される。
【００１０】
本発明によれば、
ＩＲカメラおよびカラーカメラで同一の対象物を同時に撮像してそれぞれ得たＩＲ画像およびカラー画像を取得する工程と、
前記ＩＲ画像から、輝度値が所定の閾値以上となる第１の画素を発光体の存在位置として検出して、当該存在位置を示す第１の位置情報を取得する工程と、
前記第１の位置情報を取得する工程で取得された前記第１の位置情報に基づき、前記カラー画像から前記第１の位置に対応する位置の第２の画素を含む発光体の発光色判定領域を選択する工程と、
前記発光色判定領域を選択する工程で選択された前記カラー画像の前記発光色判定領域に含まれる画素の色成分情報に基づき、前記発光体の発光色を判定する工程と、
を含む発光体識別方法が提供される。
【００１１】
発光体を含む風景をＩＲカメラで撮像して得たＩＲ画像は近赤外線だけを取得しているため、照明等の環境光の影響を低減することができ、カラーカメラで得られたカラー画像に比べてノイズを低減することができ、画素の輝度値に基づき、発光体とそれ以外の部分との違いを判断しやすい。本発明の発光体識別装置および発光体識別方法によると、まずＩＲ画像から発光体の存在位置を検出するので、発光体の検出を精度よく迅速に行うことができる。その後、カラー画像の対応する位置の色成分情報に基づき発光色判定処理を行うので、発光体の発光色判定も精度よく簡易に行うことができる。このような構成によれば、たとえば発光色を異ならせた複数の発光体を準備した場合、各発光体の発光色判定を行い、各発光体を発光色に基づき識別する処理を簡易に行うことができる。そのため、発光体を入力デバイスとして用いた際に、複数の入力デバイスを簡易に識別することができる。
【００１２】
本発明の発光体識別装置において、前記発光色判定部は、前記発光体の発光色と前記ＩＲ画像の第１の位置情報または前記カラー画像の前記第２の画素の位置を示す第２の位置情報とを対応付けて出力することができる。このようにすれば、発光体を識別する発光色が発光体により特定される第１の位置情報または第２の位置情報とともに得られるので、たとえばディスプレイの対応する位置に識別された発光体による出力を行うようにすることができる。
【００１３】
また、本発明の発光体識別装置は、前記発光色判定部が出力した前記発光体の発光色および前記第１の位置情報または前記第２の位置情報に基づき、当該発光色で識別される入力デバイスから当該第１の位置情報または当該第２の位置情報への入力があったことを受け付ける入力受付部をさらに含むことができる。このようにすれば、入力デバイスによる入力情報を発光体の位置情報に基づき受け付けるとともに、カラー画像の色成分情報から判定された発光色に応じて入力デバイスを識別することができる。そのため、発光色の異なる発光体をそれぞれ含む複数の入力デバイスを用いて複数のユーザにより入力される入力情報をそれぞれ識別することができる。
【００１４】
本発明の発光体識別装置において、
前記発光色判定領域選択部は、選択した前記発光色判定領域に含まれる画素の輝度値Ｙｉが所定の必要輝度値Ｙｄ以上か否かを判定し、前記輝度値Ｙｉが前記必要輝度値Ｙｄより低い場合に当該発光色判定領域をノイズであると判定するとともに、前記輝度値Ｙｉが前記必要輝度値Ｙｄ以上の場合に当該発光色判定領域をノイズでないと判定することができ、
前記発光色判定部は、前記発光色判定領域選択部により前記発光色判定領域がノイズでないと判定された場合に、当該カラー画像の前記発光色判定領域に含まれる画素の色成分情報に基づき、前記発光体の発光色を判定することができ、
前記必要輝度値Ｙｄは、前記カラー画像の中心部と前記発光色判定領域との距離Ｄｉに応じて当該距離Ｄｉが大きい方が値が低くなるように設定することができる。
【００１５】
発光体がカメラのレンズの中心軸の延長上付近にあり、カメラレンズへの入射角が小さい場合には輝度値が比較的大きくなるが、発光体がカメラのレンズの中心軸の延長上から離れた位置にあり、カメラレンズへの入射角が大きい場合には輝度値が小さくなってしまう。以上の構成によれば、カラー画像の発光色判定領域のノイズ判定処理において、判定に用いる必要輝度値Ｙｄは、カラー画像の中心部と発光色判定領域との距離Ｄｉに応じて距離Ｄｉが大きい方、すなわちカメラレンズへの入射角が大きい場合には値が低くなるように設定されるので、発光体が検出される場所における輝度値の出方の特性も考慮して精度よくノイズを除去することができる。
【００１６】
本発明によれば、上記発光体識別装置と、発光色が異なる複数の発光体と、前記発光体を撮像するＩＲカメラと、カラーカメラと、を含む発光体識別システムが提供される。
【００１７】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラム等の間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１８】
本発明によれば、発光体の発光を入力情報として、発光体の発光色に基づき簡易な手順で入力情報を識別することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態における発光体識別システムの構成の一例を模式的に示す図である。
【図２】本発明の実施の形態における入力デバイスの構成の一例を模式的に示す図である。
【図３】本発明の実施の形態における入力デバイスにより描かれた軌跡が発光体識別装置から出力されて描画ボードに表示された状態を示す図である。
【図４】本発明の実施の形態における発光体識別装置の構成の一例を示すブロック図である。
【図５】対応記憶部の構成の一例を示す図である。
【図６】本発明の実施の形態における発光体識別装置の処理手順を示すフローチャートである。
【図７】本発明の実施の形態における暗化撮像条件決定部による処理を説明するための模式図である。
【図８】本発明の実施の形態における暗化撮像条件決定部による処理を説明するための模式図である。
【図９】図６のステップＳ１８の処理手順を詳細に示すフローチャートである。
【図１０】ＩＲ画像およびカラー画像への処理の一例を模式的に示す図である。
【図１１】ＩＲ画像およびカラー画像への処理の他の例を模式的に示す図である。
【図１２】図６のステップＳ２０の処理手順を詳細に示すフローチャートである。
【図１３】図１２のステップＳ１３０の処理手順の一例を詳細に示すフローチャートである。
【図１４】図１２のステップＳ１３４の処理手順の一例を詳細に示すフローチャートである。
【図１５】図１２のステップＳ１３６の処理手順の一例を詳細に示すフローチャートである。
【図１６】設定値記憶部の構成の一例を示す図である。
【図１８】前処理時にプロジェクタ用投影フィルムに投影され、描画ボードの描画面側にいるユーザに表示される画面の一例を示す図である。
【図１７】シャッタスピードの設定手順において、設定者であるユーザに提示される画面の一例を示す図である。
【図１９】図６に示したフローチャートのステップＳ１６からステップＳ２０の処理の変形例を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００２１】
まず、本実施の形態における発光体識別システム１０の構成を簡単に説明する。図１は、本実施の形態における発光体識別システム１０の構成の一例を模式的に示す図である。
発光体識別システム１０は、支持台１６２により支持された描画ボード１６０、撮像手段１４８、プロジェクタ１５４、複数の入力デバイス１７０および発光体識別装置１００を含む。図１（ａ）は、ユーザが入力デバイス１７０により描画を行う描画面から見た描画ボード１６０の平面図、図１（ｂ）は、描画ボード１６０の側面図である。
【００２２】
本実施の形態において、撮像手段１４８は、ＩＲカメラ１５０（赤外線カメラ）およびカラーカメラ１５２を含む構成とすることができる。ここで、ＩＲカメラ１５０およびカラーカメラ１５２は、それぞれ動画を取得する。ＩＲカメラ１５０は、対象物を赤外線で撮像してＩＲ画像を得る。カラーカメラ１５２は、対象物を可視光で撮像してカラー画像を得る。本実施の形態において、ＩＲカメラ１５０で撮像したＩＲ画像は、発光体の位置情報（座標）を検出するために用いられる。本実施の形態において、カラーカメラ１５２で撮像したカラー画像は、発光体の発光色を判定するために用いられる。
【００２３】
また、ＩＲカメラ１５０とカラーカメラ１５２とは、同一の対象物を略同時に撮像可能に配置される。つまり、ＩＲカメラ１５０とカラーカメラ１５２とが略同じ方向を向くように配置しておく。たとえば、ＩＲカメラ１５０とカラーカメラ１５２とを上下に並べたり、ＩＲカメラ１５０とカラーカメラ１５２とを左右に並べて配することができる。
【００２４】
また、本実施の形態において、ＩＲカメラ１５０およびカラーカメラ１５２は、描画ボード１６０から距離を隔てて設置され、それぞれその撮像可能な領域内に描画ボード１６０が収まるとともに、領域内のほぼ全体に描画ボード１６０が撮像されるように配置することができる。ＩＲカメラ１５０およびカラーカメラ１５２は、たとえば描画ボード１６０の中心部と重なる位置に配置することができる。これにより、ＩＲカメラ１５０またはカラーカメラ１５２のレンズの中心軸の延長上の対象物がＩＲカメラ１５０またはカラーカメラ１５２により取得される画像の中心部に撮像されるようになる。
【００２５】
ＩＲカメラ１５０は、たとえば光学フィルタにより可視光をカットすることにより構成することができる。ＩＲカメラ１５０は、たとえば９２０ｎｍ以下の可視光をカットした構成とすることができる。カラーカメラ１５２は、たとえば光学フィルタにより近赤外線および赤外線をカットすることにより構成することができる。ただし、ＩＲカメラ１５０およびカラーカメラ１５２は、入力デバイス１７０の発光体１７２として用いるＬＥＤ（Light Emitting Diode）等の発光体を検出可能に構成される。
【００２６】
本実施の形態において、ＩＲカメラ１５０およびカラーカメラ１５２は、たとえば同じ構成のカメラを用いて、カットする光の波長がそれぞれ異なる光学フィルタを設けることにより準備することもできる。一例として、ＩＲカメラ１５０およびカラーカメラ１５２は、それぞれ６４０×４８０ピクセルのＶＧＡ（Video Graphics Array）や１２８０×９６０ピクセルのＸＧＡ等を用いることができる。
【００２７】
本実施の形態において、描画ボード１６０は、たとえば透明アクリル板により構成することができる。また、描画ボード１６０の描画面と反対側の面には、プロジェクタ１５４から投影するデータを表示するためのプロジェクタ用投影フィルム１６４を設けた構成とすることができる。発光体識別装置１００から出力されるデータは、プロジェクタ１５４からプロジェクタ用投影フィルム１６４に投影されて描画ボード１６０の描画面側のユーザに表示される。また、本実施の形態において、ユーザは、プロジェクタ用投影フィルム１６４に投影される画面を見て、入力デバイス１７０を用いて各種入力操作を行う。
【００２８】
図２は、入力デバイス１７０の構成の一例を模式的に示す図である。入力デバイス１７０は、先端に発光体１７２が取り付けられた構成とすることができる。また、入力デバイス１７０には、発光体１７２の発光のオンオフを制御するスイッチ１７４が設けられている。ここで、スイッチ１７４は、たとえばユーザがスイッチ１７４を押している間だけ発光体１７２が発光する構成とすることができる。これにより、ユーザが入力デバイス１７０のスイッチ１７４を瞬間的に押すことにより発光体１７２を瞬間的に発光させることができ、クリックボタンを有するマウス等と同様に用いることができる。また、スイッチ１７４は、発光体１７２を連続的に発光させておくモードに切り替え可能に構成することもできる。これにより、入力デバイス１７０をたとえばユーザが文字や絵を描いたりするためのペンとしても簡易に用いることができるようになる。本実施の形態において、発光体１７２は、ＬＥＤにより構成することができる。なお、入力デバイス１７０の構成はこれに限られず、たとえばスイッチ１７４は、発光体１７２と本体との間に設けられ、入力デバイス１７０の発光体１７２を描画ボード１６０に押しつけることにより、スイッチ１７４がオンとされる構成として、発光体１７２が発光するようにすることもできる。このようにすれば、ユーザが入力デバイス１７０の発光体１７２を描画ボード１６０に押しつけるだけで発光体１７２を発光させることができ、ユーザが入力デバイス１７０で描画する動作をスムーズにすることができる。
【００２９】
図１に戻り、本実施の形態における発光体識別システム１０では、発光色の異なる発光体をそれぞれ含む複数の入力デバイス１７０が用いられる構成とすることができる。たとえば、本実施の形態において、発光体識別システム１０は、入力デバイス１７０として、発光体１７２が白色ＬＥＤである白色入力デバイス１７０ａ、発光体１７２が青色ＬＥＤである青色入力デバイス１７０ｂ、発光体１７２が緑色ＬＥＤである緑色入力デバイス１７０ｃ、および発光体１７２が赤色ＬＥＤである赤色入力デバイス１７０ｄを含む構成とすることができる。
【００３０】
本実施の形態において、発光体識別装置１００は、各発光体１７２の発光色を判定し、発光色に応じて入力デバイス１７０を識別する。これにより、発光体識別装置１００は、複数のユーザがそれぞれ入力デバイス１７０を用いて入力操作を行う場合でも、発光色に基づき入力デバイス１７０を識別することができるので、各入力デバイス１７０による入力操作を区別して把握することができる。
【００３１】
このような状態で、ユーザは、入力デバイス１７０の発光体１７２を描画ボード１６０に押し当てて、発光体１７２を発光させたまま文字や図形等を描画したり、発光体１７２を点滅させたりする。発光体識別装置１００は、発光体１７２を撮像手段１４８で撮像して得られた画像から輝度値に基づき発光体１７２の存在およびその位置情報を入力操作として取得する。発光体識別装置１００は、検出した発光体１７２の入力操作に基づき制御されるデータをプロジェクタ１５４に出力する。プロジェクタ１５４から出力されたデータは、プロジェクタ用投影フィルム１６４に投影され、描画ボード１６０に表示される。
【００３２】
図３は、入力デバイス１７０により描かれた軌跡１６６および軌跡１６８が発光体識別装置１００から出力されて描画ボード１６０に表示された状態を示す図である。
ここで、たとえば軌跡１６６は白色入力デバイス１７０ａにより描かれた軌跡、軌跡１６８は青色入力デバイス１７０ｂにより描かれた軌跡であるとする。本実施の形態において、発光体識別装置１００は、これらの軌跡を白色入力デバイス１７０ａの発光体１７２の発光色と青色入力デバイス１７０ｂの発光体１７２の発光色とに基づき識別して、それぞれ区別して出力するようにすることができる。
【００３３】
図４は、本実施の形態における発光体識別装置１００の構成の一例を示すブロック図である。発光体識別装置１００は、たとえばパーソナルコンピュータ等により構成することができる。
発光体識別装置１００は、ＩＲ画像入力部１０２、カラー画像入力部１０４、データ出力部１０６、画像取得部１１２、位置情報取得部１１４、発光色判定領域選択部１１６、発光色判定部１１８、暗化撮像条件決定部１２０、入力受付部１２２、プログラム実行処理部１２４、設定値記憶部１３０、発光色判定情報記憶部１３２、対応記憶部１３４、および画像記憶部１３６を含む。
【００３４】
ＩＲ画像入力部１０２は、ＩＲカメラ１５０とＵＳＢやシリアルポート等の接続インタフェースを介して接続されており、ＩＲカメラ１５０が撮像したＩＲ画像を入力する。カラー画像入力部１０４は、カラーカメラ１５２とＵＳＢやシリアルポート等の接続インタフェースを介して接続されており、カラーカメラ１５２が撮像したカラー画像を入力する。
【００３５】
データ出力部１０６は、発光体識別装置１００の各種データを外部のディスプレイに出力する。本実施の形態において、データ出力部１０６は、プロジェクタ１５４とアナログＲＧＢコネクタ（ディスプレイポート）等の接続インタフェースを介して接続されており、プロジェクタ１５４にデータを出力する。なお、ＩＲカメラ１５０とＩＲ画像入力部１０２との間、カラーカメラ１５２とカラー画像入力部１０４との間、およびデータ出力部１０６とプロジェクタ１５４との間の画像の送受信の接続インタフェースはとくに限定されず、他の例において、たとえばそれぞれ無線通信等により行う構成とすることもできる。
【００３６】
画像取得部１１２は、ＩＲカメラ１５０およびカラーカメラ１５２で同一の対象物を略同時に撮像して得たＩＲ画像およびカラー画像を取得する。画像取得部１１２は、ＩＲ画像入力部１０２を介してＩＲカメラ１５０からＩＲ画像を、カラー画像入力部１０４を介してカラーカメラ１５２からカラー画像を取得する。画像取得部１１２が取得したＩＲ画像およびカラー画像は、画像記憶部１３６に記憶される。
【００３７】
位置情報取得部１１４は、画像取得部１１２が取得したＩＲ画像から、発光体１７２の存在位置を検出する。発光色判定領域選択部１１６は、位置情報取得部１１４がＩＲ画像から検出した入力デバイス１７０の存在位置の位置情報に基づき、そのＩＲ画像と略同時に取得されたカラー画像の対応する位置を含む発光色判定領域を選択する。発光色判定部１１８は、発光色判定領域選択部１１６により選択されたカラー画像の発光色判定領域の色成分情報に基づき、発光体１７２の発光色を判定する。暗化撮像条件決定部１２０は、ＩＲカメラ１５０およびカラーカメラ１５２の撮像条件を決定する。
【００３８】
入力受付部１２２は、発光色判定部１１８が判定した発光体１７２の発光色およびその位置情報に基づき、当該発光色で識別される入力デバイス１７０から当該位置情報への入力操作があったことを受け付ける。
【００３９】
対応記憶部１３４は、入力デバイス１７０の発光体１７２の発光色と、入力デバイスの識別情報との対応付けを記憶する。図５は、対応記憶部１３４の構成の一例を示す図である。ここでは、発光体１７２の発光色にそれぞれ入力デバイスＩＤが対応付けられている。たとえば、発光色「白色」が入力デバイスＩＤ「１」、発光色「青色」が入力デバイスＩＤ「２」、発光色「緑色」が入力デバイスＩＤ「３」、発光色「赤色」が入力デバイスＩＤ「４」となっている。入力受付部１２２は、対応記憶部１３４にアクセスして、発光色判定部１１８が判定した発光色に対応する入力デバイスＩＤを取得する。入力受付部１２２は、識別した結果に基づき、対応する位置に識別した入力デバイス１７０のポインタ等が表示されるような表示データをデータ出力部１０６から出力するようにすることもできる。
【００４０】
プログラム実行処理部１２４は、入力受付部１２２が受け付けた入力操作に基づき、プログラムを実行する。
【００４１】
設定値記憶部１３０は、位置情報取得部１１４、発光色判定領域選択部１１６、および暗化撮像条件決定部１２０等が画像の輝度値を判定する際や、その他の各種判定を行う際に参照する基準値等の設定値や各種設定を記憶する。発光色判定情報記憶部１３２は、発光色判定部１１８が発光体の発光色を判定する際に参照する基準値等の設定値や各種設定を記憶する。
【００４２】
次に、本実施の形態における発光体識別装置１００の処理手順を詳細に説明する。図６は、本実施の形態における発光体識別装置１００の処理手順を示すフローチャートである。
【００４３】
（前処理：暗化撮像条件決定）
まず、前処理として、発光体１７２の発光による入力を受け付ける際に発光体識別装置１００を実際に適用する環境（以下適用環境という。）に応じて、ＩＲカメラ１５０およびカラーカメラ１５２が撮像する画像に環境光が映り込まないように画像を暗化する暗化撮像条件を決定する（Ｓ４）。
【００４４】
発光体１７２の発光による入力を受け付ける際に、ＩＲカメラ１５０およびカラーカメラ１５２が撮像する画像中に目的の発光体１７２だけでなく、照明やプロジェクタ１５４からプロジェクタ用投影フィルム１６４に投影されるデータの光等の環境光が映り込むと、環境光を発光体１７２の発光として誤検出する可能性が高くなってしまう。そこで、本実施の形態において、環境光が存在している適用環境において発光体１７２の発光がないときにＩＲカメラ１５０およびカラーカメラ１５２で撮像した画像の画素値が全体にわたって、一般的な画像処理の色判定において黒と判定される値となるように画像を暗化する暗化撮像条件を予め決定しておく。このように決定した暗化撮像条件で発光体１７２を発光させてＩＲカメラ１５０およびカラーカメラ１５２で撮像した画像では発光体１７２の存在位置以外の画素値は黒となるので、発光体１７２の検出を精度よく行うようにすることができる。暗化撮像条件は、たとえば、ＩＲカメラ１５０やカラーカメラ１５２のシャッタスピード、絞り量、ゲイン調整量、または露光量等とすることができる。ただし、発光体１７２の発光強度は環境光の発光強度より充分強く、ＩＲカメラ１５０およびカラーカメラ１５２で撮像した画像に環境光が映り込まない暗化撮像条件で撮像した画像においてもある程度の輝度値やＲＧＢ値等の画素値を有するものとする。
【００４５】
以下、暗化撮像条件としてＩＲカメラ１５０およびカラーカメラ１５２のシャッタスピードを制御する構成を例として説明する。
まず、カラーカメラ１５２のシャッタスピードの決定手順を説明する。
環境光が存在している適用環境に発光体識別システム１０を設置し、目的の発光体１７２の発光がない状態をカラーカメラ１５２のシャッタスピードを適宜変更しながら順次撮像する。ここで、シャッタスピードは、スピードが速くなる方向に適宜変更していくようにすることができる。画像取得部１１２は、カラーカメラ１５２により撮像されたカラー画像である第１の前処理画像をカラー画像入力部１０４を介して取得する。暗化撮像条件決定部１２０は、画像取得部１１２が取得した第１の前処理画像をその画像が撮像されたときのカラーカメラ１５２のシャッタスピードに対応付けて取得する。シャッタスピード制御部１２０は、第１の前処理画像に含まれる複数の位置の画素値をそれぞれ当該画素値が黒色か否かを判定するための所定値ｓ１と比較する。所定値ｓ１は、予め設定値記憶部１３０に記憶しておくことができ、暗化撮像条件決定部１２０は、設定値記憶部１３０にアクセスして複数の位置の画素値を所定値ｓ１と比較する。所定値ｓ１とは、環境光の色情報がほとんどない状態、たとえば一般的な画像処理の色判定において黒と判定される値とすることができる。画素値はＲＧＢ値とすることができる。この場合、所定値ｓ１は、ＲＧＢ値のすべてがそれぞれほぼゼロとなる値、たとえば２０以上３０以下（ＲＧＢ値それぞれが０から２５５の値をとる場合）程度とすることができる。暗化撮像条件決定部１２０は、複数の位置の画素値すべてが所定値ｓ１以下となる第１のシャッタスピードをこの適用環境におけるカラーカメラ１５２の暗化撮像条件として決定する。ここで、第１の前処理画像に含まれる複数の位置は、たとえば中心部とその周囲の外周部を含む。
【００４６】
目的の発光体１７２の発光がない状態をカラーカメラ１５２のシャッタスピードをたとえば１／１２５秒として撮像して得られた第１の前処理画像に含まれる複数の位置の画素値のいずれかが所定値ｓ１以下でない場合、カラーカメラ１５２のシャッタスピードをさらに速くし、たとえば１／２５０秒とする。次いで、カラーカメラ１５２のシャッタスピードを１／２５０秒として撮像して得られた第１の前処理画像に含まれる複数の位置の画素値すべてが所定値ｓ１以下となるか否かを判定する。このようにして、複数の位置の画素値すべてが所定値ｓ１以下となるシャッタスピードを検出する。シャッタスピードは、連続的に変更してもよいが、たとえば１／６０秒、１／１２５秒、１／２５０秒、１／５００秒等、カメラのシャッタスピードとして一般的に多く用いられているシャッタスピードに段階的に変更するようにすることもできる。
【００４７】
図７は、画像取得部１１２が取得した描画ボード１６０のカラー画像である第１の前処理画像１８０を模式的に示す図である。ここでは、第１の前処理画像１８０のほぼ全体に描画ボード１６０の画像１８２が表示されている。暗化撮像条件決定部１２０は、たとえば画像の中心部ｅと、その周囲の外周部の位置ａから位置ｄおよび位置ｆから位置ｉの計９箇所のそれぞれのＲＧＢ値を取得することができる。また、複数の位置は、たとえば画像１８２を均等に等分した各領域の中心位置とすることもできる。たとえば、複数の位置は、画像１８２を縦×横を３×３の９等分にした各領域の中心位置としてもよい。各位置のＲＧＢ値は、順次取得するようにしてもよいが、略リアルタイムで取得するようにすることもできる。暗化撮像条件決定部１２０は、位置ａから位置ｉのすべてでそれぞれ所定値ｓ１以下となる第１のシャッタスピードを検出し、当該第１のシャッタスピードを暗化撮像条件として決定する。
【００４８】
次に、ＩＲカメラ１５０のシャッタスピードの決定手順を説明する。
この手順も、基本的にはカラーカメラ１５２のシャッタスピードの決定手順と同様とすることができる。環境光が存在している適用環境に発光体識別システム１０を設置し、目的の発光体１７２の発光がない状態をＩＲカメラ１５０のシャッタスピードを適宜変更しながら順次撮像する。画像取得部１１２は、ＩＲカメラ１５０により撮像されたＩＲ画像である第２の前処理画像をＩＲ画像入力部１０２を介して取得する。暗化撮像条件決定部１２０は、画像取得部１１２が取得した第２の前処理画像をその画像が撮像されたときのＩＲカメラ１５０のシャッタスピードに対応付けて取得する。シャッタスピード制御部１２０は、第２の前処理画像に含まれる複数の位置の画素値をそれぞれ当該画素値が黒色か否かを判定するための所定値ｓ２と比較する。所定値ｓ２は、予め設定値記憶部１３０に記憶しておくことができ、暗化撮像条件決定部１２０は、設定値記憶部１３０にアクセスして複数の位置の画素値を所定値ｓ２と比較する。所定値ｓ２とは、環境光の色情報がほとんどない状態、たとえば一般的な画像処理の色判定において黒と判定される値とすることができる。画素値はＲＧＢ値とすることができる。この場合、所定値ｓ２は、ＲＧＢ値のすべてがそれぞれほぼゼロとなる値、たとえば２５以上４０以下（ＲＧＢ値それぞれが０から２５５の値をとる場合）程度とすることができる。暗化撮像条件決定部１２０は、複数の位置の画素値すべてが所定値ｓ２以下となる第２のシャッタスピードをこの適用環境におけるＩＲカメラ１５０の暗化撮像条件として決定する。ここで、第２の前処理画像に含まれる複数の位置は、たとえば中心部とその周囲の外周部を含む。
なお、所定値ｓ１および所定値ｓ２は、ＲＧＢ値それぞれに対して一定ではなく、Ｒ値、Ｇ値、およびＢ値それぞれに対して異なる値とすることもできる。また、これらの所定値ｓ１および所定値ｓ２は、判定すべき位置が画像の中心部か外周部によって、異なる値とすることもできる。たとえば、後述するように、同じ光源を撮像した場合、画像の中心部において画像の周辺部よりも輝度が大きくなる。そのため、画像の周辺部において所定値ｓ１および所定値ｓ２の値を中心部よりも厳しく、すなわち小さい値に設定することもできる。
以上の処理において、ＩＲカメラ１５０およびカラーカメラ１５２のシャッタスピードは、ユーザが手動で制御する構成とすることもでき、また暗化撮像条件決定部１２０により自動制御される構成とすることもできる。
【００４９】
（前処理：閾値、所定値決定）
図６に戻り、ＩＲカメラ１５０およびカラーカメラ１５２の暗化撮像条件であるシャッタスピードが決定された後、決定されたシャッタスピードに応じて以下で説明する各種判定で用いる閾値や所定値を決定し、設定値記憶部１３０や発光色判定情報記憶部１３２に記憶する（Ｓ６）。各閾値や所定値の具体例や決定方法は後述する。
以上で前処理が終了する。
【００５０】
（暗化撮像条件設定）
次いで、発光体１７２の発光による入力を受け付ける処理の開始に先立ち、ＩＲカメラ１５０およびカラーカメラ１５２をステップＳ４で決定した暗化撮像条件に設定する（Ｓ８）。具体的には、ＩＲカメラ１５０のシャッタスピードを第１のシャッタスピードに、カラーカメラ１５２のシャッタスピードを第２のシャッタスピードに設定する。このＩＲカメラ１５０およびカラーカメラ１５２のシャッタスピードも、ユーザが手動で制御する構成とすることもでき、また暗化撮像条件決定部１２０により自動制御される構成とすることもできる。
【００５１】
（ＩＲ画像およびカラー画像取得）
以上の設定処理が終了した後、発光体１７２の発光による入力の受け付ける処理を開始する（Ｓ１０）。画像取得部１１２は、ＩＲカメラ１５０およびカラーカメラ１５２で同一の対象物を略同時に撮像して得たＩＲ画像およびカラー画像を取得する（Ｓ１２）。画像取得部１１２は、略同時に得られたＩＲ画像およびカラー画像をそれぞれ、フレーム数、取得時刻、撮像時刻、またはタイムコード等の対応関係を示す情報に対応付けて取得することができる。なお、ＩＲカメラ１５０およびカラーカメラ１５２は、同じフレームレートで動画を取得する構成とすることができる。略同時とは、ユーザが入力デバイス１７０により描画を行う際の発光体１７２の移動をＩＲカメラ１５０およびカラーカメラ１５２でそれぞれ撮像した場合に、発光体１７２の位置が互いに対応する位置に存在するよう認識し得る状態とすることができる。たとえば、画像取得部１１２は、ＩＲ画像入力部１０２およびカラー画像入力部１０４から略同時に取得したＩＲ画像およびカラー画像に同じフレーム数を順次付与してもよい。また、画像取得部１１２は、ＩＲ画像入力部１０２およびカラー画像入力部１０４から取得したＩＲ画像およびカラー画像に、それぞれの画像を取得した取得時刻を付与してもよい。また、他の例として、発光体識別システム１０は、たとえば同期発生器を有する構成とすることができ、同期発生器によりＩＲカメラ１５０およびカラーカメラ１５２がそれぞれ撮像した画像に撮像時刻やタイムコード等を付与するようにすることもできる。以下では、画像取得部１１２がＩＲ画像入力部１０２およびカラー画像入力部１０４から略同時に取得したＩＲ画像およびカラー画像に同じフレーム数を順次付与する場合を例として説明する。画像取得部１１２は、ＩＲ画像およびカラー画像をそれぞれ対応関係を示す情報に対応付けて画像記憶部１３６に記憶する。
【００５２】
（ＩＲ画像から発光体の存在位置検出）
つづいて、位置情報取得部１１４は、画像取得部１１２が取得して画像記憶部１３６に記憶されたＩＲ画像から、輝度値が所定の閾値ｔ１以上となる第１の画素を発光体として検出して、当該第１の画素の位置を示す第１の位置情報を取得する（Ｓ１４）。具体的には、第１の位置情報として第１の画素の座標（ピクセル座標）を取得する。ＩＲ画像の輝度値は、各画素のＲＧＢ値に基づき、たとえば「輝度値＝０．２９８９１２×Ｒ＋０．５８６６１１×Ｇ＋０．１１４４７８×Ｂ（Ｒ、Ｂ、ＧはそれぞれＲ値、Ｂ値、Ｇ値）」から算出することができる。閾値ｔ１は、たとえば６０以上１００以下程度の値とすることができる。閾値ｔ１は、図６のステップＳ６において決定することができ、設定値記憶部１３０に記憶しておくことができる。
【００５３】
図１０は、ＩＲ画像およびカラー画像への処理の一例を模式的に示す図である。以下、図１０も適宜参照して説明する。
図１０（ａ）に示すように、ＩＲ画像２００の横方向の座標をｘ座標、縦方向の座標をｙ座標とする。位置情報取得部１１４は、ＩＲ画像２００の全画素を順次走査して各画素の輝度値が閾値ｔ１以上か否かを順次判断する。ここで、輝度値が閾値ｔ１以上となる第１の画素があると、当該第１の画素を発光体１７２の存在位置として検出する。そして、その第１の画素の位置を示す第１の位置情報としてその座標（ｘｉ，ｙｉ）を取得する。たとえばＩＲカメラ１５０が６４０×４８０ピクセルのＶＧＡで構成されており、ＩＲ画像の解像度が６４０×４８０ピクセルの場合、ｘｉは０以上６４０未満の実数、ｙｉは０以上４８０未満の実数となる。次いで、位置情報取得部１１４は、第１の位置情報およびそのＩＲ画像のフレーム数を発光色判定領域選択部１１６に通知する。これにより、発光色判定領域選択部１１６において後述する発光色判定領域の選択処理が行われる。位置情報取得部１１４は、この処理を、画像取得部１１２が取得したＩＲ画像２００の全画素に対して順次行っていく。
【００５４】
（カラー画像から発光色判定領域選択）
図６に戻り、発光色判定領域選択部１１６は、位置情報取得部１１４からＩＲ画像の第１の位置情報およびそのＩＲ画像のフレーム数が通知されると、画像記憶部１３６にアクセスして対応するフレーム数のカラー画像から第１の位置に対応する位置の第２の画素を含む発光体の発光色判定領域を選択する（Ｓ１６）。
【００５５】
図１０（ｂ）に示すように、カラー画像２０２の横方向の座標をｍ座標、縦方向の座標をｎ座標とする。発光色判定領域選択部１１６は、位置情報取得部１１４が取得したＩＲ画像の第１の位置情報（ｘｉ，ｙｉ）に基づき、カラー画像から第１の位置に対応する位置の第２の画素を含む発光体の発光色判定領域２０４を選択する。ここで、ＩＲ画像の第１の画素の座標（ｘｉ，ｙｉ）に対応するカラー画像の第２の画素の座標（ピクセル座標）を（ｍｉ，ｎｉ）とする。
【００５６】
ここで、たとえばステップＳ６において、ＩＲカメラ１５０により撮像されるＩＲ画像の解像度およびカラーカメラ１５２により撮像されるカラー画像の解像度も予め設定値記憶部１３０に記憶しておくことができる。発光色判定領域選択部１１６は、設定値記憶部１３０に記憶されたＩＲ画像の解像度とカラー画像の解像度との比に基づき、ＩＲ画像の第１の画素に対応するカラー画像の第２の画素の座標を決定することができる。たとえばカラーカメラ１５２が６４０×４８０ピクセルのＶＧＡで構成されており、ＩＲ画像の解像度が６４０×４８０ピクセルの場合、ｍｉは０以上６４０未満の実数、ｎｉは０以上４８０未満の実数となる。また、画像取得部１１２が取得するＩＲ画素の解像度とカラー画像の解像度とが等しい場合、ｍｉ＝ｘｉ、ｎｉ＝ｙｉとなる。
【００５７】
発光色判定領域選択部１１６が選択する発光色判定領域は、図１０（ｂ）に示したように、位置情報取得部１１４が取得したＩＲ画像の第１の画素に対応する位置の第２の画素のみを含む構成とすることもできるが、第２の画素を含むさらに多くの画素を含む構成とすることもできる。たとえば発光色判定領域選択部１１６は、発光色判定領域として、第２の画素とその周囲の所定数の画素とを含む広い範囲の画素を選択することができる。
【００５８】
図１１は、ＩＲ画像２００およびカラー画像２０２への処理の他の例を模式的に示す図である。図１１（ｂ）に示すように、発光色判定領域選択部１１６は、第２の画素とその周囲の画素を含む領域を発光色判定領域２０４として選択することもできる。どのような範囲を発光色判定領域２０４として選択するかの設定範囲は、予め設定値記憶部１３０に記憶しておくことができる。発光色判定領域選択部１１６は、設定値記憶部１３０に記憶された設定範囲に基づき、発光色判定領域２０４を選択することができる。
【００５９】
なお、発光色判定領域選択部１１６は、ＩＲカメラ１５０が取得するＩＲ画像とカラーカメラ１５２が取得するカラー画像にずれが生じる場合は、そのずれ部分を補正して対応する第２の画素を選択して第２の位置情報を取得する構成とすることができる。ＩＲ画像およびカラー画像中の発光体の存在位置のずれは、たとえば前処理として描画ボード１６０をＩＲカメラ１５０およびカラーカメラ１５２でそれぞれ撮像し、取得したＩＲ画像およびカラー画像中の描画ボード１６０の位置のずれを検出することにより、同様にずれが生じているとして設定することができる。ＩＲ画像およびカラー画像中の描画ボード１６０の位置のずれは、パターンマッチング等のソフトウェアプログラムを用いて自動的に補正するようにしたり、ＩＲ画像およびカラー画像中の描画ボード１６０の位置をユーザに指定させた後にソフトウェアプログラムで補正するようにすることができる。
【００６０】
（カラー画像に対するノイズ除去）
図６に戻り、発光色判定領域選択部１１６は、選択した発光色判定領域の輝度値に基づきノイズ除去を行う（Ｓ１８）。具体的には、発光色判定領域選択部１１６は、選択した発光色判定領域に含まれる画素の輝度値Ｙｉが所定の必要輝度値Ｙｄ以上か否かを判定し、輝度値が必要輝度値Ｙｄより低い場合に当該発光色判定領域をノイズであると判定するとともに、輝度値が必要輝度値Ｙｄ以上の場合に当該発光色判定領域をノイズでないと判定する。
【００６１】
発光体をカラーカメラ１５２で撮像した場合、発光体の明るさが同じであっても、その発光体の光点の中心部と外周部では得られた画像中の輝度が異なる。とくに、ＬＥＤのような指向性が高い発光体を用いた場合、発光体がカメラのレンズの中心軸の延長上付近にあり、カメラレンズへの入射角が小さい場合には発光体の光点の中心部が撮像されて輝度値が大きくなる。一方、発光体がカメラのレンズの中心軸の延長上から離れた位置にあり、カメラレンズへの入射角が大きい場合には光点の外周部が撮像されて輝度値が小さくなってしまう。とくに、カラー画像の場合この傾向は顕著に現れる。つまり、同じ発光体を撮像した場合でも、発光体がカラーカメラ１５２で撮像したカラー画像の中心部に存在する場合は、その発光体の光点の中心部が撮像されることになるのでその発光体の輝度値が大きくなる。一方、発光体がカラーカメラ１５２で撮像したカラー画像の外周部に存在する場合は、その発光体の光点の外周部が撮像されることになるのでその発光体の輝度値が小さくなる。そのため、カラー画像の中心部と外周部とで同じ必要輝度値を用いた場合、たとえば外周部では発光体の存在が検出されにくくなる一方、中心部ではノイズまでもを発光体であると判定してしまう可能性が高くなる。そこで、本実施の形態においては、発光色判定領域選択部１１６が判定に用いる必要輝度値Ｙｄは、カラー画像の中心部と発光色判定領域との距離Ｄｉに応じて距離Ｄｉが大きい方が値が低くなるように設定する。
【００６２】
図９は、この手順を詳細に示すフローチャートである。
まず、発光色判定領域選択部１１６は、カラー画像の発光色判定領域の輝度値Ｙｉを算出する（Ｓ１０４）。カラー画像の輝度値は、各画素のＲＧＢ値に基づき、たとえば「輝度値＝０．２９８９１２×Ｒ＋０．５８６６１１×Ｇ＋０．１１４４７８×Ｂ（Ｒ、Ｇ、ＢはそれぞれＲ値、Ｇ値、Ｂ値）」から算出することができる。ここで、発光色判定領域に複数の画素が含まれる場合、発光色判定領域選択部１１６は、発光色判定領域に含まれる画素の輝度値Ｙｉとして、複数の画素の輝度値の平均値を用いることもでき、また複数の画素の中の中心に位置する画素の輝度値を用いることもできる。また、複数の画素のうち、中心に位置する画素の輝度値ほど貢献比率が高くなるような加重平均値を用いることもできる。
【００６３】
次いで、発光色判定領域選択部１１６は、カラー画像の中心部と発光色判定領域との距離Ｄｉを算出する（Ｓ１０６）。ここで、発光色判定領域に複数の画素が含まれる場合、発光色判定領域選択部１１６は、距離Ｄｉとして、カラー画像の中心部と発光色判定領域の中心部との距離を用いることができる。
【００６４】
距離Ｄｉは、カラー画像の中心座標を（ｍｃ，ｎｃ）とすると、
Ｄｉ＝ｓｑｒｔ（（ｍｉ−ｍｃ）２＋（ｎｉ−ｎｃ）２）
から算出することができる（ただし、ｓｑｒｔは平方根を求める関数）。
【００６５】
図１０（ｃ）および図１１（ｃ）に示すように、発光色判定領域選択部１１６は、カラー画像２０２の中心座標（ｍｃ，ｎｃ）から発光色判定領域２０４の中心座標までの距離Ｄｉに基づき、必要輝度値Ｙｄを算出して発光色判定領域２０４のノイズ判定を行う。
【００６６】
図９に戻り、この後、発光色判定領域選択部１１６は、距離Ｄｉに基づき、必要輝度値Ｙｄを算出する（Ｓ１０８）。必要輝度値Ｙｄは、たとえば以下の式に基づき算出することができる。以下の式に基づけば、必要輝度値Ｙｄは、距離Ｄｉが大きい程値が連続的に低くなるように設定される。
【００６７】
Ｙｄ＝（Ｙｆ−Ｙｃ）×Ｄｉ／Ｄｆ＋Ｙｃ （式１）
【００６８】
ここで、「Ｙｃ」はカラー画像の中心部における必要輝度値、「Ｙｆ」はカラー画像の最外周部における必要輝度値、「Ｄｆ」は、カラー画像の中心部から最外周部までの距離である（Ｙｆ＜Ｙｃ）。Ｙｃは、たとえば８０以上１２０以下程度の値とすることができる。Ｙｆの値はＤｆの値にもよるが、たとえばカラー画像の解像度が６４０×４８０ピクセルでＤｆ＝６４０ピクセルの場合、１５以上３０以下程度の値とすることができる。必要輝度値ＹｃおよびＹｆは、図６のステップＳ６において決定することができ、設定値記憶部１３０に記憶しておくことができる。式１やその他の値についても予め設定値記憶部１３０に記憶しておくことができる。
【００６９】
なお、以上の例では、必要輝度値Ｙｄがカラー画像の中心部と発光色判定領域との距離Ｄｉに応じて連続的に変化する例を示したが、カラー画像の中心部と発光色判定領域との距離Ｄｉに応じて距離Ｄｉが大きい方が値が低くなるように設定されていれば、他の例において、必要輝度値Ｙｄは、距離Ｄｉの範囲に応じて段階的に変更されるように設定することもできる。
【００７０】
つづいて、発光色判定領域選択部１１６は、輝度値Ｙｉが必要輝度値Ｙｄ以上か否かを判定する（Ｓ１１０）。輝度値Ｙｉが必要輝度Ｙｄ以上の場合（Ｓ１１０のＹＥＳ）、発光色判定領域選択部１１６は、この発光色判定領域で発光体が検出されたと判定し（Ｓ１１２）、発光色判定部１１８にその旨通知する。この後、発光色判定部１１８は、図６のステップＳ２０の発光色判定処理を行う。一方、ステップＳ１１０において、輝度値Ｙｉが必要輝度値Ｙｄ以上でない場合（Ｓ１１０のＮＯ）、発光色判定領域選択部１１６は、この発光色判定領域がノイズであると判定し（Ｓ１１４）、処理を終了する。
【００７１】
（発光色の判定）
図６に戻り、ステップＳ１８で発光体検出判定が行われ、発光色判定領域選択部１１６から通知があると、発光色判定部１１８は、発光色判定領域選択部１１６が選択したカラー画像の発光色判定領域に含まれる画素の色成分情報（ＲＧＢ値）に基づき、発光体の発光色を判定する（Ｓ２０）。ここで、画素の色成分情報は、ＲＧＢ値とすることができる。
【００７２】
図１２は、図６のステップＳ２０の処理手順を詳細に示すフローチャートである。
ここで、発光体１７２の発光色が白色、青色、緑色、および赤色のいずれかである場合を例として説明する。このような場合、発光色判定部１１８は、まず発光体の発光色が白色か否かの判定から行う。発光体の発光色が白色の場合、ＲＧＢ値のいずれかが突出するという傾向が少なく、ＲＧＢ値のバランスを考慮して白色か否かを判定する。そのため、Ｒ値、Ｇ値、Ｂ値の出方にばらつきが生じるような場合でも誤判定される可能性を低減することができ、判定精度を向上させることができる。
【００７３】
（白色判定）
発光体が白色の場合は、ＲＧＢ値それぞれの値が同じように平均的となるとともに、これらの平均値の値が比較的高くなるという特徴がある。
【００７４】
まず、発光色判定部１１８は、発光色判定領域に含まれる画素の色成分情報（ＲＧＢ値）に基づき、ＲＧＢ値の平均値ａｖｅＣが所定値ｓ３より大きいか否かを判定する（Ｓ１２２）。ここで、発光色判定領域に含まれる画素のＲＧＢ値をそれぞれｓＲ、ｓＧ、ｓＢとすると、ＲＧＢ値の平均値ａｖｅＣ＝（ｓＲ＋ｓＧ＋ｓＢ）／３となる。なお、図１１（ｂ）および図１１（ｃ）を参照して説明した例のように、発光色判定領域２０４が複数の画素を含む場合、たとえばｓＲ、ｓＧ、およびｓＢは、複数の画素の平均値とすることができる。また、この場合、たとえば発光色判定領域２０４の中心に位置する画素の値が高くなるような加重平均値とすることもできる。
【００７５】
ＲＧＢ値の平均値ａｖｅＣが所定値ｓ３より大きい場合（Ｓ１２２のＹＥＳ）、発光色判定部１１８は、各成分が平均的か否かを判定する（Ｓ１２４）。各成分が平均的か否かの判定は、以下のように行うことができる。
【００７６】
まず、ｓＲ、ｓＧ、ｓＢの中の最小値ｍｉｎＣを検出する。次いで、ｓＲ、ｓＧ、ｓＢからそれぞれｍｉｎＣを減じたｔＲ＝ｓＲ−ｍｉｎＣ、ｔＧ＝ｓＧ−ｍｉｎＣ、ｔＢ＝ｓＢ−ｍｉｎＣをそれぞれ算出する。次いで、ｔＲ、ｔＧ、ｔＢの平均値ａｖｅＴＣ＝（ｔＲ＋ｔＧ＋ｔＢ）／３を算出する。各成分が平均的な場合、ｓＲ、ｓＧ、ｓＢの中の最小値ｍｉｎＣをそれぞれｓＲ、ｓＧ、ｓＢから減じて得られるｔＲ、ｔＧ、ｔＢの値は小さくなる。発光色判定部１１８は、各成分が平均的か否かの判定として、ａｖｅＴＣが所定値ｓ４より小さいか否かを判定することができる。
【００７７】
つまり、発光色判定部１１８は、ａｖｅＣ＞所定値ｓ３（Ｓ１２２のＹＥＳ）かつａｖｅＴＣ＜所定値ｓ４（Ｓ１２４のＹＥＳ）の場合に、発光体の発光色が白色であると判定することができる。この場合、発光色判定部１１８は、発光体の発光色として白色を出力する（Ｓ１２６）。ここで、所定値ｓ３は、白色であると判定するための限界閾値（white_color_limit）であり、たとえば５０以上７０以下程度の値とすることができる。また、所定値ｓ４は、たとえば１５以上２５以下程度の値とすることができる。
【００７８】
以上の手順で、発光体の発光色が白色と判定できなかった場合（Ｓ１２２のＮＯ、またはＳ１２４のＮＯ）、発光色判定部１１８は、発光体の発光色が白色以外の青色、緑色、赤色か否かの判定を行う。
【００７９】
（青色、緑色、赤色判定）
白色以外の発光色の判定処理は、発光色判定領域に含まれる画素のｓＲ、ｓＧ、ｓＢに応じて、最も値が大きい成分の色判定を行う。すなわち、Ｂ成分（ｓＢ）が最も大きい場合（Ｓ１２８のＹＥＳ）、青色判定処理を行う（Ｓ１３０）。また、Ｇ成分（ｓＧ）が最も大きい場合（Ｓ１２８のＮＯ、Ｓ１３２のＹＥＳ）、緑色判定処理を行う（Ｓ１３４）。また、Ｒ成分（ｓＲ）が最も大きい場合（Ｓ１３２のＮＯ）、赤色判定処理を行う（Ｓ１３６）。次に、各色の判定処理の具体例を説明する。
【００８０】
（ａ）青色判定処理
まず、ステップＳ１３０の青色判定処理の一例を説明する。図１３は、図１２のステップＳ１３０の処理手順の一例を詳細に示すフローチャートである。
まず、発光色判定部１１８は、青色成分に対する緑色成分の比率ｐｅｒＧ＝ｔＧ／ｔＢを算出し、ｐｅｒＧ＝ｔＧ／ｔＢが所定値ｓ５以下か否かを判断する（Ｓ１６０）。ここで、所定値ｓ５は、たとえば０．２以上０．３以下程度の値とすることができる。ｐｅｒＧ＝ｔＧ／ｔＢが所定値ｓ５以下の場合（Ｓ１６０のＹＥＳ）、発光色判定部１１８は、カラー画像の中心部と発光色判定領域との距離Ｄｉが所定値ｄ１以内か否かを判断する（Ｓ１６２）。
【００８１】
本発明者らの検討により、発光色が青色の場合は、発光色判定領域がカラー画像の中心部に近いと、ｓＢが大きく出ることが明らかになった。そのため、本実施の形態において、判定対象の画素がカラー画像の中心部に位置するか否かによって判定手順を異ならせている。所定値ｄ１は、たとえばカラー画像の長辺の画素数をｎ１とした場合に、ｎ１／２０以上ｎ１／５以下の範囲の値とすることができる。たとえば、カラーカメラ１５２の解像度が６４０×４８０（横×縦）ピクセルのＶＧＡサイズの場合、カラー画像の長辺である横辺の画素数ｎ１＝６４０ピクセルとなるが、一例として、所定値ｄ１をｎ１／１０となる６４ピクセルとすることができる。つまり、この場合、判定対象の画素がカラー画像の中心部から半径６４ピクセル以内か否かによって判定手順が異なるようにすることができる。所定値ｄ１は、実際に青色入力デバイスを用いてカラー画像を取得し、カラー画像の各位置のｓＢの値を測定して、どの範囲でｓＢが大きく出るかを検出することにより設定することができる。
【００８２】
ステップＳ１６２で距離Ｄｉが所定値ｄ１以内でない場合（Ｓ１６２のＮＯ）、青色判定とする（Ｓ１６４）。一方、距離Ｄｉが所定値ｄ１以内の場合（Ｓ１６２のＹＥＳ）、ｓＢが所定値ｓ６以上か否かを判断する（Ｓ１６６）。ここで、所定値ｓ６は、たとえば９６以上１２０以下程度の値とすることができる。ｓＢが所定値ｓ６以上の場合（Ｓ１６６のＹＥＳ）、青色判定とするが（Ｓ１６４）、所定値ｓ６以上でない場合（Ｓ１６６のＮＯ）、ノイズ判定とする（Ｓ１６８）。
【００８３】
なお、他の例として、ステップＳ１６２で距離Ｄｉが所定値ｄ１以内でない場合、すなわち発光色判定領域がカラー画像の中心部にない場合でも、基準値を設けておき、ｓＢが当該基準値以上か否かを判定して、基準値以上の場合のみ青色判定とし、基準値より小さい場合はノイズ判定とするようにすることもできる。この場合の基準値としては、発光色判定領域がカラー画像の中心部にある場合に用いた所定値所定値ｓ６よりも値の小さい所定値ｓ７を用いることができる。
【００８４】
また、ステップＳ１６０でｐｅｒＧ＝ｔＧ／ｔＢが所定値ｓ５以下でない場合（Ｓ１６０のＮＯ）、ｐｅｒＧ＝ｔＧ／ｔＢが所定値ｓ８（ただし所定値ｓ８＞所定値ｓ５）以上か否かを判定する（Ｓ１７０）。ここで、所定値ｓ８は、たとえば０．７以上０．９以下程度の値とすることができる。
【００８５】
ｐｅｒＧ＝ｔＧ／ｔＢが所定値ｓ８以上の場合（Ｓ１７０のＹＥＳ）、発光体の発光色が緑色である可能性が高い。この場合、発光色判定部１１８は、ステップＳ１７０で判定に用いたｔＢの値が所定値ｓ９以上であるか否かを判定する（Ｓ１７２）。ここで、所定値ｓ９は、たとえば３０以上５０以下程度の値とすることができる。ｔＢの値があまりにも小さい場合、ノイズによってｔＧが微量変化してしまうと、ｐｅｒＧが極端に変動してしまうため、ｔＢが所定値ｓ９より小さい場合はノイズ処理とするためである。ｔＢが所定値ｓ９以上である場合（Ｓ１７２のＹＥＳ）、緑色判定とする（Ｓ１７３）。
【００８６】
ただし、ステップＳ１７２でｔＢが所定値ｓ９より小さい場合でも（Ｓ１７２のＮＯ）、ｓＢが所定値ｓ１０（ただし所定値ｓ１０＞所定値ｓ９）以上の場合（Ｓ１７４のＹＥＳ）、ステップＳ１６４に進み、青色判定とする。これは、ｓＢの値が大きい場合は、青色が明るすぎるためにカメラの色分解能力を超えてしまい、Ｇ成分が飽和状態で高く出力されてしまう可能性があることを考慮しての処理である。ここで、所定値ｓ１０は、たとえば２００以上２２０以下程度の値とすることができる。
【００８７】
ステップＳ１７４でｓＢが所定値ｓ１０以上でない場合（Ｓ１７４のＮＯ）、ノイズ判定とする（Ｓ１７６）。ステップＳ１７０でｐｅｒＧ＝ｔＧ／ｔＢが所定値ｓ８以上でない場合（Ｓ１７０のＮＯ）もノイズ判定とする（Ｓ１７８）。
【００８８】
（ｂ）緑色判定処理
次に、緑色判定処理の一例を説明する。図１４は、図１２のステップＳ１３４の処理の一例を詳細に示すフローチャートである。
ここでも、発光色判定部１１８は、緑色成分に対する赤色成分の比率ｐｅｒＲ＝ｔＲ／ｔＧを算出し、ｐｅｒＲが所定値ｓ１１以下の場合（Ｓ１８０のＹＥＳ）は緑色判定とする（Ｓ１８２）。ここで、所定値ｓ１１は、たとえば０．４以上０．６以下程度の値とすることができる。一方、ステップＳ１８０でｐｅｒＲが所定値ｓ１１以下でない場合（Ｓ１８０のＮＯ）は、ノイズ判定とする（Ｓ１８４）。
【００８９】
（ｃ）赤色判定処理
次に、赤判定処理の一例を説明する。図１５は、図１２のステップＳ１３６の処理手順の一例を詳細に示すフローチャートである。
ここでも、発光色判定部１１８は、赤色成分に対する緑色成分の比率ｐｅｒＧ＝ｔＧ／ｔＲを算出し、ｐｅｒＧが所定値ｓ１２以下の場合（Ｓ１９０のＹＥＳ）は赤色判定とする（Ｓ１９２）。ここで、所定値ｓ１２は、たとえば０．７以上０．９以下程度の値とすることができる。一方、ステップＳ１９０でｐｅｒＧが所定値ｓ１２以下でない場合（Ｓ１９０のＮＯ）は、ノイズ判定とする（Ｓ１９４）。
以上により発光色の判定が終了する。発光色判定部１１８は、判定した発光体の発光色を示すデータを位置情報取得部１１４に通知する。位置情報取得部１１４は、発光色判定部１１８から取得した発光色を示すデータと、そのＩＲ画像の第１の画素の位置を示す第１の位置情報（ｘｉ，ｙｉ）とを入力受付部１２２に通知する。なお、他の例において、位置情報としては、カラー画像の第２の画素の位置を示す第２の位置情報（ｍｉ，ｎｉ）を用いてもよい。
【００９０】
（入力操作受付）
図６に戻り、入力受付部１２２は、発光色判定部１１８が出力した発光体１７２の発光色および第１の位置情報（または第２の位置情報）に基づき、当該発光色で識別される入力デバイス１７０から当該第１の位置情報（または第２の位置情報）への入力があったことを受け付ける（Ｓ２２）。具体的には、入力受付部１２２は、対応記憶部１３４を参照して、発光体１７２の発光色を示すデータに基づき、入力情報がどの入力デバイス１７０によるものかを識別するとともに、ＩＲ画像の座標（ｘｉ，ｙｉ）（またはカラー画像の座標（ｍｉ，ｎｉ））への入力を受け付ける。たとえば、発光色判定部１１８から出力された発光色が白色の場合、入力受付部１２２は、対応記憶部１３４にアクセスして、白色に対応する入力デバイスのＩＤ「１」の入力デバイスにより、第２の位置情報への入力があったことを受け付ける。入力受付部１２２は、受け付けた入力をプログラム実行処理部１２４に通知する。
【００９１】
その後、プログラム実行処理部１２４は、入力受付部１２２が受け付けた入力操作に応じてプログラムを実行する（Ｓ２４）。プログラム実行処理部１２４が実行するプログラムにより形成されたデータはデータ出力部１０６から出力される。データ出力部１０６から出力されたデータは、プロジェクタ１５４によりプロジェクタ用投影フィルム１６４に投影され、描画ボード１６０の描画面に表示されるようにすることができる。これにより、入力デバイス１７０を用いて入力を行っているユーザは、描画ボード１６０を見ながら自己の入力が反映されたデータを確認することができる。
【００９２】
ここで、プログラム実行処理部１２４が実行するプログラムは、たとえばユーザが入力デバイス１７０を用いて図形等を描画するための描画プログラムとすることができる。この場合、たとえばプログラム実行処理部１２４は、画像取得部１１２が取得したＩＲ画像またはカラー画像中の発光体の軌跡に対応する軌跡をデータ出力部１０６から出力するようにすることができる。また、プログラム実行処理部１２４は、各ユーザが描画した図形等の色を設定するためのカラーパレット等をたとえば描画ボード１６０に表示されるようにすることができる。プログラム実行処理部１２４は、ユーザがカラーパレットのいずれかの色を選択すると、表示しているカラーパレットの位置情報、入力デバイス１７０の位置情報、ユーザが入力デバイス１７０を用いて行う発光体１７２の発光タイミングの制御動作（クリックに対応）、および入力デバイス１７０の発光色に基づき、各ユーザが選択した色を判断して、データ出力部１０６から出力する発光体１７２の軌跡の色が選択された色となるようにすることができる。
【００９３】
次に、本実施の形態における発光体識別装置１００の効果を説明する。
本実施の形態における発光体識別装置１００によれば、入力デバイスによる入力情報を発光体の位置情報に基づき受け付けるとともに、カラー画像の色成分情報から判定された発光色に応じて入力デバイスを識別することができる。そのため、発光色の異なる発光体をそれぞれ含む複数の入力デバイスを用いて複数のユーザにより入力される入力情報をそれぞれ識別することができる。また、まずＩＲ画像から発光体の位置を検出して、カラー画像の対応する位置の色成分情報に基づき発光色判定処理を行うので、発光体の検出および発光色判定を精度よく迅速に行うことができる。
【００９４】
また、本実施の形態において、入力デバイスの発光体としてはＬＥＤを用いている。上述したように、カメラレンズへの発光体からの光の入射角は発光体の位置により変化する。以上の実施の形態において、カラー画像の発光色判定領域のノイズ判定処理において、判定に用いる必要輝度値Ｙｄは、カラー画像の中心部と発光色判定領域との距離Ｄｉに応じて距離Ｄｉが大きい方が値が低くなるように設定されている。そのため、カメラレンズへの発光体からの光の入射角の違いによる発光体の輝度値の違いも考慮してノイズ除去が行われるので、精度よくノイズを除去することができる。
【００９５】
以上のような構成の発光体識別装置１００を含む発光体識別システム１０は、コンピュータ用ソフトウェアの操作において、発光体１７２をカメラ等の撮像手段１４８で撮像し、その座標を認識することで入力を受け付ける構成となっている。その際に、発光色の異なる発光体１７２を用いることにより、複数の発光体１７２をリアルタイムに認識し、コンピュータ用ソフトウェアの操作を多人数で同時に行えるようにする。これにより、たとえばゲーム等のエンタテインメント用ソフト、イベント用ソフト、教育用ソフト等のアプリケーションソフトの操作において、多人数同時操作を行うようにすることができる。また、これにより、入力デバイスにより、マウスやタッチパネル、タブレットのような自由で直観的な操作と同様の操作ができるようになる。
【００９６】
なお、図１に示した発光体識別装置１００の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。発光体識別装置１００の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。また、発光体識別装置１００の各構成要素は、一つの装置内に設けられる必要はなく、複数の装置に分散配置されて互いにネットワークを介してデータの授受を行う構成とすることもできる。
【００９７】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【００９８】
（変形例１）
以上の実施の形態においては、図６のステップＳ６で説明したように、ステップＳ４で環境光が存在している適用環境における暗化撮像条件を決定した後に決定された暗化撮像条件に応じて各種判定で用いる閾値や所定値を決定し、設定値記憶部１３０や発光色判定情報記憶部１３２に記憶する例を示した。しかし、他の例として、各種判定で用いる閾値や所定値は、図６のステップＳ４の処理に先立ち、複数の撮像条件に対してそれぞれ予め決定しておき、設定値記憶部１３０や発光色判定情報記憶部１３２に記憶しておくようにすることもできる。一例を図１６に示す。図１６は、設定値記憶部１３０の内部構成の一部の一例を示す図である。ここでは、暗化撮像条件としてシャッタスピードを制御している場合を示している。たとえば、シャッタスピードとしては、１／５００秒、１／２５０秒、１／１２５秒、１／６０秒等が想定され、それぞれに対して用いられる閾値ｔ１、必要輝度値ＹｆおよびＹｃ等が記憶されている。このような構成とした場合、ステップＳ４で決定された暗化撮像条件であるカラーカメラ１５２の第１のシャッタスピードおよびＩＲカメラ１５０の第２のシャッタスピードに応じて、対応する設定値を各種判定で用いるようにすることができる。たとえば、図示した例では、ＩＲカメラ１５０の暗化撮像条件である第２のシャッタスピードが１／２５０秒の場合、ステップＳ１４で用いられる閾値ｔ１は７０、第２のシャッタスピードが１／１２５秒の場合、閾値ｔ１は７５等とすることができる。
【００９９】
このようにすれば、図６のおよびステップＳ４で暗化撮像条件が決定される度にステップＳ６の設定値を決定する処理を行う必要がなくなる。また、発光体識別システム１０をある環境下に設置した後に環境光の状態が変化した場合でも、再度設定値を決定しなおす必要がない。そのため、発光体識別システム１０周囲の環境光の変化に柔軟に対応可能とすることができる。よって、発光体識別装置１００を起動する度に周囲の環境光の状態に応じてＩＲカメラ１５０およびカラーカメラ１５２の暗化撮像条件を決定し、決定された暗化撮像条件に対応する設定値を用いて各種判定を行うようにすることができる。
【０１００】
図８は、周囲の環境光の状態に応じてＩＲカメラ１５０およびカラーカメラ１５２の暗化撮像条件を決定する際にプロジェクタ用投影フィルム１６４に投影され、描画ボード１６０の描画面側にいるユーザに表示される画面の一例を示す図である。
ここでは、前処理中にユーザが入力デバイス１７０の発光体１７２を発光させないように、たとえば「準備中です。入力デバイスのスイッチを入れないでください。」等のメッセーを表示するようにすることができる。これにより、実際に発光体識別装置１００を用いる場所でのそのときの環境光を考慮して暗化撮像条件を決定するすることができる。
【０１０１】
（変形例２）
以上の実施の形態においては、図６のステップＳ４で説明した暗化撮像条件の決定手順において、暗化撮像条件決定部１２０がＩＲカメラ１５０およびカラーカメラ１５２で撮像された第１の前処理画像および第２の前処理画像の複数の位置の画素値がそれぞれ所定値ｓ１または所定値ｓ２以下となるか否かを判定して暗化撮像条件を決定する例を示した。しかし、ＩＲカメラ１５０およびカラーカメラ１５２で撮像された第１の前処理画像および第２の前処理画像に環境光が映り込まない状態となっているか否かは、ユーザが判定するようにすることもできる。この場合、暗化撮像条件決定部１２０は、現在のＩＲカメラ１５０またはカラーカメラ１５２のシャッタスピードと、画像取得部１１２が取得したＩＲ画像またはカラー画像の複数の位置におけるＲＧＢ値とをデータ出力部１０６から出力してユーザ（設定者）に提示するようにすることができる。図１７は、ユーザに提示される画面１８４の一例を示す図である。画面１８４には、描画ボードの画像１８６を含む画像１８８（カラー画像またはＩＲ画像）が表示されている。また、画像１８８中の複数の位置ａ〜ｉの各位置におけるＲＧＢ値がそれぞれ表示されている。ユーザは画面１８４に表示された複数の位置ａ〜ｉの各位置におけるＲＧＢ値を見て、すべての位置におけるＲＧＢ値がそれぞれ所定値以下か否かによって現在のシャッタスピードを暗化撮像条件として決定するか否かを判断することができる。また、さらに他の例として、各位置におけるＲＧＢ値をグラフ化してユーザに提示するようにすることもできる。
【０１０２】
（変形例３）
入力デバイス１７０の発光体としてＬＥＤを用いた場合、ＬＥＤには、製造ばらつきが生じやすいという問題がある。たとえば、青色の発光体であっても、製造ばらつきによってＲＧＢ値が大きく異なることがある。そのため、たとえば、発光体識別装置１００は、前処理として、ユーザに発光色を指示して用いる予定のその発光色の入力デバイスの発光体を発光させた状態をカラーカメラ１５２により撮像し、各発光色の発光体の色成分情報を取得して参考値として発光色判定情報記憶部１３２に記憶しておくことができる。そして、発光色判定部１１８は、発光色の判定を行う際に、発光色判定情報記憶部１３２に記憶された参考値を参照して、参考値との類似度に基づき発光色の判定をすることもできる。
【０１０３】
図１８は、以上の前処理時にプロジェクタ用投影フィルム１６４に投影され、描画ボード１６０の描画面側にいるユーザに表示される画面の一例を示す図である。
ここでは、前処理中にユーザが各発光色の入力デバイス１７０の発光体１７２を発光させるように、たとえば「赤色の入力デバイスのスイッチを入れてこの円の中を塗ってください。」等のメッセーを表示するようにすることができる。画像取得部１１２は、この状態で取得した発光体の色成分情報を赤色の発光体の参考値として発光色判定情報記憶部１３２に記憶することができる。また、赤色以外の他の発光色についても同様の手順で参考値を取得することができる。
【０１０４】
（変形例４）
また、以上の実施の形態では、描画ボード１６０を設け、ユーザが入力デバイス１７０の発光体１７２を描画ボード１６０に押し当てて描画等する例を示した。しかし、他の例として、ユーザが入力デバイス１７０の発光体１７２を描画ボード１６０に押し当てるのではなく、ユーザが入力デバイス１７０を手に持って自在に操ることにより描画等される構成や、発光体識別システム１０が描画ボード１６０を含まず、ＩＲカメラ１５０およびカラーカメラ１５２の撮像手段１４８が、ユーザが入力デバイス１７０を手に持って自在に操る状態を撮影する構成とすることもできる。
【０１０５】
（変形例５）
また、以上の実施の形態において、データ出力部１０６から出力される情報がプロジェクタ１５４によりプロジェクタ用投影フィルム１６４に投影される例を示した。複数人でプレーするためには、表示装置としてこのような比較的大きいものを用いることが好ましい。しかし、表示装置としては、プロジェクタによる投影に限定されるものではなく、通常のディスプレイ等を用いることもできる。
【０１０６】
（変形例６）
図６のステップＳ１６からステップＳ２０の処理の変形例を示す。図１９にこの処理手順のフローチャートを示す。
図６のステップＳ１４の処理においてＩＲ画像から発光体が検出され、位置情報取得部１１４から当該ＩＲ画像のフレーム数（例として１０）および第１の位置情報（例として（ｘ１，ｙ１））が通知されると（Ｓ２０２のＹＥＳ）、発光色判定領域選択部１１６は、通知されたフレーム数（１０）および第１の位置情報（ｘ１，ｙ１）を記憶部（不図示）に記憶する（Ｓ２０４）。この後、発光色判定領域選択部１１６および発光色判定部１１８は、この記憶部に記憶されたフレーム数（１０）に対応するフレーム数（１０）が対応付けられたカラー画像の第１の位置情報に対応する位置（例として（ｍ１，ｎ１））を対象として発光色の判定処理を行う（Ｓ２０６）。このフレーム数（１０）のカラー画像から発光体の発光色が判定された場合（Ｓ２０８のＹＥＳ）、この処理は終了して、図６のステップＳ２２の処理に進む。一方、このフレーム数（１０）のカラー画像から発光体の発光色が判定されない場合（Ｓ２０８のＮＯ）、発光色判定領域選択部１１６は、フレーム数を＋１増加し（Ｓ２１０）、ステップＳ２０４に戻って記憶部のフレーム数（１１）を更新する。この後、更新されたフレーム数（１１）が対応付けられたカラー画像の位置（ｍ１，ｎ１）を対象として発光色の判定処理を行い（Ｓ２０６）、カラー画像から発光体の発光色が判定されるまで同様の処理を行うことができる。
【０１０７】
ただし、フレーム数を所定数以上増加させてもカラー画像から発光体の発光色が判定されない場合は、この位置（ｍ１，ｎ１）に対する処理を終了するようにすることもできる。また、図６のステップＳ１４の処理で新たなＩＲ画像から発光体が検出され、新たなＩＲ画像のフレーム数（例として１５）および第１の位置情報（例として（ｘ２，ｙ２））が位置情報取得部１１４から通知されると（Ｓ２０２のＹＥＳ）、カラー画像の位置（ｍ１，ｎ１）に対する処理はフレーム数（１４）までとし、カラー画像から発光体の発光色が判定されない場合でも処理を終了するようにすることができる。
【符号の説明】
【０１０８】
１０ 発光体識別システム
１００ 発光体識別装置
１０２ ＩＲ画像入力部
１０４ カラー画像入力部
１０６ データ出力部
１１２ 画像取得部
１１４ 位置情報取得部
１１６ 発光色判定領域選択部
１１８ 発光色判定部
１２０ 暗化撮像条件決定部
１２２ 入力受付部
１２４ プログラム実行処理部
１３０ 設定値記憶部
１３２ 発光色判定情報記憶部
１３４ 対応記憶部
１３６ 画像記憶部
１４８ 撮像手段
１５０ ＩＲカメラ
１５２ カラーカメラ
１５４ プロジェクタ
１６０ 描画ボード
１６２ 支持台
１６４ プロジェクタ用投影フィルム
１６６ 軌跡
１６８ 軌跡
１７０ 入力デバイス
１７０ａ 白色入力デバイス
１７０ｂ 青色入力デバイス
１７０ｃ 緑色入力デバイス
１７０ｄ 赤色入力デバイス
１７２ 発光体
１７４ スイッチ
１８２、１８６、１８８ 画像
１８０ 第１の前処理画像
１８４ 画面
２００ ＩＲ画像
２０２ カラー画像
２０４ 発光色判定領域
【特許請求の範囲】
【請求項１】
ＩＲカメラおよびカラーカメラで同一の対象物を同時に撮像してそれぞれ得たＩＲ画像およびカラー画像を取得する画像取得部と、
前記ＩＲ画像から、輝度値が所定の閾値以上となる第１の画素を発光体の存在位置として検出して、当該存在位置を示す第１の位置情報を取得する位置情報取得部と、
前記位置情報取得部が取得した前記第１の位置情報に基づき、前記カラー画像から前記第１の位置に対応する位置の第２の画素を含む発光体の発光色判定領域を選択する発光色判定領域選択部と、
前記発光色判定領域選択部が選択した前記カラー画像の前記発光色判定領域に含まれる画素の色成分情報に基づき、前記発光体の発光色を判定する発光色判定部と、
を含む発光体識別装置。
【請求項２】
請求項１に記載の発光体識別装置において、
前記発光色判定部は、前記発光体の発光色と前記ＩＲ画像の第１の位置情報または前記カラー画像の前記第２の画素の位置を示す第２の位置情報とを対応付けて出力する発光体識別装置。
【請求項３】
請求項２に記載の発光体識別装置において、
前記発光色判定部が出力した前記発光体の発光色および前記第１の位置情報または前記第２の位置情報に基づき、当該発光色で識別される入力デバイスから当該第１の位置情報または当該第２の位置情報への入力があったことを受け付ける入力受付部をさらに含む発光体識別装置。
【請求項４】
請求項１から３いずれかに記載の発光体識別装置において、
前記発光色判定領域選択部は、選択した前記発光色判定領域に含まれる画素の輝度値Ｙｉが所定の必要輝度値Ｙｄ以上か否かを判定し、前記輝度値Ｙｉが前記必要輝度値Ｙｄより低い場合に当該発光色判定領域をノイズであると判定するとともに、前記輝度値Ｙｉが前記必要輝度値Ｙｄ以上の場合に当該発光色判定領域をノイズでないと判定し、
前記発光色判定部は、前記発光色判定領域選択部により前記発光色判定領域がノイズでないと判定された場合に、当該カラー画像の前記発光色判定領域に含まれる画素の色成分情報に基づき、前記発光体の発光色を判定し、
前記必要輝度値Ｙｄは、前記カラー画像の中心部と前記発光色判定領域との距離Ｄｉに応じて当該距離Ｄｉが大きい方が値が低くなるように設定された発光体識別装置。
【請求項５】
ＩＲカメラおよびカラーカメラで同一の対象物を同時に撮像してそれぞれ得たＩＲ画像およびカラー画像を取得する工程と、
前記ＩＲ画像から、輝度値が所定の閾値以上となる第１の画素を発光体の存在位置として検出して、当該存在位置を示す第１の位置情報を取得する工程と、
前記第１の位置情報を取得する工程で取得された前記第１の位置情報に基づき、前記カラー画像から前記第１の位置に対応する位置の第２の画素を含む発光体の発光色判定領域を選択する工程と、
前記発光色判定領域を選択する工程で選択された前記カラー画像の前記発光色判定領域に含まれる画素の色成分情報に基づき、前記発光体の発光色を判定する工程と、
を含む発光体識別方法。
【請求項６】
請求項５に記載の発光体識別方法において、
前記カラーカメラを、当該カラーカメラが撮像するカラー画像に前記発光体の発光以外の環境光が映り込まない暗化撮像条件に設定する工程をさらに含み、
前記カラー画像から前記発光色判定領域を選択する工程において、前記暗化撮像条件に設定された前記カラーカメラが撮像した前記カラー画像から、前記発光色判定領域を選択する発光体識別方法。
【請求項７】
請求項５または６に記載の発光体識別方法において、
前記ＩＲカメラを、当該ＩＲカメラが撮像するＩＲ画像に前記発光体の発光以外の環境光が映り込まない暗化撮像条件に設定する工程をさらに含み、
前記ＩＲ画像から前記第１の位置情報を取得する工程において、前記暗化撮像条件に設定された前記ＩＲカメラが撮像した前記ＩＲ画像から、前記第１の画素を発光体の存在位置として検出して、当該存在位置を示す第１の位置情報を取得する発光体識別方法。
【請求項８】
コンピュータを、
ＩＲカメラおよびカラーカメラで同一の対象物を同時に撮像してそれぞれ得たＩＲ画像およびカラー画像を取得する画像取得手段、
前記ＩＲ画像から、輝度値が所定の閾値以上となる第１の画素を発光体の存在位置として検出して、当該存在位置を示す第１の位置情報を取得する位置情報取得手段、
前記位置情報取得手段が取得した前記第１の位置情報に基づき、前記カラー画像から前記第１の位置に対応する位置の第２の画素を含む発光体の発光色判定領域を選択する発光色判定領域選択手段、
前記発光色判定領域選択手段が選択した前記カラー画像の前記発光色判定領域に含まれる画素の色成分情報に基づき、前記発光体の発光色を判定する発光色判定手段、
として機能させる発光体識別プログラム。
【請求項１】
ＩＲカメラおよびカラーカメラで同一の対象物を同時に撮像してそれぞれ得たＩＲ画像およびカラー画像を取得する画像取得部と、
前記ＩＲ画像から、輝度値が所定の閾値以上となる第１の画素を発光体の存在位置として検出して、当該存在位置を示す第１の位置情報を取得する位置情報取得部と、
前記位置情報取得部が取得した前記第１の位置情報に基づき、前記カラー画像から前記第１の位置に対応する位置の第２の画素を含む発光体の発光色判定領域を選択する発光色判定領域選択部と、
前記発光色判定領域選択部が選択した前記カラー画像の前記発光色判定領域に含まれる画素の色成分情報に基づき、前記発光体の発光色を判定する発光色判定部と、
を含む発光体識別装置。
【請求項２】
請求項１に記載の発光体識別装置において、
前記発光色判定部は、前記発光体の発光色と前記ＩＲ画像の第１の位置情報または前記カラー画像の前記第２の画素の位置を示す第２の位置情報とを対応付けて出力する発光体識別装置。
【請求項３】
請求項２に記載の発光体識別装置において、
前記発光色判定部が出力した前記発光体の発光色および前記第１の位置情報または前記第２の位置情報に基づき、当該発光色で識別される入力デバイスから当該第１の位置情報または当該第２の位置情報への入力があったことを受け付ける入力受付部をさらに含む発光体識別装置。
【請求項４】
請求項１から３いずれかに記載の発光体識別装置において、
前記発光色判定領域選択部は、選択した前記発光色判定領域に含まれる画素の輝度値Ｙｉが所定の必要輝度値Ｙｄ以上か否かを判定し、前記輝度値Ｙｉが前記必要輝度値Ｙｄより低い場合に当該発光色判定領域をノイズであると判定するとともに、前記輝度値Ｙｉが前記必要輝度値Ｙｄ以上の場合に当該発光色判定領域をノイズでないと判定し、
前記発光色判定部は、前記発光色判定領域選択部により前記発光色判定領域がノイズでないと判定された場合に、当該カラー画像の前記発光色判定領域に含まれる画素の色成分情報に基づき、前記発光体の発光色を判定し、
前記必要輝度値Ｙｄは、前記カラー画像の中心部と前記発光色判定領域との距離Ｄｉに応じて当該距離Ｄｉが大きい方が値が低くなるように設定された発光体識別装置。
【請求項５】
ＩＲカメラおよびカラーカメラで同一の対象物を同時に撮像してそれぞれ得たＩＲ画像およびカラー画像を取得する工程と、
前記ＩＲ画像から、輝度値が所定の閾値以上となる第１の画素を発光体の存在位置として検出して、当該存在位置を示す第１の位置情報を取得する工程と、
前記第１の位置情報を取得する工程で取得された前記第１の位置情報に基づき、前記カラー画像から前記第１の位置に対応する位置の第２の画素を含む発光体の発光色判定領域を選択する工程と、
前記発光色判定領域を選択する工程で選択された前記カラー画像の前記発光色判定領域に含まれる画素の色成分情報に基づき、前記発光体の発光色を判定する工程と、
を含む発光体識別方法。
【請求項６】
請求項５に記載の発光体識別方法において、
前記カラーカメラを、当該カラーカメラが撮像するカラー画像に前記発光体の発光以外の環境光が映り込まない暗化撮像条件に設定する工程をさらに含み、
前記カラー画像から前記発光色判定領域を選択する工程において、前記暗化撮像条件に設定された前記カラーカメラが撮像した前記カラー画像から、前記発光色判定領域を選択する発光体識別方法。
【請求項７】
請求項５または６に記載の発光体識別方法において、
前記ＩＲカメラを、当該ＩＲカメラが撮像するＩＲ画像に前記発光体の発光以外の環境光が映り込まない暗化撮像条件に設定する工程をさらに含み、
前記ＩＲ画像から前記第１の位置情報を取得する工程において、前記暗化撮像条件に設定された前記ＩＲカメラが撮像した前記ＩＲ画像から、前記第１の画素を発光体の存在位置として検出して、当該存在位置を示す第１の位置情報を取得する発光体識別方法。
【請求項８】
コンピュータを、
ＩＲカメラおよびカラーカメラで同一の対象物を同時に撮像してそれぞれ得たＩＲ画像およびカラー画像を取得する画像取得手段、
前記ＩＲ画像から、輝度値が所定の閾値以上となる第１の画素を発光体の存在位置として検出して、当該存在位置を示す第１の位置情報を取得する位置情報取得手段、
前記位置情報取得手段が取得した前記第１の位置情報に基づき、前記カラー画像から前記第１の位置に対応する位置の第２の画素を含む発光体の発光色判定領域を選択する発光色判定領域選択手段、
前記発光色判定領域選択手段が選択した前記カラー画像の前記発光色判定領域に含まれる画素の色成分情報に基づき、前記発光体の発光色を判定する発光色判定手段、
として機能させる発光体識別プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−２２６５０７（Ｐ２０１２−２２６５０７Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９２６７９（Ｐ２０１１−９２６７９）
【出願日】平成２３年４月１９日（２０１１．４．１９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（５０８３７０７１７）株式会社スカイワーカーズ (3)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月１９日（２０１１．４．１９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（５０８３７０７１７）株式会社スカイワーカーズ (3)
【Ｆターム（参考）】
[ Back to top ]