説明

位置検出システム、表示システム及び情報処理システム

【課題】 赤外光の周波数帯域の画像を撮像することで、対象物の像を適切に撮像し、対
象物の位置検出精度を向上させる位置検出システム、表示システム及び情報処理システム
等を提供すること。
【解決手段】 位置検出システム400は、撮像画像を撮像する撮像部500と、撮像部
500からの撮像画像に基づいて、対象面に設定された検出エリアでの対象物の座標情報
を求める座標演算部430と、を含み、検出エリアには、赤外光の周波数帯域の照射光が
出射され、撮像部500は、撮像画像として赤外光の周波数帯域の画像である赤外光帯域
画像を撮像し、座標演算部430は、赤外光帯域画像に基づいて、対象物の座標情報を求
める。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、位置検出システム、表示システム及び情報処理システム等に関する。
【背景技術】
【0002】
赤外光を照射して、対象物からの反射を検知する近接センサではX、Y座標の特定が困
難である。また、CCDなどの撮像素子で検知するシステムは安価でない。特許文献1で
は、レンズ群を配置した光学系を工夫することでLED光を用いた座標入力、位置検出手
法を提案しているが、構成部品が多いためコスト面で優位性がなく、さらに位置検出精度
が低い。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−142643号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、投写型表示装置(プロジェクター)の視認性向上のため、投写型表示装置の光源
の明るさが向上している。そのため、対象面(プロジェクターの投影面)の前に位置する
対象物に投写型表示装置から投射された表示画像が写り込んでしまうことがあり、画像処
理による対象物の位置検出を困難にしているという問題がある。
【0005】
本発明の幾つかの態様によれば、赤外光の周波数帯域の画像を撮像することで、対象物
の像を適切に撮像し、対象物の位置検出精度を向上させる位置検出システム、表示システ
ム及び情報処理システム等を提供することができる。
【課題を解決するための手段】
【0006】
本発明の一態様は、撮像画像を撮像する撮像部と、前記撮像部からの前記撮像画像に基
づいて、対象面に設定された検出エリアでの対象物の座標情報を求める座標演算部と、を
含み、前記検出エリアには、赤外光の周波数帯域の照射光が出射され、前記撮像部は、前
記撮像画像として赤外光の周波数帯域の画像である赤外光帯域画像を撮像し、前記座標演
算部は、前記赤外光帯域画像に基づいて、前記対象物の前記座標情報を求める位置検出シ
ステムに関係する。
【0007】
本発明の一態様では、検出エリアに対して赤外光が出射され、撮像部は赤外光の周波数
帯域の画像である赤外光帯域画像を撮像する。よって、対象物の形状に着目した画像を取
得することができ、表示画像の影響による位置検出精度の低下を抑止すること等が可能に
なる。
【0008】
また、本発明の一態様では、前記対象面に沿って設定される座標軸をX軸及びY軸とし
、前記X軸及びY軸に直交し前記対象面の裏側から表側へ向かう方向をZ軸正方向とし、
Z1をZ1≧0、Z2をZ2>Z1を満たす値とした場合に、前記照射光は、Z1≦Z≦
Z2を満たすZ座標範囲に出射されてもよい。
【0009】
これにより、照射光のZ座標範囲をZ1≦Z≦Z2に限定することができ、必要な範囲
において、撮像画像における対象物の像を鮮明にすること等が可能になる。ここで、Z1
、Z2は例えば対象物の検出範囲の下限及び上限に対応する。照射光が照射された範囲に
おいては、赤外光帯域画像を鮮明に撮像することができるため、対象物の検出が必要な範
囲に対して照射光を出射することで、対象物を鮮明に撮像することが可能になる。
【0010】
また、本発明の一態様では、前記照射光は、前記対象面に沿った方向に出射されてもよ
い。
【0011】
これにより、対象面に沿った方向で広い領域に照射光を出射すること等が可能になる。
【0012】
また、本発明の一態様では、前記撮像部は、レンズ部及び光学フィルターを有する光学
系と、撮像素子を有し、前記光学フィルターは、可視光の周波数帯域を非通過とし、赤外
光の周波数帯域を通過するフィルター特性を有してもよい。
【0013】
これにより、光学フィルターを用いることで、撮像部において赤外光帯域画像を撮像す
ることが可能になるため、簡単な構成でシステムを実現すること等ができる。
【0014】
また、本発明の一態様では、前記座標演算部は、前記座標情報として、前記検出エリア
でのX座標情報及びY座標情報を求めてもよい。
【0015】
これにより、検出エリアでの座標系におけるX座標情報及びY座標情報を求めることが
可能になる。
【0016】
また、本発明の一態様では、前記撮像部の光軸と前記対象面とが斜め方向に交差する場
合に、前記座標演算部は、前記撮像部に対して設定されるカメラ座標系における座標情報
に対して所定の座標変換処理を行うことで、前記検出エリアでのX座標情報及びY座標情
報を求めてもよい。
【0017】
これにより、斜め方向から対象面を撮像することにより生じる画像の歪みを、座標変換
処理により補正すること等が可能になる。
【0018】
また、本発明の一態様では、前記座標演算部は、前記撮像画像の情報から得られるカメ
ラ座標系での奥行き特定情報に基づいて、前記対象物の前記検出エリアでのZ座標情報を
求めてもよい。
【0019】
これにより、撮像画像から奥行き特定情報を取得し、取得した奥行き特定情報に基づい
て検出エリアでの座標系におけるZ座標情報を求めることができる。よって、対象物が対
象面に触れているか否かの判定を行うこと等が可能になる。
【0020】
また、本発明の一態様では、前記撮像部は、複数のカメラを有し、前記座標演算部は、
前記複数のカメラから取得された複数の撮像画像の視差情報に基づいて得られた奥行き特
定情報により、前記検出エリアでの前記Z座標を求めてもよい。
【0021】
これにより、複数のカメラにより複数の撮像画像を取得し、取得した複数の撮像画像の
視差情報に基づいて奥行き特定情報を取得すること等が可能になる。
【0022】
また、本発明の一態様では、前記撮像部は、デプスカメラを有し、前記座標演算部は、
前記デプスカメラにより得られた前記奥行き特定情報に基づいて、前記検出エリアでの前
記Z座標を求めてもよい。
【0023】
これにより、2眼等の複数のカメラを有する撮像装置を用いずに、奥行き特定情報を取
得すること等が可能になる。
【0024】
また、本発明の一態様では、前記座標演算部は、前記カメラ座標系での前記奥行き特定
情報に基づいて、前記検出エリアでのX座標情報及びY座標情報の少なくとも一方の補正
処理を行ってもよい。
【0025】
これにより、奥行き特定情報、或いは奥行き特定情報により求められる検出エリアでの
Z座標情報に基づいて、検出エリアでのX座標情報及びY座標情報の少なくとも一方の補
正処理を行うことが可能になる。よって、対象物が対象面に対して浮いている状況でのず
れを補正すること等ができる。
【0026】
また、本発明の一態様では、光学式位置検出装置を含み、前記光学式位置検出装置は、
前記照射光を出射する出射部と、前記照射光が前記対象物に反射することによる前記反射
光を受光する受光部と、前記受光部での受光結果に基づいて前記対象物の初期座標情報を
検出する検出部と、を含み、前記照射光は、前記光学式位置検出装置の前記出射部により
出射され、前記座標演算部は、前記撮像画像のうち、前記初期座標情報により特定され、
かつ、前記撮像画像よりも狭い範囲の画像に対して処理を行って、前記対象物の最終座標
情報を求めてもよい。
【0027】
これにより、光学式位置検出装置の出射部から出射された照射光を、撮像部での撮像に
おいても用いることが可能になり、システムの構成を簡単化すること等ができる。
【0028】
また、本発明の他の態様は、上述の位置検出システムと、画像を表示する表示装置と、
を含む表示システムに関係する。
【0029】
また、本発明の他の態様は、上述の位置検出システムと、前記位置検出システムからの
検出情報に基づいて処理を行う情報処理装置と、前記情報処理装置からの画像データに基
づいて画像の表示を行う表示装置と、を含む情報処理システムに関係する。
【図面の簡単な説明】
【0030】
【図1】本実施形態の位置検出システムの構成例。
【図2】投写型表示装置を用いた本実施形態の位置検出システムの具体例。
【図3】図3(A)、図3(B)は複数のカメラにより取得される視差情報を含む撮像画像の例。
【図4】投写型表示装置を用いた本実施形態の位置検出システムの他の具体例。
【図5】本実施形態の撮像部の構成例。
【図6】赤外線光学フィルターを用いた赤外光帯域画像の具体例
【図7】光学式位置検出装置と本実施形態の位置検出システムとを併用する例。
【図8】図8(A)は赤外線光学フィルターとして用いられるハイパスフィルターの例、図8(B)は赤外線光学フィルターとして用いられるバンドバスフィルターの例。
【図9】光学式位置検出装置による画像処理の対象範囲の限定を説明する図。
【図10】図10(A)は対象物が対象面に対して浮いている例、図10(B)は対象物が対象面に接している例。
【図11】撮像部に対して設定される座標系と対象面に対して設定される座標系を説明する図。
【図12】一般的な射影変換を説明する図。
【図13】光学式位置検出装置が投写型表示装置に搭載される例。
【図14】図14(A)は斜め方向からの撮像により画像が歪む例、図14(B)は座標変換により歪みを補正した例。
【図15】本実施形態の情報処理システムの構成例。
【図16】本実施形態の光学式位置検出装置の構成例。
【図17】受光部の構成例。
【図18】図18(A)、図18(B)は受光ユニットの構成例。
【図19】照射部の構成例。
【図20】図20(A)、図20(B)は座標情報検出手法を説明する図。
【図21】図21(A)、図21(B)は発光制御信号の信号波形例。
【図22】照射部の他の構成例。
【発明を実施するための形態】
【0031】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の
範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明さ
れる構成の全てが、本発明の必須構成要件であるとは限らない。
【0032】
1.本実施形態の手法
まず、本実施形態の手法について説明する。投写型表示装置(プロジェクター、図2の
PR)により画像を対象面(図2の20)に投射した上で、投射した画像とユーザーの用
いる対象物(オブジェクト、図2のOB)の連携によりユーザインターフェースを実現す
るシステムが考えられる。このようなシステムでは、例えば画像上の任意のマークをさわ
ることにより、表示が切り替わる等の操作を行うことが考えられるため、対象物OBの位
置検出手法が重要となってくる。
【0033】
具体的な位置検出手法としては、撮像装置による撮像画像の画像処理を用いる手法等が
考えられる。例えば、検出対象となる対象物OBをテンプレートとして保持しておき、テ
ンプレートマッチング処理を行うことで画像上での対象物OBの位置(座標情報)を取得
する。そのため、撮像装置が実空間のどの範囲を撮像しているかということがわかってい
れば、実空間における位置情報を取得することができる。
【0034】
しかしながら、画像処理による位置認識が困難である場合がある。例えば、投写型表示
装置PRにより画像を投射する場合には、投写型表示装置PR、ユーザー及び対象面20
の位置関係は図2のようになる。そのため、投写型表示装置PRから投射された画像が、
ユーザーの使用する対象物OB上(例えばユーザーの指の上)に表示されてしまうことが
考えられる。つまり、対象物OBが対象面20(画像の表示面)にとけ込むような形にな
ってしまい、画像処理による認識が難しい。そうでなくても、縦横の線が多い複雑な画像
を表示する場合には、撮像画像も縦横の線が非常に多くなり、表示画像による線(エッジ
)なのか対象物OBによる線なのかの判断が困難である。
【0035】
そこで、本出願人は以下の手法を提案する。後述する図5に示すように、赤外光の周波
数帯域を透過させ、他の周波数帯域の光を遮断する赤外フィルターFIを撮像部500に
設ける。そして撮像画像として、赤外光帯域画像を撮像し、当該赤外光帯域画像に基づい
て対象物OBを認識する。赤外光帯域画像は図6に示すように、対象物OBの形状を撮像
することが可能であり、対象物OB上に表示された表示画像や、背景となる対象面20に
表示された表示画像等の情報を遮断することができる。これにより、表示画像による影響
(対象物OBへの写り込みや、縦横の線の多い複雑な画像の表示等による影響)を抑止し
、画像処理による対象物OBの検出精度を向上させることが可能になる。
【0036】
以下、具体的な実施形態について説明する。なお、本実施形態は撮像画像の画像処理に
よる位置検出に関するものであるが、ここでは画像処理による位置検出に加え、光学式位
置検出装置100を併用する実施形態を例としてあげる。なぜなら、画像処理による位置
検出は処理負荷が重く、広い領域(例えば電子黒板の表示面等)をXGA程度の高精度で
処理を行うことはコスト或いは処理時間の観点から現実的でないからである。
【0037】
具体的には、まず光学式位置検出装置100を用いて、対象物OBの概略的な位置(初
期座標情報)を取得しておいて、その概略位置により特定される範囲に対して撮像装置に
よる撮像画像を用いて画像処理を行う。このようにすれば、撮像画像の演算処理量、演算
処理時間を抑えることが可能になり、コスト、応答速度ともに実用的なものにすることが
できる。ただし、以下の説明はあくまで例示であり、光学式位置検出装置100を用いず
に位置検出処理を行ってもよいことは言うまでもない。
【0038】
以下、まず光学式位置検出装置100と撮像装置を連動させた位置検出手法について説
明する。具体的には、システム構成例、撮像装置の構成、初期座標情報の取得と処理対象
範囲の設定手法、最終座標情報の取得手法の順に説明していく。撮像装置の構成のところ
で、本実施形態の手法である赤外光帯域画像を撮像する手法について詳しく述べる。その
後で、本実施形態の具体例で用いることができる光学式位置検出装置100の構成例につ
いて説明する。
【0039】
2.位置検出システムの具体例
2.1 システム構成例
図1に本実施形態の位置検出システムの構成例を示す。本実施形態の位置検出システム
400は、撮像部500と、光学式位置検出装置100からの初期座標情報を取得する座
標情報取得部410と、撮像部500からの撮像画像を取得する撮像画像取得部420と
、座標演算処理を行う座標演算部430と、を含む。
【0040】
座標演算部430は、奥行き特定情報取得部431と、補正部433と、座標変換部4
35と、を含む。奥行き特定情報取得部431は、座標情報取得部410からの初期座標
情報に基づいて、画像処理を行う対象となる範囲を限定した上で、撮像画像から奥行き特
定情報を取得する。補正部433は、奥行き特定情報に基づいてX座標情報及びY座標情
報の少なくとも一方の補正処理を行う。座標変換部435は、座標変換を行うことで、歪
みが生じた撮像画像の変換処理を行う。
【0041】
光学式位置検出装置100は座標情報取得部410に接続される。撮像部500は撮像
画像取得部420に接続される。座標情報取得部410と、撮像画像取得部420は、奥
行き特定情報取得部431に接続される。奥行き特定情報取得部431は、補正部に接続
される。補正部433は、座標変換部435に接続される。
【0042】
2.2 撮像装置の構成例
本実施形態における撮像装置(撮像部500)の構成について説明する。図2に示した
ように、本実施形態においては例えば、対象面20(スクリーン)に対して表示画像を投
影する投写型表示装置PR(プロジェクター)に撮像装置が搭載される。ただし、撮像装
置の位置はこれに限定されるものではなく、投写型表示装置PRとは別の位置に設けられ
てもよい。また、本実施形態の画像表示手法は投写型表示装置PRによるものに限定され
るものではない。
【0043】
また、本実施形態における撮像装置は、奥行き特定情報を取得可能な構成を取る必要が
ある。そのため、図2に示したように2つの撮像部(500−1及び500−2)が所定
の距離だけ離れた位置に設けられ、視差情報(或いはステレオ画像)を取得することが可
能な形態となる。それぞれの撮像部で取得される撮像画像の例を、図3(A)及び図3(
B)に示す。或いは2眼の撮像装置を用いずに、Time−of−flight方式等に
より奥行き情報を持った画像を取得可能な撮像装置を用いてもよい。この場合の例を図4
に示す。
【0044】
次に、撮像部500に赤外線光学フィルターFIを設け、赤外光帯域画像を撮像する手
法について説明する。図5に撮像部500の構成を示す。撮像部500は、レンズ部LE
と、撮像素子IMと、赤外線光学フィルターFIを含む。ここで、赤外線光学フィルター
FIは可視光を透過せず、赤外光を透過する光学フィルターであり、少なくとも撮像素子
IMの前方に設けられる。赤外線光学フィルターFIは、図5の例ではレンズ部LEの前
方に設けられているが、レンズ部LEと撮像素子IMとの間に設けられてもよい。レンズ
部LEは単板である必要はなく、組み合わせレンズであってもよい。また、レンズ部LE
(或いはレンズ群の一部)に赤外光を透過し可視光を透過しない光学フィルター機能を付
与してもよい。
【0045】
近年、プロジェクターの視認性向上のため、プロジェクターの光源が著しく明るくなっ
てきている。そのため、プロジェクターが投影する表示画像によっては、表示画像が対象
物OBに写り込んでしまい、画像処理による対象物OBの位置検出が困難である。その点
、赤外線光学フィルターFIを用いて赤外光帯域画像を撮像することにより、図6のよう
な撮像画像を取得することができる。図6に示したように、赤外光を用いた撮像画像(赤
外光帯域画像)では対象物OBの模様(写り込んだ表示画像等)を考慮することなく、対
象物OBの形状情報を取得することができる。よって投写型表示装置PRが投影する表示
画像によらず、画像処理により対象物OBの認識を行うことが可能になる。
【0046】
この場合、本実施形態のように画像処理による位置認識と、光学式位置検出装置100
とを併用する手法は構成を簡単化することが可能であるというメリットを有する。なぜな
ら、光学式位置検出装置100での位置検出の際に出射される照射光を、撮像部500で
の撮像の際の照射光としても用いることができるためである。図7に示したように、対象
面20に沿った方向に、光学式位置検出装置100から照射光が出射される。この照射光
は後述するように赤外帯域の光である。光学式位置検出装置100から照射される赤外光
は、光学式位置検出装置における概略座標(初期座標情報)を取得する際に用いられると
ともに、撮像部500での撮像画像を鮮明にする効果を有する。撮像部500での撮像は
、一般的な光源(電灯や日光等の白色光)に含まれる赤外成分でも行うことが可能である
が、光強度は赤外光源を用意した場合に比べて低い。そのため、光学式位置検出装置の照
射部から出射される赤外光を、撮像部500での撮像にも流用することで、赤外成分の光
強度を高め撮像画像(赤外光帯域画像)を鮮明にすることができる。さらに、撮像部50
0用に独自の照射部を設ける必要がないため、位置検出システム400の構成を複雑にす
ることがない。
【0047】
次に赤外線光学フィルターFIの光学特性について図8を用いて説明する。赤外線光学
フィルターFIは例えば、840nm〜950nm程度の近赤外の周波数帯域を用いるこ
とが考えられる。その場合、赤外線光学フィルターFIはハイパスフィルター或いはバン
ドパスフィルターを用いればよく、ハイパスフィルターであれば、図8(A)のF1或い
はF2の特性のフィルター等を用いればよい。また、バンドパスフィルターであれば、図
8(B)のG1或いはG2の特性のフィルター等を用いればよい。
【0048】
2.3 初期座標情報の取得と処理対象範囲の設定
本実施形態の手法においては、まず、光学式位置検出装置100を用いて、初期座標情
報を取得する。例えば本実施形態においては、上述したような光学式位置検出装置を用い
て、対象物OBのX座標情報及びY座標情報を取得する。ここで、光学式位置検出装置1
00は、対象面20(スクリーン)に対して取り付けられてもよいし、投写型表示装置P
Rに取り付けられてもよい。
【0049】
そして、取得したX座標情報及びY座標情報を対象物OBの初期座標情報とする。この
初期座標情報により特定される範囲を、撮像装置による位置検出を行う際の処理対象範囲
とする。このようにして、例えば図9に示すように、撮像装置により得られた撮像画像に
対する画像処理の対象範囲を、撮像画像全体(図9のC2)よりも狭い範囲(図9のC1
)に限定することが可能となる。そのため、光学式検出手法等に比べて処理負荷の重い画
像処理による検出手法を、現実的な処理時間、コストで実現することが可能になる。
【0050】
初期座標情報から、画像処理の処理対象範囲を特定する手法は種々考えられる。通常は
、初期座標情報を含む範囲を設定すればよい。その際には、光学式位置検出装置100に
よる座標情報の誤差等が問題にならない程度に広く、かつ、処理負荷が重くなりすぎない
程度に狭い領域を指定する。
【0051】
また、図10(A)のように対象物OBが対象面20に触れていないような状況では、
光学式位置検出装置による初期座標情報はA1に対応する座標となる。それに対して、撮
像画像においては、あたかもA2の位置に対象物OBがあるように見える。つまり、撮像
画像上では、初期座標情報に対してΔYだけY座標情報がずれることになる。よって、画
像処理の処理対象範囲は、ΔYのずれを考慮して中心又は大きさ等を決定する必要がある
点に留意する。
【0052】
2.4 最終座標情報の取得
次に、初期座標情報に基づいて画像処理の処理対象範囲が適切に設定された後に、撮像
画像に対する画像処理により、対象物OBの最終座標情報を求める手法について説明する
。なお、撮像装置は対象面全面を撮影するものとする。つまり、ここでは処理対象範囲を
撮影するものではなく、全面を撮影した上で処理対象範囲のデータを取り込むことになる
が、手法はこれに限定されるものではない。
【0053】
2.4.1 Z座標情報に基づく補正
まずは、撮像画像上での対象物OBの座標を求める。これは、公知の画像処理手法を用
いればよい。例えば、対象物OBをテンプレートとしてテンプレートマッチング処理等を
行う。これにより、撮像画像上でのX座標情報及びY座標情報を取得することができる。
【0054】
それとともに、Z座標情報を取得する。ここではまず、撮像装置のキャリブレーション
を事前に行っておくものとする。ここでのキャリブレーションとは、図10(A)におけ
るΔZ=0(つまり図10(B)のように対象面20に接している)場合に、2つの撮像
部が取得する撮像画像において、対象物OBの位置が同一になるように設定しておく。つ
まり、図3(B)におけるδはΔZが0の時には0となり、ΔZが大きくなるほど大きく
なるように設定されることになる。
【0055】
ここで、適切な係数A(Aは撮像装置の設計やキャリブレーション等により決定される
)を設定すれば、ΔZの値は下式(1)により表される。
【0056】
ΔZ=A・δ (1)
よって、δ=0の場合には、ΔZ=0となり、対象物OBが対象面20に触れていると
判定することができる。この場合図10(B)のような状態であるため、撮像画像によっ
て得られたX座標情報及びY座標情報は、そのまま真のX座標情報及びY座標情報として
用いることができる。
【0057】
それに対して、δ≠0の場合には、ΔZは上式(1)により求められる0でない値とな
る。その場合、図10(A)のような状態となっているため、Y座標情報は真のY座標情
報に比べてΔYだけずれていることになる。このとき、撮像装置(及び撮像装置を搭載し
たプロジェクター)の設置位置と方向から、対象面20と撮像装置の光軸方向とのなす角
度θは既知である。よって図よりΔYの値は下式(2)により求めることができる。
【0058】
ΔY=ΔZ/tanθ (2)
よって、撮像画像から得られたY座標情報を上式(2)のΔYだけ補正した値が、真の
Y座標情報となる。なお、この場合X座標情報についての補正は必要ない。今回の座標設
定においては、対象物OBが対象面20から浮いていようが触れていようが、X軸方向で
の位置に変化はないからである。もちろん座標系の設定によってはX座標情報について補
正の必要が生じる場合があることは言うまでもない。
【0059】
2.4.2 座標変換
次に、撮像画像により得られたX座標情報、Y座標情報について、座標変換を行う。上
述してきた撮像部に対して設定される座標系でのX座標情報及びY座標情報は、あくまで
、撮像画像上での座標情報であって、画像の歪みの分、実空間における座標情報とは一致
しない。そのため、座標変換(射影変換)を行うことにより、歪みを解消し、実空間にお
ける適切な座標情報を求める必要がある。なお、撮像部500に対して設定される座標系
及び対象面20に対して設定される座標系を図11に示す。
【0060】
一般的な座標変換である射影変換の式を下式(3)に示す。下式(3)において、x’
、y’が変換後の座標を表し、x、yが変換前の座標を表すものとする。各hは任意の係
数である。
【0061】
【数1】

【0062】
射影変換を施した例を図12に示す。射影変換を行うことで、任意の四角形を別の任意
の四角形に移すことが可能となる。つまり、図12に示したように、歪んだ撮像画像を歪
みのない状態に戻すことができる。この際、係数hについては、キャリブレーション等に
より求めてもよい。つまり、対象面上の任意の点と、撮像画像上における対応する点との
位置関係を求めることにより、射影変換の係数を設定することができる。
【0063】
このようにして求めた、座標変換後のX座標情報、Y座標情報及び、上述したZ座標情
報(ΔZ)が本実施形態の手法により求められる最終座標情報となる。
【0064】
以上の本実施形態では、図1に示したように、位置検出システム400は、撮像画像を
撮像する撮像部500と、撮像部500からの撮像画像に基づいて、対象面20に設定さ
れた検出エリアでの対象物OBの座標情報を求める座標演算部430とを含む。そして、
検出エリアには赤外光の周波数帯域の照射光が出射され、撮像部500は撮像画像として
赤外光の周波数帯域の画像である赤外光帯域画像を撮像する。座標演算部430は、赤外
光帯域画像に基づいて、対象物OBの座標情報を求める。
【0065】
これにより、撮像画像に基づいて対象物OBの位置検出を行うシステムにおいて、赤外
光を用いることが可能になる。上述したように、表示画像が対象物OBに写り込むことに
より、画像処理による対象物OBの認識が困難になるという問題があった。それに対して
、赤外光を用いて赤外光帯域画像を撮像すれば、図6のように対象物OBの形状情報を適
切に取得することができ、対象物OBの位置認識の精度を向上させることが可能となる。
【0066】
また、対象面20に対して図11のように座標系を設定する。対象面20に沿った平面
においてX軸、Y軸を設定し、図11の例では、重力方向をY軸正方向、Y軸に直交する
方向をX軸とする。さらに、X軸及びY軸に直交し、対象面20の裏側から表側へ向かう
方向をZ軸正方向とする。ここで、Z1をZ1≧0、Z2をZ2>Z1を満たす値とする
。このとき、照射光はZ1≦Z≦Z2を満たすZ座標範囲に対して出射されてもよい。
【0067】
これにより、照射光が出射されるZ座標範囲をZ1≦Z≦Z2の範囲に限定することが
可能になる。よって、Z1≦Z≦Z2をスクリーン(対象面20)に近い範囲に設定して
おけば、スクリーンの近くにある対象物OBが、撮像画像において鮮明になる。上述した
ように、本実施形態の位置検出システムでは、対象物OBが対象面20のどの位置を指し
示しているか、また、対象面20に触れているか否かを検出することが重要であるから、
スクリーンに近い対象物OBが鮮明に撮像されることは非常に有用である。つまり、例え
ばZ1及びZ2は対象物の検出を行いたい範囲(Z座標範囲)の下限及び上限に対応する
ことになる。また、照射光が図13に示したような光学式位置検出装置100の照射部に
より出射される場合が想定されうる。この場合、図18(A)を用いて後述するように、
光学式位置検出装置100の受光部ユニットPDにはスリットSLTが設けられ、受光す
るZ座標範囲が狭く限定されている。これは検出範囲(Z座標範囲)をある程度狭くする
ことで、光学式位置検出装置100による位置検出(X座標情報及びY座標情報)の精度
を高めるためである。その場合、照射光のZ座標範囲も狭く限定しておくと、狭い範囲に
照射光が集中するため、より効果的となる。つまり、Z1及びZ2は、光学式位置検出装
置100のX座標情報及びY座標情報の検出精度が確保できる程度に狭いZ座標範囲の上
限及び下限に対応する値としてもよい。
【0068】
また、照射光は、対象面20に沿った方向に出射されてもよい。
【0069】
これにより、上述したZ座標範囲の限定とあわせて、図7(或いは図13のRDET)
に示すような方向、範囲に照射光は出射されることになる。上述したように、対象物OB
がスクリーン上のどの位置を指し示しているかを検出することが重要であるから、スクリ
ーンに沿った方向ではスクリーンと同程度の領域で、対象物OBを認識する必要がある。
よって、照射光は対象面20に沿った方向に出射することで、スクリーンと同程度の大き
さの領域において、撮像部500での撮像画像における対象物OBの像を鮮明にすること
ができる。また、照射光が光学式位置検出装置の照射部により出射される場合が想定され
うるため、照射光をXY平面に沿った方向に出射することで、光学式位置検出装置により
X座標情報及びY座標情報を取得することが可能になる。
【0070】
また、撮像部500は、図5に示したようにレンズ部LE及び光学フィルター(赤外線
光学フィルターFI)を有する光学系と、撮像素子IMを含んでもよい。そして、光学フ
ィルターは、可視光の周波数帯域を非通過とし、赤外光の周波数帯域を通過するフィルタ
ー特性を有する。
【0071】
これにより、光学フィルターを用いることで、可視光を遮断し、赤外光の周波数帯域の
画像を取得することが可能になる。光学フィルターを撮像素子IMの前方に設ければよい
ため、簡単な構成により赤外光帯域画像を撮像することができる。この際の光学フィルタ
ーの特性は例えば図8(A)や図8(B)に示したものを用いればよい。
【0072】
また、座標演算部430は、座標情報として、検出エリアに設定された座標系における
X座標情報及びY座標情報を求める。
【0073】
ここで、X軸、Y軸(及びZ軸)は、対象面20上の検出エリアに対して設定される座
標系の軸である。処理過程で用いる撮像部500に対して設定される座標系(カメラ座標
系)とは異なるため注意が必要である。X軸、Y軸は図11に示したような方向とする。
つまり、X軸及びY軸により規定されるXY平面は対象面20を含む平面であり、かつ、
鉛直方向の正方向(重力方向)がY軸正方向に対応する。また、Y軸に直交し、図11に
おいて手前方向をX軸正方向とし、XY平面に垂直で、かつ、対象面20の裏側から表側
の方向をZ軸正方向とする。ただし、XYZ軸の方向はこれに限定されるものではない。
【0074】
これにより、検出エリアに対して設定された座標系において、X座標情報及びY座標情
報を求めることが可能になる。よって、対象面20に表示された画像のどの部分をポイン
ティングしているのか等の情報を取得することができる。
【0075】
また、図4に示したように撮像部500の光軸と対象面20とが斜め方向に交差する場
合に、座標演算部430は、カメラ座標系における座標情報に対して所定の座標変換処理
を行うことで、検出エリアでのX座標情報及びY座標情報を求めてもよい。
【0076】
これにより、座標変換処理を行うことで検出エリアでの最終座標情報を求めることが可
能になる。図4に示したように、撮像部500の光軸方向と対象面20とが斜め方向に交
差する場合には、撮像画像における対象面20の形は図14(A)に示したように歪むこ
とになる。これはつまり、検出エリアでの座標系とカメラ座標系とで軸が一致しないこと
による。画像処理による位置検出手法では、まずカメラ座標系での座標情報が取得される
のであるから、これら2つの座標系の間での座標変換処理を行うことで、図14(B)の
ように歪みを補正した上で、検出エリアに対して設定された座標系での最終座標情報を求
める必要がある。
【0077】
また、座標演算部430は、撮像画像の情報から得られるカメラ座標系での奥行き特定
情報に基づいて、検出エリアでの座標系におけるZ座標情報を求める。
【0078】
これにより、検出エリアに対して設定された座標系において、Z座標情報を求めること
が可能になる。よって、対象面20に表示された画像のどの部分をポインティングしてい
るかにとどまらず、図10(B)のように当該ポインティング対象に触れているのか(対
象面20に触れているか)、図10(A)のように浮いた状態なのか等の判定を行うこと
ができる。
【0079】
また、図2に示したように撮像部500は複数のカメラを有し、座標演算部430は、
複数のカメラから取得された複数の撮像画像の視差情報に基づいて得られた奥行き特定情
報により、検出エリアでのZ座標情報を求めてもよい。
【0080】
ここで、視差とは、2観測地点での位置の違いにより対象点が見える方向が異なること
を意味する。つまり、異なる位置に設けられた2つのカメラにより得られる2つの撮像画
像においては、対象物OBの位置がずれることになり、ここでは視差情報とは当該画像の
ずれを表すものとする。
【0081】
これにより、複数のカメラを用いて取得した複数の撮像画像の視差情報に基づいて、検
出エリアに設定された座標系でのZ座標情報を求めることが可能になる。具体的には図3
(A)、図3(B)及び式(1)を用いて上述したように、対象物OBの位置のずれδか
ら検出エリアでの座標系におけるZ座標(ΔZ)を求めることができる。なお、δから直
接求められるのは、カメラ座標系におけるZ座標であるが、カメラ座標系から検出エリア
での座標系へのZ座標の値の変換は容易であり、そのための値も上式(1)の係数Aに含
まれているものとする。
【0082】
また、撮像部500はデプスカメラを有し、座標演算部430は、デプスカメラにより
得られた奥行き特定情報に基づいて検出エリアでの座標系におけるZ座標を求めてもよい

【0083】
ここで、デプスカメラとは、例えばTime−of−flight方式等を用いたカメ
ラが考えられる。これは、赤外光のパスル波或いはサインカーブ波を被写体に照射し、反
射光の位相差を検出することで奥行き特定情報を取得するものである。
【0084】
これにより、上述した複数のカメラを用いた場合と同様に、奥行き特定情報を取得でき
、検出エリアでの座標系におけるZ座標情報を求めることが可能になる。
【0085】
また、座標演算部430は、カメラ座標系での奥行き特定情報に基づいて、検出エリア
での座標系におけるX座標情報及びY座標情報の少なくとも一方の補正処理を行ってもよ
い。
【0086】
これにより、カメラ座標系での奥行き特定情報に基づいて、検出エリアでの座標系にお
けるX座標情報及びY座標情報の少なくとも一方の補正処理を行うことが可能になる。図
10(A)、図10(B)に示したように対象物OBが対象面20に接しているか浮いて
いるかにより、処理が異なる。図10(A)のように対象物OBが対象面20から浮いて
いる場合には、撮像画像から得られるXY座標(A1)に比べて、実際のXY座標(A2
)はΔYだけずれることになる。そのため、Z>0の場合には、このΔYだけY座標を補
正する必要が生じる。それに対し、Z=0の場合には、ずれが生じないため補正も必要な
い。なお、上述したカメラ座標系から検出エリア座標系への座標変換処理は補正処理後に
行われるものとするが、これに限定されるものではない。
【0087】
また、位置検出システム400は、光学式位置検出装置100を含んでもよい。光学式
位置検出装置100は、照射光を出射する出射部と、照射光が対象物OBに反射すること
による反射光を受光する受光部と、受光部での受光結果に基づいて対象物OBの初期座標
情報を検出する検出部と、を含む。そして、上述してきた本実施形態における照射光は、
光学式位置検出装置の出射部により出射される。さらに、座標演算部430は、撮像画像
取得部420で取得した撮像画像のうち、初期座標情報により特定され、かつ、撮像画像
よりも狭い範囲の画像に対して処理を行い、対象物OBの最終座標情報を求める。
【0088】
ここで初期座標情報とは、上述したように、対象物OBの概略的な座標情報のことであ
る。本実施形態においては、光学式位置検出装置100により概略的な座標情報である初
期座標情報を求めることで、画像処理による位置検出処理の対象範囲を撮像画像全体(図
9のC2)に比べて狭い範囲(図9のC1)に限定する。また、最終座標情報とは、撮像
画像に対する画像処理により求められる最終的な座標情報のことである。
【0089】
これにより、光学式位置検出装置が自らの位置検出処理のために出射する照射光を、撮
像部500での撮像にも用いることが可能になる。これにより、撮像部500での撮像画
像を、照射光がない場合に比べて鮮明にすることが可能になるとともに、撮像部500の
ための出射部を独自に設ける必要がないため、位置検出システム400の構成を複雑にす
ることがないという効果がある。
【0090】
また、本実施形態は、上述してきた位置検出システムと、画像を表示する表示装置とを
含む表示システムに関係する。
【0091】
これは具体的には例えば、上述してきたような投写型表示装置PR(プロジェクター)
に撮像部を搭載し、画像処理による位置検出を行うとともに、光学式位置検出装置による
位置検出手法を併用するシステムに相当する。さらに具体的には、後述する図15の10
及び100の構成等が考えられる。
【0092】
これにより、投写型表示装置PR(プロジェクター)により画像を対象面20に投射し
た上で、投射した画像とユーザーの用いる対象物OB(オブジェクト)の連携によるユー
ザインターフェースを実現すること等が可能になる。なお、画像の表示は投写型表示装置
PRによるものに限定されるわけではない。
【0093】
また、本実施形態は、上述してきた位置検出システムと、位置検出システムからの検出
情報に基づいて処理を行う情報処理装置と、情報処理装置からの画像データに基づいて画
像の表示を行う表示装置とを含む情報処理システムに関係する。
【0094】
図15に、本実施形態の情報処理システムの構成例を示す。図15の構成例は、光学式
位置検出装置100、情報処理装置30及び表示装置10を含む。情報処理装置30は、
例えばパーソナルコンピューター(PC)などであって、光学式位置検出装置100から
の検出情報に基づいて処理を行う。光学式位置検出装置100と情報処理装置30とは、
USBケーブルUSBCを介して電気的に接続される。表示装置10は、例えば投射型表
示装置(プロジェクター)などであって、情報処理装置30からの画像データに基づいて
、表示部(スクリーン)20に画像を表示する。ユーザーは、表示部20に表示された画
像を参照しながら、表示画像のアイコン等をポインティングすることで、情報処理装置3
0に対して必要な情報を入力することができる。
【0095】
なお、図15では、光学式位置検出装置100が表示部20に取り付けられているが、
他の場所に取り付けることもできる。例えば、光学式位置検出装置100を表示装置10
に取り付けてもよいし、天井や壁などに取り付けてもよい。また、表示装置10としては
、投射型表示装置(プロジェクター)に限定されるものではなく、例えばデジタルサイネ
ージ用表示装置であってもよい。
【0096】
これにより、投写型表示装置PR(プロジェクター)により画像を対象面20に投射し
た上で、投射した画像とユーザーの用いる対象物OB(オブジェクト)の連携によるユー
ザインターフェースを実現することが可能になる。その際、位置検出システムによる検出
情報の処理及び表示装置に表示する表示画像(画像データ)の処理や制御等を情報処理装
置により行うことができる。
【0097】
3.光学式位置検出装置の構成例
図16に、本実施形態の光学式位置検出装置100を用いた光学式検出システムの基本
的な構成例を示す。図16の光学式位置検出装置100は、検出部200、処理部300
、照射部EU及び受光部RUを含む。なお、本実施形態の光学式検出システムは図16の
構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他
の構成要素を追加するなどの種々の変形実施が可能である。
【0098】
なお、光学式検出システムは、上述したように検出部200や処理部300を含む光学
式位置検出装置100として実現される形態には限定されない。情報処理装置(例えばP
C等)により、検出部200や処理部300の機能が実現され、照射部EU及び受光部R
Uと、上記情報処理装置とが連動して動作することにより、光学式検出システムが実現さ
れてもよい。
【0099】
検出部200は、照射光LTが対象物OBにより反射することによる反射光LRの受光
結果に基づいて、対象物OBの対象物情報(例えば、座標情報や反射率情報)を検出する
。具体的には例えば、検出部200は、対象物OBが検出されるエリアである検出エリア
RDETがX−Y平面に沿ったエリアである場合に、少なくとも検出エリアRDETに存
在する対象物OBのX座標情報及びY座標情報を検出する。なお、検出部200による座
標情報の検出手法については、後述する。また、具体的には対象物OBの反射率に関する
情報である反射率情報を検出する。
【0100】
検出エリアRDETとは、対象物OBが検出されるエリア(領域)であって、具体的に
は、例えば照射光LTが対象物OBに反射されることによる反射光LRを、受光部RUが
受光して、対象物OBを検出することができるエリアである。より具体的には、受光部R
Uが反射光LRを受光して対象物OBを検出することが可能であって、かつ、その検出精
度について、許容できる範囲の精度が確保できるエリアである。
【0101】
処理部300は、検出部200が検出した対象物情報に基づいて種々の処理を行う。
【0102】
照射部EUは、検出エリアRDETに対して照射光LTを出射する。後述するように、
照射部EUは、LED(発光ダイオード)等の発光素子から成る光源部を含み、光源部が
発光することで、例えば赤外光(可視光領域に近い近赤外線)を出射する。
【0103】
受光部RUは、照射光LTが対象物OBにより反射することによる反射光LRを受光す
る。受光部RUは、複数の受光ユニットPDを含んでもよい。受光ユニットPDは、例え
ばフォトダイオードやフォトトランジスターなどを用いることができる。
【0104】
図17に、本実施形態の受光部RUの具体的な構成例を示す。図17の構成例では、受
光部RUは受光ユニットPDを含む。受光ユニットPDは、入射光が入射する角度(Y−
Z平面上の角度)を制限するためのスリット等(入射光制限部)が設けられ、検出エリア
RDETに存在する対象物OBからの反射光LRを受光する。検出部200は、受光ユニ
ットPDの受光結果に基づいて、X座標情報及びY座標情報を検出する。なお、照射部E
Uは、検出エリアRDETに対して照射光LTを出射する。また検出エリアRDETは、
X−Y平面に沿ったエリアである。なお、図17の構成例は1つの受光ユニットで構成さ
れるが、2つ以上の受光ユニットを含む構成としてもよい。
【0105】
図18(A)、図18(B)に、スリットSLT(入射光制限部)を有する受光ユニッ
トPDの構成例を示す。図18(A)に示すように、受光素子PHDの前面にスリットS
LTを設けて、入射する入射光を制限する。スリットSLTはX−Y平面に沿って設けら
れ、入射光が入射するZ方向の角度を制限することができる。すなわち受光ユニットPD
は、スリットSLTのスリット幅で規定される所定の角度で入射する入射光を受光するこ
とができる。
【0106】
図18(B)は、スリットSLTを有する受光ユニットの上から見た平面図である。例
えばアルミニウム等の筐体(ケース)内に配線基板PWBが設けられ、この配線基板PW
B上に受光素子PHDが実装される。
【0107】
図19に、本実施形態の照射部EUの詳細な構成例を示す。図19の構成例の照射部E
Uは、光源部LS1、LS2と、ライトガイドLGと、照射方向設定部LEを含む。また
反射シートRSを含む。そして照射方向設定部LEは光学シートPS及びルーバーフィル
ムLFを含む。なお、本実施形態の照射部EUは、図19の構成に限定されず、その構成
要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの
種々の変形実施が可能である。
【0108】
光源部LS1、LS2は、光源光を出射するものであり、LED(発光ダイオード)等
の発光素子を有する。この光源部LS1、LS2は例えば赤外光(可視光領域に近い近赤
外線)の光源光を放出する。即ち、光源部LS1、LS2が発光する光源光は、ユーザー
の指やタッチペン等の対象物により効率的に反射される波長帯域の光や、外乱光となる環
境光にあまり含まれない波長帯域の光であることが望ましい。具体的には、人体の表面で
の反射率が高い波長帯域の光である850nm付近の波長の赤外光や、環境光にあまり含
まれない波長帯域の光である950nm付近の赤外光などである。
【0109】
光源部LS1は、図19のF1に示すようライトガイドLGの一端側に設けられる。ま
た第2の光源部LS2は、F2に示すようにライトガイドLGの他端側に設けられる。そ
して光源部LS1が、ライトガイドLGの一端側(F1)の光入射面に対して光源光を出
射することで、照射光LT1を出射し、第1の照射光強度分布LID1を対象物の検出エ
リアに形成(設定)する。一方、光源部LS2が、ライトガイドLGの他端側(F2)の
光入射面に対して第2の光源光を出射することで、第2の照射光LT2を出射し、第1の
照射光強度分布LID1とは強度分布が異なる第2の照射光強度分布LID2を検出エリ
アに形成する。このように照射部EUは、検出エリアRDETでの位置に応じて強度分布
が異なる照射光を出射することができる。
【0110】
ライトガイドLG(導光部材)は、光源部LS1、LS2が発光した光源光を導光する
ものである。例えばライトガイドLGは、光源部LS1、LS2からの光源光を曲線状の
導光経路に沿って導光し、その形状は曲線形状になっている。具体的には図19ではライ
トガイドLGは円弧形状になっている。なお図19ではライトガイドLGはその中心角が
180度の円弧形状になっているが、中心角が180度よりも小さい円弧形状であっても
よい。ライトガイドLGは、例えばアクリル樹脂やポリカーボネートなどの透明な樹脂部
材等により形成される。
【0111】
ライトガイドLGの外周側及び内周側の少なくとも一方には、ライトガイドLGからの
光源光の出光効率を調整するための加工が施されている。加工手法としては、例えば反射
ドットを印刷するシルク印刷方式や、スタンパーやインジェクションで凹凸を付ける成型
方式や、溝加工方式などの種々の手法を採用できる。
【0112】
プリズムシートPSとルーバーフィルムLFにより実現される照射方向設定部LEは、
ライトガイドLGの外周側に設けられ、ライトガイドLGの外周側(外周面)から出射さ
れる光源光を受ける。そして曲線形状(円弧形状)のライトガイドLGの内周側から外周
側へと向かう方向に照射方向が設定された照射光LT1、LT2を出射する。即ち、ライ
トガイドLGの外周側から出射される光源光の方向を、ライトガイドLGの例えば法線方
向(半径方向)に沿った照射方向に設定(規制)する。これにより、ライトガイドLGの
内周側から外周側に向かう方向に、照射光LT1、LT2が放射状に出射されるようにな
る。
【0113】
このような照射光LT1、LT2の照射方向の設定は、照射方向設定部LEのプリズム
シートPSやルーバーフィルムLFなどにより実現される。例えばプリズムシートPSは
、ライトガイドLGの外周側から低視角で出射される光源光の方向を、法線方向側に立ち
上げて、出光特性のピークが法線方向になるように設定する。またルーバーフィルムLF
は、法線方向以外の方向の光(低視角光)を遮光(カット)する。
【0114】
このように本実施形態の照射部EUによれば、ライトガイドLGの両端に光源部LS1
、LS2を設け、これらの光源部LS1、LS2を交互に点灯させることで、2つの照射
光強度分布を形成することができる。すなわちライトガイドLGの一端側の強度が高くな
る照射光強度分布LID1と、ライトガイドLGの他端側の強度が高くなる照射光強度分
布LID2を交互に形成することができる。
【0115】
このような照射光強度分布LID1、LID2を形成し、これらの強度分布の照射光に
よる対象物の反射光を受光することで、環境光などの外乱光の影響を最小限に抑えた、よ
り精度の高い対象物の検出が可能になる。即ち、外乱光に含まれる赤外成分を相殺するこ
とが可能になり、この赤外成分が対象物の検出に及ぼす悪影響を最小限に抑えることが可
能になる。
【0116】
4.光学式位置検出装置による座標検出手法
図20(A)、図20(B)は、本実施形態の光学式位置検出装置100による座標情
報検出の手法を説明する図である。
【0117】
図20(A)のE1は、図19の照射光強度分布LID1において、照射光LT1の照
射方向の角度と、その角度での照射光LT1の強度との関係を示す図である。図20(A
)のE1では、照射方向が図20(B)のDD1の方向(左方向)である場合に強度が最
も高くなる。一方、DD3の方向(右方向)である場合に強度が最も低くなり、DD2の
方向ではその中間の強度になる。具体的には方向DD1から方向DD3への角度変化に対
して照射光の強度は単調減少しており、例えばリニア(直線的)に変化している。なお図
20(B)では、ライトガイドLGの円弧形状の中心位置が、照射部EUの配置位置PE
になっている。
【0118】
また図20(A)のE2は、図19の照射光強度分布LID2において、照射光LT2
の照射方向の角度と、その角度での照射光LT2の強度との関係を示す図である。図20
(A)のE2では、照射方向が図20(B)のDD3の方向である場合に強度が最も高く
なる。一方、DD1の方向である場合に強度が最も低くなり、DD2の方向ではその中間
の強度になる。具体的には方向DD3から方向DD1への角度変化に対して照射光の強度
は単調減少しており、例えばリニアに変化している。なお図20(A)では照射方向の角
度と強度の関係はリニアな関係になっているが、本実施形態はこれに限定されず、例えば
双曲線の関係等であってもよい。
【0119】
そして図20(B)に示すように、角度θの方向DDBに対象物OBが存在したとする
。すると、光源部LS1が発光することで照射光強度分布LID1を形成した場合(E1
の場合)には、図20(A)に示すように、DDB(角度θ)の方向に存在する対象物O
Bの位置での強度はINTaになる。一方、光源部LS2が発光することで照射光強度分
布LID2を形成した場合(E2の場合)には、DDBの方向に存在する対象物OBの位
置での強度はINTbになる。
【0120】
従って、これらの強度INTa、INTbの関係を求めることで、対象物OBの位置す
る方向DDB(角度θ)を特定できる。そして例えば後述する図21(A)、図21(B
)の手法により光学式位置検出装置の配置位置PEからの対象物OBの距離を求めれば、
求められた距離と方向DDBとに基づいて対象物OBの位置を特定できる。或いは、後述
する図22に示すように、照射部EUとして2個の照射ユニットEU1、EU2を設け、
EU1、EU2の各照射ユニットに対する対象物OBの方向DDB1(θ1)、DDB2
(θ2)を求めれば、これらの方向DDB1、DDB2と照射ユニットEU1、EU2間
の距離DSとにより、対象物OBの位置を特定できる。
【0121】
このような強度INTa、INTbの関係を求めるために、本実施形態では、受光部R
Uが、照射光強度分布LID1を形成した際の対象物OBの反射光(第1の反射光)を受
光する。この時の反射光の検出受光量をGaとした場合に、このGaが強度INTaに対
応するようになる。また受光部RUが、照射光強度分布LID2を形成した際の対象物O
Bの反射光(第2の反射光)を受光する。この時の反射光の検出受光量をGbとした場合
に、このGbが強度INTbに対応するようになる。従って、検出受光量GaとGbの関
係が求まれば、強度INTa、INTbの関係が求まり、対象物OBの位置する方向DD
Bを求めることができる。
【0122】
例えば光源部LS1の制御量(例えば電流量)、変換係数、放出光量を、各々、Ia、
k、Eaとする。また光源部LS2の制御量(電流量)、変換係数、放出光量を、各々、
Ib、k、Ebとする。すると下式(4)、(5)が成立する。
【0123】
Ea=k・Ia (4)
Eb=k・Ib (5)
また光源部LS1からの光源光(第1の光源光)の減衰係数をfaとし、この光源光に
対応する反射光(第1の反射光)の検出受光量をGaとする。また光源部LS2からの光
源光(第2の光源光)の減衰係数をfbとし、この光源光に対応する反射光(第2の反射
光)の検出受光量をGbとする。すると下式(6)、(7)が成立する。
【0124】
Ga=fa・Ea=fa・k・Ia (6)
Gb=fb・Eb=fb・k・Ib (7)
従って、検出受光量Ga、Gbの比は下式(8)のように表せる。
【0125】
Ga/Gb=(fa/fb)・(Ia/Ib) (8)
ここでGa/Gbは、受光部RUでの受光結果から特定することができ、Ia/Ibは
、照射部EUの制御量から特定することができる。そして図20(A)の強度INTa、
INTbと減衰係数fa、fbとは一意の関係にある。例えば減衰係数fa、fbが小さ
な値となり、減衰量が大きい場合は、強度INTa、INTbが小さいことを意味する。
一方、減衰係数fa、fbが大きな値となり、減衰量が小さい場合は、強度INTa、I
NTbが大きいことを意味する。従って、上式(8)から減衰率の比fa/fbを求める
ことで、対象物の方向、位置等を求めることが可能になる。
【0126】
より具体的には、一方の制御量IaをImに固定し、検出受光量の比Ga/Gbが1に
なるように、他方の制御量Ibを制御する。例えば光源部LS1、LS2を逆相で交互に
点灯させる制御を行い、検出受光量の波形を解析し、検出波形が観測されなくなるように
(Ga/Gb=1になるように)、他方の制御量Ibを制御する。そして、この時の他方
の制御量Ib=Im・(fa/fb)から、減衰係数の比fa/fbを求めて、対象物の
方向、位置等を求める。
【0127】
また下式(9)、(10)のように、Ga/Gb=1になると共に制御量IaとIbの
和が一定になるように制御してもよい。
【0128】
Ga/Gb=1 (9)
Im=Ia+Ib (10)
上式(9)、(10)を上式(8)に代入すると下式(11)が成立する。
【0129】
Ga/Gb=1=(fa/fb)・(Ia/Ib)
=(fa/fb)・{(Im−Ib)/Ib} (11)
上式(11)より、Ibは下式(12)のように表される。
【0130】
Ib={fa/(fa+fb)}・Im (12)
ここでα=fa/(fa+fb)とおくと、上式(12)は下式(13)のように表さ
れ、減衰係数の比fa/fbは、αを用いて下式(14)のように表される。
【0131】
Ib=α・Im (13)
fa/fb=α/(1−α) (14)
従って、Ga/Gb=1になると共にIaとIbの和が一定値Imになるように制御す
れば、そのときのIb、Imから上式(13)によりαを求め、求められたαを上式(1
4)に代入することで、減衰係数の比fa/fbを求めることができる。これにより、対
象物の方向、位置等を求めることが可能になる。そしてGa/Gb=1になると共にIa
とIbの和が一定になるように制御することで、外乱光の影響等を相殺することが可能に
なり、検出精度の向上を図れる。
【0132】
次に本実施形態の光学式検出システムを用いて対象物の座標情報を検出する手法の一例
について説明する。図21(A)は、光源部LS1、LS2の発光制御についての信号波
形例である。信号SLS1は、光源部LS1の発光制御信号であり、信号SLS2は、光
源部LS2の発光制御信号であり、これらの信号SLS1、SLS2は逆相の信号になっ
ている。また信号SRCは受光信号である。
【0133】
例えば光源部LS1は、信号SLS1がHレベルの場合に点灯(発光)し、Lレベルの
場合に消灯する。また光源部LS2は、信号SLS2がHレベルの場合に点灯(発光)し
、Lレベルの場合に消灯する。従って図21(A)の第1の期間T1では、光源部LS1
と光源部LS2が交互に点灯するようになる。即ち光源部LS1が点灯している期間では
、光源部LS2は消灯する。これにより図19に示すような照射光強度分布LID1が形
成される。一方、光源部LS2が点灯している期間では、光源部LS1は消灯する。これ
により図19に示すような照射光強度分布LID2が形成される。
【0134】
このように検出部200は、第1の期間T1において、光源部LS1と光源部LS2を
交互に発光(点灯)させる制御を行う。そしてこの第1の期間T1において、光学式位置
検出装置(照射部)から見た対象物の位置する方向が検出される。具体的には、例えば上
述した式(9)、(10)のようにGa/Gb=1になると共に制御量IaとIbの和が
一定になるような発光制御を、第1の期間T1において行う。そして図20(B)に示す
ように対象物OBの位置する方向DDBを求める。例えば上式(13)、(14)から減
衰係数の比fa/fbを求め、図20(A)、図20(B)で説明した手法により対象物
OBの位置する方向DDBを求める。
【0135】
そして第1の期間T1に続く第2の期間T2では、受光部RUでの受光結果に基づいて
対象物OBまでの距離(方向DDBに沿った方向での距離)を検出する。そして、検出さ
れた距離と、対象物OBの方向DDBとに基づいて、対象物の位置を検出する。即ち図2
0(B)において、光学式位置検出装置の配置位置PEから対象物OBまでの距離と、対
象物OBの位置する方向DDBを求めれば、対象物OBのX、Y座標位置を特定できる。
このように、光源の点灯タイミングと受光タイミングの時間のずれから距離を求め、これ
と角度結果を併せることで、対象物OBの位置を特定できる。
【0136】
具体的には図21(A)では、発光制御信号SLS1、SLS2による光源部LS1、
LS2の発光タイミングから、受光信号SRCがアクティブになるタイミング(反射光を
受光したタイミング)までの時間Δtを検出する。即ち、光源部LS1、LS2からの光
が対象物OBに反射されて受光部RUで受光されるまでの時間Δtを検出する。この時間
Δtを検出することで、光の速度は既知であるため、対象物OBまでの距離を検出できる
。即ち、光の到達時間のずれ幅(時間)を測定し、光の速度から距離を求める。
【0137】
なお、光の速度はかなり速いため、電気信号だけでは単純な差分を求めて時間Δtを検
出することが難しいという問題もある。このような問題を解決するためには、図21(B
)に示すように発光制御信号の変調を行うことが望ましい。ここで図21(B)は、制御
信号SLS1、SLS2の振幅により光の強度(電流量)を模式的に表している模式的な
信号波形例である。
【0138】
具体的には図21(B)では、例えば公知の連続波変調のTOF(Time Of Flight)方
式で距離を検出する。この連続波変調TOF方式では、一定周期の連続波で強度変調した
連続光を用いる。そして、強度変調された光を照射すると共に、反射光を、変調周期より
も短い時間間隔で複数回受光することで、反射光の波形を復調し、照射光と反射光との位
相差を求めることで、距離を検出する。なお図21(B)において制御信号SLS1、S
LS2のいずれか一方に対応する光のみを強度変調してもよい。また図21(B)のよう
なクロック波形ではなく、連続的な三角波やSin波で変調した波形であってもよい。ま
た、連続変調した光としてパルス光を用いるパルス変調のTOF方式で、距離を検出して
もよい。距離検出手法の詳細については例えば特開2009−8537号などに開示され
ている。
【0139】
図22に、本実施形態の照射部EUの変形例を示す。図22では、照射部EUとして第
1、第2の照射ユニットEU1、EU2が設けられる。これらの第1、第2の照射ユニッ
トEU1、EU2は、対象物OBの検出エリアRDETの面に沿った方向において所与の
距離DSだけ離れて配置される。即ち図16のX軸方向に沿って距離DSだけ離れて配置
される。
【0140】
第1の照射ユニットEU1は、照射方向に応じて強度が異なる第1の照射光を放射状に
出射する。第2の照射ユニットEU2は、照射方向に応じて強度が異なる第2の照射光を
放射状に出射する。受光部RUは、第1の照射ユニットEU1からの第1の照射光が対象
物OBに反射されることによる第1の反射光と、第2の照射ユニットEU2からの第2の
照射光が対象物OBに反射されることによる第2の反射光を受光する。そして検出部20
0は、受光部RUでの受光結果に基づいて、対象物OBの位置POBを検出する。
【0141】
具体的には検出部200は、第1の反射光の受光結果に基づいて、第1の照射ユニット
EU1に対する対象物OBの方向を第1の方向DDB1(角度θ1)として検出する。ま
た第2の反射光の受光結果に基づいて、第2の照射ユニットEU2に対する対象物OBの
方向を第2の方向DDB2(角度θ2)として検出する。そして検出された第1の方向D
DB1(θ1)及び第2の方向DDB2(θ2)と、第1、第2の照射ユニットEU1、
EU2の間の距離DSとに基づいて、対象物OBの位置POBを求める。
【0142】
図22の変形例によれば、図21(A)、図21(B)のように光学式位置検出装置と
対象物OBとの距離を求めなくても、対象物OBの位置POBを検出できるようになる。
【0143】
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効
果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるで
あろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば
、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記
載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換え
ることができる。また撮像装置、光学式位置検出装置等の構成、動作も本実施形態で説明
したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【0144】
10 表示装置、20 対象面、30 情報処理装置、100 光学式位置検出装置、
200 検出部、300 処理部、400 位置検出システム、
410 座標情報取得部、420 撮像画像取得部、430 座標演算部、
431 特定情報取得部、433 補正部、435 座標変換部、500 撮像部、
EU 照射部、FI 赤外線光学フィルター、IM 撮像素子、LE レンズ部、
LF ルーバーフィルム、LG ライトガイド、OB 対象物、PD 受光ユニット、
PHD 受光素子、PR 投写型表示装置、PS プリズムシート、PS 光学シート、
RDET 検出エリア、RS 反射シート、RU 受光部、SLT スリット

【特許請求の範囲】
【請求項1】
撮像画像を撮像する撮像部と、
前記撮像部からの前記撮像画像に基づいて、対象面に設定された検出エリアでの対象物
の座標情報を求める座標演算部と、
を含み、
前記検出エリアには、
赤外光の周波数帯域の照射光が出射され、
前記撮像部は、
前記撮像画像として赤外光の周波数帯域の画像である赤外光帯域画像を撮像し、
前記座標演算部は、
前記赤外光帯域画像に基づいて、前記対象物の前記座標情報を求めることを特徴とする
位置検出システム。
【請求項2】
請求項1において、
前記対象面に沿って設定される座標軸をX軸及びY軸とし、前記X軸及びY軸に直交し
前記対象面の裏側から表側へ向かう方向をZ軸正方向とし、 Z1をZ1≧0、Z2をZ
2>Z1を満たす値とした場合に、
前記照射光は、
Z1≦Z≦Z2を満たすZ座標範囲に出射されることを特徴とする位置検出システム。
【請求項3】
請求項1又は2において、
前記照射光は、
前記対象面に沿った方向に出射されることを特徴とする位置検出システム。
【請求項4】
請求項1乃至3のいずれかにおいて、
前記撮像部は、
レンズ部及び光学フィルターを有する光学系と、撮像素子を有し、
前記光学フィルターは、
可視光の周波数帯域を非通過とし、赤外光の周波数帯域を通過するフィルター特性を有
することを特徴とする位置検出システム。
【請求項5】
請求項1乃至4のいずれかにおいて、
前記座標演算部は、
前記座標情報として、前記検出エリアでのX座標情報及びY座標情報を求めることを特
徴とする位置検出システム。
【請求項6】
請求項5において、
前記撮像部の光軸と前記対象面とが斜め方向に交差する場合に、
前記座標演算部は、
前記撮像部に対して設定されるカメラ座標系における座標情報に対して所定の座標変換
処理を行うことで、前記検出エリアでのX座標情報及びY座標情報を求めることを特徴と
する位置検出システム。
【請求項7】
請求項1乃至6のいずれかにおいて、
前記座標演算部は、
前記撮像画像の情報から得られるカメラ座標系での奥行き特定情報に基づいて、前記対
象物の前記検出エリアでのZ座標情報を求めることを特徴とする位置検出システム。
【請求項8】
請求項7において、
前記撮像部は、
複数のカメラを有し、
前記座標演算部は、
前記複数のカメラから取得された複数の撮像画像情報の視差情報に基づいて得られた奥
行き特定情報により、前記検出エリアでの前記Z座標を求めることを特徴とする位置検出
システム。
【請求項9】
請求項7において、
前記撮像部は、
デプスカメラを有し、
前記座標演算部は、
前記デプスカメラにより得られた前記奥行き特定情報に基づいて、前記検出エリアでの
前記Z座標を求めることを特徴とする位置検出システム。
【請求項10】
請求項7乃至9のいずれかにおいて、
前記座標演算部は、
前記カメラ座標系での前記奥行き特定情報に基づいて、前記検出エリアでのX座標情報
及びY座標情報の少なくとも一方の補正処理を行うことを特徴とする位置検出システム。
【請求項11】
請求項1乃至10のいずれかにおいて、
光学式位置検出装置を含み、
前記光学式位置検出装置は、
前記照射光を出射する出射部と、
前記照射光が前記対象物に反射することによる前記反射光を受光する受光部と、
前記受光部での受光結果に基づいて前記対象物の初期座標情報を検出する検出部と、
を含み、
前記照射光は、
前記光学式位置検出装置の前記出射部により出射され
前記座標演算部は、
前記撮像画像のうち、前記初期座標情報により特定され、かつ、前記撮像画像よりも狭
い範囲の画像に対して処理を行って、前記対象物の最終座標情報を求めることを特徴とす
る位置検出システム。
【請求項12】
請求項1乃至11のいずれかに記載の位置検出システムと、
画像を表示する表示装置と、
を含むことを特徴とする表示システム。
【請求項13】
請求項1乃至11のいずれかに記載の位置検出システムと、
前記位置検出システムからの検出情報に基づいて処理を行う情報処理装置と、
前記情報処理装置からの画像データに基づいて画像の表示を行う表示装置と、
を含むことを特徴する情報処理システム。

【図1】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2012−149987(P2012−149987A)
【公開日】平成24年8月9日(2012.8.9)
【国際特許分類】
【出願番号】特願2011−8610(P2011−8610)
【出願日】平成23年1月19日(2011.1.19)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】