説明

投影型表示装置、情報処理装置、投影型表示システム、およびプログラム

【課題】投影型表示装置を利用する環境において、高い精度で効果的な防眩機能を提供する。
【解決手段】スクリーンに映像光を投影する映像光投影手段と、スクリーンまでの距離を測定する測距手段と、測距手段によって得られた距離情報に基づき、スクリーンと映像光投影手段との間の障害物を検知し、該検知の結果に応じて投影する映像光の調整領域を決定する障害物検知手段と、調整領域の映像光を調整する投影調整手段と、を有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、投影型表示装置、情報処理装置、投影型表示システム、およびプログラムに関する。
【背景技術】
【0002】
近年、多数の参加者が参加する会議等では、プレゼンテーションのために使用されるプロジェクタの重要性が増している。プロジェクタを利用する場合、発表者は、通常、スクリーンに投影された映像を参加者に参照してもらって、その内容を説明する、ということを行う。その際、プロジェクタとスクリーン間に、人や物など投影映像を遮る障害物が現われる場合がある。例えば、発表者が説明のためにスクリーンの前に立つと、この発表者自身が障害物となる。また、光を反射する障害物(PCやペットボトルなど)があると、プロジェクタの投影方向とは異なる方向に光が反射することになる。
【0003】
障害物としての発表者は、プロジェクタからの光を直接眼に受けることになり、また、光を反射する障害物からの反射光を眼に受けることになるが、こうした事態は好ましくない。そのため、投影領域への人や物の侵入があった場合に、投影光を低減させたり、遮断する技術が提案されている(特許文献1、2参照)。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に開示の技術では、映像情報から人物の位置情報を検出しており、プロジェクタシステムの場合、投写されている映像に人物が含まれていると、それが投影されている映像なのか、実在する発表者なのかなどの区別を行うことが非常に難しく、人物の抽出精度が低いという問題があった。
【0005】
また、特許文献2に開示の技術では、赤外光を用いて投射領域への侵入の検知とその際の投射光の低減、遮断処理が行われているが、この技術では、投射光全体をカットしてしまうので、侵入した人物とは関係のない部分の投射もストップしてしまうという問題があった。
【0006】
本発明は、上記に鑑みてなされたものであって、投影型表示装置を利用する環境において、高い精度で効果的な防眩機能を提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明は、スクリーンに映像光を投影する映像光投影手段と、前記スクリーンまでの距離を測定する測距手段と、前記測距手段によって得られた距離情報に基づき、前記スクリーンと映像光投影手段との間の障害物を検知し、該検知の結果に応じて投影する映像光の調整領域を決定する障害物検知手段と、前記調整領域の映像光を調整する投影調整手段と、を有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、投影面であるスクリーンまでの距離を測定し、その測定結果から障害物を検知し、検出された障害物を含む領域単位での投影の調整を行うので、高い精度で効果的な防眩機能を提供することができる。
【図面の簡単な説明】
【0009】
【図1】図1は、第1の実施の形態の投影型表示システムの構成を示す図である。
【図2】図2は、投影型表示システムの他の構成を示す図である。
【図3】図3は、投影型表示システムの他の構成を示す図である。
【図4】図4は、同実施の形態の投影型表示システムにおける処理の流れ(概略)を示す図である。
【図5】図5は、基準面情報の一例を示す図である。
【図6】図6は、距離データの一例を示す図である。
【図7】図7は、同実施の形態の投影型表示システムにおいて実施される一連の動作を説明するフローチャートである。
【図8】図8は、ビットマップAおよびビットマップBとその関係を示す図である。
【図9】図9は、ビットマップAで黒画素にする領域を広くまたは狭く設定する処理を説明する図である。
【図10】図10は、同実施の形態の投影型表示システムの使用例を示す図である。
【図11】図11は、第2の実施の形態の投影型表示システムにおいて実施される一連の動作を説明するフローチャートである。
【図12】図12は、同実施の形態において、ビットマップAで黒画素にする領域を狭く設定する処理を説明する図である。
【図13】図13は、同実施の形態において、ビットマップAで黒画素にする領域を広く設定する処理を説明する図である。
【図14】図14は、1点からスクリーンと照射口との距離を測定する例を示す説明図である。
【図15】図15は、3次元位置推定と平面推定例を示す説明図である。
【図16】図16は、右側がカメラ配置の場合における撮影画像の様子を示す説明図である。
【図17】図17は、左側がカメラ配置の場合における撮影画像の様子を示す説明図である。
【図18】図18は、第3の実施の形態にかかるプロジェクタの機能構成例を示すブロック図である。
【図19】図19は、第3の実施の形態にかかる光線カット画像の処理例を示す説明図である。
【図20−1】図20−1は、第3の実施の形態にかかる動作例1(事前準備処理)を示すフローチャートである。
【図20−2】図20−2は、第3の実施の形態にかかる動作例1(運用処理)を示すフローチャートである。
【図21】図21は、第3の実施の形態にかかるパターン投影の様子を示す説明図である。
【図22】図22は、第3の実施の形態にかかるスクリーン平面の様子を示す説明図である。
【図23】図23は、第3の実施の形態にかかる人物領域例を示す説明図である。
【図24】図24は、第3の実施の形態にかかる動作例2を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下に添付図面を参照して、この発明にかかる投影型表示装置、情報処理装置、投影型表示システム、およびプログラムの一実施の形態を詳細に説明する。
【0011】
(第1の実施の形態)
図1は、投影型表示システムの構成を示す図である。図1に示すように、投影型表示システ130ムは、映像データを元にスクリーン130に映像を投影する映像光投影部1と、スクリーン130との距離およびスクリーン130の前に存在する障害物との距離を測距する測距部2と、測距部2から測距の結果である距離データを受け、この距離データを基に障害物を検出する障害物検出部3と、映像データが入力され、この映像データを基に映像光投影部1に映像光を投影させるとともに、映像光投影部1が投影する投影光を調整する投影調整部4とから構成される。
【0012】
図1に示した投影型表示システムは、第1の形態として、映像光投影部1と測距部2と障害物検出部3と投影調整部4とを一体として構成した投影型表示装置(プロジェクタ)として構成することができる。また、第2の形態として、図2に示すように映像光投影部1と測距部2をプロジェクタ100(投影型表示装置)に設け、障害物検出部3と投影調整部4とをネットワーク等(例えば、LANやインターネット)を介してプロジェクタ100に接続されるホストコンピュータ200(情報処理装置)側に設けた構成とすることもできる。また、第3の形態として、図3に示すように、映像光投影部1と測距部2と投影調整部4とをプロジェクタ100に設け、障害物検出部3を、ネットワーク等を介してプロジェクタ(投影型表示装置)100に接続されるホストコンピュータ200側に設けた構成とすることもできる。
【0013】
なお、測距部2における「測距」の手法は、周知の任意の手法を用いることができる。代表的な方法として、2つのカメラを用いて視差を利用し距離を測定する方法、赤外線などを照射してから、対象物から反射光を受けるまでの時間を測定する方法などがある。また、障害物検出部3および投影調整部4の機能(詳細は後述)は、それらが設けられる投影型表示装置またはホストコンピュータに備わるCPUおよびメモリならびにその制御プログラムからなる制御手段により達成することができる。
【0014】
なお、本実施の形態において、投影対象となる映像データはビットマップデータとする。また、本実施の形態で使用する距離データ(後述)もビットマップデータとして取得できるものとする。これらビットマップデータは必ずしもそのサイズは一致しない。例えば、距離データのビットマップデータの方が、解像度が低い場合もある。本実施の形態ではこれらの区別のため、投影対象の映像データのビットマップをビットマップA(BA)、測距の結果(距離データ)を格納したビットマップをビットマップB(BB)と呼ぶことにする(図8参照)。また、BB上の点も、ここでは画素と称し、BA上の画素をBA画素、BB上の画素をBB画素と記す。
【0015】
図4に、投影型表示システムにおける処理の流れ(概略)を示す。
【0016】
「電源投入時」や、所定の「初期設定ボタン」が押された場合や、後述の各ケースなど、初期設定が必要な場合に初期設定を行う。この初期設定では、測距部2によるスクリーン130までの距離のデータ(距離データ)を基準面情報(図5)として取得し(t1)、測距部2またはプロジェクタ100に備わるメモリ(図示せず)等の記憶手段に設定する(t2)。
【0017】
初期設定は、このように自動で行っても構わないが、ユーザーに初期設定を行うか確認を求め、ユーザーが初期設定を許可した場合のみ初期設定を行うようにしてもよい。また、初期設定時には、測距部2で、直交するX,Y,Z軸(ここで、X軸は水平方向、Y軸は垂直方向、Z軸は奥行き方向とする)からなる3次元空間における3次元の情報を取得し、基準面情報として保持する。具体的には、図5に示すように、領域内の任意のX,Yの位置で、奥行き情報(距離情報)をもつ。図5の例は、概ね100cmの距離にスクリーン130が置かれていることを示す例になっている。
【0018】
次いで、映像光投影部1による映像光が投影されると(t3)、測距部2によりその時点での測距がなされる(t4)。例えば、図5に示した基準面情報に対して、図6に示すような距離データが得られる。
【0019】
障害物検出部3は、測距部2により測距された距離データと、初期設定されている基準面情報(距離データ)とから障害物を検出する(t5)。その際、検知の結果に応じて投影する映像光の調整領域を決定する(詳細は後述)。
【0020】
投影調整部4は、障害物検出部3による検出結果(決定された調整領域)に応じて投影光を調整し(t6)、映像光投影部1は、調整された映像光を投影する(t7)。そして、上記t4に戻る。
【0021】
ところで、本実施の形態の投影型表示システムでは、映像光投影部1とスクリーン130の位置関係が大きく変わったと判断される場合にも上記初期設定を行う。この場合は、具体的には次の3つのケースが考えられる。(1)映像光投影部1を移動させた場合、(2)測距部2を移動させた場合、(3)スクリーンン130が移動したり風などにより動いた場合、の3つである。
【0022】
本実施の形態の障害物検出部3では、障害物の検知を行うが、この障害物の検知とあわせて、映像光投影部1とスクリーン130の位置関係の動き(変化)についてもその判断を行う。従って、この障害物検出部3により映像光投影部1とスクリーン130の位置関係の動きがあったと判断された場合、上記初期設定を行う。なお、この障害物検出部3で検出される動きは、上記(1)、(3)のケースに対応し、映像光投影部1と測距部2とが一体として構成される場合は、(2)にも対応する。(1)〜(3)のケースのその他の検知方法としては、例えば、映像光投影部1や、測距部2や、スクリーン130に、加速度センサーなどの動き検知手段を設置しそれぞれの動きを検知することにより、その動きの有無を判断するという方法を採用することもできる。
【0023】
障害物検出部3による映像光投影部1とスクリーン130の位置関係の動きの検知は、具体的には、障害物検知時とは異なる閾値を予め設定し、その閾値内であれば位置関係の動きがあったと判断する。図6の例で障害物を検知する場合は、図6の距離データの値と図5の基準面情報の値の差の絶対値を距離差分としてとり、後述のように障害物検知の閾値として「30」cmを設定しておけば、図6の点線で囲まれる部分を障害物として抽出することができる。一方、この距離差分に対して、例えば閾値「10」cmを設定し、X,Y座標での距離差分が10cm以下であれば映像光投影部1とスクリーン130の位置関係の動きがあったと判断する。なお、距離差分が1cm以下の場合は測定誤差を考慮して位置関係の動きがあったとは判断しないようにする。なお、障害物検出部3による障害物検出は、人間の動きなどに追従する必要があることから、最低でも1秒間に数回、できれば1秒回に10回以上の頻度で行うことが望ましい。
【0024】
次に、投影型表示システムにおいて実施される一連の動作を、図7のフローチャートを用いて説明する。
【0025】
「電源投入時」(電源ON)や、所定の「初期設定ボタン」が押された場合や、上記(1)〜(3)のケースで動きを検知した場合に、初期設定を行う。具体的には、BB全画素についてスクリーン130までの対応する空間に対し測距部2により距離測定を行い、得られた値を初期値として設定する(ステップS01)。
【0026】
次に、投影を開始する操作がなされると、投影調整部4は、映像データ(BA)を読み込む(ステップS02)。
【0027】
次いで、測距部2がBB全画素についてスクリーン130までの対応する空間に対しこの時点での距離測定(測距)を行う(ステップS03)。
【0028】
次いで、障害物検出部3は、あるBB画素について距離差分(前述)を算出する(ステップS04)。
【0029】
そして、その距離差分が閾値である30cm以上である場合(この場合、障害物検出部3により障害物が存在すると判断され、その点は投影する映像光の調整領域を構成する)(ステップS05でYes)、投影調整部4が当該BBの画素に対応するBAの画素の映像データを、例えば黒に変換(投影光調整)する(これにより、投影する映像光の輝度は黒レベルとなる)(ステップS06)。そうでない場合は(ステップS05でNo)、ステップS07へ移行する。なお、ここでは、画素単位に距離差分を算出し、それが閾値である30cm以上である場合に、BAの該当画素の映像データを変換しているが、距離差分を一通り算出した後に、距離差分が閾値である30cm以上である場合に、BAの画素の映像データを変換するようにしてもよい。
【0030】
そして、すべてのBB画素を吟味し終わるまで、(ステップS07でNoと判定されステップS04へ移行し)ステップS04〜ステップS07の処理を繰り返す。そして、すべてのBB画素を吟味し終わると(ステップS07でYes)、ステップS08へ移行する。
【0031】
次いで、映像光投影部1が、調整済みのBA映像を投影する(ステップS08)。
【0032】
次に、障害物検出部3は、ステップS04で算出した距離差分を元に、距離差分が30cm以上の点(BB画素)がなく、距離差分が10cm以下かつ2以上の点(BB画素)があったか判断し、該当の画素があった場合(ステップS09でYes)、ステップS01に戻り初期設定を行う。
【0033】
一方、ステップS09でNoの場合、前述のように、動き検知手段として加速度センサーを設けている場合は、さらに、加速度センサーで大きな動きを検知したか判断し、大きな動きが検知された場合(ステップS10でYes)、ステップS01に戻り初期設定以降の処理を行う。そうでない場合は(ステップS10でNo)、ステップS02に戻り、映像データの読み込み以降の処理を行う。
【0034】
ここで、障害物検出部3による障害物の検出と、投影調整部4による投影光の調整について、さらに説明する。
【0035】
人物がスクリーン130と映像光投影部1の間に立つと、測距部2からの信号は図6のように変化する。すなわち、人物がスクリーン130と映像光投影部1の間に立つことにより、映像光投影部1から、間にたった人物までの距離が短くなり、図4の例では概ね50cm前後の距離が測距部2により測定されるようになる。そこで、図5で示した基準面情報との差分(距離差分)をとり、所定の閾値で障害物であるか否かの判断をすることで、障害物を抽出している。図6の例では、閾値を30cmに設定することで障害物の抽出が可能になる。人物のみでなく、スクリーン130と映像光投影部1との間にPCやペットボトルなどが置かれた場合の検出も可能になる。このように検知された障害物の領域について投影調整部4により映像入力(BA)を調整する。上記ステップS06では、投影調整部4で、障害物検出部3により検知された障害物の領域の画素を黒に変換することにより映像入力(BA)を調整するが、上記のように該当の画素を黒で投影するようにする他、投影光の強度を小さくなるように該当画素のデータを変換するようにしてもよい。このようにしても、防眩効果を得ることができる。また、PCやペットボトルなどの障害物からの反射光も抑制することができる。
【0036】
また、BAとBBの位置の対応付けは、図8の例では分解能(解像度)が、BAの方がBBの倍あるので、BB上のある1画素のBA上の位置は、2×2の4つの画素に相当する。従って、閾値となる距離30cmよりも近いBB上の画素が検知された場合は、BA上の画素は、対応する4画素を黒色に設定することになる。
【0037】
また、抽出された障害物の周囲をさらに少し広めにした領域、あるいは少し狭くした領域について投影光の調整を行っても構わない。例えばステップS06で黒にする領域を該当画素の周りの数画素まで広げれば、広めにした領域となる。この場合、障害物である人物の周りに少しマージンができるのでより防眩効果が高まる。逆に狭くしてもよい。
【0038】
狭くする場合は、図9に示すように、一旦黒にする画素(障害物に対応する画素)を決めておき、それを周知のerosion処理で狭く設定することで実現できる。また、ここで周知のdilation処理を使用すれば上記のように、広く設定することも可能である。
【0039】
以上のようにして、障害物を検出し、障害物に応じて投影光を調整することにより、障害物を避けて映像光を投影することができるようになる(図10参照)。これにより、防眩効果を得ることができる。
【0040】
(第2の実施の形態)
次に、投影型表示システムの第2の実施の形態について説明する。本実施の形態の投影型表示システムのハードウェア構成は、上述した第1の実施の形態と同様であるので、その説明は省略し、ここでは異なる点について説明する。
【0041】
本実施の形態では、BAと同じ解像度のマスク画像BCを用いる。図11のフローチャートに示した処理が、その場合の処理である。なお、ステップS21〜ステップS27に示す処理は、図7を用いて前述したフローチャートのステップS03の次に行い、ステップS27の次には図7のステップS08以降の処理を行うものとなっている。
【0042】
前述のステップS03の処理の後、投影調整部4は、マスク画像BCのすべての画素を白画素に初期化する(ステップS21)。
【0043】
次いで、障害物検出部3は、あるBB画素について距離差分を算出する(ステップS22)。
【0044】
そして、距離差分が閾値である30cm以上である場合(この場合、障害物検出部3により障害物が存在すると判断され)(ステップS23でYes)、投影調整部4がBCの該当位置を黒画素に置換し(ステップS24)、そうでない場合は(ステップS23でNo)、ステップS25へ移行する。
【0045】
そして、すべてのBB画素を吟味し終わるまで、(ステップS25でNoと判定されステップS22へ移行することになり)ステップS22〜ステップS25の処理を繰り返す。そして、すべてのBB画素を吟味し終わると(ステップS25でYes)、ステップS26へ移行する。
【0046】
すべてのBB画素を吟味し必要箇所を黒画素に置換してできたマスク画像BCに対し、dilation処理またはerosion処理を行う(ステップS26)。
【0047】
次いで、処理後のBCの黒画素(黒のBC画素)に対応する位置のBA画素の画素値を黒に変換する(ステップS27)。その後は前述の図7のステップS08以降の処理となる。
【0048】
図12は、BCに対するerosion処理の概念を表わし、図13は、BCに対するdilation処理の概念を表している。本実施の形態では、上述のように、人物検知領域に対応したマスク画像BCをまず作り、dilation処理やerosion処理を行ってできたBCを元に、BAで黒画素化する領域を決定していく。
【0049】
以上、投影型表示システムの諸実施の形態を説明した。上述したように、投影型表示システムで、プロジェクタ100(投影型表示装置)とスクリーン130間の障害物(=発表者、発表者の顔領域・目の領域、会議参加者、PCやペットボトルなど)を検知し、障害物部分の投影を調整した上で映像光を投影するようにしている。これにより、発表者や会議参加者に眩しくないプレゼンテーション環境を提供することができる。また、投影型表示装置からの光が障害物としてPCやペットボトルに反射し、投影方向ではない方向に光が反射することも防ぐことができる。また、今後投影型表示装置の光源として、レーザなどが用いられることも検討されており、眩しくないというだけでなく、より安全なプレゼンテーション環境の提供が可能となる。
【0050】
(第3の実施の形態)
ところで、図14に示すように、1点からスクリーン130面とプロジェクタ100との距離を測定すると、スクリーン130までの距離(図14の下部参照)が場所によって異なるので、特に短焦点プロジェクタの場合は人物とスクリーンの区別がつきにくくなる。図14では、1点位置でカメラ(センサー)によるスクリーン130に投影された画像を撮影し、その撮影した画像からセンサーとスクリーン130までの距離、すなわちスクリーン130上同じ高さの位置での距離の分布は下部の図のようになる。そこで投影、測距された点の3次元座標(図15の下部参照)を求め、平面推定を行うと、図15のように測距領域内の多くの面積を占める平面とそれ以外が識別できるため、投影対象領域を平面の境界部に設定することができる。図15では異なる2点の位置のカメラによるスクリーン130に投影された画像を撮影し、その撮影した画像からセンサーとスクリーン130までの距離を取得し、スクリーン130上同じ高さの位置での距離の分布を平面推定し、人物領域の境界位置を推定する。この場合、平面からの距離がある一定値(たとえば5センチ)以上離れたところをスクリーン130外と定義し、その境界を投影境界位置とすればよい。
【0051】
また、投影光が出る位置とカメラ(測距センサー)がある位置にずれがある場合、光線カット領域にずれが生じる。図16,図17に示すように、投影口103a(投影光が出る位置、図18参照)がある側は光線カット領域を狭め、カメラ(測距センサー)がある側は、カット領域を広げる。図16,図17では左右にずれている場合だが、上下でも同様である。
【0052】
また、上記処理に、動き検知機能を追加し、動きの方向の光線カット領域を広げ、逆側を狭めることでより適切な光線カットを行う。
【0053】
次に、上述した動作例の概要についての具体的な構成、動作について説明する。図18は、第3の実施の形態にかかるプロジェクタの機能構成例を示すブロック図である。図示するように、映像光投影部として光源101、投影光加工部102、先端に投影口(照射口)103aを有する投影用レンズ103、レンズ駆動部104などを有し、これらは投影光制御部105によって制御される。
【0054】
距離測定部としてのカメラ106はカメラ画像に写った交点から測距基点までの距離を求めるためにプロジェクタ100に内蔵された何らかの測距手段、本例では画像撮影部A,画像撮影部Bのステレオカメラを有する。CPU107はROM108に格納されている制御プログラムにしたがって投影画像取得部110、距離情報算出部111、画像加工部112、平面推定部113、人物位置推定部114、投影光調整部115、人物動き検知部116、位置調整部117、人物領域調整部118、光線カット画像生成部119などの機能を実行する。RAM109はCPU107の制御時におけるワーキングメモリとして使用される。また、格納手段として投影画像格納部121、距離情報格納部122、校正パターン格納部123、撮影画像格納部124、平面方程式格納部125、光線カット画像格納部126などを有する。また、符号120は操作パネルである。
【0055】
カメラ106は、スクリーン130面に投影された画像を画像撮像部A,画像撮像部Bのステレオカメラで撮影し、投影面を含む領域からプロジェクタ130までの距離を測定する。距離情報算出部111は、複数の画像から複数点の距離情報を算出する。画像加工部112は、撮影した投影画像と光線カット画像からその投影画像を加工する。平面推定部113は、前記距離情報から投影面に相当する平面を近似的に推定する。人物位置推定部114は、前記平面と前記距離情報を元に人物の位置を推定する。投影光調整部115は、前記人物の位置の投影光を調整する。これらの機能により、後述するように平面推定による人物検知および防眩を実現する。
【0056】
また、人物の位置の投影光を調整する投影光調整部115は、測距装置と投影装置の位置関係に応じて、その位置を調整する位置調整部117の機能を有する。投影口103aと測距口の位置関係に応じて、光線カットの位置を調整する。
【0057】
また、人物の位置の投影光を調整する投影光調整部115は、人物の動きを検知する人物動き検知部116の機能を有し、前記人物の動きに応じて投影光を調整する。すなわち、人物の動き検知結果に応じて、光線カットの位置を調整する。
【0058】
また、人物領域調整部118は、動きが速い場合は、より広く、遅い場合はより狭く、人物領域を調整する。すなわち、人物の動きが速い場合はより広く光線カットする。
【0059】
光線カット画像生成部119は、光線カット(人物領域)の画像を生成し、光線カット画像格納部126に格納する。
【0060】
投影画像格納部121には、投影画像取得部110がホストコンピュータ200などを介して外部入力された投影画像を格納する。距離情報格納部122には、スクリーン130面とプロジェクタ100の投影口103a(照射口)との距離情報を格納する。校正パターン格納部123には、校正時に用いる校正パターンを格納しておく。撮影画像格納部124には、撮影したスクリーン画像を格納する。平面方程式格納部125には、後述するように撮影した画像の平面推定処理時の方程式(計算式)を格納する。
【0061】
[動作例1]
図19は、この第3の実施の形態にかかる光線カット画像処理例を示す説明図である。この図19における(A)は投影画像、(B)は光線カット画像、(C)は加工した投影画像、(D)は撮影した画像、それぞれについて示している。この光線カット画像処理例を下記フローチャートに示す。
【0062】
図20は、この第3の実施の形態にかかる動作例1を示すフローチャートである。本動作例1では、使用前に事前準備処理(図20−1)を行う例を示す。
【0063】
<事前準備処理>
図20−1において、まず、あらかじめ用意されたメッシュ状のデジタル画像データを投影し、カメラ106で撮影する(ステップS101)。この撮影例を図21に示す。この図21において、(A)はスクリーン130を撮影した様子、(B)はカメラ106による撮影画像、(C)はプロジェクタ画像(投影元の画像)についてそれぞれ示している。
【0064】
さらに、ステップS101を実行した後、距離情報算出部111は、それぞれの交点を求め、カメラ画像とプロジェクタ画像の対応付けを行い、測距し(ステップS102)、カメラ106からの向きと距離により、交点の3次元座標を求める(ステップS103)。続いて、平面推定部113は、上記交点の3次元座標から、これらを通る平面の式を求める(ステップS104)。このとき、平面方程式格納部125に平面の式の例:ax+by+cz+d=0を記録しておく。続いて、スクリーン位置を決定し(ステップS105)、プロジェクタ画像の位置とスクリーン130の位置の対応関係を求める(ステップS106)。
【0065】
<運用処理>
次に、上記図20−1の事前準備処理を行った後、図20−2の運用処理を実行する。図20−2において、まず、初期人部領域画像の設定を行う(ステップS111)。この場合、投影対象画像と同じ画素数(縦横)で、投影対象が1、光線カット対象が0の二値画像とする。初期値は全画素が1とする。
【0066】
続いて、画像加工部112は、光線カット画像に従い、投影対象画像を加工し(ステップS112)、投影(画像出力)を行う(ステップS113)。つぎに、あらかじめ定義された枚数の画像の規定回数繰り返したか否かを判断する(ステップS114)。ここであらかじめ定義された枚数の画像を加工したら(ステップS114、Yes)、ステップS114以降の処理を実行する。この枚数は人物検知(光線カット)のサンプリング間隔に相当し、枚数を減らせば頻繁に人物検知を行うことになる。
【0067】
ステップS114以降の処理から人物検知を以下のように実施する。まず、カメラ106などの測距手段でスクリーン130や人物表面までの距離を求め(ステップS115)、3次元座標を算出する(ステップS116)。さらにあらかじめ求めておいた、スクリーン平面の式と比較し、各点と平面までの距離を求める(ステップS117)。
【0068】
距離の式:空間上の点(x0,y0,z0)から、平面ax+by+cz+d=0までの距離は、
|ax0+by0+cz0+d|/√(a2+b2+c2
であり、平面までの距離が遠い(スクリーン130内であればプロジェクタ100までの距離が近い)点の集合を求める。
【0069】
続いて、光線カット画像生成部119は、距離が遠い領域の点集合を囲む図形を求め、求めておいた対応点を元にプロジェクタ画像上の位置を求め、光線カット領域の原型とする。これを人物領域(図23参照)とする(ステップS118)。さらに、プロジェクタ100の投影口103aと測距口の位置関係から、測距口がある側の領域を広げ(ステップS119)、そうでない側を狭める(ステップS120)。この処理例を図16,図17,図23に示す。
【0070】
図22にスクリーン平面画像例、図23に人物領域の例について示す。図22で×印がスクリーン平面上の点、△印がスクリーン平面より後ろの点、ひし形がスクリーン平面より前の点についてそれぞれ示している。また、図23において×印がスクリーン平面上の点、△印がスクリーン平面より後ろの点、ひし形がスクリーン平面より前の点、実線が人物領域の外郭を結んだ点(人物領域)、破線が広げ・狭めを行った人物領域、一点鎖線がデフォルトのdilationを行った領域、二点鎖線が動き方向による補正がされた人物位置についてそれぞれ示している。
【0071】
続いて、デフォルトの領域調整をおこなう(ステップS121)。前述の実施の形態におけるdiltaion,erosionなどを行うのであれば、ここで行う(図23参照)。ここで人物領域の保存を実施(この処理を[1]とする)する。つぎに、直前の人物位置[1]と現在の[1]との比較を行って差分抽出して(ステップS122)、重心の動きを求め、重心方向に領域をシフトする(ステップS123)。動きが速ければより人物領域を広く取ると、誤って人物に投影光があたってしまうことを防ぎやすい。人物領域(光線カット)の更新を行う(ステップS124)。具体的には光線カット画像を更新する(図19参照)。その後、ステップS112の処理に戻って以降の処理を繰り返し実行する。
【0072】
[動作例2]
図24は、この第3の実施の形態にかかる動作例2を示すフローチャートである。ここでは、前述の事前準備処理が不要な例を示す。以下、図20−2と重複する処理を含め、説明する。
【0073】
<運用処理>
図24において、図20−2と同様に、まず、初期投影領域の設定を行う(ステップS131)。この場合、投影対象画像と同じ画素数(縦横)で、投影対象が1、光線カット対象が0の二値画像とする。初期値は全画素が1とする。
【0074】
続いて、画像加工部112は、光線カット画像に従い、投影対象画像を加工し(ステップS132)、投影(画像出力)を行う(ステップS133)。つぎに、あらかじめ定義された枚数の画像の規定回数繰り返したか否かを判断する(ステップS134)。ここであらかじめ定義された枚数の画像を加工したら(ステップS134、Yes)、ステップS135の処理を実行する。この枚数は人物検知(光線カット)のサンプリング間隔に相当し、枚数を減らせば頻繁に人物検知を行うことになる。
【0075】
ステップS135の処理からから人物検知を以下のように実施する。まず、カメラ106などの測距手段でスクリーン130や人物表面までの距離を求め(ステップS135)、3次元座標を算出する(ステップS136)。続いて、平面推定部113は、撮影画像の平面推定を行い(ステップS137)、平面から外れた点は除外する。そして、平面を構成する点の外郭を結び、これを投影領域(図23参照)とする(ステップS138)。
【0076】
続いて、プロジェクタ100の投影口103aと測距口の位置関係から、測距口がある側の領域を広げ(ステップS139)、そうでない側を狭める(ステップS140)。この処理例を図16,図17,図23に示す。
【0077】
続いて、デフォルトの領域調整をおこなう(ステップS141)。前述の実施の形態におけるdilation,erosionなどを行うのであれば、ここで行う(図23参照)。ここで人物領域の保存を実施(この処理を[1]とする)する。つぎに、直前の人物位置[1]と現在の[1]との比較を行って差分抽出する(ステップS142)。非投影位置は、投影対象でない位置のうち、スクリーン130よりも前面にある領域に相当する。この重心の動きを求め、重心方向に領域をシフトする(ステップS143)。さらに投影領域(光線投影位置)の更新を行う(ステップS144)。具体的には光線カット画像を更新する。(図19参照)。その後、ステップS132の処理に戻って以降の処理を繰り返し実行する。
【0078】
なお、本実施形態の投影型表示システムの障害物検出部3および投影調整部4の機能を実現させる各部の制御プログラムは、障害物検出部3および投影調整部4のそれぞれに備わるNV−RAMやROMやその他の不揮発性記憶媒体に予め組み込まれて提供される以外に、インストール可能な形式または実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録し提供することも可能である。
【0079】
または、上記制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供または配布するように構成してもよい。
【0080】
以上、発明を実施するための諸実施の形態について説明を行ったが、本発明は、上述した実施の形態に限定されるものではない。本発明の主旨を損なわない範囲で変更することが可能である。
【符号の説明】
【0081】
1 映像光投影部
2 測距部
3 障害物検出部
4 投影調整部
100 プロジェクタ
105 投影光制御部
106 カメラ
107 CPU
108 ROM
109 RAM
110 投影画像取得部
111 距離情報算出部
112 画像加工部
113 平面推定部
114 人物位置推定部
115 投影光調整部
116 人物動き検知部
117 位置調整部
118 人物領域調整部
119 光線カット画像生成部
130 スクリーン
【先行技術文献】
【特許文献】
【0082】
【特許文献1】特許第3630015号公報
【特許文献2】特許第4366631号公報

【特許請求の範囲】
【請求項1】
スクリーンに映像光を投影する映像光投影手段と、
前記スクリーンまでの距離を測定する測距手段と、
前記測距手段によって得られた距離情報に基づき、前記スクリーンと映像光投影手段との間の障害物を検知し、該検知の結果に応じて投影する映像光の調整領域を決定する障害物検知手段と、
前記調整領域の映像光を調整する投影調整手段と、
を有することを特徴とする投影型表示装置。
【請求項2】
前記投影調整手段は、前記映像光の調整領域における映像光の輝度を黒レベルとすることを特徴とする請求項1に記載の投影型表示装置。
【請求項3】
複数の画像から複数点の距離情報を算出する距離情報算出手段と、
前記距離情報算出手段で算出された前記距離情報から投影面に相当する平面を近似的に推定する平面推定手段と、
前記平面推定手段で推定された平面と前記距離情報算出手段で算出された距離情報を元に人物の位置を推定する人物位置推定手段と、
前記人物位置推定手段で推定された人物の位置の投影光を調整する投影光調整手段と、
を備えることを特徴とする請求項1に記載の投影型表示装置。
【請求項4】
前記投影光調整手段は、
測距装置と投影装置の位置関係に応じて、その位置を調整する位置調整手段を備えることを特徴とする請求項3に記載の投影型表示装置。
【請求項5】
前記投影光調整手段は、
人物の動きを検知する人物動き検知手段と、
前記人物動き検知手段で検知された人物の動きに応じて投影光を調整する投影光調整手段と、
をさらに備えることを特徴とする請求項4に記載の投影型表示装置。
【請求項6】
さらに、前記人物の動きが速い場合は、より広く、遅い場合はより狭く、人物領域を調整する人物領域調整手段を備えることを特徴とする請求項5に記載の投影型表示装置。
【請求項7】
投影型表示装置からスクリーンまでの距離情報に基づき障害物を検知し、該検知の結果に応じて前記投影型表示装置が投影する映像光の調整領域を決定する障害物検知手段と、
前記調整領域の映像光を調整し、前記投影型表示装置に調整済みの映像光を投影させる投影調整手段と、
を有することを特徴とする情報処理装置。
【請求項8】
投影型表示装置からスクリーンまでの測距情報に基づき障害物を検知し、該検知の結果に応じて投影する映像光の調整領域を決定し、決定した調整領域の情報を、該調整領域の映像光を調整する投影調整手段を有する前記投影型表示装置に提供する障害物検出手段を備えることを特徴とする情報処理装置。
【請求項9】
スクリーンに映像光を投影する映像光投影手段および前記スクリーンまでの距離を測定する測距手段を有する投影型表示装置と、
前記測距手段によって得られた距離情報に基づき、前記スクリーンと映像光投影手段の間の障害物を検知し、該検知の結果に応じて投影する映像光の調整領域を決定する障害物検知手段および前記調整領域の映像光を調整する投影調整手段を有する情報処理装置と、
をネットワーク手段で接続したことを特徴とする投影型表示システム。
【請求項10】
スクリーンに映像光を投影する映像光投影手段、前記スクリーンまでの距離を測定する測距手段、および調整領域とされた領域の映像光を調整する投影調整手段を有する投影型表示装置と、
前記測距手段によって得られた距離情報に基づき、前記スクリーンと映像光投影手段の間の障害物を検知し、該検知の結果に応じて前記調整領域を決定する障害物検知手段を有する情報処理装置と、
をネットワーク手段で接続したことを特徴とする投影型表示システム。
【請求項11】
投影型表示装置からスクリーンまでの距離情報に基づき障害物を検知し、該検知の結果に応じて前記投影型表示装置が投影する映像光の調整領域を決定する障害物検知ステップと、
前記調整領域の映像光を調整し、前記投影型表示装置に調整済みの映像光を投影させる投影調整ステップと、
をコンピュータに実行させるためのプログラム。
【請求項12】
投影型表示装置からスクリーンまでの測距情報に基づき障害物を検知し、該検知の結果に応じて投影する映像光の調整領域を決定し、決定した調整領域の情報を、該調整領域の映像光を調整する投影調整手段を有する前記投影型表示装置に提供する障害物検出ステップをコンピュータに実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20−1】
image rotate

【図20−2】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate


【公開番号】特開2013−33206(P2013−33206A)
【公開日】平成25年2月14日(2013.2.14)
【国際特許分類】
【出願番号】特願2012−60764(P2012−60764)
【出願日】平成24年3月16日(2012.3.16)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】