投影画像領域検出装置
【課題】投影装置と、投影対象物と、撮影装置との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像が映された投影画像領域を検出することができる投影画像領域検出装置を提供すること。
【解決手段】模様の配色が時間経過とともに変化するマーカをマーカ画像３０として生成し、生成したマーカ画像３０を投影画像の４隅に付加し、マーカ画像が付加された投影画像を投影させるよう、この投影画像を投影装置に供給し、撮影画像のなかで模様の配色が時間経過とともに変化し続ける領域をマーカ画像領域として検出することにより、投影画像領域を撮影画像から検出する。
【解決手段】模様の配色が時間経過とともに変化するマーカをマーカ画像３０として生成し、生成したマーカ画像３０を投影画像の４隅に付加し、マーカ画像が付加された投影画像を投影させるよう、この投影画像を投影装置に供給し、撮影画像のなかで模様の配色が時間経過とともに変化し続ける領域をマーカ画像領域として検出することにより、投影画像領域を撮影画像から検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影画像領域検出装置に関し、特に、投影装置によって投影対象物に投影された画像を撮影装置で撮影し、撮影画像から投影画像が映された領域を検出する投影画像領域検出装置に関する。
【背景技術】
【０００２】
従来、投影画像の４隅を特定するためのマーカ画像を投影画像に付加した画像を投影装置でホワイトボード等の投影対象物に投影し、この投影画像を撮影装置で撮影した撮影画像からマーカ画像が映された領域を検出することにより、撮影画像の射影歪みを補正して遠隔地にある表示装置に表示させたり、投影対象物上でポインティングされた座標を実画像上の座標に変換して記録したりするものが既に知られている。
【０００３】
例えば、投影された画像上でポインティングされた座標を実画像上の座標に変換して記録するものとして、図１８に示すように、投影画像上の４隅のマーカ画像９０ａ〜９０ｄに加えて、補助のマーカ画像９０ｅを投影装置に投影させることにより、マーカ画像９０ａ〜９０ｄの誤検出を防止し、座標の変換精度を向上させるものがある（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような従来の技術は、投影装置と、投影対象物と、撮影装置との設置が完了した状態で、撮影画像から投影画像が映された投影画像領域を検出した後に、震動等の影響により、投影装置と、投影対象物と、撮影装置との位置関係が相対的にずれてしまった場合には、ユーザの操作に応じて、投影画像領域を再度検出し直すまで、投影画像領域を誤認識した状態になってしまうといった課題があった。
【０００５】
本発明は、このような従来の課題を解決するためになされたもので、投影装置と、投影対象物と、撮影装置との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像が映された投影画像領域を検出することができる投影画像領域検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の投影画像領域検出装置は、投影画像を含む領域が撮影された撮影画像のなかで前記投影画像が映された領域の４隅を特定するためのマーカ画像領域を検出する投影画像領域検出部を備えた投影画像領域検出装置において、前記投影画像領域検出部は、配色が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出する構成を有している。
【０００７】
この構成により、本発明の投影画像領域検出装置は、撮影画像のなかで配色が時間経過とともに変化し続ける領域をマーカ画像領域として検出するため、投影装置と、投影対象物と、撮影装置との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像領域を検出することができる。
【０００８】
なお、本発明の投影画像領域検出装置は、特定領域の配色が時間経過とともに変化するマーカをマーカ画像としてマーカ画像生成部と、前記マーカ画像生成部によって生成されたマーカ画像を前記投影画像に付加するマーカ画像付加部と、前記マーカ画像が付加された投影画像を投影装置に供給する画像供給部と、を備えるようにしてもよい。
【０００９】
また、前記マーカ画像生成部は、前記撮影画像のなかで識別できる程度に模様が単純で、周期性がないマーカを前記マーカ画像として生成するようにしてもよい。
【００１０】
この構成により、本発明の投影画像領域検出装置は、投影画像領域検出部において、模様の周期と撮影画像に映されたマーカ画像のずれ量とが一致したときに、ずれが生じていないものと誤認識されることを防止することができる。
【００１１】
また、前記マーカ画像生成部は、前記特定領域の予め定められた色成分が時間経過とともに変化するマーカを前記マーカ画像として生成し、前記投影画像領域検出部は、前記撮影画像のなかで該色成分が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出するようにしてもよい。
【００１２】
この構成により、本発明の投影画像領域検出装置は、マーカ画像の予め定められた領域の予め定められた色成分を時間経過とともに変化させるため、ユーザに対して模様の配色の変化に違和感を与えないマーカ画像を投影画像に付加することができる。
【００１３】
また、前記投影画像領域検出部は、前記撮影画像の差分画像から前記マーカ画像領域を検出するようにしてもよい。
【００１４】
この構成により、本発明の投影画像領域検出装置は、撮影装置によって撮影された撮影画像の差分画像を用いることにより、模様の配色が時間経過とともに変化するマーカ画像を検出することができる。
【００１５】
また、本発明の投影画像領域検出装置は、前記投影画像領域検出部によって検出されたマーカ画像領域に基づいて、前記投影画像の画像領域を検出し、検出した投影画像の画像領域の射影歪みを補正する画像補正部を備えるようにしてもよい。
【００１６】
この構成により、本発明の投影画像領域検出装置は、射影歪みが補正された撮影画像を得ることができる。
【００１７】
また、前記投影画像領域検出部は、前記マーカ画像領域の最も外側の角を検出することにより前記マーカ画像領域を検出する初期検出モードと、前記画像補正部によって補正された画像間の差分画像のなかで予め定められたテンプレート画像とテンプレートマッチングを行うことにより前記マーカ画像領域を検出する動的検出モードと、の２つのモードをとるようにしてもよい。
【００１８】
この構成により、本発明の投影画像領域検出装置は、撮影画像間の差分画像のなかで予め定められたテンプレート画像とテンプレートマッチングを行うため、より正確なマーカ画像領域を検出することができる。
【００１９】
また、前記投影画像領域検出部は、前記初期検出モードにおいて、前記撮影画像の各角の二等分線を副走査方向として斜めに走査していくことにより前記マーカ画像領域を検出するようにしてもよい。
【００２０】
また、前記投影画像領域検出部は、前記動的検出モードにおいて、検出済みのマーカ画像領域の周囲に対して前記テンプレートマッチングを行うようにしてもよい。
【００２１】
この構成により、本発明の投影画像領域検出装置は、動的検出モードにおいて、テンプレートマッチングの実行時間を短縮することができる。
【００２２】
また、前記投影画像領域検出部は、前記初期検出モードで検出したマーカ画像領域に基づいて、前記テンプレート画像の大きさを決定するようにしてもよい。
【００２３】
この構成により、本発明の投影画像領域検出装置は、動的検出モードにおいて、最適なサイズのテンプレート画像を用いたテンプレートマッチングを行うことができる。
【００２４】
また、前記マーカ画像生成部は、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像より小さくなるよう前記マーカ画像を生成するようにしてもよい。
【００２５】
この構成により、本発明の投影画像領域検出装置は、動的検出モードにおけるマーカ画像を初期検出モードにおけるマーカ画像より目立たなくするため、投影画像の視認性を向上させることがきる。
【００２６】
また、前記マーカ画像生成部は、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像よりコントラストが低くなるよう前記マーカ画像を生成するようにしてもよい。
【００２７】
この構成により、本発明の投影画像領域検出装置は、動的検出モードにおけるマーカ画像を初期検出モードにおけるマーカ画像より目立たなくするため、投影画像の視認性を向上させることがきる。
【００２８】
また、前記マーカ画像生成部は、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像より色の変化量が少なくなるよう前記マーカ画像を生成する前記マーカ画像を生成するようにしてもよい。
【００２９】
この構成により、本発明の投影画像領域検出装置は、動的検出モードにおけるマーカ画像を初期検出モードにおけるマーカ画像より目立たなくするため、投影画像の視認性を向上させることがきる。
【００３０】
また、本発明の投影画像領域検出装置は、外部装置から供給された投影画像を投影対象物に投影する投影部と、前記投影対象物に投影された画像を含む領域を撮影する撮影部と、前記投影装置に投影させる投影画像の４隅を特定するためのマーカ画像が映されたマーカ画像領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された投影画像領域を前記撮影画像から検出する投影画像領域検出部と、を備えた投影画像領域検出装置において、特定領域の配色が時間経過とともに変化するマーカを前記マーカ画像として生成するマーカ画像生成部と、前記マーカ画像生成部によって生成されたマーカ画像を前記投影画像に付加するマーカ画像付加部と、を備え、前記投影部は、前記マーカ画像が付加された投影画像を投影し、前記投影画像領域検出部は、前記撮影画像のなかで配色が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出することにより、前記投影画像領域を前記撮影画像から検出する構成を有している。
【００３１】
この構成により、本発明の投影画像領域検出装置は、特定領域の配色が時間経過とともに変化するマーカ画像を投影部に投影させることにより、撮影画像のなかで配色が時間経過とともに変化し続ける領域をマーカ画像領域として検出するため、投影画像領域検出装置と、投影対象物との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像領域を検出することができる。
【００３２】
また、本発明の投影画像領域検出システムは、投影対象物に画像を投影する投影装置と、前記投影対象物に投影された画像を含む領域を撮影する撮影装置と、前記投影装置に投影させる投影画像の４隅を特定するためのマーカ画像が映されたマーカ画像領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された投影画像領域を前記撮影画像から検出する投影画像領域検出部を有する投影画像領域検出装置と、を備えた投影画像領域検出システムにおいて、前記投影画像領域検出装置は、特定領域の配色が時間経過とともに変化するマーカを前記マーカ画像として生成するマーカ画像生成部と、前記マーカ画像生成部によって生成されたマーカ画像を前記投影画像に付加するマーカ画像付加部と、前記マーカ画像が付加された投影画像を投影させるよう該投影画像を前記投影装置に供給する画像供給部と、を有し、前記投影画像領域検出部は、前記撮影画像のなかで配色が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出することにより、前記投影画像領域を前記撮影画像から検出する構成を有している。
【００３３】
この構成により、本発明の投影画像領域検出システムは、特定領域の配色が時間経過とともに変化するマーカ画像を投影装置に投影させることにより、撮影画像のなかで配色が時間経過とともに変化し続ける領域をマーカ画像領域として検出するため、投影装置と、投影対象物と、撮影装置との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像領域を検出することができる。
【００３４】
また、本発明の投影画像領域検出方法は、投影画像を含む領域が撮影された撮影画像のなかで前記投影画像が映された領域の４隅を特定するためのマーカ画像領域を検出する投影画像領域検出装置を用いた投影画像領域検出方法において、配色が時間経過とともに変化し続ける領域を前記投影画像領域検出装置が前記マーカ画像領域として検出する投影画像領域検出ステップを有する。
【００３５】
したがって、本発明の投影画像領域検出方法は、撮影画像のなかで配色が時間経過とともに変化し続ける領域をマーカ画像領域として検出するため、投影装置と、投影対象物と、撮影装置との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像領域を検出することができる。
【００３６】
また、本発明の投影画像領域検出方法は、特定領域の配色が時間経過とともに変化するマーカを前記投影画像領域検出装置がマーカ画像としてマーカ画像生成ステップと、前記マーカ画像生成ステップで生成されたマーカ画像を前記投影画像領域検出装置が前記投影画像に付加するマーカ画像付加ステップと、前記マーカ画像が付加された投影画像を前記投影画像領域検出装置が投影装置に供給する画像供給ステップと、を有してもよい。
【００３７】
また、前記マーカ画像生成ステップでは、前記撮影画像のなかで識別できる程度に模様が単純で、周期性がないマーカを前記投影画像領域検出装置が前記マーカ画像として生成するようにしてもよい。
【００３８】
したがって、本発明の投影画像領域検出方法は、投影画像領域検出ステップにおいて、模様の周期と撮影画像に映されたマーカ画像のずれ量とが一致したときに、ずれが生じていないものと誤認識されることを防止することができる。
【００３９】
また、前記マーカ画像生成ステップでは、前記特定領域の予め定められた色成分が時間経過とともに変化するマーカを前記投影画像領域検出装置が前記マーカ画像として生成し、前記投影画像領域検出ステップでは、前記撮影画像のなかで該色成分が時間経過とともに変化し続ける領域を前記投影画像領域検出装置が前記マーカ画像領域として検出するようにしてもよい。
【００４０】
したがって、本発明の投影画像領域検出方法は、マーカ画像の予め定められた領域の予め定められた色成分を時間経過とともに変化させるため、ユーザに対して模様の配色の変化に違和感を与えないマーカ画像を投影画像に付加することができる。
【００４１】
また、前記投影画像領域検出ステップでは、前記撮影画像の差分画像から前記投影画像領域検出装置が前記マーカ画像領域を検出するようにしてもよい。
【００４２】
したがって、本発明の投影画像領域検出方法は、撮影装置によって撮影された撮影画像の差分画像を用いることにより、模様の配色が時間経過とともに変化するマーカ画像を検出することができる。
【００４３】
また、本発明の投影画像領域検出方法は、前記投影画像領域検出ステップで検出されたマーカ画像領域に基づいて、前記投影画像領域検出装置が、前記投影画像の画像領域を検出し、検出した投影画像の画像領域の射影歪みを補正する画像補正ステップを有するようにしてもよい。
【００４４】
したがって、本発明の投影画像領域検出方法は、射影歪みが補正された撮影画像を得ることができる。
【００４５】
また、前記投影画像領域検出ステップでは、前記マーカ画像領域の最も外側の角を検出することにより、前記投影画像領域検出装置が前記マーカ画像領域を検出する初期検出ステップと、前記画像補正部によって補正された画像間の差分画像のなかで予め定められたテンプレート画像とテンプレートマッチングを行うことにより、前記投影画像領域検出装置が前記マーカ画像領域を検出する動的検出ステップと、を含むようにしてもよい。
【００４６】
したがって、本発明の投影画像領域検出方法は、撮影画像間の差分画像のなかで予め定められたテンプレート画像とテンプレートマッチングを行うため、より正確なマーカ画像領域を検出することができる。
【００４７】
また、前記初期検出ステップでは、前記撮影画像の各角の二等分線を副走査方向として斜めに走査していくことにより、前記投影画像領域検出装置が前記マーカ画像領域を検出するようにしてもよい。
【００４８】
前記動的検出ステップでは、前記投影画像領域検出装置が、検出済みのマーカ画像領域の周囲に対して前記テンプレートマッチングを行うようにしてもよい。
【００４９】
したがって、本発明の投影画像領域検出方法は、動的検出モードにおいて、テンプレートマッチングの実行時間を短縮することができる。
【００５０】
また、前記動的検出ステップでは、前記初期検出ステップで検出されたマーカ画像領域に基づいて、前記投影画像領域検出装置が、前記テンプレート画像の大きさを決定するようにしてもよい。
【００５１】
したがって、本発明の投影画像領域検出方法は、動的検出モードにおいて、最適なサイズのテンプレート画像を用いたテンプレートマッチングを行うことができる。
【００５２】
また、前記マーカ画像生成ステップでは、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像より小さくなるよう前記投影画像領域検出装置が前記マーカ画像を生成するようにしてもよい。
【００５３】
したがって、本発明の投影画像領域検出方法は、動的検出モードにおけるマーカ画像を初期検出モードにおけるマーカ画像より目立たなくするため、投影画像の視認性を向上させることがきる。
【００５４】
また、前記マーカ画像生成ステップでは、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像よりコントラストが低くなるよう前記投影画像領域検出装置が前記マーカ画像を生成するようにしてもよい。
【００５５】
したがって、本発明の投影画像領域検出方法は、動的検出モードにおけるマーカ画像を初期検出モードにおけるマーカ画像より目立たなくするため、投影画像の視認性を向上させることがきる。
【００５６】
また、前記マーカ画像生成ステップでは、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像より色の変化量が少なくなるよう前記投影画像領域検出装置が前記マーカ画像を生成するようにしてもよい。
【００５７】
したがって、本発明の投影画像領域検出方法は、動的検出モードにおけるマーカ画像を初期検出モードにおけるマーカ画像より目立たなくするため、投影画像の視認性を向上させることがきる。
【００５８】
また、本発明の投影画像領域検出プログラムは、投影画像を含む領域が撮影された撮影画像のなかで前記投影画像が映された領域の４隅を特定するためのマーカ画像領域を検出する投影画像領域検出装置に実行させるための投影画像領域検出プログラムにおいて、配色が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出させる投影画像領域検出ステップを有する。
【００５９】
したがって、本発明の投影画像領域検出プログラムは、撮影画像のなかで配色が時間経過とともに変化し続ける領域をマーカ画像領域として検出させるため、投影装置と、投影対象物と、撮影装置との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像領域を検出させることができる。
【発明の効果】
【００６０】
本発明は、投影装置と、投影対象物と、撮影装置との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像が映された投影画像領域を検出することができる投影画像領域検出装置を提供することができる。
【図面の簡単な説明】
【００６１】
【図１】本発明の第１の実施の形態としての投影画像領域検出システムの実装図である。
【図２】本発明の第１の実施の形態としての投影画像領域検出システムを構成する投影画像領域検出装置のハードウェア構成図である。
【図３】本発明の第１の実施の形態としての投影画像領域検出システムを構成する投影画像領域検出装置の機能ブロック図である。
【図４】本発明の第１の実施の形態に係る投影画像領域検出装置のマーカ画像生成部によって生成されるマーカ画像の例を示す概念図である。
【図５】本発明の第１の実施の形態に係る投影画像領域検出装置のマーカ画像生成部によって生成されるマーカ画像の他の例を示す概念図である。
【図６】本発明の第１の実施の形態に係る投影画像領域検出装置のマーカ画像部によってマーカ画像が付加された投影画像の例を示す概念図である。
【図７】本発明の第１の実施の形態に係る投影画像領域検出装置のマーカ画像生成部によって生成されるマーカ画像の他の例を示す概念図であり、（ａ）は、三角形のマーカ画像、（ｂ）は、歪んだ三角形のマーカ画像を示している。
【図８】本発明の第１の実施の形態に係る投影画像領域検出装置の投影画像領域検出部によって差分画像を生成する際に参照される関数の一例を示すグラフである。
【図９】本発明の第１の実施の形態に係る投影画像領域検出装置の投影画像領域検出部によって撮影画像からマーカ画像が映されたマーカ画像領域を検出する例を示す概念図である。
【図１０】本発明の第１の実施の形態に係る投影画像領域検出装置の投影画像領域検出部によって実行されるテンプレートマッチングに用いられるテンプレート画像の一例を示す概念図である。
【図１１】本発明の第１の実施の形態に係る投影画像領域検出装置の投影画像領域検出部によって実行されるテンプレートマッチングを説明するための概念図である。
【図１２】本発明の第１の実施の形態に係る投影画像領域検出装置の投影画像供給動作を説明するためのフローチャートである。
【図１３】本発明の第１の実施の形態に係る投影画像領域検出装置の初期検出モードにおける補正係数算出動作を説明するためのフローチャートである。
【図１４】本発明の第１の実施の形態に係る投影画像領域検出装置の動的検出モードにおける補正係数算出動作を説明するためのフローチャートである。
【図１５】本発明の第２の実施の形態としての投影画像領域検出システムの実装図である。
【図１６】本発明の第２の実施の形態としての投影画像領域検出システムを構成する投影画像領域検出装置のハードウェア構成図である。
【図１７】本発明の第２の実施の形態としての投影画像領域検出システムを構成する投影画像領域検出装置の機能ブロック図である。
【図１８】従来のプロジェクタシステムによって投影される画像の例を示す概念図である。
【発明を実施するための形態】
【００６２】
以下、本発明の実施の形態について、図面を参照して説明する。
【００６３】
（第１の実施の形態）
図１に示すように、本発明の第１の実施の形態としての投影画像領域検出システム１は、投影対象物としてのホワイトボード２に画像を投影する投影装置３と、ホワイトボード２に投影された画像を含む領域を撮影する撮影装置４と、投影画像が映された投影画像領域を撮影画像から検出する投影画像領域検出装置５とを備えている。
【００６４】
ここで、本実施の形態においては、投影対象物としてホワイトボードを適用した例について説明するが、本発明においては、投影対象物としてスクリーンや紙等を適用してもよい。
【００６５】
投影装置３は、例えば、汎用的なプロジェクタによって構成され、投影画像領域検出装置５から送信された画像を投影するようになっている。ここで、投影装置３は、ホワイトボード２の描画領域に投影範囲が含まれるよう設置される。
【００６６】
撮影装置４は、例えば、汎用的なカメラによって構成され、０．５秒間に１回、または、１秒間に１５回等の予め設定された時間間隔で撮影したホワイトボード２に表示された画像を投影画像領域検出装置５に送信するようになっている。ここで、撮影装置４は、投影装置３の投影領域を撮影できるよう設置される。
【００６７】
投影画像領域検出装置５は、図２に示すように、ＣＰＵ（Central Processing Unit）１０と、ＲＡＭ（Random Access Memory）１１と、ＲＯＭ（Read Only Memory）１２と、ハードディスク装置１３と、キーボードやポインティングデバイス等よりなる入力装置１４と、液晶ディスプレイ等よりなる表示装置１５と、投影装置３および撮影装置４等の外部機器との間で通信を行うためのデバイス通信モジュール１６と、ネットワークを介して接続された外部機器との間で通信を行うためのネットワーク通信モジュール１７とを備えた汎用的なコンピュータ装置によって構成されている。
【００６８】
ＲＯＭ１２およびハードディスク装置１３には、当該コンピュータ装置を投影画像領域検出装置５として機能させるためのプログラムが記憶されている。すなわち、ＣＰＵ１０がＲＡＭ１１を作業領域としてＲＯＭ１２およびハードディスク装置１３に記憶されたプログラムを実行することにより、当該コンピュータ装置は、投影画像領域検出装置５として機能する。
【００６９】
投影画像領域検出装置５は、図３に示すように、投影装置３に投影させる投影画像の４隅を特定するためのマーカ画像を生成するマーカ画像生成部２０と、マーカ画像生成部２０によって生成されたマーカ画像を投影画像に付加するマーカ画像付加部２１と、マーカ画像が付加された投影画像を投影装置３に供給する画像供給部２２と、撮影装置４によって撮影された撮影画像から投影画像が映された投影画像領域を検出する投影画像領域検出部２３と、投影画像領域検出部２３によって検出された投影画像領域に基づいて、撮影画像の射影歪みを補正する画像補正部２４と、画像補正部２４によって補正された撮影画像から投影画像が映された投影画像領域を切り出す投影画像切り出し部２５とを備えている。
【００７０】
ここで、マーカ画像生成部２０、マーカ画像付加部２１、投影画像領域検出部２３、画像補正部２４および投影画像切り出し部２５は、ＣＰＵ１０によって構成され、画像供給部２２は、デバイス通信モジュール１６によって構成される。
【００７１】
また、本実施の形態において、投影画像は、表示装置１５の表示画面を表すものとするが、投影画像領域検出装置５を構成するコンピュータによって実行されるプレゼンテーションソフトウェア等のアプリケーションによって作成された画像であってもよい。また、投影画像は、遠隔地にある他の投影画像領域検出装置５のような外部機器からネットワーク通信モジュール１７を介して受信された画像であってもよい。
【００７２】
マーカ画像生成部２０は、図４に示すように、模様の配色が時間経過とともに変化するマーカをマーカ画像３０として生成するようになっている。なお、図４は、マーカ画像生成部２０によって生成されたマーカ画像３０の予め定められた特定領域３１の配色（Ｒ（赤成分），Ｇ（緑成分），Ｂ（青成分））が時間経過とともに（２５５，０，０）、（２３５，２０，０）、（２１５，４０，０）、（１９５，６０，０）といったように、１フレーム毎にＲ成分が２０ずつ減少し、Ｇ成分が２０ずつ増加していく様子を示している。
【００７３】
ここで、マーカ画像生成部２０は、特定領域３１の何れかの色成分が０未満になるか、２５５を超える場合には、特定領域３１を最初の配色（２５５，０，０）に戻すようになっている。
【００７４】
なお、マーカ画像生成部２０は、撮影画像のなかで識別できる程度に模様が単純で、模様に周期性がないマーカをマーカ画像として生成するようになっている。例えば、図５において、マーカ画像４０、４１は、マーカ画像生成部２０に生成させる画像として好ましい。
【００７５】
一方、マーカ画像４２、４３は、模様に周期性があるため、投影画像領域検出部２３において、模様の周期と撮影画像に映されたマーカ画像のずれ量とが一致したときに、ずれが生じていないものと誤認識される可能性があるため、マーカ画像生成部２０によって生成されるマーカ画像として好ましくない。
【００７６】
図３において、マーカ画像付加部２１は、図６に示すように、投影画像５０の４隅にマーカ画像５１ａ〜５１ｄを付加するようになっている。なお、図６において、各マーカ画像５１ａ〜５１ｄは、図４に示したように矩形をなしているが、本発明におけるマーカ画像は、他の形状をなすものでもよい。
【００７７】
例えば、マーカ画像は、図７（ａ）に示すように、三角形をなすものでもよい。また、マーカ画像は、投影画像の４隅に対応する頂点を有するものであれば、図７（ｂ）に示すように、歪んだ形状をなすものでもよい。ただし、マーカ画像は、投影画像の４隅を識別しやすくするために、投影画像の４隅に対応する頂点を有する三角形および四角形等の多角形ならびに扇形等が好ましい。
【００７８】
また、図６において、各マーカ画像５１ａ〜５１ｄは、投影画像５０の４隅に内接するように付加されているが、マーカ画像付加部２１は、投影画像５０の４隅を特定することができる位置であれば、投影画像５０内の何れの位置に各マーカ画像５１ａ〜５１ｄを付加するようにしてもよい。
【００７９】
また、図６において、各マーカ画像５１ａ〜５１ｄは、同一のマーカを表しているが、マーカ画像生成部２０は、マーカ画像５１ａ〜５１ｄに対して、それぞれ異なるマーカを表す画像を生成するようにしてもよい。
【００８０】
図３において、画像供給部２２は、マーカ画像が付加された投影画像を投影させるよう投影装置３に供給するようになっている。
【００８１】
投影画像領域検出部２３は、マーカ画像が映されたマーカ画像領域を撮影装置４によって撮影された撮影画像から検出することにより、投影画像が映された投影画像領域を撮影画像から検出するようになっている。
【００８２】
マーカ画像領域を検出するときに、投影画像領域検出部２３は、初期検出モードと、動的検出モードとの２つのモードをとるようになっている。ここで、投影画像領域検出部２３は、最初に初期検出モードになり、その後、動的検出モードに遷移するようになっている。
【００８３】
初期検出モードにおいて、投影画像領域検出部２３は、撮影された時刻が異なる２つの撮影画像（例えば、連続して撮影された２フレームの撮影画像）を読み込み、読み込んだ撮影画像間の差分画像を生成するようになっている。
【００８４】
以下、撮影画像が撮影された時刻をｔと表し、画素の座標を（ｘ，ｙ）と表し、時刻ｔに撮影された撮影画像の各画素の各色成分の値をＲ（ｔ，ｘ，ｙ）、Ｇ（ｔ，ｘ，ｙ）、Ｂ（ｔ，ｘ，ｙ）と表す。
【００８５】
また、時刻ｔ１、ｔ２でそれぞれ撮影された撮影画像間の各画素の各色成分の差分値を｜Ｒ（ｔ１，ｘ，ｙ）−Ｒ（ｔ２，ｘ，ｙ）｜、｜Ｇ（ｔ１，ｘ，ｙ）−Ｇ（ｔ２，ｘ，ｙ）｜、｜Ｂ（ｔ１，ｘ，ｙ）−Ｂ（ｔ２，ｘ，ｙ）｜と表す。
【００８６】
投影画像領域検出部２３は、撮影画像間の各画素の各色成分の差分値｜Ｒ（ｔ１，ｘ，ｙ）−Ｒ（ｔ２，ｘ，ｙ）｜、｜Ｇ（ｔ１，ｘ，ｙ）−Ｇ（ｔ２，ｘ，ｙ）｜、｜Ｂ（ｔ１，ｘ，ｙ）−Ｂ（ｔ２，ｘ，ｙ）｜が予め定められた条件を満たす画素の値を有効色（例えば、黒）とし、当該条件を満たさない画素を無効色（例えば、白）とした差分画像を生成するようになっている。
【００８７】
例えば、投影画像領域検出部２３は、特定の色成分（Ｒ、Ｇ、Ｂの何れか、または、これらの組み合わせ。以下、単に「特定色成分」という）の差分値が予め定められた閾値ＴＨより高い画素の値を有効色とし、それ以外の画素を無効色とした差分画像を生成するようになっている。
【００８８】
この場合には、マーカ画像生成部２０は、特定領域の特定色成分がフレーム毎に閾値ＴＨを超えて変化し、特定領域以外の特定色成分がフレーム毎に閾値ＴＨを超えて変化しないマーカをマーカ画像として生成するように構成される。
【００８９】
また、投影画像領域検出部２３は、特定色成分の差分値が予め定められた第１の閾値ＴＨ１より高く、他の色成分（以下、単に「非特定色成分」という。）の差分値が第２の閾値ＴＨ２より低い画素の値を有効色とし、それ以外の画素を無効色とした差分画像を生成するように構成してもよい。
【００９０】
この場合には、マーカ画像生成部２０は、特定領域の特定色成分がフレーム毎に閾値ＴＨ１を超えて変化し、非特定色成分がフレーム毎に閾値ＴＨ２以上変化しない一方、特定領域以外の特定色成分がフレーム毎に閾値ＴＨ１を超えて変化しないか、非特定色成分がフレーム毎に閾値ＴＨ２以上変化するマーカをマーカ画像として生成するように構成される。
【００９１】
また、投影画像領域検出部２３は、第１の特定色成分の差分値が予め定められた閾値ＴＨ３より高い画素の値を第１の有効色（例えば、赤）とし、第２の特定色成分の差分値が予め定められた閾値ＴＨ３より高い画素の値を第２の有効色（例えば、青）とし、それ以外の画素を無効色（例えば、白）とした差分画像を生成するように構成してもよい。
【００９２】
この場合には、マーカ画像生成部２０は、第１の特定領域の第１の特定色成分がフレーム毎に閾値ＴＨ３を超えて変化し、第２の特定領域の第２の特定色成分がフレーム毎に閾値ＴＨ３を超えて変化し、第１および第２の特定領域以外の第１または第２の特定色成分がフレーム毎に閾値ＴＨ３を超えて変化しないマーカをマーカ画像として生成するように構成される。
【００９３】
また、投影画像領域検出部２３は、差分画像を生成する際に、特定色成分の差分値と閾値とを単純に比較する他に、図８に示すように、閾値付近の傾きが滑らかな関数によって得られる値から差分画像を生成するようにしてもよい。
【００９４】
なお、本実施の形態においては、投影画像領域検出部２３は、Ｒ成分の差分値が閾値ＴＨより高い画素の値を有効色である黒とし、それ以外の画素を無効色である白とした差分画像を生成するものとする。
【００９５】
差分画像を生成すると、投影画像領域検出部２３は、黒画素よりなる領域の外接矩形を抽出し、抽出した外接矩形のなかで、面積が予め定められた上限値以上のものと、予め定められた下限値以下のものを差分画像から除外するようになっている。ここで、上限値および下限値は、投影画像に対するマーカ画像の面積の比率と、撮影画像の面積とに基づいて概ね算出されるマーカ画像領域の面積に応じて予め定められているものとする。
【００９６】
外接矩形の除外が完了すると、投影画像領域検出部２３は、マーカ画像の角や線を検出することによって、投影画像領域を検出するようになっている。例えば、図９に示すように、差分画像の各角の二等分線５２を副走査方向として斜めに走査していくことにより各マーカ画像５３が映されたマーカ画像領域を検出し、検出したマーカ画像領域に基づいて投影画像領域を検出するようになっている。
【００９７】
また、初期検出モードにおいて、投影画像領域検出部２３は、Ｈａｒｒｉｓのオペレーターを用いた角検出やエッジを用いた多角形検出を用いて、各マーカ画像５３が映されたマーカ画像領域の角を検出し、検出したマーカ画像領域の角に基づいて投影画像領域を検出するようにしてもよい。
【００９８】
図３にもどり、動的検出モードにおいて、投影画像領域検出部２３は、撮影された時刻が異なる２つの撮影画像を読み込み、読み込んだ撮影画像の射影歪みが画像補正部２４によって補正された補正画像間の差分画像を初期検出モードと同様に生成するようになっている。
【００９９】
なお、本実施の形態においては、投影画像領域検出部２３は、動的検出モードにおいても、Ｒ成分の差分値が閾値ＴＨより高い画素の値を有効色である黒とし、それ以外の画素を無効色である白とした差分画像を生成するものとする。
【０１００】
差分画像を生成すると、投影画像領域検出部２３は、差分画像のなかで予め定められたテンプレート画像とテンプレートマッチングを行うようになっている。例えば、テンプレート画像は、図１０に示すように、各マーカ画像に対して、特定領域５４が有効色（例えば、黒）に配色され、それ以外の領域５５が無効色（例えば、白）に配色されている。
【０１０１】
なお、投影画像領域検出部２３は、テンプレートマッチングを行う前に、初期検出モードで検出したマーカ画像領域とテンプレート画像とのサイズが同一になるよう、テンプレート画像を拡縮しておくようになっている。
【０１０２】
また、投影画像領域検出部２３は、各マーカ画像領域に対して、例えば、図１１に示すように、初期検出モードにおいて検出されたマーカ画像領域または動的検出モードにおいて前回に検出されたマーカ画像領域（以下、「検出済マーカ画像領域」という）の位置５６から徐々にテンプレート画像を移動させていきながらテンプレートマッチングを行っていき、予め定められた移動量を移動した後、すなわち、予め定められた領域を探索した後に、最も相関値が高かったテンプレート画像の領域をマーカ画像領域として検出するようになっている。
【０１０３】
図３において、画像補正部２４は、投影画像領域検出部２３によって検出された投影画像領域を長方形にするための射影歪み補正の係数を算出し、算出した係数を用いて撮影画像の射影歪み補正を行うようになっている。これにより、マーカ画像の射影歪みも補正されるため、投影画像領域検出部２３によるテンプレートマッチングの精度も向上する。
【０１０４】
投影画像切り出し部２５は、画像補正部２４によって補正された撮影画像から投影画像領域を切り出すようになっている。本実施の形態において、投影画像領域検出装置５は、投影画像切り出し部２５によって切り出された画像を遠隔地に設けられた表示装置６（図１参照）にネットワーク通信モジュール１７を介して送信し、表示装置６に表示させるものとする。
【０１０５】
ここで、投影画像領域検出装置５は、投影画像切り出し部２５によって切り出された画像を遠隔地にある他の投影画像領域検出装置５のような外部機器にネットワーク通信モジュール１７を介して送信するようにしてもよい。
【０１０６】
また、投影画像領域検出装置５は、投影画像切り出し部２５によって切り出された画像を外部の記録装置にネットワーク通信モジュール１７を介して送信し、当該記録装置に表示させるようにしてもよく、ハードディスク装置１３に記録するようにしてもよい。
【０１０７】
このように構成された投影画像領域検出装置５について、図１２乃至図１４を用いてその動作を説明する。
【０１０８】
図１２は、投影画像領域検出装置５の投影画像供給動作を説明するためのフローチャートである。なお、以下に説明する投影画像供給動作は、入力装置１４等による入力操作に応じて実行される。
【０１０９】
まず、フレーム毎に模様の配色を変化させたマーカを表すマーカ画像がマーカ画像生成部２０によって生成される（ステップＳ１）。次いで、表示装置１５の表示画面を表す投影画像の４隅にマーカ画像生成部２０によって生成されたマーカ画像がマーカ画像付加部２１によって付加され（ステップＳ２）、マーカ画像が付加された投影画像が画像供給部２２によって投影装置３に供給される（ステップＳ３）。
【０１１０】
ここで、入力装置１４等による入力操作によって投影画像供給動作の終了が指示されている場合には、投影画像供給動作は終了し、投影画像供給動作の終了が指示されていない場合には、投影画像供給動作はステップＳ１に戻る（ステップＳ４）。
【０１１１】
図１３および図１４は、投影画像領域検出装置５の補正係数算出動作を説明するためのフローチャートである。図１３は、初期検出モードにおける投影画像領域検出装置５の補正係数算出動作を説明するためのフローチャートである。
【０１１２】
まず、マーカ画像生成部２０によって生成されるマーカ画像の配色の変化が一巡するまでに、撮影装置４によって撮影された２つの撮影画像が投影画像領域検出部２３によって読み込まれる（ステップＳ１１）。
【０１１３】
次いで、読み込まれた２つの撮影画像の差分画像が投影画像領域検出部２３によって生成され（ステップＳ１２）、有効色である黒画素よりなる領域の外接矩形が差分画像から抽出される（ステップＳ１３）。
【０１１４】
次いで、抽出された外接矩形のなかで、面積が上限値以上のものと、下限値以下のものが投影画像領域検出部２３によって差分画像から除外される（ステップＳ１４）。次いで、差分画像の各角の二等分線を副走査方向として斜めに走査していくことにより各マーカ画像が映されたマーカ画像領域が投影画像領域検出部２３によって検出される（ステップＳ１５）。
【０１１５】
ここで、投影画像領域の４隅に対応するマーカ画像領域が検出されたか否かが投影画像領域検出部２３によって判断される（ステップＳ１６）。ここで、投影画像領域の４隅に対応するマーカ画像領域が検出されなかった場合には、補正係数算出動作は、ステップＳ１に戻る。
【０１１６】
一方、投影画像領域の４隅に対応するマーカ画像領域が検出された場合には、検出されたマーカ画像領域に基づいて投影画像領域検出部２３によって投影画像領域が検出され（ステップＳ１７）、検出された投影画像領域を射影歪み補正するための係数が画像補正部２４によって算出される（ステップＳ１８）。
【０１１７】
図１４は、動的検出モードにおける投影画像領域検出装置５の補正係数算出動作を説明するためのフローチャートである。なお、以下に説明する補正係数算出動作は、予め定められた時間間隔で実行されてもよく、連続して実行されてもよい。
【０１１８】
まず、マーカ画像生成部２０によって生成されるマーカ画像の配色の変化が一巡するまでに、撮影装置４によって撮影された２つの撮影画像が投影画像領域検出部２３によって読み込まれる（ステップＳ２１）。
【０１１９】
次いで、読み込まれた各撮影画像に対して、算出済みの係数を用いた射影歪み補正が画像補正部２４によって行われ（ステップＳ２２）、射影歪みの補正結果として得られた補正画像間の差分画像が生成される（ステップＳ２３）。
【０１２０】
次いで、差分画像のなかで各検出済マーカ画像領域の位置からテンプレートマッチングを行うことにより、各マーカ画像領域が投影画像領域検出部２３によって検出される（ステップＳ２４）。
【０１２１】
ここで、投影画像領域の４隅に対応するマーカ画像領域が検出されたか否かが投影画像領域検出部２３によって判断される（ステップＳ２５）。ここで、投影画像領域の４隅に対応するマーカ画像領域が検出されなかった場合には、補正係数算出動作は、ステップＳ２１に戻る。
【０１２２】
一方、投影画像領域の４隅に対応するマーカ画像領域が検出された場合には、検出されたマーカ画像領域に基づいて投影画像領域検出部２３によって投影画像領域が検出される（ステップＳ２６）。
【０１２３】
ここで、差分画像に対して、ステップＳ２２で行った射影歪み補正の逆変換が行われ（ステップＳ２７）、逆変換された差分画像における投影画像領域を射影歪み補正するための係数が画像補正部２４によって算出される（ステップＳ２８）。
【０１２４】
このように、投影画像領域検出装置５の補正係数算出動作が実行される一方で、撮影装置４によって撮影された撮影画像は、初期検出モードまたは動的検出モードにおいて算出された係数に基づいて、画像補正部２４によって射影歪みが補正され、補正された撮影画像から投影領域が投影画像切り出し部２５によって切り出される。そして、切り出された画像は、遠隔地に設けられた表示装置６にネットワーク通信モジュール１７を介して送信される。
【０１２５】
以上に説明したように、本発明の第１の実施の形態としての投影画像領域検出システム１は、模様の配色が時間経過とともに変化するマーカ画像を投影装置３に投影させることにより、撮影画像のなかで模様の配色が時間経過とともに変化し続ける領域をマーカ画像領域として検出するため、投影装置３と、ホワイトボード２と、撮影装置４との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像領域を検出することができる。
【０１２６】
なお、本実施の形態において、マーカ画像生成部２０は、図４に示すようなマーカ画像３０を生成するものとして説明したが、本発明において、マーカ画像生成部２０は、動的検出モードにおけるマーカ画像が初期検出モードにおけるマーカ画像より小さくなるようマーカ画像を生成するようにしてもよい。
【０１２７】
このように構成することにより、動的検出モードにおけるマーカ画像を初期検出モードにおけるマーカ画像より目立たなくするため、投影画像の視認性を向上させることがきる。
【０１２８】
また、投影画像の視認性を向上させるため、マーカ画像生成部２０は、動的検出モードにおけるマーカ画像が初期検出モードにおけるマーカ画像よりコントラストが低くなるようマーカ画像を生成するようにしてもよい。
【０１２９】
また、投影画像の視認性を向上させるため、マーカ画像生成部２０は、動的検出モードにおけるマーカ画像が初期検出モードにおけるマーカ画像より色の変化量が少なくなるようマーカ画像を生成するようにしてもよい。
【０１３０】
（第２の実施の形態）
図１５に示すように、本発明の第２の実施の形態としての投影画像領域検出装置は、本発明の第１の実施の形態における投影装置３と、撮影装置４と、投影画像領域検出装置５とを一体化した構成を有している。したがって、本実施の形態において、本発明の第１の実施の形態と同一のものには、同一の符号を付して説明を省略する。
【０１３１】
図１６に示すように、投影画像領域検出装置６０は、ＣＰＵ１０と、ＲＡＭ１１と、ＲＯＭ１２と、ハードディスク装置１３と、入力装置１４と、ネットワーク通信モジュール１７と、プロジェクタ７０と、カメラ７１とを備えている。
【０１３２】
ＲＯＭ１２およびハードディスク装置１３には、当該装置を投影画像領域検出装置６０として機能させるためのプログラムが記憶されている。すなわち、ＣＰＵ１０がＲＡＭ１１を作業領域としてＲＯＭ１２およびハードディスク装置１３に記憶されたプログラムを実行することにより、当該装置は、投影画像領域検出装置６０として機能する。
【０１３３】
投影画像領域検出装置６０は、図１７に示すように、マーカ画像生成部２０と、マーカ画像付加部２１と、マーカ画像が付加された投影画像を投影する投影部８０と、ホワイトボード２に投影された画像を含む領域を撮影する撮影部８１と、撮影部８１によって撮影された撮影画像から投影画像が映された領域を検出する投影画像領域検出部２３と、画像補正部２４と、投影画像切り出し部２５とを備えている。
【０１３４】
ここで、マーカ画像生成部２０、マーカ画像付加部２１、投影画像領域検出部２３、画像補正部２４および投影画像切り出し部２５は、ＣＰＵ１０によって構成され、投影部８０は、プロジェクタ７０によって構成され、撮影部８１は、カメラ７１によって構成される。
【０１３５】
本実施の形態において、投影画像は、投影画像領域検出装置６０に接続された画像供給装置６１によって供給される。画像供給装置６１は、例えば、汎用的なコンピュータ装置によって構成される。
【０１３６】
投影画像としては、画像供給装置６１を構成するコンピュータ装置の表示画面を表す画像、当該コンピュータ装置によって実行されるプレゼンテーションソフトウェア等のアプリケーションによって作成された画像、または、当該コンピュータ装置に他の外部機器から受信された画像等がある。
【０１３７】
なお、画像供給装置６１の各動作については、本発明の第１の実施の形態における投影画像領域検出装置５の動作説明に基づいて、容易に想到できるため、その説明を省略する。
【０１３８】
以上に説明したように、本発明の第２の実施の形態としての投影画像領域検出装置６０は、模様の配色が時間経過とともに変化するマーカ画像を投影部８０に投影させることにより、撮影画像のなかで模様の配色が時間経過とともに変化し続ける領域をマーカ画像領域として検出するため、投影画像領域検出装置６０と、ホワイトボード２との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像領域を検出することができる。
【符号の説明】
【０１３９】
１ 投影画像領域検出システム
２ ホワイトボード
３ 投影装置
４ 撮影装置
５、６０ 投影画像領域検出装置
６、１５ 表示装置
１０ ＣＰＵ
１１ ＲＡＭ
１２ ＲＯＭ
１３ ハードディスク装置
１４ 入力装置
１６ デバイス通信モジュール
１７ ネットワーク通信モジュール
２０ マーカ画像生成部
２１ マーカ画像付加部
２２ 画像供給部
２３ 投影画像領域検出部
２４ 画像補正部
２５ 投影画像切り出し部
６１ 画像供給装置
７０ プロジェクタ
７１ カメラ
８０ 投影部
８１ 撮影部
【先行技術文献】
【特許文献】
【０１４０】
【特許文献１】特開２００８−２２５５５３号公報
【技術分野】
【０００１】
本発明は、投影画像領域検出装置に関し、特に、投影装置によって投影対象物に投影された画像を撮影装置で撮影し、撮影画像から投影画像が映された領域を検出する投影画像領域検出装置に関する。
【背景技術】
【０００２】
従来、投影画像の４隅を特定するためのマーカ画像を投影画像に付加した画像を投影装置でホワイトボード等の投影対象物に投影し、この投影画像を撮影装置で撮影した撮影画像からマーカ画像が映された領域を検出することにより、撮影画像の射影歪みを補正して遠隔地にある表示装置に表示させたり、投影対象物上でポインティングされた座標を実画像上の座標に変換して記録したりするものが既に知られている。
【０００３】
例えば、投影された画像上でポインティングされた座標を実画像上の座標に変換して記録するものとして、図１８に示すように、投影画像上の４隅のマーカ画像９０ａ〜９０ｄに加えて、補助のマーカ画像９０ｅを投影装置に投影させることにより、マーカ画像９０ａ〜９０ｄの誤検出を防止し、座標の変換精度を向上させるものがある（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような従来の技術は、投影装置と、投影対象物と、撮影装置との設置が完了した状態で、撮影画像から投影画像が映された投影画像領域を検出した後に、震動等の影響により、投影装置と、投影対象物と、撮影装置との位置関係が相対的にずれてしまった場合には、ユーザの操作に応じて、投影画像領域を再度検出し直すまで、投影画像領域を誤認識した状態になってしまうといった課題があった。
【０００５】
本発明は、このような従来の課題を解決するためになされたもので、投影装置と、投影対象物と、撮影装置との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像が映された投影画像領域を検出することができる投影画像領域検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の投影画像領域検出装置は、投影画像を含む領域が撮影された撮影画像のなかで前記投影画像が映された領域の４隅を特定するためのマーカ画像領域を検出する投影画像領域検出部を備えた投影画像領域検出装置において、前記投影画像領域検出部は、配色が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出する構成を有している。
【０００７】
この構成により、本発明の投影画像領域検出装置は、撮影画像のなかで配色が時間経過とともに変化し続ける領域をマーカ画像領域として検出するため、投影装置と、投影対象物と、撮影装置との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像領域を検出することができる。
【０００８】
なお、本発明の投影画像領域検出装置は、特定領域の配色が時間経過とともに変化するマーカをマーカ画像としてマーカ画像生成部と、前記マーカ画像生成部によって生成されたマーカ画像を前記投影画像に付加するマーカ画像付加部と、前記マーカ画像が付加された投影画像を投影装置に供給する画像供給部と、を備えるようにしてもよい。
【０００９】
また、前記マーカ画像生成部は、前記撮影画像のなかで識別できる程度に模様が単純で、周期性がないマーカを前記マーカ画像として生成するようにしてもよい。
【００１０】
この構成により、本発明の投影画像領域検出装置は、投影画像領域検出部において、模様の周期と撮影画像に映されたマーカ画像のずれ量とが一致したときに、ずれが生じていないものと誤認識されることを防止することができる。
【００１１】
また、前記マーカ画像生成部は、前記特定領域の予め定められた色成分が時間経過とともに変化するマーカを前記マーカ画像として生成し、前記投影画像領域検出部は、前記撮影画像のなかで該色成分が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出するようにしてもよい。
【００１２】
この構成により、本発明の投影画像領域検出装置は、マーカ画像の予め定められた領域の予め定められた色成分を時間経過とともに変化させるため、ユーザに対して模様の配色の変化に違和感を与えないマーカ画像を投影画像に付加することができる。
【００１３】
また、前記投影画像領域検出部は、前記撮影画像の差分画像から前記マーカ画像領域を検出するようにしてもよい。
【００１４】
この構成により、本発明の投影画像領域検出装置は、撮影装置によって撮影された撮影画像の差分画像を用いることにより、模様の配色が時間経過とともに変化するマーカ画像を検出することができる。
【００１５】
また、本発明の投影画像領域検出装置は、前記投影画像領域検出部によって検出されたマーカ画像領域に基づいて、前記投影画像の画像領域を検出し、検出した投影画像の画像領域の射影歪みを補正する画像補正部を備えるようにしてもよい。
【００１６】
この構成により、本発明の投影画像領域検出装置は、射影歪みが補正された撮影画像を得ることができる。
【００１７】
また、前記投影画像領域検出部は、前記マーカ画像領域の最も外側の角を検出することにより前記マーカ画像領域を検出する初期検出モードと、前記画像補正部によって補正された画像間の差分画像のなかで予め定められたテンプレート画像とテンプレートマッチングを行うことにより前記マーカ画像領域を検出する動的検出モードと、の２つのモードをとるようにしてもよい。
【００１８】
この構成により、本発明の投影画像領域検出装置は、撮影画像間の差分画像のなかで予め定められたテンプレート画像とテンプレートマッチングを行うため、より正確なマーカ画像領域を検出することができる。
【００１９】
また、前記投影画像領域検出部は、前記初期検出モードにおいて、前記撮影画像の各角の二等分線を副走査方向として斜めに走査していくことにより前記マーカ画像領域を検出するようにしてもよい。
【００２０】
また、前記投影画像領域検出部は、前記動的検出モードにおいて、検出済みのマーカ画像領域の周囲に対して前記テンプレートマッチングを行うようにしてもよい。
【００２１】
この構成により、本発明の投影画像領域検出装置は、動的検出モードにおいて、テンプレートマッチングの実行時間を短縮することができる。
【００２２】
また、前記投影画像領域検出部は、前記初期検出モードで検出したマーカ画像領域に基づいて、前記テンプレート画像の大きさを決定するようにしてもよい。
【００２３】
この構成により、本発明の投影画像領域検出装置は、動的検出モードにおいて、最適なサイズのテンプレート画像を用いたテンプレートマッチングを行うことができる。
【００２４】
また、前記マーカ画像生成部は、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像より小さくなるよう前記マーカ画像を生成するようにしてもよい。
【００２５】
この構成により、本発明の投影画像領域検出装置は、動的検出モードにおけるマーカ画像を初期検出モードにおけるマーカ画像より目立たなくするため、投影画像の視認性を向上させることがきる。
【００２６】
また、前記マーカ画像生成部は、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像よりコントラストが低くなるよう前記マーカ画像を生成するようにしてもよい。
【００２７】
この構成により、本発明の投影画像領域検出装置は、動的検出モードにおけるマーカ画像を初期検出モードにおけるマーカ画像より目立たなくするため、投影画像の視認性を向上させることがきる。
【００２８】
また、前記マーカ画像生成部は、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像より色の変化量が少なくなるよう前記マーカ画像を生成する前記マーカ画像を生成するようにしてもよい。
【００２９】
この構成により、本発明の投影画像領域検出装置は、動的検出モードにおけるマーカ画像を初期検出モードにおけるマーカ画像より目立たなくするため、投影画像の視認性を向上させることがきる。
【００３０】
また、本発明の投影画像領域検出装置は、外部装置から供給された投影画像を投影対象物に投影する投影部と、前記投影対象物に投影された画像を含む領域を撮影する撮影部と、前記投影装置に投影させる投影画像の４隅を特定するためのマーカ画像が映されたマーカ画像領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された投影画像領域を前記撮影画像から検出する投影画像領域検出部と、を備えた投影画像領域検出装置において、特定領域の配色が時間経過とともに変化するマーカを前記マーカ画像として生成するマーカ画像生成部と、前記マーカ画像生成部によって生成されたマーカ画像を前記投影画像に付加するマーカ画像付加部と、を備え、前記投影部は、前記マーカ画像が付加された投影画像を投影し、前記投影画像領域検出部は、前記撮影画像のなかで配色が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出することにより、前記投影画像領域を前記撮影画像から検出する構成を有している。
【００３１】
この構成により、本発明の投影画像領域検出装置は、特定領域の配色が時間経過とともに変化するマーカ画像を投影部に投影させることにより、撮影画像のなかで配色が時間経過とともに変化し続ける領域をマーカ画像領域として検出するため、投影画像領域検出装置と、投影対象物との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像領域を検出することができる。
【００３２】
また、本発明の投影画像領域検出システムは、投影対象物に画像を投影する投影装置と、前記投影対象物に投影された画像を含む領域を撮影する撮影装置と、前記投影装置に投影させる投影画像の４隅を特定するためのマーカ画像が映されたマーカ画像領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された投影画像領域を前記撮影画像から検出する投影画像領域検出部を有する投影画像領域検出装置と、を備えた投影画像領域検出システムにおいて、前記投影画像領域検出装置は、特定領域の配色が時間経過とともに変化するマーカを前記マーカ画像として生成するマーカ画像生成部と、前記マーカ画像生成部によって生成されたマーカ画像を前記投影画像に付加するマーカ画像付加部と、前記マーカ画像が付加された投影画像を投影させるよう該投影画像を前記投影装置に供給する画像供給部と、を有し、前記投影画像領域検出部は、前記撮影画像のなかで配色が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出することにより、前記投影画像領域を前記撮影画像から検出する構成を有している。
【００３３】
この構成により、本発明の投影画像領域検出システムは、特定領域の配色が時間経過とともに変化するマーカ画像を投影装置に投影させることにより、撮影画像のなかで配色が時間経過とともに変化し続ける領域をマーカ画像領域として検出するため、投影装置と、投影対象物と、撮影装置との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像領域を検出することができる。
【００３４】
また、本発明の投影画像領域検出方法は、投影画像を含む領域が撮影された撮影画像のなかで前記投影画像が映された領域の４隅を特定するためのマーカ画像領域を検出する投影画像領域検出装置を用いた投影画像領域検出方法において、配色が時間経過とともに変化し続ける領域を前記投影画像領域検出装置が前記マーカ画像領域として検出する投影画像領域検出ステップを有する。
【００３５】
したがって、本発明の投影画像領域検出方法は、撮影画像のなかで配色が時間経過とともに変化し続ける領域をマーカ画像領域として検出するため、投影装置と、投影対象物と、撮影装置との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像領域を検出することができる。
【００３６】
また、本発明の投影画像領域検出方法は、特定領域の配色が時間経過とともに変化するマーカを前記投影画像領域検出装置がマーカ画像としてマーカ画像生成ステップと、前記マーカ画像生成ステップで生成されたマーカ画像を前記投影画像領域検出装置が前記投影画像に付加するマーカ画像付加ステップと、前記マーカ画像が付加された投影画像を前記投影画像領域検出装置が投影装置に供給する画像供給ステップと、を有してもよい。
【００３７】
また、前記マーカ画像生成ステップでは、前記撮影画像のなかで識別できる程度に模様が単純で、周期性がないマーカを前記投影画像領域検出装置が前記マーカ画像として生成するようにしてもよい。
【００３８】
したがって、本発明の投影画像領域検出方法は、投影画像領域検出ステップにおいて、模様の周期と撮影画像に映されたマーカ画像のずれ量とが一致したときに、ずれが生じていないものと誤認識されることを防止することができる。
【００３９】
また、前記マーカ画像生成ステップでは、前記特定領域の予め定められた色成分が時間経過とともに変化するマーカを前記投影画像領域検出装置が前記マーカ画像として生成し、前記投影画像領域検出ステップでは、前記撮影画像のなかで該色成分が時間経過とともに変化し続ける領域を前記投影画像領域検出装置が前記マーカ画像領域として検出するようにしてもよい。
【００４０】
したがって、本発明の投影画像領域検出方法は、マーカ画像の予め定められた領域の予め定められた色成分を時間経過とともに変化させるため、ユーザに対して模様の配色の変化に違和感を与えないマーカ画像を投影画像に付加することができる。
【００４１】
また、前記投影画像領域検出ステップでは、前記撮影画像の差分画像から前記投影画像領域検出装置が前記マーカ画像領域を検出するようにしてもよい。
【００４２】
したがって、本発明の投影画像領域検出方法は、撮影装置によって撮影された撮影画像の差分画像を用いることにより、模様の配色が時間経過とともに変化するマーカ画像を検出することができる。
【００４３】
また、本発明の投影画像領域検出方法は、前記投影画像領域検出ステップで検出されたマーカ画像領域に基づいて、前記投影画像領域検出装置が、前記投影画像の画像領域を検出し、検出した投影画像の画像領域の射影歪みを補正する画像補正ステップを有するようにしてもよい。
【００４４】
したがって、本発明の投影画像領域検出方法は、射影歪みが補正された撮影画像を得ることができる。
【００４５】
また、前記投影画像領域検出ステップでは、前記マーカ画像領域の最も外側の角を検出することにより、前記投影画像領域検出装置が前記マーカ画像領域を検出する初期検出ステップと、前記画像補正部によって補正された画像間の差分画像のなかで予め定められたテンプレート画像とテンプレートマッチングを行うことにより、前記投影画像領域検出装置が前記マーカ画像領域を検出する動的検出ステップと、を含むようにしてもよい。
【００４６】
したがって、本発明の投影画像領域検出方法は、撮影画像間の差分画像のなかで予め定められたテンプレート画像とテンプレートマッチングを行うため、より正確なマーカ画像領域を検出することができる。
【００４７】
また、前記初期検出ステップでは、前記撮影画像の各角の二等分線を副走査方向として斜めに走査していくことにより、前記投影画像領域検出装置が前記マーカ画像領域を検出するようにしてもよい。
【００４８】
前記動的検出ステップでは、前記投影画像領域検出装置が、検出済みのマーカ画像領域の周囲に対して前記テンプレートマッチングを行うようにしてもよい。
【００４９】
したがって、本発明の投影画像領域検出方法は、動的検出モードにおいて、テンプレートマッチングの実行時間を短縮することができる。
【００５０】
また、前記動的検出ステップでは、前記初期検出ステップで検出されたマーカ画像領域に基づいて、前記投影画像領域検出装置が、前記テンプレート画像の大きさを決定するようにしてもよい。
【００５１】
したがって、本発明の投影画像領域検出方法は、動的検出モードにおいて、最適なサイズのテンプレート画像を用いたテンプレートマッチングを行うことができる。
【００５２】
また、前記マーカ画像生成ステップでは、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像より小さくなるよう前記投影画像領域検出装置が前記マーカ画像を生成するようにしてもよい。
【００５３】
したがって、本発明の投影画像領域検出方法は、動的検出モードにおけるマーカ画像を初期検出モードにおけるマーカ画像より目立たなくするため、投影画像の視認性を向上させることがきる。
【００５４】
また、前記マーカ画像生成ステップでは、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像よりコントラストが低くなるよう前記投影画像領域検出装置が前記マーカ画像を生成するようにしてもよい。
【００５５】
したがって、本発明の投影画像領域検出方法は、動的検出モードにおけるマーカ画像を初期検出モードにおけるマーカ画像より目立たなくするため、投影画像の視認性を向上させることがきる。
【００５６】
また、前記マーカ画像生成ステップでは、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像より色の変化量が少なくなるよう前記投影画像領域検出装置が前記マーカ画像を生成するようにしてもよい。
【００５７】
したがって、本発明の投影画像領域検出方法は、動的検出モードにおけるマーカ画像を初期検出モードにおけるマーカ画像より目立たなくするため、投影画像の視認性を向上させることがきる。
【００５８】
また、本発明の投影画像領域検出プログラムは、投影画像を含む領域が撮影された撮影画像のなかで前記投影画像が映された領域の４隅を特定するためのマーカ画像領域を検出する投影画像領域検出装置に実行させるための投影画像領域検出プログラムにおいて、配色が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出させる投影画像領域検出ステップを有する。
【００５９】
したがって、本発明の投影画像領域検出プログラムは、撮影画像のなかで配色が時間経過とともに変化し続ける領域をマーカ画像領域として検出させるため、投影装置と、投影対象物と、撮影装置との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像領域を検出させることができる。
【発明の効果】
【００６０】
本発明は、投影装置と、投影対象物と、撮影装置との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像が映された投影画像領域を検出することができる投影画像領域検出装置を提供することができる。
【図面の簡単な説明】
【００６１】
【図１】本発明の第１の実施の形態としての投影画像領域検出システムの実装図である。
【図２】本発明の第１の実施の形態としての投影画像領域検出システムを構成する投影画像領域検出装置のハードウェア構成図である。
【図３】本発明の第１の実施の形態としての投影画像領域検出システムを構成する投影画像領域検出装置の機能ブロック図である。
【図４】本発明の第１の実施の形態に係る投影画像領域検出装置のマーカ画像生成部によって生成されるマーカ画像の例を示す概念図である。
【図５】本発明の第１の実施の形態に係る投影画像領域検出装置のマーカ画像生成部によって生成されるマーカ画像の他の例を示す概念図である。
【図６】本発明の第１の実施の形態に係る投影画像領域検出装置のマーカ画像部によってマーカ画像が付加された投影画像の例を示す概念図である。
【図７】本発明の第１の実施の形態に係る投影画像領域検出装置のマーカ画像生成部によって生成されるマーカ画像の他の例を示す概念図であり、（ａ）は、三角形のマーカ画像、（ｂ）は、歪んだ三角形のマーカ画像を示している。
【図８】本発明の第１の実施の形態に係る投影画像領域検出装置の投影画像領域検出部によって差分画像を生成する際に参照される関数の一例を示すグラフである。
【図９】本発明の第１の実施の形態に係る投影画像領域検出装置の投影画像領域検出部によって撮影画像からマーカ画像が映されたマーカ画像領域を検出する例を示す概念図である。
【図１０】本発明の第１の実施の形態に係る投影画像領域検出装置の投影画像領域検出部によって実行されるテンプレートマッチングに用いられるテンプレート画像の一例を示す概念図である。
【図１１】本発明の第１の実施の形態に係る投影画像領域検出装置の投影画像領域検出部によって実行されるテンプレートマッチングを説明するための概念図である。
【図１２】本発明の第１の実施の形態に係る投影画像領域検出装置の投影画像供給動作を説明するためのフローチャートである。
【図１３】本発明の第１の実施の形態に係る投影画像領域検出装置の初期検出モードにおける補正係数算出動作を説明するためのフローチャートである。
【図１４】本発明の第１の実施の形態に係る投影画像領域検出装置の動的検出モードにおける補正係数算出動作を説明するためのフローチャートである。
【図１５】本発明の第２の実施の形態としての投影画像領域検出システムの実装図である。
【図１６】本発明の第２の実施の形態としての投影画像領域検出システムを構成する投影画像領域検出装置のハードウェア構成図である。
【図１７】本発明の第２の実施の形態としての投影画像領域検出システムを構成する投影画像領域検出装置の機能ブロック図である。
【図１８】従来のプロジェクタシステムによって投影される画像の例を示す概念図である。
【発明を実施するための形態】
【００６２】
以下、本発明の実施の形態について、図面を参照して説明する。
【００６３】
（第１の実施の形態）
図１に示すように、本発明の第１の実施の形態としての投影画像領域検出システム１は、投影対象物としてのホワイトボード２に画像を投影する投影装置３と、ホワイトボード２に投影された画像を含む領域を撮影する撮影装置４と、投影画像が映された投影画像領域を撮影画像から検出する投影画像領域検出装置５とを備えている。
【００６４】
ここで、本実施の形態においては、投影対象物としてホワイトボードを適用した例について説明するが、本発明においては、投影対象物としてスクリーンや紙等を適用してもよい。
【００６５】
投影装置３は、例えば、汎用的なプロジェクタによって構成され、投影画像領域検出装置５から送信された画像を投影するようになっている。ここで、投影装置３は、ホワイトボード２の描画領域に投影範囲が含まれるよう設置される。
【００６６】
撮影装置４は、例えば、汎用的なカメラによって構成され、０．５秒間に１回、または、１秒間に１５回等の予め設定された時間間隔で撮影したホワイトボード２に表示された画像を投影画像領域検出装置５に送信するようになっている。ここで、撮影装置４は、投影装置３の投影領域を撮影できるよう設置される。
【００６７】
投影画像領域検出装置５は、図２に示すように、ＣＰＵ（Central Processing Unit）１０と、ＲＡＭ（Random Access Memory）１１と、ＲＯＭ（Read Only Memory）１２と、ハードディスク装置１３と、キーボードやポインティングデバイス等よりなる入力装置１４と、液晶ディスプレイ等よりなる表示装置１５と、投影装置３および撮影装置４等の外部機器との間で通信を行うためのデバイス通信モジュール１６と、ネットワークを介して接続された外部機器との間で通信を行うためのネットワーク通信モジュール１７とを備えた汎用的なコンピュータ装置によって構成されている。
【００６８】
ＲＯＭ１２およびハードディスク装置１３には、当該コンピュータ装置を投影画像領域検出装置５として機能させるためのプログラムが記憶されている。すなわち、ＣＰＵ１０がＲＡＭ１１を作業領域としてＲＯＭ１２およびハードディスク装置１３に記憶されたプログラムを実行することにより、当該コンピュータ装置は、投影画像領域検出装置５として機能する。
【００６９】
投影画像領域検出装置５は、図３に示すように、投影装置３に投影させる投影画像の４隅を特定するためのマーカ画像を生成するマーカ画像生成部２０と、マーカ画像生成部２０によって生成されたマーカ画像を投影画像に付加するマーカ画像付加部２１と、マーカ画像が付加された投影画像を投影装置３に供給する画像供給部２２と、撮影装置４によって撮影された撮影画像から投影画像が映された投影画像領域を検出する投影画像領域検出部２３と、投影画像領域検出部２３によって検出された投影画像領域に基づいて、撮影画像の射影歪みを補正する画像補正部２４と、画像補正部２４によって補正された撮影画像から投影画像が映された投影画像領域を切り出す投影画像切り出し部２５とを備えている。
【００７０】
ここで、マーカ画像生成部２０、マーカ画像付加部２１、投影画像領域検出部２３、画像補正部２４および投影画像切り出し部２５は、ＣＰＵ１０によって構成され、画像供給部２２は、デバイス通信モジュール１６によって構成される。
【００７１】
また、本実施の形態において、投影画像は、表示装置１５の表示画面を表すものとするが、投影画像領域検出装置５を構成するコンピュータによって実行されるプレゼンテーションソフトウェア等のアプリケーションによって作成された画像であってもよい。また、投影画像は、遠隔地にある他の投影画像領域検出装置５のような外部機器からネットワーク通信モジュール１７を介して受信された画像であってもよい。
【００７２】
マーカ画像生成部２０は、図４に示すように、模様の配色が時間経過とともに変化するマーカをマーカ画像３０として生成するようになっている。なお、図４は、マーカ画像生成部２０によって生成されたマーカ画像３０の予め定められた特定領域３１の配色（Ｒ（赤成分），Ｇ（緑成分），Ｂ（青成分））が時間経過とともに（２５５，０，０）、（２３５，２０，０）、（２１５，４０，０）、（１９５，６０，０）といったように、１フレーム毎にＲ成分が２０ずつ減少し、Ｇ成分が２０ずつ増加していく様子を示している。
【００７３】
ここで、マーカ画像生成部２０は、特定領域３１の何れかの色成分が０未満になるか、２５５を超える場合には、特定領域３１を最初の配色（２５５，０，０）に戻すようになっている。
【００７４】
なお、マーカ画像生成部２０は、撮影画像のなかで識別できる程度に模様が単純で、模様に周期性がないマーカをマーカ画像として生成するようになっている。例えば、図５において、マーカ画像４０、４１は、マーカ画像生成部２０に生成させる画像として好ましい。
【００７５】
一方、マーカ画像４２、４３は、模様に周期性があるため、投影画像領域検出部２３において、模様の周期と撮影画像に映されたマーカ画像のずれ量とが一致したときに、ずれが生じていないものと誤認識される可能性があるため、マーカ画像生成部２０によって生成されるマーカ画像として好ましくない。
【００７６】
図３において、マーカ画像付加部２１は、図６に示すように、投影画像５０の４隅にマーカ画像５１ａ〜５１ｄを付加するようになっている。なお、図６において、各マーカ画像５１ａ〜５１ｄは、図４に示したように矩形をなしているが、本発明におけるマーカ画像は、他の形状をなすものでもよい。
【００７７】
例えば、マーカ画像は、図７（ａ）に示すように、三角形をなすものでもよい。また、マーカ画像は、投影画像の４隅に対応する頂点を有するものであれば、図７（ｂ）に示すように、歪んだ形状をなすものでもよい。ただし、マーカ画像は、投影画像の４隅を識別しやすくするために、投影画像の４隅に対応する頂点を有する三角形および四角形等の多角形ならびに扇形等が好ましい。
【００７８】
また、図６において、各マーカ画像５１ａ〜５１ｄは、投影画像５０の４隅に内接するように付加されているが、マーカ画像付加部２１は、投影画像５０の４隅を特定することができる位置であれば、投影画像５０内の何れの位置に各マーカ画像５１ａ〜５１ｄを付加するようにしてもよい。
【００７９】
また、図６において、各マーカ画像５１ａ〜５１ｄは、同一のマーカを表しているが、マーカ画像生成部２０は、マーカ画像５１ａ〜５１ｄに対して、それぞれ異なるマーカを表す画像を生成するようにしてもよい。
【００８０】
図３において、画像供給部２２は、マーカ画像が付加された投影画像を投影させるよう投影装置３に供給するようになっている。
【００８１】
投影画像領域検出部２３は、マーカ画像が映されたマーカ画像領域を撮影装置４によって撮影された撮影画像から検出することにより、投影画像が映された投影画像領域を撮影画像から検出するようになっている。
【００８２】
マーカ画像領域を検出するときに、投影画像領域検出部２３は、初期検出モードと、動的検出モードとの２つのモードをとるようになっている。ここで、投影画像領域検出部２３は、最初に初期検出モードになり、その後、動的検出モードに遷移するようになっている。
【００８３】
初期検出モードにおいて、投影画像領域検出部２３は、撮影された時刻が異なる２つの撮影画像（例えば、連続して撮影された２フレームの撮影画像）を読み込み、読み込んだ撮影画像間の差分画像を生成するようになっている。
【００８４】
以下、撮影画像が撮影された時刻をｔと表し、画素の座標を（ｘ，ｙ）と表し、時刻ｔに撮影された撮影画像の各画素の各色成分の値をＲ（ｔ，ｘ，ｙ）、Ｇ（ｔ，ｘ，ｙ）、Ｂ（ｔ，ｘ，ｙ）と表す。
【００８５】
また、時刻ｔ１、ｔ２でそれぞれ撮影された撮影画像間の各画素の各色成分の差分値を｜Ｒ（ｔ１，ｘ，ｙ）−Ｒ（ｔ２，ｘ，ｙ）｜、｜Ｇ（ｔ１，ｘ，ｙ）−Ｇ（ｔ２，ｘ，ｙ）｜、｜Ｂ（ｔ１，ｘ，ｙ）−Ｂ（ｔ２，ｘ，ｙ）｜と表す。
【００８６】
投影画像領域検出部２３は、撮影画像間の各画素の各色成分の差分値｜Ｒ（ｔ１，ｘ，ｙ）−Ｒ（ｔ２，ｘ，ｙ）｜、｜Ｇ（ｔ１，ｘ，ｙ）−Ｇ（ｔ２，ｘ，ｙ）｜、｜Ｂ（ｔ１，ｘ，ｙ）−Ｂ（ｔ２，ｘ，ｙ）｜が予め定められた条件を満たす画素の値を有効色（例えば、黒）とし、当該条件を満たさない画素を無効色（例えば、白）とした差分画像を生成するようになっている。
【００８７】
例えば、投影画像領域検出部２３は、特定の色成分（Ｒ、Ｇ、Ｂの何れか、または、これらの組み合わせ。以下、単に「特定色成分」という）の差分値が予め定められた閾値ＴＨより高い画素の値を有効色とし、それ以外の画素を無効色とした差分画像を生成するようになっている。
【００８８】
この場合には、マーカ画像生成部２０は、特定領域の特定色成分がフレーム毎に閾値ＴＨを超えて変化し、特定領域以外の特定色成分がフレーム毎に閾値ＴＨを超えて変化しないマーカをマーカ画像として生成するように構成される。
【００８９】
また、投影画像領域検出部２３は、特定色成分の差分値が予め定められた第１の閾値ＴＨ１より高く、他の色成分（以下、単に「非特定色成分」という。）の差分値が第２の閾値ＴＨ２より低い画素の値を有効色とし、それ以外の画素を無効色とした差分画像を生成するように構成してもよい。
【００９０】
この場合には、マーカ画像生成部２０は、特定領域の特定色成分がフレーム毎に閾値ＴＨ１を超えて変化し、非特定色成分がフレーム毎に閾値ＴＨ２以上変化しない一方、特定領域以外の特定色成分がフレーム毎に閾値ＴＨ１を超えて変化しないか、非特定色成分がフレーム毎に閾値ＴＨ２以上変化するマーカをマーカ画像として生成するように構成される。
【００９１】
また、投影画像領域検出部２３は、第１の特定色成分の差分値が予め定められた閾値ＴＨ３より高い画素の値を第１の有効色（例えば、赤）とし、第２の特定色成分の差分値が予め定められた閾値ＴＨ３より高い画素の値を第２の有効色（例えば、青）とし、それ以外の画素を無効色（例えば、白）とした差分画像を生成するように構成してもよい。
【００９２】
この場合には、マーカ画像生成部２０は、第１の特定領域の第１の特定色成分がフレーム毎に閾値ＴＨ３を超えて変化し、第２の特定領域の第２の特定色成分がフレーム毎に閾値ＴＨ３を超えて変化し、第１および第２の特定領域以外の第１または第２の特定色成分がフレーム毎に閾値ＴＨ３を超えて変化しないマーカをマーカ画像として生成するように構成される。
【００９３】
また、投影画像領域検出部２３は、差分画像を生成する際に、特定色成分の差分値と閾値とを単純に比較する他に、図８に示すように、閾値付近の傾きが滑らかな関数によって得られる値から差分画像を生成するようにしてもよい。
【００９４】
なお、本実施の形態においては、投影画像領域検出部２３は、Ｒ成分の差分値が閾値ＴＨより高い画素の値を有効色である黒とし、それ以外の画素を無効色である白とした差分画像を生成するものとする。
【００９５】
差分画像を生成すると、投影画像領域検出部２３は、黒画素よりなる領域の外接矩形を抽出し、抽出した外接矩形のなかで、面積が予め定められた上限値以上のものと、予め定められた下限値以下のものを差分画像から除外するようになっている。ここで、上限値および下限値は、投影画像に対するマーカ画像の面積の比率と、撮影画像の面積とに基づいて概ね算出されるマーカ画像領域の面積に応じて予め定められているものとする。
【００９６】
外接矩形の除外が完了すると、投影画像領域検出部２３は、マーカ画像の角や線を検出することによって、投影画像領域を検出するようになっている。例えば、図９に示すように、差分画像の各角の二等分線５２を副走査方向として斜めに走査していくことにより各マーカ画像５３が映されたマーカ画像領域を検出し、検出したマーカ画像領域に基づいて投影画像領域を検出するようになっている。
【００９７】
また、初期検出モードにおいて、投影画像領域検出部２３は、Ｈａｒｒｉｓのオペレーターを用いた角検出やエッジを用いた多角形検出を用いて、各マーカ画像５３が映されたマーカ画像領域の角を検出し、検出したマーカ画像領域の角に基づいて投影画像領域を検出するようにしてもよい。
【００９８】
図３にもどり、動的検出モードにおいて、投影画像領域検出部２３は、撮影された時刻が異なる２つの撮影画像を読み込み、読み込んだ撮影画像の射影歪みが画像補正部２４によって補正された補正画像間の差分画像を初期検出モードと同様に生成するようになっている。
【００９９】
なお、本実施の形態においては、投影画像領域検出部２３は、動的検出モードにおいても、Ｒ成分の差分値が閾値ＴＨより高い画素の値を有効色である黒とし、それ以外の画素を無効色である白とした差分画像を生成するものとする。
【０１００】
差分画像を生成すると、投影画像領域検出部２３は、差分画像のなかで予め定められたテンプレート画像とテンプレートマッチングを行うようになっている。例えば、テンプレート画像は、図１０に示すように、各マーカ画像に対して、特定領域５４が有効色（例えば、黒）に配色され、それ以外の領域５５が無効色（例えば、白）に配色されている。
【０１０１】
なお、投影画像領域検出部２３は、テンプレートマッチングを行う前に、初期検出モードで検出したマーカ画像領域とテンプレート画像とのサイズが同一になるよう、テンプレート画像を拡縮しておくようになっている。
【０１０２】
また、投影画像領域検出部２３は、各マーカ画像領域に対して、例えば、図１１に示すように、初期検出モードにおいて検出されたマーカ画像領域または動的検出モードにおいて前回に検出されたマーカ画像領域（以下、「検出済マーカ画像領域」という）の位置５６から徐々にテンプレート画像を移動させていきながらテンプレートマッチングを行っていき、予め定められた移動量を移動した後、すなわち、予め定められた領域を探索した後に、最も相関値が高かったテンプレート画像の領域をマーカ画像領域として検出するようになっている。
【０１０３】
図３において、画像補正部２４は、投影画像領域検出部２３によって検出された投影画像領域を長方形にするための射影歪み補正の係数を算出し、算出した係数を用いて撮影画像の射影歪み補正を行うようになっている。これにより、マーカ画像の射影歪みも補正されるため、投影画像領域検出部２３によるテンプレートマッチングの精度も向上する。
【０１０４】
投影画像切り出し部２５は、画像補正部２４によって補正された撮影画像から投影画像領域を切り出すようになっている。本実施の形態において、投影画像領域検出装置５は、投影画像切り出し部２５によって切り出された画像を遠隔地に設けられた表示装置６（図１参照）にネットワーク通信モジュール１７を介して送信し、表示装置６に表示させるものとする。
【０１０５】
ここで、投影画像領域検出装置５は、投影画像切り出し部２５によって切り出された画像を遠隔地にある他の投影画像領域検出装置５のような外部機器にネットワーク通信モジュール１７を介して送信するようにしてもよい。
【０１０６】
また、投影画像領域検出装置５は、投影画像切り出し部２５によって切り出された画像を外部の記録装置にネットワーク通信モジュール１７を介して送信し、当該記録装置に表示させるようにしてもよく、ハードディスク装置１３に記録するようにしてもよい。
【０１０７】
このように構成された投影画像領域検出装置５について、図１２乃至図１４を用いてその動作を説明する。
【０１０８】
図１２は、投影画像領域検出装置５の投影画像供給動作を説明するためのフローチャートである。なお、以下に説明する投影画像供給動作は、入力装置１４等による入力操作に応じて実行される。
【０１０９】
まず、フレーム毎に模様の配色を変化させたマーカを表すマーカ画像がマーカ画像生成部２０によって生成される（ステップＳ１）。次いで、表示装置１５の表示画面を表す投影画像の４隅にマーカ画像生成部２０によって生成されたマーカ画像がマーカ画像付加部２１によって付加され（ステップＳ２）、マーカ画像が付加された投影画像が画像供給部２２によって投影装置３に供給される（ステップＳ３）。
【０１１０】
ここで、入力装置１４等による入力操作によって投影画像供給動作の終了が指示されている場合には、投影画像供給動作は終了し、投影画像供給動作の終了が指示されていない場合には、投影画像供給動作はステップＳ１に戻る（ステップＳ４）。
【０１１１】
図１３および図１４は、投影画像領域検出装置５の補正係数算出動作を説明するためのフローチャートである。図１３は、初期検出モードにおける投影画像領域検出装置５の補正係数算出動作を説明するためのフローチャートである。
【０１１２】
まず、マーカ画像生成部２０によって生成されるマーカ画像の配色の変化が一巡するまでに、撮影装置４によって撮影された２つの撮影画像が投影画像領域検出部２３によって読み込まれる（ステップＳ１１）。
【０１１３】
次いで、読み込まれた２つの撮影画像の差分画像が投影画像領域検出部２３によって生成され（ステップＳ１２）、有効色である黒画素よりなる領域の外接矩形が差分画像から抽出される（ステップＳ１３）。
【０１１４】
次いで、抽出された外接矩形のなかで、面積が上限値以上のものと、下限値以下のものが投影画像領域検出部２３によって差分画像から除外される（ステップＳ１４）。次いで、差分画像の各角の二等分線を副走査方向として斜めに走査していくことにより各マーカ画像が映されたマーカ画像領域が投影画像領域検出部２３によって検出される（ステップＳ１５）。
【０１１５】
ここで、投影画像領域の４隅に対応するマーカ画像領域が検出されたか否かが投影画像領域検出部２３によって判断される（ステップＳ１６）。ここで、投影画像領域の４隅に対応するマーカ画像領域が検出されなかった場合には、補正係数算出動作は、ステップＳ１に戻る。
【０１１６】
一方、投影画像領域の４隅に対応するマーカ画像領域が検出された場合には、検出されたマーカ画像領域に基づいて投影画像領域検出部２３によって投影画像領域が検出され（ステップＳ１７）、検出された投影画像領域を射影歪み補正するための係数が画像補正部２４によって算出される（ステップＳ１８）。
【０１１７】
図１４は、動的検出モードにおける投影画像領域検出装置５の補正係数算出動作を説明するためのフローチャートである。なお、以下に説明する補正係数算出動作は、予め定められた時間間隔で実行されてもよく、連続して実行されてもよい。
【０１１８】
まず、マーカ画像生成部２０によって生成されるマーカ画像の配色の変化が一巡するまでに、撮影装置４によって撮影された２つの撮影画像が投影画像領域検出部２３によって読み込まれる（ステップＳ２１）。
【０１１９】
次いで、読み込まれた各撮影画像に対して、算出済みの係数を用いた射影歪み補正が画像補正部２４によって行われ（ステップＳ２２）、射影歪みの補正結果として得られた補正画像間の差分画像が生成される（ステップＳ２３）。
【０１２０】
次いで、差分画像のなかで各検出済マーカ画像領域の位置からテンプレートマッチングを行うことにより、各マーカ画像領域が投影画像領域検出部２３によって検出される（ステップＳ２４）。
【０１２１】
ここで、投影画像領域の４隅に対応するマーカ画像領域が検出されたか否かが投影画像領域検出部２３によって判断される（ステップＳ２５）。ここで、投影画像領域の４隅に対応するマーカ画像領域が検出されなかった場合には、補正係数算出動作は、ステップＳ２１に戻る。
【０１２２】
一方、投影画像領域の４隅に対応するマーカ画像領域が検出された場合には、検出されたマーカ画像領域に基づいて投影画像領域検出部２３によって投影画像領域が検出される（ステップＳ２６）。
【０１２３】
ここで、差分画像に対して、ステップＳ２２で行った射影歪み補正の逆変換が行われ（ステップＳ２７）、逆変換された差分画像における投影画像領域を射影歪み補正するための係数が画像補正部２４によって算出される（ステップＳ２８）。
【０１２４】
このように、投影画像領域検出装置５の補正係数算出動作が実行される一方で、撮影装置４によって撮影された撮影画像は、初期検出モードまたは動的検出モードにおいて算出された係数に基づいて、画像補正部２４によって射影歪みが補正され、補正された撮影画像から投影領域が投影画像切り出し部２５によって切り出される。そして、切り出された画像は、遠隔地に設けられた表示装置６にネットワーク通信モジュール１７を介して送信される。
【０１２５】
以上に説明したように、本発明の第１の実施の形態としての投影画像領域検出システム１は、模様の配色が時間経過とともに変化するマーカ画像を投影装置３に投影させることにより、撮影画像のなかで模様の配色が時間経過とともに変化し続ける領域をマーカ画像領域として検出するため、投影装置３と、ホワイトボード２と、撮影装置４との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像領域を検出することができる。
【０１２６】
なお、本実施の形態において、マーカ画像生成部２０は、図４に示すようなマーカ画像３０を生成するものとして説明したが、本発明において、マーカ画像生成部２０は、動的検出モードにおけるマーカ画像が初期検出モードにおけるマーカ画像より小さくなるようマーカ画像を生成するようにしてもよい。
【０１２７】
このように構成することにより、動的検出モードにおけるマーカ画像を初期検出モードにおけるマーカ画像より目立たなくするため、投影画像の視認性を向上させることがきる。
【０１２８】
また、投影画像の視認性を向上させるため、マーカ画像生成部２０は、動的検出モードにおけるマーカ画像が初期検出モードにおけるマーカ画像よりコントラストが低くなるようマーカ画像を生成するようにしてもよい。
【０１２９】
また、投影画像の視認性を向上させるため、マーカ画像生成部２０は、動的検出モードにおけるマーカ画像が初期検出モードにおけるマーカ画像より色の変化量が少なくなるようマーカ画像を生成するようにしてもよい。
【０１３０】
（第２の実施の形態）
図１５に示すように、本発明の第２の実施の形態としての投影画像領域検出装置は、本発明の第１の実施の形態における投影装置３と、撮影装置４と、投影画像領域検出装置５とを一体化した構成を有している。したがって、本実施の形態において、本発明の第１の実施の形態と同一のものには、同一の符号を付して説明を省略する。
【０１３１】
図１６に示すように、投影画像領域検出装置６０は、ＣＰＵ１０と、ＲＡＭ１１と、ＲＯＭ１２と、ハードディスク装置１３と、入力装置１４と、ネットワーク通信モジュール１７と、プロジェクタ７０と、カメラ７１とを備えている。
【０１３２】
ＲＯＭ１２およびハードディスク装置１３には、当該装置を投影画像領域検出装置６０として機能させるためのプログラムが記憶されている。すなわち、ＣＰＵ１０がＲＡＭ１１を作業領域としてＲＯＭ１２およびハードディスク装置１３に記憶されたプログラムを実行することにより、当該装置は、投影画像領域検出装置６０として機能する。
【０１３３】
投影画像領域検出装置６０は、図１７に示すように、マーカ画像生成部２０と、マーカ画像付加部２１と、マーカ画像が付加された投影画像を投影する投影部８０と、ホワイトボード２に投影された画像を含む領域を撮影する撮影部８１と、撮影部８１によって撮影された撮影画像から投影画像が映された領域を検出する投影画像領域検出部２３と、画像補正部２４と、投影画像切り出し部２５とを備えている。
【０１３４】
ここで、マーカ画像生成部２０、マーカ画像付加部２１、投影画像領域検出部２３、画像補正部２４および投影画像切り出し部２５は、ＣＰＵ１０によって構成され、投影部８０は、プロジェクタ７０によって構成され、撮影部８１は、カメラ７１によって構成される。
【０１３５】
本実施の形態において、投影画像は、投影画像領域検出装置６０に接続された画像供給装置６１によって供給される。画像供給装置６１は、例えば、汎用的なコンピュータ装置によって構成される。
【０１３６】
投影画像としては、画像供給装置６１を構成するコンピュータ装置の表示画面を表す画像、当該コンピュータ装置によって実行されるプレゼンテーションソフトウェア等のアプリケーションによって作成された画像、または、当該コンピュータ装置に他の外部機器から受信された画像等がある。
【０１３７】
なお、画像供給装置６１の各動作については、本発明の第１の実施の形態における投影画像領域検出装置５の動作説明に基づいて、容易に想到できるため、その説明を省略する。
【０１３８】
以上に説明したように、本発明の第２の実施の形態としての投影画像領域検出装置６０は、模様の配色が時間経過とともに変化するマーカ画像を投影部８０に投影させることにより、撮影画像のなかで模様の配色が時間経過とともに変化し続ける領域をマーカ画像領域として検出するため、投影画像領域検出装置６０と、ホワイトボード２との位置関係が相対的にずれてしまった場合であっても、このずれに追従するように撮影画像から投影画像領域を検出することができる。
【符号の説明】
【０１３９】
１ 投影画像領域検出システム
２ ホワイトボード
３ 投影装置
４ 撮影装置
５、６０ 投影画像領域検出装置
６、１５ 表示装置
１０ ＣＰＵ
１１ ＲＡＭ
１２ ＲＯＭ
１３ ハードディスク装置
１４ 入力装置
１６ デバイス通信モジュール
１７ ネットワーク通信モジュール
２０ マーカ画像生成部
２１ マーカ画像付加部
２２ 画像供給部
２３ 投影画像領域検出部
２４ 画像補正部
２５ 投影画像切り出し部
６１ 画像供給装置
７０ プロジェクタ
７１ カメラ
８０ 投影部
８１ 撮影部
【先行技術文献】
【特許文献】
【０１４０】
【特許文献１】特開２００８−２２５５５３号公報
【特許請求の範囲】
【請求項１】
投影画像を含む領域が撮影された撮影画像のなかで前記投影画像が映された領域の４隅を特定するためのマーカ画像領域を検出する投影画像領域検出部を備えた投影画像領域検出装置において、
前記投影画像領域検出部は、配色が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出することを特徴とする投影画像領域検出装置。
【請求項２】
特定領域の配色が時間経過とともに変化するマーカをマーカ画像としてマーカ画像生成部と、
前記マーカ画像生成部によって生成されたマーカ画像を前記投影画像に付加するマーカ画像付加部と、
前記マーカ画像が付加された投影画像を投影装置に供給する画像供給部と、を備えたことを特徴とする請求項１に記載の投影画像領域検出装置。
【請求項３】
前記マーカ画像生成部は、前記撮影画像のなかで識別できる程度に模様が単純で、周期性がないマーカを前記マーカ画像として生成することを特徴とする請求項２に記載の投影画像領域検出装置。
【請求項４】
前記マーカ画像生成部は、前記特定領域の予め定められた色成分が時間経過とともに変化するマーカを前記マーカ画像として生成し、
前記投影画像領域検出部は、前記撮影画像のなかで該色成分が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出することを特徴とする請求項２または請求項３に記載の投影画像領域検出装置。
【請求項５】
前記投影画像領域検出部は、前記撮影画像の差分画像から前記マーカ画像領域を検出することを特徴とする請求項１に記載の投影画像領域検出装置。
【請求項６】
前記投影画像領域検出部によって検出されたマーカ画像領域に基づいて、前記投影画像の画像領域を検出し、検出した投影画像の画像領域の射影歪みを補正する画像補正部を備えたことを特徴とする請求項１乃至請求項５の何れかに記載の投影画像領域検出装置。
【請求項７】
前記投影画像領域検出部は、前記マーカ画像領域の最も外側の角を検出することにより前記マーカ画像領域を検出する初期検出モードと、前記画像補正部によって補正された画像間の差分画像のなかで予め定められたテンプレート画像とテンプレートマッチングを行うことにより前記マーカ画像領域を検出する動的検出モードと、の２つのモードをとることを特徴とする請求項６に記載の投影画像領域検出装置。
【請求項８】
前記投影画像領域検出部は、前記初期検出モードにおいて、前記撮影画像の各角の二等分線を副走査方向として斜めに走査していくことにより前記マーカ画像領域を検出することを特徴とする請求項７に記載の投影画像領域検出装置。
【請求項９】
前記投影画像領域検出部は、前記動的検出モードにおいて、検出済みのマーカ画像領域の周囲に対して前記テンプレートマッチングを行うことを特徴とする請求項７に記載の投影画像領域検出装置。
【請求項１０】
前記投影画像領域検出部は、前記初期検出モードで検出したマーカ画像領域に基づいて、前記テンプレート画像の大きさを決定することを特徴とする請求項７乃至請求項９の何れかに記載の投影画像領域検出装置。
【請求項１１】
前記マーカ画像生成部は、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像より小さくなるよう前記マーカ画像を生成することを特徴とする請求項７乃至請求項１０の何れかに記載の投影画像領域検出装置。
【請求項１２】
前記マーカ画像生成部は、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像よりコントラストが低くなるよう前記マーカ画像を生成することを特徴とする請求項７乃至請求項１１の何れかに記載の投影画像領域検出装置。
【請求項１３】
前記マーカ画像生成部は、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像より色の変化量が少なくなるよう前記マーカ画像を生成することを特徴とする請求項７乃至請求項１２の何れかに記載の投影画像領域検出装置。
【請求項１４】
外部装置から供給された投影画像を投影対象物に投影する投影部と、
前記投影対象物に投影された画像を含む領域を撮影する撮影部と、
前記投影装置に投影させる投影画像の４隅を特定するためのマーカ画像が映されたマーカ画像領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された投影画像領域を前記撮影画像から検出する投影画像領域検出部と、を備えた投影画像領域検出装置において、
特定領域の配色が時間経過とともに変化するマーカを前記マーカ画像として生成するマーカ画像生成部と、
前記マーカ画像生成部によって生成されたマーカ画像を前記投影画像に付加するマーカ画像付加部と、を備え、
前記投影部は、前記マーカ画像が付加された投影画像を投影し、
前記投影画像領域検出部は、前記撮影画像のなかで配色が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出することにより、前記投影画像領域を前記撮影画像から検出することを特徴とする投影画像領域検出装置。
【請求項１５】
投影対象物に画像を投影する投影装置と、
前記投影対象物に投影された画像を含む領域を撮影する撮影装置と、
前記投影装置に投影させる投影画像の４隅を特定するためのマーカ画像が映されたマーカ画像領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された投影画像領域を前記撮影画像から検出する投影画像領域検出部を有する投影画像領域検出装置と、を備えた投影画像領域検出システムにおいて、
前記投影画像領域検出装置は、
特定領域の配色が時間経過とともに変化するマーカを前記マーカ画像として生成するマーカ画像生成部と、
前記マーカ画像生成部によって生成されたマーカ画像を前記投影画像に付加するマーカ画像付加部と、
前記マーカ画像が付加された投影画像を投影させるよう該投影画像を前記投影装置に供給する画像供給部と、を有し、
前記投影画像領域検出部は、前記撮影画像のなかで配色が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出することにより、前記投影画像領域を前記撮影画像から検出することを特徴とする投影画像領域検出システム。
【請求項１６】
投影画像を含む領域が撮影された撮影画像のなかで前記投影画像が映された領域の４隅を特定するためのマーカ画像領域を検出する投影画像領域検出装置を用いた投影画像領域検出方法において、
配色が時間経過とともに変化し続ける領域を前記投影画像領域検出装置が前記マーカ画像領域として検出する投影画像領域検出ステップを有することを特徴とする投影画像領域検出方法。
【請求項１７】
特定領域の配色が時間経過とともに変化するマーカを前記投影画像領域検出装置がマーカ画像としてマーカ画像生成ステップと、
前記マーカ画像生成ステップで生成されたマーカ画像を前記投影画像領域検出装置が前記投影画像に付加するマーカ画像付加ステップと、
前記マーカ画像が付加された投影画像を前記投影画像領域検出装置が投影装置に供給する画像供給ステップと、を有することを特徴とする請求項１６に記載の投影画像領域検出方法。
【請求項１８】
前記マーカ画像生成ステップでは、前記撮影画像のなかで識別できる程度に模様が単純で、周期性がないマーカを前記投影画像領域検出装置が前記マーカ画像として生成することを特徴とする請求項１７に記載の投影画像領域検出方法。
【請求項１９】
前記マーカ画像生成ステップでは、前記特定領域の予め定められた色成分が時間経過とともに変化するマーカを前記投影画像領域検出装置が前記マーカ画像として生成し、
前記投影画像領域検出ステップでは、前記撮影画像のなかで該色成分が時間経過とともに変化し続ける領域を前記投影画像領域検出装置が前記マーカ画像領域として検出することを特徴とする請求項１７または請求項１８に記載の投影画像領域検出方法。
【請求項２０】
前記投影画像領域検出ステップでは、前記撮影画像の差分画像から前記投影画像領域検出装置が前記マーカ画像領域を検出することを特徴とする請求項１６に記載の投影画像領域検出方法。
【請求項２１】
前記投影画像領域検出ステップで検出されたマーカ画像領域に基づいて、前記投影画像領域検出装置が、前記投影画像の画像領域を検出し、検出した投影画像の画像領域の射影歪みを補正する画像補正ステップを有することを特徴とする請求項１６乃至請求項２０の何れかに記載の投影画像領域検出方法。
【請求項２２】
前記投影画像領域検出ステップでは、前記マーカ画像領域の最も外側の角を検出することにより、前記投影画像領域検出装置が前記マーカ画像領域を検出する初期検出ステップと、前記画像補正部によって補正された画像間の差分画像のなかで予め定められたテンプレート画像とテンプレートマッチングを行うことにより、前記投影画像領域検出装置が前記マーカ画像領域を検出する動的検出ステップと、を含むことを特徴とする請求項２１に記載の投影画像領域検出方法。
【請求項２３】
前記初期検出ステップでは、前記撮影画像の各角の二等分線を副走査方向として斜めに走査していくことにより前記マーカ画像領域を検出することを特徴とする請求項２２に記載の投影画像領域検出方法。
【請求項２４】
前記動的検出ステップでは、前記投影画像領域検出装置が、検出済みのマーカ画像領域の周囲に対して前記テンプレートマッチングを行うことを特徴とする請求項２２に記載の投影画像領域検出方法。
【請求項２５】
前記動的検出ステップでは、前記初期検出ステップで検出されたマーカ画像領域に基づいて、前記投影画像領域検出装置が、前記テンプレート画像の大きさを決定することを特徴とする請求項２２乃至請求項２４の何れかに記載の投影画像領域検出方法。
【請求項２６】
前記マーカ画像生成ステップでは、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像より小さくなるよう前記投影画像領域検出装置が前記マーカ画像を生成することを特徴とする請求項２２乃至請求項２５の何れかに記載の投影画像領域検出方法。
【請求項２７】
前記マーカ画像生成ステップでは、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像よりコントラストが低くなるよう前記投影画像領域検出装置が前記マーカ画像を生成することを特徴とする請求項２２乃至請求項２６の何れかに記載の投影画像領域検出方法。
【請求項２８】
前記マーカ画像生成ステップでは、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像より色の変化量が少なくなるよう前記投影画像領域検出装置が前記マーカ画像を生成することを特徴とする請求項２２乃至請求項２７の何れかに記載の投影画像領域検出方法。
【請求項２９】
投影画像を含む領域が撮影された撮影画像のなかで前記投影画像が映された領域の４隅を特定するためのマーカ画像領域を検出する投影画像領域検出装置に実行させるための投影画像領域検出プログラムにおいて、
配色が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出させる投影画像領域検出ステップを有することを特徴とする投影画像領域検出プログラム。
【請求項１】
投影画像を含む領域が撮影された撮影画像のなかで前記投影画像が映された領域の４隅を特定するためのマーカ画像領域を検出する投影画像領域検出部を備えた投影画像領域検出装置において、
前記投影画像領域検出部は、配色が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出することを特徴とする投影画像領域検出装置。
【請求項２】
特定領域の配色が時間経過とともに変化するマーカをマーカ画像としてマーカ画像生成部と、
前記マーカ画像生成部によって生成されたマーカ画像を前記投影画像に付加するマーカ画像付加部と、
前記マーカ画像が付加された投影画像を投影装置に供給する画像供給部と、を備えたことを特徴とする請求項１に記載の投影画像領域検出装置。
【請求項３】
前記マーカ画像生成部は、前記撮影画像のなかで識別できる程度に模様が単純で、周期性がないマーカを前記マーカ画像として生成することを特徴とする請求項２に記載の投影画像領域検出装置。
【請求項４】
前記マーカ画像生成部は、前記特定領域の予め定められた色成分が時間経過とともに変化するマーカを前記マーカ画像として生成し、
前記投影画像領域検出部は、前記撮影画像のなかで該色成分が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出することを特徴とする請求項２または請求項３に記載の投影画像領域検出装置。
【請求項５】
前記投影画像領域検出部は、前記撮影画像の差分画像から前記マーカ画像領域を検出することを特徴とする請求項１に記載の投影画像領域検出装置。
【請求項６】
前記投影画像領域検出部によって検出されたマーカ画像領域に基づいて、前記投影画像の画像領域を検出し、検出した投影画像の画像領域の射影歪みを補正する画像補正部を備えたことを特徴とする請求項１乃至請求項５の何れかに記載の投影画像領域検出装置。
【請求項７】
前記投影画像領域検出部は、前記マーカ画像領域の最も外側の角を検出することにより前記マーカ画像領域を検出する初期検出モードと、前記画像補正部によって補正された画像間の差分画像のなかで予め定められたテンプレート画像とテンプレートマッチングを行うことにより前記マーカ画像領域を検出する動的検出モードと、の２つのモードをとることを特徴とする請求項６に記載の投影画像領域検出装置。
【請求項８】
前記投影画像領域検出部は、前記初期検出モードにおいて、前記撮影画像の各角の二等分線を副走査方向として斜めに走査していくことにより前記マーカ画像領域を検出することを特徴とする請求項７に記載の投影画像領域検出装置。
【請求項９】
前記投影画像領域検出部は、前記動的検出モードにおいて、検出済みのマーカ画像領域の周囲に対して前記テンプレートマッチングを行うことを特徴とする請求項７に記載の投影画像領域検出装置。
【請求項１０】
前記投影画像領域検出部は、前記初期検出モードで検出したマーカ画像領域に基づいて、前記テンプレート画像の大きさを決定することを特徴とする請求項７乃至請求項９の何れかに記載の投影画像領域検出装置。
【請求項１１】
前記マーカ画像生成部は、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像より小さくなるよう前記マーカ画像を生成することを特徴とする請求項７乃至請求項１０の何れかに記載の投影画像領域検出装置。
【請求項１２】
前記マーカ画像生成部は、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像よりコントラストが低くなるよう前記マーカ画像を生成することを特徴とする請求項７乃至請求項１１の何れかに記載の投影画像領域検出装置。
【請求項１３】
前記マーカ画像生成部は、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像より色の変化量が少なくなるよう前記マーカ画像を生成することを特徴とする請求項７乃至請求項１２の何れかに記載の投影画像領域検出装置。
【請求項１４】
外部装置から供給された投影画像を投影対象物に投影する投影部と、
前記投影対象物に投影された画像を含む領域を撮影する撮影部と、
前記投影装置に投影させる投影画像の４隅を特定するためのマーカ画像が映されたマーカ画像領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された投影画像領域を前記撮影画像から検出する投影画像領域検出部と、を備えた投影画像領域検出装置において、
特定領域の配色が時間経過とともに変化するマーカを前記マーカ画像として生成するマーカ画像生成部と、
前記マーカ画像生成部によって生成されたマーカ画像を前記投影画像に付加するマーカ画像付加部と、を備え、
前記投影部は、前記マーカ画像が付加された投影画像を投影し、
前記投影画像領域検出部は、前記撮影画像のなかで配色が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出することにより、前記投影画像領域を前記撮影画像から検出することを特徴とする投影画像領域検出装置。
【請求項１５】
投影対象物に画像を投影する投影装置と、
前記投影対象物に投影された画像を含む領域を撮影する撮影装置と、
前記投影装置に投影させる投影画像の４隅を特定するためのマーカ画像が映されたマーカ画像領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された投影画像領域を前記撮影画像から検出する投影画像領域検出部を有する投影画像領域検出装置と、を備えた投影画像領域検出システムにおいて、
前記投影画像領域検出装置は、
特定領域の配色が時間経過とともに変化するマーカを前記マーカ画像として生成するマーカ画像生成部と、
前記マーカ画像生成部によって生成されたマーカ画像を前記投影画像に付加するマーカ画像付加部と、
前記マーカ画像が付加された投影画像を投影させるよう該投影画像を前記投影装置に供給する画像供給部と、を有し、
前記投影画像領域検出部は、前記撮影画像のなかで配色が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出することにより、前記投影画像領域を前記撮影画像から検出することを特徴とする投影画像領域検出システム。
【請求項１６】
投影画像を含む領域が撮影された撮影画像のなかで前記投影画像が映された領域の４隅を特定するためのマーカ画像領域を検出する投影画像領域検出装置を用いた投影画像領域検出方法において、
配色が時間経過とともに変化し続ける領域を前記投影画像領域検出装置が前記マーカ画像領域として検出する投影画像領域検出ステップを有することを特徴とする投影画像領域検出方法。
【請求項１７】
特定領域の配色が時間経過とともに変化するマーカを前記投影画像領域検出装置がマーカ画像としてマーカ画像生成ステップと、
前記マーカ画像生成ステップで生成されたマーカ画像を前記投影画像領域検出装置が前記投影画像に付加するマーカ画像付加ステップと、
前記マーカ画像が付加された投影画像を前記投影画像領域検出装置が投影装置に供給する画像供給ステップと、を有することを特徴とする請求項１６に記載の投影画像領域検出方法。
【請求項１８】
前記マーカ画像生成ステップでは、前記撮影画像のなかで識別できる程度に模様が単純で、周期性がないマーカを前記投影画像領域検出装置が前記マーカ画像として生成することを特徴とする請求項１７に記載の投影画像領域検出方法。
【請求項１９】
前記マーカ画像生成ステップでは、前記特定領域の予め定められた色成分が時間経過とともに変化するマーカを前記投影画像領域検出装置が前記マーカ画像として生成し、
前記投影画像領域検出ステップでは、前記撮影画像のなかで該色成分が時間経過とともに変化し続ける領域を前記投影画像領域検出装置が前記マーカ画像領域として検出することを特徴とする請求項１７または請求項１８に記載の投影画像領域検出方法。
【請求項２０】
前記投影画像領域検出ステップでは、前記撮影画像の差分画像から前記投影画像領域検出装置が前記マーカ画像領域を検出することを特徴とする請求項１６に記載の投影画像領域検出方法。
【請求項２１】
前記投影画像領域検出ステップで検出されたマーカ画像領域に基づいて、前記投影画像領域検出装置が、前記投影画像の画像領域を検出し、検出した投影画像の画像領域の射影歪みを補正する画像補正ステップを有することを特徴とする請求項１６乃至請求項２０の何れかに記載の投影画像領域検出方法。
【請求項２２】
前記投影画像領域検出ステップでは、前記マーカ画像領域の最も外側の角を検出することにより、前記投影画像領域検出装置が前記マーカ画像領域を検出する初期検出ステップと、前記画像補正部によって補正された画像間の差分画像のなかで予め定められたテンプレート画像とテンプレートマッチングを行うことにより、前記投影画像領域検出装置が前記マーカ画像領域を検出する動的検出ステップと、を含むことを特徴とする請求項２１に記載の投影画像領域検出方法。
【請求項２３】
前記初期検出ステップでは、前記撮影画像の各角の二等分線を副走査方向として斜めに走査していくことにより前記マーカ画像領域を検出することを特徴とする請求項２２に記載の投影画像領域検出方法。
【請求項２４】
前記動的検出ステップでは、前記投影画像領域検出装置が、検出済みのマーカ画像領域の周囲に対して前記テンプレートマッチングを行うことを特徴とする請求項２２に記載の投影画像領域検出方法。
【請求項２５】
前記動的検出ステップでは、前記初期検出ステップで検出されたマーカ画像領域に基づいて、前記投影画像領域検出装置が、前記テンプレート画像の大きさを決定することを特徴とする請求項２２乃至請求項２４の何れかに記載の投影画像領域検出方法。
【請求項２６】
前記マーカ画像生成ステップでは、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像より小さくなるよう前記投影画像領域検出装置が前記マーカ画像を生成することを特徴とする請求項２２乃至請求項２５の何れかに記載の投影画像領域検出方法。
【請求項２７】
前記マーカ画像生成ステップでは、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像よりコントラストが低くなるよう前記投影画像領域検出装置が前記マーカ画像を生成することを特徴とする請求項２２乃至請求項２６の何れかに記載の投影画像領域検出方法。
【請求項２８】
前記マーカ画像生成ステップでは、前記動的検出モードにおけるマーカ画像が前記初期検出モードにおけるマーカ画像より色の変化量が少なくなるよう前記投影画像領域検出装置が前記マーカ画像を生成することを特徴とする請求項２２乃至請求項２７の何れかに記載の投影画像領域検出方法。
【請求項２９】
投影画像を含む領域が撮影された撮影画像のなかで前記投影画像が映された領域の４隅を特定するためのマーカ画像領域を検出する投影画像領域検出装置に実行させるための投影画像領域検出プログラムにおいて、
配色が時間経過とともに変化し続ける領域を前記マーカ画像領域として検出させる投影画像領域検出ステップを有することを特徴とする投影画像領域検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１１−８１７７５（Ｐ２０１１−８１７７５Ａ）
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願番号】特願２０１０−１６６９４３（Ｐ２０１０−１６６９４３）
【出願日】平成２２年７月２６日（２０１０．７．２６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願日】平成２２年７月２６日（２０１０．７．２６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]