情報出力装置、プログラム及び情報出力システム
【課題】背景画像に対して状態が変化する物体を明確に区別し、ユーザが指示する箇所の検出精度を高めること。
【解決手段】カメラより入力される第１の取込み画像と、第１の取込み画像より所定のフレーム数だけ遅れて入力する第２の取込み画像を比較し、撮像範囲の内部で状態が変化する物体の所定のフレーム数における第１及び第２の取込み画像の差分を、差分領域検出部１２で検出する。そして検出した物体の差分領域の一部が、撮像範囲に予め設けられた検知領域に重なった場合に、その重なった検知領域に関連付けられる提供情報を提供情報データベース１４から読出し、提供情報を重ねた背景画像を画像出力部１７に出力する。その後、背景画像に重ねられた提供情報の位置及び形状を差分領域検出部１２に知らせて、差分領域検出部１２が提供情報の差分を検出しないように、提供情報無効化部１５で提供情報を無効化する。
【解決手段】カメラより入力される第１の取込み画像と、第１の取込み画像より所定のフレーム数だけ遅れて入力する第２の取込み画像を比較し、撮像範囲の内部で状態が変化する物体の所定のフレーム数における第１及び第２の取込み画像の差分を、差分領域検出部１２で検出する。そして検出した物体の差分領域の一部が、撮像範囲に予め設けられた検知領域に重なった場合に、その重なった検知領域に関連付けられる提供情報を提供情報データベース１４から読出し、提供情報を重ねた背景画像を画像出力部１７に出力する。その後、背景画像に重ねられた提供情報の位置及び形状を差分領域検出部１２に知らせて、差分領域検出部１２が提供情報の差分を検出しないように、提供情報無効化部１５で提供情報を無効化する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、デジタルサイネージ（電子看板）として、物体毎に異なる情報を提供する場合に適用して好適な情報出力装置、プログラム及び情報出力システムに関する。
【背景技術】
【０００２】
従来、街角や電車内等に液晶ディスプレイが設定され、時間によって様々な情報を乗客等に提供するデジタルサイネージが一般に知られるようになった。デジタルサイネージは、静止画だけでなく、動画についても多くの印象的なコンテンツが提供されるようになっている。
【０００３】
デジタルサイネージの一種に、壁面に沿って移動する通行人の移動速度に合わせて、通行人毎に個別の情報を提供する情報出力システムがある。この情報出力システムは、通行人を含めて壁面を撮影するカメラと、カメラが取り込んだ映像から通行人が含まれる箇所を検出する情報出力装置と、壁面に「提供情報」を表示するプロジェクタ装置と、を備えて構成される。そして、情報提供システムは、検出した通行人の移動速度に合わせて個別の映像を「提供情報」として再生するため、通行人毎にそれぞれ内容が異なる情報を提示することが可能である。
【０００４】
特許文献１には、プラスチックスクリーンの背面を撮影して、人間の手によって赤外光が遮光された領域を検出し、この遮光領域の中心座標をスクリーン上でのタッチ位置として検出する技術が開示されている。
【０００５】
また、従来、カメラが撮像した複数のフレーム毎に被写体のフレーム間差分を検出して、複数のフレーム間に渡って画面内における位置座標が変わる「移動体」を検出するフレーム間差分検知方法が知られている。ここで、複数のフレーム間に渡って移動体として検出されない部分を「静止体」と呼ぶ。
このフレーム間差分検知方法は、複数のフレーム間における物体の差分（色も含む。）が生じた箇所を検知することによって、移動体と静止体を区別する方法である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２９９４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来のフレーム間差分検知方法では、物体が移動した結果、壁面に表示される個別の提供情報（再生される映像）についても移動体として誤認識することがあった。このため、情報出力装置が、壁面に投影される提供情報を移動体であると認識すると、誤認識したそれぞれの提供情報について新たに別の提供情報を壁面に表示させる可能性があり、ユーザにとって自身に向けられた提供情報がどれであるのか認識しづらいという問題があった。
【０００８】
また、特許文献１に記載された技術では、スクリーンの背面に遮光領域を検出するための空間が必要であり、設置する場所が限られていた。
【０００９】
本発明はこのような状況に鑑みて成されたものであり、背景画像に対して状態が変化する物体を明確に区別し、ユーザが指示する箇所の検出精度を高めることができる情報出力装置、プログラム及び情報出力システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明情報出力装置では、所定の大きさの表示領域に背景画像を表示する表示部に前記背景画像を出力する画像出力部を設ける。この表示される背景画像の内、所定の大きさの撮像範囲を被写体としてカメラで撮像して第１の取込み画像を得るとともに、この第１の取込み画像より所定のフレーム数だけ遅れて同じ撮像範囲の被写体をカメラで撮像した第２の取込み画像を得る。そして、この第１の取込み画像と第２の取込み画像を比較し、上述の撮像範囲の内部で状態が変化する物体の所定のフレーム数における第１の取込み画像と第２の取込み画像の差分を差分領域検出部で検出する。この第１の取込み画像と第２の取込み画像の差分が所定の閾値を超えたときに、差分領域検出部は差分領域があると判定する。
【００１１】
また、撮像範囲の中には予め設けられたいくつかの検知領域が設けられており、この検知領域の一部が、第１の取込み画像と第２の取込み画像の差分が閾値を超えた差分領域と重なった場合に、この検知領域に関連付けられる提供情報を提供情報データベースから読出し、提供情報を重ねた背景画像を表示部に出力する。
そして、背景画像に重ねられた提供情報の位置及び形状を差分領域検出部に知らせることによって、差分領域検出部が提供情報を差分として（つまり、被写体の動きとして）検出しないように提供情報を無効化する。
【００１２】
本発明のプログラムは、上記情報出力装置の各機能をコンピュータで実現させるために、コンピュータにインストールするプログラムである。
なお、本発明の情報出力システムは、上記情報出力装置の構成に所定の大きさの表示領域に背景画像を表示する表示部を加えたものである。
【発明の効果】
【００１３】
本発明によれば、表示画面の検知領域に状態が変化する物体（被写体）が入ると、その変化を差分領域として検出し、この検知領域に差分領域の一部が重なったことをトリガーとして、検知領域に関連づけられる提供情報を出力する。このとき、背景画像に重ねられた提供情報の位置及び形状を差分領域検出部に知らせることによって、差分領域検出部が提供情報の差分を検出しないようにしたため、差分領域の検出の際に、提供情報の影響が及ばないようにしている。これにより、状態が変化して差分領域として認識される物体を、背景画像に対して明確に区別することが可能となり、ユーザが指示する検知領域の検出精度を高めることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態における情報出力システムの外部構成例を示す外観図である。
【図２】本発明の一実施の形態における情報出力システムの内部構成例を示すブロック図である。
【図３】本発明の一実施の形態における情報出力システムが用いる各テーブルの構成例を示す説明図である。
【図４】本発明の一実施の形態における画面内に物体が入らない場合における操作画面の表示例を示す説明図である。
【図５】本発明の一実施の形態における画面内に物体が入る場合における操作画面の表示例を示す説明図である。
【図６】本発明の一実施の形態における提供情報を表示領域に出力する場合における操作画面の表示例を示す説明図である。
【図７】本発明の一実施の形態における提供情報無効化処理（マスク機能）の実行時における操作画面の表示例を示す説明図である。
【図８】本発明の一実施の形態における提供情報無効化処理（マスク機能）の詳細な動作例を示す説明図である。
【図９】本発明の一実施の形態における映像処理回路の処理例を示すフローチャートである。
【図１０】本発明の他の実施の形態における輝度変化に対応する情報出力システムの外部構成例を示す外観図である。
【図１１】本発明の他の実施の形態における検知領域のバリエーションの例を示す外観図である。
【図１２】本発明の他の実施の形態における情報出力システムの外部構成例を示す外観図である。
【図１３】本発明の他の実施の形態における情報出力システムの外部構成例を示す外観図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施の形態について、図１〜図９を参照して説明する。本実施の形態では、壁又はスクリーン等に映像を提示する情報出力システム１に適用した例（以下、「本例」という。）について説明する。
【００１６】
図１は、本例の情報出力システム１の外観構成例を示す。
情報出力システム１は、映像が投影される表示領域５ａの前を通過する物体（歩行者）の様子を表示領域５ａと共にビデオ撮影するカメラ２と、カメラ２から受け取った映像に対して所定の処理を加える情報出力装置３と、情報出力装置３が出力する映像信号より、表示領域５ａに向かって映像を投影する表示装置としてプロジェクタ装置４と、を備える。情報出力装置３には、例えば、パーソナルコンピュータ装置（ＰＣ：Personal Computer）が用いられる。表示領域５ａには、例えば、スクリーン又は壁面が用いられる。
【００１７】
情報出力装置３は、表示領域５ａに対する物体の位置座標をリアルタイムで演算し、物体の動きに合わせて画像やメッセージ等をプロジェクタ装置４に投影させる機能を有する。カメラ２とプロジェクタ装置４は、表示領域５ａに対向する壁面に取付けられる。また、カメラ２とプロジェクタ装置４は、カメラ２が撮像可能な範囲と、プロジェクタ装置４が映像を投影可能な範囲がほぼ等しくなるような位置に設置される。
【００１８】
図２は、情報出力装置３の内部構成例を示す。
情報出力装置３は、カメラ２から取得した画像に各種の処理を施す映像処理回路６と、カメラ２から取得した画像や映像処理回路６が処理中の画像を表示する表示部７と、情報出力装置３に動作の指示を与える操作部８と、を備える。表示部７には、液晶ディスプレイパネル、有機ＥＬディスプレイパネル等が用いられる。また、操作部８には、キーボード、タッチパッド、コネクタ接続したマウス等が用いられる。
【００１９】
映像処理回路６は、カメラ２から画像を取得する画像取得部１１と、数フレーム間における画像を比較して画像の差分を検出する差分領域検出部１２と、を備える。また、ユーザに提供する画像等の情報を記録する提供情報データベース１４から提供情報を読み出して、後述する画像出力部１７を介してプロジェクタ装置４に提供情報を出力する提供情報出力部１３と、を備える。
【００２０】
また、映像処理回路６は、提供情報出力部１３から受け取った提供情報より、差分領域検出部１２が検出する差分領域で無効化する箇所を特定する提供情報無効化部１５を備える。また、映像処理回路６は、表示領域５ａに表示される背景画像を記録する背景画像データベース１６と、背景画像データベース１６から読み出した背景画像をプロジェクタ装置４に出力する画像出力部１７と、を備える。
【００２１】
次に、各処理ブロックの動作を説明する。
画像取得部１１は、カメラ２から受け取った映像を所定のフレーム数で取り込む処理（キャプチャ処理）を行う。ここで、カメラ２の撮像フレーム数と情報出力装置３が処理する映像の処理フレーム数は異なっていても、画像取得部１１のキャプチャ処理によりフレーム数の差による影響は除かれる。また、画像取得部１１は、映像に含まれる被写体の輪郭を強調する処理等を行うことにより、後段の処理ブロックが円滑に処理を行えるようにしている。
【００２２】
差分領域検出部１２は、表示領域５ａに表示される背景画像５ｂの内、所定の大きさの撮像範囲を被写体として撮像するカメラ２から入力される第１の取込み画像を得るとともに、及び第１の取込み画像より所定のフレーム数だけ遅れてカメラ２から入力される入力する第２の取込み画像を得て、第１の取込み画像と第２の取込み画像を比較する。そして、撮像範囲で状態が変化する物体の所定のフレーム数における第１及び第２の取込み画像の差分が所定の閾値を超えたときに、物体の差分領域として検出する。
【００２３】
提供情報出力部１３は、撮像範囲に予め検知領域が設けられ、この検知領域に差分領域の一部が重なった場合に、差分領域の一部が重なった検知領域に関連付けられる提供情報を提供情報データベース１４から読出す。提供情報データベース１４は、内部テーブル（後述する図３参照）により実体関連モデル（Entity-Relationship Model）を構成する。そして、提供情報出力部１３は、読み出した提供情報を画像出力部１７に出力する。
【００２４】
提供情報無効化部１５は、背景画像５ｂに重ねられた提供情報の位置及び形状を差分領域検出部１２に知らせることによって、差分領域検出部１２が提供情報の差分を検出しないように提供情報を無効化する。これにより、動きのある提供情報が表示領域５ａに投影されても、差分領域検出部１２は、この提供情報の動きを差分領域として誤検出しなくなる。
【００２５】
画像出力部１７は、所定の大きさの表示領域５ａに背景画像を表示するプロジェクタ装置４に背景画像を出力する。このとき、画像出力部１７は、背景画像データベース１６から背景画像を読み出し、提供情報出力部１３から受け取った提供情報を重ねた背景画像をプロジェクタ装置４に出力する。
【００２６】
図３は、提供情報データベース１４における各テーブルの構成例を示す。
提供情報データベース１４は、検知領域を個別に管理する検知領域テーブル１４ａと、提供情報データを個別に管理する提供情報テーブル１４ｂを備える。検知領域テーブル１４ａは、背景画像５ｂ内に設定される検知領域を個別に識別する検知領域ＩＤフィールドと、背景画像５ｂ内における検知領域の位置座標を格納する検知領域座標フィールドを備える。
【００２７】
提供情報テーブル１４ｂは、提供情報を個別に識別する提供情報ＩＤフィールドと、提供情報ＩＤに一意に関連づけられる提供情報データを格納する提供情報データフィールドと、どの検知領域ＩＤに提供情報が関連づけられるかを指定する外部キーとしての検知領域ＩＤフィールドを備える。これらのテーブルにより、検知領域には、提供情報が、１対１、１対多、又は多対１又は、多対多のうち、いずれかで関連付けられることとなる。
【００２８】
次に、表示領域５ａに表示される映像の例について図４〜図７を参照して説明する。図４〜図７に示される操作画面２０は、情報出力装置３が備える表示部７に表示されるユーザ・インタフェースである。
【００２９】
図４は、移動する物体が画面内に入らない場合における操作画面２０の表示例を示す。
操作画面２０には、画面中央から上部にかけてカメラ２が表示領域５ａを撮像した背景画像５ｂと、この背景画像５ｂに設定される各種の領域、情報を可視化する表示領域２１が表示される。そして、画面下部に各種の操作パラメータを入力する操作領域３０が表示される。図４と図５の時点において、提供情報２３は、背景画像５ｂの一部として表示領域５ａに表示される。
【００３０】
始めに、図２に示す映像処理回路６は、カメラ２が撮像した現在の表示領域５ａに表示される画像を取り込み、背景画像５ｂとして操作画面２０内に表示する。背景画像５ｂの四隅にはマーカ２４が表示される。マーカ２４は、背景画像５ｂと提供情報２３が表示される範囲を指定するために用いられる。必要であれば背景画像５ｂの台形補正を行い、表示領域２１内で背景画像５ｂが長方形で表示されるようにする。
【００３１】
背景画像５ｂには、移動体として認識される差分領域が重なると提供情報２３を表示領域５ａに投影するトリガーとして機能する検知領域２２ａ，２２ｂと、ユーザに対して動画像等を示す提供情報２３が含まれる。本例では、多数の検知領域が存在するものの、説明を簡単にするため、２つの検知領域２２ａ，２２ｂについて説明する。
【００３２】
映像処理回路６は、カメラ２から画像を取り込んで背景画像５ｂとして表示すると共に、カメラ２で撮像している範囲内に検知領域２２ａ，２２ｂを設定する。また、検知領域２２ａ，２２ｂの大きさ、形状（長方形、円形、楕円形、不定形等）は、予め決定しておく。検知領域２２ａ，２２ｂは、実際に表示領域５ａに投影される背景画像５ｂでは不図示としてあり、オペレータが操作画面２０を介して表示部７に表示する場合以外では視認できない。
【００３３】
提供情報２３は、差分領域検出部１２が差分領域を検出しない場合、背景画像５ｂの一部として表示領域５ａに表示され続ける。しかし、検出された差分領域が検知領域２２ｂに重なると、検知領域２２ｂに関連づけられた提供情報２３が背景画像５ｂ内で所定の動作を行う。本例では、提供情報２３として示されるロケットが背景画像５ｂ内を斜め右方向に飛ぶような表示が行われる。
【００３４】
操作領域３０は、差分領域を検出するために取込み画像のフレーム間隔を表す処理間隔を定める処理間隔指定部３１と、提供情報２３を表示する処理の開始又は終了を指示する指示領域３２と、を備える。また、操作画面２０とは異なる外部エディタを起動する起動指示部３３と、差分領域を二階調化して表示する二階調化表示部３４と、背景画像５ｂ内に含まれる提供情報２３を白黒反転して表示する背景認識表示部３５と、を備える。
【００３５】
処理間隔指定部３１は、フレーム間隔として、例えば４３フレームを指定する。このフレーム間隔は自由に変えることができるため、移動速度が早い物体を移動体として検出する場合には、フレーム間隔を数十フレームから数フレームに狭める操作をすることが可能である。一方、フレーム間隔を広くすることによって、飛ぶ虫や鳥等を移動体として誤検出する可能性を小さくすることができる。
【００３６】
指示領域３２は、表示領域５ａに背景画像５ｂと提供情報５ｃを投影する動作の開始又は終了をプロジェクタ装置４に指示する。また、電源オフを指示することにより、プロジェクタ装置４が行う背景画像５ｂと提供情報５ｃの投影を終えることもできる。
【００３７】
起動指示部３３は、操作画面２０とは別のウィンドウ画面を表示し、各種の設定を行うことができる。起動指示部３３には、背景画像５ｂと提供情報２３を表示領域５ａに表示する起動日時を指定するスケジューラ、提供情報２３として表示される図形の種類、大きさ等の編集を行う提供情報エディタ、検知領域２２ａ，２２ｂの位置、大きさの編集を行うスイッチエディタが表示される。
【００３８】
二階調化表示部３４は、後述する二階調化処理によって得られた差分領域の画像を白黒で表示する。本例では、差分領域として検出される部分を白で表示し、差分領域として検出されない部分や動きが少ない部分を黒で表示するが、逆の色であってもよいし、他の二色を使ってもよい。二階調化表示部３４で指定する「しきい値」は、任意に変えることが可能である。例えば、しきい値を低い値にすると、物体のわずかな動きであっても二階調化表示部３４が差分領域を表示するが、しきい値を高い値にすると、物体が大きく動かなければ二階調化表示部３４が差分領域を表示しない。
【００３９】
背景認識表示部３５は、差分領域が検知領域２２ｂに重なって動き出す提供情報２３を除いた背景画像５ｂを黒色で塗りつぶして表示する。このとき、状態が変化する提供情報２３は白色で二階調化表示される。背景認識表示部３５においても、塗りつぶされる白と黒の色は逆色であってもよいし、他の二色を使ってもよい。背景認識表示部３５で指定する「ぼかし値」は、任意に変えることが可能である。ここで、ボールや虫等の小さな物体が移動体として誤検出されることを防ぐため、所定の画素領域より小さな領域で示される差分領域については、ぼかす処理を行うことにより、差分領域として認識しないようにしている。
【００４０】
図５は、背景画像５ｂ内に入った物体の表示例を示す。
ここでは、複数の画像を比較して差分を検出する処理について説明する。
まず、オペレータが指示領域３２内の開始ボタンを押すことにより、キャプチャ処理を開始する（後述する図９におけるステップＳ４〜Ｓ９）。カメラ２は、表示領域５ａに投影される背景画像５ｂと物体（本例では、人）を撮像する。情報出力装置３は、所定のフレーム間隔でカメラ２から取り込んだ第１及び第２の取込み画像を比較して差分領域２５を検出し、この差分領域２５を二階調化して二階調化表示部３４に表示する。
【００４１】
図６は、差分領域２５が検知領域２２ｂに重なって提供情報２３を表示領域に出力する場合の表示例を示す。
情報出力装置３は、物体が左方向に移動してロケットの画像に触れる動作を行うと、触れる動作を行った腕の部分を撮像範囲の内部で状態が変化する物体を示す差分領域として検出する。
【００４２】
そして、情報出力装置３は、差分領域と検知領域２２ｂが重なったことを認識する。このとき、情報出力装置３は、表示領域５ａに提供情報２３として表示される提供情報データ（本例では、ロケット）を提供情報データベース１４から読み出し、検知領域２２ｂに対応した提供情報２３を表示領域５ａに出力する。そして、二階調化表示部３４は、物体の差分画像を表示し、背景認識表示部３５は、提供情報２３として動き始めるロケット部分を除いた領域を背景として表示する。
【００４３】
図７は、提供情報無効化処理（マスク機能）を実行した場合の表示例を示す。
背景画像５ｂ内を提供情報２３が動く場合に、提供情報２３を誤って移動体として認識しないようにするため、情報出力装置３は、提供情報無効化処理を行うことにより、提供情報２３をマスクする。
【００４４】
提供情報無効化部１５は、背景画像５ｂを黒色とし、検知領域２２ｂに対応して出力される提供情報２３（再生される映像）を白色とする二階調化処理を行う。そして、白色とした提供情報２３を黒色に反転させた上で、黒色とした背景画像５ｂに反転した提供情報２３を重ね合わることにより、提供情報２３を無効化する。こうして、情報出力装置３は、背景画像５ｂ内を提供情報２３が移動して、差分領域として誤認識したり、この誤認識した差分領域が検知領域と重なって新たな提供情報を出力したりすることを防ぐ。このため、情報出力装置３は、プロジェクタ装置４で再生される映像と、実体をもった移動体を区別して検知することが可能となる。
【００４５】
図８は、提供情報無効化処理（マスク機能）の詳細な動作例を示す。
図８Ａは、背景画像５ｂの表示例を示す。
ここでは、既に物体が検知領域に重なって、ロケットとして表される提供情報２３が動き出している瞬間を表している。
【００４６】
図８Ｂは、物体と提供情報２３を混合した状態を示す。
何ら処理を施さないと、提供情報２３が画面内を移動することにより移動体として誤認識され、誤認識された移動体が他の検知領域に重なると、別の提供情報が表示される可能性があるため、マスク機能を有効にする。
【００４７】
図８Ｃは、提供情報２３を二階調化した表示例を示す。
図８Ｄは、二階調化された提供情報２３を白黒反転して表示する例を示す。
提供情報無効化部１５は、提供情報２３を白色で表し、他の部分を黒色で表す二階調化処理を行う。そして、提供情報無効化部１５は、二階調化された提供情報２３を白黒反転する処理を行う。
【００４８】
図８Ｅは、図８Ｃと図８Ｄに示した二階調化された提供情報２３を足し合わせた例を示す。
提供情報無効化部１５は、図８Ｃと図８Ｄに示した二階調化された提供情報２３を足し合わせることにより、提供情報２３を無効化する。
【００４９】
図８Ｆは、提供情報無効化処理（マスク機能）が行われた場合における差分領域検出部１２の認識例を示す。
差分領域検出部１２は、提供情報無効化部１５から無効化された提供情報２３と背景画像５ｂとを受け取る。これにより、差分領域検出部１２は、提供情報２３を移動体として認識せず、物体が動いた部分だけを差分領域として検出することが可能となる。
【００５０】
＜拡大処理＞
ここで、提供情報無効化部１５が行う提供情報２３の拡大処理例について説明する。
映像処理回路６が、背景画像５ｂを取り込んで提供情報２３の無効化処理を行う際には、複数の機能ブロックを経由するため、タイムラグが発生する。このため、実際にプロジェクタ装置４が表示領域５ａに表示する提供情報２３と、取り込んだ画像との間に提供情報２３の位置のずれを考慮する必要がある。
【００５１】
提供情報無効化部１５は、提供情報２３の位置のずれによる影響を抑えるため、図８Ｃで示される二階調化処理に際して、白く表示される提供情報２３を数画素分だけ拡大する処理を行う。この拡大処理によりタイムラグを擬似的に補正することができ、提供情報２３を白黒反転して背景画像と合わせ込む際に、提供情報２３（特に、提供情報２３の周縁部）が移動体として誤認識される可能性を低めている。なお、提供情報２３を拡大する処理は、白黒反転した後、この反転部分を拡大して行ってもよい。
【００５２】
また、提供情報無効化部１５は、ガウシアンフィルタを用いることによって、提供情報２３の周縁部をぼかす処理を行うことも可能である。これにより、提供情報２３の出力時と取込み時にタイムラグが生じた場合であっても、提供情報無効化部１５は、確実に提供情報２３だけを無効化することができる。
【００５３】
図９は、情報出力装置３が搭載する映像処理回路６の処理例を示す。
映像処理回路６は、大きく以下の処理を行っている。
＜検知領域の設定＞
カメラ２にて表示領域５ａを撮像し、この撮像した領域を、物体が動いたことを検知する検知領域として設定する。検知領域は複数箇所を設定することが可能であり、検知領域の大きさは、予め決定しておくことが望ましい。
＜移動体の検出＞
映像処理回路６は、設定した検知領域におけるフレーム間差分で移動体を検知する。現在のフレームにおける取込み画像と、所定フレーム前における取込み画像を比較し、各取込み画像の相違部分を検知する。この相違部分を「移動体」として検出する。
＜マスク機能＞
映像処理回路６の検知領域に対応した提供情報（再生される映像）を、白色と黒色に二階調化する。次に、二階調化した画像と反転させた提供情報を足し合わせ、再生映像を打ち消すマスク機能を実現する。マスク機能により、プロジェクタ装置４が再生する映像に対して、実体をもった移動体を検知することが可能となる。
【００５４】
次に、映像処理回路６の詳細な処理例について説明する。
始めに、画像取得部１１は、カメラ２から表示領域５ａに現在表示されている画像を取り込み（ステップＳ１）、取り込んだ画像の台形補正を行う（ステップＳ２）。この台形補正は、背景画像５ｂに対する提供情報２３や差分領域２５の位置精度を高めるために行われる。次に、画像取得部１１は、検知領域を設定することにより（ステップＳ３）、画像をキャプチャ処理するための初期設定を完了する。
【００５５】
次に、差分領域検出部１２は、取り込んだ画像から画像のキャプチャ処理を行い（ステップＳ４）、取り込んだ画像を所定のフレーム数毎に比較する（ステップＳ５）。ここでは、第１及び第２の取込み画像の差分を比較する処理が行われる。
【００５６】
次に、差分領域検出部１２は、第１及び第２の取込み画像に差分があるか否かを判断する（ステップＳ６）。差分がない場合、ステップＳ４に処理を移し、画像の差分比較処理を続ける。差分がある場合、提供情報出力部１３は、検出した差分領域が検知領域に重なったか否かを判断する（ステップＳ７）。差分領域が検知領域に重なっていない場合、ステップＳ４に処理を移し、画像の差分比較処理を続ける。
【００５７】
差分領域が検知領域に重なっている場合、提供情報出力部１３は、提供情報データベース１４から検知領域に対応する提供情報データを読み出し（ステップＳ８）、検知領域に対応する提供情報を画像出力部１７に出力する（ステップＳ９）。そして、画像出力部１７は、提供情報を重ねた背景画像をプロジェクタ装置４に出力し、プロジェクタ装置４が表示領域５ａに背景画像を表示する。これらステップＳ４〜Ｓ９までの処理を「キャプチャ処理」と呼ぶ。
【００５８】
次に、提供情報無効化部１５は、提供情報出力部１３が出力する提供情報を二階調化し（ステップＳ１０）、二階調化した白黒情報を反転する（ステップＳ１１）。そして、提供情報無効化部１５は、反転した白黒情報を差分領域検出部１２に出力する。
【００５９】
差分領域検出部１２は、提供情報無効化部１５から受け取る反転した白黒情報を、取り込んだ背景画像に重ね合わせることにより、提供情報を無効化する（ステップＳ１２）。これらステップＳ１０〜Ｓ１２までの処理を「提供情報無効化処理」と呼ぶ。
【００６０】
以上説明した一実施の形態に係る情報出力システム１によれば、状態が変化する物体を差分領域として検出し、検知領域に差分領域の一部が重なったことをトリガーとして、検知領域に関連づけられる提供情報を出力する。このとき、背景画像に重ねられた提供情報の位置及び形状を差分領域検出部に知らせることによって、差分領域検出部が提供情報の差分を検出しないようにしたため、差分領域の検出時における提供情報の影響が及ばない。これにより、差分領域として認識される状態が変化する物体を背景画像に対して明確に区別することが可能となり、ユーザが指示する箇所の検出精度を高めることができる。
【００６１】
このように、情報出力装置３は、カメラ２から取り込んだ情報を利用するのではなく、情報出力装置３の内部で再生する提供情報を利用して、カメラ２が撮像した画像に含まれる提供情報を打ち消すことができる。このとき、提供情報を二階調化した上で、その提供情報を反転し、二階調化した背景画像と足しあわせる事により、提供情報を打ち消している。これにより、提供情報（再生される映像）と移動体、及び静止体を区別して認識することが可能となった。
【００６２】
また、検知領域は背景画像５ｂに合わせて任意の箇所に指定することができ、提供情報についても任意の個数で検知領域に関連づけることができる。このため、ユーザへの提供情報の提示に際して、様々なバリエーションをとることが可能となる。
【００６３】
＜変形例＞
なお、上述した実施の形態に係る情報出力システム１は、背景画像と提供情報を投影する箇所として表示領域５ａを用いたが、建築物の天井や床面、またホールにおける座席面を設定することもできる。このように提供情報の表示箇所を壁面やスクリーンに限らないことによって、より柔軟な運用が可能となる。
【００６４】
＜提供情報のバリエーション＞
また、提供情報は、アニメーション等の図形・文字・記号等をプロジェクタ装置４やＦＰＤ等の映像表示機器で表示しているが、映像表示機器以外にも、他デバイスを連携させるようにしてもよい。例えば、アクチュエータ、電球、スピーカー、モーター、ソレノイド、ペルチェ素子等の電子制御が可能な動力部を持つものを用いて、ユーザが行う所定の動作により、照明機器、電動玩具、自動ドア等の動作を制御するようにしてもよい。
【００６５】
＜物体の状態変化のバリエーション＞
また、物体が移動するだけでなく、物体の輝度変化を状態変化と認識して提供情報を出力するトリガーとすることもできる。ここで、外光が照射するような環境における外的要因によって意図しない輝度変化を物体の状態変化として誤認識しないようにするため、図１０を参照して以下の３パターンについて対応策を示す。
【００６６】
図１０Ａは、カメラ２と同じ場所に赤外線カメラ４１を配置した例である。
赤外線カメラ４１を用いて表示領域５ａを撮影することによって、物体の温度変化等を状態変化として認識し、提供情報を出力することが可能である。
【００６７】
図１０Ｂは、カメラ２と同じ場所に照度計４２を配置した例である
照度計４２やその他の輝度センサ等を用いることによって、表示領域５ａに表示される背景画像の輝度をモニタリングし、物体の輝度変化を状態変化として認識する。そして、輝度が所定のしきい値を超えた場合に、提供情報を出力するように処理を行う。
【００６８】
＜検知領域のバリエーション＞
また、上述した実施の形態では、検知領域は提供情報を出力するためのトリガーとして用いたが、検知領域自体を可視化した上で、検知領域をディレクトリ化し、階層性を持たせるようにしてもよい。このときの検知領域の繊維例について図１１を参照して説明する。
【００６９】
図１１Ａは、複数の提供情報から１つの提供情報を選択する例を示す。
表示領域５ａには、「中華」、「和食」、「洋食」のメニューを示す映像が提供情報として表示される。この場合、最初から明示的に全ての提供情報が表示されるのではなく、ユーザが一つの提供情報を選択する動作を行うことをトリガーとして、新たに別の提供情報が表示される。
【００７０】
図１１Ｂは、図１１Ａにおいて「洋食」が選択された場合に表示される提供情報を選択する例を示す。
本例では、「洋食」の下位階層である「ハンバーグ」、「カレーライス」、「パスタ」、「ドリンク」といったメニューが提供情報として横一列に可視表示される。このとき、ユーザが「パスタ」を選んだら、「パスタ」に関連するアニメーション表示を行うようにすればよい。このように、ユーザ・インタフェース部分を改良することで、ユーザビリティが向上する。
【００７１】
＜情報出力システムのバリエーション＞
また、上述した実施の形態に係る情報出力システム１を図１に示した形態以外の場所に設置することも可能である。
図１２は、情報出力システム１の設置場所に関する変形例を示す。
【００７２】
図１２Ａは、表示領域５ａに映像が透過するスクリーンを用いた場合における情報出力システムの構成例を示す。
このとき、プロジェクタ装置４は、表示領域５ａの背面に設置され、カメラ２は、表示領域５ａの上側に設置される。そして、カメラ２が上方から撮影した物体と背景画像５ｂは情報出力装置３に供給され、プロジェクタ装置４が物体の動きに合わせた提供情報を表示領域５ａに出力する。
【００７３】
図１２Ｂは、表示領域５ａに映像を自身で表示するプラズマディスプレイパネルを有する表示装置における情報出力システムの構成例を示す。
このとき、プロジェクタ装置４の代わりに、表示領域５ａが情報出力装置３から受け取った映像を直接表示する。なお、複数台のプラズマディスプレイパネルを同期して映像出力を行うため、提供情報を出力する情報出力装置３とは別に、プラズマディスプレイパネルの表示制御を行うための制御コンピュータ９を備えるものとする。
【００７４】
図１３は、表示領域５ａに映像を自身で表示する液晶ディスプレイパネルを有する表示装置を用いた情報出力システムの構成例を示す。
【００７５】
図１３Ａは、カメラ２の手前に偏光フィルタ４３を取付けた例を示す。
ここでは、液晶ディスプレイ装置やＰＣ用のモニタ等が備える液晶ディスプレイパネルを表示領域５ａとした例を示している。そして、表示装置とカメラ２の間に特定の振動方向の光を透過させる偏光素子として偏光フィルタ４３を設置している。
【００７６】
図１３Ｂは、液晶ディスプレイパネルの内部構成例を示す。
液晶ディスプレイパネルは、垂直方向の偏光フィルタ５１と、画素毎に個別電極が埋め込まれたガラス基板５２と、配向層に挟まれた液晶５３と、画素に共通して電力を供給する共通電極が埋め込まれたガラス基板５４と、水平方向の偏光フィルタ５５と、面光源として発光する光源５６と、を備える。
【００７７】
光源５６は、様々な方向に振幅成分を持つ光を放射し、液晶ディスプレイパネルは、光源５６が発する光の一部又は全体を遮ることにより映像を表示し、映像光を放射する。偏光フィルタ４３は、特定方向の振幅成分を持つ光だけを通過させ、残りの光を吸収する機能を有する。本例では、カメラ２のレンズ部分に取付けられる円形に切り取られた偏光フィルタ４３の方向を適宜変える。この回転する偏光フィルタ４３によって、液晶ディスプレイパネルからカメラ２に入射する映像光の光量を増減することができる。
【００７８】
偏光フィルタ４３がカメラ２に入射する映像光を遮ると、カメラ２は、表示領域５ａに表示される映像を撮影せず、表示領域５ａの手前にいる物体だけを撮影する。つまり、カメラ２は、表示装置（本例では、液晶ディスプレイパネル）が表示する背景画像や提供情報を撮像しない。このため、情報出力装置３は、提供情報の動きを移動体と誤認識することがなく、状態が変化する物体だけを確実に差分領域として認識し、提供情報に差分情報を重ねた背景画像を表示装置に出力することができる。
【００７９】
＜差分領域検出のバリエーション＞
また、差分領域検出部１２は、第１及び第２の取込み画像に解像度を下げるぼかし処理を施して、差分領域の検出精度を低めてもよい。また、差分領域検出部１２は、複数の物体が近接して状態が変化する場合に、複数の物体の差分領域を合わせて一つの差分領域として検出してもよい。
【００８０】
また、本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
【符号の説明】
【００８１】
１…情報出力システム、２…カメラ、３…情報出力装置、４…プロジェクタ装置、５ａ…表示領域、５ｂ…背景画像、５ｃ…提供情報、６…映像処理回路、７…表示部、８…操作部、９…制御コンピュータ、１１…画像取得部、１２…差分領域検出部、１３…提供情報出力部、１４…提供情報データベース、１４ａ…検知領域テーブル、１４ｂ…提供情報テーブル、１５…提供情報無効化部、１６…背景画像データベース、１７…画像出力部
【技術分野】
【０００１】
本発明は、例えば、デジタルサイネージ（電子看板）として、物体毎に異なる情報を提供する場合に適用して好適な情報出力装置、プログラム及び情報出力システムに関する。
【背景技術】
【０００２】
従来、街角や電車内等に液晶ディスプレイが設定され、時間によって様々な情報を乗客等に提供するデジタルサイネージが一般に知られるようになった。デジタルサイネージは、静止画だけでなく、動画についても多くの印象的なコンテンツが提供されるようになっている。
【０００３】
デジタルサイネージの一種に、壁面に沿って移動する通行人の移動速度に合わせて、通行人毎に個別の情報を提供する情報出力システムがある。この情報出力システムは、通行人を含めて壁面を撮影するカメラと、カメラが取り込んだ映像から通行人が含まれる箇所を検出する情報出力装置と、壁面に「提供情報」を表示するプロジェクタ装置と、を備えて構成される。そして、情報提供システムは、検出した通行人の移動速度に合わせて個別の映像を「提供情報」として再生するため、通行人毎にそれぞれ内容が異なる情報を提示することが可能である。
【０００４】
特許文献１には、プラスチックスクリーンの背面を撮影して、人間の手によって赤外光が遮光された領域を検出し、この遮光領域の中心座標をスクリーン上でのタッチ位置として検出する技術が開示されている。
【０００５】
また、従来、カメラが撮像した複数のフレーム毎に被写体のフレーム間差分を検出して、複数のフレーム間に渡って画面内における位置座標が変わる「移動体」を検出するフレーム間差分検知方法が知られている。ここで、複数のフレーム間に渡って移動体として検出されない部分を「静止体」と呼ぶ。
このフレーム間差分検知方法は、複数のフレーム間における物体の差分（色も含む。）が生じた箇所を検知することによって、移動体と静止体を区別する方法である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２９９４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来のフレーム間差分検知方法では、物体が移動した結果、壁面に表示される個別の提供情報（再生される映像）についても移動体として誤認識することがあった。このため、情報出力装置が、壁面に投影される提供情報を移動体であると認識すると、誤認識したそれぞれの提供情報について新たに別の提供情報を壁面に表示させる可能性があり、ユーザにとって自身に向けられた提供情報がどれであるのか認識しづらいという問題があった。
【０００８】
また、特許文献１に記載された技術では、スクリーンの背面に遮光領域を検出するための空間が必要であり、設置する場所が限られていた。
【０００９】
本発明はこのような状況に鑑みて成されたものであり、背景画像に対して状態が変化する物体を明確に区別し、ユーザが指示する箇所の検出精度を高めることができる情報出力装置、プログラム及び情報出力システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明情報出力装置では、所定の大きさの表示領域に背景画像を表示する表示部に前記背景画像を出力する画像出力部を設ける。この表示される背景画像の内、所定の大きさの撮像範囲を被写体としてカメラで撮像して第１の取込み画像を得るとともに、この第１の取込み画像より所定のフレーム数だけ遅れて同じ撮像範囲の被写体をカメラで撮像した第２の取込み画像を得る。そして、この第１の取込み画像と第２の取込み画像を比較し、上述の撮像範囲の内部で状態が変化する物体の所定のフレーム数における第１の取込み画像と第２の取込み画像の差分を差分領域検出部で検出する。この第１の取込み画像と第２の取込み画像の差分が所定の閾値を超えたときに、差分領域検出部は差分領域があると判定する。
【００１１】
また、撮像範囲の中には予め設けられたいくつかの検知領域が設けられており、この検知領域の一部が、第１の取込み画像と第２の取込み画像の差分が閾値を超えた差分領域と重なった場合に、この検知領域に関連付けられる提供情報を提供情報データベースから読出し、提供情報を重ねた背景画像を表示部に出力する。
そして、背景画像に重ねられた提供情報の位置及び形状を差分領域検出部に知らせることによって、差分領域検出部が提供情報を差分として（つまり、被写体の動きとして）検出しないように提供情報を無効化する。
【００１２】
本発明のプログラムは、上記情報出力装置の各機能をコンピュータで実現させるために、コンピュータにインストールするプログラムである。
なお、本発明の情報出力システムは、上記情報出力装置の構成に所定の大きさの表示領域に背景画像を表示する表示部を加えたものである。
【発明の効果】
【００１３】
本発明によれば、表示画面の検知領域に状態が変化する物体（被写体）が入ると、その変化を差分領域として検出し、この検知領域に差分領域の一部が重なったことをトリガーとして、検知領域に関連づけられる提供情報を出力する。このとき、背景画像に重ねられた提供情報の位置及び形状を差分領域検出部に知らせることによって、差分領域検出部が提供情報の差分を検出しないようにしたため、差分領域の検出の際に、提供情報の影響が及ばないようにしている。これにより、状態が変化して差分領域として認識される物体を、背景画像に対して明確に区別することが可能となり、ユーザが指示する検知領域の検出精度を高めることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態における情報出力システムの外部構成例を示す外観図である。
【図２】本発明の一実施の形態における情報出力システムの内部構成例を示すブロック図である。
【図３】本発明の一実施の形態における情報出力システムが用いる各テーブルの構成例を示す説明図である。
【図４】本発明の一実施の形態における画面内に物体が入らない場合における操作画面の表示例を示す説明図である。
【図５】本発明の一実施の形態における画面内に物体が入る場合における操作画面の表示例を示す説明図である。
【図６】本発明の一実施の形態における提供情報を表示領域に出力する場合における操作画面の表示例を示す説明図である。
【図７】本発明の一実施の形態における提供情報無効化処理（マスク機能）の実行時における操作画面の表示例を示す説明図である。
【図８】本発明の一実施の形態における提供情報無効化処理（マスク機能）の詳細な動作例を示す説明図である。
【図９】本発明の一実施の形態における映像処理回路の処理例を示すフローチャートである。
【図１０】本発明の他の実施の形態における輝度変化に対応する情報出力システムの外部構成例を示す外観図である。
【図１１】本発明の他の実施の形態における検知領域のバリエーションの例を示す外観図である。
【図１２】本発明の他の実施の形態における情報出力システムの外部構成例を示す外観図である。
【図１３】本発明の他の実施の形態における情報出力システムの外部構成例を示す外観図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施の形態について、図１〜図９を参照して説明する。本実施の形態では、壁又はスクリーン等に映像を提示する情報出力システム１に適用した例（以下、「本例」という。）について説明する。
【００１６】
図１は、本例の情報出力システム１の外観構成例を示す。
情報出力システム１は、映像が投影される表示領域５ａの前を通過する物体（歩行者）の様子を表示領域５ａと共にビデオ撮影するカメラ２と、カメラ２から受け取った映像に対して所定の処理を加える情報出力装置３と、情報出力装置３が出力する映像信号より、表示領域５ａに向かって映像を投影する表示装置としてプロジェクタ装置４と、を備える。情報出力装置３には、例えば、パーソナルコンピュータ装置（ＰＣ：Personal Computer）が用いられる。表示領域５ａには、例えば、スクリーン又は壁面が用いられる。
【００１７】
情報出力装置３は、表示領域５ａに対する物体の位置座標をリアルタイムで演算し、物体の動きに合わせて画像やメッセージ等をプロジェクタ装置４に投影させる機能を有する。カメラ２とプロジェクタ装置４は、表示領域５ａに対向する壁面に取付けられる。また、カメラ２とプロジェクタ装置４は、カメラ２が撮像可能な範囲と、プロジェクタ装置４が映像を投影可能な範囲がほぼ等しくなるような位置に設置される。
【００１８】
図２は、情報出力装置３の内部構成例を示す。
情報出力装置３は、カメラ２から取得した画像に各種の処理を施す映像処理回路６と、カメラ２から取得した画像や映像処理回路６が処理中の画像を表示する表示部７と、情報出力装置３に動作の指示を与える操作部８と、を備える。表示部７には、液晶ディスプレイパネル、有機ＥＬディスプレイパネル等が用いられる。また、操作部８には、キーボード、タッチパッド、コネクタ接続したマウス等が用いられる。
【００１９】
映像処理回路６は、カメラ２から画像を取得する画像取得部１１と、数フレーム間における画像を比較して画像の差分を検出する差分領域検出部１２と、を備える。また、ユーザに提供する画像等の情報を記録する提供情報データベース１４から提供情報を読み出して、後述する画像出力部１７を介してプロジェクタ装置４に提供情報を出力する提供情報出力部１３と、を備える。
【００２０】
また、映像処理回路６は、提供情報出力部１３から受け取った提供情報より、差分領域検出部１２が検出する差分領域で無効化する箇所を特定する提供情報無効化部１５を備える。また、映像処理回路６は、表示領域５ａに表示される背景画像を記録する背景画像データベース１６と、背景画像データベース１６から読み出した背景画像をプロジェクタ装置４に出力する画像出力部１７と、を備える。
【００２１】
次に、各処理ブロックの動作を説明する。
画像取得部１１は、カメラ２から受け取った映像を所定のフレーム数で取り込む処理（キャプチャ処理）を行う。ここで、カメラ２の撮像フレーム数と情報出力装置３が処理する映像の処理フレーム数は異なっていても、画像取得部１１のキャプチャ処理によりフレーム数の差による影響は除かれる。また、画像取得部１１は、映像に含まれる被写体の輪郭を強調する処理等を行うことにより、後段の処理ブロックが円滑に処理を行えるようにしている。
【００２２】
差分領域検出部１２は、表示領域５ａに表示される背景画像５ｂの内、所定の大きさの撮像範囲を被写体として撮像するカメラ２から入力される第１の取込み画像を得るとともに、及び第１の取込み画像より所定のフレーム数だけ遅れてカメラ２から入力される入力する第２の取込み画像を得て、第１の取込み画像と第２の取込み画像を比較する。そして、撮像範囲で状態が変化する物体の所定のフレーム数における第１及び第２の取込み画像の差分が所定の閾値を超えたときに、物体の差分領域として検出する。
【００２３】
提供情報出力部１３は、撮像範囲に予め検知領域が設けられ、この検知領域に差分領域の一部が重なった場合に、差分領域の一部が重なった検知領域に関連付けられる提供情報を提供情報データベース１４から読出す。提供情報データベース１４は、内部テーブル（後述する図３参照）により実体関連モデル（Entity-Relationship Model）を構成する。そして、提供情報出力部１３は、読み出した提供情報を画像出力部１７に出力する。
【００２４】
提供情報無効化部１５は、背景画像５ｂに重ねられた提供情報の位置及び形状を差分領域検出部１２に知らせることによって、差分領域検出部１２が提供情報の差分を検出しないように提供情報を無効化する。これにより、動きのある提供情報が表示領域５ａに投影されても、差分領域検出部１２は、この提供情報の動きを差分領域として誤検出しなくなる。
【００２５】
画像出力部１７は、所定の大きさの表示領域５ａに背景画像を表示するプロジェクタ装置４に背景画像を出力する。このとき、画像出力部１７は、背景画像データベース１６から背景画像を読み出し、提供情報出力部１３から受け取った提供情報を重ねた背景画像をプロジェクタ装置４に出力する。
【００２６】
図３は、提供情報データベース１４における各テーブルの構成例を示す。
提供情報データベース１４は、検知領域を個別に管理する検知領域テーブル１４ａと、提供情報データを個別に管理する提供情報テーブル１４ｂを備える。検知領域テーブル１４ａは、背景画像５ｂ内に設定される検知領域を個別に識別する検知領域ＩＤフィールドと、背景画像５ｂ内における検知領域の位置座標を格納する検知領域座標フィールドを備える。
【００２７】
提供情報テーブル１４ｂは、提供情報を個別に識別する提供情報ＩＤフィールドと、提供情報ＩＤに一意に関連づけられる提供情報データを格納する提供情報データフィールドと、どの検知領域ＩＤに提供情報が関連づけられるかを指定する外部キーとしての検知領域ＩＤフィールドを備える。これらのテーブルにより、検知領域には、提供情報が、１対１、１対多、又は多対１又は、多対多のうち、いずれかで関連付けられることとなる。
【００２８】
次に、表示領域５ａに表示される映像の例について図４〜図７を参照して説明する。図４〜図７に示される操作画面２０は、情報出力装置３が備える表示部７に表示されるユーザ・インタフェースである。
【００２９】
図４は、移動する物体が画面内に入らない場合における操作画面２０の表示例を示す。
操作画面２０には、画面中央から上部にかけてカメラ２が表示領域５ａを撮像した背景画像５ｂと、この背景画像５ｂに設定される各種の領域、情報を可視化する表示領域２１が表示される。そして、画面下部に各種の操作パラメータを入力する操作領域３０が表示される。図４と図５の時点において、提供情報２３は、背景画像５ｂの一部として表示領域５ａに表示される。
【００３０】
始めに、図２に示す映像処理回路６は、カメラ２が撮像した現在の表示領域５ａに表示される画像を取り込み、背景画像５ｂとして操作画面２０内に表示する。背景画像５ｂの四隅にはマーカ２４が表示される。マーカ２４は、背景画像５ｂと提供情報２３が表示される範囲を指定するために用いられる。必要であれば背景画像５ｂの台形補正を行い、表示領域２１内で背景画像５ｂが長方形で表示されるようにする。
【００３１】
背景画像５ｂには、移動体として認識される差分領域が重なると提供情報２３を表示領域５ａに投影するトリガーとして機能する検知領域２２ａ，２２ｂと、ユーザに対して動画像等を示す提供情報２３が含まれる。本例では、多数の検知領域が存在するものの、説明を簡単にするため、２つの検知領域２２ａ，２２ｂについて説明する。
【００３２】
映像処理回路６は、カメラ２から画像を取り込んで背景画像５ｂとして表示すると共に、カメラ２で撮像している範囲内に検知領域２２ａ，２２ｂを設定する。また、検知領域２２ａ，２２ｂの大きさ、形状（長方形、円形、楕円形、不定形等）は、予め決定しておく。検知領域２２ａ，２２ｂは、実際に表示領域５ａに投影される背景画像５ｂでは不図示としてあり、オペレータが操作画面２０を介して表示部７に表示する場合以外では視認できない。
【００３３】
提供情報２３は、差分領域検出部１２が差分領域を検出しない場合、背景画像５ｂの一部として表示領域５ａに表示され続ける。しかし、検出された差分領域が検知領域２２ｂに重なると、検知領域２２ｂに関連づけられた提供情報２３が背景画像５ｂ内で所定の動作を行う。本例では、提供情報２３として示されるロケットが背景画像５ｂ内を斜め右方向に飛ぶような表示が行われる。
【００３４】
操作領域３０は、差分領域を検出するために取込み画像のフレーム間隔を表す処理間隔を定める処理間隔指定部３１と、提供情報２３を表示する処理の開始又は終了を指示する指示領域３２と、を備える。また、操作画面２０とは異なる外部エディタを起動する起動指示部３３と、差分領域を二階調化して表示する二階調化表示部３４と、背景画像５ｂ内に含まれる提供情報２３を白黒反転して表示する背景認識表示部３５と、を備える。
【００３５】
処理間隔指定部３１は、フレーム間隔として、例えば４３フレームを指定する。このフレーム間隔は自由に変えることができるため、移動速度が早い物体を移動体として検出する場合には、フレーム間隔を数十フレームから数フレームに狭める操作をすることが可能である。一方、フレーム間隔を広くすることによって、飛ぶ虫や鳥等を移動体として誤検出する可能性を小さくすることができる。
【００３６】
指示領域３２は、表示領域５ａに背景画像５ｂと提供情報５ｃを投影する動作の開始又は終了をプロジェクタ装置４に指示する。また、電源オフを指示することにより、プロジェクタ装置４が行う背景画像５ｂと提供情報５ｃの投影を終えることもできる。
【００３７】
起動指示部３３は、操作画面２０とは別のウィンドウ画面を表示し、各種の設定を行うことができる。起動指示部３３には、背景画像５ｂと提供情報２３を表示領域５ａに表示する起動日時を指定するスケジューラ、提供情報２３として表示される図形の種類、大きさ等の編集を行う提供情報エディタ、検知領域２２ａ，２２ｂの位置、大きさの編集を行うスイッチエディタが表示される。
【００３８】
二階調化表示部３４は、後述する二階調化処理によって得られた差分領域の画像を白黒で表示する。本例では、差分領域として検出される部分を白で表示し、差分領域として検出されない部分や動きが少ない部分を黒で表示するが、逆の色であってもよいし、他の二色を使ってもよい。二階調化表示部３４で指定する「しきい値」は、任意に変えることが可能である。例えば、しきい値を低い値にすると、物体のわずかな動きであっても二階調化表示部３４が差分領域を表示するが、しきい値を高い値にすると、物体が大きく動かなければ二階調化表示部３４が差分領域を表示しない。
【００３９】
背景認識表示部３５は、差分領域が検知領域２２ｂに重なって動き出す提供情報２３を除いた背景画像５ｂを黒色で塗りつぶして表示する。このとき、状態が変化する提供情報２３は白色で二階調化表示される。背景認識表示部３５においても、塗りつぶされる白と黒の色は逆色であってもよいし、他の二色を使ってもよい。背景認識表示部３５で指定する「ぼかし値」は、任意に変えることが可能である。ここで、ボールや虫等の小さな物体が移動体として誤検出されることを防ぐため、所定の画素領域より小さな領域で示される差分領域については、ぼかす処理を行うことにより、差分領域として認識しないようにしている。
【００４０】
図５は、背景画像５ｂ内に入った物体の表示例を示す。
ここでは、複数の画像を比較して差分を検出する処理について説明する。
まず、オペレータが指示領域３２内の開始ボタンを押すことにより、キャプチャ処理を開始する（後述する図９におけるステップＳ４〜Ｓ９）。カメラ２は、表示領域５ａに投影される背景画像５ｂと物体（本例では、人）を撮像する。情報出力装置３は、所定のフレーム間隔でカメラ２から取り込んだ第１及び第２の取込み画像を比較して差分領域２５を検出し、この差分領域２５を二階調化して二階調化表示部３４に表示する。
【００４１】
図６は、差分領域２５が検知領域２２ｂに重なって提供情報２３を表示領域に出力する場合の表示例を示す。
情報出力装置３は、物体が左方向に移動してロケットの画像に触れる動作を行うと、触れる動作を行った腕の部分を撮像範囲の内部で状態が変化する物体を示す差分領域として検出する。
【００４２】
そして、情報出力装置３は、差分領域と検知領域２２ｂが重なったことを認識する。このとき、情報出力装置３は、表示領域５ａに提供情報２３として表示される提供情報データ（本例では、ロケット）を提供情報データベース１４から読み出し、検知領域２２ｂに対応した提供情報２３を表示領域５ａに出力する。そして、二階調化表示部３４は、物体の差分画像を表示し、背景認識表示部３５は、提供情報２３として動き始めるロケット部分を除いた領域を背景として表示する。
【００４３】
図７は、提供情報無効化処理（マスク機能）を実行した場合の表示例を示す。
背景画像５ｂ内を提供情報２３が動く場合に、提供情報２３を誤って移動体として認識しないようにするため、情報出力装置３は、提供情報無効化処理を行うことにより、提供情報２３をマスクする。
【００４４】
提供情報無効化部１５は、背景画像５ｂを黒色とし、検知領域２２ｂに対応して出力される提供情報２３（再生される映像）を白色とする二階調化処理を行う。そして、白色とした提供情報２３を黒色に反転させた上で、黒色とした背景画像５ｂに反転した提供情報２３を重ね合わることにより、提供情報２３を無効化する。こうして、情報出力装置３は、背景画像５ｂ内を提供情報２３が移動して、差分領域として誤認識したり、この誤認識した差分領域が検知領域と重なって新たな提供情報を出力したりすることを防ぐ。このため、情報出力装置３は、プロジェクタ装置４で再生される映像と、実体をもった移動体を区別して検知することが可能となる。
【００４５】
図８は、提供情報無効化処理（マスク機能）の詳細な動作例を示す。
図８Ａは、背景画像５ｂの表示例を示す。
ここでは、既に物体が検知領域に重なって、ロケットとして表される提供情報２３が動き出している瞬間を表している。
【００４６】
図８Ｂは、物体と提供情報２３を混合した状態を示す。
何ら処理を施さないと、提供情報２３が画面内を移動することにより移動体として誤認識され、誤認識された移動体が他の検知領域に重なると、別の提供情報が表示される可能性があるため、マスク機能を有効にする。
【００４７】
図８Ｃは、提供情報２３を二階調化した表示例を示す。
図８Ｄは、二階調化された提供情報２３を白黒反転して表示する例を示す。
提供情報無効化部１５は、提供情報２３を白色で表し、他の部分を黒色で表す二階調化処理を行う。そして、提供情報無効化部１５は、二階調化された提供情報２３を白黒反転する処理を行う。
【００４８】
図８Ｅは、図８Ｃと図８Ｄに示した二階調化された提供情報２３を足し合わせた例を示す。
提供情報無効化部１５は、図８Ｃと図８Ｄに示した二階調化された提供情報２３を足し合わせることにより、提供情報２３を無効化する。
【００４９】
図８Ｆは、提供情報無効化処理（マスク機能）が行われた場合における差分領域検出部１２の認識例を示す。
差分領域検出部１２は、提供情報無効化部１５から無効化された提供情報２３と背景画像５ｂとを受け取る。これにより、差分領域検出部１２は、提供情報２３を移動体として認識せず、物体が動いた部分だけを差分領域として検出することが可能となる。
【００５０】
＜拡大処理＞
ここで、提供情報無効化部１５が行う提供情報２３の拡大処理例について説明する。
映像処理回路６が、背景画像５ｂを取り込んで提供情報２３の無効化処理を行う際には、複数の機能ブロックを経由するため、タイムラグが発生する。このため、実際にプロジェクタ装置４が表示領域５ａに表示する提供情報２３と、取り込んだ画像との間に提供情報２３の位置のずれを考慮する必要がある。
【００５１】
提供情報無効化部１５は、提供情報２３の位置のずれによる影響を抑えるため、図８Ｃで示される二階調化処理に際して、白く表示される提供情報２３を数画素分だけ拡大する処理を行う。この拡大処理によりタイムラグを擬似的に補正することができ、提供情報２３を白黒反転して背景画像と合わせ込む際に、提供情報２３（特に、提供情報２３の周縁部）が移動体として誤認識される可能性を低めている。なお、提供情報２３を拡大する処理は、白黒反転した後、この反転部分を拡大して行ってもよい。
【００５２】
また、提供情報無効化部１５は、ガウシアンフィルタを用いることによって、提供情報２３の周縁部をぼかす処理を行うことも可能である。これにより、提供情報２３の出力時と取込み時にタイムラグが生じた場合であっても、提供情報無効化部１５は、確実に提供情報２３だけを無効化することができる。
【００５３】
図９は、情報出力装置３が搭載する映像処理回路６の処理例を示す。
映像処理回路６は、大きく以下の処理を行っている。
＜検知領域の設定＞
カメラ２にて表示領域５ａを撮像し、この撮像した領域を、物体が動いたことを検知する検知領域として設定する。検知領域は複数箇所を設定することが可能であり、検知領域の大きさは、予め決定しておくことが望ましい。
＜移動体の検出＞
映像処理回路６は、設定した検知領域におけるフレーム間差分で移動体を検知する。現在のフレームにおける取込み画像と、所定フレーム前における取込み画像を比較し、各取込み画像の相違部分を検知する。この相違部分を「移動体」として検出する。
＜マスク機能＞
映像処理回路６の検知領域に対応した提供情報（再生される映像）を、白色と黒色に二階調化する。次に、二階調化した画像と反転させた提供情報を足し合わせ、再生映像を打ち消すマスク機能を実現する。マスク機能により、プロジェクタ装置４が再生する映像に対して、実体をもった移動体を検知することが可能となる。
【００５４】
次に、映像処理回路６の詳細な処理例について説明する。
始めに、画像取得部１１は、カメラ２から表示領域５ａに現在表示されている画像を取り込み（ステップＳ１）、取り込んだ画像の台形補正を行う（ステップＳ２）。この台形補正は、背景画像５ｂに対する提供情報２３や差分領域２５の位置精度を高めるために行われる。次に、画像取得部１１は、検知領域を設定することにより（ステップＳ３）、画像をキャプチャ処理するための初期設定を完了する。
【００５５】
次に、差分領域検出部１２は、取り込んだ画像から画像のキャプチャ処理を行い（ステップＳ４）、取り込んだ画像を所定のフレーム数毎に比較する（ステップＳ５）。ここでは、第１及び第２の取込み画像の差分を比較する処理が行われる。
【００５６】
次に、差分領域検出部１２は、第１及び第２の取込み画像に差分があるか否かを判断する（ステップＳ６）。差分がない場合、ステップＳ４に処理を移し、画像の差分比較処理を続ける。差分がある場合、提供情報出力部１３は、検出した差分領域が検知領域に重なったか否かを判断する（ステップＳ７）。差分領域が検知領域に重なっていない場合、ステップＳ４に処理を移し、画像の差分比較処理を続ける。
【００５７】
差分領域が検知領域に重なっている場合、提供情報出力部１３は、提供情報データベース１４から検知領域に対応する提供情報データを読み出し（ステップＳ８）、検知領域に対応する提供情報を画像出力部１７に出力する（ステップＳ９）。そして、画像出力部１７は、提供情報を重ねた背景画像をプロジェクタ装置４に出力し、プロジェクタ装置４が表示領域５ａに背景画像を表示する。これらステップＳ４〜Ｓ９までの処理を「キャプチャ処理」と呼ぶ。
【００５８】
次に、提供情報無効化部１５は、提供情報出力部１３が出力する提供情報を二階調化し（ステップＳ１０）、二階調化した白黒情報を反転する（ステップＳ１１）。そして、提供情報無効化部１５は、反転した白黒情報を差分領域検出部１２に出力する。
【００５９】
差分領域検出部１２は、提供情報無効化部１５から受け取る反転した白黒情報を、取り込んだ背景画像に重ね合わせることにより、提供情報を無効化する（ステップＳ１２）。これらステップＳ１０〜Ｓ１２までの処理を「提供情報無効化処理」と呼ぶ。
【００６０】
以上説明した一実施の形態に係る情報出力システム１によれば、状態が変化する物体を差分領域として検出し、検知領域に差分領域の一部が重なったことをトリガーとして、検知領域に関連づけられる提供情報を出力する。このとき、背景画像に重ねられた提供情報の位置及び形状を差分領域検出部に知らせることによって、差分領域検出部が提供情報の差分を検出しないようにしたため、差分領域の検出時における提供情報の影響が及ばない。これにより、差分領域として認識される状態が変化する物体を背景画像に対して明確に区別することが可能となり、ユーザが指示する箇所の検出精度を高めることができる。
【００６１】
このように、情報出力装置３は、カメラ２から取り込んだ情報を利用するのではなく、情報出力装置３の内部で再生する提供情報を利用して、カメラ２が撮像した画像に含まれる提供情報を打ち消すことができる。このとき、提供情報を二階調化した上で、その提供情報を反転し、二階調化した背景画像と足しあわせる事により、提供情報を打ち消している。これにより、提供情報（再生される映像）と移動体、及び静止体を区別して認識することが可能となった。
【００６２】
また、検知領域は背景画像５ｂに合わせて任意の箇所に指定することができ、提供情報についても任意の個数で検知領域に関連づけることができる。このため、ユーザへの提供情報の提示に際して、様々なバリエーションをとることが可能となる。
【００６３】
＜変形例＞
なお、上述した実施の形態に係る情報出力システム１は、背景画像と提供情報を投影する箇所として表示領域５ａを用いたが、建築物の天井や床面、またホールにおける座席面を設定することもできる。このように提供情報の表示箇所を壁面やスクリーンに限らないことによって、より柔軟な運用が可能となる。
【００６４】
＜提供情報のバリエーション＞
また、提供情報は、アニメーション等の図形・文字・記号等をプロジェクタ装置４やＦＰＤ等の映像表示機器で表示しているが、映像表示機器以外にも、他デバイスを連携させるようにしてもよい。例えば、アクチュエータ、電球、スピーカー、モーター、ソレノイド、ペルチェ素子等の電子制御が可能な動力部を持つものを用いて、ユーザが行う所定の動作により、照明機器、電動玩具、自動ドア等の動作を制御するようにしてもよい。
【００６５】
＜物体の状態変化のバリエーション＞
また、物体が移動するだけでなく、物体の輝度変化を状態変化と認識して提供情報を出力するトリガーとすることもできる。ここで、外光が照射するような環境における外的要因によって意図しない輝度変化を物体の状態変化として誤認識しないようにするため、図１０を参照して以下の３パターンについて対応策を示す。
【００６６】
図１０Ａは、カメラ２と同じ場所に赤外線カメラ４１を配置した例である。
赤外線カメラ４１を用いて表示領域５ａを撮影することによって、物体の温度変化等を状態変化として認識し、提供情報を出力することが可能である。
【００６７】
図１０Ｂは、カメラ２と同じ場所に照度計４２を配置した例である
照度計４２やその他の輝度センサ等を用いることによって、表示領域５ａに表示される背景画像の輝度をモニタリングし、物体の輝度変化を状態変化として認識する。そして、輝度が所定のしきい値を超えた場合に、提供情報を出力するように処理を行う。
【００６８】
＜検知領域のバリエーション＞
また、上述した実施の形態では、検知領域は提供情報を出力するためのトリガーとして用いたが、検知領域自体を可視化した上で、検知領域をディレクトリ化し、階層性を持たせるようにしてもよい。このときの検知領域の繊維例について図１１を参照して説明する。
【００６９】
図１１Ａは、複数の提供情報から１つの提供情報を選択する例を示す。
表示領域５ａには、「中華」、「和食」、「洋食」のメニューを示す映像が提供情報として表示される。この場合、最初から明示的に全ての提供情報が表示されるのではなく、ユーザが一つの提供情報を選択する動作を行うことをトリガーとして、新たに別の提供情報が表示される。
【００７０】
図１１Ｂは、図１１Ａにおいて「洋食」が選択された場合に表示される提供情報を選択する例を示す。
本例では、「洋食」の下位階層である「ハンバーグ」、「カレーライス」、「パスタ」、「ドリンク」といったメニューが提供情報として横一列に可視表示される。このとき、ユーザが「パスタ」を選んだら、「パスタ」に関連するアニメーション表示を行うようにすればよい。このように、ユーザ・インタフェース部分を改良することで、ユーザビリティが向上する。
【００７１】
＜情報出力システムのバリエーション＞
また、上述した実施の形態に係る情報出力システム１を図１に示した形態以外の場所に設置することも可能である。
図１２は、情報出力システム１の設置場所に関する変形例を示す。
【００７２】
図１２Ａは、表示領域５ａに映像が透過するスクリーンを用いた場合における情報出力システムの構成例を示す。
このとき、プロジェクタ装置４は、表示領域５ａの背面に設置され、カメラ２は、表示領域５ａの上側に設置される。そして、カメラ２が上方から撮影した物体と背景画像５ｂは情報出力装置３に供給され、プロジェクタ装置４が物体の動きに合わせた提供情報を表示領域５ａに出力する。
【００７３】
図１２Ｂは、表示領域５ａに映像を自身で表示するプラズマディスプレイパネルを有する表示装置における情報出力システムの構成例を示す。
このとき、プロジェクタ装置４の代わりに、表示領域５ａが情報出力装置３から受け取った映像を直接表示する。なお、複数台のプラズマディスプレイパネルを同期して映像出力を行うため、提供情報を出力する情報出力装置３とは別に、プラズマディスプレイパネルの表示制御を行うための制御コンピュータ９を備えるものとする。
【００７４】
図１３は、表示領域５ａに映像を自身で表示する液晶ディスプレイパネルを有する表示装置を用いた情報出力システムの構成例を示す。
【００７５】
図１３Ａは、カメラ２の手前に偏光フィルタ４３を取付けた例を示す。
ここでは、液晶ディスプレイ装置やＰＣ用のモニタ等が備える液晶ディスプレイパネルを表示領域５ａとした例を示している。そして、表示装置とカメラ２の間に特定の振動方向の光を透過させる偏光素子として偏光フィルタ４３を設置している。
【００７６】
図１３Ｂは、液晶ディスプレイパネルの内部構成例を示す。
液晶ディスプレイパネルは、垂直方向の偏光フィルタ５１と、画素毎に個別電極が埋め込まれたガラス基板５２と、配向層に挟まれた液晶５３と、画素に共通して電力を供給する共通電極が埋め込まれたガラス基板５４と、水平方向の偏光フィルタ５５と、面光源として発光する光源５６と、を備える。
【００７７】
光源５６は、様々な方向に振幅成分を持つ光を放射し、液晶ディスプレイパネルは、光源５６が発する光の一部又は全体を遮ることにより映像を表示し、映像光を放射する。偏光フィルタ４３は、特定方向の振幅成分を持つ光だけを通過させ、残りの光を吸収する機能を有する。本例では、カメラ２のレンズ部分に取付けられる円形に切り取られた偏光フィルタ４３の方向を適宜変える。この回転する偏光フィルタ４３によって、液晶ディスプレイパネルからカメラ２に入射する映像光の光量を増減することができる。
【００７８】
偏光フィルタ４３がカメラ２に入射する映像光を遮ると、カメラ２は、表示領域５ａに表示される映像を撮影せず、表示領域５ａの手前にいる物体だけを撮影する。つまり、カメラ２は、表示装置（本例では、液晶ディスプレイパネル）が表示する背景画像や提供情報を撮像しない。このため、情報出力装置３は、提供情報の動きを移動体と誤認識することがなく、状態が変化する物体だけを確実に差分領域として認識し、提供情報に差分情報を重ねた背景画像を表示装置に出力することができる。
【００７９】
＜差分領域検出のバリエーション＞
また、差分領域検出部１２は、第１及び第２の取込み画像に解像度を下げるぼかし処理を施して、差分領域の検出精度を低めてもよい。また、差分領域検出部１２は、複数の物体が近接して状態が変化する場合に、複数の物体の差分領域を合わせて一つの差分領域として検出してもよい。
【００８０】
また、本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
【符号の説明】
【００８１】
１…情報出力システム、２…カメラ、３…情報出力装置、４…プロジェクタ装置、５ａ…表示領域、５ｂ…背景画像、５ｃ…提供情報、６…映像処理回路、７…表示部、８…操作部、９…制御コンピュータ、１１…画像取得部、１２…差分領域検出部、１３…提供情報出力部、１４…提供情報データベース、１４ａ…検知領域テーブル、１４ｂ…提供情報テーブル、１５…提供情報無効化部、１６…背景画像データベース、１７…画像出力部
【特許請求の範囲】
【請求項１】
所定の大きさの表示領域に背景画像を表示する表示部に前記背景画像を出力する画像出力部と、
前記表示領域に表示される前記背景画像の内、所定の大きさの撮像範囲を被写体として撮像するカメラから入力される第１の取込み画像を得るとともに、前記第１の取込み画像より所定のフレーム数だけ遅れて前記カメラから入力される第２の取込み画像を得て、前記第１の取込み画像と前記第２の取込み画像を比較し、前記撮像範囲で状態が変化する物体の前記所定のフレーム数における前記第１及び第２の取込み画像の差分が所定の閾値を超えたときに、前記物体の差分領域として検出する差分領域検出部と、
前記撮像範囲には、予め設けられた検知領域が設けられており、該検知領域に前記差分領域の一部が重なった場合に、前記差分領域の一部が重なった前記検知領域に関連付けられる提供情報を提供情報データベースから読出し、前記提供情報を重ねた前記背景画像を前記画像出力部に出力させる提供情報出力部と、
前記背景画像に重ねられた前記提供情報の位置及び形状を前記差分領域検出部に知らせることによって、前記差分領域検出部が前記提供情報の差分を検出しないように前記提供情報を無効化する提供情報無効化部と、を備える
情報出力装置。
【請求項２】
前記差分領域検出部は、前記物体の差分領域を特定の色とし、前記物体の差分領域が含まれない箇所の画像を前記特定の色以外の色とする二階調に変換し、
前記提供情報無効化部は、前記撮像範囲の内、前記提供情報が含まれる箇所の画像を前記特定の色以外の色とし、前記提供情報が含まれない箇所の画像を前記特定の色とする二階調に変換し、前記特定の色以外の色とされた前記提供情報が含まれる箇所の画像を前記差分領域に重ね合わせて前記提供情報を無効化する
請求項１記載の情報出力装置。
【請求項３】
前記検知領域には、前記提供情報が、１対１、１対多、多対１又は、多対多のうち、いずれかで関連付けられる
請求項１又は２記載の情報出力装置。
【請求項４】
前記物体の状態変化は、前記物体が移動すること、前記物体が輝点である場合に、前記輝点の輝度が変化すること、又は前記物体の温度が変化することのうち、いずれかである
請求項１〜３のいずれか１項に記載の情報出力装置。
【請求項５】
所定の大きさの表示領域に背景画像を表示する表示部に前記背景画像を出力する手順と、
表示される前記背景画像の内、所定の大きさの撮像範囲を被写体として撮像するカメラから入力される第１の取込み画像を得るとともに、前記第１の取込み画像より所定のフレーム数だけ遅れて前記カメラから入力される第２の取込み画像を得て、前記第１の取込み画像と前記第２の取込み画像を比較し、前記撮像範囲で状態が変化する物体の前記所定のフレーム数における前記第１及び第２の取込み画像の差分を、差分領域検出部により前記物体の差分領域として検出する手順と、
前記撮像範囲には、予め設けられた検知領域が設けられており、該検知領域に前記差分領域の一部が重なった場合に、前記差分領域の一部が重なった前記検知領域に関連付けられる提供情報を提供情報データベースから読出し、前記提供情報を重ねた前記背景画像を、前記表示部に前記背景画像を出力する画像出力部に出力させる手順と、
前記背景画像に重ねられた前記提供情報の位置及び形状を前記差分領域検出部に知らせることによって、前記差分領域検出部が前記提供情報の差分を検出しないように前記提供情報を無効化する手順と、
をコンピュータに実行させるためのプログラム。
【請求項６】
所定の大きさの表示領域に背景画像を表示する表示部と、
前記表示部に前記背景画像を出力する画像出力部と、
前記表示領域に表示される前記背景画像の内、所定の大きさの撮像範囲を被写体として撮像するカメラと、
前記カメラから入力される第１の取込み画像を得るとともに、前記第１の取込み画像より所定のフレーム数だけ遅れて前記カメラから入力される第２の取込み画像を得て、前記第１の取込み画像と前記第２の取込み画像を比較し、前記撮像範囲で状態が変化する物体の前記所定のフレーム数における前記第１及び第２の取込み画像の差分を、前記物体の差分領域として検出する差分領域検出部と、
前記撮像範囲には、予め設けられた検知領域が設けられており、該検知領域に前記差分領域の一部が重なった場合に、前記差分領域の一部が重なった前記検知領域に関連付けられる提供情報を提供情報データベースから読出し、前記提供情報を重ねた前記背景画像を前記画像出力部に出力させる提供情報出力部と、
前記背景画像に重ねられた前記提供情報の位置及び形状を前記差分領域検出部に知らせることによって、前記差分領域検出部が前記提供情報の差分を検出しないように前記提供情報を無効化する提供情報無効化部と、を備える
情報出力システム。
【請求項７】
前記表示部が液晶ディスプレイパネルを備える液晶ディスプレイ装置である場合に、前記表示部及び前記カメラの間に特定の振動方向の光を透過させる偏光素子を備え、
前記液晶ディスプレイパネルから放射される偏光した映像光に対して、前記偏光素子の方向を変えることによって、前記偏光素子を通過して前記カメラに入射する前記映像光の光量を増減する
請求項６記載の情報出力システム。
【請求項１】
所定の大きさの表示領域に背景画像を表示する表示部に前記背景画像を出力する画像出力部と、
前記表示領域に表示される前記背景画像の内、所定の大きさの撮像範囲を被写体として撮像するカメラから入力される第１の取込み画像を得るとともに、前記第１の取込み画像より所定のフレーム数だけ遅れて前記カメラから入力される第２の取込み画像を得て、前記第１の取込み画像と前記第２の取込み画像を比較し、前記撮像範囲で状態が変化する物体の前記所定のフレーム数における前記第１及び第２の取込み画像の差分が所定の閾値を超えたときに、前記物体の差分領域として検出する差分領域検出部と、
前記撮像範囲には、予め設けられた検知領域が設けられており、該検知領域に前記差分領域の一部が重なった場合に、前記差分領域の一部が重なった前記検知領域に関連付けられる提供情報を提供情報データベースから読出し、前記提供情報を重ねた前記背景画像を前記画像出力部に出力させる提供情報出力部と、
前記背景画像に重ねられた前記提供情報の位置及び形状を前記差分領域検出部に知らせることによって、前記差分領域検出部が前記提供情報の差分を検出しないように前記提供情報を無効化する提供情報無効化部と、を備える
情報出力装置。
【請求項２】
前記差分領域検出部は、前記物体の差分領域を特定の色とし、前記物体の差分領域が含まれない箇所の画像を前記特定の色以外の色とする二階調に変換し、
前記提供情報無効化部は、前記撮像範囲の内、前記提供情報が含まれる箇所の画像を前記特定の色以外の色とし、前記提供情報が含まれない箇所の画像を前記特定の色とする二階調に変換し、前記特定の色以外の色とされた前記提供情報が含まれる箇所の画像を前記差分領域に重ね合わせて前記提供情報を無効化する
請求項１記載の情報出力装置。
【請求項３】
前記検知領域には、前記提供情報が、１対１、１対多、多対１又は、多対多のうち、いずれかで関連付けられる
請求項１又は２記載の情報出力装置。
【請求項４】
前記物体の状態変化は、前記物体が移動すること、前記物体が輝点である場合に、前記輝点の輝度が変化すること、又は前記物体の温度が変化することのうち、いずれかである
請求項１〜３のいずれか１項に記載の情報出力装置。
【請求項５】
所定の大きさの表示領域に背景画像を表示する表示部に前記背景画像を出力する手順と、
表示される前記背景画像の内、所定の大きさの撮像範囲を被写体として撮像するカメラから入力される第１の取込み画像を得るとともに、前記第１の取込み画像より所定のフレーム数だけ遅れて前記カメラから入力される第２の取込み画像を得て、前記第１の取込み画像と前記第２の取込み画像を比較し、前記撮像範囲で状態が変化する物体の前記所定のフレーム数における前記第１及び第２の取込み画像の差分を、差分領域検出部により前記物体の差分領域として検出する手順と、
前記撮像範囲には、予め設けられた検知領域が設けられており、該検知領域に前記差分領域の一部が重なった場合に、前記差分領域の一部が重なった前記検知領域に関連付けられる提供情報を提供情報データベースから読出し、前記提供情報を重ねた前記背景画像を、前記表示部に前記背景画像を出力する画像出力部に出力させる手順と、
前記背景画像に重ねられた前記提供情報の位置及び形状を前記差分領域検出部に知らせることによって、前記差分領域検出部が前記提供情報の差分を検出しないように前記提供情報を無効化する手順と、
をコンピュータに実行させるためのプログラム。
【請求項６】
所定の大きさの表示領域に背景画像を表示する表示部と、
前記表示部に前記背景画像を出力する画像出力部と、
前記表示領域に表示される前記背景画像の内、所定の大きさの撮像範囲を被写体として撮像するカメラと、
前記カメラから入力される第１の取込み画像を得るとともに、前記第１の取込み画像より所定のフレーム数だけ遅れて前記カメラから入力される第２の取込み画像を得て、前記第１の取込み画像と前記第２の取込み画像を比較し、前記撮像範囲で状態が変化する物体の前記所定のフレーム数における前記第１及び第２の取込み画像の差分を、前記物体の差分領域として検出する差分領域検出部と、
前記撮像範囲には、予め設けられた検知領域が設けられており、該検知領域に前記差分領域の一部が重なった場合に、前記差分領域の一部が重なった前記検知領域に関連付けられる提供情報を提供情報データベースから読出し、前記提供情報を重ねた前記背景画像を前記画像出力部に出力させる提供情報出力部と、
前記背景画像に重ねられた前記提供情報の位置及び形状を前記差分領域検出部に知らせることによって、前記差分領域検出部が前記提供情報の差分を検出しないように前記提供情報を無効化する提供情報無効化部と、を備える
情報出力システム。
【請求項７】
前記表示部が液晶ディスプレイパネルを備える液晶ディスプレイ装置である場合に、前記表示部及び前記カメラの間に特定の振動方向の光を透過させる偏光素子を備え、
前記液晶ディスプレイパネルから放射される偏光した映像光に対して、前記偏光素子の方向を変えることによって、前記偏光素子を通過して前記カメラに入射する前記映像光の光量を増減する
請求項６記載の情報出力システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１２９５９０（Ｐ２０１２−１２９５９０Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７６６４３（Ｐ２０１０−２７６６４３）
【出願日】平成２２年１２月１３日（２０１０．１２．１３）
【出願人】（５０８３４５６３４）移動体付随情報表示装置株式会社 (1)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１３日（２０１０．１２．１３）
【出願人】（５０８３４５６３４）移動体付随情報表示装置株式会社 (1)
【Ｆターム（参考）】
[ Back to top ]