画像処理装置、画像処理方法及びプログラム
【課題】視聴者が表示装置に対して接触や衝突することを回避し、不測の事態の発生を防止する。
【解決手段】接触や衝突の虞検出部１１は、画像を表示する表示装置に対して接触又は衝突の虞のある視聴者を検出する。警告表示重畳部１２は、接触や衝突の虞検出部１１により表示装置に対して接触又は衝突の虞のある視聴者が検出された場合、表示装置に表示される画像に警告表示を重畳させる。
【解決手段】接触や衝突の虞検出部１１は、画像を表示する表示装置に対して接触又は衝突の虞のある視聴者を検出する。警告表示重畳部１２は、接触や衝突の虞検出部１１により表示装置に対して接触又は衝突の虞のある視聴者が検出された場合、表示装置に表示される画像に警告表示を重畳させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に対して視聴者が接触や衝突することを防止する技術に関するものである。
【背景技術】
【０００２】
近年、屋外及び屋内を問わず、大型の映像表示装置を使用して様々な情報を提供する装置が広く使われている。例えば、駅前や商業地には、多種の広告を提供する屋外設置型の映像表示装置が多く存在する。また、駅や空港の建物内には、出発時刻及び到着時刻や運行状況を始めとする様々な情報や、広告を表示する映像表示装置が使われている。
【０００３】
映像表示装置を構成する表示素子の大型化や高精度化が進んでいることから、今後、このような様々な情報を提供する装置の大型化が進むと見込まれている。また、表示素子の大型化や高精度化により、現実と見紛う映像を表示することが可能となる。現実と見紛う映像は視聴者に対する訴求效果が大きいため、今後、電子広告を始めとした情報提供装置に、大型である上に高精細な映像を表示可能な映像表示装置が広く使用されると予想される。
【０００４】
しかし、このような映像表示装置が提供する表示映像に現実感があるため、視聴者が映像であると認知せず、実体が存在すると誤認する虞がある。そして、視聴者が映像であると認知せず、実体が存在すると誤認していると、思わぬ事態が発生する虞がある。従って、大型で且つ高精細な映像を表示する映像表示装置、又は、そのような映像表示装置を使用した情報提供装置には、視聴者の接触や衝突を回避する手法が使用されている。
【０００５】
視聴者の接触や衝突を回避するための手法として、パイロン、柵又は綱等で、表示面を物理的に隔離する手法がある。本手法によれば、パイロン、柵又は綱の存在により、視聴者は表示面に接触や衝突するまで接近せず、視聴者の接触や衝突の回避が可能である。しかしながら、本手法では、表示面を物理的に隔離するためのパイロン、柵又は柵の存在が、視聴者に対する訴求效果を殺いでしまうという課題がある。
【０００６】
また、別の手法として、接触や衝突の虞がある場合に、視聴者に対して音や光で警告を発して、視聴者の接触や衝突を回避する手法がある。本手法によれば、接触や衝突の虞があると判断すると、スピーカから警告音を発する、又は、警告灯を点滅或いは回転することで注意を促し、視聴者の接触や衝突を回避する。しかしながら、本手法には、接触や衝突の虞がない視聴者にも警告が達する上、視聴者の感興を殺いでしまうという課題がある。スピーカからの警告音や警告灯の警告光は、接触や衝突の虞がある視聴者のみならず、接触や衝突の虞がない視聴者にも到達する。従って、接触や衝突の虞がある視聴者、及び、接触や衝突の虞がない視聴者ともに、スピーカからの警告音又は警告灯の警告光により、感興を殺がれてしまう。さらに、感興を殺がれるのみならず、当該映像表示装置が表示している情報、例えば当該映像表示装置が電子広告装置である場合、対象の商品に対して、よくない印象を視聴者が持つ虞も否定できない。
【０００７】
特許文献１には、視聴者と表示面との距離を測定し、その距離が適切でない場合、表示面に警告を表示する技術が開示されている。また、特許文献２には、接触や衝突の虞がある視聴者の携帯端末に警報を送信し、警告音を発する技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平３−２００９９５号公報
【特許文献２】特開２００６−３３１１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に開示される技術は、警告を発する条件が視聴者と表示面との距離のみであるため、接触や衝突の虞はないが、表示面までの距離が適切でない視聴者にも警告を発してしまうという課題がある。接触や衝突の虞はないが、表示面までの距離が適切でない視聴者の例として、表示面の前で停止している視聴者や、表示面と並行に移動している視聴者等が挙げられる。
【００１０】
また、特許文献２に開示される技術は、警報を受信可能な携帯端末を所持していないと警告を受けることができないという課題がある。駅等の公共の場では、不特定多数の人間が出入りしているので、全ての視聴者が警報を受信可能な携帯端末を所持しているとは限らない。従って、本従来技術による接触や衝突回避は限定的となる。
【００１１】
そこで、本発明の目的は、視聴者が表示装置に対して接触や衝突することを回避し、不測の事態の発生を防止することにある。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、画像を表示する表示装置に対して接触又は衝突の虞のある視聴者を検出する検出手段と、前記検出手段により前記表示装置に対して接触又は衝突の虞のある前記視聴者が検出された場合、前記表示装置に表示される画像に警告表示を重畳させる重畳手段とを有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、視聴者が表示装置に対して接触や衝突することを回避することができ、不測の事態の発生を防止することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る映像表示装置の構成を示す図である。
【図２】本発明の実施形態において使用する座標系を示す図である。
【図３】第１の実施形態における接触や衝突の虞検出部の構成を示す図である。
【図４】視聴者情報収集部によって生成される視聴者情報について説明するための図である。
【図５】接触や衝突の虞推測部が接触や衝突の虞を推測する処理を示すフローチャートである。
【図６】第１の実施形態における警告表示重畳部の処理を示すフローチャートである。
【図７】警告表示領域の例を示す図である。
【図８】警告表示を重畳した映像を表示面に表示した例を示す図である。
【図９】第２の実施形態における接触や衝突の虞検出部の構成を示す図である。
【図１０】第２の実施形態における接触や衝突の虞推測部が接触や衝突の虞を推測する処理を示すフローチャートである。
【図１１】第４の実施形態における警告表示重畳部の処理を示すフロｓーチャートである。
【図１２】第５の実施形態における警告表示重畳部の処理を示すフローチャートである。
【図１３】第６の実施形態における警告表示重畳部の処理を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。但し、本発明は、以下に説明する実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で適宜変更することが可能である。
【００１６】
先ず、本発明の実施形態を説明するにあたり、使用する座標系について説明する。図２は、本実施形態において使用する座標系を示す図である。本実施形態において使用する座標系は右手系である。即ち、表示面３１に向かって左側の下端が水平面と交わる点を原点にとる。そして、ｘ軸は原点において表示面３１に対して垂直に定める。ｘ軸の方向は表示面３１から離れる方向とする。そして、右手系座標系になるようにｙ軸及びｚ軸を定める。なお、表示面３１の形状は平面に限定するものではなく、表示面３１は曲面であってもよい。表示面３１が曲面であっても座標系は同様である。
【００１７】
また、本発明の実施形態を説明するにあたり、視聴者を、接触や衝突の虞の有無で明確に区別する必要がある場合、接触や衝突の虞がある視聴者を視聴者３５とし、接触や衝突の虞がない視聴者を視聴者３６とする。図２において、接触や衝突の虞がある視聴者３５は、表示面３１に向かって移動していて、接触や衝突の虞がある。一方、接触や衝突の虞がない視聴者３６は、表示面３１に対して平行に移動していて、接触や衝突の虞はない。
【００１８】
図１は、本発明の第１の実施形態に係る映像表示装置の構成を示す図である。図１に示すように、第１の実施形態に係る映像表示装置は、接触や衝突の虞検出部１１と警告表示重畳部１２とを備える。接触や衝突の虞検出部１１は、予め定められた期間Ｐｔ０内に表示面３１と接触や衝突すると予測される視聴者を検出する。そして、接触や衝突の虞検出部１１は、検出した視聴者毎の情報を収集して虞あり対象者情報１０１を生成し、警告表示重畳部１２に対して出力する。警告表示重畳部１２は、虞あり対象者情報１０１に基づいて、接触や衝突の虞がある視聴者が映像表示装置の存在を認知するに足る信号、即ち警告表示を映像信号に重畳させる。なお、本実施形態に係る映像表示装置は、画像処理装置の適用例となる構成である。
【００１９】
ここで、接触や衝突の虞検出部１１について詳細に説明する。図３は、接触や衝突の虞検出部１１の構成を示す図である。図３に示すように、接触や衝突の虞検出部１１は、視聴者情報収集部２１及び接触や衝突の虞推測部２２を備える。
【００２０】
図４は、視聴者情報収集部２１によって生成される視聴者情報（図３の１１１）について説明するための図である。図４に示すように、視聴者情報１１１は、視聴者４１の、座標Ｐｍ、速度ベクトルＶｍ及び顔の向きベクトルＡｍを含む。ここで添え字ｍは、視聴者４１を識別するための識別子である。視聴者４１の座標Ｐｍは、視聴者４１を代表する点の座標である。例えば、視聴者４１の頭頂部中央の座標値を座標Ｐｍとする。勿論、視聴者４１の座標Ｐｍを視聴者４１の頭頂部中央の座標値に限定するものではない。座標Ｐｍ、速度ベクトルＶｍ及び顔の向きベクトルＡｍを成分表示で表すと、以下のようになる。
Ｐｍ＝（Ｐｘｍ，Ｐｙｍ，Ｐｚｍ）
Ｖｍ＝（Ｖｘｍ，Ｖｙｍ，Ｖｚｍ）
Ａｍ＝（Ａｘｍ，Ａｙｍ，Ａｚｍ）
なお、視聴者情報１１１は上記３項目に限定されるものではない。即ち、さらに多くの項目を視聴者情報１１１が含むことを妨げない。
【００２１】
次に、視聴者情報収集部２１の動作について説明する。位置や速度を始めとする対象物の位置情報を取得する手法については、従来から多くの手法が提案されており、本発明は、位置情報の取得手法に依存したものではない。そこで、少なくとも視聴者４１の座標Ｐｍ、速度ベクトルＶｍ及び顔の向きベクトルＡｍを取得することができれば、何れの公知技術を使用して視聴者情報収集部２１を構成してもよい。例えば、窪田進，丸山昌之，伊久美智則，高畠政実：複数の全方位カメラによる人物動線計測システム，東芝レビュー，Ｖｏｌ．６３，Ｎｏ．１０（２００８）には、全方位カメラを用いて人物の動線を検出する手法が開示されている。この公知技術を応用して、視聴者４１の座標Ｐｍ、速度ベクトルＶｍ及び顔の向きベクトルＡｍを検出することが可能である。
【００２２】
また、視聴者４１の座標Ｐｍ及び速度ベクトルＶｍを検出する手段と、視聴者４１の顔の向きベクトルＡｍを検出する手段とが夫々別であってもよい。この場合、視聴者４１の座標Ｐｍ及び速度ベクトルＶｍと、視聴者４１の顔の向きベクトルＡｍとを夫々別の手段で検出した後、視聴者情報収集部２１がこれらを合成して視聴者情報１１１を形成する。例えば、超音波センサを使用した視聴者４１の座標Ｐｍ及び速度ベクトルＶｍの検出手段と、カメラで撮影した映像から顔認識で顔の向きベクトルＡｍを検出する手段とを用いる構成が別々の検出手段を用いた例である。勿論、検出手段の組み合わせが、超音波センサによる座標Ｐｍ及び速度ベクトルＶｍの検出手段と、顔認識による顔の向きベクトルＡｍの検出手段との組み合わせに限定されるものではない。
【００２３】
次に、接触や衝突の虞推測部２２の動作について説明する。接触や衝突の虞推測部２２は、視聴者情報１１１に基づいて、予め定められた期間Ｐｔ０内に表示面３１と接触や衝突する虞を示す値を視聴者４１毎に時々刻々と推測（推定）する。そして、接触や衝突の虞推測部２２は、上記接触や衝突する虞を示す値に基づいて、接触や衝突の虞がある視聴者３５を抽出する。その後、接触や衝突の虞推測部２２は、接触や衝突の虞がある視聴者３５の視聴者情報１１１を、虞あり対象者情報１０１として出力する。ここで、虞あり対象者情報１０１は、接触や衝突の虞がある視聴者３５の、座標Ｐｍ、速度ベクトルＶｍ、顔の向きベクトルＡｍ及び接触や衝突する虞を示す値を含む情報である。
【００２４】
なお、本発明においては、接触や衝突の虞を推測する手段を限定するものではない。従って、期間Ｐｔ０内に表示面３１と接触や衝突する虞を推測できればどのような手段を使用してもよい。そこで、接触や衝突の虞推測部２２の一例として、線形予測を使用した例について説明する。接触や衝突の虞推測部２２の動作を説明するのに先立ち、緩衝距離Ｂｌと表示面３１の範囲を表すベクトル方程式Ｄｓとについて説明する。
【００２５】
先ず、緩衝距離Ｂｌについて説明する。本実施形態では、緩衝距離Ｂｌを次のように定義する。即ち、緩衝距離Ｂｌとは、視聴者４１が表示面３１から緩衝距離Ｂｌ以上離れていれば、視聴者４１が手を伸ばしても、その手が表示面３１に接触しない距離である。従って、緩衝距離Ｂｌは、視聴者４１の手の長さより大きい値を持つ。緩衝距離Ｂｌの値は、予め定めておいてもよいし、表示面３１の形状、視聴者４１の位置又は視聴者４１の身長により、動的に算出してもよい。
【００２６】
次に、表示面３１の範囲を表すベクトル方程式Ｄｓについて説明する。本実施形態において、表示面３１は平面とする。そして表示面３１は、枠等の部材の大きさも含めて、水平方向にｄｙ、垂直方向にｄｚの大きさを持つとする。表示面３１の範囲を表すベクトル方程式Ｄｓの要素をＤｓ＝（Ｄｓｘ，Ｄｓｙ，Ｄｓｚ）とすると、表示面３１の範囲を表すベクトル方程式Ｄｓは、以下の式１によって表される。本実施形態では、表示面３１に向かって左側の下端が水平面と交わる点を原点とし、ｘ軸を表示面３１に対して垂直にとっているので、表示面３１の範囲を表すベクトル方程式Ｄｓのｘ成分Ｄｓｘの値は常に０である。勿論、表示面３１の形状を平面に限定するものではない。表示面３１が曲面であっても、ベクトル方程式Ｄｓを定義すれば、同様に実施可能である。
【００２７】
【数１】
【００２８】
なお、表示面３１において画素が存在する領域は、水平方向にｄｉｙ、垂直方向にｄｉｚの大きさを持つとする。以下、表示面３１の画素が存在する領域を「表示面３１の画素領域」と称す。ここで、表示面３１の画素領域の、向かって左下の座標を、（０，ｄｉｏｙ，ｄｉｏｚ）とする。ｄｉｙ、ｄｉｚ、ｄｉｏｙ及びｄｉｏｚと、ｄｙ及びｄｚとは、次の式２に示す関係式を満たす。
【００２９】
【数２】
【００３０】
本実施形態では、接触や衝突する虞を示す値は、０、１、２の三値をとるものとする。そして、それぞれの値は以下の状態を示す。
接触や衝突する虞を示す値 状態
０ 期間Ｐｔ０内に表示面３１と接触や衝突する虞はない
１ 期間Ｐｔ０内に表示面３１と接触や衝突する虞はある
２ 緩衝距離Ｂｌ内に視聴者３５が存在する
即ち、視聴者３５が手を伸ばせば接触や衝突の虞がある
【００３１】
従って、本実施形態では、接触や衝突の虞推測部２２は、接触や衝突する虞を示す値が１又は２の視聴者４１については、接触や衝突の虞がある視聴者３５として虞あり対象者情報１０１を生成する。そして、接触や衝突する虞を示す値が０の視聴者４１については、接触や衝突の虞推測部２２は、虞あり対象者情報１０１を生成しない。
【００３２】
次に、図５に示すフローチャートを参照しながら、接触や衝突の虞推測部２２が接触や衝突の虞を推測する処理について説明する。接触や衝突の虞推測部２２は、視聴者４１毎に図５に示す処理を時々刻々と繰り返し、接触や衝突の虞を推測する。
【００３３】
ステップＳ１０１において、接触や衝突の虞推測部２２は、視聴者４１と表示面３１との距離Ｌと、緩衝距離Ｂｌとを比較し、視聴者４１の位置が表示面３１から緩衝距離Ｂｌより離れているか否かを判定する。視聴者４１と表示面３１との距離Ｌは、視聴者４１の座標Ｐｍから表示面３１の範囲を表すベクトル方程式Ｄｓに下ろした垂線の長さを求めればよい。本実施形態では、表示面３１は平面であるから、視聴者４１と表示面３１との距離Ｌは、視聴者４１の座標Ｐｍのｘ方向成分Ｐｘｍになる。従って、Ｐｘｍ＞Ｂｌであり、視聴者４１の位置が表示面３１から緩衝距離Ｂｌより離れている場合、処理はステップＳ１０２に移行する。一方、Ｐｘｍ≦Ｂｌであり、視聴者４１と表示面３１との距離Ｌが緩衝距離Ｂｌ以下である場合、処理はステップＳ１０７に移行する。
【００３４】
ステップＳ１０２において、接触や衝突の虞推測部２２は、視聴者４１の未来位置Ｆｍを線形に予測する。ここで未来位置とは、期間Ｐｔ０内に視聴者４１が到達すると予測される位置である。ｔを媒介変数とすると、視聴者４１の未来位置Ｆｍは次の式３で表される。
【００３５】
【数３】
【００３６】
ステップＳ１０３において、接触や衝突の虞推測部２２は、表示面３１の範囲を表すベクトル方程式Ｄｓと視聴者４１の未来位置Ｆｍとの交点Ｇｍを算出する。交点Ｇｍにおいて、Ｄｓ＝Ｆｍである。この関係を成分表示で表すと、式４に示すようになる。式４を各変数について解いた結果が式５である。式５に示すｔ、Ｄｓｙ、Ｄｓｚの解が、それぞれのとり得る値の範囲内に存在する場合、交点Ｇｍは存在する。即ち、式６に示す関係式が全て成立する場合、交点Ｇｍは存在する。一方、式６を示す関係式のうち、成立しない関係式が一つでも存在する場合、交点Ｇｍは存在しない。
【００３７】
【数４】
【００３８】
ステップＳ１０４において、接触や衝突の虞推測部２２は、交点Ｇｍが存在するか否かを判定する。交点Ｇｍが存在しない場合、処理はステップＳ１０５に移行する。一方、交点Ｇｍが存在する場合、処理はステップＳ１０６に移行する。交点Ｇｍが存在しない場合、期間Ｐｔｏ内で、視聴者４１が表示面３１に接触や衝突する虞はない。そこでステップＳ１０５において、接触や衝突の虞推測部２２は、接触や衝突する虞を示す値を０にする。一方、交点Ｇｍが存在する場合、接触や衝突の虞推測部２２は、期間Ｐｔ０内で、視聴者４１が表示面３１に接触や衝突する虞があると推測する。そこでステップＳ１０６において、接触や衝突の虞推測部２２は、接触や衝突する虞を示す値を１にする。また、視聴者４１と表示面３１との距離が緩衝距離Ｂｌ以下である場合、現時点において、手を伸ばせば表示面３１に接触や衝突する虞がある。そこでステップＳ１０７において、接触や衝突の虞推測部２２は、接触や衝突する虞を示す値を２にする。
【００３９】
次に、図６を参照しながら、警告表示重畳部１２の動作について説明する。図６は、警告表示重畳部１２の処理を示すフローチャートである。警告表示重畳部１２は、接触や衝突の虞がある視聴者３５毎に、時々刻々と映像入力１０２に対して図６に示す処理を繰り返すことにより、警告表示を重畳した映像１０３を出力する。
【００４０】
ステップＳ１１１において、警告表示重畳部１２は、座標Ｐｍを通り顔の向きベクトルＡｍに平行な線分と、表示面３１の範囲を表すベクトル方程式Ｄｓとの交点Ｓｍを算出する。座標Ｐｍを通り、顔の向きベクトルＡｍに平行な線分の成分表示は、ｕを媒介変数として、次の式７で表される。交点Ｓｍはベクトル方程式Ｄｓ上の点であるから、式８が成り立つ。式８をＳｙｍとＳｚｍとについて解くと、交点Ｓｍの各成分の値は式９になる。
【００４１】
【数５】
【００４２】
ステップＳ１１２において、警告表示重畳部１２は、警告表示領域Ｗｓを、交点Ｓｍを中心にして設定する。警告表示領域Ｗｓの形状は矩形であっても、楕円であってもよい。図７は、警告表示領域Ｗｓの形状が矩形である場合と、警告表示領域Ｗｓの形状が楕円である場合とを示す図である。
【００４３】
図７（ａ）は、ｙ軸方向に２Ｗｓｙ、ｚ軸方向に２Ｗｓｚの大きさを持つ矩形の警告表示領域Ｗｓ５１を示している。図７（ｂ）は、２Ｗｓｙの長径、２Ｗｓｚの短径を持つ楕円の警告表示領域Ｗｓ５１を示している。勿論、警告表示領域Ｗｓ５１の形状が楕円の場合、長径をｙ軸方向に限定するものではない。
【００４４】
ここで、警告表示領域Ｗｓ５１の大きさを示すＷｓｙとＷｓｚとは、接触や衝突する虞を示す値に依存して決定する。接触や衝突する虞を示す値が１のときに使用するＷｓｙとＷｓｚとを、それぞれＷｓｙ１とＷｓｚ１とし、接触や衝突する虞を示す値が２のときに使用するＷｓｙとＷｓｚとを、それぞれＷｓｙ２とＷｓｚ２とする。そして、Ｗｓｙ１、Ｗｓｙ２、Ｗｓｚ１、Ｗｓｚ２の値は、次の式１０を満たすものとする。ステップＳ１１２において、警告表示重畳部１２は、接触や衝突する虞を示す値が１である場合、警告表示重畳部１２は、Ｗｓｙ１とＷｓｚ１とを選択して警告表示領域Ｗｓ５１を設定する。一方、ステップＳ１１２において、接触や衝突する虞を示す値が２である場合、警告表示重畳部１２は、Ｗｓｙ２とＷｓｚ２とを選択して警告表示領域Ｗｓ５１を設定する。
【００４５】
【数６】
【００４６】
Ｗｓｙ１、Ｗｓｙ２、Ｗｓｚ１、Ｗｓｚ２は、予め定めておいてもよいし、又は、接触や衝突の虞がある視聴者３５と表示面３１との距離Ｌ、及び、接触や衝突する虞を示す値から、ステップＳ１１２を実行する度に算出してもよい。ステップＳ１１３において、警告表示重畳部１２は、警告表示領域Ｗｓ５１と表示面３１の画素領域との交点が存在するか否かを判定する。警告表示領域Ｗｓ５１と表示面３１の画素領域との交点が存在する場合、次の式１１が成立する。従って、式１１が真である場合、処理はステップＳ１１４に移行する。一方、式１１が偽である場合、警告表示領域Ｗｓ５１と表示面３１の画素領域との交点が存在しないため、現時刻における当該接触や衝突の虞がある視聴者３５に対する処理を終了する。
【００４７】
【数７】
【００４８】
ステップＳ１１４において、警告表示重畳部１２は、警告表示領域Ｗｓ５１の色相の平均値ＡＨを求め、閾値ＡＨｔｈ０と比較する。色相の平均値ＡＨが閾値ＡＨｔｈ０より大きい場合、処理はステップＳ１１５に移行する。一方、色相の平均値ＡＨが閾値ＡＨｔｈ０以下である場合、処理はステップＳ１１６に移行する。
【００４９】
ここで、ステップＳ１１４における色相の平均値の算出方法は限定されない。従って、色相の平均値ＡＨは、単純平均を用いても加重平均を用いて求めてもよい。閾値ＡＨｔｈ０は、表示面３１の特性や設置場所の状況に基づいて予め算出しておいてもよいし、ステップＳ１１４を実行する度、又は、表示面３１の特性や設置場所の状況に変化がある度に算出してもよい。
【００５０】
ステップＳ１１５において、警告表示重畳部１２は、警告表示領域Ｗｓ５１の色相をＨｔｈ０％減少させる。ステップＳ１１６において、警告表示重畳部１２は、警告表示領域Ｗｓ５１の色相をＨｔｈ１％増加させる。
【００５１】
ここで、減少割合Ｈｔｈ０と増加割合Ｈｔｈ１とは、接触や衝突する虞を示す値に依存して決定される。接触や衝突する虞を示す値が１のときに使用するＨｔｈ０とＨｔｈ１との値を、それぞれＨｔｈ０１とＨｔｈ１１とする。また、接触や衝突する虞を示す値が２のときに使用するＨｔｈ０とＨｔｈ１との値を、それぞれＨｔｈ０２とＨｔｈ１２とする。そして、Ｈｔｈ０１、Ｈｔｈ０２、Ｈｔｈ１１、Ｈｔｈ１２は、次の式１２を満たすものとする。ステップＳ１１５において、接触や衝突する虞を示す値が１である場合、警告表示重畳部１２はＨｔｈ０１を選択し、警告表示領域Ｗｓの色相をＨｔｈ０１％減少させる。一方、接触や衝突する虞を示す値が２である場合、警告表示重畳部１２はＨｔｈ０２を選択し、警告表示領域Ｗｓ５１の色相をＨｔｈ０２％減少させる。一方、ステップＳ１１６において、接触や衝突する虞を示す値が１である場合、警告表示重畳部１２はＨｔｈ１１を選択し、警告表示領域Ｗｓ５１の色相をＨｔｈ１１％増加させる。一方、接触や衝突Ｓる虞を示す値が２である場合、警告表示重畳部１２はＨｔｈ１２を選択し、警告表示領域Ｗｓ５１の色相をＨｔｈ１２％減少増加させる。
【００５２】
【数８】
【００５３】
Ｈｔｈ０１、Ｈｔｈ０２、Ｈｔｈ１１及びＨｔｈ１２は、表示面３１の特性及び設置場所の状況に基づいて予め定めておいてよい。又は、ステップＳ１１５又はＳ１１６を実行する度に、警告表示領域Ｗｓ５１内の映像、表示面３１の特性及び設置場所の状況に基づいて算出してもよい。以上のように、本実施形態では、警告表示に色相の変化を使用しているが、勿論、警告表示に色相の変化を使用することを限定するものではない。
【００５４】
図８は、警告表示を重畳した映像を表示面３１に表示した例を示す図である。図８（ａ）及び（ｂ）において、接触や衝突の虞がある視聴者３５の顔が向いている方向、即ち、接触や衝突の虞がある視聴者３５の視野の中央部に、色相が変化した警告表示領域Ｗｓ５１が出現する。図８に示す例では、表示物３２上に警告表示領域Ｗｓ５１が出現している。周りと色相が異なる警告表示領域Ｗｓ５１が出現することで、接触や衝突の虞がある視聴者３５は、表示面３１の存在を認知する。一方、図８（ａ）に示すように、表示面３１からの距離が遠かったり、図８（ｂ）に示すように、顔の向きが接触や衝突の虞がある視聴者３５と異なる場合には、衝突の虞がない視聴者３６は警告表示領域Ｗｓ５１を認知する可能性は低い。
【００５５】
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態に係る映像表示装置の構成は、図１に示した構成と同様である。図９は、第２の実施形態における接触や衝突の虞検出部１１の構成を示す図である。図９に示す接触や衝突の虞検出部１１は、視聴者情報収集部２１、接触や衝突の虞推測部２４及び存在認知推測部２３を備える。
【００５６】
図９に示す第２の実施形態における視聴者情報収集部２１は、図３に示す第１の実施形態における視聴者情報収集部２１と同様である。従って、第２の実施形態における視聴者情報収集部２１より出力される視聴者情報１１１には、視聴者４１の、座標Ｐｍ、速度ベクトルＶｍ及び顔の向きベクトルＡｍが含まれる。なお、視聴者情報１１１は上記３項目に限定されるものではない。即ち、更に多くの項目が視聴者情報１１１に含まれることを妨げない。
【００５７】
次に、存在認知推測部２３の処理について説明する。存在認知推測部２３は、視聴者４１が表示面３１の存在を認知しているか否かを推測し、その結果を存在認知推測値１１２として出力する。本実施形態では、存在認知推測値１１２は０、１の二値をとり、それぞれの値は以下の状態を示すものとする。
存在認知推測値 状態
０ 視聴者４１は表示面３１の存在を認知していないと推測
１ 視聴者４１は表示面３１の存在を認知していると推測
【００５８】
表示面３１に近づいてきた視聴者４１は、表示面３１の存在を認知し、接触や衝突すると判断すれば、接触や衝突を回避するために、速度を落とす、又は表示面３１から遠ざかるように移動方向を変える。そこで、存在認知推測部２３は、速度ベクトルＶｍの表示面３１に対して垂直方向の成分を求め、その値を基に視聴者４１が表示面３１の存在を認知しているか否かを推測する。本実施形態では、表示面３１は平面であるから、速度ベクトルＶｍの表示面３１に対して垂直方向の成分はＶｘｍである。よって、Ｖｘｍを次の表のように分類し、視聴者４１が表示面３１の存在を認知しているか否かを推測する。
【００５９】
【表１】
【００６０】
上記表において、分類１は、Ｖｘｍが０より大きく、表示面３１から離れる方向に視聴者４１は運動している。従って、存在認知推測部２３は、視聴者４１が表示面３１との接触や衝突を回避するために運動していると推測し、存在認知推測値１１２の値を１にする。分類２は、Ｖｘｍが０に等しく、視聴者４１と表示面３１との距離は変化しない。この場合、存在認知推測部２３は、視聴者４１が表示面３１の存在を認知していると推測し、存在認知推測値１１２の値を１にする。分類３は、Ｖｘｍが０以下であり、ｘ軸は表示面３１に近づく方向が負である。従って、視聴者４１は表示面３１に近づく方向に運動している。さらに、Ｖｘｍを時間で微分した値が０以下であるから、視聴者４１は速度を変えずに、又は、速度を上げて表示面３１に近づいている。この場合、存在認知推測部２３は、視聴者４１が表示面３１の存在を認知していないと推測し、存在認知推測値１１２の値を０にする。分類４は、Ｖｘｍが０であり、且つ、Ｖｘｍを時間で微分した値が０より大きい。この場合、視聴者４１は、表示面３１に近づいているが、近づく速度は低下している。従って、存在認知推測部２３は、視聴者４１が表示面３１の存在を認知していると推測し、存在認知推測値１１２の値を１にする。
【００６１】
次に、接触や衝突の虞推測部２４の処理について説明する。接触や衝突の虞推測部２４は、視聴者情報１１１及び存在認知推測値に基づいて、予め定めた期間Ｐｔ０内に表示面３１と接触や衝突する虞を示す値を、視聴者４１毎に時々刻々と推測する。そして、接触や衝突の虞推測部２４は、推測した接触や衝突する虞を示す値に基づいて、接触や衝突の虞がある視聴者３５を抽出する。その後、存在認知推測部２３は、接触や衝突の虞がある視聴者３５の視聴者情報１１１を、虞あり対象者情報１０１として出力する。ここで、虞あり対象者情報１０１は、接触や衝突の虞がある視聴者３５の、座標Ｐｍ、速度ベクトルＶｍ、顔の向きベクトルＡｍ、及び、接触や衝突する虞を示す値を含む情報である。
【００６２】
第２の実施形態では、第１の実施形態と同様に、接触や衝突の虞推測部２４が推測する接触や衝突する虞を示す値は、０、１、２の三値をとり、それぞれの値は以下の状態を示すとする。
接触や衝突する虞を示す値 状態
０ 緩衝距離Ｂｌ外に視聴者４１が存在し、
期間Ｐｔ０内に表示面３１と接触や衝突する虞はないか、
又は、視聴者４１が表示面３１の存在を認知している
１ 緩衝距離Ｂｌ外に視聴者４１が存在し、
期間Ｐｔ０内に表示面３１と接触や衝突する虞があり、
且つ、視聴者４１が表示面３１の存在を認知していない
２ 緩衝距離Ｂｌ内に視聴者４１が存在する
【００６３】
接触や衝突の虞推測部２４は、接触や衝突する虞を示す値が１又は２の視聴者４１を、接触や衝突の虞がある視聴者３５とし、虞あり対象者情報１０１を生成する。一方、接触や衝突する虞を示す値が０の視聴者４１に対しては、接触や衝突の虞推測部２４は虞あり対象者情報１０１を生成しない。
【００６４】
図１０は、第２の実施形態における接触や衝突の虞推測部２４が接触や衝突の虞を推測する処理を示すフローチャートである。接触や衝突の虞推測部２４は、視聴者４１毎に図１０に示す処理を時々刻々と繰返し、接触や衝突の虞を推測する。図１０に示す処理のうち、ステップＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０５、Ｓ１０６及びＳ１０７は、図５に示す第１の実施形態おける同一符号の処理と同様である。以下では、第１の実施形態における図５に示す処理との差異について説明を行うものとし、第１の実施形態と同様の処理については説明を省略する。
【００６５】
ステップＳ１２４において、接触や衝突の虞推測部２４は、交点Ｇｍが存在するか否かを判定する。交点Ｇｍが存在しない場合、処理はステップＳ１０５に移行する。一方、交点Ｇｍが存在する場合、処理はステップＳ１２５に移行する。ステップＳ１２５において、接触や衝突の虞推測部２４は存在認知推測値１１２を評価する。そして、存在認知推測値１１２が１、即ち、視聴者４１が表示面３１の存在を認知していると推測される場合、処理はステップＳ１０５に移行する。一方、存在認知推測値１１２が０、即ち、視聴者４１が表示面３１の存在を認知していないと推測される場合、処理はステップＳ１０６に移行する。
【００６６】
次に、本発明の第３の実施形態について説明する。第３の実施形態に係る映像表示装置の構成は図１に示した構成と同様である。また、第３の実施形態における接触や衝突の虞検出部１１の構成は図３に示した構成と同様であるが、本実施形態では、接触や衝突の虞推測部２２の実施にファジィ制御を応用している。なお、ファジィ制御は公知技術であり、例えば工場において、自動搬送車が障害物を回避する制御に利用されている。
【００６７】
第３の実施形態における接触や衝突の虞推測部２２は、ファジィ理論に基づき、視聴者４１の座標Ｐｍと速度ベクトルＶｍとから、視聴者４１の未来位置が表示面３１と交点を有する適合度を算出するための多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）を設定する。そして、接触や衝突の虞推測部２２は、この多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）を使用して、接触や衝突の虞を推測する。
【００６８】
ここで、多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）は、表示面３１の形状、表示面３１を設置した場所の状況に依存する。ファジィ制御において、メンバシップ関数μは実験結果から最尤法で決定するのが一般的である。本発明は、多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）の生成方法に依存したものではないので、多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）は実験結果から最尤法で決定してよい。勿論、多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）の生成を最尤法に限定するものではない。
【００６９】
多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）の値は、０以上１以下の値をとる。この値をそのまま虞あり対象者情報１０１に含めて、警告表示重畳部１２で使用してもよい。又は、第１の実施形態に示した接触や衝突する虞を示す値と同じく、０、１、２の三値をとるようにしてもよい。この場合、多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）の値を閾値Ｆｔｈ０と比較し、多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）の値が閾値Ｆｔｈ０より大きければ、接触や衝突する虞を示す値を１とする。一方、多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）の値が閾値Ｆｔｈ０以下である場合、接触や衝突する虞を示す値を０とする。そして、緩衝距離Ｂｌ内に視聴者４１が存在すれば、多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）の値に係わらず、接触や衝突する虞を示す値を２とする。
【００７０】
次に、本発明の第４の実施形態について説明する。第４の実施形態に係る映像表示装置の構成は図１に示した構成と同様である。図１１は、第４の実施形態における警告表示重畳部１２の処理を示すフロｓーチャートである。以下、図１１を参照しながら、第４の実施形態における警告表示重畳部１２の処理について説明する。なお、図１１に示す処理のうち、ステップＳ１１１、Ｓ１１２及びＳ１１３は、図６に示す第１の実施形態における同一符号の処理と同様である。以下では、第１の実施形態における図６に示す処理との差異について説明を行うものとし、第１の実施形態と同様の処理については説明を省略する。
【００７１】
警告表示領域Ｗｓ５１と表示面３１の画素領域との交点が存在する場合、ステップＳ１３４において、警告表示重畳部１２は、映像入力１０２において、交点Ｓｍ５２の近傍に表示面３１の後方から前方に向かうように運動している対象の存在を評価する。例えば、映像入力１０２が多くのボールが飛び跳ねているような映像であれば、ボールの中には表示面３１の後方から前方に向かって飛んでくるボールが存在する。交点Ｓｍ５２の近傍に表示面３１の後方から前方に向かうように運動している対象が存在する場合、処理はステップＳ１３５に移行する。一方、交点Ｓｍ５２の近傍に表示面３１の後方から前方に向かうように運動している対象が存在しない場合、処理はステップＳ１３６に移行する。
【００７２】
ステップＳ１３５において、警告表示重畳部１２は、表示面３１の後方から前方に向かうように運動している対象が警告表示領域Ｗｓ５１に存在するように、映像入力１０２にアフィン変換を施して、警告表示を重畳した映像１０３を生成する。このとき、表示面３１の後方から前方に向かうように運動している対象が複数存在する場合、交点Ｓｍ５２に最も近い対象が警告表示領域Ｗｓ５１に存在するようにアフィン変換を施す。
【００７３】
交点Ｓｍ５２の近傍に表示面３１の後方から前方に向かうように運動している対象が存在しない場合、ステップＳ１３６において、警告表示重畳部１２は、表示面３１の後方から前方に向かうように運動する対象を警告表示領域Ｗｓ５１に挿入して、警告表示を重畳した映像１０３を生成する。又は、ステップＳ１３６において、第１の実施形態で説明した警告表示領域Ｗｓ５１の色相を変える手法を用いてもよい。
【００７４】
次に、本発明の第５の実施形態について説明する。第５の実施形態に係る映像表示装置の構成は図１に示した構成と同様である。図１２は、第５の実施形態における警告表示重畳部１２の処理を示すフローチャートである。以下、図１２を参照しながら、第５の実施形態における警告表示重畳部１２の処理について説明する。なお、図１２に示す処理のうち、ステップＳ１１１、Ｓ１１２及びＳ１１３は、図６に示す第１の実施形態における同一符号の処理と同様である。以下では、第１の実施形態における図６に示す処理との差異について説明を行うものとし、第１の実施形態と同様の処理については説明を省略する。
【００７５】
警告表示領域Ｗｓ５１と表示面３１の画素領域との交点が存在する場合、ステップＳ１３７において、警告表示重畳部１２は接触や衝突の虞のある視聴者３５を撮影する。そして、警告表示重畳部１２は、撮影した映像を、鏡に映った映像の如くなるように、照明の映りこみ具合や、色相、彩度又は明度を補正する。そして、警告表示重畳部１２は、このようにして得られた鏡面効果で視聴者を映した映像を、交点Ｓｍ５２を中心に、警告表示領域Ｗｓ５１に重畳して、警告表示を重畳した映像１０３を作成する。ここで、接触や衝突の虞のある視聴者３５を撮影するカメラ等の装置は、視聴者情報収集部２１を使用してもよいし、カメラ等の装置を別途設置し、使用してもよい。
【００７６】
次に、本発明の第６の実施形態について説明する。第６の実施形態に係る映像表示装置の構成は図１に示した構成と同様である。図１３は、第６の実施形態における警告表示重畳部１２の処理を示すフローチャートである。以下、図１３を参照しながら、第６の実施形態における警告表示重畳部１２の処理について説明する。なお、図１３に示す処理のうち、ステップＳ１１１、Ｓ１１２及びＳ１１３は、図６に示す第１の実施形態における同一符号の処理と同様である。以下では、第１の実施形態における図６に示す処理との差異について説明を行うものとし、第１の実施形態と同様の処理については説明を省略する。
【００７７】
警告表示領域Ｗｓ５１と表示面３１の画素領域との交点が存在する場合、ステップＳ１３３において、警告表示重畳部１２は、接触や衝突の虞がある視聴者３５と表示面３１との距離Ｌと、緩衝距離Ｂｌとを比較する。接触や衝突の虞がある視聴者３５と表示面３１との距離Ｌが緩衝距離Ｂｌ未満である場合、処理はステップＳ１３７に移行する。一方、接触や衝突の虞がある視聴者３５と表示面３１との距離Ｌが緩衝距離Ｂｌ以上である場合、処理はステップＳ１３４に移行する。
【００７８】
図１３におけるステップＳ１３４、Ｓ１３５及びＳ１３６は、図１１に示した第４の実施形態における同一符号の処理と同様である。また、図１３におけるステップＳ１３７は、図１２に示した第５の実施形態における同一符号の処理と同様である。即ち、接触や衝突の虞がある視聴者３５と表示面３１との距離が短く、緩衝距離Ｂｌ未満である場合、ステップＳ１３７において、第５の実施形態で説明した擬似的に鏡が存在するような映像による警告が実施される。一方、接触や衝突の虞がある視聴者３５と表示面３１との距離が離れており、接触や衝突の虞がある視聴者３５と表示面３１との距離Ｌが緩衝距離Ｂｌ以上である場合、ステップＳ１３５、Ｓ１３６において、第４の実施形態で説明した映像效果による警告が実施される。なお、ステップＳ１３６において、第１の実施形態で説明した警告表示領域Ｗｓ５１の色相を変える手法を用いてもよい。
【００７９】
上述した実施形態においては、接触や衝突する虞のある視聴者に対してのみ警告を発することができる。また、現実感のある映像を提供する映像表示装置の訴求效果を殺いでしまう装置や器具を使用しなくとも、或いは、視聴者が特別な装置や器具を所持していなくとも、接触や衝突の虞がある視聴者に対して警告を発することができる。さらに、視聴者の感興を殺がない警告を発することも可能である。
【００８０】
よって、上述した実施形態によれば、接触や衝突する虞のある視聴者は、映像表示装置との接触や衝突を回避でき、不測の事態の発生を防止することができる。また、上述した実施形態によれば、接触や衝突の虞がない視聴者は警告に煩わされることがなく、接触や衝突の虞がある視聴者は警告を受けても感興を殺がれることがないため、映像表示装置が提供している情報に対してよい印象を保つことができる。さらに、上述した実施形態によれば、視聴者が特別な装置や器具を所持していなくとも接触や衝突を回避することが可能であるため、映像表示装置の設置場所が限定されないという效果もある。
【００８１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８２】
１１：接触や衝突の虞検出部、１２：警告表示重畳部、２１：視聴者情報収集部、２２、２４：接触や衝突の虞推測部、２３：存在認知推測部
【技術分野】
【０００１】
本発明は、表示装置に対して視聴者が接触や衝突することを防止する技術に関するものである。
【背景技術】
【０００２】
近年、屋外及び屋内を問わず、大型の映像表示装置を使用して様々な情報を提供する装置が広く使われている。例えば、駅前や商業地には、多種の広告を提供する屋外設置型の映像表示装置が多く存在する。また、駅や空港の建物内には、出発時刻及び到着時刻や運行状況を始めとする様々な情報や、広告を表示する映像表示装置が使われている。
【０００３】
映像表示装置を構成する表示素子の大型化や高精度化が進んでいることから、今後、このような様々な情報を提供する装置の大型化が進むと見込まれている。また、表示素子の大型化や高精度化により、現実と見紛う映像を表示することが可能となる。現実と見紛う映像は視聴者に対する訴求效果が大きいため、今後、電子広告を始めとした情報提供装置に、大型である上に高精細な映像を表示可能な映像表示装置が広く使用されると予想される。
【０００４】
しかし、このような映像表示装置が提供する表示映像に現実感があるため、視聴者が映像であると認知せず、実体が存在すると誤認する虞がある。そして、視聴者が映像であると認知せず、実体が存在すると誤認していると、思わぬ事態が発生する虞がある。従って、大型で且つ高精細な映像を表示する映像表示装置、又は、そのような映像表示装置を使用した情報提供装置には、視聴者の接触や衝突を回避する手法が使用されている。
【０００５】
視聴者の接触や衝突を回避するための手法として、パイロン、柵又は綱等で、表示面を物理的に隔離する手法がある。本手法によれば、パイロン、柵又は綱の存在により、視聴者は表示面に接触や衝突するまで接近せず、視聴者の接触や衝突の回避が可能である。しかしながら、本手法では、表示面を物理的に隔離するためのパイロン、柵又は柵の存在が、視聴者に対する訴求效果を殺いでしまうという課題がある。
【０００６】
また、別の手法として、接触や衝突の虞がある場合に、視聴者に対して音や光で警告を発して、視聴者の接触や衝突を回避する手法がある。本手法によれば、接触や衝突の虞があると判断すると、スピーカから警告音を発する、又は、警告灯を点滅或いは回転することで注意を促し、視聴者の接触や衝突を回避する。しかしながら、本手法には、接触や衝突の虞がない視聴者にも警告が達する上、視聴者の感興を殺いでしまうという課題がある。スピーカからの警告音や警告灯の警告光は、接触や衝突の虞がある視聴者のみならず、接触や衝突の虞がない視聴者にも到達する。従って、接触や衝突の虞がある視聴者、及び、接触や衝突の虞がない視聴者ともに、スピーカからの警告音又は警告灯の警告光により、感興を殺がれてしまう。さらに、感興を殺がれるのみならず、当該映像表示装置が表示している情報、例えば当該映像表示装置が電子広告装置である場合、対象の商品に対して、よくない印象を視聴者が持つ虞も否定できない。
【０００７】
特許文献１には、視聴者と表示面との距離を測定し、その距離が適切でない場合、表示面に警告を表示する技術が開示されている。また、特許文献２には、接触や衝突の虞がある視聴者の携帯端末に警報を送信し、警告音を発する技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平３−２００９９５号公報
【特許文献２】特開２００６−３３１１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に開示される技術は、警告を発する条件が視聴者と表示面との距離のみであるため、接触や衝突の虞はないが、表示面までの距離が適切でない視聴者にも警告を発してしまうという課題がある。接触や衝突の虞はないが、表示面までの距離が適切でない視聴者の例として、表示面の前で停止している視聴者や、表示面と並行に移動している視聴者等が挙げられる。
【００１０】
また、特許文献２に開示される技術は、警報を受信可能な携帯端末を所持していないと警告を受けることができないという課題がある。駅等の公共の場では、不特定多数の人間が出入りしているので、全ての視聴者が警報を受信可能な携帯端末を所持しているとは限らない。従って、本従来技術による接触や衝突回避は限定的となる。
【００１１】
そこで、本発明の目的は、視聴者が表示装置に対して接触や衝突することを回避し、不測の事態の発生を防止することにある。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、画像を表示する表示装置に対して接触又は衝突の虞のある視聴者を検出する検出手段と、前記検出手段により前記表示装置に対して接触又は衝突の虞のある前記視聴者が検出された場合、前記表示装置に表示される画像に警告表示を重畳させる重畳手段とを有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、視聴者が表示装置に対して接触や衝突することを回避することができ、不測の事態の発生を防止することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る映像表示装置の構成を示す図である。
【図２】本発明の実施形態において使用する座標系を示す図である。
【図３】第１の実施形態における接触や衝突の虞検出部の構成を示す図である。
【図４】視聴者情報収集部によって生成される視聴者情報について説明するための図である。
【図５】接触や衝突の虞推測部が接触や衝突の虞を推測する処理を示すフローチャートである。
【図６】第１の実施形態における警告表示重畳部の処理を示すフローチャートである。
【図７】警告表示領域の例を示す図である。
【図８】警告表示を重畳した映像を表示面に表示した例を示す図である。
【図９】第２の実施形態における接触や衝突の虞検出部の構成を示す図である。
【図１０】第２の実施形態における接触や衝突の虞推測部が接触や衝突の虞を推測する処理を示すフローチャートである。
【図１１】第４の実施形態における警告表示重畳部の処理を示すフロｓーチャートである。
【図１２】第５の実施形態における警告表示重畳部の処理を示すフローチャートである。
【図１３】第６の実施形態における警告表示重畳部の処理を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。但し、本発明は、以下に説明する実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で適宜変更することが可能である。
【００１６】
先ず、本発明の実施形態を説明するにあたり、使用する座標系について説明する。図２は、本実施形態において使用する座標系を示す図である。本実施形態において使用する座標系は右手系である。即ち、表示面３１に向かって左側の下端が水平面と交わる点を原点にとる。そして、ｘ軸は原点において表示面３１に対して垂直に定める。ｘ軸の方向は表示面３１から離れる方向とする。そして、右手系座標系になるようにｙ軸及びｚ軸を定める。なお、表示面３１の形状は平面に限定するものではなく、表示面３１は曲面であってもよい。表示面３１が曲面であっても座標系は同様である。
【００１７】
また、本発明の実施形態を説明するにあたり、視聴者を、接触や衝突の虞の有無で明確に区別する必要がある場合、接触や衝突の虞がある視聴者を視聴者３５とし、接触や衝突の虞がない視聴者を視聴者３６とする。図２において、接触や衝突の虞がある視聴者３５は、表示面３１に向かって移動していて、接触や衝突の虞がある。一方、接触や衝突の虞がない視聴者３６は、表示面３１に対して平行に移動していて、接触や衝突の虞はない。
【００１８】
図１は、本発明の第１の実施形態に係る映像表示装置の構成を示す図である。図１に示すように、第１の実施形態に係る映像表示装置は、接触や衝突の虞検出部１１と警告表示重畳部１２とを備える。接触や衝突の虞検出部１１は、予め定められた期間Ｐｔ０内に表示面３１と接触や衝突すると予測される視聴者を検出する。そして、接触や衝突の虞検出部１１は、検出した視聴者毎の情報を収集して虞あり対象者情報１０１を生成し、警告表示重畳部１２に対して出力する。警告表示重畳部１２は、虞あり対象者情報１０１に基づいて、接触や衝突の虞がある視聴者が映像表示装置の存在を認知するに足る信号、即ち警告表示を映像信号に重畳させる。なお、本実施形態に係る映像表示装置は、画像処理装置の適用例となる構成である。
【００１９】
ここで、接触や衝突の虞検出部１１について詳細に説明する。図３は、接触や衝突の虞検出部１１の構成を示す図である。図３に示すように、接触や衝突の虞検出部１１は、視聴者情報収集部２１及び接触や衝突の虞推測部２２を備える。
【００２０】
図４は、視聴者情報収集部２１によって生成される視聴者情報（図３の１１１）について説明するための図である。図４に示すように、視聴者情報１１１は、視聴者４１の、座標Ｐｍ、速度ベクトルＶｍ及び顔の向きベクトルＡｍを含む。ここで添え字ｍは、視聴者４１を識別するための識別子である。視聴者４１の座標Ｐｍは、視聴者４１を代表する点の座標である。例えば、視聴者４１の頭頂部中央の座標値を座標Ｐｍとする。勿論、視聴者４１の座標Ｐｍを視聴者４１の頭頂部中央の座標値に限定するものではない。座標Ｐｍ、速度ベクトルＶｍ及び顔の向きベクトルＡｍを成分表示で表すと、以下のようになる。
Ｐｍ＝（Ｐｘｍ，Ｐｙｍ，Ｐｚｍ）
Ｖｍ＝（Ｖｘｍ，Ｖｙｍ，Ｖｚｍ）
Ａｍ＝（Ａｘｍ，Ａｙｍ，Ａｚｍ）
なお、視聴者情報１１１は上記３項目に限定されるものではない。即ち、さらに多くの項目を視聴者情報１１１が含むことを妨げない。
【００２１】
次に、視聴者情報収集部２１の動作について説明する。位置や速度を始めとする対象物の位置情報を取得する手法については、従来から多くの手法が提案されており、本発明は、位置情報の取得手法に依存したものではない。そこで、少なくとも視聴者４１の座標Ｐｍ、速度ベクトルＶｍ及び顔の向きベクトルＡｍを取得することができれば、何れの公知技術を使用して視聴者情報収集部２１を構成してもよい。例えば、窪田進，丸山昌之，伊久美智則，高畠政実：複数の全方位カメラによる人物動線計測システム，東芝レビュー，Ｖｏｌ．６３，Ｎｏ．１０（２００８）には、全方位カメラを用いて人物の動線を検出する手法が開示されている。この公知技術を応用して、視聴者４１の座標Ｐｍ、速度ベクトルＶｍ及び顔の向きベクトルＡｍを検出することが可能である。
【００２２】
また、視聴者４１の座標Ｐｍ及び速度ベクトルＶｍを検出する手段と、視聴者４１の顔の向きベクトルＡｍを検出する手段とが夫々別であってもよい。この場合、視聴者４１の座標Ｐｍ及び速度ベクトルＶｍと、視聴者４１の顔の向きベクトルＡｍとを夫々別の手段で検出した後、視聴者情報収集部２１がこれらを合成して視聴者情報１１１を形成する。例えば、超音波センサを使用した視聴者４１の座標Ｐｍ及び速度ベクトルＶｍの検出手段と、カメラで撮影した映像から顔認識で顔の向きベクトルＡｍを検出する手段とを用いる構成が別々の検出手段を用いた例である。勿論、検出手段の組み合わせが、超音波センサによる座標Ｐｍ及び速度ベクトルＶｍの検出手段と、顔認識による顔の向きベクトルＡｍの検出手段との組み合わせに限定されるものではない。
【００２３】
次に、接触や衝突の虞推測部２２の動作について説明する。接触や衝突の虞推測部２２は、視聴者情報１１１に基づいて、予め定められた期間Ｐｔ０内に表示面３１と接触や衝突する虞を示す値を視聴者４１毎に時々刻々と推測（推定）する。そして、接触や衝突の虞推測部２２は、上記接触や衝突する虞を示す値に基づいて、接触や衝突の虞がある視聴者３５を抽出する。その後、接触や衝突の虞推測部２２は、接触や衝突の虞がある視聴者３５の視聴者情報１１１を、虞あり対象者情報１０１として出力する。ここで、虞あり対象者情報１０１は、接触や衝突の虞がある視聴者３５の、座標Ｐｍ、速度ベクトルＶｍ、顔の向きベクトルＡｍ及び接触や衝突する虞を示す値を含む情報である。
【００２４】
なお、本発明においては、接触や衝突の虞を推測する手段を限定するものではない。従って、期間Ｐｔ０内に表示面３１と接触や衝突する虞を推測できればどのような手段を使用してもよい。そこで、接触や衝突の虞推測部２２の一例として、線形予測を使用した例について説明する。接触や衝突の虞推測部２２の動作を説明するのに先立ち、緩衝距離Ｂｌと表示面３１の範囲を表すベクトル方程式Ｄｓとについて説明する。
【００２５】
先ず、緩衝距離Ｂｌについて説明する。本実施形態では、緩衝距離Ｂｌを次のように定義する。即ち、緩衝距離Ｂｌとは、視聴者４１が表示面３１から緩衝距離Ｂｌ以上離れていれば、視聴者４１が手を伸ばしても、その手が表示面３１に接触しない距離である。従って、緩衝距離Ｂｌは、視聴者４１の手の長さより大きい値を持つ。緩衝距離Ｂｌの値は、予め定めておいてもよいし、表示面３１の形状、視聴者４１の位置又は視聴者４１の身長により、動的に算出してもよい。
【００２６】
次に、表示面３１の範囲を表すベクトル方程式Ｄｓについて説明する。本実施形態において、表示面３１は平面とする。そして表示面３１は、枠等の部材の大きさも含めて、水平方向にｄｙ、垂直方向にｄｚの大きさを持つとする。表示面３１の範囲を表すベクトル方程式Ｄｓの要素をＤｓ＝（Ｄｓｘ，Ｄｓｙ，Ｄｓｚ）とすると、表示面３１の範囲を表すベクトル方程式Ｄｓは、以下の式１によって表される。本実施形態では、表示面３１に向かって左側の下端が水平面と交わる点を原点とし、ｘ軸を表示面３１に対して垂直にとっているので、表示面３１の範囲を表すベクトル方程式Ｄｓのｘ成分Ｄｓｘの値は常に０である。勿論、表示面３１の形状を平面に限定するものではない。表示面３１が曲面であっても、ベクトル方程式Ｄｓを定義すれば、同様に実施可能である。
【００２７】
【数１】
【００２８】
なお、表示面３１において画素が存在する領域は、水平方向にｄｉｙ、垂直方向にｄｉｚの大きさを持つとする。以下、表示面３１の画素が存在する領域を「表示面３１の画素領域」と称す。ここで、表示面３１の画素領域の、向かって左下の座標を、（０，ｄｉｏｙ，ｄｉｏｚ）とする。ｄｉｙ、ｄｉｚ、ｄｉｏｙ及びｄｉｏｚと、ｄｙ及びｄｚとは、次の式２に示す関係式を満たす。
【００２９】
【数２】
【００３０】
本実施形態では、接触や衝突する虞を示す値は、０、１、２の三値をとるものとする。そして、それぞれの値は以下の状態を示す。
接触や衝突する虞を示す値 状態
０ 期間Ｐｔ０内に表示面３１と接触や衝突する虞はない
１ 期間Ｐｔ０内に表示面３１と接触や衝突する虞はある
２ 緩衝距離Ｂｌ内に視聴者３５が存在する
即ち、視聴者３５が手を伸ばせば接触や衝突の虞がある
【００３１】
従って、本実施形態では、接触や衝突の虞推測部２２は、接触や衝突する虞を示す値が１又は２の視聴者４１については、接触や衝突の虞がある視聴者３５として虞あり対象者情報１０１を生成する。そして、接触や衝突する虞を示す値が０の視聴者４１については、接触や衝突の虞推測部２２は、虞あり対象者情報１０１を生成しない。
【００３２】
次に、図５に示すフローチャートを参照しながら、接触や衝突の虞推測部２２が接触や衝突の虞を推測する処理について説明する。接触や衝突の虞推測部２２は、視聴者４１毎に図５に示す処理を時々刻々と繰り返し、接触や衝突の虞を推測する。
【００３３】
ステップＳ１０１において、接触や衝突の虞推測部２２は、視聴者４１と表示面３１との距離Ｌと、緩衝距離Ｂｌとを比較し、視聴者４１の位置が表示面３１から緩衝距離Ｂｌより離れているか否かを判定する。視聴者４１と表示面３１との距離Ｌは、視聴者４１の座標Ｐｍから表示面３１の範囲を表すベクトル方程式Ｄｓに下ろした垂線の長さを求めればよい。本実施形態では、表示面３１は平面であるから、視聴者４１と表示面３１との距離Ｌは、視聴者４１の座標Ｐｍのｘ方向成分Ｐｘｍになる。従って、Ｐｘｍ＞Ｂｌであり、視聴者４１の位置が表示面３１から緩衝距離Ｂｌより離れている場合、処理はステップＳ１０２に移行する。一方、Ｐｘｍ≦Ｂｌであり、視聴者４１と表示面３１との距離Ｌが緩衝距離Ｂｌ以下である場合、処理はステップＳ１０７に移行する。
【００３４】
ステップＳ１０２において、接触や衝突の虞推測部２２は、視聴者４１の未来位置Ｆｍを線形に予測する。ここで未来位置とは、期間Ｐｔ０内に視聴者４１が到達すると予測される位置である。ｔを媒介変数とすると、視聴者４１の未来位置Ｆｍは次の式３で表される。
【００３５】
【数３】
【００３６】
ステップＳ１０３において、接触や衝突の虞推測部２２は、表示面３１の範囲を表すベクトル方程式Ｄｓと視聴者４１の未来位置Ｆｍとの交点Ｇｍを算出する。交点Ｇｍにおいて、Ｄｓ＝Ｆｍである。この関係を成分表示で表すと、式４に示すようになる。式４を各変数について解いた結果が式５である。式５に示すｔ、Ｄｓｙ、Ｄｓｚの解が、それぞれのとり得る値の範囲内に存在する場合、交点Ｇｍは存在する。即ち、式６に示す関係式が全て成立する場合、交点Ｇｍは存在する。一方、式６を示す関係式のうち、成立しない関係式が一つでも存在する場合、交点Ｇｍは存在しない。
【００３７】
【数４】
【００３８】
ステップＳ１０４において、接触や衝突の虞推測部２２は、交点Ｇｍが存在するか否かを判定する。交点Ｇｍが存在しない場合、処理はステップＳ１０５に移行する。一方、交点Ｇｍが存在する場合、処理はステップＳ１０６に移行する。交点Ｇｍが存在しない場合、期間Ｐｔｏ内で、視聴者４１が表示面３１に接触や衝突する虞はない。そこでステップＳ１０５において、接触や衝突の虞推測部２２は、接触や衝突する虞を示す値を０にする。一方、交点Ｇｍが存在する場合、接触や衝突の虞推測部２２は、期間Ｐｔ０内で、視聴者４１が表示面３１に接触や衝突する虞があると推測する。そこでステップＳ１０６において、接触や衝突の虞推測部２２は、接触や衝突する虞を示す値を１にする。また、視聴者４１と表示面３１との距離が緩衝距離Ｂｌ以下である場合、現時点において、手を伸ばせば表示面３１に接触や衝突する虞がある。そこでステップＳ１０７において、接触や衝突の虞推測部２２は、接触や衝突する虞を示す値を２にする。
【００３９】
次に、図６を参照しながら、警告表示重畳部１２の動作について説明する。図６は、警告表示重畳部１２の処理を示すフローチャートである。警告表示重畳部１２は、接触や衝突の虞がある視聴者３５毎に、時々刻々と映像入力１０２に対して図６に示す処理を繰り返すことにより、警告表示を重畳した映像１０３を出力する。
【００４０】
ステップＳ１１１において、警告表示重畳部１２は、座標Ｐｍを通り顔の向きベクトルＡｍに平行な線分と、表示面３１の範囲を表すベクトル方程式Ｄｓとの交点Ｓｍを算出する。座標Ｐｍを通り、顔の向きベクトルＡｍに平行な線分の成分表示は、ｕを媒介変数として、次の式７で表される。交点Ｓｍはベクトル方程式Ｄｓ上の点であるから、式８が成り立つ。式８をＳｙｍとＳｚｍとについて解くと、交点Ｓｍの各成分の値は式９になる。
【００４１】
【数５】
【００４２】
ステップＳ１１２において、警告表示重畳部１２は、警告表示領域Ｗｓを、交点Ｓｍを中心にして設定する。警告表示領域Ｗｓの形状は矩形であっても、楕円であってもよい。図７は、警告表示領域Ｗｓの形状が矩形である場合と、警告表示領域Ｗｓの形状が楕円である場合とを示す図である。
【００４３】
図７（ａ）は、ｙ軸方向に２Ｗｓｙ、ｚ軸方向に２Ｗｓｚの大きさを持つ矩形の警告表示領域Ｗｓ５１を示している。図７（ｂ）は、２Ｗｓｙの長径、２Ｗｓｚの短径を持つ楕円の警告表示領域Ｗｓ５１を示している。勿論、警告表示領域Ｗｓ５１の形状が楕円の場合、長径をｙ軸方向に限定するものではない。
【００４４】
ここで、警告表示領域Ｗｓ５１の大きさを示すＷｓｙとＷｓｚとは、接触や衝突する虞を示す値に依存して決定する。接触や衝突する虞を示す値が１のときに使用するＷｓｙとＷｓｚとを、それぞれＷｓｙ１とＷｓｚ１とし、接触や衝突する虞を示す値が２のときに使用するＷｓｙとＷｓｚとを、それぞれＷｓｙ２とＷｓｚ２とする。そして、Ｗｓｙ１、Ｗｓｙ２、Ｗｓｚ１、Ｗｓｚ２の値は、次の式１０を満たすものとする。ステップＳ１１２において、警告表示重畳部１２は、接触や衝突する虞を示す値が１である場合、警告表示重畳部１２は、Ｗｓｙ１とＷｓｚ１とを選択して警告表示領域Ｗｓ５１を設定する。一方、ステップＳ１１２において、接触や衝突する虞を示す値が２である場合、警告表示重畳部１２は、Ｗｓｙ２とＷｓｚ２とを選択して警告表示領域Ｗｓ５１を設定する。
【００４５】
【数６】
【００４６】
Ｗｓｙ１、Ｗｓｙ２、Ｗｓｚ１、Ｗｓｚ２は、予め定めておいてもよいし、又は、接触や衝突の虞がある視聴者３５と表示面３１との距離Ｌ、及び、接触や衝突する虞を示す値から、ステップＳ１１２を実行する度に算出してもよい。ステップＳ１１３において、警告表示重畳部１２は、警告表示領域Ｗｓ５１と表示面３１の画素領域との交点が存在するか否かを判定する。警告表示領域Ｗｓ５１と表示面３１の画素領域との交点が存在する場合、次の式１１が成立する。従って、式１１が真である場合、処理はステップＳ１１４に移行する。一方、式１１が偽である場合、警告表示領域Ｗｓ５１と表示面３１の画素領域との交点が存在しないため、現時刻における当該接触や衝突の虞がある視聴者３５に対する処理を終了する。
【００４７】
【数７】
【００４８】
ステップＳ１１４において、警告表示重畳部１２は、警告表示領域Ｗｓ５１の色相の平均値ＡＨを求め、閾値ＡＨｔｈ０と比較する。色相の平均値ＡＨが閾値ＡＨｔｈ０より大きい場合、処理はステップＳ１１５に移行する。一方、色相の平均値ＡＨが閾値ＡＨｔｈ０以下である場合、処理はステップＳ１１６に移行する。
【００４９】
ここで、ステップＳ１１４における色相の平均値の算出方法は限定されない。従って、色相の平均値ＡＨは、単純平均を用いても加重平均を用いて求めてもよい。閾値ＡＨｔｈ０は、表示面３１の特性や設置場所の状況に基づいて予め算出しておいてもよいし、ステップＳ１１４を実行する度、又は、表示面３１の特性や設置場所の状況に変化がある度に算出してもよい。
【００５０】
ステップＳ１１５において、警告表示重畳部１２は、警告表示領域Ｗｓ５１の色相をＨｔｈ０％減少させる。ステップＳ１１６において、警告表示重畳部１２は、警告表示領域Ｗｓ５１の色相をＨｔｈ１％増加させる。
【００５１】
ここで、減少割合Ｈｔｈ０と増加割合Ｈｔｈ１とは、接触や衝突する虞を示す値に依存して決定される。接触や衝突する虞を示す値が１のときに使用するＨｔｈ０とＨｔｈ１との値を、それぞれＨｔｈ０１とＨｔｈ１１とする。また、接触や衝突する虞を示す値が２のときに使用するＨｔｈ０とＨｔｈ１との値を、それぞれＨｔｈ０２とＨｔｈ１２とする。そして、Ｈｔｈ０１、Ｈｔｈ０２、Ｈｔｈ１１、Ｈｔｈ１２は、次の式１２を満たすものとする。ステップＳ１１５において、接触や衝突する虞を示す値が１である場合、警告表示重畳部１２はＨｔｈ０１を選択し、警告表示領域Ｗｓの色相をＨｔｈ０１％減少させる。一方、接触や衝突する虞を示す値が２である場合、警告表示重畳部１２はＨｔｈ０２を選択し、警告表示領域Ｗｓ５１の色相をＨｔｈ０２％減少させる。一方、ステップＳ１１６において、接触や衝突する虞を示す値が１である場合、警告表示重畳部１２はＨｔｈ１１を選択し、警告表示領域Ｗｓ５１の色相をＨｔｈ１１％増加させる。一方、接触や衝突Ｓる虞を示す値が２である場合、警告表示重畳部１２はＨｔｈ１２を選択し、警告表示領域Ｗｓ５１の色相をＨｔｈ１２％減少増加させる。
【００５２】
【数８】
【００５３】
Ｈｔｈ０１、Ｈｔｈ０２、Ｈｔｈ１１及びＨｔｈ１２は、表示面３１の特性及び設置場所の状況に基づいて予め定めておいてよい。又は、ステップＳ１１５又はＳ１１６を実行する度に、警告表示領域Ｗｓ５１内の映像、表示面３１の特性及び設置場所の状況に基づいて算出してもよい。以上のように、本実施形態では、警告表示に色相の変化を使用しているが、勿論、警告表示に色相の変化を使用することを限定するものではない。
【００５４】
図８は、警告表示を重畳した映像を表示面３１に表示した例を示す図である。図８（ａ）及び（ｂ）において、接触や衝突の虞がある視聴者３５の顔が向いている方向、即ち、接触や衝突の虞がある視聴者３５の視野の中央部に、色相が変化した警告表示領域Ｗｓ５１が出現する。図８に示す例では、表示物３２上に警告表示領域Ｗｓ５１が出現している。周りと色相が異なる警告表示領域Ｗｓ５１が出現することで、接触や衝突の虞がある視聴者３５は、表示面３１の存在を認知する。一方、図８（ａ）に示すように、表示面３１からの距離が遠かったり、図８（ｂ）に示すように、顔の向きが接触や衝突の虞がある視聴者３５と異なる場合には、衝突の虞がない視聴者３６は警告表示領域Ｗｓ５１を認知する可能性は低い。
【００５５】
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態に係る映像表示装置の構成は、図１に示した構成と同様である。図９は、第２の実施形態における接触や衝突の虞検出部１１の構成を示す図である。図９に示す接触や衝突の虞検出部１１は、視聴者情報収集部２１、接触や衝突の虞推測部２４及び存在認知推測部２３を備える。
【００５６】
図９に示す第２の実施形態における視聴者情報収集部２１は、図３に示す第１の実施形態における視聴者情報収集部２１と同様である。従って、第２の実施形態における視聴者情報収集部２１より出力される視聴者情報１１１には、視聴者４１の、座標Ｐｍ、速度ベクトルＶｍ及び顔の向きベクトルＡｍが含まれる。なお、視聴者情報１１１は上記３項目に限定されるものではない。即ち、更に多くの項目が視聴者情報１１１に含まれることを妨げない。
【００５７】
次に、存在認知推測部２３の処理について説明する。存在認知推測部２３は、視聴者４１が表示面３１の存在を認知しているか否かを推測し、その結果を存在認知推測値１１２として出力する。本実施形態では、存在認知推測値１１２は０、１の二値をとり、それぞれの値は以下の状態を示すものとする。
存在認知推測値 状態
０ 視聴者４１は表示面３１の存在を認知していないと推測
１ 視聴者４１は表示面３１の存在を認知していると推測
【００５８】
表示面３１に近づいてきた視聴者４１は、表示面３１の存在を認知し、接触や衝突すると判断すれば、接触や衝突を回避するために、速度を落とす、又は表示面３１から遠ざかるように移動方向を変える。そこで、存在認知推測部２３は、速度ベクトルＶｍの表示面３１に対して垂直方向の成分を求め、その値を基に視聴者４１が表示面３１の存在を認知しているか否かを推測する。本実施形態では、表示面３１は平面であるから、速度ベクトルＶｍの表示面３１に対して垂直方向の成分はＶｘｍである。よって、Ｖｘｍを次の表のように分類し、視聴者４１が表示面３１の存在を認知しているか否かを推測する。
【００５９】
【表１】
【００６０】
上記表において、分類１は、Ｖｘｍが０より大きく、表示面３１から離れる方向に視聴者４１は運動している。従って、存在認知推測部２３は、視聴者４１が表示面３１との接触や衝突を回避するために運動していると推測し、存在認知推測値１１２の値を１にする。分類２は、Ｖｘｍが０に等しく、視聴者４１と表示面３１との距離は変化しない。この場合、存在認知推測部２３は、視聴者４１が表示面３１の存在を認知していると推測し、存在認知推測値１１２の値を１にする。分類３は、Ｖｘｍが０以下であり、ｘ軸は表示面３１に近づく方向が負である。従って、視聴者４１は表示面３１に近づく方向に運動している。さらに、Ｖｘｍを時間で微分した値が０以下であるから、視聴者４１は速度を変えずに、又は、速度を上げて表示面３１に近づいている。この場合、存在認知推測部２３は、視聴者４１が表示面３１の存在を認知していないと推測し、存在認知推測値１１２の値を０にする。分類４は、Ｖｘｍが０であり、且つ、Ｖｘｍを時間で微分した値が０より大きい。この場合、視聴者４１は、表示面３１に近づいているが、近づく速度は低下している。従って、存在認知推測部２３は、視聴者４１が表示面３１の存在を認知していると推測し、存在認知推測値１１２の値を１にする。
【００６１】
次に、接触や衝突の虞推測部２４の処理について説明する。接触や衝突の虞推測部２４は、視聴者情報１１１及び存在認知推測値に基づいて、予め定めた期間Ｐｔ０内に表示面３１と接触や衝突する虞を示す値を、視聴者４１毎に時々刻々と推測する。そして、接触や衝突の虞推測部２４は、推測した接触や衝突する虞を示す値に基づいて、接触や衝突の虞がある視聴者３５を抽出する。その後、存在認知推測部２３は、接触や衝突の虞がある視聴者３５の視聴者情報１１１を、虞あり対象者情報１０１として出力する。ここで、虞あり対象者情報１０１は、接触や衝突の虞がある視聴者３５の、座標Ｐｍ、速度ベクトルＶｍ、顔の向きベクトルＡｍ、及び、接触や衝突する虞を示す値を含む情報である。
【００６２】
第２の実施形態では、第１の実施形態と同様に、接触や衝突の虞推測部２４が推測する接触や衝突する虞を示す値は、０、１、２の三値をとり、それぞれの値は以下の状態を示すとする。
接触や衝突する虞を示す値 状態
０ 緩衝距離Ｂｌ外に視聴者４１が存在し、
期間Ｐｔ０内に表示面３１と接触や衝突する虞はないか、
又は、視聴者４１が表示面３１の存在を認知している
１ 緩衝距離Ｂｌ外に視聴者４１が存在し、
期間Ｐｔ０内に表示面３１と接触や衝突する虞があり、
且つ、視聴者４１が表示面３１の存在を認知していない
２ 緩衝距離Ｂｌ内に視聴者４１が存在する
【００６３】
接触や衝突の虞推測部２４は、接触や衝突する虞を示す値が１又は２の視聴者４１を、接触や衝突の虞がある視聴者３５とし、虞あり対象者情報１０１を生成する。一方、接触や衝突する虞を示す値が０の視聴者４１に対しては、接触や衝突の虞推測部２４は虞あり対象者情報１０１を生成しない。
【００６４】
図１０は、第２の実施形態における接触や衝突の虞推測部２４が接触や衝突の虞を推測する処理を示すフローチャートである。接触や衝突の虞推測部２４は、視聴者４１毎に図１０に示す処理を時々刻々と繰返し、接触や衝突の虞を推測する。図１０に示す処理のうち、ステップＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０５、Ｓ１０６及びＳ１０７は、図５に示す第１の実施形態おける同一符号の処理と同様である。以下では、第１の実施形態における図５に示す処理との差異について説明を行うものとし、第１の実施形態と同様の処理については説明を省略する。
【００６５】
ステップＳ１２４において、接触や衝突の虞推測部２４は、交点Ｇｍが存在するか否かを判定する。交点Ｇｍが存在しない場合、処理はステップＳ１０５に移行する。一方、交点Ｇｍが存在する場合、処理はステップＳ１２５に移行する。ステップＳ１２５において、接触や衝突の虞推測部２４は存在認知推測値１１２を評価する。そして、存在認知推測値１１２が１、即ち、視聴者４１が表示面３１の存在を認知していると推測される場合、処理はステップＳ１０５に移行する。一方、存在認知推測値１１２が０、即ち、視聴者４１が表示面３１の存在を認知していないと推測される場合、処理はステップＳ１０６に移行する。
【００６６】
次に、本発明の第３の実施形態について説明する。第３の実施形態に係る映像表示装置の構成は図１に示した構成と同様である。また、第３の実施形態における接触や衝突の虞検出部１１の構成は図３に示した構成と同様であるが、本実施形態では、接触や衝突の虞推測部２２の実施にファジィ制御を応用している。なお、ファジィ制御は公知技術であり、例えば工場において、自動搬送車が障害物を回避する制御に利用されている。
【００６７】
第３の実施形態における接触や衝突の虞推測部２２は、ファジィ理論に基づき、視聴者４１の座標Ｐｍと速度ベクトルＶｍとから、視聴者４１の未来位置が表示面３１と交点を有する適合度を算出するための多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）を設定する。そして、接触や衝突の虞推測部２２は、この多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）を使用して、接触や衝突の虞を推測する。
【００６８】
ここで、多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）は、表示面３１の形状、表示面３１を設置した場所の状況に依存する。ファジィ制御において、メンバシップ関数μは実験結果から最尤法で決定するのが一般的である。本発明は、多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）の生成方法に依存したものではないので、多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）は実験結果から最尤法で決定してよい。勿論、多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）の生成を最尤法に限定するものではない。
【００６９】
多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）の値は、０以上１以下の値をとる。この値をそのまま虞あり対象者情報１０１に含めて、警告表示重畳部１２で使用してもよい。又は、第１の実施形態に示した接触や衝突する虞を示す値と同じく、０、１、２の三値をとるようにしてもよい。この場合、多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）の値を閾値Ｆｔｈ０と比較し、多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）の値が閾値Ｆｔｈ０より大きければ、接触や衝突する虞を示す値を１とする。一方、多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）の値が閾値Ｆｔｈ０以下である場合、接触や衝突する虞を示す値を０とする。そして、緩衝距離Ｂｌ内に視聴者４１が存在すれば、多次元メンバシップ関数μ（Ｐｍ，Ｖｍ）の値に係わらず、接触や衝突する虞を示す値を２とする。
【００７０】
次に、本発明の第４の実施形態について説明する。第４の実施形態に係る映像表示装置の構成は図１に示した構成と同様である。図１１は、第４の実施形態における警告表示重畳部１２の処理を示すフロｓーチャートである。以下、図１１を参照しながら、第４の実施形態における警告表示重畳部１２の処理について説明する。なお、図１１に示す処理のうち、ステップＳ１１１、Ｓ１１２及びＳ１１３は、図６に示す第１の実施形態における同一符号の処理と同様である。以下では、第１の実施形態における図６に示す処理との差異について説明を行うものとし、第１の実施形態と同様の処理については説明を省略する。
【００７１】
警告表示領域Ｗｓ５１と表示面３１の画素領域との交点が存在する場合、ステップＳ１３４において、警告表示重畳部１２は、映像入力１０２において、交点Ｓｍ５２の近傍に表示面３１の後方から前方に向かうように運動している対象の存在を評価する。例えば、映像入力１０２が多くのボールが飛び跳ねているような映像であれば、ボールの中には表示面３１の後方から前方に向かって飛んでくるボールが存在する。交点Ｓｍ５２の近傍に表示面３１の後方から前方に向かうように運動している対象が存在する場合、処理はステップＳ１３５に移行する。一方、交点Ｓｍ５２の近傍に表示面３１の後方から前方に向かうように運動している対象が存在しない場合、処理はステップＳ１３６に移行する。
【００７２】
ステップＳ１３５において、警告表示重畳部１２は、表示面３１の後方から前方に向かうように運動している対象が警告表示領域Ｗｓ５１に存在するように、映像入力１０２にアフィン変換を施して、警告表示を重畳した映像１０３を生成する。このとき、表示面３１の後方から前方に向かうように運動している対象が複数存在する場合、交点Ｓｍ５２に最も近い対象が警告表示領域Ｗｓ５１に存在するようにアフィン変換を施す。
【００７３】
交点Ｓｍ５２の近傍に表示面３１の後方から前方に向かうように運動している対象が存在しない場合、ステップＳ１３６において、警告表示重畳部１２は、表示面３１の後方から前方に向かうように運動する対象を警告表示領域Ｗｓ５１に挿入して、警告表示を重畳した映像１０３を生成する。又は、ステップＳ１３６において、第１の実施形態で説明した警告表示領域Ｗｓ５１の色相を変える手法を用いてもよい。
【００７４】
次に、本発明の第５の実施形態について説明する。第５の実施形態に係る映像表示装置の構成は図１に示した構成と同様である。図１２は、第５の実施形態における警告表示重畳部１２の処理を示すフローチャートである。以下、図１２を参照しながら、第５の実施形態における警告表示重畳部１２の処理について説明する。なお、図１２に示す処理のうち、ステップＳ１１１、Ｓ１１２及びＳ１１３は、図６に示す第１の実施形態における同一符号の処理と同様である。以下では、第１の実施形態における図６に示す処理との差異について説明を行うものとし、第１の実施形態と同様の処理については説明を省略する。
【００７５】
警告表示領域Ｗｓ５１と表示面３１の画素領域との交点が存在する場合、ステップＳ１３７において、警告表示重畳部１２は接触や衝突の虞のある視聴者３５を撮影する。そして、警告表示重畳部１２は、撮影した映像を、鏡に映った映像の如くなるように、照明の映りこみ具合や、色相、彩度又は明度を補正する。そして、警告表示重畳部１２は、このようにして得られた鏡面効果で視聴者を映した映像を、交点Ｓｍ５２を中心に、警告表示領域Ｗｓ５１に重畳して、警告表示を重畳した映像１０３を作成する。ここで、接触や衝突の虞のある視聴者３５を撮影するカメラ等の装置は、視聴者情報収集部２１を使用してもよいし、カメラ等の装置を別途設置し、使用してもよい。
【００７６】
次に、本発明の第６の実施形態について説明する。第６の実施形態に係る映像表示装置の構成は図１に示した構成と同様である。図１３は、第６の実施形態における警告表示重畳部１２の処理を示すフローチャートである。以下、図１３を参照しながら、第６の実施形態における警告表示重畳部１２の処理について説明する。なお、図１３に示す処理のうち、ステップＳ１１１、Ｓ１１２及びＳ１１３は、図６に示す第１の実施形態における同一符号の処理と同様である。以下では、第１の実施形態における図６に示す処理との差異について説明を行うものとし、第１の実施形態と同様の処理については説明を省略する。
【００７７】
警告表示領域Ｗｓ５１と表示面３１の画素領域との交点が存在する場合、ステップＳ１３３において、警告表示重畳部１２は、接触や衝突の虞がある視聴者３５と表示面３１との距離Ｌと、緩衝距離Ｂｌとを比較する。接触や衝突の虞がある視聴者３５と表示面３１との距離Ｌが緩衝距離Ｂｌ未満である場合、処理はステップＳ１３７に移行する。一方、接触や衝突の虞がある視聴者３５と表示面３１との距離Ｌが緩衝距離Ｂｌ以上である場合、処理はステップＳ１３４に移行する。
【００７８】
図１３におけるステップＳ１３４、Ｓ１３５及びＳ１３６は、図１１に示した第４の実施形態における同一符号の処理と同様である。また、図１３におけるステップＳ１３７は、図１２に示した第５の実施形態における同一符号の処理と同様である。即ち、接触や衝突の虞がある視聴者３５と表示面３１との距離が短く、緩衝距離Ｂｌ未満である場合、ステップＳ１３７において、第５の実施形態で説明した擬似的に鏡が存在するような映像による警告が実施される。一方、接触や衝突の虞がある視聴者３５と表示面３１との距離が離れており、接触や衝突の虞がある視聴者３５と表示面３１との距離Ｌが緩衝距離Ｂｌ以上である場合、ステップＳ１３５、Ｓ１３６において、第４の実施形態で説明した映像效果による警告が実施される。なお、ステップＳ１３６において、第１の実施形態で説明した警告表示領域Ｗｓ５１の色相を変える手法を用いてもよい。
【００７９】
上述した実施形態においては、接触や衝突する虞のある視聴者に対してのみ警告を発することができる。また、現実感のある映像を提供する映像表示装置の訴求效果を殺いでしまう装置や器具を使用しなくとも、或いは、視聴者が特別な装置や器具を所持していなくとも、接触や衝突の虞がある視聴者に対して警告を発することができる。さらに、視聴者の感興を殺がない警告を発することも可能である。
【００８０】
よって、上述した実施形態によれば、接触や衝突する虞のある視聴者は、映像表示装置との接触や衝突を回避でき、不測の事態の発生を防止することができる。また、上述した実施形態によれば、接触や衝突の虞がない視聴者は警告に煩わされることがなく、接触や衝突の虞がある視聴者は警告を受けても感興を殺がれることがないため、映像表示装置が提供している情報に対してよい印象を保つことができる。さらに、上述した実施形態によれば、視聴者が特別な装置や器具を所持していなくとも接触や衝突を回避することが可能であるため、映像表示装置の設置場所が限定されないという效果もある。
【００８１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８２】
１１：接触や衝突の虞検出部、１２：警告表示重畳部、２１：視聴者情報収集部、２２、２４：接触や衝突の虞推測部、２３：存在認知推測部
【特許請求の範囲】
【請求項１】
画像を表示する表示装置に対して接触又は衝突の虞のある視聴者を検出する検出手段と、
前記検出手段により前記表示装置に対して接触又は衝突の虞のある前記視聴者が検出された場合、前記表示装置に表示される画像に警告表示を重畳させる重畳手段とを有することを特徴とする画像処理装置。
【請求項２】
前記検出手段は、
前記視聴者の位置及び前記視聴者の速度ベクトルのうちの少なくとも何れか一方を取得する取得手段と、
前記取得手段により取得された情報に基づいて、前記視聴者が前記表示装置に対して接触又は衝突する虞を推定する第１の推定手段とを有し、
前記第１の推定手段による推定結果に基づいて、前記表示装置に対して接触又は衝突の虞のある前記視聴者を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、
前記視聴者が前記表示装置の存在を認知しているか否かを推定する第２の推定手段を更に有し、
前記第１の推定手段は、前記取得手段により取得された情報と、前記第２の推定手段による推定結果とに基づいて、前記表示装置に対して接触又は衝突の虞のある前記視聴者を検出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記重畳手段は、複数の警告表示から、前記表示装置に表示される画像に重畳させる前記警告表示を選択することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記重畳手段は、前記第１の推定手段による推定結果に応じて、複数の警告表示から、前記表示装置に表示される画像に重畳させる前記警告表示を選択することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項６】
前記警告表示は、前記警告表示に該当する領域の色相を変化させた画像、当該画像処理装置の後方から前方に移動する対象を含む画像、及び、鏡面効果で前記視聴者を映した画像のうちの少なくとも何れか一つを含む画像であることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記第１の推定手段は、
前記視聴者の位置及び前記視聴者の速度ベクトルに基づいて、前記視聴者の未来の位置を予測する予測手段を有し、
前記予測手段により予測された位置と前記表示装置とが交点を有する場合、前記視聴者は前記表示装置に対して接触又は衝突の虞があると推定することを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記第１の推定手段は、前記視聴者の位置と前記視聴者の速度ベクトルに基づいて前記視聴者の未来の位置が前記表示装置と交点を有する適合度を算出するための、ファジィ理論に基づく多次元メンバシップ関数を用いて、前記視聴者が前記表示装置に対して接触又は衝突の虞を推定することを特徴とする請求項２に記載の画像処理装置。
【請求項９】
画像処理装置によって実行される画像処理方法であって、
画像を表示する表示装置に対して接触又は衝突の虞のある視聴者を検出する検出ステップと、
前記検出ステップにより前記表示装置に対して接触又は衝突の虞のある前記視聴者が検出された場合、前記表示装置に表示される画像に警告表示を重畳させる重畳ステップとを有することを特徴とする画像処理方法。
【請求項１０】
画像を表示する表示装置に対して接触又は衝突の虞のある視聴者を検出する検出ステップと、
前記検出ステップにより前記表示装置に対して接触又は衝突の虞のある前記視聴者が検出された場合、前記表示装置に表示される画像に警告表示を重畳させる重畳ステップとをコンピュータに実行させるためのプログラム。
【請求項１】
画像を表示する表示装置に対して接触又は衝突の虞のある視聴者を検出する検出手段と、
前記検出手段により前記表示装置に対して接触又は衝突の虞のある前記視聴者が検出された場合、前記表示装置に表示される画像に警告表示を重畳させる重畳手段とを有することを特徴とする画像処理装置。
【請求項２】
前記検出手段は、
前記視聴者の位置及び前記視聴者の速度ベクトルのうちの少なくとも何れか一方を取得する取得手段と、
前記取得手段により取得された情報に基づいて、前記視聴者が前記表示装置に対して接触又は衝突する虞を推定する第１の推定手段とを有し、
前記第１の推定手段による推定結果に基づいて、前記表示装置に対して接触又は衝突の虞のある前記視聴者を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、
前記視聴者が前記表示装置の存在を認知しているか否かを推定する第２の推定手段を更に有し、
前記第１の推定手段は、前記取得手段により取得された情報と、前記第２の推定手段による推定結果とに基づいて、前記表示装置に対して接触又は衝突の虞のある前記視聴者を検出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記重畳手段は、複数の警告表示から、前記表示装置に表示される画像に重畳させる前記警告表示を選択することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記重畳手段は、前記第１の推定手段による推定結果に応じて、複数の警告表示から、前記表示装置に表示される画像に重畳させる前記警告表示を選択することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項６】
前記警告表示は、前記警告表示に該当する領域の色相を変化させた画像、当該画像処理装置の後方から前方に移動する対象を含む画像、及び、鏡面効果で前記視聴者を映した画像のうちの少なくとも何れか一つを含む画像であることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記第１の推定手段は、
前記視聴者の位置及び前記視聴者の速度ベクトルに基づいて、前記視聴者の未来の位置を予測する予測手段を有し、
前記予測手段により予測された位置と前記表示装置とが交点を有する場合、前記視聴者は前記表示装置に対して接触又は衝突の虞があると推定することを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記第１の推定手段は、前記視聴者の位置と前記視聴者の速度ベクトルに基づいて前記視聴者の未来の位置が前記表示装置と交点を有する適合度を算出するための、ファジィ理論に基づく多次元メンバシップ関数を用いて、前記視聴者が前記表示装置に対して接触又は衝突の虞を推定することを特徴とする請求項２に記載の画像処理装置。
【請求項９】
画像処理装置によって実行される画像処理方法であって、
画像を表示する表示装置に対して接触又は衝突の虞のある視聴者を検出する検出ステップと、
前記検出ステップにより前記表示装置に対して接触又は衝突の虞のある前記視聴者が検出された場合、前記表示装置に表示される画像に警告表示を重畳させる重畳ステップとを有することを特徴とする画像処理方法。
【請求項１０】
画像を表示する表示装置に対して接触又は衝突の虞のある視聴者を検出する検出ステップと、
前記検出ステップにより前記表示装置に対して接触又は衝突の虞のある前記視聴者が検出された場合、前記表示装置に表示される画像に警告表示を重畳させる重畳ステップとをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−７３２２２（Ｐ２０１３−７３２２２Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１４６５１（Ｐ２０１１−２１４６５１）
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]