画像表示装置
【課題】表示面の前方に位置する通行人と関連があり、通行人の興味を引き付けることができる画像を表示する画像表示装置を提供する。
【解決手段】画像表示装置1は、表示画像を表示するディスプレイ4と、ディスプレイ4前方を撮像するカメラ2と、表示画像を制御するPC3とを備える。PC3は、カメラ2を通じて撮像される撮像画像をディスプレイ4に表示する。また、PC3は、使用者20の所定部位を検出する所定部位検出処理を実行し、検出された所定部位を起点として表示される装飾画像を、カメラ2を通じて撮像された撮像画像とともに表示画像としてディスプレイ4に表示する。
【解決手段】画像表示装置1は、表示画像を表示するディスプレイ4と、ディスプレイ4前方を撮像するカメラ2と、表示画像を制御するPC3とを備える。PC3は、カメラ2を通じて撮像される撮像画像をディスプレイ4に表示する。また、PC3は、使用者20の所定部位を検出する所定部位検出処理を実行し、検出された所定部位を起点として表示される装飾画像を、カメラ2を通じて撮像された撮像画像とともに表示画像としてディスプレイ4に表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示面に画像を表示する画像表示装置に関する。
【背景技術】
【0002】
近年、広告等を表示するために乗り物や店舗等に設置される画像表示装置として、動画を表示することができるものが多く用いられている。このような画像表示装置としては、通行人の注目を効果的に集めることができる動画等(以下、「画像」)を表示することができるものが好ましい。
【0003】
例えば、特許文献1には、コンピュータにより制御された画像をディスプレイに表示することができる画像表示装置が開示されている。このような画像表示装置によれば、同一の場所に配設された複数のディスプレイに連続映像を配信することで通行人の注目をある程度集めることができることができるようになる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−157036号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、このような従来の画像表示装置は、当該画像表示装置の前方を通行する通行人とは何ら関連のない予め定められた所定の画像を表示するものでしかない。このため、このような画像表示装置に表示される画像は、通行人にとっては変化や斬新さに欠けるものでしかなく、この画像を用いることで通行人の注目を効果的に集めることは困難であった。
【0006】
本発明は、このような事情を鑑みてなされたものであり、表示面の前方に位置する通行人と関連があり、通行人の興味を引き付けることができる画像を表示する画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第一態様は、表示面に表示画像を表示する表示手段と、前記表示面の前方を撮像画像として撮像する撮像手段と、前記表示画像を制御する制御手段とを備える画像表示装置であって、前記制御手段は、前記撮像画像において使用者の所定部位が表示されている位置を起点として設定する所定領域に装飾画像を表示する画像表示処理を実行し、前記装飾画像を前記撮像画像とともに前記表示画像として前記表示面に表示することを特徴としている。
【0008】
同構成(第一態様にかかる画像表示装置)では、制御装置は、表示面の前方を撮像した撮像画像において使用者の所定部位が表示されている位置を起点とする所定領域に装飾画像を表示する。そして、この装飾画像と撮像画像とを表示画像として表示面に表示する。このため、表示面には、表示面の前方の画像とともに、装飾画像が使用者の所定部位を起点として表示されることとなる。同構成によれば、このように使用者と関連がある位置に装飾画像を表示することで、使用者と関連のある表示画像を表示面に表示することができる。したがって、使用者である通行人の興味を引き付けることができる画像を表示面に表示することができる。
【0009】
本発明の第二態様は、第一態様にかかる画像表示装置であって、前記制御手段は、撮像時刻の異なる前回の撮像画像と今回の撮像画像との間の変化分を白画素として検出し、この白画素が表示される位置に基づいて前記所定部位が表示されている位置を検出することを特徴としている。
【0010】
本発明の第三態様は、第一態様または第二態様にかかる画像表示装置であって、前記撮像手段は、前記表示面から所定の範囲に前記使用者が位置していないと判断したときには、前記画像表示処理の実行を禁止することを特徴としている。
【0011】
同構成(第三態様にかかる画像表示装置)によれば、表示面から所定の範囲に使用者が位置していないときには画像表示処理の実行が禁止されるため、使用者が表示面の前方におらず、表示面に装飾画像を表示する必要がない場合まで画像表示処理が実行されることを抑制することができるようになる。
【0012】
本発明の第四態様は、第二態様または第三態様にかかる画像表示装置であって、前記制御手段は、前記撮像画像を上領域と下領域とに区画する仮想区画線を前記撮像画像中に設定するとともに、前記下領域に前記白画素を検出したときに、当該白画素が前記仮想区画線まで連続して検出されたことをもって、前記表示面から所定の範囲に前記使用者が位置していると判断することを特徴としている。
【0013】
前方に位置する使用者の全身を撮像することができるように撮像手段を配設した場合、当該撮像手段にて撮像される撮像画像の下領域には撮像手段前方の床面が表示される。そして、当該撮像画像の上領域には床面上の空間が表示される。このため、使用者が撮像手段の前方に位置しているときには、床面にある使用者の足部が白画素として下領域に検出されるとともに、使用者の下肢等が、仮想区画線まで連続して白画素として検出される。
【0014】
同構成(第四態様にかかる画像表示装置)では、このように下領域に白画素を検出したときに、この白画素を仮想区画線まで連続して検出したことをもって、表示面から所定の範囲に使用者が位置していると判断するため、表示面から所定の範囲に使用者が位置しているか否かを好適に判断することができる。
【0015】
本発明の第五態様は、第二態様〜第四態様のいずれかにかかる画像表示装置であって、前記制御手段は、前記装飾画像を表示する前記所定領域を前記白画素が表示される領域の大きさに基づいて設定することを特徴としている。
【0016】
同構成(第五態様にかかる画像表示装置)によれば、使用者の移動速度に基づいて装飾画像を表示する所定領域を設定することができるため、装飾画像を使用者の移動態様に基づいて表示することができる。
【0017】
本発明の第六態様は、第一態様〜第四態様のいずれかにかかる画像表示装置であって、前記制御手段は、撮像時刻の異なる前回の撮像画像と今回の撮像画像との間の変化分を白画素として検出し、前記白画素が表示される領域の重心位置をそれぞれ算出し、この重心位置の移動方向に基づいて、前記所定領域を設定することを特徴としている。
【0018】
同構成(第六態様にかかる画像表示装置)によれば、所定部位の移動方向に基づいて装飾画像を表示する所定領域を設定することができるため、装飾画像を使用者の移動態様に応じて表示面に表示することができるようになる。
【0019】
本発明の第七態様は、第一態様〜第六態様にいずれかにかかる画像表示装置であって、前記使用者の前記所定部位が表示されている位置を(x´,y´)とすると、前記所定領域は、所定の定数であるwx,wy,vx,vy,w1,w2,w3,w4,A,B,CおよびDと、以下の数式とに基づいて設定されることを特徴としている。
X = (wx+vx)t+Asin(w1t)+Bsin(w2t)+x´
Y = (wy+vy)t+Ccos(w3t)+Dcos(w4t)+y´
【発明の効果】
【0020】
本発明によれば、表示面の前方に位置する通行人と関連があり、通行人の興味を引き付けることができる画像を表示する画像表示装置を提供することができる。
【図面の簡単な説明】
【0021】
【図1】(a)は、本発明の第一実施形態にかかる画像表示装置の概略構成図、(b)は、同実施形態にかかる所定部位検出処理を説明するための説明図。
【図2】同実施形態にかかる表示画像の処理方法を示すフローチャート。
【図3】同実施形態にかかる所定部位検出処理の処理手順を示すフローチャート。
【図4】同実施形態にかかる画像表示処理の処理手順を示すフローチャート。
【図5】(a)は、同実施形態にかかる表示画像が表示される画像表示装置の概略構成図、(b)は、同実施形態にかかる表示画像の一例を示すディスプレイの表示画面図。
【図6】(a)は、他の実施形態にかかる所定部位検出処理を説明するための説明図、(b)は、同実施形態にかかる表示画像が表示される画像表示装置の概略構成図。
【図7】本発明の第二実施形態にかかる表示画像の処理方法を示すフローチャート。
【図8】(a)は、同実施形態にかかる画像表示装置および使用者を示す概略図、(b)は、同実施形態にかかる位置検出処理を説明するための説明図。
【図9】同実施形態にかかる位置検出処理の処理手順を示すフローチャート。
【図10】(a)〜(d)は、本発明の第三実施形態にかかる初期速度vx,vyの算出方法を説明するための説明図。
【図11】(a)は、本発明の第四実施形態にかかる画像表示装置の概略構成図、(b)は、同実施形態にかかる所定部位検出処理を説明するための説明図。
【図12】同実施形態にかかる表示画像の処理方法を示すフローチャート。
【図13】同実施形態にかかる距離判断処理の処理手順を示すフローチャート。
【図14】同実施形態にかかる所定部位検出処理の処理手順を示すフローチャート。
【図15】同実施形態にかかる表示画像が表示される画像表示装置の概略構成図。
【図16】(a)は、他の実施形態にかかる所定部位検出処理を説明するための説明図、(b)は、同実施形態にかかる表示画像が表示される画像表示装置の概略構成図。
【図17】第五実施形態にかかる表示画像の処理方法を示すフローチャート。
【図18】同実施形態にかかる所定部位検出処理の処理手順を示すフローチャート。
【図19】同実施形態にかかる表示画像が表示される画像表示装置の概略構成図。
【図20】(a)は、他の実施形態にかかる所定部位検出処理を説明するための説明図、(b)は、同実施形態にかかる表示画像が表示される画像表示装置の概略構成図。
【図21】(a)は、本発明の第六実施形態にかかる画像表示装置の概略構成図、(b)は、同実施形態にかかる所定部位検出処理を説明するための説明図。
【図22】同実施形態にかかる所定部位検出処理の処理手順を示すフローチャート。
【図23】同実施形態にかかる表示画像が表示される画像表示装置の概略構成図。
【図24】(a)は、他の実施形態にかかる所定部位検出処理を説明するための説明図、(b)は、同実施形態にかかる表示画像が表示される画像表示装置の概略構成図。
【図25】第七実施形態にかかる画像表示処理の処理手順を説明するフローチャート。
【図26】(a)〜(d)は、同実施形態にかかる初期速度vx,vyの算出方法を説明するための説明図。
【図27】(a)および(b)は、同実施形態にかかる表示画像の一例を示すディスプレイの表示画面図。
【図28】他の実施形態にかかる画像表示装置の概略構成図。
【図29】他の実施形態にかかる画像表示装置の概略構成図。
【発明を実施するための形態】
【0022】
(第一実施形態)
以下、本発明を具体化した第一実施形態を図1〜図5に基づいて説明する。
まず、図1(a)を参照しながら、本実施形態にかかる画像表示装置1の概略構成について説明する。
【0023】
同図1(a)に示されるように、画像表示装置1は、カメラ2(本発明の「撮像手段」に相当)と、このカメラ2に接続されるパーソナルコンピュータとしてのPC3(本発明の「制御手段」および「表示手段」に相当)と、このPC3に接続されるディスプレイ4(本発明の「表示面」に相当)とを備えている。これらカメラ2およびディスプレイ4は、前方を通行人(以下、「使用者」)が多く通る乗り物や店舗等に設置されることが好ましい。
【0024】
カメラ2は、ディスプレイ4の中央上部に配設され、ディスプレイ4前方を撮像する。
ここで、カメラ2の撮像範囲は、ディスプレイ4前方に起立した使用者20の全身が収まる範囲であればよい。
【0025】
なお、カメラ2とPC3との接続方法、およびPC3とディスプレイ4との接続方法は、特に限定されるものではなく、例えば、有線方式や無線方式のネットワークを介して接続されていてもよい。
【0026】
このように構成された画像表示装置1において、カメラ2にて撮像されたディスプレイ4前方の画像(以下、「撮像画像」)の画像情報は、PC3に出力される。なお、カメラ2は、ディスプレイ4前方を1秒間に5〜30回のうち任意の回数撮像する。撮像画像の撮像回数が1秒間に5回未満であると、使用者20の動きを適切に捉えることが困難となる。一方、撮像画像の撮像回数が1秒間に30回を超えると、PC3が処理すべき画像量が多くなりすぎてしまう。
【0027】
PC3は、この撮像画像上に、図1(b)に示されるように、横方向をX軸、当該横方向に垂直な方向をY軸、左下端を(0,0)、右上端を(W,H)とする座標を設定する。そして、この座標が設定された撮像画像上に装飾画像を重畳してこれを表示画像とし、この表示画像の画像情報をディスプレイ4に出力する。以下、詳細に説明する。
【0028】
まず、図2を参照しながら、本実施形態における表示画像の処理方法について説明する。同図2に示されるように、本処理が開始されると、まず、PC3は、所定部位検出処理を実行する(ステップS100)。そして、検出した所定部位を起点として設定する領域に装飾画像を表示する画像表示処理(ステップS101)を実行する。
【0029】
以下、これら所定部位検出処理および画像表示処理について詳細に説明する。
まず、所定部位検出処理について、図3を参照しながら詳細に説明する。
同図3に示されるように、本処理が開始されると、まず、PC3はカメラ2から撮像画像の画像情報を取得し(ステップS200)、この撮像画像に対して白と黒の二階調に変換する二値化処理を施す(ステップS201)。
【0030】
そして、この二値化処理を施した撮像画像に対して差分処理を実行する(ステップS202)。具体的には、前回の制御周期でカメラ2から取得して二値化処理を施した撮像画像と、今回の制御周期でカメラ2から取得して二値化処理を施した撮像画像との間で差分画像を生成する。前回の制御周期で取得した撮像画像と今回の制御周期で取得した撮像画像との間に変化分が存在する場合、差分画像において当該変化分が位置する座標には白画素が表示される。
【0031】
次に、PC3は、今回の制御周期でカメラ2から取得して二値化処理を施した撮像画像を保存する(ステップS203)。そして、PC3は、差分画像において、座標f(x,y)の階調値が基準値C以上であるか否かを判断する(ステップS204)。なお、基準値Cは「200」以上の値に設定されていることが好ましく、「250」以上の値に設定されていることが更に好ましい。本実施形態では、所定部位の安定検出という目的から、「255」に予め設定されている。
【0032】
座標f(x,y)の階調値が基準値C以上であると判断する場合(ステップS204;YES)、座標f(x,y)には白画素が表示されている。すなわち前回の制御周期で取得した撮像画像の座標f(x,y)に表示されている画像と今回の制御周期で取得した撮像画像の座標f(x,y)に表示されている画像とは異なっている。
【0033】
本実施形態では、このような変化分は、ディスプレイ4前方に起立した使用者20が動いたことに起因して生じたものであるとして、座標f(x,y)に所定部位が位置していると判断する。そこで、座標f(x,y)を動きの検出点とする(ステップS209)。
【0034】
これに対して、座標f(x,y)の階調値が基準値C未満であると判断する場合(ステップS204;NO)、座標f(x,y)のx座標値をインクリメント(x=x+1)する(ステップS205)。そして、座標f(x,y)のx座標値が、所定値W(撮像画像に設定されたx座標の右端の値)以上であるか否かを判断する(ステップS206)。
【0035】
座標f(x,y)のx座標値が所定値W未満であると判断する場合(ステップS206;NO)、ステップS204およびS205の処理を繰り返す。
一方、座標f(x,y)のx座標値が所定値W以上であると判断する場合(ステップS206;YES)、座標f(x,y)のy座標値をインクリメント(y=y+1)して(ステップS207)、座標f(x,y)のy座標値が、所定値H(撮像画像に設定されたy座標の上端の値)以上であるか否かを判断する(ステップS208)。
【0036】
座標f(x,y)のy座標値が所定値H未満であると判断する場合(ステップS208;NO)、ステップS204〜S207の処理を繰り返す。
一方、座標f(x,y)のy座標値が所定値H以上であると判断する場合(ステップS208;YES)、および上述したように座標f(x,y)を動きの検出点とした後(ステップS209)、座標f(x,y)のx座標値およびy座標値をそれぞれx=「0」,y=「0」として(ステップS210)、この所定部位検出処理を一旦終了する。
【0037】
次に、画像表示処理について、図4を参照しながら詳細に説明する。
同図4に示されるように、本処理が開始されると、まず、PC3は初期速度vx,vyを設定する(ステップS300)。
なお、初期速度vxは装飾画像のx軸方向における最初の移動速度、初期速度vyは装飾画像のy軸方向における最初の移動速度である。これら初期速度vx,vyは、予め所定の値に設定してもよいし、本処理の開始毎に異なる値に設定してもよい。本実施形態では、予め所定の値に設定されている。
【0038】
次に、PC3は、初期速度vxが「0」以上であるか否かを判断する(ステップS301)。初期速度vxが「0」以上であると判断する場合(ステップS301;YES)、初期速度vxを式(1)に基づいて補正する(ステップS302)。ここで、減速速度Vxは、予め所定の値に設定してもよいし、所定部位の動く速度等に応じて設定してもよい。
vx=vx−Vx…(1)
一方、初期速度vxが「0」未満であると判断する場合(ステップS301;NO)、初期速度vx=「0」とする(ステップS303)。
【0039】
そして、PC3は、初期速度vyが「0」以上であるか否かを判断する(ステップS304)。初期速度vyが「0」以上であると判断する場合(ステップS304;YES)、初期速度vyを式(2)に基づいて補正する(ステップS305)。ここで、減速速度Vyは、予め所定の値に設定してもよいし、所定部位の動く速度等に応じて設定してもよい。本実施形態では、減速速度Vx,Vyは、予め所定の値に定められている。
vy=vy−Vy…(2)
このように初期速度vx,vyを補正することで、装飾画像がx軸方向およびy軸方向に減速しながら移動するように表示することができる。
一方、初期速度vyが「0」未満であると判断する場合(ステップS304;NO)、初期速度vx=「0」とする(ステップS306)。
【0040】
次に、装飾画像を表示する座標g(x,y)を以下の式(3)および(4)を用いて算出する(ステップS307)。なお、この座標計算においては、検出した所定部位の位置する座標f(x,y)のx座標値およびy座標値をそれぞれ「x´」,「y´」とする。
x=(wx+vx)t+Asin(ω1t)+Bsin(ω2t)+x´…(3)
y=(wy+vy)t+Ccos(ω3t)+Dcos(ω4t)+y´…(4)
なお、角速度ω1,ω2,ω3,ω4、および定数A,B,C,Dは、実験等を通じて予め定められた所定の値である。また、時間tは、本画像表示処理が開始されたときからカウントを開始する。
【0041】
本実施形態では、装飾画像が、主にx軸方向に吹く風によってx軸方向に流れるように表示する。そこで、それぞれx軸方向、y軸方向に流れる風を風速wx,wyとして式(3)および(4)に組み込んでいる。なお、風速wx,wyは、予め定められた所定の速度としてもよいし、本処理の開始毎に異なる値に設定してもよい。
本実施形態では、風速wx,wyを予め所定の値に設定している。そして、風速wxを風速wyよりも大きい値に設定している。
【0042】
PC3は、式(3)および(4)に基づいて算出した座標g(x,y)に装飾画像を表示し(ステップS308)、表示回数nをインクリメント(n=n+1)する(ステップS309)。
【0043】
次に、表示回数nが所定回数N以上であるか否かを判断する(ステップS310)。表示回数nが所定回数N未満であると判断する場合(ステップS310;NO)、ステップS301以降の処理を繰り返す。一方、表示回数nが所定回数N以上であると判断する場合(ステップS310;YES)、表示回数n=「0」とし(ステップS311)、この処理を一旦終了する。なお、所定回数Nは1秒間のうち、装飾画像を表示する座標g(x,y)を算出する回数であり、5〜30回に設定されることが好ましく、15〜30回に設定されることがより好ましい。
【0044】
図5(a)に、上述した処理を通じて算出した座標に表示画像を表示した画像表示装置1を示す。また、同図5(b)に、上述した処理を通じて表示画像を表示したディスプレイ4の表示画面図を示す。
【0045】
同図5(b)に示されるように、装飾画像は、使用者20の足部が表示される位置から主にx軸方向に移動するように表示される。なお、同図5(b)には、画像表示処理が開始されてから終了するまでの間に表示される全ての装飾画像を記載している。実際には、装飾画像は、まず使用者20の所定部位(本実施形態においては、足部)が表示される位置と同じ位置に表示される。そして、この所定部位が表示されている位置を起点として、時間の経過とともに使用者20の所定部位が表示されている位置から離れるように移動する。
このように、本実施形態において、装飾画像は、同図5(a)に示されるように使用者20の所定部位を起点とする領域Aに示されることとなる。
【0046】
上記実施形態によれば、以下に記載する作用効果を奏することができる。
(1)本実施形態では、PC3は、撮像時刻の異なるふたつの撮像画像の間の変化分に基づいて使用者20の所定部位が表示されている位置を検出するため、撮像画像に表示されたもののうちディスプレイ4前方で動くもの、すなわち使用者20を適切に検出することができる。このため、撮像画像において使用者20の所定部位が表示されている位置を適切に検出することができる。
【0047】
(2)また、ディスプレイ4には、ディスプレイ4前方の画像および使用者20の画像とともに、装飾画像が使用者20の所定部位が表示されている位置を起点として表示される。このように、本実施形態によれば、使用者20と関連がある部位に装飾画像を表示することができるため、使用者である通行人の興味を引き付けることができる画像をディスプレイ4に表示することができる。
【0048】
(3)また、所定部位が表示されている位置を起点として所定領域を設定するようにしているため、装飾画像は、所定部位が表示されている位置から他の位置に移動するように表示される。このように、所定部位が表示されている位置を起点として他の位置に移動するように装飾画像が表示されるため、使用者である好適に通行人の興味を好適に引き付けることができる画像をディスプレイに表示することができるようになる。
【0049】
(その他の実施形態)
以下、本発明を具体化したその他の実施形態を上記第一実施形態と異なる点を中心に図6に基づいて説明する。なお、図6において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0050】
同図6(a)に示されるように、本実施形態の画像表示装置1は、撮像画像上に、横方向をX軸、当該横方向に垂直な方向をY軸とし、左上端を原点(0,0)、右下端を(W,H)とする座標を設定する。
【0051】
本実施形態にかかる画像表示装置1では、PC3は、図6(b)に示されるように、使用者20の最上部(ここでは、頭頂部)が表示される座標を所定部位が表示される座標として認識し、この座標を起点として主にx軸方向に流れるように装飾画像を表示することとなる。
【0052】
上記実施形態によれば、上記実施形態にて説明した作用効果に加えて、以下に記載する作用効果を奏することができる。
(4)本実施形態によれば、使用者20の注意をひきやすい部位である頭頂部を起点として装飾画像を表示することができる。このため、通行人の興味をより好適に引き付けることができる画像を表示することができる。
【0053】
(第二実施形態)
以下、本発明を具体化した第二実施形態を上記第一実施形態と異なる点を中心に図7〜図9に基づいて説明する。なお、これら図7〜図9において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0054】
本実施形態では、使用者20がディスプレイ4前方に位置しているか否かを判断する。そして、使用者20がディスプレイ4から所定の範囲に位置する場合にのみ、当該使用者20の所定部位を検出する所定部位検出処理を実行する。
【0055】
なお、本実施形態では、第一実施形態にて説明したように、PC3は、撮像画像上に、横方向をX軸、当該横方向に垂直な方向をY軸とし、同撮像画像の左上端を原点(0,0)、同撮像画像の右下端を(W,H)とする座標を設定する。また、本実施形態における所定部位検出処理の処理内容、および全体の画像処理方法は、第一実施形態にて説明した処理内容と同一であるため、詳細な説明は割愛する。
【0056】
図7に示されるように、本実施形態では、PC3は、所定部位検出処理を実行した(ステップS400)後、使用者20がディスプレイ4前方に位置しているか否かを判断し(ステップS401)、使用者20がディスプレイ4前方に使用者20が位置していないと判断する場合(ステップS401;NO)、所定部位検出処理(ステップS400)を再度実行する。一方、使用者20がディスプレイ4前方に位置していると判断する場合(ステップS401;YES)、画像表示処理を実行する(ステップS402)。
【0057】
次に、使用者20が所定の範囲に位置するか否かを判断する位置検出処理について、図8および図9を参照しながら説明する。ここで、「所定の範囲」とは、ディスプレイ4前方のうちディスプレイ4上に配設されたカメラ2にて撮像される範囲を撮像範囲とすると、当該撮像範囲において当該ディスプレイ4と使用者との間の距離が距離D未満となる範囲を示す。
【0058】
本実施形態では、使用者20がディスプレイ4から所定の範囲に位置していることをもって、使用者20がディスプレイ4前方に位置していると判断するようにしている。なお、以下の説明においては、ディスプレイ4から所定の範囲に位置している使用者を「使用者20」、ディスプレイ4から所定の範囲に位置していない使用者を「使用者23」として表示する。
【0059】
また、カメラ2は、ディスプレイ4の中央上部に配設されているため、カメラ2と使用者20,23と間の距離は、ディスプレイ4と使用者20,23との距離と略等しい。このため、本実施形態では、カメラ2を通じて撮像された撮像画像を用いて使用者20,23とディスプレイ4との間の距離を算出する。
【0060】
上述したように、本実施形態では、カメラ2を、ディスプレイ4前方に位置した使用者20の全身を撮像することができる位置に配設している。このため、カメラ2を通じて撮像される撮像画像の下部には床面Fが表示されるとともに、当該撮像画像の上部には床面F上の空間が表示される。さらに、同図8(b)に示されるように、撮像画像において床面Fが表示される上限(例えば、地平線が表示される位置や、室内の床面端部が表示される位置)のy座標値を「F1」とすると、0≦y≦F1となる範囲においては、y座標値が大きくなるほどディスプレイ4から離れた箇所の床面が表示されることとなる。
【0061】
本実施形態では、撮像画像において、0≦y≦F1となる範囲のうち、ディスプレイ4から所定の距離D(図8(a)参照)にある床面が表示される位置「Y1」までの領域(0≦y<Y1)を下領域とし、この下領域以外の領域(Y1≦y≦H)を上領域とする。所定の範囲は、予め設定されていてもよいし、設置場所等に応じて都度設定するようにしてもよい。なお、本実施形態における「Y1」は本発明の「仮想区画線」に相当する。
【0062】
図8(a)および(b)に示されるように、使用者20がディスプレイ4から所定の範囲に位置する場合、使用者20の足部21、およびこの足部21から上部に向けて延びる下肢22は上述した下領域に表示される。このため、所定の範囲を使用者20が歩くと、当該使用者20の足部21が下領域で検出されるとともに、当該使用者20の下肢22が足部21から延びる態様で連続して検出される。
これに対して、使用者23のように、所定の範囲に位置しない場合は、同図8(b)に示されるように、上領域にのみ表示される。
【0063】
そこで、本実施形態では、第一実施形態にて説明した所定部位検出処理を通じて階調値が基準値C以上である座標f(x,y)を検出すると、同図8(b)に示されるように、この座標f(x,y)から座標f(x+n,Y1)までy軸方向に連続して白画素が表示されているか否かを判断する。そして、座標f(x,y)から座標f(x+n,Y1)までy軸方向に連続して白画素が表示されていると判断したことをもって、所定の範囲に使用者20が位置していると判断する。なお、「n」は、使用者20が一般的な速度でディスプレイ4前方を移動したときに、差分画像に表示される白画素の領域のX軸方向の幅よりも若干小さい値に予め設定している。具体的には、「n」は、5〜20ピクセルの範囲に設定されることが好ましく、5〜10ピクセルの範囲に設定されることがより好ましい。
【0064】
次に、この位置検出処理の処理手順について、図9を参照しながら詳細に説明する。
なお、PC3は、上述した所定部位検出処理を通じて、下領域に階調値が基準値C以上である座標f(x,y)を検出したことをもってこの位置検出処理を開始する。
【0065】
同図9に示されるように、この位置検出処理が開始されると、まず、座標f(x,y)のy座標値をインクリメント(y=y+1)する(ステップS410)。
次に、座標f(x,y)、座標f(x+1,y)、座標f(x+2,y)・・・座標f(x+n,y)の階調値が全て基準値C以上であるか否かを判断する(ステップS411)。
【0066】
座標f(x,y)、座標f(x+1,y)、座標f(x+2,y)・・・座標f(x+n,y)の階調値が全て基準値C以上であると判断する場合(ステップS411;YES)、次に座標f(x,y)のy座標値が「Y1」以上であるか否かを判断する(ステップS412)。
【0067】
座標f(x,y)のy座標値が「Y1」未満であると判断する場合(ステップS412;NO)、ステップS410およびステップS411の処理を繰り返す。
一方、座標f(x,y)のy座標値が「Y1」以上であると判断する場合(ステップS412;YES)、使用者20がディスプレイ4から所定の範囲に位置していると判断する(ステップS413)。すなわち、この場合は、座標f(x,y)から座標f(x+n,Y1)までy軸方向に連続して白画素を検出したため、使用者20が所定の範囲に位置していると判断する(ステップS413)。
【0068】
これに対して、座標f(x,y)、座標f(x+1,y)、座標f(x+2,y)・・・座標f(x+n,y)の階調値のうちいずれかが基準値C未満であると判断する場合(ステップS411;NO)、この処理を一旦終了する。この場合は、所定の範囲に使用者20が位置していないと判断する。
【0069】
上記実施形態によれば、上記実施形態にて説明した作用効果に加えて、以下に記載する作用効果を奏することができる。
(5)本実施形態によれば、使用者20が所定の範囲に位置していることをもって画像表示処理を実行するため、使用者20が所定の範囲に位置していないときに画像表示処理が実行されることを抑制することができる。
【0070】
(第三実施形態)
以下、本発明を具体化した第三実施形態を上記第一実施形態と異なる点を中心に図10に基づいて説明する。なお、これら図10において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0071】
上記第一実施形態では、初期速度vx,vyを予め所定の速度に設定した。これに対して、本実施形態では、使用者20が動く速度、すなわち白画素が表示される領域の大きさに基づいて初期速度vx,vyを設定する。以下、本実施形態における初期速度vx,vyの設定方法について、図10(a)〜(d)を参照しながら詳細に説明する。
【0072】
なお、本実施形態では、第一実施形態にて説明したように、PC3は、撮像画像上に、横方向をX軸、当該横方向に垂直な方向をY軸とし、同撮像画像の左上端を原点(0,0)、同撮像画像の右下端を(W,H)とする座標を設定する。
また、本実施形態における所定部位検出処理の処理内容、および全体の画像処理方法は、第一実施形態にて説明した処理内容と同一であるため、詳細な説明は割愛する。
【0073】
同図10(a)には、使用者20がディスプレイ4前方をゆっくりと移動する場合に、前回の制御周期でカメラ2にて撮像され、撮像画像に表示された使用者20をX1にて示すとともに、今回の制御周期でカメラ2にて撮像され、撮像画像に表示された使用者20をX2にて示す。
同図10(b)には、同図10(a)に示した撮像画像に基づいて生成される差分画像を示す。同差分画像において、ハッチングで示される領域には白画素が表示されている。
【0074】
同図10(c)には、使用者20がディスプレイ4前方を速い速度で移動する場合に、前回の制御周期でカメラ2にて撮像され、撮像画像に表示された使用者20をX1にて示すとともに、今回の制御周期でカメラ2にて撮像され、撮像画像に表示された使用者20をX2にて示す。
同図10(d)には、同図10(c)に示した撮像画像に基づいて生成される差分画像を示す。同差分画像において、ハッチングで示される領域には白画素が表示されている。
【0075】
同図10(b)および(d)に示されるように、使用者20がディスプレイ4前方をゆっくりと移動する場合は、速い速度で移動する場合よりも白画素が表示される領域は小さくなる。
そこで、本実施形態では、この白画素が表示される領域に基づいて使用者20の動く速度を推定し、使用者20が速く動くときほど、初期速度vx,vyを大きい値に設定するようにしている。すなわち、白画素が表示される領域が大きいときほど、初期速度vx,vyを大きい値に設定するようにしている。
【0076】
上記実施形態によれば、上記各実施形態にて説明した作用効果に加えて、以下に記載する作用効果を奏することができる。
(7)本実施形態によれば、使用者20の動く速度に応じて初期速度vx,vyを設定するため、装飾画像を使用者20の移動態様に応じて表示することができる。このため、装飾画像をより使用者20と関連がある態様にて表示することができ、ひいては使用者である通行人の興味をより引き付けることができる画像を表示することができる。
【0077】
(第四実施形態)
以下、本発明を具体化した第四実施形態を上記第一実施形態と異なる点を中心に図11〜図15に基づいて説明する。なお、これら図11〜図15において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0078】
同図11(a)に示されるように、この第四実施形態の画像表示装置1は、ディスプレイ4(本発明の「表示面」に相当)の中央上部に配設される中央カメラ7(本発明の「撮像手段」に相当)に加えて、ディスプレイ4の片側上部に配設される端側カメラ8(本発明の「撮像手段」に相当)を備えている。
【0079】
中央カメラ7および端側カメラ8は、撮像範囲がディスプレイ4前方に起立した使用者20の全身が収まる範囲となるように配設されている。また、これら中央カメラ7および端側カメラ8は、所定回数(本実施形態では、1秒間に5〜30回のうちの任意の回数)ディスプレイ4前方を撮像して、それぞれPC3に出力している。
【0080】
図11(b)に示されるように、PC3は、この撮像画像上に横方向をX軸、当該横方向に垂直な方向をY軸、左下端を(0,0)、右上端を(W,H)とする座標を設定する。そして、この座標が設定された撮像画像上に装飾画像を重畳してこれを表示画像とし、この表示画像の画像情報をディスプレイ4に出力する。以下、詳細に説明する。
【0081】
次に、図12を参照しながら、本実施形態における画像処理方法について説明する。
同図12に示されるように、PC3(本発明の「表示手段」に相当)は、まず中央カメラ7および端側カメラ8から出力される画像情報に基づいて、使用者20とディスプレイ4との間の距離を算出し、使用者20が想定範囲に位置しているか否かを判断する距離判断処理を実行する(ステップS500)。そして、距離判断処理を終了した後、所定部位検出処理(ステップS501)、次に画像表示処理(ステップS502)を実行する。
【0082】
なお、本実施形態において、想定範囲とは、ディスプレイ4前方に起立した使用者20がディスプレイ4に充分な大きさをもって表示される範囲である。具体的には、ディスプレイ4前方のうちディスプレイ4上に配設された中央カメラ7および端側カメラ8にて撮像される範囲を撮像範囲とすると、当該撮像範囲において当該ディスプレイ4と使用者との間の距離が想定距離D1未満となる範囲を示す。想定距離D1は、予め設定されていてもよいし、設置場所等に応じて都度設定するようにしてもよい。
【0083】
次に、図13を参照しながら、距離D2を算出し、この距離D2が想定距離D1以上であるか否かを判断する距離判断処理について説明する。
同図12に示されるように、この距離判断処理が開始されると、まずPC3を用いて想定距離D1を設定する(ステップS600)。
【0084】
次に、PC3は、以下に説明するステップS601〜S610の処理と並行して、以下に説明するステップS611〜S620の処理を実行する。
まず、ステップS601〜S610の処理について説明する。上述したように、想定距離D1を設定した(ステップS600)後、PC3は中央カメラ7が撮像した撮像画像(中央画像)の画像情報を取得する(ステップS601)。そして、この撮像画像に対して白と黒の二階調に変換する二値化処理を施す(ステップS602)。
【0085】
そして、前回の制御周期で中央カメラ7から取得して二値化処理を施した撮像画像と、今回の制御周期で中央カメラ7から取得して二値化処理を施した撮像画像との差分画像を生成する(ステップS603)。第一実施形態にて説明したように、前回の制御周期で取得した撮像画像と今回の制御周期で取得した撮像画像との間に変化分が存在する場合、差分画像において当該変化分が位置する座標は白画素で表示される。
【0086】
次に、今回の制御周期で中央カメラ7から取得して二値化処理を施した撮像画像を保存する(ステップS604)。そして、PC3は、差分画像の座標f(x1,y1)の階調値が基準値C以上であるか否かを判断する(ステップS605)。
【0087】
座標f(x1,y1)の階調値が基準値C以上であると判断する場合(ステップS605;YES)、上述したように座標f(x1,y1)を動きの検出点とする(ステップS610)。
【0088】
これに対して、座標f(x1,y1)の階調値が基準値C未満であると判断する場合(ステップS605;NO)、座標f(x1,y1)のx座標値をインクリメント(x1=x1+1)する(ステップS606)。そして、座標f(x1,y1)のx座標値が所定値W以上であるか否かを判断する(ステップS607)。
【0089】
座標f(x1,y1)のx座標値が所定値W未満であると判断する場合(ステップS607;NO)、ステップS605およびS606の処理を繰り返す。
一方、座標f(x1,y1)のx座標値が所定値W以上であると判断する場合(ステップS607;YES)、y座標値をインクリメント(y1=y1+1)し(ステップS608)、座標f(x1,y1)のy座標値が所定値H以上であるか否かを判断する(ステップS609)。
【0090】
座標f(x1,y1)のy座標値が所定値H未満であると判断する場合(ステップS609;NO)、ステップS605〜S608の処理を繰り返す。
【0091】
次に、ステップS611〜S620の処理について説明する。上述したように、想定距離D1を設定した(ステップS600)後、PC3は端側カメラ8が撮像した撮像画像(端側画像)の画像情報を取得する(ステップS611)。そして、この撮像画像に対して白と黒の二階調に変換する二値化処理を施す(ステップS612)。
【0092】
そして、前回の制御周期で端側カメラ8から取得して二値化処理を施した撮像画像と、今回の制御周期で端側カメラ8から取得して二値化処理を施した撮像画像との差分画像を生成する(ステップS613)。
次に、今回の制御周期で端側カメラ8から取得して二値化処理を施した撮像画像を保存する(ステップS614)。そして、PC3は、差分画像の座標f(x2,y2)の階調値が基準値C以上であるか否かを判断する(ステップS615)。
【0093】
座標f(x2,y2)の階調値が基準値C以上であると判断する場合(ステップS615;YES)、その座標f(x2,y2)を動きの検出点とする(ステップS620)。
【0094】
これに対して、座標f(x2,y2)の階調値が基準値C未満であると判断する場合(ステップS615;NO)、座標f(x2,y2)のx座標値をインクリメント(x2=x2+1)する(ステップS616)。そして、座標f(x2,y2)のx座標値が所定値W以上であるか否かを判断する(ステップS617)。
【0095】
座標f(x2,y2)のx座標値が所定値W未満であると判断する場合(ステップS617;NO)、ステップS615およびS616の処理を繰り返す。
一方、座標f(x2,y2)のx座標値が所定値W以上であると判断する場合(ステップS617;YES)、座標f(x2,y2)y座標値をインクリメント(y2=y2+1)し(ステップS618)、座標f(x2,y2)のy座標値が所定値H以上であるか否かを判断する(ステップS619)。
【0096】
座標f(x2,y2)のy座標値が所定値H未満であると判断する場合(ステップS619;NO)、ステップS615〜S618の処理を繰り返す。
【0097】
これに対して、座標f(x1,y1)のy座標値が所定値H以上であると判断する場合(ステップS609;YES)、および座標f(x2,y2)のy座標値が所定値H以上であると判断する場合(ステップS619;YES)、PC3は、座標f(x1,y1)および座標f(x2,y2)に基づいて、使用者20とディスプレイ4との間の距離D2を算出する(ステップS621)。そして、想定距離D1がこの距離D2以上であるか否かを判断する(ステップS622)。
【0098】
想定距離D1が距離D2以上であると判断する場合(ステップS622;YES)、座標f(x1,y1)および座標f(x2,y2)のx座標値およびy座標値をそれぞれx1=「0」,y1=「0」,x2=「0」,y2=「0」とし(ステップS623)、この処理を一旦終了する。
一方、想定距離D1が距離D2未満であると判断する場合(ステップS622;NO)、S601以降の処理およびS611以降の処理を再び実行する。このように、本距離判断処理では、想定距離D1が距離D2未満である場合、すなわち使用者20が想定距離D1に位置してないと判断する場合は、本処理を繰り返し実行して本処理を終了しないようにしている。
【0099】
次に、図14を参照しながら、本実施形態にかかる所定部位検出処理について詳細に説明する。
同図14に示されるように、PC3は、以下に説明するステップS700〜S709の処理と並行して、以下に説明するステップS710〜S719の処理を実行する。
【0100】
まず、ステップS700〜S709の処理について説明する。まず、PC3は中央カメラ7が撮像した撮像画像(中央画像)の画像情報を取得する(ステップS700)。そして、この撮像画像に対して白と黒の二階調に変換する二値化処理を施し(ステップS701)、この二値化処理を施した撮像画像に対して差分処理を実行する(ステップS702)。
【0101】
次に、今回の制御周期で中央カメラ7から取得して二値化処理を施した撮像画像を保存する(ステップS703)。そして、PC3は、差分画像の座標f(x1,y1)の階調値が基準値C以上であるか否かを判断する(ステップS704)。
【0102】
座標f(x1,y1)の階調値が基準値C以上であると判断する場合(ステップS704;YES)、その座標f(x1,y1)を動きの検出点とする(ステップS709)。
【0103】
これに対して、座標f(x1,y1)の階調値が基準値C未満であると判断する場合(ステップS704;NO)、座標f(x1,y1)のx座標値をインクリメント(x1=x1+1)する(ステップS705)。そして、座標f(x1,y1)のx座標値が所定値W以上であるか否かを判断する(ステップS706)。
【0104】
座標f(x1,y1)のx座標値が所定値W未満であると判断する場合(ステップS706;NO)、ステップS704およびS705の処理を繰り返す。
一方、座標f(x1,y1)のx座標値が所定値W以上であると判断する場合(ステップS706;YES)、y座標値をインクリメント(y1=y1+1)し(ステップS707)、座標f(x1,y1)のy座標値が所定値H以上であるか否かを判断する(ステップS708)。
【0105】
座標f(x1,y1)のy座標値が所定値H未満であると判断する場合(ステップS708;NO)、ステップS704〜S707の処理を繰り返す。
【0106】
次に、ステップS710〜S719の処理について説明する。まず、PC3は端側カメラ8が撮像した撮像画像(端側画像)の画像情報を取得する(ステップS710)。そして、この撮像画像に対して白と黒の二階調に変換する二値化処理を施す(ステップS711)、この二値化処理を施した撮像画像に対して差分処理を実行する(ステップS712)。
【0107】
次に、今回の制御周期で端側カメラ8から取得して二値化処理を施した撮像画像を保存する(ステップS713)。そして、PC3は、差分画像の座標f(x2,y2)の階調値が基準値C以上であるか否かを判断する(ステップS714)。
【0108】
座標f(x2,y2)の階調値が基準値C以上であると判断する場合(ステップS714;YES)、その座標f(x2,y2)を動きの検出点とする(ステップS719)。
【0109】
これに対して、座標f(x2,y2)の階調値が基準値C未満であると判断する場合(ステップS714;NO)、座標f(x2,y2)のx座標値をインクリメント(x2=x2+1)する(ステップS715)。そして、座標f(x2,y2)のx座標値が所定値W以上であるか否かを判断する(ステップS716)。
【0110】
座標f(x2,y2)のx座標値が所定値W未満であると判断する場合(ステップS716;NO)、ステップS714およびS715の処理を繰り返す。
一方、座標f(x2,y2)のx座標値が所定値W以上であると判断する場合(ステップS716;YES)、y座標値をインクリメント(y2=y2+1)する(ステップS717)。そして、座標f(x2,y2)のy座標値が所定値H以上であるか否かを判断する(ステップS718)。
【0111】
座標f(x2,y2)のy座標値が所定値H未満であると判断する場合(ステップS718;NO)、ステップS714〜S717の処理を繰り返す。
【0112】
座標f(x1,y1)のy座標値が所定値H以上であると判断する場合(ステップS708;YES)、および座標f(x2,y2)のy座標値が所定値H以上であると判断する場合(ステップS718;YES)、PC3は、座標f(x1,y1)および座標f(x2,y2)に基づいて、使用者20とディスプレイ4との間の距離D2を算出する(ステップS720)。そして、座標f(x1,y1)および座標f(x2,y2)のx座標値およびy座標値をそれぞれx1=「0」,y1=「0」,x2=「0」,y2=「0」として(ステップS721)、この処理を終了する。
【0113】
図12に示されるように、PC3は、これら距離判断処理および所定部位検出処理を終了した後、次にディスプレイ4に画像を表示する画像表示処理を実行する(ステップS502)。なお、この画像表示処理の処理内容は、第一実施形態にて説明した画像表示処理と同一であるため、詳細な説明は割愛する。
【0114】
図15に、上述した処理を通じて表示画像が表示されるディスプレイ4を示す。
同図15に示される領域Aにおいて、装飾画像は、使用者20の足部が表示される位置から主にx軸方向に移動するように表示される。なお、同図15には、画像表示処理が開始されてから終了するまでの間において、装飾画像が表示される全ての領域を記載している。実際には、装飾画像は、まず使用者20の所定部位(本実施形態においては、足部)が表示される位置と同じ位置に表示される。そして、この所定部位が表示されている位置を起点として、時間の経過とともに使用者20の所定部位が表示されている位置から離れるように移動する。
【0115】
また、同図15に示されるように、PC3は、想定範囲に位置する使用者20の所定部位を起点とする領域のみに装飾画像を表示する。すなわち、想定範囲に位置しない使用者23の所定部位を起点とする領域に装飾画像を表示することはない。
【0116】
上記実施形態によれば、上記各実施形態にて説明した作用効果に加えて、以下に記載する作用効果を奏することができる。
(6)本実施形態によれば、複数のカメラ7,8を用いるようにしているため、使用者20とディスプレイ4との間の距離D2をより正確に算出することができる。
【0117】
(その他の実施形態)
以下、本発明を具体化したその他の実施形態を上記第四実施形態と異なる点を中心に図16に基づいて説明する。なお、図16において、第四実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0118】
同図16(a)に示されるように、本実施形態の画像表示装置1は、表示画像上に、横方向をX軸、当該横方向に垂直な方向をY軸とし、左上端を原点(0,0)、右下端を(W,H)とする座標を設定する。
【0119】
本実施形態にかかる画像表示装置1では、PC3は、図16(b)に示されるように、想定範囲に位置する使用者20の最上部(ここでは、頭頂部)を所定部位として認識し、この頭頂部を起点として装飾画像を表示する。
また、第四実施形態にて説明したように、PC3は、想定範囲に位置しない使用者23の所定部位を起点とする領域には、装飾画像を表示しない。
本実施形態によれば、上記実施形態で説明した作用効果に準じた作用効果を奏することができるようになる。
【0120】
(第五実施形態)
以下、本発明を具体化した第五実施形態を上記第一実施形態と異なる点を中心に図17〜図19に基づいて説明する。なお、これら図17〜図19において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0121】
上記第一実施形態では、白画素で表示される座標f(x,y)を1個だけ検出するようにした。これに対して、本実施形態では、白画素で表示される座標をn個検出する。
【0122】
次に、図17を参照しながら、本実施形態における画像処理方法について説明する。
同図17に示されるように、本実施形態では、PC3は、まず所定部位検出処理を実行し(ステップS800)、次に画像表示処理を実行する(ステップS801)。
【0123】
次に、図18を参照しながら、本実施形態にかかる所定部位検出処理について詳細に説明する。
同図18に示されるように、本処理が開始されると、まず、PC3はカメラ2が撮像した撮像画像の画像情報を取得する(ステップS900)。次に、PC3は、この撮像画像に対して白と黒の二階調に変換する二値化処理を施し(ステップS901)、この二値化処理を施した撮像画像に対して差分処理を実行する(ステップS902)。
【0124】
次に、PC3は、今回の制御周期でカメラ2から取得して二値化処理を施した撮像画像を保存する(ステップS903)。そして、PC3は、差分画像の座標f(x,y)の階調値が基準値C以上であるか否かを判断する(ステップS904)。
【0125】
座標f(x,y)の階調値が基準値C以上であると判断する場合(ステップS904;YES)、個数nの値をインクリメント(n=n+1)する(ステップS905)。そして、座標f(x,y)をn個目の動きの検出点として記憶する(ステップS906)。
【0126】
座標f(x,y)をn個目の動きの検出点とした(ステップS906)後、もしくはステップS904にて座標f(x,y)の階調値が基準値C未満であると判断する場合(ステップS904;NO)、座標f(x,y)のx座標値をインクリメント(x=x+1)する(ステップS907)。そして、座標f(x,y)のx座標値が所定値W以上であるか否かを判断する(ステップS908)。
【0127】
座標f(x,y)のx座標値が所定値W未満であると判断する場合(ステップS908;NO)、ステップS904〜S907の処理を繰り返す。
一方、座標f(x,y)のx座標値が所定値W以上であると判断する場合(ステップS908;YES)、y座標値をインクリメント(y=y+1)し(ステップS909)、座標f(x,y)のy座標値が所定値H以上であるか否かを判断する(ステップS910)。
【0128】
座標f(x,y)のy座標値が所定値H未満であると判断する場合(ステップS910;NO)、ステップS904〜S909の処理を繰り返す。
一方、座標f(x,y)のy座標値が所定値H以上であると判断する場合(ステップS910;YES)、座標f(x,y)のx座標値およびy座標値をそれぞれx=「0」,y=「0」として(ステップS911)、この処理を一旦終了する。
【0129】
このように所定部位検出処理(ステップS800)を終了した後、次にPC3は、検出したn個の座標f(x,y)のそれぞれを起点として、装飾画像を表示する画像表示処理を実行する(ステップS801)。なお、本実施形態における画像表示処理の処理内容は、第一実施形態にて説明した処理内容と同一であるため、詳しい説明は割愛する。
【0130】
図19に、上述した処理を通じて表示画像が表示されるディスプレイ4を示す。
同図19に示される領域A〜Nにおいて、装飾画像は、使用者20が表示される位置から主にx軸方向に移動するように表示される。なお、同図19には、画像表示処理が開始されてから終了するまでの間において、装飾画像が表示される全ての領域を記載している。実際には、装飾画像は、まず使用者20の所定部位(本実施形態においては、足部)が表示される位置と同じ位置に表示される。そして、この所定部位が表示されている位置を起点として、時間の経過とともに使用者20の所定部位が表示されている位置から離れるように移動する。
【0131】
上記実施形態によれば、上記各実施形態にて説明した作用効果に加え、以下に記載する作用効果を奏することができる。
(8)本実施形態によれば、広い範囲に装飾画像を表示することができるため、使用者である通行人の興味をより引き付けることができる画像をディスプレイ4に表示することができる。
【0132】
(その他の実施形態)
以下、本発明を具体化したその他の実施形態を上記第五実施形態と異なる点を中心に図20に基づいて説明する。なお、図20において、第五実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0133】
同図20(a)に示されるように、本実施形態の画像表示装置1は、表示画像上に、横方向をX軸、当該横方向に垂直な方向をY軸とし、左上端を原点(0,0)、右下端を(W,H)とする座標を設定する。
【0134】
本実施形態にかかる画像表示装置1では、同図20(b)に示されるように、PC3は、最上部(ここでは、頭頂部)を含めた撮像画像の上部に位置するn個の所定部位を起点として装飾画像をそれぞれ表示する。
本実施形態によれば、上記実施形態で説明した作用効果に準じた作用効果を奏することができるようになる。
【0135】
(第六実施形態)
以下、本発明を具体化した第六実施形態を上記第一実施形態と異なる点を中心に図2、および図21〜図23に基づいて説明する。なお、これら図2、および図21〜図23において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0136】
第一実施形態では、可視光からなる撮像画像に基づいて所定部位を検出するようにしたが、本実施形態では、赤外光からなる画像(以下、「赤外光画像」)に基づいて所定部位を検出する。
【0137】
図21(a)に示されるように、この第六実施形態の画像表示装置1は、ディスプレイ4(本発明の「表示面」に相当)の中央上部に配設される第一カメラ10(本発明の「撮像手段」に相当)および第二カメラ11(本発明の「撮像手段」に相当)に加えて、赤外光を照射する赤外光ライト13を備えている。
【0138】
第一カメラ10および第二カメラ11は、撮像範囲がディスプレイ4前方に起立した使用者20の全身が収まる範囲となるように配設されている。また、第一カメラ10の受光部には、赤外光のみを透過するフィルタ12が取り付けられている。このため、第一カメラ10は、赤外光のみからなる赤外光画像を撮像することとなる。
【0139】
また、これら第一カメラ10および第二カメラ11は、所定回数(本実施形態では、1秒間に5〜30回のうちの任意の回数)ディスプレイ4前方を撮像し、その撮像画像の画像情報をそれぞれPC3(本発明の「表示手段」に相当)に出力している。
【0140】
またさらに、本実施形態においてPC3は、図21(b)に示されるように、撮像画像上に、横方向をX軸、当該横方向に垂直な方向をY軸とし、同撮像画像の左下端を原点(0,0)、同撮像画像の右上端を(W,H)とする座標を設定する。
【0141】
本実施形態では、第一実施形態で説明したように(図2参照)、PC3は、まず所定部位検出処理を実行し(ステップS100)、次に画像表示処理を実行する(ステップS101)。なお、本実施形態において、PC3は、第一カメラ10から出力される撮像画像の画像情報に基づいて所定部位検出処理を実行する。
【0142】
次に、本実施形態にかかる所定部位検出処理について図22を参照しながら詳細に説明する。
本処理が開始されると、まずPC3は、可視光からなる撮像画像(可視光画像)の画像情報を第二カメラ11を通じて取得し、ディスプレイ4に表示する(ステップS1000)。
次に、PC3は、赤外光のみからなる撮像画像(赤外光画像)の画像情報を第一カメラ10を通じて取得する(ステップS1001)。
【0143】
次に、PC3は、赤外光画像に対して白と黒の二階調に変換する二値化処理を施す(ステップS1002)。そして、この二値化処理を施した赤外光画像に対して差分処理を実行する(ステップS1003)。
【0144】
次に、PC3は、今回の制御周期で第一カメラ10を通じて取得し、二値化処理を施した赤外光画像を保存する(ステップS1004)。そして、PC3は、差分画像の座標f(x,y)の階調値が基準値C以上であるか否かを判断する(ステップS1005)。
【0145】
座標f(x,y)の階調値が基準値C以上であると判断する場合(ステップS1005;YES)、座標f(x,y)を動きの検出点とする(ステップS1010)。
【0146】
これに対して、座標f(x,y)の階調値が基準値C未満であると判断する場合(ステップS1005;NO)、座標f(x,y)のx座標値をインクリメント(x=x+1)する(ステップS1006)。そして、座標f(x,y)のx座標値が所定値W以上であるか否かを判断する(ステップS1007)。
【0147】
座標f(x,y)のx座標値が所定値W未満であると判断する場合(ステップS1007;NO)、ステップS1005およびS1006の処理を繰り返す。
一方、座標f(x,y)のx座標値が所定値W以上であると判断する場合(ステップS1007;YES)、座標f(x,y)のy座標値をインクリメント(y=y+1)し(ステップS1008)、座標f(x,y)のy座標値が所定値H以上であるか否かを判断する(ステップS1009)。
【0148】
座標f(x,y)のy座標値が所定値H未満であると判断する場合(ステップS1009;NO)、ステップS1005〜S1008の処理を繰り返す。
一方、座標f(x,y)のy座標値が所定値H以上であると判断する場合(ステップS1009;YES)、および座標f(x,y)を動きの検出点とした(ステップS1010)後、座標f(x,y)のx座標値およびy座標値をそれぞれx=「0」,y=「0」として(ステップS1011)、この処理を一旦終了する。
【0149】
図23に、上述した処理を通じて表示画像が表示されるディスプレイ4を示す。
同図23に示される領域Aにおいて、装飾画像は、使用者20の足部が表示される位置から主にx軸方向に移動するように表示される。なお、同図15には、画像表示処理が開始されてから終了するまでの間において、装飾画像が表示される全ての領域を記載している。実際には、装飾画像は、まず使用者20の所定部位(本実施形態においては、足部)が表示される位置と同じ位置に表示される。そして、この所定部位が表示されている位置を起点として、時間の経過とともに使用者20の所定部位が表示されている位置から離れるように移動する。
【0150】
(9)本実施形態によれば、赤外光画像を用いて使用者20の所定部位を検出するため、撮像画像に表示されたもののうち赤外光を反射するもの、すなわち使用者20を適切に検出することができる。このため、撮像画像において使用者20の所定部位が表示されている位置をより正確に検出することができるようになる。
【0151】
(その他の実施形態)
以下、本発明を具体化したその他の実施形態を上記第六実施形態と異なる点を中心に図24に基づいて説明する。なお、図24において、第六実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0152】
同図24(a)に示されるように、本実施形態において、PC3は、表示画像上に、横方向をX軸、当該横方向に垂直な方向をY軸とし、左上端を原点(0,0)、右下端を(W,H)とする座標を設定する。
【0153】
そして、同図24(b)に示されるように、PC3は、使用者20の最上部(ここでは、頭頂部)を所定部位として検出し、この頭頂部を起点として装飾画像を表示する。
【0154】
本実施形態によれば、上記実施形態で説明した作用効果に準じた作用効果を奏することができるようになる。
【0155】
(第七実施形態)
以下、本発明を具体化した第七実施形態を上記第一実施形態と異なる点を中心に図25〜図27に基づいて説明する。なお、これら図25〜図27において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0156】
上記第一実施形態では、初期速度vx,vyを所定の値に予め設定した。これに対して、本実施形態では、差分画像において白画素が表示される領域の重心位置に基づいて初期速度vx,vyを算出する。
また、上記第一実施形態では、初期速度vx,vyが負の値となる場合には、初期速度vx,vyをそれぞれ「0」となるようにした。これに対して、本実施形態では、初期速度vx,vyの正負に関わらず、算出された初期速度vx,vyを用いて装飾画像を表示する領域を設定するようにしている。
【0157】
なお、本実施形態では、第一実施形態にて説明したように、PC3は、撮像画像上に、横方向をX軸、当該横方向に垂直な方向をY軸とし、同撮像画像の左上端を原点(0,0)、同撮像画像の右下端を(W,H)とする座標を設定する。
【0158】
次に、本実施形態にかかる画像表示処理について図25を参照しながら詳細に説明する。なお、本実施形態における表示画像の処理方法、および所定部位検出処理の処理内容は、第一実施形態にて説明した処理内容と同一であるため、詳細な説明は割愛する。
【0159】
同図25に示されるように、本処理が開始されると、PC3は、まず差分画像において白画素が表示される領域の重心位置に基づいて初期速度vx,vyを算出する(ステップS1100)。
【0160】
ここで、差分画像において白画素が表示される領域の重心位置の算出方法について、図26(a)〜(d)を参照しながら詳細に説明する。
同図26(a)には、前々回の制御周期(t−2)でカメラ2にて撮像され、撮像画像に表示された使用者をX1にて示すとともに、前回の制御周期(t−1)でカメラ2にて撮像され、撮像画像に表示された使用者20をX2にて示す。
同図26(b)には、同図26(a)に示した撮像画像に基づいて生成される差分画像を示す。同差分画像において、ハッチングで示される領域には白画素が表示されている。
【0161】
また、同図26(c)には、前回の制御周期(t−1)でカメラ2にて撮像され、撮像画像に表示された使用者をX2にて示すとともに、今回の制御周期(t)でカメラ2にて撮像され、撮像画像に表示された使用者20をX3にて示す。
同図26(d)には、同図26(c)に示した撮像画像に基づいて生成される差分画像を示す。同差分画像において、ハッチングで示される領域には白画素が表示されている。
【0162】
まず、PC3は、所定部位検出処理を通じて、図26(b)に示される位置Pを所定部位が表示されている位置として検出する。なお、本実施形態においてPC3は、横方向をX軸、当該横方向に垂直な方向をY軸とし、左上端を原点(0,0)、右下端を(W,H)とする座標を撮像画像上に設定している。
そして、PC3は、位置Pを中心とする所定の領域を重心位置算出領域rとして設定する。この重心位置算出領域rは、位置Pを中心として上下左右に10〜50ピクセルの範囲に設定されることが好ましく、10〜20ピクセルの範囲に設定されることがより好ましい。
【0163】
次に、PC3は、同図26(b)に示されるように、差分画像において白画素が表示される領域のうち、重心位置算出領域rに表示される部分の重心位置g(x(t−1),y(t−1))を算出する。なお、この重心位置g(x(t−1),y(t−1))は、既知の方法で算出することができるため、詳しい説明は割愛する。
【0164】
同様に、PC3は、図26(d)に示されるように、位置Pを所定部位が表示されている位置として検出し、この位置Pを中心として重心位置算出領域rを設定する。
そして、差分画像において白画素が表示される領域のうち、重心位置算出領域rに表示される部分の重心位置g(x(t),y(t))を算出する。
【0165】
次に、PC3は、以下の式(5)および(6)に基づいて、重心位置g(x(t−1),y(t−1))と重心位置g(x(t),y(t))との差を求める。
Gx(t)=gx(t−1)−gx(t)…(5)
Gy(t)=gy(t−1)−gy(t)…(6)
【0166】
次に、以下の式(7)および(8)に基づいて、初期速度vx,vyを算出する。
vx=A×Gx(t)…(7)
vy=A×Gy(t)…(8)
なお、A,Bは予め定められた所定の定数である。
【0167】
PC3は、このようにして算出した初期速度vx,vyを設定し(ステップS1100)、装飾画像を表示する座標g(x,y)を第一実施形態にて説明した以下の式(3)および(4)を用いて算出する(ステップS1101)。なお、この座標計算においては、位置Pのx座標値およびy座標値をそれぞれ「x´」,「y´」とする。
x=(wx+vx)t+Asin(ω1t)+Bsin(ω2t)+x´…(3)
y=(wy+vy)t+Ccos(ω3t)+Dcos(ω4t)+y´…(4)
第一実施形態にて説明したように、角速度ω1,ω2,ω3,ω4、および定数A,B,C,Dは、実験等を通じて予め定められた所定の値である。またさらに、時間tは、本画像表示処理が開始されたときからカウントを開始する。
一方、風速wx,wyについては、初期速度vx,vyが負の値である場合は負の値に設定する一方、初期速度vx,vyが正の値である場合は正の値に設定する。
【0168】
そして、座標g(x,y)に装飾画像を表示する(ステップS1102)。
次に、表示回数nをインクリメント(n=n+1)する(ステップS1103)。
その後、表示回数nが所定回数N以上であるか否かを判断し(ステップS1104)、表示回数nが所定回数N未満であると判断する場合(ステップS1104;NO)、ステップS1101以降の処理を繰り返す。一方、表示回数nが所定回数N以上であると判断する場合(ステップS1104;YES)、表示回数n=「0」とし(ステップS1105)、この処理を一旦終了する。
【0169】
図27に、上述した処理を通じて表示画像が表示されるディスプレイ4を示す。
図27(a)に矢印Aにて示す方向に使用者20が移動する場合、差分画像の重心位置も、この矢印にて示す方向に移動する。このときは、Gx(t)は正の値となるため(式(5)参照)、装飾画像は、同図27(a)にS1にて示す方向に流れるように表示される(式(3)参照)。また、使用者20の移動速度が速いときほど、重心位置G1と重心位置G2との差Gx(t),Gy(t)は大きくなるため、初期速度vx,vyも大きくなる。
【0170】
これに対して、図27(b)に矢印にて示す方向に使用者20が移動する場合、差分画像の重心位置もこの矢印にて示す方向に移動する。このときは、G(t)は負の値となる(式(5)参照)ため、装飾画像は同図27(b)にS2にて示す方向に流れるように表示される(式(3)参照)。このときも、使用者20の移動速度が速いときほど、重心位置G1と重心位置G2との差Gx(t),Gy(t)は大きくなるため、初期速度vx,vyも大きくなる。
【0171】
上記実施形態によれば、以下に記載する作用効果を奏することができる。
(10)上記実施形態では、初期速度vx,vyを都度算出するようにしているため、使用者20の動きに応じて装飾画像を表示する領域を変更することができる。装飾画像を表示する領域が使用者20の動きに関わらず一定の範囲である場合と比較して、より使用者20の興味を引く態様にて装飾画像を表示することができるようになる。
【0172】
(11)また、差分画像の重心位置に基づいて初期速度vx,vyを算出するようにしているため、装飾画像を表示する領域を使用者20の動きの向きに基づいて設定することができる。
【0173】
(12)また、差分画像のうち、重心位置算出領域rに表示される部分の差分画像の重心位置G1を算出するようにしている。このため、使用者20の所定部位とその周辺部位のみの動きに基づいて装飾画像を表示する領域を設定することができる。すなわち、使用者20の意に沿った態様で装飾画像を表示することができるようになる。
【0174】
(その他の実施形態)
なお、この発明にかかる画像表示装置1は、上記実施形態にて例示した構成に限定されるものではなく、同実施の形態を適宜変更した例えば次のような形態として実施することもできる。また以下の各変形例は、上記実施形態についてのみ適用されるものではなく、異なる変形例同士を互いに組み合わせて実施することもできる。
【0175】
・上記第三実施形態において、所定部位が表示される座標f(x,y)を中心として差分画像算出領域r1を設定し、差分画像において白画素が表示される領域のうち、当該差分画像算出領域r1に表示される部分の面積に基づいて、初期速度vx、vyを変更するようにしてもよい。本変形例によれば、所定部位およびその周辺部位のみの動きの速度に応じて装飾画像の表示領域を変更することができるようになる。
【0176】
・上記第一実施形態では、ディスプレイ4の中央上部にカメラ2を配設するようにしたが、カメラ2の配設態様はこれに限られるものではなく、図28に示されるように、カメラ2をディスプレイ4前方に対向する位置に配設してもよい。本変形例では、カメラ2からPC3に出力された表示画像をプロジェクタ14を用いて、スクリーン15に表示する。本発明においても、上記作用効果に準じた作用効果を奏することができるようになる。
【0177】
・上記第二実施形態では、中央カメラ7と端側カメラ8を用いるようにしたが、本発明はこれに限られるものではない。例えば、図29に示されるように、端側カメラ8をディスプレイ4の左右の端側にそれぞれ配設し、これら端側カメラ8を用いてディスプレイ4と使用者20との間の距離を算出してもよい。本実施形態によれば、端側カメラ8間の距離が大きくなるため、使用者20とディスプレイ4との間の距離を精度よく算出することができるようになる。
【0178】
・上記第二実施形態において、装飾画像の表示領域は、ディスプレイ4と使用者20との距離D2の大きさに関わらず一定としたが、装飾画像の表示領域はこれに限られるものではなく、距離D2に基づいて変更してもよい。すなわち、距離D2が大きいときほど、すなわち使用者20がディスプレイ4から離れているときほど、領域Aが大きくなるように設定してもよい。本変形例によれば、ディスプレイ4から離れている場所に位置している使用者20であっても、ディスプレイ4に表示される装飾画像を認識することができるようになる。
【0179】
・上記実施形態では、装飾画像を主にx軸方向に流れるように表示したが、本発明はこれに限られるものではない。風速wyを風速wxよりも大きい値に設定し、主にy軸方向に流れるように表示してもよい。また、風速wyと風速wxとを略等しい値に設定し、x軸方向およびy軸方向に流れるように表示してもよい。
【符号の説明】
【0180】
1…画像表示装置
2…カメラ
3…PC
4…ディスプレイ
7…中央カメラ
8…端側カメラ
10…第一カメラ
11…第二カメラ
12…フィルタ
13…赤外光ライト
14…プロジェクタ
15…スクリーン
20…使用者
21…足部
22…下肢
23…使用者
【技術分野】
【0001】
本発明は、表示面に画像を表示する画像表示装置に関する。
【背景技術】
【0002】
近年、広告等を表示するために乗り物や店舗等に設置される画像表示装置として、動画を表示することができるものが多く用いられている。このような画像表示装置としては、通行人の注目を効果的に集めることができる動画等(以下、「画像」)を表示することができるものが好ましい。
【0003】
例えば、特許文献1には、コンピュータにより制御された画像をディスプレイに表示することができる画像表示装置が開示されている。このような画像表示装置によれば、同一の場所に配設された複数のディスプレイに連続映像を配信することで通行人の注目をある程度集めることができることができるようになる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−157036号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、このような従来の画像表示装置は、当該画像表示装置の前方を通行する通行人とは何ら関連のない予め定められた所定の画像を表示するものでしかない。このため、このような画像表示装置に表示される画像は、通行人にとっては変化や斬新さに欠けるものでしかなく、この画像を用いることで通行人の注目を効果的に集めることは困難であった。
【0006】
本発明は、このような事情を鑑みてなされたものであり、表示面の前方に位置する通行人と関連があり、通行人の興味を引き付けることができる画像を表示する画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第一態様は、表示面に表示画像を表示する表示手段と、前記表示面の前方を撮像画像として撮像する撮像手段と、前記表示画像を制御する制御手段とを備える画像表示装置であって、前記制御手段は、前記撮像画像において使用者の所定部位が表示されている位置を起点として設定する所定領域に装飾画像を表示する画像表示処理を実行し、前記装飾画像を前記撮像画像とともに前記表示画像として前記表示面に表示することを特徴としている。
【0008】
同構成(第一態様にかかる画像表示装置)では、制御装置は、表示面の前方を撮像した撮像画像において使用者の所定部位が表示されている位置を起点とする所定領域に装飾画像を表示する。そして、この装飾画像と撮像画像とを表示画像として表示面に表示する。このため、表示面には、表示面の前方の画像とともに、装飾画像が使用者の所定部位を起点として表示されることとなる。同構成によれば、このように使用者と関連がある位置に装飾画像を表示することで、使用者と関連のある表示画像を表示面に表示することができる。したがって、使用者である通行人の興味を引き付けることができる画像を表示面に表示することができる。
【0009】
本発明の第二態様は、第一態様にかかる画像表示装置であって、前記制御手段は、撮像時刻の異なる前回の撮像画像と今回の撮像画像との間の変化分を白画素として検出し、この白画素が表示される位置に基づいて前記所定部位が表示されている位置を検出することを特徴としている。
【0010】
本発明の第三態様は、第一態様または第二態様にかかる画像表示装置であって、前記撮像手段は、前記表示面から所定の範囲に前記使用者が位置していないと判断したときには、前記画像表示処理の実行を禁止することを特徴としている。
【0011】
同構成(第三態様にかかる画像表示装置)によれば、表示面から所定の範囲に使用者が位置していないときには画像表示処理の実行が禁止されるため、使用者が表示面の前方におらず、表示面に装飾画像を表示する必要がない場合まで画像表示処理が実行されることを抑制することができるようになる。
【0012】
本発明の第四態様は、第二態様または第三態様にかかる画像表示装置であって、前記制御手段は、前記撮像画像を上領域と下領域とに区画する仮想区画線を前記撮像画像中に設定するとともに、前記下領域に前記白画素を検出したときに、当該白画素が前記仮想区画線まで連続して検出されたことをもって、前記表示面から所定の範囲に前記使用者が位置していると判断することを特徴としている。
【0013】
前方に位置する使用者の全身を撮像することができるように撮像手段を配設した場合、当該撮像手段にて撮像される撮像画像の下領域には撮像手段前方の床面が表示される。そして、当該撮像画像の上領域には床面上の空間が表示される。このため、使用者が撮像手段の前方に位置しているときには、床面にある使用者の足部が白画素として下領域に検出されるとともに、使用者の下肢等が、仮想区画線まで連続して白画素として検出される。
【0014】
同構成(第四態様にかかる画像表示装置)では、このように下領域に白画素を検出したときに、この白画素を仮想区画線まで連続して検出したことをもって、表示面から所定の範囲に使用者が位置していると判断するため、表示面から所定の範囲に使用者が位置しているか否かを好適に判断することができる。
【0015】
本発明の第五態様は、第二態様〜第四態様のいずれかにかかる画像表示装置であって、前記制御手段は、前記装飾画像を表示する前記所定領域を前記白画素が表示される領域の大きさに基づいて設定することを特徴としている。
【0016】
同構成(第五態様にかかる画像表示装置)によれば、使用者の移動速度に基づいて装飾画像を表示する所定領域を設定することができるため、装飾画像を使用者の移動態様に基づいて表示することができる。
【0017】
本発明の第六態様は、第一態様〜第四態様のいずれかにかかる画像表示装置であって、前記制御手段は、撮像時刻の異なる前回の撮像画像と今回の撮像画像との間の変化分を白画素として検出し、前記白画素が表示される領域の重心位置をそれぞれ算出し、この重心位置の移動方向に基づいて、前記所定領域を設定することを特徴としている。
【0018】
同構成(第六態様にかかる画像表示装置)によれば、所定部位の移動方向に基づいて装飾画像を表示する所定領域を設定することができるため、装飾画像を使用者の移動態様に応じて表示面に表示することができるようになる。
【0019】
本発明の第七態様は、第一態様〜第六態様にいずれかにかかる画像表示装置であって、前記使用者の前記所定部位が表示されている位置を(x´,y´)とすると、前記所定領域は、所定の定数であるwx,wy,vx,vy,w1,w2,w3,w4,A,B,CおよびDと、以下の数式とに基づいて設定されることを特徴としている。
X = (wx+vx)t+Asin(w1t)+Bsin(w2t)+x´
Y = (wy+vy)t+Ccos(w3t)+Dcos(w4t)+y´
【発明の効果】
【0020】
本発明によれば、表示面の前方に位置する通行人と関連があり、通行人の興味を引き付けることができる画像を表示する画像表示装置を提供することができる。
【図面の簡単な説明】
【0021】
【図1】(a)は、本発明の第一実施形態にかかる画像表示装置の概略構成図、(b)は、同実施形態にかかる所定部位検出処理を説明するための説明図。
【図2】同実施形態にかかる表示画像の処理方法を示すフローチャート。
【図3】同実施形態にかかる所定部位検出処理の処理手順を示すフローチャート。
【図4】同実施形態にかかる画像表示処理の処理手順を示すフローチャート。
【図5】(a)は、同実施形態にかかる表示画像が表示される画像表示装置の概略構成図、(b)は、同実施形態にかかる表示画像の一例を示すディスプレイの表示画面図。
【図6】(a)は、他の実施形態にかかる所定部位検出処理を説明するための説明図、(b)は、同実施形態にかかる表示画像が表示される画像表示装置の概略構成図。
【図7】本発明の第二実施形態にかかる表示画像の処理方法を示すフローチャート。
【図8】(a)は、同実施形態にかかる画像表示装置および使用者を示す概略図、(b)は、同実施形態にかかる位置検出処理を説明するための説明図。
【図9】同実施形態にかかる位置検出処理の処理手順を示すフローチャート。
【図10】(a)〜(d)は、本発明の第三実施形態にかかる初期速度vx,vyの算出方法を説明するための説明図。
【図11】(a)は、本発明の第四実施形態にかかる画像表示装置の概略構成図、(b)は、同実施形態にかかる所定部位検出処理を説明するための説明図。
【図12】同実施形態にかかる表示画像の処理方法を示すフローチャート。
【図13】同実施形態にかかる距離判断処理の処理手順を示すフローチャート。
【図14】同実施形態にかかる所定部位検出処理の処理手順を示すフローチャート。
【図15】同実施形態にかかる表示画像が表示される画像表示装置の概略構成図。
【図16】(a)は、他の実施形態にかかる所定部位検出処理を説明するための説明図、(b)は、同実施形態にかかる表示画像が表示される画像表示装置の概略構成図。
【図17】第五実施形態にかかる表示画像の処理方法を示すフローチャート。
【図18】同実施形態にかかる所定部位検出処理の処理手順を示すフローチャート。
【図19】同実施形態にかかる表示画像が表示される画像表示装置の概略構成図。
【図20】(a)は、他の実施形態にかかる所定部位検出処理を説明するための説明図、(b)は、同実施形態にかかる表示画像が表示される画像表示装置の概略構成図。
【図21】(a)は、本発明の第六実施形態にかかる画像表示装置の概略構成図、(b)は、同実施形態にかかる所定部位検出処理を説明するための説明図。
【図22】同実施形態にかかる所定部位検出処理の処理手順を示すフローチャート。
【図23】同実施形態にかかる表示画像が表示される画像表示装置の概略構成図。
【図24】(a)は、他の実施形態にかかる所定部位検出処理を説明するための説明図、(b)は、同実施形態にかかる表示画像が表示される画像表示装置の概略構成図。
【図25】第七実施形態にかかる画像表示処理の処理手順を説明するフローチャート。
【図26】(a)〜(d)は、同実施形態にかかる初期速度vx,vyの算出方法を説明するための説明図。
【図27】(a)および(b)は、同実施形態にかかる表示画像の一例を示すディスプレイの表示画面図。
【図28】他の実施形態にかかる画像表示装置の概略構成図。
【図29】他の実施形態にかかる画像表示装置の概略構成図。
【発明を実施するための形態】
【0022】
(第一実施形態)
以下、本発明を具体化した第一実施形態を図1〜図5に基づいて説明する。
まず、図1(a)を参照しながら、本実施形態にかかる画像表示装置1の概略構成について説明する。
【0023】
同図1(a)に示されるように、画像表示装置1は、カメラ2(本発明の「撮像手段」に相当)と、このカメラ2に接続されるパーソナルコンピュータとしてのPC3(本発明の「制御手段」および「表示手段」に相当)と、このPC3に接続されるディスプレイ4(本発明の「表示面」に相当)とを備えている。これらカメラ2およびディスプレイ4は、前方を通行人(以下、「使用者」)が多く通る乗り物や店舗等に設置されることが好ましい。
【0024】
カメラ2は、ディスプレイ4の中央上部に配設され、ディスプレイ4前方を撮像する。
ここで、カメラ2の撮像範囲は、ディスプレイ4前方に起立した使用者20の全身が収まる範囲であればよい。
【0025】
なお、カメラ2とPC3との接続方法、およびPC3とディスプレイ4との接続方法は、特に限定されるものではなく、例えば、有線方式や無線方式のネットワークを介して接続されていてもよい。
【0026】
このように構成された画像表示装置1において、カメラ2にて撮像されたディスプレイ4前方の画像(以下、「撮像画像」)の画像情報は、PC3に出力される。なお、カメラ2は、ディスプレイ4前方を1秒間に5〜30回のうち任意の回数撮像する。撮像画像の撮像回数が1秒間に5回未満であると、使用者20の動きを適切に捉えることが困難となる。一方、撮像画像の撮像回数が1秒間に30回を超えると、PC3が処理すべき画像量が多くなりすぎてしまう。
【0027】
PC3は、この撮像画像上に、図1(b)に示されるように、横方向をX軸、当該横方向に垂直な方向をY軸、左下端を(0,0)、右上端を(W,H)とする座標を設定する。そして、この座標が設定された撮像画像上に装飾画像を重畳してこれを表示画像とし、この表示画像の画像情報をディスプレイ4に出力する。以下、詳細に説明する。
【0028】
まず、図2を参照しながら、本実施形態における表示画像の処理方法について説明する。同図2に示されるように、本処理が開始されると、まず、PC3は、所定部位検出処理を実行する(ステップS100)。そして、検出した所定部位を起点として設定する領域に装飾画像を表示する画像表示処理(ステップS101)を実行する。
【0029】
以下、これら所定部位検出処理および画像表示処理について詳細に説明する。
まず、所定部位検出処理について、図3を参照しながら詳細に説明する。
同図3に示されるように、本処理が開始されると、まず、PC3はカメラ2から撮像画像の画像情報を取得し(ステップS200)、この撮像画像に対して白と黒の二階調に変換する二値化処理を施す(ステップS201)。
【0030】
そして、この二値化処理を施した撮像画像に対して差分処理を実行する(ステップS202)。具体的には、前回の制御周期でカメラ2から取得して二値化処理を施した撮像画像と、今回の制御周期でカメラ2から取得して二値化処理を施した撮像画像との間で差分画像を生成する。前回の制御周期で取得した撮像画像と今回の制御周期で取得した撮像画像との間に変化分が存在する場合、差分画像において当該変化分が位置する座標には白画素が表示される。
【0031】
次に、PC3は、今回の制御周期でカメラ2から取得して二値化処理を施した撮像画像を保存する(ステップS203)。そして、PC3は、差分画像において、座標f(x,y)の階調値が基準値C以上であるか否かを判断する(ステップS204)。なお、基準値Cは「200」以上の値に設定されていることが好ましく、「250」以上の値に設定されていることが更に好ましい。本実施形態では、所定部位の安定検出という目的から、「255」に予め設定されている。
【0032】
座標f(x,y)の階調値が基準値C以上であると判断する場合(ステップS204;YES)、座標f(x,y)には白画素が表示されている。すなわち前回の制御周期で取得した撮像画像の座標f(x,y)に表示されている画像と今回の制御周期で取得した撮像画像の座標f(x,y)に表示されている画像とは異なっている。
【0033】
本実施形態では、このような変化分は、ディスプレイ4前方に起立した使用者20が動いたことに起因して生じたものであるとして、座標f(x,y)に所定部位が位置していると判断する。そこで、座標f(x,y)を動きの検出点とする(ステップS209)。
【0034】
これに対して、座標f(x,y)の階調値が基準値C未満であると判断する場合(ステップS204;NO)、座標f(x,y)のx座標値をインクリメント(x=x+1)する(ステップS205)。そして、座標f(x,y)のx座標値が、所定値W(撮像画像に設定されたx座標の右端の値)以上であるか否かを判断する(ステップS206)。
【0035】
座標f(x,y)のx座標値が所定値W未満であると判断する場合(ステップS206;NO)、ステップS204およびS205の処理を繰り返す。
一方、座標f(x,y)のx座標値が所定値W以上であると判断する場合(ステップS206;YES)、座標f(x,y)のy座標値をインクリメント(y=y+1)して(ステップS207)、座標f(x,y)のy座標値が、所定値H(撮像画像に設定されたy座標の上端の値)以上であるか否かを判断する(ステップS208)。
【0036】
座標f(x,y)のy座標値が所定値H未満であると判断する場合(ステップS208;NO)、ステップS204〜S207の処理を繰り返す。
一方、座標f(x,y)のy座標値が所定値H以上であると判断する場合(ステップS208;YES)、および上述したように座標f(x,y)を動きの検出点とした後(ステップS209)、座標f(x,y)のx座標値およびy座標値をそれぞれx=「0」,y=「0」として(ステップS210)、この所定部位検出処理を一旦終了する。
【0037】
次に、画像表示処理について、図4を参照しながら詳細に説明する。
同図4に示されるように、本処理が開始されると、まず、PC3は初期速度vx,vyを設定する(ステップS300)。
なお、初期速度vxは装飾画像のx軸方向における最初の移動速度、初期速度vyは装飾画像のy軸方向における最初の移動速度である。これら初期速度vx,vyは、予め所定の値に設定してもよいし、本処理の開始毎に異なる値に設定してもよい。本実施形態では、予め所定の値に設定されている。
【0038】
次に、PC3は、初期速度vxが「0」以上であるか否かを判断する(ステップS301)。初期速度vxが「0」以上であると判断する場合(ステップS301;YES)、初期速度vxを式(1)に基づいて補正する(ステップS302)。ここで、減速速度Vxは、予め所定の値に設定してもよいし、所定部位の動く速度等に応じて設定してもよい。
vx=vx−Vx…(1)
一方、初期速度vxが「0」未満であると判断する場合(ステップS301;NO)、初期速度vx=「0」とする(ステップS303)。
【0039】
そして、PC3は、初期速度vyが「0」以上であるか否かを判断する(ステップS304)。初期速度vyが「0」以上であると判断する場合(ステップS304;YES)、初期速度vyを式(2)に基づいて補正する(ステップS305)。ここで、減速速度Vyは、予め所定の値に設定してもよいし、所定部位の動く速度等に応じて設定してもよい。本実施形態では、減速速度Vx,Vyは、予め所定の値に定められている。
vy=vy−Vy…(2)
このように初期速度vx,vyを補正することで、装飾画像がx軸方向およびy軸方向に減速しながら移動するように表示することができる。
一方、初期速度vyが「0」未満であると判断する場合(ステップS304;NO)、初期速度vx=「0」とする(ステップS306)。
【0040】
次に、装飾画像を表示する座標g(x,y)を以下の式(3)および(4)を用いて算出する(ステップS307)。なお、この座標計算においては、検出した所定部位の位置する座標f(x,y)のx座標値およびy座標値をそれぞれ「x´」,「y´」とする。
x=(wx+vx)t+Asin(ω1t)+Bsin(ω2t)+x´…(3)
y=(wy+vy)t+Ccos(ω3t)+Dcos(ω4t)+y´…(4)
なお、角速度ω1,ω2,ω3,ω4、および定数A,B,C,Dは、実験等を通じて予め定められた所定の値である。また、時間tは、本画像表示処理が開始されたときからカウントを開始する。
【0041】
本実施形態では、装飾画像が、主にx軸方向に吹く風によってx軸方向に流れるように表示する。そこで、それぞれx軸方向、y軸方向に流れる風を風速wx,wyとして式(3)および(4)に組み込んでいる。なお、風速wx,wyは、予め定められた所定の速度としてもよいし、本処理の開始毎に異なる値に設定してもよい。
本実施形態では、風速wx,wyを予め所定の値に設定している。そして、風速wxを風速wyよりも大きい値に設定している。
【0042】
PC3は、式(3)および(4)に基づいて算出した座標g(x,y)に装飾画像を表示し(ステップS308)、表示回数nをインクリメント(n=n+1)する(ステップS309)。
【0043】
次に、表示回数nが所定回数N以上であるか否かを判断する(ステップS310)。表示回数nが所定回数N未満であると判断する場合(ステップS310;NO)、ステップS301以降の処理を繰り返す。一方、表示回数nが所定回数N以上であると判断する場合(ステップS310;YES)、表示回数n=「0」とし(ステップS311)、この処理を一旦終了する。なお、所定回数Nは1秒間のうち、装飾画像を表示する座標g(x,y)を算出する回数であり、5〜30回に設定されることが好ましく、15〜30回に設定されることがより好ましい。
【0044】
図5(a)に、上述した処理を通じて算出した座標に表示画像を表示した画像表示装置1を示す。また、同図5(b)に、上述した処理を通じて表示画像を表示したディスプレイ4の表示画面図を示す。
【0045】
同図5(b)に示されるように、装飾画像は、使用者20の足部が表示される位置から主にx軸方向に移動するように表示される。なお、同図5(b)には、画像表示処理が開始されてから終了するまでの間に表示される全ての装飾画像を記載している。実際には、装飾画像は、まず使用者20の所定部位(本実施形態においては、足部)が表示される位置と同じ位置に表示される。そして、この所定部位が表示されている位置を起点として、時間の経過とともに使用者20の所定部位が表示されている位置から離れるように移動する。
このように、本実施形態において、装飾画像は、同図5(a)に示されるように使用者20の所定部位を起点とする領域Aに示されることとなる。
【0046】
上記実施形態によれば、以下に記載する作用効果を奏することができる。
(1)本実施形態では、PC3は、撮像時刻の異なるふたつの撮像画像の間の変化分に基づいて使用者20の所定部位が表示されている位置を検出するため、撮像画像に表示されたもののうちディスプレイ4前方で動くもの、すなわち使用者20を適切に検出することができる。このため、撮像画像において使用者20の所定部位が表示されている位置を適切に検出することができる。
【0047】
(2)また、ディスプレイ4には、ディスプレイ4前方の画像および使用者20の画像とともに、装飾画像が使用者20の所定部位が表示されている位置を起点として表示される。このように、本実施形態によれば、使用者20と関連がある部位に装飾画像を表示することができるため、使用者である通行人の興味を引き付けることができる画像をディスプレイ4に表示することができる。
【0048】
(3)また、所定部位が表示されている位置を起点として所定領域を設定するようにしているため、装飾画像は、所定部位が表示されている位置から他の位置に移動するように表示される。このように、所定部位が表示されている位置を起点として他の位置に移動するように装飾画像が表示されるため、使用者である好適に通行人の興味を好適に引き付けることができる画像をディスプレイに表示することができるようになる。
【0049】
(その他の実施形態)
以下、本発明を具体化したその他の実施形態を上記第一実施形態と異なる点を中心に図6に基づいて説明する。なお、図6において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0050】
同図6(a)に示されるように、本実施形態の画像表示装置1は、撮像画像上に、横方向をX軸、当該横方向に垂直な方向をY軸とし、左上端を原点(0,0)、右下端を(W,H)とする座標を設定する。
【0051】
本実施形態にかかる画像表示装置1では、PC3は、図6(b)に示されるように、使用者20の最上部(ここでは、頭頂部)が表示される座標を所定部位が表示される座標として認識し、この座標を起点として主にx軸方向に流れるように装飾画像を表示することとなる。
【0052】
上記実施形態によれば、上記実施形態にて説明した作用効果に加えて、以下に記載する作用効果を奏することができる。
(4)本実施形態によれば、使用者20の注意をひきやすい部位である頭頂部を起点として装飾画像を表示することができる。このため、通行人の興味をより好適に引き付けることができる画像を表示することができる。
【0053】
(第二実施形態)
以下、本発明を具体化した第二実施形態を上記第一実施形態と異なる点を中心に図7〜図9に基づいて説明する。なお、これら図7〜図9において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0054】
本実施形態では、使用者20がディスプレイ4前方に位置しているか否かを判断する。そして、使用者20がディスプレイ4から所定の範囲に位置する場合にのみ、当該使用者20の所定部位を検出する所定部位検出処理を実行する。
【0055】
なお、本実施形態では、第一実施形態にて説明したように、PC3は、撮像画像上に、横方向をX軸、当該横方向に垂直な方向をY軸とし、同撮像画像の左上端を原点(0,0)、同撮像画像の右下端を(W,H)とする座標を設定する。また、本実施形態における所定部位検出処理の処理内容、および全体の画像処理方法は、第一実施形態にて説明した処理内容と同一であるため、詳細な説明は割愛する。
【0056】
図7に示されるように、本実施形態では、PC3は、所定部位検出処理を実行した(ステップS400)後、使用者20がディスプレイ4前方に位置しているか否かを判断し(ステップS401)、使用者20がディスプレイ4前方に使用者20が位置していないと判断する場合(ステップS401;NO)、所定部位検出処理(ステップS400)を再度実行する。一方、使用者20がディスプレイ4前方に位置していると判断する場合(ステップS401;YES)、画像表示処理を実行する(ステップS402)。
【0057】
次に、使用者20が所定の範囲に位置するか否かを判断する位置検出処理について、図8および図9を参照しながら説明する。ここで、「所定の範囲」とは、ディスプレイ4前方のうちディスプレイ4上に配設されたカメラ2にて撮像される範囲を撮像範囲とすると、当該撮像範囲において当該ディスプレイ4と使用者との間の距離が距離D未満となる範囲を示す。
【0058】
本実施形態では、使用者20がディスプレイ4から所定の範囲に位置していることをもって、使用者20がディスプレイ4前方に位置していると判断するようにしている。なお、以下の説明においては、ディスプレイ4から所定の範囲に位置している使用者を「使用者20」、ディスプレイ4から所定の範囲に位置していない使用者を「使用者23」として表示する。
【0059】
また、カメラ2は、ディスプレイ4の中央上部に配設されているため、カメラ2と使用者20,23と間の距離は、ディスプレイ4と使用者20,23との距離と略等しい。このため、本実施形態では、カメラ2を通じて撮像された撮像画像を用いて使用者20,23とディスプレイ4との間の距離を算出する。
【0060】
上述したように、本実施形態では、カメラ2を、ディスプレイ4前方に位置した使用者20の全身を撮像することができる位置に配設している。このため、カメラ2を通じて撮像される撮像画像の下部には床面Fが表示されるとともに、当該撮像画像の上部には床面F上の空間が表示される。さらに、同図8(b)に示されるように、撮像画像において床面Fが表示される上限(例えば、地平線が表示される位置や、室内の床面端部が表示される位置)のy座標値を「F1」とすると、0≦y≦F1となる範囲においては、y座標値が大きくなるほどディスプレイ4から離れた箇所の床面が表示されることとなる。
【0061】
本実施形態では、撮像画像において、0≦y≦F1となる範囲のうち、ディスプレイ4から所定の距離D(図8(a)参照)にある床面が表示される位置「Y1」までの領域(0≦y<Y1)を下領域とし、この下領域以外の領域(Y1≦y≦H)を上領域とする。所定の範囲は、予め設定されていてもよいし、設置場所等に応じて都度設定するようにしてもよい。なお、本実施形態における「Y1」は本発明の「仮想区画線」に相当する。
【0062】
図8(a)および(b)に示されるように、使用者20がディスプレイ4から所定の範囲に位置する場合、使用者20の足部21、およびこの足部21から上部に向けて延びる下肢22は上述した下領域に表示される。このため、所定の範囲を使用者20が歩くと、当該使用者20の足部21が下領域で検出されるとともに、当該使用者20の下肢22が足部21から延びる態様で連続して検出される。
これに対して、使用者23のように、所定の範囲に位置しない場合は、同図8(b)に示されるように、上領域にのみ表示される。
【0063】
そこで、本実施形態では、第一実施形態にて説明した所定部位検出処理を通じて階調値が基準値C以上である座標f(x,y)を検出すると、同図8(b)に示されるように、この座標f(x,y)から座標f(x+n,Y1)までy軸方向に連続して白画素が表示されているか否かを判断する。そして、座標f(x,y)から座標f(x+n,Y1)までy軸方向に連続して白画素が表示されていると判断したことをもって、所定の範囲に使用者20が位置していると判断する。なお、「n」は、使用者20が一般的な速度でディスプレイ4前方を移動したときに、差分画像に表示される白画素の領域のX軸方向の幅よりも若干小さい値に予め設定している。具体的には、「n」は、5〜20ピクセルの範囲に設定されることが好ましく、5〜10ピクセルの範囲に設定されることがより好ましい。
【0064】
次に、この位置検出処理の処理手順について、図9を参照しながら詳細に説明する。
なお、PC3は、上述した所定部位検出処理を通じて、下領域に階調値が基準値C以上である座標f(x,y)を検出したことをもってこの位置検出処理を開始する。
【0065】
同図9に示されるように、この位置検出処理が開始されると、まず、座標f(x,y)のy座標値をインクリメント(y=y+1)する(ステップS410)。
次に、座標f(x,y)、座標f(x+1,y)、座標f(x+2,y)・・・座標f(x+n,y)の階調値が全て基準値C以上であるか否かを判断する(ステップS411)。
【0066】
座標f(x,y)、座標f(x+1,y)、座標f(x+2,y)・・・座標f(x+n,y)の階調値が全て基準値C以上であると判断する場合(ステップS411;YES)、次に座標f(x,y)のy座標値が「Y1」以上であるか否かを判断する(ステップS412)。
【0067】
座標f(x,y)のy座標値が「Y1」未満であると判断する場合(ステップS412;NO)、ステップS410およびステップS411の処理を繰り返す。
一方、座標f(x,y)のy座標値が「Y1」以上であると判断する場合(ステップS412;YES)、使用者20がディスプレイ4から所定の範囲に位置していると判断する(ステップS413)。すなわち、この場合は、座標f(x,y)から座標f(x+n,Y1)までy軸方向に連続して白画素を検出したため、使用者20が所定の範囲に位置していると判断する(ステップS413)。
【0068】
これに対して、座標f(x,y)、座標f(x+1,y)、座標f(x+2,y)・・・座標f(x+n,y)の階調値のうちいずれかが基準値C未満であると判断する場合(ステップS411;NO)、この処理を一旦終了する。この場合は、所定の範囲に使用者20が位置していないと判断する。
【0069】
上記実施形態によれば、上記実施形態にて説明した作用効果に加えて、以下に記載する作用効果を奏することができる。
(5)本実施形態によれば、使用者20が所定の範囲に位置していることをもって画像表示処理を実行するため、使用者20が所定の範囲に位置していないときに画像表示処理が実行されることを抑制することができる。
【0070】
(第三実施形態)
以下、本発明を具体化した第三実施形態を上記第一実施形態と異なる点を中心に図10に基づいて説明する。なお、これら図10において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0071】
上記第一実施形態では、初期速度vx,vyを予め所定の速度に設定した。これに対して、本実施形態では、使用者20が動く速度、すなわち白画素が表示される領域の大きさに基づいて初期速度vx,vyを設定する。以下、本実施形態における初期速度vx,vyの設定方法について、図10(a)〜(d)を参照しながら詳細に説明する。
【0072】
なお、本実施形態では、第一実施形態にて説明したように、PC3は、撮像画像上に、横方向をX軸、当該横方向に垂直な方向をY軸とし、同撮像画像の左上端を原点(0,0)、同撮像画像の右下端を(W,H)とする座標を設定する。
また、本実施形態における所定部位検出処理の処理内容、および全体の画像処理方法は、第一実施形態にて説明した処理内容と同一であるため、詳細な説明は割愛する。
【0073】
同図10(a)には、使用者20がディスプレイ4前方をゆっくりと移動する場合に、前回の制御周期でカメラ2にて撮像され、撮像画像に表示された使用者20をX1にて示すとともに、今回の制御周期でカメラ2にて撮像され、撮像画像に表示された使用者20をX2にて示す。
同図10(b)には、同図10(a)に示した撮像画像に基づいて生成される差分画像を示す。同差分画像において、ハッチングで示される領域には白画素が表示されている。
【0074】
同図10(c)には、使用者20がディスプレイ4前方を速い速度で移動する場合に、前回の制御周期でカメラ2にて撮像され、撮像画像に表示された使用者20をX1にて示すとともに、今回の制御周期でカメラ2にて撮像され、撮像画像に表示された使用者20をX2にて示す。
同図10(d)には、同図10(c)に示した撮像画像に基づいて生成される差分画像を示す。同差分画像において、ハッチングで示される領域には白画素が表示されている。
【0075】
同図10(b)および(d)に示されるように、使用者20がディスプレイ4前方をゆっくりと移動する場合は、速い速度で移動する場合よりも白画素が表示される領域は小さくなる。
そこで、本実施形態では、この白画素が表示される領域に基づいて使用者20の動く速度を推定し、使用者20が速く動くときほど、初期速度vx,vyを大きい値に設定するようにしている。すなわち、白画素が表示される領域が大きいときほど、初期速度vx,vyを大きい値に設定するようにしている。
【0076】
上記実施形態によれば、上記各実施形態にて説明した作用効果に加えて、以下に記載する作用効果を奏することができる。
(7)本実施形態によれば、使用者20の動く速度に応じて初期速度vx,vyを設定するため、装飾画像を使用者20の移動態様に応じて表示することができる。このため、装飾画像をより使用者20と関連がある態様にて表示することができ、ひいては使用者である通行人の興味をより引き付けることができる画像を表示することができる。
【0077】
(第四実施形態)
以下、本発明を具体化した第四実施形態を上記第一実施形態と異なる点を中心に図11〜図15に基づいて説明する。なお、これら図11〜図15において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0078】
同図11(a)に示されるように、この第四実施形態の画像表示装置1は、ディスプレイ4(本発明の「表示面」に相当)の中央上部に配設される中央カメラ7(本発明の「撮像手段」に相当)に加えて、ディスプレイ4の片側上部に配設される端側カメラ8(本発明の「撮像手段」に相当)を備えている。
【0079】
中央カメラ7および端側カメラ8は、撮像範囲がディスプレイ4前方に起立した使用者20の全身が収まる範囲となるように配設されている。また、これら中央カメラ7および端側カメラ8は、所定回数(本実施形態では、1秒間に5〜30回のうちの任意の回数)ディスプレイ4前方を撮像して、それぞれPC3に出力している。
【0080】
図11(b)に示されるように、PC3は、この撮像画像上に横方向をX軸、当該横方向に垂直な方向をY軸、左下端を(0,0)、右上端を(W,H)とする座標を設定する。そして、この座標が設定された撮像画像上に装飾画像を重畳してこれを表示画像とし、この表示画像の画像情報をディスプレイ4に出力する。以下、詳細に説明する。
【0081】
次に、図12を参照しながら、本実施形態における画像処理方法について説明する。
同図12に示されるように、PC3(本発明の「表示手段」に相当)は、まず中央カメラ7および端側カメラ8から出力される画像情報に基づいて、使用者20とディスプレイ4との間の距離を算出し、使用者20が想定範囲に位置しているか否かを判断する距離判断処理を実行する(ステップS500)。そして、距離判断処理を終了した後、所定部位検出処理(ステップS501)、次に画像表示処理(ステップS502)を実行する。
【0082】
なお、本実施形態において、想定範囲とは、ディスプレイ4前方に起立した使用者20がディスプレイ4に充分な大きさをもって表示される範囲である。具体的には、ディスプレイ4前方のうちディスプレイ4上に配設された中央カメラ7および端側カメラ8にて撮像される範囲を撮像範囲とすると、当該撮像範囲において当該ディスプレイ4と使用者との間の距離が想定距離D1未満となる範囲を示す。想定距離D1は、予め設定されていてもよいし、設置場所等に応じて都度設定するようにしてもよい。
【0083】
次に、図13を参照しながら、距離D2を算出し、この距離D2が想定距離D1以上であるか否かを判断する距離判断処理について説明する。
同図12に示されるように、この距離判断処理が開始されると、まずPC3を用いて想定距離D1を設定する(ステップS600)。
【0084】
次に、PC3は、以下に説明するステップS601〜S610の処理と並行して、以下に説明するステップS611〜S620の処理を実行する。
まず、ステップS601〜S610の処理について説明する。上述したように、想定距離D1を設定した(ステップS600)後、PC3は中央カメラ7が撮像した撮像画像(中央画像)の画像情報を取得する(ステップS601)。そして、この撮像画像に対して白と黒の二階調に変換する二値化処理を施す(ステップS602)。
【0085】
そして、前回の制御周期で中央カメラ7から取得して二値化処理を施した撮像画像と、今回の制御周期で中央カメラ7から取得して二値化処理を施した撮像画像との差分画像を生成する(ステップS603)。第一実施形態にて説明したように、前回の制御周期で取得した撮像画像と今回の制御周期で取得した撮像画像との間に変化分が存在する場合、差分画像において当該変化分が位置する座標は白画素で表示される。
【0086】
次に、今回の制御周期で中央カメラ7から取得して二値化処理を施した撮像画像を保存する(ステップS604)。そして、PC3は、差分画像の座標f(x1,y1)の階調値が基準値C以上であるか否かを判断する(ステップS605)。
【0087】
座標f(x1,y1)の階調値が基準値C以上であると判断する場合(ステップS605;YES)、上述したように座標f(x1,y1)を動きの検出点とする(ステップS610)。
【0088】
これに対して、座標f(x1,y1)の階調値が基準値C未満であると判断する場合(ステップS605;NO)、座標f(x1,y1)のx座標値をインクリメント(x1=x1+1)する(ステップS606)。そして、座標f(x1,y1)のx座標値が所定値W以上であるか否かを判断する(ステップS607)。
【0089】
座標f(x1,y1)のx座標値が所定値W未満であると判断する場合(ステップS607;NO)、ステップS605およびS606の処理を繰り返す。
一方、座標f(x1,y1)のx座標値が所定値W以上であると判断する場合(ステップS607;YES)、y座標値をインクリメント(y1=y1+1)し(ステップS608)、座標f(x1,y1)のy座標値が所定値H以上であるか否かを判断する(ステップS609)。
【0090】
座標f(x1,y1)のy座標値が所定値H未満であると判断する場合(ステップS609;NO)、ステップS605〜S608の処理を繰り返す。
【0091】
次に、ステップS611〜S620の処理について説明する。上述したように、想定距離D1を設定した(ステップS600)後、PC3は端側カメラ8が撮像した撮像画像(端側画像)の画像情報を取得する(ステップS611)。そして、この撮像画像に対して白と黒の二階調に変換する二値化処理を施す(ステップS612)。
【0092】
そして、前回の制御周期で端側カメラ8から取得して二値化処理を施した撮像画像と、今回の制御周期で端側カメラ8から取得して二値化処理を施した撮像画像との差分画像を生成する(ステップS613)。
次に、今回の制御周期で端側カメラ8から取得して二値化処理を施した撮像画像を保存する(ステップS614)。そして、PC3は、差分画像の座標f(x2,y2)の階調値が基準値C以上であるか否かを判断する(ステップS615)。
【0093】
座標f(x2,y2)の階調値が基準値C以上であると判断する場合(ステップS615;YES)、その座標f(x2,y2)を動きの検出点とする(ステップS620)。
【0094】
これに対して、座標f(x2,y2)の階調値が基準値C未満であると判断する場合(ステップS615;NO)、座標f(x2,y2)のx座標値をインクリメント(x2=x2+1)する(ステップS616)。そして、座標f(x2,y2)のx座標値が所定値W以上であるか否かを判断する(ステップS617)。
【0095】
座標f(x2,y2)のx座標値が所定値W未満であると判断する場合(ステップS617;NO)、ステップS615およびS616の処理を繰り返す。
一方、座標f(x2,y2)のx座標値が所定値W以上であると判断する場合(ステップS617;YES)、座標f(x2,y2)y座標値をインクリメント(y2=y2+1)し(ステップS618)、座標f(x2,y2)のy座標値が所定値H以上であるか否かを判断する(ステップS619)。
【0096】
座標f(x2,y2)のy座標値が所定値H未満であると判断する場合(ステップS619;NO)、ステップS615〜S618の処理を繰り返す。
【0097】
これに対して、座標f(x1,y1)のy座標値が所定値H以上であると判断する場合(ステップS609;YES)、および座標f(x2,y2)のy座標値が所定値H以上であると判断する場合(ステップS619;YES)、PC3は、座標f(x1,y1)および座標f(x2,y2)に基づいて、使用者20とディスプレイ4との間の距離D2を算出する(ステップS621)。そして、想定距離D1がこの距離D2以上であるか否かを判断する(ステップS622)。
【0098】
想定距離D1が距離D2以上であると判断する場合(ステップS622;YES)、座標f(x1,y1)および座標f(x2,y2)のx座標値およびy座標値をそれぞれx1=「0」,y1=「0」,x2=「0」,y2=「0」とし(ステップS623)、この処理を一旦終了する。
一方、想定距離D1が距離D2未満であると判断する場合(ステップS622;NO)、S601以降の処理およびS611以降の処理を再び実行する。このように、本距離判断処理では、想定距離D1が距離D2未満である場合、すなわち使用者20が想定距離D1に位置してないと判断する場合は、本処理を繰り返し実行して本処理を終了しないようにしている。
【0099】
次に、図14を参照しながら、本実施形態にかかる所定部位検出処理について詳細に説明する。
同図14に示されるように、PC3は、以下に説明するステップS700〜S709の処理と並行して、以下に説明するステップS710〜S719の処理を実行する。
【0100】
まず、ステップS700〜S709の処理について説明する。まず、PC3は中央カメラ7が撮像した撮像画像(中央画像)の画像情報を取得する(ステップS700)。そして、この撮像画像に対して白と黒の二階調に変換する二値化処理を施し(ステップS701)、この二値化処理を施した撮像画像に対して差分処理を実行する(ステップS702)。
【0101】
次に、今回の制御周期で中央カメラ7から取得して二値化処理を施した撮像画像を保存する(ステップS703)。そして、PC3は、差分画像の座標f(x1,y1)の階調値が基準値C以上であるか否かを判断する(ステップS704)。
【0102】
座標f(x1,y1)の階調値が基準値C以上であると判断する場合(ステップS704;YES)、その座標f(x1,y1)を動きの検出点とする(ステップS709)。
【0103】
これに対して、座標f(x1,y1)の階調値が基準値C未満であると判断する場合(ステップS704;NO)、座標f(x1,y1)のx座標値をインクリメント(x1=x1+1)する(ステップS705)。そして、座標f(x1,y1)のx座標値が所定値W以上であるか否かを判断する(ステップS706)。
【0104】
座標f(x1,y1)のx座標値が所定値W未満であると判断する場合(ステップS706;NO)、ステップS704およびS705の処理を繰り返す。
一方、座標f(x1,y1)のx座標値が所定値W以上であると判断する場合(ステップS706;YES)、y座標値をインクリメント(y1=y1+1)し(ステップS707)、座標f(x1,y1)のy座標値が所定値H以上であるか否かを判断する(ステップS708)。
【0105】
座標f(x1,y1)のy座標値が所定値H未満であると判断する場合(ステップS708;NO)、ステップS704〜S707の処理を繰り返す。
【0106】
次に、ステップS710〜S719の処理について説明する。まず、PC3は端側カメラ8が撮像した撮像画像(端側画像)の画像情報を取得する(ステップS710)。そして、この撮像画像に対して白と黒の二階調に変換する二値化処理を施す(ステップS711)、この二値化処理を施した撮像画像に対して差分処理を実行する(ステップS712)。
【0107】
次に、今回の制御周期で端側カメラ8から取得して二値化処理を施した撮像画像を保存する(ステップS713)。そして、PC3は、差分画像の座標f(x2,y2)の階調値が基準値C以上であるか否かを判断する(ステップS714)。
【0108】
座標f(x2,y2)の階調値が基準値C以上であると判断する場合(ステップS714;YES)、その座標f(x2,y2)を動きの検出点とする(ステップS719)。
【0109】
これに対して、座標f(x2,y2)の階調値が基準値C未満であると判断する場合(ステップS714;NO)、座標f(x2,y2)のx座標値をインクリメント(x2=x2+1)する(ステップS715)。そして、座標f(x2,y2)のx座標値が所定値W以上であるか否かを判断する(ステップS716)。
【0110】
座標f(x2,y2)のx座標値が所定値W未満であると判断する場合(ステップS716;NO)、ステップS714およびS715の処理を繰り返す。
一方、座標f(x2,y2)のx座標値が所定値W以上であると判断する場合(ステップS716;YES)、y座標値をインクリメント(y2=y2+1)する(ステップS717)。そして、座標f(x2,y2)のy座標値が所定値H以上であるか否かを判断する(ステップS718)。
【0111】
座標f(x2,y2)のy座標値が所定値H未満であると判断する場合(ステップS718;NO)、ステップS714〜S717の処理を繰り返す。
【0112】
座標f(x1,y1)のy座標値が所定値H以上であると判断する場合(ステップS708;YES)、および座標f(x2,y2)のy座標値が所定値H以上であると判断する場合(ステップS718;YES)、PC3は、座標f(x1,y1)および座標f(x2,y2)に基づいて、使用者20とディスプレイ4との間の距離D2を算出する(ステップS720)。そして、座標f(x1,y1)および座標f(x2,y2)のx座標値およびy座標値をそれぞれx1=「0」,y1=「0」,x2=「0」,y2=「0」として(ステップS721)、この処理を終了する。
【0113】
図12に示されるように、PC3は、これら距離判断処理および所定部位検出処理を終了した後、次にディスプレイ4に画像を表示する画像表示処理を実行する(ステップS502)。なお、この画像表示処理の処理内容は、第一実施形態にて説明した画像表示処理と同一であるため、詳細な説明は割愛する。
【0114】
図15に、上述した処理を通じて表示画像が表示されるディスプレイ4を示す。
同図15に示される領域Aにおいて、装飾画像は、使用者20の足部が表示される位置から主にx軸方向に移動するように表示される。なお、同図15には、画像表示処理が開始されてから終了するまでの間において、装飾画像が表示される全ての領域を記載している。実際には、装飾画像は、まず使用者20の所定部位(本実施形態においては、足部)が表示される位置と同じ位置に表示される。そして、この所定部位が表示されている位置を起点として、時間の経過とともに使用者20の所定部位が表示されている位置から離れるように移動する。
【0115】
また、同図15に示されるように、PC3は、想定範囲に位置する使用者20の所定部位を起点とする領域のみに装飾画像を表示する。すなわち、想定範囲に位置しない使用者23の所定部位を起点とする領域に装飾画像を表示することはない。
【0116】
上記実施形態によれば、上記各実施形態にて説明した作用効果に加えて、以下に記載する作用効果を奏することができる。
(6)本実施形態によれば、複数のカメラ7,8を用いるようにしているため、使用者20とディスプレイ4との間の距離D2をより正確に算出することができる。
【0117】
(その他の実施形態)
以下、本発明を具体化したその他の実施形態を上記第四実施形態と異なる点を中心に図16に基づいて説明する。なお、図16において、第四実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0118】
同図16(a)に示されるように、本実施形態の画像表示装置1は、表示画像上に、横方向をX軸、当該横方向に垂直な方向をY軸とし、左上端を原点(0,0)、右下端を(W,H)とする座標を設定する。
【0119】
本実施形態にかかる画像表示装置1では、PC3は、図16(b)に示されるように、想定範囲に位置する使用者20の最上部(ここでは、頭頂部)を所定部位として認識し、この頭頂部を起点として装飾画像を表示する。
また、第四実施形態にて説明したように、PC3は、想定範囲に位置しない使用者23の所定部位を起点とする領域には、装飾画像を表示しない。
本実施形態によれば、上記実施形態で説明した作用効果に準じた作用効果を奏することができるようになる。
【0120】
(第五実施形態)
以下、本発明を具体化した第五実施形態を上記第一実施形態と異なる点を中心に図17〜図19に基づいて説明する。なお、これら図17〜図19において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0121】
上記第一実施形態では、白画素で表示される座標f(x,y)を1個だけ検出するようにした。これに対して、本実施形態では、白画素で表示される座標をn個検出する。
【0122】
次に、図17を参照しながら、本実施形態における画像処理方法について説明する。
同図17に示されるように、本実施形態では、PC3は、まず所定部位検出処理を実行し(ステップS800)、次に画像表示処理を実行する(ステップS801)。
【0123】
次に、図18を参照しながら、本実施形態にかかる所定部位検出処理について詳細に説明する。
同図18に示されるように、本処理が開始されると、まず、PC3はカメラ2が撮像した撮像画像の画像情報を取得する(ステップS900)。次に、PC3は、この撮像画像に対して白と黒の二階調に変換する二値化処理を施し(ステップS901)、この二値化処理を施した撮像画像に対して差分処理を実行する(ステップS902)。
【0124】
次に、PC3は、今回の制御周期でカメラ2から取得して二値化処理を施した撮像画像を保存する(ステップS903)。そして、PC3は、差分画像の座標f(x,y)の階調値が基準値C以上であるか否かを判断する(ステップS904)。
【0125】
座標f(x,y)の階調値が基準値C以上であると判断する場合(ステップS904;YES)、個数nの値をインクリメント(n=n+1)する(ステップS905)。そして、座標f(x,y)をn個目の動きの検出点として記憶する(ステップS906)。
【0126】
座標f(x,y)をn個目の動きの検出点とした(ステップS906)後、もしくはステップS904にて座標f(x,y)の階調値が基準値C未満であると判断する場合(ステップS904;NO)、座標f(x,y)のx座標値をインクリメント(x=x+1)する(ステップS907)。そして、座標f(x,y)のx座標値が所定値W以上であるか否かを判断する(ステップS908)。
【0127】
座標f(x,y)のx座標値が所定値W未満であると判断する場合(ステップS908;NO)、ステップS904〜S907の処理を繰り返す。
一方、座標f(x,y)のx座標値が所定値W以上であると判断する場合(ステップS908;YES)、y座標値をインクリメント(y=y+1)し(ステップS909)、座標f(x,y)のy座標値が所定値H以上であるか否かを判断する(ステップS910)。
【0128】
座標f(x,y)のy座標値が所定値H未満であると判断する場合(ステップS910;NO)、ステップS904〜S909の処理を繰り返す。
一方、座標f(x,y)のy座標値が所定値H以上であると判断する場合(ステップS910;YES)、座標f(x,y)のx座標値およびy座標値をそれぞれx=「0」,y=「0」として(ステップS911)、この処理を一旦終了する。
【0129】
このように所定部位検出処理(ステップS800)を終了した後、次にPC3は、検出したn個の座標f(x,y)のそれぞれを起点として、装飾画像を表示する画像表示処理を実行する(ステップS801)。なお、本実施形態における画像表示処理の処理内容は、第一実施形態にて説明した処理内容と同一であるため、詳しい説明は割愛する。
【0130】
図19に、上述した処理を通じて表示画像が表示されるディスプレイ4を示す。
同図19に示される領域A〜Nにおいて、装飾画像は、使用者20が表示される位置から主にx軸方向に移動するように表示される。なお、同図19には、画像表示処理が開始されてから終了するまでの間において、装飾画像が表示される全ての領域を記載している。実際には、装飾画像は、まず使用者20の所定部位(本実施形態においては、足部)が表示される位置と同じ位置に表示される。そして、この所定部位が表示されている位置を起点として、時間の経過とともに使用者20の所定部位が表示されている位置から離れるように移動する。
【0131】
上記実施形態によれば、上記各実施形態にて説明した作用効果に加え、以下に記載する作用効果を奏することができる。
(8)本実施形態によれば、広い範囲に装飾画像を表示することができるため、使用者である通行人の興味をより引き付けることができる画像をディスプレイ4に表示することができる。
【0132】
(その他の実施形態)
以下、本発明を具体化したその他の実施形態を上記第五実施形態と異なる点を中心に図20に基づいて説明する。なお、図20において、第五実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0133】
同図20(a)に示されるように、本実施形態の画像表示装置1は、表示画像上に、横方向をX軸、当該横方向に垂直な方向をY軸とし、左上端を原点(0,0)、右下端を(W,H)とする座標を設定する。
【0134】
本実施形態にかかる画像表示装置1では、同図20(b)に示されるように、PC3は、最上部(ここでは、頭頂部)を含めた撮像画像の上部に位置するn個の所定部位を起点として装飾画像をそれぞれ表示する。
本実施形態によれば、上記実施形態で説明した作用効果に準じた作用効果を奏することができるようになる。
【0135】
(第六実施形態)
以下、本発明を具体化した第六実施形態を上記第一実施形態と異なる点を中心に図2、および図21〜図23に基づいて説明する。なお、これら図2、および図21〜図23において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0136】
第一実施形態では、可視光からなる撮像画像に基づいて所定部位を検出するようにしたが、本実施形態では、赤外光からなる画像(以下、「赤外光画像」)に基づいて所定部位を検出する。
【0137】
図21(a)に示されるように、この第六実施形態の画像表示装置1は、ディスプレイ4(本発明の「表示面」に相当)の中央上部に配設される第一カメラ10(本発明の「撮像手段」に相当)および第二カメラ11(本発明の「撮像手段」に相当)に加えて、赤外光を照射する赤外光ライト13を備えている。
【0138】
第一カメラ10および第二カメラ11は、撮像範囲がディスプレイ4前方に起立した使用者20の全身が収まる範囲となるように配設されている。また、第一カメラ10の受光部には、赤外光のみを透過するフィルタ12が取り付けられている。このため、第一カメラ10は、赤外光のみからなる赤外光画像を撮像することとなる。
【0139】
また、これら第一カメラ10および第二カメラ11は、所定回数(本実施形態では、1秒間に5〜30回のうちの任意の回数)ディスプレイ4前方を撮像し、その撮像画像の画像情報をそれぞれPC3(本発明の「表示手段」に相当)に出力している。
【0140】
またさらに、本実施形態においてPC3は、図21(b)に示されるように、撮像画像上に、横方向をX軸、当該横方向に垂直な方向をY軸とし、同撮像画像の左下端を原点(0,0)、同撮像画像の右上端を(W,H)とする座標を設定する。
【0141】
本実施形態では、第一実施形態で説明したように(図2参照)、PC3は、まず所定部位検出処理を実行し(ステップS100)、次に画像表示処理を実行する(ステップS101)。なお、本実施形態において、PC3は、第一カメラ10から出力される撮像画像の画像情報に基づいて所定部位検出処理を実行する。
【0142】
次に、本実施形態にかかる所定部位検出処理について図22を参照しながら詳細に説明する。
本処理が開始されると、まずPC3は、可視光からなる撮像画像(可視光画像)の画像情報を第二カメラ11を通じて取得し、ディスプレイ4に表示する(ステップS1000)。
次に、PC3は、赤外光のみからなる撮像画像(赤外光画像)の画像情報を第一カメラ10を通じて取得する(ステップS1001)。
【0143】
次に、PC3は、赤外光画像に対して白と黒の二階調に変換する二値化処理を施す(ステップS1002)。そして、この二値化処理を施した赤外光画像に対して差分処理を実行する(ステップS1003)。
【0144】
次に、PC3は、今回の制御周期で第一カメラ10を通じて取得し、二値化処理を施した赤外光画像を保存する(ステップS1004)。そして、PC3は、差分画像の座標f(x,y)の階調値が基準値C以上であるか否かを判断する(ステップS1005)。
【0145】
座標f(x,y)の階調値が基準値C以上であると判断する場合(ステップS1005;YES)、座標f(x,y)を動きの検出点とする(ステップS1010)。
【0146】
これに対して、座標f(x,y)の階調値が基準値C未満であると判断する場合(ステップS1005;NO)、座標f(x,y)のx座標値をインクリメント(x=x+1)する(ステップS1006)。そして、座標f(x,y)のx座標値が所定値W以上であるか否かを判断する(ステップS1007)。
【0147】
座標f(x,y)のx座標値が所定値W未満であると判断する場合(ステップS1007;NO)、ステップS1005およびS1006の処理を繰り返す。
一方、座標f(x,y)のx座標値が所定値W以上であると判断する場合(ステップS1007;YES)、座標f(x,y)のy座標値をインクリメント(y=y+1)し(ステップS1008)、座標f(x,y)のy座標値が所定値H以上であるか否かを判断する(ステップS1009)。
【0148】
座標f(x,y)のy座標値が所定値H未満であると判断する場合(ステップS1009;NO)、ステップS1005〜S1008の処理を繰り返す。
一方、座標f(x,y)のy座標値が所定値H以上であると判断する場合(ステップS1009;YES)、および座標f(x,y)を動きの検出点とした(ステップS1010)後、座標f(x,y)のx座標値およびy座標値をそれぞれx=「0」,y=「0」として(ステップS1011)、この処理を一旦終了する。
【0149】
図23に、上述した処理を通じて表示画像が表示されるディスプレイ4を示す。
同図23に示される領域Aにおいて、装飾画像は、使用者20の足部が表示される位置から主にx軸方向に移動するように表示される。なお、同図15には、画像表示処理が開始されてから終了するまでの間において、装飾画像が表示される全ての領域を記載している。実際には、装飾画像は、まず使用者20の所定部位(本実施形態においては、足部)が表示される位置と同じ位置に表示される。そして、この所定部位が表示されている位置を起点として、時間の経過とともに使用者20の所定部位が表示されている位置から離れるように移動する。
【0150】
(9)本実施形態によれば、赤外光画像を用いて使用者20の所定部位を検出するため、撮像画像に表示されたもののうち赤外光を反射するもの、すなわち使用者20を適切に検出することができる。このため、撮像画像において使用者20の所定部位が表示されている位置をより正確に検出することができるようになる。
【0151】
(その他の実施形態)
以下、本発明を具体化したその他の実施形態を上記第六実施形態と異なる点を中心に図24に基づいて説明する。なお、図24において、第六実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0152】
同図24(a)に示されるように、本実施形態において、PC3は、表示画像上に、横方向をX軸、当該横方向に垂直な方向をY軸とし、左上端を原点(0,0)、右下端を(W,H)とする座標を設定する。
【0153】
そして、同図24(b)に示されるように、PC3は、使用者20の最上部(ここでは、頭頂部)を所定部位として検出し、この頭頂部を起点として装飾画像を表示する。
【0154】
本実施形態によれば、上記実施形態で説明した作用効果に準じた作用効果を奏することができるようになる。
【0155】
(第七実施形態)
以下、本発明を具体化した第七実施形態を上記第一実施形態と異なる点を中心に図25〜図27に基づいて説明する。なお、これら図25〜図27において、第一実施形態にて説明した各要素と同一の要素についてはそれぞれ同一の符号を示しており、それら要素についての重複する説明は割愛する。
【0156】
上記第一実施形態では、初期速度vx,vyを所定の値に予め設定した。これに対して、本実施形態では、差分画像において白画素が表示される領域の重心位置に基づいて初期速度vx,vyを算出する。
また、上記第一実施形態では、初期速度vx,vyが負の値となる場合には、初期速度vx,vyをそれぞれ「0」となるようにした。これに対して、本実施形態では、初期速度vx,vyの正負に関わらず、算出された初期速度vx,vyを用いて装飾画像を表示する領域を設定するようにしている。
【0157】
なお、本実施形態では、第一実施形態にて説明したように、PC3は、撮像画像上に、横方向をX軸、当該横方向に垂直な方向をY軸とし、同撮像画像の左上端を原点(0,0)、同撮像画像の右下端を(W,H)とする座標を設定する。
【0158】
次に、本実施形態にかかる画像表示処理について図25を参照しながら詳細に説明する。なお、本実施形態における表示画像の処理方法、および所定部位検出処理の処理内容は、第一実施形態にて説明した処理内容と同一であるため、詳細な説明は割愛する。
【0159】
同図25に示されるように、本処理が開始されると、PC3は、まず差分画像において白画素が表示される領域の重心位置に基づいて初期速度vx,vyを算出する(ステップS1100)。
【0160】
ここで、差分画像において白画素が表示される領域の重心位置の算出方法について、図26(a)〜(d)を参照しながら詳細に説明する。
同図26(a)には、前々回の制御周期(t−2)でカメラ2にて撮像され、撮像画像に表示された使用者をX1にて示すとともに、前回の制御周期(t−1)でカメラ2にて撮像され、撮像画像に表示された使用者20をX2にて示す。
同図26(b)には、同図26(a)に示した撮像画像に基づいて生成される差分画像を示す。同差分画像において、ハッチングで示される領域には白画素が表示されている。
【0161】
また、同図26(c)には、前回の制御周期(t−1)でカメラ2にて撮像され、撮像画像に表示された使用者をX2にて示すとともに、今回の制御周期(t)でカメラ2にて撮像され、撮像画像に表示された使用者20をX3にて示す。
同図26(d)には、同図26(c)に示した撮像画像に基づいて生成される差分画像を示す。同差分画像において、ハッチングで示される領域には白画素が表示されている。
【0162】
まず、PC3は、所定部位検出処理を通じて、図26(b)に示される位置Pを所定部位が表示されている位置として検出する。なお、本実施形態においてPC3は、横方向をX軸、当該横方向に垂直な方向をY軸とし、左上端を原点(0,0)、右下端を(W,H)とする座標を撮像画像上に設定している。
そして、PC3は、位置Pを中心とする所定の領域を重心位置算出領域rとして設定する。この重心位置算出領域rは、位置Pを中心として上下左右に10〜50ピクセルの範囲に設定されることが好ましく、10〜20ピクセルの範囲に設定されることがより好ましい。
【0163】
次に、PC3は、同図26(b)に示されるように、差分画像において白画素が表示される領域のうち、重心位置算出領域rに表示される部分の重心位置g(x(t−1),y(t−1))を算出する。なお、この重心位置g(x(t−1),y(t−1))は、既知の方法で算出することができるため、詳しい説明は割愛する。
【0164】
同様に、PC3は、図26(d)に示されるように、位置Pを所定部位が表示されている位置として検出し、この位置Pを中心として重心位置算出領域rを設定する。
そして、差分画像において白画素が表示される領域のうち、重心位置算出領域rに表示される部分の重心位置g(x(t),y(t))を算出する。
【0165】
次に、PC3は、以下の式(5)および(6)に基づいて、重心位置g(x(t−1),y(t−1))と重心位置g(x(t),y(t))との差を求める。
Gx(t)=gx(t−1)−gx(t)…(5)
Gy(t)=gy(t−1)−gy(t)…(6)
【0166】
次に、以下の式(7)および(8)に基づいて、初期速度vx,vyを算出する。
vx=A×Gx(t)…(7)
vy=A×Gy(t)…(8)
なお、A,Bは予め定められた所定の定数である。
【0167】
PC3は、このようにして算出した初期速度vx,vyを設定し(ステップS1100)、装飾画像を表示する座標g(x,y)を第一実施形態にて説明した以下の式(3)および(4)を用いて算出する(ステップS1101)。なお、この座標計算においては、位置Pのx座標値およびy座標値をそれぞれ「x´」,「y´」とする。
x=(wx+vx)t+Asin(ω1t)+Bsin(ω2t)+x´…(3)
y=(wy+vy)t+Ccos(ω3t)+Dcos(ω4t)+y´…(4)
第一実施形態にて説明したように、角速度ω1,ω2,ω3,ω4、および定数A,B,C,Dは、実験等を通じて予め定められた所定の値である。またさらに、時間tは、本画像表示処理が開始されたときからカウントを開始する。
一方、風速wx,wyについては、初期速度vx,vyが負の値である場合は負の値に設定する一方、初期速度vx,vyが正の値である場合は正の値に設定する。
【0168】
そして、座標g(x,y)に装飾画像を表示する(ステップS1102)。
次に、表示回数nをインクリメント(n=n+1)する(ステップS1103)。
その後、表示回数nが所定回数N以上であるか否かを判断し(ステップS1104)、表示回数nが所定回数N未満であると判断する場合(ステップS1104;NO)、ステップS1101以降の処理を繰り返す。一方、表示回数nが所定回数N以上であると判断する場合(ステップS1104;YES)、表示回数n=「0」とし(ステップS1105)、この処理を一旦終了する。
【0169】
図27に、上述した処理を通じて表示画像が表示されるディスプレイ4を示す。
図27(a)に矢印Aにて示す方向に使用者20が移動する場合、差分画像の重心位置も、この矢印にて示す方向に移動する。このときは、Gx(t)は正の値となるため(式(5)参照)、装飾画像は、同図27(a)にS1にて示す方向に流れるように表示される(式(3)参照)。また、使用者20の移動速度が速いときほど、重心位置G1と重心位置G2との差Gx(t),Gy(t)は大きくなるため、初期速度vx,vyも大きくなる。
【0170】
これに対して、図27(b)に矢印にて示す方向に使用者20が移動する場合、差分画像の重心位置もこの矢印にて示す方向に移動する。このときは、G(t)は負の値となる(式(5)参照)ため、装飾画像は同図27(b)にS2にて示す方向に流れるように表示される(式(3)参照)。このときも、使用者20の移動速度が速いときほど、重心位置G1と重心位置G2との差Gx(t),Gy(t)は大きくなるため、初期速度vx,vyも大きくなる。
【0171】
上記実施形態によれば、以下に記載する作用効果を奏することができる。
(10)上記実施形態では、初期速度vx,vyを都度算出するようにしているため、使用者20の動きに応じて装飾画像を表示する領域を変更することができる。装飾画像を表示する領域が使用者20の動きに関わらず一定の範囲である場合と比較して、より使用者20の興味を引く態様にて装飾画像を表示することができるようになる。
【0172】
(11)また、差分画像の重心位置に基づいて初期速度vx,vyを算出するようにしているため、装飾画像を表示する領域を使用者20の動きの向きに基づいて設定することができる。
【0173】
(12)また、差分画像のうち、重心位置算出領域rに表示される部分の差分画像の重心位置G1を算出するようにしている。このため、使用者20の所定部位とその周辺部位のみの動きに基づいて装飾画像を表示する領域を設定することができる。すなわち、使用者20の意に沿った態様で装飾画像を表示することができるようになる。
【0174】
(その他の実施形態)
なお、この発明にかかる画像表示装置1は、上記実施形態にて例示した構成に限定されるものではなく、同実施の形態を適宜変更した例えば次のような形態として実施することもできる。また以下の各変形例は、上記実施形態についてのみ適用されるものではなく、異なる変形例同士を互いに組み合わせて実施することもできる。
【0175】
・上記第三実施形態において、所定部位が表示される座標f(x,y)を中心として差分画像算出領域r1を設定し、差分画像において白画素が表示される領域のうち、当該差分画像算出領域r1に表示される部分の面積に基づいて、初期速度vx、vyを変更するようにしてもよい。本変形例によれば、所定部位およびその周辺部位のみの動きの速度に応じて装飾画像の表示領域を変更することができるようになる。
【0176】
・上記第一実施形態では、ディスプレイ4の中央上部にカメラ2を配設するようにしたが、カメラ2の配設態様はこれに限られるものではなく、図28に示されるように、カメラ2をディスプレイ4前方に対向する位置に配設してもよい。本変形例では、カメラ2からPC3に出力された表示画像をプロジェクタ14を用いて、スクリーン15に表示する。本発明においても、上記作用効果に準じた作用効果を奏することができるようになる。
【0177】
・上記第二実施形態では、中央カメラ7と端側カメラ8を用いるようにしたが、本発明はこれに限られるものではない。例えば、図29に示されるように、端側カメラ8をディスプレイ4の左右の端側にそれぞれ配設し、これら端側カメラ8を用いてディスプレイ4と使用者20との間の距離を算出してもよい。本実施形態によれば、端側カメラ8間の距離が大きくなるため、使用者20とディスプレイ4との間の距離を精度よく算出することができるようになる。
【0178】
・上記第二実施形態において、装飾画像の表示領域は、ディスプレイ4と使用者20との距離D2の大きさに関わらず一定としたが、装飾画像の表示領域はこれに限られるものではなく、距離D2に基づいて変更してもよい。すなわち、距離D2が大きいときほど、すなわち使用者20がディスプレイ4から離れているときほど、領域Aが大きくなるように設定してもよい。本変形例によれば、ディスプレイ4から離れている場所に位置している使用者20であっても、ディスプレイ4に表示される装飾画像を認識することができるようになる。
【0179】
・上記実施形態では、装飾画像を主にx軸方向に流れるように表示したが、本発明はこれに限られるものではない。風速wyを風速wxよりも大きい値に設定し、主にy軸方向に流れるように表示してもよい。また、風速wyと風速wxとを略等しい値に設定し、x軸方向およびy軸方向に流れるように表示してもよい。
【符号の説明】
【0180】
1…画像表示装置
2…カメラ
3…PC
4…ディスプレイ
7…中央カメラ
8…端側カメラ
10…第一カメラ
11…第二カメラ
12…フィルタ
13…赤外光ライト
14…プロジェクタ
15…スクリーン
20…使用者
21…足部
22…下肢
23…使用者
【特許請求の範囲】
【請求項1】
表示面に表示画像を表示する表示手段と、前記表示面の前方を撮像画像として撮像する撮像手段と、前記表示画像を制御する制御手段とを備える画像表示装置であって、
前記制御手段は、前記撮像画像において使用者の所定部位が表示されている位置を起点として設定する所定領域に装飾画像を表示する画像表示処理を実行し、前記装飾画像を前記撮像画像とともに前記表示画像として前記表示面に表示する
ことを特徴とする画像表示装置。
【請求項2】
請求項1に記載の画像表示装置であって、
前記制御手段は、撮像時刻の異なる前回の撮像画像と今回の撮像画像との間の変化分を白画素として検出し、この白画素が表示される位置に基づいて前記所定部位が表示されている位置を検出する
ことを特徴とする画像表示装置。
【請求項3】
請求項1または2に記載の画像表示装置であって、
前記撮像手段は、前記表示面から所定の範囲に前記使用者が位置していないと判断したときには、前記画像表示処理の実行を禁止する
ことを特徴とする画像表示装置。
【請求項4】
請求項2または3に記載の画像表示装置であって、
前記制御手段は、前記撮像画像を上領域と下領域とに区画する仮想区画線を前記撮像画像中に設定するとともに、
前記下領域に前記白画素を検出したときに、当該白画素が前記仮想区画線まで連続して検出されたことをもって、前記表示面から所定の範囲に前記使用者が位置していると判断する
ことを特徴とする画像表示装置。
【請求項5】
請求項2〜4のいずれか一項に記載の画像表示装置であって、
前記制御手段は、前記装飾画像を表示する前記所定領域を前記白画素が表示される領域の大きさに基づいて設定する
ことを特徴とする画像表示装置。
【請求項6】
請求項1〜4のいずれか一項に記載の画像表示装置であって、
前記制御手段は、撮像時刻の異なる前回の撮像画像と今回の撮像画像との間の変化分を白画素として検出し、前記白画素が表示される領域の重心位置をそれぞれ算出し、この重心位置の移動方向に基づいて、前記所定領域を設定する
ことを特徴とする画像表示装置。
【請求項7】
請求項1〜6のいずれか一項に記載の画像表示装置であって、
前記使用者の前記所定部位が表示されている位置を(x´,y´)とすると、
前記所定領域は、所定の定数であるwx,wy,vx,vy,w1,w2,w3,w4,A,B,CおよびDと、以下の数式とに基づいて設定される
ことを特徴とする画像表示装置。
X = (wx+vx)t+Asin(w1t)+Bsin(w2t)+x´
Y = (wy+vy)t+Ccos(w3t)+Dcos(w4t)+y´
【請求項1】
表示面に表示画像を表示する表示手段と、前記表示面の前方を撮像画像として撮像する撮像手段と、前記表示画像を制御する制御手段とを備える画像表示装置であって、
前記制御手段は、前記撮像画像において使用者の所定部位が表示されている位置を起点として設定する所定領域に装飾画像を表示する画像表示処理を実行し、前記装飾画像を前記撮像画像とともに前記表示画像として前記表示面に表示する
ことを特徴とする画像表示装置。
【請求項2】
請求項1に記載の画像表示装置であって、
前記制御手段は、撮像時刻の異なる前回の撮像画像と今回の撮像画像との間の変化分を白画素として検出し、この白画素が表示される位置に基づいて前記所定部位が表示されている位置を検出する
ことを特徴とする画像表示装置。
【請求項3】
請求項1または2に記載の画像表示装置であって、
前記撮像手段は、前記表示面から所定の範囲に前記使用者が位置していないと判断したときには、前記画像表示処理の実行を禁止する
ことを特徴とする画像表示装置。
【請求項4】
請求項2または3に記載の画像表示装置であって、
前記制御手段は、前記撮像画像を上領域と下領域とに区画する仮想区画線を前記撮像画像中に設定するとともに、
前記下領域に前記白画素を検出したときに、当該白画素が前記仮想区画線まで連続して検出されたことをもって、前記表示面から所定の範囲に前記使用者が位置していると判断する
ことを特徴とする画像表示装置。
【請求項5】
請求項2〜4のいずれか一項に記載の画像表示装置であって、
前記制御手段は、前記装飾画像を表示する前記所定領域を前記白画素が表示される領域の大きさに基づいて設定する
ことを特徴とする画像表示装置。
【請求項6】
請求項1〜4のいずれか一項に記載の画像表示装置であって、
前記制御手段は、撮像時刻の異なる前回の撮像画像と今回の撮像画像との間の変化分を白画素として検出し、前記白画素が表示される領域の重心位置をそれぞれ算出し、この重心位置の移動方向に基づいて、前記所定領域を設定する
ことを特徴とする画像表示装置。
【請求項7】
請求項1〜6のいずれか一項に記載の画像表示装置であって、
前記使用者の前記所定部位が表示されている位置を(x´,y´)とすると、
前記所定領域は、所定の定数であるwx,wy,vx,vy,w1,w2,w3,w4,A,B,CおよびDと、以下の数式とに基づいて設定される
ことを特徴とする画像表示装置。
X = (wx+vx)t+Asin(w1t)+Bsin(w2t)+x´
Y = (wy+vy)t+Ccos(w3t)+Dcos(w4t)+y´
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【公開番号】特開2013−80135(P2013−80135A)
【公開日】平成25年5月2日(2013.5.2)
【国際特許分類】
【出願番号】特願2011−220459(P2011−220459)
【出願日】平成23年10月4日(2011.10.4)
【出願人】(505225197)長崎県公立大学法人 (31)
【出願人】(511240313)株式会社アルテック情報システム (1)
【Fターム(参考)】
【公開日】平成25年5月2日(2013.5.2)
【国際特許分類】
【出願日】平成23年10月4日(2011.10.4)
【出願人】(505225197)長崎県公立大学法人 (31)
【出願人】(511240313)株式会社アルテック情報システム (1)
【Fターム(参考)】
[ Back to top ]