画像表示装置、画像表示制御方法、プログラム及び情報記録媒体
【課題】例えばパチンコその他の遊技機において、利用者の興を削ぐことなく利用者の目の疲労の軽減を図るため、利用者の関心度合に応じて表示する画像を切り替える。
【解決手段】関心度合認識部１０３は、利用者の視線の移動量、脈拍数あるいは特定の操作ボタンの操作状態などから、利用者の関心度合の高低を認識する。表示画像選択部１０１は、関心度合認識部１０３により認識された関心度合の高低に応じて、画像入力部１００より入力される２以上の画像の中から画像表示部１０２に表示させる画像を選択する。例えば、関心度合が高い時には３次元画像や動きの激しい動画像を表示させ、関心度合が低い時に２次元画像や動きの遅い動画像を表示させる。
【解決手段】関心度合認識部１０３は、利用者の視線の移動量、脈拍数あるいは特定の操作ボタンの操作状態などから、利用者の関心度合の高低を認識する。表示画像選択部１０１は、関心度合認識部１０３により認識された関心度合の高低に応じて、画像入力部１００より入力される２以上の画像の中から画像表示部１０２に表示させる画像を選択する。例えば、関心度合が高い時には３次元画像や動きの激しい動画像を表示させ、関心度合が低い時に２次元画像や動きの遅い動画像を表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示機能を有する様々な機器（本明細書において画像表示装置と総称する）の分野に係り、より詳細には、そのような画像表示装置において利用者の状態を考慮して表示画像を切り替える技術に関する。
【背景技術】
【０００２】
撮影者の視線を検知し、動画像又は連写静止画像の視線位置を含む領域について、それ以外の領域より圧縮率を下げて符号化を行うデジタルビデオカメラ等の画像処理装置が知られている（例えば特許文献１参照）。
【０００３】
自動車の運転席前方に設けられた撮影手段により運転者の顔面を撮影し、撮影画像から運転者の顔の向き及び視線の方向を求め、運転者の顔の向き及び視線の方向に基づいて運転補助装置の作動を制御する運転操作補助装置が知られている（例えば特許文献２参照）。同種の視線検出については例えば特許文献３にも記載されている。
【０００４】
脈拍数については様々な検出方法が実用化されているが、その１つが反射型又は透過型の光学式脈拍センサを用いる方法である（例えば特許文献４，５参照）。また、感圧センサを用いて脈圧を検出することにより脈拍数を測定する方法もある（例えば特許文献６参照）。
【０００５】
【特許文献１】特開2001-333430号公報
【特許文献２】特許第32280886号公報
【特許文献３】特開平5-298015号公報
【特許文献４】特開平7-124131号公報
【特許文献５】特開平9-253062号公報
【特許文献６】特開平5-31085号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
近年、高度な画像表示機能を有する機器の普及がめざましい。例えば、近年のパチンコやリズム系ゲーム機などは、まるで画像表示性能を競い合うかのように、ダイナミックな３次元画像や動きの激しい動画像を表示するものが多い。このような画像は利用者を興奮させ、ゲームの面白さを増すものではあるが、それを見続けると利用者の目の疲労が激しいという問題がある。
【０００７】
このことに鑑み、本発明は、利用者の関心度合に応じて表示する画像を切り替えることにより、利用者の興を削ぐことなく利用者の目の負担の軽減を図ったパチンコ、リズム系ゲーム機などの遊技機、その他の画像表示機能を有する各種機器（前述のように画像表示装置と総称する）及びその画像表示制御方法を提供することを目的とする。
【０００８】
ここで、表示画像の切換とは、用意された複数の画像の中から表示させる画像を選択することであり、例えば、３次元画像から２次元画像への切り替えもしくは逆の切り替え、動画像から静止画像への切り替えもしくはは逆の切り替え、又は、動きの速い動画像から動きの遅い動画像への切り替えもしくは逆の切り替えなどである。利用者の関心度合とは、利用者の関心の強弱のことであるが、これは時々刻々と変化するのが通常である。本発明は、このような利用者の関心度合の高低を認識することにより、表示させる画像の選択を制御する。
【課題を解決するための手段】
【０００９】
請求項１記載の発明は、複数の画像を入力する画像入力手段と、この画像入力手段により入力される複数の画像の中から表示させる画像を選択する表示画像選択手段と、この表示画像選択手段により選択された画像を表示する画像表示手段と、利用者の関心度合が低いか高いかを認識する関心度合認識手段とを有し、前記表示画像選択手段は、前記関心度合認識手段による認識結果に基づいて選択する画像を決定することを特徴とする画像表示装置である。
【００１０】
請求項２記載の発明は、請求項１記載の発明による画像表示装置であって、前記複数の画像には２次元画像と３次元画像が含まれ、前記表示画像選択手段は、前記関心度合認識手段により関心度合が低いと認識された時には前記複数の画像中の２次元画像を選択し、前記関心度合認識手段により関心度合が高いと認識された時には前記複数の画像中の３次元画像を選択することを特徴とする画像表示装置である。
【００１１】
請求項３記載の発明は、請求項１記載の発明による画像表示装置であって、前記複数の画像には静止画像と動画像が含まれ、前記表示画像選択手段は、前記関心度合認識手段により関心度合が低いと認識された時には前記複数の画像中の静止画像を選択し、前記関心度合認識手段により関心度合が高いと認識された時には前記複数の画像中の動画像を選択することを特徴とする画像表示装置である。
【００１２】
請求項４記載の発明は、請求項１記載の発明による画像表示装置であって、前記複数の画像には動き量の小さな動画像と動き量の大きな動画像が含まれ、前記表示画像選択手段は、前記関心度合認識手段により関心度合が低いと認識された時には前記複数の画像中の動き量の小さな動画像を選択し、前記関心度合認識手段により関心度合が高いと認識された時には前記複数の画像中の動き量の大きな動画像を選択することを特徴とする画像表示装置である。
【００１３】
請求項５記載の発明は、複数の動画像を入力する画像入力手段と、この前記画像入力手段により入力される複数の動画像の中から表示させる動画像を選択する表示画像選択手段と、この表示画像選択手段により選択された動画像を表示する画像表示手段と、利用者の関心度合が低いか高いかを認識する関心度合認識手段と、前記複数の動画像のそれぞれの動き量を推定する動き量推定手段とを有し、前記表示画像選択手段は、前記関心度合認識手段により関心度合が低いと認識された時には前記複数の動画像中の前記動き量推定手段により推定された動き量が最小の動画像を選択し、前記関心度合認識手段により関心度合が高いと認識された時には前記複数の動画像中の前記動き量推定手段により推定された動き量が最大の動画像を選択することを特徴とする画像表示装置である。
【００１４】
請求項６記載の発明は、請求項５記載の画像表示装置であって、前記画像入力手段はネットワーク経由で画像を受信する手段からなることを特徴とする画像表示装置である。
【００１５】
請求項７記載の発明は、請求項６記載の発明による画像表示装置であって、前記複数の動画像に対する前記動き量推定手段による動き量推定及び前記表示画像選択手段による動画像選択が、前記画像入力手段による前記複数の動画像の受信と並行して行われることを特徴とする画像表示装置である。
【００１６】
請求項８記載の発明は、請求項５記載の発明による画像表示装置であって、前記複数の動画像はそれぞれ２次元ウェーブレット変換を用いる符号化方式により符号されたインターレース動画像であり、前記動き量推定手段は動画像の特定のサブバンドについての符号量に基づいて動き量を推定することを特徴とする画像表示装置である。
【００１７】
請求項９記載の発明は、請求項１乃至８のいずれか１項記載の発明による画像表示装置であって、前記関心度合認識手段は利用者の視線の移動量から関心度合が低いか高いかを認識する手段であることを特徴する画像表示装置である。
【００１８】
請求項１０記載の発明は、請求項１乃至８のいずれか１項記載の発明による画像表示装置であって、前記関心度合認識手段は利用者の脈拍数から関心度合が低いか高いかを認識する手段であることを特徴する画像表示装置である。
【００１９】
請求項１１記載の発明は、請求項１乃至８のいずれか１項記載の発明による画像表示装置であって、利用者により操作される特定の操作手段を有し、前記関心度合認識手段は前記特定の操作手段の操作状態から関心度合が低いか高いかを認識する手段であることを特徴とする画像表示装置である。
【００２０】
請求項１２記載の発明は、画像を表示する機能を有する画像表示装置の画像表示制御方法であって、複数の画像より表示させる画像を選択する表示画像選択工程と、
利用者の関心度合が低いか高いかを認識する関心度合認識工程とを有し、
前記表示画像選択工程は前記関心度合認識工程による認識結果に基づいて選択する画像を決定することを特徴とする画像表示制御方法である。
【００２１】
請求項１３記載の発明は、画像を表示する機能を有する画像表示装置の画像表示制御方法であって、複数の動画像より表示させる動画像を選択する表示画像選択工程と、前記複数の動画像のそれぞれについて動き量を推定する動き量推定工程と、利用者の関心度合が低いか高いかを認識する関心度合認識工程とを有し、前記表示画像選択工程は、前記関心度合認識工程により関心度合が低いと認識された時には前記複数の動画像中の前記動き量推定工程で推定された動き量が最小の動画像を選択し、前記関心度合認識工程により関心度合が高いと認識された時には前記複数の動画像中の前記動き量推定工程で推定された動き量が最大の動画像を選択することを特徴とする画像表示制御方法である。
【００２２】
請求項１４記載の発明は、請求項１乃至１１のいずれか１項記載の発明による画像表示装置の各手段としてコンピュータを機能させるプログラムである。
【００２３】
請求項１５記載の発明は、請求項１乃至１１のいずれか１項記載の発明による画像表示装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。
【発明の効果】
【００２４】
請求項１〜１３に記載の発明によれば、パチンコ、リズム系ゲーム機などの遊技機、その他の画像表示機能を備える各種の機器において、利用者の関心度合が高い時には、例えばゲームなどを盛り上げる効果の高い３次元画像や動きの激しい動画像を表示させる一方、利用者の関心度合が低い時は、例えば利用者の目に負担の少ない２次元画像や静止画像もしくは動きの遅い動画像を表示させることにより、利用者の興を削ぐことなく、利用者の目の疲労を軽減することができる。請求項５に記載の発明によれば、２以上の動画像の中から、その時々の動き量が最大の動画像又は最小の動画像を利用者の関心度合に応じて表示させることができる。請求項１４，１５に記載の発明によれば、請求項１〜１１に記載の発明に係る画像表示装置を、コンピュータを利用し容易に実現することができる等々の効果を得られる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態について、図面を用い説明する。
【００２６】
＜実施形態１＞
図１は本発明の実施形態１を説明するためのブロック図である。この実施形態に係る画像表示装置は、例えばパチンコやリズム系ゲーム機のような遊技機であり、予め用意された２以上の画像を入力する画像入力部１００と、この画像入力部１００により入力される２以上の画像から表示させる画像を選択する（表示画像を切り替える）表示画像選択部１０１と、この表示画像選択部１０１により選択された画像を画面表示する画像表示部１０２と、当該画像表示装置の利用者の関心度合が低いか高いかを認識する関心度合認識部１０３とから構成される。関心度合認識部１０３からは関心度合の高低を示す信号が出力され、この信号は表示画像選択部１０１に入力される。この信号から表示画像選択部１０１は関心度合の高低を知ることができる。
【００２７】
本実施形態においては、画像入力部１００により入力される画像は、直ちに表示可能な画素データである。一実施例によれば、画像入力部１００は、このような複数の画像を例えば大容量記憶装置や大容量記録媒体から読み出し入力する構成とされる。別の実施例によれば、画像入力部１００は、大容量記憶装置や大容量記録媒体に圧縮された符号データの形で蓄積されている画像を読み出し、それを復号してから入力する構成とされる。別の実施例によれば、画像入力部１００は、ネットワークを通じて画像の符号データを受信し、それを復号して入力する構成とされる。
【００２８】
図２に、表示画像選択部１０１における画像選択制御の処理フローを示す。表示画像選択部１０１は、例えば一定の時間間隔で、関心度合認識部１０３の出力信号を調べることにより、関心度合認識部１０３により認識された利用者の関心度合が高いか否かを判定し（ステップ１１０）、関心度合が高いときには（ステップ１１０，Ｙｅｓ）、画像入力部１００より入力された２以上の画像の中からゲームを盛り上げる効果の高い画像を選択する（ステップ１１１）。関心度合が低いときには（ステップ１１０，Ｎｏ）、入力された２以上の画像の中から利用者の目に負担の少ない画像を選択する（ステップ１１２）。このような画像選択の具体例を次に示す。
【００２９】
一実施例によれば、入力される２以上の画像に、インパクトのある３次元画像と、目の疲労の少ない２次元画像が含まれ、ステップ１１１ではその３次元画像が選択され、ステップ１１２ではその２次元画像が選択される。すなわち、３次元画像と２次元画像が用意されている場合に、利用者がゲームに強い関心を抱いた時にはインパクトのある３次元画像を表示させるが、利用者の関心が低い時には目の疲労の少ない２次元画像を表示させるわけである。
【００３０】
別の実施例によれば、入力される２以上の画像に動画像と静止画像が含まれ、ステップ１１１では動画像が選択され、ステップ１１２では静止画像が選択される。すなわち、動画像と静止画像が用意されている場合に、利用者の関心度合が高い時にはダイナミックな動画像を表示させるが、関心度合が低い時には目の疲労を軽減するために静止画像を表示させる。
【００３１】
別の実施例によれば、入力される２以上の画像に、動き量の大きいことが既知の動画像と、動き量の小さいことが既知の動画像が含まれ、ステップ１１１ではその動き量の大きな動画像が選択され、ステップ１１２では動き量の小さな動画像が選択される。すなわち、動き量の大きな動画像と動き量の小さな動画像が用意されている場合に、利用者の関心度合が高い時には動き量の大きな動画像を表示させるが、関心度合が低い時には動き量の小さな動画像を表示させる。
【００３２】
なお、このような動画像の切り替えは、図３に示すように、フレーム周期に合わせて行う必要がある。図３において、Ａは動き量の小さな動画像のフレーム、Ｂは動き量の大きな動画像のフレームであり、関心度合が高くなると動き量の大きな動画像のフレームＢが表示され、その後、関心度合が低くなると動き量の小さな動画像のフレームＡが表示される様子が模式的に示されている。ただし、このような動画像の切り替えが余りにも短周期で起きると、表示画像を見ている者に違和感を感じさせる場合があり得る。このような不都合を避けるために、所定の複数フレーム（例えば１５０フレーム）の間隔で図２のような手順を実行するのが好ましいであろう。同様の不都合は、３次元画像と２次元画像の間での切り替えの場合でも動画像と静止画像の間での切り替えの場合でも起こり得るので、ある程度の長さの時間間隔で図２の手順を実行するのが好ましいであろう。
【００３３】
関心度合認識部１０３は、利用者の生理的反応や特定の行動などから関心度合が低いか高いかを認識する手段であり、様々な構成をとり得る。例えば、利用者がゲームの展開などに強い関心を持っている時には、通常、画像表示部１０２の表示画面を凝視し視線移動が少ない。したがって、利用者の視線の移動量から関心度合の高低を認識可能である。また、利用者のゲームの展開への関心が高まると利用者の脈拍数（もしくは心拍数）が増加する傾向があることから、利用者の脈拍数から関心度合の高低を認識可能である。また、パチンコなどでは、いわゆる連打ボタンもしくは連射ボタンといった、それが操作される時には利用者の関心度合が高いと推定される特定の操作手段を備えることが多いため、そのような特定の操作手段の操作状態（スイッチのオン、オフなど）から利用者の関心度合の高低を認識することも可能である。
【００３４】
図４は、関心度合認識部１０３の一実施例を示すブロック図である。本実施例に係る関心度合認識部１０３は、利用者の視線の移動量から関心度合の高低を認識するものであり、撮像手段１２０、視線方向認識処理手段１２１及び視線移動量判定手段１２２から構成される。
【００３５】
撮像手段１２０は利用者の顔を撮影する手段であり、例えば画像表示装置に装備されたＣＣＤカメラである。視線方向認識処理手段１２１は、撮像手段１２０より入力される画像データから利用者の視線方向を認識する手段である。視線移動量判定手段１２２は、視線方向認識処理手段１２１により認識された視線方向から所定時間内の視線の移動量を算出し、その移動量が所定の値を越えるか否かを判定する手段であり、その判定結果が関心度合認識部１０３の認識結果である。すなわち、視線の移動量が所定値を越えないときに関心度合は高いと認識され、視線の移動量が所定値を越えたときに関心度合は低いと認識されたことになり、このような判定結果つまり関心度合が高いか低いかを示す信号が視線移動量判定手段１２２より出力される。この信号が、関心度合認識部１０３の出力信号となる。
【００３６】
図５は視線方向認識処理手段１２１の視線方向算出アルゴリズムの一例を説明するためのフローチャートである。図６は利用者の視線方向の算出方法を説明するための模式図であり、１４０は真上から見た利用者の頭部を表し、１４１，１４２は利用者の目を表す。１４３は利用者が画像表示装置の表示画面を真正面から見た時の視線の方向を表し、１４４は利用者の顔の正面方向を表し、１４５はその時の利用者の視線方向を表す。
【００３７】
図５を参照する。撮像手段１２０により撮影された画像データより肌色領域を検出する（ステップ１３０）。次に、検出した肌色領域の中で一番面積の大きな領域を顔領域として検出する（ステップ１３１）。次に、検出した顔領域の中から目の色の領域を検出する（ステップ１３２）。次に、その目の色の領域の中で面積の大きな２つの領域を目の領域として検出するとともに、それぞれの目の領域の中心位置と、瞳もしくは黒目の位置を検出する（ステップ１３３）。なお、黒目の中心を瞳の位置として検出してよい。次に顔領域と両目の領域の位置から、左目と右目の中心から顔面に垂直にのばした線の方向すなわち顔の正面方向１４４と方向１４３のなす角度α（図６参照）を算出する（ステップ１３４）。次に、目の領域の中心からの瞳（又は黒目）の位置のずれから、顔の正面方向１４４と視線方向１４５のなす角度β（図６参照）を算出する（ステップ１３５）。最後に、αとβを加算することにより、方向１４３に対する視線方向１４５の角度θを算出する（ステップ１３６）。
【００３８】
視線移動量判定手段１２２は、ある時点でのθと、それから所定時間を経過した時点でのθの差（絶対値）を視線移動量として求め、これと所定値との大小判定を行うことになる。なお、視線移動量を水平方向及び垂直方向それぞれについて求め、その合計を視線移動量とするのが精度的には好ましいが、ここでは関心度合の高低を認識するための目安として利用できる程度の精度で視線移動量を検出できれば十分であるため、簡便には水平方向又は垂直方向についてのみ視線移動量を算出することも可能である。
【００３９】
ステップ１３０における肌色領域検出のアルゴリズム例を、図１６及び図１７に示すフローチャートを参照し説明する。図１６のステップ４０１で、撮像手段１２０より入力された画像データの全画素を対象として肌色画素を検出する。画像データがＲ，Ｇ，Ｂの３コンポーネントからなり、各コンポーネントの値ｒ，ｇ，ｂが８ビットで表され０から２５５までの値をとるものとすると、例えば図１７に示すような条件判定によって肌色画素と非肌色画素が識別される。ただし、ここに例示した判定条件は、日本人の平均的な肌色を想定したものであり、想定する人種の違い等によって判定条件を適宜変更する必要がある。
【００４０】
図１７のステップ４１１で、注目した画素のｒ，ｇ，ｂ値について”ｒ＜ｇ＜ｂ”の条件が満たされるか調べる。この条件が満たされるならば、ステップ４１２で”３０＜ｂ＜１５０”の条件が満たされるか調べる。この条件が満たされるならば、次のステップ４１３で”ｂ×1.1＜ｇ＜ｂ×1.4”の条件が満たされるか調べる。この条件が満たされるならば、ステップ４１４で”ｇ＋ｂ×1.1＜ｒ＜ｇ＋ｂ×1.4＋１５”の条件が満たされるか調べる。この条件が満たされたとき、つまりステップ４１１〜４１４の全てで条件が満たされたときに、ステップ４１５で注目した画素が肌色画素と判定される。ステップ４１１〜４１４のいずれかで条件が満たされないときには、ステップ４１６で注目した画素が非肌色画素と判定される。
【００４１】
図１６に戻る。ステップ４０２で、連続した（相互に接続した、もしくは、相互の距離が一定値以下の）肌色画素の塊に外接する矩形を作成する。ここで作成された外接矩形の中で最大の外接矩形の内部の領域が、図５のステップ１３１で顔領域として検出されることになる。
【００４２】
図５のステップ１３２における目の色検出のアルゴリズム例を図１８及び図１９に示すフローチャートを参照して説明する。ステップ１３２では、直前のステップ１３１で検出された顔領域より、黒目に相当する色の画素（黒目画素）と、白目に相当する色の画素（白目画素）を検出する。図１８は黒目画素の検出アルゴリズム例を示し、図１９は白目画素の検出アルゴリズム例を示す。ただし、各画素のＲ，Ｇ，Ｂコンポーネントの値ｒ，ｇ，ｂは８ビットで表され、０から２５５までの値をとるものとしている。
【００４３】
まず、図１８を参照し、黒目画素の検出について説明する。ステップ５０１で、注目した画素について”０＜ｒ＜６０かつ０＜ｂ＜５０かつ０＜ｇ＜５０”の条件が満たされるか調べる。この条件が満たされるならば、ステップ５０４で注目した画素は黒目画素と判定される。ステップ５０１での条件が満たされないならば、ステップ５０２で”−２０＜ｒ×２−ｇ−ｂ＜２０”の条件が満たされるか調べ、その条件が満たされないならばステップ５０４で注目した画素は黒目画素と判定される。ステップ５０２での条件が満たされるならば、ステップ５０３で”６０≦ｒ＜１５０”の条件が満たされるか調べ、この条件が満たされるならばステップ５０４で注目した画素は黒目画素と判定されるが、条件が満たされないならばステップ５０５で注目した画素は非黒目画素と判定される。
【００４４】
次に、図１９を参照し、白目画素の検出について説明する。ステップ５１１で注目した画素について”ｒ＞２００”の条件が満たされるか調べる。この条件が満たされるならば、ステップ５１２で”ｇ＞１９０”の条件が満たされるか調べる。この条件が満たされるならば、ステップ５１３で”ｂ＞１９０”の条件が満たされるか調べ、条件が満たされるならばステップ５１４で注目した画素は白目画素と判定される。ステップ５１１，５１２，５１３のいずれかの条件が満たされないならば、ステップ５１５で注目した画素は非白目画素と判定される。
【００４５】
なお、ここに例示した判定条件は、日本人の平均的な黒目と白目の色を想定したものであり、想定する人種の違い等によって判定条件を適宜変更する必要がある。
【００４６】
図５のステップ１３３の検出のアルゴリズム例を図２０及び図２１を参照して説明する。図２０のステップ６０１で、連続した（相互に接続した、もしくは、相互の距離が一定値以下の）目の色の画素（黒目画素及び白目画素）の塊に外接する矩形を作成する。次のステップ６０２で、それら外接矩形の中で面積が最大の外接矩形と、その次に面積が大きな外接矩形を、それぞれ目の領域として検出する。すなわち、図２１に模式的に示すような目に外接する矩形領域６１０が、目の領域として検出される（左右の目の領域が検出されるが、その一方のみ図２１に示されている）。そしてステップ６０３で、それぞれの目の領域の中心位置と、目の領域内部の黒目画素群の中心位置が瞳６１２（又は黒目６１２）の位置として検出される。
【００４７】
この実施例に係る関心度合認識部１０３は、以上に説明したように構成はやや複雑であるが、次に説明する脈拍数や特定操作部の状態に基づいて関心度合を認識するものと違い、利用者の手指が常時触れるような操作部や関心度合を推定できるような特定の操作部を備えない画像表示装置にも適用できるという利点を有する。
【００４８】
図７は、関心度合認識部１０３の別の実施例を示すブロック図である。本実施例に係る関心度合認識部１０３は、利用者の脈拍数から関心度合の高低を認識するものであり、脈拍検知手段１５０、脈拍数検出手段１５１及び脈拍数判定手段１５２からなる。
【００４９】
脈拍検知手段１５０は、例えば光学式脈拍センサであり、発光ダイオードなどの発光素子により利用者の手指などに光を照射し、その反射光又は透過光をフォトトランジスタなどの受光素子により受光し、血中のヘモグロビンの濃淡に応じた信号を出力する。脈拍数検出手段１５１は、脈拍検知手段１５０からの信号から脈波を検出し、脈波の時間間隔から利用者の脈拍数を算出する手段である。脈拍数判定手段１５２は、脈拍数検出手段１５１により検出された脈拍数と所定値とを比較判定する手段であり、その判定結果が関心度合認識部１０３の認識結果である。すなわち、脈拍数が所定値を越えないときに関心度合は低いと認識され、脈拍数が所定値を越えたときに関心度合は高いと認識され、その認識結果を示す信号が脈拍数判定手段１５２より出力される。この信号が関心度合認識部１０３の出力信号として表示画像選択部１０１に入力される。
【００５０】
遊技機のような画像表示装置の場合には、装置本体又は装置本体から分離したコントローラユニットに、利用者が常に指又は手を触れている操作部を備えていることが多い。例えば、パチンコの場合には、玉の打ち出しを調節するためのダイヤル状の操作部がある。携帯型遊技機には、いわゆる十字キーのような、ほぼ常時、利用者の手指が接触する操作部が設けられる。このような操作部に脈拍検知手段１５０としての脈拍センサなどを組み込むと効果的である。
【００５１】
パチンコを例に説明する。図８はパチンコの模式的な正面図であり、１６０は装置本体、１６１は画像表示部分、１６２は玉の打ち出しを調節するために利用者が通常右手で操作するダイヤル状の操作部である。１６３はいわゆる連打ボタンであり、操作部１６２又は装置本体１６０に設けられる。図示しないが、脈拍検知手段１５０としての脈拍センサを操作部１６２の例えば利用者の手指が触れる外周部分に組み込むことにより、利用者の脈拍数を検出して関心度合の高低を認識することができる。
なお、装置本体やコントローラユニットの一部を手で握って操作するような遊技機などの場合には、その手で握られる部分に脈拍センサを設けるようにしてもよい。また、イヤホンを使用する画像表示装置の場合には、イヤホンの内部に脈拍センサを組み込むこともできる。多少の煩わしさを厭わないのであれば、脈拍センサを手指や手首に装着することも可能であり、この場合には感圧式の脈拍センサを用いることもできる。
【００５２】
図９は、関心度合認識部１０３の別の実施例を示すブロック図である。本実施例に係る関心度合認識部１０３は、利用者によって操作される特定の操作手段の操作状態から利用者の関心度合の高低を認識するものであり、操作手段１７０と状態判定手段１７１からなる。
【００５３】
操作手段１７０は、例えば図８に示す連打ボタン１６３のように、それが操作されている時には利用者の関心度合が高いと推定されるような特殊な操作ボタンなどである。状態判定手段１７１は、操作手段１７０の状態（例えばオン、オフ）を判定する手段であり、その判定結果が関心度合認識部１０３の認識結果である。すなわち、操作手段１７０が操作されている状態と判定された時には関心度合は高いと認識され、操作されていない状態と判定された時には関心度合は低いと認識されることになる。この認識結果を示す信号が状態判定手段１７１より出力され、この信号は関心度合認識部１０３の出力信号として表示画像選択部１０１に入力される。
【００５４】
＜実施形態２＞
図１０は本発明の実施形態２を説明するためのブロック図である。この実施形態に係る画像表示装置は、２以上の動画像を入力する画像入力部２００と、この画像入力部２００により入力される２以上の動画像から表示させる動画像を選択する（表示画像を切り替える）表示画像選択部２０１と、この表示画像選択部２０１により選択された動画像を画面表示する画像表示部２０２と、当該画像表示装置の利用者の関心度合が低いか高いかを認識する関心度合認識部２０３とから構成される。関心度合認識部２０３から、関心度合の高低を示す信号が表示画像選択部２０１に入力される。
【００５５】
本実施形態においては、画像入力部２００により入力される動画像は、圧縮された符号データであるため、入力される２以上の動画像を復号するための２以上の復号部２０４＿１〜２０４＿ｎが設けられている。ただし、復号部２０４の数を動画像数より少なくし、１つの復号部２０４で時分割処理によって複数の動画像の復号を行うようにすることも可能である。表示画像選択部２０１には、復号部２０４で復号された動画像の画素データが入力される。
【００５６】
一実施例によれば、画像入力部２００は、このような複数の動画像を例えば大容量記憶装置や大容量記録媒体から読み出し入力する構成とされる。
【００５７】
別の実施例によれば、画像入力部２００は、ネットワークを通じて動画像の符号データを受信し入力する構成とされる。この場合に、受信した複数の動画像の符号データを記憶装置に一旦蓄積した後、その記憶装置より読み出して入力する形態と、受信した動画像をそのまま入力する形態のいずれもとり得る。後者の形態の場合には、動画像の受信動作と並行して、復号動作、表示画像選択動作及び画像表示動作が実行されることになる。
【００５８】
本実施形態においては、入力される２以上の動画像のそれぞれについてフレーム毎の動き量を推定するための動き量推定部２０５＿１〜２０５＿ｎが設けられている（動き量推定の方法については後述）。表示画像選択部２０１には、各動き量推定部２０５より推定された動き量を示す信号が入力される。
【００５９】
関心度合認識部２０３は、前記実施形態１における関心度合認識部１０３（図１）と同様の構成であるので、その説明は繰り返さない。
【００６０】
図１１に、表示画像選択部２０１における画像選択制御の処理フローを示す。表示画像選択部２０１は、例えば一定の時間間隔で、関心度合認識部２０３から入力される信号によって認識された利用者の関心度合が高いか否かを調べ（ステップ２１０）、関心度合が高いときには（ステップ２１０，Ｙｅｓ）、画像入力部１００より入力された２以上の動画像の中から、推定された動き量が最大の動画像を選択する（ステップ２１１）。すなわち、利用者の関心度合が高い時には、利用者の目の負担は大きいがゲームなどを盛り上げる効果の高い動きの激しい動画像を表示させる。関心度合が低いときには（ステップ２１０，Ｎｏ）、入力された２以上の動画像の中から、推定された動き量が最小の動画像を選択する（ステップ２１２）。すなわち、利用者の関心度合が低い時には、利用者の目の疲労の軽減を優先し、目の負担の少ない動きの遅い動画像を表示させるわけである。このような画像選択を行うために、当然のことながら、表示画像選択部２０１は、動き量推定部２０５＿１〜２０５＿ｎより入力される信号で示される推定動き量の中から、最大の動き量と最小の動き量を検出する手段を含んでおり、ステップ２１１では検出された最大の動き量に対応した動画像を選択し、ステップ２１２では検出された最小の動き量に対応した動画像を選択する。
【００６１】
このように、基本的には図３に関連して説明したと同様の動画像の選択を行う。ただし、本実施形態においては、特定の２つの動画像のいずれかが表示されるわけではなく、入力される２以上の動画像中で、その時々の推定動き量が最大又は最小の動画像が選択されて表示される。なお、前記実施形態１に関連して述べたように、表示画像の切り替えが余りにも短周期で起きると、表示画像を見ている者に違和感を感じさせる場合があり得る。このような不都合を避けるために、所定の複数フレーム（例えば１５０フレーム）の間隔で動き量の推定と図１１に示す手順を実行するのが好ましいであろう。
【００６２】
なお、復号器２０４を設けず、画像表示部２０２に復号機能を持たせ、表示画像選択部２０１より選択した動画像の符号データを画像表示部２０２に入力する構成とすることも可能であり、かかる態様も本発明に含まれる。あるいは、復号部２０４を設けず、表示画像選択部２０１に復号機能を持たせ、表示画像選択部２０１において選択した動画像の符号データを復号してから画像表示部２０２へ送るように構成することも可能であり、かかる態様も本発明に含まれる。
【００６３】
次に、動き量推定部２０５について説明する。ここでは、入力される動画像として、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００のインターレース動画像を想定する。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像は、各フレームがＪＰＥＧ２０００のアルゴリズムによりフレーム内符号化されたものである。動き量推定の説明に必要な限度で、ＪＰＧ２０００の圧縮アルゴリズムの概要について説明する。
【００６４】
図１２は、ＪＰＥＧ２０００の圧縮アルゴリズムを説明するためのブロック図である。ＪＰＥＧ２０００では、画像を重複しない矩形領域（タイル）に分割し、タイル単位で処理が行われる。例えばＲＧＢカラー画像の場合、各タイルの画像データは、色空間変換部３００でＹＣｂＣｒもしくはＹＵＶへの色空間変換を施される。そして、２次元ウェーブレット変換部３０１でコンポーネント毎に２次元のウェーブレット変換（離散ウェーブレット変換）を適用され、複数のサブバンドに分解される。
【００６５】
図１３は２次元ウェーブレット変換の説明図である。（ａ）に示すタイル画像に２次元ウェーブレット変換を１回適用することにより、（ｂ）に示す１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分解される。１ＬＬサブバンドに対し２次元ウェーブレット変換が適用されることにより、１ＬＬサブバンドは（ｃ）に示す２ＬＬ，２ＨＬ，２ＬＨ，１ＨＨの各サブバンドに分解される。２ＬＬサブバンドに２次元ウェーブレット変換を適用することにより、２ＬＬサブバンドは（ｄ）に示す３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨの各サブバンドに分解される。ここで、ＬＬ，ＨＬ，ＬＨ，ＨＨの接頭の数字は、そのサブバンドの係数が何回のウェーブレット変換により得られたかを示すもので、デコンポジション（分解）レベルと呼ばれる。
【００６６】
ウェーブレット変換として非可逆の９×７変換が用いられた場合には、量子化部３０２でウェーブレット変換係数はサブバンド毎に線形量子化される。その後、ウェーブレット未変換係数は、エントロピー符号化部３０３によりサブバンド毎にビットプレーン符号化される（詳しくは各ビットプレーンは３つのサブビットプレーンに分割されて符号化される）。そして、タグ処理部３０４において、得られた符号の中から不要な符号がトランケートされ、必要な符号がまとめられてパケットが生成され、パケットを必要な順番に並べるとともにタグ又はタグ情報が付加されることにより符号データ（コードストリーム）が形成される。このようなＪＰＥＧ２０００の符号データは、それを復号することなく、サブバンド毎の符号量を容易に計算することができる。
【００６７】
さて、各フレームが飛び越し走査により偶数フィールドと奇数フィールドとに分けて撮像されたインターレース動画像の場合、各フレームの偶数フィールドと奇数フィールドの間で被写体が水平方向に移動すると、被写体の縦エッジ部に、櫛型状の１ラインおきの水平方向エッジが生じ、この水平方向エッジの長さは被写体の移動速度に比例する。この様子を図１４に模式的に示す。ビデオカメラで撮影した動画像などにおける被写体の動きとしては水平方向の動きが圧倒的に多いため、上記櫛型の水平方向エッジの長さを、動画像の各フレームにおける動き量の尺度として用いることができる。
【００６８】
上記櫛型の水平方向エッジの長さは、各フレームの符号データにおける１ＬＨサブバンドの符号量に敏感に反映されるが、それ以外のサブバンドの符号量にはほとんど影響を及ぼさない。このことに着目し、各フレームの特定のサブバンドの符号量に基づいて動き量（被写体の移動速度）を推定することができる。
【００６９】
一実施例によれば、動き量推定部２０５は、図１５に示すアルゴリズムによって各フレームの動き量を推定する。まず、動画像の各フレームの符号データより、１ＬＨサブバンドについての符号量ｓｕｍ１ＬＨを算出し（ステップ２２０）、次に１ＨＬサブバンドについての符号量ｓｕｍ１ＨＬを算出する（ステップ２２１）。そして、符号量ｓｕｍ１ＬＨを符号量ｓｕｍ１ＨＬで除算することにより動き量ｓｐｅｅｄを算出する（ステップ２２２）。
この動き量推定にはＹコンポーネント（輝度成分）を用いる。色差成分は間引かれることが多く、被写体が移動しても櫛型が現れにくいためである。
【００７０】
別の実施例によれば、図示しないが、動き量推定部２０５において、１ＬＨ，１ＨＬ，２ＬＨ，２ＨＬの各サブバンドの符号量ｓｕｍ１ＬＨ，ｓｕｍ１ＨＬ，ｓｕｍ２ＬＨ，ｓｕｍ２ＨＬが算出され、動き量として
ｓｐｅｅｄ＝（ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬ）／（ｓｕｍ２ＬＨ／ｓｕｍ２ＨＬ）
が算出される。かかる態様も本発明に含まれる。
【００７１】
なお、２次元ウェーブレット変換を用いるＪＰＥＧ２０００以外の符号化方式によりフレーム内符号化されたインターレース動画像についても、同様の特定のサブバンドの符号量を用いた動き量推定が可能である。
【００７２】
また、本実施形態において、動き量推定方法は適宜変更する必要があるが、基本的には動画像の符号化方式は任意であり、インターレース動画像でもノンインターレース動画像でもよい。
【００７３】
以上、主としてパチンコなどの遊技機を例に本発明に係る画像表示装置について説明したが、本発明は遊技機以外の画像表示機能を備える各種機器にも広く適用可能であることは明らかである。
【００７４】
また、図示しないが、本発明に係る画像表示装置を構成する各手段として、パソコンなどの汎用コンピュータやマイクロコンピュータのようなコンピュータを機能させるための１以上のプログラムをコンピュータにロードし実行させることにより、そのコンピュータを本発明に係る画像表示装置として動作させることができる。このような１以上のプログラム、及び、それが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの各種情報記録（記憶）媒体も、本発明に包含される。
【００７５】
また、本発明に係る画像表示装置の処理手順についての以上の説明は、本発明に係る画像表示制御方法の説明でもあることは明らかである。よって、本発明に係る画像表示制御方法についての説明は繰り返さない。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施形態１に係る画像表示装置のブロック図である。
【図２】図１中の表示画像選択部における画像選択制御を説明するためのフローチャートである。
【図３】関心度合の変化に応じた動画像の切り替えの説明図である。
【図４】関心度合認識部の一実施例を示すブロック図である。
【図５】図４中の視線方向認識処理手段の認識アルゴリズムを説明するためのフローチャートである。
【図６】視線方向検出の説明図である。
【図７】関心度合認識部の別の実施例を示すブロック図である。
【図８】画像表示装置の平面形態の一例を示す模式的平面図である。
【図９】関心度合認識部の別の実施例を示すブロック図である。
【図１０】本発明の実施形態２に係る画像表示装置のブロック図である。
【図１１】図１０中の表示画像選択部における画像選択制御を説明するためのフローチャートである。
【図１２】ＪＰＥＧ２０００の符号化アルゴリズムを説明するためのブロック図である。
【図１３】２次元ウェーブレット変換の説明図である。
【図１４】インターレース動画像の櫛型についての説明図である。
【図１５】図１０中の動き量推定部の推定アルゴリズムを説明するためのフローチャートである。
【図１６】肌色領域検出アルゴリズムを説明するためのフローチャートである。
【図１７】肌色画素検出アルゴリズムを説明するためのフローチャートである。
【図１８】黒目画素検出アルゴリズムを説明するためのフローチャートである。
【図１９】白目画素検出アルゴリズムを説明するためのフローチャートである。
【図２０】目の領域検出アルゴリズムを説明するためのフローチャートである。
【図２１】目の領域、瞳及び黒目を示す模式図である。
【符号の説明】
【００７７】
１００ 画像入力部
１０１ 表示画像選択部
１０２ 画像表示部
１０３ 関心度合認識部
２００ 画像入力部
２０１ 表示画像選択部
２０２ 画像表示部
２０３ 関心度合認識部
２０４ 復号部
２０５ 動き量推定部
【技術分野】
【０００１】
本発明は、画像表示機能を有する様々な機器（本明細書において画像表示装置と総称する）の分野に係り、より詳細には、そのような画像表示装置において利用者の状態を考慮して表示画像を切り替える技術に関する。
【背景技術】
【０００２】
撮影者の視線を検知し、動画像又は連写静止画像の視線位置を含む領域について、それ以外の領域より圧縮率を下げて符号化を行うデジタルビデオカメラ等の画像処理装置が知られている（例えば特許文献１参照）。
【０００３】
自動車の運転席前方に設けられた撮影手段により運転者の顔面を撮影し、撮影画像から運転者の顔の向き及び視線の方向を求め、運転者の顔の向き及び視線の方向に基づいて運転補助装置の作動を制御する運転操作補助装置が知られている（例えば特許文献２参照）。同種の視線検出については例えば特許文献３にも記載されている。
【０００４】
脈拍数については様々な検出方法が実用化されているが、その１つが反射型又は透過型の光学式脈拍センサを用いる方法である（例えば特許文献４，５参照）。また、感圧センサを用いて脈圧を検出することにより脈拍数を測定する方法もある（例えば特許文献６参照）。
【０００５】
【特許文献１】特開2001-333430号公報
【特許文献２】特許第32280886号公報
【特許文献３】特開平5-298015号公報
【特許文献４】特開平7-124131号公報
【特許文献５】特開平9-253062号公報
【特許文献６】特開平5-31085号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
近年、高度な画像表示機能を有する機器の普及がめざましい。例えば、近年のパチンコやリズム系ゲーム機などは、まるで画像表示性能を競い合うかのように、ダイナミックな３次元画像や動きの激しい動画像を表示するものが多い。このような画像は利用者を興奮させ、ゲームの面白さを増すものではあるが、それを見続けると利用者の目の疲労が激しいという問題がある。
【０００７】
このことに鑑み、本発明は、利用者の関心度合に応じて表示する画像を切り替えることにより、利用者の興を削ぐことなく利用者の目の負担の軽減を図ったパチンコ、リズム系ゲーム機などの遊技機、その他の画像表示機能を有する各種機器（前述のように画像表示装置と総称する）及びその画像表示制御方法を提供することを目的とする。
【０００８】
ここで、表示画像の切換とは、用意された複数の画像の中から表示させる画像を選択することであり、例えば、３次元画像から２次元画像への切り替えもしくは逆の切り替え、動画像から静止画像への切り替えもしくはは逆の切り替え、又は、動きの速い動画像から動きの遅い動画像への切り替えもしくは逆の切り替えなどである。利用者の関心度合とは、利用者の関心の強弱のことであるが、これは時々刻々と変化するのが通常である。本発明は、このような利用者の関心度合の高低を認識することにより、表示させる画像の選択を制御する。
【課題を解決するための手段】
【０００９】
請求項１記載の発明は、複数の画像を入力する画像入力手段と、この画像入力手段により入力される複数の画像の中から表示させる画像を選択する表示画像選択手段と、この表示画像選択手段により選択された画像を表示する画像表示手段と、利用者の関心度合が低いか高いかを認識する関心度合認識手段とを有し、前記表示画像選択手段は、前記関心度合認識手段による認識結果に基づいて選択する画像を決定することを特徴とする画像表示装置である。
【００１０】
請求項２記載の発明は、請求項１記載の発明による画像表示装置であって、前記複数の画像には２次元画像と３次元画像が含まれ、前記表示画像選択手段は、前記関心度合認識手段により関心度合が低いと認識された時には前記複数の画像中の２次元画像を選択し、前記関心度合認識手段により関心度合が高いと認識された時には前記複数の画像中の３次元画像を選択することを特徴とする画像表示装置である。
【００１１】
請求項３記載の発明は、請求項１記載の発明による画像表示装置であって、前記複数の画像には静止画像と動画像が含まれ、前記表示画像選択手段は、前記関心度合認識手段により関心度合が低いと認識された時には前記複数の画像中の静止画像を選択し、前記関心度合認識手段により関心度合が高いと認識された時には前記複数の画像中の動画像を選択することを特徴とする画像表示装置である。
【００１２】
請求項４記載の発明は、請求項１記載の発明による画像表示装置であって、前記複数の画像には動き量の小さな動画像と動き量の大きな動画像が含まれ、前記表示画像選択手段は、前記関心度合認識手段により関心度合が低いと認識された時には前記複数の画像中の動き量の小さな動画像を選択し、前記関心度合認識手段により関心度合が高いと認識された時には前記複数の画像中の動き量の大きな動画像を選択することを特徴とする画像表示装置である。
【００１３】
請求項５記載の発明は、複数の動画像を入力する画像入力手段と、この前記画像入力手段により入力される複数の動画像の中から表示させる動画像を選択する表示画像選択手段と、この表示画像選択手段により選択された動画像を表示する画像表示手段と、利用者の関心度合が低いか高いかを認識する関心度合認識手段と、前記複数の動画像のそれぞれの動き量を推定する動き量推定手段とを有し、前記表示画像選択手段は、前記関心度合認識手段により関心度合が低いと認識された時には前記複数の動画像中の前記動き量推定手段により推定された動き量が最小の動画像を選択し、前記関心度合認識手段により関心度合が高いと認識された時には前記複数の動画像中の前記動き量推定手段により推定された動き量が最大の動画像を選択することを特徴とする画像表示装置である。
【００１４】
請求項６記載の発明は、請求項５記載の画像表示装置であって、前記画像入力手段はネットワーク経由で画像を受信する手段からなることを特徴とする画像表示装置である。
【００１５】
請求項７記載の発明は、請求項６記載の発明による画像表示装置であって、前記複数の動画像に対する前記動き量推定手段による動き量推定及び前記表示画像選択手段による動画像選択が、前記画像入力手段による前記複数の動画像の受信と並行して行われることを特徴とする画像表示装置である。
【００１６】
請求項８記載の発明は、請求項５記載の発明による画像表示装置であって、前記複数の動画像はそれぞれ２次元ウェーブレット変換を用いる符号化方式により符号されたインターレース動画像であり、前記動き量推定手段は動画像の特定のサブバンドについての符号量に基づいて動き量を推定することを特徴とする画像表示装置である。
【００１７】
請求項９記載の発明は、請求項１乃至８のいずれか１項記載の発明による画像表示装置であって、前記関心度合認識手段は利用者の視線の移動量から関心度合が低いか高いかを認識する手段であることを特徴する画像表示装置である。
【００１８】
請求項１０記載の発明は、請求項１乃至８のいずれか１項記載の発明による画像表示装置であって、前記関心度合認識手段は利用者の脈拍数から関心度合が低いか高いかを認識する手段であることを特徴する画像表示装置である。
【００１９】
請求項１１記載の発明は、請求項１乃至８のいずれか１項記載の発明による画像表示装置であって、利用者により操作される特定の操作手段を有し、前記関心度合認識手段は前記特定の操作手段の操作状態から関心度合が低いか高いかを認識する手段であることを特徴とする画像表示装置である。
【００２０】
請求項１２記載の発明は、画像を表示する機能を有する画像表示装置の画像表示制御方法であって、複数の画像より表示させる画像を選択する表示画像選択工程と、
利用者の関心度合が低いか高いかを認識する関心度合認識工程とを有し、
前記表示画像選択工程は前記関心度合認識工程による認識結果に基づいて選択する画像を決定することを特徴とする画像表示制御方法である。
【００２１】
請求項１３記載の発明は、画像を表示する機能を有する画像表示装置の画像表示制御方法であって、複数の動画像より表示させる動画像を選択する表示画像選択工程と、前記複数の動画像のそれぞれについて動き量を推定する動き量推定工程と、利用者の関心度合が低いか高いかを認識する関心度合認識工程とを有し、前記表示画像選択工程は、前記関心度合認識工程により関心度合が低いと認識された時には前記複数の動画像中の前記動き量推定工程で推定された動き量が最小の動画像を選択し、前記関心度合認識工程により関心度合が高いと認識された時には前記複数の動画像中の前記動き量推定工程で推定された動き量が最大の動画像を選択することを特徴とする画像表示制御方法である。
【００２２】
請求項１４記載の発明は、請求項１乃至１１のいずれか１項記載の発明による画像表示装置の各手段としてコンピュータを機能させるプログラムである。
【００２３】
請求項１５記載の発明は、請求項１乃至１１のいずれか１項記載の発明による画像表示装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。
【発明の効果】
【００２４】
請求項１〜１３に記載の発明によれば、パチンコ、リズム系ゲーム機などの遊技機、その他の画像表示機能を備える各種の機器において、利用者の関心度合が高い時には、例えばゲームなどを盛り上げる効果の高い３次元画像や動きの激しい動画像を表示させる一方、利用者の関心度合が低い時は、例えば利用者の目に負担の少ない２次元画像や静止画像もしくは動きの遅い動画像を表示させることにより、利用者の興を削ぐことなく、利用者の目の疲労を軽減することができる。請求項５に記載の発明によれば、２以上の動画像の中から、その時々の動き量が最大の動画像又は最小の動画像を利用者の関心度合に応じて表示させることができる。請求項１４，１５に記載の発明によれば、請求項１〜１１に記載の発明に係る画像表示装置を、コンピュータを利用し容易に実現することができる等々の効果を得られる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態について、図面を用い説明する。
【００２６】
＜実施形態１＞
図１は本発明の実施形態１を説明するためのブロック図である。この実施形態に係る画像表示装置は、例えばパチンコやリズム系ゲーム機のような遊技機であり、予め用意された２以上の画像を入力する画像入力部１００と、この画像入力部１００により入力される２以上の画像から表示させる画像を選択する（表示画像を切り替える）表示画像選択部１０１と、この表示画像選択部１０１により選択された画像を画面表示する画像表示部１０２と、当該画像表示装置の利用者の関心度合が低いか高いかを認識する関心度合認識部１０３とから構成される。関心度合認識部１０３からは関心度合の高低を示す信号が出力され、この信号は表示画像選択部１０１に入力される。この信号から表示画像選択部１０１は関心度合の高低を知ることができる。
【００２７】
本実施形態においては、画像入力部１００により入力される画像は、直ちに表示可能な画素データである。一実施例によれば、画像入力部１００は、このような複数の画像を例えば大容量記憶装置や大容量記録媒体から読み出し入力する構成とされる。別の実施例によれば、画像入力部１００は、大容量記憶装置や大容量記録媒体に圧縮された符号データの形で蓄積されている画像を読み出し、それを復号してから入力する構成とされる。別の実施例によれば、画像入力部１００は、ネットワークを通じて画像の符号データを受信し、それを復号して入力する構成とされる。
【００２８】
図２に、表示画像選択部１０１における画像選択制御の処理フローを示す。表示画像選択部１０１は、例えば一定の時間間隔で、関心度合認識部１０３の出力信号を調べることにより、関心度合認識部１０３により認識された利用者の関心度合が高いか否かを判定し（ステップ１１０）、関心度合が高いときには（ステップ１１０，Ｙｅｓ）、画像入力部１００より入力された２以上の画像の中からゲームを盛り上げる効果の高い画像を選択する（ステップ１１１）。関心度合が低いときには（ステップ１１０，Ｎｏ）、入力された２以上の画像の中から利用者の目に負担の少ない画像を選択する（ステップ１１２）。このような画像選択の具体例を次に示す。
【００２９】
一実施例によれば、入力される２以上の画像に、インパクトのある３次元画像と、目の疲労の少ない２次元画像が含まれ、ステップ１１１ではその３次元画像が選択され、ステップ１１２ではその２次元画像が選択される。すなわち、３次元画像と２次元画像が用意されている場合に、利用者がゲームに強い関心を抱いた時にはインパクトのある３次元画像を表示させるが、利用者の関心が低い時には目の疲労の少ない２次元画像を表示させるわけである。
【００３０】
別の実施例によれば、入力される２以上の画像に動画像と静止画像が含まれ、ステップ１１１では動画像が選択され、ステップ１１２では静止画像が選択される。すなわち、動画像と静止画像が用意されている場合に、利用者の関心度合が高い時にはダイナミックな動画像を表示させるが、関心度合が低い時には目の疲労を軽減するために静止画像を表示させる。
【００３１】
別の実施例によれば、入力される２以上の画像に、動き量の大きいことが既知の動画像と、動き量の小さいことが既知の動画像が含まれ、ステップ１１１ではその動き量の大きな動画像が選択され、ステップ１１２では動き量の小さな動画像が選択される。すなわち、動き量の大きな動画像と動き量の小さな動画像が用意されている場合に、利用者の関心度合が高い時には動き量の大きな動画像を表示させるが、関心度合が低い時には動き量の小さな動画像を表示させる。
【００３２】
なお、このような動画像の切り替えは、図３に示すように、フレーム周期に合わせて行う必要がある。図３において、Ａは動き量の小さな動画像のフレーム、Ｂは動き量の大きな動画像のフレームであり、関心度合が高くなると動き量の大きな動画像のフレームＢが表示され、その後、関心度合が低くなると動き量の小さな動画像のフレームＡが表示される様子が模式的に示されている。ただし、このような動画像の切り替えが余りにも短周期で起きると、表示画像を見ている者に違和感を感じさせる場合があり得る。このような不都合を避けるために、所定の複数フレーム（例えば１５０フレーム）の間隔で図２のような手順を実行するのが好ましいであろう。同様の不都合は、３次元画像と２次元画像の間での切り替えの場合でも動画像と静止画像の間での切り替えの場合でも起こり得るので、ある程度の長さの時間間隔で図２の手順を実行するのが好ましいであろう。
【００３３】
関心度合認識部１０３は、利用者の生理的反応や特定の行動などから関心度合が低いか高いかを認識する手段であり、様々な構成をとり得る。例えば、利用者がゲームの展開などに強い関心を持っている時には、通常、画像表示部１０２の表示画面を凝視し視線移動が少ない。したがって、利用者の視線の移動量から関心度合の高低を認識可能である。また、利用者のゲームの展開への関心が高まると利用者の脈拍数（もしくは心拍数）が増加する傾向があることから、利用者の脈拍数から関心度合の高低を認識可能である。また、パチンコなどでは、いわゆる連打ボタンもしくは連射ボタンといった、それが操作される時には利用者の関心度合が高いと推定される特定の操作手段を備えることが多いため、そのような特定の操作手段の操作状態（スイッチのオン、オフなど）から利用者の関心度合の高低を認識することも可能である。
【００３４】
図４は、関心度合認識部１０３の一実施例を示すブロック図である。本実施例に係る関心度合認識部１０３は、利用者の視線の移動量から関心度合の高低を認識するものであり、撮像手段１２０、視線方向認識処理手段１２１及び視線移動量判定手段１２２から構成される。
【００３５】
撮像手段１２０は利用者の顔を撮影する手段であり、例えば画像表示装置に装備されたＣＣＤカメラである。視線方向認識処理手段１２１は、撮像手段１２０より入力される画像データから利用者の視線方向を認識する手段である。視線移動量判定手段１２２は、視線方向認識処理手段１２１により認識された視線方向から所定時間内の視線の移動量を算出し、その移動量が所定の値を越えるか否かを判定する手段であり、その判定結果が関心度合認識部１０３の認識結果である。すなわち、視線の移動量が所定値を越えないときに関心度合は高いと認識され、視線の移動量が所定値を越えたときに関心度合は低いと認識されたことになり、このような判定結果つまり関心度合が高いか低いかを示す信号が視線移動量判定手段１２２より出力される。この信号が、関心度合認識部１０３の出力信号となる。
【００３６】
図５は視線方向認識処理手段１２１の視線方向算出アルゴリズムの一例を説明するためのフローチャートである。図６は利用者の視線方向の算出方法を説明するための模式図であり、１４０は真上から見た利用者の頭部を表し、１４１，１４２は利用者の目を表す。１４３は利用者が画像表示装置の表示画面を真正面から見た時の視線の方向を表し、１４４は利用者の顔の正面方向を表し、１４５はその時の利用者の視線方向を表す。
【００３７】
図５を参照する。撮像手段１２０により撮影された画像データより肌色領域を検出する（ステップ１３０）。次に、検出した肌色領域の中で一番面積の大きな領域を顔領域として検出する（ステップ１３１）。次に、検出した顔領域の中から目の色の領域を検出する（ステップ１３２）。次に、その目の色の領域の中で面積の大きな２つの領域を目の領域として検出するとともに、それぞれの目の領域の中心位置と、瞳もしくは黒目の位置を検出する（ステップ１３３）。なお、黒目の中心を瞳の位置として検出してよい。次に顔領域と両目の領域の位置から、左目と右目の中心から顔面に垂直にのばした線の方向すなわち顔の正面方向１４４と方向１４３のなす角度α（図６参照）を算出する（ステップ１３４）。次に、目の領域の中心からの瞳（又は黒目）の位置のずれから、顔の正面方向１４４と視線方向１４５のなす角度β（図６参照）を算出する（ステップ１３５）。最後に、αとβを加算することにより、方向１４３に対する視線方向１４５の角度θを算出する（ステップ１３６）。
【００３８】
視線移動量判定手段１２２は、ある時点でのθと、それから所定時間を経過した時点でのθの差（絶対値）を視線移動量として求め、これと所定値との大小判定を行うことになる。なお、視線移動量を水平方向及び垂直方向それぞれについて求め、その合計を視線移動量とするのが精度的には好ましいが、ここでは関心度合の高低を認識するための目安として利用できる程度の精度で視線移動量を検出できれば十分であるため、簡便には水平方向又は垂直方向についてのみ視線移動量を算出することも可能である。
【００３９】
ステップ１３０における肌色領域検出のアルゴリズム例を、図１６及び図１７に示すフローチャートを参照し説明する。図１６のステップ４０１で、撮像手段１２０より入力された画像データの全画素を対象として肌色画素を検出する。画像データがＲ，Ｇ，Ｂの３コンポーネントからなり、各コンポーネントの値ｒ，ｇ，ｂが８ビットで表され０から２５５までの値をとるものとすると、例えば図１７に示すような条件判定によって肌色画素と非肌色画素が識別される。ただし、ここに例示した判定条件は、日本人の平均的な肌色を想定したものであり、想定する人種の違い等によって判定条件を適宜変更する必要がある。
【００４０】
図１７のステップ４１１で、注目した画素のｒ，ｇ，ｂ値について”ｒ＜ｇ＜ｂ”の条件が満たされるか調べる。この条件が満たされるならば、ステップ４１２で”３０＜ｂ＜１５０”の条件が満たされるか調べる。この条件が満たされるならば、次のステップ４１３で”ｂ×1.1＜ｇ＜ｂ×1.4”の条件が満たされるか調べる。この条件が満たされるならば、ステップ４１４で”ｇ＋ｂ×1.1＜ｒ＜ｇ＋ｂ×1.4＋１５”の条件が満たされるか調べる。この条件が満たされたとき、つまりステップ４１１〜４１４の全てで条件が満たされたときに、ステップ４１５で注目した画素が肌色画素と判定される。ステップ４１１〜４１４のいずれかで条件が満たされないときには、ステップ４１６で注目した画素が非肌色画素と判定される。
【００４１】
図１６に戻る。ステップ４０２で、連続した（相互に接続した、もしくは、相互の距離が一定値以下の）肌色画素の塊に外接する矩形を作成する。ここで作成された外接矩形の中で最大の外接矩形の内部の領域が、図５のステップ１３１で顔領域として検出されることになる。
【００４２】
図５のステップ１３２における目の色検出のアルゴリズム例を図１８及び図１９に示すフローチャートを参照して説明する。ステップ１３２では、直前のステップ１３１で検出された顔領域より、黒目に相当する色の画素（黒目画素）と、白目に相当する色の画素（白目画素）を検出する。図１８は黒目画素の検出アルゴリズム例を示し、図１９は白目画素の検出アルゴリズム例を示す。ただし、各画素のＲ，Ｇ，Ｂコンポーネントの値ｒ，ｇ，ｂは８ビットで表され、０から２５５までの値をとるものとしている。
【００４３】
まず、図１８を参照し、黒目画素の検出について説明する。ステップ５０１で、注目した画素について”０＜ｒ＜６０かつ０＜ｂ＜５０かつ０＜ｇ＜５０”の条件が満たされるか調べる。この条件が満たされるならば、ステップ５０４で注目した画素は黒目画素と判定される。ステップ５０１での条件が満たされないならば、ステップ５０２で”−２０＜ｒ×２−ｇ−ｂ＜２０”の条件が満たされるか調べ、その条件が満たされないならばステップ５０４で注目した画素は黒目画素と判定される。ステップ５０２での条件が満たされるならば、ステップ５０３で”６０≦ｒ＜１５０”の条件が満たされるか調べ、この条件が満たされるならばステップ５０４で注目した画素は黒目画素と判定されるが、条件が満たされないならばステップ５０５で注目した画素は非黒目画素と判定される。
【００４４】
次に、図１９を参照し、白目画素の検出について説明する。ステップ５１１で注目した画素について”ｒ＞２００”の条件が満たされるか調べる。この条件が満たされるならば、ステップ５１２で”ｇ＞１９０”の条件が満たされるか調べる。この条件が満たされるならば、ステップ５１３で”ｂ＞１９０”の条件が満たされるか調べ、条件が満たされるならばステップ５１４で注目した画素は白目画素と判定される。ステップ５１１，５１２，５１３のいずれかの条件が満たされないならば、ステップ５１５で注目した画素は非白目画素と判定される。
【００４５】
なお、ここに例示した判定条件は、日本人の平均的な黒目と白目の色を想定したものであり、想定する人種の違い等によって判定条件を適宜変更する必要がある。
【００４６】
図５のステップ１３３の検出のアルゴリズム例を図２０及び図２１を参照して説明する。図２０のステップ６０１で、連続した（相互に接続した、もしくは、相互の距離が一定値以下の）目の色の画素（黒目画素及び白目画素）の塊に外接する矩形を作成する。次のステップ６０２で、それら外接矩形の中で面積が最大の外接矩形と、その次に面積が大きな外接矩形を、それぞれ目の領域として検出する。すなわち、図２１に模式的に示すような目に外接する矩形領域６１０が、目の領域として検出される（左右の目の領域が検出されるが、その一方のみ図２１に示されている）。そしてステップ６０３で、それぞれの目の領域の中心位置と、目の領域内部の黒目画素群の中心位置が瞳６１２（又は黒目６１２）の位置として検出される。
【００４７】
この実施例に係る関心度合認識部１０３は、以上に説明したように構成はやや複雑であるが、次に説明する脈拍数や特定操作部の状態に基づいて関心度合を認識するものと違い、利用者の手指が常時触れるような操作部や関心度合を推定できるような特定の操作部を備えない画像表示装置にも適用できるという利点を有する。
【００４８】
図７は、関心度合認識部１０３の別の実施例を示すブロック図である。本実施例に係る関心度合認識部１０３は、利用者の脈拍数から関心度合の高低を認識するものであり、脈拍検知手段１５０、脈拍数検出手段１５１及び脈拍数判定手段１５２からなる。
【００４９】
脈拍検知手段１５０は、例えば光学式脈拍センサであり、発光ダイオードなどの発光素子により利用者の手指などに光を照射し、その反射光又は透過光をフォトトランジスタなどの受光素子により受光し、血中のヘモグロビンの濃淡に応じた信号を出力する。脈拍数検出手段１５１は、脈拍検知手段１５０からの信号から脈波を検出し、脈波の時間間隔から利用者の脈拍数を算出する手段である。脈拍数判定手段１５２は、脈拍数検出手段１５１により検出された脈拍数と所定値とを比較判定する手段であり、その判定結果が関心度合認識部１０３の認識結果である。すなわち、脈拍数が所定値を越えないときに関心度合は低いと認識され、脈拍数が所定値を越えたときに関心度合は高いと認識され、その認識結果を示す信号が脈拍数判定手段１５２より出力される。この信号が関心度合認識部１０３の出力信号として表示画像選択部１０１に入力される。
【００５０】
遊技機のような画像表示装置の場合には、装置本体又は装置本体から分離したコントローラユニットに、利用者が常に指又は手を触れている操作部を備えていることが多い。例えば、パチンコの場合には、玉の打ち出しを調節するためのダイヤル状の操作部がある。携帯型遊技機には、いわゆる十字キーのような、ほぼ常時、利用者の手指が接触する操作部が設けられる。このような操作部に脈拍検知手段１５０としての脈拍センサなどを組み込むと効果的である。
【００５１】
パチンコを例に説明する。図８はパチンコの模式的な正面図であり、１６０は装置本体、１６１は画像表示部分、１６２は玉の打ち出しを調節するために利用者が通常右手で操作するダイヤル状の操作部である。１６３はいわゆる連打ボタンであり、操作部１６２又は装置本体１６０に設けられる。図示しないが、脈拍検知手段１５０としての脈拍センサを操作部１６２の例えば利用者の手指が触れる外周部分に組み込むことにより、利用者の脈拍数を検出して関心度合の高低を認識することができる。
なお、装置本体やコントローラユニットの一部を手で握って操作するような遊技機などの場合には、その手で握られる部分に脈拍センサを設けるようにしてもよい。また、イヤホンを使用する画像表示装置の場合には、イヤホンの内部に脈拍センサを組み込むこともできる。多少の煩わしさを厭わないのであれば、脈拍センサを手指や手首に装着することも可能であり、この場合には感圧式の脈拍センサを用いることもできる。
【００５２】
図９は、関心度合認識部１０３の別の実施例を示すブロック図である。本実施例に係る関心度合認識部１０３は、利用者によって操作される特定の操作手段の操作状態から利用者の関心度合の高低を認識するものであり、操作手段１７０と状態判定手段１７１からなる。
【００５３】
操作手段１７０は、例えば図８に示す連打ボタン１６３のように、それが操作されている時には利用者の関心度合が高いと推定されるような特殊な操作ボタンなどである。状態判定手段１７１は、操作手段１７０の状態（例えばオン、オフ）を判定する手段であり、その判定結果が関心度合認識部１０３の認識結果である。すなわち、操作手段１７０が操作されている状態と判定された時には関心度合は高いと認識され、操作されていない状態と判定された時には関心度合は低いと認識されることになる。この認識結果を示す信号が状態判定手段１７１より出力され、この信号は関心度合認識部１０３の出力信号として表示画像選択部１０１に入力される。
【００５４】
＜実施形態２＞
図１０は本発明の実施形態２を説明するためのブロック図である。この実施形態に係る画像表示装置は、２以上の動画像を入力する画像入力部２００と、この画像入力部２００により入力される２以上の動画像から表示させる動画像を選択する（表示画像を切り替える）表示画像選択部２０１と、この表示画像選択部２０１により選択された動画像を画面表示する画像表示部２０２と、当該画像表示装置の利用者の関心度合が低いか高いかを認識する関心度合認識部２０３とから構成される。関心度合認識部２０３から、関心度合の高低を示す信号が表示画像選択部２０１に入力される。
【００５５】
本実施形態においては、画像入力部２００により入力される動画像は、圧縮された符号データであるため、入力される２以上の動画像を復号するための２以上の復号部２０４＿１〜２０４＿ｎが設けられている。ただし、復号部２０４の数を動画像数より少なくし、１つの復号部２０４で時分割処理によって複数の動画像の復号を行うようにすることも可能である。表示画像選択部２０１には、復号部２０４で復号された動画像の画素データが入力される。
【００５６】
一実施例によれば、画像入力部２００は、このような複数の動画像を例えば大容量記憶装置や大容量記録媒体から読み出し入力する構成とされる。
【００５７】
別の実施例によれば、画像入力部２００は、ネットワークを通じて動画像の符号データを受信し入力する構成とされる。この場合に、受信した複数の動画像の符号データを記憶装置に一旦蓄積した後、その記憶装置より読み出して入力する形態と、受信した動画像をそのまま入力する形態のいずれもとり得る。後者の形態の場合には、動画像の受信動作と並行して、復号動作、表示画像選択動作及び画像表示動作が実行されることになる。
【００５８】
本実施形態においては、入力される２以上の動画像のそれぞれについてフレーム毎の動き量を推定するための動き量推定部２０５＿１〜２０５＿ｎが設けられている（動き量推定の方法については後述）。表示画像選択部２０１には、各動き量推定部２０５より推定された動き量を示す信号が入力される。
【００５９】
関心度合認識部２０３は、前記実施形態１における関心度合認識部１０３（図１）と同様の構成であるので、その説明は繰り返さない。
【００６０】
図１１に、表示画像選択部２０１における画像選択制御の処理フローを示す。表示画像選択部２０１は、例えば一定の時間間隔で、関心度合認識部２０３から入力される信号によって認識された利用者の関心度合が高いか否かを調べ（ステップ２１０）、関心度合が高いときには（ステップ２１０，Ｙｅｓ）、画像入力部１００より入力された２以上の動画像の中から、推定された動き量が最大の動画像を選択する（ステップ２１１）。すなわち、利用者の関心度合が高い時には、利用者の目の負担は大きいがゲームなどを盛り上げる効果の高い動きの激しい動画像を表示させる。関心度合が低いときには（ステップ２１０，Ｎｏ）、入力された２以上の動画像の中から、推定された動き量が最小の動画像を選択する（ステップ２１２）。すなわち、利用者の関心度合が低い時には、利用者の目の疲労の軽減を優先し、目の負担の少ない動きの遅い動画像を表示させるわけである。このような画像選択を行うために、当然のことながら、表示画像選択部２０１は、動き量推定部２０５＿１〜２０５＿ｎより入力される信号で示される推定動き量の中から、最大の動き量と最小の動き量を検出する手段を含んでおり、ステップ２１１では検出された最大の動き量に対応した動画像を選択し、ステップ２１２では検出された最小の動き量に対応した動画像を選択する。
【００６１】
このように、基本的には図３に関連して説明したと同様の動画像の選択を行う。ただし、本実施形態においては、特定の２つの動画像のいずれかが表示されるわけではなく、入力される２以上の動画像中で、その時々の推定動き量が最大又は最小の動画像が選択されて表示される。なお、前記実施形態１に関連して述べたように、表示画像の切り替えが余りにも短周期で起きると、表示画像を見ている者に違和感を感じさせる場合があり得る。このような不都合を避けるために、所定の複数フレーム（例えば１５０フレーム）の間隔で動き量の推定と図１１に示す手順を実行するのが好ましいであろう。
【００６２】
なお、復号器２０４を設けず、画像表示部２０２に復号機能を持たせ、表示画像選択部２０１より選択した動画像の符号データを画像表示部２０２に入力する構成とすることも可能であり、かかる態様も本発明に含まれる。あるいは、復号部２０４を設けず、表示画像選択部２０１に復号機能を持たせ、表示画像選択部２０１において選択した動画像の符号データを復号してから画像表示部２０２へ送るように構成することも可能であり、かかる態様も本発明に含まれる。
【００６３】
次に、動き量推定部２０５について説明する。ここでは、入力される動画像として、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００のインターレース動画像を想定する。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像は、各フレームがＪＰＥＧ２０００のアルゴリズムによりフレーム内符号化されたものである。動き量推定の説明に必要な限度で、ＪＰＧ２０００の圧縮アルゴリズムの概要について説明する。
【００６４】
図１２は、ＪＰＥＧ２０００の圧縮アルゴリズムを説明するためのブロック図である。ＪＰＥＧ２０００では、画像を重複しない矩形領域（タイル）に分割し、タイル単位で処理が行われる。例えばＲＧＢカラー画像の場合、各タイルの画像データは、色空間変換部３００でＹＣｂＣｒもしくはＹＵＶへの色空間変換を施される。そして、２次元ウェーブレット変換部３０１でコンポーネント毎に２次元のウェーブレット変換（離散ウェーブレット変換）を適用され、複数のサブバンドに分解される。
【００６５】
図１３は２次元ウェーブレット変換の説明図である。（ａ）に示すタイル画像に２次元ウェーブレット変換を１回適用することにより、（ｂ）に示す１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分解される。１ＬＬサブバンドに対し２次元ウェーブレット変換が適用されることにより、１ＬＬサブバンドは（ｃ）に示す２ＬＬ，２ＨＬ，２ＬＨ，１ＨＨの各サブバンドに分解される。２ＬＬサブバンドに２次元ウェーブレット変換を適用することにより、２ＬＬサブバンドは（ｄ）に示す３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨの各サブバンドに分解される。ここで、ＬＬ，ＨＬ，ＬＨ，ＨＨの接頭の数字は、そのサブバンドの係数が何回のウェーブレット変換により得られたかを示すもので、デコンポジション（分解）レベルと呼ばれる。
【００６６】
ウェーブレット変換として非可逆の９×７変換が用いられた場合には、量子化部３０２でウェーブレット変換係数はサブバンド毎に線形量子化される。その後、ウェーブレット未変換係数は、エントロピー符号化部３０３によりサブバンド毎にビットプレーン符号化される（詳しくは各ビットプレーンは３つのサブビットプレーンに分割されて符号化される）。そして、タグ処理部３０４において、得られた符号の中から不要な符号がトランケートされ、必要な符号がまとめられてパケットが生成され、パケットを必要な順番に並べるとともにタグ又はタグ情報が付加されることにより符号データ（コードストリーム）が形成される。このようなＪＰＥＧ２０００の符号データは、それを復号することなく、サブバンド毎の符号量を容易に計算することができる。
【００６７】
さて、各フレームが飛び越し走査により偶数フィールドと奇数フィールドとに分けて撮像されたインターレース動画像の場合、各フレームの偶数フィールドと奇数フィールドの間で被写体が水平方向に移動すると、被写体の縦エッジ部に、櫛型状の１ラインおきの水平方向エッジが生じ、この水平方向エッジの長さは被写体の移動速度に比例する。この様子を図１４に模式的に示す。ビデオカメラで撮影した動画像などにおける被写体の動きとしては水平方向の動きが圧倒的に多いため、上記櫛型の水平方向エッジの長さを、動画像の各フレームにおける動き量の尺度として用いることができる。
【００６８】
上記櫛型の水平方向エッジの長さは、各フレームの符号データにおける１ＬＨサブバンドの符号量に敏感に反映されるが、それ以外のサブバンドの符号量にはほとんど影響を及ぼさない。このことに着目し、各フレームの特定のサブバンドの符号量に基づいて動き量（被写体の移動速度）を推定することができる。
【００６９】
一実施例によれば、動き量推定部２０５は、図１５に示すアルゴリズムによって各フレームの動き量を推定する。まず、動画像の各フレームの符号データより、１ＬＨサブバンドについての符号量ｓｕｍ１ＬＨを算出し（ステップ２２０）、次に１ＨＬサブバンドについての符号量ｓｕｍ１ＨＬを算出する（ステップ２２１）。そして、符号量ｓｕｍ１ＬＨを符号量ｓｕｍ１ＨＬで除算することにより動き量ｓｐｅｅｄを算出する（ステップ２２２）。
この動き量推定にはＹコンポーネント（輝度成分）を用いる。色差成分は間引かれることが多く、被写体が移動しても櫛型が現れにくいためである。
【００７０】
別の実施例によれば、図示しないが、動き量推定部２０５において、１ＬＨ，１ＨＬ，２ＬＨ，２ＨＬの各サブバンドの符号量ｓｕｍ１ＬＨ，ｓｕｍ１ＨＬ，ｓｕｍ２ＬＨ，ｓｕｍ２ＨＬが算出され、動き量として
ｓｐｅｅｄ＝（ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬ）／（ｓｕｍ２ＬＨ／ｓｕｍ２ＨＬ）
が算出される。かかる態様も本発明に含まれる。
【００７１】
なお、２次元ウェーブレット変換を用いるＪＰＥＧ２０００以外の符号化方式によりフレーム内符号化されたインターレース動画像についても、同様の特定のサブバンドの符号量を用いた動き量推定が可能である。
【００７２】
また、本実施形態において、動き量推定方法は適宜変更する必要があるが、基本的には動画像の符号化方式は任意であり、インターレース動画像でもノンインターレース動画像でもよい。
【００７３】
以上、主としてパチンコなどの遊技機を例に本発明に係る画像表示装置について説明したが、本発明は遊技機以外の画像表示機能を備える各種機器にも広く適用可能であることは明らかである。
【００７４】
また、図示しないが、本発明に係る画像表示装置を構成する各手段として、パソコンなどの汎用コンピュータやマイクロコンピュータのようなコンピュータを機能させるための１以上のプログラムをコンピュータにロードし実行させることにより、そのコンピュータを本発明に係る画像表示装置として動作させることができる。このような１以上のプログラム、及び、それが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの各種情報記録（記憶）媒体も、本発明に包含される。
【００７５】
また、本発明に係る画像表示装置の処理手順についての以上の説明は、本発明に係る画像表示制御方法の説明でもあることは明らかである。よって、本発明に係る画像表示制御方法についての説明は繰り返さない。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施形態１に係る画像表示装置のブロック図である。
【図２】図１中の表示画像選択部における画像選択制御を説明するためのフローチャートである。
【図３】関心度合の変化に応じた動画像の切り替えの説明図である。
【図４】関心度合認識部の一実施例を示すブロック図である。
【図５】図４中の視線方向認識処理手段の認識アルゴリズムを説明するためのフローチャートである。
【図６】視線方向検出の説明図である。
【図７】関心度合認識部の別の実施例を示すブロック図である。
【図８】画像表示装置の平面形態の一例を示す模式的平面図である。
【図９】関心度合認識部の別の実施例を示すブロック図である。
【図１０】本発明の実施形態２に係る画像表示装置のブロック図である。
【図１１】図１０中の表示画像選択部における画像選択制御を説明するためのフローチャートである。
【図１２】ＪＰＥＧ２０００の符号化アルゴリズムを説明するためのブロック図である。
【図１３】２次元ウェーブレット変換の説明図である。
【図１４】インターレース動画像の櫛型についての説明図である。
【図１５】図１０中の動き量推定部の推定アルゴリズムを説明するためのフローチャートである。
【図１６】肌色領域検出アルゴリズムを説明するためのフローチャートである。
【図１７】肌色画素検出アルゴリズムを説明するためのフローチャートである。
【図１８】黒目画素検出アルゴリズムを説明するためのフローチャートである。
【図１９】白目画素検出アルゴリズムを説明するためのフローチャートである。
【図２０】目の領域検出アルゴリズムを説明するためのフローチャートである。
【図２１】目の領域、瞳及び黒目を示す模式図である。
【符号の説明】
【００７７】
１００ 画像入力部
１０１ 表示画像選択部
１０２ 画像表示部
１０３ 関心度合認識部
２００ 画像入力部
２０１ 表示画像選択部
２０２ 画像表示部
２０３ 関心度合認識部
２０４ 復号部
２０５ 動き量推定部
【特許請求の範囲】
【請求項１】
複数の画像を入力する画像入力手段と、
前記画像入力手段により入力される複数の画像の中から表示させる画像を選択する表示画像選択手段と、
前記表示画像選択手段により選択された画像を表示する画像表示手段と、
利用者の関心度合が低いか高いかを認識する関心度合認識手段とを有し、
前記表示画像選択手段は、前記関心度合認識手段による認識結果に基づいて選択する画像を決定することを特徴とする画像表示装置。
【請求項２】
前記複数の画像には２次元画像と３次元画像が含まれ、
前記表示画像選択手段は、前記関心度合認識手段により関心度合が低いと認識された時には前記複数の画像中の２次元画像を選択し、前記関心度合認識手段により関心度合が高いと認識された時には前記複数の画像中の３次元画像を選択することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記複数の画像には静止画像と動画像が含まれ、
前記表示画像選択手段は、前記関心度合認識手段により関心度合が低いと認識された時には前記複数の画像中の静止画像を選択し、前記関心度合認識手段により関心度合が高いと認識された時には前記複数の画像中の動画像を選択することを特徴とする請求項１に記載の画像表示装置。
【請求項４】
前記複数の画像には動き量の小さな動画像と動き量の大きな動画像が含まれ、
前記表示画像選択手段は、前記関心度合認識手段により関心度合が低いと認識された時には前記複数の画像中の動き量の小さな動画像を選択し、前記関心度合認識手段により関心度合が高いと認識された時には前記複数の画像中の動き量の大きな動画像を選択することを特徴とする請求項１に記載の画像表示装置。
【請求項５】
複数の動画像を入力する画像入力手段と、
前記画像入力手段により入力される複数の動画像の中から表示させる動画像を選択する表示画像選択手段と、
前記表示画像選択手段により選択された動画像を表示する画像表示手段と、
利用者の関心度合が低いか高いかを認識する関心度合認識手段と、
前記複数の動画像のそれぞれの動き量を推定する動き量推定手段とを有し、
前記表示画像選択手段は、前記関心度合認識手段により関心度合が低いと認識された時には前記複数の動画像中の前記動き量推定手段により推定された動き量が最小の動画像を選択し、前記関心度合認識手段により関心度合が高いと認識された時には前記複数の動画像中の前記動き量推定手段により推定された動き量が最大の動画像を選択することを特徴とする画像表示装置。
【請求項６】
前記画像入力手段はネットワーク経由で画像を受信する手段からなることを特徴とする請求項５に記載の画像表示装置。
【請求項７】
前記複数の動画像に対する前記動き量推定手段による動き量推定及び前記表示画像選択手段による動画像選択が、前記画像入力手段による前記複数の動画像の受信と並行して行われることを特徴とする請求項６に記載の画像表示装置。
【請求項８】
前記複数の動画像はそれぞれ２次元ウェーブレット変換を用いる符号化方式により符号されたインターレース動画像であり、
前記動き量推定手段は動画像の特定のサブバンドについての符号量に基づいて動き量を推定することを特徴とする請求項５に記載の画像表示装置。
【請求項９】
前記関心度合認識手段は利用者の視線の移動量から関心度合が低いか高いかを認識する手段であることを特徴する請求項１乃至８のいずれか１項に記載の画像表示装置。
【請求項１０】
前記関心度合認識手段は利用者の脈拍数から関心度合が低いか高いかを認識する手段であることを特徴する請求項１乃至８のいずれか１項に記載の画像表示装置。
【請求項１１】
利用者により操作される特定の操作手段を有し、
前記関心度合認識手段は前記特定の操作手段の操作状態から関心度合が低いか高いかを認識する手段であることを特徴とする請求項１乃至８のいずれか１項に記載の画像表示装置。
【請求項１２】
画像を表示する機能を有する画像表示装置の画像表示制御方法であって、
複数の画像より表示させる画像を選択する表示画像選択工程と、
利用者の関心度合が低いか高いかを認識する関心度合認識工程とを有し、
前記表示画像選択工程は前記関心度合認識工程による認識結果に基づいて選択する画像を決定することを特徴とする画像表示制御方法。
【請求項１３】
画像を表示する機能を有する画像表示装置の画像表示制御方法であって、
複数の動画像より表示させる動画像を選択する表示画像選択工程と、
前記複数の動画像のそれぞれについて動き量を推定する動き量推定工程と、
利用者の関心度合が低いか高いかを認識する関心度合認識工程とを有し、
前記表示画像選択工程は、前記関心度合認識工程により関心度合が低いと認識された時には前記複数の動画像中の前記動き量推定工程で推定された動き量が最小の動画像を選択し、前記関心度合認識工程により関心度合が高いと認識された時には前記複数の動画像中の前記動き量推定工程で推定された動き量が最大の動画像を選択することを特徴とする画像表示制御方法。
【請求項１４】
請求項１乃至１１のいずれか１項に記載の画像表示装置の各手段としてコンピュータを機能させるプログラム。
【請求項１５】
請求項１乃至１１のいずれか１項に記載の画像表示装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。
【請求項１】
複数の画像を入力する画像入力手段と、
前記画像入力手段により入力される複数の画像の中から表示させる画像を選択する表示画像選択手段と、
前記表示画像選択手段により選択された画像を表示する画像表示手段と、
利用者の関心度合が低いか高いかを認識する関心度合認識手段とを有し、
前記表示画像選択手段は、前記関心度合認識手段による認識結果に基づいて選択する画像を決定することを特徴とする画像表示装置。
【請求項２】
前記複数の画像には２次元画像と３次元画像が含まれ、
前記表示画像選択手段は、前記関心度合認識手段により関心度合が低いと認識された時には前記複数の画像中の２次元画像を選択し、前記関心度合認識手段により関心度合が高いと認識された時には前記複数の画像中の３次元画像を選択することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記複数の画像には静止画像と動画像が含まれ、
前記表示画像選択手段は、前記関心度合認識手段により関心度合が低いと認識された時には前記複数の画像中の静止画像を選択し、前記関心度合認識手段により関心度合が高いと認識された時には前記複数の画像中の動画像を選択することを特徴とする請求項１に記載の画像表示装置。
【請求項４】
前記複数の画像には動き量の小さな動画像と動き量の大きな動画像が含まれ、
前記表示画像選択手段は、前記関心度合認識手段により関心度合が低いと認識された時には前記複数の画像中の動き量の小さな動画像を選択し、前記関心度合認識手段により関心度合が高いと認識された時には前記複数の画像中の動き量の大きな動画像を選択することを特徴とする請求項１に記載の画像表示装置。
【請求項５】
複数の動画像を入力する画像入力手段と、
前記画像入力手段により入力される複数の動画像の中から表示させる動画像を選択する表示画像選択手段と、
前記表示画像選択手段により選択された動画像を表示する画像表示手段と、
利用者の関心度合が低いか高いかを認識する関心度合認識手段と、
前記複数の動画像のそれぞれの動き量を推定する動き量推定手段とを有し、
前記表示画像選択手段は、前記関心度合認識手段により関心度合が低いと認識された時には前記複数の動画像中の前記動き量推定手段により推定された動き量が最小の動画像を選択し、前記関心度合認識手段により関心度合が高いと認識された時には前記複数の動画像中の前記動き量推定手段により推定された動き量が最大の動画像を選択することを特徴とする画像表示装置。
【請求項６】
前記画像入力手段はネットワーク経由で画像を受信する手段からなることを特徴とする請求項５に記載の画像表示装置。
【請求項７】
前記複数の動画像に対する前記動き量推定手段による動き量推定及び前記表示画像選択手段による動画像選択が、前記画像入力手段による前記複数の動画像の受信と並行して行われることを特徴とする請求項６に記載の画像表示装置。
【請求項８】
前記複数の動画像はそれぞれ２次元ウェーブレット変換を用いる符号化方式により符号されたインターレース動画像であり、
前記動き量推定手段は動画像の特定のサブバンドについての符号量に基づいて動き量を推定することを特徴とする請求項５に記載の画像表示装置。
【請求項９】
前記関心度合認識手段は利用者の視線の移動量から関心度合が低いか高いかを認識する手段であることを特徴する請求項１乃至８のいずれか１項に記載の画像表示装置。
【請求項１０】
前記関心度合認識手段は利用者の脈拍数から関心度合が低いか高いかを認識する手段であることを特徴する請求項１乃至８のいずれか１項に記載の画像表示装置。
【請求項１１】
利用者により操作される特定の操作手段を有し、
前記関心度合認識手段は前記特定の操作手段の操作状態から関心度合が低いか高いかを認識する手段であることを特徴とする請求項１乃至８のいずれか１項に記載の画像表示装置。
【請求項１２】
画像を表示する機能を有する画像表示装置の画像表示制御方法であって、
複数の画像より表示させる画像を選択する表示画像選択工程と、
利用者の関心度合が低いか高いかを認識する関心度合認識工程とを有し、
前記表示画像選択工程は前記関心度合認識工程による認識結果に基づいて選択する画像を決定することを特徴とする画像表示制御方法。
【請求項１３】
画像を表示する機能を有する画像表示装置の画像表示制御方法であって、
複数の動画像より表示させる動画像を選択する表示画像選択工程と、
前記複数の動画像のそれぞれについて動き量を推定する動き量推定工程と、
利用者の関心度合が低いか高いかを認識する関心度合認識工程とを有し、
前記表示画像選択工程は、前記関心度合認識工程により関心度合が低いと認識された時には前記複数の動画像中の前記動き量推定工程で推定された動き量が最小の動画像を選択し、前記関心度合認識工程により関心度合が高いと認識された時には前記複数の動画像中の前記動き量推定工程で推定された動き量が最大の動画像を選択することを特徴とする画像表示制御方法。
【請求項１４】
請求項１乃至１１のいずれか１項に記載の画像表示装置の各手段としてコンピュータを機能させるプログラム。
【請求項１５】
請求項１乃至１１のいずれか１項に記載の画像表示装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００６−１１３５３４（Ｐ２００６−１１３５３４Ａ）
【公開日】平成１８年４月２７日（２００６．４．２７）
【国際特許分類】
【出願番号】特願２００５−１４２９４０（Ｐ２００５−１４２９４０）
【出願日】平成１７年５月１６日（２００５．５．１６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成１８年４月２７日（２００６．４．２７）
【国際特許分類】
【出願日】平成１７年５月１６日（２００５．５．１６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]