画像出力方法および装置
【課題】装着体を用いずに使用者の視線情報を入力し、入力された視線情報に基づいて出力画像の表示領域を変更することができる画像出力方法および装置を提供する。
【解決手段】表示装置の水平方向に設けられた２台のカメラ３１および３２により使用者の顔画像を撮影し、画像処理部４０により撮影された左右の顔画像に基づいて使用者の視線方向を検出し、この視線方向に基づいて使用者が注目する表示画面５０の位置を検出する。ゲーム機本体１０により画像処理部４０により検出された位置に表示された出力画像の対象物を検出し、この対象物に基づいて出力画像の表示領域を変更する。
【解決手段】表示装置の水平方向に設けられた２台のカメラ３１および３２により使用者の顔画像を撮影し、画像処理部４０により撮影された左右の顔画像に基づいて使用者の視線方向を検出し、この視線方向に基づいて使用者が注目する表示画面５０の位置を検出する。ゲーム機本体１０により画像処理部４０により検出された位置に表示された出力画像の対象物を検出し、この対象物に基づいて出力画像の表示領域を変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に表示される出力画像の表示領域を変更する画像出力方法および装置に関する。
【背景技術】
【０００２】
従来、表示装置に表示される出力画像の表示領域を変更するゲーム機が知られている。
このような出力画像の表示領域を変更する方法としては、ユーザの操作情報に基づいて行う方法と、ゲームの進行に応じて自動的に行う方法とがあった。
ユーザの操作情報に基づいて出力画像の表示領域を変更する方法では、コントローラ(入力装置)の操作が複雑になってユーザに負担がかかるとともに、他の操作と組み合わせるのが困難だった。
一方、ゲームの進行に応じて出力画像の表示領域を変更する方法では、ユーザが見たい領域が無視されるので、ユーザに不満がつのるといった問題があった。
【０００３】
そこで、ユーザの頭部に表示領域制御機能付き装着体を装着し、この装着体によりユーザの視線を検出し、検出された視線に基づいて出力画像の表示領域を変化させるゲーム機が開示されている（特許文献１参照）。
【特許文献１】特開２０００−２８８２５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１のゲーム機では、視線の動きに追従して出力画像の表示領域を変えると、視線の動きが速くかつ複雑なため、不自然な見づらい映像になってしまうといった問題があった。例えば、視線の動きにキャラクタを追従させると、キャラクタとともに背景が様々な方向に頻繁に移動してしまい、落ち着かない映像となってしまう。
また、上記特許文献１のゲーム機では、装着体を装着しなければならないため、ユーザの頭部に負担がかかり、その快適性に問題があった。
【０００５】
本発明は、このような事情に鑑みなされたものであり、その目的は、装着体を用いずに使用者の視線情報を入力し、入力された視線情報に基づいて出力画像の表示領域を変更することができる画像出力方法および装置を提供するにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の画像出力方法は、表示装置に表示される出力画像の表示領域を変更する画像出力方法であって、前記表示装置の水平方向の両側に設けられた２台のカメラにより前記表示装置を見る使用者の顔画像を撮影する撮影ステップと、前記撮影ステップで撮影された顔画像に基づいて前記使用者の視線方向を検出する視線方向検出ステップと、前記視線方向検出ステップで検出された視線方向に基づいて前記使用者が注目する前記表示装置の表示画面の位置を検出する注目位置検出ステップと、前記注目位置検出ステップで検出された位置に表示された前記出力画像の対象物を検出する対象物検出ステップと、前記対象物検出ステップで検出された対象物に基づいて前記出力画像の表示領域を変更する表示領域変更ステップとを含むことを特徴とする。
また、本発明の画像出力装置は、表示装置に表示される出力画像の表示領域を変更する画像出力装置であって、前記表示装置の水平方向の両側に設けられ、前記表示装置を見る使用者の顔画像を撮影する２台のカメラと、前記２台のカメラにより撮影された顔画像に基づいて前記使用者の視線方向を検出する視線方向検出手段と、前記視線方向検出手段により検出された視線方向に基づいて前記使用者が注目する前記表示装置の表示画面の位置を検出する注目位置検出手段と、前記注目位置検出手段により検出された位置に表示された前記出力画像の対象物を検出する対象物検出手段と、前記対象物検出手段により検出された対象物に基づいて前記出力画像の表示領域を変更する表示領域変更手段とを備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、２台のカメラにより撮影された使用者の顔画像に基づいて使用者の視線方向を検出し、この視線方向に基づいて使用者が注目する表示画面の位置を検出し、この位置に表示された出力画像の対象物を検出し、この対象物に基づいて出力画像の表示領域を変更する。
このため、使用者が注目する対象物に基づいて出力画像の表示領域を変化させることができるので、対象物の移動速度を最適に制御して出力画像の表示領域を変化させることができる。したがって、自然な動きの画像を出力し、従来のような使用者のストレスを低減することができる。
【発明を実施するための最良の形態】
【０００８】
上記目的を達成するため、表示装置の水平方向に設けられた２台のカメラにより使用者の顔画像を撮影し、撮影された顔画像に基づいて使用者の視線方向を検出する。次に、この視線方向に基づいて使用者が注目する表示画面の位置を検出する。次に、この位置に表示された出力画像の対象物を検出し、この対象物に基づいて出力画像の表示領域を変更する。
例えば、対象物が画面の中央に位置するように出力画像の表示領域を変更する。また、対象物が移動するときには、その動きの方向および大きさ（速さ）を検出し、これらを考慮して出力画像の表示領域を変更する。
なお、対象物がステータス情報のような画面に固定される情報や、移動にふさわしくない物の場合には、出力画像の表示領域は変更しないようにする。
【実施例１】
【０００９】
以下、本発明の画像出力方法および装置について図面を参照して説明する。
実施例１は、本発明の画像出力装置を適用したゲーム機を例に説明する。
図１は、実施例１のゲーム機の構成を示す図である。
図１に示すように、実施例１のゲーム機は、テレビ受像機にゲームコンテンツを出力するものであり、本体１０、コントローラ２０、カメラ３１、カメラ３２および画像処理部４０を備える。
【００１０】
コントローラ２０は、図示しない操作キー等を有し、ユーザの操作情報を入力する。本体１０は、ゲームプログラムを実行して映像および音声を含むビデオ信号をテレビ受像機に出力する。
カメラ３１および３２は、テレビ受像機の表示画面５０の水平方向の両側に取り付けられ、テレビ受像機の表示画面５０の水平方向の略中央の手前に位置するユーザ中の顔Ａを撮影する。カメラ３１は、ユーザの左側からの顔Ａを撮影し、カメラ３２は、ユーザ右側からの顔Ａを撮影することになる。
なお、本発明で用いる視線検出手段および装置は2台のカメラに限定されるものではない。
【００１１】
図２は、図１に示される画像処理部４０およびゲーム機本体１０の構成を示すブロック図である。
図２に示すように、画像処理部４０は、カメラ３１および３２により撮影された画像を取得し、取得された画像に基づいてユーザが注目するテレビ受像機の表示画面５０の位置を検出するものであり、画像取得部４１、顔検出部４２、顔方向検出部４３、目検出部４４、視線方向検出部４５および注目位置検出部４６を備える。
【００１２】
画像取得部４１は、カメラ３１および３２により撮影された左右の画像を取得する。顔検出部４２は、画像取得部４１により取得されたカメラ３１および３２（左右）の画像に基づいてそれぞれのユーザの顔を検出する。顔方向検出部４３は、顔検出部４２により検出された左右の顔に基づいて顔の向きを検出する。目検出部４４は、顔検出部４２により検出された左右の顔に基づいて左右の顔のそれぞれの眼球（白目）および虹彩（黒目）を検出する。
視線方向検出部４５は、顔方向検出部４３により検出された顔方向および目検出部４４により検出された左右の顔のそれぞれの眼球および虹彩に基づいてユーザの視線方向を検出する。注目位置検出部４６は、視線方向検出部４５により検出された視線方向に基づいてユーザが注目するテレビ受像機の表示画面５０における注目位置を検出する。
【００１３】
本体１０は、対象物検出部５１、注目対象物検出部５２、注目対象物選択部５３、属性検出部５４、動きベクトル検出部５５および表示領域変更部５６を備える。
対象物検出部５１は、注目位置検出部４６により検出された注目位置に基づいて出力画像の対象物を検出する。ここで、対象物とは、ゲームに登場する人物等のキャラククタや、キャラクタの背景の物や、ゲームのステータスを表示する表示領域などをいう。
注目対象物検出部５２は、対象物検出部５１により検出された対象物が表示画面５０の第１の所定時間以上（所定フレーム数以上）継続して検出された場合、この対象物を注目対象物として検出する。
注目対象物選択部５３は、注目対象物検出部５２により検出された注目対象物の中から第１の所定時間より長い第２の所定時間内に最も注目時間の長い注目対象物を選択する。
【００１４】
ユーザは、表示画面５０に表示される出力画像の複数の点に一瞬だけ注目する場合がある。このような場合、その点の対象物を注目対象物として検出して出力画像の表示領域を変更すると、様々な方向に頻繁に出力画像の表示領域が変更されてしまい落ち着きの無い映像が表示されてしまう。表示画面５０に表示される出力画像の表示領域は、ユーザにとって顔の向きに相当する。ユーザの視線の動きに応じて表示領域を変更すると、ユーザは顔の向きが変わったように錯覚してしまう。
このような不自然な表示領域の変更を防止するため、対象物検出部５１により検出された対象物が一定時間継続して検出されるかどうかを注目対象物検出部５２よりに判定し、さらに、注目対象物検出部５２により認識された注目対象物の中から最も注目時間の長い注目対象物を注目対象物選択部５３により選択する。
【００１５】
注目対象物属性検出部５４は、実行されるゲームプログラムに含まれる対象物の属性情報に基づいて注目対象物選択部５３により選択された注目対象物の属性情報を検出する。この属性情報は、例えば、キャラククタのように自由な方向に自由な大きさで移動させてもよい物や、背景のように移動させてもよいが動きの方向が制限される物、ステータス表示のように表示位置が固定される物などがある。このような対象物の属性情報により表示領域の変更方法が制限される。
動きベクトル検出部５５は、注目対象物属性検出部５４により検出された属性情報が移動させてもよい物であった場合、出力画像に基づいてその対象物の動きベクトル（動きの方向および大きさ）を検出する。
表示領域変更部５６は、注目対象物属性検出部５４により検出された対象物の属性情報よび動きベクトル検出部５５により検出された対象物の動きベクトルに基づいて出力画像の表示領域を変更する。表示領域変更部５６は、対象物に基づいてゆっくりとした自然な動きで表示領域を変更する。
【００１６】
図３は、実施例１のゲーム機の動作を示すフローチャートである。
ゲームが開始されると、２台のカメラ３１および３２によりユーザの左右の顔が撮影され、画像取得部４１により左右の顔の画像が取得される（ステップＳ１）。次に、顔検出部４２により、画像取得部４１により取得された左右の画像に基づいてそれぞれの左右それぞれのユーザの顔が検出される（ステップＳ２）。
次に、顔方向検出部４３により、顔検出部４２により検出された左右の顔に基づいて顔の向きが検出される（ステップＳ３）。同時に、目検出部４４により、顔検出部４２により検出された左右の顔に基づいて左右それぞれの眼球および虹彩が検出される（ステップＳ４）。
次に、視線方向検出部４５により、顔方向検出部４３により検出された顔方向および目検出部４４により検出された左右の顔のそれぞれの眼球および虹彩に基づいて顔の視線の方向が検出される（ステップＳ５）。次に、注目位置検出部４６により、視線方向検出部４５により検出された視線方向に基づいてユーザが注目するテレビ受像機の表示画面５０における注目位置が検出される（ステップＳ６）。
【００１７】
次に、対象物検出部５１により、視線方向検出部４５により検出された視線方向に基づいて表示画面５０に表示された出力画像の対象物が検出される（ステップＳ７）。
次に、注目対象物検出部５２により、対象物検出部５１により検出された対象物の継続検出時間がカウントされ、第１の所定時間以上カウントされた場合、その対象物が注目対象物として検出される（ステップＳ８）。
次に、注目対象物選択部５３により、注目対象物検出部５２により検出された注目対象物の中から第２の所定時間内に最も注目時間の長い注目対象物が選択される(ステップＳ９)。
次に、注目対象物属性検出部５４により、注目対象物選択部５３により選択された注目対象物の属性が検出される（ステップＳ１０）。
ここで、注目対象物属性検出部５４により対象物の属性が動く物として検出された場合、動きベクトル検出部５５によりその対象物の動きベクトルが検出される（ステップＳ１１）。
次に、表示領域変更部５６により、注目対象物属性検出部５４により属性が検出された対象物および動きベクトル検出部５５により検出された動きベクトルに基づいて出力画像の表示領域が変更される(ステップＳ１２)。
【００１８】
図４は、出力画像の表示領域の変更方法の一例を示す図である。
図４（Ａ）に示すように、窓ＯＢＪ３のある背景の下方に位置する台ＯＢＪ２の上に人物ＯＢＪ１が矢印Ａ方向に歩いている場面を想定する。ここで、ＡＢＣは、ゲームのステータス情報ＯＢＪ４を意味する。
図４（Ａ）中、人物ＯＢＪ１は、自由は方向に自由な大きさで移動可能な対象物である。台ＯＢＪ２および窓ＯＢＪ３は、上下方向の移動が禁止された移動可能な対象物である。ステータス情報ＯＢＪ４は、固定された対象物である。注目対象物を×印で表す。
【００１９】
図４（Ｂ）は、注目対象物ＯＢＪ１が画面中央に位置するように出力画像の表示領域を変更する例である。
図４（Ｃ）は、注目対象物ＯＢＪ１の動きベクトルを検出し、検出された動きベクトルに基づいて出力画像の表示領域を変更する例である。この場合、注目対象物ＯＢＪ１が画面中央から移動方向の反対側に少しずれた位置に注目対象物ＯＢＪ１を移動するように出力画像の表示領域を変更すると、ユーザにとって見やすい自然な映像となる。
図４（Ｄ）は、ステータス情報ＯＢＪ４が注目対象物として検出された例である。この場合、注目対象物ＯＢＪ４は固定された対象物であるため、出力画像の表示領域が変更されない。
なお、表示領域変更処理は表示する位置の変更処理に限られるものではない。例えば、注目対象物検出部５２において検出された注目対象の分布範囲に応じてズームイン・ズームアウトなど大きさを変更する処理を行う。
また、本発明の表示領域変更処理は2次元空間の表示領域変更に限られるものではない。3次元空間における視線や視点の変更処理も含まれる。
【００２０】
このように実施例１によれば、２台のカメラ３１および３２により撮影された画像に基づいてユーザの視線方向を検出し、この視線方向に基づいてテレビ受像機の表示画面５０の注目位置を検出し、この注目位置の対象物に基づいて出力画像の表示領域を変更するので、表示領域の変更をユーザに意識させることなく自然な動きで行うことができる。また、ユーザは、装着体を装着する煩わしさもなく、快適にゲームを行うことができる。
【００２１】
なお、本発明の注目対象物検出部５２における注目対象物の検出の際に、対象物検出部５１により検出された対象物情報にユーザの操作情報やゲームの進行情報を組み合わせてもよい。
また、本発明の注目対象物選択部５３における注目対象物の選択の際に、注目対象物検出部５２により検出された注目対象物情報にユーザの操作情報やゲームの進行情報を組み合わせてもよい。
また、本発明の表示領域変更部５６に従来のユーザの操作情報やゲームの進行情報を用いた従来の出力画像の表示領域の変更方法と組み合わせてもよい。
また、本発明の画像出力方法および装置は、ゲーム機に限り適用されるものではない。例えば、展示場などで表示装置にシミュレーション情報を表示する場合などに好適である。
【図面の簡単な説明】
【００２２】
【図１】実施例１のゲーム機の構成を示す図である。
【図２】図１に示される画像処理部４０および本体１０の構成を示すブロック図である。
【図３】実施例１のゲーム機の動作を示すフローチャートである。
【図４】出力画像の表示領域の変更方法の一例を示す図である。
【符号の説明】
【００２３】
１０……ゲーム機本体、２０……コントローラ、３１および３２……カメラ、４０……画像処理部、４１……画像取得部、４２……顔検出部、４３……顔方向検出部、４４……目検出部、４５……視線方向検出部、４６……注目位置検出部、５１……対象物検出部、５２……注目対象物検出部、５３……注目対象物選択部、５４……注目対象物属性検出部、５５……動きベクトル検出部、５６……表示領域変更部
【技術分野】
【０００１】
本発明は、表示装置に表示される出力画像の表示領域を変更する画像出力方法および装置に関する。
【背景技術】
【０００２】
従来、表示装置に表示される出力画像の表示領域を変更するゲーム機が知られている。
このような出力画像の表示領域を変更する方法としては、ユーザの操作情報に基づいて行う方法と、ゲームの進行に応じて自動的に行う方法とがあった。
ユーザの操作情報に基づいて出力画像の表示領域を変更する方法では、コントローラ(入力装置)の操作が複雑になってユーザに負担がかかるとともに、他の操作と組み合わせるのが困難だった。
一方、ゲームの進行に応じて出力画像の表示領域を変更する方法では、ユーザが見たい領域が無視されるので、ユーザに不満がつのるといった問題があった。
【０００３】
そこで、ユーザの頭部に表示領域制御機能付き装着体を装着し、この装着体によりユーザの視線を検出し、検出された視線に基づいて出力画像の表示領域を変化させるゲーム機が開示されている（特許文献１参照）。
【特許文献１】特開２０００−２８８２５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１のゲーム機では、視線の動きに追従して出力画像の表示領域を変えると、視線の動きが速くかつ複雑なため、不自然な見づらい映像になってしまうといった問題があった。例えば、視線の動きにキャラクタを追従させると、キャラクタとともに背景が様々な方向に頻繁に移動してしまい、落ち着かない映像となってしまう。
また、上記特許文献１のゲーム機では、装着体を装着しなければならないため、ユーザの頭部に負担がかかり、その快適性に問題があった。
【０００５】
本発明は、このような事情に鑑みなされたものであり、その目的は、装着体を用いずに使用者の視線情報を入力し、入力された視線情報に基づいて出力画像の表示領域を変更することができる画像出力方法および装置を提供するにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の画像出力方法は、表示装置に表示される出力画像の表示領域を変更する画像出力方法であって、前記表示装置の水平方向の両側に設けられた２台のカメラにより前記表示装置を見る使用者の顔画像を撮影する撮影ステップと、前記撮影ステップで撮影された顔画像に基づいて前記使用者の視線方向を検出する視線方向検出ステップと、前記視線方向検出ステップで検出された視線方向に基づいて前記使用者が注目する前記表示装置の表示画面の位置を検出する注目位置検出ステップと、前記注目位置検出ステップで検出された位置に表示された前記出力画像の対象物を検出する対象物検出ステップと、前記対象物検出ステップで検出された対象物に基づいて前記出力画像の表示領域を変更する表示領域変更ステップとを含むことを特徴とする。
また、本発明の画像出力装置は、表示装置に表示される出力画像の表示領域を変更する画像出力装置であって、前記表示装置の水平方向の両側に設けられ、前記表示装置を見る使用者の顔画像を撮影する２台のカメラと、前記２台のカメラにより撮影された顔画像に基づいて前記使用者の視線方向を検出する視線方向検出手段と、前記視線方向検出手段により検出された視線方向に基づいて前記使用者が注目する前記表示装置の表示画面の位置を検出する注目位置検出手段と、前記注目位置検出手段により検出された位置に表示された前記出力画像の対象物を検出する対象物検出手段と、前記対象物検出手段により検出された対象物に基づいて前記出力画像の表示領域を変更する表示領域変更手段とを備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、２台のカメラにより撮影された使用者の顔画像に基づいて使用者の視線方向を検出し、この視線方向に基づいて使用者が注目する表示画面の位置を検出し、この位置に表示された出力画像の対象物を検出し、この対象物に基づいて出力画像の表示領域を変更する。
このため、使用者が注目する対象物に基づいて出力画像の表示領域を変化させることができるので、対象物の移動速度を最適に制御して出力画像の表示領域を変化させることができる。したがって、自然な動きの画像を出力し、従来のような使用者のストレスを低減することができる。
【発明を実施するための最良の形態】
【０００８】
上記目的を達成するため、表示装置の水平方向に設けられた２台のカメラにより使用者の顔画像を撮影し、撮影された顔画像に基づいて使用者の視線方向を検出する。次に、この視線方向に基づいて使用者が注目する表示画面の位置を検出する。次に、この位置に表示された出力画像の対象物を検出し、この対象物に基づいて出力画像の表示領域を変更する。
例えば、対象物が画面の中央に位置するように出力画像の表示領域を変更する。また、対象物が移動するときには、その動きの方向および大きさ（速さ）を検出し、これらを考慮して出力画像の表示領域を変更する。
なお、対象物がステータス情報のような画面に固定される情報や、移動にふさわしくない物の場合には、出力画像の表示領域は変更しないようにする。
【実施例１】
【０００９】
以下、本発明の画像出力方法および装置について図面を参照して説明する。
実施例１は、本発明の画像出力装置を適用したゲーム機を例に説明する。
図１は、実施例１のゲーム機の構成を示す図である。
図１に示すように、実施例１のゲーム機は、テレビ受像機にゲームコンテンツを出力するものであり、本体１０、コントローラ２０、カメラ３１、カメラ３２および画像処理部４０を備える。
【００１０】
コントローラ２０は、図示しない操作キー等を有し、ユーザの操作情報を入力する。本体１０は、ゲームプログラムを実行して映像および音声を含むビデオ信号をテレビ受像機に出力する。
カメラ３１および３２は、テレビ受像機の表示画面５０の水平方向の両側に取り付けられ、テレビ受像機の表示画面５０の水平方向の略中央の手前に位置するユーザ中の顔Ａを撮影する。カメラ３１は、ユーザの左側からの顔Ａを撮影し、カメラ３２は、ユーザ右側からの顔Ａを撮影することになる。
なお、本発明で用いる視線検出手段および装置は2台のカメラに限定されるものではない。
【００１１】
図２は、図１に示される画像処理部４０およびゲーム機本体１０の構成を示すブロック図である。
図２に示すように、画像処理部４０は、カメラ３１および３２により撮影された画像を取得し、取得された画像に基づいてユーザが注目するテレビ受像機の表示画面５０の位置を検出するものであり、画像取得部４１、顔検出部４２、顔方向検出部４３、目検出部４４、視線方向検出部４５および注目位置検出部４６を備える。
【００１２】
画像取得部４１は、カメラ３１および３２により撮影された左右の画像を取得する。顔検出部４２は、画像取得部４１により取得されたカメラ３１および３２（左右）の画像に基づいてそれぞれのユーザの顔を検出する。顔方向検出部４３は、顔検出部４２により検出された左右の顔に基づいて顔の向きを検出する。目検出部４４は、顔検出部４２により検出された左右の顔に基づいて左右の顔のそれぞれの眼球（白目）および虹彩（黒目）を検出する。
視線方向検出部４５は、顔方向検出部４３により検出された顔方向および目検出部４４により検出された左右の顔のそれぞれの眼球および虹彩に基づいてユーザの視線方向を検出する。注目位置検出部４６は、視線方向検出部４５により検出された視線方向に基づいてユーザが注目するテレビ受像機の表示画面５０における注目位置を検出する。
【００１３】
本体１０は、対象物検出部５１、注目対象物検出部５２、注目対象物選択部５３、属性検出部５４、動きベクトル検出部５５および表示領域変更部５６を備える。
対象物検出部５１は、注目位置検出部４６により検出された注目位置に基づいて出力画像の対象物を検出する。ここで、対象物とは、ゲームに登場する人物等のキャラククタや、キャラクタの背景の物や、ゲームのステータスを表示する表示領域などをいう。
注目対象物検出部５２は、対象物検出部５１により検出された対象物が表示画面５０の第１の所定時間以上（所定フレーム数以上）継続して検出された場合、この対象物を注目対象物として検出する。
注目対象物選択部５３は、注目対象物検出部５２により検出された注目対象物の中から第１の所定時間より長い第２の所定時間内に最も注目時間の長い注目対象物を選択する。
【００１４】
ユーザは、表示画面５０に表示される出力画像の複数の点に一瞬だけ注目する場合がある。このような場合、その点の対象物を注目対象物として検出して出力画像の表示領域を変更すると、様々な方向に頻繁に出力画像の表示領域が変更されてしまい落ち着きの無い映像が表示されてしまう。表示画面５０に表示される出力画像の表示領域は、ユーザにとって顔の向きに相当する。ユーザの視線の動きに応じて表示領域を変更すると、ユーザは顔の向きが変わったように錯覚してしまう。
このような不自然な表示領域の変更を防止するため、対象物検出部５１により検出された対象物が一定時間継続して検出されるかどうかを注目対象物検出部５２よりに判定し、さらに、注目対象物検出部５２により認識された注目対象物の中から最も注目時間の長い注目対象物を注目対象物選択部５３により選択する。
【００１５】
注目対象物属性検出部５４は、実行されるゲームプログラムに含まれる対象物の属性情報に基づいて注目対象物選択部５３により選択された注目対象物の属性情報を検出する。この属性情報は、例えば、キャラククタのように自由な方向に自由な大きさで移動させてもよい物や、背景のように移動させてもよいが動きの方向が制限される物、ステータス表示のように表示位置が固定される物などがある。このような対象物の属性情報により表示領域の変更方法が制限される。
動きベクトル検出部５５は、注目対象物属性検出部５４により検出された属性情報が移動させてもよい物であった場合、出力画像に基づいてその対象物の動きベクトル（動きの方向および大きさ）を検出する。
表示領域変更部５６は、注目対象物属性検出部５４により検出された対象物の属性情報よび動きベクトル検出部５５により検出された対象物の動きベクトルに基づいて出力画像の表示領域を変更する。表示領域変更部５６は、対象物に基づいてゆっくりとした自然な動きで表示領域を変更する。
【００１６】
図３は、実施例１のゲーム機の動作を示すフローチャートである。
ゲームが開始されると、２台のカメラ３１および３２によりユーザの左右の顔が撮影され、画像取得部４１により左右の顔の画像が取得される（ステップＳ１）。次に、顔検出部４２により、画像取得部４１により取得された左右の画像に基づいてそれぞれの左右それぞれのユーザの顔が検出される（ステップＳ２）。
次に、顔方向検出部４３により、顔検出部４２により検出された左右の顔に基づいて顔の向きが検出される（ステップＳ３）。同時に、目検出部４４により、顔検出部４２により検出された左右の顔に基づいて左右それぞれの眼球および虹彩が検出される（ステップＳ４）。
次に、視線方向検出部４５により、顔方向検出部４３により検出された顔方向および目検出部４４により検出された左右の顔のそれぞれの眼球および虹彩に基づいて顔の視線の方向が検出される（ステップＳ５）。次に、注目位置検出部４６により、視線方向検出部４５により検出された視線方向に基づいてユーザが注目するテレビ受像機の表示画面５０における注目位置が検出される（ステップＳ６）。
【００１７】
次に、対象物検出部５１により、視線方向検出部４５により検出された視線方向に基づいて表示画面５０に表示された出力画像の対象物が検出される（ステップＳ７）。
次に、注目対象物検出部５２により、対象物検出部５１により検出された対象物の継続検出時間がカウントされ、第１の所定時間以上カウントされた場合、その対象物が注目対象物として検出される（ステップＳ８）。
次に、注目対象物選択部５３により、注目対象物検出部５２により検出された注目対象物の中から第２の所定時間内に最も注目時間の長い注目対象物が選択される(ステップＳ９)。
次に、注目対象物属性検出部５４により、注目対象物選択部５３により選択された注目対象物の属性が検出される（ステップＳ１０）。
ここで、注目対象物属性検出部５４により対象物の属性が動く物として検出された場合、動きベクトル検出部５５によりその対象物の動きベクトルが検出される（ステップＳ１１）。
次に、表示領域変更部５６により、注目対象物属性検出部５４により属性が検出された対象物および動きベクトル検出部５５により検出された動きベクトルに基づいて出力画像の表示領域が変更される(ステップＳ１２)。
【００１８】
図４は、出力画像の表示領域の変更方法の一例を示す図である。
図４（Ａ）に示すように、窓ＯＢＪ３のある背景の下方に位置する台ＯＢＪ２の上に人物ＯＢＪ１が矢印Ａ方向に歩いている場面を想定する。ここで、ＡＢＣは、ゲームのステータス情報ＯＢＪ４を意味する。
図４（Ａ）中、人物ＯＢＪ１は、自由は方向に自由な大きさで移動可能な対象物である。台ＯＢＪ２および窓ＯＢＪ３は、上下方向の移動が禁止された移動可能な対象物である。ステータス情報ＯＢＪ４は、固定された対象物である。注目対象物を×印で表す。
【００１９】
図４（Ｂ）は、注目対象物ＯＢＪ１が画面中央に位置するように出力画像の表示領域を変更する例である。
図４（Ｃ）は、注目対象物ＯＢＪ１の動きベクトルを検出し、検出された動きベクトルに基づいて出力画像の表示領域を変更する例である。この場合、注目対象物ＯＢＪ１が画面中央から移動方向の反対側に少しずれた位置に注目対象物ＯＢＪ１を移動するように出力画像の表示領域を変更すると、ユーザにとって見やすい自然な映像となる。
図４（Ｄ）は、ステータス情報ＯＢＪ４が注目対象物として検出された例である。この場合、注目対象物ＯＢＪ４は固定された対象物であるため、出力画像の表示領域が変更されない。
なお、表示領域変更処理は表示する位置の変更処理に限られるものではない。例えば、注目対象物検出部５２において検出された注目対象の分布範囲に応じてズームイン・ズームアウトなど大きさを変更する処理を行う。
また、本発明の表示領域変更処理は2次元空間の表示領域変更に限られるものではない。3次元空間における視線や視点の変更処理も含まれる。
【００２０】
このように実施例１によれば、２台のカメラ３１および３２により撮影された画像に基づいてユーザの視線方向を検出し、この視線方向に基づいてテレビ受像機の表示画面５０の注目位置を検出し、この注目位置の対象物に基づいて出力画像の表示領域を変更するので、表示領域の変更をユーザに意識させることなく自然な動きで行うことができる。また、ユーザは、装着体を装着する煩わしさもなく、快適にゲームを行うことができる。
【００２１】
なお、本発明の注目対象物検出部５２における注目対象物の検出の際に、対象物検出部５１により検出された対象物情報にユーザの操作情報やゲームの進行情報を組み合わせてもよい。
また、本発明の注目対象物選択部５３における注目対象物の選択の際に、注目対象物検出部５２により検出された注目対象物情報にユーザの操作情報やゲームの進行情報を組み合わせてもよい。
また、本発明の表示領域変更部５６に従来のユーザの操作情報やゲームの進行情報を用いた従来の出力画像の表示領域の変更方法と組み合わせてもよい。
また、本発明の画像出力方法および装置は、ゲーム機に限り適用されるものではない。例えば、展示場などで表示装置にシミュレーション情報を表示する場合などに好適である。
【図面の簡単な説明】
【００２２】
【図１】実施例１のゲーム機の構成を示す図である。
【図２】図１に示される画像処理部４０および本体１０の構成を示すブロック図である。
【図３】実施例１のゲーム機の動作を示すフローチャートである。
【図４】出力画像の表示領域の変更方法の一例を示す図である。
【符号の説明】
【００２３】
１０……ゲーム機本体、２０……コントローラ、３１および３２……カメラ、４０……画像処理部、４１……画像取得部、４２……顔検出部、４３……顔方向検出部、４４……目検出部、４５……視線方向検出部、４６……注目位置検出部、５１……対象物検出部、５２……注目対象物検出部、５３……注目対象物選択部、５４……注目対象物属性検出部、５５……動きベクトル検出部、５６……表示領域変更部
【特許請求の範囲】
【請求項１】
表示装置に表示される出力画像の表示領域を変更する画像出力方法であって、
前記表示装置の水平方向の両側に設けられた２台のカメラにより前記表示装置を見る使用者の顔画像を撮影する撮影ステップと、
前記撮影ステップで撮影された顔画像に基づいて前記使用者の視線方向を検出する視線方向検出ステップと、
前記視線方向検出ステップで検出された視線方向に基づいて前記使用者が注目する前記表示装置の表示画面の位置を検出する注目位置検出ステップと、
前記注目位置検出ステップで検出された位置に表示された前記出力画像の対象物を検出する対象物検出ステップと、
前記対象物検出ステップで検出された対象物に基づいて前記出力画像の表示領域を変更する表示領域変更ステップと、
を含むことを特徴とする画像出力方法。
【請求項２】
前記表示領域変更ステップは、前記対象物検出ステップで検出された対象物が前記表示画面の中央に位置するように前記出力画像の表示領域を変更することを特徴とする請求項１記載の画像出力方法。
【請求項３】
前記出力画像は、動画像であり、
前記表示領域変更ステップは、
前記動画像に基づいて前記対象物検出ステップで検出された対象物の移動の方向および大きさを検出する動き検出ステップを含み、
前記動き検出ステップで検出された対象物の移動の方向および大きさに基づいて前記出力画像の表示領域を変更することを特徴とする請求項３記載の画像出力方法。
【請求項４】
表示装置に表示される出力画像の表示領域を変更する画像出力装置であって、
前記表示装置の水平方向の両側に設けられ、前記表示装置を見る使用者の顔画像を撮影する２台のカメラと、
前記２台のカメラにより撮影された顔画像に基づいて前記使用者の視線方向を検出する視線方向検出手段と、
前記視線方向検出手段により検出された視線方向に基づいて前記使用者が注目する前記表示装置の表示画面の位置を検出する注目位置検出手段と、
前記注目位置検出手段により検出された位置に表示された前記出力画像の対象物を検出する対象物検出手段と、
前記対象物検出手段により検出された対象物に基づいて前記出力画像の表示領域を変更する表示領域変更手段と、
を備えたことを特徴とする画像出力装置。
【請求項５】
前記表示領域変更手段は、前記対象物検出手段により検出された対象物が前記表示画面の中央になるように前記視野を変化させることを特徴とする請求項５記載の画像出力装置。
【請求項６】
前記出力画像は、動画像であり、
前記表示領域変更手段は、前記動画像に基づいて前記対象物検出手段により検出された前記対象物の移動方向を検出する移動方向検出手段を有し、
前記移動方向検出手段により検出された前記移動方向に基づいて前記表示領域を変更することを特徴とする請求項４記載の画像出力方法。
【請求項１】
表示装置に表示される出力画像の表示領域を変更する画像出力方法であって、
前記表示装置の水平方向の両側に設けられた２台のカメラにより前記表示装置を見る使用者の顔画像を撮影する撮影ステップと、
前記撮影ステップで撮影された顔画像に基づいて前記使用者の視線方向を検出する視線方向検出ステップと、
前記視線方向検出ステップで検出された視線方向に基づいて前記使用者が注目する前記表示装置の表示画面の位置を検出する注目位置検出ステップと、
前記注目位置検出ステップで検出された位置に表示された前記出力画像の対象物を検出する対象物検出ステップと、
前記対象物検出ステップで検出された対象物に基づいて前記出力画像の表示領域を変更する表示領域変更ステップと、
を含むことを特徴とする画像出力方法。
【請求項２】
前記表示領域変更ステップは、前記対象物検出ステップで検出された対象物が前記表示画面の中央に位置するように前記出力画像の表示領域を変更することを特徴とする請求項１記載の画像出力方法。
【請求項３】
前記出力画像は、動画像であり、
前記表示領域変更ステップは、
前記動画像に基づいて前記対象物検出ステップで検出された対象物の移動の方向および大きさを検出する動き検出ステップを含み、
前記動き検出ステップで検出された対象物の移動の方向および大きさに基づいて前記出力画像の表示領域を変更することを特徴とする請求項３記載の画像出力方法。
【請求項４】
表示装置に表示される出力画像の表示領域を変更する画像出力装置であって、
前記表示装置の水平方向の両側に設けられ、前記表示装置を見る使用者の顔画像を撮影する２台のカメラと、
前記２台のカメラにより撮影された顔画像に基づいて前記使用者の視線方向を検出する視線方向検出手段と、
前記視線方向検出手段により検出された視線方向に基づいて前記使用者が注目する前記表示装置の表示画面の位置を検出する注目位置検出手段と、
前記注目位置検出手段により検出された位置に表示された前記出力画像の対象物を検出する対象物検出手段と、
前記対象物検出手段により検出された対象物に基づいて前記出力画像の表示領域を変更する表示領域変更手段と、
を備えたことを特徴とする画像出力装置。
【請求項５】
前記表示領域変更手段は、前記対象物検出手段により検出された対象物が前記表示画面の中央になるように前記視野を変化させることを特徴とする請求項５記載の画像出力装置。
【請求項６】
前記出力画像は、動画像であり、
前記表示領域変更手段は、前記動画像に基づいて前記対象物検出手段により検出された前記対象物の移動方向を検出する移動方向検出手段を有し、
前記移動方向検出手段により検出された前記移動方向に基づいて前記表示領域を変更することを特徴とする請求項４記載の画像出力方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００６−２０２１８１（Ｐ２００６−２０２１８１Ａ）
【公開日】平成１８年８月３日（２００６．８．３）
【国際特許分類】
【出願番号】特願２００５−１５１８５（Ｐ２００５−１５１８５）
【出願日】平成１７年１月２４日（２００５．１．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年８月３日（２００６．８．３）
【国際特許分類】
【出願日】平成１７年１月２４日（２００５．１．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]