画像処理装置、画像処理方法
【課題】 表示画面内で映像酔いを引き起こす可能性のある部分領域に対して、映像酔い防止を目的とする補正処理を行うための技術を提供すること。
【解決手段】 表示画面におけるユーザの注視領域を特定する（Ｓ１０１）。注視領域に対して比較的大きく且つ画素値の分散値が閾値以上となる候補オブジェクトを特定する（Ｓ１０２〜１０５）。候補オブジェクトのうち、フレーム画像間の動きの周期が規定範囲内且つ動きの量が閾値以上となる補正対象オブジェクトを特定する（Ｓ１０６，Ｓ１０７）。補正対象オブジェクトが注視領域内に位置する更新対象フレーム画像上で補正対象オブジェクトを再配置させて表示画面に表示させる。
【解決手段】 表示画面におけるユーザの注視領域を特定する（Ｓ１０１）。注視領域に対して比較的大きく且つ画素値の分散値が閾値以上となる候補オブジェクトを特定する（Ｓ１０２〜１０５）。候補オブジェクトのうち、フレーム画像間の動きの周期が規定範囲内且つ動きの量が閾値以上となる補正対象オブジェクトを特定する（Ｓ１０６，Ｓ１０７）。補正対象オブジェクトが注視領域内に位置する更新対象フレーム画像上で補正対象オブジェクトを再配置させて表示画面に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、特に大型の表示面を備えた表示装置における画像表示技術に関する。
【背景技術】
【０００２】
従来より、液晶ディスプレイやプラズマディスプレイに代表される薄型、大画面ディスプレイが普及している。しかし、臨場感の高い美しい映像が視聴できる一方で、映像酔いや光感受性発作など、生体への悪影響が懸念されている。例えば、一般人により家庭用ビデオカメラで撮影された映像には手ブレによる画像揺れが存在していることが多い。このような手ブレや回転、急速なズーミングの反復などによって映像酔いが誘発されやすいと考えられている。また、大画面のディスプレイで視聴する場合のように、視聴する映像が大きいほど映像酔いが誘発されやすいと考えられている。再生／表示装置側で映像酔いまたは光感受性発作を防止するための方法として、例えば下記の方法が考案されている。
【０００３】
(1) コンテンツ画面に揺れがあることを検出した場合には、画面を縮小して表示する方法が考案されている（特許文献１）。
【０００４】
(2) 表示画面とユーザとの間の距離を検出し、検出した距離が近い場合には画面を縮小して表示する方法が考案されている（特許文献２）。
【０００５】
(3) 表示領域の大きさおよび視距離、輝度特性を元に、光感受性発作を引き起こす可能性のある危険区間を検出する方法が考案されている（特許文献３）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２９９２４１号公報
【特許文献２】特開２００６−２３５３０７号公報
【特許文献３】特開２００７−１９４７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来例においては、大型の表示面を備えたディスプレイで映像酔いを防げない場合があった。例えば、壁面ディスプレイのような大画面表示の環境で、画面に近付いて一部領域のみを注視しているような場合には、映像酔い防止補正が行なえなかった。コンテンツ画面全体は揺れてなくても、注視している部分が揺れている場合は映像酔いを引起す可能性があり、従来の技術ではこれを補正できなかった。
【０００８】
本発明は以上の問題に鑑みてなされたものであり、表示画面内で映像酔いを引き起こす可能性のある部分領域に対して、映像酔い防止を目的とする補正処理を行うための技術を提供する。
【課題を解決するための手段】
【０００９】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、１以上のオブジェクトが配されたフレーム画像から成る動画像を表示する画像処理装置であって、前記動画像を表示する為の表示画面におけるユーザの注視領域を特定する手段と、前記動画像中に登場する各オブジェクトのうち、前記注視領域の面積に対する割合が閾値以上となる面積を有し且つ画素値の分散値が閾値以上となるオブジェクトを、候補オブジェクトとして特定する手段と、前記候補オブジェクトのうち、フレーム画像間の動きの周期が規定範囲内且つ該動きの量が閾値以上となる候補オブジェクトを、補正対象オブジェクトとして特定する特定手段と、前記表示画面に表示した場合に前記補正対象オブジェクトが前記注視領域内に位置するフレーム画像を更新対象フレーム画像とし、該更新対象フレーム画像上で前記補正対象オブジェクトを再配置させて該更新対象フレーム画像を更新し、該更新した更新対象フレーム画像を前記表示画面に表示させる表示制御手段とを備え、前記表示制御手段は、それぞれの更新対象フレーム画像間の前記補正対象オブジェクトの動きの周期が閾値以下となるように、若しくは該動きの量が閾値よりも小さくなるように、前記それぞれの更新対象フレーム画像上における前記補正対象オブジェクトの配置位置を決定し、該決定した配置位置に前記補正対象オブジェクトを再配置することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、表示画面内で映像酔いを引き起こす可能性のある部分領域に対して、映像酔い防止を目的とする補正処理を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】画像処理装置１の機能構成例を示すブロック図。
【図２】テレビ装置に適用した場合の画像処理装置１の機能構成例を示すブロック図。
【図３】表示画面の一例を示す図。
【図４】表示画面の一例を示す図。
【図５】表示画面の一例を示す図。
【図６】表示画面の一例を示す図。
【図７】（処理１）のフローチャート。
【図８】（処理２）のフローチャート。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１３】
［第１の実施形態］
本実施形態では、表示画面において、ユーザが注視した場合に映像酔いを引き起こす可能性のある候補領域を抽出し、ユーザの視聴する表示領域内にこの候補領域が含まれている場合には、この候補領域に対して映像酔い防止補正を行う。映像酔い防止補正としては様々なものが考えられるが、本実施形態では、画像オブジェクトの動きを鈍らせる処理を行う。
【００１４】
＜映像酔い防止補正の動作例＞
先ず、図３〜６を用いて、ユーザが注視している領域に対する映像酔い防止補正処理について説明する。図３〜６は何れも表示画面（フレーム画像５０）の一例を示している。本実施形態では、ユーザが注視している領域内に含まれているオブジェクトのうち、この領域内で比較的大きな割合を占め且つ周期的な動きを有するオブジェクトの動きを鈍らせることで、上記映像酔い防止補正処理を実現させる。
【００１５】
図３はフレーム画像５０の一例を示している。このフレーム画像５０は、複数フレームの画像から成る動画像におけるあるフレームの画像であり、人物オブジェクト５１、家オブジェクト５２、煙突オブジェクト５３を含み、人物オブジェクト５１及び煙突オブジェクト５３は周期的に揺れている。即ち、人物オブジェクト５１及び煙突オブジェクト５３は、複数フレームに渡って表示位置姿勢が変わっている。
【００１６】
図４は、ユーザが図３のフレーム画像５０に近づいたことでこのユーザが注視可能な領域５４を示している。ユーザはフレーム画像５０に近寄りすぎたため、フレーム画像５０全体を見ることはできず、このフレーム画像５０の部分領域（領域５４）しか見えない。この場合、ユーザが観察可能な領域５４内には、周期的に動いているオブジェクトが映っていないため、このユーザは領域５４を観察しても映像酔いを起こさない。然るに、本実施形態ではこのようなケースでは映像酔い防止補正処理は行わない。
【００１７】
図５は、ユーザが図３のフレーム画像５０に近づいたことでこのユーザが注視可能な領域５４を示している。ユーザはフレーム画像５０に近寄りすぎたため、フレーム画像５０全体を見ることはできず、このフレーム画像５０の部分領域（領域５４）しか見えない。この場合、ユーザが観察可能な領域５４内には、周期的に動いている煙突オブジェクト５３が映っている。しかし、領域５４の面積に対し、煙突オブジェクト５３の面積は比較的小さいため、ユーザはこの領域５４を観察しても、映像酔いを起こさない。然るに、本実施形態ではこのようなケースでは映像酔い防止補正処理は行わない。
【００１８】
図６は、ユーザが図３のフレーム画像５０に近づいたことでこのユーザが注視可能な領域５４を示している。ユーザはフレーム画像５０に近寄りすぎたため、フレーム画像５０全体を見ることはできず、このフレーム画像５０の部分領域（領域５４）しか見えない。この場合、ユーザが観察可能な領域５４内には、周期的に動いている人物オブジェクト５１が映っている。人物オブジェクト５１の面積は、領域５４の面積に対して比較的大きいため、ユーザがこの領域５４を観察すると、映像酔いを起こしてしまう可能性がある。本実施形態ではこのようなケースでは、人物オブジェクト５１に対して映像酔い防止補正処理を行う。図６では、この映像酔い防止補正処理が施された人物オブジェクト５１が映っており、周期的な動きは鈍くなっている。
【００１９】
このように、本実施形態では、表示画面においてユーザが観察している領域内で比較的大きな面積を有し且つ周期的な動きをしているオブジェクトについては、その動きを鈍らせる補正処理を行う。
【００２０】
＜本実施形態に係る画像処理装置＞
本実施形態に係る画像処理装置１の機能構成例について、図１のブロック部を用いて説明する。視聴領域検出部２は、表示部７の表示画面においてユーザが観察している領域（注視領域）を検出する。もちろん、ユーザが表示部７の表示画面から十分に離れた位置から表示部７の表示画面を観察している場合には、ユーザは表示部７の表示画面全体を観察していることになる。また、ユーザの視野角以上に近付いて見ている場合は、視野角の範囲がユーザによって観察されていることになる。
【００２１】
コンテンツ入力部３は、１以上のオブジェクトを含むフレーム画像から成る動画像を入力し、各フレーム画像を、危険領域抽出部４及び映像酔い補正部６に送出する。
【００２２】
危険領域抽出部４は、コンテンツ入力部３から入力されたフレーム画像から、映像酔いを引き起こす可能性のある領域を候補領域として抽出する。候補領域の抽出処理の詳細は後述する。
【００２３】
領域一致判定部５は、注視領域内に候補領域が含まれているか否かを判断する。映像酔い補正部６は、注視領域内に候補領域が含まれている場合には、この候補領域に対して映像酔い防止補正処理を施す。本実施形態では、時間軸方向のフィルタを使用して、候補領域内の動きを鈍らせる処理を行う。そして映像酔い補正部６は、映像酔い防止補正処理を施したフレーム画像を、後段の表示部７に送出する。もちろん、映像酔い補正部６は、注視領域内に候補領域が含まれていない限りは、コンテンツ入力部３から入力されたフレーム画像をそのまま後段の表示部７に送出する。表示部７は、映像酔い補正部６から受けたフレーム画像を表示する。
【００２４】
次に、テレビ装置に適用した場合の画像処理装置１の機能構成例について、図２のブロック図を用いて説明する。カメラ２１は動画像を撮像可能な複数のカメラ装置から成り、画像処理装置１の上方に設置されている。何れのカメラ装置も、表示パネル３１の表示画面を観察するユーザを観察するために設置されており、それぞれのカメラ装置が撮像した各フレームの撮像画像は後段の画像認識部２２に送出される。
【００２５】
画像認識部２２は、それぞれのカメラ装置から送出された撮像画像に対して画像認識を行うことで、表示パネル３１を観察しているユーザを認識する。この画像認識では、例えば、撮像画像内の物体の輪郭や特徴点を検出し、予め作成しているデータベースとマッチングすることでこの物体が人体であるか否かを判定する。また、同様にマッチングを行うことで、この人物の位置や顔の向きを判定する。なお、画像認識部２２が行うこのような一連の認識技術については様々な方法が考えられ、何れを用いても良い。
【００２６】
視聴領域算出部２３は、ユーザの位置及び顔の向きから、このユーザの視野を計算する。そして視聴領域算出部２３は、この計算した視野から、表示パネル３１においてこのユーザが観察している領域を注視領域として求める。
【００２７】
チューナ２４は、外部の不図示のアンテナから供給される放送波を受信して復調し、ＴＳデータを取り出す。デコーダ２５は、このＴＳデータから、圧縮ビデオ、圧縮音声、制御のデータを分離する。そしてデコーダ２５は、圧縮ビデオ、圧縮音声のデコードを行うことで、動画像のデータ及び音声のデータを得る。この動画像は、１以上のオブジェクトを含むフレーム画像から成るものである。
【００２８】
ビデオＩ／Ｆ（インタフェース）２６は、外部からのコンテンツを入力する。例えば、ＨＤＭＩやＤＶＩ等の各種標準規格のインタフェースで構成され、各種の映像コンテンツを入力する。この映像コンテンツは、１以上のオブジェクトを含むフレーム画像から成る動画像を含むものである。
【００２９】
セレクタ２７は、デコーダ２５、ビデオＩ／Ｆ２６の何れかを選択し、選択した方から出力されたデータを、後段の危険領域抽出部４及び高画質化処理部２８に送出する。危険領域抽出部４の動作については上記の通りであり、セレクタ２７から入力されたフレーム画像から、映像酔いを引き起こす可能性のある領域を候補領域として抽出する。
【００３０】
高画質化処理部２８は、セレクタ２７から受けたフレーム画像に対し、拡大縮小処理や色補正処理等の画像処理を施す。ＯＳＤ合成部２９は、高画質化処理部２８により画像処理が施されたフレーム画像に対し、チャンネル番号や音量設定など各種の操作情報を重ね合わせる。なお、高画質化処理部２８及びＯＳＤ合成部２９は、画像処理装置１がテレビ装置であるが故に備わっているものであり、本実施形態の目的を達成するために必須ではない。即ち、セレクタ２７から直接、映像酔い補正部６に対してフレーム画像を入力しても良い。
【００３１】
表示パネル制御部３０は、表示パネル３１に表示画面を表示するための駆動信号を生成する。そして表示パネル制御部３０は、表示パネル３１の駆動タイミングに合わせた同期信号を生成し、同期信号に合わせてフレーム画像を出力する。また、表示パネル制御部３０は、信号電圧レベルの変換や補助信号の作成も行う。表示パネル３１は、液晶やプラズマ、プロジェクション、ＣＲＴ、有機ＥＬ、ＳＥＤ等の任意の表示方式で表示を行う表示装置である。
【００３２】
全体制御部３２は、ＣＰＵ、周辺回路、メモリ等から構成され、映像酔い防止補正のための制御を含め、画像処理装置１全体の動作制御を行う。また、図２では省略しているが、画像処理装置１は、音声を再生するための音声処理部、アンプ、スピーカ、電源等を含む。
【００３３】
＜映像酔い防止補正処理について＞
映像酔い防止補正処理は、以下の２つの処理から成る。
【００３４】
（処理１） セレクタ２７から送出されるフレーム画像内に、映像酔いを生じさせる可能性のあるオブジェクトが含まれているか否かを判断し、含まれている場合には、このオブジェクトを、映像酔い防止補正処理の候補とする処理
（処理２） ユーザの注視領域内に、（処理１）で映像酔い防止補正処理の候補とされたオブジェクトが含まれている場合には、このオブジェクトに対して映像酔い防止補正処理を施す処理
先ず、（処理１）について、同処理のフローチャートを示す図７を用いて説明する。ステップＳ１０１では画像認識部２２は、カメラ２１から得られたフレーム画像群からユーザの位置及び顔の向きを認識する。そして視聴領域算出部２３は、画像認識部２２が認識した位置及び顔の向きからユーザの視野を計算し、計算した視野から、表示パネル３１においてこのユーザが観察している領域を注視領域（視聴領域）として求める。そして視聴領域算出部２３は、この注視領域の面積（サイズ）を求める。
【００３５】
ステップＳ１０２では、危険領域抽出部４は、セレクタ２７から入力されたフレーム画像から、オブジェクト（画像オブジェクト）を検出する。ステップＳ１０３では、危険領域抽出部４は、注視領域の面積に対する、検出されたオブジェクトの面積の割合が規定値以上であるか否かを判断する。この判断の結果、規定値以上であれば処理はステップＳ１０４に進み、規定値よりも小さい場合には、処理はステップＳ１０２に戻り、次のオブジェクト検出を行う。
【００３６】
ステップＳ１０４では危険領域抽出部４は、ステップＳ１０２で検出したオブジェクト（注視領域の面積に対して規定値以上の割合の面積を有するオブジェクト）を構成する各画素の画素値の分散値を求める。そしてステップＳ１０５では危険領域抽出部４は、この求めた分散値が規定値以上であるか否かを判断する。即ち、ステップＳ１０４及びステップＳ１０５では、オブジェクトのテクスチャの起伏が規定値以上であるか否かを判断している。
【００３７】
ステップＳ１０５における判断の結果、規定値以上であれば処理はステップＳ１０６に進み、規定値よりも小さい場合には処理はステップＳ１０２に戻り、次のオブジェクト検出を行う。
【００３８】
ステップＳ１０６では危険領域抽出部４は、ステップＳ１０２で検出したオブジェクト（注視領域の面積に対して規定値以上の割合の面積を有するオブジェクト）の広域動きベクトル（ＧＭＶ：Global Motion Vector）を求める。高域動きベクトルの求め方については周知のため、その説明を省略する。
【００３９】
ステップＳ１０７では危険領域抽出部４は、フレーム画像間のＧＭＶの動き（オブジェクトの動き）の周期が規定範囲内であり且つこの動きの量（大きさ）が閾値以上であるか否かを判断する。即ち、ステップＳ１０２で検出したオブジェクトが、映像酔いを生じさせる可能性があるか否かを判断する。
【００４０】
ステップＳ１０７における判断の結果、ＧＭＶの動きの周期が規定範囲内であり且つこの動きの量が閾値以上である場合には処理はステップＳ１０８に進み、そうでない場合には処理はステップＳ１０２に戻り、次のオブジェクト検出を行う。
【００４１】
ステップＳ１０８では、ステップＳ１０２で検出したオブジェクト（注視領域の面積に対して規定値以上の割合の面積を有するオブジェクト）を、補正候補とする。例えば、オブジェクトの動きの周期が0.5〜2Hzで、注視領域の面積に対して3%以上の大きさでこのオブジェクトが揺れている場合、このオブジェクトは映像酔いを生じさせる可能性のあるオブジェクトと判断し、補正候補とする。
【００４２】
即ち、視野に占める割合が大きいオブジェクトほど、映像酔いを誘発する可能性が高いと判定する。また、起伏の少ない、のっぺりとしたテクスチャを有するオブジェクトは映像酔いを誘発する可能性が低いと判定する。また、オブジェクト上に静止したテクスチャがある場合は、映像酔いを誘発する可能性が低いと判定する。例えば、鳥カゴの中の鳥が動いている画像の場合、鳥カゴが静止しているので、映像酔いの可能性が低いと判定する。
【００４３】
そして、セレクタ２７から受けたフレーム画像から全てのオブジェクトを検出した場合には本処理を終了する（実際には図８のステップＳ１５２に進む）。一方、未だ検出していないオブジェクトが残っている場合には、処理はステップＳ１０９を介してステップＳ１０２に戻り、次のオブジェクト検出を行う。
【００４４】
次に、上記の（処理２）について、同処理のフローチャートを示す図８を用いて説明する。上記の通り、図８のフローチャートに従った処理は、１フレーム分のフレーム画像について図７のフローチャートに従った処理を行った後で、このフレーム画像について行うものである。
【００４５】
ステップＳ１５２で領域一致判定部５は、セレクタ２７から危険領域抽出部４を介して受けたフレーム画像内の、視聴領域算出部２３が求めた注視領域内に、ステップＳ１０８で補正候補としたオブジェクトが含まれているか否かを判断する。この判断の結果、含まれている場合には処理はステップＳ１５３に進み、含まれていない場合には、処理はステップＳ１５４に進む。
【００４６】
ステップＳ１５３では、映像酔い補正部６は、ＯＳＤ合成部２９からのフレーム画像内の注視領域内に含まれている補正候補のオブジェクトを補正対象オブジェクトとし、この補正対象オブジェクトに対して映像酔い防止補正処理を行う。この処理では先ず、フレーム画像からこの補正対象オブジェクトを切り出す。そして、フレーム画像間の補正対象オブジェクトの動きの周期が閾値以下となるように、若しくはこの動きの量が閾値よりも小さくなるように、それぞれのフレーム画像上におけるこの切り出した補正対象オブジェクトの配置位置を決定する。そして、決定した配置位置に、この切り出した補正候補オブジェクトを配置する。このように、特定域の周期の揺れを取り除くことにより、映像酔いを引き起こす可能性を減少させる。そして映像酔い補正部６は、このように、補正対象オブジェクトの配置位置を補正したフレーム画像を、後段の表示パネル制御部３０に送出する。
【００４７】
なお、映像酔い補正部６は、ステップＳ１５２からステップＳ１５４に処理が進んだ場合には、ＯＳＤ合成部２９からのフレーム画像をそのまま表示パネル制御部３０に送出する。
【００４８】
ステップＳ１５４では、表示パネル制御部３０は、映像酔い補正部６から受けたフレーム画像を表示パネル３１に表示するための動作制御を行う。なお、図７のフローチャートに従った処理及び図８のフローチャートに従った処理は、フレーム毎に行う。
【００４９】
以上の説明により、本実施形態によれば、大画面の表示画面に近付いて画像の一部領域のみを見ているような場合にも映像酔い防止補正処理を行うことができるので、視聴の安全性を高めることができる。
【００５０】
＜変形例＞
上記の実施形態では、補正候補のオブジェクトを特定するための処理をフレーム毎に行ったが、処理負荷を減らすために、シーンチェンジ毎に行うようにしてもよい。また、注視領域を検出するための技術として、上記の実施形態では、画像認識技術を用いた。しかし、ユーザの顔の向きや位置を検出するために他の技術を用いても良い。例えば、ユーザの顔の向きとして、ユーザの視線方向を検出するようにしてもよい。視線の検出方法は、公知の任意のアルゴリズムを使用することができる。また、ユーザの位置は別途設けた距離センサで検出するようにしてもよい。
【００５１】
また、上記の実施形態では、映像酔い防止補正としてオブジェクトの動きを鈍らせる処理を行なったが、任意の映像酔い防止補正技術を用いてよい。例えば、オブジェクトのエッジを鈍らせる処理を行っても良い。
【００５２】
［第２の実施形態］
動画像にはテレビ映像だけでなく、ビデオカメラなどで撮像した動画像を適用しても良い。また、テレビ映像の代わりに、ＭＰＥＧ−４のように、背景画像とオブジェクトとを独立して管理している動画像ファイルを用いても良い。この場合、背景画像上の、上記の配置位置決定処理（ステップＳ１５３）で決定した配置位置にオブジェクトを配置することで１枚のフレーム画像を生成し、生成したフレーム画像を表示する。
【００５３】
なお、第１，２の実施形態は以下の処理の一例であり、以下の処理の範疇であれば、第１，２の実施形態以外の実施形態も考え得る。１以上のオブジェクトが配されたフレーム画像から成る動画像を表示する為の技術において、先ず、動画像を表示する為の表示画面におけるユーザの注視領域を特定する。そして、動画像中に登場する各オブジェクトのうち、注視領域の面積に対する割合が閾値以上となる面積を有し且つ画素値の分散値が閾値以上となるオブジェクトを、候補オブジェクトとして特定する。そして、特定したそれぞれの候補オブジェクトのうち、フレーム画像間の動きの周期が規定範囲内且つ動きの量が閾値以上となる候補オブジェクトを、補正対象オブジェクトとして特定する。
【００５４】
そして、表示画面に表示した場合に補正対象オブジェクトが注視領域内に位置するようなフレーム画像を更新対象フレーム画像とし、更新対象フレーム画像上で補正対象オブジェクトを再配置させて更新対象フレーム画像を更新する。そしてこの更新した更新対象フレーム画像を表示画面に表示させる（表示制御）。
【００５５】
なお、この表示制御における補正対象オブジェクトの再配置では次のような処理を行う。即ち、それぞれの更新対象フレーム画像間の補正対象オブジェクトの動きの周期が閾値以下となるように、若しくは動きの量が閾値よりも小さくなるように、それぞれの更新対象フレーム画像上における補正対象オブジェクトの配置位置を決定する。そして、この決定した配置位置に補正対象オブジェクトを再配置する。
【００５６】
なお、図１，２に示した各部のうち、一部をコンピュータプログラムで実装しても良い。この場合、このコンピュータプログラムは、全体制御部３２等のコントローラが実行することで、対応する機能部の機能を実現することになる。
【００５７】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、表示装置、特に大型の表示面を備えた表示装置における画像表示技術に関する。
【背景技術】
【０００２】
従来より、液晶ディスプレイやプラズマディスプレイに代表される薄型、大画面ディスプレイが普及している。しかし、臨場感の高い美しい映像が視聴できる一方で、映像酔いや光感受性発作など、生体への悪影響が懸念されている。例えば、一般人により家庭用ビデオカメラで撮影された映像には手ブレによる画像揺れが存在していることが多い。このような手ブレや回転、急速なズーミングの反復などによって映像酔いが誘発されやすいと考えられている。また、大画面のディスプレイで視聴する場合のように、視聴する映像が大きいほど映像酔いが誘発されやすいと考えられている。再生／表示装置側で映像酔いまたは光感受性発作を防止するための方法として、例えば下記の方法が考案されている。
【０００３】
(1) コンテンツ画面に揺れがあることを検出した場合には、画面を縮小して表示する方法が考案されている（特許文献１）。
【０００４】
(2) 表示画面とユーザとの間の距離を検出し、検出した距離が近い場合には画面を縮小して表示する方法が考案されている（特許文献２）。
【０００５】
(3) 表示領域の大きさおよび視距離、輝度特性を元に、光感受性発作を引き起こす可能性のある危険区間を検出する方法が考案されている（特許文献３）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２９９２４１号公報
【特許文献２】特開２００６−２３５３０７号公報
【特許文献３】特開２００７−１９４７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来例においては、大型の表示面を備えたディスプレイで映像酔いを防げない場合があった。例えば、壁面ディスプレイのような大画面表示の環境で、画面に近付いて一部領域のみを注視しているような場合には、映像酔い防止補正が行なえなかった。コンテンツ画面全体は揺れてなくても、注視している部分が揺れている場合は映像酔いを引起す可能性があり、従来の技術ではこれを補正できなかった。
【０００８】
本発明は以上の問題に鑑みてなされたものであり、表示画面内で映像酔いを引き起こす可能性のある部分領域に対して、映像酔い防止を目的とする補正処理を行うための技術を提供する。
【課題を解決するための手段】
【０００９】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、１以上のオブジェクトが配されたフレーム画像から成る動画像を表示する画像処理装置であって、前記動画像を表示する為の表示画面におけるユーザの注視領域を特定する手段と、前記動画像中に登場する各オブジェクトのうち、前記注視領域の面積に対する割合が閾値以上となる面積を有し且つ画素値の分散値が閾値以上となるオブジェクトを、候補オブジェクトとして特定する手段と、前記候補オブジェクトのうち、フレーム画像間の動きの周期が規定範囲内且つ該動きの量が閾値以上となる候補オブジェクトを、補正対象オブジェクトとして特定する特定手段と、前記表示画面に表示した場合に前記補正対象オブジェクトが前記注視領域内に位置するフレーム画像を更新対象フレーム画像とし、該更新対象フレーム画像上で前記補正対象オブジェクトを再配置させて該更新対象フレーム画像を更新し、該更新した更新対象フレーム画像を前記表示画面に表示させる表示制御手段とを備え、前記表示制御手段は、それぞれの更新対象フレーム画像間の前記補正対象オブジェクトの動きの周期が閾値以下となるように、若しくは該動きの量が閾値よりも小さくなるように、前記それぞれの更新対象フレーム画像上における前記補正対象オブジェクトの配置位置を決定し、該決定した配置位置に前記補正対象オブジェクトを再配置することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、表示画面内で映像酔いを引き起こす可能性のある部分領域に対して、映像酔い防止を目的とする補正処理を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】画像処理装置１の機能構成例を示すブロック図。
【図２】テレビ装置に適用した場合の画像処理装置１の機能構成例を示すブロック図。
【図３】表示画面の一例を示す図。
【図４】表示画面の一例を示す図。
【図５】表示画面の一例を示す図。
【図６】表示画面の一例を示す図。
【図７】（処理１）のフローチャート。
【図８】（処理２）のフローチャート。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１３】
［第１の実施形態］
本実施形態では、表示画面において、ユーザが注視した場合に映像酔いを引き起こす可能性のある候補領域を抽出し、ユーザの視聴する表示領域内にこの候補領域が含まれている場合には、この候補領域に対して映像酔い防止補正を行う。映像酔い防止補正としては様々なものが考えられるが、本実施形態では、画像オブジェクトの動きを鈍らせる処理を行う。
【００１４】
＜映像酔い防止補正の動作例＞
先ず、図３〜６を用いて、ユーザが注視している領域に対する映像酔い防止補正処理について説明する。図３〜６は何れも表示画面（フレーム画像５０）の一例を示している。本実施形態では、ユーザが注視している領域内に含まれているオブジェクトのうち、この領域内で比較的大きな割合を占め且つ周期的な動きを有するオブジェクトの動きを鈍らせることで、上記映像酔い防止補正処理を実現させる。
【００１５】
図３はフレーム画像５０の一例を示している。このフレーム画像５０は、複数フレームの画像から成る動画像におけるあるフレームの画像であり、人物オブジェクト５１、家オブジェクト５２、煙突オブジェクト５３を含み、人物オブジェクト５１及び煙突オブジェクト５３は周期的に揺れている。即ち、人物オブジェクト５１及び煙突オブジェクト５３は、複数フレームに渡って表示位置姿勢が変わっている。
【００１６】
図４は、ユーザが図３のフレーム画像５０に近づいたことでこのユーザが注視可能な領域５４を示している。ユーザはフレーム画像５０に近寄りすぎたため、フレーム画像５０全体を見ることはできず、このフレーム画像５０の部分領域（領域５４）しか見えない。この場合、ユーザが観察可能な領域５４内には、周期的に動いているオブジェクトが映っていないため、このユーザは領域５４を観察しても映像酔いを起こさない。然るに、本実施形態ではこのようなケースでは映像酔い防止補正処理は行わない。
【００１７】
図５は、ユーザが図３のフレーム画像５０に近づいたことでこのユーザが注視可能な領域５４を示している。ユーザはフレーム画像５０に近寄りすぎたため、フレーム画像５０全体を見ることはできず、このフレーム画像５０の部分領域（領域５４）しか見えない。この場合、ユーザが観察可能な領域５４内には、周期的に動いている煙突オブジェクト５３が映っている。しかし、領域５４の面積に対し、煙突オブジェクト５３の面積は比較的小さいため、ユーザはこの領域５４を観察しても、映像酔いを起こさない。然るに、本実施形態ではこのようなケースでは映像酔い防止補正処理は行わない。
【００１８】
図６は、ユーザが図３のフレーム画像５０に近づいたことでこのユーザが注視可能な領域５４を示している。ユーザはフレーム画像５０に近寄りすぎたため、フレーム画像５０全体を見ることはできず、このフレーム画像５０の部分領域（領域５４）しか見えない。この場合、ユーザが観察可能な領域５４内には、周期的に動いている人物オブジェクト５１が映っている。人物オブジェクト５１の面積は、領域５４の面積に対して比較的大きいため、ユーザがこの領域５４を観察すると、映像酔いを起こしてしまう可能性がある。本実施形態ではこのようなケースでは、人物オブジェクト５１に対して映像酔い防止補正処理を行う。図６では、この映像酔い防止補正処理が施された人物オブジェクト５１が映っており、周期的な動きは鈍くなっている。
【００１９】
このように、本実施形態では、表示画面においてユーザが観察している領域内で比較的大きな面積を有し且つ周期的な動きをしているオブジェクトについては、その動きを鈍らせる補正処理を行う。
【００２０】
＜本実施形態に係る画像処理装置＞
本実施形態に係る画像処理装置１の機能構成例について、図１のブロック部を用いて説明する。視聴領域検出部２は、表示部７の表示画面においてユーザが観察している領域（注視領域）を検出する。もちろん、ユーザが表示部７の表示画面から十分に離れた位置から表示部７の表示画面を観察している場合には、ユーザは表示部７の表示画面全体を観察していることになる。また、ユーザの視野角以上に近付いて見ている場合は、視野角の範囲がユーザによって観察されていることになる。
【００２１】
コンテンツ入力部３は、１以上のオブジェクトを含むフレーム画像から成る動画像を入力し、各フレーム画像を、危険領域抽出部４及び映像酔い補正部６に送出する。
【００２２】
危険領域抽出部４は、コンテンツ入力部３から入力されたフレーム画像から、映像酔いを引き起こす可能性のある領域を候補領域として抽出する。候補領域の抽出処理の詳細は後述する。
【００２３】
領域一致判定部５は、注視領域内に候補領域が含まれているか否かを判断する。映像酔い補正部６は、注視領域内に候補領域が含まれている場合には、この候補領域に対して映像酔い防止補正処理を施す。本実施形態では、時間軸方向のフィルタを使用して、候補領域内の動きを鈍らせる処理を行う。そして映像酔い補正部６は、映像酔い防止補正処理を施したフレーム画像を、後段の表示部７に送出する。もちろん、映像酔い補正部６は、注視領域内に候補領域が含まれていない限りは、コンテンツ入力部３から入力されたフレーム画像をそのまま後段の表示部７に送出する。表示部７は、映像酔い補正部６から受けたフレーム画像を表示する。
【００２４】
次に、テレビ装置に適用した場合の画像処理装置１の機能構成例について、図２のブロック図を用いて説明する。カメラ２１は動画像を撮像可能な複数のカメラ装置から成り、画像処理装置１の上方に設置されている。何れのカメラ装置も、表示パネル３１の表示画面を観察するユーザを観察するために設置されており、それぞれのカメラ装置が撮像した各フレームの撮像画像は後段の画像認識部２２に送出される。
【００２５】
画像認識部２２は、それぞれのカメラ装置から送出された撮像画像に対して画像認識を行うことで、表示パネル３１を観察しているユーザを認識する。この画像認識では、例えば、撮像画像内の物体の輪郭や特徴点を検出し、予め作成しているデータベースとマッチングすることでこの物体が人体であるか否かを判定する。また、同様にマッチングを行うことで、この人物の位置や顔の向きを判定する。なお、画像認識部２２が行うこのような一連の認識技術については様々な方法が考えられ、何れを用いても良い。
【００２６】
視聴領域算出部２３は、ユーザの位置及び顔の向きから、このユーザの視野を計算する。そして視聴領域算出部２３は、この計算した視野から、表示パネル３１においてこのユーザが観察している領域を注視領域として求める。
【００２７】
チューナ２４は、外部の不図示のアンテナから供給される放送波を受信して復調し、ＴＳデータを取り出す。デコーダ２５は、このＴＳデータから、圧縮ビデオ、圧縮音声、制御のデータを分離する。そしてデコーダ２５は、圧縮ビデオ、圧縮音声のデコードを行うことで、動画像のデータ及び音声のデータを得る。この動画像は、１以上のオブジェクトを含むフレーム画像から成るものである。
【００２８】
ビデオＩ／Ｆ（インタフェース）２６は、外部からのコンテンツを入力する。例えば、ＨＤＭＩやＤＶＩ等の各種標準規格のインタフェースで構成され、各種の映像コンテンツを入力する。この映像コンテンツは、１以上のオブジェクトを含むフレーム画像から成る動画像を含むものである。
【００２９】
セレクタ２７は、デコーダ２５、ビデオＩ／Ｆ２６の何れかを選択し、選択した方から出力されたデータを、後段の危険領域抽出部４及び高画質化処理部２８に送出する。危険領域抽出部４の動作については上記の通りであり、セレクタ２７から入力されたフレーム画像から、映像酔いを引き起こす可能性のある領域を候補領域として抽出する。
【００３０】
高画質化処理部２８は、セレクタ２７から受けたフレーム画像に対し、拡大縮小処理や色補正処理等の画像処理を施す。ＯＳＤ合成部２９は、高画質化処理部２８により画像処理が施されたフレーム画像に対し、チャンネル番号や音量設定など各種の操作情報を重ね合わせる。なお、高画質化処理部２８及びＯＳＤ合成部２９は、画像処理装置１がテレビ装置であるが故に備わっているものであり、本実施形態の目的を達成するために必須ではない。即ち、セレクタ２７から直接、映像酔い補正部６に対してフレーム画像を入力しても良い。
【００３１】
表示パネル制御部３０は、表示パネル３１に表示画面を表示するための駆動信号を生成する。そして表示パネル制御部３０は、表示パネル３１の駆動タイミングに合わせた同期信号を生成し、同期信号に合わせてフレーム画像を出力する。また、表示パネル制御部３０は、信号電圧レベルの変換や補助信号の作成も行う。表示パネル３１は、液晶やプラズマ、プロジェクション、ＣＲＴ、有機ＥＬ、ＳＥＤ等の任意の表示方式で表示を行う表示装置である。
【００３２】
全体制御部３２は、ＣＰＵ、周辺回路、メモリ等から構成され、映像酔い防止補正のための制御を含め、画像処理装置１全体の動作制御を行う。また、図２では省略しているが、画像処理装置１は、音声を再生するための音声処理部、アンプ、スピーカ、電源等を含む。
【００３３】
＜映像酔い防止補正処理について＞
映像酔い防止補正処理は、以下の２つの処理から成る。
【００３４】
（処理１） セレクタ２７から送出されるフレーム画像内に、映像酔いを生じさせる可能性のあるオブジェクトが含まれているか否かを判断し、含まれている場合には、このオブジェクトを、映像酔い防止補正処理の候補とする処理
（処理２） ユーザの注視領域内に、（処理１）で映像酔い防止補正処理の候補とされたオブジェクトが含まれている場合には、このオブジェクトに対して映像酔い防止補正処理を施す処理
先ず、（処理１）について、同処理のフローチャートを示す図７を用いて説明する。ステップＳ１０１では画像認識部２２は、カメラ２１から得られたフレーム画像群からユーザの位置及び顔の向きを認識する。そして視聴領域算出部２３は、画像認識部２２が認識した位置及び顔の向きからユーザの視野を計算し、計算した視野から、表示パネル３１においてこのユーザが観察している領域を注視領域（視聴領域）として求める。そして視聴領域算出部２３は、この注視領域の面積（サイズ）を求める。
【００３５】
ステップＳ１０２では、危険領域抽出部４は、セレクタ２７から入力されたフレーム画像から、オブジェクト（画像オブジェクト）を検出する。ステップＳ１０３では、危険領域抽出部４は、注視領域の面積に対する、検出されたオブジェクトの面積の割合が規定値以上であるか否かを判断する。この判断の結果、規定値以上であれば処理はステップＳ１０４に進み、規定値よりも小さい場合には、処理はステップＳ１０２に戻り、次のオブジェクト検出を行う。
【００３６】
ステップＳ１０４では危険領域抽出部４は、ステップＳ１０２で検出したオブジェクト（注視領域の面積に対して規定値以上の割合の面積を有するオブジェクト）を構成する各画素の画素値の分散値を求める。そしてステップＳ１０５では危険領域抽出部４は、この求めた分散値が規定値以上であるか否かを判断する。即ち、ステップＳ１０４及びステップＳ１０５では、オブジェクトのテクスチャの起伏が規定値以上であるか否かを判断している。
【００３７】
ステップＳ１０５における判断の結果、規定値以上であれば処理はステップＳ１０６に進み、規定値よりも小さい場合には処理はステップＳ１０２に戻り、次のオブジェクト検出を行う。
【００３８】
ステップＳ１０６では危険領域抽出部４は、ステップＳ１０２で検出したオブジェクト（注視領域の面積に対して規定値以上の割合の面積を有するオブジェクト）の広域動きベクトル（ＧＭＶ：Global Motion Vector）を求める。高域動きベクトルの求め方については周知のため、その説明を省略する。
【００３９】
ステップＳ１０７では危険領域抽出部４は、フレーム画像間のＧＭＶの動き（オブジェクトの動き）の周期が規定範囲内であり且つこの動きの量（大きさ）が閾値以上であるか否かを判断する。即ち、ステップＳ１０２で検出したオブジェクトが、映像酔いを生じさせる可能性があるか否かを判断する。
【００４０】
ステップＳ１０７における判断の結果、ＧＭＶの動きの周期が規定範囲内であり且つこの動きの量が閾値以上である場合には処理はステップＳ１０８に進み、そうでない場合には処理はステップＳ１０２に戻り、次のオブジェクト検出を行う。
【００４１】
ステップＳ１０８では、ステップＳ１０２で検出したオブジェクト（注視領域の面積に対して規定値以上の割合の面積を有するオブジェクト）を、補正候補とする。例えば、オブジェクトの動きの周期が0.5〜2Hzで、注視領域の面積に対して3%以上の大きさでこのオブジェクトが揺れている場合、このオブジェクトは映像酔いを生じさせる可能性のあるオブジェクトと判断し、補正候補とする。
【００４２】
即ち、視野に占める割合が大きいオブジェクトほど、映像酔いを誘発する可能性が高いと判定する。また、起伏の少ない、のっぺりとしたテクスチャを有するオブジェクトは映像酔いを誘発する可能性が低いと判定する。また、オブジェクト上に静止したテクスチャがある場合は、映像酔いを誘発する可能性が低いと判定する。例えば、鳥カゴの中の鳥が動いている画像の場合、鳥カゴが静止しているので、映像酔いの可能性が低いと判定する。
【００４３】
そして、セレクタ２７から受けたフレーム画像から全てのオブジェクトを検出した場合には本処理を終了する（実際には図８のステップＳ１５２に進む）。一方、未だ検出していないオブジェクトが残っている場合には、処理はステップＳ１０９を介してステップＳ１０２に戻り、次のオブジェクト検出を行う。
【００４４】
次に、上記の（処理２）について、同処理のフローチャートを示す図８を用いて説明する。上記の通り、図８のフローチャートに従った処理は、１フレーム分のフレーム画像について図７のフローチャートに従った処理を行った後で、このフレーム画像について行うものである。
【００４５】
ステップＳ１５２で領域一致判定部５は、セレクタ２７から危険領域抽出部４を介して受けたフレーム画像内の、視聴領域算出部２３が求めた注視領域内に、ステップＳ１０８で補正候補としたオブジェクトが含まれているか否かを判断する。この判断の結果、含まれている場合には処理はステップＳ１５３に進み、含まれていない場合には、処理はステップＳ１５４に進む。
【００４６】
ステップＳ１５３では、映像酔い補正部６は、ＯＳＤ合成部２９からのフレーム画像内の注視領域内に含まれている補正候補のオブジェクトを補正対象オブジェクトとし、この補正対象オブジェクトに対して映像酔い防止補正処理を行う。この処理では先ず、フレーム画像からこの補正対象オブジェクトを切り出す。そして、フレーム画像間の補正対象オブジェクトの動きの周期が閾値以下となるように、若しくはこの動きの量が閾値よりも小さくなるように、それぞれのフレーム画像上におけるこの切り出した補正対象オブジェクトの配置位置を決定する。そして、決定した配置位置に、この切り出した補正候補オブジェクトを配置する。このように、特定域の周期の揺れを取り除くことにより、映像酔いを引き起こす可能性を減少させる。そして映像酔い補正部６は、このように、補正対象オブジェクトの配置位置を補正したフレーム画像を、後段の表示パネル制御部３０に送出する。
【００４７】
なお、映像酔い補正部６は、ステップＳ１５２からステップＳ１５４に処理が進んだ場合には、ＯＳＤ合成部２９からのフレーム画像をそのまま表示パネル制御部３０に送出する。
【００４８】
ステップＳ１５４では、表示パネル制御部３０は、映像酔い補正部６から受けたフレーム画像を表示パネル３１に表示するための動作制御を行う。なお、図７のフローチャートに従った処理及び図８のフローチャートに従った処理は、フレーム毎に行う。
【００４９】
以上の説明により、本実施形態によれば、大画面の表示画面に近付いて画像の一部領域のみを見ているような場合にも映像酔い防止補正処理を行うことができるので、視聴の安全性を高めることができる。
【００５０】
＜変形例＞
上記の実施形態では、補正候補のオブジェクトを特定するための処理をフレーム毎に行ったが、処理負荷を減らすために、シーンチェンジ毎に行うようにしてもよい。また、注視領域を検出するための技術として、上記の実施形態では、画像認識技術を用いた。しかし、ユーザの顔の向きや位置を検出するために他の技術を用いても良い。例えば、ユーザの顔の向きとして、ユーザの視線方向を検出するようにしてもよい。視線の検出方法は、公知の任意のアルゴリズムを使用することができる。また、ユーザの位置は別途設けた距離センサで検出するようにしてもよい。
【００５１】
また、上記の実施形態では、映像酔い防止補正としてオブジェクトの動きを鈍らせる処理を行なったが、任意の映像酔い防止補正技術を用いてよい。例えば、オブジェクトのエッジを鈍らせる処理を行っても良い。
【００５２】
［第２の実施形態］
動画像にはテレビ映像だけでなく、ビデオカメラなどで撮像した動画像を適用しても良い。また、テレビ映像の代わりに、ＭＰＥＧ−４のように、背景画像とオブジェクトとを独立して管理している動画像ファイルを用いても良い。この場合、背景画像上の、上記の配置位置決定処理（ステップＳ１５３）で決定した配置位置にオブジェクトを配置することで１枚のフレーム画像を生成し、生成したフレーム画像を表示する。
【００５３】
なお、第１，２の実施形態は以下の処理の一例であり、以下の処理の範疇であれば、第１，２の実施形態以外の実施形態も考え得る。１以上のオブジェクトが配されたフレーム画像から成る動画像を表示する為の技術において、先ず、動画像を表示する為の表示画面におけるユーザの注視領域を特定する。そして、動画像中に登場する各オブジェクトのうち、注視領域の面積に対する割合が閾値以上となる面積を有し且つ画素値の分散値が閾値以上となるオブジェクトを、候補オブジェクトとして特定する。そして、特定したそれぞれの候補オブジェクトのうち、フレーム画像間の動きの周期が規定範囲内且つ動きの量が閾値以上となる候補オブジェクトを、補正対象オブジェクトとして特定する。
【００５４】
そして、表示画面に表示した場合に補正対象オブジェクトが注視領域内に位置するようなフレーム画像を更新対象フレーム画像とし、更新対象フレーム画像上で補正対象オブジェクトを再配置させて更新対象フレーム画像を更新する。そしてこの更新した更新対象フレーム画像を表示画面に表示させる（表示制御）。
【００５５】
なお、この表示制御における補正対象オブジェクトの再配置では次のような処理を行う。即ち、それぞれの更新対象フレーム画像間の補正対象オブジェクトの動きの周期が閾値以下となるように、若しくは動きの量が閾値よりも小さくなるように、それぞれの更新対象フレーム画像上における補正対象オブジェクトの配置位置を決定する。そして、この決定した配置位置に補正対象オブジェクトを再配置する。
【００５６】
なお、図１，２に示した各部のうち、一部をコンピュータプログラムで実装しても良い。この場合、このコンピュータプログラムは、全体制御部３２等のコントローラが実行することで、対応する機能部の機能を実現することになる。
【００５７】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
１以上のオブジェクトが配されたフレーム画像から成る動画像を表示する画像処理装置であって、
前記動画像を表示する為の表示画面におけるユーザの注視領域を特定する手段と、
前記動画像中に登場する各オブジェクトのうち、前記注視領域の面積に対する割合が閾値以上となる面積を有し且つ画素値の分散値が閾値以上となるオブジェクトを、候補オブジェクトとして特定する手段と、
前記候補オブジェクトのうち、フレーム画像間の動きの周期が規定範囲内且つ該動きの量が閾値以上となる候補オブジェクトを、補正対象オブジェクトとして特定する特定手段と、
前記表示画面に表示した場合に前記補正対象オブジェクトが前記注視領域内に位置するフレーム画像を更新対象フレーム画像とし、該更新対象フレーム画像上で前記補正対象オブジェクトを再配置させて該更新対象フレーム画像を更新し、該更新した更新対象フレーム画像を前記表示画面に表示させる表示制御手段とを備え、
前記表示制御手段は、
それぞれの更新対象フレーム画像間の前記補正対象オブジェクトの動きの周期が閾値以下となるように、若しくは該動きの量が閾値よりも小さくなるように、前記それぞれの更新対象フレーム画像上における前記補正対象オブジェクトの配置位置を決定し、該決定した配置位置に前記補正対象オブジェクトを再配置する
ことを特徴とする画像処理装置。
【請求項２】
前記特定手段は、前記候補オブジェクトの広域動きベクトル（Global Motion Vector）をフレーム画像ごとに求め、該フレーム画像ごとに求めた高域動きベクトルから、フレーム画像間の動きの周期が規定範囲内且つ該動きの量が閾値以上の前記候補オブジェクトを、補正対象オブジェクトとして特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
１以上のオブジェクトが配されたフレーム画像から成る動画像を表示する画像処理装置が行う画像処理方法であって、
前記画像処理装置の注視領域を特定する手段が、前記動画像を表示する為の表示画面におけるユーザの注視領域を特定する工程と、
前記画像処理装置のオブジェクトを特定する手段が、前記動画像中に登場する各オブジェクトのうち、前記注視領域の面積に対する割合が閾値以上となる面積を有し且つ画素値の分散値が閾値以上となるオブジェクトを、候補オブジェクトとして特定する工程と、
前記画像処理装置の特定手段が、前記候補オブジェクトのうち、フレーム画像間の動きの周期が規定範囲内且つ該動きの量が閾値以上となる候補オブジェクトを、補正対象オブジェクトとして特定する特定工程と、
前記画像処理装置の表示制御手段が、前記表示画面に表示した場合に前記補正対象オブジェクトが前記注視領域内に位置するフレーム画像を更新対象フレーム画像とし、該更新対象フレーム画像上で前記補正対象オブジェクトを再配置させて該更新対象フレーム画像を更新し、該更新した更新対象フレーム画像を前記表示画面に表示させる表示制御工程とを備え、
前記表示制御工程では、
それぞれの更新対象フレーム画像間の前記補正対象オブジェクトの動きの周期が閾値以下となるように、若しくは該動きの量が閾値よりも小さくなるように、前記それぞれの更新対象フレーム画像上における前記補正対象オブジェクトの配置位置を決定し、該決定した配置位置に前記補正対象オブジェクトを再配置する
ことを特徴とする画像処理方法。
【請求項４】
コンピュータを請求項１又は２に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
【請求項１】
１以上のオブジェクトが配されたフレーム画像から成る動画像を表示する画像処理装置であって、
前記動画像を表示する為の表示画面におけるユーザの注視領域を特定する手段と、
前記動画像中に登場する各オブジェクトのうち、前記注視領域の面積に対する割合が閾値以上となる面積を有し且つ画素値の分散値が閾値以上となるオブジェクトを、候補オブジェクトとして特定する手段と、
前記候補オブジェクトのうち、フレーム画像間の動きの周期が規定範囲内且つ該動きの量が閾値以上となる候補オブジェクトを、補正対象オブジェクトとして特定する特定手段と、
前記表示画面に表示した場合に前記補正対象オブジェクトが前記注視領域内に位置するフレーム画像を更新対象フレーム画像とし、該更新対象フレーム画像上で前記補正対象オブジェクトを再配置させて該更新対象フレーム画像を更新し、該更新した更新対象フレーム画像を前記表示画面に表示させる表示制御手段とを備え、
前記表示制御手段は、
それぞれの更新対象フレーム画像間の前記補正対象オブジェクトの動きの周期が閾値以下となるように、若しくは該動きの量が閾値よりも小さくなるように、前記それぞれの更新対象フレーム画像上における前記補正対象オブジェクトの配置位置を決定し、該決定した配置位置に前記補正対象オブジェクトを再配置する
ことを特徴とする画像処理装置。
【請求項２】
前記特定手段は、前記候補オブジェクトの広域動きベクトル（Global Motion Vector）をフレーム画像ごとに求め、該フレーム画像ごとに求めた高域動きベクトルから、フレーム画像間の動きの周期が規定範囲内且つ該動きの量が閾値以上の前記候補オブジェクトを、補正対象オブジェクトとして特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
１以上のオブジェクトが配されたフレーム画像から成る動画像を表示する画像処理装置が行う画像処理方法であって、
前記画像処理装置の注視領域を特定する手段が、前記動画像を表示する為の表示画面におけるユーザの注視領域を特定する工程と、
前記画像処理装置のオブジェクトを特定する手段が、前記動画像中に登場する各オブジェクトのうち、前記注視領域の面積に対する割合が閾値以上となる面積を有し且つ画素値の分散値が閾値以上となるオブジェクトを、候補オブジェクトとして特定する工程と、
前記画像処理装置の特定手段が、前記候補オブジェクトのうち、フレーム画像間の動きの周期が規定範囲内且つ該動きの量が閾値以上となる候補オブジェクトを、補正対象オブジェクトとして特定する特定工程と、
前記画像処理装置の表示制御手段が、前記表示画面に表示した場合に前記補正対象オブジェクトが前記注視領域内に位置するフレーム画像を更新対象フレーム画像とし、該更新対象フレーム画像上で前記補正対象オブジェクトを再配置させて該更新対象フレーム画像を更新し、該更新した更新対象フレーム画像を前記表示画面に表示させる表示制御工程とを備え、
前記表示制御工程では、
それぞれの更新対象フレーム画像間の前記補正対象オブジェクトの動きの周期が閾値以下となるように、若しくは該動きの量が閾値よりも小さくなるように、前記それぞれの更新対象フレーム画像上における前記補正対象オブジェクトの配置位置を決定し、該決定した配置位置に前記補正対象オブジェクトを再配置する
ことを特徴とする画像処理方法。
【請求項４】
コンピュータを請求項１又は２に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−６３５４７（Ｐ２０１２−６３５４７Ａ）
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願番号】特願２０１０−２０７１５２（Ｐ２０１０−２０７１５２）
【出願日】平成２２年９月１５日（２０１０．９．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願日】平成２２年９月１５日（２０１０．９．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]