画像処理装置、画像処理方法及びプログラム
【課題】画面内における部分的な動きによる映像酔いを防止できるようにする。
【解決手段】入力された映像から画像オブジェクトを抽出し、前記抽出された画像オブジェクトが画面に占める割合と算出するとともに、前記抽出された画像オブジェクトの揺れ周波数を検出する。そして、前記検出した揺れ周波数によって画面に占める割合の閾値を決定する。前記算出した画像オブジェクトの画面に占める割合が前記決定した閾値以上である場合は、前記画像オブジェクトの動きが鈍るように前記画像オブジェクトを補正する。
【解決手段】入力された映像から画像オブジェクトを抽出し、前記抽出された画像オブジェクトが画面に占める割合と算出するとともに、前記抽出された画像オブジェクトの揺れ周波数を検出する。そして、前記検出した揺れ周波数によって画面に占める割合の閾値を決定する。前記算出した画像オブジェクトの画面に占める割合が前記決定した閾値以上である場合は、前記画像オブジェクトの動きが鈍るように前記画像オブジェクトを補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、揺れを含む映像を処理するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、液晶ディスプレイやプラズマディスプレイなど、薄型であって大画面のディスプレイが普及している。このようなディスプレイでは、臨場感の高い美しい映像を視聴することができるが、映像酔いや光感受性発作など、生体への影響が懸念されている。例えば、一般人により家庭用ビデオカメラで撮影された映像には手ブレによる画像揺れが存在していることが多く、このような手ブレや回転、急速なズーミングの反復などによって映像酔いが誘発されやすい。また、大画面のディスプレイで視聴する場合、視聴する映像が大きいほど映像酔いが誘発されやすい。
【０００３】
そこで、再生可能な装置により映像酔いまたは光感受性発作を防止するための方法として、様々な方法が提案されている。その一例として、コンテンツが表示されている画面に揺れがあることを検出した場合に、画面を縮小して表示する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２９９２４１号公報
【特許文献２】特開２０００−１８４３３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画面全体の揺れの度合いが生体への影響が懸念される値以下であっても、部分的な動きがその値に近付いている場合があり、従来技術ではこれを補正できなかった。そのため、壁面ディスプレイなど大画面により表示される環境では、揺れに敏感なユーザに映像酔いを引き起こしてしまうことがある。
【０００６】
本発明は前述の問題点に鑑み、画面内における部分的な動きによる映像酔いを防止できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、映像を入力する入力手段と、前記入力手段により入力された映像からオブジェクトを抽出する抽出手段と、前記抽出手段によって抽出されたオブジェクトが画面に占める割合を算出する算出手段と、前記抽出手段によって抽出されたオブジェクトの揺れ周波数を検出する検出手段と、前記算出手段によって算出された画面に占める割合と、前記検出手段による揺れ周波数の検出結果とに応じて前記オブジェクトの揺れを低減する補正を行う補正手段とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画面の一部の領域が揺れているような場合にも映像酔いを防ぐことができ、より安心して視聴することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態の画像処理装置の特徴的な機能構成例を示すブロック図である。
【図２】第１の実施形態の表示ディスプレイ装置の構成例を示すブロック図である。
【図３】揺れた画像オブジェクトを含む映像の画面例を示す図である。
【図４】映像酔い防止補正を行った後の画面例を示す図である。
【図５】映像酔い防止補正の処理手順の一例を示すフローチャートである。
【図６】揺れ周波数と占有割合との関係を示す図である。
【図７】第２の実施形態のビデオカムコーダの構成例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１１】
（第１の実施形態）
＜画像処理装置の構成＞
図１は、本実施形態における画像処理装置１の特徴的な機能構成例を示すブロック図である。以下、図１を参照しながら画像処理装置の構成について説明する。
図１において、映像入力部２は、外部からビデオデータを入力する。映像出力部８は、映像酔い防止補正が施された映像を出力する。本実施形態では、映像出力部８は例えば映像を表示するための表示デバイス及びその制御回路により構成されている。画像オブジェクト抽出部３は、映像の画面を構成する画像オブジェクトを抽出する。
【００１２】
占有割合算出部４は、抽出した画像オブジェクトの大きさが画面全体に占める割合（占有割合）を算出する。揺れ周波数検出部５は、画像オブジェクトの揺れ周波数を検出する。補正制御部６は、画像オブジェクトの揺れにより映像酔いを引き起こす可能性があるか否かを判定し、占有割合の閾値を決定する。なお、補正制御部６は、さらに補正判定部３１と判定閾値決定部３２とで構成されている。補正判定部３１は、画像オブジェクトの占有割合を閾値と比較することにより映像酔いを引き起こす可能性があるか否かを判定する。判定閾値決定部３２は、揺れ周波数の検出結果に応じて画像オブジェクトの占有割合の閾値を決定する。
【００１３】
映像酔い補正部７は、映像酔いを引き起こす可能性があると判定された画像オブジェクトに対して、映像酔い防止補正を行う。本実施形態では、時間軸方向のフィルタを用いて、映像酔いを引き起こす可能性のある画像オブジェクトの動きを鈍らせる処理を行う。具体的には複数枚のフレーム間で画像オブジェクトの動きベクトルを解析し、動きベクトルにおける特定周波数の動き成分を減衰させる。なお、画像オブジェクトの動きを抑制することによって部分的に欠落した領域は、前後のフレームの同一箇所の背景画像によって補間されるようにする。この欠落領域の補間処理は、例えば特許文献２で開示される方法を用いてもよいし、他の任意の公知技術を使用してもよい。また、欠落領域の近傍の領域から補間を行ってもよいし、補間する領域との継ぎ目を補うためにぼかし処理を行うようにしてもよい。
【００１４】
図２は、画像処理装置１の一例として表示ディスプレイ装置２０に適用した場合の概略構成例を示すブロック図である。なお、図１と共通の構成には同一番号を付しており、図１と共通する構成については説明を省略する。
図２において、映像入力部２を構成するビデオ入力インタフェース２１は、外部からの映像コンテンツを入力する。ビデオ入力インタフェース２１は、例えば、アナログコンポジット信号やアナログコンポーネント信号、ＨＤＭＩやＤＶＩ等のデジタルビデオ信号規格のインタフェースにより構成され、各種の映像コンテンツを入力する。高画質化処理部２２は、入力された映像コンテンツに対して拡大縮小や輪郭補正、色補正等の画像処理を施す。
【００１５】
ＯＳＤ合成部２３は、ビデオポート番号や音量設定など各種の操作情報を表示画面に重ね合わせる。表示デバイス制御部２４は、表示デバイス２５に映像を表示するための表示制御を行うものであり、表示デバイス２５の特性に合わせたタイミングの同期信号を生成し、同期信号に合わせて表示画面データを読み出して出力する。また、表示デバイス制御部２４は、信号電圧レベルの変換や補助信号の作成も行う。
【００１６】
表示デバイス２５は、液晶やプラズマ、プロジェクション、ＣＲＴ、有機ＥＬ、ＳＥＤ等の任意の表示方式により構成されている。全体制御部２６は、ＣＰＵ、周辺回路、メモリ等から構成されており、映像酔い防止補正のための制御を含めて、表示ディスプレイ装置２０全体の制御を行う。また、図示されていないが、表示ディスプレイ装置２０には、音声データを再生するための音声処理部、アンプ、スピーカ、通信インタフェース、ユーザインタフェース、電源等が含まれている。
【００１７】
＜映像酔い防止補正の処理の流れ＞
以下、映像酔い防止補正の処理について説明する。本実施形態では、画面から抽出した画像オブジェクトの占有割合とその画像オブジェクトの揺れ周波数とを検出し、揺れ周波数の検出結果に応じて閾値を決定する。そして、画像オブジェクトの占有割合が閾値を超えた場合に映像酔い防止補正を行って表示する制御を行う。
【００１８】
図５は、本実施形態に係る表示ディスプレイ装置２０による映像酔い防止補正の処理手順の一例を示すフローチャートである。なお、図５に示す処理は、高画質化処理部２２により１フレーム分の画像の高画質化処理が施された後に、全体制御部２６の制御により行われる処理である。
まず、図１のステップＳ１０１において、映像入力部２は、映像コンテンツの１フレーム分の画像（フレーム）を入力する。そして、ステップＳ１０２において、画像オブジェクト抽出部３は、入力した画像から１つの画像オブジェクトを抽出する。
【００１９】
次に、ステップＳ１０３において、占有割合算出部４は、抽出された画像オブジェクトの画面全体に対する大きさの割合（占有割合）を算出する。そして、ステップＳ１０４において、揺れ周波数検出部５は、その画像オブジェクトの揺れ周波数を検出する。
【００２０】
次に、ステップＳ１０５において、判定閾値決定部３２は、揺れ周波数検出部５による揺れ周波数の検出結果に基づいて、画像オブジェクトの占有割合の閾値を決定する。なお、閾値の決定方法については後述する。そして、ステップＳ１０６において、補正判定部３１は、画像オブジェクトの大きさの割合がステップＳ１０５で決定した閾値以上であるか否かを判定する。この判定の結果、閾値以上である場合はステップＳ１０７に進み、閾値未満である場合はステップＳ１０８に進む。
【００２１】
次に、ステップＳ１０７において、映像酔い補正部７は、その画像オブジェクトに対して映像酔い補正を行う。そして、ステップＳ１０８において、入力された画像内において最後の画像オブジェクトが処理されたか否かを判定する。この判定の結果、まだ処理されていない画像オブジェクトがある場合はステップＳ１０２に戻り、すべての画像オブジェクトが処理された場合はステップＳ１０９に進む。
【００２２】
そして、ステップＳ１０９において、ＯＳＤ合成部２３は、入力された画像に対してＯＳＤ合成を行い、表示デバイス制御部２４は、１フレーム分の画像を表示デバイス２５へ表示して、処理を終了する。
【００２３】
＜閾値の決定方法＞
一般に映像酔いは、画面が低い周波数で揺れる場合に引き起こされる。映像酔いを引き起こす揺れ周波数は数Ｈｚのオーダーであり、ピーク周波数を中心に分布する。ピーク周波数は例えば１．５Ｈｚ付近の値であり、以下、このピーク周波数を危険周波数と称す。図５のステップＳ１０５では、予め設定された危険周波数と揺れ周波数との差分が小さいほど、占有割合の閾値が低くなるように決定する。このように差分が小さい（危険周波数に近い）場合は、より小さな画像オブジェクトであっても映像酔いを引き起こす可能性があるため、閾値を下げるようにしている。
【００２４】
閾値の決定は、例えば図６に示すような関数に従って行う。図６は、揺れ周波数と占有割合との関係を示す図である。図６において、点線６１は映像酔いを引き起こす可能性の高い危険周波数を表し、危険周波数は１．５Ｈｚに設定されている。折れ線６２は、揺れ周波数に応じた閾値を示す線である。ここで、揺れ周波数が危険周波数付近である場合に閾値は最小値（図６では６０％）となる。そして、危険周波数から遠ざかるにつれて閾値も上がり、上限値（図６では９０％）に達したところで閾値は一定になる。
【００２５】
このように画像オブジェクトの揺れ周波数が危険周波数付近の時には閾値が最小となるので、比較的小さな画像オブジェクトであっても映像酔い防止補正を施すよう制御する。これは、画像オブジェクトが危険周波数で揺れる場合は、多少小さな画像オブジェクトであっても敏感なユーザに映像酔いを引き起こす可能性があるからである。逆に揺れ周波数が危険周波数から離れた周波数の場合には、映像酔いを引き起こす可能性が低くなるため、画面に占める割合が大きい画像オブジェクトにのみ映像酔い防止補正を施すよう制御する。以上のように、元の映像の動きを可能な限り維持しながら、必要最小限の箇所を補正することにより映像酔いを防ぐことができる。
【００２６】
＜映像酔い防止補正の画面例＞
以下、図３及び図４を参照しながら、映像酔い防止補正を行った具体的な映像の一例について説明する。
図３は、揺れた画像オブジェクトを含む映像の表示画面５０の一例を示す図である。図３に示す表示画面５０には、人物オブジェクト５１、家オブジェクト、及び船オブジェクト５３の３つの画像オブジェクトが含まれている。人物オブジェクト５１は、踊っているなどにより身体が動いており、危険周波数付近の周波数で揺れている。例えば、人物オブジェクト５１の大きさは画面の７０％の割合を占めており、１．２Ｈｚで揺れているものとする。家オブジェクト５２は固定されているものであるため、静止している。船オブジェクト５３は、波や風の影響により危険周波数で揺れている。例えば、船オブジェクト５３の大きさは画面の１０％の割合を占めており、１．５Ｈｚで揺れているものとする。
【００２７】
図４は、本実施形態において、映像酔い防止補正を行った後の表示画面５５の一例を示す図である。補正前の映像では、人物オブジェクト５１は危険周波数（１．５Ｈｚ）付近の周波数（１．２Ｈｚ）で揺れており、画面の７０％の割合を占めている。図６に示すように、揺れ周波数が１．２Ｈｚである場合は占有割合の閾値を超えているため、人物オブジェクト５１に対して映像酔い防止の補正が行われる。
【００２８】
図４に示す表示画面５５では、補正により揺れが除去された人物オブジェクト５６が表示されている。一方、船オブジェクト５３は危険周波数と同じ揺れ周波数で揺れているが、画面に占める割合は閾値よりも小さいため、補正は行われず、揺れを残したまま表示される。
【００２９】
以上説明したように本実施形態によれば、一部の領域が揺れているような画像を表示する場合にも映像酔いを防ぐことができるので、より安心して視聴することができる。なお、本実施形態では映像酔い防止補正として動きを鈍らせる処理を行ったが、他の映像酔い防止補正を行ってよい。例えば、画像オブジェクトのエッジを鈍らせる処理を行ってもよく、静止するテクスチャを重ね合わせるようにしてもよい。
【００３０】
また、閾値を決定する関数は、図６に示した例に限定されることなく、任意の関数を用いてよい。本実施形態では、危険周波数の両側で直線状に増加する関数を用いたが、片側だけ増加する関数であってもよく、二次曲線等の任意の曲線関数を用いてよい。
【００３１】
また、画面の占有割合に応じて揺れ周波数の範囲を決定し、揺れ周波数がこの範囲内にある場合に補正するように構成してもよい。この場合、占有割合算出部４から判定閾値決定部３２に占有割合の情報を入力し、揺れ周波数検出部５から補正判定部３１に揺れ周波数の情報を入力するように構成し、判定閾値決定部３２で揺れ周波数の範囲を決定する。このとき、揺れ周波数の範囲は危険周波数を中心にして、占有割合が小さいほど判定範囲が狭くなるように決定する。
【００３２】
例えば、図６に示す例では、占有割合が８０％の場合には、揺れ周波数の範囲を０．８〜２．２Ｈｚと決定し、占有割合が７０％の場合には、揺れ周波数の範囲を１．１〜１．９Ｈｚと決定する。これにより、揺れ周波数が危険周波数に近い場合は、小さな画像オブジェクトであっても補正が施されるようになる。このように、この構成によっても、本実施形態で述べた構成と同じ効果を得ることができる。
【００３３】
（第２の実施形態）
前述した第１の実施形態では、映像を表示する前に映像酔い防止補正を行ったが、本実施形態で示すように、映像を撮影した後に予め映像酔い防止補正を行ってもよい。本実施形態では、ビデオカムコーダに応用した場合の例について説明する。なお、本実施形態における画像処理装置の特徴的な機能構成例は図１と同様であるため、説明は省略する。
【００３４】
＜画像処理装置の構成＞
図７は、画像処理装置１の一例としてビデオカムコーダ４０に適用した場合の概略構成例を示すブロック図である。なお、図１と共通の構成には同一番号を付し、図１と共通する構成については説明を省略する。
図７において、映像入力部２を構成する撮像部４１は、レンズや撮像素子、撮像制御部により構成されている。撮像素子にはＣＣＤやＣＭＯＳセンサ等の任意のセンサを用いる。高画質化処理部４２は、撮像部４１により撮影された映像に対して色補正や輪郭補正等の画像処理を施す。
【００３５】
映像出力部８を構成するビデオ出力インタフェース４３は、撮影中の映像データやストレージ４５に格納された映像データを外部に出力する。ビデオ出力インタフェース４３は、例えば、アナログコンポジット信号やアナログコンポーネント信号、ＨＤＭＩやＤＶＩ等のデジタルビデオ規格のインタフェースで構成されている。コーデック４４は、ＪＰＥＧやＭＰＥＧ、Ｈ．２６４、ＤＶなどの圧縮アルゴリズムにより映像データを圧縮または展開する。
【００３６】
ストレージ４５は圧縮された映像データを格納する記録媒体であり、ＨＤＤやＤＶＤ、ＳＤカードなどによって構成される。撮像素子で撮影された映像データはコーデック４４で圧縮されて、ストレージ４５に格納される。そして、ストレージ４５に格納された映像データはコーデック４４で展開され、ビデオ出力インタフェース４３から出力される。全体制御部４６は、ＣＰＵ、周辺回路、メモリ等から構成されており、映像酔い防止補正のための制御を含め、撮像素子による撮影等のビデオカムコーダ４０全体の制御を行う。また、図示されていないが、ビデオカムコーダ４０は、撮影される映像を確認するためのファインダ機構、音声データを入力するためのマイク、アンプ、音声処理部、ユーザインタフェース、電源等が含まれている。
【００３７】
本実施形態における映像酔い補正処理の流れは、前述した第１の実施形態とほぼ同様であるので説明を省略する。なお、本実施形態では、ステップＳ１０９において、コーデック４４またはビデオ出力インタフェース４３へ出力することになる。
【００３８】
以上により本実施形態によれば、ビデオカムコーダ側で映像酔い防止補正を施すことができる。この映像を表示ディスプレイで視聴する場合、映像中から危険周波数周辺の周波数で揺れる画像オブジェクトは既に除去されているため、映像酔いを引き起こすことを防止することができる。
【００３９】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４０】
２ 映像入力部
３ 画像オブジェクト抽出部
４ 占有割合算出部
５ 揺れ周波数検出部
６ 補正制御部
７ 映像酔い補正部
【技術分野】
【０００１】
本発明は、特に、揺れを含む映像を処理するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、液晶ディスプレイやプラズマディスプレイなど、薄型であって大画面のディスプレイが普及している。このようなディスプレイでは、臨場感の高い美しい映像を視聴することができるが、映像酔いや光感受性発作など、生体への影響が懸念されている。例えば、一般人により家庭用ビデオカメラで撮影された映像には手ブレによる画像揺れが存在していることが多く、このような手ブレや回転、急速なズーミングの反復などによって映像酔いが誘発されやすい。また、大画面のディスプレイで視聴する場合、視聴する映像が大きいほど映像酔いが誘発されやすい。
【０００３】
そこで、再生可能な装置により映像酔いまたは光感受性発作を防止するための方法として、様々な方法が提案されている。その一例として、コンテンツが表示されている画面に揺れがあることを検出した場合に、画面を縮小して表示する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２９９２４１号公報
【特許文献２】特開２０００−１８４３３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画面全体の揺れの度合いが生体への影響が懸念される値以下であっても、部分的な動きがその値に近付いている場合があり、従来技術ではこれを補正できなかった。そのため、壁面ディスプレイなど大画面により表示される環境では、揺れに敏感なユーザに映像酔いを引き起こしてしまうことがある。
【０００６】
本発明は前述の問題点に鑑み、画面内における部分的な動きによる映像酔いを防止できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、映像を入力する入力手段と、前記入力手段により入力された映像からオブジェクトを抽出する抽出手段と、前記抽出手段によって抽出されたオブジェクトが画面に占める割合を算出する算出手段と、前記抽出手段によって抽出されたオブジェクトの揺れ周波数を検出する検出手段と、前記算出手段によって算出された画面に占める割合と、前記検出手段による揺れ周波数の検出結果とに応じて前記オブジェクトの揺れを低減する補正を行う補正手段とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画面の一部の領域が揺れているような場合にも映像酔いを防ぐことができ、より安心して視聴することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態の画像処理装置の特徴的な機能構成例を示すブロック図である。
【図２】第１の実施形態の表示ディスプレイ装置の構成例を示すブロック図である。
【図３】揺れた画像オブジェクトを含む映像の画面例を示す図である。
【図４】映像酔い防止補正を行った後の画面例を示す図である。
【図５】映像酔い防止補正の処理手順の一例を示すフローチャートである。
【図６】揺れ周波数と占有割合との関係を示す図である。
【図７】第２の実施形態のビデオカムコーダの構成例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１１】
（第１の実施形態）
＜画像処理装置の構成＞
図１は、本実施形態における画像処理装置１の特徴的な機能構成例を示すブロック図である。以下、図１を参照しながら画像処理装置の構成について説明する。
図１において、映像入力部２は、外部からビデオデータを入力する。映像出力部８は、映像酔い防止補正が施された映像を出力する。本実施形態では、映像出力部８は例えば映像を表示するための表示デバイス及びその制御回路により構成されている。画像オブジェクト抽出部３は、映像の画面を構成する画像オブジェクトを抽出する。
【００１２】
占有割合算出部４は、抽出した画像オブジェクトの大きさが画面全体に占める割合（占有割合）を算出する。揺れ周波数検出部５は、画像オブジェクトの揺れ周波数を検出する。補正制御部６は、画像オブジェクトの揺れにより映像酔いを引き起こす可能性があるか否かを判定し、占有割合の閾値を決定する。なお、補正制御部６は、さらに補正判定部３１と判定閾値決定部３２とで構成されている。補正判定部３１は、画像オブジェクトの占有割合を閾値と比較することにより映像酔いを引き起こす可能性があるか否かを判定する。判定閾値決定部３２は、揺れ周波数の検出結果に応じて画像オブジェクトの占有割合の閾値を決定する。
【００１３】
映像酔い補正部７は、映像酔いを引き起こす可能性があると判定された画像オブジェクトに対して、映像酔い防止補正を行う。本実施形態では、時間軸方向のフィルタを用いて、映像酔いを引き起こす可能性のある画像オブジェクトの動きを鈍らせる処理を行う。具体的には複数枚のフレーム間で画像オブジェクトの動きベクトルを解析し、動きベクトルにおける特定周波数の動き成分を減衰させる。なお、画像オブジェクトの動きを抑制することによって部分的に欠落した領域は、前後のフレームの同一箇所の背景画像によって補間されるようにする。この欠落領域の補間処理は、例えば特許文献２で開示される方法を用いてもよいし、他の任意の公知技術を使用してもよい。また、欠落領域の近傍の領域から補間を行ってもよいし、補間する領域との継ぎ目を補うためにぼかし処理を行うようにしてもよい。
【００１４】
図２は、画像処理装置１の一例として表示ディスプレイ装置２０に適用した場合の概略構成例を示すブロック図である。なお、図１と共通の構成には同一番号を付しており、図１と共通する構成については説明を省略する。
図２において、映像入力部２を構成するビデオ入力インタフェース２１は、外部からの映像コンテンツを入力する。ビデオ入力インタフェース２１は、例えば、アナログコンポジット信号やアナログコンポーネント信号、ＨＤＭＩやＤＶＩ等のデジタルビデオ信号規格のインタフェースにより構成され、各種の映像コンテンツを入力する。高画質化処理部２２は、入力された映像コンテンツに対して拡大縮小や輪郭補正、色補正等の画像処理を施す。
【００１５】
ＯＳＤ合成部２３は、ビデオポート番号や音量設定など各種の操作情報を表示画面に重ね合わせる。表示デバイス制御部２４は、表示デバイス２５に映像を表示するための表示制御を行うものであり、表示デバイス２５の特性に合わせたタイミングの同期信号を生成し、同期信号に合わせて表示画面データを読み出して出力する。また、表示デバイス制御部２４は、信号電圧レベルの変換や補助信号の作成も行う。
【００１６】
表示デバイス２５は、液晶やプラズマ、プロジェクション、ＣＲＴ、有機ＥＬ、ＳＥＤ等の任意の表示方式により構成されている。全体制御部２６は、ＣＰＵ、周辺回路、メモリ等から構成されており、映像酔い防止補正のための制御を含めて、表示ディスプレイ装置２０全体の制御を行う。また、図示されていないが、表示ディスプレイ装置２０には、音声データを再生するための音声処理部、アンプ、スピーカ、通信インタフェース、ユーザインタフェース、電源等が含まれている。
【００１７】
＜映像酔い防止補正の処理の流れ＞
以下、映像酔い防止補正の処理について説明する。本実施形態では、画面から抽出した画像オブジェクトの占有割合とその画像オブジェクトの揺れ周波数とを検出し、揺れ周波数の検出結果に応じて閾値を決定する。そして、画像オブジェクトの占有割合が閾値を超えた場合に映像酔い防止補正を行って表示する制御を行う。
【００１８】
図５は、本実施形態に係る表示ディスプレイ装置２０による映像酔い防止補正の処理手順の一例を示すフローチャートである。なお、図５に示す処理は、高画質化処理部２２により１フレーム分の画像の高画質化処理が施された後に、全体制御部２６の制御により行われる処理である。
まず、図１のステップＳ１０１において、映像入力部２は、映像コンテンツの１フレーム分の画像（フレーム）を入力する。そして、ステップＳ１０２において、画像オブジェクト抽出部３は、入力した画像から１つの画像オブジェクトを抽出する。
【００１９】
次に、ステップＳ１０３において、占有割合算出部４は、抽出された画像オブジェクトの画面全体に対する大きさの割合（占有割合）を算出する。そして、ステップＳ１０４において、揺れ周波数検出部５は、その画像オブジェクトの揺れ周波数を検出する。
【００２０】
次に、ステップＳ１０５において、判定閾値決定部３２は、揺れ周波数検出部５による揺れ周波数の検出結果に基づいて、画像オブジェクトの占有割合の閾値を決定する。なお、閾値の決定方法については後述する。そして、ステップＳ１０６において、補正判定部３１は、画像オブジェクトの大きさの割合がステップＳ１０５で決定した閾値以上であるか否かを判定する。この判定の結果、閾値以上である場合はステップＳ１０７に進み、閾値未満である場合はステップＳ１０８に進む。
【００２１】
次に、ステップＳ１０７において、映像酔い補正部７は、その画像オブジェクトに対して映像酔い補正を行う。そして、ステップＳ１０８において、入力された画像内において最後の画像オブジェクトが処理されたか否かを判定する。この判定の結果、まだ処理されていない画像オブジェクトがある場合はステップＳ１０２に戻り、すべての画像オブジェクトが処理された場合はステップＳ１０９に進む。
【００２２】
そして、ステップＳ１０９において、ＯＳＤ合成部２３は、入力された画像に対してＯＳＤ合成を行い、表示デバイス制御部２４は、１フレーム分の画像を表示デバイス２５へ表示して、処理を終了する。
【００２３】
＜閾値の決定方法＞
一般に映像酔いは、画面が低い周波数で揺れる場合に引き起こされる。映像酔いを引き起こす揺れ周波数は数Ｈｚのオーダーであり、ピーク周波数を中心に分布する。ピーク周波数は例えば１．５Ｈｚ付近の値であり、以下、このピーク周波数を危険周波数と称す。図５のステップＳ１０５では、予め設定された危険周波数と揺れ周波数との差分が小さいほど、占有割合の閾値が低くなるように決定する。このように差分が小さい（危険周波数に近い）場合は、より小さな画像オブジェクトであっても映像酔いを引き起こす可能性があるため、閾値を下げるようにしている。
【００２４】
閾値の決定は、例えば図６に示すような関数に従って行う。図６は、揺れ周波数と占有割合との関係を示す図である。図６において、点線６１は映像酔いを引き起こす可能性の高い危険周波数を表し、危険周波数は１．５Ｈｚに設定されている。折れ線６２は、揺れ周波数に応じた閾値を示す線である。ここで、揺れ周波数が危険周波数付近である場合に閾値は最小値（図６では６０％）となる。そして、危険周波数から遠ざかるにつれて閾値も上がり、上限値（図６では９０％）に達したところで閾値は一定になる。
【００２５】
このように画像オブジェクトの揺れ周波数が危険周波数付近の時には閾値が最小となるので、比較的小さな画像オブジェクトであっても映像酔い防止補正を施すよう制御する。これは、画像オブジェクトが危険周波数で揺れる場合は、多少小さな画像オブジェクトであっても敏感なユーザに映像酔いを引き起こす可能性があるからである。逆に揺れ周波数が危険周波数から離れた周波数の場合には、映像酔いを引き起こす可能性が低くなるため、画面に占める割合が大きい画像オブジェクトにのみ映像酔い防止補正を施すよう制御する。以上のように、元の映像の動きを可能な限り維持しながら、必要最小限の箇所を補正することにより映像酔いを防ぐことができる。
【００２６】
＜映像酔い防止補正の画面例＞
以下、図３及び図４を参照しながら、映像酔い防止補正を行った具体的な映像の一例について説明する。
図３は、揺れた画像オブジェクトを含む映像の表示画面５０の一例を示す図である。図３に示す表示画面５０には、人物オブジェクト５１、家オブジェクト、及び船オブジェクト５３の３つの画像オブジェクトが含まれている。人物オブジェクト５１は、踊っているなどにより身体が動いており、危険周波数付近の周波数で揺れている。例えば、人物オブジェクト５１の大きさは画面の７０％の割合を占めており、１．２Ｈｚで揺れているものとする。家オブジェクト５２は固定されているものであるため、静止している。船オブジェクト５３は、波や風の影響により危険周波数で揺れている。例えば、船オブジェクト５３の大きさは画面の１０％の割合を占めており、１．５Ｈｚで揺れているものとする。
【００２７】
図４は、本実施形態において、映像酔い防止補正を行った後の表示画面５５の一例を示す図である。補正前の映像では、人物オブジェクト５１は危険周波数（１．５Ｈｚ）付近の周波数（１．２Ｈｚ）で揺れており、画面の７０％の割合を占めている。図６に示すように、揺れ周波数が１．２Ｈｚである場合は占有割合の閾値を超えているため、人物オブジェクト５１に対して映像酔い防止の補正が行われる。
【００２８】
図４に示す表示画面５５では、補正により揺れが除去された人物オブジェクト５６が表示されている。一方、船オブジェクト５３は危険周波数と同じ揺れ周波数で揺れているが、画面に占める割合は閾値よりも小さいため、補正は行われず、揺れを残したまま表示される。
【００２９】
以上説明したように本実施形態によれば、一部の領域が揺れているような画像を表示する場合にも映像酔いを防ぐことができるので、より安心して視聴することができる。なお、本実施形態では映像酔い防止補正として動きを鈍らせる処理を行ったが、他の映像酔い防止補正を行ってよい。例えば、画像オブジェクトのエッジを鈍らせる処理を行ってもよく、静止するテクスチャを重ね合わせるようにしてもよい。
【００３０】
また、閾値を決定する関数は、図６に示した例に限定されることなく、任意の関数を用いてよい。本実施形態では、危険周波数の両側で直線状に増加する関数を用いたが、片側だけ増加する関数であってもよく、二次曲線等の任意の曲線関数を用いてよい。
【００３１】
また、画面の占有割合に応じて揺れ周波数の範囲を決定し、揺れ周波数がこの範囲内にある場合に補正するように構成してもよい。この場合、占有割合算出部４から判定閾値決定部３２に占有割合の情報を入力し、揺れ周波数検出部５から補正判定部３１に揺れ周波数の情報を入力するように構成し、判定閾値決定部３２で揺れ周波数の範囲を決定する。このとき、揺れ周波数の範囲は危険周波数を中心にして、占有割合が小さいほど判定範囲が狭くなるように決定する。
【００３２】
例えば、図６に示す例では、占有割合が８０％の場合には、揺れ周波数の範囲を０．８〜２．２Ｈｚと決定し、占有割合が７０％の場合には、揺れ周波数の範囲を１．１〜１．９Ｈｚと決定する。これにより、揺れ周波数が危険周波数に近い場合は、小さな画像オブジェクトであっても補正が施されるようになる。このように、この構成によっても、本実施形態で述べた構成と同じ効果を得ることができる。
【００３３】
（第２の実施形態）
前述した第１の実施形態では、映像を表示する前に映像酔い防止補正を行ったが、本実施形態で示すように、映像を撮影した後に予め映像酔い防止補正を行ってもよい。本実施形態では、ビデオカムコーダに応用した場合の例について説明する。なお、本実施形態における画像処理装置の特徴的な機能構成例は図１と同様であるため、説明は省略する。
【００３４】
＜画像処理装置の構成＞
図７は、画像処理装置１の一例としてビデオカムコーダ４０に適用した場合の概略構成例を示すブロック図である。なお、図１と共通の構成には同一番号を付し、図１と共通する構成については説明を省略する。
図７において、映像入力部２を構成する撮像部４１は、レンズや撮像素子、撮像制御部により構成されている。撮像素子にはＣＣＤやＣＭＯＳセンサ等の任意のセンサを用いる。高画質化処理部４２は、撮像部４１により撮影された映像に対して色補正や輪郭補正等の画像処理を施す。
【００３５】
映像出力部８を構成するビデオ出力インタフェース４３は、撮影中の映像データやストレージ４５に格納された映像データを外部に出力する。ビデオ出力インタフェース４３は、例えば、アナログコンポジット信号やアナログコンポーネント信号、ＨＤＭＩやＤＶＩ等のデジタルビデオ規格のインタフェースで構成されている。コーデック４４は、ＪＰＥＧやＭＰＥＧ、Ｈ．２６４、ＤＶなどの圧縮アルゴリズムにより映像データを圧縮または展開する。
【００３６】
ストレージ４５は圧縮された映像データを格納する記録媒体であり、ＨＤＤやＤＶＤ、ＳＤカードなどによって構成される。撮像素子で撮影された映像データはコーデック４４で圧縮されて、ストレージ４５に格納される。そして、ストレージ４５に格納された映像データはコーデック４４で展開され、ビデオ出力インタフェース４３から出力される。全体制御部４６は、ＣＰＵ、周辺回路、メモリ等から構成されており、映像酔い防止補正のための制御を含め、撮像素子による撮影等のビデオカムコーダ４０全体の制御を行う。また、図示されていないが、ビデオカムコーダ４０は、撮影される映像を確認するためのファインダ機構、音声データを入力するためのマイク、アンプ、音声処理部、ユーザインタフェース、電源等が含まれている。
【００３７】
本実施形態における映像酔い補正処理の流れは、前述した第１の実施形態とほぼ同様であるので説明を省略する。なお、本実施形態では、ステップＳ１０９において、コーデック４４またはビデオ出力インタフェース４３へ出力することになる。
【００３８】
以上により本実施形態によれば、ビデオカムコーダ側で映像酔い防止補正を施すことができる。この映像を表示ディスプレイで視聴する場合、映像中から危険周波数周辺の周波数で揺れる画像オブジェクトは既に除去されているため、映像酔いを引き起こすことを防止することができる。
【００３９】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４０】
２ 映像入力部
３ 画像オブジェクト抽出部
４ 占有割合算出部
５ 揺れ周波数検出部
６ 補正制御部
７ 映像酔い補正部
【特許請求の範囲】
【請求項１】
映像を入力する入力手段と、
前記入力手段により入力された映像からオブジェクトを抽出する抽出手段と、
前記抽出手段によって抽出されたオブジェクトが画面に占める割合を算出する算出手段と、
前記抽出手段によって抽出されたオブジェクトの揺れ周波数を検出する検出手段と、
前記算出手段によって算出された画面に占める割合と、前記検出手段による揺れ周波数の検出結果とに応じて前記オブジェクトの揺れに対する補正を行う補正手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記補正手段は、前記オブジェクトの揺れ周波数の検出結果に応じて画面に占める割合の閾値を決定し、前記オブジェクトの画面に占める割合が前記決定した閾値を超えた場合に、前記オブジェクトの揺れに対する補正を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、予め設定された周波数と前記オブジェクトの揺れ周波数との差分が小さいほど閾値が低くなるように決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正手段は、前記オブジェクトの画面に占める割合に応じて揺れ周波数の範囲を決定し、前記オブジェクトの揺れ周波数が前記決定した範囲内にある場合に、前記オブジェクトの揺れに対する補正を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記補正手段は、予め設定された周波数を含むように揺れ周波数の範囲を決定し、前記オブジェクトの画面に占める割合が小さいほど前記揺れ周波数の範囲が狭くなるように決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記入力手段は、撮像素子を含む撮像部によって構成されていることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記補正手段によって前記オブジェクトが補正された映像を表示手段に表示する表示制御手段をさらに備えることを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項８】
入力された映像からオブジェクトを抽出する抽出工程と、
前記抽出工程において抽出されたオブジェクトが画面に占める割合を算出する算出工程と、
前記抽出工程において抽出されたオブジェクトの揺れ周波数を検出する検出工程と、
前記算出工程において算出された画面に占める割合と、前記検出工程における揺れ周波数の検出結果とに応じて前記オブジェクトの揺れに対する補正を行う補正工程とを備えたことを特徴とする画像処理方法。
【請求項９】
入力された映像からオブジェクトを抽出する抽出工程と、
前記抽出工程において抽出されたオブジェクトが画面に占める割合を算出する算出工程と、
前記抽出工程において抽出されたオブジェクトの揺れ周波数を検出する検出工程と、
前記算出工程において算出された画面に占める割合と、前記検出工程における揺れ周波数の検出結果とに応じて前記オブジェクトの揺れに対する補正を行う補正工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１】
映像を入力する入力手段と、
前記入力手段により入力された映像からオブジェクトを抽出する抽出手段と、
前記抽出手段によって抽出されたオブジェクトが画面に占める割合を算出する算出手段と、
前記抽出手段によって抽出されたオブジェクトの揺れ周波数を検出する検出手段と、
前記算出手段によって算出された画面に占める割合と、前記検出手段による揺れ周波数の検出結果とに応じて前記オブジェクトの揺れに対する補正を行う補正手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記補正手段は、前記オブジェクトの揺れ周波数の検出結果に応じて画面に占める割合の閾値を決定し、前記オブジェクトの画面に占める割合が前記決定した閾値を超えた場合に、前記オブジェクトの揺れに対する補正を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、予め設定された周波数と前記オブジェクトの揺れ周波数との差分が小さいほど閾値が低くなるように決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正手段は、前記オブジェクトの画面に占める割合に応じて揺れ周波数の範囲を決定し、前記オブジェクトの揺れ周波数が前記決定した範囲内にある場合に、前記オブジェクトの揺れに対する補正を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記補正手段は、予め設定された周波数を含むように揺れ周波数の範囲を決定し、前記オブジェクトの画面に占める割合が小さいほど前記揺れ周波数の範囲が狭くなるように決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記入力手段は、撮像素子を含む撮像部によって構成されていることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記補正手段によって前記オブジェクトが補正された映像を表示手段に表示する表示制御手段をさらに備えることを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項８】
入力された映像からオブジェクトを抽出する抽出工程と、
前記抽出工程において抽出されたオブジェクトが画面に占める割合を算出する算出工程と、
前記抽出工程において抽出されたオブジェクトの揺れ周波数を検出する検出工程と、
前記算出工程において算出された画面に占める割合と、前記検出工程における揺れ周波数の検出結果とに応じて前記オブジェクトの揺れに対する補正を行う補正工程とを備えたことを特徴とする画像処理方法。
【請求項９】
入力された映像からオブジェクトを抽出する抽出工程と、
前記抽出工程において抽出されたオブジェクトが画面に占める割合を算出する算出工程と、
前記抽出工程において抽出されたオブジェクトの揺れ周波数を検出する検出工程と、
前記算出工程において算出された画面に占める割合と、前記検出工程における揺れ周波数の検出結果とに応じて前記オブジェクトの揺れに対する補正を行う補正工程とをコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１６５３３８（Ｐ２０１２−１６５３３８Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２６２７８（Ｐ２０１１−２６２７８）
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]