画像処理装置及び画像処理方法
【課題】視聴者が注目する領域の画像品質を低下させることなく、動きのある領域の周辺の領域が多重に見えることによる妨害感を低減する技術を提供する。
【解決手段】本発明の画像処理装置は、入力映像から動きベクトルを検出する動き検出手段と、検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断し、映像の動きが無いと判断した静止画素に対し、該画素から所定の範囲内に映像の動きがあると判断した動き画素が存在するか否かを判定する判定手段と、前記所定の範囲内に動き画素が存在すると判定された静止画素に対し、高周波成分、コントラスト、及び、輝度の少なくともいずれかを低下させる補正処理を施す補正手段と、を有することを特徴とする。
【解決手段】本発明の画像処理装置は、入力映像から動きベクトルを検出する動き検出手段と、検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断し、映像の動きが無いと判断した静止画素に対し、該画素から所定の範囲内に映像の動きがあると判断した動き画素が存在するか否かを判定する判定手段と、前記所定の範囲内に動き画素が存在すると判定された静止画素に対し、高周波成分、コントラスト、及び、輝度の少なくともいずれかを低下させる補正処理を施す補正手段と、を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
応答速度が速いインパルス型のディスプレイ等において、動きのある被写体(テロップ等)を追従視すると、視覚の特性上、時間的に前のフレーム画像中の背景(実際には表示されていない背景(特にエッジ部分))が残像として見えることがある。そのため、背景が多重に見え、違和感を覚えることがある。例えば、SED(Surface-conduction Electron-emitter Display)やFED(Field Emission Display)、有機ELディスプレイ等
では、上記現象が生じやすい。
図15は、時間的に連続する2枚のフレーム画像を示す。点線で囲まれた領域は視聴者の視野を示す。図15に示すように、視聴者には、フレーム画像1のテロップ(図中、「ABC」)付近の背景がフレーム画像2でも残像として見えてしまう。これは、人間の目が、「動いているものを追従してしまう」、「瞬間的な発光が目に焼き付いてしまう(即ち、表示装置がインパルス型の表示装置であると、前のフレーム画像が目に焼き付いてしまう)」という特性を有することに起因する。特に、大画面の表示装置に表示された映像を、画面から近い位置で視聴する場合、追従視による視野の移動量が大きくなるため上記残像による妨害感は大きくなる。
【0003】
また、従来技術として、エッジ部分の画素(エッジ画素)が注目領域(視聴者が注目する領域)内の画素か否かを、その周囲のエッジ画素の密度(エッジ密度)から判断し、エッジ密度が高い領域の高周波成分を低下させる技術がある(特許文献1)。
しかしながら、動きのある被写体が近くに存在しない「木の葉」などの絵柄の領域は注目領域となりうるが、そのような領域ではエッジ密度は高くなる。また、動きのある領域は注目領域となりうるが、そのような領域がテロップなどの領域の場合には、その領域でのエッジ密度は高くなる。そのため、特許文献1に開示の技術を用いると、そのような注目領域はぼけてしまう。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−238209号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
そこで、本発明は、視聴者が注目する領域の画像品質を低下させることなく、動きのある領域の周辺の領域が多重に見えることによる妨害感を低減する技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の画像処理装置は、入力映像から動きベクトルを検出する動き検出手段と、検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断し、映像の動きが無いと判断した静止画素に対し、該画素から所定の範囲内に映像の動きがあると判断した動き画素が存在するか否かを判定する判定手段と、前記所定の範囲内に動き画素が存在すると判定された静止画素に対し、高周波成分、コントラスト、及び、輝度の少なくともいずれかを低下させる補正処理を施す補正手段と、を有することを特徴とする。
【0007】
本発明の画像処理方法は、入力映像から動きベクトルを検出するステップと、検出され
た動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断し、映像の動きが無いと判断した静止画素に対し、該画素から所定の範囲内に映像の動きがあると判断した動き画素が存在するか否かを判定するステップと、前記所定の範囲内に動き画素が存在すると判定された静止画素に対し、高周波成分、コントラスト、及び、輝度の少なくともいずれかを低下させる補正処理を施すステップと、を有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、視聴者が注目する領域の画像品質を低下させることなく、動きのある領域の周辺の領域が多重に見えることによる妨害感を低減することができる。
【図面の簡単な説明】
【0009】
【図1】実施例1に係る画像処理装置の機能構成の一例を示す図。
【図2】分割領域の一例を示す図。
【図3】スキャンフィルタの一例を示す図。
【図4】距離判定部の処理の流れの一例を示す図。
【図5】距離判定部の処理を説明するための図。
【図6】フィルタ係数生成部の処理の流れの一例を示す図。
【図7】周波数分布の一例を示す図。
【図8】フィルタ係数の一例を示す図。
【図9】或る画素に対して決定された各変数の一例を示す図。
【図10】垂直LPFの処理の流れの一例を示す図。
【図11】補正された映像信号の一例を示す図。
【図12】視聴者の位置と視野の関係を示す図。
【図13】パンされた映像の一例を示す図。
【図14】動き領域が複数存在する映像の一例を示す図。
【図15】従来技術の課題を説明するための図。
【発明を実施するための形態】
【0010】
<実施例1>
(全体構成)
以下、本発明の実施例1に係る画像処理装置及び画像処理方法について説明する。
本実施例では、入力映像内の特定の画素に対し、高周波成分を低下させる補正処理(フィルタ処理)を施す。それにより、視聴者が注目する領域(注目領域)の画像品質を低下させることなく、動きのある領域の周辺の領域が多重に見えることによる妨害感を低減する。特定の画素については後で詳しく説明する。
図1は、本実施例に係る画像処理装置の機能構成を示すブロック図である。図1に示すように、画像処理装置100は、遅延部101、動きベクトル検出部102、絵柄特徴量算出部103、距離判定部104、フィルタ係数生成部105、垂直LPF(ローパスフィルタ)106、水平LPF107を有する。画像処理装置100は、入力された映像信号y(入力映像)に画像処理を施し、映像信号y’(出力映像)を出力する。映像信号は、例えば、画素毎の輝度信号であり、フレーム単位で入出力される。
【0011】
遅延部101は入力されたフレーム画像を1フレーム期間だけ遅延して出力する。
動きベクトル検出部102は、入力映像から動きベクトルを検出する(動き検出手段)。具体的には、現在のフレーム画像(現フレーム画像)と遅延部101で遅延された1フレーム前のフレーム画像(前フレーム画像)とを用いて動きベクトルを求め、不図示のSRAMやフレームメモリに保持する。なお、動きベクトルは画素毎に検出してもよいし、所定の大きさを有するブロック毎に検出してもよい(本実施例では画素毎に検出されるものとする)。動きベクトルの検出には、例えば、ブロックマッチング法などの一般的な手法を用いればよい。
【0012】
絵柄特徴量算出部103は、動きベクトル検出部102で検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断する。そして、補正の対象とする画素を含むフレーム画像(現フレーム画像)を複数の領域に分割し、分割領域毎に、その分割領域内に位置する静止画素(映像の動きが無いと判断した画素)を用いて該分割領域の周波数分布及び輝度値を算出する。即ち、絵柄特徴量算出部103は周波数分布算出手段及び輝度値算出手段に対応する。なお、周波数分布は、図7に示すように、縦軸を強度、横軸を周波数とする分布であり、輝度値は、分割領域のAPL(Average Picture Level:平均輝度レベル)である。本実施例では、現フレーム画像を1920×1080の画像とし、図2のように6×4の分割領域に分割するものとする。各分割領域には、図2のように識別子blkxy(x=0〜5、y=0〜3)が付される。周波数分布と輝度値は対応する分割領域の識別子に対応付けられて、SRAMやフレームメモリに保持される。
【0013】
距離判定部104は、動きベクトル検出部102で検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断する。そして、静止画素(映像の動きが無いと判断した画素)に対し、該画素から所定の範囲内に動き画素(映像の動きがあると判断した画素)が存在するか否かを判定する。即ち、距離判定部104は判定手段に対応する。
本実施例では、現フレーム画像の画素毎に、その画素から所定の範囲内に動き画素が存在するか否か、存在する場合にはそれらの画素間がどの程度離れているか、を表す距離係数を決定する。具体的には、それらは、後述するスキャンフィルタで各画素(各画素の動きベクトル)をスキャンすることにより決定される。距離係数は補正処理の度合い(フィルタのフィルタ係数)を決定するのに使用する。また、本実施例では、距離判定部104は、スキャンフィルタでスキャンされた各画素の動きベクトルに基づいて、フィルタのタップ数やタップ方向を決定する。ここで、タップ方向とはフィルタにおいてタップが並んでいる方向のことである。
【0014】
距離判定部104で用いられるスキャンフィルタの一例を図3に示す。このスキャンフィルタは人間の視野に相当しており、注目画素Aを中心として、垂直方向、水平方向、(2種類の)斜め方向にそれぞれ9画素並んだ計33画素をスキャンする2次元フィルタで構成されている。そして、スキャンフィルタは、注目画素Aからの距離に応じて2つの領域301,302に区分されている。モザイク柄で表された領域301は、注目画素Aからの距離が小さい領域であり、ドット柄で表された領域302、注目画素Aから少し離れている領域(領域301に比べ注目画素Aからの距離が大きい領域)である。なお、スキャンフィルタの形状や大きさはこれに限らない。スキャンフィルタの形状は四角形や円形であってもよいし、一方向(四角形の場合は1辺、円形の場合は直径など)の大きさは7画素、15画素、21画素などであってもよい。また、本実施例では、スキャンフィルタが2つの領域301,302に区分されているものとしたが、区分数はこれに限らない。例えば、5,10個の領域に区分してもよいし、画素単位で区分してもよい。区分されていなくてもよい。
【0015】
フィルタ係数生成部105は、画素毎の動きベクトル、ブロック毎の周波数分布及び輝度値、及び、画素毎の距離係数を用いて、補正処理を施すか否かを判断すると共に、補正処理の度合いを決定する。例えば、所定の範囲(図3の領域301,302)内に動き画素が存在するとされた静止画素に対し、補正処理を施すと判断する。補正処理は、垂直LPF106と水平LPF107により行われる。即ち、本実施例では、所定の範囲内に動き画素が存在するとされた静止画素が補正の対象(上述した特定の画素)とされる。また、フィルタ係数生成部105、垂直LPF106、及び、水平LPF107を併せたものが補正手段に相当する。なお、垂直LPF106は、タップ方向が垂直方向のLPF(垂直方向にタップが並んだLPF)であり、水平LPF107は、タップ方向が水平方向のLPF(水平方向にタップが並んだLPF)である。
【0016】
(距離判定部104の処理)
以下、図4を用いて、距離判定部104の処理について具体的に説明する。
まず、ステップS401で、すべての変数の初期化が行われる。変数は、距離係数、垂直フィルタEN、水平フィルタEN、5タップEN、及び、9タップENである。垂直フィルタENは、垂直LPF106のイネーブル信号である。水平フィルタENは、水平LPF107のイネーブル信号である。5タップENは、LPFのTAP数を5と決定するイネーブル信号である。9タップENは、LPFのTAP数を9と決定するイネーブル信号である。なお、各変数の初期値は、それぞれ、対応する処理を実行しないための値(本実施例では“0”)であるものとする。
【0017】
ステップS402では、スキャンフィルタの注目画素Aの位置で映像の動きがあるか否か(注目画素Aが動き画素か否か)を判断する。具体的には、注目画素Aの動きベクトルの水平方向(X方向)成分(水平動きベクトル)の絶対値|Vx|と垂直方向(Y方向)成分(垂直動きベクトル)の絶対値|Vy|の両方が0より大きいか否かを判定する。動き画素にLPFをかけてしまうと、動いている被写体をぼかしてしまうことになる(映像の動きがある領域は注目領域となりうるため、そのような領域をぼかすことは好ましくない)。そこで、注目画素Aが動き画素である場合には(ステップS402:NO)、水平,垂直LPFをかけないように各変数を初期値のままとして処理を終了する。注目画素Aが静止画素である場合には(ステップS402:YES)、ステップS403へ進む。なお、距離判定部104は、注目画素Aの動きベクトルの大きさが所定値未満である場合に、その画素を静止画素と判断してもよい。
【0018】
ステップS403では、領域301に動き画素が2画素以上存在するか否かを判断する。存在する場合には(ステップS403:YES)、ステップS405へ、存在しない場合には(ステップS403:NO)、ステップS404へ進む。ここで、判定基準の画素数を2画素としているのは、ノイズによる誤判定を低減するためである。なお、判定基準の画素数は2画素に限らない(1画素でもよいし、3画素や5画素であってもよい)。
ステップS404では、領域302に動き画素が2画素以上存在するか否かを判断する。存在する場合には(ステップS404:YES)、ステップS406へ進む。存在しない場合には(ステップS404:NO)、注目画素Aの周辺に動き画素が存在しない(映像の動きが無い)ことになる。そして、周辺に映像の動きの無い領域は注目領域となりうるため、各変数を初期値のままとして処理を終了する。
【0019】
ステップS405,S406では、注目画素A(補正の対象となる静止画素)と、ステップS403,S404で検出された動き画素との距離が近いほど、補正処理の補正度合いが大きくなるような距離係数を決定する。映像の動きのある位置に近い静止領域(映像の動きの無い領域)ほど、多重に見える可能性が高いため、このように距離係数を決定することにより、より確実に静止領域が多重に見えることによる妨害感を抑制することができる。
具体的には、ステップS405では、注目画素Aにより近い位置(領域301)に動き画素が存在しているため、距離係数を“2”(補正度合いの大きい補正処理を行うための距離係数)に決定する。
ステップS406では、注目画素Aから少し離れた位置(領域302)に動き画素が存在しているため、距離係数を“1”(距離係数“2”に比べて補正度合いの小さい補正処理を行うための距離係数)に決定する。
これらの距離係数は注目画素Aの座標値に関連付けられる。そして、それらの情報は、例えば、SRAMやフレームメモリに保存されたり、回路内で出力タイミングが調整されたり等して、後段のフィルタ係数生成部105へ出力される。
【0020】
ここまでの処理を、図5に示す映像が入力された場合を例にして説明する。図5(a)において、符号501は表示映像を示しており、テロップ「ABC」は画面左から右へスクロールしている。ここで領域502に注目してみる。図5(b)は図5(a)の領域502の拡大図である。図5(b)において、1つの四角は画素を示しており、黒く塗りつぶされた四角は動き画素である。距離判定部104は、図3のスキャンフィルタを用いて画素毎に距離係数を決定している。図5(b)の例では、領域302に動き画素が2画素以上存在するため、注目画素A(具体的にはその座標値)に対する距離係数は“1”となる。
【0021】
ステップS405,S406の次にステップS407へ進む。
ステップS407〜S410では、所定の範囲内に存在するとされた動きベクトルの向きに応じて、補正処理に用いるフィルタのタップ方向(使用するフィルタ)を決定する。映像に動きがある場合、その周囲の静止領域は該映像の動きと同じ方向に多重に見えることとなる。そこで、本実施例では、フィルタのタップ方向を映像の動きの方向に合わせる。それにより、より効果的に多重に見えることによる妨害感を低減することができる。
【0022】
ステップS407では、ステップS403,S404で検出された動き画素の動きベクトルを解析し、注目画素A(補正の対象となる静止画素)周りの映像の動きを判断する。具体的には、検出された画素の内、水平方向,垂直方向,斜め方向のどの方向の動きベクトルが最も多いか判断する。そして、水平方向の動きベクトルが最も多い場合にはステップS408へ、垂直方向の動きベクトルが最も多い場合にはステップS409へ、斜め方向の動きベクトルが最も多い場合にはステップS410へ進む。
ステップS408では、水平フィルタENのみを“1”にする(ここで“1”は対応するフィルタを使用することを意味する)。
ステップS409では、垂直フィルタENのみを“1”にする。
ステップS410では、水平フィルタENと垂直フィルタENの両方を“1”にする。
【0023】
ステップS408〜S410の次にステップS411へ進む。
ステップS411〜S413では、所定の範囲内に存在すると判定された動き画素の動きベクトルの大きさに応じて、補正処理に用いるフィルタのタップ数を決定する。静止領域では、周囲の映像の動きが速いほど多重に見えることによる妨害感が大きくなる。そこで、本実施例では、所定の範囲内に存在すると判定された動き画素の動きベクトルの大きさが大きいほどタップ数を多くする。それにより、より効果的に多重に見えることによる妨害感を低減することができる。
【0024】
ステップS411では、ステップS403,S404で検出された動き画素の|Vx|,|Vy|の平均値をそれぞれ求める。それらの平均値を閾値MTHと比較する(式(1
−1),式(1−2))。式(1−1)と式(1−2)の少なくともいずれかを満たす場合には、対象画素周辺の映像の動きは速いと判断し、ステップS412へ進む。いずれも満たさない場合には、対象画素周辺の映像の動きは遅いと判断し、ステップS413へ進む。
【数1】
ステップS412では、タップ数を9とする(9タップENを“1”にする)。
ステップS413では、タップ数を5とする(5タップENを“1”にする)。
【0025】
以上の処理により、距離係数、水平フィルタEN、垂直フィルタEN、5タップEN、及び、9タップENが画素毎に決定される。
なお、タップ数は水平方向と垂直方向に共通であってもよいし、方向毎に個別に設定されてもよい。例えば、垂直方向のタップ数を決定する垂直5タップEN、垂直9タップENや、水平方向のタップ数を決定する水平5タップEN、水平9タップENを決定してもよい。そして、式(1−1)を満たす場合に水平9タップENを“1”とし、式(1−2)を満たす場合に垂直9タップENを“1”とすればよい。
【0026】
(フィルタ係数生成部105の処理)
以下、図6を用いて、フィルタ係数生成部105の処理について具体的に説明する。なお、図6のフローチャートで示す処理は全ての画素に対して(画素毎に)行われる。
【0027】
まず、ステップS601では、処理の対象とする画素の距離係数が0より大きいか否かを判断し、大きければステップS602へ進み、小さければ処理を終了する。
ステップS602では、処理の対象とする画素がどの分割領域に属するかを判断する。そして、処理の対象とする画素が属する分割領域のAPLを閾値APLTH(所定の輝度値)と比較し、その分割領域が明るいか否か判断する。
APLがAPLTHより高い場合(分割領域が明るい場合)には、ステップS603へ進み、APLがAPLTHより低い場合(分割領域が暗い場合)には、ステップS604へ進む。
【0028】
ステップS603では、処理の対象とする画素が属する分割領域の周波数分布から、分割領域(具体的にはその中の静止領域)のパターン(絵柄)がランダムな絵柄や周期パターンの絵柄であるか否かを判断する。具体的には、周波数分布が略均一な分布(図7の分布701)の場合には、分割領域の絵柄はランダムな絵柄であると判断する。周波数分布が特定の周波数に集中した分布(図7の分布702)である場合には、分割領域の絵柄は周期パターンの絵柄であると判断する。
分割領域の絵柄がランダムな絵柄や周期パターンの絵柄であると判断された場合には(ステップS603:YES)、処理を終了し、そうでない場合には、ステップS604へ進む。
ステップS604では、LPFをかけないように、距離係数を“0”に再設定し、処理を終了する。
【0029】
静止領域の輝度が低い場合や、静止領域の絵柄がランダムな絵柄や周期パターンの絵柄でない場合には、静止領域が多重に見えるという妨害感は小さい(残像が検知され難い)。そこで、上述したように、本実施例では、補正処理の対象を、静止領域の輝度が高い分割領域や、静止領域の絵柄がランダムな絵柄や周期パターンの絵柄である分割領域の画素に限定するものとした。それにより、処理負荷を低減することができる。
【0030】
次に、フィルタ係数の決定方法について説明する。
まず、LPFについて簡単に説明する。LPFは、タップ数が5タップの場合、補正の対象とする画素の位置をフィルタの中心として、各タップの位置に対応する5つの画素(画素値1〜5)を用いて補正後の画素値を決定する(式(1−3))。
【数2】
ここで、画素値3は補正の対象とする画素の画素値(補正前の値)であり、画素値3’は画素値3の補正後の値である。C1〜C5は各タップのフィルタ係数を示しており、この係数によって、補正処理の度合い(強弱)が決定される。
なお、垂直LPF106と水平LPF107は、タップ方向が異なることを除いて同様の処理(上記処理)を行う。
【0031】
フィルタ係数生成部105は、画素毎に、距離係数に応じて以下に示すように補正レベル(フィルタ係数)を決定し保持する。
距離係数が0の場合:補正レベル=0(LPFがかからない)
距離係数が1の場合:補正レベル=1(弱いLPFがかけられる)
距離係数が2の場合:補正レベル=2(強いLPFがかけられる)
【0032】
本実施例では、タップ数,補正レベル毎にフィルタ係数が予め記憶されているものとする。タップ数5の場合の補正レベルとフィルタ係数の関係を図8に示す。
フィルタ係数がほぼ均一であるのが補正レベル“2”である。このようなフィルタ係数を用いると、LPFが強くかかる(補正処理の度合いが大きくなる)。
補正の対象となる画素のフィルタ係数C3が最も大きく、その位置から離れるほどフィルタ係数が小さくなるような特性を有するのが補正レベル“1”である。このようなフィルタ係数を用いると、LPFが弱くかかる(補正処理の度合いが小さくなる)。また、フィルタ係数C3に比べ他のフィルタ係数が小さくなればなるほど補正処理の度合いは小さくなる。
補正の対象となる画素のフィルタ係数C3以外のフィルタ係数が0であるのが補正レベル“0”である。このようなフィルタ係数を用いても、LPFはかからない(補正処理が行われない)。
タップ数9の場合も同様に補正レベルとフィルタ係数が対応付けられている。
なお、図8のフィルタ係数はあくまで一例であり、このような係数でなくてもよい(決定方法もこれに限らない)。また、本実施例では距離係数や補正レベルを3段階としているが、それらは、3つ以上(5段階や10段階)に段階分けされていてもよいし、補正処理を行うか行わないかを表す2段階であってもよい。
【0033】
(LPFの処理)
以下、図9,10を用いて、LPFの処理について具体的に説明する。まず、垂直LPF106の処理について詳しく説明する。
図9は、或る画素に対して決定された各変数の一例を示す。垂直LPF106は、これらの変数をもとにフィルタ処理を行う。具体的には、垂直LPF106は補正レベル、垂直フィルタEN、垂直5タップEN、垂直9タップEN、垂直動きベクトルVyを使用する。
【0034】
図10(a)は、垂直LPF106の処理の流れを示すフローチャートである。
ステップS1001では、垂直フィルタENが“1”か否か判断し、“1”であったらステップS1002へ、“1”でなかったら垂直LPF106によるフィルタ処理(垂直LPF処理)は行わず、処理を終了する。
【0035】
ステップS1002では、垂直5タップENと垂直9タップENを確認し、タップ数を選択する。具体的には、垂直5タップENが“1”の場合、タップ数を5とし、垂直9タップENが“1”の場合、タップ数を9とする。
ステップS1003では、垂直LPF106が用いるフィルタのタップに対応する画素(補正の対象とする画素の周辺に位置する周辺画素)の動きベクトルの垂直方向成分(垂直動きベクトル)の絶対値|Vy|を順次スキャンする。
【0036】
ステップS1004では、スキャンされた画素の上記絶対値|Vy|が閾値MTH(所定の閾値)より大きいか否か判断し、大きければステップS1005へ、小さければステップS1006へ進む。なお、ここでは式(1−1),(1−2)で用いた閾値と同じ閾値を用いているが、閾値はこれに限らない(式(1−1),(1−2)で用いた値と異なる値が閾値として設定されていてもよい)。また、閾値を用いずに動きベクトルの有無(大きさが0か否か)を判断してもよい(即ち、閾値として0が設定されていてもよい)。
【0037】
本実施例では、静止領域の周波数成分を低下させるため、動き画素(|Vy|が閾値MTHより大きい画素)はフィルタ処理に用いないことが好ましい。
そこで、ステップS1005では、スキャンされた画素の動きベクトルが大きいため(スキャンされた画素が動き画素であるため)、その画素に対しLPF演算フラグを“OFF”にする。LPF演算フラグとはフィルタ処理に用いる画素か否かを判断するためのフラグであり、“ON”になっている画素のみがフィルタ処理に用いられる。
ステップS1006では、スキャンされた画素の動きベクトルが小さいため(スキャンされた画素が静止画素であるため)、その画素に対しLPF演算フラグをONにする。
【0038】
そして、全てのタップについてLPF演算フラグが決定するまでステップS1003〜S1007の処理を行う。全てのタップについてLPF演算フラグが決定したら、ステップS1008へ進む。
ステップS1008では、LPF演算フラグに基づいて、式(1−3)の演算を行う。具体的には、周辺画素のうち、LPF演算フラグが“OFF”になっている画素に対応するフィルタ係数を“0”にする。
【0039】
図10(b)の符号1000で示されるような状況の場合には、以下の式(1−4)により補正後の画素値が算出される。なお、符号1000はタップ数5の垂直LPFを示しており、各タップには1〜5の番号が付されている。番号3のタップに対応する画素が補正の対象となる画素である。また、黒で塗りつぶされた位置(番号5に対応する画素)は、|Vy|が閾値MTHより大きいため、フィルタ処理する際に考慮されない位置(画素)を示す。
【数3】
【0040】
次に、水平LPF107の処理について説明する。水平LPF107は、補正レベル、水平フィルタEN、水平5タップEN、水平9タップEN、水平動きベクトルVyを用いてフィルタ処理を行う。なお、フィルタのタップ方向以外は垂直LPF106の処理と同様のため、説明は省略する。
【0041】
以上述べた補正処理を画面全体について行うことで、近くに映像の動きがある静止領域の高周波成分を低下させることができる(そのような領域をぼかすことができる)。それにより、動きのある領域の周辺の領域が多重に見えることによる妨害感を低減することができる。具体的には、低下応答速度の速い大画面ディスプレイにおいて動きのある被写体を追従視した際に、図15のようにその被写体近傍の背景は多重に見えてしまう。本実施例では、そのような背景(目に残る背景)を、図11のようにぼかすことで、背景が多重に見えることによる妨害感(違和感)を低減することができる。
また、そのような領域以外の領域(視聴者が注目する領域)については、高周波成分は低下されないため、視聴者が注目する領域の画像品質を低下せずに、上記妨害感を低減す
ることができる。
【0042】
なお、本実施例では、LPFを用いて高周波成分を低下する構成としたが、コントラストや輝度を低下させる構成であってもよい。例えば、ガンマカーブを補正することにより、それらの値を低下させる構成であってもよい。
なお、本実施例では、部分領域の輝度値としてAPLを用いたが、部分領域を代表する輝度値であればどのような輝度値であってもよい。例えば、部分領域内の静止画素の最大輝度値を、その部分領域の輝度値としてもよい。
【0043】
なお、本実施例では垂直LPF106の出力結果に対して水平LPF107が処理を行うものとしたが、水平LPF107が垂直LPF106よりも先に処理を行ってもよい。なお、本実施例では、LPFとして4種類のLPF(タップ数が5個と9個、タップ方向が水平方向と垂直方向)を用いる構成としたが、LPFはこれに限らない。例えば、タップ数が3個,7個,15個、タップ方向が(水平方向を0度、垂直方向を90度として)30°,45°,60°などのLPF(タップ方向が斜め方向のLPF;斜め方向にタップが並んだLPF)を用いてもよい。そして、静止画素付近の映像の動きが斜め方向である場合には、垂直LPF106と水平LPF107の両方を用いるのではなく、タップ方向が斜め方向のLPFを用いてもよい。また、静止画素付近の映像の動きに応じて、垂直LPF106の処理と水平LPF107の処理を重み付けして行ってもよい。
なお、本実施例では、絵柄特徴量算出部103が画素毎に映像の動きがあるか否かを判断する構成としたが、そのような判断は行わなくてもよい。例えば、そのような判断は距離判定部104でも行われるため、絵柄特徴量算出部103は、判断結果(画素毎の映像の動きがあるか否かの判断結果)を距離判定部104から取得してもよい。
【0044】
<実施例2>
以下、本発明の実施例2に係る画像処理装置及び画像処理方法について説明する。なお、実施例1と同様の機能については説明を省略する。
【0045】
図12はディスプレイ1300と視聴者1301との距離による視野の違いを表している。点線で囲まれた領域1302,1303は視聴者1301の視野を示している。ディスプレイ1300にはテロップ「ABC」が表示されており、矢印Xの方向に動いている。
図12(a)はディスプレイ1300と視聴者1301との距離が近い状態を示している。ディスプレイ1300と視聴者1301との距離が小さい場合には、視聴者1301の視野は領域1302のような狭い領域となる(ディスプレイの画面のおける視野の占める割合は小さくなる)。そのため、テロップが矢印Xの方向に動くと、視野(領域1302)もテロップに同期して矢印Xの方向に動くことになる。
図12(b)はディスプレイ1300と視聴者1301との距離が図12(a)に比べ遠い状態を示している。ディスプレイ1300と視聴者1301との距離が大きい場合には、視聴者1301の視野は領域1303のような広い領域となる(ディスプレイの画面のおける視野の占める割合は大きくなる)。そのため、テロップが矢印Xの方向に動いても、視野(領域1303)は移動しないものと考えられる。
【0046】
即ち、ディスプレイと視聴者との距離が小さいほど、映像の動きを追従視する際の視野の移動量が大きくなる。そのため、動きのある領域の周辺の領域が多重に見えることによる妨害感が大きくなる。
そこで、本実施例では、入力映像を表示する表示装置と視聴者との距離が近いほど、補正処理の補正度合いを大きくする。
以下、詳しく説明する。
【0047】
本実施例に係る画像処理装置は、実施例1の構成に加え、周辺人物検出部を更に有する。
(周辺人物検出部)
周辺人物検出部は、入力映像の視聴者を検出する(検出手段)。具体的には、入力映像を表示する表示装置(ディスプレイ)の視聴者が、表示装置の近くに存在しているか否かを人感センサなどを使用して検出する。例えば、周辺人物検出部(人感センサ)は、ディスプレイと同じ位置に設けられており、ディスプレイの位置を中心とする所定の領域(例えば半径30cm,50cm,1mなどの領域)内の人物(視聴者)を検出する。
そして、検出結果に応じて、周辺人物判定フラグを決定し、フィルタ係数生成部へ出力する。周辺人物判定フラグは、ディスプレイの近くに人間(視聴者)がいる場合に所定の処理を実行するためのフラグである。具体的には、周辺人物検出部は、視聴者を検出していないときには周辺人物判定フラグを“0”とし、人物が検出しているときに“1”とする。
なお、人物の検出方法は、上述した人感センサを用いる手法など、どのような方法であってもよい。
【0048】
(フィルタ係数生成部の処理)
本実施例では、フィルタ係数生成部は、実施例1の方法で決定した補正レベルを、周辺人物検出フラグに応じて補正する。具体的には、周辺人物検出フラグが“1”であった場合には、視聴者がディスプレイの近くで視聴している可能性が高いため、補正レベル“1”を補正レベル“2”に補正する。即ち、距離係数が“1”の場合に補正レベルを“2”とする。なお、補正レベル“0”から“1”に補正すると画面全体がぼやけてしまうため、そのような補正は行わない。
【0049】
このように、本実施例では、ディスプレイと視聴者の距離が近いほど補正処理の補正度合いが大きくされる。それにより、視聴者の視野の変化を考慮した補正処理が行われるため、動きのある領域の周辺の領域が多重に見えることによる妨害感をより確実に低減することができる。
また、ディスプレイの画面のおける視野の占める割合は、ディスプレイと視聴者の距離でなく、ディスプレイの画面の大きさによっても変化する。具体的には、ディスプレイの画面が大きいほど、ディスプレイの画面のおける視野の占める割合は小さくなり、ディスプレイの画面が小さいほど、ディスプレイの画面のおける視野の占める割合は大きくなる。そのため、ディスプレイの画面が大きいほど、補正処理の補正度合いを大きくすることが好ましい。それにより、上記作用効果を同様の効果を得ることができる。
【0050】
なお、本実施例では、実施例1の方法で決定された補正レベル“1”を補正レベル“2”に補正する構成としたが、補正方法はこれに限らない。例えば、補正レベルが4段階に区分されている場合には、補正レベル“1”,“2”をそれぞれ補正レベル“2”,“3”に補正すればよい(補正レベルの値が大きいほど補正度合いが大きいものとする)。また、距離判定部がディスプレイと視聴者との距離に基づいて距離係数を補正する構成であってもよい。ディスプレイと視聴者の距離が近いほど補正処理の補正度合いが大きくなればよい。
なお、本実施例では、周辺人物検出部が視聴者が所定の領域内に存在するか否かを判断する構成としたが、周辺人物検出部は、視聴者を検出した場合にディスプレイからどの程度離れているかを認識可能に構成されていてもよい。
【0051】
<実施例3>
以下、本発明の実施例3に係る画像処理装置及び画像処理方法について説明する。なお、実施例1と同様の機能については説明を省略する。
【0052】
図13は、パンされた映像の一例を示す図である。パンされた映像とは、動く注目物(被写体)を追従して撮影したことにより背景が動いている映像である。なお、図13は矢印Xの方向と逆に動いている被写体1701を追従して撮影した映像である。この映像において、被写体1701は静止しており、背景は矢印Xの方向に動いている。このような映像に対し実施例1,2で述べた補正処理を施すと、被写体がぼけてしまう。そこで、本実施例では、入力映像がパンされた映像である場合に、補正処理を行わないものとする。以下、詳しく説明する。
【0053】
本実施例に係る画像処理装置は、実施例1の構成に加え、パン判定部を更に有する。
(パン判定部)
パン判定部は、動きベクトル検出部で検出された動きベクトルに基づいて、入力映像がパンされた映像か否かを判定する(パン判定手段)。例えば、入力された映像がパンされた映像か否かは、動きベクトルの水平方向成分(水平動きベクトルVx)が0より大きい画素の数、水平動きベクトルVxが0より小さい画素の数から判断することができる。また、動きベクトルの垂直方向成分(垂直動きベクトルVy)が0より大きい画素の数、垂直動きベクトルVyが0より小さい画素の数から判断することができる。具体的には、以下の条件式で判断される。パン判定部は、動きベクトル検出部で検出された動きベクトルが以下の式のいずれかを満たす場合に、入力映像がパンされた映像であると判断する。なお、以下の式において、PANTHは、映像がパンされた映像か否かを判定するための閾値である。
【数4】
【0054】
そして、パン判定部は、判断結果に応じてパン判定フラグを決定し、フィルタ変換生成部へ出力する。パン判定フラグは、入力映像がパンされた映像である場合に所定の処理を実行するフラグである。具体的には、パン判定部は、入力映像がパンされていない映像であると判断した場合にはパン判定フラグを“0”とし、パンされた映像であると判断した場合には“1”とする。
【0055】
(フィルタ係数生成部の処理)
本実施例では、フィルタ係数生成部は、パン判定フラグに応じて、補正処理を行うか否かを判断する。
例えば、図6のフローチャートにパン判定フラグを確認する処理を追加すればよい。具体的には、そのような処理は、ステップS601とステップS602の間に行えばよい。ステップS601の次に、パン判定フラグが“0”の場合にはステップS602へ進み、“1”の場合には、処理を終了すればよい。
【0056】
このように、本実施例では、入力映像がパンされた映像である場合には補正処理を行わないため、補正処理によって注目領域がぼやけてしまうことを抑制することができる。
なお、図14(a)に示すように、映像の動きのある領域が複数存在する場合には、視聴者が1つの被写体を追従視している確率が低い。そのため、そのような場合には、領域が多重に見えることによる妨害感も小さい物と考えられる。図14(a)は、3つの領域(動きベクトルがそれぞれA,B,Cの領域)が存在する場合の例である。
そこで、画像処理装置が、動き領域が現フレーム画像内に複数存在するか否かを判定する機能(動き領域判定手段)をさらに有していてもよい。そして、動き領域が現フレーム画像内に複数存在する場合に、補正処理を行わないような構成にしてもよい。それにより、得られる効果が低い入力映像に対しては補正処理が行われなくなるため、処理負荷を低減することができる。
なお、動き領域が複数存在するか否かは、動きベクトル検出部で検出された動きベクトルに基づいて判断すればよい。動き領域が複数存在するか否かは、例えば、水平動きベクトルVxの分布と垂直動きベクトルVyの分布を用いて判断することができる。図14(b)は、水平動きベクトルVxの分布(横軸をVx、縦軸をその度数(画素数)とするヒストグラム)の一例を示す。図14(c)は、垂直動きベクトルVyの分布(横軸をVy、縦軸をその度数(画素数)とするヒストグラム)の一例を示す。具体的には、動き領域が複数存在する場合には、図14(b),(c)に示すように、度数分布は複数のピーク(ピークA,B,C)を有することとなる。そのため、そのような場合には、動き領域が複数存在するとみなし、補正処理を行わないものとしてもよい。
【符号の説明】
【0057】
102 動きベクトル検出部
104 距離判定部
105 フィルタ係数生成部
106 垂直LPF
107 水平LPF
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
応答速度が速いインパルス型のディスプレイ等において、動きのある被写体(テロップ等)を追従視すると、視覚の特性上、時間的に前のフレーム画像中の背景(実際には表示されていない背景(特にエッジ部分))が残像として見えることがある。そのため、背景が多重に見え、違和感を覚えることがある。例えば、SED(Surface-conduction Electron-emitter Display)やFED(Field Emission Display)、有機ELディスプレイ等
では、上記現象が生じやすい。
図15は、時間的に連続する2枚のフレーム画像を示す。点線で囲まれた領域は視聴者の視野を示す。図15に示すように、視聴者には、フレーム画像1のテロップ(図中、「ABC」)付近の背景がフレーム画像2でも残像として見えてしまう。これは、人間の目が、「動いているものを追従してしまう」、「瞬間的な発光が目に焼き付いてしまう(即ち、表示装置がインパルス型の表示装置であると、前のフレーム画像が目に焼き付いてしまう)」という特性を有することに起因する。特に、大画面の表示装置に表示された映像を、画面から近い位置で視聴する場合、追従視による視野の移動量が大きくなるため上記残像による妨害感は大きくなる。
【0003】
また、従来技術として、エッジ部分の画素(エッジ画素)が注目領域(視聴者が注目する領域)内の画素か否かを、その周囲のエッジ画素の密度(エッジ密度)から判断し、エッジ密度が高い領域の高周波成分を低下させる技術がある(特許文献1)。
しかしながら、動きのある被写体が近くに存在しない「木の葉」などの絵柄の領域は注目領域となりうるが、そのような領域ではエッジ密度は高くなる。また、動きのある領域は注目領域となりうるが、そのような領域がテロップなどの領域の場合には、その領域でのエッジ密度は高くなる。そのため、特許文献1に開示の技術を用いると、そのような注目領域はぼけてしまう。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−238209号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
そこで、本発明は、視聴者が注目する領域の画像品質を低下させることなく、動きのある領域の周辺の領域が多重に見えることによる妨害感を低減する技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の画像処理装置は、入力映像から動きベクトルを検出する動き検出手段と、検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断し、映像の動きが無いと判断した静止画素に対し、該画素から所定の範囲内に映像の動きがあると判断した動き画素が存在するか否かを判定する判定手段と、前記所定の範囲内に動き画素が存在すると判定された静止画素に対し、高周波成分、コントラスト、及び、輝度の少なくともいずれかを低下させる補正処理を施す補正手段と、を有することを特徴とする。
【0007】
本発明の画像処理方法は、入力映像から動きベクトルを検出するステップと、検出され
た動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断し、映像の動きが無いと判断した静止画素に対し、該画素から所定の範囲内に映像の動きがあると判断した動き画素が存在するか否かを判定するステップと、前記所定の範囲内に動き画素が存在すると判定された静止画素に対し、高周波成分、コントラスト、及び、輝度の少なくともいずれかを低下させる補正処理を施すステップと、を有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、視聴者が注目する領域の画像品質を低下させることなく、動きのある領域の周辺の領域が多重に見えることによる妨害感を低減することができる。
【図面の簡単な説明】
【0009】
【図1】実施例1に係る画像処理装置の機能構成の一例を示す図。
【図2】分割領域の一例を示す図。
【図3】スキャンフィルタの一例を示す図。
【図4】距離判定部の処理の流れの一例を示す図。
【図5】距離判定部の処理を説明するための図。
【図6】フィルタ係数生成部の処理の流れの一例を示す図。
【図7】周波数分布の一例を示す図。
【図8】フィルタ係数の一例を示す図。
【図9】或る画素に対して決定された各変数の一例を示す図。
【図10】垂直LPFの処理の流れの一例を示す図。
【図11】補正された映像信号の一例を示す図。
【図12】視聴者の位置と視野の関係を示す図。
【図13】パンされた映像の一例を示す図。
【図14】動き領域が複数存在する映像の一例を示す図。
【図15】従来技術の課題を説明するための図。
【発明を実施するための形態】
【0010】
<実施例1>
(全体構成)
以下、本発明の実施例1に係る画像処理装置及び画像処理方法について説明する。
本実施例では、入力映像内の特定の画素に対し、高周波成分を低下させる補正処理(フィルタ処理)を施す。それにより、視聴者が注目する領域(注目領域)の画像品質を低下させることなく、動きのある領域の周辺の領域が多重に見えることによる妨害感を低減する。特定の画素については後で詳しく説明する。
図1は、本実施例に係る画像処理装置の機能構成を示すブロック図である。図1に示すように、画像処理装置100は、遅延部101、動きベクトル検出部102、絵柄特徴量算出部103、距離判定部104、フィルタ係数生成部105、垂直LPF(ローパスフィルタ)106、水平LPF107を有する。画像処理装置100は、入力された映像信号y(入力映像)に画像処理を施し、映像信号y’(出力映像)を出力する。映像信号は、例えば、画素毎の輝度信号であり、フレーム単位で入出力される。
【0011】
遅延部101は入力されたフレーム画像を1フレーム期間だけ遅延して出力する。
動きベクトル検出部102は、入力映像から動きベクトルを検出する(動き検出手段)。具体的には、現在のフレーム画像(現フレーム画像)と遅延部101で遅延された1フレーム前のフレーム画像(前フレーム画像)とを用いて動きベクトルを求め、不図示のSRAMやフレームメモリに保持する。なお、動きベクトルは画素毎に検出してもよいし、所定の大きさを有するブロック毎に検出してもよい(本実施例では画素毎に検出されるものとする)。動きベクトルの検出には、例えば、ブロックマッチング法などの一般的な手法を用いればよい。
【0012】
絵柄特徴量算出部103は、動きベクトル検出部102で検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断する。そして、補正の対象とする画素を含むフレーム画像(現フレーム画像)を複数の領域に分割し、分割領域毎に、その分割領域内に位置する静止画素(映像の動きが無いと判断した画素)を用いて該分割領域の周波数分布及び輝度値を算出する。即ち、絵柄特徴量算出部103は周波数分布算出手段及び輝度値算出手段に対応する。なお、周波数分布は、図7に示すように、縦軸を強度、横軸を周波数とする分布であり、輝度値は、分割領域のAPL(Average Picture Level:平均輝度レベル)である。本実施例では、現フレーム画像を1920×1080の画像とし、図2のように6×4の分割領域に分割するものとする。各分割領域には、図2のように識別子blkxy(x=0〜5、y=0〜3)が付される。周波数分布と輝度値は対応する分割領域の識別子に対応付けられて、SRAMやフレームメモリに保持される。
【0013】
距離判定部104は、動きベクトル検出部102で検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断する。そして、静止画素(映像の動きが無いと判断した画素)に対し、該画素から所定の範囲内に動き画素(映像の動きがあると判断した画素)が存在するか否かを判定する。即ち、距離判定部104は判定手段に対応する。
本実施例では、現フレーム画像の画素毎に、その画素から所定の範囲内に動き画素が存在するか否か、存在する場合にはそれらの画素間がどの程度離れているか、を表す距離係数を決定する。具体的には、それらは、後述するスキャンフィルタで各画素(各画素の動きベクトル)をスキャンすることにより決定される。距離係数は補正処理の度合い(フィルタのフィルタ係数)を決定するのに使用する。また、本実施例では、距離判定部104は、スキャンフィルタでスキャンされた各画素の動きベクトルに基づいて、フィルタのタップ数やタップ方向を決定する。ここで、タップ方向とはフィルタにおいてタップが並んでいる方向のことである。
【0014】
距離判定部104で用いられるスキャンフィルタの一例を図3に示す。このスキャンフィルタは人間の視野に相当しており、注目画素Aを中心として、垂直方向、水平方向、(2種類の)斜め方向にそれぞれ9画素並んだ計33画素をスキャンする2次元フィルタで構成されている。そして、スキャンフィルタは、注目画素Aからの距離に応じて2つの領域301,302に区分されている。モザイク柄で表された領域301は、注目画素Aからの距離が小さい領域であり、ドット柄で表された領域302、注目画素Aから少し離れている領域(領域301に比べ注目画素Aからの距離が大きい領域)である。なお、スキャンフィルタの形状や大きさはこれに限らない。スキャンフィルタの形状は四角形や円形であってもよいし、一方向(四角形の場合は1辺、円形の場合は直径など)の大きさは7画素、15画素、21画素などであってもよい。また、本実施例では、スキャンフィルタが2つの領域301,302に区分されているものとしたが、区分数はこれに限らない。例えば、5,10個の領域に区分してもよいし、画素単位で区分してもよい。区分されていなくてもよい。
【0015】
フィルタ係数生成部105は、画素毎の動きベクトル、ブロック毎の周波数分布及び輝度値、及び、画素毎の距離係数を用いて、補正処理を施すか否かを判断すると共に、補正処理の度合いを決定する。例えば、所定の範囲(図3の領域301,302)内に動き画素が存在するとされた静止画素に対し、補正処理を施すと判断する。補正処理は、垂直LPF106と水平LPF107により行われる。即ち、本実施例では、所定の範囲内に動き画素が存在するとされた静止画素が補正の対象(上述した特定の画素)とされる。また、フィルタ係数生成部105、垂直LPF106、及び、水平LPF107を併せたものが補正手段に相当する。なお、垂直LPF106は、タップ方向が垂直方向のLPF(垂直方向にタップが並んだLPF)であり、水平LPF107は、タップ方向が水平方向のLPF(水平方向にタップが並んだLPF)である。
【0016】
(距離判定部104の処理)
以下、図4を用いて、距離判定部104の処理について具体的に説明する。
まず、ステップS401で、すべての変数の初期化が行われる。変数は、距離係数、垂直フィルタEN、水平フィルタEN、5タップEN、及び、9タップENである。垂直フィルタENは、垂直LPF106のイネーブル信号である。水平フィルタENは、水平LPF107のイネーブル信号である。5タップENは、LPFのTAP数を5と決定するイネーブル信号である。9タップENは、LPFのTAP数を9と決定するイネーブル信号である。なお、各変数の初期値は、それぞれ、対応する処理を実行しないための値(本実施例では“0”)であるものとする。
【0017】
ステップS402では、スキャンフィルタの注目画素Aの位置で映像の動きがあるか否か(注目画素Aが動き画素か否か)を判断する。具体的には、注目画素Aの動きベクトルの水平方向(X方向)成分(水平動きベクトル)の絶対値|Vx|と垂直方向(Y方向)成分(垂直動きベクトル)の絶対値|Vy|の両方が0より大きいか否かを判定する。動き画素にLPFをかけてしまうと、動いている被写体をぼかしてしまうことになる(映像の動きがある領域は注目領域となりうるため、そのような領域をぼかすことは好ましくない)。そこで、注目画素Aが動き画素である場合には(ステップS402:NO)、水平,垂直LPFをかけないように各変数を初期値のままとして処理を終了する。注目画素Aが静止画素である場合には(ステップS402:YES)、ステップS403へ進む。なお、距離判定部104は、注目画素Aの動きベクトルの大きさが所定値未満である場合に、その画素を静止画素と判断してもよい。
【0018】
ステップS403では、領域301に動き画素が2画素以上存在するか否かを判断する。存在する場合には(ステップS403:YES)、ステップS405へ、存在しない場合には(ステップS403:NO)、ステップS404へ進む。ここで、判定基準の画素数を2画素としているのは、ノイズによる誤判定を低減するためである。なお、判定基準の画素数は2画素に限らない(1画素でもよいし、3画素や5画素であってもよい)。
ステップS404では、領域302に動き画素が2画素以上存在するか否かを判断する。存在する場合には(ステップS404:YES)、ステップS406へ進む。存在しない場合には(ステップS404:NO)、注目画素Aの周辺に動き画素が存在しない(映像の動きが無い)ことになる。そして、周辺に映像の動きの無い領域は注目領域となりうるため、各変数を初期値のままとして処理を終了する。
【0019】
ステップS405,S406では、注目画素A(補正の対象となる静止画素)と、ステップS403,S404で検出された動き画素との距離が近いほど、補正処理の補正度合いが大きくなるような距離係数を決定する。映像の動きのある位置に近い静止領域(映像の動きの無い領域)ほど、多重に見える可能性が高いため、このように距離係数を決定することにより、より確実に静止領域が多重に見えることによる妨害感を抑制することができる。
具体的には、ステップS405では、注目画素Aにより近い位置(領域301)に動き画素が存在しているため、距離係数を“2”(補正度合いの大きい補正処理を行うための距離係数)に決定する。
ステップS406では、注目画素Aから少し離れた位置(領域302)に動き画素が存在しているため、距離係数を“1”(距離係数“2”に比べて補正度合いの小さい補正処理を行うための距離係数)に決定する。
これらの距離係数は注目画素Aの座標値に関連付けられる。そして、それらの情報は、例えば、SRAMやフレームメモリに保存されたり、回路内で出力タイミングが調整されたり等して、後段のフィルタ係数生成部105へ出力される。
【0020】
ここまでの処理を、図5に示す映像が入力された場合を例にして説明する。図5(a)において、符号501は表示映像を示しており、テロップ「ABC」は画面左から右へスクロールしている。ここで領域502に注目してみる。図5(b)は図5(a)の領域502の拡大図である。図5(b)において、1つの四角は画素を示しており、黒く塗りつぶされた四角は動き画素である。距離判定部104は、図3のスキャンフィルタを用いて画素毎に距離係数を決定している。図5(b)の例では、領域302に動き画素が2画素以上存在するため、注目画素A(具体的にはその座標値)に対する距離係数は“1”となる。
【0021】
ステップS405,S406の次にステップS407へ進む。
ステップS407〜S410では、所定の範囲内に存在するとされた動きベクトルの向きに応じて、補正処理に用いるフィルタのタップ方向(使用するフィルタ)を決定する。映像に動きがある場合、その周囲の静止領域は該映像の動きと同じ方向に多重に見えることとなる。そこで、本実施例では、フィルタのタップ方向を映像の動きの方向に合わせる。それにより、より効果的に多重に見えることによる妨害感を低減することができる。
【0022】
ステップS407では、ステップS403,S404で検出された動き画素の動きベクトルを解析し、注目画素A(補正の対象となる静止画素)周りの映像の動きを判断する。具体的には、検出された画素の内、水平方向,垂直方向,斜め方向のどの方向の動きベクトルが最も多いか判断する。そして、水平方向の動きベクトルが最も多い場合にはステップS408へ、垂直方向の動きベクトルが最も多い場合にはステップS409へ、斜め方向の動きベクトルが最も多い場合にはステップS410へ進む。
ステップS408では、水平フィルタENのみを“1”にする(ここで“1”は対応するフィルタを使用することを意味する)。
ステップS409では、垂直フィルタENのみを“1”にする。
ステップS410では、水平フィルタENと垂直フィルタENの両方を“1”にする。
【0023】
ステップS408〜S410の次にステップS411へ進む。
ステップS411〜S413では、所定の範囲内に存在すると判定された動き画素の動きベクトルの大きさに応じて、補正処理に用いるフィルタのタップ数を決定する。静止領域では、周囲の映像の動きが速いほど多重に見えることによる妨害感が大きくなる。そこで、本実施例では、所定の範囲内に存在すると判定された動き画素の動きベクトルの大きさが大きいほどタップ数を多くする。それにより、より効果的に多重に見えることによる妨害感を低減することができる。
【0024】
ステップS411では、ステップS403,S404で検出された動き画素の|Vx|,|Vy|の平均値をそれぞれ求める。それらの平均値を閾値MTHと比較する(式(1
−1),式(1−2))。式(1−1)と式(1−2)の少なくともいずれかを満たす場合には、対象画素周辺の映像の動きは速いと判断し、ステップS412へ進む。いずれも満たさない場合には、対象画素周辺の映像の動きは遅いと判断し、ステップS413へ進む。
【数1】
ステップS412では、タップ数を9とする(9タップENを“1”にする)。
ステップS413では、タップ数を5とする(5タップENを“1”にする)。
【0025】
以上の処理により、距離係数、水平フィルタEN、垂直フィルタEN、5タップEN、及び、9タップENが画素毎に決定される。
なお、タップ数は水平方向と垂直方向に共通であってもよいし、方向毎に個別に設定されてもよい。例えば、垂直方向のタップ数を決定する垂直5タップEN、垂直9タップENや、水平方向のタップ数を決定する水平5タップEN、水平9タップENを決定してもよい。そして、式(1−1)を満たす場合に水平9タップENを“1”とし、式(1−2)を満たす場合に垂直9タップENを“1”とすればよい。
【0026】
(フィルタ係数生成部105の処理)
以下、図6を用いて、フィルタ係数生成部105の処理について具体的に説明する。なお、図6のフローチャートで示す処理は全ての画素に対して(画素毎に)行われる。
【0027】
まず、ステップS601では、処理の対象とする画素の距離係数が0より大きいか否かを判断し、大きければステップS602へ進み、小さければ処理を終了する。
ステップS602では、処理の対象とする画素がどの分割領域に属するかを判断する。そして、処理の対象とする画素が属する分割領域のAPLを閾値APLTH(所定の輝度値)と比較し、その分割領域が明るいか否か判断する。
APLがAPLTHより高い場合(分割領域が明るい場合)には、ステップS603へ進み、APLがAPLTHより低い場合(分割領域が暗い場合)には、ステップS604へ進む。
【0028】
ステップS603では、処理の対象とする画素が属する分割領域の周波数分布から、分割領域(具体的にはその中の静止領域)のパターン(絵柄)がランダムな絵柄や周期パターンの絵柄であるか否かを判断する。具体的には、周波数分布が略均一な分布(図7の分布701)の場合には、分割領域の絵柄はランダムな絵柄であると判断する。周波数分布が特定の周波数に集中した分布(図7の分布702)である場合には、分割領域の絵柄は周期パターンの絵柄であると判断する。
分割領域の絵柄がランダムな絵柄や周期パターンの絵柄であると判断された場合には(ステップS603:YES)、処理を終了し、そうでない場合には、ステップS604へ進む。
ステップS604では、LPFをかけないように、距離係数を“0”に再設定し、処理を終了する。
【0029】
静止領域の輝度が低い場合や、静止領域の絵柄がランダムな絵柄や周期パターンの絵柄でない場合には、静止領域が多重に見えるという妨害感は小さい(残像が検知され難い)。そこで、上述したように、本実施例では、補正処理の対象を、静止領域の輝度が高い分割領域や、静止領域の絵柄がランダムな絵柄や周期パターンの絵柄である分割領域の画素に限定するものとした。それにより、処理負荷を低減することができる。
【0030】
次に、フィルタ係数の決定方法について説明する。
まず、LPFについて簡単に説明する。LPFは、タップ数が5タップの場合、補正の対象とする画素の位置をフィルタの中心として、各タップの位置に対応する5つの画素(画素値1〜5)を用いて補正後の画素値を決定する(式(1−3))。
【数2】
ここで、画素値3は補正の対象とする画素の画素値(補正前の値)であり、画素値3’は画素値3の補正後の値である。C1〜C5は各タップのフィルタ係数を示しており、この係数によって、補正処理の度合い(強弱)が決定される。
なお、垂直LPF106と水平LPF107は、タップ方向が異なることを除いて同様の処理(上記処理)を行う。
【0031】
フィルタ係数生成部105は、画素毎に、距離係数に応じて以下に示すように補正レベル(フィルタ係数)を決定し保持する。
距離係数が0の場合:補正レベル=0(LPFがかからない)
距離係数が1の場合:補正レベル=1(弱いLPFがかけられる)
距離係数が2の場合:補正レベル=2(強いLPFがかけられる)
【0032】
本実施例では、タップ数,補正レベル毎にフィルタ係数が予め記憶されているものとする。タップ数5の場合の補正レベルとフィルタ係数の関係を図8に示す。
フィルタ係数がほぼ均一であるのが補正レベル“2”である。このようなフィルタ係数を用いると、LPFが強くかかる(補正処理の度合いが大きくなる)。
補正の対象となる画素のフィルタ係数C3が最も大きく、その位置から離れるほどフィルタ係数が小さくなるような特性を有するのが補正レベル“1”である。このようなフィルタ係数を用いると、LPFが弱くかかる(補正処理の度合いが小さくなる)。また、フィルタ係数C3に比べ他のフィルタ係数が小さくなればなるほど補正処理の度合いは小さくなる。
補正の対象となる画素のフィルタ係数C3以外のフィルタ係数が0であるのが補正レベル“0”である。このようなフィルタ係数を用いても、LPFはかからない(補正処理が行われない)。
タップ数9の場合も同様に補正レベルとフィルタ係数が対応付けられている。
なお、図8のフィルタ係数はあくまで一例であり、このような係数でなくてもよい(決定方法もこれに限らない)。また、本実施例では距離係数や補正レベルを3段階としているが、それらは、3つ以上(5段階や10段階)に段階分けされていてもよいし、補正処理を行うか行わないかを表す2段階であってもよい。
【0033】
(LPFの処理)
以下、図9,10を用いて、LPFの処理について具体的に説明する。まず、垂直LPF106の処理について詳しく説明する。
図9は、或る画素に対して決定された各変数の一例を示す。垂直LPF106は、これらの変数をもとにフィルタ処理を行う。具体的には、垂直LPF106は補正レベル、垂直フィルタEN、垂直5タップEN、垂直9タップEN、垂直動きベクトルVyを使用する。
【0034】
図10(a)は、垂直LPF106の処理の流れを示すフローチャートである。
ステップS1001では、垂直フィルタENが“1”か否か判断し、“1”であったらステップS1002へ、“1”でなかったら垂直LPF106によるフィルタ処理(垂直LPF処理)は行わず、処理を終了する。
【0035】
ステップS1002では、垂直5タップENと垂直9タップENを確認し、タップ数を選択する。具体的には、垂直5タップENが“1”の場合、タップ数を5とし、垂直9タップENが“1”の場合、タップ数を9とする。
ステップS1003では、垂直LPF106が用いるフィルタのタップに対応する画素(補正の対象とする画素の周辺に位置する周辺画素)の動きベクトルの垂直方向成分(垂直動きベクトル)の絶対値|Vy|を順次スキャンする。
【0036】
ステップS1004では、スキャンされた画素の上記絶対値|Vy|が閾値MTH(所定の閾値)より大きいか否か判断し、大きければステップS1005へ、小さければステップS1006へ進む。なお、ここでは式(1−1),(1−2)で用いた閾値と同じ閾値を用いているが、閾値はこれに限らない(式(1−1),(1−2)で用いた値と異なる値が閾値として設定されていてもよい)。また、閾値を用いずに動きベクトルの有無(大きさが0か否か)を判断してもよい(即ち、閾値として0が設定されていてもよい)。
【0037】
本実施例では、静止領域の周波数成分を低下させるため、動き画素(|Vy|が閾値MTHより大きい画素)はフィルタ処理に用いないことが好ましい。
そこで、ステップS1005では、スキャンされた画素の動きベクトルが大きいため(スキャンされた画素が動き画素であるため)、その画素に対しLPF演算フラグを“OFF”にする。LPF演算フラグとはフィルタ処理に用いる画素か否かを判断するためのフラグであり、“ON”になっている画素のみがフィルタ処理に用いられる。
ステップS1006では、スキャンされた画素の動きベクトルが小さいため(スキャンされた画素が静止画素であるため)、その画素に対しLPF演算フラグをONにする。
【0038】
そして、全てのタップについてLPF演算フラグが決定するまでステップS1003〜S1007の処理を行う。全てのタップについてLPF演算フラグが決定したら、ステップS1008へ進む。
ステップS1008では、LPF演算フラグに基づいて、式(1−3)の演算を行う。具体的には、周辺画素のうち、LPF演算フラグが“OFF”になっている画素に対応するフィルタ係数を“0”にする。
【0039】
図10(b)の符号1000で示されるような状況の場合には、以下の式(1−4)により補正後の画素値が算出される。なお、符号1000はタップ数5の垂直LPFを示しており、各タップには1〜5の番号が付されている。番号3のタップに対応する画素が補正の対象となる画素である。また、黒で塗りつぶされた位置(番号5に対応する画素)は、|Vy|が閾値MTHより大きいため、フィルタ処理する際に考慮されない位置(画素)を示す。
【数3】
【0040】
次に、水平LPF107の処理について説明する。水平LPF107は、補正レベル、水平フィルタEN、水平5タップEN、水平9タップEN、水平動きベクトルVyを用いてフィルタ処理を行う。なお、フィルタのタップ方向以外は垂直LPF106の処理と同様のため、説明は省略する。
【0041】
以上述べた補正処理を画面全体について行うことで、近くに映像の動きがある静止領域の高周波成分を低下させることができる(そのような領域をぼかすことができる)。それにより、動きのある領域の周辺の領域が多重に見えることによる妨害感を低減することができる。具体的には、低下応答速度の速い大画面ディスプレイにおいて動きのある被写体を追従視した際に、図15のようにその被写体近傍の背景は多重に見えてしまう。本実施例では、そのような背景(目に残る背景)を、図11のようにぼかすことで、背景が多重に見えることによる妨害感(違和感)を低減することができる。
また、そのような領域以外の領域(視聴者が注目する領域)については、高周波成分は低下されないため、視聴者が注目する領域の画像品質を低下せずに、上記妨害感を低減す
ることができる。
【0042】
なお、本実施例では、LPFを用いて高周波成分を低下する構成としたが、コントラストや輝度を低下させる構成であってもよい。例えば、ガンマカーブを補正することにより、それらの値を低下させる構成であってもよい。
なお、本実施例では、部分領域の輝度値としてAPLを用いたが、部分領域を代表する輝度値であればどのような輝度値であってもよい。例えば、部分領域内の静止画素の最大輝度値を、その部分領域の輝度値としてもよい。
【0043】
なお、本実施例では垂直LPF106の出力結果に対して水平LPF107が処理を行うものとしたが、水平LPF107が垂直LPF106よりも先に処理を行ってもよい。なお、本実施例では、LPFとして4種類のLPF(タップ数が5個と9個、タップ方向が水平方向と垂直方向)を用いる構成としたが、LPFはこれに限らない。例えば、タップ数が3個,7個,15個、タップ方向が(水平方向を0度、垂直方向を90度として)30°,45°,60°などのLPF(タップ方向が斜め方向のLPF;斜め方向にタップが並んだLPF)を用いてもよい。そして、静止画素付近の映像の動きが斜め方向である場合には、垂直LPF106と水平LPF107の両方を用いるのではなく、タップ方向が斜め方向のLPFを用いてもよい。また、静止画素付近の映像の動きに応じて、垂直LPF106の処理と水平LPF107の処理を重み付けして行ってもよい。
なお、本実施例では、絵柄特徴量算出部103が画素毎に映像の動きがあるか否かを判断する構成としたが、そのような判断は行わなくてもよい。例えば、そのような判断は距離判定部104でも行われるため、絵柄特徴量算出部103は、判断結果(画素毎の映像の動きがあるか否かの判断結果)を距離判定部104から取得してもよい。
【0044】
<実施例2>
以下、本発明の実施例2に係る画像処理装置及び画像処理方法について説明する。なお、実施例1と同様の機能については説明を省略する。
【0045】
図12はディスプレイ1300と視聴者1301との距離による視野の違いを表している。点線で囲まれた領域1302,1303は視聴者1301の視野を示している。ディスプレイ1300にはテロップ「ABC」が表示されており、矢印Xの方向に動いている。
図12(a)はディスプレイ1300と視聴者1301との距離が近い状態を示している。ディスプレイ1300と視聴者1301との距離が小さい場合には、視聴者1301の視野は領域1302のような狭い領域となる(ディスプレイの画面のおける視野の占める割合は小さくなる)。そのため、テロップが矢印Xの方向に動くと、視野(領域1302)もテロップに同期して矢印Xの方向に動くことになる。
図12(b)はディスプレイ1300と視聴者1301との距離が図12(a)に比べ遠い状態を示している。ディスプレイ1300と視聴者1301との距離が大きい場合には、視聴者1301の視野は領域1303のような広い領域となる(ディスプレイの画面のおける視野の占める割合は大きくなる)。そのため、テロップが矢印Xの方向に動いても、視野(領域1303)は移動しないものと考えられる。
【0046】
即ち、ディスプレイと視聴者との距離が小さいほど、映像の動きを追従視する際の視野の移動量が大きくなる。そのため、動きのある領域の周辺の領域が多重に見えることによる妨害感が大きくなる。
そこで、本実施例では、入力映像を表示する表示装置と視聴者との距離が近いほど、補正処理の補正度合いを大きくする。
以下、詳しく説明する。
【0047】
本実施例に係る画像処理装置は、実施例1の構成に加え、周辺人物検出部を更に有する。
(周辺人物検出部)
周辺人物検出部は、入力映像の視聴者を検出する(検出手段)。具体的には、入力映像を表示する表示装置(ディスプレイ)の視聴者が、表示装置の近くに存在しているか否かを人感センサなどを使用して検出する。例えば、周辺人物検出部(人感センサ)は、ディスプレイと同じ位置に設けられており、ディスプレイの位置を中心とする所定の領域(例えば半径30cm,50cm,1mなどの領域)内の人物(視聴者)を検出する。
そして、検出結果に応じて、周辺人物判定フラグを決定し、フィルタ係数生成部へ出力する。周辺人物判定フラグは、ディスプレイの近くに人間(視聴者)がいる場合に所定の処理を実行するためのフラグである。具体的には、周辺人物検出部は、視聴者を検出していないときには周辺人物判定フラグを“0”とし、人物が検出しているときに“1”とする。
なお、人物の検出方法は、上述した人感センサを用いる手法など、どのような方法であってもよい。
【0048】
(フィルタ係数生成部の処理)
本実施例では、フィルタ係数生成部は、実施例1の方法で決定した補正レベルを、周辺人物検出フラグに応じて補正する。具体的には、周辺人物検出フラグが“1”であった場合には、視聴者がディスプレイの近くで視聴している可能性が高いため、補正レベル“1”を補正レベル“2”に補正する。即ち、距離係数が“1”の場合に補正レベルを“2”とする。なお、補正レベル“0”から“1”に補正すると画面全体がぼやけてしまうため、そのような補正は行わない。
【0049】
このように、本実施例では、ディスプレイと視聴者の距離が近いほど補正処理の補正度合いが大きくされる。それにより、視聴者の視野の変化を考慮した補正処理が行われるため、動きのある領域の周辺の領域が多重に見えることによる妨害感をより確実に低減することができる。
また、ディスプレイの画面のおける視野の占める割合は、ディスプレイと視聴者の距離でなく、ディスプレイの画面の大きさによっても変化する。具体的には、ディスプレイの画面が大きいほど、ディスプレイの画面のおける視野の占める割合は小さくなり、ディスプレイの画面が小さいほど、ディスプレイの画面のおける視野の占める割合は大きくなる。そのため、ディスプレイの画面が大きいほど、補正処理の補正度合いを大きくすることが好ましい。それにより、上記作用効果を同様の効果を得ることができる。
【0050】
なお、本実施例では、実施例1の方法で決定された補正レベル“1”を補正レベル“2”に補正する構成としたが、補正方法はこれに限らない。例えば、補正レベルが4段階に区分されている場合には、補正レベル“1”,“2”をそれぞれ補正レベル“2”,“3”に補正すればよい(補正レベルの値が大きいほど補正度合いが大きいものとする)。また、距離判定部がディスプレイと視聴者との距離に基づいて距離係数を補正する構成であってもよい。ディスプレイと視聴者の距離が近いほど補正処理の補正度合いが大きくなればよい。
なお、本実施例では、周辺人物検出部が視聴者が所定の領域内に存在するか否かを判断する構成としたが、周辺人物検出部は、視聴者を検出した場合にディスプレイからどの程度離れているかを認識可能に構成されていてもよい。
【0051】
<実施例3>
以下、本発明の実施例3に係る画像処理装置及び画像処理方法について説明する。なお、実施例1と同様の機能については説明を省略する。
【0052】
図13は、パンされた映像の一例を示す図である。パンされた映像とは、動く注目物(被写体)を追従して撮影したことにより背景が動いている映像である。なお、図13は矢印Xの方向と逆に動いている被写体1701を追従して撮影した映像である。この映像において、被写体1701は静止しており、背景は矢印Xの方向に動いている。このような映像に対し実施例1,2で述べた補正処理を施すと、被写体がぼけてしまう。そこで、本実施例では、入力映像がパンされた映像である場合に、補正処理を行わないものとする。以下、詳しく説明する。
【0053】
本実施例に係る画像処理装置は、実施例1の構成に加え、パン判定部を更に有する。
(パン判定部)
パン判定部は、動きベクトル検出部で検出された動きベクトルに基づいて、入力映像がパンされた映像か否かを判定する(パン判定手段)。例えば、入力された映像がパンされた映像か否かは、動きベクトルの水平方向成分(水平動きベクトルVx)が0より大きい画素の数、水平動きベクトルVxが0より小さい画素の数から判断することができる。また、動きベクトルの垂直方向成分(垂直動きベクトルVy)が0より大きい画素の数、垂直動きベクトルVyが0より小さい画素の数から判断することができる。具体的には、以下の条件式で判断される。パン判定部は、動きベクトル検出部で検出された動きベクトルが以下の式のいずれかを満たす場合に、入力映像がパンされた映像であると判断する。なお、以下の式において、PANTHは、映像がパンされた映像か否かを判定するための閾値である。
【数4】
【0054】
そして、パン判定部は、判断結果に応じてパン判定フラグを決定し、フィルタ変換生成部へ出力する。パン判定フラグは、入力映像がパンされた映像である場合に所定の処理を実行するフラグである。具体的には、パン判定部は、入力映像がパンされていない映像であると判断した場合にはパン判定フラグを“0”とし、パンされた映像であると判断した場合には“1”とする。
【0055】
(フィルタ係数生成部の処理)
本実施例では、フィルタ係数生成部は、パン判定フラグに応じて、補正処理を行うか否かを判断する。
例えば、図6のフローチャートにパン判定フラグを確認する処理を追加すればよい。具体的には、そのような処理は、ステップS601とステップS602の間に行えばよい。ステップS601の次に、パン判定フラグが“0”の場合にはステップS602へ進み、“1”の場合には、処理を終了すればよい。
【0056】
このように、本実施例では、入力映像がパンされた映像である場合には補正処理を行わないため、補正処理によって注目領域がぼやけてしまうことを抑制することができる。
なお、図14(a)に示すように、映像の動きのある領域が複数存在する場合には、視聴者が1つの被写体を追従視している確率が低い。そのため、そのような場合には、領域が多重に見えることによる妨害感も小さい物と考えられる。図14(a)は、3つの領域(動きベクトルがそれぞれA,B,Cの領域)が存在する場合の例である。
そこで、画像処理装置が、動き領域が現フレーム画像内に複数存在するか否かを判定する機能(動き領域判定手段)をさらに有していてもよい。そして、動き領域が現フレーム画像内に複数存在する場合に、補正処理を行わないような構成にしてもよい。それにより、得られる効果が低い入力映像に対しては補正処理が行われなくなるため、処理負荷を低減することができる。
なお、動き領域が複数存在するか否かは、動きベクトル検出部で検出された動きベクトルに基づいて判断すればよい。動き領域が複数存在するか否かは、例えば、水平動きベクトルVxの分布と垂直動きベクトルVyの分布を用いて判断することができる。図14(b)は、水平動きベクトルVxの分布(横軸をVx、縦軸をその度数(画素数)とするヒストグラム)の一例を示す。図14(c)は、垂直動きベクトルVyの分布(横軸をVy、縦軸をその度数(画素数)とするヒストグラム)の一例を示す。具体的には、動き領域が複数存在する場合には、図14(b),(c)に示すように、度数分布は複数のピーク(ピークA,B,C)を有することとなる。そのため、そのような場合には、動き領域が複数存在するとみなし、補正処理を行わないものとしてもよい。
【符号の説明】
【0057】
102 動きベクトル検出部
104 距離判定部
105 フィルタ係数生成部
106 垂直LPF
107 水平LPF
【特許請求の範囲】
【請求項1】
入力映像から動きベクトルを検出する動き検出手段と、検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断し、映像の動きが無いと判断した静止画素に対し、該画素から所定の範囲内に映像の動きがあると判断した動き画素が存在するか否かを判定する判定手段と、
前記所定の範囲内に動き画素が存在すると判定された静止画素に対し、高周波成分、コントラスト、及び、輝度の少なくともいずれかを低下させる補正処理を施す補正手段と、を有することを特徴とする画像処理装置。
【請求項2】
補正の対象とする画素を含むフレーム画像を複数の分割領域に分割し、分割領域毎に、その分割領域内に位置する静止画素を用いて該分割領域の周波数分布を算出する周波数分布算出手段
を更に有し、
前記補正手段は、補正の対象とする画素が属する分割領域の周波数分布が特定の周波数に集中している又は略均一な分布である場合に、該画素に対して前記補正処理を施す
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
補正の対象とする画素を含むフレーム画像を複数の分割領域に分割し、分割領域毎に、その分割領域内に位置する静止画素を用いて該分割領域の輝度値を算出する輝度値算出手段
を更に有し、
前記補正手段は、補正の対象とする画素が属する分割領域の輝度値が所定の輝度値より高い場合に、該画素に対して前記補正処理を施す
ことを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記補正手段は、補正の対象とする画素と前記動き画素との距離が近いほど、前記補正処理の補正度合いを大きくする
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
【請求項5】
前記画素毎の映像の動きに基づいて、映像の動きがある動き領域が補正の対象とする画素を含むフレーム画像内に複数存在するか否かを判定する動き領域判定手段
を更に有し、
前記補正手段は、前記動き領域が前記フレーム画像内に複数存在する場合に、前記補正処理を行わない
ことを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。
【請求項6】
前記補正手段は、前記入力映像を表示する表示装置の画面が大きいほど、前記補正処理の補正度合いを大きくする
ことを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
【請求項7】
前記入力映像の視聴者を検出する検出手段
を更に有し、
前記入力映像を表示する表示装置と前記視聴者との距離が近いほど、前記補正処理の補正度合いを大きくする
ことを特徴とする請求項1〜6のいずれか1項に記載の画像処理装置。
【請求項8】
前記動きベクトルに基づいて、前記入力映像がパンされた映像か否かを判定するパン判定手段
を更に有し、
前記補正手段は、前記入力映像がパンされた映像である場合に、前記補正処理を行わない
ことを特徴とする請求項1〜7のいずれか1項に記載の画像処理装置。
【請求項9】
前記補正処理は、フィルタ処理であり、
前記補正手段は、補正の対象とする画素の周辺に位置する周辺画素のうち、動きベクトルの大きさが所定の閾値より大きい画素に対応するフィルタ係数を0にする
ことを特徴とする請求項1〜8のいずれか1項に記載の画像処理装置。
【請求項10】
前記補正処理は、フィルタ処理であり、
前記補正手段は、前記所定の範囲内に存在すると判定された動き画素の動きベクトルが大きいほどタップ数の多いフィルタを用いて前記フィルタ処理を行う
ことを特徴とする請求項1〜9のいずれか1項に記載の画像処理装置。
【請求項11】
前記補正処理は、フィルタ処理であり、
前記補正手段は、前記所定の範囲内に存在すると判定された動き画素の動きベクトルの向きに応じた方向にタップが並んだフィルタを用いて前記フィルタ処理を行う
ことを特徴とする請求項1〜10のいずれか1項に記載の画像処理装置。
【請求項12】
入力映像から動きベクトルを検出するステップと、検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断し、映像の動きが無いと判断した静止画素に対し、該画素から所定の範囲内に映像の動きがあると判断した動き画素が存在するか否かを判定するステップと、
前記所定の範囲内に動き画素が存在すると判定された静止画素に対し、高周波成分、コントラスト、及び、輝度の少なくともいずれかを低下させる補正処理を施すステップと、を有することを特徴とする画像処理方法。
【請求項1】
入力映像から動きベクトルを検出する動き検出手段と、検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断し、映像の動きが無いと判断した静止画素に対し、該画素から所定の範囲内に映像の動きがあると判断した動き画素が存在するか否かを判定する判定手段と、
前記所定の範囲内に動き画素が存在すると判定された静止画素に対し、高周波成分、コントラスト、及び、輝度の少なくともいずれかを低下させる補正処理を施す補正手段と、を有することを特徴とする画像処理装置。
【請求項2】
補正の対象とする画素を含むフレーム画像を複数の分割領域に分割し、分割領域毎に、その分割領域内に位置する静止画素を用いて該分割領域の周波数分布を算出する周波数分布算出手段
を更に有し、
前記補正手段は、補正の対象とする画素が属する分割領域の周波数分布が特定の周波数に集中している又は略均一な分布である場合に、該画素に対して前記補正処理を施す
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
補正の対象とする画素を含むフレーム画像を複数の分割領域に分割し、分割領域毎に、その分割領域内に位置する静止画素を用いて該分割領域の輝度値を算出する輝度値算出手段
を更に有し、
前記補正手段は、補正の対象とする画素が属する分割領域の輝度値が所定の輝度値より高い場合に、該画素に対して前記補正処理を施す
ことを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記補正手段は、補正の対象とする画素と前記動き画素との距離が近いほど、前記補正処理の補正度合いを大きくする
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
【請求項5】
前記画素毎の映像の動きに基づいて、映像の動きがある動き領域が補正の対象とする画素を含むフレーム画像内に複数存在するか否かを判定する動き領域判定手段
を更に有し、
前記補正手段は、前記動き領域が前記フレーム画像内に複数存在する場合に、前記補正処理を行わない
ことを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。
【請求項6】
前記補正手段は、前記入力映像を表示する表示装置の画面が大きいほど、前記補正処理の補正度合いを大きくする
ことを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
【請求項7】
前記入力映像の視聴者を検出する検出手段
を更に有し、
前記入力映像を表示する表示装置と前記視聴者との距離が近いほど、前記補正処理の補正度合いを大きくする
ことを特徴とする請求項1〜6のいずれか1項に記載の画像処理装置。
【請求項8】
前記動きベクトルに基づいて、前記入力映像がパンされた映像か否かを判定するパン判定手段
を更に有し、
前記補正手段は、前記入力映像がパンされた映像である場合に、前記補正処理を行わない
ことを特徴とする請求項1〜7のいずれか1項に記載の画像処理装置。
【請求項9】
前記補正処理は、フィルタ処理であり、
前記補正手段は、補正の対象とする画素の周辺に位置する周辺画素のうち、動きベクトルの大きさが所定の閾値より大きい画素に対応するフィルタ係数を0にする
ことを特徴とする請求項1〜8のいずれか1項に記載の画像処理装置。
【請求項10】
前記補正処理は、フィルタ処理であり、
前記補正手段は、前記所定の範囲内に存在すると判定された動き画素の動きベクトルが大きいほどタップ数の多いフィルタを用いて前記フィルタ処理を行う
ことを特徴とする請求項1〜9のいずれか1項に記載の画像処理装置。
【請求項11】
前記補正処理は、フィルタ処理であり、
前記補正手段は、前記所定の範囲内に存在すると判定された動き画素の動きベクトルの向きに応じた方向にタップが並んだフィルタを用いて前記フィルタ処理を行う
ことを特徴とする請求項1〜10のいずれか1項に記載の画像処理装置。
【請求項12】
入力映像から動きベクトルを検出するステップと、検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断し、映像の動きが無いと判断した静止画素に対し、該画素から所定の範囲内に映像の動きがあると判断した動き画素が存在するか否かを判定するステップと、
前記所定の範囲内に動き画素が存在すると判定された静止画素に対し、高周波成分、コントラスト、及び、輝度の少なくともいずれかを低下させる補正処理を施すステップと、を有することを特徴とする画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2011−154342(P2011−154342A)
【公開日】平成23年8月11日(2011.8.11)
【国際特許分類】
【出願番号】特願2010−201963(P2010−201963)
【出願日】平成22年9月9日(2010.9.9)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成23年8月11日(2011.8.11)
【国際特許分類】
【出願日】平成22年9月9日(2010.9.9)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]