不快度推定装置及び不快度推定プログラム
【課題】周期的図柄によって視聴者が感じる不快度を輝度値に基づいて客観的に推定することが可能な不快度推定装置を提供する。
【解決手段】不快度推定装置１は、映像に含まれる画像の画素の輝度値である画素輝度値を算出する画素輝度値算出部１０と、画素輝度値に基づいて、映像に含まれる画像を複数の解像度に変換するとともに、複数の解像度別の周期的図柄に起因する不快度である解像度別不快度を、周期的図柄におけるコントラストが大きいほど当該解像度別不快度が大きくなるように算出する解像度別不快度算出部２０Ａ〜２０Ｅと、解像度別不快度の非線形和を算出することによって、不快度を算出する不快度算出部３０と、前回の不快度に０よりも大きく１よりも小さい定数を乗じ、今回の不快度に、定数が乗じられた前回の不快度を加算することによって、不快度を補正する不快度補正部４０と、を備える。
【解決手段】不快度推定装置１は、映像に含まれる画像の画素の輝度値である画素輝度値を算出する画素輝度値算出部１０と、画素輝度値に基づいて、映像に含まれる画像を複数の解像度に変換するとともに、複数の解像度別の周期的図柄に起因する不快度である解像度別不快度を、周期的図柄におけるコントラストが大きいほど当該解像度別不快度が大きくなるように算出する解像度別不快度算出部２０Ａ〜２０Ｅと、解像度別不快度の非線形和を算出することによって、不快度を算出する不快度算出部３０と、前回の不快度に０よりも大きく１よりも小さい定数を乗じ、今回の不快度に、定数が乗じられた前回の不快度を加算することによって、不快度を補正する不快度補正部４０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の不快度を推定する不快度推定装置及び不快度推定プログラムに関する。
【背景技術】
【０００２】
家庭で放送、録画映像、パーソナルコンピュータ映像等を視聴する際の映像ディスプレイが大画面化するのに伴い、高コントラストな縞模様等といった周期的図柄が広い面積を占める映像によって誘発される不快度が増大する傾向があり、場合によっては光感受性発作などを起こして健康被害に至る例もある。
放送番組によってこのような健康被害が生じることがないよう、ITU-RのBT.1702で勧告化された「Guidance for the reduction of photosensitive epileptic seizures caused by television」では、高コントラストな縞模様など周期的図柄の扱いについて注意を喚起している。この勧告では技術的な規準は示されていないが、この勧告の基礎となった英国OfCOMの規準が実質的な国際標準となっている。この規準では、最大輝度値の１０％を超える明暗コントラストのある０．５〜６［ｃｙｃｌｅ／ｄｅｇ］の縞模様が、静止時には全画面の４０％、動いている時には全画面の２５％を超えることが無いように制限をかけている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】「Guidance for the reduction of photosensitive epileptic seizures caused by television」、ITU-R
【発明の概要】
【発明が解決しようとする課題】
【０００４】
映像がこの規準を満たしているかどうかを判定する装置として、英国CRS社の「Harding FPA」があるが、かかる装置は、前記した条件を超えることで光感受性発作に至る可能性の高い危険な映像を検出するだけであり、たとえば「最大輝度値の１００％の明暗コントラストのある２［ｃｙｃｌｅ／ｄｅｇ］の縞模様が全画面の２４．９％を占めつつ移動している映像」は「安全」であると判定されるが、「危険」であると判定される「最大輝度値の１０．１％の明暗コントラストのある０．５［ｃｙｃｌｅ／ｄｅｇ］の縞模様が全画面の２５．１％を占めつつ非常にゆっくりと移動している映像」よりも遥かに視聴者の不快感の大きさ（不快度）は高いということが起きる。
このような事象を緩和するために、前記した「Harding FPA」では、映像の「危険度」をフレーム単位で表示し、「危険」と判定されなくても「注意」を発する機能が実装されているが、前記２例の映像の「危険度」は後者が「危険」、前者が「危険」に達しない「注意」と判定されることに変わりない。
このように、縞模様など周期的図柄を含む映像に対する視聴者の心理的な「不快度」を基準として映像の良否を判定する技術は未だ存在しない。
【０００５】
本発明は、前記した事情に鑑みて創案されたものであり、周期的図柄によって視聴者が感じる不快度を輝度値に基づいて客観的に推定することが可能な不快度推定装置及び不快度推定プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、本発明の不快度推定装置は、映像における周期的図柄に基づいて不快度を推定する不快度推定装置であって、画素輝度値算出部と、解像度別不快度算出部と、不快度算出部と、不快度補正部と、を備え、さらに、解像度別不快度算出部は、解像度変換後画素輝度値算出部と、ブロック別不快度算出部と、ブロック別不快度加算部と、解像度別不快度決定部と、を備えることを特徴とする。
【０００７】
かかる構成により、不快度推定装置は、画素輝度値算出部によって、前記映像に含まれる画像の画素の輝度値である画素輝度値を算出し、解像度別不快度算出部によって、前記画素輝度値に基づいて、前記映像に含まれる画像を複数の解像度に変換するとともに、複数の解像度別の周期的図柄に起因する不快度である解像度別不快度を、前記周期的図柄におけるコントラストが大きいほど当該解像度別不快度が大きくなるように算出する。
【０００８】
そして、不快度推定装置は、不快度算出部によって、前記ブロック別不快度の非線形和を算出することによって、不快度を算出し、不快度補正部によって、前回の前記不快度が大きいほど今回の前記不快度が大きくなるように今回の前記不快度を補正する。
【０００９】
このとき、不快度推定装置の解像度別不快度算出部は、解像度変換後画素輝度値算出部によって、前記画素輝度値に基づいて、前記映像に含まれる画像を所定の解像度に変換することによって、解像度変換後の画素輝度値である解像度変換後画素輝度値を算出し、ブロック別不快度算出部によって、前記解像度変換後画素輝度値に基づいて解像度変換後の画素から構成されるブロックにおける不快度であるブロック別不快度を、前記周期的図柄におけるコントラストが大きいほど当該ブロック別不快度が大きくなるように前記ブロックごとに算出し、ブロック別不快度加算部によって、前記ブロック別不快度を前記ブロックごとに所定時間分だけ加算し、解像度別不快度決定部によって、前記ブロック別不快度の非線形和を算出することによって前記解像度別不快度を決定する。この不快度推定装置では、視聴者の生理的指標によらず、輝度反転回数に基づいて不快度を客観的に推定することができる。
【００１０】
本発明の不快度推定装置は、動きベクトル検出部をさらに備える構成であってもよい。かかる構成により、不快度推定装置は、動きベクトル検出部によって、前記解像度変換後画素輝度値に基づいて前記映像における被写体の動きベクトルを検出し、ブロック別不快度加算部によって、前記動きベクトルに基づいて前記ブロックの位置を補正して当該ブロックにおける前記ブロック別不快度を加算する。この不快度推定装置では、画面中の被写体の移動に応じた不快度を推定することができる。
【００１１】
本発明の不快度推定装置において、不快度補正部は、前回の前記不快度に０よりも大きく１よりも小さい定数を乗じ、今回の前記不快度に、定数が乗じられた前回の前記不快度を加算することによって、補正後の前記不快度を得る構成であってもよい。
【００１２】
また、本発明は、コンピュータを前記した不快度推定装置として機能させる不快度推定プログラムとしても具現化可能である。
【発明の効果】
【００１３】
本発明によれば、周期的図柄によって視聴者が感じる不快度を輝度値に基づいて客観的に推定することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る不快度推定装置を示すブロック図である。
【図２】図１の解像度別不快度算出部を示すブロック図である。
【図３】図２のブロック別不快度算出部を示すブロック図である。
【図４】解像度変換後画素からなるブロック（右半分）と格子点とを示す図である。
【図５】不快感度の周波数特性を示すグラフである。
【図６】（ａ）〜（ｃ）は、周期的図柄の例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。
【００１６】
図１に示すように、本発明の実施形態に係る不快度推定装置１は、機能部として、画素輝度値算出部１０と、解像度別不快度算出部２０（２０Ａ〜２０Ｅ）と、不快度算出部３０と、不快度補正部４０と、を備える。
【００１７】
＜画素輝度値算出部＞
画素輝度値算出部１０は、映像信号を取得し、取得された映像信号に含まれるＲＧＢ値に基づいて、画素ごとの輝度値である画素輝度値Ｙを算出し、算出結果を解像度別不快度算出部２０Ａ〜２０Ｅへ出力する。映像信号においてＲＧＢ方式が採用されている場合には、画素輝度値Ｙは、映像信号に含まれる一画素のＲ値（０〜２５５）、Ｇ値（０〜２５５）及びＢ値（０〜２５５）を用いて、以下のように表される（ハイビジョン映像を対象とした場合）。
Ｙ＝０．２１２・Ｒ＋０．７０１・Ｇ＋０．０８７・Ｂ
【００１８】
＜解像度別不快度算出部＞
解像度別不快度算出部２０（２０Ａ〜２０Ｅ）は、画素輝度値算出部１０から出力された画素輝度値に基づいて、映像に含まれる画像を複数の解像度に変換するとともに、複数の解像度別の周期的図柄に起因する不快度である解像度別不快度を周期的図柄におけるコントラストが大きいほど当該解像度別不快度が大きくなるように算出し、算出結果を不快度算出部３０へ出力する。
本実施形態において、解像度別不快度算出部２０Ａは、映像に含まれる画像の解像度を、横５１２画素×縦２５６画素となるように変換し、解像度別不快度算出部２０Ｂは、映像に含まれる画像の解像度を、解像度別不快度算出部２０Ａの縦横それぞれ１／２となる横２５６画素×縦１２８画素となるように解像度を変換する。また、解像度別不快度算出部２０Ｃは、映像に含まれる画像の解像度を、解像度別不快度算出部２０Ｂの縦横それぞれ１／２となる横１２８画素×縦６４画素となるように変換し、解像度別不快度算出部２０Ｄは、映像に含まれる画像の解像度を、解像度別不快度算出部２０Ｃの縦横それぞれ１／２となる横６４画素×縦３２画素となるように変換する。また、解像度別不快度算出部２０Ｅは、映像に含まれる画像の解像度を、解像度別不快度算出部２０Ｄの縦横それぞれ１／２となる横３２画素×縦１６画素となるように解像度を変換する。
【００１９】
図２に示すように、解像度別不快度算出部２０は、解像度変換後画素輝度値算出部２１と、動きベクトル検出部２２と、ブロック別不快度算出部２３（２３ａ〜２３ｎ）と、ブロック別不快度記憶部２４（２４ａ〜２４ｎ）と、動きベクトル記憶部２５（２５ａ〜２５ｎ）と、対応ブロック選択部２６（２６ａ〜２６ｎ）と、ブロック別不快度加算部２７（２７ａ〜２７ｎ）と、解像度別不快度決定部２８と、を備える。
【００２０】
≪解像度変換後画素輝度値算出部≫
解像度変換後画素輝度値算出部２１は、画素輝度値算出部１０から出力された画素輝度値Ｙを取得し、取得された画素輝度値Ｙに基づいて、映像に含まれる画像を所定の解像度に変換することによって、解像度変換後の画素輝度値である解像度変換後画素輝度値を算出し、算出結果を動きベクトル検出部２２及びブロック別不快度算出部２３（２３ａ〜２３ｎ）へ出力する。本実施形態において、解像度変換後画素輝度値算出部２１は、解像度変換後の一画素に含まれる解像度変換前の画素の画素輝度値Ｙの平均値（例えば、相加平均値）を算出することによって、当該平均値を解像度変換後画素画素値として決定する。なお、解像度変換後画素輝度値算出部２１による解像度変換後画素輝度値の算出手法は、前記したものに限定されず、例えば、解像度変換後の一画素の中心となる解像度変換前の画素の画素輝度値Ｙを解像度変換後画素輝度値として採用する構成であってもよい。
【００２１】
≪動きベクトル検出部≫
動きベクトル検出部２２は、解像度変換後画素輝度値算出部２１から出力された解像度変換後画素輝度値に基づいて、映像における被写体の動きベクトルを検出するものであり、ブロックマッチングを用いて、直流分（所定サイズ分の解像度変換後画素の平均輝度）を除去した画素輝度値のフレーム間差分の合計（絶対値和又は自乗和）が最小となるブロック（画像は、複数のブロックから構成されており、後記するように、１つのブロックは、解像度変換後の横１６画素×縦１６画素から構成される）の移動量及び移動方向、すなわち、動きベクトルを算出する。動きベクトルの探索範囲は、縦横両方向に関して、解像度変換後画素で±２画素に設定される。これは、動きベクトルの探索範囲が±２画素を超えると、周期的図柄（縞模様）が逆方向に動くように見える仮現運動が発生することに基づく措置である。動きベクトル検出部２２は、探索範囲内に画素間相関が０．５以上となる画素が見つからない場合には、動きベクトルを０とする。また、本実施形態において、動きベクトル検出部２２は、動きベクトルの単位を、解像度変換後画素で１／４画素刻みに設定して動きベクトルを検出するが、動きベクトルの単位は適宜設定変更可能であり、例えば１画素刻みであってもよい。
【００２２】
≪ブロック別不快度算出部≫
ブロック別不快度算出部２３（２３ａ〜２３ｎ）は、解像度変換後画素輝度値算出部２１から出力された、解像度変換後の横１６画素×縦１６画素の解像度変換後画素輝度値を取得し、取得された解像度変換後画素輝度値に基づいて、解像度変換後の横１６画素×縦１６画素から構成される該当ブロックの周期的図柄に起因する不快度であるブロック別不快度を周期的図柄におけるコントラストが大きいほど当該ブロック別不快度が大きくなるようにブロックごとに算出し、算出結果をブロック別不快度記憶部２４（２４ａ〜２４ｎ）へ出力する。
【００２３】
本実施形態において、解像度別不快度算出部２０Ａは、横５１２画素×縦２５６画素を横１６画素×縦１６画素から構成されるブロックごとに処理するため、ブロック別不快度算出部２３として、５１２個のブロック別不快度算出部２３を備える。
また、解像度別不快度算出部２０Ｂは、横２５６画素×縦１２８画素を横１６画素×縦１６画素から構成されるブロックごとに処理するため、ブロック別不快度算出部２３として、１２８個のブロック別不快度算出部２３を備える。
また、解像度別不快度算出部２０Ｃは、横１２８画素×縦６４画素を横１６画素×縦１６画素から構成されるブロックごとに処理するため、ブロック別不快度算出部２３として、３２個のブロック別不快度算出部２３を備える。
また、解像度別不快度算出部２０Ｄは、横６４画素×縦３２画素を横１６画素×縦１６画素から構成されるブロックごとに処理するため、ブロック別不快度算出部２３として、８個のブロック別不快度算出部２３を備える。
また、解像度別不快度算出部２０Ｅは、横３２画素×縦１６画素を横１６画素×縦１６画素から構成されるブロックごとに処理するため、ブロック別不快度算出部２３として、２個のブロック別不快度算出部２３を備える。
【００２４】
なお、前記したブロック別不快度算出部２３の個数に関する事項は、後記するブロック別不快度記憶部２４、動きベクトル記憶部２５、対応ブロック選択部２６及びブロック別不快度算出部２７についても同様である。
【００２５】
図３に示すように、ブロック別不快度算出部２３ａは、二次元フーリエ変換部２３−１と、周波数成分抽出部２３−２と、抽出周波数成分加算部２３−３と、全交流周波数成分加算部２３−４と、周期的図柄判定部２３−５と、を備える。
【００２６】
二次元フーリエ変換部２３−１は、解像度変換後輝度値算出部２１から出力された該当ブロック（解像度変換後において横１６画素×縦１６画素）の解像度変換後画素輝度値に対して、二次元フーリエ変換、好ましくは、二次元高速フーリエ変換を施すことによって、二次元周波数成分（エネルギー値、すなわち、振幅の自乗に比例する値）を算出し、算出結果を周波数成分抽出部２３−２及び全交流周波数成分加算部２３−４へ出力する。
【００２７】
本実施形態において、二次元フーリエ変換部２３−１は、図４に示すハッチングが掛けられた画素において、所定の周波数よりも大きい周波数を有する高周波数成分のみを算出する。ここで、周波数成分は、ブロックの中心（０，０）を中心とした点対称となるため、二次元フーリエ変換部２３−１は、図４に示すようにブロックの半分（例えば、右半分）の画素の解像度変換後画素輝度値に対して二次元高速フーリエ変換を施すことによって、ブロック全体の算出を行うことができる。かかる配置において、（０，＋Ｎ）と（＋１，−Ｎ）とは隣接することとなり、また、周波数成分が算出される画素は全体で円状に配置されていて、内周の輪郭を２倍とすると外周の輪郭と一致することにより、各解像度において算出される高周波数成分は重なりも抜けもないので、画像全体でのエネルギーは保存されている。
【００２８】
また、二次元フーリエ変換部２３−１は、縦方向、横方向、斜め２方向（左下と右上とを繋ぐ方向、及び、左上と右下とを繋ぐ方向）の計４方向の周波数成分を算出するとともに、算出された各周波数成分に対して、周波数成分の周波数に応じて図５のように変化する不快感度を乗じることによって周波数成分を補正し、補正後の周波数成分を周波数成分抽出部２３−２へ出力する。
ここで、斜め方向の不快感度は、縦方向、横方向の不快感度よりも２０％程度小さく設定されている。これは、主観評価実験において、斜め方向の周期的図柄（縞模様）の不快度が、縦方向、横方向の周期的図柄（縞模様）の不快度よりも２０％程度小さかったことに基づく措置である。かかる不快感度は、周波数の値ごとに予め求められており、二次元フーリエ変換部２３−１に予め記憶されている。また、図５における縦軸（不快感度）は、リニアスケールであり、周波数間の値の比（相対値）が意味を有するものであって、その値自体に関しては、当業者によって適宜設定可能である。
【００２９】
周波数成分抽出部２３−２は、二次元フーリエ変換部２３−１から出力された補正後の二次元周波数成分を取得し、取得された補正後の二次元周波数成分から、三大周波数成分を抽出し、抽出結果を抽出周波数成分加算部２３−３へ出力する。
より詳細には、周波数成分抽出部２３−２は、図４に示す計測格子点ごとに、計測格子点に隣接する４つの解像度変換後画素（左上、左下、右上、右下）の周波数成分の和を算出し、その中の最大値を最大周波数成分として抽出する。
続いて、周波数成分抽出部２３−２は、最大周波数成分として抽出された４つの解像度変換後画素の周波数成分をゼロに設定し、再度、計測格子点に隣接する４つの解像度変換後画素の周波数成分の和が最大となるものを、２番目に大きい周波数成分として抽出する。
続いて、周波数成分抽出部２３−２は、２番目に大きい周波数成分として抽出された４つの解像度変換後画素の周波数成分をゼロに設定し、再度、計測格子点に隣接する４つの解像度変換後画素の周波数成分の和が最大となるものを、３番目に大きい周波数成分として抽出する。
【００３０】
このように、周波数成分抽出部２３−２が三大周波数成分を抽出するのは、二次元の平面を最も密に埋め尽くす白黒模様は、１点の６個の正三角形の空間の頂点が集まり、それぞれ辺を挟んで隣接する正三角形の白黒が反転しているものであり（図６（ａ）参照）、この場合には、周波数成分（エネルギー）と周波数の絶対値とがほぼ等しく、（０，０）を中心に６０［ｄｅｇ］ずつ離れた３つの空間周波数が存在することに基づく措置である。
なお、縞模様（図６（ｂ）参照）のみを対象として不快度を推定するのであれば、周波数成分抽出部２３−２は、最大周波数成分のみを抽出すればよく、縞模様に加えて市松模様（図６（ｃ）参照）も対称として不快度を推定するのであれば、周波数成分抽出部２３−２は、二大周波数成分を抽出すればよい。
【００３１】
抽出周波数成分加算部２３−３は、周波数成分抽出部２３−２から出力された３つの周波数成分（三大周波数成分）を加算（単純加算）し、加算結果を周期的図柄判定部２３−５へ出力する。
【００３２】
全交流周波数成分加算部２３−４は、二次元フーリエ変換部２３−１から出力された補正後の直流以外の周波数成分を取得し、取得された周波数成分の全てを加算（単純加算）し、加算結果を周期的図柄判定部２３−５へ出力する。
【００３３】
周期的図柄判定部２３−５は、三大周波数成分の和が所定値以上であり、かつ、全交流周波数成分の和に対する三大周波数成分の和の比（三大周波数成分の和／全交流周波数成分の和）が所定値以上である場合に、ブロック別不快度として、三大周波数成分の和の対数値を算出する。
ここで、縞模様の周波数成分（エネルギー）は約６倍になると、主観評価実験における不快度の評定カテゴリーが１つ上昇したことに基づき、対数の底は６に設定されることが望ましい。
【００３４】
また、周期的図柄における明暗の輝度差が最大輝度値（白色の輝度値）の約２．５％（エネルギーでは約０．０００６）以下の場合には、不快であるとは感じられないことが主観評価実験において示されているので、この場合には、周期的図柄判定部２３−５は、ブロック別不快度として０を出力することが望ましい。
【００３５】
また、全交流周波数成分の和に対する三大周波数成分の和の比（三大周波数成分の和／全交流周波数成分の和）と比較される所定値は、０．３〜０．５に設定されることが望ましく、本実施形態では、周期的図柄判定部２３−５は、三大周波数成分の和の対数値から、全交流周波数成分の和に対する三大周波数成分の和の比（三大周波数成分の和／全交流周波数成分の和）と比較される所定値が設定値に相当する周波数成分の和の対数値を減算した値をブロック別不快度としてブロック別不快度記憶部２４（２４ａ〜２４ｎ）へ出力する。
【００３６】
≪ブロック別不快度記憶部≫
図２に戻り、ブロック別不快度記憶部２４（２４ａ〜２４ｎ）は、該当ブロックのブロック別不快度を１秒間のフレーム数分だけ記憶し、記憶されたブロック別不快度を対応ブロック選択部２６（２６ａ〜２６ｎ）へ出力するシフトレジスタである。
【００３７】
≪動きベクトル記憶部≫
動きベクトル記憶部２５（２５ａ〜２５ｎ）は、該当ブロックの動きベクトルを１秒間のフレーム数分だけ記憶し、記憶された動きベクトルを対応ブロック選択部２６（２６ａ〜２６ｎ）へ出力するシフトレジスタである。
【００３８】
≪対応ブロック選択部≫
対応ブロック選択部２６（２６ａ〜２６ｎ）は、ブロック別不快度記憶部２４（２４ａ〜２４ｎ）から出力された１秒間のフレーム数分の全てのブロック別不快度を取得するとともに、動きベクトル記憶部２５（２５ａ〜２５ｎ）から出力された動きベクトルを取得し、ブロック別不快度記憶部２４（２４ａ〜２４ｎ）から出力された１秒間のフレーム数分の全てのブロック別不快度の中から、動きベクトル記憶部２５（２５ａ〜２５ｎ）から出力された動きベクトルに基づいて、フレームごとに該当ブロックに対応するブロックのブロック別不快度を選択してブロック別不快度加算部２７（２７ａ〜２７ｎ）へ出力する。
【００３９】
≪ブロック別不快度加算部≫
ブロック別不快度加算部２７（２７ａ〜２７ｎ）は、検出された動きベクトルに基づいて、映像に含まれる被写体を追跡するようにブロックの位置を補正し、補正後のブロックの位置におけるブロック別不快度に基づいて、当該ブロックにおけるブロック別不快度を加算するものであり、本実施形態では、対応ブロック選択部２６（２６ａ〜２６ｎ）から出力された１秒間のフレーム数分のブロック別不快度を取得し、取得されたブロック別不快度をブロックごとに単純加算（すなわち、積算）し、加算結果を解像度別不快度決定部２７へ出力する。このように単純加算するのは、主観評価実験において、不快度は時間軸に対してほぼ線形に上昇することが示されたことに基づく措置である。なお、本実施形態では、対応ブロック選択部２６（２６ａ〜２６ｎ）とブロック別不快度加算部２７（２７ａ〜２７ｎ）とを別の機能ブロックとして説明したが、ブロック別不快度加算部２７（２７ａ〜２７ｎ）が、対応ブロック選択部２６（２６ａ〜２６ｎ）の機能を一体的に備える構成であってもよい。
【００４０】
≪解像度別不快度決定部≫
解像度別不快度決定部２８は、ブロック別不快度算出部２７（２７ａ〜２７ｎ）から出力されたブロックごとの加算後のブロック別不快度ａ（ａａ〜ａｎ）を取得し、取得されたブロックごとの加算後のブロック別不快度ａを非線形加算することによって、非線形和である解像度別不快度ｂを決定し、算出結果を不快度算出部３０へ出力する。
ｂ＝｛Σ（ａ）γ｝１／γ
【００４１】
すなわち、解像度別不快度決定部２８は、ブロック別不快度ａ１〜ａｎをそれぞれγ乗したものを全て加算し、その１／γ乗（γ乗根）を算出することよって、解像度別不快度ｂを得る。ここで、解像度別不快度ｂは、γ＝１の場合には、振幅和となり、γ＝２の場合には、エネルギー和となる。本実施形態において、解像度別不快度決定部２８は、γ＝２として不快度ｄを算出する。これは、主観評価実験において、同じ輝度値変化の面積を４倍とすると不快度が約２倍となり、解像度別不快度ｂの推定誤差が最小となることが示されていることに基づく措置である。
【００４２】
＜不快度算出部＞
図１に戻り、不快度算出部３０は、解像度別不快度算出部２０Ａ〜２０Ｅの解像度別不快度決定部２８から出力された５つの解像度別不快度ｂを取得し、取得されたブロック別不快度ｂを非線形加算することによって、非線形和である不快度ｃを算出し、算出結果を不快度補正部４０へ出力する。
ｃ＝｛Σ（ｂ）γ｝１／γ
【００４３】
すなわち、不快度算出部３０は、５つの解像度別不快度ｂをそれぞれγ乗したものを全て加算し、その１／γ乗（γ乗根）を算出することよって、不快度ｃを得る。ここで、不快度ｃは、γ＝１の場合には、振幅和となり、γ＝２の場合には、エネルギー和となる。本実施形態において、不快度算出部３０は、γ＝２として不快度ｃを算出する。これは、主観評価実験において、同じ輝度値変化の面積を４倍とすると不快度が約２倍となり、不快度ｃの推定誤差が最小となることが示されていることに基づく措置である。本実施形態において、不快度算出部３０は、不快度ｃを１秒ごとに繰り返し算出して不快度補正部４０へ出力する。
【００４４】
＜不快度補正部＞
不快度補正部４０は、前回の（１秒前の）不快度ｃ（以下、前回の不快度ｃｍとする）が大きいほど今回の不快度ｃ（以下、今回の不快度ｃｍ＋１とする）が大きくなるように今回の不快度ｃｍ＋１を補正することによって、補正後の不快度ｄを算出する。本実施形態において、不快度算出部４０は、加算部４１と、記憶部４２と、乗算部４３と、を備える。
【００４５】
加算部４１は、不快度算出部３０から出力された前回の不快度ｃｍを取得し、取得された前回の不快度ｃｍを記憶部４２へ出力する。
【００４６】
記憶部４２は、加算部４１から出力された前回の不快度ｃｍを、１個だけ記憶し、記憶された前回の不快度ｃｍを乗算部４３へ出力するシフトレジスタである。
【００４７】
乗算部４３は、記憶部４２から出力された前回の不快度ｃｍを取得し、取得された前回の不快度ｃｍに定数ｐ（０＜ｐ＜１）を乗じ、算出結果のｐ・ｃｍを加算部４１へ出力する。この定数ｐは、周期的図柄が長時間提示され続ける場合における不快度の蓄積効果を表すものであり、不快度の推定誤差を最小とするには、ｐ＝０．０３程度とすることが望ましい。これは、主観評価実験において、周期的図柄が２０〜３０［秒］提示され続けた場合の不快度が、同じ周期的図柄が１［秒］だけ提示された場合の不快度の２倍となったことに基づく措置である。
【００４８】
そして、加算部４１は、不快度算出部３０から出力された今回の不快度ｃｍ＋１を取得し、今回の不快度ｃｍ＋１に、定数が乗じられた前回の不快度ｐ・ｃｍを加算することによって、補正後の不快度ｄを算出し、算出された不快度ｄをディスプレイ、スピーカ等の外部装置（不快度ｄを利用者へ通知する通知部）へ出力するとともに、新たな前回の不快度として記憶部４２へ出力する。
ｄ＝ｃｍ＋１＋ｐ・ｃｍ
かかる加算部４１は、ブロック別不快度加算部２７（２７ａ〜２７ｎ）による加算のタイミングである１［秒］ごとに補正後の不快度ｄを算出して出力する。
【００４９】
本発明の実施形態に係る不快度推定装置１は、縞模様等の周期的図柄によって引き起こされる不快度ｄを客観的に推定することができる。より詳細には、解像度別不快度算出部２０Ａ〜２０Ｅが、解像度ごとに解像度別不快度ｂを算出し、不快度算出部３０が、解像度別不快度に基づいて不快度ｃを算出するので、より視聴者の主観的評価に近い不快度ｄを推定することができる。また、推定された不快度ｄは、映像コンテンツ製作者が周期的図柄を低減するような映像修正を施す際に、映像修正の度合いの指標として使用可能である。
【００５０】
すなわち、不快度推定装置１は、映像コンテンツ制作者によって制作段階で用いられる場合には、映像の良否の判定、映像に含まれる周期的図柄をどの程度まで抑制すべきかの目標設定等に好適な不快度ｄを映像コンテンツ製作者に提示することができるので、制作に要する時間、労力及びコストの削減が図られるだけでなく、供給される映像コンテンツの安全性及び快適性も高められる。
また、不快度推定装置１は、映像の視聴者側で用いられる場合には、周期的図柄に関して安全、快適であることを保証せずに制作、流通された映像に対して、視聴前又は視聴中の表示直前に不快度ｄを推定してディスプレイ又はスピーカへ出力することによって、視聴時に警告を発することができるので、輝度反転による健康被害及び不快感の誘発を防止することが可能になる。
【００５１】
以上、本発明の実施形態について実施形態を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、本発明は、コンピュータを前記不快度推定装置１として機能させる不快度推定プログラムとして具現化することも可能である。
【符号の説明】
【００５２】
１ 不快度推定装置
１０ 画素輝度値算出部
２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ 解像度別不快度算出部
２１ 解像度変換後輝度値算出部
２２ 動きベクトル検出部
２３（２３ａ〜２３ｎ） ブロック別不快度算出部
２７ ブロック別不快度加算部
２８ 解像度別不快度決定部
３０ 不快度算出部
４０ 不快度補正部
【技術分野】
【０００１】
本発明は、映像の不快度を推定する不快度推定装置及び不快度推定プログラムに関する。
【背景技術】
【０００２】
家庭で放送、録画映像、パーソナルコンピュータ映像等を視聴する際の映像ディスプレイが大画面化するのに伴い、高コントラストな縞模様等といった周期的図柄が広い面積を占める映像によって誘発される不快度が増大する傾向があり、場合によっては光感受性発作などを起こして健康被害に至る例もある。
放送番組によってこのような健康被害が生じることがないよう、ITU-RのBT.1702で勧告化された「Guidance for the reduction of photosensitive epileptic seizures caused by television」では、高コントラストな縞模様など周期的図柄の扱いについて注意を喚起している。この勧告では技術的な規準は示されていないが、この勧告の基礎となった英国OfCOMの規準が実質的な国際標準となっている。この規準では、最大輝度値の１０％を超える明暗コントラストのある０．５〜６［ｃｙｃｌｅ／ｄｅｇ］の縞模様が、静止時には全画面の４０％、動いている時には全画面の２５％を超えることが無いように制限をかけている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】「Guidance for the reduction of photosensitive epileptic seizures caused by television」、ITU-R
【発明の概要】
【発明が解決しようとする課題】
【０００４】
映像がこの規準を満たしているかどうかを判定する装置として、英国CRS社の「Harding FPA」があるが、かかる装置は、前記した条件を超えることで光感受性発作に至る可能性の高い危険な映像を検出するだけであり、たとえば「最大輝度値の１００％の明暗コントラストのある２［ｃｙｃｌｅ／ｄｅｇ］の縞模様が全画面の２４．９％を占めつつ移動している映像」は「安全」であると判定されるが、「危険」であると判定される「最大輝度値の１０．１％の明暗コントラストのある０．５［ｃｙｃｌｅ／ｄｅｇ］の縞模様が全画面の２５．１％を占めつつ非常にゆっくりと移動している映像」よりも遥かに視聴者の不快感の大きさ（不快度）は高いということが起きる。
このような事象を緩和するために、前記した「Harding FPA」では、映像の「危険度」をフレーム単位で表示し、「危険」と判定されなくても「注意」を発する機能が実装されているが、前記２例の映像の「危険度」は後者が「危険」、前者が「危険」に達しない「注意」と判定されることに変わりない。
このように、縞模様など周期的図柄を含む映像に対する視聴者の心理的な「不快度」を基準として映像の良否を判定する技術は未だ存在しない。
【０００５】
本発明は、前記した事情に鑑みて創案されたものであり、周期的図柄によって視聴者が感じる不快度を輝度値に基づいて客観的に推定することが可能な不快度推定装置及び不快度推定プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、本発明の不快度推定装置は、映像における周期的図柄に基づいて不快度を推定する不快度推定装置であって、画素輝度値算出部と、解像度別不快度算出部と、不快度算出部と、不快度補正部と、を備え、さらに、解像度別不快度算出部は、解像度変換後画素輝度値算出部と、ブロック別不快度算出部と、ブロック別不快度加算部と、解像度別不快度決定部と、を備えることを特徴とする。
【０００７】
かかる構成により、不快度推定装置は、画素輝度値算出部によって、前記映像に含まれる画像の画素の輝度値である画素輝度値を算出し、解像度別不快度算出部によって、前記画素輝度値に基づいて、前記映像に含まれる画像を複数の解像度に変換するとともに、複数の解像度別の周期的図柄に起因する不快度である解像度別不快度を、前記周期的図柄におけるコントラストが大きいほど当該解像度別不快度が大きくなるように算出する。
【０００８】
そして、不快度推定装置は、不快度算出部によって、前記ブロック別不快度の非線形和を算出することによって、不快度を算出し、不快度補正部によって、前回の前記不快度が大きいほど今回の前記不快度が大きくなるように今回の前記不快度を補正する。
【０００９】
このとき、不快度推定装置の解像度別不快度算出部は、解像度変換後画素輝度値算出部によって、前記画素輝度値に基づいて、前記映像に含まれる画像を所定の解像度に変換することによって、解像度変換後の画素輝度値である解像度変換後画素輝度値を算出し、ブロック別不快度算出部によって、前記解像度変換後画素輝度値に基づいて解像度変換後の画素から構成されるブロックにおける不快度であるブロック別不快度を、前記周期的図柄におけるコントラストが大きいほど当該ブロック別不快度が大きくなるように前記ブロックごとに算出し、ブロック別不快度加算部によって、前記ブロック別不快度を前記ブロックごとに所定時間分だけ加算し、解像度別不快度決定部によって、前記ブロック別不快度の非線形和を算出することによって前記解像度別不快度を決定する。この不快度推定装置では、視聴者の生理的指標によらず、輝度反転回数に基づいて不快度を客観的に推定することができる。
【００１０】
本発明の不快度推定装置は、動きベクトル検出部をさらに備える構成であってもよい。かかる構成により、不快度推定装置は、動きベクトル検出部によって、前記解像度変換後画素輝度値に基づいて前記映像における被写体の動きベクトルを検出し、ブロック別不快度加算部によって、前記動きベクトルに基づいて前記ブロックの位置を補正して当該ブロックにおける前記ブロック別不快度を加算する。この不快度推定装置では、画面中の被写体の移動に応じた不快度を推定することができる。
【００１１】
本発明の不快度推定装置において、不快度補正部は、前回の前記不快度に０よりも大きく１よりも小さい定数を乗じ、今回の前記不快度に、定数が乗じられた前回の前記不快度を加算することによって、補正後の前記不快度を得る構成であってもよい。
【００１２】
また、本発明は、コンピュータを前記した不快度推定装置として機能させる不快度推定プログラムとしても具現化可能である。
【発明の効果】
【００１３】
本発明によれば、周期的図柄によって視聴者が感じる不快度を輝度値に基づいて客観的に推定することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る不快度推定装置を示すブロック図である。
【図２】図１の解像度別不快度算出部を示すブロック図である。
【図３】図２のブロック別不快度算出部を示すブロック図である。
【図４】解像度変換後画素からなるブロック（右半分）と格子点とを示す図である。
【図５】不快感度の周波数特性を示すグラフである。
【図６】（ａ）〜（ｃ）は、周期的図柄の例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。
【００１６】
図１に示すように、本発明の実施形態に係る不快度推定装置１は、機能部として、画素輝度値算出部１０と、解像度別不快度算出部２０（２０Ａ〜２０Ｅ）と、不快度算出部３０と、不快度補正部４０と、を備える。
【００１７】
＜画素輝度値算出部＞
画素輝度値算出部１０は、映像信号を取得し、取得された映像信号に含まれるＲＧＢ値に基づいて、画素ごとの輝度値である画素輝度値Ｙを算出し、算出結果を解像度別不快度算出部２０Ａ〜２０Ｅへ出力する。映像信号においてＲＧＢ方式が採用されている場合には、画素輝度値Ｙは、映像信号に含まれる一画素のＲ値（０〜２５５）、Ｇ値（０〜２５５）及びＢ値（０〜２５５）を用いて、以下のように表される（ハイビジョン映像を対象とした場合）。
Ｙ＝０．２１２・Ｒ＋０．７０１・Ｇ＋０．０８７・Ｂ
【００１８】
＜解像度別不快度算出部＞
解像度別不快度算出部２０（２０Ａ〜２０Ｅ）は、画素輝度値算出部１０から出力された画素輝度値に基づいて、映像に含まれる画像を複数の解像度に変換するとともに、複数の解像度別の周期的図柄に起因する不快度である解像度別不快度を周期的図柄におけるコントラストが大きいほど当該解像度別不快度が大きくなるように算出し、算出結果を不快度算出部３０へ出力する。
本実施形態において、解像度別不快度算出部２０Ａは、映像に含まれる画像の解像度を、横５１２画素×縦２５６画素となるように変換し、解像度別不快度算出部２０Ｂは、映像に含まれる画像の解像度を、解像度別不快度算出部２０Ａの縦横それぞれ１／２となる横２５６画素×縦１２８画素となるように解像度を変換する。また、解像度別不快度算出部２０Ｃは、映像に含まれる画像の解像度を、解像度別不快度算出部２０Ｂの縦横それぞれ１／２となる横１２８画素×縦６４画素となるように変換し、解像度別不快度算出部２０Ｄは、映像に含まれる画像の解像度を、解像度別不快度算出部２０Ｃの縦横それぞれ１／２となる横６４画素×縦３２画素となるように変換する。また、解像度別不快度算出部２０Ｅは、映像に含まれる画像の解像度を、解像度別不快度算出部２０Ｄの縦横それぞれ１／２となる横３２画素×縦１６画素となるように解像度を変換する。
【００１９】
図２に示すように、解像度別不快度算出部２０は、解像度変換後画素輝度値算出部２１と、動きベクトル検出部２２と、ブロック別不快度算出部２３（２３ａ〜２３ｎ）と、ブロック別不快度記憶部２４（２４ａ〜２４ｎ）と、動きベクトル記憶部２５（２５ａ〜２５ｎ）と、対応ブロック選択部２６（２６ａ〜２６ｎ）と、ブロック別不快度加算部２７（２７ａ〜２７ｎ）と、解像度別不快度決定部２８と、を備える。
【００２０】
≪解像度変換後画素輝度値算出部≫
解像度変換後画素輝度値算出部２１は、画素輝度値算出部１０から出力された画素輝度値Ｙを取得し、取得された画素輝度値Ｙに基づいて、映像に含まれる画像を所定の解像度に変換することによって、解像度変換後の画素輝度値である解像度変換後画素輝度値を算出し、算出結果を動きベクトル検出部２２及びブロック別不快度算出部２３（２３ａ〜２３ｎ）へ出力する。本実施形態において、解像度変換後画素輝度値算出部２１は、解像度変換後の一画素に含まれる解像度変換前の画素の画素輝度値Ｙの平均値（例えば、相加平均値）を算出することによって、当該平均値を解像度変換後画素画素値として決定する。なお、解像度変換後画素輝度値算出部２１による解像度変換後画素輝度値の算出手法は、前記したものに限定されず、例えば、解像度変換後の一画素の中心となる解像度変換前の画素の画素輝度値Ｙを解像度変換後画素輝度値として採用する構成であってもよい。
【００２１】
≪動きベクトル検出部≫
動きベクトル検出部２２は、解像度変換後画素輝度値算出部２１から出力された解像度変換後画素輝度値に基づいて、映像における被写体の動きベクトルを検出するものであり、ブロックマッチングを用いて、直流分（所定サイズ分の解像度変換後画素の平均輝度）を除去した画素輝度値のフレーム間差分の合計（絶対値和又は自乗和）が最小となるブロック（画像は、複数のブロックから構成されており、後記するように、１つのブロックは、解像度変換後の横１６画素×縦１６画素から構成される）の移動量及び移動方向、すなわち、動きベクトルを算出する。動きベクトルの探索範囲は、縦横両方向に関して、解像度変換後画素で±２画素に設定される。これは、動きベクトルの探索範囲が±２画素を超えると、周期的図柄（縞模様）が逆方向に動くように見える仮現運動が発生することに基づく措置である。動きベクトル検出部２２は、探索範囲内に画素間相関が０．５以上となる画素が見つからない場合には、動きベクトルを０とする。また、本実施形態において、動きベクトル検出部２２は、動きベクトルの単位を、解像度変換後画素で１／４画素刻みに設定して動きベクトルを検出するが、動きベクトルの単位は適宜設定変更可能であり、例えば１画素刻みであってもよい。
【００２２】
≪ブロック別不快度算出部≫
ブロック別不快度算出部２３（２３ａ〜２３ｎ）は、解像度変換後画素輝度値算出部２１から出力された、解像度変換後の横１６画素×縦１６画素の解像度変換後画素輝度値を取得し、取得された解像度変換後画素輝度値に基づいて、解像度変換後の横１６画素×縦１６画素から構成される該当ブロックの周期的図柄に起因する不快度であるブロック別不快度を周期的図柄におけるコントラストが大きいほど当該ブロック別不快度が大きくなるようにブロックごとに算出し、算出結果をブロック別不快度記憶部２４（２４ａ〜２４ｎ）へ出力する。
【００２３】
本実施形態において、解像度別不快度算出部２０Ａは、横５１２画素×縦２５６画素を横１６画素×縦１６画素から構成されるブロックごとに処理するため、ブロック別不快度算出部２３として、５１２個のブロック別不快度算出部２３を備える。
また、解像度別不快度算出部２０Ｂは、横２５６画素×縦１２８画素を横１６画素×縦１６画素から構成されるブロックごとに処理するため、ブロック別不快度算出部２３として、１２８個のブロック別不快度算出部２３を備える。
また、解像度別不快度算出部２０Ｃは、横１２８画素×縦６４画素を横１６画素×縦１６画素から構成されるブロックごとに処理するため、ブロック別不快度算出部２３として、３２個のブロック別不快度算出部２３を備える。
また、解像度別不快度算出部２０Ｄは、横６４画素×縦３２画素を横１６画素×縦１６画素から構成されるブロックごとに処理するため、ブロック別不快度算出部２３として、８個のブロック別不快度算出部２３を備える。
また、解像度別不快度算出部２０Ｅは、横３２画素×縦１６画素を横１６画素×縦１６画素から構成されるブロックごとに処理するため、ブロック別不快度算出部２３として、２個のブロック別不快度算出部２３を備える。
【００２４】
なお、前記したブロック別不快度算出部２３の個数に関する事項は、後記するブロック別不快度記憶部２４、動きベクトル記憶部２５、対応ブロック選択部２６及びブロック別不快度算出部２７についても同様である。
【００２５】
図３に示すように、ブロック別不快度算出部２３ａは、二次元フーリエ変換部２３−１と、周波数成分抽出部２３−２と、抽出周波数成分加算部２３−３と、全交流周波数成分加算部２３−４と、周期的図柄判定部２３−５と、を備える。
【００２６】
二次元フーリエ変換部２３−１は、解像度変換後輝度値算出部２１から出力された該当ブロック（解像度変換後において横１６画素×縦１６画素）の解像度変換後画素輝度値に対して、二次元フーリエ変換、好ましくは、二次元高速フーリエ変換を施すことによって、二次元周波数成分（エネルギー値、すなわち、振幅の自乗に比例する値）を算出し、算出結果を周波数成分抽出部２３−２及び全交流周波数成分加算部２３−４へ出力する。
【００２７】
本実施形態において、二次元フーリエ変換部２３−１は、図４に示すハッチングが掛けられた画素において、所定の周波数よりも大きい周波数を有する高周波数成分のみを算出する。ここで、周波数成分は、ブロックの中心（０，０）を中心とした点対称となるため、二次元フーリエ変換部２３−１は、図４に示すようにブロックの半分（例えば、右半分）の画素の解像度変換後画素輝度値に対して二次元高速フーリエ変換を施すことによって、ブロック全体の算出を行うことができる。かかる配置において、（０，＋Ｎ）と（＋１，−Ｎ）とは隣接することとなり、また、周波数成分が算出される画素は全体で円状に配置されていて、内周の輪郭を２倍とすると外周の輪郭と一致することにより、各解像度において算出される高周波数成分は重なりも抜けもないので、画像全体でのエネルギーは保存されている。
【００２８】
また、二次元フーリエ変換部２３−１は、縦方向、横方向、斜め２方向（左下と右上とを繋ぐ方向、及び、左上と右下とを繋ぐ方向）の計４方向の周波数成分を算出するとともに、算出された各周波数成分に対して、周波数成分の周波数に応じて図５のように変化する不快感度を乗じることによって周波数成分を補正し、補正後の周波数成分を周波数成分抽出部２３−２へ出力する。
ここで、斜め方向の不快感度は、縦方向、横方向の不快感度よりも２０％程度小さく設定されている。これは、主観評価実験において、斜め方向の周期的図柄（縞模様）の不快度が、縦方向、横方向の周期的図柄（縞模様）の不快度よりも２０％程度小さかったことに基づく措置である。かかる不快感度は、周波数の値ごとに予め求められており、二次元フーリエ変換部２３−１に予め記憶されている。また、図５における縦軸（不快感度）は、リニアスケールであり、周波数間の値の比（相対値）が意味を有するものであって、その値自体に関しては、当業者によって適宜設定可能である。
【００２９】
周波数成分抽出部２３−２は、二次元フーリエ変換部２３−１から出力された補正後の二次元周波数成分を取得し、取得された補正後の二次元周波数成分から、三大周波数成分を抽出し、抽出結果を抽出周波数成分加算部２３−３へ出力する。
より詳細には、周波数成分抽出部２３−２は、図４に示す計測格子点ごとに、計測格子点に隣接する４つの解像度変換後画素（左上、左下、右上、右下）の周波数成分の和を算出し、その中の最大値を最大周波数成分として抽出する。
続いて、周波数成分抽出部２３−２は、最大周波数成分として抽出された４つの解像度変換後画素の周波数成分をゼロに設定し、再度、計測格子点に隣接する４つの解像度変換後画素の周波数成分の和が最大となるものを、２番目に大きい周波数成分として抽出する。
続いて、周波数成分抽出部２３−２は、２番目に大きい周波数成分として抽出された４つの解像度変換後画素の周波数成分をゼロに設定し、再度、計測格子点に隣接する４つの解像度変換後画素の周波数成分の和が最大となるものを、３番目に大きい周波数成分として抽出する。
【００３０】
このように、周波数成分抽出部２３−２が三大周波数成分を抽出するのは、二次元の平面を最も密に埋め尽くす白黒模様は、１点の６個の正三角形の空間の頂点が集まり、それぞれ辺を挟んで隣接する正三角形の白黒が反転しているものであり（図６（ａ）参照）、この場合には、周波数成分（エネルギー）と周波数の絶対値とがほぼ等しく、（０，０）を中心に６０［ｄｅｇ］ずつ離れた３つの空間周波数が存在することに基づく措置である。
なお、縞模様（図６（ｂ）参照）のみを対象として不快度を推定するのであれば、周波数成分抽出部２３−２は、最大周波数成分のみを抽出すればよく、縞模様に加えて市松模様（図６（ｃ）参照）も対称として不快度を推定するのであれば、周波数成分抽出部２３−２は、二大周波数成分を抽出すればよい。
【００３１】
抽出周波数成分加算部２３−３は、周波数成分抽出部２３−２から出力された３つの周波数成分（三大周波数成分）を加算（単純加算）し、加算結果を周期的図柄判定部２３−５へ出力する。
【００３２】
全交流周波数成分加算部２３−４は、二次元フーリエ変換部２３−１から出力された補正後の直流以外の周波数成分を取得し、取得された周波数成分の全てを加算（単純加算）し、加算結果を周期的図柄判定部２３−５へ出力する。
【００３３】
周期的図柄判定部２３−５は、三大周波数成分の和が所定値以上であり、かつ、全交流周波数成分の和に対する三大周波数成分の和の比（三大周波数成分の和／全交流周波数成分の和）が所定値以上である場合に、ブロック別不快度として、三大周波数成分の和の対数値を算出する。
ここで、縞模様の周波数成分（エネルギー）は約６倍になると、主観評価実験における不快度の評定カテゴリーが１つ上昇したことに基づき、対数の底は６に設定されることが望ましい。
【００３４】
また、周期的図柄における明暗の輝度差が最大輝度値（白色の輝度値）の約２．５％（エネルギーでは約０．０００６）以下の場合には、不快であるとは感じられないことが主観評価実験において示されているので、この場合には、周期的図柄判定部２３−５は、ブロック別不快度として０を出力することが望ましい。
【００３５】
また、全交流周波数成分の和に対する三大周波数成分の和の比（三大周波数成分の和／全交流周波数成分の和）と比較される所定値は、０．３〜０．５に設定されることが望ましく、本実施形態では、周期的図柄判定部２３−５は、三大周波数成分の和の対数値から、全交流周波数成分の和に対する三大周波数成分の和の比（三大周波数成分の和／全交流周波数成分の和）と比較される所定値が設定値に相当する周波数成分の和の対数値を減算した値をブロック別不快度としてブロック別不快度記憶部２４（２４ａ〜２４ｎ）へ出力する。
【００３６】
≪ブロック別不快度記憶部≫
図２に戻り、ブロック別不快度記憶部２４（２４ａ〜２４ｎ）は、該当ブロックのブロック別不快度を１秒間のフレーム数分だけ記憶し、記憶されたブロック別不快度を対応ブロック選択部２６（２６ａ〜２６ｎ）へ出力するシフトレジスタである。
【００３７】
≪動きベクトル記憶部≫
動きベクトル記憶部２５（２５ａ〜２５ｎ）は、該当ブロックの動きベクトルを１秒間のフレーム数分だけ記憶し、記憶された動きベクトルを対応ブロック選択部２６（２６ａ〜２６ｎ）へ出力するシフトレジスタである。
【００３８】
≪対応ブロック選択部≫
対応ブロック選択部２６（２６ａ〜２６ｎ）は、ブロック別不快度記憶部２４（２４ａ〜２４ｎ）から出力された１秒間のフレーム数分の全てのブロック別不快度を取得するとともに、動きベクトル記憶部２５（２５ａ〜２５ｎ）から出力された動きベクトルを取得し、ブロック別不快度記憶部２４（２４ａ〜２４ｎ）から出力された１秒間のフレーム数分の全てのブロック別不快度の中から、動きベクトル記憶部２５（２５ａ〜２５ｎ）から出力された動きベクトルに基づいて、フレームごとに該当ブロックに対応するブロックのブロック別不快度を選択してブロック別不快度加算部２７（２７ａ〜２７ｎ）へ出力する。
【００３９】
≪ブロック別不快度加算部≫
ブロック別不快度加算部２７（２７ａ〜２７ｎ）は、検出された動きベクトルに基づいて、映像に含まれる被写体を追跡するようにブロックの位置を補正し、補正後のブロックの位置におけるブロック別不快度に基づいて、当該ブロックにおけるブロック別不快度を加算するものであり、本実施形態では、対応ブロック選択部２６（２６ａ〜２６ｎ）から出力された１秒間のフレーム数分のブロック別不快度を取得し、取得されたブロック別不快度をブロックごとに単純加算（すなわち、積算）し、加算結果を解像度別不快度決定部２７へ出力する。このように単純加算するのは、主観評価実験において、不快度は時間軸に対してほぼ線形に上昇することが示されたことに基づく措置である。なお、本実施形態では、対応ブロック選択部２６（２６ａ〜２６ｎ）とブロック別不快度加算部２７（２７ａ〜２７ｎ）とを別の機能ブロックとして説明したが、ブロック別不快度加算部２７（２７ａ〜２７ｎ）が、対応ブロック選択部２６（２６ａ〜２６ｎ）の機能を一体的に備える構成であってもよい。
【００４０】
≪解像度別不快度決定部≫
解像度別不快度決定部２８は、ブロック別不快度算出部２７（２７ａ〜２７ｎ）から出力されたブロックごとの加算後のブロック別不快度ａ（ａａ〜ａｎ）を取得し、取得されたブロックごとの加算後のブロック別不快度ａを非線形加算することによって、非線形和である解像度別不快度ｂを決定し、算出結果を不快度算出部３０へ出力する。
ｂ＝｛Σ（ａ）γ｝１／γ
【００４１】
すなわち、解像度別不快度決定部２８は、ブロック別不快度ａ１〜ａｎをそれぞれγ乗したものを全て加算し、その１／γ乗（γ乗根）を算出することよって、解像度別不快度ｂを得る。ここで、解像度別不快度ｂは、γ＝１の場合には、振幅和となり、γ＝２の場合には、エネルギー和となる。本実施形態において、解像度別不快度決定部２８は、γ＝２として不快度ｄを算出する。これは、主観評価実験において、同じ輝度値変化の面積を４倍とすると不快度が約２倍となり、解像度別不快度ｂの推定誤差が最小となることが示されていることに基づく措置である。
【００４２】
＜不快度算出部＞
図１に戻り、不快度算出部３０は、解像度別不快度算出部２０Ａ〜２０Ｅの解像度別不快度決定部２８から出力された５つの解像度別不快度ｂを取得し、取得されたブロック別不快度ｂを非線形加算することによって、非線形和である不快度ｃを算出し、算出結果を不快度補正部４０へ出力する。
ｃ＝｛Σ（ｂ）γ｝１／γ
【００４３】
すなわち、不快度算出部３０は、５つの解像度別不快度ｂをそれぞれγ乗したものを全て加算し、その１／γ乗（γ乗根）を算出することよって、不快度ｃを得る。ここで、不快度ｃは、γ＝１の場合には、振幅和となり、γ＝２の場合には、エネルギー和となる。本実施形態において、不快度算出部３０は、γ＝２として不快度ｃを算出する。これは、主観評価実験において、同じ輝度値変化の面積を４倍とすると不快度が約２倍となり、不快度ｃの推定誤差が最小となることが示されていることに基づく措置である。本実施形態において、不快度算出部３０は、不快度ｃを１秒ごとに繰り返し算出して不快度補正部４０へ出力する。
【００４４】
＜不快度補正部＞
不快度補正部４０は、前回の（１秒前の）不快度ｃ（以下、前回の不快度ｃｍとする）が大きいほど今回の不快度ｃ（以下、今回の不快度ｃｍ＋１とする）が大きくなるように今回の不快度ｃｍ＋１を補正することによって、補正後の不快度ｄを算出する。本実施形態において、不快度算出部４０は、加算部４１と、記憶部４２と、乗算部４３と、を備える。
【００４５】
加算部４１は、不快度算出部３０から出力された前回の不快度ｃｍを取得し、取得された前回の不快度ｃｍを記憶部４２へ出力する。
【００４６】
記憶部４２は、加算部４１から出力された前回の不快度ｃｍを、１個だけ記憶し、記憶された前回の不快度ｃｍを乗算部４３へ出力するシフトレジスタである。
【００４７】
乗算部４３は、記憶部４２から出力された前回の不快度ｃｍを取得し、取得された前回の不快度ｃｍに定数ｐ（０＜ｐ＜１）を乗じ、算出結果のｐ・ｃｍを加算部４１へ出力する。この定数ｐは、周期的図柄が長時間提示され続ける場合における不快度の蓄積効果を表すものであり、不快度の推定誤差を最小とするには、ｐ＝０．０３程度とすることが望ましい。これは、主観評価実験において、周期的図柄が２０〜３０［秒］提示され続けた場合の不快度が、同じ周期的図柄が１［秒］だけ提示された場合の不快度の２倍となったことに基づく措置である。
【００４８】
そして、加算部４１は、不快度算出部３０から出力された今回の不快度ｃｍ＋１を取得し、今回の不快度ｃｍ＋１に、定数が乗じられた前回の不快度ｐ・ｃｍを加算することによって、補正後の不快度ｄを算出し、算出された不快度ｄをディスプレイ、スピーカ等の外部装置（不快度ｄを利用者へ通知する通知部）へ出力するとともに、新たな前回の不快度として記憶部４２へ出力する。
ｄ＝ｃｍ＋１＋ｐ・ｃｍ
かかる加算部４１は、ブロック別不快度加算部２７（２７ａ〜２７ｎ）による加算のタイミングである１［秒］ごとに補正後の不快度ｄを算出して出力する。
【００４９】
本発明の実施形態に係る不快度推定装置１は、縞模様等の周期的図柄によって引き起こされる不快度ｄを客観的に推定することができる。より詳細には、解像度別不快度算出部２０Ａ〜２０Ｅが、解像度ごとに解像度別不快度ｂを算出し、不快度算出部３０が、解像度別不快度に基づいて不快度ｃを算出するので、より視聴者の主観的評価に近い不快度ｄを推定することができる。また、推定された不快度ｄは、映像コンテンツ製作者が周期的図柄を低減するような映像修正を施す際に、映像修正の度合いの指標として使用可能である。
【００５０】
すなわち、不快度推定装置１は、映像コンテンツ制作者によって制作段階で用いられる場合には、映像の良否の判定、映像に含まれる周期的図柄をどの程度まで抑制すべきかの目標設定等に好適な不快度ｄを映像コンテンツ製作者に提示することができるので、制作に要する時間、労力及びコストの削減が図られるだけでなく、供給される映像コンテンツの安全性及び快適性も高められる。
また、不快度推定装置１は、映像の視聴者側で用いられる場合には、周期的図柄に関して安全、快適であることを保証せずに制作、流通された映像に対して、視聴前又は視聴中の表示直前に不快度ｄを推定してディスプレイ又はスピーカへ出力することによって、視聴時に警告を発することができるので、輝度反転による健康被害及び不快感の誘発を防止することが可能になる。
【００５１】
以上、本発明の実施形態について実施形態を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、本発明は、コンピュータを前記不快度推定装置１として機能させる不快度推定プログラムとして具現化することも可能である。
【符号の説明】
【００５２】
１ 不快度推定装置
１０ 画素輝度値算出部
２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ 解像度別不快度算出部
２１ 解像度変換後輝度値算出部
２２ 動きベクトル検出部
２３（２３ａ〜２３ｎ） ブロック別不快度算出部
２７ ブロック別不快度加算部
２８ 解像度別不快度決定部
３０ 不快度算出部
４０ 不快度補正部
【特許請求の範囲】
【請求項１】
映像における周期的図柄に起因する不快度を推定する不快度推定装置であって、
前記映像に含まれる画像の画素の輝度値である画素輝度値を算出する画素輝度値算出部と、
算出された前記画素輝度値に基づいて、前記映像に含まれる画像を複数の解像度に変換するとともに、複数の解像度別の周期的図柄に起因する不快度である解像度別不快度を、前記周期的図柄におけるコントラストが大きいほど当該解像度別不快度が大きくなるように算出する解像度別不快度算出部と、
算出された前記解像度別不快度の非線形和を算出することによって、前記不快度を算出する不快度算出部と、
前回の前記不快度が大きいほど今回の前記不快度が大きくなるように今回の前記不快度を補正する不快度補正部と、
を備え、
前記解像度別不快度算出部は、
前記画素輝度値に基づいて、前記映像に含まれる画像を所定の解像度に変換することによって、解像度変換後の画素輝度値である解像度変換後画素輝度値を算出する解像度変換後画素輝度値算出部と、
前記解像度変換後画素輝度値に基づいて、解像度変換後の画素から構成されるブロックにおける不快度であるブロック別不快度を、周期的図柄におけるコントラストが大きいほど当該ブロック別不快度が大きくなるように前記ブロックごとに算出するブロック別不快度算出部と、
算出された前記ブロック別不快度を、前記ブロックごとに所定時間分だけ加算するブロック別不快度加算部と、
加算された前記ブロック別不快度の非線形和を算出することによって、前記解像度別不快度を決定する解像度別不快度決定部と、
を備えることを特徴とする不快度推定装置。
【請求項２】
算出された前記解像度変換後画素輝度値に基づいて、前記映像における被写体の動きベクトルを検出する動きベクトル検出部をさらに備え、
前記ブロック別不快度加算部は、検出された前記動きベクトルに基づいて前記ブロックの位置を補正して当該ブロックにおける前記ブロック別不快度を加算する
ことを特徴とする請求項１に記載の不快度推定装置。
【請求項３】
前記不快度補正部は、前回の前記不快度に０よりも大きく１よりも小さい定数を乗じ、今回の前記不快度に、定数が乗じられた前回の前記不快度を加算することによって、補正後の今回の前記不快度を得る
ことを特徴とする請求項１又は請求項２に記載の不快度推定装置。
【請求項４】
映像における周期的図柄に起因する不快度を推定する不快度推定プログラムであって、
コンピュータを、
前記映像に含まれる画像の画素の輝度値である画素輝度値を算出する画素輝度値算出部、
算出された前記画素輝度値に基づいて、前記映像に含まれる画像を複数の解像度に変換するとともに、複数の解像度別の周期的図柄に起因する不快度である解像度別不快度を、前記周期的図柄におけるコントラストが大きいほど当該解像度別不快度が大きくなるように算出する解像度別不快度算出部、
算出された前記解像度別不快度の非線形和を算出することによって、前記不快度を算出する不快度算出部、及び、
前回の前記不快度が大きいほど今回の前記不快度が大きくなるように今回の前記不快度を補正する不快度補正部、
として機能させ、
前記解像度別不快度算出部を、
前記画素輝度値に基づいて、前記映像に含まれる画像を所定の解像度に変換することによって、解像度変換後の画素輝度値である解像度変換後画素輝度値を算出する解像度変換後画素輝度値算出部、
前記解像度変換後画素輝度値に基づいて、解像度変換後の画素から構成されるブロックにおける不快度であるブロック別不快度を前記ブロックごとに算出するブロック別不快度算出部、
算出された前記ブロック別不快度を、前記ブロックごとに所定時間分だけ加算するブロック別不快度加算部、及び、
加算された前記ブロック別不快度の非線形和を算出することによって、前記解像度別不快度を決定する解像度別不快度決定部、
として機能させることを特徴とする不快度推定プログラム。
【請求項１】
映像における周期的図柄に起因する不快度を推定する不快度推定装置であって、
前記映像に含まれる画像の画素の輝度値である画素輝度値を算出する画素輝度値算出部と、
算出された前記画素輝度値に基づいて、前記映像に含まれる画像を複数の解像度に変換するとともに、複数の解像度別の周期的図柄に起因する不快度である解像度別不快度を、前記周期的図柄におけるコントラストが大きいほど当該解像度別不快度が大きくなるように算出する解像度別不快度算出部と、
算出された前記解像度別不快度の非線形和を算出することによって、前記不快度を算出する不快度算出部と、
前回の前記不快度が大きいほど今回の前記不快度が大きくなるように今回の前記不快度を補正する不快度補正部と、
を備え、
前記解像度別不快度算出部は、
前記画素輝度値に基づいて、前記映像に含まれる画像を所定の解像度に変換することによって、解像度変換後の画素輝度値である解像度変換後画素輝度値を算出する解像度変換後画素輝度値算出部と、
前記解像度変換後画素輝度値に基づいて、解像度変換後の画素から構成されるブロックにおける不快度であるブロック別不快度を、周期的図柄におけるコントラストが大きいほど当該ブロック別不快度が大きくなるように前記ブロックごとに算出するブロック別不快度算出部と、
算出された前記ブロック別不快度を、前記ブロックごとに所定時間分だけ加算するブロック別不快度加算部と、
加算された前記ブロック別不快度の非線形和を算出することによって、前記解像度別不快度を決定する解像度別不快度決定部と、
を備えることを特徴とする不快度推定装置。
【請求項２】
算出された前記解像度変換後画素輝度値に基づいて、前記映像における被写体の動きベクトルを検出する動きベクトル検出部をさらに備え、
前記ブロック別不快度加算部は、検出された前記動きベクトルに基づいて前記ブロックの位置を補正して当該ブロックにおける前記ブロック別不快度を加算する
ことを特徴とする請求項１に記載の不快度推定装置。
【請求項３】
前記不快度補正部は、前回の前記不快度に０よりも大きく１よりも小さい定数を乗じ、今回の前記不快度に、定数が乗じられた前回の前記不快度を加算することによって、補正後の今回の前記不快度を得る
ことを特徴とする請求項１又は請求項２に記載の不快度推定装置。
【請求項４】
映像における周期的図柄に起因する不快度を推定する不快度推定プログラムであって、
コンピュータを、
前記映像に含まれる画像の画素の輝度値である画素輝度値を算出する画素輝度値算出部、
算出された前記画素輝度値に基づいて、前記映像に含まれる画像を複数の解像度に変換するとともに、複数の解像度別の周期的図柄に起因する不快度である解像度別不快度を、前記周期的図柄におけるコントラストが大きいほど当該解像度別不快度が大きくなるように算出する解像度別不快度算出部、
算出された前記解像度別不快度の非線形和を算出することによって、前記不快度を算出する不快度算出部、及び、
前回の前記不快度が大きいほど今回の前記不快度が大きくなるように今回の前記不快度を補正する不快度補正部、
として機能させ、
前記解像度別不快度算出部を、
前記画素輝度値に基づいて、前記映像に含まれる画像を所定の解像度に変換することによって、解像度変換後の画素輝度値である解像度変換後画素輝度値を算出する解像度変換後画素輝度値算出部、
前記解像度変換後画素輝度値に基づいて、解像度変換後の画素から構成されるブロックにおける不快度であるブロック別不快度を前記ブロックごとに算出するブロック別不快度算出部、
算出された前記ブロック別不快度を、前記ブロックごとに所定時間分だけ加算するブロック別不快度加算部、及び、
加算された前記ブロック別不快度の非線形和を算出することによって、前記解像度別不快度を決定する解像度別不快度決定部、
として機能させることを特徴とする不快度推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２３９２９５（Ｐ２０１１−２３９２９５Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１１０４０３（Ｐ２０１０−１１０４０３）
【出願日】平成２２年５月１２日（２０１０．５．１２）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１２日（２０１０．５．１２）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]