映像分析装置、視覚刺激危険度判定プログラム及び映像分析システム
【課題】比較的安全な映像や非常に危険な映像による視覚刺激の危険度を判定することができるようにする。
【解決手段】映像分析装置1は、輝度差算出手段71によって、映像を構成するフレームの中の任意の対象フレームとその隣接フレームとの間で同一座標に位置する任意の画素同士の輝度差を算出する。輝度分類手段72によって、輝度分類に従って、算出された輝度差の画素を分類する。面積算出手段73によって、輝度分類ごとに画素数を計数して、その計数値を、輝度差に応じた明滅面積として算出する。面積分類手段74によって、面積分類に従って、算出された明滅面積を分類する。そして、危険度判定手段75によって、輝度分類及び面積分類の分類結果に従って、危険度判定基準を参照して、危険度を多段階に判定し、その危険度を出力する。
【解決手段】映像分析装置1は、輝度差算出手段71によって、映像を構成するフレームの中の任意の対象フレームとその隣接フレームとの間で同一座標に位置する任意の画素同士の輝度差を算出する。輝度分類手段72によって、輝度分類に従って、算出された輝度差の画素を分類する。面積算出手段73によって、輝度分類ごとに画素数を計数して、その計数値を、輝度差に応じた明滅面積として算出する。面積分類手段74によって、面積分類に従って、算出された明滅面積を分類する。そして、危険度判定手段75によって、輝度分類及び面積分類の分類結果に従って、危険度判定基準を参照して、危険度を多段階に判定し、その危険度を出力する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディスプレイに表示させる映像を分析して、映像による視覚刺激により視聴者に光感受性発作を引き起こさせる可能性を示す危険度を判定する映像分析装置、及び、視覚刺激危険度判定プログラムに関するものである。
【背景技術】
【0002】
従来、映像の視覚刺激によって視聴者に光感受性発作を引き起こさせる可能性を判定するための映像分析装置としては、いわゆるハーディングマシン(The Harding FPA Flash and Pattern Analyzer(非特許文献1等参照))やいわゆる参考計測器(非特許文献2等参照)と呼ばれるものが知られている。ハーディングマシンは、ITC(Information Technology & Computing Services)の2001年版ガイドライン(非特許文献3等参照)を基準にして開発されている。一方、参考計測器は、「アニメーション等の映像手法に関するガイドライン」(非特許文献4等参照)の基準にほぼ沿ってチェックすることが可能になるように開発されている。
【0003】
【非特許文献1】“Harding FPA Home flash & pattern analyser” Cambridge Research Systems Ltd.のホームページ [online]、[平成18年1月6日検索]、インターネット“http://www.hardingfpa.co.uk”
【非特許文献2】江本、大塚、山賀、上原、井口、伊藤、藤井:“アニメ番組等ガイドライン対応「参考計測器」の開発”、映像情報メディア学会技術報告,22,No.40,pp.1-6(1998)
【非特許文献3】Independent Television Commission,U.K.“ITC Guidance Note for Licensees on Flashing Images and Regular Patterns in Television",1994,1998,2001-2002.
【非特許文献4】日本放送協会、民間放送連盟「アニメーション等の映像手法に関するガイドライン」、1998;http://www.nhk.or.jp/strl/publica/dayori/dayori98-10/kaisetsu1-2-j.html
【発明の開示】
【発明が解決しようとする課題】
【0004】
ところで、2005年2月にITU−R(International Telecommunication Union-Radio communication Sector,国際電気通信連合無線通信部門)によって、ITU−R勧告BT.1702(ITU-R Recommendation BT.1702,“Guidance for the reduction of photosensitive epileptic seizures caused by television",2005)が定められている。この勧告では、本文には明記されていないものの、補遺(Appendix)としてITCのガイドラインと同様、点滅の輝度差20cd/m2以上でかつ点滅領域の面積が両面25%を超える点滅が1秒間に3回(輝度変化の回数では6回以上)生じている場合、光感受性発作を引き起こす可能性が高いとしている。
【0005】
そのため、いわゆるハーディングマシンや参考計測器等の従来装置では、ITCのガイドラインやITU−R勧告BT.1702に従った映像、つまり、光感受性発作を引き起こす可能性が高い映像であるか否かの判定処理を次のように行っている。例えば、この判定処理の方法としては、すべての映像のフレームに渡って、隣接するフレーム同士の同じ座標(場所)の画素同士の輝度差が20cd/m2以上であるか否かで行う方法がある。また、他の判定処理の方法としては、その輝度差が20cd/m2以上の画素の存在領域の面積が画面の25%を超えるか否かで行う方法もある。なお、いわゆるハーディングマシンでは、動き補償をしつつ、輝度フリッカ等の点滅の検出を行うようになっている。
【0006】
つまり、従来装置は、前記のように、基準を「超えたか超えないか」だけによる判定処理を行っている。例えば、従来装置は、輝度差20cd/m2、面積比25%を僅かに超えただけの比較的危険の少ない映像であっても、危険なものとして検出して警報を出している。ところが、基準を僅かに超えただけで比較的危険度の低い映像は、高い頻度で発生する傾向がある。つまり、従来装置では、比較的危険度の低い映像を危険なものとして頻繁に検出して、警報を頻繁に出力してしまう。そのため、非常に危険な映像であっても、危険でないという認識を与えてしまうことにもなりかねない。また、従来装置は、輝度差は20cd/m2に僅かに満たないが画面全体が点滅するような、非常に危険な映像を見逃してしまうという問題もある。
【0007】
そこで、本発明は、以上のような課題を解決するためになされたものであり、比較的安全な映像や非常に危険な映像による視覚刺激の危険度を判定するための映像分析装置、視覚刺激危険度判定プログラム及び映像分析システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載の映像分析装置は、ディスプレイに表示させる映像を分析して、映像による視覚刺激によって視聴者に光感受性発作を引き起こさせる可能性を示す危険度を判定するために、輝度分類記憶手段と、面積分類記憶手段と、危険度判定基準記憶手段と、輝度差算出手段と、輝度分類手段と、面積算出手段と、面積分類手段と、危険度判定手段とを備える構成とした。
【0009】
かかる構成において、映像分析装置は、輝度分類記憶手段によって、画素同士の輝度差に応じて複数の組に画素を分類するための判定基準としての輝度分類を記憶し、また、面積分類記憶手段によって、明滅面積の大きさに応じて複数の組に画素を分類するための判定基準としての面積分類を記憶し、さらに、危険度判定基準記憶手段によって、輝度分類及び明滅面積に応じて光感受性発作を引き起こす可能性を示す危険度を判定するための判定基準を記憶している。
【0010】
そして、この映像分析装置は、輝度差算出手段によって、映像を構成するフレームの中の任意の対象フレームとその隣接フレームとの間で同一座標に位置する任意の画素同士の輝度差を算出する。続いて、映像分析装置は、輝度分類手段によって、輝度分類記憶手段に記憶されている輝度分類に従って、輝度差算出手段によって算出された輝度差の画素を分類する。なお、隣接フレームとは、対象フレーム自体に時間的に隣接しているフレームであることが望ましいが、ITU−R勧告BT.1702に従う場合、1秒間に3回(輝度変化の回数では6回以上)程度生じる点滅を検出可能なフレームであれば、複数おきのフレームを含む概念としても構わない。
【0011】
次に、この映像分析装置は、面積算出手段によって、輝度分類手段によって分類された輝度分類ごとに画素数を計数して、その計数値を、輝度差に応じた明滅面積として算出し、続いて、面積分類手段によって、面積分類記憶手段に記憶されている面積分類に従って、面積算出手段によって算出された明滅面積を分類する。
【0012】
そして、この映像分析装置は、危険度判定手段によって、輝度分類手段及び面積分類手段の分類結果に従って危険度判定基準記憶手段を参照して、判定基準によって危険度を多段階に判定し、その危険度を出力する。つまり、前記したように、輝度分類と面積分類とはそれぞれが複数の組に分類されているため、危険度判定手段は、これらの分類を尺度とした判定基準によって危険度を多段階に判定する。
【0013】
また、請求項2に記載の映像分析装置は、請求項1に記載の映像分析装置の危険度判定手段が、多段階に判定した危険度の中で、最も高い危険度を優先して出力する構成にした。
【0014】
また、請求項3に記載の映像分析装置は、請求項1又は請求項2に記載の構成に、判定基準変更手段を備える構成とした。
【0015】
かかる構成において、映像分析装置は、判定基準変更手段によって、輝度分類記憶手段に記憶されている輝度分類及び面積分類記憶手段に記憶されている面積分類の少なくとも一方の判定基準を変更する。
【0016】
また、請求項4に記載の映像分析装置は、請求項1から請求項3までのいずれか1項に記載の構成に、動きベクトル検出手段と、動き補償手段とを備える構成とした。
【0017】
かかる構成において、映像分析装置は、動きベクトル検出手段によって、映像を構成する任意の対象フレームと、この対象フレーム以降に表示する隣接フレームとの間で、対象フレーム内の着目する画素が、隣接フレーム内のいずれの方向へ移動したのかを示す動きベクトルを検出し、動き補償手段によって、動きベクトル検出手段によって検出された動きベクトルに従って、前記隣接フレームの動き補償を行う。そのため、映像分析装置は、対象フレームと、動き補償済みの隣接フレームとの差分を求めることで、輝度差を算出することができる。
【0018】
また、請求項5に記載の映像分析装置は、請求項1から請求項4までのいずれか1項に記載の構成に、ダウンサンプリング手段を備える構成とした。
【0019】
かかる構成において、映像分析装置は、ダウンサンプリング手段によって、画素を間引きしてサンプリングする。例えば、ダウンサンプリング手段は、対象フレームの画素ごとのブロックの平均値を算出することによって、間引きする。
【0020】
また、請求項6に記載の映像分析装置は、請求項1に記載の構成に、輝度変換手段を備える構成とした。
【0021】
かかる構成において、映像分析装置は、輝度変換手段によって、ガンマ特性に基づいて画面輝度を算出する。輝度変換手段は、ガンマ特性を設定した輝度ルックアップテーブルを参照して、フレームごとの画面輝度を算出する。
【0022】
また、請求項7に記載の映像分析装置は、請求項1に記載の構成に、入力手段を備える構成とした。
【0023】
かかる構成において、映像分析装置は、入力手段によって、環境に存在する明滅光を撮影した環境信号を入力して、請求項1に記載の各手段によって、その環境信号を分析して、その明滅光の危険度を多段階に判定して出力する。なお、「環境に存在する明滅光」とは、照明器具等の点滅により生じる明滅光を意味することとする。例えば、店舗内照明や舞台照明の点滅効果に伴なう視覚刺激についても、映像分析装置は、視覚刺激危険度を判定することができる。
【0024】
また、請求項8に記載の視覚刺激危険度判定プログラムは、ディスプレイに表示させる映像を分析して、映像による視覚刺激によって視聴者に光感受性発作を引き起こさせる可能性を示す危険度を判定するために、コンピュータを、輝度差算出手段、輝度分類手段、面積算出手段、面積分類手段、危険度判定手段として機能させる構成とした。
【0025】
かかる構成において、視覚刺激危険度判定プログラムは、輝度差算出手段によって、映像を構成するフレームの中の任意の対象フレームとその隣接フレームとの間で同一座標に位置する任意の画素同士の輝度差を算出し、続いて、輝度分類手段によって、画素同士の輝度差に応じて複数の組に画素を分類するための判定基準としての輝度分類を記憶する輝度分類記憶手段から輝度分類を読み出して、その輝度分類に従って、輝度差算出手段によって算出された輝度差の画素を分類する。
【0026】
次に、視覚刺激危険度判定プログラムは、面積算出手段によって、輝度分類手段によって分類された輝度分類ごとに画素数を計数して、その計数値を、輝度差に応じた明滅面積として算出し、続いて、面積分類手段によって、明滅面積の大きさに応じて複数の組に画素を分類するための判定基準としての面積分類を記憶する面積分類記憶手段から面積分類を読み出して、その面積分類に従って、面積算出手段によって算出された明滅面積を分類する。
【0027】
そして、視覚刺激危険度判定プログラムは、危険度判定手段によって、輝度分類手段及び面積分類手段の分類結果に従って、輝度分類及び明滅面積に応じて光感受性発作を引き起こす可能性を示す危険度を判定するための判定基準を記憶する危険度判定基準記憶手段を参照して、判定基準によって危険度を多段階に判定し、その危険度を出力する。
【0028】
また、請求項9に記載の映像分析システムは、請求項1から請求項7までのいずれか1項に記載の映像分析装置によって、SDTV(Standard Definition TeleVision)方式のビデオ信号及びHDTV(High Definition TeleVision)方式のビデオ信号を並列に処理する映像分析システムであって、第1の映像分析装置と、第2の映像分析装置と、制御手段とを備える構成とした。
【0029】
かかる構成において、映像分析システムは、第1の映像分析装置によって、SDTV方式のビデオ信号を分析し、第2の映像分析装置によって、HDTV方式のビデオ信号を分析する。そして、映像分析システムは、制御手段によって、第1の映像分析装置によるSDTV方式のビデオ信号の分析と、第2の映像分析装置によるHDTV方式のビデオ信号の分析とを並列に処理させるようになっている。
【発明の効果】
【0030】
本発明は、以下に示す優れた効果を奏するものである。
請求項1又は請求項8に記載の発明によれば、ITCの2001年版ガイドライン、及び、「アニメーション等の映像手法に関するガイドライン」等の基準に応じて、輝度分類及び面積分類を輝度分類記憶手段及び面積分類記憶手段に多段階に設定しておくことによって、輝度分類と面積分類とによって、多段階に危険度を判定することができるようになる。したがって、本発明によれば、比較的安全な映像や非常に危険な映像による視覚刺激の危険度を判定することができる。
【0031】
そのため、本発明によれば、輝度差20cd/m2、面積比25%を僅かに超えただけの比較的危険の少ない(また、比較的出現する頻度の大きい)映像に過度に注目することを抑える一方、今までは見逃されがちな非常に危険な映像に対する注意を喚起することができる。
【0032】
請求項2に記載の発明によれば、最も高い危険度が出力されるため、ユーザに危険度の判断を誤らせることがなくなる。
【0033】
請求項3に記載の発明によれば、明滅映像と視聴者の健康に関する新たな医学的・技術的な知見が得られた場合にも、輝度分類及び面積分類を変更することにより、柔軟に対応することができる。
【0034】
請求項4に記載の発明によれば、動画の中の明滅の画素の対応関係を正確に把握することができる。
【0035】
請求項5に記載の発明によれば、処理するデータ量を減らすことができるため、映像分析の高速化を図ることができる。
【0036】
請求項6に記載の発明によれば、ディスプレイへの入力画素値と出力輝度との対応関係が異なる映像システムを用いる場合にも対応することができる。
【0037】
請求項7に記載の発明によれば、環境に存在する明滅光による視覚刺激の危険度を判定することができる。これにより、その明滅光によって光感受性発作を起こす可能性を評価することができるようになる。
【0038】
請求項9に記載の発明によれば、HDTV方式のビデオ信号とSDTV方式のビデオ信号とが並列して処理でき、また、各映像分析装置によって、両ビデオ信号のガンマ特性の分析を同時に行うこともできる。
【発明を実施するための最良の形態】
【0039】
以下、本発明を実施するための最良の形態について図面を参照して説明する。なお、本発明は、映像分析装置、視覚刺激危険度判定プログラム及び映像分析システムに関するものであるが、ここでは、映像分析装置の構成及び動作を主として説明する。
【0040】
[映像分析装置の概要]
まず、映像分析装置1の概要について説明する。図1は、本発明に係る実施の形態の映像分析装置の構成を説明するブロック図である。
この映像分析装置1は、ディスプレイに表示させる映像を分析して、映像による視覚刺激によって視聴者に光感受性発作を引き起こさせる可能性を示す危険度を判定するものである。
【0041】
映像分析装置1は、A/D変換回路2と、輝度変換回路3と、フラッシュメモリ4と、フレームメモリ5と、画像変換回路6と、画像計測回路7と、判定基準変更手段8とを備えている。なお、フラッシュメモリ4には、特に、輝度LUT(Look Up Table)41と、輝度判定閾値テーブル42と、面積判定閾値テーブル43と、危険度判定テーブル44とが、記憶されている。また、映像分析装置1は、制御回路9からの指令信号に基づいて、視覚刺激危険度判定処理を実行する。
【0042】
〈A/D変換回路〉
A/D変換回路2は、映像(ビデオ信号)をアナログ信号として入力し、そのアナログ信号をデジタル信号に変換し、そのデジタル信号をビデオ信号として輝度変換回路3に出力するものである。
【0043】
〈輝度変換回路〉
輝度変換回路3は、A/D変換回路2からの映像信号を入力し、輝度LUT41を参照しつつ、ビデオ信号の電圧をフレームごとの画面の輝度に変換し、フレームメモリ5に出力するものである。この輝度変換回路3の処理を、画素値変換処理と呼ぶこととする。
【0044】
図2に、図1の輝度変更回路のさらに詳細な構成を説明するブロック図を示す。この輝度変換回路3は、画素値変換処理を行うために、フレームメモリ読み書き手段31と、フラッシュメモリ読み書き手段32と、データ・アドレス変換手段33と、輝度値算出手段34とを備えている。
【0045】
フレームメモリ読み書き手段31は、フレームメモリ5に書き込まれているビデオ信号を読み出し、そのビデオ信号をデータ・アドレス変換手段33及び輝度値算出手段34に渡すものである。また、このフレームメモリ読み書き手段31は、フレームメモリ5に画像輝度値データの書き込みを行うものである。
【0046】
フラッシュメモリ読み書き手段32は、フラッシュメモリ4からの輝度LUT41のデータを読み出し、そのデータを輝度値算出手段34に渡すものである。また、このフラッシュメモリ読み書き手段32は、フラッシュメモリ4に各種データの書き込みも行う。
【0047】
データ・アドレス変換手段33は、フレームメモリ読み書き手段31によってフレームメモリ5から読み出されたビデオ信号を電圧値データとして読み出し、図示しないディスプレイ上の座標位置を指定するアドレスに変換するものである。
【0048】
輝度値算出手段34は、輝度LUT41を参照して、データ・アドレス変換手段33で変換されたアドレスの画素ごとに輝度値を算出して、その輝度値をフラッシュメモリ読み書き手段32に渡すものである。
【0049】
続いて、前記構成の輝度変換回路3の処理の流れを説明する。図3に、その流れを説明するブロック図を示す。なお、適宜、図1及び図2を参照することとする。この輝度変換回路3では、A/D変換回路2からビデオ信号を受け取ると、そのビデオ信号を、フレームメモリ読み書き手段31によって、一旦、フレームメモリ5に書き込む(キャプチャ/Sa1)。そして、フレームメモリ読み書き手段31は、フレームメモリ5にキャプチャしてあるビデオ信号を電圧値データとして読み出し、データ・アドレス変換手段33に渡す。データ・アドレス変換手段33は、電圧値データを、図示しないディスプレイ上の座標位置を指定するアドレスに変換する(Sa2)。
【0050】
輝度値算出手段34は、輝度LUT41を参照して、データ・アドレス変換手段33で変換されたアドレスの画素ごとに輝度値を算出する。このとき、輝度値算出手段34は、輝度及び色差信号の全レベルの組み合わせ(8bit×3)に対し、輝度LUT41を参照して(Sa3又はSa5)、2種類の非負整数値を生成する。この非負整数値が、ビデオ信号の電圧を画面の輝度に変換したものに相当する。また、非負整数値は、ここでは、8bitとする。また、輝度LUT41には、ガンマ特性における非線形な関係を線形となるようにガンマ補償するために、入出力に対する補償値が定義されている。例えば、この輝度LUT41には、16×32の輝度及び色差信号の全レベルの組み合わせパターンの補償値がフレームの座標値に合わせて定義されている。
【0051】
なお、輝度LUT41の値は、SDTVとHDTVとでは異なる値をとるため、これら全てで4系統の処理となる。そこで、この実施の形態では、HDTVの場合を説明することとする。また、2種類の非負整数値の違い、つまり、輝度LUT41の違いによって、HDTV−A系(Sa3,Sa4)とHDTV−B系(Sa5,Sa6)とのように表すこととする。
【0052】
そして、輝度値算出手段34は、算出した全ての画素輝度値データを、フレームメモリ読み書き手段31によって、フレームメモリ5に書き込ませる(Sa4又はSa6)。なお、HDTV−A系(Sa3,Sa4)とHDTV−B系(Sa5,Sa6)との両方の場合について並行して処理することが望ましい。つまり、映像分析装置1は、表示装置(ディスプレイ)への入力画素値と出力輝度との対応関係が異なる映像システムを用いる場合の視覚刺激危険度判定処理を並行して処理することができる。次に、図1に戻って説明を続ける。
【0053】
〈フレームメモリ〉
フレームメモリ5は、輝度変換回路3からのビデオ信号を入力して記憶し、画像変換回路6及び画像計測回路7にビデオ信号を出力するものである。このフレームメモリ5は、図示しないディスプレイの1画面分に相当するプレーン(領域)に、各フレームを順に記憶し、フレーム単位でビデオ信号を、画像変換回路6及び画像計測回路7に出力するようになっている。
【0054】
〈画像変換回路〉
図4に、図1の画像変換回路のブロック図を示す。この画像変換回路6は、フレームメモリ読み書き手段61と、第1ダウンサンプリング手段62(第1ダウンサンプリング処理)と、第2ダウンサンプリング処理63(第2ダウンサンプリング処理)と、動きベクトル検出手段64(動きベクトル探索処理)とを備えている。フレームメモリ読み書き手段61は、フレームメモリ5に対して読み書きを行うものである。
【0055】
〈第1ダウンサンプリング手段〉
第1ダウンサンプリング手段62は、第1ダウンサンプリング処理を経た1系統の画面輝度データについて、フレームメモリ読み書き手段61によって読み出させ、その画面輝度データについて、対象フレームの画素ごとのブロックの平均値を算出するものである。例えば、1080×1920(HDTVの場合)画素分の画面輝度データの場合、(3/20)×(3/20)画素ごとのブロックの平均値(四捨五入した8bit)を算出する。そして、第1ダウンサンプリング手段62は、算出した平均値をHDTVでは160×268画素の値とする。なお、SDTVでは72×96画素の値となる。
【0056】
また、HDTVの垂直画素については、上下各1ライン分を破棄し、以降の処理は288×160画素で行えばよい。また、フレーム画素については、上下各1ライン分を破棄し、以降の処理を288×160画素で行うようにすればよい。したがって、画面輝度データは、第1ダウンサンプリング手段62によって、間引きされる。
【0057】
〈動きベクトル検出手段〉
動きベクトル検出手段64は、第1ダウンサンプリング処理を経た1系統の信号について、8×8画素を1ブロックとして、前フレーム内の上下±9画素、左右±9画素の全画素の範囲でブロックマッチングを行い、ブロック単位で動きベクトルを探索するものである。なお、もう1系統の信号ではこの探索は行わず、以降の処理では同じ動きベクトルを用いるのが望ましい。なお、動きベクトル検出手段64は、1フレーム前との間で繰り返し、30フレーム前まで遡って行うこととする。続いて、さらに詳細にこの処理について説明する。なお、動きベクトルの符号の向きは、前フレーム上での位置が上側及び左側を負とする。
【0058】
動きベクトル検出手段64は、まず、各画素値を64倍(6bitシフト)した値を算出し、その算出値から各ブロックの総和を差し引いた値同士の差分の絶対値を求める。そして、動きベクトル検出手段64は、その絶対値の総和が最小となる相対位置を探索することで、ブロックマッチングを行う。
【0059】
そして、動きベクトル検出手段64は、その総和が同値の場合には、相対位置(距離)が0に近いもの、相対位置の絶対値が等しい場合には、より上側の位置、より左側の位置の順で選択する。ここで、映像外の探索をカバーするために、各フレームの上下左右それぞれ8画素ずつ、固定値「100」で埋めた拡張領域を設けることが望ましい。この場合、各フレームの画素数はHDTVでは304×176画素となる。なお、SDTVで112×88画素となる。このとき、拡張領域も含め、8×8画素ブロックについて求めるフレーム間動きベクトルは、HDTVで38×32個となる。なお、SDTVで14×11個となる。
【0060】
なお、拡張領域よりも外側の探索は行わないことが望ましい。そのため、この場合、例えば、拡張領域も含めた最も左上のブロックの動きベクトルの取り得る値の範囲は、水平・垂直とも0〜9となり、拡張する前の実画像領域の最も左上(拡張後の左上から右・下に各8画素内側)のブロックでは、水平・垂直とも8〜9となる。
【0061】
〈第2ダウンサンプリング手段〉
第2ダウンサンプリング手段63は、動きベクトル検出手段64による動きベクトル探索を終えた拡張領域を含む画像における実画像領域(拡張領域を除いた部分)の各画素について、実画像領域の画素・右の画素・下の画素・右下の画素の4画素の平均値(四捨五入した8bit)を求める。そして、第2ダウンサンプリング手段63は、求めた平均値を新たに各画素の値とする。したがって、実画像領域(拡張領域を除いた部分)の各画素は、第2ダウンサンプリング手段63によって、その新たな各画素の値に間引きされる。
【0062】
ただし、水平・垂直とも1画素おきに処理を行えば、動きベクトルによる補償後の位置は1画素刻みとなるため、平均値算出後の画素間引きは行わないことが望ましい。この平均値算出後の画像は、30フレーム前までバッファリングしておくことが望ましい。
【0063】
次に、画像変換回路6の処理をさらに詳細に説明する。図5に、その処理の流れのブロック図を示す。フレームメモリ読み書き手段61がフレームメモリ5(5(1))から画面輝度値データを読み出すと(Sb1)、第1ダウンサンプリング手段62は、画面輝度値データを間引きし(第1の間引き/Sb2)、その結果をフレームメモリ読み書き手段61によってフレームメモリ5(5(2))に書き込ませる(Sb3)。
【0064】
そして、フレームメモリ読み書き手段61がフレームメモリ5(5(2))から第1の間引きを行われた結果を読み出すと、第2ダウンサンプリング手段64がさらに間引きし(第2の間引き/Sb4)、その結果をフレームメモリ読み書き手段61によってフレームメモリ5(5(3))に書き込ませる。
【0065】
また、フレームメモリ読み書き手段61がフレームメモリ5(5(2))から第1の間引きを行われた結果を読み出すと、動きベクトル検出手段64が動きベクトルを検出し(Sb6)、その結果をフレームメモリ5(5(4))にフレームメモリ読み書き手段61によって書き込ませる(Sb7)。このときのフレームメモリ5(5(4))を、特に、動きベクトルFIFO(First-In First-Out)記憶手段と呼ぶこととする。なお、フレームメモリ5は、FIFOである。また、フレームメモリ5(5(n))は、フレームメモリ5内の複数の領域や複数個のチップなどで構成されていることを意味することとする。次に、画像計測回路7について説明する。
【0066】
〈画像計測回路〉
図6に、図1の画像計測回路の構成のブロック図を示す。この画像計測回路7は、輝度差算出手段71と、輝度分類手段72と、面積算出手段73と、面積分類手段74と、危険度判定手段75と、フレームメモリ読み書き手段76と、フラッシュメモリ読み出し手段77とを備えている。このうち、フレームメモリ読み書き手段76は、フレームメモリ5の読み書きを行うものである。また、フラッシュメモリ読み出し手段77は、フラッシュメモリ4から読み出しを行うものである。以下、その他の各手段について説明する。
【0067】
輝度差算出手段71は、映像を構成するフレームの中の任意の対象フレームとその隣接フレームとの間で同一座標に位置する任意の画素同士の輝度差を算出するものである。
【0068】
輝度分類手段72は、フラッシュメモリ4に記憶されている輝度分類としての輝度判定閾値テーブル42に従って、輝度差算出手段71によって算出された輝度差の画素を分類するものである。
【0069】
ここで、輝度判定閾値テーブル42について説明する。この輝度判定閾値テーブル42は、入力される映像から検出した明滅の輝度差を16段階にレベル分けするためのものである。例えば、次のように表すことができる。
【0070】
unsigned char TH[16]= /*Threshold levels*/
{4,5,6,7,9,11,13,16,19,23,28,33,39,46,54,64}
【0071】
そして、輝度分類手段72は、このような輝度判定閾値テーブル42を参照して、明滅が検出されているときに、それぞれのレベルでの明滅をしている画素がいくつあったかをG[i]という配列にカウントしていく。
【0072】
〈面積算出手段〉
面積算出手段73は、輝度分類手段72によって分類された輝度分類ごとに画素数を計数して、その計数値を、輝度差に応じた明滅面積として算出するものである。したがって、16段階のレベルごとに明滅面積が算出される。
【0073】
面積分類手段74は、フラッシュメモリ4に記憶されている面積分類としての危険度判定テーブル43に従って、面積算出手段73によって算出された明滅面積を分類するものである。ここで、面積判定閾値テーブル43について説明する。
【0074】
この面積判定閾値テーブル43は、入力画像から検出した明滅面積を32段階にレベル分けするためのデータである。例えば、次のように表すことができる。
【0075】
unsigned short AR[32]=/*Area Size*/
{90,98,108,119,131,144,157,172,188,206,226,248,272,299,328,360,394,
432,474,520,571,626,686,753,825,905,993,1089,1194,1310,1436,1575}
【0076】
そして、面積分類手段74は、輝度値をレベル分けしたそれぞれの画素数のカウント結果G[i]と、このAR[]を用いて、危険度がどのレベルに当たるかを判定する。
【0077】
危険度判定手段75は、輝度分類手段72及び面積分類手段74の分類結果に従って、危険度判定テーブル44を参照して、危険度を多段階に判定し、その危険度を出力するものである。ここで、危険度判定テーブル44について説明し、危険度判定手段75の処理について説明する。
【0078】
〈危険度判定テーブル〉
この危険度判定テーブル44は、輝度差及び明滅面積の二つを尺度とした危険度の判定基準を示したものである。次に、一例を示す。ここでは、16×32の輝度のパターンの具体例として示す。行方向(縦方向)には、輝度差の分類が、上の行から下の行に向けて危険度が高くなるように示されている。また、列方向(横方向)には、明滅面積の分類が、左の列から右の列に向けて危険度が高くなるように示されている。なお、表記上、いずれの行も23列目まで示し、それ以降の列を省略して示している。
【0079】
〈危険度判定テーブル(輝度差16段階×明滅面積32段階)の具体例〉
〈定義式〉
unsigned char PR[16][32]= /* Probability */
〈輝度パターンデータ列〉
{0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 2, 2,…
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 2, 2, 3, 3, 4, 4, 4,…
0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 2, 3, 3, 4, 4, 5, 5, 6, 6, 6, 7, 7, 8,…
0, 0, 0, 0, 0, 1, 2, 3, 4, 4, 5, 5, 6, 6, 7, 7, 8, 8, 9, 9,10,10,10,…
0, 0, 0, 1, 2, 3, 4, 5, 5, 6, 7, 7, 8, 8, 9, 9,10,10,11,11,12,12,12,…
0, 0, 2, 3, 4, 5, 6, 6, 7, 8, 8, 9, 9,10,10,11,11,12,12,13,13,13,14,…
0, 2, 3, 5, 6, 7, 7, 8, 9, 9,10,11,11,12,12,13,13,14,14,14,15,15,16,…
1, 3, 5, 6, 7, 8, 9,10,10,11,11,12,13,13,14,14,15,15,15,16,16,17,17,…
2, 5, 6, 8, 9,10,10,11,12,12,13,14,14,15,15,16,16,16,17,17,18,18,19,…
3, 6, 8, 9,10,11,12,12,13,14,14,15,16,16,17,17,17,18,18,19,19,20,20,…
5, 7, 9,10,11,12,13,14,14,15,16,16,17,17,18,18,19,19,20,20,20,21,21,…
6, 8,10,11,12,13,14,15,15,16,17,17,18,18,19,19,20,20,21,21,21,22,22,…
7, 9,11,12,13,14,15,16,17,17,18,19,19,20,20,21,21,21,22,22,23,23,23,…
7,10,11,13,14,15,15,16,17,18,18,19,20,20,21,21,22,22,23,23,23,24,24,…
8,10,12,13,14,15,16,17,17,18,18,19,20,20,21,21,22,22,22,23,23,24,24,…
8,10,12,13,14,15,16,17,17,18,18,19,20,20,21,21,22,22,22,23,23,24,24,…}
【0080】
例えば、1行目の23列目には、「2」が示されている。これは、輝度差による危険度のレベルが一番低く(1段階目)、明滅面積による危険度のレベルが23段階目の場合に、輝度差及び明滅面積の二つを尺度とした危険度が「2」であることを意味している。また、16行目(1段目)の23列目には、「24」が示されている。この場合も同様に、輝度差及び明滅面積の二つを尺度とした危険度が「24」であることを意味している。そのため、同一の明滅面積であっても(23段階目)、輝度差に応じて(1段階目と16段階目)、異なる危険度(2と24)として判定することができる。また、同様に、危険度判定テーブル44の具体例を見て考えると、同一の輝度差であっても、明滅面積に応じて、異なる危険度として判定できることも分かる。
【0081】
〈結果判定・出力処理〉
危険度判定手段75は、輝度分類と、輝度分類に応じて算出された明滅面積とを面積算出手段73から受け取ると、前記した危険度判定テーブル44の値(8bit:1〜254)を参照して、対応する危険度の数値を抽出する。なお、明滅面積は、HDTV時では14bit、SDTV時では11bitの画素数となる。そして、危険度判定手段75は、抽出した数値同士を比較し、その中で最大値を選択して、その数値を危険度として出力する。これを、「点滅映像生体影響度」(8bit)と呼ぶこととする。なお、この出力は、2種類の入力変換値に対してそれぞれ毎フレームごとに行うものとする。
【0082】
そして、危険度判定手段75は、輝度分類手段72によってカウントされる配列(段階(行))としてのG[i]と、面積判定閾値テーブル43の明滅面積を表すレベル(段階(列))としてのAR[]とを用いて、何段階目に当たるかを引いて、そこに対応する値PR[]を算出する。この値PR[]が、輝度差及び明滅面積の二つを尺度とした危険度である。そして、このPR[]同士を比較して、その中でも最大値を点滅映像生体影響度として出力する。例えば、その出力結果RSLTは、次のようになる。
【0083】
for(i=15;i>=0;i--)
for(j=31;j>=0;j--)
if(G[i]>AR[i]){
if(PR[i][j]>RSLT)
RSLT=PR[i][j];
break;
}
【0084】
次に、画像計測回路7の構成及び処理について、さらに詳細に説明する。図7に、図6の画像計測回路の構成及び処理を説明するブロック図を示す。
【0085】
輝度差算出手段71は、動き補償手段711と、減算手段712とを備えている。動き補償手段711は、フレームメモリ5(3)から第N+1フレームを受け取って、動きベクトルFIFO記憶手段5(4)から補償値を受け取って、動き補償を行い、動き補償済みフレームを減算手段712に渡すものである。減算手段712は、フレームメモリ5(3)からの第Nフレームと動き補償手段711からの動き補償済みフレームとの減算を行い、比較回路(輝度分類手段)72に送るものである。
【0086】
そして、比較回路72は、輝度判定閾値テーブル42の分類数に応じた分類ごとに、減算手段711からの値と、輝度判定閾値テーブル42からの値とを比較して、いずれの分類に属するのかを判別するものである。ここでは、16段階にレベル分けされている。比較回路72及び輝度判定閾値テーブル42の(1)〜(16)は、そのレベルに相当する。
【0087】
面積算出手段73は、輝度反転検出回路731と、カウンタ732と、定数記憶手段733と、比較回路734と、切替手段735と、カウンタ736(1)〜736(16)とを、輝度の分類数分だけ備えている。したがって、ここでは、面積算出手段73は、各手段を16組備えている。
【0088】
輝度反転検出回路731は、第Nフレームと第N+1フレームとの間で輝度の反転が起きているか否かを判定するものである。カウンタ732は、輝度反転検出回路731が輝度の反転を検出した回数を計数するものである。定数記憶手段733には、定数「6」が規定されている。ここで、定数「6」としてあるのは、ITU−R勧告BT.1702によると、輝度変化の回数では6回を超えて生じている場合、光感受性発作を引き起こす可能性が高いとしているからである。
【0089】
比較回路734は、カウンタ732の値と定数「6」とを比較し、カウンタ732の値が定数「6」を超えたときに、切り替え手段735をオンにして、カウンタ736(1)〜736(16)をインクリメントさせるものである。このインクリメント後、切替手段735はオフにされる。また、カウンタ732がリセットされる。
【0090】
〈反転エッジ(時間軸)検出処理〉
ここで、面積算出手段73を用いて行う反転エッジ処理について説明する。
面積算出手段73は、第2ダウンサンプリング手段63による第2ダウンサンプリング処理後のフレームメモリ5(3)に記憶されている実画像領域(拡張領域を除いた部分)の水平・垂直とも0から数え始めた偶数番目の画素(SDTVでは48×36画素、HDTVでは144×80画素について、以下の処理を実行する。
【0091】
つまり、面積算出手段73は、輝度反転検出回路731、カウンタ732、定数記憶手段733及び比較回路734によって、30フレーム前までに反転エッジ(時間軸上)が7回以上あるか否かを調べる。そして、面積算出手段73は、切替手段735及びカウンタ736によって、反転エッジが7回以上あった画素数を計測する。
【0092】
なお、反転エッジの計測アルゴリズムで用いるエッジ判定の閾値(正の整数)は16種類とし、各閾値について個別に計測を行うこととする。したがって、この場合、前記したように、16×2(SDTV/HDTV)×2(入力変換値の種類)の4系統が並列となる。また、各閾値は、SDTV・HDTVとも同じ値とし、同一の輝度判定閾値テーブル42から与えられるものとする。
【0093】
[反転エッジの計測アルゴリズム]
次に、各画素の反転エッジの計測アルゴリズムについて、さらに詳細に説明する。
【0094】
Sd0:まず、輝度反転検出回路731は、各画素のエッジフラグ(−1,0,1)を「0」、各画素のカウンタ732を「0」に設定する。なお、エッジフラグは、輝度反転検出回路731内の図示しない記憶手段に設定されるものとする。エッジフラグ(−1)とエッジフラグ(1)とは、符号が異なることを示し、これが入れ替わることで反転を示すこととする。また、エッジフラグ(0)は、初期値とする。
【0095】
Sd1:また、輝度反転検出回路731は、減算手段712からの出力値が、「現フレームの各画素値」と「前フレームにおける動きベクトルで補償した画素値」が、両方とも「160」以上の場合、Sd7へ進む。
【0096】
Sd2:減算手段712が「対象フレームの各画素値」−「前(隣接)フレームにおける動きベクトルで補償した面積値」を計算し、「輝度差」(-255〜255)として、比較回路72に渡す。そして、輝度分類手段72としての比較回路が、輝度判定閾値テーブル42を参照して輝度分類を行って、輝度分類に応じた比較回路72が動作して、面積算出手段73に出力する。これにより、輝度反転検出手段731は、エッジフラグが「−1」であれば「輝度」の正負を反転する。なお、このとき、切替手段735はオフになっている。
【0097】
Sd3:一方、輝度反転検出回路731は、エッジフラグが「0」以外(「−」から「1」)の場合、Sd5へ進む。
【0098】
Sd4:また、輝度反転検出回路731は、「輝度差」が閾値以上の場合、エッジフラグを「−1」、カウンタ732を「1」に設定して、Sd7へ進む。
【0099】
Sd5:次に、輝度反転検出回路731は、「輝度差」の正負反転値が閾値以上の場合、エッジフラグを「1」、カウンタ732を「1」に設定して、Sd6へ進み、それ以外(輝度差が正と負との閾値の間)場合、何もせずに、Sd7へ進む。
【0100】
Sd6:輝度反転検出回路731は、輝度差が閾値以上の場合、エッジフラグの正負を反転し、カウンタ732を1増加する(インクリメントする)。
【0101】
Sd7:次に、輝度反転検出回路731は、前フレームが計測開始フレームの30フレーム前に達していなければ、現フレームと前フレームをそれぞれ1フレーム遡った上で、Sd1へ戻る。ただし、現フレームにおける画素の位置は、遡る前の「前フレームにおける画素」の位置とする。
Sd8:そして、輝度反転検出回路731は、前フレームが計測開始フレームの30フレーム前に達しているときに、比較回路734は、カウンタ732が定数記憶手段733の定数6よりも大きい「7」以上の場合には、切替手段735をオンにし、比較回路72からの出力をカウンタ736に入力し、カウンタ736をインクリメントさせる。一方、カウンタが「6」以下の場合には、比較回路72からの次の入力を待つことになる。
【0102】
一方、面積分類手段74は、対象の1フレーム分の画素について輝度の計数がカウンタ736によって行われると、その計数値を受け取って、面積判定閾値テーブル43を参照して、分類ごとに、面積がいずれのレベルに属するのかを判定し、危険度判定テーブル44の分類に応じたいずれの危険度に該当するのかを判定するものである。
【0103】
また、最大値選択回路(危険度判定手段)75は、前記したような危険度判定テーブル44内のいずれの数値に該当するのかを輝度と面積とにより決定し、決定した数値の中で最大値を選択し、その最大値を危険度として出力するものである。
【0104】
ここで、画面の明滅面積と明滅輝度差との関係について説明する。図8に、画面の明滅面積と明滅輝度差との関係について説明する図を示す。図8(A)に、画面の明滅面積(縦軸)と明滅輝度差(横軸)との関係で危険度を説明するグラフを示す。このグラフに示すように、明滅の輝度差であっても、画面の明滅面積が大きくなるに従って、危険度2、危険度4、危険度6のように、危険度が高くなることがあると考えられる(グラフ右側で顕著にみられる)。また、画面の明滅面積が同じであっても、明滅の輝度差が大きくなるに従って、危険度2、危険度4、危険度6のように、危険度が高くなることがあると考えられる。
【0105】
ここで、図8(B)に、面積及び輝度差の各基準値がそれぞれ1種類の場合に、画面の明滅面積(縦軸)と明滅輝度差(横軸)との関係で危険領域と安全領域とを説明するグラフを比較例として示す。つまり、この(B)場合は一つの輝度差の閾値と一つの面積の閾値によって判定するようになっているため、(A)の危険度0.6であるにもかかわらず、安全な領域に属していると判定されてしまう。そのため、この(A)の場合では、明滅の輝度差が小さく、明滅面積が大きい場合、或いは、明滅の輝度差が大きく、明滅面積が小さい場合に、危険度が高いときであっても、高い危険度であることを判定することができる。
【0106】
次に、映像分析装置1の視覚刺激危険度判定処理の全体の流れについて説明する。図9に、そのフローチャートを示す。
映像分析装置1は、A/D変換回路2によってデジタル信号に変換されたビデオ信号を、輝度変換回路3によって、輝度LUT41を参照して、輝度値に変換し(SA1)、その画面輝度値データをフレームごとにフレームメモリ5に書き込む。
【0107】
次に、映像分析装置1は、画像変換回路6の第1ダウンサンプリング手段62によって、フレームメモリ5に書き込まれている画面輝度値データを、(20/3)×(20/3)画素ごとのブロックの平均値を縮小画面の各画素値としてダウンサンプリング(間引き)する(SA2)。
【0108】
その後、映像分析装置1は、画像変換回路6の動きベクトル検出手段64によって、8×8画素を1ブロックとして、上下、左右±9画素の範囲でブロックマッチングを行い、動きベクトルを探索して検出する(SA3)。
【0109】
続いて、映像分析装置1は、画像変換回路6の第2ダウンサンプリング手段63によって、対象画素・右の画素・下の画素・右下の画素の4画素の平均値を新たに各画素の値としてダウンサンプリング(間引き)する(SA4)。
【0110】
次に、映像分析装置1は、画像計測回路7によって、輝度判定閾値テーブル42を参照し、各輝度判定閾値に対して、動きベクトルを考慮に入れた上で、各画素について、30フレーム前までの明るさの反転を計数する(SA5)。そして、映像分析装置1は、画像計測回路7によって、30フレーム前までに反転が7回以上であるか否かを判定する(SA6)。映像分析装置1は、7回以上でない場合(SA6,No)には、画像計測回路7によって、危険度なしを出力して(SA7)、処理をSA10に移す。
【0111】
一方、映像分析装置1は、7回以上である場合(SA6,Yes)には、画像計測回路7によって、判定した画素を点滅画素数としてカウンタ736のカウントを行う(SA8)。次に、映像分析装置1は、画像計測回路7によって、各輝度判定閾値に対して求めた点滅画素数について、危険度判定テーブル44を参照して抽出した値を危険度として出力する(SA9)。
【0112】
なお、映像分析装置1は、危険度を出力する(SA7,SA9)たびに、制御回路9に次のフレーム有りか否か(SA10)を問い合わせることとする。制御回路9は、各映像分析装置1に入力するフレーム数を計数し、すべてのフレームについて分析が終了したときに映像分析装置1にその旨を通知することとする。なお、映像分析装置1に、このSA10の処理を実行する手段を備えるようにしてもよい。
【0113】
そして、映像分析装置1は、制御回路9から「次のフレーム有」の通知を受けると(SA10,Yes)、処理をSA1に戻し、「次のフレーム有」でない通知を受けると(SA10,No)、処理を終了する。
【0114】
なお、前記実施の形態では、HDTVの場合を例に説明したが、SDTVであっても同様に処理することができる。図10に、図3に相当する輝度変換回路の構成のブロック図を示す。図10に示すように、SDTVの場合は、HDTVの場合(図3)と比べて、同一の構成になっている。異なるところは、輝度LUT41が異なるだけである。また、画像変換回路6、画像計測回路7についても、HDTVの場合と同一の構成であるため、説明を省略する。つまり、SDTVとHDTVとは、輝度LUT41、輝度判定閾値テーブル42、面積判定閾値テーブル43及び危険度判定テーブル44の数値が異なるだけである。
【0115】
最後に、HDTVとSDTVとの場合を並行処理するための構成について説明する。図11に、視覚刺激危険度判定処理を並行処理する構成の映像分析システムのブロック図を示す。この映像分析システム100は、図示しない筐体内に、映像分析装置1A,1Bと、制御回路8Aとを備え、その筐体から覗くように、HDTV映像信号入力端子9Aと、SDTV映像信号入力端子9Bとを備えている。
【0116】
映像分析装置1Aは、HDTVのビデオ信号について処理するものである。また、映像分析装置1Bは、SDTVのビデオ信号について処理するものである。また、制御回路(制御手段)8Aは、映像分析装置1A,1Bの動作を制御するものである。HDTV映像信号入力端子9Aは、HDTV方式のビデオ信号(映像信号)を映像分析装置1Aに入力する。SDTV映像信号入力端子9は、SDTV方式のビデオ信号を映像分析装置1Bに入力する。
【0117】
前記構成の映像分析システム100は、制御回路9Aの制御に従って、映像分析装置1BによるSDTV方式のビデオ信号の分析と、映像分析装置1AによるHDTV方式のビデオ信号の分析とを並列に処理する。また、各映像分析装置1A,1Bのそれぞれが独自に各ビデオ信号の分析を処理するため、両ビデオ信号のガンマ特性の分析が同時に行える。そのため、映像分析システム100によれば、視覚刺激危険度の分析を効率的に行うことができる。
【0118】
前記実施の形態では、各判断基準がテーブルとして与えられていることとして説明したが、次のような計算式で与えられる場合やプログラムによって与えられても構わない。ここで、発作を起こす可能性ρは、明滅の輝度差x、面積比yとすると、例えば、次の数式で評価できる。なお、次の数式に従って、前記実施の形態で説明した危険度判定テーブル44を算出することもできる。
【0119】
ρ(x,y)
=(−3×1016・x3+3×10-4・x2+7×10-4・x−3×10-4)
×(−0.7241y2+1.8124y+0.0878)
【0120】
なお、前記各回路(手段)は、電子回路、特に、ICチップとして構成するばかりでなく、視覚刺激危険度判定プログラムと、この視覚刺激危険度判定プログラムを実行するコンピュータとから構成するようにしてもよい。したがって、映像分析装置1は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。なお、視覚刺激危険度判定プログラムは、通信回線を介して配布することも可能であるし、各種記録媒体に書き込んで配布することも可能である。
【0121】
したがって、前記実施の形態の映像分析装置によれば、比較的安全な映像や非常に危険な映像による視覚刺激の危険度を判定することができる。そのため、映像分析装置は、点滅光、赤色光、コントラストの強い図形等の視覚刺激についての特徴のあるデータを輝度判定閾値テーブル42、危険度判定テーブル43、危険度判定テーブル44に予め登録しておくことで、それらに伴なう危険度を容易にかつ正確に判定することもできる。
【図面の簡単な説明】
【0122】
【図1】本発明に係る実施の形態の映像分析装置の構成を説明するブロック図である。
【図2】図1の輝度変更回路のさらに詳細な構成を説明するブロック図である。
【図3】図2に示した輝度変更回路の処理の流れのフローチャートである。
【図4】図1の画像変換回路のブロック図である。
【図5】図4の画像変換回路の処理の流れのフローチャートである。
【図6】図1の画像計測回路の構成のブロック図である。
【図7】図6の画像計測回路の構成及び処理を説明するブロック図である。
【図8】画面の明滅面積と明滅輝度差との関係について説明する図である。
【図9】映像分析装置の視覚刺激危険度判定処理の全体の流れについて説明するフローチャートである。
【図10】図3に相当する輝度変換回路(SDTV)の構成のブロック図である。
【図11】視覚刺激危険度判定処理を並行処理する構成の映像分析システムのブロック図である。
【符号の説明】
【0123】
1 映像分析装置
3 輝度変換回路
4 フラッシュメモリ
5 フレームメモリ
6 画像変換回路
7 画像計測回路
8 判定基準変更手段
9 制御回路
41 輝度LUT
42 輝度判定閾値テーブル(輝度分類記憶手段)
43 面積判定閾値テーブル(面積分類記憶手段)
44 危険度判定テーブル(危険度判定基準記憶手段)
71 輝度差算出手段
72 輝度分類手段
73 面積算出手段
74 面積分類手段
75 危険度判定手段
【技術分野】
【0001】
本発明は、ディスプレイに表示させる映像を分析して、映像による視覚刺激により視聴者に光感受性発作を引き起こさせる可能性を示す危険度を判定する映像分析装置、及び、視覚刺激危険度判定プログラムに関するものである。
【背景技術】
【0002】
従来、映像の視覚刺激によって視聴者に光感受性発作を引き起こさせる可能性を判定するための映像分析装置としては、いわゆるハーディングマシン(The Harding FPA Flash and Pattern Analyzer(非特許文献1等参照))やいわゆる参考計測器(非特許文献2等参照)と呼ばれるものが知られている。ハーディングマシンは、ITC(Information Technology & Computing Services)の2001年版ガイドライン(非特許文献3等参照)を基準にして開発されている。一方、参考計測器は、「アニメーション等の映像手法に関するガイドライン」(非特許文献4等参照)の基準にほぼ沿ってチェックすることが可能になるように開発されている。
【0003】
【非特許文献1】“Harding FPA Home flash & pattern analyser” Cambridge Research Systems Ltd.のホームページ [online]、[平成18年1月6日検索]、インターネット“http://www.hardingfpa.co.uk”
【非特許文献2】江本、大塚、山賀、上原、井口、伊藤、藤井:“アニメ番組等ガイドライン対応「参考計測器」の開発”、映像情報メディア学会技術報告,22,No.40,pp.1-6(1998)
【非特許文献3】Independent Television Commission,U.K.“ITC Guidance Note for Licensees on Flashing Images and Regular Patterns in Television",1994,1998,2001-2002.
【非特許文献4】日本放送協会、民間放送連盟「アニメーション等の映像手法に関するガイドライン」、1998;http://www.nhk.or.jp/strl/publica/dayori/dayori98-10/kaisetsu1-2-j.html
【発明の開示】
【発明が解決しようとする課題】
【0004】
ところで、2005年2月にITU−R(International Telecommunication Union-Radio communication Sector,国際電気通信連合無線通信部門)によって、ITU−R勧告BT.1702(ITU-R Recommendation BT.1702,“Guidance for the reduction of photosensitive epileptic seizures caused by television",2005)が定められている。この勧告では、本文には明記されていないものの、補遺(Appendix)としてITCのガイドラインと同様、点滅の輝度差20cd/m2以上でかつ点滅領域の面積が両面25%を超える点滅が1秒間に3回(輝度変化の回数では6回以上)生じている場合、光感受性発作を引き起こす可能性が高いとしている。
【0005】
そのため、いわゆるハーディングマシンや参考計測器等の従来装置では、ITCのガイドラインやITU−R勧告BT.1702に従った映像、つまり、光感受性発作を引き起こす可能性が高い映像であるか否かの判定処理を次のように行っている。例えば、この判定処理の方法としては、すべての映像のフレームに渡って、隣接するフレーム同士の同じ座標(場所)の画素同士の輝度差が20cd/m2以上であるか否かで行う方法がある。また、他の判定処理の方法としては、その輝度差が20cd/m2以上の画素の存在領域の面積が画面の25%を超えるか否かで行う方法もある。なお、いわゆるハーディングマシンでは、動き補償をしつつ、輝度フリッカ等の点滅の検出を行うようになっている。
【0006】
つまり、従来装置は、前記のように、基準を「超えたか超えないか」だけによる判定処理を行っている。例えば、従来装置は、輝度差20cd/m2、面積比25%を僅かに超えただけの比較的危険の少ない映像であっても、危険なものとして検出して警報を出している。ところが、基準を僅かに超えただけで比較的危険度の低い映像は、高い頻度で発生する傾向がある。つまり、従来装置では、比較的危険度の低い映像を危険なものとして頻繁に検出して、警報を頻繁に出力してしまう。そのため、非常に危険な映像であっても、危険でないという認識を与えてしまうことにもなりかねない。また、従来装置は、輝度差は20cd/m2に僅かに満たないが画面全体が点滅するような、非常に危険な映像を見逃してしまうという問題もある。
【0007】
そこで、本発明は、以上のような課題を解決するためになされたものであり、比較的安全な映像や非常に危険な映像による視覚刺激の危険度を判定するための映像分析装置、視覚刺激危険度判定プログラム及び映像分析システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載の映像分析装置は、ディスプレイに表示させる映像を分析して、映像による視覚刺激によって視聴者に光感受性発作を引き起こさせる可能性を示す危険度を判定するために、輝度分類記憶手段と、面積分類記憶手段と、危険度判定基準記憶手段と、輝度差算出手段と、輝度分類手段と、面積算出手段と、面積分類手段と、危険度判定手段とを備える構成とした。
【0009】
かかる構成において、映像分析装置は、輝度分類記憶手段によって、画素同士の輝度差に応じて複数の組に画素を分類するための判定基準としての輝度分類を記憶し、また、面積分類記憶手段によって、明滅面積の大きさに応じて複数の組に画素を分類するための判定基準としての面積分類を記憶し、さらに、危険度判定基準記憶手段によって、輝度分類及び明滅面積に応じて光感受性発作を引き起こす可能性を示す危険度を判定するための判定基準を記憶している。
【0010】
そして、この映像分析装置は、輝度差算出手段によって、映像を構成するフレームの中の任意の対象フレームとその隣接フレームとの間で同一座標に位置する任意の画素同士の輝度差を算出する。続いて、映像分析装置は、輝度分類手段によって、輝度分類記憶手段に記憶されている輝度分類に従って、輝度差算出手段によって算出された輝度差の画素を分類する。なお、隣接フレームとは、対象フレーム自体に時間的に隣接しているフレームであることが望ましいが、ITU−R勧告BT.1702に従う場合、1秒間に3回(輝度変化の回数では6回以上)程度生じる点滅を検出可能なフレームであれば、複数おきのフレームを含む概念としても構わない。
【0011】
次に、この映像分析装置は、面積算出手段によって、輝度分類手段によって分類された輝度分類ごとに画素数を計数して、その計数値を、輝度差に応じた明滅面積として算出し、続いて、面積分類手段によって、面積分類記憶手段に記憶されている面積分類に従って、面積算出手段によって算出された明滅面積を分類する。
【0012】
そして、この映像分析装置は、危険度判定手段によって、輝度分類手段及び面積分類手段の分類結果に従って危険度判定基準記憶手段を参照して、判定基準によって危険度を多段階に判定し、その危険度を出力する。つまり、前記したように、輝度分類と面積分類とはそれぞれが複数の組に分類されているため、危険度判定手段は、これらの分類を尺度とした判定基準によって危険度を多段階に判定する。
【0013】
また、請求項2に記載の映像分析装置は、請求項1に記載の映像分析装置の危険度判定手段が、多段階に判定した危険度の中で、最も高い危険度を優先して出力する構成にした。
【0014】
また、請求項3に記載の映像分析装置は、請求項1又は請求項2に記載の構成に、判定基準変更手段を備える構成とした。
【0015】
かかる構成において、映像分析装置は、判定基準変更手段によって、輝度分類記憶手段に記憶されている輝度分類及び面積分類記憶手段に記憶されている面積分類の少なくとも一方の判定基準を変更する。
【0016】
また、請求項4に記載の映像分析装置は、請求項1から請求項3までのいずれか1項に記載の構成に、動きベクトル検出手段と、動き補償手段とを備える構成とした。
【0017】
かかる構成において、映像分析装置は、動きベクトル検出手段によって、映像を構成する任意の対象フレームと、この対象フレーム以降に表示する隣接フレームとの間で、対象フレーム内の着目する画素が、隣接フレーム内のいずれの方向へ移動したのかを示す動きベクトルを検出し、動き補償手段によって、動きベクトル検出手段によって検出された動きベクトルに従って、前記隣接フレームの動き補償を行う。そのため、映像分析装置は、対象フレームと、動き補償済みの隣接フレームとの差分を求めることで、輝度差を算出することができる。
【0018】
また、請求項5に記載の映像分析装置は、請求項1から請求項4までのいずれか1項に記載の構成に、ダウンサンプリング手段を備える構成とした。
【0019】
かかる構成において、映像分析装置は、ダウンサンプリング手段によって、画素を間引きしてサンプリングする。例えば、ダウンサンプリング手段は、対象フレームの画素ごとのブロックの平均値を算出することによって、間引きする。
【0020】
また、請求項6に記載の映像分析装置は、請求項1に記載の構成に、輝度変換手段を備える構成とした。
【0021】
かかる構成において、映像分析装置は、輝度変換手段によって、ガンマ特性に基づいて画面輝度を算出する。輝度変換手段は、ガンマ特性を設定した輝度ルックアップテーブルを参照して、フレームごとの画面輝度を算出する。
【0022】
また、請求項7に記載の映像分析装置は、請求項1に記載の構成に、入力手段を備える構成とした。
【0023】
かかる構成において、映像分析装置は、入力手段によって、環境に存在する明滅光を撮影した環境信号を入力して、請求項1に記載の各手段によって、その環境信号を分析して、その明滅光の危険度を多段階に判定して出力する。なお、「環境に存在する明滅光」とは、照明器具等の点滅により生じる明滅光を意味することとする。例えば、店舗内照明や舞台照明の点滅効果に伴なう視覚刺激についても、映像分析装置は、視覚刺激危険度を判定することができる。
【0024】
また、請求項8に記載の視覚刺激危険度判定プログラムは、ディスプレイに表示させる映像を分析して、映像による視覚刺激によって視聴者に光感受性発作を引き起こさせる可能性を示す危険度を判定するために、コンピュータを、輝度差算出手段、輝度分類手段、面積算出手段、面積分類手段、危険度判定手段として機能させる構成とした。
【0025】
かかる構成において、視覚刺激危険度判定プログラムは、輝度差算出手段によって、映像を構成するフレームの中の任意の対象フレームとその隣接フレームとの間で同一座標に位置する任意の画素同士の輝度差を算出し、続いて、輝度分類手段によって、画素同士の輝度差に応じて複数の組に画素を分類するための判定基準としての輝度分類を記憶する輝度分類記憶手段から輝度分類を読み出して、その輝度分類に従って、輝度差算出手段によって算出された輝度差の画素を分類する。
【0026】
次に、視覚刺激危険度判定プログラムは、面積算出手段によって、輝度分類手段によって分類された輝度分類ごとに画素数を計数して、その計数値を、輝度差に応じた明滅面積として算出し、続いて、面積分類手段によって、明滅面積の大きさに応じて複数の組に画素を分類するための判定基準としての面積分類を記憶する面積分類記憶手段から面積分類を読み出して、その面積分類に従って、面積算出手段によって算出された明滅面積を分類する。
【0027】
そして、視覚刺激危険度判定プログラムは、危険度判定手段によって、輝度分類手段及び面積分類手段の分類結果に従って、輝度分類及び明滅面積に応じて光感受性発作を引き起こす可能性を示す危険度を判定するための判定基準を記憶する危険度判定基準記憶手段を参照して、判定基準によって危険度を多段階に判定し、その危険度を出力する。
【0028】
また、請求項9に記載の映像分析システムは、請求項1から請求項7までのいずれか1項に記載の映像分析装置によって、SDTV(Standard Definition TeleVision)方式のビデオ信号及びHDTV(High Definition TeleVision)方式のビデオ信号を並列に処理する映像分析システムであって、第1の映像分析装置と、第2の映像分析装置と、制御手段とを備える構成とした。
【0029】
かかる構成において、映像分析システムは、第1の映像分析装置によって、SDTV方式のビデオ信号を分析し、第2の映像分析装置によって、HDTV方式のビデオ信号を分析する。そして、映像分析システムは、制御手段によって、第1の映像分析装置によるSDTV方式のビデオ信号の分析と、第2の映像分析装置によるHDTV方式のビデオ信号の分析とを並列に処理させるようになっている。
【発明の効果】
【0030】
本発明は、以下に示す優れた効果を奏するものである。
請求項1又は請求項8に記載の発明によれば、ITCの2001年版ガイドライン、及び、「アニメーション等の映像手法に関するガイドライン」等の基準に応じて、輝度分類及び面積分類を輝度分類記憶手段及び面積分類記憶手段に多段階に設定しておくことによって、輝度分類と面積分類とによって、多段階に危険度を判定することができるようになる。したがって、本発明によれば、比較的安全な映像や非常に危険な映像による視覚刺激の危険度を判定することができる。
【0031】
そのため、本発明によれば、輝度差20cd/m2、面積比25%を僅かに超えただけの比較的危険の少ない(また、比較的出現する頻度の大きい)映像に過度に注目することを抑える一方、今までは見逃されがちな非常に危険な映像に対する注意を喚起することができる。
【0032】
請求項2に記載の発明によれば、最も高い危険度が出力されるため、ユーザに危険度の判断を誤らせることがなくなる。
【0033】
請求項3に記載の発明によれば、明滅映像と視聴者の健康に関する新たな医学的・技術的な知見が得られた場合にも、輝度分類及び面積分類を変更することにより、柔軟に対応することができる。
【0034】
請求項4に記載の発明によれば、動画の中の明滅の画素の対応関係を正確に把握することができる。
【0035】
請求項5に記載の発明によれば、処理するデータ量を減らすことができるため、映像分析の高速化を図ることができる。
【0036】
請求項6に記載の発明によれば、ディスプレイへの入力画素値と出力輝度との対応関係が異なる映像システムを用いる場合にも対応することができる。
【0037】
請求項7に記載の発明によれば、環境に存在する明滅光による視覚刺激の危険度を判定することができる。これにより、その明滅光によって光感受性発作を起こす可能性を評価することができるようになる。
【0038】
請求項9に記載の発明によれば、HDTV方式のビデオ信号とSDTV方式のビデオ信号とが並列して処理でき、また、各映像分析装置によって、両ビデオ信号のガンマ特性の分析を同時に行うこともできる。
【発明を実施するための最良の形態】
【0039】
以下、本発明を実施するための最良の形態について図面を参照して説明する。なお、本発明は、映像分析装置、視覚刺激危険度判定プログラム及び映像分析システムに関するものであるが、ここでは、映像分析装置の構成及び動作を主として説明する。
【0040】
[映像分析装置の概要]
まず、映像分析装置1の概要について説明する。図1は、本発明に係る実施の形態の映像分析装置の構成を説明するブロック図である。
この映像分析装置1は、ディスプレイに表示させる映像を分析して、映像による視覚刺激によって視聴者に光感受性発作を引き起こさせる可能性を示す危険度を判定するものである。
【0041】
映像分析装置1は、A/D変換回路2と、輝度変換回路3と、フラッシュメモリ4と、フレームメモリ5と、画像変換回路6と、画像計測回路7と、判定基準変更手段8とを備えている。なお、フラッシュメモリ4には、特に、輝度LUT(Look Up Table)41と、輝度判定閾値テーブル42と、面積判定閾値テーブル43と、危険度判定テーブル44とが、記憶されている。また、映像分析装置1は、制御回路9からの指令信号に基づいて、視覚刺激危険度判定処理を実行する。
【0042】
〈A/D変換回路〉
A/D変換回路2は、映像(ビデオ信号)をアナログ信号として入力し、そのアナログ信号をデジタル信号に変換し、そのデジタル信号をビデオ信号として輝度変換回路3に出力するものである。
【0043】
〈輝度変換回路〉
輝度変換回路3は、A/D変換回路2からの映像信号を入力し、輝度LUT41を参照しつつ、ビデオ信号の電圧をフレームごとの画面の輝度に変換し、フレームメモリ5に出力するものである。この輝度変換回路3の処理を、画素値変換処理と呼ぶこととする。
【0044】
図2に、図1の輝度変更回路のさらに詳細な構成を説明するブロック図を示す。この輝度変換回路3は、画素値変換処理を行うために、フレームメモリ読み書き手段31と、フラッシュメモリ読み書き手段32と、データ・アドレス変換手段33と、輝度値算出手段34とを備えている。
【0045】
フレームメモリ読み書き手段31は、フレームメモリ5に書き込まれているビデオ信号を読み出し、そのビデオ信号をデータ・アドレス変換手段33及び輝度値算出手段34に渡すものである。また、このフレームメモリ読み書き手段31は、フレームメモリ5に画像輝度値データの書き込みを行うものである。
【0046】
フラッシュメモリ読み書き手段32は、フラッシュメモリ4からの輝度LUT41のデータを読み出し、そのデータを輝度値算出手段34に渡すものである。また、このフラッシュメモリ読み書き手段32は、フラッシュメモリ4に各種データの書き込みも行う。
【0047】
データ・アドレス変換手段33は、フレームメモリ読み書き手段31によってフレームメモリ5から読み出されたビデオ信号を電圧値データとして読み出し、図示しないディスプレイ上の座標位置を指定するアドレスに変換するものである。
【0048】
輝度値算出手段34は、輝度LUT41を参照して、データ・アドレス変換手段33で変換されたアドレスの画素ごとに輝度値を算出して、その輝度値をフラッシュメモリ読み書き手段32に渡すものである。
【0049】
続いて、前記構成の輝度変換回路3の処理の流れを説明する。図3に、その流れを説明するブロック図を示す。なお、適宜、図1及び図2を参照することとする。この輝度変換回路3では、A/D変換回路2からビデオ信号を受け取ると、そのビデオ信号を、フレームメモリ読み書き手段31によって、一旦、フレームメモリ5に書き込む(キャプチャ/Sa1)。そして、フレームメモリ読み書き手段31は、フレームメモリ5にキャプチャしてあるビデオ信号を電圧値データとして読み出し、データ・アドレス変換手段33に渡す。データ・アドレス変換手段33は、電圧値データを、図示しないディスプレイ上の座標位置を指定するアドレスに変換する(Sa2)。
【0050】
輝度値算出手段34は、輝度LUT41を参照して、データ・アドレス変換手段33で変換されたアドレスの画素ごとに輝度値を算出する。このとき、輝度値算出手段34は、輝度及び色差信号の全レベルの組み合わせ(8bit×3)に対し、輝度LUT41を参照して(Sa3又はSa5)、2種類の非負整数値を生成する。この非負整数値が、ビデオ信号の電圧を画面の輝度に変換したものに相当する。また、非負整数値は、ここでは、8bitとする。また、輝度LUT41には、ガンマ特性における非線形な関係を線形となるようにガンマ補償するために、入出力に対する補償値が定義されている。例えば、この輝度LUT41には、16×32の輝度及び色差信号の全レベルの組み合わせパターンの補償値がフレームの座標値に合わせて定義されている。
【0051】
なお、輝度LUT41の値は、SDTVとHDTVとでは異なる値をとるため、これら全てで4系統の処理となる。そこで、この実施の形態では、HDTVの場合を説明することとする。また、2種類の非負整数値の違い、つまり、輝度LUT41の違いによって、HDTV−A系(Sa3,Sa4)とHDTV−B系(Sa5,Sa6)とのように表すこととする。
【0052】
そして、輝度値算出手段34は、算出した全ての画素輝度値データを、フレームメモリ読み書き手段31によって、フレームメモリ5に書き込ませる(Sa4又はSa6)。なお、HDTV−A系(Sa3,Sa4)とHDTV−B系(Sa5,Sa6)との両方の場合について並行して処理することが望ましい。つまり、映像分析装置1は、表示装置(ディスプレイ)への入力画素値と出力輝度との対応関係が異なる映像システムを用いる場合の視覚刺激危険度判定処理を並行して処理することができる。次に、図1に戻って説明を続ける。
【0053】
〈フレームメモリ〉
フレームメモリ5は、輝度変換回路3からのビデオ信号を入力して記憶し、画像変換回路6及び画像計測回路7にビデオ信号を出力するものである。このフレームメモリ5は、図示しないディスプレイの1画面分に相当するプレーン(領域)に、各フレームを順に記憶し、フレーム単位でビデオ信号を、画像変換回路6及び画像計測回路7に出力するようになっている。
【0054】
〈画像変換回路〉
図4に、図1の画像変換回路のブロック図を示す。この画像変換回路6は、フレームメモリ読み書き手段61と、第1ダウンサンプリング手段62(第1ダウンサンプリング処理)と、第2ダウンサンプリング処理63(第2ダウンサンプリング処理)と、動きベクトル検出手段64(動きベクトル探索処理)とを備えている。フレームメモリ読み書き手段61は、フレームメモリ5に対して読み書きを行うものである。
【0055】
〈第1ダウンサンプリング手段〉
第1ダウンサンプリング手段62は、第1ダウンサンプリング処理を経た1系統の画面輝度データについて、フレームメモリ読み書き手段61によって読み出させ、その画面輝度データについて、対象フレームの画素ごとのブロックの平均値を算出するものである。例えば、1080×1920(HDTVの場合)画素分の画面輝度データの場合、(3/20)×(3/20)画素ごとのブロックの平均値(四捨五入した8bit)を算出する。そして、第1ダウンサンプリング手段62は、算出した平均値をHDTVでは160×268画素の値とする。なお、SDTVでは72×96画素の値となる。
【0056】
また、HDTVの垂直画素については、上下各1ライン分を破棄し、以降の処理は288×160画素で行えばよい。また、フレーム画素については、上下各1ライン分を破棄し、以降の処理を288×160画素で行うようにすればよい。したがって、画面輝度データは、第1ダウンサンプリング手段62によって、間引きされる。
【0057】
〈動きベクトル検出手段〉
動きベクトル検出手段64は、第1ダウンサンプリング処理を経た1系統の信号について、8×8画素を1ブロックとして、前フレーム内の上下±9画素、左右±9画素の全画素の範囲でブロックマッチングを行い、ブロック単位で動きベクトルを探索するものである。なお、もう1系統の信号ではこの探索は行わず、以降の処理では同じ動きベクトルを用いるのが望ましい。なお、動きベクトル検出手段64は、1フレーム前との間で繰り返し、30フレーム前まで遡って行うこととする。続いて、さらに詳細にこの処理について説明する。なお、動きベクトルの符号の向きは、前フレーム上での位置が上側及び左側を負とする。
【0058】
動きベクトル検出手段64は、まず、各画素値を64倍(6bitシフト)した値を算出し、その算出値から各ブロックの総和を差し引いた値同士の差分の絶対値を求める。そして、動きベクトル検出手段64は、その絶対値の総和が最小となる相対位置を探索することで、ブロックマッチングを行う。
【0059】
そして、動きベクトル検出手段64は、その総和が同値の場合には、相対位置(距離)が0に近いもの、相対位置の絶対値が等しい場合には、より上側の位置、より左側の位置の順で選択する。ここで、映像外の探索をカバーするために、各フレームの上下左右それぞれ8画素ずつ、固定値「100」で埋めた拡張領域を設けることが望ましい。この場合、各フレームの画素数はHDTVでは304×176画素となる。なお、SDTVで112×88画素となる。このとき、拡張領域も含め、8×8画素ブロックについて求めるフレーム間動きベクトルは、HDTVで38×32個となる。なお、SDTVで14×11個となる。
【0060】
なお、拡張領域よりも外側の探索は行わないことが望ましい。そのため、この場合、例えば、拡張領域も含めた最も左上のブロックの動きベクトルの取り得る値の範囲は、水平・垂直とも0〜9となり、拡張する前の実画像領域の最も左上(拡張後の左上から右・下に各8画素内側)のブロックでは、水平・垂直とも8〜9となる。
【0061】
〈第2ダウンサンプリング手段〉
第2ダウンサンプリング手段63は、動きベクトル検出手段64による動きベクトル探索を終えた拡張領域を含む画像における実画像領域(拡張領域を除いた部分)の各画素について、実画像領域の画素・右の画素・下の画素・右下の画素の4画素の平均値(四捨五入した8bit)を求める。そして、第2ダウンサンプリング手段63は、求めた平均値を新たに各画素の値とする。したがって、実画像領域(拡張領域を除いた部分)の各画素は、第2ダウンサンプリング手段63によって、その新たな各画素の値に間引きされる。
【0062】
ただし、水平・垂直とも1画素おきに処理を行えば、動きベクトルによる補償後の位置は1画素刻みとなるため、平均値算出後の画素間引きは行わないことが望ましい。この平均値算出後の画像は、30フレーム前までバッファリングしておくことが望ましい。
【0063】
次に、画像変換回路6の処理をさらに詳細に説明する。図5に、その処理の流れのブロック図を示す。フレームメモリ読み書き手段61がフレームメモリ5(5(1))から画面輝度値データを読み出すと(Sb1)、第1ダウンサンプリング手段62は、画面輝度値データを間引きし(第1の間引き/Sb2)、その結果をフレームメモリ読み書き手段61によってフレームメモリ5(5(2))に書き込ませる(Sb3)。
【0064】
そして、フレームメモリ読み書き手段61がフレームメモリ5(5(2))から第1の間引きを行われた結果を読み出すと、第2ダウンサンプリング手段64がさらに間引きし(第2の間引き/Sb4)、その結果をフレームメモリ読み書き手段61によってフレームメモリ5(5(3))に書き込ませる。
【0065】
また、フレームメモリ読み書き手段61がフレームメモリ5(5(2))から第1の間引きを行われた結果を読み出すと、動きベクトル検出手段64が動きベクトルを検出し(Sb6)、その結果をフレームメモリ5(5(4))にフレームメモリ読み書き手段61によって書き込ませる(Sb7)。このときのフレームメモリ5(5(4))を、特に、動きベクトルFIFO(First-In First-Out)記憶手段と呼ぶこととする。なお、フレームメモリ5は、FIFOである。また、フレームメモリ5(5(n))は、フレームメモリ5内の複数の領域や複数個のチップなどで構成されていることを意味することとする。次に、画像計測回路7について説明する。
【0066】
〈画像計測回路〉
図6に、図1の画像計測回路の構成のブロック図を示す。この画像計測回路7は、輝度差算出手段71と、輝度分類手段72と、面積算出手段73と、面積分類手段74と、危険度判定手段75と、フレームメモリ読み書き手段76と、フラッシュメモリ読み出し手段77とを備えている。このうち、フレームメモリ読み書き手段76は、フレームメモリ5の読み書きを行うものである。また、フラッシュメモリ読み出し手段77は、フラッシュメモリ4から読み出しを行うものである。以下、その他の各手段について説明する。
【0067】
輝度差算出手段71は、映像を構成するフレームの中の任意の対象フレームとその隣接フレームとの間で同一座標に位置する任意の画素同士の輝度差を算出するものである。
【0068】
輝度分類手段72は、フラッシュメモリ4に記憶されている輝度分類としての輝度判定閾値テーブル42に従って、輝度差算出手段71によって算出された輝度差の画素を分類するものである。
【0069】
ここで、輝度判定閾値テーブル42について説明する。この輝度判定閾値テーブル42は、入力される映像から検出した明滅の輝度差を16段階にレベル分けするためのものである。例えば、次のように表すことができる。
【0070】
unsigned char TH[16]= /*Threshold levels*/
{4,5,6,7,9,11,13,16,19,23,28,33,39,46,54,64}
【0071】
そして、輝度分類手段72は、このような輝度判定閾値テーブル42を参照して、明滅が検出されているときに、それぞれのレベルでの明滅をしている画素がいくつあったかをG[i]という配列にカウントしていく。
【0072】
〈面積算出手段〉
面積算出手段73は、輝度分類手段72によって分類された輝度分類ごとに画素数を計数して、その計数値を、輝度差に応じた明滅面積として算出するものである。したがって、16段階のレベルごとに明滅面積が算出される。
【0073】
面積分類手段74は、フラッシュメモリ4に記憶されている面積分類としての危険度判定テーブル43に従って、面積算出手段73によって算出された明滅面積を分類するものである。ここで、面積判定閾値テーブル43について説明する。
【0074】
この面積判定閾値テーブル43は、入力画像から検出した明滅面積を32段階にレベル分けするためのデータである。例えば、次のように表すことができる。
【0075】
unsigned short AR[32]=/*Area Size*/
{90,98,108,119,131,144,157,172,188,206,226,248,272,299,328,360,394,
432,474,520,571,626,686,753,825,905,993,1089,1194,1310,1436,1575}
【0076】
そして、面積分類手段74は、輝度値をレベル分けしたそれぞれの画素数のカウント結果G[i]と、このAR[]を用いて、危険度がどのレベルに当たるかを判定する。
【0077】
危険度判定手段75は、輝度分類手段72及び面積分類手段74の分類結果に従って、危険度判定テーブル44を参照して、危険度を多段階に判定し、その危険度を出力するものである。ここで、危険度判定テーブル44について説明し、危険度判定手段75の処理について説明する。
【0078】
〈危険度判定テーブル〉
この危険度判定テーブル44は、輝度差及び明滅面積の二つを尺度とした危険度の判定基準を示したものである。次に、一例を示す。ここでは、16×32の輝度のパターンの具体例として示す。行方向(縦方向)には、輝度差の分類が、上の行から下の行に向けて危険度が高くなるように示されている。また、列方向(横方向)には、明滅面積の分類が、左の列から右の列に向けて危険度が高くなるように示されている。なお、表記上、いずれの行も23列目まで示し、それ以降の列を省略して示している。
【0079】
〈危険度判定テーブル(輝度差16段階×明滅面積32段階)の具体例〉
〈定義式〉
unsigned char PR[16][32]= /* Probability */
〈輝度パターンデータ列〉
{0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 2, 2,…
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 2, 2, 3, 3, 4, 4, 4,…
0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 2, 3, 3, 4, 4, 5, 5, 6, 6, 6, 7, 7, 8,…
0, 0, 0, 0, 0, 1, 2, 3, 4, 4, 5, 5, 6, 6, 7, 7, 8, 8, 9, 9,10,10,10,…
0, 0, 0, 1, 2, 3, 4, 5, 5, 6, 7, 7, 8, 8, 9, 9,10,10,11,11,12,12,12,…
0, 0, 2, 3, 4, 5, 6, 6, 7, 8, 8, 9, 9,10,10,11,11,12,12,13,13,13,14,…
0, 2, 3, 5, 6, 7, 7, 8, 9, 9,10,11,11,12,12,13,13,14,14,14,15,15,16,…
1, 3, 5, 6, 7, 8, 9,10,10,11,11,12,13,13,14,14,15,15,15,16,16,17,17,…
2, 5, 6, 8, 9,10,10,11,12,12,13,14,14,15,15,16,16,16,17,17,18,18,19,…
3, 6, 8, 9,10,11,12,12,13,14,14,15,16,16,17,17,17,18,18,19,19,20,20,…
5, 7, 9,10,11,12,13,14,14,15,16,16,17,17,18,18,19,19,20,20,20,21,21,…
6, 8,10,11,12,13,14,15,15,16,17,17,18,18,19,19,20,20,21,21,21,22,22,…
7, 9,11,12,13,14,15,16,17,17,18,19,19,20,20,21,21,21,22,22,23,23,23,…
7,10,11,13,14,15,15,16,17,18,18,19,20,20,21,21,22,22,23,23,23,24,24,…
8,10,12,13,14,15,16,17,17,18,18,19,20,20,21,21,22,22,22,23,23,24,24,…
8,10,12,13,14,15,16,17,17,18,18,19,20,20,21,21,22,22,22,23,23,24,24,…}
【0080】
例えば、1行目の23列目には、「2」が示されている。これは、輝度差による危険度のレベルが一番低く(1段階目)、明滅面積による危険度のレベルが23段階目の場合に、輝度差及び明滅面積の二つを尺度とした危険度が「2」であることを意味している。また、16行目(1段目)の23列目には、「24」が示されている。この場合も同様に、輝度差及び明滅面積の二つを尺度とした危険度が「24」であることを意味している。そのため、同一の明滅面積であっても(23段階目)、輝度差に応じて(1段階目と16段階目)、異なる危険度(2と24)として判定することができる。また、同様に、危険度判定テーブル44の具体例を見て考えると、同一の輝度差であっても、明滅面積に応じて、異なる危険度として判定できることも分かる。
【0081】
〈結果判定・出力処理〉
危険度判定手段75は、輝度分類と、輝度分類に応じて算出された明滅面積とを面積算出手段73から受け取ると、前記した危険度判定テーブル44の値(8bit:1〜254)を参照して、対応する危険度の数値を抽出する。なお、明滅面積は、HDTV時では14bit、SDTV時では11bitの画素数となる。そして、危険度判定手段75は、抽出した数値同士を比較し、その中で最大値を選択して、その数値を危険度として出力する。これを、「点滅映像生体影響度」(8bit)と呼ぶこととする。なお、この出力は、2種類の入力変換値に対してそれぞれ毎フレームごとに行うものとする。
【0082】
そして、危険度判定手段75は、輝度分類手段72によってカウントされる配列(段階(行))としてのG[i]と、面積判定閾値テーブル43の明滅面積を表すレベル(段階(列))としてのAR[]とを用いて、何段階目に当たるかを引いて、そこに対応する値PR[]を算出する。この値PR[]が、輝度差及び明滅面積の二つを尺度とした危険度である。そして、このPR[]同士を比較して、その中でも最大値を点滅映像生体影響度として出力する。例えば、その出力結果RSLTは、次のようになる。
【0083】
for(i=15;i>=0;i--)
for(j=31;j>=0;j--)
if(G[i]>AR[i]){
if(PR[i][j]>RSLT)
RSLT=PR[i][j];
break;
}
【0084】
次に、画像計測回路7の構成及び処理について、さらに詳細に説明する。図7に、図6の画像計測回路の構成及び処理を説明するブロック図を示す。
【0085】
輝度差算出手段71は、動き補償手段711と、減算手段712とを備えている。動き補償手段711は、フレームメモリ5(3)から第N+1フレームを受け取って、動きベクトルFIFO記憶手段5(4)から補償値を受け取って、動き補償を行い、動き補償済みフレームを減算手段712に渡すものである。減算手段712は、フレームメモリ5(3)からの第Nフレームと動き補償手段711からの動き補償済みフレームとの減算を行い、比較回路(輝度分類手段)72に送るものである。
【0086】
そして、比較回路72は、輝度判定閾値テーブル42の分類数に応じた分類ごとに、減算手段711からの値と、輝度判定閾値テーブル42からの値とを比較して、いずれの分類に属するのかを判別するものである。ここでは、16段階にレベル分けされている。比較回路72及び輝度判定閾値テーブル42の(1)〜(16)は、そのレベルに相当する。
【0087】
面積算出手段73は、輝度反転検出回路731と、カウンタ732と、定数記憶手段733と、比較回路734と、切替手段735と、カウンタ736(1)〜736(16)とを、輝度の分類数分だけ備えている。したがって、ここでは、面積算出手段73は、各手段を16組備えている。
【0088】
輝度反転検出回路731は、第Nフレームと第N+1フレームとの間で輝度の反転が起きているか否かを判定するものである。カウンタ732は、輝度反転検出回路731が輝度の反転を検出した回数を計数するものである。定数記憶手段733には、定数「6」が規定されている。ここで、定数「6」としてあるのは、ITU−R勧告BT.1702によると、輝度変化の回数では6回を超えて生じている場合、光感受性発作を引き起こす可能性が高いとしているからである。
【0089】
比較回路734は、カウンタ732の値と定数「6」とを比較し、カウンタ732の値が定数「6」を超えたときに、切り替え手段735をオンにして、カウンタ736(1)〜736(16)をインクリメントさせるものである。このインクリメント後、切替手段735はオフにされる。また、カウンタ732がリセットされる。
【0090】
〈反転エッジ(時間軸)検出処理〉
ここで、面積算出手段73を用いて行う反転エッジ処理について説明する。
面積算出手段73は、第2ダウンサンプリング手段63による第2ダウンサンプリング処理後のフレームメモリ5(3)に記憶されている実画像領域(拡張領域を除いた部分)の水平・垂直とも0から数え始めた偶数番目の画素(SDTVでは48×36画素、HDTVでは144×80画素について、以下の処理を実行する。
【0091】
つまり、面積算出手段73は、輝度反転検出回路731、カウンタ732、定数記憶手段733及び比較回路734によって、30フレーム前までに反転エッジ(時間軸上)が7回以上あるか否かを調べる。そして、面積算出手段73は、切替手段735及びカウンタ736によって、反転エッジが7回以上あった画素数を計測する。
【0092】
なお、反転エッジの計測アルゴリズムで用いるエッジ判定の閾値(正の整数)は16種類とし、各閾値について個別に計測を行うこととする。したがって、この場合、前記したように、16×2(SDTV/HDTV)×2(入力変換値の種類)の4系統が並列となる。また、各閾値は、SDTV・HDTVとも同じ値とし、同一の輝度判定閾値テーブル42から与えられるものとする。
【0093】
[反転エッジの計測アルゴリズム]
次に、各画素の反転エッジの計測アルゴリズムについて、さらに詳細に説明する。
【0094】
Sd0:まず、輝度反転検出回路731は、各画素のエッジフラグ(−1,0,1)を「0」、各画素のカウンタ732を「0」に設定する。なお、エッジフラグは、輝度反転検出回路731内の図示しない記憶手段に設定されるものとする。エッジフラグ(−1)とエッジフラグ(1)とは、符号が異なることを示し、これが入れ替わることで反転を示すこととする。また、エッジフラグ(0)は、初期値とする。
【0095】
Sd1:また、輝度反転検出回路731は、減算手段712からの出力値が、「現フレームの各画素値」と「前フレームにおける動きベクトルで補償した画素値」が、両方とも「160」以上の場合、Sd7へ進む。
【0096】
Sd2:減算手段712が「対象フレームの各画素値」−「前(隣接)フレームにおける動きベクトルで補償した面積値」を計算し、「輝度差」(-255〜255)として、比較回路72に渡す。そして、輝度分類手段72としての比較回路が、輝度判定閾値テーブル42を参照して輝度分類を行って、輝度分類に応じた比較回路72が動作して、面積算出手段73に出力する。これにより、輝度反転検出手段731は、エッジフラグが「−1」であれば「輝度」の正負を反転する。なお、このとき、切替手段735はオフになっている。
【0097】
Sd3:一方、輝度反転検出回路731は、エッジフラグが「0」以外(「−」から「1」)の場合、Sd5へ進む。
【0098】
Sd4:また、輝度反転検出回路731は、「輝度差」が閾値以上の場合、エッジフラグを「−1」、カウンタ732を「1」に設定して、Sd7へ進む。
【0099】
Sd5:次に、輝度反転検出回路731は、「輝度差」の正負反転値が閾値以上の場合、エッジフラグを「1」、カウンタ732を「1」に設定して、Sd6へ進み、それ以外(輝度差が正と負との閾値の間)場合、何もせずに、Sd7へ進む。
【0100】
Sd6:輝度反転検出回路731は、輝度差が閾値以上の場合、エッジフラグの正負を反転し、カウンタ732を1増加する(インクリメントする)。
【0101】
Sd7:次に、輝度反転検出回路731は、前フレームが計測開始フレームの30フレーム前に達していなければ、現フレームと前フレームをそれぞれ1フレーム遡った上で、Sd1へ戻る。ただし、現フレームにおける画素の位置は、遡る前の「前フレームにおける画素」の位置とする。
Sd8:そして、輝度反転検出回路731は、前フレームが計測開始フレームの30フレーム前に達しているときに、比較回路734は、カウンタ732が定数記憶手段733の定数6よりも大きい「7」以上の場合には、切替手段735をオンにし、比較回路72からの出力をカウンタ736に入力し、カウンタ736をインクリメントさせる。一方、カウンタが「6」以下の場合には、比較回路72からの次の入力を待つことになる。
【0102】
一方、面積分類手段74は、対象の1フレーム分の画素について輝度の計数がカウンタ736によって行われると、その計数値を受け取って、面積判定閾値テーブル43を参照して、分類ごとに、面積がいずれのレベルに属するのかを判定し、危険度判定テーブル44の分類に応じたいずれの危険度に該当するのかを判定するものである。
【0103】
また、最大値選択回路(危険度判定手段)75は、前記したような危険度判定テーブル44内のいずれの数値に該当するのかを輝度と面積とにより決定し、決定した数値の中で最大値を選択し、その最大値を危険度として出力するものである。
【0104】
ここで、画面の明滅面積と明滅輝度差との関係について説明する。図8に、画面の明滅面積と明滅輝度差との関係について説明する図を示す。図8(A)に、画面の明滅面積(縦軸)と明滅輝度差(横軸)との関係で危険度を説明するグラフを示す。このグラフに示すように、明滅の輝度差であっても、画面の明滅面積が大きくなるに従って、危険度2、危険度4、危険度6のように、危険度が高くなることがあると考えられる(グラフ右側で顕著にみられる)。また、画面の明滅面積が同じであっても、明滅の輝度差が大きくなるに従って、危険度2、危険度4、危険度6のように、危険度が高くなることがあると考えられる。
【0105】
ここで、図8(B)に、面積及び輝度差の各基準値がそれぞれ1種類の場合に、画面の明滅面積(縦軸)と明滅輝度差(横軸)との関係で危険領域と安全領域とを説明するグラフを比較例として示す。つまり、この(B)場合は一つの輝度差の閾値と一つの面積の閾値によって判定するようになっているため、(A)の危険度0.6であるにもかかわらず、安全な領域に属していると判定されてしまう。そのため、この(A)の場合では、明滅の輝度差が小さく、明滅面積が大きい場合、或いは、明滅の輝度差が大きく、明滅面積が小さい場合に、危険度が高いときであっても、高い危険度であることを判定することができる。
【0106】
次に、映像分析装置1の視覚刺激危険度判定処理の全体の流れについて説明する。図9に、そのフローチャートを示す。
映像分析装置1は、A/D変換回路2によってデジタル信号に変換されたビデオ信号を、輝度変換回路3によって、輝度LUT41を参照して、輝度値に変換し(SA1)、その画面輝度値データをフレームごとにフレームメモリ5に書き込む。
【0107】
次に、映像分析装置1は、画像変換回路6の第1ダウンサンプリング手段62によって、フレームメモリ5に書き込まれている画面輝度値データを、(20/3)×(20/3)画素ごとのブロックの平均値を縮小画面の各画素値としてダウンサンプリング(間引き)する(SA2)。
【0108】
その後、映像分析装置1は、画像変換回路6の動きベクトル検出手段64によって、8×8画素を1ブロックとして、上下、左右±9画素の範囲でブロックマッチングを行い、動きベクトルを探索して検出する(SA3)。
【0109】
続いて、映像分析装置1は、画像変換回路6の第2ダウンサンプリング手段63によって、対象画素・右の画素・下の画素・右下の画素の4画素の平均値を新たに各画素の値としてダウンサンプリング(間引き)する(SA4)。
【0110】
次に、映像分析装置1は、画像計測回路7によって、輝度判定閾値テーブル42を参照し、各輝度判定閾値に対して、動きベクトルを考慮に入れた上で、各画素について、30フレーム前までの明るさの反転を計数する(SA5)。そして、映像分析装置1は、画像計測回路7によって、30フレーム前までに反転が7回以上であるか否かを判定する(SA6)。映像分析装置1は、7回以上でない場合(SA6,No)には、画像計測回路7によって、危険度なしを出力して(SA7)、処理をSA10に移す。
【0111】
一方、映像分析装置1は、7回以上である場合(SA6,Yes)には、画像計測回路7によって、判定した画素を点滅画素数としてカウンタ736のカウントを行う(SA8)。次に、映像分析装置1は、画像計測回路7によって、各輝度判定閾値に対して求めた点滅画素数について、危険度判定テーブル44を参照して抽出した値を危険度として出力する(SA9)。
【0112】
なお、映像分析装置1は、危険度を出力する(SA7,SA9)たびに、制御回路9に次のフレーム有りか否か(SA10)を問い合わせることとする。制御回路9は、各映像分析装置1に入力するフレーム数を計数し、すべてのフレームについて分析が終了したときに映像分析装置1にその旨を通知することとする。なお、映像分析装置1に、このSA10の処理を実行する手段を備えるようにしてもよい。
【0113】
そして、映像分析装置1は、制御回路9から「次のフレーム有」の通知を受けると(SA10,Yes)、処理をSA1に戻し、「次のフレーム有」でない通知を受けると(SA10,No)、処理を終了する。
【0114】
なお、前記実施の形態では、HDTVの場合を例に説明したが、SDTVであっても同様に処理することができる。図10に、図3に相当する輝度変換回路の構成のブロック図を示す。図10に示すように、SDTVの場合は、HDTVの場合(図3)と比べて、同一の構成になっている。異なるところは、輝度LUT41が異なるだけである。また、画像変換回路6、画像計測回路7についても、HDTVの場合と同一の構成であるため、説明を省略する。つまり、SDTVとHDTVとは、輝度LUT41、輝度判定閾値テーブル42、面積判定閾値テーブル43及び危険度判定テーブル44の数値が異なるだけである。
【0115】
最後に、HDTVとSDTVとの場合を並行処理するための構成について説明する。図11に、視覚刺激危険度判定処理を並行処理する構成の映像分析システムのブロック図を示す。この映像分析システム100は、図示しない筐体内に、映像分析装置1A,1Bと、制御回路8Aとを備え、その筐体から覗くように、HDTV映像信号入力端子9Aと、SDTV映像信号入力端子9Bとを備えている。
【0116】
映像分析装置1Aは、HDTVのビデオ信号について処理するものである。また、映像分析装置1Bは、SDTVのビデオ信号について処理するものである。また、制御回路(制御手段)8Aは、映像分析装置1A,1Bの動作を制御するものである。HDTV映像信号入力端子9Aは、HDTV方式のビデオ信号(映像信号)を映像分析装置1Aに入力する。SDTV映像信号入力端子9は、SDTV方式のビデオ信号を映像分析装置1Bに入力する。
【0117】
前記構成の映像分析システム100は、制御回路9Aの制御に従って、映像分析装置1BによるSDTV方式のビデオ信号の分析と、映像分析装置1AによるHDTV方式のビデオ信号の分析とを並列に処理する。また、各映像分析装置1A,1Bのそれぞれが独自に各ビデオ信号の分析を処理するため、両ビデオ信号のガンマ特性の分析が同時に行える。そのため、映像分析システム100によれば、視覚刺激危険度の分析を効率的に行うことができる。
【0118】
前記実施の形態では、各判断基準がテーブルとして与えられていることとして説明したが、次のような計算式で与えられる場合やプログラムによって与えられても構わない。ここで、発作を起こす可能性ρは、明滅の輝度差x、面積比yとすると、例えば、次の数式で評価できる。なお、次の数式に従って、前記実施の形態で説明した危険度判定テーブル44を算出することもできる。
【0119】
ρ(x,y)
=(−3×1016・x3+3×10-4・x2+7×10-4・x−3×10-4)
×(−0.7241y2+1.8124y+0.0878)
【0120】
なお、前記各回路(手段)は、電子回路、特に、ICチップとして構成するばかりでなく、視覚刺激危険度判定プログラムと、この視覚刺激危険度判定プログラムを実行するコンピュータとから構成するようにしてもよい。したがって、映像分析装置1は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。なお、視覚刺激危険度判定プログラムは、通信回線を介して配布することも可能であるし、各種記録媒体に書き込んで配布することも可能である。
【0121】
したがって、前記実施の形態の映像分析装置によれば、比較的安全な映像や非常に危険な映像による視覚刺激の危険度を判定することができる。そのため、映像分析装置は、点滅光、赤色光、コントラストの強い図形等の視覚刺激についての特徴のあるデータを輝度判定閾値テーブル42、危険度判定テーブル43、危険度判定テーブル44に予め登録しておくことで、それらに伴なう危険度を容易にかつ正確に判定することもできる。
【図面の簡単な説明】
【0122】
【図1】本発明に係る実施の形態の映像分析装置の構成を説明するブロック図である。
【図2】図1の輝度変更回路のさらに詳細な構成を説明するブロック図である。
【図3】図2に示した輝度変更回路の処理の流れのフローチャートである。
【図4】図1の画像変換回路のブロック図である。
【図5】図4の画像変換回路の処理の流れのフローチャートである。
【図6】図1の画像計測回路の構成のブロック図である。
【図7】図6の画像計測回路の構成及び処理を説明するブロック図である。
【図8】画面の明滅面積と明滅輝度差との関係について説明する図である。
【図9】映像分析装置の視覚刺激危険度判定処理の全体の流れについて説明するフローチャートである。
【図10】図3に相当する輝度変換回路(SDTV)の構成のブロック図である。
【図11】視覚刺激危険度判定処理を並行処理する構成の映像分析システムのブロック図である。
【符号の説明】
【0123】
1 映像分析装置
3 輝度変換回路
4 フラッシュメモリ
5 フレームメモリ
6 画像変換回路
7 画像計測回路
8 判定基準変更手段
9 制御回路
41 輝度LUT
42 輝度判定閾値テーブル(輝度分類記憶手段)
43 面積判定閾値テーブル(面積分類記憶手段)
44 危険度判定テーブル(危険度判定基準記憶手段)
71 輝度差算出手段
72 輝度分類手段
73 面積算出手段
74 面積分類手段
75 危険度判定手段
【特許請求の範囲】
【請求項1】
ディスプレイに表示させる映像を分析して、映像による視覚刺激によって視聴者に光感受性発作を引き起こさせる可能性を示す危険度を判定する映像分析装置であって、
画素同士の輝度差に応じて複数の組に画素を分類するための判定基準としての輝度分類を記憶する輝度分類記憶手段と、
明滅面積の大きさに応じて複数の組に画素を分類するための判定基準としての面積分類を記憶する面積分類記憶手段と、
前記輝度分類及び前記明滅面積に応じて光感受性発作を引き起こす可能性を示す危険度を判定するための判定基準を記憶する危険度判定基準記憶手段と、
映像を構成するフレームの中の任意の対象フレームとその隣接フレームとの間で同一座標に位置する任意の画素同士の輝度差を算出する輝度差算出手段と、
前記輝度分類記憶手段に記憶されている輝度分類に従って、前記輝度差算出手段によって算出された輝度差の画素を分類する輝度分類手段と、
この輝度分類手段によって分類された輝度分類ごとに画素数を計数して、その計数値を、輝度差に応じた明滅面積として算出する面積算出手段と、
前記面積分類記憶手段に記憶されている面積分類に従って、前記面積算出手段によって算出された明滅面積を分類する面積分類手段と、
前記輝度分類手段及び前記面積分類手段の分類結果に従って前記危険度判定基準記憶手段を参照して、判定基準によって危険度を多段階に判定し、その危険度を出力する危険度判定手段と、
を備えていることを特徴とする映像分析装置。
【請求項2】
前記危険度判定手段は、
多段階に判定した危険度の中で、最も高い危険度を優先して出力すること、
を特徴とする請求項1に記載の映像分析装置。
【請求項3】
前記輝度分類記憶手段に記憶されている輝度分類、前記面積分類記憶手段に記憶されている面積分類、及び、前記危険度判定基準記憶手段に記憶されている判定基準の少なくとも一つのデータを変更する判定基準変更手段を備えていること、
を特徴とする請求項1又は請求項2に記載の映像分析装置。
【請求項4】
映像を構成する任意の対象フレームと、この対象フレーム以降に表示する隣接フレームとの間で、前記対象フレーム内の着目する画素が、隣接フレーム内のいずれの方向へ移動したのかを示す動きベクトルを検出する動きベクトル検出手段と、
この動きベクトル検出手段によって検出された動きベクトルに従って、前記隣接フレームの動き補償を行う動き補償手段と、
を備えていることを特徴とする請求項1から請求項3までのいずれか1項に記載の映像分析装置。
【請求項5】
画素を間引きしてサンプリングするダウンサンプリング手段、
を備えていることを特徴とする請求項1から請求項4までのいずれか1項に記載の映像分析装置。
【請求項6】
ガンマ特性に基づいて画面輝度を算出する輝度変換手段、
を備えていることを特徴とする請求項1に記載の映像分析装置。
【請求項7】
環境に存在する明滅光を撮影した環境信号を入力する入力手段を備え、
前記入力手段によって入力された環境信号を分析して、その明滅光の危険度を多段階に判定して出力するようにしたことを特徴とする請求項1に記載の映像分析装置。
【請求項8】
ディスプレイに表示させる映像を分析して、映像による視覚刺激によって視聴者に光感受性発作を引き起こさせる可能性を示す危険度を判定するために、コンピュータを、
映像を構成するフレームの中の任意の対象フレームとその隣接フレームとの間で同一座標に位置する任意の画素同士の輝度差を算出する輝度差算出手段、
画素同士の輝度差に応じて複数の組に画素を分類するための判定基準としての輝度分類を記憶する輝度分類記憶手段から輝度分類を読み出して、その輝度分類に従って、前記輝度差算出手段によって算出された輝度差の画素を分類する輝度分類手段、
この輝度分類手段によって分類された輝度分類ごとに画素数を計数して、その計数値を、輝度差に応じた明滅面積として算出する面積算出手段、
明滅面積の大きさに応じて複数の組に画素を分類するための判定基準としての面積分類を記憶する面積分類記憶手段から面積分類を読み出して、その面積分類に従って、前記面積算出手段によって算出された明滅面積を分類する面積分類手段、
前記輝度分類手段及び前記面積分類手段の分類結果に従って、前記輝度分類及び前記明滅面積に応じて光感受性発作を引き起こす可能性を示す危険度を判定するための判定基準を記憶する危険度判定基準記憶手段を参照して、判定基準によって危険度を多段階に判定し、その危険度を出力する危険度判定手段、
として機能させることを特徴とする視覚刺激危険度判定プログラム。
【請求項9】
請求項1から請求項7までのいずれか1項に記載の映像分析装置によって、SDTV方式のビデオ信号及びHDTV方式のビデオ信号を並列に処理する映像分析システムであって、
前記SDTV方式のビデオ信号を分析する第1の前記映像分析装置と、
前記HDTV方式のビデオ信号を分析する第2の前記映像分析装置と、
第1の前記映像分析装置による前記SDTV方式のビデオ信号の分析と、第2の前記映像分析装置による前記HDTV方式のビデオ信号の分析とを並列に処理させる制御手段と、
を備えていることを特徴とする映像分析システム。
【請求項1】
ディスプレイに表示させる映像を分析して、映像による視覚刺激によって視聴者に光感受性発作を引き起こさせる可能性を示す危険度を判定する映像分析装置であって、
画素同士の輝度差に応じて複数の組に画素を分類するための判定基準としての輝度分類を記憶する輝度分類記憶手段と、
明滅面積の大きさに応じて複数の組に画素を分類するための判定基準としての面積分類を記憶する面積分類記憶手段と、
前記輝度分類及び前記明滅面積に応じて光感受性発作を引き起こす可能性を示す危険度を判定するための判定基準を記憶する危険度判定基準記憶手段と、
映像を構成するフレームの中の任意の対象フレームとその隣接フレームとの間で同一座標に位置する任意の画素同士の輝度差を算出する輝度差算出手段と、
前記輝度分類記憶手段に記憶されている輝度分類に従って、前記輝度差算出手段によって算出された輝度差の画素を分類する輝度分類手段と、
この輝度分類手段によって分類された輝度分類ごとに画素数を計数して、その計数値を、輝度差に応じた明滅面積として算出する面積算出手段と、
前記面積分類記憶手段に記憶されている面積分類に従って、前記面積算出手段によって算出された明滅面積を分類する面積分類手段と、
前記輝度分類手段及び前記面積分類手段の分類結果に従って前記危険度判定基準記憶手段を参照して、判定基準によって危険度を多段階に判定し、その危険度を出力する危険度判定手段と、
を備えていることを特徴とする映像分析装置。
【請求項2】
前記危険度判定手段は、
多段階に判定した危険度の中で、最も高い危険度を優先して出力すること、
を特徴とする請求項1に記載の映像分析装置。
【請求項3】
前記輝度分類記憶手段に記憶されている輝度分類、前記面積分類記憶手段に記憶されている面積分類、及び、前記危険度判定基準記憶手段に記憶されている判定基準の少なくとも一つのデータを変更する判定基準変更手段を備えていること、
を特徴とする請求項1又は請求項2に記載の映像分析装置。
【請求項4】
映像を構成する任意の対象フレームと、この対象フレーム以降に表示する隣接フレームとの間で、前記対象フレーム内の着目する画素が、隣接フレーム内のいずれの方向へ移動したのかを示す動きベクトルを検出する動きベクトル検出手段と、
この動きベクトル検出手段によって検出された動きベクトルに従って、前記隣接フレームの動き補償を行う動き補償手段と、
を備えていることを特徴とする請求項1から請求項3までのいずれか1項に記載の映像分析装置。
【請求項5】
画素を間引きしてサンプリングするダウンサンプリング手段、
を備えていることを特徴とする請求項1から請求項4までのいずれか1項に記載の映像分析装置。
【請求項6】
ガンマ特性に基づいて画面輝度を算出する輝度変換手段、
を備えていることを特徴とする請求項1に記載の映像分析装置。
【請求項7】
環境に存在する明滅光を撮影した環境信号を入力する入力手段を備え、
前記入力手段によって入力された環境信号を分析して、その明滅光の危険度を多段階に判定して出力するようにしたことを特徴とする請求項1に記載の映像分析装置。
【請求項8】
ディスプレイに表示させる映像を分析して、映像による視覚刺激によって視聴者に光感受性発作を引き起こさせる可能性を示す危険度を判定するために、コンピュータを、
映像を構成するフレームの中の任意の対象フレームとその隣接フレームとの間で同一座標に位置する任意の画素同士の輝度差を算出する輝度差算出手段、
画素同士の輝度差に応じて複数の組に画素を分類するための判定基準としての輝度分類を記憶する輝度分類記憶手段から輝度分類を読み出して、その輝度分類に従って、前記輝度差算出手段によって算出された輝度差の画素を分類する輝度分類手段、
この輝度分類手段によって分類された輝度分類ごとに画素数を計数して、その計数値を、輝度差に応じた明滅面積として算出する面積算出手段、
明滅面積の大きさに応じて複数の組に画素を分類するための判定基準としての面積分類を記憶する面積分類記憶手段から面積分類を読み出して、その面積分類に従って、前記面積算出手段によって算出された明滅面積を分類する面積分類手段、
前記輝度分類手段及び前記面積分類手段の分類結果に従って、前記輝度分類及び前記明滅面積に応じて光感受性発作を引き起こす可能性を示す危険度を判定するための判定基準を記憶する危険度判定基準記憶手段を参照して、判定基準によって危険度を多段階に判定し、その危険度を出力する危険度判定手段、
として機能させることを特徴とする視覚刺激危険度判定プログラム。
【請求項9】
請求項1から請求項7までのいずれか1項に記載の映像分析装置によって、SDTV方式のビデオ信号及びHDTV方式のビデオ信号を並列に処理する映像分析システムであって、
前記SDTV方式のビデオ信号を分析する第1の前記映像分析装置と、
前記HDTV方式のビデオ信号を分析する第2の前記映像分析装置と、
第1の前記映像分析装置による前記SDTV方式のビデオ信号の分析と、第2の前記映像分析装置による前記HDTV方式のビデオ信号の分析とを並列に処理させる制御手段と、
を備えていることを特徴とする映像分析システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2007−193192(P2007−193192A)
【公開日】平成19年8月2日(2007.8.2)
【国際特許分類】
【出願番号】特願2006−12468(P2006−12468)
【出願日】平成18年1月20日(2006.1.20)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】
【公開日】平成19年8月2日(2007.8.2)
【国際特許分類】
【出願日】平成18年1月20日(2006.1.20)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】
[ Back to top ]