説明

画像表示装置

【課題】人体に悪影響を与える可能性のある画像に対して、映像処置を行い人体に与える影響を、削減あるいは無効化することを目的とする。
【解決手段】この発明にかかる画像表示装置は、受信した映像信号Dbに含まれる所定の映像情報からフレームごとの映像特徴を検出し、映像特徴信号Psを出力する映像特徴検出部7と、映像特徴信号Psが所定時間内に一定回数以上変化した場合、制御信号としての制御値Crを出力する映像変化検出部9と、制御値Crを解析しその解析結果に応じて、映像信号Dbに所定の処置を行う映像信号対策部6とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示装置に関し、特に人体に悪影響を及ぼす映像を検出して処置を行うテレビジョン受像機等の画像表示装置に関する。
【背景技術】
【0002】
テレビジョン受像機等の画像表示装置を視聴中、表示された映像の影響を受け、発作や目眩、映像酔い等、体調不調を起こすケースがしばしば起こる。これら人体に悪影響、強いストレスを与える映像を、以下、危険映像と呼ぶ。
【0003】
このような事件を防止すべく、放送局側でも放送波のチェックを行っているが、完全に防止することは難しく、すでに発売されたビデオテープやDVD等、あるいは近年よく見られる、インターネット上の投稿動画などの影響により、同様の事件が後を絶たない。とりわけ投稿動画は、投稿者・制作者により映像表現が自由に行われており、配信も容易に行えることから、危険映像が存在した場合の対策が重要である。
【0004】
危険映像は、放送波やDVD等のみに限らず、ゲーム等のエンターテイメントにも含まれることがある。そのため、放送局側やコンテンツ制作側のチェックのみならず、画像表示装置においても、これらを検出し防止する機能が必要である。
【0005】
前述した機能を実現する従来の技術として例えば特許文献1に開示されている映像信号処理装置がある。特許文献1に記載の映像信号処理装置では、映像信号を所定の面積からなる小領域に分割し、各分割領域に存在する画素において輝度信号・色差信号のうちいずれかひとつ以上の平均値の変化を所定時間観察し、所定の数以上の領域の変化が一定時間以上継続する映像を、人体に悪影響を及ぼす危険映像として検出している。
【0006】
また、映像信号を複数箇所の領域に分割し、各分割領域に存在する画素において輝度信号・色相信号のいずれかひとつ以上の直流成分の変化量を観察することで、光学的な刺激が強く人体に悪影響を及ぼす危険映像を検出し、変化を抑えた代替画像を表示する方法が、特許文献2に開示されている。
【0007】
【特許文献1】特開平11−275385号公報
【特許文献2】特開2002−252792号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
特許文献1における映像信号処理装置では、輝度信号・色差信号のうちいずれかひとつ以上における閾値以上の変化を検出しているが、閾値による変化量により危険映像を判断した場合、危険映像ではないのに関わらず危険映像であると判断されることが考えられる。たとえば、同一の被写体を移した映像において、同一パターンに近い背景が高速でパン・チルト等の変化をする場合、輝度信号・色差信号ともに大きく変化する。しかしながら、このようなシーンを含む映像は危険映像ではなく、一般の映像においても見られることがある。
【0009】
このような問題は、特許文献2においても言及することができる。すなわち直流成分の変化量の観察においても、危険映像ではないのに関わらず危険映像であると判断されることが考えられる。
【0010】
このような誤判定に関わる問題の一因として、映像信号の特徴についての解析が実施されておらず、映像の内容を把握していないという点が挙げられる。すなわち、映像信号を構成するコンテンツの内容が、明るい映像であるのか、暗い映像であるのか、あるいは、赤い色合いの映像であるのか、青い色合いの映像であるのか、等の内容である。輝度信号や色差信号における閾値以上の変化の検出では、これらの映像特徴を判断することは難しく、そのため危険映像における判定の精度が低下してしまうという問題があった。
【0011】
本発明は、上記の課題を解決するためになされたもので、危険映像を精度よく検出し、削除または無効化する等の処置をする画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
この発明にかかる画像表示装置は、受信した映像信号に含まれる所定の映像情報からフレームごとの映像特徴を検出し、映像特徴信号を出力する映像特徴検出部と、前記映像特徴信号が所定時間内に一定回数以上変化した場合、制御信号を出力する映像変化検出部と、前記制御信号を解析しその解析結果に応じて、前記映像信号に所定の処置を行う映像信号対策部とを備える。
【発明の効果】
【0013】
この発明によれば、画像表示装置において、受信した映像信号に含まれる所定の映像情報からフレームごとの映像特徴を検出し、映像特徴信号を出力する映像特徴検出部と、前記映像特徴信号が所定時間内に一定回数以上変化した場合、制御信号を出力する映像変化検出部と、前記制御信号を解析しその解析結果に応じて、前記映像信号に所定の処置を行う映像信号対策部とを備えることにより、映像信号の特徴を考慮した高精度かつ適応的な危険映像の検出が可能となり、これに適切な処置をすることにより危険映像が人体に与える影響を、削減あるいは無効化する等の処置をすることができる。
【発明を実施するための最良の形態】
【0014】
<A.実施の形態1>
<A−1.画像表示装置の構成>
図1はこの発明の実施の形態1である画像表示装置の構成を示すブロック図である。同図に示すように、実施の形態1に係る画像表示装置は、入力端子1と、入力端子1に入力された信号を受信する受信部2と、受信部2からの出力を入力する画像処理装置3と、画像処理装置3からの出力を表示する表示部10とを備える。
【0015】
入力端子1には、テレビやコンピューター等で用いられている所定の形式の映像信号Daが入力される。
【0016】
受信部2は、映像信号Daを入力端子1を介して受信し、映像信号Daを画像処理装置3で処理可能な形式に変換して映像信号Dbとして出力する。例えば受信部2は、映像信号Daを、輝度情報Y(あるいは明度情報V)、色相情報H、彩度情報S等、いくつかのデジタル形式の映像情報に変換した後、映像信号Dbとして出力する。上述した動作を行う受信部2は、映像信号Daがアナログ形式の信号の場合にはA/D変換器などで構成され、入力された映像信号Daがデジタル形式の信号の場合にはその形式に適合した所定の復調器等で構成される。なお、ここで輝度情報Yと明度情報Vは同一値とし、実施の形態1において輝度情報Yと統一して記述する。
【0017】
画像処理装置3は、入力される映像信号Dbに対して処置を行い、映像情報としての映像信号Dcとして表示部10に出力する。処置を行う機能部についての詳細は後述する。
【0018】
表示部10は、入力された映像信号Dcに基づいて画像を表示する。表示部10は、例えば、液晶ディスプレイ、DMD(Digital Micromirror Device)ディスプレイ、EL(ElectoroLuminescence)ディスプレイ、プラズマディスプレイ、CRT(Cathode−Ray Tube)ディスプレイであって、反射型、透過型、あるいは自発光デバイスなどのあらゆる表示手段を適応できる。
【0019】
<A−1−1.画像処理装置3の構成>
画像表示装置における画像処理装置3の構成について、以下説明する。
【0020】
画像処理装置3は、受信部2からの出力映像信号Dbを入力される映像信号対策部6及び映像特徴検出部7と、映像特徴検出部7を介して映像信号対策部6に出力する映像変化検出部9とを備えている。映像信号対策部6は、受信部2からの信号が入力される対策実行部5と、映像変化検出部9からの信号が入力される対策制御部4を備える。
【0021】
映像特徴検出部7は、映像信号Dbに含まれる映像情報から、各1フレーム分の映像特徴値Psを算出して、映像変化検出部9に出力する。なお、映像特徴検出部7の構成に関してはさらに後述する。
【0022】
映像変化検出部9は、映像特徴値Psを元にして、短期間における一定回数以上の変化を検出した場合に、映像信号Dbを危険映像であると判断し、映像信号Dbの危険性の有無、人体に与える影響の種類等の情報を含む制御信号としての制御値Crを対策制御部4に出力する。
【0023】
対策制御4は、対策実行部5が映像信号Dbに対して行う処置内容を示す対策指示値Prを制御値Crに基づいて算出し、対策実行部5に出力する。
【0024】
一方、対策実行部5は、入力された対策指示値Prが対策実行を指示する内容である場合(すなわち、映像信号Dbが危険映像であると判断された場合)に、映像信号Dbに対し処置を行い、危険映像が人体に与える影響を削減あるいは無効化し、処置後の信号を映像信号Dcとして表示部10に出力する。
【0025】
<A−1−2.映像特徴検出部7の構成>
前述の画像処理装置3における、映像特徴検出部7の構成について以下説明する。
【0026】
図2は、図1で示した映像特徴検出部7の一内部構成例の詳細を示すブロック図である。図2に示されるように、本実施の形態1の画像表示装置における映像特徴検出部7は、映像信号Dbを受信する信号分配部70と、信号分配部70からの信号を受信する輝度ヒストグラム算出部71および色ヒストグラム算出部72と、輝度ヒストグラム算出部71からの出力を受信する輝度ヒストグラム解析部73と、色ヒストグラム算出部72からの出力を受信する色ヒストグラム解析部74と、輝度ヒストグラム解析部73および色ヒストグラム解析部74からの出力を受信する特徴判断部75とを備えている。なお図2の構成は一例であり、映像特徴検出部7は本構成に限定されるものではない。
【0027】
図2で示した例では、受信部2から得られ、色相情報H、彩度情報S、輝度情報Yを含む映像信号Dbは、信号分配部70に入力される。本実施の形態1では色空間の例として、HSV色空間を利用する。
【0028】
図2の映像特徴検出部7は実施の一例であり、映像特徴検出部7は、映像信号Dbを基にして、映像特徴値Psが出力可能な構成であればどのようなものでもよい。
【0029】
信号分配部70は、1フレーム分の映像信号Dbから輝度情報Y、色相情報H、彩度情報Sを抽出する。そして、抽出した信号の内、輝度情報Yを輝度ヒストグラム算出部71へ出力し、色相情報H、彩度情報Sを色ヒストグラム算出部72へと出力する。
【0030】
図2で示した例において、入力映像信号Dbがインターレース信号の場合は、2フィールド分を1フレーム分の映像信号として、信号分配部70により変換を行い、新しい映像信号を求める。このように信号分配部70において、輝度ヒストグラム算出部71、色ヒストグラム算出部72で処理を行うための前処理を行っても良い。
【0031】
他の前処理の例として、映像信号DbがRGB信号等の、色相情報H、彩度情報S、輝度情報Yと異なった表色系で示されている際、既知の計算式により色相情報H、彩度情報S、輝度情報Yへと変換することも考えられる。
【0032】
輝度ヒストグラム算出部71は、入力された輝度情報Yを元として、輝度情報Hyを算出し、輝度ヒストグラム解析部73へと出力する。
【0033】
色ヒストグラム算出部72は、入力された色相情報H、彩度情報Sを元として、色情報Hcを算出し、色ヒストグラム解析部74へと出力する。
【0034】
特徴判定部75は、輝度ヒストグラム解析部73および色ヒストグラム解析部74から出力される輝度特徴値Hycおよび色特徴値Hccの組み合わせ内容に基づき、映像の特徴を判定し、映像特徴値Psとして、映像変化検出部9に出力する。
【0035】
<A−2.画像処理装置3の動作>
前述の画像表示装置において、画像処理装置3の動作について、構成要素ごとに以下説明する。
【0036】
<A−2−1.映像特徴検出部7の動作(輝度ヒストグラム解析)>
画像処理装置3に備えられた、映像特徴検出部7における輝度ヒストグラムに関する動作について以下説明する。
【0037】
図3は、輝度ヒストグラム算出部71が生成する輝度情報Hyの一例を示したものである。図3で示した例では、輝度情報Hyとして、輝度情報Yに関する輝度ヒストグラムHYを生成している。以下、輝度ヒストグラム算出部71により生成された映像信号Dbにおける輝度情報Yのヒストグラムを規定した情報を輝度ヒストグラムHYと呼ぶ。
【0038】
図中の横軸は階調値(階級)を示し、縦軸は度数、つまり1フレーム分の映像信号Dbの輝度に対する画素数を示している。なお以下の説明では、映像信号Dbの輝度情報Yは、例えば8ビットのデータで構成されており、その階調値が“0”から“255”までの値を採り、その階調数は“256”とする。映像信号Dbは本例では8ビットで表しているが、例えば10ビット、6ビットのような他の階調数で表しても良い。
【0039】
本実施の形態1に係る輝度ヒストグラム算出部71は、例えば256の階調数を8階調ごとに32の領域に分割し、当該32の領域をヒストグラムの階級としている。そして、各階級での中心値付近の値、本例では、当該中心値に最も近くそれよりも大きい整数値を当該階級の代表値としている。例えば、階調値“0”から“7”までで構成される階級では、中心値は“3.5”となるため、当該階級の代表値は“4”となる。図3の横軸の数字は各階級の代表値を示している。
【0040】
なお、階級の中心値が整数であれば、当該中心値を当該階級の代表値としても良い。また、本例のように階級の中心値が整数でなく小数の場合であっても、階級の代表値として当該階級の中心値を採用しても良い。階級の中心値が小数の場合には、本例のように、階級の代表値として当該階級の中心値付近の整数を採用することによって、演算量を低減できる。
【0041】
このように、本実施の形態1に係る輝度ヒストグラム算出部71では、8つの連続する階調値からなる領域を一つの階級としているため、図3に示されるヒストグラムの各度数は、8階調分の信号の総和となる。例えば、横軸の数値4に示された度数は、1フレーム分の輝度情報Yに含まれる、階調値0から階調値7までの信号の総和に相当する。
【0042】
なお、図3のヒストグラムとは異なり、各階調値ごとに度数を計数してヒストグラムを生成してもよい。つまり、各階級を一つの階調値で構成するようにしても良い。この場合には、各階級の代表値は当該階級を構成する階調値そのものとなる。
【0043】
また、階調数を分割する場合には、その分割数は32以外に設定しても良く、ヒストグラムの分割数や範囲を自由に設定しても良い。例えば、階調数が“256”の場合、階調値“0”から“32”と“200”から“255”の範囲を4階調刻み、その他を24刻みとすることもできる。また、ヒストグラムを不均等に分割し、階調値の範囲を自由に設定できるように構成してもよい。このように当該分割数を変化させることによって、輝度ヒストグラム算出部71での演算量や、ヒストグラムの精度を調節することができる。
【0044】
輝度ヒストグラム解析部73は、輝度ヒストグラム算出部71で生成されたヒストグラムにおいて、累積度数が所定の閾値YAよりも初めて大きくなる階級の代表値を抽出し、最大階調情報値Yimaxとして出力する。
【0045】
また輝度ヒストグラム解析部73は、輝度ヒストグラム算出部71で生成されたヒストグラムにおいて、累積度数が所定の閾値YBよりも初めて大きくなる階級の代表値を抽出し、最小階調情報値Yiminとして出力する。
【0046】
また輝度ヒストグラム解析部73は、輝度ヒストグラム算出部71で生成されたヒストグラムにおいて、累積度数が所定の閾値YC(たとえば画素数全体の半分)よりも初めて大きくなる階級の代表値を抽出し、中間輝度階調Yimidとして出力する。
【0047】
なお、これら最大階調情報値Yimax、最小階調情報値Yimin、中間輝度階調Yimidの算出に利用する累積度数は、階級の最小から最大に向かって度数を累積して得られる累積度数HYB・階級の最大から最小に向かって度数を累積して得られる累積度数HYWのいずれを用いてもよい。前述の例では、最大階調情報値Yimaxおよび中間輝度階調Yimidを算出するために累積度数HYBを利用し、最小階調情報値Yiminを算出するために累積度数HYWを利用している。
【0048】
図3に示されるヒストグラムでは、累積度数HYWが閾値YAよりも初めて大きくなる階級の代表値は“188”であるため、この“188”が最大階調情報値Yimaxとなる。このように、最大階調情報値Yimaxは1フレーム分の映像信号Dbにおける最大階調値“204”とは異なり、累積度数HYW及び閾値YAを用いて検出された最大階調値に準ずる値である。なお、処理の軽減のため最大階調値自体を最大階調情報値として用いてもよい。これは以下の最小階調情報値についても同様である。
【0049】
また図3の例では、累積度数HYBが閾値YBよりも初めて大きくなる階級の代表値が“20”であるため、この“20”が最小階調情報値Yiminとなる。この最小階調情報値Yiminは、1フレーム分の映像信号Dbにおける最小階調値ではなく、累積度数HYB及び閾値YBを用いて検出された、最小階調値に準ずる値となる。
【0050】
そして、累積度数HYBが閾値YCよりも初めて大きくなる階級の代表値は“76”であるため、この“76”が中間階調情報値Yimidとなる。通常、この中間階調情報値Yimidは、1フレーム分の映像信号Dbにおける全体の画素数の半分(50%)に達したときの階調値となる。
【0051】
また輝度ヒストグラム解析部73は、1フレーム分の映像信号Dbから得られる輝度情報Yから、平均輝度情報値を演算して平均輝度値Yiaveとして出力する。具体的には、輝度信号階調数をYi、その輝度信号階調の画素数をnYiとして平均輝度値=Σ(Y×nYi)/ΣnYiを計算する。平均輝度値Yiaveは、閾値により切り分けることで、例えば「高」・「中」・「低」等のように簡易的に表示することもできる。
【0052】
以上のように、輝度ヒストグラム解析部73は最大階調情報値Yimax、最小階調情報値Yimin、中間輝度階調Yimid、平均輝度値Yiaveの4種の特徴値を算出し、特徴判断部75に出力する。本例では、これらの値を輝度情報Yに関する輝度特徴値Hycとして出力したが、これらの情報のうち一部のみを輝度特徴値Hycとして出力してもよい。また、必要に応じてさらなる特徴値を算出し、輝度特徴値Hycとして出力することもできる。
【0053】
このように輝度特徴値の数を増加させることにより、特徴判断の精度を向上させることができる。また、減少させることにより、特徴判断の際の処理数を低減させることができる。
【0054】
その他の輝度特徴値Hycの一例として、例えば輝度ヒストグラムHyに関する標準偏差、分散などの統計値を算出する方法等が挙げられる。
【0055】
輝度特徴値Hycは、閾値により切り分けることで、例えば「高」・「中」・「低」等のように簡易的に表示することが望ましい。このように簡易表示を行うことで、輝度特徴を保持したまた情報量を削減し、計算量を減らすことができる。
【0056】
<A−2−2.映像特徴検出部7の動作(色ヒストグラム解析)>
画像処理装置3に備えられた、映像特徴検出部7における色ヒストグラムに関する動作について以下説明する。
【0057】
色ヒストグラム算出部72は、入力された色相信号H、彩度信号Sを元として、色情報Hcを算出し、色ヒストグラム解析部74へと出力する。
【0058】
図4は、色ヒストグラム算出部72が生成する色情報Hcの一例を示したものである。図4で示した例では、色情報Hcとして、色相信号Hに関する色相ヒストグラムHHを生成している。以下、色ヒストグラム算出部72により生成された映像信号Dbにおける色相情報Hのヒストグラムを規定した情報を色相ヒストグラムHHと呼ぶ。
【0059】
図4で示した例において、色情報Hcを作成するにあたり、色相情報Hを利用してヒストグラムを作成しているが、色相情報H以外の、彩度情報S等を利用してヒストグラムを作成してもかまわない。また、色相情報H、彩度情報S、あるいはRGB等のそのほかの色情報を組み合わせてヒストグラムを作成してもかまわない。
【0060】
図4で示した例において、図中の横軸は色相角を示し、縦軸は度数、つまり1フレーム分の映像信号Dbの色相角に対する画素数を示している。なお以下の説明では、映像信号Dbの色相情報Hは、“0”から“360”までの値を採っているが、“0”から“256”や“0”から“1”などのように、ほかの尺度を利用して表してもよい。なお、本例では0度は赤を表し、続いて60度の黄、120度の緑、180度の水色、240度の青、300度の紫となり、360度で再び赤を表している。
【0061】
本実施の形態1に係る、色ヒストグラム算出部72が生成する色相ヒストグラムHHは、例えば360の色相角を60度ごとに6個の領域に分割し、当該6個の領域を色相ヒストグラムの色相角としている。そして、各色相角での中心値付近の値、本例では、当該中心値に最も近くそれよりも大きい整数値を当該色相角の代表値としている。例えば、色相角“0”から“60”までで構成される階級では、中心値は“30”となるため、当該色相角の代表値は“30”となる。図4の横軸の数字は各色相角の代表値を示している。
【0062】
なお、色相角の中心値が整数であれば、当該中心値を当該色相角の代表値としても良い。また、色相角の中心値が整数でなく小数の場合であっても、色相角の代表値として当該色相角の中心値を採用しても良い。色相角の中心値が小数の場合には、色相角の代表値として当該色相角の中心値付近の整数を採用することによって、演算量を低減できる。
【0063】
さらに演算量を低減する必要があるときには、各色相角の代表値として、便宜的に簡単な数字を割り当ててもかまわない。すなわち、本例の場合には代表値“30”の色相角を、代表値“1”として表し、続いて“2”、“3”・・・のように表すことも可能である。
【0064】
このように、本実施の形態1に係る色ヒストグラム算出部72では、連続する色相角の値からなる領域を一つの階級としているため、図4に示される色相ヒストグラムの各度数は、0〜60度までの色相角の信号の総和となる。例えば、横軸の数値30に示された度数は、1フレーム分の映像信号Dbの輝度信号に含まれる、色相角0度から色相角60度までの信号の総和に相当する。以下、代表値が“i”である色相角の色相をCbh(i),度数を映像信号Dbh(i)と呼ぶ。すなわち図4の例では、0〜60度までの色相角の信号の総和を代表値“30”として表しているため、当該領域の色相をCbh(30),度数を映像信号Dbh(30)と表す。
【0065】
なお、図4の色相ヒストグラムとは異なり、色相角ごとに角度を計数して色相ヒストグラムを生成してもよい。つまり、各色相角を一つの色相角で構成するようにしても良い。この場合には、各色相角の代表値は当該色相角を構成する色相角の値そのものとなる。
【0066】
また、色相角を分割する場合には、その分割数は6以外に設定しても良く、色相ヒストグラムの分割数や範囲を自由に設定しても良い。例えば、色相角“0”から“60”と“300”から“360”の範囲を10度刻み、その他を30度刻みとすることもできる。あるいは、必要のない色相角の度数を省略してもかまわない。このように当該分割数を変化させ、必要のない色相角の度数を省くことにより、色ヒストグラム算出部72での演算量や、色相ヒストグラムの精度を調節することができる。分割数や範囲は、検出したい特徴の色相に合わせて選択する等の方法が考えられる。
【0067】
本例では色相ヒストグラムの度数は1フレーム分の映像信号Dbの色相角に対する画素数で表しているが、累積画素数として表示してもよい。また、画素数ではなく、全体の画素数に占める割合として、10%等の表示を行ってもよい。
【0068】
図5は色ヒストグラム解析部74による色特徴値Hccの生成例を示す説明図である。同図に示すように、色ヒストグラム解析部74は色相ヒストグラムHHの各度数Dbh(i)が、所定の色相判定閾値TDbh2より小さい値であるか、閾値TDbh2とそれより大きな所定の閾値である閾値TDbh1値の間の値であるか、色相判定閾値TDbh1より大きい値であるかを判定し、3つの分類情報値、低・中・高のうち、いずれか一を規定した色相判定情報値Dbhc(i)を算出する。
【0069】
図5に表す例では、Dbh(30)は、所定の閾値TDbh1より大きい値であるため、Dbhc(30)は「高」と指示する値が入力される。また、Dbh(90)は、閾値TDbh2と閾値TDbh1値の間の値であるため、Dbhc(90)は「中」と指示する値が入力される。Dbh(150)、Dbh(210)、Dbh(270)、Dbh(330)は所定の色相判定閾値TDbh2より小さい値であるため、Dbhc(150)、Dbhc(210)、Dbhc(270)、Dbhc(330)は「低」と指示する値が入力される。
【0070】
なお、本例では所定の閾値は二種類であり高中低の3通りに分類したが、3通り以外に分類してもでもよい。すなわち閾値は二種類より多くても、少なくてもかまわない。閾値を多く調整することにより、より詳細な分類が可能になる。また、閾値の数を少なくすることにより、処理量を低減することができる。
【0071】
また、色相角領域Cbh(i)によって閾値の値を変えてもかまわない。例えば、Dbh(30)に関しては、所定の閾値TDbh1のみにより判断し、Dbh(90)は、所定の閾値TDbh1及び、別の所定の閾値TDbh2、TDbh3により色相判定情報値Dbhc(i)を求めるという手法も取ることができる。このように、色相角領域Cbh(i)によって閾値の値を変えることにより、詳細に解析を行いたい色相を重点的に解析し、詳細な解析が不要な色相の解析精度を下げる等の効果を得ることができる。
【0072】
色ヒストグラム解析部74は、色相角領域Cbh(i)における色相判定情報値Dbhc(i)を、色特徴値Hccとして特徴判定部75に出力する。すなわち図5に表す例では、Dbhc(30)=「高」、Dbhc(90)=「中」、Dbhc(150)=Dbhc(210)=Dbhc(270)=Dbhc(330)=「低」を意味する色特徴値Hccが、特徴判定部75に出力される。
【0073】
なお、色特徴値Hccを出力するにあたって、色相角領域Cbh(i)と色相判定情報値Dbhc(i)のうち、いずれか一方を規定することにより、色相角領域Cbh(i)のみ、あるいは、色相判定情報値Dbhc(i)のみを出力してもかまわない。
【0074】
たとえば、色相判定情報値Dbhc(i)=「高」である色相角領域Cbh(i)を出力する方法が考えられる。図5の例に戻ると、Dbhc(i)=「高」である色相角領域Cbh(i)として、色相角領域Cbh(30)が色特徴値Hccとして特徴判定部75に出力される。
【0075】
また、他の例として、色相角領域Cbh(30)の色相判定情報値Dbhc(30)を出力するという、色相角領域を指定した方法が考えられる。図5の例に戻ると、色相角領域Cbh(30)の色相判定情報値として、色相判定情報値「高」が色特徴値Hccとして特徴判定部75に出力される。
【0076】
なお、必要により、色相判定情報値のうち、一部のみを色特徴値Hccとして出力し、残りの色相判定情報値を出力しないという手段を取ることもできる。このように、出力する情報を制限することにより、情報量を削減し、計算量を減らすことができる。
【0077】
なお、本例では、色特徴値Hccを閾値により「高」・「中」・「低」と3種類に切り分けることで、色特徴を保持したまた情報量を削減しているが、切り分けを行う個数は、3以外でもかまわない。また、色相ヒストグラムHHの各度数Dbh(i)をそのまま出力してもよい。
【0078】
<A−2−3.特徴判断部75の動作>
画像処理装置3に備えられた、映像特徴検出部7における特徴判断部75の動作について以下説明する。
【0079】
特徴判定部75は、輝度ヒストグラム解析部73および色ヒストグラム解析部74から出力される輝度特徴値Hycおよび色特徴値Hccの組み合わせ内容に基づき、映像の特徴を判定し、映像特徴値Psとして、映像変化検出部9に出力する。
【0080】
図6は、特徴判定部75に入力された輝度特徴値Hycおよび色特徴値Hccの組み合わせに対し、映像特徴を7種類に分類した一例である。説明の簡単化のため、本例では、前述の例より輝度特徴値Hycおよび色特徴値Hccを少なくし、Dbhc(30)、Dbhc(90)、Dbhc(150)、Yiaveを利用して、映像特徴毎に7種類へと分類を行い、映像特徴値Ps(i)を出力している。本例では特徴を7種類に分類しているが、分類を行う特徴はいくつでもよい。
【0081】
また、本例では色相や輝度に関する特徴へと分類しているが、分類基準はそれに限ったものではなく、映像信号Dbの特徴を表すものであればどのようなものでもかまわない。
【0082】
特徴判定部75による特徴判定の組み合わせ内容は、従来の危険映像や、人間の視覚特性データを元に任意に作成することが出来る。図6の例では、Dbhc(30)、Dbhc(90)、Dbhc(150)が「低」であり、Yiaveが「高」であれば、Ps(1)「ライト」を指示する映像特徴値Psが映像変化検出部9に出力される。
【0083】
なお、本例と異なり、輝度特徴値Hycおよび色特徴値Hccの内容を増やすことにより、より細かい特徴分類が可能になる。
【0084】
上記した例では、7種類の特徴に分類したため、分類名を特徴名で呼ぶこととする。図6の分類で、ライト(Ps(1))は、白色等の明るい映像が多く含まれる特徴を持つ。レッド(Ps(2))は、赤色が多く含まれる映像、イエロー(Ps(3))は黄色が多く含まれる映像、グリーン(Ps(4))は緑色が多い映像である。ダーク(Ps(5))は黒色等の暗い映像が多く含まれる特徴を持つ。カラフル(Ps(6))は多くの色が混ざっている映像になる。また、ノーマルはこれといった特徴を持たない映像である。
【0085】
このように、特徴判定部75では、映像信号Dbから得られた色相情報H、彩度情報S、輝度情報Vを基にして、特徴を判定することができる。
【0086】
本例における映像特徴検出部7では、入力される映像信号Dbは1フレームの映像信号であるが、1フレームの映像信号ではなく、複数フレームの映像信号を利用してもよい。たとえば、フレーム補間技術に見られるように、複数フレーム分の映像信号を利用して、新しい映像信号を作成した場合等において、複数フレームを元にして作成した新しい映像信号を元に、解析を行ってもかまわない。
【0087】
<A−2−4.映像変化検出部9の動作>
画像処理装置3に備えられた、映像変化検出部9の動作について以下説明する。
【0088】
映像変化検出部9は、映像特徴検出部7から出力される映像特徴値Psを解析し、短期間における一定回数以上の変化を検出した場合に、映像信号Dbを危険映像であると判断し、映像信号Dbの危険性の有無、人体に与える影響の種類等の情報を含む制御信号としての制御値Crを映像信号対策部6の対策制御部4に出力する。
【0089】
短期間における一定回数以上の変化を、Tfフレーム以内に映像特徴値PsがTt回以上、推移することとする。Tfフレーム以内において、Tt回以上の変化が検出された場合、制御値Crが出力される。Tf、Ttを検出パラメータと呼ぶ。
【0090】
図7は、映像変化検出部9に入力された映像信号Dbの映像特徴値Psに対し、映像信号Dbが危険映像であると判断する方法の一例である。図6で利用した特徴分類Ps(1)〜Ps(7)を利用して説明する。
【0091】
図7で示した例において、図中の横軸は解析フレーム(すなわち時間経過)を示し、縦軸は映像特徴値Ps(i)を示している。つまり図中の折れ線は、映像特徴値Ps(i)の推移を表している。
【0092】
短期間における推移として、例えば、検出パラメータTf=10フレーム、Tt=5回とした場合、図7における6〜12フレーム間において、Ps(2)およびPs(3)間で6回推移を検出しており、このような映像特徴値Psの推移を検出した場合には、映像信号Dbは危険映像であると判断する。本例で挙げた映像変化は、レッド(Ps(2))およびイエロー(Ps(3))が数フレームの間で激しく変化する映像となる。
【0093】
映像変化検出部9において、危険映像を判断する方法についての別の例を図8に示す。同様に検出パラメータTf=10フレーム、Tt=5回とした場合、図8における4〜12フレーム間において、Ps(2)〜Ps(5)間で8回推移を検出しており、このような映像特徴値Psの推移を検出した場合には、映像信号Dbは危険映像であると判断する。本例で挙げた映像変化は、数フレームの間で特徴が大きく変化する映像となる。
【0094】
このように、短期間における推移に関しては、同一映像特徴値間のみの推移の場合、同一映像特徴値間以外の推移が含まれている場合、ともに利用することができる。
【0095】
本例において、検出パラメータTf・Ttともに一定である必要はなく、映像特徴値Psの変化に応じて、調整してもよい。また、映像特徴値Psの変化によっては、危険映像ではないと判断する場合も考えられる。
【0096】
図9は、映像変化検出部9において入力された映像信号Dbが危険映像であることを判断するために利用する検出パラメータ、および出力される制御値の一例である。図に示すように、例えば、映像特徴値がPs(1)とPs(5)の間で変化する場合には、5フレーム以内において、3回以上の変化が検出された場合、制御値CrとしてCr(2)が出力される。ここでCr(2)はいくつかある制御値Crのうちの一つであり、後述する対策実行部5における対策に応じて出力することができるものである。
【0097】
上記の例のような変化は暗い映像が多いという特徴を持つダーク(Ps(5))と明るい映像が多いという特徴を持つライト(Ps(1))が頻繁に繰り返される、白黒画像の点滅に近い映像となる。暗い部屋で視聴した場合等において、強いストレスを与えられる可能性がある危険映像であり、映像信号Dbに対する処置が必要である。制御値によってその処置内容等を指示する値を出力する。
【0098】
図9における別の例を示す。映像特徴値がPs(6)とPs(7)の間で変化する場合には、短期間における変化があった場合でも、制御値Crは出力されない。このように、映像特徴値によっては、危険映像と判断しないという判定を行う場合もある。
【0099】
映像変化検出部9において、映像信号の特徴を検出し、特徴の短期間における推移を検出することにより、危険映像を判断することができる。また、特徴毎に検出パラメータTr、Tfおよび制御値Crを変化させることも可能であるため、検出の精度を調整することができる。例えば、高精度の検出が必要である危険映像の検出精度を上げることができる。
【0100】
また、映像信号の特徴を考慮した制御値Crを出力することで、危険映像に対して行われる処置を、特徴を反映させた効果的なものとすることができる。
【0101】
ここで、準備される制御値Crは、Ps(i)の組み合わせの数だけ配備してもよいし、映像特徴数と同じ数であってもよい。また、制御値Crを1種類のみ規定して、危険信号の有無のみを送信してもかまわない。
【0102】
また本例と異なり、短期間における推移が2種類以上の映像特徴値Ps(i)にわたる変化である場合にも、各々の検出パラメータTf、Tt、および制御値Crを設定してかまわない。
【0103】
制御値Crを、図9のように映像特徴値Ps(i)の組み合わせに合わせて出力することより、ある特定の映像特徴から、別の特定の映像特徴への変化を規定することができる。映像信号の特定の特徴変化を一意に決定するのが望ましい場合には、制御値Crを一意に設定すればよい。
【0104】
制御値Crを映像信号の特徴変化に合わせて作成することで、映像信号対策部6において危険映像に対して行われる処置を、特徴を反映させた効果的なものとすることができる。
【0105】
映像変化検出部9は映像信号Dbの映像特徴値Psを利用して、制御値Crを算出する構成であればどのような構成でもかまわない。
【0106】
制御値Crを出力中に、現在までに検出された制御値Cr(Bf)と異なった映像特徴変化が見られ、新しい制御値Cr(Af)が算出された場合、Cr(Bf)、Cr(Af)のいずれを出力してもかまわない。また、Cr(Bf)、Cr(Af)の双方が出力されたことを表す別の制御値Cr(Ba)を新たに出力してもかまわない。
【0107】
Cr(Af)を出力する構成にした場合には、危険映像の変化をその都度検出し、危険映像の種類に合わせた対応を取ることができる。一方Cr(Ba)を出力する構成にした場合、危険の種類が頻繁に変化する特徴の危険映像であることが分かるため、危険映像全般に効果がある一般的な処置を取る等の対策が考えられる。
【0108】
なお、本例では、映像信号Dbが危険映像であると判断した場合に、制御値Crを映像信号対策部6に出力しているが、映像信号Dbが危険映像ではない場合にも、制御値Crを出力する構成にしてもかまわない。この場合には、制御値Crは映像信号Dbに関する対応が不要であることを意味する情報や、映像信号Dbの変化が危険ではないことを意味する情報等を出力すればよい。
【0109】
本例と異なり、検出パラメータTf、Tt、および制御値Crをすべて同値に設定してもかまわない。ただし、この場合は特徴に合わせた検出を行うことができなくなり、処置の効果は減少する。
【0110】
映像変化検出部9が、危険映像を検出するまでの数フレームに関しては、検出が完了していないため危険映像がそのまま出力されてしまうが、危険映像は続けて視聴することにより、人体に強い影響を与える傾向にあるため、検出に必要な短時間において、人体に与える影響は少ない。検出までの時間を短縮する場合には、検出パラメータTf、Ttを小さく設定すればよい。検出時間は短縮できるが、検出精度が多少低下することになる。
【0111】
映像変化検出部9による制御値Crの出力は、映像特徴値Psの変化が終了するまで続けられる。なお、映像特徴値Psの変化が終了した後、一定時間経過や映像コンテンツの終了等、そのほかの条件により制御値Crの出力を停止させてもかまわない。
【0112】
ただし前述のように、Psの変化が終了すること以外の条件により制御値Crの出力を停止させた場合、危険映像ではない映像信号に対しても処置が行われることになり、コンテンツの内容が損なわれる可能性がある。一方、同一コンテンツには同じような危険映像が再度含まれる可能性もあり、再度危険映像が検出された際には、危険映像検出までの数フレームが不要となるため、効果も期待できる。
【0113】
<A−2−5.映像信号対策部6の動作>
画像処理装置3に備えられた、映像信号対策部6の動作について以下説明する。
【0114】
映像信号対策部6に備えられている対策制御部4は、制御信号としての制御値Crに対応した映像信号Dbに対する対策指示値Prを選択し、対策実行部5に出力する。対策指示値Prは、危険映像の特徴等を基として、自由に調整可能である。
【0115】
対策制御部4から対策実行部5に出力される、対策指示値Prによる指示は、例えば、映像のフレーム数を減少させ変化の度合いを減少させる方法、文字や音声により視聴者に注意を促す方法、別の映像や静止画像へと置換する方法、輝度や彩度等の値を減少させる方法等が考えられる。
【0116】
対策指示値Prによる指示は、映像特徴から算出された制御信号としての制御値Crを考慮して作成するのが望ましい。たとえば、白黒画像が点滅するような映像である場合は、フレーム数を減少させ、変化の度合いを減少させる方法等が考えられる。一方、黄色や水色等の鮮やかな色合いが点滅するような映像である場合には、映像信号の彩度を減少させた後、フレーム数を減少させ、変化の度合いを減少させる方法等が考えられる。
【0117】
対策制御部4により出力される対策指示値Prの一例を、図9の例を利用して説明する。図9の例では、映像変化検出部9から制御信号としての制御値Crが1から4の4種類の値で出力されている。4値の制御信号としての制御値Crを、それぞれCr(1)、Cr(2)、Cr(3)、Cr(4)というように、Cr(i)の形式で表すこととすると、Cr(i)それぞれに対応する対策指示値Prが、対策制御部4により導出される。
【0118】
ここでCr(i)に対応するPr(i)は、すべて同じでもかまわないし、それぞれ異なっていてもかまわない。すべて同じである場合には、例えばCr(i)(i=1,2,3,4)=Pr(1)のように構成され、またそれぞれ異なる場合には、例えばCr(i)=Pr(i)(i=1,2,3,4)のように構成される。
【0119】
また、本例では、映像信号Dbが危険映像であり対策が必要であると判断した場合に、対策指示値Prを出力しているが、映像信号Dbが危険映像ではない場合に、対策指示値Prを出力する構成にしてもかまわない。この場合には、対策指示値Prは映像信号Dbに関する対策が不要であることを意味する情報や、映像信号Dbの変化が危険ではないことを意味する情報等を出力すればよい。
【0120】
図9における例において、短期間Tfにおける、レッド(Ps(2))とグリーン(Ps(4))の一定回数Tt以上の変化を検出した際に、制御信号としての制御値Cr(4)が出力される。制御信号としての制御値Cr(4)に対応する対策指示値Prとして、Pr(4)が導出される。
【0121】
Pr(4)は赤色と緑色の短期間における変化であるため、暗い部屋で視聴した場合等において、強いストレスを与えられる可能性がある危険映像であり、映像信号Dbに対する処置が必要である。そこで処理の例として、危険映像中の任意の1フレームの映像情報を保持し、保持した映像を、静止画像として一定時間表示するという方法をとる。
【0122】
映像信号対策部6に備えられている対策実行部5は、対策制御値4より出力される対策指示値Prに基づいて画像処理を行い、危険映像が人体に与える影響を、削減あるいは無効化する。
【0123】
危険映像に対する画像処理は、画像処理を行わないフレームがあってもよい。例としては、フレーム数を減少させる場合等が考えられ、表示を行わないフレームが生じる反面、表示を行わないフレームの代わりに、静止画像として表示し続ける等の手法が考えられる。
【0124】
<A−3.効果>
この発明にかかる実施の形態1によれば、画像表示装置において、受信した映像信号Dbに含まれる所定の映像情報からフレームごとの映像特徴を検出し、映像特徴信号Psを出力する映像特徴検出部7と、前記映像特徴信号Psが所定時間内に一定回数以上変化した場合、制御信号としての制御値Crを出力する映像変化検出部9と、前記制御値Crを解析しその解析結果に応じて、前記映像信号Dbに所定の処置を行う映像信号対策部6とを備えることで、危険映像を検出することができ、これに適切な処置をすることにより危険映像が人体に与える影響を、削減あるいは無効化する等の処置をすることができる。
【0125】
また、この発明にかかる実施の形態1によれば、画像表示装置において、所定の処置は、映像信号Dbに含まれる人体に悪影響を及ぼす要因を抑制する処置であることで、危険映像を検出することができ、これに適切な処置をすることにより危険映像が人体に与える影響を、削減あるいは無効化する等の処置をすることができる。
【0126】
また、この発明にかかる実施の形態1によれば、画像表示装置において、所定の映像情報が、輝度情報V、色相情報H、彩度情報Sのいずれか複数個を含むことで、明るさの変化や、色の変化の特徴を取得し、それらの情報を組み合わせる等により精度の高い映像特徴の検出が可能となり、危険映像の検出の精度を向上させることができる。
できる。
【0127】
また、この発明にかかる実施の形態1によれば、画像表示装置の映像変化検出部9において、映像特徴信号としての映像特徴値Psが、予め定められた特定の映像特徴から予め定められた別の特定の映像特徴へと変化した場合に、制御信号としての制御値Crを出力することで、映像信号Dbの特徴を考慮し、変化の特徴に合わせた処置を予め規定することができ、映像信号対策部6において危険映像に対して行われる処置を、特徴を反映させた効果的なものとすることができる。映像変化の特定の軌跡を判断することができるため、予め解析されている危険映像と比較し、特定の特徴変化における特に危険性の高い映像等の識別が可能である。
【0128】
また、この発明にかかる実施の形態1によれば、画像表示装置の映像特徴検出部7において、1フレーム分の映像信号Dbの替わりに、複数フレーム分の映像信号Dbから、映像特徴を検出することで、倍速駆動等の複数フレームから生成された映像に対しても、危険映像を判定可能である。
【0129】
また、この発明にかかる実施の形態1によれば、画像表示装置の映像信号対策部6において、制御信号としての制御値Crの異なる解析結果に応じて、予め定められた異なる処置を所定の処置として適用することにより、映像信号に対する処置を変更することで、特徴によって対応する処置を実行でき危険映像の危険性にあった、より効果的な処置が可能になる。
【0130】
また、本実施の形態1に係る画像表示装置は、映像信号Dbから、危険映像を検出する手法として、映像表示装置に限らず映像に関わる他分野での利用も考えられる。他の分野での利用として、例えば、ハードディスクやDVD等の映像レコーダー等の映像記録装置が上げられる。
【0131】
なお、映像記録装置において、これらの応用を行った場合、リアルタイムに視聴する場合と異なり、予め解析を行っておくことにより、危険映像の検出までに要する数フレームが不要となり、より安全な映像を提供することができる。予め検出を行う場合には、危険映像に対する処置に関しても同様に、予め行っておくことができる。
【0132】
一方、本実施の形態と同様なことを、上述の特許文献2、特許文献3に記載の技術を用いて行うには、予め内容種が既知であるマルチメディアデータが保持されている必要がある。そのため、初見の番組等では分類を行うことができない。
【0133】
上述の特許文献2、特許文献3に記載の技術では、輝度信号、色相信号、色差信号における閾値のみで危険映像を一様に検出している。そのため、危険映像の特徴を得ることができず、特徴に合わせた処置を行うことができない。また、検出の精度が劣っており、詳細な検出を行うことができない。
【0134】
なお、本実施の形態1に係る画像表示装置では、HSV色空間を例に危険映像を検出したが、たとえばRGB色空間、CMY色空間、HLS色空間、YCbCr色空間、Lab表色系、L*a*b*表色系、L*u*v*表色系、等その他のあらゆる色空間や表色系に関しても適応することができる。
【0135】
また、本実施の形態1における映像特徴の検出方法は、後述する実施の形態2および3においても利用することができるものである。
【0136】
<B.実施の形態2>
<B−1.画像表示装置の構成>
図10は、本発明の実施の形態2に係る画像表示装置の構成を示すブロック図である。本実施の形態2に係る画像表示装置は、上述の実施の形態1に係る画像処理装置において、画像処理装置3の替わりに画像処理装置13を備えるものである。他の構成要素に関しては、実施の形態1に示すものと同様であるので、説明を省略する。
【0137】
<B−1−1.画像処理装置13の構成>
画像表示装置における画像処理装置13の構成について、以下説明する。
【0138】
本実施の形態2に係る画像処理装置13は、受信部2からの出力映像信号Dbを入力される映像信号対策部6及び映像特徴検出部としての領域分割映像特徴検出部17と、領域分割映像特徴検出部17を介して映像信号対策部6に出力する映像変化検出部としての領域分割映像変化検出部19とを備える。映像信号対策部6は、受信部2からの信号が入力される対策実行部5と、領域分割映像変化検出部19からの信号が入力される対策制御部4を備える。
【0139】
映像特徴検出部としての領域分割映像特徴検出部17は、映像信号Dbに含まれる映像情報を元にして、各1フレーム分の映像情報を1つ以上の領域に分割し、領域毎の領域分割特徴信号としての領域分割映像特徴値Paを算出して、映像変化検出部としての領域分割映像変化検出部19に出力する。
【0140】
このとき映像信号Dbの分割数をnとして、分割された映像信号を映像信号Dba(n)と表す。nが多いほど、処理に要する計算量が必要になるが、より詳細な特徴を検出することができる。
【0141】
映像変化検出部としての領域分割映像変化検出部19は、領域毎の領域分割特徴信号としての領域分割映像特徴値Paを元にして、領域分割映像特徴値Paの短期間における一定回数以上の変化を検出した場合に、領域毎の制御値Crnを算出し、領域毎の制御値Crnが一定閾値を超えた場合に、映像信号Dbを危険映像であると判断し、映像信号Dbの危険性の有無、人体に与える影響の種類等の情報を含む制御信号としての制御値Crを対策制御部4に出力する。
【0142】
対策制御4は、対策実行部5が映像信号Dbに対して行う処置内容を示す対策指示値Prを制御値Crに基づいて算出し、対策実行部5に出力する。
【0143】
一方、対策実行部5は、入力された対策指示値Prが対策実行を指示する内容である場合(すなわち、映像信号Dbが危険映像であると判断された場合)に、映像信号Dbに対し処置を行い、危険映像が人体に与える影響を削減あるいは無効化し、処置後の信号を映像信号Dcとして表示部10に出力する。
【0144】
<B−1−2.領域分割映像特徴検出部17の構成>
前述の画像処理装置13における、映像特徴検出部としての領域分割映像特徴検出部17の構成について以下説明する。
【0145】
図11は、図10で示した領域分割映像特徴検出部17の一内部構成例の詳細を示すブロック図である。図11に示されるように、本実施の形態2の画像表示装置における領域分割映像特徴検出部17は、領域分割部178と、領域分割部178からの信号が入力される映像特徴検出部179とを備えている。
【0146】
図11の領域分割映像特徴検出部17は実施の一例であり、領域分割映像特徴検出部17は、映像信号Dbを基にして、領域分割映像特徴値Paが出力可能な構成であればどのようなものでもよい。
【0147】
また映像特徴検出部179は、領域分割部178からの信号が入力されるヒストグラム算出域決定部170及び、ヒストグラム算出域決定部170からの出力を入力するヒストグラム算出部171及び、ヒストグラム算出部171からの出力を入力するヒストグラム解析部173及び、ヒストグラム解析部173からの出力を入力する特徴判定部175を有している。なお図11の構成は一例であり、映像特徴検出部17は本構成に限定されるものではない。
【0148】
図11で示した例では、受信部2から得られ、色相情報H、彩度情報S、明度情報Vを含む映像信号Dbは、領域分割部178に入力される。本実施の形態2では色空間の例として、HSV色空間を利用する。
【0149】
図11で示した例において、入力映像信号Dbがインターレース信号の場合は、2フィールド分を1フレーム分の映像信号として、領域分割部178により変換を行い、新しい映像信号を求める。このように領域分割部178において、ヒストグラム算出域決定部170で処理を行うための前処理を行っても良い。
【0150】
他の前処理の例として、映像信号DbがRGB信号等の、色相情報H、彩度情報S、明度情報Vと異なった表色系で示されている際、既知の計算式により色相情報H、彩度情報S、明度情報Vへと変換することも考えられる。
【0151】
領域分割部178は、1フレーム分の映像信号Dbから予め規定されたn個の領域に分割し、分割された領域における映像信号を、映像信号Dbaとしてヒストグラム算出域決定部170へと出力する。以降、分割された映像信号Dbaに対する処理は、各映像信号Dba(n)に対して行われる。
【0152】
本実施の形態2における映像特徴検出部179は、実施の形態1の映像特徴検出部7において映像信号Dbを入力とする代わりに分割された映像信号Dbaを入力とし、映像信号Dbの特徴を表す映像特徴値Psを出力する代わりに映像信号Dbaの特徴を表す領域分割映像特徴値Paを出力する点において異なっているが、同様の機能を果たしている。しかし、本実施の形態2においては、実施の形態1とは異なる例を利用する。そのため、本実施の形態2において記載される映像特徴検出部179の構成は、実施の形態1においても利用することができるし、本実施の形態1の構成を、本実施の形態2において利用することもできる。
【0153】
<B−2.画像処理装置13の動作>
本実施の形態2に係る映像信号対策部6は、実施の形態1と同じものであり、実施の形態1で説明した動作と同じ動作を行うため、その詳細な動作説明は省略する。
【0154】
以下では、領域分割映像特徴検出部17と、領域分割映像変化検出部19の動作について、それぞれ説明していく。
【0155】
<B−2−1.領域分割映像特徴検出部17の動作>
画像処理装置13における、領域分割映像特徴検出部17の動作について、以下説明する。
【0156】
領域分割映像特徴検出部17は、領域分割部178と、映像特徴検出部179とを備えている。
【0157】
図12は、領域分割部178において行われる映像信号Dbの領域分割例である。図12の例では、映像信号Dbを9個の領域を面積的に分割し、映像信号Dba(1)〜映像信号Dba(9)を映像信号Dbaとして映像特徴検出部179に備えられたヒストグラム算出域決定部170に出力している。
【0158】
本例では映像信号Dbを不均等に分割しているが、均等に分割してもかまわない。また、映像信号Dbの分割数nはいくつでもよい。分割数nとその分割領域の決定は、入力信号のサイズや映像中に含まれる黒帯の面積等の条件により調整される。
【0159】
映像特徴検出部179に備えられたヒストグラム算出領域決定部170は、入力された1フレーム分の領域毎に分割された映像信号Dbaから、さらに、明度情報V、色相情報H、彩度情報Sを抽出する。そして、抽出した色相情報H、彩度情報S、明度情報Vを利用して、色空間を複数の色領域Dbanに分割し、分割した色領域の範囲に関する色領域情報値Dbanを、分割された領域における映像信号Dbaとともに、映像特徴検出部179に備えられたヒストグラム算出部171に出力する。
【0160】
出力される色領域情報値Dbanの例としては、それぞれの領域を指示する色相情報H、彩度情報S、明度情報V等が挙げられる。
【0161】
図13は色空間の全体図を表したものである。分割される色空間の個数をm個とし、映像信号Dba(n)を複数の分割領域Dban(n,m)に分割する例を図14に示す。
【0162】
図14は図13の色空間を色相情報H、彩度情報S、明度情報Vを利用して分割した一例であり、分割領域Dban(n,1)〜Dban(n,9)の9領域に分割している。本例では、彩度情報Sがr1以下である領域と、r1以上である領域に分割している。r1以下である領域に関して、明度情報Vをr3,r4,r5の長さで分割し、Dban(n,1)〜Dban(n,3)を作成している。r1以上である領域に関して、色相情報Hを各々60度ずつに分割し、分割領域Dban(n,4)〜Dban(n,9)を作成している。
【0163】
分割領域Dban(n,1)は、彩度情報Sが小さい値であるため、鮮やかな色合いのない白黒に近い映像の領域である。そのため、分割領域Dban(n,1)は白色に近く、分割領域Dban(n,3)は黒色に近い映像になる。
【0164】
分割領域Dban(n,4)は色相角0度から60度を表し、赤から黄へと変化する色合い、分割領域Dban(n,5)は色相角60度から120度を表し、黄から緑へと変化する色合い、分割領域Dban(n,6)は色相角120度から180度を表し、緑から水色へと変化する色合い、分割領域Dban(n,7)は色相角180度から240度を表し、水色から青へと変化する色合い、分割領域Dban(n,8)は色相角240度から300度を表し、青から紫へと変化する色合い、分割領域Dban(n,9)は色相角300度から360度を表し、紫から赤へと変化する色合いを表す。
【0165】
図14に示す例では、分割領域Dban(n,1)〜Dban(n,9)の9領域に分割しているが、図14に示す例より、多くても少なくてもかまわない。また、分割にあたり、色相情報H、彩度情報S、明度情報Vのうち、一部の情報を省略してもよい。精度は落ちるものの、高速な演算が可能になる。
【0166】
色空間の分割においては、色相情報H、彩度情報S、明度情報Vは均一になるように分割を行っても、不均一になるように分割を行ってもよい。すなわち、領域を分割する場合には、その分割数mや範囲は自由に設定しても良い。
【0167】
映像特徴検出部179に備えられたヒストグラム算出部171は、映像信号Dbaを元として、入力された色領域情報値Dbanにおける各々の特徴情報Haを算出し、映像特徴検出部179に備えられたヒストグラム解析部173へと出力する。
【0168】
図15は、ヒストグラム算出部171が生成する特徴情報Haの一例を示したものである。図15で示した例では、図14の例を利用し、特徴情報Haとして、1フレーム分の映像信号Dbaの分割領域Dban(n,m)に対する画素数を算出し、ヒストグラムを生成している。以下、ヒストグラム算出部171により生成された映像信号Dbaにおける各色領域Dban(n,m)のヒストグラムを規定した情報を色ヒストグラムHAと呼ぶ。
【0169】
図15で示した例において、図中の横軸は分割領域Dban(n,m)を示し、縦軸は度数、つまり1フレーム分の映像信号Dbaの分割領域Dban(n,m)に対する画素数を示している。以降、分割領域Dban(n,m)に対する画素数をDbad(n,m)と表す。
【0170】
本例では色相ヒストグラムの度数は1フレーム分の映像信号Dbaの分割領域Dban(n,m)に対する画素数で表しているが、累積画素数として表示してもよい。また、画素数ではなく、全体の画素数に占める割合として、10%等の表示を行ってもよい。
【0171】
図16はヒストグラム解析部173による特徴値Hacの生成例を示す説明図である。同図に示すように、ヒストグラム解析部173は色ヒストグラムHAの各度数Dbad(n,m)が、所定の判定閾値TDbh2より小さい値であるか、閾値TDbh2とそれより大きな所定の閾値である閾値TDbh1値の間の値であるか、判定閾値TDbh1より大きい値であるかを判定し、3つの分類情報値、低・中・高のうち、いずれか一を規定した判定情報値Dbac(n,m)を算出する。
【0172】
図16に表す例では、Dbad(n,1)、Dbad(n,9)は、所定の閾値TDbh1より大きい値であるため「高」と指示する値が入力される。また、Dbad(n,2)、Dbad(n,8)は、閾値TDbh2と閾値TDbh1値の間の値であるため「中」と指示する値が入力される。Dbad(n,3)〜Dbad(n,7)は所定の判定閾値TDbh2より小さい値であるため「低」と指示する値が入力される
なお、本例では所定の閾値は二種類であり高中低の3通りに分類したが、3通り以外に分類してもでもよい。すなわち閾値は二種類より多くても、少なくてもかまわない。閾値を多く調整することにより、より詳細な分類が可能になる。また、閾値の数を少なくすることにより、処理量を低減することができる。
【0173】
また、分割領域Dban(n,m)によって閾値の値を変えてもかまわない。例えば、Dban(n,1)に関しては、所定の閾値TDbh1のみにより判断し、Dban(n,2)は、所定の閾値TDbh1及び、別の所定の閾値TDbh2、TDbh3により判定情報値Dbac(n,m)を求めるという手法も取ることができる。このように、分割領域Dban(n,m)によって閾値の値を変えることにより、詳細に解析を行いたい領域を重点的に解析し、詳細な解析が不要な領域の解析精度を下げる等の効果を得ることができる。
【0174】
ヒストグラム解析部173は、分割領域Dban(n,m)における判定情報値Dbac(n,m)を、色特徴値Hacとして映像特徴検出部179に備えられた特徴判定部175に出力する。
【0175】
すなわち図16に表す例では、Dbac(n,1)=Dbac(n,9)=「高」、Dbac(n,2)=Dbac(n,8)=「中」、Dbac(n,3)=Dbac(n,4)=Dbac(n,5)=Dbac(n,6)=Dbac(n,7)=「低」を意味する色特徴値Hacが、特徴判定部175に出力される。
【0176】
なお、色特徴値Hacを出力するにあたって、分割領域Dban(n,m)と判定情報値Dbac(n,m)のうち、いずれか一方を規定することにより、分割領域Dban(n,m)のみ、あるいは、判定情報値Dbac(n,m)のみを出力してもかまわない。
【0177】
たとえば、判定情報値Dbac(n,m)=「高」である分割領域Dban(n,m)を出力する方法が考えられる。図16の例に戻ると、Dbac(n,m)=「高」である分割領域Dban(n,m)として、分割領域Dban(n,1)、Dban(n,9)が色特徴値Hacとして特徴判定部175に出力される。
【0178】
また、他の例として、分割領域Dban(n,1)の判定情報値Dbac(n,1)を出力するという、分割領域を指定した方法が考えられる。図16の例に戻ると、分割領域Dban(n,1)の判定情報値として、判定情報値「高」が色特徴値Hacとして特徴判定部175に出力される。
【0179】
なお、必要により、判定情報値のうち、一部のみを色特徴値Hacとして出力し、残りの判定情報値を出力しないという手段を取ることもできる。このように、出力する情報を制限することにより、情報量を削減し、計算量を減らすことができる。
【0180】
なお、本例では、色特徴値Hacを閾値により「高」・「中」・「低」と3種類に切り分けることで、色特徴を保持したまた情報量を削減しているが、切り分けを行う個数は、3以外でもかまわない。また、色ヒストグラムHAの各度数Dbad(n,m)をそのまま出力してもよい。
【0181】
特徴判定部175は、ヒストグラム解析部173から出力される色特徴値Hacの組み合わせ内容に基づき、映像の特徴を判定し、領域分割映像特徴値Paとして、領域分割映像変化検出部19に出力する。
【0182】
図17は、特徴判定部175に入力された色特徴値Hacの組み合わせに対し、映像特徴を7種類に分類した一例である。説明の簡単化のため、本例では、前述の例より色特徴値Hacを少なくし、Dbac(n,1)、Dbac(n,3)、Dbac(n,4)、Dbac(n,5)、Dbac(n,6)を利用して、映像特徴毎に7種類へと分類を行い、領域分割映像特徴値Pa(n,i)を出力している。本例では特徴を7種類に分類しているが、分類を行う特徴はいくつでもよい。
【0183】
また、本例では色相や輝度に関する特徴へと分類しているが、分類基準はそれに限ったものではなく、映像信号Dbaの特徴を表すものであればどのようなものでもかまわない。
【0184】
特徴判定部175による特徴判定の組み合わせ内容は、従来の危険映像や、人間の視覚特性データを元に任意に作成することが出来る。図17の例では、Dbac(n,1)、Dbac(n,3)、Dbac(n,4)、Dbac(n,5)が「低」であり、Dbac(n,6)が「高」であれば、Pa(n,4)「グリーン」を指示する領域分割映像特徴値Paが領域分割映像変化検出部19に出力される。なお、本例と異なり、特徴値Hacの内容を増やすことにより、より細かい特徴分類が可能になる。これといった特徴的を持たない映像である。
【0185】
このように、特徴判定部175では、映像信号から得られた色相情報H、彩度情報S、輝度情報Vを基にして、特徴を判定することができる。特徴の判定は分割された領域における映像信号Dba(n)に対してそれぞれ行われるため、各分割領域Dban(n,m)における特徴を得ることができる。
【0186】
本例における領域分割映像特徴検出部17では、入力される映像信号Dbは1フレームの映像信号であるが、1フレームの映像信号ではなく、複数フレームの映像信号を利用してもよい。たとえば、フレーム補間技術に見られるように、複数フレーム分の映像信号を利用して、新しい映像信号を作成した場合等において、複数フレームを元にして作成した新しい映像信号を元に、解析を行ってもかまわない。
【0187】
<B−2−2.領域分割映像変化検出部19の動作>
画像処理装置13に備えられた、映像変化検出部としての領域分割映像変化検出部19の動作について、以下説明する。
【0188】
領域分割映像変化検出部19は、領域分割映像特徴検出部17から出力される領域分割映像特徴値Paを解析し、短期間における一定回数以上の変化を、一定領域以上において検出した場合に、映像信号Dbを危険映像であると判断し、映像信号Dbの危険性の有無、人体に与える影響の種類等の情報を含む制御信号としての制御値Crを映像信号対策部6の対策制御部4に出力する。
【0189】
短期間における一定回数以上の変化を、Tfフレーム以内に領域分割映像特徴値PaがTt回以上、推移することとする。また、短期間における一定領域以上の変化を、Ta個以上とする。Tfフレーム以内において、Tt回以上の変化が検出された領域が、Ta個以上である場合、制御値Crが出力される。本実施の形態2では、Tf、Tt、Taが検出パラメータとなる。
【0190】
各映像信号Dba(n)において、Tfフレーム以内に領域分割映像特徴値PaがTt回以上、推移した場合には制御信号としての制御値Crn(n)を算出する。任意の制御信号としての制御値Crn(x)が算出された映像信号Dba(n)がTa個以上である場合、制御信号としての制御値Crn(x)を、制御値Crとして映像信号対策部6の対策制御部4に出力する。
【0191】
Ta個以上の制御信号としての制御値Crn(x)を算出する映像信号Dba(n)が複数存在する場合、より大きな面積を占める領域を取る方法、あるいはより多くの数を持つ領域を取る方法等が考えられる。
【0192】
本例において、検出パラメータTf・Tt・Taともに一定である必要はなく、領域分割映像特徴値Paの変化に応じて、調整してもよい。また、領域分割映像特徴値Paの変化によっては、危険映像ではないと判断する場合も考えられる。ただし、本例においては、出力される制御信号としての制御値Crは映像信号Dbに対して一意に決まるため、各映像信号Dba(n)における映像変化を表す制御信号としての制御値Crn(n)は同時に決定するのが望ましい。
【0193】
実施の形態1における映像変化検出部9の動作例は、図7、8、9に示した例で表されたが、本実施の形態2における領域分割映像変化検出部19も同様に、図7、8、9に示した例を利用することができる。ただし、映像特徴値Psの代わりに、領域分割映像特徴値Paを入力し、制御値Crの代わりにCrnを入力する。
【0194】
そのため、短期間における推移に関しては、同一映像特徴値間のみの推移の場合、同一映像特徴値間以外の推移が含まれている場合、ともに利用することができる。また、映像特徴値によっては、危険映像と判断しないという判定を行うこともできる。
【0195】
領域分割映像変化検出部19の動作を、図12で示した分割された映像信号Dba(1)〜映像信号Dba(9)を利用した例(図18参照)により説明する。
【0196】
図18に示すように、映像信号Dba(1)〜映像信号Dba(9)における制御信号としての制御値Crn(n)(n=1,2,・・・,9)が各々Crn(a),Crn(b),Crn(c),Crn(d)で表されている。検出パラメータTa=4とした場合、4個以上の領域を持つCrn(n)はCrn(a)のみとなり、制御値CrとしてCrn(a)を出力する。
【0197】
図18の例において、検出パラメータTa=3である場合、3個以上の領域を持つCrn(n)はCrn(a),Crn(b)の2種類存在する。Crn(a)は4個、Crn(b)は3個であるので、より多くの数を満たすCrn(a)を制御値Crとして出力してもよいし、より多くの面積を占めるCrn(b)を制御値Crとして出力してもよい。
【0198】
なお、本例の検出パラメータTaは、条件を満たす領域の数として定義しているが、本例で一部触れたように、条件を満たす領域の面積として定義することも可能である。
【0199】
領域分割映像変化検出部19において、映像信号の特徴を検出し、特徴の短期間における推移を検出することにより、危険映像を判断することができる。また、特徴毎に検出パラメータTr、Tf、Taおよび制御値Cr(制御値Crn)を変化させることも可能であるため、検出の精度を調整することができる。例えば、高精度の検出が必要である危険映像の検出精度を上げることができる。
【0200】
また、映像信号の特徴を考慮した制御値Crを出力することで、危険映像に対して行われる処置を、特徴を反映させた効果的なものとすることができる。
【0201】
ここで、準備される制御値Cr(制御値Crn)は、Pa(i)の組み合わせの数だけ配備してもよいし、映像特徴数と同じ数であってもよい。また、制御値Cr(制御値Crn)を1種類のみ規定して、危険信号の有無のみを送信してもかまわない。
【0202】
また本例と異なり、短期間における推移が2種類以上の領域分割映像特徴値Pa(n,i)にわたる変化である場合にも、各々の検出パラメータTf、Tt、Taおよび制御値Crnを設定してかまわない。
【0203】
制御値Cr(制御値Crn)を、領域分割映像特徴値Pa(n,i)の組み合わせに合わせて出力することより、ある特定の映像特徴から、別の特定の映像特徴への変化を規定することができる。映像信号の特定の特徴変化を一意に決定するのが望ましい場合には、制御値Cr(制御値Crn)を一意に設定すればよい。
【0204】
制御値Crを映像信号の特徴変化に合わせて作成することで、映像信号対策部6において危険映像に対して行われる処置を、特徴を反映させた効果的なものとすることができる。
【0205】
また制御値Crは領域毎に判定した領域分割映像特徴値Pa(n,i)の変化Crn(n)に基づいて判断しているため、例えば、映像特徴の変化が少ない領域が存在している等の場合に、危険映像の検出精度を向上させる効果が期待できる。
【0206】
本例では、領域分割映像特徴値Paの変化に対して、制御値Crを算出するにあたり、制御値Crnを閾値により統合することで、制御値Crを算出したが、領域分割映像変化検出部19は分割された領域における映像信号Dbaの領域分割映像特徴値Paを利用して、制御値Crを算出する構成であればどのような構成でもかまわない。例えば、領域分割映像特徴値Paを元にして、全フレームにおける映像特徴値Psを算出し、映像特徴値Psを元にして、制御値Crを算出する構成等が考えられる。
【0207】
制御値Crを出力中に、現在までに検出された制御値Cr(Bf)と異なった映像特徴変化が見られ、新しい制御値Cr(Af)が算出された場合、Cr(Bf)、Cr(Af)のいずれを出力してもかまわない。また、Cr(Bf)、Cr(Af)の双方が出力されたことを表す別の制御値Cr(Ba)を新たに出力してもかまわない。
【0208】
Cr(Af)を出力する構成にした場合には、危険映像の変化をその都度検出し、危険映像の種類に合わせた対応を取ることができる。一方Cr(Ba)を出力する構成にした場合、危険の種類が頻繁に変化する特徴の危険映像であることが分かるため、危険映像全般に効果がある一般的な処置を取る等の対策が考えられる。
【0209】
なお、本例では、映像信号Dbが危険映像であると判断した場合に、制御値Crを映像信号対策部6に出力しているが、映像信号Dbが危険映像ではない場合にも、制御値Crを出力する構成にしてもかまわない。この場合には、制御値Crは映像信号Dbに関する対応が不要であることを意味する情報や、映像信号Dbの変化が危険ではないことを意味する情報等を出力すればよい。
【0210】
本例と異なり、検出パラメータTf、Tt、Taおよび制御値Crをすべて同値に設定してもかまわない。ただし、この場合は特徴に合わせた検出を行うことができなくなり、処置の効果は減少する。
【0211】
領域分割映像変化検出部19が、危険映像を検出するまでの数フレームに関しては、検出が完了していないため危険映像がそのまま出力されてしまうが、危険映像は続けて視聴することにより、人体に強い影響を与える傾向にあるため、検出に必要な短時間において、人体に与える影響は少ない。検出までの時間を短縮する場合には、検出パラメータTf、Tt、Taを小さく設定すればよい。検出時間は短縮できるが、検出精度が多少低下することになる。
【0212】
領域分割映像変化検出部19による制御値Crの出力は、領域分割映像特徴値Paの変化が終了するまで続けられる。なお、領域分割映像特徴値Paの変化が終了した後、一定時間経過や映像コンテンツの終了等、そのほかの条件により制御値Crの出力を停止させてもかまわない。
【0213】
ただし前述のように、Paの変化が終了すること以外の条件により制御値Crの出力を停止させた場合、危険映像ではない映像信号に対しても処置が行われることになり、コンテンツの内容が損なわれる可能性がある。一方、同一コンテンツには同じような危険映像が再度含まれる可能性もあり、再度危険映像が検出された際には、危険映像検出までの数フレームが不要となるため、効果も期待できる。
【0214】
<B−3.効果>
この発明にかかる本実施の形態2によれば、画像表示装置において、映像特徴検出部としての領域分割映像特徴検出部17は、映像信号を複数の領域に分割し、分割した領域の映像情報から映像特徴を検出し、分割した領域ごとに領域分割特徴信号Paを出力し、映像変化検出部としての領域分割映像変化検出部19は、領域分割特徴信号としての領域分割映像特徴値Paが所定時間内に一定回数以上変化した場合、領域分割特徴信号としての領域分割映像特徴値Paごとに制御信号としての制御値Crnを出力し、映像信号対策部6は、前記分割した領域ごとに、制御値Crnを解析することで、1フレーム分の映像信号より得られる映像特徴に基づいて、映像特徴の短期間における変化を検出することで、危険映像を検出することができる。また、危険映像の特徴を得ることにより、危険映像の特徴に合わせた処置を行うことができる。ここで、分割領域の各々より映像情報を取得しているため、映像信号全体の特徴のみならず、領域毎の特徴を得ることができる。そのため、領域を分割せずに解析するのと比較して、より詳細な特徴が得られ、映像信号の特徴を考慮した高精度かつ適応的な危険映像の検出が可能である。また、一部の領域のみ変化していないような危険映像の検出精度も向上する。
【0215】
本実施の形態2に係る画像表示装置は、映像信号から、危険映像を検出する手法として、映像表示装置に限らず映像に関わる他分野での利用も考えられる。他の分野での利用として、例えば、ハードディスクやDVD等の映像レコーダー等の映像記録装置が上げられる。
【0216】
なお、映像記録装置において、これらの応用を行った場合、リアルタイムに視聴する場合と異なり、予め解析を行っておくことにより、危険映像の検出までに要する数フレームが不要となり、より安全な映像を提供することができる。予め検出を行う場合には、危険映像に対する処置に関しても同様に、予め行っておくことができる。
【0217】
一方、本実施の形態と同様なことを、上述の特許文献2、特許文献3に記載の技術を用いて行うには、予め内容種が既知であるマルチメディアデータが保持されている必要がある。そのため、初見の番組等では分類を行うことができない。
【0218】
上述の特許文献2、特許文献3に記載の技術では、輝度信号、色相信号、色差信号における閾値のみで危険映像を一様に検出している。そのため、危険映像の特徴を得ることができず、特徴に合わせた処置を行うことができない。また、検出の精度が劣っており、詳細な検出を行うことができない。
【0219】
なお、本実施の形態2に係る画像表示装置では、HSV色空間を例に危険映像を検出したが、たとえばRGB色空間、CMY色空間、HLS色空間、YCbCr色空間、Lab表色系、L*a*b*表色系、L*u*v*表色系、等その他のあらゆる色空間や表色系に関しても適応することができる。
【0220】
<C.実施の形態3>
<C−1.画像表示装置の構成>
図19は、本発明の実施の形態3に係る画像表示装置の構成を示すブロック図である。本実施の形態3に係る画像表示装置は、上述の実施の形態2に係る画像処理装置において、画像処理装置13の替わりに画像処理装置23を備えるものである。他の構成要素に関しては、実施の形態1に示すものと同様であるので、説明を省略する。
【0221】
<C−1−1.画像処理装置23の構成>
画像表示装置における画像処置装置23の構成について、以下説明する。
【0222】
本実施の形態3に係る画像処理装置23は、受信部2からの出力映像信号Dbを入力される映像信号対策部16及び領域分割映像特徴検出部17と、領域分割映像特徴検出部17を介して映像信号対策部16に出力する領域分割映像変化検出部29とを備える。映像信号対策部16は、受信部2からの信号が入力される対策実行部15と、領域分割映像変化検出部29からの信号が入力される対策制御部14を備える。
【0223】
領域分割映像特徴検出部17は、映像信号Dbに含まれる映像情報を元にして、各1フレーム分の映像情報を1つ以上の領域に分割し、領域毎の領域分割映像特徴値Paを算出して、領域分割映像変化検出部29に出力する。この本実施の形態3に係る領域分割映像特徴検出部17は、実施の形態2と同じものであり、実施の形態2で説明した動作と同じ動作を行うため、それらの詳細な動作説明は省略する。
【0224】
領域分割映像変化検出部29は、領域毎の領域分割映像特徴値Paを元にして、領域分割映像特徴値Paの短期間における一定回数以上の変化を検出した場合に、領域毎の制御値Crnを算出し、領域毎の制御値Crnが一定閾値を超えた場合に、映像信号Dbを危険映像であると判断し、映像信号Dbの危険性の有無、人体に与える影響の種類等の領域毎における情報を含む制御信号としての制御値Craを対策制御部14に出力する。
【0225】
対策制御14は、対策実行部25が映像信号Dbに対して行う処置内容を示す対策指示値Praを制御値Craに基づいて算出し、対策実行部5に出力する。
【0226】
一方、対策実行部15は、入力された対策指示値Prが対策実行を指示する内容である場合(すなわち、映像信号Dbが危険映像であると判断された場合)に、映像信号Dbに対して領域毎に処置を行い、危険映像が人体に与える影響を削減あるいは無効化し、処置後の信号を映像信号Dcとして表示部10に出力する。
【0227】
<C−2.画像処理装置3の動作>
前述の画像表示装置において、画像処理装置23の動作について、構成要素ごとに以下説明する。
【0228】
<C−2−1.領域分割映像変化検出部29の動作>
前述の画像処理装置23における、映像変化検出部としての領域分割映像変化検出部29の動作について、以下説明する。
【0229】
本実施の形態3では実施の形態2と同様に、短期間における一定回数以上の変化を、Tfフレーム以内に領域分割映像特徴値PaがTt回以上、推移することとする。また、Tfフレーム以内において、Tt回以上の変化が検出された領域が、Ta個以上である場合、映像変化検出部としての領域分割映像変化検出部29は領域毎の制御値Cra(n)が出力される。
【0230】
分割された映像信号Dba(n)において、Tfフレーム以内に分割された映像信号の領域分割映像特徴値PaがTt回以上、推移した場合には制御信号としての制御値Cra(n)を算出する。任意の1種以上の制御信号としての制御値Cra(y)が算出された映像信号Dba(n)がTa個以上である場合、制御信号としての制御値Cra(n)を、制御値Craとして映像信号対策部16の対策制御部14に出力する。本例においてCra(y)は1種類の制御信号である必要はなく、複数の制御信号により判断することも可能である。
【0231】
本例において、検出パラメータTf・Tt・Taともに一定である必要はなく、領域分割映像特徴値Paの変化に応じて、調整してもよい。また、領域分割映像特徴値Paの変化によっては、危険映像ではないと判断する場合も考えられる。ただし、映像信号対策部16で行われる画質調整に同期を取る上で、各映像信号Dba(n)における映像変化を表す制御信号としての制御値Cra(n)は同時に決定するのが望ましい。同期を取らない場合には、分割された領域映像信号Dba(n)毎に異なったタイミングにおいて映像に対する対策が取られるが、このような形で危険映像への対策を行うことも可能である。
【0232】
実施の形態1における映像変化検出部9の動作例は、図7、8、9に示した例で表されたが、本実施の形態3における映像変化検出部としての領域分割映像変化検出部29も同様に、図7、8、9に示した例を利用することができる。ただし、映像特徴値Psの代わりに、領域分割映像特徴値Paを入力し、制御値Crの代わりにCraを入力する。
【0233】
そのため、短期間における推移に関しては、同一映像特徴値間のみの推移の場合、同一映像特徴値間以外の推移が含まれている場合、ともに利用することができる。また、映像特徴値によっては、危険映像と判断しないという判定を行うこともできる。
【0234】
領域分割映像変化検出部29の動作を、図12で示した分割された映像信号Dba(1)〜映像信号Dba(9)を利用した例を用いてさらに説明する。
【0235】
図20に示すように、映像信号Dba(1)〜映像信号Dba(9)における制御信号としての制御値Cra(n)(n=1,2,・・・,9)が各々Cra(a),Cra(b),Cra(nop)で表されている。ここでCra(nop)は映像信号Dba(n)の変化が危険ではないことを意味する情報とし、領域に危険信号が含まれており、検出が必要なCra(y)をCra(a),Cra(b)とする。
【0236】
図21に示すように、検出パラメータTa=6とした場合、Cra(a),Cra(b)を合わせて7個の領域を占めているため、制御値CraとしてCra(1)=Cra(2)=Cra(3)=Cra(a)、Cra(5)=Cra(6)=Cra(8)=Cra(9)=Cra(b)、Cra(4)=Cra(7)=Cra(nop)を出力する。
【0237】
本例において、検出パラメータTa=8としていた場合、危険信号として認識はせずに制御値Craは出力されない、あるいは制御値Craは映像信号Dbに関する対応が不要であることを意味する情報や、映像信号Dbの変化が危険ではないことを意味する情報等を出力することになる。本例では、Cra(nop)が出力される。
【0238】
なお、本例の検出パラメータTaは、条件を満たす領域の数として定義しているが、実施の形態2で説明したように、条件を満たす領域の面積として定義することも可能である。
【0239】
領域分割映像変化検出部29において、映像信号の特徴を検出し、特徴の短期間における推移を検出することにより、危険映像を判断することができる。また、特徴毎に検出パラメータTr、Tf、Taおよび制御値Craを変化させることも可能であるため、検出の精度を調整することができる。例えば、高精度の検出が必要である危険映像の検出精度を上げることができる。
【0240】
また、映像信号の特徴を考慮した制御値制御値Craを出力することで、危険映像に対して行われる処置を、特徴を反映させた効果的なものとすることができる。
【0241】
ここで、準備される制御値制御値Craは、Pa(i)の組み合わせの数だけ配備してもよいし、映像特徴数と同じ数であってもよい。また、制御値Craを1種類のみ規定して、危険信号の有無のみを送信してもかまわない。
【0242】
また本例と異なり、短期間における推移が2種類以上の領域分割映像特徴値Pa(n,i)にわたる変化である場合にも、各々の検出パラメータTf、Tt、Taおよび制御値Craを設定してかまわない。
【0243】
制御値Craを、領域分割映像特徴値Pa(n,i)の組み合わせに合わせて出力することより、ある特定の映像特徴から、別の特定の映像特徴への変化を規定することができる。映像信号の特定の特徴変化を一意に決定するのが望ましい場合には、制御値Craを一意に設定すればよい。
【0244】
制御値Craを映像信号の特徴変化に合わせて作成することで、映像信号対策部16において危険映像に対して行われる処置を、特徴を反映させた効果的なものとすることができる。
【0245】
また制御値Craは領域毎に判定した領域分割映像特徴値Pa(n,i)の変化Cra(n)に基づいて判断しているため、例えば、映像特徴の変化が少ない領域が存在している等の場合に、危険映像の検出精度を向上させる効果が期待できる。
【0246】
しかも、危険映像に対する処置を、領域分割した映像信号Dbaに対して行うことができるため、領域毎の危険映像の特徴に合わせた対処をより効果的に行うことができる。
【0247】
領域分割映像変化検出部29は分割された領域における映像信号Dbaの領域分割映像特徴値Paを利用して、分割された映像信号毎の制御値Craを算出する構成であればどのような構成でもかまわない。
【0248】
制御値Craを出力中に、現在までに検出された制御値Cra(Bf)と異なった映像特徴変化が見られ、新しい制御値Cra(Af)が算出された場合、Cra(Bf)、Cra(Af)のいずれを出力してもかまわない。また、Cra(Bf)、Cra(Af)の双方が出力されたことを表す別の制御値Cra(Ba)を新たに出力してもかまわない。
【0249】
Cra(Af)を出力する構成にした場合には、危険映像の変化をその都度検出し、危険映像の種類に合わせた対応を取ることができる。一方Cra(Ba)を出力する構成にした場合、危険の種類が頻繁に変化する特徴の危険映像であることが分かるため、危険映像全般に効果がある一般的な処置を取る等の対策が考えられる。
【0250】
なお、本例では、映像信号Dbaが危険映像であると判断した場合に、制御値Craを映像信号対策部16に出力し、危険映像ではないと判断した場合にも制御値Cra(Cra(nop))を出力しているが、映像信号Dbaが危険映像ではない場合に、制御値Craを出力しない構成にしてもかまわない。
【0251】
本例と異なり、検出パラメータTf、Tt、Taおよび制御値Craをすべて同値に設定してもかまわない。ただし、この場合は特徴に合わせた検出を行うことができなくなり、処置の効果は減少する。
【0252】
領域分割映像変化検出部29が、危険映像を検出するまでの数フレームに関しては、検出が完了していないため危険映像がそのまま出力されてしまうが、危険映像は続けて視聴することにより、人体に強い影響を与える傾向にあるため、検出に必要な短時間において、人体に与える影響は少ない。検出までの時間を短縮する場合には、検出パラメータTf、Tt、Taを小さく設定すればよい。検出時間は短縮できるが、検出精度が多少低下することになる。
【0253】
領域分割映像変化検出部29による制御値Craの出力は、領域分割映像特徴値Paの変化が終了するまで続けられる。なお、領域分割映像特徴値Paの変化が終了した後、一定時間経過や映像コンテンツの終了等、そのほかの条件により制御値Craの出力を停止させてもかまわない。
【0254】
ただし前述のように、Paの変化が終了すること以外の条件により制御値Craの出力を停止させた場合、危険映像ではない映像信号に対しても処置が行われることになり、コンテンツの内容が損なわれる可能性がある。一方、同一コンテンツには同じような危険映像が再度含まれる可能性もあり、再度危険映像が検出された際には、危険映像検出までの数フレームが不要となるため、効果も期待できる。
【0255】
<C−2−2.映像信号対策部16の動作>
画像処理装置23における、映像信号対策部16の動作について、以下説明する。
【0256】
映像信号対策部16に備えられた対策制御部14は、制御信号としての制御値Craに対応した映像信号Dbaに対する対策指示値Praを分割された映像信号の領域毎に選択し、映像信号対策部16に備えられた対策実行部15に出力する。対策指示値Praは、危険映像の特徴等を基として、自由に調整可能である。
【0257】
対策制御部14から対策実行部15に出力される、対策指示値Praによる指示は、例えば、映像のフレーム数を減少させ変化の度合いを減少させる方法、文字や音声により視聴者に注意を促す方法、別の映像や静止画像へと置換する方法、輝度や彩度等の値を減少させる方法等が考えられる。
【0258】
対策実行部15は、対策制御値14より出力される対策指示値Praに基づいて分割された映像信号の領域毎に画像処理を行い、危険映像が人体に与える影響を、削減あるいは無効化する。なお、対策実行部14が出力する分割された領域毎の制御値Craに基づいて、対策実行部15が画像全体の処理を行い、危険映像が人体に与える影響を、削除あるいは無効化するものであってもよい。
【0259】
対策指示値Prによる指示は、映像特徴から算出された制御信号としての制御値Crを考慮して作成するのが望ましい。たとえば、白黒画像が点滅するような映像である場合は、フレーム数を減少させ、変化の度合いを減少させる方法等が考えられる。一方、黄色や水色等の鮮やかな色合いが点滅するような映像である場合には、映像信号の彩度を減少させた後、フレーム数を減少させ、変化の度合いを減少させる方法等が考えられる。
【0260】
また、分割した映像信号毎に画像処理を行っている強みを生かして、映像信号の一部の領域のみを別の映像や静止画像へと置換する、輝度の彩度等の値を減少させる、という手法もとることができる。
【0261】
ここでCra(i)に対応するPra(i)は、すべて同じでもかまわないし、それぞれ異なっていてもかまわない。
【0262】
なお、実施の形態1,2で説明したように、映像信号Dbaが危険映像ではない場合に、対策指示値Praを出力する構成にしてもかまわない。この場合には、対策指示値Prは映像信号Dbに関する対策が不要であることを意味する情報や、映像信号Dbの変化が危険ではないことを意味する情報等を出力すればよい。映像信号Dbaが危険映像ではない場合に、対策指示値Praを出力しない構成も可能である。
【0263】
危険映像に対する画像処理は、画像処理を行わないフレームや領域があってもよい。例としては、フレーム数を減少させる場合等が考えられ、表示を行わないフレームが生じる反面、表示を行わないフレームの代わりに、静止画像として表示し続ける等の手法が考えられる。
【0264】
<C−3.効果>
この発明にかかる本実施の形態3によれば、画像表示装置において、映像信号対策部16は、分割した領域ごとに、制御信号としての制御値Craの解析結果に応じて映像信号に所定の処置を行うことで、分割された各々の領域に関する特徴を把握し、映像信号の領域毎に行う処置を変化させることができ、特定の領域のみに処理を行う等の、より柔軟な処置を行うことができる。また、複数の特徴の危険映像が含まれている場合に、それぞれに適した処理を、領域毎に行うことができる。
【0265】
本実施の形態3に係る画像表示装置は、映像信号から、危険映像を検出する手法として、映像表示装置に限らず映像に関わる他分野での利用も考えられる。他の分野での利用として、例えば、ハードディスクやDVD等の映像レコーダー等の映像記録装置が上げられる。
【0266】
なお、映像記録装置において、これらの応用を行った場合、リアルタイムに視聴する場合と異なり、予め解析を行っておくことにより、危険映像の検出までに要する数フレームが不要となり、より安全な映像を提供することができる。予め検出を行う場合には、危険映像に対する処置に関しても同様に、予め行っておくことができる。
【0267】
一方、本実施の形態と同様なことを、上述の特許文献2、特許文献3に記載の技術を用いて行うには、予め内容種が既知であるマルチメディアデータが保持されている必要がある。そのため、初見の番組等では分類を行うことができない。
【0268】
上述の特許文献2、特許文献3に記載の技術では、輝度信号、色相信号、色差信号における閾値のみで危険映像を一様に検出している。そのため、危険映像の特徴を得ることができず、特徴に合わせた処置を行うことができない。また、検出の精度が劣っており、詳細な検出を行うことができない。
【0269】
なお、本実施の形態3に係る画像表示装置では、HSV色空間を例に危険映像を検出したが、たとえばRGB色空間、CMY色空間、HLS色空間、YCbCr色空間、Lab表色系、L*a*b*表色系、L*u*v*表色系、等その他のあらゆる色空間や表色系に関しても適応することができる。
【図面の簡単な説明】
【0270】
【図1】本発明の実施の形態1に係る画像表示装置の構成を示すブロック図である。
【図2】本発明の実施の形態1に係る映像特徴検出部の構成を示すブロック図である。
【図3】本発明の実施の形態1に係る輝度ヒストグラム算出部で生成されるヒストグラムを示す図である。
【図4】本発明の実施の形態1に係る色ヒストグラム算出部で生成される色相ヒストグラムを示す図である。
【図5】本発明の実施の形態1に係る色ヒストグラム算出部で生成される色相ヒストグラムと閾値条件を示す図である。
【図6】本発明の実施の形態1に係る特徴判定部の動作を説明するための図である。
【図7】本発明の実施の形態1に係る映像変化検出部の動作を説明するための図である。
【図8】本発明の実施の形態1に係る映像変化検出部の動作を説明するための図である。
【図9】本発明の実施の形態1に係る映像変化検出部により出力される制御値の算出方法の一例を示す図である。
【図10】本発明の実施の形態2に係る画像表示装置の構成を示すブロック図である。
【図11】本発明の実施の形態2に係る領域分割映像特徴検出部の構成を示すブロック図である。
【図12】本発明の実施の形態2に係る領域分割部により分割された映像信号の一例を示す図である。
【図13】本発明の実施の形態2に係るヒストグラム算出域決定部により分割されたHSV色空間の一分割例を示す図である。
【図14】本発明の実施の形態2に係るヒストグラム算出域決定部により分割されたHSV色空間の一分割例を示す図である。
【図15】本発明の実施の形態2に係るヒストグラム算出部で生成される色ヒストグラムを示す図である。
【図16】本発明の実施の形態2に係るヒストグラム算出部で生成される色ヒストグラムと閾値条件を示す図である。
【図17】本発明の実施の形態2に係る特徴判定部の動作を説明するための図である。
【図18】本発明の実施の形態2に係る領域分割映像変化検出部の動作を説明するための図である。
【図19】本発明の実施の形態3に係る映像特徴検出部の構成を示すブロック図である。
【図20】本発明の実施の形態3に係る領域分割映像変化検出部の動作を説明するための図である。
【図21】本発明の実施の形態3に係る領域分割映像変化検出部の動作を説明するための図である。
【符号の説明】
【0271】
1 入力端子、2 受信部、3,13,23 画像処理装置、4,14 対策制御部、5,15 対策実行部、6,16 映像信号対策部、7,179 映像特徴検出部、9 映像変化検出部、10 表示部、17 領域分割映像特徴検出部、19,29 領域分割映像変化検出部、70 信号分配部、71 輝度ヒストグラム算出部、72 色ヒストグラム算出部、73 輝度ヒストグラム解析部、74 色ヒストグラム解析部、75,175 特徴判断部、170 ヒストグラム算出域決定部、171 ヒストグラム算出部、173 ヒストグラム解析部、178 領域分割部。

【特許請求の範囲】
【請求項1】
受信した映像信号に含まれる所定の映像情報からフレームごとの映像特徴を検出し、映像特徴信号を出力する映像特徴検出部と、
前記映像特徴信号が所定時間内に一定回数以上変化した場合、制御信号を出力する映像変化検出部と、
前記制御信号を解析しその解析結果に応じて、前記映像信号に所定の処置を行う映像信号対策部と、
を備える、画像表示装置。
【請求項2】
前記所定の処置は、前記映像信号に含まれる人体に悪影響を及ぼす要因を抑制する処置である、
請求項1に記載の画像表示装置。
【請求項3】
前記所定の映像情報は、輝度情報、色相情報、彩度情報のいずれか複数個を含む、
請求項1または2に記載の画像表示装置。
【請求項4】
前記映像特徴検出部は、前記映像信号を複数の領域に分割し、前記分割した領域の映像情報から映像特徴を検出し、前記分割した領域ごとに領域分割特徴信号を出力し、
前記映像変化検出部は、前記領域分割特徴信号が所定時間内に一定回数以上変化した場合、前記領域分割特徴信号ごとに制御信号を出力し、
前記映像信号対策部は、前記分割した領域ごとに、前記制御信号を解析する、
請求項1〜3のいずれかに記載の画像表示装置。
【請求項5】
前記映像信号対策部は、前記分割した領域ごとに、前記制御信号の解析結果に応じて映像信号に所定の処置を行う、
請求項4に記載の画像表示装置。
【請求項6】
前記映像変化検出部は、前記映像特徴信号が、予め定められた特定の映像特徴から予め定められた別の特定の映像特徴へと変化した場合に、前記制御信号を出力する、
請求項1〜5のいずれかに記載の画像表示装置。
【請求項7】
前記映像特徴検出部は、前記1フレーム分の前記映像信号の替わりに、複数フレーム分の前記映像信号から、映像特徴を検出する、
請求項1〜6のいずれかに記載の画像表示装置。
【請求項8】
前記映像信号対策部は、前記制御信号の異なる解析結果に応じて、予め定められた異なる処置を前記所定の処置として適用する、
請求項1〜7のいずれかに記載の画像表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate


【公開番号】特開2010−141548(P2010−141548A)
【公開日】平成22年6月24日(2010.6.24)
【国際特許分類】
【出願番号】特願2008−315350(P2008−315350)
【出願日】平成20年12月11日(2008.12.11)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】