危険映像検出方法、映像相違検出方法及び装置
【課題】危険映像修正の指針として正しく修正された映像の修正方法を把握するため、修正映像から映像の修正方法を検出し、危険映像修正の指針を修正者へ示すため、過去の修正方法を適用した映像の修正案を提示すること。
【解決手段】修正前の危険映像データ１１１０と修正後映像データ１１４０とに対し、映像のシーン毎にシーンの特徴を表すシーン特徴量を算出し、それぞれの映像のシーン特徴量の時系列の並び１４２０、１４３０を比較することによりシーン構成の修正方法１１５０を検出する。
【解決手段】修正前の危険映像データ１１１０と修正後映像データ１１４０とに対し、映像のシーン毎にシーンの特徴を表すシーン特徴量を算出し、それぞれの映像のシーン特徴量の時系列の並び１４２０、１４３０を比較することによりシーン構成の修正方法１１５０を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、危険映像検出方法、映像相違検出方法及び装置に係り、特に、２つの映像のシーン構成の相違を検出して映像の相違を検出する危険映像検出方法、映像相違検出方法及び装置に関する。
【背景技術】
【０００２】
一般に、動画等の映像に含まれる短時間で明滅を繰り返すフリッカー映像や、人が認識できない程度の短時間の画像を挿入するサブリミナル映像等の映像は、人体に害を及ぼす可能性があることが判っている。このような映像の人体への影響度合いは、個人差があり、同じ映像を試聴しても影響のある人と影響のない人とがいる。また、この影響は、映像の試聴環境によっても変わってくると言われており、視聴者と映像モニタとの位置関係や、試聴する場所の明るさの状態にも関連する。
【０００３】
テレビ放送等の不特定多数の人が試聴する映像に前述のような映像が入り込むとその影響範囲は非常に大きく、映像提供者側の社会的責任が問われる可能性がある。このため、放送局等の不特定多数へ映像を提供する映像提供者は、映像を提供する前にこのような危険映像が入り込んでいないかを事前にチェックして検出している。また、放送事業者を会員とする日本民間放送連盟では、このような危険映像のガイドラインを策定している。
【０００４】
危険映像は、短時間（数フレーム〜数秒）の間の映像変化であることから、目視では充分にチェックすることが難しく、また、目視でチェックした場合には、検査する人の主観が入ってしまう危険性がある。危険映像の影響は、試聴側の環境にも依存するため、検査の環境で問題のない映像と判定した場合でも、実際の試聴の条件によっては影響を及ぼす可能性もある。
【０００５】
このため、危険映像の検査を機械的に行う方法に関する従来技術が、例えば、特許文献１等に記載されて知られている。この従来技術は、映像の点滅場面を検出し、検出結果として検出時の特徴量と検出部位の静止画とを提示するというものである。
【特許文献１】特開２００５−１２４１８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前述した従来技術は、危険映像の機械的な検出を行うことができるというだけのものであり、検出された危険映像をどのように修正すればよいかという指針がないため、検出された危険映像に対してどのような修正を行えばよいかが判らないという問題点を有している。このため、検査結果を映像制作者へ上手く伝えることができず、映像制作者による修正映像が再度危険映像として検出されてしまうことがある。特に、テレビ放送の場合には、危険映像の検査者は放送局であり、映像の修正者は映像プロダクションであるというように、検査と修正とが異なる組織、人により行われることが多く、前述のような問題が多く生じている。
【０００７】
前述のような問題を解決するため、危険映像修正の指針として、過去に同様の理由で修正し問題がないと判定された修正方法を活用することが考えられる。この場合、映像の修正方法を蓄積するために修正された映像の修正方法を把握しなければならない。しかし、映像修正者から修正された映像のみが渡される場合や、また、修正者から修正方法が渡された場合でも、渡された修正方法が正しいことを保証する方法がないため、映像修正方法を正しく把握することができないという問題を生じてしまう。
【０００８】
本発明の目的は、前述した問題点に鑑み、危険映像修正の指針として正しく修正された映像の修正方法を把握するため、修正映像から映像の修正方法を検出し、危険映像修正の指針を修正者へ示すため、過去の修正方法を適用した映像の修正案を提示することを可能にした危険映像検出方法、映像相違検出方法及び装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明によれば前記目的は、危険映像を検出し検出結果を提示する危険映像検出方法であって、過去の危険映像に対する修正事例を格納したデータベースを備え、入力された検査対象映像に危険映像が含まれているか否かを検出し、危険映像が含まれていた場合、検出された危険映像の危険理由をキーとして前記データベースを検索して修正事例を取得し、映像の危険部位に修正事例を適用して修正案を作成し、前記検出された危険映像の危険理由、危険部位及び修正案を前記危険映像の修正のために出力することにより達成される。
【００１０】
また、前記目的は、危険映像を検出し検出結果を提示する危険映像検出方法であって、過去の危険映像に対する修正事例を格納したデータベースと、映像差異検出手段とを備え、危険映像に対する修正を行った後の映像を検査対象映像として入力し、この映像に危険映像が含まれているか否かを検出し、危険映像が含まれていなかった場合、前記映像差異検出手段は、修正前の映像と修正後の映像とに対しシーン内のフレーム画像の特徴量を元としたシーン特徴量を算出し、２つの映像それぞれのシーン特徴量の時系列の並びを比較し、シーン特徴量の並びの違いから２つの映像のシーン構成の相違を検出すると共に修正方法を検出し、前記データベースに格納することにより達成される。
【００１１】
また、前記目的は、それぞれが複数のシーンから構成される２つの映像の相違を検出する映像相違検出方法であって、２つの映像のシーン内のフレーム画像の特徴量を元としたシーン特徴量を算出し、２つの映像それぞれのシーン特徴量の時系列の並びを比較し、シーン特徴量の並びの違いから２つの映像のシーン構成の相違を検出することにより達成される。
【発明の効果】
【００１２】
本発明によれば、修正映像と修正前映像とから映像の修正方法を検出することができ、危険映像の検出において検出した危険映像に対する修正案を提示することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明による危険映像検出方法、映像相違検出方法及び装置の実施形態を図面により詳細に説明する。
【００１４】
図１は本発明の一実施形態による映像相違検出装置により得られた過去の修正方法を適用して危険映像の修正案を提示する危険映像検出システムの機能構成及び処理を示すブロック図である。図１において、１０００はフリッカー・サブリミナル映像検出部、１０１０は修正事例検索部、１０２０は修正案生成部、１０３０は検出結果提示部、１１００は検出結果データ、１１１０は危険映像データ、１１２０は修正方法、１１３０は修正候補映像、１１６０は危険部位、１１７０は危険理由、１２００は映像制作者、１２１０は検査対象映像、２０００は危険映像検出端末、２２００は修正事例ＤＢである。
【００１５】
図１に示す危険映像検出端末２０００は、映像制作者１２００が制作した検査対象映像１２１０から危険映像を検出し、過去の修正事例から修正案を作成して映像制作者１２００に戻すまでの処理に必要な機能を持つものとして示している。この危険映像検出端末２０００は、フリッカー・サブリミナル映像検出部１０００、修正事例検索部１０１０、修正案生成部１０２０、検出結果提示部１０３０、映像データ一時保管領域、修正事例ＤＢ２２００を備えて構成されている。
【００１６】
映像制作者１２００が制作し、危険映像検出端末２０００に入力される検査対象映像１２１０は、ＶＴＲテープ等のメディアに記録されていることもあれば、MPEG等のファイル形式で表現されることもある。ＶＴＲテープである場合、検査対象映像１２１０は、ＶＴＲデッキでテープを再生されて危険映像検出端末２０００に入力される。また、ファイル形式であれば、検査対象映像１２１０は、その形式のまま危険映像検出端末２０００に入力される。
【００１７】
危険映像検出端末２０００のフリッカー・サブリミナル映像検出部１０００は、入力された検査対象映像に対し、短時間内に繰り返される映像の明滅や人が意識できない程の短時間での画像の挿入を検出する。これらは、人体に悪影響を及ぼす可能性のある映像である。フリッカー・サブリミナル映像検出部１０００は、検出結果として、映像の危険部位１１６０と危険理由１１７０とを合わせた検出結果データ１１００を出力する。
【００１８】
危険部位１１６０は、映像の位置を示す時間データである。この時間データは、映像の収録メディアあるいは映像ファイルにタイムコード情報が付与されている場合、そのタイムコード値となり、また、タイムコード情報がない場合、映像の先頭からの経過時間となる。例えば、映像の先頭から１０分後の部位を示す場合、「00:10:00:00」 という値となる。これらは、映像の位置を一意に示すことができる値である。
【００１９】
危険理由１１７０は、危険映像として検出した要因を示すデータである。このデータには、危険映像がフリッカー映像であれば「明滅区間の時間長、輝度変化の割合（％）、輝度変化の回数、色成分、明滅を起こしている画面上の部位」の各情報が含まれ、また、危険映像がサブリミナル映像であれば「サブリミナル画像挿入の時間長、サブリミナル画像の画面上の部位」の各情報が含まれる。
【００２０】
フリッカー・サブリミナル映像検出部１０００は、検出結果データ１１００を映像データ一時保管領域に記録すると共に、修正事例検索部１０１０に渡す。また、危険映像の検出処理では、検出のため入力された映像の危険が検出された危険映像データ１１１０を映像データ一時保管領域に記録する。この映像データ１１１０は、映像の解像度・ビットレートを縮小したプロキシ映像として生成して記録される。
【００２１】
修正事例検索部１０１０は、検出結果データ１１００を受け取ると、検出結果データ１１００の危険理由１１７０を検索キーとして、修正事例ＤＢ２２００から過去に類似の危険理由による修正事例があるか否かを検索する。修正事例検索部１０１０は、類似の危険理由による修正事例がある場合、それに対応する修正方法１１２０を取得する。修正方法１１２０には、シーン構成の変更やシーンに対する編集効果の変更の情報が含まれている。修正方法１１２０のデータ構造の詳細については後述する。過去の修正方法１１２０は、検出した危険理由１１７０に最も類似する理由に対応する修正方法を１件だけ取得するようにしてもよく、また、危険理由の類似度に基づきある閾値内の類似性を持つ理由に対応する修正方法を複数件取得してもよい。修正事例検索部１０１０は、検出結果データ１１００と修正方法１１２０とを修正案生成部１０２０に渡す。
【００２２】
修正案生成部１０２０は、映像データ一時保管領域から映像データ１１１０を取得し、危険部位１１６０で示される映像の部位に対して修正方法１１２０で示される内容に従いシーン構成の変更、または、シーンに対する編集効果の変更を施し、修正候補映像１１３０を生成する。この処理の詳細については後述する。修正案生成部１０２０は、検出結果データ１１００と修正候補映像１１３０とを検出結果提示部１０３０へ渡す。
【００２３】
検出結果提示部１０３０は、危険映像の検出結果として危険部位１１６０、危険理由１１７０、修正候補映像１１３０を危険映像検出端末２０００のモニタ上に表示する。また、データファイルとしてこれらデータを出力する。
【００２４】
入力された検査対象映像１２１０に、フリッカー・サブリミナル映像検出部１０００で危険映像が検出されなかった場合、修正事例検索部１０１０、修正案生成部１０２０での処理を行わず、検出結果提示部１０３０で検出されなかった旨の表示を行う。検査にパスした検査対象映像１２１０は、修正することなくそれぞれの利用が行われる。放送用映像であれば放送に用いられる。
【００２５】
入力された検査対象映像１２１０から危険映像が検出された場合、検査者は、検出結果提示部１０３０で出力した検出結果データ１１００、修正候補映像１１３０を映像制作者１２００に渡す。映像制作者１２００は、渡された内容に基づいて映像の修正を行う。映像の修正は、シーン構成の入れ替え、シーンの挿入・削除、シーン長の変更、明滅する輝度の変更、明滅回数の変更等の映像編集処理を行うことにより実施される。修正した映像は、再度危険映像の有無についての検査を行うこととなる。
【００２６】
図２は修正した映像の再検査において本発明の一実施形態による映像相違検出装置により修正方法を検出して事例として蓄積する危険映像検出システムの機能構成及び処理を示すブロック図である。図２において、１０４０は映像差異検出部、１１４０は修正版映像データ、１１５０は修正方法であり、他の符号は図１の場合と同一である。なお、図２に示している映像差異検出部１０４０は、図１に示した危険映像検出端末２０００に含まれるものであり、説明の都合上、図２には、映像相違検出に必要な構成のみを示している。
【００２７】
図１に示す処理で提示された検出結果データ１１００と修正候補映像１１３０に基づいて修正された映像１２２０は、再度フリッカー・サブリミナル映像検出部１０００で危険映像の有無の検査が行われる。この検査で再度危険部位が検出された場合、図１に示して説明した処理を再度行い、検出結果データを映像制作者１２００へ通知し、映像の再修正を行ってもらう。
【００２８】
フリッカー・サブリミナル映像検出部１０００で危険部位が検出されなかった場合、すなわち、修正が上手く行われた場合、フリッカー・サブリミナル映像検出部１０００は、図１に示す処理と同様に検出のために入力された映像を、修正版映像データ１１４０として映像データ一時保管領域に記録する。記録される映像データ１１４０は、映像の解像度・ビットレートを縮小したプロキシ映像である。その後、映像差異検出部１０４０へ処理が移行する。
【００２９】
映像差異検出部１０４０は、修正後の映像データである修正版映像データ１１４０と修正前の映像データ１１１０とを比較することにより、その修正方法を検出する。検出された修正方法は、映像の修正方法１１５０として出力される。修正方法１１５０は、修正事例ＤＢ２２００に危険理由と共に記録される。
【００３０】
図３は映像差異検出部１０４０の機能構成及び処理を示すブロック図、図４は修正方法を検出する処理における映像特徴量とシーン特徴量との関係を説明する図であり、次に、映像差異検出部１０４０での処理の詳細を図３、図４を参照して説明する。図３、図４において、１３００は映像特徴量算出部、１３１０はシーン特徴量算出部、１３２０はシーン特徴量比較部である。
【００３１】
映像差異検出部１０４０は、映像特徴量算出部１３００、シーン特徴量算出部１３１０、シーン特徴量比較部１３２０を備えて構成されている。映像差異検出部１０４０は、修正版（後）映像データ１１４０と修正前映像データ１１１０とが入力されると、まず、映像特徴量算出部１３００が修正前映像データ１１１０と修正後映像データ１１４０とのそれぞれに対して各フレーム画像の特徴量である修正後映像特徴量１４１０、修正前映像特徴量１４００を算出して出力する。この特徴量は、図４に示すように、１つのフレーム画像１４５０毎に対応して１つの特徴量１４６０として算出される。その特徴量の時系列の並びを映像特徴量と呼び、このような映像特徴量が、修正前映像データ１１１０と修正後映像データ１１４０とに対応して映像特徴量算出部１３００から出力される。フレーム画像の特徴量は、画像の輝度、色のヒストグラム等の画像の特徴を示す値のことである。
【００３２】
シーン特徴量算出部１３１０は、映像特徴量算出部１３００から出力された修正前後の映像特徴量１４００、１４１０を入力とし、これらの特徴量に対して、シーン毎の特徴量を算出する。シーンは、フレーム画像の特徴量を時系列順に見た際にその類似性を元にフレーム画像のグルーピングを行ったものである。例えば、図４において、映像特徴量１４００のフレーム画像特徴量Ａ１〜Ｃ６について、「Ａ１〜Ａ５」、「Ｂ１〜Ｂ４」、「Ｃ１〜Ｃ６」の各組に含まれれフレーム画像の類似度が高い場合、「Ａ１〜Ａ５」に対応するフレーム画像の組をシーンＡ１４７０、「Ｂ１〜Ｂ４」の組をシーンＢ１４８０、「Ｃ１〜Ｃ６」の組をシーンＣ１４９０とする。このシーンの映像としては、１度のカメラワークで撮影された一連の映像を示すものとなり、一般的に「カット」と呼ばれるものである。
【００３３】
シーン特徴量とは、シーン場面の特徴を代表する値であり、本発明の実施形態では、シーンを構成するフレーム画像の特徴量の平均値を用いることとするが、シーンの先頭フレームの特徴量を用いても、シーンを構成するフレーム画像の特徴量の中間値を用いてもよい。また、シーン特徴量には、シーン長の情報を含ませている。例えば、図４のシーンＡ１４７０は、シーン長が５フレームである。シーンＡ１４７０のシーン特徴量１４４０の値「Ａ−５」の「５」は、シーン長が５フレームであることを示しており、「Ａ−５」の「Ａ」は、フレーム画像の特徴量「Ａ１〜Ａ５」の平均値を示している。
【００３４】
シーン特徴量の時系列の並びを「シーン特徴量列」と呼ぶ。シーン特徴量列１４２０は、シーンＡ１４７０のシーン特徴量１４４０、シーンＢ１４８０のシーン特徴量１５００、シーンＣ１４９０のシーン特徴量１５１０の並びを含むこととなる。
【００３５】
シーン特徴量算出部１３１０は、映像特徴量１４００、１４１０に対しシーン特徴量列１４２０、１４３０を算出して出力する。
【００３６】
シーン特徴量比較部１３２０は、シーン特徴量算出部１３１０で算出された２つのシーン特徴量列１４２０、１４３０を比較し映像の修正方法を検出する。このシーン特徴量比較部１３２０による映像修正方法の検出処理の詳細を図５を参照して説明する。
【００３７】
図５は修正方法の検出のマッチング処理における比較元シーン特徴量列と比較先シーン特徴量列との関係を示す図である。
【００３８】
映像修正方法の検出処理は、次に説明する手順で行われる。
【００３９】
（１）修正前映像のシーン特徴量列１４２０から、危険部位１１６０で示される部位を含むシーンを中心として前後ｎシーンずつのシーン特徴量を抽出する。抽出したシーン特徴量は、比較元シーン特徴量列１６００となる。図５に示す例では、ｎを４としている。
【００４０】
（２）修正後映像のシーン特徴量列１４３０の危険部位１１６０で示される部位に対し、比較元シーン特徴量列１６００とのマッチングを行う。マッチングは、修正後映像のシーン特徴量列１４３０の危険部位１１６０で示される位置に対して前後にｍシーン内でずらしながら修正前映像のシーン特徴量列１４２０から抽出した比較元シーン特徴量列１６００と修正後映像のシーン特徴量列１４３０から抽出したシーン特徴量列１６００との対応するシーンについてのマッチング計算を行うことにより実施される。マッチング計算は、シーン特徴量の差の合計値を求め、最も低い値となる位置をマッチング位置とするという計算である。図５に示す例では、ｍを１としており、マッチング開始位置１６１０から１シーンずつ位置を１６２０、１６３０とずらしながらマッチング計算を行う。この例では、マッチング位置が１６２０と決定される。そして、マッチング位置に対応する修正後映像のシーン特徴量列１４３０の部位を比較先シーン特徴量列１６４０とする。
【００４１】
（３）比較元シーン特徴量列１６００と比較先シーン特徴量列１６４０との各シーンをシーン毎に比較し、シーン特徴量の違いを検出する。比較先シーン特徴量列１６４０の比較元シーン特徴量列１６００に対して検出されたシーン特徴量の相違は、次のような映像修正が行われたものとして扱う。
【００４２】
・検出されたシーン特徴量の相違が、シーン長の変更によると検出された場合、シーンの長さを長く、あるいは、シーン長の長さを短くする修正を行った。
【００４３】
・検出されたシーン特徴量の相違が、シーン特徴量の順番の変更によると検出された場合、シーンの順番を入れ替える修正を行った。例えば、シーンＡ、Ｂ、ＣをシーンＢ、Ａ、Ｃの順番とするなど。
【００４４】
・検出されたシーン特徴量の相違が、新規のシーン特徴量があることによると検出された場合、新規のシーンを追加する修正を行った。例えば、シーンＡ、Ｂ、ＣにシーンＸを挿入しシーンＡ、Ｘ、Ｂ、Ｃとするなど。
【００４５】
・検出されたシーン特徴量の相違が、シーン特徴量がなくなっていることによると検出された場合、シーンを削除する修正を行った。例えば、シーンＡ、Ｂ、ＣからシーンＢを削除しシーンＡ、Ｃとするなど。
【００４６】
・検出されたシーン特徴量の相違が、特徴量が類似していることによると検出された場合、シーンの映像効果を変更する修正を行った。シーン特徴量に用いる映像特徴量の種別に応じて検出可能な映像効果が変わる。例えば、特徴量として輝度ヒストグラムを用いていれば輝度の変化を検出することができる。映像編集の例としては、シーンＡ、Ｂ、ＣのシーンＢの輝度を下げてシーンＢ’としシーンＡ、Ｂ’、Ｃとするなどの例がある。なお、特徴量の類似度がある閾値以上離れている場合には、新規シーンの挿入として扱う。
【００４７】
前述したような変更は、１種類だけ行われることもあれば、複数種類が同時に行われることもある。
【００４８】
図３に示す映像差異検出部１０４０のシーン特徴量比較部１３２０は、前述の処理を行い映像の修正方法を検出し修正方法１１５０を生成する。修正方法１１５０は、「変更前のシーン構成、変更後のシーン構成、危険部位となるシーン」から構成される。シーン構成には、シーン長やシーン特徴量の情報を含む。
【００４９】
図３に示す映像特徴量算出部１３００での各フレーム画像の特徴量の算出は、危険部位１１６０の周辺のフレーム画像だけを対象にしてもよい。この場合、シーン特徴量列は、危険部位１１６０の周辺のシーンに対してのみ算出される。フレーム画像の特徴量の算出の範囲は、比較元シーン特徴量列１６００と比較先シーン特徴量列１６４０のマッチング演算を行うために必要な範囲のみでよい。
【００５０】
図６は図１における修正案生成部１０２０での処理の概要を説明する図であり、次に、図６を参照して、危険部位に修正方法を適用して修正候補映像を生成する処理について説明する。
【００５１】
修正案生成部１０２０は、危険部位が検出された危険映像データ１１１０に対し、危険理由をキーに事例ＤＢから検索した修正方法１１２０を適用し、危険映像データ１１１０の危険部位を含むシーンＢ１７００に対し、修正方法１１２０の内容に従い映像を修正する。図６に示す例では、修正方法１１２０には、危険部位を含むシーンのシーン長を２倍とし、シーンの映像輝度を５０％下げることが記載されている。修正案生成部１０２０は、この内容に従い、シーンＢ１７００のシーン長を２倍の長さとし、輝度を５０％下げる処理を施してシーンＢ´１７１０を生成する。具体的には、シーンＢ１７００の各フレーム画像を１枚ずつ増やし、各フレーム画像の輝度が５０％下がるよう画像フィルタ処理を施す。このような処理により、修正案としての修正候補映像１１３０が生成される。
【００５２】
図７は図１、図２に示す危険映像検出端末２０００のハードウェア構成を示すブロック図である。図７において、２０１０、２０２０、２０３０は二次記憶装置、２０４０はＣＰＵ、２０５０はメモリ、２０６０はバス、２０７０はＯＳ、２１００は映像キャプチャー装置であり、他の符号は図１、図２、図３に示す場合と同一である。
【００５３】
危険映像検出端末端末２０００は、二次記憶装置２０１０、２０２０及び２０３０と、映像信号を入力するための映像キャプチャー装置２１００と、ＣＰＵ２０４０と、メモリ２０５０とを備え、これらがバス２０６０で接続されて構成されている。
【００５４】
二次記憶装置２０１０には、フリッカー・サブリミナル映像検出部１０００、修正事例検索部１０１０、修正案生成部１０２０、検出結果提示部１０３０、映像差異検出部１０４０、ＯＳ２０７０が格納される。映像差異検出部１０４０は、図３に説明したように、映像特徴量算出部１３００、シーン特徴量算出部１３１０、シーン特徴量比較部１３２０を含んで構成されている。フリッカー・サブリミナル映像検出部１０００は、映像キャプチャー装置２１００を操作して映像信号からフレーム画像のデータを取得する。
【００５５】
二次記憶装置２０１０に格納される、フリッカー・サブリミナル映像検出部１０００、修正事例検索部１０１０、修正案生成部１０２０、検出結果提示部１０３０、映像差異検出部１０４０は、プログラムとして構成して計算機が備えるＣＰＵに実行させることができ、また、それらのプログラムは、ＦＤ、ＣＤＲＯＭ、ＤＶＤ等の記録媒体に格納して提供することができ、また、ネットワークを介してディジタル情報により提供することができる。
【００５６】
二次記憶装置２０２０は、一時保管領域として利用されるものであり、この二次記憶装置２０２０には、フリッカー・サブリミナル映像検出部１０００が出力する検出結果データ１１００、危険映像データ１１１０、修正映像データ１１４０が格納される。二次記憶装置２０３０には、修正事例ＤＢ２２００が格納される。
【００５７】
二次記憶装置２０１０、２０２０、２０３０の構成の概要は、図１、図２の危険映像検出端末２０００に示されている。なお、二次記憶装置２０２０、２０３０は、二次記憶装置２０１０と同一の装置であってもよい。
【００５８】
前述した本発明の実施形態は、危険映像を検出し、修正事例ＤＢに基づいてその修正方法を指示すると共に、映像差異検出部が、修正された映像と修正前の映像とを比較して、修正方法を抽出し、この修正方法を修正事例ＤＢに反映させるとして説明したが、映像差異検出部は、比較する映像が危険映像とその修正映像とに限らず、なんらかの関連のあるの２つの映像を比較することにも利用することができる。例えば、放送等の映像を作成した後に、プロデューサー等による指示に基づいて映像の修正が行われたような場合に、２つの映像を比較して、修正方法を抽出してデータベースに保存しておき、その後の映像作成時に、データベース内の修正方法を参照する等として利用することができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の一実施形態による映像相違検出装置により得られた過去の修正方法を適用して危険映像の修正案を提示する危険映像検出システムの機能構成及び処理を示すブロック図である。
【図２】修正した映像の再検査において本発明の一実施形態による映像相違検出装置により修正方法を検出して事例として蓄積する危険映像検出システムの機能構成及び処理を示すブロック図である。
【図３】映像差異検出部の機能構成及び処理を示すブロック図である。
【図４】修正方法を検出する処理における映像特徴量とシーン特徴量との関係を説明する図である。
【図５】修正方法の検出のマッチング処理における比較元シーン特徴量列と比較先シーン特徴量列との関係を示す図である。
【図６】図１における修正案生成部での処理の概要を説明する図である。
【図７】図１、図２に示す危険映像検出端末ハードウェア構成を示すブロック図である。
【符号の説明】
【００６０】
１０００ フリッカー・サブリミナル映像検出部
１０１０ 修正事例検索部
１０２０ 修正案生成部
１０３０ 検出結果提示部
１１００ 検出結果データ
１１１０ 危険映像データ
１１２０ 修正方法
１１３０ 修正候補映像
１１６０ 危険部位
１１７０ 危険理由
１２００ 映像制作者
１２１０ 検査対象映像
２０００ 危険映像検出端末
２２００ 修正事例ＤＢ
１０４０ 映像差異検出部
１１４０ 修正版映像データ
１１５０ 修正方法
１３００ 映像特徴量算出部
１３１０ シーン特徴量算出部
１３２０ シーン特徴量比較部
２０１０、２０２０、２０３０ 二次記憶装置
２０４０ ＣＰＵ
２０５０ メモリ
２０６０ バス
２０７０ ＯＳ
２１００ 映像キャプチャー装置
【技術分野】
【０００１】
本発明は、危険映像検出方法、映像相違検出方法及び装置に係り、特に、２つの映像のシーン構成の相違を検出して映像の相違を検出する危険映像検出方法、映像相違検出方法及び装置に関する。
【背景技術】
【０００２】
一般に、動画等の映像に含まれる短時間で明滅を繰り返すフリッカー映像や、人が認識できない程度の短時間の画像を挿入するサブリミナル映像等の映像は、人体に害を及ぼす可能性があることが判っている。このような映像の人体への影響度合いは、個人差があり、同じ映像を試聴しても影響のある人と影響のない人とがいる。また、この影響は、映像の試聴環境によっても変わってくると言われており、視聴者と映像モニタとの位置関係や、試聴する場所の明るさの状態にも関連する。
【０００３】
テレビ放送等の不特定多数の人が試聴する映像に前述のような映像が入り込むとその影響範囲は非常に大きく、映像提供者側の社会的責任が問われる可能性がある。このため、放送局等の不特定多数へ映像を提供する映像提供者は、映像を提供する前にこのような危険映像が入り込んでいないかを事前にチェックして検出している。また、放送事業者を会員とする日本民間放送連盟では、このような危険映像のガイドラインを策定している。
【０００４】
危険映像は、短時間（数フレーム〜数秒）の間の映像変化であることから、目視では充分にチェックすることが難しく、また、目視でチェックした場合には、検査する人の主観が入ってしまう危険性がある。危険映像の影響は、試聴側の環境にも依存するため、検査の環境で問題のない映像と判定した場合でも、実際の試聴の条件によっては影響を及ぼす可能性もある。
【０００５】
このため、危険映像の検査を機械的に行う方法に関する従来技術が、例えば、特許文献１等に記載されて知られている。この従来技術は、映像の点滅場面を検出し、検出結果として検出時の特徴量と検出部位の静止画とを提示するというものである。
【特許文献１】特開２００５−１２４１８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前述した従来技術は、危険映像の機械的な検出を行うことができるというだけのものであり、検出された危険映像をどのように修正すればよいかという指針がないため、検出された危険映像に対してどのような修正を行えばよいかが判らないという問題点を有している。このため、検査結果を映像制作者へ上手く伝えることができず、映像制作者による修正映像が再度危険映像として検出されてしまうことがある。特に、テレビ放送の場合には、危険映像の検査者は放送局であり、映像の修正者は映像プロダクションであるというように、検査と修正とが異なる組織、人により行われることが多く、前述のような問題が多く生じている。
【０００７】
前述のような問題を解決するため、危険映像修正の指針として、過去に同様の理由で修正し問題がないと判定された修正方法を活用することが考えられる。この場合、映像の修正方法を蓄積するために修正された映像の修正方法を把握しなければならない。しかし、映像修正者から修正された映像のみが渡される場合や、また、修正者から修正方法が渡された場合でも、渡された修正方法が正しいことを保証する方法がないため、映像修正方法を正しく把握することができないという問題を生じてしまう。
【０００８】
本発明の目的は、前述した問題点に鑑み、危険映像修正の指針として正しく修正された映像の修正方法を把握するため、修正映像から映像の修正方法を検出し、危険映像修正の指針を修正者へ示すため、過去の修正方法を適用した映像の修正案を提示することを可能にした危険映像検出方法、映像相違検出方法及び装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明によれば前記目的は、危険映像を検出し検出結果を提示する危険映像検出方法であって、過去の危険映像に対する修正事例を格納したデータベースを備え、入力された検査対象映像に危険映像が含まれているか否かを検出し、危険映像が含まれていた場合、検出された危険映像の危険理由をキーとして前記データベースを検索して修正事例を取得し、映像の危険部位に修正事例を適用して修正案を作成し、前記検出された危険映像の危険理由、危険部位及び修正案を前記危険映像の修正のために出力することにより達成される。
【００１０】
また、前記目的は、危険映像を検出し検出結果を提示する危険映像検出方法であって、過去の危険映像に対する修正事例を格納したデータベースと、映像差異検出手段とを備え、危険映像に対する修正を行った後の映像を検査対象映像として入力し、この映像に危険映像が含まれているか否かを検出し、危険映像が含まれていなかった場合、前記映像差異検出手段は、修正前の映像と修正後の映像とに対しシーン内のフレーム画像の特徴量を元としたシーン特徴量を算出し、２つの映像それぞれのシーン特徴量の時系列の並びを比較し、シーン特徴量の並びの違いから２つの映像のシーン構成の相違を検出すると共に修正方法を検出し、前記データベースに格納することにより達成される。
【００１１】
また、前記目的は、それぞれが複数のシーンから構成される２つの映像の相違を検出する映像相違検出方法であって、２つの映像のシーン内のフレーム画像の特徴量を元としたシーン特徴量を算出し、２つの映像それぞれのシーン特徴量の時系列の並びを比較し、シーン特徴量の並びの違いから２つの映像のシーン構成の相違を検出することにより達成される。
【発明の効果】
【００１２】
本発明によれば、修正映像と修正前映像とから映像の修正方法を検出することができ、危険映像の検出において検出した危険映像に対する修正案を提示することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明による危険映像検出方法、映像相違検出方法及び装置の実施形態を図面により詳細に説明する。
【００１４】
図１は本発明の一実施形態による映像相違検出装置により得られた過去の修正方法を適用して危険映像の修正案を提示する危険映像検出システムの機能構成及び処理を示すブロック図である。図１において、１０００はフリッカー・サブリミナル映像検出部、１０１０は修正事例検索部、１０２０は修正案生成部、１０３０は検出結果提示部、１１００は検出結果データ、１１１０は危険映像データ、１１２０は修正方法、１１３０は修正候補映像、１１６０は危険部位、１１７０は危険理由、１２００は映像制作者、１２１０は検査対象映像、２０００は危険映像検出端末、２２００は修正事例ＤＢである。
【００１５】
図１に示す危険映像検出端末２０００は、映像制作者１２００が制作した検査対象映像１２１０から危険映像を検出し、過去の修正事例から修正案を作成して映像制作者１２００に戻すまでの処理に必要な機能を持つものとして示している。この危険映像検出端末２０００は、フリッカー・サブリミナル映像検出部１０００、修正事例検索部１０１０、修正案生成部１０２０、検出結果提示部１０３０、映像データ一時保管領域、修正事例ＤＢ２２００を備えて構成されている。
【００１６】
映像制作者１２００が制作し、危険映像検出端末２０００に入力される検査対象映像１２１０は、ＶＴＲテープ等のメディアに記録されていることもあれば、MPEG等のファイル形式で表現されることもある。ＶＴＲテープである場合、検査対象映像１２１０は、ＶＴＲデッキでテープを再生されて危険映像検出端末２０００に入力される。また、ファイル形式であれば、検査対象映像１２１０は、その形式のまま危険映像検出端末２０００に入力される。
【００１７】
危険映像検出端末２０００のフリッカー・サブリミナル映像検出部１０００は、入力された検査対象映像に対し、短時間内に繰り返される映像の明滅や人が意識できない程の短時間での画像の挿入を検出する。これらは、人体に悪影響を及ぼす可能性のある映像である。フリッカー・サブリミナル映像検出部１０００は、検出結果として、映像の危険部位１１６０と危険理由１１７０とを合わせた検出結果データ１１００を出力する。
【００１８】
危険部位１１６０は、映像の位置を示す時間データである。この時間データは、映像の収録メディアあるいは映像ファイルにタイムコード情報が付与されている場合、そのタイムコード値となり、また、タイムコード情報がない場合、映像の先頭からの経過時間となる。例えば、映像の先頭から１０分後の部位を示す場合、「00:10:00:00」 という値となる。これらは、映像の位置を一意に示すことができる値である。
【００１９】
危険理由１１７０は、危険映像として検出した要因を示すデータである。このデータには、危険映像がフリッカー映像であれば「明滅区間の時間長、輝度変化の割合（％）、輝度変化の回数、色成分、明滅を起こしている画面上の部位」の各情報が含まれ、また、危険映像がサブリミナル映像であれば「サブリミナル画像挿入の時間長、サブリミナル画像の画面上の部位」の各情報が含まれる。
【００２０】
フリッカー・サブリミナル映像検出部１０００は、検出結果データ１１００を映像データ一時保管領域に記録すると共に、修正事例検索部１０１０に渡す。また、危険映像の検出処理では、検出のため入力された映像の危険が検出された危険映像データ１１１０を映像データ一時保管領域に記録する。この映像データ１１１０は、映像の解像度・ビットレートを縮小したプロキシ映像として生成して記録される。
【００２１】
修正事例検索部１０１０は、検出結果データ１１００を受け取ると、検出結果データ１１００の危険理由１１７０を検索キーとして、修正事例ＤＢ２２００から過去に類似の危険理由による修正事例があるか否かを検索する。修正事例検索部１０１０は、類似の危険理由による修正事例がある場合、それに対応する修正方法１１２０を取得する。修正方法１１２０には、シーン構成の変更やシーンに対する編集効果の変更の情報が含まれている。修正方法１１２０のデータ構造の詳細については後述する。過去の修正方法１１２０は、検出した危険理由１１７０に最も類似する理由に対応する修正方法を１件だけ取得するようにしてもよく、また、危険理由の類似度に基づきある閾値内の類似性を持つ理由に対応する修正方法を複数件取得してもよい。修正事例検索部１０１０は、検出結果データ１１００と修正方法１１２０とを修正案生成部１０２０に渡す。
【００２２】
修正案生成部１０２０は、映像データ一時保管領域から映像データ１１１０を取得し、危険部位１１６０で示される映像の部位に対して修正方法１１２０で示される内容に従いシーン構成の変更、または、シーンに対する編集効果の変更を施し、修正候補映像１１３０を生成する。この処理の詳細については後述する。修正案生成部１０２０は、検出結果データ１１００と修正候補映像１１３０とを検出結果提示部１０３０へ渡す。
【００２３】
検出結果提示部１０３０は、危険映像の検出結果として危険部位１１６０、危険理由１１７０、修正候補映像１１３０を危険映像検出端末２０００のモニタ上に表示する。また、データファイルとしてこれらデータを出力する。
【００２４】
入力された検査対象映像１２１０に、フリッカー・サブリミナル映像検出部１０００で危険映像が検出されなかった場合、修正事例検索部１０１０、修正案生成部１０２０での処理を行わず、検出結果提示部１０３０で検出されなかった旨の表示を行う。検査にパスした検査対象映像１２１０は、修正することなくそれぞれの利用が行われる。放送用映像であれば放送に用いられる。
【００２５】
入力された検査対象映像１２１０から危険映像が検出された場合、検査者は、検出結果提示部１０３０で出力した検出結果データ１１００、修正候補映像１１３０を映像制作者１２００に渡す。映像制作者１２００は、渡された内容に基づいて映像の修正を行う。映像の修正は、シーン構成の入れ替え、シーンの挿入・削除、シーン長の変更、明滅する輝度の変更、明滅回数の変更等の映像編集処理を行うことにより実施される。修正した映像は、再度危険映像の有無についての検査を行うこととなる。
【００２６】
図２は修正した映像の再検査において本発明の一実施形態による映像相違検出装置により修正方法を検出して事例として蓄積する危険映像検出システムの機能構成及び処理を示すブロック図である。図２において、１０４０は映像差異検出部、１１４０は修正版映像データ、１１５０は修正方法であり、他の符号は図１の場合と同一である。なお、図２に示している映像差異検出部１０４０は、図１に示した危険映像検出端末２０００に含まれるものであり、説明の都合上、図２には、映像相違検出に必要な構成のみを示している。
【００２７】
図１に示す処理で提示された検出結果データ１１００と修正候補映像１１３０に基づいて修正された映像１２２０は、再度フリッカー・サブリミナル映像検出部１０００で危険映像の有無の検査が行われる。この検査で再度危険部位が検出された場合、図１に示して説明した処理を再度行い、検出結果データを映像制作者１２００へ通知し、映像の再修正を行ってもらう。
【００２８】
フリッカー・サブリミナル映像検出部１０００で危険部位が検出されなかった場合、すなわち、修正が上手く行われた場合、フリッカー・サブリミナル映像検出部１０００は、図１に示す処理と同様に検出のために入力された映像を、修正版映像データ１１４０として映像データ一時保管領域に記録する。記録される映像データ１１４０は、映像の解像度・ビットレートを縮小したプロキシ映像である。その後、映像差異検出部１０４０へ処理が移行する。
【００２９】
映像差異検出部１０４０は、修正後の映像データである修正版映像データ１１４０と修正前の映像データ１１１０とを比較することにより、その修正方法を検出する。検出された修正方法は、映像の修正方法１１５０として出力される。修正方法１１５０は、修正事例ＤＢ２２００に危険理由と共に記録される。
【００３０】
図３は映像差異検出部１０４０の機能構成及び処理を示すブロック図、図４は修正方法を検出する処理における映像特徴量とシーン特徴量との関係を説明する図であり、次に、映像差異検出部１０４０での処理の詳細を図３、図４を参照して説明する。図３、図４において、１３００は映像特徴量算出部、１３１０はシーン特徴量算出部、１３２０はシーン特徴量比較部である。
【００３１】
映像差異検出部１０４０は、映像特徴量算出部１３００、シーン特徴量算出部１３１０、シーン特徴量比較部１３２０を備えて構成されている。映像差異検出部１０４０は、修正版（後）映像データ１１４０と修正前映像データ１１１０とが入力されると、まず、映像特徴量算出部１３００が修正前映像データ１１１０と修正後映像データ１１４０とのそれぞれに対して各フレーム画像の特徴量である修正後映像特徴量１４１０、修正前映像特徴量１４００を算出して出力する。この特徴量は、図４に示すように、１つのフレーム画像１４５０毎に対応して１つの特徴量１４６０として算出される。その特徴量の時系列の並びを映像特徴量と呼び、このような映像特徴量が、修正前映像データ１１１０と修正後映像データ１１４０とに対応して映像特徴量算出部１３００から出力される。フレーム画像の特徴量は、画像の輝度、色のヒストグラム等の画像の特徴を示す値のことである。
【００３２】
シーン特徴量算出部１３１０は、映像特徴量算出部１３００から出力された修正前後の映像特徴量１４００、１４１０を入力とし、これらの特徴量に対して、シーン毎の特徴量を算出する。シーンは、フレーム画像の特徴量を時系列順に見た際にその類似性を元にフレーム画像のグルーピングを行ったものである。例えば、図４において、映像特徴量１４００のフレーム画像特徴量Ａ１〜Ｃ６について、「Ａ１〜Ａ５」、「Ｂ１〜Ｂ４」、「Ｃ１〜Ｃ６」の各組に含まれれフレーム画像の類似度が高い場合、「Ａ１〜Ａ５」に対応するフレーム画像の組をシーンＡ１４７０、「Ｂ１〜Ｂ４」の組をシーンＢ１４８０、「Ｃ１〜Ｃ６」の組をシーンＣ１４９０とする。このシーンの映像としては、１度のカメラワークで撮影された一連の映像を示すものとなり、一般的に「カット」と呼ばれるものである。
【００３３】
シーン特徴量とは、シーン場面の特徴を代表する値であり、本発明の実施形態では、シーンを構成するフレーム画像の特徴量の平均値を用いることとするが、シーンの先頭フレームの特徴量を用いても、シーンを構成するフレーム画像の特徴量の中間値を用いてもよい。また、シーン特徴量には、シーン長の情報を含ませている。例えば、図４のシーンＡ１４７０は、シーン長が５フレームである。シーンＡ１４７０のシーン特徴量１４４０の値「Ａ−５」の「５」は、シーン長が５フレームであることを示しており、「Ａ−５」の「Ａ」は、フレーム画像の特徴量「Ａ１〜Ａ５」の平均値を示している。
【００３４】
シーン特徴量の時系列の並びを「シーン特徴量列」と呼ぶ。シーン特徴量列１４２０は、シーンＡ１４７０のシーン特徴量１４４０、シーンＢ１４８０のシーン特徴量１５００、シーンＣ１４９０のシーン特徴量１５１０の並びを含むこととなる。
【００３５】
シーン特徴量算出部１３１０は、映像特徴量１４００、１４１０に対しシーン特徴量列１４２０、１４３０を算出して出力する。
【００３６】
シーン特徴量比較部１３２０は、シーン特徴量算出部１３１０で算出された２つのシーン特徴量列１４２０、１４３０を比較し映像の修正方法を検出する。このシーン特徴量比較部１３２０による映像修正方法の検出処理の詳細を図５を参照して説明する。
【００３７】
図５は修正方法の検出のマッチング処理における比較元シーン特徴量列と比較先シーン特徴量列との関係を示す図である。
【００３８】
映像修正方法の検出処理は、次に説明する手順で行われる。
【００３９】
（１）修正前映像のシーン特徴量列１４２０から、危険部位１１６０で示される部位を含むシーンを中心として前後ｎシーンずつのシーン特徴量を抽出する。抽出したシーン特徴量は、比較元シーン特徴量列１６００となる。図５に示す例では、ｎを４としている。
【００４０】
（２）修正後映像のシーン特徴量列１４３０の危険部位１１６０で示される部位に対し、比較元シーン特徴量列１６００とのマッチングを行う。マッチングは、修正後映像のシーン特徴量列１４３０の危険部位１１６０で示される位置に対して前後にｍシーン内でずらしながら修正前映像のシーン特徴量列１４２０から抽出した比較元シーン特徴量列１６００と修正後映像のシーン特徴量列１４３０から抽出したシーン特徴量列１６００との対応するシーンについてのマッチング計算を行うことにより実施される。マッチング計算は、シーン特徴量の差の合計値を求め、最も低い値となる位置をマッチング位置とするという計算である。図５に示す例では、ｍを１としており、マッチング開始位置１６１０から１シーンずつ位置を１６２０、１６３０とずらしながらマッチング計算を行う。この例では、マッチング位置が１６２０と決定される。そして、マッチング位置に対応する修正後映像のシーン特徴量列１４３０の部位を比較先シーン特徴量列１６４０とする。
【００４１】
（３）比較元シーン特徴量列１６００と比較先シーン特徴量列１６４０との各シーンをシーン毎に比較し、シーン特徴量の違いを検出する。比較先シーン特徴量列１６４０の比較元シーン特徴量列１６００に対して検出されたシーン特徴量の相違は、次のような映像修正が行われたものとして扱う。
【００４２】
・検出されたシーン特徴量の相違が、シーン長の変更によると検出された場合、シーンの長さを長く、あるいは、シーン長の長さを短くする修正を行った。
【００４３】
・検出されたシーン特徴量の相違が、シーン特徴量の順番の変更によると検出された場合、シーンの順番を入れ替える修正を行った。例えば、シーンＡ、Ｂ、ＣをシーンＢ、Ａ、Ｃの順番とするなど。
【００４４】
・検出されたシーン特徴量の相違が、新規のシーン特徴量があることによると検出された場合、新規のシーンを追加する修正を行った。例えば、シーンＡ、Ｂ、ＣにシーンＸを挿入しシーンＡ、Ｘ、Ｂ、Ｃとするなど。
【００４５】
・検出されたシーン特徴量の相違が、シーン特徴量がなくなっていることによると検出された場合、シーンを削除する修正を行った。例えば、シーンＡ、Ｂ、ＣからシーンＢを削除しシーンＡ、Ｃとするなど。
【００４６】
・検出されたシーン特徴量の相違が、特徴量が類似していることによると検出された場合、シーンの映像効果を変更する修正を行った。シーン特徴量に用いる映像特徴量の種別に応じて検出可能な映像効果が変わる。例えば、特徴量として輝度ヒストグラムを用いていれば輝度の変化を検出することができる。映像編集の例としては、シーンＡ、Ｂ、ＣのシーンＢの輝度を下げてシーンＢ’としシーンＡ、Ｂ’、Ｃとするなどの例がある。なお、特徴量の類似度がある閾値以上離れている場合には、新規シーンの挿入として扱う。
【００４７】
前述したような変更は、１種類だけ行われることもあれば、複数種類が同時に行われることもある。
【００４８】
図３に示す映像差異検出部１０４０のシーン特徴量比較部１３２０は、前述の処理を行い映像の修正方法を検出し修正方法１１５０を生成する。修正方法１１５０は、「変更前のシーン構成、変更後のシーン構成、危険部位となるシーン」から構成される。シーン構成には、シーン長やシーン特徴量の情報を含む。
【００４９】
図３に示す映像特徴量算出部１３００での各フレーム画像の特徴量の算出は、危険部位１１６０の周辺のフレーム画像だけを対象にしてもよい。この場合、シーン特徴量列は、危険部位１１６０の周辺のシーンに対してのみ算出される。フレーム画像の特徴量の算出の範囲は、比較元シーン特徴量列１６００と比較先シーン特徴量列１６４０のマッチング演算を行うために必要な範囲のみでよい。
【００５０】
図６は図１における修正案生成部１０２０での処理の概要を説明する図であり、次に、図６を参照して、危険部位に修正方法を適用して修正候補映像を生成する処理について説明する。
【００５１】
修正案生成部１０２０は、危険部位が検出された危険映像データ１１１０に対し、危険理由をキーに事例ＤＢから検索した修正方法１１２０を適用し、危険映像データ１１１０の危険部位を含むシーンＢ１７００に対し、修正方法１１２０の内容に従い映像を修正する。図６に示す例では、修正方法１１２０には、危険部位を含むシーンのシーン長を２倍とし、シーンの映像輝度を５０％下げることが記載されている。修正案生成部１０２０は、この内容に従い、シーンＢ１７００のシーン長を２倍の長さとし、輝度を５０％下げる処理を施してシーンＢ´１７１０を生成する。具体的には、シーンＢ１７００の各フレーム画像を１枚ずつ増やし、各フレーム画像の輝度が５０％下がるよう画像フィルタ処理を施す。このような処理により、修正案としての修正候補映像１１３０が生成される。
【００５２】
図７は図１、図２に示す危険映像検出端末２０００のハードウェア構成を示すブロック図である。図７において、２０１０、２０２０、２０３０は二次記憶装置、２０４０はＣＰＵ、２０５０はメモリ、２０６０はバス、２０７０はＯＳ、２１００は映像キャプチャー装置であり、他の符号は図１、図２、図３に示す場合と同一である。
【００５３】
危険映像検出端末端末２０００は、二次記憶装置２０１０、２０２０及び２０３０と、映像信号を入力するための映像キャプチャー装置２１００と、ＣＰＵ２０４０と、メモリ２０５０とを備え、これらがバス２０６０で接続されて構成されている。
【００５４】
二次記憶装置２０１０には、フリッカー・サブリミナル映像検出部１０００、修正事例検索部１０１０、修正案生成部１０２０、検出結果提示部１０３０、映像差異検出部１０４０、ＯＳ２０７０が格納される。映像差異検出部１０４０は、図３に説明したように、映像特徴量算出部１３００、シーン特徴量算出部１３１０、シーン特徴量比較部１３２０を含んで構成されている。フリッカー・サブリミナル映像検出部１０００は、映像キャプチャー装置２１００を操作して映像信号からフレーム画像のデータを取得する。
【００５５】
二次記憶装置２０１０に格納される、フリッカー・サブリミナル映像検出部１０００、修正事例検索部１０１０、修正案生成部１０２０、検出結果提示部１０３０、映像差異検出部１０４０は、プログラムとして構成して計算機が備えるＣＰＵに実行させることができ、また、それらのプログラムは、ＦＤ、ＣＤＲＯＭ、ＤＶＤ等の記録媒体に格納して提供することができ、また、ネットワークを介してディジタル情報により提供することができる。
【００５６】
二次記憶装置２０２０は、一時保管領域として利用されるものであり、この二次記憶装置２０２０には、フリッカー・サブリミナル映像検出部１０００が出力する検出結果データ１１００、危険映像データ１１１０、修正映像データ１１４０が格納される。二次記憶装置２０３０には、修正事例ＤＢ２２００が格納される。
【００５７】
二次記憶装置２０１０、２０２０、２０３０の構成の概要は、図１、図２の危険映像検出端末２０００に示されている。なお、二次記憶装置２０２０、２０３０は、二次記憶装置２０１０と同一の装置であってもよい。
【００５８】
前述した本発明の実施形態は、危険映像を検出し、修正事例ＤＢに基づいてその修正方法を指示すると共に、映像差異検出部が、修正された映像と修正前の映像とを比較して、修正方法を抽出し、この修正方法を修正事例ＤＢに反映させるとして説明したが、映像差異検出部は、比較する映像が危険映像とその修正映像とに限らず、なんらかの関連のあるの２つの映像を比較することにも利用することができる。例えば、放送等の映像を作成した後に、プロデューサー等による指示に基づいて映像の修正が行われたような場合に、２つの映像を比較して、修正方法を抽出してデータベースに保存しておき、その後の映像作成時に、データベース内の修正方法を参照する等として利用することができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の一実施形態による映像相違検出装置により得られた過去の修正方法を適用して危険映像の修正案を提示する危険映像検出システムの機能構成及び処理を示すブロック図である。
【図２】修正した映像の再検査において本発明の一実施形態による映像相違検出装置により修正方法を検出して事例として蓄積する危険映像検出システムの機能構成及び処理を示すブロック図である。
【図３】映像差異検出部の機能構成及び処理を示すブロック図である。
【図４】修正方法を検出する処理における映像特徴量とシーン特徴量との関係を説明する図である。
【図５】修正方法の検出のマッチング処理における比較元シーン特徴量列と比較先シーン特徴量列との関係を示す図である。
【図６】図１における修正案生成部での処理の概要を説明する図である。
【図７】図１、図２に示す危険映像検出端末ハードウェア構成を示すブロック図である。
【符号の説明】
【００６０】
１０００ フリッカー・サブリミナル映像検出部
１０１０ 修正事例検索部
１０２０ 修正案生成部
１０３０ 検出結果提示部
１１００ 検出結果データ
１１１０ 危険映像データ
１１２０ 修正方法
１１３０ 修正候補映像
１１６０ 危険部位
１１７０ 危険理由
１２００ 映像制作者
１２１０ 検査対象映像
２０００ 危険映像検出端末
２２００ 修正事例ＤＢ
１０４０ 映像差異検出部
１１４０ 修正版映像データ
１１５０ 修正方法
１３００ 映像特徴量算出部
１３１０ シーン特徴量算出部
１３２０ シーン特徴量比較部
２０１０、２０２０、２０３０ 二次記憶装置
２０４０ ＣＰＵ
２０５０ メモリ
２０６０ バス
２０７０ ＯＳ
２１００ 映像キャプチャー装置
【特許請求の範囲】
【請求項１】
危険映像を検出し検出結果を提示する危険映像検出方法であって、過去の危険映像に対する修正事例を格納したデータベースを備え、入力された検査対象映像に危険映像が含まれているか否かを検出し、危険映像が含まれていた場合、検出された危険映像の危険理由をキーとして前記データベースを検索して修正事例を取得し、映像の危険部位に修正事例を適用して修正案を作成し、前記検出された危険映像の危険理由、危険部位及び修正案を前記危険映像の修正のために出力することを特徴とする危険映像検出方法。
【請求項２】
危険映像を検出し検出結果を提示する危険映像検出方法であって、過去の危険映像に対する修正事例を格納したデータベースと、映像差異検出手段とを備え、危険映像に対する修正を行った後の映像を検査対象映像として入力し、この映像に危険映像が含まれているか否かを検出し、危険映像が含まれていなかった場合、前記映像差異検出手段は、修正前の映像と修正後の映像とに対しシーン内のフレーム画像の特徴量を元としたシーン特徴量を算出し、２つの映像それぞれのシーン特徴量の時系列の並びを比較し、シーン特徴量の並びの違いから２つの映像のシーン構成の相違を検出すると共に修正方法を検出し、前記データベースに格納することを特徴とする危険映像検出方法。
【請求項３】
前記シーン特徴量は、映像の編集効果に関する特徴量を元に算出され、シーン特徴量の並びの比較により２つの映像のシーン特徴量値の差からシーンに施された編集効果の相違を検出することにより前記シーン構成の相違が検出されることを特徴とする請求項２記載の危険映像検出方法。
【請求項４】
前記シーン特徴量は、シーン内のフレーム画像の特徴量の平均値であることを特徴とする請求項２記載の危険映像検出方法。
【請求項５】
危険映像を検出し検出結果を提示する危険映像検出装置であって、過去の危険映像に対する修正事例を格納したデータベースと、入力された検査対象映像に危険映像が含まれているか否かを検出する手段と、危険映像が含まれていた場合、検出された危険映像の危険理由をキーとして前記データベースを検索して修正事例を取得する手段と、映像の危険部位に修正事例を適用して修正案を作成する手段と、前記検出された危険映像の危険理由、危険部位及び修正案を前記危険映像の修正のために出力する手段とを備えることを特徴とする危険映像検出装置。
【請求項６】
危険映像を検出し検出結果を提示する危険映像検出装置であって、過去の危険映像に対する修正事例を格納したデータベースと、映像差異検出手段と、危険映像に対する修正を行った後の映像を検査対象映像として入力し、この映像に危険映像が含まれているか否かを検出する手段とを備え、危険映像が含まれていなかった場合、前記映像差異検出手段は、修正前の映像と修正後の映像とに対しシーン内のフレーム画像の特徴量を元としたシーン特徴量を算出し、２つの映像それぞれのシーン特徴量の時系列の並びを比較し、シーン特徴量の並びの違いから２つの映像のシーン構成の相違を検出すると共に修正方法を検出し、前記データベースに格納することを特徴とする危険映像検出装置。
【請求項７】
前記シーン特徴量は、映像の編集効果に関する特徴量を元に算出され、シーン特徴量の並びの比較により２つの映像のシーン特徴量値の差からシーンに施された編集効果の相違を検出することにより前記シーン構成の相違が検出されることを特徴とする請求項６記載の危険映像検出装置。
【請求項８】
前記シーン特徴量は、シーン内のフレーム画像の特徴量の平均値であることを特徴とする請求項６記載の危険映像検出装置。
【請求項９】
それぞれが複数のシーンから構成される２つの映像の相違を検出する映像相違検出方法であって、２つの映像のシーン内のフレーム画像の特徴量を元としたシーン特徴量を算出し、２つの映像それぞれのシーン特徴量の時系列の並びを比較し、シーン特徴量の並びの違いから２つの映像のシーン構成の相違を検出することを特徴とする映像相違検出方法。
【請求項１０】
それぞれが複数のシーンから構成される２つの映像の相違を検出する映像相違検出装置であって、２つの映像のシーン内のフレーム画像の特徴量を元としたシーン特徴量を算出する手段と、２つの映像それぞれのシーン特徴量の時系列の並びを比較し、シーン特徴量の並びの違いから２つの映像のシーン構成の相違を検出する手段とを備えたことを特徴とする映像相違検出装置。
【請求項１】
危険映像を検出し検出結果を提示する危険映像検出方法であって、過去の危険映像に対する修正事例を格納したデータベースを備え、入力された検査対象映像に危険映像が含まれているか否かを検出し、危険映像が含まれていた場合、検出された危険映像の危険理由をキーとして前記データベースを検索して修正事例を取得し、映像の危険部位に修正事例を適用して修正案を作成し、前記検出された危険映像の危険理由、危険部位及び修正案を前記危険映像の修正のために出力することを特徴とする危険映像検出方法。
【請求項２】
危険映像を検出し検出結果を提示する危険映像検出方法であって、過去の危険映像に対する修正事例を格納したデータベースと、映像差異検出手段とを備え、危険映像に対する修正を行った後の映像を検査対象映像として入力し、この映像に危険映像が含まれているか否かを検出し、危険映像が含まれていなかった場合、前記映像差異検出手段は、修正前の映像と修正後の映像とに対しシーン内のフレーム画像の特徴量を元としたシーン特徴量を算出し、２つの映像それぞれのシーン特徴量の時系列の並びを比較し、シーン特徴量の並びの違いから２つの映像のシーン構成の相違を検出すると共に修正方法を検出し、前記データベースに格納することを特徴とする危険映像検出方法。
【請求項３】
前記シーン特徴量は、映像の編集効果に関する特徴量を元に算出され、シーン特徴量の並びの比較により２つの映像のシーン特徴量値の差からシーンに施された編集効果の相違を検出することにより前記シーン構成の相違が検出されることを特徴とする請求項２記載の危険映像検出方法。
【請求項４】
前記シーン特徴量は、シーン内のフレーム画像の特徴量の平均値であることを特徴とする請求項２記載の危険映像検出方法。
【請求項５】
危険映像を検出し検出結果を提示する危険映像検出装置であって、過去の危険映像に対する修正事例を格納したデータベースと、入力された検査対象映像に危険映像が含まれているか否かを検出する手段と、危険映像が含まれていた場合、検出された危険映像の危険理由をキーとして前記データベースを検索して修正事例を取得する手段と、映像の危険部位に修正事例を適用して修正案を作成する手段と、前記検出された危険映像の危険理由、危険部位及び修正案を前記危険映像の修正のために出力する手段とを備えることを特徴とする危険映像検出装置。
【請求項６】
危険映像を検出し検出結果を提示する危険映像検出装置であって、過去の危険映像に対する修正事例を格納したデータベースと、映像差異検出手段と、危険映像に対する修正を行った後の映像を検査対象映像として入力し、この映像に危険映像が含まれているか否かを検出する手段とを備え、危険映像が含まれていなかった場合、前記映像差異検出手段は、修正前の映像と修正後の映像とに対しシーン内のフレーム画像の特徴量を元としたシーン特徴量を算出し、２つの映像それぞれのシーン特徴量の時系列の並びを比較し、シーン特徴量の並びの違いから２つの映像のシーン構成の相違を検出すると共に修正方法を検出し、前記データベースに格納することを特徴とする危険映像検出装置。
【請求項７】
前記シーン特徴量は、映像の編集効果に関する特徴量を元に算出され、シーン特徴量の並びの比較により２つの映像のシーン特徴量値の差からシーンに施された編集効果の相違を検出することにより前記シーン構成の相違が検出されることを特徴とする請求項６記載の危険映像検出装置。
【請求項８】
前記シーン特徴量は、シーン内のフレーム画像の特徴量の平均値であることを特徴とする請求項６記載の危険映像検出装置。
【請求項９】
それぞれが複数のシーンから構成される２つの映像の相違を検出する映像相違検出方法であって、２つの映像のシーン内のフレーム画像の特徴量を元としたシーン特徴量を算出し、２つの映像それぞれのシーン特徴量の時系列の並びを比較し、シーン特徴量の並びの違いから２つの映像のシーン構成の相違を検出することを特徴とする映像相違検出方法。
【請求項１０】
それぞれが複数のシーンから構成される２つの映像の相違を検出する映像相違検出装置であって、２つの映像のシーン内のフレーム画像の特徴量を元としたシーン特徴量を算出する手段と、２つの映像それぞれのシーン特徴量の時系列の並びを比較し、シーン特徴量の並びの違いから２つの映像のシーン構成の相違を検出する手段とを備えたことを特徴とする映像相違検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−１５８６７３（Ｐ２００７−１５８６７３Ａ）
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願番号】特願２００５−３５０６１６（Ｐ２００５−３５０６１６）
【出願日】平成１７年１２月５日（２００５．１２．５）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願日】平成１７年１２月５日（２００５．１２．５）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]