説明

イメージ・データを分析するための方法および装置

【課題】ブラック・フレームを検出するために、同様またはほぼ同じ輝度あるいは色成分値を有するフィルムまたは映像コンテンツにおいてフィールドまたはフレームを自動的に検出するための方法および装置を提供する。
【解決手段】イメージ・サンプル値が符号付き重みを有するサンプル値範囲に割り当てられ、サンプル値範囲内の入力サンプルの符号付き重みおよび数に応じて、各サンプル範囲に関する弁別関数への寄与が決定される。次に、弁別関数出力がしきい値と比較される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イメージ・データを分析するための方法および装置に関する。特に、本発明は、フィールドまたはフレーム全体にわたって同様であるかまたはほぼ一定の輝度または色成分値を有するフィルムまたは映像コンテンツにおけるフィールドまたはフレームの自動検出に関する。
【背景技術】
【0002】
フィルムまたは映像コンテンツの監視または評価は、放送業者およびコンテンツ所有者またはコンテンツ管理機関のどちらにとっても関心が高まりつつある分野である。
【0003】
特に、放送業者にとっては、放送中の映像音響コンテンツを監視して識別できること、およびそれ故、例えば、画面が真っ黒(オール・ブラック)になるなどの放送チェーンにおける問題またはエラーに即時に応答できることが望ましい。これまでこれは、通常、人がプログラム出力を目視で監視すること、またはより一般的には、いくつかのプログラム出力を監視して、プログラム出力中のエラーを目視で識別することによって達成されてきた。これは明らかに多くの労力を必要とするものであり、自動化または半自動化された監視およびエラー検出を提供することが望ましい。
【0004】
さらに、コンテンツ所有者/管理機関にとっては、コンテンツを分析できること、およびコンテンツの側面を記述するメタデータを生成できることが、ますます望ましくなってきている。この技法の一例が、オール・ブラック・フレームの存在を決定するためにコンテンツを分析すること、および関連するメタデータを作成することである。
【0005】
これが有用な可能性のある用途の1つが、上記概説した自動化または半自動化された監視およびエラー検出である。それ故、添付のメタデータ内で識別されたブラック・フレームは、プログラム・コンテンツの再生時には、「エラー」とはみなされず、プログラム材料からではなく純粋なエラーから生じるブラック・フレームのみが警告を発生させる。これが監視およびエラー検出の信頼性を高める。
【発明の開示】
【発明が解決しようとする課題】
【0006】
本発明の目的は、従来技術における少なくともいくつかの欠点を軽減することである。
【課題を解決するための手段】
【0007】
本発明の第1の態様によれば、複数のサンプル値範囲を定義するステップであって、それぞれのサンプル値範囲がそれに割り当てられた符号付き重みを有し、定義された値を含むサンプル値範囲が、少なくとも1つの他のサンプル値範囲に割り当てられた重みとは反対の符号の重みを有するステップと、それぞれの当該範囲内にある値を有するサンプルの数をカウントし、カウント値の重み付け合計を形成するステップと、重み付け合計をしきい値と比較し、定義された値を含むサンプル値範囲に割り当てられた重みがそれぞれ負または正であれば、重み付け合計がしきい値よりも少ないかまたは多い場合、正の結果を決定するステップとを含む、イメージ・データのサンプル値が定義された値に近いかどうかを判別するためにサンプリングまたはサブサンプリングされたイメージ・データを分析する方法が提供される。
【0008】
本発明の第2の態様によれば、複数のイメージ・データのサンプル値範囲からの相対的寄与から重み付け合計を形成するステップであって、この相対的寄与が範囲内にあるサンプル数および各サンプル値範囲に関連付けられた符号付き重みに依存し、定義された値を含むサンプル値範囲が少なくとも1つの他のサンプル値範囲に割り当てられた重みとは反対の符号の重みを有するステップと、定義された値を含むサンプル値範囲に割り当てられた重みがそれぞれ負または正であれば、重み付け合計がしきい値よりも少ないかまたは多い場合、正の結果を決定するステップとを含む、イメージ・データのサンプル値が定義された値に近いかどうかを判別するためにサンプリングまたはサブサンプリングされたイメージ・データを分析する方法が提供される。
【0009】
本発明の第3の態様によれば、各イメージ・データ・サンプルについて、複数のサンプル値範囲のうちの1つにイメージ・データ・サンプルを割り振るステップと、重み付け合計を形成するために割り振られたサンプル値範囲に関連付けられた符号付き重みを累算するステップであって、定義された値を含むサンプル値範囲に関連付けられた重みが少なくとも1つの他のサンプル値範囲に割り当てられた重みとは反対の符号であるステップと、定義された値を含むサンプル値範囲に割り当てられた重みがそれぞれ負または正であれば、すべてのサンプル値に関する重み付け合計がしきい値よりも少ないかまたは多い場合、正の結果を決定するステップとを含む、イメージ・データのサンプル値が定義された値に近いかどうかを判別するためにサンプリングまたはサブサンプリングされたイメージ・データを分析する方法が提供される。
【0010】
本発明の第4の態様によれば、本発明に従った方法を実行するためのプロセッサ実施可能命令を格納するプログラムキャリアが提供される。
【0011】
本発明の第5の態様によれば、複数のサンプル値範囲を定義するための手段であって、それぞれのサンプル値範囲がそれに割り当てられた符号付き重みを有し、定義された値を含むサンプル値範囲が、少なくとも1つの他のサンプル値範囲に割り当てられた重みとは反対の符号の重みを有する定義するための手段と、それぞれの当該範囲内にある値を有するサンプルの数をカウントするための手段と、カウント値の重み付け合計を形成するための加算器と、重み付け合計をしきい値と比較し、定義された値を含むサンプル値範囲に割り当てられた重みがそれぞれ負または正であれば、重み付け合計がしきい値よりも少ないかまたは多い場合、正の結果を決定するためのコンパレータとを備える、イメージ・データのサンプル値が定義された値に近いかどうかを判別するためにサンプリングまたはサブサンプリングされたイメージ・データを分析するための装置が提供される。
【0012】
本発明の第6の態様によれば、複数のイメージ・データのサンプル値範囲からの相対的寄与から重み付け合計を形成するためのアキュムレータ手段であって、この相対的寄与が範囲内にあるサンプル数および各サンプル値範囲に関連付けられた符号付き重みに依存し、定義された値を含むサンプル値範囲が少なくとも1つの他のサンプル値範囲に割り当てられた重みとは反対の符号の重みを有する、アキュムレータ手段と、定義された値を含むサンプル値範囲に割り当てられた重みがそれぞれ負または正であれば、重み付け合計がしきい値よりも少ないかまたは多い場合、正の結果を決定するための決定手段とを備える、イメージ・データのサンプル値が定義された値に近いかどうかを判別するためにサンプリングまたはサブサンプリングされたイメージ・データを分析するための装置が提供される。
【0013】
本発明の第7の態様によれば、各イメージ・データ・サンプルについて、複数のサンプル値範囲のうちの1つにイメージ・データ・サンプルを割り振るための手段と、重み付け合計を形成するために割り振られたサンプル値範囲に関連付けられた符号付き重みを累算するための手段であって、定義された値を含むサンプル値範囲に関連付けられた重みが少なくとも1つの他のサンプル値範囲に割り当てられた重みとは反対の符号である累算するための手段と、定義された値を含むサンプル値範囲に割り当てられた重みがそれぞれ負または正であれば、重み付け合計がしきい値よりも少ないかまたは多い場合、正の結果を決定するための手段とを備える、イメージ・データのサンプル値が定義された値に近いかどうかを判別するためにサンプリングまたはサブサンプリングされたイメージ・データを分析するための装置が提供される。
【0014】
いくつかの実施形態では、定義された値に最も近いがこれを含まないサンプル値範囲に割り当てられた重みは、定義された値を含むサンプル値範囲と同じ符号の重みを有する。
【0015】
好ましくは、定義された値を含むサンプル値範囲に関連付けられた重みと反対の符号を有する重みは、関連付けられたサンプル値範囲が当該定義された値に近くなるほど大きくなる。
【発明を実施するための最良の形態】
【0016】
次に、本発明をより良く理解するために、およびこれがどのように実行できるかを示すために、一例として添付の図面を参照する。
【0017】
次に、本発明の例示としての実施形態について、添付の図面を参照しながら説明する。
【0018】
当業者であれば周知のように、テレビジョンまたは映像信号には、輝度および色情報の両方が含まれる。従来、これらの量は8ビット数で表されてきた。デジタル構成要素システム向けのITU勧告では、輝度信号がレベル16の「ブラック」からレベル235の「ホワイト」まで延在し、2つの色差信号は最大の負の値を表すレベル16から最大の正の値を表すレベル240まで延在し、レベル128がゼロを表すように指定している。デジタル複合システムでは、他の値が使用される。現在実施されているのは少なくとも10ビット表現を使用することであり、通常は2つの下位ビットを「小数」ビットとみなすことによって、8ビット・システムと同等の内容が達成される。
【0019】
本発明の実施形態では、デジタル・ワード長は、例えば、切り捨てまたは丸めによって短くすることができるが、説明する例では、ITU符号化勧告に従った8ビットシステムが想定されている。
【0020】
例示としての実施形態は、ブラック・フィールドの存在を決定するための輝度イメージ・データの分析との関連において記載されるため、記載された実施形態では、以下で説明するように、分析用の「定義された値」はブラック・レベル、すなわち8ビット輝度表現ではレベル16である。しかしながら当業者であれば、本発明に従ったイメージ・データの分析は、より一般的には、フィールドまたはフレーム全体にわたって同様であるかまたはほぼ一定の輝度または色成分値を有するフィルムまたは映像コンテンツにおいて、フィールドまたはフレームを決定するために使用可能であることが明らかであろう。それ故、本発明を使用して、輝度値とホワイト・レベルの「定義された値」、すなわちレベル235とを比較することによって、「オール・ホワイト」フィールドまたはフレームを決定すること、輝度値と中間グレーの「定義された値」、すなわちレベル126とを比較することによって「グレー」のフィールドまたはフレームを決定すること、またはカラー値または色差値とレベル128または他の定義済みレベルとを比較することによって、色成分または色差信号の損失を検出することもできる。
【0021】
さらに、例示としての実施形態の方法は、フィールド内のすべてのピクセル・サンプル値に対して実施される。しかしながら、本明細書に記載の概念は、例えば、フィールドごと、またはフレームごとに適用可能であるか、またはより一般的には、任意の代表的なサンプリングまたはサブサンプリングされたイメージ・データの使用に適用可能であることが明らかであろう。したがって、例えば、本発明は、ブロック全体にわたる平均値を代表するイメージ・データに適用可能であるか、またはn番目ごとのピクセルのみを使用して適用可能である。以下の記述におけるフィールドへの言及も、同様に理解されたい。
【0022】
本明細書に記載の例示としての実施形態では、輝度値の範囲内にわたるフィールドにおけるピクセル輝度値の広がりに関する統計情報を効率良く利用して、特定フレームがブラックであるか否かが容易に判別される。例示としての実施形態では、非線形ヒストグラムに基づく技法が開示されている。この状況での非線形という用語は、ヒストグラムのサンプル値範囲、またはビン(bin)が、可変数のサンプル値をカバーすることを示すように意図されている。例示としての実施形態では、サンプル値範囲は、ブラック・イメージと単なる暗いアクション・イメージとをより容易に見分けるために、ピクセル輝度値の下位領域を中心にクラスタ化される。
【0023】
本明細書に記載の実施形態では、ピクセルは、ピクセル輝度値に従って特定のサンプル値範囲に割り振られる。特定のサンプル値範囲内にあるフレームのピクセル数は、サンプル値範囲の寄与を形成するために、サンプル値範囲に関連付けられた符号付き重みによって重み付けされる。その後、各サンプル値範囲に関連付けられた寄与は、フィールドがブラックであるかどうかを判別するために、他のサンプル値範囲からの寄与と組み合わせられる。
【0024】
最も一般的には、このプロセスは以下の式の弁別関数を使用して要約することが可能である。
【0025】
【数1】

【0026】
ここで、dは弁別関数、Tは任意の定数またはしきい値、Nはj番目のサンプル値範囲内のサンプル値の数、cはj番目のサンプル値範囲に関連付けられた重みまたは係数であり、n個のサンプル値範囲がある。
【0027】
一般に、サンプル値範囲のうちの1つに定義された値が含まれることになる。異なるサンプル値範囲に関連付けられた係数は、定義された値範囲が収まるサンプル値範囲が、少なくとも1つの他のサンプル値範囲に関連付けられた重みの符号とは反対の符号の重みを有するように配置構成される。
【0028】
このように反対の符号を有する重みを使用することは、事実上、弁別関数の結果が、一方では正の重みを有するサンプル値範囲と、他方では負の重みを有するサンプル値範囲とによって作られる、弁別関数への寄与間のバランスであることを意味する。したがって、正確かつ信頼できる弁別を提供するために、サンプル値範囲およびそれらの対応する重みの大きさおよび符号を選択することができる。
【0029】
当業者であれば明らかなように、サンプル値範囲および対応する重みは、いくつかの異なる技法を使用して選択可能である。一般に、例示としての実施形態において、例えば、ブラック・フレームと単なる暗いアクション・フレームとを見分けることに関心がある状況で、サンプル値範囲および対応する選択された重みが信頼できる弁別を提供することを確保するために、トレーニングおよび最適化のプロセスを使用することが有利であろう。
【0030】
次に、サンプル値範囲またはヒストグラム・ビン、および対応する重みまたはヒストグラム係数を生成する例示としての方法について、ブラック・フレームの検出との関連において説明する。この状況では、定義された値は、ITU勧告におけるブラック・レベルに対応する輝度値16である。
【0031】
図1は、以下のビン・サイズを伴う、例示としての試験サンプル値範囲を示す。
【0032】
【表1】

【0033】
この表1に示されたサンプル値範囲はある程度任意であるが、ブラック・レベル16の定義された値に近いピクセル輝度値におけるわずかな差異が最大の弁別を提供することになる。結果として、サンプル値範囲は定義された値付近で狭く、定義された値から離れるほど広くなる。
【0034】
サンプル値範囲が定義されると、係数が割り当てられ、次に、ブラックおよび近ブラック・イメージのトレーニング・シーケンスを使用して最適化される。係数セットに対してこれを達成する方法の1つは、各ポイントについて弁別関数dを取得して、その結果をフィールドがブラックであるか非ブラックであるかに従ってコスト関数で使用し、トレーニング・シーケンスにおけるそれぞれの異なる出現を補償するために異なる重み付けがされた個々のコスト関数を合計することである。
【0035】
例示としての実施形態では、係数は最初にラプラシアン正則化によって浮動小数点精度で計算される。これには、重要でない係数を最小限にする効果がある。例示としての実施形態では、以下に示すように、次に、係数は整数に変換され、重要でない係数はゼロに丸められる。
【0036】
【表2】

【0037】
それ故、以下の弁別関数は、
d=−(B+B+B)+18325×B+1253×B+2×B
または
d=−N+18325×N+1253×N+2×N+N
ここで、
=入力輝度サンプルのカウントY<47
=入力輝度サンプルのカウント48<Y<63
=入力輝度サンプルのカウント64<Y<95
=入力輝度サンプルのカウント196<Y<255
=上記いずれの範囲にも入らない入力輝度サンプルのカウント
である。
【0038】
本発明の運用にはいずれの定義された範囲にも入らない入力輝度サンプルのカウントの使用は不可欠でないため、カウントNの使用はオプションである。
【0039】
それ故、この例示としての実施形態では4つのサンプル範囲およびそれらの関連する重み付けが定義される。この例示としての実施形態では、定義された値を含むサンプル範囲(すなわち、サンプル範囲Y<47)に関連付けられた重みの符号は、他の定義されたサンプル範囲(すなわち、サンプル範囲48<Y<63、64<Y<95、および196<Y<255)に関連付けられた重みの符号とは反対である。それ故、負の重みを有する第1のサンプル範囲からの寄与が、すべてが正の重みを有する他のサンプル範囲からの寄与を上回る場合、「ブラック」が検出される。これは、入力値の代表的なサンプルの終わりに弁別関数の符号によって容易に決定することができる。
【0040】
もちろん、いくつかの実施形態では、定義された値を含むサンプル範囲以外の1つまたは複数のサンプル値範囲が、定義された値を含むサンプル範囲と同じ符号を有する場合もある。特に、定義された値に最も近いがこれを含まないサンプル値範囲に割り当てられた重みは、定義された値を含むサンプル値範囲と同じ符号の重みを有することができる。しかしながら、少なくとも1つのサンプル範囲は、弁別関数に必要なバランス寄与を提供するために反対の符号を有することになる。
【0041】
オプションで、偽の正の可能性を減らすために、数個のブラックのフィールドまたはフレームが検出されるまで、ブラック検出の通知を遅延させることが有利である。これは、例えば、状態マシンを使用して、例えば、必ず6つのブラック・フィールドが検出されてから通知することによって達成可能である。
【0042】
次に、ある実施形態に従った方法について、図2を参照しながら説明する。
【0043】
記載された方法では、以下のように利用する。
【0044】
ブラック・フラグ:ブラック・イメージ(例示としての実施形態ではフィールド)が信頼できる形で検出されたことを示す。
【0045】
ブラック・カウンタ:検出された連続するブラック・イメージの数をカウントする。
【0046】
ピクセル・カウンタ:代表的なサンプルの終わりを決定するためにサンプルの数をカウントする。50Hzの標準精細度(SD)フィールド内のすべてのピクセルが代表的サンプルとして使用される例示としての実施形態では、ピクセル・カウンタは720×288の輝度サンプルをカウントしなければならない。
【0047】
累積値d:前述の弁別関数の現在の値。
【0048】
それ故、図2に示された方法によれば、第一に、ステップ102でブラック・フラグが消去され、ステップ104でブラック・カウンタが消去される。
【0049】
次に、フィールドの始まりで、ステップ106でピクセル・カウンタが消去され、ステップ108で累積値dが消去されるか、または適切なオフセット値に設定される。オフセット値は、使用される場合、上記弁別関数中の定数Tに対応する。ステップ110で連続するピクセル輝度値が受け取られた場合、ステップ112でピクセル・カウンタが増分され、ステップ114でピクセル輝度値はサンプル値範囲に割り振られ、ステップ116で、割り振られたサンプル値範囲に関連付けられた重みまたはビン係数が累積値dに付加される。
【0050】
次に、ステップ118で、フィールドの終わりに達したかどうか、すなわち、ピクセル・カウンタがサンプル内のすべてのピクセルをカウントし、サンプルの終わりの値に達したかどうかが判別される。例えば、サンプルが50Hzの標準精細度フィールドである例示としての実施形態では、ピクセル・カウンタはステップ118で、完全なフィールドとみなされるかどうかを判別するためにサンプルの終わりの値720×288=207,360と比較される。ピクセル・カウンタがまだサンプルの終わりの値に達していない場合、ステップ118から「いいえ」に進み、連続するピクセル輝度値に対してステップ110〜118が繰り返される。
【0051】
ピクセル・カウンタがサンプルの終わりの値に達した場合、ステップ118から「はい」に進み、ステップ120で累積値dの値を検査することにより、イメージがブラックであるかどうかが判別される。このようにして、例示された方法では、累積値dがゼロより大きいかまたは等しい、あるいはゼロより小さいかどうかが判別される。前述のように、ブラックに割り振られたdの符号の選択は不可欠ではない。
【0052】
フレームがブラックではないと判別された場合、120から「いいえ」に進み、本方法は最初に戻って、ステップ102でブラック・フラグが消去され、ステップ104でブラック・カウンタが消去された後、ステップ106〜118でピクセル輝度値の次のフィールドが処理される。
【0053】
フィールドがブラックであると判別された場合、ステップ120から「はい」に進み、ステップ122でブラック・カウンタ値が増分され、ステップ124で増分されたブラック・カウンタ値としきい値Nが比較される。明らかに、最初、ブラック・カウンタ値はしきい値Nよりも小さいため、ステップ124から「いいえ」に進み、方法はステップ106に戻って次のフィールドを評価する。しかしながら、ステップ122で、連続するブラック・フィールドは、ブラック・カウンタ値がしきい値Nに達するまでブラック・カウンタ値を増分させ、ステップ124から「はい」に進み、ステップ126でブラック・フラグが設定される。
【0054】
その後、連続するフィールドがブラックのままであれば、ブラック・フラグは設定されたままとなり、ブラックが検出されたことを示す。第1の非ブラック・フィールドが検出されると、ステップ120から「いいえ」へ進み、方法はステップ102に戻ってブラック・フラグを消去し、ステップ104でブラック・カウンタを消去した後に、ステップ106で次のフィールドについて考慮を始めることになる。
【0055】
図3には、本発明の1つの可能な実施を示すブロック図が示されている。
【0056】
複数のコンパレータ130、132、134、136が提供され、それぞれのコンパレータが、入力138から入力ピクセル輝度値を受け取るために入力138に結合される。各コンパレータ130〜136の出力は、それぞれの乗算器140、142、144、146に結合される。さらに、コンパレータの出力は、オプションで、例示としての実施形態に示されるようにNORゲート148(すべての入力が0の場合は1を、いずれかの入力が1の場合は0を出力する)に結合可能である。存在する場合は、NORゲート148の出力と乗算器の出力とがアキュムレータ150に結合され、累積合計dの出力を形成する。前の累積合計dも、1サンプル遅延Dだけ遅延されたアキュムレータ150に結合される。
【0057】
当業者であれば、図が見やすいように、本実施形態を理解するために必要ではない他の要素は省略されていることを理解することができるだろう。
【0058】
各コンパレータ130〜136は割り当てられたサンプル値範囲を有し、入力イメージ・サンプルがコンパレータ130〜136に割り当てられたサンプル値範囲内にある場合、各コンパレータ130〜136は「真」の論理信号を出力する。例示としての実施形態では、各コンパレータ130〜136用に割り当てられるサンプル値範囲はピクセル輝度値範囲であり、入力イメージ・サンプルはピクセル輝度値である。
【0059】
前述の例示としての実施形態では、
コンパレータ130は、Y<47の入力輝度サンプルを識別し、
コンパレータ132は、48<Y<63の入力輝度サンプルを識別し、
コンパレータ134は、64<Y<95の入力輝度サンプルを識別し、
コンパレータ136は、196<Y<255の入力輝度サンプルを識別する。
【0060】
いくつかの配置構成では、コンパレータ130〜136に割り当てられるピクセル輝度値範囲は連続している可能性があることに留意されたい。それらの配置構成では、NORゲート148は不要であり、省略することができる。例示としての実施形態に示されているような他の配置構成では、コンパレータ130〜136に割り当てられるピクセル輝度値範囲は連続していない。これらの配置構成では、例示としての実施形態に示されたようなNORゲート148の使用により、コンパレータ130〜136に関連付けられたピクセル値範囲外のピクセル輝度値が、イメージ・データの最終分析に依然として寄与することが確保される。しかしながら、たとえピクセル輝度値範囲が連続していない場合であっても、NORゲート148の使用は不要であり、省略することができる。
【0061】
乗算器140〜146はそれぞれ、対応するコンパレータ130〜136のそれぞれの入力サンプル範囲に関連付けられ割り当てられた重みを有し、乗算器140〜146は、それぞれの対応するコンパレータ130〜136からの「真」の論理信号出力に応答して重み値を出力する。
【0062】
前述の例示としての実施形態では、それぞれのコンパレータからの「真」の論理レベルに応答して、
乗算器140が重み値−1を出力し、
乗算器142が重み値+18325を出力し、
乗算器144が重み値+1253を出力し、
乗算器146が重み値+2を出力する。
【0063】
動作時に、入力ピクセル輝度値はそれぞれのコンパレータ130〜136に並行して供給され、それぞれのコンパレータ130〜136はその入力ピクセル輝度値をそれぞれの割り当てられたピクセル輝度値範囲と比較する。入力ピクセル輝度値がコンパレータ130〜136の割り当てられたピクセル輝度値範囲内にある場合、コンパレータ130〜136は「真」の論理信号を出力し、そうでない場合、コンパレータは「偽」の論理信号を出力する。
【0064】
前述のように、ピクセル輝度値がいずれのピクセル輝度値範囲内にもない場合、すべてのコンパレータ130〜136の出力は「偽」の論理信号であり、「真」の論理信号はNORゲート148から出力される。そうでない場合、ピクセル輝度値はコンパレータ130〜136のうちの1つのピクセル輝度値範囲内にあり、そのコンパレータ130〜136の出力は「真」の論理信号となる。
【0065】
コンパレータ130〜136のうちの1つからの「真」の論理信号出力に応答して、対応する乗算器140〜146によりそれぞれの重みが生成され、アキュムレータ150内の前の累積値に加えられて、累積値dが形成される。
【0066】
サンプル値が、コンパレータ130〜136に関連付けられたいかなるサンプル値範囲内にもない場合、すべてのコンパレータの出力は「偽」論理レベルとなり、この場合は0である。この結果、NORゲート148の出力は1となり、これがアキュムレータ150で累算される。これにより、前述のオプションのカウントNからの寄与が提供される。
【0067】
例えば、フィールドの終わりにすべてのイメージ・サンプルが受信されると、イメージがブラックであるかどうかを判別するために、累積値dとコンパレータ(図示せず)内のしきい値とを比較することができる。
【0068】
本発明の記載された実施形態では、しきい値はゼロであり、累積値が負の場合イメージはブラックであると決定される。当業者であれば、任意の定数Tならびに係数の大きさおよび符号の選択が、しきい値の選択に影響を与えることを理解することができるだろう。したがって、より一般的には、定義された値を含むサンプル値範囲に割り当てられた重みがそれぞれ負または正であれば、すべてのサンプル値に関する重み付け合計がしきい値よりも小さいかまたは大きい場合、正の検出が実行される。
【0069】
さらに、有利なことに、前のイメージが考慮の対象となり、いくつかの連続するフィールドまたはフレームがブラックであると検出されるまで、ブラックの最終決定は行われない。
【0070】
記載された実施形態では、累積値dを使用して、受け取られたかまたは処理されたサンプル値として弁別関数の実行合計が維持される。しかしながら、当業者であれば理解することができるように、各サンプル値範囲内のサンプル値をカウントし、符号付き重みを最終カウントに適用することも等しく可能である。
【0071】
「ブラック」イメージの検出への本発明のいくつかの適用例では、イメージの「ブラックの程度(blackness)」の数値基準を出力することが望ましい。また、オペレータが、処理されるイメージのタイプに合うように有効な検出しきい値を調整するためにも役立つ。これは、数値出力を提供するために式(1)の弁別関数を評価することによって実行可能であり、式(1)中のしきい値定数Tはオペレータが必要に応じて調整することができる。しかしながら、これらの方法は完全に満足のいくものではなく、次にこれらの特徴を提供する本発明の代替実施形態について説明する。
【0072】
「ブラック」イメージの検出用のシステムで、すべてのサンプル範囲境界に等しい正のオフセットが適用された場合、イメージが「ブラック」として検出される可能性が高くなる。有用な出力パラメータは、所与のイメージに関する検出結果が「非ブラック」から「ブラック」に変化するオフセット値である。このオフセットの値が小さくなるほどイメージは暗くなる。原則として、これは、すべての可能なオフセット値に関する弁別関数を評価すること、およびこの結果を分析することによって実行できるが、これは通常、実現不可能であり、特に、リアルタイム・映像シーケンスから即時に結果を生成する必要があるシステムでは実現性がない。
【0073】
この状況で実現可能な代替形態は、3つの異なるオフセット値を使用して、シーケンスの各イメージ(例えば、各映像フィールドまたはフレーム)に対して弁別関数を3回評価すること、およびシーケンス内の前のイメージ分析に基づいて各イメージの分析に使用されるオフセット値を修正することである。図4には、この方法のブロック図が示されている。
【0074】
図4を参照すると、イメージ・シーケンスからのデータ(400)は3つのブラック弁別プロセス(401)、(402)、および(403)に入力される。これらプロセスは、それぞれ、しきい値パラメータTがゼロに設定された式(1)に従って、シーケンス内の現在のイメージを評価する。3つのプロセスは、各プロセスにおいて、それぞれのサンプル・オフセット値入力(404)、(405)、(406)で受け取られる正のオフセット値によってサンプル値範囲Nのセットが修正される点を除いて、同一である。
【0075】
プロセス(401)は高値オフセットH(404)を受け取り、プロセス(402)は中間値オフセットM(405)を受け取り、プロセス(403)は低値オフセットL(406)を受け取る。各プロセスでは、オフセット値は、より軽量のイメージ・データ値(400)が発生可能であり、依然としてブラック・イメージとして検出できるように、それぞれのサンプル値範囲の上限および下限を増加させる(範囲の幅は変わらない)。それぞれの結果d(式(1)に従って評価済み)の符合に応じて、各プロセスはそれぞれの2進ブラック/非ブラック出力信号(407)、(408)、(409)を出力する。
【0076】
弁別出力(407)、(408)、(409)は、シーケンス内の前のイメージ分析結果から生じるブラック/非ブラック信号(407)、(408)、(409)に基づいて、シーケンスの各イメージを分析するために使用されるオフセット値を調整するオフセット弁別ブロック(410)で分析される。ブロック(410)は、中間オフセット値M(405)が、それより上であれば現在のイメージがブラックであると決定され、それより下であれば現在のイメージが非ブラックであると決定されるオフセット値となるように、オフセット値を(以下で詳細に説明するように)調整する。したがって、中間オフセット値Mは現在のイメージの「ブラックの程度」(値が低いほどイメージは黒くなる)の数値指示であり、これは端末(411)で出力される。
【0077】
次に、オフセット決定ブロック(410)の動作について、図5の流れ図を参照しながら説明する。この説明では、ゼロから255までの範囲を有するピクセル輝度値の処理が想定される。3つのオフセット値L、M、Hは等しい間隔Δで配置されるため、以下のようになる。
【0078】
L=M−Δ
および
H=M+Δ
図5を参照すると、初期ステップ(50)でMおよびΔはどちらも127に設定され、したがって、Lはゼロとなり、Hは254となる。
【0079】
ステップ(51)で、3つのそれぞれのサンプル範囲オフセットL、M、およびHを使用して、現在のイメージは式(1)に従って3回分析され、それぞれのブラック(B)または非ブラック(N)に結果d(L)、d(M)、およびd(H)が与えられる。これらの結果は、意思決定ステップ(52)、(53)、(54)、(55)で分析される。
【0080】
低オフセット値Lを使用するプロセスでブラックが検出されず、オフセットMおよびHを使用するプロセスで検出された場合、ステップ(56)はMの現在の値からΔの現在の値の半分を引いて、Δの現在の値を半分にする。これらの修正済み値は、LおよびHの新しい値を定義するために使用され、これらはステップ(51)でシーケンスの次のイメージを分析するために使用される。
【0081】
ステップ(51)からのブラックのみの結果が高オフセット値Hを使用するものである場合、ステップ(57)は、Δの現在の値の半分をMの現在の値に加え、次に、Δの現在の値を半分にし、これらの値を使用してステップ(51)での次のイメージの分析用にオフセットを作成する。
【0082】
ステップ(51)での分析のすべてがブラックの結果を生じた場合、ステップ(58)ではMの現在の値からΔの現在の値を引いた後、Δの現在の値を2倍にし、これらの値を使用してステップ(51)での次のイメージの分析用にオフセットを作成する。
【0083】
ステップ(51)での分析でブラックの結果がまったく生じない場合、ステップ(59)ではΔの現在の値をMの現在の値に加え、次に、Δの現在の値を2倍にし、これらの値を使用してステップ(51)で次のイメージの分析用にオフセットを作成する。
【0084】
意思決定ステップ(52)、(53)、(54)のいずれでも正の結果が与えられない場合、ステップ(51)でシーケンスの次のイメージを分析する前に、MおよびΔの値はステップ(50)で再度初期化される。
【0085】
図5に示されるプロセスの結果は、シーケンス内のほとんどのイメージが互いに同様である場合、M値は、それより下であれば現在のイメージは非ブラックとして検出され、それより上であれば現在のイメージはブラックとして検出される、クリティカル・オフセット値となる傾向がある。
【0086】
当業者には明らかなように、図5のプロセスに適用する必要のあるいくつかの追加の制約がある。例えば、オフセット値はゼロから255の範囲に限定すべきであり、Δは127を超えてはならない。
【0087】
M値の他のいくつかの処理は、「ブラックの程度」の基準としてのその有用性を向上させるものであることが望ましい。3つの結果d(L)、d(M)、およびd(H)のすべてがブラックを示し、Lの値がゼロの場合、暗いイメージが処理されていることはほぼ確実であるため、報告される「ブラックの程度」は最大に設定され、Mの値は大きく、イメージのブラックの程度を表さない可能性がある。また、Mの値が64より大きい場合、イメージが再度暗くなる見込みはないため、信頼できない可能性があり、この場合、64より小さい新しいMの値が見つかるまで、出力されるブラックの程度の基準として64より小さかったMの最後の値が保持される。
【0088】
ブラックの程度の基準として出力する前に、Mの値を異なるスケール、おそらくは極端な値のクリッピング有りまたは無しの非線形スケールにマッピングすることが有用である可能性があり、出力の信頼性は好ましくは再帰的フィルタを使用して時間的にフィルタリングすることができる。シーケンス内のイメージの「ブラックの程度」の変化の数値表現が得られれば、処理されるイメージのタイプに適した2進結果を取得するために、オペレータが決定したしきい値をその数値結果に適用することは簡単である。
【0089】
当業者には明らかなように、本発明はハードウェアまたは好適なプロセッサ上で実行中のソフトウェアで実施することができる。
【0090】
それ故、本発明は、同様またはほぼ同じ輝度あるいは色成分値を有するフィルムまたは映像コンテンツにおいてフィールドまたはフレームを検出するための有利な方法および装置を提供する。
【0091】
本明細書に記載された発明の概念を実施する多くの異なる配置構成が想定可能であることは明らかであり、本発明は上記で開示された配置構成に限定されるように意図されるものではない。
【図面の簡単な説明】
【0092】
【図1】例示としての試験サンプル値範囲を示す図である。
【図2】例示としての実施形態の方法を示す流れ図である。
【図3】本発明の例示としての実施を示すブロック図である。
【図4】本発明の他の例示としての実施を示すブロック図である。
【図5】図4に示された装置の動作を示す流れ図である。

【特許請求の範囲】
【請求項1】
イメージ・データのサンプル値が定義された値に近いかどうかを判別するためにサンプリングまたはサブサンプリングされたイメージ・データを分析する方法であって、
複数のイメージ・データのサンプル値範囲からの相対的寄与から重み付け合計を形成するステップであって、前記相対的寄与が前記範囲内にあるサンプル数および各サンプル値範囲に関連付けられた符号付き重みに依存し、定義された値を含むサンプル値範囲が少なくとも1つの他のサンプル値範囲に割り当てられた重みとは反対の符号の重みを有するステップと、
前記定義された値を含む前記サンプル値範囲に割り当てられた前記重みがそれぞれ負または正であれば、前記重み付け合計がしきい値よりも少ないかまたは多い場合、正の結果を決定するステップとを含む方法。
【請求項2】
重み付け合計を形成する前記ステップが、各イメージ・データ・サンプルについて、複数のサンプル値範囲のうちの1つに前記イメージ・データ・サンプルを割り振るステップと、重み付け合計を形成するために割り振られた前記サンプル値範囲に関連付けられた符号付き重みを累算するステップとを含む、請求項1に記載の方法。
【請求項3】
前記イメージ・データが輝度データである、請求項1又は2に記載の方法。
【請求項4】
前記イメージ・データが主要な色成分データである、請求項1〜3のいずれかに記載の方法。
【請求項5】
前記定義された値がブラック・レベルである、請求項1〜4のいずれかに記載の方法。
【請求項6】
前記定義された値がホワイト・レベルである、請求項1〜5のいずれかに記載の方法。
【請求項7】
前記イメージ・データが色差データである、請求項1〜6のいずれかに記載の方法。
【請求項8】
前記定義された値がゼロ色差を表す、請求項7に記載の方法。
【請求項9】
前記定義された値に最も近いがこれを含まない前記サンプル値範囲に割り当てられた前記重みが、前記定義された値を含む前記サンプル値範囲と同じ符号の重みを有する、請求項1〜8のいずれかに記載の方法。
【請求項10】
前記定義された値を含む前記サンプル値範囲に関連付けられた前記重みと反対の符号を有する前記重みが、前記関連付けられたサンプル値範囲が前記定義された値に近くなるほど大きくなる、請求項1〜9のいずれかに記載の方法。
【請求項11】
前記しきい値がゼロである、請求項1〜10のいずれかに記載の方法。
【請求項12】
前記定義された値を含む前記サンプル値範囲に関連付けられた前記重みが負である、請求項1〜11のいずれかに記載の方法。
【請求項13】
前記重み付け合計がイメージからのサンプルの代表セットから計算される、請求項1〜12のいずれかに記載の方法。
【請求項14】
前記サンプルの代表セットがテレビジョン画像フィールドのピクセルである、請求項1〜13のいずれかに記載の方法。
【請求項15】
連続する奇数または偶数のテレビジョン画像フィールドが分析される、請求項14に記載の方法。
【請求項16】
イメージのシーケンスからのイメージ・データが分析され、前記シーケンスにおける定義された数の連続するイメージのそれぞれについて正の結果が決定された場合のみ正の決定が出力される、請求項1〜15のいずれかに記載の方法。
【請求項17】
サンプル値範囲の数と、前記サンプル値範囲の範囲と、前記サンプル値範囲に割り当てられることになる前記重みの大きさと、前記サンプル値範囲に割り当てられることになる前記重みの符号のうちの1つまたは複数がトレーニング・シーケンスの最適化から得られる、請求項1〜16のいずれかに記載の方法。
【請求項18】
少なくとも3つの重み付け合計が評価され、それぞれの重み付け合計の連続するサンプル値範囲が異なるそれぞれのオフセット値によってオフセットされ、前記オフセット値が反復プロセスで調整されることにより、前記少なくとも1つのオフセット値の調整の方向が、前記重み付け合計の符号の多数決によって決定され、イメージ分析パラメータが少なくとも1つのオフセット値から導出される、請求項1〜17のいずれかに記載の方法。
【請求項19】
前記イメージ分析パラメータとして中間オフセット値が出力される、請求項18に記載の方法。
【請求項20】
3つの重み付け合計が評価される、請求項18または請求項19に記載の方法。
【請求項21】
請求項1〜20のうちのいずれか1項に記載の方法を実行するための、プロセッサ実施可能命令を格納するプログラムキャリア。
【請求項22】
請求項1〜20のうちのいずれか1項に記載の方法を実施するように適合および構成された装置。
【請求項23】
イメージ・データのサンプル値が定義された値に近いかどうかを判別するためにサンプリングまたはサブサンプリングされたイメージ・データを分析するための装置であって、
複数のサンプル値範囲を定義するための手段であって、前記サンプル値範囲それぞれが割り当てられた符号付き重みを有し、定義された値を含むサンプル値範囲が、少なくとも1つの他のサンプル値範囲に割り当てられた重みとは反対の符号の重みを有する、定義するための手段と、
それぞれの前記範囲内にある値を有するサンプルの数をカウントするための手段と、
前記カウント値の重み付け合計を形成するための加算器と、
前記重み付け合計をしきい値と比較し、前記定義された値を含む前記サンプル値範囲に割り当てられた前記重みがそれぞれ負または正であれば、前記重み付け合計がしきい値よりも少ないかまたは多い場合、正の結果を決定するためのコンパレータとを備える装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2007−53743(P2007−53743A)
【公開日】平成19年3月1日(2007.3.1)
【国際特許分類】
【外国語出願】
【出願番号】特願2006−193460(P2006−193460)
【出願日】平成18年7月14日(2006.7.14)
【出願人】(500230336)スネル アンド ウィルコックス リミテッド (2)
【Fターム(参考)】