クロマキー検出範囲調整方法及び情報処理装置
【課題】クロマキーレベルが変動した場合であっても、正しくクロマキーを検出することを可能とするクロマキー検出範囲調整方法及びクロマキー検出範囲調整装置を提供する。
【解決手段】クロマキーレベルの変動最大値から徐徐々に上側の閾値を下げていき、下側の閾値と上側の閾値との間にある画素数の減少度が所定の限度以上であれば、その直前の上側の閾値を精度の高い上側閾値とする。同様に、クロマキーレベルの変動最小値から徐徐に下側の閾値を下げていき、下側の閾値と上側の閾値との間にある画素数の減少度が所定の限度以上であれば、その直前の下側の閾値を精度の高い下側閾値とする。
【解決手段】クロマキーレベルの変動最大値から徐徐々に上側の閾値を下げていき、下側の閾値と上側の閾値との間にある画素数の減少度が所定の限度以上であれば、その直前の上側の閾値を精度の高い上側閾値とする。同様に、クロマキーレベルの変動最小値から徐徐に下側の閾値を下げていき、下側の閾値と上側の閾値との間にある画素数の減少度が所定の限度以上であれば、その直前の下側の閾値を精度の高い下側閾値とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、クロマキー合成の際に利用されるクロマキーを検出するためのクロマキー検出範囲を調整する方法及びそのための情報処理装置に関する。
【背景技術】
【０００２】
従来よりあるクロマキー合成においては、第１の画面において所定のレベル（例えば、赤＝０、緑＝０、青＝２５５）である画面の一部を第２の画面に置き換えることにより、第１の画面と第２の画面との合成を行う。
【０００３】
図１は、従来からあるクロマキー合成の機能を有するシステムの構成を示す。
【０００４】
図１を参照すると、ＣＰＵ１０２からは、ＣＰＵ１０２により生成された映像信号が出力される。この映像信号は、例えば、Ｒ（赤）Ｇ（緑）Ｂ（青）信号であり、一色につき８ビットが費やされている。
【０００５】
グラフィックスチップ１０３は、ＣＰＵ１０２から入力した映像信号に対し所定の演算処理を施すことによりグラフィックスを表示するための映像信号を出力する。グラフィックスチップからの映像信号では、一色につき６ビットが費やされている。
【０００６】
６ビット／８ビット変換部１０４は、各色につき、下位２ビットを補完することにより、グラフィックスチップ１０３からの映像信号に対し６ビット／８ビット変換を施す。
【０００７】
フレーム同期部１０７は、一旦、メモリ１０６に格納されたテレビ１０５からの映像信号を読み出すタイミングを調整することにより、６ビット／８ビット変換部１０４からの映像信号とテレビ１０５からの映像信号との間でフレーム同期を取る。
【０００８】
クロマキー合成は、比較器９０９と画面合成部１０８により行われる。比較器９０９は、６ビット／８ビット変換部１０４からの映像信号のレベルが所定のレベルであれば、画面合成部１０８に出力する制御信号のレベルをＨＩＧＨにする。画面合成部１０８は、制御信号がＬＯＷであれば、６ビット／８ビット変換部１０４からの映像信号を選択し、制御信号がＨＩＧＨであれば、メモリ１０６からの映像信号を選択する。
【特許文献１】特開２０００−２２１９６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述した従来のシステムにおいては、比較器は、６ビット／８ビット変換部１０４からの映像信号を所定のクロマキーレベルと比較することにより、画面合成部１０８が第１の映像信号を選択するべきか、又は、第２の映像信号を選択するべきかを各画素毎に判断してクロマキー合成する。そして、このＣＰＵ１０２から比較器９０９に設定された所定のクロマキーレベルは、固定となっている。
【００１０】
従って、ＣＰＵ１０２から出力される映像データのクロマキーレベルが不変であっても、グラフィックスチップ１０３の処理が変更され、あるいは異なるものに交換されると、もはやそれまで比較器９０９に設定されていた所定のクロマキーレベルは不正確なものとなり、クロマキー合成が正確に行えなくなってしまう。
【００１１】
そこで、本発明は、上記の理由により通常であればクロマキー合成が正確に行えなくなった場合であっても、正しくクロマキー合成を行うことができることを可能とするクロマキー検出範囲調整方法及びクロマキー検出範囲調整装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明によれば、画像処理部にて、減色及び近似処理に係る色変換処理が行われ、クロマキーレベル検出処理に不整合が生じた場合でも、前記色変換処理によって変更されたクロマキーレベルを検出する検出手段を有することを特徴とする情報処理装置が提供される。
【００１３】
上記の情報処理装置において、前記色変換処理は、ディザ処理、オフセット処理、丸め処理又はこれらの組合せであるようにしてもよい。
【００１４】
上記の情報処理装置において、前記検出手段は、クロマキーレベルの上限値を検出するための上限値検出手段と、クロマキーレベルの下限値を検出するための下限値検出手段と、を備えるようにしてもよい。
【００１５】
上記の情報処理装置において、前記検出手段は、第１の上側閾値と第１の下側閾値との間の範囲に収まるフレーム内の画素数に対する第２の上側閾値と第２の下側閾値との間の範囲に収まるフレーム内の画素数の割合を検出する第１の検出手段と、画素数の割合が所定値以上を維持する第２の上限閾値と第２の下限閾値の最小範囲を検出する第２の検出手段と、を備えるようにしてもよい。
【００１６】
上記の情報処理装置において、前記上限値検出手段では、第２の上側閾値を減じていき、第１の上側閾値と第１の下側閾値との間の範囲に収まるフレーム内の画素数に対する第２の上側閾値と第２の下側閾値との間の範囲に収まるフレーム内の画素数の割合の変化量が所定値以上となった場合、直前の第２の上側閾値を前記画像処理部の出力からのクロマキーレベル検出のための範囲の上限値とするようにしてもよい。
【００１７】
上記の情報処理装置において、前記下限値検出手段では、第２の下側閾値を増やしていき、第１の上側閾値と第１の下側閾値との間の範囲に収まるフレーム内の画素数に対する第２の上側閾値と第２の下側閾値との間の範囲に収まるフレーム内の画素数の割合の変化量が所定値以上となった場合、直前の第２の下側閾値を前記画像処理部の出力からのクロマキー検出のための範囲の下限値とするようにしてもよい。
【発明の効果】
【００１８】
本発明によれば、画面合成部の前段階においてディザリング処理やオフセット処理や丸め処理などが行われることによりクロマキーレベルが変更された場合であっても、クロマキー合成を行えるようにするためのクロマキーレベルを検出することが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明の実施形態について説明をする。
【００２０】
なお、以下の説明における色の分解能、色の階調、色の変動、あるいは、色の誤差に関する記述は（Ｒ，Ｇ，Ｂ）等の色の構成要素のうち、１構成色の場合について代表して説明する。
【００２１】
グラフィックスチップ１０３は８ビットの分解能を有する（２５６の階調を有する）データを６ビットの分解能を有する（６４の階調を有する）データに変換する。階調の分解能をこのように削減した場合であっても２５６の階調を有すると視覚的に認識できるようにするためグラフィックスチップ１０３は、ディザリング処理を行う。従って、ディザリング処理による±３階調の誤差が生ずる。また、ダイナミックレンジの減少による±３階調のオフセット誤差が生ずる。更に、±１階調の丸め誤差が生ずる。そうすると合わせて±７階調の誤差が生ずる。±７の間にあるレベルは１５であるため（０レベルもカウントに含む）、グラフィックスチップに入力された各画素は、出力において１５階調の不確定性を有することとなる。
【００２２】
次に、それぞれの誤差について説明する。
【００２３】
［ディザリング処理による誤差］
図２は、ディザリング処理を説明するための図である。図２（ａ）〜（ｄ）に示す縦棒に付けられている目盛りは、８ビットの分解能におけるレベルを表す。８ビットの分解能におけるレベルを６ビットの分解能にディザリング処理をすると図２に示すようになる。
【００２４】
図２（ａ）は、８ビット分解能においてレベルがｒ１である画素がレベルがｒ１である４つの画素にディザリング処理により変換される様子を示している。図２（ｂ）は、８ビット分解能においてレベルがｒ１＋１である画素がレベルがｒ１である３つの画素及びレベルがｒ２である１つの画素にディザリング処理により変換される様子を示している。図２（ｃ）は、８ビット分解能においてレベルがｒ１＋２である画素がレベルがｒ１である２つの画素及びレベルがｒ２である２つの画素にディザリング処理により変換される様子を示している。図２（ｄ）は、８ビット分解能においてレベルがｒ１＋３である画素がレベルがｒ１である１つの画素及びレベルがｒ２である３つの画素にディザリング処理により変換される様子を示している。
【００２５】
或る画素のレベルが図２（ａ）から図２（ｄ）のどの場合に該当するかは不確定であるため、ディザリング処理による誤差は最大で±３階調となる。
【００２６】
［オフセット誤差］
入力レベルのダイナミックレンジを０から２５２（６ビットの分解能にディザリング処理を行う場合：＝６３×４）にして、２５３〜２５５の範囲にある画素を強制的に２５２にしてしまうグラフィックスチップがある。また、入力レベルのダイナミックレンジを３から２５５（＝６３×４＋３）にして、０〜２の範囲にある画素を強制的に３にしてしまうグラフィックスチップがある。従って、或る画素に着目した場合、±３階調のオフセット誤差が生ずる。
【００２７】
［丸め誤差］
グラフィックスチップ内では精度の異なるデータ変換における演算処理（８ビットの分解能と６ビットの分解能との間での変換処理）が行われ、この際近似処理が発生するため、これにより±１階調の丸め誤差が生ずる。
【００２８】
［本実施形態の目的］
上述したように、グラフィックスチップの出力においては、各画素は１５階調の不確定性を有する。従って、クロマキーとして選択された色も１５階調の不確定性を有する。そこで、１５階調の不確定性を有する範囲（ＣＰＵ出力の階調±７階調の範囲）にあるレベルを有する画素を全てクロマキーレベルとして設定してしまうと、実際にはクロマキー色でない色までもクロマキーレベルとして認識してしまうこととなる。そこで、本実施形態では、クロマキーレベルの不確定性の精度を最小範囲まで絞り込む。この最小範囲は条件によって異なり、あるときは５階調であり、またあるときは１階調である。
【００２９】
［構成］
図３は、本発明によるクロマキー合成の機能を有するシステムの構成を示す。
【００３０】
図３に示される構成要素のうち図１に示される構成要素と同一のものには、同一の記号を付し、その説明を省略する。
【００３１】
図３に示される構成を、図１に示される構成を比較すると、比較器９０９が第１の比較器１０９及び第２の比較器１１０に置き換わり、コントロール部１１１が追加されていることがわかる。
【００３２】
第１の比較器１０９、第２の比較器１１０及びコントロール部１１１は、ハードウェア、ソフトウェア又はそれらの組合せにより実現することができる。なお、ソフトウェアにより実現するとは、コンピュータがプログラムを読み込んで、そのプログラムを実行することにより実現することを意味する。
【００３３】
高精度な上側閾値と高精度な下側閾値とが求まるまでの間には、第１の比較器１０９には、低精度な上側閾値と低精度な下側閾値とが設定される。そして、画面合成部１０８は、高精度な上側閾値と高精度な下側閾値とが求まるまでの間には、６ビット／８ビット変換部１０４からの信号のレベルが、低精度な上側閾値と低精度な下側閾値との間にある場合に、メモリ１０６からの信号を選択し、そうでない場合に、６ビット／８ビット変換部１０４からの信号を選択することにより、簡易的なクロマキー合成を行う。
【００３４】
高精度な上側閾値と高精度な下側閾値とが求まったならば、第１の比較器１０９には、高精度な上側閾値と高精度な下側閾値とが設定される。その後、６ビット／８ビット変換部１０４からの信号のレベルが、高精度な上側閾値と高精度な下側閾値との間にある場合に、メモリ１０６からの信号を選択し、そうでない場合に、６ビット／８ビット変換部１０４からの信号を選択することにより、高精度なクロマキー合成を行う。
【００３５】
制御部１１１は、第１の比較器１０９、第２の比較器１１０と連動して、高精度な上側閾値と高精度な下側閾値とを求める。
【００３６】
［具体的な動作例］
図４は、クロマキーレベルＫＥＹ（８）が、図２（ｂ）に示すようにディザリング処理され、ＫＥＹ１（６）とＫＥＹ２（６）により表される場合に、高精度な上側閾値として、ＫＥＹ１（６）のレベルを求め、高精度な下側閾値として、ＫＥＹ２（６）を求める様子を示すタイミング図である。
【００３７】
フレームＦ１において、第１の比較器１０９の低精度上側閾値としてＨＴＨ（８）が設定され、第１の比較器１０９の低精度下側閾値としてＬＴＨ（８）が設定される。また、フレームＦ１において、第２の比較器１１０の可変上側閾値としてＨ１（＝ＨＴＨ（８））が設定され、第２の比較器１１０の可変下側閾値としてＬ１（＝ＬＴＨ（８））が設定される。ＨＴＨ（８）は、図面の簡略化のために、ＣＰＵ１０２から出力されるクロマキーレベルＫＥＹ（８）よりも４階調上のレベルであり、ＬＴＨ（８）は、ＣＰＵ１０２から出力されるクロマキーレベルＫＥＹ（８）よりも４階調下のレベルであるが、実際には、ＣＰＵ１０２から出力されるクロマキーレベルＫＥＹ（８）よりも７階調上のレベルであり、ＬＴＨ（８）は、ＣＰＵ１０２から出力されるクロマキーレベルＫＥＹ（８）よりも７階調下のレベルである。
ところで、各フレームにおいて、第１の比較器１０９において第１の比較器１０９に設定される下側閾値以上且つ上側閾値以下のレベルを有する画素数Ｎ１を求める。同様に、第２の比較器１１０において第２の比較器１１０に設定される下側閾値以上且つ上側閾値以下のレベルを有する画素数Ｎ２を求める。そして、比率α＝Ｎ２／Ｎ１を求める。
【００３８】
フレームＦ１においては、第１の比較器１０９に設定される上側閾値と第２の比較器１１０に設定される上側閾値とが等しく、第１の比較器１０９に設定される下側閾値と第２の比較器１１０に設定される下側閾値とが等しいため、Ｎ１＝Ｎ２となり、従ってα＝１００％となる。
【００３９】
フレームＦ２において、第１の比較器１０９の低精度上側閾値としてＨＴＨ（８）が設定され、第１の比較器１０９の低精度下側閾値としてＬＴＨ（８）が設定される。また、フレームＦ２において、第２の比較器１１０の可変上側閾値としてＨ２（＝Ｈ１−１）が設定され、第２の比較器１１０の可変下側閾値としてＬ１（＝ＬＴＨ（８））が設定される。
【００４０】
フレームＦ２においては、レベルがＨ１からＨ２の間にある画素が若干あるため、αは例えば９９％となる。
【００４１】
フレームＦ３において、第１の比較器１０９の低精度上側閾値としてＨＴＨ（８）が設定され、第１の比較器１０９の低精度下側閾値としてＬＴＨ（８）が設定される。また、フレームＦ３において、第２の比較器１１０の可変上側閾値としてＨ３（＝Ｈ２−１）が設定され、第２の比較器１１０の可変下側閾値としてＬ１（＝ＬＴＨ（８））が設定される。
【００４２】
フレームＦ３においては、レベルがＨ１からＨ２の間にある画素が若干あり、その上、ＫＥＹ１（６）のレベルとレベルＨ２が等しいため、αは例えば７５％となる。従って、レベルＨ２がＫＥＹ（８）をディザリングにより表すための上側のレベルであると判断される。
【００４３】
そこで、フレームＦ４においては、レベルＨ２を第２の比較器１１０の確定された上側閾値として設定する。
【００４４】
また、フレームＦ４において、第１の比較器１０９の低精度上側閾値としてＨＴＨ（８）が設定され、第１の比較器１０９の低精度下側閾値としてＬＴＨ（８）が設定される。
【００４５】
また、フレームＦ４において第２の比較器１１０の可変下側閾値としてＬ２（＝Ｌ１＋１）が設定される。レベルがＬ１とＬ２の間にある画素が若干あるため、αは例えば９８％となる。
【００４６】
フレームＦ５において、第１の比較器１０９の低精度上側閾値としてＨＴＨ（８）が設定され、第１の比較器１０９の低精度下側閾値としてＬＴＨ（８）が設定される。また、フレームＦ５において、第２の比較器１１０の可変上側閾値としてＨ２（確定値）が設定され、第２の比較器１１０の可変下側閾値としてＬ３（＝Ｌ２＋１）が設定される。レベルがＬ２とＬ３の間にある画素が若干あるため、αは例えば９７％となる。
【００４７】
フレームＦ６において、第１の比較器１０９の低精度上側閾値としてＨＴＨ（８）が設定され、第１の比較器１０９の低精度下側閾値としてＬＴＨ（８）が設定される。また、フレームＦ６において、第２の比較器１１０の可変上側閾値としてＨ２（確定値）が設定され、第２の比較器１１０の可変下側閾値としてＬ４（＝Ｌ３＋１）が設定される。レベルがＬ３とＬ４の間にある画素が若干あるため、αは例えば９６％となる。
【００４８】
フレームＦ７において、第１の比較器１０９の低精度上側閾値としてＨＴＨ（８）が設定され、第１の比較器１０９の低精度下側閾値としてＬＴＨ（８）が設定される。また、フレームＦ７において、第２の比較器１１０の可変上側閾値としてＨ２（確定値）が設定され、第２の比較器１１０の可変下側閾値としてＬ５（＝Ｌ４＋１）が設定される。
【００４９】
フレームＦ７においては、レベルがＬ４からＬ５の間にある画素が若干あり、その上、ＫＥＹ２（６）のレベルとレベルＬ４が等しいため、αは例えば２４％となる。従って、レベルＬ４がＫＥＹ（８）をディザリングにより表すための下側のレベルであると判断される。
【００５０】
フレームＦ８以降においては、フレームＦ３で確定した上側のレベルＨ２とフレームＦ７で確定した下側のレベルＬ４が第１の比較器１０９に設定される。そして、第１の比較器１０９が出力する比較結果を基にして、画面合成部１０８は、クロマキー合成を行う。
【００５１】
このようにして、高精度な閾値が求まるまでの間は、第１の比較器１０９には、低精度な閾値が設定され、低精度なクロマキー合成しか行うことができないが、高精度な閾値が求まってからは、第１の比較器１０９には、高精度な閾値が設定され、高精度なクロマキー合成を行うことが可能となる。
【００５２】
図５は、クロマキーレベルＫＥＹ（８）が図２（ｃ）に示すようにディザリング処理され、ＫＥＹ１（６）とＫＥＹ２（６）により表される場合に、高精度な上側閾値として、ＫＥＹ１（６）（＝Ｈ３）のレベルを求め、高精度な下側閾値として、ＫＥＹ２（６）（＝Ｌ３）を求める様子を示すタイミング図である。動作原理は、図４の場合と同様であるので、その説明を省略する。
【００５３】
図６は、クロマキーレベルＫＥＹ（８）が図２（ｄ）に示すようにディザリング処理され、ＫＥＹ１（６）とＫＥＹ２（６）により表される場合に、高精度な上側閾値として、ＫＥＹ１（６）（＝Ｈ４）のレベルを求め、高精度な下側閾値として、ＫＥＹ２（６）（＝Ｌ２）を求める様子を示すタイミング図である。動作原理は、図４の場合と同様であるので、その説明を省略する。
【００５４】
図７は、クロマキーレベルＫＥＹ（８）が図２（ａ）に示すようにディザリング処理され、ＫＥＹ１（６）（＝ＫＥＹ２（６））により表される場合に、高精度な上側閾値として、ＫＥＹ１（６）（＝Ｈ５）のレベルを求め、高精度な下側閾値として、ＫＥＹ２（６）（＝Ｈ５）を求める様子を示すタイミング図である。動作原理は、図４の場合と同様であるので、その説明を省略する。図７の場合には、可変上側閾値をＨ６まで落としたときに、αの値が０％となるため、図２（ａ）のようなディザリングが行われていると判断し、高精度上側閾値も高精度下側閾値も共にＨ５とする。
【００５５】
この他に、オフセット誤差や丸め誤差が生じた場合であっても同様なアルゴリズムにより高精度上側閾値及び高精度下側閾値を求めることが可能となる。
【図面の簡単な説明】
【００５６】
【図１】従来からあるクロマキー合成の機能を有するシステムの構成を示す。
【図２】本発明によりクロマキー検出のための範囲の精度が上がる様子を示す図である。
【図３】本発明の実施形態によるクロマキー合成の機能を有するシステムの構成を示す図である。
【図４】図３に示すシステムにおいて、クロマキーレベルを検出するための高精度な閾値を求める様子を示す第１の図である。
【図５】図３に示すシステムにおいて、クロマキーレベルを検出するための高精度な閾値を求める様子を示す第２の図である。
【図６】図３に示すシステムにおいて、クロマキーレベルを検出するための高精度な閾値を求める様子を示す第３の図である。
【図７】図３に示すシステムにおいて、クロマキーレベルを検出するための高精度な閾値を求める様子を示す第４の図である。
【符号の説明】
【００５７】
１０１ パーソナルコンピュータ
１０２ ＣＰＵ
１０３ グラフィックスチップ
１０４ ６ビット／８ビット変換部
１０５ テレビ
１０６ メモリ
１０７ フレーム同期部
１０８ 画面合成部
１０９ 第１の比較器
１１０ 第２の比較器
１１１ コントロール部
【技術分野】
【０００１】
本発明は、クロマキー合成の際に利用されるクロマキーを検出するためのクロマキー検出範囲を調整する方法及びそのための情報処理装置に関する。
【背景技術】
【０００２】
従来よりあるクロマキー合成においては、第１の画面において所定のレベル（例えば、赤＝０、緑＝０、青＝２５５）である画面の一部を第２の画面に置き換えることにより、第１の画面と第２の画面との合成を行う。
【０００３】
図１は、従来からあるクロマキー合成の機能を有するシステムの構成を示す。
【０００４】
図１を参照すると、ＣＰＵ１０２からは、ＣＰＵ１０２により生成された映像信号が出力される。この映像信号は、例えば、Ｒ（赤）Ｇ（緑）Ｂ（青）信号であり、一色につき８ビットが費やされている。
【０００５】
グラフィックスチップ１０３は、ＣＰＵ１０２から入力した映像信号に対し所定の演算処理を施すことによりグラフィックスを表示するための映像信号を出力する。グラフィックスチップからの映像信号では、一色につき６ビットが費やされている。
【０００６】
６ビット／８ビット変換部１０４は、各色につき、下位２ビットを補完することにより、グラフィックスチップ１０３からの映像信号に対し６ビット／８ビット変換を施す。
【０００７】
フレーム同期部１０７は、一旦、メモリ１０６に格納されたテレビ１０５からの映像信号を読み出すタイミングを調整することにより、６ビット／８ビット変換部１０４からの映像信号とテレビ１０５からの映像信号との間でフレーム同期を取る。
【０００８】
クロマキー合成は、比較器９０９と画面合成部１０８により行われる。比較器９０９は、６ビット／８ビット変換部１０４からの映像信号のレベルが所定のレベルであれば、画面合成部１０８に出力する制御信号のレベルをＨＩＧＨにする。画面合成部１０８は、制御信号がＬＯＷであれば、６ビット／８ビット変換部１０４からの映像信号を選択し、制御信号がＨＩＧＨであれば、メモリ１０６からの映像信号を選択する。
【特許文献１】特開２０００−２２１９６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述した従来のシステムにおいては、比較器は、６ビット／８ビット変換部１０４からの映像信号を所定のクロマキーレベルと比較することにより、画面合成部１０８が第１の映像信号を選択するべきか、又は、第２の映像信号を選択するべきかを各画素毎に判断してクロマキー合成する。そして、このＣＰＵ１０２から比較器９０９に設定された所定のクロマキーレベルは、固定となっている。
【００１０】
従って、ＣＰＵ１０２から出力される映像データのクロマキーレベルが不変であっても、グラフィックスチップ１０３の処理が変更され、あるいは異なるものに交換されると、もはやそれまで比較器９０９に設定されていた所定のクロマキーレベルは不正確なものとなり、クロマキー合成が正確に行えなくなってしまう。
【００１１】
そこで、本発明は、上記の理由により通常であればクロマキー合成が正確に行えなくなった場合であっても、正しくクロマキー合成を行うことができることを可能とするクロマキー検出範囲調整方法及びクロマキー検出範囲調整装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明によれば、画像処理部にて、減色及び近似処理に係る色変換処理が行われ、クロマキーレベル検出処理に不整合が生じた場合でも、前記色変換処理によって変更されたクロマキーレベルを検出する検出手段を有することを特徴とする情報処理装置が提供される。
【００１３】
上記の情報処理装置において、前記色変換処理は、ディザ処理、オフセット処理、丸め処理又はこれらの組合せであるようにしてもよい。
【００１４】
上記の情報処理装置において、前記検出手段は、クロマキーレベルの上限値を検出するための上限値検出手段と、クロマキーレベルの下限値を検出するための下限値検出手段と、を備えるようにしてもよい。
【００１５】
上記の情報処理装置において、前記検出手段は、第１の上側閾値と第１の下側閾値との間の範囲に収まるフレーム内の画素数に対する第２の上側閾値と第２の下側閾値との間の範囲に収まるフレーム内の画素数の割合を検出する第１の検出手段と、画素数の割合が所定値以上を維持する第２の上限閾値と第２の下限閾値の最小範囲を検出する第２の検出手段と、を備えるようにしてもよい。
【００１６】
上記の情報処理装置において、前記上限値検出手段では、第２の上側閾値を減じていき、第１の上側閾値と第１の下側閾値との間の範囲に収まるフレーム内の画素数に対する第２の上側閾値と第２の下側閾値との間の範囲に収まるフレーム内の画素数の割合の変化量が所定値以上となった場合、直前の第２の上側閾値を前記画像処理部の出力からのクロマキーレベル検出のための範囲の上限値とするようにしてもよい。
【００１７】
上記の情報処理装置において、前記下限値検出手段では、第２の下側閾値を増やしていき、第１の上側閾値と第１の下側閾値との間の範囲に収まるフレーム内の画素数に対する第２の上側閾値と第２の下側閾値との間の範囲に収まるフレーム内の画素数の割合の変化量が所定値以上となった場合、直前の第２の下側閾値を前記画像処理部の出力からのクロマキー検出のための範囲の下限値とするようにしてもよい。
【発明の効果】
【００１８】
本発明によれば、画面合成部の前段階においてディザリング処理やオフセット処理や丸め処理などが行われることによりクロマキーレベルが変更された場合であっても、クロマキー合成を行えるようにするためのクロマキーレベルを検出することが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明の実施形態について説明をする。
【００２０】
なお、以下の説明における色の分解能、色の階調、色の変動、あるいは、色の誤差に関する記述は（Ｒ，Ｇ，Ｂ）等の色の構成要素のうち、１構成色の場合について代表して説明する。
【００２１】
グラフィックスチップ１０３は８ビットの分解能を有する（２５６の階調を有する）データを６ビットの分解能を有する（６４の階調を有する）データに変換する。階調の分解能をこのように削減した場合であっても２５６の階調を有すると視覚的に認識できるようにするためグラフィックスチップ１０３は、ディザリング処理を行う。従って、ディザリング処理による±３階調の誤差が生ずる。また、ダイナミックレンジの減少による±３階調のオフセット誤差が生ずる。更に、±１階調の丸め誤差が生ずる。そうすると合わせて±７階調の誤差が生ずる。±７の間にあるレベルは１５であるため（０レベルもカウントに含む）、グラフィックスチップに入力された各画素は、出力において１５階調の不確定性を有することとなる。
【００２２】
次に、それぞれの誤差について説明する。
【００２３】
［ディザリング処理による誤差］
図２は、ディザリング処理を説明するための図である。図２（ａ）〜（ｄ）に示す縦棒に付けられている目盛りは、８ビットの分解能におけるレベルを表す。８ビットの分解能におけるレベルを６ビットの分解能にディザリング処理をすると図２に示すようになる。
【００２４】
図２（ａ）は、８ビット分解能においてレベルがｒ１である画素がレベルがｒ１である４つの画素にディザリング処理により変換される様子を示している。図２（ｂ）は、８ビット分解能においてレベルがｒ１＋１である画素がレベルがｒ１である３つの画素及びレベルがｒ２である１つの画素にディザリング処理により変換される様子を示している。図２（ｃ）は、８ビット分解能においてレベルがｒ１＋２である画素がレベルがｒ１である２つの画素及びレベルがｒ２である２つの画素にディザリング処理により変換される様子を示している。図２（ｄ）は、８ビット分解能においてレベルがｒ１＋３である画素がレベルがｒ１である１つの画素及びレベルがｒ２である３つの画素にディザリング処理により変換される様子を示している。
【００２５】
或る画素のレベルが図２（ａ）から図２（ｄ）のどの場合に該当するかは不確定であるため、ディザリング処理による誤差は最大で±３階調となる。
【００２６】
［オフセット誤差］
入力レベルのダイナミックレンジを０から２５２（６ビットの分解能にディザリング処理を行う場合：＝６３×４）にして、２５３〜２５５の範囲にある画素を強制的に２５２にしてしまうグラフィックスチップがある。また、入力レベルのダイナミックレンジを３から２５５（＝６３×４＋３）にして、０〜２の範囲にある画素を強制的に３にしてしまうグラフィックスチップがある。従って、或る画素に着目した場合、±３階調のオフセット誤差が生ずる。
【００２７】
［丸め誤差］
グラフィックスチップ内では精度の異なるデータ変換における演算処理（８ビットの分解能と６ビットの分解能との間での変換処理）が行われ、この際近似処理が発生するため、これにより±１階調の丸め誤差が生ずる。
【００２８】
［本実施形態の目的］
上述したように、グラフィックスチップの出力においては、各画素は１５階調の不確定性を有する。従って、クロマキーとして選択された色も１５階調の不確定性を有する。そこで、１５階調の不確定性を有する範囲（ＣＰＵ出力の階調±７階調の範囲）にあるレベルを有する画素を全てクロマキーレベルとして設定してしまうと、実際にはクロマキー色でない色までもクロマキーレベルとして認識してしまうこととなる。そこで、本実施形態では、クロマキーレベルの不確定性の精度を最小範囲まで絞り込む。この最小範囲は条件によって異なり、あるときは５階調であり、またあるときは１階調である。
【００２９】
［構成］
図３は、本発明によるクロマキー合成の機能を有するシステムの構成を示す。
【００３０】
図３に示される構成要素のうち図１に示される構成要素と同一のものには、同一の記号を付し、その説明を省略する。
【００３１】
図３に示される構成を、図１に示される構成を比較すると、比較器９０９が第１の比較器１０９及び第２の比較器１１０に置き換わり、コントロール部１１１が追加されていることがわかる。
【００３２】
第１の比較器１０９、第２の比較器１１０及びコントロール部１１１は、ハードウェア、ソフトウェア又はそれらの組合せにより実現することができる。なお、ソフトウェアにより実現するとは、コンピュータがプログラムを読み込んで、そのプログラムを実行することにより実現することを意味する。
【００３３】
高精度な上側閾値と高精度な下側閾値とが求まるまでの間には、第１の比較器１０９には、低精度な上側閾値と低精度な下側閾値とが設定される。そして、画面合成部１０８は、高精度な上側閾値と高精度な下側閾値とが求まるまでの間には、６ビット／８ビット変換部１０４からの信号のレベルが、低精度な上側閾値と低精度な下側閾値との間にある場合に、メモリ１０６からの信号を選択し、そうでない場合に、６ビット／８ビット変換部１０４からの信号を選択することにより、簡易的なクロマキー合成を行う。
【００３４】
高精度な上側閾値と高精度な下側閾値とが求まったならば、第１の比較器１０９には、高精度な上側閾値と高精度な下側閾値とが設定される。その後、６ビット／８ビット変換部１０４からの信号のレベルが、高精度な上側閾値と高精度な下側閾値との間にある場合に、メモリ１０６からの信号を選択し、そうでない場合に、６ビット／８ビット変換部１０４からの信号を選択することにより、高精度なクロマキー合成を行う。
【００３５】
制御部１１１は、第１の比較器１０９、第２の比較器１１０と連動して、高精度な上側閾値と高精度な下側閾値とを求める。
【００３６】
［具体的な動作例］
図４は、クロマキーレベルＫＥＹ（８）が、図２（ｂ）に示すようにディザリング処理され、ＫＥＹ１（６）とＫＥＹ２（６）により表される場合に、高精度な上側閾値として、ＫＥＹ１（６）のレベルを求め、高精度な下側閾値として、ＫＥＹ２（６）を求める様子を示すタイミング図である。
【００３７】
フレームＦ１において、第１の比較器１０９の低精度上側閾値としてＨＴＨ（８）が設定され、第１の比較器１０９の低精度下側閾値としてＬＴＨ（８）が設定される。また、フレームＦ１において、第２の比較器１１０の可変上側閾値としてＨ１（＝ＨＴＨ（８））が設定され、第２の比較器１１０の可変下側閾値としてＬ１（＝ＬＴＨ（８））が設定される。ＨＴＨ（８）は、図面の簡略化のために、ＣＰＵ１０２から出力されるクロマキーレベルＫＥＹ（８）よりも４階調上のレベルであり、ＬＴＨ（８）は、ＣＰＵ１０２から出力されるクロマキーレベルＫＥＹ（８）よりも４階調下のレベルであるが、実際には、ＣＰＵ１０２から出力されるクロマキーレベルＫＥＹ（８）よりも７階調上のレベルであり、ＬＴＨ（８）は、ＣＰＵ１０２から出力されるクロマキーレベルＫＥＹ（８）よりも７階調下のレベルである。
ところで、各フレームにおいて、第１の比較器１０９において第１の比較器１０９に設定される下側閾値以上且つ上側閾値以下のレベルを有する画素数Ｎ１を求める。同様に、第２の比較器１１０において第２の比較器１１０に設定される下側閾値以上且つ上側閾値以下のレベルを有する画素数Ｎ２を求める。そして、比率α＝Ｎ２／Ｎ１を求める。
【００３８】
フレームＦ１においては、第１の比較器１０９に設定される上側閾値と第２の比較器１１０に設定される上側閾値とが等しく、第１の比較器１０９に設定される下側閾値と第２の比較器１１０に設定される下側閾値とが等しいため、Ｎ１＝Ｎ２となり、従ってα＝１００％となる。
【００３９】
フレームＦ２において、第１の比較器１０９の低精度上側閾値としてＨＴＨ（８）が設定され、第１の比較器１０９の低精度下側閾値としてＬＴＨ（８）が設定される。また、フレームＦ２において、第２の比較器１１０の可変上側閾値としてＨ２（＝Ｈ１−１）が設定され、第２の比較器１１０の可変下側閾値としてＬ１（＝ＬＴＨ（８））が設定される。
【００４０】
フレームＦ２においては、レベルがＨ１からＨ２の間にある画素が若干あるため、αは例えば９９％となる。
【００４１】
フレームＦ３において、第１の比較器１０９の低精度上側閾値としてＨＴＨ（８）が設定され、第１の比較器１０９の低精度下側閾値としてＬＴＨ（８）が設定される。また、フレームＦ３において、第２の比較器１１０の可変上側閾値としてＨ３（＝Ｈ２−１）が設定され、第２の比較器１１０の可変下側閾値としてＬ１（＝ＬＴＨ（８））が設定される。
【００４２】
フレームＦ３においては、レベルがＨ１からＨ２の間にある画素が若干あり、その上、ＫＥＹ１（６）のレベルとレベルＨ２が等しいため、αは例えば７５％となる。従って、レベルＨ２がＫＥＹ（８）をディザリングにより表すための上側のレベルであると判断される。
【００４３】
そこで、フレームＦ４においては、レベルＨ２を第２の比較器１１０の確定された上側閾値として設定する。
【００４４】
また、フレームＦ４において、第１の比較器１０９の低精度上側閾値としてＨＴＨ（８）が設定され、第１の比較器１０９の低精度下側閾値としてＬＴＨ（８）が設定される。
【００４５】
また、フレームＦ４において第２の比較器１１０の可変下側閾値としてＬ２（＝Ｌ１＋１）が設定される。レベルがＬ１とＬ２の間にある画素が若干あるため、αは例えば９８％となる。
【００４６】
フレームＦ５において、第１の比較器１０９の低精度上側閾値としてＨＴＨ（８）が設定され、第１の比較器１０９の低精度下側閾値としてＬＴＨ（８）が設定される。また、フレームＦ５において、第２の比較器１１０の可変上側閾値としてＨ２（確定値）が設定され、第２の比較器１１０の可変下側閾値としてＬ３（＝Ｌ２＋１）が設定される。レベルがＬ２とＬ３の間にある画素が若干あるため、αは例えば９７％となる。
【００４７】
フレームＦ６において、第１の比較器１０９の低精度上側閾値としてＨＴＨ（８）が設定され、第１の比較器１０９の低精度下側閾値としてＬＴＨ（８）が設定される。また、フレームＦ６において、第２の比較器１１０の可変上側閾値としてＨ２（確定値）が設定され、第２の比較器１１０の可変下側閾値としてＬ４（＝Ｌ３＋１）が設定される。レベルがＬ３とＬ４の間にある画素が若干あるため、αは例えば９６％となる。
【００４８】
フレームＦ７において、第１の比較器１０９の低精度上側閾値としてＨＴＨ（８）が設定され、第１の比較器１０９の低精度下側閾値としてＬＴＨ（８）が設定される。また、フレームＦ７において、第２の比較器１１０の可変上側閾値としてＨ２（確定値）が設定され、第２の比較器１１０の可変下側閾値としてＬ５（＝Ｌ４＋１）が設定される。
【００４９】
フレームＦ７においては、レベルがＬ４からＬ５の間にある画素が若干あり、その上、ＫＥＹ２（６）のレベルとレベルＬ４が等しいため、αは例えば２４％となる。従って、レベルＬ４がＫＥＹ（８）をディザリングにより表すための下側のレベルであると判断される。
【００５０】
フレームＦ８以降においては、フレームＦ３で確定した上側のレベルＨ２とフレームＦ７で確定した下側のレベルＬ４が第１の比較器１０９に設定される。そして、第１の比較器１０９が出力する比較結果を基にして、画面合成部１０８は、クロマキー合成を行う。
【００５１】
このようにして、高精度な閾値が求まるまでの間は、第１の比較器１０９には、低精度な閾値が設定され、低精度なクロマキー合成しか行うことができないが、高精度な閾値が求まってからは、第１の比較器１０９には、高精度な閾値が設定され、高精度なクロマキー合成を行うことが可能となる。
【００５２】
図５は、クロマキーレベルＫＥＹ（８）が図２（ｃ）に示すようにディザリング処理され、ＫＥＹ１（６）とＫＥＹ２（６）により表される場合に、高精度な上側閾値として、ＫＥＹ１（６）（＝Ｈ３）のレベルを求め、高精度な下側閾値として、ＫＥＹ２（６）（＝Ｌ３）を求める様子を示すタイミング図である。動作原理は、図４の場合と同様であるので、その説明を省略する。
【００５３】
図６は、クロマキーレベルＫＥＹ（８）が図２（ｄ）に示すようにディザリング処理され、ＫＥＹ１（６）とＫＥＹ２（６）により表される場合に、高精度な上側閾値として、ＫＥＹ１（６）（＝Ｈ４）のレベルを求め、高精度な下側閾値として、ＫＥＹ２（６）（＝Ｌ２）を求める様子を示すタイミング図である。動作原理は、図４の場合と同様であるので、その説明を省略する。
【００５４】
図７は、クロマキーレベルＫＥＹ（８）が図２（ａ）に示すようにディザリング処理され、ＫＥＹ１（６）（＝ＫＥＹ２（６））により表される場合に、高精度な上側閾値として、ＫＥＹ１（６）（＝Ｈ５）のレベルを求め、高精度な下側閾値として、ＫＥＹ２（６）（＝Ｈ５）を求める様子を示すタイミング図である。動作原理は、図４の場合と同様であるので、その説明を省略する。図７の場合には、可変上側閾値をＨ６まで落としたときに、αの値が０％となるため、図２（ａ）のようなディザリングが行われていると判断し、高精度上側閾値も高精度下側閾値も共にＨ５とする。
【００５５】
この他に、オフセット誤差や丸め誤差が生じた場合であっても同様なアルゴリズムにより高精度上側閾値及び高精度下側閾値を求めることが可能となる。
【図面の簡単な説明】
【００５６】
【図１】従来からあるクロマキー合成の機能を有するシステムの構成を示す。
【図２】本発明によりクロマキー検出のための範囲の精度が上がる様子を示す図である。
【図３】本発明の実施形態によるクロマキー合成の機能を有するシステムの構成を示す図である。
【図４】図３に示すシステムにおいて、クロマキーレベルを検出するための高精度な閾値を求める様子を示す第１の図である。
【図５】図３に示すシステムにおいて、クロマキーレベルを検出するための高精度な閾値を求める様子を示す第２の図である。
【図６】図３に示すシステムにおいて、クロマキーレベルを検出するための高精度な閾値を求める様子を示す第３の図である。
【図７】図３に示すシステムにおいて、クロマキーレベルを検出するための高精度な閾値を求める様子を示す第４の図である。
【符号の説明】
【００５７】
１０１ パーソナルコンピュータ
１０２ ＣＰＵ
１０３ グラフィックスチップ
１０４ ６ビット／８ビット変換部
１０５ テレビ
１０６ メモリ
１０７ フレーム同期部
１０８ 画面合成部
１０９ 第１の比較器
１１０ 第２の比較器
１１１ コントロール部
【特許請求の範囲】
【請求項１】
画像処理部にて、減色及び近似処理に係る色変換処理が行われ、クロマキーレベル検出処理に不整合が生じた場合でも、
前記色変換処理によって変更されたクロマキーレベルを検出する検出手段を有することを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記色変換処理は、ディザ処理、オフセット処理、丸め処理又はこれらの組合せである情報処理装置。
【請求項３】
請求項１に記載の情報処理装置において、
前記検出手段は、
クロマキーレベルの上限値を検出するための上限値検出手段と、
クロマキーレベルの下限値を検出するための下限値検出手段と、
を備えることを特徴とする情報処理装置。
【請求項４】
請求項１に記載の情報処理装置において、
前記検出手段は、
第１の上側閾値と第１の下側閾値との間の範囲に収まるフレーム内の画素数に対する第２の上側閾値と第２の下側閾値との間の範囲に収まるフレーム内の画素数の割合を検出する第１の検出手段と、
画素数の割合が所定値以上を維持する第２の上限閾値と第２の下限閾値の最小範囲を検出する第２の検出手段と、
を備えることを特徴とする情報処理装置。
【請求項５】
請求項３に記載の情報処理装置において、
前記上限値検出手段では、第２の上側閾値を減じていき、第１の上側閾値と第１の下側閾値との間の範囲に収まるフレーム内の画素数に対する第２の上側閾値と第２の下側閾値との間の範囲に収まるフレーム内の画素数の割合の変化量が所定値以上となった場合、直前の第２の上側閾値を前記画像処理部の出力からのクロマキーレベル検出のための範囲の上限値とすることを特徴とする情報処理装置。
【請求項６】
請求項３に記載の情報処理装置において、
前記下限値検出手段では、第２の下側閾値を増やしていき、第１の上側閾値と第１の下側閾値との間の範囲に収まるフレーム内の画素数に対する第２の上側閾値と第２の下側閾値との間の範囲に収まるフレーム内の画素数の割合の変化量が所定値以上となった場合、直前の第２の下側閾値を前記画像処理部の出力からのクロマキー検出のための範囲の下限値とすることを特徴とする情報処理装置。
【請求項７】
請求項３に記載の情報処理装置において、
前記第１の上側閾値は、前記画像処理部により変動したクロマキーレベルの最大見積値であり、
前記第１の下側閾値は、前記画像処理部により変動したクロマキーレベルの最小見積値であることを特徴とする情報処理装置。
【請求項８】
画像処理部にてディザ処理、オフセット処理、丸め処理又はこれらの組合せが行われ、クロマキーレベルが変動した場合でも、正しいクロマキーレベルを検出するための範囲を求めるクロマキー検出範囲調整ステップを有することを特徴とするクロマキー検出範囲調整補正方法。
【請求項９】
コンピュータを請求項１乃至７の何れか１項に記載の装置として機能させるためのプログラム。
【請求項１】
画像処理部にて、減色及び近似処理に係る色変換処理が行われ、クロマキーレベル検出処理に不整合が生じた場合でも、
前記色変換処理によって変更されたクロマキーレベルを検出する検出手段を有することを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記色変換処理は、ディザ処理、オフセット処理、丸め処理又はこれらの組合せである情報処理装置。
【請求項３】
請求項１に記載の情報処理装置において、
前記検出手段は、
クロマキーレベルの上限値を検出するための上限値検出手段と、
クロマキーレベルの下限値を検出するための下限値検出手段と、
を備えることを特徴とする情報処理装置。
【請求項４】
請求項１に記載の情報処理装置において、
前記検出手段は、
第１の上側閾値と第１の下側閾値との間の範囲に収まるフレーム内の画素数に対する第２の上側閾値と第２の下側閾値との間の範囲に収まるフレーム内の画素数の割合を検出する第１の検出手段と、
画素数の割合が所定値以上を維持する第２の上限閾値と第２の下限閾値の最小範囲を検出する第２の検出手段と、
を備えることを特徴とする情報処理装置。
【請求項５】
請求項３に記載の情報処理装置において、
前記上限値検出手段では、第２の上側閾値を減じていき、第１の上側閾値と第１の下側閾値との間の範囲に収まるフレーム内の画素数に対する第２の上側閾値と第２の下側閾値との間の範囲に収まるフレーム内の画素数の割合の変化量が所定値以上となった場合、直前の第２の上側閾値を前記画像処理部の出力からのクロマキーレベル検出のための範囲の上限値とすることを特徴とする情報処理装置。
【請求項６】
請求項３に記載の情報処理装置において、
前記下限値検出手段では、第２の下側閾値を増やしていき、第１の上側閾値と第１の下側閾値との間の範囲に収まるフレーム内の画素数に対する第２の上側閾値と第２の下側閾値との間の範囲に収まるフレーム内の画素数の割合の変化量が所定値以上となった場合、直前の第２の下側閾値を前記画像処理部の出力からのクロマキー検出のための範囲の下限値とすることを特徴とする情報処理装置。
【請求項７】
請求項３に記載の情報処理装置において、
前記第１の上側閾値は、前記画像処理部により変動したクロマキーレベルの最大見積値であり、
前記第１の下側閾値は、前記画像処理部により変動したクロマキーレベルの最小見積値であることを特徴とする情報処理装置。
【請求項８】
画像処理部にてディザ処理、オフセット処理、丸め処理又はこれらの組合せが行われ、クロマキーレベルが変動した場合でも、正しいクロマキーレベルを検出するための範囲を求めるクロマキー検出範囲調整ステップを有することを特徴とするクロマキー検出範囲調整補正方法。
【請求項９】
コンピュータを請求項１乃至７の何れか１項に記載の装置として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−９２０８５（Ｐ２００８−９２０８５Ａ）
【公開日】平成２０年４月１７日（２００８．４．１７）
【国際特許分類】
【出願番号】特願２００６−２６８１０２（Ｐ２００６−２６８１０２）
【出願日】平成１８年９月２９日（２００６．９．２９）
【出願人】（３０２０６９９３０）ＮＥＣパーソナルプロダクツ株式会社 (738)
【Ｆターム（参考）】
【公開日】平成２０年４月１７日（２００８．４．１７）
【国際特許分類】
【出願日】平成１８年９月２９日（２００６．９．２９）
【出願人】（３０２０６９９３０）ＮＥＣパーソナルプロダクツ株式会社 (738)
【Ｆターム（参考）】
[ Back to top ]