撮像信号処理回路及び撮像信号処理方法
【課題】フラッシュ等の影響による撮像画像に対して手作業の編集作業によることなく撮像信号処理回路内で画像処理をして違和感のない画像を出力。
【解決手段】ＲＧＢ又はＹＰｂＰｒ３チャンネルの撮像信号を時系列的に少なくとも２画面分を記憶する画像メモリを具え、画像メモリの出力から撮影時にフラッシュ発光が発生したときのみ該画像メモリの画像を入れ換え処理を行うメモリ処理回路と、メモリ処理回路の出力の中でフラッシュ発光の影響により全体の輝度値が上昇している画像に対して、輝度の低い部分の黒線を隠蔽処理する黒線処理回路と、入力信号がＲＧＢ３チャンネルの場合のみ輝度信号を作成する輝度信号作成回路と、輝度信号作成回路の出力に対して撮影時にフラッシュが発生したか否かを判別し、発生した画像におけるフラッシュの発光による輝度値が急激に上昇する部分を境界線として検出しメモリ処理回路と黒線処理回路とに対し制御を行う。
【解決手段】ＲＧＢ又はＹＰｂＰｒ３チャンネルの撮像信号を時系列的に少なくとも２画面分を記憶する画像メモリを具え、画像メモリの出力から撮影時にフラッシュ発光が発生したときのみ該画像メモリの画像を入れ換え処理を行うメモリ処理回路と、メモリ処理回路の出力の中でフラッシュ発光の影響により全体の輝度値が上昇している画像に対して、輝度の低い部分の黒線を隠蔽処理する黒線処理回路と、入力信号がＲＧＢ３チャンネルの場合のみ輝度信号を作成する輝度信号作成回路と、輝度信号作成回路の出力に対して撮影時にフラッシュが発生したか否かを判別し、発生した画像におけるフラッシュの発光による輝度値が急激に上昇する部分を境界線として検出しメモリ処理回路と黒線処理回路とに対し制御を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ローリングシャッタ方式のＣＭＯＳ撮像素子を用いたテレビカメラ装置によって撮影された撮像画像を画像処理してフラッシュ発光による影響を排除する撮像信号処理回路及びその撮像信号処理方法に関する。
【背景技術】
【０００２】
放送局で使用するテレビカメラは、ＣＣＤ（charge coupled device）撮像素子に代わり、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ（以下、ＣＭＯＳ撮像素子と称する）を使用したテレビカメラが主流となりつつある。ＣＭＯＳ撮像素子には、電子シャッタの相違により、ローリングシャッタ方式とグローバルシャッタ方式とがある。ローリングシャッタ方式は水平ライン毎に露光タイミングが異なり、露光条件等をリセット処理しながら順次露光する露光方式で、グローバルシャッタ方式は露光タイミングが全水平ライン同時に処理する方式である。コスト的にはローリングシャッタ方式が安価であるのに対して、グローバルシャッタ方式は高価であるため、一般にローリングシャッタ方式を使用している。
【０００３】
ローリングシャッタ方式のＣＭＯＳ撮像素子を使用したテレビカメラで撮影した撮像画像では、撮像画像の中にフラッシュやストロボ等の非常に発光期間の短い照明成分が入力されると、画面内の一部分にフラッシュ発光の影響により輝度が上昇した後に露光される部分と、フラッシュ発光の影響を受けていない時に露光された部分とが同一フィールド画像内で共存する状態となり、画像内に帯状の輝度差が生じることがある。このような現象はフラッシュバンドと呼ばれ、順次露光方法に起因しており、グローバルシャッタ方式の場合には発生しない現象である。
【０００４】
図９は撮像画像を時系列に示してローリングシャッタ方式とグローバルシャッタ方式との相違を図示したものであり、フラッシュの発光があると、その撮像画像はローリングシャッタ方式の場合、撮像画像にフラッシュバンドが時系列で隣り合う二画面に発生するのに対し、グローバルシャッタ方式の場合はフラッシュの発光により輝度が上昇して画像全体が影響を受けるので、フラッシュバンドが発生しない。
【０００５】
図９から明らかなように、撮像画像にフラッシュ発光による高輝度部分によるフラッシュバンド現象が発生すると、画像として見づらくなり、好ましいものではない。そこで、本願出願人は、特開２００９−２８４１９９号公報で開示したように、テレビカメラで撮像した画像データとともにフラッシュに関する情報を作成して記録し、その後のスタジオ等での編集を容易とすることができる記録媒体を有するテレビカメラを提案した。図１０を参照し本出願人による従来のテレビカメラ装置について説明する。
【０００６】
図１０のテレビカメラ装置は、固体撮像素子１からの映像信号を処理する映像系ＤＳＰ（Digital Signal Processer）２と、映像系ＤＳＰ２の出力信号に静止画カメラのフラッシュ映像が含まれているか否かを検出し、含まれている場合はフラッシュ有りとするトリガ信号を発生し、そのフラッシュに関するデータを出力するフラッシュ判別回路３と、フラッシュ判別回路３からのトリガ信号により、映像系ＤＳＰ２の出力映像データのフラッシュに関するデータを作成し、出力映像データと共に記録制御するＣＰＵ４と、ＣＰＵ４からの出力を記録する記録媒体５とを具えており、記録媒体５に記録したフラッシュに関するデータを参照し編集作業が手作業で行うことができる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２８４１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来のテレビカメラ装置において、ローリングシャッタ方式のＣＭＯＳ撮像素子を使用した場合、水平ライン毎に露光タイミングの異なる順次露光方式であるため、撮影中にフラッシュが発生すると、図９で示したように、画像の途中でそのフィールド画像が高輝度画像となり、次のフィールドにも影響を与えて途中までが高輝度でその後元のフラッシュ発光の影響を受けない画像に戻る現象が生じる。このフラッシュの影響による高輝度状態にある画像は、フラッシュ発光が発生したフィールド画像の高輝度領域と、次のフィールド画像の高輝度領域の画像を加えると丁度１フィールド分となる。このようにフィールド画像間に跨る高輝度領域が存在すると、動画で見た場合には一画面内で輝度が異なる画像が存在することになり、違和感を覚えるといった問題点があった。
【０００９】
また、フラッシュが発生した場合、フラッシュ発光の影響を受けた高輝度画像からフラッシュ発光の影響を受けていない通常撮影の画像に変化する境界部分に黒つぶれが発生する。同様に高輝度画像から突然低輝度画像へと変化する場合にも黒つぶれが発生する。この黒つぶれは、１水平ライン毎に露光時間を設定し、リセット処理して設定しいるため光強度の急激な変化に対応できず、光量不足となり黒つぶれが発生する。この黒つぶれは撮像画像中の低輝度領域とその周囲にある高輝度部分との輝度値を比較して極端な差があると発生し黒線のような画像となり、その映像は違和感を覚えるといった問題点があった。現在は、このような高輝度な撮像画像を取得した場合、手作業による編集作業によって画像を直して放送に使用しているのが現状であり、手間が掛かるものであった。
【００１０】
本発明は、上記課題に鑑みてなされたものであって、フラッシュ等の影響により撮像画像に対して手作業の編集作業によらずに撮像信号処理回路内で画像処理をすることにより違和感のない画像を出力することが可能な撮像信号処理回路及びその撮像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上記課題を達成したものであって、請求項１の発明は、撮像装置における撮像信号処理回路において、
入力されたＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルからの撮像信号を時系列的に最新の画像とその直前の画像との少なくとも２画面分を記憶する３チャンネルの画像メモリとを具え、前記３チャンネルの画像メモリの出力から撮影時にフラッシュが発生したときのみ該画像メモリの画像を入れ換え処理を行う３つのメモリ処理回路と、
前記メモリ処理回路の出力の中でフラッシュの発光の影響により全体の輝度値が上昇している画像領域に対して、その境界部付近に存在する輝度の低い部分である黒線を隠蔽処理する３つの黒線処理回路と、
入力信号としＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルの各撮像信号が入力され、該入力信号がＲＧＢ３チャンネルの場合、輝度信号を作成し、ＹＰｂＰｒ３チャンネルの場合、Ｙ信号を輝度信号とする輝度信号作成回路と、
該輝度信号作成回路の出力に対して撮影時に前記フラッシュが発生したか否かを判別し、かつ該フラッシュが発生した画像におけるフラッシュ発光による輝度値の急激な上昇をしている部分を境界線として検出し前記メモリ処理回路と前記黒線処理回路とに対して制御情報を与えるフラッシュ処理回路とを具えることを特徴とする撮像信号処理回路である。
【００１２】
また、請求項２の発明は、請求項１に記載の撮像信号処理回路において、
前記フラッシュ処理回路は、同一フィールドの撮像信号において、
１水平ライン毎に画素の輝度値を積算する画素積算部と、
該画素積算部の平均値を積算する平均値算出部と、
１フィールドのライン毎の平均値を記憶する平均値メモリと、
前記平均値メモリの任意のアドレスに対して読み出し又は書き込み制御を行うＲ／Ｗ制御部と、
前記平均値算出部の出力と前記平均値メモリから読み出される１フィールド前の垂直位置に対応する水平ラインの平均値との差を検出する差分検出部と、
前記差分検出部の出力を所定基準値と比較する比較部と、
前記比較部の比較の結果、前記差分値が前記所定基準値以上のときフラッシュ有りと判断してそのときの垂直ライン番号を前記Ｒ／Ｗ制御部より得てフラッシュトリガ信号と前記垂直ライン番号を境界線として出力する境界線検出部とからなることを特徴とする撮像信号処理回路である。
【００１３】
また、請求項３の発明は、請求項１に記載の撮像信号処理回路において、
前記メモリ処理回路は、
前記フラッシュ処理回路によるフラッシュ有りとする制御信号に基づいて、前記少なくとも２つの画像メモリのそのフラッシュ発生位置に応じたメモリ内容を入れ換えるメモリ転送制御部を具えることを特徴とする撮像信号処理回路である。
【００１４】
また、請求項４の発明は、請求項１に記載の撮像信号処理回路において、
前記黒線処理回路は、前記メモリ処理回路の出力画像を記憶する画像メモリと、
前記画像メモリに記憶されている画像に前記黒線があるか否かを検出し、ある場合にはその位置を特定し、前記隠蔽処理部に対して隠蔽処理を行うように制御する位置探索処理部と、
前記画像メモリに記憶されている画像が処理対象画像のときに所定領域の画素演算により算出した画素値に置換して前記黒線を隠蔽する処理を行う隠蔽処理部と、
前記隠蔽処理終了画像に対して平均化フィルタ処理を行う平均化フィルタ部とからなることを特徴とする撮像信号処理回路である。
【００１５】
また、請求項５の発明は、撮像装置における撮像信号処理方法において、
ＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルの撮像信号から輝度成分算出手段により輝度成分を算出するステップと、
前記輝度成分の同一フィールドにおける水平ライン毎の平均値を平均輝度値算出手段により算出して記憶し、前記平均値と直前のフィールドにおける垂直位置が同位置となる水平ライン毎の平均値の差分値を差分処理手段により算出し、その差分値を所定基準値とを比較手段により比較して前記撮像信号にフラッシュが発光したことによる輝度変化が含まれるか否かをフラッシュ判定手段により判別するステップと、
ＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルの撮像信号を記憶し、前記フラッシュが含まれるときに、前記撮像信号の一部の画像入れ換え処理を画像入れ換え処理手段により行うステップと、
前記画像入れ換え処理を行った撮像信号の境界部分に対して、前記境界に存在する黒線を黒線隠蔽処理手段により隠蔽処理するステップと、
前記黒線隠蔽処理を行った撮像信号に対して、選択的に平均化フィルタ処理手段を適用するステップとを具えることを特徴とする撮像信号処理方法である。
【発明の効果】
【００１６】
請求項１の発明によれば、撮像信号がＲＧＢ信号又はＹＰｂＰｒ信号を問わずにフラッシュ発光によるフラッシュバンド現象による違和感を有する画像を自動的に画像処理することが可能である利点がある。また、撮像画像中にフラッシュが発光したか否かの判定を撮像信号の輝度信号により判定しており、ＲＧＢ信号が入力すると、輝度信号作成回路により自動的に輝度信号を作成することができるし、ＹＰｂＰｒ信号の場合はＹ信号を輝度信号とするので、回路構成がコンパクトにとなる利点がある。また、ＲＧＢ信号又はＹＰｂＰｒ信号入力に対して、３チャンネル同時に処理して出力することによりチャンネル間での遅延を生じないという効果を有する。また、各フィールド画像間に跨るフラッシュ発光領域を一フィールド画像に自動的集約することができ、集約したフラッシュ画像を編集において自動的にカットすることが可能であり、極めて有効である。さらに、撮像信号がローリングシャッタ方式のＣＭＯＳ撮像素子からの出力であってもフラッシュバンド現象が発生したときに画像処理により容易に編集処理できる利点がある。
【００１７】
また、請求項２の発明によれば、水平ライン毎の輝度値の平均値でフラッシュ判定を行うことによりフィールド毎の平均値メモリも小容量なメモリで構成することができ、コンパクトで安価に構成することが可能である。また、フィールド画像間の同じ垂直ライン番号と水平ライン番号とにより特定領域の画素における輝度値を演算処理することができるので、処理時間を短縮することができる利点がある。
【００１８】
また、請求項３の発明によれば、メモリ転送制御部がフラッシュ処理回路からの制御信号によって制御されており、入力信号３チャンネルに対応して接続された３つの画像メモリによりデータ転送が同一の領域を同一タイミングで転送処理することができるため、個々に転送処理領域を設定する必要がなく、全体としてシンプルな構成となる利点がある。
【００１９】
また、請求項４の発明によれば、黒つぶれとなる黒線を周辺領域の平均画素値で隠蔽するため、黒線が確実に目立たなくなり、画像の入れ換えによる違和感を解消することができる利点がある。なお、平均化フィルタ処理はバイパス可能な構成とすることは容易であるので、黒線隠蔽処理の影響による画像の入れ換え境界部付近での置換処理の程度を容易に調整することが可能であり、違和感の低減を計ることができる。
【００２０】
また、請求項５の発明によれば、フラッシュ発光による撮像画像をプロセッサにより判別して画像処理により編集処理が可能な撮像信号処理方法であり、その基本的処理概念は回路の場合と同様であって、ローリングシャッタ方式のＣＭＯＳ撮像素子からＲＧＢ信号やＹＰｂＰｒ信号が入力されたとしても自動的に撮像信号の種別を判別して輝度信号を作成し、フラッシュが発光したか否かの判定を輝度信号の輝度値によって実施し、輝度値からフラッシュ有無を判定し、フラッシュバンドが発生する境界領域の水平ライン番号を情報信号として伝達して画像入れ換え処理を実行しており、ＲＧＢ信号やＹＰｂＰｒ信号であっても区別することなく、自動的に編集処理ができる利点がある。
【図面の簡単な説明】
【００２１】
【図１】本発明に係る撮像装置における撮像信号処理回路の一実施例を示すブロック図である。
【図２】本実施例のフラッシュ処理回路の詳細なブロック図である。
【図３】本実施例のメモリ処理回路の詳細なブロック図である。
【図４】本実施例の黒線処理回路の詳細なブロック図である。
【図５】本実施例のメモリ処理回路の説明図である。
【図６】図４の黒線処理回路における位置探索部の説明図である。
【図７】図４の黒線処理回路における隠蔽処理部の説明図である。
【図８】本発明に係る撮像信号処理方法に関するフローチャート図である。
【図９】ＣＭＯＳ撮像素子のシャッタに関する動作説明図である。
【図１０】従来のテレビカメラ装置のブロック図である。
【発明を実施するための形態】
【実施例】
【００２２】
以下、本発明に係る撮像装置における撮像信号処理回路及び撮像信号処理方法の実施例について図面を参照し説明する。先ず、本実施例の撮像信号処理回路について図１を参照し説明する。本実施例の撮像信号処理回路は、テレビカメラ装置或いはビデオカメラ装置等の撮像装置に備えられたＣＭＯＳ撮像素子からの撮像信号を信号処理し、フラッシュ発光による影響により撮像画像に発生するフラッシュバンド現象を解消するための撮像信号処理回路であり、殊に、ローリングシャッタ方式によるＣＭＯＳ撮像素子からの撮像信号に対して適したものである。また、本実施例はＲＧＢ信号やＹＰｂＰｒ信号による撮像信号を対象とし信号処理する。
【００２３】
同図において、１００はＲ（Ｐｒ）チャンネル入力端子、１０１はＲ（Ｐｒ）チャンネル用メモリ処理回路、１０２はＲ（Ｐｒ）チャンネル用黒線処理回路であり、１０３はＧ（Ｙ）チャンネル入力端子、１０４はＧ（Ｙ）チャンネル用メモリ処理回路、１０５はＧ（Ｙ）チャンネル用黒線処理回路であり、１０６はＢ（Ｐｂ）チャンネル入力端子、１０７はＢ（Ｐｂ）チャンネル用メモリ処理回路、１０８はＢ（Ｐｂ）チャンネル用黒線処理回路である。１０９は輝度信号作成回路、１１０はフラッシュ処理回路であり、１１１〜１１３は各チャンネルのＲ出力（Ｐｒ），Ｇ出力（Ｙ），Ｂ出力（Ｐｂ）を出力する出力端子である。
【００２４】
Ｒ（Ｐｒ）チャンネル入力端子１００、Ｇ（Ｙ）チャンネル入力端子１０３、及びＢ（Ｐｂ）チャンネル入力端子１０６は撮像信号の入力端子であり、各入力端子１００，１０３、１０６にＣＭＯＳ撮像素子からの撮像信号（ＲＧＢ信号又はＹＰｂＰｒ信号）が入力されてＲ（Ｐｒ）チャンネル用メモリ処理回路１０１、Ｇ（Ｙ）チャンネル用メモリ処理回路１０４、及びＢ（Ｐｂ）チャンネル用メモリ処理回路１０７にそれぞれ入力されるとともに輝度信号作成回路１０９に入力される。また、各メモリ処理回路１０１，１０４，１０７の各出力信号は黒線処理回路１０２，１０５，１０８にそれぞれ入力される。また、輝度信号作成回路１０９の出力信号はフラッシュ処理回路１１０に入力され、それらの各出力信号が各メモリ処理回路１０１，１０４，１０７と黒線処理回路１０２，１０５，１０８にそれぞれ入力される。出力端子１１１，１１２，１１３からは信号処理された撮像信号（ＲＧＢ信号又はＹＰｂＰｒ信号）が出力される。
【００２５】
次に、本実施例の動作について詳細に説明する。ＣＭＯＳ撮像素子からの各撮像信号が入力端子１００，１０３及び１０６に入力され、これらのＲＧＢ信号又はＹＰｂＰｒ信号の３つの撮像信号を各チャンネルのメモリ処理回路１０１，１０４及び１０７と輝度信号作成回路１０９とにそれぞれ出力する。
【００２６】
メモリ処理回路１０１，１０４及び１０７はＲＧＢ信号の各信号による１フィールド画像を記憶して順次転送して黒線処理回路１０２，１０５及び１０８にそれぞれ出力するとともに、記憶した１フィールド画像中にフラッシュ発生によるフラッシュ画像領域が存在する場合はこのフラッシュ画像領域のフラッシュ画像をメモリ転送処理して１フィールド画像によるフラッシュ画像とし、このフラッシュ画像による１フィールド画像を記憶して出力する。また、１フィールド画像中のフラッシュ画像を除く正常な画像領域は直前の通常画像とを組み合わせて正常な１フィールド画像として記憶し出力する。その詳細については図３，図５を参照し後述する。これらの編集した出力は通常画像と同様に黒線処理回路１０２，１０５及び１０８に出力する。
【００２７】
黒線処理回路１０２，１０５及び１０８は、メモリ処理回路１０１，１０４及び１０７で作成した画像に対し、画像中に発生する黒つぶれを隠蔽処理して出力する回路である。その詳細については図４を参照し説明する。黒線処理回路１０２，１０５及び１０８にて黒線処理した撮像信号は各チャンネルの出力端子１１１，１１２及び１１３から撮像信号（ＲＢＧ信号）として出力する。
【００２８】
輝度信号作成回路１０９は、入力端子１００，１０３及び１０６からのＲＧＢ信号入力又はＹＰｂＰｒ信号入力に対して、ＲＧＢ信号入力の場合、Ｙ信号作成比率に基づいて輝度信号（Ｙ信号）を作成し、この出力はフラッシュ処理回路１１０へ出力する。Ｙ信号作成の比率は、例えば、ＮＴＳＣ規格ではＲ：Ｇ：Ｂ＝０．３：０．５９：０．１１であり、また、ハイビジョン規格ではＲ：Ｇ：Ｂ＝０．２１：０．７２：０．０７である。このようにＲＧＢ信号入力では各規格で定められた比率で輝度信号（Ｙ信号）の作成が行われる。また、ＹＰｂＰｒ信号入力の場合は、輝度信号作成回路１０９は入力映像信号のＹ信号をそのまま輝度信号として出力する。
【００２９】
フラッシュ処理回路１１０はフラッシュ発光が発生したか否かを判定すると同時にその境界線となる位置を検索してメモリ処理回路１０１，１０４及び１０７と黒線処理回路１０２，１０５及び１０８へと出力する。フラッシュ処理回路１１０の出力は、フラッシュ有りとした判定情報と、１フィールド画像において、フラッシュ発光により影響を受けた画像領域とフラッシュ発光の影響を受けていない画像領域との境界位置の位置情報であり、この境界線位置情報は、１フィールド画像の水平ライン位置を示すライン番号によるアドレス情報である。
【００３０】
フラッシュ処理回路１１０は、図２に示す機能ブロック図で示す構成であり、輝度信号作成回路１０９からの出力が入力端子２００に入力され、入力端子２００からの出力が１ライン画素積算部２０１に入力されて１ライン画素の輝度値が積算されて平均値算出部２０２に入力され、１ライン画素の輝度値の平均値が求められ、この平均値が１フィールド画像のアドレス（ライン番号）に対応して平均値メモリ２０４に記憶される。平均値メモリ２０４に記憶したデータは、読み出し／書き込み（Ｒ／Ｗ）制御部２０３が垂直ラインのアドレスにより読み出し／書き込み制御を行って、フィールド画像の時系列で隣接するフィールド画像間の１ライン毎の平均値を読み出して差分検出部２０５で平均値の差分値を算出し、その差分値を比較部２０６に入力して基準値と比較し、その比較結果に基づいて境界線位置を境界線検出部２０７で検出し、これらの情報信号（水平ライン番号）及びフラッシュ有無の情報信号を出力端子２０８から各メモリ処理回路１０１，１０４，１０７と黒線処理回路１０２，１０５，１０８に出力する。
【００３１】
続いて、フラッシュ処理回路１１０の動作について詳細に説明する。入力端子２００には輝度信号作成回路１０９の出力であるＹ信号（輝度信号）が入力され１ライン画素積算部２０１に入力される。１ライン画素積算部２０１はフィールド画像の１水平ラインの画素の輝度値を積算し、平均値算出部２０２に入力する。平均値算出部２０２では１ライン画素積算部２０１の出力から１ライン毎に積算された輝度値の平均値を算出する。この平均値は垂直ラインのアドレスとともに平均値メモリ２０４と差分検出部２０５に出力する。平均値メモリ２０４はＲ／Ｗ制御部２０３で読み出し／書き込み制御されながら１フィールド前の１ライン毎の平均値を読み出して差分検出部２０５に出力し、新たな平均値算出部２０２の出力を平均値メモリ２０４に記憶する。差分検出部２０５は１ライン毎の平均値について現在のフィールドの値と１つ前のフィールドとの差分を検出する。この差分は比較器２０６で比較して所定基準値以上のときフラッシュ有りと判別する。比較器２０６の出力はフラッシュ有りと判定した情報信号を境界線検出部２０７に入力し、フラッシュ有りと判定された領域と通常領域との境界線位置のライン番号を検出して、フラッシュ有り情報とそのライン番号情報とを情報信号とを出力する。この出力はメモリ処理回路１０１，１０４及び１０７と黒線処理回路１０２，１０５及び１０８へ出力する。
【００３２】
さらに、比較器２０６について説明すると、比較器２０６がフラッシュ有りと判定した画像は高輝度画像であるので、通常画像の前フィールド画像と比較して差分量が所定値以上となり、これによってフラッシュ有りと判定することができる。また、差分量が所定基準値以上となるのは、比較器２０６により現在のフィールド画像と１フィールド前の画像との比較において、輝度の変化が低→高の場合と、高→低の場合とがある。比較器２０６は、ＣＭＯＳ撮像素子の順次露光方式では画面上側から下側へと行われる場合、低→高の輝度変化をフラッシュ有りと判別する。一度、フラッシュ有りと判別した場合には、連続して次のフィールドでも画面上側が同じフラッシュ有り判定となるが、連続して２回フラッシュ有りの場合には、最初にフラッシュ有りと判定した場合のみ一連の画像入れ換えの制御トリガーとする。また、フラッシュ有りのときは境界線検出部２０７にてそのライン番号をＲ／Ｗ制御部２０３から得て、フラッシュ有りの出力（フラッシュトリガ信号）と共に垂直ライン番号を境界線の情報信号として出力端子２０８から出力する。なお、境界線とは同一フィールド画像内において、フラッシュ発光の影響を受けた領域とフラッシュ発光の影響を受けていない通常画像の領域との境界部のことであり、フィールド画像の水平ラインのライン番号として出力する。
【００３３】
次に、図３を参照しメモリ処理回路１０１，１０４及び１０７を説明する。メモリ処理回路１０１，１０４及び１０７は、図３のブロック図で示したように、入力端子３００と、フィールドメモリによる構成とした画像メモリ３０１，３０２と、メモリ転送制御部３０４と、出力端子３０３及び入力端子３０５とから構成される。画像メモリ３０１，３０２は、メモリ転送制御部３０４によって制御され、画像メモリ３０１に入力された画像が画像メモリ３０２へと順次転送され、黒線処理回路へと出力される。画像メモリ３０１には最新のフィールド画像が記憶され、画像メモリ３０２にはその直前のフィールド画像が記憶される。また、メモリ転送制御部３０４はフラッシュ発光のない通常画像を順次転送する制御機能を備え、かつフラッシュ発光した際のフラッシュ有りの一フィールド画像がフラッシュ発光のない画像領域とフラッシュ有り画像領域とからなる場合、フラッシュ有無の情報信号に基づいて、フラッシュ発光のない画像領域とフラッシュ有り画像領域との画像入れ換える制御を行う機能とを有している。
【００３４】
以下、メモリ転送制御部３０４における入れ換え制御機能について図５を参照して説明する。先ず、図５を参照し簡単に画像入れ換え制御について説明する。同図において、フィールド画像Ｆ（Ｔ１ ）はフラッシュ発光のない通常画像であり、フィールド画像Ｆ（Ｔ２ ）は撮像中にフラッシュが発光した際のフラッシュ有りの画像である。メモリ転送制御部３０４は、画像メモリ３０１に記憶されたフィールド画像Ｆ（Ｔ２ ）に対して、フラッシュ処理回路１１０からの情報信号（フラッシュ有無の情報信号）に基づいて、メモリ転送制御回路３０４が画像領域を入れ換える制御処理を行って、入れ換え制御をした画像Ｇ（Ｔ２ ）が画像メモリ３０２に記憶される。なお、図５において、各画像の破線で水平に書かれている位置がフラッシュ発光により生じた輝度境界線を示し、この輝度境界線の位置はフラッシュ処理回路１１０からフラッシュ有無の情報信号と共に水平ラインのライン番号の情報信号が付加されてメモリ転送制御回路３０４に与えられる。
【００３５】
さらに、図５を参照してメモリ処理回路１０１，１０４及び１０７における画像メモリ３０１，３０２間の転送制御の際の入れ換え制御処理について詳細に説明する。なお、同図のフィールド画像Ｆ（Ｔ１ ）〜Ｆ（Ｔ４ ）はメモリ処理回路１０１への入力画像であって、画像メモリ３０１の時系列遷移を表すものであり、出力画像Ｇ（Ｔ１ ）〜Ｇ（Ｔ４ ）は画像メモリ３０１から画像メモリ３０２に転送された画像を時系列遷移で表したものであり、タイミングＴ１ 〜Ｔ４ における画像メモリ３０１，３０２のフィールド画像を示している。
【００３６】
タイミングＴ１ において、画像メモリ３０１に入力画像Ｆ（Ｔ１ ）が読み込まれた場合、フラッシュ処理回路１１０はフラッシュ無しとする情報信号をメモリ処理回路１０１，１０４及び１０７に出力しており、メモリ転送制御部３０４はその情報信号に基づき入力画像Ｆ（Ｔ１ ）をそのまま画像メモリ３０２へと転送し、画像メモリ３０２の内容は出力画像Ｇ（Ｔ１ ）となる。画像メモリ３０２はフラッシュ発光の無い出力画像Ｇ（Ｔ１ ）であり、出力画像Ｇ（Ｔ１ ）がメモリ転送制御部３０４に基づいて次段の黒線処理回路へと出力される。なお、便宜上、タイミングＴ１ における画像メモリ３０１の入力画像Ｆ（Ｔ１ ）は通常画像ｆ１ （Ｔ１ ），ｆ２ （Ｔ１ ）と表し、画像メモリ３０２の出力画像Ｇ（Ｔ１ ）を画像ｆ１ （Ｔ１ ），ｆ２ （Ｔ１ ）と表している。
【００３７】
続いて、タイミングＴ２ において、画像メモリ３０１に新たな画像が転送されて読み込まれ、この画像はフラッシュ有りの入力画像Ｆ（Ｔ２ ）である。画像メモリ３０１の入力画像Ｆ（Ｔ１ ）は通常画像ｆ１ （Ｔ２ ）とフラッシュ画像ｆ２ （Ｔ２ ）とから１フィールド画像を構成している。タイミングＴ１ におる画像メモリ３０１の入力画像Ｆ（Ｔ１ ）はフラッシュ発光の無い入力画像Ｆ（Ｔ１ ）であるのに対し、タイミングＴ２ におる画像メモリ３０１の画像はフラッシュ有りの入力画像Ｆ（Ｔ２ ）であるので、フラッシュ処理回路１１０は、フラッシュ有りの情報信号をメモリ転送制御部３０４に与えており、タイミングＴ２ において、この情報信号に基づいてメモリ転送制御部３０４はメモリ入れ換え制御処理を開始する。タイミングＴ２ におけるメモリ入れ換え制御は、画像メモリ３０１から画像メモリ３０２への画像転送は、画像メモリ３０１の入力画像Ｆ（Ｔ２ ）から通常画像ｆ１ （Ｔ２ ）のみが画像メモリ３０２に転送される。従って、画像メモリ３０２には画像メモリ３０１から転送された画像ｆ１ （Ｔ２ ）とタイミングＴ１ の画像である通常画像ｆ２ （Ｔ１ ）との組み合わされた出力画像Ｇ（Ｔ２ ）となる。画像メモリ３０２の出力画像Ｇ（Ｔ２ ）はメモリ転送制御部３０４による制御によって、次段の黒線処理回路へと出力される。そして、その直後に画像メモリ３０１のｆ２ （Ｔ２ ）のみを画像メモリ３０２へ転送する。
【００３８】
次のタイミングＴ３ において、画像メモリ３０１には入力画像Ｆ（Ｔ３ ）が転送されて読み込まれ、入力画像Ｆ（Ｔ３ ）はフラッシュ発光の影響を受けているフラッシュ画像ｆ１ （Ｔ３ ）と影響を受けていない通常画像ｆ２ （Ｔ３ ）とによる１フィールド画像を構成している。メモリ転送制御部３０４は、既にタイミングＴ２ において、入力画像Ｆ（Ｔ２ ）の画像に対してフラッシュ有りの情報信号を受けているので、タイミングＴ３ の画像メモリ３０１のフラッシュ画像ｆ１ （Ｔ３ ）のみを画像メモリ３０２へと転送する。画像メモリ３０２はフラッシュ画像ｆ１ （Ｔ３ ）とフラッシュ画像ｆ２ （Ｔ２ ）とによる出力画像Ｇ（Ｔ３ ）となり、次段へと出力される。
【００３９】
続いて、タイミングＴ４ において、画像メモリ３０１には新たにフラッシュ発光のない入力画像Ｆ（Ｔ４ ）が読み込まれ、この入力画像Ｆ（Ｔ４ ）に対して、フラッシュ処理回路１１０はフラッシュ無しとする情報信号を出力しており、メモリ転送制御部３０４は、この情報信号を取得して画像メモリ３０１の入力画像Ｆ（Ｔ４ ）をそのまま画像メモリ３０２に転送し、画像メモリ３０２は出力画像Ｇ（Ｔ４ ）が読み込まれる。このようにフラッシュ発光が無い場合には単なるフィールド画像メモリとなり、入力された画像を上述のような画像入れ換える処理をすることなく、そのまま画像メモリの内容を次段に出力する。
【００４０】
次に、黒線処理回路１０２，１０５及び１０８の詳細について図４を参照し説明する。同図において、４００はメモリ処理回路からの出力を受ける入力端子であり、４０１はフラッシュ処理回路からの出力を受ける入力端子、４０２は画像メモリ、４０３は平均化フィルタ部（バイパス有り）、４０４は位置探索処理部、４０５は隠蔽処理部、及び４０６は出力端子である。
【００４１】
上記黒線処理回路４０５の動作について説明すると、入力端子４００はメモリ処理回路１０１、１０４及び１０７からの出力を入力し、入力端子４０１はフラッシュ処理回路１１０からの出力を入力する。画像メモリ４０２は隠蔽処理のための１フィールド記憶する。図５では出力画像Ｇ（Ｔ２ ）又はＧ（Ｔ３ ）が隠蔽処理の対象となる画像である。位置探索処理部４０４はフラッシュ処理回路１１０からフラッシュ有り信号と境界線のライン番号（アドレス）とを情報信号として取得する。
【００４２】
位置探索処理部４０４は、例えば、フラッシュ有り信号と境界線の水平ラインのライン番号（アドレス）２００の情報信号を取得する。位置探索処理部４０４は、この情報信号に基づいて、画像メモリ４０２に入れ換え制御処理が行われた画像を画像メモリ４０２に記憶するように転送制御した後、この画像から黒線（低輝度部分）位置を探索する。画像入れ換え制御処理が行われた画像は、フラッシュ有りとしてメモリ処理回路によってフラッシュ発光の境界線を境にして画像の入れ換え処理が行われた画像であり、この境界線に黒線（低輝度部分）位置が発生し易い。画像の入れ換え処理が行われた画像とは図５の出力画像Ｇ（Ｔ３ ）の高輝度画像である。位置探索処理部４０４が、情報信号に基づいて、境界線番号２００を取得した後、画像メモリ４０２に記憶してある画像の境界線番号を中心として任意の上下線ラインで判定する。例えば、上下３ラインで黒線を判定する。即ち、境界線番号が２００であるので、位置探索処理部４０４は、１９７〜２０３ラインの間に含まれる画素に対して、垂直方向の画素の輝度値が最小となる画素のライン番号を水平方向全部の画素の輝度値から探索する。
【００４３】
次いで、図６を参照して位置探索処理部４０４の説明をする。図６は画像メモリ４０２のフィールド画像の要部を示し、例えば、図６にて水平方向の１０画素目で垂直方向の画素の輝度値を比較するものとし、ライン番号順に、輝度値が、２５０，２４０，２４５，２５０，３０，２３５及び２４０であったとすると、輝度値が最小である３０の値のライン番号２０１が探索できる。この処理を水平方向の全画素に対して行って統計処理を行い、最小となる画素が最も多いライン番号を黒線発生エリア（黒線位置）と定める。位置探索処理部４０４は、図６の斜線で示したライン番号２０１を黒線位置として隠蔽処理部４０５へ出力し、隠蔽処理部４０５ではこの黒線発生エリアを隠蔽処理するように制御する。
【００４４】
次に、隠蔽処理部４０５について図７を参照し説明する。図７は黒線隠蔽処理に必要な領域を示しており、ライン番号等は図６を準用する。図７に示すように、黒線隠蔽処理領域は、黒線発生エリア（黒線位置）のライン番号２０１を中心として、例えば垂直方向に上３ライン及び下３ラインであり、かつ黒線発生エリアの処理対象画素を中心として水平方向５画素の範囲を黒線隠蔽処理領域とする。この黒線隠蔽処理領域内の全ての画素を対象として局所演算領域を定める。黒線隠蔽処理に当たり、局所演算領域の局所演算中心と任意の大きさの局所演算領域を図７のように設定する。局所演算領域を設定した後、局所演算領域内の画素の平均値を局所演算中心の画素の画素値として算出する。平均化されたそれぞれの画素値に対して、輝度値を基準に上位１／３に該当する画素の画素値の平均値を黒線領域の置換画素値として置き換える。または、この黒線隠蔽処理に当たって、局所演算領域内で輝度値が最大値である画素の画素値を黒線領域の画素値として置き換えるようにしてもよい。なお、黒線隠蔽処理領域の範囲は任意で構わないが、局所演算領域の黒線隠蔽処理領域を超えない範囲であるものとする。置き換え処理終了後、位置探索処理４０４に対して処理が終了したことを送付して黒線が他にないか否かを探索する。探索終了については、例えば、条件として任意の規定回数を繰り返した場合や、ライン毎に輝度値が最小としてカウントされた画素数をそれぞれ比較した場合、若しくは最小のカウント数とその他のラインのカウント数の平均値との割合が一定値以下になった場合に探索終了とする。
【００４５】
平均化フィルタ４０３は、黒線隠蔽処理が終了した後の高輝度画像（図５の出力画像Ｇ（Ｔ３ ））に対して、例えば、３×３の平均化フィルタを掛ける。処理対象画素を３×３の領域の中心として他の画素の平均値で置き換える。これは輝度が上昇している場合の入れ換え後の画像には境界線部分には、入れ換え処理により異なるフィールドの画像を組み合わせたことによる境界線部分での輪郭の不整合や黒線隠蔽処理の平均化処理を主な発生理由とする偽像が発生する。この偽像を目立たないようにするためである。なお、平均化フィルタの処理対象画素の範囲の大きさは任意に設定できるものとし、また、平均化フィルタ処理は選択的に実行できるものとする。
【００４６】
次に、本発明の撮像信号処理方法の一実施例の制御フローについて、図８のフローチャートを参照し説明する。本実施例の制御フローは図１の撮像信号処理装置の黒線処理回路１０２，１０５，１０８、輝度信号作成回路１０９及びフラッシュ処理回路１１０を演算処理装置（プロセッサ）を使用して処理する場合の実施例であり、撮像信号はＣＭＯＳ撮像素子から得られ、各ＣＭＯＳ撮像素子から出力されるＲＧＢ３チャンネル撮像信号を例として説明する。演算処理装置（プロセッサ）には撮像信号処理方法の制御フローを構成するための輝度信号作成手段、平均輝度値算出手段、差分処理手段、平均輝度値記憶手段、比較手段によるフラッシュ有無判定手段、画像入れ換え処理手段、黒線隠蔽処理手段、及び平均化フィルタ処理手段の各制御機能を有する。
【００４７】
ＲＧＢ３チャンネル撮像信号が入力信号としてプロセッサに入力される。このプロセッサによる制御フローは、ステップ８０（Ｓ８０）からステップ８７（Ｓ８７）からなる。先ず、ステップ８０（Ｓ８０）では、輝度信号作成手段によって、撮像信号の規格を認識した後、ＲＧＢ３チャンネルの場合、入力された各撮像信号から画素毎に輝度成分を算出する。輝度成分の算出式は、先に説明した輝度信号作成回路（輝度信号作成手段）１０９に基づくものである。また、入力信号がＹＰｂＰｒ３チャンネルの撮像信号の場合は輝度信号作成手段による演算処理を行うことなく、Ｙ信号をそのまま輝度成分として出力する。続いて、ステップＳ８１に進む。
【００４８】
ステップ８１（Ｓ８１）では、平均輝度値算出手段によって、ステップ８０で算出した画素毎の輝度成分に対して１水平ライン毎の輝度値の平均値を平均輝度値として算出する。平均輝度値算出手段では、輝度値の平均値の算出は１水平ライン毎に画素の輝度値を積算し、１水平ラインを構成している画素数にて積算輝度値を除算することにより算出する。続いて、ステップＳ８２に進む。
【００４９】
ステップ８２（Ｓ８２）では、差分処理手段によって、ステップ８１で算出した１水平ライン毎の輝度値の平均値との差分を、時系列で隣り合うフィールド画像間の垂直ラインの位置（アドレス）が同位置となるところについて算出し、ステップ８３（Ｓ８３）に進む。なお、ステップ８１では、フィールド画像毎に各水平ラインの輝度値の平均値を記憶しているので、ステップ８２（Ｓ８２）では、前フィールド画像の１水平ライン毎の平均値を読み出して水平ライン毎について差分演算を行っている。
【００５０】
ステップ８３（Ｓ８３）では、平均輝度値記憶手段によって、ステップ８１で算出した１水平ライン毎の輝度値の平均値を記憶する。
【００５１】
ステップ８４（Ｓ８４）では、フラッシュ有無判定手段によって、ステップ８２で算出したフィールド画像間の水平ライン毎の輝度値の平均値の差分値と所定基準値との比較を行い、フラッシュ有りか否かを判定する。フラッシュ無しの場合は、画像入れ換え処理を行わないでこのステップを終了し、フラッシュ有りの場合は、ステップ８５（Ｓ８５）に進み、図５で説明したように、画像入れ換え処理手段によって、画像入れ換え処理を実行し、画像データの記憶領域の更新処理を行って、ステップ８６（Ｓ８６）に進む。
【００５２】
ステップ８６（Ｓ８６）では、黒線隠蔽処理手段によって、黒つぶれした境界線部分の黒線隠蔽処理を実行し、図６及び図７にて説明した隠蔽処理を行う。続いて、ステップ８７（Ｓ８７）に進む。
【００５３】
ステップ８７（Ｓ８７）では、平均化フィルタ処理手段によって、平均化フィルタ処理を実行し、黒線隠蔽処理後の画像に対して平均化フィルタ処理を行って、終了する。この平均化フィルタ処理はフィールド画像毎にスキップ処理が可能であるものとする。このステップを実行することで、黒線隠蔽処理後の画像の違和感が生じないないようにし、画像処理した各ＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルの各撮像信号が次段へと出力される。
【００５４】
以上が本発明に係る撮像信号処理方法の一実施例の処理フローである。なお、この処理フローは種々の変形態様が実施可能であり、例えば、本実施例では、画像メモリを時系列で隣り合うフィールド画像に対応するように設けたが、大容量のメモリを使用する場合はメモリを分割して使用することができ、本実施例に限定されるものではない。
【産業上の利用可能性】
【００５５】
本発明は、ローリングシャッタ方式のＣＭＯＳ撮像素子を使用した放送用テレビジョンカメラ装置で撮像された映像に対して編集する場合に有用である。
【符号の説明】
【００５６】
１００ Ｒ（Ｐｒ）チャンネル入力端子
１０１ Ｒ（Ｐｒ）チャンネル用メモリ処理回路
１０２ Ｒ（Ｐｒ）チャンネル用黒線処理回路
１０３ Ｇ（Ｙ）チャンネル入力端子
１０４ Ｇ（Ｙ）チャンネル用メモリ処理回路
１０５ Ｇ（Ｙ）チャンネル用黒線処理回路
１０６ Ｂ（Ｐｂ）チャンネル入力端子
１０７ Ｂ（Ｐｂ）チャンネル用メモリ処理回路
１０８ Ｂ（Ｐｂ）チャンネル用黒線処理回路
１０９ 輝度信号作成回路
１１０ フラッシュ処理回路
１１１〜１１３ チャンネルの出力端子
２００ 入力端子
２０１ １ライン画素積算部
２０２ 平均値算出部
２０３ Ｒ／Ｗ制御部
２０４ 平均値メモリ
２０５ 差分検出部
２０６ 比較部
２０７ 境界線検出部
２０８ 出力端子
３００，３０５ 入力端子
３０１，３０２ 画像メモリ
３０３ 出力端子
３０４ メモリ転送制御部
４００ メモリ処理回路
４０１ フラッシュ処理回路
４０２ 画像メモリ
４０３ 平均化フィルタ部
４０４ 位置探索処理部
４０５ 隠蔽処理部
４０６ 出力端子
【技術分野】
【０００１】
本発明は、ローリングシャッタ方式のＣＭＯＳ撮像素子を用いたテレビカメラ装置によって撮影された撮像画像を画像処理してフラッシュ発光による影響を排除する撮像信号処理回路及びその撮像信号処理方法に関する。
【背景技術】
【０００２】
放送局で使用するテレビカメラは、ＣＣＤ（charge coupled device）撮像素子に代わり、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ（以下、ＣＭＯＳ撮像素子と称する）を使用したテレビカメラが主流となりつつある。ＣＭＯＳ撮像素子には、電子シャッタの相違により、ローリングシャッタ方式とグローバルシャッタ方式とがある。ローリングシャッタ方式は水平ライン毎に露光タイミングが異なり、露光条件等をリセット処理しながら順次露光する露光方式で、グローバルシャッタ方式は露光タイミングが全水平ライン同時に処理する方式である。コスト的にはローリングシャッタ方式が安価であるのに対して、グローバルシャッタ方式は高価であるため、一般にローリングシャッタ方式を使用している。
【０００３】
ローリングシャッタ方式のＣＭＯＳ撮像素子を使用したテレビカメラで撮影した撮像画像では、撮像画像の中にフラッシュやストロボ等の非常に発光期間の短い照明成分が入力されると、画面内の一部分にフラッシュ発光の影響により輝度が上昇した後に露光される部分と、フラッシュ発光の影響を受けていない時に露光された部分とが同一フィールド画像内で共存する状態となり、画像内に帯状の輝度差が生じることがある。このような現象はフラッシュバンドと呼ばれ、順次露光方法に起因しており、グローバルシャッタ方式の場合には発生しない現象である。
【０００４】
図９は撮像画像を時系列に示してローリングシャッタ方式とグローバルシャッタ方式との相違を図示したものであり、フラッシュの発光があると、その撮像画像はローリングシャッタ方式の場合、撮像画像にフラッシュバンドが時系列で隣り合う二画面に発生するのに対し、グローバルシャッタ方式の場合はフラッシュの発光により輝度が上昇して画像全体が影響を受けるので、フラッシュバンドが発生しない。
【０００５】
図９から明らかなように、撮像画像にフラッシュ発光による高輝度部分によるフラッシュバンド現象が発生すると、画像として見づらくなり、好ましいものではない。そこで、本願出願人は、特開２００９−２８４１９９号公報で開示したように、テレビカメラで撮像した画像データとともにフラッシュに関する情報を作成して記録し、その後のスタジオ等での編集を容易とすることができる記録媒体を有するテレビカメラを提案した。図１０を参照し本出願人による従来のテレビカメラ装置について説明する。
【０００６】
図１０のテレビカメラ装置は、固体撮像素子１からの映像信号を処理する映像系ＤＳＰ（Digital Signal Processer）２と、映像系ＤＳＰ２の出力信号に静止画カメラのフラッシュ映像が含まれているか否かを検出し、含まれている場合はフラッシュ有りとするトリガ信号を発生し、そのフラッシュに関するデータを出力するフラッシュ判別回路３と、フラッシュ判別回路３からのトリガ信号により、映像系ＤＳＰ２の出力映像データのフラッシュに関するデータを作成し、出力映像データと共に記録制御するＣＰＵ４と、ＣＰＵ４からの出力を記録する記録媒体５とを具えており、記録媒体５に記録したフラッシュに関するデータを参照し編集作業が手作業で行うことができる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２８４１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来のテレビカメラ装置において、ローリングシャッタ方式のＣＭＯＳ撮像素子を使用した場合、水平ライン毎に露光タイミングの異なる順次露光方式であるため、撮影中にフラッシュが発生すると、図９で示したように、画像の途中でそのフィールド画像が高輝度画像となり、次のフィールドにも影響を与えて途中までが高輝度でその後元のフラッシュ発光の影響を受けない画像に戻る現象が生じる。このフラッシュの影響による高輝度状態にある画像は、フラッシュ発光が発生したフィールド画像の高輝度領域と、次のフィールド画像の高輝度領域の画像を加えると丁度１フィールド分となる。このようにフィールド画像間に跨る高輝度領域が存在すると、動画で見た場合には一画面内で輝度が異なる画像が存在することになり、違和感を覚えるといった問題点があった。
【０００９】
また、フラッシュが発生した場合、フラッシュ発光の影響を受けた高輝度画像からフラッシュ発光の影響を受けていない通常撮影の画像に変化する境界部分に黒つぶれが発生する。同様に高輝度画像から突然低輝度画像へと変化する場合にも黒つぶれが発生する。この黒つぶれは、１水平ライン毎に露光時間を設定し、リセット処理して設定しいるため光強度の急激な変化に対応できず、光量不足となり黒つぶれが発生する。この黒つぶれは撮像画像中の低輝度領域とその周囲にある高輝度部分との輝度値を比較して極端な差があると発生し黒線のような画像となり、その映像は違和感を覚えるといった問題点があった。現在は、このような高輝度な撮像画像を取得した場合、手作業による編集作業によって画像を直して放送に使用しているのが現状であり、手間が掛かるものであった。
【００１０】
本発明は、上記課題に鑑みてなされたものであって、フラッシュ等の影響により撮像画像に対して手作業の編集作業によらずに撮像信号処理回路内で画像処理をすることにより違和感のない画像を出力することが可能な撮像信号処理回路及びその撮像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上記課題を達成したものであって、請求項１の発明は、撮像装置における撮像信号処理回路において、
入力されたＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルからの撮像信号を時系列的に最新の画像とその直前の画像との少なくとも２画面分を記憶する３チャンネルの画像メモリとを具え、前記３チャンネルの画像メモリの出力から撮影時にフラッシュが発生したときのみ該画像メモリの画像を入れ換え処理を行う３つのメモリ処理回路と、
前記メモリ処理回路の出力の中でフラッシュの発光の影響により全体の輝度値が上昇している画像領域に対して、その境界部付近に存在する輝度の低い部分である黒線を隠蔽処理する３つの黒線処理回路と、
入力信号としＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルの各撮像信号が入力され、該入力信号がＲＧＢ３チャンネルの場合、輝度信号を作成し、ＹＰｂＰｒ３チャンネルの場合、Ｙ信号を輝度信号とする輝度信号作成回路と、
該輝度信号作成回路の出力に対して撮影時に前記フラッシュが発生したか否かを判別し、かつ該フラッシュが発生した画像におけるフラッシュ発光による輝度値の急激な上昇をしている部分を境界線として検出し前記メモリ処理回路と前記黒線処理回路とに対して制御情報を与えるフラッシュ処理回路とを具えることを特徴とする撮像信号処理回路である。
【００１２】
また、請求項２の発明は、請求項１に記載の撮像信号処理回路において、
前記フラッシュ処理回路は、同一フィールドの撮像信号において、
１水平ライン毎に画素の輝度値を積算する画素積算部と、
該画素積算部の平均値を積算する平均値算出部と、
１フィールドのライン毎の平均値を記憶する平均値メモリと、
前記平均値メモリの任意のアドレスに対して読み出し又は書き込み制御を行うＲ／Ｗ制御部と、
前記平均値算出部の出力と前記平均値メモリから読み出される１フィールド前の垂直位置に対応する水平ラインの平均値との差を検出する差分検出部と、
前記差分検出部の出力を所定基準値と比較する比較部と、
前記比較部の比較の結果、前記差分値が前記所定基準値以上のときフラッシュ有りと判断してそのときの垂直ライン番号を前記Ｒ／Ｗ制御部より得てフラッシュトリガ信号と前記垂直ライン番号を境界線として出力する境界線検出部とからなることを特徴とする撮像信号処理回路である。
【００１３】
また、請求項３の発明は、請求項１に記載の撮像信号処理回路において、
前記メモリ処理回路は、
前記フラッシュ処理回路によるフラッシュ有りとする制御信号に基づいて、前記少なくとも２つの画像メモリのそのフラッシュ発生位置に応じたメモリ内容を入れ換えるメモリ転送制御部を具えることを特徴とする撮像信号処理回路である。
【００１４】
また、請求項４の発明は、請求項１に記載の撮像信号処理回路において、
前記黒線処理回路は、前記メモリ処理回路の出力画像を記憶する画像メモリと、
前記画像メモリに記憶されている画像に前記黒線があるか否かを検出し、ある場合にはその位置を特定し、前記隠蔽処理部に対して隠蔽処理を行うように制御する位置探索処理部と、
前記画像メモリに記憶されている画像が処理対象画像のときに所定領域の画素演算により算出した画素値に置換して前記黒線を隠蔽する処理を行う隠蔽処理部と、
前記隠蔽処理終了画像に対して平均化フィルタ処理を行う平均化フィルタ部とからなることを特徴とする撮像信号処理回路である。
【００１５】
また、請求項５の発明は、撮像装置における撮像信号処理方法において、
ＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルの撮像信号から輝度成分算出手段により輝度成分を算出するステップと、
前記輝度成分の同一フィールドにおける水平ライン毎の平均値を平均輝度値算出手段により算出して記憶し、前記平均値と直前のフィールドにおける垂直位置が同位置となる水平ライン毎の平均値の差分値を差分処理手段により算出し、その差分値を所定基準値とを比較手段により比較して前記撮像信号にフラッシュが発光したことによる輝度変化が含まれるか否かをフラッシュ判定手段により判別するステップと、
ＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルの撮像信号を記憶し、前記フラッシュが含まれるときに、前記撮像信号の一部の画像入れ換え処理を画像入れ換え処理手段により行うステップと、
前記画像入れ換え処理を行った撮像信号の境界部分に対して、前記境界に存在する黒線を黒線隠蔽処理手段により隠蔽処理するステップと、
前記黒線隠蔽処理を行った撮像信号に対して、選択的に平均化フィルタ処理手段を適用するステップとを具えることを特徴とする撮像信号処理方法である。
【発明の効果】
【００１６】
請求項１の発明によれば、撮像信号がＲＧＢ信号又はＹＰｂＰｒ信号を問わずにフラッシュ発光によるフラッシュバンド現象による違和感を有する画像を自動的に画像処理することが可能である利点がある。また、撮像画像中にフラッシュが発光したか否かの判定を撮像信号の輝度信号により判定しており、ＲＧＢ信号が入力すると、輝度信号作成回路により自動的に輝度信号を作成することができるし、ＹＰｂＰｒ信号の場合はＹ信号を輝度信号とするので、回路構成がコンパクトにとなる利点がある。また、ＲＧＢ信号又はＹＰｂＰｒ信号入力に対して、３チャンネル同時に処理して出力することによりチャンネル間での遅延を生じないという効果を有する。また、各フィールド画像間に跨るフラッシュ発光領域を一フィールド画像に自動的集約することができ、集約したフラッシュ画像を編集において自動的にカットすることが可能であり、極めて有効である。さらに、撮像信号がローリングシャッタ方式のＣＭＯＳ撮像素子からの出力であってもフラッシュバンド現象が発生したときに画像処理により容易に編集処理できる利点がある。
【００１７】
また、請求項２の発明によれば、水平ライン毎の輝度値の平均値でフラッシュ判定を行うことによりフィールド毎の平均値メモリも小容量なメモリで構成することができ、コンパクトで安価に構成することが可能である。また、フィールド画像間の同じ垂直ライン番号と水平ライン番号とにより特定領域の画素における輝度値を演算処理することができるので、処理時間を短縮することができる利点がある。
【００１８】
また、請求項３の発明によれば、メモリ転送制御部がフラッシュ処理回路からの制御信号によって制御されており、入力信号３チャンネルに対応して接続された３つの画像メモリによりデータ転送が同一の領域を同一タイミングで転送処理することができるため、個々に転送処理領域を設定する必要がなく、全体としてシンプルな構成となる利点がある。
【００１９】
また、請求項４の発明によれば、黒つぶれとなる黒線を周辺領域の平均画素値で隠蔽するため、黒線が確実に目立たなくなり、画像の入れ換えによる違和感を解消することができる利点がある。なお、平均化フィルタ処理はバイパス可能な構成とすることは容易であるので、黒線隠蔽処理の影響による画像の入れ換え境界部付近での置換処理の程度を容易に調整することが可能であり、違和感の低減を計ることができる。
【００２０】
また、請求項５の発明によれば、フラッシュ発光による撮像画像をプロセッサにより判別して画像処理により編集処理が可能な撮像信号処理方法であり、その基本的処理概念は回路の場合と同様であって、ローリングシャッタ方式のＣＭＯＳ撮像素子からＲＧＢ信号やＹＰｂＰｒ信号が入力されたとしても自動的に撮像信号の種別を判別して輝度信号を作成し、フラッシュが発光したか否かの判定を輝度信号の輝度値によって実施し、輝度値からフラッシュ有無を判定し、フラッシュバンドが発生する境界領域の水平ライン番号を情報信号として伝達して画像入れ換え処理を実行しており、ＲＧＢ信号やＹＰｂＰｒ信号であっても区別することなく、自動的に編集処理ができる利点がある。
【図面の簡単な説明】
【００２１】
【図１】本発明に係る撮像装置における撮像信号処理回路の一実施例を示すブロック図である。
【図２】本実施例のフラッシュ処理回路の詳細なブロック図である。
【図３】本実施例のメモリ処理回路の詳細なブロック図である。
【図４】本実施例の黒線処理回路の詳細なブロック図である。
【図５】本実施例のメモリ処理回路の説明図である。
【図６】図４の黒線処理回路における位置探索部の説明図である。
【図７】図４の黒線処理回路における隠蔽処理部の説明図である。
【図８】本発明に係る撮像信号処理方法に関するフローチャート図である。
【図９】ＣＭＯＳ撮像素子のシャッタに関する動作説明図である。
【図１０】従来のテレビカメラ装置のブロック図である。
【発明を実施するための形態】
【実施例】
【００２２】
以下、本発明に係る撮像装置における撮像信号処理回路及び撮像信号処理方法の実施例について図面を参照し説明する。先ず、本実施例の撮像信号処理回路について図１を参照し説明する。本実施例の撮像信号処理回路は、テレビカメラ装置或いはビデオカメラ装置等の撮像装置に備えられたＣＭＯＳ撮像素子からの撮像信号を信号処理し、フラッシュ発光による影響により撮像画像に発生するフラッシュバンド現象を解消するための撮像信号処理回路であり、殊に、ローリングシャッタ方式によるＣＭＯＳ撮像素子からの撮像信号に対して適したものである。また、本実施例はＲＧＢ信号やＹＰｂＰｒ信号による撮像信号を対象とし信号処理する。
【００２３】
同図において、１００はＲ（Ｐｒ）チャンネル入力端子、１０１はＲ（Ｐｒ）チャンネル用メモリ処理回路、１０２はＲ（Ｐｒ）チャンネル用黒線処理回路であり、１０３はＧ（Ｙ）チャンネル入力端子、１０４はＧ（Ｙ）チャンネル用メモリ処理回路、１０５はＧ（Ｙ）チャンネル用黒線処理回路であり、１０６はＢ（Ｐｂ）チャンネル入力端子、１０７はＢ（Ｐｂ）チャンネル用メモリ処理回路、１０８はＢ（Ｐｂ）チャンネル用黒線処理回路である。１０９は輝度信号作成回路、１１０はフラッシュ処理回路であり、１１１〜１１３は各チャンネルのＲ出力（Ｐｒ），Ｇ出力（Ｙ），Ｂ出力（Ｐｂ）を出力する出力端子である。
【００２４】
Ｒ（Ｐｒ）チャンネル入力端子１００、Ｇ（Ｙ）チャンネル入力端子１０３、及びＢ（Ｐｂ）チャンネル入力端子１０６は撮像信号の入力端子であり、各入力端子１００，１０３、１０６にＣＭＯＳ撮像素子からの撮像信号（ＲＧＢ信号又はＹＰｂＰｒ信号）が入力されてＲ（Ｐｒ）チャンネル用メモリ処理回路１０１、Ｇ（Ｙ）チャンネル用メモリ処理回路１０４、及びＢ（Ｐｂ）チャンネル用メモリ処理回路１０７にそれぞれ入力されるとともに輝度信号作成回路１０９に入力される。また、各メモリ処理回路１０１，１０４，１０７の各出力信号は黒線処理回路１０２，１０５，１０８にそれぞれ入力される。また、輝度信号作成回路１０９の出力信号はフラッシュ処理回路１１０に入力され、それらの各出力信号が各メモリ処理回路１０１，１０４，１０７と黒線処理回路１０２，１０５，１０８にそれぞれ入力される。出力端子１１１，１１２，１１３からは信号処理された撮像信号（ＲＧＢ信号又はＹＰｂＰｒ信号）が出力される。
【００２５】
次に、本実施例の動作について詳細に説明する。ＣＭＯＳ撮像素子からの各撮像信号が入力端子１００，１０３及び１０６に入力され、これらのＲＧＢ信号又はＹＰｂＰｒ信号の３つの撮像信号を各チャンネルのメモリ処理回路１０１，１０４及び１０７と輝度信号作成回路１０９とにそれぞれ出力する。
【００２６】
メモリ処理回路１０１，１０４及び１０７はＲＧＢ信号の各信号による１フィールド画像を記憶して順次転送して黒線処理回路１０２，１０５及び１０８にそれぞれ出力するとともに、記憶した１フィールド画像中にフラッシュ発生によるフラッシュ画像領域が存在する場合はこのフラッシュ画像領域のフラッシュ画像をメモリ転送処理して１フィールド画像によるフラッシュ画像とし、このフラッシュ画像による１フィールド画像を記憶して出力する。また、１フィールド画像中のフラッシュ画像を除く正常な画像領域は直前の通常画像とを組み合わせて正常な１フィールド画像として記憶し出力する。その詳細については図３，図５を参照し後述する。これらの編集した出力は通常画像と同様に黒線処理回路１０２，１０５及び１０８に出力する。
【００２７】
黒線処理回路１０２，１０５及び１０８は、メモリ処理回路１０１，１０４及び１０７で作成した画像に対し、画像中に発生する黒つぶれを隠蔽処理して出力する回路である。その詳細については図４を参照し説明する。黒線処理回路１０２，１０５及び１０８にて黒線処理した撮像信号は各チャンネルの出力端子１１１，１１２及び１１３から撮像信号（ＲＢＧ信号）として出力する。
【００２８】
輝度信号作成回路１０９は、入力端子１００，１０３及び１０６からのＲＧＢ信号入力又はＹＰｂＰｒ信号入力に対して、ＲＧＢ信号入力の場合、Ｙ信号作成比率に基づいて輝度信号（Ｙ信号）を作成し、この出力はフラッシュ処理回路１１０へ出力する。Ｙ信号作成の比率は、例えば、ＮＴＳＣ規格ではＲ：Ｇ：Ｂ＝０．３：０．５９：０．１１であり、また、ハイビジョン規格ではＲ：Ｇ：Ｂ＝０．２１：０．７２：０．０７である。このようにＲＧＢ信号入力では各規格で定められた比率で輝度信号（Ｙ信号）の作成が行われる。また、ＹＰｂＰｒ信号入力の場合は、輝度信号作成回路１０９は入力映像信号のＹ信号をそのまま輝度信号として出力する。
【００２９】
フラッシュ処理回路１１０はフラッシュ発光が発生したか否かを判定すると同時にその境界線となる位置を検索してメモリ処理回路１０１，１０４及び１０７と黒線処理回路１０２，１０５及び１０８へと出力する。フラッシュ処理回路１１０の出力は、フラッシュ有りとした判定情報と、１フィールド画像において、フラッシュ発光により影響を受けた画像領域とフラッシュ発光の影響を受けていない画像領域との境界位置の位置情報であり、この境界線位置情報は、１フィールド画像の水平ライン位置を示すライン番号によるアドレス情報である。
【００３０】
フラッシュ処理回路１１０は、図２に示す機能ブロック図で示す構成であり、輝度信号作成回路１０９からの出力が入力端子２００に入力され、入力端子２００からの出力が１ライン画素積算部２０１に入力されて１ライン画素の輝度値が積算されて平均値算出部２０２に入力され、１ライン画素の輝度値の平均値が求められ、この平均値が１フィールド画像のアドレス（ライン番号）に対応して平均値メモリ２０４に記憶される。平均値メモリ２０４に記憶したデータは、読み出し／書き込み（Ｒ／Ｗ）制御部２０３が垂直ラインのアドレスにより読み出し／書き込み制御を行って、フィールド画像の時系列で隣接するフィールド画像間の１ライン毎の平均値を読み出して差分検出部２０５で平均値の差分値を算出し、その差分値を比較部２０６に入力して基準値と比較し、その比較結果に基づいて境界線位置を境界線検出部２０７で検出し、これらの情報信号（水平ライン番号）及びフラッシュ有無の情報信号を出力端子２０８から各メモリ処理回路１０１，１０４，１０７と黒線処理回路１０２，１０５，１０８に出力する。
【００３１】
続いて、フラッシュ処理回路１１０の動作について詳細に説明する。入力端子２００には輝度信号作成回路１０９の出力であるＹ信号（輝度信号）が入力され１ライン画素積算部２０１に入力される。１ライン画素積算部２０１はフィールド画像の１水平ラインの画素の輝度値を積算し、平均値算出部２０２に入力する。平均値算出部２０２では１ライン画素積算部２０１の出力から１ライン毎に積算された輝度値の平均値を算出する。この平均値は垂直ラインのアドレスとともに平均値メモリ２０４と差分検出部２０５に出力する。平均値メモリ２０４はＲ／Ｗ制御部２０３で読み出し／書き込み制御されながら１フィールド前の１ライン毎の平均値を読み出して差分検出部２０５に出力し、新たな平均値算出部２０２の出力を平均値メモリ２０４に記憶する。差分検出部２０５は１ライン毎の平均値について現在のフィールドの値と１つ前のフィールドとの差分を検出する。この差分は比較器２０６で比較して所定基準値以上のときフラッシュ有りと判別する。比較器２０６の出力はフラッシュ有りと判定した情報信号を境界線検出部２０７に入力し、フラッシュ有りと判定された領域と通常領域との境界線位置のライン番号を検出して、フラッシュ有り情報とそのライン番号情報とを情報信号とを出力する。この出力はメモリ処理回路１０１，１０４及び１０７と黒線処理回路１０２，１０５及び１０８へ出力する。
【００３２】
さらに、比較器２０６について説明すると、比較器２０６がフラッシュ有りと判定した画像は高輝度画像であるので、通常画像の前フィールド画像と比較して差分量が所定値以上となり、これによってフラッシュ有りと判定することができる。また、差分量が所定基準値以上となるのは、比較器２０６により現在のフィールド画像と１フィールド前の画像との比較において、輝度の変化が低→高の場合と、高→低の場合とがある。比較器２０６は、ＣＭＯＳ撮像素子の順次露光方式では画面上側から下側へと行われる場合、低→高の輝度変化をフラッシュ有りと判別する。一度、フラッシュ有りと判別した場合には、連続して次のフィールドでも画面上側が同じフラッシュ有り判定となるが、連続して２回フラッシュ有りの場合には、最初にフラッシュ有りと判定した場合のみ一連の画像入れ換えの制御トリガーとする。また、フラッシュ有りのときは境界線検出部２０７にてそのライン番号をＲ／Ｗ制御部２０３から得て、フラッシュ有りの出力（フラッシュトリガ信号）と共に垂直ライン番号を境界線の情報信号として出力端子２０８から出力する。なお、境界線とは同一フィールド画像内において、フラッシュ発光の影響を受けた領域とフラッシュ発光の影響を受けていない通常画像の領域との境界部のことであり、フィールド画像の水平ラインのライン番号として出力する。
【００３３】
次に、図３を参照しメモリ処理回路１０１，１０４及び１０７を説明する。メモリ処理回路１０１，１０４及び１０７は、図３のブロック図で示したように、入力端子３００と、フィールドメモリによる構成とした画像メモリ３０１，３０２と、メモリ転送制御部３０４と、出力端子３０３及び入力端子３０５とから構成される。画像メモリ３０１，３０２は、メモリ転送制御部３０４によって制御され、画像メモリ３０１に入力された画像が画像メモリ３０２へと順次転送され、黒線処理回路へと出力される。画像メモリ３０１には最新のフィールド画像が記憶され、画像メモリ３０２にはその直前のフィールド画像が記憶される。また、メモリ転送制御部３０４はフラッシュ発光のない通常画像を順次転送する制御機能を備え、かつフラッシュ発光した際のフラッシュ有りの一フィールド画像がフラッシュ発光のない画像領域とフラッシュ有り画像領域とからなる場合、フラッシュ有無の情報信号に基づいて、フラッシュ発光のない画像領域とフラッシュ有り画像領域との画像入れ換える制御を行う機能とを有している。
【００３４】
以下、メモリ転送制御部３０４における入れ換え制御機能について図５を参照して説明する。先ず、図５を参照し簡単に画像入れ換え制御について説明する。同図において、フィールド画像Ｆ（Ｔ１ ）はフラッシュ発光のない通常画像であり、フィールド画像Ｆ（Ｔ２ ）は撮像中にフラッシュが発光した際のフラッシュ有りの画像である。メモリ転送制御部３０４は、画像メモリ３０１に記憶されたフィールド画像Ｆ（Ｔ２ ）に対して、フラッシュ処理回路１１０からの情報信号（フラッシュ有無の情報信号）に基づいて、メモリ転送制御回路３０４が画像領域を入れ換える制御処理を行って、入れ換え制御をした画像Ｇ（Ｔ２ ）が画像メモリ３０２に記憶される。なお、図５において、各画像の破線で水平に書かれている位置がフラッシュ発光により生じた輝度境界線を示し、この輝度境界線の位置はフラッシュ処理回路１１０からフラッシュ有無の情報信号と共に水平ラインのライン番号の情報信号が付加されてメモリ転送制御回路３０４に与えられる。
【００３５】
さらに、図５を参照してメモリ処理回路１０１，１０４及び１０７における画像メモリ３０１，３０２間の転送制御の際の入れ換え制御処理について詳細に説明する。なお、同図のフィールド画像Ｆ（Ｔ１ ）〜Ｆ（Ｔ４ ）はメモリ処理回路１０１への入力画像であって、画像メモリ３０１の時系列遷移を表すものであり、出力画像Ｇ（Ｔ１ ）〜Ｇ（Ｔ４ ）は画像メモリ３０１から画像メモリ３０２に転送された画像を時系列遷移で表したものであり、タイミングＴ１ 〜Ｔ４ における画像メモリ３０１，３０２のフィールド画像を示している。
【００３６】
タイミングＴ１ において、画像メモリ３０１に入力画像Ｆ（Ｔ１ ）が読み込まれた場合、フラッシュ処理回路１１０はフラッシュ無しとする情報信号をメモリ処理回路１０１，１０４及び１０７に出力しており、メモリ転送制御部３０４はその情報信号に基づき入力画像Ｆ（Ｔ１ ）をそのまま画像メモリ３０２へと転送し、画像メモリ３０２の内容は出力画像Ｇ（Ｔ１ ）となる。画像メモリ３０２はフラッシュ発光の無い出力画像Ｇ（Ｔ１ ）であり、出力画像Ｇ（Ｔ１ ）がメモリ転送制御部３０４に基づいて次段の黒線処理回路へと出力される。なお、便宜上、タイミングＴ１ における画像メモリ３０１の入力画像Ｆ（Ｔ１ ）は通常画像ｆ１ （Ｔ１ ），ｆ２ （Ｔ１ ）と表し、画像メモリ３０２の出力画像Ｇ（Ｔ１ ）を画像ｆ１ （Ｔ１ ），ｆ２ （Ｔ１ ）と表している。
【００３７】
続いて、タイミングＴ２ において、画像メモリ３０１に新たな画像が転送されて読み込まれ、この画像はフラッシュ有りの入力画像Ｆ（Ｔ２ ）である。画像メモリ３０１の入力画像Ｆ（Ｔ１ ）は通常画像ｆ１ （Ｔ２ ）とフラッシュ画像ｆ２ （Ｔ２ ）とから１フィールド画像を構成している。タイミングＴ１ におる画像メモリ３０１の入力画像Ｆ（Ｔ１ ）はフラッシュ発光の無い入力画像Ｆ（Ｔ１ ）であるのに対し、タイミングＴ２ におる画像メモリ３０１の画像はフラッシュ有りの入力画像Ｆ（Ｔ２ ）であるので、フラッシュ処理回路１１０は、フラッシュ有りの情報信号をメモリ転送制御部３０４に与えており、タイミングＴ２ において、この情報信号に基づいてメモリ転送制御部３０４はメモリ入れ換え制御処理を開始する。タイミングＴ２ におけるメモリ入れ換え制御は、画像メモリ３０１から画像メモリ３０２への画像転送は、画像メモリ３０１の入力画像Ｆ（Ｔ２ ）から通常画像ｆ１ （Ｔ２ ）のみが画像メモリ３０２に転送される。従って、画像メモリ３０２には画像メモリ３０１から転送された画像ｆ１ （Ｔ２ ）とタイミングＴ１ の画像である通常画像ｆ２ （Ｔ１ ）との組み合わされた出力画像Ｇ（Ｔ２ ）となる。画像メモリ３０２の出力画像Ｇ（Ｔ２ ）はメモリ転送制御部３０４による制御によって、次段の黒線処理回路へと出力される。そして、その直後に画像メモリ３０１のｆ２ （Ｔ２ ）のみを画像メモリ３０２へ転送する。
【００３８】
次のタイミングＴ３ において、画像メモリ３０１には入力画像Ｆ（Ｔ３ ）が転送されて読み込まれ、入力画像Ｆ（Ｔ３ ）はフラッシュ発光の影響を受けているフラッシュ画像ｆ１ （Ｔ３ ）と影響を受けていない通常画像ｆ２ （Ｔ３ ）とによる１フィールド画像を構成している。メモリ転送制御部３０４は、既にタイミングＴ２ において、入力画像Ｆ（Ｔ２ ）の画像に対してフラッシュ有りの情報信号を受けているので、タイミングＴ３ の画像メモリ３０１のフラッシュ画像ｆ１ （Ｔ３ ）のみを画像メモリ３０２へと転送する。画像メモリ３０２はフラッシュ画像ｆ１ （Ｔ３ ）とフラッシュ画像ｆ２ （Ｔ２ ）とによる出力画像Ｇ（Ｔ３ ）となり、次段へと出力される。
【００３９】
続いて、タイミングＴ４ において、画像メモリ３０１には新たにフラッシュ発光のない入力画像Ｆ（Ｔ４ ）が読み込まれ、この入力画像Ｆ（Ｔ４ ）に対して、フラッシュ処理回路１１０はフラッシュ無しとする情報信号を出力しており、メモリ転送制御部３０４は、この情報信号を取得して画像メモリ３０１の入力画像Ｆ（Ｔ４ ）をそのまま画像メモリ３０２に転送し、画像メモリ３０２は出力画像Ｇ（Ｔ４ ）が読み込まれる。このようにフラッシュ発光が無い場合には単なるフィールド画像メモリとなり、入力された画像を上述のような画像入れ換える処理をすることなく、そのまま画像メモリの内容を次段に出力する。
【００４０】
次に、黒線処理回路１０２，１０５及び１０８の詳細について図４を参照し説明する。同図において、４００はメモリ処理回路からの出力を受ける入力端子であり、４０１はフラッシュ処理回路からの出力を受ける入力端子、４０２は画像メモリ、４０３は平均化フィルタ部（バイパス有り）、４０４は位置探索処理部、４０５は隠蔽処理部、及び４０６は出力端子である。
【００４１】
上記黒線処理回路４０５の動作について説明すると、入力端子４００はメモリ処理回路１０１、１０４及び１０７からの出力を入力し、入力端子４０１はフラッシュ処理回路１１０からの出力を入力する。画像メモリ４０２は隠蔽処理のための１フィールド記憶する。図５では出力画像Ｇ（Ｔ２ ）又はＧ（Ｔ３ ）が隠蔽処理の対象となる画像である。位置探索処理部４０４はフラッシュ処理回路１１０からフラッシュ有り信号と境界線のライン番号（アドレス）とを情報信号として取得する。
【００４２】
位置探索処理部４０４は、例えば、フラッシュ有り信号と境界線の水平ラインのライン番号（アドレス）２００の情報信号を取得する。位置探索処理部４０４は、この情報信号に基づいて、画像メモリ４０２に入れ換え制御処理が行われた画像を画像メモリ４０２に記憶するように転送制御した後、この画像から黒線（低輝度部分）位置を探索する。画像入れ換え制御処理が行われた画像は、フラッシュ有りとしてメモリ処理回路によってフラッシュ発光の境界線を境にして画像の入れ換え処理が行われた画像であり、この境界線に黒線（低輝度部分）位置が発生し易い。画像の入れ換え処理が行われた画像とは図５の出力画像Ｇ（Ｔ３ ）の高輝度画像である。位置探索処理部４０４が、情報信号に基づいて、境界線番号２００を取得した後、画像メモリ４０２に記憶してある画像の境界線番号を中心として任意の上下線ラインで判定する。例えば、上下３ラインで黒線を判定する。即ち、境界線番号が２００であるので、位置探索処理部４０４は、１９７〜２０３ラインの間に含まれる画素に対して、垂直方向の画素の輝度値が最小となる画素のライン番号を水平方向全部の画素の輝度値から探索する。
【００４３】
次いで、図６を参照して位置探索処理部４０４の説明をする。図６は画像メモリ４０２のフィールド画像の要部を示し、例えば、図６にて水平方向の１０画素目で垂直方向の画素の輝度値を比較するものとし、ライン番号順に、輝度値が、２５０，２４０，２４５，２５０，３０，２３５及び２４０であったとすると、輝度値が最小である３０の値のライン番号２０１が探索できる。この処理を水平方向の全画素に対して行って統計処理を行い、最小となる画素が最も多いライン番号を黒線発生エリア（黒線位置）と定める。位置探索処理部４０４は、図６の斜線で示したライン番号２０１を黒線位置として隠蔽処理部４０５へ出力し、隠蔽処理部４０５ではこの黒線発生エリアを隠蔽処理するように制御する。
【００４４】
次に、隠蔽処理部４０５について図７を参照し説明する。図７は黒線隠蔽処理に必要な領域を示しており、ライン番号等は図６を準用する。図７に示すように、黒線隠蔽処理領域は、黒線発生エリア（黒線位置）のライン番号２０１を中心として、例えば垂直方向に上３ライン及び下３ラインであり、かつ黒線発生エリアの処理対象画素を中心として水平方向５画素の範囲を黒線隠蔽処理領域とする。この黒線隠蔽処理領域内の全ての画素を対象として局所演算領域を定める。黒線隠蔽処理に当たり、局所演算領域の局所演算中心と任意の大きさの局所演算領域を図７のように設定する。局所演算領域を設定した後、局所演算領域内の画素の平均値を局所演算中心の画素の画素値として算出する。平均化されたそれぞれの画素値に対して、輝度値を基準に上位１／３に該当する画素の画素値の平均値を黒線領域の置換画素値として置き換える。または、この黒線隠蔽処理に当たって、局所演算領域内で輝度値が最大値である画素の画素値を黒線領域の画素値として置き換えるようにしてもよい。なお、黒線隠蔽処理領域の範囲は任意で構わないが、局所演算領域の黒線隠蔽処理領域を超えない範囲であるものとする。置き換え処理終了後、位置探索処理４０４に対して処理が終了したことを送付して黒線が他にないか否かを探索する。探索終了については、例えば、条件として任意の規定回数を繰り返した場合や、ライン毎に輝度値が最小としてカウントされた画素数をそれぞれ比較した場合、若しくは最小のカウント数とその他のラインのカウント数の平均値との割合が一定値以下になった場合に探索終了とする。
【００４５】
平均化フィルタ４０３は、黒線隠蔽処理が終了した後の高輝度画像（図５の出力画像Ｇ（Ｔ３ ））に対して、例えば、３×３の平均化フィルタを掛ける。処理対象画素を３×３の領域の中心として他の画素の平均値で置き換える。これは輝度が上昇している場合の入れ換え後の画像には境界線部分には、入れ換え処理により異なるフィールドの画像を組み合わせたことによる境界線部分での輪郭の不整合や黒線隠蔽処理の平均化処理を主な発生理由とする偽像が発生する。この偽像を目立たないようにするためである。なお、平均化フィルタの処理対象画素の範囲の大きさは任意に設定できるものとし、また、平均化フィルタ処理は選択的に実行できるものとする。
【００４６】
次に、本発明の撮像信号処理方法の一実施例の制御フローについて、図８のフローチャートを参照し説明する。本実施例の制御フローは図１の撮像信号処理装置の黒線処理回路１０２，１０５，１０８、輝度信号作成回路１０９及びフラッシュ処理回路１１０を演算処理装置（プロセッサ）を使用して処理する場合の実施例であり、撮像信号はＣＭＯＳ撮像素子から得られ、各ＣＭＯＳ撮像素子から出力されるＲＧＢ３チャンネル撮像信号を例として説明する。演算処理装置（プロセッサ）には撮像信号処理方法の制御フローを構成するための輝度信号作成手段、平均輝度値算出手段、差分処理手段、平均輝度値記憶手段、比較手段によるフラッシュ有無判定手段、画像入れ換え処理手段、黒線隠蔽処理手段、及び平均化フィルタ処理手段の各制御機能を有する。
【００４７】
ＲＧＢ３チャンネル撮像信号が入力信号としてプロセッサに入力される。このプロセッサによる制御フローは、ステップ８０（Ｓ８０）からステップ８７（Ｓ８７）からなる。先ず、ステップ８０（Ｓ８０）では、輝度信号作成手段によって、撮像信号の規格を認識した後、ＲＧＢ３チャンネルの場合、入力された各撮像信号から画素毎に輝度成分を算出する。輝度成分の算出式は、先に説明した輝度信号作成回路（輝度信号作成手段）１０９に基づくものである。また、入力信号がＹＰｂＰｒ３チャンネルの撮像信号の場合は輝度信号作成手段による演算処理を行うことなく、Ｙ信号をそのまま輝度成分として出力する。続いて、ステップＳ８１に進む。
【００４８】
ステップ８１（Ｓ８１）では、平均輝度値算出手段によって、ステップ８０で算出した画素毎の輝度成分に対して１水平ライン毎の輝度値の平均値を平均輝度値として算出する。平均輝度値算出手段では、輝度値の平均値の算出は１水平ライン毎に画素の輝度値を積算し、１水平ラインを構成している画素数にて積算輝度値を除算することにより算出する。続いて、ステップＳ８２に進む。
【００４９】
ステップ８２（Ｓ８２）では、差分処理手段によって、ステップ８１で算出した１水平ライン毎の輝度値の平均値との差分を、時系列で隣り合うフィールド画像間の垂直ラインの位置（アドレス）が同位置となるところについて算出し、ステップ８３（Ｓ８３）に進む。なお、ステップ８１では、フィールド画像毎に各水平ラインの輝度値の平均値を記憶しているので、ステップ８２（Ｓ８２）では、前フィールド画像の１水平ライン毎の平均値を読み出して水平ライン毎について差分演算を行っている。
【００５０】
ステップ８３（Ｓ８３）では、平均輝度値記憶手段によって、ステップ８１で算出した１水平ライン毎の輝度値の平均値を記憶する。
【００５１】
ステップ８４（Ｓ８４）では、フラッシュ有無判定手段によって、ステップ８２で算出したフィールド画像間の水平ライン毎の輝度値の平均値の差分値と所定基準値との比較を行い、フラッシュ有りか否かを判定する。フラッシュ無しの場合は、画像入れ換え処理を行わないでこのステップを終了し、フラッシュ有りの場合は、ステップ８５（Ｓ８５）に進み、図５で説明したように、画像入れ換え処理手段によって、画像入れ換え処理を実行し、画像データの記憶領域の更新処理を行って、ステップ８６（Ｓ８６）に進む。
【００５２】
ステップ８６（Ｓ８６）では、黒線隠蔽処理手段によって、黒つぶれした境界線部分の黒線隠蔽処理を実行し、図６及び図７にて説明した隠蔽処理を行う。続いて、ステップ８７（Ｓ８７）に進む。
【００５３】
ステップ８７（Ｓ８７）では、平均化フィルタ処理手段によって、平均化フィルタ処理を実行し、黒線隠蔽処理後の画像に対して平均化フィルタ処理を行って、終了する。この平均化フィルタ処理はフィールド画像毎にスキップ処理が可能であるものとする。このステップを実行することで、黒線隠蔽処理後の画像の違和感が生じないないようにし、画像処理した各ＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルの各撮像信号が次段へと出力される。
【００５４】
以上が本発明に係る撮像信号処理方法の一実施例の処理フローである。なお、この処理フローは種々の変形態様が実施可能であり、例えば、本実施例では、画像メモリを時系列で隣り合うフィールド画像に対応するように設けたが、大容量のメモリを使用する場合はメモリを分割して使用することができ、本実施例に限定されるものではない。
【産業上の利用可能性】
【００５５】
本発明は、ローリングシャッタ方式のＣＭＯＳ撮像素子を使用した放送用テレビジョンカメラ装置で撮像された映像に対して編集する場合に有用である。
【符号の説明】
【００５６】
１００ Ｒ（Ｐｒ）チャンネル入力端子
１０１ Ｒ（Ｐｒ）チャンネル用メモリ処理回路
１０２ Ｒ（Ｐｒ）チャンネル用黒線処理回路
１０３ Ｇ（Ｙ）チャンネル入力端子
１０４ Ｇ（Ｙ）チャンネル用メモリ処理回路
１０５ Ｇ（Ｙ）チャンネル用黒線処理回路
１０６ Ｂ（Ｐｂ）チャンネル入力端子
１０７ Ｂ（Ｐｂ）チャンネル用メモリ処理回路
１０８ Ｂ（Ｐｂ）チャンネル用黒線処理回路
１０９ 輝度信号作成回路
１１０ フラッシュ処理回路
１１１〜１１３ チャンネルの出力端子
２００ 入力端子
２０１ １ライン画素積算部
２０２ 平均値算出部
２０３ Ｒ／Ｗ制御部
２０４ 平均値メモリ
２０５ 差分検出部
２０６ 比較部
２０７ 境界線検出部
２０８ 出力端子
３００，３０５ 入力端子
３０１，３０２ 画像メモリ
３０３ 出力端子
３０４ メモリ転送制御部
４００ メモリ処理回路
４０１ フラッシュ処理回路
４０２ 画像メモリ
４０３ 平均化フィルタ部
４０４ 位置探索処理部
４０５ 隠蔽処理部
４０６ 出力端子
【特許請求の範囲】
【請求項１】
撮像装置における撮像信号処理回路において、
入力されたＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルからの撮像信号を時系列的に最新の画像とその直前の画像との少なくとも２画面分を記憶する３チャンネルの画像メモリとを具え、前記３チャンネルの画像メモリの出力から撮影時にフラッシュが発生したときのみ該画像メモリの画像を入れ換え処理を行う３つのメモリ処理回路と、
前記メモリ処理回路の出力の中でフラッシュの発光の影響により全体の輝度値が上昇している画像領域に対して、その境界部付近に存在する輝度の低い部分である黒線を隠蔽処理する３つの黒線処理回路と、
入力信号としＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルの各撮像信号が入力され、該入力信号がＲＧＢ３チャンネルの場合、輝度信号を作成し、ＹＰｂＰｒ３チャンネルの場合、Ｙ信号を輝度信号とする輝度信号作成回路と、
該輝度信号作成回路の出力に対して撮影時に前記フラッシュが発生したか否かを判別し、かつ該フラッシュが発生した画像におけるフラッシュ発光による輝度値の急激な上昇をしている部分を境界線として検出し前記メモリ処理回路と前記黒線処理回路とに対して制御情報を与えるフラッシュ処理回路とを具えることを特徴とする撮像信号処理回路。
【請求項２】
請求項１に記載の撮像信号処理回路において、
前記フラッシュ処理回路は、同一フィールドの撮像信号において、
１水平ライン毎に画素の輝度値を積算する画素積算部と、
該画素積算部の平均値を積算する平均値算出部と、
１フィールドのライン毎の平均値を記憶する平均値メモリと、
前記平均値メモリの任意のアドレスに対して読み出し又は書き込み制御を行うＲ／Ｗ制御部と、
前記平均値算出部の出力と前記平均値メモリから読み出される１フィールド前の垂直位置に対応する水平ラインの平均値との差を検出する差分検出部と、
前記差分検出部の出力を所定基準値と比較する比較部と、
前記比較部の比較の結果、前記差分値が前記所定基準値以上のときフラッシュ有りと判断してそのときの垂直ライン番号を前記Ｒ／Ｗ制御部より得てフラッシュトリガ信号と前記垂直ライン番号を境界線として出力する境界線検出部とからなることを特徴とする撮像信号処理回路。
【請求項３】
請求項１に記載の撮像信号処理回路において、
前記メモリ処理回路は、
前記フラッシュ処理回路によるフラッシュ有りとする制御信号に基づいて、前記少なくとも２つの画像メモリのそのフラッシュ発生位置に応じたメモリ内容を入れ換えるメモリ転送制御部を具えることを特徴とする撮像信号処理回路。
【請求項４】
請求項１に記載の撮像信号処理回路において、
前記黒線処理回路は、前記メモリ処理回路の出力画像を記憶する画像メモリと、
前記画像メモリに記憶されている画像に前記黒線があるか否かを検出し、ある場合にはその位置を特定し、前記隠蔽処理部に対して隠蔽処理を行うように制御する位置探索処理部と、
前記画像メモリに記憶されている画像が処理対象画像のときに所定領域の画素演算により算出した画素値に置換して前記黒線を隠蔽する処理を行う隠蔽処理部と、
前記隠蔽処理終了画像に対して平均化フィルタ処理を行う平均化フィルタ部とからなることを特徴とする撮像信号処理回路。
【請求項５】
撮像装置における撮像信号処理方法において、
ＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルの撮像信号から輝度成分算出手段により輝度成分を算出するステップと、
前記輝度成分の同一フィールドにおける水平ライン毎の平均値を平均輝度値算出手段により算出して記憶し、前記平均値と直前のフィールドにおける垂直位置が同位置となる水平ライン毎の平均値の差分値を差分処理手段により算出し、その差分値を所定基準値とを比較手段により比較して前記撮像信号にフラッシュが発光したことによる輝度変化が含まれるか否かをフラッシュ判定手段により判別するステップと、
ＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルの撮像信号を記憶し、前記フラッシュが含まれるときに、前記撮像信号の一部の画像入れ換え処理を画像入れ換え処理手段により行うステップと、
前記画像入れ換え処理を行った撮像信号の境界部分に対して、前記境界に存在する黒線を黒線隠蔽処理手段により隠蔽処理するステップと、
前記黒線隠蔽処理を行った撮像信号に対して、選択的に平均化フィルタ処理手段を適用するステップとを具えることを特徴とする撮像信号処理方法。
【請求項１】
撮像装置における撮像信号処理回路において、
入力されたＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルからの撮像信号を時系列的に最新の画像とその直前の画像との少なくとも２画面分を記憶する３チャンネルの画像メモリとを具え、前記３チャンネルの画像メモリの出力から撮影時にフラッシュが発生したときのみ該画像メモリの画像を入れ換え処理を行う３つのメモリ処理回路と、
前記メモリ処理回路の出力の中でフラッシュの発光の影響により全体の輝度値が上昇している画像領域に対して、その境界部付近に存在する輝度の低い部分である黒線を隠蔽処理する３つの黒線処理回路と、
入力信号としＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルの各撮像信号が入力され、該入力信号がＲＧＢ３チャンネルの場合、輝度信号を作成し、ＹＰｂＰｒ３チャンネルの場合、Ｙ信号を輝度信号とする輝度信号作成回路と、
該輝度信号作成回路の出力に対して撮影時に前記フラッシュが発生したか否かを判別し、かつ該フラッシュが発生した画像におけるフラッシュ発光による輝度値の急激な上昇をしている部分を境界線として検出し前記メモリ処理回路と前記黒線処理回路とに対して制御情報を与えるフラッシュ処理回路とを具えることを特徴とする撮像信号処理回路。
【請求項２】
請求項１に記載の撮像信号処理回路において、
前記フラッシュ処理回路は、同一フィールドの撮像信号において、
１水平ライン毎に画素の輝度値を積算する画素積算部と、
該画素積算部の平均値を積算する平均値算出部と、
１フィールドのライン毎の平均値を記憶する平均値メモリと、
前記平均値メモリの任意のアドレスに対して読み出し又は書き込み制御を行うＲ／Ｗ制御部と、
前記平均値算出部の出力と前記平均値メモリから読み出される１フィールド前の垂直位置に対応する水平ラインの平均値との差を検出する差分検出部と、
前記差分検出部の出力を所定基準値と比較する比較部と、
前記比較部の比較の結果、前記差分値が前記所定基準値以上のときフラッシュ有りと判断してそのときの垂直ライン番号を前記Ｒ／Ｗ制御部より得てフラッシュトリガ信号と前記垂直ライン番号を境界線として出力する境界線検出部とからなることを特徴とする撮像信号処理回路。
【請求項３】
請求項１に記載の撮像信号処理回路において、
前記メモリ処理回路は、
前記フラッシュ処理回路によるフラッシュ有りとする制御信号に基づいて、前記少なくとも２つの画像メモリのそのフラッシュ発生位置に応じたメモリ内容を入れ換えるメモリ転送制御部を具えることを特徴とする撮像信号処理回路。
【請求項４】
請求項１に記載の撮像信号処理回路において、
前記黒線処理回路は、前記メモリ処理回路の出力画像を記憶する画像メモリと、
前記画像メモリに記憶されている画像に前記黒線があるか否かを検出し、ある場合にはその位置を特定し、前記隠蔽処理部に対して隠蔽処理を行うように制御する位置探索処理部と、
前記画像メモリに記憶されている画像が処理対象画像のときに所定領域の画素演算により算出した画素値に置換して前記黒線を隠蔽する処理を行う隠蔽処理部と、
前記隠蔽処理終了画像に対して平均化フィルタ処理を行う平均化フィルタ部とからなることを特徴とする撮像信号処理回路。
【請求項５】
撮像装置における撮像信号処理方法において、
ＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルの撮像信号から輝度成分算出手段により輝度成分を算出するステップと、
前記輝度成分の同一フィールドにおける水平ライン毎の平均値を平均輝度値算出手段により算出して記憶し、前記平均値と直前のフィールドにおける垂直位置が同位置となる水平ライン毎の平均値の差分値を差分処理手段により算出し、その差分値を所定基準値とを比較手段により比較して前記撮像信号にフラッシュが発光したことによる輝度変化が含まれるか否かをフラッシュ判定手段により判別するステップと、
ＲＧＢ３チャンネル又はＹＰｂＰｒ３チャンネルの撮像信号を記憶し、前記フラッシュが含まれるときに、前記撮像信号の一部の画像入れ換え処理を画像入れ換え処理手段により行うステップと、
前記画像入れ換え処理を行った撮像信号の境界部分に対して、前記境界に存在する黒線を黒線隠蔽処理手段により隠蔽処理するステップと、
前記黒線隠蔽処理を行った撮像信号に対して、選択的に平均化フィルタ処理手段を適用するステップとを具えることを特徴とする撮像信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１９４２９（Ｐ２０１２−１９４２９Ａ）
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願番号】特願２０１０−１５６４５４（Ｐ２０１０−１５６４５４）
【出願日】平成２２年７月９日（２０１０．７．９）
【出願人】（０００２０９７５１）池上通信機株式会社 (123)
【Ｆターム（参考）】
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願日】平成２２年７月９日（２０１０．７．９）
【出願人】（０００２０９７５１）池上通信機株式会社 (123)
【Ｆターム（参考）】
[ Back to top ]