信号処理装置及び方法
【課題】 複数の輝度信号生成方式のそれぞれの方式の利点を生かし、高品質の輝度信号を得ること。
【解決手段】 ベイヤー配列のカラーフィルタを有する撮像素子により撮像して得られた画像信号を処理する信号処理装置（４）であって、入力した３色の画像信号から各画素位置の各色の画像信号を生成し、１色の画像信号に他の２色よりも大きな重み付けを行って各色の画像信号の加算処理を行うことにより、各画素位置に対応する第１の輝度信号を生成する第１の輝度信号生成手段（５）と、入力した３色の画像信号を各色の輝度信号とみなすことにより３色の画像信号の画素位置に対応する第２の輝度信号を生成する第２の輝度信号生成手段（６）と、入力した画像信号に基づいて、当該画像信号が白黒画像を示すか、カラー画像を示すかを判別する判別手段（７）と、当該判別結果に応じて、第１の輝度信号及び前２の輝度信号を混合して出力する混合手段（９）とを有する。
【解決手段】 ベイヤー配列のカラーフィルタを有する撮像素子により撮像して得られた画像信号を処理する信号処理装置（４）であって、入力した３色の画像信号から各画素位置の各色の画像信号を生成し、１色の画像信号に他の２色よりも大きな重み付けを行って各色の画像信号の加算処理を行うことにより、各画素位置に対応する第１の輝度信号を生成する第１の輝度信号生成手段（５）と、入力した３色の画像信号を各色の輝度信号とみなすことにより３色の画像信号の画素位置に対応する第２の輝度信号を生成する第２の輝度信号生成手段（６）と、入力した画像信号に基づいて、当該画像信号が白黒画像を示すか、カラー画像を示すかを判別する判別手段（７）と、当該判別結果に応じて、第１の輝度信号及び前２の輝度信号を混合して出力する混合手段（９）とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、特に複数のカラーフィルタを有する撮像素子からの出力信号から輝度信号を作成する装置に関するものである。
【背景技術】
【０００２】
従来、固体撮像素子からの出力色信号をもとに輝度信号を作成する方法として、SwitchY方式やOutofGreen方式が知られている。以下、固体撮像素子が図１２のような原色ベイヤー配列のカラーフィルタにより覆われている場合を例にして、これらの方式を説明する。
【０００３】
SwitchY方式は、固体撮像素子からの出力信号をＡ／Ｄ変換した後、ホワイトバランス（以下、ＷＢ）処理した信号を、そのまま輝度信号Ｙとみなす方式である。図１３は、得られた輝度信号Ｙの概念を示す図で、Ｙの後の数字は画素の位置を示す。また、通常、サンプリングによるキャリアの発生を抑えるため、ナイキスト周波数で出力０となるローパスフィルタ（以下、ＬＰＦ）を水平垂直それぞれに適用した結果をベース信号とする。例えば、上記ＬＰＦのフィルタ係数を水平、垂直とも［１ ２ １］とすると、Ｙ２２の画素のＬＰＦからの出力Ｙ２２’は、
Y22' = (Y11 + 2 × Y12 + Y13 + 2 × Y21 + 4 × Y22 + 2 × Y23
+ Y31 + 2×Y32 + Y33) / 16 …（１）
【０００４】
のように求めることができる。
さらに、ベース信号から高域強調信号を作り、元のベース信号を足しこむことにより、高域が補償された信号を得ることが可能である。
【０００５】
図１４は、周波数空間におけるキャリアの位置と帯域を示す図で、（ａ）は白黒画像、（ｂ）はカラー画像を撮影した場合をそれぞれ示す。図１４（ａ）及び（ｂ）において、fsはサンプリング周波数を示す。SwitchY方式は、被写体が白黒の場合には図１４（ａ）の×で示した位置にキャリアが発生し、実線で囲んだエリアの帯域を活用できる方式であるため、有利である。しかしながら、被写体がカラーになった場合には、図１４（ｂ）の×で示した位置にキャリアが発生してしまうため、図１４（ｂ）の実線のように帯域が狭く、比較的低周波で折りかえしが発生してしまうため、好ましくない。
【０００６】
一方、OutofGreen方式は、レッド、グリーン、ブルーの各信号を独立に処理し、特にグリーン信号を中心に輝度を作成する方式である。例えば、レッド信号を処理する場合には、レッド以外の画素に０挿入しておき、上記ＬＰＦを適用する。グリーン信号、ブルー信号に関しても同様に処理しておき、輝度Ｙを、例えば、次式（２）を用いて求める。
Y = 0.3R + 0.59G + 0.11B …（２）
【０００７】
さらに、グリーン信号のみから高域強調信号を作成し、Ｙに足しこむ。
OutofGreen方式は、グリーン信号を中心に輝度信号を作成する方式であるため、サンプリングがオフセットサンプリングとなり、白黒画像の場合、図１４（ａ）の○で示した位置にキャリアが発生する。したがって破線で示した領域の帯域が利用できる。また、カラー画像に対しても、図１４（ｂ）に示したように白黒の場合と同じ帯域を確保できる方式であるため、白黒、カラーを問わず安定して利用することが可能である。しかしながら白黒画像の場合、SwitchＹ方式の帯域に比べて斜め方向が狭く、斜め方向からの折りかえりによりジャギーが発生するという問題を持っている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開2002-010289号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記のように、例えばSwitchY方式のような、入力した３色の画像信号を各色の輝度信号とみなすことにより３色の画像信号の画素位置に対応する輝度信号を生成する方式では、白黒の被写体に対しては強いがカラーの被写体に対しては弱く、例えばOutofGreen方式のような、入力した３色の画像信号のうち１色の画像信号に大きな重み付けを行って隣接する３色の画像信号の加算処理を行うことにより３色の画像信号の画素位置に対応する輝度信号を生成する方式では、白黒、カラーを問わず一定の水準を持つがジャギーが発生するという問題があり、いずれの方式においても、画像に弊害が発生してしまう。
【００１０】
本発明は上記問題点を鑑みてなされたものであり、複数の輝度信号生成方式のそれぞれの方式の利点を生かし、高品質の輝度信号を得ることを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、ベイヤー配列のカラーフィルタを有する撮像素子により撮像して得られた画像信号を処理する本発明の信号処理装置は、入力した３色の画像信号から各画素位置の各色の画像信号を生成し、１色の画像信号に他の２色よりも大きな重み付けを行って、前記生成した各色の画像信号の加算処理を行うことにより、前記入力した画像信号の画素位置に対応する第１の輝度信号を生成する第１の輝度信号生成手段と、前記入力した３色の画像信号を各色の輝度信号とみなすことにより前記３色の画像信号の画素位置に対応する第２の輝度信号を生成する第２の輝度信号生成手段と、前記入力した画像信号に基づいて、当該画像信号が白黒画像を示すか、カラー画像を示すかを判別する判別手段と、前記判別手段による判別結果に応じて、前記第１の輝度信号及び前記第２の輝度信号を混合して出力する混合手段と、を有する。
【発明の効果】
【００１２】
上記の通り本発明によれば、複数の輝度信号生成方式のそれぞれの方式の利点を生かすことができるため、高品質の輝度信号を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。
【図２】図１の信号処理装置の全体動作を説明するためのフローチャートである。
【図３】本発明の第１の実施形態における白黒カラー判別処理動作を示すフローチャートである。
【図４】本発明の第１の実施形態における白黒カラー判別信号と彩度信号との関係を示す図である。
【図５】図１の斜め線検出回路の構成を示すブロック図である。
【図６】本発明の第１の実施形態における斜め線検出処理動作を示すフローチャートである。
【図７】本発明の第１の実施形態における斜め線判別信号とＢＰＦ出力との関係を示す図である。
【図８】本発明の第１の実施形態における斜め線判別信号とＬＰＦ出力との関係を示す図である。
【図９】本発明の第１の実施形態における輝度信号混合処理動作を示すフローチャートである。
【図１０】本発明の第１の実施形態における別の輝度信号混合処理動作を示すフローチャートである。
【図１１】本発明の第２の実施形態における信号処理装置の概略を示すブロック図である。
【図１２】原色ベイヤー配列を示した図である。
【図１３】SwitchY方式の説明図である。
【図１４】輝度信号の各作成方式における、キャリアの発生位置と帯域を説明する図である。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１５】
（第１の実施形態）
本第１の実施形態では、図１２に示したＲ（赤）、Ｇ（緑）、Ｂ（青）の３色からなる原色ベイヤー配列のカラーフィルタにより覆われた単板撮像素子からの信号を用いて、輝度信号を得る場合について説明する。
【００１６】
図１は本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。撮像装置は、例えば、デジタルスチルカメラ、デジタルカメラ、スキャナ、コピー機、ファクシミリを含むが、これに限るものではなく、入射する光学像を光電変換により電気的な画像として取得するものであれば、本発明を適用することが可能である。
【００１７】
図１において、１は、入射する光を光電変換して、電気信号を出力するＣＣＤなどの撮像素子（以下、ＣＣＤ）、２はＡ／Ｄ変換回路、３はホワイトバランス（ＷＢ）回路、４は信号処理装置である。上記構成において、ＣＣＤ１より出力される信号をＡ／Ｄ変換回路２によりデジタル信号に変換し、ＷＢ回路３により公知のホワイトバランス処理を施した信号を信号処理装置４に入力する。
【００１８】
信号処理装置４は、OutofGreen輝度回路５、SwitchY輝度回路６、白黒カラー判別回路７、斜め線検出回路８、輝度混合回路９を有する。OutofGreen輝度回路５は、例えば、従来技術で述べたOutofGreen方式を採用するが、画像に適応的に補間方法を切り替える方式を採用しても良い。また、SwitchY輝度回路６も、例えば、従来技術で述べたSwitchY方式を採用する。このSwitchY方式は、レッド（Ｒ）信号、グリーン（Ｇ）信号、ブルー（Ｂ）信号をそのまま輝度信号とみなす方式であり、本第１の実施形態で採用している原色ベイヤー配列の撮像素子の場合、輝度の色構成比は、Ｒ：Ｇ：Ｂ＝１：２：１である。
【００１９】
次に、図２〜図９を参照して、上記構成を有する信号処理装置４の動作について詳細に説明する。
【００２０】
図２は、信号処理装置４における処理の概略を示すフローチャートである。図２において、ＷＢ回路３からＷＢ処理された信号を受け取った信号処理装置４は（ステップＳ１１）、OutofGreen輝度回路５において、OutofGreen方式による輝度信号１を作成する（ステップＳ１２）。また、SwitchY輝度回路６において、SwitchY方式による輝度信号２を作成する（ステップＳ１２）。さらに、白黒カラー判別回路７において、被写体が白黒かカラーかを判別し、判別結果を示す白黒カラー判別信号を生成し（ステップＳ１３）、斜め線検出回路８において、被写体画像中の斜め線を検出し、斜め線の有無を示す斜め線判定信号を生成する（ステップＳ１４）。そして、これらの白黒カラー判別信号及び斜め線判定信号を基にして、輝度混合回路９は輝度信号１と輝度信号２を混合する（ステップＳ１５）。なお、ステップＳ１２〜Ｓ１４の処理を行う順番は上記に限るものではなく、異なる順番で行っても、また、処理の一部又は全部を同時に行うようにしても良い。
【００２１】
ステップＳ１３で行われる白黒カラー判別処理について、図３のフローチャートを参照しながら説明する。白黒カラー判別回路７では、まずステップＳ２１において、ホワイトバランス後の信号から例えば次の式（３）に従って彩度信号Ｃを算出する。
【００２２】
【００２３】
次に、あるレベルの閾値Ｔｈ１と比較して彩度信号Ｃが小さい時には（ステップＳ２２でＹＥＳ）、入力された信号が白黒画像を示すと判定し、白黒カラー判別信号ＤBCとして１を設定する（ステップＳ２３）。彩度信号Ｃが閾値Ｔｈ１以上である場合（ステップＳ２２でＮＯ）、ステップＳ２４で閾値Ｔｈ１よりも大きい閾値Ｔｈ２と比較し、彩度信号Ｃが閾値Ｔｈ２より大きい場合には（ステップＳ２４でＹＥＳ）カラー画像と判定し、判別信号ＤBCとして０を設定する（ステップＳ２５）。彩度信号Ｃが閾値Ｔｈ１と閾値Ｔｈ２の間にある場合には（ステップＳ２４でＮＯ）、判別信号ＤBCは、閾値Ｔｈ１およびＴｈ２からの距離に応じて線形的に１から０の間の数値をとるように構成する（ステップＳ２６）。上記処理における彩度信号Ｃと閾値Ｔｈ１及びＴｈ２、及び判別信号ＤBCとの関係を図示したものが図４である。
【００２４】
なお、白黒カラーの判別のエリアを調整するため、彩度信号Ｃに対して、例えば３×３の最大値フィルタを適用して判別領域を拡大したり、明るさで正規化するように構成して暗い部分も検出されるようにしてもよい。明るさでの正規化は、例えば、彩度を輝度Ｙで除算することで行うことができる。
【００２５】
次に、図２のステップＳ１４で行われる斜め線検出処理について、図５及び図６を参照しながら説明する。図５は斜め線検出回路８の内部構成例を示すブロック図であり、ＷＢ後のすべての色信号を用いて、バンドパスフィルタ（ＢＰＦ）Ａ回路１０、ＢＰＦＢ回路１１およびローパスフィルタ（ＬＰＦ）Ａ回路１２、ＬＰＦＢ回路１３によりジャギーが発生する領域を抽出する。
【００２６】
バンドパスフィルタとしては、例えば、フィルタ係数を垂直に［１ −４ ６ −４ １］、水平に［−１ ０ ２ ０ −１］のデジタルフィルタを適用するＢＰＦＡ回路１０と、水平に［１ −４ ６ −４ １］、垂直に［−１ ０ ２ ０ −１］のデジタルフィルタを適用するＢＰＦＢ回路１１を用いる。ローパスフィルタとしては、例えば、フィルタ係数を水平に［１ ４ ６ ４ １］、垂直に［１ −２ ２ −２ １］のデジタルフィルタを適用するＬＰＦＡ回路１２と、垂直に［１ ４ ６ ４ １］、水平に［１ −２ ２ −２ １］のデジタルフィルタを適用するＬＰＦＢ回路１３を用いる。
【００２７】
ＢＰＦＡ回路１０からの信号とＢＰＦＢ回路１１からの信号をそれぞれ絶対値化回路１４により絶対値化し、加算器１５で加算する（ステップＳ３１）。その加算信号ＳBPFと閾値Ｔｈ３とを比較し、加算信号ＳBPFの方が小さい時には（ステップＳ３２でＹＥＳ）斜め線でないと判別し、ＢＰＦ検出信号ＤBPFとして０を設定する（ステップＳ３３）。加算信号ＳBPFが閾値Ｔｈ３以上の時には（ステップＳ３２でＮＯ）、閾値Ｔｈ３よりも大きい閾値Ｔｈ４と比較する。加算信号ＳBPFの方が大きい場合には（ステップＳ３４でＹＥＳ）斜め線と判別し、ＢＰＦ検出信号ＤBPFとして１を設定する（ステップＳ３５）。加算信号ＳBPFが閾値Ｔｈ３と閾値Ｔｈ４の間にある場合には（ステップＳ３４でＮＯ）、ＢＰＦ検出信号ＤBPFは、閾値Ｔｈ３およびＴｈ４からの距離に応じて線形的に０から１の間の数値をとるように設定する（ステップＳ３６）。上記処理における加算信号ＳBPFと閾値Ｔｈ３及びＴｈ４、及びＢＰＦ検出信号ＤBPFとの関係を図示したものが図７である。
【００２８】
一方、ＬＰＦ回路の方は、ＢＰＦ回路で斜め線として検出されたエリアから低周波のエリアを除外することが目的である。すなわち、ＢＰＦ回路のみでは、余分な低域信号まで斜め線として検出してしまう場合があるので、その余分な部分を検出対象から外すようにＬＰＦ回路を構成する。
【００２９】
ＬＰＦＡ回路１２からの信号とＬＰＦＢ回路１３からの信号をそれぞれ絶対値化回路１４により絶対値化し、加算器１５で加算する（ステップＳ３７）。その加算信号ＳLPFと閾値Ｔｈ５とを比較し、加算信号ＳLPFの方が小さい時には（ステップＳ３８でＹＥＳ）、斜め線検出対象から外さないようＬＰＦ検出信号ＤLPFとして１を設定する（ステップＳ３９）。加算信号ＳLPFが閾値Ｔｈ６以下の時には（ステップＳ３８でＮＯ）、閾値Ｔｈ５よりも大きい閾値Ｔｈ６と比較する。加算信号ＳLPFの方が大きい場合には（ステップＳ４０でＹＥＳ）、斜め線検出対象から外すためＬＰＦ検出信号ＤLPFとして０を設定する（ステップＳ４１）。加算信号ＳLPFが閾値Ｔｈ５と閾値Ｔｈ６の間にある場合には、ＬＰＦ検出信号ＤLPFは、閾値Ｔｈ５およびＴｈ６からの距離に応じて線形的に０から１の間の数値をとるように設定する（ステップＳ４２）。上記処理における加算信号ＳLPFと閾値Ｔｈ５及びＴｈ６、及びＬＰＦ検出信号ＤLPFとの関係を図示したものが図８である。
【００３０】
なお、図５に示す例ではバンドパスフィルタ及びローパスフィルタを用いた構成を示したが、これに限るものではなく、例えばバンドパスフィルタの代わりにハイパスフィルタで構成したり、またローパスフィルタを用いずに、バンドパスフィルタ又はハイパスフィルタで構成してもよい。
【００３１】
次に、上記のＢＰＦ検出信号ＤBPFとＬＰＦ検出信号ＤLPFを用いて、乗算器１７により積を取った結果を、最終的な斜め線検出信号ＤDとする（ステップＳ４３）。
【００３２】
斜め線検出回路８において、より検出精度を増すため、ＢＰＦ回路やＬＰＦ回路の数を増やしても良いし、検出領域を調整するため、最大値フィルタや明るさによる正規化などを行っても良い。
【００３３】
また、図６において、ステップＳ３７〜Ｓ４２の処理をステップＳ３１〜Ｓ３６の処理より先に行うようにしても、平行して行うようにしても良い。
【００３４】
次に、図２のステップＳ１５で行われる輝度信号混合処理について、図９のフローチャートを参照しながら説明する。輝度混合回路９では、上述したようにして得た白黒カラー検出信号ＤBCと斜め線検出信号ＤDを用いて、輝度信号１および輝度信号２を混合する。
【００３５】
ここでは、入力した信号が白黒画像を示し、かつ斜め線であると判別された部分、すなわち白黒カラー判別信号ＤBCと斜め線検出信号ＤDが共に１である場合（ステップＳ５１でＹＥＳ）、輝度信号２（SwitchY方式）を選択し（ステップＳ５２）、その他の部分である場合に（ステップＳ５１でＮＯ）輝度信号１（OutofGreen方式）を選択する（ステップＳ５３）。すなわち、図１４（ａ）、（ｂ）における２の部分のみ、SwitchY方式の輝度信号を採用し、その他の部分１，３，４は、OutofGreen信号を採用するように構成する。このようにすることで、ジャギーを解消し、また、カラーの被写体に対しても低域における折り返しノイズを発生させず、良好な信号を得ることが可能となる。
【００３６】
なお、ステップＳ５１で行う判定方法の一例として、白黒カラー判別信号ＤBCと斜め線検出信号ＤDの積を取り、得られた積が１であるかどうかを判定するように構成することもできる。この場合、得られた積が１である場合に輝度信号２を選択し、それ以外の場合に輝度信号１を選択する。
【００３７】
また、デフォルトとして輝度信号１を選択するようにし、白黒カラー判別信号ＤBCと斜め線検出信号ＤDが共に１（又は積が１）である場合に、輝度信号２に置き換えるように構成しても良い。
【００３８】
また、輝度信号１又は２のいずれか一方を選択するだけではなく、白黒カラー判別信号ＤBC及び／又は斜め線検出信号ＤDが０と１の中間値を示す場合に輝度信号１又は２を混合して、最終的な輝度信号としても良い。その場合の輝度信号混合処理を図１０のフローチャートを参照して説明する。
【００３９】
上述したように積が１であるなど、入力した信号が白黒画像を示し、かつ斜め線であると判別された部分であれば（ステップＳ６１でＹＥＳ）、輝度信号２を選択し（ステップＳ６２）、積が０となる場合（ステップＳ６３でＹＥＳ）に輝度信号１を選択し（ステップＳ６４）、また、０と１の間の値αになる場合には（ステップＳ６３でＮＯ）、切り替えを滑らかにするため、次の式（４）に示すようにして輝度信号１と２を混合する（ステップＳ６５）。
[輝度] = α×[輝度信号２] +(1-α)×[輝度信号１] …（４）
【００４０】
なお、上記例では、信号処理装置４は白黒カラー判別回路７及び斜め線検出回路８の両方を有する構成について説明したが、いずれか一方のみを有する構成にしても良い。具体的には、白黒カラー判別回路７のみを有する場合、輝度混合回路９は、図９に示す処理のステップＳ５１で白黒画像か否かのみの判別を行う以外は上記と同様の処理を行う。また、図１０に示す処理ではステップＳ６１で白黒カラー判別信号ＤBCが１どうかの判別を行い、ステップＳ６３で白黒カラー判別信号ＤBCが０であるかどうかの判別を行い、ステップＳ６５では白黒カラー判別信号ＤBCをαとして用いる。それ以外は上記と同様の処理を行う。
【００４１】
一方、斜め線検出回路８のみを有する場合、輝度混合回路９は、図９に示す処理のステップＳ５１で斜め線かどうかのみの判定を行う以外は上記と同様の処理を行う。また、図１０に示す処理ではステップＳ６１で斜め線検出信号ＤDが１かどうかの判別を行い、ステップＳ６３で斜め線検出信号ＤDが０かどうかの判別を行い、ステップＳ６５では斜め線検出信号ＤDをαとして用いる。それ以外は上記と同様の処理を行う。
【００４２】
上記の通り本第１の実施形態によれば、OutofGreen輝度回路及びSwitchY輝度回路を用いて、それぞれの利点のみを活用して輝度信号を得ることが可能であり、従来斜め線に発生した折り返し信号や、色信号の折りかえりによるノイズが発生することなく、良好な輝度信号を得ることが可能である。
【００４３】
（第２の実施形態）
次に、第２の実施形態について説明する。図１１は、第２の実施形態における撮像装置の構成を示すブロック図であり、図１と同様の構成には同じ参照番号を付して説明を省略する。図１１において、２４は信号処理装置、２５はOutofGreen輝度回路、２６はSwitchY輝度回路、２７は白黒カラー判別回路、２８は斜め線検出回路、２９輝度混合回路は、３０は高域強調回路である。高域強調回路３０を除き、各回路は図１に示すものと同様な動作を行うため、ここでは詳細な説明を省略する。
【００４４】
第１の実施形態におけるOutofGreen輝度回路５およびSwitchY輝度回路６には、通常、高域強調信号をベース信号に足しこむ回路（不図示）がそれぞれ含まれているが、本第２の実施形態では、OutofGreen輝度回路２５およびSwitchY輝度回路２６は通常それぞれ含まれる高域強調回路を含まず、その代わりに共通の高域強調回路３０を設けた構成をしている。
【００４５】
高域強調回路３０は輝度混合回路２９の後に設けられ、輝度混合回路２９から出力される輝度信号にバンドパスフィルタを適用して高域信号を取り出し、元の輝度信号に足しこむ。
【００４６】
このように構成することで、第１の実施形態に比べて、高域強調回路を一つに減らすことが可能である。
【００４７】
（他の実施形態）
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルカメラ、複写機、ファクシミリ装置など）に適用してもよい。
【００４８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【００４９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５０】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図２、図３、図６、及び図９または図１１に示すフローチャートに対応するプログラムコードが格納されることになる。
【符号の説明】
【００５１】
１ 撮像素子（ＣＣＤ）
２ Ａ／Ｄ変換回路
３ ＷＢ回路
４、２４ 信号処理装置
５、２５ OutofGreen輝度回路
６、２６ SwitchY輝度回路
７、２７ 白黒カラー判別回路
８、２８ 斜め線検出回路
９、２９ 輝度混合回路
１０ バンドパスフィルタＡ回路
１１ バンドパスフィルタＢ回路
１２ ローパスフィルタＡ回路
１３ ローパスフィルタＢ回路
１４ 絶対値化回路
１５ 加算器
１６ 判別信号生成回路
１７ 乗算器
３０ 高域強調回路
【技術分野】
【０００１】
本発明は、信号処理装置、特に複数のカラーフィルタを有する撮像素子からの出力信号から輝度信号を作成する装置に関するものである。
【背景技術】
【０００２】
従来、固体撮像素子からの出力色信号をもとに輝度信号を作成する方法として、SwitchY方式やOutofGreen方式が知られている。以下、固体撮像素子が図１２のような原色ベイヤー配列のカラーフィルタにより覆われている場合を例にして、これらの方式を説明する。
【０００３】
SwitchY方式は、固体撮像素子からの出力信号をＡ／Ｄ変換した後、ホワイトバランス（以下、ＷＢ）処理した信号を、そのまま輝度信号Ｙとみなす方式である。図１３は、得られた輝度信号Ｙの概念を示す図で、Ｙの後の数字は画素の位置を示す。また、通常、サンプリングによるキャリアの発生を抑えるため、ナイキスト周波数で出力０となるローパスフィルタ（以下、ＬＰＦ）を水平垂直それぞれに適用した結果をベース信号とする。例えば、上記ＬＰＦのフィルタ係数を水平、垂直とも［１ ２ １］とすると、Ｙ２２の画素のＬＰＦからの出力Ｙ２２’は、
Y22' = (Y11 + 2 × Y12 + Y13 + 2 × Y21 + 4 × Y22 + 2 × Y23
+ Y31 + 2×Y32 + Y33) / 16 …（１）
【０００４】
のように求めることができる。
さらに、ベース信号から高域強調信号を作り、元のベース信号を足しこむことにより、高域が補償された信号を得ることが可能である。
【０００５】
図１４は、周波数空間におけるキャリアの位置と帯域を示す図で、（ａ）は白黒画像、（ｂ）はカラー画像を撮影した場合をそれぞれ示す。図１４（ａ）及び（ｂ）において、fsはサンプリング周波数を示す。SwitchY方式は、被写体が白黒の場合には図１４（ａ）の×で示した位置にキャリアが発生し、実線で囲んだエリアの帯域を活用できる方式であるため、有利である。しかしながら、被写体がカラーになった場合には、図１４（ｂ）の×で示した位置にキャリアが発生してしまうため、図１４（ｂ）の実線のように帯域が狭く、比較的低周波で折りかえしが発生してしまうため、好ましくない。
【０００６】
一方、OutofGreen方式は、レッド、グリーン、ブルーの各信号を独立に処理し、特にグリーン信号を中心に輝度を作成する方式である。例えば、レッド信号を処理する場合には、レッド以外の画素に０挿入しておき、上記ＬＰＦを適用する。グリーン信号、ブルー信号に関しても同様に処理しておき、輝度Ｙを、例えば、次式（２）を用いて求める。
Y = 0.3R + 0.59G + 0.11B …（２）
【０００７】
さらに、グリーン信号のみから高域強調信号を作成し、Ｙに足しこむ。
OutofGreen方式は、グリーン信号を中心に輝度信号を作成する方式であるため、サンプリングがオフセットサンプリングとなり、白黒画像の場合、図１４（ａ）の○で示した位置にキャリアが発生する。したがって破線で示した領域の帯域が利用できる。また、カラー画像に対しても、図１４（ｂ）に示したように白黒の場合と同じ帯域を確保できる方式であるため、白黒、カラーを問わず安定して利用することが可能である。しかしながら白黒画像の場合、SwitchＹ方式の帯域に比べて斜め方向が狭く、斜め方向からの折りかえりによりジャギーが発生するという問題を持っている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開2002-010289号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記のように、例えばSwitchY方式のような、入力した３色の画像信号を各色の輝度信号とみなすことにより３色の画像信号の画素位置に対応する輝度信号を生成する方式では、白黒の被写体に対しては強いがカラーの被写体に対しては弱く、例えばOutofGreen方式のような、入力した３色の画像信号のうち１色の画像信号に大きな重み付けを行って隣接する３色の画像信号の加算処理を行うことにより３色の画像信号の画素位置に対応する輝度信号を生成する方式では、白黒、カラーを問わず一定の水準を持つがジャギーが発生するという問題があり、いずれの方式においても、画像に弊害が発生してしまう。
【００１０】
本発明は上記問題点を鑑みてなされたものであり、複数の輝度信号生成方式のそれぞれの方式の利点を生かし、高品質の輝度信号を得ることを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、ベイヤー配列のカラーフィルタを有する撮像素子により撮像して得られた画像信号を処理する本発明の信号処理装置は、入力した３色の画像信号から各画素位置の各色の画像信号を生成し、１色の画像信号に他の２色よりも大きな重み付けを行って、前記生成した各色の画像信号の加算処理を行うことにより、前記入力した画像信号の画素位置に対応する第１の輝度信号を生成する第１の輝度信号生成手段と、前記入力した３色の画像信号を各色の輝度信号とみなすことにより前記３色の画像信号の画素位置に対応する第２の輝度信号を生成する第２の輝度信号生成手段と、前記入力した画像信号に基づいて、当該画像信号が白黒画像を示すか、カラー画像を示すかを判別する判別手段と、前記判別手段による判別結果に応じて、前記第１の輝度信号及び前記第２の輝度信号を混合して出力する混合手段と、を有する。
【発明の効果】
【００１２】
上記の通り本発明によれば、複数の輝度信号生成方式のそれぞれの方式の利点を生かすことができるため、高品質の輝度信号を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。
【図２】図１の信号処理装置の全体動作を説明するためのフローチャートである。
【図３】本発明の第１の実施形態における白黒カラー判別処理動作を示すフローチャートである。
【図４】本発明の第１の実施形態における白黒カラー判別信号と彩度信号との関係を示す図である。
【図５】図１の斜め線検出回路の構成を示すブロック図である。
【図６】本発明の第１の実施形態における斜め線検出処理動作を示すフローチャートである。
【図７】本発明の第１の実施形態における斜め線判別信号とＢＰＦ出力との関係を示す図である。
【図８】本発明の第１の実施形態における斜め線判別信号とＬＰＦ出力との関係を示す図である。
【図９】本発明の第１の実施形態における輝度信号混合処理動作を示すフローチャートである。
【図１０】本発明の第１の実施形態における別の輝度信号混合処理動作を示すフローチャートである。
【図１１】本発明の第２の実施形態における信号処理装置の概略を示すブロック図である。
【図１２】原色ベイヤー配列を示した図である。
【図１３】SwitchY方式の説明図である。
【図１４】輝度信号の各作成方式における、キャリアの発生位置と帯域を説明する図である。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１５】
（第１の実施形態）
本第１の実施形態では、図１２に示したＲ（赤）、Ｇ（緑）、Ｂ（青）の３色からなる原色ベイヤー配列のカラーフィルタにより覆われた単板撮像素子からの信号を用いて、輝度信号を得る場合について説明する。
【００１６】
図１は本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。撮像装置は、例えば、デジタルスチルカメラ、デジタルカメラ、スキャナ、コピー機、ファクシミリを含むが、これに限るものではなく、入射する光学像を光電変換により電気的な画像として取得するものであれば、本発明を適用することが可能である。
【００１７】
図１において、１は、入射する光を光電変換して、電気信号を出力するＣＣＤなどの撮像素子（以下、ＣＣＤ）、２はＡ／Ｄ変換回路、３はホワイトバランス（ＷＢ）回路、４は信号処理装置である。上記構成において、ＣＣＤ１より出力される信号をＡ／Ｄ変換回路２によりデジタル信号に変換し、ＷＢ回路３により公知のホワイトバランス処理を施した信号を信号処理装置４に入力する。
【００１８】
信号処理装置４は、OutofGreen輝度回路５、SwitchY輝度回路６、白黒カラー判別回路７、斜め線検出回路８、輝度混合回路９を有する。OutofGreen輝度回路５は、例えば、従来技術で述べたOutofGreen方式を採用するが、画像に適応的に補間方法を切り替える方式を採用しても良い。また、SwitchY輝度回路６も、例えば、従来技術で述べたSwitchY方式を採用する。このSwitchY方式は、レッド（Ｒ）信号、グリーン（Ｇ）信号、ブルー（Ｂ）信号をそのまま輝度信号とみなす方式であり、本第１の実施形態で採用している原色ベイヤー配列の撮像素子の場合、輝度の色構成比は、Ｒ：Ｇ：Ｂ＝１：２：１である。
【００１９】
次に、図２〜図９を参照して、上記構成を有する信号処理装置４の動作について詳細に説明する。
【００２０】
図２は、信号処理装置４における処理の概略を示すフローチャートである。図２において、ＷＢ回路３からＷＢ処理された信号を受け取った信号処理装置４は（ステップＳ１１）、OutofGreen輝度回路５において、OutofGreen方式による輝度信号１を作成する（ステップＳ１２）。また、SwitchY輝度回路６において、SwitchY方式による輝度信号２を作成する（ステップＳ１２）。さらに、白黒カラー判別回路７において、被写体が白黒かカラーかを判別し、判別結果を示す白黒カラー判別信号を生成し（ステップＳ１３）、斜め線検出回路８において、被写体画像中の斜め線を検出し、斜め線の有無を示す斜め線判定信号を生成する（ステップＳ１４）。そして、これらの白黒カラー判別信号及び斜め線判定信号を基にして、輝度混合回路９は輝度信号１と輝度信号２を混合する（ステップＳ１５）。なお、ステップＳ１２〜Ｓ１４の処理を行う順番は上記に限るものではなく、異なる順番で行っても、また、処理の一部又は全部を同時に行うようにしても良い。
【００２１】
ステップＳ１３で行われる白黒カラー判別処理について、図３のフローチャートを参照しながら説明する。白黒カラー判別回路７では、まずステップＳ２１において、ホワイトバランス後の信号から例えば次の式（３）に従って彩度信号Ｃを算出する。
【００２２】
【００２３】
次に、あるレベルの閾値Ｔｈ１と比較して彩度信号Ｃが小さい時には（ステップＳ２２でＹＥＳ）、入力された信号が白黒画像を示すと判定し、白黒カラー判別信号ＤBCとして１を設定する（ステップＳ２３）。彩度信号Ｃが閾値Ｔｈ１以上である場合（ステップＳ２２でＮＯ）、ステップＳ２４で閾値Ｔｈ１よりも大きい閾値Ｔｈ２と比較し、彩度信号Ｃが閾値Ｔｈ２より大きい場合には（ステップＳ２４でＹＥＳ）カラー画像と判定し、判別信号ＤBCとして０を設定する（ステップＳ２５）。彩度信号Ｃが閾値Ｔｈ１と閾値Ｔｈ２の間にある場合には（ステップＳ２４でＮＯ）、判別信号ＤBCは、閾値Ｔｈ１およびＴｈ２からの距離に応じて線形的に１から０の間の数値をとるように構成する（ステップＳ２６）。上記処理における彩度信号Ｃと閾値Ｔｈ１及びＴｈ２、及び判別信号ＤBCとの関係を図示したものが図４である。
【００２４】
なお、白黒カラーの判別のエリアを調整するため、彩度信号Ｃに対して、例えば３×３の最大値フィルタを適用して判別領域を拡大したり、明るさで正規化するように構成して暗い部分も検出されるようにしてもよい。明るさでの正規化は、例えば、彩度を輝度Ｙで除算することで行うことができる。
【００２５】
次に、図２のステップＳ１４で行われる斜め線検出処理について、図５及び図６を参照しながら説明する。図５は斜め線検出回路８の内部構成例を示すブロック図であり、ＷＢ後のすべての色信号を用いて、バンドパスフィルタ（ＢＰＦ）Ａ回路１０、ＢＰＦＢ回路１１およびローパスフィルタ（ＬＰＦ）Ａ回路１２、ＬＰＦＢ回路１３によりジャギーが発生する領域を抽出する。
【００２６】
バンドパスフィルタとしては、例えば、フィルタ係数を垂直に［１ −４ ６ −４ １］、水平に［−１ ０ ２ ０ −１］のデジタルフィルタを適用するＢＰＦＡ回路１０と、水平に［１ −４ ６ −４ １］、垂直に［−１ ０ ２ ０ −１］のデジタルフィルタを適用するＢＰＦＢ回路１１を用いる。ローパスフィルタとしては、例えば、フィルタ係数を水平に［１ ４ ６ ４ １］、垂直に［１ −２ ２ −２ １］のデジタルフィルタを適用するＬＰＦＡ回路１２と、垂直に［１ ４ ６ ４ １］、水平に［１ −２ ２ −２ １］のデジタルフィルタを適用するＬＰＦＢ回路１３を用いる。
【００２７】
ＢＰＦＡ回路１０からの信号とＢＰＦＢ回路１１からの信号をそれぞれ絶対値化回路１４により絶対値化し、加算器１５で加算する（ステップＳ３１）。その加算信号ＳBPFと閾値Ｔｈ３とを比較し、加算信号ＳBPFの方が小さい時には（ステップＳ３２でＹＥＳ）斜め線でないと判別し、ＢＰＦ検出信号ＤBPFとして０を設定する（ステップＳ３３）。加算信号ＳBPFが閾値Ｔｈ３以上の時には（ステップＳ３２でＮＯ）、閾値Ｔｈ３よりも大きい閾値Ｔｈ４と比較する。加算信号ＳBPFの方が大きい場合には（ステップＳ３４でＹＥＳ）斜め線と判別し、ＢＰＦ検出信号ＤBPFとして１を設定する（ステップＳ３５）。加算信号ＳBPFが閾値Ｔｈ３と閾値Ｔｈ４の間にある場合には（ステップＳ３４でＮＯ）、ＢＰＦ検出信号ＤBPFは、閾値Ｔｈ３およびＴｈ４からの距離に応じて線形的に０から１の間の数値をとるように設定する（ステップＳ３６）。上記処理における加算信号ＳBPFと閾値Ｔｈ３及びＴｈ４、及びＢＰＦ検出信号ＤBPFとの関係を図示したものが図７である。
【００２８】
一方、ＬＰＦ回路の方は、ＢＰＦ回路で斜め線として検出されたエリアから低周波のエリアを除外することが目的である。すなわち、ＢＰＦ回路のみでは、余分な低域信号まで斜め線として検出してしまう場合があるので、その余分な部分を検出対象から外すようにＬＰＦ回路を構成する。
【００２９】
ＬＰＦＡ回路１２からの信号とＬＰＦＢ回路１３からの信号をそれぞれ絶対値化回路１４により絶対値化し、加算器１５で加算する（ステップＳ３７）。その加算信号ＳLPFと閾値Ｔｈ５とを比較し、加算信号ＳLPFの方が小さい時には（ステップＳ３８でＹＥＳ）、斜め線検出対象から外さないようＬＰＦ検出信号ＤLPFとして１を設定する（ステップＳ３９）。加算信号ＳLPFが閾値Ｔｈ６以下の時には（ステップＳ３８でＮＯ）、閾値Ｔｈ５よりも大きい閾値Ｔｈ６と比較する。加算信号ＳLPFの方が大きい場合には（ステップＳ４０でＹＥＳ）、斜め線検出対象から外すためＬＰＦ検出信号ＤLPFとして０を設定する（ステップＳ４１）。加算信号ＳLPFが閾値Ｔｈ５と閾値Ｔｈ６の間にある場合には、ＬＰＦ検出信号ＤLPFは、閾値Ｔｈ５およびＴｈ６からの距離に応じて線形的に０から１の間の数値をとるように設定する（ステップＳ４２）。上記処理における加算信号ＳLPFと閾値Ｔｈ５及びＴｈ６、及びＬＰＦ検出信号ＤLPFとの関係を図示したものが図８である。
【００３０】
なお、図５に示す例ではバンドパスフィルタ及びローパスフィルタを用いた構成を示したが、これに限るものではなく、例えばバンドパスフィルタの代わりにハイパスフィルタで構成したり、またローパスフィルタを用いずに、バンドパスフィルタ又はハイパスフィルタで構成してもよい。
【００３１】
次に、上記のＢＰＦ検出信号ＤBPFとＬＰＦ検出信号ＤLPFを用いて、乗算器１７により積を取った結果を、最終的な斜め線検出信号ＤDとする（ステップＳ４３）。
【００３２】
斜め線検出回路８において、より検出精度を増すため、ＢＰＦ回路やＬＰＦ回路の数を増やしても良いし、検出領域を調整するため、最大値フィルタや明るさによる正規化などを行っても良い。
【００３３】
また、図６において、ステップＳ３７〜Ｓ４２の処理をステップＳ３１〜Ｓ３６の処理より先に行うようにしても、平行して行うようにしても良い。
【００３４】
次に、図２のステップＳ１５で行われる輝度信号混合処理について、図９のフローチャートを参照しながら説明する。輝度混合回路９では、上述したようにして得た白黒カラー検出信号ＤBCと斜め線検出信号ＤDを用いて、輝度信号１および輝度信号２を混合する。
【００３５】
ここでは、入力した信号が白黒画像を示し、かつ斜め線であると判別された部分、すなわち白黒カラー判別信号ＤBCと斜め線検出信号ＤDが共に１である場合（ステップＳ５１でＹＥＳ）、輝度信号２（SwitchY方式）を選択し（ステップＳ５２）、その他の部分である場合に（ステップＳ５１でＮＯ）輝度信号１（OutofGreen方式）を選択する（ステップＳ５３）。すなわち、図１４（ａ）、（ｂ）における２の部分のみ、SwitchY方式の輝度信号を採用し、その他の部分１，３，４は、OutofGreen信号を採用するように構成する。このようにすることで、ジャギーを解消し、また、カラーの被写体に対しても低域における折り返しノイズを発生させず、良好な信号を得ることが可能となる。
【００３６】
なお、ステップＳ５１で行う判定方法の一例として、白黒カラー判別信号ＤBCと斜め線検出信号ＤDの積を取り、得られた積が１であるかどうかを判定するように構成することもできる。この場合、得られた積が１である場合に輝度信号２を選択し、それ以外の場合に輝度信号１を選択する。
【００３７】
また、デフォルトとして輝度信号１を選択するようにし、白黒カラー判別信号ＤBCと斜め線検出信号ＤDが共に１（又は積が１）である場合に、輝度信号２に置き換えるように構成しても良い。
【００３８】
また、輝度信号１又は２のいずれか一方を選択するだけではなく、白黒カラー判別信号ＤBC及び／又は斜め線検出信号ＤDが０と１の中間値を示す場合に輝度信号１又は２を混合して、最終的な輝度信号としても良い。その場合の輝度信号混合処理を図１０のフローチャートを参照して説明する。
【００３９】
上述したように積が１であるなど、入力した信号が白黒画像を示し、かつ斜め線であると判別された部分であれば（ステップＳ６１でＹＥＳ）、輝度信号２を選択し（ステップＳ６２）、積が０となる場合（ステップＳ６３でＹＥＳ）に輝度信号１を選択し（ステップＳ６４）、また、０と１の間の値αになる場合には（ステップＳ６３でＮＯ）、切り替えを滑らかにするため、次の式（４）に示すようにして輝度信号１と２を混合する（ステップＳ６５）。
[輝度] = α×[輝度信号２] +(1-α)×[輝度信号１] …（４）
【００４０】
なお、上記例では、信号処理装置４は白黒カラー判別回路７及び斜め線検出回路８の両方を有する構成について説明したが、いずれか一方のみを有する構成にしても良い。具体的には、白黒カラー判別回路７のみを有する場合、輝度混合回路９は、図９に示す処理のステップＳ５１で白黒画像か否かのみの判別を行う以外は上記と同様の処理を行う。また、図１０に示す処理ではステップＳ６１で白黒カラー判別信号ＤBCが１どうかの判別を行い、ステップＳ６３で白黒カラー判別信号ＤBCが０であるかどうかの判別を行い、ステップＳ６５では白黒カラー判別信号ＤBCをαとして用いる。それ以外は上記と同様の処理を行う。
【００４１】
一方、斜め線検出回路８のみを有する場合、輝度混合回路９は、図９に示す処理のステップＳ５１で斜め線かどうかのみの判定を行う以外は上記と同様の処理を行う。また、図１０に示す処理ではステップＳ６１で斜め線検出信号ＤDが１かどうかの判別を行い、ステップＳ６３で斜め線検出信号ＤDが０かどうかの判別を行い、ステップＳ６５では斜め線検出信号ＤDをαとして用いる。それ以外は上記と同様の処理を行う。
【００４２】
上記の通り本第１の実施形態によれば、OutofGreen輝度回路及びSwitchY輝度回路を用いて、それぞれの利点のみを活用して輝度信号を得ることが可能であり、従来斜め線に発生した折り返し信号や、色信号の折りかえりによるノイズが発生することなく、良好な輝度信号を得ることが可能である。
【００４３】
（第２の実施形態）
次に、第２の実施形態について説明する。図１１は、第２の実施形態における撮像装置の構成を示すブロック図であり、図１と同様の構成には同じ参照番号を付して説明を省略する。図１１において、２４は信号処理装置、２５はOutofGreen輝度回路、２６はSwitchY輝度回路、２７は白黒カラー判別回路、２８は斜め線検出回路、２９輝度混合回路は、３０は高域強調回路である。高域強調回路３０を除き、各回路は図１に示すものと同様な動作を行うため、ここでは詳細な説明を省略する。
【００４４】
第１の実施形態におけるOutofGreen輝度回路５およびSwitchY輝度回路６には、通常、高域強調信号をベース信号に足しこむ回路（不図示）がそれぞれ含まれているが、本第２の実施形態では、OutofGreen輝度回路２５およびSwitchY輝度回路２６は通常それぞれ含まれる高域強調回路を含まず、その代わりに共通の高域強調回路３０を設けた構成をしている。
【００４５】
高域強調回路３０は輝度混合回路２９の後に設けられ、輝度混合回路２９から出力される輝度信号にバンドパスフィルタを適用して高域信号を取り出し、元の輝度信号に足しこむ。
【００４６】
このように構成することで、第１の実施形態に比べて、高域強調回路を一つに減らすことが可能である。
【００４７】
（他の実施形態）
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルカメラ、複写機、ファクシミリ装置など）に適用してもよい。
【００４８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【００４９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５０】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図２、図３、図６、及び図９または図１１に示すフローチャートに対応するプログラムコードが格納されることになる。
【符号の説明】
【００５１】
１ 撮像素子（ＣＣＤ）
２ Ａ／Ｄ変換回路
３ ＷＢ回路
４、２４ 信号処理装置
５、２５ OutofGreen輝度回路
６、２６ SwitchY輝度回路
７、２７ 白黒カラー判別回路
８、２８ 斜め線検出回路
９、２９ 輝度混合回路
１０ バンドパスフィルタＡ回路
１１ バンドパスフィルタＢ回路
１２ ローパスフィルタＡ回路
１３ ローパスフィルタＢ回路
１４ 絶対値化回路
１５ 加算器
１６ 判別信号生成回路
１７ 乗算器
３０ 高域強調回路
【特許請求の範囲】
【請求項１】
ベイヤー配列のカラーフィルタを有する撮像素子により撮像して得られた画像信号を処理する信号処理装置であって、
入力した３色の画像信号から各画素位置の各色の画像信号を生成し、１色の画像信号に他の２色よりも大きな重み付けを行って、前記生成した各色の画像信号の加算処理を行うことにより、前記入力した画像信号の画素位置に対応する第１の輝度信号を生成する第１の輝度信号生成手段と、
前記入力した３色の画像信号を各色の輝度信号とみなすことにより前記３色の画像信号の画素位置に対応する第２の輝度信号を生成する第２の輝度信号生成手段と、
前記入力した画像信号に基づいて、当該画像信号が白黒画像を示すか、カラー画像を示すかを判別する判別手段と、
前記判別手段による判別結果に応じて、前記第１の輝度信号及び前記第２の輝度信号を混合して出力する混合手段と、
を有することを特徴とする信号処理装置。
【請求項２】
前記判別手段は、白黒画像、カラー画像又はそれらの中間を示す信号を出力し、前記中間を示す信号が出力された場合、前記混合手段は出力された信号値に基づく割合で、前記第１の輝度信号及び前記第２の輝度信号を混合することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記判別手段は、前記入力した画像信号から彩度信号を生成し、当該彩度信号に基づいて判別を行うことを特徴とする請求項１または２に記載の信号処理装置。
【請求項４】
前記入力した画像信号に基づいて、当該画像信号が示す画像中の斜め線を示す部分を検出する検出手段を更に有し、
前記混合手段は、前記判別手段による判別結果及び前記検出手段による検出結果に応じて、前記第１の輝度信号及び前記第２の輝度信号を混合することを特徴とする請求項１または２に記載の信号処理装置。
【請求項５】
ベイヤー配列のカラーフィルタを有する撮像素子により撮像して得られた画像信号を処理する信号処理装置であって、
入力した３色の画像信号から各画素位置の各色の画像信号を生成し、１色の画像信号に他の２色よりも大きな重み付けを行って、前記生成した各色の画像信号の加算処理を行うことにより、前記入力した画像信号の画素位置に対応する第１の輝度信号を生成する第１の輝度信号生成手段と、
前記入力した３色の画像信号を各色の輝度信号とみなすことにより前記３色の画像信号の画素位置に対応する第２の輝度信号を生成する第２の輝度信号生成手段と、
前記入力した画像信号に基づいて、当該画像信号が示す画像中の斜め線を示す部分を検出する検出手段と、
前記検出手段による検出結果に応じて、前記第１の輝度信号及び前記第２の輝度信号を混合して出力する混合手段と、
を有することを特徴とする信号処理装置。
【請求項６】
前記検出手段は、斜め線であることの確率を示す信号を出力し、当該信号が中間値を示す場合、前記混合手段は出力された信号値に基づく割合で、前記第１の輝度信号及び前記第２の輝度信号を混合することを特徴とする請求項５に記載の信号処理装置。
【請求項７】
前記検出手段は、斜め方向のエッジを抽出する少なくとも１つ以上のバンドパスフィルタまたはハイパスフィルタを有し、その出力結果に基づいて検出を行うことを特徴とする請求項５又は６に記載の信号処理装置。
【請求項８】
前記検出手段は、斜め方向のエッジを抽出する少なくとも１つ以上のバンドパスフィルタまたはハイパスフィルタと、少なくとも１つ以上のローパスフィルタとを有し、その出力結果に基づいて検出を行うことを特徴とする請求項５乃至７のいずれか１項に記載の信号処理装置。
【請求項９】
ベイヤー配列のカラーフィルタを有する撮像素子により撮像して得られた画像信号を処理する信号処理方法であって、
入力した３色の画像信号から各画素位置の各色の画像信号を生成し、１色の画像信号に他の２色よりも大きな重み付けを行って、前記生成した各色の画像信号の加算処理を行うことにより、前記入力した画像信号の画素位置に対応する第１の輝度信号を生成する第１の輝度信号生成工程と、
前記入力した３色の画像信号を各色の輝度信号とみなすことにより前記３色の画像信号の画素位置に対応する第２の輝度信号を生成する第２の輝度信号生成工程と、
前記入力した画像信号に基づいて、当該画像信号が白黒画像を示すか、カラー画像を示すかを判別する判別工程と、
前記判別工程による判別結果に応じて、前記第１の輝度信号及び前記第２の輝度信号を混合して出力する混合工程と、
を有することを特徴とする信号処理方法。
【請求項１０】
ベイヤー配列のカラーフィルタを有する撮像素子により撮像して得られた画像信号を処理する信号処理方法であって、
入力した３色の画像信号から各画素位置の各色の画像信号を生成し、１色の画像信号に他の２色よりも大きな重み付けを行って、前記生成した各色の画像信号の加算処理を行うことにより、前記入力した画像信号の画素位置に対応する第１の輝度信号を生成する第１の輝度信号生成工程と、
前記入力した３色の画像信号を各色の輝度信号とみなすことにより前記３色の画像信号の画素位置に対応する第２の輝度信号を生成する第２の輝度信号生成工程と、
前記入力した画像信号に基づいて、当該画像信号が示す画像中の斜め線を示す部分を検出する検出工程と、
前記検出工程による検出結果に応じて、前記第１の輝度信号及び前記第２の輝度信号を混合して出力する混合工程と、
を有することを特徴とする信号処理方法。
【請求項１１】
情報処理装置に、請求項９または１０に記載の信号処理方法の各工程を実行させるためプログラム。
【請求項１２】
請求項１１に記載のプログラムを格納したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
【請求項１】
ベイヤー配列のカラーフィルタを有する撮像素子により撮像して得られた画像信号を処理する信号処理装置であって、
入力した３色の画像信号から各画素位置の各色の画像信号を生成し、１色の画像信号に他の２色よりも大きな重み付けを行って、前記生成した各色の画像信号の加算処理を行うことにより、前記入力した画像信号の画素位置に対応する第１の輝度信号を生成する第１の輝度信号生成手段と、
前記入力した３色の画像信号を各色の輝度信号とみなすことにより前記３色の画像信号の画素位置に対応する第２の輝度信号を生成する第２の輝度信号生成手段と、
前記入力した画像信号に基づいて、当該画像信号が白黒画像を示すか、カラー画像を示すかを判別する判別手段と、
前記判別手段による判別結果に応じて、前記第１の輝度信号及び前記第２の輝度信号を混合して出力する混合手段と、
を有することを特徴とする信号処理装置。
【請求項２】
前記判別手段は、白黒画像、カラー画像又はそれらの中間を示す信号を出力し、前記中間を示す信号が出力された場合、前記混合手段は出力された信号値に基づく割合で、前記第１の輝度信号及び前記第２の輝度信号を混合することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記判別手段は、前記入力した画像信号から彩度信号を生成し、当該彩度信号に基づいて判別を行うことを特徴とする請求項１または２に記載の信号処理装置。
【請求項４】
前記入力した画像信号に基づいて、当該画像信号が示す画像中の斜め線を示す部分を検出する検出手段を更に有し、
前記混合手段は、前記判別手段による判別結果及び前記検出手段による検出結果に応じて、前記第１の輝度信号及び前記第２の輝度信号を混合することを特徴とする請求項１または２に記載の信号処理装置。
【請求項５】
ベイヤー配列のカラーフィルタを有する撮像素子により撮像して得られた画像信号を処理する信号処理装置であって、
入力した３色の画像信号から各画素位置の各色の画像信号を生成し、１色の画像信号に他の２色よりも大きな重み付けを行って、前記生成した各色の画像信号の加算処理を行うことにより、前記入力した画像信号の画素位置に対応する第１の輝度信号を生成する第１の輝度信号生成手段と、
前記入力した３色の画像信号を各色の輝度信号とみなすことにより前記３色の画像信号の画素位置に対応する第２の輝度信号を生成する第２の輝度信号生成手段と、
前記入力した画像信号に基づいて、当該画像信号が示す画像中の斜め線を示す部分を検出する検出手段と、
前記検出手段による検出結果に応じて、前記第１の輝度信号及び前記第２の輝度信号を混合して出力する混合手段と、
を有することを特徴とする信号処理装置。
【請求項６】
前記検出手段は、斜め線であることの確率を示す信号を出力し、当該信号が中間値を示す場合、前記混合手段は出力された信号値に基づく割合で、前記第１の輝度信号及び前記第２の輝度信号を混合することを特徴とする請求項５に記載の信号処理装置。
【請求項７】
前記検出手段は、斜め方向のエッジを抽出する少なくとも１つ以上のバンドパスフィルタまたはハイパスフィルタを有し、その出力結果に基づいて検出を行うことを特徴とする請求項５又は６に記載の信号処理装置。
【請求項８】
前記検出手段は、斜め方向のエッジを抽出する少なくとも１つ以上のバンドパスフィルタまたはハイパスフィルタと、少なくとも１つ以上のローパスフィルタとを有し、その出力結果に基づいて検出を行うことを特徴とする請求項５乃至７のいずれか１項に記載の信号処理装置。
【請求項９】
ベイヤー配列のカラーフィルタを有する撮像素子により撮像して得られた画像信号を処理する信号処理方法であって、
入力した３色の画像信号から各画素位置の各色の画像信号を生成し、１色の画像信号に他の２色よりも大きな重み付けを行って、前記生成した各色の画像信号の加算処理を行うことにより、前記入力した画像信号の画素位置に対応する第１の輝度信号を生成する第１の輝度信号生成工程と、
前記入力した３色の画像信号を各色の輝度信号とみなすことにより前記３色の画像信号の画素位置に対応する第２の輝度信号を生成する第２の輝度信号生成工程と、
前記入力した画像信号に基づいて、当該画像信号が白黒画像を示すか、カラー画像を示すかを判別する判別工程と、
前記判別工程による判別結果に応じて、前記第１の輝度信号及び前記第２の輝度信号を混合して出力する混合工程と、
を有することを特徴とする信号処理方法。
【請求項１０】
ベイヤー配列のカラーフィルタを有する撮像素子により撮像して得られた画像信号を処理する信号処理方法であって、
入力した３色の画像信号から各画素位置の各色の画像信号を生成し、１色の画像信号に他の２色よりも大きな重み付けを行って、前記生成した各色の画像信号の加算処理を行うことにより、前記入力した画像信号の画素位置に対応する第１の輝度信号を生成する第１の輝度信号生成工程と、
前記入力した３色の画像信号を各色の輝度信号とみなすことにより前記３色の画像信号の画素位置に対応する第２の輝度信号を生成する第２の輝度信号生成工程と、
前記入力した画像信号に基づいて、当該画像信号が示す画像中の斜め線を示す部分を検出する検出工程と、
前記検出工程による検出結果に応じて、前記第１の輝度信号及び前記第２の輝度信号を混合して出力する混合工程と、
を有することを特徴とする信号処理方法。
【請求項１１】
情報処理装置に、請求項９または１０に記載の信号処理方法の各工程を実行させるためプログラム。
【請求項１２】
請求項１１に記載のプログラムを格納したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００９−１０５９７７（Ｐ２００９−１０５９７７Ａ）
【公開日】平成２１年５月１４日（２００９．５．１４）
【国際特許分類】
【出願番号】特願２００９−２７７２９（Ｐ２００９−２７７２９）
【出願日】平成２１年２月９日（２００９．２．９）
【分割の表示】特願２００２−１５６００３（Ｐ２００２−１５６００３）の分割
【原出願日】平成１４年５月２９日（２００２．５．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年５月１４日（２００９．５．１４）
【国際特許分類】
【出願日】平成２１年２月９日（２００９．２．９）
【分割の表示】特願２００２−１５６００３（Ｐ２００２−１５６００３）の分割
【原出願日】平成１４年５月２９日（２００２．５．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]