混成画素補間装置および混成画素補間方法
【課題】画素補間処理に伴う画質劣化を改善すること。
【解決手段】混成画素補間装置１は、１画素につき１つの色成分のみを有する原画像データＤ１を、１画素につき複数の色成分を有する画素補間データへ変換する機能を有する。この混成画素補間装置１は、入力する原画像データＤ１中の所定の画素領域内の画素データを保持するレジスタ２と、このレジスタ２から入力する画素データＤ２をサンプリングして画素補間処理を行う複数の画素補間部４1，４2，…，４n-1，４n（ｎ：２以上の整数）と、混合係数α1，α2，…，αnを算出する混合係数演算部３とを備えると共に、各画素補間部４1〜４nから出力された補間データＤＩ1，ＤＩ2，…，ＤＩnを取り込み混合して出力する混合部５とを備えている。混合係数演算部３では、混合係数α1〜αnは、画質劣化を最小に抑えられるように、画素補間部４1〜４nの各々に対して算出される。
【解決手段】混成画素補間装置１は、１画素につき１つの色成分のみを有する原画像データＤ１を、１画素につき複数の色成分を有する画素補間データへ変換する機能を有する。この混成画素補間装置１は、入力する原画像データＤ１中の所定の画素領域内の画素データを保持するレジスタ２と、このレジスタ２から入力する画素データＤ２をサンプリングして画素補間処理を行う複数の画素補間部４1，４2，…，４n-1，４n（ｎ：２以上の整数）と、混合係数α1，α2，…，αnを算出する混合係数演算部３とを備えると共に、各画素補間部４1〜４nから出力された補間データＤＩ1，ＤＩ2，…，ＤＩnを取り込み混合して出力する混合部５とを備えている。混合係数演算部３では、混合係数α1〜αnは、画質劣化を最小に抑えられるように、画素補間部４1〜４nの各々に対して算出される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１画素につき１つの色成分のみをもつ原画像データについて、当該画素に欠けている色成分を補間する画素補間装置および画素補間方法に関する。
【背景技術】
【０００２】
デジタルカメラでは、被写体から入射した光は、レンズなどの光学系や光学フィルタなどを透過した後に結像し、ＣＣＤセンサやＣＭＯＳセンサなどの撮像センサで検出され光電変換を施されて、原画像データ（Raw Image Data）として出力される。一般に、撮像センサに入射した光は、光電変換を施される前に、色フィルタアレイを透過して各画素毎に着色される。色フィルタアレイは、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）の３原色、若しくは、Ｙ（黄色），Ｍ（マゼンダ色），Ｇ（緑色），Ｃ（シアン色）などの補色の色フィルタを所定の規則で配列したものが一般的である。一枚の撮像センサを用いる単板式の色フィルタアレイの場合は、各画素につき一色の色フィルタしか形成されていないため、撮像センサは、各画素につき１色成分しか持たない原画像データを出力する。その原画像データはそのままディスプレイ・モニターに表示できないため、原画像データ中の各画素に欠けている色成分を、周辺画素の色成分を参照して補間するという画素補間処理を行う必要がある。
【０００３】
図７および図８は、色フィルタの配列に合わせて各色成分をマトリクス状に配列した原画像データ１００，１１０を例示する模式図である。図７は、３原色系の色フィルタアレイの透過光を撮像した原画像データ１００を示しており、各画素にＲ，Ｇ，Ｂの何れかの色成分が一対一で対応している。太線枠１０１で囲まれる２×２画素領域の色成分配列が基本配列である。また、図８は、補色系の色フィルタアレイの透過光を撮像した原画像データ１１０を示しており、各画素にＹ，Ｍ，Ｇ，Ｃの何れかの色成分が一対一で対応している。太線枠１１１で囲まれる２×２画素領域の色成分配列が基本配列である。
【０００４】
画素補間処理においては、例えば、図７に示すように、Ｂ成分のみをもつ中央部の着目画素に対して周辺画素における４つのＲ成分と４つのＧ成分とが参照される。そして、参照した色成分を各色毎に平均化するなどして、当該着目画素に欠けているＲ成分とＧ成分とが補間される。補色系の原画像データ１１０についても同様である。例えば、図８に示すように、Ｍ成分のみをもつ着目画素に対して周辺画素における４つのＣ成分、２つのＧ成分および２つのＹ成分を参照して、欠けているＣ成分，Ｇ成分およびＹ成分が補間される。このような画素補間法に限らず、多種多様な画素補間法が存在する。
【０００５】
しかしながら、着目画素近傍の周辺画素を参照して色成分を作り出すのであるから、本来存在しない偽色の発生や、ノイズ成分の拡大などの画質劣化が生じる。特に、金属質の画像領域、色のエッジ部分および色の偏りが大きな画像領域においては、偽色が発生し易いことが知られている。また、周辺画素を各色毎に平均化して補間するため、細かい模様などを示す高周波数成分が除去され易い。
【０００６】
また、図７，図８に示したように撮像センサ上の各画素は規則的に配列しているため、細かい縞模様や格子状のパターンを撮像すると、画素補間処理により着目画素近傍の周辺画素が互いに干渉し合い、モアレ（干渉縞）が発生することも知られている。
【０００７】
従って、以上の画質劣化を避けるために、従来から、着目画素近傍の画像パターンを検出し、各画像パターンに適した補間法に切り換えるという適応型画素補間処理が行われているが、上記画質劣化を完全に除去するに至っていないのが現状である。また、補間方法を画素単位で切り換えた場合、局所的な不連続性が発生し、画質がかえって劣化するという問題もある。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
以上の現状などに鑑みて本発明が目的とするところは、画素補間処理に伴う画質劣化を大幅に改善し得る混成画素補間装置および混成画素補間方法を提供する点にある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、請求項１に係る混成画素補間装置は、１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間装置であって、前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を互いに異なる方法で補間する複数の画素補間部と、前記原画像データ中の当該着目画素を囲む第２局所領域における全ての画素の色成分を用いて、前記画素補間部の各々に割り当てられる混合係数を算出する混合係数演算部と、前記複数の画素補間部の各々から入力する補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する混合部と、を備え、前記画素補間部の一は、前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する手段と、当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する手段と、を有し、前記画素補間部の他の一は、前記原画像データの中の着目画素を囲む第１局所領域において当該着目画素に欠けている色成分の平均値を算出して当該着目画素に欠けている色成分を生成する手段を有し、前記画素補間部の前記一に割り当てられる前記混合係数は前記第２局所領域の色成分の偏りが大きいほど小さく、前記画素補間部の前記他の一に割り当てられる前記混合係数は前記第２局所領域の色成分の偏りが大きいほど大きいことを特徴としたものである。
【００１０】
請求項２に係る混成画素補間装置は、１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間装置であって、前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を互いに異なる方法で補間する複数の画素補間部と、前記原画像データ中の画素のうち当該着目画素のみの信号レベルに基づいて、前記画素補間部の各々に割り当てられる混合係数を算出する混合係数演算部と、前記複数の画素補間部の各々から入力する補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する混合部と、を備え、前記画素補間部の一は、前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する手段と、当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する手段と、を有し、前記画素補間部の他の一は、前記原画像データの中の着目画素を囲む第１局所領域において当該着目画素に欠けている色成分の平均値を算出して当該着目画素に欠けている色成分を生成する手段を有し、前記画素補間部の前記一に割り当てられる前記混合係数は、当該着目画素の信号レベルが小さいほど小さく、前記画素補間部の前記他の一に割り当てられる前記混合係数は前記着目画素の信号レベルが小さいほど大きい。
【００１１】
請求項３に係る混成画素補間装置は、請求項１記載の混成画素補間装置であって、前記混合係数演算部は、前記着目画素の信号レベルに基づいて前記各混合係数を算出する手段を有するものである。
【００１２】
請求項４に係る混成画素補間装置は、請求項２又は３記載の混成画素補間装置であって、前記混合係数演算部は、前記着目画素の信号レベルを所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出するものである。
【００１３】
請求項５に係る混成画素補間装置は、請求項１記載の混成画素補間装置であって、前記混合係数演算部は、前記第２局所領域における前記色成分に関する統計値に基づいて前記各混合係数を算出する手段を有するものである。
【００１４】
請求項６に係る混成画素補間装置は、請求項５記載の混成画素補間装置であって、前記統計値を、前記第２局所領域における各色毎の輝度の総和または平均値としたものである。
【００１５】
請求項７に係る混成画素補間装置は、請求項４記載の混成画素補間装置であって、前記統計値を、前記第２局所領域における前記色成分の各色毎の標準偏差または分散としたものである。
【００１６】
請求項８に係る混成画素補間装置は、請求項５〜７の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部は、前記統計値を用いて前記第２局所領域の色の偏り度を算出し、該偏り度に応じて前記混合係数を算出する手段を有するものである。
【００１７】
請求項９に係る混成画素補間装置は、請求項８記載の混成画素補間装置であって、前記偏り度を前記統計値の各色間の比率としたものである。
【００１８】
請求項１０に係る混成画素補間装置は、請求項９記載の混成画素補間装置であって、前記比率を前記統計値の中の最大値と最小値との比としたものである。
【００１９】
請求項１１に係る混成画素補間装置は、請求項８記載の混成画素補間装置であって、前記偏り度を前記統計値の各色間の差分としたものである。
【００２０】
請求項１２に係る混成画素補間装置は、請求項５〜１１の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部は、前記統計値または前記偏り度の値を所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出するものである。
【００２１】
請求項１３に係る混成画素補間装置は、請求項１〜１２の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部で算出された前記各混合係数を、外部入力の制御信号に応じて入れ替える手段を更に備えたものである。
【００２２】
請求項１４に係る混成画素補間装置は、請求項１〜１３の何れか１項に記載の混成画素補間装置であって、前記原画像データは、デジタルカメラに搭載される単板式の撮像素子で撮像したものである。
【００２３】
次に、請求項１５に係る混成画素補間方法は、１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間方法であって、（ａ）前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を、互いに異なる複数の画素補間工程で補間する工程と、（ｂ）前記原画像データ中の当該着目画素を囲む第２局所領域における全ての画素の色成分を用いて、前記工程（ａ）における前記各画素補間工程の各々に割り当てられる混合係数を算出する工程と、（ｃ）前記工程（ａ）において前記各画素補間工程で補間された補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する工程と、を備え、前記工程（ａ）の前記複数の画素補間工程のうち、一の画素補間工程は、（ａ−１）前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する工程と、（ａ−２）前記工程（ａ−１）で算出された当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する工程と、を有し、前記工程（ａ）の前記複数の画素補間工程のうち、前記画素補間工程の他の一は、（ａ−３）前記原画像データの中の着目画素を囲む第１局所領域において当該着目画素に欠けている色成分の平均値を算出して当該着目画素に欠けている色成分を生成する工程を有し、前記画素補間工程の前記一に割り当てられる前記混合係数は前記第２局所領域の色成分の偏りが大きいほど小さく、前記画素補間工程の前記他の一に割り当てられる前記混合係数は前記第２局所領域の色成分の偏りが大きいほど大きいことを特徴としたものである。
【００２４】
請求項１６に係る混成画素補間方法は、１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間方法であって、（ａ）前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を、互いに異なる複数の画素補間工程で補間する工程と、（ｂ）前記原画像データ中の画素のうち当該着目画素のみの信号レベルに基づいて、前記工程（ａ）における前記各画素補間工程の各々に割り当てられる混合係数を算出する工程と、（ｃ）前記工程（ａ）において前記各画素補間工程で補間された補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する工程と、を備え、前記工程（ａ）の前記複数の画素補間工程のうち、前記画素補間工程の一は、（ａ−１）前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する工程と、（ａ−２）前記工程（ａ−１）で算出された当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する工程と、を有し、前記工程（ａ）の前記複数の画素補間工程のうち、前記画素補間工程の他の一は、（ａ−３）前記原画像データの中の着目画素を囲む第１局所領域において当該着目画素に欠けている色成分の平均値を算出して当該着目画素に欠けている色成分を生成する工程を有し、前記画素補間部の前記一に割り当てられる前記混合係数は、当該着目画素の信号レベルが小さいほど小さく、前記画素補間部の前記他の一に割り当てられる前記混合係数は前記着目画素の信号レベルが小さいほど大きい。
【００２５】
請求項１７に記載の混成画素補間方法は、請求項１５記載の混成画素補間方法であって、前記工程（ｂ）は、前記着目画素の信号レベルに基づいて前記各混合係数を算出する工程を備えるものである。
【００２６】
請求項１８に係る混成画素補間方法は、請求項１６又は１７記載の混成画素補間方法であって、前記工程（ｂ）は、前記着目画素の信号レベルを所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出する工程を備えるものである。
【００２７】
請求項１９に係る混成画素補間方法は、請求項１５記載の混成画素補間方法であって、前記工程（ｂ）は、前記第２局所領域における前記色成分に関する統計値に基づいて前記各混合係数を算出する工程を備えたものである。
【００２８】
請求項２０に係る混成画素補間方法は、請求項１９記載の混成画素補間方法であって、前記統計値を、前記第２局所領域における各色毎の輝度の総和または平均値としたものである。
【００２９】
請求項２１に係る混成画素補間方法は、請求項１９記載の混成画素補間方法であって、前記統計値を、前記局所領域における前記色成分の各色毎の標準偏差または分散としたものである。
【００３０】
請求項２２に係る混成画素補間方法は、請求項１９〜２１の何れか１項に記載の混成画素補間方法であって、前記工程（ｂ）は、前記統計値を用いて前記第２局所領域の色の偏り度を算出し、該偏り度に応じて前記各混合係数を算出する工程を備えたものである。
【００３１】
請求項２３に係る混成画素補間方法は、請求項２２記載の混成画素補間方法であって、前記偏り度を前記統計値の各色間の比率としたものである。
【００３２】
請求項２４に係る混成画素補間方法は、請求項２３記載の混成画素補間方法であって、前記比率を、前記統計値のうち最大値と最小値との比としたものである。
【００３３】
請求項２５に係る混成画素補間方法は、請求項２２記載の混成画素補間方法であって、前記偏り度を前記統計値の各色間の差分としたものである。
【００３４】
請求項２６に係る混成画素補間方法は、請求項１９〜２５の何れか１項に記載の混成画素補間方法であって、前記工程（ｂ）は、前記統計値または前記偏り度の値を所定の変換テーブルに従って変換する変換工程を有し、該変換工程で変換した値に基づいて前記各混合係数を算出する工程を備えるものである。
【００３５】
請求項２７に係る混成画素補間方法は、請求項１９〜２６の何れか１項に記載の混成画素補間方法であって、（ｄ）前記工程（ｂ）で算出された前記各混合係数を、外部入力の制御信号に応じて入れ替える工程、を更に備えるものである。
【００３６】
請求項２８に係る発明は、請求項１５〜２７の何れか１項に記載の混成画素補間方法であって、前記原画像データは、デジタルカメラに搭載される単板式の撮像素子で撮像したものである。
【発明の効果】
【００３７】
以上の如く、本発明の請求項１に係る混成画素補間装置および請求項１５に係る混成画素補間方法によれば、色成分の偏りが大きいほど、画素補間部（工程）の一による補間データの色再現性が低下することろ、当該画素補間部（工程）の一に割り当てられる混合係数が小さく、画素補間部（工程）の他の一に割り当てられる混合係数が大きいので、画質劣化を抑制することができる。
【００３８】
請求項２に係る混成画素補間装置および請求項１６に係る混成画素補間方法によれば、着目画素の信号レベルが小さいほど、画素補間部（工程）の一による補間データにはノイズが強調されることろ、当該画素補間部（工程）の一に割り当てられる混合係数が小さく、画素補間部（工程）の他の一に割り当てられる混合係数が大きいので、画質劣化を抑制することができる。
【００３９】
請求項３に係る混成画素補間装置および請求項１７に係る混成画素補間方法によれば、着目画素の信号レベルに応じて最適な混合係数を算出できるため、高品位の画素補間データを得ることができる。更に請求項４に係る混成画素補間装置および請求項１８係る混成画素補間方法によれば、その信号レベルをそのまま使用する場合と比べて、混合係数をより最適化することが可能となる。
【００４０】
請求項５，６，７に係る混成画素補間装置および請求項１９，２０，２１に係る混成画素補間方法によれば、上記局所領域における画像の特性をより正確に算出して、画素補間データの画質劣化をより効果的に抑制することが可能となる。
【００４１】
請求項８および請求項２２によれば、色の偏り度合いに応じて混合係数を算出できるため、画素補間データの画質劣化をより効果的に抑制することが可能となる。
【００４２】
請求項９，１０，１１に係る混成画素補間装置および請求項２３，２４，２５に係る混成画素補間方法によれば、比較的簡素な構成および方法で色の偏り度を算出することが可能となる。
【００４３】
請求項１２および請求項２６によれば、上記統計値や偏り度をそのまま使用する場合と比べて、混合係数を最適化できるため、高品位の画素補間データを得ることができる。
【００４４】
請求項１３および請求項２７によれば、制御信号の値を切り換えることにより、細かい状況に柔軟に対応した混合係数を算出することが可能となる。
【００４５】
請求項１４および請求項２８によれば、デジタルカメラで撮像した画像の画質向上が可能となる。
【発明を実施するための最良の形態】
【００４６】
以下、本発明の種々の実施の形態について説明する。
【００４７】
実施の形態１．
図１は、本発明の実施の形態１に係る混成画素補間装置１の概略構成を示す機能ブロック図である。この混成画素補間装置１には、単板式のＣＣＤセンサまたはＣＭＯＳセンサから出力されＡ／Ｄ変換などの信号処理を施された原画像データ（Raw Image Data）Ｄ１が入力している。上述した通り、この原画像データＤ１は、各画素につき１つの色成分のみを有するものである。
【００４８】
混成画素補間装置１は、入力する原画像データＤ１中の所定の画素領域内の画素データを保持するレジスタ２と、このレジスタ２から入力する画素データＤ２をサンプリングして画素補間処理を行う複数の画素補間部４1，４2，…，４n-1，４n（ｎ：２以上の整数）と、混合係数α1，α2，…，αnを算出する混合係数演算部３とを備えると共に、各画素補間部４1〜４nから出力された補間データＤＩ1，ＤＩ2，…，ＤＩnを取り込み混合して出力する混合部５とを備えて構成されている。
【００４９】
本実施の形態１では、画素補間部４1〜４n、混合係数演算部３および混合部５はハードウェア構成を有するが、本発明ではこれに限らず、画素補間部４1〜４n、混合係数演算部３および混合部５のうち少なくとも一つの機能ブロックがソフトウェア処理で実現されるものでもよい。
【００５０】
前記レジスタ２は、例えば、３×３画素や５×５画素などの２次元画像領域の画素データを順次保持するシフトレジスタ（図示せず）やラインメモリ（図示せず）などから構成されている。このレジスタ２は、この２次元画像領域中の中央部の画素を着目画素として他の画素と区別してその色成分を保持する。また、前記画素補間部４1〜４nは、互いに異なる画素補間方法で、レジスタ２から入力する画素データＤ２をサンプリングして利用し、当該着目画素に欠けている色成分を補間する機能を有するものである。
【００５１】
また、前記混合係数演算部３は、レジスタ２から入力する画素データＤ２、或いは、画素補間部４1〜４nで処理したデータＤＰ1，ＤＰ2，…、ＤＰn-1，ＤＰnに基づいて、各画素補間部４1〜４nに割り当てる混合係数α1，α2，…，αn（係数情報Ｍc）を画素単位で演算する。それら混合係数α1〜αnは、画素補間部４1〜４nの各々が全体の画素補間処理の中で寄与する割合に比例する数値であり、混合係数の総和α1＋α2＋…＋αnは一定値に設定される。
【００５２】
また、混合部５は、前記混合係数演算部３から入力する混合係数α1〜αnを、画素補間部４1〜４nから入力する補間データＤＩ1〜ＤＩnに重み付けして（乗算して）出力する乗算回路６1〜６nを有し、更に、これら乗算回路６1〜６nから出力された全ての乗算データを加算し、画素補間データＤcとして出力する加算回路７を有している。乗算回路６1〜６nには、それぞれ、画素補間部４1〜４nから補間データＤＩ1〜ＤＩnが入力し、混合係数演算部３からは、各補間データＤＩ1〜ＤＩnに対応した混合係数α1〜αnが入力している。
【００５３】
上記混合係数演算部３は、着目画素近傍の３×３画素や５×５画素程度の局所領域の色成分に関する統計値（総和，平均値，分散，標準偏差など）を算出し、解析して、画素補間部４1〜４nの各々に割り当てる混合係数α1〜αnを算出する。その統計値の算出に利用するデータとしては、その局所領域における各色成分の輝度、色相、彩度、明度などが挙げられる。また、画素データＤ２の色空間（表色系）を、国際照明委員会（ＣＩＥ）により策定されたＸＹＺ表色系に変換したり、その色成分を、明度Ｙと色度ｘ，ｙ（ｘ，ｙ：色相と彩度を表す値）とからなる色度座標系に変換したりした後に、局所領域における統計値を算出してもよい。
【００５４】
以上の混成画素補間装置１によれば、各画素補間部４1〜４nから出力された補間データＤＩ1〜ＤＩnは、混合係数演算部３によって割り当てられた混合係数α1〜αnの比率で混合される。混合係数演算部３は前述の統計値に基づいて、各画素補間部４1〜４nが有する利点または弱点に応じて混合係数α1〜αnを算出する。従って、各画素補間部４1〜４nが有する弱点を互いに補い合い得るように、若しくは各画素補間部４1〜４nが有する利点を強調し得るように、局所領域の画像の特性に応じて最適な画素補間処理を実行でき、高品位の補間データＤcを得ることが可能となる。
【００５５】
尚、本実施の形態１では、画素補間部４1〜４nは並列処理で生成した補間データＤＩ1〜ＤＩnを出力し、これら補間データＤＩ1〜ＤＩnが混合係数α1〜αnの比率で同時に混合されているが、本発明では必ずしも補間データＤＩ1〜ＤＩnを同時に混合する必要は無く、補間データＤＩ1〜ＤＩnの混合処理を多段階で行ってもよい。例えば、２種類の画素補間部の出力データを混合して得られる混合データを出力した後に、この混合データと他の画素補間部の出力データとを混合するという２段階の混合処理が可能である。
【００５６】
実施の形態２．
次に、上記実施の形態１に係る混成画素補間装置１の具体例として、実施の形態２に係る混成画素補間装置およびその方法について説明する。図２は、本実施の形態に係る混成画素補間装置の概略構成図である。この混成画素補間装置は、外部から入力する原画像データＤ１の局所領域の画素データを保持するレジスタ２と、互いに異なる方法で画素補間処理を行う画素補間部４1，４2と、混合係数α，１−α（０≦α≦１）を算出する混合係数演算部３と、各画素補間部４1，４2から出力された補間データＤＩ1，ＤＩ2を混合する混合部５とを備えている。尚、混合係数αの数値範囲（０≦α≦１）は１０進表記の小数で表現されているが、実際には、混合係数αの上限である"１"の値はデジタル処理系に応じて決められるものである。
【００５７】
図３は、レジスタ２に保持される５×５画素領域の画像データ３０を例示する模式図である。同図に示されるように、画像データ３０は、図７に示した色成分配列に従って構成されており、斜線で示される中央部の画素が着目画素Ｐcである。図２に示す画素補間部４1，４2は、図３に示す画素領域のうち、太線枠３２の内部の５×５画素領域もしくは太線枠３１の内部の３×３画素領域の局所領域の画素データをサンプリングして画素補間処理を実行する機能をもつ。
【００５８】
前記画素補間部４1は、局所領域内のＲ，Ｇ，Ｂ，…の輝度値を各色毎に平均化した平均値（統計値）ＡＶ１，ＡＶ２，ＡＶ３を算出する平均化回路１０Ａ，１０Ｂ，１０Ｃと、除算回路１１Ａ，１１Ｂと、乗算回路１２，１３とで構成される。平均化回路１０Ａは、着目画素Ｐcが有する色成分に関する平均値ＡＶ１を算出するものである。図３に示した例では、その平均値ＡＶ１として、局所領域内の全てのＢ成分の算術平均値が求められる。その他の平均化回路１０Ｂ，１０Ｃは、それぞれ、当該着目画素Ｐcに欠けている色成分に関する平均値ＡＶ２，ＡＶ３を算出するものである。図３に示した例では、それら平均値ＡＶ２，ＡＶ３として、局所領域内の全てのＲ成分とＧ成分の算術平均値が求められることになる。
【００５９】
除算回路１１Ａには、着目画素Ｐcの色成分に関する平均値ＡＶ１とその他の平均値ＡＶ２とが入力し、除算回路１１Ａは、平均値ＡＶ２を平均値ＡＶ１で除算して得られる比率（＝ＡＶ２／ＡＶ１）を乗算回路１２に出力する。他方の除算回路１１Ｂには、着目画素Ｐcの色成分に関する平均値ＡＶ１とその他の平均値ＡＶ３とが入力し、除算回路１１Ａは、平均値ＡＶ３を平均値ＡＶ１で除算して得られる比率（＝ＡＶ３／ＡＶ１）を乗算回路１３に出力する。乗算回路１２，１３は、それぞれ、除算回路１１Ａ，１１Ｂから入力するデータと着目画素Ｐcの画素データと乗算し、当該着目画素Ｐcに欠けている色成分として出力する。そして、これら除算回路１２，１３から出力された各色成分は、信号線上で結合されデータＤＩ1となって混合部５に出力される。
【００６０】
以上の画素補間部４1の処理内容は数学的には次の通りである。着目画素Ｐcの画素値をＳcで表し、当該着目画素Ｐcに欠けている色成分の画素値をＳ１，Ｓ２で表すとき、以下の式（１），（２）が成立する。
【００６１】
Ｓ１＝（ＡＶ２／ＡＶ１）×Ｓc …（１）
Ｓ２＝（ＡＶ３／ＡＶ１）×Ｓc …（２）
尚、上式（１），（２）に示すように、画素値Ｓ１，Ｓ２を算出する際に、局所領域内の輝度値の平均値ＡＶ１〜ＡＶ３を使用したが、本発明ではこれに限らず、局所領域内における各色の画素数が等しい場合には、平均値ＡＶ１〜ＡＶ３の代わりに、その局所領域の各色の輝度の総和を用いても同一の画素値Ｓ１，Ｓ２を得ることができる。
【００６２】
このように、着目画素Ｐcの周辺画素のデータは、比率（ＡＶ２／ＡＶ１，ＡＶ３／ＡＶ１）を算出する際に使用されるが、周辺画素を使用した内挿補間などの従来法では使用されない。また、当該着目画素Ｐcに欠けている色成分は、それら比率を着目画素の画素値Ｓcに重み付けして得られるものである。従って、画素補間後の画像中に偽色は発生せず、周辺画素同士が干渉し合うモアレも発生せず、高周波数成分が損なわれることがないため、欠けている色成分を高い精度で再現することができる。尚、上記では、着目画素がＢ成分をもつ場合について説明したが、着目画素が他の色成分（Ｒ成分、Ｇ成分）をもつ場合にも同様の補間法を適用できることは自明である。
【００６３】
但し、画素補間部４1の画素補間法では、ＳＮ比が悪くて当該着目画素Ｐcにノイズが混入している場合には、そのノイズが強調され完全に再現されるという弱点がある。特に原画像データの低輝度部分にはノイズが混入され易いことから、着目画素Ｐcが低輝度をもつ場合には画素補間部４1に割り当てる混合係数の値を小さくすることが望ましい。
【００６４】
更に、色のエッジ部分や比較的狭い画素領域において、色が白黒に変化し脱色が起こるという弱点もある。欠けている色成分を正確に算出するには、局所領域において平均値ＡＶ１〜ＡＶ３を算出する際に、当該局所領域中に各色毎にある程度の平均信号レベルが必要とされるが、色の偏り度合いが大きい場合には特定の色の平均信号レベルが低くなり、前述の脱色が起きて色再現性が低下してしまう。この色再現性の低下を避けるには、局所領域における色の偏り度合いが小さい場合には、画素補間部４1に割り当てる混合係数の値を大きく調整し、その色の偏り度合いが大きい場合には当該混合係数の値を小さく調整するのが望ましい。
【００６５】
図２に示す画素補間部４2は、レジスタ２から入力する画素データＤ２を用いて、従来の周辺画素を利用した内挿補間法による画素補間機能を有し、補間データＤＩ2を混合部５に出力する。但し、画素補間部４2は必ずしも内挿補間法を採用する必要は無く、上述した画素補間部４1の弱点を補い得る画素補間機能を有していればよい。
【００６６】
尚、本実施の形態では、混合係数演算部３は、画素補間部４1の平均化回路１０Ａ，１０Ｂ，１０Ｃから伝達した値を利用しているが、本発明ではその代わりに、混合係数演算部３の内部に上記平均値ＡＶ１，ＡＶ２，ＡＶ３を算出する平均化回路が形成されていてもよい。
【００６７】
混合係数演算部３は、上述の画素補間部４1が有する弱点を補い、またこの画素補間部４1が有する利点を強調し得るように、混合係数α，１−αを算出する機能をもつ。図２に示すように、混合係数演算部３は、レジスタ２から伝達する着目画素Ｐcの画素値Ｓcを所定の変換テーブル２０ｃに従って変換する第１の変換回路２０を備えている。図４は、入力値と出力値との対応例を示すグラフである。このグラフには、入力値に関して一様に増加する関数を表す変換曲線３３ａ，３３ｂ，３３ｃが示されており、変換テーブル２０ｃは、このような変換曲線３３ａ〜３３ｃ上の入力値と出力値との組を格納している。
【００６８】
このような変換回路２０は、レジスタ２から入力する着目画素Ｐcのデータを、前記変換テーブル２０ｃに従って変換して加算回路２４に出力する。図４に示す変換曲線３３ａ〜３３ｃは、何れも、低輝度の入力値に対して出力値を低く抑えた形状をもつ。これは、原画像データの低輝度部分に含まれるノイズの影響を低く抑えるためである。
【００６９】
また、混合係数演算部３は、更に、上記平均化回路１０Ａ，１０Ｂ，１０Ｃから伝達する平均値ＡＶ１，ＡＶ２，ＡＶ３を昇順または降順に並べ替えて出力するソート回路２１と、除算回路２２と、この除算回路２２から入力する画素値を所定の変換テーブル２３ｃに従って変換する第２の変換回路２３とを備えている。除算回路２２は、ソート回路２１から出力される各色の平均値ＡＶ１，ＡＶ２，ＡＶ３のうち最小値（Ｍｎ）を最大値（Ｍｘ）で除算した値（Ｍｎ／Ｍｘ）を、偏り度として算出する。このように最小値と最大値とを抽出し、常に最小値を最大値で除算することにより、ゼロ値除算によるオーバーフローの発生を回避することができる。
【００７０】
尚、本実施の形態では、色の偏り度として平均値ＡＶ１〜ＡＶ３の中の最小値と最大値との比を採用するが、その代わりに、その最小値（Ｍｎ）と最大値（Ｍｘ）との差分もしくは差分絶対値を採用してもよい。
【００７１】
また、図５は、第２の変換回路２３が備える変換テーブル２３ｃの入力値と出力値との対応例を示すグラフである。図４に示したグラフと同様に、図５には、入力値に関して一様に増加する関数を表す変換曲線３４が示されており、変換テーブル２３ｃは、このような変換曲線３４上の入力値と出力値との組を格納している。この第２の変換回路２３は、除算回路２２から入力するデータを前記変換テーブル２３ｃに従って変換して加算回路２４に出力する。
【００７２】
尚、上記の変換回路２０，２３には、入力値をアドレス・データとし、このアドレス・データに対応する記憶データを出力値として出力するメモリ回路（ＬＵＴ（ルック・アップ・テーブル）回路）を使用すればよい。また、この種のメモリ回路の代わりに、入力値に対応する４点程度の出力値のみを記憶するレジスタを備え、実際の入力値がレジスタのデータと対応している場合はそのデータを出力し、それが対応していない場合はレジスタの４点のデータを用いて内挿補間して出力する簡易的な演算回路を使用しても構わない。
【００７３】
除算回路２２で算出した除算値（Ｍｎ／Ｍｘ）は、局所領域における色の偏り度を示す値である。図５に示すように、変換回路２３に入力するその除算値が小さい程に色の偏り度が大きくなり、その除算値が大きい程に色の偏り度が小さくなる。変換回路２３は、図５のようなグラフに従って、色の偏り度が大きい程に小さな値を出力し、色の偏り度が小さい程に大きな値を出力する。
【００７４】
そして、加算回路２４は、第１および第２の変換回路２０，２３から入力する値を加算して内部係数β（０≦β≦１）を、減算回路２５と、第１セレクタ２７の"０"側端子と、第２セレクタ２８の"１"側端子とにそれぞれ出力する。減算回路２５は、内部係数βの上限値から内部係数βを減算した値（＝１−β）を第１セレクタ２７の"１"側端子に出力する。
【００７５】
また、第１セレクタ２７は、レジスタ２６から供給される選択信号Ｓｔの論理値が"０"か"１"かに応じて"０"側端子または"１"側端子を選択し、選択した端子から入力するデータを混合係数αとして混合部５に出力するものである。レジスタ２６は、ＣＰＵ（図示せず）などから伝達した選択信号Ｓｔを保持し、第１セレクタ２７と第２セレクタ２８とに供給している。その選択信号Ｓｔの論理値は、デフォルトでは"０"に設定されている。また、他方の第２セレクタ２８は、レジスタ２６から伝達する選択信号Ｓｔの論理値が"０"か"１"かに応じて"０"側端子または"１"側端子を選択し、選択した端子から入力するデータを混合係数１−αとして混合部５に出力するものである。
【００７６】
混合部５には、混合係数演算部３から混合係数α，１−αが入力している。この混合部５において、乗算回路６1は、第１の画素補間部４1から入力する補間データＤＩ1と混合係数αとを乗算して加算回路７に出力し、他方の乗算回路６2は、第２の画素補間部４2から入力する補間データＤＩ2と混合係数１−αとを乗算して加算回路７に出力する。最終的に、加算回路７は、各乗算回路６1，６2から入力するデータを画素単位で加算して画素補間データＤcとして出力する。
【００７７】
以上の実施の形態２に係る混成画素補間装置によれば、着目画素Ｐcの輝度値と、除算回路２２から出力される最大値（Ｍｘ）および最小値（Ｍｎ）の比（Ｍｎ／Ｍｘ）とに応じて混合係数α，１−αが算出される。よって、原画像データの局所領域中に、上述した第１の画素補間部４1が有する弱点を出現させる特性（色の偏り度合いが大きいこと、ノイズの多い低輝度部分）が含まれていた場合には、混合係数αの値を小さく調整し、第１の画素補間部４1の寄与を小さく、第２の画素補間部４2の寄与を大きくすることができる。従って、画質劣化が抑制された高品位の画素補間データＤcを得ることが可能である。
【００７８】
尚、本実施の形態では、局所領域における各色毎の輝度の平均値ＡＶ１〜ＡＶ３の最小値と最大値との比（＝Ｍｎ／Ｍｘ）を色の偏り度として採用したが、本発明ではその比に限らず、統計量である標準偏差σや分散σ2を算出しこれら統計量を用いて偏り度を算出して使用することもできる。尚、局所領域内の任意の画素値Ｓxに対して偏差Δは、Δ＝（Ｓx−Ｋ）（Ｋ：ＡＶ１〜ＡＶ３の何れか）で定義される。このとき、分散σ2は、局所領域内におけるΔ2の平均値であり、標準偏差σは、分散σ2の正平方根である。
【００７９】
また、変換回路２０，２３は、変換テーブル２０ｃ，２３ｃに従って、着目画素Ｐcの画素値Ｓcや色の偏り度を示す比（＝Ｍｎ／Ｍｘ）を別の値に変換している。従って、各変換テーブル２０ｃ，２３ｃの変換曲線を調整することにより混合係数α，１−αを最適化して上記画質劣化を最小に抑制できる。また、変換回路２０，２３が複数の変換テーブルを切り換え自在に有する場合には、複数の状況に対応して変換テーブルを切り換えることにより混合係数α，１−αを最適化することができる。具体的には、この混成画素補間装置を複数の撮影モードに対応したデジタルカメラに組み込んだ場合が想定される。撮影モードとしては「風景撮影モード」，「ポートレート撮影モード」，「接写モード」，「夜間撮影モード」などが挙げられるが、各撮影モードに最適な変換テーブルを選択することができる。
【００８０】
更に、本実施の形態に係る混成画素補間装置は、レジスタ２６の選択信号Ｓｔの論理値に応じて内部係数β，１−βを入れ替えて出力するセレクタ２７，２８を備えているため、選択信号Ｓｔの論理値を外部から指定することで、状況に柔軟に対応した混合係数α，１−αを算出できる。例えば、この混成画素補間装置を複数の撮影モードに対応したデジタルカメラに組み込んだ場合は、ＣＰＵなどの判断により前述の各撮影モードに応じて画質劣化が小さくなるように、選択信号Ｓｔの論理値を指定することができる。
【００８１】
尚、本実施の形態１では、変換回路２０，２３の出力値を加算する加算回路２４を用いて内部係数βを算出していたが、その加算回路２４に代えて、双方の出力値の大小関係を判定し、大きい方または小さい方の出力値を選択して出力する大小判定回路を用いてもよい。その種の大小判定回路を用いる場合は、着目画素の輝度値の変換値（変換回路２０の出力値）と、色の偏り度の変換値（変換回路２３の出力値）との何れか一方を他方に優先して使用できることから、変換回路２０，２３の双方から中レベルの変換値が出力され、内部係数βが上限値付近で容易に飽和してしまうのを避けることが可能となる。
【００８２】
実施の形態１の変形例．
図６は、上記実施の形態１の変形例に係る混成画素補間装置の概略構成図である。本変形例に係る混成画素補間装置は、補色系の色フィルタアレイを有する単板式の撮像センサで撮像した原画像データＤ１に対応しており、その基本構成は、図２に示した混成画素補間装置と同じである。図６中、図２に示した符号と同一符号を付された構成要素は、上記の構成要素の機能と略同じ機能を有するものとして詳細な説明を省略する。
【００８３】
この混成画素補間装置は、図８に示したような４種類の補色成分をもつ原画像データＤ１の局所領域における画素データを保持するレジスタ２と、このレジスタ２から入力する画素データＤ２をサンプリングして画素補間処理を行う２種類の画素補間部４3，４4と、混合係数α，１−α（０≦α≦１）を算出する混合係数演算部３Ｆと、各画素補間部４3，４4から出力された補間データＤＩ3，ＤＩ4を混合する混合部５とを備えている。
【００８４】
第１の画素補間部４3は、図２に示した画素補間部４1の機能と略同じ機能を有する。また、第２の画素補間部４4は、第１の画素補間部４3が有する弱点を補う画素補間処理機能を有するものである。第１の画素補間部４3は、局所領域内の４種類の補色成分を各色毎に平均化した平均値（統計値）ＡＶ１，ＡＶ２，ＡＶ３，ＡＶ３を算出する平均化回路４０Ａ，４０Ｂ，４０Ｃ，４０Ｄと、除算回路４１Ａ，４１Ｂ，４１Ｃと、乗算回路４２，４３，４４とで構成されている。平均化回路４０Ａ〜４０Ｄのうち平均化回路４０Ａは、着目画素Ｐcの補色成分に関する平均値ＡＶ１を算出する。また、除算回路４１Ａ，４１Ｂ，４１Ｃは、それぞれ、平均値ＡＶ２，ＡＶ３，ＡＶ４を着目画素Ｐcの平均値ＡＶ１で除算した値を乗算回路４２，４３，４４に出力する。そして、乗算回路４２，４３，４４は、次式（３），（４），（５）に従って、当該着目画素Ｐcに欠けている補色成分の画素値Ｓ１，Ｓ２，Ｓ３を算出し、これらを信号線上で束ねて補間データＤＩ3として混合部５に出力する。
【００８５】
Ｓ１＝（ＡＶ２／ＡＶ１）×Ｓc …（３）
Ｓ２＝（ＡＶ３／ＡＶ１）×Ｓc …（４）
Ｓ３＝（ＡＶ４／ＡＶ１）×Ｓc …（５）
また、混合係数演算部３Ｆは、図２に示した混合係数演算部３の機能と略同じ機能を有する。すなわち、この混合係数演算部３Ｆにおいて、変換回路５０は、図２に示した変換回路２０と同様に、内部の変換テーブル５０ｃに従って着目画素Ｐcの輝度値を変換して出力する。また、ソート回路５１は、画素補間部４3から入力する平均値ＡＶ１〜ＡＶ４を昇順または降順に並べ替えて出力し、除算回路２２は、ソート回路５１から入力する平均値ＡＶ１〜ＡＶ４の最大値（Ｍｘ）と最小値（Ｍｎ）との比（Ｍｎ／Ｍｘ）を算出し、変換回路５３は、図２に示した変換回路２３と同様に、内部の変換テーブル５３ｃに従って除算回路２２から入力する除算値を変換して出力する。
【００８６】
また、加算回路５４は、変換回路５０と変換回路５３とから入力するデータを加算して内部係数βとして出力し、減算回路２５は、内部係数βの上限値（＝１）から当該内部係数βを除算した値（＝１−β）を出力する。そして、セレクタ２７，２８は、レジスタ２６から供給される選択信号Ｓｔの論理値に応じて内部係数β、１−βを選択し、混合係数α，１−αとして混合部５に出力する。
【００８７】
最終的に、混合部５は、画素補間部４3から入力する補間データＤＩ3と混合係数αとを乗算した値と、画素補間部４4から入力する補間データＤＩ4と混合係数１−αとを乗算した値とを加算し、画素補間データＤcとして出力することになる。
【図面の簡単な説明】
【００８８】
【図１】本発明の実施の形態１に係る混成画素補間装置の概略構成を示す機能ブロック図である。
【図２】本発明の実施の形態２に係る混成画素補間装置の概略構成図である。
【図３】レジスタに保持される５×５画素領域の画像データを例示する模式図である。
【図４】第１の変換回路での入力値と出力値との対応例を示すグラフである。
【図５】第２の変換回路での入力値と出力値との対応例を示すグラフである。
【図６】実施の形態１の変形例に係る混成画素補間装置の概略構成図である。
【図７】Ｒ，Ｇ，Ｂの３原色成分をマトリクス状に配列した原画像データを例示する模式図である。
【図８】Ｙ，Ｍ，Ｇ，Ｃの補色成分をマトリクス状に配列した原画像データを例示する模式図である。
【符号の説明】
【００８９】
１ 混成画素補間装置
２ レジスタ
３ 混合係数演算部
４1〜４n 画素補間部
５ 混合部
６1〜６n 乗算回路
７ 加算回路
【技術分野】
【０００１】
本発明は、１画素につき１つの色成分のみをもつ原画像データについて、当該画素に欠けている色成分を補間する画素補間装置および画素補間方法に関する。
【背景技術】
【０００２】
デジタルカメラでは、被写体から入射した光は、レンズなどの光学系や光学フィルタなどを透過した後に結像し、ＣＣＤセンサやＣＭＯＳセンサなどの撮像センサで検出され光電変換を施されて、原画像データ（Raw Image Data）として出力される。一般に、撮像センサに入射した光は、光電変換を施される前に、色フィルタアレイを透過して各画素毎に着色される。色フィルタアレイは、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）の３原色、若しくは、Ｙ（黄色），Ｍ（マゼンダ色），Ｇ（緑色），Ｃ（シアン色）などの補色の色フィルタを所定の規則で配列したものが一般的である。一枚の撮像センサを用いる単板式の色フィルタアレイの場合は、各画素につき一色の色フィルタしか形成されていないため、撮像センサは、各画素につき１色成分しか持たない原画像データを出力する。その原画像データはそのままディスプレイ・モニターに表示できないため、原画像データ中の各画素に欠けている色成分を、周辺画素の色成分を参照して補間するという画素補間処理を行う必要がある。
【０００３】
図７および図８は、色フィルタの配列に合わせて各色成分をマトリクス状に配列した原画像データ１００，１１０を例示する模式図である。図７は、３原色系の色フィルタアレイの透過光を撮像した原画像データ１００を示しており、各画素にＲ，Ｇ，Ｂの何れかの色成分が一対一で対応している。太線枠１０１で囲まれる２×２画素領域の色成分配列が基本配列である。また、図８は、補色系の色フィルタアレイの透過光を撮像した原画像データ１１０を示しており、各画素にＹ，Ｍ，Ｇ，Ｃの何れかの色成分が一対一で対応している。太線枠１１１で囲まれる２×２画素領域の色成分配列が基本配列である。
【０００４】
画素補間処理においては、例えば、図７に示すように、Ｂ成分のみをもつ中央部の着目画素に対して周辺画素における４つのＲ成分と４つのＧ成分とが参照される。そして、参照した色成分を各色毎に平均化するなどして、当該着目画素に欠けているＲ成分とＧ成分とが補間される。補色系の原画像データ１１０についても同様である。例えば、図８に示すように、Ｍ成分のみをもつ着目画素に対して周辺画素における４つのＣ成分、２つのＧ成分および２つのＹ成分を参照して、欠けているＣ成分，Ｇ成分およびＹ成分が補間される。このような画素補間法に限らず、多種多様な画素補間法が存在する。
【０００５】
しかしながら、着目画素近傍の周辺画素を参照して色成分を作り出すのであるから、本来存在しない偽色の発生や、ノイズ成分の拡大などの画質劣化が生じる。特に、金属質の画像領域、色のエッジ部分および色の偏りが大きな画像領域においては、偽色が発生し易いことが知られている。また、周辺画素を各色毎に平均化して補間するため、細かい模様などを示す高周波数成分が除去され易い。
【０００６】
また、図７，図８に示したように撮像センサ上の各画素は規則的に配列しているため、細かい縞模様や格子状のパターンを撮像すると、画素補間処理により着目画素近傍の周辺画素が互いに干渉し合い、モアレ（干渉縞）が発生することも知られている。
【０００７】
従って、以上の画質劣化を避けるために、従来から、着目画素近傍の画像パターンを検出し、各画像パターンに適した補間法に切り換えるという適応型画素補間処理が行われているが、上記画質劣化を完全に除去するに至っていないのが現状である。また、補間方法を画素単位で切り換えた場合、局所的な不連続性が発生し、画質がかえって劣化するという問題もある。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
以上の現状などに鑑みて本発明が目的とするところは、画素補間処理に伴う画質劣化を大幅に改善し得る混成画素補間装置および混成画素補間方法を提供する点にある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、請求項１に係る混成画素補間装置は、１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間装置であって、前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を互いに異なる方法で補間する複数の画素補間部と、前記原画像データ中の当該着目画素を囲む第２局所領域における全ての画素の色成分を用いて、前記画素補間部の各々に割り当てられる混合係数を算出する混合係数演算部と、前記複数の画素補間部の各々から入力する補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する混合部と、を備え、前記画素補間部の一は、前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する手段と、当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する手段と、を有し、前記画素補間部の他の一は、前記原画像データの中の着目画素を囲む第１局所領域において当該着目画素に欠けている色成分の平均値を算出して当該着目画素に欠けている色成分を生成する手段を有し、前記画素補間部の前記一に割り当てられる前記混合係数は前記第２局所領域の色成分の偏りが大きいほど小さく、前記画素補間部の前記他の一に割り当てられる前記混合係数は前記第２局所領域の色成分の偏りが大きいほど大きいことを特徴としたものである。
【００１０】
請求項２に係る混成画素補間装置は、１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間装置であって、前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を互いに異なる方法で補間する複数の画素補間部と、前記原画像データ中の画素のうち当該着目画素のみの信号レベルに基づいて、前記画素補間部の各々に割り当てられる混合係数を算出する混合係数演算部と、前記複数の画素補間部の各々から入力する補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する混合部と、を備え、前記画素補間部の一は、前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する手段と、当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する手段と、を有し、前記画素補間部の他の一は、前記原画像データの中の着目画素を囲む第１局所領域において当該着目画素に欠けている色成分の平均値を算出して当該着目画素に欠けている色成分を生成する手段を有し、前記画素補間部の前記一に割り当てられる前記混合係数は、当該着目画素の信号レベルが小さいほど小さく、前記画素補間部の前記他の一に割り当てられる前記混合係数は前記着目画素の信号レベルが小さいほど大きい。
【００１１】
請求項３に係る混成画素補間装置は、請求項１記載の混成画素補間装置であって、前記混合係数演算部は、前記着目画素の信号レベルに基づいて前記各混合係数を算出する手段を有するものである。
【００１２】
請求項４に係る混成画素補間装置は、請求項２又は３記載の混成画素補間装置であって、前記混合係数演算部は、前記着目画素の信号レベルを所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出するものである。
【００１３】
請求項５に係る混成画素補間装置は、請求項１記載の混成画素補間装置であって、前記混合係数演算部は、前記第２局所領域における前記色成分に関する統計値に基づいて前記各混合係数を算出する手段を有するものである。
【００１４】
請求項６に係る混成画素補間装置は、請求項５記載の混成画素補間装置であって、前記統計値を、前記第２局所領域における各色毎の輝度の総和または平均値としたものである。
【００１５】
請求項７に係る混成画素補間装置は、請求項４記載の混成画素補間装置であって、前記統計値を、前記第２局所領域における前記色成分の各色毎の標準偏差または分散としたものである。
【００１６】
請求項８に係る混成画素補間装置は、請求項５〜７の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部は、前記統計値を用いて前記第２局所領域の色の偏り度を算出し、該偏り度に応じて前記混合係数を算出する手段を有するものである。
【００１７】
請求項９に係る混成画素補間装置は、請求項８記載の混成画素補間装置であって、前記偏り度を前記統計値の各色間の比率としたものである。
【００１８】
請求項１０に係る混成画素補間装置は、請求項９記載の混成画素補間装置であって、前記比率を前記統計値の中の最大値と最小値との比としたものである。
【００１９】
請求項１１に係る混成画素補間装置は、請求項８記載の混成画素補間装置であって、前記偏り度を前記統計値の各色間の差分としたものである。
【００２０】
請求項１２に係る混成画素補間装置は、請求項５〜１１の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部は、前記統計値または前記偏り度の値を所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出するものである。
【００２１】
請求項１３に係る混成画素補間装置は、請求項１〜１２の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部で算出された前記各混合係数を、外部入力の制御信号に応じて入れ替える手段を更に備えたものである。
【００２２】
請求項１４に係る混成画素補間装置は、請求項１〜１３の何れか１項に記載の混成画素補間装置であって、前記原画像データは、デジタルカメラに搭載される単板式の撮像素子で撮像したものである。
【００２３】
次に、請求項１５に係る混成画素補間方法は、１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間方法であって、（ａ）前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を、互いに異なる複数の画素補間工程で補間する工程と、（ｂ）前記原画像データ中の当該着目画素を囲む第２局所領域における全ての画素の色成分を用いて、前記工程（ａ）における前記各画素補間工程の各々に割り当てられる混合係数を算出する工程と、（ｃ）前記工程（ａ）において前記各画素補間工程で補間された補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する工程と、を備え、前記工程（ａ）の前記複数の画素補間工程のうち、一の画素補間工程は、（ａ−１）前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する工程と、（ａ−２）前記工程（ａ−１）で算出された当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する工程と、を有し、前記工程（ａ）の前記複数の画素補間工程のうち、前記画素補間工程の他の一は、（ａ−３）前記原画像データの中の着目画素を囲む第１局所領域において当該着目画素に欠けている色成分の平均値を算出して当該着目画素に欠けている色成分を生成する工程を有し、前記画素補間工程の前記一に割り当てられる前記混合係数は前記第２局所領域の色成分の偏りが大きいほど小さく、前記画素補間工程の前記他の一に割り当てられる前記混合係数は前記第２局所領域の色成分の偏りが大きいほど大きいことを特徴としたものである。
【００２４】
請求項１６に係る混成画素補間方法は、１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間方法であって、（ａ）前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を、互いに異なる複数の画素補間工程で補間する工程と、（ｂ）前記原画像データ中の画素のうち当該着目画素のみの信号レベルに基づいて、前記工程（ａ）における前記各画素補間工程の各々に割り当てられる混合係数を算出する工程と、（ｃ）前記工程（ａ）において前記各画素補間工程で補間された補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する工程と、を備え、前記工程（ａ）の前記複数の画素補間工程のうち、前記画素補間工程の一は、（ａ−１）前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する工程と、（ａ−２）前記工程（ａ−１）で算出された当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する工程と、を有し、前記工程（ａ）の前記複数の画素補間工程のうち、前記画素補間工程の他の一は、（ａ−３）前記原画像データの中の着目画素を囲む第１局所領域において当該着目画素に欠けている色成分の平均値を算出して当該着目画素に欠けている色成分を生成する工程を有し、前記画素補間部の前記一に割り当てられる前記混合係数は、当該着目画素の信号レベルが小さいほど小さく、前記画素補間部の前記他の一に割り当てられる前記混合係数は前記着目画素の信号レベルが小さいほど大きい。
【００２５】
請求項１７に記載の混成画素補間方法は、請求項１５記載の混成画素補間方法であって、前記工程（ｂ）は、前記着目画素の信号レベルに基づいて前記各混合係数を算出する工程を備えるものである。
【００２６】
請求項１８に係る混成画素補間方法は、請求項１６又は１７記載の混成画素補間方法であって、前記工程（ｂ）は、前記着目画素の信号レベルを所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出する工程を備えるものである。
【００２７】
請求項１９に係る混成画素補間方法は、請求項１５記載の混成画素補間方法であって、前記工程（ｂ）は、前記第２局所領域における前記色成分に関する統計値に基づいて前記各混合係数を算出する工程を備えたものである。
【００２８】
請求項２０に係る混成画素補間方法は、請求項１９記載の混成画素補間方法であって、前記統計値を、前記第２局所領域における各色毎の輝度の総和または平均値としたものである。
【００２９】
請求項２１に係る混成画素補間方法は、請求項１９記載の混成画素補間方法であって、前記統計値を、前記局所領域における前記色成分の各色毎の標準偏差または分散としたものである。
【００３０】
請求項２２に係る混成画素補間方法は、請求項１９〜２１の何れか１項に記載の混成画素補間方法であって、前記工程（ｂ）は、前記統計値を用いて前記第２局所領域の色の偏り度を算出し、該偏り度に応じて前記各混合係数を算出する工程を備えたものである。
【００３１】
請求項２３に係る混成画素補間方法は、請求項２２記載の混成画素補間方法であって、前記偏り度を前記統計値の各色間の比率としたものである。
【００３２】
請求項２４に係る混成画素補間方法は、請求項２３記載の混成画素補間方法であって、前記比率を、前記統計値のうち最大値と最小値との比としたものである。
【００３３】
請求項２５に係る混成画素補間方法は、請求項２２記載の混成画素補間方法であって、前記偏り度を前記統計値の各色間の差分としたものである。
【００３４】
請求項２６に係る混成画素補間方法は、請求項１９〜２５の何れか１項に記載の混成画素補間方法であって、前記工程（ｂ）は、前記統計値または前記偏り度の値を所定の変換テーブルに従って変換する変換工程を有し、該変換工程で変換した値に基づいて前記各混合係数を算出する工程を備えるものである。
【００３５】
請求項２７に係る混成画素補間方法は、請求項１９〜２６の何れか１項に記載の混成画素補間方法であって、（ｄ）前記工程（ｂ）で算出された前記各混合係数を、外部入力の制御信号に応じて入れ替える工程、を更に備えるものである。
【００３６】
請求項２８に係る発明は、請求項１５〜２７の何れか１項に記載の混成画素補間方法であって、前記原画像データは、デジタルカメラに搭載される単板式の撮像素子で撮像したものである。
【発明の効果】
【００３７】
以上の如く、本発明の請求項１に係る混成画素補間装置および請求項１５に係る混成画素補間方法によれば、色成分の偏りが大きいほど、画素補間部（工程）の一による補間データの色再現性が低下することろ、当該画素補間部（工程）の一に割り当てられる混合係数が小さく、画素補間部（工程）の他の一に割り当てられる混合係数が大きいので、画質劣化を抑制することができる。
【００３８】
請求項２に係る混成画素補間装置および請求項１６に係る混成画素補間方法によれば、着目画素の信号レベルが小さいほど、画素補間部（工程）の一による補間データにはノイズが強調されることろ、当該画素補間部（工程）の一に割り当てられる混合係数が小さく、画素補間部（工程）の他の一に割り当てられる混合係数が大きいので、画質劣化を抑制することができる。
【００３９】
請求項３に係る混成画素補間装置および請求項１７に係る混成画素補間方法によれば、着目画素の信号レベルに応じて最適な混合係数を算出できるため、高品位の画素補間データを得ることができる。更に請求項４に係る混成画素補間装置および請求項１８係る混成画素補間方法によれば、その信号レベルをそのまま使用する場合と比べて、混合係数をより最適化することが可能となる。
【００４０】
請求項５，６，７に係る混成画素補間装置および請求項１９，２０，２１に係る混成画素補間方法によれば、上記局所領域における画像の特性をより正確に算出して、画素補間データの画質劣化をより効果的に抑制することが可能となる。
【００４１】
請求項８および請求項２２によれば、色の偏り度合いに応じて混合係数を算出できるため、画素補間データの画質劣化をより効果的に抑制することが可能となる。
【００４２】
請求項９，１０，１１に係る混成画素補間装置および請求項２３，２４，２５に係る混成画素補間方法によれば、比較的簡素な構成および方法で色の偏り度を算出することが可能となる。
【００４３】
請求項１２および請求項２６によれば、上記統計値や偏り度をそのまま使用する場合と比べて、混合係数を最適化できるため、高品位の画素補間データを得ることができる。
【００４４】
請求項１３および請求項２７によれば、制御信号の値を切り換えることにより、細かい状況に柔軟に対応した混合係数を算出することが可能となる。
【００４５】
請求項１４および請求項２８によれば、デジタルカメラで撮像した画像の画質向上が可能となる。
【発明を実施するための最良の形態】
【００４６】
以下、本発明の種々の実施の形態について説明する。
【００４７】
実施の形態１．
図１は、本発明の実施の形態１に係る混成画素補間装置１の概略構成を示す機能ブロック図である。この混成画素補間装置１には、単板式のＣＣＤセンサまたはＣＭＯＳセンサから出力されＡ／Ｄ変換などの信号処理を施された原画像データ（Raw Image Data）Ｄ１が入力している。上述した通り、この原画像データＤ１は、各画素につき１つの色成分のみを有するものである。
【００４８】
混成画素補間装置１は、入力する原画像データＤ１中の所定の画素領域内の画素データを保持するレジスタ２と、このレジスタ２から入力する画素データＤ２をサンプリングして画素補間処理を行う複数の画素補間部４1，４2，…，４n-1，４n（ｎ：２以上の整数）と、混合係数α1，α2，…，αnを算出する混合係数演算部３とを備えると共に、各画素補間部４1〜４nから出力された補間データＤＩ1，ＤＩ2，…，ＤＩnを取り込み混合して出力する混合部５とを備えて構成されている。
【００４９】
本実施の形態１では、画素補間部４1〜４n、混合係数演算部３および混合部５はハードウェア構成を有するが、本発明ではこれに限らず、画素補間部４1〜４n、混合係数演算部３および混合部５のうち少なくとも一つの機能ブロックがソフトウェア処理で実現されるものでもよい。
【００５０】
前記レジスタ２は、例えば、３×３画素や５×５画素などの２次元画像領域の画素データを順次保持するシフトレジスタ（図示せず）やラインメモリ（図示せず）などから構成されている。このレジスタ２は、この２次元画像領域中の中央部の画素を着目画素として他の画素と区別してその色成分を保持する。また、前記画素補間部４1〜４nは、互いに異なる画素補間方法で、レジスタ２から入力する画素データＤ２をサンプリングして利用し、当該着目画素に欠けている色成分を補間する機能を有するものである。
【００５１】
また、前記混合係数演算部３は、レジスタ２から入力する画素データＤ２、或いは、画素補間部４1〜４nで処理したデータＤＰ1，ＤＰ2，…、ＤＰn-1，ＤＰnに基づいて、各画素補間部４1〜４nに割り当てる混合係数α1，α2，…，αn（係数情報Ｍc）を画素単位で演算する。それら混合係数α1〜αnは、画素補間部４1〜４nの各々が全体の画素補間処理の中で寄与する割合に比例する数値であり、混合係数の総和α1＋α2＋…＋αnは一定値に設定される。
【００５２】
また、混合部５は、前記混合係数演算部３から入力する混合係数α1〜αnを、画素補間部４1〜４nから入力する補間データＤＩ1〜ＤＩnに重み付けして（乗算して）出力する乗算回路６1〜６nを有し、更に、これら乗算回路６1〜６nから出力された全ての乗算データを加算し、画素補間データＤcとして出力する加算回路７を有している。乗算回路６1〜６nには、それぞれ、画素補間部４1〜４nから補間データＤＩ1〜ＤＩnが入力し、混合係数演算部３からは、各補間データＤＩ1〜ＤＩnに対応した混合係数α1〜αnが入力している。
【００５３】
上記混合係数演算部３は、着目画素近傍の３×３画素や５×５画素程度の局所領域の色成分に関する統計値（総和，平均値，分散，標準偏差など）を算出し、解析して、画素補間部４1〜４nの各々に割り当てる混合係数α1〜αnを算出する。その統計値の算出に利用するデータとしては、その局所領域における各色成分の輝度、色相、彩度、明度などが挙げられる。また、画素データＤ２の色空間（表色系）を、国際照明委員会（ＣＩＥ）により策定されたＸＹＺ表色系に変換したり、その色成分を、明度Ｙと色度ｘ，ｙ（ｘ，ｙ：色相と彩度を表す値）とからなる色度座標系に変換したりした後に、局所領域における統計値を算出してもよい。
【００５４】
以上の混成画素補間装置１によれば、各画素補間部４1〜４nから出力された補間データＤＩ1〜ＤＩnは、混合係数演算部３によって割り当てられた混合係数α1〜αnの比率で混合される。混合係数演算部３は前述の統計値に基づいて、各画素補間部４1〜４nが有する利点または弱点に応じて混合係数α1〜αnを算出する。従って、各画素補間部４1〜４nが有する弱点を互いに補い合い得るように、若しくは各画素補間部４1〜４nが有する利点を強調し得るように、局所領域の画像の特性に応じて最適な画素補間処理を実行でき、高品位の補間データＤcを得ることが可能となる。
【００５５】
尚、本実施の形態１では、画素補間部４1〜４nは並列処理で生成した補間データＤＩ1〜ＤＩnを出力し、これら補間データＤＩ1〜ＤＩnが混合係数α1〜αnの比率で同時に混合されているが、本発明では必ずしも補間データＤＩ1〜ＤＩnを同時に混合する必要は無く、補間データＤＩ1〜ＤＩnの混合処理を多段階で行ってもよい。例えば、２種類の画素補間部の出力データを混合して得られる混合データを出力した後に、この混合データと他の画素補間部の出力データとを混合するという２段階の混合処理が可能である。
【００５６】
実施の形態２．
次に、上記実施の形態１に係る混成画素補間装置１の具体例として、実施の形態２に係る混成画素補間装置およびその方法について説明する。図２は、本実施の形態に係る混成画素補間装置の概略構成図である。この混成画素補間装置は、外部から入力する原画像データＤ１の局所領域の画素データを保持するレジスタ２と、互いに異なる方法で画素補間処理を行う画素補間部４1，４2と、混合係数α，１−α（０≦α≦１）を算出する混合係数演算部３と、各画素補間部４1，４2から出力された補間データＤＩ1，ＤＩ2を混合する混合部５とを備えている。尚、混合係数αの数値範囲（０≦α≦１）は１０進表記の小数で表現されているが、実際には、混合係数αの上限である"１"の値はデジタル処理系に応じて決められるものである。
【００５７】
図３は、レジスタ２に保持される５×５画素領域の画像データ３０を例示する模式図である。同図に示されるように、画像データ３０は、図７に示した色成分配列に従って構成されており、斜線で示される中央部の画素が着目画素Ｐcである。図２に示す画素補間部４1，４2は、図３に示す画素領域のうち、太線枠３２の内部の５×５画素領域もしくは太線枠３１の内部の３×３画素領域の局所領域の画素データをサンプリングして画素補間処理を実行する機能をもつ。
【００５８】
前記画素補間部４1は、局所領域内のＲ，Ｇ，Ｂ，…の輝度値を各色毎に平均化した平均値（統計値）ＡＶ１，ＡＶ２，ＡＶ３を算出する平均化回路１０Ａ，１０Ｂ，１０Ｃと、除算回路１１Ａ，１１Ｂと、乗算回路１２，１３とで構成される。平均化回路１０Ａは、着目画素Ｐcが有する色成分に関する平均値ＡＶ１を算出するものである。図３に示した例では、その平均値ＡＶ１として、局所領域内の全てのＢ成分の算術平均値が求められる。その他の平均化回路１０Ｂ，１０Ｃは、それぞれ、当該着目画素Ｐcに欠けている色成分に関する平均値ＡＶ２，ＡＶ３を算出するものである。図３に示した例では、それら平均値ＡＶ２，ＡＶ３として、局所領域内の全てのＲ成分とＧ成分の算術平均値が求められることになる。
【００５９】
除算回路１１Ａには、着目画素Ｐcの色成分に関する平均値ＡＶ１とその他の平均値ＡＶ２とが入力し、除算回路１１Ａは、平均値ＡＶ２を平均値ＡＶ１で除算して得られる比率（＝ＡＶ２／ＡＶ１）を乗算回路１２に出力する。他方の除算回路１１Ｂには、着目画素Ｐcの色成分に関する平均値ＡＶ１とその他の平均値ＡＶ３とが入力し、除算回路１１Ａは、平均値ＡＶ３を平均値ＡＶ１で除算して得られる比率（＝ＡＶ３／ＡＶ１）を乗算回路１３に出力する。乗算回路１２，１３は、それぞれ、除算回路１１Ａ，１１Ｂから入力するデータと着目画素Ｐcの画素データと乗算し、当該着目画素Ｐcに欠けている色成分として出力する。そして、これら除算回路１２，１３から出力された各色成分は、信号線上で結合されデータＤＩ1となって混合部５に出力される。
【００６０】
以上の画素補間部４1の処理内容は数学的には次の通りである。着目画素Ｐcの画素値をＳcで表し、当該着目画素Ｐcに欠けている色成分の画素値をＳ１，Ｓ２で表すとき、以下の式（１），（２）が成立する。
【００６１】
Ｓ１＝（ＡＶ２／ＡＶ１）×Ｓc …（１）
Ｓ２＝（ＡＶ３／ＡＶ１）×Ｓc …（２）
尚、上式（１），（２）に示すように、画素値Ｓ１，Ｓ２を算出する際に、局所領域内の輝度値の平均値ＡＶ１〜ＡＶ３を使用したが、本発明ではこれに限らず、局所領域内における各色の画素数が等しい場合には、平均値ＡＶ１〜ＡＶ３の代わりに、その局所領域の各色の輝度の総和を用いても同一の画素値Ｓ１，Ｓ２を得ることができる。
【００６２】
このように、着目画素Ｐcの周辺画素のデータは、比率（ＡＶ２／ＡＶ１，ＡＶ３／ＡＶ１）を算出する際に使用されるが、周辺画素を使用した内挿補間などの従来法では使用されない。また、当該着目画素Ｐcに欠けている色成分は、それら比率を着目画素の画素値Ｓcに重み付けして得られるものである。従って、画素補間後の画像中に偽色は発生せず、周辺画素同士が干渉し合うモアレも発生せず、高周波数成分が損なわれることがないため、欠けている色成分を高い精度で再現することができる。尚、上記では、着目画素がＢ成分をもつ場合について説明したが、着目画素が他の色成分（Ｒ成分、Ｇ成分）をもつ場合にも同様の補間法を適用できることは自明である。
【００６３】
但し、画素補間部４1の画素補間法では、ＳＮ比が悪くて当該着目画素Ｐcにノイズが混入している場合には、そのノイズが強調され完全に再現されるという弱点がある。特に原画像データの低輝度部分にはノイズが混入され易いことから、着目画素Ｐcが低輝度をもつ場合には画素補間部４1に割り当てる混合係数の値を小さくすることが望ましい。
【００６４】
更に、色のエッジ部分や比較的狭い画素領域において、色が白黒に変化し脱色が起こるという弱点もある。欠けている色成分を正確に算出するには、局所領域において平均値ＡＶ１〜ＡＶ３を算出する際に、当該局所領域中に各色毎にある程度の平均信号レベルが必要とされるが、色の偏り度合いが大きい場合には特定の色の平均信号レベルが低くなり、前述の脱色が起きて色再現性が低下してしまう。この色再現性の低下を避けるには、局所領域における色の偏り度合いが小さい場合には、画素補間部４1に割り当てる混合係数の値を大きく調整し、その色の偏り度合いが大きい場合には当該混合係数の値を小さく調整するのが望ましい。
【００６５】
図２に示す画素補間部４2は、レジスタ２から入力する画素データＤ２を用いて、従来の周辺画素を利用した内挿補間法による画素補間機能を有し、補間データＤＩ2を混合部５に出力する。但し、画素補間部４2は必ずしも内挿補間法を採用する必要は無く、上述した画素補間部４1の弱点を補い得る画素補間機能を有していればよい。
【００６６】
尚、本実施の形態では、混合係数演算部３は、画素補間部４1の平均化回路１０Ａ，１０Ｂ，１０Ｃから伝達した値を利用しているが、本発明ではその代わりに、混合係数演算部３の内部に上記平均値ＡＶ１，ＡＶ２，ＡＶ３を算出する平均化回路が形成されていてもよい。
【００６７】
混合係数演算部３は、上述の画素補間部４1が有する弱点を補い、またこの画素補間部４1が有する利点を強調し得るように、混合係数α，１−αを算出する機能をもつ。図２に示すように、混合係数演算部３は、レジスタ２から伝達する着目画素Ｐcの画素値Ｓcを所定の変換テーブル２０ｃに従って変換する第１の変換回路２０を備えている。図４は、入力値と出力値との対応例を示すグラフである。このグラフには、入力値に関して一様に増加する関数を表す変換曲線３３ａ，３３ｂ，３３ｃが示されており、変換テーブル２０ｃは、このような変換曲線３３ａ〜３３ｃ上の入力値と出力値との組を格納している。
【００６８】
このような変換回路２０は、レジスタ２から入力する着目画素Ｐcのデータを、前記変換テーブル２０ｃに従って変換して加算回路２４に出力する。図４に示す変換曲線３３ａ〜３３ｃは、何れも、低輝度の入力値に対して出力値を低く抑えた形状をもつ。これは、原画像データの低輝度部分に含まれるノイズの影響を低く抑えるためである。
【００６９】
また、混合係数演算部３は、更に、上記平均化回路１０Ａ，１０Ｂ，１０Ｃから伝達する平均値ＡＶ１，ＡＶ２，ＡＶ３を昇順または降順に並べ替えて出力するソート回路２１と、除算回路２２と、この除算回路２２から入力する画素値を所定の変換テーブル２３ｃに従って変換する第２の変換回路２３とを備えている。除算回路２２は、ソート回路２１から出力される各色の平均値ＡＶ１，ＡＶ２，ＡＶ３のうち最小値（Ｍｎ）を最大値（Ｍｘ）で除算した値（Ｍｎ／Ｍｘ）を、偏り度として算出する。このように最小値と最大値とを抽出し、常に最小値を最大値で除算することにより、ゼロ値除算によるオーバーフローの発生を回避することができる。
【００７０】
尚、本実施の形態では、色の偏り度として平均値ＡＶ１〜ＡＶ３の中の最小値と最大値との比を採用するが、その代わりに、その最小値（Ｍｎ）と最大値（Ｍｘ）との差分もしくは差分絶対値を採用してもよい。
【００７１】
また、図５は、第２の変換回路２３が備える変換テーブル２３ｃの入力値と出力値との対応例を示すグラフである。図４に示したグラフと同様に、図５には、入力値に関して一様に増加する関数を表す変換曲線３４が示されており、変換テーブル２３ｃは、このような変換曲線３４上の入力値と出力値との組を格納している。この第２の変換回路２３は、除算回路２２から入力するデータを前記変換テーブル２３ｃに従って変換して加算回路２４に出力する。
【００７２】
尚、上記の変換回路２０，２３には、入力値をアドレス・データとし、このアドレス・データに対応する記憶データを出力値として出力するメモリ回路（ＬＵＴ（ルック・アップ・テーブル）回路）を使用すればよい。また、この種のメモリ回路の代わりに、入力値に対応する４点程度の出力値のみを記憶するレジスタを備え、実際の入力値がレジスタのデータと対応している場合はそのデータを出力し、それが対応していない場合はレジスタの４点のデータを用いて内挿補間して出力する簡易的な演算回路を使用しても構わない。
【００７３】
除算回路２２で算出した除算値（Ｍｎ／Ｍｘ）は、局所領域における色の偏り度を示す値である。図５に示すように、変換回路２３に入力するその除算値が小さい程に色の偏り度が大きくなり、その除算値が大きい程に色の偏り度が小さくなる。変換回路２３は、図５のようなグラフに従って、色の偏り度が大きい程に小さな値を出力し、色の偏り度が小さい程に大きな値を出力する。
【００７４】
そして、加算回路２４は、第１および第２の変換回路２０，２３から入力する値を加算して内部係数β（０≦β≦１）を、減算回路２５と、第１セレクタ２７の"０"側端子と、第２セレクタ２８の"１"側端子とにそれぞれ出力する。減算回路２５は、内部係数βの上限値から内部係数βを減算した値（＝１−β）を第１セレクタ２７の"１"側端子に出力する。
【００７５】
また、第１セレクタ２７は、レジスタ２６から供給される選択信号Ｓｔの論理値が"０"か"１"かに応じて"０"側端子または"１"側端子を選択し、選択した端子から入力するデータを混合係数αとして混合部５に出力するものである。レジスタ２６は、ＣＰＵ（図示せず）などから伝達した選択信号Ｓｔを保持し、第１セレクタ２７と第２セレクタ２８とに供給している。その選択信号Ｓｔの論理値は、デフォルトでは"０"に設定されている。また、他方の第２セレクタ２８は、レジスタ２６から伝達する選択信号Ｓｔの論理値が"０"か"１"かに応じて"０"側端子または"１"側端子を選択し、選択した端子から入力するデータを混合係数１−αとして混合部５に出力するものである。
【００７６】
混合部５には、混合係数演算部３から混合係数α，１−αが入力している。この混合部５において、乗算回路６1は、第１の画素補間部４1から入力する補間データＤＩ1と混合係数αとを乗算して加算回路７に出力し、他方の乗算回路６2は、第２の画素補間部４2から入力する補間データＤＩ2と混合係数１−αとを乗算して加算回路７に出力する。最終的に、加算回路７は、各乗算回路６1，６2から入力するデータを画素単位で加算して画素補間データＤcとして出力する。
【００７７】
以上の実施の形態２に係る混成画素補間装置によれば、着目画素Ｐcの輝度値と、除算回路２２から出力される最大値（Ｍｘ）および最小値（Ｍｎ）の比（Ｍｎ／Ｍｘ）とに応じて混合係数α，１−αが算出される。よって、原画像データの局所領域中に、上述した第１の画素補間部４1が有する弱点を出現させる特性（色の偏り度合いが大きいこと、ノイズの多い低輝度部分）が含まれていた場合には、混合係数αの値を小さく調整し、第１の画素補間部４1の寄与を小さく、第２の画素補間部４2の寄与を大きくすることができる。従って、画質劣化が抑制された高品位の画素補間データＤcを得ることが可能である。
【００７８】
尚、本実施の形態では、局所領域における各色毎の輝度の平均値ＡＶ１〜ＡＶ３の最小値と最大値との比（＝Ｍｎ／Ｍｘ）を色の偏り度として採用したが、本発明ではその比に限らず、統計量である標準偏差σや分散σ2を算出しこれら統計量を用いて偏り度を算出して使用することもできる。尚、局所領域内の任意の画素値Ｓxに対して偏差Δは、Δ＝（Ｓx−Ｋ）（Ｋ：ＡＶ１〜ＡＶ３の何れか）で定義される。このとき、分散σ2は、局所領域内におけるΔ2の平均値であり、標準偏差σは、分散σ2の正平方根である。
【００７９】
また、変換回路２０，２３は、変換テーブル２０ｃ，２３ｃに従って、着目画素Ｐcの画素値Ｓcや色の偏り度を示す比（＝Ｍｎ／Ｍｘ）を別の値に変換している。従って、各変換テーブル２０ｃ，２３ｃの変換曲線を調整することにより混合係数α，１−αを最適化して上記画質劣化を最小に抑制できる。また、変換回路２０，２３が複数の変換テーブルを切り換え自在に有する場合には、複数の状況に対応して変換テーブルを切り換えることにより混合係数α，１−αを最適化することができる。具体的には、この混成画素補間装置を複数の撮影モードに対応したデジタルカメラに組み込んだ場合が想定される。撮影モードとしては「風景撮影モード」，「ポートレート撮影モード」，「接写モード」，「夜間撮影モード」などが挙げられるが、各撮影モードに最適な変換テーブルを選択することができる。
【００８０】
更に、本実施の形態に係る混成画素補間装置は、レジスタ２６の選択信号Ｓｔの論理値に応じて内部係数β，１−βを入れ替えて出力するセレクタ２７，２８を備えているため、選択信号Ｓｔの論理値を外部から指定することで、状況に柔軟に対応した混合係数α，１−αを算出できる。例えば、この混成画素補間装置を複数の撮影モードに対応したデジタルカメラに組み込んだ場合は、ＣＰＵなどの判断により前述の各撮影モードに応じて画質劣化が小さくなるように、選択信号Ｓｔの論理値を指定することができる。
【００８１】
尚、本実施の形態１では、変換回路２０，２３の出力値を加算する加算回路２４を用いて内部係数βを算出していたが、その加算回路２４に代えて、双方の出力値の大小関係を判定し、大きい方または小さい方の出力値を選択して出力する大小判定回路を用いてもよい。その種の大小判定回路を用いる場合は、着目画素の輝度値の変換値（変換回路２０の出力値）と、色の偏り度の変換値（変換回路２３の出力値）との何れか一方を他方に優先して使用できることから、変換回路２０，２３の双方から中レベルの変換値が出力され、内部係数βが上限値付近で容易に飽和してしまうのを避けることが可能となる。
【００８２】
実施の形態１の変形例．
図６は、上記実施の形態１の変形例に係る混成画素補間装置の概略構成図である。本変形例に係る混成画素補間装置は、補色系の色フィルタアレイを有する単板式の撮像センサで撮像した原画像データＤ１に対応しており、その基本構成は、図２に示した混成画素補間装置と同じである。図６中、図２に示した符号と同一符号を付された構成要素は、上記の構成要素の機能と略同じ機能を有するものとして詳細な説明を省略する。
【００８３】
この混成画素補間装置は、図８に示したような４種類の補色成分をもつ原画像データＤ１の局所領域における画素データを保持するレジスタ２と、このレジスタ２から入力する画素データＤ２をサンプリングして画素補間処理を行う２種類の画素補間部４3，４4と、混合係数α，１−α（０≦α≦１）を算出する混合係数演算部３Ｆと、各画素補間部４3，４4から出力された補間データＤＩ3，ＤＩ4を混合する混合部５とを備えている。
【００８４】
第１の画素補間部４3は、図２に示した画素補間部４1の機能と略同じ機能を有する。また、第２の画素補間部４4は、第１の画素補間部４3が有する弱点を補う画素補間処理機能を有するものである。第１の画素補間部４3は、局所領域内の４種類の補色成分を各色毎に平均化した平均値（統計値）ＡＶ１，ＡＶ２，ＡＶ３，ＡＶ３を算出する平均化回路４０Ａ，４０Ｂ，４０Ｃ，４０Ｄと、除算回路４１Ａ，４１Ｂ，４１Ｃと、乗算回路４２，４３，４４とで構成されている。平均化回路４０Ａ〜４０Ｄのうち平均化回路４０Ａは、着目画素Ｐcの補色成分に関する平均値ＡＶ１を算出する。また、除算回路４１Ａ，４１Ｂ，４１Ｃは、それぞれ、平均値ＡＶ２，ＡＶ３，ＡＶ４を着目画素Ｐcの平均値ＡＶ１で除算した値を乗算回路４２，４３，４４に出力する。そして、乗算回路４２，４３，４４は、次式（３），（４），（５）に従って、当該着目画素Ｐcに欠けている補色成分の画素値Ｓ１，Ｓ２，Ｓ３を算出し、これらを信号線上で束ねて補間データＤＩ3として混合部５に出力する。
【００８５】
Ｓ１＝（ＡＶ２／ＡＶ１）×Ｓc …（３）
Ｓ２＝（ＡＶ３／ＡＶ１）×Ｓc …（４）
Ｓ３＝（ＡＶ４／ＡＶ１）×Ｓc …（５）
また、混合係数演算部３Ｆは、図２に示した混合係数演算部３の機能と略同じ機能を有する。すなわち、この混合係数演算部３Ｆにおいて、変換回路５０は、図２に示した変換回路２０と同様に、内部の変換テーブル５０ｃに従って着目画素Ｐcの輝度値を変換して出力する。また、ソート回路５１は、画素補間部４3から入力する平均値ＡＶ１〜ＡＶ４を昇順または降順に並べ替えて出力し、除算回路２２は、ソート回路５１から入力する平均値ＡＶ１〜ＡＶ４の最大値（Ｍｘ）と最小値（Ｍｎ）との比（Ｍｎ／Ｍｘ）を算出し、変換回路５３は、図２に示した変換回路２３と同様に、内部の変換テーブル５３ｃに従って除算回路２２から入力する除算値を変換して出力する。
【００８６】
また、加算回路５４は、変換回路５０と変換回路５３とから入力するデータを加算して内部係数βとして出力し、減算回路２５は、内部係数βの上限値（＝１）から当該内部係数βを除算した値（＝１−β）を出力する。そして、セレクタ２７，２８は、レジスタ２６から供給される選択信号Ｓｔの論理値に応じて内部係数β、１−βを選択し、混合係数α，１−αとして混合部５に出力する。
【００８７】
最終的に、混合部５は、画素補間部４3から入力する補間データＤＩ3と混合係数αとを乗算した値と、画素補間部４4から入力する補間データＤＩ4と混合係数１−αとを乗算した値とを加算し、画素補間データＤcとして出力することになる。
【図面の簡単な説明】
【００８８】
【図１】本発明の実施の形態１に係る混成画素補間装置の概略構成を示す機能ブロック図である。
【図２】本発明の実施の形態２に係る混成画素補間装置の概略構成図である。
【図３】レジスタに保持される５×５画素領域の画像データを例示する模式図である。
【図４】第１の変換回路での入力値と出力値との対応例を示すグラフである。
【図５】第２の変換回路での入力値と出力値との対応例を示すグラフである。
【図６】実施の形態１の変形例に係る混成画素補間装置の概略構成図である。
【図７】Ｒ，Ｇ，Ｂの３原色成分をマトリクス状に配列した原画像データを例示する模式図である。
【図８】Ｙ，Ｍ，Ｇ，Ｃの補色成分をマトリクス状に配列した原画像データを例示する模式図である。
【符号の説明】
【００８９】
１ 混成画素補間装置
２ レジスタ
３ 混合係数演算部
４1〜４n 画素補間部
５ 混合部
６1〜６n 乗算回路
７ 加算回路
【特許請求の範囲】
【請求項１】
１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間装置であって、
前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を互いに異なる方法で補間する複数の画素補間部と、
前記原画像データ中の当該着目画素を囲む第２局所領域における全ての画素の色成分を用いて、前記画素補間部の各々に割り当てられる混合係数を算出する混合係数演算部と、
前記複数の画素補間部の各々から入力する補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する混合部と、
を備え、
前記画素補間部の一は、
前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する手段と、
当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する手段と、
を有し、
前記画素補間部の他の一は、
前記原画像データの中の着目画素を囲む第１局所領域において当該着目画素に欠けている色成分の平均値を算出して当該着目画素に欠けている色成分を生成する手段
を有し、
前記画素補間部の前記一に割り当てられる前記混合係数は前記第２局所領域の色成分の偏りが大きいほど小さく、前記画素補間部の前記他の一に割り当てられる前記混合係数は前記第２局所領域の色成分の偏りが大きいほど大きい、混成画素補間装置。
【請求項２】
１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間装置であって、
前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を互いに異なる方法で補間する複数の画素補間部と、
前記原画像データ中の画素のうち当該着目画素のみの信号レベルに基づいて、前記画素補間部の各々に割り当てられる混合係数を算出する混合係数演算部と、
前記複数の画素補間部の各々から入力する補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する混合部と、
を備え、
前記画素補間部の一は、
前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する手段と、
当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する手段と、
を有し、
前記画素補間部の他の一は、
前記原画像データの中の着目画素を囲む第１局所領域において当該着目画素に欠けている色成分の平均値を算出して当該着目画素に欠けている色成分を生成する手段
を有し、
前記画素補間部の前記一に割り当てられる前記混合係数は、当該着目画素の信号レベルが小さいほど小さく、前記画素補間部の前記他の一に割り当てられる前記混合係数は前記着目画素の信号レベルが小さいほど大きい、混成画素補間装置。
【請求項３】
請求項１記載の混成画素補間装置であって、前記混合係数演算部は、前記着目画素の信号レベルに基づいて前記各混合係数を算出する手段を有する、混成画素補間装置。
【請求項４】
請求項２又は３に記載の混成画素補間装置であって、前記混合係数演算部は、前記着目画素の信号レベルを所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出する、混成画素補間装置。
【請求項５】
請求項１記載の混成画素補間装置であって、前記混合係数演算部は、前記第２局所領域における前記色成分に関する統計値に基づいて前記各混合係数を算出する手段を有する、混成画素補間装置。
【請求項６】
請求項５記載の混成画素補間装置であって、前記統計値は、前記第２局所領域における各色毎の輝度の総和または平均値である、混成画素補間装置。
【請求項７】
請求項５記載の混成画素補間装置であって、前記統計値は、前記第２局所領域における前記色成分の各色毎の標準偏差または分散である、混成画素補間装置。
【請求項８】
請求項５〜７の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部は、前記統計値を用いて前記第２局所領域の色の偏り度を算出し、該偏り度に応じて前記混合係数を算出する手段を有する、混成画素補間装置。
【請求項９】
請求項８記載の混成画素補間装置であって、前記偏り度は前記統計値の各色間の比率である、混成画素補間装置。
【請求項１０】
請求項９記載の混成画素補間装置であって、前記比率は、前記統計値の中の最大値と最小値との比である、混成画素補間装置。
【請求項１１】
請求項８記載の混成画素補間装置であって、前記偏り度は前記統計値の各色間の差分である、混成画素補間装置。
【請求項１２】
請求項５〜１１の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部は、前記統計値または前記偏り度の値を所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出する、混成画素補間装置。
【請求項１３】
請求項１〜１２の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部で算出された前記各混合係数を、外部入力の制御信号に応じて入れ替える手段を更に備える混成画素補間装置。
【請求項１４】
請求項１〜１３の何れか１項に記載の混成画素補間装置であって、前記原画像データは、デジタルカメラに搭載される単板式の撮像素子で撮像したものである、混成画素補間装置。
【請求項１５】
１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間方法であって、
（ａ）前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を、互いに異なる複数の画素補間工程で補間する工程と、
（ｂ）前記原画像データ中の当該着目画素を囲む第２局所領域における全ての画素の色成分を用いて、前記工程（ａ）における前記各画素補間工程の各々に割り当てられる混合係数を算出する工程と、
（ｃ）前記工程（ａ）において前記各画素補間工程で補間された補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する工程と、
を備え、
前記工程（ａ）の前記複数の画素補間工程のうち、一の画素補間工程は、
（ａ−１）前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する工程と、
（ａ−２）前記工程（ａ−１）で算出された当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する工程と、
を有し、
前記工程（ａ）の前記複数の画素補間工程のうち、前記画素補間工程の他の一は、
（ａ−３）前記原画像データの中の着目画素を囲む第１局所領域において当該着目画素に欠けている色成分の平均値を算出して当該着目画素に欠けている色成分を生成する工程
を有し、
前記画素補間工程の前記一に割り当てられる前記混合係数は前記第２局所領域の色成分の偏りが大きいほど小さく、前記画素補間工程の前記他の一に割り当てられる前記混合係数は前記第２局所領域の色成分の偏りが大きいほど大きい、混成画素補間方法。
【請求項１６】
１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間方法であって、
（ａ）前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を、互いに異なる複数の画素補間工程で補間する工程と、
（ｂ）前記原画像データ中の画素のうち当該着目画素のみの信号レベルに基づいて、前記工程（ａ）における前記各画素補間工程の各々に割り当てられる混合係数を算出する工程と、
（ｃ）前記工程（ａ）において前記各画素補間工程で補間された補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する工程と、
を備え、
前記工程（ａ）の前記複数の画素補間工程のうち、前記画素補間工程の一は、
（ａ−１）前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する工程と、
（ａ−２）前記工程（ａ−１）で算出された当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する工程と、
を有し、
前記工程（ａ）の前記複数の画素補間工程のうち、前記画素補間工程の他の一は、
（ａ−３）前記原画像データの中の着目画素を囲む第１局所領域において当該着目画素に欠けている色成分の平均値を算出して当該着目画素に欠けている色成分を生成する工程
を有し、
前記画素補間部の前記一に割り当てられる前記混合係数は、当該着目画素の信号レベルが小さいほど小さく、前記画素補間部の前記他の一に割り当てられる前記混合係数は前記着目画素の信号レベルが小さいほど大きい、混成画素補間方法。
【請求項１７】
請求項１５記載の混成画素補間方法であって、前記工程（ｂ）は、前記着目画素の信号レベルに基づいて前記各混合係数を算出する工程を備える、混成画素補間方法。
【請求項１８】
請求項１６又は１７記載の混成画素補間方法であって、前記工程（ｂ）は、前記着目画素の信号レベルを所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出する工程を備える、混成画素補間方法。
【請求項１９】
請求項１５記載の混成画素補間方法であって、前記工程（ｂ）は、前記第２局所領域における前記色成分に関する統計値に基づいて前記各混合係数を算出する工程を備える、混成画素補間方法。
【請求項２０】
請求項１９記載の混成画素補間方法であって、前記統計値は、前記第２局所領域における各色毎の輝度の総和または平均値である、混成画素補間方法。
【請求項２１】
請求項１９記載の混成画素補間方法であって、前記統計値は、前記第２局所領域における前記色成分の各色毎の標準偏差または分散である、混成画素補間方法。
【請求項２２】
請求項１９〜２１の何れか１項に記載の混成画素補間方法であって、前記工程（ｂ）は、前記統計値を用いて前記第２局所領域の色の偏り度を算出し、該偏り度に応じて前記各混合係数を算出する工程を備える、混成画素補間方法。
【請求項２３】
請求項２２記載の混成画素補間方法であって、前記偏り度は前記統計値の各色間の比率である、混成画素補間方法。
【請求項２４】
請求項２３記載の混成画素補間方法であって、前記比率は、前記統計値のうち最大値と最小値との比である、混成画素補間方法。
【請求項２５】
請求項２２記載の混成画素補間方法であって、前記偏り度は前記統計値の各色間の差分である、混成画素補間方法。
【請求項２６】
請求項１９〜２５の何れか１項に記載の混成画素補間方法であって、前記工程（ｂ）は、前記統計値または前記偏り度の値を所定の変換テーブルに従って変換する変換工程を有し、該変換工程で変換した値に基づいて前記各混合係数を算出する工程を備える、混成画素補間方法。
【請求項２７】
請求項１９〜２６の何れか１項に記載の混成画素補間方法であって、（ｄ）前記工程（ｂ）で算出された前記各混合係数を、外部入力の制御信号に応じて入れ替える工程、を更に備える混成画素補間方法。
【請求項２８】
請求項１５〜２７の何れか１項に記載の混成画素補間方法であって、前記原画像データは、デジタルカメラに搭載される単板式の撮像素子で撮像したものである、混成画素補間方法。
【請求項１】
１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間装置であって、
前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を互いに異なる方法で補間する複数の画素補間部と、
前記原画像データ中の当該着目画素を囲む第２局所領域における全ての画素の色成分を用いて、前記画素補間部の各々に割り当てられる混合係数を算出する混合係数演算部と、
前記複数の画素補間部の各々から入力する補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する混合部と、
を備え、
前記画素補間部の一は、
前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する手段と、
当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する手段と、
を有し、
前記画素補間部の他の一は、
前記原画像データの中の着目画素を囲む第１局所領域において当該着目画素に欠けている色成分の平均値を算出して当該着目画素に欠けている色成分を生成する手段
を有し、
前記画素補間部の前記一に割り当てられる前記混合係数は前記第２局所領域の色成分の偏りが大きいほど小さく、前記画素補間部の前記他の一に割り当てられる前記混合係数は前記第２局所領域の色成分の偏りが大きいほど大きい、混成画素補間装置。
【請求項２】
１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間装置であって、
前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を互いに異なる方法で補間する複数の画素補間部と、
前記原画像データ中の画素のうち当該着目画素のみの信号レベルに基づいて、前記画素補間部の各々に割り当てられる混合係数を算出する混合係数演算部と、
前記複数の画素補間部の各々から入力する補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する混合部と、
を備え、
前記画素補間部の一は、
前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する手段と、
当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する手段と、
を有し、
前記画素補間部の他の一は、
前記原画像データの中の着目画素を囲む第１局所領域において当該着目画素に欠けている色成分の平均値を算出して当該着目画素に欠けている色成分を生成する手段
を有し、
前記画素補間部の前記一に割り当てられる前記混合係数は、当該着目画素の信号レベルが小さいほど小さく、前記画素補間部の前記他の一に割り当てられる前記混合係数は前記着目画素の信号レベルが小さいほど大きい、混成画素補間装置。
【請求項３】
請求項１記載の混成画素補間装置であって、前記混合係数演算部は、前記着目画素の信号レベルに基づいて前記各混合係数を算出する手段を有する、混成画素補間装置。
【請求項４】
請求項２又は３に記載の混成画素補間装置であって、前記混合係数演算部は、前記着目画素の信号レベルを所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出する、混成画素補間装置。
【請求項５】
請求項１記載の混成画素補間装置であって、前記混合係数演算部は、前記第２局所領域における前記色成分に関する統計値に基づいて前記各混合係数を算出する手段を有する、混成画素補間装置。
【請求項６】
請求項５記載の混成画素補間装置であって、前記統計値は、前記第２局所領域における各色毎の輝度の総和または平均値である、混成画素補間装置。
【請求項７】
請求項５記載の混成画素補間装置であって、前記統計値は、前記第２局所領域における前記色成分の各色毎の標準偏差または分散である、混成画素補間装置。
【請求項８】
請求項５〜７の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部は、前記統計値を用いて前記第２局所領域の色の偏り度を算出し、該偏り度に応じて前記混合係数を算出する手段を有する、混成画素補間装置。
【請求項９】
請求項８記載の混成画素補間装置であって、前記偏り度は前記統計値の各色間の比率である、混成画素補間装置。
【請求項１０】
請求項９記載の混成画素補間装置であって、前記比率は、前記統計値の中の最大値と最小値との比である、混成画素補間装置。
【請求項１１】
請求項８記載の混成画素補間装置であって、前記偏り度は前記統計値の各色間の差分である、混成画素補間装置。
【請求項１２】
請求項５〜１１の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部は、前記統計値または前記偏り度の値を所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出する、混成画素補間装置。
【請求項１３】
請求項１〜１２の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部で算出された前記各混合係数を、外部入力の制御信号に応じて入れ替える手段を更に備える混成画素補間装置。
【請求項１４】
請求項１〜１３の何れか１項に記載の混成画素補間装置であって、前記原画像データは、デジタルカメラに搭載される単板式の撮像素子で撮像したものである、混成画素補間装置。
【請求項１５】
１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間方法であって、
（ａ）前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を、互いに異なる複数の画素補間工程で補間する工程と、
（ｂ）前記原画像データ中の当該着目画素を囲む第２局所領域における全ての画素の色成分を用いて、前記工程（ａ）における前記各画素補間工程の各々に割り当てられる混合係数を算出する工程と、
（ｃ）前記工程（ａ）において前記各画素補間工程で補間された補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する工程と、
を備え、
前記工程（ａ）の前記複数の画素補間工程のうち、一の画素補間工程は、
（ａ−１）前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する工程と、
（ａ−２）前記工程（ａ−１）で算出された当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する工程と、
を有し、
前記工程（ａ）の前記複数の画素補間工程のうち、前記画素補間工程の他の一は、
（ａ−３）前記原画像データの中の着目画素を囲む第１局所領域において当該着目画素に欠けている色成分の平均値を算出して当該着目画素に欠けている色成分を生成する工程
を有し、
前記画素補間工程の前記一に割り当てられる前記混合係数は前記第２局所領域の色成分の偏りが大きいほど小さく、前記画素補間工程の前記他の一に割り当てられる前記混合係数は前記第２局所領域の色成分の偏りが大きいほど大きい、混成画素補間方法。
【請求項１６】
１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間方法であって、
（ａ）前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を、互いに異なる複数の画素補間工程で補間する工程と、
（ｂ）前記原画像データ中の画素のうち当該着目画素のみの信号レベルに基づいて、前記工程（ａ）における前記各画素補間工程の各々に割り当てられる混合係数を算出する工程と、
（ｃ）前記工程（ａ）において前記各画素補間工程で補間された補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する工程と、
を備え、
前記工程（ａ）の前記複数の画素補間工程のうち、前記画素補間工程の一は、
（ａ−１）前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する工程と、
（ａ−２）前記工程（ａ−１）で算出された当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する工程と、
を有し、
前記工程（ａ）の前記複数の画素補間工程のうち、前記画素補間工程の他の一は、
（ａ−３）前記原画像データの中の着目画素を囲む第１局所領域において当該着目画素に欠けている色成分の平均値を算出して当該着目画素に欠けている色成分を生成する工程
を有し、
前記画素補間部の前記一に割り当てられる前記混合係数は、当該着目画素の信号レベルが小さいほど小さく、前記画素補間部の前記他の一に割り当てられる前記混合係数は前記着目画素の信号レベルが小さいほど大きい、混成画素補間方法。
【請求項１７】
請求項１５記載の混成画素補間方法であって、前記工程（ｂ）は、前記着目画素の信号レベルに基づいて前記各混合係数を算出する工程を備える、混成画素補間方法。
【請求項１８】
請求項１６又は１７記載の混成画素補間方法であって、前記工程（ｂ）は、前記着目画素の信号レベルを所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出する工程を備える、混成画素補間方法。
【請求項１９】
請求項１５記載の混成画素補間方法であって、前記工程（ｂ）は、前記第２局所領域における前記色成分に関する統計値に基づいて前記各混合係数を算出する工程を備える、混成画素補間方法。
【請求項２０】
請求項１９記載の混成画素補間方法であって、前記統計値は、前記第２局所領域における各色毎の輝度の総和または平均値である、混成画素補間方法。
【請求項２１】
請求項１９記載の混成画素補間方法であって、前記統計値は、前記第２局所領域における前記色成分の各色毎の標準偏差または分散である、混成画素補間方法。
【請求項２２】
請求項１９〜２１の何れか１項に記載の混成画素補間方法であって、前記工程（ｂ）は、前記統計値を用いて前記第２局所領域の色の偏り度を算出し、該偏り度に応じて前記各混合係数を算出する工程を備える、混成画素補間方法。
【請求項２３】
請求項２２記載の混成画素補間方法であって、前記偏り度は前記統計値の各色間の比率である、混成画素補間方法。
【請求項２４】
請求項２３記載の混成画素補間方法であって、前記比率は、前記統計値のうち最大値と最小値との比である、混成画素補間方法。
【請求項２５】
請求項２２記載の混成画素補間方法であって、前記偏り度は前記統計値の各色間の差分である、混成画素補間方法。
【請求項２６】
請求項１９〜２５の何れか１項に記載の混成画素補間方法であって、前記工程（ｂ）は、前記統計値または前記偏り度の値を所定の変換テーブルに従って変換する変換工程を有し、該変換工程で変換した値に基づいて前記各混合係数を算出する工程を備える、混成画素補間方法。
【請求項２７】
請求項１９〜２６の何れか１項に記載の混成画素補間方法であって、（ｄ）前記工程（ｂ）で算出された前記各混合係数を、外部入力の制御信号に応じて入れ替える工程、を更に備える混成画素補間方法。
【請求項２８】
請求項１５〜２７の何れか１項に記載の混成画素補間方法であって、前記原画像データは、デジタルカメラに搭載される単板式の撮像素子で撮像したものである、混成画素補間方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−３００６６６（Ｐ２００７−３００６６６Ａ）
【公開日】平成１９年１１月１５日（２００７．１１．１５）
【国際特許分類】
【出願番号】特願２００７−１７６３４７（Ｐ２００７−１７６３４７）
【出願日】平成１９年７月４日（２００７．７．４）
【分割の表示】特願２００２−４４９０３（Ｐ２００２−４４９０３）の分割
【原出願日】平成１４年２月２１日（２００２．２．２１）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
【公開日】平成１９年１１月１５日（２００７．１１．１５）
【国際特許分類】
【出願日】平成１９年７月４日（２００７．７．４）
【分割の表示】特願２００２−４４９０３（Ｐ２００２−４４９０３）の分割
【原出願日】平成１４年２月２１日（２００２．２．２１）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
[ Back to top ]