画像処理システムおよび画像処理方法
【課題】フィルタリング処理の効果を向上させながら、演算量の増加を抑える。
【解決手段】 デジタルカメラ１０２はＤＳＰ１０２を有する。ＤＳＰ１０２は原画像信号に対して画像処理を施す。原画像信号は原画像に対応する。原画像は行方向および列方向に沿って２次元状に配置される複数の画素によって構成される。原画像における特定の画素を原点画素に定める。原点画素と原点画素から行方向に沿って連続して並ぶｍ個（ｍは１以上の整数）の画素を基準画素に定める。ＤＳＰ１０２は基準画素からｍ個おきに並ぶ画素によって基準画素別に画素グループを構成させる。ＤＳＰ１０２は画素グループ内の各画素に対して同じ画素グループを構成する画素を用いてフィルタリングを行う。
【解決手段】 デジタルカメラ１０２はＤＳＰ１０２を有する。ＤＳＰ１０２は原画像信号に対して画像処理を施す。原画像信号は原画像に対応する。原画像は行方向および列方向に沿って２次元状に配置される複数の画素によって構成される。原画像における特定の画素を原点画素に定める。原点画素と原点画素から行方向に沿って連続して並ぶｍ個（ｍは１以上の整数）の画素を基準画素に定める。ＤＳＰ１０２は基準画素からｍ個おきに並ぶ画素によって基準画素別に画素グループを構成させる。ＤＳＰ１０２は画素グループ内の各画素に対して同じ画素グループを構成する画素を用いてフィルタリングを行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号にフィルタリングを施す画像処理システムおよび画像処理方法に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラなどに設けられる撮像素子により被写体の光学像に相当する画像信号を生成することが知られている。また、画像信号に対して様々な画像処理を施すことにより、再生する画像に所望の加工を施すことも知られている。
【０００３】
画像処理の一例として、フィルタリング処理が挙げられる。フィルタリング処理では、画像信号を構成する複数の画素が順番に注目画素に指定され、また注目画素の周囲に配置される画素が周囲画素に指定される。さらに、フィルタリング処理では、注目画素および指定画素に対応する要素を有するフィルタが予め作成される。注目画素および周囲画素に対してフィルタをかけることにより、注目画素の光学情報が更新される。
【０００４】
このようなフィルタリング処理の中には、フィルタサイズが大きくなるほどフィルタリング処理による効果が高められることがある。例えば、位相板を用いて光束を規則的に分散させた光学像の撮像により得られた画像信号に対して、デコンボリューション処理を施すことにより画像のボケを除去することが提案されている（特許文献１〜特許文献５参照）。デコンボリューション処理においては、ボケの低減化効果を向上させるにはデコンボリューションに用いるフィルタサイズを大きくすることが必要である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第６０２１００５号明細書
【特許文献２】米国特許第６６４２５０４号明細書
【特許文献３】米国特許第６５２５３０２号明細書
【特許文献４】米国特許第６０６９７３８号明細書
【特許文献５】特開２００３−２３５７９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、フィルタサイズを大きくすると、演算量が増加するため、処理速度の低下および／または処理量の大きな回路が必要であり製造コストの増加を招いていた。
【０００７】
したがって、かかる事情に鑑みてなされた本発明の目的は、フィルタリング処理の効果を向上させながら、演算量の増加を抑える画像処理システムおよび画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上述した諸課題を解決すべく、本発明による画像処理システムは、
第１、第２の方向に沿って２次元状に配置される複数の画素によって構成される原画像に対応する原画像信号に対して画像処理を施す画像処理システムであって、
原画像において特定の画素である原点画素と原点画素から第１の方向に沿って連続して並ぶｍ個（ｍは１以上の整数）の画素とが基準画素に定められ、
原画像において基準画素から第１の方向に沿ってｍ個おきに並ぶ前記画素によって基準画素別に構成される画素グループ内の各画素に対して、同じ画素グループを構成する画素を用いてフィルタリングを行う
ことを特徴とするものである。
【０００９】
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質
的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るもの
であり、本発明の範囲にはこれらも包含されるものと理解されたい。
【００１０】
例えば、本発明の第１の発明を方法として実現させた画像処理方法は、
第１、第２の方向に沿って2次元状に配置される複数の画素によって構成される原画像に対応する原画像信号に対して画像処理を施す画像処理方法であって、
原画像において特定の画素である原点画素と原点画素から第１の方向に沿って連続して並ぶｍ個（mは１以上の整数）の画素とが基準画素に定めるステップと、
原画像において基準画素から第１の方向に沿ってｍ個おきに並ぶ画素によって基準画素別に構成されるが祖グループ内の各画素に対して、同じ画素グループを構成する画素を用いてフィルタリングを行うステップとを備える
ことを特徴とするものである。
【発明の効果】
【００１１】
上記のように構成された本発明に係る画像処理システムによれば、基準画素からｍ個おきの画素を用いてフィルタリングを行うので、注目画素から離れた画素を用いることによりフィルタリング処理の効果を向上させることが可能である。また、注目画素に連続して配置される画素を用いていないので、演算量の増加を防ぐことが可能である。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る画像処理システムを有する撮像装置であるデジタルカメラの光学的構成および電気的な概略構成を示す構成図である。
【図２】原画像の構成を示す構成図である。
【図３】第１の間引き画像の構成を示す構成図である。
【図４】第２の間引き画像の構成を示す構成図である。
【図５】第３の間引き画像の構成を示す構成図である。
【図６】第４の間引き画像の構成を示す構成図である。
【図７】第１のフィルタの構成を示す構成図である。
【図８】図１のＤＳＰにおいて実行される復元処理を示すフローチャートである。
【図９】図１の撮影光学系の空間周波数に対するＯＴＦの特性を表すグラフと、図１の撮影光学系に対して理想的なフィルタにおける空間周波数に対するゲインの関係を示すグラフである。
【図１０】５行５列のフィルタにおける空間周波数に対して設定可能なゲインを示すグラフである。
【図１１】９行９列のフィルタにおける空間周波数に対して設定可能なゲインを示すグラフである。
【図１２】第１のフィルタにおける空間周波数に対して設定可能なゲインを示すグラフである。
【図１３】第２のフィルタの構成を示す構成図である。
【発明を実施するための形態】
【００１３】
以下、本発明を適用した画像処理システムの実施形態について、図面を参照して説明する。
【００１４】
図１は、本発明の第１の実施形態に係る画像処理システムを有する撮像装置であるデジタルカメラの光学的構成および電気的な概略構成を示す構成図である。デジタルカメラ１００は、撮影光学系１１０、撮像素子１０１、ＣＰＵ１０２、ＤＳＰ１０３、操作部１０４、モニタ１０５などによって構成される。
【００１５】
撮影光学系１１０は、複数のレンズ１１１によって構成される。単一のレンズ１１１の内面に収差制御面１１２が形成されることにより、撮影光学系１１０に所定の球面収差を発生させる。撮影光学系１１０により、撮影されるための被写体像が結像され、撮像素子１０１の受光面上に形成される。
【００１６】
撮像素子１０１は例えばＣＣＤやＣＭＯＳエリアセンサであり、受光面に形成される被写体像に応じた原画像信号が生成される。なお、撮像素子１０１の有効撮像領域（図示せず）には、行方向（第１の方向）に（２×ｙ）行、列方向（第２の方向）に（２×ｘ）列のマトリックス状に配置された画素（図示せず）が設けられ、原画像信号に相当する原画像ｏｉは、図２に示すように、（２ｙ）行、（２ｘ）列のマトリックス状に配置された画素ｐｘによって構成される。
【００１７】
生成された原画像信号は、ＡＦＥ（図示せず）においてＣＤＳ処理、Ａ／Ｄコンバージョン処理等が施されデジタル信号に変換されて、ＤＳＰ１０３に送信される（図３参照）。ＤＳＰ１０３はＤＲＡＭ１０６をワークメモリとして用い、受信した原画像信号に対して、所定の信号処理を施す。
【００１８】
なお、所定の信号処理には、後述する復元処理が含まれる。撮影光学系１１０により形成される被写体像である分散画像は収差制御面１１２の機能により焦点深度の深い光学像であって、ボケの発生した像である。復元処理を実行するために、ＣＰＵ１０２を介してＥＥＰＲＯＭ１０７から球面収差を補正する第１のフィルタが、ＤＳＰ１０３に伝達される。
【００１９】
なお、第１のフィルタは予め測定された撮影光学系１１０固有のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）すなわち、ボケの度合いに応じて予め定められるウィナーフィルタなどのボケ復元用のフィルタである。ＤＳＰ１０３では第１のフィルタを用いて、原画像信号にデコンボリューション処理を施す。デコンボリューション処理により分散画像のボケを低減化させた画像が作成される。
【００２０】
所定の信号処理が施された原画像信号は全体処理画像信号として、モニタ１０５に送信され、全体処理画像信号に対応する光学像がモニタ１０５に表示される。また、全体処理画像信号はＣＰＵ１０２を介して、ＣＰＵ１０２に着脱可能な記憶メディア（図示せず）に格納させることも可能である。
【００２１】
撮像素子１０１およびＤＳＰ１０３における様々な動作の時期はタイミングジェネレータ（ＴＧ）１０８によって制御される。また、ＴＧ１０８はＣＰＵ１０２の制御に基づいて、撮像素子１０１およびＤＳＰ１０３の動作時期を制御する。また、ＣＰＵ１０２はＴＧ１０８だけでなく、デジタルカメラ１００の各部位の動作を制御する。
【００２２】
ＣＰＵ１０２はボタン（図示せず）やダイヤル（図示せず）などの入力機器によって構成される操作部１０４に接続される。使用者による操作部１０４への操作入力に基づいて、ＣＰＵ１０２は各部位の動作の制御を実行する。ＣＰＵ１０２はＥＥＰＲＯＭ１０７に接続される。前述の第１のフィルタだけでなくデジタルカメラ１００に設けられる様々な機能を実行するために必要な情報はＥＥＰＲＯＭ１０７に格納されており、必要に応じてＣＰＵ１０２により読出される。
【００２３】
次に、ＤＳＰ１０３において実行されるデコンボリューション処理について、以下に説明する。デコンボリューション処理において、最初に原画像信号から第１〜第４の間引き画像信号が生成される。
【００２４】
前述のように、原画像ｏｉは（２ｙ）行（２ｘ）列のマトリックス状に配置された画素ｐｘによって構成される（図２参照）。第１の間引き画像信号は、原画像ｏｉにおける偶数行および偶数列に配置された画素ｐｘに対応する画素信号を間引くことにより生成される。例えば、図３に示すように、第１の間引き画像信号に相当する第１の間引き画像ｉｉ１は、原画像ｏｉにおいて奇数行および奇数列に配置されるｙ行ｘ列のマトリックス状に配置された画素ｐｘ１によって構成される。
【００２５】
第２の間引き画像信号は、原画像ｏｉにおける偶数行および奇数列に配置された画素ｐｘに対応する画素信号を間引くことにより生成される。すなわち、図４に示すように、第２の間引き画像信号に相当する第２の間引き画像ｉｉ２は、原画像ｏｉにおいて奇数行および偶数列に配置されるｙ行ｘ列のマトリックス状に配置された画素ｐｘ２によって構成される。
【００２６】
第３の間引き画像信号は、原画像ｏｉにおける奇数行および偶数列に配置された画素ｐｘに対応する画素信号を間引くことにより生成される。すなわち、図５に示すように、第３の間引き画像信号に相当する第３の間引き画像ｉｉ３は、原画像ｏｉにおいて偶数行および奇数列に配置されるｙ行ｘ列のマトリックス状に配置された画素ｐｘ３によって構成される。
【００２７】
第４の間引き画像信号は、原画像ｏｉにおける奇数行および奇数列に配置された画素ｐｘに対応する画素信号を間引くことにより生成される。すなわち、図６に示すように、第４の間引き画像信号に相当する第４の間引き画像ｉｉ４は、原画像ｏｉにおいて偶数行および偶数列に配置されるｙ行ｘ列のマトリックス状に配置された画素ｐｘ４によって構成される。
【００２８】
第１〜第４の間引き画像信号が生成されると、次に第１〜第４の間引き画像信号に対して第１のフィルタを用いてデコンボリューション処理が施される。第１〜第４の間引き画像信号に対してデコンボリューション処理を施すことにより、第１〜第４の処理画像信号が生成される。
【００２９】
なお、第１のフィルタは注目画素を中心とした５行５列のフィルタであり、５行５列の全画素に対応する要素（Ｋ（−２、−２）〜Ｋ（２、２））を有している（図７参照）。各要素は前述のように撮影光学系１１０固有のＰＳＦに応じて予め定められる。
【００３０】
第１〜第４の処理画像信号が生成されると、次に第１〜第４の処理画像信号を用いて全体処理画像信号が生成される。全体処理画像信号は、第１〜第４の処理画像信号を構成する処理画素信号に対応する処理画素を、元の原画像における同一の画素の配列と同じ位置に配置することにより生成される。全体処理画像信号を生成することにより、本実施形態における復元処理を終了する。
【００３１】
続いて、ＤＳＰ１０３によって実行される復元処理について、図８のフローチャートを用いて説明する。復元処理は、ＤＳＰ１０３による復元処理前に実行される所定の信号処理の実行後に開始する。
【００３２】
ステップＳ１０１において、ＤＳＰ１０３は原画像信号に基づいて、第１〜第４の間引き画像信号を生成する。次のステップＳ１０２では、ＤＳＰ１０３は第１〜第４の間引き画像信号に対して第１のフィルタを用いてデコンボリューション処理を施す。さらに、次のステップＳ１０３では、ＤＳＰ１０３は、ステップＳ１０２におけるデコンボリューション処理により生成された第１〜第４の処理画像信号を用いて全体処理画像信号を生成する。全体処理画像信号を生成すると、復元処理は終了する。
【００３３】
以上のような構成の第１の実施形態の画像処理ステムによれば、デコンボリューション処理の効果、すなわちボケ低減化効果を向上させながら、ＤＳＰ１０３による演算量の増加を防ぐことが可能である。以下に、ボケ低減化効果の向上および演算量増加の抑制について説明する。
【００３４】
図９に示すように、収差制御面１１２の設けられた撮影光学系１１０の光学伝達関数（ＯＴＦ）は、空間周波数が大きくなるほど減少する。このような撮影光学系１１０により結像させた光学像に対応する画像信号のボケを低減化するためには、低下したＯＴＦを回復させるように空間周波数に応じてゲインを増加させるフィルタを用いることが求められる。
【００３５】
理想的には、空間周波数に対する増減がＯＴＦとゲインとの間で連続的に逆になるように、第１のフィルタを設計することが好ましい（図９における空間周波数―ゲイン曲線参照）。ただし、空間周波数が高い帯域でゲインを大きくするとノイズも増加することから、高い空間周波数領域ではゲインを抑えながら（図９における点線参照）、低周波数の帯域において適切にゲインを設定することが求められる。
【００３６】
デコンボリューション用の復元フィルタの設計において、ゲインの設定が可能な空間周波数の標本数は、注目画素からフィルタの外縁までの画素の距離に応じて変化する。例えば、５行５列のデコンボリューションフィルタの場合には、図１０に示すように、空間周波数がナイキスト周波数Ｆｎ、Ｆｎ／２、およびゼロの３点においてゲインの設定が可能である。さらに、９行９列のデコンボリューションフィルタの場合には、図１１に示すように、空間周波数がＦｎ、（３×Ｆｎ）／４、Ｆｎ／２、Ｆｎ／４、ゼロの５点においてゲインの設定が可能である。しかし、前述のように、フィルタのサイズを大きくするほど、デコンボリューション処理に要する演算量が増加する。
【００３７】
本実施形態では、第１〜第４の間引き画像に対してデコンボリューション処理が施される。このように行方向および縦方向に１／２に間引きした画像に対してデコンボリューション処理が施されるので、空間周波数がゼロ〜Ｆｎ／２の範囲でゲインの設定が可能である。したがって、第１〜第４の間引き画像に対して５行５列の第１のフィルタを用いると、空間周波数がＦｎ／２、Ｆｎ／４、ゼロの３点においてゲインの設定が可能である（図１２参照）。
【００３８】
なお、空間周波数が（３×Ｆｎ）／４、Ｆｎである点におけるゲインは、それぞれＦｎ／４、ゼロである点におけるゲインと同じになる。ゲイン設定される空間周波数の標本数は、低周波の帯域において密になるほど、ボケ低減化の視覚的効果は大きい。特に、前述のように、空間周波数の高い帯域においてはゲインを抑えることが好ましく、空間周波数Ｆｎにおけるゲインが空間周波数ゼロにおけるゲインと同じであっても視覚的効果の影響は比較的低い。それゆえ、空間周波数が（３×Ｆｎ）／４、Ｆｎである点におけるゲインがＦｎ／４、ゼロである点におけるゲインと同じであることは、問題にならない。
【００３９】
したがって、本実施形態の画像処理システムによれば、５行５列のフィルタを用いながら、９行９列のフィルタによる低周波の帯域に対して適切にゲインを設定したフィルタを設計することが可能であり、９行９列のフィルタを用いたときと同様の視覚的なボケ低減化効果を得ることが可能である。
【００４０】
次に、本発明の第２の実施形態に係る画像処理システムについて説明する。第２の実施形態は、復元処理の方法が第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ機能および構成を有する部位には同じ符号を付す。
【００４１】
第２の実施形態では、ＤＳＰ１０３以外のデジタルカメラ１００の構成は、第１の実施形態と同様である。第２の実施形態のＤＳＰ１０３は、復元処理以外の機能は第１の実施形態と同じである。なお、第２の実施形態におけるＥＥＰＲＯＭ１０７には、第２の実施形態における復元処理に用いるための第２のフィルタが格納される。
【００４２】
第２の実施形態における復元処理について、以下に説明する。第１の実施形態と異なり、第２の実施形態における復元処理では、第１〜第４の間引き画像信号は生成されず、原画像信号に第２のフィルタを用いてデコンボリューション処理が施される。
【００４３】
なお、第２のフィルタは、図１３に示すように、注目画素を中心とした９行９列のフィルタであり、中心の注目画素に対応する要素と、注目画素から行方向および列方向に１個おきの画素に対応する要素のみを有する。すなわち、注目画素から行方向に奇数個離れた画素および列方向に奇数個離れた画素に対応する要素はゼロである。第２のフィルタの各要素も、第１の実施形態と同様に、撮影光学系１１０固有のＰＳＦに応じて、予め定められる。
【００４４】
なお、第１の実施形態と異なり、全体処理画像信号を生成することなくデコンボリューション処理の終了によって、第２の実施形態における復元処理は完了する。第１の実施形態と異なり、原画像信号に直接フィルタリング処理を施すために、後の画像合成処理は不要である。
【００４５】
以上のような構成の第２の実施形態の画像処理システムによれば、第１の実施形態と同様に、ボケ低減化効果を向上させながら、ＤＳＰ１０３による演算量の増加を防ぐことが可能である。
【００４６】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
【００４７】
例えば、上記第１、第２の実施形態では、画像信号にフィルタを用いたデコンボリューション処理を施す構成であるが、フィルタサイズが大きくなるほど効果が高められる他のフィルタリング処理にも適用可能である。
【００４８】
また、第１、第２の実施形態では、原画像における行方向および列方向に１個おきの画素を用いてフィルタリング処理を行っている構成であるが、画素間隔は１個に限定されない。さらには、行方向および列方向に異なる画素間隔の画素を用いてフィルタリング処理を行ってもよい。すなわち、行方向にｍ個（ｍは１以上の整数）おきの画素を用い、列方向にｎ個（ｎは１以上の整数）おきの画素を用いてフィルタリング処理を行ってもよい。
【００４９】
例えば、ラインセンサを用いて走査することによって画像信号を生成した場合には、走査方向とラインセンサの長手方向とで画素の長さが異なることがある。そのような場合には、画素の幅に応じて適切な画素間隔を設定することが好ましい。
【００５０】
また、第１、第２の実施形態では、５行５列の第１のフィルタおよび９行９列の第２のフィルタを用いる構成であるが、１行ｕ列（ｕは１以上の整数）のフィルタやｖ行１列（ｖは１以上の整数）のフィルタのように行方向および列方向のいずれか１方にのみ幅を有するフィルタを用いてもよい。
【００５１】
また、第１の実施形態では行方向および列方向それぞれに５個の要素を有する第１のフィルタを用い、第２の実施形態では行方向および列方向それぞれに１個おきで５個並ぶ９個の要素のみを有する第２のフィルタを用いる構成であるが、フィルタに用いられる要素は行方向および列方向ともに５個に限定されない。行方向にｓ個（ｓは１以上の整数）および列方向にｔ個（ｔは１以上の整数）の要素であってもよい。
【００５２】
また、第１、第２の実施形態では、原画像信号に対応する原画像は行方向および列方向に並ぶ画素によって形成される構成であるが、原画像を形成する画素の配置は行方向および列方向に限定されない。例えば、ハニカム配置の撮像素子のように、直交する２つの斜め方向に沿って配置される画素であっても、本実施形態を適用することは可能である。
【００５３】
また、第１の実施形態では作成した間引き画像に対して５行５列の第１のフィルタを用いてフィルタリング処理を行うことにより、また第２の実施形態では行方向および列方向に１個おきの画素に対してのみ要素を有する第２のフィルタを用いてフィルタリング処理を行うことにより、任意の画素に対して行方向および列方向に１個おきに並ぶ画素を用いたフィルタリング処理が行われる構成である。しかし、本発明はこのような構成に限定されない。
【００５４】
原画像における特定の画素を原点画素とし、原点画素と、原点画素から行方向に沿って連続して並ぶ１個の画素と、原点画素と原点画素から行方向に沿って連続して並ぶ１個の画素とからそれぞれ列方向に沿って連続して並ぶ１個の画素との合計４画素をを基準画素に定めて、原画像において基準画素と、基準画素から行方向１個おきに並ぶ画素と、基準画素および基準画素から１個おきに並ぶ画素から列方向に１個おきに並ぶ画素とによって基準画素別に画素グループを構成し、画素グループ内の画素に対して、同じ画素グループを構成する画素を用いてフィルタリングを行う構成であれば、第１、第２の実施形態と同様の効果を得ることが可能である。
【００５５】
また、第１、第２の実施形態では、画像処理システムが適用される撮像装置はデジタルカメラであるが、情報コード読取装置、ビデオカメラ、携帯電話機、自動制御用産業カメラなどの撮像装置に適用されてもよい。さらには、自身が撮影システムを有さずに、外部から受信する画像信号を用いてデコンボリューション処理を施すデジタルビデオユニット、パーソナルコンピュータ、携帯情報端末、画像検査装置など画像処理装置に、画像処理システムが適用されてもよい。
【符号の説明】
【００５６】
１００ デジタルカメラ
１０３ ＤＳＰ
１１０ 撮影光学系
１１２ 収差制御面
ｉｉ１〜ｉｉ４ 第１〜第４の間引き画像
ｏｉ 原画像
ｐｘ 画素
【技術分野】
【０００１】
本発明は、画像信号にフィルタリングを施す画像処理システムおよび画像処理方法に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラなどに設けられる撮像素子により被写体の光学像に相当する画像信号を生成することが知られている。また、画像信号に対して様々な画像処理を施すことにより、再生する画像に所望の加工を施すことも知られている。
【０００３】
画像処理の一例として、フィルタリング処理が挙げられる。フィルタリング処理では、画像信号を構成する複数の画素が順番に注目画素に指定され、また注目画素の周囲に配置される画素が周囲画素に指定される。さらに、フィルタリング処理では、注目画素および指定画素に対応する要素を有するフィルタが予め作成される。注目画素および周囲画素に対してフィルタをかけることにより、注目画素の光学情報が更新される。
【０００４】
このようなフィルタリング処理の中には、フィルタサイズが大きくなるほどフィルタリング処理による効果が高められることがある。例えば、位相板を用いて光束を規則的に分散させた光学像の撮像により得られた画像信号に対して、デコンボリューション処理を施すことにより画像のボケを除去することが提案されている（特許文献１〜特許文献５参照）。デコンボリューション処理においては、ボケの低減化効果を向上させるにはデコンボリューションに用いるフィルタサイズを大きくすることが必要である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第６０２１００５号明細書
【特許文献２】米国特許第６６４２５０４号明細書
【特許文献３】米国特許第６５２５３０２号明細書
【特許文献４】米国特許第６０６９７３８号明細書
【特許文献５】特開２００３−２３５７９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、フィルタサイズを大きくすると、演算量が増加するため、処理速度の低下および／または処理量の大きな回路が必要であり製造コストの増加を招いていた。
【０００７】
したがって、かかる事情に鑑みてなされた本発明の目的は、フィルタリング処理の効果を向上させながら、演算量の増加を抑える画像処理システムおよび画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上述した諸課題を解決すべく、本発明による画像処理システムは、
第１、第２の方向に沿って２次元状に配置される複数の画素によって構成される原画像に対応する原画像信号に対して画像処理を施す画像処理システムであって、
原画像において特定の画素である原点画素と原点画素から第１の方向に沿って連続して並ぶｍ個（ｍは１以上の整数）の画素とが基準画素に定められ、
原画像において基準画素から第１の方向に沿ってｍ個おきに並ぶ前記画素によって基準画素別に構成される画素グループ内の各画素に対して、同じ画素グループを構成する画素を用いてフィルタリングを行う
ことを特徴とするものである。
【０００９】
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質
的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るもの
であり、本発明の範囲にはこれらも包含されるものと理解されたい。
【００１０】
例えば、本発明の第１の発明を方法として実現させた画像処理方法は、
第１、第２の方向に沿って2次元状に配置される複数の画素によって構成される原画像に対応する原画像信号に対して画像処理を施す画像処理方法であって、
原画像において特定の画素である原点画素と原点画素から第１の方向に沿って連続して並ぶｍ個（mは１以上の整数）の画素とが基準画素に定めるステップと、
原画像において基準画素から第１の方向に沿ってｍ個おきに並ぶ画素によって基準画素別に構成されるが祖グループ内の各画素に対して、同じ画素グループを構成する画素を用いてフィルタリングを行うステップとを備える
ことを特徴とするものである。
【発明の効果】
【００１１】
上記のように構成された本発明に係る画像処理システムによれば、基準画素からｍ個おきの画素を用いてフィルタリングを行うので、注目画素から離れた画素を用いることによりフィルタリング処理の効果を向上させることが可能である。また、注目画素に連続して配置される画素を用いていないので、演算量の増加を防ぐことが可能である。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る画像処理システムを有する撮像装置であるデジタルカメラの光学的構成および電気的な概略構成を示す構成図である。
【図２】原画像の構成を示す構成図である。
【図３】第１の間引き画像の構成を示す構成図である。
【図４】第２の間引き画像の構成を示す構成図である。
【図５】第３の間引き画像の構成を示す構成図である。
【図６】第４の間引き画像の構成を示す構成図である。
【図７】第１のフィルタの構成を示す構成図である。
【図８】図１のＤＳＰにおいて実行される復元処理を示すフローチャートである。
【図９】図１の撮影光学系の空間周波数に対するＯＴＦの特性を表すグラフと、図１の撮影光学系に対して理想的なフィルタにおける空間周波数に対するゲインの関係を示すグラフである。
【図１０】５行５列のフィルタにおける空間周波数に対して設定可能なゲインを示すグラフである。
【図１１】９行９列のフィルタにおける空間周波数に対して設定可能なゲインを示すグラフである。
【図１２】第１のフィルタにおける空間周波数に対して設定可能なゲインを示すグラフである。
【図１３】第２のフィルタの構成を示す構成図である。
【発明を実施するための形態】
【００１３】
以下、本発明を適用した画像処理システムの実施形態について、図面を参照して説明する。
【００１４】
図１は、本発明の第１の実施形態に係る画像処理システムを有する撮像装置であるデジタルカメラの光学的構成および電気的な概略構成を示す構成図である。デジタルカメラ１００は、撮影光学系１１０、撮像素子１０１、ＣＰＵ１０２、ＤＳＰ１０３、操作部１０４、モニタ１０５などによって構成される。
【００１５】
撮影光学系１１０は、複数のレンズ１１１によって構成される。単一のレンズ１１１の内面に収差制御面１１２が形成されることにより、撮影光学系１１０に所定の球面収差を発生させる。撮影光学系１１０により、撮影されるための被写体像が結像され、撮像素子１０１の受光面上に形成される。
【００１６】
撮像素子１０１は例えばＣＣＤやＣＭＯＳエリアセンサであり、受光面に形成される被写体像に応じた原画像信号が生成される。なお、撮像素子１０１の有効撮像領域（図示せず）には、行方向（第１の方向）に（２×ｙ）行、列方向（第２の方向）に（２×ｘ）列のマトリックス状に配置された画素（図示せず）が設けられ、原画像信号に相当する原画像ｏｉは、図２に示すように、（２ｙ）行、（２ｘ）列のマトリックス状に配置された画素ｐｘによって構成される。
【００１７】
生成された原画像信号は、ＡＦＥ（図示せず）においてＣＤＳ処理、Ａ／Ｄコンバージョン処理等が施されデジタル信号に変換されて、ＤＳＰ１０３に送信される（図３参照）。ＤＳＰ１０３はＤＲＡＭ１０６をワークメモリとして用い、受信した原画像信号に対して、所定の信号処理を施す。
【００１８】
なお、所定の信号処理には、後述する復元処理が含まれる。撮影光学系１１０により形成される被写体像である分散画像は収差制御面１１２の機能により焦点深度の深い光学像であって、ボケの発生した像である。復元処理を実行するために、ＣＰＵ１０２を介してＥＥＰＲＯＭ１０７から球面収差を補正する第１のフィルタが、ＤＳＰ１０３に伝達される。
【００１９】
なお、第１のフィルタは予め測定された撮影光学系１１０固有のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）すなわち、ボケの度合いに応じて予め定められるウィナーフィルタなどのボケ復元用のフィルタである。ＤＳＰ１０３では第１のフィルタを用いて、原画像信号にデコンボリューション処理を施す。デコンボリューション処理により分散画像のボケを低減化させた画像が作成される。
【００２０】
所定の信号処理が施された原画像信号は全体処理画像信号として、モニタ１０５に送信され、全体処理画像信号に対応する光学像がモニタ１０５に表示される。また、全体処理画像信号はＣＰＵ１０２を介して、ＣＰＵ１０２に着脱可能な記憶メディア（図示せず）に格納させることも可能である。
【００２１】
撮像素子１０１およびＤＳＰ１０３における様々な動作の時期はタイミングジェネレータ（ＴＧ）１０８によって制御される。また、ＴＧ１０８はＣＰＵ１０２の制御に基づいて、撮像素子１０１およびＤＳＰ１０３の動作時期を制御する。また、ＣＰＵ１０２はＴＧ１０８だけでなく、デジタルカメラ１００の各部位の動作を制御する。
【００２２】
ＣＰＵ１０２はボタン（図示せず）やダイヤル（図示せず）などの入力機器によって構成される操作部１０４に接続される。使用者による操作部１０４への操作入力に基づいて、ＣＰＵ１０２は各部位の動作の制御を実行する。ＣＰＵ１０２はＥＥＰＲＯＭ１０７に接続される。前述の第１のフィルタだけでなくデジタルカメラ１００に設けられる様々な機能を実行するために必要な情報はＥＥＰＲＯＭ１０７に格納されており、必要に応じてＣＰＵ１０２により読出される。
【００２３】
次に、ＤＳＰ１０３において実行されるデコンボリューション処理について、以下に説明する。デコンボリューション処理において、最初に原画像信号から第１〜第４の間引き画像信号が生成される。
【００２４】
前述のように、原画像ｏｉは（２ｙ）行（２ｘ）列のマトリックス状に配置された画素ｐｘによって構成される（図２参照）。第１の間引き画像信号は、原画像ｏｉにおける偶数行および偶数列に配置された画素ｐｘに対応する画素信号を間引くことにより生成される。例えば、図３に示すように、第１の間引き画像信号に相当する第１の間引き画像ｉｉ１は、原画像ｏｉにおいて奇数行および奇数列に配置されるｙ行ｘ列のマトリックス状に配置された画素ｐｘ１によって構成される。
【００２５】
第２の間引き画像信号は、原画像ｏｉにおける偶数行および奇数列に配置された画素ｐｘに対応する画素信号を間引くことにより生成される。すなわち、図４に示すように、第２の間引き画像信号に相当する第２の間引き画像ｉｉ２は、原画像ｏｉにおいて奇数行および偶数列に配置されるｙ行ｘ列のマトリックス状に配置された画素ｐｘ２によって構成される。
【００２６】
第３の間引き画像信号は、原画像ｏｉにおける奇数行および偶数列に配置された画素ｐｘに対応する画素信号を間引くことにより生成される。すなわち、図５に示すように、第３の間引き画像信号に相当する第３の間引き画像ｉｉ３は、原画像ｏｉにおいて偶数行および奇数列に配置されるｙ行ｘ列のマトリックス状に配置された画素ｐｘ３によって構成される。
【００２７】
第４の間引き画像信号は、原画像ｏｉにおける奇数行および奇数列に配置された画素ｐｘに対応する画素信号を間引くことにより生成される。すなわち、図６に示すように、第４の間引き画像信号に相当する第４の間引き画像ｉｉ４は、原画像ｏｉにおいて偶数行および偶数列に配置されるｙ行ｘ列のマトリックス状に配置された画素ｐｘ４によって構成される。
【００２８】
第１〜第４の間引き画像信号が生成されると、次に第１〜第４の間引き画像信号に対して第１のフィルタを用いてデコンボリューション処理が施される。第１〜第４の間引き画像信号に対してデコンボリューション処理を施すことにより、第１〜第４の処理画像信号が生成される。
【００２９】
なお、第１のフィルタは注目画素を中心とした５行５列のフィルタであり、５行５列の全画素に対応する要素（Ｋ（−２、−２）〜Ｋ（２、２））を有している（図７参照）。各要素は前述のように撮影光学系１１０固有のＰＳＦに応じて予め定められる。
【００３０】
第１〜第４の処理画像信号が生成されると、次に第１〜第４の処理画像信号を用いて全体処理画像信号が生成される。全体処理画像信号は、第１〜第４の処理画像信号を構成する処理画素信号に対応する処理画素を、元の原画像における同一の画素の配列と同じ位置に配置することにより生成される。全体処理画像信号を生成することにより、本実施形態における復元処理を終了する。
【００３１】
続いて、ＤＳＰ１０３によって実行される復元処理について、図８のフローチャートを用いて説明する。復元処理は、ＤＳＰ１０３による復元処理前に実行される所定の信号処理の実行後に開始する。
【００３２】
ステップＳ１０１において、ＤＳＰ１０３は原画像信号に基づいて、第１〜第４の間引き画像信号を生成する。次のステップＳ１０２では、ＤＳＰ１０３は第１〜第４の間引き画像信号に対して第１のフィルタを用いてデコンボリューション処理を施す。さらに、次のステップＳ１０３では、ＤＳＰ１０３は、ステップＳ１０２におけるデコンボリューション処理により生成された第１〜第４の処理画像信号を用いて全体処理画像信号を生成する。全体処理画像信号を生成すると、復元処理は終了する。
【００３３】
以上のような構成の第１の実施形態の画像処理ステムによれば、デコンボリューション処理の効果、すなわちボケ低減化効果を向上させながら、ＤＳＰ１０３による演算量の増加を防ぐことが可能である。以下に、ボケ低減化効果の向上および演算量増加の抑制について説明する。
【００３４】
図９に示すように、収差制御面１１２の設けられた撮影光学系１１０の光学伝達関数（ＯＴＦ）は、空間周波数が大きくなるほど減少する。このような撮影光学系１１０により結像させた光学像に対応する画像信号のボケを低減化するためには、低下したＯＴＦを回復させるように空間周波数に応じてゲインを増加させるフィルタを用いることが求められる。
【００３５】
理想的には、空間周波数に対する増減がＯＴＦとゲインとの間で連続的に逆になるように、第１のフィルタを設計することが好ましい（図９における空間周波数―ゲイン曲線参照）。ただし、空間周波数が高い帯域でゲインを大きくするとノイズも増加することから、高い空間周波数領域ではゲインを抑えながら（図９における点線参照）、低周波数の帯域において適切にゲインを設定することが求められる。
【００３６】
デコンボリューション用の復元フィルタの設計において、ゲインの設定が可能な空間周波数の標本数は、注目画素からフィルタの外縁までの画素の距離に応じて変化する。例えば、５行５列のデコンボリューションフィルタの場合には、図１０に示すように、空間周波数がナイキスト周波数Ｆｎ、Ｆｎ／２、およびゼロの３点においてゲインの設定が可能である。さらに、９行９列のデコンボリューションフィルタの場合には、図１１に示すように、空間周波数がＦｎ、（３×Ｆｎ）／４、Ｆｎ／２、Ｆｎ／４、ゼロの５点においてゲインの設定が可能である。しかし、前述のように、フィルタのサイズを大きくするほど、デコンボリューション処理に要する演算量が増加する。
【００３７】
本実施形態では、第１〜第４の間引き画像に対してデコンボリューション処理が施される。このように行方向および縦方向に１／２に間引きした画像に対してデコンボリューション処理が施されるので、空間周波数がゼロ〜Ｆｎ／２の範囲でゲインの設定が可能である。したがって、第１〜第４の間引き画像に対して５行５列の第１のフィルタを用いると、空間周波数がＦｎ／２、Ｆｎ／４、ゼロの３点においてゲインの設定が可能である（図１２参照）。
【００３８】
なお、空間周波数が（３×Ｆｎ）／４、Ｆｎである点におけるゲインは、それぞれＦｎ／４、ゼロである点におけるゲインと同じになる。ゲイン設定される空間周波数の標本数は、低周波の帯域において密になるほど、ボケ低減化の視覚的効果は大きい。特に、前述のように、空間周波数の高い帯域においてはゲインを抑えることが好ましく、空間周波数Ｆｎにおけるゲインが空間周波数ゼロにおけるゲインと同じであっても視覚的効果の影響は比較的低い。それゆえ、空間周波数が（３×Ｆｎ）／４、Ｆｎである点におけるゲインがＦｎ／４、ゼロである点におけるゲインと同じであることは、問題にならない。
【００３９】
したがって、本実施形態の画像処理システムによれば、５行５列のフィルタを用いながら、９行９列のフィルタによる低周波の帯域に対して適切にゲインを設定したフィルタを設計することが可能であり、９行９列のフィルタを用いたときと同様の視覚的なボケ低減化効果を得ることが可能である。
【００４０】
次に、本発明の第２の実施形態に係る画像処理システムについて説明する。第２の実施形態は、復元処理の方法が第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ機能および構成を有する部位には同じ符号を付す。
【００４１】
第２の実施形態では、ＤＳＰ１０３以外のデジタルカメラ１００の構成は、第１の実施形態と同様である。第２の実施形態のＤＳＰ１０３は、復元処理以外の機能は第１の実施形態と同じである。なお、第２の実施形態におけるＥＥＰＲＯＭ１０７には、第２の実施形態における復元処理に用いるための第２のフィルタが格納される。
【００４２】
第２の実施形態における復元処理について、以下に説明する。第１の実施形態と異なり、第２の実施形態における復元処理では、第１〜第４の間引き画像信号は生成されず、原画像信号に第２のフィルタを用いてデコンボリューション処理が施される。
【００４３】
なお、第２のフィルタは、図１３に示すように、注目画素を中心とした９行９列のフィルタであり、中心の注目画素に対応する要素と、注目画素から行方向および列方向に１個おきの画素に対応する要素のみを有する。すなわち、注目画素から行方向に奇数個離れた画素および列方向に奇数個離れた画素に対応する要素はゼロである。第２のフィルタの各要素も、第１の実施形態と同様に、撮影光学系１１０固有のＰＳＦに応じて、予め定められる。
【００４４】
なお、第１の実施形態と異なり、全体処理画像信号を生成することなくデコンボリューション処理の終了によって、第２の実施形態における復元処理は完了する。第１の実施形態と異なり、原画像信号に直接フィルタリング処理を施すために、後の画像合成処理は不要である。
【００４５】
以上のような構成の第２の実施形態の画像処理システムによれば、第１の実施形態と同様に、ボケ低減化効果を向上させながら、ＤＳＰ１０３による演算量の増加を防ぐことが可能である。
【００４６】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
【００４７】
例えば、上記第１、第２の実施形態では、画像信号にフィルタを用いたデコンボリューション処理を施す構成であるが、フィルタサイズが大きくなるほど効果が高められる他のフィルタリング処理にも適用可能である。
【００４８】
また、第１、第２の実施形態では、原画像における行方向および列方向に１個おきの画素を用いてフィルタリング処理を行っている構成であるが、画素間隔は１個に限定されない。さらには、行方向および列方向に異なる画素間隔の画素を用いてフィルタリング処理を行ってもよい。すなわち、行方向にｍ個（ｍは１以上の整数）おきの画素を用い、列方向にｎ個（ｎは１以上の整数）おきの画素を用いてフィルタリング処理を行ってもよい。
【００４９】
例えば、ラインセンサを用いて走査することによって画像信号を生成した場合には、走査方向とラインセンサの長手方向とで画素の長さが異なることがある。そのような場合には、画素の幅に応じて適切な画素間隔を設定することが好ましい。
【００５０】
また、第１、第２の実施形態では、５行５列の第１のフィルタおよび９行９列の第２のフィルタを用いる構成であるが、１行ｕ列（ｕは１以上の整数）のフィルタやｖ行１列（ｖは１以上の整数）のフィルタのように行方向および列方向のいずれか１方にのみ幅を有するフィルタを用いてもよい。
【００５１】
また、第１の実施形態では行方向および列方向それぞれに５個の要素を有する第１のフィルタを用い、第２の実施形態では行方向および列方向それぞれに１個おきで５個並ぶ９個の要素のみを有する第２のフィルタを用いる構成であるが、フィルタに用いられる要素は行方向および列方向ともに５個に限定されない。行方向にｓ個（ｓは１以上の整数）および列方向にｔ個（ｔは１以上の整数）の要素であってもよい。
【００５２】
また、第１、第２の実施形態では、原画像信号に対応する原画像は行方向および列方向に並ぶ画素によって形成される構成であるが、原画像を形成する画素の配置は行方向および列方向に限定されない。例えば、ハニカム配置の撮像素子のように、直交する２つの斜め方向に沿って配置される画素であっても、本実施形態を適用することは可能である。
【００５３】
また、第１の実施形態では作成した間引き画像に対して５行５列の第１のフィルタを用いてフィルタリング処理を行うことにより、また第２の実施形態では行方向および列方向に１個おきの画素に対してのみ要素を有する第２のフィルタを用いてフィルタリング処理を行うことにより、任意の画素に対して行方向および列方向に１個おきに並ぶ画素を用いたフィルタリング処理が行われる構成である。しかし、本発明はこのような構成に限定されない。
【００５４】
原画像における特定の画素を原点画素とし、原点画素と、原点画素から行方向に沿って連続して並ぶ１個の画素と、原点画素と原点画素から行方向に沿って連続して並ぶ１個の画素とからそれぞれ列方向に沿って連続して並ぶ１個の画素との合計４画素をを基準画素に定めて、原画像において基準画素と、基準画素から行方向１個おきに並ぶ画素と、基準画素および基準画素から１個おきに並ぶ画素から列方向に１個おきに並ぶ画素とによって基準画素別に画素グループを構成し、画素グループ内の画素に対して、同じ画素グループを構成する画素を用いてフィルタリングを行う構成であれば、第１、第２の実施形態と同様の効果を得ることが可能である。
【００５５】
また、第１、第２の実施形態では、画像処理システムが適用される撮像装置はデジタルカメラであるが、情報コード読取装置、ビデオカメラ、携帯電話機、自動制御用産業カメラなどの撮像装置に適用されてもよい。さらには、自身が撮影システムを有さずに、外部から受信する画像信号を用いてデコンボリューション処理を施すデジタルビデオユニット、パーソナルコンピュータ、携帯情報端末、画像検査装置など画像処理装置に、画像処理システムが適用されてもよい。
【符号の説明】
【００５６】
１００ デジタルカメラ
１０３ ＤＳＰ
１１０ 撮影光学系
１１２ 収差制御面
ｉｉ１〜ｉｉ４ 第１〜第４の間引き画像
ｏｉ 原画像
ｐｘ 画素
【特許請求の範囲】
【請求項１】
第１、第２の方向に沿って２次元状に配置される複数の画素によって構成される原画像に対応する原画像信号に対して画像処理を施す画像処理システムであって、
前記原画像において特定の前記画素である原点画素と前記原点画素から前記第１の方向に沿って連続して並ぶｍ個（ｍは１以上の整数）の前記画素とが基準画素に定められ、
前記原画像において前記基準画素から前記第１の方向に沿ってｍ個おきに並ぶ前記画素によって前記基準画素別に構成される画素グループ内の各前記画素に対して、同じ前記画素グループを構成する前記画素を用いてフィルタリングを行う
ことを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムであって、
前記原画像において、前記画素グループを構成する前記画素を有する間引き画像を前記基準画素毎に作成する間引き画像作成部と、
前記第１の方向に沿って注目画素を含んで連続して並ぶｓ個の前記画素に対応する成分を有する第１のフィルタを用いて、前記間引き画像に相当する間引き画像信号に前記フィルタリングを行い、処理画像を前記間引き画像毎に作成するフィルタリング部と、
前記処理画像を構成する処理画素を、前記原画像において対応する前記画素の配列に応じて前記処理画像毎に再配列することにより全体処理画像を作成する画像合成部とを備える
ことを特徴とする画像処理システム。
【請求項３】
請求項１に記載の画像処理システムであって、前記第１の方向に沿って注目画素を含んでｍ個おきに並ぶｓ個の前記画素のみに対応する要素を有する第２のフィルタを用いて、前記原画像信号に前記フィルタリングを行うことにより全体処理画像信号を作成するフィルタリング部を備えることを特徴とする画像処理システム。
【請求項４】
請求項１に記載の画像処理システムであって、
前記原画像において前記原点画素と前記原点画素から前記第１の方向に沿って連続して並ぶｍ個の前記画素とからそれぞれ前記第２の方向に沿って連続して並ぶｎ個（ｎは１以上の整数）の前記画素も前記基準画素に定められ、
前記画素グループは、前記原画像において前記基準画素と前記基準画素から前記第１の方向に沿ってｍ個おきに並ぶ前記画素とから前記第２の方向に沿ってｎ個おきに並ぶ前記画素によって前記基準画素別に構成される
ことを特徴とする画像処理システム。
【請求項５】
請求項４に記載の画像処理システムであって、
前記原画像において、前記画素グループを構成する前記画素を有する間引き画像を前記基準画素毎に作成する間引き画像作成部と、
前記第１の方向および前記第２の方向に沿って注目画素を含んで連続して並ぶ（ｓ×ｔ）個の前記画素に対応する成分を有する第３のフィルタを用いて、前記間引き画像に相当する間引き画像信号に前記フィルタリングを行い、処理画像を前記間引き画像毎に作成するフィルタリング部と、
前記処理画像を構成する処理画素を、前記原画像において対応する前記画素の配列に応じて前記処理画像毎に再配列することにより全体処理画像を作成する画像合成部とを備える
ことを特徴とする画像処理システム。
【請求項６】
請求項４に記載の画像処理システムであって、注目画素を含んで前記第１の方向に沿ってｍ個おきｓ個且つ前記第２の方向に沿ってｎ個おきｔ個並ぶ（ｓ×ｔ）個の前記画素のみに対応する要素を有する第４のフィルタを用いて、前記原画像信号に前記フィルタリングを行うことにより全体処理画像信号を作成するフィルタリング部を備えることを特徴とする画像処理システム。
【請求項７】
請求項１〜請求項６のいずれか１項に記載の画像処理システムであって、ｍとｎとは同一であることを特徴とする画像処理システム。
【請求項８】
請求項１〜請求項６のいずれか１項に記載の画像処理システムであって、ｍとｎとは異なることを特徴とする画像処理システム。
【請求項９】
請求項１〜請求項８のいずれか１項に記載の画像処理システムであって、前記フィルタリングは、前記原画像信号を生成する撮像に用いられた撮像素子に光学像を結像させる撮影光学系に含められる収差制御素子によって発生する所定の収差により低下した画像特性を向上させることを特徴とする画像処理システム。
【請求項１０】
第１、第２の方向に沿って2次元状に配置される複数の画素によって構成される原画像に対応する原画像信号に対して画像処理を施す画像処理方法であって、
前記原画像において特定の前記画素である原点画素と前記原点画素から前記第１の方向に沿って連続して並ぶｍ個（mは１以上の整数）の前記画素とを基準画素に定めるステップと、
前記原画像において前記基準画素から前記第１の方向に沿ってｍ個おきに並ぶ前記画素によって前記基準画素別に構成される画素グループ内の各前記画素に対して、同じ前記画素グループを構成する前記画素を用いてフィルタリングを行うステップとを備える
ことを特徴とする画像処理方法。
【請求項１】
第１、第２の方向に沿って２次元状に配置される複数の画素によって構成される原画像に対応する原画像信号に対して画像処理を施す画像処理システムであって、
前記原画像において特定の前記画素である原点画素と前記原点画素から前記第１の方向に沿って連続して並ぶｍ個（ｍは１以上の整数）の前記画素とが基準画素に定められ、
前記原画像において前記基準画素から前記第１の方向に沿ってｍ個おきに並ぶ前記画素によって前記基準画素別に構成される画素グループ内の各前記画素に対して、同じ前記画素グループを構成する前記画素を用いてフィルタリングを行う
ことを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムであって、
前記原画像において、前記画素グループを構成する前記画素を有する間引き画像を前記基準画素毎に作成する間引き画像作成部と、
前記第１の方向に沿って注目画素を含んで連続して並ぶｓ個の前記画素に対応する成分を有する第１のフィルタを用いて、前記間引き画像に相当する間引き画像信号に前記フィルタリングを行い、処理画像を前記間引き画像毎に作成するフィルタリング部と、
前記処理画像を構成する処理画素を、前記原画像において対応する前記画素の配列に応じて前記処理画像毎に再配列することにより全体処理画像を作成する画像合成部とを備える
ことを特徴とする画像処理システム。
【請求項３】
請求項１に記載の画像処理システムであって、前記第１の方向に沿って注目画素を含んでｍ個おきに並ぶｓ個の前記画素のみに対応する要素を有する第２のフィルタを用いて、前記原画像信号に前記フィルタリングを行うことにより全体処理画像信号を作成するフィルタリング部を備えることを特徴とする画像処理システム。
【請求項４】
請求項１に記載の画像処理システムであって、
前記原画像において前記原点画素と前記原点画素から前記第１の方向に沿って連続して並ぶｍ個の前記画素とからそれぞれ前記第２の方向に沿って連続して並ぶｎ個（ｎは１以上の整数）の前記画素も前記基準画素に定められ、
前記画素グループは、前記原画像において前記基準画素と前記基準画素から前記第１の方向に沿ってｍ個おきに並ぶ前記画素とから前記第２の方向に沿ってｎ個おきに並ぶ前記画素によって前記基準画素別に構成される
ことを特徴とする画像処理システム。
【請求項５】
請求項４に記載の画像処理システムであって、
前記原画像において、前記画素グループを構成する前記画素を有する間引き画像を前記基準画素毎に作成する間引き画像作成部と、
前記第１の方向および前記第２の方向に沿って注目画素を含んで連続して並ぶ（ｓ×ｔ）個の前記画素に対応する成分を有する第３のフィルタを用いて、前記間引き画像に相当する間引き画像信号に前記フィルタリングを行い、処理画像を前記間引き画像毎に作成するフィルタリング部と、
前記処理画像を構成する処理画素を、前記原画像において対応する前記画素の配列に応じて前記処理画像毎に再配列することにより全体処理画像を作成する画像合成部とを備える
ことを特徴とする画像処理システム。
【請求項６】
請求項４に記載の画像処理システムであって、注目画素を含んで前記第１の方向に沿ってｍ個おきｓ個且つ前記第２の方向に沿ってｎ個おきｔ個並ぶ（ｓ×ｔ）個の前記画素のみに対応する要素を有する第４のフィルタを用いて、前記原画像信号に前記フィルタリングを行うことにより全体処理画像信号を作成するフィルタリング部を備えることを特徴とする画像処理システム。
【請求項７】
請求項１〜請求項６のいずれか１項に記載の画像処理システムであって、ｍとｎとは同一であることを特徴とする画像処理システム。
【請求項８】
請求項１〜請求項６のいずれか１項に記載の画像処理システムであって、ｍとｎとは異なることを特徴とする画像処理システム。
【請求項９】
請求項１〜請求項８のいずれか１項に記載の画像処理システムであって、前記フィルタリングは、前記原画像信号を生成する撮像に用いられた撮像素子に光学像を結像させる撮影光学系に含められる収差制御素子によって発生する所定の収差により低下した画像特性を向上させることを特徴とする画像処理システム。
【請求項１０】
第１、第２の方向に沿って2次元状に配置される複数の画素によって構成される原画像に対応する原画像信号に対して画像処理を施す画像処理方法であって、
前記原画像において特定の前記画素である原点画素と前記原点画素から前記第１の方向に沿って連続して並ぶｍ個（mは１以上の整数）の前記画素とを基準画素に定めるステップと、
前記原画像において前記基準画素から前記第１の方向に沿ってｍ個おきに並ぶ前記画素によって前記基準画素別に構成される画素グループ内の各前記画素に対して、同じ前記画素グループを構成する前記画素を用いてフィルタリングを行うステップとを備える
ことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２５２６４６（Ｐ２０１２−２５２６４６Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２６５３６（Ｐ２０１１−１２６５３６）
【出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]