画像処理方法及び画像処理プログラム
【課題】同時化などの信号処理が行われていない原画像（RAW 画像）の縮小画像を生成する際に、偽色を低減しながらも解像感を保持することができる画像処理方法及びそれを実現する画像処理プログラムを提供する。
【解決手段】単板カラー撮像装置から得られた原画像（CCDRAW画像）を色分離し（＃１）、Ｒ，Ｇ，Ｂ信号に対してそれぞれ色ごとに設定されたローパスフィルタ（以下、Pre-LPF という。）をかける（＃２）。Pre-LPF の二次元的帯域特性は、カラーフィルタ配列とサプリング定理から規定される各色の二次元的再現帯域に相似なものとする。Pre-LPF 処理後のＲ，Ｇ，Ｂ信号を用いて単板式の画像を再生成し（＃３）、この再配置画像から画素を間引いて縮小RAW 画像を生成する（＃４）。縮小RAW 画像にガンマ変換や同時化などの信号処理（現像処理）を施し（＃５）、最終的な縮小画像を得る。
【解決手段】単板カラー撮像装置から得られた原画像（CCDRAW画像）を色分離し（＃１）、Ｒ，Ｇ，Ｂ信号に対してそれぞれ色ごとに設定されたローパスフィルタ（以下、Pre-LPF という。）をかける（＃２）。Pre-LPF の二次元的帯域特性は、カラーフィルタ配列とサプリング定理から規定される各色の二次元的再現帯域に相似なものとする。Pre-LPF 処理後のＲ，Ｇ，Ｂ信号を用いて単板式の画像を再生成し（＃３）、この再配置画像から画素を間引いて縮小RAW 画像を生成する（＃４）。縮小RAW 画像にガンマ変換や同時化などの信号処理（現像処理）を施し（＃５）、最終的な縮小画像を得る。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は画像処理方法及び画像処理プログラムに係り、特に単板カラー撮像装置から得られる原画像の縮小処理に好適な画像処理技術に関する。
【０００２】
【従来の技術】一般的なデジタルカメラは、ＣＣＤ等の撮像素子から得られる画像信号を１０ビット又は１２ビットのデジタルデータに変換し、様々な画像処理を施した後、JPEG符号化などの圧縮方式に従って画像データを圧縮して記録媒体に記録するようになっている。この種のデジタルカメラでは、画像記録時に非可逆な圧縮を施すため、再生時やプリント時に必ずしも充分に良好な画質が得られない場合がある。また、記録された画像は、既に様々な画像処理が施されているので、ユーザ自身が再生画像に対して更なる画像処理を施すと画質が劣化する場合がある。
【０００３】これに対して、カメラ内で画像処理を実施せず、撮像素子から出力される画素ごとのアナログ信号をＡ／Ｄ変換後、画像処理を加えない生（RAW ）の状態でデジタルデータをそのまま記録する方式が提案されている。すなわち、カメラ側では未加工のRAW データを記録しておき、パソコン等の外部装置によって画像の再現（現像）処理を行うことにより、高品質のプリントやユーザの目的に合致したより高度な画像編集を実現するものである。
【０００４】
【発明が解決しようとする課題】しかしながら、RAW 形式のデータは、JPEG形式等のデータに比べてファイルサイズが大きく、再生処理に時間がかかる。RAW データの再生は、一画素について一色の情報しかない大サイズの原画像データを基に、ガンマ変換やホワイトバランスをとりつつ、各画素についてＲ／Ｇ／Ｂの情報を得るような同時化処理を行い、最終的に再現画像を得なければならない。画面内の細部の再現性までをも確認する場合には、このような大サイズの画像を取り扱う必要があるが、例えば、色の再現性を確認するだけの場合（色調や色の感じを確認したい場合）、或いは、明るさの程度やガンマのかけ具合を変更したときの結果確認などには、それほど大きな画像を用いなくても小さな画像で十分確認することが可能である。かかる場合、RAW 画像を縮小して再生処理を行うことにより、処理時間を大幅に短縮できる。
【０００５】このように、RAW データの処理結果を高速表示するため、或いはプレビュー用画像ファイルサイズの最小化などの目的でRAW 画像の縮小処理が行われることがある。
【０００６】特開２００１−８６３４５号公報では、原画像を縮小処理し（すなわち、低周波成分を取り出し）、その縮小画像に対して高度な色変換を行い、拡大処理後に原信号に重ね合わせることで高画質化を図る方法が提案されている。しかし、同公報に開示された従来の方法は、原画像を構成している一つ一つの画素がＲＧＢ（又はＣＭＹ）の各色情報を全て有しているものを対象としている。
【０００７】したがって、同公報に開示の方法を単板カラー撮像装置から得られるモザイク状のRAW 画像にそのまま適用すると、色によって偽色が現れたり、解像感の劣化が発生し、原画像の撮像特徴を十分に生かした縮小RAW 画像を得ることができないという欠点がある。
【０００８】本発明はこのような事情に鑑みてなされたもので、原画像を縮小する際に、偽色を低減しながらも解像感を保持することができる画像処理方法及びそれを実現する画像処理プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】本発明は前記目的を達成するために、色配列の周期性が異なる複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成する画像処理方法であって、前記原画像の各色信号について前記色配列とサンプリング定理から規定される各色の二次元的再現帯域に相似な二次元的帯域特性を有するローパスフィルタを施すフィルタ処理工程と、前記フィルタ処理工程を経て生成された画像から画素を間引いて縮小原画像を生成する縮小化処理工程と、前記縮小化処理で生成された縮小原画像に対して画像再現の信号処理を行うことにより前記原画像の縮小画像を得る再現処理工程と、を含むことを特徴としている。
【００１０】本発明によれば、同時化などの信号処理が行われていない原画像（RAW 画像）の縮小画像を生成するにあたり、原画像の各色信号（原信号）の再現帯域を崩すことがないように、各色の二次元的再現帯域に相似な帯域特性を有するローパスフィルタを施し、ローパスフィルタ処理後の画像から画素の間引きを行って画素数を減らし、縮小原画像を得ている。なお、画素の間引き量は最終的に生成すべき縮小画像の縮小率に依存して設定される。こうして得られた縮小原画像は、縮小前における原画像の再現特性の特徴を反映したものとなっている。
【００１１】この縮小原画像に対して、ガンマ変換、ホワイトバランス調整、同時化などの画像再現処理を行い、最終的な縮小画像を得る。これにより、再現処理時間の短縮化を達成できるとともに、最終画像における偽色の発生を防止しつつ、各色信号の最大解像感を保持することができる。
【００１２】また、本発明の他の態様は、上記の方法発明をコンピュータによって実現するためのプログラムを提供する。すなわち、本発明に係る画像処理プログラムは、色配列の周期性が異なる複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成する画像処理機能をコンピュータに実現させるためのプログラムであって、前記原画像の各色信号について前記色配列とサンプリング定理から規定される各色の二次元的再現帯域に相似な二次元帯域特性を有するローパスフィルタを施すフィルタ処理機能と、前記フィルタ処理機能を経て生成された画像から画素を間引いて縮小原画像を生成する縮小化処理機能と、前記縮小化処理で生成された縮小原画像に対して画像再現の信号処理を行うことにより前記原画像の縮小画像を得る再現処理機能と、をコンピュータに実現させることを特徴としている。
【００１３】本発明の画像処理プログラムは、単独のアプリケーションソフトウエアとして構成されてもよいし、画像加工ソフトやファイル管理用ソフトウエアなどのアプリケーションの一部として組み込まれてもよい。また、本発明の画像処理プログラムは、パソコンなどのコンピュータシステムに適用する場合に限定されず、デジタルカメラや携帯電話機などの情報機器に組み込まれる中央処理装置（ＣＰＵ）の動作プログラムとしても適用することが可能である。
【００１４】
【発明の実施の形態】以下添付図面に従って本発明に係る画像処理方法及び画像処理プログラムの好ましい実施の形態について詳説する。
【００１５】図１は本発明の実施形態に係る画像処理方法が適用される原画像を記録する撮像装置の構成図である。この撮像装置１０は、撮像部１２を介して撮像した被写体の光学像をデジタル画像データに変換してメモリカード１４に記録する単板式のデジタルカメラである。撮像部１２は、光学レンズ１６、光学ローパスフィルタ（ＯＬＰＦ）１７、カラーフィルタ１８及び撮像素子２０を含む。
【００１６】撮像素子２０は、ＣＣＤ型或いはＣＭＯＳ型などに代表されるイメージセンサである。撮像素子２０の受光面には多数のフォトダイオード（感光画素）が二次元的に配列されており、光学レンズ１６を通過した被写体情報を光電変換する。光学ローパスフィルタ１７は、撮像素子２０の画素ピッチなどに依存するサンプリング周波数以上の高周波成分を除去する作用を有し、画像再現（信号処理）後の最終画像におけるエリアジング発生を防止する。
【００１７】カラーフィルタ１８は、撮像素子２０の一画素に対応する位置にＲ，Ｇ，Ｂの何れかの色が存在するような所定の色配列を有し、受光素子たるフォトダイオードに入射する光の色選択を行う。
【００１８】図２に原色タイプのカラーフィルタ配列の例を示す。図２（ａ）に示したハニカム配列は、受光素子（フォトダイオード）の幾何学的な形状の中心が行方向及び列方向に１／２ピッチずつずらして配置されている。図２（ｂ）に示したベイヤー配列は、受光素子が行方向及び列方向にそれぞれ一定ピッチで正方行列的に配列されている。なお、実際の撮像素子２０の結像面では、図２に示した画素配列の構造が水平方向及び垂直方向に周期的に繰り返される。もちろん、本発明の実施上、カラーフィルタ１８の配列構造は、図２に示した例に限定されず、Ｇストライプなど様々な配列構造が可能である。また、本例では、原色フィルタを用いているが、本発明の実施に際しては原色フィルタに限定されず、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、グリーン（Ｇ）から成る補色フィルタを用いることも可能である。
【００１９】図１の光学レンズ１６を通過した光は、光学ローパスフィルタ１７とカラーフィルタ１８を通過して撮像素子２０に入射する。撮像素子２０の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、図示せぬドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。
【００２０】撮像素子２０は、シャッターゲートパルスのタイミングによって各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。撮像素子２０の動作（露光、読み出し等）はＣＰＵ２２により制御される。
【００２１】撮像素子２０から出力された画像信号はアナログ処理部２４に送られ、アナログ処理部２４においてアナログゲイン、ＣＤＳ（相関二重サンプリング）などの処理が行われる。アナログ処理部２４で生成された信号は、Ａ／Ｄ変換部２６においてデジタル信号に変換される。
【００２２】Ａ／Ｄ変換された画像データは、撮像装置１０の動作モードに従い必要な信号処理を経て、又は信号処理を省略してメモリカード１４に記録される。本例の撮像装置１０は、JPEG形式による画像記録が可能であるとともに、Ａ／Ｄ変換した直後の画像（以下、CCDRAW画像という。) を記録することができる。
【００２３】JPEG形式で記録する場合、Ａ／Ｄ変換された画像データは信号処理部２８に送られる。信号処理部２８は、同時化（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ホワイトバランス（ＷＢ）調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍（拡大／縮小）処理、画素数の変換（リサイズ）処理などの各種処理を実施する画像処理手段であり、ＣＰＵ２２からのコマンドに従って画像信号を処理する。信号処理部２８は、処理途中の画像を一時記憶できる画像メモリ３０を備えており、画像メモリ３０を利用しながら画像信号の処理を行う。
【００２４】信号処理部２８において所定の信号処理を経た画像データは、圧縮伸張部３２に送られ、JPEG形式の圧縮フォーマットに従って圧縮される。なお、圧縮形式はJPEGに限定されず、MPEGその他の方式を採用してもよく、使用される圧縮形式に対応した圧縮エンジンが用いられる。
【００２５】圧縮された画像データは、カードインターフェース部３４を介してメモリカード１４に記録される。画像データを保存する手段は、メモリカード１４で代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００２６】その一方、CCDRAW画像を記録するモードの場合、Ａ／Ｄ変換部２６によってデジタル化された画像データは同時化その他の信号処理を経ずにＣＰＵ２２を介してメモリカード１４に記録される。すなわち、CCDRAW画像は、ガンマ変換、ホワイトバランス調整、同時化などの信号処理が行われていない画像であり、カラーフィルタ１８の配列パターンに対応して画素ごとに異なる色情報を一つだけ保持しているモザイク状の画像である。もちろん、圧縮処理も行われていないので、大きなファイルサイズを有する。なお、CCDRAW画像をメモリカード１４に記録する際においては、可逆的な圧縮を行って記録してもよいし、非圧縮のデータを記録してもよい。
【００２７】ＣＰＵ２２は、所定のプログラムに従って本カメラシステムを統括制御する制御部であり、操作パネル３６からの指示信号に基づいて撮像装置１０内の各回路の動作を制御する。ＲＯＭ３８にはＣＰＵ２２が実行するプログラム及び制御に必要な各種データ等が格納され、ＲＡＭ４０はＣＰＵ２２の作業用領域として利用される。
【００２８】操作パネル３６は、撮像装置１０に対してユーザが各種の指示を入力するための手段であり、例えば、撮像装置１０の動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目など所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチなど各種の操作手段を含む。
【００２９】ＣＰＵ２２は操作パネル３６から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モードなど）に従い、撮像素子２０などの撮像部１２を制御するとともに、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、メモリカード１４の読み書き制御などを行う。
【００３０】例えば、ＣＰＵ２２は、レリーズスイッチの半押し（Ｓ1 ＝ＯＮ）を検知すると及び自動焦点調節（ＡＦ）制御を行い、レリーズスイッチの全押し（Ｓ2 ＝ＯＮ）を検知すると、記録用の画像を取り込むための露光及び読み出し制御を開始する。また、ＣＰＵ２２は必要に応じて図示せぬストロボ制御回路にコマンドを送り、キセノン管などの閃光発光管（発光部）の発光を制御する。
【００３１】信号処理部２８は、ＡＥ及びＡＦ制御に必要な演算を行うオート演算部を含み、レリーズスイッチの半押し（Ｓ1 ＝ＯＮ）に応動して取り込まれた画像信号に基づいて焦点評価値演算やＡＥ演算などを行い、その演算結果をＣＰＵ２２に伝える。レリーズスイッチの全押し（Ｓ2 ＝ＯＮ）が検知されると、ＣＰＵ２２は焦点評価値演算の結果に基づいて図示せぬレンズ駆動用モータを制御し、光学レンズ１６を合焦位置に移動させるとともに、絞りや電子シャッターを制御して、露出制御を行う。こうして、取り込まれた画像データは、記録モードに従ってメモリカード１４に記録される。
【００３２】次に、上記の如く構成された撮像装置１０によって記録されたCCDRAW画像を取り扱う画像処理装置及びその画像処理方法について説明する。
【００３３】撮像装置１０によって記録されたCCDRAW画像は、パソコン或いは専用の画像処理装置などによって再現（現像）処理される。図３は本発明の実施形態に係る画像処理プログラムが組み込まれるパソコン５０のハードウェア構成例を示すブロック図である。
【００３４】同図に示すようにパソコン５０は、制御部及び演算装置として機能するＣＰＵ５２と、データの一時記憶やＣＰＵ５２によるプログラム実行時の作業用領域として利用されるＲＡＭ５４と、ＣＰＵ５２の動作に必要なプログラムや各種設定値、ネットワーク接続情報などを保管する書き換え可能な不揮発性メモリ（ＲＯＭ）５６と、パソコン５０のオペレーティングシステム（ＯＳ）や本発明の実施形態に係る画像処理プログラム、各種のアプリケーションソフト、ユーザが記録した画像ファイル等が格納されるハードディスク装置５８と、日時を刻むカレンダ時計６０と、メモリカードや光磁気ディスクで代表される外部記録装置６２の読み書き制御を行うメディア制御部６４と、キーボードやマウスなどの入力装置６６と、入力装置６６からの信号入力を制御する入力制御部６８と、画像や文字等を表示するディスプレイ７０と、ディスプレイ７０に対して表示用の信号を出力する表示制御部７２と、ＵＳＢや無線ＬＡＮなど所定の通信方式に従って外部機器や通信ネットワークに接続するための通信装置７４と、上記各構成要素を接続するバス７６とから構成される。
【００３５】なお、上記構成からなるパソコン５０は、本発明を適用した画像処理プログラムを除いて周知のものであるため、各構成要素の詳細な説明については省略する。
【００３６】次に、パソコン５０を画像処理装置として機能させる画像処理プログラムについて説明する。この画像処理プログラムは、ハードディスク装置５８や外部記録装置６２に保存されている画像ファイル、或いは通信装置７４を介して接続される外部機器（例えば、撮像装置１０）内に保存されている画像ファイルを閲覧・加工（編集）できるようにパソコン５０を動作させるものである。
【００３７】図４は、CCDRAW画像から縮小画像を生成する画像処理の手順を示す処理ブロック図である。同図によれば、単板式の原画像（１面）であるCCDRAW画像を色分離し（＃１）、Ｒ，Ｇ，Ｂの各色信号の画像（３面）に分ける。色分けされたＲ信号、Ｇ信号、Ｂ信号に対してそれぞれ各色ごとに設定されたローパスフィルタ（以下、Pre-LPF という。）をかける（＃２）。詳しくは後述するが、色分離された各色信号について、それぞれの二次元的再現帯域に相似な帯域特性を有するPre-LPF をかける。
【００３８】Pre-LPF をかけて得られたＲ信号、Ｇ信号、Ｂ信号を用いて、CCDRAWタイプの画素配列に再配列し（＃３）、単板式の画像を再生成する。
【００３９】続いて、再生成されたCCDRAWタイプの画像の画素を一定の割合で間引く処理を行い（＃４）、画像を縮小する。間引き処理で生成されたCCDRAWタイプの縮小画像（以下、縮小RAW 画像という。）を現像処理部に入力して信号処理を行い（＃５）、ここでガンマ変換、ホワイトバランス調整、同時化などの処理を経て最終的な画像（例えば、表示用縮小画像であるＲＧＢデータ）に変換する。
【００４０】なお、CCDRAW画像を縮小せずに再生する場合には、上記の処理工程（＃１）〜（＃４）を省略し、CCDRAW画像を直接（＃５）の信号処理工程に入力して再現画像を得る。
【００４１】図４に示した画像処理プロセスに従ってハニカム配列の画像を処理する例を図５に示す。図５にはハニカム配列のCCDRAW画像から縮小画像を生成する処理プロセスが示されている。この処理プロセスは、例えば、CCDRAW処理結果のプレビュー表示のために用いられる。
【００４２】図５（ａ）に示すように、原画像であるCCDRAW画像はハニカム配列の画素配置を反映したモザイク状の画像である。この原画像の画像情報を色分離し、図５（ｂ）のようにＲ，Ｇ，Ｂの３面に分ける。なお、このとき、欠落する画素点（ブランクとなる位置）を一定の割合で詰めながら画素を配列し直す。ブランクとなる画素点を詰めることによって、位相は変わるが、画素の周期的な並び方は維持されている。
【００４３】こうして色分離されたＲ信号、Ｇ信号、Ｂ信号について、それぞれの二次元的再現帯域の特徴を保持するように設計されたPre-LPF をかける。ハニカム配列の場合、Ｒ信号及びＢ信号に施すPre-LPF は斜め方向の帯域を落とし、ＧにかけるPre-LPF は斜め方向の帯域を保持するようなものとする。こうして、図５（ｃ）に示す３面の画像を得る。
【００４４】Pre-LPF 処理後の３面の画像を元の１面の画像（CCDRAW画像と同じモザイク状の画像）に戻す処理（CCDRAWファイル化工程）を行い、図５（ｄ）に示すようなモザイク状の画像を再生成する。
【００４５】再配置されたモザイク状の画像から間引き処理を行い、図５（ｅ）に示す縮小RAW 画像を生成する。同図では１／３に縮小する例が示されている。図５（ｄ）において「網かけ」で示したＲ及びＧの画素が図５（ｅ）において「網かけ」したＲ及びＧの画素にそれぞれ対応している。
【００４６】こうして得られた縮小RAW 画像を基に、ガンマ変換、ホワイトバランス調整、同時化などの処理を行い、図５（ｆ）に示す縮小版最終画像（例えば、表示用縮小画像であるＲＧＢデータ）を生成する。これにより、縮小画像の高速表示が可能となる。
【００４７】次に、Pre-LPF 処理の詳細について説明する。
【００４８】上述のように、CCDRAW画像を縮小し、その縮小RAW 画像に対して所定の処理を行うことを考えるとき、縮小率に従ってPre-LPF を設計することが重要となる。このPre-LPF の帯域特性は、縮小率×ｆs ／２（ただし、ｆs はサンプリング周波数）とすればよいが、これを色によらず画一的に施すと、元々サンプリング周波数の高い色信号（ハニカム配列やベイヤー配列におけるＧ信号）にとっては解像感の点で劣化が生じ、元々サンプリング周波数の低い色信号（ハニカム配列やベイヤー配列におけるＲ、Ｂ信号）にとっては偽信号の点で劣化が生じてしまう。
【００４９】そこで、本発明の実施形態では、CCDRAW画像について色ごとに設定したPre-LPF を施す構成とし、各色信号に施すべきPre-LPF の帯域特性は、縮小率×ｆs ／２とするとともに、その二次元的特性を元の各色の再現帯域に相似させる。
【００５０】図６は、ハニカム配列及びベイヤー配列のそれぞれの場合について、サンプリング定理に基づく各色の再現帯域を空間周波数座標（規格化していない絶対的な空間周波数の座標系）上に表した図である。図６（ａ）に示すようにハニカム配列の場合、Ｒ，Ｂ信号の再現帯域は水平及び垂直方向に比べて斜め４５度方向の再現帯域が低い菱形の形状となる。つまり、縦線、横線の入力に対しては、再現性（解像度）が高いが、斜め４５度方向の線（以下、斜め線という。）の入力に対しては、再現性が低くなる（１／２1/2 倍になる）。
【００５１】一方、ハニカム配列におけるＧ信号の場合には、水平及び垂直方向については、Ｒ，Ｂ信号と同等の再現帯域を有し、斜め４５度方向についてはＲ，Ｂ信号よりも２倍の再現帯域を有している。すなわち、Ｇ信号の二次元的再現帯域は図６（ａ）に示したように矩形（正方形）の形状となる。
【００５２】このような、再現帯域の違いは、カラーフィルタ１８の配列周期（画素の配列構造）に起因する（図２参照）。ハニカム配列の場合、水平及び垂直方向について、Ｒ，Ｂの空間サンプリング周波数とＧの空間サンプリング周波数は同等であるが、斜め４５度方向についてＲ，Ｂの空間サンプリング周波数はＧのそれの半分である。CCDRAW画像はカラーフィルタの配列構造を反映し、色ごとに異なる帯域の特徴を有している。
【００５３】図６（ｂ）はベイヤー配列における各色の二次元的再現帯域を示す。ベイヤー配列については、Ｒ，Ｂ信号の二次元的再現帯域は矩形となり、Ｇ信号の二次元再現帯域は菱形になる。
【００５４】なお、図６（ａ），（ｂ）から明らかなように、ハニカム配列、或いはベイヤー配列におけるＲ，Ｂ信号と、Ｇ信号の再現帯域は、互いに４５度回転させた関係になっている。大きさの違いは、Ｇ信号のサンプリング点の多さによるものである。
【００５５】本発明の実施形態では、図６に示したCCDRAW画像における色ごとの再現特性を考慮し、図４及び図５で説明した画像処理プロセスにおいて、各色信号に施すべきPre-LPF の帯域特性を、元の各色の再現帯域に相似させている。
【００５６】すなわち、具体的には、図５の画像処理プロセスにおいて、Ｒ，Ｂ信号に対しては図７に示すPre-LPF を施し、Ｇ信号に対しては図８に示すPre-LPF を施す。図７に示したPre-LPF は、j 番目のフィルタ係数をａj 、入力Ｒ信号をＲj （処理前) とすると、Pre-LPF 処理後の画素位置ｉにおけるＲ信号の値Ｒi （処理後）は次式で表される。
【００５７】
【数１】 Ｒi （処理後）＝Σａj Ｒj （処理前）／16384 …（１）
Ｂ信号についても同様の計算を行う。また、Ｇ信号については、図８に示したフィルタ係数を用いて同様の計算を行う。
【００５８】図７に示したＲ，Ｂ信号用のPre-LPF は、縦横方向よりも斜め方向の再現帯域を落とし、図８に示したＧ信号用のPre-LPF は、縦横方向よりも斜め方向の再現帯域を高めるような係数配置になっている。
【００５９】図６で説明したように、Ｒ，Ｂ信号と、Ｇ信号の再現帯域は、互いに４５度回転させた関係になっているので、これらに施すPre-LPF は、そのフィルタ係数を互いに４５度回転させたものとしてもよい。
【００６０】実際、図７に示したPre-LPF は、図８に示したPre-LPF の係数配置を４５度回転させたものとなっている。このように、Ｒ，Ｂ信号に施すPre-LPF のフィルタ係数を４５度回転させたものをＧ信号に施すことで、ハニカム配列原色フィルタの再現帯域に相似させることができる。
【００６１】また、ベイヤー配列原色フィルタを用いた撮像装置によって取得されたCCDRAW画像から縮小画像を生成する場合には、図７のPre-LPF をＧ信号に施し、図８のPre-LPF をＲ，Ｂ信号に施すとよい。すなわち、ベイヤー配列の場合はＧ信号にかけるPre-LPF は斜めの帯域を落とし、Ｒ，Ｂ信号にかけるPre-LPF は斜めの帯域を保持する。
【００６２】このようなPre-LPF を用いることにより、各色のサンプリング周波数を犠牲にすることなく、また画像再現後の偽色発生も最小限に抑制することが可能になる。
【００６３】図７及び図８では１１×１１画素のマトリックス状フィルタを例示したが、フィルタの形態はこれに限定されず、色配列を考慮して適宜設計可能である。入力されるCCDRAW画像の画素配列が固定である場合（CCDRAWデータの規格が決まっている場合）には、フィルタの構成を固定して設計することができる。複数種類の画素配列パターンのCCDRAW画像を取り扱うことを想定する場合（多様な形式のCCDRAWデータ処理に対応する汎用ソフトとして構成する場合）には、色配列の情報に応じてフィルタの構成（フィルタ係数）を可変設定することが好ましい。
【００６４】汎用タイプのソフトにするためには、画素配列の情報を認識してフィルタの形態を可変設定する。例えば、CCDRAW画像のファイルに撮像素子のカラーフィルタ情報を付加しておき、画像処理時にそのカラーフィルタ情報を読み込んで、その色配列の再現特性の特徴を維持するようなPre-LPF を自動的に設定する。
【００６５】上述した本発明の実施形態によれば、大サイズのCCDRAW画像から同じ再現帯域の特徴を有する縮小CCDRAW画像を生成することができ、その縮小CCDRAW画像に画像再現処理（ガンマ変換、ホワイトバランス調整、同時化などの処理）を施して、最終的な縮小画像を得るようにしたので、最終画像における偽色の発生を防止できるとともに、各色信号の最大解像感を保持することができる。
【００６６】本発明の実施形態は、画像加工アプリケーション上で画像を編集する際に、その処理結果を高速表示させる場合において極めて有効である。本発明によれば、色調の変更や明るさの変更といった画像編集の結果を高速表示することが可能である。すなわち、原画像の再現特性の特徴を保持した縮小RAW 画像を生成し、この縮小RAW 画像に対して、色調の変更等の編集指示に基づく信号処理を施すため、処理結果を短時間で表示できる。
【００６７】図９にアプリケーション画面の例を示す。同図によれば、編集パラメータを指定する入力ウィンドウ８０の横に処理結果の縮小画像（縮小版最終画像）を表示するプレビュー表示部８２が形成される。ユーザが編集パラメータを変更すると、その入力に応じて縮小画像の信号処理が行われ、その処理結果がプレビュー表示部８２に表示される。ユーザはプレビュー表示部８２の縮小画像を確認しながら編集パラメータを適宜調節し、パラメータを決定する。パラメータ決定後に、大サイズの原画像に対して再現処理を実施し、最終画像を得る。パラメータの調節段階（画像編集段階）で大サイズの原画像を取り扱う場合と比較して、処理時間を大幅に短縮できる。
【００６８】本発明を実施する手段はパソコンに限らず、専用の画像処理装置（画像再生装置や画像加工装置）であってもよい。また、画像処理はソフトウエアで実現する態様に限らず、その処理の一部又は全部を専用のハードウェア（信号処理回路）で実現してもよい。
【００６９】また、上述した画像表示機能を実現させるためのコンピュータプログラムをＣＤ−ＲＯＭや磁気ディスクその他の記録媒体に記録し、記録媒体を通じて当該プログラムを第三者に提供したり、インターネットなどの通信回線を通じて当該プログラムのダウンロードサービスを提供することも可能である。
【００７０】更に、上記した実施の形態では、CCDRAW画像に対して上記のPre-LPF を施す前に色分離工程を設けたが（図４の♯１）、本発明の実施に際して色分離工程は必ずしも必須ではない。例えば、CCDRAW画像のフォーマットを考慮した形にPre-LPF を変形しておけば、色分離工程（図４の＃１）及び再配置工程（図４の＃３）を省略できる。
【００７１】
【発明の効果】以上説明したように本発明によれば、同時化等の信号処理を経ていない未加工の原画像から縮小原画像を得る際に、原信号の二次元的再現帯域と相似な二次元的帯域特性を有するローパスフィルタを施すようにしたので、現信号の再現帯域の特徴を保持することができ、縮小原画像から生成される最終画像における偽色の発生を防止できるとともに、各色信号の最大解像感を保持できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理方法が適用される原画像を記録する撮像装置の構成例を示すブロック図
【図２】原色タイプのカラーフィルタ配列の例を示す模式図
【図３】本発明の実施形態に係る画像処理プログラムが組み込まれるパソコンのハードウェア構成例を示すブロック図
【図４】CCDRAW画像から縮小画像を生成する画像処理の手順を示す処理ブロック図
【図５】図４に示した画像処理プロセスに従ってハニカム配列の画像を処理する例を示す説明図
【図６】ハニカム配列及びベイヤー配列のそれぞれの場合について、サンプリング定理に基づく各色の再現帯域を空間周波数座標上に表した図
【図７】図５に示した画像処理プロセスにおいて、Ｒ，Ｂ信号に対して施すPre-LPF の例を示す図
【図８】図５に示した画像処理プロセスにおいて、Ｇ信号に対して施すPre-LPF の例を示す図
【図９】本発明の実施形態に係る画像処理プログラムが適用されたアプリケーション画面の一例を示す図
【符号の説明】
１０…撮像装置、１２…撮像部、１４…メモリカード、１８…カラーフィルタ、２０…撮像素子、２２…ＣＰＵ、５０…パソコン、５２…ＣＰＵ、５４…ＲＡＭ、５８…ハードディスク装置
【０００１】
【発明の属する技術分野】本発明は画像処理方法及び画像処理プログラムに係り、特に単板カラー撮像装置から得られる原画像の縮小処理に好適な画像処理技術に関する。
【０００２】
【従来の技術】一般的なデジタルカメラは、ＣＣＤ等の撮像素子から得られる画像信号を１０ビット又は１２ビットのデジタルデータに変換し、様々な画像処理を施した後、JPEG符号化などの圧縮方式に従って画像データを圧縮して記録媒体に記録するようになっている。この種のデジタルカメラでは、画像記録時に非可逆な圧縮を施すため、再生時やプリント時に必ずしも充分に良好な画質が得られない場合がある。また、記録された画像は、既に様々な画像処理が施されているので、ユーザ自身が再生画像に対して更なる画像処理を施すと画質が劣化する場合がある。
【０００３】これに対して、カメラ内で画像処理を実施せず、撮像素子から出力される画素ごとのアナログ信号をＡ／Ｄ変換後、画像処理を加えない生（RAW ）の状態でデジタルデータをそのまま記録する方式が提案されている。すなわち、カメラ側では未加工のRAW データを記録しておき、パソコン等の外部装置によって画像の再現（現像）処理を行うことにより、高品質のプリントやユーザの目的に合致したより高度な画像編集を実現するものである。
【０００４】
【発明が解決しようとする課題】しかしながら、RAW 形式のデータは、JPEG形式等のデータに比べてファイルサイズが大きく、再生処理に時間がかかる。RAW データの再生は、一画素について一色の情報しかない大サイズの原画像データを基に、ガンマ変換やホワイトバランスをとりつつ、各画素についてＲ／Ｇ／Ｂの情報を得るような同時化処理を行い、最終的に再現画像を得なければならない。画面内の細部の再現性までをも確認する場合には、このような大サイズの画像を取り扱う必要があるが、例えば、色の再現性を確認するだけの場合（色調や色の感じを確認したい場合）、或いは、明るさの程度やガンマのかけ具合を変更したときの結果確認などには、それほど大きな画像を用いなくても小さな画像で十分確認することが可能である。かかる場合、RAW 画像を縮小して再生処理を行うことにより、処理時間を大幅に短縮できる。
【０００５】このように、RAW データの処理結果を高速表示するため、或いはプレビュー用画像ファイルサイズの最小化などの目的でRAW 画像の縮小処理が行われることがある。
【０００６】特開２００１−８６３４５号公報では、原画像を縮小処理し（すなわち、低周波成分を取り出し）、その縮小画像に対して高度な色変換を行い、拡大処理後に原信号に重ね合わせることで高画質化を図る方法が提案されている。しかし、同公報に開示された従来の方法は、原画像を構成している一つ一つの画素がＲＧＢ（又はＣＭＹ）の各色情報を全て有しているものを対象としている。
【０００７】したがって、同公報に開示の方法を単板カラー撮像装置から得られるモザイク状のRAW 画像にそのまま適用すると、色によって偽色が現れたり、解像感の劣化が発生し、原画像の撮像特徴を十分に生かした縮小RAW 画像を得ることができないという欠点がある。
【０００８】本発明はこのような事情に鑑みてなされたもので、原画像を縮小する際に、偽色を低減しながらも解像感を保持することができる画像処理方法及びそれを実現する画像処理プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】本発明は前記目的を達成するために、色配列の周期性が異なる複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成する画像処理方法であって、前記原画像の各色信号について前記色配列とサンプリング定理から規定される各色の二次元的再現帯域に相似な二次元的帯域特性を有するローパスフィルタを施すフィルタ処理工程と、前記フィルタ処理工程を経て生成された画像から画素を間引いて縮小原画像を生成する縮小化処理工程と、前記縮小化処理で生成された縮小原画像に対して画像再現の信号処理を行うことにより前記原画像の縮小画像を得る再現処理工程と、を含むことを特徴としている。
【００１０】本発明によれば、同時化などの信号処理が行われていない原画像（RAW 画像）の縮小画像を生成するにあたり、原画像の各色信号（原信号）の再現帯域を崩すことがないように、各色の二次元的再現帯域に相似な帯域特性を有するローパスフィルタを施し、ローパスフィルタ処理後の画像から画素の間引きを行って画素数を減らし、縮小原画像を得ている。なお、画素の間引き量は最終的に生成すべき縮小画像の縮小率に依存して設定される。こうして得られた縮小原画像は、縮小前における原画像の再現特性の特徴を反映したものとなっている。
【００１１】この縮小原画像に対して、ガンマ変換、ホワイトバランス調整、同時化などの画像再現処理を行い、最終的な縮小画像を得る。これにより、再現処理時間の短縮化を達成できるとともに、最終画像における偽色の発生を防止しつつ、各色信号の最大解像感を保持することができる。
【００１２】また、本発明の他の態様は、上記の方法発明をコンピュータによって実現するためのプログラムを提供する。すなわち、本発明に係る画像処理プログラムは、色配列の周期性が異なる複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成する画像処理機能をコンピュータに実現させるためのプログラムであって、前記原画像の各色信号について前記色配列とサンプリング定理から規定される各色の二次元的再現帯域に相似な二次元帯域特性を有するローパスフィルタを施すフィルタ処理機能と、前記フィルタ処理機能を経て生成された画像から画素を間引いて縮小原画像を生成する縮小化処理機能と、前記縮小化処理で生成された縮小原画像に対して画像再現の信号処理を行うことにより前記原画像の縮小画像を得る再現処理機能と、をコンピュータに実現させることを特徴としている。
【００１３】本発明の画像処理プログラムは、単独のアプリケーションソフトウエアとして構成されてもよいし、画像加工ソフトやファイル管理用ソフトウエアなどのアプリケーションの一部として組み込まれてもよい。また、本発明の画像処理プログラムは、パソコンなどのコンピュータシステムに適用する場合に限定されず、デジタルカメラや携帯電話機などの情報機器に組み込まれる中央処理装置（ＣＰＵ）の動作プログラムとしても適用することが可能である。
【００１４】
【発明の実施の形態】以下添付図面に従って本発明に係る画像処理方法及び画像処理プログラムの好ましい実施の形態について詳説する。
【００１５】図１は本発明の実施形態に係る画像処理方法が適用される原画像を記録する撮像装置の構成図である。この撮像装置１０は、撮像部１２を介して撮像した被写体の光学像をデジタル画像データに変換してメモリカード１４に記録する単板式のデジタルカメラである。撮像部１２は、光学レンズ１６、光学ローパスフィルタ（ＯＬＰＦ）１７、カラーフィルタ１８及び撮像素子２０を含む。
【００１６】撮像素子２０は、ＣＣＤ型或いはＣＭＯＳ型などに代表されるイメージセンサである。撮像素子２０の受光面には多数のフォトダイオード（感光画素）が二次元的に配列されており、光学レンズ１６を通過した被写体情報を光電変換する。光学ローパスフィルタ１７は、撮像素子２０の画素ピッチなどに依存するサンプリング周波数以上の高周波成分を除去する作用を有し、画像再現（信号処理）後の最終画像におけるエリアジング発生を防止する。
【００１７】カラーフィルタ１８は、撮像素子２０の一画素に対応する位置にＲ，Ｇ，Ｂの何れかの色が存在するような所定の色配列を有し、受光素子たるフォトダイオードに入射する光の色選択を行う。
【００１８】図２に原色タイプのカラーフィルタ配列の例を示す。図２（ａ）に示したハニカム配列は、受光素子（フォトダイオード）の幾何学的な形状の中心が行方向及び列方向に１／２ピッチずつずらして配置されている。図２（ｂ）に示したベイヤー配列は、受光素子が行方向及び列方向にそれぞれ一定ピッチで正方行列的に配列されている。なお、実際の撮像素子２０の結像面では、図２に示した画素配列の構造が水平方向及び垂直方向に周期的に繰り返される。もちろん、本発明の実施上、カラーフィルタ１８の配列構造は、図２に示した例に限定されず、Ｇストライプなど様々な配列構造が可能である。また、本例では、原色フィルタを用いているが、本発明の実施に際しては原色フィルタに限定されず、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、グリーン（Ｇ）から成る補色フィルタを用いることも可能である。
【００１９】図１の光学レンズ１６を通過した光は、光学ローパスフィルタ１７とカラーフィルタ１８を通過して撮像素子２０に入射する。撮像素子２０の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、図示せぬドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。
【００２０】撮像素子２０は、シャッターゲートパルスのタイミングによって各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。撮像素子２０の動作（露光、読み出し等）はＣＰＵ２２により制御される。
【００２１】撮像素子２０から出力された画像信号はアナログ処理部２４に送られ、アナログ処理部２４においてアナログゲイン、ＣＤＳ（相関二重サンプリング）などの処理が行われる。アナログ処理部２４で生成された信号は、Ａ／Ｄ変換部２６においてデジタル信号に変換される。
【００２２】Ａ／Ｄ変換された画像データは、撮像装置１０の動作モードに従い必要な信号処理を経て、又は信号処理を省略してメモリカード１４に記録される。本例の撮像装置１０は、JPEG形式による画像記録が可能であるとともに、Ａ／Ｄ変換した直後の画像（以下、CCDRAW画像という。) を記録することができる。
【００２３】JPEG形式で記録する場合、Ａ／Ｄ変換された画像データは信号処理部２８に送られる。信号処理部２８は、同時化（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ホワイトバランス（ＷＢ）調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍（拡大／縮小）処理、画素数の変換（リサイズ）処理などの各種処理を実施する画像処理手段であり、ＣＰＵ２２からのコマンドに従って画像信号を処理する。信号処理部２８は、処理途中の画像を一時記憶できる画像メモリ３０を備えており、画像メモリ３０を利用しながら画像信号の処理を行う。
【００２４】信号処理部２８において所定の信号処理を経た画像データは、圧縮伸張部３２に送られ、JPEG形式の圧縮フォーマットに従って圧縮される。なお、圧縮形式はJPEGに限定されず、MPEGその他の方式を採用してもよく、使用される圧縮形式に対応した圧縮エンジンが用いられる。
【００２５】圧縮された画像データは、カードインターフェース部３４を介してメモリカード１４に記録される。画像データを保存する手段は、メモリカード１４で代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００２６】その一方、CCDRAW画像を記録するモードの場合、Ａ／Ｄ変換部２６によってデジタル化された画像データは同時化その他の信号処理を経ずにＣＰＵ２２を介してメモリカード１４に記録される。すなわち、CCDRAW画像は、ガンマ変換、ホワイトバランス調整、同時化などの信号処理が行われていない画像であり、カラーフィルタ１８の配列パターンに対応して画素ごとに異なる色情報を一つだけ保持しているモザイク状の画像である。もちろん、圧縮処理も行われていないので、大きなファイルサイズを有する。なお、CCDRAW画像をメモリカード１４に記録する際においては、可逆的な圧縮を行って記録してもよいし、非圧縮のデータを記録してもよい。
【００２７】ＣＰＵ２２は、所定のプログラムに従って本カメラシステムを統括制御する制御部であり、操作パネル３６からの指示信号に基づいて撮像装置１０内の各回路の動作を制御する。ＲＯＭ３８にはＣＰＵ２２が実行するプログラム及び制御に必要な各種データ等が格納され、ＲＡＭ４０はＣＰＵ２２の作業用領域として利用される。
【００２８】操作パネル３６は、撮像装置１０に対してユーザが各種の指示を入力するための手段であり、例えば、撮像装置１０の動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目など所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチなど各種の操作手段を含む。
【００２９】ＣＰＵ２２は操作パネル３６から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モードなど）に従い、撮像素子２０などの撮像部１２を制御するとともに、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、メモリカード１４の読み書き制御などを行う。
【００３０】例えば、ＣＰＵ２２は、レリーズスイッチの半押し（Ｓ1 ＝ＯＮ）を検知すると及び自動焦点調節（ＡＦ）制御を行い、レリーズスイッチの全押し（Ｓ2 ＝ＯＮ）を検知すると、記録用の画像を取り込むための露光及び読み出し制御を開始する。また、ＣＰＵ２２は必要に応じて図示せぬストロボ制御回路にコマンドを送り、キセノン管などの閃光発光管（発光部）の発光を制御する。
【００３１】信号処理部２８は、ＡＥ及びＡＦ制御に必要な演算を行うオート演算部を含み、レリーズスイッチの半押し（Ｓ1 ＝ＯＮ）に応動して取り込まれた画像信号に基づいて焦点評価値演算やＡＥ演算などを行い、その演算結果をＣＰＵ２２に伝える。レリーズスイッチの全押し（Ｓ2 ＝ＯＮ）が検知されると、ＣＰＵ２２は焦点評価値演算の結果に基づいて図示せぬレンズ駆動用モータを制御し、光学レンズ１６を合焦位置に移動させるとともに、絞りや電子シャッターを制御して、露出制御を行う。こうして、取り込まれた画像データは、記録モードに従ってメモリカード１４に記録される。
【００３２】次に、上記の如く構成された撮像装置１０によって記録されたCCDRAW画像を取り扱う画像処理装置及びその画像処理方法について説明する。
【００３３】撮像装置１０によって記録されたCCDRAW画像は、パソコン或いは専用の画像処理装置などによって再現（現像）処理される。図３は本発明の実施形態に係る画像処理プログラムが組み込まれるパソコン５０のハードウェア構成例を示すブロック図である。
【００３４】同図に示すようにパソコン５０は、制御部及び演算装置として機能するＣＰＵ５２と、データの一時記憶やＣＰＵ５２によるプログラム実行時の作業用領域として利用されるＲＡＭ５４と、ＣＰＵ５２の動作に必要なプログラムや各種設定値、ネットワーク接続情報などを保管する書き換え可能な不揮発性メモリ（ＲＯＭ）５６と、パソコン５０のオペレーティングシステム（ＯＳ）や本発明の実施形態に係る画像処理プログラム、各種のアプリケーションソフト、ユーザが記録した画像ファイル等が格納されるハードディスク装置５８と、日時を刻むカレンダ時計６０と、メモリカードや光磁気ディスクで代表される外部記録装置６２の読み書き制御を行うメディア制御部６４と、キーボードやマウスなどの入力装置６６と、入力装置６６からの信号入力を制御する入力制御部６８と、画像や文字等を表示するディスプレイ７０と、ディスプレイ７０に対して表示用の信号を出力する表示制御部７２と、ＵＳＢや無線ＬＡＮなど所定の通信方式に従って外部機器や通信ネットワークに接続するための通信装置７４と、上記各構成要素を接続するバス７６とから構成される。
【００３５】なお、上記構成からなるパソコン５０は、本発明を適用した画像処理プログラムを除いて周知のものであるため、各構成要素の詳細な説明については省略する。
【００３６】次に、パソコン５０を画像処理装置として機能させる画像処理プログラムについて説明する。この画像処理プログラムは、ハードディスク装置５８や外部記録装置６２に保存されている画像ファイル、或いは通信装置７４を介して接続される外部機器（例えば、撮像装置１０）内に保存されている画像ファイルを閲覧・加工（編集）できるようにパソコン５０を動作させるものである。
【００３７】図４は、CCDRAW画像から縮小画像を生成する画像処理の手順を示す処理ブロック図である。同図によれば、単板式の原画像（１面）であるCCDRAW画像を色分離し（＃１）、Ｒ，Ｇ，Ｂの各色信号の画像（３面）に分ける。色分けされたＲ信号、Ｇ信号、Ｂ信号に対してそれぞれ各色ごとに設定されたローパスフィルタ（以下、Pre-LPF という。）をかける（＃２）。詳しくは後述するが、色分離された各色信号について、それぞれの二次元的再現帯域に相似な帯域特性を有するPre-LPF をかける。
【００３８】Pre-LPF をかけて得られたＲ信号、Ｇ信号、Ｂ信号を用いて、CCDRAWタイプの画素配列に再配列し（＃３）、単板式の画像を再生成する。
【００３９】続いて、再生成されたCCDRAWタイプの画像の画素を一定の割合で間引く処理を行い（＃４）、画像を縮小する。間引き処理で生成されたCCDRAWタイプの縮小画像（以下、縮小RAW 画像という。）を現像処理部に入力して信号処理を行い（＃５）、ここでガンマ変換、ホワイトバランス調整、同時化などの処理を経て最終的な画像（例えば、表示用縮小画像であるＲＧＢデータ）に変換する。
【００４０】なお、CCDRAW画像を縮小せずに再生する場合には、上記の処理工程（＃１）〜（＃４）を省略し、CCDRAW画像を直接（＃５）の信号処理工程に入力して再現画像を得る。
【００４１】図４に示した画像処理プロセスに従ってハニカム配列の画像を処理する例を図５に示す。図５にはハニカム配列のCCDRAW画像から縮小画像を生成する処理プロセスが示されている。この処理プロセスは、例えば、CCDRAW処理結果のプレビュー表示のために用いられる。
【００４２】図５（ａ）に示すように、原画像であるCCDRAW画像はハニカム配列の画素配置を反映したモザイク状の画像である。この原画像の画像情報を色分離し、図５（ｂ）のようにＲ，Ｇ，Ｂの３面に分ける。なお、このとき、欠落する画素点（ブランクとなる位置）を一定の割合で詰めながら画素を配列し直す。ブランクとなる画素点を詰めることによって、位相は変わるが、画素の周期的な並び方は維持されている。
【００４３】こうして色分離されたＲ信号、Ｇ信号、Ｂ信号について、それぞれの二次元的再現帯域の特徴を保持するように設計されたPre-LPF をかける。ハニカム配列の場合、Ｒ信号及びＢ信号に施すPre-LPF は斜め方向の帯域を落とし、ＧにかけるPre-LPF は斜め方向の帯域を保持するようなものとする。こうして、図５（ｃ）に示す３面の画像を得る。
【００４４】Pre-LPF 処理後の３面の画像を元の１面の画像（CCDRAW画像と同じモザイク状の画像）に戻す処理（CCDRAWファイル化工程）を行い、図５（ｄ）に示すようなモザイク状の画像を再生成する。
【００４５】再配置されたモザイク状の画像から間引き処理を行い、図５（ｅ）に示す縮小RAW 画像を生成する。同図では１／３に縮小する例が示されている。図５（ｄ）において「網かけ」で示したＲ及びＧの画素が図５（ｅ）において「網かけ」したＲ及びＧの画素にそれぞれ対応している。
【００４６】こうして得られた縮小RAW 画像を基に、ガンマ変換、ホワイトバランス調整、同時化などの処理を行い、図５（ｆ）に示す縮小版最終画像（例えば、表示用縮小画像であるＲＧＢデータ）を生成する。これにより、縮小画像の高速表示が可能となる。
【００４７】次に、Pre-LPF 処理の詳細について説明する。
【００４８】上述のように、CCDRAW画像を縮小し、その縮小RAW 画像に対して所定の処理を行うことを考えるとき、縮小率に従ってPre-LPF を設計することが重要となる。このPre-LPF の帯域特性は、縮小率×ｆs ／２（ただし、ｆs はサンプリング周波数）とすればよいが、これを色によらず画一的に施すと、元々サンプリング周波数の高い色信号（ハニカム配列やベイヤー配列におけるＧ信号）にとっては解像感の点で劣化が生じ、元々サンプリング周波数の低い色信号（ハニカム配列やベイヤー配列におけるＲ、Ｂ信号）にとっては偽信号の点で劣化が生じてしまう。
【００４９】そこで、本発明の実施形態では、CCDRAW画像について色ごとに設定したPre-LPF を施す構成とし、各色信号に施すべきPre-LPF の帯域特性は、縮小率×ｆs ／２とするとともに、その二次元的特性を元の各色の再現帯域に相似させる。
【００５０】図６は、ハニカム配列及びベイヤー配列のそれぞれの場合について、サンプリング定理に基づく各色の再現帯域を空間周波数座標（規格化していない絶対的な空間周波数の座標系）上に表した図である。図６（ａ）に示すようにハニカム配列の場合、Ｒ，Ｂ信号の再現帯域は水平及び垂直方向に比べて斜め４５度方向の再現帯域が低い菱形の形状となる。つまり、縦線、横線の入力に対しては、再現性（解像度）が高いが、斜め４５度方向の線（以下、斜め線という。）の入力に対しては、再現性が低くなる（１／２1/2 倍になる）。
【００５１】一方、ハニカム配列におけるＧ信号の場合には、水平及び垂直方向については、Ｒ，Ｂ信号と同等の再現帯域を有し、斜め４５度方向についてはＲ，Ｂ信号よりも２倍の再現帯域を有している。すなわち、Ｇ信号の二次元的再現帯域は図６（ａ）に示したように矩形（正方形）の形状となる。
【００５２】このような、再現帯域の違いは、カラーフィルタ１８の配列周期（画素の配列構造）に起因する（図２参照）。ハニカム配列の場合、水平及び垂直方向について、Ｒ，Ｂの空間サンプリング周波数とＧの空間サンプリング周波数は同等であるが、斜め４５度方向についてＲ，Ｂの空間サンプリング周波数はＧのそれの半分である。CCDRAW画像はカラーフィルタの配列構造を反映し、色ごとに異なる帯域の特徴を有している。
【００５３】図６（ｂ）はベイヤー配列における各色の二次元的再現帯域を示す。ベイヤー配列については、Ｒ，Ｂ信号の二次元的再現帯域は矩形となり、Ｇ信号の二次元再現帯域は菱形になる。
【００５４】なお、図６（ａ），（ｂ）から明らかなように、ハニカム配列、或いはベイヤー配列におけるＲ，Ｂ信号と、Ｇ信号の再現帯域は、互いに４５度回転させた関係になっている。大きさの違いは、Ｇ信号のサンプリング点の多さによるものである。
【００５５】本発明の実施形態では、図６に示したCCDRAW画像における色ごとの再現特性を考慮し、図４及び図５で説明した画像処理プロセスにおいて、各色信号に施すべきPre-LPF の帯域特性を、元の各色の再現帯域に相似させている。
【００５６】すなわち、具体的には、図５の画像処理プロセスにおいて、Ｒ，Ｂ信号に対しては図７に示すPre-LPF を施し、Ｇ信号に対しては図８に示すPre-LPF を施す。図７に示したPre-LPF は、j 番目のフィルタ係数をａj 、入力Ｒ信号をＲj （処理前) とすると、Pre-LPF 処理後の画素位置ｉにおけるＲ信号の値Ｒi （処理後）は次式で表される。
【００５７】
【数１】 Ｒi （処理後）＝Σａj Ｒj （処理前）／16384 …（１）
Ｂ信号についても同様の計算を行う。また、Ｇ信号については、図８に示したフィルタ係数を用いて同様の計算を行う。
【００５８】図７に示したＲ，Ｂ信号用のPre-LPF は、縦横方向よりも斜め方向の再現帯域を落とし、図８に示したＧ信号用のPre-LPF は、縦横方向よりも斜め方向の再現帯域を高めるような係数配置になっている。
【００５９】図６で説明したように、Ｒ，Ｂ信号と、Ｇ信号の再現帯域は、互いに４５度回転させた関係になっているので、これらに施すPre-LPF は、そのフィルタ係数を互いに４５度回転させたものとしてもよい。
【００６０】実際、図７に示したPre-LPF は、図８に示したPre-LPF の係数配置を４５度回転させたものとなっている。このように、Ｒ，Ｂ信号に施すPre-LPF のフィルタ係数を４５度回転させたものをＧ信号に施すことで、ハニカム配列原色フィルタの再現帯域に相似させることができる。
【００６１】また、ベイヤー配列原色フィルタを用いた撮像装置によって取得されたCCDRAW画像から縮小画像を生成する場合には、図７のPre-LPF をＧ信号に施し、図８のPre-LPF をＲ，Ｂ信号に施すとよい。すなわち、ベイヤー配列の場合はＧ信号にかけるPre-LPF は斜めの帯域を落とし、Ｒ，Ｂ信号にかけるPre-LPF は斜めの帯域を保持する。
【００６２】このようなPre-LPF を用いることにより、各色のサンプリング周波数を犠牲にすることなく、また画像再現後の偽色発生も最小限に抑制することが可能になる。
【００６３】図７及び図８では１１×１１画素のマトリックス状フィルタを例示したが、フィルタの形態はこれに限定されず、色配列を考慮して適宜設計可能である。入力されるCCDRAW画像の画素配列が固定である場合（CCDRAWデータの規格が決まっている場合）には、フィルタの構成を固定して設計することができる。複数種類の画素配列パターンのCCDRAW画像を取り扱うことを想定する場合（多様な形式のCCDRAWデータ処理に対応する汎用ソフトとして構成する場合）には、色配列の情報に応じてフィルタの構成（フィルタ係数）を可変設定することが好ましい。
【００６４】汎用タイプのソフトにするためには、画素配列の情報を認識してフィルタの形態を可変設定する。例えば、CCDRAW画像のファイルに撮像素子のカラーフィルタ情報を付加しておき、画像処理時にそのカラーフィルタ情報を読み込んで、その色配列の再現特性の特徴を維持するようなPre-LPF を自動的に設定する。
【００６５】上述した本発明の実施形態によれば、大サイズのCCDRAW画像から同じ再現帯域の特徴を有する縮小CCDRAW画像を生成することができ、その縮小CCDRAW画像に画像再現処理（ガンマ変換、ホワイトバランス調整、同時化などの処理）を施して、最終的な縮小画像を得るようにしたので、最終画像における偽色の発生を防止できるとともに、各色信号の最大解像感を保持することができる。
【００６６】本発明の実施形態は、画像加工アプリケーション上で画像を編集する際に、その処理結果を高速表示させる場合において極めて有効である。本発明によれば、色調の変更や明るさの変更といった画像編集の結果を高速表示することが可能である。すなわち、原画像の再現特性の特徴を保持した縮小RAW 画像を生成し、この縮小RAW 画像に対して、色調の変更等の編集指示に基づく信号処理を施すため、処理結果を短時間で表示できる。
【００６７】図９にアプリケーション画面の例を示す。同図によれば、編集パラメータを指定する入力ウィンドウ８０の横に処理結果の縮小画像（縮小版最終画像）を表示するプレビュー表示部８２が形成される。ユーザが編集パラメータを変更すると、その入力に応じて縮小画像の信号処理が行われ、その処理結果がプレビュー表示部８２に表示される。ユーザはプレビュー表示部８２の縮小画像を確認しながら編集パラメータを適宜調節し、パラメータを決定する。パラメータ決定後に、大サイズの原画像に対して再現処理を実施し、最終画像を得る。パラメータの調節段階（画像編集段階）で大サイズの原画像を取り扱う場合と比較して、処理時間を大幅に短縮できる。
【００６８】本発明を実施する手段はパソコンに限らず、専用の画像処理装置（画像再生装置や画像加工装置）であってもよい。また、画像処理はソフトウエアで実現する態様に限らず、その処理の一部又は全部を専用のハードウェア（信号処理回路）で実現してもよい。
【００６９】また、上述した画像表示機能を実現させるためのコンピュータプログラムをＣＤ−ＲＯＭや磁気ディスクその他の記録媒体に記録し、記録媒体を通じて当該プログラムを第三者に提供したり、インターネットなどの通信回線を通じて当該プログラムのダウンロードサービスを提供することも可能である。
【００７０】更に、上記した実施の形態では、CCDRAW画像に対して上記のPre-LPF を施す前に色分離工程を設けたが（図４の♯１）、本発明の実施に際して色分離工程は必ずしも必須ではない。例えば、CCDRAW画像のフォーマットを考慮した形にPre-LPF を変形しておけば、色分離工程（図４の＃１）及び再配置工程（図４の＃３）を省略できる。
【００７１】
【発明の効果】以上説明したように本発明によれば、同時化等の信号処理を経ていない未加工の原画像から縮小原画像を得る際に、原信号の二次元的再現帯域と相似な二次元的帯域特性を有するローパスフィルタを施すようにしたので、現信号の再現帯域の特徴を保持することができ、縮小原画像から生成される最終画像における偽色の発生を防止できるとともに、各色信号の最大解像感を保持できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理方法が適用される原画像を記録する撮像装置の構成例を示すブロック図
【図２】原色タイプのカラーフィルタ配列の例を示す模式図
【図３】本発明の実施形態に係る画像処理プログラムが組み込まれるパソコンのハードウェア構成例を示すブロック図
【図４】CCDRAW画像から縮小画像を生成する画像処理の手順を示す処理ブロック図
【図５】図４に示した画像処理プロセスに従ってハニカム配列の画像を処理する例を示す説明図
【図６】ハニカム配列及びベイヤー配列のそれぞれの場合について、サンプリング定理に基づく各色の再現帯域を空間周波数座標上に表した図
【図７】図５に示した画像処理プロセスにおいて、Ｒ，Ｂ信号に対して施すPre-LPF の例を示す図
【図８】図５に示した画像処理プロセスにおいて、Ｇ信号に対して施すPre-LPF の例を示す図
【図９】本発明の実施形態に係る画像処理プログラムが適用されたアプリケーション画面の一例を示す図
【符号の説明】
１０…撮像装置、１２…撮像部、１４…メモリカード、１８…カラーフィルタ、２０…撮像素子、２２…ＣＰＵ、５０…パソコン、５２…ＣＰＵ、５４…ＲＡＭ、５８…ハードディスク装置
【特許請求の範囲】
【請求項１】 色配列の周期性が異なる複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成する画像処理方法であって、前記原画像の各色信号について前記色配列とサンプリング定理から規定される各色の二次元的再現帯域に相似な二次元的帯域特性を有するローパスフィルタを施すフィルタ処理工程と、前記フィルタ処理工程を経て生成された画像から画素を間引いて縮小原画像を生成する縮小化処理工程と、前記縮小化処理で生成された縮小原画像に対して画像再現の信号処理を行うことにより前記原画像の縮小画像を得る再現処理工程と、を含むことを特徴とする画像処理方法。
【請求項２】 色配列の周期性が異なる複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成する画像処理機能をコンピュータに実現させるためのプログラムであって、前記原画像の各色信号について前記色配列とサンプリング定理から規定される各色の二次元的再現帯域に相似な二次元帯域特性を有するローパスフィルタを施すフィルタ処理機能と、前記フィルタ処理機能を経て生成された画像から画素を間引いて縮小原画像を生成する縮小化処理機能と、前記縮小化処理で生成された縮小原画像に対して画像再現の信号処理を行うことにより前記原画像の縮小画像を得る再現処理機能と、をコンピュータに実現させることを特徴とする画像処理プログラム。
【請求項３】 前記原画像は、Ｒ（赤），Ｇ（緑），Ｂ（青）の原色カラーフィルタを搭載した単板カラー撮像装置を用いて取得された画像であり、ガンマ変換、ホワイトバランス調整及び同時化などの信号処理が行われていないデジタル画像であることを特徴とする請求項２記載の画像処理プログラム。
【請求項１】 色配列の周期性が異なる複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成する画像処理方法であって、前記原画像の各色信号について前記色配列とサンプリング定理から規定される各色の二次元的再現帯域に相似な二次元的帯域特性を有するローパスフィルタを施すフィルタ処理工程と、前記フィルタ処理工程を経て生成された画像から画素を間引いて縮小原画像を生成する縮小化処理工程と、前記縮小化処理で生成された縮小原画像に対して画像再現の信号処理を行うことにより前記原画像の縮小画像を得る再現処理工程と、を含むことを特徴とする画像処理方法。
【請求項２】 色配列の周期性が異なる複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成する画像処理機能をコンピュータに実現させるためのプログラムであって、前記原画像の各色信号について前記色配列とサンプリング定理から規定される各色の二次元的再現帯域に相似な二次元帯域特性を有するローパスフィルタを施すフィルタ処理機能と、前記フィルタ処理機能を経て生成された画像から画素を間引いて縮小原画像を生成する縮小化処理機能と、前記縮小化処理で生成された縮小原画像に対して画像再現の信号処理を行うことにより前記原画像の縮小画像を得る再現処理機能と、をコンピュータに実現させることを特徴とする画像処理プログラム。
【請求項３】 前記原画像は、Ｒ（赤），Ｇ（緑），Ｂ（青）の原色カラーフィルタを搭載した単板カラー撮像装置を用いて取得された画像であり、ガンマ変換、ホワイトバランス調整及び同時化などの信号処理が行われていないデジタル画像であることを特徴とする請求項２記載の画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００３−３４６１４３（Ｐ２００３−３４６１４３Ａ）
【公開日】平成１５年１２月５日（２００３．１２．５）
【国際特許分類】
【出願番号】特願２００２−１５４９０６（Ｐ２００２−１５４９０６）
【出願日】平成１４年５月２９日（２００２．５．２９）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
【公開日】平成１５年１２月５日（２００３．１２．５）
【国際特許分類】
【出願日】平成１４年５月２９日（２００２．５．２９）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
[ Back to top ]