画像処理方法及び画像処理装置
【課題】メモリの容量を圧迫せずに画像信号を格納できるとともに、フィルタ処理後の画像の画角を大きく保つことができる画像処理方法及び画像処理装置を提供すること。
【解決手段】メモリ５に記憶された画像成分のサンプリング比が一致していない画像信号が画像処理部６によって読み出され（ステップＳ１）、サンプリング比が一致するようにサンプリング比の変換が行われる（ステップＳ２）。サンプリング比が一致している状態でフィルタ処理が行われ（ステップＳ３）、フィルタ処理の終了後に、画像信号のデータサイズが削減されるようにサンプリング比が変換される（ステップＳ４）。
【解決手段】メモリ５に記憶された画像成分のサンプリング比が一致していない画像信号が画像処理部６によって読み出され（ステップＳ１）、サンプリング比が一致するようにサンプリング比の変換が行われる（ステップＳ２）。サンプリング比が一致している状態でフィルタ処理が行われ（ステップＳ３）、フィルタ処理の終了後に、画像信号のデータサイズが削減されるようにサンプリング比が変換される（ステップＳ４）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法及び画像処理装置に関し、特に、画像のフィルタ処理を行う際の画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
特許文献１には、ＪＰＥＧ方式で記録されたＪＰＥＧ画像データを印刷処理する際に、デコードされて得られた輝度・色差信号の各画像成分（Ｙ、Ｃｂ、Ｃｒ）のサンプリング周波数の比を、データサイズの小さいＹ：Ｃｂ：Ｃｒ＝４：１：１に変換する手法が提案されている。このような手法を用いることにより、画像信号をメモリに格納する際のデータサイズを削減することができる。また、人間の目は輝度の変化に対しては敏感であるが、色差の変化に対しては比較的鈍感であるので、色差の情報量を落としても、印刷後の画像が人間の目に不自然さを感じさせることはない。
【特許文献１】特開２００４−１５８９４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで、ＪＰＥＧ方式で記録された画像は、液晶モニタなどの表示モニタ上に表示される場合もある。一般に、記録時の画像の画角と表示モニタで表示可能な画角とは異なっていることが多いので、ＪＰＥＧ画像を表示モニタ上で再生する際には、ＪＰＥＧ方式で記録された画像をデコードし、このデコードされた画像に対してリサイズ処理（通常は縮小処理）を行うことにより、画像の画角を表示モニタで表示可能な画角に変更してから表示を行うようにしている。このようなリサイズ処理は、画像信号に所定のフィルタをかけることで行われる。
【０００４】
ここで、リサイズ処理などに用いられるフィルタ処理では、画像の全範囲を補間することができずに、画像の端に補間ができない範囲（のりしろ）が発生する。一般に、のりしろは、輝度信号と色差信号のサンプリング周波数の比が異なっている場合に大きくなり、のりしろが大きくなるとフィルタ処理後の画像の画角は小さくなる。その一方で、輝度信号と色差信号のサンプリング周波数の比を等しくした場合には、データサイズが大きくなり、画像信号をメモリに格納する際にメモリの容量を圧迫するおそれがある。
【０００５】
上記特許文献１の手法では、データサイズを削減することについては考慮されているが、フィルタ処理後の画像の画角に関しては考慮されていない。
【０００６】
本発明は、上記の事情に鑑みてなされたもので、メモリの容量を圧迫せずに画像信号を格納できるとともに、フィルタ処理後の画像の画角を大きく保つことができる画像処理方法及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明の第１の態様による画像処理方法は、複数の画像成分を含み、これら画像成分のサンプリング周波数の比であるサンプリング比が一致していない画像信号をメモリから読み出し、上記メモリから読み出された画像信号のサンプリング比を一致させるように上記画像信号のサンプリング比を変換し、上記サンプリング比が変換された画像信号をフィルタ処理し、上記フィルタ処理された画像信号のデータサイズを削減するように上記フィルタ処理された画像信号のサンプリング比を変換することを特徴とする。
【０００８】
また、本発明の第２の態様による画像処理装置は、デジタル化された画像信号をフィルタ処理する画像処理装置において、複数の画像成分を含み、サンプリング比が画像成分毎に一致していない複数の画像成分を含む画像信号が記憶される記憶手段と、上記記憶手段に記憶された画像信号を読み出して、上記サンプリング比を画像成分毎に一致させるように上記画像信号のサンプリング比を変換する第１の変換手段と、上記第１の変換手段によりサンプリング比を画像成分毎に一致させた画像信号をフィルタ処理するフィルタ処理手段と、上記フィルタ処理手段によってフィルタ処理された画像信号のデータサイズを削減するように上記フィルタ処理された画像信号のサンプリング比を変換する第２の変換手段とを具備することを特徴とする。
【０００９】
これら第１及び第２の態様によれば、フィルタ処理に先立って、サンプリング比が一致するように画像信号のサンプリング比が変換され、フィルタ処理後にはデータサイズが削減されるように画像信号のサンプリング数が変換される。
【発明の効果】
【００１０】
本発明によれば、メモリの容量を圧迫せずに画像信号を格納できるとともに、フィルタ処理後の画像の画角を大きく保つことができる画像処理方法及び画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る画像処理装置を含むデジタルカメラの構成について示す図である。図１に示すデジタルカメラは、ＣＰＵ１と、レンズ２と、撮像素子３と、ＡＤ変換部（図ではＡＤＣと示している）４と、メモリ５と、画像処理部６と、ＪＰＥＧエンコーダ/デコーダ７と、メモリカード８と、ビデオエンコーダ９と、表示モニタ１０とから構成されている。
【００１２】
ＣＰＵ１では、図１に示すデジタルカメラの各部の制御が行われる。例えば、ＣＰＵ１では、撮像素子３の動作制御や撮像素子３で得られた画像信号の読み出し制御、ＡＤＣ４や、画像処理部６、ＪＰＥＧエンコーダ/デコーダ７、ビデオエンコーダ９の動作制御などが行われる。
【００１３】
図１において、レンズ２を介して入射した被写体からの光束は、ＣＣＤなどで構成された撮像素子３に結像され、撮像素子３においてアナログの画像信号に変換される。撮像素子３において得られた画像信号は、ＣＰＵ１の制御の下、所定のタイミングで読み出されてＡＤＣ４に入力される。ＡＤＣ４では、アナログの画像信号がデジタルの画像信号に変換される。ＡＤＣ４で変換されたデジタルの画像信号は、バスを介して記憶手段としてのメモリ５に格納される。ここで、メモリ５は、例えばＤＲＡＭなどから構成されている。
【００１４】
画像の記録時においては、メモリ５に格納された画像信号が、画像処理部６によって読み出される。画像処理部６では、まず画像信号の白バランス調整が行われる。その後、ＲＧＢの画像信号が輝度・色差信号（以下、ＹＣ信号と称する）に変換される。ＹＣ信号に変換された後、Ｙ信号に対しては階調補正処理が行われ、Ｃ信号（Ｃｂ、Ｃｒ）に対しては色補正処理が行われる。なお、色補正処理や階調補正処理などの処理は、ＲＧＢ信号の状態で行うようにしても良い。
【００１５】
その後、画像信号のデータサイズを削減するために、ＹＣ信号の各画像成分のサンプリング周波数の比（以下、サンプリング比と称する）が変換（ダウンサンプリング）される。このときのサンプリング比は、例えばＹ：Ｃｂ：Ｃｒ＝４：２：２である。動画像のときには、サンプリング比Ｙ：Ｃｂ：Ｃｒ＝４：２：０が用いられる。
【００１６】
一般に、人間の目は輝度の変化に対しては敏感であるが、色差の変化に対しては比較的鈍感である。このため、色差情報を減らしてサンプリングを行っても、画像再生の際などにおいて人間の目にそれほど不自然さを感じさせることがない。
【００１７】
画像処理部６において処理された画像信号は、ＪＰＥＧエンコーダ/デコーダ７に入力されてＤＣＴ変換などの手法によりＪＰＥＧエンコードされる。
【００１８】
ＪＰＥＧエンコーダ/デコーダ７においてエンコードされた画像信号は、一旦メモリ５に格納された後、所定のヘッダ情報が付加されたＪＰＥＧファイルとしてメモリカード８に記録される。
【００１９】
ここで、本一実施形態においては、画像処理部６に画像信号が入力されてから、ＪＰＥＧエンコーダ/デコーダ７で画像信号がＪＰＥＧエンコードされるまでの間、画像信号がメモリ５に格納されることなく処理が行われる。
【００２０】
また、撮像素子３において得られた画像をスルー画表示する際には、画像処理部６において得られたＹＣ信号が、表示モニタ１０の仕様などに応じた所定のサイズにリサイズ（通常は縮小）される。更に、ＹＣ信号の各画像成分のサンプリング比が変換（ダウンサンプリング）された後、メモリ５に格納される。このメモリ５に格納された画像信号は、フレーム単位でビデオエンコーダ９によって読み出され、ビデオエンコーダ９を介して例えば液晶モニタなどで構成された表示モニタ１０上に画像として表示される。
【００２１】
更に、メモリカード８に記録されたＪＰＥＧ画像信号を再生する際には、メモリカード８に記録されたＪＰＥＧ画像信号がＪＰＥＧエンコーダ/デコーダ７によって読み出されて逆ＤＣＴ変換などの手法によりデコードされる。その後、デコードによって得られたＹＣ信号が、画像処理部６において表示用の所定のサイズに縮小された後、メモリ５に一旦格納される。メモリ５に格納されたＹＣ信号は、ビデオエンコーダ９を介して表示モニタ１０上に画像として表示される。このＪＰＥＧ画像信号を再生する際の処理については後で詳しく説明する。
【００２２】
次に、図１の画像処理装置を用いた本一実施形態に係る画像処理方法について説明する。
図２は、サンプリング比が一致しているときのＹＣ信号の各画像成分の配置図である。なお、図２の例は、サンプリング比がＹ：Ｃｂ：Ｃｒ＝４：４：４の場合を示している。また、図２においては、Ｙの位置を白丸１０１で示している。一方、Ｃ（Ｃｂ、Ｃｒ）の位置を黒丸１０２で示している。
【００２３】
サンプリング比が４：４：４の場合には、サンプリング後のＹの情報量とＣｂ、Ｃｒの情報量とがそれぞれ等しくなっている。このような場合には、図２に示すように、Ｙのサンプリング位置とＣｂ及びＣｒのサンプリング位置とを全て一致させることができる。ここで、サンプリング比４：４：４の場合のデータサイズは、（Ｙのデータサイズ）＋（Ｃｂのデータサイズ）＋（Ｃｒのデータサイズ）となる。
【００２４】
図３（ａ）及び図３（ｂ）は、サンプリング比が一致していないときのＹＣ信号の各画像成分の配置図である。なお、図３（ａ）及び図３（ｂ）の例は、サンプリング比がＹ：Ｃｂ：Ｃｒ＝４：２：２の場合を示している。
【００２５】
サンプリング比が４：２：２の場合には、水平方向についてのＣｂ及びＣｒの情報量がそれぞれＹの情報量の１/２になる。即ち、サンプリング比が４：２：２の場合には水平２画素で１つの色差情報を共有させるようにして情報量を削減している。ここで、色差情報は単純間引きによって得るようにしても良いし、水平２画素毎の平均値から得るようにしても良い。
【００２６】
また、サンプリング比が４：２：２の場合のＣｂ及びＣｒのサンプリング位置は、図３（ａ）のようにＹのサンプリング位置に一致する場合（２つのＹの何れか一方と一致）と、図３（ｂ）のように２つのＹの中心に位置する場合とがある。ここで、サンプリング比４：２：２の場合の全体のデータサイズは、図３（ａ）及び図３（ｂ）の何れの場合であっても、（Ｙのデータサイズ）＋（１/２×Ｃｂのデータサイズ）＋（１/２×Ｃｒのデータサイズ）となる。即ち、サンプリング比４：２：２の場合のデータサイズは、サンプリング比４：４：４の場合の２/３になる。
【００２７】
また、図４（ａ）及び図４（ｂ）は、サンプリング比がＹ：Ｃｂ：Ｃｒ＝４：２：０の場合のＹＣ信号の各画像成分の配置図である。
【００２８】
サンプリング比が４：２：０の場合には、水平方向だけでなく垂直方向のＣｂ及びＣｒの情報量もＹの情報量の１/２になる。即ち、サンプリング比が４：２：０の場合には水平２画素×垂直２画素の４画素で１つの色差情報を共有させるようにして情報量を削減している。
【００２９】
また、サンプリング比が４：２：０の場合のＣｂ及びＣｒのサンプリング位置は、図４（ａ）のようにＹのサンプリング位置に一致する場合（４つのＹの何れか１つと一致）と、図４（ｂ）のように４つのＹの中心に位置する場合とがある。ここで、サンプリング比４：２：０の場合の全体のデータサイズは、図４（ａ）及び図４（ｂ）の何れの場合であっても、（Ｙのデータサイズ）＋（１/４×Ｃｂのデータサイズ）＋（１/４×Ｃｒのデータサイズ）となる。即ち、サンプリング比４：２：０の場合のデータサイズは、サンプリング比４：４：４の場合の１/２になる。
【００３０】
以上説明したように、Ｙのサンプリング周波数とＣｂ及びＣｒのサンプリング周波数とを異ならせるように、具体的にはＣｂ及びＣｒの情報量を減らすようにサンプリングを行うことにより、データサイズを削減することが可能である。
【００３１】
次に、図２〜図４で示したＹＣ信号のフィルタ処理について説明する。
【００３２】
図５は、図２に示すサンプリング比４：４：４のＹＣ信号を４×４の中央補間フィルタを用いてフィルタ処理するときの様子について示す図である。なお、図５の例は、画像内の左上端に対してフィルタ処理を行うときの様子を示している。
【００３３】
図６は、中央補間フィルタについて説明するための図である。中央補間フィルタは、フィルタ１０３内の複数の点１０１（４×４のフィルタの場合には１６点）のデータを用いて、フィルタの中央の点１０４のデータを補間演算するフィルタであり、例えば画像信号中の高周波成分を除去するローパスフィルタ処理（ＬＰＦ処理）や、画像信号中の特定周波数成分を抽出するバンドパスフィルタ処理（ＢＰＦ処理）などに用いられる。
【００３４】
サンプリング比４：４：４の場合には、上述したようにＹのサンプリング位置とＣｂ、Ｃｒのサンプリング位置とを全て一致させることができるので、Ｙを処理するためのフィルタの形状とＣｂ、Ｃｒを処理するためのフィルタの形状とを一致させることができる。このようなフィルタ１０３を用いて画像の左上端に対してフィルタ処理を行った場合、Ｙの場合には図５に示す点１０４のデータが左上端の点として補間される。Ｃｂ及びＣｒの場合もＹと同様に、図５に示す点１０５のデータが左上端の点として補間される。
【００３５】
ここで、中央補間フィルタを用いた場合には、フィルタ内の中央の位置の点しか補間することができないので、画像内全体に対してフィルタ処理を行っても参照符号１０６で示した範囲内しか補間されない。このため、フィルタ処理後の画像の画角は、フィルタ処理によって補間されない範囲（のりしろ）の分だけフィルタ処理前の画像の画角よりも小さくなる。具体的には、サンプリング比４：４：４の場合、水平方向のりしろ３画素分（図５の例では左側１.５画素＋右側１.５画素）及び垂直方向のりしろ３画素分（上側１.５画素＋下側１.５画素）だけフィルタ処理前の画角よりも小さくなる。
【００３６】
また、図７は、図３で示すサンプリング比４：２：２のＹＣ信号を４×４の中央補間フィルタを用いてフィルタ処理するときの様子について示す図である。ここで、図７（ａ）は図３（ａ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図であり、図７（ｂ）は図３（ｂ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図である。
【００３７】
なお、Ｙのフィルタ処理については図５で説明したサンプリング比４：４：４の場合と同様であるので、ここではＣｂ、Ｃｒのフィルタ処理についてのみ説明する。
【００３８】
サンプリング比４：２：２の場合には、Ｃｂ、Ｃｒの水平方向の情報量がＹの情報量に比して１/２に削減されている。したがって、サンプリング比４：２：２の場合には、フィルタ処理に必要な１６点を確保するために、フィルタ１０３の水平方向幅をサンプリング比４：４：４の場合の２倍の幅とする必要がある。このようなフィルタ１０３を用いて画像の左上端に対してフィルタ処理を行った場合には、図７（ａ）や図７（ｂ）に示す点１０５のデータが補間される。即ち、サンプリング比４：２：２の左上端のＣｂ及びＣｒをフィルタ処理した場合には、それによって得られる補間後の左上端点１０５の位置は、Ｙをフィルタ処理した場合の補間後の左上端点１０４の位置よりも水平方向右側になる。逆に右上端のＣｂ及びＣｒをフィルタ処理した場合には、それによって得られる補間後の右上端点の位置は、Ｙをフィルタ処理した場合の補間の右上端点の位置よりも水平方向左側になる。
【００３９】
このように、サンプリング比４：２：２のＣｂ及びＣｒをフィルタ処理する場合には、サンプリング比４：４：４の場合に比してフィルタの水平方向幅が大きくなっているので、Ｃｂ及びＣｒに係るフィルタ処理後の画角（即ちフィルタ処理で補間可能な範囲）１０６ｂが、Ｙに係るフィルタ処理後の画角１０６ａよりも小さくなる。具体的には、サンプリング比４：２：２の場合には、水平方向のりしろ４画素分（図７（ａ）の例では左側１.５画素＋右側２.５画素、図７（ｂ）の例では左側２画素＋右側２画素）だけＹの画角１０６ａよりも小さくなる。ここで、フィルタ処理後の画角は、Ｙの画角とＣｂ及びＣｒの画角とで揃っている必要があるので、最終的な画角は小さいほうの画角、即ちＣｂ及びＣｒの画角に制限される。したがって、フィルタ処理後の画角は、フィルタ処理前の画角よりも水平７画素、垂直３画素だけ小さくなる。
【００４０】
更に、図８は、図４で示すサンプリング比４：２：０のＹＣ信号を４×４の中央補間フィルタを用いてフィルタ処理するときの例について示す図である。ここで、図８（ａ）は図４（ａ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図であり、図８（ｂ）は図４（ｂ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図である。
【００４１】
なお、Ｙのフィルタ処理については図５で説明したサンプリング比４：４：４の場合と同様であるので、ここではＣｂ、Ｃｒのフィルタ処理についてのみ説明する。
【００４２】
サンプリング比４：２：０の場合には、上述したように、Ｃｂ、Ｃｒの水平及び垂直方向の情報量がそれぞれＹの情報量に比して１/２に削減されている。したがって、サンプリング比４：２：０の場合には、フィルタ１０３の水平方向幅だけでなく垂直方向の幅もサンプリング比４：４：４の場合の２倍の幅となる。このようなフィルタ１０３を用いて画像の左上端に対してフィルタ処理を行った場合には、図８（ａ）や図８（ｂ）に示す点１０５のデータが補間される。即ち、サンプリング比４：２：０の左上端のＣｂ及びＣｒをフィルタ処理した場合には、それによって得られる補間後の左上端点１０５の位置は、Ｙをフィルタ処理した場合の補間の左上端点１０４の位置よりも水平方向右側かつ垂直方向下側になる。
【００４３】
即ち、サンプリング比４：２：０の場合、Ｃｂ及びＣｒをフィルタ処理した後の画角１０６ｂは、サンプリング比４：２：２の場合よりも更に小さくなる。具体的には、サンプリング比４：２：０の場合には、水平方向のりしろ７画素分（図８（ａ）の例では左側３画素＋右側４画素、図８（ｂ）の例では左側３.５画素＋右側３.５画素）及び垂直方向のりしろ７画素分（図８（ａ）の例では上側３画素＋下側４画素、図８（ｂ）の例では上側３.５画素＋下側３.５画素）だけフィルタ処理前の画角よりも小さくなる。
【００４４】
なお、ここでは４×４の中央補間フィルタについて説明したが、上記の説明は任意の形状の中央補間フィルタについても同様である。一般に、ｍ×ｎの中央補間フィルタを用いた場合に生じるのりしろは、サンプリング比４：４：４の場合に水平のりしろｍ−１及び垂直のりしろｎ−１となり、サンプリング比４：２：２の場合に水平のりしろ（ｍ−１）×２＋１及び垂直のりしろｎ−１となり、サンプリング比４：２：０の場合に水平のりしろ（ｍ−１）×２＋１及び垂直のりしろ（ｎ−１）×２＋１となる。
【００４５】
図９は、図２のサンプリング比４：４：４のＹＣ信号を４×４の重み付けフィルタを用いてフィルタ処理するときの様子を示す図である。また、図１０は、重み付けフィルタについて説明するための図である。ここで、図１０（ａ）は４×４の重み付けフィルタについて示す図であり、図１０（ｂ）は５×５の重み付けフィルタについて示す図である。
【００４６】
重み付けフィルタは、フィルタ内の複数点１０１（図１０（ａ）に示す４×４のフィルタの場合には１６点、図１０（ｂ）に示す５×５のフィルタの場合には２５点）を用いて、フィルタ２０３内の中心位置周辺１画素×１画素の範囲２０４のデータを補間演算するフィルタであり、例えば画像信号の拡大縮小処理（リサイズ処理）を行うためのフィルタ処理（例えばキュービック処理）などに用いられる。
【００４７】
サンプリング比４：４：４の場合には、上述したようにＹのサンプリング位置とＣｂ及びＣｒのサンプリング位置とを全て一致させることができるので、Ｙを処理するためのフィルタの形状とＣｂ、Ｃｒを処理するためのフィルタの形状とを一致させることができる。このようなフィルタ２０３を用いて画像の左上端に対してフィルタ処理を行った場合、Ｙの場合には図９に示す点２０４ａのデータが左上端の点として補間される。Ｃｂ及びＣｒの場合もＹと同様に、図９に示す点２０５ａのデータが左上端の点として補間される。図９に示すように、重み付けフィルタの場合には、フィルタ内の中心位置周辺の範囲を補間できるので、フィルタ処理後の画角２０６は、中央補間フィルタによるフィルタ処理後の画角１０６よりも大きくなる。しかしながら、のりしろがなくなるわけではないので、フィルタ処理前の画角よりはフィルタ処理後の画角は小さくなる。具体的には、サンプリング比４：４：４の場合、水平方向のりしろは２画素（左側１画素＋右側１画素）となり、垂直のりしろも２画素（上側１画素＋下側１画素）となる。
【００４８】
図１１はサンプリング比４：２：２のＹＣ信号を４×４の重み付けフィルタを用いてフィルタ処理するときの様子を示す図である。ここで、図１１（ａ）は図３（ａ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図であり、図１１（ｂ）は図３（ｂ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図である。
【００４９】
サンプリング比４：２：２のＣｂ及びＣｒを重み付けフィルタを用いてフィルタ処理した場合、フィルタ処理後の左上端の点は、Ｙの補間の端点２０４ａよりも水平方向右側の点２０５ａとなる。このため、中央補間フィルタの場合と同様に、Ｃｂ及びＣｒに係るフィルタ処理後の画角２０６ｂは、Ｙに係るフィルタ処理後の画角２０６ａに比べて小さくなる。具体的には、サンプリング比４：２：２の場合、水平方向のりしろは５画素（図１１（ａ）の例では左側２画素＋右側３画素、図１１（ｂ）の例では左側２.５画素＋右側２.５画素）となる。一方、垂直のりしろは２画素（上側１画素＋下側１画素）となる。
【００５０】
図１２はサンプリング比４：２：０のＹＣ信号を４×４の重み付けフィルタを用いてフィルタ処理するときの様子を示す図である。ここで、図１２（ａ）は図４（ａ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図であり、図１２（ｂ）は図４（ｂ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図である。
【００５１】
サンプリング比４：２：０のＣｂ及びＣｒを重み付けフィルタを用いてフィルタ処理した場合、フィルタ処理後の左上端の点は、Ｙの補間の端点２０４ａよりも水平方向右側かつ垂直方向下側の点２０５ａとなる。このため、中央補間フィルタの場合と同様に、Ｃｂ及びＣｒに係るフィルタ処理後の画角２０６ｂはサンプリング比４：２：２の場合に比べてさらに小さくなる。具体的には、サンプリング比４：２：０の場合、水平方向のりしろは５画素（図１２（ａ）の例では左側２画素＋右側３画素、図１２（ｂ）の例では左側２.５画素＋右側２.５画素）となる。一方、垂直のりしろも５画素（図１２（ａ）の例では上側２画素＋下側３画素、図１２（ｂ）の例では上側２.５画素＋下側２.５画素）となる。
【００５２】
なお、ここでは４×４の重み付けフィルタについて説明したが、上記の説明は任意の形状の重み付けフィルタについても同様である。一般に、ｍ×ｎの重み付けフィルタを用いた場合に生じるのりしろは、サンプリング比４：４：４の場合に水平のりしろｍ−２及び垂直のりしろｎ−２となり、サンプリング比４：２：２の場合に水平のりしろ（ｍ−２）×２＋１及び垂直のりしろｎ−２となり、サンプリング比４：２：０の場合に水平のりしろ（ｍ−２）×２＋１及び垂直のりしろ（ｎ−２）×２＋１となる。
【００５３】
以上説明したように、サンプリング比が異なるＹＣ信号（例えば、サンプリング比４：２：２や４：２：０）をフィルタ処理した場合には、サンプリング比が等しいＹＣ信号（例えば、サンプリング比４：４：４）をフィルタ処理した場合よりもフィルタ処理後の画角が小さくなる。
【００５４】
以上説明したことをまとめると、ＹＣ信号をメモリなどに格納する際には、データサイズを少なくするためにサンプリング比を異ならせるようにし、ＹＣ信号をフィルタ処理するときにはフィルタ処理後の画角を大きく保つことができるようにサンプリング比を等しくすればよい。
【００５５】
そこで、本一実施形態では、以下に説明するような手法によってフィルタ処理を行うようにしている。
【００５６】
図１３（ａ）は、本一実施形態に係る画像処理方法の処理の流れについて示すフローチャートである。この処理は、メモリ５に格納されたサンプリング比の異なる画像信号（例としてサンプリング比４：２：２）をフィルタ処理する際に行われるものである。例えば、メモリカード８に記録されているＪＰＥＧ画像信号をデコードして、ぼかし処理などの画像加工処理を行う場合などに図１３（ａ）の手法を適用できる。ここで、ぼかし処理とは、画像信号に複数回のローパスフィルタ処理を行って画像をぼかす処理のことである。
【００５７】
図１３（ａ）の処理が開始すると、まず第１の変換手段、フィルタ処理手段、及び第２の変換手段の機能を有する画像処理部６によって、メモリ５に格納された画像信号（サンプリング比４：２：２）が読み出される（ステップＳ１）。次に、画像処理部６内において画像信号のサンプリング周波数を一致させるようなサンプリング比の変換（アップサンプリング）が行われる（ステップＳ２）。ここで、アップサンプリングの手法としては、例えば２つのＹが共有しているＣｂ及びＣｒを２つのＹに配置し直す（Ｃｂ、Ｃｒをコピーする）ようにすれば良い。このようなアップサンプリングを行うことにより、画像信号のサンプリング比が４：４：４に変換され、フィルタ処理後の画角を大きく保つことができるようになる。
【００５８】
アップサンプリングが終了した後、任意のフィルタ処理が行われる（ステップＳ３）。フィルタ処理後の画像信号は、サンプリング比４：４：４の状態であり、このまま画像信号をメモリ５に格納してしまうとメモリ５の容量を圧迫してしまうおそれがある。したがって、フィルタ処理の後は画像信号のデータサイズを削減するように、画像信号のサンプリング比が変換（ダウンサンプリング）される（ステップＳ４）。これにより、画像信号のサンプリング比が４：２：２に変換される。このサンプリング比が変換された画像信号がメモリ５に格納され（ステップＳ５）、フィルタ処理が終了する。
【００５９】
ここで、本一実施形態においては、ステップＳ２のアップサンプリングからステップＳ４のダウンサンプリングまでの処理の間、画像信号がメモリ５に格納されることなく直結的に処理が行われる。
【００６０】
なお、図１３（ａ）のフィルタ処理は、図１３（ｂ）のような手法で行うようにしても良い。図１３（ｂ）の手法は、ＹＣ信号をＲＧＢ信号に変換してからフィルタ処理を行うものである。即ち、図１３（ｂ）においては、まず画像処理部６によって、メモリ５に格納された画像信号（サンプリング比４：２：２）が読み出される（ステップＳ１１）。次に、画像処理部６内においてアップサンプリングが行われる（ステップＳ１２）。これにより、サンプリング比が４：４：４に変換される。次に、サンプリング比が４：４：４に変換されたＹＣ信号がＲＧＢ信号に変換される（ステップＳ１３）。このときの画像信号のＲ、Ｇ、Ｂのサンプリング周波数の比は、Ｒ：Ｇ：Ｂ＝４：４：４である。
【００６１】
画像信号がＲＧＢ化された後、任意のフィルタ処理が行われる（ステップＳ１４）。その後、ＲＧＢ信号が再びＹＣ信号に変換される（ステップＳ１５）。そして、このＹＣ信号がダウンサンプリングされて画像信号のデータサイズが削減される（ステップＳ１６）。このサンプリング比が変換された画像信号がメモリ５に格納され（ステップＳ１７）、フィルタ処理が終了する。
【００６２】
図１３（ｂ）のように、ＲＧＢ信号に変換してからフィルタ処理を行うことにより、画像信号の各色成分毎にフィルタ処理を行うことができるようになる。
【００６３】
図１４は、メモリカード８に格納されたＪＰＥＧファイルを読み出して表示モニタ１０上に再生する際の処理の流れについて示すフローチャートである。
【００６４】
図１４において、ユーザなどから画像再生の指示が成された場合、メモリカード８に記録されたＪＰＥＧ画像信号が一旦メモリ５に格納される。メモリ５に格納されたＪＰＥＧ画像信号はＪＰＥＧエンコーダ/デコーダ７によって読み出され（ステップＳ２１）、デコードされる（ステップＳ２２）。これによってＪＰＥＧ画像信号がＹＣ信号（サンプリング比４：２：２）に変換される。
【００６５】
次に、画像再生のためにＹＣ信号に対してリサイズ処理（一般には縮小処理）が施される。このために、まず図１３（ａ）で説明した手法に従ってＹＣ信号のサンプリング比が４：４：４に変換（アップサンプリング）される（ステップＳ２３）。
【００６６】
次に、サンプリング比が変換されたＹＣ信号に対してローパスフィルタ処理が行われる（ステップＳ２４）。一般に、画像を縮小する場合、解像できる最高の周波数が落ちる。例えば、水平１０００画素の画像は水平方向に均等に並んだ縦縞を５００本まで解像することができるが、水平５００画素の画像ではその半分の２５０本しか解像できなくなる。このとき、解像できなくなった高周波成分は、本来は存在していなかった別の低周波成分として表れる。そこで、縮小後の画像が解像できる周波数を考慮してローパスフィルタ処理を行い、本来存在していなかった低周波成分が表れないようにしている。なお、このようなローパスフィルタ処理は、画像の拡大の際には必要がない。
【００６７】
画像信号に対してローパスフィルタ処理が行われた後、画像の縮小処理が行われる（ステップＳ２５）。これにより、画像の画角を表示モニタ１０が表示できるような適切な画角にすることができる。また、ローパスフィルタ処理や縮小処理の際には、ＹＣ信号のサンプリング比を４：４：４としているので、フィルタ処理によって必要以上に画角が小さくなることがない。
【００６８】
縮小処理が終了した後は、画像信号のデータサイズを削減するためにダウンサンプリングが行われ（ステップＳ２６）、これによってサンプリング比が４：２：２に変換された画像信号がメモリ５に格納される（ステップＳ２７）。その後、メモリ５に格納された画像信号がビデオエンコーダ９を介して表示モニタ１０上に画像として表示される（ステップＳ２８）。
【００６９】
ここで、図１４のフローチャートではＹＣ信号をフィルタ処理する例について説明したが、図１３（ｂ）の手法のように、一旦ＹＣ信号をＲＧＢ信号に変換してからフィルタ処理を行うようにしても良い。
【００７０】
また、図１３及び図１４の説明では、ダウンサンプリング後の画像信号のサンプリング比が４：２：２であるが、これを４：２：０としても良い。
【００７１】
以上説明したように、本一実施形態によれば、メモリ５に画像信号を格納するときと画像信号にフィルタ処理を施すときとで、画像信号の各画像成分のサンプリング周波数の比を変更するようにしているので、画像信号の格納時においてはメモリ５の容量を圧迫せず、またフィルタ処理後であっても画角を大きく保つことができる。
【００７２】
ここで、上記した一実施形態では、画像処理装置をデジタルカメラに適用した例について説明したが、本一実施形態の技術は、フィルタ処理を行うことができる一般的な画像処理装置に適用することができる。
【００７３】
以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００７４】
更に、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００７５】
【図１】本発明の一実施形態に係る画像処理装置を含むデジタルカメラの構成について示す図である。
【図２】サンプリング比４：４：４のＹＣ信号の各画像成分の配置図である。
【図３】サンプリング比４：２：２のＹＣ信号の各画像成分の配置図であって、図３（ａ）はＹの位置とＣｂ及びＣｒの位置とが一致している場合の配置図であり、図３（ｂ）はＹの位置の中心にＣｂ及びＣｒが位置する場合の配置図である。
【図４】サンプリング比４：２：０のＹＣ信号の各画像成分の配置図であって、図４（ａ）はＹの位置とＣｂ及びＣｒの位置とが一致している場合の配置図であり、図４（ｂ）はＹの位置の中心にＣｂ及びＣｒが位置する場合の配置図である。
【図５】サンプリング比４：４：４のＹＣ信号を４×４の中央補間フィルタを用いてフィルタ処理するときの様子について示す図である。
【図６】中央補間フィルタについて説明するための図である。
【図７】サンプリング比４：２：２のＹＣ信号を４×４の中央補間フィルタを用いてフィルタ処理するときの様子について示す図であって、図７（ａ）は図３（ａ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図であり、図７（ｂ）は図３（ｂ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図である。
【図８】サンプリング比４：２：０のＹＣ信号を４×４の中央補間フィルタを用いてフィルタ処理するときの様子について示す図であって、図８（ａ）は図４（ａ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図であり、図８（ｂ）は図４（ｂ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図である。
【図９】サンプリング比４：４：４のＹＣ信号を４×４の重み付けフィルタを用いてフィルタ処理するときの様子を示す図である。
【図１０】重み付けフィルタについて説明するための図であって、図１０（ａ）は４×４の重み付けフィルタについて示す図であり、図１０（ｂ）は５×５の重み付けフィルタについて示す図である。
【図１１】サンプリング比４：２：２のＹＣ信号を４×４の重み付けフィルタを用いてフィルタ処理するときの様子を示す図であって、図１１（ａ）は図３（ａ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図であり、図１１（ｂ）は図３（ｂ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図である。
【図１２】サンプリング比４：２：０のＹＣ信号を４×４の重み付けフィルタを用いてフィルタ処理するときの様子を示す図であって、図１２（ａ）は図４（ａ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図であり、図１２（ｂ）は図４（ｂ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図である。
【図１３】本発明の一実施形態に係る画像処理方法の処理の流れについて示すフローチャートであって、図１３（ａ）はフィルタ処理をＹＣ信号で行う場合の本発明の一実施形態に係る画像処理方法の処理の流れについて示すフローチャートであり、図１３（ｂ）はフィルタ処理をＲＧＢ信号で行う場合の本発明の一実施形態に係る画像処理方法の処理の流れについて示すフローチャートである。
【図１４】画像再生の処理の流れについて示すフローチャートである。
【符号の説明】
【００７６】
１…ＣＰＵ、２…レンズ、３…撮像素子、４…ＡＤ変換部（ＡＤＣ）、５…メモリ、６…画像処理部、７…ＪＰＥＧエンコーダ/デコーダ、８…メモリカード、９…ビデオエンコーダ、１０…表示モニタ
【技術分野】
【０００１】
本発明は、画像処理方法及び画像処理装置に関し、特に、画像のフィルタ処理を行う際の画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
特許文献１には、ＪＰＥＧ方式で記録されたＪＰＥＧ画像データを印刷処理する際に、デコードされて得られた輝度・色差信号の各画像成分（Ｙ、Ｃｂ、Ｃｒ）のサンプリング周波数の比を、データサイズの小さいＹ：Ｃｂ：Ｃｒ＝４：１：１に変換する手法が提案されている。このような手法を用いることにより、画像信号をメモリに格納する際のデータサイズを削減することができる。また、人間の目は輝度の変化に対しては敏感であるが、色差の変化に対しては比較的鈍感であるので、色差の情報量を落としても、印刷後の画像が人間の目に不自然さを感じさせることはない。
【特許文献１】特開２００４−１５８９４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで、ＪＰＥＧ方式で記録された画像は、液晶モニタなどの表示モニタ上に表示される場合もある。一般に、記録時の画像の画角と表示モニタで表示可能な画角とは異なっていることが多いので、ＪＰＥＧ画像を表示モニタ上で再生する際には、ＪＰＥＧ方式で記録された画像をデコードし、このデコードされた画像に対してリサイズ処理（通常は縮小処理）を行うことにより、画像の画角を表示モニタで表示可能な画角に変更してから表示を行うようにしている。このようなリサイズ処理は、画像信号に所定のフィルタをかけることで行われる。
【０００４】
ここで、リサイズ処理などに用いられるフィルタ処理では、画像の全範囲を補間することができずに、画像の端に補間ができない範囲（のりしろ）が発生する。一般に、のりしろは、輝度信号と色差信号のサンプリング周波数の比が異なっている場合に大きくなり、のりしろが大きくなるとフィルタ処理後の画像の画角は小さくなる。その一方で、輝度信号と色差信号のサンプリング周波数の比を等しくした場合には、データサイズが大きくなり、画像信号をメモリに格納する際にメモリの容量を圧迫するおそれがある。
【０００５】
上記特許文献１の手法では、データサイズを削減することについては考慮されているが、フィルタ処理後の画像の画角に関しては考慮されていない。
【０００６】
本発明は、上記の事情に鑑みてなされたもので、メモリの容量を圧迫せずに画像信号を格納できるとともに、フィルタ処理後の画像の画角を大きく保つことができる画像処理方法及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明の第１の態様による画像処理方法は、複数の画像成分を含み、これら画像成分のサンプリング周波数の比であるサンプリング比が一致していない画像信号をメモリから読み出し、上記メモリから読み出された画像信号のサンプリング比を一致させるように上記画像信号のサンプリング比を変換し、上記サンプリング比が変換された画像信号をフィルタ処理し、上記フィルタ処理された画像信号のデータサイズを削減するように上記フィルタ処理された画像信号のサンプリング比を変換することを特徴とする。
【０００８】
また、本発明の第２の態様による画像処理装置は、デジタル化された画像信号をフィルタ処理する画像処理装置において、複数の画像成分を含み、サンプリング比が画像成分毎に一致していない複数の画像成分を含む画像信号が記憶される記憶手段と、上記記憶手段に記憶された画像信号を読み出して、上記サンプリング比を画像成分毎に一致させるように上記画像信号のサンプリング比を変換する第１の変換手段と、上記第１の変換手段によりサンプリング比を画像成分毎に一致させた画像信号をフィルタ処理するフィルタ処理手段と、上記フィルタ処理手段によってフィルタ処理された画像信号のデータサイズを削減するように上記フィルタ処理された画像信号のサンプリング比を変換する第２の変換手段とを具備することを特徴とする。
【０００９】
これら第１及び第２の態様によれば、フィルタ処理に先立って、サンプリング比が一致するように画像信号のサンプリング比が変換され、フィルタ処理後にはデータサイズが削減されるように画像信号のサンプリング数が変換される。
【発明の効果】
【００１０】
本発明によれば、メモリの容量を圧迫せずに画像信号を格納できるとともに、フィルタ処理後の画像の画角を大きく保つことができる画像処理方法及び画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る画像処理装置を含むデジタルカメラの構成について示す図である。図１に示すデジタルカメラは、ＣＰＵ１と、レンズ２と、撮像素子３と、ＡＤ変換部（図ではＡＤＣと示している）４と、メモリ５と、画像処理部６と、ＪＰＥＧエンコーダ/デコーダ７と、メモリカード８と、ビデオエンコーダ９と、表示モニタ１０とから構成されている。
【００１２】
ＣＰＵ１では、図１に示すデジタルカメラの各部の制御が行われる。例えば、ＣＰＵ１では、撮像素子３の動作制御や撮像素子３で得られた画像信号の読み出し制御、ＡＤＣ４や、画像処理部６、ＪＰＥＧエンコーダ/デコーダ７、ビデオエンコーダ９の動作制御などが行われる。
【００１３】
図１において、レンズ２を介して入射した被写体からの光束は、ＣＣＤなどで構成された撮像素子３に結像され、撮像素子３においてアナログの画像信号に変換される。撮像素子３において得られた画像信号は、ＣＰＵ１の制御の下、所定のタイミングで読み出されてＡＤＣ４に入力される。ＡＤＣ４では、アナログの画像信号がデジタルの画像信号に変換される。ＡＤＣ４で変換されたデジタルの画像信号は、バスを介して記憶手段としてのメモリ５に格納される。ここで、メモリ５は、例えばＤＲＡＭなどから構成されている。
【００１４】
画像の記録時においては、メモリ５に格納された画像信号が、画像処理部６によって読み出される。画像処理部６では、まず画像信号の白バランス調整が行われる。その後、ＲＧＢの画像信号が輝度・色差信号（以下、ＹＣ信号と称する）に変換される。ＹＣ信号に変換された後、Ｙ信号に対しては階調補正処理が行われ、Ｃ信号（Ｃｂ、Ｃｒ）に対しては色補正処理が行われる。なお、色補正処理や階調補正処理などの処理は、ＲＧＢ信号の状態で行うようにしても良い。
【００１５】
その後、画像信号のデータサイズを削減するために、ＹＣ信号の各画像成分のサンプリング周波数の比（以下、サンプリング比と称する）が変換（ダウンサンプリング）される。このときのサンプリング比は、例えばＹ：Ｃｂ：Ｃｒ＝４：２：２である。動画像のときには、サンプリング比Ｙ：Ｃｂ：Ｃｒ＝４：２：０が用いられる。
【００１６】
一般に、人間の目は輝度の変化に対しては敏感であるが、色差の変化に対しては比較的鈍感である。このため、色差情報を減らしてサンプリングを行っても、画像再生の際などにおいて人間の目にそれほど不自然さを感じさせることがない。
【００１７】
画像処理部６において処理された画像信号は、ＪＰＥＧエンコーダ/デコーダ７に入力されてＤＣＴ変換などの手法によりＪＰＥＧエンコードされる。
【００１８】
ＪＰＥＧエンコーダ/デコーダ７においてエンコードされた画像信号は、一旦メモリ５に格納された後、所定のヘッダ情報が付加されたＪＰＥＧファイルとしてメモリカード８に記録される。
【００１９】
ここで、本一実施形態においては、画像処理部６に画像信号が入力されてから、ＪＰＥＧエンコーダ/デコーダ７で画像信号がＪＰＥＧエンコードされるまでの間、画像信号がメモリ５に格納されることなく処理が行われる。
【００２０】
また、撮像素子３において得られた画像をスルー画表示する際には、画像処理部６において得られたＹＣ信号が、表示モニタ１０の仕様などに応じた所定のサイズにリサイズ（通常は縮小）される。更に、ＹＣ信号の各画像成分のサンプリング比が変換（ダウンサンプリング）された後、メモリ５に格納される。このメモリ５に格納された画像信号は、フレーム単位でビデオエンコーダ９によって読み出され、ビデオエンコーダ９を介して例えば液晶モニタなどで構成された表示モニタ１０上に画像として表示される。
【００２１】
更に、メモリカード８に記録されたＪＰＥＧ画像信号を再生する際には、メモリカード８に記録されたＪＰＥＧ画像信号がＪＰＥＧエンコーダ/デコーダ７によって読み出されて逆ＤＣＴ変換などの手法によりデコードされる。その後、デコードによって得られたＹＣ信号が、画像処理部６において表示用の所定のサイズに縮小された後、メモリ５に一旦格納される。メモリ５に格納されたＹＣ信号は、ビデオエンコーダ９を介して表示モニタ１０上に画像として表示される。このＪＰＥＧ画像信号を再生する際の処理については後で詳しく説明する。
【００２２】
次に、図１の画像処理装置を用いた本一実施形態に係る画像処理方法について説明する。
図２は、サンプリング比が一致しているときのＹＣ信号の各画像成分の配置図である。なお、図２の例は、サンプリング比がＹ：Ｃｂ：Ｃｒ＝４：４：４の場合を示している。また、図２においては、Ｙの位置を白丸１０１で示している。一方、Ｃ（Ｃｂ、Ｃｒ）の位置を黒丸１０２で示している。
【００２３】
サンプリング比が４：４：４の場合には、サンプリング後のＹの情報量とＣｂ、Ｃｒの情報量とがそれぞれ等しくなっている。このような場合には、図２に示すように、Ｙのサンプリング位置とＣｂ及びＣｒのサンプリング位置とを全て一致させることができる。ここで、サンプリング比４：４：４の場合のデータサイズは、（Ｙのデータサイズ）＋（Ｃｂのデータサイズ）＋（Ｃｒのデータサイズ）となる。
【００２４】
図３（ａ）及び図３（ｂ）は、サンプリング比が一致していないときのＹＣ信号の各画像成分の配置図である。なお、図３（ａ）及び図３（ｂ）の例は、サンプリング比がＹ：Ｃｂ：Ｃｒ＝４：２：２の場合を示している。
【００２５】
サンプリング比が４：２：２の場合には、水平方向についてのＣｂ及びＣｒの情報量がそれぞれＹの情報量の１/２になる。即ち、サンプリング比が４：２：２の場合には水平２画素で１つの色差情報を共有させるようにして情報量を削減している。ここで、色差情報は単純間引きによって得るようにしても良いし、水平２画素毎の平均値から得るようにしても良い。
【００２６】
また、サンプリング比が４：２：２の場合のＣｂ及びＣｒのサンプリング位置は、図３（ａ）のようにＹのサンプリング位置に一致する場合（２つのＹの何れか一方と一致）と、図３（ｂ）のように２つのＹの中心に位置する場合とがある。ここで、サンプリング比４：２：２の場合の全体のデータサイズは、図３（ａ）及び図３（ｂ）の何れの場合であっても、（Ｙのデータサイズ）＋（１/２×Ｃｂのデータサイズ）＋（１/２×Ｃｒのデータサイズ）となる。即ち、サンプリング比４：２：２の場合のデータサイズは、サンプリング比４：４：４の場合の２/３になる。
【００２７】
また、図４（ａ）及び図４（ｂ）は、サンプリング比がＹ：Ｃｂ：Ｃｒ＝４：２：０の場合のＹＣ信号の各画像成分の配置図である。
【００２８】
サンプリング比が４：２：０の場合には、水平方向だけでなく垂直方向のＣｂ及びＣｒの情報量もＹの情報量の１/２になる。即ち、サンプリング比が４：２：０の場合には水平２画素×垂直２画素の４画素で１つの色差情報を共有させるようにして情報量を削減している。
【００２９】
また、サンプリング比が４：２：０の場合のＣｂ及びＣｒのサンプリング位置は、図４（ａ）のようにＹのサンプリング位置に一致する場合（４つのＹの何れか１つと一致）と、図４（ｂ）のように４つのＹの中心に位置する場合とがある。ここで、サンプリング比４：２：０の場合の全体のデータサイズは、図４（ａ）及び図４（ｂ）の何れの場合であっても、（Ｙのデータサイズ）＋（１/４×Ｃｂのデータサイズ）＋（１/４×Ｃｒのデータサイズ）となる。即ち、サンプリング比４：２：０の場合のデータサイズは、サンプリング比４：４：４の場合の１/２になる。
【００３０】
以上説明したように、Ｙのサンプリング周波数とＣｂ及びＣｒのサンプリング周波数とを異ならせるように、具体的にはＣｂ及びＣｒの情報量を減らすようにサンプリングを行うことにより、データサイズを削減することが可能である。
【００３１】
次に、図２〜図４で示したＹＣ信号のフィルタ処理について説明する。
【００３２】
図５は、図２に示すサンプリング比４：４：４のＹＣ信号を４×４の中央補間フィルタを用いてフィルタ処理するときの様子について示す図である。なお、図５の例は、画像内の左上端に対してフィルタ処理を行うときの様子を示している。
【００３３】
図６は、中央補間フィルタについて説明するための図である。中央補間フィルタは、フィルタ１０３内の複数の点１０１（４×４のフィルタの場合には１６点）のデータを用いて、フィルタの中央の点１０４のデータを補間演算するフィルタであり、例えば画像信号中の高周波成分を除去するローパスフィルタ処理（ＬＰＦ処理）や、画像信号中の特定周波数成分を抽出するバンドパスフィルタ処理（ＢＰＦ処理）などに用いられる。
【００３４】
サンプリング比４：４：４の場合には、上述したようにＹのサンプリング位置とＣｂ、Ｃｒのサンプリング位置とを全て一致させることができるので、Ｙを処理するためのフィルタの形状とＣｂ、Ｃｒを処理するためのフィルタの形状とを一致させることができる。このようなフィルタ１０３を用いて画像の左上端に対してフィルタ処理を行った場合、Ｙの場合には図５に示す点１０４のデータが左上端の点として補間される。Ｃｂ及びＣｒの場合もＹと同様に、図５に示す点１０５のデータが左上端の点として補間される。
【００３５】
ここで、中央補間フィルタを用いた場合には、フィルタ内の中央の位置の点しか補間することができないので、画像内全体に対してフィルタ処理を行っても参照符号１０６で示した範囲内しか補間されない。このため、フィルタ処理後の画像の画角は、フィルタ処理によって補間されない範囲（のりしろ）の分だけフィルタ処理前の画像の画角よりも小さくなる。具体的には、サンプリング比４：４：４の場合、水平方向のりしろ３画素分（図５の例では左側１.５画素＋右側１.５画素）及び垂直方向のりしろ３画素分（上側１.５画素＋下側１.５画素）だけフィルタ処理前の画角よりも小さくなる。
【００３６】
また、図７は、図３で示すサンプリング比４：２：２のＹＣ信号を４×４の中央補間フィルタを用いてフィルタ処理するときの様子について示す図である。ここで、図７（ａ）は図３（ａ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図であり、図７（ｂ）は図３（ｂ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図である。
【００３７】
なお、Ｙのフィルタ処理については図５で説明したサンプリング比４：４：４の場合と同様であるので、ここではＣｂ、Ｃｒのフィルタ処理についてのみ説明する。
【００３８】
サンプリング比４：２：２の場合には、Ｃｂ、Ｃｒの水平方向の情報量がＹの情報量に比して１/２に削減されている。したがって、サンプリング比４：２：２の場合には、フィルタ処理に必要な１６点を確保するために、フィルタ１０３の水平方向幅をサンプリング比４：４：４の場合の２倍の幅とする必要がある。このようなフィルタ１０３を用いて画像の左上端に対してフィルタ処理を行った場合には、図７（ａ）や図７（ｂ）に示す点１０５のデータが補間される。即ち、サンプリング比４：２：２の左上端のＣｂ及びＣｒをフィルタ処理した場合には、それによって得られる補間後の左上端点１０５の位置は、Ｙをフィルタ処理した場合の補間後の左上端点１０４の位置よりも水平方向右側になる。逆に右上端のＣｂ及びＣｒをフィルタ処理した場合には、それによって得られる補間後の右上端点の位置は、Ｙをフィルタ処理した場合の補間の右上端点の位置よりも水平方向左側になる。
【００３９】
このように、サンプリング比４：２：２のＣｂ及びＣｒをフィルタ処理する場合には、サンプリング比４：４：４の場合に比してフィルタの水平方向幅が大きくなっているので、Ｃｂ及びＣｒに係るフィルタ処理後の画角（即ちフィルタ処理で補間可能な範囲）１０６ｂが、Ｙに係るフィルタ処理後の画角１０６ａよりも小さくなる。具体的には、サンプリング比４：２：２の場合には、水平方向のりしろ４画素分（図７（ａ）の例では左側１.５画素＋右側２.５画素、図７（ｂ）の例では左側２画素＋右側２画素）だけＹの画角１０６ａよりも小さくなる。ここで、フィルタ処理後の画角は、Ｙの画角とＣｂ及びＣｒの画角とで揃っている必要があるので、最終的な画角は小さいほうの画角、即ちＣｂ及びＣｒの画角に制限される。したがって、フィルタ処理後の画角は、フィルタ処理前の画角よりも水平７画素、垂直３画素だけ小さくなる。
【００４０】
更に、図８は、図４で示すサンプリング比４：２：０のＹＣ信号を４×４の中央補間フィルタを用いてフィルタ処理するときの例について示す図である。ここで、図８（ａ）は図４（ａ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図であり、図８（ｂ）は図４（ｂ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図である。
【００４１】
なお、Ｙのフィルタ処理については図５で説明したサンプリング比４：４：４の場合と同様であるので、ここではＣｂ、Ｃｒのフィルタ処理についてのみ説明する。
【００４２】
サンプリング比４：２：０の場合には、上述したように、Ｃｂ、Ｃｒの水平及び垂直方向の情報量がそれぞれＹの情報量に比して１/２に削減されている。したがって、サンプリング比４：２：０の場合には、フィルタ１０３の水平方向幅だけでなく垂直方向の幅もサンプリング比４：４：４の場合の２倍の幅となる。このようなフィルタ１０３を用いて画像の左上端に対してフィルタ処理を行った場合には、図８（ａ）や図８（ｂ）に示す点１０５のデータが補間される。即ち、サンプリング比４：２：０の左上端のＣｂ及びＣｒをフィルタ処理した場合には、それによって得られる補間後の左上端点１０５の位置は、Ｙをフィルタ処理した場合の補間の左上端点１０４の位置よりも水平方向右側かつ垂直方向下側になる。
【００４３】
即ち、サンプリング比４：２：０の場合、Ｃｂ及びＣｒをフィルタ処理した後の画角１０６ｂは、サンプリング比４：２：２の場合よりも更に小さくなる。具体的には、サンプリング比４：２：０の場合には、水平方向のりしろ７画素分（図８（ａ）の例では左側３画素＋右側４画素、図８（ｂ）の例では左側３.５画素＋右側３.５画素）及び垂直方向のりしろ７画素分（図８（ａ）の例では上側３画素＋下側４画素、図８（ｂ）の例では上側３.５画素＋下側３.５画素）だけフィルタ処理前の画角よりも小さくなる。
【００４４】
なお、ここでは４×４の中央補間フィルタについて説明したが、上記の説明は任意の形状の中央補間フィルタについても同様である。一般に、ｍ×ｎの中央補間フィルタを用いた場合に生じるのりしろは、サンプリング比４：４：４の場合に水平のりしろｍ−１及び垂直のりしろｎ−１となり、サンプリング比４：２：２の場合に水平のりしろ（ｍ−１）×２＋１及び垂直のりしろｎ−１となり、サンプリング比４：２：０の場合に水平のりしろ（ｍ−１）×２＋１及び垂直のりしろ（ｎ−１）×２＋１となる。
【００４５】
図９は、図２のサンプリング比４：４：４のＹＣ信号を４×４の重み付けフィルタを用いてフィルタ処理するときの様子を示す図である。また、図１０は、重み付けフィルタについて説明するための図である。ここで、図１０（ａ）は４×４の重み付けフィルタについて示す図であり、図１０（ｂ）は５×５の重み付けフィルタについて示す図である。
【００４６】
重み付けフィルタは、フィルタ内の複数点１０１（図１０（ａ）に示す４×４のフィルタの場合には１６点、図１０（ｂ）に示す５×５のフィルタの場合には２５点）を用いて、フィルタ２０３内の中心位置周辺１画素×１画素の範囲２０４のデータを補間演算するフィルタであり、例えば画像信号の拡大縮小処理（リサイズ処理）を行うためのフィルタ処理（例えばキュービック処理）などに用いられる。
【００４７】
サンプリング比４：４：４の場合には、上述したようにＹのサンプリング位置とＣｂ及びＣｒのサンプリング位置とを全て一致させることができるので、Ｙを処理するためのフィルタの形状とＣｂ、Ｃｒを処理するためのフィルタの形状とを一致させることができる。このようなフィルタ２０３を用いて画像の左上端に対してフィルタ処理を行った場合、Ｙの場合には図９に示す点２０４ａのデータが左上端の点として補間される。Ｃｂ及びＣｒの場合もＹと同様に、図９に示す点２０５ａのデータが左上端の点として補間される。図９に示すように、重み付けフィルタの場合には、フィルタ内の中心位置周辺の範囲を補間できるので、フィルタ処理後の画角２０６は、中央補間フィルタによるフィルタ処理後の画角１０６よりも大きくなる。しかしながら、のりしろがなくなるわけではないので、フィルタ処理前の画角よりはフィルタ処理後の画角は小さくなる。具体的には、サンプリング比４：４：４の場合、水平方向のりしろは２画素（左側１画素＋右側１画素）となり、垂直のりしろも２画素（上側１画素＋下側１画素）となる。
【００４８】
図１１はサンプリング比４：２：２のＹＣ信号を４×４の重み付けフィルタを用いてフィルタ処理するときの様子を示す図である。ここで、図１１（ａ）は図３（ａ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図であり、図１１（ｂ）は図３（ｂ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図である。
【００４９】
サンプリング比４：２：２のＣｂ及びＣｒを重み付けフィルタを用いてフィルタ処理した場合、フィルタ処理後の左上端の点は、Ｙの補間の端点２０４ａよりも水平方向右側の点２０５ａとなる。このため、中央補間フィルタの場合と同様に、Ｃｂ及びＣｒに係るフィルタ処理後の画角２０６ｂは、Ｙに係るフィルタ処理後の画角２０６ａに比べて小さくなる。具体的には、サンプリング比４：２：２の場合、水平方向のりしろは５画素（図１１（ａ）の例では左側２画素＋右側３画素、図１１（ｂ）の例では左側２.５画素＋右側２.５画素）となる。一方、垂直のりしろは２画素（上側１画素＋下側１画素）となる。
【００５０】
図１２はサンプリング比４：２：０のＹＣ信号を４×４の重み付けフィルタを用いてフィルタ処理するときの様子を示す図である。ここで、図１２（ａ）は図４（ａ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図であり、図１２（ｂ）は図４（ｂ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図である。
【００５１】
サンプリング比４：２：０のＣｂ及びＣｒを重み付けフィルタを用いてフィルタ処理した場合、フィルタ処理後の左上端の点は、Ｙの補間の端点２０４ａよりも水平方向右側かつ垂直方向下側の点２０５ａとなる。このため、中央補間フィルタの場合と同様に、Ｃｂ及びＣｒに係るフィルタ処理後の画角２０６ｂはサンプリング比４：２：２の場合に比べてさらに小さくなる。具体的には、サンプリング比４：２：０の場合、水平方向のりしろは５画素（図１２（ａ）の例では左側２画素＋右側３画素、図１２（ｂ）の例では左側２.５画素＋右側２.５画素）となる。一方、垂直のりしろも５画素（図１２（ａ）の例では上側２画素＋下側３画素、図１２（ｂ）の例では上側２.５画素＋下側２.５画素）となる。
【００５２】
なお、ここでは４×４の重み付けフィルタについて説明したが、上記の説明は任意の形状の重み付けフィルタについても同様である。一般に、ｍ×ｎの重み付けフィルタを用いた場合に生じるのりしろは、サンプリング比４：４：４の場合に水平のりしろｍ−２及び垂直のりしろｎ−２となり、サンプリング比４：２：２の場合に水平のりしろ（ｍ−２）×２＋１及び垂直のりしろｎ−２となり、サンプリング比４：２：０の場合に水平のりしろ（ｍ−２）×２＋１及び垂直のりしろ（ｎ−２）×２＋１となる。
【００５３】
以上説明したように、サンプリング比が異なるＹＣ信号（例えば、サンプリング比４：２：２や４：２：０）をフィルタ処理した場合には、サンプリング比が等しいＹＣ信号（例えば、サンプリング比４：４：４）をフィルタ処理した場合よりもフィルタ処理後の画角が小さくなる。
【００５４】
以上説明したことをまとめると、ＹＣ信号をメモリなどに格納する際には、データサイズを少なくするためにサンプリング比を異ならせるようにし、ＹＣ信号をフィルタ処理するときにはフィルタ処理後の画角を大きく保つことができるようにサンプリング比を等しくすればよい。
【００５５】
そこで、本一実施形態では、以下に説明するような手法によってフィルタ処理を行うようにしている。
【００５６】
図１３（ａ）は、本一実施形態に係る画像処理方法の処理の流れについて示すフローチャートである。この処理は、メモリ５に格納されたサンプリング比の異なる画像信号（例としてサンプリング比４：２：２）をフィルタ処理する際に行われるものである。例えば、メモリカード８に記録されているＪＰＥＧ画像信号をデコードして、ぼかし処理などの画像加工処理を行う場合などに図１３（ａ）の手法を適用できる。ここで、ぼかし処理とは、画像信号に複数回のローパスフィルタ処理を行って画像をぼかす処理のことである。
【００５７】
図１３（ａ）の処理が開始すると、まず第１の変換手段、フィルタ処理手段、及び第２の変換手段の機能を有する画像処理部６によって、メモリ５に格納された画像信号（サンプリング比４：２：２）が読み出される（ステップＳ１）。次に、画像処理部６内において画像信号のサンプリング周波数を一致させるようなサンプリング比の変換（アップサンプリング）が行われる（ステップＳ２）。ここで、アップサンプリングの手法としては、例えば２つのＹが共有しているＣｂ及びＣｒを２つのＹに配置し直す（Ｃｂ、Ｃｒをコピーする）ようにすれば良い。このようなアップサンプリングを行うことにより、画像信号のサンプリング比が４：４：４に変換され、フィルタ処理後の画角を大きく保つことができるようになる。
【００５８】
アップサンプリングが終了した後、任意のフィルタ処理が行われる（ステップＳ３）。フィルタ処理後の画像信号は、サンプリング比４：４：４の状態であり、このまま画像信号をメモリ５に格納してしまうとメモリ５の容量を圧迫してしまうおそれがある。したがって、フィルタ処理の後は画像信号のデータサイズを削減するように、画像信号のサンプリング比が変換（ダウンサンプリング）される（ステップＳ４）。これにより、画像信号のサンプリング比が４：２：２に変換される。このサンプリング比が変換された画像信号がメモリ５に格納され（ステップＳ５）、フィルタ処理が終了する。
【００５９】
ここで、本一実施形態においては、ステップＳ２のアップサンプリングからステップＳ４のダウンサンプリングまでの処理の間、画像信号がメモリ５に格納されることなく直結的に処理が行われる。
【００６０】
なお、図１３（ａ）のフィルタ処理は、図１３（ｂ）のような手法で行うようにしても良い。図１３（ｂ）の手法は、ＹＣ信号をＲＧＢ信号に変換してからフィルタ処理を行うものである。即ち、図１３（ｂ）においては、まず画像処理部６によって、メモリ５に格納された画像信号（サンプリング比４：２：２）が読み出される（ステップＳ１１）。次に、画像処理部６内においてアップサンプリングが行われる（ステップＳ１２）。これにより、サンプリング比が４：４：４に変換される。次に、サンプリング比が４：４：４に変換されたＹＣ信号がＲＧＢ信号に変換される（ステップＳ１３）。このときの画像信号のＲ、Ｇ、Ｂのサンプリング周波数の比は、Ｒ：Ｇ：Ｂ＝４：４：４である。
【００６１】
画像信号がＲＧＢ化された後、任意のフィルタ処理が行われる（ステップＳ１４）。その後、ＲＧＢ信号が再びＹＣ信号に変換される（ステップＳ１５）。そして、このＹＣ信号がダウンサンプリングされて画像信号のデータサイズが削減される（ステップＳ１６）。このサンプリング比が変換された画像信号がメモリ５に格納され（ステップＳ１７）、フィルタ処理が終了する。
【００６２】
図１３（ｂ）のように、ＲＧＢ信号に変換してからフィルタ処理を行うことにより、画像信号の各色成分毎にフィルタ処理を行うことができるようになる。
【００６３】
図１４は、メモリカード８に格納されたＪＰＥＧファイルを読み出して表示モニタ１０上に再生する際の処理の流れについて示すフローチャートである。
【００６４】
図１４において、ユーザなどから画像再生の指示が成された場合、メモリカード８に記録されたＪＰＥＧ画像信号が一旦メモリ５に格納される。メモリ５に格納されたＪＰＥＧ画像信号はＪＰＥＧエンコーダ/デコーダ７によって読み出され（ステップＳ２１）、デコードされる（ステップＳ２２）。これによってＪＰＥＧ画像信号がＹＣ信号（サンプリング比４：２：２）に変換される。
【００６５】
次に、画像再生のためにＹＣ信号に対してリサイズ処理（一般には縮小処理）が施される。このために、まず図１３（ａ）で説明した手法に従ってＹＣ信号のサンプリング比が４：４：４に変換（アップサンプリング）される（ステップＳ２３）。
【００６６】
次に、サンプリング比が変換されたＹＣ信号に対してローパスフィルタ処理が行われる（ステップＳ２４）。一般に、画像を縮小する場合、解像できる最高の周波数が落ちる。例えば、水平１０００画素の画像は水平方向に均等に並んだ縦縞を５００本まで解像することができるが、水平５００画素の画像ではその半分の２５０本しか解像できなくなる。このとき、解像できなくなった高周波成分は、本来は存在していなかった別の低周波成分として表れる。そこで、縮小後の画像が解像できる周波数を考慮してローパスフィルタ処理を行い、本来存在していなかった低周波成分が表れないようにしている。なお、このようなローパスフィルタ処理は、画像の拡大の際には必要がない。
【００６７】
画像信号に対してローパスフィルタ処理が行われた後、画像の縮小処理が行われる（ステップＳ２５）。これにより、画像の画角を表示モニタ１０が表示できるような適切な画角にすることができる。また、ローパスフィルタ処理や縮小処理の際には、ＹＣ信号のサンプリング比を４：４：４としているので、フィルタ処理によって必要以上に画角が小さくなることがない。
【００６８】
縮小処理が終了した後は、画像信号のデータサイズを削減するためにダウンサンプリングが行われ（ステップＳ２６）、これによってサンプリング比が４：２：２に変換された画像信号がメモリ５に格納される（ステップＳ２７）。その後、メモリ５に格納された画像信号がビデオエンコーダ９を介して表示モニタ１０上に画像として表示される（ステップＳ２８）。
【００６９】
ここで、図１４のフローチャートではＹＣ信号をフィルタ処理する例について説明したが、図１３（ｂ）の手法のように、一旦ＹＣ信号をＲＧＢ信号に変換してからフィルタ処理を行うようにしても良い。
【００７０】
また、図１３及び図１４の説明では、ダウンサンプリング後の画像信号のサンプリング比が４：２：２であるが、これを４：２：０としても良い。
【００７１】
以上説明したように、本一実施形態によれば、メモリ５に画像信号を格納するときと画像信号にフィルタ処理を施すときとで、画像信号の各画像成分のサンプリング周波数の比を変更するようにしているので、画像信号の格納時においてはメモリ５の容量を圧迫せず、またフィルタ処理後であっても画角を大きく保つことができる。
【００７２】
ここで、上記した一実施形態では、画像処理装置をデジタルカメラに適用した例について説明したが、本一実施形態の技術は、フィルタ処理を行うことができる一般的な画像処理装置に適用することができる。
【００７３】
以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００７４】
更に、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００７５】
【図１】本発明の一実施形態に係る画像処理装置を含むデジタルカメラの構成について示す図である。
【図２】サンプリング比４：４：４のＹＣ信号の各画像成分の配置図である。
【図３】サンプリング比４：２：２のＹＣ信号の各画像成分の配置図であって、図３（ａ）はＹの位置とＣｂ及びＣｒの位置とが一致している場合の配置図であり、図３（ｂ）はＹの位置の中心にＣｂ及びＣｒが位置する場合の配置図である。
【図４】サンプリング比４：２：０のＹＣ信号の各画像成分の配置図であって、図４（ａ）はＹの位置とＣｂ及びＣｒの位置とが一致している場合の配置図であり、図４（ｂ）はＹの位置の中心にＣｂ及びＣｒが位置する場合の配置図である。
【図５】サンプリング比４：４：４のＹＣ信号を４×４の中央補間フィルタを用いてフィルタ処理するときの様子について示す図である。
【図６】中央補間フィルタについて説明するための図である。
【図７】サンプリング比４：２：２のＹＣ信号を４×４の中央補間フィルタを用いてフィルタ処理するときの様子について示す図であって、図７（ａ）は図３（ａ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図であり、図７（ｂ）は図３（ｂ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図である。
【図８】サンプリング比４：２：０のＹＣ信号を４×４の中央補間フィルタを用いてフィルタ処理するときの様子について示す図であって、図８（ａ）は図４（ａ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図であり、図８（ｂ）は図４（ｂ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図である。
【図９】サンプリング比４：４：４のＹＣ信号を４×４の重み付けフィルタを用いてフィルタ処理するときの様子を示す図である。
【図１０】重み付けフィルタについて説明するための図であって、図１０（ａ）は４×４の重み付けフィルタについて示す図であり、図１０（ｂ）は５×５の重み付けフィルタについて示す図である。
【図１１】サンプリング比４：２：２のＹＣ信号を４×４の重み付けフィルタを用いてフィルタ処理するときの様子を示す図であって、図１１（ａ）は図３（ａ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図であり、図１１（ｂ）は図３（ｂ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図である。
【図１２】サンプリング比４：２：０のＹＣ信号を４×４の重み付けフィルタを用いてフィルタ処理するときの様子を示す図であって、図１２（ａ）は図４（ａ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図であり、図１２（ｂ）は図４（ｂ）の配置のＹＣ信号をフィルタ処理するときの様子について示す図である。
【図１３】本発明の一実施形態に係る画像処理方法の処理の流れについて示すフローチャートであって、図１３（ａ）はフィルタ処理をＹＣ信号で行う場合の本発明の一実施形態に係る画像処理方法の処理の流れについて示すフローチャートであり、図１３（ｂ）はフィルタ処理をＲＧＢ信号で行う場合の本発明の一実施形態に係る画像処理方法の処理の流れについて示すフローチャートである。
【図１４】画像再生の処理の流れについて示すフローチャートである。
【符号の説明】
【００７６】
１…ＣＰＵ、２…レンズ、３…撮像素子、４…ＡＤ変換部（ＡＤＣ）、５…メモリ、６…画像処理部、７…ＪＰＥＧエンコーダ/デコーダ、８…メモリカード、９…ビデオエンコーダ、１０…表示モニタ
【特許請求の範囲】
【請求項１】
複数の画像成分を含み、これら画像成分のサンプリング周波数の比であるサンプリング比が一致していない画像信号をメモリから読み出し、
上記メモリから読み出された画像信号のサンプリング比を一致させるように上記画像信号のサンプリング比を変換し、
上記サンプリング比が変換された画像信号をフィルタ処理し、
上記フィルタ処理された画像信号のデータサイズを削減するように上記フィルタ処理された画像信号のサンプリング比を変換する、
ことを特徴とする画像処理方法。
【請求項２】
上記メモリから読み出された画像信号のサンプリング比の変換は上記メモリから読み出された画像信号をアップサンプリングすることにより行い、上記フィルタ処理された画像信号のサンプリング比の変換は上記フィルタ処理された画像信号をダウンサンプリングすることにより行うことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
上記サンプリング比が画像成分毎に一致していない画像信号は、画像成分の比がＹ：Ｃｂ：Ｃｒ＝４：２：２又は４：２：０の輝度・色差信号であることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
上記サンプリング比を画像成分毎に一致させることによって得られる画像信号は、画像成分の比がＹ：Ｃｂ：Ｃｒ＝４：４：４の輝度・色差信号又は画像成分の比がＲ：Ｇ：Ｂ＝４：４：４のＲＧＢ信号であることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項５】
上記フィルタ処理された画像信号のサンプリング比を変換することによって得られる画像信号は、画像成分の比がＹ：Ｃｂ：Ｃｒ＝４：２：２又は４：２：０の輝度・色差信号であることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項６】
上記フィルタ処理は、ローパスフィルタ処理、バンドパスフィルタ処理、及び拡大縮小処理の少なくとも何れか１つを含むことを特徴とする請求項１又は２に記載の画像処理方法。
【請求項７】
上記メモリから画像信号を読み出してサンプリング比を一致させるように上記サンプリング比を変換する処理、上記サンプリング比が変換された画像信号をフィルタ処理する処理、及び上記フィルタ処理された画像信号のデータサイズを削減するように上記サンプリング比を変換する処理は、上記画像信号を上記メモリに書き込むことなく行われることを特徴とする請求項１に記載の画像処理方法。
【請求項８】
デジタル化された画像信号をフィルタ処理する画像処理装置において、
複数の画像成分を含み、サンプリング比が画像成分毎に一致していない複数の画像成分を含む画像信号が記憶される記憶手段と、
上記記憶手段に記憶された画像信号を読み出して、上記サンプリング比を画像成分毎に一致させるように上記画像信号のサンプリング比を変換する第１の変換手段と、
上記第１の変換手段によりサンプリング比を画像成分毎に一致させた画像信号をフィルタ処理するフィルタ処理手段と、
上記フィルタ処理手段によってフィルタ処理された画像信号のデータサイズを削減するように上記フィルタ処理された画像信号のサンプリング比を変換する第２の変換手段と、
を具備することを特徴とする画像処理装置。
【請求項１】
複数の画像成分を含み、これら画像成分のサンプリング周波数の比であるサンプリング比が一致していない画像信号をメモリから読み出し、
上記メモリから読み出された画像信号のサンプリング比を一致させるように上記画像信号のサンプリング比を変換し、
上記サンプリング比が変換された画像信号をフィルタ処理し、
上記フィルタ処理された画像信号のデータサイズを削減するように上記フィルタ処理された画像信号のサンプリング比を変換する、
ことを特徴とする画像処理方法。
【請求項２】
上記メモリから読み出された画像信号のサンプリング比の変換は上記メモリから読み出された画像信号をアップサンプリングすることにより行い、上記フィルタ処理された画像信号のサンプリング比の変換は上記フィルタ処理された画像信号をダウンサンプリングすることにより行うことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
上記サンプリング比が画像成分毎に一致していない画像信号は、画像成分の比がＹ：Ｃｂ：Ｃｒ＝４：２：２又は４：２：０の輝度・色差信号であることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
上記サンプリング比を画像成分毎に一致させることによって得られる画像信号は、画像成分の比がＹ：Ｃｂ：Ｃｒ＝４：４：４の輝度・色差信号又は画像成分の比がＲ：Ｇ：Ｂ＝４：４：４のＲＧＢ信号であることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項５】
上記フィルタ処理された画像信号のサンプリング比を変換することによって得られる画像信号は、画像成分の比がＹ：Ｃｂ：Ｃｒ＝４：２：２又は４：２：０の輝度・色差信号であることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項６】
上記フィルタ処理は、ローパスフィルタ処理、バンドパスフィルタ処理、及び拡大縮小処理の少なくとも何れか１つを含むことを特徴とする請求項１又は２に記載の画像処理方法。
【請求項７】
上記メモリから画像信号を読み出してサンプリング比を一致させるように上記サンプリング比を変換する処理、上記サンプリング比が変換された画像信号をフィルタ処理する処理、及び上記フィルタ処理された画像信号のデータサイズを削減するように上記サンプリング比を変換する処理は、上記画像信号を上記メモリに書き込むことなく行われることを特徴とする請求項１に記載の画像処理方法。
【請求項８】
デジタル化された画像信号をフィルタ処理する画像処理装置において、
複数の画像成分を含み、サンプリング比が画像成分毎に一致していない複数の画像成分を含む画像信号が記憶される記憶手段と、
上記記憶手段に記憶された画像信号を読み出して、上記サンプリング比を画像成分毎に一致させるように上記画像信号のサンプリング比を変換する第１の変換手段と、
上記第１の変換手段によりサンプリング比を画像成分毎に一致させた画像信号をフィルタ処理するフィルタ処理手段と、
上記フィルタ処理手段によってフィルタ処理された画像信号のデータサイズを削減するように上記フィルタ処理された画像信号のサンプリング比を変換する第２の変換手段と、
を具備することを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００６−２１１０３７（Ｐ２００６−２１１０３７Ａ）
【公開日】平成１８年８月１０日（２００６．８．１０）
【国際特許分類】
【出願番号】特願２００５−１７１２１（Ｐ２００５−１７１２１）
【出願日】平成１７年１月２５日（２００５．１．２５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成１８年８月１０日（２００６．８．１０）
【国際特許分類】
【出願日】平成１７年１月２５日（２００５．１．２５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]