画像処理装置
【課題】回路規模を縮小し、下位の階層の回路の稼働率の低下を防止する。
【解決手段】第１層ダウン処理回路１１０は、図１に示すように、入力画像データＶｉｎが１ライン単位で入力され、入力画像データＶｉｎに対して第１層ダウン処理を行い、第１層ダウン処理データＤ１を算出する。第２層以降ダウン処理回路１２０は、第２〜第５層の各層のダウン処理である第ｉ（ｉ＝２〜５）層ダウン処理を時分割で実行し、かつ、第１層ダウン処理と並列して第ｉ層ダウン処理を実行する。
【解決手段】第１層ダウン処理回路１１０は、図１に示すように、入力画像データＶｉｎが１ライン単位で入力され、入力画像データＶｉｎに対して第１層ダウン処理を行い、第１層ダウン処理データＤ１を算出する。第２層以降ダウン処理回路１２０は、第２〜第５層の各層のダウン処理である第ｉ（ｉ＝２〜５）層ダウン処理を時分割で実行し、かつ、第１層ダウン処理と並列して第ｉ層ダウン処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像データに対してローパスフィルタ処理及びダウンサンプリング処理を階層的に実行する画像処理装置に関するものである。
【背景技術】
【０００２】
近年、広ダイナミックレンジな画像を生成するために入力画像データから低周波成分を抽出する画像処理装置が知られている。ここで、低周波成分の抽出にあたりフィルタサイズの大きなローパスフィルタを用いれば精度良く低周波成分を算出することができる。しかしながら、フィルタサイズの大きなローパスフィルタを用いると回路規模が増大するという問題がある。
【０００３】
そこで、特許文献１では、フィルタサイズの小さなローパスフィルタを用いても低周波成分を精度良く抽出することを目的として、ローパスフィルタ処理及びダウンサンプリング処理を階層的に行って低周波成分を抽出する技術が開示されている。
【０００４】
図６は特許文献１の図４に示されるような従来の画像処理装置の回路図である。図６に示す画像処理回路は、第１〜第５層ダウン処理回路１００１〜１００５、第１〜第５層アップ処理回路２００１〜２００５、及び遅延バッファ３０００を備えている。以下、図６に示す画像処理装置において、３×３のサイズのローパスフィルタを用いたローパスフィルタ処理を行い、かつ、水平、垂直とも画素数を１／２にダウンサンプリングするダウンサンプリング処理を行う場合を例に挙げて説明する。
【０００５】
第１層ダウン処理回路１００１は、水平ダウンサンプリング部（水平ＤＳ部）１１０１、ラインバッファ１１０２、垂直ＬＰＦ部１１０３、及び垂直ダウンサンプリング部（垂直ＤＳ部）１１０４を備えている。
【０００６】
水平ＤＳ部１１０１は、入力画像データＶｉｎが１ライン単位で順次に入力され、１ラインの入力画像データＶｉｎに対して水平ローパスフィルタ処理及び水平ダウンサンプリング処理を行い、１ラインの水平ダウンサンプリングデータＳ１０１を算出する。そして、算出した水平ダウンサンプリングデータＳ１０１を垂直ＬＰＦ部１１０３に出力し、かつ、ラインバッファ１１０２に出力する。
【０００７】
ラインバッファ１１０２は、水平ＤＳ部１１０１から出力された水平ダウンサンプリングデータＳ１０１を保持する。図６の例では、５×５のローパスフィルタ処理を可能とするべく、ラインバッファ１１０２は、４ラインの水平ダウンサンプリングデータＳ１０１が保持可能である。
【０００８】
垂直ＬＰＦ部１１０３及び垂直ＤＳ部１１０４は、垂直ローパスフィルタ処理及び垂直ダウンサンプリング処理を行い、２ラインの水平ダウンサンプリングデータＳ１０１を１ラインにダウンサンプリングし、第１層ダウン処理データＤ１００１として遅延バッファ３０００に書き込むと共に、第２層ダウン処理回路１００２に出力する。
【０００９】
第２〜第５層のダウン処理回路１００２〜１００５は、それぞれ、第１層ダウン処理回路１００１と同一構成であり、水平ＤＳ部１１０１、ラインバッファ１１０２、垂直ＬＰＦ部１１０３、及び垂直ＤＳ部１１０４を備えている。
【００１０】
ここで、第１〜第５層の垂直ＤＳ部１１０４から出力される処理データＳ１０３が第１〜第５層ダウン処理データＤ１００１〜Ｄ１００５である。
【００１１】
以上の処理が入力画像データＶｉｎの各ラインに実行され、入力画像データＶｉｎは画素数が水平方向に１／２、垂直方向１／２ずつ５層にわたって順次に間引かれてダウンサンプリングされる。
【００１２】
そして、第２〜第４層ダウン処理回路１００２〜１００４は、それぞれ、第１層ダウン処理回路１００１と同様の処理を行って、第２〜第４層ダウン処理データＤ１００２〜Ｄ１００４を算出し、遅延バッファ３０００に書き込むと共に、第３〜第５層のダウン処理回路１００３〜１００５に出力する。第５層ダウン処理回路１００５は、第１層ダウン処理回路１００１と同様の処理を行って、第５層ダウン処理データＤ１００５を算出し、第５層アップ処理回路２００５に出力する。
【００１３】
第５層アップ処理回路２００５は、第５層ダウン処理データＤ１００５の画素数を水平方向に２倍、垂直方向に２倍にアップサンプリングし、第４層アップ処理データＵ２００４を算出し、第４層アップ処理回路２００４に出力する。
【００１４】
具体的には、第５層アップ処理回路２００５は、水平垂直アップサンプリング部（水平垂直ＵＰ部）２１０１、及びＭＩＸ部２１０２を備えている。水平垂直ＵＰ部２１０１は、１ラインの第５層ダウン処理データＤ１００５の画素数を水平方向に２倍、垂直方向に２倍し、アップサンプリングデータＳ１０４を算出する。
【００１５】
ＭＩＸ部２１０２は、アップサンプリングデータＳ１０４に対してエッジ抽出処理を行い各画素のエッジ値を求める。そして、ＭＩＸ部２１０２は、エッジ値が閾値以上の画素は第４層ダウン処理データＤ１００４の対応する画素の画素値を採用し、エッジ値が閾値未満の画素はアップサンプリングデータＳ１０４の画素値をそのまま採用し、第５層アップ処理データＤ２００５を算出し、第４層アップ処理回路２００４に出力する。
【００１６】
これにより、入力画像データが持つエッジ部の情報を保持しつつ、アップサンプリング処理を行うことができる。
【００１７】
第４〜第１層アップ処理回路２００４〜２００１は、それぞれ、水平垂直ＵＰ部２１０１及びＭＩＸ部２１０２を備え、第５層アップ処理回路２００５と同様、第５〜第２層アップ処理データＵ２００４〜Ｕ２００１に対し、順次にアップサンプリング処理を行う。これにより、第５層ダウン処理データＤ１００５が順次にアップサンプリングされ、入力画像データＶｉｎの低周波成分が抽出された第１層アップ処理データＵ２０００が出力される。
【００１８】
図７は図６の画像処理装置によるダウンサンプリング処理を示したシーケンス図である。１段目は、１枚の入力画像データＶｉｎが入力される有効期間を示している。２段目は、各ラインの入力画像データＶｉｎの入力タイミングを示している。３〜５段目は、それぞれ、第１層ダウン処理回路１００１〜第３層ダウン処理回路１００３から出力される第１〜第３層ダウン処理データＤ１００１〜Ｄ１００３の処理期間を示している。なお、図７において、第４〜第５層ダウン処理回路１００４〜１００５から出力される第４〜第５層ダウン処理データＤ１００４，Ｄ１００５は図示を省略している。
【００１９】
第１層ダウン処理回路１００１には、Ｖｉｎの入力同期信号に同期して、０ラインから最終ラインまでの各ラインの入力画像データＶｉｎが入力されている。つまり、第１層ダウン処理回路１００１には、クロック毎に１ラインの入力画像データＶｉｎが入力されている。
【００２０】
また、第１層ダウン処理回路１００１からは、２クロックに１回、第１層ダウン処理データＤ１００１が出力されている。第２層ダウン処理回路１００２からは、４クロックに１回、第２層ダウン処理データＤ１００２が出力されている。第３層ダウン処理回路１００３からは、８クロックに１回、第３層ダウン処理データＤ１００３が出力されている。なお、第４層ダウン処理回路１００４からは１６クロックに１回、第４層ダウン処理データＤ１００４が出力され、第５層ダウン処理回路１００５からは、３２クロックに１回、第５層ダウン処理データＤ１００５が出力される。
【００２１】
このように、各層のダウン処理回路は、入力データをダウンサンプリングして１つ下の階層のダウン処理回路に出力しているため、下の階層に向かうにつれて取り扱うデータ量が減少する。上記の例では、水平、垂直とも１／２にダウンサンプリングされているため、階層が１つ下がるごとに、ダウン処理回路の処理するデータ量が１つ上の階層のダウン処理回路の処理するデータ量に比べて１／４に減少している。そのため、処理するデータ量で考えると、第２層以降で処理する全てのデータ量の合計は、第１層で処理するデータ量より少なくなる。
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】特開２０１０−１６４７９号公報
【発明の概要】
【発明が解決しようとする課題】
【００２３】
しかしながら、図６に示すように従来の画像処理装置では、階層ごとに１つのダウン処理回路が設けられていた。したがって、階層数が多くなれば、それだけ回路規模が増大するという問題があった。
【００２４】
また、下の階層に行くごとにダウン処理回路の処理するデータ量が小さくなるため、下の階層のダウン処理回路の稼働率が低下するという問題があった。また、階層ごとに１つのダウン処理回路が設けられているため、遅延バッファ３０００のポート数を階層数分設けなければならず、階層数が増えるとポート数が増え、遅延バッファ３０００の周辺回路の回路規模が増大し、制御が困難になるという問題があった。また、階層ごとにダウン処理回路の動作シーケンスが異なるため、階層数の変更等に対して各層のダウン処理回路の個数を変更する必要があり、画像処理回路のＩＰ資産化が困難であるという問題があった。
【００２５】
本発明の目的は、回路規模を縮小し、下位の階層の回路の稼働率の低下を防止することができる画像処理装置を提供することである。
【課題を解決するための手段】
【００２６】
（１）本発明による画像処理装置は、入力画像データに対して、ローパスフィルタ処理及びダウンサンプリング処理を含むダウン処理を第１〜第ｎ（ｎは２以上の整数）層にわたって階層的に行った後、アップサンプリング処理を第ｎ〜第１層にわたって階層的に行って、前記入力画像データから低周波成分を抽出する画像処理装置であって、前記入力画像データに対する前記ダウン処理である第１層ダウン処理を実行する第１層ダウン処理回路と、第２〜第ｎ層の各層の前記ダウン処理である第ｉ（ｉ＝２〜ｎ）層ダウン処理を実行する第２層以降ダウン処理回路とを備え、前記第２層以降ダウン処理回路は、前記第ｉ層ダウン処理を時分割で実行し、かつ、前記第１層ダウン処理と並列して前記第ｉ層ダウン処理を実行する。
【００２７】
この構成によれば、第１層ダウン処理は第１層ダウン処理回路で行われ、第ｉ（ｉ＝２〜ｎ）層ダウン処理は第２層以降ダウン処理回路で行われている。そのため、階層毎に専用の処理回路を設ける必要のあった従来の画像処理装置に比べ、回路規模を縮小させることができる。そして、第２層以降ダウン処理回路は、第１層ダウン処理に並列して第ｉ層ダウン処理を行い、かつ、第ｉ層ダウン処理を時分割で実行している。したがって、階層毎に専用の処理回路を設けた場合に問題となっていた、下位の階層の回路の稼働率の低下を解消することができる。
【００２８】
（２）前記ダウンサンプリング処理は、前記入力画像データの水平方向及び垂直方向の画素数をそれぞれ１／ｆ（ｆは２以上の整数）にダウンサンプリングする処理であり、前記第１層ダウン処理回路は、ｆラインの前記入力画像データを取得する都度、１ラインの第１層ダウン処理データを算出し、前記第２層以降ダウン処理回路は、ｆラインの前記第１層ダウン処理データが算出される都度、１ラインの第２層ダウン処理データを算出し、かつ、第３層以降のダウン処理データについては、ｆラインの第（ｉ−１）層ダウン処理データを算出する都度、１ラインの第ｉ層ダウン処理データを算出することが好ましい。
【００２９】
この構成によれば、入力画像データは各階層でダウン処理される毎に水平方向及び垂直方向にそれぞれ、１／ｆでダウンサンプリングされることになる。
【００３０】
（３）前記第１層ダウン処理回路は、１ラインの前記入力画像データを取得する都度、水平方向の前記ダウン処理を行って第１層水平ダウンサンプリングデータを算出し、前記第２層以降ダウン処理回路は、ｆラインの前記第１層水平ダウンサンプリングデータが算出される都度、垂直方向の前記ダウン処理を実行して１ラインの第１層ダウン処理データを算出し、ｆラインの前記第１層ダウン処理データを算出する都度、１ラインの第２層ダウン処理データを算出し、第３層以降のダウン処理データについては、ｆラインの第（ｉ−１）層ダウン処理データを算出する都度、１ラインの第ｉ層ダウン処理データを算出することが好ましい。
【００３１】
この構成によれば、第１層ダウン処理回路の垂直方向のダウン処理を行う回路と、第２層以降ダウン処理回路の垂直方向のダウン処理を行う回路とを共用化することができ、更なる回路規模の縮小を図ることができる。
【００３２】
（４）前記第１層ダウン処理回路は、前記第１層水平ダウンサンプリングデータを算出する第１層水平ダウンサンプリング部と、前記第１層水平ダウンサンプリングデータを保持する第１層ラインバッファとを備え、前記第２層以降ダウン処理回路は、前記第（ｉ−１）層ダウン処理データに対し、水平方向の前記ダウン処理を実行し、第ｉ層水平ダウンサンプリングデータを算出する第２層以降水平ダウンサンプリング部と、前記第ｉ層水平ダウンサンプリングデータを保持する第２層以降ラインバッファと、前記第１層水平ダウンサンプリングデータを前記第１層ラインバッファから読み出して垂直方向の前記ダウン処理を実行し、前記第１層ダウン処理データを算出し、かつ、前記第２層以降ラインバッファから前記第ｉ層水平ダウンサンプリングデータを読み出し、垂直方向の前記ダウン処理を実行し、前記第ｉ層ダウン処理データを算出する垂直ダウンサンプリング部と、前記第１層ラインバッファと前記第２層以降ラインバッファとを切り替えて前記垂直ダウンサンプリング部に接続させるマルチプレクサとを備えることが好ましい。
【００３３】
この構成によれば、第１層ダウン処理回路において、垂直ダウンサンプリング部が不要となり、第１層ダウン処理回路の回路規模を縮小することができる。
【００３４】
（５）前記入力画像データ及び前記第１〜第ｎ層ダウン処理データを保持する遅延バッファと、前記遅延バッファに保持されている前記第１〜第ｎ層ダウン処理データに基づいて、前記第１〜第ｎ層ダウン処理データのエッジ部分が保持されるように、前記第ｎ層ダウン処理データを順次にアップサンプリングし、前記低周波成分を算出するアップ処理回路とを更に備えることが好ましい。
【００３５】
この構成によれば、入力画像データからエッジ部分が維持されるように低周波成分を抽出することができる。
【００３６】
（６）前記第１層ダウン処理回路及び前記第２層以降ダウン処理回路を制御する制御部を更に備え、前記制御部は、ＣＰＵにより構成されていることが好ましい。
【００３７】
この構成によれば、ＣＰＵが実行するプログラムを書き換えることで階層数を変更することができ、汎用性の高い画像処理装置を構成することができる。
【発明の効果】
【００３８】
本発明によれば、回路規模を縮小させ、かつ、下位の階層の回路の稼働率の低下を解消することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施の形態１による画像処理装置の回路図である。
【図２】図１に示す画像処理装置のタイミングチャートである。
【図３】本発明の実施の形態２による画像処理装置の回路図である。
【図４】図３に示す画像処理装置のタイミングチャートである。
【図５】本発明の実施の形態３による画像処理装置の回路図である。
【図６】特許文献１の図４に示されるような従来の画像処理装置の回路図である。
【図７】図６の画像処理装置によるダウンサンプリング処理を示したシーケンス図である。
【発明を実施するための形態】
【００４０】
（実施の形態１）
＜実施の形態１の構成＞
図１は、本発明の実施の形態１による画像処理装置の回路図である。本画像処理装置は、第１層ダウン処理回路１１０、第２層以降ダウン処理回路１２０、第１層アップ処理回路２１０、及び第２層以降アップ処理回路２２０を備えている。また、本画像処理装置は図略の制御部を備え、この制御部により各回路素子の動作が制御される。
【００４１】
本画像処理装置は、入力画像データＶｉｎに対してダウン処理とアップサンプリング処理とを第１〜第ｎ層にわたって階層的に行う階層化フィルタを実現する画像処理装置である。ダウン処理とは、ローパスフィルタ処理（以下、“ＬＰＦ処理”と記述する）及びダウンサンプリング処理（以下、“ＤＳ処理”と記述する。）を第１〜第ｎ層にわたって階層的に行い、入力画像データを階層的にダウンサンプリングする処理である。
【００４２】
アップサンプリング処理は、ダウン処理によってダウンサンプリングされた画像データを階層的にアップサンプリングする処理である。
【００４３】
このように、階層的にダウン処理とアップサンプリング処理とを行うことで、サイズの小さなフィルタを用いても、サイズの大きなフィルタを用いた場合と同様の効果が得られ、入力画像データＶｉｎから低周波成分（ベース成分）を精度良く抽出することができる。ここで、入力画像データＶｉｎからベース成分を抽出することで、入力画像データＶｉｎに含まれる高周波の反射率成分が除去され、被写体を広ダイナミックレンジで再現することができる。
【００４４】
以下の説明では、階層数を第１〜第５層とした場合を例に挙げて説明する。但し、これは一例であり、２層以上であれば、階層数を５層以外の数にしてもよい。また、ＬＰＦ処理としては、水平方向のサイズが３、垂直方向のサイズが３の３×３のローパスフィルタを用いた処理を採用する。但し、これは一例であり、３×３以外の例えば、５×５、７×７等のサイズのローパスフィルタを用いても良い。
【００４５】
また、ＤＳ処理としては、水平方向の画素数を１／２、垂直方向の画素数を１／２にダウンサンプリングする、つまり、トータルの画素数を１／４にダウンサンプリングする処理を採用する。但し、これは一例であり、水平方向の画素数を１／３、１／４、垂直方向の画素数を１／３、１／４にダウンサンプリングするというように、水平及び垂直方向の画素数をそれぞれ（１／ｆ）にダウンサンプリングしてもよい。但し、ｆは２以上の整数である。また、水平方向の画素数を１／ｆ１、垂直方向の画素数を１／ｆ２というように、水平方向と垂直方向とを異なる値でダウンサンプリングしてもよい。但し、ｆ１、ｆ２は２以上の整数である。
【００４６】
よって、入力画像データＶｉｎは、ダウン処理が１階層行われる都度、画素数が１／４にダウンサンプリングされる。したがって、第１〜第５層に向けてダウン処理が行われることで得られた第５層ダウン処理データＤ５は入力画像データＶｉｎに対して（１／４）５にダウンサンプリングされる。
【００４７】
一方、第５層ダウン処理データＤ５はアップサンプリング処理が１階層行われる都度、４倍にアップサンプリングされる。したがって、上の階層に向けて順次にアップサンプリング処理が行われることで得られたベース成分は、第５層ダウン処理データＤ５に対して４５倍にアップサンプリングされる。
【００４８】
第１層ダウン処理回路１１０は、図１に示すように、入力画像データＶｉｎが１ライン単位で入力され、入力画像データＶｉｎに対して第１層ダウン処理を行う。本画像処理装置は、撮像センサを用いて被写体を撮像する撮像装置に適用される。よって、入力画像データＶｉｎとしては、例えば撮像センサにより撮像された１枚の画像データを採用することができる。なお、これは一例であり、例えば、複写機等に本画像処理装置を適用してもよく、この場合、ラインセンサで読み取られた原稿の画像データが入力画像データＶｉｎとして採用される。
【００４９】
ここで、入力画像データＶｉｎは、複数の画素データが水平方向に所定数、垂直方向に所定数でマトリックス状に配列されたデータ構造を持っている。よって、１ラインの入力画像データＶｉｎは、入力画像データＶｉｎの水平方向の１行分の画素データから構成される。
【００５０】
第１層ダウン処理回路１１０は、図２に示すように２ラインの入力画像データＶｉｎを取得する都度、第１層ダウン処理を行い、第１層ダウン処理データＤ１を算出し、遅延バッファ３００に書き込む。
【００５１】
そして、第１層ダウン処理回路１１０は、水平ダウンサンプリング部（以下、“水平ＤＳ部”と記述する。）１０１、ラインバッファ１０２、垂直ローパスフィルタ部（以下、“垂直ＬＰＦ部”と記述する。）１０３、及び垂直ダウンサンプリング部（以下、“垂直ＤＳ部”と記述する。）１０４を備えている。
【００５２】
水平ＤＳ部１０１は、入力画像データＶｉｎが１ライン単位で順次に入力され、入力された入力画像データＶｉｎに対し、水平ＬＰＦ処理（水平方向のＬＰＦ処理）及び水平ＤＳ処理（水平方向のＤＳ処理）を実行する。そして、水平ＤＳ部１０１は、１ラインの水平ダウンサンプリングデータ（以下、“水平ＤＳデータ”と記述する）Ｓ１１を出力する。
【００５３】
ここで、水平ＬＰＦ処理としては、１行×３列で所定のフィルタ値が配列された水平ＬＰＦを用い、この水平ＬＰＦを１ラインの入力画像データＶｉｎにおいて、例えば左端から右端にずらしながら、この１ラインの各画素データの水平ＬＰＦ値を順次に求める処理が採用される。
【００５４】
水平ＤＳ処理としては、例えば、水平ＬＰＦ処理された１ラインの入力画像データＶｉｎの画素数を１／２にダウンサンプリングする処理が採用される。この場合、水平ＤＳ部１０１は、水平ＬＰＦ処理された１ラインの各画素データを１画素ずつ間引くことで、１／２にダウンサンプリングしてもよいし、隣接する画素データ同士の平均値を求めて、１／２にダウンサンプリングしてもよい。
【００５５】
ラインバッファ１０２は、水平ＤＳ部１０１から出力される水平ＤＳデータＳ１１を保持する。図１の回路図では、ラインバッファ１０２は、５×５のＬＰＦ処理を実現するために５段のラインバッファ１０２が設けられているが、本実施の形態では、３×３のＬＰＦ処理を行うため、そのうち３段のラインバッファ１０２が使用される。ここで、各段のラインバッファは、ＦＩＦＯ形式でデータを保持し、１段目のラインバッファ１０２の後端は水平ＤＳ部１０１に接続され、先端は２段目のラインバッファ１０２の後端に接続されている。また、２段目のラインバッファ１０２の先端は３段目のラインバッファ１０２の後端に接続されている。
【００５６】
そして、１〜３段目のラインバッファ１０２は、先端の１画素の水平ＤＳデータＳ１１を垂直ＬＰＦ部１０３に同時に出力し、かつ、１〜２段目のラインバッファ１０２は、垂直ＬＰＦ部１０３に出力した水平ＤＳデータＳ１１を次段のラインバッファ１０２の後端にも出力する。これにより、ラインバッファ１０２は、垂直方向に連続する３画素の水平ＤＳデータＳ１１を同時に垂直ＬＰＦ部１０３に出力することができる。
【００５７】
また、１〜３段目のラインバッファ１０２は、２ラインの水平ＤＳデータＳ１１が書き込まれる毎に、垂直ＬＰＦ部１０３への水平ＤＳデータＳ１１の出力を開始する。これにより、ラインバッファ１０２は、水平ＤＳデータＳ１１を２ライン毎に注目ラインとする垂直ＬＰＦ処理（垂直方向のＬＰＦ処理）を垂直ＬＰＦ部１０３に行わせることができる。
【００５８】
垂直ＬＰＦ部１０３は、ラインバッファ１０２に保持された水平ＤＳデータＳ１１に対し、垂直ＬＰＦ処理を実行し、垂直ＬＰＦデータＳ１２を算出し、垂直ＤＳ部１０４に出力する。ここで、垂直ＬＰＦ処理に用いられるＬＰＦとしては、３行×１列でフィルタ値が配列された垂直ＬＰＦが採用される。
【００５９】
上述したように、１段目〜３段目のラインバッファ１０２からは垂直方向に連続する３画素の水平ＤＳデータＳ１１が同時に出力される。したがって、垂直ＬＰＦ部１０３は、ラインバッファ１０２に保持されている３ラインの水平ＤＳデータＳ１１に対して、垂直ＬＰＦを例えば左端から右端にずらしながら、中央の１ラインを注目ラインとし、注目ラインの各画素の垂直ＬＰＦ値を順次に求めることができる。また、ラインバッファ１０２からは２ラインの水平ＤＳデータＳ１１が格納される毎に水平ＤＳデータＳ１１の出力が開始される。そのため、垂直ＬＰＦ部１０３からは、垂直方向に１／２にダウンサンプリングされた垂直ＬＰＦデータＳ１２が出力される。
【００６０】
垂直ＤＳ部１０４は、垂直ＬＰＦ部１０３から出力される垂直ＬＰＦデータＳ１２を第１層ダウン処理データＤ１として遅延バッファ３００に書き込む。
【００６１】
以上の処理が入力画像データＶｉｎの各ラインに対して適用され、入力画像データＶｉｎは、画素数が１／４にダウンサンプリングされる。
【００６２】
遅延バッファ３００は、例えば、ＲＡＭにより構成され、第１〜第５層に対応する第１〜第５層記憶領域を備えている。また、第１〜第５層記憶領域は、それぞれ、１枚の第１〜第５層ダウン処理データＤ１〜Ｄ５が保持可能な容量を持っている。また、第１〜第５層記憶領域は、それぞれ、第１〜第５層ダウン処理データＤ１〜Ｄ５をそれぞれ、ライン毎に予め定められたアドレスに記憶する。
【００６３】
したがって、垂直ＤＳ部１０４は、１ラインの第１層ダウン処理データＤ１を算出すると、その１ラインに対応する第１層記憶領域のアドレスに、算出した第１層ダウン処理データＤ１を書き込む。これにより、各ラインの第１層ダウン処理データＤ１は、何ライン目の第１層ダウン処理データＤ１であるかが区別可能に第１層記憶領域に記憶される。なお、第２〜第５層ダウン処理データＤ２〜Ｄ５も第１層ダウン処理データＤ１と同様、第２〜第５層記憶領域に何ライン目の第２〜第５層ダウン処理データＤ２〜Ｄ５であるかが区別可能に記憶される。なお、第１〜第５層記憶領域は、必ずしも１枚分の容量を持つ必要はなく、各層の遅延領分の容量を持ち、リングバッファとして動作させることでもよい。
【００６４】
第２層以降ダウン処理回路１２０は、第２〜第５層の各層のダウン処理である第ｉ（ｉ＝２〜５）層ダウン処理を時分割で実行し、かつ、第１層ダウン処理と並列して第ｉ層ダウン処理を実行する。
【００６５】
具体的には、第２層以降ダウン処理回路１２０は、２ラインの第１層ダウン処理データＤ１が算出される都度、１ラインの第２層ダウン処理データＤ２を算出し、かつ、第３〜第５層については、２ラインの第（ｉ−１）層ダウン処理データＤ（ｉ−１）を算出する都度、１ラインの第ｉ層ダウン処理データＤ（ｉ）を算出する。
【００６６】
第２層以降ダウン処理回路１２０は、第１層ダウン処理回路１１０と同様、水平ＤＳ部１１１、ラインバッファ１１２、垂直ＬＰＦ部１１３、及び垂直ＤＳ部１１４を備えている。水平ＤＳ部１１１は、遅延バッファ３００から第１〜第４層ダウン処理データＤ１〜Ｄ４をそれぞれ読み出し、水平ＤＳ部１０１と同様、第２〜第５層の水平ＤＳデータＳ１１を算出する。
【００６７】
ラインバッファ１１２は、ラインバッファ１０２と同様、第２〜第５層の水平ＤＳデータＳ１１を保持する。
【００６８】
垂直ＬＰＦ部１１３は、垂直ＬＰＦ部１１３と同様、第２〜第５層の水平ＤＳデータＳ１１に対して垂直ＬＰＦ処理を行い、第２〜第５層の垂直ＬＰＦデータＳ１２を算出する。
【００６９】
垂直ＤＳ部１１４は、垂直ＤＳ部１０４と同様、第２〜第５層の垂直ＬＰＦデータＳ１２を第２〜第５層ダウン処理データＤ２〜Ｄ５として遅延バッファ３００の第２〜第５層記憶領域に書き込む。
【００７０】
第２層以降アップ処理回路２２０は、第５層ダウン処理データＤ５に対し、第５層アップサンプリング処理を行い、第４層アップ処理データＵ４を算出し、第５層ダウン処理データＤ５の画素数を水平方向に２倍、垂直方向に２倍にアップサンプリングする。以後、第２層以降アップ処理回路２２０は、第４〜第２層アップ処理データＵ４〜Ｕ２に対して、それぞれ第４〜第２層アップサンプリング処理を行い、第１層アップ処理データＵ３〜Ｕ１を算出する。これにより、第５層ダウン処理データＤ５は１層を経るごとに４倍ずつアップサンプリングされる。
【００７１】
具体的には、第２層以降アップ処理回路２２０は、水平垂直ＵＰ部２１１及びＭＩＸ部２１２を備えている。水平垂直ＵＰ部２１１は、遅延バッファ３００から第５層ダウン処理データＤ５を読み出し、第５層ダウン処理データＤ５を水平方向に２倍、垂直方向に２倍でアップサンプリングし、第４層の水平垂直ＵＰデータＵ４´を算出する。ここで、水平垂直ＵＰ部２１１は、隣接する２ラインの第５層ダウン処理データＤ５を垂直方向に線形補間して垂直方向のアップサンプリングを行い、１ラインの第５層ダウン処理データＤ５において隣接する画素データ同士を線形補間して水平方向のアップサンプリングを行えばよい。
【００７２】
ＭＩＸ部２１２は、第４層の水平垂直ＵＰデータＵ４´に対し、例えばハイパスフィルタを用いてエッジ抽出処理を行い、水平垂直ＵＰデータＵ４´の各画素のエッジ値を算出する。そして、ＭＩＸ部２１２は、算出したエッジ値が所定の閾値以上であれば、第４層ダウン処理データＤ４の対応する画素の画素値を採用し、算出したエッジ値が閾値未満であれば、水平垂直ＵＰデータＵ４´の画素値をそのまま採用することで、第４層アップ処理データＵ４を算出し、遅延バッファ３００に書き込む。
【００７３】
また、水平垂直ＵＰ部２１１は、第４層の水平垂直ＵＰデータＵ４´を求めた場合と同様に、第４〜第２層アップ処理データＵ４〜Ｕ２を用いて、第３〜第１層の水平垂直ＵＰデータＵ３´〜Ｕ１´を算出し、ＭＩＸ部２１２に出力する。
【００７４】
ＭＩＸ部２１２は、第４層アップ処理データＵ４を求めた場合と同様、第３〜第１層の水平垂直ＵＰデータＵ３´〜Ｕ１´と、第３〜第１層ダウン処理データＤ３〜Ｄ１とを比較し、第３〜第１層アップ処理データＵ３〜Ｕ１を算出し、遅延バッファ３００に書き込む。
【００７５】
このように、第２層以降アップ処理回路２２０は、処理対象となる入力データ（第５層ダウン処理データＤ５、第４〜第２層アップ処理データＵ４〜Ｕ２）のエッジ部分については１つ上の階層のダウン処理データを採用することで、エッジ部分を保持したアップサンプリングを行うことができる。
【００７６】
第１層アップ処理回路２１０は、第１層アップ処理データＵ１に対し、第１層アップサンプリング処理を行い、第０層アップ処理データＵ０を算出する。この第０層アップ処理データＵ０が、入力画像データＶｉｎのベース成分となる。
【００７７】
＜実施の形態１の動作＞
図２は、図１に示す画像処理装置のタイミングチャートである。図２において１段目は、１枚の画像データが入力される有効期間を示し、Ｈｉの期間が有効期間である。２段目は１ラインの入力画像データＶｉｎの入力タイミングを示している。
【００７８】
３段目は水平ＤＳ部１０１の動作期間を示している。４段目は第１層ダウン処理回路１１０から出力される第１層ダウン処理データＤ１の処理期間を示し、５段目は第２層以降ダウン処理回路１２０から出力される第２〜第５層ダウン処理データＤ２〜Ｄ５の処理期間を示している。
【００７９】
入力画像データＶｉｎは、Ｖｉｎの入力同期信号に同期して１ラインずつ第１層ダウン処理回路１１０に入力される。なお、入力画像データＶｉｎは、遅延バッファ３００にも書き込まれる。これにより、第１層アップ処理回路２１０は入力画像データＶｉｎを用いた第１層アップサンプリング処理を行うことができる。
【００８０】
水平ＤＳ部１０１は、１ラインの入力画像データＶｉｎが入力される都度、動作して水平ＤＳデータＳ１１を算出する。また、第２層以降ダウン処理回路１２０は、入力画像データＶｉｎの入力タイミングとは独立したタイミングで第２〜第５層ダウン処理を行う。
【００８１】
また、第１〜第５層に向かうにつれて第１〜第５層ダウン処理データＤ１〜Ｄ５の処理期間が順次に短くなっている。これは、ダウン処理データは階層が１つ下がるにつれて画素数が１／４に減るからである。また、第２層以降ダウン処理回路１２０は、Ｖｉｎの入力同期信号に同期することなく、第２〜第５ダウン処理データＤ１〜Ｄ５を算出することができる。
【００８２】
以下、具体的に説明する。
【００８３】
＜期間Ｔ１＞
１ライン目の入力画像データＶｉｎ（１）が第１層ダウン処理回路１１０に入力され、水平ＤＳ部１０１は、入力画像データＶｉｎ（１）から水平ＤＳデータＳ１１（１）を算出し、ラインバッファ１０２に書き込む。データの符号の後の括弧内の数値はライン番号を示している。
【００８４】
＜期間Ｔ２＞
２ライン目の入力画像データＶｉｎ（２）が第１層ダウン処理回路１１０に入力され、水平ＤＳ部１０１は、入力画像データＶｉｎ（２）から水平ＤＳデータＳ１１（２）を算出し、ラインバッファ１０２に書き込む。
【００８５】
＜期間Ｔ３＞
３ライン目の入力画像データＶｉｎ（３）が第１層ダウン処理回路１１０に入力され、水平ＤＳ部１０１は、入力画像データＶｉｎ（３）から水平ＤＳデータＳ１１（３）を算出し、ラインバッファ１０２に書き込む。
【００８６】
これと並列して、垂直ＬＰＦ部１０３は、水平ＤＳデータＳ１１（１），Ｓ１１（２）をラインバッファ１０２から読み出し、垂直ＬＰＦ処理を行い、垂直ＬＰＦデータＳ１２（１）を算出する。
【００８７】
この場合、１〜２段目のラインバッファ１０２に水平ＤＳデータＳ１１（２），Ｓ１１（１）が保持され、３段目のラインバッファ１０２には水平ＤＳデータＳ１１が保持されていない。そこで、垂直ＬＰＦ部１０３は、水平ＤＳデータＳ１１（２）を水平ＤＳデータＳ１１（１）に対して折り返し、水平ＤＳデータＳ１１（２），Ｓ１１（１），Ｓ１１（２）に対し、注目ラインを水平ＤＳデータＳ１１（１）とする垂直ＬＰＦ処理を行い、垂直ＬＰＦデータＳ１２（１）を算出する。
【００８８】
次に、垂直ＤＳ部１０４は、垂直ＬＰＦ部１０３で算出された垂直ＬＰＦデータＳ１２（１）を第１層ダウン処理データＤ１（１）として遅延バッファ３００に書き込む。
【００８９】
以後、第１層ダウン処理回路１１０は、２ラインの入力画像データＶｉｎが入力される都度、１ラインの第１層ダウン処理データＤ１を算出する。
【００９０】
＜期間Ｔ５＞
第１層ダウン処理回路１１０は、期間Ｔ３と同様に、第１層ダウン処理データＤ１（２）を算出し、遅延バッファ３００に書き込む。
【００９１】
次に、水平ＤＳ部１１１は、第１層ダウン処理データＤ１（１）、Ｄ１（２）を遅延バッファ３００から読み出し、第２層の水平ＤＳデータＳ１１（１）、Ｓ１１（２）を算出し、ラインバッファ１１２に書き込む。
【００９２】
次に、垂直ＬＰＦ部１０３は、ラインバッファ１１２から第２層の水平ＤＳデータＳ１１（１）、Ｓ１１（２）を読み出し、第２層の水平ＤＳデータＳ１１（１）を注目ラインとする垂直ＬＰＦ処理を実行し、第２層の垂直ＬＰＦデータＳ１２（１）を算出する。
【００９３】
次に、垂直ＤＳ部１０４は、第２層の垂直ＬＰＦデータＳ１２（１）を第２層ダウン処理データＤ（１）として、遅延バッファ３００に書き込む。以後、第２層以降ダウン処理回路１２０は、２ラインの第１層ダウン処理データＤ１が算出される都度、１ラインの第２層ダウン処理データＤ２を算出する。
【００９４】
＜期間Ｔ９＞
第１層ダウン処理回路１１０が第１層ダウン処理データＤ１（４）を算出する処理、第２層以降ダウン処理回路１２０が第２層ダウン処理データＤ２（２）を算出する処理は、期間Ｔ５と同じである。
【００９５】
水平ＤＳ部１１１は、遅延バッファ３００から第２層ダウン処理データＤ２（１），Ｄ２（２）を読み出し、第３層の水平ＤＳデータＳ１１（１），Ｓ１１（２）を算出し、ラインバッファ１１２に書き込む。
【００９６】
次に、垂直ＬＰＦ部１０３は、第３層の水平ＤＳデータＳ１１（１），Ｓ１１（２）をラインバッファ１１２から読み出し、第３層の垂直ＬＰＦデータＳ１２（１）を算出する。次に、垂直ＤＳ部１１４は、第３層の垂直ＬＰＦデータＳ１２（１）を第３層ダウン処理データＤ３（１）として遅延バッファ３００に書き込む。以後、第２層以降ダウン処理回路１２０は、２ラインの第２層ダウン処理データＤ２が算出される都度、１ラインの第３層ダウン処理データＤ３を算出する。
【００９７】
＜期間Ｔ１７＞
第１層ダウン処理回路１１０が第１層ダウン処理データＤ１（８）、第２層以降ダウン処理回路１２０が第２〜第３層ダウン処理データＤ２（４）、Ｄ３（２）を算出する処理は期間Ｔ９と同じである。
【００９８】
水平ＤＳ部１１１は、第３層ダウン処理データＤ３（１）、Ｄ３（２）を遅延バッファ３００から読み出し、第４層の水平ＤＳデータＳ１１（１），Ｓ１１（２）を算出し、ラインバッファ１１２に書き込む。
【００９９】
次に、垂直ＬＰＦ部１１３は、ラインバッファ１１２から第４層の水平ＤＳデータＳ１１（１）、Ｓ１１（２）を読み出し、第４層の垂直ＬＰＦデータＳ１２（１）を算出する。次に、垂直ＤＳ部１１４は、第４層の垂直ＬＰＦデータＳ１２（１）を第４ダウン処理データＤ４（１）として遅延バッファ３００に書き込む。以後、第２層以降ダウン処理回路１２０は、２ラインの第３層ダウン処理データＤ３が算出される都度、１ラインの第４層ダウン処理データＤ４を算出する。
【０１００】
なお、図２では、第５層ダウン処理データＤ５については図示を省略しているが、２ラインの第４層ダウン処理データＤ４が算出される都度、１ラインの第５層ダウン処理データＤ５が算出される。
【０１０１】
このように、本画像処理装置によれば、第１層ダウン処理は第１層ダウン処理回路１１０で行われ、第ｉ（ｉ＝２〜５）層ダウン処理は第２層以降ダウン処理回路１２０で行われている。そのため、階層毎に専用の処理回路を設ける必要のあった従来の画像処理装置に比べ、回路規模を縮小させることができる。そして、第２層以降ダウン処理回路１２０は、第１層ダウン処理に並列して第ｉ層ダウン処理を行い、かつ、第ｉ層ダウン処理を時分割で実行している。したがって、階層毎に専用の処理回路を設けた場合に問題となっていた、下位の階層の回路の稼働率の低下を解消することができる。
【０１０２】
また、階層毎に小容量のメモリを設けるのではなく、ダウン処理データ等を階層別の記憶領域に分けて記憶する大容量の遅延バッファ３００を採用している。そのため、小容量のメモリを用いる場合に比べて回路素子を効率よく配置することができる。
【０１０３】
また、従来のように階層毎に専用の回路を設けた従来の画像処理装置において、遅延バッファ３００として１つのメモリを使用した場合、遅延バッファ３００のポート数を階層数分設ける必要があった。そのため、メモリ制御が複雑になるという問題があった。
【０１０４】
一方、本画像処理装置では、２つのダウン処理回路を用いているため、遅延バッファ３００のポート数が２つで済み、メモリ制御の簡略化を図ることができる。
【０１０５】
（実施の形態２）
＜実施の形態２の構成＞
実施の形態２による画像処理装置は、図１に示す第１層ダウン処理回路１１０の垂直ＬＰＦ部１０３及び垂直ＤＳ部１０４と、第２層以降ダウン処理回路１２０の垂直ＬＰＦ部１１３及び垂直ＤＳ部１１４と共用化させたことを特徴とする。
【０１０６】
図３は、本発明の実施の形態２による画像処理装置の回路図である。なお、実施の形態２において実施の形態１と同じものは説明を省略する。
【０１０７】
第１層ダウン処理回路１１０は、水平ＤＳ部１０１及びラインバッファ１０２を備えている。水平ＤＳ部１０１は、１ラインの入力画像データＶｉｎを取得する都度、水平ＬＰＦ処理及び水平ＤＳ処理を行い、第１層の水平ＤＳデータＳ１１を算出する。
【０１０８】
ラインバッファ１０２は、第１層の水平ＤＳデータＳ１１を保持する。
【０１０９】
第２層以降ダウン処理回路１２０は、２ラインの第１層の水平ＤＳデータＳ１１が算出される都度、垂直ＬＰＦ処理及び垂直ＤＳ処理を実行して、第１層ダウン処理データＤ１を算出し、遅延バッファ３００に書き込む。
【０１１０】
また、第２層以降ダウン処理回路１２０は、２ラインの第１層ダウン処理データＤ１を算出する都度、１ラインの第２層ダウン処理データＤ２を算出し、遅延バッファ３００に書き込む。
【０１１１】
また、第２層以降ダウン処理回路１２０は、第３層以降のダウン処理データについては、２ラインの第（ｉ−１）層ダウン処理データＤ（ｉ−１）を算出する都度、１ラインの第ｉ層ダウン処理データＤ（ｉ）を算出する。
【０１１２】
具体的には、第２層以降ダウン処理回路１２０は、水平ＤＳ部１１１（第２層以降水平ダウンサンプリング部の一例）、ラインバッファ１１２（第２層以降ラインバッファの一例）、垂直ＬＰＦ部１１３（垂直ダウンサンプリング部の一例）、垂直ＤＳ部１１４（垂直ダウンサンプリング部の一例）、及びマルチプレクサ１１５を備えている。
【０１１３】
水平ＤＳ部１１１は、垂直ＤＳ部１１４により出力された第１〜第４層ダウン処理データＤ１〜Ｄ４がフィードバックされ、第２〜第５層の水平ＤＳデータＳ１１を生成し、ラインバッファ１１２（ａ）〜１１２（ｄ）に書き込む。ラインバッファ１１２（ａ）〜１１２（ｄ）はそれぞれ、実施の形態１と同様、３段のラインバッファから構成されている。
【０１１４】
ラインバッファ１１２は、第２〜第５層の水平ＤＳデータＳ１１を保持するための４つのラインバッファ１１２（ａ）〜１１２（ｄ）を備えている。
【０１１５】
垂直ＬＰＦ部１１３は、ラインバッファ１０２からマルチプレクサ１１５を介して第１層の水平ＤＳデータＳ１１を読み出し、垂直ＬＰＦ処理を実行して、第１層の垂直ＬＰＦデータＳ１２を算出する。
【０１１６】
また、垂直ＬＰＦ部１１３は、ラインバッファ１１２（ａ）〜（ｄ）からマルチプレクサ１１５を介して第２〜第５層の水平ＤＳデータＳ１１を読み出し、垂直ＬＰＦ処理を実行し、第２〜第５層の垂直ＬＰＦデータＳ１２を算出する。
【０１１７】
垂直ＤＳ部１１４は、垂直ＬＰＦ部１１３から出力される第１〜第５層の垂直ＬＰＦデータＳ１２を第１〜第５層ダウン処理データＤ１〜Ｄ５として、遅延バッファ３００に書き込み、かつ、第１〜第４層ダウン処理データＤ１〜Ｄ４を水平ＤＳ部１１１にフィードバックする。
【０１１８】
マルチプレクサ１１５は、入力側にラインバッファ１０２及びラインバッファ１１２が接続され、出力側に垂直ＬＰＦ部１１３が接続されている。
【０１１９】
そして、マルチプレクサ１１５は、ラインバッファ１０２に２ラインの水平ＤＳデータＳ１１が書き込まれる都度、ラインバッファ１０２を垂直ＬＰＦ部１１３に接続し、垂直ＬＰＦ部１１３及び垂直ＤＳ部１１４に第１層ダウン処理データＤ１を算出させる。
【０１２０】
また、マルチプレクサ１１５は、必要に応じて第１層ダウン処理データＤ１の算出処理が終了すると、ラインバッファ１１２を垂直ＬＰＦ部１１３に接続し、第２〜第５層の垂直ＤＳデータＳ１１を適宜読み出し、垂直ＬＰＦ部１１３及び垂直ＤＳ部１１４に、第２層ダウン処理データＤ２〜Ｄ５に算出させる。
【０１２１】
＜実施の形態２の動作＞
図４は、図３に示す画像処理装置のタイミングチャートである。１〜３段目は、図２と同様、有効期間、１ラインの入力画像データＶｉｎの入力タイミング、水平ＤＳ部１０１の動作期間を示している。４段目は、第２層以降ダウン処理回路１２０から出力される第１〜第５層ダウン処理データＤ１〜Ｄ５の処理期間を示している。
【０１２２】
期間Ｔ１，Ｔ２の処理は図２と同じであり、ラインバッファ１０２に水平ＤＳデータＳ１１（１），Ｓ１１（２）が書き込まれる。
【０１２３】
＜期間Ｔ３＞
マルチプレクサ１１５はラインバッファ１０２を垂直ＬＰＦ部１１３に接続させる。次に、垂直ＬＰＦ部１１３は、ラインバッファ１０２から水平ＤＳデータＳ１１（１），Ｓ１１（２）を読み出し、水平ＤＳデータＳ１１（１）を注目ラインとして、垂直ＬＰＦデータＳ１２（１）を算出する。
【０１２４】
次に、垂直ＤＳ部１１４は、垂直ＬＰＦデータＳ１２（１）を第１層ダウン処理データＤ１（１）として遅延バッファ３００に書き込み、かつ、第１層ダウン処理データＤ１（１）を水平ＤＳ部１１１にフィードバックする。次に、水平ＤＳ部１１１は、フィードバックされた第１層ダウン処理データＤ１（１）から第２層の水平ＤＳデータＳ１１（１）を生成し、ラインバッファ１１２（ａ）に書き込む。
【０１２５】
以後、第２層以降ダウン処理回路１２０は、第１層ダウン処理回路１１０に２ラインの入力画像データＶｉｎが入力される都度、第１層ダウン処理データＤ１を算出し、遅延バッファ３００に書き込み、かつ、第１層ダウン処理データＤ１をフィードバックさせて、第２層の水平ＤＳデータＳ１１を算出し、ラインバッファ１１２（ａ）に書き込む。
【０１２６】
＜期間Ｔ５＞
第２層以降ダウン処理回路１２０は、期間Ｔ３と同様に、第１層ダウン処理データＤ１（２）を算出し、第１層ダウン処理データＤ１（２）をフィードバックさせて、第２層の水平ＤＳデータＳ１１（２）を算出し、ラインバッファ１１２（ａ）に書き込む。
【０１２７】
次に、２ラインの第２層の水平ＤＳデータＤＳ１１（１）、ＤＳ１１（２）が得られたため、マルチプレクサ１１５は、ラインバッファ１１２を垂直ＬＰＦ部１１３に接続させる。次に、垂直ＬＰＦ部１１３は、ラインバッファ１１２（ａ）から第２層の水平ＤＳデータＳ１１（１），Ｓ１１（２）を読み出し、第２層の水平ＤＳデータＳ１１（１）を注目ラインとする垂直ＬＰＦ処理を実行し、第２層の垂直ＬＰＦデータＳ１２（１）を算出する。
【０１２８】
次に、垂直ＤＳ部１１４は、第２層の垂直ＬＰＦデータＳ１２（１）を第２層ダウン処理データＤ２（１）として遅延バッファ３００に書き込み、かつ、第２層ダウン処理データＤ２（１）を水平ＤＳ部１０１にフィードバックさせる。次に、水平ＤＳ部１０１は、第２層ダウン処理データＤ２（１）から第３層の水平ＤＳデータＳ１１（１）を生成し、ラインバッファ１１２（ｂ）に書き込む。次に、マルチプレクサ１１５は、ラインバッファ１０２を垂直ＬＰＦ部１１３に接続させる。
【０１２９】
以後、第２層以降ダウン処理回路１２０は、２ラインの第１層ダウン処理データＤ１が算出される都度、１ラインの第２層ダウン処理データＤ２を遅延バッファ３００に書き込み、かつ、第２層ダウン処理データＤ２をフィードバックさせて、第３層の水平ＤＳデータＳ１１を算出し、ラインバッファ１１２（ｂ）に書き込む。
【０１３０】
＜期間Ｔ９＞
第２層以降ダウン処理回路１２０が第１層ダウン処理データＤ１（４）、第２層ダウン処理データＤ２（２）を算出する処理は期間Ｔ５と同じである。
【０１３１】
次に、ラインバッファ１１２（ｂ）に２ライン分の第３層の水平ＤＳデータＳ１１（１），Ｓ１１（２）が蓄積されたため、垂直ＬＰＦ部１１３は、第３層の水平ＤＳデータＳ１１（１），Ｓ１１（２）をラインバッファ１１２（ｂ）から読み出し、第３層の垂直ＬＰＦデータＳ１２（１）を算出する。次に、垂直ＤＳ部１１４は、第３層の垂直ＬＰＦデータＳ１２（１）を第３層ダウン処理データＤ３（１）として、遅延バッファ３００に書き込み、かつ、第３層ダウン処理データＤ３（１）を水平ＤＳ部１１１にフィードバックする。
【０１３２】
次に、水平ＤＳ部１１１は、フィードバックされた第３層ダウン処理データＤ３（１）から第４層の水平ＤＳデータＳ１１（１）を算出し、ラインバッファ１１２（ｃ）に書き込む。
【０１３３】
以後、第２層以降ダウン処理回路１２０は、２ラインの第２層ダウン処理データＤ２を算出する都度、１ラインの第３層ダウン処理データＤ３を遅延バッファ３００に書き込み、かつ、第３層ダウン処理データＤ３をフィードバックさせて、第４層の水平ＤＳデータＳ１１を算出し、ラインバッファ１１２（ｃ）に書き込む。
【０１３４】
＜期間Ｔ１７＞
第２層以降ダウン処理回路１２０が第１層ダウン処理データＤ１（８）、第２層ダウン処理データＤ２（４）、第３層ダウン処理データＤ３（２）を算出する処理は期間Ｔ９と同じである。
【０１３５】
次に、ラインバッファ１１２（ｃ）に２ライン分の第４層の水平ＤＳデータＳ１１（１），Ｓ１１（２）が蓄積されたため、垂直ＬＰＦ部１１３は、第４層の水平ＤＳデータＳ１１（１），Ｓ１１（２）をラインバッファ１１２（ｃ）から読み出し、第４層の垂直ＬＰＦデータＳ１２（１）を算出する。次に、垂直ＤＳ部１１４は、第４層の垂直ＬＰＦデータＳ１２（１）を第４層ダウン処理データＤ４（１）として、遅延バッファ３００に書き込み、かつ、第４層ダウン処理データＤ４（１）を水平ＤＳ部１１１にフィードバックする。
【０１３６】
次に、水平ＤＳ部１１１は、フィードバックされた第４層ダウン処理データＤ４（１）から第５層の水平ＤＳデータＳ１１（１）を算出し、ラインバッファ１１２（ｄ）に書き込む。
【０１３７】
以後、第２層以降ダウン処理回路１２０は、２ラインの第３層ダウン処理データＤ３を算出する都度、１ラインの第４層ダウン処理データＤ４を遅延バッファ３００に書き込み、かつ、第４層ダウン処理データＤ４をフィードバックさせて、第５層の水平ＤＳデータＳ１１を算出し、ラインバッファ１１２（ｄ）に書き込む。
【０１３８】
なお、第２層以降ダウン処理回路１２０の処理は、第１層ダウン処理回路１１０の処理と同期をとる必要がないため、第１〜第４層ダウン処理データＤ１（８），Ｄ２（４），Ｄ３（２），Ｄ４（１）の算出期間は、期間Ｔ１７内に収まる必要はない。
【０１３９】
このように実施の形態２による画像処理装置によれば、第１層ダウン処理と第２層以降処理において、垂直ＬＰＦ部１１３及び垂直ＤＳ部１１４が共有化されているため、更に回路規模を縮小することができる。
【０１４０】
（実施の形態３）
実施の形態３は、制御部をＣＰＵ４００で構成したことを特徴とする。図５は、本発明の実施の形態３による画像処理装置の回路図である。図５の例では、実施の形態２による画像処理装置が採用されている。但し、これに限定されず、実施の形態１の画像処理装置をＣＰＵ４００で制御してもよい。
【０１４１】
ＣＰＵ４００は、水平ＤＳ部１０１，１１１、ラインバッファ１０２，１１２、垂直ＬＰＦ部１０３、垂直ＤＳ部１０４、遅延バッファ３００、ＭＩＸ部２１２，２０２等の各回路素子と接続されている。そして、ＣＰＵ４００は各回路素子から処理完了割り込みが入力されると、各回路素子に動作開始指示を出力し、各回路素子を動作させる。
【０１４２】
このように、制御部をＣＰＵ４００で構成することで、階層数の変更に対して柔軟に対応することができる。特に本画像処理装置を撮像装置に適用させる場合、撮像装置の仕様により階層数が適宜設定される。この場合、制御部として専用のハードウェア回路を用いると、このような変更に柔軟に対応することができない。
【０１４３】
一方、制御部をＣＰＵ４００で構成すると、プログラムを書き換えることで階層数を変更することができ、汎用性の高い画像処理装置を構成することができる。
【符号の説明】
【０１４４】
１０１，１１１ 水平ＤＳ部
１０２，１１２ ラインバッファ
１０３ 垂直ＬＰＦ部
１０４、１１４ 垂直ＤＳ部
１１０ 第１層ダウン処理回路
１２０ 第２層以降ダウン処理回路
１１５ マルチプレクサ
２１０ 第１層アップ処理回路
２０１、２１１ 水平垂直ＵＰ部
２０２、２１２ ＭＩＸ部
２２０ 第２層以降アップ処理回路
３００ 遅延バッファ
【技術分野】
【０００１】
本発明は、入力画像データに対してローパスフィルタ処理及びダウンサンプリング処理を階層的に実行する画像処理装置に関するものである。
【背景技術】
【０００２】
近年、広ダイナミックレンジな画像を生成するために入力画像データから低周波成分を抽出する画像処理装置が知られている。ここで、低周波成分の抽出にあたりフィルタサイズの大きなローパスフィルタを用いれば精度良く低周波成分を算出することができる。しかしながら、フィルタサイズの大きなローパスフィルタを用いると回路規模が増大するという問題がある。
【０００３】
そこで、特許文献１では、フィルタサイズの小さなローパスフィルタを用いても低周波成分を精度良く抽出することを目的として、ローパスフィルタ処理及びダウンサンプリング処理を階層的に行って低周波成分を抽出する技術が開示されている。
【０００４】
図６は特許文献１の図４に示されるような従来の画像処理装置の回路図である。図６に示す画像処理回路は、第１〜第５層ダウン処理回路１００１〜１００５、第１〜第５層アップ処理回路２００１〜２００５、及び遅延バッファ３０００を備えている。以下、図６に示す画像処理装置において、３×３のサイズのローパスフィルタを用いたローパスフィルタ処理を行い、かつ、水平、垂直とも画素数を１／２にダウンサンプリングするダウンサンプリング処理を行う場合を例に挙げて説明する。
【０００５】
第１層ダウン処理回路１００１は、水平ダウンサンプリング部（水平ＤＳ部）１１０１、ラインバッファ１１０２、垂直ＬＰＦ部１１０３、及び垂直ダウンサンプリング部（垂直ＤＳ部）１１０４を備えている。
【０００６】
水平ＤＳ部１１０１は、入力画像データＶｉｎが１ライン単位で順次に入力され、１ラインの入力画像データＶｉｎに対して水平ローパスフィルタ処理及び水平ダウンサンプリング処理を行い、１ラインの水平ダウンサンプリングデータＳ１０１を算出する。そして、算出した水平ダウンサンプリングデータＳ１０１を垂直ＬＰＦ部１１０３に出力し、かつ、ラインバッファ１１０２に出力する。
【０００７】
ラインバッファ１１０２は、水平ＤＳ部１１０１から出力された水平ダウンサンプリングデータＳ１０１を保持する。図６の例では、５×５のローパスフィルタ処理を可能とするべく、ラインバッファ１１０２は、４ラインの水平ダウンサンプリングデータＳ１０１が保持可能である。
【０００８】
垂直ＬＰＦ部１１０３及び垂直ＤＳ部１１０４は、垂直ローパスフィルタ処理及び垂直ダウンサンプリング処理を行い、２ラインの水平ダウンサンプリングデータＳ１０１を１ラインにダウンサンプリングし、第１層ダウン処理データＤ１００１として遅延バッファ３０００に書き込むと共に、第２層ダウン処理回路１００２に出力する。
【０００９】
第２〜第５層のダウン処理回路１００２〜１００５は、それぞれ、第１層ダウン処理回路１００１と同一構成であり、水平ＤＳ部１１０１、ラインバッファ１１０２、垂直ＬＰＦ部１１０３、及び垂直ＤＳ部１１０４を備えている。
【００１０】
ここで、第１〜第５層の垂直ＤＳ部１１０４から出力される処理データＳ１０３が第１〜第５層ダウン処理データＤ１００１〜Ｄ１００５である。
【００１１】
以上の処理が入力画像データＶｉｎの各ラインに実行され、入力画像データＶｉｎは画素数が水平方向に１／２、垂直方向１／２ずつ５層にわたって順次に間引かれてダウンサンプリングされる。
【００１２】
そして、第２〜第４層ダウン処理回路１００２〜１００４は、それぞれ、第１層ダウン処理回路１００１と同様の処理を行って、第２〜第４層ダウン処理データＤ１００２〜Ｄ１００４を算出し、遅延バッファ３０００に書き込むと共に、第３〜第５層のダウン処理回路１００３〜１００５に出力する。第５層ダウン処理回路１００５は、第１層ダウン処理回路１００１と同様の処理を行って、第５層ダウン処理データＤ１００５を算出し、第５層アップ処理回路２００５に出力する。
【００１３】
第５層アップ処理回路２００５は、第５層ダウン処理データＤ１００５の画素数を水平方向に２倍、垂直方向に２倍にアップサンプリングし、第４層アップ処理データＵ２００４を算出し、第４層アップ処理回路２００４に出力する。
【００１４】
具体的には、第５層アップ処理回路２００５は、水平垂直アップサンプリング部（水平垂直ＵＰ部）２１０１、及びＭＩＸ部２１０２を備えている。水平垂直ＵＰ部２１０１は、１ラインの第５層ダウン処理データＤ１００５の画素数を水平方向に２倍、垂直方向に２倍し、アップサンプリングデータＳ１０４を算出する。
【００１５】
ＭＩＸ部２１０２は、アップサンプリングデータＳ１０４に対してエッジ抽出処理を行い各画素のエッジ値を求める。そして、ＭＩＸ部２１０２は、エッジ値が閾値以上の画素は第４層ダウン処理データＤ１００４の対応する画素の画素値を採用し、エッジ値が閾値未満の画素はアップサンプリングデータＳ１０４の画素値をそのまま採用し、第５層アップ処理データＤ２００５を算出し、第４層アップ処理回路２００４に出力する。
【００１６】
これにより、入力画像データが持つエッジ部の情報を保持しつつ、アップサンプリング処理を行うことができる。
【００１７】
第４〜第１層アップ処理回路２００４〜２００１は、それぞれ、水平垂直ＵＰ部２１０１及びＭＩＸ部２１０２を備え、第５層アップ処理回路２００５と同様、第５〜第２層アップ処理データＵ２００４〜Ｕ２００１に対し、順次にアップサンプリング処理を行う。これにより、第５層ダウン処理データＤ１００５が順次にアップサンプリングされ、入力画像データＶｉｎの低周波成分が抽出された第１層アップ処理データＵ２０００が出力される。
【００１８】
図７は図６の画像処理装置によるダウンサンプリング処理を示したシーケンス図である。１段目は、１枚の入力画像データＶｉｎが入力される有効期間を示している。２段目は、各ラインの入力画像データＶｉｎの入力タイミングを示している。３〜５段目は、それぞれ、第１層ダウン処理回路１００１〜第３層ダウン処理回路１００３から出力される第１〜第３層ダウン処理データＤ１００１〜Ｄ１００３の処理期間を示している。なお、図７において、第４〜第５層ダウン処理回路１００４〜１００５から出力される第４〜第５層ダウン処理データＤ１００４，Ｄ１００５は図示を省略している。
【００１９】
第１層ダウン処理回路１００１には、Ｖｉｎの入力同期信号に同期して、０ラインから最終ラインまでの各ラインの入力画像データＶｉｎが入力されている。つまり、第１層ダウン処理回路１００１には、クロック毎に１ラインの入力画像データＶｉｎが入力されている。
【００２０】
また、第１層ダウン処理回路１００１からは、２クロックに１回、第１層ダウン処理データＤ１００１が出力されている。第２層ダウン処理回路１００２からは、４クロックに１回、第２層ダウン処理データＤ１００２が出力されている。第３層ダウン処理回路１００３からは、８クロックに１回、第３層ダウン処理データＤ１００３が出力されている。なお、第４層ダウン処理回路１００４からは１６クロックに１回、第４層ダウン処理データＤ１００４が出力され、第５層ダウン処理回路１００５からは、３２クロックに１回、第５層ダウン処理データＤ１００５が出力される。
【００２１】
このように、各層のダウン処理回路は、入力データをダウンサンプリングして１つ下の階層のダウン処理回路に出力しているため、下の階層に向かうにつれて取り扱うデータ量が減少する。上記の例では、水平、垂直とも１／２にダウンサンプリングされているため、階層が１つ下がるごとに、ダウン処理回路の処理するデータ量が１つ上の階層のダウン処理回路の処理するデータ量に比べて１／４に減少している。そのため、処理するデータ量で考えると、第２層以降で処理する全てのデータ量の合計は、第１層で処理するデータ量より少なくなる。
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】特開２０１０−１６４７９号公報
【発明の概要】
【発明が解決しようとする課題】
【００２３】
しかしながら、図６に示すように従来の画像処理装置では、階層ごとに１つのダウン処理回路が設けられていた。したがって、階層数が多くなれば、それだけ回路規模が増大するという問題があった。
【００２４】
また、下の階層に行くごとにダウン処理回路の処理するデータ量が小さくなるため、下の階層のダウン処理回路の稼働率が低下するという問題があった。また、階層ごとに１つのダウン処理回路が設けられているため、遅延バッファ３０００のポート数を階層数分設けなければならず、階層数が増えるとポート数が増え、遅延バッファ３０００の周辺回路の回路規模が増大し、制御が困難になるという問題があった。また、階層ごとにダウン処理回路の動作シーケンスが異なるため、階層数の変更等に対して各層のダウン処理回路の個数を変更する必要があり、画像処理回路のＩＰ資産化が困難であるという問題があった。
【００２５】
本発明の目的は、回路規模を縮小し、下位の階層の回路の稼働率の低下を防止することができる画像処理装置を提供することである。
【課題を解決するための手段】
【００２６】
（１）本発明による画像処理装置は、入力画像データに対して、ローパスフィルタ処理及びダウンサンプリング処理を含むダウン処理を第１〜第ｎ（ｎは２以上の整数）層にわたって階層的に行った後、アップサンプリング処理を第ｎ〜第１層にわたって階層的に行って、前記入力画像データから低周波成分を抽出する画像処理装置であって、前記入力画像データに対する前記ダウン処理である第１層ダウン処理を実行する第１層ダウン処理回路と、第２〜第ｎ層の各層の前記ダウン処理である第ｉ（ｉ＝２〜ｎ）層ダウン処理を実行する第２層以降ダウン処理回路とを備え、前記第２層以降ダウン処理回路は、前記第ｉ層ダウン処理を時分割で実行し、かつ、前記第１層ダウン処理と並列して前記第ｉ層ダウン処理を実行する。
【００２７】
この構成によれば、第１層ダウン処理は第１層ダウン処理回路で行われ、第ｉ（ｉ＝２〜ｎ）層ダウン処理は第２層以降ダウン処理回路で行われている。そのため、階層毎に専用の処理回路を設ける必要のあった従来の画像処理装置に比べ、回路規模を縮小させることができる。そして、第２層以降ダウン処理回路は、第１層ダウン処理に並列して第ｉ層ダウン処理を行い、かつ、第ｉ層ダウン処理を時分割で実行している。したがって、階層毎に専用の処理回路を設けた場合に問題となっていた、下位の階層の回路の稼働率の低下を解消することができる。
【００２８】
（２）前記ダウンサンプリング処理は、前記入力画像データの水平方向及び垂直方向の画素数をそれぞれ１／ｆ（ｆは２以上の整数）にダウンサンプリングする処理であり、前記第１層ダウン処理回路は、ｆラインの前記入力画像データを取得する都度、１ラインの第１層ダウン処理データを算出し、前記第２層以降ダウン処理回路は、ｆラインの前記第１層ダウン処理データが算出される都度、１ラインの第２層ダウン処理データを算出し、かつ、第３層以降のダウン処理データについては、ｆラインの第（ｉ−１）層ダウン処理データを算出する都度、１ラインの第ｉ層ダウン処理データを算出することが好ましい。
【００２９】
この構成によれば、入力画像データは各階層でダウン処理される毎に水平方向及び垂直方向にそれぞれ、１／ｆでダウンサンプリングされることになる。
【００３０】
（３）前記第１層ダウン処理回路は、１ラインの前記入力画像データを取得する都度、水平方向の前記ダウン処理を行って第１層水平ダウンサンプリングデータを算出し、前記第２層以降ダウン処理回路は、ｆラインの前記第１層水平ダウンサンプリングデータが算出される都度、垂直方向の前記ダウン処理を実行して１ラインの第１層ダウン処理データを算出し、ｆラインの前記第１層ダウン処理データを算出する都度、１ラインの第２層ダウン処理データを算出し、第３層以降のダウン処理データについては、ｆラインの第（ｉ−１）層ダウン処理データを算出する都度、１ラインの第ｉ層ダウン処理データを算出することが好ましい。
【００３１】
この構成によれば、第１層ダウン処理回路の垂直方向のダウン処理を行う回路と、第２層以降ダウン処理回路の垂直方向のダウン処理を行う回路とを共用化することができ、更なる回路規模の縮小を図ることができる。
【００３２】
（４）前記第１層ダウン処理回路は、前記第１層水平ダウンサンプリングデータを算出する第１層水平ダウンサンプリング部と、前記第１層水平ダウンサンプリングデータを保持する第１層ラインバッファとを備え、前記第２層以降ダウン処理回路は、前記第（ｉ−１）層ダウン処理データに対し、水平方向の前記ダウン処理を実行し、第ｉ層水平ダウンサンプリングデータを算出する第２層以降水平ダウンサンプリング部と、前記第ｉ層水平ダウンサンプリングデータを保持する第２層以降ラインバッファと、前記第１層水平ダウンサンプリングデータを前記第１層ラインバッファから読み出して垂直方向の前記ダウン処理を実行し、前記第１層ダウン処理データを算出し、かつ、前記第２層以降ラインバッファから前記第ｉ層水平ダウンサンプリングデータを読み出し、垂直方向の前記ダウン処理を実行し、前記第ｉ層ダウン処理データを算出する垂直ダウンサンプリング部と、前記第１層ラインバッファと前記第２層以降ラインバッファとを切り替えて前記垂直ダウンサンプリング部に接続させるマルチプレクサとを備えることが好ましい。
【００３３】
この構成によれば、第１層ダウン処理回路において、垂直ダウンサンプリング部が不要となり、第１層ダウン処理回路の回路規模を縮小することができる。
【００３４】
（５）前記入力画像データ及び前記第１〜第ｎ層ダウン処理データを保持する遅延バッファと、前記遅延バッファに保持されている前記第１〜第ｎ層ダウン処理データに基づいて、前記第１〜第ｎ層ダウン処理データのエッジ部分が保持されるように、前記第ｎ層ダウン処理データを順次にアップサンプリングし、前記低周波成分を算出するアップ処理回路とを更に備えることが好ましい。
【００３５】
この構成によれば、入力画像データからエッジ部分が維持されるように低周波成分を抽出することができる。
【００３６】
（６）前記第１層ダウン処理回路及び前記第２層以降ダウン処理回路を制御する制御部を更に備え、前記制御部は、ＣＰＵにより構成されていることが好ましい。
【００３７】
この構成によれば、ＣＰＵが実行するプログラムを書き換えることで階層数を変更することができ、汎用性の高い画像処理装置を構成することができる。
【発明の効果】
【００３８】
本発明によれば、回路規模を縮小させ、かつ、下位の階層の回路の稼働率の低下を解消することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施の形態１による画像処理装置の回路図である。
【図２】図１に示す画像処理装置のタイミングチャートである。
【図３】本発明の実施の形態２による画像処理装置の回路図である。
【図４】図３に示す画像処理装置のタイミングチャートである。
【図５】本発明の実施の形態３による画像処理装置の回路図である。
【図６】特許文献１の図４に示されるような従来の画像処理装置の回路図である。
【図７】図６の画像処理装置によるダウンサンプリング処理を示したシーケンス図である。
【発明を実施するための形態】
【００４０】
（実施の形態１）
＜実施の形態１の構成＞
図１は、本発明の実施の形態１による画像処理装置の回路図である。本画像処理装置は、第１層ダウン処理回路１１０、第２層以降ダウン処理回路１２０、第１層アップ処理回路２１０、及び第２層以降アップ処理回路２２０を備えている。また、本画像処理装置は図略の制御部を備え、この制御部により各回路素子の動作が制御される。
【００４１】
本画像処理装置は、入力画像データＶｉｎに対してダウン処理とアップサンプリング処理とを第１〜第ｎ層にわたって階層的に行う階層化フィルタを実現する画像処理装置である。ダウン処理とは、ローパスフィルタ処理（以下、“ＬＰＦ処理”と記述する）及びダウンサンプリング処理（以下、“ＤＳ処理”と記述する。）を第１〜第ｎ層にわたって階層的に行い、入力画像データを階層的にダウンサンプリングする処理である。
【００４２】
アップサンプリング処理は、ダウン処理によってダウンサンプリングされた画像データを階層的にアップサンプリングする処理である。
【００４３】
このように、階層的にダウン処理とアップサンプリング処理とを行うことで、サイズの小さなフィルタを用いても、サイズの大きなフィルタを用いた場合と同様の効果が得られ、入力画像データＶｉｎから低周波成分（ベース成分）を精度良く抽出することができる。ここで、入力画像データＶｉｎからベース成分を抽出することで、入力画像データＶｉｎに含まれる高周波の反射率成分が除去され、被写体を広ダイナミックレンジで再現することができる。
【００４４】
以下の説明では、階層数を第１〜第５層とした場合を例に挙げて説明する。但し、これは一例であり、２層以上であれば、階層数を５層以外の数にしてもよい。また、ＬＰＦ処理としては、水平方向のサイズが３、垂直方向のサイズが３の３×３のローパスフィルタを用いた処理を採用する。但し、これは一例であり、３×３以外の例えば、５×５、７×７等のサイズのローパスフィルタを用いても良い。
【００４５】
また、ＤＳ処理としては、水平方向の画素数を１／２、垂直方向の画素数を１／２にダウンサンプリングする、つまり、トータルの画素数を１／４にダウンサンプリングする処理を採用する。但し、これは一例であり、水平方向の画素数を１／３、１／４、垂直方向の画素数を１／３、１／４にダウンサンプリングするというように、水平及び垂直方向の画素数をそれぞれ（１／ｆ）にダウンサンプリングしてもよい。但し、ｆは２以上の整数である。また、水平方向の画素数を１／ｆ１、垂直方向の画素数を１／ｆ２というように、水平方向と垂直方向とを異なる値でダウンサンプリングしてもよい。但し、ｆ１、ｆ２は２以上の整数である。
【００４６】
よって、入力画像データＶｉｎは、ダウン処理が１階層行われる都度、画素数が１／４にダウンサンプリングされる。したがって、第１〜第５層に向けてダウン処理が行われることで得られた第５層ダウン処理データＤ５は入力画像データＶｉｎに対して（１／４）５にダウンサンプリングされる。
【００４７】
一方、第５層ダウン処理データＤ５はアップサンプリング処理が１階層行われる都度、４倍にアップサンプリングされる。したがって、上の階層に向けて順次にアップサンプリング処理が行われることで得られたベース成分は、第５層ダウン処理データＤ５に対して４５倍にアップサンプリングされる。
【００４８】
第１層ダウン処理回路１１０は、図１に示すように、入力画像データＶｉｎが１ライン単位で入力され、入力画像データＶｉｎに対して第１層ダウン処理を行う。本画像処理装置は、撮像センサを用いて被写体を撮像する撮像装置に適用される。よって、入力画像データＶｉｎとしては、例えば撮像センサにより撮像された１枚の画像データを採用することができる。なお、これは一例であり、例えば、複写機等に本画像処理装置を適用してもよく、この場合、ラインセンサで読み取られた原稿の画像データが入力画像データＶｉｎとして採用される。
【００４９】
ここで、入力画像データＶｉｎは、複数の画素データが水平方向に所定数、垂直方向に所定数でマトリックス状に配列されたデータ構造を持っている。よって、１ラインの入力画像データＶｉｎは、入力画像データＶｉｎの水平方向の１行分の画素データから構成される。
【００５０】
第１層ダウン処理回路１１０は、図２に示すように２ラインの入力画像データＶｉｎを取得する都度、第１層ダウン処理を行い、第１層ダウン処理データＤ１を算出し、遅延バッファ３００に書き込む。
【００５１】
そして、第１層ダウン処理回路１１０は、水平ダウンサンプリング部（以下、“水平ＤＳ部”と記述する。）１０１、ラインバッファ１０２、垂直ローパスフィルタ部（以下、“垂直ＬＰＦ部”と記述する。）１０３、及び垂直ダウンサンプリング部（以下、“垂直ＤＳ部”と記述する。）１０４を備えている。
【００５２】
水平ＤＳ部１０１は、入力画像データＶｉｎが１ライン単位で順次に入力され、入力された入力画像データＶｉｎに対し、水平ＬＰＦ処理（水平方向のＬＰＦ処理）及び水平ＤＳ処理（水平方向のＤＳ処理）を実行する。そして、水平ＤＳ部１０１は、１ラインの水平ダウンサンプリングデータ（以下、“水平ＤＳデータ”と記述する）Ｓ１１を出力する。
【００５３】
ここで、水平ＬＰＦ処理としては、１行×３列で所定のフィルタ値が配列された水平ＬＰＦを用い、この水平ＬＰＦを１ラインの入力画像データＶｉｎにおいて、例えば左端から右端にずらしながら、この１ラインの各画素データの水平ＬＰＦ値を順次に求める処理が採用される。
【００５４】
水平ＤＳ処理としては、例えば、水平ＬＰＦ処理された１ラインの入力画像データＶｉｎの画素数を１／２にダウンサンプリングする処理が採用される。この場合、水平ＤＳ部１０１は、水平ＬＰＦ処理された１ラインの各画素データを１画素ずつ間引くことで、１／２にダウンサンプリングしてもよいし、隣接する画素データ同士の平均値を求めて、１／２にダウンサンプリングしてもよい。
【００５５】
ラインバッファ１０２は、水平ＤＳ部１０１から出力される水平ＤＳデータＳ１１を保持する。図１の回路図では、ラインバッファ１０２は、５×５のＬＰＦ処理を実現するために５段のラインバッファ１０２が設けられているが、本実施の形態では、３×３のＬＰＦ処理を行うため、そのうち３段のラインバッファ１０２が使用される。ここで、各段のラインバッファは、ＦＩＦＯ形式でデータを保持し、１段目のラインバッファ１０２の後端は水平ＤＳ部１０１に接続され、先端は２段目のラインバッファ１０２の後端に接続されている。また、２段目のラインバッファ１０２の先端は３段目のラインバッファ１０２の後端に接続されている。
【００５６】
そして、１〜３段目のラインバッファ１０２は、先端の１画素の水平ＤＳデータＳ１１を垂直ＬＰＦ部１０３に同時に出力し、かつ、１〜２段目のラインバッファ１０２は、垂直ＬＰＦ部１０３に出力した水平ＤＳデータＳ１１を次段のラインバッファ１０２の後端にも出力する。これにより、ラインバッファ１０２は、垂直方向に連続する３画素の水平ＤＳデータＳ１１を同時に垂直ＬＰＦ部１０３に出力することができる。
【００５７】
また、１〜３段目のラインバッファ１０２は、２ラインの水平ＤＳデータＳ１１が書き込まれる毎に、垂直ＬＰＦ部１０３への水平ＤＳデータＳ１１の出力を開始する。これにより、ラインバッファ１０２は、水平ＤＳデータＳ１１を２ライン毎に注目ラインとする垂直ＬＰＦ処理（垂直方向のＬＰＦ処理）を垂直ＬＰＦ部１０３に行わせることができる。
【００５８】
垂直ＬＰＦ部１０３は、ラインバッファ１０２に保持された水平ＤＳデータＳ１１に対し、垂直ＬＰＦ処理を実行し、垂直ＬＰＦデータＳ１２を算出し、垂直ＤＳ部１０４に出力する。ここで、垂直ＬＰＦ処理に用いられるＬＰＦとしては、３行×１列でフィルタ値が配列された垂直ＬＰＦが採用される。
【００５９】
上述したように、１段目〜３段目のラインバッファ１０２からは垂直方向に連続する３画素の水平ＤＳデータＳ１１が同時に出力される。したがって、垂直ＬＰＦ部１０３は、ラインバッファ１０２に保持されている３ラインの水平ＤＳデータＳ１１に対して、垂直ＬＰＦを例えば左端から右端にずらしながら、中央の１ラインを注目ラインとし、注目ラインの各画素の垂直ＬＰＦ値を順次に求めることができる。また、ラインバッファ１０２からは２ラインの水平ＤＳデータＳ１１が格納される毎に水平ＤＳデータＳ１１の出力が開始される。そのため、垂直ＬＰＦ部１０３からは、垂直方向に１／２にダウンサンプリングされた垂直ＬＰＦデータＳ１２が出力される。
【００６０】
垂直ＤＳ部１０４は、垂直ＬＰＦ部１０３から出力される垂直ＬＰＦデータＳ１２を第１層ダウン処理データＤ１として遅延バッファ３００に書き込む。
【００６１】
以上の処理が入力画像データＶｉｎの各ラインに対して適用され、入力画像データＶｉｎは、画素数が１／４にダウンサンプリングされる。
【００６２】
遅延バッファ３００は、例えば、ＲＡＭにより構成され、第１〜第５層に対応する第１〜第５層記憶領域を備えている。また、第１〜第５層記憶領域は、それぞれ、１枚の第１〜第５層ダウン処理データＤ１〜Ｄ５が保持可能な容量を持っている。また、第１〜第５層記憶領域は、それぞれ、第１〜第５層ダウン処理データＤ１〜Ｄ５をそれぞれ、ライン毎に予め定められたアドレスに記憶する。
【００６３】
したがって、垂直ＤＳ部１０４は、１ラインの第１層ダウン処理データＤ１を算出すると、その１ラインに対応する第１層記憶領域のアドレスに、算出した第１層ダウン処理データＤ１を書き込む。これにより、各ラインの第１層ダウン処理データＤ１は、何ライン目の第１層ダウン処理データＤ１であるかが区別可能に第１層記憶領域に記憶される。なお、第２〜第５層ダウン処理データＤ２〜Ｄ５も第１層ダウン処理データＤ１と同様、第２〜第５層記憶領域に何ライン目の第２〜第５層ダウン処理データＤ２〜Ｄ５であるかが区別可能に記憶される。なお、第１〜第５層記憶領域は、必ずしも１枚分の容量を持つ必要はなく、各層の遅延領分の容量を持ち、リングバッファとして動作させることでもよい。
【００６４】
第２層以降ダウン処理回路１２０は、第２〜第５層の各層のダウン処理である第ｉ（ｉ＝２〜５）層ダウン処理を時分割で実行し、かつ、第１層ダウン処理と並列して第ｉ層ダウン処理を実行する。
【００６５】
具体的には、第２層以降ダウン処理回路１２０は、２ラインの第１層ダウン処理データＤ１が算出される都度、１ラインの第２層ダウン処理データＤ２を算出し、かつ、第３〜第５層については、２ラインの第（ｉ−１）層ダウン処理データＤ（ｉ−１）を算出する都度、１ラインの第ｉ層ダウン処理データＤ（ｉ）を算出する。
【００６６】
第２層以降ダウン処理回路１２０は、第１層ダウン処理回路１１０と同様、水平ＤＳ部１１１、ラインバッファ１１２、垂直ＬＰＦ部１１３、及び垂直ＤＳ部１１４を備えている。水平ＤＳ部１１１は、遅延バッファ３００から第１〜第４層ダウン処理データＤ１〜Ｄ４をそれぞれ読み出し、水平ＤＳ部１０１と同様、第２〜第５層の水平ＤＳデータＳ１１を算出する。
【００６７】
ラインバッファ１１２は、ラインバッファ１０２と同様、第２〜第５層の水平ＤＳデータＳ１１を保持する。
【００６８】
垂直ＬＰＦ部１１３は、垂直ＬＰＦ部１１３と同様、第２〜第５層の水平ＤＳデータＳ１１に対して垂直ＬＰＦ処理を行い、第２〜第５層の垂直ＬＰＦデータＳ１２を算出する。
【００６９】
垂直ＤＳ部１１４は、垂直ＤＳ部１０４と同様、第２〜第５層の垂直ＬＰＦデータＳ１２を第２〜第５層ダウン処理データＤ２〜Ｄ５として遅延バッファ３００の第２〜第５層記憶領域に書き込む。
【００７０】
第２層以降アップ処理回路２２０は、第５層ダウン処理データＤ５に対し、第５層アップサンプリング処理を行い、第４層アップ処理データＵ４を算出し、第５層ダウン処理データＤ５の画素数を水平方向に２倍、垂直方向に２倍にアップサンプリングする。以後、第２層以降アップ処理回路２２０は、第４〜第２層アップ処理データＵ４〜Ｕ２に対して、それぞれ第４〜第２層アップサンプリング処理を行い、第１層アップ処理データＵ３〜Ｕ１を算出する。これにより、第５層ダウン処理データＤ５は１層を経るごとに４倍ずつアップサンプリングされる。
【００７１】
具体的には、第２層以降アップ処理回路２２０は、水平垂直ＵＰ部２１１及びＭＩＸ部２１２を備えている。水平垂直ＵＰ部２１１は、遅延バッファ３００から第５層ダウン処理データＤ５を読み出し、第５層ダウン処理データＤ５を水平方向に２倍、垂直方向に２倍でアップサンプリングし、第４層の水平垂直ＵＰデータＵ４´を算出する。ここで、水平垂直ＵＰ部２１１は、隣接する２ラインの第５層ダウン処理データＤ５を垂直方向に線形補間して垂直方向のアップサンプリングを行い、１ラインの第５層ダウン処理データＤ５において隣接する画素データ同士を線形補間して水平方向のアップサンプリングを行えばよい。
【００７２】
ＭＩＸ部２１２は、第４層の水平垂直ＵＰデータＵ４´に対し、例えばハイパスフィルタを用いてエッジ抽出処理を行い、水平垂直ＵＰデータＵ４´の各画素のエッジ値を算出する。そして、ＭＩＸ部２１２は、算出したエッジ値が所定の閾値以上であれば、第４層ダウン処理データＤ４の対応する画素の画素値を採用し、算出したエッジ値が閾値未満であれば、水平垂直ＵＰデータＵ４´の画素値をそのまま採用することで、第４層アップ処理データＵ４を算出し、遅延バッファ３００に書き込む。
【００７３】
また、水平垂直ＵＰ部２１１は、第４層の水平垂直ＵＰデータＵ４´を求めた場合と同様に、第４〜第２層アップ処理データＵ４〜Ｕ２を用いて、第３〜第１層の水平垂直ＵＰデータＵ３´〜Ｕ１´を算出し、ＭＩＸ部２１２に出力する。
【００７４】
ＭＩＸ部２１２は、第４層アップ処理データＵ４を求めた場合と同様、第３〜第１層の水平垂直ＵＰデータＵ３´〜Ｕ１´と、第３〜第１層ダウン処理データＤ３〜Ｄ１とを比較し、第３〜第１層アップ処理データＵ３〜Ｕ１を算出し、遅延バッファ３００に書き込む。
【００７５】
このように、第２層以降アップ処理回路２２０は、処理対象となる入力データ（第５層ダウン処理データＤ５、第４〜第２層アップ処理データＵ４〜Ｕ２）のエッジ部分については１つ上の階層のダウン処理データを採用することで、エッジ部分を保持したアップサンプリングを行うことができる。
【００７６】
第１層アップ処理回路２１０は、第１層アップ処理データＵ１に対し、第１層アップサンプリング処理を行い、第０層アップ処理データＵ０を算出する。この第０層アップ処理データＵ０が、入力画像データＶｉｎのベース成分となる。
【００７７】
＜実施の形態１の動作＞
図２は、図１に示す画像処理装置のタイミングチャートである。図２において１段目は、１枚の画像データが入力される有効期間を示し、Ｈｉの期間が有効期間である。２段目は１ラインの入力画像データＶｉｎの入力タイミングを示している。
【００７８】
３段目は水平ＤＳ部１０１の動作期間を示している。４段目は第１層ダウン処理回路１１０から出力される第１層ダウン処理データＤ１の処理期間を示し、５段目は第２層以降ダウン処理回路１２０から出力される第２〜第５層ダウン処理データＤ２〜Ｄ５の処理期間を示している。
【００７９】
入力画像データＶｉｎは、Ｖｉｎの入力同期信号に同期して１ラインずつ第１層ダウン処理回路１１０に入力される。なお、入力画像データＶｉｎは、遅延バッファ３００にも書き込まれる。これにより、第１層アップ処理回路２１０は入力画像データＶｉｎを用いた第１層アップサンプリング処理を行うことができる。
【００８０】
水平ＤＳ部１０１は、１ラインの入力画像データＶｉｎが入力される都度、動作して水平ＤＳデータＳ１１を算出する。また、第２層以降ダウン処理回路１２０は、入力画像データＶｉｎの入力タイミングとは独立したタイミングで第２〜第５層ダウン処理を行う。
【００８１】
また、第１〜第５層に向かうにつれて第１〜第５層ダウン処理データＤ１〜Ｄ５の処理期間が順次に短くなっている。これは、ダウン処理データは階層が１つ下がるにつれて画素数が１／４に減るからである。また、第２層以降ダウン処理回路１２０は、Ｖｉｎの入力同期信号に同期することなく、第２〜第５ダウン処理データＤ１〜Ｄ５を算出することができる。
【００８２】
以下、具体的に説明する。
【００８３】
＜期間Ｔ１＞
１ライン目の入力画像データＶｉｎ（１）が第１層ダウン処理回路１１０に入力され、水平ＤＳ部１０１は、入力画像データＶｉｎ（１）から水平ＤＳデータＳ１１（１）を算出し、ラインバッファ１０２に書き込む。データの符号の後の括弧内の数値はライン番号を示している。
【００８４】
＜期間Ｔ２＞
２ライン目の入力画像データＶｉｎ（２）が第１層ダウン処理回路１１０に入力され、水平ＤＳ部１０１は、入力画像データＶｉｎ（２）から水平ＤＳデータＳ１１（２）を算出し、ラインバッファ１０２に書き込む。
【００８５】
＜期間Ｔ３＞
３ライン目の入力画像データＶｉｎ（３）が第１層ダウン処理回路１１０に入力され、水平ＤＳ部１０１は、入力画像データＶｉｎ（３）から水平ＤＳデータＳ１１（３）を算出し、ラインバッファ１０２に書き込む。
【００８６】
これと並列して、垂直ＬＰＦ部１０３は、水平ＤＳデータＳ１１（１），Ｓ１１（２）をラインバッファ１０２から読み出し、垂直ＬＰＦ処理を行い、垂直ＬＰＦデータＳ１２（１）を算出する。
【００８７】
この場合、１〜２段目のラインバッファ１０２に水平ＤＳデータＳ１１（２），Ｓ１１（１）が保持され、３段目のラインバッファ１０２には水平ＤＳデータＳ１１が保持されていない。そこで、垂直ＬＰＦ部１０３は、水平ＤＳデータＳ１１（２）を水平ＤＳデータＳ１１（１）に対して折り返し、水平ＤＳデータＳ１１（２），Ｓ１１（１），Ｓ１１（２）に対し、注目ラインを水平ＤＳデータＳ１１（１）とする垂直ＬＰＦ処理を行い、垂直ＬＰＦデータＳ１２（１）を算出する。
【００８８】
次に、垂直ＤＳ部１０４は、垂直ＬＰＦ部１０３で算出された垂直ＬＰＦデータＳ１２（１）を第１層ダウン処理データＤ１（１）として遅延バッファ３００に書き込む。
【００８９】
以後、第１層ダウン処理回路１１０は、２ラインの入力画像データＶｉｎが入力される都度、１ラインの第１層ダウン処理データＤ１を算出する。
【００９０】
＜期間Ｔ５＞
第１層ダウン処理回路１１０は、期間Ｔ３と同様に、第１層ダウン処理データＤ１（２）を算出し、遅延バッファ３００に書き込む。
【００９１】
次に、水平ＤＳ部１１１は、第１層ダウン処理データＤ１（１）、Ｄ１（２）を遅延バッファ３００から読み出し、第２層の水平ＤＳデータＳ１１（１）、Ｓ１１（２）を算出し、ラインバッファ１１２に書き込む。
【００９２】
次に、垂直ＬＰＦ部１０３は、ラインバッファ１１２から第２層の水平ＤＳデータＳ１１（１）、Ｓ１１（２）を読み出し、第２層の水平ＤＳデータＳ１１（１）を注目ラインとする垂直ＬＰＦ処理を実行し、第２層の垂直ＬＰＦデータＳ１２（１）を算出する。
【００９３】
次に、垂直ＤＳ部１０４は、第２層の垂直ＬＰＦデータＳ１２（１）を第２層ダウン処理データＤ（１）として、遅延バッファ３００に書き込む。以後、第２層以降ダウン処理回路１２０は、２ラインの第１層ダウン処理データＤ１が算出される都度、１ラインの第２層ダウン処理データＤ２を算出する。
【００９４】
＜期間Ｔ９＞
第１層ダウン処理回路１１０が第１層ダウン処理データＤ１（４）を算出する処理、第２層以降ダウン処理回路１２０が第２層ダウン処理データＤ２（２）を算出する処理は、期間Ｔ５と同じである。
【００９５】
水平ＤＳ部１１１は、遅延バッファ３００から第２層ダウン処理データＤ２（１），Ｄ２（２）を読み出し、第３層の水平ＤＳデータＳ１１（１），Ｓ１１（２）を算出し、ラインバッファ１１２に書き込む。
【００９６】
次に、垂直ＬＰＦ部１０３は、第３層の水平ＤＳデータＳ１１（１），Ｓ１１（２）をラインバッファ１１２から読み出し、第３層の垂直ＬＰＦデータＳ１２（１）を算出する。次に、垂直ＤＳ部１１４は、第３層の垂直ＬＰＦデータＳ１２（１）を第３層ダウン処理データＤ３（１）として遅延バッファ３００に書き込む。以後、第２層以降ダウン処理回路１２０は、２ラインの第２層ダウン処理データＤ２が算出される都度、１ラインの第３層ダウン処理データＤ３を算出する。
【００９７】
＜期間Ｔ１７＞
第１層ダウン処理回路１１０が第１層ダウン処理データＤ１（８）、第２層以降ダウン処理回路１２０が第２〜第３層ダウン処理データＤ２（４）、Ｄ３（２）を算出する処理は期間Ｔ９と同じである。
【００９８】
水平ＤＳ部１１１は、第３層ダウン処理データＤ３（１）、Ｄ３（２）を遅延バッファ３００から読み出し、第４層の水平ＤＳデータＳ１１（１），Ｓ１１（２）を算出し、ラインバッファ１１２に書き込む。
【００９９】
次に、垂直ＬＰＦ部１１３は、ラインバッファ１１２から第４層の水平ＤＳデータＳ１１（１）、Ｓ１１（２）を読み出し、第４層の垂直ＬＰＦデータＳ１２（１）を算出する。次に、垂直ＤＳ部１１４は、第４層の垂直ＬＰＦデータＳ１２（１）を第４ダウン処理データＤ４（１）として遅延バッファ３００に書き込む。以後、第２層以降ダウン処理回路１２０は、２ラインの第３層ダウン処理データＤ３が算出される都度、１ラインの第４層ダウン処理データＤ４を算出する。
【０１００】
なお、図２では、第５層ダウン処理データＤ５については図示を省略しているが、２ラインの第４層ダウン処理データＤ４が算出される都度、１ラインの第５層ダウン処理データＤ５が算出される。
【０１０１】
このように、本画像処理装置によれば、第１層ダウン処理は第１層ダウン処理回路１１０で行われ、第ｉ（ｉ＝２〜５）層ダウン処理は第２層以降ダウン処理回路１２０で行われている。そのため、階層毎に専用の処理回路を設ける必要のあった従来の画像処理装置に比べ、回路規模を縮小させることができる。そして、第２層以降ダウン処理回路１２０は、第１層ダウン処理に並列して第ｉ層ダウン処理を行い、かつ、第ｉ層ダウン処理を時分割で実行している。したがって、階層毎に専用の処理回路を設けた場合に問題となっていた、下位の階層の回路の稼働率の低下を解消することができる。
【０１０２】
また、階層毎に小容量のメモリを設けるのではなく、ダウン処理データ等を階層別の記憶領域に分けて記憶する大容量の遅延バッファ３００を採用している。そのため、小容量のメモリを用いる場合に比べて回路素子を効率よく配置することができる。
【０１０３】
また、従来のように階層毎に専用の回路を設けた従来の画像処理装置において、遅延バッファ３００として１つのメモリを使用した場合、遅延バッファ３００のポート数を階層数分設ける必要があった。そのため、メモリ制御が複雑になるという問題があった。
【０１０４】
一方、本画像処理装置では、２つのダウン処理回路を用いているため、遅延バッファ３００のポート数が２つで済み、メモリ制御の簡略化を図ることができる。
【０１０５】
（実施の形態２）
＜実施の形態２の構成＞
実施の形態２による画像処理装置は、図１に示す第１層ダウン処理回路１１０の垂直ＬＰＦ部１０３及び垂直ＤＳ部１０４と、第２層以降ダウン処理回路１２０の垂直ＬＰＦ部１１３及び垂直ＤＳ部１１４と共用化させたことを特徴とする。
【０１０６】
図３は、本発明の実施の形態２による画像処理装置の回路図である。なお、実施の形態２において実施の形態１と同じものは説明を省略する。
【０１０７】
第１層ダウン処理回路１１０は、水平ＤＳ部１０１及びラインバッファ１０２を備えている。水平ＤＳ部１０１は、１ラインの入力画像データＶｉｎを取得する都度、水平ＬＰＦ処理及び水平ＤＳ処理を行い、第１層の水平ＤＳデータＳ１１を算出する。
【０１０８】
ラインバッファ１０２は、第１層の水平ＤＳデータＳ１１を保持する。
【０１０９】
第２層以降ダウン処理回路１２０は、２ラインの第１層の水平ＤＳデータＳ１１が算出される都度、垂直ＬＰＦ処理及び垂直ＤＳ処理を実行して、第１層ダウン処理データＤ１を算出し、遅延バッファ３００に書き込む。
【０１１０】
また、第２層以降ダウン処理回路１２０は、２ラインの第１層ダウン処理データＤ１を算出する都度、１ラインの第２層ダウン処理データＤ２を算出し、遅延バッファ３００に書き込む。
【０１１１】
また、第２層以降ダウン処理回路１２０は、第３層以降のダウン処理データについては、２ラインの第（ｉ−１）層ダウン処理データＤ（ｉ−１）を算出する都度、１ラインの第ｉ層ダウン処理データＤ（ｉ）を算出する。
【０１１２】
具体的には、第２層以降ダウン処理回路１２０は、水平ＤＳ部１１１（第２層以降水平ダウンサンプリング部の一例）、ラインバッファ１１２（第２層以降ラインバッファの一例）、垂直ＬＰＦ部１１３（垂直ダウンサンプリング部の一例）、垂直ＤＳ部１１４（垂直ダウンサンプリング部の一例）、及びマルチプレクサ１１５を備えている。
【０１１３】
水平ＤＳ部１１１は、垂直ＤＳ部１１４により出力された第１〜第４層ダウン処理データＤ１〜Ｄ４がフィードバックされ、第２〜第５層の水平ＤＳデータＳ１１を生成し、ラインバッファ１１２（ａ）〜１１２（ｄ）に書き込む。ラインバッファ１１２（ａ）〜１１２（ｄ）はそれぞれ、実施の形態１と同様、３段のラインバッファから構成されている。
【０１１４】
ラインバッファ１１２は、第２〜第５層の水平ＤＳデータＳ１１を保持するための４つのラインバッファ１１２（ａ）〜１１２（ｄ）を備えている。
【０１１５】
垂直ＬＰＦ部１１３は、ラインバッファ１０２からマルチプレクサ１１５を介して第１層の水平ＤＳデータＳ１１を読み出し、垂直ＬＰＦ処理を実行して、第１層の垂直ＬＰＦデータＳ１２を算出する。
【０１１６】
また、垂直ＬＰＦ部１１３は、ラインバッファ１１２（ａ）〜（ｄ）からマルチプレクサ１１５を介して第２〜第５層の水平ＤＳデータＳ１１を読み出し、垂直ＬＰＦ処理を実行し、第２〜第５層の垂直ＬＰＦデータＳ１２を算出する。
【０１１７】
垂直ＤＳ部１１４は、垂直ＬＰＦ部１１３から出力される第１〜第５層の垂直ＬＰＦデータＳ１２を第１〜第５層ダウン処理データＤ１〜Ｄ５として、遅延バッファ３００に書き込み、かつ、第１〜第４層ダウン処理データＤ１〜Ｄ４を水平ＤＳ部１１１にフィードバックする。
【０１１８】
マルチプレクサ１１５は、入力側にラインバッファ１０２及びラインバッファ１１２が接続され、出力側に垂直ＬＰＦ部１１３が接続されている。
【０１１９】
そして、マルチプレクサ１１５は、ラインバッファ１０２に２ラインの水平ＤＳデータＳ１１が書き込まれる都度、ラインバッファ１０２を垂直ＬＰＦ部１１３に接続し、垂直ＬＰＦ部１１３及び垂直ＤＳ部１１４に第１層ダウン処理データＤ１を算出させる。
【０１２０】
また、マルチプレクサ１１５は、必要に応じて第１層ダウン処理データＤ１の算出処理が終了すると、ラインバッファ１１２を垂直ＬＰＦ部１１３に接続し、第２〜第５層の垂直ＤＳデータＳ１１を適宜読み出し、垂直ＬＰＦ部１１３及び垂直ＤＳ部１１４に、第２層ダウン処理データＤ２〜Ｄ５に算出させる。
【０１２１】
＜実施の形態２の動作＞
図４は、図３に示す画像処理装置のタイミングチャートである。１〜３段目は、図２と同様、有効期間、１ラインの入力画像データＶｉｎの入力タイミング、水平ＤＳ部１０１の動作期間を示している。４段目は、第２層以降ダウン処理回路１２０から出力される第１〜第５層ダウン処理データＤ１〜Ｄ５の処理期間を示している。
【０１２２】
期間Ｔ１，Ｔ２の処理は図２と同じであり、ラインバッファ１０２に水平ＤＳデータＳ１１（１），Ｓ１１（２）が書き込まれる。
【０１２３】
＜期間Ｔ３＞
マルチプレクサ１１５はラインバッファ１０２を垂直ＬＰＦ部１１３に接続させる。次に、垂直ＬＰＦ部１１３は、ラインバッファ１０２から水平ＤＳデータＳ１１（１），Ｓ１１（２）を読み出し、水平ＤＳデータＳ１１（１）を注目ラインとして、垂直ＬＰＦデータＳ１２（１）を算出する。
【０１２４】
次に、垂直ＤＳ部１１４は、垂直ＬＰＦデータＳ１２（１）を第１層ダウン処理データＤ１（１）として遅延バッファ３００に書き込み、かつ、第１層ダウン処理データＤ１（１）を水平ＤＳ部１１１にフィードバックする。次に、水平ＤＳ部１１１は、フィードバックされた第１層ダウン処理データＤ１（１）から第２層の水平ＤＳデータＳ１１（１）を生成し、ラインバッファ１１２（ａ）に書き込む。
【０１２５】
以後、第２層以降ダウン処理回路１２０は、第１層ダウン処理回路１１０に２ラインの入力画像データＶｉｎが入力される都度、第１層ダウン処理データＤ１を算出し、遅延バッファ３００に書き込み、かつ、第１層ダウン処理データＤ１をフィードバックさせて、第２層の水平ＤＳデータＳ１１を算出し、ラインバッファ１１２（ａ）に書き込む。
【０１２６】
＜期間Ｔ５＞
第２層以降ダウン処理回路１２０は、期間Ｔ３と同様に、第１層ダウン処理データＤ１（２）を算出し、第１層ダウン処理データＤ１（２）をフィードバックさせて、第２層の水平ＤＳデータＳ１１（２）を算出し、ラインバッファ１１２（ａ）に書き込む。
【０１２７】
次に、２ラインの第２層の水平ＤＳデータＤＳ１１（１）、ＤＳ１１（２）が得られたため、マルチプレクサ１１５は、ラインバッファ１１２を垂直ＬＰＦ部１１３に接続させる。次に、垂直ＬＰＦ部１１３は、ラインバッファ１１２（ａ）から第２層の水平ＤＳデータＳ１１（１），Ｓ１１（２）を読み出し、第２層の水平ＤＳデータＳ１１（１）を注目ラインとする垂直ＬＰＦ処理を実行し、第２層の垂直ＬＰＦデータＳ１２（１）を算出する。
【０１２８】
次に、垂直ＤＳ部１１４は、第２層の垂直ＬＰＦデータＳ１２（１）を第２層ダウン処理データＤ２（１）として遅延バッファ３００に書き込み、かつ、第２層ダウン処理データＤ２（１）を水平ＤＳ部１０１にフィードバックさせる。次に、水平ＤＳ部１０１は、第２層ダウン処理データＤ２（１）から第３層の水平ＤＳデータＳ１１（１）を生成し、ラインバッファ１１２（ｂ）に書き込む。次に、マルチプレクサ１１５は、ラインバッファ１０２を垂直ＬＰＦ部１１３に接続させる。
【０１２９】
以後、第２層以降ダウン処理回路１２０は、２ラインの第１層ダウン処理データＤ１が算出される都度、１ラインの第２層ダウン処理データＤ２を遅延バッファ３００に書き込み、かつ、第２層ダウン処理データＤ２をフィードバックさせて、第３層の水平ＤＳデータＳ１１を算出し、ラインバッファ１１２（ｂ）に書き込む。
【０１３０】
＜期間Ｔ９＞
第２層以降ダウン処理回路１２０が第１層ダウン処理データＤ１（４）、第２層ダウン処理データＤ２（２）を算出する処理は期間Ｔ５と同じである。
【０１３１】
次に、ラインバッファ１１２（ｂ）に２ライン分の第３層の水平ＤＳデータＳ１１（１），Ｓ１１（２）が蓄積されたため、垂直ＬＰＦ部１１３は、第３層の水平ＤＳデータＳ１１（１），Ｓ１１（２）をラインバッファ１１２（ｂ）から読み出し、第３層の垂直ＬＰＦデータＳ１２（１）を算出する。次に、垂直ＤＳ部１１４は、第３層の垂直ＬＰＦデータＳ１２（１）を第３層ダウン処理データＤ３（１）として、遅延バッファ３００に書き込み、かつ、第３層ダウン処理データＤ３（１）を水平ＤＳ部１１１にフィードバックする。
【０１３２】
次に、水平ＤＳ部１１１は、フィードバックされた第３層ダウン処理データＤ３（１）から第４層の水平ＤＳデータＳ１１（１）を算出し、ラインバッファ１１２（ｃ）に書き込む。
【０１３３】
以後、第２層以降ダウン処理回路１２０は、２ラインの第２層ダウン処理データＤ２を算出する都度、１ラインの第３層ダウン処理データＤ３を遅延バッファ３００に書き込み、かつ、第３層ダウン処理データＤ３をフィードバックさせて、第４層の水平ＤＳデータＳ１１を算出し、ラインバッファ１１２（ｃ）に書き込む。
【０１３４】
＜期間Ｔ１７＞
第２層以降ダウン処理回路１２０が第１層ダウン処理データＤ１（８）、第２層ダウン処理データＤ２（４）、第３層ダウン処理データＤ３（２）を算出する処理は期間Ｔ９と同じである。
【０１３５】
次に、ラインバッファ１１２（ｃ）に２ライン分の第４層の水平ＤＳデータＳ１１（１），Ｓ１１（２）が蓄積されたため、垂直ＬＰＦ部１１３は、第４層の水平ＤＳデータＳ１１（１），Ｓ１１（２）をラインバッファ１１２（ｃ）から読み出し、第４層の垂直ＬＰＦデータＳ１２（１）を算出する。次に、垂直ＤＳ部１１４は、第４層の垂直ＬＰＦデータＳ１２（１）を第４層ダウン処理データＤ４（１）として、遅延バッファ３００に書き込み、かつ、第４層ダウン処理データＤ４（１）を水平ＤＳ部１１１にフィードバックする。
【０１３６】
次に、水平ＤＳ部１１１は、フィードバックされた第４層ダウン処理データＤ４（１）から第５層の水平ＤＳデータＳ１１（１）を算出し、ラインバッファ１１２（ｄ）に書き込む。
【０１３７】
以後、第２層以降ダウン処理回路１２０は、２ラインの第３層ダウン処理データＤ３を算出する都度、１ラインの第４層ダウン処理データＤ４を遅延バッファ３００に書き込み、かつ、第４層ダウン処理データＤ４をフィードバックさせて、第５層の水平ＤＳデータＳ１１を算出し、ラインバッファ１１２（ｄ）に書き込む。
【０１３８】
なお、第２層以降ダウン処理回路１２０の処理は、第１層ダウン処理回路１１０の処理と同期をとる必要がないため、第１〜第４層ダウン処理データＤ１（８），Ｄ２（４），Ｄ３（２），Ｄ４（１）の算出期間は、期間Ｔ１７内に収まる必要はない。
【０１３９】
このように実施の形態２による画像処理装置によれば、第１層ダウン処理と第２層以降処理において、垂直ＬＰＦ部１１３及び垂直ＤＳ部１１４が共有化されているため、更に回路規模を縮小することができる。
【０１４０】
（実施の形態３）
実施の形態３は、制御部をＣＰＵ４００で構成したことを特徴とする。図５は、本発明の実施の形態３による画像処理装置の回路図である。図５の例では、実施の形態２による画像処理装置が採用されている。但し、これに限定されず、実施の形態１の画像処理装置をＣＰＵ４００で制御してもよい。
【０１４１】
ＣＰＵ４００は、水平ＤＳ部１０１，１１１、ラインバッファ１０２，１１２、垂直ＬＰＦ部１０３、垂直ＤＳ部１０４、遅延バッファ３００、ＭＩＸ部２１２，２０２等の各回路素子と接続されている。そして、ＣＰＵ４００は各回路素子から処理完了割り込みが入力されると、各回路素子に動作開始指示を出力し、各回路素子を動作させる。
【０１４２】
このように、制御部をＣＰＵ４００で構成することで、階層数の変更に対して柔軟に対応することができる。特に本画像処理装置を撮像装置に適用させる場合、撮像装置の仕様により階層数が適宜設定される。この場合、制御部として専用のハードウェア回路を用いると、このような変更に柔軟に対応することができない。
【０１４３】
一方、制御部をＣＰＵ４００で構成すると、プログラムを書き換えることで階層数を変更することができ、汎用性の高い画像処理装置を構成することができる。
【符号の説明】
【０１４４】
１０１，１１１ 水平ＤＳ部
１０２，１１２ ラインバッファ
１０３ 垂直ＬＰＦ部
１０４、１１４ 垂直ＤＳ部
１１０ 第１層ダウン処理回路
１２０ 第２層以降ダウン処理回路
１１５ マルチプレクサ
２１０ 第１層アップ処理回路
２０１、２１１ 水平垂直ＵＰ部
２０２、２１２ ＭＩＸ部
２２０ 第２層以降アップ処理回路
３００ 遅延バッファ
【特許請求の範囲】
【請求項１】
入力画像データに対して、ローパスフィルタ処理及びダウンサンプリング処理を含むダウン処理を第１〜第ｎ（ｎは２以上の整数）層にわたって階層的に行った後、アップサンプリング処理を第ｎ〜第１層にわたって階層的に行って、前記入力画像データから低周波成分を抽出する画像処理装置であって、
前記入力画像データに対する前記ダウン処理である第１層ダウン処理を実行する第１層ダウン処理回路と、
第２〜第ｎ層の各層の前記ダウン処理である第ｉ（ｉ＝２〜ｎ）層ダウン処理を実行する第２層以降ダウン処理回路とを備え、
前記第２層以降ダウン処理回路は、前記第ｉ層ダウン処理を時分割で実行し、かつ、前記第１層ダウン処理と並列して前記第ｉ層ダウン処理を実行する画像処理装置。
【請求項２】
前記ダウンサンプリング処理は、前記入力画像データの水平方向及び垂直方向の画素数をそれぞれ１／ｆ（ｆは２以上の整数）にダウンサンプリングする処理であり、
前記第１層ダウン処理回路は、ｆラインの前記入力画像データを取得する都度、１ラインの第１層ダウン処理データを算出し、
前記第２層以降ダウン処理回路は、ｆラインの前記第１層ダウン処理データが算出される都度、１ラインの第２層ダウン処理データを算出し、かつ、第３層以降のダウン処理データについては、ｆラインの第（ｉ−１）層ダウン処理データを算出する都度、１ラインの第ｉ層ダウン処理データを算出する請求項１記載の画像処理装置。
【請求項３】
前記第１層ダウン処理回路は、１ラインの前記入力画像データを取得する都度、水平方向の前記ダウン処理を行って第１層水平ダウンサンプリングデータを算出し、
前記第２層以降ダウン処理回路は、
ｆラインの前記第１層水平ダウンサンプリングデータが算出される都度、垂直方向の前記ダウン処理を実行して１ラインの第１層ダウン処理データを算出し、
ｆラインの前記第１層ダウン処理データを算出する都度、１ラインの第２層ダウン処理データを算出し、第３層以降のダウン処理データについては、ｆラインの第（ｉ−１）層ダウン処理データを算出する都度、１ラインの第ｉ層ダウン処理データを算出する請求項１記載の画像処理装置。
【請求項４】
前記第１層ダウン処理回路は、
前記第１層水平ダウンサンプリングデータを算出する第１層水平ダウンサンプリング部と、
前記第１層水平ダウンサンプリングデータを保持する第１層ラインバッファとを備え、
前記第２層以降ダウン処理回路は、
前記第（ｉ−１）層ダウン処理データに対し、水平方向の前記ダウン処理を実行し、第ｉ層水平ダウンサンプリングデータを算出する第２層以降水平ダウンサンプリング部と、
前記第ｉ層水平ダウンサンプリングデータを保持する第２層以降ラインバッファと、
前記第１層水平ダウンサンプリングデータを前記第１層ラインバッファから読み出して垂直方向の前記ダウン処理を実行し、前記第１層ダウン処理データを算出し、かつ、前記第２層以降ラインバッファから前記第ｉ層水平ダウンサンプリングデータを読み出し、垂直方向の前記ダウン処理を実行し、前記第ｉ層ダウン処理データを算出する垂直ダウンサンプリング部と、
前記第１層ラインバッファと前記第２層以降ラインバッファとを切り替えて前記垂直ダウンサンプリング部に接続させるマルチプレクサとを備える請求項３記載の画像処理装置。
【請求項５】
前記入力画像データ及び前記第１〜第ｎ層ダウン処理データを保持する遅延バッファと、
前記遅延バッファに保持されている前記第１〜第ｎ層ダウン処理データに基づいて、前記第１〜第ｎ層ダウン処理データのエッジ部分が保持されるように、前記第ｎ層ダウン処理データを順次にアップサンプリングし、前記低周波成分を算出するアップ処理回路とを更に備える請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記第１層ダウン処理回路及び前記第２層以降ダウン処理回路を制御する制御部を更に備え、
前記制御部は、ＣＰＵにより構成されている請求項１〜５のいずれかに記載の画像処理装置。
【請求項１】
入力画像データに対して、ローパスフィルタ処理及びダウンサンプリング処理を含むダウン処理を第１〜第ｎ（ｎは２以上の整数）層にわたって階層的に行った後、アップサンプリング処理を第ｎ〜第１層にわたって階層的に行って、前記入力画像データから低周波成分を抽出する画像処理装置であって、
前記入力画像データに対する前記ダウン処理である第１層ダウン処理を実行する第１層ダウン処理回路と、
第２〜第ｎ層の各層の前記ダウン処理である第ｉ（ｉ＝２〜ｎ）層ダウン処理を実行する第２層以降ダウン処理回路とを備え、
前記第２層以降ダウン処理回路は、前記第ｉ層ダウン処理を時分割で実行し、かつ、前記第１層ダウン処理と並列して前記第ｉ層ダウン処理を実行する画像処理装置。
【請求項２】
前記ダウンサンプリング処理は、前記入力画像データの水平方向及び垂直方向の画素数をそれぞれ１／ｆ（ｆは２以上の整数）にダウンサンプリングする処理であり、
前記第１層ダウン処理回路は、ｆラインの前記入力画像データを取得する都度、１ラインの第１層ダウン処理データを算出し、
前記第２層以降ダウン処理回路は、ｆラインの前記第１層ダウン処理データが算出される都度、１ラインの第２層ダウン処理データを算出し、かつ、第３層以降のダウン処理データについては、ｆラインの第（ｉ−１）層ダウン処理データを算出する都度、１ラインの第ｉ層ダウン処理データを算出する請求項１記載の画像処理装置。
【請求項３】
前記第１層ダウン処理回路は、１ラインの前記入力画像データを取得する都度、水平方向の前記ダウン処理を行って第１層水平ダウンサンプリングデータを算出し、
前記第２層以降ダウン処理回路は、
ｆラインの前記第１層水平ダウンサンプリングデータが算出される都度、垂直方向の前記ダウン処理を実行して１ラインの第１層ダウン処理データを算出し、
ｆラインの前記第１層ダウン処理データを算出する都度、１ラインの第２層ダウン処理データを算出し、第３層以降のダウン処理データについては、ｆラインの第（ｉ−１）層ダウン処理データを算出する都度、１ラインの第ｉ層ダウン処理データを算出する請求項１記載の画像処理装置。
【請求項４】
前記第１層ダウン処理回路は、
前記第１層水平ダウンサンプリングデータを算出する第１層水平ダウンサンプリング部と、
前記第１層水平ダウンサンプリングデータを保持する第１層ラインバッファとを備え、
前記第２層以降ダウン処理回路は、
前記第（ｉ−１）層ダウン処理データに対し、水平方向の前記ダウン処理を実行し、第ｉ層水平ダウンサンプリングデータを算出する第２層以降水平ダウンサンプリング部と、
前記第ｉ層水平ダウンサンプリングデータを保持する第２層以降ラインバッファと、
前記第１層水平ダウンサンプリングデータを前記第１層ラインバッファから読み出して垂直方向の前記ダウン処理を実行し、前記第１層ダウン処理データを算出し、かつ、前記第２層以降ラインバッファから前記第ｉ層水平ダウンサンプリングデータを読み出し、垂直方向の前記ダウン処理を実行し、前記第ｉ層ダウン処理データを算出する垂直ダウンサンプリング部と、
前記第１層ラインバッファと前記第２層以降ラインバッファとを切り替えて前記垂直ダウンサンプリング部に接続させるマルチプレクサとを備える請求項３記載の画像処理装置。
【請求項５】
前記入力画像データ及び前記第１〜第ｎ層ダウン処理データを保持する遅延バッファと、
前記遅延バッファに保持されている前記第１〜第ｎ層ダウン処理データに基づいて、前記第１〜第ｎ層ダウン処理データのエッジ部分が保持されるように、前記第ｎ層ダウン処理データを順次にアップサンプリングし、前記低周波成分を算出するアップ処理回路とを更に備える請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記第１層ダウン処理回路及び前記第２層以降ダウン処理回路を制御する制御部を更に備え、
前記制御部は、ＣＰＵにより構成されている請求項１〜５のいずれかに記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２４３２４２（Ｐ２０１２−２４３２４２Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１５７２４（Ｐ２０１１−１１５７２４）
【出願日】平成２３年５月２４日（２０１１．５．２４）
【出願人】（３０３０００４０８）コニカミノルタアドバンストレイヤー株式会社 (3,255)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２４日（２０１１．５．２４）
【出願人】（３０３０００４０８）コニカミノルタアドバンストレイヤー株式会社 (3,255)
【Ｆターム（参考）】
[ Back to top ]