メディアンフィルタ回路
【課題】 複数の大きさのメディアンフィルタを1つの回路で実現でき、画像データの端部の画素についても容易に且つ適切に補正できるメディアンフィルタ回路を提供する。
【解決手段】 画素値を格納するk(k=n×mまたはn×m×r、n、m、rの少なくとも1つは2以上)個のセルCと、無効セルの画素値を、有効セルの画素値の最小値以下または最大値以上の値に置き換える画素値置換回路12と、画素値の大きい順または小さい順に、i番目までのセルCの画素値を順序付けするソーティング回路13と、有効セル数eに基づいて、中央値として用いる画素値の順位jを出力する位置特定回路14と、j番目の順位のセルの画素値を出力する中央値出力回路15と、を備える。
【解決手段】 画素値を格納するk(k=n×mまたはn×m×r、n、m、rの少なくとも1つは2以上)個のセルCと、無効セルの画素値を、有効セルの画素値の最小値以下または最大値以上の値に置き換える画素値置換回路12と、画素値の大きい順または小さい順に、i番目までのセルCの画素値を順序付けするソーティング回路13と、有効セル数eに基づいて、中央値として用いる画素値の順位jを出力する位置特定回路14と、j番目の順位のセルの画素値を出力する中央値出力回路15と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データ上に、注目画素を含む複数の画素で構成される処理領域を設定し、処理領域に含まれる画素の画素値の中央値を求め、注目画素の画素値を中央値に置き換えるメディアンフィルタ回路に関する。
【背景技術】
【0002】
メディアンフィルタは、画像データを構成する画素から画素値の補正を行う注目画素を選択し、注目画素を含む複数の画素で構成される処理領域を設定し、処理領域に含まれる画素の画素値の中央値を求め、注目画素の画素値を中央値に置き換える。メディアンフィルタは、画像処理において、ノイズ除去フィルタや欠陥除去フィルタとして用いられており、様々なアルゴリズム(例えば、非特許文献1参照)や回路が提案されている。
【0003】
メディアンフィルタ回路としては、例えば、次数(並び替えを行う画素データの数)+1個の画素データを保持するためのメディアンセルを用意し、各メディアンセルを、入力手段から入力された画素データと、上流と下流のメディアンセル夫々が保持している画素データを受け付けるように構成されたメディアンフィルタ回路がある(例えば、特許文献1参照)。
【0004】
当該メディアンフィルタ回路の動作は、入力手段から画像データが入力され、且つ、上流のメディアンセルからデータが出力されない場合は、現在保持している画像データと入力手段から入力された画素データを比較して何れか一方を選択し、選択されたデータが入力手段から入力された画素データの場合は、現在保持している画像データを下流のメディアンセルに出力して入力手段から入力された画素データを保持する。上流のメディアンセルから画像データが出力された場合は、現在保持している画像データを下流のメディアンセルに出力して上流のメディアンセルから出力された画像データを保持する。これにより、画素データの並び替えを簡単な回路構成で実現できる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平11−45171号公報
【非特許文献】
【0006】
【非特許文献1】浜村倫行、入江文平、“3×3メディアンフィルタの高速アルゴリズム”、(FIT)情報科学技術フォーラム2002 講演論文、141−142頁
【発明の概要】
【発明が解決しようとする課題】
【0007】
ここで、従来のメディアンフィルタ回路では、例えば、処理領域の大きさ、例えば、3×3、5×5等に応じて、別個に回路を用意していた。つまり、画像の種類や用途等によって、メディアンフィルタの大きさを変更したい場合には、使用したいメディアンフィルタの大きさ毎にメディアンフィルタ回路を用意する必要があった。
【0008】
また、例えば、処理領域は、注目画素とその周囲の画素で構成されることが一般的であるが、この場合、画像データの端の画素については、処理領域中に画素が存在しない領域ができるため、処理領域の近隣の画素を代わりに参照する、或いは、処理領域全体が前記画像データ上に設定されるように処理領域及び注目画素の設定を制限する等の対応を行う必要があった。
【0009】
本発明は上記の問題に鑑みてなされたものであり、その目的は、複数の大きさのメディアンフィルタを1つの回路で実現でき、画像データの端部の画素についても容易に且つ適切に補正できるメディアンフィルタ回路を提供する点にある。
【課題を解決するための手段】
【0010】
上記目的を達成するための本発明に係るメディアンフィルタ回路は、画像データを構成する1つの画素値を夫々が格納するk(但し、k=n×mまたはn×m×r、n、m、rは正の整数で、n、mの内の少なくとも1つとrは2以上)個のセルと、入力された画素値を利用する有効セル以外の無効セルの画素値を、前記有効セルの前記画素値の最小値以下または最大値以上の所定値に設定する画素値置換回路と、格納されている前記画素値の大きい順または小さい順に、kが偶数の場合は変数i=k/2または(k/2)+1とし、kが奇数の場合は変数i=(k+1)/2とし、i番目までの前記セルの画素値を順序付けするソーティング回路と、前記有効セルの数に基づいて、中央値として用いる前記画素値の順位jを出力する位置特定回路と、前記位置特定回路で求めた前記順位jに基づいて、前記ソーティング回路で順序付けられたj番目の順位の前記セルの画素値を出力する中央値出力回路と、を備えることを第1の特徴とする。
【0011】
更に好ましくは、上記特徴のメディアンフィルタ回路は、前記ソーティング回路が、前記画素値置換回路が前記無効セルの画素値を前記有効セルの画素値の最小値以下の前記所定値に書き換える場合、前記セルの画素値を数値の大きい順にi番目まで順序付けし、前記無効セルの画素値を前記有効セルの画素値の最大値以上の前記所定値に書き換える場合、前記セルの画素値を数値の小さい順にi番目まで順序付けるように構成され、前記位置特定回路が、前記順位jを、前記有効セルの数eが奇数の場合は(e+1)/2とし、前記有効セルの数eが偶数の場合は、(e/2)または(e/2)+1とする。
【0012】
更に好ましくは、上記特徴のメディアンフィルタ回路は、前記位置特定回路が、外部入力に基づいて、前記有効セルの数eが偶数の場合に、前記順位jを、(e/2)または(e/2)+1の何れにするかの指定を受け付け可能に構成されている。
【0013】
更に好ましくは、上記何れかの特徴のメディアンフィルタ回路は、前記画素値置換回路が、画素値が入力されない前記セルを前記無効セルとする。
【0014】
更に好ましくは、上記何れかの特徴のメディアンフィルタ回路は、前記画素値置換回路が、前記セルの夫々について、前記有効セルであるか前記無効セルであるかの設定を受け付け可能に構成されている。
【0015】
更に好ましくは、上記特徴のメディアンフィルタ回路は、前記画素値置換回路が、k=n×mの場合において、外部入力によりa×b(1≦a<n、1≦b≦m、または、1≦a≦n、1≦b<m)個の前記セルを利用することが選択された場合に、a×b個の前記セル以外の前記セルを前記無効セルとする。
【0016】
更に好ましくは、上記特徴のメディアンフィルタ回路は、前記画素値置換回路が、k=n×m×rの場合において、外部入力によりa×b×c(1≦a<n、1≦b≦m、1≦c≦r、または、1≦a≦n、1≦b<m、1≦c≦r、または、1≦a≦n、1≦b≦m、1≦c<r)個の前記セルを利用することが選択された場合に、a×b×c個の前記セル以外の前記セルを前記無効セルとする。
【0017】
更に好ましくは、上記特徴のメディアンフィルタ回路は、a及びbが奇数である。
【0018】
更に好ましくは、上記特徴のメディアンフィルタ回路は、a=bである。
【0019】
更に好ましくは、上記何れかの特徴のメディアンフィルタ回路は、n及びmが3以上の奇数である。
【0020】
更に好ましくは、上記何れかの特徴のメディアンフィルタ回路は、n=mである。
【0021】
上記目的を達成するための本発明に係る画像処理装置は、前記画像データを構成する前記画素から注目画素を選択し、前記注目画素を含む処理領域を設定し、上記何れかの特徴のメディアンフィルタ回路に前記処理領域に含まれる前記画素の画素値を入力し、前記メディアンフィルタ回路の出力値を前記注目画素の画素値とすることを特徴とする。
【発明の効果】
【0022】
上記特徴のメディアンフィルタ回路によれば、任意のセルを無効セルとし、無効セルの画素値を有効セルの画素値の最小値以下または最大値以上の所定値に置き換えるので、例えば、画像データの端部の画素を注目画素とした場合に、処理領域の近隣の画素を代わりに参照する、或いは、処理領域の設定に制限を設ける必要がなくなる。即ち、画像データの端部の画素についても、従来に比べより簡素な構成で適切な補正を行うことが可能になる。
【0023】
上記特徴のメディアンフィルタ回路によれば、任意のセルを無効セルとし、無効セルの画素値を有効セルの画素値の最小値以下または最大値以上の所定値に置き換えるので、例えば、k=n×mの場合は、より小さいサイズのa×bのメディアンフィルタ回路として、k=n×m×rの場合は、より小さいサイズのa×b×cのメディアンフィルタ回路として利用することが可能になる。即ち、複数の大きさのメディアンフィルタを1つの回路で実現できる。
【0024】
更に、上記特徴のメディアンフィルタ回路によれば、有効セルと無効セルを任意に設定可能であることから、通常の画像だけでなく、例えば、YUV422方式等、様々な種類の画像データに対応することが可能になる。
【図面の簡単な説明】
【0025】
【図1】本発明に係る画像処理装置及び本発明に係るメディアンフィルタ回路の第1実施形態における概略構成例を示す概略ブロック図である。
【図2】本発明に係るメディアンフィルタ回路の第1実施形態におけるソーティング回路及び中央値出力回路の概略構成例を示す概略ブロック図である。
【図3】本発明に係るメディアンフィルタの第1実施形態における有効セル及び無効セルの設定例を示すブロック図である。
【図4】本発明に係るメディアンフィルタの第1実施形態における有効セル及び無効セルの設定例を説明するブロック図である。
【図5】本発明に係るメディアンフィルタの第1実施形態における画素値置換回路の動作を説明するブロック図である。
【図6】YUV422方式のカラー画像の構成を示すブロック図である。
【図7】本発明に係るメディアンフィルタ回路の第3実施形態におけるソーティング回路及び中央値出力回路の概略構成例を示す概略ブロック図である。
【図8】本発明に係るメディアンフィルタの第3実施形態における有効セル及び無効セルの設定例を示すブロック図である。
【図9】本発明に係るメディアンフィルタの第3実施形態における有効セル及び無効セルの設定例を示すブロック図である。
【図10】本発明に係るメディアンフィルタの第4実施形態における有効セル及び無効セルの設定例を示すブロック図である。
【図11】本発明に係るメディアンフィルタの第4実施形態における有効セル及び無効セルの設定例を示すブロック図である。
【図12】本発明に係る画像処理装置及び本発明に係るメディアンフィルタ回路の別実施形態における概略構成例を示す概略ブロック図である。
【発明を実施するための形態】
【0026】
以下、本発明に係るメディアンフィルタ回路及び画像処理装置(以下、適宜「本発明回路」「本発明装置」と略称する)の実施形態を図面に基づいて説明する。
【0027】
〈第1実施形態〉
本発明回路及び本発明装置の第1実施形態について図1〜図3を基に説明する。
【0028】
先ず、本発明回路1A及び本発明装置2の構成について図1を基に説明する。ここで、図1は、本発明回路1A及び本発明装置2の概略構成例を示している。
【0029】
本発明装置2は、図1に示すように、本発明回路1Aを用いて画像データの処理を行う画像補正回路21と、画像データを記憶する記憶装置22を備えて構成されている。
【0030】
より具体的には、本発明装置2の画像補正回路21は、画像データを構成する画素から注目画素を選択し、注目画素を含む処理領域を設定し、本発明回路1Aに処理領域に含まれる画素の画素値を入力するように構成されている。更に、画像補正回路21は、本発明回路1Aの出力値を注目画素の画素値として画像データの補正を行う。より具体的には、画像補正回路21は、注目画素を、画像データの一番上の行の左端の画素から右端の画素に向けて順に選択し、右端の画素が注目画素として選択されると、次行の左端の画素から右端の画素に向けて順に選択する。同様にして、画像データの全ての画素を順次注目画素として選択する。
【0031】
本発明回路1Aは、図1に示すように、画像データを構成する1つの画素値を夫々が格納するk個のセルCからなるセル群10と、画像補正回路21から入力された画素値を利用する有効セル以外の無効セルの画素値を、有効セルの画素値の最小値以下または最大値以上の所定値に設定する画素値置換回路12と、格納されている画素値の大きい順または小さい順に、i番目までのセルCの画素値を順序付けするソーティング回路13と、有効セルの数に基づいて、中央値として用いる画素値の順位jを出力する位置特定回路14と、位置特定回路14で求めた順位jに基づいて、ソーティング回路13で順序付けられたj番目の順位のセルCの画素値Sjを出力する中央値出力回路15と、を備えている。但し、k=n×m、n、mは正の整数で、その内の少なくとも1つは2以上である。また、ソーティング回路13において、変数iは、kが偶数の場合はk/2または(k/2)+1とし、kが奇数の場合は(k+1)/2とする。
【0032】
尚、本実施形態では、画像処理の対象となる画像データが、レンジ0〜255の輝度値のデータである場合を想定している。従って、セルCは、1つの輝度値のデータ(8ビット)を記憶するラッチ回路で構成されている。
【0033】
更に、本実施形態では、n=m=3、k=n×m=9であり、注目画素を中心とする9個の画素が処理領域となる場合を想定して説明する。ここで、図2は、9個のセルCで構成されるセル群10、ソーティング回路13及び中央値出力回路15の概略構成例を示している。また、図3及び図4は、有効セル及び無効セルの設定例を示しており、中央の画素P22が注目画素、斜線の画素に対応するセルCが有効セルである。更に、図3の太線より右下側が画像データの存在する画素エリアを表している。
【0034】
画素値置換回路12は、画像データの輝度値のレンジが0〜255であることから、無効セルの画素データを、有効セルの最小値以下の値である0に置き換える。尚、本実施形態の画素値置換回路12は、画像補正回路21から画素値が入力されないセルを無効セルとするように構成されている。また、本実施形態の画素値置換回路12は、有効セル数e(入力された画素値の数)を位置特定回路14に出力するように構成されている。
【0035】
ソーティング回路13は、本実施形態では、画素値置換回路12が無効セルのデータを有効セルの最小値以下の所定値0に置き換えることから、数値の大きい順に順序付けする。また、k=9(奇数)なので、i=(k+1)/2=5とし、5番目までのセルCの画素値を順序付けする。より具体的には、ソーティング回路13は、図2に示すように、複数の大小判定回路Dで構成されており、各大小判定回路Dは、2つの入力値について、大きい値を右上に、小さい値を右下に出力する。このように構成することにより、1〜5番目までの画素値を大きい順に出力している。
【0036】
位置特定回路14は、本実施形態では、画素値置換回路12から有効セル数eを受け付け、順位jを、有効セル数eが奇数の場合は(e+1)/2とし、有効セル数eが偶数の場合は、(e/2)+1とする。
【0037】
中央値出力回路15は、図2に示すように、ソーティング回路13で順序付けられた5個の画素値S1〜S5を受け付け、j番目の画素値Sjを出力するセレクタ回路で構成されている。
【0038】
次に、本発明回路1Aの処理手順について、図3〜図5を基に説明する。尚、図3及び図4は、処理領域内の各セルCの有効セル及び無効セルの設定例を示している。
【0039】
先ず、注目画素が画像データの左上外周部に設定されている場合の本発明回路1Aの動作について図3を基に説明する。
【0040】
図3では、中心の画素P22が注目画素であり、画像データの輝度値が夫々、P22=100、P23=200、P32=150、P33=255、P11=P12=P13=P21=P31=NULL(データ無し)の場合を想定している。
【0041】
画像補正回路21から画素値が入力されると、入力された画素値が夫々対応するセルCに入力される。ここでは、P22=100、P23=200、P32=150、P33=255の4個の値が対応するセルC22、C23、C32、C33に入力される。
【0042】
セルCに画素値が入力されると、画素値置換回路12は、処理領域のP11〜P13、P21、P31に対応するセルC11〜C13、C21、C31、即ち、画素値が入力されないセルC11〜C13、C21、C31を無効セルとし、値を所定値0に設定する。また、位置特定回路14に対し、有効セル数e=4を出力する。
【0043】
画素値置換回路12によって無効セルの値が0に設定されると、ソーティング回路13が、9個の画素値を順位付けして中央値出力回路15に出力する。ここでは、数値の大きい順に、1番目〜5番目までの数値が出力される。具体的には、数値の大きい順に、255、200、150、100、0が出力される。
【0044】
位置特定回路14は、画素値置換回路12から有効セル数eを受け付け、順位jを求める。ここでは、有効セルの数e=4(偶数)なので、j=(e/2)+1=3となる。
【0045】
最後に、中央値出力回路15は、ソーティング回路13から出力された画素値255、200、150、100、0の3番目の画素値S3=150を、中央値として画像補正回路21に出力する。
【0046】
続いて、注目画素が画像データの外周以外の画素に設定されている場合の本発明回路1Aの動作について図4を基に説明する。
【0047】
図4では、図3と同様に中心の画素P22が注目画素であり、画像データの輝度値が夫々、P11=0、P12=100、P13=200、P21=10、P22=100、P23=200、P31=20、P32=150、P33=255の場合を想定している。
【0048】
画像補正回路21から画素値が入力されると、入力された画素値が夫々対応するセルCに入力される。ここでは、P11=0、P12=100、P13=200、P21=10、P22=100、P23=200、P31=20、P32=150、P33=255の9つの値が対応するセルCに入力される。
【0049】
セルCに画素値が入力されると、画素値置換回路12は、位置特定回路14に対し、有効セル数e=9を出力する。尚、ここでは、画素値が入力されないセルCが存在しないため、無効セルが無いとして、画素値の置き換えは行わない。
【0050】
ソーティング回路13は、9個の画素値を順位付けして中央値出力回路15に出力する。ここでは、数値の大きい順に、1番目〜5番目までの数値が出力される。具体的には、数値の大きい順に、255、200、200、150、100が出力される。
【0051】
位置特定回路14は、画素値置換回路12から有効セル数eを受け付け、順位jを求める。ここでは、有効セルの数e=9(奇数)なので、j=(e+1)/2=5となる。
【0052】
最後に、中央値出力回路15は、ソーティング回路13から出力された画素値255、200、200、150、100の5番目の画素値100を、中央値として画像補正回路21に出力する。
【0053】
本実施形態では、画素値置換回路12が、画像補正回路21から画素値が入力されないセルCを無効セルとするように構成されているので、画像データの端部の画素についても、処理領域の近隣の画素を代わりに参照する、或いは、処理領域の設定に制限を設ける等の処理を行うことなく、容易に中央値を求めることができる。
【0054】
〈第2実施形態〉
本発明回路1A及び本発明装置2の第2実施形態について図6を基に説明する。尚、本実施形態では、無効セル及び有効セルの指定を任意に行なえる場合について説明する。
【0055】
先ず、本発明回路1A及び本発明装置2の構成について図1及び図2を基に説明する。尚、本発明装置2の記憶装置22の構成は、第1実施形態の本発明装置2の記憶装置22の構成と同じである。
【0056】
画像補正回路21は、上記第1実施形態と同様に、注目画素の選択及び処理領域の設定、処理領域内の画素値の本発明回路1Aへの入力を行なうように構成されている。更に、本実施形態の画像補正回路21は、画素値置換回路12に対し、セルC夫々について、有効セル及び無効セルの設定を入力可能に構成されている。
【0057】
本発明回路1Aは、第1実施形態と同様に、図1に示すように、k個のセルCからなるセル群10と、画素値置換回路12と、ソーティング回路13と、位置特定回路14と、中央値出力回路15を備えて構成されている。尚、セルC、セル群10、ソーティング回路13、位置特定回路14及び中央値出力回路15の構成は上記第1実施形態と同じである。
【0058】
本実施形態では、上記第1実施形態と同様に、n=m=3、k=n×m=9であり、注目画素を中心とする9個の画素が処理領域となる場合を想定して説明する。
【0059】
本実施形態では、画像処理の対象となる画像データは、YUV422方式のカラー画像データを想定している。YUV422方式のカラー画像データは、図6に示すように、輝度値のデータ(Y)、輝度値と青色成分の差(U)、輝度値と赤色成分の差(V)で構成されている。このような画像データの場合、例えば、Y32を注目画素とした場合、単純に3×3の範囲、例えば、V21、V31、V41、Y22、Y32、Y42、U21、U31、U41には、3つの異なる種類の数値が存在するため、全ての値を用いるのは適切ではない。従って、本実施形態では、同じ輝度値のデータY22、Y32、Y42から中央値を求めるように構成する。
【0060】
本実施形態の画素値置換回路12は、セルCの夫々について、有効セルであるか無効セルであるかの設定を受け付け可能に構成されている。具体的には、本実施形態では、初期設定として3×3の全てのセルCを有効セルとし、初期設定に対する変更を受け付けるように構成している。尚、有効セル及び無効セルの設定方法は、これに限るものではなく、全てのセルCについて有効セルであるか無効セルであるかを入力するように構成してもよいし、他の初期設定を用いても良い。画素値置換回路12は、上記第1実施形態と同様に、Yがレンジ0〜255の輝度値のデータであることから、0を所定値として置換する。
【0061】
本発明回路1Aを用いてYUV422方式のカラー画像を処理する場合の処理手順について、図6を基に説明する。
【0062】
画像補正回路21は、先ず、画素値置換回路12に対し、注目画素とその上下の画素に対応するセルCを有効セルとするように指定する。図6では、太線内の9個の画素が処理領域であり、注目画素をY32とすると、Y22、Y32、Y42に対応するセルCを有効セルとするように指定する。その後、画像補正回路21は、V21、V31、V41、Y22、Y32、Y42、U21、U31、U41の値を本発明回路1Aに出力する。
【0063】
画像補正回路21から、V21、V31、V41、Y22、Y32、Y42、U21、U31、U41の画素値が入力されると、入力された画素値が夫々対応するセルCに入力される。
【0064】
画像補正回路21からセルCに画素値が入力されると、画素値置換回路12は、Y22、Y32、Y42に対応するセルCを有効セルとし、V21、V31、V41、U21、U31、U41に対応するセルCを無効セルに設定し、無効セルの値を所定値0に設定する。また、画素値置換回路12は、有効セル数e=3を位置特定回路14に出力する。
【0065】
画素値置換回路12によって無効セルの値が0に設定されると、ソーティング回路13が、上記第1実施形態と同様に、数値の大きい順に5番目までのセルCの画素値を順序付けして中央値出力回路15に出力する。
【0066】
位置特定回路14は、有効セル数eが奇数なので、j=(e+1)/2=2を中央値出力回路15に出力する。
【0067】
中央値出力回路15は、ソーティング回路13から出力された5個の画素値の内の2番目の画素値S2を中央値として画像補正回路21に出力する。
【0068】
尚、本実施形態では、YUV422方式のカラー画像を処理する場合について説明したが、他の方式の画像にも適用可能である。また、本実施形態の画素値置換回路12は、有効セル及び無効セルを任意に指定できるので、画像データが通常の輝度値のデータの場合でも、例えば、処理領域の範囲を円形にとる等、画像データの質や用途等に応じて柔軟な設定を行うことが可能になる。
【0069】
〈第3実施形態〉
本発明回路1A及び本発明装置2の第3実施形態について図7〜図9を基に説明する。尚、上記第1及び第2実施形態では、本発明回路1Aが3×3のメディアンフィルタである場合を想定して説明したが、本実施形態では、本発明回路1Aが5×5のメディアンフィルタであり、3×3のメディアンフィルタとしても利用可能に構成されている場合を想定して説明する。
【0070】
先ず、本発明回路1A及び本発明装置2の構成について図1及び図7を基に説明する。ここで、図7は、ソーティング回路13及び中央値出力回路15の概略構成例を示している。尚、本発明装置2の記憶装置22の構成は、上記第1及び第2実施形態の本発明装置2の記憶装置22の構成と同じである。
【0071】
画像補正回路21は、上記第1及び第2実施形態と同様に、注目画素の選択及び処理領域の設定、処理領域内の画素値の本発明回路1Aへの入力を行なうように構成されている。更に、本実施形態の画像補正回路21は、3×3のメディアンフィルタを用いる場合に、画素値置換回路12に対し、3×3のメディアンフィルタを指定するように構成されている。
【0072】
本発明回路1Aは、第1及び第2実施形態と同様に、図1に示すように、k個のセルCからなるセル群10と、画素値置換回路12と、ソーティング回路13と、位置特定回路14と、中央値出力回路15を備えて構成されている。尚、セルC、及び、位置特定回路14の構成は上記第1及び第2実施形態と同じである。
【0073】
尚、本実施形態では、画像処理の対象となる画像データが、上記第1実施形態と同様に、レンジ0〜255の輝度値のデータである場合を想定している。
【0074】
ここで、本実施形態では、n=m=5、k=n×m=25であり、注目画素を中心とする25個の画素が処理領域となる場合を想定して説明する。従って、セル群10は、25個のセルCで構成されている。ここで、図7は、25個のセルCで構成されるセル群10、ソーティング回路13及び中央値出力回路15の概略構成例を示している。また、図8及び図9は、処理領域内の各セルCの有効セル及び無効セルの設定例を示しており、中央の画素P33が注目画素、斜線の画素に対応するセルCが有効セルである。更に、図9の太線より右下側が画像データの存在する画素エリアを表している。
【0075】
画素値置換回路12は、本実施形態では、外部入力によりa×b(1≦a<n、1≦b≦m、または、1≦a≦n、1≦b<m)個のセルCを利用することが選択された場合に、a×b個のセルC以外のセルCを無効セルとするように構成されている。ここでは、a=b=3の場合を想定している。
【0076】
より具体的には、本実施形態の画素値置換回路12は、画像補正回路21から、3×3のメディアンフィルタとして用いることを指定可能に構成されている。尚、3×3のメディアンフィルタとして用いることを指定されていない場合は、5×5のメディアンフィルタとして機能する。画素値置換回路12は、3×3のメディアンフィルタとして用いることが指定された場合、図8に示すように、画素P11〜P15、P21、P25、P31、P35、P41、P45、P51〜P55に対応するセルCを無効セルに設定する。
【0077】
更に、画素値置換回路12は、有効セル及び無効セルの設定を受け付け可能に設定されており、指定された或いは初期設定の大きさのメディアンフィルタを基本設定とし、有効セル及び無効セルの設定を変更可能に構成されている。例えば、画像補正回路21から、3×3のメディアンフィルタが指定され、有効セルまたは無効セルの設定を受け付けた場合、画素P11〜P15、P21、P25、P31、P35、P41、P45、P51〜P55に対応するセルCを無効セル、その他のセルCを有効セルとする基本設定を、画像補正回路21からの指定に基づいて変更する。
【0078】
画素値置換回路12は、上記第1実施形態と同様に、画像補正回路21によりセルCに画素値が入力されると、画素値が入力されないセルCについて、有効セルに指定されている場合でも、無効セルとする。画素値置換回路12は、その後、有効セル及び無効セルの設定に基づいて、画像データの輝度値のレンジが0〜255であることから、無効セルの画素データを0に置き換え、有効セル数eを位置特定回路14に出力する。
【0079】
ソーティング回路13は、上記第1実施形態と同様に、本実施形態では、画素値置換回路12が無効セルのデータを有効セルの最小値以下の所定値0に置き換えることから、数値の大きい順に順序付けする。また、k=25(奇数)なので、i=(k+1)/2=13とし、13番目までのセルCの画素値を順序付けする。
【0080】
中央値出力回路15は、図7に示すように、ソーティング回路13で順序付けられた13個の画素値を受け付け、j番目の画素値を出力するセレクタ回路で構成されている。
【0081】
次に、本発明回路1Aの処理手順について、図8及び図9を基に説明する。尚、図8は、3×3のメディアンフィルタが指定され、且つ、注目画素が画像データの外周部以外の画素に設定されている場合について示しており、図9は、3×3のメディアンフィルタが指定され、且つ、注目画素が画像データの左上外周部に設定されている場合について示している。また、5×5のメディアンフィルタとして用いる場合(注目画素が画像データの外周部に設定されている場合、及び、全てのセルCが有効セルである場合)については、m及びnの値が異なるが、上記第1実施形態と同じ処理を行うので、説明を省略する。同様に、画像補正回路21が有効セル及び無効セルの指定を行う場合についても、m及びnの値が異なるが、上記第2実施形態と同じ処理を行うので、説明を省略する。
【0082】
先ず、3×3のメディアンフィルタが指定され、且つ、注目画素が画像データの外周部以外の画素に設定されている場合の本発明回路1Aの動作について図8を基に説明する。
【0083】
画像補正回路21は、先ず、本発明回路1Aに対し、3×3のメディアンフィルタを指定する。その後、P11〜P55の画素値を本発明回路1Aに入力する。
【0084】
画像補正回路21から画素値が入力されると、入力された画素値が夫々対応するセルCに入力される。ここでは、全てのセルCに画措置が入力される。
【0085】
セルCに画素値が入力されると、画素値置換回路12は、無効セル、即ち、P11〜P15、P21、P25、P31、P35、P41、P45、P51〜P55に対応するセルC11〜C15、C21、C25、C31、C35、C41、C45、C51〜C55の値を0に置き換える。更に、画素値置換回路12は、位置特定回路14に対し、有効セル数e=9を出力する。
【0086】
ソーティング回路13は、13個の画素値を順位付けして中央値出力回路15に出力する。ここでは、数値の大きい順に、1番目〜13番目までの数値が出力される。
【0087】
位置特定回路14は、画素値置換回路12から有効セル数eを受け付け、順位jを求める。ここでは、有効セルの数e=9(奇数)なので、j=(e+1)/2=5となる。
【0088】
最後に、中央値出力回路15は、ソーティング回路13から出力された13個の画素値S1〜S13の内、5番目の画素値S5を中央値として画像補正回路21に出力する。
【0089】
続いて、3×3のメディアンフィルタが指定され、且つ、注目画素が画像データの左上外周部に設定されている場合の本発明回路1Aの動作について図9を基に説明する。
【0090】
画像補正回路21は、先ず、本発明回路1Aに対し、3×3のメディアンフィルタを指定する。その後、P11〜P55の画素値を本発明回路1Aに入力する。
【0091】
画像補正回路21から画素値が入力されると、入力された画素値が夫々対応するセルCに入力される。ここでは、P33〜P35、P43〜P45、P53〜P55の9個の値が対応するセルC33〜C35、C43〜C45、C53〜C55に入力される。
【0092】
画素値置換回路12は、画像補正回路21により3×3のメディアンフィルタが指定されると、セルC11〜C15、C21、C25、C31、C35、C41、C45、C51〜C55を無効セルに設定する。画像補正回路21からセルCに画素値が入力されると、画素値置換回路12は、更に、画素値が入力されないセルC22〜C23、C32、C42を無効セルに設定する。引き続き、画素値置換回路12は、無効セルC11〜C15、C21〜C25、C31、C32、C35、C41、C42、C45、C51〜C55の値を0に置き換える。更に、画素値置換回路12は、位置特定回路14に対し、有効セル数e=4を出力する。
【0093】
画素値置換回路12によって無効セルの値が0に設定されると、ソーティング回路13が、13個の画素値を順位付けして中央値出力回路15に出力する。ここでは、数値の大きい順に、1番目〜13番目までの数値が出力される。
【0094】
位置特定回路14は、画素値置換回路12から有効セル数eを受け付け、順位jを求める。ここでは、有効セルの数e=4(偶数)なので、j=(e/2)+1=3となる。
【0095】
最後に、中央値出力回路15は、ソーティング回路13から出力された13個の画素値S1〜S13の3番目の画素値S3を、中央値として画像補正回路21に出力する。
【0096】
本実施形態では、5×5のメディアンフィルタを3×3のメディアンフィルタとして用いることが可能であり、1つの回路で2つの大きさのメディアンフィルタを実現できるため、従来のように、メディアンフィルタの大きさ毎に回路を設計する必要が無くなる。尚、本実施形態の本発明回路1Aは、2つの大きさのメディアンフィルタとして機能するが、これに限るものではなく、更に複数の大きさのメディアンフィルタとして機能するように構成しても良い。
【0097】
〈第4実施形態〉
本発明回路1A及び本発明装置2の第4実施形態について図10を基に説明する。尚、上記第1〜第3実施形態では、2次元の画像データをメディアンフィルタによる補正対象とする場合について説明したが、本実施形態では、3次元の画像データ或いは動画データ等をメディアンフィルタによる補正対象とする場合について説明する。
【0098】
先ず、本発明回路1A及び本発明装置2の構成について説明する。尚、本発明装置2の記憶装置22の構成は、第1〜第3実施形態の記憶装置22の構成と同じである。
【0099】
画像補正回路21は、上記第1〜第3実施形態と同様に、注目画素の選択及び処理領域の設定、処理領域内の画素値の本発明回路1Aへの入力を行なうように構成されている。更に、本実施形態の画像補正回路21は、画素値置換回路12に対し、メディアンフィルタの大きさ、及び、有効セル及び無効セルの設定を入力可能に構成されている。
【0100】
本実施形態の本発明回路1Aは、画像データを構成する1つの画素値を夫々が格納するk個のセルCからなるセル群10と、画素値置換回路12と、ソーティング回路13と、位置特定回路14と、中央値出力回路15と、を備えている。尚、kの値は異なるが、セルC、セル群10、ソーティング回路13、位置特定回路14及び中央値出力回路15の構成は、上記第1〜第3実施形態と同じである。但し、k=n×m×r、n、m、rは正の整数で、n、mの内の少なくとも1つとrは2以上である。
【0101】
本実施形態では、画像処理の対象となる画像データは、レンジ0〜255の輝度値のデータで構成される2次元画像データを時間別に複数備えている動画データである場合を想定している。本実施形態では、rは、動画データを構成する2次元画像データを特定する変数である。
【0102】
ここで、本実施形態では、n=m=r=5、k=n×m×r=125である場合を想定して説明する。図10は、処理領域における有効セル及び無効セルの設定例を示しており、中央の2次元画像データの中央の画素P333が注目画素である。
【0103】
画素値置換回路12は、本実施形態では、外部入力によりa×b×c(1≦a<n、1≦b≦m、1≦c≦r、または、1≦a≦n、1≦b<m、1≦c≦r、または、1≦a≦n、1≦b≦m、1≦c<r)個のセルCを利用することが選択された場合に、a×b個のセルC以外のセルCを無効セルとするように構成されている。ここでは、a=b=c=3の場合を想定している。
【0104】
より具体的には、本実施形態の画素値置換回路12は、3×3×3のメディアンフィルタとして用いることを指定可能に構成されている。尚、3×3×3のメディアンフィルタが指定されていない場合は、5×5×5のメディアンフィルタとして機能する。画素値置換回路12は、3×3×3のメディアンフィルタとして用いることが指定された場合、図10に示すように、P111〜P551、P11α〜P15α、P21α、P25α、P31α、P35α、P41α、P45α、P51α〜P55α、P115〜P555(α=2、3、4)に対応するセルCを無効セルに設定する。
【0105】
更に、画素値置換回路12は、有効セル及び無効セルの設定を受け付け可能に設定されており、指定された或いは初期設定の大きさのメディアンフィルタを基に、有効セル及び無効セルの設定を変更可能に構成されている。例えば、画像補正回路21から、3×3のメディアンフィルタが指定され、有効セルまたは無効セルの設定を受け付けた場合、画素P111〜P551、P11α〜P15α、P21α、P25α、P31α、P35α、P41α、P45α、P51α〜P55α、P115〜P555に対応するセルCを無効セル、その他のセルCを有効セルとする基本設定を、画像補正回路21からの指定に基づいて変更する。
【0106】
画素値置換回路12は、上記第1実施形態と同様に、画像補正回路21によりセルCに画素値が入力されると、画素値が入力されないセルCについて、有効セルに指定されている場合でも、無効セルとする。画素値置換回路12は、その後、有効セル及び無効セルの設定に基づいて、無効セルの画素データを0に置き換え、有効セル数eを位置特定回路14に出力する。
【0107】
ソーティング回路13は、上記第1実施形態と同様に、本実施形態では、画素値置換回路12が無効セルのデータを有効セルの最小値以下の所定値0に置き換えることから、数値の大きい順に順序付けする。また、k=125(奇数)なので、i=(k+1)/2=63とし、63番目までのセルCの画素値を順序付けする。
【0108】
中央値出力回路15は、図示しないが、ソーティング回路13で順序付けられた63個の画素値S1〜S63を受け付け、j番目の画素値Sjを出力するセレクタ回路で構成されている。
【0109】
次に、本発明回路1Aの処理手順について、図10を基に説明する。ここでは、3×3×3のメディアンフィルタが指定され、且つ、注目画素が2次元画像データの外周部以外の画素に設定され、且つ、中央の2次元画像データが最初または最後の2次元画像データではない場合について説明する。
【0110】
画像補正回路21は、先ず、本発明回路1Aに対し、3×3×3のメディアンフィルタを指定する。その後、P111〜P555の画素値を本発明回路1Aに入力する。
【0111】
画像補正回路21から画素値が入力されると、入力された画素値が夫々対応するセルCに入力される。ここでは、全てのセルCに画措置が入力される。
【0112】
画像補正回路21からセルCに画素値が入力されると、画素値置換回路12は、無効セル、即ち、P111〜P551、P11α〜P15α、P21α、P25α、P31α、P35α、P41α、P45α、P51α〜P55α、P115〜P555(α=2、3、4)に対応するセルCの値を0に置き換える。更に、画素値置換回路12は、位置特定回路14に対し、有効セル数e=27を出力する。
【0113】
ソーティング回路13は、63個の画素値を順位付けして中央値出力回路15に出力する。ここでは、数値の大きい順に、1番目〜63番目までの数値が出力される。
【0114】
位置特定回路14は、画素値置換回路12から有効セル数eを受け付け、順位jを求める。ここでは、有効セルの数e=27(奇数)なので、j=(e+1)/2=14となる。
【0115】
最後に、中央値出力回路15は、ソーティング回路13から出力された63個の画素値S1〜S63の内、14番目の画素値S14を中央値として画像補正回路21に出力する。
【0116】
本実施形態では、画像データが動画データである場合を想定して説明したが、3次元の立体画像データであっても良い。また、本実施形態では、5×5×5のメディアンフィルタを3×3×3のメディアンフィルタとして用いる場合について説明したが、例えば、c=1とすれば、上記第1〜第3実施形態のように、2次元のメディアンフィルタとして用いることが可能である。
【0117】
〈別実施形態〉
〈1〉上記第1〜第4実施形態では、画素値置換回路12が無効セルの値を0に設定し、ソーティング回路13が数値の大きい順に順序付けする場合について説明したが、これに限るものではない。例えば、画素値置換回路12が無効セルの値を255に設定し、ソーティング回路13が数値の小さい順に順序付けするように構成しても良い。
【0118】
〈2〉上記第1〜第4実施形態では、位置特定回路14が、有効セルの数eが偶数の場合に、順位jを(e/2)+1とする場合について説明したが、j=(e/2)としても良い。また、図12に示すように、本発明回路1Bの位置特定回路14が、外部入力に基づいて、有効セルの数eが偶数の場合に、順位jを、(e/2)または(e/2)+1の何れにするかの指定を受け付けるように構成しても良い。具体的には、初期設定としてj=(e/2)+1としておき、画像補正回路21により、j=(e/2)が指定された場合にj=(e/2)とするように構成しても良いし、初期設定をj=(e/2)としてj=(e/2)+1を指定するように構成しても良い。
【0119】
〈3〉上記第1〜第4実施形態では、位置特定回路14が、有効セル数eを受け付けて順序jを求めるように構成したが、これに限るものではない。例えば、無効セル数を受け付け、有効セル数e=全セル数−無効セル数として有効セル数を求めるように構成しても良い。
【0120】
〈4〉上記第1実施形態では、画像補正回路21によるセルCへの画素値の入力後に、画素値置換回路12が無効セルの設定を行ったが、これに限るものではなく、全てのセルCに予め無効セルの所定値、例えば0を設定しておき、その後、画像補正回路21から画素値の入力を受け付けるように構成しても良い。
【0121】
〈5〉上記第1〜第4実施形態では、ソーティング回路13が、1〜i番目までのセルCの画素値を順序付けして出力するように構成したが、利用しないことが確実な順位の画素値については出力しないように構成しても良い。具体的には、例えば、メディアンフィルタ回路の特性から、有効セルが1個或いは2個の場合、中央値を求める意義が薄いことから、中央値となり得ない可能性の高い1番目の画素値については出力しない構成であっても良い。
【0122】
〈6〉上記第1〜第4実施形態では、セルCが8ビットのラッチ回路で構成されている場合を想定して説明したが、これに限るものではなく、例えば、シフトレジスタであっても良いし、RAM等の記憶装置を利用するように構成しても良い。
【0123】
〈7〉上記第1〜第4実施形態では、ソーティング回路13が大小判定回路Dで構成されている場合について説明したが、これに限るものではなく、例えば、他の構成の回路であっても良いし、既存の他のソーティング回路を利用するように構成しても良い。
【0124】
〈8〉上記第1〜第4実施形態では、中央値出力回路15がセレクタ回路で構成されている場合について説明したが、これに限るものではなく、他の構成の回路であっても良い。
【符号の説明】
【0125】
1 本発明に係るメディアンフィルタ回路
1A 本発明に係るメディアンフィルタ回路
1B 本発明に係るメディアンフィルタ回路
2 本発明に係る画像処理装置
10 セル群
12 画素値置換回路
13 ソーティング回路
14 位置特定回路
15 中央値出力回路
21 画像補正回路
22 記憶装置
P 画素
C セル
D 大小判定回路
【技術分野】
【0001】
本発明は、画像データ上に、注目画素を含む複数の画素で構成される処理領域を設定し、処理領域に含まれる画素の画素値の中央値を求め、注目画素の画素値を中央値に置き換えるメディアンフィルタ回路に関する。
【背景技術】
【0002】
メディアンフィルタは、画像データを構成する画素から画素値の補正を行う注目画素を選択し、注目画素を含む複数の画素で構成される処理領域を設定し、処理領域に含まれる画素の画素値の中央値を求め、注目画素の画素値を中央値に置き換える。メディアンフィルタは、画像処理において、ノイズ除去フィルタや欠陥除去フィルタとして用いられており、様々なアルゴリズム(例えば、非特許文献1参照)や回路が提案されている。
【0003】
メディアンフィルタ回路としては、例えば、次数(並び替えを行う画素データの数)+1個の画素データを保持するためのメディアンセルを用意し、各メディアンセルを、入力手段から入力された画素データと、上流と下流のメディアンセル夫々が保持している画素データを受け付けるように構成されたメディアンフィルタ回路がある(例えば、特許文献1参照)。
【0004】
当該メディアンフィルタ回路の動作は、入力手段から画像データが入力され、且つ、上流のメディアンセルからデータが出力されない場合は、現在保持している画像データと入力手段から入力された画素データを比較して何れか一方を選択し、選択されたデータが入力手段から入力された画素データの場合は、現在保持している画像データを下流のメディアンセルに出力して入力手段から入力された画素データを保持する。上流のメディアンセルから画像データが出力された場合は、現在保持している画像データを下流のメディアンセルに出力して上流のメディアンセルから出力された画像データを保持する。これにより、画素データの並び替えを簡単な回路構成で実現できる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平11−45171号公報
【非特許文献】
【0006】
【非特許文献1】浜村倫行、入江文平、“3×3メディアンフィルタの高速アルゴリズム”、(FIT)情報科学技術フォーラム2002 講演論文、141−142頁
【発明の概要】
【発明が解決しようとする課題】
【0007】
ここで、従来のメディアンフィルタ回路では、例えば、処理領域の大きさ、例えば、3×3、5×5等に応じて、別個に回路を用意していた。つまり、画像の種類や用途等によって、メディアンフィルタの大きさを変更したい場合には、使用したいメディアンフィルタの大きさ毎にメディアンフィルタ回路を用意する必要があった。
【0008】
また、例えば、処理領域は、注目画素とその周囲の画素で構成されることが一般的であるが、この場合、画像データの端の画素については、処理領域中に画素が存在しない領域ができるため、処理領域の近隣の画素を代わりに参照する、或いは、処理領域全体が前記画像データ上に設定されるように処理領域及び注目画素の設定を制限する等の対応を行う必要があった。
【0009】
本発明は上記の問題に鑑みてなされたものであり、その目的は、複数の大きさのメディアンフィルタを1つの回路で実現でき、画像データの端部の画素についても容易に且つ適切に補正できるメディアンフィルタ回路を提供する点にある。
【課題を解決するための手段】
【0010】
上記目的を達成するための本発明に係るメディアンフィルタ回路は、画像データを構成する1つの画素値を夫々が格納するk(但し、k=n×mまたはn×m×r、n、m、rは正の整数で、n、mの内の少なくとも1つとrは2以上)個のセルと、入力された画素値を利用する有効セル以外の無効セルの画素値を、前記有効セルの前記画素値の最小値以下または最大値以上の所定値に設定する画素値置換回路と、格納されている前記画素値の大きい順または小さい順に、kが偶数の場合は変数i=k/2または(k/2)+1とし、kが奇数の場合は変数i=(k+1)/2とし、i番目までの前記セルの画素値を順序付けするソーティング回路と、前記有効セルの数に基づいて、中央値として用いる前記画素値の順位jを出力する位置特定回路と、前記位置特定回路で求めた前記順位jに基づいて、前記ソーティング回路で順序付けられたj番目の順位の前記セルの画素値を出力する中央値出力回路と、を備えることを第1の特徴とする。
【0011】
更に好ましくは、上記特徴のメディアンフィルタ回路は、前記ソーティング回路が、前記画素値置換回路が前記無効セルの画素値を前記有効セルの画素値の最小値以下の前記所定値に書き換える場合、前記セルの画素値を数値の大きい順にi番目まで順序付けし、前記無効セルの画素値を前記有効セルの画素値の最大値以上の前記所定値に書き換える場合、前記セルの画素値を数値の小さい順にi番目まで順序付けるように構成され、前記位置特定回路が、前記順位jを、前記有効セルの数eが奇数の場合は(e+1)/2とし、前記有効セルの数eが偶数の場合は、(e/2)または(e/2)+1とする。
【0012】
更に好ましくは、上記特徴のメディアンフィルタ回路は、前記位置特定回路が、外部入力に基づいて、前記有効セルの数eが偶数の場合に、前記順位jを、(e/2)または(e/2)+1の何れにするかの指定を受け付け可能に構成されている。
【0013】
更に好ましくは、上記何れかの特徴のメディアンフィルタ回路は、前記画素値置換回路が、画素値が入力されない前記セルを前記無効セルとする。
【0014】
更に好ましくは、上記何れかの特徴のメディアンフィルタ回路は、前記画素値置換回路が、前記セルの夫々について、前記有効セルであるか前記無効セルであるかの設定を受け付け可能に構成されている。
【0015】
更に好ましくは、上記特徴のメディアンフィルタ回路は、前記画素値置換回路が、k=n×mの場合において、外部入力によりa×b(1≦a<n、1≦b≦m、または、1≦a≦n、1≦b<m)個の前記セルを利用することが選択された場合に、a×b個の前記セル以外の前記セルを前記無効セルとする。
【0016】
更に好ましくは、上記特徴のメディアンフィルタ回路は、前記画素値置換回路が、k=n×m×rの場合において、外部入力によりa×b×c(1≦a<n、1≦b≦m、1≦c≦r、または、1≦a≦n、1≦b<m、1≦c≦r、または、1≦a≦n、1≦b≦m、1≦c<r)個の前記セルを利用することが選択された場合に、a×b×c個の前記セル以外の前記セルを前記無効セルとする。
【0017】
更に好ましくは、上記特徴のメディアンフィルタ回路は、a及びbが奇数である。
【0018】
更に好ましくは、上記特徴のメディアンフィルタ回路は、a=bである。
【0019】
更に好ましくは、上記何れかの特徴のメディアンフィルタ回路は、n及びmが3以上の奇数である。
【0020】
更に好ましくは、上記何れかの特徴のメディアンフィルタ回路は、n=mである。
【0021】
上記目的を達成するための本発明に係る画像処理装置は、前記画像データを構成する前記画素から注目画素を選択し、前記注目画素を含む処理領域を設定し、上記何れかの特徴のメディアンフィルタ回路に前記処理領域に含まれる前記画素の画素値を入力し、前記メディアンフィルタ回路の出力値を前記注目画素の画素値とすることを特徴とする。
【発明の効果】
【0022】
上記特徴のメディアンフィルタ回路によれば、任意のセルを無効セルとし、無効セルの画素値を有効セルの画素値の最小値以下または最大値以上の所定値に置き換えるので、例えば、画像データの端部の画素を注目画素とした場合に、処理領域の近隣の画素を代わりに参照する、或いは、処理領域の設定に制限を設ける必要がなくなる。即ち、画像データの端部の画素についても、従来に比べより簡素な構成で適切な補正を行うことが可能になる。
【0023】
上記特徴のメディアンフィルタ回路によれば、任意のセルを無効セルとし、無効セルの画素値を有効セルの画素値の最小値以下または最大値以上の所定値に置き換えるので、例えば、k=n×mの場合は、より小さいサイズのa×bのメディアンフィルタ回路として、k=n×m×rの場合は、より小さいサイズのa×b×cのメディアンフィルタ回路として利用することが可能になる。即ち、複数の大きさのメディアンフィルタを1つの回路で実現できる。
【0024】
更に、上記特徴のメディアンフィルタ回路によれば、有効セルと無効セルを任意に設定可能であることから、通常の画像だけでなく、例えば、YUV422方式等、様々な種類の画像データに対応することが可能になる。
【図面の簡単な説明】
【0025】
【図1】本発明に係る画像処理装置及び本発明に係るメディアンフィルタ回路の第1実施形態における概略構成例を示す概略ブロック図である。
【図2】本発明に係るメディアンフィルタ回路の第1実施形態におけるソーティング回路及び中央値出力回路の概略構成例を示す概略ブロック図である。
【図3】本発明に係るメディアンフィルタの第1実施形態における有効セル及び無効セルの設定例を示すブロック図である。
【図4】本発明に係るメディアンフィルタの第1実施形態における有効セル及び無効セルの設定例を説明するブロック図である。
【図5】本発明に係るメディアンフィルタの第1実施形態における画素値置換回路の動作を説明するブロック図である。
【図6】YUV422方式のカラー画像の構成を示すブロック図である。
【図7】本発明に係るメディアンフィルタ回路の第3実施形態におけるソーティング回路及び中央値出力回路の概略構成例を示す概略ブロック図である。
【図8】本発明に係るメディアンフィルタの第3実施形態における有効セル及び無効セルの設定例を示すブロック図である。
【図9】本発明に係るメディアンフィルタの第3実施形態における有効セル及び無効セルの設定例を示すブロック図である。
【図10】本発明に係るメディアンフィルタの第4実施形態における有効セル及び無効セルの設定例を示すブロック図である。
【図11】本発明に係るメディアンフィルタの第4実施形態における有効セル及び無効セルの設定例を示すブロック図である。
【図12】本発明に係る画像処理装置及び本発明に係るメディアンフィルタ回路の別実施形態における概略構成例を示す概略ブロック図である。
【発明を実施するための形態】
【0026】
以下、本発明に係るメディアンフィルタ回路及び画像処理装置(以下、適宜「本発明回路」「本発明装置」と略称する)の実施形態を図面に基づいて説明する。
【0027】
〈第1実施形態〉
本発明回路及び本発明装置の第1実施形態について図1〜図3を基に説明する。
【0028】
先ず、本発明回路1A及び本発明装置2の構成について図1を基に説明する。ここで、図1は、本発明回路1A及び本発明装置2の概略構成例を示している。
【0029】
本発明装置2は、図1に示すように、本発明回路1Aを用いて画像データの処理を行う画像補正回路21と、画像データを記憶する記憶装置22を備えて構成されている。
【0030】
より具体的には、本発明装置2の画像補正回路21は、画像データを構成する画素から注目画素を選択し、注目画素を含む処理領域を設定し、本発明回路1Aに処理領域に含まれる画素の画素値を入力するように構成されている。更に、画像補正回路21は、本発明回路1Aの出力値を注目画素の画素値として画像データの補正を行う。より具体的には、画像補正回路21は、注目画素を、画像データの一番上の行の左端の画素から右端の画素に向けて順に選択し、右端の画素が注目画素として選択されると、次行の左端の画素から右端の画素に向けて順に選択する。同様にして、画像データの全ての画素を順次注目画素として選択する。
【0031】
本発明回路1Aは、図1に示すように、画像データを構成する1つの画素値を夫々が格納するk個のセルCからなるセル群10と、画像補正回路21から入力された画素値を利用する有効セル以外の無効セルの画素値を、有効セルの画素値の最小値以下または最大値以上の所定値に設定する画素値置換回路12と、格納されている画素値の大きい順または小さい順に、i番目までのセルCの画素値を順序付けするソーティング回路13と、有効セルの数に基づいて、中央値として用いる画素値の順位jを出力する位置特定回路14と、位置特定回路14で求めた順位jに基づいて、ソーティング回路13で順序付けられたj番目の順位のセルCの画素値Sjを出力する中央値出力回路15と、を備えている。但し、k=n×m、n、mは正の整数で、その内の少なくとも1つは2以上である。また、ソーティング回路13において、変数iは、kが偶数の場合はk/2または(k/2)+1とし、kが奇数の場合は(k+1)/2とする。
【0032】
尚、本実施形態では、画像処理の対象となる画像データが、レンジ0〜255の輝度値のデータである場合を想定している。従って、セルCは、1つの輝度値のデータ(8ビット)を記憶するラッチ回路で構成されている。
【0033】
更に、本実施形態では、n=m=3、k=n×m=9であり、注目画素を中心とする9個の画素が処理領域となる場合を想定して説明する。ここで、図2は、9個のセルCで構成されるセル群10、ソーティング回路13及び中央値出力回路15の概略構成例を示している。また、図3及び図4は、有効セル及び無効セルの設定例を示しており、中央の画素P22が注目画素、斜線の画素に対応するセルCが有効セルである。更に、図3の太線より右下側が画像データの存在する画素エリアを表している。
【0034】
画素値置換回路12は、画像データの輝度値のレンジが0〜255であることから、無効セルの画素データを、有効セルの最小値以下の値である0に置き換える。尚、本実施形態の画素値置換回路12は、画像補正回路21から画素値が入力されないセルを無効セルとするように構成されている。また、本実施形態の画素値置換回路12は、有効セル数e(入力された画素値の数)を位置特定回路14に出力するように構成されている。
【0035】
ソーティング回路13は、本実施形態では、画素値置換回路12が無効セルのデータを有効セルの最小値以下の所定値0に置き換えることから、数値の大きい順に順序付けする。また、k=9(奇数)なので、i=(k+1)/2=5とし、5番目までのセルCの画素値を順序付けする。より具体的には、ソーティング回路13は、図2に示すように、複数の大小判定回路Dで構成されており、各大小判定回路Dは、2つの入力値について、大きい値を右上に、小さい値を右下に出力する。このように構成することにより、1〜5番目までの画素値を大きい順に出力している。
【0036】
位置特定回路14は、本実施形態では、画素値置換回路12から有効セル数eを受け付け、順位jを、有効セル数eが奇数の場合は(e+1)/2とし、有効セル数eが偶数の場合は、(e/2)+1とする。
【0037】
中央値出力回路15は、図2に示すように、ソーティング回路13で順序付けられた5個の画素値S1〜S5を受け付け、j番目の画素値Sjを出力するセレクタ回路で構成されている。
【0038】
次に、本発明回路1Aの処理手順について、図3〜図5を基に説明する。尚、図3及び図4は、処理領域内の各セルCの有効セル及び無効セルの設定例を示している。
【0039】
先ず、注目画素が画像データの左上外周部に設定されている場合の本発明回路1Aの動作について図3を基に説明する。
【0040】
図3では、中心の画素P22が注目画素であり、画像データの輝度値が夫々、P22=100、P23=200、P32=150、P33=255、P11=P12=P13=P21=P31=NULL(データ無し)の場合を想定している。
【0041】
画像補正回路21から画素値が入力されると、入力された画素値が夫々対応するセルCに入力される。ここでは、P22=100、P23=200、P32=150、P33=255の4個の値が対応するセルC22、C23、C32、C33に入力される。
【0042】
セルCに画素値が入力されると、画素値置換回路12は、処理領域のP11〜P13、P21、P31に対応するセルC11〜C13、C21、C31、即ち、画素値が入力されないセルC11〜C13、C21、C31を無効セルとし、値を所定値0に設定する。また、位置特定回路14に対し、有効セル数e=4を出力する。
【0043】
画素値置換回路12によって無効セルの値が0に設定されると、ソーティング回路13が、9個の画素値を順位付けして中央値出力回路15に出力する。ここでは、数値の大きい順に、1番目〜5番目までの数値が出力される。具体的には、数値の大きい順に、255、200、150、100、0が出力される。
【0044】
位置特定回路14は、画素値置換回路12から有効セル数eを受け付け、順位jを求める。ここでは、有効セルの数e=4(偶数)なので、j=(e/2)+1=3となる。
【0045】
最後に、中央値出力回路15は、ソーティング回路13から出力された画素値255、200、150、100、0の3番目の画素値S3=150を、中央値として画像補正回路21に出力する。
【0046】
続いて、注目画素が画像データの外周以外の画素に設定されている場合の本発明回路1Aの動作について図4を基に説明する。
【0047】
図4では、図3と同様に中心の画素P22が注目画素であり、画像データの輝度値が夫々、P11=0、P12=100、P13=200、P21=10、P22=100、P23=200、P31=20、P32=150、P33=255の場合を想定している。
【0048】
画像補正回路21から画素値が入力されると、入力された画素値が夫々対応するセルCに入力される。ここでは、P11=0、P12=100、P13=200、P21=10、P22=100、P23=200、P31=20、P32=150、P33=255の9つの値が対応するセルCに入力される。
【0049】
セルCに画素値が入力されると、画素値置換回路12は、位置特定回路14に対し、有効セル数e=9を出力する。尚、ここでは、画素値が入力されないセルCが存在しないため、無効セルが無いとして、画素値の置き換えは行わない。
【0050】
ソーティング回路13は、9個の画素値を順位付けして中央値出力回路15に出力する。ここでは、数値の大きい順に、1番目〜5番目までの数値が出力される。具体的には、数値の大きい順に、255、200、200、150、100が出力される。
【0051】
位置特定回路14は、画素値置換回路12から有効セル数eを受け付け、順位jを求める。ここでは、有効セルの数e=9(奇数)なので、j=(e+1)/2=5となる。
【0052】
最後に、中央値出力回路15は、ソーティング回路13から出力された画素値255、200、200、150、100の5番目の画素値100を、中央値として画像補正回路21に出力する。
【0053】
本実施形態では、画素値置換回路12が、画像補正回路21から画素値が入力されないセルCを無効セルとするように構成されているので、画像データの端部の画素についても、処理領域の近隣の画素を代わりに参照する、或いは、処理領域の設定に制限を設ける等の処理を行うことなく、容易に中央値を求めることができる。
【0054】
〈第2実施形態〉
本発明回路1A及び本発明装置2の第2実施形態について図6を基に説明する。尚、本実施形態では、無効セル及び有効セルの指定を任意に行なえる場合について説明する。
【0055】
先ず、本発明回路1A及び本発明装置2の構成について図1及び図2を基に説明する。尚、本発明装置2の記憶装置22の構成は、第1実施形態の本発明装置2の記憶装置22の構成と同じである。
【0056】
画像補正回路21は、上記第1実施形態と同様に、注目画素の選択及び処理領域の設定、処理領域内の画素値の本発明回路1Aへの入力を行なうように構成されている。更に、本実施形態の画像補正回路21は、画素値置換回路12に対し、セルC夫々について、有効セル及び無効セルの設定を入力可能に構成されている。
【0057】
本発明回路1Aは、第1実施形態と同様に、図1に示すように、k個のセルCからなるセル群10と、画素値置換回路12と、ソーティング回路13と、位置特定回路14と、中央値出力回路15を備えて構成されている。尚、セルC、セル群10、ソーティング回路13、位置特定回路14及び中央値出力回路15の構成は上記第1実施形態と同じである。
【0058】
本実施形態では、上記第1実施形態と同様に、n=m=3、k=n×m=9であり、注目画素を中心とする9個の画素が処理領域となる場合を想定して説明する。
【0059】
本実施形態では、画像処理の対象となる画像データは、YUV422方式のカラー画像データを想定している。YUV422方式のカラー画像データは、図6に示すように、輝度値のデータ(Y)、輝度値と青色成分の差(U)、輝度値と赤色成分の差(V)で構成されている。このような画像データの場合、例えば、Y32を注目画素とした場合、単純に3×3の範囲、例えば、V21、V31、V41、Y22、Y32、Y42、U21、U31、U41には、3つの異なる種類の数値が存在するため、全ての値を用いるのは適切ではない。従って、本実施形態では、同じ輝度値のデータY22、Y32、Y42から中央値を求めるように構成する。
【0060】
本実施形態の画素値置換回路12は、セルCの夫々について、有効セルであるか無効セルであるかの設定を受け付け可能に構成されている。具体的には、本実施形態では、初期設定として3×3の全てのセルCを有効セルとし、初期設定に対する変更を受け付けるように構成している。尚、有効セル及び無効セルの設定方法は、これに限るものではなく、全てのセルCについて有効セルであるか無効セルであるかを入力するように構成してもよいし、他の初期設定を用いても良い。画素値置換回路12は、上記第1実施形態と同様に、Yがレンジ0〜255の輝度値のデータであることから、0を所定値として置換する。
【0061】
本発明回路1Aを用いてYUV422方式のカラー画像を処理する場合の処理手順について、図6を基に説明する。
【0062】
画像補正回路21は、先ず、画素値置換回路12に対し、注目画素とその上下の画素に対応するセルCを有効セルとするように指定する。図6では、太線内の9個の画素が処理領域であり、注目画素をY32とすると、Y22、Y32、Y42に対応するセルCを有効セルとするように指定する。その後、画像補正回路21は、V21、V31、V41、Y22、Y32、Y42、U21、U31、U41の値を本発明回路1Aに出力する。
【0063】
画像補正回路21から、V21、V31、V41、Y22、Y32、Y42、U21、U31、U41の画素値が入力されると、入力された画素値が夫々対応するセルCに入力される。
【0064】
画像補正回路21からセルCに画素値が入力されると、画素値置換回路12は、Y22、Y32、Y42に対応するセルCを有効セルとし、V21、V31、V41、U21、U31、U41に対応するセルCを無効セルに設定し、無効セルの値を所定値0に設定する。また、画素値置換回路12は、有効セル数e=3を位置特定回路14に出力する。
【0065】
画素値置換回路12によって無効セルの値が0に設定されると、ソーティング回路13が、上記第1実施形態と同様に、数値の大きい順に5番目までのセルCの画素値を順序付けして中央値出力回路15に出力する。
【0066】
位置特定回路14は、有効セル数eが奇数なので、j=(e+1)/2=2を中央値出力回路15に出力する。
【0067】
中央値出力回路15は、ソーティング回路13から出力された5個の画素値の内の2番目の画素値S2を中央値として画像補正回路21に出力する。
【0068】
尚、本実施形態では、YUV422方式のカラー画像を処理する場合について説明したが、他の方式の画像にも適用可能である。また、本実施形態の画素値置換回路12は、有効セル及び無効セルを任意に指定できるので、画像データが通常の輝度値のデータの場合でも、例えば、処理領域の範囲を円形にとる等、画像データの質や用途等に応じて柔軟な設定を行うことが可能になる。
【0069】
〈第3実施形態〉
本発明回路1A及び本発明装置2の第3実施形態について図7〜図9を基に説明する。尚、上記第1及び第2実施形態では、本発明回路1Aが3×3のメディアンフィルタである場合を想定して説明したが、本実施形態では、本発明回路1Aが5×5のメディアンフィルタであり、3×3のメディアンフィルタとしても利用可能に構成されている場合を想定して説明する。
【0070】
先ず、本発明回路1A及び本発明装置2の構成について図1及び図7を基に説明する。ここで、図7は、ソーティング回路13及び中央値出力回路15の概略構成例を示している。尚、本発明装置2の記憶装置22の構成は、上記第1及び第2実施形態の本発明装置2の記憶装置22の構成と同じである。
【0071】
画像補正回路21は、上記第1及び第2実施形態と同様に、注目画素の選択及び処理領域の設定、処理領域内の画素値の本発明回路1Aへの入力を行なうように構成されている。更に、本実施形態の画像補正回路21は、3×3のメディアンフィルタを用いる場合に、画素値置換回路12に対し、3×3のメディアンフィルタを指定するように構成されている。
【0072】
本発明回路1Aは、第1及び第2実施形態と同様に、図1に示すように、k個のセルCからなるセル群10と、画素値置換回路12と、ソーティング回路13と、位置特定回路14と、中央値出力回路15を備えて構成されている。尚、セルC、及び、位置特定回路14の構成は上記第1及び第2実施形態と同じである。
【0073】
尚、本実施形態では、画像処理の対象となる画像データが、上記第1実施形態と同様に、レンジ0〜255の輝度値のデータである場合を想定している。
【0074】
ここで、本実施形態では、n=m=5、k=n×m=25であり、注目画素を中心とする25個の画素が処理領域となる場合を想定して説明する。従って、セル群10は、25個のセルCで構成されている。ここで、図7は、25個のセルCで構成されるセル群10、ソーティング回路13及び中央値出力回路15の概略構成例を示している。また、図8及び図9は、処理領域内の各セルCの有効セル及び無効セルの設定例を示しており、中央の画素P33が注目画素、斜線の画素に対応するセルCが有効セルである。更に、図9の太線より右下側が画像データの存在する画素エリアを表している。
【0075】
画素値置換回路12は、本実施形態では、外部入力によりa×b(1≦a<n、1≦b≦m、または、1≦a≦n、1≦b<m)個のセルCを利用することが選択された場合に、a×b個のセルC以外のセルCを無効セルとするように構成されている。ここでは、a=b=3の場合を想定している。
【0076】
より具体的には、本実施形態の画素値置換回路12は、画像補正回路21から、3×3のメディアンフィルタとして用いることを指定可能に構成されている。尚、3×3のメディアンフィルタとして用いることを指定されていない場合は、5×5のメディアンフィルタとして機能する。画素値置換回路12は、3×3のメディアンフィルタとして用いることが指定された場合、図8に示すように、画素P11〜P15、P21、P25、P31、P35、P41、P45、P51〜P55に対応するセルCを無効セルに設定する。
【0077】
更に、画素値置換回路12は、有効セル及び無効セルの設定を受け付け可能に設定されており、指定された或いは初期設定の大きさのメディアンフィルタを基本設定とし、有効セル及び無効セルの設定を変更可能に構成されている。例えば、画像補正回路21から、3×3のメディアンフィルタが指定され、有効セルまたは無効セルの設定を受け付けた場合、画素P11〜P15、P21、P25、P31、P35、P41、P45、P51〜P55に対応するセルCを無効セル、その他のセルCを有効セルとする基本設定を、画像補正回路21からの指定に基づいて変更する。
【0078】
画素値置換回路12は、上記第1実施形態と同様に、画像補正回路21によりセルCに画素値が入力されると、画素値が入力されないセルCについて、有効セルに指定されている場合でも、無効セルとする。画素値置換回路12は、その後、有効セル及び無効セルの設定に基づいて、画像データの輝度値のレンジが0〜255であることから、無効セルの画素データを0に置き換え、有効セル数eを位置特定回路14に出力する。
【0079】
ソーティング回路13は、上記第1実施形態と同様に、本実施形態では、画素値置換回路12が無効セルのデータを有効セルの最小値以下の所定値0に置き換えることから、数値の大きい順に順序付けする。また、k=25(奇数)なので、i=(k+1)/2=13とし、13番目までのセルCの画素値を順序付けする。
【0080】
中央値出力回路15は、図7に示すように、ソーティング回路13で順序付けられた13個の画素値を受け付け、j番目の画素値を出力するセレクタ回路で構成されている。
【0081】
次に、本発明回路1Aの処理手順について、図8及び図9を基に説明する。尚、図8は、3×3のメディアンフィルタが指定され、且つ、注目画素が画像データの外周部以外の画素に設定されている場合について示しており、図9は、3×3のメディアンフィルタが指定され、且つ、注目画素が画像データの左上外周部に設定されている場合について示している。また、5×5のメディアンフィルタとして用いる場合(注目画素が画像データの外周部に設定されている場合、及び、全てのセルCが有効セルである場合)については、m及びnの値が異なるが、上記第1実施形態と同じ処理を行うので、説明を省略する。同様に、画像補正回路21が有効セル及び無効セルの指定を行う場合についても、m及びnの値が異なるが、上記第2実施形態と同じ処理を行うので、説明を省略する。
【0082】
先ず、3×3のメディアンフィルタが指定され、且つ、注目画素が画像データの外周部以外の画素に設定されている場合の本発明回路1Aの動作について図8を基に説明する。
【0083】
画像補正回路21は、先ず、本発明回路1Aに対し、3×3のメディアンフィルタを指定する。その後、P11〜P55の画素値を本発明回路1Aに入力する。
【0084】
画像補正回路21から画素値が入力されると、入力された画素値が夫々対応するセルCに入力される。ここでは、全てのセルCに画措置が入力される。
【0085】
セルCに画素値が入力されると、画素値置換回路12は、無効セル、即ち、P11〜P15、P21、P25、P31、P35、P41、P45、P51〜P55に対応するセルC11〜C15、C21、C25、C31、C35、C41、C45、C51〜C55の値を0に置き換える。更に、画素値置換回路12は、位置特定回路14に対し、有効セル数e=9を出力する。
【0086】
ソーティング回路13は、13個の画素値を順位付けして中央値出力回路15に出力する。ここでは、数値の大きい順に、1番目〜13番目までの数値が出力される。
【0087】
位置特定回路14は、画素値置換回路12から有効セル数eを受け付け、順位jを求める。ここでは、有効セルの数e=9(奇数)なので、j=(e+1)/2=5となる。
【0088】
最後に、中央値出力回路15は、ソーティング回路13から出力された13個の画素値S1〜S13の内、5番目の画素値S5を中央値として画像補正回路21に出力する。
【0089】
続いて、3×3のメディアンフィルタが指定され、且つ、注目画素が画像データの左上外周部に設定されている場合の本発明回路1Aの動作について図9を基に説明する。
【0090】
画像補正回路21は、先ず、本発明回路1Aに対し、3×3のメディアンフィルタを指定する。その後、P11〜P55の画素値を本発明回路1Aに入力する。
【0091】
画像補正回路21から画素値が入力されると、入力された画素値が夫々対応するセルCに入力される。ここでは、P33〜P35、P43〜P45、P53〜P55の9個の値が対応するセルC33〜C35、C43〜C45、C53〜C55に入力される。
【0092】
画素値置換回路12は、画像補正回路21により3×3のメディアンフィルタが指定されると、セルC11〜C15、C21、C25、C31、C35、C41、C45、C51〜C55を無効セルに設定する。画像補正回路21からセルCに画素値が入力されると、画素値置換回路12は、更に、画素値が入力されないセルC22〜C23、C32、C42を無効セルに設定する。引き続き、画素値置換回路12は、無効セルC11〜C15、C21〜C25、C31、C32、C35、C41、C42、C45、C51〜C55の値を0に置き換える。更に、画素値置換回路12は、位置特定回路14に対し、有効セル数e=4を出力する。
【0093】
画素値置換回路12によって無効セルの値が0に設定されると、ソーティング回路13が、13個の画素値を順位付けして中央値出力回路15に出力する。ここでは、数値の大きい順に、1番目〜13番目までの数値が出力される。
【0094】
位置特定回路14は、画素値置換回路12から有効セル数eを受け付け、順位jを求める。ここでは、有効セルの数e=4(偶数)なので、j=(e/2)+1=3となる。
【0095】
最後に、中央値出力回路15は、ソーティング回路13から出力された13個の画素値S1〜S13の3番目の画素値S3を、中央値として画像補正回路21に出力する。
【0096】
本実施形態では、5×5のメディアンフィルタを3×3のメディアンフィルタとして用いることが可能であり、1つの回路で2つの大きさのメディアンフィルタを実現できるため、従来のように、メディアンフィルタの大きさ毎に回路を設計する必要が無くなる。尚、本実施形態の本発明回路1Aは、2つの大きさのメディアンフィルタとして機能するが、これに限るものではなく、更に複数の大きさのメディアンフィルタとして機能するように構成しても良い。
【0097】
〈第4実施形態〉
本発明回路1A及び本発明装置2の第4実施形態について図10を基に説明する。尚、上記第1〜第3実施形態では、2次元の画像データをメディアンフィルタによる補正対象とする場合について説明したが、本実施形態では、3次元の画像データ或いは動画データ等をメディアンフィルタによる補正対象とする場合について説明する。
【0098】
先ず、本発明回路1A及び本発明装置2の構成について説明する。尚、本発明装置2の記憶装置22の構成は、第1〜第3実施形態の記憶装置22の構成と同じである。
【0099】
画像補正回路21は、上記第1〜第3実施形態と同様に、注目画素の選択及び処理領域の設定、処理領域内の画素値の本発明回路1Aへの入力を行なうように構成されている。更に、本実施形態の画像補正回路21は、画素値置換回路12に対し、メディアンフィルタの大きさ、及び、有効セル及び無効セルの設定を入力可能に構成されている。
【0100】
本実施形態の本発明回路1Aは、画像データを構成する1つの画素値を夫々が格納するk個のセルCからなるセル群10と、画素値置換回路12と、ソーティング回路13と、位置特定回路14と、中央値出力回路15と、を備えている。尚、kの値は異なるが、セルC、セル群10、ソーティング回路13、位置特定回路14及び中央値出力回路15の構成は、上記第1〜第3実施形態と同じである。但し、k=n×m×r、n、m、rは正の整数で、n、mの内の少なくとも1つとrは2以上である。
【0101】
本実施形態では、画像処理の対象となる画像データは、レンジ0〜255の輝度値のデータで構成される2次元画像データを時間別に複数備えている動画データである場合を想定している。本実施形態では、rは、動画データを構成する2次元画像データを特定する変数である。
【0102】
ここで、本実施形態では、n=m=r=5、k=n×m×r=125である場合を想定して説明する。図10は、処理領域における有効セル及び無効セルの設定例を示しており、中央の2次元画像データの中央の画素P333が注目画素である。
【0103】
画素値置換回路12は、本実施形態では、外部入力によりa×b×c(1≦a<n、1≦b≦m、1≦c≦r、または、1≦a≦n、1≦b<m、1≦c≦r、または、1≦a≦n、1≦b≦m、1≦c<r)個のセルCを利用することが選択された場合に、a×b個のセルC以外のセルCを無効セルとするように構成されている。ここでは、a=b=c=3の場合を想定している。
【0104】
より具体的には、本実施形態の画素値置換回路12は、3×3×3のメディアンフィルタとして用いることを指定可能に構成されている。尚、3×3×3のメディアンフィルタが指定されていない場合は、5×5×5のメディアンフィルタとして機能する。画素値置換回路12は、3×3×3のメディアンフィルタとして用いることが指定された場合、図10に示すように、P111〜P551、P11α〜P15α、P21α、P25α、P31α、P35α、P41α、P45α、P51α〜P55α、P115〜P555(α=2、3、4)に対応するセルCを無効セルに設定する。
【0105】
更に、画素値置換回路12は、有効セル及び無効セルの設定を受け付け可能に設定されており、指定された或いは初期設定の大きさのメディアンフィルタを基に、有効セル及び無効セルの設定を変更可能に構成されている。例えば、画像補正回路21から、3×3のメディアンフィルタが指定され、有効セルまたは無効セルの設定を受け付けた場合、画素P111〜P551、P11α〜P15α、P21α、P25α、P31α、P35α、P41α、P45α、P51α〜P55α、P115〜P555に対応するセルCを無効セル、その他のセルCを有効セルとする基本設定を、画像補正回路21からの指定に基づいて変更する。
【0106】
画素値置換回路12は、上記第1実施形態と同様に、画像補正回路21によりセルCに画素値が入力されると、画素値が入力されないセルCについて、有効セルに指定されている場合でも、無効セルとする。画素値置換回路12は、その後、有効セル及び無効セルの設定に基づいて、無効セルの画素データを0に置き換え、有効セル数eを位置特定回路14に出力する。
【0107】
ソーティング回路13は、上記第1実施形態と同様に、本実施形態では、画素値置換回路12が無効セルのデータを有効セルの最小値以下の所定値0に置き換えることから、数値の大きい順に順序付けする。また、k=125(奇数)なので、i=(k+1)/2=63とし、63番目までのセルCの画素値を順序付けする。
【0108】
中央値出力回路15は、図示しないが、ソーティング回路13で順序付けられた63個の画素値S1〜S63を受け付け、j番目の画素値Sjを出力するセレクタ回路で構成されている。
【0109】
次に、本発明回路1Aの処理手順について、図10を基に説明する。ここでは、3×3×3のメディアンフィルタが指定され、且つ、注目画素が2次元画像データの外周部以外の画素に設定され、且つ、中央の2次元画像データが最初または最後の2次元画像データではない場合について説明する。
【0110】
画像補正回路21は、先ず、本発明回路1Aに対し、3×3×3のメディアンフィルタを指定する。その後、P111〜P555の画素値を本発明回路1Aに入力する。
【0111】
画像補正回路21から画素値が入力されると、入力された画素値が夫々対応するセルCに入力される。ここでは、全てのセルCに画措置が入力される。
【0112】
画像補正回路21からセルCに画素値が入力されると、画素値置換回路12は、無効セル、即ち、P111〜P551、P11α〜P15α、P21α、P25α、P31α、P35α、P41α、P45α、P51α〜P55α、P115〜P555(α=2、3、4)に対応するセルCの値を0に置き換える。更に、画素値置換回路12は、位置特定回路14に対し、有効セル数e=27を出力する。
【0113】
ソーティング回路13は、63個の画素値を順位付けして中央値出力回路15に出力する。ここでは、数値の大きい順に、1番目〜63番目までの数値が出力される。
【0114】
位置特定回路14は、画素値置換回路12から有効セル数eを受け付け、順位jを求める。ここでは、有効セルの数e=27(奇数)なので、j=(e+1)/2=14となる。
【0115】
最後に、中央値出力回路15は、ソーティング回路13から出力された63個の画素値S1〜S63の内、14番目の画素値S14を中央値として画像補正回路21に出力する。
【0116】
本実施形態では、画像データが動画データである場合を想定して説明したが、3次元の立体画像データであっても良い。また、本実施形態では、5×5×5のメディアンフィルタを3×3×3のメディアンフィルタとして用いる場合について説明したが、例えば、c=1とすれば、上記第1〜第3実施形態のように、2次元のメディアンフィルタとして用いることが可能である。
【0117】
〈別実施形態〉
〈1〉上記第1〜第4実施形態では、画素値置換回路12が無効セルの値を0に設定し、ソーティング回路13が数値の大きい順に順序付けする場合について説明したが、これに限るものではない。例えば、画素値置換回路12が無効セルの値を255に設定し、ソーティング回路13が数値の小さい順に順序付けするように構成しても良い。
【0118】
〈2〉上記第1〜第4実施形態では、位置特定回路14が、有効セルの数eが偶数の場合に、順位jを(e/2)+1とする場合について説明したが、j=(e/2)としても良い。また、図12に示すように、本発明回路1Bの位置特定回路14が、外部入力に基づいて、有効セルの数eが偶数の場合に、順位jを、(e/2)または(e/2)+1の何れにするかの指定を受け付けるように構成しても良い。具体的には、初期設定としてj=(e/2)+1としておき、画像補正回路21により、j=(e/2)が指定された場合にj=(e/2)とするように構成しても良いし、初期設定をj=(e/2)としてj=(e/2)+1を指定するように構成しても良い。
【0119】
〈3〉上記第1〜第4実施形態では、位置特定回路14が、有効セル数eを受け付けて順序jを求めるように構成したが、これに限るものではない。例えば、無効セル数を受け付け、有効セル数e=全セル数−無効セル数として有効セル数を求めるように構成しても良い。
【0120】
〈4〉上記第1実施形態では、画像補正回路21によるセルCへの画素値の入力後に、画素値置換回路12が無効セルの設定を行ったが、これに限るものではなく、全てのセルCに予め無効セルの所定値、例えば0を設定しておき、その後、画像補正回路21から画素値の入力を受け付けるように構成しても良い。
【0121】
〈5〉上記第1〜第4実施形態では、ソーティング回路13が、1〜i番目までのセルCの画素値を順序付けして出力するように構成したが、利用しないことが確実な順位の画素値については出力しないように構成しても良い。具体的には、例えば、メディアンフィルタ回路の特性から、有効セルが1個或いは2個の場合、中央値を求める意義が薄いことから、中央値となり得ない可能性の高い1番目の画素値については出力しない構成であっても良い。
【0122】
〈6〉上記第1〜第4実施形態では、セルCが8ビットのラッチ回路で構成されている場合を想定して説明したが、これに限るものではなく、例えば、シフトレジスタであっても良いし、RAM等の記憶装置を利用するように構成しても良い。
【0123】
〈7〉上記第1〜第4実施形態では、ソーティング回路13が大小判定回路Dで構成されている場合について説明したが、これに限るものではなく、例えば、他の構成の回路であっても良いし、既存の他のソーティング回路を利用するように構成しても良い。
【0124】
〈8〉上記第1〜第4実施形態では、中央値出力回路15がセレクタ回路で構成されている場合について説明したが、これに限るものではなく、他の構成の回路であっても良い。
【符号の説明】
【0125】
1 本発明に係るメディアンフィルタ回路
1A 本発明に係るメディアンフィルタ回路
1B 本発明に係るメディアンフィルタ回路
2 本発明に係る画像処理装置
10 セル群
12 画素値置換回路
13 ソーティング回路
14 位置特定回路
15 中央値出力回路
21 画像補正回路
22 記憶装置
P 画素
C セル
D 大小判定回路
【特許請求の範囲】
【請求項1】
画像データを構成する1つの画素値を夫々が格納するk(但し、k=n×mまたはn×m×r、n、m、rは正の整数で、n、mの内の少なくとも1つとrは2以上)個のセルと、
入力された画素値を利用する有効セル以外の無効セルの画素値を、前記有効セルの前記画素値の最小値以下または最大値以上の所定値に設定する画素値置換回路と、
格納されている前記画素値の大きい順または小さい順に、kが偶数の場合は変数i=k/2または(k/2)+1とし、kが奇数の場合は変数i=(k+1)/2とし、i番目までの前記セルの画素値を順序付けするソーティング回路と、
前記有効セルの数に基づいて、中央値として用いる前記画素値の順位jを出力する位置特定回路と、
前記位置特定回路で求めた前記順位jに基づいて、前記ソーティング回路で順序付けられたj番目の順位の前記セルの画素値を出力する中央値出力回路と、を備えることを特徴とするメディアンフィルタ回路。
【請求項2】
前記ソーティング回路は、前記画素値置換回路が前記無効セルの画素値を前記有効セルの画素値の最小値以下の前記所定値に書き換える場合、前記セルの画素値を数値の大きい順にi番目まで順序付けし、前記無効セルの画素値を前記有効セルの画素値の最大値以上の前記所定値に書き換える場合、前記セルの画素値を数値の小さい順にi番目まで順序付けるように構成され、
前記位置特定回路は、前記順位jを、前記有効セルの数eが奇数の場合は(e+1)/2とし、前記有効セルの数eが偶数の場合は、(e/2)または(e/2)+1とすることを特徴とする請求項1に記載のメディアンフィルタ回路。
【請求項3】
前記位置特定回路は、外部入力に基づいて、前記有効セルの数eが偶数の場合に、前記順位jを、(e/2)または(e/2)+1の何れにするかの指定を受け付け可能に構成されていることを特徴とする請求項2に記載のメディアンフィルタ回路。
【請求項4】
前記画素値置換回路は、画素値が入力されない前記セルを前記無効セルとする請求項1〜3の何れか1項に記載のメディアンフィルタ回路。
【請求項5】
前記画素値置換回路は、前記セルの夫々について、前記有効セルであるか前記無効セルであるかの設定を受け付け可能に構成されていることを特徴とする請求項1〜4の何れか1項に記載のメディアンフィルタ回路。
【請求項6】
前記画素値置換回路は、k=n×mの場合において、外部入力によりa×b(1≦a<n、1≦b≦m、または、1≦a≦n、1≦b<m)個の前記セルを利用することが選択された場合に、a×b個の前記セル以外の前記セルを前記無効セルとすることを特徴とする請求項5に記載のメディアンフィルタ回路。
【請求項7】
前記画素値置換回路は、k=n×m×rの場合において、外部入力によりa×b×c(1≦a<n、1≦b≦m、1≦c≦r、または、1≦a≦n、1≦b<m、1≦c≦r、または、1≦a≦n、1≦b≦m、1≦c<r)個の前記セルを利用することが選択された場合に、a×b×c個の前記セル以外の前記セルを前記無効セルとすることを特徴とする請求項5に記載のメディアンフィルタ回路。
【請求項8】
a及びbが奇数であることを特徴とする請求項6または7に記載のメディアンフィルタ回路。
【請求項9】
a=bであることを特徴とする請求項6〜8の何れか1項に記載のメディアンフィルタ回路。
【請求項10】
n及びmが3以上の奇数であることを特徴とする請求項1〜9の何れか1項に記載のメディアンフィルタ回路。
【請求項11】
n=mであることを特徴とする請求項1〜10の何れか1項に記載のメディアンフィルタ回路。
【請求項12】
前記画像データを構成する前記画素から注目画素を選択し、前記注目画素を含む処理領域を設定し、請求項1〜11の何れか1項に記載のメディアンフィルタ回路に前記処理領域に含まれる前記画素の画素値を入力し、前記メディアンフィルタ回路の出力値を前記注目画素の画素値とすることを特徴とする画像処理装置。
【請求項1】
画像データを構成する1つの画素値を夫々が格納するk(但し、k=n×mまたはn×m×r、n、m、rは正の整数で、n、mの内の少なくとも1つとrは2以上)個のセルと、
入力された画素値を利用する有効セル以外の無効セルの画素値を、前記有効セルの前記画素値の最小値以下または最大値以上の所定値に設定する画素値置換回路と、
格納されている前記画素値の大きい順または小さい順に、kが偶数の場合は変数i=k/2または(k/2)+1とし、kが奇数の場合は変数i=(k+1)/2とし、i番目までの前記セルの画素値を順序付けするソーティング回路と、
前記有効セルの数に基づいて、中央値として用いる前記画素値の順位jを出力する位置特定回路と、
前記位置特定回路で求めた前記順位jに基づいて、前記ソーティング回路で順序付けられたj番目の順位の前記セルの画素値を出力する中央値出力回路と、を備えることを特徴とするメディアンフィルタ回路。
【請求項2】
前記ソーティング回路は、前記画素値置換回路が前記無効セルの画素値を前記有効セルの画素値の最小値以下の前記所定値に書き換える場合、前記セルの画素値を数値の大きい順にi番目まで順序付けし、前記無効セルの画素値を前記有効セルの画素値の最大値以上の前記所定値に書き換える場合、前記セルの画素値を数値の小さい順にi番目まで順序付けるように構成され、
前記位置特定回路は、前記順位jを、前記有効セルの数eが奇数の場合は(e+1)/2とし、前記有効セルの数eが偶数の場合は、(e/2)または(e/2)+1とすることを特徴とする請求項1に記載のメディアンフィルタ回路。
【請求項3】
前記位置特定回路は、外部入力に基づいて、前記有効セルの数eが偶数の場合に、前記順位jを、(e/2)または(e/2)+1の何れにするかの指定を受け付け可能に構成されていることを特徴とする請求項2に記載のメディアンフィルタ回路。
【請求項4】
前記画素値置換回路は、画素値が入力されない前記セルを前記無効セルとする請求項1〜3の何れか1項に記載のメディアンフィルタ回路。
【請求項5】
前記画素値置換回路は、前記セルの夫々について、前記有効セルであるか前記無効セルであるかの設定を受け付け可能に構成されていることを特徴とする請求項1〜4の何れか1項に記載のメディアンフィルタ回路。
【請求項6】
前記画素値置換回路は、k=n×mの場合において、外部入力によりa×b(1≦a<n、1≦b≦m、または、1≦a≦n、1≦b<m)個の前記セルを利用することが選択された場合に、a×b個の前記セル以外の前記セルを前記無効セルとすることを特徴とする請求項5に記載のメディアンフィルタ回路。
【請求項7】
前記画素値置換回路は、k=n×m×rの場合において、外部入力によりa×b×c(1≦a<n、1≦b≦m、1≦c≦r、または、1≦a≦n、1≦b<m、1≦c≦r、または、1≦a≦n、1≦b≦m、1≦c<r)個の前記セルを利用することが選択された場合に、a×b×c個の前記セル以外の前記セルを前記無効セルとすることを特徴とする請求項5に記載のメディアンフィルタ回路。
【請求項8】
a及びbが奇数であることを特徴とする請求項6または7に記載のメディアンフィルタ回路。
【請求項9】
a=bであることを特徴とする請求項6〜8の何れか1項に記載のメディアンフィルタ回路。
【請求項10】
n及びmが3以上の奇数であることを特徴とする請求項1〜9の何れか1項に記載のメディアンフィルタ回路。
【請求項11】
n=mであることを特徴とする請求項1〜10の何れか1項に記載のメディアンフィルタ回路。
【請求項12】
前記画像データを構成する前記画素から注目画素を選択し、前記注目画素を含む処理領域を設定し、請求項1〜11の何れか1項に記載のメディアンフィルタ回路に前記処理領域に含まれる前記画素の画素値を入力し、前記メディアンフィルタ回路の出力値を前記注目画素の画素値とすることを特徴とする画像処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−60245(P2012−60245A)
【公開日】平成24年3月22日(2012.3.22)
【国際特許分類】
【出願番号】特願2010−199046(P2010−199046)
【出願日】平成22年9月6日(2010.9.6)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成24年3月22日(2012.3.22)
【国際特許分類】
【出願日】平成22年9月6日(2010.9.6)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]