前処理回路
【課題】画像信号の外挿処理を行うと共に回路規模を縮小することができる前処理回路を提供する。
【解決手段】選択部122aは、ライン数カウンタから入力されるカウント値が示すライン数120dに応じて、新たな画素に係る入力データ120a(画像信号)と、ラインメモリ121aから出力されたデータ120bと、ラインメモリ121cから出力されたデータ120cとのいずれかを選択してラインメモリ121aへ出力する。選択部122aが所定の期間でデータ120b,120cをラインメモリ121aへ出力することによって原画像の下端の領域のデータが外挿される。
【解決手段】選択部122aは、ライン数カウンタから入力されるカウント値が示すライン数120dに応じて、新たな画素に係る入力データ120a(画像信号)と、ラインメモリ121aから出力されたデータ120bと、ラインメモリ121cから出力されたデータ120cとのいずれかを選択してラインメモリ121aへ出力する。選択部122aが所定の期間でデータ120b,120cをラインメモリ121aへ出力することによって原画像の下端の領域のデータが外挿される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、2次元フィルタに入力される画像信号に前処理を行う前処理回路に関する。
【背景技術】
【0002】
エッジの抽出、強調、および平滑化に代表される2次元フィルタ処理において、フィルタ処理後の有効画素数が変化しないように画像データの端部のデータを外挿する処理がある(例えば特許文献1参照)。これにより、処理前後で有効画素数が変化しない2次元フィルタ処理が可能となっている。
【特許文献1】特開2006−94160号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、特許文献1に記載された技術では、外挿処理前に1フレーム分のデータを格納する画像メモリが必要であるため、回路規模が大きくなる。
【0004】
本発明は、上述した課題に鑑みてなされたものであって、画像信号の外挿処理を行うと共に回路規模を縮小することができる前処理回路を提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明は、上記の課題を解決するためになされたもので、L×M(L,Mは整数)の画素に係る画像信号を処理する2次元フィルタ(図1の2次元フィルタ処理部13、図8の2次元フィルタ処理部83、図15の2次元フィルタ処理部155に対応)に前記画像信号を入力する前処理回路であって、前記画像信号を遅延させる遅延素子(図2のラインメモリ121a等、図9のレジスタ821a等に対応)をN段(N≧L−1またはM−1)有し、最終段からK段目(Kは0から(N/2の整数部)−1のいずれかの整数)の前記遅延素子(図2のラインメモリ121d,121e、図9のレジスタ821d,821eに対応)が、前段の前記遅延素子からの第1の入力(図2のデータ120i,120j、図9のデータ820i,820jに対応)と前記第1の入力とは異なる第2の入力(図2のデータ120h,120f、図9のデータ820h,820fに対応)とのいずれかを選択してK段目の前記遅延素子に入力する選択部(図2の選択部122b,122c、図9の選択部822b,822cに対応)を介して前段の前記遅延素子と直列に連結されるように、N段の前記遅延素子が直列に連結され、各遅延素子の出力が前記2次元フィルタの入力に接続されると共に、(N/2の整数部)番目までの画素または画素群に係る前記画像信号が前記2次元フィルタに並列に入力可能となった期間(図3(a)のライン数が2の期間、図10(a)の画素数が2の期間に対応)において、前記選択部からK段目の前記遅延素子への入力が前記第2の入力となるように前記選択部を制御する制御部(図1の制御部10、図8の制御部80に対応)を有することを特徴とする前処理回路である。
【0006】
また、本発明は、L×M(L,Mは整数)の画素に係る画像信号を処理する2次元フィルタに前記画像信号を入力する前処理回路であって、前記画像信号を遅延させる遅延素子をN段(N≧L−1またはM−1)有し、N段の前記遅延素子が直列に連結され、各遅延素子の出力が前記2次元フィルタの入力に接続されると共に、新たな画素または画素群に係る前記画像信号を入力する第1の入力と前記第1の入力とは異なる第2の入力とのいずれかを選択する選択部(図2の選択部122a、図8の選択部822aに対応)と、終端の画素または画素群に係る前記画像信号が入力される期間(図3(a)のライン数が25の期間、図10(a)の画素数が25の期間に対応)の次の期間において、前記選択部が前記第2の入力を選択するように前記選択部を制御する制御部とを有することを特徴とする前処理回路である。
【0007】
また、本発明の前処理回路において、前記選択部は、前記第2の入力として、前記2次元フィルタへの初段から(N/2の整数部)段までのいずれかの入力が接続されていることを特徴とする。
【0008】
また、本発明の前処理回路において、前記選択部は、前記第2の入力として、前記2次元フィルタへの初段から(N/2の整数部)段までのいずれかの入力が接続されていることを特徴とする。
【0009】
また、本発明の前処理回路において、前記遅延素子はラインメモリであることを特徴とする。
【0010】
また、本発明の前処理回路において、前記遅延素子は1画素に係るレジスタであることを特徴とする。
【0011】
上記において、括弧で括った部分の記述は、後述する本発明の実施形態と本発明の構成要素とを便宜的に対応付けるためのものであり、この記述によって本発明の内容が限定されるわけではない。
【発明の効果】
【0012】
本発明によれば、N段の遅延素子を直列に連結し、所定の期間において選択部が第2の入力を選択して所定の遅延素子に入力させるようにしているため、N段の遅延素子で画像信号の外挿処理が可能となり、回路規模を縮小することができる。
【発明を実施するための最良の形態】
【0013】
以下、図面を参照し、本発明の実施形態を説明する。以下の各実施形態において、2次元フィルタのタップ数は5であるものとする。タップ数をNとすると、外挿処理に必要なライン数は(N−1)/2で定義されるため、以下の各実施形態の外挿処理に必要なライン数は2ラインとなる。
【0014】
(第1の実施形態)
まず、本発明の第1の実施形態を説明する。図1は、本実施形態による2次元フィルタ処理部13の前処理回路の構成を示している。この前処理回路は、制御部10、ライン数カウンタ11、および垂直方向外挿部12を備えている。
【0015】
制御部10は、回路の動作を制御するための制御信号を出力する。ライン数カウンタ11は、制御部10から入力される制御信号に基づいてインクリメントされるカウント値(画素数)を記憶する。インクリメントされたカウント値は垂直方向外挿部12へ出力される。垂直方向外挿部12には入力データ(画像信号)およびライン数カウンタ11からのカウント値が入力される。垂直方向外挿部12は、ライン数カウンタ11からのカウント値に応じて、図4に示すように、画像信号に基づいた原画像41のデータに対して垂直方向の上端の領域41aおよび下端の領域41bのデータを外挿する。図5は本実施形態の外挿処理を模式的に示している。原画像51の上端および下端のデータが上下方向に対称となるように外挿される。外挿処理が行われた画像信号は後段の2次元フィルタ処理部13へ出力される。2次元フィルタ処理部13は、入力された画像信号に対して2次元フィルタ処理を施す。
【0016】
図2は垂直方向外挿部12の回路構成を示している。まず、図2(a)に示す回路の構成および動作を説明する。垂直方向外挿部12は、画像信号を遅延させる遅延素子である5段のラインメモリ121a,121b,121c,121d,121e、および入力信号の選択機能を有する選択部122a,122b,122cを備えている。ラインメモリの段数である5は、2次元フィルタ処理部13が処理単位とする画像の垂直方向の画素数に相当する。
【0017】
各ラインメモリには1ライン分のデータが格納される。また、各ラインメモリは直列に連結されている。ただし、ラインメモリ121dは、選択部122bを介して前段のラインメモリ121cと直列に連結され、ラインメモリ121eは、選択部122cを介して前段のラインメモリ121dと直列に連結されている。また、各ラインメモリの出力が2次元フィルタ処理部13の入力に接続されており、各ラインメモリに格納されたデータ(画像信号)が同時に連続して2次元フィルタ処理部13に入力されるようになっている。
【0018】
初段のラインメモリ121aの入力は選択部122aの出力に接続されている。選択部122aは、ライン数カウンタ11から入力されるカウント値が示すライン数120dに応じて、新たな画素に係る入力データ120a(画像信号)と、ラインメモリ121aから出力されたデータ120bと、ラインメモリ121cから出力されたデータ120cとのいずれかを選択してラインメモリ121aへ出力する。後述するように、選択部122aが所定の期間でデータ120b,120cをラインメモリ121aへ出力することによって、図4に示した原画像41の下端の領域41bのデータが外挿される。
【0019】
ラインメモリ121aには、原画像の画像データ(入力データ120a)あるいは垂直方向の外挿データ(データ120b,120c)が選択部122aによって選択されてライン単位(1ライン分の画素からなる画素群単位)で入力される。ラインメモリ121aに入力されたデータは1ライン分の遅延の後に出力される。出力されたデータは2次元フィルタ処理部13へ出力されると共に、後段のラインメモリ121bへデータ120eとして、選択部122cへデータ120fとして、選択部122aへデータ120bとして出力される。
【0020】
ラインメモリ121bには、ラインメモリ121aから出力されたデータ120eが入力される。ラインメモリ121bに入力されたデータは1ライン分の遅延の後に出力される。出力されたデータは2次元フィルタ処理部13へ出力されると共に、後段のラインメモリ121cへデータ120gとして、選択部122bへデータ120hとして出力される。
【0021】
ラインメモリ121cには、ラインメモリ121bから出力されたデータ120gが入力される。ラインメモリ121cに入力されたデータは1ライン分の遅延の後に出力される。出力されたデータは2次元フィルタ処理部13へ出力されると共に、選択部122bへデータ120iとして、選択部122aへデータ120cとして出力される。
【0022】
ラインメモリ121cの出力およびラインメモリ121dの入力の間には選択部122bが接続されている。選択部122bは、ライン数120dに応じて、ラインメモリ121bから出力されたデータ120hと、ラインメモリ121cから出力されたデータ120iとのいずれかを選択してラインメモリ121dへ出力する。後述するように、選択部122bが所定の期間でデータ120hをラインメモリ121dへ出力することによって、図4に示した原画像41の上端の領域41aのデータが外挿される。
【0023】
ラインメモリ121dには、選択部122bから出力されたデータ120hまたはデータ120iが入力される。ラインメモリ121dに入力されたデータは1ライン分の遅延の後に出力される。出力されたデータは2次元フィルタ処理部13へ出力されると共に、選択部122cへデータ120jとして出力される。
【0024】
ラインメモリ121dの出力およびラインメモリ121eの入力の間には選択部122cが接続されている。選択部122cは、ライン数120dに応じて、ラインメモリ121aから出力されたデータ120fと、ラインメモリ121dから出力されたデータ120jとのいずれかを選択してラインメモリ121eへ出力する。後述するように、選択部122cが所定の期間でデータ120fをラインメモリ121eへ出力することによって、図4に示した原画像41の上端の領域41aのデータが外挿される。選択部122b,122cは、同じライン数に基づいた期間で入力の切り換えを行う。
【0025】
次に、垂直方向外挿部12の動作を説明する。図3は垂直方向外挿部12の動作を示している。図3(a)と(b)のうち図3(a)は、図2(a)に示した回路の動作を示している。ライン数に応じた期間で入力データ120aがライン単位で選択部122aに入力される。以下、A,B,C,・・・,X,Y,Zというデータが入力データ120aとして順に選択部122aに入力されるものとする。
【0026】
ライン数が25の期間までは、入力データ120aを選択するように、選択部122aによる入力の選択は固定される。ライン数が0の期間でデータAが選択部122aに入力されると、選択部122aはそのデータAをラインメモリ121aへ出力する。ラインメモリ121aはライン数が1の期間でデータAを出力する(Dout1=A)。このデータAはラインメモリ121bおよび選択部122aに入力される。ラインメモリ121bはライン数が2の期間でデータAを出力する(Dout2=A)。このデータAはラインメモリ121cに入力される。ラインメモリ121cはライン数が3の期間でデータAを出力する(Dout3=A)。このデータAは選択部122a,122bに入力される。
【0027】
ライン数が2の期間で選択部122bには、ラインメモリ121bから出力されたデータAが入力される。選択部122bはこのデータAをラインメモリ121dへ出力する。ラインメモリ121dはライン数が3の期間でデータAを出力する(Dout4=A)。また、ライン数が2の期間で選択部122cには、ラインメモリ121aから出力されたデータBが入力される。選択部122cはこのデータBをラインメモリ121eへ出力する。ラインメモリ121eはライン数が3の期間でデータBを出力する(Dout5=B)。
【0028】
ライン数が3の期間で選択部122bには、ラインメモリ121bから出力されたデータBと、ラインメモリ121cから出力されたデータAとが入力される。選択部122bはデータAを選択してラインメモリ121dへ出力する。ラインメモリ121dはライン数が4の期間でデータAを出力する(Dout4=A)。また、ライン数が3の期間で選択部122cには、ラインメモリ121aから出力されたデータCと、ラインメモリ121dから出力されたデータAとが入力される。選択部122cはデータAを選択してラインメモリ121eへ出力する。ラインメモリ121eはライン数が4の期間でデータAを出力する(Dout5=A)。
【0029】
上記の動作により、ラインメモリ121dには、ラインメモリ121cから出力されたデータAが入力される期間よりも前の期間で、ラインメモリ121bから出力された外挿分のデータAが先行して入力される。また、ラインメモリ121eには、ラインメモリ121dから出力されたデータAが入力される期間よりも前の期間で、ラインメモリ121aから出力された外挿分のデータBと、ラインメモリ121dから出力された外挿分のデータAとが先行して入力される。したがって、図4に示した原画像41の上端の領域41aのデータを外挿することができる。
【0030】
ライン数が4の期間で選択部122b,122cは同時に入力を切り換える。すなわち、選択部122bはラインメモリ121cからのデータ120iを選択するように、選択部122cはラインメモリ121dからのデータ120jを選択するように、それぞれ入力を切り換える。これ以後、選択部122b,122cによる入力の選択は固定される。
【0031】
また、ライン数が26,27の期間で選択部122aは入力を切り換える。ライン数が26の期間で選択部122aには、ラインメモリ121aから出力されたデータZと、ラインメモリ121cから出力されたデータXとが入力される。選択部122aはデータZを選択してラインメモリ121aへ出力する。ラインメモリ121aはライン数が27の期間でデータZを出力する(Dout1=Z)。
【0032】
ライン数が27の期間で選択部122aには、ラインメモリ121aから出力されたデータZと、ラインメモリ121cから出力されたデータYとが入力される。選択部122aはデータYを選択してラインメモリ121aへ出力する。ラインメモリ121aはライン数が28の期間でデータYを出力する(Dout1=Y)。
【0033】
上記の動作により、ラインメモリ121aには、終端の画素を含むラインに係るデータZが入力された期間よりも後の期間で、ラインメモリ121aから出力された外挿分のデータZと、ラインメモリ121cから出力された外挿分のデータYとが入力される。したがって、図4に示した原画像41の下端の領域41bのデータを外挿することができる。なお、図2(b)のように結線すると、初段のラインメモリ121aは不要とすることができる。すなわち、選択部122aに入力されるラインメモリからの入力をラインメモリ121b,121dとする。このときの垂直方向外挿部12の動作を図3(b)に示す。図3(b)から明らかなように、図3(a)に比べて、選択部122bと122cにおける入力の切替のタイミングを1ライン分早くする必要がある。
【0034】
次に、本実施形態の変形例を説明する。図6は垂直方向外挿部12の他の回路構成例を示している。図6(a)に示す回路では、選択部122a,122cの入力が図2に示した回路とは異なっている。選択部122aは、新たな画素に係る入力データ120a(画像信号)と、ラインメモリ121aから出力されたデータ120bとのいずれかを選択してラインメモリ121aへ出力する。また、選択部122cは、ラインメモリ121bから出力されたデータ120hと、ラインメモリ121dから出力されたデータ120jとのいずれかを選択してラインメモリ121eへ出力する。
【0035】
図7は垂直方向外挿部12の動作を示している。図7(a)と(b)のうち図7(a)は、図6(a)に示した回路の動作を示している。ライン数が2の期間で選択部122b,122cには、ラインメモリ121bから出力されたデータAが入力される。選択部122b,122cはこのデータAをそれぞれラインメモリ121d,121eへ出力する。ラインメモリ121d,121eはライン数が3の期間でデータAを出力する(Dout4,Dout5=A)。また、ライン数が3の期間で選択部122cには、ラインメモリ121bから出力されたデータBと、ラインメモリ121dから出力されたデータAとが入力される。選択部122cはデータAを選択してラインメモリ121eへ出力する。ラインメモリ121eはライン数が4の期間でデータAを出力する(Dout5=A)。
【0036】
ライン数が26の期間で選択部122aには、ラインメモリ121aから出力されたデータZが入力される。選択部122aはデータZを選択してラインメモリ121aへ出力する。ラインメモリ121aはライン数が27の期間でデータZを出力する(Dout1=Z)。同様にライン数が27の期間で選択部122aはデータZを選択してラインメモリ121aへ出力する。ラインメモリ121aはライン数が28の期間でデータZを出力する(Dout1=Z)。
【0037】
上記以外の動作は前述した動作と同様である。上記の動作により、図4に示した原画像41の上端の画素のデータが繰り返し外挿されると共に、原画像41の下端のデータが繰り返し外挿される。なお、図6(b)のように結線すると、初段のラインメモリ121aは不要とすることができる。すなわち、選択部122aに入力されるラインメモリからの入力をラインメモリ121bとする。このときの垂直方向外挿部12の動作を図7(b)に示す。図7(b)から明らかなように、図7(a)に比べて、選択部122bと122cにおける入力の切替のタイミングを1ライン分早くする必要がある。
【0038】
上述したように、本実施形態によれば、所定の期間において、選択部122a,122b,122cからラインメモリ121a,121d,121eへの入力を所定の入力へ切り換えることによって、画像信号の外挿処理を行うことができる。
【0039】
本実施形態では、2次元フィルタのタップ数が5である場合の垂直方向外挿部12の構成および動作を説明したが、タップ数をより一般的な整数Lとした場合、最終段(タップについて見るとL番目のタップ)からK段目(Kは0から(L/2の整数部)−1のいずれかの整数)のタップに接続された遅延素子(本実施形態のように複数個の遅延素子でもよい)の入力側に本実施形態と同様の選択部を設けることによって、図4に示した原画像41の上端の領域41aのデータを外挿することができる。さらに、初段のタップの入力側に本実施形態と同様の選択部を設けることによって、図4に示した原画像41の下端の領域41bのデータを外挿することができる。
【0040】
また、少なくとも(L−1)段の遅延素子で画像信号の外挿処理を行うことにより、画像メモリに1フレーム分のデータを格納する必要がなくなるので、回路規模を縮小することができる。また、画像メモリに1フレーム分のデータを格納するとフレーム遅延が生じるが、本実施形態によればフレーム遅延が発生しないので、リアルタイム性を必要とする場合に好適である。
【0041】
(第2の実施形態)
次に、本発明の第2の実施形態を説明する。図8は、本実施形態による2次元フィルタ処理部83の前処理回路の構成を示している。この前処理回路は、制御部80、画素数カウンタ81、および水平方向外挿部82を備えている。
【0042】
制御部80は、回路の動作を制御するための制御信号を出力する。画素数カウンタ81は、制御部80から入力される制御信号に基づいてインクリメントされるカウント値(画素数)を記憶する。インクリメントされたカウント値は水平方向外挿部82へ出力される。水平方向外挿部82には入力データ(画像信号)および画素数カウンタ81からのカウント値が入力される。水平方向外挿部82は、画素数カウンタ81からのカウント値に応じて、図11に示すように、画像信号に基づいた原画像111のデータに対して水平方向の左端の領域111aおよび右端の領域111bのデータを外挿する。図12は本実施形態の外挿処理を模式的に示している。原画像121の左端および右端のデータが左右方向に対称となるように外挿される。外挿処理が行われた画像信号は後段の2次元フィルタ処理部83へ出力される。2次元フィルタ処理部83は、入力された画像信号に対して2次元フィルタ処理を施す。
【0043】
図9は水平方向外挿部82の回路構成を示している。まず、図9(a)に示す回路の構成および動作を説明する。水平方向外挿部82は、画像信号を遅延させる遅延素子である5段のレジスタ821a,821b,821c,821d,821e、および入力信号の選択機能を有する選択部822a,822b,822cを備えている。レジスタの段数である5は、2次元フィルタ処理部83が処理単位とする画像の水平方向の画素数に相当する。
【0044】
各レジスタには1画素分のデータが格納される。また、各レジスタは直列に連結されている。ただし、レジスタ821dは、選択部822bを介して前段のレジスタ821cと直列に連結され、レジスタ821eは、選択部822cを介して前段のレジスタ821dと直列に連結されている。また、各レジスタの出力が2次元フィルタ処理部83の入力に接続されており、各レジスタに格納されたデータ(画像信号)が一括して2次元フィルタ処理部83に入力されるようになっている。
【0045】
初段のレジスタ821aの入力は選択部822aの出力に接続されている。選択部822aは、画素数カウンタ81から入力されるカウント値が示す画素数820dに応じて、新たな画素に係る入力データ820a(画像信号)と、レジスタ821aから出力されたデータ820bと、レジスタ821cから出力されたデータ820cとのいずれかを選択してレジスタ821aへ出力する。後述するように、選択部822aが所定の期間でデータ820b,820cをレジスタ821aへ出力することによって、図11に示した原画像111の右端の領域111bのデータが外挿される。
【0046】
レジスタ821aには、原画像の画像データ(入力データ820a)あるいは水平方向の外挿データ(データ820b,820c)が選択部822aによって選択されて画素単位で入力される。レジスタ821aに入力されたデータは1画素(1サイクル)分の遅延の後に出力される。出力されたデータは2次元フィルタ処理部83へ出力されると共に、後段のレジスタ821bへデータ820eとして、選択部822cへデータ820fとして、選択部822aへデータ820bとして出力される。
【0047】
レジスタ821bには、レジスタ821aから出力されたデータ820eが入力される。レジスタ821bに入力されたデータは1画素(1サイクル)分の遅延の後に出力される。出力されたデータは2次元フィルタ処理部83へ出力されると共に、後段のレジスタ821cへデータ820gとして、選択部822bへデータ820hとして出力される。
【0048】
レジスタ821cには、レジスタ821bから出力されたデータ820gが入力される。レジスタ821cに入力されたデータは1画素(1ライン)分の遅延の後に出力される。出力されたデータは2次元フィルタ処理部83へ出力されると共に、選択部822bへデータ820iとして、選択部822aへデータ820cとして出力される。
【0049】
レジスタ821cの出力およびレジスタ821dの入力の間には選択部822bが接続されている。選択部822bは、画素数820dに応じて、レジスタ821bから出力されたデータ820hと、レジスタ821cから出力されたデータ820iとのいずれかを選択してレジスタ821dへ出力する。後述するように、選択部822bが所定の期間でデータ820hをレジスタ821dへ出力することによって、図11に示した原画像111の左端の領域111aのデータが外挿される。
【0050】
レジスタ821dには、選択部822bから出力されたデータ820hまたはデータ820iが入力される。レジスタ821dに入力されたデータは1画素(1サイクル)分の遅延の後に出力される。出力されたデータは2次元フィルタ処理部83へ出力されると共に、選択部822cへデータ820jとして出力される。
【0051】
レジスタ821dの出力およびレジスタ821eの入力の間には選択部822cが接続されている。選択部822cは、画素数820dに応じて、レジスタ821aから出力されたデータ820fと、レジスタ821dから出力されたデータ820jとのいずれかを選択してレジスタ821eへ出力する。後述するように、選択部822cが所定の期間でデータ820fをレジスタ821eへ出力することによって、図11に示した原画像111の左端の領域111aのデータが外挿される。選択部822b,822cは、同じライン数に基づいた期間で入力の切り換えを行う。
【0052】
次に、水平方向外挿部82の動作を説明する。図10は水平方向外挿部82の動作を示している。図10(a)と(b)のうち図10(a)は、図9(a)に示した回路の動作を示している。画素数に応じた期間で入力データ820aが画素単位で選択部822aに入力される。以下、a,b,c,・・・,x,y,zというデータが入力データ820aとして順に選択部822aに入力されるものとする。
【0053】
画素数が25の期間までは、入力データ820aを選択するように、選択部822aによる入力の選択は固定される。画素数が0の期間でデータaが選択部822aに入力されると、選択部822aはそのデータaをレジスタ821aへ出力する。レジスタ821aは画素数が1の期間でデータaを出力する(DOUT1=a)。このデータaはレジスタ821bおよび選択部822aに入力される。レジスタ821bは画素数が2の期間でデータaを出力する(DOUT2=a)。このデータaはレジスタ821cに入力される。レジスタ821cは画素数が3の期間でデータaを出力する(DOUT3=a)。このデータaは選択部822a,822bに入力される。
【0054】
画素数が2の期間で選択部822bには、レジスタ821bから出力されたデータaが入力される。選択部822bはこのデータaをレジスタ821dへ出力する。レジスタ821dは画素数が3の期間でデータaを出力する(DOUT4=a)。また、画素数が2の期間で選択部822cには、レジスタ821aから出力されたデータbが入力される。選択部822cはこのデータbをレジスタ821eへ出力する。レジスタ821eは画素数が3の期間でデータbを出力する(DOUT5=b)。
【0055】
画素数が3の期間で選択部822bには、レジスタ821bから出力されたデータbと、レジスタ821cから出力されたデータaとが入力される。選択部822bはデータaを選択してレジスタ821dへ出力する。レジスタ821dは画素数が4の期間でデータaを出力する(DOUT4=a)。また、画素数が3の期間で選択部822cには、レジスタ821aから出力されたデータcと、レジスタ821dから出力されたデータaとが入力される。選択部822cはデータaを選択してレジスタ821eへ出力する。レジスタ821eは画素数が4の期間でデータaを出力する(DOUT5=a)。
【0056】
上記の動作により、レジスタ821dには、レジスタ821cから出力されたデータaが入力される期間よりも前の期間で、レジスタ821bから出力された外挿分のデータaが先行して入力される。また、レジスタ821eには、レジスタ821dから出力されたデータaが入力される期間よりも前の期間で、レジスタ821aから出力された外挿分のデータbが先行して入力される。したがって、図11に示した原画像111の左端の領域111aのデータを外挿することができる。
【0057】
画素数が4の期間で選択部822b,822cは同時に入力を切り換える。すなわち、選択部822bはレジスタ821cからのデータ820iを選択するように、選択部822cはレジスタ821dからのデータ820jを選択するように、それぞれ入力を切り換える。これ以後、選択部822b,822cによる入力の選択は固定される。
【0058】
また、画素数が26,27の期間で選択部822aは入力を切り換える。画素数が26の期間で選択部822aには、レジスタ821aから出力されたデータzと、レジスタ821cから出力されたデータxとが入力される。選択部822aはデータzを選択してレジスタ821aへ出力する。レジスタ821aは画素数が27の期間でデータzを出力する(DOUT1=z)。
【0059】
画素数が27の期間で選択部822aには、レジスタ821aから出力されたデータzと、レジスタ821cから出力されたデータyとが入力される。選択部822aはデータyを選択してレジスタ821aへ出力する。レジスタ821aは画素数が28の期間でデータyを出力する(DOUT1=y)。
【0060】
上記の動作により、レジスタ821aには、終端の画素に係るデータzが入力された期間よりも後の期間で、レジスタ821aから出力された外挿分のデータzと、レジスタ821cから出力された外挿分のデータyとが入力される。したがって、図11に示した原画像111の右端の領域111bのデータを外挿することができる。なお、図9(b)のように結線すると、初段のレジスタ821aは不要とすることができる。すなわち、選択部822aに入力されるレジスタからの入力をレジスタ821b,821dとする。このときの水平方向外挿部82の動作を図10(b)に示す。図10(b)から明らかなように、図10(a)に比べて、選択部822bと822cにおける入力の切替のタイミングを1クロック分早くする必要がある。
【0061】
次に、本実施形態の変形例を説明する。図13は水平方向外挿部82の他の回路構成例を示している。図13(a)に示す回路では、選択部822a,822cの入力が図9に示した回路とは異なっている。選択部822aは、新たな画素に係る入力データ820a(画像信号)と、レジスタ821aから出力されたデータ820bとのいずれかを選択してレジスタ821aへ出力する。また、選択部822cは、レジスタ821bから出力されたデータ820hと、レジスタ821dから出力されたデータ820jとのいずれかを選択してレジスタ821eへ出力する。
【0062】
図14は垂直方向外挿部12の動作を示している。図14(a)と(b)のうち図14(a)は、図13(a)に示した回路の動作を示している。画素数が2の期間で選択部822cには、レジスタ821bから出力されたデータaが入力される。選択部822cはこのデータaをレジスタ821eへ出力する。レジスタ821eは画素数が3の期間でデータaを出力する(DOUT5=a)。また、画素数が3の期間で選択部822cには、レジスタ821bから出力されたデータbと、レジスタ821dから出力されたデータaとが入力される。選択部822cはデータaを選択してレジスタ821eへ出力する。レジスタ821eは画素数が4の期間でデータaを出力する(DOUT5=a)。
【0063】
画素数が26の期間で選択部822aには、レジスタ821aから出力されたデータzが入力される。選択部822aはデータzを選択してレジスタ821aへ出力する。レジスタ821aは画素数が27の期間でデータzを出力する(DOUT1=z)。同様に画素数が27の期間で選択部822aはデータzを選択してレジスタ821aへ出力する。レジスタ821aは画素数が28の期間でデータzを出力する(DOUT1=z)。
【0064】
上記以外の動作は前述した動作と同様である。上記の動作により、図11に示した原画像111の左端の画素のデータが繰り返し外挿されると共に、原画像111の右端のデータが繰り返し外挿される。なお、図13(b)のように結線すると、初段のレジスタ821aは不要とすることができる。すなわち、選択部822aに入力されるレジスタからの入力をレジスタ821bとする。このときの水平方向外挿部82の動作を図14(b)に示す。図14(b)から明らかなように、図14(a)に比べて、選択部822bと822cにおける入力の切替のタイミングを1クロック分早くする必要がある。
【0065】
上述したように、本実施形態によれば、第1の実施形態と同様に、画像信号の外挿処理を行うことができると共に、回路規模を縮小することができる。
【0066】
(第3の実施形態)
次に、本発明の第3の実施形態を説明する。図15は、本実施形態による2次元フィルタ処理部155の前処理回路の構成を示している。この前処理回路は、制御部150、ライン数カウンタ151、画素数カウンタ152、垂直方向外挿部153、および水平方向外挿部154を備えている。
【0067】
ライン数カウンタ151および垂直方向外挿部153は、第1の実施形態で説明したライン数カウンタ11および垂直方向外挿部12とそれぞれ同様である。また、画素数カウンタ152および水平方向外挿部154は、第2の実施形態で説明した画素数カウンタ81および水平方向外挿部82とそれぞれ同様である。したがって、本実施形態によれば、画像の垂直方向と水平方向の両方に外挿処理を行うことができる。本実施形態では、垂直方向の外挿処理の後に水平方向の外挿処理が行われるようになっているが、外挿処理の順番は逆でもよい。
【0068】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【0069】
【図1】本発明の第1の実施形態による前処理回路の構成を示すブロック図である。
【図2】本発明の第1の実施形態による前処理回路が備える垂直方向外挿部の構成を示す回路図である。
【図3】本発明の第1の実施形態による前処理回路が備える垂直方向外挿部の動作を示すタイミングチャートである。
【図4】本発明の第1の実施形態における画像信号の外挿処理を説明するための参考図である。
【図5】本発明の第1の実施形態における画像信号の外挿処理を説明するための参考図である。
【図6】本発明の第1の実施形態による前処理回路が備える垂直方向外挿部の変形例の構成を示す回路図である。
【図7】本発明の第1の実施形態による前処理回路が備える垂直方向外挿部の動作を示すタイミングチャートである。
【図8】本発明の第2の実施形態による前処理回路の構成を示すブロック図である。
【図9】本発明の第2の実施形態による前処理回路が備える水平方向外挿部の構成を示す回路図である。
【図10】本発明の第2の実施形態による前処理回路が備える水平方向外挿部の動作を示すタイミングチャートである。
【図11】本発明の第2の実施形態における画像信号の外挿処理を説明するための参考図である。
【図12】本発明の第2の実施形態における画像信号の外挿処理を説明するための参考図である。
【図13】本発明の第2の実施形態による前処理回路が備える水平方向外挿部の変形例の構成を示す回路図である。
【図14】本発明の第2の実施形態による前処理回路が備える水平方向外挿部の動作を示すタイミングチャートである。
【図15】本発明の第3の実施形態による前処理回路の構成を示すブロック図である。
【符号の説明】
【0070】
10,80,150・・・制御部、11,151・・・ライン数カウンタ、12,153・・・垂直方向外挿部、13,83,155・・・2次元フィルタ処理部、81,152・・・画素数カウンタ、82,154・・・水平方向外挿部、121a,121b,121c,121d,121e・・・ラインメモリ、122a,122b,122c,822a,822b,822c・・・選択部、821a,821b,821c,821d,821e・・・レジスタ
【技術分野】
【0001】
本発明は、2次元フィルタに入力される画像信号に前処理を行う前処理回路に関する。
【背景技術】
【0002】
エッジの抽出、強調、および平滑化に代表される2次元フィルタ処理において、フィルタ処理後の有効画素数が変化しないように画像データの端部のデータを外挿する処理がある(例えば特許文献1参照)。これにより、処理前後で有効画素数が変化しない2次元フィルタ処理が可能となっている。
【特許文献1】特開2006−94160号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、特許文献1に記載された技術では、外挿処理前に1フレーム分のデータを格納する画像メモリが必要であるため、回路規模が大きくなる。
【0004】
本発明は、上述した課題に鑑みてなされたものであって、画像信号の外挿処理を行うと共に回路規模を縮小することができる前処理回路を提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明は、上記の課題を解決するためになされたもので、L×M(L,Mは整数)の画素に係る画像信号を処理する2次元フィルタ(図1の2次元フィルタ処理部13、図8の2次元フィルタ処理部83、図15の2次元フィルタ処理部155に対応)に前記画像信号を入力する前処理回路であって、前記画像信号を遅延させる遅延素子(図2のラインメモリ121a等、図9のレジスタ821a等に対応)をN段(N≧L−1またはM−1)有し、最終段からK段目(Kは0から(N/2の整数部)−1のいずれかの整数)の前記遅延素子(図2のラインメモリ121d,121e、図9のレジスタ821d,821eに対応)が、前段の前記遅延素子からの第1の入力(図2のデータ120i,120j、図9のデータ820i,820jに対応)と前記第1の入力とは異なる第2の入力(図2のデータ120h,120f、図9のデータ820h,820fに対応)とのいずれかを選択してK段目の前記遅延素子に入力する選択部(図2の選択部122b,122c、図9の選択部822b,822cに対応)を介して前段の前記遅延素子と直列に連結されるように、N段の前記遅延素子が直列に連結され、各遅延素子の出力が前記2次元フィルタの入力に接続されると共に、(N/2の整数部)番目までの画素または画素群に係る前記画像信号が前記2次元フィルタに並列に入力可能となった期間(図3(a)のライン数が2の期間、図10(a)の画素数が2の期間に対応)において、前記選択部からK段目の前記遅延素子への入力が前記第2の入力となるように前記選択部を制御する制御部(図1の制御部10、図8の制御部80に対応)を有することを特徴とする前処理回路である。
【0006】
また、本発明は、L×M(L,Mは整数)の画素に係る画像信号を処理する2次元フィルタに前記画像信号を入力する前処理回路であって、前記画像信号を遅延させる遅延素子をN段(N≧L−1またはM−1)有し、N段の前記遅延素子が直列に連結され、各遅延素子の出力が前記2次元フィルタの入力に接続されると共に、新たな画素または画素群に係る前記画像信号を入力する第1の入力と前記第1の入力とは異なる第2の入力とのいずれかを選択する選択部(図2の選択部122a、図8の選択部822aに対応)と、終端の画素または画素群に係る前記画像信号が入力される期間(図3(a)のライン数が25の期間、図10(a)の画素数が25の期間に対応)の次の期間において、前記選択部が前記第2の入力を選択するように前記選択部を制御する制御部とを有することを特徴とする前処理回路である。
【0007】
また、本発明の前処理回路において、前記選択部は、前記第2の入力として、前記2次元フィルタへの初段から(N/2の整数部)段までのいずれかの入力が接続されていることを特徴とする。
【0008】
また、本発明の前処理回路において、前記選択部は、前記第2の入力として、前記2次元フィルタへの初段から(N/2の整数部)段までのいずれかの入力が接続されていることを特徴とする。
【0009】
また、本発明の前処理回路において、前記遅延素子はラインメモリであることを特徴とする。
【0010】
また、本発明の前処理回路において、前記遅延素子は1画素に係るレジスタであることを特徴とする。
【0011】
上記において、括弧で括った部分の記述は、後述する本発明の実施形態と本発明の構成要素とを便宜的に対応付けるためのものであり、この記述によって本発明の内容が限定されるわけではない。
【発明の効果】
【0012】
本発明によれば、N段の遅延素子を直列に連結し、所定の期間において選択部が第2の入力を選択して所定の遅延素子に入力させるようにしているため、N段の遅延素子で画像信号の外挿処理が可能となり、回路規模を縮小することができる。
【発明を実施するための最良の形態】
【0013】
以下、図面を参照し、本発明の実施形態を説明する。以下の各実施形態において、2次元フィルタのタップ数は5であるものとする。タップ数をNとすると、外挿処理に必要なライン数は(N−1)/2で定義されるため、以下の各実施形態の外挿処理に必要なライン数は2ラインとなる。
【0014】
(第1の実施形態)
まず、本発明の第1の実施形態を説明する。図1は、本実施形態による2次元フィルタ処理部13の前処理回路の構成を示している。この前処理回路は、制御部10、ライン数カウンタ11、および垂直方向外挿部12を備えている。
【0015】
制御部10は、回路の動作を制御するための制御信号を出力する。ライン数カウンタ11は、制御部10から入力される制御信号に基づいてインクリメントされるカウント値(画素数)を記憶する。インクリメントされたカウント値は垂直方向外挿部12へ出力される。垂直方向外挿部12には入力データ(画像信号)およびライン数カウンタ11からのカウント値が入力される。垂直方向外挿部12は、ライン数カウンタ11からのカウント値に応じて、図4に示すように、画像信号に基づいた原画像41のデータに対して垂直方向の上端の領域41aおよび下端の領域41bのデータを外挿する。図5は本実施形態の外挿処理を模式的に示している。原画像51の上端および下端のデータが上下方向に対称となるように外挿される。外挿処理が行われた画像信号は後段の2次元フィルタ処理部13へ出力される。2次元フィルタ処理部13は、入力された画像信号に対して2次元フィルタ処理を施す。
【0016】
図2は垂直方向外挿部12の回路構成を示している。まず、図2(a)に示す回路の構成および動作を説明する。垂直方向外挿部12は、画像信号を遅延させる遅延素子である5段のラインメモリ121a,121b,121c,121d,121e、および入力信号の選択機能を有する選択部122a,122b,122cを備えている。ラインメモリの段数である5は、2次元フィルタ処理部13が処理単位とする画像の垂直方向の画素数に相当する。
【0017】
各ラインメモリには1ライン分のデータが格納される。また、各ラインメモリは直列に連結されている。ただし、ラインメモリ121dは、選択部122bを介して前段のラインメモリ121cと直列に連結され、ラインメモリ121eは、選択部122cを介して前段のラインメモリ121dと直列に連結されている。また、各ラインメモリの出力が2次元フィルタ処理部13の入力に接続されており、各ラインメモリに格納されたデータ(画像信号)が同時に連続して2次元フィルタ処理部13に入力されるようになっている。
【0018】
初段のラインメモリ121aの入力は選択部122aの出力に接続されている。選択部122aは、ライン数カウンタ11から入力されるカウント値が示すライン数120dに応じて、新たな画素に係る入力データ120a(画像信号)と、ラインメモリ121aから出力されたデータ120bと、ラインメモリ121cから出力されたデータ120cとのいずれかを選択してラインメモリ121aへ出力する。後述するように、選択部122aが所定の期間でデータ120b,120cをラインメモリ121aへ出力することによって、図4に示した原画像41の下端の領域41bのデータが外挿される。
【0019】
ラインメモリ121aには、原画像の画像データ(入力データ120a)あるいは垂直方向の外挿データ(データ120b,120c)が選択部122aによって選択されてライン単位(1ライン分の画素からなる画素群単位)で入力される。ラインメモリ121aに入力されたデータは1ライン分の遅延の後に出力される。出力されたデータは2次元フィルタ処理部13へ出力されると共に、後段のラインメモリ121bへデータ120eとして、選択部122cへデータ120fとして、選択部122aへデータ120bとして出力される。
【0020】
ラインメモリ121bには、ラインメモリ121aから出力されたデータ120eが入力される。ラインメモリ121bに入力されたデータは1ライン分の遅延の後に出力される。出力されたデータは2次元フィルタ処理部13へ出力されると共に、後段のラインメモリ121cへデータ120gとして、選択部122bへデータ120hとして出力される。
【0021】
ラインメモリ121cには、ラインメモリ121bから出力されたデータ120gが入力される。ラインメモリ121cに入力されたデータは1ライン分の遅延の後に出力される。出力されたデータは2次元フィルタ処理部13へ出力されると共に、選択部122bへデータ120iとして、選択部122aへデータ120cとして出力される。
【0022】
ラインメモリ121cの出力およびラインメモリ121dの入力の間には選択部122bが接続されている。選択部122bは、ライン数120dに応じて、ラインメモリ121bから出力されたデータ120hと、ラインメモリ121cから出力されたデータ120iとのいずれかを選択してラインメモリ121dへ出力する。後述するように、選択部122bが所定の期間でデータ120hをラインメモリ121dへ出力することによって、図4に示した原画像41の上端の領域41aのデータが外挿される。
【0023】
ラインメモリ121dには、選択部122bから出力されたデータ120hまたはデータ120iが入力される。ラインメモリ121dに入力されたデータは1ライン分の遅延の後に出力される。出力されたデータは2次元フィルタ処理部13へ出力されると共に、選択部122cへデータ120jとして出力される。
【0024】
ラインメモリ121dの出力およびラインメモリ121eの入力の間には選択部122cが接続されている。選択部122cは、ライン数120dに応じて、ラインメモリ121aから出力されたデータ120fと、ラインメモリ121dから出力されたデータ120jとのいずれかを選択してラインメモリ121eへ出力する。後述するように、選択部122cが所定の期間でデータ120fをラインメモリ121eへ出力することによって、図4に示した原画像41の上端の領域41aのデータが外挿される。選択部122b,122cは、同じライン数に基づいた期間で入力の切り換えを行う。
【0025】
次に、垂直方向外挿部12の動作を説明する。図3は垂直方向外挿部12の動作を示している。図3(a)と(b)のうち図3(a)は、図2(a)に示した回路の動作を示している。ライン数に応じた期間で入力データ120aがライン単位で選択部122aに入力される。以下、A,B,C,・・・,X,Y,Zというデータが入力データ120aとして順に選択部122aに入力されるものとする。
【0026】
ライン数が25の期間までは、入力データ120aを選択するように、選択部122aによる入力の選択は固定される。ライン数が0の期間でデータAが選択部122aに入力されると、選択部122aはそのデータAをラインメモリ121aへ出力する。ラインメモリ121aはライン数が1の期間でデータAを出力する(Dout1=A)。このデータAはラインメモリ121bおよび選択部122aに入力される。ラインメモリ121bはライン数が2の期間でデータAを出力する(Dout2=A)。このデータAはラインメモリ121cに入力される。ラインメモリ121cはライン数が3の期間でデータAを出力する(Dout3=A)。このデータAは選択部122a,122bに入力される。
【0027】
ライン数が2の期間で選択部122bには、ラインメモリ121bから出力されたデータAが入力される。選択部122bはこのデータAをラインメモリ121dへ出力する。ラインメモリ121dはライン数が3の期間でデータAを出力する(Dout4=A)。また、ライン数が2の期間で選択部122cには、ラインメモリ121aから出力されたデータBが入力される。選択部122cはこのデータBをラインメモリ121eへ出力する。ラインメモリ121eはライン数が3の期間でデータBを出力する(Dout5=B)。
【0028】
ライン数が3の期間で選択部122bには、ラインメモリ121bから出力されたデータBと、ラインメモリ121cから出力されたデータAとが入力される。選択部122bはデータAを選択してラインメモリ121dへ出力する。ラインメモリ121dはライン数が4の期間でデータAを出力する(Dout4=A)。また、ライン数が3の期間で選択部122cには、ラインメモリ121aから出力されたデータCと、ラインメモリ121dから出力されたデータAとが入力される。選択部122cはデータAを選択してラインメモリ121eへ出力する。ラインメモリ121eはライン数が4の期間でデータAを出力する(Dout5=A)。
【0029】
上記の動作により、ラインメモリ121dには、ラインメモリ121cから出力されたデータAが入力される期間よりも前の期間で、ラインメモリ121bから出力された外挿分のデータAが先行して入力される。また、ラインメモリ121eには、ラインメモリ121dから出力されたデータAが入力される期間よりも前の期間で、ラインメモリ121aから出力された外挿分のデータBと、ラインメモリ121dから出力された外挿分のデータAとが先行して入力される。したがって、図4に示した原画像41の上端の領域41aのデータを外挿することができる。
【0030】
ライン数が4の期間で選択部122b,122cは同時に入力を切り換える。すなわち、選択部122bはラインメモリ121cからのデータ120iを選択するように、選択部122cはラインメモリ121dからのデータ120jを選択するように、それぞれ入力を切り換える。これ以後、選択部122b,122cによる入力の選択は固定される。
【0031】
また、ライン数が26,27の期間で選択部122aは入力を切り換える。ライン数が26の期間で選択部122aには、ラインメモリ121aから出力されたデータZと、ラインメモリ121cから出力されたデータXとが入力される。選択部122aはデータZを選択してラインメモリ121aへ出力する。ラインメモリ121aはライン数が27の期間でデータZを出力する(Dout1=Z)。
【0032】
ライン数が27の期間で選択部122aには、ラインメモリ121aから出力されたデータZと、ラインメモリ121cから出力されたデータYとが入力される。選択部122aはデータYを選択してラインメモリ121aへ出力する。ラインメモリ121aはライン数が28の期間でデータYを出力する(Dout1=Y)。
【0033】
上記の動作により、ラインメモリ121aには、終端の画素を含むラインに係るデータZが入力された期間よりも後の期間で、ラインメモリ121aから出力された外挿分のデータZと、ラインメモリ121cから出力された外挿分のデータYとが入力される。したがって、図4に示した原画像41の下端の領域41bのデータを外挿することができる。なお、図2(b)のように結線すると、初段のラインメモリ121aは不要とすることができる。すなわち、選択部122aに入力されるラインメモリからの入力をラインメモリ121b,121dとする。このときの垂直方向外挿部12の動作を図3(b)に示す。図3(b)から明らかなように、図3(a)に比べて、選択部122bと122cにおける入力の切替のタイミングを1ライン分早くする必要がある。
【0034】
次に、本実施形態の変形例を説明する。図6は垂直方向外挿部12の他の回路構成例を示している。図6(a)に示す回路では、選択部122a,122cの入力が図2に示した回路とは異なっている。選択部122aは、新たな画素に係る入力データ120a(画像信号)と、ラインメモリ121aから出力されたデータ120bとのいずれかを選択してラインメモリ121aへ出力する。また、選択部122cは、ラインメモリ121bから出力されたデータ120hと、ラインメモリ121dから出力されたデータ120jとのいずれかを選択してラインメモリ121eへ出力する。
【0035】
図7は垂直方向外挿部12の動作を示している。図7(a)と(b)のうち図7(a)は、図6(a)に示した回路の動作を示している。ライン数が2の期間で選択部122b,122cには、ラインメモリ121bから出力されたデータAが入力される。選択部122b,122cはこのデータAをそれぞれラインメモリ121d,121eへ出力する。ラインメモリ121d,121eはライン数が3の期間でデータAを出力する(Dout4,Dout5=A)。また、ライン数が3の期間で選択部122cには、ラインメモリ121bから出力されたデータBと、ラインメモリ121dから出力されたデータAとが入力される。選択部122cはデータAを選択してラインメモリ121eへ出力する。ラインメモリ121eはライン数が4の期間でデータAを出力する(Dout5=A)。
【0036】
ライン数が26の期間で選択部122aには、ラインメモリ121aから出力されたデータZが入力される。選択部122aはデータZを選択してラインメモリ121aへ出力する。ラインメモリ121aはライン数が27の期間でデータZを出力する(Dout1=Z)。同様にライン数が27の期間で選択部122aはデータZを選択してラインメモリ121aへ出力する。ラインメモリ121aはライン数が28の期間でデータZを出力する(Dout1=Z)。
【0037】
上記以外の動作は前述した動作と同様である。上記の動作により、図4に示した原画像41の上端の画素のデータが繰り返し外挿されると共に、原画像41の下端のデータが繰り返し外挿される。なお、図6(b)のように結線すると、初段のラインメモリ121aは不要とすることができる。すなわち、選択部122aに入力されるラインメモリからの入力をラインメモリ121bとする。このときの垂直方向外挿部12の動作を図7(b)に示す。図7(b)から明らかなように、図7(a)に比べて、選択部122bと122cにおける入力の切替のタイミングを1ライン分早くする必要がある。
【0038】
上述したように、本実施形態によれば、所定の期間において、選択部122a,122b,122cからラインメモリ121a,121d,121eへの入力を所定の入力へ切り換えることによって、画像信号の外挿処理を行うことができる。
【0039】
本実施形態では、2次元フィルタのタップ数が5である場合の垂直方向外挿部12の構成および動作を説明したが、タップ数をより一般的な整数Lとした場合、最終段(タップについて見るとL番目のタップ)からK段目(Kは0から(L/2の整数部)−1のいずれかの整数)のタップに接続された遅延素子(本実施形態のように複数個の遅延素子でもよい)の入力側に本実施形態と同様の選択部を設けることによって、図4に示した原画像41の上端の領域41aのデータを外挿することができる。さらに、初段のタップの入力側に本実施形態と同様の選択部を設けることによって、図4に示した原画像41の下端の領域41bのデータを外挿することができる。
【0040】
また、少なくとも(L−1)段の遅延素子で画像信号の外挿処理を行うことにより、画像メモリに1フレーム分のデータを格納する必要がなくなるので、回路規模を縮小することができる。また、画像メモリに1フレーム分のデータを格納するとフレーム遅延が生じるが、本実施形態によればフレーム遅延が発生しないので、リアルタイム性を必要とする場合に好適である。
【0041】
(第2の実施形態)
次に、本発明の第2の実施形態を説明する。図8は、本実施形態による2次元フィルタ処理部83の前処理回路の構成を示している。この前処理回路は、制御部80、画素数カウンタ81、および水平方向外挿部82を備えている。
【0042】
制御部80は、回路の動作を制御するための制御信号を出力する。画素数カウンタ81は、制御部80から入力される制御信号に基づいてインクリメントされるカウント値(画素数)を記憶する。インクリメントされたカウント値は水平方向外挿部82へ出力される。水平方向外挿部82には入力データ(画像信号)および画素数カウンタ81からのカウント値が入力される。水平方向外挿部82は、画素数カウンタ81からのカウント値に応じて、図11に示すように、画像信号に基づいた原画像111のデータに対して水平方向の左端の領域111aおよび右端の領域111bのデータを外挿する。図12は本実施形態の外挿処理を模式的に示している。原画像121の左端および右端のデータが左右方向に対称となるように外挿される。外挿処理が行われた画像信号は後段の2次元フィルタ処理部83へ出力される。2次元フィルタ処理部83は、入力された画像信号に対して2次元フィルタ処理を施す。
【0043】
図9は水平方向外挿部82の回路構成を示している。まず、図9(a)に示す回路の構成および動作を説明する。水平方向外挿部82は、画像信号を遅延させる遅延素子である5段のレジスタ821a,821b,821c,821d,821e、および入力信号の選択機能を有する選択部822a,822b,822cを備えている。レジスタの段数である5は、2次元フィルタ処理部83が処理単位とする画像の水平方向の画素数に相当する。
【0044】
各レジスタには1画素分のデータが格納される。また、各レジスタは直列に連結されている。ただし、レジスタ821dは、選択部822bを介して前段のレジスタ821cと直列に連結され、レジスタ821eは、選択部822cを介して前段のレジスタ821dと直列に連結されている。また、各レジスタの出力が2次元フィルタ処理部83の入力に接続されており、各レジスタに格納されたデータ(画像信号)が一括して2次元フィルタ処理部83に入力されるようになっている。
【0045】
初段のレジスタ821aの入力は選択部822aの出力に接続されている。選択部822aは、画素数カウンタ81から入力されるカウント値が示す画素数820dに応じて、新たな画素に係る入力データ820a(画像信号)と、レジスタ821aから出力されたデータ820bと、レジスタ821cから出力されたデータ820cとのいずれかを選択してレジスタ821aへ出力する。後述するように、選択部822aが所定の期間でデータ820b,820cをレジスタ821aへ出力することによって、図11に示した原画像111の右端の領域111bのデータが外挿される。
【0046】
レジスタ821aには、原画像の画像データ(入力データ820a)あるいは水平方向の外挿データ(データ820b,820c)が選択部822aによって選択されて画素単位で入力される。レジスタ821aに入力されたデータは1画素(1サイクル)分の遅延の後に出力される。出力されたデータは2次元フィルタ処理部83へ出力されると共に、後段のレジスタ821bへデータ820eとして、選択部822cへデータ820fとして、選択部822aへデータ820bとして出力される。
【0047】
レジスタ821bには、レジスタ821aから出力されたデータ820eが入力される。レジスタ821bに入力されたデータは1画素(1サイクル)分の遅延の後に出力される。出力されたデータは2次元フィルタ処理部83へ出力されると共に、後段のレジスタ821cへデータ820gとして、選択部822bへデータ820hとして出力される。
【0048】
レジスタ821cには、レジスタ821bから出力されたデータ820gが入力される。レジスタ821cに入力されたデータは1画素(1ライン)分の遅延の後に出力される。出力されたデータは2次元フィルタ処理部83へ出力されると共に、選択部822bへデータ820iとして、選択部822aへデータ820cとして出力される。
【0049】
レジスタ821cの出力およびレジスタ821dの入力の間には選択部822bが接続されている。選択部822bは、画素数820dに応じて、レジスタ821bから出力されたデータ820hと、レジスタ821cから出力されたデータ820iとのいずれかを選択してレジスタ821dへ出力する。後述するように、選択部822bが所定の期間でデータ820hをレジスタ821dへ出力することによって、図11に示した原画像111の左端の領域111aのデータが外挿される。
【0050】
レジスタ821dには、選択部822bから出力されたデータ820hまたはデータ820iが入力される。レジスタ821dに入力されたデータは1画素(1サイクル)分の遅延の後に出力される。出力されたデータは2次元フィルタ処理部83へ出力されると共に、選択部822cへデータ820jとして出力される。
【0051】
レジスタ821dの出力およびレジスタ821eの入力の間には選択部822cが接続されている。選択部822cは、画素数820dに応じて、レジスタ821aから出力されたデータ820fと、レジスタ821dから出力されたデータ820jとのいずれかを選択してレジスタ821eへ出力する。後述するように、選択部822cが所定の期間でデータ820fをレジスタ821eへ出力することによって、図11に示した原画像111の左端の領域111aのデータが外挿される。選択部822b,822cは、同じライン数に基づいた期間で入力の切り換えを行う。
【0052】
次に、水平方向外挿部82の動作を説明する。図10は水平方向外挿部82の動作を示している。図10(a)と(b)のうち図10(a)は、図9(a)に示した回路の動作を示している。画素数に応じた期間で入力データ820aが画素単位で選択部822aに入力される。以下、a,b,c,・・・,x,y,zというデータが入力データ820aとして順に選択部822aに入力されるものとする。
【0053】
画素数が25の期間までは、入力データ820aを選択するように、選択部822aによる入力の選択は固定される。画素数が0の期間でデータaが選択部822aに入力されると、選択部822aはそのデータaをレジスタ821aへ出力する。レジスタ821aは画素数が1の期間でデータaを出力する(DOUT1=a)。このデータaはレジスタ821bおよび選択部822aに入力される。レジスタ821bは画素数が2の期間でデータaを出力する(DOUT2=a)。このデータaはレジスタ821cに入力される。レジスタ821cは画素数が3の期間でデータaを出力する(DOUT3=a)。このデータaは選択部822a,822bに入力される。
【0054】
画素数が2の期間で選択部822bには、レジスタ821bから出力されたデータaが入力される。選択部822bはこのデータaをレジスタ821dへ出力する。レジスタ821dは画素数が3の期間でデータaを出力する(DOUT4=a)。また、画素数が2の期間で選択部822cには、レジスタ821aから出力されたデータbが入力される。選択部822cはこのデータbをレジスタ821eへ出力する。レジスタ821eは画素数が3の期間でデータbを出力する(DOUT5=b)。
【0055】
画素数が3の期間で選択部822bには、レジスタ821bから出力されたデータbと、レジスタ821cから出力されたデータaとが入力される。選択部822bはデータaを選択してレジスタ821dへ出力する。レジスタ821dは画素数が4の期間でデータaを出力する(DOUT4=a)。また、画素数が3の期間で選択部822cには、レジスタ821aから出力されたデータcと、レジスタ821dから出力されたデータaとが入力される。選択部822cはデータaを選択してレジスタ821eへ出力する。レジスタ821eは画素数が4の期間でデータaを出力する(DOUT5=a)。
【0056】
上記の動作により、レジスタ821dには、レジスタ821cから出力されたデータaが入力される期間よりも前の期間で、レジスタ821bから出力された外挿分のデータaが先行して入力される。また、レジスタ821eには、レジスタ821dから出力されたデータaが入力される期間よりも前の期間で、レジスタ821aから出力された外挿分のデータbが先行して入力される。したがって、図11に示した原画像111の左端の領域111aのデータを外挿することができる。
【0057】
画素数が4の期間で選択部822b,822cは同時に入力を切り換える。すなわち、選択部822bはレジスタ821cからのデータ820iを選択するように、選択部822cはレジスタ821dからのデータ820jを選択するように、それぞれ入力を切り換える。これ以後、選択部822b,822cによる入力の選択は固定される。
【0058】
また、画素数が26,27の期間で選択部822aは入力を切り換える。画素数が26の期間で選択部822aには、レジスタ821aから出力されたデータzと、レジスタ821cから出力されたデータxとが入力される。選択部822aはデータzを選択してレジスタ821aへ出力する。レジスタ821aは画素数が27の期間でデータzを出力する(DOUT1=z)。
【0059】
画素数が27の期間で選択部822aには、レジスタ821aから出力されたデータzと、レジスタ821cから出力されたデータyとが入力される。選択部822aはデータyを選択してレジスタ821aへ出力する。レジスタ821aは画素数が28の期間でデータyを出力する(DOUT1=y)。
【0060】
上記の動作により、レジスタ821aには、終端の画素に係るデータzが入力された期間よりも後の期間で、レジスタ821aから出力された外挿分のデータzと、レジスタ821cから出力された外挿分のデータyとが入力される。したがって、図11に示した原画像111の右端の領域111bのデータを外挿することができる。なお、図9(b)のように結線すると、初段のレジスタ821aは不要とすることができる。すなわち、選択部822aに入力されるレジスタからの入力をレジスタ821b,821dとする。このときの水平方向外挿部82の動作を図10(b)に示す。図10(b)から明らかなように、図10(a)に比べて、選択部822bと822cにおける入力の切替のタイミングを1クロック分早くする必要がある。
【0061】
次に、本実施形態の変形例を説明する。図13は水平方向外挿部82の他の回路構成例を示している。図13(a)に示す回路では、選択部822a,822cの入力が図9に示した回路とは異なっている。選択部822aは、新たな画素に係る入力データ820a(画像信号)と、レジスタ821aから出力されたデータ820bとのいずれかを選択してレジスタ821aへ出力する。また、選択部822cは、レジスタ821bから出力されたデータ820hと、レジスタ821dから出力されたデータ820jとのいずれかを選択してレジスタ821eへ出力する。
【0062】
図14は垂直方向外挿部12の動作を示している。図14(a)と(b)のうち図14(a)は、図13(a)に示した回路の動作を示している。画素数が2の期間で選択部822cには、レジスタ821bから出力されたデータaが入力される。選択部822cはこのデータaをレジスタ821eへ出力する。レジスタ821eは画素数が3の期間でデータaを出力する(DOUT5=a)。また、画素数が3の期間で選択部822cには、レジスタ821bから出力されたデータbと、レジスタ821dから出力されたデータaとが入力される。選択部822cはデータaを選択してレジスタ821eへ出力する。レジスタ821eは画素数が4の期間でデータaを出力する(DOUT5=a)。
【0063】
画素数が26の期間で選択部822aには、レジスタ821aから出力されたデータzが入力される。選択部822aはデータzを選択してレジスタ821aへ出力する。レジスタ821aは画素数が27の期間でデータzを出力する(DOUT1=z)。同様に画素数が27の期間で選択部822aはデータzを選択してレジスタ821aへ出力する。レジスタ821aは画素数が28の期間でデータzを出力する(DOUT1=z)。
【0064】
上記以外の動作は前述した動作と同様である。上記の動作により、図11に示した原画像111の左端の画素のデータが繰り返し外挿されると共に、原画像111の右端のデータが繰り返し外挿される。なお、図13(b)のように結線すると、初段のレジスタ821aは不要とすることができる。すなわち、選択部822aに入力されるレジスタからの入力をレジスタ821bとする。このときの水平方向外挿部82の動作を図14(b)に示す。図14(b)から明らかなように、図14(a)に比べて、選択部822bと822cにおける入力の切替のタイミングを1クロック分早くする必要がある。
【0065】
上述したように、本実施形態によれば、第1の実施形態と同様に、画像信号の外挿処理を行うことができると共に、回路規模を縮小することができる。
【0066】
(第3の実施形態)
次に、本発明の第3の実施形態を説明する。図15は、本実施形態による2次元フィルタ処理部155の前処理回路の構成を示している。この前処理回路は、制御部150、ライン数カウンタ151、画素数カウンタ152、垂直方向外挿部153、および水平方向外挿部154を備えている。
【0067】
ライン数カウンタ151および垂直方向外挿部153は、第1の実施形態で説明したライン数カウンタ11および垂直方向外挿部12とそれぞれ同様である。また、画素数カウンタ152および水平方向外挿部154は、第2の実施形態で説明した画素数カウンタ81および水平方向外挿部82とそれぞれ同様である。したがって、本実施形態によれば、画像の垂直方向と水平方向の両方に外挿処理を行うことができる。本実施形態では、垂直方向の外挿処理の後に水平方向の外挿処理が行われるようになっているが、外挿処理の順番は逆でもよい。
【0068】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【0069】
【図1】本発明の第1の実施形態による前処理回路の構成を示すブロック図である。
【図2】本発明の第1の実施形態による前処理回路が備える垂直方向外挿部の構成を示す回路図である。
【図3】本発明の第1の実施形態による前処理回路が備える垂直方向外挿部の動作を示すタイミングチャートである。
【図4】本発明の第1の実施形態における画像信号の外挿処理を説明するための参考図である。
【図5】本発明の第1の実施形態における画像信号の外挿処理を説明するための参考図である。
【図6】本発明の第1の実施形態による前処理回路が備える垂直方向外挿部の変形例の構成を示す回路図である。
【図7】本発明の第1の実施形態による前処理回路が備える垂直方向外挿部の動作を示すタイミングチャートである。
【図8】本発明の第2の実施形態による前処理回路の構成を示すブロック図である。
【図9】本発明の第2の実施形態による前処理回路が備える水平方向外挿部の構成を示す回路図である。
【図10】本発明の第2の実施形態による前処理回路が備える水平方向外挿部の動作を示すタイミングチャートである。
【図11】本発明の第2の実施形態における画像信号の外挿処理を説明するための参考図である。
【図12】本発明の第2の実施形態における画像信号の外挿処理を説明するための参考図である。
【図13】本発明の第2の実施形態による前処理回路が備える水平方向外挿部の変形例の構成を示す回路図である。
【図14】本発明の第2の実施形態による前処理回路が備える水平方向外挿部の動作を示すタイミングチャートである。
【図15】本発明の第3の実施形態による前処理回路の構成を示すブロック図である。
【符号の説明】
【0070】
10,80,150・・・制御部、11,151・・・ライン数カウンタ、12,153・・・垂直方向外挿部、13,83,155・・・2次元フィルタ処理部、81,152・・・画素数カウンタ、82,154・・・水平方向外挿部、121a,121b,121c,121d,121e・・・ラインメモリ、122a,122b,122c,822a,822b,822c・・・選択部、821a,821b,821c,821d,821e・・・レジスタ
【特許請求の範囲】
【請求項1】
L×M(L,Mは整数)の画素に係る画像信号を処理する2次元フィルタに前記画像信号を入力する前処理回路であって、
前記画像信号を遅延させる遅延素子をN段(N≧L−1またはM−1)有し、最終段からK段目(Kは0から(N/2の整数部)−1のいずれかの整数)の前記遅延素子が、前段の前記遅延素子からの第1の入力と前記第1の入力とは異なる第2の入力とのいずれかを選択してK段目の前記遅延素子に入力する選択部を介して前段の前記遅延素子と直列に連結されるように、N段の前記遅延素子が直列に連結され、各遅延素子の出力が前記2次元フィルタの入力に接続されると共に、(N/2の整数部)番目までの画素または画素群に係る前記画像信号が前記2次元フィルタに並列に入力可能となった期間において、前記選択部からK段目の前記遅延素子への入力が前記第2の入力となるように前記選択部を制御する制御部を有する
ことを特徴とする前処理回路。
【請求項2】
L×M(L,Mは整数)の画素に係る画像信号を処理する2次元フィルタに前記画像信号を入力する前処理回路であって、
前記画像信号を遅延させる遅延素子をN段(N≧L−1またはM−1)有し、N段の前記遅延素子が直列に連結され、各遅延素子の出力が前記2次元フィルタの入力に接続されると共に、
新たな画素または画素群に係る前記画像信号を入力する第1の入力と前記第1の入力とは異なる第2の入力とのいずれかを選択する選択部と、
終端の画素または画素群に係る前記画像信号が入力される期間の次の期間において、前記選択部が前記第2の入力を選択するように前記選択部を制御する制御部と、
を有することを特徴とする前処理回路。
【請求項3】
前記選択部は、前記第2の入力として、前記2次元フィルタへの初段から(N/2の整数部)段までのいずれかの入力が接続されていることを特徴とする請求項1に記載の前処理回路。
【請求項4】
N段の前記遅延素子のいずれかの出力が前記第2の入力に接続されていることを特徴とする請求項2に記載の前処理回路。
【請求項5】
前記遅延素子はラインメモリであることを特徴とする請求項1〜請求項4のいずれかに記載の前処理回路。
【請求項6】
前記遅延素子は1画素に係るレジスタであることを特徴とする請求項1〜請求項4のいずれかに記載の前処理回路。
【請求項1】
L×M(L,Mは整数)の画素に係る画像信号を処理する2次元フィルタに前記画像信号を入力する前処理回路であって、
前記画像信号を遅延させる遅延素子をN段(N≧L−1またはM−1)有し、最終段からK段目(Kは0から(N/2の整数部)−1のいずれかの整数)の前記遅延素子が、前段の前記遅延素子からの第1の入力と前記第1の入力とは異なる第2の入力とのいずれかを選択してK段目の前記遅延素子に入力する選択部を介して前段の前記遅延素子と直列に連結されるように、N段の前記遅延素子が直列に連結され、各遅延素子の出力が前記2次元フィルタの入力に接続されると共に、(N/2の整数部)番目までの画素または画素群に係る前記画像信号が前記2次元フィルタに並列に入力可能となった期間において、前記選択部からK段目の前記遅延素子への入力が前記第2の入力となるように前記選択部を制御する制御部を有する
ことを特徴とする前処理回路。
【請求項2】
L×M(L,Mは整数)の画素に係る画像信号を処理する2次元フィルタに前記画像信号を入力する前処理回路であって、
前記画像信号を遅延させる遅延素子をN段(N≧L−1またはM−1)有し、N段の前記遅延素子が直列に連結され、各遅延素子の出力が前記2次元フィルタの入力に接続されると共に、
新たな画素または画素群に係る前記画像信号を入力する第1の入力と前記第1の入力とは異なる第2の入力とのいずれかを選択する選択部と、
終端の画素または画素群に係る前記画像信号が入力される期間の次の期間において、前記選択部が前記第2の入力を選択するように前記選択部を制御する制御部と、
を有することを特徴とする前処理回路。
【請求項3】
前記選択部は、前記第2の入力として、前記2次元フィルタへの初段から(N/2の整数部)段までのいずれかの入力が接続されていることを特徴とする請求項1に記載の前処理回路。
【請求項4】
N段の前記遅延素子のいずれかの出力が前記第2の入力に接続されていることを特徴とする請求項2に記載の前処理回路。
【請求項5】
前記遅延素子はラインメモリであることを特徴とする請求項1〜請求項4のいずれかに記載の前処理回路。
【請求項6】
前記遅延素子は1画素に係るレジスタであることを特徴とする請求項1〜請求項4のいずれかに記載の前処理回路。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2009−44670(P2009−44670A)
【公開日】平成21年2月26日(2009.2.26)
【国際特許分類】
【出願番号】特願2007−210089(P2007−210089)
【出願日】平成19年8月10日(2007.8.10)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成21年2月26日(2009.2.26)
【国際特許分類】
【出願日】平成19年8月10日(2007.8.10)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]