フィルタリング処理回路とそれを有するマッチング回路
【課題】簡単な回路構成で高速にフィルタリング処理を行う。
【解決手段】異なる視点での２つの画像に対する複数のずれ量に対応する差分絶対値和のうち，最小差分絶対値和を抽出するフィルタリング処理回路であって，入力回路に入力される複数のずれ量にそれぞれ対応する複数の差分絶対値和が当該入力時点までで最小の差分絶対値和の場合に最小の差分絶対値和として保持する最小差分絶対値和保持回路と，次に小さい第２最小差分絶対値和を検出して保持する第２最小差分絶対値和検出回路と，入力時点までで最小の差分絶対値和でない場合には，当該入力差分絶対値和を第２最小差分絶対値和検出回路に入力し，最小の差分絶対値和である場合には，最小差分絶対値和保持回路で最小差分絶対値が更新されることに伴って最小差分絶対値和保持回路から出力される元の最小差分絶対値和を，第２最小差分絶対値和検出回路に入力するセレクタ回路とを有する。
【解決手段】異なる視点での２つの画像に対する複数のずれ量に対応する差分絶対値和のうち，最小差分絶対値和を抽出するフィルタリング処理回路であって，入力回路に入力される複数のずれ量にそれぞれ対応する複数の差分絶対値和が当該入力時点までで最小の差分絶対値和の場合に最小の差分絶対値和として保持する最小差分絶対値和保持回路と，次に小さい第２最小差分絶対値和を検出して保持する第２最小差分絶対値和検出回路と，入力時点までで最小の差分絶対値和でない場合には，当該入力差分絶対値和を第２最小差分絶対値和検出回路に入力し，最小の差分絶対値和である場合には，最小差分絶対値和保持回路で最小差分絶対値が更新されることに伴って最小差分絶対値和保持回路から出力される元の最小差分絶対値和を，第２最小差分絶対値和検出回路に入力するセレクタ回路とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，フィルタリング処理回路とそれを有するマッチング回路に関する。
【背景技術】
【０００２】
デジタルスチールカメラなどで三次元（３Ｄ）画像を撮像し再生することが提案されている。例えば，左右の視点から画像を撮像し，ステレオ法により，両画像内の被写体のずれ量を視差（両眼視差）として抽出し，画像内の被写体までの距離を三角測量の原理により求め，３Ｄ画像を生成する。そのためには，左右の画像のずれ量を視差として求めるマッチング処理が行われる。
【０００３】
マッチング処理は，左右の画像のうち一方の画像を視差方向（通常は水平方向）にずらしながら他方の画像とマッチングするか否かを検出し，マッチングした時のずれ量を視差として出力する。このマッチング処理では，２つの画像間の各画素値の差分の絶対値を求め，所定範囲内で差分絶対値の総和，つまり差分絶対値和（ＳＡＤ値：Sum of Absolute Difference）を演算し，複数のずれ量に対するＳＡＤ値のうち最小のＳＡＤ値を検出し，その最小ＳＡＤ値をとるときのずれ量を視差として出力する。したがって，各ずれ量に対応するＳＡＤ値を求める演算部と，その複数のＳＡＤ値のうち最小ＳＡＤ値を抽出するフィルタリング処理部とが必要になる。
【０００４】
さらに，フィルタリング処理では，例えば窓などの同じパターンが繰り返される画像では，ＳＡＤ値の極小値が繰り返されて，最小ＳＡＤ値が複数検出されたり，輪郭がはっきりしない画像では，最小ＳＡＤ値の近傍に類似するＳＡＤ値が検出されたりし，検出されるＳＡＤ値の信憑性が低い場合がある。そのような場合は，検出された視差を採用して３Ｄ画像を生成することは適切でなく，検出された最小ＳＡＤ値はエラーであることを出力することが必要になる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１６４２９７号公報
【特許文献２】特開２００２−２４７６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このように，マッチング処理で行われるフィルタリング処理は，複雑な処理が必要であり，従来はファームウエアによるデータ処理で複数のＳＡＤ値からの最小ＳＡＤ値の検出と，そのエラー検出を行っている。そのため，回路が大規模なものとなり，携帯電話などの携帯情報端末への搭載は現実的ではない。また，最初に全てのＳＡＤ値を演算してメモリなどに記憶しておいてから，最小ＳＡＤ値を抽出するとともにエラーチェックを行うため，処理時間が長くなるという問題もある。
【０００７】
そこで，本発明の目的は，小さな回路規模で且つ高速にフィルタリング処理を行うフィルタリング処理回路とそれを有するマッチング回路を提供することにある。
【課題を解決するための手段】
【０００８】
フィルタリング処理回路の第１の側面は，異なる視点での２つの画像に対する複数のずれ量に対応する差分絶対値和のうち，最小差分絶対値和を抽出するフィルタリング処理回路であって，
前記複数のずれ量にそれぞれ対応する複数の差分絶対値和を順次入力する入力回路と，
前記入力回路に入力される差分絶対値和が当該入力時点までで最小の差分絶対値和の場合に，前記入力差分絶対値和を最小の差分絶対値和として保持する最小差分絶対値和保持回路と，
前記最小差分絶対値和保持回路に保持される最小差分絶対値和の次に小さい第２最小差分絶対値和を検出して保持する第２最小差分絶対値和検出回路と，
前記入力時点までで最小の差分絶対値和でない場合には，当該入力差分絶対値和を前記第２最小差分絶対値和検出回路に入力し，最小の差分絶対値和である場合には，前記最小差分絶対値和保持回路で最小差分絶対値が更新されることに伴って前記最小差分絶対値和保持回路から出力される元の最小差分絶対値和を，前記第２最小差分絶対値和検出回路に入力するセレクタ回路とを有する。
【発明の効果】
【０００９】
第１の側面によれば，簡単な回路構成で高速に最小ＳＡＤ値を抽出することができる。
【図面の簡単な説明】
【００１０】
【図１】３Ｄ画像を撮像するデジタルスチルカメラシステムの概略図である。
【図２】異なる視点の左右の画像を示す図である。
【図３】マッチング処理回路の処理を示す図である。
【図４】ずれ量に対する差分絶対値和の分布例を示す図である。
【図５】本実施の形態におけるマッチング処理回路の構成図である。
【図６】本実施の形態におけるフィルタリング処理回路１１３の構成図である。
【図７】本実施の形態におけるフィルタリング処理回路の詳細な回路図である。
【図８】左右の画像の例であり，同じ形状の窓の画像が繰り返し存在する画像である。
【図９】図８の例において演算された１６のＳＡＤ値Ｄ０〜Ｄｆの例を示す図である。
【図１０】図９のＳＡＤ値Ｄ０〜Ｄｆが順次入力された場合のフィルタリング処理回路の動作を示すタイミングチャート図である。
【図１１】最後の入力Ｄｆが最小値の場合のスイープ処理を示す図である。
【図１２】本実施の形態におけるフィルタリング処理の全体の動作を示すフローチャート図である。
【図１３】スイープ処理の例を示す図である。
【図１４】スイープ処理の例を示す図である。
【発明を実施するための形態】
【００１１】
図１は，３Ｄ画像を撮像するデジタルスチルカメラシステムの概略図である。このシステムにおいて，撮像部１は，右画像と左画像をそれぞれ撮像するための撮像光学系７Ｒ，７Ｌ，ＣＣＤセンサなどの撮像素子，センサのタイミング制御を行い撮像信号をＡＤ変換するアナログフロントエンドＡＦＥを有する。そして，撮像部１から出力されるデジタル信号を処理するイメージ・シグナル・プロセッサ２は，ＣＰＵと内部バスに加えて，センサ出力のノイズを除去するセンサインターフェース８と，色調や輪郭処理などを行う色処理部９と，拡大縮小や歪み補正，また画質調整を行う画像処理部１０と，左右の画像のずれ量を視差（両眼視差）として検出するマッチング処理回路１１，静止画の符号化，復号化を行うコーデック部１４などの周辺マクロを有する。また，プロセッサ２は，外付けのＳＤＲＡＭ３に対してＤＲＡＭ調停部１２とＳＤＲＡＭコントローラ１３，外付けメモリカード４に対するメモリカードインターフェース１５，表示インターフェース１６を有する。
【００１２】
イメージ・シグナル・プロセッサ２は，左右の画像データと，マッチング処理回路１１が検出した視差データとを３Ｄプロセッサに出力し，３Ｄプロセッサ５がそれらのデータに基づいて３Ｄ画像を生成し，表示装置６が３Ｄ画像を表示する。
【００１３】
次に，マッチング処理回路１１の処理について説明する。
【００１４】
図２は，異なる視点の左右の画像を示す図である。被写体１９が含まれる画像１７を，左右のカメラ１Ｌ，１Ｒによりそれぞれ撮像すると，左画像１８Ｌと右画像１８Ｒとを取得することができる。そして，左右の画像１８Ｌ，１９Ｒ内の被写体の位置は，左右のカメラの異なる視点間の距離と視点から被写体までの距離とに応じてずれる。このずれ量が視差である。ステレオ法によれば，左右の画像での被写体のずれ量と，両カメラの視点間の距離に基づいて，視点から被写体までの距離を算出することができる。それにより３Ｄ画像を生成することができる。
【００１５】
図３は，マッチング処理回路の処理を示す図である。左右の画像１８Ｌ，１８Ｒ内の被写体画像１９Ｌ，１９Ｒのずれ量を検出するために，マッチング処理回路は，左画像１８Ｌ内の例えば５×５画素の領域の画像ＩＭＡＧＡを，右画像１８Ｒ内の前記画像ＩＭＡＧＡに対応する位置にあり画像ＩＭＡＧＡより水平方向に広い画像ＩＭＡＧＢとマッチングをとる。即ち，右画像の画像ＩＭＡＧＢに対して，左画像の画像ＩＭＡＧＡを画素単位で水平方向にシフトしながら，各ずれ量（シフト量）毎に，画像ＩＭＡＧＡとそれと重なる画像ＩＭＡＧＢ内の画像との各画素の画素値の差分絶対値を求め，５×５＝２５個の差分絶対値の和を差分絶対値和（ＳＡＤ値）として求める。
【００１６】
そして，このＳＡＤ値が最小になるときのずれ量（シフト量）が視差に対応する。この視差情報があれば，被写体までの距離をステレオ法により求めることができる。したがって，マッチング回路は，水平方向にシフトした回数分のＳＡＤ値から最小ＳＡＤ値を抽出するフィルタリング処理回路を有する。
【００１７】
図４は，ずれ量に対する差分絶対値和の分布例を示す図である。図４には３種類の差分絶対値和の分布例が示されている。図４（Ａ）は，通常の画像の場合の差分絶対値和（ＳＡＤ値）の分布を示す。異なるずれ量に対してＳＡＤ値は変化し，あるずれ量の時にＳＡＤ値は最小値になる。このずれ量の時に画像ＩＭＡＧＡと画像ＩＭＡＧＢの対応する画像とがマッチングしたことを意味する。したがって，最小ＳＡＤ値のときのずれ量が視差に対応する。
【００１８】
一方，図４（Ｂ）は，例えば窓やフェンスなど繰り返しパターンが含まれる画像の場合のＳＡＤ値の分布を示す。この場合は，複数のずれ量で最小ＳＡＤ値が繰り返し検出される。したがって，どの最小ＳＡＤ値が正しい視差に対応するのか明確でなく，得られた視差が正しくない場合は，不適切な３Ｄ画像が生成されるので好ましくない。
【００１９】
同様に，図４（Ｃ）は，例えば画像の輪郭が不鮮明な場合のＳＡＤ値の分布を示す。この場合は，類似したＳＡＤ値が連続して生成されるので，その水平シフト量のＳＡＤ値が真の最小ＳＡＤ値かを判断することが困難である。
【００２０】
本実施の形態におけるフィルタリング処理回路は，第１に，複数のずれ量毎に演算されるＳＡＤ値のうち最小のＳＡＤ値を抽出する機能と，第２に，最小ＳＡＤ値から閾値範囲内に他のＳＡＤ値が存在する場合はエラー値であることを示す無効信号を出力する機能を有する。さらに，第２の機能において，最小ＳＡＤ値から閾値範囲内に他のＳＡＤ値が存在するか否かの判定において，最小ＳＡＤ値の位置の左右の隣接点のＳＡＤ値は判定の対象外にする。このようにすることで，図４（Ａ）ではエラーは検出されないが，図４（Ｂ）（Ｃ）の場合にはエラーが検出され無効信号を出力することができる。
【００２１】
このような複雑な判断を必要とするフィルタリング処理回路を，簡単な回路で構成し，且つ順次生成される複数のずれ量に対するＳＡＤ値からの最小ＳＡＤ値の抽出と，エラーの検出とを高速に行うことができることが望まれる。
【００２２】
図５は，本実施の形態におけるマッチング処理回路の構成図である。内部バスＢＵＳに接続されたＤＭＡコントローラＤＭＡＣによりＳＤＲＡＭ３などから左右の画像データがメモリ１１０Ｌ，１１０Ｒに転送される。マッチング処理回路全体を制御するステートマシンＳＭが生成する制御信号φＣＮにより，これらのメモリ１１０Ｌ，１１０Ｒから図３に示した画像ＩＭＧＡと，画像ＩＭＧＢのうちシフトした画像ＩＭＧＡと重なる画像が読み出され，ＳＡＤ演算部１１１が５×５画素＝２５画素の画素値の差分絶対値の和（ＳＡＤ値）を演算する。ＳＡＤ演算部１１１は，異なるずれ量（シフト量）に対するＳＡＤ値を順次演算して出力する。それらの次々に演算されるＳＡＤ値をＳＡＤｎｏｗとする。この差分絶対値和ＳＡＤｎｏｗは，最小差分絶対値和１１２と，フィルタリング処理回路１１３とに順番に出力される。
【００２３】
一方，最小差分絶対値和判定回路（ＳＡＤｍｉｎ判定回路）１１２は，順次生成されるＳＡＤ値がその時点までで最小のＳＡＤ値か否かを判定する。このＳＡＤｍｉｎ判定回路１１２は，たとえば，比較器とその比較により小さいと判定された値を保持するフリップフロップ回路とを有する。そして，生成された差分絶対値和ＳＡＤｎｏｗがその時点までで最小であると判定したら，更新イネーブル信号ＵｐＥＮをＨレベルにして出力する。最小でない場合は更新イネーブル信号ＵｐＥＮはＬレベルで出力する。
【００２４】
フィルタリング処理回路１１３は，異なる視点での２つの画像に対する複数のずれ量に対応するＳＡＤ値のうち，最小差分絶対値和（最小ＳＡＤ値）を抽出する。フィルタリング処理回路１１３は，順次生成される差分絶対値和ＳＡＤｎｏｗを更新イネーブル信号ＵｐＥＮと共に入力し，更新イネーブル信号ＵｐＥＮが最小値が更新されたことを示すＨレベルの場合に，入力された差分絶対値和ＳＡＤｎｏｗを最小差分絶対値和保持回路に保持する。また，フィルタリング処理回路１１３は，最小差分絶対値和保持回路に保持される最小差分絶対値和の次に小さい第２最小差分絶対値和を検出して保持する第２最小差分絶対値和検出回路を有する。この第２最小差分絶対値和検出回路は，更新イネーブル信号ＵｐＥＮが最小値が更新されたことを示さない場合は，入力された差分絶対値和ＳＡＤｎｏｗが２番目の最小値か否かの判定を行い，更新イネーブル信号ＵｐＥＮが最小値が更新されたことを示す場合は，最小差分絶対値和保持回路から出力される元最小差分絶対値和が２番目の最小値か否かの判定を行う。
【００２５】
そして，全てのずれ量に対する差分絶対値和ＳＡＤｎｏｗの入力が終了すると，フィルタリング処理回路１１３は，最小差分絶対値和保持回路に保持される最小ＳＡＤ値を出力する。この最小ＳＡＤ値に対応するずれ量が視差に対応する。また，フィルタリング処理回路１１３は，最小ＳＡＤ値と２番目の最小ＳＡＤ値との差が所定の閾値以下である場合には無効フラグ信号を出力する。無効フラグ信号が出力された場合は，検出した最小ＳＡＤ値はエラーが含まれている可能性が高いので，イメージ・シグナル・プロセッサ２は，検出したずれ量を３Ｄプロセッサ５に出力しない，または，無効フラグ信号と共に出力する。
【００２６】
図６は，本実施の形態におけるフィルタリング処理回路１１３の構成図である。フィルタリング処理回路１１３は，ＳＡＤ演算回路からの差分絶対値和ＳＡＤｎｏｗを順次入力する入力回路２４と，入力回路に入力されたＳＡＤ値が当該入力時点までで最小のＳＡＤ値の場合に，その入力されるＳＡＤ値を最小のＳＡＤ値として保持する最小ＳＡＤ値保持回路２６とを有する。さらに，フィルタリング処理回路は，最小ＳＡＤ値保持回路２６に保持される最小ＳＡＤ値を除いて次に小さい第２最小ＳＡＤ値を検出して保持する第２最小ＳＡＤ値検出回路３０を有する。
【００２７】
また，フィルタリング処理回路１１３は，入力差分絶対値和ＳＡＤｎｏｗと共に入力される更新イネーブル信号ＵｐＥＮを入力して保持する更新イネーブル信号履歴保持回路２０と，その履歴に応じて制御信号Ａを生成する生成回路２２を有する。さらにＳＡＤ演算回路１１１から順次供給される差分絶対値和ＳＡＤｎｏｗを入力する入力回路２４と，データスルーパス（Path2）２７と，制御信号Ａに応じて最小ＳＡＤ値保持回路２６からのＳＡＤ値か，データスルーパス２７からのＳＡＤ値かのいずれかを選択するセレクタ回路２８とを有する。
【００２８】
フィルタリング処理回路１１３の概略的な動作は次の通りである。複数のずれ量に対して順次生成される差分絶対値和ＳＡＤｎｏｗと，それがその時点で最小値か否かを示す更新イネーブル信号ＵｐＥＮとが，順番に入力される。履歴保持回路２０は，その更新イネーブル信号ＵｐＥＮの履歴を保持する。また，入力回路２４は，入力される差分絶対値和ＳＡＤｎｏｗを一時的にラッチする。
【００２９】
制御回路２２は入力される更新イネーブル信号ＵｐＥＮとその履歴に応じて，制御信号Ａを生成する。この制御信号Ａに応じて，入力回路２４に一時的にラッチされるＳＡＤ値ＳＡＤｎｏｗは，最小ＳＡＤ値保持回路２６にシフトされて保持されるか，第２最小ＳＡＤ値検出回路３０に入力される。また，最小値保持回路２６が保持する最小ＳＡＤ値が更新される場合は，元の最小ＳＡＤ値は第２最小ＳＡＤ値検出回路３０に入力される。そして，第２最小ＳＡＤ値検出回路３０は，最小ＳＡＤ値保持回路２６に保持されている最小ＳＡＤ値以外のＳＡＤ値の中で最小の値，つまり第２最小ＳＡＤ値を検出する。
【００３０】
即ち，順次入力されるＳＡＤ値ＳＡＤｎｏｗは，上流の入力回路２４から，最小ＳＡＤ値保持回路２６に保持されるか，第２最小ＳＡＤ値検出回路３０に入力されるかである。また，最小ＳＡＤ値保持回路２６が新たな最小ＳＡＤ値に更新する場合，元の最小ＳＡＤ値は出力されて，第２最小ＳＡＤ値検出回路３０に入力される。そして，無効判定回路３２は，最小ＳＡＤ値と第２最小ＳＡＤ値との差分が閾値Ｔｈ以内かどうかを判定して，閾値以内の場合は無効フラグ信号を出力する。このように，全てのずれ量に対するＳＡＤ値ＳＡＤｎｏｗの入力が完了すると，後述する数サイクルのスイープ処理後に，最小ＳＡＤ値と無効フラグ信号とが確定する。
【００３１】
図７は，本実施の形態におけるフィルタリング処理回路の詳細な回路図である。図６内の対応する回路には同じ引用番号を与えている。まず，入力回路２４は，入力されるＳＡＤ値ＳＡＤｎｏｗを一時的に保持するフリップフロップＦＦ１を有し，最小ＳＡＤ値保持回路２６は，最小ＳＡＤ値とそれに隣接するずれ量のＳＡＤ値を保持する３つのフリップフロップＦＦ２，ＦＦ３，ＦＦ４を有する。これらのフリップフロップＦＦ１〜ＦＦ４は，図示しないクロックに同期してＳＡＤ値をシフトするシフトレジスタを構成する。また，最小ＳＡＤ値保持回路２６内の３つのフリップフロップＦＦ２〜ＦＦ４は，制御信号Ａがイネーブル信号として入力され，制御信号ＡがＨレベルのときにシフト動作を行う。
【００３２】
データスルーパス２７は，単なる信号配線であり，入力回路２４とセレクタＳＥＬとの間に設けられ，セレクタＳＥＬは，制御信号ＡがＬレベルの場合にデータスルーパス２７側からシフトされる入力回路２４内に一時的に保持されたＳＡＤ値ＳＡＤｎｏｗを選択し，制御信号ＡがＨレベルの場合に最小ＳＡＤ値保持回路２６から出力されるＳＡＤ値を選択する。
【００３３】
セレクタＳＥＬの後段に設けられた第２最小ＳＡＤ値検出回路３０は，フリップフロップＦＦ５と，比較器ＣＭＰと，フリップフロップＦＦ６とを有し，フリップフロップＦＦ５は比較イネーブル信号ＳＭ＿ｃｍｐｅｎがＨの間，セレクタＳＥＬが選択したＳＡＤ値をラッチし，比較器ＣＭＰに出力する。比較器ＣＭＰは，フリップフロップＦＦ６に保持されている第２最小ＳＡＤ値と，フリップフロップＦＦ５に入力された新たなＳＡＤ値とを比較して，小さいほうのＳＡＤ値をフリップフロップＦＦ６に出力する。前述のＳＡＤｍｉｎ判定回路１１２も，これと同様の比較器の構成を有する。
【００３４】
履歴保持回路２０は，フリップフロップＦＦ１１〜ＦＦ１３からなるシフトレジスタを有する。このフリップフロップＦＦ１１〜ＦＦ１３のシフトレジスタは，フリップフロップＦＦ１〜ＦＦ３のシフトレジスタとタイミングが同期している。そして，図示しない同期クロックに応答して，３ビットのシフトレジスタＦＦ１１〜ＦＦ１３が順次入力される更新イネーブル信号ＵｐＥＮを保持する。したがって，履歴保持回路２０では，入力された更新イネーブル信号ＵｐＥＮと，シフトレジスタでそれぞれ保持される３つの遅延された更新イネーブル信号ｄＵｐＥＮ１〜ｄＵｐＥＮ３とが参照可能である。
【００３５】
制御回路２２は，履歴保持回路２０で参照可能な４ビットの更新イネーブル信号に応じて，制御信号ＡをＨレベルまたはＬレベルに制御する。たとえば，ステートマシンＳＭからのスタート信号SM_start（１クロックサイクルだけＬレベル）に応答して，フリップフロップＦＦ１０がリセットされ出力がＬレベルになりアンドノアゲートＧ４により制御信号ＡはＬレベルに初期化される。つまり，フリップフロップＦＦ１のリセット端子はＬレベルでアクティブになる。そして，その後，更新イネーブル信号ＵｐＥＮがＨレベルになると，オアゲートＯＲ２の出力はＨレベルになる。ＮＡＮＤゲートＮＡＮＤ１は４つの更新イネーブル信号の履歴が「１０００」（ｄＵｐＥＮ３のみＨ，他はＬ）の時にその出力がＬになりそれ以外は出力はＨであるので，ＵｐＥＮ＝Ｈになると，アンドオアゲートＧ３の出力がＨレベルになりフリップフロップＦＦ１０がＨレベルをラッチし，制御信号ＡはＨレベルになる。ＦＦ１０の出力がアンドオアゲートＧ３に入力されているので，更新イネーブル信号ＵｐＥＮがＬレベルに変化しても，制御信号ＡがＨレベルの状態は維持される。そして，４つの更新イネーブル信号の履歴が「１０００」になって初めて，ＮＡＮＤゲートＮＡＮＤ１の出力がＬレベルになりＦＦ１０がＬレベルをラッチし制御信号ＡがＬレベルになる。
【００３６】
このように，制御信号Ａは，更新イネーブル信号ＵｐＥＮがＨレベルになるとＨレベルになり，その履歴が「１０００」になるまで維持し，履歴が「１０００」になると初めてＬレベルになる。この履歴が「１０００」の状態は，更新イネーブル信号ＵｐＥＮが最後にＨレベルになった時のＳＡＤ値がフリップフロップＦＦ３にラッチされた状態に対応する。
【００３７】
無効判定回路３２は，具体的な回路は示されていないが，フリップフロップＦＦ３内の最小ＳＡＤ値とフリップフロップＦＦ６内の２番目の最小値である第２最小ＳＡＤ値との差分が閾値Ｔｈ以下か否かを判定し，閾値以下の場合に無効フラグ信号をＨレベルにする。
【００３８】
なお，各フリップフロップＦＦの上側の端子はプリセット端子で内部がＨレベルに初期化され，下側の端子はリセット端子で内部がＬレベルに初期化され，いずれもＬアクティブな端子である。したがって，スタート信号SM_startがＬレベルになると，フリップフロップＦＦ１〜ＦＦ６はプリセットされ全てＨレベル，つまりそれぞれのＳＡＤ値は最大値に初期化され，フリップフロップＦＦ１０〜ＦＦ１３は全てＬレベルに初期化される。
【００３９】
図７のフィルタリング処理回路の具体的な動作を図８，９の例にしたがって説明する。
【００４０】
図８は，左右の画像の例であり，同じ形状の窓の画像が繰り返し存在する画像である。そして，左画像内の３×３画素のブロックＩＭＧＡを，右画像内の３×１８画素のブロックＩＭＧＢ上で水平方向にシフトさせたときの，それぞれずれ量での複数のＳＡＤ値のなかから最小ＳＡＤ値を抽出する例である。
【００４１】
図９は，図８の例において演算された１６のＳＡＤ値Ｄ０〜Ｄｆの例を示す図である。図８の画像は同じような形状の窓が繰り返しているので，演算された１６のＳＡＤ値には３つの極小値Ｄ１，Ｄ７，Ｄｅが含まれている。そして，ＳＡＤ値Ｄ７が最小値であり，この最小値Ｄ７とそのずれ量の両側の隣接点のＳＡＤ値Ｄ６，Ｄ８を除いたなかでＳＡＤ値Ｄ１が２番目の最小値であり，これらの差分は閾値以下であり無効フラグ信号がアサートされる例である。
【００４２】
図１０は，図９のＳＡＤ値Ｄ０〜Ｄｆが順次入力された場合のフィルタリング処理回路の動作を示すタイミングチャート図である。図１０では，システムクロックＣＬＫのクロックサイクル１から１９でフィルタリング処理が完了している。
【００４３】
最初に，クロックサイクル１で，ステートマシンＳＭがスタート信号SM_startをＬレベルにすると，履歴保持回路２０内のフリップフロップＦＦ１１〜ＦＦ１３と制御回路２２内のフリップフロップＦＦ１０とがリセットされ内部データはＬレベルに初期化され，一方，シフトレジスタを構成するフリップフロップＦＦ１〜ＦＦ３と第２最小ＳＡＤ値検出回路３０内のフリップフロップＦＦ５，ＦＦ６はプリセットされ内部データは全てＨの最大値（0xFF）に初期化される。
【００４４】
クロックサイクル１で初期化された後，クロックサイクル２で，ステートマシンＳＭは，比較イネーブル信号SM_cmpenをＨレベルにして，第２最小ＳＡＤ値検出回路３０内のフリップフロップＦＦ５をイネーブル状態にして，２番目に小さい第２最小ＳＡＤ値を検出するための比較動作状態にする。
【００４５】
クロックサイクル２で，最初の入力ＳＡＤｎｏｗとしてＤ０が入力される。最初の入力Ｄ０は常に最小値と認定されるので更新イネーブル信号ＵｐＥＮはＨレベルになる。このＵｐＥＮ＝Ｈに応答して制御回路２２は制御信号ＡをＨレベルにする。Ａ＝Ｈにより，最小ＳＡＤ値保持回路２６内のシフトレジスタのフリップフロップＦＦ２〜ＦＦ４はイネーブル状態にされ，入力値を取り込み可能状態にされる。
【００４６】
クロックサイクル３で，Ｄ０は入力回路２４内のフリップフロップＦＦ１にラッチされ，新たに入力ＳＡＤｎｏｗにはＤ１が入力される。図９によれば，Ｄ１＜Ｄ０であるのでＵｐＥＮ＝Ｈとなる。そして，クロックサイクル４，５で入力ＳＡＤｎｏｗにはＤ２，Ｄ３が入力され，フリップフロップＦＦ１にラッチされたＤ０，Ｄ１は，最小ＳＡＤ値保持回路２６内のシフトレジスタのＦＦ２，ＦＦ３，ＦＦ４へとシフトされる。また，Ｄ２，Ｄ３＞Ｄ１であるのでＵｐＥＮ＝Ｌになるが，制御信号ＡはＡ＝Ｈに維持される。
【００４７】
クロックサイクル６では，この時点で最小値のＤ１とその両側の隣接点のＤ０，Ｄ２が，最小ＳＡＤ値保持回路２６内のフリップフロップＦＦ３，ＦＦ２，ＦＦ４に格納される。さらに，履歴保持回路２０内の４ビットの更新イネーブル信号ＵｐＥＮ，ｄＵｐＥＮ１〜３の４ビットの履歴は，ＵｐＥＮをＬＳＢとすると「１０００」になっているので，制御回路２２が制御信号ＡをＬレベルに切り替える。
【００４８】
これにより，その次のクロックサイクル７，８では，最小ＳＡＤ値保持回路２６のシフトレジスタのフリップフロップＦＦ２〜ＦＦ４はディセーブル状態になりシフト動作が停止し，且つセレクタ２８はデータスルーパス２７側を選択する状態になる。したがって，入力回路２４内のフリップフロップＦＦ１内のＳＡＤ値Ｄ３，Ｄ４は，データスルーパス２７を介して第２最小ＳＡＤ値検出回路３０内のフリップフロップＦＦ５にラッチされる。Ｄ３＜Ｄ４であるので，第２最小ＳＡＤ値検出回路３０の比較器ＣＭＰの比較動作によりクロックサイクル８ではＳＡＤ値Ｄ３がフリップフロップＦＦ６にラッチされる。このラッチされたＳＡＤ値がその時点で２番目に小さいＳＡＤ値，つまり第２最小ＳＡＤ値である。
【００４９】
次に，クロックサイクル９では，入力ＳＡＤｎｏｗにＤ７が入力され，Ｄ７＜Ｄ１であるので，更新イネーブル信号ＵｐＥＮ＝Ｈとなる。これに応答して，再度制御信号ＡがＡ＝Ｈとなり，最小ＳＡＤ値保持回路２６のフリップフロップＦＦ２〜ＦＦ４がイネーブル状態になり，セレクタ２８は最小ＳＡＤ値保持回路２６の出力側を選択する。この時点で入力回路２４内のフリップフロップＦＦ１にはＤ７の隣接点のＤ６がラッチされている。
【００５０】
次のクロックサイクル１０では，Ｄ６がフリップフロップＦＦ２にラッチされ，Ｄ７はフリップフロップＦＦ１にラッチされ，入力ＳＡＤｎｏｗにはＤ８が入力される。そして，以後の入力Ｄ８〜Ｄｆは全て最小値Ｄ７より大きいので，更新イネーブル信号ＵｐＥＮは全てＬになり，クロックサイクル９でのＵｐＥＮ＝Ｈが，次の３サイクルで履歴保持回路２０内のシフトレジスタのフリップフロップＦＦ１１，１２，１３をシフトし，ＳＡＤ値Ｄ６，Ｄ７，Ｄ８も入力回路２４内のフリップフロップＦＦ１と，最小ＳＡＤ値保持回路２６内のシフトレジスタのフリップフロップＦＦ２〜ＦＦ４をシフトする。そして，クロックサイクル１２で，最小ＳＡＤ値保持回路２６内のシフトレジスタには，最小値Ｄ７とその両側隣接点のＤ６，Ｄ８が格納される。
【００５１】
ＳＡＤ値Ｄ６，Ｄ７，Ｄ８が最小ＳＡＤ値保持回路２６内に更新されるとき，元の最小ＳＡＤ値とその隣接点のＳＡＤ値Ｄ０，Ｄ１，Ｄ２は，セレクタ２８を介して，第２最小ＳＡＤ値検出回路３０のフリップフロップＦＦ５にラッチされ，２番目に小さいＳＡＤ値か否かを比較される。
【００５２】
クロックサイクル１２で，履歴保持回路２０内の更新イネーブル信号の４ビットの履歴が再び「１０００」となるので，制御回路２２は制御信号ＡをＡ＝Ｌに切り替える。その結果，クロックサイクル１３以降は，入力回路２４内のフリップフロップＦＦ１にラッチされたＳＡＤ値Ｄ９〜Ｄｆは，データスルーパス２７，セレクタ２８を経由して，第２最小ＳＡＤ値検出回路３０のフリップフロップＦＦ５にラッチされ，比較器ＣＭＰにより比較判定される。
【００５３】
なお，上記では更新イネーブル信号の履歴が「１０００」になると制御信号ＡをＬレベルに切り替えている。その理由は次のとおりである。即ち，履歴が「１００」となった時点で，極小値である最小ＳＡＤ値とその両隣接点のＳＡＤ値はフリップフロップＦＦ１，ＦＦ２，ＦＦ３にラッチされている。そして，次のクロックサイクルで最小値でない入力ＳＡＤ値がフリップフロップＦＦ１にラッチされると共に，その次のＳＡＤ値が入力ＳＡＤｎｏｗに現れる。この入力ＳＡＤｎｏｗが新たな最小値の場合は，フリップフロップＦＦ１にラッチされているＳＡＤ値（新たな最小値の隣接点）と共に，フリップフロップＦＦ２，ＦＦ３，ＦＦ４にシフトされる必要がある。そこで，履歴が「１０００」であることを確認してそのクロックサイクルで制御信号ＡをＬに切り替えている。もし履歴が「１００１」になれば，制御信号ＡはＨのまま維持されて，それにより新たな最小値と隣接点のＳＡＤ値がフリップフロップＦＦ２〜ＦＦ３にシフトされる。
【００５４】
クロックサイクル１７で最後のＳＡＤ値Ｄｆが入力ＳＡＤｎｏｗに入力される。その最後の入力Ｄｆは，未だフィルタリング処理されていないので，スイープ処理によって，最小ＳＡＤ値保持回路２０内のフリップフロップＦＦ２又はＦＦ３にラッチするか，第２最小ＳＡＤ値検出回路３０内のフリップフロップＦＦ５にラッチして比較器ＣＭＰによる第２最小値か否かの比較動作をするかが行われる。そこで，ステートマシンＳＭは，最後のＳＡＤ値Ｄｆに対応する更新イネーブル信号ＵｐＥＮのレベルを参照して，ＵｐＥＮ＝Ｌであればその後２サイクルのスイープ処理を行い，ＵｐＥＮ＝Ｈであればその後３サイクルのスイープ処理を行い，その後比較イネーブル信号SM_cmpenをＬレベルに切り替える。
【００５５】
図１０の例では，最後の入力ＳＡＤｎｏｗのＤｆが最小値ではないので，ＵｐＥＮ＝Ｌであり，２サイクルのスイープ処理（ＳＷＰ＝２）により，Ｄｆは第２最小ＳＡＤ値検出回路３０内のフリップフロップＦＦ５までシフトし，そのＤｆが比較器ＣＭＰにより第２最小値か否かの比較動作が行われる。そして，クロックサイクル２０で比較イネーブル信号SM_cmpenがＬレベルにされその後の比較動作は禁止される。なお，Ｄｆが第２最小値の場合は，比較器ＣＭＰからＤｆが最終段のフリップフロップＦＦ６にラッチされる。ただし，比較器ＣＭＰの出力をフリップフロップＦＦ６を介さずに第２最小ＳＡＤ値として出力する回路構成にすれば，クロックサイクル２０はスイープ処理には必要ない。
【００５６】
図１１は，最後の入力Ｄｆが最小値の場合のスイープ処理を示す図である。クロックサイクル１７で入力された最後のＳＡＤ値Ｄｆが最小値の場合は，更新イネーブル信号ＵｐＥＮがＨレベルになり，制御信号ＡがＨレベルになる。そして，ステートマシンＳＭはスイープ処理を３サイクルに設定し，クロックサイクル２１で比較イネーブル信号SM_cmpenをＬレベルにする。３サイクルのスイープ処理により最小値のＤｆは最小ＳＡＤ値保持回路２６内のフリップフロップＦＦ３にラッチされ，両側隣接点の一方のＤｅはフリップフロップＦＦ４にラッチされる。それと共に，クロックサイクル１９で，元の最小ＳＡＤ値Ｄ７は第２最小ＳＡＤ値検出回路３０内のフリップフロップＦＦ５にラッチされ第２最小判定される。
【００５７】
このように，最後の入力ＳＡＤ値が最小値の場合は，３クロックサイクルのスイープ処理を行って，その入力されるＳＡＤ値をフリップフロップＦＦ１，ＦＦ２，ＦＦ３にシフトさせる。
【００５８】
図１２は，本実施の形態におけるフィルタリング処理の全体の動作を示すフローチャート図である。最後のＳＡＤ値を入力した後のスイープ処理か否か（Ｓ１０）により，左側の処理Ｓ１１〜Ｓ１４に示した最後のＳＡＤ値を入力するまでのクロックサイクル（図１０，１１の例ではクロックサイクル１〜１７）での処理と，右側の処理Ｓ１５〜Ｓ２０に示したスイープ処理とを有する。
【００５９】
スイープ処理でない間は（Ｓ１０のＮ），入力ＳＡＤ値が最小値の場合に（Ｓ１１のＹ），ＵｐＥＮ＝Ｈにより制御信号ＡはＡ＝Ｈにされる（Ｓ１２）。そして，履歴パターンが「１０００」でない間（Ｓ１３のＮ）は制御信号ＡはＡ＝Ｈに維持され，履歴パターンが「１０００」になると（Ｓ１３のＹ），制御信号ＡはＡ＝Ｌに切り替えられる。この制御信号ＡがＡ＝Ｈなら，３つの連続する入力ＳＡＤ値がフリップフロップＦＦ２〜ＦＦ４にシフトしてラッチされるとともに，フリップフロップＦＦ２〜ＦＦ４に元々ラッチされていた３つのＳＡＤ値は第２最小値判定回路内のフリップフロップＦＦ５にシフトされて第２最小判定される。一方，Ａ＝Ｌなら，入力ＳＡＤ値は第２最小値判定回路内のフリップフロップＦＦ５にシフトされて第２最小値判定され，フリップフロップＦＦ２〜ＦＦ４内の最小ＳＡＤ値とその隣接点ＳＡＤ値は保持される。
【００６０】
図１３は，スイープ処理の例を示す図である。入力ＳＡＤ値が最小値の場合は破線枠で，隣接点は枠無しで，そして最小値でも隣接点でもない場合は二重枠で示している。左から順に，最後の入力であるＳＡＤｎｏｗの「４」は最小値ではないので，２サイクルのスイープ処理が行われ，「３」「４」はフリップフロップＦＦ５にラッチされて第２最小値判定されている。真ん中の場合は，最後の入力「４」が最小値であるので，３サイクルのスイープ処理が行われ，入力「３」「４」がフリップフロップＦＦ３，ＦＦ４にラッチされ，元の最小値と隣接点の「１」「２」はフリップフロップＦＦ５にラッチされて第２最小値判定されている。右側の例は，最後の入力「６」が最小値でない場合であり，左側と同様の２サイクルのスイープ処理になっている。
【００６１】
図１４は，スイープ処理の例を示す図である。ここに示した４つのスイープ処理ＳＷＰ１〜ＳＷＰ４は，いずれも最後の入力が最小値でない場合であり２クロックサイクルの長さである。そして，直前の入力最小値の位置に応じて４つの例が示されている。
【００６２】
スイープ処理ＳＷＰ１では，最後の入力「ｐ」の前の入力「ｏ」が最小値の例であり，スイープ処理サイクル中に制御信号ＡがＬレベルに切り替えられている。そのため，入力「ｎ」「ｏ」「ｐ」はフリップフロップＦＦ２〜ＦＦ４にシフトされてラッチされる。
【００６３】
スイープ処理ＳＷＰ２では，最後の入力「ｑ」の２つ前の入力「ｏ」が最小値の例であり，「ｎ」「ｏ」「ｐ」がフリップフロップＦＦ２〜ＦＦ４にラッチされている。スイープ処理ＳＷＰ３では，最後の入力「ｒ」の３つ前の入力「ｏ」が最小値の例であり，「ｎ」「ｏ」「ｐ」がフリップフロップＦＦ２〜ＦＦ４にラッチされ，入力「ｑ」「ｒ」はフリップフロップＦＦ５にラッチされて第２最小値判定されている。スイープ処理ＳＷＰ４は，ＳＷＰ３と同様である。
【００６４】
図７に戻り，無効判定回路３２は，フリップフロップＦＦ３の最小ＳＡＤ値と，フリップフロップＦＦ６の第２最小ＳＡＤ値とを比較し，その差分が閾値Ｔｈ以下の場合に無効フラグをＨレベルにする。したがって，スイープ処理が終了した時点で，最小ＳＡＤ値の抽出と，それがエラー値か否かの判定が完了する。
【００６５】
以上の通り，本実施の形態のフィルタリング処理回路によれば，異なるずれ量に対するＳＡＤ値を順次入力し，パイプライン処理により最小値の保持と，第２最小値の判定及び無効判定を行うので，簡単な構成の回路により高速に処理を行うことができる。
【００６６】
以上の実施の形態をまとめると，次の付記のとおりである。
【００６７】
（付記１）
異なる視点での２つの画像に対する複数のずれ量に対応する差分絶対値和のうち，最小差分絶対値和を抽出するフィルタリング処理回路であって，
前記複数のずれ量にそれぞれ対応する複数の差分絶対値和を順次入力する入力回路と，
前記入力回路に入力される差分絶対値和が当該入力時点までで最小の差分絶対値和の場合に，前記入力差分絶対値和を最小の差分絶対値和として保持する最小差分絶対値和保持回路と，
前記最小差分絶対値和保持回路に保持される最小差分絶対値和の次に小さい第２最小差分絶対値和を検出して保持する第２最小差分絶対値和検出回路と，
前記入力時点までで最小の差分絶対値和でない場合には，当該入力差分絶対値和を前記第２最小差分絶対値和検出回路に入力し，最小の差分絶対値和である場合には，前記最小差分絶対値和保持回路で最小差分絶対値が更新されることに伴って前記最小差分絶対値和保持回路から出力される元の最小差分絶対値和を，前記第２最小差分絶対値和検出回路に入力するセレクタ回路とを有するフィルタリング処理回路。
【００６８】
（付記２）
付記１において，
前記最小差分絶対値和保持回路は，前記保持される最小差分絶対値和のずれ量に隣接するずれ量に対応する差分絶対値和も保持し，前記最小差分絶対値が更新される場合には，当該保持されていた元の最小差分絶対値和に加えて前記隣接するずれ量の差分絶対値和も出力するフィルタリング処理回路。
【００６９】
（付記３）
付記１または２において，
さらに，前記最小差分絶対値和保持回路に保持される前記最小差分絶対値和と，前記第２最小差分絶対値和との差が，閾値以下の場合に，無効信号を出力する無効判定回路を有するフィルタリング処理回路。
【００７０】
（付記４）
付記２において，
前記最小差分絶対値和保持回路は，前記最小差分絶対値和と前記隣接するずれ量の差分絶対値和を順次シフトして保持する第１，第２及び第３のレジスタを有する最小値シフトレジスタを有し，
さらに，前記入力回路に順次入力される差分絶対値和が前記入力時点までで最小の差分絶対値和か否かを示す更新イネーブル信号を，順次入力して保持する更新イネーブル信号履歴保持回路と，
前記更新イネーブル信号履歴保持回路の履歴に応じて，前記入力される差分絶対値和を前記最小値シフトレジスタに入力させるとともに，前記最小値シフトレジスタに保持していた前記元の最小差分絶対値和を前記隣接するずれ量の差分絶対値和と共に出力させる第１の制御信号と，前記セレクタ回路により前記入力される差分絶対値和を前記第２最小差分絶対値和検出回路に入力させる第２の制御信号を生成する制御回路とを有するフィルタリング処理回路。
【００７１】
（付記５）
付記４において，
前記セレクタ回路は，前記第１の制御信号に応答して，前記最小値シフトレジスタから出力される前記元の最小差分絶対値和と隣接するずれ量の差分絶対値和とを前記第２最小差分絶対値和検出回路に入力するフィルタリング処理回路。
【００７２】
（付記６）
付記４において，
前記複数のずれ量に対応する差分絶対値和のうち最後の差分絶対値和が入力された後，当該最後の差分絶対値和に対応する更新イネーブル信号が最小の差分絶対値和であることを示す第１の場合に，第１のクロックサイクル期間，示さない第２の場合に，前記第１のクロックサイクル期間と異なる第２のクロックサイクル期間，それぞれ前記最小値シフトレジスタとセレクタ回路と第２最小差分絶対値和検出回路とを動作させステートマシンを有するフィルタリング処理回路。
【００７３】
（付記７）
付記６において，
前記第１の場合に，前記第１のクロックサイクル期間で，前記最後の差分絶対値和が前記最小値シフトレジスタの第２のレジスタに転送され，前記第２の場合に，前記第２のクロックサイクル期間で，前記最後の差分絶対値和が前記第２最小差分絶対値和検出回路で第２最小値判定されるフィルタリング処理回路。
【００７４】
（付記８）
付記４において，
さらに，前記入力回路が入力される前記ＳＡＤ値をラッチする入力レジスタを有し，
クロックに同期して，入力レジスタと前記最小値シフトレジスタとが入力されるＳＡＤ値を順次シフトするフィルタリング処理回路。
【００７５】
（付記９）
付記１〜３のいずれかに記載のフィルタリング処理回路と，
前記２つの画像間の複数のずれ量に対応して，当該ずれ量だけずらした２つの画像の各画素値の差分絶対値和を順次演算する差分絶対値和演算回路とを有するマッチング処理回路。
【００７６】
（付記１０）
付記４〜６のいずれかに記載のフィルタリング処理回路と，
前記２つの画像間の複数のずれ量に対応して，当該ずれ量だけずらした２つの画像の各画素値の差分絶対値和を順次演算する差分絶対値和演算回路と，
前記入力回路に順次入力される差分絶対値和が前記入力時点までで最小の差分絶対値和か否かを判定して前記更新イネーブル信号を生成する最小差分絶対値和判定回路とを有するマッチング処理回路。
【符号の説明】
【００７７】
２０：更新イネーブル信号履歴保持回路 ２２：制御回路
２４：入力回路 ２６：最小ＳＡＤ値保持回路
２８：セレクタ回路 ３０：第２最小ＳＡＤ値判定回路
３２：無効判定回路
【技術分野】
【０００１】
本発明は，フィルタリング処理回路とそれを有するマッチング回路に関する。
【背景技術】
【０００２】
デジタルスチールカメラなどで三次元（３Ｄ）画像を撮像し再生することが提案されている。例えば，左右の視点から画像を撮像し，ステレオ法により，両画像内の被写体のずれ量を視差（両眼視差）として抽出し，画像内の被写体までの距離を三角測量の原理により求め，３Ｄ画像を生成する。そのためには，左右の画像のずれ量を視差として求めるマッチング処理が行われる。
【０００３】
マッチング処理は，左右の画像のうち一方の画像を視差方向（通常は水平方向）にずらしながら他方の画像とマッチングするか否かを検出し，マッチングした時のずれ量を視差として出力する。このマッチング処理では，２つの画像間の各画素値の差分の絶対値を求め，所定範囲内で差分絶対値の総和，つまり差分絶対値和（ＳＡＤ値：Sum of Absolute Difference）を演算し，複数のずれ量に対するＳＡＤ値のうち最小のＳＡＤ値を検出し，その最小ＳＡＤ値をとるときのずれ量を視差として出力する。したがって，各ずれ量に対応するＳＡＤ値を求める演算部と，その複数のＳＡＤ値のうち最小ＳＡＤ値を抽出するフィルタリング処理部とが必要になる。
【０００４】
さらに，フィルタリング処理では，例えば窓などの同じパターンが繰り返される画像では，ＳＡＤ値の極小値が繰り返されて，最小ＳＡＤ値が複数検出されたり，輪郭がはっきりしない画像では，最小ＳＡＤ値の近傍に類似するＳＡＤ値が検出されたりし，検出されるＳＡＤ値の信憑性が低い場合がある。そのような場合は，検出された視差を採用して３Ｄ画像を生成することは適切でなく，検出された最小ＳＡＤ値はエラーであることを出力することが必要になる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１６４２９７号公報
【特許文献２】特開２００２−２４７６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このように，マッチング処理で行われるフィルタリング処理は，複雑な処理が必要であり，従来はファームウエアによるデータ処理で複数のＳＡＤ値からの最小ＳＡＤ値の検出と，そのエラー検出を行っている。そのため，回路が大規模なものとなり，携帯電話などの携帯情報端末への搭載は現実的ではない。また，最初に全てのＳＡＤ値を演算してメモリなどに記憶しておいてから，最小ＳＡＤ値を抽出するとともにエラーチェックを行うため，処理時間が長くなるという問題もある。
【０００７】
そこで，本発明の目的は，小さな回路規模で且つ高速にフィルタリング処理を行うフィルタリング処理回路とそれを有するマッチング回路を提供することにある。
【課題を解決するための手段】
【０００８】
フィルタリング処理回路の第１の側面は，異なる視点での２つの画像に対する複数のずれ量に対応する差分絶対値和のうち，最小差分絶対値和を抽出するフィルタリング処理回路であって，
前記複数のずれ量にそれぞれ対応する複数の差分絶対値和を順次入力する入力回路と，
前記入力回路に入力される差分絶対値和が当該入力時点までで最小の差分絶対値和の場合に，前記入力差分絶対値和を最小の差分絶対値和として保持する最小差分絶対値和保持回路と，
前記最小差分絶対値和保持回路に保持される最小差分絶対値和の次に小さい第２最小差分絶対値和を検出して保持する第２最小差分絶対値和検出回路と，
前記入力時点までで最小の差分絶対値和でない場合には，当該入力差分絶対値和を前記第２最小差分絶対値和検出回路に入力し，最小の差分絶対値和である場合には，前記最小差分絶対値和保持回路で最小差分絶対値が更新されることに伴って前記最小差分絶対値和保持回路から出力される元の最小差分絶対値和を，前記第２最小差分絶対値和検出回路に入力するセレクタ回路とを有する。
【発明の効果】
【０００９】
第１の側面によれば，簡単な回路構成で高速に最小ＳＡＤ値を抽出することができる。
【図面の簡単な説明】
【００１０】
【図１】３Ｄ画像を撮像するデジタルスチルカメラシステムの概略図である。
【図２】異なる視点の左右の画像を示す図である。
【図３】マッチング処理回路の処理を示す図である。
【図４】ずれ量に対する差分絶対値和の分布例を示す図である。
【図５】本実施の形態におけるマッチング処理回路の構成図である。
【図６】本実施の形態におけるフィルタリング処理回路１１３の構成図である。
【図７】本実施の形態におけるフィルタリング処理回路の詳細な回路図である。
【図８】左右の画像の例であり，同じ形状の窓の画像が繰り返し存在する画像である。
【図９】図８の例において演算された１６のＳＡＤ値Ｄ０〜Ｄｆの例を示す図である。
【図１０】図９のＳＡＤ値Ｄ０〜Ｄｆが順次入力された場合のフィルタリング処理回路の動作を示すタイミングチャート図である。
【図１１】最後の入力Ｄｆが最小値の場合のスイープ処理を示す図である。
【図１２】本実施の形態におけるフィルタリング処理の全体の動作を示すフローチャート図である。
【図１３】スイープ処理の例を示す図である。
【図１４】スイープ処理の例を示す図である。
【発明を実施するための形態】
【００１１】
図１は，３Ｄ画像を撮像するデジタルスチルカメラシステムの概略図である。このシステムにおいて，撮像部１は，右画像と左画像をそれぞれ撮像するための撮像光学系７Ｒ，７Ｌ，ＣＣＤセンサなどの撮像素子，センサのタイミング制御を行い撮像信号をＡＤ変換するアナログフロントエンドＡＦＥを有する。そして，撮像部１から出力されるデジタル信号を処理するイメージ・シグナル・プロセッサ２は，ＣＰＵと内部バスに加えて，センサ出力のノイズを除去するセンサインターフェース８と，色調や輪郭処理などを行う色処理部９と，拡大縮小や歪み補正，また画質調整を行う画像処理部１０と，左右の画像のずれ量を視差（両眼視差）として検出するマッチング処理回路１１，静止画の符号化，復号化を行うコーデック部１４などの周辺マクロを有する。また，プロセッサ２は，外付けのＳＤＲＡＭ３に対してＤＲＡＭ調停部１２とＳＤＲＡＭコントローラ１３，外付けメモリカード４に対するメモリカードインターフェース１５，表示インターフェース１６を有する。
【００１２】
イメージ・シグナル・プロセッサ２は，左右の画像データと，マッチング処理回路１１が検出した視差データとを３Ｄプロセッサに出力し，３Ｄプロセッサ５がそれらのデータに基づいて３Ｄ画像を生成し，表示装置６が３Ｄ画像を表示する。
【００１３】
次に，マッチング処理回路１１の処理について説明する。
【００１４】
図２は，異なる視点の左右の画像を示す図である。被写体１９が含まれる画像１７を，左右のカメラ１Ｌ，１Ｒによりそれぞれ撮像すると，左画像１８Ｌと右画像１８Ｒとを取得することができる。そして，左右の画像１８Ｌ，１９Ｒ内の被写体の位置は，左右のカメラの異なる視点間の距離と視点から被写体までの距離とに応じてずれる。このずれ量が視差である。ステレオ法によれば，左右の画像での被写体のずれ量と，両カメラの視点間の距離に基づいて，視点から被写体までの距離を算出することができる。それにより３Ｄ画像を生成することができる。
【００１５】
図３は，マッチング処理回路の処理を示す図である。左右の画像１８Ｌ，１８Ｒ内の被写体画像１９Ｌ，１９Ｒのずれ量を検出するために，マッチング処理回路は，左画像１８Ｌ内の例えば５×５画素の領域の画像ＩＭＡＧＡを，右画像１８Ｒ内の前記画像ＩＭＡＧＡに対応する位置にあり画像ＩＭＡＧＡより水平方向に広い画像ＩＭＡＧＢとマッチングをとる。即ち，右画像の画像ＩＭＡＧＢに対して，左画像の画像ＩＭＡＧＡを画素単位で水平方向にシフトしながら，各ずれ量（シフト量）毎に，画像ＩＭＡＧＡとそれと重なる画像ＩＭＡＧＢ内の画像との各画素の画素値の差分絶対値を求め，５×５＝２５個の差分絶対値の和を差分絶対値和（ＳＡＤ値）として求める。
【００１６】
そして，このＳＡＤ値が最小になるときのずれ量（シフト量）が視差に対応する。この視差情報があれば，被写体までの距離をステレオ法により求めることができる。したがって，マッチング回路は，水平方向にシフトした回数分のＳＡＤ値から最小ＳＡＤ値を抽出するフィルタリング処理回路を有する。
【００１７】
図４は，ずれ量に対する差分絶対値和の分布例を示す図である。図４には３種類の差分絶対値和の分布例が示されている。図４（Ａ）は，通常の画像の場合の差分絶対値和（ＳＡＤ値）の分布を示す。異なるずれ量に対してＳＡＤ値は変化し，あるずれ量の時にＳＡＤ値は最小値になる。このずれ量の時に画像ＩＭＡＧＡと画像ＩＭＡＧＢの対応する画像とがマッチングしたことを意味する。したがって，最小ＳＡＤ値のときのずれ量が視差に対応する。
【００１８】
一方，図４（Ｂ）は，例えば窓やフェンスなど繰り返しパターンが含まれる画像の場合のＳＡＤ値の分布を示す。この場合は，複数のずれ量で最小ＳＡＤ値が繰り返し検出される。したがって，どの最小ＳＡＤ値が正しい視差に対応するのか明確でなく，得られた視差が正しくない場合は，不適切な３Ｄ画像が生成されるので好ましくない。
【００１９】
同様に，図４（Ｃ）は，例えば画像の輪郭が不鮮明な場合のＳＡＤ値の分布を示す。この場合は，類似したＳＡＤ値が連続して生成されるので，その水平シフト量のＳＡＤ値が真の最小ＳＡＤ値かを判断することが困難である。
【００２０】
本実施の形態におけるフィルタリング処理回路は，第１に，複数のずれ量毎に演算されるＳＡＤ値のうち最小のＳＡＤ値を抽出する機能と，第２に，最小ＳＡＤ値から閾値範囲内に他のＳＡＤ値が存在する場合はエラー値であることを示す無効信号を出力する機能を有する。さらに，第２の機能において，最小ＳＡＤ値から閾値範囲内に他のＳＡＤ値が存在するか否かの判定において，最小ＳＡＤ値の位置の左右の隣接点のＳＡＤ値は判定の対象外にする。このようにすることで，図４（Ａ）ではエラーは検出されないが，図４（Ｂ）（Ｃ）の場合にはエラーが検出され無効信号を出力することができる。
【００２１】
このような複雑な判断を必要とするフィルタリング処理回路を，簡単な回路で構成し，且つ順次生成される複数のずれ量に対するＳＡＤ値からの最小ＳＡＤ値の抽出と，エラーの検出とを高速に行うことができることが望まれる。
【００２２】
図５は，本実施の形態におけるマッチング処理回路の構成図である。内部バスＢＵＳに接続されたＤＭＡコントローラＤＭＡＣによりＳＤＲＡＭ３などから左右の画像データがメモリ１１０Ｌ，１１０Ｒに転送される。マッチング処理回路全体を制御するステートマシンＳＭが生成する制御信号φＣＮにより，これらのメモリ１１０Ｌ，１１０Ｒから図３に示した画像ＩＭＧＡと，画像ＩＭＧＢのうちシフトした画像ＩＭＧＡと重なる画像が読み出され，ＳＡＤ演算部１１１が５×５画素＝２５画素の画素値の差分絶対値の和（ＳＡＤ値）を演算する。ＳＡＤ演算部１１１は，異なるずれ量（シフト量）に対するＳＡＤ値を順次演算して出力する。それらの次々に演算されるＳＡＤ値をＳＡＤｎｏｗとする。この差分絶対値和ＳＡＤｎｏｗは，最小差分絶対値和１１２と，フィルタリング処理回路１１３とに順番に出力される。
【００２３】
一方，最小差分絶対値和判定回路（ＳＡＤｍｉｎ判定回路）１１２は，順次生成されるＳＡＤ値がその時点までで最小のＳＡＤ値か否かを判定する。このＳＡＤｍｉｎ判定回路１１２は，たとえば，比較器とその比較により小さいと判定された値を保持するフリップフロップ回路とを有する。そして，生成された差分絶対値和ＳＡＤｎｏｗがその時点までで最小であると判定したら，更新イネーブル信号ＵｐＥＮをＨレベルにして出力する。最小でない場合は更新イネーブル信号ＵｐＥＮはＬレベルで出力する。
【００２４】
フィルタリング処理回路１１３は，異なる視点での２つの画像に対する複数のずれ量に対応するＳＡＤ値のうち，最小差分絶対値和（最小ＳＡＤ値）を抽出する。フィルタリング処理回路１１３は，順次生成される差分絶対値和ＳＡＤｎｏｗを更新イネーブル信号ＵｐＥＮと共に入力し，更新イネーブル信号ＵｐＥＮが最小値が更新されたことを示すＨレベルの場合に，入力された差分絶対値和ＳＡＤｎｏｗを最小差分絶対値和保持回路に保持する。また，フィルタリング処理回路１１３は，最小差分絶対値和保持回路に保持される最小差分絶対値和の次に小さい第２最小差分絶対値和を検出して保持する第２最小差分絶対値和検出回路を有する。この第２最小差分絶対値和検出回路は，更新イネーブル信号ＵｐＥＮが最小値が更新されたことを示さない場合は，入力された差分絶対値和ＳＡＤｎｏｗが２番目の最小値か否かの判定を行い，更新イネーブル信号ＵｐＥＮが最小値が更新されたことを示す場合は，最小差分絶対値和保持回路から出力される元最小差分絶対値和が２番目の最小値か否かの判定を行う。
【００２５】
そして，全てのずれ量に対する差分絶対値和ＳＡＤｎｏｗの入力が終了すると，フィルタリング処理回路１１３は，最小差分絶対値和保持回路に保持される最小ＳＡＤ値を出力する。この最小ＳＡＤ値に対応するずれ量が視差に対応する。また，フィルタリング処理回路１１３は，最小ＳＡＤ値と２番目の最小ＳＡＤ値との差が所定の閾値以下である場合には無効フラグ信号を出力する。無効フラグ信号が出力された場合は，検出した最小ＳＡＤ値はエラーが含まれている可能性が高いので，イメージ・シグナル・プロセッサ２は，検出したずれ量を３Ｄプロセッサ５に出力しない，または，無効フラグ信号と共に出力する。
【００２６】
図６は，本実施の形態におけるフィルタリング処理回路１１３の構成図である。フィルタリング処理回路１１３は，ＳＡＤ演算回路からの差分絶対値和ＳＡＤｎｏｗを順次入力する入力回路２４と，入力回路に入力されたＳＡＤ値が当該入力時点までで最小のＳＡＤ値の場合に，その入力されるＳＡＤ値を最小のＳＡＤ値として保持する最小ＳＡＤ値保持回路２６とを有する。さらに，フィルタリング処理回路は，最小ＳＡＤ値保持回路２６に保持される最小ＳＡＤ値を除いて次に小さい第２最小ＳＡＤ値を検出して保持する第２最小ＳＡＤ値検出回路３０を有する。
【００２７】
また，フィルタリング処理回路１１３は，入力差分絶対値和ＳＡＤｎｏｗと共に入力される更新イネーブル信号ＵｐＥＮを入力して保持する更新イネーブル信号履歴保持回路２０と，その履歴に応じて制御信号Ａを生成する生成回路２２を有する。さらにＳＡＤ演算回路１１１から順次供給される差分絶対値和ＳＡＤｎｏｗを入力する入力回路２４と，データスルーパス（Path2）２７と，制御信号Ａに応じて最小ＳＡＤ値保持回路２６からのＳＡＤ値か，データスルーパス２７からのＳＡＤ値かのいずれかを選択するセレクタ回路２８とを有する。
【００２８】
フィルタリング処理回路１１３の概略的な動作は次の通りである。複数のずれ量に対して順次生成される差分絶対値和ＳＡＤｎｏｗと，それがその時点で最小値か否かを示す更新イネーブル信号ＵｐＥＮとが，順番に入力される。履歴保持回路２０は，その更新イネーブル信号ＵｐＥＮの履歴を保持する。また，入力回路２４は，入力される差分絶対値和ＳＡＤｎｏｗを一時的にラッチする。
【００２９】
制御回路２２は入力される更新イネーブル信号ＵｐＥＮとその履歴に応じて，制御信号Ａを生成する。この制御信号Ａに応じて，入力回路２４に一時的にラッチされるＳＡＤ値ＳＡＤｎｏｗは，最小ＳＡＤ値保持回路２６にシフトされて保持されるか，第２最小ＳＡＤ値検出回路３０に入力される。また，最小値保持回路２６が保持する最小ＳＡＤ値が更新される場合は，元の最小ＳＡＤ値は第２最小ＳＡＤ値検出回路３０に入力される。そして，第２最小ＳＡＤ値検出回路３０は，最小ＳＡＤ値保持回路２６に保持されている最小ＳＡＤ値以外のＳＡＤ値の中で最小の値，つまり第２最小ＳＡＤ値を検出する。
【００３０】
即ち，順次入力されるＳＡＤ値ＳＡＤｎｏｗは，上流の入力回路２４から，最小ＳＡＤ値保持回路２６に保持されるか，第２最小ＳＡＤ値検出回路３０に入力されるかである。また，最小ＳＡＤ値保持回路２６が新たな最小ＳＡＤ値に更新する場合，元の最小ＳＡＤ値は出力されて，第２最小ＳＡＤ値検出回路３０に入力される。そして，無効判定回路３２は，最小ＳＡＤ値と第２最小ＳＡＤ値との差分が閾値Ｔｈ以内かどうかを判定して，閾値以内の場合は無効フラグ信号を出力する。このように，全てのずれ量に対するＳＡＤ値ＳＡＤｎｏｗの入力が完了すると，後述する数サイクルのスイープ処理後に，最小ＳＡＤ値と無効フラグ信号とが確定する。
【００３１】
図７は，本実施の形態におけるフィルタリング処理回路の詳細な回路図である。図６内の対応する回路には同じ引用番号を与えている。まず，入力回路２４は，入力されるＳＡＤ値ＳＡＤｎｏｗを一時的に保持するフリップフロップＦＦ１を有し，最小ＳＡＤ値保持回路２６は，最小ＳＡＤ値とそれに隣接するずれ量のＳＡＤ値を保持する３つのフリップフロップＦＦ２，ＦＦ３，ＦＦ４を有する。これらのフリップフロップＦＦ１〜ＦＦ４は，図示しないクロックに同期してＳＡＤ値をシフトするシフトレジスタを構成する。また，最小ＳＡＤ値保持回路２６内の３つのフリップフロップＦＦ２〜ＦＦ４は，制御信号Ａがイネーブル信号として入力され，制御信号ＡがＨレベルのときにシフト動作を行う。
【００３２】
データスルーパス２７は，単なる信号配線であり，入力回路２４とセレクタＳＥＬとの間に設けられ，セレクタＳＥＬは，制御信号ＡがＬレベルの場合にデータスルーパス２７側からシフトされる入力回路２４内に一時的に保持されたＳＡＤ値ＳＡＤｎｏｗを選択し，制御信号ＡがＨレベルの場合に最小ＳＡＤ値保持回路２６から出力されるＳＡＤ値を選択する。
【００３３】
セレクタＳＥＬの後段に設けられた第２最小ＳＡＤ値検出回路３０は，フリップフロップＦＦ５と，比較器ＣＭＰと，フリップフロップＦＦ６とを有し，フリップフロップＦＦ５は比較イネーブル信号ＳＭ＿ｃｍｐｅｎがＨの間，セレクタＳＥＬが選択したＳＡＤ値をラッチし，比較器ＣＭＰに出力する。比較器ＣＭＰは，フリップフロップＦＦ６に保持されている第２最小ＳＡＤ値と，フリップフロップＦＦ５に入力された新たなＳＡＤ値とを比較して，小さいほうのＳＡＤ値をフリップフロップＦＦ６に出力する。前述のＳＡＤｍｉｎ判定回路１１２も，これと同様の比較器の構成を有する。
【００３４】
履歴保持回路２０は，フリップフロップＦＦ１１〜ＦＦ１３からなるシフトレジスタを有する。このフリップフロップＦＦ１１〜ＦＦ１３のシフトレジスタは，フリップフロップＦＦ１〜ＦＦ３のシフトレジスタとタイミングが同期している。そして，図示しない同期クロックに応答して，３ビットのシフトレジスタＦＦ１１〜ＦＦ１３が順次入力される更新イネーブル信号ＵｐＥＮを保持する。したがって，履歴保持回路２０では，入力された更新イネーブル信号ＵｐＥＮと，シフトレジスタでそれぞれ保持される３つの遅延された更新イネーブル信号ｄＵｐＥＮ１〜ｄＵｐＥＮ３とが参照可能である。
【００３５】
制御回路２２は，履歴保持回路２０で参照可能な４ビットの更新イネーブル信号に応じて，制御信号ＡをＨレベルまたはＬレベルに制御する。たとえば，ステートマシンＳＭからのスタート信号SM_start（１クロックサイクルだけＬレベル）に応答して，フリップフロップＦＦ１０がリセットされ出力がＬレベルになりアンドノアゲートＧ４により制御信号ＡはＬレベルに初期化される。つまり，フリップフロップＦＦ１のリセット端子はＬレベルでアクティブになる。そして，その後，更新イネーブル信号ＵｐＥＮがＨレベルになると，オアゲートＯＲ２の出力はＨレベルになる。ＮＡＮＤゲートＮＡＮＤ１は４つの更新イネーブル信号の履歴が「１０００」（ｄＵｐＥＮ３のみＨ，他はＬ）の時にその出力がＬになりそれ以外は出力はＨであるので，ＵｐＥＮ＝Ｈになると，アンドオアゲートＧ３の出力がＨレベルになりフリップフロップＦＦ１０がＨレベルをラッチし，制御信号ＡはＨレベルになる。ＦＦ１０の出力がアンドオアゲートＧ３に入力されているので，更新イネーブル信号ＵｐＥＮがＬレベルに変化しても，制御信号ＡがＨレベルの状態は維持される。そして，４つの更新イネーブル信号の履歴が「１０００」になって初めて，ＮＡＮＤゲートＮＡＮＤ１の出力がＬレベルになりＦＦ１０がＬレベルをラッチし制御信号ＡがＬレベルになる。
【００３６】
このように，制御信号Ａは，更新イネーブル信号ＵｐＥＮがＨレベルになるとＨレベルになり，その履歴が「１０００」になるまで維持し，履歴が「１０００」になると初めてＬレベルになる。この履歴が「１０００」の状態は，更新イネーブル信号ＵｐＥＮが最後にＨレベルになった時のＳＡＤ値がフリップフロップＦＦ３にラッチされた状態に対応する。
【００３７】
無効判定回路３２は，具体的な回路は示されていないが，フリップフロップＦＦ３内の最小ＳＡＤ値とフリップフロップＦＦ６内の２番目の最小値である第２最小ＳＡＤ値との差分が閾値Ｔｈ以下か否かを判定し，閾値以下の場合に無効フラグ信号をＨレベルにする。
【００３８】
なお，各フリップフロップＦＦの上側の端子はプリセット端子で内部がＨレベルに初期化され，下側の端子はリセット端子で内部がＬレベルに初期化され，いずれもＬアクティブな端子である。したがって，スタート信号SM_startがＬレベルになると，フリップフロップＦＦ１〜ＦＦ６はプリセットされ全てＨレベル，つまりそれぞれのＳＡＤ値は最大値に初期化され，フリップフロップＦＦ１０〜ＦＦ１３は全てＬレベルに初期化される。
【００３９】
図７のフィルタリング処理回路の具体的な動作を図８，９の例にしたがって説明する。
【００４０】
図８は，左右の画像の例であり，同じ形状の窓の画像が繰り返し存在する画像である。そして，左画像内の３×３画素のブロックＩＭＧＡを，右画像内の３×１８画素のブロックＩＭＧＢ上で水平方向にシフトさせたときの，それぞれずれ量での複数のＳＡＤ値のなかから最小ＳＡＤ値を抽出する例である。
【００４１】
図９は，図８の例において演算された１６のＳＡＤ値Ｄ０〜Ｄｆの例を示す図である。図８の画像は同じような形状の窓が繰り返しているので，演算された１６のＳＡＤ値には３つの極小値Ｄ１，Ｄ７，Ｄｅが含まれている。そして，ＳＡＤ値Ｄ７が最小値であり，この最小値Ｄ７とそのずれ量の両側の隣接点のＳＡＤ値Ｄ６，Ｄ８を除いたなかでＳＡＤ値Ｄ１が２番目の最小値であり，これらの差分は閾値以下であり無効フラグ信号がアサートされる例である。
【００４２】
図１０は，図９のＳＡＤ値Ｄ０〜Ｄｆが順次入力された場合のフィルタリング処理回路の動作を示すタイミングチャート図である。図１０では，システムクロックＣＬＫのクロックサイクル１から１９でフィルタリング処理が完了している。
【００４３】
最初に，クロックサイクル１で，ステートマシンＳＭがスタート信号SM_startをＬレベルにすると，履歴保持回路２０内のフリップフロップＦＦ１１〜ＦＦ１３と制御回路２２内のフリップフロップＦＦ１０とがリセットされ内部データはＬレベルに初期化され，一方，シフトレジスタを構成するフリップフロップＦＦ１〜ＦＦ３と第２最小ＳＡＤ値検出回路３０内のフリップフロップＦＦ５，ＦＦ６はプリセットされ内部データは全てＨの最大値（0xFF）に初期化される。
【００４４】
クロックサイクル１で初期化された後，クロックサイクル２で，ステートマシンＳＭは，比較イネーブル信号SM_cmpenをＨレベルにして，第２最小ＳＡＤ値検出回路３０内のフリップフロップＦＦ５をイネーブル状態にして，２番目に小さい第２最小ＳＡＤ値を検出するための比較動作状態にする。
【００４５】
クロックサイクル２で，最初の入力ＳＡＤｎｏｗとしてＤ０が入力される。最初の入力Ｄ０は常に最小値と認定されるので更新イネーブル信号ＵｐＥＮはＨレベルになる。このＵｐＥＮ＝Ｈに応答して制御回路２２は制御信号ＡをＨレベルにする。Ａ＝Ｈにより，最小ＳＡＤ値保持回路２６内のシフトレジスタのフリップフロップＦＦ２〜ＦＦ４はイネーブル状態にされ，入力値を取り込み可能状態にされる。
【００４６】
クロックサイクル３で，Ｄ０は入力回路２４内のフリップフロップＦＦ１にラッチされ，新たに入力ＳＡＤｎｏｗにはＤ１が入力される。図９によれば，Ｄ１＜Ｄ０であるのでＵｐＥＮ＝Ｈとなる。そして，クロックサイクル４，５で入力ＳＡＤｎｏｗにはＤ２，Ｄ３が入力され，フリップフロップＦＦ１にラッチされたＤ０，Ｄ１は，最小ＳＡＤ値保持回路２６内のシフトレジスタのＦＦ２，ＦＦ３，ＦＦ４へとシフトされる。また，Ｄ２，Ｄ３＞Ｄ１であるのでＵｐＥＮ＝Ｌになるが，制御信号ＡはＡ＝Ｈに維持される。
【００４７】
クロックサイクル６では，この時点で最小値のＤ１とその両側の隣接点のＤ０，Ｄ２が，最小ＳＡＤ値保持回路２６内のフリップフロップＦＦ３，ＦＦ２，ＦＦ４に格納される。さらに，履歴保持回路２０内の４ビットの更新イネーブル信号ＵｐＥＮ，ｄＵｐＥＮ１〜３の４ビットの履歴は，ＵｐＥＮをＬＳＢとすると「１０００」になっているので，制御回路２２が制御信号ＡをＬレベルに切り替える。
【００４８】
これにより，その次のクロックサイクル７，８では，最小ＳＡＤ値保持回路２６のシフトレジスタのフリップフロップＦＦ２〜ＦＦ４はディセーブル状態になりシフト動作が停止し，且つセレクタ２８はデータスルーパス２７側を選択する状態になる。したがって，入力回路２４内のフリップフロップＦＦ１内のＳＡＤ値Ｄ３，Ｄ４は，データスルーパス２７を介して第２最小ＳＡＤ値検出回路３０内のフリップフロップＦＦ５にラッチされる。Ｄ３＜Ｄ４であるので，第２最小ＳＡＤ値検出回路３０の比較器ＣＭＰの比較動作によりクロックサイクル８ではＳＡＤ値Ｄ３がフリップフロップＦＦ６にラッチされる。このラッチされたＳＡＤ値がその時点で２番目に小さいＳＡＤ値，つまり第２最小ＳＡＤ値である。
【００４９】
次に，クロックサイクル９では，入力ＳＡＤｎｏｗにＤ７が入力され，Ｄ７＜Ｄ１であるので，更新イネーブル信号ＵｐＥＮ＝Ｈとなる。これに応答して，再度制御信号ＡがＡ＝Ｈとなり，最小ＳＡＤ値保持回路２６のフリップフロップＦＦ２〜ＦＦ４がイネーブル状態になり，セレクタ２８は最小ＳＡＤ値保持回路２６の出力側を選択する。この時点で入力回路２４内のフリップフロップＦＦ１にはＤ７の隣接点のＤ６がラッチされている。
【００５０】
次のクロックサイクル１０では，Ｄ６がフリップフロップＦＦ２にラッチされ，Ｄ７はフリップフロップＦＦ１にラッチされ，入力ＳＡＤｎｏｗにはＤ８が入力される。そして，以後の入力Ｄ８〜Ｄｆは全て最小値Ｄ７より大きいので，更新イネーブル信号ＵｐＥＮは全てＬになり，クロックサイクル９でのＵｐＥＮ＝Ｈが，次の３サイクルで履歴保持回路２０内のシフトレジスタのフリップフロップＦＦ１１，１２，１３をシフトし，ＳＡＤ値Ｄ６，Ｄ７，Ｄ８も入力回路２４内のフリップフロップＦＦ１と，最小ＳＡＤ値保持回路２６内のシフトレジスタのフリップフロップＦＦ２〜ＦＦ４をシフトする。そして，クロックサイクル１２で，最小ＳＡＤ値保持回路２６内のシフトレジスタには，最小値Ｄ７とその両側隣接点のＤ６，Ｄ８が格納される。
【００５１】
ＳＡＤ値Ｄ６，Ｄ７，Ｄ８が最小ＳＡＤ値保持回路２６内に更新されるとき，元の最小ＳＡＤ値とその隣接点のＳＡＤ値Ｄ０，Ｄ１，Ｄ２は，セレクタ２８を介して，第２最小ＳＡＤ値検出回路３０のフリップフロップＦＦ５にラッチされ，２番目に小さいＳＡＤ値か否かを比較される。
【００５２】
クロックサイクル１２で，履歴保持回路２０内の更新イネーブル信号の４ビットの履歴が再び「１０００」となるので，制御回路２２は制御信号ＡをＡ＝Ｌに切り替える。その結果，クロックサイクル１３以降は，入力回路２４内のフリップフロップＦＦ１にラッチされたＳＡＤ値Ｄ９〜Ｄｆは，データスルーパス２７，セレクタ２８を経由して，第２最小ＳＡＤ値検出回路３０のフリップフロップＦＦ５にラッチされ，比較器ＣＭＰにより比較判定される。
【００５３】
なお，上記では更新イネーブル信号の履歴が「１０００」になると制御信号ＡをＬレベルに切り替えている。その理由は次のとおりである。即ち，履歴が「１００」となった時点で，極小値である最小ＳＡＤ値とその両隣接点のＳＡＤ値はフリップフロップＦＦ１，ＦＦ２，ＦＦ３にラッチされている。そして，次のクロックサイクルで最小値でない入力ＳＡＤ値がフリップフロップＦＦ１にラッチされると共に，その次のＳＡＤ値が入力ＳＡＤｎｏｗに現れる。この入力ＳＡＤｎｏｗが新たな最小値の場合は，フリップフロップＦＦ１にラッチされているＳＡＤ値（新たな最小値の隣接点）と共に，フリップフロップＦＦ２，ＦＦ３，ＦＦ４にシフトされる必要がある。そこで，履歴が「１０００」であることを確認してそのクロックサイクルで制御信号ＡをＬに切り替えている。もし履歴が「１００１」になれば，制御信号ＡはＨのまま維持されて，それにより新たな最小値と隣接点のＳＡＤ値がフリップフロップＦＦ２〜ＦＦ３にシフトされる。
【００５４】
クロックサイクル１７で最後のＳＡＤ値Ｄｆが入力ＳＡＤｎｏｗに入力される。その最後の入力Ｄｆは，未だフィルタリング処理されていないので，スイープ処理によって，最小ＳＡＤ値保持回路２０内のフリップフロップＦＦ２又はＦＦ３にラッチするか，第２最小ＳＡＤ値検出回路３０内のフリップフロップＦＦ５にラッチして比較器ＣＭＰによる第２最小値か否かの比較動作をするかが行われる。そこで，ステートマシンＳＭは，最後のＳＡＤ値Ｄｆに対応する更新イネーブル信号ＵｐＥＮのレベルを参照して，ＵｐＥＮ＝Ｌであればその後２サイクルのスイープ処理を行い，ＵｐＥＮ＝Ｈであればその後３サイクルのスイープ処理を行い，その後比較イネーブル信号SM_cmpenをＬレベルに切り替える。
【００５５】
図１０の例では，最後の入力ＳＡＤｎｏｗのＤｆが最小値ではないので，ＵｐＥＮ＝Ｌであり，２サイクルのスイープ処理（ＳＷＰ＝２）により，Ｄｆは第２最小ＳＡＤ値検出回路３０内のフリップフロップＦＦ５までシフトし，そのＤｆが比較器ＣＭＰにより第２最小値か否かの比較動作が行われる。そして，クロックサイクル２０で比較イネーブル信号SM_cmpenがＬレベルにされその後の比較動作は禁止される。なお，Ｄｆが第２最小値の場合は，比較器ＣＭＰからＤｆが最終段のフリップフロップＦＦ６にラッチされる。ただし，比較器ＣＭＰの出力をフリップフロップＦＦ６を介さずに第２最小ＳＡＤ値として出力する回路構成にすれば，クロックサイクル２０はスイープ処理には必要ない。
【００５６】
図１１は，最後の入力Ｄｆが最小値の場合のスイープ処理を示す図である。クロックサイクル１７で入力された最後のＳＡＤ値Ｄｆが最小値の場合は，更新イネーブル信号ＵｐＥＮがＨレベルになり，制御信号ＡがＨレベルになる。そして，ステートマシンＳＭはスイープ処理を３サイクルに設定し，クロックサイクル２１で比較イネーブル信号SM_cmpenをＬレベルにする。３サイクルのスイープ処理により最小値のＤｆは最小ＳＡＤ値保持回路２６内のフリップフロップＦＦ３にラッチされ，両側隣接点の一方のＤｅはフリップフロップＦＦ４にラッチされる。それと共に，クロックサイクル１９で，元の最小ＳＡＤ値Ｄ７は第２最小ＳＡＤ値検出回路３０内のフリップフロップＦＦ５にラッチされ第２最小判定される。
【００５７】
このように，最後の入力ＳＡＤ値が最小値の場合は，３クロックサイクルのスイープ処理を行って，その入力されるＳＡＤ値をフリップフロップＦＦ１，ＦＦ２，ＦＦ３にシフトさせる。
【００５８】
図１２は，本実施の形態におけるフィルタリング処理の全体の動作を示すフローチャート図である。最後のＳＡＤ値を入力した後のスイープ処理か否か（Ｓ１０）により，左側の処理Ｓ１１〜Ｓ１４に示した最後のＳＡＤ値を入力するまでのクロックサイクル（図１０，１１の例ではクロックサイクル１〜１７）での処理と，右側の処理Ｓ１５〜Ｓ２０に示したスイープ処理とを有する。
【００５９】
スイープ処理でない間は（Ｓ１０のＮ），入力ＳＡＤ値が最小値の場合に（Ｓ１１のＹ），ＵｐＥＮ＝Ｈにより制御信号ＡはＡ＝Ｈにされる（Ｓ１２）。そして，履歴パターンが「１０００」でない間（Ｓ１３のＮ）は制御信号ＡはＡ＝Ｈに維持され，履歴パターンが「１０００」になると（Ｓ１３のＹ），制御信号ＡはＡ＝Ｌに切り替えられる。この制御信号ＡがＡ＝Ｈなら，３つの連続する入力ＳＡＤ値がフリップフロップＦＦ２〜ＦＦ４にシフトしてラッチされるとともに，フリップフロップＦＦ２〜ＦＦ４に元々ラッチされていた３つのＳＡＤ値は第２最小値判定回路内のフリップフロップＦＦ５にシフトされて第２最小判定される。一方，Ａ＝Ｌなら，入力ＳＡＤ値は第２最小値判定回路内のフリップフロップＦＦ５にシフトされて第２最小値判定され，フリップフロップＦＦ２〜ＦＦ４内の最小ＳＡＤ値とその隣接点ＳＡＤ値は保持される。
【００６０】
図１３は，スイープ処理の例を示す図である。入力ＳＡＤ値が最小値の場合は破線枠で，隣接点は枠無しで，そして最小値でも隣接点でもない場合は二重枠で示している。左から順に，最後の入力であるＳＡＤｎｏｗの「４」は最小値ではないので，２サイクルのスイープ処理が行われ，「３」「４」はフリップフロップＦＦ５にラッチされて第２最小値判定されている。真ん中の場合は，最後の入力「４」が最小値であるので，３サイクルのスイープ処理が行われ，入力「３」「４」がフリップフロップＦＦ３，ＦＦ４にラッチされ，元の最小値と隣接点の「１」「２」はフリップフロップＦＦ５にラッチされて第２最小値判定されている。右側の例は，最後の入力「６」が最小値でない場合であり，左側と同様の２サイクルのスイープ処理になっている。
【００６１】
図１４は，スイープ処理の例を示す図である。ここに示した４つのスイープ処理ＳＷＰ１〜ＳＷＰ４は，いずれも最後の入力が最小値でない場合であり２クロックサイクルの長さである。そして，直前の入力最小値の位置に応じて４つの例が示されている。
【００６２】
スイープ処理ＳＷＰ１では，最後の入力「ｐ」の前の入力「ｏ」が最小値の例であり，スイープ処理サイクル中に制御信号ＡがＬレベルに切り替えられている。そのため，入力「ｎ」「ｏ」「ｐ」はフリップフロップＦＦ２〜ＦＦ４にシフトされてラッチされる。
【００６３】
スイープ処理ＳＷＰ２では，最後の入力「ｑ」の２つ前の入力「ｏ」が最小値の例であり，「ｎ」「ｏ」「ｐ」がフリップフロップＦＦ２〜ＦＦ４にラッチされている。スイープ処理ＳＷＰ３では，最後の入力「ｒ」の３つ前の入力「ｏ」が最小値の例であり，「ｎ」「ｏ」「ｐ」がフリップフロップＦＦ２〜ＦＦ４にラッチされ，入力「ｑ」「ｒ」はフリップフロップＦＦ５にラッチされて第２最小値判定されている。スイープ処理ＳＷＰ４は，ＳＷＰ３と同様である。
【００６４】
図７に戻り，無効判定回路３２は，フリップフロップＦＦ３の最小ＳＡＤ値と，フリップフロップＦＦ６の第２最小ＳＡＤ値とを比較し，その差分が閾値Ｔｈ以下の場合に無効フラグをＨレベルにする。したがって，スイープ処理が終了した時点で，最小ＳＡＤ値の抽出と，それがエラー値か否かの判定が完了する。
【００６５】
以上の通り，本実施の形態のフィルタリング処理回路によれば，異なるずれ量に対するＳＡＤ値を順次入力し，パイプライン処理により最小値の保持と，第２最小値の判定及び無効判定を行うので，簡単な構成の回路により高速に処理を行うことができる。
【００６６】
以上の実施の形態をまとめると，次の付記のとおりである。
【００６７】
（付記１）
異なる視点での２つの画像に対する複数のずれ量に対応する差分絶対値和のうち，最小差分絶対値和を抽出するフィルタリング処理回路であって，
前記複数のずれ量にそれぞれ対応する複数の差分絶対値和を順次入力する入力回路と，
前記入力回路に入力される差分絶対値和が当該入力時点までで最小の差分絶対値和の場合に，前記入力差分絶対値和を最小の差分絶対値和として保持する最小差分絶対値和保持回路と，
前記最小差分絶対値和保持回路に保持される最小差分絶対値和の次に小さい第２最小差分絶対値和を検出して保持する第２最小差分絶対値和検出回路と，
前記入力時点までで最小の差分絶対値和でない場合には，当該入力差分絶対値和を前記第２最小差分絶対値和検出回路に入力し，最小の差分絶対値和である場合には，前記最小差分絶対値和保持回路で最小差分絶対値が更新されることに伴って前記最小差分絶対値和保持回路から出力される元の最小差分絶対値和を，前記第２最小差分絶対値和検出回路に入力するセレクタ回路とを有するフィルタリング処理回路。
【００６８】
（付記２）
付記１において，
前記最小差分絶対値和保持回路は，前記保持される最小差分絶対値和のずれ量に隣接するずれ量に対応する差分絶対値和も保持し，前記最小差分絶対値が更新される場合には，当該保持されていた元の最小差分絶対値和に加えて前記隣接するずれ量の差分絶対値和も出力するフィルタリング処理回路。
【００６９】
（付記３）
付記１または２において，
さらに，前記最小差分絶対値和保持回路に保持される前記最小差分絶対値和と，前記第２最小差分絶対値和との差が，閾値以下の場合に，無効信号を出力する無効判定回路を有するフィルタリング処理回路。
【００７０】
（付記４）
付記２において，
前記最小差分絶対値和保持回路は，前記最小差分絶対値和と前記隣接するずれ量の差分絶対値和を順次シフトして保持する第１，第２及び第３のレジスタを有する最小値シフトレジスタを有し，
さらに，前記入力回路に順次入力される差分絶対値和が前記入力時点までで最小の差分絶対値和か否かを示す更新イネーブル信号を，順次入力して保持する更新イネーブル信号履歴保持回路と，
前記更新イネーブル信号履歴保持回路の履歴に応じて，前記入力される差分絶対値和を前記最小値シフトレジスタに入力させるとともに，前記最小値シフトレジスタに保持していた前記元の最小差分絶対値和を前記隣接するずれ量の差分絶対値和と共に出力させる第１の制御信号と，前記セレクタ回路により前記入力される差分絶対値和を前記第２最小差分絶対値和検出回路に入力させる第２の制御信号を生成する制御回路とを有するフィルタリング処理回路。
【００７１】
（付記５）
付記４において，
前記セレクタ回路は，前記第１の制御信号に応答して，前記最小値シフトレジスタから出力される前記元の最小差分絶対値和と隣接するずれ量の差分絶対値和とを前記第２最小差分絶対値和検出回路に入力するフィルタリング処理回路。
【００７２】
（付記６）
付記４において，
前記複数のずれ量に対応する差分絶対値和のうち最後の差分絶対値和が入力された後，当該最後の差分絶対値和に対応する更新イネーブル信号が最小の差分絶対値和であることを示す第１の場合に，第１のクロックサイクル期間，示さない第２の場合に，前記第１のクロックサイクル期間と異なる第２のクロックサイクル期間，それぞれ前記最小値シフトレジスタとセレクタ回路と第２最小差分絶対値和検出回路とを動作させステートマシンを有するフィルタリング処理回路。
【００７３】
（付記７）
付記６において，
前記第１の場合に，前記第１のクロックサイクル期間で，前記最後の差分絶対値和が前記最小値シフトレジスタの第２のレジスタに転送され，前記第２の場合に，前記第２のクロックサイクル期間で，前記最後の差分絶対値和が前記第２最小差分絶対値和検出回路で第２最小値判定されるフィルタリング処理回路。
【００７４】
（付記８）
付記４において，
さらに，前記入力回路が入力される前記ＳＡＤ値をラッチする入力レジスタを有し，
クロックに同期して，入力レジスタと前記最小値シフトレジスタとが入力されるＳＡＤ値を順次シフトするフィルタリング処理回路。
【００７５】
（付記９）
付記１〜３のいずれかに記載のフィルタリング処理回路と，
前記２つの画像間の複数のずれ量に対応して，当該ずれ量だけずらした２つの画像の各画素値の差分絶対値和を順次演算する差分絶対値和演算回路とを有するマッチング処理回路。
【００７６】
（付記１０）
付記４〜６のいずれかに記載のフィルタリング処理回路と，
前記２つの画像間の複数のずれ量に対応して，当該ずれ量だけずらした２つの画像の各画素値の差分絶対値和を順次演算する差分絶対値和演算回路と，
前記入力回路に順次入力される差分絶対値和が前記入力時点までで最小の差分絶対値和か否かを判定して前記更新イネーブル信号を生成する最小差分絶対値和判定回路とを有するマッチング処理回路。
【符号の説明】
【００７７】
２０：更新イネーブル信号履歴保持回路 ２２：制御回路
２４：入力回路 ２６：最小ＳＡＤ値保持回路
２８：セレクタ回路 ３０：第２最小ＳＡＤ値判定回路
３２：無効判定回路
【特許請求の範囲】
【請求項１】
異なる視点での２つの画像に対する複数のずれ量に対応する差分絶対値和のうち，最小差分絶対値和を抽出するフィルタリング処理回路であって，
前記複数のずれ量にそれぞれ対応する複数の差分絶対値和を順次入力する入力回路と，
前記入力回路に入力される差分絶対値和が当該入力時点までで最小の差分絶対値和の場合に，前記入力差分絶対値和を最小の差分絶対値和として保持する最小差分絶対値和保持回路と，
前記最小差分絶対値和保持回路に保持される最小差分絶対値和の次に小さい第２最小差分絶対値和を検出して保持する第２最小差分絶対値和検出回路と，
前記入力時点までで最小の差分絶対値和でない場合には，当該入力差分絶対値和を前記第２最小差分絶対値和検出回路に入力し，最小の差分絶対値和である場合には，前記最小差分絶対値和保持回路で最小差分絶対値が更新されることに伴って前記最小差分絶対値和保持回路から出力される元の最小差分絶対値和を，前記第２最小差分絶対値和検出回路に入力するセレクタ回路とを有するフィルタリング処理回路。
【請求項２】
請求項１において，
前記最小差分絶対値和保持回路は，前記保持される最小差分絶対値和のずれ量に隣接するずれ量に対応する差分絶対値和も保持し，前記最小差分絶対値が更新される場合には，当該保持されていた元の最小差分絶対値和に加えて前記隣接するずれ量の差分絶対値和も出力するフィルタリング処理回路。
【請求項３】
請求項１または２において，
さらに，前記最小差分絶対値和保持回路に保持される前記最小差分絶対値和と，前記第２最小差分絶対値和との差が，閾値以下の場合に，無効信号を出力する無効判定回路を有するフィルタリング処理回路。
【請求項４】
請求項２において，
前記最小差分絶対値和保持回路は，前記最小差分絶対値和と前記隣接するずれ量の差分絶対値和を順次シフトして保持する第１，第２及び第３のレジスタを有する最小値シフトレジスタを有し，
さらに，前記入力回路に順次入力される差分絶対値和が前記入力時点までで最小の差分絶対値和か否かを示す更新イネーブル信号を，順次入力して保持する更新イネーブル信号履歴保持回路と，
前記更新イネーブル信号履歴保持回路の履歴に応じて，前記入力される差分絶対値和を前記最小値シフトレジスタに入力させるとともに，前記最小値シフトレジスタに保持していた前記元の最小差分絶対値和を前記隣接するずれ量の差分絶対値和と共に出力させる第１の制御信号と，前記セレクタ回路により前記入力される差分絶対値和を前記第２最小差分絶対値和検出回路に入力させる第２の制御信号を生成する制御回路とを有するフィルタリング処理回路。
【請求項５】
請求項４において，
前記複数のずれ量に対応する差分絶対値和のうち最後の差分絶対値和が入力された後，当該最後の差分絶対値和に対応する更新イネーブル信号が最小の差分絶対値和であることを示す第１の場合に，第１のクロックサイクル期間，示さない第２の場合に，前記第１のクロックサイクル期間と異なる第２のクロックサイクル期間，それぞれ前記最小値シフトレジスタとセレクタ回路と第２最小差分絶対値和検出回路とを動作させステートマシンを有するフィルタリング処理回路。
【請求項６】
請求項５において，
前記第１の場合に，前記第１のクロックサイクル期間で，前記最後の差分絶対値和が前記最小値シフトレジスタの第２のレジスタに転送され，前記第２の場合に，前記第２のクロックサイクル期間で，前記最後の差分絶対値和が前記第２最小差分絶対値和検出回路で第２最小値判定されるフィルタリング処理回路。
【請求項７】
請求項１〜３のいずれかに記載のフィルタリング処理回路と，
前記２つの画像間の複数のずれ量に対応して，当該ずれ量だけずらした２つの画像の各画素値の差分絶対値和を順次演算する差分絶対値和演算回路とを有するマッチング処理回路。
【請求項８】
請求項４，５のいずれかに記載のフィルタリング処理回路と，
前記２つの画像間の複数のずれ量に対応して，当該ずれ量だけずらした２つの画像の各画素値の差分絶対値和を順次演算する差分絶対値和演算回路と，
前記入力回路に順次入力される差分絶対値和が前記入力時点までで最小の差分絶対値和か否かを判定して前記更新イネーブル信号を生成する最小差分絶対値和判定回路とを有するマッチング処理回路。
【請求項１】
異なる視点での２つの画像に対する複数のずれ量に対応する差分絶対値和のうち，最小差分絶対値和を抽出するフィルタリング処理回路であって，
前記複数のずれ量にそれぞれ対応する複数の差分絶対値和を順次入力する入力回路と，
前記入力回路に入力される差分絶対値和が当該入力時点までで最小の差分絶対値和の場合に，前記入力差分絶対値和を最小の差分絶対値和として保持する最小差分絶対値和保持回路と，
前記最小差分絶対値和保持回路に保持される最小差分絶対値和の次に小さい第２最小差分絶対値和を検出して保持する第２最小差分絶対値和検出回路と，
前記入力時点までで最小の差分絶対値和でない場合には，当該入力差分絶対値和を前記第２最小差分絶対値和検出回路に入力し，最小の差分絶対値和である場合には，前記最小差分絶対値和保持回路で最小差分絶対値が更新されることに伴って前記最小差分絶対値和保持回路から出力される元の最小差分絶対値和を，前記第２最小差分絶対値和検出回路に入力するセレクタ回路とを有するフィルタリング処理回路。
【請求項２】
請求項１において，
前記最小差分絶対値和保持回路は，前記保持される最小差分絶対値和のずれ量に隣接するずれ量に対応する差分絶対値和も保持し，前記最小差分絶対値が更新される場合には，当該保持されていた元の最小差分絶対値和に加えて前記隣接するずれ量の差分絶対値和も出力するフィルタリング処理回路。
【請求項３】
請求項１または２において，
さらに，前記最小差分絶対値和保持回路に保持される前記最小差分絶対値和と，前記第２最小差分絶対値和との差が，閾値以下の場合に，無効信号を出力する無効判定回路を有するフィルタリング処理回路。
【請求項４】
請求項２において，
前記最小差分絶対値和保持回路は，前記最小差分絶対値和と前記隣接するずれ量の差分絶対値和を順次シフトして保持する第１，第２及び第３のレジスタを有する最小値シフトレジスタを有し，
さらに，前記入力回路に順次入力される差分絶対値和が前記入力時点までで最小の差分絶対値和か否かを示す更新イネーブル信号を，順次入力して保持する更新イネーブル信号履歴保持回路と，
前記更新イネーブル信号履歴保持回路の履歴に応じて，前記入力される差分絶対値和を前記最小値シフトレジスタに入力させるとともに，前記最小値シフトレジスタに保持していた前記元の最小差分絶対値和を前記隣接するずれ量の差分絶対値和と共に出力させる第１の制御信号と，前記セレクタ回路により前記入力される差分絶対値和を前記第２最小差分絶対値和検出回路に入力させる第２の制御信号を生成する制御回路とを有するフィルタリング処理回路。
【請求項５】
請求項４において，
前記複数のずれ量に対応する差分絶対値和のうち最後の差分絶対値和が入力された後，当該最後の差分絶対値和に対応する更新イネーブル信号が最小の差分絶対値和であることを示す第１の場合に，第１のクロックサイクル期間，示さない第２の場合に，前記第１のクロックサイクル期間と異なる第２のクロックサイクル期間，それぞれ前記最小値シフトレジスタとセレクタ回路と第２最小差分絶対値和検出回路とを動作させステートマシンを有するフィルタリング処理回路。
【請求項６】
請求項５において，
前記第１の場合に，前記第１のクロックサイクル期間で，前記最後の差分絶対値和が前記最小値シフトレジスタの第２のレジスタに転送され，前記第２の場合に，前記第２のクロックサイクル期間で，前記最後の差分絶対値和が前記第２最小差分絶対値和検出回路で第２最小値判定されるフィルタリング処理回路。
【請求項７】
請求項１〜３のいずれかに記載のフィルタリング処理回路と，
前記２つの画像間の複数のずれ量に対応して，当該ずれ量だけずらした２つの画像の各画素値の差分絶対値和を順次演算する差分絶対値和演算回路とを有するマッチング処理回路。
【請求項８】
請求項４，５のいずれかに記載のフィルタリング処理回路と，
前記２つの画像間の複数のずれ量に対応して，当該ずれ量だけずらした２つの画像の各画素値の差分絶対値和を順次演算する差分絶対値和演算回路と，
前記入力回路に順次入力される差分絶対値和が前記入力時点までで最小の差分絶対値和か否かを判定して前記更新イネーブル信号を生成する最小差分絶対値和判定回路とを有するマッチング処理回路。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１２】
【図１３】
【図１４】
【図８】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１２】
【図１３】
【図１４】
【図８】
【図１０】
【図１１】
【公開番号】特開２０１２−２２２３８２（Ｐ２０１２−２２２３８２Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８２４２８（Ｐ２０１１−８２４２８）
【出願日】平成２３年４月４日（２０１１．４．４）
【出願人】（３０８０１４３４１）富士通セミコンダクター株式会社 (2,507)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月４日（２０１１．４．４）
【出願人】（３０８０１４３４１）富士通セミコンダクター株式会社 (2,507)
【Ｆターム（参考）】
[ Back to top ]