画像処理パイプライン回路
【課題】 画像処理機能の追加、削除および順序の変更を、画像処理モジュールと接続モジュールのみで行い、パイプライン段数に制約のない画像処理パイプライン回路を提供する。
【解決手段】 少なくとも１つの画像入力部１１と、複数の画像処理モジュール１２〜１４と、一方の出力が他方の入力となる２つの画像処理モジュールを連結する少なくとも１つの接続モジュール１６、１７と、少なくとも１つの画像出力部１５とからなる画像処理パイプライン回路１００において、接続モジュール１６、１７が垂直同期信号と水平同期信号のいずれか１つもしくは両方を第１の同期信号として受け取り、第１の同期信号に接続モジュールが連結する２つの画像処理モジュール間の相対的な遅延量を付加した第２の同期信号を生成する手段を有する。
【解決手段】 少なくとも１つの画像入力部１１と、複数の画像処理モジュール１２〜１４と、一方の出力が他方の入力となる２つの画像処理モジュールを連結する少なくとも１つの接続モジュール１６、１７と、少なくとも１つの画像出力部１５とからなる画像処理パイプライン回路１００において、接続モジュール１６、１７が垂直同期信号と水平同期信号のいずれか１つもしくは両方を第１の同期信号として受け取り、第１の同期信号に接続モジュールが連結する２つの画像処理モジュール間の相対的な遅延量を付加した第２の同期信号を生成する手段を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理機能の簡単な追加、削除および順序の変更に関し、詳しくは、画像処理パイプライン回路に関する。
【背景技術】
【０００２】
画像処理アルゴリズムは画像処理対象物によって千差万別であり、必要な画像処理機能の種類と処理順序も同様に千差万別である。画像処理パイプライン回路は、画像処理アルゴリズムに応じて複数の画像処理機能を組み合わせて構成する。例えば特許文献１においては、図６に示すように、入力画像データが画像入力部６１から画像処理モジュール６２に送られ、画像処理モジュール６２の出力画像データが画像処理モジュール６３へ、画像処理モジュール６３の出力画像データが画像処理モジュール６４へと順次送られて、最後は画像処理モジュール６４の出力画像データが画像出力部６５へと送られる。主接続モジュール６６は、画像処理モジュール６２〜６４が持つ遅延量に応じた水平同期信号を生成している。副接続モジュール６７〜６９は、主接続モジュール６６が生成した水平同期信号を元に、画像処理モジュール６２〜６４が必要とする有効画像領域の有効範囲信号を生成している。
【０００３】
また、特許文献２においては、図８に示すように、予めプロセッシング・モジュールＰＭ（＃１〜＃６）とイメージ・メモリＩＭ（＃７〜＃１０）とディレイ・モジュールＤＭ（＃１１及び＃１２）とネットワーク回路とを実装しておき、結合を制御することで画像処理アルゴリズムの変更に対応している。
【特許文献１】特開２０００−１７２８３４
【特許文献２】特開昭６１−１３３７９
【発明の開示】
【発明が解決しようとする課題】
【０００４】
図６においては、画像処理機能の追加、削除および順序の変更を行うと、画像処理モジュール６２〜６４以外に周辺回路である主接続モジュール６６と副接続モジュール６７〜６９の設計変更が必要になるという問題がある。さらに、画像処理モジュールには、例えば当該画素とその近傍を合わせた３×３の画素というように、当該画素に対する画像処理結果を求めるためにその周囲の画素データを必要とするものがある。この場合、処理結果を得るために次のラインの画素データが必要であり、処理結果が得られるのは次のラインということになる。つまり、画像処理モジュールが水平方向だけでなく垂直方向にも遅延を持つことになる。
【０００５】
図６において、このような垂直方向に遅延を持つ画像処理モジュールの数が増えると、図７に示すように、有効画像領域７３、７４がフレーム７７、７８の範囲を超えて下にはみ出してしまうことになる。この場合、正常な処理が行われないため、画像処理パイプラインの段数に制約が生じてしまうという問題がある。また、図８においても、図６の場合と同様に垂直方向への遅延に対して対応できないという問題がある。また、使用目的に応じては、必要としない機能を実装していることとなる場合があり、回路規模の増大とみなされる場合がある。さらに、画像の膨張操作などで行われる同じ処理を複数回行う場合には、同じ処理機能を持つ画像処理モジュールを複数個、事前に持たせておく必要がある。従って図８方法は、同一機能を複数回行う場合の処理において、機能の柔軟性に問題がある。
【０００６】
本発明は、このような従来技術の問題点を解決しようとするものであり、画像処理機能の追加、削除および順序の変更を、画像処理モジュールと接続モジュールのみで行い、パイプライン段数に制約のない画像処理パイプライン回路を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の画像処理パイプライン回路は、少なくとも１つの画像入力部と、複数の画像処理モジュールと、一方の出力が他方の入力となる２つの前記画像処理モジュールを連結する少なくとも１つの接続モジュールと、少なくとも１つの画像出力部とからなる画像処理パイプライン回路であって、
前記接続モジュールが垂直同期信号と水平同期信号のいずれか１つもしくは両方を第１の同期信号として受け取り、前記第１の同期信号に前記接続モジュールが連結する２つの前記画像処理モジュール間の相対的な遅延量を付加した第２の同期信号を生成する手段を有することを特徴とする。
【０００８】
本発明の画像処理パイプライン回路は、さらに、前記画像入力部の出力が、第１の前記画像処理モジュール及び第１の前記接続モジュールに入力され、
前記第１の画像処理モジュール及び前記第１の接続モジュールの出力が、第２の前記画像処理モジュールに入力され、且つ前記第１の接続モジュールの出力が、第２の前記接続モジュールに入力され、
前記第２の画像処理モジュール及び前記第２の接続モジュールの出力が、第３の前記画像処理モジュールに入力され、
前記第３の画像処理モジュールの出力が、前記画像出力部に入力されることを特徴とする。
【０００９】
本発明の画像処理パイプライン回路は、さらに、前記画像入力部の出力が、第１の前記画像処理モジュール及び第１の前記接続モジュールに入力され、
前記第１の画像処理モジュールの出力が、前記第１の接続モジュールに入力され、
前記第１の接続モジュールの出力が、第２の前記画像処理モジュール及び第２の前記接続モジュールに入力され、
前記第２の画像処理モジュールの出力が、前記第２の接続モジュールに入力され、
前記第２の接続モジュールの出力が、第３の前記画像処理モジュールに入力され、
前記第３の画像処理モジュールの出力が、前記画像出力部に入力されることを特徴とする。
【００１０】
本発明の画像処理パイプライン回路は、さらに、前記画像入力部の出力が、第１の前記画像処理モジュール及び第１の前記接続モジュールに入力され、
前記第１の画像処理モジュールの出力が、前記第１の接続モジュールに入力され、
前記第１の接続モジュールの出力が、第２の前記画像処理モジュール、第２の前記接続モジュール、第４の前記画像処理モジュール及び第４の前記接続モジュールに入力され、
前記第２の画像処理モジュールの出力が、前記第２の接続モジュールに入力され、且つ前記第４の画像処理モジュールの出力が、前記第４の接続モジュールに入力され、
前記第２の接続モジュール及び前記第４の接続モジュールの出力が、第３の前記画像処理モジュールに入力され、
前記第３の画像処理モジュールの出力が、前記画像出力部に入力されることを特徴とする。
【００１１】
本発明の画像処理パイプライン回路の前記接続モジュールは、自ら生成した前記第２の同期信号を基準とする水平および垂直方向の有効範囲信号を生成することを特徴とする。
【００１２】
本発明の画像処理パイプライン回路の複数の前記画像処理モジュールとそれらを接続する前記接続モジュールで構成される画像処理パイプライン回路において、各画素の処理結果を得るまでの遅延時間が、前記画像処理モジュールが持つ遅延量の総和に等しいことを特徴とする。
【００１３】
本発明による画像処理パイプライン回路の前記接続モジュールは前記有効範囲信号を生成する有効範囲信号生成回路を含み、
前記有効範囲信号生成回路は、
任意のビット数からなる有効範囲開始点設定信号と有効範囲長設定信号とが入力されると、該設定信号のいずれかを選択して出力するセレクタと、
前記セレクタから出力される前記各設定信号が示す設定数をカウントダウンするダウンカウンタと、
前記ダウンカウンタから出力される前記各設定数のゼロ信号が入力され、前記有効範囲信号を生成して出力するレジスタとを含むことを特徴とする。
【００１４】
本発明による画像処理パイプライン回路の前記接続モジュールは、前記画像処理モジュールが持つ前記遅延量の総和を付加する総遅延量付加回路をさらに含み、
前記総遅延量付加回路は、水平同期信号が常に一定周期である場合において、
前記画像処理モジュールが持つ水平方向における総遅延量を水平同期信号に付加する水平同期信号遅延回路と、
前記水平同期信号遅延回路から受け取った水平同期信号を基準として、垂直方向における総遅延量を垂直同期信号に付加する垂直同期信号生成回路とを含むことを特徴とする。
【００１５】
本発明による画像処理パイプライン回路の前記接続モジュールは、前記画像処理モジュールが持つ前記遅延量の総和を付加する総遅延量付加回路をさらに含み、
前記総遅延量付加回路は、水平同期信号が一定周期でない場合において、
前記画像処理モジュールの前記水平同期信号の画素クロックをカウントするカウンタと、
前記カウンタの計数値を記憶するメモリと、
前記画像処理モジュールが持つ水平方向及び垂直方向における遅延量から総遅延量を生成する遅延量生成回路と、
前記遅延量生成回路で生成された総遅延量が経過した後、前記メモリから読み出された前記計数値を基に水平同期信号を再成する水平同期信号生成回路と、
前記遅延量生成回路で生成された総遅延量が経過した後、入力された垂直同期信号を出力する垂直同期信号生成回路とを含むことを特徴とする。
【発明の効果】
【００１６】
本発明の画像処理パイプライン回路によれば、連結する２つの画像処理モジュール間の相対的な遅延量のみで接続モジュールが構成できるため、画像処理モジュールと接続モジュールを追加するだけで画像処理機能の追加、削除および順序の変更が可能である。また、同じ画像処理機能を複数回実行するアルゴリズムへの対応や、アルゴリズムに最適化した回路構成が可能となる。
【発明を実施するための最良の形態】
【００１７】
本発明の実施の形態について、図を参照しながら説明する。図１は本発明の画像処理パイプライン回路のブロック図である。図２は本発明の画像処理パイプライン回路のフレームと有効画像領域の対応を表す図である。図３は本発明の図１ｂの詳細な画像処理パイプラインのブロック図である。
【実施例１】
【００１８】
図１ａは、本発明による第１の実施の形態である画像処理パイプライン回路のブロック図である。図１ａは、例えばノイズ除去もしくは画像強調処理を行う場合で、第１の画像処理モジュール１２および第２の画像処理モジュール１３の出力画像のデータ幅が、第２の画像処理モジュール１３および第３の画像処理モジュール１４の入力画像のデータ幅と同じである。
【００１９】
図１ａに示すように、本画像処理パイプライン回路１００では、入力画像データが画像入力部１１から第１の画像処理モジュール１２に送られ、第１の画像処理モジュール１２の出力画像データが処理されたものから順に第２の画像処理モジュール１３へ送られる。以下同様に、第２の画像処理モジュール１３の出力画像データが第３の画像処理モジュール１４へと順次送られて、最後は第３の画像処理モジュール１４の出力画像データが画像出力部１５へと送られる。
【００２０】
このとき、画像処理モジュール１２〜１４が持つ遅延量の分だけ出力画像データは入力画像データに対して遅れが生じる。この遅れに対応するために、第１の接続モジュール１６は画像入力部１１から受け取った第１の同期信号に第１の画像処理モジュール１２が第２の画像処理モジュール１３に対して相対的に持つ遅延量を付加した第２の同期信号を生成し、第２の画像処理モジュール１３と第２の接続モジュール１７に供給する。この第２の同期信号を基に第２の画像処理モジュール１３は、入力が画像入力部１１のときと同様に動作することができる。
【００２１】
同様に、第２の接続モジュール１７は第１の接続モジュール１６の第２の同期信号を第１の同期信号として受け取り、第２の画像処理モジュール１３が第３の画像処理モジュール１４に対して相対的に持つ遅延量を付加した第２の同期信号を生成して第３の画像処理モジュール１４に供給する。従って、第３の画像処理モジュール１４も、第２の接続モジュール１７から受け取った第２の同期信号により、入力が画像入力部１１のときと同様に動作することができる。
【実施例２】
【００２２】
図１ｂは、本発明による第２の実施の形態である画像処理パイプライン回路のブロック図である。図１ｂは、例えばノイズ除去等の前処理後に膨張・収縮もしくはラベリング処理を行う場合で、第１の画像処理モジュール１２および第２の画像処理モジュール１３の出力画像のデータ幅が、第２の画像処理モジュール１３および第３の画像処理モジュール１４の入力画像のデータ幅とそれぞれ異なっている。
【００２３】
図１ｂに示すように、本画像処理パイプライン回路２００では、第１の画像処理モジュール１２および第２の画像処理モジュール１３の出力画像のデータ幅が第２の画像処理モジュール１３および第３の画像処理モジュール１４の入力画像のデータ幅とそれぞれ異なっているため、この整合を取る回路を第１の接続モジュール１６および第２の接続モジュール１７に組み込んでいる。従って、第１の画像処理モジュール１２の出力画像データが第１の接続モジュール１６を経由して第２の画像処理モジュール１３へ、第２の画像処理モジュール１３の出力画像データが第２の接続モジュール１７を経由して第３の画像処理モジュール１４へと送られている。これにより、ノイズ除去等の前処理後に行う膨張・収縮もしくはラベリング処理は遅延によるデータの不整合を生じることなく動作することができる。
【実施例３】
【００２４】
図１ｃは、本発明による第３の実施の形態である画像処理パイプライン回路のブロック図である。図１ｃは、例えば複数画像の差分・加算・比較処理を行う画像間演算のように複数入力を持つ処理を行う場合で、図１ｂの場合と同様に、出力画像のデータ幅と入力画像のデータ幅とがそれぞれ異なっており、且つ、一部で画像データの並列処理が行われている。
【００２５】
図１ｃに示すように、本画像処理パイプライン回路３００では、第１の画像処理モジュール１２の出力画像データが第１の接続モジュール１６を経由して第２の画像処理モジュール１３と第４の画像処理モジュール１８へ送られ、各々の出力画像データがそれぞれ第２の接続モジュール１７と第４の接続モジュール１９を経由して第３の画像処理モジュール１４へと送られている。このとき、第３の画像処理モジュール１４へ供給される同期信号は第２の接続モジュール１７と第４の接続モジュール１９から供給されるもののうち遅延量の多い方を採用する。遅延量の少ない方の画像データは遅延量の多い方に合わせるために接続モジュール内部で遅延量の差分ほど遅延させる。これにより、画像間演算のように複数入力を持つ処理は並列演算においてもデータの不整合を生じることなく動作することができる。
【００２６】
このように、接続モジュールは当該画像処理モジュール間の相対的な情報のみを利用しているため、新たに画像処理機能を追加する場合は、画像処理モジュールと接続モジュールを１つずつ追加するだけで良い。また、接続モジュールに垂直同期信号と水平同期信号が両方含まれている場合は、図２に示すようにフレーム２５に対する入力画像２１の相対位置関係が、フレーム２６と画像処理モジュールの出力画像２２、フレーム２７と画像処理モジュールの出力画像２３、フレーム２８と画像処理モジュールの出力画像２４のように維持されるため、画像処理モジュールを追加する際に上限がない。
【００２７】
図３に本発明の第２の実施の詳細なブロック図を示す。本画像処理パイプライン回路２００では、入力画像の画素データが画像入力部３１のAD/BINから第１の画像処理モジュール３２のAD/BINに送られ、第１の画像処理モジュール３２で処理された画像データが処理されたものから順にOUTから出力されて第１の接続モジュール３６のiAD/iBINに送られ、第１の接続モジュール３６で第１の画像処理モジュール３２の出力画素と第２の画像処理モジュール３３の入力画素のデータ幅の整合を取ってoAD/oBINから出力され、第２の画像処理モジュール３３のAD/BINへ送られる。以下同様に、第２の画像処理モジュール３３のOUTから第２の接続モジュール３７を経由して第３の画像処理モジュール３４のAD/BINへと順次送られて、最後は第３の画像処理モジュール３４の出力画像データとその有効範囲を表す信号がそれぞれOUTとOUT_ENから出力されて画像出力部３５のDATAとDATA_ENへと送られる。
【００２８】
第２の画像処理モジュール３３及び第３の画像処理モジュール３４が入力画像データを処理するために必要とする、フレーム有効範囲を表す信号PRD、水平有効範囲を表す信号XENB、垂直有効範囲を表す信号YENBは、第１の接続モジュール３６及び第２の接続モジュール３７が生成する。第１の接続モジュール３６は、画像入力部３１から垂直同期信号VSYNC、水平同期信号HSYNC、フレーム有効信号PRDを受け取り、第１の画像処理モジュール３２が第２の画像処理モジュール３３に対して相対的に持つ遅延量を付加して、第２の画像処理モジュール３３へフレーム有効信号PRD、水平有効範囲信号XENB、垂直有効範囲信号YENBを出力する。第２の接続モジュール３７は、第１の接続モジュール３６から垂直同期信号oVSYNC、水平同期信号oHSYNC、フレーム有効信号oPRDを受け取り、第２の画像処理モジュール３３が第３の画像処理モジュール３４に対して相対的に持つ遅延量を付加して、第３の画像処理モジュール３４へフレーム有効信号oPRD、水平有効範囲信号oXENB、垂直有効範囲信号oYENBを出力する。相対的遅延量は、水平方向をiLINE、垂直方向をiDOTとして、各画像処理モジュールが持つ遅延量を入力する。
【００２９】
接続モジュールは上記説明に加えて、クロックイネーブル、X座標値、Y座標値の生成や、タイミングの異なる複数の水平有効範囲信号といった具合に同類の信号を複数生成することも可能である。
【００３０】
画像入力部３１は、画像撮像センサ、ビデオ信号ＩＣ、フレームメモリ、ＰＣＩバス、ＩＳＡバス、ＩＥＥＥ１３９４、ＵＳＢ、又はＲＳ２３２Ｃであっても良い。画像出力部３５は、モニタ、ビデオ信号ＩＣ、フレームメモリ、ＰＣＩバス、ＩＳＡバス、ＩＥＥＥ１３９４、ＵＳＢ、又はＲＳ２３２Ｃであっても良い。
【００３１】
図４は、本発明による有効範囲信号生成回路のブロック図である。図４において有効範囲信号生成回路４００の有効範囲信号は、同期信号を有効範囲開始点設定信号及び有効範囲長設定信号で制御することにより作成される。従って同期信号が水平同期信号である場合を説明する。電源投入時においてレジスタ４３、４４はリセットがかけられ、出力端子Ｑは共にローレベルに設定される。セレクタ４１には、任意のビット数からなる有効範囲開始点設定信号及び有効範囲長設定信号が入力され、同期信号がローの時、有効範囲開始点設定信号が選択されて、ダウンカウンタ４２のＤ端子に入力される。有効範囲開始点設定信号は、ダウンカウンタ４２のロード端子ＬＤがハイレベルで取り込まれ、カウントダウンされる。ダウンカウンタ４２の出力端子Ｑは任意のビット数分の端子を有し、リップルキャリー出力端子ＲＣは出力端子Ｑの全端子の論理和を取って反転したものが出力される。
【００３２】
ダウンカウンタ４２で設定信号がカウントダウンされ、出力端子Ｑの任意のビット数分の端子がすべてローレベルになると、リップルキャリー出力端子ＲＣからハイレベルが出力される。このハイレベル信号は、イネーブル信号としてレジスタ４４のイネーブル端子ＥＮへ入力されると共に、同期信号の反転信号との論理和が取られて、レジスタ４３のイネーブル端子ＥＮへ入力される。レジスタ４３の出力端子Ｑは初期状態でローレベルにあるが、同期信号の反転信号がデータ端子Ｄとイネーブル端子ＥＮに加わることによりハイレベルとなり、レジスタ４４のデータ端子Ｄをハイレベルに設定している。従って前述したイネーブル信号により出力端子Ｑはハイレベルへ遷移し、有効範囲の開始点となる。
【００３３】
レジスタ４３にイネーブル信号が入力された時点では、既にデータ端子Ｄに加わっている同期信号の反転信号はハイからローレベルへ遷移しているため、このレベルが取り込まれ出力端子Ｑはローレベルへ遷移する。次に同期信号がハイレベルになると、セレクタ４１は有効範囲長設定信号を選択し、同様のプロセスでイネーブル信号が生成される。このイネーブル信号によりレジスタ４４のデータ端子Ｄのローレベルが取り込まれ、出力端子Ｑはローレベルへ遷移して有効範囲の終点となる。以上のプロセスがクロック信号ＣＬＫによるタイミングで繰り返し進行し、１ライン分の有効範囲が次々と生成されていく。
【００３４】
以上、同期信号が水平同期信号である場合を説明したが、同期信号を垂直同期信号に、クロック信号ＣＬＫを水平同期信号に変えることで、垂直方向の有効範囲信号生成回路となる。有効範囲の設定には、水平及び垂直方向の有効範囲開始点設定信号及び有効範囲長設定信号として、開始点までのドット数又はライン数及び有効範囲長としてのドット数又はライン数がそれぞれ与えられる。本回路は、従来の比較器を用いた構成に比べて回路構成が簡単であるため、設計工数が少なくて済む。また、レジスタ４３の出力端子Ｑを、初期設定のローレベルから同期信号の反転信号でハイレベルとし、再びイネーブル信号が入力された時点でローレベルへ遷移させることにより、有効範囲開始点と有効範囲長の設定値が共に小さい値であっても、正常な動作が可能となる。
【００３５】
図５ａは、本発明による水平同期信号が常に一定周期である場合の総遅延量付加回路のブロック図とそのタイミングチャートである。水平同期信号が常に一定周期であるため、単一回路内で必要とする遅延量を水平同期に付加することができる。このため総遅延量付加回路５００は、水平同期信号遅延回路５１と垂直同期信号生成回路５２とから構成される。水平同期信号遅延回路５１はレジスタまたはメモリ等のデータ保持機能を持ち、水平方向の所定の画素数分の遅れ量が水平方向遅延量として入力され、保持されると共に、水平同期信号に付加されて出力される。垂直同期信号生成回路５２は、入力された垂直方向遅延量を垂直同期信号に付加するが、垂直方向遅延量は水平同期信号のラインの数とし、水平同期信号遅延回路５１から受け取った水平同期信号を基準として生成される。これにより総遅延量付加回路５００は、画像処理モジュールの処理内容に応じた遅延量と等しい遅延量を、各同期信号に付加することができる。
【００３６】
図５ａのタイミングチャートに見られるように、水平同期信号が常に一定周期であるため、第１の水平同期信号に対して一定の水平方向遅延量が付加されて、第２の水平同期信号が生成される。また、第１の垂直同期信号に対して、水平同期信号の１ライン分の遅れ量に一定の水平同期遅延量が付加されて第２の垂直同期信号が生成される。
【００３７】
図５ｂは、本発明による水平同期信号が一定周期でない場合の総遅延量付加回路のブロック図とそのタイミングチャートである。一定周期でない水平同期信号に対応するため総遅延量の経過に続いて、一定周期でない水平同期信号の再現と垂直同期信号の出力を行う必要がある。このため総遅延量付加回路５１０は、カウンタ５３とメモリ５４と遅延量生成回路５５と水平同期信号生成回路５６と垂直同期信号生成回路５７とから構成される。図５ｂにおいて、カウンタ５３は第１の水平同期信号の画素クロックをカウントし、メモリ５４は、カウンタ５３がカウントした計数値を記憶する。遅延量生成回路５５は、画像処理モジュールの水平方向の遅延量を示すドット数と垂直方向における遅延量を示すライン数が入力されると、その値を基に総遅延量を生成する。水平同期信号生成回路５６は、遅延量生成回路５５で生成された総遅延量を入力し、総遅延量の時間が経過すると、メモリ５４から読み出された計数値を基に入力された水平同期信号と同じ波形を生成し、第２の水平同期信号として出力する。垂直同期信号生成回路５７は、同様に入力した総遅延量の時間が経過すると、入力された第１の垂直同期信号を第２の垂直同期信号として、出力を開始する。これにより総遅延量付加回路５１０は、画像処理モジュールの処理内容に応じた遅延量と等しい遅延量を、各同期信号に付加することができる。
【００３８】
図５ｂの上半分のタイミングチャートに見られるように、一定周期でない水平同期信号を再現するため、第１の水平同期信号の各ハイレベルとローレベルの間隔は、カウンタにより一定のクロックでサンプリングカウントされる。このカウントされた各レベルのカウント値はメモリに書き込まれ保存される。総遅延量の時間が経過すると、記憶されたカウント値がメモリから読み出され、第２の水平同期信号として再現される。第１の垂直同期信号は、総遅延量の時間が経過すると第２の垂直同期信号として出力される。下半分においては、このプロセスのタイミングの拡大チャートが示されており、第１の水平同期信号のハイレベルのサンプルカウント数３０、ローレベルのサンプルカウント数４００等の数値が記憶され、総遅延量の時間の経過後、再度読み出されて第２の水平同期信号として再現されている。
【図面の簡単な説明】
【００３９】
【図１】ａ〜ｃは、本発明による画像処理パイプライン回路のブロック図である。
【図２】本発明の画像処理パイプライン回路のフレームと有効画像領域の対応を表す図である。
【図３】本発明の第2の実施の形態である画像処理パイプライン回路の詳細ブロック図である。
【図４】本発明による有効範囲信号生成回路のブロック図である。
【図５ａ】本発明による総遅延量付加回路のブロック図である。
【図５ｂ】本発明による総遅延量付加回路のブロック図である。
【図６】従来の画像処理パイプライン回路のブロック図である。
【図７】従来の画像処理パイプライン回路のフレームと有効画像領域の対応を表す図である。
【図８】従来の画像処理パイプライン回路のブロック図である。
【符号の説明】
【００４０】
１１、３１ 画像入力部
１２、３２ 第１の画像処理モジュール
１３、３３ 第２の画像処理モジュール
１４、３４ 第３の画像処理モジュール
１５、３５ 画像出力部
１６、３６ 第１の接続モジュール
１７、３７ 第２の接続モジュール
１８ 第４の画像処理モジュール
１９ 第４の接続モジュール
２１ 入力画像の有効範囲
２２〜２４ 出力画像の有効範囲
２５〜２８ フレームの有効範囲
４１ セレクタ
４２ ダウンカウンタ
４３、４４ レジスタ
５１ 水平同期信号遅延回路
５２、５７ 垂直同期信号生成回路
５３ カウンタ
５４ メモリ
５５ 遅延量生成回路
５６ 水平同期信号生成回路
１００、２００、３００ 画像処理パイプライン回路
４００ 有効範囲信号生成回路
５００、５１０ 総遅延量付加回路
Ｄ データ端子
ＬＤ ロード端子
ＣＬＫ クロック端子
ＲＣ リップルキャリー出力端子
Ｑ 出力端子
ＥＮ イネーブル端子
【技術分野】
【０００１】
本発明は、画像処理機能の簡単な追加、削除および順序の変更に関し、詳しくは、画像処理パイプライン回路に関する。
【背景技術】
【０００２】
画像処理アルゴリズムは画像処理対象物によって千差万別であり、必要な画像処理機能の種類と処理順序も同様に千差万別である。画像処理パイプライン回路は、画像処理アルゴリズムに応じて複数の画像処理機能を組み合わせて構成する。例えば特許文献１においては、図６に示すように、入力画像データが画像入力部６１から画像処理モジュール６２に送られ、画像処理モジュール６２の出力画像データが画像処理モジュール６３へ、画像処理モジュール６３の出力画像データが画像処理モジュール６４へと順次送られて、最後は画像処理モジュール６４の出力画像データが画像出力部６５へと送られる。主接続モジュール６６は、画像処理モジュール６２〜６４が持つ遅延量に応じた水平同期信号を生成している。副接続モジュール６７〜６９は、主接続モジュール６６が生成した水平同期信号を元に、画像処理モジュール６２〜６４が必要とする有効画像領域の有効範囲信号を生成している。
【０００３】
また、特許文献２においては、図８に示すように、予めプロセッシング・モジュールＰＭ（＃１〜＃６）とイメージ・メモリＩＭ（＃７〜＃１０）とディレイ・モジュールＤＭ（＃１１及び＃１２）とネットワーク回路とを実装しておき、結合を制御することで画像処理アルゴリズムの変更に対応している。
【特許文献１】特開２０００−１７２８３４
【特許文献２】特開昭６１−１３３７９
【発明の開示】
【発明が解決しようとする課題】
【０００４】
図６においては、画像処理機能の追加、削除および順序の変更を行うと、画像処理モジュール６２〜６４以外に周辺回路である主接続モジュール６６と副接続モジュール６７〜６９の設計変更が必要になるという問題がある。さらに、画像処理モジュールには、例えば当該画素とその近傍を合わせた３×３の画素というように、当該画素に対する画像処理結果を求めるためにその周囲の画素データを必要とするものがある。この場合、処理結果を得るために次のラインの画素データが必要であり、処理結果が得られるのは次のラインということになる。つまり、画像処理モジュールが水平方向だけでなく垂直方向にも遅延を持つことになる。
【０００５】
図６において、このような垂直方向に遅延を持つ画像処理モジュールの数が増えると、図７に示すように、有効画像領域７３、７４がフレーム７７、７８の範囲を超えて下にはみ出してしまうことになる。この場合、正常な処理が行われないため、画像処理パイプラインの段数に制約が生じてしまうという問題がある。また、図８においても、図６の場合と同様に垂直方向への遅延に対して対応できないという問題がある。また、使用目的に応じては、必要としない機能を実装していることとなる場合があり、回路規模の増大とみなされる場合がある。さらに、画像の膨張操作などで行われる同じ処理を複数回行う場合には、同じ処理機能を持つ画像処理モジュールを複数個、事前に持たせておく必要がある。従って図８方法は、同一機能を複数回行う場合の処理において、機能の柔軟性に問題がある。
【０００６】
本発明は、このような従来技術の問題点を解決しようとするものであり、画像処理機能の追加、削除および順序の変更を、画像処理モジュールと接続モジュールのみで行い、パイプライン段数に制約のない画像処理パイプライン回路を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の画像処理パイプライン回路は、少なくとも１つの画像入力部と、複数の画像処理モジュールと、一方の出力が他方の入力となる２つの前記画像処理モジュールを連結する少なくとも１つの接続モジュールと、少なくとも１つの画像出力部とからなる画像処理パイプライン回路であって、
前記接続モジュールが垂直同期信号と水平同期信号のいずれか１つもしくは両方を第１の同期信号として受け取り、前記第１の同期信号に前記接続モジュールが連結する２つの前記画像処理モジュール間の相対的な遅延量を付加した第２の同期信号を生成する手段を有することを特徴とする。
【０００８】
本発明の画像処理パイプライン回路は、さらに、前記画像入力部の出力が、第１の前記画像処理モジュール及び第１の前記接続モジュールに入力され、
前記第１の画像処理モジュール及び前記第１の接続モジュールの出力が、第２の前記画像処理モジュールに入力され、且つ前記第１の接続モジュールの出力が、第２の前記接続モジュールに入力され、
前記第２の画像処理モジュール及び前記第２の接続モジュールの出力が、第３の前記画像処理モジュールに入力され、
前記第３の画像処理モジュールの出力が、前記画像出力部に入力されることを特徴とする。
【０００９】
本発明の画像処理パイプライン回路は、さらに、前記画像入力部の出力が、第１の前記画像処理モジュール及び第１の前記接続モジュールに入力され、
前記第１の画像処理モジュールの出力が、前記第１の接続モジュールに入力され、
前記第１の接続モジュールの出力が、第２の前記画像処理モジュール及び第２の前記接続モジュールに入力され、
前記第２の画像処理モジュールの出力が、前記第２の接続モジュールに入力され、
前記第２の接続モジュールの出力が、第３の前記画像処理モジュールに入力され、
前記第３の画像処理モジュールの出力が、前記画像出力部に入力されることを特徴とする。
【００１０】
本発明の画像処理パイプライン回路は、さらに、前記画像入力部の出力が、第１の前記画像処理モジュール及び第１の前記接続モジュールに入力され、
前記第１の画像処理モジュールの出力が、前記第１の接続モジュールに入力され、
前記第１の接続モジュールの出力が、第２の前記画像処理モジュール、第２の前記接続モジュール、第４の前記画像処理モジュール及び第４の前記接続モジュールに入力され、
前記第２の画像処理モジュールの出力が、前記第２の接続モジュールに入力され、且つ前記第４の画像処理モジュールの出力が、前記第４の接続モジュールに入力され、
前記第２の接続モジュール及び前記第４の接続モジュールの出力が、第３の前記画像処理モジュールに入力され、
前記第３の画像処理モジュールの出力が、前記画像出力部に入力されることを特徴とする。
【００１１】
本発明の画像処理パイプライン回路の前記接続モジュールは、自ら生成した前記第２の同期信号を基準とする水平および垂直方向の有効範囲信号を生成することを特徴とする。
【００１２】
本発明の画像処理パイプライン回路の複数の前記画像処理モジュールとそれらを接続する前記接続モジュールで構成される画像処理パイプライン回路において、各画素の処理結果を得るまでの遅延時間が、前記画像処理モジュールが持つ遅延量の総和に等しいことを特徴とする。
【００１３】
本発明による画像処理パイプライン回路の前記接続モジュールは前記有効範囲信号を生成する有効範囲信号生成回路を含み、
前記有効範囲信号生成回路は、
任意のビット数からなる有効範囲開始点設定信号と有効範囲長設定信号とが入力されると、該設定信号のいずれかを選択して出力するセレクタと、
前記セレクタから出力される前記各設定信号が示す設定数をカウントダウンするダウンカウンタと、
前記ダウンカウンタから出力される前記各設定数のゼロ信号が入力され、前記有効範囲信号を生成して出力するレジスタとを含むことを特徴とする。
【００１４】
本発明による画像処理パイプライン回路の前記接続モジュールは、前記画像処理モジュールが持つ前記遅延量の総和を付加する総遅延量付加回路をさらに含み、
前記総遅延量付加回路は、水平同期信号が常に一定周期である場合において、
前記画像処理モジュールが持つ水平方向における総遅延量を水平同期信号に付加する水平同期信号遅延回路と、
前記水平同期信号遅延回路から受け取った水平同期信号を基準として、垂直方向における総遅延量を垂直同期信号に付加する垂直同期信号生成回路とを含むことを特徴とする。
【００１５】
本発明による画像処理パイプライン回路の前記接続モジュールは、前記画像処理モジュールが持つ前記遅延量の総和を付加する総遅延量付加回路をさらに含み、
前記総遅延量付加回路は、水平同期信号が一定周期でない場合において、
前記画像処理モジュールの前記水平同期信号の画素クロックをカウントするカウンタと、
前記カウンタの計数値を記憶するメモリと、
前記画像処理モジュールが持つ水平方向及び垂直方向における遅延量から総遅延量を生成する遅延量生成回路と、
前記遅延量生成回路で生成された総遅延量が経過した後、前記メモリから読み出された前記計数値を基に水平同期信号を再成する水平同期信号生成回路と、
前記遅延量生成回路で生成された総遅延量が経過した後、入力された垂直同期信号を出力する垂直同期信号生成回路とを含むことを特徴とする。
【発明の効果】
【００１６】
本発明の画像処理パイプライン回路によれば、連結する２つの画像処理モジュール間の相対的な遅延量のみで接続モジュールが構成できるため、画像処理モジュールと接続モジュールを追加するだけで画像処理機能の追加、削除および順序の変更が可能である。また、同じ画像処理機能を複数回実行するアルゴリズムへの対応や、アルゴリズムに最適化した回路構成が可能となる。
【発明を実施するための最良の形態】
【００１７】
本発明の実施の形態について、図を参照しながら説明する。図１は本発明の画像処理パイプライン回路のブロック図である。図２は本発明の画像処理パイプライン回路のフレームと有効画像領域の対応を表す図である。図３は本発明の図１ｂの詳細な画像処理パイプラインのブロック図である。
【実施例１】
【００１８】
図１ａは、本発明による第１の実施の形態である画像処理パイプライン回路のブロック図である。図１ａは、例えばノイズ除去もしくは画像強調処理を行う場合で、第１の画像処理モジュール１２および第２の画像処理モジュール１３の出力画像のデータ幅が、第２の画像処理モジュール１３および第３の画像処理モジュール１４の入力画像のデータ幅と同じである。
【００１９】
図１ａに示すように、本画像処理パイプライン回路１００では、入力画像データが画像入力部１１から第１の画像処理モジュール１２に送られ、第１の画像処理モジュール１２の出力画像データが処理されたものから順に第２の画像処理モジュール１３へ送られる。以下同様に、第２の画像処理モジュール１３の出力画像データが第３の画像処理モジュール１４へと順次送られて、最後は第３の画像処理モジュール１４の出力画像データが画像出力部１５へと送られる。
【００２０】
このとき、画像処理モジュール１２〜１４が持つ遅延量の分だけ出力画像データは入力画像データに対して遅れが生じる。この遅れに対応するために、第１の接続モジュール１６は画像入力部１１から受け取った第１の同期信号に第１の画像処理モジュール１２が第２の画像処理モジュール１３に対して相対的に持つ遅延量を付加した第２の同期信号を生成し、第２の画像処理モジュール１３と第２の接続モジュール１７に供給する。この第２の同期信号を基に第２の画像処理モジュール１３は、入力が画像入力部１１のときと同様に動作することができる。
【００２１】
同様に、第２の接続モジュール１７は第１の接続モジュール１６の第２の同期信号を第１の同期信号として受け取り、第２の画像処理モジュール１３が第３の画像処理モジュール１４に対して相対的に持つ遅延量を付加した第２の同期信号を生成して第３の画像処理モジュール１４に供給する。従って、第３の画像処理モジュール１４も、第２の接続モジュール１７から受け取った第２の同期信号により、入力が画像入力部１１のときと同様に動作することができる。
【実施例２】
【００２２】
図１ｂは、本発明による第２の実施の形態である画像処理パイプライン回路のブロック図である。図１ｂは、例えばノイズ除去等の前処理後に膨張・収縮もしくはラベリング処理を行う場合で、第１の画像処理モジュール１２および第２の画像処理モジュール１３の出力画像のデータ幅が、第２の画像処理モジュール１３および第３の画像処理モジュール１４の入力画像のデータ幅とそれぞれ異なっている。
【００２３】
図１ｂに示すように、本画像処理パイプライン回路２００では、第１の画像処理モジュール１２および第２の画像処理モジュール１３の出力画像のデータ幅が第２の画像処理モジュール１３および第３の画像処理モジュール１４の入力画像のデータ幅とそれぞれ異なっているため、この整合を取る回路を第１の接続モジュール１６および第２の接続モジュール１７に組み込んでいる。従って、第１の画像処理モジュール１２の出力画像データが第１の接続モジュール１６を経由して第２の画像処理モジュール１３へ、第２の画像処理モジュール１３の出力画像データが第２の接続モジュール１７を経由して第３の画像処理モジュール１４へと送られている。これにより、ノイズ除去等の前処理後に行う膨張・収縮もしくはラベリング処理は遅延によるデータの不整合を生じることなく動作することができる。
【実施例３】
【００２４】
図１ｃは、本発明による第３の実施の形態である画像処理パイプライン回路のブロック図である。図１ｃは、例えば複数画像の差分・加算・比較処理を行う画像間演算のように複数入力を持つ処理を行う場合で、図１ｂの場合と同様に、出力画像のデータ幅と入力画像のデータ幅とがそれぞれ異なっており、且つ、一部で画像データの並列処理が行われている。
【００２５】
図１ｃに示すように、本画像処理パイプライン回路３００では、第１の画像処理モジュール１２の出力画像データが第１の接続モジュール１６を経由して第２の画像処理モジュール１３と第４の画像処理モジュール１８へ送られ、各々の出力画像データがそれぞれ第２の接続モジュール１７と第４の接続モジュール１９を経由して第３の画像処理モジュール１４へと送られている。このとき、第３の画像処理モジュール１４へ供給される同期信号は第２の接続モジュール１７と第４の接続モジュール１９から供給されるもののうち遅延量の多い方を採用する。遅延量の少ない方の画像データは遅延量の多い方に合わせるために接続モジュール内部で遅延量の差分ほど遅延させる。これにより、画像間演算のように複数入力を持つ処理は並列演算においてもデータの不整合を生じることなく動作することができる。
【００２６】
このように、接続モジュールは当該画像処理モジュール間の相対的な情報のみを利用しているため、新たに画像処理機能を追加する場合は、画像処理モジュールと接続モジュールを１つずつ追加するだけで良い。また、接続モジュールに垂直同期信号と水平同期信号が両方含まれている場合は、図２に示すようにフレーム２５に対する入力画像２１の相対位置関係が、フレーム２６と画像処理モジュールの出力画像２２、フレーム２７と画像処理モジュールの出力画像２３、フレーム２８と画像処理モジュールの出力画像２４のように維持されるため、画像処理モジュールを追加する際に上限がない。
【００２７】
図３に本発明の第２の実施の詳細なブロック図を示す。本画像処理パイプライン回路２００では、入力画像の画素データが画像入力部３１のAD/BINから第１の画像処理モジュール３２のAD/BINに送られ、第１の画像処理モジュール３２で処理された画像データが処理されたものから順にOUTから出力されて第１の接続モジュール３６のiAD/iBINに送られ、第１の接続モジュール３６で第１の画像処理モジュール３２の出力画素と第２の画像処理モジュール３３の入力画素のデータ幅の整合を取ってoAD/oBINから出力され、第２の画像処理モジュール３３のAD/BINへ送られる。以下同様に、第２の画像処理モジュール３３のOUTから第２の接続モジュール３７を経由して第３の画像処理モジュール３４のAD/BINへと順次送られて、最後は第３の画像処理モジュール３４の出力画像データとその有効範囲を表す信号がそれぞれOUTとOUT_ENから出力されて画像出力部３５のDATAとDATA_ENへと送られる。
【００２８】
第２の画像処理モジュール３３及び第３の画像処理モジュール３４が入力画像データを処理するために必要とする、フレーム有効範囲を表す信号PRD、水平有効範囲を表す信号XENB、垂直有効範囲を表す信号YENBは、第１の接続モジュール３６及び第２の接続モジュール３７が生成する。第１の接続モジュール３６は、画像入力部３１から垂直同期信号VSYNC、水平同期信号HSYNC、フレーム有効信号PRDを受け取り、第１の画像処理モジュール３２が第２の画像処理モジュール３３に対して相対的に持つ遅延量を付加して、第２の画像処理モジュール３３へフレーム有効信号PRD、水平有効範囲信号XENB、垂直有効範囲信号YENBを出力する。第２の接続モジュール３７は、第１の接続モジュール３６から垂直同期信号oVSYNC、水平同期信号oHSYNC、フレーム有効信号oPRDを受け取り、第２の画像処理モジュール３３が第３の画像処理モジュール３４に対して相対的に持つ遅延量を付加して、第３の画像処理モジュール３４へフレーム有効信号oPRD、水平有効範囲信号oXENB、垂直有効範囲信号oYENBを出力する。相対的遅延量は、水平方向をiLINE、垂直方向をiDOTとして、各画像処理モジュールが持つ遅延量を入力する。
【００２９】
接続モジュールは上記説明に加えて、クロックイネーブル、X座標値、Y座標値の生成や、タイミングの異なる複数の水平有効範囲信号といった具合に同類の信号を複数生成することも可能である。
【００３０】
画像入力部３１は、画像撮像センサ、ビデオ信号ＩＣ、フレームメモリ、ＰＣＩバス、ＩＳＡバス、ＩＥＥＥ１３９４、ＵＳＢ、又はＲＳ２３２Ｃであっても良い。画像出力部３５は、モニタ、ビデオ信号ＩＣ、フレームメモリ、ＰＣＩバス、ＩＳＡバス、ＩＥＥＥ１３９４、ＵＳＢ、又はＲＳ２３２Ｃであっても良い。
【００３１】
図４は、本発明による有効範囲信号生成回路のブロック図である。図４において有効範囲信号生成回路４００の有効範囲信号は、同期信号を有効範囲開始点設定信号及び有効範囲長設定信号で制御することにより作成される。従って同期信号が水平同期信号である場合を説明する。電源投入時においてレジスタ４３、４４はリセットがかけられ、出力端子Ｑは共にローレベルに設定される。セレクタ４１には、任意のビット数からなる有効範囲開始点設定信号及び有効範囲長設定信号が入力され、同期信号がローの時、有効範囲開始点設定信号が選択されて、ダウンカウンタ４２のＤ端子に入力される。有効範囲開始点設定信号は、ダウンカウンタ４２のロード端子ＬＤがハイレベルで取り込まれ、カウントダウンされる。ダウンカウンタ４２の出力端子Ｑは任意のビット数分の端子を有し、リップルキャリー出力端子ＲＣは出力端子Ｑの全端子の論理和を取って反転したものが出力される。
【００３２】
ダウンカウンタ４２で設定信号がカウントダウンされ、出力端子Ｑの任意のビット数分の端子がすべてローレベルになると、リップルキャリー出力端子ＲＣからハイレベルが出力される。このハイレベル信号は、イネーブル信号としてレジスタ４４のイネーブル端子ＥＮへ入力されると共に、同期信号の反転信号との論理和が取られて、レジスタ４３のイネーブル端子ＥＮへ入力される。レジスタ４３の出力端子Ｑは初期状態でローレベルにあるが、同期信号の反転信号がデータ端子Ｄとイネーブル端子ＥＮに加わることによりハイレベルとなり、レジスタ４４のデータ端子Ｄをハイレベルに設定している。従って前述したイネーブル信号により出力端子Ｑはハイレベルへ遷移し、有効範囲の開始点となる。
【００３３】
レジスタ４３にイネーブル信号が入力された時点では、既にデータ端子Ｄに加わっている同期信号の反転信号はハイからローレベルへ遷移しているため、このレベルが取り込まれ出力端子Ｑはローレベルへ遷移する。次に同期信号がハイレベルになると、セレクタ４１は有効範囲長設定信号を選択し、同様のプロセスでイネーブル信号が生成される。このイネーブル信号によりレジスタ４４のデータ端子Ｄのローレベルが取り込まれ、出力端子Ｑはローレベルへ遷移して有効範囲の終点となる。以上のプロセスがクロック信号ＣＬＫによるタイミングで繰り返し進行し、１ライン分の有効範囲が次々と生成されていく。
【００３４】
以上、同期信号が水平同期信号である場合を説明したが、同期信号を垂直同期信号に、クロック信号ＣＬＫを水平同期信号に変えることで、垂直方向の有効範囲信号生成回路となる。有効範囲の設定には、水平及び垂直方向の有効範囲開始点設定信号及び有効範囲長設定信号として、開始点までのドット数又はライン数及び有効範囲長としてのドット数又はライン数がそれぞれ与えられる。本回路は、従来の比較器を用いた構成に比べて回路構成が簡単であるため、設計工数が少なくて済む。また、レジスタ４３の出力端子Ｑを、初期設定のローレベルから同期信号の反転信号でハイレベルとし、再びイネーブル信号が入力された時点でローレベルへ遷移させることにより、有効範囲開始点と有効範囲長の設定値が共に小さい値であっても、正常な動作が可能となる。
【００３５】
図５ａは、本発明による水平同期信号が常に一定周期である場合の総遅延量付加回路のブロック図とそのタイミングチャートである。水平同期信号が常に一定周期であるため、単一回路内で必要とする遅延量を水平同期に付加することができる。このため総遅延量付加回路５００は、水平同期信号遅延回路５１と垂直同期信号生成回路５２とから構成される。水平同期信号遅延回路５１はレジスタまたはメモリ等のデータ保持機能を持ち、水平方向の所定の画素数分の遅れ量が水平方向遅延量として入力され、保持されると共に、水平同期信号に付加されて出力される。垂直同期信号生成回路５２は、入力された垂直方向遅延量を垂直同期信号に付加するが、垂直方向遅延量は水平同期信号のラインの数とし、水平同期信号遅延回路５１から受け取った水平同期信号を基準として生成される。これにより総遅延量付加回路５００は、画像処理モジュールの処理内容に応じた遅延量と等しい遅延量を、各同期信号に付加することができる。
【００３６】
図５ａのタイミングチャートに見られるように、水平同期信号が常に一定周期であるため、第１の水平同期信号に対して一定の水平方向遅延量が付加されて、第２の水平同期信号が生成される。また、第１の垂直同期信号に対して、水平同期信号の１ライン分の遅れ量に一定の水平同期遅延量が付加されて第２の垂直同期信号が生成される。
【００３７】
図５ｂは、本発明による水平同期信号が一定周期でない場合の総遅延量付加回路のブロック図とそのタイミングチャートである。一定周期でない水平同期信号に対応するため総遅延量の経過に続いて、一定周期でない水平同期信号の再現と垂直同期信号の出力を行う必要がある。このため総遅延量付加回路５１０は、カウンタ５３とメモリ５４と遅延量生成回路５５と水平同期信号生成回路５６と垂直同期信号生成回路５７とから構成される。図５ｂにおいて、カウンタ５３は第１の水平同期信号の画素クロックをカウントし、メモリ５４は、カウンタ５３がカウントした計数値を記憶する。遅延量生成回路５５は、画像処理モジュールの水平方向の遅延量を示すドット数と垂直方向における遅延量を示すライン数が入力されると、その値を基に総遅延量を生成する。水平同期信号生成回路５６は、遅延量生成回路５５で生成された総遅延量を入力し、総遅延量の時間が経過すると、メモリ５４から読み出された計数値を基に入力された水平同期信号と同じ波形を生成し、第２の水平同期信号として出力する。垂直同期信号生成回路５７は、同様に入力した総遅延量の時間が経過すると、入力された第１の垂直同期信号を第２の垂直同期信号として、出力を開始する。これにより総遅延量付加回路５１０は、画像処理モジュールの処理内容に応じた遅延量と等しい遅延量を、各同期信号に付加することができる。
【００３８】
図５ｂの上半分のタイミングチャートに見られるように、一定周期でない水平同期信号を再現するため、第１の水平同期信号の各ハイレベルとローレベルの間隔は、カウンタにより一定のクロックでサンプリングカウントされる。このカウントされた各レベルのカウント値はメモリに書き込まれ保存される。総遅延量の時間が経過すると、記憶されたカウント値がメモリから読み出され、第２の水平同期信号として再現される。第１の垂直同期信号は、総遅延量の時間が経過すると第２の垂直同期信号として出力される。下半分においては、このプロセスのタイミングの拡大チャートが示されており、第１の水平同期信号のハイレベルのサンプルカウント数３０、ローレベルのサンプルカウント数４００等の数値が記憶され、総遅延量の時間の経過後、再度読み出されて第２の水平同期信号として再現されている。
【図面の簡単な説明】
【００３９】
【図１】ａ〜ｃは、本発明による画像処理パイプライン回路のブロック図である。
【図２】本発明の画像処理パイプライン回路のフレームと有効画像領域の対応を表す図である。
【図３】本発明の第2の実施の形態である画像処理パイプライン回路の詳細ブロック図である。
【図４】本発明による有効範囲信号生成回路のブロック図である。
【図５ａ】本発明による総遅延量付加回路のブロック図である。
【図５ｂ】本発明による総遅延量付加回路のブロック図である。
【図６】従来の画像処理パイプライン回路のブロック図である。
【図７】従来の画像処理パイプライン回路のフレームと有効画像領域の対応を表す図である。
【図８】従来の画像処理パイプライン回路のブロック図である。
【符号の説明】
【００４０】
１１、３１ 画像入力部
１２、３２ 第１の画像処理モジュール
１３、３３ 第２の画像処理モジュール
１４、３４ 第３の画像処理モジュール
１５、３５ 画像出力部
１６、３６ 第１の接続モジュール
１７、３７ 第２の接続モジュール
１８ 第４の画像処理モジュール
１９ 第４の接続モジュール
２１ 入力画像の有効範囲
２２〜２４ 出力画像の有効範囲
２５〜２８ フレームの有効範囲
４１ セレクタ
４２ ダウンカウンタ
４３、４４ レジスタ
５１ 水平同期信号遅延回路
５２、５７ 垂直同期信号生成回路
５３ カウンタ
５４ メモリ
５５ 遅延量生成回路
５６ 水平同期信号生成回路
１００、２００、３００ 画像処理パイプライン回路
４００ 有効範囲信号生成回路
５００、５１０ 総遅延量付加回路
Ｄ データ端子
ＬＤ ロード端子
ＣＬＫ クロック端子
ＲＣ リップルキャリー出力端子
Ｑ 出力端子
ＥＮ イネーブル端子
【特許請求の範囲】
【請求項１】
少なくとも１つの画像入力部と、複数の画像処理モジュールと、一方の出力が他方の入力となる２つの前記画像処理モジュールを連結する少なくとも１つの接続モジュールと、少なくとも１つの画像出力部とからなる画像処理パイプライン回路であって、
前記接続モジュールが垂直同期信号と水平同期信号のいずれか１つもしくは両方を第１の同期信号として受け取り、前記第１の同期信号に前記接続モジュールが連結する２つの前記画像処理モジュール間の相対的な遅延量を付加した第２の同期信号を生成する手段を有することを特徴とする画像処理パイプライン回路。
【請求項２】
前記画像入力部の出力が、第１の前記画像処理モジュール及び第１の前記接続モジュールに入力され、
前記第１の画像処理モジュール及び前記第１の接続モジュールの出力が、第２の前記画像処理モジュールに入力され、且つ前記第１の接続モジュールの出力が、第２の前記接続モジュールに入力され、
前記第２の画像処理モジュール及び前記第２の接続モジュールの出力が、第３の前記画像処理モジュールに入力され、
前記第３の画像処理モジュールの出力が、前記画像出力部に入力されることを特徴とする請求項１に記載の画像処理パイプライン回路。
【請求項３】
前記画像入力部の出力が、第１の前記画像処理モジュール及び第１の前記接続モジュールに入力され、
前記第１の画像処理モジュールの出力が、前記第１の接続モジュールに入力され、
前記第１の接続モジュールの出力が、第２の前記画像処理モジュール及び第２の前記接続モジュールに入力され、
前記第２の画像処理モジュールの出力が、前記第２の接続モジュールに入力され、
前記第２の接続モジュールの出力が、第３の前記画像処理モジュールに入力され、
前記第３の画像処理モジュールの出力が、前記画像出力部に入力されることを特徴とする請求項１に記載の画像処理パイプライン回路。
【請求項４】
前記画像入力部の出力が、第１の前記画像処理モジュール及び第１の前記接続モジュールに入力され、
前記第１の画像処理モジュールの出力が、前記第１の接続モジュールに入力され、
前記第１の接続モジュールの出力が、第２の前記画像処理モジュール、第２の前記接続モジュール、第４の前記画像処理モジュール及び第４の前記接続モジュールに入力され、
前記第２の画像処理モジュールの出力が、前記第２の接続モジュールに入力され、且つ前記第４の画像処理モジュールの出力が、前記第４の接続モジュールに入力され、
前記第２の接続モジュール及び前記第４の接続モジュールの出力が、第３の前記画像処理モジュールに入力され、
前記第３の画像処理モジュールの出力が、前記画像出力部に入力されることを特徴とする請求項１に記載の画像処理パイプライン回路。
【請求項５】
前記接続モジュールは、自ら生成した前記第２の同期信号を基準とする１つもしくは複数の水平および垂直方向の有効範囲信号を生成することを特徴とする請求項１乃至４のいずれかに記載の画像処理パイプライン回路。
【請求項６】
複数の前記画像処理モジュールとそれらを接続する前記接続モジュールで構成される画像処理パイプライン回路において、各画素の処理結果を得るまでの遅延時間が、前記画像処理モジュールが持つ遅延量の総和に等しいことを特徴とする請求項１乃至５のいずれかに記載の画像処理パイプライン回路。
【請求項７】
前記接続モジュールは前記有効範囲信号を生成する有効範囲信号生成回路を含み、
前記有効範囲信号生成回路は、
任意のビット数からなる有効範囲開始点設定信号と有効範囲長設定信号とが入力されると、該設定信号のいずれかを選択して出力するセレクタと、
前記セレクタから出力される前記各設定信号が示す設定数をカウントダウンするダウンカウンタと、
前記ダウンカウンタから出力される前記各設定数のゼロ信号が入力され、前記有効範囲信号を生成して出力するレジスタとを含むことを特徴とする請求項５に記載の画像処理パイプライン回路。
【請求項８】
前記接続モジュールは、前記画像処理モジュールが持つ前記遅延量の総和を付加する総遅延量付加回路をさらに含み、
前記総遅延量付加回路は、水平同期信号が常に一定周期である場合において、
前記画像処理モジュールが持つ水平方向における総遅延量を水平同期信号に付加する水平同期信号遅延回路と、
前記水平同期信号遅延回路から受け取った水平同期信号を基準として、垂直方向における総遅延量を垂直同期信号に付加する垂直同期信号生成回路とを含むことを特徴とする請求項６に記載の画像処理パイプライン回路。
【請求項９】
前記接続モジュールは、前記画像処理モジュールが持つ前記遅延量の総和を付加する総遅延量付加回路をさらに含み、
前記総遅延量付加回路は、水平同期信号が一定周期でない場合において、
前記画像処理モジュールの前記水平同期信号の画素クロックをカウントするカウンタと、
前記カウンタの計数値を記憶するメモリと、
前記画像処理モジュールが持つ水平方向及び垂直方向における遅延量から総遅延量を生成する遅延量生成回路と、
前記遅延量生成回路で生成された総遅延量が経過した後、前記メモリから読み出された前記計数値を基に水平同期信号を再成する水平同期信号生成回路と、
前記遅延量生成回路で生成された総遅延量が経過した後、入力された垂直同期信号を出力する垂直同期信号生成回路とを含むことを特徴とする請求項６に記載の画像処理パイプライン回路。
【請求項１】
少なくとも１つの画像入力部と、複数の画像処理モジュールと、一方の出力が他方の入力となる２つの前記画像処理モジュールを連結する少なくとも１つの接続モジュールと、少なくとも１つの画像出力部とからなる画像処理パイプライン回路であって、
前記接続モジュールが垂直同期信号と水平同期信号のいずれか１つもしくは両方を第１の同期信号として受け取り、前記第１の同期信号に前記接続モジュールが連結する２つの前記画像処理モジュール間の相対的な遅延量を付加した第２の同期信号を生成する手段を有することを特徴とする画像処理パイプライン回路。
【請求項２】
前記画像入力部の出力が、第１の前記画像処理モジュール及び第１の前記接続モジュールに入力され、
前記第１の画像処理モジュール及び前記第１の接続モジュールの出力が、第２の前記画像処理モジュールに入力され、且つ前記第１の接続モジュールの出力が、第２の前記接続モジュールに入力され、
前記第２の画像処理モジュール及び前記第２の接続モジュールの出力が、第３の前記画像処理モジュールに入力され、
前記第３の画像処理モジュールの出力が、前記画像出力部に入力されることを特徴とする請求項１に記載の画像処理パイプライン回路。
【請求項３】
前記画像入力部の出力が、第１の前記画像処理モジュール及び第１の前記接続モジュールに入力され、
前記第１の画像処理モジュールの出力が、前記第１の接続モジュールに入力され、
前記第１の接続モジュールの出力が、第２の前記画像処理モジュール及び第２の前記接続モジュールに入力され、
前記第２の画像処理モジュールの出力が、前記第２の接続モジュールに入力され、
前記第２の接続モジュールの出力が、第３の前記画像処理モジュールに入力され、
前記第３の画像処理モジュールの出力が、前記画像出力部に入力されることを特徴とする請求項１に記載の画像処理パイプライン回路。
【請求項４】
前記画像入力部の出力が、第１の前記画像処理モジュール及び第１の前記接続モジュールに入力され、
前記第１の画像処理モジュールの出力が、前記第１の接続モジュールに入力され、
前記第１の接続モジュールの出力が、第２の前記画像処理モジュール、第２の前記接続モジュール、第４の前記画像処理モジュール及び第４の前記接続モジュールに入力され、
前記第２の画像処理モジュールの出力が、前記第２の接続モジュールに入力され、且つ前記第４の画像処理モジュールの出力が、前記第４の接続モジュールに入力され、
前記第２の接続モジュール及び前記第４の接続モジュールの出力が、第３の前記画像処理モジュールに入力され、
前記第３の画像処理モジュールの出力が、前記画像出力部に入力されることを特徴とする請求項１に記載の画像処理パイプライン回路。
【請求項５】
前記接続モジュールは、自ら生成した前記第２の同期信号を基準とする１つもしくは複数の水平および垂直方向の有効範囲信号を生成することを特徴とする請求項１乃至４のいずれかに記載の画像処理パイプライン回路。
【請求項６】
複数の前記画像処理モジュールとそれらを接続する前記接続モジュールで構成される画像処理パイプライン回路において、各画素の処理結果を得るまでの遅延時間が、前記画像処理モジュールが持つ遅延量の総和に等しいことを特徴とする請求項１乃至５のいずれかに記載の画像処理パイプライン回路。
【請求項７】
前記接続モジュールは前記有効範囲信号を生成する有効範囲信号生成回路を含み、
前記有効範囲信号生成回路は、
任意のビット数からなる有効範囲開始点設定信号と有効範囲長設定信号とが入力されると、該設定信号のいずれかを選択して出力するセレクタと、
前記セレクタから出力される前記各設定信号が示す設定数をカウントダウンするダウンカウンタと、
前記ダウンカウンタから出力される前記各設定数のゼロ信号が入力され、前記有効範囲信号を生成して出力するレジスタとを含むことを特徴とする請求項５に記載の画像処理パイプライン回路。
【請求項８】
前記接続モジュールは、前記画像処理モジュールが持つ前記遅延量の総和を付加する総遅延量付加回路をさらに含み、
前記総遅延量付加回路は、水平同期信号が常に一定周期である場合において、
前記画像処理モジュールが持つ水平方向における総遅延量を水平同期信号に付加する水平同期信号遅延回路と、
前記水平同期信号遅延回路から受け取った水平同期信号を基準として、垂直方向における総遅延量を垂直同期信号に付加する垂直同期信号生成回路とを含むことを特徴とする請求項６に記載の画像処理パイプライン回路。
【請求項９】
前記接続モジュールは、前記画像処理モジュールが持つ前記遅延量の総和を付加する総遅延量付加回路をさらに含み、
前記総遅延量付加回路は、水平同期信号が一定周期でない場合において、
前記画像処理モジュールの前記水平同期信号の画素クロックをカウントするカウンタと、
前記カウンタの計数値を記憶するメモリと、
前記画像処理モジュールが持つ水平方向及び垂直方向における遅延量から総遅延量を生成する遅延量生成回路と、
前記遅延量生成回路で生成された総遅延量が経過した後、前記メモリから読み出された前記計数値を基に水平同期信号を再成する水平同期信号生成回路と、
前記遅延量生成回路で生成された総遅延量が経過した後、入力された垂直同期信号を出力する垂直同期信号生成回路とを含むことを特徴とする請求項６に記載の画像処理パイプライン回路。
【図１】
【図２】
【図３】
【図４】
【図５ａ】
【図５ｂ】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５ａ】
【図５ｂ】
【図６】
【図７】
【図８】
【公開番号】特開２００６−３１８３１５（Ｐ２００６−３１８３１５Ａ）
【公開日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願番号】特願２００５−１４１９００（Ｐ２００５−１４１９００）
【出願日】平成１７年５月１３日（２００５．５．１３）
【出願人】（５９１０７９４８７）広島県 (101)
【Ｆターム（参考）】
【公開日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願日】平成１７年５月１３日（２００５．５．１３）
【出願人】（５９１０７９４８７）広島県 (101)
【Ｆターム（参考）】
[ Back to top ]