画像処理装置
【課題】 画像処理のリアルタイム性を維持しながら、ネットワーク処理のような発生タイミングが一定でない処理を同時に行うことを可能にする技術を提供する。
【解決手段】 画像処理装置は、画像入力手段から得られた画像データを処理するための画像処理手段と、前記画像処理手段によって処理される画像データを格納する第１メモリと、前記画像処理手段と前記第１メモリとの間で前記画像データを転送する第１バスと、前記第１メモリから転送される画像データを格納する第２メモリと、前記第１メモリおよび第２メモリに接続される第２バスと、前記画像処理手段からの画像処理中ではないことを示す信号に応じて、前記第２バスを介して前記第１メモリに格納された画像データを前記第２メモリに転送する制御を実行する制御手段と、を有する。
【解決手段】 画像処理装置は、画像入力手段から得られた画像データを処理するための画像処理手段と、前記画像処理手段によって処理される画像データを格納する第１メモリと、前記画像処理手段と前記第１メモリとの間で前記画像データを転送する第１バスと、前記第１メモリから転送される画像データを格納する第２メモリと、前記第１メモリおよび第２メモリに接続される第２バスと、前記画像処理手段からの画像処理中ではないことを示す信号に応じて、前記第２バスを介して前記第１メモリに格納された画像データを前記第２メモリに転送する制御を実行する制御手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、特に、所定の時間間隔で画像データを順次入力して処理を行う技術に関する。
【背景技術】
【０００２】
ビデオ信号のリアルタイム処理と計算機への画像入力処理とを並行して実行することができる信号処理装置としては、画像信号に同期した画像信号のバスとそのコントローラとを信号処理装置内に設けた構成が知られている（例えば、特許文献１参照）。
【特許文献１】昭６０−１３８６３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１に記載された構成では、画像データの転送とＣＰＵのデータ処理は並列に実行可能であるが、ＣＰＵで画像処理するための元データを画像信号バスで所定のタイミングでメモリに書く必要がある。そのため、ネットワーク処理のような外部起因による発生タイミングが一定でない処理を、画像処理のリアルタイム性を維持しながら当該システムで同時に行うことは困難であった。
【０００４】
本発明は上記課題に鑑みなされたものであり、画像処理のリアルタイム性を維持しながら、ネットワーク処理のような発生タイミングが一定でない処理を同時に行うことを可能にする技術を提供することを目的とする。
【０００５】
また、本発明は、画像処理の周期性を利用して、処理モジュールに問題が発生したことを速やかに検出し、異常状態からの復旧を行うことを可能にする技術も提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明による画像処理装置は以下の構成を有する。即ち、
画像入力手段から得られた画像データを処理するための画像処理手段と、
前記画像処理手段によって処理される画像データを格納する第１メモリと、
前記画像処理手段と前記第１メモリとの間で前記画像データを転送する第１バスと、
前記第１メモリから転送される画像データを格納する第２メモリと、
前記第１メモリおよび第２メモリに接続される第２バスと、
前記画像処理手段からの画像処理中ではないことを示す信号に応じて、前記第２バスを介して前記第１メモリに格納された画像データを前記第２メモリに転送する制御を実行する制御手段と、
を有する。
【発明の効果】
【０００７】
本発明によれば、画像処理のリアルタイム性を維持しながら、ネットワーク処理のような発生タイミングが一定でない処理を同時に行うことを可能にする技術を提供することができる。
【０００８】
また、本発明によれば、画像処理の周期性を利用して、処理モジュールに問題が発生したことを速やかに検出し、異常状態からの復旧を行うことを可能にする技術も提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。また、本実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【００１０】
＜＜第１実施形態＞＞
（画像処理装置の構成）
図１は本実施形態に係る画像処理装置の構成を示す図である。図１において１及び２はメモリ、１００は上記２つのメモリと接続されるＩＦ（interface）部としてのメモリ制御部（１１，２１）を有する画像処理部である。また、２００は撮像部であり、ここで撮影された映像信号が映像入力信号線２０１を介して画像処理部１００の画像入力部１２に入力されている。なお、画像処理装置は、半導体集積回路、デジタルカメラ、コンピュータ、カメラ付携帯電話等で実現することができる。
【００１１】
画像処理部１００において、１０は第１バスであり、１１はメモリ１（第１メモリ）と接続される第１メモリ制御部である。１２は画像入力部であり、所定の時間間隔で画像データを順次入力する。１３は画像出力部、１４は画像圧縮部、１５は解像度変換部である。第１バス１０はこれらの各画像処理モジュール（１２,１３,１４,１５）と第１メモリ制御部１１に接続されている。各画像処理モジュール（１２,１３,１４,１５）は、入力された画像データ、もしくは他の画像処理モジュールにおいて処理された画像データに対して画像処理を行う回路である。画像処理モジュールは一体的な回路であってもよいし、別個のものであってもよい。
【００１２】
また、２０は第２バスであり、２１はメモリ２（第２メモリ）と接続される第２メモリ制御部である。２２は画像処理部１００全体の制御を司るＣＰＵ、２３はＤＭＡコントローラ（ＤＭＡＣ:Direct Memory Access Controller）である。ＣＰＵ２２、ＤＭＡコントローラは、メモリ１に格納された画像データを第２バス２０を介してメモリ２へ転送させる制御を行う。
【００１３】
２４はネットワークインタフェースとしてのネットワーク制御部である。ネットワーク制御部２４は、画像処理モジュール（１２,１３,１４,１５）において画像処理がなされた画像処理済みの画像データを外部装置へ送出する。また、ネットワーク制御部２４は非同期処理手段の一例である。ネットワーク制御部２４に代えて、又はそれとともに、画像データの入力とは非同期に、入力された画像データに対して所定の処理を行う他の機能要素を設けてもよい。
【００１４】
２５はフラッシュＲＯＭ、２６は制御バスＩＦ、２７は画像処理コントローラである。第２バス２０はこれらの各処理モジュール（２２,２３,２４,２５,２６,２７）及び第１メモリ制御部１１と第２メモリ制御部２１に接続されている。
【００１５】
制御バスＩＦ２６及び画像処理コントローラ２７は、制御専用バス４０（制御バス）に接続されている。画像処理コントローラ２７は、この制御専用バス４０を介して、各画像処理モジュール（１２,１３,１４,１５）に対してアクセスし、各画像処理モジュールに対するパラメータの設定及び値の読み出し、モジュールの起動、停止などを実行する。また、ＣＰＵ２２も制御バスＩＦ２６を経由して、制御専用バス４０を介して各画像処理モジュール（１２,１３,１４,１５）に対してアクセスすることが可能である。
【００１６】
画像入力部１２からは、画像入力部１２の処理状態を伝える制御信号３２が画像処理コントローラ２７に対して送出される。同様に、画像圧縮部１４からは、画像圧縮部１４の処理状態を伝える制御信号３１が画像処理コントローラ２７に対して送出されている。また、画像処理コントローラ２７からは、制御信号３３がＣＰＵ２２に対して送出される。
【００１７】
本実施形態においては、第１バス１０は一定処理時間内での処理が要求される画像処理モジュール（１２,１３,１４,１５）が接続される画像バスである。そのため、本実施形態では、第１バス１０に接続された第１メモリ制御部１１に繋がるメモリ１の一例として、高速でメモリアクセス帯域が大きいＤＤＲ(Double Data Rate SDRAM)メモリを想定する。また、第１バス１０は、データの転送レート向上のために、データ転送時のバースト転送限定利用、アドレスとデータの発行順序の分離制御、リードとライト用のバスの分離などの機能が実装されている。更に、メモリの処理レイテンシ隠蔽のための画像処理データの特性に応じたメモリ１のバンクの使い分けも実装されている。
【００１８】
一方、第２バス２０には、ネットワーク制御部２４を含む処理の発生タイミングが一定でないモジュール等が接続されている。これらのモジュールでは、処理の発生タイミングは一定ではないものの、第１バスに比べると処理の実時間性への制約が小さい。このため、本実施形態では、一例として、それらのモジュールが主に使用するメモリ２としてＳＤＲ(Single Data Rate SDRAM)を想定する。ＳＤＲを利用したメモリ２は、ＤＤＲメモリを利用したメモリ１に比べて、消費電力が小さく、コストが小さい。第２バス２０のデータ転送は、第１バス１０のようにバースト転送のみに限定されず、第２バス２０はメモリ２へのランダムアクセスが可能である。
【００１９】
（動作概要）
本実施形態では、一例として、画像を撮像する撮像部２００から画像入力部１２を経由して３０フレーム/秒の一定レートで入力されたビデオ画像を、メモリ１上に保存する。そして、そのデータを処理対象の画像データとして再度メモリ１から読み出して、画像処理を行う。本実施形態では、画像処理の一例として画像圧縮部１４で圧縮する。この画像処理は、メモリ１上、即ち、第１メモリ上で実行される。なお、本実施形態では、ビデオ画像として、ODD（奇数）フィールドとEVEN（偶数）フィールドを交互に表示させるインタレース方式の画像を想定するが、データの方式はこれに限られない。
【００２０】
圧縮済画像データは再度メモリ１上に保存される。圧縮済画像データは画像処理コントローラ２７からの指示に基づいてメモリ１からメモリ２に対して第２バス２０を介して転送される。ＣＰＵ２２が当該圧縮データに対してヘッダをつけるなどの加工を行った後、ネットワーク制御部２４から外部ネットワークへ転送される。
【００２１】
ここで、本実施形態では、各画像処理モジュール（１２,１３,１４,１５）による画像処理が行われていない期間に、画像処理済みの画像データはメモリ１からメモリ２へ転送される。そして、ネットワーク制御部２４は、メモリ１ではなく、メモリ２から画像処理済みの画像データを読み出して、外部ネットワークへの転送等の処理を行う。このため、本実施形態に係る構成によれば、画像データの入力と同期して処理を行うことが必要な画像処理とは独立に、他の処理（本実施形態の例では外部ネットワークへの転送）を容易に行うことができる。
【００２２】
この処理のフローに関して図２を参照して詳細に説明する。図２は本実施形態に係る画像処理装置の動作例を示すタイミング図である。
【００２３】
図２において、ＶＳＹＮＣは、画像入力部１２に入力された映像入力信号線２０１の信号から抽出される垂直同期信号を示している。基本的にこの信号が"Ｈ"（High）である区間においては、映像信号中に有効なデータが含まれている。図２の例では、画像入力部１２において、時刻t0に、フレーム１のODDフィールド（ODD1）の画像データのメモリ１へのデータ転送が開始されている。
【００２４】
このデータ転送は、画像データが画像入力部１２に一定の量溜まる度に、画像入力部１２から第１バスに対して間欠的に転送要求が出され、メモリ１に対して書き込まれて実行される。図２の例では、当該転送がt0からt1の期間にわたって発生し、時刻t1においてODD1の全データが入力されたために中断されている。その後、時刻t2から、フレーム１のEVENフィールド（EVEN1）の画像データのメモリ１へのデータ転送が再開されている。この転送は時刻t3においてEVEN1の全データが入力されたために中断し、次いで時刻t4にフレーム２のODDフィールド(ODD2)の画像転送が開始されている。
【００２５】
画像入力部１２ではこのような処理が繰り返されており、ビデオ信号入力が３０フレーム/秒の一定レートで入力されているとすると、t0〜t4間の時間はおよそ３３.３ミリ秒となる。ビデオ信号は連続して次々入力されるため、この転送処理は確実に３３.３ミリ秒以内に終了させる必要がある。
【００２６】
一方、画像圧縮部１４、及び解像度変換部１５は、ODD1とEVEN1の組み合わせにより生成されるFrame1の画像データを第１バス１０のリード用バスを使って順次読み出す。そして、画像圧縮部１４は画像圧縮処理を実行し、解像度変換部１５は解像度変換処理を実行する。これらの処理は、画像入力部１２からメモリ１に対してEVEN1のデータの転送が開始された時刻t2からわずかの時間Δt（時刻t1,t2の間隔に対して極めて短いため不図示）後、メモリ１上にあるデータが読み出し可能な状態になると開始される。処理を行った結果のデータは、第１バス１０のライト用バスを使ってメモリ１上に書き込まれる。これらのデータの処理も画像入力データが転送されるのと同様に処理可能なデータがメモリ上に溜まるたびに間欠的に読み出されて実行され、t2からt3間での期間に対してΔtの遅延を持って実行される。
【００２７】
更に、画像圧縮部１４は先に時刻t2〜t3において解像度変換部１５が解像度変換処理した画像データFrame1'に対して、時刻t4から圧縮処理を開始する。圧縮済画像データFrame1'はFrame1と同様に第１バス１０を利用してメモリ１上に書き込まれる。
【００２８】
メモリ１上に書き込まれたデータは、第２バス２０上に存在するＤＭＡコントローラ２３によってメモリ１からメモリ２へ転送される。図２においては、メモリ間転送が、画像圧縮部１４と画像入力部１２でのそれぞれの処理終了を契機として開始している様子を矢印で示している。
【００２９】
画像出力部１３は、時刻t4から、画像入力部１２に入力されたODD1、次いでEVEN1の画像データを１フレーム遅れで出力していく。以上の説明では、時刻t0に画像入力部１２に入力が開始されたフレーム１の画像データに注目して処理の流れを説明したが、このような処理が画像処理部１００では約３３.３ms周期で繰り返して実行されることになる。
【００３０】
（モジュール間の信号伝達）
次に、画像処理装置が上記のような動作を行う場合の、モジュール間における信号伝達について図３を参照して説明する。図３は、図２を参照して説明した、画像圧縮部１４と画像入力部１２でのそれぞれの処理終了が、ＤＭＡコントローラ２３に対してどのようにして伝達されるかを示す図である。
【００３１】
図３において、制御信号３２は、画像入力部１２において、画像データの転送期間中であるかないかを示す信号である。図３において、転送期間中であることを制御信号３２の"Ｈ"レベルで示している。そして、t1〜t2及びt3〜t4の期間が非転送期間であることを制御信号３２の"Ｌ"レベルで示している。この制御信号３２の"Ｌ"レベルが許可信号の１つである。また、制御信号３１は画像圧縮部１４が圧縮処理中であるかないかを示す信号である。ここでは、圧縮処理中であることを制御信号３１の"Ｈ"レベルで示している。この場合、t01の制御信号３１の立下りは、Frame0'の画像データの圧縮が終了して、メモリ１上への圧縮済画像データの転送が終了したことを示している。同様に、t3＋Δtの制御信号３１の立下りは、Frame1の画像データの圧縮が終了して、メモリ１上への圧縮済画像データの転送が終了したことを示している。すなわち、圧縮処理中ではない状態を制御信号３１の"Ｌ"レベルで示している。
【００３２】
図１に示すように、制御信号３１及び３２は画像処理コントローラ２７に接続されている。画像処理コントローラ２７は、まず、制御信号３１の状態に基づいて、メモリ１からメモリ２へ転送すべき圧縮済画像データが既にメモリ１上に準備できているかどうかを判定する。制御信号３１の立下りで画像圧縮処理が終了した（圧縮処理中ではない）ことを認識すると（時刻t01、又は、t3＋Δt）、画像処理コントローラ２７は、画像圧縮部１４へアクセスする。そして、画像処理コントローラ２７は、メモリ１からメモリ２へ転送すべき圧縮済画像データの画像サイズを取得する。ここで、画像圧縮部１４へのアクセスは制御専用バス４０を介して行われる。
【００３３】
なお、ここで、画像処理コントローラ２７は、制御信号３１及び３２を用いて、画像入力部１２及び画像圧縮部１４の動作状態を監視している。例えば、画像入力部１２からの制御信号線３２は、本実施形態においては前述したように約３３.３ｍｓごとにODDとEVENの２回のフィールドデータ転送により、２回Ｌの期間を発生することが期待される。
【００３４】
また、制御信号線３１は画像圧縮部１４における圧縮処理に要する時間毎にＬになることが期待される。画像処理コントローラ２７は、内部にタイマ機能(図示せず)を保持しており、制御信号線毎に極性が反転するタイミングを監視している。そして、各画像処理モジュールの特性、及び処理内容に応じて定まる一定の期間に達しても当該制御信号線に変化が現れない場合には、当該モジュールに異常が発生したと認識する。その場合、画像処理コントローラ２７は、異常が発生した画像処理モジュール及びその異常の影響を受けると想定されるモジュールに対して、制御専用バス４０を介してモジュールの初期化及び再起動の命令を発行する。
【００３５】
同時に、画像処理コントローラ２７は、画像処理モジュールの初期化を実施したことをＣＰＵ２２に対して第２バスを介して通知をする。当該通知を受けたＣＰＵ２２は、画像処理が復旧するまでの間、必要に応じて既にメモリ２に転送されている過去の圧縮データを利用して画像送信処理を行うなどの処理を行う。
【００３６】
なお、ここで各画像処理モジュールの特性、及び処理内容に応じて定まる一定の期間とは、例えば画像圧縮部１４の場合およそ、次の式で算出されるＴ(timeout)で近似することができる。
Ｔ(timeout)＝２×MAX（Ａ＋Ｂ×Ｃ, Ｄ）
但し、Ａ，Ｂ，Ｃ，Ｄは以下のとおりである。
Ａ：圧縮方式毎に定まる画像データの処理時間（圧縮処理部１４内のソフトウェア処理ルーチンを切り替えるためにプログラムを圧縮処理部１４にロードする時間、あるいは画像データのヘッダを生成する作業に要する時間等、画像サイズに依存しない時間）。
Ｂ：圧縮方式ごとに定まる単位画像サイズあたりの画像データの処理時間。
Ｃ：処理対象の画像データの１フレームの画像サイズ。
Ｄ：画像処理部への当該画像サイズのデータを供給するために要する時間。
【００３７】
図２において、Frame1の処理時間はt2〜t3であるが、これは圧縮処理部１４への圧縮用データの供給が画像入力部１２からのデータ転送時間によって律速されるためである。この場合は上記式のＤの項が意味を持つ。一方、Frame1’の処理時間（t4〜t5）に関しては、既に圧縮に用いるデータがメモリ１上に準備されているため、データ転送時間（Ｄの項）は律速にはならず、Ａ＋Ｂ×Ｃの項が意味を持つ。最終的に異常と判定されるまでの期間は上記の処理時間の２倍とここでは設定している。これは、想定した処理の２倍以上の時間を要しているようでは、リアルタイム性を維持しながら処理を行う本モジュールの特性を維持し得ないからである。
【００３８】
次いで、圧縮処理中ではない状態において、画像処理コントローラ２７は、制御信号３２の状態に基づいて、画像処理の上で最優先すべき画像入力データのメモリ１への転送処理が行われているかどうかを判定する。制御信号３２が"Ｌ"（Low）になっていた場合（画像入力データのメモリ１への転送が行われていない場合）には、制御信号３３を"Ｌ"にドライブして、ＣＰＵ２２に対してメモリ１へのアクセス許可を通知する。さらに、転送すべき画像サイズを第２バス２０経由でＣＰＵ２２に対して通知する。これらの通知は、画像処理中ではないことを示す信号であり、ＣＰＵ２２に対する画像データの転送を指示する信号に相当する。
【００３９】
メモリ１へのアクセス許可を制御信号３３を介して通知されたＣＰＵ２２は、ＤＭＡコントローラ２３に対して、第２バス２０を介して転送すべき圧縮済画像データ画像サイズを通知する。さらに、ＣＰＵ２２は、当該データのメモリ１からメモリ２への転送開始をＤＭＡコントローラ２３に対し指示する。ＣＰＵ２２からの指示を受け取ったＤＭＡコントローラ２３は第２バス２０を介して第１メモリ制御部１１にアクセスし、Frame0'の圧縮済み画像データをメモリ１から読み出してメモリ２への転送を時刻t1に開始する。同様に時刻t3＋Δtにおいては、Frame1のデータの転送を開始する。
【００４０】
なお、ここでＣＰＵ２２は、画像処理コントローラ２７が制御信号３１及び３２を監視していたのと同様に、制御信号３３を用いて、画像処理コントローラ２７の動作状態を監視している。制御信号線３３は画像転送要求を発生するため、定期的にＬになることが期待される。ＣＰＵ２２は、内部にタイマ機能(図示せず)を保持しており、制御信号線３３の極性が反転するタイミングを監視している。そして、画像処理コントローラ２７に対して要求している処理内容に応じて定まる一定の期間に達しても制御信号線３３に変化が現れない場合には、画像処理コントローラ２７に対する問い合わせを第２バス経由で行う。画像処理コントローラが応答を返さない場合、もしくは異常の発生が返された場合には、ＣＰＵ２２は画像処理コントローラ２７の初期化及び再起動を行う。
【００４１】
なお、画像処理コントローラ２７に対して要求している処理内容に応じて定まる一定の期間とは、例えばネットワークを介して外部の装置から要求されている画像のフレームレートがＥフレーム/秒であった場合、次の式で近似することができる。
Ｔ(timeout)＝Ｆ×(１/Ｅ)
但し、Ｆ：２以上のシステム要求によって定まる値。
【００４２】
これは、想定したフレームレートの処理間隔の最大F倍までの処理遅延を許すというものであり、画像処理バッファの容量、ネットワーク等の伝送遅延等を考慮して決められる値である。
【００４３】
もちろん、この値の決め方は一例であり、異常検出までの待ち時間の決め方は、必要に応じて変更することが可能である。
【００４４】
ＤＭＡコントローラ２３は圧縮済み画像データの転送が終了すると、転送終了通知を第２バス２０経由でＣＰＵ２２に対して通知する。ＣＰＵ２２は転送終了通知を受け取ると、次の転送に備えて、予め転送元先頭アドレス、転送先先頭アドレスなどの情報をＤＭＡコントローラ２３に対して設定し(図中点線矢印)、待機する。
【００４５】
メモリ２に転送された圧縮済み画像データは、ＣＰＵ２２が当該圧縮データに対してヘッダをつけるなどの加工を行った後、ネットワーク制御部２４から外部ネットワークへ転送される。これらのメモリ２上のデータへのアクセスは第２バス２０経由で行われるため、第１バス１０の動作には関係なく実行される。そのため、第１バス１０に接続された画像処理モジュールにおける処理は、第２バス２０上の各モジュールの動作の影響を受けずに実行することが可能になる。
【００４６】
なお、本実施形態においては画像処理コントローラ２７からＣＰＵ２２へアクセス許可を通知する例を示したが、メモリ間転送を制御する方式はこれに限られない。例えば、画像処理コントローラ２７から第２バス２０を経由して直接ＤＭＡコントローラ２３を制御してメモリ間転送を実現することも可能である。
【００４７】
以上のように、第１実施形態に係る構成は、一定時間以内の処理を要求される画像処理系と、ランダム処理が発生し得るデータ処理系を分離している。そして、ランダム処理が発生し得るデータ処理系は、画像処理系からの指示に応じて所定の処理を行う。このため、ランダム処理が発生し得るデータ処理系は、画像処理系の処理タイミングを乱さずに、画像処理系側のデータへのアクセスを容易に行うことができる。従って、ネットワーク処理のような外部起因による発生タイミングが一定でない処理を、画像処理のリアルタイム性を維持しながら当該システムで同時に行うことが容易になる。
【００４８】
更に、画像処理モジュールへの制御のバス（制御専用バス４０）を、第１バス１０、第２バス２０とは別に設けることにより、画像処理モジュールのメモリへのアクセスを阻害することなく画像処理モジュールの制御が可能になる。このため、より一層、画像処理のリアルタイム性を保つことが容易になる。
【００４９】
更に、画像処理に主に用いる第１のメモリ１とその他のシステム用に用いる第２のメモリ２とを分離したことにより、各処理部に最適な速度及び容量のメモリを用いることが可能である。また、従来のシステムに比べて、メモリ部での消費電力の削減が図ることが可能になる。
【００５０】
更に、画像処理コントローラ２７及びＣＰＵ２２で各モジュールの処理の特性に応じた時間間隔で信号線の状態を監視する。これにより、静電気等のノイズや他の原因による処理モジュールの誤動作に対しても速やかに対応し、映像を処理できなくなる期間を短くすることが可能になる。
【００５１】
更に、画像処理に主に用いる第１のメモリ１及び第１バス１０とその他のシステム用に用いる第２のメモリ２及び第２バス２０とを分離したことにより、画像処理関係のモジュールにのみ選択的に初期化等の処理を施すことができる。これにより、画像処理部の誤動作の発生時にＯＳも含めたシステム全体を初期化することなく、必要な処理部のみを選択的に初期化することが可能になる。
【００５２】
＜＜第２実施形態＞＞
第２実施形態においては、第２バス２０に接続された割込制御手段としての割込み制御部２８を介してＣＰＵ２２が直接第１のメモリ１へのアクセス許可を判定し、ＤＭＡコントローラ２３を制御する構成例を示す。本実施形態の構成は第１実施形態との共通部分が多いため、基本的にはその図面及び符号等を流用し、異なる部分についてのみ詳細に説明する。
【００５３】
（画像処理装置の構成）
図４は本実施形態に係る画像処理装置の構成を示す図である。本実施形態の構成は第１実施形態の図１とほぼ同等であるが、第２バス２０に対して割込み制御部２８が接続されている。そして、画像圧縮部１４からの制御信号３１及び画像入力部１２からの制御信号３２がこの割込み制御部２８に接続されている。また、INT信号３４が割込み制御部２８からＣＰＵ２２に対して接続されている。
【００５４】
ここで、INT信号３４は、割込み制御部２８に割り込みが発生したことを示す信号線である。INT信号３４は、割り込みが発生すると"Ｌ"（Low）にドライブされ、割込み要因がＣＰＵ２２によって割込み制御部２８から読み取られると"Ｈ"（High）にクリアされる。第２実施形態における大まかな処理のフローは、第１実施形態と同等であるので、ここでは説明を省略する。
【００５５】
（モジュール間の信号伝達）
次に、画像処理装置を構成する各モジュール間における信号伝達について図５を参照して説明する。図５は、図２において示した画像圧縮部１４と画像入力部１２でのそれぞれの処理終了がＤＭＡコントローラ２３に対して割込み制御部２８経由でどのようにして伝達されるかを示す図である。
【００５６】
図５において、制御信号３２は、画像入力部１２から出力される画像データの転送期間中であるかないかを示す信号である。図５では、転送期間中であることを"Ｈ"レベルで示している。この場合、t1〜t2及びt3〜t4の期間は非転送期間である。一方、制御信号３１は画像圧縮部１４が圧縮処理中であるかないかを示す信号である。ここでは、圧縮処理中であることを"Ｈ"レベルで示している。この場合、t01の制御信号３１の立下りは、Frame0'の画像データの圧縮が終了して、メモリ１上への圧縮済画像データの転送が終了したことを示している。同様に、t3＋Δtの制御信号３１の立下りは、Frame1の画像データの圧縮が終了して、メモリ１上への圧縮済画像データの転送が終了したことを示している。
【００５７】
図４に示すように、制御信号３１及び３２は割込み制御部２８に接続されている。割込み制御部２８は、制御信号３１の状態を検出する。制御信号３１の立下りで画像圧縮処理が終了したことを検出すると(時刻t01又はt3＋Δt)、割込み制御部２８は、INT信号３４を"Ｌ"にドライブして、ＣＰＵ２２に対して割り込みを通知する。割り込みを通知されたＣＰＵ２２は、第２バス２０を介して割込み制御部にアクセスし（図５中一点鎖線の矢印にて示す）、割り込みの発生した原因が画像圧縮部１４の処理終了であったことを認識する。ＣＰＵ２２によってアクセスされた割込み制御部２８は、INT信号３４のレベルを"Ｈ"にドライブして、割込み状態を解除する。画像圧縮部１４の圧縮処理終了を認識したＣＰＵ２２は、制御バスＩＦ２６から制御専用バス４０を介して画像圧縮部１４へアクセスし、メモリ１からメモリ２へ転送すべき圧縮済画像データの画像サイズの情報を取得する。
【００５８】
なお、ここで、ＣＰＵ２２はINT信号３４を用いて、画像入力部１２及び画像圧縮部１４の動作状態を監視している。ＣＰＵ２２は内部に各処理部に対応したタイマ機能(図示せず)を保持しており、INT信号３４に応じて割込み制御部２８にアクセスした結果認識した割込み要因により、そのタイマを再起動する。そして、各画像処理モジュールの特性、及び処理内容に応じて定まる一定の期間に達してもそれに対応したINT信号３４が現れない場合には、当該モジュールに異常が発生したと認識する。その場合、ＣＰＵ２２は、異常が発生した画像処理モジュール及びその異常の影響を受けると想定されるモジュールに対して、制御バスIF２６から制御専用バス４０を介してモジュールの初期化及び再起動の命令を発行する。それ以降の初期化の動作及び異常検出時間の設定に関しては、第１の実施形態とほぼ同じであるので、ここでは説明を省略する。
【００５９】
また、割込み制御部２８は、制御信号３２の状態も制御信号３１の状態と同様に検出する。制御信号３２の立下りを検出した場合（画像入力データのメモリ１への転送が終了した場合）には、INT信号３４を"Ｌ"にドライブしてＣＰＵ２２に対して割り込みを通知する。割り込みを通知されたＣＰＵ２２は、第２バス２０を介して割込み制御部にアクセスし（図５中点線上向きの矢印にて示す）、割り込みの発生した原因が画像入力部１２のデータ転送終了であったことを認識する。ＣＰＵ２２によってアクセスされた割込み制御部２８は、INT信号３４のレベルを"Ｈ"にドライブして、割込み状態を解除する。
【００６０】
圧縮処理の終了とデータ転送の終了処理の双方を認識し、ＣＰＵ２２は、メモリ１へのアクセスを行っても差し支えない状態（画像処理中ではない状態）であると判断する。すると、ＣＰＵ２２は、ＤＭＡコントローラ２３に対して、第２バス２０を介して転送すべき圧縮済画像データ画像サイズを通知する。さらに、ＣＰＵ２２は、ＤＭＡコントローラ２３に対して、当該データのメモリ１からメモリ２への転送開始を指示する。ＣＰＵ２２からの指示を受け取ったＤＭＡコントローラ２３は第２バス２０を介して第１メモリ制御部１１にアクセスし、Frame0'の圧縮済み画像データをメモリ１から読み出してメモリ２へ転送する動作を時刻t1に開始する。同様に時刻t3＋Δtにおいては、Frame1のデータの転送を開始する。
【００６１】
ＤＭＡコントローラ２３は圧縮済み画像データの転送が終了すると、転送終了通知を第２バス２０経由でＣＰＵ２２に対して通知する。ＣＰＵ２２は転送終了通知を受け取ると、次の転送に備えて、予め転送元先頭アドレス、転送先先頭アドレスなどの情報をＤＭＡコントローラ２３に対して設定し(図中点線矢印)、待機する。
【００６２】
メモリ２に転送された圧縮済み画像データは、ＣＰＵ２２が当該圧縮データに対してヘッダをつけるなどの加工を行った後、ネットワーク制御部２４から外部ネットワークへ転送される。これらのメモリ２上のデータへのアクセスは第２バス２０経由で行われるため、第１バス１０の動作には関係なく実行される。そのため、第１バス１０に接続された画像処理モジュールにおける処理は、第２バス２０上の各モジュールの動作の影響を受けずに実行することが可能になる。
【００６３】
なお、本実施形態においては割込み制御部２８からＣＰＵ２２へINT信号で画像処理モジュールの状態を通知する例を示したが、メモリ間転送を実現する方式はこれに限られない。例えば、割込み制御部２８から直接ＤＭＡコントローラ２３に対して別の制御信号を入力するようにして、メモリ間転送を実現することも可能である。その場合、予めＣＰＵ２２が転送先アドレス等を設定しておき、メモリ間転送の開始タイミングを制御信号３１及び３２の状態から割込み制御部が生成して、前記別の制御信号としてＤＭＡコントローラ２３に対してドライブすれば実現できる。
【００６４】
以上のように、第２実施形態に係る構成は、一定時間以内の処理を要求される画像処理系と、ランダム処理が発生し得るデータ処理系を分離している。そして、ランダム処理が発生し得るデータ処理系は、画像処理系からの指示に応じて所定の処理を行う。このため、ランダム処理が発生し得るデータ処理系は、画像処理系の処理タイミングを乱さずに、画像処理系側のデータへのアクセスを容易に行うことができる。従って、ネットワーク処理のような外部起因による発生タイミングが一定でない処理を、画像処理のリアルタイム性を維持しながら当該システムで同時に行うことが容易になる。
【００６５】
特に、本実施形態では、ＣＰＵ２２へINT信号３４により割込信号を出力する割込み制御部２８を設けたことにより、画像処理コントローラ２７は、各画像処理モジュール（１２,１３,１４,１５）の動作制御に専念することができる。
【００６６】
また、画像処理モジュールへの制御のバス（制御専用バス４０）を、第１バス１０、第２バス２０とは別に設けることにより、画像処理モジュールのメモリへのアクセスを阻害することなく画像処理モジュールの制御が可能になる。このため、より一層、画像処理のリアルタイム性を保つことが容易になる。
【００６７】
更に、画像処理に主に用いる第１のメモリ１とその他のシステム用に用いる第２のメモリ２とを分離したことにより、各処理部に最適な速度及び容量のメモリを用いることが可能である。また、従来のシステムに比べて、メモリ部での消費電力の削減が図ることが可能になる。
【００６８】
更に、ＣＰＵ２２で各画像処理モジュールの処理の特性に応じた時間間隔でINT信号線の状態を監視する。これにより、静電気等のノイズや他の原因による画像処理モジュールの誤動作に対しても速やかに対応し、映像を処理できなくなる期間を短くすることが可能になる。
【００６９】
更に、画像処理に主に用いる第１のメモリ１及び第１バス１０とその他のシステム用に用いる第２のメモリ２及び第２バス２０とを分離したことにより、画像処理モジュールにのみ選択的に初期化等の処理を施すことができる。これにより、画像処理部の誤動作の発生時にＯＳも含めたシステム全体を初期化することなく、必要な処理部のみを選択的に初期化することが可能になる。
【００７０】
＜＜第３実施形態＞＞
第３実施形態においては、画像処理コントローラ２７が第１バス１０に接続された各モジュールの処理状態を示す制御信号３１、３２、３５、３６の状態を元にして、ＣＰＵ２２に対してメモリ１へのアクセス許可を発行する構成を説明する。第１実施形態との共通部分が多いので、基本的にはその図面及び符号等を流用し、異なる部分についてのみ詳細に説明する。なお、制御信号３６を使用する制御の詳細は第４実施形態で説明する。
【００７１】
（画像処理装置の構成）
図６は本実施形態に係る画像処理装置の構成を示す図である。本実施形態の構成は第１実施形態の構成とほぼ同様であるが、画像処理コントローラ２７に対して解像度変換部１５から制御信号３５が接続され、画像出力部１３から制御信号３６が接続されている。
【００７２】
（動作概要）
第３実施形態における大まかな処理のフローを図７に示す。第１実施形態における図２のタイミング図とほぼ同じであるが、解像度変換された画像データを扱う場合のメモリ間転送の発生タイミングが、第１実施形態と異なっている。第１実施形態の図２では、メモリ間転送は必ず画像入力データの転送が発生しないタイミングで開始されていた。これに対し、図７においては、解像度変換されて生成された縮小画像の圧縮(Frame0'及びFrame1')が終了した直後(t01及びt45)に、圧縮されたデータに関してメモリ間転送が行われている。
【００７３】
（モジュール間の信号伝達）
図８は、図７を参照して説明した上記のメモリ間転送のタイミングに関して、詳細を示す図である。図８において、制御信号３２は、画像入力部１２から出力される画像データの転送期間中であるかないかを示す信号である。図８では、転送期間を"Ｈ"レベルで示している。従って、図８の例ではt1〜t2及びt3〜t4の期間が非転送期間である。一方、制御信号３１は画像圧縮部１４が圧縮処理中であるかないかを示す信号である。ここでは、圧縮処理中であることを"Ｈ"レベルで示している。
【００７４】
また、制御信号３５は解像度変換部１５が解像度変換処理中であるかないかを示す信号である。ここでは、解像度変換処理中であることを"Ｈ"レベルで示している。この場合、t01の制御信号３１の立下りは、Frame0'の画像データの圧縮が終了して、メモリ１上への圧縮済画像データの転送が終了したことを示している。同じ時刻t01において、制御信号３５は"Ｌ"レベルを示しており、解像度変換部１５での処理が実行されていないことを示している。また、制御信号３５は、時刻t2+Δt2からt3+Δt2の期間に解像度変換部１５の処理が実行されていることを、その信号線の状態を"Ｈ"レベルにすることによって示している。
【００７５】
図６に示すように、制御信号３１、３２及び３５は画像処理コントローラ２７に接続されている。画像処理コントローラ２７は、まず、制御信号３１の状態をみて、メモリ１からメモリ２へ転送すべき圧縮済画像データが既にメモリ１上に準備できているかどうかを判定する。制御信号３１の立下りで画像圧縮処理が終了したことを認識すると(時刻t01又はt3＋Δt1)、画像処理コントローラ２７は、制御専用バス４０を介して画像圧縮部１４へアクセスする。そして、メモリ１からメモリ２へ転送すべき圧縮済画像データの画像サイズを取得する。
【００７６】
次いで、画像処理コントローラ２７は、制御信号３２及び３５の状態から、第１バス１０に接続される各画像処理モジュールの処理状態がどのようになっているかを判定する。そして、例えば制御信号３２が"Ｌ"になっていた場合（画像入力データのメモリ１への転送が行われていない場合）には、制御信号３３を"Ｌ"にドライブして、ＣＰＵ２２に対してメモリ１へのアクセス許可を通知する。さらに、転送すべき画像サイズを第２バス２０経由でＣＰＵ２２に対して通知する(時刻t3＋Δt1)。
【００７７】
また、制御信号３２が"Ｈ"になっていた場合（画像入力データのメモリ１への転送が行われている場合）においては、他の制御信号の状態から第１バス１０でのデータの転送負荷を判定してメモリ１へのアクセス許可の可否を判定する。例えば、時刻t01においては、制御信号３５が"Ｌ"にドライブされているので、解像度変換部１５による解像度変換処理が行われていない。この場合、第１バス１０上でのデータの転送負荷は解像度変換処理が行われていない分だけ小さくなっているので、画像処理コントローラ２７は圧縮済みデータの転送が行われても差し支えないと判定する。そして、ＣＰＵ２２に対してメモリ１へのアクセス許可を通知すると共に、転送すべき画像サイズを第２バス２０経由でＣＰＵ２２に対して通知する。(時刻t01)。この後の動作は第１実施形態と同様であるので説明を省略する。
【００７８】
なお、本実施形態においては画像処理コントローラ２７が各画像処理モジュールからの制御信号の状態に応じてＣＰＵ２２へアクセス許可を通知する例を示したが、転送許可を発行する基準は制御信号線の状態に基づくもののみに限られない。例えば、各画像処理モジュールに対して特定の処理を指示するために画像処理コントローラ２７が設定を行ったパラメータの値(例えば画像サイズや処理レート等)と、その処理状態を示す制御信号線の状態を組み合わせてアクセス許可の可否を判定してもよい。
【００７９】
以上のように第３実施形態に係る構成では、画像処理コントローラ２７は、画像入力部１２、画像圧縮部１４だけでなく、他の画像処理モジュール（１３,１５）からも制御信号を受け取って、より高度な動作制御を行う。このため、本実施形態に係る構成によれば、メモリ１へのアクセス許可をより柔軟に発行ができるようになる。従って、画像処理系の処理タイミングを乱さずに、画像処理系側のデータへのアクセスを別の処理系から行うことがさらに容易になる。
【００８０】
＜＜第４実施形態＞＞
第４実施形態においては、メモリ２とメモリ１との間のデータ転送が、メモリ１からメモリ２への転送だけでなく、メモリ２からメモリ１へのデータ転送も存在する場合の例について説明する。第１実施形態との共通部分が多いので、基本的にはその図面及び符号等を流用し、異なる部分についてのみ詳細に説明する。
【００８１】
（画像処理装置の構成）
図９は本実施形態に係る画像処理装置の構成を示す図である。本実施形態の構成は第１実施形態とほぼ同様であるが、画像処理コントローラ２７に対して解像度変換部１５から制御信号３５が接続され、画像出力部１３から制御信号３６が接続されている。また画像出力部１３には表示部２０２が映像出力信号線２０３を介して接続されている。また、図１において画像圧縮部１４として示されていた画像処理モジュールの代わりに、画像圧縮伸長部１６が第１バス１０に接続されている。
【００８２】
（動作概要）
第４実施形態における大まかな処理のフローを図１０に示す。第１実施形態における図２のタイミング図と、入力画像データの圧縮処理に関しては同様である。ただし、画像出力のための画像伸長処理が画像圧縮伸長部１６で行われ、そのための伸長用データのメモリ間転送及び伸長データの出力が行われている点が図２と異なっている。
【００８３】
図１０において、Frame12A,Frame13A,ODD11A,ODD12Aなどのように、データを示す番号の後ろに“A”の文字が付されたものが映像出力用のデータ処理を示している。例えば、時刻t0で開始されたFrame12Aの画像データの伸長処理は時刻ta1で終了する。その後しばらくして画像出力のデータが転送されていないタイミングta2になると画像処理コントローラ２７が指示を出して、メモリ２からメモリ１へ次のFrame13A用の伸長用データの転送が実行される。
【００８４】
メモリ１に転送されたFrame13A用の伸長用データは、次の画像の伸長開始タイミングのt4が到来すると、画像圧縮伸長部１６に対して入力され、伸長処理が施される。時刻t4からta6にかけて伸長処理が施されたデータは再びメモリ１に保存され、次の映像出力タイミングの開始時刻であるta10まで待機した後、画像出力部１３から映像出力信号線２０３を通して表示部２０２に対して出力される。
【００８５】
一方、時刻ta1で伸長処理が終了していたFrame12Aの画像データは、時刻ta5がくるまでメモリ１上において保存される。そして、画像出力部１３から、時刻ta5からta7にかけてFrame12AのODDフィールドデータのODD12Aを出力し、時刻ta8からta9にかけてそのEVENフィールドデータのEVEN12Aを出力する。
【００８６】
（モジュール間の信号伝達）
図１１は、図１０を参照して説明したメモリ間転送のタイミングに関して、さらに詳細な信号伝達を示す図である。図１１において、制御信号３２は、画像入力部１２から出力される画像データの転送期間中であるかないかを示す信号である。図１１では、転送期間を"Ｈ"レベルで示している。従って、図１１の例ではt1〜t2及びt3〜t4の期間が非転送期間である。一方、制御信号３１は画像圧縮伸長部１６が圧縮もしくは伸長処理中であるかないかを示す信号である。ここでは、処理中であることを"Ｈ"レベルで示している。また、制御信号３６は画像出力部１３から出力される画像データの転送期間中であるかないかを示す信号である。図１１では、転送期間中であることを"Ｈ"レベルで示している。この場合、ta2〜ta3、ta4〜ta5、及びta7〜ta8の期間が非転送期間である。
【００８７】
図１１において、ta1の制御信号３１の立下りは、Frame12Aの画像データの伸長が終了して、メモリ１上への伸長済画像データの転送が終了したことを示している。同じ時刻ta1において、制御信号３２及び３６は"Ｈ"レベルを示しており、画像入力部１２、画像出力部１３共にデータが転送中であることを示している。
【００８８】
図９に示すように、制御信号３１、３２及び３６は画像処理コントローラ２７に接続されている。画像処理コントローラ２７は、制御信号３１の状態をみて、画像圧縮伸長部１６が処理中であるかどうかを判定する。即ち、画像処理コントローラ２７は、制御信号３１の立下りで、直前の画像処理が画像伸長処理であった場合(時刻ta1又はta6)、画像伸長処理が終了したことを認識する。
【００８９】
画像伸長処理の終了を認識すると、画像処理コントローラ２７は、制御信号３２及び３６の状態から、第１バス１０に接続される各画像処理モジュールの処理状態がどのようになっているかを判定する。そして、例えば時刻ta2になって制御信号３６が"Ｌ"に変化した（画像出力データのメモリ１から画像出力部１３への転送が行われていない）ことを検出した場合には、制御信号３３を"Ｌ"にドライブする。これにより、ＣＰＵ２２に対して次の画像伸長処理に用いるデータのメモリ２からメモリ１への転送許可を通知する。
【００９０】
転送許可通知を受けたＣＰＵ２２は、ＤＭＡＣ２３に対して、次の画像伸長処理に用いるデータ（ta2ではFrame13A、ta6ではFrame14A）のメモリ２からメモリ１への転送を指示する。転送指示を受けたＤＭＡＣ２３は、第２バス２０を用いてデータのＤＭＡ転送をメモリ２からメモリ１へ行う。ＤＭＡ転送が終了すると、ＤＭＡＣ２３は転送終了通知をＣＰＵ２２に対して通知する。転送終了通知を検出したＣＰＵ２２は、ネットワーク制御部２４からもたらされるパケット受信情報などを元に、その次のタイミングで伸長するべきデータのアドレス等を判定する。そして、必要に応じて予めＤＭＡＣ２３のレジスタに対して次の転送に備えた準備のための各種設定を行う。
【００９１】
一方、制御信号３１の立下りで直前の画像処理が画像圧縮処理であった場合(時刻t3＋Δt1)、画像処理コントローラ２７は、画像圧縮処理が終了したことを認識する。そして、画像処理コントローラ２７は、制御信号３２及び３６の状態から、第１バス１０に接続される各画像処理モジュールの処理状態を判定する。
【００９２】
時刻t3＋Δt1においては既に制御信号３２が"Ｌ"になっているので画像出力データのメモリ１から画像出力部１３への転送が行われていないことがわかる。このような場合には、制御信号３３を"Ｌ"にドライブして、ＣＰＵ２２に対して圧縮済みデータ（Frame1）のメモリ１からメモリ２への転送許可を通知する。この場合の動作に関しては、第１実施形態と同様であるので、ここでは説明を省略する。
【００９３】
なお、本実施形態においては画像処理コントローラ２７が各画像処理モジュールからの制御信号の状態に応じてＣＰＵ２２へアクセス許可を通知する例を示したが、これに限られない。即ち、画像処理コントローラ２７による転送許可を発行する判定基準は、制御信号線の状態のみによって規定されるものではない。例えば、各画像処理モジュールに対して特定の処理を指示するために画像処理コントローラ２７が設定を行ったパラメータの値(例えば画像サイズや処理レート等)と、その処理状態を示す制御信号線の状態を組み合わせてアクセス許可の可否を判定してもよい。
【００９４】
以上のように第４実施形態では、画像処理モジュール（１２,１３,１４,１５）による画像処理に伴うメモリアクセスが他の期間に比べて少ないと想定される期間に、画像データを第２のメモリ２から第１のメモリへ転送させる。このため、画像処理系の処理タイミングを乱さずに、画像処理系のメモリへのデータへの読出し及び書込みアクセスを別の処理系から行うことが実行できるようになる。
【００９５】
本発明によれば、画像処理のリアルタイム性を維持しながら、ネットワーク処理のような発生タイミングが一定でない処理を同時に行うことを可能にする技術を提供することができる。
【００９６】
また、本発明によれば、画像処理の周期性を利用して、処理モジュールに問題が発生したことを速やかに検出し、異常状態からの復旧を必要なモジュールに対してのみ行うことを可能にする技術も提供することができる。
【図面の簡単な説明】
【００９７】
【図１】画像処理装置の構成を示す図である。
【図２】画像処理装置の動作例を示すタイミング図である。
【図３】画像圧縮部と画像入力部でのそれぞれの処理終了が、ＤＭＡコントローラに対してどのようにして伝達されるかを示す図である。
【図４】画像処理装置の構成を示す図である。
【図５】画像圧縮部と画像入力部でのそれぞれの処理終了が、ＤＭＡコントローラに対して、割込み制御部２８経由でどのようにして伝達されるかを示す図である。
【図６】画像処理装置の構成を示す図である。
【図７】画像処理装置の動作例を示すタイミング図である。
【図８】メモリ間転送のタイミングに関する詳細を示す図である。
【図９】画像処理装置の構成を示す図である。
【図１０】画像処理装置の動作例を示すタイミング図である。
【図１１】メモリ間転送のタイミングに関する、詳細な信号伝達を示す図である。
【技術分野】
【０００１】
本発明は画像処理装置に関し、特に、所定の時間間隔で画像データを順次入力して処理を行う技術に関する。
【背景技術】
【０００２】
ビデオ信号のリアルタイム処理と計算機への画像入力処理とを並行して実行することができる信号処理装置としては、画像信号に同期した画像信号のバスとそのコントローラとを信号処理装置内に設けた構成が知られている（例えば、特許文献１参照）。
【特許文献１】昭６０−１３８６３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１に記載された構成では、画像データの転送とＣＰＵのデータ処理は並列に実行可能であるが、ＣＰＵで画像処理するための元データを画像信号バスで所定のタイミングでメモリに書く必要がある。そのため、ネットワーク処理のような外部起因による発生タイミングが一定でない処理を、画像処理のリアルタイム性を維持しながら当該システムで同時に行うことは困難であった。
【０００４】
本発明は上記課題に鑑みなされたものであり、画像処理のリアルタイム性を維持しながら、ネットワーク処理のような発生タイミングが一定でない処理を同時に行うことを可能にする技術を提供することを目的とする。
【０００５】
また、本発明は、画像処理の周期性を利用して、処理モジュールに問題が発生したことを速やかに検出し、異常状態からの復旧を行うことを可能にする技術も提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明による画像処理装置は以下の構成を有する。即ち、
画像入力手段から得られた画像データを処理するための画像処理手段と、
前記画像処理手段によって処理される画像データを格納する第１メモリと、
前記画像処理手段と前記第１メモリとの間で前記画像データを転送する第１バスと、
前記第１メモリから転送される画像データを格納する第２メモリと、
前記第１メモリおよび第２メモリに接続される第２バスと、
前記画像処理手段からの画像処理中ではないことを示す信号に応じて、前記第２バスを介して前記第１メモリに格納された画像データを前記第２メモリに転送する制御を実行する制御手段と、
を有する。
【発明の効果】
【０００７】
本発明によれば、画像処理のリアルタイム性を維持しながら、ネットワーク処理のような発生タイミングが一定でない処理を同時に行うことを可能にする技術を提供することができる。
【０００８】
また、本発明によれば、画像処理の周期性を利用して、処理モジュールに問題が発生したことを速やかに検出し、異常状態からの復旧を行うことを可能にする技術も提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。また、本実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【００１０】
＜＜第１実施形態＞＞
（画像処理装置の構成）
図１は本実施形態に係る画像処理装置の構成を示す図である。図１において１及び２はメモリ、１００は上記２つのメモリと接続されるＩＦ（interface）部としてのメモリ制御部（１１，２１）を有する画像処理部である。また、２００は撮像部であり、ここで撮影された映像信号が映像入力信号線２０１を介して画像処理部１００の画像入力部１２に入力されている。なお、画像処理装置は、半導体集積回路、デジタルカメラ、コンピュータ、カメラ付携帯電話等で実現することができる。
【００１１】
画像処理部１００において、１０は第１バスであり、１１はメモリ１（第１メモリ）と接続される第１メモリ制御部である。１２は画像入力部であり、所定の時間間隔で画像データを順次入力する。１３は画像出力部、１４は画像圧縮部、１５は解像度変換部である。第１バス１０はこれらの各画像処理モジュール（１２,１３,１４,１５）と第１メモリ制御部１１に接続されている。各画像処理モジュール（１２,１３,１４,１５）は、入力された画像データ、もしくは他の画像処理モジュールにおいて処理された画像データに対して画像処理を行う回路である。画像処理モジュールは一体的な回路であってもよいし、別個のものであってもよい。
【００１２】
また、２０は第２バスであり、２１はメモリ２（第２メモリ）と接続される第２メモリ制御部である。２２は画像処理部１００全体の制御を司るＣＰＵ、２３はＤＭＡコントローラ（ＤＭＡＣ:Direct Memory Access Controller）である。ＣＰＵ２２、ＤＭＡコントローラは、メモリ１に格納された画像データを第２バス２０を介してメモリ２へ転送させる制御を行う。
【００１３】
２４はネットワークインタフェースとしてのネットワーク制御部である。ネットワーク制御部２４は、画像処理モジュール（１２,１３,１４,１５）において画像処理がなされた画像処理済みの画像データを外部装置へ送出する。また、ネットワーク制御部２４は非同期処理手段の一例である。ネットワーク制御部２４に代えて、又はそれとともに、画像データの入力とは非同期に、入力された画像データに対して所定の処理を行う他の機能要素を設けてもよい。
【００１４】
２５はフラッシュＲＯＭ、２６は制御バスＩＦ、２７は画像処理コントローラである。第２バス２０はこれらの各処理モジュール（２２,２３,２４,２５,２６,２７）及び第１メモリ制御部１１と第２メモリ制御部２１に接続されている。
【００１５】
制御バスＩＦ２６及び画像処理コントローラ２７は、制御専用バス４０（制御バス）に接続されている。画像処理コントローラ２７は、この制御専用バス４０を介して、各画像処理モジュール（１２,１３,１４,１５）に対してアクセスし、各画像処理モジュールに対するパラメータの設定及び値の読み出し、モジュールの起動、停止などを実行する。また、ＣＰＵ２２も制御バスＩＦ２６を経由して、制御専用バス４０を介して各画像処理モジュール（１２,１３,１４,１５）に対してアクセスすることが可能である。
【００１６】
画像入力部１２からは、画像入力部１２の処理状態を伝える制御信号３２が画像処理コントローラ２７に対して送出される。同様に、画像圧縮部１４からは、画像圧縮部１４の処理状態を伝える制御信号３１が画像処理コントローラ２７に対して送出されている。また、画像処理コントローラ２７からは、制御信号３３がＣＰＵ２２に対して送出される。
【００１７】
本実施形態においては、第１バス１０は一定処理時間内での処理が要求される画像処理モジュール（１２,１３,１４,１５）が接続される画像バスである。そのため、本実施形態では、第１バス１０に接続された第１メモリ制御部１１に繋がるメモリ１の一例として、高速でメモリアクセス帯域が大きいＤＤＲ(Double Data Rate SDRAM)メモリを想定する。また、第１バス１０は、データの転送レート向上のために、データ転送時のバースト転送限定利用、アドレスとデータの発行順序の分離制御、リードとライト用のバスの分離などの機能が実装されている。更に、メモリの処理レイテンシ隠蔽のための画像処理データの特性に応じたメモリ１のバンクの使い分けも実装されている。
【００１８】
一方、第２バス２０には、ネットワーク制御部２４を含む処理の発生タイミングが一定でないモジュール等が接続されている。これらのモジュールでは、処理の発生タイミングは一定ではないものの、第１バスに比べると処理の実時間性への制約が小さい。このため、本実施形態では、一例として、それらのモジュールが主に使用するメモリ２としてＳＤＲ(Single Data Rate SDRAM)を想定する。ＳＤＲを利用したメモリ２は、ＤＤＲメモリを利用したメモリ１に比べて、消費電力が小さく、コストが小さい。第２バス２０のデータ転送は、第１バス１０のようにバースト転送のみに限定されず、第２バス２０はメモリ２へのランダムアクセスが可能である。
【００１９】
（動作概要）
本実施形態では、一例として、画像を撮像する撮像部２００から画像入力部１２を経由して３０フレーム/秒の一定レートで入力されたビデオ画像を、メモリ１上に保存する。そして、そのデータを処理対象の画像データとして再度メモリ１から読み出して、画像処理を行う。本実施形態では、画像処理の一例として画像圧縮部１４で圧縮する。この画像処理は、メモリ１上、即ち、第１メモリ上で実行される。なお、本実施形態では、ビデオ画像として、ODD（奇数）フィールドとEVEN（偶数）フィールドを交互に表示させるインタレース方式の画像を想定するが、データの方式はこれに限られない。
【００２０】
圧縮済画像データは再度メモリ１上に保存される。圧縮済画像データは画像処理コントローラ２７からの指示に基づいてメモリ１からメモリ２に対して第２バス２０を介して転送される。ＣＰＵ２２が当該圧縮データに対してヘッダをつけるなどの加工を行った後、ネットワーク制御部２４から外部ネットワークへ転送される。
【００２１】
ここで、本実施形態では、各画像処理モジュール（１２,１３,１４,１５）による画像処理が行われていない期間に、画像処理済みの画像データはメモリ１からメモリ２へ転送される。そして、ネットワーク制御部２４は、メモリ１ではなく、メモリ２から画像処理済みの画像データを読み出して、外部ネットワークへの転送等の処理を行う。このため、本実施形態に係る構成によれば、画像データの入力と同期して処理を行うことが必要な画像処理とは独立に、他の処理（本実施形態の例では外部ネットワークへの転送）を容易に行うことができる。
【００２２】
この処理のフローに関して図２を参照して詳細に説明する。図２は本実施形態に係る画像処理装置の動作例を示すタイミング図である。
【００２３】
図２において、ＶＳＹＮＣは、画像入力部１２に入力された映像入力信号線２０１の信号から抽出される垂直同期信号を示している。基本的にこの信号が"Ｈ"（High）である区間においては、映像信号中に有効なデータが含まれている。図２の例では、画像入力部１２において、時刻t0に、フレーム１のODDフィールド（ODD1）の画像データのメモリ１へのデータ転送が開始されている。
【００２４】
このデータ転送は、画像データが画像入力部１２に一定の量溜まる度に、画像入力部１２から第１バスに対して間欠的に転送要求が出され、メモリ１に対して書き込まれて実行される。図２の例では、当該転送がt0からt1の期間にわたって発生し、時刻t1においてODD1の全データが入力されたために中断されている。その後、時刻t2から、フレーム１のEVENフィールド（EVEN1）の画像データのメモリ１へのデータ転送が再開されている。この転送は時刻t3においてEVEN1の全データが入力されたために中断し、次いで時刻t4にフレーム２のODDフィールド(ODD2)の画像転送が開始されている。
【００２５】
画像入力部１２ではこのような処理が繰り返されており、ビデオ信号入力が３０フレーム/秒の一定レートで入力されているとすると、t0〜t4間の時間はおよそ３３.３ミリ秒となる。ビデオ信号は連続して次々入力されるため、この転送処理は確実に３３.３ミリ秒以内に終了させる必要がある。
【００２６】
一方、画像圧縮部１４、及び解像度変換部１５は、ODD1とEVEN1の組み合わせにより生成されるFrame1の画像データを第１バス１０のリード用バスを使って順次読み出す。そして、画像圧縮部１４は画像圧縮処理を実行し、解像度変換部１５は解像度変換処理を実行する。これらの処理は、画像入力部１２からメモリ１に対してEVEN1のデータの転送が開始された時刻t2からわずかの時間Δt（時刻t1,t2の間隔に対して極めて短いため不図示）後、メモリ１上にあるデータが読み出し可能な状態になると開始される。処理を行った結果のデータは、第１バス１０のライト用バスを使ってメモリ１上に書き込まれる。これらのデータの処理も画像入力データが転送されるのと同様に処理可能なデータがメモリ上に溜まるたびに間欠的に読み出されて実行され、t2からt3間での期間に対してΔtの遅延を持って実行される。
【００２７】
更に、画像圧縮部１４は先に時刻t2〜t3において解像度変換部１５が解像度変換処理した画像データFrame1'に対して、時刻t4から圧縮処理を開始する。圧縮済画像データFrame1'はFrame1と同様に第１バス１０を利用してメモリ１上に書き込まれる。
【００２８】
メモリ１上に書き込まれたデータは、第２バス２０上に存在するＤＭＡコントローラ２３によってメモリ１からメモリ２へ転送される。図２においては、メモリ間転送が、画像圧縮部１４と画像入力部１２でのそれぞれの処理終了を契機として開始している様子を矢印で示している。
【００２９】
画像出力部１３は、時刻t4から、画像入力部１２に入力されたODD1、次いでEVEN1の画像データを１フレーム遅れで出力していく。以上の説明では、時刻t0に画像入力部１２に入力が開始されたフレーム１の画像データに注目して処理の流れを説明したが、このような処理が画像処理部１００では約３３.３ms周期で繰り返して実行されることになる。
【００３０】
（モジュール間の信号伝達）
次に、画像処理装置が上記のような動作を行う場合の、モジュール間における信号伝達について図３を参照して説明する。図３は、図２を参照して説明した、画像圧縮部１４と画像入力部１２でのそれぞれの処理終了が、ＤＭＡコントローラ２３に対してどのようにして伝達されるかを示す図である。
【００３１】
図３において、制御信号３２は、画像入力部１２において、画像データの転送期間中であるかないかを示す信号である。図３において、転送期間中であることを制御信号３２の"Ｈ"レベルで示している。そして、t1〜t2及びt3〜t4の期間が非転送期間であることを制御信号３２の"Ｌ"レベルで示している。この制御信号３２の"Ｌ"レベルが許可信号の１つである。また、制御信号３１は画像圧縮部１４が圧縮処理中であるかないかを示す信号である。ここでは、圧縮処理中であることを制御信号３１の"Ｈ"レベルで示している。この場合、t01の制御信号３１の立下りは、Frame0'の画像データの圧縮が終了して、メモリ１上への圧縮済画像データの転送が終了したことを示している。同様に、t3＋Δtの制御信号３１の立下りは、Frame1の画像データの圧縮が終了して、メモリ１上への圧縮済画像データの転送が終了したことを示している。すなわち、圧縮処理中ではない状態を制御信号３１の"Ｌ"レベルで示している。
【００３２】
図１に示すように、制御信号３１及び３２は画像処理コントローラ２７に接続されている。画像処理コントローラ２７は、まず、制御信号３１の状態に基づいて、メモリ１からメモリ２へ転送すべき圧縮済画像データが既にメモリ１上に準備できているかどうかを判定する。制御信号３１の立下りで画像圧縮処理が終了した（圧縮処理中ではない）ことを認識すると（時刻t01、又は、t3＋Δt）、画像処理コントローラ２７は、画像圧縮部１４へアクセスする。そして、画像処理コントローラ２７は、メモリ１からメモリ２へ転送すべき圧縮済画像データの画像サイズを取得する。ここで、画像圧縮部１４へのアクセスは制御専用バス４０を介して行われる。
【００３３】
なお、ここで、画像処理コントローラ２７は、制御信号３１及び３２を用いて、画像入力部１２及び画像圧縮部１４の動作状態を監視している。例えば、画像入力部１２からの制御信号線３２は、本実施形態においては前述したように約３３.３ｍｓごとにODDとEVENの２回のフィールドデータ転送により、２回Ｌの期間を発生することが期待される。
【００３４】
また、制御信号線３１は画像圧縮部１４における圧縮処理に要する時間毎にＬになることが期待される。画像処理コントローラ２７は、内部にタイマ機能(図示せず)を保持しており、制御信号線毎に極性が反転するタイミングを監視している。そして、各画像処理モジュールの特性、及び処理内容に応じて定まる一定の期間に達しても当該制御信号線に変化が現れない場合には、当該モジュールに異常が発生したと認識する。その場合、画像処理コントローラ２７は、異常が発生した画像処理モジュール及びその異常の影響を受けると想定されるモジュールに対して、制御専用バス４０を介してモジュールの初期化及び再起動の命令を発行する。
【００３５】
同時に、画像処理コントローラ２７は、画像処理モジュールの初期化を実施したことをＣＰＵ２２に対して第２バスを介して通知をする。当該通知を受けたＣＰＵ２２は、画像処理が復旧するまでの間、必要に応じて既にメモリ２に転送されている過去の圧縮データを利用して画像送信処理を行うなどの処理を行う。
【００３６】
なお、ここで各画像処理モジュールの特性、及び処理内容に応じて定まる一定の期間とは、例えば画像圧縮部１４の場合およそ、次の式で算出されるＴ(timeout)で近似することができる。
Ｔ(timeout)＝２×MAX（Ａ＋Ｂ×Ｃ, Ｄ）
但し、Ａ，Ｂ，Ｃ，Ｄは以下のとおりである。
Ａ：圧縮方式毎に定まる画像データの処理時間（圧縮処理部１４内のソフトウェア処理ルーチンを切り替えるためにプログラムを圧縮処理部１４にロードする時間、あるいは画像データのヘッダを生成する作業に要する時間等、画像サイズに依存しない時間）。
Ｂ：圧縮方式ごとに定まる単位画像サイズあたりの画像データの処理時間。
Ｃ：処理対象の画像データの１フレームの画像サイズ。
Ｄ：画像処理部への当該画像サイズのデータを供給するために要する時間。
【００３７】
図２において、Frame1の処理時間はt2〜t3であるが、これは圧縮処理部１４への圧縮用データの供給が画像入力部１２からのデータ転送時間によって律速されるためである。この場合は上記式のＤの項が意味を持つ。一方、Frame1’の処理時間（t4〜t5）に関しては、既に圧縮に用いるデータがメモリ１上に準備されているため、データ転送時間（Ｄの項）は律速にはならず、Ａ＋Ｂ×Ｃの項が意味を持つ。最終的に異常と判定されるまでの期間は上記の処理時間の２倍とここでは設定している。これは、想定した処理の２倍以上の時間を要しているようでは、リアルタイム性を維持しながら処理を行う本モジュールの特性を維持し得ないからである。
【００３８】
次いで、圧縮処理中ではない状態において、画像処理コントローラ２７は、制御信号３２の状態に基づいて、画像処理の上で最優先すべき画像入力データのメモリ１への転送処理が行われているかどうかを判定する。制御信号３２が"Ｌ"（Low）になっていた場合（画像入力データのメモリ１への転送が行われていない場合）には、制御信号３３を"Ｌ"にドライブして、ＣＰＵ２２に対してメモリ１へのアクセス許可を通知する。さらに、転送すべき画像サイズを第２バス２０経由でＣＰＵ２２に対して通知する。これらの通知は、画像処理中ではないことを示す信号であり、ＣＰＵ２２に対する画像データの転送を指示する信号に相当する。
【００３９】
メモリ１へのアクセス許可を制御信号３３を介して通知されたＣＰＵ２２は、ＤＭＡコントローラ２３に対して、第２バス２０を介して転送すべき圧縮済画像データ画像サイズを通知する。さらに、ＣＰＵ２２は、当該データのメモリ１からメモリ２への転送開始をＤＭＡコントローラ２３に対し指示する。ＣＰＵ２２からの指示を受け取ったＤＭＡコントローラ２３は第２バス２０を介して第１メモリ制御部１１にアクセスし、Frame0'の圧縮済み画像データをメモリ１から読み出してメモリ２への転送を時刻t1に開始する。同様に時刻t3＋Δtにおいては、Frame1のデータの転送を開始する。
【００４０】
なお、ここでＣＰＵ２２は、画像処理コントローラ２７が制御信号３１及び３２を監視していたのと同様に、制御信号３３を用いて、画像処理コントローラ２７の動作状態を監視している。制御信号線３３は画像転送要求を発生するため、定期的にＬになることが期待される。ＣＰＵ２２は、内部にタイマ機能(図示せず)を保持しており、制御信号線３３の極性が反転するタイミングを監視している。そして、画像処理コントローラ２７に対して要求している処理内容に応じて定まる一定の期間に達しても制御信号線３３に変化が現れない場合には、画像処理コントローラ２７に対する問い合わせを第２バス経由で行う。画像処理コントローラが応答を返さない場合、もしくは異常の発生が返された場合には、ＣＰＵ２２は画像処理コントローラ２７の初期化及び再起動を行う。
【００４１】
なお、画像処理コントローラ２７に対して要求している処理内容に応じて定まる一定の期間とは、例えばネットワークを介して外部の装置から要求されている画像のフレームレートがＥフレーム/秒であった場合、次の式で近似することができる。
Ｔ(timeout)＝Ｆ×(１/Ｅ)
但し、Ｆ：２以上のシステム要求によって定まる値。
【００４２】
これは、想定したフレームレートの処理間隔の最大F倍までの処理遅延を許すというものであり、画像処理バッファの容量、ネットワーク等の伝送遅延等を考慮して決められる値である。
【００４３】
もちろん、この値の決め方は一例であり、異常検出までの待ち時間の決め方は、必要に応じて変更することが可能である。
【００４４】
ＤＭＡコントローラ２３は圧縮済み画像データの転送が終了すると、転送終了通知を第２バス２０経由でＣＰＵ２２に対して通知する。ＣＰＵ２２は転送終了通知を受け取ると、次の転送に備えて、予め転送元先頭アドレス、転送先先頭アドレスなどの情報をＤＭＡコントローラ２３に対して設定し(図中点線矢印)、待機する。
【００４５】
メモリ２に転送された圧縮済み画像データは、ＣＰＵ２２が当該圧縮データに対してヘッダをつけるなどの加工を行った後、ネットワーク制御部２４から外部ネットワークへ転送される。これらのメモリ２上のデータへのアクセスは第２バス２０経由で行われるため、第１バス１０の動作には関係なく実行される。そのため、第１バス１０に接続された画像処理モジュールにおける処理は、第２バス２０上の各モジュールの動作の影響を受けずに実行することが可能になる。
【００４６】
なお、本実施形態においては画像処理コントローラ２７からＣＰＵ２２へアクセス許可を通知する例を示したが、メモリ間転送を制御する方式はこれに限られない。例えば、画像処理コントローラ２７から第２バス２０を経由して直接ＤＭＡコントローラ２３を制御してメモリ間転送を実現することも可能である。
【００４７】
以上のように、第１実施形態に係る構成は、一定時間以内の処理を要求される画像処理系と、ランダム処理が発生し得るデータ処理系を分離している。そして、ランダム処理が発生し得るデータ処理系は、画像処理系からの指示に応じて所定の処理を行う。このため、ランダム処理が発生し得るデータ処理系は、画像処理系の処理タイミングを乱さずに、画像処理系側のデータへのアクセスを容易に行うことができる。従って、ネットワーク処理のような外部起因による発生タイミングが一定でない処理を、画像処理のリアルタイム性を維持しながら当該システムで同時に行うことが容易になる。
【００４８】
更に、画像処理モジュールへの制御のバス（制御専用バス４０）を、第１バス１０、第２バス２０とは別に設けることにより、画像処理モジュールのメモリへのアクセスを阻害することなく画像処理モジュールの制御が可能になる。このため、より一層、画像処理のリアルタイム性を保つことが容易になる。
【００４９】
更に、画像処理に主に用いる第１のメモリ１とその他のシステム用に用いる第２のメモリ２とを分離したことにより、各処理部に最適な速度及び容量のメモリを用いることが可能である。また、従来のシステムに比べて、メモリ部での消費電力の削減が図ることが可能になる。
【００５０】
更に、画像処理コントローラ２７及びＣＰＵ２２で各モジュールの処理の特性に応じた時間間隔で信号線の状態を監視する。これにより、静電気等のノイズや他の原因による処理モジュールの誤動作に対しても速やかに対応し、映像を処理できなくなる期間を短くすることが可能になる。
【００５１】
更に、画像処理に主に用いる第１のメモリ１及び第１バス１０とその他のシステム用に用いる第２のメモリ２及び第２バス２０とを分離したことにより、画像処理関係のモジュールにのみ選択的に初期化等の処理を施すことができる。これにより、画像処理部の誤動作の発生時にＯＳも含めたシステム全体を初期化することなく、必要な処理部のみを選択的に初期化することが可能になる。
【００５２】
＜＜第２実施形態＞＞
第２実施形態においては、第２バス２０に接続された割込制御手段としての割込み制御部２８を介してＣＰＵ２２が直接第１のメモリ１へのアクセス許可を判定し、ＤＭＡコントローラ２３を制御する構成例を示す。本実施形態の構成は第１実施形態との共通部分が多いため、基本的にはその図面及び符号等を流用し、異なる部分についてのみ詳細に説明する。
【００５３】
（画像処理装置の構成）
図４は本実施形態に係る画像処理装置の構成を示す図である。本実施形態の構成は第１実施形態の図１とほぼ同等であるが、第２バス２０に対して割込み制御部２８が接続されている。そして、画像圧縮部１４からの制御信号３１及び画像入力部１２からの制御信号３２がこの割込み制御部２８に接続されている。また、INT信号３４が割込み制御部２８からＣＰＵ２２に対して接続されている。
【００５４】
ここで、INT信号３４は、割込み制御部２８に割り込みが発生したことを示す信号線である。INT信号３４は、割り込みが発生すると"Ｌ"（Low）にドライブされ、割込み要因がＣＰＵ２２によって割込み制御部２８から読み取られると"Ｈ"（High）にクリアされる。第２実施形態における大まかな処理のフローは、第１実施形態と同等であるので、ここでは説明を省略する。
【００５５】
（モジュール間の信号伝達）
次に、画像処理装置を構成する各モジュール間における信号伝達について図５を参照して説明する。図５は、図２において示した画像圧縮部１４と画像入力部１２でのそれぞれの処理終了がＤＭＡコントローラ２３に対して割込み制御部２８経由でどのようにして伝達されるかを示す図である。
【００５６】
図５において、制御信号３２は、画像入力部１２から出力される画像データの転送期間中であるかないかを示す信号である。図５では、転送期間中であることを"Ｈ"レベルで示している。この場合、t1〜t2及びt3〜t4の期間は非転送期間である。一方、制御信号３１は画像圧縮部１４が圧縮処理中であるかないかを示す信号である。ここでは、圧縮処理中であることを"Ｈ"レベルで示している。この場合、t01の制御信号３１の立下りは、Frame0'の画像データの圧縮が終了して、メモリ１上への圧縮済画像データの転送が終了したことを示している。同様に、t3＋Δtの制御信号３１の立下りは、Frame1の画像データの圧縮が終了して、メモリ１上への圧縮済画像データの転送が終了したことを示している。
【００５７】
図４に示すように、制御信号３１及び３２は割込み制御部２８に接続されている。割込み制御部２８は、制御信号３１の状態を検出する。制御信号３１の立下りで画像圧縮処理が終了したことを検出すると(時刻t01又はt3＋Δt)、割込み制御部２８は、INT信号３４を"Ｌ"にドライブして、ＣＰＵ２２に対して割り込みを通知する。割り込みを通知されたＣＰＵ２２は、第２バス２０を介して割込み制御部にアクセスし（図５中一点鎖線の矢印にて示す）、割り込みの発生した原因が画像圧縮部１４の処理終了であったことを認識する。ＣＰＵ２２によってアクセスされた割込み制御部２８は、INT信号３４のレベルを"Ｈ"にドライブして、割込み状態を解除する。画像圧縮部１４の圧縮処理終了を認識したＣＰＵ２２は、制御バスＩＦ２６から制御専用バス４０を介して画像圧縮部１４へアクセスし、メモリ１からメモリ２へ転送すべき圧縮済画像データの画像サイズの情報を取得する。
【００５８】
なお、ここで、ＣＰＵ２２はINT信号３４を用いて、画像入力部１２及び画像圧縮部１４の動作状態を監視している。ＣＰＵ２２は内部に各処理部に対応したタイマ機能(図示せず)を保持しており、INT信号３４に応じて割込み制御部２８にアクセスした結果認識した割込み要因により、そのタイマを再起動する。そして、各画像処理モジュールの特性、及び処理内容に応じて定まる一定の期間に達してもそれに対応したINT信号３４が現れない場合には、当該モジュールに異常が発生したと認識する。その場合、ＣＰＵ２２は、異常が発生した画像処理モジュール及びその異常の影響を受けると想定されるモジュールに対して、制御バスIF２６から制御専用バス４０を介してモジュールの初期化及び再起動の命令を発行する。それ以降の初期化の動作及び異常検出時間の設定に関しては、第１の実施形態とほぼ同じであるので、ここでは説明を省略する。
【００５９】
また、割込み制御部２８は、制御信号３２の状態も制御信号３１の状態と同様に検出する。制御信号３２の立下りを検出した場合（画像入力データのメモリ１への転送が終了した場合）には、INT信号３４を"Ｌ"にドライブしてＣＰＵ２２に対して割り込みを通知する。割り込みを通知されたＣＰＵ２２は、第２バス２０を介して割込み制御部にアクセスし（図５中点線上向きの矢印にて示す）、割り込みの発生した原因が画像入力部１２のデータ転送終了であったことを認識する。ＣＰＵ２２によってアクセスされた割込み制御部２８は、INT信号３４のレベルを"Ｈ"にドライブして、割込み状態を解除する。
【００６０】
圧縮処理の終了とデータ転送の終了処理の双方を認識し、ＣＰＵ２２は、メモリ１へのアクセスを行っても差し支えない状態（画像処理中ではない状態）であると判断する。すると、ＣＰＵ２２は、ＤＭＡコントローラ２３に対して、第２バス２０を介して転送すべき圧縮済画像データ画像サイズを通知する。さらに、ＣＰＵ２２は、ＤＭＡコントローラ２３に対して、当該データのメモリ１からメモリ２への転送開始を指示する。ＣＰＵ２２からの指示を受け取ったＤＭＡコントローラ２３は第２バス２０を介して第１メモリ制御部１１にアクセスし、Frame0'の圧縮済み画像データをメモリ１から読み出してメモリ２へ転送する動作を時刻t1に開始する。同様に時刻t3＋Δtにおいては、Frame1のデータの転送を開始する。
【００６１】
ＤＭＡコントローラ２３は圧縮済み画像データの転送が終了すると、転送終了通知を第２バス２０経由でＣＰＵ２２に対して通知する。ＣＰＵ２２は転送終了通知を受け取ると、次の転送に備えて、予め転送元先頭アドレス、転送先先頭アドレスなどの情報をＤＭＡコントローラ２３に対して設定し(図中点線矢印)、待機する。
【００６２】
メモリ２に転送された圧縮済み画像データは、ＣＰＵ２２が当該圧縮データに対してヘッダをつけるなどの加工を行った後、ネットワーク制御部２４から外部ネットワークへ転送される。これらのメモリ２上のデータへのアクセスは第２バス２０経由で行われるため、第１バス１０の動作には関係なく実行される。そのため、第１バス１０に接続された画像処理モジュールにおける処理は、第２バス２０上の各モジュールの動作の影響を受けずに実行することが可能になる。
【００６３】
なお、本実施形態においては割込み制御部２８からＣＰＵ２２へINT信号で画像処理モジュールの状態を通知する例を示したが、メモリ間転送を実現する方式はこれに限られない。例えば、割込み制御部２８から直接ＤＭＡコントローラ２３に対して別の制御信号を入力するようにして、メモリ間転送を実現することも可能である。その場合、予めＣＰＵ２２が転送先アドレス等を設定しておき、メモリ間転送の開始タイミングを制御信号３１及び３２の状態から割込み制御部が生成して、前記別の制御信号としてＤＭＡコントローラ２３に対してドライブすれば実現できる。
【００６４】
以上のように、第２実施形態に係る構成は、一定時間以内の処理を要求される画像処理系と、ランダム処理が発生し得るデータ処理系を分離している。そして、ランダム処理が発生し得るデータ処理系は、画像処理系からの指示に応じて所定の処理を行う。このため、ランダム処理が発生し得るデータ処理系は、画像処理系の処理タイミングを乱さずに、画像処理系側のデータへのアクセスを容易に行うことができる。従って、ネットワーク処理のような外部起因による発生タイミングが一定でない処理を、画像処理のリアルタイム性を維持しながら当該システムで同時に行うことが容易になる。
【００６５】
特に、本実施形態では、ＣＰＵ２２へINT信号３４により割込信号を出力する割込み制御部２８を設けたことにより、画像処理コントローラ２７は、各画像処理モジュール（１２,１３,１４,１５）の動作制御に専念することができる。
【００６６】
また、画像処理モジュールへの制御のバス（制御専用バス４０）を、第１バス１０、第２バス２０とは別に設けることにより、画像処理モジュールのメモリへのアクセスを阻害することなく画像処理モジュールの制御が可能になる。このため、より一層、画像処理のリアルタイム性を保つことが容易になる。
【００６７】
更に、画像処理に主に用いる第１のメモリ１とその他のシステム用に用いる第２のメモリ２とを分離したことにより、各処理部に最適な速度及び容量のメモリを用いることが可能である。また、従来のシステムに比べて、メモリ部での消費電力の削減が図ることが可能になる。
【００６８】
更に、ＣＰＵ２２で各画像処理モジュールの処理の特性に応じた時間間隔でINT信号線の状態を監視する。これにより、静電気等のノイズや他の原因による画像処理モジュールの誤動作に対しても速やかに対応し、映像を処理できなくなる期間を短くすることが可能になる。
【００６９】
更に、画像処理に主に用いる第１のメモリ１及び第１バス１０とその他のシステム用に用いる第２のメモリ２及び第２バス２０とを分離したことにより、画像処理モジュールにのみ選択的に初期化等の処理を施すことができる。これにより、画像処理部の誤動作の発生時にＯＳも含めたシステム全体を初期化することなく、必要な処理部のみを選択的に初期化することが可能になる。
【００７０】
＜＜第３実施形態＞＞
第３実施形態においては、画像処理コントローラ２７が第１バス１０に接続された各モジュールの処理状態を示す制御信号３１、３２、３５、３６の状態を元にして、ＣＰＵ２２に対してメモリ１へのアクセス許可を発行する構成を説明する。第１実施形態との共通部分が多いので、基本的にはその図面及び符号等を流用し、異なる部分についてのみ詳細に説明する。なお、制御信号３６を使用する制御の詳細は第４実施形態で説明する。
【００７１】
（画像処理装置の構成）
図６は本実施形態に係る画像処理装置の構成を示す図である。本実施形態の構成は第１実施形態の構成とほぼ同様であるが、画像処理コントローラ２７に対して解像度変換部１５から制御信号３５が接続され、画像出力部１３から制御信号３６が接続されている。
【００７２】
（動作概要）
第３実施形態における大まかな処理のフローを図７に示す。第１実施形態における図２のタイミング図とほぼ同じであるが、解像度変換された画像データを扱う場合のメモリ間転送の発生タイミングが、第１実施形態と異なっている。第１実施形態の図２では、メモリ間転送は必ず画像入力データの転送が発生しないタイミングで開始されていた。これに対し、図７においては、解像度変換されて生成された縮小画像の圧縮(Frame0'及びFrame1')が終了した直後(t01及びt45)に、圧縮されたデータに関してメモリ間転送が行われている。
【００７３】
（モジュール間の信号伝達）
図８は、図７を参照して説明した上記のメモリ間転送のタイミングに関して、詳細を示す図である。図８において、制御信号３２は、画像入力部１２から出力される画像データの転送期間中であるかないかを示す信号である。図８では、転送期間を"Ｈ"レベルで示している。従って、図８の例ではt1〜t2及びt3〜t4の期間が非転送期間である。一方、制御信号３１は画像圧縮部１４が圧縮処理中であるかないかを示す信号である。ここでは、圧縮処理中であることを"Ｈ"レベルで示している。
【００７４】
また、制御信号３５は解像度変換部１５が解像度変換処理中であるかないかを示す信号である。ここでは、解像度変換処理中であることを"Ｈ"レベルで示している。この場合、t01の制御信号３１の立下りは、Frame0'の画像データの圧縮が終了して、メモリ１上への圧縮済画像データの転送が終了したことを示している。同じ時刻t01において、制御信号３５は"Ｌ"レベルを示しており、解像度変換部１５での処理が実行されていないことを示している。また、制御信号３５は、時刻t2+Δt2からt3+Δt2の期間に解像度変換部１５の処理が実行されていることを、その信号線の状態を"Ｈ"レベルにすることによって示している。
【００７５】
図６に示すように、制御信号３１、３２及び３５は画像処理コントローラ２７に接続されている。画像処理コントローラ２７は、まず、制御信号３１の状態をみて、メモリ１からメモリ２へ転送すべき圧縮済画像データが既にメモリ１上に準備できているかどうかを判定する。制御信号３１の立下りで画像圧縮処理が終了したことを認識すると(時刻t01又はt3＋Δt1)、画像処理コントローラ２７は、制御専用バス４０を介して画像圧縮部１４へアクセスする。そして、メモリ１からメモリ２へ転送すべき圧縮済画像データの画像サイズを取得する。
【００７６】
次いで、画像処理コントローラ２７は、制御信号３２及び３５の状態から、第１バス１０に接続される各画像処理モジュールの処理状態がどのようになっているかを判定する。そして、例えば制御信号３２が"Ｌ"になっていた場合（画像入力データのメモリ１への転送が行われていない場合）には、制御信号３３を"Ｌ"にドライブして、ＣＰＵ２２に対してメモリ１へのアクセス許可を通知する。さらに、転送すべき画像サイズを第２バス２０経由でＣＰＵ２２に対して通知する(時刻t3＋Δt1)。
【００７７】
また、制御信号３２が"Ｈ"になっていた場合（画像入力データのメモリ１への転送が行われている場合）においては、他の制御信号の状態から第１バス１０でのデータの転送負荷を判定してメモリ１へのアクセス許可の可否を判定する。例えば、時刻t01においては、制御信号３５が"Ｌ"にドライブされているので、解像度変換部１５による解像度変換処理が行われていない。この場合、第１バス１０上でのデータの転送負荷は解像度変換処理が行われていない分だけ小さくなっているので、画像処理コントローラ２７は圧縮済みデータの転送が行われても差し支えないと判定する。そして、ＣＰＵ２２に対してメモリ１へのアクセス許可を通知すると共に、転送すべき画像サイズを第２バス２０経由でＣＰＵ２２に対して通知する。(時刻t01)。この後の動作は第１実施形態と同様であるので説明を省略する。
【００７８】
なお、本実施形態においては画像処理コントローラ２７が各画像処理モジュールからの制御信号の状態に応じてＣＰＵ２２へアクセス許可を通知する例を示したが、転送許可を発行する基準は制御信号線の状態に基づくもののみに限られない。例えば、各画像処理モジュールに対して特定の処理を指示するために画像処理コントローラ２７が設定を行ったパラメータの値(例えば画像サイズや処理レート等)と、その処理状態を示す制御信号線の状態を組み合わせてアクセス許可の可否を判定してもよい。
【００７９】
以上のように第３実施形態に係る構成では、画像処理コントローラ２７は、画像入力部１２、画像圧縮部１４だけでなく、他の画像処理モジュール（１３,１５）からも制御信号を受け取って、より高度な動作制御を行う。このため、本実施形態に係る構成によれば、メモリ１へのアクセス許可をより柔軟に発行ができるようになる。従って、画像処理系の処理タイミングを乱さずに、画像処理系側のデータへのアクセスを別の処理系から行うことがさらに容易になる。
【００８０】
＜＜第４実施形態＞＞
第４実施形態においては、メモリ２とメモリ１との間のデータ転送が、メモリ１からメモリ２への転送だけでなく、メモリ２からメモリ１へのデータ転送も存在する場合の例について説明する。第１実施形態との共通部分が多いので、基本的にはその図面及び符号等を流用し、異なる部分についてのみ詳細に説明する。
【００８１】
（画像処理装置の構成）
図９は本実施形態に係る画像処理装置の構成を示す図である。本実施形態の構成は第１実施形態とほぼ同様であるが、画像処理コントローラ２７に対して解像度変換部１５から制御信号３５が接続され、画像出力部１３から制御信号３６が接続されている。また画像出力部１３には表示部２０２が映像出力信号線２０３を介して接続されている。また、図１において画像圧縮部１４として示されていた画像処理モジュールの代わりに、画像圧縮伸長部１６が第１バス１０に接続されている。
【００８２】
（動作概要）
第４実施形態における大まかな処理のフローを図１０に示す。第１実施形態における図２のタイミング図と、入力画像データの圧縮処理に関しては同様である。ただし、画像出力のための画像伸長処理が画像圧縮伸長部１６で行われ、そのための伸長用データのメモリ間転送及び伸長データの出力が行われている点が図２と異なっている。
【００８３】
図１０において、Frame12A,Frame13A,ODD11A,ODD12Aなどのように、データを示す番号の後ろに“A”の文字が付されたものが映像出力用のデータ処理を示している。例えば、時刻t0で開始されたFrame12Aの画像データの伸長処理は時刻ta1で終了する。その後しばらくして画像出力のデータが転送されていないタイミングta2になると画像処理コントローラ２７が指示を出して、メモリ２からメモリ１へ次のFrame13A用の伸長用データの転送が実行される。
【００８４】
メモリ１に転送されたFrame13A用の伸長用データは、次の画像の伸長開始タイミングのt4が到来すると、画像圧縮伸長部１６に対して入力され、伸長処理が施される。時刻t4からta6にかけて伸長処理が施されたデータは再びメモリ１に保存され、次の映像出力タイミングの開始時刻であるta10まで待機した後、画像出力部１３から映像出力信号線２０３を通して表示部２０２に対して出力される。
【００８５】
一方、時刻ta1で伸長処理が終了していたFrame12Aの画像データは、時刻ta5がくるまでメモリ１上において保存される。そして、画像出力部１３から、時刻ta5からta7にかけてFrame12AのODDフィールドデータのODD12Aを出力し、時刻ta8からta9にかけてそのEVENフィールドデータのEVEN12Aを出力する。
【００８６】
（モジュール間の信号伝達）
図１１は、図１０を参照して説明したメモリ間転送のタイミングに関して、さらに詳細な信号伝達を示す図である。図１１において、制御信号３２は、画像入力部１２から出力される画像データの転送期間中であるかないかを示す信号である。図１１では、転送期間を"Ｈ"レベルで示している。従って、図１１の例ではt1〜t2及びt3〜t4の期間が非転送期間である。一方、制御信号３１は画像圧縮伸長部１６が圧縮もしくは伸長処理中であるかないかを示す信号である。ここでは、処理中であることを"Ｈ"レベルで示している。また、制御信号３６は画像出力部１３から出力される画像データの転送期間中であるかないかを示す信号である。図１１では、転送期間中であることを"Ｈ"レベルで示している。この場合、ta2〜ta3、ta4〜ta5、及びta7〜ta8の期間が非転送期間である。
【００８７】
図１１において、ta1の制御信号３１の立下りは、Frame12Aの画像データの伸長が終了して、メモリ１上への伸長済画像データの転送が終了したことを示している。同じ時刻ta1において、制御信号３２及び３６は"Ｈ"レベルを示しており、画像入力部１２、画像出力部１３共にデータが転送中であることを示している。
【００８８】
図９に示すように、制御信号３１、３２及び３６は画像処理コントローラ２７に接続されている。画像処理コントローラ２７は、制御信号３１の状態をみて、画像圧縮伸長部１６が処理中であるかどうかを判定する。即ち、画像処理コントローラ２７は、制御信号３１の立下りで、直前の画像処理が画像伸長処理であった場合(時刻ta1又はta6)、画像伸長処理が終了したことを認識する。
【００８９】
画像伸長処理の終了を認識すると、画像処理コントローラ２７は、制御信号３２及び３６の状態から、第１バス１０に接続される各画像処理モジュールの処理状態がどのようになっているかを判定する。そして、例えば時刻ta2になって制御信号３６が"Ｌ"に変化した（画像出力データのメモリ１から画像出力部１３への転送が行われていない）ことを検出した場合には、制御信号３３を"Ｌ"にドライブする。これにより、ＣＰＵ２２に対して次の画像伸長処理に用いるデータのメモリ２からメモリ１への転送許可を通知する。
【００９０】
転送許可通知を受けたＣＰＵ２２は、ＤＭＡＣ２３に対して、次の画像伸長処理に用いるデータ（ta2ではFrame13A、ta6ではFrame14A）のメモリ２からメモリ１への転送を指示する。転送指示を受けたＤＭＡＣ２３は、第２バス２０を用いてデータのＤＭＡ転送をメモリ２からメモリ１へ行う。ＤＭＡ転送が終了すると、ＤＭＡＣ２３は転送終了通知をＣＰＵ２２に対して通知する。転送終了通知を検出したＣＰＵ２２は、ネットワーク制御部２４からもたらされるパケット受信情報などを元に、その次のタイミングで伸長するべきデータのアドレス等を判定する。そして、必要に応じて予めＤＭＡＣ２３のレジスタに対して次の転送に備えた準備のための各種設定を行う。
【００９１】
一方、制御信号３１の立下りで直前の画像処理が画像圧縮処理であった場合(時刻t3＋Δt1)、画像処理コントローラ２７は、画像圧縮処理が終了したことを認識する。そして、画像処理コントローラ２７は、制御信号３２及び３６の状態から、第１バス１０に接続される各画像処理モジュールの処理状態を判定する。
【００９２】
時刻t3＋Δt1においては既に制御信号３２が"Ｌ"になっているので画像出力データのメモリ１から画像出力部１３への転送が行われていないことがわかる。このような場合には、制御信号３３を"Ｌ"にドライブして、ＣＰＵ２２に対して圧縮済みデータ（Frame1）のメモリ１からメモリ２への転送許可を通知する。この場合の動作に関しては、第１実施形態と同様であるので、ここでは説明を省略する。
【００９３】
なお、本実施形態においては画像処理コントローラ２７が各画像処理モジュールからの制御信号の状態に応じてＣＰＵ２２へアクセス許可を通知する例を示したが、これに限られない。即ち、画像処理コントローラ２７による転送許可を発行する判定基準は、制御信号線の状態のみによって規定されるものではない。例えば、各画像処理モジュールに対して特定の処理を指示するために画像処理コントローラ２７が設定を行ったパラメータの値(例えば画像サイズや処理レート等)と、その処理状態を示す制御信号線の状態を組み合わせてアクセス許可の可否を判定してもよい。
【００９４】
以上のように第４実施形態では、画像処理モジュール（１２,１３,１４,１５）による画像処理に伴うメモリアクセスが他の期間に比べて少ないと想定される期間に、画像データを第２のメモリ２から第１のメモリへ転送させる。このため、画像処理系の処理タイミングを乱さずに、画像処理系のメモリへのデータへの読出し及び書込みアクセスを別の処理系から行うことが実行できるようになる。
【００９５】
本発明によれば、画像処理のリアルタイム性を維持しながら、ネットワーク処理のような発生タイミングが一定でない処理を同時に行うことを可能にする技術を提供することができる。
【００９６】
また、本発明によれば、画像処理の周期性を利用して、処理モジュールに問題が発生したことを速やかに検出し、異常状態からの復旧を必要なモジュールに対してのみ行うことを可能にする技術も提供することができる。
【図面の簡単な説明】
【００９７】
【図１】画像処理装置の構成を示す図である。
【図２】画像処理装置の動作例を示すタイミング図である。
【図３】画像圧縮部と画像入力部でのそれぞれの処理終了が、ＤＭＡコントローラに対してどのようにして伝達されるかを示す図である。
【図４】画像処理装置の構成を示す図である。
【図５】画像圧縮部と画像入力部でのそれぞれの処理終了が、ＤＭＡコントローラに対して、割込み制御部２８経由でどのようにして伝達されるかを示す図である。
【図６】画像処理装置の構成を示す図である。
【図７】画像処理装置の動作例を示すタイミング図である。
【図８】メモリ間転送のタイミングに関する詳細を示す図である。
【図９】画像処理装置の構成を示す図である。
【図１０】画像処理装置の動作例を示すタイミング図である。
【図１１】メモリ間転送のタイミングに関する、詳細な信号伝達を示す図である。
【特許請求の範囲】
【請求項１】
画像入力手段から得られた画像データを処理するための画像処理手段と、
前記画像処理手段によって処理される画像データを格納する第１メモリと、
前記画像処理手段と前記第１メモリとの間で前記画像データを転送する第１バスと、
前記第１メモリから転送される画像データを格納する第２メモリと、
前記第１メモリおよび第２メモリに接続される第２バスと、
前記画像処理手段からの画像処理中ではないことを示す信号に応じて、前記第２バスを介して前記第１メモリに格納された画像データを前記第２メモリに転送する制御を実行する制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像処理手段の動作を制御する画像処理コントローラを更に有し、
前記画像処理手段は、前記画像処理手段の処理状態を示す制御信号を前記画像処理コントローラへ送出し、
前記画像処理コントローラは、
前記画像処理手段から受信した制御信号に基づいて画像処理の終了を検出し、該画像処理の終了を検出したことに応じて前記制御手段に前記画像処理中ではないことを示す信号を送出し、
前記画像処理手段の圧縮方式ごとに定まる処理時間と、該圧縮方式ごとに定まる単位画像サイズあたりの画像データの処理時間と、処理対象の画像データのサイズと、前記画像処理手段への画像サイズのデータを供給するために要する時間と、に基づいて算出される時間を超えた場合、前記画像処理手段の再起動を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段と前記画像処理コントローラとの間の信号伝達を行う制御バスを更に有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記制御手段へ割込信号を前記画像処理中ではないことを示す信号として出力する割込制御手段を更に有し、
前記画像処理手段は、前記画像処理手段の処理状態を示す制御信号を前記割込制御手段へ送出し、
前記割込制御手段は、前記画像処理手段から受信した制御信号に基づいて画像処理の終了を検出し、該画像処理の終了を検出したことに応じて、前記割込信号により前記制御手段に前記転送を指示する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像処理手段と前記割込制御手段との間の信号伝達を行う制御バスを更に有する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記制御手段は、
前記第２バスに接続され、
ＣＰＵと、ＤＭＡコントローラとを有する
ことを特徴とする請求項３又は５に記載の画像処理装置。
【請求項７】
前記第２バスと前記制御バスとに接続され、前記ＣＰＵと前記画像処理手段との間の信号伝達を行う制御バスＩＦ
を更に有することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記画像入力手段は撮像手段であることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記画像処理手段が行う画像処理には、入力した画像を転送する処理と、画像を圧縮する処理と、画像を伸長する処理と、画像の解像度を変換する処理と、の少なくともいずれかが含まれる
ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記第２のメモリに格納された画像データを外部装置へ送出する手段を更に有する
ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記制御手段は、
前記第２メモリへ転送される画像データの間隔を監視し、ネットワークを介して外部の装置から要求された画像データのフレームレートに従う時間に達したかどうか判定し、
該時間に達したと判定された場合であって、新たな画像データが転送されていない場合、前記画像処理コントローラに対して問い合せを行い、
前記画像処理コントローラから応答がない場合、前記画像処理コントローラの再起動を行う
ことを特徴とする請求項２に記載の画像処理装置。
【請求項１】
画像入力手段から得られた画像データを処理するための画像処理手段と、
前記画像処理手段によって処理される画像データを格納する第１メモリと、
前記画像処理手段と前記第１メモリとの間で前記画像データを転送する第１バスと、
前記第１メモリから転送される画像データを格納する第２メモリと、
前記第１メモリおよび第２メモリに接続される第２バスと、
前記画像処理手段からの画像処理中ではないことを示す信号に応じて、前記第２バスを介して前記第１メモリに格納された画像データを前記第２メモリに転送する制御を実行する制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像処理手段の動作を制御する画像処理コントローラを更に有し、
前記画像処理手段は、前記画像処理手段の処理状態を示す制御信号を前記画像処理コントローラへ送出し、
前記画像処理コントローラは、
前記画像処理手段から受信した制御信号に基づいて画像処理の終了を検出し、該画像処理の終了を検出したことに応じて前記制御手段に前記画像処理中ではないことを示す信号を送出し、
前記画像処理手段の圧縮方式ごとに定まる処理時間と、該圧縮方式ごとに定まる単位画像サイズあたりの画像データの処理時間と、処理対象の画像データのサイズと、前記画像処理手段への画像サイズのデータを供給するために要する時間と、に基づいて算出される時間を超えた場合、前記画像処理手段の再起動を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段と前記画像処理コントローラとの間の信号伝達を行う制御バスを更に有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記制御手段へ割込信号を前記画像処理中ではないことを示す信号として出力する割込制御手段を更に有し、
前記画像処理手段は、前記画像処理手段の処理状態を示す制御信号を前記割込制御手段へ送出し、
前記割込制御手段は、前記画像処理手段から受信した制御信号に基づいて画像処理の終了を検出し、該画像処理の終了を検出したことに応じて、前記割込信号により前記制御手段に前記転送を指示する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像処理手段と前記割込制御手段との間の信号伝達を行う制御バスを更に有する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記制御手段は、
前記第２バスに接続され、
ＣＰＵと、ＤＭＡコントローラとを有する
ことを特徴とする請求項３又は５に記載の画像処理装置。
【請求項７】
前記第２バスと前記制御バスとに接続され、前記ＣＰＵと前記画像処理手段との間の信号伝達を行う制御バスＩＦ
を更に有することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記画像入力手段は撮像手段であることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記画像処理手段が行う画像処理には、入力した画像を転送する処理と、画像を圧縮する処理と、画像を伸長する処理と、画像の解像度を変換する処理と、の少なくともいずれかが含まれる
ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記第２のメモリに格納された画像データを外部装置へ送出する手段を更に有する
ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記制御手段は、
前記第２メモリへ転送される画像データの間隔を監視し、ネットワークを介して外部の装置から要求された画像データのフレームレートに従う時間に達したかどうか判定し、
該時間に達したと判定された場合であって、新たな画像データが転送されていない場合、前記画像処理コントローラに対して問い合せを行い、
前記画像処理コントローラから応答がない場合、前記画像処理コントローラの再起動を行う
ことを特徴とする請求項２に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−１４０４８４（Ｐ２００９−１４０４８４Ａ）
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願番号】特願２００８−２８３７３３（Ｐ２００８−２８３７３３）
【出願日】平成２０年１１月４日（２００８．１１．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願日】平成２０年１１月４日（２００８．１１．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]