画像処理装置
【課題】メモリＩＯボトルネックを解消し、高性能かつプログラマブルな画像処理装置を提供すること。
【解決手段】画像処理装置２００は、区分画像（例えば画像中の１ライン単位の画像）を単位として特定処理を実行する画像処理部２１１〜２１４と、区分画像を単位とするデータを一時的に記憶する一時記憶部２３１〜２３３と、画像処理部２１１〜２１４と一時記憶部２３１〜２３３とを選択的に結合するセレクタ２２１〜２２４と、セレクタ２２１〜２２４を切り替え制御するレジスタ２２５と、を備える。外部制御に従って、レジスタ２２５がセレクタ２２１〜２２４を切り替え制御することにより、画像処理部２１１〜２１４と一時記憶部２３１〜２３３との結合形態を変化させて画像処理部２１１〜２１４の実行順序を規定する。
【解決手段】画像処理装置２００は、区分画像（例えば画像中の１ライン単位の画像）を単位として特定処理を実行する画像処理部２１１〜２１４と、区分画像を単位とするデータを一時的に記憶する一時記憶部２３１〜２３３と、画像処理部２１１〜２１４と一時記憶部２３１〜２３３とを選択的に結合するセレクタ２２１〜２２４と、セレクタ２２１〜２２４を切り替え制御するレジスタ２２５と、を備える。外部制御に従って、レジスタ２２５がセレクタ２２１〜２２４を切り替え制御することにより、画像処理部２１１〜２１４と一時記憶部２３１〜２３３との結合形態を変化させて画像処理部２１１〜２１４の実行順序を規定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを処理する画像処理装置に関する。
【背景技術】
【０００２】
画像処理装置は、カメラモジュールから取り込まれた映像信号の調整・品質向上や、動画像の圧縮・伸張等、処理負荷の大きい処理を、画像処理システム全体を制御するホストの処理負荷を軽減するために代行して行うもので、一般的には専用の処理エンジンを用いて構成される。
【０００３】
図１９は、従来の画像処理装置の構成を示すブロック図である。図１９に示すように、画像処理装置１０は、固定処理Ａを行う画像処理部１１、固定処理Ｂを行う画像処理部１２、固定処理Ｃを行う画像処理部１３、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などからなる共有メモリ１４、及びこれら各部を相互に接続するバス１５を備える。
【０００４】
画像処理部１１には、ＣＣＤ（Charge Coupled Device）カメラ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラを内蔵するカメラモジュール１６が接続され、撮像された画像データが映像信号として入力される。画像処理部１１は、固定処理Ａ（例えばＲＡＷデータ処理（黒レベル補正、ゲイン調整、ホワイトバランス補正、ガンマ補正））を行う処理エンジンである。画像処理部１２は、固定処理Ｂ（例えばＹＣ（輝度・色差）分離）を行う処理エンジンである。画像処理部１３は、固定処理Ｃ（例えば出力処理）を行う処理エンジンである。
【０００５】
共有メモリ１４は、バス１５と接続して、複数の処理エンジン（画像処理部１１〜１３）間を転送するデータを一時的に格納する。また、共有メモリ１４は、図示しないＳＤＲＡＭコントローラにより制御される。ＳＤＲＡＭコントローラは、各処理エンジンとの間でアドレス、データ、制御信号をやり取りすることで、ＳＤＲＡＭへのアクセス制御を行う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−３４４７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来の画像処理装置は、複数の処理エンジン間のデータ転送に共有メモリを用いているため、メモリＩＯ（In-Out）がボトルネックとなり、処理エンジンの性能が十分であっても、装置全体としては処理が破綻するおそれがある。図１９の場合、共有メモリ１４とバス１５間がボトルネックとなる。
【０００８】
例えば、カメラ分野においては、近年の半導体技術の進歩によってＣＣＤやＣＭＯＳカメラの画素数および動作速度が著しく向上しており、カメラモジュールの出力画像を処理する装置には、高い解像度・フレームレートを取り扱える処理性能が求められている。今後、高解像度・高フレームレート化等の高性能化がさらに進展すると、処理エンジンが取り扱うデータのスループットが増大し、メモリＩＯがボトルネックとなって処理が破綻するおそれがある。
【０００９】
本発明は、上記に鑑みてなされたものであり、メモリＩＯのボトルネックを解消し、高性能かつプログラマブルな画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、複数の区分画像データからなる画像データに対して区分画像単位で互いに異なる画像処理を実行する複数の画像処理手段と、前記画像処理手段で処理された前記区分画像データを一時的に記憶する複数の第１の記憶手段と、前記複数の画像処理手段と前記複数の第１の記憶手段とを用いて、前記区分画像単位の処理を並列に繰り返し行うパイプライン処理を実行する画像制御手段と、を有する画像処理装置であって、前記パイプライン処理途中の画像データを前記複数の第１の記憶手段から前記区分画像単位で読み出して第２の記憶手段に書き込む記憶手段制御手段と、前記第２の記憶手段から読み出した画像データに対して特定の画像認識処理を実行する画像認識処理手段と、をさらに備え、前記画像制御手段は、前記パイプライン処理において、前記画像認識処理手段が特定の画像を認識した後に入力した画像データに対して、前記画像認識の前に入力した画像データに対して実行していた画像処理とは異なる画像処理を実行するように前記画像処理手段を制御する、構成を採る。
【発明の効果】
【００１１】
本発明によれば、画像処理手段が１ラインを単位として入出力を行う性質と、選択的に結合可能なバスとを組み合わせることにより、不要な処理のスキップや処理順序の入れ替えが可能となるため、複数種のカメラ製品に適用可能な共通プラットフォームとして利用することができる。また、高解像度の画像処理を複数の外付けメモリを用いることなく実行できるため、高性能と低価格を両立させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図
【図２】本発明の実施の形態１に係る画像処理装置のバスの切り替え制御シーケンスを示す図
【図３】本発明の実施の形態１に係る画像処理装置の処理タイミングを示す図
【図４】本発明の実施の形態１に係る画像処理装置のバスのデータフローを示す図
【図５】本発明の実施の形態２に係る画像処理装置の構成を示すブロック図
【図６】本発明の実施の形態２に係る画像処理装置のバスのデータフローを示す図
【図７】本発明の実施の形態３に係る画像処理装置の構成を示すブロック図
【図８】本発明の実施の形態４に係る画像処理装置の一時記憶部の構成を示す図
【図９】本発明の実施の形態５に係る画像処理装置の一時記憶部の構成を示す図
【図１０】本発明の実施の形態６に係る画像処理装置の構成を示すブロック図
【図１１】本発明の実施の形態６に係る画像処理装置の一時記憶部の構成を示す図
【図１２】本発明の実施の形態１に係る画像処理装置の処理タイミングを示す図
【図１３】本発明の実施の形態６に係る画像処理装置の処理タイミングを示す図
【図１４】本発明の実施の形態７に係る画像処理装置の一時記憶部の構成を示す図
【図１５】本発明の実施の形態７に係る画像処理装置の構成を示すブロック図
【図１６】本発明の実施の形態７に係る画像処理装置の構成を示すブロック図
【図１７】本発明の実施の形態８に係る画像処理装置の構成を示すブロック図
【図１８】本発明の実施の形態８に係る画像処理装置の構成を示すブロック図
【図１９】従来の画像処理装置の構成を示すブロック図
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１４】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態は、ディジタルカメラの信号処理を行う装置に適用した例である。
【００１５】
図１に示すように、画像処理装置２００は、入力インターフェース（Ｉ／Ｆ）２０１と、出力Ｉ／Ｆ２０２と、画像処理部２１１〜２１４と、バス２２０と、一時記憶部２３１〜２３３と、から主に構成される。また、画像処理装置２００は、外部の主制御部２５０から入力した制御信号に基づいて所定の信号処理を行う。
【００１６】
画像処理装置２００は、ディジタルカメラの信号処理を行う装置であり、イメージセンサ（カメラ）の出力信号（ベイヤー配列ＲＡＷデータ）を入力として、ＹＵＶ信号を生成し、出力する。イメージセンサの解像度は、例えば、水平２５６０ピクセル×垂直１９２０ピクセル（約４．９Ｍピクセル）である。
【００１７】
入力Ｉ／Ｆ２０１は、ＲＡＷデータをこれに付随する入力クロック及び水平・垂直同期信号を用いて画像処理装置２００内部に取り込む。
【００１８】
出力Ｉ／Ｆ２０２は、ＹＵＶ信号に出力クロック及び水平・垂直同期信号を付加して画像処理装置２００外部に出力する。
【００１９】
画像処理部２１１は、ＲＡＷデータ処理（黒レベル補正、ゲイン調整、ホワイトバランス補正、ガンマ補正）を行う。
【００２０】
画像処理部２１２は、係数可変の２次元ディジタルフィルタである。画像処理部２１２は、水平４ライン分のデータバッファを内蔵し、最大１００タップ（水平２０×垂直５）のフィルタ演算を実行する。
【００２１】
画像処理部２１３は、ＹＣ（輝度・色差）分離を行う。画像処理部２１３は、水平４ライン分のデータバッファを内蔵し、このバッファ内のデータで補間処理を行いながら輝度・色差のデータ（ＹＵＶ信号）を生成する。
【００２２】
画像処理部２１４は、図形重畳（画像に矩形や矩形枠を重ね合わせる処理）を行う。画像に矩形や矩形枠を重畳させることにより、撮影者に対して注意を促すことや、撮影対象のプライバシーを保護することができる。
【００２３】
バス２２０は、画像処理部２１１〜２１４と一時記憶部２３１〜２３３とを選択的に結合する。バス２２０は、２入力１出力セレクタ２２１〜２２４（セレクタＳ１〜Ｓ４）と、セレクタ２２１〜２２４を切り替え制御するレジスタ２２５とから構成される。
【００２４】
セレクタ２２１〜２２４は、２入力接続バスをいずれか１つに切り替える。レジスタ２２５は、画像処理装置２００の外部の主制御部２５０からの指示に従って、セレクタ２２１〜２２４を用途毎に切り替えるための制御信号をセレクタ２２１〜２２４に出力する。
【００２５】
一時記憶部２３１〜２３３は、各々水平２ライン分のデータ（５１２０ピクセル相当）を格納することができる２ポートＳＲＡＭである。この２ポートＳＲＡＭは、例えば１リード・１ライトで、１６ビット×５１２０ワードを有する。
【００２６】
このように、バス２２０を介して画像処理部２１１〜２１４と、リードアドレス（図示せず）、ライトアドレス（図示せず）、リードデータ、ライトデータの各信号線が結合される。
【００２７】
図２は、本装置が用いられる３種類の用途毎に、処理内容およびバス２２０のセレクタ制御方法を示す図である。この図の内容をコード化した情報は、画像処理装置２００の外部の主制御部２５０の内部メモリに格納される。図２に示すように、主制御部２５０に格納される情報は、「１．通常用途」、「２．暗環境下での監視」、「３．医療用途」毎に、画像処理部２１２（２次元ディジタルフィルタ）のフィルタ処理（フィルタ係数）およびバス２２０のセレクタ２２１〜２２４の選択方向である。
【００２８】
図１のレジスタ２２５は、主制御部２５０から設定された値に従って制御信号（例えば、１ビットの情報）をセレクタ２２１〜２２４（セレクタＳ１〜Ｓ４）に出力することにより、セレクタ２２１〜２２４（セレクタＳ１〜Ｓ４）を切り替え制御する。セレクタ２２１〜２２４は、２入力「ａ」，「ｂ」（図４参照）のうち、この図の接続バスのいずれか（「ａ」または「ｂ」）を選択する。図１では、セレクタ２２１〜２２４の上側入力が「ａ」、下側入力が「ｂ」である。
【００２９】
「１．通常用途」では、画像処理部２１１におけるＲＡＷデータ処理→画像処理部２１３におけるＹＣ分離→画像処理部２１４における図形重畳、の順序で処理が行われる。また、画像処理部２１２（２次元ディジタルフィルタ）のフィルタ処理はスキップする。「１．通常用途」の場合、セレクタ２２３（セレクタＳ３）は「ａ」を選択し、セレクタ２２４（セレクタＳ４）は「ｂ」を選択する。なお、画像処理部２１２（２次元ディジタルフィルタ）はスキップするので、セレクタ２２１（セレクタＳ１）及びセレクタ２２２（セレクタＳ２）の選択方向は任意である。
【００３０】
「２．暗環境下での監視」では、画像処理部２１１におけるＲＡＷデータ処理→画像処理部２１２におけるフィルタ処理→画像処理部２１３におけるＹＣ分離→画像処理部２１４における図形重畳、の順序で処理が行われる。また、画像処理部２１２（２次元ディジタルフィルタ）のフィルタ処理は、ノイズ除去（高周波数成分除去）である。「２．暗環境下での監視」の場合、セレクタ２２１（セレクタＳ１）は「ａ」を、セレクタ２２２（セレクタＳ２）は「ｂ」を、セレクタ２２３（セレクタＳ３）は「ｂ」を、セレクタ２２４（セレクタＳ４）は「ａ」を、それぞれ選択する。
【００３１】
「３．医療用途」では、画像処理部２１１におけるＲＡＷデータ処理→画像処理部２１３におけるＹＣ分離→画像処理部２１２におけるフィルタ処理→画像処理部２１４における図形重畳、の順序で処理が行われる。また、画像処理部２１２（２次元ディジタルフィルタ）のフィルタ処理は、毛細血管強調（赤色高周波成分強調）である。「３．医療用途」の場合、セレクタ２２１（セレクタＳ１）は「ｂ」を、セレクタ２２２（セレクタＳ２）は「ａ」を、セレクタ２２３（セレクタＳ３）は「ａ」を、セレクタ２２４（セレクタＳ４）は「ｂ」を、それぞれ選択する。
【００３２】
以下、上述のように構成された画像処理装置２００の動作を説明する。
【００３３】
〔ライン単位処理〕
まず、ライン単位処理について説明する。
【００３４】
画像処理部２１１〜２１４は、いずれもその処理の性質から、画像中の１ラインを単位としてデータの入力もしくは出力を行う。例えば、画像処理部２１２（２次元ディジタルフィルタ）は、バス２２０から新規の１ライン分の画像データを受けると、内蔵データバッファに保持された４ライン分の画像データと新規１ライン分の画像データとの合計５ライン分の画像データのデータに対し最大１００タップのフィルタ演算を実行して１ライン分の画像データの出力を行うとともに、内蔵データバッファの最古の１ライン分の画像データを新規１ライン分の画像データに置換する。画像処理部２１２は、この１ライン毎の処理を繰り返すことにより、１画面全体を処理する。
【００３５】
〔動作タイミング〕
次に、画像処理装置２００の動作タイミングについて説明する。図３は、図２に示した「１．通常用途」における、画像処理装置２００の処理タイミングを示す図である。
【００３６】
詳細には、画像入力のタイミング、画像処理部２１１（ＲＡＷデータ処理）の処理レイテンシ、画像処理部２１１による一時記憶部２３１に対する書込み動作、画像処理部２１３（ＹＣ分離）による一時記憶部２３１からの読出し動作、画像処理部２１３の処理レイテンシ、画像処理部２１３による一時記憶部２３３に対する書込み動作、画像処理部２１４（図形重畳）による一時記憶部２３３からの読出し動作、画像処理部２１４の処理レイテンシ、及び画像出力のタイミングを示す。なお、図３中、一時記憶部２３１，２３３の縦軸はアドレスを示す。
【００３７】
図３の例では、データが、画像処理部２１１（ＲＡＷデータ処理）→一時記憶部２３１→画像処理部２１３（ＹＣ分離）→一時記憶部２３３→画像処理部２１４（図形重畳）の順序で流れるように、バス２２０の接続が行われる。
【００３８】
入力Ｉ／Ｆ２０１からのＲＡＷデータは、１ラインあたり４０μｓ周期中の１６μｓ期間に入力され、データレートは１６０ＭＨｚ／ピクセルである。
【００３９】
画像処理部２１１（ＲＡＷデータ処理）、画像処理部２１３（ＹＣ分離）及び画像処理部２１４（図形重畳）は、上記水平同期信号により４０μｓで同期して動作し、それぞれ１０μｓ、２４μｓ、６μｓの処理レイテンシを持つ。
【００４０】
各画像処理部２１１，２１３，２１４は、一時記憶部２３１，２３３に対してそれぞれリード・ライトのアドレスを生成し、４０μｓ周期でライト領域とリード領域が交互に入れ替わる構成となっている。
【００４１】
したがって、図３の例では、画像処理部２１１が、入力した画像データに対して１０μｓの処理レイテンシでＲＡＷデータ処理し、処理完了したデータを順次一時記憶部２３１に書込む。そして、画像処理部２１１の処理開始から４０μｓ後に、画像処理部２１３が、一時記憶部２３１からデータを順次読出し、２４μｓの処理レイテンシでＹＣ分離を行い、処理完了したデータを順次一時記憶部２３３に書込む。そして、画像処理部２１３の処理開始から４０μｓ後に、画像処理部２１４が、一時記憶部２３３からデータを順次読出し、６μｓの処理レイテンシで図形重畳を行い、処理完了したデータを順次出力する。
【００４２】
このように、画像処理装置２００は、画像処理部２１１〜２１４が、ライン単位のパイプライン処理として並列動作する構成となる。
【００４３】
〔バス切替方式〕
次に、バス切替方式について説明する。
【００４４】
画像処理装置２００は、図２に示す３種類の用途に用いられ、用途毎に画像処理部２１１〜２１４の実行有無や順序を切り替える。
【００４５】
ここで、画像処理部２１２（２次元ディジタルフィルタ）の処理内容は、用途毎に異なる。例えば、画像処理装置２００を「２．暗環境下での監視」に用いる場合、イメージセンサへの入力光量が減少しノイズが増大するため、画像処理部２１２は、ＲＡＷデータ処理後の高周波成分を除去し、監視者が見やすいよう画質改善を行う。
【００４６】
また、画像処理装置２００を「３．医療用途」に用いる場合、医療者が毛細血管を視認しやすいよう赤色高周波成分を強調する必要があるため、画像処理部２１２は、ＹＣ分離後にこの赤色高周波成分強調処理を行う。
【００４７】
これらの特殊処理は、主制御部２５０が画像処理部２１２（２次元ディジタルフィルタ）のフィルタ係数を変更することにより実現される。
【００４８】
図４は、画像処理装置２００のバス２２０のデータフローを示す図である。図４中の太実線は、セレクタ２２１〜２２４（セレクタＳ１〜Ｓ４）の選択によってデータが流れるバスを示し、同図破線は、セレクタ２２１〜２２４の非選択によってデータが流れないバスを示す。
【００４９】
図４（ａ）は、「１．通常用途」における処理順序（画像処理部２１１（ＲＡＷデータ処理）→画像処理部２１３（ＹＣ分離）→画像処理部２１４（図形重畳））のデータフローである。
【００５０】
図４（ｂ）は、「２．暗環境下での監視」における処理順序（画像処理部２１１（ＲＡＷデータ処理）→画像処理部２１２（２次元ディジタルフィルタ）→画像処理部２１３（ＹＣ分離）→画像処理部２１４（図形重畳））のデータフローである。
【００５１】
図４（ｃ）は、「３．医療用途」における処理順序（画像処理部２１１（ＲＡＷデータ処理）→画像処理部２１３（ＹＣ分離）→画像処理部２１２（２次元ディジタルフィルタ）→画像処理部２１４（図形重畳））のデータフローである。
【００５２】
図４に示すように、画像処理装置２００は、バス２２０に含まれる４つのセレクタ２２１〜２２４（セレクタＳ１〜Ｓ４）を、図２に示すように設定することにより、画像処理部２１１〜２１４と一時記憶部２３１〜２３３とを選択的に結合する。これにより、画像処理部２１１〜２１４の実行有無や順序が変更される。
【００５３】
また、本実施の形態によれば、共有メモリを用いず、ライン単位のメモリを用いているため、メモリＩＯボトルネックが解消されると共に、従来の装置に対してコストを抑えることができる。
【００５４】
例えば、図２の「１．通常用途」に相当する処理を従来の装置で行う場合、共有メモリに求められる最大スループットは以下の通りである。
データレート：Ｒ＝１６０ [ＭＨｚ]
入出力系統数：Ｎ＝６（リード・ライト各３系統）
１ピクセル当たりデータ量：Ｂ＝２[Ｂｙｔｅ]
スループット：Ｓ＝Ｒ×Ｎ×Ｂ＝１９２０[ＭＢｙｔｅ／ｓ]
【００５５】
従来の装置は、ＳＤＲＡＭなどからなる共有メモリを用いている。現時点で入手し得るＤＤＲ ＳＤＲＡＭのスループットは最大１．３[ＧＢｙｔｅ／ｓ]程度であるため、１個のＳＤＲＡＭではメモリＩＯがボトルネックとなり、装置を構成できない。従来の装置を構成するには２個のＳＤＲＡＭが必要となる。このように、従来の装置は、記憶容量としては不必要であるにもかかわらず、スループットを確保するために複数個の外部メモリを用意しなければならず、高価なものとなる。
【００５６】
これに対して、本実施の形態の装置は、６４０[ＭＢｙｔｅ／ｓ]の小容量ＳＲＡＭを３個用意すれば良いので、１つの半導体デバイス（ＬＳＩ）上に集積することが可能となり、安価に装置を構成することができる。
【００５７】
以上詳細に説明したように、本実施の形態によれば、外部制御に従って、レジスタ２２５がセレクタ２２１〜２２４を切り替え制御することにより、画像処理部２１１〜２１４と一時記憶部２３１〜２３３との結合形態を変化させて画像処理部２１１〜２１４の実行順序を規定する。これにより、不要な処理のスキップや処理順序の入れ替えが可能となり、メモリＩＯボトルネックを解消し、高性能かつプログラマブルな画像処理装置を実現することができる。例えば、種々のカメラ製品に対するプラットフォームを共通化することができる。
【００５８】
また、本実施の形態によれば、不要処理としてスキップさせた画像処理部２１１〜２１４、及び未使用の一時記憶部２３１〜２３３に対するクロック供給、もしくは電源供給を停止させることもできる。このようにすれば、消費電力を削減することができ、バッテリ駆動の機器では、連続動作時間の長時間化を図ることができる。
【００５９】
（実施の形態２）
実施の形態２は、実施の形態１で説明した画像処理装置に外部メモリを接続する例である。
【００６０】
図５は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。本実施の形態の説明に当たり、図１と同一の構成部分には同一符号を付して重複箇所の説明を省略する。
【００６１】
図５に示すように、画像処理装置３００は、画像処理装置本体３１０と、外部メモリ３２０とからなり、画像処理装置本体３１０は、入力Ｉ／Ｆ２０１と、出力Ｉ／Ｆ２０２と、画像処理部２１１〜２１４Ａと、ＤＭＡコントローラ３１１と、バス２２０Ａと、一時記憶部２３１〜２３４と、を備える。
【００６２】
画像処理装置３００は、図１の画像処理装置２００と同様に、ディジタルカメラの信号処理を行う装置であり、イメージセンサ（カメラ）の出力信号（ベイヤー配列ＲＡＷデータ）を入力として、ＹＵＶ信号を生成し、出力する。
【００６３】
画像処理部２１４Ａは、図１の画像処理部２１４と同様の機能に加え、一時記憶部２３３及び一時記憶部２３４から、それぞれ同位置の１ライン分の画像データを読み出し、２つの画像データの差分から動体の有無（静止画か否か）を判別する。
【００６４】
バス２２０Ａは、画像処理部２１１〜２１４Ａ、ＤＭＡコントローラ３１１と一時記憶部２３１〜２３４とを選択的に結合する。バス２２０Ａは、図１のバス２２０に、ＤＭＡコントローラ３１１接続用のバス及びセレクタが付加された構成であり、基本的には図１のバス２２０を拡張した構成である。
【００６５】
一時記憶部２３４は、一時記憶部２３１〜２３３と同様に、各々水平２ライン分のデータ（５１２０ピクセル相当）が格納可能な２ポートＳＲＡＭである。この２ポートＳＲＡＭは、例えば１リード・１ライトで、１６ビット×５１２０ワードを有する。
【００６６】
ＤＭＡコントローラ３１１は、１ライン単位でバス２２０Ａと外部メモリ３２０との間のデータ転送を行う。ＤＭＡコントローラ３１１は、一時記憶部２３３から１ライン分の画像データを読み出して外部メモリ３２０に書き込む。また、ＤＭＡコントローラ３１１は、外部メモリ３２０から旧フレームの同位置の１ライン分の画像データを読み出して一時記憶部２３４に書き込む。
【００６７】
外部メモリ３２０は、一時記憶部２３１〜２３４に比較して大容量のメモリ（例えばＳＤＲＡＭ）である。外部メモリ３２０は、過去の画像データをフレーム単位で保持するために設けられる。ここでは、外部メモリ３２０は、新旧２フレーム分の画像データを蓄積する。
【００６８】
以下、上述のように構成された画像処理装置３００の動作を、図６を用いて説明する。図６は、画像処理装置３００のバス２２０Ａのデータフローを示す図である。なお、「１．通常用途」、「２．暗環境下での監視」及び「３．医療用途」のいずれにおいても、画像処理部２１１に画像データが入力されてから、一時記憶部２３３に画像データが書き込まれるまでの動作は、上記実施の形態１における画像処理装置２００と同様であるので、説明を省略する。
【００６９】
一時記憶部２３３に画像データが書き込まれると、ＤＭＡコントローラ３１１は、一時記憶部２３３から１ライン分の画像データを読み出して外部メモリ３２０に書き込む。また同時に、この１ライン分の画像データが画像処理部２１４Ａに入力される。
【００７０】
次に、ＤＭＡコントローラ３１１は、外部メモリ３２０から旧フレームの１ライン分の画像データを読み出して一時記憶部２３４に書き込む。
【００７１】
次に、画像処理部２１４Ａは、一時記憶部２３４から旧フレームの１ライン分の画像データを読み出す。この旧フレームの１ライン分の画像データ、および上記（新フレームの）１ライン分の画像データは、元のフレーム上で同位置となるようにＤＭＡ制御が行われる。画像処理部２１４Ａは、同位置の１ライン分の新旧２つの画像データの差分から動体の有無を判別する。
【００７２】
このように、本実施の形態によれば、画像処理装置３００が、過去の画像データをフレーム単位で保持する外部メモリ３２０、及び、バス２２０Ａと外部メモリ３２０との間のデータ転送を行うＤＭＡコントローラ３１１を有することにより、実施の形態１の機能に加えて、動体の有無の判別等、過去のフレームを使用する画像処理を行うことができる。
【００７３】
また、本実施の形態によれば、大容量の外部メモリ３２０を外付け部品としており、過去のフレームを参照する信号処理が不要な場合、外部メモリの実装を省略することができる。これにより、高性能品・廉価品の双方に適応できるプラットフォームを構築することができる。
【００７４】
（実施の形態３）
実施の形態３は、実施の形態２で説明した画像処理装置に外部デバイスを接続する例である。
【００７５】
図７は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。本実施の形態の説明に当たり、図５と同一の構成部分には同一符号を付して重複箇所の説明を省略する。
【００７６】
図７に示すように、画像処理装置３００は、画像処理装置本体３１０と、外部メモリ３２０と、バス３３０と、外部デバイス３４０とからなり、画像処理装置本体３１０は、入力Ｉ／Ｆ２０１と、出力Ｉ／Ｆ２０２と、画像処理部２１１〜２１４Ａと、ＤＭＡコントローラ３１１と、バス２２０Ａと、一時記憶部２３１〜２３４と、を備える。
【００７７】
ＤＭＡコントローラ３１１は、バス３３０を介して、外部メモリ３２０への画像データの書き込み、外部メモリ３２０からの画像データの読み出し、を行う。
【００７８】
外部デバイス３４０は、例えば汎用プロセッサ、ＦＰＧＡ（Field Programmable Gate Array）である。外部デバイス３４０は、外部メモリ３２０から画像データを読み出し、所定の処理、例えば顔認識のような静止画オブジェクト認識を行う。そして、外部デバイス３４０は、処理の結果を示す制御信号を主制御部２５０に出力する。例えば、外部デバイス３４０が顔認識を行う場合、画像データから人物の顔を認識したときに、その旨を示す制御信号を主制御部２５０に出力する。
【００７９】
主制御部２５０は、外部デバイス３４０から制御信号を入力したタイミングで、画像処理装置３００の信号処理の種別を制御する。例えば、画像処理装置３００が「１．通常用途」を行っている場合に、主制御部２５０は、外部デバイス３４０から人物の顔を認識した旨を示す制御信号を入力したときに、画像処理装置３００に対して、解像度を上げて処理を行うように指示する。
【００８０】
このように、本実施の形態によれば、画像処理部２１１〜２１４Ａによる固定処理と、外部デバイス３４０による可変処理とを実行順序自在に組合せることができ、フレキシビリティの高い信号処理プラットフォームを構築することができる。例えば、外部デバイス３４０のプログラムを変更するだけで、顔認識を車輛認識に変更することができる。
【００８１】
また、汎用プロセッサである外部デバイス３４０、バス３３０、画像処理部２１１〜２１４Ａ、ＤＭＡコントローラ３１１、バス２２０Ａ、及び一時記憶部２３１〜２３４を１つの半導体デバイス（ＬＳＩ）上に集積することもできる。このように構成すれば、機器の部品点数及び実装面積を削減することができ、機器の小型化、及びコストダウンを実現することができる。
【００８２】
（実施の形態４）
実施の形態４は、一時記憶部の構成例である。
【００８３】
図８は、本発明の実施の形態４に係る画像処理装置の一時記憶部の構成を示す図である。図１と同一構成部分には同一符号を付す。図８は、図１の一時記憶部２３１〜２３３のうち、一時記憶部２３１を代表して示す。
【００８４】
図８に示すように、一時記憶部２３１は、単体で区分画像データを格納することができるＦＩＦＯ（First-In First-Out）２５１と、ＦＩＦＯ２５１を制御する制御回路２５２とから構成される。
【００８５】
ここで、画像処理部２１１〜２１４（図１参照）は、処理対象の区分画像の位置関係を認識して処理を行う必要がある。例えば、カメラ信号処理では、一般に偶数ラインと奇数ラインでイメージセンサの色配列が異なるため、処理中のラインの偶奇を認識して処理を行う必要がある。
【００８６】
通常は、一時記憶部の所定のアドレスに所定のデータを格納することで、処理中のラインの偶奇を認識する。例えば、実施の形態１の一時記憶部２３１であれば、アドレス０番地〜２５５９番地に偶数ライン、アドレス２５６０番地〜５１１９番地に奇数ラインを格納する。これを行うためには、バス２２０にはライトアドレスの信号線およびリードアドレスの信号線がそれぞれ必要となる。
【００８７】
これに対し、本実施の形態では、制御回路２５２が、一時記憶部２３１のＦＩＦＯ２５１に区分画像データを格納する際に、画像における当該区分画像の位置関係を示す情報を付加する。例えば、区分画像が１ラインの場合、格納されるラインに対するライン番号を付加する。
【００８８】
図８の例では、制御回路２５２が、ＦＩＦＯ２５１に、区分画像１位置情報を格納した後に区分画像１データを格納し、続いて区分画像２位置情報を格納した後に区分画像２データを格納する。所定のデータが入力されると、ＦＩＦＯ２５１は最初に入力されたデータから順に出力する。
【００８９】
これにより、画像処理部２１２は、一時記憶部２３１のＦＩＦＯ２５１から順次区分画像データを読み出すだけで、該当区分画像の位置関係を認識することができる。
【００９０】
このように、本実施の形態によれば、画像処理部２１１〜２１４側で、一時記憶部２３１〜２３３に対するアドレスを生成する必要がなくなるので、バス２２０から大量の信号線（アドレス線）を削除することができる。また、ＬＳＩに集積する場合には、大量の信号線を削除することにより、各回路（処理エンジン）を互いに近くに寄せて配置することができ、信号の伝送時間を短縮して、動作速度を上げることができる。
【００９１】
なお、本実施の形態における区分画像の位置関係を示す情報は、画像のトップラインを示すもの（１ビットのフラグ情報）であれば良く、画像処理部２１１〜２１４は、画像のトップラインが分かれば、処理対象の区分画像の位置関係を計算することができる。
【００９２】
（実施の形態５）
実施の形態５は、一時記憶部の他の構成例である。
【００９３】
図９は、本発明の実施の形態５に係る画像処理装置の一時記憶部の構成を示す図である。図１と同一構成部分には同一符号を付す。図９は、図１の一時記憶部２３１〜２３３のうち、一時記憶部２３１を代表して示す。
【００９４】
図９に示すように、一時記憶部２３１は、制御回路２６１と、２以上のＳＲＡＭ２６３，２６５と、ＳＲＡＭ２６３，２６５に関連づけられたレジスタ２６２，２６４とから構成される。
【００９５】
制御回路２６１は、バス２２０から入力した区分画像データを、ＳＲＡＭ２６３またはＳＲＡＭ２６５に交互に格納するように制御する。また、制御回路２６１は、ＳＲＡＭ２６３に対して区分画像データの格納を開始する際にレジスタ２６２の値を書き換え、ＳＲＡＭ２６５に対して区分画像データの格納を開始する際にレジスタ２６４の値を書き換える。また、制御回路２６１は、一時記憶部２３１のＳＲＡＭ２６３またはＳＲＡＭ２６５から区分画像データを出力する際に、レジスタ２６２，２６４の値（画像における該当区分画像の位置関係を示す情報）を付加する。
【００９６】
レジスタ２６２，２６４は、該当区分画像の位置関係を示す情報を保持する。ＳＲＡＭ２６３，２６５は、単体で区分画像データを格納することができるメモリである。
【００９７】
以上の構成において、区分画像データは、２つのＳＲＡＭ２６３，２６５に交互に書き込まれ、一方の書き込み中に他方から読み出す２−Ｂａｎｋの構成を採っている。
【００９８】
上記実施の形態４で説明したように、画像処理部２１１〜２１４は、処理対象の区分画像の位置関係を認識して処理を行う必要がある。通常は、一時記憶部の所定のアドレスに所定のデータを格納することで、この位置関係を認識する。
【００９９】
これに対し、本実施の形態では、制御回路２６１が、一時記憶部２３１のＳＲＡＭ２６３またはＳＲＡＭ２６５に区分画像データを格納する際に、関連づけられたレジスタ（２６２または２６４）に、画像における該当区分画像の位置関係を示す情報を格納する。例えば、区分画像が１ラインの場合、格納されるラインに対するライン番号を格納する。
【０１００】
さらに、制御回路２６１は、一時記憶部２３１のＳＲＡＭ２６３またはＳＲＡＭ２６５から区分画像データを出力する際に、レジスタ２６２または２６４の値を、画像における該当区分画像の位置関係を示す情報として付加する。
【０１０１】
これにより、画像処理部２１２は、入力した区分画像データについて、該当区分画像の位置関係を認識することができる。
【０１０２】
このように、本実施の形態によれば、画像処理部２１１〜２１４側で、一時記憶部２３１〜２３３に対するアドレスを生成する必要がなくなるので、バス２２０から大量の信号線（アドレス線）を削除することができる。また、ＬＳＩに集積する場合には、大量の信号線を削除することにより、各回路（処理エンジン）を互いに近くに寄せて配置することができ、信号の伝送時間を短縮して、動作速度を上げることができる。
【０１０３】
なお、本実施の形態におけるレジスタ２６２，２６４の値（区分画像の位置関係を示す情報）は、画像のトップラインを示すもの（１ビットのフラグ情報）であれば良く、画像処理部２１１〜２１４は、画像のトップラインが分かれば、処理対象の区分画像の位置関係を計算することができる。
【０１０４】
なお、一時記憶部の構成として、実施の形態４と実施の形態５のどちらの構成を採るかは任意である。実施の形態５では、一時記憶部を１ポートＳＲＡＭ×２個で構成できるため、ＦＩＦＯ（通常２ポートＳＲＡＭを用いて構成される）を用いる実施の形態４の構成に比べて、回路規模を削減することができる。
【０１０５】
（実施の形態６）
図１０は、本発明の実施の形態６に係る画像処理装置の構成を示すブロック図である。なお、図１０において、図１と同一構成部分には同一符号を付す。
【０１０６】
図１０に示すように、画像処理装置４００は、入力Ｉ／Ｆ２０１と、出力Ｉ／Ｆ２０２と、画像処理部２１１〜２１４Ｂと、バス２２０Ｂと、一時記憶部２３１Ｂ〜２３３Ｂと、を備える。
【０１０７】
画像処理部２１２Ｂ〜２１４Ｂは、図１の画像処理部２１２〜２１４と同様の機能に加え、一時記憶部２３１Ｂ〜２３３Ｂから区分画像データの格納が終了したことを示す制御信号が入力され、この制御信号が入力されたタイミングで動作を開始する。
【０１０８】
バス２２０Ｂは、画像処理部２１１〜２１４Ｂと一時記憶部２３１Ｂ〜２３３Ｂとを選択的に結合する。バス２２０Ｂは、図１のバス２２０に、一時記憶部２３１Ｂ〜２３３Ｂからの上記制御信号を画像処理部２１２Ｂ〜２１４Ｂへ供給するための信号線が付加された構成であり、基本的には図１のバス２２０を拡張した構成である。
【０１０９】
図１１は、上記画像処理装置４００の一時記憶部の構成を示す図である。図１１において、図９及び図１０と同一構成部分には同一符号を付す。図１０の一時記憶部２３１Ｂ〜２３３Ｂのうち、一時記憶部２３１Ｂを代表して示す。
【０１１０】
図１１に示すように、一時記憶部２３１Ｂは、制御回路２６１Ｂと、２以上のＳＲＡＭ２６３，２６５と、ＳＲＡＭ２６３，２６５に関連づけられたレジスタ２６２，２６４とから構成される。
【０１１１】
制御回路２６１Ｂは、図９の制御回路２６１と同様に、ＳＲＡＭ２６３，２６５に区分画像データを格納する際に、画像における該当区分画像の位置関係を示す情報をレジスタ２６２，２６４に書き込む。さらに、制御回路２６１Ｂは、ＳＲＡＭ２６３，２６５への区分画像データの格納が終了したことを示す制御信号を生成し、画像処理部２１２Ｂ〜２１４Ｂに制御信号を出力する。また、制御回路２６１Ｂは、制御信号の出力と同時にＢａｎｋ切り替えを行い、新たな区分画像データを入力する。
【０１１２】
本実施の形態は、一時記憶部２３１Ｂ〜２３３ＢのＢａｎｋ切り替えのタイミング、及び、各画像処理部２１２Ｂ〜２１４Ｂの動作開始タイミングに特徴がある。
【０１１３】
図１２は、本実施の形態と比較するため、実施の形態１の画像処理装置の処理タイミングを示す図である。図１３は、本実施の形態の画像処理装置４００の処理タイミングを示す図である。なお、図１２及び図１３は、いずれも、図２に示した「１．通常用途」における処理タイミングを示す。
【０１１４】
図１２及び図１３の例では、データが、画像処理部２１１（ＲＡＷデータ処理）→一時記憶部２３１Ｂ→画像処理部２１３Ｂ（ＹＣ分離）→一時記憶部２３３Ｂ→画像処理部２１４Ｂ（図形重畳）の順序で流れるように、バス２２０の接続が行われる。
【０１１５】
入力Ｉ／Ｆ２０１からのＲＡＷデータは、１６μｓ期間に入力され、データレートは１６０ＭＨｚ／ピクセルである。
【０１１６】
画像処理部２１１（ＲＡＷデータ処理）、画像処理部２１３Ｂ（ＹＣ分離）及び画像処理部２１４Ｂ（図形重畳）は、それぞれ１０μｓ、２４μｓ、６μｓの処理レイテンシを持つ。
【０１１７】
実施の形態１の画像処理装置において、Ｂａｎｋ切り替えを一斉に行う場合、切り替えタイミングは、最も処理の時間のかかる画像処理部２１３Ｂの処理時間に律速される。このため、実施の形態１の画像処理装置は、処理性能を上げることができない。
【０１１８】
図１２の例では、ＲＡＷデータが１ライン当たり１６μｓ期間に入力されるにもかかわらず、実施の形態１の画像処理装置は、１ラインの画像データを出力するために４０μｓ期間を必要とし、本来性能の４０％しか出ていない。
【０１１９】
これに対し、本実施の形態の画像処理装置４００では、各画像処理部２１２Ｂ〜２１４Ｂが、一時記憶部２３１Ｂ〜２３３Ｂから区分画像データの格納が終了したことを示す制御信号を入力したタイミングで動作することができるので、一時記憶部２３１Ｂ〜２３３Ｂ毎に個別にＢａｎｋ切り替えを行うことができ、本来の性能を引き出すことができる。
【０１２０】
図１３の例では、画像処理部２１１は、入力した１ライン当たり１６μｓ期間の区分画像データに対して１０μｓの処理レイテンシでＲＡＷデータ処理し、処理完了したデータを順次一時記憶部２３１Ｂに書込む。また、画像処理部２１１は、１番目のラインの区分画像データを処理した後、続けて２番目のラインの区分画像データを処理する。
【０１２１】
そして、画像処理部２１１の処理開始から２６μｓ後に、画像処理部２１３Ｂは、一時記憶部２３１Ｂからデータを順次読出し、２４μｓの処理レイテンシでＹＣ分離を行い、処理完了したデータを順次一時記憶部２３３Ｂに書込む。また、画像処理部２１３Ｂは、１番目のラインの区分画像データを処理した後、続けて２番目のラインの区分画像データを処理する。
【０１２２】
そして、画像処理部２１３Ｂの処理開始から４０μｓ後に、画像処理部２１４Ｂは、一時記憶部２３３Ｂからデータを順次読出し、６μｓの処理レイテンシで図形重畳を行い、処理完了したデータを順次出力する。また、画像処理部２１４Ｂは、１番目のラインの区分画像データを処理した後、続けて２番目のラインの区分画像データを処理する。
【０１２３】
この結果、図１３の例では、１ライン当たり１６μｓ期間に入力されるＲＡＷデータに対し、本実施の形態の画像処理装置４００は、１ラインの画像データを１６μｓ期間で出力することができる。
【０１２４】
このように、本実施の形態によれば、各画像処理部２１１〜２１４Ｂの処理時間が不均一であっても、Ｂａｎｋ切り替えを一斉に行う場合と比較して装置全体の処理性能を向上させることができる。
【０１２５】
（実施の形態７）
図１４は、本発明の実施の形態７に係る画像処理装置の一時記憶部の構成を示す図である。図１４において、図１１と同一構成部分には同一符号を付す。
【０１２６】
図１４（ａ）では、一時記憶部２３１Ｂと同様の構成の一時記憶部２３１Ｃを、バスに対して接続している。一時記憶部２３１Ｂ，２３１Ｃは、例えばＳＲＡＭにより構成される。
【０１２７】
図１４（ｂ）に示すように、複数の一時記憶部２３１Ｂ，２３１Ｃを用いて、容量の大きな１つの一時記憶部２３１Ｄを構成できる。一時記憶部２３１ＤにＳＲＡＭを用いることにより実現可能である。
【０１２８】
例えば、水平１２８０画素１ラインの区分画像を格納する一時記憶部２３１Ｂ，２３１Ｃを２個用いて、水平２５６０画素１ラインに対する一時記憶部２３１Ｄを構成することができる。この場合、図１４（ｂ）において破線で示すレジスタを削減することができる。
【０１２９】
図１５及び図１６は、本発明の実施の形態７に係る画像処理装置の構成を示すブロック図である。なお、図１５及び図１６において、図１と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【０１３０】
図１５及び図１６は、ステレオカメラ入力処理を行う、本発明の実施の形態７に係る画像処理装置の構成を示すブロック図である。なお、図１５及び図１６において、図１と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【０１３１】
図１５及び図１６に示すように、画像処理装置５００は、入力Ｉ／Ｆ２０１Ａ，２０１Ｂ、出力Ｉ／Ｆ２０２、画像処理部５１１Ａ，５１１Ｂ，５１２Ａ，５１２Ｂ，２１３，２１４、バス２２０Ｃ、及び一時記憶部５３１Ａ，５３１Ｂ，５３２Ａ，５３２Ｂ，２３４を備えて構成される。
【０１３２】
画像処理部５１１Ａ，５１１Ｂ，５１２Ａ，５１２Ｂは、２ｃｈ対応用に、図１の画像処理部２１１，２１２を２つ設けたものである。また、一時記憶部５３１Ａ，５３１Ｂ，５３２Ａ，５３２Ｂについても同様に、図１の一時記憶部２３１，２３２を２つ設けたものである。バス２２０Ｃは、上記に対応したもので図１のバス２２０と同様の構成を有する。図１５の一時記憶部５３１Ａ，５３２Ａは図１４（ａ）の一時記憶部２３１Ｂに対応し、一時記憶部５３１Ｂ，５３２Ｂは図１４（ａ）の一時記憶部２３１Ｃに対応する。
【０１３３】
画像処理部５１１Ａ，５１１ＢはＲＡＷデータ処理を行い、画像処理部５１２Ａ，５１２Ｂ２はＹＣ分離を行う。また、画像処理部２１３は距離計測を行い、画像処理部２１４は出力画面生成処理を行う。
【０１３４】
画像処理装置５００は、２ｃｈのステレオカメラ入力（水平解像度：１２８０ｐｉｘ）を処理し、画面に物体の距離情報を付加して出力することができる。
【０１３５】
図１６は、図１５と同一の画像処理装置５００であり、水平解像度が２倍（２５６０ｐｉｘ）の１ｃｈカメラ入力を処理する例を示す。この場合、複数の一時記憶部５３１Ａ，５３１Ｂを用いて、容量の大きな１つの一時記憶部５３１Ｃを構成する。同様に、複数の一時記憶部５３２Ａ，５３２Ｂを用いて、容量の大きな１つの一時記憶部５３２Ｃを構成する。図１６の一時記憶部５３１Ｃ，５３２Ｃは図１４（ｂ）の一時記憶部２３１Ｄに対応する。
【０１３６】
このように、本実施の形態によれば、例えば１チャネルの高解像度処理系と、複数チャネルの低解像度処理系とを、同一のプラットフォームで構築することができる。これにより、種々のカメラ製品（例えばマルチビューカメラと高解像度カメラ）に対するプラットフォームを共通化することができる。
【０１３７】
（実施の形態８）
図１７及び図１８は、本発明の実施の形態８に係る画像処理装置の構成を示すブロック図である。なお、図１７及び図１８において、図１及び図１５と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【０１３８】
図１７及び図１８に示すように、画像処理装置６００は、入力Ｉ／Ｆ２０１、出力Ｉ／Ｆ２０２、画像処理部２１１〜２１４、バス２２０Ｄ、一時記憶部６３１Ａ，６３１Ｂ，６３２Ａ，６３２Ｂ，６３３Ａ，６３３Ｂ、及び電力制御部６１０を備えて構成される。
【０１３９】
画像処理装置６００は、例えば、ローパワーモードと通常モードなど２以上の動作モードを持つ。
【０１４０】
画像処理装置６００は、ローパワーモードでは、画像の処理解像度を落とす、あるいは、画像処理部２１１〜２１４を削減する等により、消費電力を抑える。
【０１４１】
また、特定の要因によりローパワーモードから通常モードに移行した場合、画像処理装置６００は、処理解像度や適用する画像処理部２１１〜２１４を増やす態様を採る。特定の要因とは、登録物の検出、不審物の検出など、インテリジェント監視関連がある。
【０１４２】
図１７は、ローパワーモードの例である。ローパワーモードでは、画像処理装置６００は、例えば、水平解像度を１２８０ｐｉｘに落とすと共に、ＹＣ分離における色処理を行わない。この場合、画像処理部２１１はＲＡＷデータ処理を行い、画像処理部２１２は輝度処理のみを行う。また、画像処理部２１３は色処理（スキップ）を行い、画像処理部２１４は出力画面生成と異常検出を行う。また、電力制御部６１０は、画像処理部２１３、一時記憶部６３１Ｂ、一時記憶部６３２Ｂ、一時記憶部６３３Ｂをオフにする。
【０１４３】
図１８は、図１７と同一の画像処理装置６００における通常モードの例である。ローパワーモード時に、画像処理部２１４が不審物を検出すると、電力制御部６１０にその検出信号を送り、画像処理装置６００は、通常モードに移行する。通常モードでは、画像処理装置６００は、水平解像度を２５６０ｐｉｘに増すとともに、ＹＣ分離における色処理を行う。また、電力制御部６１０は、画像処理部２１３、一時記憶部６３１Ｂ、一時記憶部６３２Ｂ、一時記憶部６３３Ｂをオンにする。
【０１４４】
このように、本実施の形態によれば、必要な画像は高性能で処理しつつ、通常時の消費電力は抑制することができる。監視カメラなど常時（２４時間）稼動機器に対する電力抑制として非常に有効である。
【０１４５】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
【０１４６】
例えば、画像処理装置は、カメラ信号処理に限定されない。また、画像の処理単位（区分画像のサイズ）は「１ライン」に限定されず、複数ラインでもよく、画像を格子状に分割したタイル構成における１タイルでもよい。さらに、バスの構成は、セレクタ４個で構成などに限定されない。
【０１４７】
さらに、例えば図２に示すように、画像処理部２１１〜２１４の実行順序として、１−２−３−４、１−３−２−４、１−３−４としているが、これらは一例であり、このような構成に限定されるものではない。
【０１４８】
また、上記各実施の形態では画像処理装置という名称を用いたが、これは説明の便宜上であり、パケット伝送装置及び符号化パケット受信方法等であってもよいことは勿論である。
【０１４９】
さらに、上記画像処理装置を構成する各回路部、例えば各エンジン及び共有メモリの種類、その数及び接続方法などはどのようなものでもよい。
【産業上の利用可能性】
【０１５０】
本発明に係る画像処理装置は、カメラ分野及び、インテリジェント監視等のプログラマブルな画像処理システムに用いるに好適である。
【符号の説明】
【０１５１】
２００，３００，４００，５００，６００ 画像処理装置
２０１ 入力Ｉ／Ｆ
２０２ 出力Ｉ／Ｆ
２１１〜２１４ 画像処理部
２２０ バス
２２１〜２２４ セレクタ
２２５ レジスタ
２３１〜２３３ 一時記憶部
３１１ ＤＭＡコントローラ
３２０ 外部メモリ
３３０ バス
３４０ 外部デバイス
【技術分野】
【０００１】
本発明は、画像データを処理する画像処理装置に関する。
【背景技術】
【０００２】
画像処理装置は、カメラモジュールから取り込まれた映像信号の調整・品質向上や、動画像の圧縮・伸張等、処理負荷の大きい処理を、画像処理システム全体を制御するホストの処理負荷を軽減するために代行して行うもので、一般的には専用の処理エンジンを用いて構成される。
【０００３】
図１９は、従来の画像処理装置の構成を示すブロック図である。図１９に示すように、画像処理装置１０は、固定処理Ａを行う画像処理部１１、固定処理Ｂを行う画像処理部１２、固定処理Ｃを行う画像処理部１３、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などからなる共有メモリ１４、及びこれら各部を相互に接続するバス１５を備える。
【０００４】
画像処理部１１には、ＣＣＤ（Charge Coupled Device）カメラ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラを内蔵するカメラモジュール１６が接続され、撮像された画像データが映像信号として入力される。画像処理部１１は、固定処理Ａ（例えばＲＡＷデータ処理（黒レベル補正、ゲイン調整、ホワイトバランス補正、ガンマ補正））を行う処理エンジンである。画像処理部１２は、固定処理Ｂ（例えばＹＣ（輝度・色差）分離）を行う処理エンジンである。画像処理部１３は、固定処理Ｃ（例えば出力処理）を行う処理エンジンである。
【０００５】
共有メモリ１４は、バス１５と接続して、複数の処理エンジン（画像処理部１１〜１３）間を転送するデータを一時的に格納する。また、共有メモリ１４は、図示しないＳＤＲＡＭコントローラにより制御される。ＳＤＲＡＭコントローラは、各処理エンジンとの間でアドレス、データ、制御信号をやり取りすることで、ＳＤＲＡＭへのアクセス制御を行う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−３４４７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来の画像処理装置は、複数の処理エンジン間のデータ転送に共有メモリを用いているため、メモリＩＯ（In-Out）がボトルネックとなり、処理エンジンの性能が十分であっても、装置全体としては処理が破綻するおそれがある。図１９の場合、共有メモリ１４とバス１５間がボトルネックとなる。
【０００８】
例えば、カメラ分野においては、近年の半導体技術の進歩によってＣＣＤやＣＭＯＳカメラの画素数および動作速度が著しく向上しており、カメラモジュールの出力画像を処理する装置には、高い解像度・フレームレートを取り扱える処理性能が求められている。今後、高解像度・高フレームレート化等の高性能化がさらに進展すると、処理エンジンが取り扱うデータのスループットが増大し、メモリＩＯがボトルネックとなって処理が破綻するおそれがある。
【０００９】
本発明は、上記に鑑みてなされたものであり、メモリＩＯのボトルネックを解消し、高性能かつプログラマブルな画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、複数の区分画像データからなる画像データに対して区分画像単位で互いに異なる画像処理を実行する複数の画像処理手段と、前記画像処理手段で処理された前記区分画像データを一時的に記憶する複数の第１の記憶手段と、前記複数の画像処理手段と前記複数の第１の記憶手段とを用いて、前記区分画像単位の処理を並列に繰り返し行うパイプライン処理を実行する画像制御手段と、を有する画像処理装置であって、前記パイプライン処理途中の画像データを前記複数の第１の記憶手段から前記区分画像単位で読み出して第２の記憶手段に書き込む記憶手段制御手段と、前記第２の記憶手段から読み出した画像データに対して特定の画像認識処理を実行する画像認識処理手段と、をさらに備え、前記画像制御手段は、前記パイプライン処理において、前記画像認識処理手段が特定の画像を認識した後に入力した画像データに対して、前記画像認識の前に入力した画像データに対して実行していた画像処理とは異なる画像処理を実行するように前記画像処理手段を制御する、構成を採る。
【発明の効果】
【００１１】
本発明によれば、画像処理手段が１ラインを単位として入出力を行う性質と、選択的に結合可能なバスとを組み合わせることにより、不要な処理のスキップや処理順序の入れ替えが可能となるため、複数種のカメラ製品に適用可能な共通プラットフォームとして利用することができる。また、高解像度の画像処理を複数の外付けメモリを用いることなく実行できるため、高性能と低価格を両立させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図
【図２】本発明の実施の形態１に係る画像処理装置のバスの切り替え制御シーケンスを示す図
【図３】本発明の実施の形態１に係る画像処理装置の処理タイミングを示す図
【図４】本発明の実施の形態１に係る画像処理装置のバスのデータフローを示す図
【図５】本発明の実施の形態２に係る画像処理装置の構成を示すブロック図
【図６】本発明の実施の形態２に係る画像処理装置のバスのデータフローを示す図
【図７】本発明の実施の形態３に係る画像処理装置の構成を示すブロック図
【図８】本発明の実施の形態４に係る画像処理装置の一時記憶部の構成を示す図
【図９】本発明の実施の形態５に係る画像処理装置の一時記憶部の構成を示す図
【図１０】本発明の実施の形態６に係る画像処理装置の構成を示すブロック図
【図１１】本発明の実施の形態６に係る画像処理装置の一時記憶部の構成を示す図
【図１２】本発明の実施の形態１に係る画像処理装置の処理タイミングを示す図
【図１３】本発明の実施の形態６に係る画像処理装置の処理タイミングを示す図
【図１４】本発明の実施の形態７に係る画像処理装置の一時記憶部の構成を示す図
【図１５】本発明の実施の形態７に係る画像処理装置の構成を示すブロック図
【図１６】本発明の実施の形態７に係る画像処理装置の構成を示すブロック図
【図１７】本発明の実施の形態８に係る画像処理装置の構成を示すブロック図
【図１８】本発明の実施の形態８に係る画像処理装置の構成を示すブロック図
【図１９】従来の画像処理装置の構成を示すブロック図
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１４】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態は、ディジタルカメラの信号処理を行う装置に適用した例である。
【００１５】
図１に示すように、画像処理装置２００は、入力インターフェース（Ｉ／Ｆ）２０１と、出力Ｉ／Ｆ２０２と、画像処理部２１１〜２１４と、バス２２０と、一時記憶部２３１〜２３３と、から主に構成される。また、画像処理装置２００は、外部の主制御部２５０から入力した制御信号に基づいて所定の信号処理を行う。
【００１６】
画像処理装置２００は、ディジタルカメラの信号処理を行う装置であり、イメージセンサ（カメラ）の出力信号（ベイヤー配列ＲＡＷデータ）を入力として、ＹＵＶ信号を生成し、出力する。イメージセンサの解像度は、例えば、水平２５６０ピクセル×垂直１９２０ピクセル（約４．９Ｍピクセル）である。
【００１７】
入力Ｉ／Ｆ２０１は、ＲＡＷデータをこれに付随する入力クロック及び水平・垂直同期信号を用いて画像処理装置２００内部に取り込む。
【００１８】
出力Ｉ／Ｆ２０２は、ＹＵＶ信号に出力クロック及び水平・垂直同期信号を付加して画像処理装置２００外部に出力する。
【００１９】
画像処理部２１１は、ＲＡＷデータ処理（黒レベル補正、ゲイン調整、ホワイトバランス補正、ガンマ補正）を行う。
【００２０】
画像処理部２１２は、係数可変の２次元ディジタルフィルタである。画像処理部２１２は、水平４ライン分のデータバッファを内蔵し、最大１００タップ（水平２０×垂直５）のフィルタ演算を実行する。
【００２１】
画像処理部２１３は、ＹＣ（輝度・色差）分離を行う。画像処理部２１３は、水平４ライン分のデータバッファを内蔵し、このバッファ内のデータで補間処理を行いながら輝度・色差のデータ（ＹＵＶ信号）を生成する。
【００２２】
画像処理部２１４は、図形重畳（画像に矩形や矩形枠を重ね合わせる処理）を行う。画像に矩形や矩形枠を重畳させることにより、撮影者に対して注意を促すことや、撮影対象のプライバシーを保護することができる。
【００２３】
バス２２０は、画像処理部２１１〜２１４と一時記憶部２３１〜２３３とを選択的に結合する。バス２２０は、２入力１出力セレクタ２２１〜２２４（セレクタＳ１〜Ｓ４）と、セレクタ２２１〜２２４を切り替え制御するレジスタ２２５とから構成される。
【００２４】
セレクタ２２１〜２２４は、２入力接続バスをいずれか１つに切り替える。レジスタ２２５は、画像処理装置２００の外部の主制御部２５０からの指示に従って、セレクタ２２１〜２２４を用途毎に切り替えるための制御信号をセレクタ２２１〜２２４に出力する。
【００２５】
一時記憶部２３１〜２３３は、各々水平２ライン分のデータ（５１２０ピクセル相当）を格納することができる２ポートＳＲＡＭである。この２ポートＳＲＡＭは、例えば１リード・１ライトで、１６ビット×５１２０ワードを有する。
【００２６】
このように、バス２２０を介して画像処理部２１１〜２１４と、リードアドレス（図示せず）、ライトアドレス（図示せず）、リードデータ、ライトデータの各信号線が結合される。
【００２７】
図２は、本装置が用いられる３種類の用途毎に、処理内容およびバス２２０のセレクタ制御方法を示す図である。この図の内容をコード化した情報は、画像処理装置２００の外部の主制御部２５０の内部メモリに格納される。図２に示すように、主制御部２５０に格納される情報は、「１．通常用途」、「２．暗環境下での監視」、「３．医療用途」毎に、画像処理部２１２（２次元ディジタルフィルタ）のフィルタ処理（フィルタ係数）およびバス２２０のセレクタ２２１〜２２４の選択方向である。
【００２８】
図１のレジスタ２２５は、主制御部２５０から設定された値に従って制御信号（例えば、１ビットの情報）をセレクタ２２１〜２２４（セレクタＳ１〜Ｓ４）に出力することにより、セレクタ２２１〜２２４（セレクタＳ１〜Ｓ４）を切り替え制御する。セレクタ２２１〜２２４は、２入力「ａ」，「ｂ」（図４参照）のうち、この図の接続バスのいずれか（「ａ」または「ｂ」）を選択する。図１では、セレクタ２２１〜２２４の上側入力が「ａ」、下側入力が「ｂ」である。
【００２９】
「１．通常用途」では、画像処理部２１１におけるＲＡＷデータ処理→画像処理部２１３におけるＹＣ分離→画像処理部２１４における図形重畳、の順序で処理が行われる。また、画像処理部２１２（２次元ディジタルフィルタ）のフィルタ処理はスキップする。「１．通常用途」の場合、セレクタ２２３（セレクタＳ３）は「ａ」を選択し、セレクタ２２４（セレクタＳ４）は「ｂ」を選択する。なお、画像処理部２１２（２次元ディジタルフィルタ）はスキップするので、セレクタ２２１（セレクタＳ１）及びセレクタ２２２（セレクタＳ２）の選択方向は任意である。
【００３０】
「２．暗環境下での監視」では、画像処理部２１１におけるＲＡＷデータ処理→画像処理部２１２におけるフィルタ処理→画像処理部２１３におけるＹＣ分離→画像処理部２１４における図形重畳、の順序で処理が行われる。また、画像処理部２１２（２次元ディジタルフィルタ）のフィルタ処理は、ノイズ除去（高周波数成分除去）である。「２．暗環境下での監視」の場合、セレクタ２２１（セレクタＳ１）は「ａ」を、セレクタ２２２（セレクタＳ２）は「ｂ」を、セレクタ２２３（セレクタＳ３）は「ｂ」を、セレクタ２２４（セレクタＳ４）は「ａ」を、それぞれ選択する。
【００３１】
「３．医療用途」では、画像処理部２１１におけるＲＡＷデータ処理→画像処理部２１３におけるＹＣ分離→画像処理部２１２におけるフィルタ処理→画像処理部２１４における図形重畳、の順序で処理が行われる。また、画像処理部２１２（２次元ディジタルフィルタ）のフィルタ処理は、毛細血管強調（赤色高周波成分強調）である。「３．医療用途」の場合、セレクタ２２１（セレクタＳ１）は「ｂ」を、セレクタ２２２（セレクタＳ２）は「ａ」を、セレクタ２２３（セレクタＳ３）は「ａ」を、セレクタ２２４（セレクタＳ４）は「ｂ」を、それぞれ選択する。
【００３２】
以下、上述のように構成された画像処理装置２００の動作を説明する。
【００３３】
〔ライン単位処理〕
まず、ライン単位処理について説明する。
【００３４】
画像処理部２１１〜２１４は、いずれもその処理の性質から、画像中の１ラインを単位としてデータの入力もしくは出力を行う。例えば、画像処理部２１２（２次元ディジタルフィルタ）は、バス２２０から新規の１ライン分の画像データを受けると、内蔵データバッファに保持された４ライン分の画像データと新規１ライン分の画像データとの合計５ライン分の画像データのデータに対し最大１００タップのフィルタ演算を実行して１ライン分の画像データの出力を行うとともに、内蔵データバッファの最古の１ライン分の画像データを新規１ライン分の画像データに置換する。画像処理部２１２は、この１ライン毎の処理を繰り返すことにより、１画面全体を処理する。
【００３５】
〔動作タイミング〕
次に、画像処理装置２００の動作タイミングについて説明する。図３は、図２に示した「１．通常用途」における、画像処理装置２００の処理タイミングを示す図である。
【００３６】
詳細には、画像入力のタイミング、画像処理部２１１（ＲＡＷデータ処理）の処理レイテンシ、画像処理部２１１による一時記憶部２３１に対する書込み動作、画像処理部２１３（ＹＣ分離）による一時記憶部２３１からの読出し動作、画像処理部２１３の処理レイテンシ、画像処理部２１３による一時記憶部２３３に対する書込み動作、画像処理部２１４（図形重畳）による一時記憶部２３３からの読出し動作、画像処理部２１４の処理レイテンシ、及び画像出力のタイミングを示す。なお、図３中、一時記憶部２３１，２３３の縦軸はアドレスを示す。
【００３７】
図３の例では、データが、画像処理部２１１（ＲＡＷデータ処理）→一時記憶部２３１→画像処理部２１３（ＹＣ分離）→一時記憶部２３３→画像処理部２１４（図形重畳）の順序で流れるように、バス２２０の接続が行われる。
【００３８】
入力Ｉ／Ｆ２０１からのＲＡＷデータは、１ラインあたり４０μｓ周期中の１６μｓ期間に入力され、データレートは１６０ＭＨｚ／ピクセルである。
【００３９】
画像処理部２１１（ＲＡＷデータ処理）、画像処理部２１３（ＹＣ分離）及び画像処理部２１４（図形重畳）は、上記水平同期信号により４０μｓで同期して動作し、それぞれ１０μｓ、２４μｓ、６μｓの処理レイテンシを持つ。
【００４０】
各画像処理部２１１，２１３，２１４は、一時記憶部２３１，２３３に対してそれぞれリード・ライトのアドレスを生成し、４０μｓ周期でライト領域とリード領域が交互に入れ替わる構成となっている。
【００４１】
したがって、図３の例では、画像処理部２１１が、入力した画像データに対して１０μｓの処理レイテンシでＲＡＷデータ処理し、処理完了したデータを順次一時記憶部２３１に書込む。そして、画像処理部２１１の処理開始から４０μｓ後に、画像処理部２１３が、一時記憶部２３１からデータを順次読出し、２４μｓの処理レイテンシでＹＣ分離を行い、処理完了したデータを順次一時記憶部２３３に書込む。そして、画像処理部２１３の処理開始から４０μｓ後に、画像処理部２１４が、一時記憶部２３３からデータを順次読出し、６μｓの処理レイテンシで図形重畳を行い、処理完了したデータを順次出力する。
【００４２】
このように、画像処理装置２００は、画像処理部２１１〜２１４が、ライン単位のパイプライン処理として並列動作する構成となる。
【００４３】
〔バス切替方式〕
次に、バス切替方式について説明する。
【００４４】
画像処理装置２００は、図２に示す３種類の用途に用いられ、用途毎に画像処理部２１１〜２１４の実行有無や順序を切り替える。
【００４５】
ここで、画像処理部２１２（２次元ディジタルフィルタ）の処理内容は、用途毎に異なる。例えば、画像処理装置２００を「２．暗環境下での監視」に用いる場合、イメージセンサへの入力光量が減少しノイズが増大するため、画像処理部２１２は、ＲＡＷデータ処理後の高周波成分を除去し、監視者が見やすいよう画質改善を行う。
【００４６】
また、画像処理装置２００を「３．医療用途」に用いる場合、医療者が毛細血管を視認しやすいよう赤色高周波成分を強調する必要があるため、画像処理部２１２は、ＹＣ分離後にこの赤色高周波成分強調処理を行う。
【００４７】
これらの特殊処理は、主制御部２５０が画像処理部２１２（２次元ディジタルフィルタ）のフィルタ係数を変更することにより実現される。
【００４８】
図４は、画像処理装置２００のバス２２０のデータフローを示す図である。図４中の太実線は、セレクタ２２１〜２２４（セレクタＳ１〜Ｓ４）の選択によってデータが流れるバスを示し、同図破線は、セレクタ２２１〜２２４の非選択によってデータが流れないバスを示す。
【００４９】
図４（ａ）は、「１．通常用途」における処理順序（画像処理部２１１（ＲＡＷデータ処理）→画像処理部２１３（ＹＣ分離）→画像処理部２１４（図形重畳））のデータフローである。
【００５０】
図４（ｂ）は、「２．暗環境下での監視」における処理順序（画像処理部２１１（ＲＡＷデータ処理）→画像処理部２１２（２次元ディジタルフィルタ）→画像処理部２１３（ＹＣ分離）→画像処理部２１４（図形重畳））のデータフローである。
【００５１】
図４（ｃ）は、「３．医療用途」における処理順序（画像処理部２１１（ＲＡＷデータ処理）→画像処理部２１３（ＹＣ分離）→画像処理部２１２（２次元ディジタルフィルタ）→画像処理部２１４（図形重畳））のデータフローである。
【００５２】
図４に示すように、画像処理装置２００は、バス２２０に含まれる４つのセレクタ２２１〜２２４（セレクタＳ１〜Ｓ４）を、図２に示すように設定することにより、画像処理部２１１〜２１４と一時記憶部２３１〜２３３とを選択的に結合する。これにより、画像処理部２１１〜２１４の実行有無や順序が変更される。
【００５３】
また、本実施の形態によれば、共有メモリを用いず、ライン単位のメモリを用いているため、メモリＩＯボトルネックが解消されると共に、従来の装置に対してコストを抑えることができる。
【００５４】
例えば、図２の「１．通常用途」に相当する処理を従来の装置で行う場合、共有メモリに求められる最大スループットは以下の通りである。
データレート：Ｒ＝１６０ [ＭＨｚ]
入出力系統数：Ｎ＝６（リード・ライト各３系統）
１ピクセル当たりデータ量：Ｂ＝２[Ｂｙｔｅ]
スループット：Ｓ＝Ｒ×Ｎ×Ｂ＝１９２０[ＭＢｙｔｅ／ｓ]
【００５５】
従来の装置は、ＳＤＲＡＭなどからなる共有メモリを用いている。現時点で入手し得るＤＤＲ ＳＤＲＡＭのスループットは最大１．３[ＧＢｙｔｅ／ｓ]程度であるため、１個のＳＤＲＡＭではメモリＩＯがボトルネックとなり、装置を構成できない。従来の装置を構成するには２個のＳＤＲＡＭが必要となる。このように、従来の装置は、記憶容量としては不必要であるにもかかわらず、スループットを確保するために複数個の外部メモリを用意しなければならず、高価なものとなる。
【００５６】
これに対して、本実施の形態の装置は、６４０[ＭＢｙｔｅ／ｓ]の小容量ＳＲＡＭを３個用意すれば良いので、１つの半導体デバイス（ＬＳＩ）上に集積することが可能となり、安価に装置を構成することができる。
【００５７】
以上詳細に説明したように、本実施の形態によれば、外部制御に従って、レジスタ２２５がセレクタ２２１〜２２４を切り替え制御することにより、画像処理部２１１〜２１４と一時記憶部２３１〜２３３との結合形態を変化させて画像処理部２１１〜２１４の実行順序を規定する。これにより、不要な処理のスキップや処理順序の入れ替えが可能となり、メモリＩＯボトルネックを解消し、高性能かつプログラマブルな画像処理装置を実現することができる。例えば、種々のカメラ製品に対するプラットフォームを共通化することができる。
【００５８】
また、本実施の形態によれば、不要処理としてスキップさせた画像処理部２１１〜２１４、及び未使用の一時記憶部２３１〜２３３に対するクロック供給、もしくは電源供給を停止させることもできる。このようにすれば、消費電力を削減することができ、バッテリ駆動の機器では、連続動作時間の長時間化を図ることができる。
【００５９】
（実施の形態２）
実施の形態２は、実施の形態１で説明した画像処理装置に外部メモリを接続する例である。
【００６０】
図５は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。本実施の形態の説明に当たり、図１と同一の構成部分には同一符号を付して重複箇所の説明を省略する。
【００６１】
図５に示すように、画像処理装置３００は、画像処理装置本体３１０と、外部メモリ３２０とからなり、画像処理装置本体３１０は、入力Ｉ／Ｆ２０１と、出力Ｉ／Ｆ２０２と、画像処理部２１１〜２１４Ａと、ＤＭＡコントローラ３１１と、バス２２０Ａと、一時記憶部２３１〜２３４と、を備える。
【００６２】
画像処理装置３００は、図１の画像処理装置２００と同様に、ディジタルカメラの信号処理を行う装置であり、イメージセンサ（カメラ）の出力信号（ベイヤー配列ＲＡＷデータ）を入力として、ＹＵＶ信号を生成し、出力する。
【００６３】
画像処理部２１４Ａは、図１の画像処理部２１４と同様の機能に加え、一時記憶部２３３及び一時記憶部２３４から、それぞれ同位置の１ライン分の画像データを読み出し、２つの画像データの差分から動体の有無（静止画か否か）を判別する。
【００６４】
バス２２０Ａは、画像処理部２１１〜２１４Ａ、ＤＭＡコントローラ３１１と一時記憶部２３１〜２３４とを選択的に結合する。バス２２０Ａは、図１のバス２２０に、ＤＭＡコントローラ３１１接続用のバス及びセレクタが付加された構成であり、基本的には図１のバス２２０を拡張した構成である。
【００６５】
一時記憶部２３４は、一時記憶部２３１〜２３３と同様に、各々水平２ライン分のデータ（５１２０ピクセル相当）が格納可能な２ポートＳＲＡＭである。この２ポートＳＲＡＭは、例えば１リード・１ライトで、１６ビット×５１２０ワードを有する。
【００６６】
ＤＭＡコントローラ３１１は、１ライン単位でバス２２０Ａと外部メモリ３２０との間のデータ転送を行う。ＤＭＡコントローラ３１１は、一時記憶部２３３から１ライン分の画像データを読み出して外部メモリ３２０に書き込む。また、ＤＭＡコントローラ３１１は、外部メモリ３２０から旧フレームの同位置の１ライン分の画像データを読み出して一時記憶部２３４に書き込む。
【００６７】
外部メモリ３２０は、一時記憶部２３１〜２３４に比較して大容量のメモリ（例えばＳＤＲＡＭ）である。外部メモリ３２０は、過去の画像データをフレーム単位で保持するために設けられる。ここでは、外部メモリ３２０は、新旧２フレーム分の画像データを蓄積する。
【００６８】
以下、上述のように構成された画像処理装置３００の動作を、図６を用いて説明する。図６は、画像処理装置３００のバス２２０Ａのデータフローを示す図である。なお、「１．通常用途」、「２．暗環境下での監視」及び「３．医療用途」のいずれにおいても、画像処理部２１１に画像データが入力されてから、一時記憶部２３３に画像データが書き込まれるまでの動作は、上記実施の形態１における画像処理装置２００と同様であるので、説明を省略する。
【００６９】
一時記憶部２３３に画像データが書き込まれると、ＤＭＡコントローラ３１１は、一時記憶部２３３から１ライン分の画像データを読み出して外部メモリ３２０に書き込む。また同時に、この１ライン分の画像データが画像処理部２１４Ａに入力される。
【００７０】
次に、ＤＭＡコントローラ３１１は、外部メモリ３２０から旧フレームの１ライン分の画像データを読み出して一時記憶部２３４に書き込む。
【００７１】
次に、画像処理部２１４Ａは、一時記憶部２３４から旧フレームの１ライン分の画像データを読み出す。この旧フレームの１ライン分の画像データ、および上記（新フレームの）１ライン分の画像データは、元のフレーム上で同位置となるようにＤＭＡ制御が行われる。画像処理部２１４Ａは、同位置の１ライン分の新旧２つの画像データの差分から動体の有無を判別する。
【００７２】
このように、本実施の形態によれば、画像処理装置３００が、過去の画像データをフレーム単位で保持する外部メモリ３２０、及び、バス２２０Ａと外部メモリ３２０との間のデータ転送を行うＤＭＡコントローラ３１１を有することにより、実施の形態１の機能に加えて、動体の有無の判別等、過去のフレームを使用する画像処理を行うことができる。
【００７３】
また、本実施の形態によれば、大容量の外部メモリ３２０を外付け部品としており、過去のフレームを参照する信号処理が不要な場合、外部メモリの実装を省略することができる。これにより、高性能品・廉価品の双方に適応できるプラットフォームを構築することができる。
【００７４】
（実施の形態３）
実施の形態３は、実施の形態２で説明した画像処理装置に外部デバイスを接続する例である。
【００７５】
図７は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。本実施の形態の説明に当たり、図５と同一の構成部分には同一符号を付して重複箇所の説明を省略する。
【００７６】
図７に示すように、画像処理装置３００は、画像処理装置本体３１０と、外部メモリ３２０と、バス３３０と、外部デバイス３４０とからなり、画像処理装置本体３１０は、入力Ｉ／Ｆ２０１と、出力Ｉ／Ｆ２０２と、画像処理部２１１〜２１４Ａと、ＤＭＡコントローラ３１１と、バス２２０Ａと、一時記憶部２３１〜２３４と、を備える。
【００７７】
ＤＭＡコントローラ３１１は、バス３３０を介して、外部メモリ３２０への画像データの書き込み、外部メモリ３２０からの画像データの読み出し、を行う。
【００７８】
外部デバイス３４０は、例えば汎用プロセッサ、ＦＰＧＡ（Field Programmable Gate Array）である。外部デバイス３４０は、外部メモリ３２０から画像データを読み出し、所定の処理、例えば顔認識のような静止画オブジェクト認識を行う。そして、外部デバイス３４０は、処理の結果を示す制御信号を主制御部２５０に出力する。例えば、外部デバイス３４０が顔認識を行う場合、画像データから人物の顔を認識したときに、その旨を示す制御信号を主制御部２５０に出力する。
【００７９】
主制御部２５０は、外部デバイス３４０から制御信号を入力したタイミングで、画像処理装置３００の信号処理の種別を制御する。例えば、画像処理装置３００が「１．通常用途」を行っている場合に、主制御部２５０は、外部デバイス３４０から人物の顔を認識した旨を示す制御信号を入力したときに、画像処理装置３００に対して、解像度を上げて処理を行うように指示する。
【００８０】
このように、本実施の形態によれば、画像処理部２１１〜２１４Ａによる固定処理と、外部デバイス３４０による可変処理とを実行順序自在に組合せることができ、フレキシビリティの高い信号処理プラットフォームを構築することができる。例えば、外部デバイス３４０のプログラムを変更するだけで、顔認識を車輛認識に変更することができる。
【００８１】
また、汎用プロセッサである外部デバイス３４０、バス３３０、画像処理部２１１〜２１４Ａ、ＤＭＡコントローラ３１１、バス２２０Ａ、及び一時記憶部２３１〜２３４を１つの半導体デバイス（ＬＳＩ）上に集積することもできる。このように構成すれば、機器の部品点数及び実装面積を削減することができ、機器の小型化、及びコストダウンを実現することができる。
【００８２】
（実施の形態４）
実施の形態４は、一時記憶部の構成例である。
【００８３】
図８は、本発明の実施の形態４に係る画像処理装置の一時記憶部の構成を示す図である。図１と同一構成部分には同一符号を付す。図８は、図１の一時記憶部２３１〜２３３のうち、一時記憶部２３１を代表して示す。
【００８４】
図８に示すように、一時記憶部２３１は、単体で区分画像データを格納することができるＦＩＦＯ（First-In First-Out）２５１と、ＦＩＦＯ２５１を制御する制御回路２５２とから構成される。
【００８５】
ここで、画像処理部２１１〜２１４（図１参照）は、処理対象の区分画像の位置関係を認識して処理を行う必要がある。例えば、カメラ信号処理では、一般に偶数ラインと奇数ラインでイメージセンサの色配列が異なるため、処理中のラインの偶奇を認識して処理を行う必要がある。
【００８６】
通常は、一時記憶部の所定のアドレスに所定のデータを格納することで、処理中のラインの偶奇を認識する。例えば、実施の形態１の一時記憶部２３１であれば、アドレス０番地〜２５５９番地に偶数ライン、アドレス２５６０番地〜５１１９番地に奇数ラインを格納する。これを行うためには、バス２２０にはライトアドレスの信号線およびリードアドレスの信号線がそれぞれ必要となる。
【００８７】
これに対し、本実施の形態では、制御回路２５２が、一時記憶部２３１のＦＩＦＯ２５１に区分画像データを格納する際に、画像における当該区分画像の位置関係を示す情報を付加する。例えば、区分画像が１ラインの場合、格納されるラインに対するライン番号を付加する。
【００８８】
図８の例では、制御回路２５２が、ＦＩＦＯ２５１に、区分画像１位置情報を格納した後に区分画像１データを格納し、続いて区分画像２位置情報を格納した後に区分画像２データを格納する。所定のデータが入力されると、ＦＩＦＯ２５１は最初に入力されたデータから順に出力する。
【００８９】
これにより、画像処理部２１２は、一時記憶部２３１のＦＩＦＯ２５１から順次区分画像データを読み出すだけで、該当区分画像の位置関係を認識することができる。
【００９０】
このように、本実施の形態によれば、画像処理部２１１〜２１４側で、一時記憶部２３１〜２３３に対するアドレスを生成する必要がなくなるので、バス２２０から大量の信号線（アドレス線）を削除することができる。また、ＬＳＩに集積する場合には、大量の信号線を削除することにより、各回路（処理エンジン）を互いに近くに寄せて配置することができ、信号の伝送時間を短縮して、動作速度を上げることができる。
【００９１】
なお、本実施の形態における区分画像の位置関係を示す情報は、画像のトップラインを示すもの（１ビットのフラグ情報）であれば良く、画像処理部２１１〜２１４は、画像のトップラインが分かれば、処理対象の区分画像の位置関係を計算することができる。
【００９２】
（実施の形態５）
実施の形態５は、一時記憶部の他の構成例である。
【００９３】
図９は、本発明の実施の形態５に係る画像処理装置の一時記憶部の構成を示す図である。図１と同一構成部分には同一符号を付す。図９は、図１の一時記憶部２３１〜２３３のうち、一時記憶部２３１を代表して示す。
【００９４】
図９に示すように、一時記憶部２３１は、制御回路２６１と、２以上のＳＲＡＭ２６３，２６５と、ＳＲＡＭ２６３，２６５に関連づけられたレジスタ２６２，２６４とから構成される。
【００９５】
制御回路２６１は、バス２２０から入力した区分画像データを、ＳＲＡＭ２６３またはＳＲＡＭ２６５に交互に格納するように制御する。また、制御回路２６１は、ＳＲＡＭ２６３に対して区分画像データの格納を開始する際にレジスタ２６２の値を書き換え、ＳＲＡＭ２６５に対して区分画像データの格納を開始する際にレジスタ２６４の値を書き換える。また、制御回路２６１は、一時記憶部２３１のＳＲＡＭ２６３またはＳＲＡＭ２６５から区分画像データを出力する際に、レジスタ２６２，２６４の値（画像における該当区分画像の位置関係を示す情報）を付加する。
【００９６】
レジスタ２６２，２６４は、該当区分画像の位置関係を示す情報を保持する。ＳＲＡＭ２６３，２６５は、単体で区分画像データを格納することができるメモリである。
【００９７】
以上の構成において、区分画像データは、２つのＳＲＡＭ２６３，２６５に交互に書き込まれ、一方の書き込み中に他方から読み出す２−Ｂａｎｋの構成を採っている。
【００９８】
上記実施の形態４で説明したように、画像処理部２１１〜２１４は、処理対象の区分画像の位置関係を認識して処理を行う必要がある。通常は、一時記憶部の所定のアドレスに所定のデータを格納することで、この位置関係を認識する。
【００９９】
これに対し、本実施の形態では、制御回路２６１が、一時記憶部２３１のＳＲＡＭ２６３またはＳＲＡＭ２６５に区分画像データを格納する際に、関連づけられたレジスタ（２６２または２６４）に、画像における該当区分画像の位置関係を示す情報を格納する。例えば、区分画像が１ラインの場合、格納されるラインに対するライン番号を格納する。
【０１００】
さらに、制御回路２６１は、一時記憶部２３１のＳＲＡＭ２６３またはＳＲＡＭ２６５から区分画像データを出力する際に、レジスタ２６２または２６４の値を、画像における該当区分画像の位置関係を示す情報として付加する。
【０１０１】
これにより、画像処理部２１２は、入力した区分画像データについて、該当区分画像の位置関係を認識することができる。
【０１０２】
このように、本実施の形態によれば、画像処理部２１１〜２１４側で、一時記憶部２３１〜２３３に対するアドレスを生成する必要がなくなるので、バス２２０から大量の信号線（アドレス線）を削除することができる。また、ＬＳＩに集積する場合には、大量の信号線を削除することにより、各回路（処理エンジン）を互いに近くに寄せて配置することができ、信号の伝送時間を短縮して、動作速度を上げることができる。
【０１０３】
なお、本実施の形態におけるレジスタ２６２，２６４の値（区分画像の位置関係を示す情報）は、画像のトップラインを示すもの（１ビットのフラグ情報）であれば良く、画像処理部２１１〜２１４は、画像のトップラインが分かれば、処理対象の区分画像の位置関係を計算することができる。
【０１０４】
なお、一時記憶部の構成として、実施の形態４と実施の形態５のどちらの構成を採るかは任意である。実施の形態５では、一時記憶部を１ポートＳＲＡＭ×２個で構成できるため、ＦＩＦＯ（通常２ポートＳＲＡＭを用いて構成される）を用いる実施の形態４の構成に比べて、回路規模を削減することができる。
【０１０５】
（実施の形態６）
図１０は、本発明の実施の形態６に係る画像処理装置の構成を示すブロック図である。なお、図１０において、図１と同一構成部分には同一符号を付す。
【０１０６】
図１０に示すように、画像処理装置４００は、入力Ｉ／Ｆ２０１と、出力Ｉ／Ｆ２０２と、画像処理部２１１〜２１４Ｂと、バス２２０Ｂと、一時記憶部２３１Ｂ〜２３３Ｂと、を備える。
【０１０７】
画像処理部２１２Ｂ〜２１４Ｂは、図１の画像処理部２１２〜２１４と同様の機能に加え、一時記憶部２３１Ｂ〜２３３Ｂから区分画像データの格納が終了したことを示す制御信号が入力され、この制御信号が入力されたタイミングで動作を開始する。
【０１０８】
バス２２０Ｂは、画像処理部２１１〜２１４Ｂと一時記憶部２３１Ｂ〜２３３Ｂとを選択的に結合する。バス２２０Ｂは、図１のバス２２０に、一時記憶部２３１Ｂ〜２３３Ｂからの上記制御信号を画像処理部２１２Ｂ〜２１４Ｂへ供給するための信号線が付加された構成であり、基本的には図１のバス２２０を拡張した構成である。
【０１０９】
図１１は、上記画像処理装置４００の一時記憶部の構成を示す図である。図１１において、図９及び図１０と同一構成部分には同一符号を付す。図１０の一時記憶部２３１Ｂ〜２３３Ｂのうち、一時記憶部２３１Ｂを代表して示す。
【０１１０】
図１１に示すように、一時記憶部２３１Ｂは、制御回路２６１Ｂと、２以上のＳＲＡＭ２６３，２６５と、ＳＲＡＭ２６３，２６５に関連づけられたレジスタ２６２，２６４とから構成される。
【０１１１】
制御回路２６１Ｂは、図９の制御回路２６１と同様に、ＳＲＡＭ２６３，２６５に区分画像データを格納する際に、画像における該当区分画像の位置関係を示す情報をレジスタ２６２，２６４に書き込む。さらに、制御回路２６１Ｂは、ＳＲＡＭ２６３，２６５への区分画像データの格納が終了したことを示す制御信号を生成し、画像処理部２１２Ｂ〜２１４Ｂに制御信号を出力する。また、制御回路２６１Ｂは、制御信号の出力と同時にＢａｎｋ切り替えを行い、新たな区分画像データを入力する。
【０１１２】
本実施の形態は、一時記憶部２３１Ｂ〜２３３ＢのＢａｎｋ切り替えのタイミング、及び、各画像処理部２１２Ｂ〜２１４Ｂの動作開始タイミングに特徴がある。
【０１１３】
図１２は、本実施の形態と比較するため、実施の形態１の画像処理装置の処理タイミングを示す図である。図１３は、本実施の形態の画像処理装置４００の処理タイミングを示す図である。なお、図１２及び図１３は、いずれも、図２に示した「１．通常用途」における処理タイミングを示す。
【０１１４】
図１２及び図１３の例では、データが、画像処理部２１１（ＲＡＷデータ処理）→一時記憶部２３１Ｂ→画像処理部２１３Ｂ（ＹＣ分離）→一時記憶部２３３Ｂ→画像処理部２１４Ｂ（図形重畳）の順序で流れるように、バス２２０の接続が行われる。
【０１１５】
入力Ｉ／Ｆ２０１からのＲＡＷデータは、１６μｓ期間に入力され、データレートは１６０ＭＨｚ／ピクセルである。
【０１１６】
画像処理部２１１（ＲＡＷデータ処理）、画像処理部２１３Ｂ（ＹＣ分離）及び画像処理部２１４Ｂ（図形重畳）は、それぞれ１０μｓ、２４μｓ、６μｓの処理レイテンシを持つ。
【０１１７】
実施の形態１の画像処理装置において、Ｂａｎｋ切り替えを一斉に行う場合、切り替えタイミングは、最も処理の時間のかかる画像処理部２１３Ｂの処理時間に律速される。このため、実施の形態１の画像処理装置は、処理性能を上げることができない。
【０１１８】
図１２の例では、ＲＡＷデータが１ライン当たり１６μｓ期間に入力されるにもかかわらず、実施の形態１の画像処理装置は、１ラインの画像データを出力するために４０μｓ期間を必要とし、本来性能の４０％しか出ていない。
【０１１９】
これに対し、本実施の形態の画像処理装置４００では、各画像処理部２１２Ｂ〜２１４Ｂが、一時記憶部２３１Ｂ〜２３３Ｂから区分画像データの格納が終了したことを示す制御信号を入力したタイミングで動作することができるので、一時記憶部２３１Ｂ〜２３３Ｂ毎に個別にＢａｎｋ切り替えを行うことができ、本来の性能を引き出すことができる。
【０１２０】
図１３の例では、画像処理部２１１は、入力した１ライン当たり１６μｓ期間の区分画像データに対して１０μｓの処理レイテンシでＲＡＷデータ処理し、処理完了したデータを順次一時記憶部２３１Ｂに書込む。また、画像処理部２１１は、１番目のラインの区分画像データを処理した後、続けて２番目のラインの区分画像データを処理する。
【０１２１】
そして、画像処理部２１１の処理開始から２６μｓ後に、画像処理部２１３Ｂは、一時記憶部２３１Ｂからデータを順次読出し、２４μｓの処理レイテンシでＹＣ分離を行い、処理完了したデータを順次一時記憶部２３３Ｂに書込む。また、画像処理部２１３Ｂは、１番目のラインの区分画像データを処理した後、続けて２番目のラインの区分画像データを処理する。
【０１２２】
そして、画像処理部２１３Ｂの処理開始から４０μｓ後に、画像処理部２１４Ｂは、一時記憶部２３３Ｂからデータを順次読出し、６μｓの処理レイテンシで図形重畳を行い、処理完了したデータを順次出力する。また、画像処理部２１４Ｂは、１番目のラインの区分画像データを処理した後、続けて２番目のラインの区分画像データを処理する。
【０１２３】
この結果、図１３の例では、１ライン当たり１６μｓ期間に入力されるＲＡＷデータに対し、本実施の形態の画像処理装置４００は、１ラインの画像データを１６μｓ期間で出力することができる。
【０１２４】
このように、本実施の形態によれば、各画像処理部２１１〜２１４Ｂの処理時間が不均一であっても、Ｂａｎｋ切り替えを一斉に行う場合と比較して装置全体の処理性能を向上させることができる。
【０１２５】
（実施の形態７）
図１４は、本発明の実施の形態７に係る画像処理装置の一時記憶部の構成を示す図である。図１４において、図１１と同一構成部分には同一符号を付す。
【０１２６】
図１４（ａ）では、一時記憶部２３１Ｂと同様の構成の一時記憶部２３１Ｃを、バスに対して接続している。一時記憶部２３１Ｂ，２３１Ｃは、例えばＳＲＡＭにより構成される。
【０１２７】
図１４（ｂ）に示すように、複数の一時記憶部２３１Ｂ，２３１Ｃを用いて、容量の大きな１つの一時記憶部２３１Ｄを構成できる。一時記憶部２３１ＤにＳＲＡＭを用いることにより実現可能である。
【０１２８】
例えば、水平１２８０画素１ラインの区分画像を格納する一時記憶部２３１Ｂ，２３１Ｃを２個用いて、水平２５６０画素１ラインに対する一時記憶部２３１Ｄを構成することができる。この場合、図１４（ｂ）において破線で示すレジスタを削減することができる。
【０１２９】
図１５及び図１６は、本発明の実施の形態７に係る画像処理装置の構成を示すブロック図である。なお、図１５及び図１６において、図１と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【０１３０】
図１５及び図１６は、ステレオカメラ入力処理を行う、本発明の実施の形態７に係る画像処理装置の構成を示すブロック図である。なお、図１５及び図１６において、図１と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【０１３１】
図１５及び図１６に示すように、画像処理装置５００は、入力Ｉ／Ｆ２０１Ａ，２０１Ｂ、出力Ｉ／Ｆ２０２、画像処理部５１１Ａ，５１１Ｂ，５１２Ａ，５１２Ｂ，２１３，２１４、バス２２０Ｃ、及び一時記憶部５３１Ａ，５３１Ｂ，５３２Ａ，５３２Ｂ，２３４を備えて構成される。
【０１３２】
画像処理部５１１Ａ，５１１Ｂ，５１２Ａ，５１２Ｂは、２ｃｈ対応用に、図１の画像処理部２１１，２１２を２つ設けたものである。また、一時記憶部５３１Ａ，５３１Ｂ，５３２Ａ，５３２Ｂについても同様に、図１の一時記憶部２３１，２３２を２つ設けたものである。バス２２０Ｃは、上記に対応したもので図１のバス２２０と同様の構成を有する。図１５の一時記憶部５３１Ａ，５３２Ａは図１４（ａ）の一時記憶部２３１Ｂに対応し、一時記憶部５３１Ｂ，５３２Ｂは図１４（ａ）の一時記憶部２３１Ｃに対応する。
【０１３３】
画像処理部５１１Ａ，５１１ＢはＲＡＷデータ処理を行い、画像処理部５１２Ａ，５１２Ｂ２はＹＣ分離を行う。また、画像処理部２１３は距離計測を行い、画像処理部２１４は出力画面生成処理を行う。
【０１３４】
画像処理装置５００は、２ｃｈのステレオカメラ入力（水平解像度：１２８０ｐｉｘ）を処理し、画面に物体の距離情報を付加して出力することができる。
【０１３５】
図１６は、図１５と同一の画像処理装置５００であり、水平解像度が２倍（２５６０ｐｉｘ）の１ｃｈカメラ入力を処理する例を示す。この場合、複数の一時記憶部５３１Ａ，５３１Ｂを用いて、容量の大きな１つの一時記憶部５３１Ｃを構成する。同様に、複数の一時記憶部５３２Ａ，５３２Ｂを用いて、容量の大きな１つの一時記憶部５３２Ｃを構成する。図１６の一時記憶部５３１Ｃ，５３２Ｃは図１４（ｂ）の一時記憶部２３１Ｄに対応する。
【０１３６】
このように、本実施の形態によれば、例えば１チャネルの高解像度処理系と、複数チャネルの低解像度処理系とを、同一のプラットフォームで構築することができる。これにより、種々のカメラ製品（例えばマルチビューカメラと高解像度カメラ）に対するプラットフォームを共通化することができる。
【０１３７】
（実施の形態８）
図１７及び図１８は、本発明の実施の形態８に係る画像処理装置の構成を示すブロック図である。なお、図１７及び図１８において、図１及び図１５と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【０１３８】
図１７及び図１８に示すように、画像処理装置６００は、入力Ｉ／Ｆ２０１、出力Ｉ／Ｆ２０２、画像処理部２１１〜２１４、バス２２０Ｄ、一時記憶部６３１Ａ，６３１Ｂ，６３２Ａ，６３２Ｂ，６３３Ａ，６３３Ｂ、及び電力制御部６１０を備えて構成される。
【０１３９】
画像処理装置６００は、例えば、ローパワーモードと通常モードなど２以上の動作モードを持つ。
【０１４０】
画像処理装置６００は、ローパワーモードでは、画像の処理解像度を落とす、あるいは、画像処理部２１１〜２１４を削減する等により、消費電力を抑える。
【０１４１】
また、特定の要因によりローパワーモードから通常モードに移行した場合、画像処理装置６００は、処理解像度や適用する画像処理部２１１〜２１４を増やす態様を採る。特定の要因とは、登録物の検出、不審物の検出など、インテリジェント監視関連がある。
【０１４２】
図１７は、ローパワーモードの例である。ローパワーモードでは、画像処理装置６００は、例えば、水平解像度を１２８０ｐｉｘに落とすと共に、ＹＣ分離における色処理を行わない。この場合、画像処理部２１１はＲＡＷデータ処理を行い、画像処理部２１２は輝度処理のみを行う。また、画像処理部２１３は色処理（スキップ）を行い、画像処理部２１４は出力画面生成と異常検出を行う。また、電力制御部６１０は、画像処理部２１３、一時記憶部６３１Ｂ、一時記憶部６３２Ｂ、一時記憶部６３３Ｂをオフにする。
【０１４３】
図１８は、図１７と同一の画像処理装置６００における通常モードの例である。ローパワーモード時に、画像処理部２１４が不審物を検出すると、電力制御部６１０にその検出信号を送り、画像処理装置６００は、通常モードに移行する。通常モードでは、画像処理装置６００は、水平解像度を２５６０ｐｉｘに増すとともに、ＹＣ分離における色処理を行う。また、電力制御部６１０は、画像処理部２１３、一時記憶部６３１Ｂ、一時記憶部６３２Ｂ、一時記憶部６３３Ｂをオンにする。
【０１４４】
このように、本実施の形態によれば、必要な画像は高性能で処理しつつ、通常時の消費電力は抑制することができる。監視カメラなど常時（２４時間）稼動機器に対する電力抑制として非常に有効である。
【０１４５】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
【０１４６】
例えば、画像処理装置は、カメラ信号処理に限定されない。また、画像の処理単位（区分画像のサイズ）は「１ライン」に限定されず、複数ラインでもよく、画像を格子状に分割したタイル構成における１タイルでもよい。さらに、バスの構成は、セレクタ４個で構成などに限定されない。
【０１４７】
さらに、例えば図２に示すように、画像処理部２１１〜２１４の実行順序として、１−２−３−４、１−３−２−４、１−３−４としているが、これらは一例であり、このような構成に限定されるものではない。
【０１４８】
また、上記各実施の形態では画像処理装置という名称を用いたが、これは説明の便宜上であり、パケット伝送装置及び符号化パケット受信方法等であってもよいことは勿論である。
【０１４９】
さらに、上記画像処理装置を構成する各回路部、例えば各エンジン及び共有メモリの種類、その数及び接続方法などはどのようなものでもよい。
【産業上の利用可能性】
【０１５０】
本発明に係る画像処理装置は、カメラ分野及び、インテリジェント監視等のプログラマブルな画像処理システムに用いるに好適である。
【符号の説明】
【０１５１】
２００，３００，４００，５００，６００ 画像処理装置
２０１ 入力Ｉ／Ｆ
２０２ 出力Ｉ／Ｆ
２１１〜２１４ 画像処理部
２２０ バス
２２１〜２２４ セレクタ
２２５ レジスタ
２３１〜２３３ 一時記憶部
３１１ ＤＭＡコントローラ
３２０ 外部メモリ
３３０ バス
３４０ 外部デバイス
【特許請求の範囲】
【請求項１】
複数の区分画像データからなる画像データに対して区分画像単位で互いに異なる画像処理を実行する複数の画像処理手段と、
前記画像処理手段で処理された前記区分画像データを一時的に記憶する複数の第１の記憶手段と、
前記複数の画像処理手段と前記複数の第１の記憶手段とを用いて、前記区分画像単位の処理を並列に繰り返し行うパイプライン処理を実行する画像制御手段と、
を有する画像処理装置であって、
前記パイプライン処理途中の画像データを前記複数の第１の記憶手段から前記区分画像単位で読み出して第２の記憶手段に書き込む記憶手段制御手段と、
前記第２の記憶手段から読み出した画像データに対して特定の画像認識処理を実行する画像認識処理手段と、をさらに備え、
前記画像制御手段は、前記パイプライン処理において、前記画像認識処理手段が特定の画像を認識した後に入力した画像データに対して、前記画像認識の前に入力した画像データに対して実行していた画像処理とは異なる画像処理を実行するように前記画像処理手段を制御する、
画像処理装置。
【請求項２】
前記特定の画像認識処理は、顔認識処理あるいは車輛認識処理であって、前記画像認識処理手段は、画像データから人物の顔あるいは車輛を認識した旨を示す制御信号を前記画像制御手段に出力する、請求項１記載の画像処理装置。
【請求項３】
前記画像制御手段は、前記パイプライン処理において、前記画像認識処理手段が特定の画像を認識した後に入力した画像データに対して、前記画像認識の前に入力した画像データに対して実行していた画像処理よりも解像度を上げて画像処理を実行するように前記画像処理手段を制御する、請求項１又は請求項２に記載の画像処理装置。
【請求項１】
複数の区分画像データからなる画像データに対して区分画像単位で互いに異なる画像処理を実行する複数の画像処理手段と、
前記画像処理手段で処理された前記区分画像データを一時的に記憶する複数の第１の記憶手段と、
前記複数の画像処理手段と前記複数の第１の記憶手段とを用いて、前記区分画像単位の処理を並列に繰り返し行うパイプライン処理を実行する画像制御手段と、
を有する画像処理装置であって、
前記パイプライン処理途中の画像データを前記複数の第１の記憶手段から前記区分画像単位で読み出して第２の記憶手段に書き込む記憶手段制御手段と、
前記第２の記憶手段から読み出した画像データに対して特定の画像認識処理を実行する画像認識処理手段と、をさらに備え、
前記画像制御手段は、前記パイプライン処理において、前記画像認識処理手段が特定の画像を認識した後に入力した画像データに対して、前記画像認識の前に入力した画像データに対して実行していた画像処理とは異なる画像処理を実行するように前記画像処理手段を制御する、
画像処理装置。
【請求項２】
前記特定の画像認識処理は、顔認識処理あるいは車輛認識処理であって、前記画像認識処理手段は、画像データから人物の顔あるいは車輛を認識した旨を示す制御信号を前記画像制御手段に出力する、請求項１記載の画像処理装置。
【請求項３】
前記画像制御手段は、前記パイプライン処理において、前記画像認識処理手段が特定の画像を認識した後に入力した画像データに対して、前記画像認識の前に入力した画像データに対して実行していた画像処理よりも解像度を上げて画像処理を実行するように前記画像処理手段を制御する、請求項１又は請求項２に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１１−３０２６８（Ｐ２０１１−３０２６８Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２０１０−２２６９４８（Ｐ２０１０−２２６９４８）
【出願日】平成２２年１０月６日（２０１０．１０．６）
【分割の表示】特願２００８−３１０７９９（Ｐ２００８−３１０７９９）の分割
【原出願日】平成２０年１２月５日（２００８．１２．５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２２年１０月６日（２０１０．１０．６）
【分割の表示】特願２００８−３１０７９９（Ｐ２００８−３１０７９９）の分割
【原出願日】平成２０年１２月５日（２００８．１２．５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]