説明

画像処理システム

【課題】 画像処理速度を担保しつつ、ハードウェア資源をより有効活用でき、汎用性及び柔軟性のより高い画像処理システムを提供する。
【解決手段】 光信号を電気信号に変換する撮像装置100から出力された画像データを伝送するキャプチャバスBCと、入力された画像データに対し、所定の画像処理を実行する2以上の所定数xの画像処理装置Di(i=1〜x)と、画像処理装置Di毎に設けられ、画像処理装置Diにおいて画像処理され出力された画像データを伝送するデータバスBDiと、画像処理装置Diの夫々の前段に少なくとも1つずつ設けられ、キャプチャバスBC及びデータバスBDiの内の任意のバスを、選択的に画像処理装置Diの入力に接続可能に構成されたスイッチ回路Siと、画像処理装置Di及びスイッチ回路Siを制御する制御回路20と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置から出力された画像データに対し、所定の複数の画像処理を実行する画像処理システムに関する。
【背景技術】
【0002】
従来、光信号を電気信号に変換して撮像画像データを出力する撮像装置で撮像した撮像画像データに対する画像処理は、例えば、図6に示すように、パーソナルコンピュータ300上で画像処理のためのプログラムを実行してソフトウェア処理により行っていた。
【0003】
ところで、通常、ハードウェアによる画像処理は、ソフトウェアによる画像処理に比べて画像処理速度が速い。このため、デジタルカメラやデジタルビデオカメラ等、速い画像処理速度が要求される撮像機器内で行う画像処理については、専用のハードウェアで構成された画像処理用プロセッサ等を用いたハードウェア処理により実行する場合がある。
【0004】
画像処理速度の向上を図るための技術としては、例えば、撮像装置で撮像した撮像画像データを色分解してカラー画像データを生成する第1演算処理手段と、カラー画像データの夫々に対応して設けられ、対応するカラー画像データに対し、1または複数の画像処理を実行する第2演算処理手段を備え、第2演算処理手段が並列動作可能に構成されている画像処理システムがある(例えば、特許文献1参照)。
【0005】
従来のソフトウェア処理による画像処理では、カラー画像データの夫々に対する画像処理をシリアル処理で実行するため、撮像画像データ全体における画像処理時間は、色分解等にかかる時間やカラー画像データの夫々に対する画像処理時間の夫々を合計したものとなっていた。これに対し、特許文献1に記載の画像処理システムでは、第2演算処理手段が並列動作可能に構成されているため、カラー画像データの夫々に対する画像処理を同時に実行することができる。従って、特許文献1に記載の画像処理システムにおいて、撮像画像データ全体における画像処理時間は、色分解等にかかる時間に、カラー画像データの夫々に対する画像処理時間の内の最長の画像処理時間を加えたものとなり、ソフトウェア処理による画像処理に比べ、画像処理時間を短縮することが可能となっている。
【0006】
【特許文献1】特開2005−94126号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、上記特許文献1に記載の画像処理システムでは、カラー画像データの夫々に対して第2演算処理手段を設けているため、複数の異なる第2演算処理手段に、同じ画像処理を実行する画像処理回路が含まれることが考えられる。つまり、上記特許文献1に記載の画像処理システムでは、ハードウェア資源の有効活用が十分であるとは言えなかった。デジタルカメラやデジタルビデオカメラ等の撮像機器では、小型軽量化が求められており、これに伴って、ハードウェア資源をより有効活用して、撮像機器の小型軽量化等を実現できる画像処理システムが求められている。
【0008】
更に、上記特許文献1に記載の画像処理システムでは、カラー画像データの夫々に対してハードウェアで構成された第2演算処理手段を設ける構成であるため、撮像画像装置の種類毎、例えば、撮像画像データに対して用いる画像処理の内容やその数、順序等のアルゴリズム別に専用の第2演算処理手段を設計する必要があった。このため、画像処理システムの汎用性や柔軟性が十分ではなかった。
【0009】
本発明は上記の問題に鑑みてなされたものであり、その目的は、画像処理速度を担保しつつ、ハードウェア資源をより有効活用でき、汎用性及び柔軟性のより高い画像処理システムを提供する点にある。
【課題を解決するための手段】
【0010】
上記目的を達成するための本発明に係る画像処理システムは、光信号を電気信号に変換する撮像装置から出力された画像データを伝送するキャプチャバスと、入力された画像データに対し、所定の画像処理を実行する2以上の所定数の画像処理装置と、前記画像処理装置毎に設けられ、前記画像処理装置において画像処理され出力された画像データを伝送するデータバスと、前記画像処理装置の夫々の前段に少なくとも1つずつ設けられ、前記キャプチャバス及び前記データバスの内の任意のバスを、選択的に前記画像処理装置の入力に接続可能に構成されたスイッチ回路と、前記画像処理装置及び前記スイッチ回路を制御する制御回路と、を備えることを第1の特徴とする。
【0011】
上記特徴の本発明に係る画像処理システムは、前記画像処理装置が、前記キャプチャバス及び前記データバスから受け付けた画像データを保持するための1または複数の第1記憶回路を備え、前記スイッチ回路が、前記第1記憶回路毎に設けられていることを第2の特徴とする。
【0012】
上記何れかの特徴の本発明に係る画像処理システムは、前記制御回路が、前記撮像装置から出力される画像データに対する画像処理手順を記憶した第2記憶回路を備え、当該第2記憶回路に記憶された前記画像処理手順に従って、前記画像処理装置及び前記スイッチ回路を制御することを第3の特徴とする。
【発明の効果】
【0013】
上記特徴の画像処理システムによれば、画像処理装置の夫々に対し、画像処理装置から出力される画像データを伝送するためのデータバスを設け、画像処理装置に任意のキャプチャバス或いはデータバス上の画像データを入力可能に構成したので、個々の画像処理装置を複数回利用することが可能になり、ハードウェア資源をより有効活用できる。
【0014】
より具体的には、例えば、同じ撮像画像データから得られる複数の画像データ、例えば、撮像画像データを色分解したカラー画像データの夫々に対し、同じ画像処理装置を利用して同じ画像処理を実行することが可能になる。これによって、特に、同じ撮像画像データから得られる複数の画像データに対し同じ画像処理を実行する場合には、上記特許文献1の第2演算処理手段のように、個々のカラー画像データに対する一連の画像処理を1つの回路で構築する場合に比べ、ハードウェア資源を有効活用することが可能になり、回路規模を小規模化することが可能になる。
【0015】
また、上記特徴の画像処理システムによれば、画像処理装置の夫々にデータバスを設けて、画像処理装置の夫々に任意のキャプチャバス或いはデータバス上の画像データを入力可能にするスイッチ回路を設けたので、スイッチ回路の切り替えの制御により、画像データに対して用いる画像処理及びその順序等の画像処理手順(アルゴリズム)を任意に設定することが可能になる。つまり、制御回路において、スイッチ回路の制御を変更するのみで様々なアルゴリズムを実現でき、画像処理システムの汎用性及び柔軟性を高めることが可能になる。
【0016】
上記特徴の画像処理システムにおいて、画像処理手順(アルゴリズム)を記憶した第2記憶回路を備え、当該画像処理手順に従って各画像処理装置及び各スイッチ回路を制御するように構成すれば、第2記憶回路の構成を変更するのみで、より柔軟に様々な撮像装置に対応可能になる。つまり、ハードウェアの構成を変更することなく、様々な撮像機器に対応可能であり、柔軟性及び汎用性をより高めることが可能になる。
【発明を実施するための最良の形態】
【0017】
以下、本発明に係る画像処理システム(以下、適宜「本発明システム」と称する)の実施形態を図面に基づいて説明する。
【0018】
〈第1実施形態〉
本発明システムの第1実施形態について、図1〜図5を基に説明する。ここで、図1は、本発明システム1及び周辺装置の概略構成を部分的に示している。
【0019】
本発明システム1は、図1に示すように、光信号を電気信号に変換する撮像装置100から出力された画像データを伝送するキャプチャバスBCと、入力された画像データに対し、所定の画像処理を実行する2以上の所定数xの画像処理装置Di(i=1〜x)と、画像処理装置Di毎に設けられ、画像処理装置Diにおいて画像処理され出力された画像データを伝送するデータバスBDiと、画像処理装置Diの夫々の前段に少なくとも1つずつ設けられ、キャプチャバスBC及びデータバスBDiの内の任意のバスを、選択的に画像処理装置Diの入力に接続可能に構成されたスイッチ回路Siと、画像処理装置Di及びスイッチ回路Siを制御する制御回路20と、を備えて構成されている。
【0020】
尚、本実施形態の本発明システム1は、図1に示すように、画像キャプチャボード200を介して撮像装置100からの画像データを受け付けるように構成されている。また、本実施形態では、4つの画像処理装置D1〜D4を備えている場合について説明する。
【0021】
より具体的には、キャプチャバスBC及びデータバスBD1〜BD4は、RSDS(Reduced Swing Differential Signaling)規格の高速シリアルバスで構成されている。尚、本実施形態では、高速シリアルバスの規格をRSDS規格としたが、これに限るものではなく、USB2(Universal Serial Bus2)規格や、LVDS(Low Voltage Differential Signaling)規格等の他の規格であっても良い。キャプチャバスBC及びデータバスBD1〜BD4をシリアルバスで構成した場合には、配線量を少なくしてチップ面積を低減することが可能になる。
【0022】
画像処理装置D1〜D4は、夫々、キャプチャバスBC及びデータバスBD1〜BD4から受け付けた画像データを保持するためのVRAM(Video Random Access Memory)等のメモリM(第1記憶回路に相当)と、画像処理のための演算処理回路C1〜C4を備えて構成されている。画像処理としては、例えば、複数の画像データ夫々の特徴量を用いた演算処理(減算処理、加算処理、比較処理等)や、画像のムラやシミ等に対する補正処理等を想定しており、これらの画像処理別に画像処理装置D1〜D4が構築されている。
【0023】
スイッチ回路Sは、本実施形態では、図1に示すように、制御回路20からのスイッチ制御信号に基づいて、画像処理装置Dに接続するバスを選択するように構成されている。本実施形態では、スイッチ回路S1〜S4が、画像処理装置D1〜D4の夫々の前段に1つずつ設けられている場合を想定して説明する。
【0024】
制御回路20は、図1に示すように、撮像装置100から出力される画像データに対する画像処理手順(アルゴリズム)を記憶したフラッシュメモリ等の不揮発性メモリ30(第2記憶回路に相当)を備え、当該不揮発性メモリ30に記憶された画像処理手順に従って、画像処理装置D1〜D4及びスイッチ回路S1〜S4を制御する。
【0025】
ここで、図2は、不揮発性メモリ30のメモリ領域の記憶構成例を示している。図2では、画像処理手順として、複数のアルゴリズムA1〜An(nは整数)が記憶されている場合について示している。アルゴリズムA1は、部分アルゴリズムA11〜A19で構成されており、部分アルゴリズムA11〜A19の夫々は、実行開始タイミングを示すポイント、実行する処理の内容と処理対象となるデータの情報を含んで構成されている。
【0026】
以下、制御回路20による本発明システム1の動作について、図3及び図4を基に説明する。ここで、図3は、図2に示す画像処理手順の内、アルゴリズムA1を実行した場合における制御回路20の一動作例を示しており、図4は、図2に示すアルゴリズムA1を実行した場合におけるスイッチ回路S1〜S4の一動作例を示している。
【0027】
制御回路20は、図1に示す撮像装置100によって撮像された撮像画像データが画像キャプチャボード200に出力されると、図2に示す不揮発性メモリ30から、予め指定されたアルゴリズム、ここでは、アルゴリズムA1を読み出して、撮像画像データ(データGC)に対する画像処理を開始する。
【0028】
より詳細には、制御回路20は、図3に示すように、先ず、図2に示す不揮発性メモリ30から部分アルゴリズムA11を読み出す。制御回路20は、部分アルゴリズムA11に基づき、ポイントP1において、図1に示すスイッチ回路S1を制御して画像処理装置D1にキャプチャバスBCを接続する(ステップ#101)。これにより、画像処理装置D1のメモリM1に画像キャプチャボード200からのデータGCが記憶され、演算処理回路C1によりデータGCに対し画像処理I11が実行される。
【0029】
続いて、制御回路20は、図3に示すように、図2に示す不揮発性メモリ30から部分アルゴリズムA12を読み出す。制御回路20は、部分アルゴリズムA12に基づき、ポイントP1において、図1に示すスイッチ回路S4を制御して画像処理装置D4にキャプチャバスBCを接続する(ステップ#102)。これにより、ステップ#101と並行して、画像処理装置D4のメモリM4に画像キャプチャボード200からのデータGCが記憶され、演算処理回路C4によりデータGCに対し画像処理I14が実行される。
【0030】
引き続き、制御回路20は、図3に示すように、図2に示す不揮発性メモリ30から部分アルゴリズムA13を読み出す。制御回路20は、部分アルゴリズムA13に基づき、ポイントP2において、図1に示すスイッチ回路S2を制御して画像処理装置D2にデータバスBD1を接続する(ステップ#103)。これにより、画像処理装置D2のメモリM2に画像処理装置D1で処理され出力されたデータG1が記憶され、演算処理回路C2によりデータG1に対し画像処理I12が実行される。
【0031】
更に、制御回路20は、図3に示すように、図2に示す不揮発性メモリ30から部分アルゴリズムA14を読み出す。制御回路20は、部分アルゴリズムA14に基づき、ポイントP2において、図1に示すスイッチ回路S3を制御して画像処理装置D3にデータバスBD1を接続する(ステップ#104)。これにより、ステップ#103と並行して、画像処理装置D3のメモリM3に画像処理装置D1で処理され出力されたデータG1が記憶され、演算処理回路C3によりデータG1に対し画像処理I13が実行される。
【0032】
更に、引き続き、制御回路20は、図3に示すように、図2に示す不揮発性メモリ30から部分アルゴリズムA15を読み出す。制御回路20は、部分アルゴリズムA15に基づき、ポイントP2において、ステップ#103及びステップ#104と並行して、画像処理装置D4からのデータG4を出力する(ステップ#105)。尚、図4に示すように、ポイントP2〜ポイントP3の間は、スイッチ回路S1及びS4は制御されず、画像処理装置D1及び画像処理D4には、キャプチャバスBCが接続された状態が維持される。
【0033】
引き続き、制御回路20は、図3に示すように、図2に示す不揮発性メモリ30から部分アルゴリズムA16を読み出す。制御回路20は、部分アルゴリズムA16に基づき、ポイントP3において、図1に示すスイッチ回路S4を制御して画像処理装置D4にデータバスBD2を接続する(ステップ#106)。これにより、画像処理装置D4のメモリM4に画像処理装置D2で処理され出力されたデータG2が記憶され、演算処理回路C4によりデータG2に対し画像処理I14が実行される。
【0034】
更に、制御回路20は、図3に示すように、図2に示す不揮発性メモリ30から部分アルゴリズムA17を読み出す。制御回路20は、部分アルゴリズムA17に基づき、ポイントP3において、図1に示すスイッチ回路S1を制御して画像処理装置D1にデータバスBD3を接続する(ステップ#107)。これにより、ステップ#106と並行して、画像処理装置D1のメモリM1に画像処理装置D3で処理され出力されたデータG3が記憶され、演算処理回路C1によりデータG3に対し画像処理I11が実行される。尚、図4に示すように、ポイントP3以降は、スイッチ回路S2及びS3は制御されず、画像処理装置D2及び画像処理装置D3には、データバスBD1が接続された状態が維持される。
【0035】
引き続き、制御回路20は、図3に示すように、図2に示す不揮発性メモリ30から部分アルゴリズムA18を読み出し、当該部分アルゴリズムA18に基づき、ポイントP4において、画像処理装置4で処理され出力されたデータG4を本発明システム1の外部に出力する(ステップ#108)。更に、制御回路20は、図3に示すように、図2に示す不揮発性メモリ30から部分アルゴリズムA19を読み出し、当該部分アルゴリズムA19に基づき、ポイントP4において、ステップ#108と並行して、画像処理装置D1で処理され出力されたデータG1を本発明システム1の外部に出力する(ステップ#109)。
【0036】
〈別実施形態〉
〈1〉上記第1実施形態では、本発明システム1が、4つの画像処理装置D1〜D4を備える場合について説明したが、これに限るものではない。画像処理装置Di(i=1〜x)の数xは、本発明システム1を搭載する機器の構成や実行する画像処理の種類等に応じて設定する。また、画像処理装置Dは、画像処理の内容毎に構築するが、同じ画像処理を実行する画像処理装置Dを複数備えていても良い。尚、図5は、本別実施形態における本発明システム1の構成を示している。
【0037】
〈2〉上記第1実施形態では、本発明システム1が、4つの画像処理装置D1〜D4の夫々の前段に1つずつ、4つのスイッチ回路S1〜S4が設けられている場合について説明したが、これに限るものではない。図5に示すように、画像処理装置Di(i=1〜x)の前段に、複数のスイッチ回路Si1〜Siy(yは2以上の整数)を設けるように構成しても良い。尚、画像処理装置Diの前段に設けられるスイッチ回路Sの数は、画像処理の内容に応じて、画像処理装置D毎に異なっていても良いし、構成の異なる複数種類のスイッチ回路Sを用いても良い。
【0038】
この場合には、画像処理装置Diに、前段のスイッチ回路Siの夫々に対して、1または複数のメモリMを備えるように構成しても良い。
【図面の簡単な説明】
【0039】
【図1】本発明に係る画像処理システム及び周辺装置の概略構成例を部分的に示す概略ブロック図
【図2】本発明に係る画像処理システムの不揮発性メモリの一構成例を示す概略ブロック図
【図3】本発明に係る画像処理システムの処理動作を説明する概略フローチャート
【図4】本発明に係る画像処理システムのスイッチ回路の動作を示す概略タイミングチャート
【図5】本発明に係る画像処理システム及び周辺装置の概略構成例を部分的に示す概略ブロック図
【図6】従来技術に係る画像処理システム及び周辺装置の概略構成例を示す概略ブロック図
【符号の説明】
【0040】
1 本発明に係る画像処理システム
20 制御回路
30 不揮発性メモリ(第2記憶回路)
100 撮像装置
200 画像キャプチャボード
300 パーソナルコンピュータ
S スイッチ回路
C 演算処理回路
D 画像処理装置
M メモリ(第1記憶回路)
BC キャプチャバス
BD データバス

【特許請求の範囲】
【請求項1】
光信号を電気信号に変換する撮像装置から出力された画像データを伝送するキャプチャバスと、
入力された画像データに対し、所定の画像処理を実行する2以上の所定数の画像処理装置と、
前記画像処理装置毎に設けられ、前記画像処理装置において画像処理され出力された画像データを伝送するデータバスと、
前記画像処理装置の夫々の前段に少なくとも1つずつ設けられ、前記キャプチャバス及び前記データバスの内の任意のバスを、選択的に前記画像処理装置の入力に接続可能に構成されたスイッチ回路と、
前記画像処理装置及び前記スイッチ回路を制御する制御回路と、を備えることを特徴とする画像処理システム。
【請求項2】
前記画像処理装置が、前記キャプチャバス及び前記データバスから受け付けた画像データを保持するための1または複数の第1記憶回路を備え、
前記スイッチ回路が、前記第1記憶回路毎に設けられていることを特徴とする請求項1に記載の画像処理システム。
【請求項3】
前記制御回路が、前記撮像装置から出力される画像データに対する画像処理手順を記憶した第2記憶回路を備え、当該第2記憶回路に記憶された前記画像処理手順に従って、前記画像処理装置及び前記スイッチ回路を制御することを特徴とする請求項1または2に記載の画像処理システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2009−81774(P2009−81774A)
【公開日】平成21年4月16日(2009.4.16)
【国際特許分類】
【出願番号】特願2007−250736(P2007−250736)
【出願日】平成19年9月27日(2007.9.27)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】