説明

イメージプロセッシングパイプラインに対するグローバルアーミング(globalarming)方法

【課題】イメージプロセシングの中断がないイメージプロセシング回路を提供する。
【解決手段】パイプライン構造の複数のイメージプロセッシングの各ユニットは、アップデートされた構成ベクトルを受信し、該構成ベクトルは、時間周期以内にタイミング派生したトリガー信号と同期してのみ適用される。ハードウェアイネーブル信号は、受信された新たな構成ベクトルをイメージプロセッシングユニットに適用するスイッチを制御するためのタイミング派生したトリガリングイベント信号と論理結合される。これは、各イメージプロセッシングユニットの遅延に関係なく、CPUがデータのタイミングとは別途にアップデートされた構成ベクトルを出力する場合にも、チェーン方式のイメージプロセッシングユニットで各イメージプロセッシングユニット(段階)が順次にアップデートされることを保証する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数のイメージプロセッシングユニットを含むイメージプロセッシング回路、及びそれを含むデジタルカメラに関し、特に、複数の構成ベクトルを有するイメージプロセッシング回路に関する。
【背景技術】
【0002】
スタンドアローンな消費者製品及び携帯電話、モバイルコンピュータのようなモバイル装置に備えられた機能で高性能デジタルカメラ、ビデオカメラの需要が増大しつつある。
デジタルカメラのそれぞれは、中央処理装置(CPU)の制御に基づいて、イメージデータを受信及び処理するように構成された直列接続された複数のイメージプロセッシングコアを含むイメージプロセッシング回路を含みうる。
各イメージプロセッシングコアの動作は、イメージデータのフレームサイズを含む構成情報を有する構成ベクトルを用いてCPUによって制御される。
【0003】
一般的に、デジタルカメラに使われるイメージセンサーは、CMOSセンサーインターフェース(CMOS Sensor Interface;CSI)を通じてイメージプロセッシングユニットによって動作するローべイヤー(RAW−Bayer)、及び/またはCMOSタイプであり得る。
より高いイメージ解像度に対する増加する要求を効果的に行うために、プロセッサ−to−カメラセンサーインターフェースの帯域幅容量をその性能以上に推進している。
近年、高速シリアルインターフェースは、パラレルインターフェースの多くの欠点に対処するが、製造業界間の互換性の問題がある。
独占的なインターフェースは、ともに働く他の製造業界の装置を妨害し、業界分裂を起こす。
【0004】
インターフェース規格を開発する非営利法人であるMIPIアライアンスは、プロセッサと周辺装置インターフェースとで一貫性を推進する。
MIPI(Mobile Industry Processor Interface)は、モバイル装置のモジュール間のインターフェースに対する標準を規定する業界コンソーシアムである。
2005年カメラインターフェース研究を始めた以降、MIPIは、仕様(標準)を開発した。
MIPIは、モバイルシステムでほとんどのチップインターフェースを定義する仕様を発表する。このような標準のうちの1つは、CSI(Camera Serial Interface)を定義したCSI−2である。
あらゆるコンピューティング及び消費者電子装置とイメージセンサーの業者との間でMIPI CSI−2への関心が高くなった。MIPIのCSI−2及びCSI−3標準は、モバイル装置、高速、低電力、コスト節減、及び相互拡張性だけではなく、全体的な電子産業を提供する。
【0005】
MIPI相互接続によって接続された各プロセッシングユニットは、データの全体フレームで動作し、フレームのデータのタイミングは、一般的に各ユニットを通じて遅延されたタイミング信号で表われる。
各プロセッシングユニットは、各ユニットのプロセッシングを制御するために構成ベクトル(V)を使う。構成ベクトルは、一般的に、プロセッサ、オンチップ(on−chip)、またはオフチップ(off−chip)によって‘書き込まれ’、データのフレームのサイズを含むプロセッシングユニットの動作の多様な側面を制御する。
【0006】
各ユニットに対してアップデートされた新たな構成ベクトルは、各ユニットがフレームに対するプロセッシングを始める時、またはそれ以前に適用されなければならず、各ユニットが全体フレームを処理する間に、各ユニットで一定に保持されなければならない。
直列配列で従属接続されたすべてのイメージプロセッシングユニットが同時に正確にアップデートされた場合、ユニットのそれぞれを通じての遅延によって、アップデートは、少なくとも1つ以上のユニットがフレームを処理する間に適用可能である。
この場合、ユニットがフレームを処理する間に、構成ベクトルは、当該ユニットで一定に保持されず、データの損傷が発生することがある。
【0007】
例えば、一連のプロセッシングユニットにおいて、水平幅は、一般的に構成ベクトルの一部であり、特定フレームに対して受信されたデータが、構成ベクトルと一致しない場合、ユニットは、イメージデータを正確に処理しない。
順次に処理されるフレーム間のイメージのサイズ(例えば、水平幅)を変更する場合、各プロセッシングユニットは、以前のプロセッシングユニットを通じて遅延されたイメージデータを受信する時点と同時に、新たな構成ベクトルを受信する必要がある。
【0008】
適切な時点にすべてのユニットをアップデートするために、MIPI接続されたそれぞれのイメージプロセッシングユニットを通じての遅延及びデータのタイミング追跡が必要な場合、CPUは大きく負担になり、その他の処理作業のために利用できなくなる。
それは、同様に非効率的であり、プロセッシングユニットの全体パイプラインを中断し、新たな構成ベクトルを適用した後、プロセッシングユニットを再開始し、構成ベクトルが変更される場合、各ユニットから示される中断(interrupt)に期待することは、イメージセンサーからイメージデータの欠損を引き起こす原因になり、CPUが十分に迅速に応答できることが期待される。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の目的は、イメージプロセッシングユニットの処理に対する最小限の中断とともにCPUに負担なしに、アップデートされた構成ベクトルが、それぞれの以前プロセッシングユニットを通じて遅延されたイメージデータの遅延及びタイミングと同期してなされるMIPI接続プロセッシングユニットを適用するイメージプロセッシング回路及びその方法並びにそれらを有するカメラを提供することにある。
【課題を解決するための手段】
【0010】
本発明の一態様によれば、各イメージプロセッシングユニットによる遅延に関係なく、CPUがデータのタイミングとは別途にアップデートされた構成ベクトルを出力する場合にも、イメージプロセッシングユニットのチェーンで各イメージプロセッシングユニット(段階)を順次にアップデートするために、タイミング派生されたトリガーイベントとインターロックするイネーブル論理回路とを提供する。
【0011】
前記タイミング派生されたトリガー信号は、受信されたアップデートされた構成ベクトルの適用とイメージデータの新たなフレームのイメージプロセッシングユニットによる受信を同期化するのに使われる。
各イメージプロセッシングユニットから次のイメージプロセッシングユニットに伝達されるハードウェアイネーブル信号は、イメージデータ及びそれに対応するタイミング信号の流れと並行して伝達され、前記タイミング信号から生成されたトリガー信号がイネーブルした場合、アクティブ構成ベクトルレジスタをアップデートするためのアクティブトリガーイベントとして表われる。
ハードウェアイネーブルトリガー活性化は、チェーンダウンストリーム(chain down−stream)方式で第1イメージプロセッシングユニットからそれぞれの次のイメージプロセッシングユニットにカスケード(cascade)接続される。
【0012】
本発明の一態様によれば、複数のビデオプロセッシングユニットを含むイメージプロセッシング回路を提供する。
各ビデオプロセッシングユニットは、前記ビデオプロセッシングユニットのビデオプロセッシングコアを構成するアクティブ構成ベクトルを保存するアクティブ構成ベクトルレジスタ及び前記アクティブ構成ベクトルレジスタに伝送され、アップデートイネーブル信号に基づいて、前記アクティブ構成ベクトルになるアップデートされた構成ベクトルを保存するバッファリングされた構成ベクトルレジスタを含む。
前記各ビデオプロセッシングユニットは、トリガー信号及び受信されたハードウェアイネーブル信号を結合することによって、前記アップデートイネーブル信号を発生させる論理回路をさらに含み、前記トリガー信号は、ビデオフレーム同期信号に時間依存である。
【0013】
本発明の一実施形態において、ハードウェアインターロックロジックは、受信したアップデートされた構成ベクトルを適切な時点にタイミング派生したトリガー信号と同期させて適用させるために、パイプラインでの各段階を‘アーミング(arms)’及び‘ディスアーミング(disarms)’する。
以前段階がアーミング及びトリガーされた以後、各段階にアップデートされた構成ベクトルの伝送が‘アーミング’(イネーブル)される。
本発明の一実施形態による各ビデオプロセッシングユニットは、以前ビデオプロセッシングユニットによって発生し、現在のタイミング派生したトリガーイベントが移行または無視されるか否かを表わすイネーブル信号を受信する。各ビデオプロセッシングユニットは、次のビデオプロセッシングユニットがタイミング派生したトリガリングイベントを移行または無視するか否かを表わす信号であるハードウェアイネーブル信号(HWEN)を次のビデオプロセッシングユニットに入力する。
【0014】
本発明の一実施形態によるイメージプロセッシング回路は、互いに直列接続された複数のイメージプロセッシングユニットを含み、複数のイメージプロセッシングユニットのそれぞれは、前記イメージプロセッシングユニットの動作を制御する第1構成ベクトルレジスタと、アップデートされた構成ベクトルを保存する第2構成ベクトルレジスタと、前記イメージプロセッシングユニットのトリガー信号及び受信されたハードウェアイネーブル信号を組み合わせることによって、前記イメージプロセッシングユニットのスイッチイネーブル信号を発生させる組み合わせ論理回路とを含み、前記イメージプロセッシングユニットの前記スイッチイネーブル信号が活性化している間、スイッチング部を通じて前記第2構成ベクトルレジスタの出力を前記第1構成ベクトルレジスタに入力する。
【0015】
本発明の一実施形態によるイメージプロセッシング回路は、複数のビデオプロセッシングユニットを含み、前記複数のビデオプロセッシングユニットのそれぞれは、前記ビデオプロセッシングユニットのビデオプロセッシングコアを構成するアクティブ構成ベクトルを保存する第1構成ベクトルレジスタと、アップデートされた構成ベクトルを保存する第2構成ベクトルレジスタと、前記第1構成ベクトルレジスタと第2構成ベクトルレジスタとの間に接続され、アップデートイネーブル信号に基づいて、前記アップデートされた構成ベクトルを前記第1構成ベクトルレジスタに伝送するスイッチング部と、トリガー信号及びハードウェアイネーブル信号を結合することによって、前記アップデートイネーブル信号を発生させる論理回路とを含み、前記トリガー信号は、ビデオフレーム同期信号に時間依存である。
【0016】
前記イメージプロセッシング回路は、前記アップデートイネーブル信号をラッチし、前記ラッチされたアップデートイネーブル信号を次のビデオプロセッシングユニットによって受信される前記ハードウェアイネーブル信号として出力するラッチ部をさらに含む。
前記スイッチング部、前記論理回路、及び前記ラッチ部は、イメージデータの流れと並行して、各イメージプロセッシングユニットから次のイメージプロセッシングユニットに前記ハードウェアイネーブル信号を伝達し、前記ハードウェアイネーブルトリガー活性化は、チェーンダウンストリーム(chain down−stream)方式で第1イメージプロセッシングユニットからそれぞれの次のイメージプロセッシングユニットにカスケード接続される。
【0017】
本発明の概念の一態様によれば、第1ビデオプロセッシングユニットによって受信された前記ハードウェアイネーブル信号は、レジスタ及び入出力(I/O)ピンを通じてハードウェアイネーブル信号を受信する第1ビデオプロセッシングユニットを制御するCPUから発生する。
【0018】
直列接続された複数のイメージプロセッシングユニットを通じてイメージデータの第1フレーム及び第2フレームを連続してプロセッシングするために提供される方法において、前記複数のイメージプロセッシングユニットのうちの1つである第1イメージプロセッシングユニットで前記イメージデータの第1フレームを受信する段階と、アップデートイネーブル信号が活性化している間、前記イメージデータの第1フレームに対応する構成ベクトルを前記第1イメージプロセッシングユニットのアクティブ構成ベクトルレジスタに書き込む段階と、前記イメージデータの第1フレームに対応するタイミング信号から生成されたトリガー信号とハードウェアイネーブル信号とを結合することによって、前記活性化されたアップデートイネーブル信号を発生させる段階とを含み、前記タイミング信号は、ビデオフレーム同期信号を含む。
【0019】
前記方法は、前記アップデートイネーブル信号が活性化される以前に、前記イメージデータの第1フレームに対応する前記構成ベクトルを前記第1イメージプロセッシングユニットのバッファリングされた構成ベクトルレジスタに書き込む段階をさらに含み、前記トリガー信号は、前記ビデオフレーム同期信号から生成される。
イメージプロセッシング回路は、複数のビデオプロセッシングユニットを含み、前記複数のビデオプロセッシングユニットのそれぞれは、前記ビデオプロセッシングユニットのビデオプロセッシングコアを構成するアクティブ構成ベクトルを保存する第1構成ベクトルレジスタと、アップデートされた構成ベクトルを保存する第2構成ベクトルレジスタと、前記第1構成ベクトルレジスタと第2構成ベクトルレジスタとの間に接続され、アップデートイネーブル信号に基づいて、前記アップデートされた構成ベクトルを前記第1構成ベクトルレジスタに伝送するパスゲートと、トリガー信号及びハードウェアイネーブル信号を結合することによって、前記アップデートイネーブル信号を発生させる論理回路とを含み、前記トリガー信号は、ビデオフレーム同期信号に時間依存である。
【0020】
前記複数のビデオプロセッシングユニットは、直列に接続される。前記複数のビデオプロセッシングユニットのそれぞれは、前記アップデートイネーブル信号をラッチし、前記ラッチされたアップデートイネーブル信号を次のビデオプロセッシングユニットによって受信される前記ハードウェアイネーブル信号として出力するラッチ部をさらに含む。
前記第1ビデオプロセッシングユニットによって受信されたハードウェアイネーブル信号は、CPUまたはファームウェアから発生する。
各ビデオプロセッシングユニットから次のビデオプロセッシングユニットに伝達された前記ハードウェアイネーブル信号は、イメージデータ及びそれに対応するタイミング信号の流れと並行して伝達され、前記タイミング信号から生成されたトリガー信号がイネーブルされた場合、アクティブ構成ベクトルレジスタをアップデートするためのアクティブトリガーとして表われる。
前記ハードウェアイネーブルトリガー活性化は、チェーンダウンストリーム(chain down−stream)方式で前記第1ビデオプロセッシングユニットからそれぞれの次のイメージプロセッシングユニットにカスケード接続される。
【0021】
本発明の他の態様は、直列接続されてリプログラムできる複数のイメージプロセッシングユニットに含まれた複数のフレームをプロセッシングする方法を提供する。
前記方法は、前記直列接続された複数のイメージプロセッシングユニットのそれぞれのリプログラミングが可能になるように制御する段階を含み、イメージデータ及びタイミング信号の流れと並行して、各イメージプロセッシングユニットから次のイメージプロセッシングユニットにリプログラミングイネーブル信号を伝達し、前記リプログラミングイネーブル信号は、前記タイミング信号に基づいて、トリガー信号が、前記イメージプロセッシングユニットのリプログラミングをトリガーしなければならないか否かを制御する。前記イネーブルされたトリガー信号は、チェーンダウンストリーム方式で第1イメージプロセッシングユニットからそれぞれの次のイメージプロセッシングユニットにカスケード接続される。
前記第1ビデオプロセッシングユニットによって受信されたリプログラミングイネーブル信号は、CPUまたはファームウェアから発生する。
【発明の効果】
【0022】
本発明に係るイメージプロセッシング回路及びその方法並びにカメラによれば、イメージプロセッシングユニットの処理に対する最小限の中断とともにCPUに負担なしに、アップデートされた構成ベクトルが、それぞれの以前プロセッシングユニットを通じて遅延されたイメージデータの遅延及びタイミングと同期してなされるという効果がある。
【図面の簡単な説明】
【0023】
【図1】本発明の一実施形態によるイメージプロセッシング回路を含むデジタルカメラのブロック図である。
【図2】本発明の一実施形態による複数のイメージプロセッシングユニットのブロック図である。
【図3】本発明の一実施形態によるイメージプロセッシング回路の動作の第1モードの間のイメージプロセッシング回路の多様な信号のタイミング図である。
【図4】図2に示したイメージプロセッシングユニットのアップデートイネーブル回路の回路図である。
【図5】本発明の一実施形態によるイメージプロセッシング回路の動作の第2モードの間のイメージプロセッシング回路の多様な信号のタイミング図である。
【発明を実施するための形態】
【0024】
図1は、本発明の一実施形態によるイメージプロセッシング回路を含むデジタルカメラのブロック図である。
デジタルカメラ100は、本発明の実施形態によるイメージプロセッシングユニット24を含むイメージプロセッシング回路20を含む。
デジタルカメラ100は、レンズ10、イメージセンサー12、パイプライン(pipeline)構造の複数のイメージプロセッシングユニット24(21−A、21−B、21−C、21−D、21−E)を含むイメージプロセッシング回路20、及びイメージセンサー12と、それぞれのイメージプロセッシングユニット(21−A、21−B、21−C、21−D、21−E)を制御するCPU(Central Processing Unit)23とを含む。
【0025】
イメージセンサー12は、IC(Inter Integrated Circuit)バスのようなデータバスを通じてCPU23によって制御される一方、イメージセンサー12は、MIPI CSIを通じてイメージデータを第1イメージプロセッシングユニット21−Aに伝送する。
Cバスの動作速度は、400KHz範囲であり、MIPI CSIは、さらに早い速度(例えば、約20MHz)で動作することができる。
構成バスは、構成ベクトルを複数のイメージプロセッシングユニット(21−A、21−B、21−C、21−D、21−E)のそれぞれに伝送するのに使われる第2 ICまたは等価バス(例えば、APBバス)として具現可能である。
それぞれのイメージプロセッシングユニット(21−A、21−B、21−C、21−D、21−E)は、ハードウェアイネーブル(hardware−enable)信号を受信し、第1イメージプロセッシングユニット21−Aによって受信されたハードウェアイネーブル信号は、トランスファーイネーブル(transfer−enable)信号t−eであり得る。
【0026】
イメージセンサー12は、CMOSセンサーとして具現されたローべイヤー(RAW−Bayer)イメージセンサーであり、第1イメージプロセッシングユニット21−Aは、同様にMIPI−CMOSセンサーインターフェース(MIPI−CSI)であり得る。
第2イメージプロセッシングユニット21−Bは、べイヤー(Bayer)プロセッシングユニットであり、第3イメージプロセッシングユニット21−Cは、RGBプロセッシングユニットであり、第4イメージプロセッシングユニット21−Dは、ポスト(post)プロセッシングユニットであり、第5イメージプロセッシングユニット21−Eは、サイズ調整/回転/アフィン変換(Scaling/Rotating/Affine−Transform)プロセッシングユニットであり得る。
プロセッシングユニットの形態と順序は、上述したような本発明の実施形態による特定の形態と順序とに限定されるものではない。
【0027】
図1に示すように、イメージプロセッシングユニット24は、例えば、入出力(I/O)ピンを通じて構成アップデートをイネーブルするビデオイメージのフレーム、及び制御信号を受信するように構成されたICチップとして具現可能である。
【0028】
図2は、本発明の一実施形態による複数のイメージプロセッシングユニットのブロック図である。
図2では、イメージプロセッシング回路20の第1〜第3イメージプロセッシングユニット(21−A、21−B、21−C)のみを示した。
第1〜第3イメージプロセッシングユニット(21−A、21−B、21−C)のそれぞれは、入/出力ピンまたは上位プロセッシングユニットからイメージデータ(Data)を受信する。
【0029】
イメージプロセッシングユニット(21−A、21−B、21−C)のそれぞれは、イメージデータのフレームを処理して、次の下位プロセッシングユニット(21−A、21−B、21−C)に出力するイメージプロセッシングコア(22−A、22−B、22−C)を含む。
各イメージプロセッシングユニット(21−A、21−B、21−C)は、カメラ100の構成、例えば、イメージのサイズ、色温度などをアップデートするために、各ユニット(21−A、21−B、21−C)に対応する構成ベクトル(AV、BV、CV)を利用する。
イメージデータの各フレームのタイミングは、タイミング信号(Timing)によって表われる。プロセッシング遅延時間は、イメージプロセッシングコア22によってイメージデータを処理するために必要な時間と関連する。タイミング信号は、同様にイメージプロセッシングコア22を通じて遅延される。
【0030】
構成ベクトル(AV、BV、CV)は、オンチップ(on−chip)、又はオフチップ(off−chip)であり得る本発明の実施形態によるプロセッサによって“書き込まれる(write)”か、ファームウェアによって書き込まれ、イメージの多様な側面、例えば、イメージのサイズ、色の深さなどを制御する。各イメージプロセッシングユニット(21−A、21−B、21−C)のアクティブ構成ベクトルは、イメージプロセッシングユニット(21−A、21−B、21−C)でアクティブ(第1)構成ベクトルレジスタCRAV、CRBV、CRCVに保存される。
アップデートされた構成ベクトルは、CPU23によってイメージプロセッシングユニット(21−A、21−B、21−C)に対応するバッファリングされた(第2)構成ベクトルレジスタCRAV+1、CRBV+1、CRCV+1に書き込まれ、スイッチ(SW−A、SW−B、SW−C)が活性化されるまで保持される。
【0031】
本発明の他の実施形態によって、各イメージプロセッシングユニット(21−A、21−B、21−C)に備えられたバッファリングされた(第2)構成ベクトルレジスタCRAV+1、CRBV+1、CRCV+1は、FIFO(First−In、First−Out)バッファとして具現可能である。
スイッチイネーブル信号によってスイッチ(SW−A、SW−B、SW−C)が活性化された場合、第2構成ベクトルレジスタCRAV+1、CRBV+1、CRCV+1に保存されたアップデートされた構成ベクトルは、第1構成ベクトルレジスタ(CRAV、CRBV、CRCV)にコピーされ、イメージプロセッシングユニット(21−A、21−B、21−C)のアクティブ構成ベクトルになる。
【0032】
スイッチイネーブル信号は、トリガーイベント(trigger−event)信号と以前イメージプロセッシングユニットから受信されたハードウェアイネーブル信号(HWEN)との論理結合に基づいて、イメージプロセッシングユニット(21−A、21−B、21−C)に備えられたスイッチ(SW−A、SW−B、SW−C)を閉じる(close)ことができる。
第1イメージプロセッシングユニット21−Aの場合、外部回路又はCPU23からトランスファーイネーブル信号(transfer−enable)が入力される。
トリガーイネーブル(trigger−enable)信号は、イメージプロセッシングユニットによって受信されたタイミング信号(Timing)から生成される。
スイッチイネーブル信号は、チップ入出力(I/O)ピンを通じて外部回路から受信された“トランスファーイネーブル”信号で表わしたハードウェアイネーブル信号(HWEN)の論理結合に基づいて、第1イメージプロセッシングユニット21−Aに備えられたスイッチSW−Aを閉じる。
第1イメージプロセッシングユニット21−Aによって受信されたハードウェアイネーブル(HWEN)/トリガーイネーブル信号は、CPU23またはファームウェアによって発生しうる。
【0033】
スイッチイネーブル信号は、イメージプロセッシングユニット(21−A、21−B、21−C)によって受信されたタイミング信号から生成されたトリガーイベント信号(図示せず)に基づいて、各イメージプロセッシングユニット(21−A、21−B、21−C)で第1構成ベクトルレジスタCRと第2構成ベクトルレジスタCRV+1との間のスイッチ(SW−A、SW−B、SW−C)を非活性化(開放(open))する。
トリガーイベント信号が瞬間パルスである場合、スイッチ(SW−A、SW−B、SW−C)は、瞬間的に活性化(閉じる)されると同時に、以前イメージプロセッシングユニットから受信されたトランスファーイネーブル信号(HWEN)は活性化される。
【0034】
したがって、各イメージプロセッシングユニット(21−A、21−B、21−C)の第2構成ベクトルレジスタCRV+1で第1構成ベクトルレジスタCRに保存されたアップデートの伝送は、MIPI接続された各イメージプロセッシングユニット(21−A、21−B、21−C)を通じて遅延された量に関係なく、順次に活性化されるだけではなく、各イメージプロセッシングユニット(21−A、21−B、21−C)によって受信されたタイミング信号と同期して進行する。
これは、また、CPU23に負担なしに、または一時割り込みで行われる。
トランスファーイネーブル信号は、CPU23によって直接的に、またはCPU23によって制御されるファームウェアによって間接的に制御されるトランスファーイネーブルレジスタ(TER)に保存されたトランスファーイネーブルビット(T−Eビット)に基づく。
【0035】
各イメージプロセッシングユニット(21−A、21−B、21−C)は、現在トリガーイベント信号が移行されるか、または無視されるか否かを制御する以前イメージプロセッシングユニット(または、トランスファーイネーブル信号)からハードウェアイネーブル信号(HWEN)を受信する。
したがって、各イメージプロセッシングユニット(21−A、21−B、21−C)は、受信されたイメージデータと関連したタイミング情報によって表われたトリガーイベントを移行するか、または無視するか否かを表わすハードウェアイネーブル信号(HWEN)を次のイメージプロセッシングユニットに提供する。
チェーン方式で第1イメージプロセッシングユニット21−Aは、CPU23又はファームウェアによって制御されるトランスファーイネーブルレジスタ(TER)と呼ばれるレジスタから第1イメージプロセッシングユニット21−Aのトランスファーイネーブル信号を受信する。ハードウェアイネーブル信号(HWEN)は、イメージプロセッシングユニットのチェーンを経ることにより遅延される。
【0036】
図3は、本発明の一実施形態によるイメージプロセッシング回路の動作の第1モードの間のイメージプロセッシング回路の多様な信号のタイミング図である。
図3では、図1に示したデジタルカメラ100のイメージプロセッシング回路20の動作の第1モードで図2の第1及び第2イメージプロセッシングユニット(21−A、21−B)の入出力及び内部信号のタイミング図のみを示した。
【0037】
図2、3を参照すると、ハードウェアイネーブル(インターロック、interlock)信号(HWEN)は、順次にアップデートされたアクティブ構成ベクトルを有するチェーン方式のイメージプロセッシングユニット(21−A、21−B、21−C)で各ユニットを保証(ensure)するために提供される。
インターロックは、パイプラインでの各段階をトリガー信号にアーミング(arms)し、以前段階が(アーミング及び)トリガーされてからは、各段階はアーミングされる。
したがって、新たな構成ベクトル(V+1)は、非常に短い時間(リアルタイム)に割り込みに応答するためにプロセッサを必要とせず、プロセッサユニットパイプラインの動作の中断なしにあらゆるイメージプロセッシングユニット(21−A、21−B、21−C)のレジスタに適用される。
【0038】
イメージセンサー12は、RAW8、RAW10、RAW12、またはユーザ定義された8ビット(例えば、JPEG)で並列ビデオストリーム(stream)を送る。
ピクセルストリームは、ピクセルデータストリームの開始地点でトリガーパルス又は同期信号より先行する。
HSYNCは、ビデオ水平ライン同期信号(Video Horizontal Line Synchronization signal)である。
イメージデータは、HSYNCがハイレベルである間に有効である。
HBLANKは、HSYNCの逆相信号である。
【0039】
VSYNCは、ビデオフレーム同期信号(Video Frame Synchronization signal)である。
VSYNCは、イメージデータフレームの開始地点で活性化、例えば、ハイレベルで活性化されるか、転換される。
イメージセンサー12は、フレーム開始(例えば、ハイレベルになるVSYNC)、及びフレームエンド(例えば、ローレベルになるVSYNC)でトリガーパルスを発生させうる。
イメージセンサー12は、ピクセルスキャン周波数(例えば、ほぼ10MHz〜30MHz程度)でトグリング(toggling)するピクセルクロックを提供することができる。
【0040】
本発明の実施形態によって、イメージセンサー12と直接的に接続されたMIPI−CSIは、ローべイヤー(RAW−Bayer)イメージセンサー12と直接的に結合(interface)され、CRC及びECCコードを生成させ、ピクセルをバイト(byte)に変換し、MIPIスペックによってクロックドメインの間で相互作用(interface)する。
一方、CPU23は、イメージプロセッシングユニット24の動作と独立して続いて稼働することができ、ユーザが他のイメージフレームサイズを選択するか、デジタルズーム係数を変更する場合のようなユーザインターフェースと相互作用するユーザの制御に基づいて、構成ベクトル(アップデートされた)を独立して発生することがある。
【0041】
図3に示したように、データの第1フレームを受信して処理するための期間は、データの次の第2フレームを受信して処理するための期間と異なりうる(例えば、各フレームのサイズによって)。
また、イメージプロセッシングユニットを通じてデータの第1フレームの第1遅延TDA1は、同じイメージプロセッシングユニットを通じてデータの第2フレームの第2遅延TDA2と異なりうる。
したがって、イメージプロセッシングユニットは、構成レジスタをアップデートする目的で各イメージプロセッシングユニットを通じるデータのタイミングと遅延とを追跡することは、CPUに負担になる。
【0042】
各イメージプロセッシングユニットに対する新たな構成ベクトル(アップデートされた)は、各イメージプロセッシングユニットがフレーム処理を始める時、または始める以前に適用されなければならず、データの全体フレームを処理する間に、一定に保持されなければならない。
アップデートされた構成ベクトルは、イメージデータのタイミングのうち独立したいつでもCPU23によって(例えば、各イメージプロセッシングユニットの第2構成ベクトルレジスタCRV+1に)書き込まれうる。
したがって、スイッチSWがイネーブルされる同時に、CPU23が新たにアップデートされた構成ベクトルを第2構成ベクトルレジスタCRV+1に書き込む場合、第1構成ベクトルレジスタCRに伝送される瞬間に構成ベクトルが損傷されることが起き得、イメージデータの損傷が発生する可能性がある。
【0043】
イメージプロセッシング回路20の動作の第1モードにおいて、2つ以上連続したイメージデータフレームの区間にまたがり一定のハイ(活性化)状態でトランスファーイネーブル信号が保持される。
このようなイメージプロセッシング回路20の動作の第1モードで、トランスファーイネーブル信号は、データの多重フレームにまたがり(span over)、CPU23が新たな構成ベクトルを第2構成ベクトルレジスタCRV+1に書き込む場合、データが損傷される可能性を避けることができなくなる。
イメージプロセッシング回路20の動作の第2モードにおいて、CPU23が新たな構成ベクトルを第2構成ベクトルレジスタCRV+1に書き込む間に、トランスファーイネーブル信号は、第1構成ベクトルレジスタCRに構成ベクトルの伝送が不可能になるように変調される。
【0044】
すなわち、イメージプロセッシング回路20の動作の第2モードにおいて、新たな構成ベクトル(アップデートされた)は、CPU23によって最初に書き込まれた後、タイミング信号から生成されたトリガーイベントは、構成ベクトルを第1構成ベクトルレジスタCRに伝送する。
その代わりに、トランスファーイネーブルビット/信号は、新たな構成ベクトル(アップデートされた)を第2構成ベクトルレジスタCRV+1に書き込む機能も移譲されるファームウェアによって制御される。
【0045】
しかし、第1構成ベクトルレジスタCRと第2構成ベクトルレジスタCRV+1との間のスイッチSWの活性化を制御するためのトランスファーイネーブル信号の変調のみに基づいてアップデートを伝送することは、アップデートされた構成ベクトルが1つ以上のイメージプロセッシングユニットの中間フレームに適用されるので、データの損傷が発生することがある。
したがって、回路動作の2つのモードで、各イメージプロセッシングユニットは、データのフレームが処理される開始と同時に、新たな構成ベクトルを受信するために、各イメージプロセッシングユニットのスイッチSWの活性化は、ハードウェアイネーブル信号とタイミング派生したトリガーイベント(timing−derived trigger event)の論理結合、又はトランスファーイネーブル信号とタイミング派生したトリガーイベントの論理結合によって決定される。
イメージプロセッシング回路20の動作の第2モードについては後述する。
【0046】
図4は、図2に示したイメージプロセッシングユニットのアップデートイネーブル回路の回路図である。
図4には、図1に示したデジタルカメラ100において、図2のイメージプロセッシングユニット(21−A、21−B、21−C)のアップデートイネーブル論理回路(31−A、31−B、31−C)の回路図を示す。
図3及び図5のタイミング図に示すように、各イメージプロセッシングユニット(21−A、21−B、21−C)のアップデートイネーブル論理回路(31−A、31−B、31−C)は、タイミング(例えば、VSYNC)信号を受信し、イメージプロセッシングユニットが受信されたイメージデータのフレームの処理を始める以前に、第1構成ベクトルレジスタCRと第2構成ベクトルレジスタCRV+1との間のスイッチ(SW−A、SW−B、SW−C)を活性化するトリガーイベント信号(trigger−event)を発生させるトリガーイベント信号発生ロジック32を含む。
【0047】
アップデートイネーブル論理回路31は、HWEN/トランスファーイネーブル信号及びトリガーイベント信号を論理結合することによって(例えば、論理AND)、イメージプロセッシングユニット(21−A、21−B、21−C)のスイッチイネーブル信号(例えば、switch−enable−A、switch−enable−B、switch−enable−C)を発生させる組み合わせ論理ゲート(g−A、g−B、g−C)をさらに含みうる。
スイッチイネーブル信号(switch−enable−A、switch−enable−B、switch−enable−C)は、アップデートされたイネーブルスイッチ(SW−A、SW−B、SW−C)を制御し、受信されたハードウェアイネーブル信号(HWEN)と受信されたタイミング信号から生成されるトリガー信号の論理結合に基づいて、バッファリングされた第2構成ベクトルからアップデートされた構成ベクトルをアクティブ第1構成ベクトルレジスタに伝送する本発明の実施形態によるスイッチング部を制御する。
アップデートイネーブル信号が活性化された場合、アップデートされた構成ベクトルは、アクティブ構成ベクトルレジスタCRに伝送される第2構成ベクトルレジスタCRV+1に保存される。
【0048】
アップデートイネーブル論理回路31は、スイッチイネーブル信号(switch−enable−A、switch−enable−B、switch−enable−C)をラッチし、次のイメージプロセッシングユニットによって使うためのハードウェアイネーブル信号(HWEN)として出力するラッチ部(L−A、L−B、L−C)をさらに含む。
第2及び次の段階(例えば、第1イメージプロセッシングユニット、第2イメージプロセッシングユニット...)において、各イメージプロセッシングユニットのスイッチイネーブル信号(switch−enable−A、switch−enable−B、switch−enable−C)は、以前段階で出力された信号であるラッチされたスイッチイネーブル信号(HWEN)をリセットするためのHWENリセット信号(HWEN−reset)として以前イメージプロセッシングユニットのラッチ部にフィードバックされる。
【0049】
例えば、以前イメージプロセッシングユニット21−Aから出力されたスイッチイネーブル信号HWENn+1をリセットするために、第2イメージプロセッシングユニット21−Bのスイッチイネーブル信号(switch−enable−B)は、以前イメージプロセッシングユニット21−Aのラッチ部L−Aにフィードバックされる。各イメージプロセッシングユニットに備えられたラッチ部(L−A、L−B、L−C)は、セット電極及びリセット電極を有するSRラッチとして具現可能である。
各イメージプロセッシングユニットに備えられたスイッチ(SW−A、SW−B、SW−C)は、マルチプレクサ、各構成ベクトルのビットであり得る多くのポール(pole)を有する単投スイッチ(single−throw switch)、または構成ベクトルの各ビットのための伝送経路を有する半導体パスゲート(semiconductor pass−gate)のような多様な方法で具現可能である。
【0050】
図5は、本発明の一実施形態による動作のイメージプロセッシング回路の第2モードの間のイメージプロセッシング回路の多様な信号のタイミング図である。
図5には、図1に示したデジタルカメラ100のイメージプロセッシング回路20の動作の第2モードで図2の第1及び第2イメージプロセッシングユニット(21−A、21−B)の入出力及び内部信号のタイミング図のみを示した。
図5を参照すると、本発明の実施形態による第2モードによれば、新たな構成ベクトルが、すべてのイメージプロセッシングユニットに対する第2構成ベクトルレジスタCRV+1に完全に書き込まれた以後、イメージプロセッシングユニットは、順次にアップデートされる。
インターロックは、パイプラインでの各段階をトリガー信号にアーミング(arms)し、以前段階がアーミング及びトリガーされてから、各段階はアーミングされる。
【0051】
図2、図4及び図5を参照すると、ハードウェアイネーブル(インターロック)信号(HWEN)は、有効なアップデートが効力がある間に、各イメージプロセッシングユニットが順次にアップデートされたアクティブ構成ベクトルを有するかを確認するために選択された時点に提供される。
インターロックは、パイプラインでの各段階をトリガー信号をアーミング(arms)し、以前段階がアーミング及びトリガーされてから、各段階はアーミングされる。
すなわち、新たな構成ベクトル(V+1)は、プロセッサ動作の中断なしに、またプロセッサが非常に短い時間での割り込みに応答する必要なしに、あらゆるイメージプロセッシングユニットのレジスタに適用される。
【0052】
CPU23は、イメージプロセッシングユニット24の動作と独立して続いて稼働することができ、ユーザが他のイメージフレームサイズを選択するか、デジタルズーム係数を変更する場合のようなユーザインターフェースと相互作用するユーザの制御に基づいて、構成ベクトル(アップデートされた)を独立して発生することがある。
アップデートされた構成ベクトルは、イメージデータのタイミングとは関係ない所定の時点でCPUによって(例えば、各イメージプロセッシングユニットの第2構成ベクトルレジスタCRV+1に)書き込みされうる。各イメージプロセッシングユニットの第2構成ベクトルレジスタCRV+1に保存されたアップデートされた構成ベクトルは、イメージデータのタイミングと同期して、第1構成ベクトルレジスタCRに伝送することができる。
したがって、各イメージプロセッシングユニットの第2構成ベクトルレジスタCRV+1のデータは、対応する第1構成ベクトルレジスタCRにトリガーイベントパルスが発生する度に伝送されない。
【0053】
上記開示された発明は、実施形態として考慮されたものであるので、制限されて解析されてはならず、添付の請求項は、発明の思想によって変形、添加、及び他の実施例まで含むものと理解しなければならない。したがって、後続する請求項及びその均等物の最大限の解析によって発明の保護範囲は、法によって許容される最大の内容まで決定されなければならず、前述した詳細な説明によって制限的に解析されてはならない。
【符号の説明】
【0054】
10 レンズ
12 イメージセンサー
20 イメージプロセッシング回路
21−A〜E (第1〜第5)イメージプロセッシングユニット
22−A〜C イメージプロセッシングコア
23 CPU
24 イメージプロセッシングユニット
31−A〜C (アップデート)イネーブル論理回路
32−A〜C トリガーイベント信号発生ロジック
100 デジタルカメラ
g−A〜C 論理ゲート
L−A〜C ラッチ部
SW−A〜C スイッチ


【特許請求の範囲】
【請求項1】
イメージプロセッシング回路であって、
複数のイメージプロセッシングユニットを有し、
前記複数のイメージプロセッシングユニットのそれぞれは、構成ベクトルを保存する第1構成ベクトルレジスタと、
アップデートされた構成ベクトルを保存する第2構成ベクトルレジスタと、
第1イネーブル信号を発生させる論理回路とを含み、
前記第1イネーブル信号の制御下で、第2構成ベクトルレジスタの出力を前記第1構成ベクトルレジスタに入力し、
前記第1イネーブル信号は、トリガー信号及び第2イネーブル信号に基づいて発生することを特徴とするイメージプロセッシング回路。
【請求項2】
前記複数のイメージプロセッシングユニットは、直列に接続され、
前記複数のイメージプロセッシングユニットのそれぞれは、前記第1イネーブル信号をラッチし、前記ラッチされた第1イネーブル信号を次のイメージプロセッシングユニットによって受信される前記第2イネーブル信号として出力するラッチ部をさらに含むことを特徴とする請求項1に記載のイメージプロセッシング回路。
【請求項3】
前記アップデートされた構成ベクトルを受信して、前記第1構成ベクトルレジスタに出力するスイッチング部をさらに含むことを特徴とする請求項1に記載のイメージプロセッシング回路。
【請求項4】
前記トリガー信号は、前記イメージプロセッシング回路でイメージデータの各フレームの到達と時間が同期されていることを特徴とする請求項1に記載のイメージプロセッシング回路。
【請求項5】
前記複数のイメージプロセッシングユニットのうちから第1イメージプロセッシングユニットによって受信された前記第2イネーブル信号は、トランスファーイネーブルビットをラッチして、トランスファーイネーブルレジスタによって出力されたトランスファーイネーブル信号であることを特徴とする請求項1に記載のイメージプロセッシング回路。
【請求項6】
前記トランスファーイネーブルビットは、CPUによって前記トランスファーイネーブルレジスタに書き込まれることを特徴とする請求項5に記載のイメージプロセッシング回路。
【請求項7】
前記アップデートされた構成ベクトルを生成するCPUをさらに有することを特徴とする請求項1に記載のイメージプロセッシング回路。
【請求項8】
前記CPUは、前記アップデートされた構成ベクトルを前記第2構成ベクトルレジスタに書き込むことを特徴とする請求項7に記載のイメージプロセッシング回路。
【請求項9】
前記イメージプロセッシングユニットの前記第2イネーブル信号が活性化している間、前記アップデートされた構成ベクトルは、如何なるイメージプロセッシングユニットの前記第2構成ベクトルレジスタにも書き込まれないことを特徴とする請求項1に記載のイメージプロセッシング回路。
【請求項10】
前記イメージプロセッシングユニットの前記トリガー信号は、前記イメージプロセッシングユニットによって受信されたタイミング信号に基づいて、前記イメージプロセッシングユニット内で発生することを特徴とする請求項1に記載のイメージプロセッシング回路。
【請求項11】
直列接続された複数のイメージプロセッシングユニットを通じてイメージデータの第1フレーム及び第2フレームを連続して処理する方法において、
前記複数のイメージプロセッシングユニットのうち1つである第1イメージプロセッシングユニットで前記イメージデータの第1フレームを受信する段階と、
第1イネーブル信号が活性化している間、前記イメージデータの第1フレームに対応する構成ベクトルを前記第1イメージプロセッシングユニットのアクティブ構成ベクトルレジスタに書き込む段階と、
前記イメージデータの第1フレームに対応するタイミング信号から生成されたトリガー信号と第2イネーブル信号とを結合することによって、前記活性化した第1イネーブル信号を発生させる段階とを有し、
前記タイミング信号は、ビデオフレーム同期信号を含むことを特徴とするイメージプロセッシング方法。
【請求項12】
前記第1イネーブル信号が活性化される前に、
前記イメージデータの第1フレームに対応する前記構成ベクトルを前記第1イメージプロセッシングユニットのバッファリングされた構成ベクトルレジスタに書き込む段階をさらに有することを特徴とする請求項11に記載のイメージプロセッシング方法。
【請求項13】
前記トリガー信号は、前記ビデオフレーム同期信号から生成されることを特徴とする請求項11に記載のイメージプロセッシング方法。
【請求項14】
複数のビデオプロセッシングユニットを含むカメラにおいて、
前記複数のビデオプロセッシングユニットのそれぞれは、前記ビデオプロセッシングユニットのビデオプロセッシングコアを構成するアクティブ構成ベクトルを保存する第1構成ベクトルレジスタと、
アップデートされた構成ベクトルを保存する第2構成ベクトルレジスタと、
前記第1構成ベクトルレジスタと第2構成ベクトルレジスタとの間に接続され、第1イネーブル信号に基づいて、前記保存されたアップデート構成ベクトルを前記第1構成ベクトルレジスタに伝送するパスゲートと、
トリガー信号と第2イネーブル信号とを結合することによって、前記第1イネーブル信号を発生させる論理回路とを有し、
前記トリガー信号は、ビデオフレーム同期信号に時間依存であることを特徴とするカメラ。
【請求項15】
前記複数のビデオプロセッシングユニットは、直列に接続されることを特徴とする請求項14に記載のカメラ。
【請求項16】
前記アップデートイネーブル信号をラッチし、前記ラッチされたアップデートイネーブル信号を次のビデオプロセッシングユニットによって受信される前記第2イネーブル信号として出力するラッチ部をさらに含むことを特徴とする請求項15に記載のカメラ。
【請求項17】
第1ビデオプロセッシングユニットによって受信される前記第2イネーブル信号は、CPUから発生することを特徴とする請求項16に記載のカメラ。
【請求項18】
各ビデオプロセッシングユニットから次のビデオプロセッシングユニットに伝達される前記第2イネーブル信号は、イメージデータ及びそれに対応するタイミング信号の流れと並行して伝達され、前記タイミング信号から派生したトリガー信号がイネーブルされた場合、アクティブ構成ベクトルレジスタをアップデートするためのアクティブトリガーとして表われ、
そのようなハードウェアイネーブルトリガー活性化は、チェーンダウンストリーム(chain down−stream)方式で第1ビデオプロセッシングユニットからそれぞれの次のビデオプロセッシングユニットにカスケード(cascade)接続されることを特徴とする請求項14に記載のカメラ。
【請求項19】
直列接続されてリプログラム(reprogram)可能な複数のイメージプロセッシングユニットに含まれた複数のフレームを処理する方法において、
前記直列接続された複数のイメージプロセッシングユニットのそれぞれのリプログラミング(reprogramming)が可能になるように制御する段階を有し、
前記リプログラミングが可能になるように制御する段階は、イメージデータ及びタイミング信号の流れと並行して、各イメージプロセッシングユニットから次のイメージプロセッシングユニットにリプログラミングイネーブル信号を伝達する段階を含み、
前記イメージデータの到達と時間が同期されているトリガー信号は、チェーンダウンストリーム方式で第1イメージプロセッシングユニットから次のイメージプロセッシングユニットにカスケード(cascade)接続されるようにイネーブルされることを特徴とするフレームプロセッシング方法。
【請求項20】
前記第1ビデオプロセッシングユニットによって受信される前記リプログラミングイネーブル信号は、CPUから発生することを特徴とする請求項19に記載のフレームプロセッシング方法。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2012−164302(P2012−164302A)
【公開日】平成24年8月30日(2012.8.30)
【国際特許分類】
【外国語出願】
【出願番号】特願2011−280065(P2011−280065)
【出願日】平成23年12月21日(2011.12.21)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】129,Samsung−ro,Yeongtong−gu,Suwon−si,Gyeonggi−do,Republic of Korea
【Fターム(参考)】