イメージ処理方法及び装置
ＹＵＶデータのエンコーディングを迅速に行うことで、イメージのキャプチャー時遅延現状を最小化することができるイメージ処理方法及び装置を提供する。
本発明の実施形態に係るイメージシグナルプロセッサは、プレビューモードのための処理クロックレート又は出力クロックレートと、キャプチャーモードのための処理クロックレート又は出力クロックレートとを異なって適用し、キャプチャーモードの遂行時に、処理クロックレートが、出力クロックレート以上になるように制御できる。本発明により、イメージの処理時、遅延現状が減少できる。
本発明の実施形態に係るイメージシグナルプロセッサは、プレビューモードのための処理クロックレート又は出力クロックレートと、キャプチャーモードのための処理クロックレート又は出力クロックレートとを異なって適用し、キャプチャーモードの遂行時に、処理クロックレートが、出力クロックレート以上になるように制御できる。本発明により、イメージの処理時、遅延現状が減少できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージ処理に関し、より詳細には、イメージ処理遅延を減少させるための装置及び方法に関する。
【背景技術】
【０００２】
近年、小型及び薄型の撮像素子が、携帯電話機やＰＤＡ(Personal Digital Assistant)などの小型及び薄型の携帯用端末に搭載されることによって、携帯用端末が撮像装置としても機能することができ、これにより、遠隔地に音声情報だけでなく、画像情報も伝送できるようになった。撮像素子は、携帯電話機やＰＤＡだけでなく、ＭＰ３プレーヤーなどの携帯用端末にも具備され、種々の装置において外部映像を電子的なデータとして保持できるように具現されている。
【０００３】
このような撮像装置には、一般的にＣＣＤ(Charge Coupled Device)型イメージセンサーやＣＭＯＳ(Complementary Metal-０xide Semiconductor)型イメージセンサーなどの固体撮像素子が使われている。
【０００４】
図１は、一般的な撮像装置の構成を簡略に示した図であり、図２は、従来技術に係るエンコーディングされたデータの出力のための信号波形を示した図であり、図３は、一般的なＪＰＥＧエンコーディング過程を示した図である。
【０００５】
図１に示されたように、外部映像を電気的なデータに変換して表示部１５０にディスプレイする撮像装置は、イメージセンサー１１０と、イメージシグナルプロセッサ(ＩＳＰ：Image Signal Processor)１２０と、バックエンドチップ(Back-end chip)１３０と、ベースバンドチップ(Baseband Chip)１４０と、表示部１５０と、を含む。その他に、撮像装置は、変換された電気的なデータを格納するためのメモリ、アナログ信号をデジタル信号に変換するＡＤ変換機などを更に含むことができる。
【０００６】
イメージセンサー１１０は、バイエルパターン(Bayer Pattern)を持つセンサーであり、単位ピクセル別にレンズを介して入力された光の量に相応する電気信号(raw data)を出力する。
【０００７】
イメージシグナルプロセッサ１２０は、イメージセンサー１１０から入力された電気信号をＹＵＶ値に変換し、変換されたＹＵＶ値をバックエンドチップ１３０に出力する。ＹＵＶ方式は、人間の眼が色相よりは明るさに敏感であるという事実に着目した方式であり、色を明るさ(Luminance)のＹ成分と色相(Chrominance)のＵ及びＶ成分とに分ける。Ｙ成分は、誤差に敏感であるので、色相成分のＵとＶより多いビットをコーディングする。典型的なＹ:Ｕ:Ｖの割合は、４:２:２である。
【０００８】
イメージシグナルプロセッサ１２０は、変換したＹＵＶ値をＦＩＦＯに順次格納させることによってバックエンドチップ１３０が該当情報を入力され得るようにする。
【０００９】
バックエンドチップ１３０は、入力されたＹＵＶ値を予め指定されたエンコーディング方法によりＪＰＥＧやＢＭＰに変換してメモリに格納したり、これをデコーディングして表示部１５０にディスプレイする。バックエンドチップ１３０は、イメージの拡大、縮小、ローテーションなどの機能も行うことができる。もちろん、図１に示されたように、ベースバンドチップ１４０が、バックエンドチップ１３０からデコーディングされたデータを入力され、表示部１５０にディスプレイすることができる。
【００１０】
ベースバンドチップ１４０は、撮像装置の動作を全般的に制御する機能を行う。例えば、キー入力部(図示せず)を介して使用者から撮像命令が入力されると、ベースバンドチップ１４０は、バックエンドチップ１３０にイメージ生成命令を伝送することによって、バックエンドチップ１３０が入力された外部映像に相応するエンコーディングされたデータを生成するようにすることもできる。
【００１１】
表示部１５０は、バックエンドチップ１３０又はベースバンドチップ１４０の制御により提供されたデコーディングされたデータをディスプレイする。
【００１２】
メモリに積載されたデータが、復号化などの処理のために順次入力される過程の信号波形が図２に示されている。一般に、バックエンドチップ１３０は、ＹＵＶ/バイエル(ＢＡＹＥＲ)フォーマットのデータを入力されるように具現されており、このようなデータを入力されるためのインターフェースとして、クロック信号(Ｐ＿ＣＬＫ)、垂直同期信号(Ｖ_ｓｙｎｃ)、有効データイネーブル信号(Ｈ＿ＲＥＦ)、及びデータ(ＤＡＴＡ)信号を用いている。
【００１３】
図２に示されたように、従来のバックエンドチップ１３０は、一つのフレーム(例えば、ｋ(自然数)番目に入力されたフレーム)に対するエンコーディング処理を行う途中で、後続するフレーム(例えば、ｋ＋１番目に入力されたフレーム)に対する垂直同期信号(Ｖ_ｓｙｎｃ２)及び/又はイメージデータを入力されるように構成されており、イメージデータのエンコーディング時に、誤りが発生する可能性が多いという問題点があった。
【００１４】
すなわち、従来のバックエンドチップ１３０は、現在処理されているフレームに対するエンコーディング処理だけでなく、次のフレームに対するエンコーディング処理を共に行うことがあり、正確なデータエンコーディングが完了されないという問題点もあった。
【００１５】
また、バックエンドチップ１３０のエンコーディング部が、エンコーディングされたデータをデコーディング部に伝達したり、メモリに格納する場合、新たな垂直同期信号(Ｖ_ｓｙｎｃ２)を受信した以後には、現在フレームに対して、エンコーディングされたデータが正常に入力されないという問題点もあった。
【００１６】
また、図２に示されたように、従来のイメージシグナルプロセッサ１２０が、バックエンドチップ１３０でデータを格納する場合に利用可能なＨ_ＲＥＦ信号を交番的に出力する。しかし、これは、バックエンドチップ１３０のメモリの記録イネーブル(Write Enable)信号のスイッチングによる電力消耗の原因にもなり得る。
【００１７】
図３には、バックエンドチップ１３０により行われる一般的なＪＰＥＧエンコーディング(encoding)過程が示されている。ＪＰＥＧエンコーディング過程２００は、当業者にとって自明な事項であるので、簡略に説明することにする。
【００１８】
図３に示されたように、入力されたＹＵＶ値のイメージは、８x８ピクセル大きさのブロックに分けられ、各ブロックに対して、ＤＣＴ(離散コサイン変換、Discrete Cosine Transform)を行う(２１０)。ＤＣＴは、イメージを空間画像でそれに相応する周波数形態に変換することによって、フーリエ変換(Fourier Transform)を行う一連の変換過程を意味する。
【００１９】
次いで、量子化器(Quantizer)は、各ブロックのＤＣＴ係数を、視覚に及ぼす影響によって重み付けをして量子化する(２２０)。この重みのテーブルを量子化テーブルという。量子化テーブルの値は、ＤＣ近くでは小さい値を取り、高い周波数では、大きい値を取り、情報量の多いＤＣ近くのデータを小さな損失で送り、高周波数では、高い圧縮率を誘導する。
【００２０】
次いで、無損失コーダー(Lossless coder)であるエントロピーエンコーダ(entropy encoder)により最終圧縮されたデータが生成される(２３０)。量子化処理過程を経た係数は、０に表現される一連の連続から構成される。したがって、データをコードシンボルとして表す連続-区間(Run-length)エンコーディングを介して、データの大きさが縮小されることができる。また、ハフマン(Huffman)エンコーディングを介しても、データの大きさを減らすことができる。ハフマンアルゴリズムは、統計的により繰り返し頻繁に発生するコードシンボルに、より短いシンボルを割り当てる。連続-区間及びハフマンの２エントロピーエンコーディングは、いずれもデータの大きさを縮小させるエンコーディング過程であるが、データの損失は、発生しない。
【００２１】
上述した過程を経てエンコーディングされたデータは、メモリに積載される。バックエンドチップ１３０は、メモリに積載されたデータを復号化して表示部１５０にディスプレイする等の処理を行う。
【００２２】
従来のイメージシグナルプロセッサ１２０は、バックエンドチップ１４０のクロックレート(Clock rate)より低いクロックレートで動作されるように具現されている。
【００２３】
一般的に、イメージセンサー１１０は、バイエルイメージ形態に電気信号を出力する。出力された電気信号は、イメージシグナルプロセッサ１２０で行われる予め指定された前処理(例えば、イメージ処理、インターポーレーション(interpolation)等)によりＲＧＢデータ形態に変換され、これは、出力のためにＹＵＶデータに変換される。結果的に、出力されるデータ量は、入力されたデータ量の約２倍となる。したがって、イメージシグナルプロセッサ１２０の出力段で使用されるクロックレートも、イメージシグナルプロセッサ１２０内部でイメージ処理のために使用されるクロックレートの約２倍となる。バックエンドチップ１３０で使用されるクロックレートも、イメージシグナルプロセッサ１２０内部でイメージ処理のために使用されるクロックレートの約２倍となるであろう。
【００２４】
上述したように、イメージシグナルプロセッサ１２０の出力段で使用されるクロックレートが高いので、イメージの処理時に問題点が発生している。
【００２５】
すなわち、最近の高画素化の傾向を考慮する場合、イメージ処理の速度が重要な要素と考えられる。従来のＶＧＡ又は１メガバイト程度のイメージ処理時に、使用者が自然なイメージとして認識するためには、２０〜４０MHz程度のクロック周波数で十分であった。しかし、３〜５メガバイト以上に発展している現在の状態で、秒当たり１０〜２０フレームを満たすためには、６０〜８０MHzでのイメージ処理が要求される。
【００２６】
しかし、従来のイメージシグナルプロセッサ１２０及びバックエンドチップ１３０の連動構造を考慮する場合、イメージシグナルプロセッサ１２０のイメージ処理のためのクロックレートを増加させる場合、バックエンドチップ１３０のクロックレートもこれに伴い非常に高められるべきであるが、これは、技術的に具現できないという問題点を持っている。
【００２７】
このように、従来のイメージシグナルプロセッサ１２０は、高画素イメージを低周波数クロックレートに処理するために、１シーンをキャプチャーするに際して、多くの時間を必要とし、瞬間的なシーンのキャプチャーでない、遅延時間を含んだシーンをキャプチャーするようになる。すなわち、イメージのキャプチャー時に発生した遅延(lagging)現状により、動く物体を撮影した場合、つぶれているイメージがキャプチャーされるという問題点がある。
【００２８】
また、低周波数クロックレートにイメージ処理を行うために、一つのイメージに対するＪＰＥＧエンコーディングが完了する前に、後続するフレームのイメージデータが入力されることによって衝突が発生するという問題点もあった。
【発明の開示】
【発明が解決しようとする課題】
【００２９】
それで、上述した問題点を解決するための本発明の目的は、ＹＵＶデータのエンコーディングを迅速に行うことで、イメージのキャプチャー時に、遅延現状を最小化することができるイメージ処理方法及び装置を提供することにある。
【００３０】
本発明の他の目的は、一つのフレームに対するエンコーディング処理時に、後続フレームに対するデータ入力を制限することによって、データ間の衝突を抑制できるイメージ処理方法及び装置を提供することにある。
【００３１】
本発明の更に他の目的は、ＹＵＶデータのエンコーディング処理のためのクロックレートを、エンコーディングされたイメージデータの出力のためのクロックレート以上に維持することによって、データの伝送区間でより多くのデータを迅速に伝送できるようにするイメージ処理方法及び装置を提供することにある。
【００３２】
本発明の更に他の目的は、有効データが、迅速にバックエンドチップに伝送されることによって、バックエンドチップが、エンコーディングされたデータを迅速にデコーディングできるイメージ処理方法及び装置を提供することにある。
【００３３】
本発明の更に他の目的は、イメージシグナルプロセッサが、エンコーディングされたデータをバックエンドチップに提供するにあたり、一般的なインターフェース構造を用いることによって、ハードウェアの設計及び制御の側面で有利な効果を持つイメージ処理方法及び装置を提供することにある。
【００３４】
本発明の更に他の目的は、受信段(例えば、バックエンドチップ、ベースバンドチップ)の処理効率の増進及び電力消耗を防止できるイメージ処理方法及び装置を提供することにある。
【００３５】
本発明の更に他の目的は、イメージシグナルプロセッサが、入力されるフレームのエンコーディングの可否をエンコーディング速度によって決定でき、スムーズなエンコーディング動作を行えるイメージ処理方法及び装置を提供することにある。
【００３６】
本発明の更に他の目的は、エンコーダによりエンコーディングされたデータを受信段に伝達するにあたり、最適の時点で垂直同期信号(Ｖ_ｓｙｎｃ)を出力できるようにするイメージ処理の遅延減少装置及び方法を提供することにある。
【００３７】
本発明の更に他の目的は、受信段でエンコーディングされたデータを入力される場合、新たなフレームの入力を示す垂直同期信号の入力により、現在フレームに対して処理されたデータの入力が妨害を受けないイメージ処理の遅延減少装置及び方法を提供することにある。
【００３８】
本発明の更に他の目的は、イメージを構成する有効なデータのみで構成されたエンコーディングされたデータが集合的にバックエンドチップに伝送されるようにして、バックエンドチップの処理効率及び処理速度を増進させることのできるイメージ処理の遅延減少装置及び方法を提供することにある。
【００３９】
本発明の更に他の目的は、バックエンドチップでデータを格納する時に利用可能なＨ_ＲＥＦ信号を、ハイ(High)又はロー(Low)状態に一定に維持することによって、バックエンドチップのメモリの記録イネーブル信号のスイッチングによる電力消耗を防止できるイメージ処理の遅延減少装置及び方法を提供することにある。
【００４０】
本発明の更に他の目的は、イメージを構成する有効なデータが出力されるデータ列の前段部に集中的に配置されるようにすることによって、バックエンドチップの処理効率及び処理速度を増進させることのできるイメージ処理の遅延減少装置及び方法を提供することにある。
【００４１】
その他の本発明の目的は、以下に述べられる望ましい実施形態を通してより明確になることである。
【課題を解決するための手段】
【００４２】
上述した目的を達成するために本発明の一側面によれば、イメージシグナルプロセッサ及び/又は前記イメージシグナルプロセッサを含む撮像装置が提供される。
【００４３】
本発明の望ましい一実施形態によれば、イメージセンサー、イメージシグナルプロセッサ及び受信段を含む撮像装置において、外部映像に相応する電気信号(raw data)を生成して出力するイメージセンサーと;エンコーダを備え、前記電気信号に相応するＹＵＶデータ又は前記エンコーダを用いて、エンコーディングされたデータを生成して前記受信段-ここで、前記受信段は、バックエンドチップ(Back-End Chip)、又は、ベースバンドチップ(Baseband Chip)である-に出力するイメージシグナルプロセッサと；を含む撮像装置が提供される。ここで、前記ＹＵＶデータを生成するための第１の処理クロックレートは、前記エンコーディングされたデータを生成するための第２の処理クロックレート未満であることができる。
【００４４】
また、ここで前記第１の処理クロックレートは、前記ＹＵＶデータ及び前記エンコーディングされたデータを出力するための出力クロックレート以下であり、前記第２の処理クロックレートは、前記出力クロックレート以上であることができる。
【００４５】
前記第１の処理クロックレートと前記第２の処理クロックレートとの比は、一つのフレームに相応する前記ＹＵＶデータの大きさと、エンコーディングされるデータの大きさとの比であることができる。前記大きさは、面積、横長さ、縦長さ、対角線長さのいずれかであることができる。
【００４６】
前記イメージセンサーは、前記イメージシグナルプロセッサから、前記第１の処理クロックレート、あるいは、前記第２の処理クロックレートに相応して入力されたクロック信号に符合するように、前記電気信号を生成して出力することができる。
【００４７】
前記第１の処理クロックレートは、プレビュー状態のクロックレートであり、前記第２の処理クロックレートは、前記受信段から入力されたキャプチャー命令に相応するフレームを処理するためのクロックレートであることができる。
【００４８】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が開始されることを意味する垂直同期信号(Ｖ_ｓｙｎｃ)が、前記イメージセンサーから入力される場合、前記イメージシグナルプロセッサは、前記イメージセンサーにスキップ命令を伝送し、前記イメージセンサーは、前記ｋ＋１番目のフレームに相応する電気信号を出力しないことができる。
【００４９】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が開始されることを意味する垂直同期信号(Ｖ_ｓｙｎｃ)が、前記イメージセンサーから入力される場合、前記イメージシグナルプロセッサは、前記イメージセンサーから入力される電気信号の処理をスキップ(skip)することができる。
【００５０】
前記イメージシグナルプロセッサは、前記エンコーディングされたデータを前記受信段に伝送するために臨時に格納するバッファーメモリを含むことができる。ここで、前記バッファーメモリに格納されたエンコーディングされたデータの量が、予め指定された大きさ以上である場合、前記第２クロックレートを減少させることができる。
【００５１】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が遅延入力されるように前記イメージセンサーに指示できる。
【００５２】
本発明の望ましい一実施形態に係るイメージシグナルプロセッサは、処理クロックレートに相応するクロック信号を出力するクロック発生器と;キャプチャー命令が入力されると、前記クロック発生器が増加された処理クロックレートに相応するクロック信号を生成するように制御する制御ユニットと;前記クロック信号に応じて、イメージセンサーから入力される電気信号を用いてＹＵＶデータを生成するサブＩＳＰと;前記クロック信号に応じて、前記ＹＵＶデータを用いてエンコーディングされたイメージデータを生成するエンコーディング部と;前記エンコーディングされたイメージデータを蓄積するメモリと;前記制御ユニットの制御により、前記蓄積されたエンコーディングされたイメージデータを、予め指定された時点ごとに受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力する出力部と；を含むことができる。
【００５３】
前記イメージシグナルプロセッサは、前記メモリに蓄積されたエンコーディングされたイメージデータの量をモニターリングし、モニターリング情報を生成するバッファー管理部を更に含むことができる。ここで、前記制御ユニットは、前記モニターリング情報を用いて前記処理クロックレートを増減できる。
【００５４】
前記キャプチャー命令が入力される前には、前記出力部は、前記サブＩＳＰにより出力される前記ＹＵＶデータを前記受信段に出力することができる。
【００５５】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が開始されることを意味する垂直同期信号(Ｖ_ｓｙｎｃ)が、前記イメージセンサーから入力される場合、前記制御ユニットは、前記イメージセンサーにスキップ命令を伝送し、前記イメージセンサーは、前記ｋ＋１番目のフレームに相応する電気信号を出力しないことができる。
【００５６】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が開始されることを意味する垂直同期信号(Ｖ_ｓｙｎｃ)が、前記イメージセンサーから入力される場合、前記制御ユニットは、前記サブＩＳＰにスキップ命令を伝送し、前記サブＩＳＰは、前記ｋ＋１番目のフレームに相応するＹＵＶデータ生成をスキップできる。
【００５７】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が遅延入力されるように前記イメージセンサーに指示できる。
【００５８】
上述した目的を達成するために本発明の他の側面によれば、イメージ処理方法及び/又は当該方法を行うためのプログラムが記録された記録媒体が提供される。
【００５９】
本発明の望ましい一実施形態によれば、イメージセンサー、イメージシグナルプロセッサ及び受信段を含む撮像装置の前記イメージシグナルプロセッサで行われるイメージ処理方法において、(a)第１の処理クロックレートに従って、前記イメージセンサーから入力される電気信号に相応するＹＵＶデータを生成し、第１の出力クロックレートに従って、前記ＹＵＶデータを前記受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力する段階と;(b)前記受信段からキャプチャー命令を入力される段階と;(c)第２の処理クロックレートに従って、前記イメージセンサーから入力される電気信号に相応するエンコーディングされたデータを生成し、第２の出力クロックレートに従って、前記エンコーディングされたデータを前記受信段に出力する段階と；を含むイメージ処理方法が提供される。ここで、前記イメージシグナルプロセッサは、エンコーダを備え、前記第１の処理クロックレートは、前記第２の処理クロックレート以下であることができる。
【００６０】
前記イメージセンサーは、前記イメージシグナルプロセッサから、前記第１の処理クロックレート、あるいは、前記第２の処理クロックレートに相応して入力されたクロック信号に符合するように、前記電気信号を生成して出力することができる。
【００６１】
前記第１の処理クロックレートは、プレビュー状態のクロックレートであり、前記第２の処理クロックレートは、前記受信段から入力されたキャプチャー命令に相応するフレームを処理するためのクロックレートであることができる。
【００６２】
前記段階(c)は、前記第２の処理クロックレートに従って、前記イメージセンサーから入力される電気信号に相応するエンコーディングされたデータを生成する段階と;前記エンコーディングされたデータをバッファーメモリに格納する段階と;予め指定された期間の間に、前記バッファーメモリに格納された前記エンコーディングされたデータを、予め指定された時点ごとに、前記第２の出力クロックレートに従って前記前記受信段に出力する段階と；を含むことができる。ここで、前記バッファーメモリに格納されたエンコーディングされたデータの量が、予め指定された大きさ以上である場合、前記第２クロックレートを減少させることができる。
【発明の効果】
【００６３】
上述したように、本発明は、ＹＵＶデータのエンコーディングを迅速に行うことで、イメージのキャプチャー時に遅延現状を最小化することができるという効果がある。
【００６４】
また、本発明は、一つのフレームに対するエンコーディング処理時に、後続フレームに対するデータ入力を制限することによって、データ間の衝突を抑制できるという効果もある。
【００６５】
また、本発明は、ＹＵＶデータのエンコーディング処理のためのクロックレートを、エンコーディングされたイメージデータの出力のためのクロックレート以上に維持することによって、データの伝送区間でより多くのデータを迅速に伝送できるようにする効果もある。
【００６６】
また、本発明は、有効データが迅速にバックエンドチップに伝送されることによって、バックエンドチップが、エンコーディングされたデータを迅速にデコーディングできるという効果もある。
【００６７】
また、本発明は、イメージシグナルプロセッサが、エンコーディングされたデータをバックエンドチップに提供するにあたり、一般的なインターフェース構造を用いることによって、ハードウェアの設計及び制御の側面で有利な効果を持つ。
【００６８】
また、本発明は、受信段(例えば、バックエンドチップ、ベースバンドチップ)の処理効率の増進及び電力消耗を防止できるという効果もある。
【００６９】
また、本発明は、イメージシグナルプロセッサが、入力されるフレームのエンコーディングの可否をエンコーディング速度によって決定でき、スムーズなエンコーディング動作を行えるという効果もある。
【００７０】
また、本発明は、エンコーダによりエンコーディングされたデータを受信段に伝達するにあたり、最適の時点で垂直同期信号(Ｖ_ｓｙｎｃ)を出力することができるようにする効果もある。
【００７１】
また、本発明は、受信段でエンコーディングされたデータを入力される場合、新たなフレームの入力を示す垂直同期信号の入力により、現在フレームに対して処理されたデータの入力が妨害を受けないという効果もある。
【００７２】
また、本発明は、イメージを構成する有効なデータのみで構成されたエンコーディングされたデータが集合的に受信段に伝送されるようにして、バックエンドチップの処理効率及び処理速度を増進させることができるという効果もある。
【００７３】
また、本発明は、バックエンドチップでデータを格納する時に利用可能なＨ_ＲＥＦ信号を、ハイ又はロー状態に一定に維持することによって、バックエンドチップのメモリの記録イネーブル信号のスイッチングによる電力消耗を防止できるという効果もある。
【００７４】
また、本発明は、イメージを構成する有効なデータが出力されるデータ列の前段部に集中的に配置されるようにすることによって、バックエンドチップの処理効率及び処理速度を増進させることができるという効果もある。
【発明を実施するための最良の形態】
【００７５】
上述した目的、特徴及び長所は、添付の図面と関係する以下の詳細な説明を通してより明確になるであろう。まず、各図面の構成要素に参照番号を付加するにおいて、同じ構成要素に限っては、例え他の図面上に表示されても、できるだけ同じ番号を持つようにしていることに留意すべきである。以下、添付の図面を参照して、本発明に係る望ましい一実施形態を詳細に説明する。
【００７６】
図４は、本発明の望ましい一実施形態に係る撮像装置の構成を簡略に示した図であり、図５は、本発明の望ましい一実施形態にイメージシグナルプロセッサの構成を詳細に示した図である。図４を参照するに、本発明に係る撮像装置は、イメージセンサー１１０と、イメージシグナルプロセッサ３１０と、バックエンドチップ１３０と、ベースバンドチップ１４０と、表示部１５０とを含む。
【００７７】
イメージセンサー１１０は、外部の映像に相応する電気信号を生成して、イメージシグナルプロセッサ３１０に出力する。イメージセンサー１１０は、電気信号を生成して出力するに際して、クロック発生器４４０(図５参照)から入力されるクロック信号を用いることができる。イメージセンサー１１０が、外部映像に相応する電気信号を生成して出力する過程は、当業者にとって自明なので、説明を省略する。
【００７８】
イメージシグナルプロセッサ３１０は、イメージセンサー１１０から入力された電気信号を、ＹＵＶデータ又はエンコーディングされたデータに変換してバックエンドチップ１３０に出力する。プレビュー(イメージデータの生成なしに、イメージセンサー１１０を介して入力されたデータを表示部１５０を介して表示する状態であって、使用者により撮影命令が入力される以前の状態)状態では、ＹＵＶデータが出力され、キャプチャー命令(すなわち、外部映像を撮像したイメージデータを生成するための命令)が入力された場合は、相応するフレームに対するＪＰＥＧエンコーディングされたデータが出力されるであろう。一般に、撮像装置は、キャプチャー命令が入力される以前及びキャプチャー命令に相応するイメージデータのエンコーディングが完了した後には、プレビュー状態に存在するであろう。
【００７９】
イメージシグナルプロセッサ３１０は、サブＩＳＰ３２０、エンコーディング部３３０、及びデータ出力部３４０などを含むことができる。この他にも、クロック発生器、センサー制御部などを更に含むことができる。サブＩＳＰ３２０は、前処理部４１０、ＹＵＶ出力部４１５などを含むことができる。エンコーディング部３３０は、ＪＰＥＧエンコーダである場合を仮定して説明するが、他のフォーマットのデータ変換のためのエンコーダであってもよいことは自明である。データ出力部３４０は、バッファーメモリ４３０、バッファー管理部４３５などを含むことができる。
【００８０】
イメージシグナルプロセッサ３１０の構成が詳細に示された図５を参照するに、イメージシグナルプロセッサ３１０は、前処理部４１０と、ＹＵＶ出力部４１５と、出力制御部４２０と、ＪＰＥＧエンコーダ４２５と、バッファーメモリ４３０と、バッファー管理部４３５と、クロック発生器４４０と、制御ユニット４４５と、センサー制御部４５０と、多重化器(ＭＵＸ)４５５とを含むことができる。
【００８１】
前処理部４１０は、イメージセンサー１１０から入力された電気信号を処理して、高解像度のＹＵＶデータを出力する。前処理部４１０により、イメージの色相、明るさ等のような画質改善がなされることができる。前処理部４１０は、従来のイメージシグナルプロセッサ１２０と同一又は極めて類似する構成要素であることができる。
【００８２】
ＹＵＶ出力部４１５は、前処理部４１０から入力された高解像度のＹＵＶデータを、予め設定された垂直ライン数及び水平画素数に符合する低解像度のＹＵＶデータに変換して、出力制御部４２０に出力する。プレビューのための垂直ライン数及び水平画素数は、使用者により設定されたり、予め指定されることができる。
【００８３】
また、ＹＵＶ出力部４１５は、バックエンドチップ１３０からＩ２Ｃ又はＳＰＩを介してキャプチャー命令を入力された制御ユニット４４５の制御により、高解像度のＹＵＶデータをＪＰＥＧエンコーダ４２５に提供することができる。ＪＰＥＧエンコーダ４２５は、ＹＵＶ出力部４１５から入力された高解像度のＹＵＶデータを用いて、ＪＰＥＧエンコーディングされたデータを生成する。ＪＰＥＧエンコーダ４２５によるキャプチャー命令に相応するフレーム(例えば、ｋ番目のフレーム)のエンコーディング処理中に、イメージセンサー１１０から後続するフレーム(例えば、ｋ＋１番目のフレーム)のデータの入力が開始された場合、ＹＵＶ出力部４１５は、制御ユニット４４５の制御により、後続するフレームに相応する高解像度のＹＵＶデータをＪＰＥＧエンコーダ４２５に入力しなくてもよい。
【００８４】
出力制御部４２０は、制御ユニット４４５の制御により、バックエンドチップ１３０に低解像度のＹＵＶデータ又はエンコーディングされたデータを出力するために、スイッチング動作を行う多重化器４５５を制御する。図５には、出力制御部４２０が、ＹＵＶ出力部４１５と多重化器４５５との間の低解像度のＹＵＶデータ伝送経路上に備えられているように示されたが、出力制御部４２０が、多重化器４５５の制御のためにのみ存在する場合、制御ユニット４４５と多重化器４５５との間の制御経路上に備えられてもよい。低解像度のＹＵＶデータは、プレビューのためにバックエンドチップ１３０に提供されることができ、エンコーディングされたデータは、圧縮されたイメージデータの格納及び/又はデコーディングのために、バックエンドチップ１３０に提供されることができる。
【００８５】
ＪＰＥＧエンコーダ４２５は、ＹＵＶ出力部４１５から入力された高解像度のＹＵＶデータを用いて、ＪＰＥＧエンコーディングされたデータを生成してバッファーメモリ４３０に格納する。ＪＰＥＧエンコーディング過程は、先に詳細に説明したので、これについての説明は省略する。
【００８６】
バッファーメモリ４３０は、例えば、環状メモリであってもよく、入力される順にＪＰＥＧエンコーディングされたデータが記録され、読み出された順に新たなデータがオーバーライトされることができる。もちろん、読み出されたデータは、削除されるように設定されてもよい。バッファーメモリ４３０内に記録されるＪＰＥＧエンコーディングされたデータは、有効データ(すなわち、実際的にイメージを構成するデータ)のみに制限されてもよい。ＪＰＥＧエンコーダ４２５からＪＰＥＧエンコーディングされた出力されるデータが、有効データなのか無効データなのかの可否は、ＪＰＥＧエンコーダ４２５、バッファー管理部４３５、及び制御ユニット４４５等の少なくともいずれかにより判断されることができる。バッファーメモリ４３０には、無効データが出力され、記録される地点で空欄に記録されるか、以後の有効データが連続に記録されるように設定されることができる。もし、無効データ地点が空欄に記録された場合、該当地点に対しては、パッディングデータ(padding data、水平画素数に形式的に符合するようにするための形式的なデータ)がバックエンドチップ１３０に出力されることができる。
【００８７】
バッファー管理部４３５は、バッファーメモリ４３０に記録されたＪＰＥＧエンコーディングされたデータの量をモニターリングして、バッファーメモリの容量が全部使用されないように(すなわち、不足しないように)管理する。バッファー管理部４３５は、バッファーメモリ４３０に対してモニターリングした情報(以下、‘モニターリング情報'と称する)を制御ユニット４４５に提供する。また、バッファー管理部４３５は、バッファーメモリ４３０に記録されたデータが、予め指定された時点(例えば、図２において、Ｈ＿ＲＥＦ信号がハイ状態に切り替えられる時点)ごとにバックエンドチップ１３０に出力されるようにする。他に、バッファー管理部４３５は、クロック信号(Ｐ＿ＣＬＫ)と、垂直同期信号(Ｖ_ｓｙｎｃ)と、有効データイネーブル信号(Ｈ＿ＲＥＦ)とが、更にバックエンドチップ１３０に出力されるようにする。
【００８８】
バッファー管理部４３５の機能を具体的に説明すると、以下の通りである。
【００８９】
バッファー管理部４３５は、従来の出力波形と同じ形態の出力波形が生成され、バックエンドチップ１３０に出力されるようにする。また、クロックレートを減少させる場合、バッファーメモリ４３０がデータの出力のための緩衝作用をするように管理する。これは、本発明に係るイメージシグナルプロセッサ３１０において、エンコーディング処理のためのクロックレート(以下、‘処理クロックレート’と称する)が、ＪＰＥＧエンコーディングされたデータの出力のためのクロックレート(以下、‘出力クロックレート’と称する)より高く設定されるので、ＪＰＥＧエンコーディングされたデータの出力のためには、クロックレートを減少させる必要があるためである。また、クロックレートの減少により、従来の出力波形と同様に、ＪＰＥＧエンコーディングされたデータの出力が可能になるので、従来のバックエンドチップ１３０であっても、本発明に係るイメージシグナルプロセッサ３１０と互換されることができる。
【００９０】
また、バッファー管理部４３５は、バッファーメモリ４３０に格納され、多重化器４５５を介して出力されるＪＰＥＧエンコーディングされたデータの量を合計してファイルサイズなどをチェックし、該当情報を制御ユニット４４５に伝達することによって、クロックレートと連係して、安定したＪＰＥＧエンコーディングされたデータの量が出力され得るように、圧縮率を調整することができる。スケールファクターは、０〜２５５範囲内の任意の値に指定され、画質及び圧縮率を決定する変数である。スケールファクターが大きくと、圧縮率は良いが、画質が劣化し、スケールファクターが小さいと、画質は良いが、圧縮率が悪くなる。制御ユニット４４５は、バッファーメモリ４３０に格納されたＪＰＥＧエンコーディングされたデータの量に応じてスケールファクターを調節することによって、出力バッファーで損失なしにクロックレートを調節することができる。これは、エンコーディングされたデータの生成のための処理クロックレートが大き過ぎて、記録されたデータが読み出される前に新たなデータによりオーバーライトされるという問題点を解消できる。
【００９１】
このために、制御ユニット４４５は、キャプチャー命令に相応するフレームを処理するにあたり、最大バッファーの利用量(すなわち、全体バッファー容量中、予め指定された格納限度基準)が全部使用されているか否かをチェックし、これにより、現在クロックレートを考慮した出力安定度をチェックする。次いで、バッファーメモリ４３０に格納されたデータの量が多き過ぎる場合は、スケールファクターを上げる。この場合、スケールファクターは、段階的に上げられるように設定することが望ましい。
【００９２】
他の方法として、制御ユニット４４５は、一つのフレーム(すなわち、ＦＦＤ８(start mark)〜ＦＦＤ９(end mark))に対するＪＰＥＧエンコーディングされたデータのうち、有効データ(すなわち、実際的にイメージを構成するデータ)だけを計数してスケールファクターを調節することができる。ＪＰＥＧエンコーダ４２５から出力されるデータが、有効データなのか無効データなのかの可否は、ＪＰＥＧエンコーダ４２５、バッファー管理部４３５、又は、制御ユニット４４５等の少なくともいずれかにより認識されることができる。
【００９３】
もう一つの方法として、前処理部４１０のフィルターが用いられることもでき、これは、細かい調整をする場合、ぼやけ(bluring)程度を制御しながらデータの量を制限する方法である。
【００９４】
クロック発生器４４０は、制御ユニット４４５の制御により、任意のクロックレートに相応するクロック信号を生成して各構成要素に提供する。また、キャプチャー命令を入力された制御ユニット４４５の制御により、処理クロックレートに相応するクロック信号を生成して、相応する構成要素(例えば、前処理部４１０、ＹＵＶ出力部４１５、ＪＰＥＧエンコーダ４２５、バッファー管理部４３５等)に出力する。クロック発生器４４０により生成されたクロック信号は、イメージセンサー１１０にも入力され、イメージセンサー１１０とイメージシグナルプロセッサ３１０との間で連動するようにする。クロック発生器４４０は、出力クロックレートに相応するクロック信号を生成して、バックエンドチップ１３０に出力することもできる。
【００９５】
クロック発生器４４０は、イメージシグナルプロセッサ３１０にキャプチャー命令が入力される前には、従来のように、出力クロックレートより少ない処理クロックレートを維持することができる。しかしながら、イメージシグナルプロセッサ３１０に、制御ユニット４４５の制御によりキャプチャー命令が入力された後には、処理クロックレート(以下、‘第２の処理クロックレート’と称する)が、プレビュー状態での処理クロックレート(以下、‘第１の処理クロックレート’と称する)以上(すなわち、第２の処理クロックレート>第１の処理クロックレート)になるようにする。この場合、第２の処理クロックレートが増加する限界(すなわち、上限値)は、予め設定することができる。また、増加された第２の処理クロックレートは、出力クロックレートより大きいか、小さいことができる。
【００９６】
すなわち、キャプチャー命令が入力されると、イメージシグナルプロセッサ３１０の迅速な処理のために、第１の処理クロックレートが増加して、第２の処理クロックレートに更新される。この場合、第１の処理クロックレートと第２の処理クロックレートとの間の増加割合は、各処理クロックレートにより処理されるデータの量に応じて決定されることができる。一般に、プレビューモードでは、表示部１５０の大きさに符合したり、その以下の大きさでイメージ映像が表示されるが、キャプチャー命令に応じてエンコーディングされたイメージは、表示部１５０の大きさとは関係なく、予め指定された大きさで生成される。但し、エンコーディングされたイメージが表示部１５０にディスプレイされる場合は、表示部１５０の大きさ、あるいは、プレビューモードの表示の大きさによって表示されるだけである。したがって、第１の処理クロックレートと第２の処理クロックレートとの比は、プレビューモードのためのデータの大きさ(又は、プレビューイメージの大きさであって、例えば、３２０x２４０であってもよく、これは、広さ、横長さ、縦長さ、又は、対角線長さ等のいずれか)と、エンコーディングされるデータの大きさ(例えば、６４０x４８０であってもよく、これは、広さ、横長さ、縦長、又は、対角線長さ等のいずれか)との比と一致することができる。
【００９７】
第２の処理クロックレートの上限値は、バッファーメモリ４３０に記録されるデータ量(すなわち、入力量)と、読み出されてバックエンドチップ１３０に伝達されるデータ量(すなわち、出力量)との差が、バッファーメモリ４３０の格納容量(又は、最大バッファーの利用量)以下(又は、未満)に維持され得る限界値であることができる。もちろん、第２の処理クロックレートが、上述した上限値以下に指定されても、入力量と出力量との差が、バッファーメモリ４３０の格納容量(又は、最大バッファーの利用量)以上になる場合は、バッファーメモリ４３０に記録されたデータとして未だ読み出されていないデータを保護するために、第２の処理クロックレートを減少させることができる。第２の処理クロックレートの増減は、バッファー管理部４３５により制御されるか、バッファー管理部４３５から提供されたモニターリング情報を用いて制御ユニット４４５により制御されることができる。
【００９８】
この他にも、クロック発生器４４０は、第２の処理クロックレートが、第１のクロックレートより相対的に増加した効果を持つようにするために、種々の方法を更に適用できる。例えば、クロック発生器４４０は、処理クロックレートが固定され、出力クロックレートが変更可能な場合は、出力クロックレートを相対的に減少させることもできる。但し、変更された出力クロックレートは、受信段において認識して相応するように動作できるべきである。上述したように、制御ユニット４４５又はバッファー管理部４３５の制御により、出力クロックレートは、従来に比べて減少してもよく、処理クロックレートが、従来に比べて増加してもよい。例えば、処理クロックレートが増加した場合、各構成要素は、エンコーディング処理をより迅速に行えることは、自明であり、出力クロックレートが減少した場合、各構成要素は、エンコーディング処理のための時間をより更に確保することができる。
【００９９】
制御ユニット４４５は、プレビュー状態では、ＹＵＶ出力部４１５から出力される低解像度のＹＵＶデータが、多重化器４５５を介してバックエンドチップ１３０に出力されるように制御し、バックエンドチップ１３０からキャプチャー命令が入力されると、相応するフレームのエンコーディング処理時に、遅延現状が最小化できるように各構成要素を制御する。また、現在動作状態(例えば、プレビュー状態、又は、キャプチャー命令入力状態)による相応するデータが出力され得るように、多重化器４５５の経路設定のために、出力制御部４２０を制御する。また、キャプチャー命令に相応するフレーム(例えば、ｋ番目のフレーム)のエンコーディング処理が、後続するフレーム(すなわち、ｋ＋１番目のフレーム)のデータの入力により妨害を受けないようにしたり、データの衝突を防止するために、センサー制御部４５０を通じてイメージセンサー１１０を制御することによって、後続するフレーム(この場合、ｋ＋１番目のフレームのみに制限できる)の電気信号の出力が抑制されるようにすることができる。もちろん、キャプチャー命令に相応するフレームのエンコーディング処理中に、イメージセンサー１１０から後続するフレームのデータの入力が開始された場合、制御ユニット４４５は、ＹＵＶ出力部４１５が、後続するフレームに相応する高解像度のＹＵＶデータをＪＰＥＧエンコーダ４２５に入力しないように制御することができる。また、イメージセンサー１１０と前処理部４１０との間にスイッチング手段が更に備えられた場合、制御ユニット４４５は、該当スイッチング手段を制御して、イメージセンサー１１０から出力される電気信号が前処理部４１０に入力されないように制御することができる。
【０１００】
センサー制御部４５０は、制御ユニット４４５の制御によりイメージセンサー１１０の出力を制御できる。例えば、制御ユニットから、キャプチャー命令に相応するフレームのエンコーディング処理のために、後続するフレームのスキップ(skip)命令が入力された場合、センサー制御部４５０は、後続するフレームに相応するデータ(raw data)を出力しないように制御できる。もちろん、この他にも、種々の方法が適用可能であり、これらの各々については、以後、関連図面を参照して、詳細に説明することにする。
【０１０１】
多重化器４５５は、出力制御部４２０の制御によるスイッチング動作を行う。すなわち、出力制御部４２０から、プレビュー状態として低解像度 ＹＵＶデータの出力のための経路設定を要請されると、ＹＵＶ出力部４１５から出力された低解像度のＹＵＶデータが、バックエンドチップ１３０に出力されるように経路を設定する。又は、出力制御部４２０から、キャプチャー命令に相応するＪＰＥＧエンコーディングされたデータの出力のための経路設定を要請されると、バッファーメモリ４３０に格納されたＪＰＥＧエンコーディングされたデータが、バックエンドチップ１３０に出力されるように経路を設定する。
【０１０２】
以下、図５を参照して、本発明に係るイメージシグナルプロセッサ３１０の動作過程を説明するようにする。
【０１０３】
まず、プレビュー状態での動作過程を説明する。プレビュー状態において、イメージシグナルプロセッサ３１０及びイメージセンサー１１０の処理過程には、第１の処理クロックレートが用いられる。
【０１０４】
イメージセンサー１１０は、外部映像に相応する電気信号を生成して前処理部４１０に入力し、前処理部４１０は、予め指定された方法により電気信号を処理して、高解像度のＹＵＶデータを生成して出力する。
【０１０５】
ＹＵＶ出力部４１５は、高解像度のＹＵＶデータを、予め設定された垂直ライン数及び水平画素数に符合する低解像度のＹＵＶデータに変換して、出力制御部４２０に出力する。上述したように、出力制御部４２０が、多重化器４５５のスイッチング動作のみの制御のためのものである場合、出力制御部４２０は、制御ユニット４４５と多重化器４５５との間の制御経路上に備えられることもできる。
【０１０６】
また、ＹＵＶ出力部４１５は、高解像度のＹＵＶデータを、ＪＰＥＧエンコーダ４２５に提供することもできる。これは、ＪＰＥＧエンコーダ４２５が、高解像度のＹＵＶデータを用いて、ＪＰＥＧエンコーディングされたデータを生成するためのものではなく、単に、キャプチャー命令が入力された場合に出力されるべき圧縮されたイメージデータの量を予め認識するためのものである。ＪＰＥＧエンコーダ４２５は、処理すべきイメージデータに対する垂直ライン数及び水平画素数を予め認知しているか、制御ユニット４４５から提供を受けることができる。
【０１０７】
出力制御部４２０は、ＹＵＶ出力部４１５から入力された低解像度のＹＵＶデータを、多重化器４５５を介してバックエンドチップ１３０に伝達する。キャプチャー命令が入力される場合が、一般的な状態ではないので、多重化器４５５が設定するデフォルト経路は、低解像度のＹＵＶデータが出力されるための経路であることができる。キャプチャー命令の入力時に、出力制御部４２０の制御により、多重化器４５５は、ＪＰＥＧエンコーディングされたデータが出力されるように経路変更を行うことができる。
【０１０８】
バックエンドチップ１３０は、イメージシグナルプロセッサ３１０から入力された低解像度のＹＵＶデータを用いて、表示部１５０に相応するイメージを出力することによって、プレビュー動作が行われるようにする。
【０１０９】
低解像度のＹＵＶデータを用いてプレビュー動作を行うに際して、イメージシグナルプロセッサ３１０とバックエンドチップ１３０との間に送受信されるデータの量が少ないので、クロックレートに影響を受けることなく、迅速にデータの伝達が可能であることは、自明である。したがって、プレビュー状態では、クロック発生器４４０の処理クロックレートは、従来と同様に適用されることができる。
【０１１０】
但し、プレビュー動作のスムーズな遂行のために、送受信されるデータの量をより減らす必要があれば、イメージセンサー１１０及び/又はＹＵＶ出力部４１５によるサブサンプリングが行われることもできる。
【０１１１】
しかしながら、上述したように、使用者により入力されたキャプチャー命令に応じて、外部映像に相応するＪＰＥＧエンコーディングされたデータをバックエンドチップ１３０に伝送する場合は、大きいイメージを早く送らなければならないために、遅延現状が発生できる。すなわち、プレビューのために出力するデータ(すなわち、低解像度のＹＵＶデータ)の大きさに比べて、キャプチャー命令に応じてＪＰＥＧエンコーディングされるデータ(すなわち、高解像度のＹＵＶデータ)の大きさが大きいためである。以下、本発明に係るイメージシグナルプロセッサが、遅延現状を減少させるための方法について説明する。
【０１１２】
撮像装置がプレビュー状態で動作する中で、使用者が任意の映像を撮影するためにシャッター(又は、撮影ボタン)を押圧すると、イメージシグナルプロセッサ３１０(又は、制御ユニット４４５)は、Ｉ２Ｃ又はＳＰＩを介してバックエンドチップ１３０からキャプチャー命令を入力される。キャプチャー命令を入力された制御ユニット４４５は、クロック発生器４４０を制御して、第２の処理クロックレートが、第１の処理クロックレート以上(又は、超過)になるように制御する。この場合、第２の処理クロックレートは、出力クロックレート以上か未満であることができる。第２の処理クロックレートを、第１の処理クロックレートに比べて絶対的に又は相対的に増加させる方法は、先に述べた通りである。このように、増加された第２の処理クロックレートに相応するクロック信号が、イメージデータのエンコーディングのための各構成要素で利用されるか、減少された出力クロックレートが、ＪＰＥＧエンコーディングされたデータの出力のために利用され得ることは自明である。
【０１１３】
この場合にも、イメージセンサー１１０は、外部映像に相応する電気信号を生成して前処理部４１０に入力し、前処理部４１０は、予め指定された方法により電気信号を処理して、高解像度のＹＵＶデータを生成して出力する。この場合、イメージセンサー１１０は、クロック発生器４４０から入力された第２の処理クロックレート(又は、これによるクロック信号)に相応するように電気信号を出力し、前処理部は、第２の処理クロックレートに相応するように前処理を行うことができる。
【０１１４】
コーディング処理が、完了できたが、本発明によれば、ＪＰＥＧエンコーディングされたデータ(又は、有効データ)が、前半部に集中的に配置され、垂直画素数の後半部には、パッディングデータだけが配置されることができるので、垂直画素数だけ全てのデータを読み出す必要がないためである。
【０１１５】
バッファー管理部４３５は、バッファーメモリ４３０をモニターリングし、モニターリング情報を制御ユニット４４５に伝送する。制御ユニット４４５は、バッファー管理部４３５から入力されたモニターリング情報を用いて、処理クロックレート(又は、出力クロックレート)が調節されるようにクロック発生器４４０を制御できる。例えば、制御ユニット４４５は、バッファーメモリ４３０に格納されるＪＰＥＧエンコーディングされたデータが、バッファーメモリ４３０の格納空間中、最大バッファーの利用量以下に維持されるように、処理クロックレート(又は、出力クロックレート)を制御できる。これは、バッファーメモリ４３０に記録されたＪＰＥＧエンコーディングされたデータがバックエンドチップ１３０に伝送される前に、新たなデータによりオーバーライトされたり、新たなデータの格納のために読み出されていないデータが削除されないように、処理クロックレート(又は、出力クロックレート)を制御することである。
【０１１６】
バッファーメモリ４３０に格納されたＪＰＥＧエンコーディングされたデータは、データの出力時点(例えば、図２において、Ｈ＿ＲＥＦ信号がハイ状態に切り替えられる時点)からデータの出力区間の間に出力される。バッファーメモリ４３０には、ＪＰＥＧエンコーダ４２５から出力されるデータのうち、有効データのみが記録されるようにすることができ、この場合、有効データのみが順次出力されたり、無効データが出力される区間でパッディングデータが出力されることができる。出力信号の波形は、バッファー管理部４３５、あるいは、制御ユニット４４５により、従来の出力波形と同じように生成されることができる。バッファーメモリ４３０に格納されたエンコーディングされたデータは、バッファー管理部４３５、あるいは、出力制御部４２０により読み出され、多重化器４５５に入力されることができる。
【０１１７】
多重化器４５５は、出力制御部４２０の制御によりＪＰＥＧエンコーディングされたデータが出力されるように経路が設定されているので、バッファーメモリ４３０から出力されるＪＰＥＧエンコーディングされたデータは、多重化器４５５を介してバックエンドチップ１３０に出力される。
【０１１８】
ＪＰＥＧエンコーダ４２５が、キャプチャー命令に相応するフレームのエンコーディング処理を行う途中で、イメージセンサー１１０から新たなフレームに対する電気信号がイメージシグナルプロセッサ３１０に入力される場合、制御ユニット４４５は、ＹＵＶ出力部４１５を制御して、相応する高解像度のＹＵＶデータがＪＰＥＧエンコーダに入力されないようにしたり、前処理部４１０が相応する電気信号を入力されないようにすることができる。もちろん、イメージセンサー１１０と前処理部４１０との間にスイッチング手段が更に備えられた場合、制御ユニット４４５は、該当スイッチング手段を制御して、イメージセンサー１１０から出力される電気信号が前処理部４１０に入力されないようにすることができる。上述した方法により、後続するフレームに相応するデータの入力及び/又は処理が省略でき、結果として、図１ｂに示されたＶ_ｓｙｎｃ２をバックエンドチップ１３０に出力する必要がなく、スキップすることができる。この場合、Ｖ_ｓｙｎｃ２がバックエンドチップ１３０に出力されない場合、相応するデータもバックエンドチップ１３０に出力されないことは自明である。
【０１１９】
これまで、使用者により入力されたキャプチャー命令に相応するフレーム(例えば、ｋ番目のフレーム)のデータをスムーズに処理するために、後続して入力されたフレーム(例えば、ｋ＋１番目のフレーム)の処理は、スキップする方法を中心として説明した。
【０１２０】
該当方法だけでなく、イメージシグナルプロセッサ３１０のデータエンコーディングを誤りなく行うことができ、また、イメージシグナルプロセッサ３１０と受信段(例えば、バックエンドチップ１３０、ベースバンドチップ１４０等)との間へのＪＰＥＧエンコーディングされたデータの送受信のための種々の方法を、関連図面を参照して詳細に説明することにする。
【０１２１】
図６は、本発明の望ましい一実施形態に係るイメージシグナルプロセッサ３１０でのエンコーディングされたデータの出力のための信号波形を例示した図である。図６は、バッファーメモリ４３０に記録されたデータが一定時間の遅延(delay)を持った後、順次出力される場合を示したものである。
【０１２２】
示された信号波形は、バッファー管理部４３５により生成されて出力されたり、制御ユニット４４５により生成されて出力されることができる。制御ユニット４４５により信号波形が生成されて出力される場合、バッファー管理部４３５は、予め指定された区間(例えば、Ｈ＿ＲＥＦ(有効データイネーブル信号)信号がハイ状態に維持された区間)の間、バッファーメモリ４３０に記録されたＪＰＥＧエンコーディングされたデータ(又は、有効データ)を、受信段に出力されるようにする。Ｈ＿ＲＥＦ信号は、受信段で記録イネーブル信号として認識され、相応するデータをメモリに記録し、このような方法により、受信段のメモリには、有効データのみが順次記録されることができる。図６には、無効データ又はパッディングデータが０x００の形態に示されたが、これは、特定のデータを指し示すのではない。
【０１２３】
バッファー管理部４３５、あるいは、制御ユニット４４５により受信段に出力されるクロック信号(Ｐ＿ＣＬＫ)は、クロック発生器４４０から生成した、あるいは、予め設定された出力クロックレートによるクロック信号であることができる。図６に示されたように、クロック信号は、有効データが出力される間のみ受信段に出力され、無効データ又はパッディングデータが出力されるべき区間では、受信段に出力されない(又は、ロー状態に維持)ことができる。もちろん、クロック信号は、出力され続けることもできる(以下の各図面でも同様)。示された垂直同期信号(Ｖ_ｓｙｎｃ)が後続して、新たなフレームに相応するデータが出力されることを意味すること自明である。
【０１２４】
Ｖ_ｓｙｎｃ１に相応するｋ番目のフレームのエンコーディング処理の途中、イメージセンサー１１０からｋ＋１番目のフレームに相応するＶ_ｓｙｎｃ２が入力された場合、イメージシグナルプロセッサ３１０は、上述した方法により、スキップ命令をイメージセンサー１１０、あるいは、任意の構成要素に提供し、ｋ＋１番目のフレームに対する処理がスキップされるようにすることができる。この場合、Ｖ_ｓｙｎｃ２は、受信段に出力される必要がないので、図６に示されたように、Ｖ_ｓｙｎｃ２の出力は、スキップされる。Ｖ_ｓｙｎｃ信号の入力の可否は、Ｖ_ｓｙｎｃ信号のライジングエッジ、又は、フォーリングエッジを検出して認識できる。
【０１２５】
バッファー管理部４３５、あるいは、制御ユニット４４５は、バッファーメモリ４３０に格納されたデータのＪＰＥＧヘッダー及び/又はテール(Tail)とから、‘ＳＴＡＲＴ ＭＡＲＫＥＲ’と‘ＳＴＯＰ ＭＡＲＫＥＲ’とをキャプチャーして、ＪＰＥＧエンコーディングの始まりと終わりを認識できる。
【０１２６】
したがって、イメージセンサー１１０から#１、#２、#３のフレームに相応する電気信号が順次入力されたとしても、イメージシグナルプロセッサ３１０が出力するエンコーディングされたデータは、#１、#３のフレームに対するデータのみに制限されることもできる。
【０１２７】
図７は、本発明の望ましい他の実施形態に係るイメージシグナルプロセッサ３１０でのエンコーディングされたデータの出力のための信号波形を例示した図面であり、図８は、本発明の望ましい他の実施形態に係るイメージシグナルプロセッサから伝送され、バックエンドチップのメモリに蓄積されたデータの格納形態を概念的に示した図であり、図９は、本発明の望ましい他の実施形態に係るイメージシグナルプロセッサ３１０でのエンコーディングされたデータの出力のための信号波形を例示した図である。
【０１２８】
図７から図９は、バッファーメモリ４３０に予め指定された大きさの有効データが、有効データが記録された時点ごとに、受信段に出力される場合を示したものである。
【０１２９】
示された信号波形は、バッファー管理部４３５により生成されて出力されたり、制御ユニット４４５により生成されて出力されることができる。制御ユニット４４５により信号波形が生成されて出力される場合、バッファー管理部４３５は、予め指定された区間(例えば、Ｈ＿ＲＥＦ(有効データイネーブル信号)信号がハイ状態に維持された区間)の間、バッファーメモリ４３０に記録されたＪＰＥＧエンコーディングされたデータのうち、有効データを受信段に出力されるようにする。バッファーメモリ４３０には、有効データのみが記録されるように設定されることもできる。Ｈ＿ＲＥＦ信号は、受信段で記録イネーブル信号として認識され、相応するデータをメモリに記録し、このような方法により、受信段のメモリには、有効データのみが順次記録されることができる(図８参照)。図７及び図９には、無効データ又はパッディングデータが０x００の形態に示されたが、これは、特定のデータを指し示すのではない。
【０１３０】
上述したように、本発明の望ましい他の実施形態によれば、ＪＰＥＧエンコーディングされたデータのうち、無効データを除いて、有効データのみを抽出して、予め指定されたラインサイズ(図８のｎ、例えば、Ｈ＿ＲＥＦ信号がハイ状態に維持される間に伝送するデータサイズ)だけバッファーメモリ４３０に蓄積する。したがって、予め指定されたコラムサイズ(図８のｍ、例えば、一つのフレームに対して、Ｈ＿ＲＥＦ信号がハイ状態に切り替えられる総数量)だけ繰り返す前に、ｋ番目のフレームに対するあらゆる有効データを受信段に伝送することもできる。この場合、受信段で予め指定されたラインサイズ×コラムサイズだけのＪＰＥＧエンコーディングされたデータ(及び/又はパッディングデータ)が、イメージシグナルプロセッサ３１０から未だ受信されていないと認識し、処理を行わなくてもよい。これを防止するために、バッファー管理部４３５、あるいは、制御ユニット４４５は、残りのコラム数(すなわち、予め指定されたコラム数-有効データから構成されたコラム数)だけ、パッディングデータをｔｆ時間の間に出力する。バッファーメモリに蓄積された有効データを出力する各区間の時間は、予め指定されたサイズのデータを出力する時間であるので、全部一致する(すなわち、ｔａ=ｔｃ=ｔｄ=ｔｆ)。しかし、該当データを蓄積する時間(例えば、ｔｂ)は、各々一致しないこともあり得る。有効データが連続的に存在する場合、蓄積時間は、減少できる。但し、パッディングデータを出力する前の待ち時間(例えば、ｔｅ)は、各々一致する。
【０１３１】
バッファー管理部４３５、あるいは、制御ユニット４４５により受信段に出力されるクロック信号(Ｐ＿ＣＬＫ)は、クロック発生器４４０で生成した、あるいは、予め設定された出力クロックレートによるクロック信号である。図７及び図９に示されたように、クロック信号は、有効データが出力される間(すなわち、Ｈ＿ＲＥＦ信号がハイ状態に維持された区間)のみ受信段に出力され、無効データ又はパッディングデータが出力されるべき区間では、受信段に出力されない(又は、ロー状態に維持)ことができる。示された垂直同期信号(Ｖ_ｓｙｎｃ)が後続して、新たなフレームに相応するデータが出力されることを意味することは自明である。
【０１３２】
Ｖ_ｓｙｎｃ１に相応するｋ番目のフレームのエンコーディング処理の途中、イメージセンサー１１０からｋ＋１番目のフレームに相応するＶ_ｓｙｎｃ２が入力された場合、イメージシグナルプロセッサ３１０は、上述した方法により、スキップ命令をイメージセンサー１１０、あるいは、任意の構成要素に提供し、ｋ＋１番目のフレームに対する処理がスキップされるようにすることができる。この場合、Ｖ_ｓｙｎｃ２は、受信段に出力される必要がないので、図９に示されたように、Ｖ_ｓｙｎｃ２の出力は、スキップされる。バッファー管理部４３５、あるいは、制御ユニット４４５は、バッファーメモリ４３０に格納されたデータのＪＰＥＧヘッダー及び/又はテールとから、‘ＳＴＡＲＴ ＭＡＲＫＥＲ’と‘ＳＴＯＰ ＭＡＲＫＥＲ’とをキャプチャーして、ＪＰＥＧエンコーディングの始まりと終わりを認識できる。したがって、イメージセンサー１１０から#１、#２、#３のフレームに相応する電気信号が順次入力されたとしても、イメージシグナルプロセッサ３１０が出力するエンコーディングされたデータは、#１、#３のフレームに対するデータのみに制限されることもできる。
【０１３３】
図１０及び図１１は、本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサ３１０でのエンコーディングされたデータの出力のための信号波形を例示した図である。
【０１３４】
図１０及び図１１に示された信号波形は、一つのフレームに対するあらゆるＪＰＥＧエンコーディングされたデータが出力される間に、Ｈ＿ＲＥＦ信号をハイ状態に維持している。Ｈ＿ＲＥＦ信号がハイ状態に維持される間、有効データ及びパッディングデータ(又は、無効データ)が受信段に連続的に出力される。
【０１３５】
これは、受信段で記録イネーブル信号として認識されるＨ＿ＲＥＦ信号が交番することにより、受信段で無駄な電力消耗が発生できるためである。
【０１３６】
このような場合にも、先に述べた通り、現在処理されるｋ番目のフレームの処理中に入力されたｋ＋１番目のフレームに対するＶ_ｓｙｎｃ２は、スキップでき、Ｖ_ｓｙｎｃ２によるデータの入力及び処理がスキップできることは自明である。
【０１３７】
図１２は、本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサ３１０でのエンコーディングされたデータの出力のための信号波形を例示した図であり、図１３は、本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサから伝送され、バックエンドチップのメモリに蓄積されたデータの格納形態を概念的に示した図であり、図１４は、本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサ３１０でのエンコーディングされたデータの出力のための信号波形を例示した図である。
【０１３８】
先に述べた図７から図９と比較すると、図１２から図１４は、バッファーメモリ４３０に予め指定された期間の間に記録されたデータが、予め指定された時点ごとに出力される場合を示したものである。すなわち、バッファーメモリ４３０にデータを蓄積する時間及び蓄積されたデータを出力する時間は、予め指定される。もし、予め指定された時間の間にバッファーメモリ４３０に記録されたデータが、予め指定されたサイズに符合しない場合、残りの不足した分は、パッディングデータに付加して受信段に伝送する場合である。
【０１３９】
この場合、受信段のメモリには、図８と同じ形態にデータが記録され、受信段は、メモリに記録されたデータの処理時に、ｎxｍサイズのあらゆるデータを読み出すことなく、前半部に集中的に配置された有効データのみを読み出して処理することで、迅速な処理が可能となる。
【０１４０】
このような場合にも、先に述べた通り、現在処理されるｋ番目のフレームの処理中に入力されたｋ＋１番目のフレームに対するＶ_ｓｙｎｃ２は、スキップでき、Ｖ_ｓｙｎｃ２によるデータの入力及び処理がスキップできることは自明である。
【０１４１】
図１５及び図１６は、本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサ３１０の各構成要素で処理されたデータの出力のための信号波形を例示した図である。
【０１４２】
図１５及び図１６に示されたように、各構成要素から入力するＶ_ｓｙｎｃ信号は、最小限の遅延(又は、遅延なく)で後続する構成要素に入力される。これに比べて、先行する構成要素から入力されたデータは、バッファーリング及び処理などの過程で一定の遅延(例えば、d１、d２、d３、d４等)が発生する。
【０１４３】
したがって、イメージシグナルプロセッサ３１０において、多重化器４５５を介して先行する構成要素からＶ_ｓｙｎｃが入力された時点で、受信段にＶ_ｓｙｎｃを出力すると、受信段は、Ｖ_ｓｙｎｃを入力された後から最小限ｄ１＋ｄ２＋ｄ３＋ｄ４の時間が経過して初めて、ＪＰＥＧエンコーディングされたデータを入力され始める。これは、受信段の処理効率を減少させることができる。
【０１４４】
したがって、本発明の望ましい他の実施形態は、ＪＰＥＧエンコーダがエンコーディングするデータをバッファーリングするための遅延時間であるｄ４の時間範囲中の任意の時点(例えば、ＪＰＥＧエンコーダ４２５がエンコーディングを開始するために、１〜８ラインのうち任意のラインをバッファーリングした時点)から、Ｖ_ｓｙｎｃを受信段に出力するようにして、受信段の待ち時間を最小化することができる。
【０１４５】
図１７及び図１８は、本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサ３１０の各構成要素で処理されたデータの出力のための信号波形を例示した図である。
【０１４６】
図１７に示されたように、イメージシグナルプロセッサ３１０が、プレビュー状態(例えば、ｋ-１番目のフレームが入力される状態)でキャプチャー命令を入力されると、イメージセンサー１１０にＶ_ｓｙｎｃ_extend命令を入力する。Ｖ_ｓｙｎｃ_extend命令は、センサー制御部４５０を介して入力されることができる。Ｖ_ｓｙｎｃ_extend命令は、キャプチャー命令に相応するフレームであるｋ番目のフレームの処理途中、あるいは、処理直前に伝送されることができる。
【０１４７】
Ｖ_ｓｙｎｃ_extend命令を入力されたイメージセンサー１１０は、ｋ＋１番目のフレームに対するＶ_ｓｙｎｃをイメージシグナルプロセッサ３１０に入力するにおいて、イメージシグナルプロセッサ３１０が、ｋ番目のフレームを全部処理する時間的余裕を持って、イメージシグナルプロセッサ３１０に入力されるようにする。
【０１４８】
Ｖ_ｓｙｎｃ信号の入力が、ライジングエッジにより検出されると仮定すると、図１８に示されたように、ｋ＋１番目のフレームに対するＶ_ｓｙｎｃは、ｋ番目のフレームに対する‘ＳＴＯＰ ＭＡＲＫＥＲ’が出力された時点と同一であるか、その以後に出力されるように設定されることができる。
【０１４９】
上述したように、本発明に係るイメージシグナルプロセッサ３１０は、上述した種々の方法を通じてｋ番目のフレームを処理する間に、ｋ＋１番目のフレームに対するＶ_ｓｙｎｃ信号により正常なデータ処理が妨げられるという問題点を解決できる。
【０１５０】
従来のバックエンドチップ１３０は、ＹＵＶ/ＢＡＹＥＲフォーマットのデータを入力されるように具現されており、このようなデータを入力されるためのインターフェースとして、Ｐ_ＣＬＫ、Ｖ_ｓｙｎｃ、Ｈ＿ＲＥＦ、ＤＡＴＡ信号を用いていた。
【０１５１】
これを考慮して、本発明のイメージシグナルプロセッサ３１０は、従来と同様のインターフェースを用いるように具現される。
【０１５２】
したがって、本発明は、バックエンドチップ１３０が、従来のバックエンドチップの設計方法により具現された場合にも互換(port matching)できることは自明である。
【０１５３】
これまで、イメージシグナルプロセッサ３１０が、ＪＰＥＧエンコーディング方式を用いる場合のみを中心として説明したが、ＢＭＰエンコーディング方式、ＭＰＥＧ(ＭＰＥＧ１/２/４、ＭＰＥＧ-４ＡＶＣ)エンコーディング方式、ＴＶアウト方式などのように、他のエンコーディング方式を支援する場合にも、同様のデータ伝送方式を利用できることは自明である。
【０１５４】
図面と発明の詳細な説明は、単に本発明の例示的なものであり、これは、単に本発明を説明するための目的で使用されたものであって、意味限定や特許請求範囲上に記載された本発明の範囲を制限するために使用されたものではない。したがって、本技術分野の通常の知識を有する者ならば、これらから種々の変形及び均等な他の実施形態が可能であることを理解するはずである。よって、本発明の真の技術的保護範囲は、本願の特許請求範囲上の技術的思想により定められるべきである。
【図面の簡単な説明】
【０１５５】
【図１】一般的な撮像装置の構成を簡略に示した図である。
【図２】従来技術に係るエンコーディングされたデータの出力のための信号波形を示した図である。
【図３】一般的なＪＰＥＧエンコーディング過程を示した図である。
【図４】本発明の望ましい一実施形態に係る撮像装置の構成を簡略に示した図である。
【図５】本発明の望ましい一実施形態にイメージシグナルプロセッサの構成を詳細に示した図である。
【図６】本発明の望ましい一実施形態に係るイメージシグナルプロセッサでのエンコーディングされたデータの出力のための信号波形を例示した図である。
【図７】本発明の望ましい他の実施形態に係るイメージシグナルプロセッサでのエンコーディングされたデータの出力のための信号波形を例示した図である。
【図８】本発明の望ましい他の実施形態に係るイメージシグナルプロセッサから伝送され、バックエンドチップのメモリに蓄積されたデータの格納形態を概念的に示した図である。
【図９】本発明の望ましい他の実施形態に係るイメージシグナルプロセッサでのエンコーディングされたデータの出力のための信号波形を例示した図である。
【図１０】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサでのエンコーディングされたデータの出力のための信号波形を例示した図である。
【図１１】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサでのエンコーディングされたデータの出力のための信号波形を例示した図である。
【図１２】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサでのエンコーディングされたデータの出力のための信号波形を例示した図である。
【図１３】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサから伝送され、バックエンドチップのメモリに蓄積されたデータの格納形態を概念的に示した図である。
【図１４】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサでのエンコーディングされたデータの出力のための信号波形を例示した図である。
【図１５】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサの各構成要素で処理されたデータの出力のための信号波形を例示した図である。
【図１６】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサの各構成要素で処理されたデータの出力のための信号波形を例示した図である。
【図１７】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサの各構成要素で処理されたデータの出力のための信号波形を例示した図である。
【図１８】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサの各構成要素で処理されたデータの出力のための信号波形を例示した図である。
【符号の説明】
【０１５６】
１１０ イメージセンサー
１２０ イメージシグナルプロセッサ
１３０ バックエンドチップ
１４０ ベースバンドチップ
１５０ 表示部
２２０ 量子化器
２３０ エントロピーエンコーダ
３１０ クロック発生器
３２０ サブＩＳＰ
３３０ エンコーディング部
３４０ データ出力部
４１０ 前処理部
４１５ ＹＵＶ出力部
４２０ 出力制御部
４２５ ＪＰＥＧエンコーダ
４３０ バッファーメモリ
４３５ バッファー管理部
４５０ センサー制御部
４４５ 制御ユニット
【技術分野】
【０００１】
本発明は、イメージ処理に関し、より詳細には、イメージ処理遅延を減少させるための装置及び方法に関する。
【背景技術】
【０００２】
近年、小型及び薄型の撮像素子が、携帯電話機やＰＤＡ(Personal Digital Assistant)などの小型及び薄型の携帯用端末に搭載されることによって、携帯用端末が撮像装置としても機能することができ、これにより、遠隔地に音声情報だけでなく、画像情報も伝送できるようになった。撮像素子は、携帯電話機やＰＤＡだけでなく、ＭＰ３プレーヤーなどの携帯用端末にも具備され、種々の装置において外部映像を電子的なデータとして保持できるように具現されている。
【０００３】
このような撮像装置には、一般的にＣＣＤ(Charge Coupled Device)型イメージセンサーやＣＭＯＳ(Complementary Metal-０xide Semiconductor)型イメージセンサーなどの固体撮像素子が使われている。
【０００４】
図１は、一般的な撮像装置の構成を簡略に示した図であり、図２は、従来技術に係るエンコーディングされたデータの出力のための信号波形を示した図であり、図３は、一般的なＪＰＥＧエンコーディング過程を示した図である。
【０００５】
図１に示されたように、外部映像を電気的なデータに変換して表示部１５０にディスプレイする撮像装置は、イメージセンサー１１０と、イメージシグナルプロセッサ(ＩＳＰ：Image Signal Processor)１２０と、バックエンドチップ(Back-end chip)１３０と、ベースバンドチップ(Baseband Chip)１４０と、表示部１５０と、を含む。その他に、撮像装置は、変換された電気的なデータを格納するためのメモリ、アナログ信号をデジタル信号に変換するＡＤ変換機などを更に含むことができる。
【０００６】
イメージセンサー１１０は、バイエルパターン(Bayer Pattern)を持つセンサーであり、単位ピクセル別にレンズを介して入力された光の量に相応する電気信号(raw data)を出力する。
【０００７】
イメージシグナルプロセッサ１２０は、イメージセンサー１１０から入力された電気信号をＹＵＶ値に変換し、変換されたＹＵＶ値をバックエンドチップ１３０に出力する。ＹＵＶ方式は、人間の眼が色相よりは明るさに敏感であるという事実に着目した方式であり、色を明るさ(Luminance)のＹ成分と色相(Chrominance)のＵ及びＶ成分とに分ける。Ｙ成分は、誤差に敏感であるので、色相成分のＵとＶより多いビットをコーディングする。典型的なＹ:Ｕ:Ｖの割合は、４:２:２である。
【０００８】
イメージシグナルプロセッサ１２０は、変換したＹＵＶ値をＦＩＦＯに順次格納させることによってバックエンドチップ１３０が該当情報を入力され得るようにする。
【０００９】
バックエンドチップ１３０は、入力されたＹＵＶ値を予め指定されたエンコーディング方法によりＪＰＥＧやＢＭＰに変換してメモリに格納したり、これをデコーディングして表示部１５０にディスプレイする。バックエンドチップ１３０は、イメージの拡大、縮小、ローテーションなどの機能も行うことができる。もちろん、図１に示されたように、ベースバンドチップ１４０が、バックエンドチップ１３０からデコーディングされたデータを入力され、表示部１５０にディスプレイすることができる。
【００１０】
ベースバンドチップ１４０は、撮像装置の動作を全般的に制御する機能を行う。例えば、キー入力部(図示せず)を介して使用者から撮像命令が入力されると、ベースバンドチップ１４０は、バックエンドチップ１３０にイメージ生成命令を伝送することによって、バックエンドチップ１３０が入力された外部映像に相応するエンコーディングされたデータを生成するようにすることもできる。
【００１１】
表示部１５０は、バックエンドチップ１３０又はベースバンドチップ１４０の制御により提供されたデコーディングされたデータをディスプレイする。
【００１２】
メモリに積載されたデータが、復号化などの処理のために順次入力される過程の信号波形が図２に示されている。一般に、バックエンドチップ１３０は、ＹＵＶ/バイエル(ＢＡＹＥＲ)フォーマットのデータを入力されるように具現されており、このようなデータを入力されるためのインターフェースとして、クロック信号(Ｐ＿ＣＬＫ)、垂直同期信号(Ｖ_ｓｙｎｃ)、有効データイネーブル信号(Ｈ＿ＲＥＦ)、及びデータ(ＤＡＴＡ)信号を用いている。
【００１３】
図２に示されたように、従来のバックエンドチップ１３０は、一つのフレーム(例えば、ｋ(自然数)番目に入力されたフレーム)に対するエンコーディング処理を行う途中で、後続するフレーム(例えば、ｋ＋１番目に入力されたフレーム)に対する垂直同期信号(Ｖ_ｓｙｎｃ２)及び/又はイメージデータを入力されるように構成されており、イメージデータのエンコーディング時に、誤りが発生する可能性が多いという問題点があった。
【００１４】
すなわち、従来のバックエンドチップ１３０は、現在処理されているフレームに対するエンコーディング処理だけでなく、次のフレームに対するエンコーディング処理を共に行うことがあり、正確なデータエンコーディングが完了されないという問題点もあった。
【００１５】
また、バックエンドチップ１３０のエンコーディング部が、エンコーディングされたデータをデコーディング部に伝達したり、メモリに格納する場合、新たな垂直同期信号(Ｖ_ｓｙｎｃ２)を受信した以後には、現在フレームに対して、エンコーディングされたデータが正常に入力されないという問題点もあった。
【００１６】
また、図２に示されたように、従来のイメージシグナルプロセッサ１２０が、バックエンドチップ１３０でデータを格納する場合に利用可能なＨ_ＲＥＦ信号を交番的に出力する。しかし、これは、バックエンドチップ１３０のメモリの記録イネーブル(Write Enable)信号のスイッチングによる電力消耗の原因にもなり得る。
【００１７】
図３には、バックエンドチップ１３０により行われる一般的なＪＰＥＧエンコーディング(encoding)過程が示されている。ＪＰＥＧエンコーディング過程２００は、当業者にとって自明な事項であるので、簡略に説明することにする。
【００１８】
図３に示されたように、入力されたＹＵＶ値のイメージは、８x８ピクセル大きさのブロックに分けられ、各ブロックに対して、ＤＣＴ(離散コサイン変換、Discrete Cosine Transform)を行う(２１０)。ＤＣＴは、イメージを空間画像でそれに相応する周波数形態に変換することによって、フーリエ変換(Fourier Transform)を行う一連の変換過程を意味する。
【００１９】
次いで、量子化器(Quantizer)は、各ブロックのＤＣＴ係数を、視覚に及ぼす影響によって重み付けをして量子化する(２２０)。この重みのテーブルを量子化テーブルという。量子化テーブルの値は、ＤＣ近くでは小さい値を取り、高い周波数では、大きい値を取り、情報量の多いＤＣ近くのデータを小さな損失で送り、高周波数では、高い圧縮率を誘導する。
【００２０】
次いで、無損失コーダー(Lossless coder)であるエントロピーエンコーダ(entropy encoder)により最終圧縮されたデータが生成される(２３０)。量子化処理過程を経た係数は、０に表現される一連の連続から構成される。したがって、データをコードシンボルとして表す連続-区間(Run-length)エンコーディングを介して、データの大きさが縮小されることができる。また、ハフマン(Huffman)エンコーディングを介しても、データの大きさを減らすことができる。ハフマンアルゴリズムは、統計的により繰り返し頻繁に発生するコードシンボルに、より短いシンボルを割り当てる。連続-区間及びハフマンの２エントロピーエンコーディングは、いずれもデータの大きさを縮小させるエンコーディング過程であるが、データの損失は、発生しない。
【００２１】
上述した過程を経てエンコーディングされたデータは、メモリに積載される。バックエンドチップ１３０は、メモリに積載されたデータを復号化して表示部１５０にディスプレイする等の処理を行う。
【００２２】
従来のイメージシグナルプロセッサ１２０は、バックエンドチップ１４０のクロックレート(Clock rate)より低いクロックレートで動作されるように具現されている。
【００２３】
一般的に、イメージセンサー１１０は、バイエルイメージ形態に電気信号を出力する。出力された電気信号は、イメージシグナルプロセッサ１２０で行われる予め指定された前処理(例えば、イメージ処理、インターポーレーション(interpolation)等)によりＲＧＢデータ形態に変換され、これは、出力のためにＹＵＶデータに変換される。結果的に、出力されるデータ量は、入力されたデータ量の約２倍となる。したがって、イメージシグナルプロセッサ１２０の出力段で使用されるクロックレートも、イメージシグナルプロセッサ１２０内部でイメージ処理のために使用されるクロックレートの約２倍となる。バックエンドチップ１３０で使用されるクロックレートも、イメージシグナルプロセッサ１２０内部でイメージ処理のために使用されるクロックレートの約２倍となるであろう。
【００２４】
上述したように、イメージシグナルプロセッサ１２０の出力段で使用されるクロックレートが高いので、イメージの処理時に問題点が発生している。
【００２５】
すなわち、最近の高画素化の傾向を考慮する場合、イメージ処理の速度が重要な要素と考えられる。従来のＶＧＡ又は１メガバイト程度のイメージ処理時に、使用者が自然なイメージとして認識するためには、２０〜４０MHz程度のクロック周波数で十分であった。しかし、３〜５メガバイト以上に発展している現在の状態で、秒当たり１０〜２０フレームを満たすためには、６０〜８０MHzでのイメージ処理が要求される。
【００２６】
しかし、従来のイメージシグナルプロセッサ１２０及びバックエンドチップ１３０の連動構造を考慮する場合、イメージシグナルプロセッサ１２０のイメージ処理のためのクロックレートを増加させる場合、バックエンドチップ１３０のクロックレートもこれに伴い非常に高められるべきであるが、これは、技術的に具現できないという問題点を持っている。
【００２７】
このように、従来のイメージシグナルプロセッサ１２０は、高画素イメージを低周波数クロックレートに処理するために、１シーンをキャプチャーするに際して、多くの時間を必要とし、瞬間的なシーンのキャプチャーでない、遅延時間を含んだシーンをキャプチャーするようになる。すなわち、イメージのキャプチャー時に発生した遅延(lagging)現状により、動く物体を撮影した場合、つぶれているイメージがキャプチャーされるという問題点がある。
【００２８】
また、低周波数クロックレートにイメージ処理を行うために、一つのイメージに対するＪＰＥＧエンコーディングが完了する前に、後続するフレームのイメージデータが入力されることによって衝突が発生するという問題点もあった。
【発明の開示】
【発明が解決しようとする課題】
【００２９】
それで、上述した問題点を解決するための本発明の目的は、ＹＵＶデータのエンコーディングを迅速に行うことで、イメージのキャプチャー時に、遅延現状を最小化することができるイメージ処理方法及び装置を提供することにある。
【００３０】
本発明の他の目的は、一つのフレームに対するエンコーディング処理時に、後続フレームに対するデータ入力を制限することによって、データ間の衝突を抑制できるイメージ処理方法及び装置を提供することにある。
【００３１】
本発明の更に他の目的は、ＹＵＶデータのエンコーディング処理のためのクロックレートを、エンコーディングされたイメージデータの出力のためのクロックレート以上に維持することによって、データの伝送区間でより多くのデータを迅速に伝送できるようにするイメージ処理方法及び装置を提供することにある。
【００３２】
本発明の更に他の目的は、有効データが、迅速にバックエンドチップに伝送されることによって、バックエンドチップが、エンコーディングされたデータを迅速にデコーディングできるイメージ処理方法及び装置を提供することにある。
【００３３】
本発明の更に他の目的は、イメージシグナルプロセッサが、エンコーディングされたデータをバックエンドチップに提供するにあたり、一般的なインターフェース構造を用いることによって、ハードウェアの設計及び制御の側面で有利な効果を持つイメージ処理方法及び装置を提供することにある。
【００３４】
本発明の更に他の目的は、受信段(例えば、バックエンドチップ、ベースバンドチップ)の処理効率の増進及び電力消耗を防止できるイメージ処理方法及び装置を提供することにある。
【００３５】
本発明の更に他の目的は、イメージシグナルプロセッサが、入力されるフレームのエンコーディングの可否をエンコーディング速度によって決定でき、スムーズなエンコーディング動作を行えるイメージ処理方法及び装置を提供することにある。
【００３６】
本発明の更に他の目的は、エンコーダによりエンコーディングされたデータを受信段に伝達するにあたり、最適の時点で垂直同期信号(Ｖ_ｓｙｎｃ)を出力できるようにするイメージ処理の遅延減少装置及び方法を提供することにある。
【００３７】
本発明の更に他の目的は、受信段でエンコーディングされたデータを入力される場合、新たなフレームの入力を示す垂直同期信号の入力により、現在フレームに対して処理されたデータの入力が妨害を受けないイメージ処理の遅延減少装置及び方法を提供することにある。
【００３８】
本発明の更に他の目的は、イメージを構成する有効なデータのみで構成されたエンコーディングされたデータが集合的にバックエンドチップに伝送されるようにして、バックエンドチップの処理効率及び処理速度を増進させることのできるイメージ処理の遅延減少装置及び方法を提供することにある。
【００３９】
本発明の更に他の目的は、バックエンドチップでデータを格納する時に利用可能なＨ_ＲＥＦ信号を、ハイ(High)又はロー(Low)状態に一定に維持することによって、バックエンドチップのメモリの記録イネーブル信号のスイッチングによる電力消耗を防止できるイメージ処理の遅延減少装置及び方法を提供することにある。
【００４０】
本発明の更に他の目的は、イメージを構成する有効なデータが出力されるデータ列の前段部に集中的に配置されるようにすることによって、バックエンドチップの処理効率及び処理速度を増進させることのできるイメージ処理の遅延減少装置及び方法を提供することにある。
【００４１】
その他の本発明の目的は、以下に述べられる望ましい実施形態を通してより明確になることである。
【課題を解決するための手段】
【００４２】
上述した目的を達成するために本発明の一側面によれば、イメージシグナルプロセッサ及び/又は前記イメージシグナルプロセッサを含む撮像装置が提供される。
【００４３】
本発明の望ましい一実施形態によれば、イメージセンサー、イメージシグナルプロセッサ及び受信段を含む撮像装置において、外部映像に相応する電気信号(raw data)を生成して出力するイメージセンサーと;エンコーダを備え、前記電気信号に相応するＹＵＶデータ又は前記エンコーダを用いて、エンコーディングされたデータを生成して前記受信段-ここで、前記受信段は、バックエンドチップ(Back-End Chip)、又は、ベースバンドチップ(Baseband Chip)である-に出力するイメージシグナルプロセッサと；を含む撮像装置が提供される。ここで、前記ＹＵＶデータを生成するための第１の処理クロックレートは、前記エンコーディングされたデータを生成するための第２の処理クロックレート未満であることができる。
【００４４】
また、ここで前記第１の処理クロックレートは、前記ＹＵＶデータ及び前記エンコーディングされたデータを出力するための出力クロックレート以下であり、前記第２の処理クロックレートは、前記出力クロックレート以上であることができる。
【００４５】
前記第１の処理クロックレートと前記第２の処理クロックレートとの比は、一つのフレームに相応する前記ＹＵＶデータの大きさと、エンコーディングされるデータの大きさとの比であることができる。前記大きさは、面積、横長さ、縦長さ、対角線長さのいずれかであることができる。
【００４６】
前記イメージセンサーは、前記イメージシグナルプロセッサから、前記第１の処理クロックレート、あるいは、前記第２の処理クロックレートに相応して入力されたクロック信号に符合するように、前記電気信号を生成して出力することができる。
【００４７】
前記第１の処理クロックレートは、プレビュー状態のクロックレートであり、前記第２の処理クロックレートは、前記受信段から入力されたキャプチャー命令に相応するフレームを処理するためのクロックレートであることができる。
【００４８】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が開始されることを意味する垂直同期信号(Ｖ_ｓｙｎｃ)が、前記イメージセンサーから入力される場合、前記イメージシグナルプロセッサは、前記イメージセンサーにスキップ命令を伝送し、前記イメージセンサーは、前記ｋ＋１番目のフレームに相応する電気信号を出力しないことができる。
【００４９】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が開始されることを意味する垂直同期信号(Ｖ_ｓｙｎｃ)が、前記イメージセンサーから入力される場合、前記イメージシグナルプロセッサは、前記イメージセンサーから入力される電気信号の処理をスキップ(skip)することができる。
【００５０】
前記イメージシグナルプロセッサは、前記エンコーディングされたデータを前記受信段に伝送するために臨時に格納するバッファーメモリを含むことができる。ここで、前記バッファーメモリに格納されたエンコーディングされたデータの量が、予め指定された大きさ以上である場合、前記第２クロックレートを減少させることができる。
【００５１】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が遅延入力されるように前記イメージセンサーに指示できる。
【００５２】
本発明の望ましい一実施形態に係るイメージシグナルプロセッサは、処理クロックレートに相応するクロック信号を出力するクロック発生器と;キャプチャー命令が入力されると、前記クロック発生器が増加された処理クロックレートに相応するクロック信号を生成するように制御する制御ユニットと;前記クロック信号に応じて、イメージセンサーから入力される電気信号を用いてＹＵＶデータを生成するサブＩＳＰと;前記クロック信号に応じて、前記ＹＵＶデータを用いてエンコーディングされたイメージデータを生成するエンコーディング部と;前記エンコーディングされたイメージデータを蓄積するメモリと;前記制御ユニットの制御により、前記蓄積されたエンコーディングされたイメージデータを、予め指定された時点ごとに受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力する出力部と；を含むことができる。
【００５３】
前記イメージシグナルプロセッサは、前記メモリに蓄積されたエンコーディングされたイメージデータの量をモニターリングし、モニターリング情報を生成するバッファー管理部を更に含むことができる。ここで、前記制御ユニットは、前記モニターリング情報を用いて前記処理クロックレートを増減できる。
【００５４】
前記キャプチャー命令が入力される前には、前記出力部は、前記サブＩＳＰにより出力される前記ＹＵＶデータを前記受信段に出力することができる。
【００５５】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が開始されることを意味する垂直同期信号(Ｖ_ｓｙｎｃ)が、前記イメージセンサーから入力される場合、前記制御ユニットは、前記イメージセンサーにスキップ命令を伝送し、前記イメージセンサーは、前記ｋ＋１番目のフレームに相応する電気信号を出力しないことができる。
【００５６】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が開始されることを意味する垂直同期信号(Ｖ_ｓｙｎｃ)が、前記イメージセンサーから入力される場合、前記制御ユニットは、前記サブＩＳＰにスキップ命令を伝送し、前記サブＩＳＰは、前記ｋ＋１番目のフレームに相応するＹＵＶデータ生成をスキップできる。
【００５７】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が遅延入力されるように前記イメージセンサーに指示できる。
【００５８】
上述した目的を達成するために本発明の他の側面によれば、イメージ処理方法及び/又は当該方法を行うためのプログラムが記録された記録媒体が提供される。
【００５９】
本発明の望ましい一実施形態によれば、イメージセンサー、イメージシグナルプロセッサ及び受信段を含む撮像装置の前記イメージシグナルプロセッサで行われるイメージ処理方法において、(a)第１の処理クロックレートに従って、前記イメージセンサーから入力される電気信号に相応するＹＵＶデータを生成し、第１の出力クロックレートに従って、前記ＹＵＶデータを前記受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力する段階と;(b)前記受信段からキャプチャー命令を入力される段階と;(c)第２の処理クロックレートに従って、前記イメージセンサーから入力される電気信号に相応するエンコーディングされたデータを生成し、第２の出力クロックレートに従って、前記エンコーディングされたデータを前記受信段に出力する段階と；を含むイメージ処理方法が提供される。ここで、前記イメージシグナルプロセッサは、エンコーダを備え、前記第１の処理クロックレートは、前記第２の処理クロックレート以下であることができる。
【００６０】
前記イメージセンサーは、前記イメージシグナルプロセッサから、前記第１の処理クロックレート、あるいは、前記第２の処理クロックレートに相応して入力されたクロック信号に符合するように、前記電気信号を生成して出力することができる。
【００６１】
前記第１の処理クロックレートは、プレビュー状態のクロックレートであり、前記第２の処理クロックレートは、前記受信段から入力されたキャプチャー命令に相応するフレームを処理するためのクロックレートであることができる。
【００６２】
前記段階(c)は、前記第２の処理クロックレートに従って、前記イメージセンサーから入力される電気信号に相応するエンコーディングされたデータを生成する段階と;前記エンコーディングされたデータをバッファーメモリに格納する段階と;予め指定された期間の間に、前記バッファーメモリに格納された前記エンコーディングされたデータを、予め指定された時点ごとに、前記第２の出力クロックレートに従って前記前記受信段に出力する段階と；を含むことができる。ここで、前記バッファーメモリに格納されたエンコーディングされたデータの量が、予め指定された大きさ以上である場合、前記第２クロックレートを減少させることができる。
【発明の効果】
【００６３】
上述したように、本発明は、ＹＵＶデータのエンコーディングを迅速に行うことで、イメージのキャプチャー時に遅延現状を最小化することができるという効果がある。
【００６４】
また、本発明は、一つのフレームに対するエンコーディング処理時に、後続フレームに対するデータ入力を制限することによって、データ間の衝突を抑制できるという効果もある。
【００６５】
また、本発明は、ＹＵＶデータのエンコーディング処理のためのクロックレートを、エンコーディングされたイメージデータの出力のためのクロックレート以上に維持することによって、データの伝送区間でより多くのデータを迅速に伝送できるようにする効果もある。
【００６６】
また、本発明は、有効データが迅速にバックエンドチップに伝送されることによって、バックエンドチップが、エンコーディングされたデータを迅速にデコーディングできるという効果もある。
【００６７】
また、本発明は、イメージシグナルプロセッサが、エンコーディングされたデータをバックエンドチップに提供するにあたり、一般的なインターフェース構造を用いることによって、ハードウェアの設計及び制御の側面で有利な効果を持つ。
【００６８】
また、本発明は、受信段(例えば、バックエンドチップ、ベースバンドチップ)の処理効率の増進及び電力消耗を防止できるという効果もある。
【００６９】
また、本発明は、イメージシグナルプロセッサが、入力されるフレームのエンコーディングの可否をエンコーディング速度によって決定でき、スムーズなエンコーディング動作を行えるという効果もある。
【００７０】
また、本発明は、エンコーダによりエンコーディングされたデータを受信段に伝達するにあたり、最適の時点で垂直同期信号(Ｖ_ｓｙｎｃ)を出力することができるようにする効果もある。
【００７１】
また、本発明は、受信段でエンコーディングされたデータを入力される場合、新たなフレームの入力を示す垂直同期信号の入力により、現在フレームに対して処理されたデータの入力が妨害を受けないという効果もある。
【００７２】
また、本発明は、イメージを構成する有効なデータのみで構成されたエンコーディングされたデータが集合的に受信段に伝送されるようにして、バックエンドチップの処理効率及び処理速度を増進させることができるという効果もある。
【００７３】
また、本発明は、バックエンドチップでデータを格納する時に利用可能なＨ_ＲＥＦ信号を、ハイ又はロー状態に一定に維持することによって、バックエンドチップのメモリの記録イネーブル信号のスイッチングによる電力消耗を防止できるという効果もある。
【００７４】
また、本発明は、イメージを構成する有効なデータが出力されるデータ列の前段部に集中的に配置されるようにすることによって、バックエンドチップの処理効率及び処理速度を増進させることができるという効果もある。
【発明を実施するための最良の形態】
【００７５】
上述した目的、特徴及び長所は、添付の図面と関係する以下の詳細な説明を通してより明確になるであろう。まず、各図面の構成要素に参照番号を付加するにおいて、同じ構成要素に限っては、例え他の図面上に表示されても、できるだけ同じ番号を持つようにしていることに留意すべきである。以下、添付の図面を参照して、本発明に係る望ましい一実施形態を詳細に説明する。
【００７６】
図４は、本発明の望ましい一実施形態に係る撮像装置の構成を簡略に示した図であり、図５は、本発明の望ましい一実施形態にイメージシグナルプロセッサの構成を詳細に示した図である。図４を参照するに、本発明に係る撮像装置は、イメージセンサー１１０と、イメージシグナルプロセッサ３１０と、バックエンドチップ１３０と、ベースバンドチップ１４０と、表示部１５０とを含む。
【００７７】
イメージセンサー１１０は、外部の映像に相応する電気信号を生成して、イメージシグナルプロセッサ３１０に出力する。イメージセンサー１１０は、電気信号を生成して出力するに際して、クロック発生器４４０(図５参照)から入力されるクロック信号を用いることができる。イメージセンサー１１０が、外部映像に相応する電気信号を生成して出力する過程は、当業者にとって自明なので、説明を省略する。
【００７８】
イメージシグナルプロセッサ３１０は、イメージセンサー１１０から入力された電気信号を、ＹＵＶデータ又はエンコーディングされたデータに変換してバックエンドチップ１３０に出力する。プレビュー(イメージデータの生成なしに、イメージセンサー１１０を介して入力されたデータを表示部１５０を介して表示する状態であって、使用者により撮影命令が入力される以前の状態)状態では、ＹＵＶデータが出力され、キャプチャー命令(すなわち、外部映像を撮像したイメージデータを生成するための命令)が入力された場合は、相応するフレームに対するＪＰＥＧエンコーディングされたデータが出力されるであろう。一般に、撮像装置は、キャプチャー命令が入力される以前及びキャプチャー命令に相応するイメージデータのエンコーディングが完了した後には、プレビュー状態に存在するであろう。
【００７９】
イメージシグナルプロセッサ３１０は、サブＩＳＰ３２０、エンコーディング部３３０、及びデータ出力部３４０などを含むことができる。この他にも、クロック発生器、センサー制御部などを更に含むことができる。サブＩＳＰ３２０は、前処理部４１０、ＹＵＶ出力部４１５などを含むことができる。エンコーディング部３３０は、ＪＰＥＧエンコーダである場合を仮定して説明するが、他のフォーマットのデータ変換のためのエンコーダであってもよいことは自明である。データ出力部３４０は、バッファーメモリ４３０、バッファー管理部４３５などを含むことができる。
【００８０】
イメージシグナルプロセッサ３１０の構成が詳細に示された図５を参照するに、イメージシグナルプロセッサ３１０は、前処理部４１０と、ＹＵＶ出力部４１５と、出力制御部４２０と、ＪＰＥＧエンコーダ４２５と、バッファーメモリ４３０と、バッファー管理部４３５と、クロック発生器４４０と、制御ユニット４４５と、センサー制御部４５０と、多重化器(ＭＵＸ)４５５とを含むことができる。
【００８１】
前処理部４１０は、イメージセンサー１１０から入力された電気信号を処理して、高解像度のＹＵＶデータを出力する。前処理部４１０により、イメージの色相、明るさ等のような画質改善がなされることができる。前処理部４１０は、従来のイメージシグナルプロセッサ１２０と同一又は極めて類似する構成要素であることができる。
【００８２】
ＹＵＶ出力部４１５は、前処理部４１０から入力された高解像度のＹＵＶデータを、予め設定された垂直ライン数及び水平画素数に符合する低解像度のＹＵＶデータに変換して、出力制御部４２０に出力する。プレビューのための垂直ライン数及び水平画素数は、使用者により設定されたり、予め指定されることができる。
【００８３】
また、ＹＵＶ出力部４１５は、バックエンドチップ１３０からＩ２Ｃ又はＳＰＩを介してキャプチャー命令を入力された制御ユニット４４５の制御により、高解像度のＹＵＶデータをＪＰＥＧエンコーダ４２５に提供することができる。ＪＰＥＧエンコーダ４２５は、ＹＵＶ出力部４１５から入力された高解像度のＹＵＶデータを用いて、ＪＰＥＧエンコーディングされたデータを生成する。ＪＰＥＧエンコーダ４２５によるキャプチャー命令に相応するフレーム(例えば、ｋ番目のフレーム)のエンコーディング処理中に、イメージセンサー１１０から後続するフレーム(例えば、ｋ＋１番目のフレーム)のデータの入力が開始された場合、ＹＵＶ出力部４１５は、制御ユニット４４５の制御により、後続するフレームに相応する高解像度のＹＵＶデータをＪＰＥＧエンコーダ４２５に入力しなくてもよい。
【００８４】
出力制御部４２０は、制御ユニット４４５の制御により、バックエンドチップ１３０に低解像度のＹＵＶデータ又はエンコーディングされたデータを出力するために、スイッチング動作を行う多重化器４５５を制御する。図５には、出力制御部４２０が、ＹＵＶ出力部４１５と多重化器４５５との間の低解像度のＹＵＶデータ伝送経路上に備えられているように示されたが、出力制御部４２０が、多重化器４５５の制御のためにのみ存在する場合、制御ユニット４４５と多重化器４５５との間の制御経路上に備えられてもよい。低解像度のＹＵＶデータは、プレビューのためにバックエンドチップ１３０に提供されることができ、エンコーディングされたデータは、圧縮されたイメージデータの格納及び/又はデコーディングのために、バックエンドチップ１３０に提供されることができる。
【００８５】
ＪＰＥＧエンコーダ４２５は、ＹＵＶ出力部４１５から入力された高解像度のＹＵＶデータを用いて、ＪＰＥＧエンコーディングされたデータを生成してバッファーメモリ４３０に格納する。ＪＰＥＧエンコーディング過程は、先に詳細に説明したので、これについての説明は省略する。
【００８６】
バッファーメモリ４３０は、例えば、環状メモリであってもよく、入力される順にＪＰＥＧエンコーディングされたデータが記録され、読み出された順に新たなデータがオーバーライトされることができる。もちろん、読み出されたデータは、削除されるように設定されてもよい。バッファーメモリ４３０内に記録されるＪＰＥＧエンコーディングされたデータは、有効データ(すなわち、実際的にイメージを構成するデータ)のみに制限されてもよい。ＪＰＥＧエンコーダ４２５からＪＰＥＧエンコーディングされた出力されるデータが、有効データなのか無効データなのかの可否は、ＪＰＥＧエンコーダ４２５、バッファー管理部４３５、及び制御ユニット４４５等の少なくともいずれかにより判断されることができる。バッファーメモリ４３０には、無効データが出力され、記録される地点で空欄に記録されるか、以後の有効データが連続に記録されるように設定されることができる。もし、無効データ地点が空欄に記録された場合、該当地点に対しては、パッディングデータ(padding data、水平画素数に形式的に符合するようにするための形式的なデータ)がバックエンドチップ１３０に出力されることができる。
【００８７】
バッファー管理部４３５は、バッファーメモリ４３０に記録されたＪＰＥＧエンコーディングされたデータの量をモニターリングして、バッファーメモリの容量が全部使用されないように(すなわち、不足しないように)管理する。バッファー管理部４３５は、バッファーメモリ４３０に対してモニターリングした情報(以下、‘モニターリング情報'と称する)を制御ユニット４４５に提供する。また、バッファー管理部４３５は、バッファーメモリ４３０に記録されたデータが、予め指定された時点(例えば、図２において、Ｈ＿ＲＥＦ信号がハイ状態に切り替えられる時点)ごとにバックエンドチップ１３０に出力されるようにする。他に、バッファー管理部４３５は、クロック信号(Ｐ＿ＣＬＫ)と、垂直同期信号(Ｖ_ｓｙｎｃ)と、有効データイネーブル信号(Ｈ＿ＲＥＦ)とが、更にバックエンドチップ１３０に出力されるようにする。
【００８８】
バッファー管理部４３５の機能を具体的に説明すると、以下の通りである。
【００８９】
バッファー管理部４３５は、従来の出力波形と同じ形態の出力波形が生成され、バックエンドチップ１３０に出力されるようにする。また、クロックレートを減少させる場合、バッファーメモリ４３０がデータの出力のための緩衝作用をするように管理する。これは、本発明に係るイメージシグナルプロセッサ３１０において、エンコーディング処理のためのクロックレート(以下、‘処理クロックレート’と称する)が、ＪＰＥＧエンコーディングされたデータの出力のためのクロックレート(以下、‘出力クロックレート’と称する)より高く設定されるので、ＪＰＥＧエンコーディングされたデータの出力のためには、クロックレートを減少させる必要があるためである。また、クロックレートの減少により、従来の出力波形と同様に、ＪＰＥＧエンコーディングされたデータの出力が可能になるので、従来のバックエンドチップ１３０であっても、本発明に係るイメージシグナルプロセッサ３１０と互換されることができる。
【００９０】
また、バッファー管理部４３５は、バッファーメモリ４３０に格納され、多重化器４５５を介して出力されるＪＰＥＧエンコーディングされたデータの量を合計してファイルサイズなどをチェックし、該当情報を制御ユニット４４５に伝達することによって、クロックレートと連係して、安定したＪＰＥＧエンコーディングされたデータの量が出力され得るように、圧縮率を調整することができる。スケールファクターは、０〜２５５範囲内の任意の値に指定され、画質及び圧縮率を決定する変数である。スケールファクターが大きくと、圧縮率は良いが、画質が劣化し、スケールファクターが小さいと、画質は良いが、圧縮率が悪くなる。制御ユニット４４５は、バッファーメモリ４３０に格納されたＪＰＥＧエンコーディングされたデータの量に応じてスケールファクターを調節することによって、出力バッファーで損失なしにクロックレートを調節することができる。これは、エンコーディングされたデータの生成のための処理クロックレートが大き過ぎて、記録されたデータが読み出される前に新たなデータによりオーバーライトされるという問題点を解消できる。
【００９１】
このために、制御ユニット４４５は、キャプチャー命令に相応するフレームを処理するにあたり、最大バッファーの利用量(すなわち、全体バッファー容量中、予め指定された格納限度基準)が全部使用されているか否かをチェックし、これにより、現在クロックレートを考慮した出力安定度をチェックする。次いで、バッファーメモリ４３０に格納されたデータの量が多き過ぎる場合は、スケールファクターを上げる。この場合、スケールファクターは、段階的に上げられるように設定することが望ましい。
【００９２】
他の方法として、制御ユニット４４５は、一つのフレーム(すなわち、ＦＦＤ８(start mark)〜ＦＦＤ９(end mark))に対するＪＰＥＧエンコーディングされたデータのうち、有効データ(すなわち、実際的にイメージを構成するデータ)だけを計数してスケールファクターを調節することができる。ＪＰＥＧエンコーダ４２５から出力されるデータが、有効データなのか無効データなのかの可否は、ＪＰＥＧエンコーダ４２５、バッファー管理部４３５、又は、制御ユニット４４５等の少なくともいずれかにより認識されることができる。
【００９３】
もう一つの方法として、前処理部４１０のフィルターが用いられることもでき、これは、細かい調整をする場合、ぼやけ(bluring)程度を制御しながらデータの量を制限する方法である。
【００９４】
クロック発生器４４０は、制御ユニット４４５の制御により、任意のクロックレートに相応するクロック信号を生成して各構成要素に提供する。また、キャプチャー命令を入力された制御ユニット４４５の制御により、処理クロックレートに相応するクロック信号を生成して、相応する構成要素(例えば、前処理部４１０、ＹＵＶ出力部４１５、ＪＰＥＧエンコーダ４２５、バッファー管理部４３５等)に出力する。クロック発生器４４０により生成されたクロック信号は、イメージセンサー１１０にも入力され、イメージセンサー１１０とイメージシグナルプロセッサ３１０との間で連動するようにする。クロック発生器４４０は、出力クロックレートに相応するクロック信号を生成して、バックエンドチップ１３０に出力することもできる。
【００９５】
クロック発生器４４０は、イメージシグナルプロセッサ３１０にキャプチャー命令が入力される前には、従来のように、出力クロックレートより少ない処理クロックレートを維持することができる。しかしながら、イメージシグナルプロセッサ３１０に、制御ユニット４４５の制御によりキャプチャー命令が入力された後には、処理クロックレート(以下、‘第２の処理クロックレート’と称する)が、プレビュー状態での処理クロックレート(以下、‘第１の処理クロックレート’と称する)以上(すなわち、第２の処理クロックレート>第１の処理クロックレート)になるようにする。この場合、第２の処理クロックレートが増加する限界(すなわち、上限値)は、予め設定することができる。また、増加された第２の処理クロックレートは、出力クロックレートより大きいか、小さいことができる。
【００９６】
すなわち、キャプチャー命令が入力されると、イメージシグナルプロセッサ３１０の迅速な処理のために、第１の処理クロックレートが増加して、第２の処理クロックレートに更新される。この場合、第１の処理クロックレートと第２の処理クロックレートとの間の増加割合は、各処理クロックレートにより処理されるデータの量に応じて決定されることができる。一般に、プレビューモードでは、表示部１５０の大きさに符合したり、その以下の大きさでイメージ映像が表示されるが、キャプチャー命令に応じてエンコーディングされたイメージは、表示部１５０の大きさとは関係なく、予め指定された大きさで生成される。但し、エンコーディングされたイメージが表示部１５０にディスプレイされる場合は、表示部１５０の大きさ、あるいは、プレビューモードの表示の大きさによって表示されるだけである。したがって、第１の処理クロックレートと第２の処理クロックレートとの比は、プレビューモードのためのデータの大きさ(又は、プレビューイメージの大きさであって、例えば、３２０x２４０であってもよく、これは、広さ、横長さ、縦長さ、又は、対角線長さ等のいずれか)と、エンコーディングされるデータの大きさ(例えば、６４０x４８０であってもよく、これは、広さ、横長さ、縦長、又は、対角線長さ等のいずれか)との比と一致することができる。
【００９７】
第２の処理クロックレートの上限値は、バッファーメモリ４３０に記録されるデータ量(すなわち、入力量)と、読み出されてバックエンドチップ１３０に伝達されるデータ量(すなわち、出力量)との差が、バッファーメモリ４３０の格納容量(又は、最大バッファーの利用量)以下(又は、未満)に維持され得る限界値であることができる。もちろん、第２の処理クロックレートが、上述した上限値以下に指定されても、入力量と出力量との差が、バッファーメモリ４３０の格納容量(又は、最大バッファーの利用量)以上になる場合は、バッファーメモリ４３０に記録されたデータとして未だ読み出されていないデータを保護するために、第２の処理クロックレートを減少させることができる。第２の処理クロックレートの増減は、バッファー管理部４３５により制御されるか、バッファー管理部４３５から提供されたモニターリング情報を用いて制御ユニット４４５により制御されることができる。
【００９８】
この他にも、クロック発生器４４０は、第２の処理クロックレートが、第１のクロックレートより相対的に増加した効果を持つようにするために、種々の方法を更に適用できる。例えば、クロック発生器４４０は、処理クロックレートが固定され、出力クロックレートが変更可能な場合は、出力クロックレートを相対的に減少させることもできる。但し、変更された出力クロックレートは、受信段において認識して相応するように動作できるべきである。上述したように、制御ユニット４４５又はバッファー管理部４３５の制御により、出力クロックレートは、従来に比べて減少してもよく、処理クロックレートが、従来に比べて増加してもよい。例えば、処理クロックレートが増加した場合、各構成要素は、エンコーディング処理をより迅速に行えることは、自明であり、出力クロックレートが減少した場合、各構成要素は、エンコーディング処理のための時間をより更に確保することができる。
【００９９】
制御ユニット４４５は、プレビュー状態では、ＹＵＶ出力部４１５から出力される低解像度のＹＵＶデータが、多重化器４５５を介してバックエンドチップ１３０に出力されるように制御し、バックエンドチップ１３０からキャプチャー命令が入力されると、相応するフレームのエンコーディング処理時に、遅延現状が最小化できるように各構成要素を制御する。また、現在動作状態(例えば、プレビュー状態、又は、キャプチャー命令入力状態)による相応するデータが出力され得るように、多重化器４５５の経路設定のために、出力制御部４２０を制御する。また、キャプチャー命令に相応するフレーム(例えば、ｋ番目のフレーム)のエンコーディング処理が、後続するフレーム(すなわち、ｋ＋１番目のフレーム)のデータの入力により妨害を受けないようにしたり、データの衝突を防止するために、センサー制御部４５０を通じてイメージセンサー１１０を制御することによって、後続するフレーム(この場合、ｋ＋１番目のフレームのみに制限できる)の電気信号の出力が抑制されるようにすることができる。もちろん、キャプチャー命令に相応するフレームのエンコーディング処理中に、イメージセンサー１１０から後続するフレームのデータの入力が開始された場合、制御ユニット４４５は、ＹＵＶ出力部４１５が、後続するフレームに相応する高解像度のＹＵＶデータをＪＰＥＧエンコーダ４２５に入力しないように制御することができる。また、イメージセンサー１１０と前処理部４１０との間にスイッチング手段が更に備えられた場合、制御ユニット４４５は、該当スイッチング手段を制御して、イメージセンサー１１０から出力される電気信号が前処理部４１０に入力されないように制御することができる。
【０１００】
センサー制御部４５０は、制御ユニット４４５の制御によりイメージセンサー１１０の出力を制御できる。例えば、制御ユニットから、キャプチャー命令に相応するフレームのエンコーディング処理のために、後続するフレームのスキップ(skip)命令が入力された場合、センサー制御部４５０は、後続するフレームに相応するデータ(raw data)を出力しないように制御できる。もちろん、この他にも、種々の方法が適用可能であり、これらの各々については、以後、関連図面を参照して、詳細に説明することにする。
【０１０１】
多重化器４５５は、出力制御部４２０の制御によるスイッチング動作を行う。すなわち、出力制御部４２０から、プレビュー状態として低解像度 ＹＵＶデータの出力のための経路設定を要請されると、ＹＵＶ出力部４１５から出力された低解像度のＹＵＶデータが、バックエンドチップ１３０に出力されるように経路を設定する。又は、出力制御部４２０から、キャプチャー命令に相応するＪＰＥＧエンコーディングされたデータの出力のための経路設定を要請されると、バッファーメモリ４３０に格納されたＪＰＥＧエンコーディングされたデータが、バックエンドチップ１３０に出力されるように経路を設定する。
【０１０２】
以下、図５を参照して、本発明に係るイメージシグナルプロセッサ３１０の動作過程を説明するようにする。
【０１０３】
まず、プレビュー状態での動作過程を説明する。プレビュー状態において、イメージシグナルプロセッサ３１０及びイメージセンサー１１０の処理過程には、第１の処理クロックレートが用いられる。
【０１０４】
イメージセンサー１１０は、外部映像に相応する電気信号を生成して前処理部４１０に入力し、前処理部４１０は、予め指定された方法により電気信号を処理して、高解像度のＹＵＶデータを生成して出力する。
【０１０５】
ＹＵＶ出力部４１５は、高解像度のＹＵＶデータを、予め設定された垂直ライン数及び水平画素数に符合する低解像度のＹＵＶデータに変換して、出力制御部４２０に出力する。上述したように、出力制御部４２０が、多重化器４５５のスイッチング動作のみの制御のためのものである場合、出力制御部４２０は、制御ユニット４４５と多重化器４５５との間の制御経路上に備えられることもできる。
【０１０６】
また、ＹＵＶ出力部４１５は、高解像度のＹＵＶデータを、ＪＰＥＧエンコーダ４２５に提供することもできる。これは、ＪＰＥＧエンコーダ４２５が、高解像度のＹＵＶデータを用いて、ＪＰＥＧエンコーディングされたデータを生成するためのものではなく、単に、キャプチャー命令が入力された場合に出力されるべき圧縮されたイメージデータの量を予め認識するためのものである。ＪＰＥＧエンコーダ４２５は、処理すべきイメージデータに対する垂直ライン数及び水平画素数を予め認知しているか、制御ユニット４４５から提供を受けることができる。
【０１０７】
出力制御部４２０は、ＹＵＶ出力部４１５から入力された低解像度のＹＵＶデータを、多重化器４５５を介してバックエンドチップ１３０に伝達する。キャプチャー命令が入力される場合が、一般的な状態ではないので、多重化器４５５が設定するデフォルト経路は、低解像度のＹＵＶデータが出力されるための経路であることができる。キャプチャー命令の入力時に、出力制御部４２０の制御により、多重化器４５５は、ＪＰＥＧエンコーディングされたデータが出力されるように経路変更を行うことができる。
【０１０８】
バックエンドチップ１３０は、イメージシグナルプロセッサ３１０から入力された低解像度のＹＵＶデータを用いて、表示部１５０に相応するイメージを出力することによって、プレビュー動作が行われるようにする。
【０１０９】
低解像度のＹＵＶデータを用いてプレビュー動作を行うに際して、イメージシグナルプロセッサ３１０とバックエンドチップ１３０との間に送受信されるデータの量が少ないので、クロックレートに影響を受けることなく、迅速にデータの伝達が可能であることは、自明である。したがって、プレビュー状態では、クロック発生器４４０の処理クロックレートは、従来と同様に適用されることができる。
【０１１０】
但し、プレビュー動作のスムーズな遂行のために、送受信されるデータの量をより減らす必要があれば、イメージセンサー１１０及び/又はＹＵＶ出力部４１５によるサブサンプリングが行われることもできる。
【０１１１】
しかしながら、上述したように、使用者により入力されたキャプチャー命令に応じて、外部映像に相応するＪＰＥＧエンコーディングされたデータをバックエンドチップ１３０に伝送する場合は、大きいイメージを早く送らなければならないために、遅延現状が発生できる。すなわち、プレビューのために出力するデータ(すなわち、低解像度のＹＵＶデータ)の大きさに比べて、キャプチャー命令に応じてＪＰＥＧエンコーディングされるデータ(すなわち、高解像度のＹＵＶデータ)の大きさが大きいためである。以下、本発明に係るイメージシグナルプロセッサが、遅延現状を減少させるための方法について説明する。
【０１１２】
撮像装置がプレビュー状態で動作する中で、使用者が任意の映像を撮影するためにシャッター(又は、撮影ボタン)を押圧すると、イメージシグナルプロセッサ３１０(又は、制御ユニット４４５)は、Ｉ２Ｃ又はＳＰＩを介してバックエンドチップ１３０からキャプチャー命令を入力される。キャプチャー命令を入力された制御ユニット４４５は、クロック発生器４４０を制御して、第２の処理クロックレートが、第１の処理クロックレート以上(又は、超過)になるように制御する。この場合、第２の処理クロックレートは、出力クロックレート以上か未満であることができる。第２の処理クロックレートを、第１の処理クロックレートに比べて絶対的に又は相対的に増加させる方法は、先に述べた通りである。このように、増加された第２の処理クロックレートに相応するクロック信号が、イメージデータのエンコーディングのための各構成要素で利用されるか、減少された出力クロックレートが、ＪＰＥＧエンコーディングされたデータの出力のために利用され得ることは自明である。
【０１１３】
この場合にも、イメージセンサー１１０は、外部映像に相応する電気信号を生成して前処理部４１０に入力し、前処理部４１０は、予め指定された方法により電気信号を処理して、高解像度のＹＵＶデータを生成して出力する。この場合、イメージセンサー１１０は、クロック発生器４４０から入力された第２の処理クロックレート(又は、これによるクロック信号)に相応するように電気信号を出力し、前処理部は、第２の処理クロックレートに相応するように前処理を行うことができる。
【０１１４】
コーディング処理が、完了できたが、本発明によれば、ＪＰＥＧエンコーディングされたデータ(又は、有効データ)が、前半部に集中的に配置され、垂直画素数の後半部には、パッディングデータだけが配置されることができるので、垂直画素数だけ全てのデータを読み出す必要がないためである。
【０１１５】
バッファー管理部４３５は、バッファーメモリ４３０をモニターリングし、モニターリング情報を制御ユニット４４５に伝送する。制御ユニット４４５は、バッファー管理部４３５から入力されたモニターリング情報を用いて、処理クロックレート(又は、出力クロックレート)が調節されるようにクロック発生器４４０を制御できる。例えば、制御ユニット４４５は、バッファーメモリ４３０に格納されるＪＰＥＧエンコーディングされたデータが、バッファーメモリ４３０の格納空間中、最大バッファーの利用量以下に維持されるように、処理クロックレート(又は、出力クロックレート)を制御できる。これは、バッファーメモリ４３０に記録されたＪＰＥＧエンコーディングされたデータがバックエンドチップ１３０に伝送される前に、新たなデータによりオーバーライトされたり、新たなデータの格納のために読み出されていないデータが削除されないように、処理クロックレート(又は、出力クロックレート)を制御することである。
【０１１６】
バッファーメモリ４３０に格納されたＪＰＥＧエンコーディングされたデータは、データの出力時点(例えば、図２において、Ｈ＿ＲＥＦ信号がハイ状態に切り替えられる時点)からデータの出力区間の間に出力される。バッファーメモリ４３０には、ＪＰＥＧエンコーダ４２５から出力されるデータのうち、有効データのみが記録されるようにすることができ、この場合、有効データのみが順次出力されたり、無効データが出力される区間でパッディングデータが出力されることができる。出力信号の波形は、バッファー管理部４３５、あるいは、制御ユニット４４５により、従来の出力波形と同じように生成されることができる。バッファーメモリ４３０に格納されたエンコーディングされたデータは、バッファー管理部４３５、あるいは、出力制御部４２０により読み出され、多重化器４５５に入力されることができる。
【０１１７】
多重化器４５５は、出力制御部４２０の制御によりＪＰＥＧエンコーディングされたデータが出力されるように経路が設定されているので、バッファーメモリ４３０から出力されるＪＰＥＧエンコーディングされたデータは、多重化器４５５を介してバックエンドチップ１３０に出力される。
【０１１８】
ＪＰＥＧエンコーダ４２５が、キャプチャー命令に相応するフレームのエンコーディング処理を行う途中で、イメージセンサー１１０から新たなフレームに対する電気信号がイメージシグナルプロセッサ３１０に入力される場合、制御ユニット４４５は、ＹＵＶ出力部４１５を制御して、相応する高解像度のＹＵＶデータがＪＰＥＧエンコーダに入力されないようにしたり、前処理部４１０が相応する電気信号を入力されないようにすることができる。もちろん、イメージセンサー１１０と前処理部４１０との間にスイッチング手段が更に備えられた場合、制御ユニット４４５は、該当スイッチング手段を制御して、イメージセンサー１１０から出力される電気信号が前処理部４１０に入力されないようにすることができる。上述した方法により、後続するフレームに相応するデータの入力及び/又は処理が省略でき、結果として、図１ｂに示されたＶ_ｓｙｎｃ２をバックエンドチップ１３０に出力する必要がなく、スキップすることができる。この場合、Ｖ_ｓｙｎｃ２がバックエンドチップ１３０に出力されない場合、相応するデータもバックエンドチップ１３０に出力されないことは自明である。
【０１１９】
これまで、使用者により入力されたキャプチャー命令に相応するフレーム(例えば、ｋ番目のフレーム)のデータをスムーズに処理するために、後続して入力されたフレーム(例えば、ｋ＋１番目のフレーム)の処理は、スキップする方法を中心として説明した。
【０１２０】
該当方法だけでなく、イメージシグナルプロセッサ３１０のデータエンコーディングを誤りなく行うことができ、また、イメージシグナルプロセッサ３１０と受信段(例えば、バックエンドチップ１３０、ベースバンドチップ１４０等)との間へのＪＰＥＧエンコーディングされたデータの送受信のための種々の方法を、関連図面を参照して詳細に説明することにする。
【０１２１】
図６は、本発明の望ましい一実施形態に係るイメージシグナルプロセッサ３１０でのエンコーディングされたデータの出力のための信号波形を例示した図である。図６は、バッファーメモリ４３０に記録されたデータが一定時間の遅延(delay)を持った後、順次出力される場合を示したものである。
【０１２２】
示された信号波形は、バッファー管理部４３５により生成されて出力されたり、制御ユニット４４５により生成されて出力されることができる。制御ユニット４４５により信号波形が生成されて出力される場合、バッファー管理部４３５は、予め指定された区間(例えば、Ｈ＿ＲＥＦ(有効データイネーブル信号)信号がハイ状態に維持された区間)の間、バッファーメモリ４３０に記録されたＪＰＥＧエンコーディングされたデータ(又は、有効データ)を、受信段に出力されるようにする。Ｈ＿ＲＥＦ信号は、受信段で記録イネーブル信号として認識され、相応するデータをメモリに記録し、このような方法により、受信段のメモリには、有効データのみが順次記録されることができる。図６には、無効データ又はパッディングデータが０x００の形態に示されたが、これは、特定のデータを指し示すのではない。
【０１２３】
バッファー管理部４３５、あるいは、制御ユニット４４５により受信段に出力されるクロック信号(Ｐ＿ＣＬＫ)は、クロック発生器４４０から生成した、あるいは、予め設定された出力クロックレートによるクロック信号であることができる。図６に示されたように、クロック信号は、有効データが出力される間のみ受信段に出力され、無効データ又はパッディングデータが出力されるべき区間では、受信段に出力されない(又は、ロー状態に維持)ことができる。もちろん、クロック信号は、出力され続けることもできる(以下の各図面でも同様)。示された垂直同期信号(Ｖ_ｓｙｎｃ)が後続して、新たなフレームに相応するデータが出力されることを意味すること自明である。
【０１２４】
Ｖ_ｓｙｎｃ１に相応するｋ番目のフレームのエンコーディング処理の途中、イメージセンサー１１０からｋ＋１番目のフレームに相応するＶ_ｓｙｎｃ２が入力された場合、イメージシグナルプロセッサ３１０は、上述した方法により、スキップ命令をイメージセンサー１１０、あるいは、任意の構成要素に提供し、ｋ＋１番目のフレームに対する処理がスキップされるようにすることができる。この場合、Ｖ_ｓｙｎｃ２は、受信段に出力される必要がないので、図６に示されたように、Ｖ_ｓｙｎｃ２の出力は、スキップされる。Ｖ_ｓｙｎｃ信号の入力の可否は、Ｖ_ｓｙｎｃ信号のライジングエッジ、又は、フォーリングエッジを検出して認識できる。
【０１２５】
バッファー管理部４３５、あるいは、制御ユニット４４５は、バッファーメモリ４３０に格納されたデータのＪＰＥＧヘッダー及び/又はテール(Tail)とから、‘ＳＴＡＲＴ ＭＡＲＫＥＲ’と‘ＳＴＯＰ ＭＡＲＫＥＲ’とをキャプチャーして、ＪＰＥＧエンコーディングの始まりと終わりを認識できる。
【０１２６】
したがって、イメージセンサー１１０から#１、#２、#３のフレームに相応する電気信号が順次入力されたとしても、イメージシグナルプロセッサ３１０が出力するエンコーディングされたデータは、#１、#３のフレームに対するデータのみに制限されることもできる。
【０１２７】
図７は、本発明の望ましい他の実施形態に係るイメージシグナルプロセッサ３１０でのエンコーディングされたデータの出力のための信号波形を例示した図面であり、図８は、本発明の望ましい他の実施形態に係るイメージシグナルプロセッサから伝送され、バックエンドチップのメモリに蓄積されたデータの格納形態を概念的に示した図であり、図９は、本発明の望ましい他の実施形態に係るイメージシグナルプロセッサ３１０でのエンコーディングされたデータの出力のための信号波形を例示した図である。
【０１２８】
図７から図９は、バッファーメモリ４３０に予め指定された大きさの有効データが、有効データが記録された時点ごとに、受信段に出力される場合を示したものである。
【０１２９】
示された信号波形は、バッファー管理部４３５により生成されて出力されたり、制御ユニット４４５により生成されて出力されることができる。制御ユニット４４５により信号波形が生成されて出力される場合、バッファー管理部４３５は、予め指定された区間(例えば、Ｈ＿ＲＥＦ(有効データイネーブル信号)信号がハイ状態に維持された区間)の間、バッファーメモリ４３０に記録されたＪＰＥＧエンコーディングされたデータのうち、有効データを受信段に出力されるようにする。バッファーメモリ４３０には、有効データのみが記録されるように設定されることもできる。Ｈ＿ＲＥＦ信号は、受信段で記録イネーブル信号として認識され、相応するデータをメモリに記録し、このような方法により、受信段のメモリには、有効データのみが順次記録されることができる(図８参照)。図７及び図９には、無効データ又はパッディングデータが０x００の形態に示されたが、これは、特定のデータを指し示すのではない。
【０１３０】
上述したように、本発明の望ましい他の実施形態によれば、ＪＰＥＧエンコーディングされたデータのうち、無効データを除いて、有効データのみを抽出して、予め指定されたラインサイズ(図８のｎ、例えば、Ｈ＿ＲＥＦ信号がハイ状態に維持される間に伝送するデータサイズ)だけバッファーメモリ４３０に蓄積する。したがって、予め指定されたコラムサイズ(図８のｍ、例えば、一つのフレームに対して、Ｈ＿ＲＥＦ信号がハイ状態に切り替えられる総数量)だけ繰り返す前に、ｋ番目のフレームに対するあらゆる有効データを受信段に伝送することもできる。この場合、受信段で予め指定されたラインサイズ×コラムサイズだけのＪＰＥＧエンコーディングされたデータ(及び/又はパッディングデータ)が、イメージシグナルプロセッサ３１０から未だ受信されていないと認識し、処理を行わなくてもよい。これを防止するために、バッファー管理部４３５、あるいは、制御ユニット４４５は、残りのコラム数(すなわち、予め指定されたコラム数-有効データから構成されたコラム数)だけ、パッディングデータをｔｆ時間の間に出力する。バッファーメモリに蓄積された有効データを出力する各区間の時間は、予め指定されたサイズのデータを出力する時間であるので、全部一致する(すなわち、ｔａ=ｔｃ=ｔｄ=ｔｆ)。しかし、該当データを蓄積する時間(例えば、ｔｂ)は、各々一致しないこともあり得る。有効データが連続的に存在する場合、蓄積時間は、減少できる。但し、パッディングデータを出力する前の待ち時間(例えば、ｔｅ)は、各々一致する。
【０１３１】
バッファー管理部４３５、あるいは、制御ユニット４４５により受信段に出力されるクロック信号(Ｐ＿ＣＬＫ)は、クロック発生器４４０で生成した、あるいは、予め設定された出力クロックレートによるクロック信号である。図７及び図９に示されたように、クロック信号は、有効データが出力される間(すなわち、Ｈ＿ＲＥＦ信号がハイ状態に維持された区間)のみ受信段に出力され、無効データ又はパッディングデータが出力されるべき区間では、受信段に出力されない(又は、ロー状態に維持)ことができる。示された垂直同期信号(Ｖ_ｓｙｎｃ)が後続して、新たなフレームに相応するデータが出力されることを意味することは自明である。
【０１３２】
Ｖ_ｓｙｎｃ１に相応するｋ番目のフレームのエンコーディング処理の途中、イメージセンサー１１０からｋ＋１番目のフレームに相応するＶ_ｓｙｎｃ２が入力された場合、イメージシグナルプロセッサ３１０は、上述した方法により、スキップ命令をイメージセンサー１１０、あるいは、任意の構成要素に提供し、ｋ＋１番目のフレームに対する処理がスキップされるようにすることができる。この場合、Ｖ_ｓｙｎｃ２は、受信段に出力される必要がないので、図９に示されたように、Ｖ_ｓｙｎｃ２の出力は、スキップされる。バッファー管理部４３５、あるいは、制御ユニット４４５は、バッファーメモリ４３０に格納されたデータのＪＰＥＧヘッダー及び/又はテールとから、‘ＳＴＡＲＴ ＭＡＲＫＥＲ’と‘ＳＴＯＰ ＭＡＲＫＥＲ’とをキャプチャーして、ＪＰＥＧエンコーディングの始まりと終わりを認識できる。したがって、イメージセンサー１１０から#１、#２、#３のフレームに相応する電気信号が順次入力されたとしても、イメージシグナルプロセッサ３１０が出力するエンコーディングされたデータは、#１、#３のフレームに対するデータのみに制限されることもできる。
【０１３３】
図１０及び図１１は、本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサ３１０でのエンコーディングされたデータの出力のための信号波形を例示した図である。
【０１３４】
図１０及び図１１に示された信号波形は、一つのフレームに対するあらゆるＪＰＥＧエンコーディングされたデータが出力される間に、Ｈ＿ＲＥＦ信号をハイ状態に維持している。Ｈ＿ＲＥＦ信号がハイ状態に維持される間、有効データ及びパッディングデータ(又は、無効データ)が受信段に連続的に出力される。
【０１３５】
これは、受信段で記録イネーブル信号として認識されるＨ＿ＲＥＦ信号が交番することにより、受信段で無駄な電力消耗が発生できるためである。
【０１３６】
このような場合にも、先に述べた通り、現在処理されるｋ番目のフレームの処理中に入力されたｋ＋１番目のフレームに対するＶ_ｓｙｎｃ２は、スキップでき、Ｖ_ｓｙｎｃ２によるデータの入力及び処理がスキップできることは自明である。
【０１３７】
図１２は、本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサ３１０でのエンコーディングされたデータの出力のための信号波形を例示した図であり、図１３は、本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサから伝送され、バックエンドチップのメモリに蓄積されたデータの格納形態を概念的に示した図であり、図１４は、本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサ３１０でのエンコーディングされたデータの出力のための信号波形を例示した図である。
【０１３８】
先に述べた図７から図９と比較すると、図１２から図１４は、バッファーメモリ４３０に予め指定された期間の間に記録されたデータが、予め指定された時点ごとに出力される場合を示したものである。すなわち、バッファーメモリ４３０にデータを蓄積する時間及び蓄積されたデータを出力する時間は、予め指定される。もし、予め指定された時間の間にバッファーメモリ４３０に記録されたデータが、予め指定されたサイズに符合しない場合、残りの不足した分は、パッディングデータに付加して受信段に伝送する場合である。
【０１３９】
この場合、受信段のメモリには、図８と同じ形態にデータが記録され、受信段は、メモリに記録されたデータの処理時に、ｎxｍサイズのあらゆるデータを読み出すことなく、前半部に集中的に配置された有効データのみを読み出して処理することで、迅速な処理が可能となる。
【０１４０】
このような場合にも、先に述べた通り、現在処理されるｋ番目のフレームの処理中に入力されたｋ＋１番目のフレームに対するＶ_ｓｙｎｃ２は、スキップでき、Ｖ_ｓｙｎｃ２によるデータの入力及び処理がスキップできることは自明である。
【０１４１】
図１５及び図１６は、本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサ３１０の各構成要素で処理されたデータの出力のための信号波形を例示した図である。
【０１４２】
図１５及び図１６に示されたように、各構成要素から入力するＶ_ｓｙｎｃ信号は、最小限の遅延(又は、遅延なく)で後続する構成要素に入力される。これに比べて、先行する構成要素から入力されたデータは、バッファーリング及び処理などの過程で一定の遅延(例えば、d１、d２、d３、d４等)が発生する。
【０１４３】
したがって、イメージシグナルプロセッサ３１０において、多重化器４５５を介して先行する構成要素からＶ_ｓｙｎｃが入力された時点で、受信段にＶ_ｓｙｎｃを出力すると、受信段は、Ｖ_ｓｙｎｃを入力された後から最小限ｄ１＋ｄ２＋ｄ３＋ｄ４の時間が経過して初めて、ＪＰＥＧエンコーディングされたデータを入力され始める。これは、受信段の処理効率を減少させることができる。
【０１４４】
したがって、本発明の望ましい他の実施形態は、ＪＰＥＧエンコーダがエンコーディングするデータをバッファーリングするための遅延時間であるｄ４の時間範囲中の任意の時点(例えば、ＪＰＥＧエンコーダ４２５がエンコーディングを開始するために、１〜８ラインのうち任意のラインをバッファーリングした時点)から、Ｖ_ｓｙｎｃを受信段に出力するようにして、受信段の待ち時間を最小化することができる。
【０１４５】
図１７及び図１８は、本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサ３１０の各構成要素で処理されたデータの出力のための信号波形を例示した図である。
【０１４６】
図１７に示されたように、イメージシグナルプロセッサ３１０が、プレビュー状態(例えば、ｋ-１番目のフレームが入力される状態)でキャプチャー命令を入力されると、イメージセンサー１１０にＶ_ｓｙｎｃ_extend命令を入力する。Ｖ_ｓｙｎｃ_extend命令は、センサー制御部４５０を介して入力されることができる。Ｖ_ｓｙｎｃ_extend命令は、キャプチャー命令に相応するフレームであるｋ番目のフレームの処理途中、あるいは、処理直前に伝送されることができる。
【０１４７】
Ｖ_ｓｙｎｃ_extend命令を入力されたイメージセンサー１１０は、ｋ＋１番目のフレームに対するＶ_ｓｙｎｃをイメージシグナルプロセッサ３１０に入力するにおいて、イメージシグナルプロセッサ３１０が、ｋ番目のフレームを全部処理する時間的余裕を持って、イメージシグナルプロセッサ３１０に入力されるようにする。
【０１４８】
Ｖ_ｓｙｎｃ信号の入力が、ライジングエッジにより検出されると仮定すると、図１８に示されたように、ｋ＋１番目のフレームに対するＶ_ｓｙｎｃは、ｋ番目のフレームに対する‘ＳＴＯＰ ＭＡＲＫＥＲ’が出力された時点と同一であるか、その以後に出力されるように設定されることができる。
【０１４９】
上述したように、本発明に係るイメージシグナルプロセッサ３１０は、上述した種々の方法を通じてｋ番目のフレームを処理する間に、ｋ＋１番目のフレームに対するＶ_ｓｙｎｃ信号により正常なデータ処理が妨げられるという問題点を解決できる。
【０１５０】
従来のバックエンドチップ１３０は、ＹＵＶ/ＢＡＹＥＲフォーマットのデータを入力されるように具現されており、このようなデータを入力されるためのインターフェースとして、Ｐ_ＣＬＫ、Ｖ_ｓｙｎｃ、Ｈ＿ＲＥＦ、ＤＡＴＡ信号を用いていた。
【０１５１】
これを考慮して、本発明のイメージシグナルプロセッサ３１０は、従来と同様のインターフェースを用いるように具現される。
【０１５２】
したがって、本発明は、バックエンドチップ１３０が、従来のバックエンドチップの設計方法により具現された場合にも互換(port matching)できることは自明である。
【０１５３】
これまで、イメージシグナルプロセッサ３１０が、ＪＰＥＧエンコーディング方式を用いる場合のみを中心として説明したが、ＢＭＰエンコーディング方式、ＭＰＥＧ(ＭＰＥＧ１/２/４、ＭＰＥＧ-４ＡＶＣ)エンコーディング方式、ＴＶアウト方式などのように、他のエンコーディング方式を支援する場合にも、同様のデータ伝送方式を利用できることは自明である。
【０１５４】
図面と発明の詳細な説明は、単に本発明の例示的なものであり、これは、単に本発明を説明するための目的で使用されたものであって、意味限定や特許請求範囲上に記載された本発明の範囲を制限するために使用されたものではない。したがって、本技術分野の通常の知識を有する者ならば、これらから種々の変形及び均等な他の実施形態が可能であることを理解するはずである。よって、本発明の真の技術的保護範囲は、本願の特許請求範囲上の技術的思想により定められるべきである。
【図面の簡単な説明】
【０１５５】
【図１】一般的な撮像装置の構成を簡略に示した図である。
【図２】従来技術に係るエンコーディングされたデータの出力のための信号波形を示した図である。
【図３】一般的なＪＰＥＧエンコーディング過程を示した図である。
【図４】本発明の望ましい一実施形態に係る撮像装置の構成を簡略に示した図である。
【図５】本発明の望ましい一実施形態にイメージシグナルプロセッサの構成を詳細に示した図である。
【図６】本発明の望ましい一実施形態に係るイメージシグナルプロセッサでのエンコーディングされたデータの出力のための信号波形を例示した図である。
【図７】本発明の望ましい他の実施形態に係るイメージシグナルプロセッサでのエンコーディングされたデータの出力のための信号波形を例示した図である。
【図８】本発明の望ましい他の実施形態に係るイメージシグナルプロセッサから伝送され、バックエンドチップのメモリに蓄積されたデータの格納形態を概念的に示した図である。
【図９】本発明の望ましい他の実施形態に係るイメージシグナルプロセッサでのエンコーディングされたデータの出力のための信号波形を例示した図である。
【図１０】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサでのエンコーディングされたデータの出力のための信号波形を例示した図である。
【図１１】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサでのエンコーディングされたデータの出力のための信号波形を例示した図である。
【図１２】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサでのエンコーディングされたデータの出力のための信号波形を例示した図である。
【図１３】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサから伝送され、バックエンドチップのメモリに蓄積されたデータの格納形態を概念的に示した図である。
【図１４】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサでのエンコーディングされたデータの出力のための信号波形を例示した図である。
【図１５】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサの各構成要素で処理されたデータの出力のための信号波形を例示した図である。
【図１６】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサの各構成要素で処理されたデータの出力のための信号波形を例示した図である。
【図１７】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサの各構成要素で処理されたデータの出力のための信号波形を例示した図である。
【図１８】本発明の望ましい更に他の実施形態に係るイメージシグナルプロセッサの各構成要素で処理されたデータの出力のための信号波形を例示した図である。
【符号の説明】
【０１５６】
１１０ イメージセンサー
１２０ イメージシグナルプロセッサ
１３０ バックエンドチップ
１４０ ベースバンドチップ
１５０ 表示部
２２０ 量子化器
２３０ エントロピーエンコーダ
３１０ クロック発生器
３２０ サブＩＳＰ
３３０ エンコーディング部
３４０ データ出力部
４１０ 前処理部
４１５ ＹＵＶ出力部
４２０ 出力制御部
４２５ ＪＰＥＧエンコーダ
４３０ バッファーメモリ
４３５ バッファー管理部
４５０ センサー制御部
４４５ 制御ユニット
【特許請求の範囲】
【請求項１】
イメージセンサー、イメージシグナルプロセッサ及び受信段を含む撮像装置において、
外部映像に相応する電気信号を生成して出力するイメージセンサーと;
エンコーダを備え、前記電気信号に相応するＹＵＶデータ又は前記エンコーダを用いて、エンコーディングされたデータを生成して前記受信段に出力するイメージシグナルプロセッサと；を含み、
前記エンコーディングされたデータを生成するための第２の処理クロックレートは、前記ＹＵＶデータを生成するための第１の処理クロックレートを超過することを特徴とする撮像装置。
【請求項２】
前記第１の処理クロックレートは、前記ＹＵＶデータ及び前記エンコーディングされたデータを出力するための出力クロックレート以下であり、前記第２の処理クロックレートは、前記出力クロックレート以上であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の処理クロックレートと前記第２の処理クロックレートとの比は、一つのフレームに相応する前記ＹＵＶデータの大きさと、エンコーディングされるべきデータの大きさとの比であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記大きさは、面積、横長さ、縦長さ、対角線長さのいずれかであることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記イメージセンサーは、前記イメージシグナルプロセッサから、前記第１の処理クロックレート、あるいは、前記第２の処理クロックレートに相応して入力されたクロック信号に符合するように、前記電気信号を生成して出力することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記第１の処理クロックレートは、プレビュー状態のクロックレートであり、前記第２の処理クロックレートは、前記受信段から入力されたキャプチャー命令に相応するフレームを処理するためのクロックレートであることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が開始されることを意味する垂直同期信号(Ｖ_ｓｙｎｃ)が、前記イメージセンサーから入力される場合、前記イメージシグナルプロセッサは、前記イメージセンサーにスキップ命令を伝送し、前記イメージセンサーは、前記ｋ＋１番目のフレームに相応する電気信号を出力しないことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が開始されることを意味する垂直同期信号(Ｖ_ｓｙｎｃ)が、前記イメージセンサーから入力される場合、前記イメージシグナルプロセッサは、前記イメージセンサーから入力される電気信号の処理をスキップすることを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記イメージシグナルプロセッサは、前記エンコーディングされたデータを前記受信段に伝送するために臨時に格納するバッファーメモリを含み、
前記バッファーメモリに格納されたエンコーディングされたデータの量が、予め指定された大きさ以上である場合、前記第２の処理クロックレートを減少させることを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が遅延入力されるように前記イメージセンサーに指示することを特徴とする請求項６に記載の撮像装置。
【請求項１１】
イメージシグナルプロセッサにおいて、
処理クロックレートに相応するクロック信号を出力するクロック発生器と;
キャプチャー命令が入力されると、前記クロック発生器が増加された処理クロックレートに相応するクロック信号を出力するように制御する制御ユニットと;
前記クロック信号に応じて、イメージセンサーから入力される電気信号を用いてＹＵＶデータを生成するサブＩＳＰと;
前記クロック信号に応じて、前記ＹＵＶデータを用いてエンコーディングされたイメージデータを生成するエンコーディング部と;
前記エンコーディングされたイメージデータを蓄積するメモリと;
前記制御ユニットの制御により、前記蓄積されたエンコーディングされたイメージデータを、予め指定された時点ごとに受信段に出力する出力部と；を含むイメージシグナルプロセッサ。
【請求項１２】
前記メモリに蓄積されたエンコーディングされたイメージデータの量をモニターリングし、モニターリング情報を生成するバッファー管理部を更に含み、
前記制御ユニットは、前記モニターリング情報を用いて、前記処理クロックレートを増減することを特徴とする請求項１１に記載のイメージシグナルプロセッサ。
【請求項１３】
前記キャプチャー命令が入力される前には、前記出力部は、前記サブＩＳＰにより出力される前記ＹＵＶデータを前記受信段に出力することを特徴とする請求項１１に記載のイメージシグナルプロセッサ。
【請求項１４】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が開始されることを意味する垂直同期信号(Ｖ_ｓｙｎｃ)が、前記イメージセンサーから入力される場合、前記制御ユニットは、前記イメージセンサーにスキップ命令を伝送し、前記イメージセンサーは、前記ｋ＋１番目のフレームに相応する電気信号を出力しないことを特徴とする請求項１１に記載のイメージシグナルプロセッサ。
【請求項１５】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が開始されることを意味する垂直同期信号(Ｖ_ｓｙｎｃ)が、前記イメージセンサーから入力される場合、前記制御ユニットは、前記サブＩＳＰにスキップ命令を伝送し、前記サブＩＳＰは、前記ｋ＋１番目のフレームに相応するＹＵＶデータ生成をスキップすることを特徴とする請求項１１に記載のイメージシグナルプロセッサ。
【請求項１６】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が遅延入力されるように前記イメージセンサーに指示することを特徴とする請求項１１に記載のイメージシグナルプロセッサ。
【請求項１７】
イメージセンサー、イメージシグナルプロセッサ及び受信段を含む撮像装置の前記イメージシグナルプロセッサで行われるイメージ処理方法において、
(a)第１の処理クロックレートに従って、前記イメージセンサーから入力される電気信号に相応するＹＵＶデータを生成し、第１の出力クロックレートに従って、前記ＹＵＶデータを前記受信段に出力する段階と;
(b)前記受信段からキャプチャー命令を入力される段階と;
(c)前記第１の処理クロックレートを超過する第２の処理クロックレートに従って、前記イメージセンサーから入力される電気信号に相応するエンコーディングされたデータを生成し、第２の出力クロックレートに従って、前記エンコーディングされたデータを前記受信段に出力する段階と；を含み、
前記イメージシグナルプロセッサは、エンコーダを備えることを特徴とするイメージ処理方法。
【請求項１８】
前記イメージセンサーは、前記イメージシグナルプロセッサから、前記第１の処理クロックレート、あるいは、前記第２の処理クロックレートに相応して入力されたクロック信号に符合するように、前記電気信号を生成して出力することを特徴とする請求項１７に記載のイメージ処理方法。
【請求項１９】
前記第１の処理クロックレートは、プレビュー状態のクロックレートであり、前記第２の処理クロックレートは、前記受信段から入力されたキャプチャー命令に相応するフレームを処理するためのクロックレートであることを特徴とする請求項１７に記載のイメージ処理方法。
【請求項２０】
前記段階(c)は、
前記第２の処理クロックレートに従って、前記イメージセンサーから入力される電気信号に相応するエンコーディングされたデータを生成する段階と;
前記エンコーディングされたデータをバッファーメモリに格納する段階と;
予め指定された条件に符合する期間の間に、前記バッファーメモリに格納された前記エンコーディングされたデータを、予め指定された時点ごとに、前記第２の出力クロックレートに従って前記前記受信段に出力する段階と；を含み、
前記バッファーメモリに格納されたエンコーディングされたデータの量が、予め指定された大きさ以上である場合、前記第２クロックレートを減少させることを特徴とする請求項１７に記載のイメージ処理方法。
【請求項１】
イメージセンサー、イメージシグナルプロセッサ及び受信段を含む撮像装置において、
外部映像に相応する電気信号を生成して出力するイメージセンサーと;
エンコーダを備え、前記電気信号に相応するＹＵＶデータ又は前記エンコーダを用いて、エンコーディングされたデータを生成して前記受信段に出力するイメージシグナルプロセッサと；を含み、
前記エンコーディングされたデータを生成するための第２の処理クロックレートは、前記ＹＵＶデータを生成するための第１の処理クロックレートを超過することを特徴とする撮像装置。
【請求項２】
前記第１の処理クロックレートは、前記ＹＵＶデータ及び前記エンコーディングされたデータを出力するための出力クロックレート以下であり、前記第２の処理クロックレートは、前記出力クロックレート以上であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の処理クロックレートと前記第２の処理クロックレートとの比は、一つのフレームに相応する前記ＹＵＶデータの大きさと、エンコーディングされるべきデータの大きさとの比であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記大きさは、面積、横長さ、縦長さ、対角線長さのいずれかであることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記イメージセンサーは、前記イメージシグナルプロセッサから、前記第１の処理クロックレート、あるいは、前記第２の処理クロックレートに相応して入力されたクロック信号に符合するように、前記電気信号を生成して出力することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記第１の処理クロックレートは、プレビュー状態のクロックレートであり、前記第２の処理クロックレートは、前記受信段から入力されたキャプチャー命令に相応するフレームを処理するためのクロックレートであることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が開始されることを意味する垂直同期信号(Ｖ_ｓｙｎｃ)が、前記イメージセンサーから入力される場合、前記イメージシグナルプロセッサは、前記イメージセンサーにスキップ命令を伝送し、前記イメージセンサーは、前記ｋ＋１番目のフレームに相応する電気信号を出力しないことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が開始されることを意味する垂直同期信号(Ｖ_ｓｙｎｃ)が、前記イメージセンサーから入力される場合、前記イメージシグナルプロセッサは、前記イメージセンサーから入力される電気信号の処理をスキップすることを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記イメージシグナルプロセッサは、前記エンコーディングされたデータを前記受信段に伝送するために臨時に格納するバッファーメモリを含み、
前記バッファーメモリに格納されたエンコーディングされたデータの量が、予め指定された大きさ以上である場合、前記第２の処理クロックレートを減少させることを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が遅延入力されるように前記イメージセンサーに指示することを特徴とする請求項６に記載の撮像装置。
【請求項１１】
イメージシグナルプロセッサにおいて、
処理クロックレートに相応するクロック信号を出力するクロック発生器と;
キャプチャー命令が入力されると、前記クロック発生器が増加された処理クロックレートに相応するクロック信号を出力するように制御する制御ユニットと;
前記クロック信号に応じて、イメージセンサーから入力される電気信号を用いてＹＵＶデータを生成するサブＩＳＰと;
前記クロック信号に応じて、前記ＹＵＶデータを用いてエンコーディングされたイメージデータを生成するエンコーディング部と;
前記エンコーディングされたイメージデータを蓄積するメモリと;
前記制御ユニットの制御により、前記蓄積されたエンコーディングされたイメージデータを、予め指定された時点ごとに受信段に出力する出力部と；を含むイメージシグナルプロセッサ。
【請求項１２】
前記メモリに蓄積されたエンコーディングされたイメージデータの量をモニターリングし、モニターリング情報を生成するバッファー管理部を更に含み、
前記制御ユニットは、前記モニターリング情報を用いて、前記処理クロックレートを増減することを特徴とする請求項１１に記載のイメージシグナルプロセッサ。
【請求項１３】
前記キャプチャー命令が入力される前には、前記出力部は、前記サブＩＳＰにより出力される前記ＹＵＶデータを前記受信段に出力することを特徴とする請求項１１に記載のイメージシグナルプロセッサ。
【請求項１４】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が開始されることを意味する垂直同期信号(Ｖ_ｓｙｎｃ)が、前記イメージセンサーから入力される場合、前記制御ユニットは、前記イメージセンサーにスキップ命令を伝送し、前記イメージセンサーは、前記ｋ＋１番目のフレームに相応する電気信号を出力しないことを特徴とする請求項１１に記載のイメージシグナルプロセッサ。
【請求項１５】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が開始されることを意味する垂直同期信号(Ｖ_ｓｙｎｃ)が、前記イメージセンサーから入力される場合、前記制御ユニットは、前記サブＩＳＰにスキップ命令を伝送し、前記サブＩＳＰは、前記ｋ＋１番目のフレームに相応するＹＵＶデータ生成をスキップすることを特徴とする請求項１１に記載のイメージシグナルプロセッサ。
【請求項１６】
前記キャプチャー命令に相応するｋ(自然数)番目のフレームを処理する途中で、ｋ＋１番目のフレームの入力が遅延入力されるように前記イメージセンサーに指示することを特徴とする請求項１１に記載のイメージシグナルプロセッサ。
【請求項１７】
イメージセンサー、イメージシグナルプロセッサ及び受信段を含む撮像装置の前記イメージシグナルプロセッサで行われるイメージ処理方法において、
(a)第１の処理クロックレートに従って、前記イメージセンサーから入力される電気信号に相応するＹＵＶデータを生成し、第１の出力クロックレートに従って、前記ＹＵＶデータを前記受信段に出力する段階と;
(b)前記受信段からキャプチャー命令を入力される段階と;
(c)前記第１の処理クロックレートを超過する第２の処理クロックレートに従って、前記イメージセンサーから入力される電気信号に相応するエンコーディングされたデータを生成し、第２の出力クロックレートに従って、前記エンコーディングされたデータを前記受信段に出力する段階と；を含み、
前記イメージシグナルプロセッサは、エンコーダを備えることを特徴とするイメージ処理方法。
【請求項１８】
前記イメージセンサーは、前記イメージシグナルプロセッサから、前記第１の処理クロックレート、あるいは、前記第２の処理クロックレートに相応して入力されたクロック信号に符合するように、前記電気信号を生成して出力することを特徴とする請求項１７に記載のイメージ処理方法。
【請求項１９】
前記第１の処理クロックレートは、プレビュー状態のクロックレートであり、前記第２の処理クロックレートは、前記受信段から入力されたキャプチャー命令に相応するフレームを処理するためのクロックレートであることを特徴とする請求項１７に記載のイメージ処理方法。
【請求項２０】
前記段階(c)は、
前記第２の処理クロックレートに従って、前記イメージセンサーから入力される電気信号に相応するエンコーディングされたデータを生成する段階と;
前記エンコーディングされたデータをバッファーメモリに格納する段階と;
予め指定された条件に符合する期間の間に、前記バッファーメモリに格納された前記エンコーディングされたデータを、予め指定された時点ごとに、前記第２の出力クロックレートに従って前記前記受信段に出力する段階と；を含み、
前記バッファーメモリに格納されたエンコーディングされたデータの量が、予め指定された大きさ以上である場合、前記第２クロックレートを減少させることを特徴とする請求項１７に記載のイメージ処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公表番号】特表２００９−５１５４５９（Ｐ２００９−５１５４５９Ａ）
【公表日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願番号】特願２００８−５３９９０６（Ｐ２００８−５３９９０６）
【出願日】平成１８年５月２９日（２００６．５．２９）
【国際出願番号】ＰＣＴ／ＫＲ２００６／００２０５５
【国際公開番号】ＷＯ２００７／０５５４５０
【国際公開日】平成１９年５月１８日（２００７．５．１８）
【出願人】（５０８１３５５１８）エムテクビジョン カンパニー リミテッド (9)
【Ｆターム（参考）】
【公表日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願日】平成１８年５月２９日（２００６．５．２９）
【国際出願番号】ＰＣＴ／ＫＲ２００６／００２０５５
【国際公開番号】ＷＯ２００７／０５５４５０
【国際公開日】平成１９年５月１８日（２００７．５．１８）
【出願人】（５０８１３５５１８）エムテクビジョン カンパニー リミテッド (9)
【Ｆターム（参考）】
[ Back to top ]