低電力シャッタラグ除去方法、カメラモジュール及びそれを備えたモバイル機器
【課題】低電力シャッタラグ除去方法、カメラモジュール及びそれを具備するモバイル機器を提供する。
【解決手段】シャッタラグ除去方法は、カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に設定し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更してカメライメージセンサをキャプチャ準備モードに進入させ、及びキャプチャ準備モードでキャプチャ信号に応答してセンサ出力イメージをキャプチャする。この時、低解像度は基準解像度と同一であるか、または、基準解像度より低い解像度であり、高解像度は基準解像度より高い解像度である。
【解決手段】シャッタラグ除去方法は、カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に設定し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更してカメライメージセンサをキャプチャ準備モードに進入させ、及びキャプチャ準備モードでキャプチャ信号に応答してセンサ出力イメージをキャプチャする。この時、低解像度は基準解像度と同一であるか、または、基準解像度より低い解像度であり、高解像度は基準解像度より高い解像度である。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は電子機器に係り、より詳細には、カメラモジュールを備えたモバイル機器に関する。
【背景技術】
【0002】
最近のモバイルコンバージェンス(mobile convergence)の進展に伴いほとんどのモバイル機器は、カメラモジュールを備えている。一般的に、シャッタラグ(shutter lag)は使用者がシャッタリリースボタンを押した時点とイメージキャプチャ(image capture)が行われる時点との間の遅延(delay)を意味し、カメラモジュールの性能を評価する上で重要な評価要素の一つである。例えば、シャッタラグが大きいカメラモジュールの場合、使用者は所望の瞬間イメージを正確に得ることができない。
【0003】
従来のカメラモジュールでは、シャッタラグを減少させるために、センサ出力イメージをプレビュ(preview)モードでも使用者が撮像サイズを設定できるように維持させていた。この場合、プレビュモードでもセンサ出力イメージが高解像度で維持されるので、カメラモジュールは不必要な電力を消費してしまう。その結果、従来のカメラモジュールは、シャッタラグと不必要な電力消費との関係をトレード−オフ(trade−off)して選択しなければならないという問題があった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】韓国特許第0602705号公報
【特許文献2】韓国特許第0650871号公報
【特許文献3】特許第4018695号公報
【特許文献4】米国特許出願公開第2011/0122269号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の一目的は、カメライメージセンサ(Camera Image Sensor;CIS)のプレビュモードでセンサ出力イメージを低解像度に維持しつつも、カメライメージセンサのキャプチャ準備モードで、イメージキャプチャ時、シャッタラグを除去できる低電力シャッタラグ除去方法を提供することにある。
【0006】
本発明の他の目的は、カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に維持しつつも、カメライメージセンサのキャプチャ準備モードでイメージキャプチャ時、シャッタラグを除去できるカメラモジュールを提供することにある。
【0007】
本発明のまた他の目的は、前記カメラモジュールを具備するモバイル機器を提供することにある。
【0008】
なお、本発明の解決しようとする課題は、上述した課題に限定されず、本発明の思想、及び領域から逸脱しない範囲で多様に拡張される。
【課題を解決するための手段】
【0009】
本発明の一目的を達成するために、本発明の実施形態に係る低電力シャッタラグ除去方法は、カメライメージセンサのプレビュモード(preview mode)でセンサ出力イメージを低解像度に維持する段階、キャプチャ準備信号に基づいて前記センサ出力イメージを高解像度に変更して、前記カメライメージセンサをキャプチャ準備モード(capture preparation mode)に進入させる段階、及び前記キャプチャ準備モードでキャプチャ信号に応答して前記センサ出力イメージをキャプチャ(capture)する段階を含むことができる。ここで、前記低解像度は基準解像度と同一であるか、または、基準解像度より低い解像度であり、前記高解像度は前記基準解像度より高い解像度である。
【0010】
一実施形態によれば、前記低電力シャッタラグ除去方法は、前記センサ出力イメージがキャプチャされると、前記センサ出力イメージを低解像度に変更して前記カメライメージセンサを前記プレビュモードに再進入させる段階をさらに含むことができる。
【0011】
一実施形態によれば、前記低電力シャッタラグ除去方法は、前記キャプチャ準備モードが既設定された時間だけ経過すると、前記センサ出力イメージを低解像度に変更して前記カメライメージセンサを前記プレビュモードに再進入させる段階をさらに含むことができる。
【0012】
一実施形態によれば、前記低電力シャッタラグ除去方法は、前記キャプチャ準備モードでモード転換信号が入力されると、前記センサ出力イメージを低解像度に変更して前記カメライメージセンサを前記プレビュモードに再進入させる段階をさらに含むことができる。
【0013】
一実施形態によれば、前記センサ出力イメージは、前記プレビュモードに前記キャプチャ準備信号が入力されると同時に低解像度から高解像度に変更することができる。
【0014】
一実施形態によれば、前記センサ出力イメージは、前記プレビュモードで前記キャプチャ準備信号が入力されると、既設定された時間が経過した後、低解像度から高解像度に変更することができる。
【0015】
一実施形態によれば、前記キャプチャ準備信号は、フォーカス動作を行うためのオートフォーカススタート信号(auto focus start signal)とすることができる。
【0016】
一実施形態によれば、前記キャプチャ準備信号は、フォーカス動作を行うための外部入力信号(external input signal)とすることができる。
【0017】
一実施形態によれば、前記外部入力信号は、タッチ入力信号、ボタン入力信号、音声入力信号のうちから選択される少なくとも一つ以上の信号とすることができる。
【0018】
一実施形態によれば、前記キャプチャ準備信号は、スマイル検出動作を行うためのスマイル検出信号(smile detect signal)とすることができる。
【0019】
一実施形態によれば、前記キャプチャ準備信号は顔検出動作を行うための顔検出信号(face detect signal)とすることができる。
【0020】
一実施形態によれば、前記センサ出力イメージの低解像度の大きさは、ディスプレイの出力サイズに相応し、前記ディスプレイの出力サイズを変更することによって可変することができる。
【0021】
一実施形態によれば、前記センサ出力イメージの高解像度の大きさは既設定されたサイズに相応して、使用者によって可変することができる。
【0022】
本発明の他の目的を達成するために、本発明の実施形態に係るカメラモジュールは、光電変換を実行してセンサ出力イメージを生成するイメージセンサ部、前記センサ出力イメージをプレビュモード(preview mode)で低解像度に維持し、キャプチャ準備信号に基づいて前記センサ出力イメージを高解像度に変更し、キャプチャ準備モード(capture preparation mode)で前記センサ出力イメージを高解像度に維持するモード制御部、及び前記センサ出力イメージを処理(processing)してイメージデータを出力するイメージ信号処理部を含むことができる。ここで、前記低解像度は基準解像度と同一であるか、または、基準解像度より低い解像度であり、前記高解像度は前記基準解像度より高い解像度である。
【0023】
一実施形態によれば、システムオンチップ(System On Chip;SOC)で製造することができる。
【0024】
一実施形態によれば、前記モード制御部は、前記プレビュモードでセンサ出力イメージを低解像度に維持し、前記キャプチャ準備モードで前記センサ出力イメージを高解像度に維持することができる。
【0025】
一実施形態によれば、前記モード制御部は前記キャプチャ準備モードで前記センサ出力イメージがキャプチャされると、前記カメラモジュールの動作モードを前記キャプチャ準備モードから前記プレビュモードに切り替えることができる。
【0026】
一実施形態によれば、前記モード制御部は、前記キャプチャ準備モードが既設定された時間ほど経過すれば、前記カメラモジュールの動作モードを前記キャプチャ準備モードから前記プレビュモードに切り替えることができる。
【0027】
一実施形態によれば、前記モード制御部は、前記キャプチャ準備モードでモード転換信号が入力されると、前記カメラモジュールの動作モードを前記キャプチャ準備モードから前記プレビュモードに切り替えることができる。
【0028】
一実施形態によれば、前記キャプチャ準備信号は、フォーカス動作を行うためのオートフォーカススタート信号(auto focus start signal)とすることができる。
【0029】
一実施形態によれば、前記キャプチャ準備信号は、フォーカス動作を行うための外部入力信号(external input signal)とすることができる。
【0030】
一実施形態によれば、前記キャプチャ準備信号は、スマイル検出動作を行うためのスマイル検出信号(smile detect signal)とすることができる。
【0031】
一実施形態によれば、前記キャプチャ準備信号は、顔検出動作を行うための顔検出信号(face detect signal)とすることができる。
【0032】
本発明のまた他の目的を達成するために、本発明の実施形態に係るモバイル機器はカメライメージセンサ、アプリケーションプロセッサ、及びイメージを表示する少なくとも一つ以上のディスプレイを具備することができ、前記アプリケーションプロセッサは、前記カメライメージセンサから出力されるセンサ出力イメージを前記カメライメージセンサのプレビュモード(preview mode)で低解像度に維持し、キャプチャ準備信号に基づいて前記センサ出力イメージを高解像度に変更し、前記センサ出力イメージを前記カメライメージセンサのキャプチャ準備モード(capture preparation mode)で高解像度に維持するモードコントローラ、前記センサ出力イメージを処理(processing)して、第1イメージデータを生成するイメージ信号プロセッサ、前記第1イメージデータを後処理(post processing)して第2イメージデータを生成する後処理プロセッサ、及び前記イメージを生成するための前記第2イメージデータを前記少なくとも一つ以上のディスプレイに出力するディスプレイコントローラを含むことができる。
【0033】
一実施形態によれば、前記アプリケーションプロセッサは、前記第1イメージデータを臨時保存して前記後処理プロセッサで出力するメモリをさらに含むことができる。
【0034】
一実施形態によれば、前記モードコントローラは、リアルタイム運営システム(Real−Time Operation System;RTOS)を含むことができる。
【0035】
一実施形態によれば、前記モバイル機器は、携帯電話、スマートフォン、デジタルカメラ、タブレットまたは、ビデオカメラで具現することができる。
【0036】
一実施形態によれば、前記アプリケーションプロセッサは、少なくとも一つ以上の入出力端子を介して外部ディスプレイに接続され、前記イメージデータを前記外部ディスプレイに出力することができる。
【0037】
一実施形態によれば、前記アプリケーションプロセッサと前記カメライメージセンサは、MIPI、ITU−R BT.601、ITU−R BT.656またはITU−R BT.709に基づいて通信を実行することができる。
【0038】
一実施形態によれば、前記キャプチャ準備信号は、フォーカス動作を行うためのオートフォーカススタート信号(auto focus start signal)とすることができる。
【0039】
一実施形態によれば、前記キャプチャ準備信号は、フォーカス動作を行うための外部入力信号(external input signal)とすることができる。
【0040】
一実施形態によれば、前記キャプチャ準備信号は、スマイル検出動作を行うためのスマイル検出信号(smile detect signal)とすることができる。
【0041】
一実施形態によれば、前記キャプチャ準備信号は、顔検出動作を行うための顔検出信号(face detect signal)とすることができる。
【0042】
本発明のまた他の目的を達成するために、本発明の実施形態に係るカメラモジュールのイメージセンサ動作方法は、イメージセンサのイメージ出力解像度として第1解像度を利用して前記イメージセンサからプレビュイメージを出力させる段階と、カメラモジュールに受信されるキャプチャ準備信号に応答して前記イメージセンサの前記イメージ出力解像度を前記第1解像度から前記第1解像度より高い第2解像度に変更させる段階と、前記カメラモジュールに受信されるキャプチャ信号に応答して前記イメージセンサの前記イメージ出力解像度として前記第2解像度を利用して選択されたイメージをキャプチャする段階とを含むことができる。ここで、前記キャプチャ準備信号は前記キャプチャ信号より先に前記カメラモジュールに受信することができる。
【発明の効果】
【0043】
本発明の実施形態に係る低電力シャッタラグ除去方法は、カメライメージセンサのプレビュモード(preview mode)でセンサ出力イメージを低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、カメライメージセンサのキャプチャ準備モード(capture preparation mode)でセンサ出力イメージを高解像度に維持することによって、カメライメージセンサのプレビュモードで不必要な電力が消費されるのを防止するだけでなく、カメライメージセンサのキャプチャ準備モードでキャプチャ動作時、発生するシャッタラグを効率的に除去することができる。
【0044】
本発明の実施形態に係るカメラモジュール及びそれを備えたモバイル機器は、カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージを高解像度に維持することによって、カメライメージセンサのプレビュモードで不必要な電力が消費されるのを防止するだけでなく、カメライメージセンサのキャプチャ準備モードでキャプチャ動作時、発生するシャッタラグを効率的に除去することができる。
【0045】
ただし、本発明の効果はこれに限定されるのではなく、本発明の思想、及び領域から逸脱しない範囲で多様に拡張される。
【図面の簡単な説明】
【0046】
【図1】本発明の一実施形態に係るシャッタラグ除去方法を示すフローチャート。
【図2】図1のシャッタラグ除去方法を説明するための図。
【図3】本発明の他の実施形態に係るシャッタラグ除去方法を示すフローチャート。
【図4】図3のシャッタラグ除去方法を説明するための図。
【図5】本発明のまた他の実施形態に係るシャッタラグ除去方法を示すフローチャート。
【図6】図5のシャッタラグ除去方法を説明するための図。
【図7】本発明のまた他の実施形態に係るシャッタラグ除去方法を示すフローチャート。
【図8】図7のシャッタラグ除去方法を説明するための図。
【図9】本発明の実施形態に係るシャッタラグ除去方法を示す概念図。
【図10】本発明の実施形態に係るシャッタラグ除去方法を示すタイミング図。
【図11】本発明の実施形態に係るカメラモジュールを示すブロック図。
【図12】図11のカメラモジュールに備わるイメージセンサ部の一例を示すブロック図。
【図13】図11のカメラモジュールに備わるイメージ信号処理部の一例を示すブロック図。
【図14】図11のカメラモジュールに備わるモード制御部の一例を示すブロック図。
【図15】図11のカメラモジュールがモバイル機器に適用されること例を示すブロック図。
【図16】図11のカメラモジュールがモバイル機器に適用される他の例を示すブロック図。
【図17】図11のカメラモジュールがモバイル機器に適用されるまた他の例を示すブロック図。
【図18】図11のカメラモジュールがモバイル機器に適用されるまた他の例を示すブロック図。
【図19】本発明の実施形態に係るカメラモジュールを備えたモバイル機器を示すブロック図。
【図20】図19のモバイル機器が外部ディスプレイに接続されること例を示す図。
【図21】図19のモバイル機器で具現される多様な例を示す図。
【図22】図19のモバイル機器で具現される多様な例を示す図。
【図23】図19のモバイル機器で具現される多様な例を示す図。
【図24】図19のモバイル機器で具現される多様な例を示す図。
【図25】本発明の実施形態に係るカメラモジュールを備えた電子機器を示すブロック図。
【図26】図25の電子機器で使われるインターフェースの一例を示すブロック図。
【発明を実施するための最良の形態】
【0047】
本明細書に開示されている本発明の実施形態に対して、特定の構造的、機能的説明は、単に本発明の実施形態を説明するための目的で例示されたものであり、本発明の実施形態は多様な形態で実施することができ、本発明は、本明細書に説明された実施形態に限定されるものではない。
本発明は多様な変更を加えることができ、種々の形態を有することができるが、特定の実施形態を図面に例示して本明細書に詳細に説明する。しかし、これは本発明を特定の開示形態に限定しようとするものではなく、本発明の思想、及び技術範囲に含まれるすべての変更、均等物、代替物を含むと理解すべきである。
【0048】
本明細書において、第1、第2等の用語は多様な構成要素を説明するのに使用されているが、これらの構成要素がこのような用語によって限定されるものではない。これらの用語は一つの構成要素を他の構成要素から区別する目的で使われ、例えば、本発明の権利範囲から逸脱しなければ第1構成要素は第2構成要素と命名することができ、同様に第2構成要素も第1構成要素と命名することができる。
【0049】
ある構成要素が他の構成要素に「連結されて」いる、または「接続されて」いると言及されている場合には、その他の構成要素に直接的に連結されていたり、接続されていることも意味するが、中間に他の構成要素が存在する場合も含む。一方、ある構成要素が他の構成要素に「直接連結されて」いる、または「直接接続されて」いると言及されている場合には、中間に他の構成要素は存在しない。構成要素の間の関係を説明する他の表現、すなわち「〜間に」と「直接〜間に」または「〜に隣接する」と「〜に直接隣接する」等も同様である。
【0050】
本明細書で使用した用語は、単に特定の実施形態を説明するために使用したものであり、本発明を限定するものではない。単数の表現は文脈上明白に異なるように意味しない限り、複数の表現を含む。また、本明細書で、「含む」又は「有する」等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品又は、これを組み合わせたものが存在するということを示すものであって、一つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品又は、これを組み合わせたものなどの存在又は、付加の可能性を、予め排除するものではない。
【0051】
また、別に定義しない限り、技術的あるいは科学的用語を含み、本明細書中において使用される全ての用語は、本発明が属する技術分野で通常の知識を有する者が、一般的に理解するのと同一の意味を有する。一般的に使用される辞書において定義される用語と同じ用語は、関連技術の文脈上で有する意味と一致する意味を有すると理解するべきで、本明細書において明白に定義しない限り、理想的あるいは形式的な意味として解釈してはならない。
【0052】
以下、図面を参照して、本発明の望ましい実施の形態の具体例を詳細に説明する。図面中の同一構成要素については同一参照符号を使用し、同一構成要素についての重複した説明は省略する。
【0053】
図1は本発明の一実施形態に係るシャッタラグ除去方法を示すフローチャートである。
【0054】
図1を参照すれば、図1のシャッタラグ除去方法は、カメライメージセンサのプレビュモード(preview mode)でセンサ出力イメージを低解像度に維持(ステップS120)し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更してカメライメージセンサをキャプチャ準備モード(capture preparation mode)に進入(ステップS140)させ、カメライメージセンサのキャプチャ準備モードでキャプチャ信号に応答してセンサ出力イメージをキャプチャ(ステップS160)することができる。さらに、図1のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージがキャプチャされると、センサ出力イメージのキャプチャ完了時点にセンサ出力イメージを低解像度に変更し、カメライメージセンサをプレビュモードに再進入(ステップS180)させることができる。
【0055】
一般的に、カメラモジュールを具備するモバイル機器は使用者がカメラ機能を選択すると、カメラモジュール内のカメライメージセンサは、イメージをリアルタイムであらかじめ見ることのできるプレビュモードに進入する。即ち、使用者はプレビュモードでプレビュ画像を見ながら被写体を選択することができる。この時、使用者がシャッタリリースボタン(shutter release button)を押すと、被写体に相応するイメージがキャプチャできる。このように、プレビュモードは使用者に便宜性を提供することができる。しかし、カメライメージセンサがプレビュモードで動作する時、カメライメージセンサから出力されるセンサ出力イメージを高解像度に設定(即ち、フルフレームプレビュ(full frame preview))すると、不要な電力を消費してしまう。
【0056】
これに対し、カメライメージセンサのプレビュモードではセンサ出力イメージを低解像度に維持し、使用者がシャッタリリースボタンを押すことによって発生するキャプチャ信号が入力されてから、センサ出力イメージを高解像度に変更してイメージキャプチャを行う方式が多く利用されている。しかし、センサ出力イメージを低解像度から高解像度に変更する一連の動作には所定の遅延(delay)が伴うので、使用者がシャッタリリースボタンを押した時点とイメージがキャプチャされる時点とは、互いに相違する。
【0057】
このように、シャッタラグは、使用者がシャッタリリースボタンを押した時点とイメージキャプチャが行われる時点との間の遅延を意味し、このようなシャッタラグために使用者は、所望する瞬間のイメージを正確に得ることができない。例えば、カメラモジュールを具備した携帯電話では、シャッタラグが0.1秒〜0.3秒程度になるから、使用者はシャッタリリースボタンを押した時点から前記時間が経過した時点のイメージを得ることができる。
【0058】
一方、使用者はシャッタリリース ボタンを押したりまたは、他の動作を実行することによって、イメージキャプチャ動作によりシャッタが開かれたり閉じられたりするシャッタリリース動作をトリガ(trigger)させることができる。以下、本明細書では、明確にするために、シャッタリリース動作を始めることを、シャッタをトリガする、または、シャッタリリースボタンを押すと表現する。ただし、シャッタリリース動作を開始させる方法がシャッタをトリガしたり、または、シャッタリリースボタンを押すことだけに限定されるものではない。
【0059】
このような問題点を解決するために、図1のシャッタラグ除去方法は、カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に維持(ステップS120)する。即ち、シャッタラグを除去するために、カメライメージセンサのプレビュモードでセンサ出力イメージを高解像度に維持するのは不要な電力消費を発生させることになるので、図1のシャッタラグ除去方法では、カメライメージセンサのプレビュモードではセンサ出力イメージを低解像度に維持させる。実施形態により、図1のシャッタラグ除去方法は、センサ出力イメージを低解像度に維持させておいて、サブサンプリング機能(sub sampling function)を適用することができる。
【0060】
本発明では、センサ出力イメージを「低解像度」と「高解像度」とに区分したが、センサ出力イメージの解像度とは、センサ出力イメージの画素(pixel)、サイズ(size)、容量(capacity)、サンプリングレート(sampling rate)などを全部含む意味として理解すべきである。この時、「低解像度」とは基準解像度と同一であるか、または、基準解像度より低い解像度であり、「高解像度」とは基準解像度より高い解像度である。
【0061】
一方、センサ出力イメージの低解像度の大きさは、ディスプレイの出力サイズに対応させることができる。例えば、低解像度のセンサ出力イメージは、VGA(640×480)サイズに選択することができる。さらに、ディスプレイの出力サイズが変更される場合に、センサ出力イメージの低解像度の大きさは可変することができる。例えば、図1のシャッタラグ除去方法を採用するカメラモジュールが外部ディスプレイに接続されて外部ディスプレイにイメージデータを出力する場合に、センサ出力イメージの低解像度の大きさは外部ディスプレイの出力サイズに対応するように変更することができる。
【0062】
図1のシャッタラグ除去方法は、カメライメージセンサのプレビュモードでキャプチャ準備信号が入力されると、キャプチャ準備信号に応答してセンサ出力イメージを高解像度に変更することによって、カメライメージセンサをイメージキャプチャを準備するためのキャプチャ準備モードに進入(ステップS140)させることができる。即ち、図1のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モードでシャッタリリースボタンが押される時、センサ出力イメージを高解像度に変更するのではなく、カメライメージセンサがプレビュモードでキャプチャ準備モードに進入すると同時に、センサ出力イメージを高解像度に変更する。
【0063】
その結果、キャプチャ信号が入力される時点(即ち、使用者がシャッタリリースボタンを押す時点)では、既にセンサ出力イメージが高解像度に変更されているので、使用者がシャッタリリースボタンを押した以後はセンサ出力イメージを低解像度から高解像度に変更する一連の動作は要求されない。これにより、使用者がシャッタリリースボタンを押した時点とイメージキャプチャが行われる時点との間の遅延であるシャッタラグを発生させないようにすることができる。
【0064】
一方、センサ出力イメージの高解像度の大きさは、既設定されたサイズに相当し、使用者によって可変することができる。例えば、高解像度のセンサ出力イメージは、フルフレームサイズ、即ち、5M(2608×1960)、8M(3264×2448)などに選択することができる。このように、図1のシャッタラグ除去方法を採用したカメラモジュールは、イメージをリアルタイムで見るためのプレビュモードとイメージキャプチャを準備するためのキャプチャ準備モードとで動作することができる。例えば、図1のシャッタラグ除去方法を採用したカメラモジュールにおいて、プレビュモードは、実質的に低解像度プレビュモードと命名することができ、キャプチャ準備モードは、実質的に高解像度プレビュモードと命名することができる。
【0065】
一実施形態において、キャプチャ準備信号は、フォーカス動作を行うためのオートフォーカススタート信号(auto focus start signal)とすることができる。例えば、使用者がカメラ機能設定メニュでオートフォーカス機能を選択する場合に、センサ出力イメージが低解像度から高解像度に変更される時点は、前記オートフォーカススタート信号が入力される時点とすることができる。
【0066】
他の実施形態において、キャプチャ準備信号はフォーカス動作を行うための外部入力信号(external input signal)とすることができる。この時、外部入力信号はタッチ入力信号、ボタン入力信号、音声入力信号のうちから選択される少なくとも一つ以上の信号とすることができる。例えば、使用者がディスプレイ上でフォーカスを合わせたい被写体にタッチを加えたり、カメラフォーカスボタンを押したり、または、フォーカス動作実行のための音声を出す場合に、センサ出力イメージが低解像度から高解像度に変更される時点は、使用者によって前記外部入力信号が入力される時点とすることができる。
【0067】
また他の実施形態において、キャプチャ準備信号はスマイル検出動作を行うためのスマイル検出信号(smile detect signal)とすることができる。例えば、使用者がカメラ機能設定メニュでスマイル検出機能を選択する場合に、センサ出力イメージが低解像度から高解像度に変更される時点は被写体(即ち、人)のスマイルが検出されてスマイル検出信号が生成される時点とすることができる。
【0068】
また他の実施形態において、キャプチャ準備信号は顔検出動作を行うための顔検出信号(face detect signal)とすることができる。例えば、使用者がカメラ機能設定メニュで顔検出機能を選択する場合に、センサ出力イメージが低解像度から高解像度に変更される時点は、被写体(即ち、人)の顔が検出されて顔検出信号が生成される時点とすることができる。実施形態によって、キャプチャ準備信号は使用者によってシャッタリリースボタンが押される以前にカメラで生成することのできる多様な信号のうちから多様に選択することができる。
【0069】
一方、センサ出力イメージがキャプチャ準備信号に応答して低解像度から高解像度に変更する場合、センサ出力イメージは、カメライメージセンサのプレビュモードでキャプチャ準備信号が入力されると同時に、低解像度から高解像度に変更することができる。または、センサ出力イメージはカメライメージセンサのプレビュモードでキャプチャ準備信号が入力されると、既設定された時間が経過した後に低解像度から高解像度に変更することができる。一般的に、センサ出力イメージが低解像度から高解像度に変更される時、カメラモジュールの動作モードもプレビュモードからキャプチャ準備モードに切り替わるので、センサ出力イメージはカメライメージセンサのプレビュモードでキャプチャ準備信号が入力されると同時に低解像度から高解像度に変更するのが望ましい。
【0070】
しかし、センサ出力イメージがカメライメージセンサのプレビュモードでキャプチャ準備信号が入力されると同時に低解像度から高解像度に変更される場合、ディスプレイ上に表示されるイメージに切れ、雑音、残像などが発生することがある。このような場合には、クロックエッジ(clock edge)などを一致させるために、キャプチャ準備信号の入力時点から既設定された時間が経過した後に、センサ出力イメージを低解像度から高解像度に変更することができる。
【0071】
カメライメージセンサのキャプチャ準備モードで使用者がシャッタリリースボタンを押すことによってキャプチャ信号が生成されると、図1のシャッタラグ除去方法は、このようなキャプチャ信号に応答してセンサ出力イメージをキャプチャ(ステップS160)することができる。上述した通り、カメライメージセンサのキャプチャ準備モードでは、センサ出力イメージが高解像度に既に変更されているので、センサ出力イメージを低解像度から高解像度に変更する一連の動作が要求されず、使用者がシャッタリリースボタンを押した時点とイメージキャプチャが行われる時点との間の遅延であるシャッタラグが発生しない。
【0072】
さらに、キャプチャ準備信号がオートフォーカススタート信号、外部入力信号(例えば、タッチ入力信号、ボタン入力信号、音声入力信号など)、スマイル検出信号、顔検出信号などのようにフォーカス動作と関連した信号であるので、カメライメージセンサのキャプチャ準備モードで前記キャプチャ準備信号に応じてフォーカス動作を共に実行することができる。従って、使用者は実質的にカメラモジュールで発生する最大の遅延に該当するフォーカス動作による遅延を感じない可能性もある。実施形態によって、図1のシャッタラグ除去方法は、カメラモジュールでフォーカス動作が完了する場合、使用者にフォーカス動作が完了したことを視覚的または聴覚的に認知させることができる。
【0073】
その後、図1のシャッタラグ除去方法は、前記段階(ステップS160)でセンサ出力イメージがキャプチャされると、センサ出力イメージを低解像度に変更してカメライメージセンサをプレビュモードに再進入(ステップS180)させることができる。さらに、図1のシャッタラグ除去方法は、新しいイメージキャプチャのために前記段階(ステップS120、ステップS140、ステップS160、ステップS180)を継続的に繰り返すこともできる。
【0074】
このように、図1のシャッタラグ除去方法は、カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージを高解像度に維持することによって、カメライメージセンサのプレビュモードで不必要な電力が消費されるのを防止するだけでなく、カメライメージセンサのキャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。
【0075】
図2は図1のシャッタラグ除去方法を説明するための図である。
図2を参照すれば、図1のシャッタラグ除去方法によれば、カメラモジュールの動作モードをプレビュモード11、13と、キャプチャ準備モード12との間で切り替えることができる。カメライメージセンサのプレビュモード11、13では、センサ出力イメージを低解像度に維持し、カメライメージセンサのキャプチャ準備モード12では、センサ出力イメージを高解像度に維持することができる。従って、カメライメージセンサのプレビュモード11、13は、実質的に低解像度プレビュモードと命名することができ、カメライメージセンサのキャプチャ準備モード12は実質的に高解像度プレビュモードと命名することができる。
【0076】
図2に示したように、図1のシャッタラグ除去方法は、カメライメージセンサのプレビュモード11でキャプチャ準備信号PSEが入力されると、キャプチャ準備信号PSEに応答してセンサ出力イメージを高解像度に変更して、カメライメージセンサをイメージキャプチャを準備するためのキャプチャ準備モード12に進入させることができる。この時、キャプチャ準備信号PSEは、オートフォーカススタート信号、外部入力信号(例えば、タッチ入力信号、ボタン入力信号、音声入力信号など)、スマイル検出信号、顔検出信号を含むことができる。
【0077】
カメライメージセンサのキャプチャ準備モード12で使用者がシャッタリリースボタンを押すことによって生成されるキャプチャ信号SSが入力されると、図1のシャッタラグ除去方法は、このようなキャプチャ信号SSに応答してセンサ出力イメージをキャプチャすることができる。この時、カメライメージセンサのキャプチャ準備モード12ではセンサ出力イメージが高解像度に既に変更されているので、センサ出力イメージを低解像度から高解像度に変更する一連の動作が要求されない。したがって、使用者がシャッタを押した時点とイメージキャプチャが行われる時点との間の遅延であるシャッタラグが発生しない。
【0078】
さらに、図1のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モード12でセンサ出力イメージがキャプチャされると、センサ出力イメージのキャプチャ完了時点CSでセンサ出力イメージを低解像度に変更して、カメライメージセンサをプレビュモード13に再進入させることができる。即ち、カメライメージセンサのプレビュモード13で新しいイメージキャプチャのためのキャプチャ準備信号PSEが入力される時まで、センサ出力イメージは、再び低解像度に維持される。
【0079】
このように、図1のシャッタラグ除去方法は、カメライメージセンサのプレビュモード11、13で不必要な電力が消費されるのを防止できるだけでなく、カメライメージセンサのキャプチャ準備モード12でキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。
【0080】
図3は本発明の他の実施形態に係るシャッタラグ除去方法を示すフローチャートである。
図3を参照すれば、図3のシャッタラグ除去方法は、カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に維持(ステップS220)し、キャプチャ準備信号に応答してセンサ出力イメージを高解像度に変更してカメライメージセンサをキャプチャ準備モードに進入(ステップS240)させ、カメライメージセンサのキャプチャ準備モードでキャプチャ信号に応答してセンサ出力イメージをキャプチャ(ステップS260)することができる。ただし、前記段階(ステップS220、ステップS240、ステップS260)に対しては上述したので、それに関する重複する説明は省略する。
【0081】
図3のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージがキャプチャされると、センサ出力イメージのキャプチャ完了時点から、既設定された時間だけ経過(ステップS270)した後に、センサ出力イメージを低解像度に変更してカメライメージセンサをプレビュモードに再進入(ステップS280)させることができる。一般的に、フォーカス動作に伴う遅延は、実質的にカメラモジュールで発生する最大遅延に該当する。
【0082】
また、使用者はイメージキャプチャの実行において、一度に複数のイメージキャプチャを実行すること(例えば、カメラの連写機能など)が多い。従って、図3のシャッタラグ除去方法は、センサ出力イメージのキャプチャ完了時点以後にも、カメライメージセンサを既設定した時間だけ、キャプチャ準備モードとして動作させることによって、フォーカス動作が完了した被写体に対して継続的にイメージキャプチャが可能となる。その結果、図3のシャッタラグ除去方法は、カメラモジュールの動作モードがプレビュモードとキャプチャ準備モードとの間で切り替わる回数が必要以上に多くなることを防止することができる。
【0083】
このように、図3のシャッタラグ除去方法は、センサ出力イメージをカメライメージセンサのプレビュモードで低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージを高解像度に維持することによって、カメライメージセンサのプレビュモードで不必要な電力が消費されるのを防止するだけでなく、カメライメージセンサのキャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。
【0084】
図4は図3のシャッタラグ除去方法を説明するための図である。
図4を参照すれば、図3のシャッタラグ除去方法によってカメラモジュールの動作モードをプレビュモード21、23と、キャプチャ準備モード22との間で切り替えることができる。カメライメージセンサのプレビュモード21、23では、センサ出力イメージを低解像度に維持し、カメライメージセンサのキャプチャ準備モード22ではセンサ出力イメージを高解像度に維持することができる。従って、カメライメージセンサのプレビュモード21、23は、実質的に低解像度プレビュモードと命名することができ、カメライメージセンサのキャプチャ準備モード22は、実質的に高解像度プレビュモードと命名することができる。
【0085】
図4に示したように、図3のシャッタラグ除去方法は、カメライメージセンサのプレビュモード21でキャプチャ準備信号PSEが入力されると、キャプチャ準備信号PSEに応答してセンサ出力イメージを高解像度に変更して、カメライメージセンサをイメージキャプチャを準備するためのキャプチャ準備モード22に進入させることができる。この時、キャプチャ準備信号PSEは、オートフォーカススタート信号、外部入力信号(例えば、タッチ入力信号、ボタン入力信号、音声入力信号など)、スマイル検出信号、顔検出信号を含むことができる。
【0086】
カメライメージセンサのキャプチャ準備モード22で使用者がシャッタリリースボタンを押すことによって生成されるキャプチャ信号SSが入力されると、図3のシャッタラグ除去方法は、このようなキャプチャ信号SSに応答してセンサ出力イメージをキャプチャすることができる。この時、カメライメージセンサのキャプチャ準備モード22では、センサ出力イメージが高解像度に既に変更されているので、センサ出力イメージを低解像度から高解像度に変更する一連の動作が要求されない。したがって、使用者がシャッタリリースボタンを押した時点と、イメージキャプチャが行われる時点との間の遅延であるシャッタラグが発生しなくなる。
【0087】
さらに、図3のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モード22でセンサ出力イメージがキャプチャされると、センサ出力イメージのキャプチャ完了時点CSから既設定された時間PTだけ経過した後に、センサ出力イメージを低解像度に変更してカメライメージセンサをプレビュモード23に再進入させることができる。即ち、図3のシャッタラグ除去方法は、センサ出力イメージのキャプチャ完了時点CS以後にも、カメライメージセンサを既設定された時間PTだけキャプチャ準備モード22で動作させることによって、追加的なイメージキャプチャASSを可能とする。
【0088】
センサ出力イメージのキャプチャ完了時点CSから既設定された時間PTだけ経過した後に、カメラモジュールの動作モードがプレビュモード23に転換されて、図3のシャッタラグ除去方法は、カメライメージセンサのプレビュモード23で新しいイメージキャプチャのためのキャプチャ準備信号PSEが入力される時まで、センサ出力イメージを低解像度に維持させることができる。このように、図3のシャッタラグ除去方法は、カメライメージセンサのプレビュモード21、23で不必要な電力が消費されるのを防止するだけでなく、カメライメージセンサのキャプチャ準備モード22でキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、図3のシャッタラグ除去方法は、フォーカス動作が完了した被写体に対して継続的にイメージキャプチャを可能にすることによって、カメラモジュールの動作モードがプレビュモード21、23と、キャプチャ準備モード22との間で切り替わる回数が不必要に多くなるのを防止することができる。
【0089】
図5は本発明のまた他の実施形態に他のシャッタラグ除去方法を示すフローチャートである。
図5を参照すれば、図5のシャッタラグ除去方法は、カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に維持(ステップS320)し、キャプチャ準備信号に応答してセンサ出力イメージを高解像度に変更してカメライメージセンサをキャプチャ準備モードに進入(ステップS340)させることができる。ただし、前記段階(ステップS320,ステップS340)に対しては上述したので、それに関する重複する説明は省略する。
【0090】
図5のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モードでモード転換信号が入力(ステップS360)されると、センサ出力イメージを低解像度に変更してカメライメージセンサをプレビュモードに再進入(ステップS380)させることができる。例えば、使用者がカメラモジュールの動作モードをキャプチャ準備モードでプレビュモードに切り替えるために所定のボタンを押す場合に、カメラモジュールの動作モードを切り替えるためのモード転換信号が生成され、センサ出力イメージがこのようなモード転換信号に応答して低解像度に変更されることによって、カメライメージセンサがプレビュモードに再進入させることができる。
【0091】
一般的に、キャプチャ準備信号に応答してセンサ出力イメージが高解像度に変更されてカメライメージセンサがキャプチャ準備モードに進入したとしても、使用者が意図的にカメラモジュールの動作モードをキャプチャ準備モードからプレビュモードに切り替える場合がある。従って、図5のシャッタラグ除去方法は、使用者が所定のボタンを押すことによって生成されるモード転換信号に応答してカメラモジュールの動作モードをキャプチャ準備モードからプレビュモードに切り替えるようにしたものである。
【0092】
上述したように、図5のシャッタラグ除去方法は、センサ出力イメージをカメライメージセンサのプレビュモードで低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージを高解像度に維持することによって、カメライメージセンサのプレビュモードでの不必要な電力の消費を防止するだけでなく、カメライメージセンサのキャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、図5のシャッタラグ除去方法は、使用者が相対的に消費電力が大きなキャプチャ準備モードを任意に終了できるようにすることによって、カメラモジュールの消費電力を大幅に減少させることができる。
【0093】
図6は図5のシャッタラグ除去方法を説明するための図である。
図6を参照すれば、図5のシャッタラグ除去方法によって、カメラモジュールの動作モードをプレビュモード31、33と、キャプチャ準備モード32との間で切り替えることができる。カメライメージセンサのプレビュモード31、33では、センサ出力イメージを低解像度に維持し、カメライメージセンサのキャプチャ準備モード32ではセンサ出力イメージを高解像度に維持することができる。従って、カメライメージセンサのプレビュモード31、33は、実質的に低解像度プレビュモードと命名することができ、カメライメージセンサのキャプチャ準備モード32は、実質的に高解像度プレビュモードと命名することができる。
【0094】
図6に示したように、図5のシャッタラグ除去方法は、カメライメージセンサのプレビュモード31でキャプチャ準備信号PSEが入力されると、キャプチャ準備信号PSEに応答してセンサ出力イメージを高解像度に変更し、カメライメージセンサをイメージキャプチャを準備するためのキャプチャ準備モード32に進入させることができる。この時、キャプチャ準備信号PSEは、オートフォーカススタート信号、外部入力信号(例えば、タッチ入力信号、ボタン入力信号、音声入力信号など)、スマイル検出信号、顔検出信号を含むことができる。
【0095】
図5のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モード32でモード転換信号MCSが入力されると、センサ出力イメージを低解像度に変更してカメライメージセンサをプレビュモード33に再進入させることができる。例えば、モード転換信号MCSは、使用者がカメラモジュールの動作モードをキャプチャ準備モード32からプレビュモード33に切り替えるために所定のボタンを押す場合に生成されるようにすることができる。このように、図5のシャッタラグ除去方法は、使用者が意図的にカメラモジュールの動作モードをキャプチャ準備モード32からプレビュモード33に切り替えできるようにする。
【0096】
上述した通り、図5のシャッタラグ除去方法は、カメライメージセンサのプレビュモード31、33で不必要に電力が消費されるのを防止するだけでなく、カメライメージセンサのキャプチャ準備モード32でキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、図5のシャッタラグ除去方法は、使用者が相対的に消費電力が大きいキャプチャ準備モード32を任意に終了できるようにすることによって、カメラモジュールの消費電力を大幅に減少させることができる。
【0097】
図7は本発明のまた他の実施形態に係るシャッタラグ除去方法を示すフローチャートである。
図7を参照すれば、図7のシャッタラグ除去方法は、カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に維持(ステップS420)し、キャプチャ準備信号に応答してセンサ出力イメージを高解像度に変更してカメライメージセンサをキャプチャ準備モードに進入(ステップS440)させることができる。ただし、前記段階(ステップS420、ステップS440)に対しては上述したので、それに関する重複する説明は省略する。
【0098】
図7のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モードが既設定された時間だけ経過(ステップS460)すると、センサ出力イメージを低解像度に変更してカメライメージセンサをプレビュモードに再進入(ステップS480)させることができる。例えば、使用者がカメライメージセンサのキャプチャ準備モードで、既設定された時間内にシャッタリリースボタンを押さない場合、センサ出力イメージは低解像度に変更され、カメラモジュールの動作モードをプレビュモードに切り替えることができる。
【0099】
即ち、カメラモジュールの動作モードをキャプチャ準備モードに転換された後、使用者が既設定された時間内にシャッタリリースボタンを押さない場合には、使用者がシャッタリリースボタンを押す意思がないと判断できるので、カメライメージセンサをプレビュモードに再進入させることによって不必要な消費電力を減らすことができる。この時、前記既設定された時間は、要求される条件に応じて使用者によって多様に設定することができる。
【0100】
一実施形態において、前記既設定された時間は、キャプチャ準備信号が入力される時点から計算することができ、使用者によって所定の信号(例えば、半シャッタ信号)が入力される場合に、所定の信号が入力される時点から再び計算するようにすることもできる。上述した通り、図7のシャッタラグ除去方法は、センサ出力イメージをカメライメージセンサのプレビュモードで低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージを高解像度に維持することによって、カメライメージセンサのプレビュモードで不必要な電力が消費されるのを防止できるだけでなく、カメライメージセンサのキャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、図7のシャッタラグ除去方法は相対的に消費電力が大きいキャプチャ準備モードを既設定された時間内に制限することによって、カメラモジュールの消費電力を大幅に減少させることができる。
【0101】
図8は図7のシャッタラグ除去方法を説明するための図である。
図8を参照すれば、図7のシャッタラグ除去方法によってカメラモジュールの動作モードをプレビュモード41、43とキャプチャ準備モード42との間で切り替えることができる。カメライメージセンサのプレビュモード41、43ではセンサ出力イメージが低解像度に維持し、カメライメージセンサのキャプチャ準備モード42ではセンサ出力イメージを高解像度に維持することができる。従って、カメライメージセンサのプレビュモード41、43は、実質的に低解像度プレビュモードと命名することができ、カメライメージセンサのキャプチャ準備モード42は実質的に高解像度プレビュモードと命名することができる。
【0102】
図8に示したように、図7のシャッタラグ除去方法は、カメライメージセンサのプレビュモード41でキャプチャ準備信号PSEが入力されると、キャプチャ準備信号PSEに応答してセンサ出力イメージを高解像度に変更し、カメライメージセンサをイメージキャプチャを準備するためのキャプチャ準備モード42に進入させることができる。この時、キャプチャ準備信号PSEは、オートフォーカススタート信号、外部入力信号(例えば、タッチ入力信号、ボタン入力信号、音声入力信号など)、スマイル検出信号、顔検出信号を含むことができる。
【0103】
図7のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モード42で既設定された時間PCTが経過すると、センサ出力イメージを低解像度に変更してカメライメージセンサをプレビュモード43に再進入させることができる。例えば、使用者がカメライメージセンサのキャプチャ準備モード42で既設定された時間PCT内にシャッタリリースボタンを押さない場合に、センサ出力イメージを低解像度に変更し、カメラモジュールの動作モードをプレビュモード43に切り替えることができる。
【0104】
一実施形態において、既設定された時間PCTはキャプチャ準備信号PSEが入力される時点から計算することができ、使用者によって所定の信号(例えば、半シャッタ信号)が入力される場合、所定の信号が入力される時点から再度計算することもできる。このように、図7のシャッタラグ除去方法は、カメラモジュールの動作モードがキャプチャ準備モード42に切り替えられた後に、使用者が既設定された時間PCT内にシャッタリリースボタンを押さない場合には、使用者がシャッタリリースボタンを押す意思がないと判断し、カメラモジュールの動作モードをキャプチャ準備モード42からプレビュモード43に切り替えることができる。
【0105】
上述した通り、図7のシャッタラグ除去方法は、カメライメージセンサのプレビュモード41、43で不必要な電力が消費されるのを防止するだけでなく、カメライメージセンサのキャプチャ準備モード42でキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、図7のシャッタラグ除去方法は、相対的に消費電力が大きいキャプチャ準備モード42を既設定された時間PCT内に制限することによって、カメラモジュールの消費電力を大幅に減少させることができる。
【0106】
図9は本発明の実施形態に係るシャッタラグ除去方法を示す概念図である。
図9を参照すれば、カメラモジュール内のカメライメージセンサはプレビュモード50とキャプチャ準備モード60で動作することができる。カメライメージセンサのプレビュモード50は、イメージをリアルタイムで見るためのモードを意味し、カメライメージセンサのキャプチャ準備モード60は、イメージキャプチャを準備するためのモードを意味する。ただし、カメライメージセンサのキャプチャ準備モード60でも使用者がシャッタリリースボタンを押してイメージキャプチャが始まる前まではイメージをリアルタイムで見ることができる。
【0107】
しかし、カメライメージセンサのプレビュモード50ではセンサ出力イメージが低解像度に維持される反面、カメライメージセンサのキャプチャ準備モード60ではセンサ出力イメージが高解像度に維持される。即ち、カメライメージセンサのプレビュモード50は、低解像度プレビュモードと命名することができ、カメライメージセンサのキャプチャ準備モード60は高解像度プレビュモードと命名することができる。
【0108】
例えば、低解像度のセンサ出力イメージはVGA(640×480)サイズに選択することができ、高解像度のセンサ出力イメージはフルフレームサイズ、即ち、5M(2608×1960)、8M(3264×2448)などに選択することができる。このように、本発明の実施形態に係るシャッタラグ除去方法は、カメラモジュールの動作モードをプレビュモード50とキャプチャ準備モード60との間で切り替える動作を実行しなければならない。
【0109】
上述した通り、カメライメージセンサのプレビュモード50とカメライメージセンサのキャプチャ準備モード60とは、センサ出力イメージの解像度が互いに相違する。従来は、使用者がシャッタリリースボタンを押すことによって発生するキャプチャ信号に基づいてセンサ出力イメージを低解像度から高解像度に変更した。しかし、このような方式では使用者がシャッタリリースボタンを押した時点とイメージキャプチャが行われる時点との間の遅延であるシャッタラグが発生するから、ユーザの望む瞬間のイメージを正確に取ることはできない。
【0110】
このような問題点を解決するために、本発明の実施形態に係るシャッタラグ除去方法は、使用者がシャッタリリースボタンを押すことによって発生するキャプチャ信号とは関係なく、フォーカス動作と関連したキャプチャ準備信号に基づいて、カメラモジュールの動作モードをプレビュモード50からキャプチャ準備モード60に切り替えることができる。この時、キャプチャ準備信号はフォーカス動作を行うためのオートフォーカススタート信号、フォーカス動作を行うための外部入力信号(例えば、タッチ入力信号)、スマイル検出動作を行うためのスマイル検出信号、顔検出動作を行うための顔検出信号などを含むことができる。
【0111】
実施形態によって、キャプチャ準備信号は、指紋検出動作を行うための指紋検出信号、特定の物体検出動作を行うための物体検出信号などをさらに含むこともできる。このように、センサ出力イメージの解像度は、カメライメージセンサのプレビュモード50でキャプチャ準備信号に基づいて低解像度から高解像度に変更(LOW_RES→HIGH_RES)できる。その結果、カメライメージセンサのキャプチャ準備モード60では、センサ出力イメージがすでに高解像度に変更されているので、使用者がシャッタリリースボタンを押した時点とイメージキャプチャが行われる時点との間の遅延であるシャッタラグは発生しない。
【0112】
一方、本発明の実施形態に係るシャッタラグ除去方法は、多様な方式でカメラモジュールの動作モードをキャプチャ準備モード60からプレビュモード50に切り替えることができる。即ち、センサ出力イメージの解像度は、カメライメージセンサのキャプチャ準備モード60で多様な方式で高解像度から低解像度に変更(HIGH_RES→LOW_RES)することができる。一実施形態において、カメライメージセンサのキャプチャ準備モード60でセンサ出力イメージがキャプチャされると、センサ出力イメージのキャプチャ完了時点で、センサ出力イメージの解像度を高解像度から低解像度に変更することができる。
【0113】
他の実施形態において、カメライメージセンサのキャプチャ準備モード60からセンサ出力イメージがキャプチャされると、センサ出力イメージのキャプチャ完了時点から既設定された時間だけ経過した後に、センサ出力イメージの解像度を高解像度から低解像度に変更することができる。また他の実施形態において、カメライメージセンサのキャプチャ準備モード60でモード転換信号が入力されると、センサ出力イメージの解像度を高解像度から低解像度に変更することができる。
【0114】
また他の実施形態において、カメライメージセンサのキャプチャ準備モード60が既設定された時間だけ経過すると、センサ出力イメージの解像度を高解像度から低解像度に変更することができる。
【0115】
このように、本発明の実施形態に係るシャッタラグ除去方法は、カメライメージセンサのプレビュモード50で不必要な電力が消費されるのを防止できるだけでなく、カメライメージセンサのキャプチャ準備モード60でキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、本発明の実施形態に係るシャッタラグ除去方法は、相対的に消費電力が大きいキャプチャ準備モードを最小化することができる。
【0116】
図10は本発明の実施形態に係るシャッタラグ除去方法を示すタイミング図である。
図10を参照すれば、本発明の実施形態に係るシャッタラグ除去方法は、カメラモジュールの動作モードをプレビュモードとキャプチャ準備モードとの間で切り替えることができる。この時、第1モードチェンジ(MODE CHANGE_1)は、カメラモジュールの動作モードがプレビュモードからキャプチャ準備モードに切り替わることを示し、第2モードチェンジ(MODE CHANGE_2)は、カメラモジュールの動作モードがキャプチャ準備モードからプレビュモードに切り替わることを示す。
【0117】
図10に示したように、カメライメージセンサのプレビュモードではセンサ出力イメージが低解像度に維持されるから、カメライメージセンサを駆動するためのクロック周波数も低く、前記プレビュモードを実行するための消費電力も小さい。反面、カメライメージセンサのキャプチャ準備モードではセンサ出力イメージが高解像度に維持されるので、カメライメージセンサを駆動するためのクロック周波数も高く、前記プレビュモードを実行するための消費電力も大きい。従って、カメライメージセンサの消費電力を減らすためには消費電力が大きいキャプチャ準備モードの区間を最小化させなければならない。
【0118】
このために、本発明の実施形態に係るシャッタラグ除去方法は、イメージキャプチャのために使用者がシャッタリリースボタンを押す以前に、カメラモジュールで必須的に生成されるキャプチャ準備信号を利用することができる。
具体的に、第1モードチェンジ(MODE CHANGE_1)は、カメライメージセンサのプレビュモードでキャプチャ準備信号が入力されると、前記キャプチャ準備信号に応答してセンサ出力イメージを高解像度に変更することによって行われる。即ち、カメラモジュールの動作モードがキャプチャ準備信号に基づいてプレビュモードからキャプチャ準備モードに切り替えることができる。
【0119】
一般的に、イメージキャプチャ時にフォーカス動作を必須的に行うように、キャプチャ準備信号をカメラモジュールのフォーカス動作と関連した信号とすることができる。例えば、キャプチャ準備信号は、フォーカス動作を行うためのオートフォーカススタート信号、フォーカス動作を行うための外部入力信号(例えば、タッチ入力信号)、スマイル検出動作を行うためのスマイル検出信号、顔検出動作を行うための顔検出信号を含むことができる。実施形態により、キャプチャ準備信号は指紋検出動作を行うための指紋検出信号、特定の物体検出動作を行うための物体検出信号などをさらに含むこともできる。
【0120】
このように、本発明の実施形態に係るシャッタラグ除去方法は、キャプチャ準備信号を利用してキャプチャ信号が入力される以前に第1モードチェンジ(MODE CHANGE_1)を実行する。その結果、カメライメージセンサのキャプチャ準備モードではセンサ出力イメージが高解像度に維持されているので、センサ出力イメージの解像度変更に伴うシャッタラグは発生しない。
【0121】
第2モードチェンジ(MODE CHANGE_2)は、要求される条件に応じて多様な方式で行なうことができる。即ち、第2モードチェンジ(MODE CHANGE_2)は、センサ出力イメージを低解像度に変更することによって行われる。一実施形態において、第2モードチェンジ(MODE CHAGE_2)は、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージがキャプチャされると、センサ出力イメージのキャプチャ完了時点に行なうことができる。
【0122】
他の実施形態において、第2モードチェンジ(MODE CHAGE_2)は、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージがキャプチャされると、センサ出力イメージのキャプチャ完了時点から既設定された時間だけ経過した後に行われるようにすることができる。また他の実施形態において、第2モードチェンジ(MODE CHAGE_2)は、カメライメージセンサのキャプチャ準備モードでモード転換信号が入力されると行われるようにすることができる。また他の実施形態において、第2モードチェンジ(MODE CHAGE_2)はカメライメージセンサのキャプチャ準備モードが既設定された時間だけ経過すると行われるようにすることができる。
【0123】
このように、本発明の実施形態に係るシャッタラグ除去方法は、カメライメージセンサのプレビュモードで不必要な電力が消費されるのを防止できるだけでなく、カメライメージセンサのキャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、本発明の実施形態に係るシャッタラグ除去方法は、相対的に消費電力が大きいキャプチャ準備モードを最小化することができる。
一方、本発明の実施形態に係るシャッタラグ除去方法は、カメラモジュールを駆動するためのクロック周波数及びそれに係る消費電力を測定する方式で把握することができる。
【0124】
例えば、カメラモジュールは内部(例えば、モバイル機器のアプリケーションプロセッサとカメライメージセンサとの間)でモバイル・インダストリ・プロセッサ・インターフェース(Mobile Industry Processor Interface;MIPI)、国際電気通信連合無線通信(International Telecommunication Union−Radio communication;ITU−R) BT.601,ITU−R BT.656、または、ITU−R BT.709に基づいて通信を実行することができるので、カメラモジュールの内部で使われるMIPI、ITU−R BT.601、ITU−R BT.656、または、ITU−R BT.709のクロック周波数及びそれにともなう消費電力を測定する方式として、本発明の実施形態に係るシャッタラグ除去方法がカメラモジュール及びそれを具備する電子機器(例えば、モバイル機器)に適用されたかどうかを判断することができる。
【0125】
図11は本発明の実施形態に係るカメラモジュールを示すブロック図である。
図11を参照すれば、カメラモジュール100は、イメージセンサ部120、イメージ信号処理部140、及びモード制御部160を含むことができる。実施形態により、カメラモジュール100は、システムオンチップ(System On Chip;SOC)で製造することができる。
【0126】
イメージセンサ部120は、被写体に相応する光信号LIGの入力を受けて光電変換を実行することによってセンサ出力イメージSOIを生成することができる。このために、イメージセンサ部120は、少なくとも一つ以上のイメージセンサを含むことができ、少なくとも一つ以上のイメージセンサは、CMOS(Complementary Metal−Oxide Semiconductor)イメージセンサ、または、CCD(Charge Coupled Device)イメージセンサとすることができる。
【0127】
センサ出力イメージSOIは、モード制御部160から出力される制御信号CTL1に基づいてプレビュモードで低解像度を有することができ、キャプチャ準備モードで高解像度を有することができる。この時、センサ出力イメージSOIを「低解像度」と「高解像度」とに区分したが、センサ出力イメージSOIの解像度は、センサ出力イメージの画素(pixel)、サイズ(size)、容量(capacity)、サンプリングレート(sampling rate)などを全て含む意味として理解すべきである。この時、低解像度は基準解像度と同一であるか、または、基準解像度より低い解像度であり、高解像度は基準解像度より高い解像度である。
【0128】
一方、センサ出力イメージSOIの低解像度の大きさは、ディスプレイの出力サイズに相応し、ディスプレイの出力サイズが変更されると可変されるようにすることができる。例えば、低解像度のセンサ出力イメージSOIは、VGA(640×480)サイズに選択することができ、カメラモジュール100を含むモバイル機器が外部ディスプレイに接続される場合、センサ出力イメージSOIの低解像度の大きさは、外部ディスプレイの出力サイズに相応するように変更することができる。
【0129】
また、センサ出力イメージSOIの高解像度の大きさは、既設定されたサイズに相応して、使用者によって可変することができる。例えば、高解像度のセンサ出力イメージSOIは、フルフレームサイズ、即ち、5M(2608×1960)、8M(3264×2448)などに選択することができる。このように、イメージセンサ部120はイメージをリアルタイムで見るためのプレビュモードとイメージキャプチャを準備するためのキャプチャ準備モードに従がって互いに異なる解像度を有するセンサ出力イメージSOIを提供することができる。
【0130】
実施形態により、イメージセンサ部120はカメラモジュール100の動作モードが変更される場合、センサ出力イメージSOIの連続性を保障するために、イメージ信号処理部140にインターラプト(interrupt)信号を出力することもできる。
イメージ信号処理部140は、イメージセンサ部120から出力されるセンサ出力イメージSOIを処理してイメージデータIDAを生成することができる。このために、イメージ信号処理部140は、少なくとも一つ以上のイメージ信号プロセッサ(image signal processor;ISP)を含むことができる。
【0131】
例えば、イメージ信号処理部140は、センサ出力イメージSOIに対して自動露出(Auto Exposure;AE)、自動ホワイトバランス(Auto White Balance;AWB)、オートフォーカス(Auto Focus;AF)などに対する処理を実行できる。さらに、イメージ信号処理部140は、スケーラ(scaler)、出力フォーマット(output format)、色補正(color correction)、ガンマ補正(gamma correction)、シェーディング補償(shading compensation)などに対する処理まで実行できる。
【0132】
具体的に、イメージ信号処理部140は、モード制御部160から出力される制御信号CTL2に基づいて低解像度のセンサ出力イメージSOIまたは、高解像度のセンサ出力イメージSOIに対して処理を実行できる。例えば、イメージ信号処理部140は、プレビュモードでイメージセンサ部120から低解像度のセンサ出力イメージSOIが入力されると、低解像度のセンサ出力イメージSOIに対する所定の処理を実行することによって、プレビュモードに適合したイメージデータIDAを出力することができる。反面、イメージ信号処理部140は、キャプチャ準備モードでイメージセンサ部120から高解像度のセンサ出力イメージSOIが入力されると、高解像度のセンサ出力イメージSOIに対する所定の処理を実行することによって、キャプチャ準備モードに適合したイメージデータIDAを出力することができる。
【0133】
実施形態により、イメージセンサ部120とイメージ信号処理部140とは、モバイル・インダストリ・プロセッサ・インターフェース(Mobile Industry Processor Interface;MIPI)及びインタ集積回路(Inter−Integrated Circuit;I2C)バスを介して接続することができる。ただし、これは一つの例示であって、これに限定されるものではない。
【0134】
モード制御部160はキャプチャ準備信号SPSに基づいてカメラモジュール100の動作モードをプレビュモードからキャプチャ準備モードに切り替えることができる。具体的に、モード制御部160は、プレビュモードでキャプチャ準備信号SPSが入力されると、イメージセンサ部120に制御信号CTL1を出力することによって、イメージセンサ部120から出力されるセンサ出力イメージSOIを低解像度から高解像度に変更することができる。
【0135】
一般的に、カメラモジュール100でイメージキャプチャ時にフォーカス動作は必須的に実行されるので、キャプチャ準備信号SPSはカメラモジュール100のフォーカス動作と関連した信号とすることができる。一実施形態において、キャプチャ準備信号SPSは、フォーカス動作を行うためのオートフォーカススタート信号とすることができる。他の実施形態において、キャプチャ準備信号SPSは、フォーカス動作を行うための外部入力信号(例えば、タッチ入力信号など)とすることができる。
【0136】
また他の実施形態において、キャプチャ準備信号SPSは、スマイル検出動作を行うためのスマイル検出信号とすることができる。また他の実施形態において、キャプチャ準備信号SPSは、顔検出動作を行うための顔検出信号とすることができる。このように、モード制御部160は、使用者がシャッタリリースボタンを押す以前にカメラモジュール100で必須的に生成されるキャプチャ準備信号SPSを利用するから、キャプチャ準備モードで使用者がシャッタリリースボタンを押す時点ではセンサ出力イメージSOIが高解像度に維持されるようにできる。その結果、キャプチャ準備モードではセンサ出力イメージSOIが高解像度に維持されるから、使用者がシャッタリリースボタンを押した時点とイメージキャプチャが行われる時点との間の遅延であるシャッタラグは発生しなくなる。
【0137】
さらに、モード制御部160は要求される条件に応じて多様な方式でカメラモジュール100の動作モードをキャプチャ準備モードからプレビュモードに切り替えることができる。上述した通り、プレビュモードではイメージセンサ部120が低解像度のセンサ出力イメージSOIを出力して、キャプチャ準備モードではイメージセンサ部120が高解像度のセンサ出力イメージSOIを出力する。従って、モード制御部120は、特定条件下でカメラモジュール100の動作モードをキャプチャ準備モードからプレビュモードに切り替えることが必要なこともある。
【0138】
一実施形態において、モード制御部160はキャプチャ準備モードでセンサ出力イメージSOIがキャプチャされると、キャプチャ完了時点にカメラモジュール100の動作モードをキャプチャ準備モードからプレビュモードに切り替えることができる。他の実施形態において、モード制御部160は、キャプチャ準備モードでセンサ出力イメージSOIがキャプチャされると、キャプチャ完了時点から既設定された時間だけ経過した後にカメラモジュール100の動作モードをキャプチャ準備モードでプレビュモードに切り替えることができる。
【0139】
また他の実施形態において、モード制御部160はキャプチャ準備モードでモード転換信号が入力されると、それに基づいてカメラモジュール100の動作モードをキャプチャ準備モードでプレビュモードに切り替えることができる。また他の実施形態において、モード制御部160はキャプチャ準備モードが既設定された時間だけ経過すると、カメラモジュール100の動作モードをキャプチャ準備モードでプレビュモードに切り替えることができる。その結果、モード制御部160は相対的に消費電力が大きいキャプチャ準備モードを特定条件下でプレビュモードに切り替えることによってカメラモジュール100の消費電力を大幅に減少させることができる。
【0140】
このように、モード制御部160はイメージセンサ部120及びイメージ信号処理部140に制御信号CTL1、CTL2を出力し、イメージセンサ部120及びイメージ信号処理部140を制御することができる。これに、イメージセンサ部120はプレビュモードで低解像度のセンサ出力イメージSOIを出力して、キャプチャ準備モードで高解像度のセンサ出力イメージSOIを出力することができる。
【0141】
また、イメージ信号処理部140はプレビュモードで低解像度のセンサ出力イメージSOIを処理して外部(即ち、ディスプレイ)に出力し、キャプチャ準備モードで高解像度のセンサ出力イメージSOIを処理して外部に出力することができる。その結果、カメラモジュール100はプレビュモードで不必要な電力が消費されるのを防止できるだけでなく、キャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、カメラモジュール100は、相対的に消費電力が大きいキャプチャ準備モードを最小化することができる。
【0142】
一方、イメージ信号処理部140、及び/または、モード制御部160はアプリケーションプロセッサ内に具現する事もでき、アプリケーションプロセッサとは別途に具現することもできる。一般的に、モバイル機器ではイメージ信号処理部140、及び/または、モード制御部160をアプリケーションプロセッサ内に備えることができる。この場合、モード制御部160は、リアルタイム運営システム(Real−Time Operation System;RTOS)を含むことができ、イメージ信号処理部140は、リアルタイム運営システム(Real−Time Operation System;RTOS)により制御されるようにすることができる。
【0143】
図12は図11のカメラモジュールに備わるイメージセンサ部の一例を示すブロック図である。
図12を参照すれば、イメージセンサ部120は、受光レンズ121、カメライメージセンサ122、モータ123、及びセンサコントローラ124を含むことができる。
受光レンズ121は、カメライメージセンサ122の受光領域(例えば、単位ピクセルアレイに備わった複数の単位ピクセル)に入射光、即ち、被写体に相応する光信号LIGを集光させることができる。カメライメージセンサ122は、受光レンズ121を介して入射された光信号LIGに基づいて被写体に対する情報を含むデータDATAを生成することができる。
【0144】
実施形態により、カメライメージセンサ122は、CMOSイメージセンサ、または、CCDイメージセンサとすることができる。カメライメージセンサ122は、クロック信号CLKに基づいて前記データDATAをセンサコントローラ124に提供することができる。モータ123は、センサコントローラ124から提供される制御信号CTRLに基づいて、受光レンズ121のフォーカスを調節したり、または、シャッタリング(shuttering)を実行する。センサコントローラ124は、カメライメージセンサ122及びモータ123を制御し、カメライメージセンサ122から受信されるデータDATAを処理してセンサ出力イメージSOIとして出力することができる。
【0145】
一方、センサコントローラ124は、イメージ信号処理部140のイメージ信号プロセッサISPなどに接続されて、センサ出力イメージSOIを提供することができる。実施形態により、センサコントローラ124は、MIPI及びI2Cバスを介してイメージ信号処理部140のイメージ信号プロセッサISPに接続することができる。ただし、これは一つの例示であって、これに限定されるものではない。
【0146】
このように、イメージセンサ部120は被写体に相応する光信号LIGの入力を受けて光電変換を実行することによってセンサ出力イメージSOIを生成することができる。この時、センサ出力イメージSOIは、プレビュモードで低解像度を有するようにすることができ、キャプチャ準備モードで高解像度を有するようにすることができる。センサ出力イメージSOIの低解像度の大きさは、ディスプレイの出力サイズに相応し、ディスプレイの出力サイズが変更されることによって可変することができる。センサ出力イメージSOIの高解像度の大きさは、既設定されたサイズに相応し、使用者によって可変することができる。
【0147】
上述した通り、カメラモジュール100の動作モードは、キャプチャ準備信号SPSに基づいてプレビュモードからキャプチャ準備モードに切り替えることができる。その結果、イメージセンサ部120はキャプチャ準備モードで使用者がシャッタリリースボタンを押す時点で高解像度のセンサ出力イメージSOIを出力することができる。また、カメラモジュール100の動作モードは、要求条件に応じて多様な方式でキャプチャ準備モードからプレビュモードに切り替えることができる。その結果、イメージセンサ部120が高解像度のセンサ出力イメージSOIを出力する(即ち、相対的に消費電力が大きい)キャプチャ準備モードが最小化されるから、カメラモジュール100の消費電力を大幅に減少させることができる。
【0148】
図13は図11のカメラモジュールに備わるイメージ信号処理部の一例を示すブロック図である。
図13を参照すれば、イメージ信号処理部140は、イメージ信号プロセッサ142、メモリ144、後処理プロセッサ(post−processor)146、及びディスプレイコントローラ148を含むことができる。
【0149】
イメージ信号プロセッサ142は、イメージセンサ部120から出力されるセンサ出力イメージSOIの入力を受け、前記センサ出力イメージSOIを処理(processing)して第1イメージデータID_1を生成することができる。実質的に、イメージセンサ部120から出力されるセンサ出力イメージSOIは、使用者が認識することのできない信号である。ここで、イメージ信号プロセッサ142はイメージセンサ部120から出力されるセンサ出力イメージSOIを処理して使用者がディスプレイを介して認識できる信号に変換することができる。
【0150】
例えば、イメージ信号プロセッサ142は、イメージセンサ部120から出力されるセンサ出力イメージSOIに対して、カラー形態、画像の大きさ、フレーム速度などを調節することによって第1イメージデータID_1に変換することができる。一方、図13ではイメージ信号プロセッサ142が前処理プロセッサ(pre−processor)の機能まで実行するように図示されている。しかし、前処理プロセッサ(図示せず)はイメージ信号プロセッサ142とは別途に備えることもできる。このような場合、前処理プロセッサは第1イメージデータID_1を後処理プロセッサ146に適合した信号に変換する機能を実行することができる。
【0151】
メモリ144はイメージ信号プロセッサ142から出力されるセンサ出力イメージSOIを臨時に保存した後、後処理プロセッサ146に出力することができる。例えば、メモリ144は、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory;DRAM)、スタティックランダムアクセスメモリ(Static Random Access Memory;SRAM)などのような揮発性メモリ装置及びEPROM(Erasable Programmable Read−Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)及びフラッシュメモリ装置(flash memory device)などのような不揮発性メモリ装置を含むことができる。
【0152】
メモリ144は、一種のバッファ機能を実行し、要求条件に応じて省略することができる。後処理プロセッサ146は、イメージ信号プロセッサ142から出力される第1イメージデータID_1を後処理(post processing)して第2イメージデータID_2を生成することができる。即ち、後処理プロセッサ146は、イメージ信号プロセッサ142、または、前処理プロセッサ(図示せず)から入力される第1イメージデータID_1をディスプレイコントローラ148によってディスプレイに表示されることのできる第2イメージデータID_2に変更することができる。以後、ディスプレイコントローラ148は第2イメージデータID_2をイメージデータIDAとしてディスプレイに表示することができる。
【0153】
このように、イメージ信号処理部140は、イメージセンサ部120から出力されるセンサ出力イメージSOIを処理してイメージデータIDAを出力することができる。実施形態により、イメージデータIDAはJPEG、TIF、GIF、PCXなどの多様なコーデック(codec)で出力することができる。例えば、イメージデータIDAのコーデックで高い圧縮効率を有するグラフィック・ファイル・フォーマットのJPEG(Joint Photographic Experts Group)を主に使用することができる。
【0154】
一方、イメージ信号処理部140はアプリケーションプロセッサ内に具現する事もでき、アプリケーションプロセッサとは別途に具現することもできる。例えば、イメージ信号処理部140をアプリケーションプロセッサ内に具現した場合にはモード制御部160との通信において遅延が発生しないことがある。これに、モード制御部160がリアルタイム運営システムRTOSを含む場合、イメージ信号処理部140は、リアルタイム運営システムRTOSによって制御されるようにすることができる。
【0155】
上述した通り、イメージ信号処理部140はモード制御部160から出力される制御信号CTL2に基づいて、プレビュモードで低解像度のセンサ出力イメージSOIを処理し、キャプチャ準備モードでは高解像度のセンサ出力イメージSOIを処理することができる。その結果、カメラモジュール100はプレビュモードでの不必要な消費電力を減少させることができる。
【0156】
図14は図11のカメラモジュールに備わるモード制御部の一例を示すブロック図である。
図14を参照すれば、モード制御部160は入力ブロック162、制御ブロック164、及び出力ブロック166を含むことができる。
入力ブロック162は、キャプチャ準備信号SPSの入力を受けて制御ブロック164に伝送することができる。この時、キャプチャ準備信号SPSはフォーカス動作を行うためのオートフォーカススタート信号、フォーカス動作を行うための外部入力信号(例えば、タッチ入力信号など)、スマイル検出動作を行うためのスマイル検出信号、顔検出動作を行うための顔検出信号とすることができる。
【0157】
さらに、入力ブロック162は、キャプチャ準備信号SPSに基づいてオートフォーカススタート信号、外部入力信号、スマイル検出信号、顔検出信号に相応する内部信号IS_1を制御ブロック164に提供することができる。制御ブロック164は、入力ブロック162から出力される内部信号IS_1に基づいて、イメージセンサ部120及びイメージ信号処理部140を制御するための内部信号IS_2を生成し、前記内部信号IS_2を出力ブロック166に提供することができる。
【0158】
この時、内部信号IS_2は、イメージセンサ部120及びイメージ信号処理部160を制御するための制御信号CTL1、CTL2に相応させることができる。以後、出力ブロック166は、制御ブロック164から出力される内部信号IS_2に基づいて、イメージセンサ部120及びイメージ信号処理部140に前記制御信号CTL1、CTL2を各々提供することができる。
【0159】
モード制御部160はキャプチャ準備信号SPSに基づいてカメラモジュール100の動作モードをプレビュモードからキャプチャ準備モードに切り替えることができる。さらに、モード制御部160は、特定条件下でカメラモジュール100の動作モードをキャプチャ準備モードからプレビュモードに切り替えることもできる。上述した通り、モード制御部160はプレビュモードでイメージセンサ部120が低解像度のセンサ出力イメージSOIを出力するようにし、イメージ信号処理部140が低解像度のセンサ出力イメージSOIを処理するようにできる。
【0160】
反面、モード制御部160はキャプチャ準備モードでイメージセンサ部120が高解像度のセンサ出力イメージSOIを出力するようにし、イメージ信号処理部140が高解像度のセンサ出力イメージSOIを処理するようにできる。その結果、カメラモジュール100はプレビュモードで不必要な電力を消費しないようにすることができ、キャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、カメラモジュール100は相対的に消費電力が大きいキャプチャ準備モードを最小化することができる。
【0161】
図15は図11のカメラモジュールがモバイル機器に適用されること例を示すブロック図である。
図15を参照すれば、カメラモジュール200は、イメージセンサ部220、イメージ信号処理部240、及びモード制御部260を含むことができる。この時、モード制御部260は、アプリケーションプロセッサ270内に備えることができる。実施形態により、カメラモジュール200はシステムオンチップSOCで製造されるようにすることができる。
【0162】
イメージセンサ部220は、被写体に相応する光信号LIGの入力を受けて光電変換を実行することによって、センサ出力イメージSOIを生成することができ、イメージ信号処理部240はイメージセンサ部220から出力されるセンサ出力イメージSOIを処理してイメージデータIDAを出力することができ、モード制御部260はキャプチャ準備信号SPSに基づいてカメラモジュール200の動作モードをプレビュモードからキャプチャ準備モードに切り替えることができる。ただし、イメージセンサ部220、イメージ信号処理部240、及びモード制御部260に対しては上述したので、それに関する重複する説明は省略する。
【0163】
図15に示したように、モード制御部260はアプリケーションプロセッサ270内に備えることができる。一般的に、モバイル機器(例えば、スマートフォン、スマートパッド、PDA、ポータブルゲーム機)は主にバッテリ(battery)に基づいて動作するので、低電力化及び小型化される傾向であり、このためにモバイル機器の多様な機能を実行するためのアプリケーションプロセッサ270を具備することができる。
【0164】
即ち、モバイル機器のアプリケーションプロセッサ270は、CPU(Central Processing Unit)に相応させることができる。従って、アプリケーションプロセッサ270内にはキャプチャ準備信号SPSに基づいてカメラモジュール200の動作モードをプレビュモードからキャプチャ準備モードに切り替えることのできるモード制御部260を備えることができる。この場合、アプリケーションプロセッサ270とモード制御部260との間の通信によって発生する遅延は最小化できる。
【0165】
このように、モード制御部260を具備するアプリケーションプロセッサ270は、プレビュモードでキャプチャ準備信号SPSが入力されると、イメージセンサ部220に制御信号CTL1を出力することによってカメラモジュール200の動作モードをキャプチャ準備モードに切り替えることができる。これにより、イメージセンサ部220はプレビュモードで低解像度のセンサ出力イメージSOIを出力し、キャプチャ準備信号SPSが入力された時点(即ち、キャプチャ準備モードの開始点)から高解像度のセンサ出力イメージSOIを出力することができる。
【0166】
その結果、使用者がシャッタリリースボタンを押した時点とイメージキャプチャが行われる時点との間の遅延であるシャッタラグが発生しないように出来る。さらに、モード制御部260を具備するアプリケーションプロセッサ270は、キャプチャ準備モードで特定条件(例えば、キャプチャ準備モードでセンサ出力イメージがキャプチャされるか、キャプチャ準備モードが既設定された時間だけ経過するか、または、キャプチャ準備モードでモード転換信号が入力される場合)下に置かれる場合、イメージセンサ部220に制御信号CTL1を出力することによってカメラモジュール200の動作モードをプレビュモードに切り替えることができる。
【0167】
その結果、イメージセンサ部220が高解像度のセンサ出力イメージSOIを出力するキャプチャ準備モードが最小化されるからカメラモジュール200の消費電力は大幅に減少することができる。実施形態により、モード制御部260はリアルタイム運営システムRTOSを含むことができ、イメージ信号処理部240はリアルタイム運営システムRTOSにより制御することができる。
【0168】
図16は図11のカメラモジュールがモバイル機器に適用される他の例を示すブロック図である。
図16を参照すれば、カメラモジュール300は、イメージセンサ部320、イメージ信号処理部340、及びモード制御部360を含むことができる。この時、イメージ信号処理部340及びモード制御部360はアプリケーションプロセッサ370内に備えることができる。実施形態により、カメラモジュール300はシステムオンチップSOCで製造されるようにすることができる。
【0169】
イメージセンサ部320は、被写体に相応する光信号LIGの入力を受けて光電変換を実行することによってセンサ出力イメージSOIを生成することができ、イメージ信号処理部340はイメージセンサ部320から出力されるセンサ出力イメージSOIを処理してイメージデータIDAを出力することができ、モード制御部360は、キャプチャ準備信号SPSに基づいてカメラモジュール300の動作モードをプレビュモードからキャプチャ準備モードに切り替えることができる。ただし、イメージセンサ部320、イメージ信号処理部340及びモード制御部360に対しては上述したので、それに関する重複する説明は省略する。
【0170】
図16に示したように、イメージ信号処理部340及びモード制御部360は、アプリケーションプロセッサ370内に備えることができる。即ち、アプリケーションプロセッサ370内にはキャプチャ準備信号SPSに基づいてカメラモジュール300の動作モードをプレビュモードからキャプチャ準備モードに切り替えることのできるモード制御部360とイメージセンサ部320から出力されるセンサ出力イメージSOIを処理してイメージデータIDAを出力するイメージ信号処理部340とを備えることができる。この場合、アプリケーションプロセッサ370とイメージ信号処理部340及びモード制御部360との間の通信によって発生する遅延は最小化できる。
【0171】
図17は図11のカメラモジュールがモバイル機器に適用されるまた他の例を示すブロック図である。
図17を参照すれば、カメラモジュール400は、イメージセンサ部420、イメージ信号処理部440、及びモード制御部460を含むことができる。この時、モード制御部460は、アプリケーションプロセッサ470に接続される別途のプロセッサとすることができる。実施形態により、カメラモジュール400は、システムオンチップSOCで製造されるようにすることができる。
【0172】
イメージセンサ部420は被写体に相応する光信号LIGの入力を受けて光電変換を実行することによってセンサ出力イメージSOIを生成することができ、イメージ信号処理部440はイメージセンサ部420から出力されるセンサ出力イメージSOIを処理してイメージデータIDAを出力することができ、モード制御部460はキャプチャ準備信号SPSに基づいてカメラモジュール400の動作モードをプレビュモードからキャプチャ準備モードに切り替えることができる。ただし、イメージセンサ部420、イメージ信号処理部440、及びモード制御部460に対しては上述したので、それに関する重複する説明は省略する。
【0173】
図17に示したように、モード制御部460はアプリケーションプロセッサ470に接続される別途のプロセッサとすることができる。即ち、モード制御部460はアプリケーションプロセッサ470と接続され、アプリケーションプロセッサ470から出力されるキャプチャ準備信号SPSに基づいてカメラモジュール400の動作モードをプレビュモードからキャプチャ準備モードに切り替えることができる。一般的に、モバイル機器でアプリケーションプロセッサ470はマルチタスキング(multi−tasking)を実行するが、アプリケーションプロセッサ470に過負荷がかかる場合、モバイル機器に備わるカメラモジュール400は誤作動する場合がある。そこで、モード制御部460をアプリケーションプロセッサ470と別途に具現することによって、モバイル機器に備わったカメラモジュール400の動作安定性を確保できる。
【0174】
図18は図11のカメラモジュールがモバイル機器に適用されるまた他の例を示すブロック図である。
図18を参照すれば、カメラモジュール500はイメージセンサ部520、イメージ信号処理部540及びモード制御部560を含むことができる。この時、モード制御部560はアプリケーションプロセッサ570に接続される別途のプロセッサとすることができ、イメージ信号処理部540はアプリケーションプロセッサ570内に備えることができる。実施形態により、カメラモジュール500はシステムオンチップSOCで製造されるようにすることができる。
【0175】
イメージセンサ部520は被写体に相応する光信号LIGの入力を受けて光電変換を実行することによってセンサ出力イメージSOIを生成することができ、イメージ信号処理部540はイメージセンサ部520から出力されるセンサ出力イメージSOIを処理してイメージデータIDAを出力することができ、モード制御部560はキャプチャ準備信号SPSに基づいてカメラモジュール500の動作モードをプレビュモードからキャプチャ準備モードに切り替えることができる。ただし、イメージセンサ部520、イメージ信号処理部540、及びモード制御部560に対しては上述したので、それに関する重複する説明は省略する。
【0176】
図18に示したように、アプリケーションプロセッサ570内にはイメージセンサ部520から出力されるセンサ出力イメージSOIを処理してイメージデータIDAを出力するイメージ信号処理部540が具現されるが、モード制御部560はアプリケーションプロセッサ570に接続される別途のプロセッサとすることができる。その結果、アプリケーションプロセッサ570とイメージ信号処理部540との間の通信によって発生する遅延を最小化でき、モード制御部560がアプリケーションプロセッサ570と別途で具現されるのでモバイル機器に備わったカメラモジュール500の動作安定性が確保できる。
【0177】
図19は本発明の実施形態に係るカメラモジュールを具備するモバイル機器を示すブロック図である。
図19を参照すれば、モバイル機器600はカメライメージセンサ620、アプリケーションプロセッサ640及びイメージを表示する少なくとも一つ以上のディスプレイ660を含むことができる。実施形態により、モバイル機器600はモバイル機器600の他の機能(function)を実行するための複数の機能回路680をさらに含むことができる。
【0178】
モバイルコンバージェンスの進展に伴い、モバイル機器600は多様な機能を実行できる。図19に示したように、モバイル機器600は、カメラ機能を実行するためのカメラモジュールを含むことができる。この時、カメラモジュールでカメライメージセンサ620を除いた他の構成要素はモバイル機器600のアプリケーションプロセッサ640内に実装することができる。
【0179】
一実施形態において、アプリケーションプロセッサ640は、モードコントローラ、イメージ信号プロセッサ、後処理プロセッサ、及びディスプレイコントローラを含むことができる。モードコントローラは、カメライメージセンサ620から出力されるセンサ出力イメージをプレビュモードで低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、キャプチャ準備モードでセンサ出力イメージを高解像度に維持することができる。イメージ信号プロセッサは、センサ出力イメージを処理して第1イメージデータを生成することができる。
【0180】
後処理プロセッサは第1イメージデータを後処理して第2イメージデータを生成することができる。ディスプレイコントローラは、前記イメージを生成するための第2イメージデータ(即ち、イメージデータ)を少なくとも一つ以上のディスプレイに出力することができる。ここで、アプリケーションプロセッサ640のモードコントローラは、図11のモード制御部160に相応して、アプリケーションプロセッサ640のイメージ信号プロセッサ、後処理プロセッサ及びディスプレイコントローラは図11のイメージ信号処理部140に相応する。
【0181】
このように、モバイル機器の低電力化及び小型化傾向によりモバイル機器600は多様な機能を実行するためのアプリケーションプロセッサ640を具備することができ、アプリケーションプロセッサ640内にはキャプチャ準備信号に基づいてカメラモジュールの動作モードをプレビュモードからキャプチャ準備モードに切り替えることのできるモードコントローラ及びカメライメージセンサ620から出力されるセンサ出力イメージを処理してイメージデータを出力するイメージ信号プロセッサ、後処理プロセッサ、及びディスプレイコントローラを実装することができる。従って、アプリケーションプロセッサ640とモードコントローラ、イメージ信号プロセッサ、後処理プロセッサ及びディスプレイコントローラの間の通信によって発生する遅延を最小化できる。
【0182】
一方、アプリケーションプロセッサ640はモバイル機器600の他の機能を実行するための複数の機能回路680と接続され、複数の機能回路680を制御することができる。上述した通り、モバイル機器600はカメラモジュールの駆動において、プレビュモードでセンサ出力イメージを低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、キャプチャ準備モードでセンサ出力イメージを高解像度に維持することができる。その結果、モバイル機器600はプレビュモードで不必要な電力が消費されるのを防止できるだけでなく、キャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、モバイル機器600は相対的に消費電力が大きいキャプチャ準備モードを最小化することができる。
【0183】
図20は図19のモバイル機器が外部ディスプレイに接続される一例を示す図である。
図20を参照すれば、モバイル機器600は少なくとも一つ以上の内部ディスプレイ660を含み、少なくとも一つ以上の外部ディスプレイ(690_1,・・・,690_n)に接続されるようにすることができる。この時、少なくとも一つ以上の外部ディスプレイ(690_1,・・・,690_n)は、少なくとも一つ以上の外部装置(680_1,・・・,680_n)それぞれの内部ディスプレイに該当するようにすることができる。
【0184】
例えば、モバイル機器600がスマートフォンの場合に内部ディスプレイ660は、スマートフォンのLCD(Liquid Crystal Display;LCD)ディスプレイまたはAMOLED(Active Matrix Organic Light Emitting Diodes)ディスプレイに相応し、外部装置(680_1,・・・,680_n)は前記スマートフォンと有線または無線で接続できるノートブック(laptop)、テレビ(television)、モニタ(monitor)、プロジェクタ(projector)などに相応することができる。
【0185】
従って、モバイル機器600がカメラ機能を実行する時、内部ディスプレイ660に被写体が表示されると同時に、モバイル機器600と接続された外部ディスプレイ(690_1,・・・,690_n)にも被写体を表示することができる。このために、モバイル機器600は外部装置(680_1,・・・,680_n)にイメージデータIDAを同時に提供することができる。これと共に、モバイル機器600は外部装置(680_1,・・・,680_n)とイメージデータを共有することができるので、モバイル機器600を有している使用者と外部装置(680_1,・・・,680_n)を有している使用者とは、リアルタイムで同じイメージを視聴することができる。
【0186】
一実施形態において、モバイル機器600を有している使用者が内部ディスプレイ660に被写体を表示させると、外部装置(680_1,・・・,680_n)を有している使用者は、外部ディスプレイ(690_1,・・・,690_n)に表示される被写体に対して遠隔でイメージキャプチャを実行できる。このように、モバイル機器600は画像通話、画像会議、遠隔操作などの多様な応用に利用できる。
【0187】
図21〜図24は図19のモバイル機器で具現される多様な例を示す図である。
図21〜図24を参照すれば、図19のモバイル機器600は、携帯電話910、スマートフォン920、デジタルカメラ930、ビデオカメラ940などで具現できる。上述した通り、モバイルコンバージェンスの進展に伴って、モバイル機器600は多様な機能を実行できる。例えば、携帯電話910やスマートフォン920は、通信機能が主な機能であるが、付随的にカメラ機能を含むことができ、デジタルカメラ930及びビデオカメラ940はカメラ機能が主な機能であるが、付随的に通信機能を含むことができる。
【0188】
上述した通り、図19のモバイル機器600はカメラ機能を実行するためのカメライメージセンサ620、アプリケーションプロセッサ640、及び少なくとも一つ以上のディスプレイ660を含むことができる。さらに、図19のモバイル機器600は、モバイル機器600の他の機能を実行するための複数の機能回路680をさらに含むことができる。ただし、これに対しては上述したので、それに関する重複する説明は省略する。
【0189】
一方、図19のモバイル機器600で、アプリケーションプロセッサ640はプレビュモードでセンサ出力イメージを低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、キャプチャ準備モードでセンサ出力イメージを高解像度に維持することができる。その結果、モバイル機器600はプレビュモードで不必要な電力が消費されることを防止できるだけでなく、キャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、モバイル機器600は相対的に消費電力が大きいキャプチャ準備モードを最小化することができる。
【0190】
図25は本発明の実施形態に係るカメラモジュールを具備する電子機器を示すブロック図である。
図25を参照すれば、電子機器1000は、プロセッサ1010、メモリ装置1020、保存装置1030、入出力装置1040、パワーサプライ1050、及びカメラモジュール1060を含むことができる。この時、カメラモジュール1060は、図11のカメラモジュール100に相応させることができる。一方、図25には図示しなかったが、電子機器1000はビデオカード、サウンドカード、メモリカード、USB装置などと通信するか、または、他の電子機器と通信できるポート(port)をさらに含むことができる。
【0191】
プロセッサ1010は、特定計算またはタスク(task)を実行できる。実施形態により、プロセッサ1010は、マイクロプロセッサ(micro−processor)、CPU(Central Processing Unit)とすることができる。プロセッサ1010は、アドレスバス(address bus)、制御バス(control bus)、及びデータバス(data bus)を介してメモリ装置1020、保存装置1030、及び入出力装置1040に接続されて通信を実行することができる。
【0192】
実施形態により、プロセッサ1010は、PCI(Peripheral Component Interconnect)バスのような拡張バスにも接続することができる。メモリ装置1020は電子機器1000の動作に必要なデータを保存することができる。例えば、メモリ装置1020は動的ランダムアクセスメモリ(DRAM)、静的ランダムアクセスメモリ(SRAM)などのような揮発性メモリ装置及びEPROM、EEPROM、及びフラッシュメモリ装置(flash memory device)などのような不揮発性メモリ装置を含むことができる。
【0193】
保存装置1030は、ソリッドステートドライブ(solid state drive)、ハードディスクドライブ(harddisk drive)及びCD−ROMなどを含むことができる。入出力装置1040は、キーボード、キーパッド、マウスなどのような入力手段、及び、プリンタ、ディスプレイなどのような出力手段を含むことができる。パワーサプライ1050は電子機器1000の動作に必要な動作電圧を供給することができる。
【0194】
カメラモジュール1060は、前記バスまたは他の通信リンクを介してプロセッサ1010と通信を実行できる。実施形態により、プロセッサ1010はアプリケーションプロセッサとすることもでき、カメラモジュールの一部または全部がアプリケーションプロセッサと接続するか、または、アプリケーションプロセッサ内に実装することができる。上述した通り、カメラモジュール1060は、イメージセンサ部、イメージ信号処理部、及びモード制御部を含むことができる。この時、モード制御部は、イメージセンサ部がプレビュモードで低解像度のセンサ出力イメージを出力し、キャプチャ準備モードで高解像度のセンサ出力イメージを出力するようにすることができる。
【0195】
また、モード制御部は、イメージ信号処理部がプレビュモードで低解像度のセンサ出力イメージを処理して外部(即ち、ディスプレイ)に出力し、キャプチャ準備モードで高解像度のセンサ出力イメージを処理して外部に出力するようにすることができる。その結果、カメラモジュール1060は、プレビュモードで不必要な電力が消費されることを防止できるだけでなく、キャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、電子機器1000は相対的に消費電力が大きいキャプチャ準備モードを最小化できる。一方、電子機器1000はカメラモジュール1060を具備するすべてのシステムと解釈するべきである。
【0196】
図26は図25の電子機器で使われるインターフェースの一例を示すブロック図である。
図26を参照すれば、電子機器1100は、MIPIを使用または支援できるデータ処理装置として具現でき、アプリケーションプロセッサ1110、イメージセンサ1140及びディスプレイ1150などを含むことができる。アプリケーションプロセッサ1110のCSIホスト1112は、カメラ・シリアル・インターフェース(Camera Serial Interface;CSI)を介してイメージセンサ1140のCSI装置1141とシリアル通信を実行することができる。
【0197】
一実施形態において、CSIホスト1112は、デシリアライザDESを含むことができ、CSI装置1141は、シリアライザSERを含むことができる。アプリケーションプロセッサ1110のDSIホスト1111は、ディスプレイ・シリアル・インターフェース(Display Serial Interface;DSI)を介してディスプレイ1150のDSI装置1151とシリアル通信を実行できる。一実施形態において、DSIホスト1111は、シリアライザSERを含むことができ、DSI装置1151はデシリアライザDESを含むことができる。
【0198】
さらに、電子機器1100はアプリケーションプロセッサ1110と通信を実行できる RF(Radio Frequency)チップ1160をさらに含むことができる。電子機器1100のPHY1113とRFチップ1160のPHY1161とは、MIPI DigRFに伴ってデータ送受信を実行できる。また、アプリケーションプロセッサ1110は、PHY1161のMIPI DigRFに伴うデータ送受信を制御するDigRF MASTER1114をさらに含むことができる。
【0199】
一方、電子機器1100は、GPS(Global Positioning System)1120、ストレージ1170、マイク1180、DRAM(Dynamic Random Access Memory)1185、及びスピーカ1190を含むことができる。また、電子機器1100は、超広帯域(Ultra WideBand;UWB)1210、WLAN(Wireless Local Area Network)1220及び WIMAX(Worldwide Interoperability for Microwave Access)1230などを利用して通信を実行できる。ただし、前記インターフェースは一つの例示であって、これに限定されるものではない。
【0200】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【0201】
本発明はカメラモジュール及びこれを含む電子機器(例えば、モバイル機器)に適用することができる。例えば、本発明はコンピュータ、デジタルカメラ、3次元カメラ、携帯電話、スマートフォン、スマートパッド、PDA、ビデオフォン、監視システム、動作感知システム、イメージ安定化システムなどに適用することができる。
【符号の説明】
【0202】
100 カメラモジュール
120 イメージセンサ部
140 イメージ信号処理部
160 モード制御部
600 モバイル機器
620 カメライメージセンサ
640 アプリケーションプロセッサ
660 ディスプレイ
680 機能回路
【技術分野】
【0001】
本発明は電子機器に係り、より詳細には、カメラモジュールを備えたモバイル機器に関する。
【背景技術】
【0002】
最近のモバイルコンバージェンス(mobile convergence)の進展に伴いほとんどのモバイル機器は、カメラモジュールを備えている。一般的に、シャッタラグ(shutter lag)は使用者がシャッタリリースボタンを押した時点とイメージキャプチャ(image capture)が行われる時点との間の遅延(delay)を意味し、カメラモジュールの性能を評価する上で重要な評価要素の一つである。例えば、シャッタラグが大きいカメラモジュールの場合、使用者は所望の瞬間イメージを正確に得ることができない。
【0003】
従来のカメラモジュールでは、シャッタラグを減少させるために、センサ出力イメージをプレビュ(preview)モードでも使用者が撮像サイズを設定できるように維持させていた。この場合、プレビュモードでもセンサ出力イメージが高解像度で維持されるので、カメラモジュールは不必要な電力を消費してしまう。その結果、従来のカメラモジュールは、シャッタラグと不必要な電力消費との関係をトレード−オフ(trade−off)して選択しなければならないという問題があった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】韓国特許第0602705号公報
【特許文献2】韓国特許第0650871号公報
【特許文献3】特許第4018695号公報
【特許文献4】米国特許出願公開第2011/0122269号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の一目的は、カメライメージセンサ(Camera Image Sensor;CIS)のプレビュモードでセンサ出力イメージを低解像度に維持しつつも、カメライメージセンサのキャプチャ準備モードで、イメージキャプチャ時、シャッタラグを除去できる低電力シャッタラグ除去方法を提供することにある。
【0006】
本発明の他の目的は、カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に維持しつつも、カメライメージセンサのキャプチャ準備モードでイメージキャプチャ時、シャッタラグを除去できるカメラモジュールを提供することにある。
【0007】
本発明のまた他の目的は、前記カメラモジュールを具備するモバイル機器を提供することにある。
【0008】
なお、本発明の解決しようとする課題は、上述した課題に限定されず、本発明の思想、及び領域から逸脱しない範囲で多様に拡張される。
【課題を解決するための手段】
【0009】
本発明の一目的を達成するために、本発明の実施形態に係る低電力シャッタラグ除去方法は、カメライメージセンサのプレビュモード(preview mode)でセンサ出力イメージを低解像度に維持する段階、キャプチャ準備信号に基づいて前記センサ出力イメージを高解像度に変更して、前記カメライメージセンサをキャプチャ準備モード(capture preparation mode)に進入させる段階、及び前記キャプチャ準備モードでキャプチャ信号に応答して前記センサ出力イメージをキャプチャ(capture)する段階を含むことができる。ここで、前記低解像度は基準解像度と同一であるか、または、基準解像度より低い解像度であり、前記高解像度は前記基準解像度より高い解像度である。
【0010】
一実施形態によれば、前記低電力シャッタラグ除去方法は、前記センサ出力イメージがキャプチャされると、前記センサ出力イメージを低解像度に変更して前記カメライメージセンサを前記プレビュモードに再進入させる段階をさらに含むことができる。
【0011】
一実施形態によれば、前記低電力シャッタラグ除去方法は、前記キャプチャ準備モードが既設定された時間だけ経過すると、前記センサ出力イメージを低解像度に変更して前記カメライメージセンサを前記プレビュモードに再進入させる段階をさらに含むことができる。
【0012】
一実施形態によれば、前記低電力シャッタラグ除去方法は、前記キャプチャ準備モードでモード転換信号が入力されると、前記センサ出力イメージを低解像度に変更して前記カメライメージセンサを前記プレビュモードに再進入させる段階をさらに含むことができる。
【0013】
一実施形態によれば、前記センサ出力イメージは、前記プレビュモードに前記キャプチャ準備信号が入力されると同時に低解像度から高解像度に変更することができる。
【0014】
一実施形態によれば、前記センサ出力イメージは、前記プレビュモードで前記キャプチャ準備信号が入力されると、既設定された時間が経過した後、低解像度から高解像度に変更することができる。
【0015】
一実施形態によれば、前記キャプチャ準備信号は、フォーカス動作を行うためのオートフォーカススタート信号(auto focus start signal)とすることができる。
【0016】
一実施形態によれば、前記キャプチャ準備信号は、フォーカス動作を行うための外部入力信号(external input signal)とすることができる。
【0017】
一実施形態によれば、前記外部入力信号は、タッチ入力信号、ボタン入力信号、音声入力信号のうちから選択される少なくとも一つ以上の信号とすることができる。
【0018】
一実施形態によれば、前記キャプチャ準備信号は、スマイル検出動作を行うためのスマイル検出信号(smile detect signal)とすることができる。
【0019】
一実施形態によれば、前記キャプチャ準備信号は顔検出動作を行うための顔検出信号(face detect signal)とすることができる。
【0020】
一実施形態によれば、前記センサ出力イメージの低解像度の大きさは、ディスプレイの出力サイズに相応し、前記ディスプレイの出力サイズを変更することによって可変することができる。
【0021】
一実施形態によれば、前記センサ出力イメージの高解像度の大きさは既設定されたサイズに相応して、使用者によって可変することができる。
【0022】
本発明の他の目的を達成するために、本発明の実施形態に係るカメラモジュールは、光電変換を実行してセンサ出力イメージを生成するイメージセンサ部、前記センサ出力イメージをプレビュモード(preview mode)で低解像度に維持し、キャプチャ準備信号に基づいて前記センサ出力イメージを高解像度に変更し、キャプチャ準備モード(capture preparation mode)で前記センサ出力イメージを高解像度に維持するモード制御部、及び前記センサ出力イメージを処理(processing)してイメージデータを出力するイメージ信号処理部を含むことができる。ここで、前記低解像度は基準解像度と同一であるか、または、基準解像度より低い解像度であり、前記高解像度は前記基準解像度より高い解像度である。
【0023】
一実施形態によれば、システムオンチップ(System On Chip;SOC)で製造することができる。
【0024】
一実施形態によれば、前記モード制御部は、前記プレビュモードでセンサ出力イメージを低解像度に維持し、前記キャプチャ準備モードで前記センサ出力イメージを高解像度に維持することができる。
【0025】
一実施形態によれば、前記モード制御部は前記キャプチャ準備モードで前記センサ出力イメージがキャプチャされると、前記カメラモジュールの動作モードを前記キャプチャ準備モードから前記プレビュモードに切り替えることができる。
【0026】
一実施形態によれば、前記モード制御部は、前記キャプチャ準備モードが既設定された時間ほど経過すれば、前記カメラモジュールの動作モードを前記キャプチャ準備モードから前記プレビュモードに切り替えることができる。
【0027】
一実施形態によれば、前記モード制御部は、前記キャプチャ準備モードでモード転換信号が入力されると、前記カメラモジュールの動作モードを前記キャプチャ準備モードから前記プレビュモードに切り替えることができる。
【0028】
一実施形態によれば、前記キャプチャ準備信号は、フォーカス動作を行うためのオートフォーカススタート信号(auto focus start signal)とすることができる。
【0029】
一実施形態によれば、前記キャプチャ準備信号は、フォーカス動作を行うための外部入力信号(external input signal)とすることができる。
【0030】
一実施形態によれば、前記キャプチャ準備信号は、スマイル検出動作を行うためのスマイル検出信号(smile detect signal)とすることができる。
【0031】
一実施形態によれば、前記キャプチャ準備信号は、顔検出動作を行うための顔検出信号(face detect signal)とすることができる。
【0032】
本発明のまた他の目的を達成するために、本発明の実施形態に係るモバイル機器はカメライメージセンサ、アプリケーションプロセッサ、及びイメージを表示する少なくとも一つ以上のディスプレイを具備することができ、前記アプリケーションプロセッサは、前記カメライメージセンサから出力されるセンサ出力イメージを前記カメライメージセンサのプレビュモード(preview mode)で低解像度に維持し、キャプチャ準備信号に基づいて前記センサ出力イメージを高解像度に変更し、前記センサ出力イメージを前記カメライメージセンサのキャプチャ準備モード(capture preparation mode)で高解像度に維持するモードコントローラ、前記センサ出力イメージを処理(processing)して、第1イメージデータを生成するイメージ信号プロセッサ、前記第1イメージデータを後処理(post processing)して第2イメージデータを生成する後処理プロセッサ、及び前記イメージを生成するための前記第2イメージデータを前記少なくとも一つ以上のディスプレイに出力するディスプレイコントローラを含むことができる。
【0033】
一実施形態によれば、前記アプリケーションプロセッサは、前記第1イメージデータを臨時保存して前記後処理プロセッサで出力するメモリをさらに含むことができる。
【0034】
一実施形態によれば、前記モードコントローラは、リアルタイム運営システム(Real−Time Operation System;RTOS)を含むことができる。
【0035】
一実施形態によれば、前記モバイル機器は、携帯電話、スマートフォン、デジタルカメラ、タブレットまたは、ビデオカメラで具現することができる。
【0036】
一実施形態によれば、前記アプリケーションプロセッサは、少なくとも一つ以上の入出力端子を介して外部ディスプレイに接続され、前記イメージデータを前記外部ディスプレイに出力することができる。
【0037】
一実施形態によれば、前記アプリケーションプロセッサと前記カメライメージセンサは、MIPI、ITU−R BT.601、ITU−R BT.656またはITU−R BT.709に基づいて通信を実行することができる。
【0038】
一実施形態によれば、前記キャプチャ準備信号は、フォーカス動作を行うためのオートフォーカススタート信号(auto focus start signal)とすることができる。
【0039】
一実施形態によれば、前記キャプチャ準備信号は、フォーカス動作を行うための外部入力信号(external input signal)とすることができる。
【0040】
一実施形態によれば、前記キャプチャ準備信号は、スマイル検出動作を行うためのスマイル検出信号(smile detect signal)とすることができる。
【0041】
一実施形態によれば、前記キャプチャ準備信号は、顔検出動作を行うための顔検出信号(face detect signal)とすることができる。
【0042】
本発明のまた他の目的を達成するために、本発明の実施形態に係るカメラモジュールのイメージセンサ動作方法は、イメージセンサのイメージ出力解像度として第1解像度を利用して前記イメージセンサからプレビュイメージを出力させる段階と、カメラモジュールに受信されるキャプチャ準備信号に応答して前記イメージセンサの前記イメージ出力解像度を前記第1解像度から前記第1解像度より高い第2解像度に変更させる段階と、前記カメラモジュールに受信されるキャプチャ信号に応答して前記イメージセンサの前記イメージ出力解像度として前記第2解像度を利用して選択されたイメージをキャプチャする段階とを含むことができる。ここで、前記キャプチャ準備信号は前記キャプチャ信号より先に前記カメラモジュールに受信することができる。
【発明の効果】
【0043】
本発明の実施形態に係る低電力シャッタラグ除去方法は、カメライメージセンサのプレビュモード(preview mode)でセンサ出力イメージを低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、カメライメージセンサのキャプチャ準備モード(capture preparation mode)でセンサ出力イメージを高解像度に維持することによって、カメライメージセンサのプレビュモードで不必要な電力が消費されるのを防止するだけでなく、カメライメージセンサのキャプチャ準備モードでキャプチャ動作時、発生するシャッタラグを効率的に除去することができる。
【0044】
本発明の実施形態に係るカメラモジュール及びそれを備えたモバイル機器は、カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージを高解像度に維持することによって、カメライメージセンサのプレビュモードで不必要な電力が消費されるのを防止するだけでなく、カメライメージセンサのキャプチャ準備モードでキャプチャ動作時、発生するシャッタラグを効率的に除去することができる。
【0045】
ただし、本発明の効果はこれに限定されるのではなく、本発明の思想、及び領域から逸脱しない範囲で多様に拡張される。
【図面の簡単な説明】
【0046】
【図1】本発明の一実施形態に係るシャッタラグ除去方法を示すフローチャート。
【図2】図1のシャッタラグ除去方法を説明するための図。
【図3】本発明の他の実施形態に係るシャッタラグ除去方法を示すフローチャート。
【図4】図3のシャッタラグ除去方法を説明するための図。
【図5】本発明のまた他の実施形態に係るシャッタラグ除去方法を示すフローチャート。
【図6】図5のシャッタラグ除去方法を説明するための図。
【図7】本発明のまた他の実施形態に係るシャッタラグ除去方法を示すフローチャート。
【図8】図7のシャッタラグ除去方法を説明するための図。
【図9】本発明の実施形態に係るシャッタラグ除去方法を示す概念図。
【図10】本発明の実施形態に係るシャッタラグ除去方法を示すタイミング図。
【図11】本発明の実施形態に係るカメラモジュールを示すブロック図。
【図12】図11のカメラモジュールに備わるイメージセンサ部の一例を示すブロック図。
【図13】図11のカメラモジュールに備わるイメージ信号処理部の一例を示すブロック図。
【図14】図11のカメラモジュールに備わるモード制御部の一例を示すブロック図。
【図15】図11のカメラモジュールがモバイル機器に適用されること例を示すブロック図。
【図16】図11のカメラモジュールがモバイル機器に適用される他の例を示すブロック図。
【図17】図11のカメラモジュールがモバイル機器に適用されるまた他の例を示すブロック図。
【図18】図11のカメラモジュールがモバイル機器に適用されるまた他の例を示すブロック図。
【図19】本発明の実施形態に係るカメラモジュールを備えたモバイル機器を示すブロック図。
【図20】図19のモバイル機器が外部ディスプレイに接続されること例を示す図。
【図21】図19のモバイル機器で具現される多様な例を示す図。
【図22】図19のモバイル機器で具現される多様な例を示す図。
【図23】図19のモバイル機器で具現される多様な例を示す図。
【図24】図19のモバイル機器で具現される多様な例を示す図。
【図25】本発明の実施形態に係るカメラモジュールを備えた電子機器を示すブロック図。
【図26】図25の電子機器で使われるインターフェースの一例を示すブロック図。
【発明を実施するための最良の形態】
【0047】
本明細書に開示されている本発明の実施形態に対して、特定の構造的、機能的説明は、単に本発明の実施形態を説明するための目的で例示されたものであり、本発明の実施形態は多様な形態で実施することができ、本発明は、本明細書に説明された実施形態に限定されるものではない。
本発明は多様な変更を加えることができ、種々の形態を有することができるが、特定の実施形態を図面に例示して本明細書に詳細に説明する。しかし、これは本発明を特定の開示形態に限定しようとするものではなく、本発明の思想、及び技術範囲に含まれるすべての変更、均等物、代替物を含むと理解すべきである。
【0048】
本明細書において、第1、第2等の用語は多様な構成要素を説明するのに使用されているが、これらの構成要素がこのような用語によって限定されるものではない。これらの用語は一つの構成要素を他の構成要素から区別する目的で使われ、例えば、本発明の権利範囲から逸脱しなければ第1構成要素は第2構成要素と命名することができ、同様に第2構成要素も第1構成要素と命名することができる。
【0049】
ある構成要素が他の構成要素に「連結されて」いる、または「接続されて」いると言及されている場合には、その他の構成要素に直接的に連結されていたり、接続されていることも意味するが、中間に他の構成要素が存在する場合も含む。一方、ある構成要素が他の構成要素に「直接連結されて」いる、または「直接接続されて」いると言及されている場合には、中間に他の構成要素は存在しない。構成要素の間の関係を説明する他の表現、すなわち「〜間に」と「直接〜間に」または「〜に隣接する」と「〜に直接隣接する」等も同様である。
【0050】
本明細書で使用した用語は、単に特定の実施形態を説明するために使用したものであり、本発明を限定するものではない。単数の表現は文脈上明白に異なるように意味しない限り、複数の表現を含む。また、本明細書で、「含む」又は「有する」等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品又は、これを組み合わせたものが存在するということを示すものであって、一つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品又は、これを組み合わせたものなどの存在又は、付加の可能性を、予め排除するものではない。
【0051】
また、別に定義しない限り、技術的あるいは科学的用語を含み、本明細書中において使用される全ての用語は、本発明が属する技術分野で通常の知識を有する者が、一般的に理解するのと同一の意味を有する。一般的に使用される辞書において定義される用語と同じ用語は、関連技術の文脈上で有する意味と一致する意味を有すると理解するべきで、本明細書において明白に定義しない限り、理想的あるいは形式的な意味として解釈してはならない。
【0052】
以下、図面を参照して、本発明の望ましい実施の形態の具体例を詳細に説明する。図面中の同一構成要素については同一参照符号を使用し、同一構成要素についての重複した説明は省略する。
【0053】
図1は本発明の一実施形態に係るシャッタラグ除去方法を示すフローチャートである。
【0054】
図1を参照すれば、図1のシャッタラグ除去方法は、カメライメージセンサのプレビュモード(preview mode)でセンサ出力イメージを低解像度に維持(ステップS120)し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更してカメライメージセンサをキャプチャ準備モード(capture preparation mode)に進入(ステップS140)させ、カメライメージセンサのキャプチャ準備モードでキャプチャ信号に応答してセンサ出力イメージをキャプチャ(ステップS160)することができる。さらに、図1のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージがキャプチャされると、センサ出力イメージのキャプチャ完了時点にセンサ出力イメージを低解像度に変更し、カメライメージセンサをプレビュモードに再進入(ステップS180)させることができる。
【0055】
一般的に、カメラモジュールを具備するモバイル機器は使用者がカメラ機能を選択すると、カメラモジュール内のカメライメージセンサは、イメージをリアルタイムであらかじめ見ることのできるプレビュモードに進入する。即ち、使用者はプレビュモードでプレビュ画像を見ながら被写体を選択することができる。この時、使用者がシャッタリリースボタン(shutter release button)を押すと、被写体に相応するイメージがキャプチャできる。このように、プレビュモードは使用者に便宜性を提供することができる。しかし、カメライメージセンサがプレビュモードで動作する時、カメライメージセンサから出力されるセンサ出力イメージを高解像度に設定(即ち、フルフレームプレビュ(full frame preview))すると、不要な電力を消費してしまう。
【0056】
これに対し、カメライメージセンサのプレビュモードではセンサ出力イメージを低解像度に維持し、使用者がシャッタリリースボタンを押すことによって発生するキャプチャ信号が入力されてから、センサ出力イメージを高解像度に変更してイメージキャプチャを行う方式が多く利用されている。しかし、センサ出力イメージを低解像度から高解像度に変更する一連の動作には所定の遅延(delay)が伴うので、使用者がシャッタリリースボタンを押した時点とイメージがキャプチャされる時点とは、互いに相違する。
【0057】
このように、シャッタラグは、使用者がシャッタリリースボタンを押した時点とイメージキャプチャが行われる時点との間の遅延を意味し、このようなシャッタラグために使用者は、所望する瞬間のイメージを正確に得ることができない。例えば、カメラモジュールを具備した携帯電話では、シャッタラグが0.1秒〜0.3秒程度になるから、使用者はシャッタリリースボタンを押した時点から前記時間が経過した時点のイメージを得ることができる。
【0058】
一方、使用者はシャッタリリース ボタンを押したりまたは、他の動作を実行することによって、イメージキャプチャ動作によりシャッタが開かれたり閉じられたりするシャッタリリース動作をトリガ(trigger)させることができる。以下、本明細書では、明確にするために、シャッタリリース動作を始めることを、シャッタをトリガする、または、シャッタリリースボタンを押すと表現する。ただし、シャッタリリース動作を開始させる方法がシャッタをトリガしたり、または、シャッタリリースボタンを押すことだけに限定されるものではない。
【0059】
このような問題点を解決するために、図1のシャッタラグ除去方法は、カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に維持(ステップS120)する。即ち、シャッタラグを除去するために、カメライメージセンサのプレビュモードでセンサ出力イメージを高解像度に維持するのは不要な電力消費を発生させることになるので、図1のシャッタラグ除去方法では、カメライメージセンサのプレビュモードではセンサ出力イメージを低解像度に維持させる。実施形態により、図1のシャッタラグ除去方法は、センサ出力イメージを低解像度に維持させておいて、サブサンプリング機能(sub sampling function)を適用することができる。
【0060】
本発明では、センサ出力イメージを「低解像度」と「高解像度」とに区分したが、センサ出力イメージの解像度とは、センサ出力イメージの画素(pixel)、サイズ(size)、容量(capacity)、サンプリングレート(sampling rate)などを全部含む意味として理解すべきである。この時、「低解像度」とは基準解像度と同一であるか、または、基準解像度より低い解像度であり、「高解像度」とは基準解像度より高い解像度である。
【0061】
一方、センサ出力イメージの低解像度の大きさは、ディスプレイの出力サイズに対応させることができる。例えば、低解像度のセンサ出力イメージは、VGA(640×480)サイズに選択することができる。さらに、ディスプレイの出力サイズが変更される場合に、センサ出力イメージの低解像度の大きさは可変することができる。例えば、図1のシャッタラグ除去方法を採用するカメラモジュールが外部ディスプレイに接続されて外部ディスプレイにイメージデータを出力する場合に、センサ出力イメージの低解像度の大きさは外部ディスプレイの出力サイズに対応するように変更することができる。
【0062】
図1のシャッタラグ除去方法は、カメライメージセンサのプレビュモードでキャプチャ準備信号が入力されると、キャプチャ準備信号に応答してセンサ出力イメージを高解像度に変更することによって、カメライメージセンサをイメージキャプチャを準備するためのキャプチャ準備モードに進入(ステップS140)させることができる。即ち、図1のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モードでシャッタリリースボタンが押される時、センサ出力イメージを高解像度に変更するのではなく、カメライメージセンサがプレビュモードでキャプチャ準備モードに進入すると同時に、センサ出力イメージを高解像度に変更する。
【0063】
その結果、キャプチャ信号が入力される時点(即ち、使用者がシャッタリリースボタンを押す時点)では、既にセンサ出力イメージが高解像度に変更されているので、使用者がシャッタリリースボタンを押した以後はセンサ出力イメージを低解像度から高解像度に変更する一連の動作は要求されない。これにより、使用者がシャッタリリースボタンを押した時点とイメージキャプチャが行われる時点との間の遅延であるシャッタラグを発生させないようにすることができる。
【0064】
一方、センサ出力イメージの高解像度の大きさは、既設定されたサイズに相当し、使用者によって可変することができる。例えば、高解像度のセンサ出力イメージは、フルフレームサイズ、即ち、5M(2608×1960)、8M(3264×2448)などに選択することができる。このように、図1のシャッタラグ除去方法を採用したカメラモジュールは、イメージをリアルタイムで見るためのプレビュモードとイメージキャプチャを準備するためのキャプチャ準備モードとで動作することができる。例えば、図1のシャッタラグ除去方法を採用したカメラモジュールにおいて、プレビュモードは、実質的に低解像度プレビュモードと命名することができ、キャプチャ準備モードは、実質的に高解像度プレビュモードと命名することができる。
【0065】
一実施形態において、キャプチャ準備信号は、フォーカス動作を行うためのオートフォーカススタート信号(auto focus start signal)とすることができる。例えば、使用者がカメラ機能設定メニュでオートフォーカス機能を選択する場合に、センサ出力イメージが低解像度から高解像度に変更される時点は、前記オートフォーカススタート信号が入力される時点とすることができる。
【0066】
他の実施形態において、キャプチャ準備信号はフォーカス動作を行うための外部入力信号(external input signal)とすることができる。この時、外部入力信号はタッチ入力信号、ボタン入力信号、音声入力信号のうちから選択される少なくとも一つ以上の信号とすることができる。例えば、使用者がディスプレイ上でフォーカスを合わせたい被写体にタッチを加えたり、カメラフォーカスボタンを押したり、または、フォーカス動作実行のための音声を出す場合に、センサ出力イメージが低解像度から高解像度に変更される時点は、使用者によって前記外部入力信号が入力される時点とすることができる。
【0067】
また他の実施形態において、キャプチャ準備信号はスマイル検出動作を行うためのスマイル検出信号(smile detect signal)とすることができる。例えば、使用者がカメラ機能設定メニュでスマイル検出機能を選択する場合に、センサ出力イメージが低解像度から高解像度に変更される時点は被写体(即ち、人)のスマイルが検出されてスマイル検出信号が生成される時点とすることができる。
【0068】
また他の実施形態において、キャプチャ準備信号は顔検出動作を行うための顔検出信号(face detect signal)とすることができる。例えば、使用者がカメラ機能設定メニュで顔検出機能を選択する場合に、センサ出力イメージが低解像度から高解像度に変更される時点は、被写体(即ち、人)の顔が検出されて顔検出信号が生成される時点とすることができる。実施形態によって、キャプチャ準備信号は使用者によってシャッタリリースボタンが押される以前にカメラで生成することのできる多様な信号のうちから多様に選択することができる。
【0069】
一方、センサ出力イメージがキャプチャ準備信号に応答して低解像度から高解像度に変更する場合、センサ出力イメージは、カメライメージセンサのプレビュモードでキャプチャ準備信号が入力されると同時に、低解像度から高解像度に変更することができる。または、センサ出力イメージはカメライメージセンサのプレビュモードでキャプチャ準備信号が入力されると、既設定された時間が経過した後に低解像度から高解像度に変更することができる。一般的に、センサ出力イメージが低解像度から高解像度に変更される時、カメラモジュールの動作モードもプレビュモードからキャプチャ準備モードに切り替わるので、センサ出力イメージはカメライメージセンサのプレビュモードでキャプチャ準備信号が入力されると同時に低解像度から高解像度に変更するのが望ましい。
【0070】
しかし、センサ出力イメージがカメライメージセンサのプレビュモードでキャプチャ準備信号が入力されると同時に低解像度から高解像度に変更される場合、ディスプレイ上に表示されるイメージに切れ、雑音、残像などが発生することがある。このような場合には、クロックエッジ(clock edge)などを一致させるために、キャプチャ準備信号の入力時点から既設定された時間が経過した後に、センサ出力イメージを低解像度から高解像度に変更することができる。
【0071】
カメライメージセンサのキャプチャ準備モードで使用者がシャッタリリースボタンを押すことによってキャプチャ信号が生成されると、図1のシャッタラグ除去方法は、このようなキャプチャ信号に応答してセンサ出力イメージをキャプチャ(ステップS160)することができる。上述した通り、カメライメージセンサのキャプチャ準備モードでは、センサ出力イメージが高解像度に既に変更されているので、センサ出力イメージを低解像度から高解像度に変更する一連の動作が要求されず、使用者がシャッタリリースボタンを押した時点とイメージキャプチャが行われる時点との間の遅延であるシャッタラグが発生しない。
【0072】
さらに、キャプチャ準備信号がオートフォーカススタート信号、外部入力信号(例えば、タッチ入力信号、ボタン入力信号、音声入力信号など)、スマイル検出信号、顔検出信号などのようにフォーカス動作と関連した信号であるので、カメライメージセンサのキャプチャ準備モードで前記キャプチャ準備信号に応じてフォーカス動作を共に実行することができる。従って、使用者は実質的にカメラモジュールで発生する最大の遅延に該当するフォーカス動作による遅延を感じない可能性もある。実施形態によって、図1のシャッタラグ除去方法は、カメラモジュールでフォーカス動作が完了する場合、使用者にフォーカス動作が完了したことを視覚的または聴覚的に認知させることができる。
【0073】
その後、図1のシャッタラグ除去方法は、前記段階(ステップS160)でセンサ出力イメージがキャプチャされると、センサ出力イメージを低解像度に変更してカメライメージセンサをプレビュモードに再進入(ステップS180)させることができる。さらに、図1のシャッタラグ除去方法は、新しいイメージキャプチャのために前記段階(ステップS120、ステップS140、ステップS160、ステップS180)を継続的に繰り返すこともできる。
【0074】
このように、図1のシャッタラグ除去方法は、カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージを高解像度に維持することによって、カメライメージセンサのプレビュモードで不必要な電力が消費されるのを防止するだけでなく、カメライメージセンサのキャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。
【0075】
図2は図1のシャッタラグ除去方法を説明するための図である。
図2を参照すれば、図1のシャッタラグ除去方法によれば、カメラモジュールの動作モードをプレビュモード11、13と、キャプチャ準備モード12との間で切り替えることができる。カメライメージセンサのプレビュモード11、13では、センサ出力イメージを低解像度に維持し、カメライメージセンサのキャプチャ準備モード12では、センサ出力イメージを高解像度に維持することができる。従って、カメライメージセンサのプレビュモード11、13は、実質的に低解像度プレビュモードと命名することができ、カメライメージセンサのキャプチャ準備モード12は実質的に高解像度プレビュモードと命名することができる。
【0076】
図2に示したように、図1のシャッタラグ除去方法は、カメライメージセンサのプレビュモード11でキャプチャ準備信号PSEが入力されると、キャプチャ準備信号PSEに応答してセンサ出力イメージを高解像度に変更して、カメライメージセンサをイメージキャプチャを準備するためのキャプチャ準備モード12に進入させることができる。この時、キャプチャ準備信号PSEは、オートフォーカススタート信号、外部入力信号(例えば、タッチ入力信号、ボタン入力信号、音声入力信号など)、スマイル検出信号、顔検出信号を含むことができる。
【0077】
カメライメージセンサのキャプチャ準備モード12で使用者がシャッタリリースボタンを押すことによって生成されるキャプチャ信号SSが入力されると、図1のシャッタラグ除去方法は、このようなキャプチャ信号SSに応答してセンサ出力イメージをキャプチャすることができる。この時、カメライメージセンサのキャプチャ準備モード12ではセンサ出力イメージが高解像度に既に変更されているので、センサ出力イメージを低解像度から高解像度に変更する一連の動作が要求されない。したがって、使用者がシャッタを押した時点とイメージキャプチャが行われる時点との間の遅延であるシャッタラグが発生しない。
【0078】
さらに、図1のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モード12でセンサ出力イメージがキャプチャされると、センサ出力イメージのキャプチャ完了時点CSでセンサ出力イメージを低解像度に変更して、カメライメージセンサをプレビュモード13に再進入させることができる。即ち、カメライメージセンサのプレビュモード13で新しいイメージキャプチャのためのキャプチャ準備信号PSEが入力される時まで、センサ出力イメージは、再び低解像度に維持される。
【0079】
このように、図1のシャッタラグ除去方法は、カメライメージセンサのプレビュモード11、13で不必要な電力が消費されるのを防止できるだけでなく、カメライメージセンサのキャプチャ準備モード12でキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。
【0080】
図3は本発明の他の実施形態に係るシャッタラグ除去方法を示すフローチャートである。
図3を参照すれば、図3のシャッタラグ除去方法は、カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に維持(ステップS220)し、キャプチャ準備信号に応答してセンサ出力イメージを高解像度に変更してカメライメージセンサをキャプチャ準備モードに進入(ステップS240)させ、カメライメージセンサのキャプチャ準備モードでキャプチャ信号に応答してセンサ出力イメージをキャプチャ(ステップS260)することができる。ただし、前記段階(ステップS220、ステップS240、ステップS260)に対しては上述したので、それに関する重複する説明は省略する。
【0081】
図3のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージがキャプチャされると、センサ出力イメージのキャプチャ完了時点から、既設定された時間だけ経過(ステップS270)した後に、センサ出力イメージを低解像度に変更してカメライメージセンサをプレビュモードに再進入(ステップS280)させることができる。一般的に、フォーカス動作に伴う遅延は、実質的にカメラモジュールで発生する最大遅延に該当する。
【0082】
また、使用者はイメージキャプチャの実行において、一度に複数のイメージキャプチャを実行すること(例えば、カメラの連写機能など)が多い。従って、図3のシャッタラグ除去方法は、センサ出力イメージのキャプチャ完了時点以後にも、カメライメージセンサを既設定した時間だけ、キャプチャ準備モードとして動作させることによって、フォーカス動作が完了した被写体に対して継続的にイメージキャプチャが可能となる。その結果、図3のシャッタラグ除去方法は、カメラモジュールの動作モードがプレビュモードとキャプチャ準備モードとの間で切り替わる回数が必要以上に多くなることを防止することができる。
【0083】
このように、図3のシャッタラグ除去方法は、センサ出力イメージをカメライメージセンサのプレビュモードで低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージを高解像度に維持することによって、カメライメージセンサのプレビュモードで不必要な電力が消費されるのを防止するだけでなく、カメライメージセンサのキャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。
【0084】
図4は図3のシャッタラグ除去方法を説明するための図である。
図4を参照すれば、図3のシャッタラグ除去方法によってカメラモジュールの動作モードをプレビュモード21、23と、キャプチャ準備モード22との間で切り替えることができる。カメライメージセンサのプレビュモード21、23では、センサ出力イメージを低解像度に維持し、カメライメージセンサのキャプチャ準備モード22ではセンサ出力イメージを高解像度に維持することができる。従って、カメライメージセンサのプレビュモード21、23は、実質的に低解像度プレビュモードと命名することができ、カメライメージセンサのキャプチャ準備モード22は、実質的に高解像度プレビュモードと命名することができる。
【0085】
図4に示したように、図3のシャッタラグ除去方法は、カメライメージセンサのプレビュモード21でキャプチャ準備信号PSEが入力されると、キャプチャ準備信号PSEに応答してセンサ出力イメージを高解像度に変更して、カメライメージセンサをイメージキャプチャを準備するためのキャプチャ準備モード22に進入させることができる。この時、キャプチャ準備信号PSEは、オートフォーカススタート信号、外部入力信号(例えば、タッチ入力信号、ボタン入力信号、音声入力信号など)、スマイル検出信号、顔検出信号を含むことができる。
【0086】
カメライメージセンサのキャプチャ準備モード22で使用者がシャッタリリースボタンを押すことによって生成されるキャプチャ信号SSが入力されると、図3のシャッタラグ除去方法は、このようなキャプチャ信号SSに応答してセンサ出力イメージをキャプチャすることができる。この時、カメライメージセンサのキャプチャ準備モード22では、センサ出力イメージが高解像度に既に変更されているので、センサ出力イメージを低解像度から高解像度に変更する一連の動作が要求されない。したがって、使用者がシャッタリリースボタンを押した時点と、イメージキャプチャが行われる時点との間の遅延であるシャッタラグが発生しなくなる。
【0087】
さらに、図3のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モード22でセンサ出力イメージがキャプチャされると、センサ出力イメージのキャプチャ完了時点CSから既設定された時間PTだけ経過した後に、センサ出力イメージを低解像度に変更してカメライメージセンサをプレビュモード23に再進入させることができる。即ち、図3のシャッタラグ除去方法は、センサ出力イメージのキャプチャ完了時点CS以後にも、カメライメージセンサを既設定された時間PTだけキャプチャ準備モード22で動作させることによって、追加的なイメージキャプチャASSを可能とする。
【0088】
センサ出力イメージのキャプチャ完了時点CSから既設定された時間PTだけ経過した後に、カメラモジュールの動作モードがプレビュモード23に転換されて、図3のシャッタラグ除去方法は、カメライメージセンサのプレビュモード23で新しいイメージキャプチャのためのキャプチャ準備信号PSEが入力される時まで、センサ出力イメージを低解像度に維持させることができる。このように、図3のシャッタラグ除去方法は、カメライメージセンサのプレビュモード21、23で不必要な電力が消費されるのを防止するだけでなく、カメライメージセンサのキャプチャ準備モード22でキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、図3のシャッタラグ除去方法は、フォーカス動作が完了した被写体に対して継続的にイメージキャプチャを可能にすることによって、カメラモジュールの動作モードがプレビュモード21、23と、キャプチャ準備モード22との間で切り替わる回数が不必要に多くなるのを防止することができる。
【0089】
図5は本発明のまた他の実施形態に他のシャッタラグ除去方法を示すフローチャートである。
図5を参照すれば、図5のシャッタラグ除去方法は、カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に維持(ステップS320)し、キャプチャ準備信号に応答してセンサ出力イメージを高解像度に変更してカメライメージセンサをキャプチャ準備モードに進入(ステップS340)させることができる。ただし、前記段階(ステップS320,ステップS340)に対しては上述したので、それに関する重複する説明は省略する。
【0090】
図5のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モードでモード転換信号が入力(ステップS360)されると、センサ出力イメージを低解像度に変更してカメライメージセンサをプレビュモードに再進入(ステップS380)させることができる。例えば、使用者がカメラモジュールの動作モードをキャプチャ準備モードでプレビュモードに切り替えるために所定のボタンを押す場合に、カメラモジュールの動作モードを切り替えるためのモード転換信号が生成され、センサ出力イメージがこのようなモード転換信号に応答して低解像度に変更されることによって、カメライメージセンサがプレビュモードに再進入させることができる。
【0091】
一般的に、キャプチャ準備信号に応答してセンサ出力イメージが高解像度に変更されてカメライメージセンサがキャプチャ準備モードに進入したとしても、使用者が意図的にカメラモジュールの動作モードをキャプチャ準備モードからプレビュモードに切り替える場合がある。従って、図5のシャッタラグ除去方法は、使用者が所定のボタンを押すことによって生成されるモード転換信号に応答してカメラモジュールの動作モードをキャプチャ準備モードからプレビュモードに切り替えるようにしたものである。
【0092】
上述したように、図5のシャッタラグ除去方法は、センサ出力イメージをカメライメージセンサのプレビュモードで低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージを高解像度に維持することによって、カメライメージセンサのプレビュモードでの不必要な電力の消費を防止するだけでなく、カメライメージセンサのキャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、図5のシャッタラグ除去方法は、使用者が相対的に消費電力が大きなキャプチャ準備モードを任意に終了できるようにすることによって、カメラモジュールの消費電力を大幅に減少させることができる。
【0093】
図6は図5のシャッタラグ除去方法を説明するための図である。
図6を参照すれば、図5のシャッタラグ除去方法によって、カメラモジュールの動作モードをプレビュモード31、33と、キャプチャ準備モード32との間で切り替えることができる。カメライメージセンサのプレビュモード31、33では、センサ出力イメージを低解像度に維持し、カメライメージセンサのキャプチャ準備モード32ではセンサ出力イメージを高解像度に維持することができる。従って、カメライメージセンサのプレビュモード31、33は、実質的に低解像度プレビュモードと命名することができ、カメライメージセンサのキャプチャ準備モード32は、実質的に高解像度プレビュモードと命名することができる。
【0094】
図6に示したように、図5のシャッタラグ除去方法は、カメライメージセンサのプレビュモード31でキャプチャ準備信号PSEが入力されると、キャプチャ準備信号PSEに応答してセンサ出力イメージを高解像度に変更し、カメライメージセンサをイメージキャプチャを準備するためのキャプチャ準備モード32に進入させることができる。この時、キャプチャ準備信号PSEは、オートフォーカススタート信号、外部入力信号(例えば、タッチ入力信号、ボタン入力信号、音声入力信号など)、スマイル検出信号、顔検出信号を含むことができる。
【0095】
図5のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モード32でモード転換信号MCSが入力されると、センサ出力イメージを低解像度に変更してカメライメージセンサをプレビュモード33に再進入させることができる。例えば、モード転換信号MCSは、使用者がカメラモジュールの動作モードをキャプチャ準備モード32からプレビュモード33に切り替えるために所定のボタンを押す場合に生成されるようにすることができる。このように、図5のシャッタラグ除去方法は、使用者が意図的にカメラモジュールの動作モードをキャプチャ準備モード32からプレビュモード33に切り替えできるようにする。
【0096】
上述した通り、図5のシャッタラグ除去方法は、カメライメージセンサのプレビュモード31、33で不必要に電力が消費されるのを防止するだけでなく、カメライメージセンサのキャプチャ準備モード32でキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、図5のシャッタラグ除去方法は、使用者が相対的に消費電力が大きいキャプチャ準備モード32を任意に終了できるようにすることによって、カメラモジュールの消費電力を大幅に減少させることができる。
【0097】
図7は本発明のまた他の実施形態に係るシャッタラグ除去方法を示すフローチャートである。
図7を参照すれば、図7のシャッタラグ除去方法は、カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に維持(ステップS420)し、キャプチャ準備信号に応答してセンサ出力イメージを高解像度に変更してカメライメージセンサをキャプチャ準備モードに進入(ステップS440)させることができる。ただし、前記段階(ステップS420、ステップS440)に対しては上述したので、それに関する重複する説明は省略する。
【0098】
図7のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モードが既設定された時間だけ経過(ステップS460)すると、センサ出力イメージを低解像度に変更してカメライメージセンサをプレビュモードに再進入(ステップS480)させることができる。例えば、使用者がカメライメージセンサのキャプチャ準備モードで、既設定された時間内にシャッタリリースボタンを押さない場合、センサ出力イメージは低解像度に変更され、カメラモジュールの動作モードをプレビュモードに切り替えることができる。
【0099】
即ち、カメラモジュールの動作モードをキャプチャ準備モードに転換された後、使用者が既設定された時間内にシャッタリリースボタンを押さない場合には、使用者がシャッタリリースボタンを押す意思がないと判断できるので、カメライメージセンサをプレビュモードに再進入させることによって不必要な消費電力を減らすことができる。この時、前記既設定された時間は、要求される条件に応じて使用者によって多様に設定することができる。
【0100】
一実施形態において、前記既設定された時間は、キャプチャ準備信号が入力される時点から計算することができ、使用者によって所定の信号(例えば、半シャッタ信号)が入力される場合に、所定の信号が入力される時点から再び計算するようにすることもできる。上述した通り、図7のシャッタラグ除去方法は、センサ出力イメージをカメライメージセンサのプレビュモードで低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージを高解像度に維持することによって、カメライメージセンサのプレビュモードで不必要な電力が消費されるのを防止できるだけでなく、カメライメージセンサのキャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、図7のシャッタラグ除去方法は相対的に消費電力が大きいキャプチャ準備モードを既設定された時間内に制限することによって、カメラモジュールの消費電力を大幅に減少させることができる。
【0101】
図8は図7のシャッタラグ除去方法を説明するための図である。
図8を参照すれば、図7のシャッタラグ除去方法によってカメラモジュールの動作モードをプレビュモード41、43とキャプチャ準備モード42との間で切り替えることができる。カメライメージセンサのプレビュモード41、43ではセンサ出力イメージが低解像度に維持し、カメライメージセンサのキャプチャ準備モード42ではセンサ出力イメージを高解像度に維持することができる。従って、カメライメージセンサのプレビュモード41、43は、実質的に低解像度プレビュモードと命名することができ、カメライメージセンサのキャプチャ準備モード42は実質的に高解像度プレビュモードと命名することができる。
【0102】
図8に示したように、図7のシャッタラグ除去方法は、カメライメージセンサのプレビュモード41でキャプチャ準備信号PSEが入力されると、キャプチャ準備信号PSEに応答してセンサ出力イメージを高解像度に変更し、カメライメージセンサをイメージキャプチャを準備するためのキャプチャ準備モード42に進入させることができる。この時、キャプチャ準備信号PSEは、オートフォーカススタート信号、外部入力信号(例えば、タッチ入力信号、ボタン入力信号、音声入力信号など)、スマイル検出信号、顔検出信号を含むことができる。
【0103】
図7のシャッタラグ除去方法は、カメライメージセンサのキャプチャ準備モード42で既設定された時間PCTが経過すると、センサ出力イメージを低解像度に変更してカメライメージセンサをプレビュモード43に再進入させることができる。例えば、使用者がカメライメージセンサのキャプチャ準備モード42で既設定された時間PCT内にシャッタリリースボタンを押さない場合に、センサ出力イメージを低解像度に変更し、カメラモジュールの動作モードをプレビュモード43に切り替えることができる。
【0104】
一実施形態において、既設定された時間PCTはキャプチャ準備信号PSEが入力される時点から計算することができ、使用者によって所定の信号(例えば、半シャッタ信号)が入力される場合、所定の信号が入力される時点から再度計算することもできる。このように、図7のシャッタラグ除去方法は、カメラモジュールの動作モードがキャプチャ準備モード42に切り替えられた後に、使用者が既設定された時間PCT内にシャッタリリースボタンを押さない場合には、使用者がシャッタリリースボタンを押す意思がないと判断し、カメラモジュールの動作モードをキャプチャ準備モード42からプレビュモード43に切り替えることができる。
【0105】
上述した通り、図7のシャッタラグ除去方法は、カメライメージセンサのプレビュモード41、43で不必要な電力が消費されるのを防止するだけでなく、カメライメージセンサのキャプチャ準備モード42でキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、図7のシャッタラグ除去方法は、相対的に消費電力が大きいキャプチャ準備モード42を既設定された時間PCT内に制限することによって、カメラモジュールの消費電力を大幅に減少させることができる。
【0106】
図9は本発明の実施形態に係るシャッタラグ除去方法を示す概念図である。
図9を参照すれば、カメラモジュール内のカメライメージセンサはプレビュモード50とキャプチャ準備モード60で動作することができる。カメライメージセンサのプレビュモード50は、イメージをリアルタイムで見るためのモードを意味し、カメライメージセンサのキャプチャ準備モード60は、イメージキャプチャを準備するためのモードを意味する。ただし、カメライメージセンサのキャプチャ準備モード60でも使用者がシャッタリリースボタンを押してイメージキャプチャが始まる前まではイメージをリアルタイムで見ることができる。
【0107】
しかし、カメライメージセンサのプレビュモード50ではセンサ出力イメージが低解像度に維持される反面、カメライメージセンサのキャプチャ準備モード60ではセンサ出力イメージが高解像度に維持される。即ち、カメライメージセンサのプレビュモード50は、低解像度プレビュモードと命名することができ、カメライメージセンサのキャプチャ準備モード60は高解像度プレビュモードと命名することができる。
【0108】
例えば、低解像度のセンサ出力イメージはVGA(640×480)サイズに選択することができ、高解像度のセンサ出力イメージはフルフレームサイズ、即ち、5M(2608×1960)、8M(3264×2448)などに選択することができる。このように、本発明の実施形態に係るシャッタラグ除去方法は、カメラモジュールの動作モードをプレビュモード50とキャプチャ準備モード60との間で切り替える動作を実行しなければならない。
【0109】
上述した通り、カメライメージセンサのプレビュモード50とカメライメージセンサのキャプチャ準備モード60とは、センサ出力イメージの解像度が互いに相違する。従来は、使用者がシャッタリリースボタンを押すことによって発生するキャプチャ信号に基づいてセンサ出力イメージを低解像度から高解像度に変更した。しかし、このような方式では使用者がシャッタリリースボタンを押した時点とイメージキャプチャが行われる時点との間の遅延であるシャッタラグが発生するから、ユーザの望む瞬間のイメージを正確に取ることはできない。
【0110】
このような問題点を解決するために、本発明の実施形態に係るシャッタラグ除去方法は、使用者がシャッタリリースボタンを押すことによって発生するキャプチャ信号とは関係なく、フォーカス動作と関連したキャプチャ準備信号に基づいて、カメラモジュールの動作モードをプレビュモード50からキャプチャ準備モード60に切り替えることができる。この時、キャプチャ準備信号はフォーカス動作を行うためのオートフォーカススタート信号、フォーカス動作を行うための外部入力信号(例えば、タッチ入力信号)、スマイル検出動作を行うためのスマイル検出信号、顔検出動作を行うための顔検出信号などを含むことができる。
【0111】
実施形態によって、キャプチャ準備信号は、指紋検出動作を行うための指紋検出信号、特定の物体検出動作を行うための物体検出信号などをさらに含むこともできる。このように、センサ出力イメージの解像度は、カメライメージセンサのプレビュモード50でキャプチャ準備信号に基づいて低解像度から高解像度に変更(LOW_RES→HIGH_RES)できる。その結果、カメライメージセンサのキャプチャ準備モード60では、センサ出力イメージがすでに高解像度に変更されているので、使用者がシャッタリリースボタンを押した時点とイメージキャプチャが行われる時点との間の遅延であるシャッタラグは発生しない。
【0112】
一方、本発明の実施形態に係るシャッタラグ除去方法は、多様な方式でカメラモジュールの動作モードをキャプチャ準備モード60からプレビュモード50に切り替えることができる。即ち、センサ出力イメージの解像度は、カメライメージセンサのキャプチャ準備モード60で多様な方式で高解像度から低解像度に変更(HIGH_RES→LOW_RES)することができる。一実施形態において、カメライメージセンサのキャプチャ準備モード60でセンサ出力イメージがキャプチャされると、センサ出力イメージのキャプチャ完了時点で、センサ出力イメージの解像度を高解像度から低解像度に変更することができる。
【0113】
他の実施形態において、カメライメージセンサのキャプチャ準備モード60からセンサ出力イメージがキャプチャされると、センサ出力イメージのキャプチャ完了時点から既設定された時間だけ経過した後に、センサ出力イメージの解像度を高解像度から低解像度に変更することができる。また他の実施形態において、カメライメージセンサのキャプチャ準備モード60でモード転換信号が入力されると、センサ出力イメージの解像度を高解像度から低解像度に変更することができる。
【0114】
また他の実施形態において、カメライメージセンサのキャプチャ準備モード60が既設定された時間だけ経過すると、センサ出力イメージの解像度を高解像度から低解像度に変更することができる。
【0115】
このように、本発明の実施形態に係るシャッタラグ除去方法は、カメライメージセンサのプレビュモード50で不必要な電力が消費されるのを防止できるだけでなく、カメライメージセンサのキャプチャ準備モード60でキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、本発明の実施形態に係るシャッタラグ除去方法は、相対的に消費電力が大きいキャプチャ準備モードを最小化することができる。
【0116】
図10は本発明の実施形態に係るシャッタラグ除去方法を示すタイミング図である。
図10を参照すれば、本発明の実施形態に係るシャッタラグ除去方法は、カメラモジュールの動作モードをプレビュモードとキャプチャ準備モードとの間で切り替えることができる。この時、第1モードチェンジ(MODE CHANGE_1)は、カメラモジュールの動作モードがプレビュモードからキャプチャ準備モードに切り替わることを示し、第2モードチェンジ(MODE CHANGE_2)は、カメラモジュールの動作モードがキャプチャ準備モードからプレビュモードに切り替わることを示す。
【0117】
図10に示したように、カメライメージセンサのプレビュモードではセンサ出力イメージが低解像度に維持されるから、カメライメージセンサを駆動するためのクロック周波数も低く、前記プレビュモードを実行するための消費電力も小さい。反面、カメライメージセンサのキャプチャ準備モードではセンサ出力イメージが高解像度に維持されるので、カメライメージセンサを駆動するためのクロック周波数も高く、前記プレビュモードを実行するための消費電力も大きい。従って、カメライメージセンサの消費電力を減らすためには消費電力が大きいキャプチャ準備モードの区間を最小化させなければならない。
【0118】
このために、本発明の実施形態に係るシャッタラグ除去方法は、イメージキャプチャのために使用者がシャッタリリースボタンを押す以前に、カメラモジュールで必須的に生成されるキャプチャ準備信号を利用することができる。
具体的に、第1モードチェンジ(MODE CHANGE_1)は、カメライメージセンサのプレビュモードでキャプチャ準備信号が入力されると、前記キャプチャ準備信号に応答してセンサ出力イメージを高解像度に変更することによって行われる。即ち、カメラモジュールの動作モードがキャプチャ準備信号に基づいてプレビュモードからキャプチャ準備モードに切り替えることができる。
【0119】
一般的に、イメージキャプチャ時にフォーカス動作を必須的に行うように、キャプチャ準備信号をカメラモジュールのフォーカス動作と関連した信号とすることができる。例えば、キャプチャ準備信号は、フォーカス動作を行うためのオートフォーカススタート信号、フォーカス動作を行うための外部入力信号(例えば、タッチ入力信号)、スマイル検出動作を行うためのスマイル検出信号、顔検出動作を行うための顔検出信号を含むことができる。実施形態により、キャプチャ準備信号は指紋検出動作を行うための指紋検出信号、特定の物体検出動作を行うための物体検出信号などをさらに含むこともできる。
【0120】
このように、本発明の実施形態に係るシャッタラグ除去方法は、キャプチャ準備信号を利用してキャプチャ信号が入力される以前に第1モードチェンジ(MODE CHANGE_1)を実行する。その結果、カメライメージセンサのキャプチャ準備モードではセンサ出力イメージが高解像度に維持されているので、センサ出力イメージの解像度変更に伴うシャッタラグは発生しない。
【0121】
第2モードチェンジ(MODE CHANGE_2)は、要求される条件に応じて多様な方式で行なうことができる。即ち、第2モードチェンジ(MODE CHANGE_2)は、センサ出力イメージを低解像度に変更することによって行われる。一実施形態において、第2モードチェンジ(MODE CHAGE_2)は、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージがキャプチャされると、センサ出力イメージのキャプチャ完了時点に行なうことができる。
【0122】
他の実施形態において、第2モードチェンジ(MODE CHAGE_2)は、カメライメージセンサのキャプチャ準備モードでセンサ出力イメージがキャプチャされると、センサ出力イメージのキャプチャ完了時点から既設定された時間だけ経過した後に行われるようにすることができる。また他の実施形態において、第2モードチェンジ(MODE CHAGE_2)は、カメライメージセンサのキャプチャ準備モードでモード転換信号が入力されると行われるようにすることができる。また他の実施形態において、第2モードチェンジ(MODE CHAGE_2)はカメライメージセンサのキャプチャ準備モードが既設定された時間だけ経過すると行われるようにすることができる。
【0123】
このように、本発明の実施形態に係るシャッタラグ除去方法は、カメライメージセンサのプレビュモードで不必要な電力が消費されるのを防止できるだけでなく、カメライメージセンサのキャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、本発明の実施形態に係るシャッタラグ除去方法は、相対的に消費電力が大きいキャプチャ準備モードを最小化することができる。
一方、本発明の実施形態に係るシャッタラグ除去方法は、カメラモジュールを駆動するためのクロック周波数及びそれに係る消費電力を測定する方式で把握することができる。
【0124】
例えば、カメラモジュールは内部(例えば、モバイル機器のアプリケーションプロセッサとカメライメージセンサとの間)でモバイル・インダストリ・プロセッサ・インターフェース(Mobile Industry Processor Interface;MIPI)、国際電気通信連合無線通信(International Telecommunication Union−Radio communication;ITU−R) BT.601,ITU−R BT.656、または、ITU−R BT.709に基づいて通信を実行することができるので、カメラモジュールの内部で使われるMIPI、ITU−R BT.601、ITU−R BT.656、または、ITU−R BT.709のクロック周波数及びそれにともなう消費電力を測定する方式として、本発明の実施形態に係るシャッタラグ除去方法がカメラモジュール及びそれを具備する電子機器(例えば、モバイル機器)に適用されたかどうかを判断することができる。
【0125】
図11は本発明の実施形態に係るカメラモジュールを示すブロック図である。
図11を参照すれば、カメラモジュール100は、イメージセンサ部120、イメージ信号処理部140、及びモード制御部160を含むことができる。実施形態により、カメラモジュール100は、システムオンチップ(System On Chip;SOC)で製造することができる。
【0126】
イメージセンサ部120は、被写体に相応する光信号LIGの入力を受けて光電変換を実行することによってセンサ出力イメージSOIを生成することができる。このために、イメージセンサ部120は、少なくとも一つ以上のイメージセンサを含むことができ、少なくとも一つ以上のイメージセンサは、CMOS(Complementary Metal−Oxide Semiconductor)イメージセンサ、または、CCD(Charge Coupled Device)イメージセンサとすることができる。
【0127】
センサ出力イメージSOIは、モード制御部160から出力される制御信号CTL1に基づいてプレビュモードで低解像度を有することができ、キャプチャ準備モードで高解像度を有することができる。この時、センサ出力イメージSOIを「低解像度」と「高解像度」とに区分したが、センサ出力イメージSOIの解像度は、センサ出力イメージの画素(pixel)、サイズ(size)、容量(capacity)、サンプリングレート(sampling rate)などを全て含む意味として理解すべきである。この時、低解像度は基準解像度と同一であるか、または、基準解像度より低い解像度であり、高解像度は基準解像度より高い解像度である。
【0128】
一方、センサ出力イメージSOIの低解像度の大きさは、ディスプレイの出力サイズに相応し、ディスプレイの出力サイズが変更されると可変されるようにすることができる。例えば、低解像度のセンサ出力イメージSOIは、VGA(640×480)サイズに選択することができ、カメラモジュール100を含むモバイル機器が外部ディスプレイに接続される場合、センサ出力イメージSOIの低解像度の大きさは、外部ディスプレイの出力サイズに相応するように変更することができる。
【0129】
また、センサ出力イメージSOIの高解像度の大きさは、既設定されたサイズに相応して、使用者によって可変することができる。例えば、高解像度のセンサ出力イメージSOIは、フルフレームサイズ、即ち、5M(2608×1960)、8M(3264×2448)などに選択することができる。このように、イメージセンサ部120はイメージをリアルタイムで見るためのプレビュモードとイメージキャプチャを準備するためのキャプチャ準備モードに従がって互いに異なる解像度を有するセンサ出力イメージSOIを提供することができる。
【0130】
実施形態により、イメージセンサ部120はカメラモジュール100の動作モードが変更される場合、センサ出力イメージSOIの連続性を保障するために、イメージ信号処理部140にインターラプト(interrupt)信号を出力することもできる。
イメージ信号処理部140は、イメージセンサ部120から出力されるセンサ出力イメージSOIを処理してイメージデータIDAを生成することができる。このために、イメージ信号処理部140は、少なくとも一つ以上のイメージ信号プロセッサ(image signal processor;ISP)を含むことができる。
【0131】
例えば、イメージ信号処理部140は、センサ出力イメージSOIに対して自動露出(Auto Exposure;AE)、自動ホワイトバランス(Auto White Balance;AWB)、オートフォーカス(Auto Focus;AF)などに対する処理を実行できる。さらに、イメージ信号処理部140は、スケーラ(scaler)、出力フォーマット(output format)、色補正(color correction)、ガンマ補正(gamma correction)、シェーディング補償(shading compensation)などに対する処理まで実行できる。
【0132】
具体的に、イメージ信号処理部140は、モード制御部160から出力される制御信号CTL2に基づいて低解像度のセンサ出力イメージSOIまたは、高解像度のセンサ出力イメージSOIに対して処理を実行できる。例えば、イメージ信号処理部140は、プレビュモードでイメージセンサ部120から低解像度のセンサ出力イメージSOIが入力されると、低解像度のセンサ出力イメージSOIに対する所定の処理を実行することによって、プレビュモードに適合したイメージデータIDAを出力することができる。反面、イメージ信号処理部140は、キャプチャ準備モードでイメージセンサ部120から高解像度のセンサ出力イメージSOIが入力されると、高解像度のセンサ出力イメージSOIに対する所定の処理を実行することによって、キャプチャ準備モードに適合したイメージデータIDAを出力することができる。
【0133】
実施形態により、イメージセンサ部120とイメージ信号処理部140とは、モバイル・インダストリ・プロセッサ・インターフェース(Mobile Industry Processor Interface;MIPI)及びインタ集積回路(Inter−Integrated Circuit;I2C)バスを介して接続することができる。ただし、これは一つの例示であって、これに限定されるものではない。
【0134】
モード制御部160はキャプチャ準備信号SPSに基づいてカメラモジュール100の動作モードをプレビュモードからキャプチャ準備モードに切り替えることができる。具体的に、モード制御部160は、プレビュモードでキャプチャ準備信号SPSが入力されると、イメージセンサ部120に制御信号CTL1を出力することによって、イメージセンサ部120から出力されるセンサ出力イメージSOIを低解像度から高解像度に変更することができる。
【0135】
一般的に、カメラモジュール100でイメージキャプチャ時にフォーカス動作は必須的に実行されるので、キャプチャ準備信号SPSはカメラモジュール100のフォーカス動作と関連した信号とすることができる。一実施形態において、キャプチャ準備信号SPSは、フォーカス動作を行うためのオートフォーカススタート信号とすることができる。他の実施形態において、キャプチャ準備信号SPSは、フォーカス動作を行うための外部入力信号(例えば、タッチ入力信号など)とすることができる。
【0136】
また他の実施形態において、キャプチャ準備信号SPSは、スマイル検出動作を行うためのスマイル検出信号とすることができる。また他の実施形態において、キャプチャ準備信号SPSは、顔検出動作を行うための顔検出信号とすることができる。このように、モード制御部160は、使用者がシャッタリリースボタンを押す以前にカメラモジュール100で必須的に生成されるキャプチャ準備信号SPSを利用するから、キャプチャ準備モードで使用者がシャッタリリースボタンを押す時点ではセンサ出力イメージSOIが高解像度に維持されるようにできる。その結果、キャプチャ準備モードではセンサ出力イメージSOIが高解像度に維持されるから、使用者がシャッタリリースボタンを押した時点とイメージキャプチャが行われる時点との間の遅延であるシャッタラグは発生しなくなる。
【0137】
さらに、モード制御部160は要求される条件に応じて多様な方式でカメラモジュール100の動作モードをキャプチャ準備モードからプレビュモードに切り替えることができる。上述した通り、プレビュモードではイメージセンサ部120が低解像度のセンサ出力イメージSOIを出力して、キャプチャ準備モードではイメージセンサ部120が高解像度のセンサ出力イメージSOIを出力する。従って、モード制御部120は、特定条件下でカメラモジュール100の動作モードをキャプチャ準備モードからプレビュモードに切り替えることが必要なこともある。
【0138】
一実施形態において、モード制御部160はキャプチャ準備モードでセンサ出力イメージSOIがキャプチャされると、キャプチャ完了時点にカメラモジュール100の動作モードをキャプチャ準備モードからプレビュモードに切り替えることができる。他の実施形態において、モード制御部160は、キャプチャ準備モードでセンサ出力イメージSOIがキャプチャされると、キャプチャ完了時点から既設定された時間だけ経過した後にカメラモジュール100の動作モードをキャプチャ準備モードでプレビュモードに切り替えることができる。
【0139】
また他の実施形態において、モード制御部160はキャプチャ準備モードでモード転換信号が入力されると、それに基づいてカメラモジュール100の動作モードをキャプチャ準備モードでプレビュモードに切り替えることができる。また他の実施形態において、モード制御部160はキャプチャ準備モードが既設定された時間だけ経過すると、カメラモジュール100の動作モードをキャプチャ準備モードでプレビュモードに切り替えることができる。その結果、モード制御部160は相対的に消費電力が大きいキャプチャ準備モードを特定条件下でプレビュモードに切り替えることによってカメラモジュール100の消費電力を大幅に減少させることができる。
【0140】
このように、モード制御部160はイメージセンサ部120及びイメージ信号処理部140に制御信号CTL1、CTL2を出力し、イメージセンサ部120及びイメージ信号処理部140を制御することができる。これに、イメージセンサ部120はプレビュモードで低解像度のセンサ出力イメージSOIを出力して、キャプチャ準備モードで高解像度のセンサ出力イメージSOIを出力することができる。
【0141】
また、イメージ信号処理部140はプレビュモードで低解像度のセンサ出力イメージSOIを処理して外部(即ち、ディスプレイ)に出力し、キャプチャ準備モードで高解像度のセンサ出力イメージSOIを処理して外部に出力することができる。その結果、カメラモジュール100はプレビュモードで不必要な電力が消費されるのを防止できるだけでなく、キャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、カメラモジュール100は、相対的に消費電力が大きいキャプチャ準備モードを最小化することができる。
【0142】
一方、イメージ信号処理部140、及び/または、モード制御部160はアプリケーションプロセッサ内に具現する事もでき、アプリケーションプロセッサとは別途に具現することもできる。一般的に、モバイル機器ではイメージ信号処理部140、及び/または、モード制御部160をアプリケーションプロセッサ内に備えることができる。この場合、モード制御部160は、リアルタイム運営システム(Real−Time Operation System;RTOS)を含むことができ、イメージ信号処理部140は、リアルタイム運営システム(Real−Time Operation System;RTOS)により制御されるようにすることができる。
【0143】
図12は図11のカメラモジュールに備わるイメージセンサ部の一例を示すブロック図である。
図12を参照すれば、イメージセンサ部120は、受光レンズ121、カメライメージセンサ122、モータ123、及びセンサコントローラ124を含むことができる。
受光レンズ121は、カメライメージセンサ122の受光領域(例えば、単位ピクセルアレイに備わった複数の単位ピクセル)に入射光、即ち、被写体に相応する光信号LIGを集光させることができる。カメライメージセンサ122は、受光レンズ121を介して入射された光信号LIGに基づいて被写体に対する情報を含むデータDATAを生成することができる。
【0144】
実施形態により、カメライメージセンサ122は、CMOSイメージセンサ、または、CCDイメージセンサとすることができる。カメライメージセンサ122は、クロック信号CLKに基づいて前記データDATAをセンサコントローラ124に提供することができる。モータ123は、センサコントローラ124から提供される制御信号CTRLに基づいて、受光レンズ121のフォーカスを調節したり、または、シャッタリング(shuttering)を実行する。センサコントローラ124は、カメライメージセンサ122及びモータ123を制御し、カメライメージセンサ122から受信されるデータDATAを処理してセンサ出力イメージSOIとして出力することができる。
【0145】
一方、センサコントローラ124は、イメージ信号処理部140のイメージ信号プロセッサISPなどに接続されて、センサ出力イメージSOIを提供することができる。実施形態により、センサコントローラ124は、MIPI及びI2Cバスを介してイメージ信号処理部140のイメージ信号プロセッサISPに接続することができる。ただし、これは一つの例示であって、これに限定されるものではない。
【0146】
このように、イメージセンサ部120は被写体に相応する光信号LIGの入力を受けて光電変換を実行することによってセンサ出力イメージSOIを生成することができる。この時、センサ出力イメージSOIは、プレビュモードで低解像度を有するようにすることができ、キャプチャ準備モードで高解像度を有するようにすることができる。センサ出力イメージSOIの低解像度の大きさは、ディスプレイの出力サイズに相応し、ディスプレイの出力サイズが変更されることによって可変することができる。センサ出力イメージSOIの高解像度の大きさは、既設定されたサイズに相応し、使用者によって可変することができる。
【0147】
上述した通り、カメラモジュール100の動作モードは、キャプチャ準備信号SPSに基づいてプレビュモードからキャプチャ準備モードに切り替えることができる。その結果、イメージセンサ部120はキャプチャ準備モードで使用者がシャッタリリースボタンを押す時点で高解像度のセンサ出力イメージSOIを出力することができる。また、カメラモジュール100の動作モードは、要求条件に応じて多様な方式でキャプチャ準備モードからプレビュモードに切り替えることができる。その結果、イメージセンサ部120が高解像度のセンサ出力イメージSOIを出力する(即ち、相対的に消費電力が大きい)キャプチャ準備モードが最小化されるから、カメラモジュール100の消費電力を大幅に減少させることができる。
【0148】
図13は図11のカメラモジュールに備わるイメージ信号処理部の一例を示すブロック図である。
図13を参照すれば、イメージ信号処理部140は、イメージ信号プロセッサ142、メモリ144、後処理プロセッサ(post−processor)146、及びディスプレイコントローラ148を含むことができる。
【0149】
イメージ信号プロセッサ142は、イメージセンサ部120から出力されるセンサ出力イメージSOIの入力を受け、前記センサ出力イメージSOIを処理(processing)して第1イメージデータID_1を生成することができる。実質的に、イメージセンサ部120から出力されるセンサ出力イメージSOIは、使用者が認識することのできない信号である。ここで、イメージ信号プロセッサ142はイメージセンサ部120から出力されるセンサ出力イメージSOIを処理して使用者がディスプレイを介して認識できる信号に変換することができる。
【0150】
例えば、イメージ信号プロセッサ142は、イメージセンサ部120から出力されるセンサ出力イメージSOIに対して、カラー形態、画像の大きさ、フレーム速度などを調節することによって第1イメージデータID_1に変換することができる。一方、図13ではイメージ信号プロセッサ142が前処理プロセッサ(pre−processor)の機能まで実行するように図示されている。しかし、前処理プロセッサ(図示せず)はイメージ信号プロセッサ142とは別途に備えることもできる。このような場合、前処理プロセッサは第1イメージデータID_1を後処理プロセッサ146に適合した信号に変換する機能を実行することができる。
【0151】
メモリ144はイメージ信号プロセッサ142から出力されるセンサ出力イメージSOIを臨時に保存した後、後処理プロセッサ146に出力することができる。例えば、メモリ144は、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory;DRAM)、スタティックランダムアクセスメモリ(Static Random Access Memory;SRAM)などのような揮発性メモリ装置及びEPROM(Erasable Programmable Read−Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)及びフラッシュメモリ装置(flash memory device)などのような不揮発性メモリ装置を含むことができる。
【0152】
メモリ144は、一種のバッファ機能を実行し、要求条件に応じて省略することができる。後処理プロセッサ146は、イメージ信号プロセッサ142から出力される第1イメージデータID_1を後処理(post processing)して第2イメージデータID_2を生成することができる。即ち、後処理プロセッサ146は、イメージ信号プロセッサ142、または、前処理プロセッサ(図示せず)から入力される第1イメージデータID_1をディスプレイコントローラ148によってディスプレイに表示されることのできる第2イメージデータID_2に変更することができる。以後、ディスプレイコントローラ148は第2イメージデータID_2をイメージデータIDAとしてディスプレイに表示することができる。
【0153】
このように、イメージ信号処理部140は、イメージセンサ部120から出力されるセンサ出力イメージSOIを処理してイメージデータIDAを出力することができる。実施形態により、イメージデータIDAはJPEG、TIF、GIF、PCXなどの多様なコーデック(codec)で出力することができる。例えば、イメージデータIDAのコーデックで高い圧縮効率を有するグラフィック・ファイル・フォーマットのJPEG(Joint Photographic Experts Group)を主に使用することができる。
【0154】
一方、イメージ信号処理部140はアプリケーションプロセッサ内に具現する事もでき、アプリケーションプロセッサとは別途に具現することもできる。例えば、イメージ信号処理部140をアプリケーションプロセッサ内に具現した場合にはモード制御部160との通信において遅延が発生しないことがある。これに、モード制御部160がリアルタイム運営システムRTOSを含む場合、イメージ信号処理部140は、リアルタイム運営システムRTOSによって制御されるようにすることができる。
【0155】
上述した通り、イメージ信号処理部140はモード制御部160から出力される制御信号CTL2に基づいて、プレビュモードで低解像度のセンサ出力イメージSOIを処理し、キャプチャ準備モードでは高解像度のセンサ出力イメージSOIを処理することができる。その結果、カメラモジュール100はプレビュモードでの不必要な消費電力を減少させることができる。
【0156】
図14は図11のカメラモジュールに備わるモード制御部の一例を示すブロック図である。
図14を参照すれば、モード制御部160は入力ブロック162、制御ブロック164、及び出力ブロック166を含むことができる。
入力ブロック162は、キャプチャ準備信号SPSの入力を受けて制御ブロック164に伝送することができる。この時、キャプチャ準備信号SPSはフォーカス動作を行うためのオートフォーカススタート信号、フォーカス動作を行うための外部入力信号(例えば、タッチ入力信号など)、スマイル検出動作を行うためのスマイル検出信号、顔検出動作を行うための顔検出信号とすることができる。
【0157】
さらに、入力ブロック162は、キャプチャ準備信号SPSに基づいてオートフォーカススタート信号、外部入力信号、スマイル検出信号、顔検出信号に相応する内部信号IS_1を制御ブロック164に提供することができる。制御ブロック164は、入力ブロック162から出力される内部信号IS_1に基づいて、イメージセンサ部120及びイメージ信号処理部140を制御するための内部信号IS_2を生成し、前記内部信号IS_2を出力ブロック166に提供することができる。
【0158】
この時、内部信号IS_2は、イメージセンサ部120及びイメージ信号処理部160を制御するための制御信号CTL1、CTL2に相応させることができる。以後、出力ブロック166は、制御ブロック164から出力される内部信号IS_2に基づいて、イメージセンサ部120及びイメージ信号処理部140に前記制御信号CTL1、CTL2を各々提供することができる。
【0159】
モード制御部160はキャプチャ準備信号SPSに基づいてカメラモジュール100の動作モードをプレビュモードからキャプチャ準備モードに切り替えることができる。さらに、モード制御部160は、特定条件下でカメラモジュール100の動作モードをキャプチャ準備モードからプレビュモードに切り替えることもできる。上述した通り、モード制御部160はプレビュモードでイメージセンサ部120が低解像度のセンサ出力イメージSOIを出力するようにし、イメージ信号処理部140が低解像度のセンサ出力イメージSOIを処理するようにできる。
【0160】
反面、モード制御部160はキャプチャ準備モードでイメージセンサ部120が高解像度のセンサ出力イメージSOIを出力するようにし、イメージ信号処理部140が高解像度のセンサ出力イメージSOIを処理するようにできる。その結果、カメラモジュール100はプレビュモードで不必要な電力を消費しないようにすることができ、キャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、カメラモジュール100は相対的に消費電力が大きいキャプチャ準備モードを最小化することができる。
【0161】
図15は図11のカメラモジュールがモバイル機器に適用されること例を示すブロック図である。
図15を参照すれば、カメラモジュール200は、イメージセンサ部220、イメージ信号処理部240、及びモード制御部260を含むことができる。この時、モード制御部260は、アプリケーションプロセッサ270内に備えることができる。実施形態により、カメラモジュール200はシステムオンチップSOCで製造されるようにすることができる。
【0162】
イメージセンサ部220は、被写体に相応する光信号LIGの入力を受けて光電変換を実行することによって、センサ出力イメージSOIを生成することができ、イメージ信号処理部240はイメージセンサ部220から出力されるセンサ出力イメージSOIを処理してイメージデータIDAを出力することができ、モード制御部260はキャプチャ準備信号SPSに基づいてカメラモジュール200の動作モードをプレビュモードからキャプチャ準備モードに切り替えることができる。ただし、イメージセンサ部220、イメージ信号処理部240、及びモード制御部260に対しては上述したので、それに関する重複する説明は省略する。
【0163】
図15に示したように、モード制御部260はアプリケーションプロセッサ270内に備えることができる。一般的に、モバイル機器(例えば、スマートフォン、スマートパッド、PDA、ポータブルゲーム機)は主にバッテリ(battery)に基づいて動作するので、低電力化及び小型化される傾向であり、このためにモバイル機器の多様な機能を実行するためのアプリケーションプロセッサ270を具備することができる。
【0164】
即ち、モバイル機器のアプリケーションプロセッサ270は、CPU(Central Processing Unit)に相応させることができる。従って、アプリケーションプロセッサ270内にはキャプチャ準備信号SPSに基づいてカメラモジュール200の動作モードをプレビュモードからキャプチャ準備モードに切り替えることのできるモード制御部260を備えることができる。この場合、アプリケーションプロセッサ270とモード制御部260との間の通信によって発生する遅延は最小化できる。
【0165】
このように、モード制御部260を具備するアプリケーションプロセッサ270は、プレビュモードでキャプチャ準備信号SPSが入力されると、イメージセンサ部220に制御信号CTL1を出力することによってカメラモジュール200の動作モードをキャプチャ準備モードに切り替えることができる。これにより、イメージセンサ部220はプレビュモードで低解像度のセンサ出力イメージSOIを出力し、キャプチャ準備信号SPSが入力された時点(即ち、キャプチャ準備モードの開始点)から高解像度のセンサ出力イメージSOIを出力することができる。
【0166】
その結果、使用者がシャッタリリースボタンを押した時点とイメージキャプチャが行われる時点との間の遅延であるシャッタラグが発生しないように出来る。さらに、モード制御部260を具備するアプリケーションプロセッサ270は、キャプチャ準備モードで特定条件(例えば、キャプチャ準備モードでセンサ出力イメージがキャプチャされるか、キャプチャ準備モードが既設定された時間だけ経過するか、または、キャプチャ準備モードでモード転換信号が入力される場合)下に置かれる場合、イメージセンサ部220に制御信号CTL1を出力することによってカメラモジュール200の動作モードをプレビュモードに切り替えることができる。
【0167】
その結果、イメージセンサ部220が高解像度のセンサ出力イメージSOIを出力するキャプチャ準備モードが最小化されるからカメラモジュール200の消費電力は大幅に減少することができる。実施形態により、モード制御部260はリアルタイム運営システムRTOSを含むことができ、イメージ信号処理部240はリアルタイム運営システムRTOSにより制御することができる。
【0168】
図16は図11のカメラモジュールがモバイル機器に適用される他の例を示すブロック図である。
図16を参照すれば、カメラモジュール300は、イメージセンサ部320、イメージ信号処理部340、及びモード制御部360を含むことができる。この時、イメージ信号処理部340及びモード制御部360はアプリケーションプロセッサ370内に備えることができる。実施形態により、カメラモジュール300はシステムオンチップSOCで製造されるようにすることができる。
【0169】
イメージセンサ部320は、被写体に相応する光信号LIGの入力を受けて光電変換を実行することによってセンサ出力イメージSOIを生成することができ、イメージ信号処理部340はイメージセンサ部320から出力されるセンサ出力イメージSOIを処理してイメージデータIDAを出力することができ、モード制御部360は、キャプチャ準備信号SPSに基づいてカメラモジュール300の動作モードをプレビュモードからキャプチャ準備モードに切り替えることができる。ただし、イメージセンサ部320、イメージ信号処理部340及びモード制御部360に対しては上述したので、それに関する重複する説明は省略する。
【0170】
図16に示したように、イメージ信号処理部340及びモード制御部360は、アプリケーションプロセッサ370内に備えることができる。即ち、アプリケーションプロセッサ370内にはキャプチャ準備信号SPSに基づいてカメラモジュール300の動作モードをプレビュモードからキャプチャ準備モードに切り替えることのできるモード制御部360とイメージセンサ部320から出力されるセンサ出力イメージSOIを処理してイメージデータIDAを出力するイメージ信号処理部340とを備えることができる。この場合、アプリケーションプロセッサ370とイメージ信号処理部340及びモード制御部360との間の通信によって発生する遅延は最小化できる。
【0171】
図17は図11のカメラモジュールがモバイル機器に適用されるまた他の例を示すブロック図である。
図17を参照すれば、カメラモジュール400は、イメージセンサ部420、イメージ信号処理部440、及びモード制御部460を含むことができる。この時、モード制御部460は、アプリケーションプロセッサ470に接続される別途のプロセッサとすることができる。実施形態により、カメラモジュール400は、システムオンチップSOCで製造されるようにすることができる。
【0172】
イメージセンサ部420は被写体に相応する光信号LIGの入力を受けて光電変換を実行することによってセンサ出力イメージSOIを生成することができ、イメージ信号処理部440はイメージセンサ部420から出力されるセンサ出力イメージSOIを処理してイメージデータIDAを出力することができ、モード制御部460はキャプチャ準備信号SPSに基づいてカメラモジュール400の動作モードをプレビュモードからキャプチャ準備モードに切り替えることができる。ただし、イメージセンサ部420、イメージ信号処理部440、及びモード制御部460に対しては上述したので、それに関する重複する説明は省略する。
【0173】
図17に示したように、モード制御部460はアプリケーションプロセッサ470に接続される別途のプロセッサとすることができる。即ち、モード制御部460はアプリケーションプロセッサ470と接続され、アプリケーションプロセッサ470から出力されるキャプチャ準備信号SPSに基づいてカメラモジュール400の動作モードをプレビュモードからキャプチャ準備モードに切り替えることができる。一般的に、モバイル機器でアプリケーションプロセッサ470はマルチタスキング(multi−tasking)を実行するが、アプリケーションプロセッサ470に過負荷がかかる場合、モバイル機器に備わるカメラモジュール400は誤作動する場合がある。そこで、モード制御部460をアプリケーションプロセッサ470と別途に具現することによって、モバイル機器に備わったカメラモジュール400の動作安定性を確保できる。
【0174】
図18は図11のカメラモジュールがモバイル機器に適用されるまた他の例を示すブロック図である。
図18を参照すれば、カメラモジュール500はイメージセンサ部520、イメージ信号処理部540及びモード制御部560を含むことができる。この時、モード制御部560はアプリケーションプロセッサ570に接続される別途のプロセッサとすることができ、イメージ信号処理部540はアプリケーションプロセッサ570内に備えることができる。実施形態により、カメラモジュール500はシステムオンチップSOCで製造されるようにすることができる。
【0175】
イメージセンサ部520は被写体に相応する光信号LIGの入力を受けて光電変換を実行することによってセンサ出力イメージSOIを生成することができ、イメージ信号処理部540はイメージセンサ部520から出力されるセンサ出力イメージSOIを処理してイメージデータIDAを出力することができ、モード制御部560はキャプチャ準備信号SPSに基づいてカメラモジュール500の動作モードをプレビュモードからキャプチャ準備モードに切り替えることができる。ただし、イメージセンサ部520、イメージ信号処理部540、及びモード制御部560に対しては上述したので、それに関する重複する説明は省略する。
【0176】
図18に示したように、アプリケーションプロセッサ570内にはイメージセンサ部520から出力されるセンサ出力イメージSOIを処理してイメージデータIDAを出力するイメージ信号処理部540が具現されるが、モード制御部560はアプリケーションプロセッサ570に接続される別途のプロセッサとすることができる。その結果、アプリケーションプロセッサ570とイメージ信号処理部540との間の通信によって発生する遅延を最小化でき、モード制御部560がアプリケーションプロセッサ570と別途で具現されるのでモバイル機器に備わったカメラモジュール500の動作安定性が確保できる。
【0177】
図19は本発明の実施形態に係るカメラモジュールを具備するモバイル機器を示すブロック図である。
図19を参照すれば、モバイル機器600はカメライメージセンサ620、アプリケーションプロセッサ640及びイメージを表示する少なくとも一つ以上のディスプレイ660を含むことができる。実施形態により、モバイル機器600はモバイル機器600の他の機能(function)を実行するための複数の機能回路680をさらに含むことができる。
【0178】
モバイルコンバージェンスの進展に伴い、モバイル機器600は多様な機能を実行できる。図19に示したように、モバイル機器600は、カメラ機能を実行するためのカメラモジュールを含むことができる。この時、カメラモジュールでカメライメージセンサ620を除いた他の構成要素はモバイル機器600のアプリケーションプロセッサ640内に実装することができる。
【0179】
一実施形態において、アプリケーションプロセッサ640は、モードコントローラ、イメージ信号プロセッサ、後処理プロセッサ、及びディスプレイコントローラを含むことができる。モードコントローラは、カメライメージセンサ620から出力されるセンサ出力イメージをプレビュモードで低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、キャプチャ準備モードでセンサ出力イメージを高解像度に維持することができる。イメージ信号プロセッサは、センサ出力イメージを処理して第1イメージデータを生成することができる。
【0180】
後処理プロセッサは第1イメージデータを後処理して第2イメージデータを生成することができる。ディスプレイコントローラは、前記イメージを生成するための第2イメージデータ(即ち、イメージデータ)を少なくとも一つ以上のディスプレイに出力することができる。ここで、アプリケーションプロセッサ640のモードコントローラは、図11のモード制御部160に相応して、アプリケーションプロセッサ640のイメージ信号プロセッサ、後処理プロセッサ及びディスプレイコントローラは図11のイメージ信号処理部140に相応する。
【0181】
このように、モバイル機器の低電力化及び小型化傾向によりモバイル機器600は多様な機能を実行するためのアプリケーションプロセッサ640を具備することができ、アプリケーションプロセッサ640内にはキャプチャ準備信号に基づいてカメラモジュールの動作モードをプレビュモードからキャプチャ準備モードに切り替えることのできるモードコントローラ及びカメライメージセンサ620から出力されるセンサ出力イメージを処理してイメージデータを出力するイメージ信号プロセッサ、後処理プロセッサ、及びディスプレイコントローラを実装することができる。従って、アプリケーションプロセッサ640とモードコントローラ、イメージ信号プロセッサ、後処理プロセッサ及びディスプレイコントローラの間の通信によって発生する遅延を最小化できる。
【0182】
一方、アプリケーションプロセッサ640はモバイル機器600の他の機能を実行するための複数の機能回路680と接続され、複数の機能回路680を制御することができる。上述した通り、モバイル機器600はカメラモジュールの駆動において、プレビュモードでセンサ出力イメージを低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、キャプチャ準備モードでセンサ出力イメージを高解像度に維持することができる。その結果、モバイル機器600はプレビュモードで不必要な電力が消費されるのを防止できるだけでなく、キャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、モバイル機器600は相対的に消費電力が大きいキャプチャ準備モードを最小化することができる。
【0183】
図20は図19のモバイル機器が外部ディスプレイに接続される一例を示す図である。
図20を参照すれば、モバイル機器600は少なくとも一つ以上の内部ディスプレイ660を含み、少なくとも一つ以上の外部ディスプレイ(690_1,・・・,690_n)に接続されるようにすることができる。この時、少なくとも一つ以上の外部ディスプレイ(690_1,・・・,690_n)は、少なくとも一つ以上の外部装置(680_1,・・・,680_n)それぞれの内部ディスプレイに該当するようにすることができる。
【0184】
例えば、モバイル機器600がスマートフォンの場合に内部ディスプレイ660は、スマートフォンのLCD(Liquid Crystal Display;LCD)ディスプレイまたはAMOLED(Active Matrix Organic Light Emitting Diodes)ディスプレイに相応し、外部装置(680_1,・・・,680_n)は前記スマートフォンと有線または無線で接続できるノートブック(laptop)、テレビ(television)、モニタ(monitor)、プロジェクタ(projector)などに相応することができる。
【0185】
従って、モバイル機器600がカメラ機能を実行する時、内部ディスプレイ660に被写体が表示されると同時に、モバイル機器600と接続された外部ディスプレイ(690_1,・・・,690_n)にも被写体を表示することができる。このために、モバイル機器600は外部装置(680_1,・・・,680_n)にイメージデータIDAを同時に提供することができる。これと共に、モバイル機器600は外部装置(680_1,・・・,680_n)とイメージデータを共有することができるので、モバイル機器600を有している使用者と外部装置(680_1,・・・,680_n)を有している使用者とは、リアルタイムで同じイメージを視聴することができる。
【0186】
一実施形態において、モバイル機器600を有している使用者が内部ディスプレイ660に被写体を表示させると、外部装置(680_1,・・・,680_n)を有している使用者は、外部ディスプレイ(690_1,・・・,690_n)に表示される被写体に対して遠隔でイメージキャプチャを実行できる。このように、モバイル機器600は画像通話、画像会議、遠隔操作などの多様な応用に利用できる。
【0187】
図21〜図24は図19のモバイル機器で具現される多様な例を示す図である。
図21〜図24を参照すれば、図19のモバイル機器600は、携帯電話910、スマートフォン920、デジタルカメラ930、ビデオカメラ940などで具現できる。上述した通り、モバイルコンバージェンスの進展に伴って、モバイル機器600は多様な機能を実行できる。例えば、携帯電話910やスマートフォン920は、通信機能が主な機能であるが、付随的にカメラ機能を含むことができ、デジタルカメラ930及びビデオカメラ940はカメラ機能が主な機能であるが、付随的に通信機能を含むことができる。
【0188】
上述した通り、図19のモバイル機器600はカメラ機能を実行するためのカメライメージセンサ620、アプリケーションプロセッサ640、及び少なくとも一つ以上のディスプレイ660を含むことができる。さらに、図19のモバイル機器600は、モバイル機器600の他の機能を実行するための複数の機能回路680をさらに含むことができる。ただし、これに対しては上述したので、それに関する重複する説明は省略する。
【0189】
一方、図19のモバイル機器600で、アプリケーションプロセッサ640はプレビュモードでセンサ出力イメージを低解像度に維持し、キャプチャ準備信号に基づいてセンサ出力イメージを高解像度に変更し、キャプチャ準備モードでセンサ出力イメージを高解像度に維持することができる。その結果、モバイル機器600はプレビュモードで不必要な電力が消費されることを防止できるだけでなく、キャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、モバイル機器600は相対的に消費電力が大きいキャプチャ準備モードを最小化することができる。
【0190】
図25は本発明の実施形態に係るカメラモジュールを具備する電子機器を示すブロック図である。
図25を参照すれば、電子機器1000は、プロセッサ1010、メモリ装置1020、保存装置1030、入出力装置1040、パワーサプライ1050、及びカメラモジュール1060を含むことができる。この時、カメラモジュール1060は、図11のカメラモジュール100に相応させることができる。一方、図25には図示しなかったが、電子機器1000はビデオカード、サウンドカード、メモリカード、USB装置などと通信するか、または、他の電子機器と通信できるポート(port)をさらに含むことができる。
【0191】
プロセッサ1010は、特定計算またはタスク(task)を実行できる。実施形態により、プロセッサ1010は、マイクロプロセッサ(micro−processor)、CPU(Central Processing Unit)とすることができる。プロセッサ1010は、アドレスバス(address bus)、制御バス(control bus)、及びデータバス(data bus)を介してメモリ装置1020、保存装置1030、及び入出力装置1040に接続されて通信を実行することができる。
【0192】
実施形態により、プロセッサ1010は、PCI(Peripheral Component Interconnect)バスのような拡張バスにも接続することができる。メモリ装置1020は電子機器1000の動作に必要なデータを保存することができる。例えば、メモリ装置1020は動的ランダムアクセスメモリ(DRAM)、静的ランダムアクセスメモリ(SRAM)などのような揮発性メモリ装置及びEPROM、EEPROM、及びフラッシュメモリ装置(flash memory device)などのような不揮発性メモリ装置を含むことができる。
【0193】
保存装置1030は、ソリッドステートドライブ(solid state drive)、ハードディスクドライブ(harddisk drive)及びCD−ROMなどを含むことができる。入出力装置1040は、キーボード、キーパッド、マウスなどのような入力手段、及び、プリンタ、ディスプレイなどのような出力手段を含むことができる。パワーサプライ1050は電子機器1000の動作に必要な動作電圧を供給することができる。
【0194】
カメラモジュール1060は、前記バスまたは他の通信リンクを介してプロセッサ1010と通信を実行できる。実施形態により、プロセッサ1010はアプリケーションプロセッサとすることもでき、カメラモジュールの一部または全部がアプリケーションプロセッサと接続するか、または、アプリケーションプロセッサ内に実装することができる。上述した通り、カメラモジュール1060は、イメージセンサ部、イメージ信号処理部、及びモード制御部を含むことができる。この時、モード制御部は、イメージセンサ部がプレビュモードで低解像度のセンサ出力イメージを出力し、キャプチャ準備モードで高解像度のセンサ出力イメージを出力するようにすることができる。
【0195】
また、モード制御部は、イメージ信号処理部がプレビュモードで低解像度のセンサ出力イメージを処理して外部(即ち、ディスプレイ)に出力し、キャプチャ準備モードで高解像度のセンサ出力イメージを処理して外部に出力するようにすることができる。その結果、カメラモジュール1060は、プレビュモードで不必要な電力が消費されることを防止できるだけでなく、キャプチャ準備モードでキャプチャ動作時に発生するシャッタラグを効率的に除去することができる。さらに、電子機器1000は相対的に消費電力が大きいキャプチャ準備モードを最小化できる。一方、電子機器1000はカメラモジュール1060を具備するすべてのシステムと解釈するべきである。
【0196】
図26は図25の電子機器で使われるインターフェースの一例を示すブロック図である。
図26を参照すれば、電子機器1100は、MIPIを使用または支援できるデータ処理装置として具現でき、アプリケーションプロセッサ1110、イメージセンサ1140及びディスプレイ1150などを含むことができる。アプリケーションプロセッサ1110のCSIホスト1112は、カメラ・シリアル・インターフェース(Camera Serial Interface;CSI)を介してイメージセンサ1140のCSI装置1141とシリアル通信を実行することができる。
【0197】
一実施形態において、CSIホスト1112は、デシリアライザDESを含むことができ、CSI装置1141は、シリアライザSERを含むことができる。アプリケーションプロセッサ1110のDSIホスト1111は、ディスプレイ・シリアル・インターフェース(Display Serial Interface;DSI)を介してディスプレイ1150のDSI装置1151とシリアル通信を実行できる。一実施形態において、DSIホスト1111は、シリアライザSERを含むことができ、DSI装置1151はデシリアライザDESを含むことができる。
【0198】
さらに、電子機器1100はアプリケーションプロセッサ1110と通信を実行できる RF(Radio Frequency)チップ1160をさらに含むことができる。電子機器1100のPHY1113とRFチップ1160のPHY1161とは、MIPI DigRFに伴ってデータ送受信を実行できる。また、アプリケーションプロセッサ1110は、PHY1161のMIPI DigRFに伴うデータ送受信を制御するDigRF MASTER1114をさらに含むことができる。
【0199】
一方、電子機器1100は、GPS(Global Positioning System)1120、ストレージ1170、マイク1180、DRAM(Dynamic Random Access Memory)1185、及びスピーカ1190を含むことができる。また、電子機器1100は、超広帯域(Ultra WideBand;UWB)1210、WLAN(Wireless Local Area Network)1220及び WIMAX(Worldwide Interoperability for Microwave Access)1230などを利用して通信を実行できる。ただし、前記インターフェースは一つの例示であって、これに限定されるものではない。
【0200】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【0201】
本発明はカメラモジュール及びこれを含む電子機器(例えば、モバイル機器)に適用することができる。例えば、本発明はコンピュータ、デジタルカメラ、3次元カメラ、携帯電話、スマートフォン、スマートパッド、PDA、ビデオフォン、監視システム、動作感知システム、イメージ安定化システムなどに適用することができる。
【符号の説明】
【0202】
100 カメラモジュール
120 イメージセンサ部
140 イメージ信号処理部
160 モード制御部
600 モバイル機器
620 カメライメージセンサ
640 アプリケーションプロセッサ
660 ディスプレイ
680 機能回路
【特許請求の範囲】
【請求項1】
カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に維持する段階と、
キャプチャ準備信号に基づいて前記センサ出力イメージを高解像度に変更して前記カメライメージセンサをキャプチャ準備モードに進入させる段階と、
前記キャプチャ準備モードでキャプチャ信号に応答して前記センサ出力イメージをキャプチャする段階と、を含み、
前記低解像度は基準解像度と同一であるか、または、前記基準解像度より低い解像度であり、前記高解像度は前記基準解像度より高い解像度であることを特徴とする低電力シャッタラグ除去方法。
【請求項2】
前記センサ出力イメージがキャプチャされると、前記センサ出力イメージを低解像度に変更して前記カメライメージセンサを前記プレビュモードに再進入させる段階をさらに含むことを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項3】
前記キャプチャ準備モードが既設定された時間だけ経過すると、前記センサ出力イメージを低解像度に変更して前記カメライメージセンサを前記プレビュモードに再進入させる段階をさらに含むことを特徴とする請求項2に記載の低電力シャッタラグ除去方法。
【請求項4】
前記キャプチャ準備モードでモード転換信号が入力されると、前記センサ出力イメージを低解像度に変更して前記カメライメージセンサを前記プレビュモードに再進入させる段階をさらに含むことを特徴とする請求項2に記載の低電力シャッタラグ除去方法。
【請求項5】
前記センサ出力イメージは、前記プレビュモードで前記キャプチャ準備信号が入力されると同時に低解像度から高解像度に変更されることを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項6】
前記センサ出力イメージは、前記プレビュモードで前記キャプチャ準備信号が入力されると、既設定された時間が経過した後、低解像度から高解像度に変更されることを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項7】
前記キャプチャ準備信号は、フォーカス動作を行うためのオートフォーカススタート信号であることを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項8】
前記キャプチャ準備信号は、フォーカス動作を行うための外部入力信号であることを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項9】
前記外部入力信号は、タッチ入力信号、ボタン入力信号、音声入力信号のうちから選択される少なくとも一つ以上の信号であることを特徴とする請求項8に記載の低電力シャッタラグ除去方法。
【請求項10】
前記キャプチャ準備信号は、スマイル検出動作を行うためのスマイル検出信号であることを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項11】
前記キャプチャ準備信号は、顔検出動作を行うための顔検出信号であることを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項12】
前記センサ出力イメージの低解像度の大きさは、ディスプレイの出力サイズに相応し、前記ディスプレイの出力サイズの変更に伴って可変されることを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項13】
前記センサ出力イメージの高解像度の大きさは、既設定されたサイズに相応し、使用者によって可変されることを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項14】
光電変換を実行してセンサ出力イメージを生成するイメージセンサ部と、
前記センサ出力イメージをプレビュモードで低解像度に維持し、キャプチャ準備信号に基づいて前記センサ出力イメージを高解像度に変更し、キャプチャ準備モードで前記センサ出力イメージを高解像度に維持するモード制御部と、
前記センサ出力イメージを処理してイメージデータを出力するイメージ信号処理部と、を含み、
前記低解像度は基準解像度と同一であるか、または、前記基準解像度より低い解像度であり、前記高解像度は前記基準解像度より高い解像度であることを特徴とするカメラモジュール。
【請求項15】
システムオンチップで製造されることを特徴とする請求項14に記載のカメラモジュール。
【請求項16】
前記モード制御部は、前記プレビュモードでセンサ出力イメージを低解像度に設定し、前記キャプチャ準備モードで前記センサ出力イメージを高解像度に設定することを特徴とする請求項14に記載のカメラモジュール。
【請求項17】
前記モード制御部は、前記キャプチャ準備モードで前記センサ出力イメージがキャプチャされると、前記カメラモジュールの動作モードを前記キャプチャ準備モードから前記プレビュモードに切り替えることを特徴とする請求項16に記載のカメラモジュール。
【請求項18】
前記モード制御部は、前記キャプチャ準備モードが既設定された時間だけ経過すると、前記カメラモジュールの動作モードを前記キャプチャ準備モードから前記プレビュモードに切り替えることを特徴とする請求項17に記載のカメラモジュール。
【請求項19】
前記モード制御部は、前記キャプチャ準備モードでモード転換信号が入力されると、前記カメラモジュールの動作モードを前記キャプチャ準備モードから前記プレビュモードに切り替えることを特徴とする請求項17に記載のカメラモジュール。
【請求項20】
前記キャプチャ準備信号は、フォーカス動作を行うためのオートフォーカススタート信号であることを特徴とする請求項16に記載のカメラモジュール。
【請求項21】
前記キャプチャ準備信号は、フォーカス動作を行うための外部入力信号であることを特徴とする請求項16に記載のカメラモジュール。
【請求項22】
前記キャプチャ準備信号は、スマイル検出動作を行うためのスマイル検出信号であることを特徴とする請求項16に記載のカメラモジュール。
【請求項23】
前記キャプチャ準備信号は、顔検出動作を行うための顔検出信号であることを特徴とする請求項16に記載のカメラモジュール。
【請求項24】
カメライメージセンサ、アプリケーションプロセッサ、及びイメージを表示する少なくとも一つ以上のディスプレイを具備するモバイル機器であって、前記アプリケーションプロセッサは、
前記カメライメージセンサから出力されるセンサ出力イメージを前記カメライメージセンサのプレビュモードで低解像度に維持し、キャプチャ準備信号に基づいて前記センサ出力イメージを高解像度に変更し、前記センサ出力イメージを前記カメライメージセンサのキャプチャ準備モードで高解像度に維持するモードコントローラと、
前記センサ出力イメージを処理して第1イメージデータを生成するイメージ信号プロセッサと、
前記第1イメージデータを後処理して第2イメージデータを生成する後処理プロセッサと、
前記イメージを生成するための前記第2イメージデータを前記少なくとも一つ以上のディスプレイに出力するディスプレイコントローラと、を含むことを特徴とするモバイル機器。
【請求項25】
前記アプリケーションプロセッサは、前記第1イメージデータを臨時保存して前記後処理プロセッサで出力するメモリをさらに含むことを特徴とする請求項24に記載のモバイル機器。
【請求項26】
前記モードコントローラは、リアルタイム運営システムを含むことを特徴とする請求項24に記載のモバイル機器。
【請求項27】
携帯電話、スマートフォン、デジタルカメラ、タブレット、または、ビデオカメラで具現されることを特徴とする請求項24に記載のモバイル機器。
【請求項28】
前記アプリケーションプロセッサは、少なくとも一つ以上の入出力端子を通じて外部ディスプレイに接続され、前記イメージデータを前記外部ディスプレイに出力することを特徴とする請求項27に記載のモバイル機器。
【請求項29】
前記アプリケーションプロセッサと前記カメライメージセンサとは、MIPI、ITU−R BT.601、ITU−R BT.656またはITU−R BT.709に基づいて通信を実行することを特徴とする請求項27に記載のモバイル機器。
【請求項30】
前記キャプチャ準備信号は、フォーカス動作を行うためのオートフォーカススタート信号であることを特徴とする請求項27に記載のモバイル機器。
【請求項31】
前記キャプチャ準備信号は、フォーカス動作を行うための外部入力信号であることを特徴とする請求項27に記載のモバイル機器。
【請求項32】
前記キャプチャ準備信号は、スマイル検出動作を行うためのスマイル検出信号であることを特徴とする請求項27に記載のモバイル機器。
【請求項33】
前記キャプチャ準備信号は、顔検出動作を行うための顔検出信号であることを特徴とする請求項27に記載のモバイル機器。
【請求項34】
イメージセンサのイメージ出力解像度として第1解像度を利用して前記イメージセンサからプレビュイメージを出力させる段階と、
カメラモジュールに受信されるキャプチャ準備信号に応答して前記イメージセンサの前記イメージ出力解像度を前記第1解像度から前記第1解像度より高い第2解像度に変更させる段階と、
前記カメラモジュールに受信されるキャプチャ信号に応答して前記イメージセンサの前記イメージ出力解像度として前記第2解像度を利用して選択されたイメージをキャプチャする段階と、を含み、
前記キャプチャ準備信号は、前記キャプチャ信号より先に前記カメラモジュールに受信されることを特徴とするカメラモジュールのイメージセンサ動作方法。
【請求項35】
前記キャプチャ準備信号は、フォーカス動作を実行するための外部入力信号であることを特徴とする請求項34に記載のカメラモジュールのイメージセンサ動作方法。
【請求項36】
前記キャプチャ準備信号は、スマイル検出動作を実行するためのスマイル検出信号であることを特徴とする請求項34に記載のカメラモジュールのイメージセンサ動作方法。
【請求項37】
前記キャプチャ準備信号は、顔検出動作を実行するための顔検出信号であることを特徴とする請求項34に記載のカメラモジュールのイメージセンサ動作方法。
【請求項1】
カメライメージセンサのプレビュモードでセンサ出力イメージを低解像度に維持する段階と、
キャプチャ準備信号に基づいて前記センサ出力イメージを高解像度に変更して前記カメライメージセンサをキャプチャ準備モードに進入させる段階と、
前記キャプチャ準備モードでキャプチャ信号に応答して前記センサ出力イメージをキャプチャする段階と、を含み、
前記低解像度は基準解像度と同一であるか、または、前記基準解像度より低い解像度であり、前記高解像度は前記基準解像度より高い解像度であることを特徴とする低電力シャッタラグ除去方法。
【請求項2】
前記センサ出力イメージがキャプチャされると、前記センサ出力イメージを低解像度に変更して前記カメライメージセンサを前記プレビュモードに再進入させる段階をさらに含むことを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項3】
前記キャプチャ準備モードが既設定された時間だけ経過すると、前記センサ出力イメージを低解像度に変更して前記カメライメージセンサを前記プレビュモードに再進入させる段階をさらに含むことを特徴とする請求項2に記載の低電力シャッタラグ除去方法。
【請求項4】
前記キャプチャ準備モードでモード転換信号が入力されると、前記センサ出力イメージを低解像度に変更して前記カメライメージセンサを前記プレビュモードに再進入させる段階をさらに含むことを特徴とする請求項2に記載の低電力シャッタラグ除去方法。
【請求項5】
前記センサ出力イメージは、前記プレビュモードで前記キャプチャ準備信号が入力されると同時に低解像度から高解像度に変更されることを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項6】
前記センサ出力イメージは、前記プレビュモードで前記キャプチャ準備信号が入力されると、既設定された時間が経過した後、低解像度から高解像度に変更されることを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項7】
前記キャプチャ準備信号は、フォーカス動作を行うためのオートフォーカススタート信号であることを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項8】
前記キャプチャ準備信号は、フォーカス動作を行うための外部入力信号であることを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項9】
前記外部入力信号は、タッチ入力信号、ボタン入力信号、音声入力信号のうちから選択される少なくとも一つ以上の信号であることを特徴とする請求項8に記載の低電力シャッタラグ除去方法。
【請求項10】
前記キャプチャ準備信号は、スマイル検出動作を行うためのスマイル検出信号であることを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項11】
前記キャプチャ準備信号は、顔検出動作を行うための顔検出信号であることを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項12】
前記センサ出力イメージの低解像度の大きさは、ディスプレイの出力サイズに相応し、前記ディスプレイの出力サイズの変更に伴って可変されることを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項13】
前記センサ出力イメージの高解像度の大きさは、既設定されたサイズに相応し、使用者によって可変されることを特徴とする請求項1に記載の低電力シャッタラグ除去方法。
【請求項14】
光電変換を実行してセンサ出力イメージを生成するイメージセンサ部と、
前記センサ出力イメージをプレビュモードで低解像度に維持し、キャプチャ準備信号に基づいて前記センサ出力イメージを高解像度に変更し、キャプチャ準備モードで前記センサ出力イメージを高解像度に維持するモード制御部と、
前記センサ出力イメージを処理してイメージデータを出力するイメージ信号処理部と、を含み、
前記低解像度は基準解像度と同一であるか、または、前記基準解像度より低い解像度であり、前記高解像度は前記基準解像度より高い解像度であることを特徴とするカメラモジュール。
【請求項15】
システムオンチップで製造されることを特徴とする請求項14に記載のカメラモジュール。
【請求項16】
前記モード制御部は、前記プレビュモードでセンサ出力イメージを低解像度に設定し、前記キャプチャ準備モードで前記センサ出力イメージを高解像度に設定することを特徴とする請求項14に記載のカメラモジュール。
【請求項17】
前記モード制御部は、前記キャプチャ準備モードで前記センサ出力イメージがキャプチャされると、前記カメラモジュールの動作モードを前記キャプチャ準備モードから前記プレビュモードに切り替えることを特徴とする請求項16に記載のカメラモジュール。
【請求項18】
前記モード制御部は、前記キャプチャ準備モードが既設定された時間だけ経過すると、前記カメラモジュールの動作モードを前記キャプチャ準備モードから前記プレビュモードに切り替えることを特徴とする請求項17に記載のカメラモジュール。
【請求項19】
前記モード制御部は、前記キャプチャ準備モードでモード転換信号が入力されると、前記カメラモジュールの動作モードを前記キャプチャ準備モードから前記プレビュモードに切り替えることを特徴とする請求項17に記載のカメラモジュール。
【請求項20】
前記キャプチャ準備信号は、フォーカス動作を行うためのオートフォーカススタート信号であることを特徴とする請求項16に記載のカメラモジュール。
【請求項21】
前記キャプチャ準備信号は、フォーカス動作を行うための外部入力信号であることを特徴とする請求項16に記載のカメラモジュール。
【請求項22】
前記キャプチャ準備信号は、スマイル検出動作を行うためのスマイル検出信号であることを特徴とする請求項16に記載のカメラモジュール。
【請求項23】
前記キャプチャ準備信号は、顔検出動作を行うための顔検出信号であることを特徴とする請求項16に記載のカメラモジュール。
【請求項24】
カメライメージセンサ、アプリケーションプロセッサ、及びイメージを表示する少なくとも一つ以上のディスプレイを具備するモバイル機器であって、前記アプリケーションプロセッサは、
前記カメライメージセンサから出力されるセンサ出力イメージを前記カメライメージセンサのプレビュモードで低解像度に維持し、キャプチャ準備信号に基づいて前記センサ出力イメージを高解像度に変更し、前記センサ出力イメージを前記カメライメージセンサのキャプチャ準備モードで高解像度に維持するモードコントローラと、
前記センサ出力イメージを処理して第1イメージデータを生成するイメージ信号プロセッサと、
前記第1イメージデータを後処理して第2イメージデータを生成する後処理プロセッサと、
前記イメージを生成するための前記第2イメージデータを前記少なくとも一つ以上のディスプレイに出力するディスプレイコントローラと、を含むことを特徴とするモバイル機器。
【請求項25】
前記アプリケーションプロセッサは、前記第1イメージデータを臨時保存して前記後処理プロセッサで出力するメモリをさらに含むことを特徴とする請求項24に記載のモバイル機器。
【請求項26】
前記モードコントローラは、リアルタイム運営システムを含むことを特徴とする請求項24に記載のモバイル機器。
【請求項27】
携帯電話、スマートフォン、デジタルカメラ、タブレット、または、ビデオカメラで具現されることを特徴とする請求項24に記載のモバイル機器。
【請求項28】
前記アプリケーションプロセッサは、少なくとも一つ以上の入出力端子を通じて外部ディスプレイに接続され、前記イメージデータを前記外部ディスプレイに出力することを特徴とする請求項27に記載のモバイル機器。
【請求項29】
前記アプリケーションプロセッサと前記カメライメージセンサとは、MIPI、ITU−R BT.601、ITU−R BT.656またはITU−R BT.709に基づいて通信を実行することを特徴とする請求項27に記載のモバイル機器。
【請求項30】
前記キャプチャ準備信号は、フォーカス動作を行うためのオートフォーカススタート信号であることを特徴とする請求項27に記載のモバイル機器。
【請求項31】
前記キャプチャ準備信号は、フォーカス動作を行うための外部入力信号であることを特徴とする請求項27に記載のモバイル機器。
【請求項32】
前記キャプチャ準備信号は、スマイル検出動作を行うためのスマイル検出信号であることを特徴とする請求項27に記載のモバイル機器。
【請求項33】
前記キャプチャ準備信号は、顔検出動作を行うための顔検出信号であることを特徴とする請求項27に記載のモバイル機器。
【請求項34】
イメージセンサのイメージ出力解像度として第1解像度を利用して前記イメージセンサからプレビュイメージを出力させる段階と、
カメラモジュールに受信されるキャプチャ準備信号に応答して前記イメージセンサの前記イメージ出力解像度を前記第1解像度から前記第1解像度より高い第2解像度に変更させる段階と、
前記カメラモジュールに受信されるキャプチャ信号に応答して前記イメージセンサの前記イメージ出力解像度として前記第2解像度を利用して選択されたイメージをキャプチャする段階と、を含み、
前記キャプチャ準備信号は、前記キャプチャ信号より先に前記カメラモジュールに受信されることを特徴とするカメラモジュールのイメージセンサ動作方法。
【請求項35】
前記キャプチャ準備信号は、フォーカス動作を実行するための外部入力信号であることを特徴とする請求項34に記載のカメラモジュールのイメージセンサ動作方法。
【請求項36】
前記キャプチャ準備信号は、スマイル検出動作を実行するためのスマイル検出信号であることを特徴とする請求項34に記載のカメラモジュールのイメージセンサ動作方法。
【請求項37】
前記キャプチャ準備信号は、顔検出動作を実行するための顔検出信号であることを特徴とする請求項34に記載のカメラモジュールのイメージセンサ動作方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【公開番号】特開2013−115816(P2013−115816A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2012−199665(P2012−199665)
【出願日】平成24年9月11日(2012.9.11)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】129,Samsung−ro,Yeongtong−gu,Suwon−si,Gyeonggi−do,Republic of Korea
【Fターム(参考)】
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願日】平成24年9月11日(2012.9.11)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】129,Samsung−ro,Yeongtong−gu,Suwon−si,Gyeonggi−do,Republic of Korea
【Fターム(参考)】
[ Back to top ]