カメラの手ぶれ低減システム
【課題】カメラの手ぶれを低減する。
【解決手段】通常モード及び手ぶれ低減（ｈｊｒ）モードにおいてカメラシステムは、通常モードの露光時間とゲインとを乗算することによって第１の露光時間−ゲインの積を生成することを備え得る。更に、前記通常モードの露光時間とゲインを修正することと、ｈｊｒモードのための第２の露光時間−ゲインの積を生成するために、これらの修正されたパラメータを修正することとを備え得る。ｈｊｒモードは、第１の露光時間−ゲインの積と第２の露光時間−ゲインの積との間の差分を低減する。前記差分を低減するため、前記通常モードのフレームレートもまた修正され得る。通常モードにおいてカメラは、閾値より上のセンスされた光レベルに応答して動作し得る。前記ｈｊｒモードは、前記カメラが動作中にユーザによって選択され得る。前記ｈｊｒモードは、前記閾値より低いセンスされた光レベルを受けて使用され得る。
【解決手段】通常モード及び手ぶれ低減（ｈｊｒ）モードにおいてカメラシステムは、通常モードの露光時間とゲインとを乗算することによって第１の露光時間−ゲインの積を生成することを備え得る。更に、前記通常モードの露光時間とゲインを修正することと、ｈｊｒモードのための第２の露光時間−ゲインの積を生成するために、これらの修正されたパラメータを修正することとを備え得る。ｈｊｒモードは、第１の露光時間−ゲインの積と第２の露光時間−ゲインの積との間の差分を低減する。前記差分を低減するため、前記通常モードのフレームレートもまた修正され得る。通常モードにおいてカメラは、閾値より上のセンスされた光レベルに応答して動作し得る。前記ｈｊｒモードは、前記カメラが動作中にユーザによって選択され得る。前記ｈｊｒモードは、前記閾値より低いセンスされた光レベルを受けて使用され得る。
【発明の詳細な説明】
【優先権の主張】
【０００１】
この出願は、２００６年１月１９日に出願され、“HAND JITTER REDUCTION SYSTEM DESIGN”と表題された、米国仮出願番号６０／７６０，７６８の利益を主張する。この開示は、共に２００６年９月２５日にこの出願と一体となって出願され、“HAND JITTER REDUCTION COMPENSATING FOR ROTATIONAL MOTION”と表題された係属中の特許出願番号１１／５３４，９３５（整理番号０６０２６８）、及び“HAND JITTER REDUCTION FOR COMPENSATING FOR LINEAR DISPLACEMENT”と表題された係属中の特許出願番号１１／５３４，８０８（整理番号０６０１９３）に関連する。
【技術分野】
【０００２】
この開示は、デジタル画像処理に関し、特にカメラの手ぶれ低減システムに関する。
【背景技術】
【０００３】
移動体通信におけるマルチメディアのアプリケーションについての要求が、驚異的な速度で高まってきている。今日、ユーザは、モバイル機器や携帯電話で閲覧するために、インターネットから画像や映像をダウンロードするのと同様に、静止画を送受信することが出来る。モバイル機器とカメラとの一体化は、移動体通信におけるマルチメディアの機能性のトレンドを強める更なる一因となってきている。
【０００４】
モバイル機器に関連するバッテリ容量、処理パワー、及び伝送速度等の、限られた量のリソースを考慮すれば、効果的なデジタル画像処理技術が、マルチメディア機能をサポートするために必要である。これは、画質を維持しつつ、マルチメディアのアプリケーションについての演算処理の複雑さを低減する、更に高度化されたハードウェア及びソフトウェアの発展を要求する。そのようなハードウェア及びソフトウェアの発展によって、モバイル機器の、低電力消費とより長い待ち受け時間とがもたらされる。
【０００５】
デジタル画像処理の一面には、写真からのぼけの除去が含まれる。ぼけは、手ぶれによって引き起こされ得る。手ぶれは、カメラでデジタル写真を撮影する際に、ユーザの手の動きによって引き起こされる。例えユーザが動きに気づいていなくても、手は頻繁に動き得る。この動きは比較的小さいが、しかし、もし動きが露光時間に比較して大きければ、デジタル写真はぼけるだろう。写真の物体または人は、動いているように見えるだろう。ぼけはまた、写真を撮影しているときに、物体／人が動くことによっても生じ得る。ぼけはまた、写真を取り込むために使用される光学システムの制限によっても生じ得る。
【０００６】
光が少ない条件下では、例えばモバイル機器の一つであるデジタルカメラは、写真を登録（register）するために、より長い時間がかかる。長い露光時間は、手により生じた僅かな動きがぼけを生じ得る可能性を増大させる。同様に、長い露光時間は、露光時間に比して、物体／人の動きが大きくなり得る機会を増大させる。
【０００７】
カメラの動きの補正についての現在の技術は、小型のジャイロスコープまたはその他の機械的なデバイスの使用を必要とする。どの技術も、特に、光の少ない条件下で、カメラの動きをデジタル補正する十分な方法とは言えない。あらゆる条件下でモバイルアプリケーションに適した効率的な処理リソースと共に、デジタル写真のぼけの量を低減することが望ましいだろう。
【発明の概要】
【０００８】
一つまたはそれ以上の形態の詳細が、添付図面と以下の記述により説明される。その他の特徴、目的、及び効果は、記述、図面、及び請求項から明らかになるであろう。
【０００９】
手ぶれ低減（ｈｊｒ）モードと通常モードとを備えるカメラシステムは、露光時間とゲインとを乗算して露光時間−ゲインの積を生成することによって動作し得る。通常モードの露光時間−ゲインの積と、ｈｊｒモードの露光時間−ゲインの積とがあり得る。通常の露光時間と通常のゲインの通常モードにおける露光時間−ゲインの積は、必要に応じてテーブルに保持され、または使用され得る。ｈｊｒモードにおける露光時間−ゲインの積もまた、テーブルに保持され得る。ｈｊｒモードにおける露光時間−ゲインの積は、通常モードにおける露光時間の積のテーブルにおけるエントリを修正（加算、減算、乗算、または除算）することによって生成され得る。そのようなものとして、別々のテーブルは必ずしも必要では無いが、ｈｊｒモードにおける等価な露光時間−ゲインの積が、通常モードにおける露光時間−ゲインの積と比較するために必要とされ得る。ｈｊｒモードで動作する際、パラメータはｈｊｒモードにおける露光時間−ゲインの積と通常モードにおける露光時間−ゲインの積との差分を低減するために変更され得る。カメラシステムのイメージセンサが最小平均光レベルより上にあり得る限りは、差分は低減され得る。ｈｊｒモードにおけるいずれかの領域において、イメージセンサが光レベルの最小平均値を満たさない場合には、ｈｊｒモードは、通常モードと同じ露光時間−ゲインの積を維持することが出来ないかもしれない。通常モードにおいてカメラは、閾値より上にあるセンスされた光レベルを受けて、動作し得る。ｈｊｒモードにおけるカメラの動作は、ユーザによって選択され得る。ｈｊｒモードは、閾値よりも低いセンスされた光レベルを受けて、使用され得る。
【００１０】
種々の形態が、これに限定されるものではないが、添付図面に一例として説明される。
【図面の簡単な説明】
【００１１】
【図１】図１は、デジタル画像処理の一形態を示すブロック図。
【図２】図２は、デジタル画像処理システムの一フロントエンド画像処理モジュールの一形態の機能を示すブロック図。
【図３】図３は、デジタル画像処理システムのフロントエンド画像処理モジュールの他の形態の機能を示すブロック図。
【図４Ａ】図４Ａは、通常モードについての光レベルに対する露光時間を示すグラフ。
【図４Ｂ】図４Ｂは、通常モードについての光レベルに対するゲインを示すグラフ。
【図５Ａ】図５Ａは、手ぶれ低減モードについての光レベルに対する露光時間を示すグラフ。
【図５Ｂ】図５Ｂは、手ぶれ低減モードについての光レベルに対するゲインを示すグラフ。
【図６】図６は、修正された自動露出パラメータを生成する方法を示すフローチャート。
【図７】通常モード及び手ぶれ低減モードにおけるカメラシステムの動作を説明するフローチャートが図７である。
【図８】図８は、手ぶれ低減モードにおけるカメラシステムの自動露出パラメータの変形例を示すフローチャート。
【発明を実施するための形態】
【００１２】
用語「典型的」は、一例（example）、事例（instance）、または実例（illustration）であることを意味するために、本明細書においては使用される。「典型的」として本明細書で説明されるあらゆる形態、スキーム、図案、及び調整（calibration）は、他の形態、スキーム、図案、及び調整に対して好ましくまた有利であるものとして解釈される必要は無い。全般として本明細書における記載は、手ぶれ、及び／または通常に比べて光の少ない状況の結果としてのデジタル写真におけるぼけを低減する技術である。また記載は、通常モード及び手ぶれ低減モードで動作可能なカメラを調整する技術でもある。
【００１３】
従来のカメラ機器においては、ユーザがスナップ撮影（一般には、ボタンを押すことで行われる）する際、写真を生成するにはひとつのフレームのみが使用される。２つ以上のフレームを使って写真を生成する方法は、質の悪い結果が得られるため、たいてい受け入れられなかった。従来のカメラ機器では、ユーザによるユーザ自身の手の動きによって発生する動きにより写真がぶれることがあり、これらの手の動きは、手ぶれとして知られている。従来のカメラ機器はまた、写真の露光に必要な時間による課題がある。光の少ない状況下では、露光時間は概して長くされる。露光時間が長くなることによって、手ぶれが写真にぼけを生じさせる可能性が高まると共に、光の少ない状況下によりユーザに認識し得るノイズ量も増加する。今日、カメラ機器は、ユーザによって生じた手ぶれを補正するための小型のジャイロスコープを備えていることがある。しかしながら、モバイル機器にジャイロスコープを搭載する際に直面する多くの課題がある。例え、これらの課題が解決されたとしても、デジタル手ぶれ低減技術は、ジャイロスコープを有するデバイスと共に使用されるだろう。今日のカメラ機器はまた、光の少ない状況下では、ゲインを調整し得る。あいにく、単純にゲインを大きくすることは、少ない光レベルの結果として生じるノイズも増幅する。この結果、たいてい低品質の写真となる。同様に、手ぶれのデジタル補正は、いつでも十分な結果を得られるわけでは無い。しかしながら、この開示を通して開示される技術によれば、光の少ない状況下におけるノイズを低減出来ると共に、手ぶれも低減することが可能となる。
【００１４】
図１は、モバイル機器に集積されたカメラ機器に適したデジタル画像処理を説明するブロック図である。モバイル機器は、携帯電話、携帯情報端末（ＰＤＡ）、ラップトップコンピュータ、またはその他のモバイルワイヤレス機器であって良い。イメージセンサモジュール１０４においては、イメージセンサ１０２上に画像の焦点を合わせるために、レンズ（図示せず）が用いられ得る。一構成例では、イメージセンサモジュール１０４は、ゲインや自動露出パラメータを保持するためのメモリを有しても良い。イメージセンサモジュール１０４はまた、ゲインや自動露出パラメータを修正する制御ドライバを有し得る。別の構成例では、イメージセンサモジュール１０４は、Mobile Station Modem（ＭＳＭTM）や、ゲインや自動露出パラメータの保持、修正するメモリ及び／または制御ドライバを有するその他のモジュールのような、集積回路に接続され得る。イメージセンサ１０２は、電荷結合デバイス（ＣＣＤ）、相補型金属酸化半導体（ＣＭＯＳ）イメージセンサ、またはその他の適切なイメージセンサであって良い。イメージセンサ１０２の少なくともひとつの構成例において、画像の異なるピクセルにおける光を取り込むために、半導体アレイが使用される。各半導体に一種類の色（例えば、赤、緑、または青）を通過させるため、イメージセンサ１０２の前面に配置されたカラーフィルタアレイ（ＣＦＡ）（図示せず）が使用され得る。最も一般的なＣＦＡは、ＲＧＢとＣＭＹＧパターンである。イメージセンサモジュール１０４は、イメージセンサ１０２を駆動または制御して、ゲイン及びまたは露光時間を修正し得る。
【００１５】
ユーザがボタンを押してスナップ撮影してデジタル写真を生成する前に、プレビューモードが、イメージセンサ１０２により生成された連続したフレームを取り込み得る。フレームの全体または一部が、画像（image）または同義的に写真（picture）と称される。例示的な目的のため、イメージは一連のフレームとして処理されるものとして議論するのが、都合が良い。しかし、フロントエンド画像処理モジュール１０６を使用する場合、フレームの全体が処理されなければならないわけでは無いことが理解されるべきである。更に、連続するフレームはまたストリームとして知られている。ストリームは、フロントエンド画像処理モジュール１０６に供給されても良く、そこで、静止画及び動画圧縮部１０８への入力としてのフルＲＧＢ解像度を得るためにデモザイク（de-mosaic）される。ストリームがフロントエンド画像処理モジュール１０６を通過する際には、プレビューモードにおいては、デジタル写真の生成に役立つ、フレームについての統計データが集められ得る。これらの統計データは、露光量、ホワイトバランス量、及びフォーカス量等であるが、これらに限定されるものでは無い。
【００１６】
フロントエンド画像処理モジュール１０６は、イメージセンサ１０２の制御を助ける種々の信号を、イメージセンサモジュール１０４にフィードバックする。静止画及び動画圧縮部１０８は、ＪＰＥＧ圧縮、またはその他の適切な圧縮アルゴリズムを使用し得る。自動露出制御モジュール１１０は、フロントエンド画像処理モジュール１０６の機能の少なくとも一つを補助するために、画像処理モジュール１０６で処理される光レベルに比例する値を受け取り、これを、保持された光ターゲットと比較する。フロントエンド画像処理モジュール１０６内のモジュールを経て処理される画像は、デジタルフレームの一部を成す。ストリームはまた、ディスプレイモジュール１１２に設けられ得るビューファインダに送られても良い。プレビューモードにおいて、ディスプレイモジュール１１２からのプレビュー判定が、自動露出の制御に用いられ得る。
【００１７】
デジタルカメラを有するモバイル機器におけるプレビューモードは、通常モードまたは手ぶれ低減（ｈｊｒ）モードで使用され得る。ユーザは、メニューを介してまたは手動によりユーザインタフェースを通じて、ｈｊｒモード（図１においてHJR選択と示す）を選択し得る。ゲイン、自動露光時間、フレームレート、及び処理フレーム数などの自動露出パラメータは、ユーザがスナップ撮影してデジタル画像を生成するためにボタンを押した後の期間内に決定される。収集された統計データが、通常モード及びｈｊｒモードの両方におけるスナップ撮影の期間に使用される自動露出パラメータを決定するために、使用され得る。従って、ユーザがボタンを押した後、画像処理は、ｈｊｒモードと通常モードとで異なり得る。ユーザがボタンを押す前では、プレビューモードは、ｈｊｒモードが選択されていたとしても、通常モードと同様に、画像を処理する。
【００１８】
図２は、デジタル画像処理システムにおける一フロントエンド画像処理モジュール１０６ａの一構成例の機能を説明するブロック図である。フロントエンド画像処理モジュール１０６は、人間の視覚体系の応答と、イメージセンサ１０２で生成されたセンサ信号の応答との間の差分を補償するために用いられ得る。これらの差分は、一例として、黒補正及びレンズロールオフ２０２、デモザイクモジュール２０４、ホワイトバランス及び色補正２０６、ガンマ補正２０８、及び色変換２１０を含む種々の手法を用いて補正され得る。これらの処理は、図２において分離された処理モジュールとして示されているが、同一のハードウェアやソフトウェアプラットフォームを用いて処理されても良い。更に、これらのモジュールは、同様の機能を実行する複数の画像処理モジュールを備えていても良く、これにより、当該機能が異なる画像につき並列的に処理されても良い。
【００１９】
色変換モジュールがフレームを処理した後、３つの色画像要素（Ｙ、Ｃｂ、Ｃｒ）が、手ぶれ制御モジュール２１２に送られ得る。自動露出制御モジュールからの種々のパラメータは、手ぶれ制御モジュールに送られ得る。手ぶれ制御モジュール２１２は、複数の目的を果たし得る。手ぶれ制御モジュール２１２は、スナップ撮影後に行われる画像処理を決定し得る。手ぶれ制御モジュール２１２は、HJR選択の値を検出し、手ぶれの低減（ｈｊｒ）の実行が必要かどうかを決定し得る。ユーザがｈｊｒモードを選択していたとしても、手ぶれ制御モジュール２１２は、通常モードで行われるのと同様の画像処理が行われ得ると決定し得る。手ぶれ補正制御モジュール２１２は、ｈｊｒモードで画像処理を行うように決定することも出来る。デジタル写真の生成において、ｈｊｒモードにおける画像処理には、単一のフレームまたは複数のフレームの取り込みが含まれ得る。もし手ぶれ制御モジュール２１２が複数のフレームの取り込みを決定した場合、何個のフレームがノイズ低減／フレーム登録モジュール２１４で処理されるかを示すパラメータと共に、フレームはｈｊｒ制御モジュールを通過した後、ノイズ低減／フレーム登録モジュール２１４に送られる。もし、単一フレームが処理される場合、ノイズ低減モジュール２１５の使用を通じて、単一フレームに対してノイズ低減が行われる。ノイズ低減モジュールは、bayerフィルタや、その他の同様のフィルタであって良い。もし複数のフレームが処理される場合、ノイズ低減／フレーム登録モジュール２１４は、手ぶれ制御モジュール２１２で特定されるフレーム数NUMFをバッファリングし、それらにつきフレーム登録を行う。フレームの数と光レベルにより、複数のフレーム登録の目的は、ノイズ低減及び／またはぼけ低減という目的に適い得る。複数のフレーム登録は、フレーム登録モジュール２１６によって行われ得る。
【００２０】
もし手ぶれ制御モジュール２１２が画像処理を通常モードで行うと決定した場合、ノイズ低減／フレーム登録モジュール２１４は使用されず、例えユーザがｈｊｒモードを選択したとしても、例えば色補正モジュール２１０の出力が使用され得る。手ぶれ制御モジュール２１２によりどのような画像処理（通常モードにおける画像処理またはｈｊｒモードにおける画像処理）が決定されたかに応じて、信号（ＳＥＬ）が、マルチプレクサ２１７がいずれを出力してポストプロセスモジュール２１８に送るか、を選択するために使用され得る。ポストプロセスモジュール２１８の出力は、静止画及び動画圧縮モジュール１０８及び／またはディスプレイモジュール１１２に送られ得る。
【００２１】
ノイズ低減及び／またはフレーム登録に使用するために選択信号（ＳＥＬ）とフレーム数を出力することに加えて、手ぶれ制御モジュール２１２はまた、その他のパラメータ：新自動露出フレームレート（ＡＥ ＦＲ＿ＮＥＷ）、自動露出ゲイン（ＡＥ ＧＡＩＮ＿ＮＥＷ）、新自動露光時間（ＡＥ ＴＩＭＥ＿ＮＥＷ）、及び処理されるフレーム数（ＮＵＭＦ）を出力し得る。これらのパラメータは、イメージセンサ１０２を制御するために、イメージセンサモジュール１０４に送られ得る。デジタルゲインはまた、手ぶれ制御モジュール２１２によって出力されてもよく、イメージセンサモジュール１０４の後ろのいずれかのモジュールに供給されても良い。一例として、デジタルゲインがホワイトバランス／色補正モジュール２０６の段階において供給され得る。
【００２２】
当業者は、ピクセルが一般的に説明されているが、サブピクセル、またはマルチプルピクセル（multiple pixels）もまた、フロントエンド画像処理モジュール１０６ａに入力され得ることを理解するであろう。更に、これらの画像要素のサブセット、またはＲＧＢや空間周波数変換ピクセル等のその他の形態が、手ぶれ制御モジュール２１２のような手ぶれ制御モジュールに供給されても良い。そのようなものとして、フロントエンド画像処理モジュールの機能性を取り込む別の構成が、図３に示されている。
【００２３】
図３において、手ぶれ制御モジュール２１２、ノイズ低減／フレーム登録モジュール２１４、及びマルチプレクサ２１７は、黒補正及びレンズロールオフモジュール２０２とデモザイクモジュール２０４との間に移動、挿入されている。フロントエンド画像処理モジュール１０６ｂに組み込まれたこの構成は、手ぶれ制御モジュール２１２がＹ、Ｃｂ、Ｃｒでは無く、Ｒ、Ｇ、Ｂの画像要素について動作する様子を示している。一般的に、手ぶれ制御モジュール２１２は、イメージセンサ１０２で光が取り込まれた後に続くモジュールであって、ディスプレイモジュール１１２または静止画及び動画圧縮モジュール１０８に先行するモジュールにおいて動作する。
【００２４】
通常モード及び手ぶれ低減モードは、少なくとも一つの自動露光時間−ゲインテーブルを生成することにより調整され得る。自動露光時間−ゲインテーブルは、露光時間のカラムとゲインのカラムとを保持し得る。露光時間のカラムのエントリと、ゲインのカラムのエントリとが乗算され、露光時間とゲインとの積が生成され得る。自動露光時間−ゲインテーブルにおける各行のエントリまたはインデックスは、光レベルの値を示し得る。すなわち、各光レベルは、自動露光時間−ゲインテーブルに、自動露出のインデックスとしてマップされる。自動露光時間−ゲインテーブルは、図４Ａ、図４Ｂ、図５Ａ、及び図５Ｂに表されたような種々の動作領域を有し得る。４つの全図面（図４Ａ、図４Ｂ、図５Ａ、及び図５Ｂ）において、横軸に示されたＲ１、Ｒ２、Ｒ３、及びＲ４の４つの光レベルの領域が存在し得る。各領域の区分は、異なる境界、境界Ａ、境界Ｂ、及び境界Ｃによって規定され得る。光レベルは、横軸の左端において高く、左端から右端に行くに従って小さくなる。各領域における露光時間とゲインの積、すなわち（露光時間）×（ゲイン）は、減少しないように定められるべきである。そのようなものとして、露光時間またはゲインの減少は、ゲインまたは露光時間の増大につながり得る。自動露光時間−ゲインテーブルは、センサのタイプ、セッティング、及びまたはカメラの特性に依存して、調整され得る。テーブルはまた、一を超えるフレームレートを用いて調整され得る。更にテーブルは、フロントエンド画像処理モジュール１０６並びに静止画及び動画圧縮モジュール１０８のような、主たる画像処理を行う集積回路上のメモリに保持され得る。テーブルはまた、主たる画像処理を行う集積回路上では無いメモリに保持されても良い。いずれのケースにおいても、主たる画像処理部と同じ集積回路上であろうとなかろうと、テーブルはイメージセンサモジュールと接続され得る。
【００２５】
図４Ａは、通常モードにおける（検出された）光レベルに対する露出時間を示すグラフであり、図４Ｂは、通常モードにおける（検出された）光レベルに対するゲインを示すグラフである。領域Ｒ１では光レベルが高いため、露光時間は短く、例えば低い値である。同様に、領域Ｒ１ではゲインは僅かな値であり、例えば他の領域に比してより低い。ゆっくりと動く対象物、またはユーザの手の動きが非常に小さい場合、例えば５ｍｓのオーダーである場合には、領域Ｒ１でのぼけ及び／またはノイズ低減のための補正の効果は僅かであるかもしれない。たとえぼけ及び／またはノイズ低減がなされたとしても、それはユーザの目には見えないだろう。従って境界Ａは、ぼけ及び／またはノイズの低減がユーザに明らかであるポイントのあたり、例えば露光時間とゲインとの組み合わせによって、ぼけ及び／またはノイズ低減がユーザに目で見えるようなポイントのあたりに、位置する。領域Ｒ１と領域Ｒ２とを分離する境界Ａは、ユーザによって、及び／またはカメラによって変化し得る。境界Ａはまた、通常モードにおける画像処理とｈｊｒモードにおける画像処理との間の閾値と考えることもできる。
【００２６】
領域Ｒ１、Ｒ２において、カメラはあるフレームレート、例えばｆｒ１で動作し得る。図４Ａに示すように、光レベルが低下するに従い、領域Ｒ１では露光時間は長くなる。領域Ｒ１では、露光時間は長くなる。露光時間がフレームレート１、ｆｒ１についての最大値に達するまでは、露光時間は領域Ｒ２においても長くなり続け得る。露光時間が最初にフレームレート１、ｆｒ１についての最大値になるこの光レベルにおいて、ゲイン（図４Ｂに示す）は増加し始め得る。ゲインは、許容雑音レベルが存在する所定値（この値は、調整時に設定される）までは上昇を続ける。もしゲインが最大値まで増加すれば、ノイズレベルは当該露光時間においては許容できなくなり得る。通常モードでは、境界Ｂは、フレームレート１、ｆｒ１での露光時間が最大値となり、ゲインが、ノイズレベルが許容可能な所定の値となるポイントに指定され得る。領域Ｒ２と領域Ｒ３を分離する境界Ｂは、カメラによって変化し得る。
【００２７】
ある領域から別の領域への遷移は、可能な限り連続的であることが好ましい。従って、領域Ｒ２の右端における露光時間とゲインとの積は、領域Ｒ３の左端における露光時間とゲインとの積に近いか、または同じであり得る。領域Ｒ２の右端に示すように、露光時間が最大値であるので、境界Ｂにおいてフレームレートは下げられるだろう。フレームレートの引き下げ、例えばフレームレートをｆｒ１からｆｒ２に変えることにより、露光時間を長くできる。露光時間は、新たなフレームレート（フレームレート２）ｆｒ２についての最大値に達し得る（図４Ｂの領域Ｒ３に示される）。領域Ｒ２と領域Ｒ３との間の露光時間とゲインとの積の連続性を維持するために、領域Ｒ３におけるゲインは、露光時間の増加を相殺するように低下される。ゲインは、それが最大値に達するまで増加し得る。デジタルゲインを利用することもできるが、通常モードにおいて使用されるゲインは一般的にアナログゲインである。境界Ｃは、通常モードにおいては、アナログゲインが最大値に達するポイントにある。境界Ｃでは、通常モードでは、対応する光レベルが、手ぶれ低減モードにおいてチェックされる光ターゲットとして保持され得る。
【００２８】
手ぶれ低減（ｈｊｒ）モードは、別の自動露光時間−ゲインテーブルを作成することにより調整し得る。通常モードの自動露光時間−ゲインテーブルのエントリに対して減算、加算、除算、または乗算を行うことで、手ぶれ低減モードにおいて望ましい“等価”な自動露光時間−ゲインテーブルが生成され得る。この別の自動露光時間−ゲインテーブル、または“等価”な自動露光時間−ゲインテーブルのカラム（露光時間及びゲイン）の特長は、図５Ａ及び図５Ｂに図示されている。ｈｊｒモードにおいてスナップ撮影する際、等価な自動露光時間−ゲインテーブルを通じた露光時間及びゲインの変化は、プレビューモードではノーマルモードに関連する。プレビューモードは、ノーマルモードの自動露出パラメータと特性を使用する。
【００２９】
図５Ａは、手ぶれ低減モードにおける（検出された）光レベルに対する露光時間を示すグラフである。図５Ｂは、手ぶれ低減モードにおける（検出された）光レベルに対するゲインを示すグラフである。手ぶれ低減（ｈｊｒ）モードにおいて目指すところは、通常モードと同じ露光時間とゲインとの積を維持することである。そのようなものとして、（ｈｊｒモードにおける露光時間）×（ｈｊｒモードにおけるゲイン）が、（通常モードにおける露光時間）×（通常モードにおけるゲイン）と等しくなることを目標とすべきである。前述したように、人の目にはほとんど見えないため、領域Ｒ１における手ぶれの低減を試みることには、僅かな効果しか無い。領域Ｒ１では、ｈｊｒモードにおけるゲインと露光時間は、通常モードと同じくされ得る。従って、通常モードにおける領域Ｒ１で行われる画像処理が、ｈｊｒモードにおける領域Ｒ１でも行われる。しかしながら、領域Ｒ２、Ｒ３、及びＲ４では、ｈｊｒモードにおける画像処理が行われる。手ぶれの低減が求められない画像処理は、修正されない自動露出パラメータを用いて行われる一方、手ぶれを低減するための画像処理は、修正された自動露出パラメータを用いて行われる。
【００３０】
露光時間が長くなるほど、手によって生ずる僅かな動きがぼけを引き起こす可能性が高まる。従って、一度ぼけ及び／またはノイズ低減を目で発見することができたなら、領域Ｒ２において露光時間は短くされるべきである。従って、手ぶれがぼけとなり得る可能性を抑えるために、領域Ｒ２での露光時間は低減される（図５Ａに示す）。露光時間が短くなったことを相殺するために、領域Ｒ２のゲインは増大される（図５Ｂに示す）。領域Ｒ２では、通常モードと同じ露光時間とゲインの形状が、ｈｊｒモードにおいても維持されていることに注意すべきである。領域Ｒ２における通常モードとｈｊｒモードとの違いの一つは、通常モードの露光時間とゲインとが、ｈｊｒモードに対してオフセットされている点である。ｈｊｒモードでは、露光時間は通常モードよりも小さくなるようオフセットされ、ゲインは通常モードよりも大きくなるようオフセットされる。しかしながら、露光時間とゲインとの積は、通常モードとｈｊｒモードとの間で等価である。
【００３１】
前述したように、通常モードでもｈｊｒモードでも、一連のフレームはプレビューされ得る。プレビューモードは、通常モードにおける特性と（修正されていない）自動露出パラメータを使用する。ｈｊｒモードでは、プレビューモードの間、等価な自動露光時間とゲインのテーブルは通常モードに関連する。よって、露光時間、ゲイン、またはフレームレートが増加または低下した際、それはプレビューモードの値に関連する。ｈｊｒモードにおいて境界Ｂは、露光時間とゲインとの積が、通常モードにおける露光時間とゲインとの積と等しい値にいつ達したかをチェックすることにより、決定される。ｈｊｒモードでは、もし光レベルが領域Ｒ３にあれば、フレームレートはフレームレートｆｒ２よりも大きい量だけ、増大され得る。これは、プレビューモードにおいて、領域Ｒ３では、フレームレートがｆｒ２（ｆｒ１よりも低いレート）であるために、起こり得る。例えば、もしフレームレートｆｒ１を３０フレーム毎秒（ｆｐｓ）、及びフレームレートｆｒ２を１５ｆｐｓとすれば、ｈｊｒモードにおける１５ｆｐｓのフレームレートは、ある量Ｌによって、フレームレートｆｒ１まで増大され得る。この例では、Ｌは１５ｆｐｓである。従ってｈｊｒモードでは、フレームレートを１５ｆｐｓから３０ｆｐｓに増大させることで、例えば露光時間を領域Ｒ３において、通常モードにおける領域Ｒ２における値まで最大化でき得る。領域Ｒ３における露光時間の増大は、領域Ｒ３におけるゲインの低下につながり得る。もし、領域Ｒ１、Ｒ２、及びＲ３にわたってアナログゲインが使用されていれば、ｈｊｒモードにおいてはゲインオフセットが増大（領域Ｒ２の左端）されているために、領域Ｒ３におけるアナログゲインが飽和し得る。例えば、境界Ｃに達する前に最大値に達する（領域Ｒ３の右端において見られるように）。最大のアナログゲインを超えて動作するために、デジタルゲインがアナログゲインに加算され得る。デジタルゲインは、図５Ｂにおいて、領域Ｒ３と領域Ｒ４との間の底部に図示されている。
【００３２】
境界Ｃにおける通常モードでの光レベルは、ｈｊｒモードにおいてチェックされる所定の光ターゲットとして保持され得る。ｈｊｒモードにおいて、光レベルが、保持された光ターゲットのそれよりも小さい場合、光は、イメージセンサ１０２がイメージセンサ１０２の最小平均光レベルを生成するのに十分でないだろう。最小平均光レベルは、各ピクセルにおける光の値（輝度または／及び色差）を加算し、それを全ピクセル数で除算することによって求めうる。イメージセンサ１０２の最小平均光レベルを計算する別の方法は、計算においてある閾値よりも低い全てのピクセルを切り捨てることである。例えば、１０という値より低いピクセルは使用せず、（ある閾値よりも上の）残りのピクセルにより、最小平均光レベルを計算する。一般的に、光の輝度の値が使用されるが、色差の値もまた使用され得る。ここでは例示のため、輝度を取り上げる。ｈｊｒモードでは、もし輝度の値が所定の輝度（光）ターゲットよりも小さい場合、光（輝度）レベルは領域Ｒ４になるだろう。
【００３３】
もしｈｊｒモードにおいて光レベルが輝度ターゲットよりも小さいと判定された場合、プレビューモードにおいてｆｒ２であったフレームレートは、変える必要が無い。しかしながら、光量が低下しているため、露光時間は調整され、長くされ得る。露光時間は、フレームレートｆｒ２で許容し得る最大値まで、長くされ得る。露光時間が長くされたことにより、デジタルゲインは境界Ｃにおいて減少され、領域Ｒ４において増大し続け得る。
【００３４】
領域Ｒ１、Ｒ２、Ｒ３にわたって、露光時間とゲインとの積は、通常モードとｈｊｒモードとの間で同じくなることを狙う。すなわち、両者の差が可能な限りゼロに近づくよう、この差は低減されるべきである。領域Ｒ４では、イメージセンサ１０２は光レベルの最小平均値を満たし得ない。従って、領域Ｒ４でのゲインレベルを増加させるために、デジタルゲインを利用し得る。
【００３５】
図６は、修正された自動露出パラメータを生成する方法を示すフローチャートである。フローチャートに示すように、フレームは、スナップ撮影の後に取り込まれ得る。プレビューモードで処理された最後のフレームは、メモリに保持され得る。取り込みは、デジタル写真を生成するために、メモリからのフレームの検索が利用され得ることを意味する。現在の、モバイル機器のメモリストレージ能力とフレームレートでは、スナップ撮影の後、メモリ内のフレーム数は１０より少ないだろう。しかし、メモリ内の全てのフレームがデジタル写真の生成に必要なわけでは無い。一般的に、デジタル写真の生成に使用され得るフレーム数は、最大でも３つである。スナップ撮影の後に修正された自動露出パラメータを生成するために、カメラはｈｊｒモードになり得る。従って、別の実施形態では、スナップ撮影後のフレームの取り込み前に、ｈｊｒモードに入っても良い（６０２）。ただし図６では、ｈｊｒモードへの移行（６０２）は、スナップ撮影後のフレームの取り込みに引き続くように示されている。いったんｈｊｒモードに入ると、検出された光レベルは、通常モードにおける修正されていない自動露出パラメータに関連付けられる（６０４）。検出された光レベルについて、修正されていないゲインと露光時間とがメモリから取り出される（６０６）。通常モードにおける露光時間とゲインとを乗算することによって、通常モードにおける露光時間とゲインとの積の計算が行われ得る（６０８）。ｈｊｒモードにおける露光時間とゲインとの積は、通常モードの自動露出パラメータを修正することによって計算され得る。これらの自動露出パラメータが、ゲイン、露光時間、及び／またはフレームレートとなり得る。自動露出パラメータは、ｈｊｒモードにおける露光時間とゲインとの積と、通常モードにおける露光時間とゲインとの積との間の差を小さくするために、修正され得る（６１０）。従って、ｈｊｒモードにおける露光時間とゲインとの積は、通常モードにおける露光時間とゲインとの積に対応する。理想的には、対応関係は同一であるべきである。しかし、ｈｊｒモードと通常モードとの間において生じうる光レベルの僅かな差、及び乗算する際に見込まれる計算精度差とにより、この対応関係は同一とならないかもしれない。ｈｊｒモードと通常モードとの間の露光時間とゲインとの積の差は、可能な限り小さくされれば十分である。更に、ｈｊｒモードにおける上記の領域Ｒ４のような領域では、イメージセンサ１０２は光レベルの最小平均量を満たさないだろう。従って、ｈｊｒモードにおける露光時間とゲインとの積を、通常モードと同じに維持することは不可能かもしれない。
【００３６】
通常モード及び手ぶれ低減モードにおいて、カメラシステムがいかにして動作するかを示すフローチャートが図７に示されている。画像を生成するために、最初の動作はスナップ撮影後にフレームを取り込むこと（７００）である。いったん取り込まれると、ｈｊｒモードが選択されているかどうかを確認するためのチェックが実行される。もしｈｊｒモードが選択されていなければ、イメージセンサ７０４を制御するために、修正されていない自動露出パラメータが承認（pass）され得る（７０４）。これらのパラメータは、自動露出フレームレート（ＡＥ ＦＲ）、自動露出時間（ＡＥ ＴＩＭＥ）、自動露出ゲイン（ＡＥ ＧＡＩＮ）、測定された輝度、及び輝度ターゲットであり得る。もしｈｊｒモードが選択されていれば、自動露出パラメータの修正が、必要に応じて行われる（７０６）。次の動作では、光レベルが領域Ｒ１、例えば通常モードと同じ（またはほぼ同じ）パラメータである領域、にあるかどうかを確認するためのチェックが実行される。もし光レベルが境界Ａにおける光レベルより大きければ（例えば光レベルが領域Ｒ１にある場合）には、修正されていない自動露出パラメータが、イメージセンサ７０４を制御するために承認される（７０４）。ｈｊｒモードが選択された場合であっても、通常モードにおける画像処理が行われ得る。引き続く動作において、イメージセンサを制御するために修正されていない自動露出パラメータが承認された後、デジタル写真の処理が継続され得る（７１０）。もし、（判定ブロック７０８のチェックを行った際に）光レベルが境界Ａにおける光レベルより低ければ、フレーム数（ＮＵＭＦ）と共に、修正された自動露出パラメータと、デジタルゲインとが、イメージセンサを制御するために用いられ得る（７１１）。修正された自動露出パラメータは、新たな自動露出フレームレート（ＡＥ ＦＲ＿ＮＥＷ）、新たな自動露光時間（ＡＥ ＴＩＭＥ＿ＮＥＷ）、新たな自動露出ゲイン（ＡＥ ＧＡＩＮ＿ＮＥＷ）、測定された輝度、及び輝度ターゲットであり得る。デジタル写真を生成するために処理するフレーム数ＮＵＭＦがチェックされ得る（７１２）。もしＮＵＭＦが１より大きければ、複数のフレームが登録され得る（７１４）。フレーム登録は、フレーム間の動き（水平、垂直、または角度に関する）を補償し得る。これは、フレーム登録後に得られる写真の輝度（intensity）を増加させ得る。もしＮＵＭＦが２より大きければ、フレーム登録はまた、ノイズ低減にも寄与しうる。もしＮＵＭＦが１でｈｊｒモードが選択されていれば、ノイズの低減がまた行われ得る（７１６）。１つのフレームにおけるノイズ低減の一つの手法は、イメージコンポーネントに対してbayerフィルタリングを適用することである。ノイズの低減を行った後、デジタル写真の処理が継続され得る（７１０）。図７におけるブロック７０２、７０４、７０６、７１１は、手ぶれ制御モジュール２１２において見いだされることに留意すべきである。
【００３７】
図８は、手ぶれ低減モードにおけるカメラシステムの自動露出パラメータの修正を例示するフローチャートである。ｈｊｒモードが選択されたとしても、通常モードにおける画像処理が依然として用いられ得る。判定ブロック８００でチェックが行われて、もし光レベルが境界Ａにおける光レベルよりも大きければ、デジタル写真を生成するために処理するフレーム数ＮＵＭＦは１に設定され（８０２）、通常の画像処理が用いられる。この場合、自動露出パラメータは修正されない。もし光レベルが境界Ａにおける光レベルよりも小さい場合、ｈｊｒモードにおける画像処理が用いられ得る。デジタル写真を生成するために処理するフレーム数ＮＵＭＦは１に設定される（８０４）。図５Ａ及び図５Ｂに示したように、露光時間はある量Ｍだけ短くされ得る（８０６）。Ｍは幅広いレンジで取り得るが、５０％または５０％付近の値が、良い結果を示し得る。ゲインもまたある量Ｋだけ増加され得る（８０８）。ｈｊｒモードにおける露出時間とゲインとの積は通常モードにおける露出時間とゲインとの積を維持することをより狙っているから、値はＫの２００％または２００％付近の値で、手ぶれの低減が見られる。
【００３８】
もし、増加されたゲインがイメージセンサの最大アナログゲインを超えた場合には、Ｋだけ増加されたゲインと最大（アナログ）ゲインとの間の最小値の選択値が用いられ得る（８１０）。これは、デジタルゲインがＲ２のような領域で使用される構成においても使用され得る。Ｋだけ増加されたゲインと新たなアナログゲイン（ＡＥ＿ＧＡＩＮ＿ＮＥＷ）との比率（８１２）は、定数Ｃ１と比較され得る。Ｃ１はセンサの最大アナログゲインに関わり、一般的には１とされ得る。Ｃ１と、Ｋだけ増加されたゲインと新たなアナログゲインとの比率の間の最小値が選択され（８１４）、そして最小値においてデジタルゲインが使用され得る。
【００３９】
判定ブロック８１６は、光レベルが境界Ｂにおける光レベルよりも大きいかどうか、比較する。もし、光レベルが境界Ｂにおける光レベルよりも大きければ、必要な自動露出パラメータの修正（７０６）は終了する。もし、光レベルが境界Ｂにおける光レベルより小さければ、判定ブロック８１８は、光レベルが境界Ｃにおける光レベルよりも大きいかどうか、比較する。もし、光レベルが境界Ｃにおける光レベルよりも大きければ、フレームレートはある量Ｌだけ高くされ得る（８２０）。上記したように、領域Ｒ３では、ｈｊｒモードにおいてフレームレートｆｒ２は、フレームレートｆｒ１を含む値まで増加され得る。従ってＬは、フレームレートをｆｒ１に近い値で、ｆｒ１を含む値になるよう調節する値であり得る。デジタル写真を処理するためのフレーム数ＮＵＭＦは、２にセットされ得る（８２２）。もし、光レベルが境界Ｃにおける光レベルよりも小さければ、ｈｊｒモードの新たな露光時間（８２４）と新たなゲイン（８２６）は、通常モードにおけるそれと等しくなり得る。測定された輝度（イメージセンサにおける平均輝度）に対する輝度ターゲットの比率（８２８）が、定数Ｃ２と比較され得る。定数Ｃ２と、測定された輝度に対する輝度ターゲットの比率との間の最小値を選択すること（８３０）が、デジタルゲインを生成し得る。一般的に２の値が用いられ、この値は、領域Ｒ４において測定された輝度が、輝度ターゲットの１／２まで低下した際における比率の代わりに定数を用いることに相当し得る。イメージセンサが輝度ターゲットを満たしていない時、フレーム登録後のノイズを低減し輝度を向上させるため、デジタル写真を生成するために処理する更なるフレーム数ＮＵＭＦが使用され得る。ＮＵＭＦとして、最小値の３フレームが、この場合には十分であることが分かった。
【００４０】
複数の異なる構成と方法が説明された。方法は、長時間露出における写真からのぼけの除去を向上し得る。方法と構成はまた、実質的に、写真を撮影するあらゆるデジタル機器についての手ぶれの低減に役立ち得る。この方法と構成は、ハードウェア、ソフトウェア、またはこれらの何らかの組み合わせによって実装され得る。ソフトウェア実装の場合には、写真を撮影する機器において実行される際に、上記説明された一つ以上の方法を行う、コンピュータ読み取り可能なプログラムコード（コンピュータコードとも呼ばれ得る）を備えたコンピュータ読み取り可能な媒体を対象とし得る。
コンピュータ読み取り可能なプログラムコードは、コンピュータ読み取り可能な命令の形で、メモリに保持され得る。この場合、ＤＳＰのようなプロセッサは、本明細書で説明された一つ以上の方法を達成するために、メモリに保持された命令を実行し得る。あるケースでは、この方法は、露光時間とゲインとの積を生成するために、露光時間とゲインとの乗算器のような、種々のハードウェア要素を使用するＤＳＰによって実行され得る。開示された露光時間とゲインとの積は、一つ以上のマイクロプロセッサ、一つ以上の特定用途向け集積回路（ＡＳＩＣ）、及び一つ以上のフィールドプログラマブルゲートアレイシグナル（ＦＰＧＡ）、またはその他のハードウェアとソフトウェアとの組み合わせによって実装され得る。これらの方法と構成は、下記の請求項の範囲内のものである。
【優先権の主張】
【０００１】
この出願は、２００６年１月１９日に出願され、“HAND JITTER REDUCTION SYSTEM DESIGN”と表題された、米国仮出願番号６０／７６０，７６８の利益を主張する。この開示は、共に２００６年９月２５日にこの出願と一体となって出願され、“HAND JITTER REDUCTION COMPENSATING FOR ROTATIONAL MOTION”と表題された係属中の特許出願番号１１／５３４，９３５（整理番号０６０２６８）、及び“HAND JITTER REDUCTION FOR COMPENSATING FOR LINEAR DISPLACEMENT”と表題された係属中の特許出願番号１１／５３４，８０８（整理番号０６０１９３）に関連する。
【技術分野】
【０００２】
この開示は、デジタル画像処理に関し、特にカメラの手ぶれ低減システムに関する。
【背景技術】
【０００３】
移動体通信におけるマルチメディアのアプリケーションについての要求が、驚異的な速度で高まってきている。今日、ユーザは、モバイル機器や携帯電話で閲覧するために、インターネットから画像や映像をダウンロードするのと同様に、静止画を送受信することが出来る。モバイル機器とカメラとの一体化は、移動体通信におけるマルチメディアの機能性のトレンドを強める更なる一因となってきている。
【０００４】
モバイル機器に関連するバッテリ容量、処理パワー、及び伝送速度等の、限られた量のリソースを考慮すれば、効果的なデジタル画像処理技術が、マルチメディア機能をサポートするために必要である。これは、画質を維持しつつ、マルチメディアのアプリケーションについての演算処理の複雑さを低減する、更に高度化されたハードウェア及びソフトウェアの発展を要求する。そのようなハードウェア及びソフトウェアの発展によって、モバイル機器の、低電力消費とより長い待ち受け時間とがもたらされる。
【０００５】
デジタル画像処理の一面には、写真からのぼけの除去が含まれる。ぼけは、手ぶれによって引き起こされ得る。手ぶれは、カメラでデジタル写真を撮影する際に、ユーザの手の動きによって引き起こされる。例えユーザが動きに気づいていなくても、手は頻繁に動き得る。この動きは比較的小さいが、しかし、もし動きが露光時間に比較して大きければ、デジタル写真はぼけるだろう。写真の物体または人は、動いているように見えるだろう。ぼけはまた、写真を撮影しているときに、物体／人が動くことによっても生じ得る。ぼけはまた、写真を取り込むために使用される光学システムの制限によっても生じ得る。
【０００６】
光が少ない条件下では、例えばモバイル機器の一つであるデジタルカメラは、写真を登録（register）するために、より長い時間がかかる。長い露光時間は、手により生じた僅かな動きがぼけを生じ得る可能性を増大させる。同様に、長い露光時間は、露光時間に比して、物体／人の動きが大きくなり得る機会を増大させる。
【０００７】
カメラの動きの補正についての現在の技術は、小型のジャイロスコープまたはその他の機械的なデバイスの使用を必要とする。どの技術も、特に、光の少ない条件下で、カメラの動きをデジタル補正する十分な方法とは言えない。あらゆる条件下でモバイルアプリケーションに適した効率的な処理リソースと共に、デジタル写真のぼけの量を低減することが望ましいだろう。
【発明の概要】
【０００８】
一つまたはそれ以上の形態の詳細が、添付図面と以下の記述により説明される。その他の特徴、目的、及び効果は、記述、図面、及び請求項から明らかになるであろう。
【０００９】
手ぶれ低減（ｈｊｒ）モードと通常モードとを備えるカメラシステムは、露光時間とゲインとを乗算して露光時間−ゲインの積を生成することによって動作し得る。通常モードの露光時間−ゲインの積と、ｈｊｒモードの露光時間−ゲインの積とがあり得る。通常の露光時間と通常のゲインの通常モードにおける露光時間−ゲインの積は、必要に応じてテーブルに保持され、または使用され得る。ｈｊｒモードにおける露光時間−ゲインの積もまた、テーブルに保持され得る。ｈｊｒモードにおける露光時間−ゲインの積は、通常モードにおける露光時間の積のテーブルにおけるエントリを修正（加算、減算、乗算、または除算）することによって生成され得る。そのようなものとして、別々のテーブルは必ずしも必要では無いが、ｈｊｒモードにおける等価な露光時間−ゲインの積が、通常モードにおける露光時間−ゲインの積と比較するために必要とされ得る。ｈｊｒモードで動作する際、パラメータはｈｊｒモードにおける露光時間−ゲインの積と通常モードにおける露光時間−ゲインの積との差分を低減するために変更され得る。カメラシステムのイメージセンサが最小平均光レベルより上にあり得る限りは、差分は低減され得る。ｈｊｒモードにおけるいずれかの領域において、イメージセンサが光レベルの最小平均値を満たさない場合には、ｈｊｒモードは、通常モードと同じ露光時間−ゲインの積を維持することが出来ないかもしれない。通常モードにおいてカメラは、閾値より上にあるセンスされた光レベルを受けて、動作し得る。ｈｊｒモードにおけるカメラの動作は、ユーザによって選択され得る。ｈｊｒモードは、閾値よりも低いセンスされた光レベルを受けて、使用され得る。
【００１０】
種々の形態が、これに限定されるものではないが、添付図面に一例として説明される。
【図面の簡単な説明】
【００１１】
【図１】図１は、デジタル画像処理の一形態を示すブロック図。
【図２】図２は、デジタル画像処理システムの一フロントエンド画像処理モジュールの一形態の機能を示すブロック図。
【図３】図３は、デジタル画像処理システムのフロントエンド画像処理モジュールの他の形態の機能を示すブロック図。
【図４Ａ】図４Ａは、通常モードについての光レベルに対する露光時間を示すグラフ。
【図４Ｂ】図４Ｂは、通常モードについての光レベルに対するゲインを示すグラフ。
【図５Ａ】図５Ａは、手ぶれ低減モードについての光レベルに対する露光時間を示すグラフ。
【図５Ｂ】図５Ｂは、手ぶれ低減モードについての光レベルに対するゲインを示すグラフ。
【図６】図６は、修正された自動露出パラメータを生成する方法を示すフローチャート。
【図７】通常モード及び手ぶれ低減モードにおけるカメラシステムの動作を説明するフローチャートが図７である。
【図８】図８は、手ぶれ低減モードにおけるカメラシステムの自動露出パラメータの変形例を示すフローチャート。
【発明を実施するための形態】
【００１２】
用語「典型的」は、一例（example）、事例（instance）、または実例（illustration）であることを意味するために、本明細書においては使用される。「典型的」として本明細書で説明されるあらゆる形態、スキーム、図案、及び調整（calibration）は、他の形態、スキーム、図案、及び調整に対して好ましくまた有利であるものとして解釈される必要は無い。全般として本明細書における記載は、手ぶれ、及び／または通常に比べて光の少ない状況の結果としてのデジタル写真におけるぼけを低減する技術である。また記載は、通常モード及び手ぶれ低減モードで動作可能なカメラを調整する技術でもある。
【００１３】
従来のカメラ機器においては、ユーザがスナップ撮影（一般には、ボタンを押すことで行われる）する際、写真を生成するにはひとつのフレームのみが使用される。２つ以上のフレームを使って写真を生成する方法は、質の悪い結果が得られるため、たいてい受け入れられなかった。従来のカメラ機器では、ユーザによるユーザ自身の手の動きによって発生する動きにより写真がぶれることがあり、これらの手の動きは、手ぶれとして知られている。従来のカメラ機器はまた、写真の露光に必要な時間による課題がある。光の少ない状況下では、露光時間は概して長くされる。露光時間が長くなることによって、手ぶれが写真にぼけを生じさせる可能性が高まると共に、光の少ない状況下によりユーザに認識し得るノイズ量も増加する。今日、カメラ機器は、ユーザによって生じた手ぶれを補正するための小型のジャイロスコープを備えていることがある。しかしながら、モバイル機器にジャイロスコープを搭載する際に直面する多くの課題がある。例え、これらの課題が解決されたとしても、デジタル手ぶれ低減技術は、ジャイロスコープを有するデバイスと共に使用されるだろう。今日のカメラ機器はまた、光の少ない状況下では、ゲインを調整し得る。あいにく、単純にゲインを大きくすることは、少ない光レベルの結果として生じるノイズも増幅する。この結果、たいてい低品質の写真となる。同様に、手ぶれのデジタル補正は、いつでも十分な結果を得られるわけでは無い。しかしながら、この開示を通して開示される技術によれば、光の少ない状況下におけるノイズを低減出来ると共に、手ぶれも低減することが可能となる。
【００１４】
図１は、モバイル機器に集積されたカメラ機器に適したデジタル画像処理を説明するブロック図である。モバイル機器は、携帯電話、携帯情報端末（ＰＤＡ）、ラップトップコンピュータ、またはその他のモバイルワイヤレス機器であって良い。イメージセンサモジュール１０４においては、イメージセンサ１０２上に画像の焦点を合わせるために、レンズ（図示せず）が用いられ得る。一構成例では、イメージセンサモジュール１０４は、ゲインや自動露出パラメータを保持するためのメモリを有しても良い。イメージセンサモジュール１０４はまた、ゲインや自動露出パラメータを修正する制御ドライバを有し得る。別の構成例では、イメージセンサモジュール１０４は、Mobile Station Modem（ＭＳＭTM）や、ゲインや自動露出パラメータの保持、修正するメモリ及び／または制御ドライバを有するその他のモジュールのような、集積回路に接続され得る。イメージセンサ１０２は、電荷結合デバイス（ＣＣＤ）、相補型金属酸化半導体（ＣＭＯＳ）イメージセンサ、またはその他の適切なイメージセンサであって良い。イメージセンサ１０２の少なくともひとつの構成例において、画像の異なるピクセルにおける光を取り込むために、半導体アレイが使用される。各半導体に一種類の色（例えば、赤、緑、または青）を通過させるため、イメージセンサ１０２の前面に配置されたカラーフィルタアレイ（ＣＦＡ）（図示せず）が使用され得る。最も一般的なＣＦＡは、ＲＧＢとＣＭＹＧパターンである。イメージセンサモジュール１０４は、イメージセンサ１０２を駆動または制御して、ゲイン及びまたは露光時間を修正し得る。
【００１５】
ユーザがボタンを押してスナップ撮影してデジタル写真を生成する前に、プレビューモードが、イメージセンサ１０２により生成された連続したフレームを取り込み得る。フレームの全体または一部が、画像（image）または同義的に写真（picture）と称される。例示的な目的のため、イメージは一連のフレームとして処理されるものとして議論するのが、都合が良い。しかし、フロントエンド画像処理モジュール１０６を使用する場合、フレームの全体が処理されなければならないわけでは無いことが理解されるべきである。更に、連続するフレームはまたストリームとして知られている。ストリームは、フロントエンド画像処理モジュール１０６に供給されても良く、そこで、静止画及び動画圧縮部１０８への入力としてのフルＲＧＢ解像度を得るためにデモザイク（de-mosaic）される。ストリームがフロントエンド画像処理モジュール１０６を通過する際には、プレビューモードにおいては、デジタル写真の生成に役立つ、フレームについての統計データが集められ得る。これらの統計データは、露光量、ホワイトバランス量、及びフォーカス量等であるが、これらに限定されるものでは無い。
【００１６】
フロントエンド画像処理モジュール１０６は、イメージセンサ１０２の制御を助ける種々の信号を、イメージセンサモジュール１０４にフィードバックする。静止画及び動画圧縮部１０８は、ＪＰＥＧ圧縮、またはその他の適切な圧縮アルゴリズムを使用し得る。自動露出制御モジュール１１０は、フロントエンド画像処理モジュール１０６の機能の少なくとも一つを補助するために、画像処理モジュール１０６で処理される光レベルに比例する値を受け取り、これを、保持された光ターゲットと比較する。フロントエンド画像処理モジュール１０６内のモジュールを経て処理される画像は、デジタルフレームの一部を成す。ストリームはまた、ディスプレイモジュール１１２に設けられ得るビューファインダに送られても良い。プレビューモードにおいて、ディスプレイモジュール１１２からのプレビュー判定が、自動露出の制御に用いられ得る。
【００１７】
デジタルカメラを有するモバイル機器におけるプレビューモードは、通常モードまたは手ぶれ低減（ｈｊｒ）モードで使用され得る。ユーザは、メニューを介してまたは手動によりユーザインタフェースを通じて、ｈｊｒモード（図１においてHJR選択と示す）を選択し得る。ゲイン、自動露光時間、フレームレート、及び処理フレーム数などの自動露出パラメータは、ユーザがスナップ撮影してデジタル画像を生成するためにボタンを押した後の期間内に決定される。収集された統計データが、通常モード及びｈｊｒモードの両方におけるスナップ撮影の期間に使用される自動露出パラメータを決定するために、使用され得る。従って、ユーザがボタンを押した後、画像処理は、ｈｊｒモードと通常モードとで異なり得る。ユーザがボタンを押す前では、プレビューモードは、ｈｊｒモードが選択されていたとしても、通常モードと同様に、画像を処理する。
【００１８】
図２は、デジタル画像処理システムにおける一フロントエンド画像処理モジュール１０６ａの一構成例の機能を説明するブロック図である。フロントエンド画像処理モジュール１０６は、人間の視覚体系の応答と、イメージセンサ１０２で生成されたセンサ信号の応答との間の差分を補償するために用いられ得る。これらの差分は、一例として、黒補正及びレンズロールオフ２０２、デモザイクモジュール２０４、ホワイトバランス及び色補正２０６、ガンマ補正２０８、及び色変換２１０を含む種々の手法を用いて補正され得る。これらの処理は、図２において分離された処理モジュールとして示されているが、同一のハードウェアやソフトウェアプラットフォームを用いて処理されても良い。更に、これらのモジュールは、同様の機能を実行する複数の画像処理モジュールを備えていても良く、これにより、当該機能が異なる画像につき並列的に処理されても良い。
【００１９】
色変換モジュールがフレームを処理した後、３つの色画像要素（Ｙ、Ｃｂ、Ｃｒ）が、手ぶれ制御モジュール２１２に送られ得る。自動露出制御モジュールからの種々のパラメータは、手ぶれ制御モジュールに送られ得る。手ぶれ制御モジュール２１２は、複数の目的を果たし得る。手ぶれ制御モジュール２１２は、スナップ撮影後に行われる画像処理を決定し得る。手ぶれ制御モジュール２１２は、HJR選択の値を検出し、手ぶれの低減（ｈｊｒ）の実行が必要かどうかを決定し得る。ユーザがｈｊｒモードを選択していたとしても、手ぶれ制御モジュール２１２は、通常モードで行われるのと同様の画像処理が行われ得ると決定し得る。手ぶれ補正制御モジュール２１２は、ｈｊｒモードで画像処理を行うように決定することも出来る。デジタル写真の生成において、ｈｊｒモードにおける画像処理には、単一のフレームまたは複数のフレームの取り込みが含まれ得る。もし手ぶれ制御モジュール２１２が複数のフレームの取り込みを決定した場合、何個のフレームがノイズ低減／フレーム登録モジュール２１４で処理されるかを示すパラメータと共に、フレームはｈｊｒ制御モジュールを通過した後、ノイズ低減／フレーム登録モジュール２１４に送られる。もし、単一フレームが処理される場合、ノイズ低減モジュール２１５の使用を通じて、単一フレームに対してノイズ低減が行われる。ノイズ低減モジュールは、bayerフィルタや、その他の同様のフィルタであって良い。もし複数のフレームが処理される場合、ノイズ低減／フレーム登録モジュール２１４は、手ぶれ制御モジュール２１２で特定されるフレーム数NUMFをバッファリングし、それらにつきフレーム登録を行う。フレームの数と光レベルにより、複数のフレーム登録の目的は、ノイズ低減及び／またはぼけ低減という目的に適い得る。複数のフレーム登録は、フレーム登録モジュール２１６によって行われ得る。
【００２０】
もし手ぶれ制御モジュール２１２が画像処理を通常モードで行うと決定した場合、ノイズ低減／フレーム登録モジュール２１４は使用されず、例えユーザがｈｊｒモードを選択したとしても、例えば色補正モジュール２１０の出力が使用され得る。手ぶれ制御モジュール２１２によりどのような画像処理（通常モードにおける画像処理またはｈｊｒモードにおける画像処理）が決定されたかに応じて、信号（ＳＥＬ）が、マルチプレクサ２１７がいずれを出力してポストプロセスモジュール２１８に送るか、を選択するために使用され得る。ポストプロセスモジュール２１８の出力は、静止画及び動画圧縮モジュール１０８及び／またはディスプレイモジュール１１２に送られ得る。
【００２１】
ノイズ低減及び／またはフレーム登録に使用するために選択信号（ＳＥＬ）とフレーム数を出力することに加えて、手ぶれ制御モジュール２１２はまた、その他のパラメータ：新自動露出フレームレート（ＡＥ ＦＲ＿ＮＥＷ）、自動露出ゲイン（ＡＥ ＧＡＩＮ＿ＮＥＷ）、新自動露光時間（ＡＥ ＴＩＭＥ＿ＮＥＷ）、及び処理されるフレーム数（ＮＵＭＦ）を出力し得る。これらのパラメータは、イメージセンサ１０２を制御するために、イメージセンサモジュール１０４に送られ得る。デジタルゲインはまた、手ぶれ制御モジュール２１２によって出力されてもよく、イメージセンサモジュール１０４の後ろのいずれかのモジュールに供給されても良い。一例として、デジタルゲインがホワイトバランス／色補正モジュール２０６の段階において供給され得る。
【００２２】
当業者は、ピクセルが一般的に説明されているが、サブピクセル、またはマルチプルピクセル（multiple pixels）もまた、フロントエンド画像処理モジュール１０６ａに入力され得ることを理解するであろう。更に、これらの画像要素のサブセット、またはＲＧＢや空間周波数変換ピクセル等のその他の形態が、手ぶれ制御モジュール２１２のような手ぶれ制御モジュールに供給されても良い。そのようなものとして、フロントエンド画像処理モジュールの機能性を取り込む別の構成が、図３に示されている。
【００２３】
図３において、手ぶれ制御モジュール２１２、ノイズ低減／フレーム登録モジュール２１４、及びマルチプレクサ２１７は、黒補正及びレンズロールオフモジュール２０２とデモザイクモジュール２０４との間に移動、挿入されている。フロントエンド画像処理モジュール１０６ｂに組み込まれたこの構成は、手ぶれ制御モジュール２１２がＹ、Ｃｂ、Ｃｒでは無く、Ｒ、Ｇ、Ｂの画像要素について動作する様子を示している。一般的に、手ぶれ制御モジュール２１２は、イメージセンサ１０２で光が取り込まれた後に続くモジュールであって、ディスプレイモジュール１１２または静止画及び動画圧縮モジュール１０８に先行するモジュールにおいて動作する。
【００２４】
通常モード及び手ぶれ低減モードは、少なくとも一つの自動露光時間−ゲインテーブルを生成することにより調整され得る。自動露光時間−ゲインテーブルは、露光時間のカラムとゲインのカラムとを保持し得る。露光時間のカラムのエントリと、ゲインのカラムのエントリとが乗算され、露光時間とゲインとの積が生成され得る。自動露光時間−ゲインテーブルにおける各行のエントリまたはインデックスは、光レベルの値を示し得る。すなわち、各光レベルは、自動露光時間−ゲインテーブルに、自動露出のインデックスとしてマップされる。自動露光時間−ゲインテーブルは、図４Ａ、図４Ｂ、図５Ａ、及び図５Ｂに表されたような種々の動作領域を有し得る。４つの全図面（図４Ａ、図４Ｂ、図５Ａ、及び図５Ｂ）において、横軸に示されたＲ１、Ｒ２、Ｒ３、及びＲ４の４つの光レベルの領域が存在し得る。各領域の区分は、異なる境界、境界Ａ、境界Ｂ、及び境界Ｃによって規定され得る。光レベルは、横軸の左端において高く、左端から右端に行くに従って小さくなる。各領域における露光時間とゲインの積、すなわち（露光時間）×（ゲイン）は、減少しないように定められるべきである。そのようなものとして、露光時間またはゲインの減少は、ゲインまたは露光時間の増大につながり得る。自動露光時間−ゲインテーブルは、センサのタイプ、セッティング、及びまたはカメラの特性に依存して、調整され得る。テーブルはまた、一を超えるフレームレートを用いて調整され得る。更にテーブルは、フロントエンド画像処理モジュール１０６並びに静止画及び動画圧縮モジュール１０８のような、主たる画像処理を行う集積回路上のメモリに保持され得る。テーブルはまた、主たる画像処理を行う集積回路上では無いメモリに保持されても良い。いずれのケースにおいても、主たる画像処理部と同じ集積回路上であろうとなかろうと、テーブルはイメージセンサモジュールと接続され得る。
【００２５】
図４Ａは、通常モードにおける（検出された）光レベルに対する露出時間を示すグラフであり、図４Ｂは、通常モードにおける（検出された）光レベルに対するゲインを示すグラフである。領域Ｒ１では光レベルが高いため、露光時間は短く、例えば低い値である。同様に、領域Ｒ１ではゲインは僅かな値であり、例えば他の領域に比してより低い。ゆっくりと動く対象物、またはユーザの手の動きが非常に小さい場合、例えば５ｍｓのオーダーである場合には、領域Ｒ１でのぼけ及び／またはノイズ低減のための補正の効果は僅かであるかもしれない。たとえぼけ及び／またはノイズ低減がなされたとしても、それはユーザの目には見えないだろう。従って境界Ａは、ぼけ及び／またはノイズの低減がユーザに明らかであるポイントのあたり、例えば露光時間とゲインとの組み合わせによって、ぼけ及び／またはノイズ低減がユーザに目で見えるようなポイントのあたりに、位置する。領域Ｒ１と領域Ｒ２とを分離する境界Ａは、ユーザによって、及び／またはカメラによって変化し得る。境界Ａはまた、通常モードにおける画像処理とｈｊｒモードにおける画像処理との間の閾値と考えることもできる。
【００２６】
領域Ｒ１、Ｒ２において、カメラはあるフレームレート、例えばｆｒ１で動作し得る。図４Ａに示すように、光レベルが低下するに従い、領域Ｒ１では露光時間は長くなる。領域Ｒ１では、露光時間は長くなる。露光時間がフレームレート１、ｆｒ１についての最大値に達するまでは、露光時間は領域Ｒ２においても長くなり続け得る。露光時間が最初にフレームレート１、ｆｒ１についての最大値になるこの光レベルにおいて、ゲイン（図４Ｂに示す）は増加し始め得る。ゲインは、許容雑音レベルが存在する所定値（この値は、調整時に設定される）までは上昇を続ける。もしゲインが最大値まで増加すれば、ノイズレベルは当該露光時間においては許容できなくなり得る。通常モードでは、境界Ｂは、フレームレート１、ｆｒ１での露光時間が最大値となり、ゲインが、ノイズレベルが許容可能な所定の値となるポイントに指定され得る。領域Ｒ２と領域Ｒ３を分離する境界Ｂは、カメラによって変化し得る。
【００２７】
ある領域から別の領域への遷移は、可能な限り連続的であることが好ましい。従って、領域Ｒ２の右端における露光時間とゲインとの積は、領域Ｒ３の左端における露光時間とゲインとの積に近いか、または同じであり得る。領域Ｒ２の右端に示すように、露光時間が最大値であるので、境界Ｂにおいてフレームレートは下げられるだろう。フレームレートの引き下げ、例えばフレームレートをｆｒ１からｆｒ２に変えることにより、露光時間を長くできる。露光時間は、新たなフレームレート（フレームレート２）ｆｒ２についての最大値に達し得る（図４Ｂの領域Ｒ３に示される）。領域Ｒ２と領域Ｒ３との間の露光時間とゲインとの積の連続性を維持するために、領域Ｒ３におけるゲインは、露光時間の増加を相殺するように低下される。ゲインは、それが最大値に達するまで増加し得る。デジタルゲインを利用することもできるが、通常モードにおいて使用されるゲインは一般的にアナログゲインである。境界Ｃは、通常モードにおいては、アナログゲインが最大値に達するポイントにある。境界Ｃでは、通常モードでは、対応する光レベルが、手ぶれ低減モードにおいてチェックされる光ターゲットとして保持され得る。
【００２８】
手ぶれ低減（ｈｊｒ）モードは、別の自動露光時間−ゲインテーブルを作成することにより調整し得る。通常モードの自動露光時間−ゲインテーブルのエントリに対して減算、加算、除算、または乗算を行うことで、手ぶれ低減モードにおいて望ましい“等価”な自動露光時間−ゲインテーブルが生成され得る。この別の自動露光時間−ゲインテーブル、または“等価”な自動露光時間−ゲインテーブルのカラム（露光時間及びゲイン）の特長は、図５Ａ及び図５Ｂに図示されている。ｈｊｒモードにおいてスナップ撮影する際、等価な自動露光時間−ゲインテーブルを通じた露光時間及びゲインの変化は、プレビューモードではノーマルモードに関連する。プレビューモードは、ノーマルモードの自動露出パラメータと特性を使用する。
【００２９】
図５Ａは、手ぶれ低減モードにおける（検出された）光レベルに対する露光時間を示すグラフである。図５Ｂは、手ぶれ低減モードにおける（検出された）光レベルに対するゲインを示すグラフである。手ぶれ低減（ｈｊｒ）モードにおいて目指すところは、通常モードと同じ露光時間とゲインとの積を維持することである。そのようなものとして、（ｈｊｒモードにおける露光時間）×（ｈｊｒモードにおけるゲイン）が、（通常モードにおける露光時間）×（通常モードにおけるゲイン）と等しくなることを目標とすべきである。前述したように、人の目にはほとんど見えないため、領域Ｒ１における手ぶれの低減を試みることには、僅かな効果しか無い。領域Ｒ１では、ｈｊｒモードにおけるゲインと露光時間は、通常モードと同じくされ得る。従って、通常モードにおける領域Ｒ１で行われる画像処理が、ｈｊｒモードにおける領域Ｒ１でも行われる。しかしながら、領域Ｒ２、Ｒ３、及びＲ４では、ｈｊｒモードにおける画像処理が行われる。手ぶれの低減が求められない画像処理は、修正されない自動露出パラメータを用いて行われる一方、手ぶれを低減するための画像処理は、修正された自動露出パラメータを用いて行われる。
【００３０】
露光時間が長くなるほど、手によって生ずる僅かな動きがぼけを引き起こす可能性が高まる。従って、一度ぼけ及び／またはノイズ低減を目で発見することができたなら、領域Ｒ２において露光時間は短くされるべきである。従って、手ぶれがぼけとなり得る可能性を抑えるために、領域Ｒ２での露光時間は低減される（図５Ａに示す）。露光時間が短くなったことを相殺するために、領域Ｒ２のゲインは増大される（図５Ｂに示す）。領域Ｒ２では、通常モードと同じ露光時間とゲインの形状が、ｈｊｒモードにおいても維持されていることに注意すべきである。領域Ｒ２における通常モードとｈｊｒモードとの違いの一つは、通常モードの露光時間とゲインとが、ｈｊｒモードに対してオフセットされている点である。ｈｊｒモードでは、露光時間は通常モードよりも小さくなるようオフセットされ、ゲインは通常モードよりも大きくなるようオフセットされる。しかしながら、露光時間とゲインとの積は、通常モードとｈｊｒモードとの間で等価である。
【００３１】
前述したように、通常モードでもｈｊｒモードでも、一連のフレームはプレビューされ得る。プレビューモードは、通常モードにおける特性と（修正されていない）自動露出パラメータを使用する。ｈｊｒモードでは、プレビューモードの間、等価な自動露光時間とゲインのテーブルは通常モードに関連する。よって、露光時間、ゲイン、またはフレームレートが増加または低下した際、それはプレビューモードの値に関連する。ｈｊｒモードにおいて境界Ｂは、露光時間とゲインとの積が、通常モードにおける露光時間とゲインとの積と等しい値にいつ達したかをチェックすることにより、決定される。ｈｊｒモードでは、もし光レベルが領域Ｒ３にあれば、フレームレートはフレームレートｆｒ２よりも大きい量だけ、増大され得る。これは、プレビューモードにおいて、領域Ｒ３では、フレームレートがｆｒ２（ｆｒ１よりも低いレート）であるために、起こり得る。例えば、もしフレームレートｆｒ１を３０フレーム毎秒（ｆｐｓ）、及びフレームレートｆｒ２を１５ｆｐｓとすれば、ｈｊｒモードにおける１５ｆｐｓのフレームレートは、ある量Ｌによって、フレームレートｆｒ１まで増大され得る。この例では、Ｌは１５ｆｐｓである。従ってｈｊｒモードでは、フレームレートを１５ｆｐｓから３０ｆｐｓに増大させることで、例えば露光時間を領域Ｒ３において、通常モードにおける領域Ｒ２における値まで最大化でき得る。領域Ｒ３における露光時間の増大は、領域Ｒ３におけるゲインの低下につながり得る。もし、領域Ｒ１、Ｒ２、及びＲ３にわたってアナログゲインが使用されていれば、ｈｊｒモードにおいてはゲインオフセットが増大（領域Ｒ２の左端）されているために、領域Ｒ３におけるアナログゲインが飽和し得る。例えば、境界Ｃに達する前に最大値に達する（領域Ｒ３の右端において見られるように）。最大のアナログゲインを超えて動作するために、デジタルゲインがアナログゲインに加算され得る。デジタルゲインは、図５Ｂにおいて、領域Ｒ３と領域Ｒ４との間の底部に図示されている。
【００３２】
境界Ｃにおける通常モードでの光レベルは、ｈｊｒモードにおいてチェックされる所定の光ターゲットとして保持され得る。ｈｊｒモードにおいて、光レベルが、保持された光ターゲットのそれよりも小さい場合、光は、イメージセンサ１０２がイメージセンサ１０２の最小平均光レベルを生成するのに十分でないだろう。最小平均光レベルは、各ピクセルにおける光の値（輝度または／及び色差）を加算し、それを全ピクセル数で除算することによって求めうる。イメージセンサ１０２の最小平均光レベルを計算する別の方法は、計算においてある閾値よりも低い全てのピクセルを切り捨てることである。例えば、１０という値より低いピクセルは使用せず、（ある閾値よりも上の）残りのピクセルにより、最小平均光レベルを計算する。一般的に、光の輝度の値が使用されるが、色差の値もまた使用され得る。ここでは例示のため、輝度を取り上げる。ｈｊｒモードでは、もし輝度の値が所定の輝度（光）ターゲットよりも小さい場合、光（輝度）レベルは領域Ｒ４になるだろう。
【００３３】
もしｈｊｒモードにおいて光レベルが輝度ターゲットよりも小さいと判定された場合、プレビューモードにおいてｆｒ２であったフレームレートは、変える必要が無い。しかしながら、光量が低下しているため、露光時間は調整され、長くされ得る。露光時間は、フレームレートｆｒ２で許容し得る最大値まで、長くされ得る。露光時間が長くされたことにより、デジタルゲインは境界Ｃにおいて減少され、領域Ｒ４において増大し続け得る。
【００３４】
領域Ｒ１、Ｒ２、Ｒ３にわたって、露光時間とゲインとの積は、通常モードとｈｊｒモードとの間で同じくなることを狙う。すなわち、両者の差が可能な限りゼロに近づくよう、この差は低減されるべきである。領域Ｒ４では、イメージセンサ１０２は光レベルの最小平均値を満たし得ない。従って、領域Ｒ４でのゲインレベルを増加させるために、デジタルゲインを利用し得る。
【００３５】
図６は、修正された自動露出パラメータを生成する方法を示すフローチャートである。フローチャートに示すように、フレームは、スナップ撮影の後に取り込まれ得る。プレビューモードで処理された最後のフレームは、メモリに保持され得る。取り込みは、デジタル写真を生成するために、メモリからのフレームの検索が利用され得ることを意味する。現在の、モバイル機器のメモリストレージ能力とフレームレートでは、スナップ撮影の後、メモリ内のフレーム数は１０より少ないだろう。しかし、メモリ内の全てのフレームがデジタル写真の生成に必要なわけでは無い。一般的に、デジタル写真の生成に使用され得るフレーム数は、最大でも３つである。スナップ撮影の後に修正された自動露出パラメータを生成するために、カメラはｈｊｒモードになり得る。従って、別の実施形態では、スナップ撮影後のフレームの取り込み前に、ｈｊｒモードに入っても良い（６０２）。ただし図６では、ｈｊｒモードへの移行（６０２）は、スナップ撮影後のフレームの取り込みに引き続くように示されている。いったんｈｊｒモードに入ると、検出された光レベルは、通常モードにおける修正されていない自動露出パラメータに関連付けられる（６０４）。検出された光レベルについて、修正されていないゲインと露光時間とがメモリから取り出される（６０６）。通常モードにおける露光時間とゲインとを乗算することによって、通常モードにおける露光時間とゲインとの積の計算が行われ得る（６０８）。ｈｊｒモードにおける露光時間とゲインとの積は、通常モードの自動露出パラメータを修正することによって計算され得る。これらの自動露出パラメータが、ゲイン、露光時間、及び／またはフレームレートとなり得る。自動露出パラメータは、ｈｊｒモードにおける露光時間とゲインとの積と、通常モードにおける露光時間とゲインとの積との間の差を小さくするために、修正され得る（６１０）。従って、ｈｊｒモードにおける露光時間とゲインとの積は、通常モードにおける露光時間とゲインとの積に対応する。理想的には、対応関係は同一であるべきである。しかし、ｈｊｒモードと通常モードとの間において生じうる光レベルの僅かな差、及び乗算する際に見込まれる計算精度差とにより、この対応関係は同一とならないかもしれない。ｈｊｒモードと通常モードとの間の露光時間とゲインとの積の差は、可能な限り小さくされれば十分である。更に、ｈｊｒモードにおける上記の領域Ｒ４のような領域では、イメージセンサ１０２は光レベルの最小平均量を満たさないだろう。従って、ｈｊｒモードにおける露光時間とゲインとの積を、通常モードと同じに維持することは不可能かもしれない。
【００３６】
通常モード及び手ぶれ低減モードにおいて、カメラシステムがいかにして動作するかを示すフローチャートが図７に示されている。画像を生成するために、最初の動作はスナップ撮影後にフレームを取り込むこと（７００）である。いったん取り込まれると、ｈｊｒモードが選択されているかどうかを確認するためのチェックが実行される。もしｈｊｒモードが選択されていなければ、イメージセンサ７０４を制御するために、修正されていない自動露出パラメータが承認（pass）され得る（７０４）。これらのパラメータは、自動露出フレームレート（ＡＥ ＦＲ）、自動露出時間（ＡＥ ＴＩＭＥ）、自動露出ゲイン（ＡＥ ＧＡＩＮ）、測定された輝度、及び輝度ターゲットであり得る。もしｈｊｒモードが選択されていれば、自動露出パラメータの修正が、必要に応じて行われる（７０６）。次の動作では、光レベルが領域Ｒ１、例えば通常モードと同じ（またはほぼ同じ）パラメータである領域、にあるかどうかを確認するためのチェックが実行される。もし光レベルが境界Ａにおける光レベルより大きければ（例えば光レベルが領域Ｒ１にある場合）には、修正されていない自動露出パラメータが、イメージセンサ７０４を制御するために承認される（７０４）。ｈｊｒモードが選択された場合であっても、通常モードにおける画像処理が行われ得る。引き続く動作において、イメージセンサを制御するために修正されていない自動露出パラメータが承認された後、デジタル写真の処理が継続され得る（７１０）。もし、（判定ブロック７０８のチェックを行った際に）光レベルが境界Ａにおける光レベルより低ければ、フレーム数（ＮＵＭＦ）と共に、修正された自動露出パラメータと、デジタルゲインとが、イメージセンサを制御するために用いられ得る（７１１）。修正された自動露出パラメータは、新たな自動露出フレームレート（ＡＥ ＦＲ＿ＮＥＷ）、新たな自動露光時間（ＡＥ ＴＩＭＥ＿ＮＥＷ）、新たな自動露出ゲイン（ＡＥ ＧＡＩＮ＿ＮＥＷ）、測定された輝度、及び輝度ターゲットであり得る。デジタル写真を生成するために処理するフレーム数ＮＵＭＦがチェックされ得る（７１２）。もしＮＵＭＦが１より大きければ、複数のフレームが登録され得る（７１４）。フレーム登録は、フレーム間の動き（水平、垂直、または角度に関する）を補償し得る。これは、フレーム登録後に得られる写真の輝度（intensity）を増加させ得る。もしＮＵＭＦが２より大きければ、フレーム登録はまた、ノイズ低減にも寄与しうる。もしＮＵＭＦが１でｈｊｒモードが選択されていれば、ノイズの低減がまた行われ得る（７１６）。１つのフレームにおけるノイズ低減の一つの手法は、イメージコンポーネントに対してbayerフィルタリングを適用することである。ノイズの低減を行った後、デジタル写真の処理が継続され得る（７１０）。図７におけるブロック７０２、７０４、７０６、７１１は、手ぶれ制御モジュール２１２において見いだされることに留意すべきである。
【００３７】
図８は、手ぶれ低減モードにおけるカメラシステムの自動露出パラメータの修正を例示するフローチャートである。ｈｊｒモードが選択されたとしても、通常モードにおける画像処理が依然として用いられ得る。判定ブロック８００でチェックが行われて、もし光レベルが境界Ａにおける光レベルよりも大きければ、デジタル写真を生成するために処理するフレーム数ＮＵＭＦは１に設定され（８０２）、通常の画像処理が用いられる。この場合、自動露出パラメータは修正されない。もし光レベルが境界Ａにおける光レベルよりも小さい場合、ｈｊｒモードにおける画像処理が用いられ得る。デジタル写真を生成するために処理するフレーム数ＮＵＭＦは１に設定される（８０４）。図５Ａ及び図５Ｂに示したように、露光時間はある量Ｍだけ短くされ得る（８０６）。Ｍは幅広いレンジで取り得るが、５０％または５０％付近の値が、良い結果を示し得る。ゲインもまたある量Ｋだけ増加され得る（８０８）。ｈｊｒモードにおける露出時間とゲインとの積は通常モードにおける露出時間とゲインとの積を維持することをより狙っているから、値はＫの２００％または２００％付近の値で、手ぶれの低減が見られる。
【００３８】
もし、増加されたゲインがイメージセンサの最大アナログゲインを超えた場合には、Ｋだけ増加されたゲインと最大（アナログ）ゲインとの間の最小値の選択値が用いられ得る（８１０）。これは、デジタルゲインがＲ２のような領域で使用される構成においても使用され得る。Ｋだけ増加されたゲインと新たなアナログゲイン（ＡＥ＿ＧＡＩＮ＿ＮＥＷ）との比率（８１２）は、定数Ｃ１と比較され得る。Ｃ１はセンサの最大アナログゲインに関わり、一般的には１とされ得る。Ｃ１と、Ｋだけ増加されたゲインと新たなアナログゲインとの比率の間の最小値が選択され（８１４）、そして最小値においてデジタルゲインが使用され得る。
【００３９】
判定ブロック８１６は、光レベルが境界Ｂにおける光レベルよりも大きいかどうか、比較する。もし、光レベルが境界Ｂにおける光レベルよりも大きければ、必要な自動露出パラメータの修正（７０６）は終了する。もし、光レベルが境界Ｂにおける光レベルより小さければ、判定ブロック８１８は、光レベルが境界Ｃにおける光レベルよりも大きいかどうか、比較する。もし、光レベルが境界Ｃにおける光レベルよりも大きければ、フレームレートはある量Ｌだけ高くされ得る（８２０）。上記したように、領域Ｒ３では、ｈｊｒモードにおいてフレームレートｆｒ２は、フレームレートｆｒ１を含む値まで増加され得る。従ってＬは、フレームレートをｆｒ１に近い値で、ｆｒ１を含む値になるよう調節する値であり得る。デジタル写真を処理するためのフレーム数ＮＵＭＦは、２にセットされ得る（８２２）。もし、光レベルが境界Ｃにおける光レベルよりも小さければ、ｈｊｒモードの新たな露光時間（８２４）と新たなゲイン（８２６）は、通常モードにおけるそれと等しくなり得る。測定された輝度（イメージセンサにおける平均輝度）に対する輝度ターゲットの比率（８２８）が、定数Ｃ２と比較され得る。定数Ｃ２と、測定された輝度に対する輝度ターゲットの比率との間の最小値を選択すること（８３０）が、デジタルゲインを生成し得る。一般的に２の値が用いられ、この値は、領域Ｒ４において測定された輝度が、輝度ターゲットの１／２まで低下した際における比率の代わりに定数を用いることに相当し得る。イメージセンサが輝度ターゲットを満たしていない時、フレーム登録後のノイズを低減し輝度を向上させるため、デジタル写真を生成するために処理する更なるフレーム数ＮＵＭＦが使用され得る。ＮＵＭＦとして、最小値の３フレームが、この場合には十分であることが分かった。
【００４０】
複数の異なる構成と方法が説明された。方法は、長時間露出における写真からのぼけの除去を向上し得る。方法と構成はまた、実質的に、写真を撮影するあらゆるデジタル機器についての手ぶれの低減に役立ち得る。この方法と構成は、ハードウェア、ソフトウェア、またはこれらの何らかの組み合わせによって実装され得る。ソフトウェア実装の場合には、写真を撮影する機器において実行される際に、上記説明された一つ以上の方法を行う、コンピュータ読み取り可能なプログラムコード（コンピュータコードとも呼ばれ得る）を備えたコンピュータ読み取り可能な媒体を対象とし得る。
コンピュータ読み取り可能なプログラムコードは、コンピュータ読み取り可能な命令の形で、メモリに保持され得る。この場合、ＤＳＰのようなプロセッサは、本明細書で説明された一つ以上の方法を達成するために、メモリに保持された命令を実行し得る。あるケースでは、この方法は、露光時間とゲインとの積を生成するために、露光時間とゲインとの乗算器のような、種々のハードウェア要素を使用するＤＳＰによって実行され得る。開示された露光時間とゲインとの積は、一つ以上のマイクロプロセッサ、一つ以上の特定用途向け集積回路（ＡＳＩＣ）、及び一つ以上のフィールドプログラマブルゲートアレイシグナル（ＦＰＧＡ）、またはその他のハードウェアとソフトウェアとの組み合わせによって実装され得る。これらの方法と構成は、下記の請求項の範囲内のものである。
【特許請求の範囲】
【請求項１】
取り込まれた少なくとも一つの画像の光レベルを確認する手段と、
手ぶれ低減モードの選択を検出する手段と、
前記取り込まれた少なくとも一つの画像を画像処理するための、手ぶれモードの修正された自動露出パラメータを動的に選択する手段であって、前記手ぶれ低減モードの修正されない自動露出パラメータが、通常モードの修正された自動露出パラメータの露光時間とゲインとの積に対応する露光時間とゲインとの積を有する手段と
備える装置。
【請求項２】
前記修正された自動露出パラメータは、ゲインと露光時間を含む、請求項１記載の装置。
【請求項３】
前記修正された自動露出パラメータは、更にフレームレートを含む、請求項１記載の装置。
【請求項４】
命令セットを保持するコンピュータ読み取り可能な媒体であって、前記命令セットは、一つまたは２つ以上のプロセッサによって実行されると、
取り込まれた少なくとも一つの画像の光レベルを確認する手段と、
手ぶれ低減モードの選択を検出する手段と、
前記取り込まれた少なくとも一つの画像を画像処理するための、手ぶれモードの修正された自動露出パラメータを動的に選択する手段であって、前記手ぶれ低減モードの修正されない自動露出パラメータが、通常モードの修正された自動露出パラメータの露光時間とゲインとの積に対応する露光時間とゲインとの積を有する手段と
備えるコンピュータ読み取り可能な媒体。
【請求項５】
前記修正された自動露出パラメータは、ゲインと露光時間を含む、請求項４記載のコンピュータ読み取り可能な媒体。
【請求項６】
前記修正された自動露出パラメータは、更にフレームレートを含む、請求項４記載のコンピュータ読み取り可能な媒体。
【請求項７】
画像処理を行う装置であって、
光レベルを検出する手段と、前記検出された光レベルに応答して、手ぶれを低減する手段とを有する手ぶれ低減モードを備え、
前記手ぶれの低減は、光レベルが第１レンジにある際の単一フレームノイズ低減と、前記光レベルが第２レンジにある際の複数フレームノイズ低減とを含む、装置。
【請求項８】
前記手ぶれの低減は、修正された自動露出パラメータを含む、請求項７記載の装置。
【請求項９】
前記修正された自動露出パラメータは、ゲイン、露光時間、及びフレームレートである、請求項７記載の装置。
【請求項１０】
複数フレームノイズ低減は、複数のフレーム登録を通じてぼけを低減する、請求項７記載の装置。
【請求項１１】
前記単一フレームノイズ低減は、bayerフィルタリングである、請求項７記載の装置。
【請求項１２】
手ぶれ低減モードでの画像処理は、前記検出された光レベルが、デジタル写真のぼけを除去する際に使用される光レベルの最小値より大きい際に、行われる、請求項７記載の装置。
【請求項１３】
前記検出された光レベルは、自動露出インデックスにマップされる、請求項１１記載の装置。
【請求項１４】
第１フレームレートが用いられる前記第１レンジにおいて前記露光時間が最大値に達した際、それに応答して、前記第１フレームレートは第２フレームレートに低下されることにより、露光時間が長くされる、請求項７記載の装置。
【請求項１５】
ゲインは、前記露光時間の増加に応答して、低下される、請求項１４記載の装置。
【請求項１６】
前記第２レンジは、第３レンジ及び第４レンジの２つのレンジを備える、請求項７記載の装置。
【請求項１７】
前記第３レンジと第４レンジとの間の第２境界は、輝度ターゲットを満たさない光レベルによって決定される、請求項１６記載のカメラ装置。
【請求項１８】
前記第３レンジ及び第４レンジにおいて、デジタルゲインが適用される、請求項１７記載の装置。
【請求項１９】
前記第１レンジは、境界Ａと境界Ｂとの間にある、請求項７記載の装置。
【請求項２０】
前記第２レンジは、境界Ｂを超えて存在する、請求項７記載の装置。
【請求項２１】
イメージセンサに結合可能な集積回路であり、前記イメージセンサが、手ぶれ低減モードにおいて取り込んだデジタル画像の手ぶれを低減するために前記集積回路によって生成された修正された自動露出パラメータに応答する集積回路であって、
少なくとも一つの取り込まれた画像を確認する手段と、
手ぶれ低減モードの選択を検出する手段と、
前記少なくとも一つの取り込まれた画像に関連する光レベルを確認する手段と、
前記光レベルを、通常モードにおける対応するゲインと露光時間にマッピングする手段と、
前記対応するゲインと露光時間から、第１の露光時間−ゲインの積を計算する手段と、
手ぶれを低減するために、前記露光時間−ゲインの積の計算を受けて、修正された自動露出パラメータを生成する手段と
を備えた集積回路。
【請求項２２】
前記露光時間−ゲインの積の計算を受けて、修正された自動露出パラメータを生成する前記手段は、前記ゲインと露光時間を修正することを備える、請求項２１記載の装置。
【請求項２３】
前記修正された自動露出パラメータを生成する手段は、第２の露光時間−ゲインの積の計算を備える、請求項２２記載の装置。
【請求項２４】
前記集積回路はＭＳＭTMである、請求項２１記載の装置。
【請求項２５】
修正された自動露出パラメータを生成する方法であって、
スナップ撮影の後、少なくとも一つのフレームを取り込むことと、
ｈｊｒモードに入ることと、
検出された光レベルを、修正されていない自動露出パラメータに関連づけることと、
メモリから露光時間とゲインとを取り出すことと、
前記取り出された露光時間とゲインから、第１の露光時間−ゲインの積を算出することと、
前記第１の露光時間−ゲインの積に基づいて、修正された自動露出パラメータを生成することと
を備える方法。
【請求項２６】
前記第１の露光時間−ゲインの積に基づいて、前記修正された自動露出パラメータを生成することは、前記取り出された露光時間とゲインとを、乗算すること、減算すること、加算すること、及び除算することを含む、請求項２５記載の方法。
【請求項２７】
前記修正された自動露出パラメータは、ゲインと露光時間を備える、請求項２５記載の方法。
【請求項２８】
前記修正された露出パラメータは、フレームレートを更に備える、請求項２７記載の方法。
【請求項１】
取り込まれた少なくとも一つの画像の光レベルを確認する手段と、
手ぶれ低減モードの選択を検出する手段と、
前記取り込まれた少なくとも一つの画像を画像処理するための、手ぶれモードの修正された自動露出パラメータを動的に選択する手段であって、前記手ぶれ低減モードの修正されない自動露出パラメータが、通常モードの修正された自動露出パラメータの露光時間とゲインとの積に対応する露光時間とゲインとの積を有する手段と
備える装置。
【請求項２】
前記修正された自動露出パラメータは、ゲインと露光時間を含む、請求項１記載の装置。
【請求項３】
前記修正された自動露出パラメータは、更にフレームレートを含む、請求項１記載の装置。
【請求項４】
命令セットを保持するコンピュータ読み取り可能な媒体であって、前記命令セットは、一つまたは２つ以上のプロセッサによって実行されると、
取り込まれた少なくとも一つの画像の光レベルを確認する手段と、
手ぶれ低減モードの選択を検出する手段と、
前記取り込まれた少なくとも一つの画像を画像処理するための、手ぶれモードの修正された自動露出パラメータを動的に選択する手段であって、前記手ぶれ低減モードの修正されない自動露出パラメータが、通常モードの修正された自動露出パラメータの露光時間とゲインとの積に対応する露光時間とゲインとの積を有する手段と
備えるコンピュータ読み取り可能な媒体。
【請求項５】
前記修正された自動露出パラメータは、ゲインと露光時間を含む、請求項４記載のコンピュータ読み取り可能な媒体。
【請求項６】
前記修正された自動露出パラメータは、更にフレームレートを含む、請求項４記載のコンピュータ読み取り可能な媒体。
【請求項７】
画像処理を行う装置であって、
光レベルを検出する手段と、前記検出された光レベルに応答して、手ぶれを低減する手段とを有する手ぶれ低減モードを備え、
前記手ぶれの低減は、光レベルが第１レンジにある際の単一フレームノイズ低減と、前記光レベルが第２レンジにある際の複数フレームノイズ低減とを含む、装置。
【請求項８】
前記手ぶれの低減は、修正された自動露出パラメータを含む、請求項７記載の装置。
【請求項９】
前記修正された自動露出パラメータは、ゲイン、露光時間、及びフレームレートである、請求項７記載の装置。
【請求項１０】
複数フレームノイズ低減は、複数のフレーム登録を通じてぼけを低減する、請求項７記載の装置。
【請求項１１】
前記単一フレームノイズ低減は、bayerフィルタリングである、請求項７記載の装置。
【請求項１２】
手ぶれ低減モードでの画像処理は、前記検出された光レベルが、デジタル写真のぼけを除去する際に使用される光レベルの最小値より大きい際に、行われる、請求項７記載の装置。
【請求項１３】
前記検出された光レベルは、自動露出インデックスにマップされる、請求項１１記載の装置。
【請求項１４】
第１フレームレートが用いられる前記第１レンジにおいて前記露光時間が最大値に達した際、それに応答して、前記第１フレームレートは第２フレームレートに低下されることにより、露光時間が長くされる、請求項７記載の装置。
【請求項１５】
ゲインは、前記露光時間の増加に応答して、低下される、請求項１４記載の装置。
【請求項１６】
前記第２レンジは、第３レンジ及び第４レンジの２つのレンジを備える、請求項７記載の装置。
【請求項１７】
前記第３レンジと第４レンジとの間の第２境界は、輝度ターゲットを満たさない光レベルによって決定される、請求項１６記載のカメラ装置。
【請求項１８】
前記第３レンジ及び第４レンジにおいて、デジタルゲインが適用される、請求項１７記載の装置。
【請求項１９】
前記第１レンジは、境界Ａと境界Ｂとの間にある、請求項７記載の装置。
【請求項２０】
前記第２レンジは、境界Ｂを超えて存在する、請求項７記載の装置。
【請求項２１】
イメージセンサに結合可能な集積回路であり、前記イメージセンサが、手ぶれ低減モードにおいて取り込んだデジタル画像の手ぶれを低減するために前記集積回路によって生成された修正された自動露出パラメータに応答する集積回路であって、
少なくとも一つの取り込まれた画像を確認する手段と、
手ぶれ低減モードの選択を検出する手段と、
前記少なくとも一つの取り込まれた画像に関連する光レベルを確認する手段と、
前記光レベルを、通常モードにおける対応するゲインと露光時間にマッピングする手段と、
前記対応するゲインと露光時間から、第１の露光時間−ゲインの積を計算する手段と、
手ぶれを低減するために、前記露光時間−ゲインの積の計算を受けて、修正された自動露出パラメータを生成する手段と
を備えた集積回路。
【請求項２２】
前記露光時間−ゲインの積の計算を受けて、修正された自動露出パラメータを生成する前記手段は、前記ゲインと露光時間を修正することを備える、請求項２１記載の装置。
【請求項２３】
前記修正された自動露出パラメータを生成する手段は、第２の露光時間−ゲインの積の計算を備える、請求項２２記載の装置。
【請求項２４】
前記集積回路はＭＳＭTMである、請求項２１記載の装置。
【請求項２５】
修正された自動露出パラメータを生成する方法であって、
スナップ撮影の後、少なくとも一つのフレームを取り込むことと、
ｈｊｒモードに入ることと、
検出された光レベルを、修正されていない自動露出パラメータに関連づけることと、
メモリから露光時間とゲインとを取り出すことと、
前記取り出された露光時間とゲインから、第１の露光時間−ゲインの積を算出することと、
前記第１の露光時間−ゲインの積に基づいて、修正された自動露出パラメータを生成することと
を備える方法。
【請求項２６】
前記第１の露光時間−ゲインの積に基づいて、前記修正された自動露出パラメータを生成することは、前記取り出された露光時間とゲインとを、乗算すること、減算すること、加算すること、及び除算することを含む、請求項２５記載の方法。
【請求項２７】
前記修正された自動露出パラメータは、ゲインと露光時間を備える、請求項２５記載の方法。
【請求項２８】
前記修正された露出パラメータは、フレームレートを更に備える、請求項２７記載の方法。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１８２８０６（Ｐ２０１２−１８２８０６Ａ）
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−９４６４８（Ｐ２０１２−９４６４８）
【出願日】平成２４年４月１８日（２０１２．４．１８）
【分割の表示】特願２００９−５３０４７７（Ｐ２００９−５３０４７７）の分割
【原出願日】平成１９年１月２０日（２００７．１．２０）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願番号】特願２０１２−９４６４８（Ｐ２０１２−９４６４８）
【出願日】平成２４年４月１８日（２０１２．４．１８）
【分割の表示】特願２００９−５３０４７７（Ｐ２００９−５３０４７７）の分割
【原出願日】平成１９年１月２０日（２００７．１．２０）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
[ Back to top ]