光学モーションセンサをジャイロスコープとして使用する撮像装置
【課題】オペレータによるカメラの振動はぼやけの原因となる。動きを検出して補正するためのジャイロスコープは高価である。
【解決手段】撮像装置の動きの補正をするモーションセンサ。このモーションセンサは、光素子のアレイとコントローラとを含む。光素子のアレイは、モーションセンサの視野内の環境の特徴の連続画像を取得するように構成される。連続した第１の画像と第２の画像の相関を求め、光素子のアレイに対する共通の特徴の位置の差を検出することにより、前記時間間隔における第１の軸及び第２の軸を中心とした撮像装置の動きを検出し、その相関に基づいて、光学機械的調節を制御するための第１の補正信号及び第２の補正信号を生成し、特定シーンと画像面との間に実質的に一定関係を維持しながら、第１の軸及び第２の軸を中心とした撮像装置の検出された動きを相殺するように構成される。
【解決手段】撮像装置の動きの補正をするモーションセンサ。このモーションセンサは、光素子のアレイとコントローラとを含む。光素子のアレイは、モーションセンサの視野内の環境の特徴の連続画像を取得するように構成される。連続した第１の画像と第２の画像の相関を求め、光素子のアレイに対する共通の特徴の位置の差を検出することにより、前記時間間隔における第１の軸及び第２の軸を中心とした撮像装置の動きを検出し、その相関に基づいて、光学機械的調節を制御するための第１の補正信号及び第２の補正信号を生成し、特定シーンと画像面との間に実質的に一定関係を維持しながら、第１の軸及び第２の軸を中心とした撮像装置の検出された動きを相殺するように構成される。
【発明の詳細な説明】
【背景技術】
【０００１】
背景
画像ぼやけは写真における一般的問題であり、その原因には、被写体の動きや焦点調節の失敗のように様々な原因がある。しかしながら、画像ぼやけの最も一般的原因の１つは、オペレータによるカメラのぶれである。人の筋肉は一般に４〜１２Ｈｚの周波数で振動する。人がカメラを持つとき、この振動が画像ぼやけの原因になる。露出時間が長い場合や、非常に長い焦点距離が可能なズームレンズや望遠レンズを使用した場合、そのような人の震えによって生じるぼやけは特に顕著に現れる。そのようなぼやけを低減する取り組みとして、デジタルカメラ、ビデオカメラ、及び、双眼鏡のような手持ち撮像システムはしばしば、画像安定化システムを有する。
【０００２】
画像安定化のための幾つかの方法及びシステムが開発されている。ただし、システム／方法に関係なく、それらは全て、動きを検出するためのモーションセンサと、検出された動きを補正する手段とによるものである。スチルカメラの場合、モーションセンサは一般に、圧電ジャイロスコープ又はＭＥＭＳ（微小電気機械）ジャイロスコープである。こうしたジャイロスコープは通常、小型ＰＣボード搭載パッケージの形で提供されるため、撮像装置の価格に比べて一般に非常に高価である。画像安定化のためには２つのジャイロスコープが必要であるため、こうしたジャイロスコープを低価格な大量の撮像装置に使用することは一般に高価過ぎて出来ない。ビデオカメラによっては、シーンの各フレームを１つ前のフレームと比較することによって動きを検出する電気的方法を採用したものがよくある。そのような方法は可能ではあるが、大量の信号処理を必要とし、また、シーン内で被写体が動いている場合、混乱を招く可能性がある。
【０００３】
画像安定化システムは大抵、検出された動きを電気的、又は、光学的に補正する。ビデオカメラの場合、特大の画像センサを使用して、電気的補正が実施される。任意のある時点において画像センサの一部だけを使用して画像が記録され、画像を記録する画像センサの部分は、ジャイロスコープの制御により、カメラの動きに応じて時間の経過とともに画像センサの周りをシフトされる。次に、画像センサから得られたピクセルデータは各フレームごとにクロップされ、記録される。
【０００４】
スチルカメラ及びビデオカメラはいずれも、検出された動きを補正するために画像をシフトさせるという光学機械的方法を採用している。こうした方法の１つでは、ジャイロスコープや可動レンズ素子が使用される。一般に、カメラを回転させると、画像センサに対する画像の平行移動が生じる。ジャイロスコープによって検出された動きは、モータがレンズ素子を平行移動させるのに使用される制御信号に変換され、レンズ素子の動きによって画像は、検出された動きに対して同じ方向又は反対の方向に平行移動される。
【０００５】
他の光学機械的方法として、ジャイロスコープ及び可変プリズムを使用するものがある。可変プリズムは、液体シールを形成するベローズによって接続された一対の平坦なガラス板からなる。ガラス板間のチャンバは、ガラス板と同じ反射率を有する液体で充填される。ジャイロスコープによって検出された動きは制御信号に変換される。モータはその制御信号を使用してベローズを調節し、ガラス板間の角度を制御することにより画像を「操作」し、検出された動きによって生じる平行移動が打ち消されるようにする。
【０００６】
上記の画像平行移動のための光学機械的方法はそれぞれ、画像平行移動の補正時に実行可能であるが、開ループシステムであることから、画像位置のフィードバック制御がなく、従って、画像が適切に平行移動されたか否かを検証／確認する方法を持たない。また、前述のように、それらの方法のそれぞれは、比較的コストの高いジャイロスコープをモーションセンサとして使用する。
【発明の開示】
【課題を解決するための手段】
【０００７】
概要
一態様において、本発明は、画像面上の特定シーンを表わす光を受け取る撮像装置の動きの補正を制御するように構成されたモーションセンサを提供する。このモーションセンサは、光素子アレイとコントローラとを有する。光素子アレイは、モーションセンサの視野内にある環境の特徴の連続画像を取得するように構成され、特徴の第１の画像と、該第１の画像の後、ある時間間隔において取得された特徴の第２の画像とを含み、第１の画像と第２の画像は共通の特徴を有する。コントローラは、第１の画像及び第２の画像を受信し、それらの相関を求め、光素子アレイに対する共通な特徴の位置の差を検出することにより、前記時間間隔における第１の軸及び第２の軸を中心とした撮像装置の動きを検出し、前記相関に基づいて第１の補正信号及び第２の補正信号を生成し、前記特定シーンと撮影面との間に実質的に一定関係を維持するようにして、前記第１の軸及び前記第２の軸を中心とした前記撮像装置の検出された動きを打ち消すように光学機械的調節を制御するように構成される。
詳細な説明
下記の詳細な説明では、本発明を実施することが可能な特定の実施形態を例として示し、本明細書の一部を形成する添付の図面を参照する。これに関し、「上」、「下」、「前」、「後ろ」、「先行する」、「後続の」といった方向を示す言葉は、説明中の図面（複数の場合もあり）の向きを基準として使用される。本発明の実施形態の構成要素は、様々な向きに配置することが可能であるため、それらの方向を示す言葉は、例示のために使用され、制限のために使用されることはない。本発明の範囲から外れることなく、他の実施形態を使用したり、構造的又は論理的変更を行うことも可能であるものと考えられる。従って、下記の詳細な説明を制限の意味で解釈してはならない。本発明の範囲は添付の特許請求の範囲により規定される。
【０００８】
図１は、本発明による、カメラ３０の動きの補正を制御するためのデジタル・ジャイロスコープとして構成されたモーションセンサ３２を有する、カメラ３０のような撮像装置の一実施形態を概略的に示すブロック図である。カメラ３０は、画像面３４、カメラ対物レンズ３６、及び、ジャイロスコープ対物レンズ３８を含む。一実施形態において、カメラ３０はアナログカメラであり、画像面３４は感光性撮像フィルムからなる。一実施形態において、カメラ３０はデジタルカメラであり、画像面３４は、例えばＣＣＤ（電荷結合素子）タイプの画素やＣＭＯＳ（相補型金属酸化膜半導体）タイプの画素のような光素子又は画素のアレイからなるカメラ画像センサである。
【０００９】
デジタルジャイロスコープ３２は、光素子又は画素のアレイを有し、ジャイロスコープ画像センサ４０及びコントローラ４２として構成される。一実施形態において、ジャイロスコープ画像センサ４０は、３０×３０のＣＭＯＳ画素のアレイからなる。一実施形態において、デジタルジャイロスコープ３２は、ジャイロスコープ画像センサ４０及びコントローラ４２を含む集積回路パッケージである。デジタルジャイロスコープ３２、画像面３４、及び、カメラ／ジャイロスコープの対物レンズ３６，３８は、カメラ本体又はハウジング４３の中に配置される。
【００１０】
カメラ３０をカメラ対物レンズ３４の視野４６（ＦＯＶＣ）内にある特定シーン４４に差し向けると、カメラ対物レンズは、特定シーン４４を表わす光４８を受け取り、その光を画像面３４に投影する。同様に、ジャイロスコープ対物レンズ３８は、視野５０（ＦＯＶＧ）内の環境から光を受け取り、その光をジャイロスコープ画像センサ４０に投影するように構成される。一実施形態において、ジャイロスコープ対物レンズ１３８は、無限遠に焦点調節される。
【００１１】
図２は、図１のカメラ３０の略等角図である。カメラマンがカメラを手で持つと、普通は、無意識な手の動き、すなわちぶれによって、カメラは動かされる。Ｘ軸５２及びＺ軸５４を中心としたカメラの動きは、カメラ３０で撮影された写真にぼやけを生じさせる。ぼやけの程度は、動きの速度、写真の露出時間、及び、カメラの倍率設定などによって決まり、カメラの倍率設定は通常、カメラ対物レンズ３６の焦点距離から分かる。
【００１２】
３５ｍｍ写真の場合、経験的に、カメラを確実に手で持つことが可能な最長露出時間（秒）はレンズの焦点距離（ｍｍ）の逆数になると言われている。例えば、５０ｍｍのレンズを使用する場合、１秒の１／５０以下の露出時間の間だけ、カメラを手で持っていることができる。同様に、３００ｍｍのレンズを使用する場合、三脚の助けを借りることなく鮮明な写真をとるためには、１秒の１／３００以下の露出時間が通常必要となる。
【００１３】
手の動きによって無意識にカメラに加わる動きは通常、振動性の動きであり、約４〜１２ヘルツの周波数範囲の振動からなる。無意識な手の動きは、せいぜい６度の自由度しかない。しかしながら、画像のぼやけの原因になる撮像面３４における受信光４８の平行移動は、主にＸ軸５２及びＺ軸５４を中心とした回転によって発生する。Ｘ軸５２を中心とした回転は、Ｚ軸５４に沿った受信光４８の平行移動の原因となり、Ｚ軸５４を中心とした回転は、Ｘ軸５４に沿った受信光の平行移動の原因となる。Ｙ軸５６を中心とした動きが画像の鮮明度に影響を与えることは一般にほとんどない。なぜなら、そのような動きは一般に顕著ではなく、また、写真をとるときの倍率によって、Ｙ軸５６に沿った動きの影響は最小限に抑えられることが多いからである。
【００１４】
図１を参照すると、ジャイロスコープ画像センサ４０は、デジタルジャイロスコープ３２のＦＯＶＧ内の環境の特徴の連続画像を取得するように構成される。連続画像は、特徴の第１の画像と、該第１の画像の後、ある時間間隔において取得された特徴の第２の画像とを含み、第１の画像と第２の画像は共通の特徴を有する。これらの特徴は、例えば木、建築構造物、椅子、又はテーブルのような、環境内の任意の物体又は要素であってよい。ただし、これらの特徴は、画像面３４のＦＯＶＣ４６内に位置する場合もあれば、位置しない場合もある。
【００１５】
一実施形態において、ジャイロスコープ画像センサ４０は、ユーザがシャッター制御ボタン６２（図２を参照）を途中まで又は完全に押し下げたときに、連続画像の取得を開始する。一実施形態において、ジャイロスコープ画像センサ１４０は、一秒あたり最大１０００枚の特徴の画像を取得するように構成される。
【００１６】
コントローラ４２は、ジャイロスコープ画像センサ４０から取得画像を受け取り、第１の画像と第２の画像の相関を求め、ジャイロスコープ画像センサ４０の画素アレイに対する前記共通の特徴の位置の差を検出することにより、前記時間間隔におけるＸ軸５２及びＺ軸５４を中心としたカメラ３０の動きを検出する。一実施形態では、シャッター制御ボタン６２を押し下げた後、最初に取得された画像が、基準画像として使用される。一実施形態において、コントローラ４２は、その基準画像をジャイロスコープ画像センサから受信した連続取得画像のそれぞれと比較することにより、カメラ３０の動きを検出する。デジタルジャイロスコープ３２の一実施形態、及び、デジタルジャイロスコープ３２で使用される相関判定処理の例については、図８〜図１５を参照して後で詳細に説明する。
【００１７】
コントローラ４２は、その相関に基づいて第１の補正信号及び第２の補正信号を生成し、光学機械的調節手段を制御して、特定シーン４４と撮像面３４との間に実質的に一定関係が保たれるようにして、Ｘ軸５２及びＺ軸５４を中心としたカメラ３０の検出された動きを打ち消す。一実施形態において、第１の補正信号５８はＸ軸５２方向の調節を制御し、第２の補正信号６０はＺ軸方向の調節を制御する。
【００１８】
本明細書で使用されるように、「光学機械的調節」は、特定シーン４０と撮像面との間に実質的に一定関係が保たれるような、レンズ素子（図４を参照）の移動、及び／又は、画像面の移動を含む。この言葉は、カメラのハウジング４３の位置の調節を行い、画像を安定化させることは含まない。
【００１９】
要するに、本発明によるデジタルジャイロスコープ３２は、ＣＭＯＳ系画像センサのような光素子アレイを使用して動きを検出することにより、コストの高い機械式ジャイロスコープに対するコスト効率に優れた代替手段を提供する。従って、デジタルジャイロスコープ３２によれば、低価格な大量の撮像装置の、コスト効率に優れた画像安定化が可能となる。また、図３Ａ及び図３Ｂを参照して後で詳しく説明するように、デジタルジャイロスコープ３２によれば、画像位置の直接フィードバック制御手段を備えた画像安定化システムが可能となり、それによって、画像安定化システムの性能が向上する。
【００２０】
図３Ａ及び図３Ｂは、本発明による画像安定化システムの一実施形態を採用したデジタルカメラ１３０の一実施形態を概略的に示すブロック図及び概略図である。カメラ１３２は、デジタルジャイロスコープ１３２、カメラ画像センサ１３４、カメラ対物レンズ１３６、及び、ジャイロスコープ対物レンズ１３８を含む。デジタルジャイロスコープ１３２は、ジャイロスコープ画像センサ１４０及びコントローラ１４２を更に含む。
【００２１】
一実施形態において、デジタルジャイロスコープ１３２及びカメラ画像センサ１３４は、図示のように可動式平行移動ステージ１７０に搭載される。平行移動ステージ１７０は、第１のボイスコイルモータ（ＶＣＭ）１７２によってＸ軸１５２に沿って移動させることができる。平行移動テーブル１７０は、第２のＶＣＭ（図３Ｂを参照）によりＺ軸１５４に沿って移動させることができる。デジタルジャイロスコープ１３２、平行移動ステージ１７０、及び、ＶＣＭ１７２、１７４は合わせて、カメラ対物レンズ１３６を通してカメラ画像センサ１３４によって受信された画像を安定化させるための閉ループ画像安定化システム１７５を形成する。一実施形態（図示せず）において、ジャイロスコープ画像センサ１４０は平行移動ステージ１７０に搭載され、コントローラ１４２は平行移動ステージ１７０から離れた位置に配置される。
【００２２】
図３Ａ及び図３Ｂを参照すると、カメラ１３０をＦＯＶＣ１４６内の特定シーン１４４に焦点調節すると、カメラ対物レンズ１３６は、特定シーン１４４から受信した光１４８をカメラ画像センサ１３４に投影する。同様に、ジャイロスコープ対物レンズ１３８は、ＦＯＶＧ１５０内の環境から光を受信し、その光をジャイロスコープ画像センサ１４０に投影する。一実施形態において、ジャイロスコープ画像センサ１４０は、３０×３０の画素アレイを有するＣＭＯＳ画像センサからなる。一実施形態において、ジャイロスコープ画像センサ１４０は、１６×１６の画素アレイからなる。
【００２３】
ジャイロスコープ画像センサ１４０は、ＦＯＶＧ１５０内の環境の特徴の連続画像を取得するように構成される。これらの連続画像は、特徴の第１の画像と、特徴の第２の画像とを含み、特徴の第２の画像は、第１の画像の後、或る時間間隔において取得され、第１の画像と第２の画像は共通の特徴を有する。一実施形態において、ジャイロスコープ画像センサ１４０は、１秒あたり最大で１０００枚の特徴の画像を取得するように構成される。一実施形態において、ジャイロスコープ画像センサ１４０は、上記のように、ユーザがシャッター制御ボタン６２（図２を参照）を途中まで又は完全に押し下げたときに、連続画像の取得を開始するように構成される。
【００２４】
コントローラ１４２は、ジャイロスコープ画像センサ１４０からそれらの連続画像を受信する。Ｘ軸１５２及びＺ軸１５４を中心としてカメラ１３０を回転させると、カメラ画像センサ及びジャイロスコープ画像センサ１４０の上で、特定シーン１４４、及び、ＦＯＶＧ１５０内の特徴がそれぞれ、画像から画像へと次々に平行移動する。そのようなカメラ１３０の動きを検出するために、コントローラ１４２は、第１の画像と第２の画像の相関を求め、第１の画像と第２の画像の間におけるジャイロスコープ画像センサ１４０上の共通の特徴の画素位置の差を検出する。
【００２５】
コントローラ１４２は、その相関に基づいて、検出されたＸ軸１５２方向の動きを打ち消すための第１の補正信号１５８を第１のＶＣＭ１７２に供給し、検出されたＺ軸方向の動きを打ち消すための第２の補正信号１６０を第２のＶＣＭ１７４に供給する。例えば、カメラ１３０が（ユーザに対して）第２の量だけ下と左にそれぞれ動くと、特定シーン１４４、及び、ＦＯＶＧ１５０内の環境の特徴は、カメラ画像センサ１３４及びジャイロスコープ画像センサ１４０に対して、第１の量だけ上に、且つ、第２の量だけ右に平行移動する。コントローラ１４２は、相関処理によってそのような動きを検出し、それに応じて、平行移動ステージ１７０をＸ軸１５２に沿って第２の量だけ右に移動させるための第１の補正信号１５８、及び、平行移動ステージ１７０をＹ軸に沿って第１の量だけ上に移動させるための第２の補正信号１６０を生成する。一実施形態では、必要な信号値をＶＣＭ１７２及び１７４に供給するために、図示のように第１の補正信号１５８及び第２の補正信号１６０の信号経路に、増幅器１８０及び１８２を設ける場合がある。
【００２６】
カメラ１３０の動きを打ち消すように平行移動ステージ１７０を移動させることにより、安定化システム１７５は、ＦＯＶＧ１５０内の環境の特徴と、ジャイロスコープ画像センサ１４０との間に、実質的に一定関係を維持することができる。カメラ画像センサ１３４が平行移動ステージ１７０に搭載されているため、ＦＯＶＧ１５０内の環境の特徴の動きを打ち消す動きは、カメラ画像センサ１３４に対する特定シーン１４４の動きも自動的に相殺し、それによって、画像センサ１３４によって受信された特定シーン１４４の画像が安定化され、最終的な写真画像におけるぼやけが低減される。また、安定化システム１７５は、ジャイロスコープ画像センサ１４０を平行移動ステージ１７０上の画像センサ１３４と一緒に動かすことにより、画像位置（すなわち、特定シーン１４４）の直接フィードバック制御が可能となり、それによってシステム性能が向上する。
【００２７】
図４は、本発明による画像安定化システムの他の実施形態を採用したカメラ２３０の一実施形態を示す略ブロック図である。カメラ２３０は、デジタルジャイロスコープ２３２、画像面２３４、カメラ対物レンズ２３６、及び、ジャイロスコープ対物レンズ２３８を含む。デジタルジャイロスコープは、画素アレイとコントローラ２４２とを含む画像センサ２４０を更に含む。一実施形態において、画像面２３４は感光性撮像フィルムからなる。一実施形態において、画像面２３４は画像センサからなる。
【００２８】
カメラ２３０は、可動式凹面レンズ素子２９０と固定取り付け式凹面レンズ素子２９２とからなる一対の補正レンズを更に含む。第１のＶＣＭ２７２は、第１の補正信号２５８に応じて凹面レンズ素子２９０をＸ軸２５２に沿って動かし、第２のＶＣＭ（図示せず）は、第２の補正信号２６０に応じて凹面レンズ素子２９０をＺ軸に沿って動かす。デジタルジャイロスコープ２３２、第１のＶＣＭ、第２のＶＣＭ、可動式凹面レンズ素子２９０、及び、固定取り付け式凸面レンズ素子２９２は合わせて、開ループ画像安定化システム２７５を形成する。
【００２９】
図３Ａ及び図３Ｂのデジタルジャイロスコープ１３２に関して上で説明したものと同様のやり方で、デジタルジャイロスコープ２３２は、ジャイロスコープ対物レンズ２３８の視野内の環境の特徴の第１の画像と第２の画像の相関を求めることにより、Ｘ軸及びＺ軸を中心としたカメラ２３０の回転を検出する。デジタルジャイロスコープは、その相関に基づいて第１の補正信号及び第２の補正信号を生成し、第１のボイスコイルモータ及び第２のボイスコイルモータにより、Ｘ軸及びＺ軸に沿ってカメラ２３０の動きを打ち消す適切な距離にレンズ素子２９０を移動させる。カメラ画像センサ２３４及びデジタルジャイロスコープ２３２は静止状態のまま維持される。カメラ２３０の動きを打ち消するように凹面レンズ素子２９０の動きを制御することにより、凹面レンズ素子２９０と固定取り付け式凸面レンズ素子２９２は協働し、画像面２３４に対して画像が実質的に静止状態に維持されるように、カメラ対物レンズ２３６を通して受け取った光を画像面２３４に対して平行移動させる。
【００３０】
ジャイロスコープ画像センサ２４０と、ジャイロスコープ対物レンズ２３８を通して受信されたジャイロスコープ対物レンズ２３８の視野内の環境の特徴を表わす光との間の関係は、同様に調節はされない。その場合、安定化システム２７５は画像位置（例えば、図３Ａの選択シーン１４４）の直接フィードバックを受信しないので、安定化システム２７５は開ループシステムとなる。
【００３１】
図５は、画像センサと、図１にジャイロスコープ対物レンズ３８や、デジタルジャイロスコープ３２のジャイロスコープ画像センサ４０として示したような対応する対物レンズとの間の関係を示す概略図である。ジャイロスコープ画像センサ４０は、２９２に示すような幅ｄＡを有する画素アレイからなり、２９８に示すものと実質的に同じ幅ｄＰを有する画素２９４のような各画素を有する。ジャイロスコープ対物レンズ３８の視野（ＦＯＶＧ）５０（ラジアン）は、ジャイロスコープ画像センサ４０の幅ｄＡ２９２と、レンズ３８の焦点距離（ｆ）２９９の比に等しい。
【００３２】
デジタルジャイロスコープ３２が動きを検出するためには、ジャイロスコープ画像センサ４０を、従ってＦＯＶＧ５０を、少なくとも或る特定の最小角だけ回転させなければならない。カメラ３０がデジタルカメラである場合、カメラ３０を特定最小角だけ回転させ、画像センサ３４上の受信画像の位置を１画素だけシフトさせると、カメラ画像センサ３４によって取得される画像に顕著なぼやけが表れはじめる。こうした特定最小角は、ジャイロスコープ画像センサ４０及びカメラ画像センサ４０の角度分解能と呼ばれる。
【００３３】
ジャイロスコープ画像センサ４０の角度分解能が、カメラ画像センサ３４の角度分解能よりも高い場合、デジタルジャイロスコープ３２は、カメラ画像センサ３４によって取得される画像がぼやけはじめる前に、カメラ３０の動きを検出することができない。そのような場合、デジタルジャイロスコープ３２は、カメラ３０の動きを十分に打ち消すことができず、従って、カメラ画像センサ３４によって受信される画像は十分に安定しない。そのため、デジタルジャイロスコープ３２の角度分解能は、カメラ画像センサ３４の分解能を越えるものではあってはならず、ジャイロスコープ画像センサ４０の角度分解能は、カメラ画像センサ３４の角度分解能に実質的に適合するものが望ましい。
【００３４】
ジャイロスコープ画像センサ４０の角度分解能は、ジャイロスコープレンズ３８の焦点距離、及び、ジャイロスコープ画像センサ４０によって検出可能な最小画像モーションに基づいて決定される。そして、その検出可能な最小画像モーションは、ジャイロスコープ画像センサ４０に使用される画素のサイズに関係する。画素サイズは画質に影響を与え、画素サイズが大きくなるほど、画質は一般に良好になる。一実施形態において、アレイ３８は、１画素の約１／１６に等しい最小検出可能画像モーションを有する６０μｍの画素の３０×３０のアレイからなる。６０μｍを１６で割ったものは、最小検出可能画像モーション３．７５μｍに等しい。ジャイロスコープレンズ３８の焦点距離が１０ｍｍである場合、最小検出可能モーション３．７５μｍは、角度分解能０．３７５ミリラジアンに等しい。度数に変換した場合、この角度分解能は約０．０２１５度に等しい。
【００３５】
カメラ画像センサ３４の角度分解能は、画素サイズ、及び、カメラ対物レンズ３６の焦点距離に基づいて決定される。例えば、安価なデジタルカメラの中には、５．７ｍｍの焦点距離のレンズと、３メガピクセルの画像センサとを備え、画素サイズが約２．６μｍ（画素サイズはカメラによって異なる）であるものがある。２．６μｍを５．７ｍｍで割ったものは、角度分解能約０．４６ミリラジアンに等しい。度数に変換すれば、角度分解能は約０．０２６度である。この角度分解能は、角度分解能０．０２１５度を有する上記のデジタルジャイロスコープに非常に適している。
【００３６】
上記の点から、ジャイロスコープ３２の角度分解能をカメラ画像センサ３４の角度分解能に適合させるために、ジャイロスコープ画像センサ４０の最小検出可能モーション、及び／又は、ジャイロスコープ対物レンズの焦点距離は調節される場合がある。ただし、一般的には、ジャイロスコープ画像センサ４０の最小検出可能モーションを調節するよりも、ジャイロスコープ画像センサ４０の角度分解能がカメラ画像センサ３４の角度分解能に適合したものになる焦点距離２９９を有するジャイロスコープ対物レンズ３８を選択することの方が、遥かに簡単である。従って、デジタルジャイロスコープ３２の角度分解能がカメラ画像センサ３４に最も良好に適合するように、ジャイロスコープ対物レンズ３８はカメラごとに選択することができる。一実施形態において、カメラ対物レンズ３６が可変焦点距離を有するズームレンズである場合、デジタルジャイロスコープの角度分解能は、ズームレンズ３６が望遠位置（すなわち、拡大位置）にあるときのカメラ画像センサ３４の角度分解能と実質的に等しくなるように設定される。ズームレンズ３６は、広角位置とは反対の望遠位置にあるときに、最長焦点距離を有する。
【００３７】
角度分解能の他に、デジタルジャイロスコープを採用した画像安定化システムを構成するときに考慮すべき他のファクタとして、図１に示すデジタルジャイロスコープ画像センサ４０のＦＯＶＧ５０のようなジャイロスコープ画像センサの視野がある。図３を参照して上で説明したように、画像センサの視野（ラジアン）は、画像センサの幅と、対応する対物レンズの焦点距離の比（すなわち、ｄＡ２９２とｆ２９９の比）によって決まる。
【００３８】
角度分解能の説明に使用した上記の例を参照すると、ジャイロスコープ画像センサの６０μｍの画素の３０×３０のアレイは、約１０度の視野（例えば、図１のＦＯＶＧ）を有する一方、３メガピクセルのカメラ画像センサは約５０度の視野（例えば、図１のＦＯＶＣ）を有する。従って、ジャイロスコープ画像センサの視野は、カメラ画像センサの視野の１／５の幅しかない。そのため、ジャイロスコープ画像センサによって見ることのできる画像部分に、デジタルジャイロスコープが動きを検出するための基準として使用されることがある高いコントラストの特徴が含まれないことがある。
【００３９】
上記のように、高コントラストの特徴が現れる可能性を増加させるために、ジャイロスコープ画像センサは、広い視野を有することが重要である。ジャイロスコープ画像センサの視野を広げる１つの方法は、図１のジャイロスコープ対物レンズ３８のようなジャイロスコープ対物レンズの焦点距離を短くすることである。ただし、ジャイロスコープ対物レンズの焦点距離を短縮すると、ジャイロスコープ画像センサの角度分解能は低下する。
【００４０】
図６に示すように、図１のジャイロスコープ画像センサ４０のようなジャイロスコープ画像センサの視野を広げる１つの方法は、ジャイロスコープ対物レンズ３００ａ、３００ｂ及び３００ｃとして示したようなジャイロスコープ対物レンズのアレイを使用することである。図５を参照すると、これらのレンズがそれぞれ、ジャイロスコープ対物レンズ３８と同じ焦点距離（ｆ）２９９を有する場合、レンズ３００ａ、３００ｂ及び３００ｃのアレイを採用したジャイロスコープ画像センサ４０の有効視野は、対物レンズ３８だけを使用した場合の視野の約３倍になる。図示の例では、３つのレンズ３００ａ、３００ｂ及び３００ｃにより、ジャイロスコープ画像センサ４０上に３つの重なり合う画像が生成される。そのため、ジャイロスコープ画像センサ４０のコントラストが低下しても、高コントラストの特徴を検出する可能性は高くなる。
【００４１】
一実施形態において、カメラ対物レンズ３６は、図７に示すようにジャイロスコープ画像センサ４０によって共用され、それによって、図１に示すジャイロスコープ対物レンズ３８のような独立したジャイロスコープ対物レンズを使用する必要はなくなる。
【００４２】
図８は、デジタルジャイロスコープ３２のような本発明によるデジタルジャイロスコープの一実施形態を示すブロック図である。一実施形態において、図８に示すようなデジタルジャイロスコープ３２は、単一の集積回路チップとして形成される。このチップは、二次元画像を取得して処理するように構成されたアナログ信号処理チップであり、取得された２次元画像の相関を求めることにより、カメラ３０のような撮像装置に関する検出された動きを打ち消すための補正信号を生成する。
【００４３】
図８の実施形態に示すように、デジタルジャイロスコープ３２のジャイロスコープ画像センサ４０は、３２行×６８行の光素子のアレイ４０８からなる。６８行転送増幅器のアレイ４００は、ジャイロスコープ画像センサ４０８から６４個のＤＣ除去回路のアレイ４０２へ行ごとに信号を伝達する。計算アレイ４０４は、ＤＣ除去回路４０２からデータを受信し、そのデータに対する計算を実施し、４０６で示す補正信号（すなわち、図１の第１の補正信号５８及び第２の補正信号６０）をチップ外のシステムに渡し、チップ外のシステムはその補正信号４０６（例えば、図３Ａ及び図３Ｂの平行移動テーブル１７０並びにＶＣＭ１７２及び１７４）に基づいて撮像装置に関する動きを打ち消す。
【００４４】
従来の一体型光センサでは、セルごとの較正が行われないため、集積回路処理技術の制限から、感度のばらつきが幾らか発生することがある。図８に示すようなデジタルジャイロスコープチップ３２は、第１の画像、すなわち基準画像と、その後、ジャイロスコープ画像センサ４０８に対する別の位置において撮影された第２の画像との間の相関を計算する。明るさや、光素子の感度に何らかの変化があれば、相関信号は劣化する。従って、図８の空間ＤＣ除去回路４０２は、システムのコストを比較的低く維持しながらも、相関信号の完全性を維持するように構成される。普通ならば相関信号が使用不能になるであろう明るさや光素子感度の低い空間周波数変化は、ナビゲーション画像から除去される。
【００４５】
ＤＣ除去回路４０２の動作の理解は、計算アレイ４０４の動作を完全に理解する上で重要ではないので、詳しい説明はしない。ただし、列転送増幅器４００の基本動作を理解することは有用である。
【００４６】
図９を参照すると、この図は、６８列の光素子のうち、５つの列４１２、４１４、４１６、４１８及び４２０を示している。これらの列のそれぞれについて、３２行のうちの６行４２２、４２４、４２６、４２８、４３０及び４３２が描かれている。各列は、個別の転送増幅器４３４、４３６、４３７、４３８及び４３９に接続される。或る列にある光素子は、読み出しスイッチ４４０を閉じることによって、転送増幅器に接続される。図９の回路の動作時に、２つの光素子が同じ増幅器に同時に接続されることはない。
【００４７】
各転送増幅器４３４〜４３９は積分器として動作し、一定電圧の電圧源に接続された入力４４２を有する。第２の入力４４４は、転送コンデンサ４４８により、増幅器の出力４４６に容量性結合される。
【００４８】
図９の回路の動作時には、光素子の第１の行２２の読み出しスイッチが閉じられ、各転送コンデンサ４４８は、第１の行にある光素子が受け取る光エネルギーに対応する電荷を受け取る。次に、受け取った電荷は、出力ライン４４６を介して処理回路に転送される。１行の読み出しは、２００ｎｓ〜３００ｎｓであると推定される。第１の行の読み出しの後、第１の行の読み出しスイッチを開き、増幅器をリセットする。次に、第２の行の光素子から信号を伝送するために、第２の行４２４の読み出しスイッチを閉じる。そして、各行の光素子が読み出されるまで、この処理が反復される。
【００４９】
図９の転送増幅器４３４〜４３９の動作により、光素子信号は、行ごとに次の回路へ転送される。図８のＤＣ除去回路は、列転送増幅器によって確立されるような光素子信号の並行処理を続ける。ＤＣ除去回路は、ナビゲーションセンサ４０８が受け取った光エネルギーを表わす６４個の信号を出力する。図８の実施形態において、１フレームの信号は、計算アレイ中の画素値から構成され、それらの画素値は、ＤＣ除去回路からの６４個の信号の３２回の転送によって得られる。
【００５０】
図１０は、デジタルジャイロスコープ３２のような本発明によるデジタルジャイロスコープで使用される、カメラ３０（図１を参照）のような撮像装置に関する動きを検出するための処理の一実施形態を示している。本発明は、デジタルジャイロスコープの視野内の環境の特徴を示す光素子信号の処理に関するものとして説明されるが、この方法が何らかの１つの用途に制限されることはない。
【００５１】
この処理は、環境の特徴の基準フレームと、環境の後続のフレームと間の相関を求めるために実施される。要するに、それらの相関判定は、基準フレームと後続フレームとの間の共通な画像的特徴の位置を比較し、基準画像の取得時と後続フレームの取得時の間の時間間隔における撮像装置に関する動きに関する情報を得るものである。
【００５２】
まず４５０において、信号の基準フレーム（すなわち、基準画像）を取得する。基準フレームは開始位置とみなされる。後の時点における画像領域に対するナビゲーションセンサの位置は、後の時点においてナビゲーションセンサから信号のサンプルフレームを受信４５２した後、基準フレーム及び後の時点で取得されたサンプルフレームに関する相関値４５４を計算することにより判定される。
【００５３】
最初の基準フレーム４５０の取得は、撮像プロセスの最初の時点で行われる。例えば、一実施形態において、この取得は、図２のシャッター制御ボタン６２のような、撮像装置に関連するシャッター制御ボタンを押すことによって開始される場合がある。
【００５４】
動きの検出は計算によって実施されるが、この実施形態の概念は、図１１の概念図を参照して説明される。７×７画素の基準フレーム４５６が、Ｔ型の特徴４５８の画像を有するものとして示されている。後（ｄｔ）の時点において、ジャイロスコープ画像センサ４０８は、フレーム４５６からずれた第２のフレーム、すなわちサンプルフレーム４６０を取得する。ただし、第２のフレームも同じ特徴を有している。期間ｄｔは、Ｔ型の特徴４５８の相対変位が、カメラ３０のような撮像装置に関する平行移動の速度におけるナビゲーションセンサの１画素未満になるように設定することが望ましい。
【００５５】
信号の基準フレーム４５６の取得と、信号のサンプルフレーム４６０の取得との間の時間において撮像装置が移動した場合、Ｔ型の特徴はシフトする。好ましい実施形態は、ｄｔが、１画素全体の移動が可能である時間よりも短いものであるが、図１１に示す概念図は、ちょうど１画素分だけ特徴４５８が上及び右にシフトされることを示している。画素単位のシフトを仮定してるのは、単に図を単純化するためである。
【００５６】
図１１に示す格子４６２は、７×７アレイのフレーム４６０内の特定画素の画素値の順次的シフトを示している。これらの順次的シフトは、８個の最も近い近傍画素への個々のオフセットである。すなわち、ステップ「０」は何もシフトせず、ステップ「１」は左上への斜めシフトであり、ステップ２は上へのシフトである、等々である。このようにして、９つの画素シフトされたフレームを基準フレーム４５６と組み合わせて、位置フレームのアレイ４６４が生成される。「位置０」として指定された位置フレームはシフトがなく、この位置フレームは、フレーム４５６と４６０を単に組み合わせたものに過ぎない。「位置７」は、最小数の影付き画素しか持たないので、最大の相関を有するフレームである。これらの相関結果に基づき、サンプルフレーム４６０におけるＴ型の特徴４５８の位置が、以前に取得された基準画像４５６における同じ特徴に位置に対して斜め右下にシフトされたことが判定される。この判定は、時間ｄｔの間に、撮像装置が左下へ移動したことを意味する。
【００５７】
他の相関判定方法も使用可能ではあるが、妥当な方法は、「差の二乗和」による相関判定である。図１３の実施形態の場合、要素４６４に示すような９つのオフセットから形成される９個の相関係数（Ｃｋ＝Ｃ０、Ｃ１、・・・、Ｃ８）がある。基準フレームの方をオフセットし、サンプルフレームをそのままにしても、この相関判定は同様に良好に動作するため、サンプルフレーム４６０のシフトには他の選択肢もある。
【００５８】
基準フレーム４５６とサンプルフレーム４６０に共通な特徴４５８の変位を判定するために、相関を使用して、特徴４５８の位置を見付ける。図３Ａ及び図３Ｂを参照して上で説明したように、カメラ画像センサ３４の位置は、基準フレーム４５６と後続のサンプルフレームとの間の相関によって検出される動きを打ち消すように調節される。このプロセスによれば高度な相関判定が可能であるが、連続サンプルフレーム４６０をそれぞれ基準フレーム４５６と比較する際の時間経過により、小さいかもしれないが、誤差が蓄積される可能性がある。長い時間にわたるそのような誤差の蓄積を許容した場合、検出された動きを打ち消すことがほとんどできなくなり、従って、画像の安定化がほとんどできなくなる場合がある。これは、図４に示す開ループ安定化システム２７５の場合に特に当てはまる。
【００５９】
上記の点から、一実施形態では、最初の基準フレーム４５６を取得してから写真を撮影することなく非常に長い時間が経過した場合、新たな基準画像４５６を取得する場合がある。また、一実施形態では、カメラ３０のユーザがカメラを大きくずらし、サンプルフレーム４６０と基準フレーム４５６の間に共通の特徴がなくなった場合、新たな基準フレーム４５６を取得する場合がある。
【００６０】
従って、図１０を再び参照すると、４５４における各相関値の計算の後、４６６において、その後の補正処理の前に基準フレームを置き換えるか否かに関する判定が行われる。基準フレームを置き換えるべきではないという判定がなされた場合、ステップ４６８において、基準フレームの信号、すなわち画素値を解釈すべきか否かに関する判定を行う。基準フレーム４５６を置き換えるべきでないという判定がなされた場合、プロセスは４５２へ戻り、次のサンプルフレームを取得してプロセスが継続される。基準フレームを置き換えるべき判定がなされた場合、図１０の４７２に示すように、図１１のサンプルフレーム４６０が新たな基準フレームになる。次に、４５２において次のサンプルフレームが取得され、プロセスは継続される。
【００６１】
基準フレームとサンプルフレームの間の共通の特徴の位置の変化を検出することにより、ジャイロスコープ画像センサ４０８と画像化された環境との間の相対移動が検出される。相関によって検出された移動に基づき、デジタルジャイロスコープ３２は、画像化されたシーンと、撮像装置（例えば、デジタルカメラのカメラ画像センサ）の画像面との間に実質的に一定関係が維持されるようにして、検出された動きを打ち消すための補正測定値を制御するための補正信号４０６を生成し、それによって画像のぼやけを低減する。
【００６２】
図１２は、図８の計算アレイ４０４内の個々のセルを示す概略図である。ただし、当業者には明らかなように、図１０及び図１１を参照して説明した処理の実施には、他の回路が使用される場合もある。
【００６３】
画像データＷＤＡＴＡ（ｉ）は、信号ＷＲ（ｊ）の制御により電荷補正されたトランジスタスイッチ４７０を有する計算セル４６６のライン４６８に搭載された特定の光素子からの光エネルギーを表わす。信号ＷＲ（ｊ）がデアサートされた後、新たなデータがコンデンサ４７２に保持され、増幅器４７４によってバッファリングされる。計算セルは、二次元セルアレイ内のデータセルである。図１１を少し参照すると、このセルは、画素値の記憶と、フレーム４５６及び４６０を構成する７×７アレイ内の単一画素の画素値のシフトに使用される。図１２のＣＤＡＴＡノード４７６は、信号のフレームの全ての画素の同時信号処理を可能にする、計算アレイ内の１つのＣＤＡＴＡノードである。まず、ＣＤＡＴＡノードのアレイは合わせて、比較画像、すなわち「基準フレーム」を形成する。後で説明するように、ＣＤＡＴＡノードは、次にサンプルフレームを形成する。制御入力ＣＤＯＵＴ４７８は、最近傍出力ノードＮＮ（０）４８０に対し、信号ＣＤＤＡＴＡ、比較データ、又は、ＲＥＦＯＵＴを選択する。
【００６４】
最近傍入力ＮＮ（０）〜ＮＮ（８）４８０、４８２、４８４、４８８、５００、５０２、５０４及び５０６は、ライン５０８上のスイッチ制御信号Ｓ（０）〜Ｓ（８）によって個別に選択される。ＮＮ（０）〜ＮＮ（８）入力４８０〜５０６は、図１１のピクセルマップ４６２による最近傍セルの出力である。従って、図中、ノード４８０は、最近傍セルへの接続のために扇形に展開する出力と、セル４６６の入力の両方として描かれている。スイッチ制御信号は、計算アレイの外にある図示されていない４−９エンコーダによって生成される。エンコーダへの４ビット入力は、最近傍アドレスとも呼ばれ、００００（０）〜１０００（８）の値をとる。
【００６５】
最近傍入力（ＮＮＩＮＰＵＴ）ノード５１０は、ＲＥＦＬＤ５１２にパルスを加えることによりサンプリングされ、それによって、ＮＮＩＮＰＵＴがノードＲＥＦＨ５１４に記憶される。同様に、ＲＥＦＤＡＴＡ５１６は、ＲＥＦＳＦＴ５２０にパルスを加えることによりサンプリングされ、ＲＥＦＳＨ５１８に記憶される。
【００６６】
テストの場合、ＲＯＷＴＳＴＢ５２２をアサートし、信号ＮＮ（０）をテスト出力５２４まで伝搬させることができる。或る行にあるセルからのテスト信号は、計算アレイの各列における共通の垂直バスに接続され、アレイの底部において多重化され、チップ外へ供給される。アレイの左縁に沿って配置される標準行デコーダは、テストの際に特定の行を選択することができる。ただし、テスト機能は本発明にとって必須ではない。
【００６７】
セルアレイ内の各計算セル４６６は、図１０のステップ４５４に示されている相関値を判定する回路５２６を有する。第１の入力５２８は、ＲＥＦＤＡＴＡノード５１６から基準データを受信する。第２の入力５３０は、ライン５０８における適当なスイッチ制御信号によって選択された最近傍入力ＮＮＩＮＰＵＴを受信する。相関セルの出力５３２は電流である。トラッキング回路５３４の単一のチップ外加算抵抗器において、計算アレイ内の全ての相関出力が加算される。加算抵抗器の両端に発生する電圧は、図１２では相関値と呼ばれる。
【００６８】
図１２の実施形態において、回路５２６は、二乗差の計算を利用する。セル４６６は、アレイ制御入力Ｓ（０）〜Ｓ（８）の基本アーキテクチャに変更を加えることなく積ベースの相関を出力するように変更することもでき、ＲＥＦＬＤＲＥＦＳＦＴ及びＣＤＯＵＴはアレイ全体に対して共通である。
【００６９】
図１１に４６２で表される単一セルの場合の最近傍マップと、アレイ全体に関する最近傍マップの関係を理解することは重要である。画像の位置０は、画像の現在位置と呼ばれる。位置０〜位置１への移動に関して言えば、図は、アレイの全てのセルの画像信号が、左上にある近傍セルに移動されることを示している。つまり、この移動は、計算アレイにおける単一セルに関係するとともに、アレイ内の全てのセルに関係する。
【００７０】
計算アレイの機能は、画像取得、基準画像の読み込み、及び、相関計算の観点から説明することができる。画像取得とは、各計算セル４６６のＷＤＡＴＡライン４６８を介して新たな画像信号を読み込むことを言う。この実施形態では、４０マイクロ秒ごとに、信号、すなわち画素値の新たなフレームが、光素子アレイから列転送増幅器及びＤＣ除去増幅器を介して取得される。
【００７１】
新たな画像の読み込み処理は、「フレーム転送」と呼ばれる。フレーム転送は、完了までに約１０マイクロ秒を要する。フレーム転送の際には、フレーム転送制御回路が、図示されていない信号ＦＴＢをアサートする。以下で説明する計算アレイの動作は、ＦＴＢ信号を監視し、ＦＴＢ信号に同期してフレーム転送処理を行うように構成される。新たな比較画像の正当性は、ＦＴＢ信号の立下りエッジによって伝達される。以下で説明する動作は、ＦＴＢがアサートされていない場合に適当であるに過ぎない。
【００７２】
何らかの画像相関を計算する前には、基準フレームの画素値の読み込みが必要である。基準フレームを読み込むためには、計算アレイのＣＤＡＴＡノード４７６にある全ての信号をＲＥＦＨノード５１４に転送しなければならない。これは、ＣＤＯＵＴ４７８及びＳ（０）を高に設定し、ライン５１２にＲＥＦＬＤ信号のパルスを出力することによって行われる。
【００７３】
基準フレームの読み込みが完了すると、計算アレイは、相関を計算する準備が整う。画素値の基準フレームと後続のサンプルフレームとの間の相関は、最近傍アドレスを所望の値に設定し、変位トラッキング回路５３４の加算抵抗器の両端に発生する電圧を記録することにより計算される。基準フレームを取得した位置から１画素の距離だけ受光器アレイを動かすと、最近傍位置のうちの１つにおいて強い相関が検出される。なぜなら、最小レベルの出力電流が生じるからである。図１１において、この相関は、アレイ４６４の位置７において検出されるはずである。１画素未満の移動は、二次元相関空間における複数の電流出力読み値を補間することにより判定することができる。なお、基準フレームと基準フレーム自体の間の相関は、ＣＤＯＵＴ４７８を低に設定し、ＲＥＦＳＦＴ５２０にパルスを与えることにより計算することができる。これによって、最近傍入力は、サンプルフレームに由来するものではなく、基準フレームに由来するものになる。
【００７４】
なお、図８〜図１２にかけて、上では、本発明によるデジタルジャイロスコープ３２の一実施形態のみを説明している。他の回路構成やプロセスをデジタルジャイロスコープ３２に使用して、動きを検出するための画像を取得したり、画像の相関を計算することも可能である。また、本明細書では主としてデジタルスチルカメラについて説明しているが、本明細書の教示は、動画を撮影するビデオカメラや他の撮像装置にも適用可能である。例えば、ビデオカメラに適用する場合、デジタルジャイロスコープは、特定シーンを横切ってカメラを回転させて撮影するときに基準フレームを更新するように構成され、フィルタリングによって、ビデオカメラの回転やシーン内の移動物によって発生する内部的動きを、人の手の震えによって生じるような非内部的動きから区別するように構成される場合がある。
【００７５】
本明細書では、特定の実施形態について図示説明しているが、当業者であれば、本発明の範囲から外れることなく、図示説明した特定の実施形態に代えて、種々の代替実施形態、及び／又は、等価実施形態を使用することも可能であることは明らかであろう。本願は、本明細書に記載した特定の実施形態の変形や変更を全べて含めることを意図している。従って、本発明は、特許請求の範囲及びその均等によってのみ制限される。
【図面の簡単な説明】
【００７６】
【図１】本発明による、デジタルジャイロスコープとして構成されたモーションセンサを有するカメラの一実施形態を一般的に示すブロック図である。
【図２】図１のカメラを示す略等角図である。
【図３Ａ】本発明による画像安定化システムを採用したカメラの略ブロック図である。
【図３Ｂ】図３Ａの画像安定化を示す略ブロック図である。
【図４】本発明による画像安定化システムを採用したカメラの略ブロック図である。
【図５】画像センサと対応する対物レンズの間の関係を概略的に示す略図である。
【図６】本発明によるデジタルジャイロスコープに使用されるレンズ構成の一実施形態を示す略ブロック図である。
【図７】本発明によるデジタルジャイロスコープに使用されるレンズ構成の一実施形態を示す略ブロック図である。
【図８】本発明によるデジタルジャイロスコープの一実施形態を示す略ブロック図である。
【図９】図８のデジタルジャイロスコープの受光器アレイ及び転送増幅器の各部を示す略ブロック図である。
【図１０】本発明によるデジタルジャイロスコープに使用される、画像相関により動きを検出するためのプロセスの一実施形態を示す図である。
【図１１】図１０のプロセスの各部を示す概略図である。
【図１２】図８の計算アレイ４０４内の１つのセルを示す概略図である。
【背景技術】
【０００１】
背景
画像ぼやけは写真における一般的問題であり、その原因には、被写体の動きや焦点調節の失敗のように様々な原因がある。しかしながら、画像ぼやけの最も一般的原因の１つは、オペレータによるカメラのぶれである。人の筋肉は一般に４〜１２Ｈｚの周波数で振動する。人がカメラを持つとき、この振動が画像ぼやけの原因になる。露出時間が長い場合や、非常に長い焦点距離が可能なズームレンズや望遠レンズを使用した場合、そのような人の震えによって生じるぼやけは特に顕著に現れる。そのようなぼやけを低減する取り組みとして、デジタルカメラ、ビデオカメラ、及び、双眼鏡のような手持ち撮像システムはしばしば、画像安定化システムを有する。
【０００２】
画像安定化のための幾つかの方法及びシステムが開発されている。ただし、システム／方法に関係なく、それらは全て、動きを検出するためのモーションセンサと、検出された動きを補正する手段とによるものである。スチルカメラの場合、モーションセンサは一般に、圧電ジャイロスコープ又はＭＥＭＳ（微小電気機械）ジャイロスコープである。こうしたジャイロスコープは通常、小型ＰＣボード搭載パッケージの形で提供されるため、撮像装置の価格に比べて一般に非常に高価である。画像安定化のためには２つのジャイロスコープが必要であるため、こうしたジャイロスコープを低価格な大量の撮像装置に使用することは一般に高価過ぎて出来ない。ビデオカメラによっては、シーンの各フレームを１つ前のフレームと比較することによって動きを検出する電気的方法を採用したものがよくある。そのような方法は可能ではあるが、大量の信号処理を必要とし、また、シーン内で被写体が動いている場合、混乱を招く可能性がある。
【０００３】
画像安定化システムは大抵、検出された動きを電気的、又は、光学的に補正する。ビデオカメラの場合、特大の画像センサを使用して、電気的補正が実施される。任意のある時点において画像センサの一部だけを使用して画像が記録され、画像を記録する画像センサの部分は、ジャイロスコープの制御により、カメラの動きに応じて時間の経過とともに画像センサの周りをシフトされる。次に、画像センサから得られたピクセルデータは各フレームごとにクロップされ、記録される。
【０００４】
スチルカメラ及びビデオカメラはいずれも、検出された動きを補正するために画像をシフトさせるという光学機械的方法を採用している。こうした方法の１つでは、ジャイロスコープや可動レンズ素子が使用される。一般に、カメラを回転させると、画像センサに対する画像の平行移動が生じる。ジャイロスコープによって検出された動きは、モータがレンズ素子を平行移動させるのに使用される制御信号に変換され、レンズ素子の動きによって画像は、検出された動きに対して同じ方向又は反対の方向に平行移動される。
【０００５】
他の光学機械的方法として、ジャイロスコープ及び可変プリズムを使用するものがある。可変プリズムは、液体シールを形成するベローズによって接続された一対の平坦なガラス板からなる。ガラス板間のチャンバは、ガラス板と同じ反射率を有する液体で充填される。ジャイロスコープによって検出された動きは制御信号に変換される。モータはその制御信号を使用してベローズを調節し、ガラス板間の角度を制御することにより画像を「操作」し、検出された動きによって生じる平行移動が打ち消されるようにする。
【０００６】
上記の画像平行移動のための光学機械的方法はそれぞれ、画像平行移動の補正時に実行可能であるが、開ループシステムであることから、画像位置のフィードバック制御がなく、従って、画像が適切に平行移動されたか否かを検証／確認する方法を持たない。また、前述のように、それらの方法のそれぞれは、比較的コストの高いジャイロスコープをモーションセンサとして使用する。
【発明の開示】
【課題を解決するための手段】
【０００７】
概要
一態様において、本発明は、画像面上の特定シーンを表わす光を受け取る撮像装置の動きの補正を制御するように構成されたモーションセンサを提供する。このモーションセンサは、光素子アレイとコントローラとを有する。光素子アレイは、モーションセンサの視野内にある環境の特徴の連続画像を取得するように構成され、特徴の第１の画像と、該第１の画像の後、ある時間間隔において取得された特徴の第２の画像とを含み、第１の画像と第２の画像は共通の特徴を有する。コントローラは、第１の画像及び第２の画像を受信し、それらの相関を求め、光素子アレイに対する共通な特徴の位置の差を検出することにより、前記時間間隔における第１の軸及び第２の軸を中心とした撮像装置の動きを検出し、前記相関に基づいて第１の補正信号及び第２の補正信号を生成し、前記特定シーンと撮影面との間に実質的に一定関係を維持するようにして、前記第１の軸及び前記第２の軸を中心とした前記撮像装置の検出された動きを打ち消すように光学機械的調節を制御するように構成される。
詳細な説明
下記の詳細な説明では、本発明を実施することが可能な特定の実施形態を例として示し、本明細書の一部を形成する添付の図面を参照する。これに関し、「上」、「下」、「前」、「後ろ」、「先行する」、「後続の」といった方向を示す言葉は、説明中の図面（複数の場合もあり）の向きを基準として使用される。本発明の実施形態の構成要素は、様々な向きに配置することが可能であるため、それらの方向を示す言葉は、例示のために使用され、制限のために使用されることはない。本発明の範囲から外れることなく、他の実施形態を使用したり、構造的又は論理的変更を行うことも可能であるものと考えられる。従って、下記の詳細な説明を制限の意味で解釈してはならない。本発明の範囲は添付の特許請求の範囲により規定される。
【０００８】
図１は、本発明による、カメラ３０の動きの補正を制御するためのデジタル・ジャイロスコープとして構成されたモーションセンサ３２を有する、カメラ３０のような撮像装置の一実施形態を概略的に示すブロック図である。カメラ３０は、画像面３４、カメラ対物レンズ３６、及び、ジャイロスコープ対物レンズ３８を含む。一実施形態において、カメラ３０はアナログカメラであり、画像面３４は感光性撮像フィルムからなる。一実施形態において、カメラ３０はデジタルカメラであり、画像面３４は、例えばＣＣＤ（電荷結合素子）タイプの画素やＣＭＯＳ（相補型金属酸化膜半導体）タイプの画素のような光素子又は画素のアレイからなるカメラ画像センサである。
【０００９】
デジタルジャイロスコープ３２は、光素子又は画素のアレイを有し、ジャイロスコープ画像センサ４０及びコントローラ４２として構成される。一実施形態において、ジャイロスコープ画像センサ４０は、３０×３０のＣＭＯＳ画素のアレイからなる。一実施形態において、デジタルジャイロスコープ３２は、ジャイロスコープ画像センサ４０及びコントローラ４２を含む集積回路パッケージである。デジタルジャイロスコープ３２、画像面３４、及び、カメラ／ジャイロスコープの対物レンズ３６，３８は、カメラ本体又はハウジング４３の中に配置される。
【００１０】
カメラ３０をカメラ対物レンズ３４の視野４６（ＦＯＶＣ）内にある特定シーン４４に差し向けると、カメラ対物レンズは、特定シーン４４を表わす光４８を受け取り、その光を画像面３４に投影する。同様に、ジャイロスコープ対物レンズ３８は、視野５０（ＦＯＶＧ）内の環境から光を受け取り、その光をジャイロスコープ画像センサ４０に投影するように構成される。一実施形態において、ジャイロスコープ対物レンズ１３８は、無限遠に焦点調節される。
【００１１】
図２は、図１のカメラ３０の略等角図である。カメラマンがカメラを手で持つと、普通は、無意識な手の動き、すなわちぶれによって、カメラは動かされる。Ｘ軸５２及びＺ軸５４を中心としたカメラの動きは、カメラ３０で撮影された写真にぼやけを生じさせる。ぼやけの程度は、動きの速度、写真の露出時間、及び、カメラの倍率設定などによって決まり、カメラの倍率設定は通常、カメラ対物レンズ３６の焦点距離から分かる。
【００１２】
３５ｍｍ写真の場合、経験的に、カメラを確実に手で持つことが可能な最長露出時間（秒）はレンズの焦点距離（ｍｍ）の逆数になると言われている。例えば、５０ｍｍのレンズを使用する場合、１秒の１／５０以下の露出時間の間だけ、カメラを手で持っていることができる。同様に、３００ｍｍのレンズを使用する場合、三脚の助けを借りることなく鮮明な写真をとるためには、１秒の１／３００以下の露出時間が通常必要となる。
【００１３】
手の動きによって無意識にカメラに加わる動きは通常、振動性の動きであり、約４〜１２ヘルツの周波数範囲の振動からなる。無意識な手の動きは、せいぜい６度の自由度しかない。しかしながら、画像のぼやけの原因になる撮像面３４における受信光４８の平行移動は、主にＸ軸５２及びＺ軸５４を中心とした回転によって発生する。Ｘ軸５２を中心とした回転は、Ｚ軸５４に沿った受信光４８の平行移動の原因となり、Ｚ軸５４を中心とした回転は、Ｘ軸５４に沿った受信光の平行移動の原因となる。Ｙ軸５６を中心とした動きが画像の鮮明度に影響を与えることは一般にほとんどない。なぜなら、そのような動きは一般に顕著ではなく、また、写真をとるときの倍率によって、Ｙ軸５６に沿った動きの影響は最小限に抑えられることが多いからである。
【００１４】
図１を参照すると、ジャイロスコープ画像センサ４０は、デジタルジャイロスコープ３２のＦＯＶＧ内の環境の特徴の連続画像を取得するように構成される。連続画像は、特徴の第１の画像と、該第１の画像の後、ある時間間隔において取得された特徴の第２の画像とを含み、第１の画像と第２の画像は共通の特徴を有する。これらの特徴は、例えば木、建築構造物、椅子、又はテーブルのような、環境内の任意の物体又は要素であってよい。ただし、これらの特徴は、画像面３４のＦＯＶＣ４６内に位置する場合もあれば、位置しない場合もある。
【００１５】
一実施形態において、ジャイロスコープ画像センサ４０は、ユーザがシャッター制御ボタン６２（図２を参照）を途中まで又は完全に押し下げたときに、連続画像の取得を開始する。一実施形態において、ジャイロスコープ画像センサ１４０は、一秒あたり最大１０００枚の特徴の画像を取得するように構成される。
【００１６】
コントローラ４２は、ジャイロスコープ画像センサ４０から取得画像を受け取り、第１の画像と第２の画像の相関を求め、ジャイロスコープ画像センサ４０の画素アレイに対する前記共通の特徴の位置の差を検出することにより、前記時間間隔におけるＸ軸５２及びＺ軸５４を中心としたカメラ３０の動きを検出する。一実施形態では、シャッター制御ボタン６２を押し下げた後、最初に取得された画像が、基準画像として使用される。一実施形態において、コントローラ４２は、その基準画像をジャイロスコープ画像センサから受信した連続取得画像のそれぞれと比較することにより、カメラ３０の動きを検出する。デジタルジャイロスコープ３２の一実施形態、及び、デジタルジャイロスコープ３２で使用される相関判定処理の例については、図８〜図１５を参照して後で詳細に説明する。
【００１７】
コントローラ４２は、その相関に基づいて第１の補正信号及び第２の補正信号を生成し、光学機械的調節手段を制御して、特定シーン４４と撮像面３４との間に実質的に一定関係が保たれるようにして、Ｘ軸５２及びＺ軸５４を中心としたカメラ３０の検出された動きを打ち消す。一実施形態において、第１の補正信号５８はＸ軸５２方向の調節を制御し、第２の補正信号６０はＺ軸方向の調節を制御する。
【００１８】
本明細書で使用されるように、「光学機械的調節」は、特定シーン４０と撮像面との間に実質的に一定関係が保たれるような、レンズ素子（図４を参照）の移動、及び／又は、画像面の移動を含む。この言葉は、カメラのハウジング４３の位置の調節を行い、画像を安定化させることは含まない。
【００１９】
要するに、本発明によるデジタルジャイロスコープ３２は、ＣＭＯＳ系画像センサのような光素子アレイを使用して動きを検出することにより、コストの高い機械式ジャイロスコープに対するコスト効率に優れた代替手段を提供する。従って、デジタルジャイロスコープ３２によれば、低価格な大量の撮像装置の、コスト効率に優れた画像安定化が可能となる。また、図３Ａ及び図３Ｂを参照して後で詳しく説明するように、デジタルジャイロスコープ３２によれば、画像位置の直接フィードバック制御手段を備えた画像安定化システムが可能となり、それによって、画像安定化システムの性能が向上する。
【００２０】
図３Ａ及び図３Ｂは、本発明による画像安定化システムの一実施形態を採用したデジタルカメラ１３０の一実施形態を概略的に示すブロック図及び概略図である。カメラ１３２は、デジタルジャイロスコープ１３２、カメラ画像センサ１３４、カメラ対物レンズ１３６、及び、ジャイロスコープ対物レンズ１３８を含む。デジタルジャイロスコープ１３２は、ジャイロスコープ画像センサ１４０及びコントローラ１４２を更に含む。
【００２１】
一実施形態において、デジタルジャイロスコープ１３２及びカメラ画像センサ１３４は、図示のように可動式平行移動ステージ１７０に搭載される。平行移動ステージ１７０は、第１のボイスコイルモータ（ＶＣＭ）１７２によってＸ軸１５２に沿って移動させることができる。平行移動テーブル１７０は、第２のＶＣＭ（図３Ｂを参照）によりＺ軸１５４に沿って移動させることができる。デジタルジャイロスコープ１３２、平行移動ステージ１７０、及び、ＶＣＭ１７２、１７４は合わせて、カメラ対物レンズ１３６を通してカメラ画像センサ１３４によって受信された画像を安定化させるための閉ループ画像安定化システム１７５を形成する。一実施形態（図示せず）において、ジャイロスコープ画像センサ１４０は平行移動ステージ１７０に搭載され、コントローラ１４２は平行移動ステージ１７０から離れた位置に配置される。
【００２２】
図３Ａ及び図３Ｂを参照すると、カメラ１３０をＦＯＶＣ１４６内の特定シーン１４４に焦点調節すると、カメラ対物レンズ１３６は、特定シーン１４４から受信した光１４８をカメラ画像センサ１３４に投影する。同様に、ジャイロスコープ対物レンズ１３８は、ＦＯＶＧ１５０内の環境から光を受信し、その光をジャイロスコープ画像センサ１４０に投影する。一実施形態において、ジャイロスコープ画像センサ１４０は、３０×３０の画素アレイを有するＣＭＯＳ画像センサからなる。一実施形態において、ジャイロスコープ画像センサ１４０は、１６×１６の画素アレイからなる。
【００２３】
ジャイロスコープ画像センサ１４０は、ＦＯＶＧ１５０内の環境の特徴の連続画像を取得するように構成される。これらの連続画像は、特徴の第１の画像と、特徴の第２の画像とを含み、特徴の第２の画像は、第１の画像の後、或る時間間隔において取得され、第１の画像と第２の画像は共通の特徴を有する。一実施形態において、ジャイロスコープ画像センサ１４０は、１秒あたり最大で１０００枚の特徴の画像を取得するように構成される。一実施形態において、ジャイロスコープ画像センサ１４０は、上記のように、ユーザがシャッター制御ボタン６２（図２を参照）を途中まで又は完全に押し下げたときに、連続画像の取得を開始するように構成される。
【００２４】
コントローラ１４２は、ジャイロスコープ画像センサ１４０からそれらの連続画像を受信する。Ｘ軸１５２及びＺ軸１５４を中心としてカメラ１３０を回転させると、カメラ画像センサ及びジャイロスコープ画像センサ１４０の上で、特定シーン１４４、及び、ＦＯＶＧ１５０内の特徴がそれぞれ、画像から画像へと次々に平行移動する。そのようなカメラ１３０の動きを検出するために、コントローラ１４２は、第１の画像と第２の画像の相関を求め、第１の画像と第２の画像の間におけるジャイロスコープ画像センサ１４０上の共通の特徴の画素位置の差を検出する。
【００２５】
コントローラ１４２は、その相関に基づいて、検出されたＸ軸１５２方向の動きを打ち消すための第１の補正信号１５８を第１のＶＣＭ１７２に供給し、検出されたＺ軸方向の動きを打ち消すための第２の補正信号１６０を第２のＶＣＭ１７４に供給する。例えば、カメラ１３０が（ユーザに対して）第２の量だけ下と左にそれぞれ動くと、特定シーン１４４、及び、ＦＯＶＧ１５０内の環境の特徴は、カメラ画像センサ１３４及びジャイロスコープ画像センサ１４０に対して、第１の量だけ上に、且つ、第２の量だけ右に平行移動する。コントローラ１４２は、相関処理によってそのような動きを検出し、それに応じて、平行移動ステージ１７０をＸ軸１５２に沿って第２の量だけ右に移動させるための第１の補正信号１５８、及び、平行移動ステージ１７０をＹ軸に沿って第１の量だけ上に移動させるための第２の補正信号１６０を生成する。一実施形態では、必要な信号値をＶＣＭ１７２及び１７４に供給するために、図示のように第１の補正信号１５８及び第２の補正信号１６０の信号経路に、増幅器１８０及び１８２を設ける場合がある。
【００２６】
カメラ１３０の動きを打ち消すように平行移動ステージ１７０を移動させることにより、安定化システム１７５は、ＦＯＶＧ１５０内の環境の特徴と、ジャイロスコープ画像センサ１４０との間に、実質的に一定関係を維持することができる。カメラ画像センサ１３４が平行移動ステージ１７０に搭載されているため、ＦＯＶＧ１５０内の環境の特徴の動きを打ち消す動きは、カメラ画像センサ１３４に対する特定シーン１４４の動きも自動的に相殺し、それによって、画像センサ１３４によって受信された特定シーン１４４の画像が安定化され、最終的な写真画像におけるぼやけが低減される。また、安定化システム１７５は、ジャイロスコープ画像センサ１４０を平行移動ステージ１７０上の画像センサ１３４と一緒に動かすことにより、画像位置（すなわち、特定シーン１４４）の直接フィードバック制御が可能となり、それによってシステム性能が向上する。
【００２７】
図４は、本発明による画像安定化システムの他の実施形態を採用したカメラ２３０の一実施形態を示す略ブロック図である。カメラ２３０は、デジタルジャイロスコープ２３２、画像面２３４、カメラ対物レンズ２３６、及び、ジャイロスコープ対物レンズ２３８を含む。デジタルジャイロスコープは、画素アレイとコントローラ２４２とを含む画像センサ２４０を更に含む。一実施形態において、画像面２３４は感光性撮像フィルムからなる。一実施形態において、画像面２３４は画像センサからなる。
【００２８】
カメラ２３０は、可動式凹面レンズ素子２９０と固定取り付け式凹面レンズ素子２９２とからなる一対の補正レンズを更に含む。第１のＶＣＭ２７２は、第１の補正信号２５８に応じて凹面レンズ素子２９０をＸ軸２５２に沿って動かし、第２のＶＣＭ（図示せず）は、第２の補正信号２６０に応じて凹面レンズ素子２９０をＺ軸に沿って動かす。デジタルジャイロスコープ２３２、第１のＶＣＭ、第２のＶＣＭ、可動式凹面レンズ素子２９０、及び、固定取り付け式凸面レンズ素子２９２は合わせて、開ループ画像安定化システム２７５を形成する。
【００２９】
図３Ａ及び図３Ｂのデジタルジャイロスコープ１３２に関して上で説明したものと同様のやり方で、デジタルジャイロスコープ２３２は、ジャイロスコープ対物レンズ２３８の視野内の環境の特徴の第１の画像と第２の画像の相関を求めることにより、Ｘ軸及びＺ軸を中心としたカメラ２３０の回転を検出する。デジタルジャイロスコープは、その相関に基づいて第１の補正信号及び第２の補正信号を生成し、第１のボイスコイルモータ及び第２のボイスコイルモータにより、Ｘ軸及びＺ軸に沿ってカメラ２３０の動きを打ち消す適切な距離にレンズ素子２９０を移動させる。カメラ画像センサ２３４及びデジタルジャイロスコープ２３２は静止状態のまま維持される。カメラ２３０の動きを打ち消するように凹面レンズ素子２９０の動きを制御することにより、凹面レンズ素子２９０と固定取り付け式凸面レンズ素子２９２は協働し、画像面２３４に対して画像が実質的に静止状態に維持されるように、カメラ対物レンズ２３６を通して受け取った光を画像面２３４に対して平行移動させる。
【００３０】
ジャイロスコープ画像センサ２４０と、ジャイロスコープ対物レンズ２３８を通して受信されたジャイロスコープ対物レンズ２３８の視野内の環境の特徴を表わす光との間の関係は、同様に調節はされない。その場合、安定化システム２７５は画像位置（例えば、図３Ａの選択シーン１４４）の直接フィードバックを受信しないので、安定化システム２７５は開ループシステムとなる。
【００３１】
図５は、画像センサと、図１にジャイロスコープ対物レンズ３８や、デジタルジャイロスコープ３２のジャイロスコープ画像センサ４０として示したような対応する対物レンズとの間の関係を示す概略図である。ジャイロスコープ画像センサ４０は、２９２に示すような幅ｄＡを有する画素アレイからなり、２９８に示すものと実質的に同じ幅ｄＰを有する画素２９４のような各画素を有する。ジャイロスコープ対物レンズ３８の視野（ＦＯＶＧ）５０（ラジアン）は、ジャイロスコープ画像センサ４０の幅ｄＡ２９２と、レンズ３８の焦点距離（ｆ）２９９の比に等しい。
【００３２】
デジタルジャイロスコープ３２が動きを検出するためには、ジャイロスコープ画像センサ４０を、従ってＦＯＶＧ５０を、少なくとも或る特定の最小角だけ回転させなければならない。カメラ３０がデジタルカメラである場合、カメラ３０を特定最小角だけ回転させ、画像センサ３４上の受信画像の位置を１画素だけシフトさせると、カメラ画像センサ３４によって取得される画像に顕著なぼやけが表れはじめる。こうした特定最小角は、ジャイロスコープ画像センサ４０及びカメラ画像センサ４０の角度分解能と呼ばれる。
【００３３】
ジャイロスコープ画像センサ４０の角度分解能が、カメラ画像センサ３４の角度分解能よりも高い場合、デジタルジャイロスコープ３２は、カメラ画像センサ３４によって取得される画像がぼやけはじめる前に、カメラ３０の動きを検出することができない。そのような場合、デジタルジャイロスコープ３２は、カメラ３０の動きを十分に打ち消すことができず、従って、カメラ画像センサ３４によって受信される画像は十分に安定しない。そのため、デジタルジャイロスコープ３２の角度分解能は、カメラ画像センサ３４の分解能を越えるものではあってはならず、ジャイロスコープ画像センサ４０の角度分解能は、カメラ画像センサ３４の角度分解能に実質的に適合するものが望ましい。
【００３４】
ジャイロスコープ画像センサ４０の角度分解能は、ジャイロスコープレンズ３８の焦点距離、及び、ジャイロスコープ画像センサ４０によって検出可能な最小画像モーションに基づいて決定される。そして、その検出可能な最小画像モーションは、ジャイロスコープ画像センサ４０に使用される画素のサイズに関係する。画素サイズは画質に影響を与え、画素サイズが大きくなるほど、画質は一般に良好になる。一実施形態において、アレイ３８は、１画素の約１／１６に等しい最小検出可能画像モーションを有する６０μｍの画素の３０×３０のアレイからなる。６０μｍを１６で割ったものは、最小検出可能画像モーション３．７５μｍに等しい。ジャイロスコープレンズ３８の焦点距離が１０ｍｍである場合、最小検出可能モーション３．７５μｍは、角度分解能０．３７５ミリラジアンに等しい。度数に変換した場合、この角度分解能は約０．０２１５度に等しい。
【００３５】
カメラ画像センサ３４の角度分解能は、画素サイズ、及び、カメラ対物レンズ３６の焦点距離に基づいて決定される。例えば、安価なデジタルカメラの中には、５．７ｍｍの焦点距離のレンズと、３メガピクセルの画像センサとを備え、画素サイズが約２．６μｍ（画素サイズはカメラによって異なる）であるものがある。２．６μｍを５．７ｍｍで割ったものは、角度分解能約０．４６ミリラジアンに等しい。度数に変換すれば、角度分解能は約０．０２６度である。この角度分解能は、角度分解能０．０２１５度を有する上記のデジタルジャイロスコープに非常に適している。
【００３６】
上記の点から、ジャイロスコープ３２の角度分解能をカメラ画像センサ３４の角度分解能に適合させるために、ジャイロスコープ画像センサ４０の最小検出可能モーション、及び／又は、ジャイロスコープ対物レンズの焦点距離は調節される場合がある。ただし、一般的には、ジャイロスコープ画像センサ４０の最小検出可能モーションを調節するよりも、ジャイロスコープ画像センサ４０の角度分解能がカメラ画像センサ３４の角度分解能に適合したものになる焦点距離２９９を有するジャイロスコープ対物レンズ３８を選択することの方が、遥かに簡単である。従って、デジタルジャイロスコープ３２の角度分解能がカメラ画像センサ３４に最も良好に適合するように、ジャイロスコープ対物レンズ３８はカメラごとに選択することができる。一実施形態において、カメラ対物レンズ３６が可変焦点距離を有するズームレンズである場合、デジタルジャイロスコープの角度分解能は、ズームレンズ３６が望遠位置（すなわち、拡大位置）にあるときのカメラ画像センサ３４の角度分解能と実質的に等しくなるように設定される。ズームレンズ３６は、広角位置とは反対の望遠位置にあるときに、最長焦点距離を有する。
【００３７】
角度分解能の他に、デジタルジャイロスコープを採用した画像安定化システムを構成するときに考慮すべき他のファクタとして、図１に示すデジタルジャイロスコープ画像センサ４０のＦＯＶＧ５０のようなジャイロスコープ画像センサの視野がある。図３を参照して上で説明したように、画像センサの視野（ラジアン）は、画像センサの幅と、対応する対物レンズの焦点距離の比（すなわち、ｄＡ２９２とｆ２９９の比）によって決まる。
【００３８】
角度分解能の説明に使用した上記の例を参照すると、ジャイロスコープ画像センサの６０μｍの画素の３０×３０のアレイは、約１０度の視野（例えば、図１のＦＯＶＧ）を有する一方、３メガピクセルのカメラ画像センサは約５０度の視野（例えば、図１のＦＯＶＣ）を有する。従って、ジャイロスコープ画像センサの視野は、カメラ画像センサの視野の１／５の幅しかない。そのため、ジャイロスコープ画像センサによって見ることのできる画像部分に、デジタルジャイロスコープが動きを検出するための基準として使用されることがある高いコントラストの特徴が含まれないことがある。
【００３９】
上記のように、高コントラストの特徴が現れる可能性を増加させるために、ジャイロスコープ画像センサは、広い視野を有することが重要である。ジャイロスコープ画像センサの視野を広げる１つの方法は、図１のジャイロスコープ対物レンズ３８のようなジャイロスコープ対物レンズの焦点距離を短くすることである。ただし、ジャイロスコープ対物レンズの焦点距離を短縮すると、ジャイロスコープ画像センサの角度分解能は低下する。
【００４０】
図６に示すように、図１のジャイロスコープ画像センサ４０のようなジャイロスコープ画像センサの視野を広げる１つの方法は、ジャイロスコープ対物レンズ３００ａ、３００ｂ及び３００ｃとして示したようなジャイロスコープ対物レンズのアレイを使用することである。図５を参照すると、これらのレンズがそれぞれ、ジャイロスコープ対物レンズ３８と同じ焦点距離（ｆ）２９９を有する場合、レンズ３００ａ、３００ｂ及び３００ｃのアレイを採用したジャイロスコープ画像センサ４０の有効視野は、対物レンズ３８だけを使用した場合の視野の約３倍になる。図示の例では、３つのレンズ３００ａ、３００ｂ及び３００ｃにより、ジャイロスコープ画像センサ４０上に３つの重なり合う画像が生成される。そのため、ジャイロスコープ画像センサ４０のコントラストが低下しても、高コントラストの特徴を検出する可能性は高くなる。
【００４１】
一実施形態において、カメラ対物レンズ３６は、図７に示すようにジャイロスコープ画像センサ４０によって共用され、それによって、図１に示すジャイロスコープ対物レンズ３８のような独立したジャイロスコープ対物レンズを使用する必要はなくなる。
【００４２】
図８は、デジタルジャイロスコープ３２のような本発明によるデジタルジャイロスコープの一実施形態を示すブロック図である。一実施形態において、図８に示すようなデジタルジャイロスコープ３２は、単一の集積回路チップとして形成される。このチップは、二次元画像を取得して処理するように構成されたアナログ信号処理チップであり、取得された２次元画像の相関を求めることにより、カメラ３０のような撮像装置に関する検出された動きを打ち消すための補正信号を生成する。
【００４３】
図８の実施形態に示すように、デジタルジャイロスコープ３２のジャイロスコープ画像センサ４０は、３２行×６８行の光素子のアレイ４０８からなる。６８行転送増幅器のアレイ４００は、ジャイロスコープ画像センサ４０８から６４個のＤＣ除去回路のアレイ４０２へ行ごとに信号を伝達する。計算アレイ４０４は、ＤＣ除去回路４０２からデータを受信し、そのデータに対する計算を実施し、４０６で示す補正信号（すなわち、図１の第１の補正信号５８及び第２の補正信号６０）をチップ外のシステムに渡し、チップ外のシステムはその補正信号４０６（例えば、図３Ａ及び図３Ｂの平行移動テーブル１７０並びにＶＣＭ１７２及び１７４）に基づいて撮像装置に関する動きを打ち消す。
【００４４】
従来の一体型光センサでは、セルごとの較正が行われないため、集積回路処理技術の制限から、感度のばらつきが幾らか発生することがある。図８に示すようなデジタルジャイロスコープチップ３２は、第１の画像、すなわち基準画像と、その後、ジャイロスコープ画像センサ４０８に対する別の位置において撮影された第２の画像との間の相関を計算する。明るさや、光素子の感度に何らかの変化があれば、相関信号は劣化する。従って、図８の空間ＤＣ除去回路４０２は、システムのコストを比較的低く維持しながらも、相関信号の完全性を維持するように構成される。普通ならば相関信号が使用不能になるであろう明るさや光素子感度の低い空間周波数変化は、ナビゲーション画像から除去される。
【００４５】
ＤＣ除去回路４０２の動作の理解は、計算アレイ４０４の動作を完全に理解する上で重要ではないので、詳しい説明はしない。ただし、列転送増幅器４００の基本動作を理解することは有用である。
【００４６】
図９を参照すると、この図は、６８列の光素子のうち、５つの列４１２、４１４、４１６、４１８及び４２０を示している。これらの列のそれぞれについて、３２行のうちの６行４２２、４２４、４２６、４２８、４３０及び４３２が描かれている。各列は、個別の転送増幅器４３４、４３６、４３７、４３８及び４３９に接続される。或る列にある光素子は、読み出しスイッチ４４０を閉じることによって、転送増幅器に接続される。図９の回路の動作時に、２つの光素子が同じ増幅器に同時に接続されることはない。
【００４７】
各転送増幅器４３４〜４３９は積分器として動作し、一定電圧の電圧源に接続された入力４４２を有する。第２の入力４４４は、転送コンデンサ４４８により、増幅器の出力４４６に容量性結合される。
【００４８】
図９の回路の動作時には、光素子の第１の行２２の読み出しスイッチが閉じられ、各転送コンデンサ４４８は、第１の行にある光素子が受け取る光エネルギーに対応する電荷を受け取る。次に、受け取った電荷は、出力ライン４４６を介して処理回路に転送される。１行の読み出しは、２００ｎｓ〜３００ｎｓであると推定される。第１の行の読み出しの後、第１の行の読み出しスイッチを開き、増幅器をリセットする。次に、第２の行の光素子から信号を伝送するために、第２の行４２４の読み出しスイッチを閉じる。そして、各行の光素子が読み出されるまで、この処理が反復される。
【００４９】
図９の転送増幅器４３４〜４３９の動作により、光素子信号は、行ごとに次の回路へ転送される。図８のＤＣ除去回路は、列転送増幅器によって確立されるような光素子信号の並行処理を続ける。ＤＣ除去回路は、ナビゲーションセンサ４０８が受け取った光エネルギーを表わす６４個の信号を出力する。図８の実施形態において、１フレームの信号は、計算アレイ中の画素値から構成され、それらの画素値は、ＤＣ除去回路からの６４個の信号の３２回の転送によって得られる。
【００５０】
図１０は、デジタルジャイロスコープ３２のような本発明によるデジタルジャイロスコープで使用される、カメラ３０（図１を参照）のような撮像装置に関する動きを検出するための処理の一実施形態を示している。本発明は、デジタルジャイロスコープの視野内の環境の特徴を示す光素子信号の処理に関するものとして説明されるが、この方法が何らかの１つの用途に制限されることはない。
【００５１】
この処理は、環境の特徴の基準フレームと、環境の後続のフレームと間の相関を求めるために実施される。要するに、それらの相関判定は、基準フレームと後続フレームとの間の共通な画像的特徴の位置を比較し、基準画像の取得時と後続フレームの取得時の間の時間間隔における撮像装置に関する動きに関する情報を得るものである。
【００５２】
まず４５０において、信号の基準フレーム（すなわち、基準画像）を取得する。基準フレームは開始位置とみなされる。後の時点における画像領域に対するナビゲーションセンサの位置は、後の時点においてナビゲーションセンサから信号のサンプルフレームを受信４５２した後、基準フレーム及び後の時点で取得されたサンプルフレームに関する相関値４５４を計算することにより判定される。
【００５３】
最初の基準フレーム４５０の取得は、撮像プロセスの最初の時点で行われる。例えば、一実施形態において、この取得は、図２のシャッター制御ボタン６２のような、撮像装置に関連するシャッター制御ボタンを押すことによって開始される場合がある。
【００５４】
動きの検出は計算によって実施されるが、この実施形態の概念は、図１１の概念図を参照して説明される。７×７画素の基準フレーム４５６が、Ｔ型の特徴４５８の画像を有するものとして示されている。後（ｄｔ）の時点において、ジャイロスコープ画像センサ４０８は、フレーム４５６からずれた第２のフレーム、すなわちサンプルフレーム４６０を取得する。ただし、第２のフレームも同じ特徴を有している。期間ｄｔは、Ｔ型の特徴４５８の相対変位が、カメラ３０のような撮像装置に関する平行移動の速度におけるナビゲーションセンサの１画素未満になるように設定することが望ましい。
【００５５】
信号の基準フレーム４５６の取得と、信号のサンプルフレーム４６０の取得との間の時間において撮像装置が移動した場合、Ｔ型の特徴はシフトする。好ましい実施形態は、ｄｔが、１画素全体の移動が可能である時間よりも短いものであるが、図１１に示す概念図は、ちょうど１画素分だけ特徴４５８が上及び右にシフトされることを示している。画素単位のシフトを仮定してるのは、単に図を単純化するためである。
【００５６】
図１１に示す格子４６２は、７×７アレイのフレーム４６０内の特定画素の画素値の順次的シフトを示している。これらの順次的シフトは、８個の最も近い近傍画素への個々のオフセットである。すなわち、ステップ「０」は何もシフトせず、ステップ「１」は左上への斜めシフトであり、ステップ２は上へのシフトである、等々である。このようにして、９つの画素シフトされたフレームを基準フレーム４５６と組み合わせて、位置フレームのアレイ４６４が生成される。「位置０」として指定された位置フレームはシフトがなく、この位置フレームは、フレーム４５６と４６０を単に組み合わせたものに過ぎない。「位置７」は、最小数の影付き画素しか持たないので、最大の相関を有するフレームである。これらの相関結果に基づき、サンプルフレーム４６０におけるＴ型の特徴４５８の位置が、以前に取得された基準画像４５６における同じ特徴に位置に対して斜め右下にシフトされたことが判定される。この判定は、時間ｄｔの間に、撮像装置が左下へ移動したことを意味する。
【００５７】
他の相関判定方法も使用可能ではあるが、妥当な方法は、「差の二乗和」による相関判定である。図１３の実施形態の場合、要素４６４に示すような９つのオフセットから形成される９個の相関係数（Ｃｋ＝Ｃ０、Ｃ１、・・・、Ｃ８）がある。基準フレームの方をオフセットし、サンプルフレームをそのままにしても、この相関判定は同様に良好に動作するため、サンプルフレーム４６０のシフトには他の選択肢もある。
【００５８】
基準フレーム４５６とサンプルフレーム４６０に共通な特徴４５８の変位を判定するために、相関を使用して、特徴４５８の位置を見付ける。図３Ａ及び図３Ｂを参照して上で説明したように、カメラ画像センサ３４の位置は、基準フレーム４５６と後続のサンプルフレームとの間の相関によって検出される動きを打ち消すように調節される。このプロセスによれば高度な相関判定が可能であるが、連続サンプルフレーム４６０をそれぞれ基準フレーム４５６と比較する際の時間経過により、小さいかもしれないが、誤差が蓄積される可能性がある。長い時間にわたるそのような誤差の蓄積を許容した場合、検出された動きを打ち消すことがほとんどできなくなり、従って、画像の安定化がほとんどできなくなる場合がある。これは、図４に示す開ループ安定化システム２７５の場合に特に当てはまる。
【００５９】
上記の点から、一実施形態では、最初の基準フレーム４５６を取得してから写真を撮影することなく非常に長い時間が経過した場合、新たな基準画像４５６を取得する場合がある。また、一実施形態では、カメラ３０のユーザがカメラを大きくずらし、サンプルフレーム４６０と基準フレーム４５６の間に共通の特徴がなくなった場合、新たな基準フレーム４５６を取得する場合がある。
【００６０】
従って、図１０を再び参照すると、４５４における各相関値の計算の後、４６６において、その後の補正処理の前に基準フレームを置き換えるか否かに関する判定が行われる。基準フレームを置き換えるべきではないという判定がなされた場合、ステップ４６８において、基準フレームの信号、すなわち画素値を解釈すべきか否かに関する判定を行う。基準フレーム４５６を置き換えるべきでないという判定がなされた場合、プロセスは４５２へ戻り、次のサンプルフレームを取得してプロセスが継続される。基準フレームを置き換えるべき判定がなされた場合、図１０の４７２に示すように、図１１のサンプルフレーム４６０が新たな基準フレームになる。次に、４５２において次のサンプルフレームが取得され、プロセスは継続される。
【００６１】
基準フレームとサンプルフレームの間の共通の特徴の位置の変化を検出することにより、ジャイロスコープ画像センサ４０８と画像化された環境との間の相対移動が検出される。相関によって検出された移動に基づき、デジタルジャイロスコープ３２は、画像化されたシーンと、撮像装置（例えば、デジタルカメラのカメラ画像センサ）の画像面との間に実質的に一定関係が維持されるようにして、検出された動きを打ち消すための補正測定値を制御するための補正信号４０６を生成し、それによって画像のぼやけを低減する。
【００６２】
図１２は、図８の計算アレイ４０４内の個々のセルを示す概略図である。ただし、当業者には明らかなように、図１０及び図１１を参照して説明した処理の実施には、他の回路が使用される場合もある。
【００６３】
画像データＷＤＡＴＡ（ｉ）は、信号ＷＲ（ｊ）の制御により電荷補正されたトランジスタスイッチ４７０を有する計算セル４６６のライン４６８に搭載された特定の光素子からの光エネルギーを表わす。信号ＷＲ（ｊ）がデアサートされた後、新たなデータがコンデンサ４７２に保持され、増幅器４７４によってバッファリングされる。計算セルは、二次元セルアレイ内のデータセルである。図１１を少し参照すると、このセルは、画素値の記憶と、フレーム４５６及び４６０を構成する７×７アレイ内の単一画素の画素値のシフトに使用される。図１２のＣＤＡＴＡノード４７６は、信号のフレームの全ての画素の同時信号処理を可能にする、計算アレイ内の１つのＣＤＡＴＡノードである。まず、ＣＤＡＴＡノードのアレイは合わせて、比較画像、すなわち「基準フレーム」を形成する。後で説明するように、ＣＤＡＴＡノードは、次にサンプルフレームを形成する。制御入力ＣＤＯＵＴ４７８は、最近傍出力ノードＮＮ（０）４８０に対し、信号ＣＤＤＡＴＡ、比較データ、又は、ＲＥＦＯＵＴを選択する。
【００６４】
最近傍入力ＮＮ（０）〜ＮＮ（８）４８０、４８２、４８４、４８８、５００、５０２、５０４及び５０６は、ライン５０８上のスイッチ制御信号Ｓ（０）〜Ｓ（８）によって個別に選択される。ＮＮ（０）〜ＮＮ（８）入力４８０〜５０６は、図１１のピクセルマップ４６２による最近傍セルの出力である。従って、図中、ノード４８０は、最近傍セルへの接続のために扇形に展開する出力と、セル４６６の入力の両方として描かれている。スイッチ制御信号は、計算アレイの外にある図示されていない４−９エンコーダによって生成される。エンコーダへの４ビット入力は、最近傍アドレスとも呼ばれ、００００（０）〜１０００（８）の値をとる。
【００６５】
最近傍入力（ＮＮＩＮＰＵＴ）ノード５１０は、ＲＥＦＬＤ５１２にパルスを加えることによりサンプリングされ、それによって、ＮＮＩＮＰＵＴがノードＲＥＦＨ５１４に記憶される。同様に、ＲＥＦＤＡＴＡ５１６は、ＲＥＦＳＦＴ５２０にパルスを加えることによりサンプリングされ、ＲＥＦＳＨ５１８に記憶される。
【００６６】
テストの場合、ＲＯＷＴＳＴＢ５２２をアサートし、信号ＮＮ（０）をテスト出力５２４まで伝搬させることができる。或る行にあるセルからのテスト信号は、計算アレイの各列における共通の垂直バスに接続され、アレイの底部において多重化され、チップ外へ供給される。アレイの左縁に沿って配置される標準行デコーダは、テストの際に特定の行を選択することができる。ただし、テスト機能は本発明にとって必須ではない。
【００６７】
セルアレイ内の各計算セル４６６は、図１０のステップ４５４に示されている相関値を判定する回路５２６を有する。第１の入力５２８は、ＲＥＦＤＡＴＡノード５１６から基準データを受信する。第２の入力５３０は、ライン５０８における適当なスイッチ制御信号によって選択された最近傍入力ＮＮＩＮＰＵＴを受信する。相関セルの出力５３２は電流である。トラッキング回路５３４の単一のチップ外加算抵抗器において、計算アレイ内の全ての相関出力が加算される。加算抵抗器の両端に発生する電圧は、図１２では相関値と呼ばれる。
【００６８】
図１２の実施形態において、回路５２６は、二乗差の計算を利用する。セル４６６は、アレイ制御入力Ｓ（０）〜Ｓ（８）の基本アーキテクチャに変更を加えることなく積ベースの相関を出力するように変更することもでき、ＲＥＦＬＤＲＥＦＳＦＴ及びＣＤＯＵＴはアレイ全体に対して共通である。
【００６９】
図１１に４６２で表される単一セルの場合の最近傍マップと、アレイ全体に関する最近傍マップの関係を理解することは重要である。画像の位置０は、画像の現在位置と呼ばれる。位置０〜位置１への移動に関して言えば、図は、アレイの全てのセルの画像信号が、左上にある近傍セルに移動されることを示している。つまり、この移動は、計算アレイにおける単一セルに関係するとともに、アレイ内の全てのセルに関係する。
【００７０】
計算アレイの機能は、画像取得、基準画像の読み込み、及び、相関計算の観点から説明することができる。画像取得とは、各計算セル４６６のＷＤＡＴＡライン４６８を介して新たな画像信号を読み込むことを言う。この実施形態では、４０マイクロ秒ごとに、信号、すなわち画素値の新たなフレームが、光素子アレイから列転送増幅器及びＤＣ除去増幅器を介して取得される。
【００７１】
新たな画像の読み込み処理は、「フレーム転送」と呼ばれる。フレーム転送は、完了までに約１０マイクロ秒を要する。フレーム転送の際には、フレーム転送制御回路が、図示されていない信号ＦＴＢをアサートする。以下で説明する計算アレイの動作は、ＦＴＢ信号を監視し、ＦＴＢ信号に同期してフレーム転送処理を行うように構成される。新たな比較画像の正当性は、ＦＴＢ信号の立下りエッジによって伝達される。以下で説明する動作は、ＦＴＢがアサートされていない場合に適当であるに過ぎない。
【００７２】
何らかの画像相関を計算する前には、基準フレームの画素値の読み込みが必要である。基準フレームを読み込むためには、計算アレイのＣＤＡＴＡノード４７６にある全ての信号をＲＥＦＨノード５１４に転送しなければならない。これは、ＣＤＯＵＴ４７８及びＳ（０）を高に設定し、ライン５１２にＲＥＦＬＤ信号のパルスを出力することによって行われる。
【００７３】
基準フレームの読み込みが完了すると、計算アレイは、相関を計算する準備が整う。画素値の基準フレームと後続のサンプルフレームとの間の相関は、最近傍アドレスを所望の値に設定し、変位トラッキング回路５３４の加算抵抗器の両端に発生する電圧を記録することにより計算される。基準フレームを取得した位置から１画素の距離だけ受光器アレイを動かすと、最近傍位置のうちの１つにおいて強い相関が検出される。なぜなら、最小レベルの出力電流が生じるからである。図１１において、この相関は、アレイ４６４の位置７において検出されるはずである。１画素未満の移動は、二次元相関空間における複数の電流出力読み値を補間することにより判定することができる。なお、基準フレームと基準フレーム自体の間の相関は、ＣＤＯＵＴ４７８を低に設定し、ＲＥＦＳＦＴ５２０にパルスを与えることにより計算することができる。これによって、最近傍入力は、サンプルフレームに由来するものではなく、基準フレームに由来するものになる。
【００７４】
なお、図８〜図１２にかけて、上では、本発明によるデジタルジャイロスコープ３２の一実施形態のみを説明している。他の回路構成やプロセスをデジタルジャイロスコープ３２に使用して、動きを検出するための画像を取得したり、画像の相関を計算することも可能である。また、本明細書では主としてデジタルスチルカメラについて説明しているが、本明細書の教示は、動画を撮影するビデオカメラや他の撮像装置にも適用可能である。例えば、ビデオカメラに適用する場合、デジタルジャイロスコープは、特定シーンを横切ってカメラを回転させて撮影するときに基準フレームを更新するように構成され、フィルタリングによって、ビデオカメラの回転やシーン内の移動物によって発生する内部的動きを、人の手の震えによって生じるような非内部的動きから区別するように構成される場合がある。
【００７５】
本明細書では、特定の実施形態について図示説明しているが、当業者であれば、本発明の範囲から外れることなく、図示説明した特定の実施形態に代えて、種々の代替実施形態、及び／又は、等価実施形態を使用することも可能であることは明らかであろう。本願は、本明細書に記載した特定の実施形態の変形や変更を全べて含めることを意図している。従って、本発明は、特許請求の範囲及びその均等によってのみ制限される。
【図面の簡単な説明】
【００７６】
【図１】本発明による、デジタルジャイロスコープとして構成されたモーションセンサを有するカメラの一実施形態を一般的に示すブロック図である。
【図２】図１のカメラを示す略等角図である。
【図３Ａ】本発明による画像安定化システムを採用したカメラの略ブロック図である。
【図３Ｂ】図３Ａの画像安定化を示す略ブロック図である。
【図４】本発明による画像安定化システムを採用したカメラの略ブロック図である。
【図５】画像センサと対応する対物レンズの間の関係を概略的に示す略図である。
【図６】本発明によるデジタルジャイロスコープに使用されるレンズ構成の一実施形態を示す略ブロック図である。
【図７】本発明によるデジタルジャイロスコープに使用されるレンズ構成の一実施形態を示す略ブロック図である。
【図８】本発明によるデジタルジャイロスコープの一実施形態を示す略ブロック図である。
【図９】図８のデジタルジャイロスコープの受光器アレイ及び転送増幅器の各部を示す略ブロック図である。
【図１０】本発明によるデジタルジャイロスコープに使用される、画像相関により動きを検出するためのプロセスの一実施形態を示す図である。
【図１１】図１０のプロセスの各部を示す概略図である。
【図１２】図８の計算アレイ４０４内の１つのセルを示す概略図である。
【特許請求の範囲】
【請求項１】
特定シーンを表す光を画像面に受け取る撮像装置の動きの補正を制御するように構成されたモーションセンサであって、
前記モーションセンサの視野内の環境の特徴の連続画像を取得するように構成された光素子のアレイであって、特徴の第１の画像と、該第１の画像の後、或る時間間隔において取得された特徴の第２の画像とを含み、前記第１の画像と前記第２の画像が共通の特徴を有するものである、光素子のアレイと、
前記第１の画像及び前記第２の画像を受信し、それらの相関を求め、前記光素子のアレイに対する前記共通の特徴の位置の差を検出することにより、前記時間間隔における第１の軸及び第２の軸を中心とした前記撮像装置の動きを検出し、前記相関に基づいて第１の補正信号及び第２の補正信号を生成し、光学機械的調節手段を制御して、前記特定シーンと前記撮像面との間に実質的に一定関係を維持するようにして、前記第１の軸及び前記第２の軸を中心とした前記撮像装置の検出された動きを打ち消すように構成されたコントローラと
からなるモーションセンサ。
【請求項２】
前記第１の画像は基準画像である、請求項１に記載のモーションセンサ。
【請求項３】
前記環境の特徴の連続画像のうちの第１の画像は基準画像であり、前記連続画像のうちのその後に取得された画像のそれぞれと、前記基準画像との間の相関を計算することにより、前記撮像装置の動きが検出される、請求項１に記載のモーションセンサ。
【請求項４】
前記モーションセンサは、光素子アレイとコントローラを含む集積回路パッケージからなる、請求項１に記載のモーションセンサ。
【請求項５】
前記光素子アレイは、相補型金属酸化膜半導体画像センサを構成する、請求項１に記載のモーションセンサ。
【請求項６】
第１の軸及び第２の軸に沿って移動可能なステージと、
前記ステージ上に配置され、特定シーンを表す光を受け取るように構成された撮像面と、
モーションセンサと
からなる撮像装置であって、前記モーションセンサが、
前記ステージ上に配置され、モーションセンサの視野内の環境の特徴の連続画像を取得するように構成された光素子アレイであって、特徴の第１の画像と、該第１の画像の後、或る時間間隔において取得された特徴の第２の特徴の画像とを含み、前記第１の画像と前記第２の画像が共通の特徴を有するものである、光素子アレイと、
前記第１の画像及び前記第２の画像を受信し、それらの相関を求め、前記光素子アレイに対する前記共通の特徴の位置の差を検出することにより、前記時間間隔における前記第１の軸及び前記第２の軸を中心とした前記撮像装置の動きを検出し、前記相関に基づいて第１の補正信号及び第２の補正信号を生成し、前記ステージの動きを制御して、前記特定シーンと前記撮像面との間に実質的に一定関係を維持するようにして、前記第１の軸及び前記第２の軸を中心とした前記撮像装置の検出された動きを打ち消すように構成されたコントローラと
からなる、撮像装置。
【請求項７】
前記第１の軸及び前記第２の軸を中心とした前記撮像装置の検出された動きを打ち消すための前記ステージの動きは、前記モーションセンサの視野内の環境と、前記光素子アレイとの間に、実質的に一定関係を維持するものである、請求項１に記載の撮像装置。
【請求項８】
前記第１の補正信号に応じて前記ステージを前記第１の軸に沿って動かすように構成された第１のボイスコイルモータと、前記第２の補正信号に応じて前記ステージを前記第２の軸に沿って動かすように構成された第２のボイスコイルモータとを含む、請求項１に記載の撮像装置。
【請求項９】
前記撮像面は画像センサからなる、請求項１に記載の撮像装置。
【請求項１０】
前記モーションセンサの前記光素子アレイの角度分解能は、前記撮像装置の前記画像センサの角度分解能に実質的に一致する、請求項９に記載の撮像装置。
【請求項１１】
前記撮像面に関連するカメラ対物レンズと、前記モーションセンサに関連するモーションセンサ対物レンズとを含む、請求項１に記載の撮像装置。
【請求項１２】
前記モーションセンサ対物レンズの焦点距離は、前記モーションセンサの前記光素子アレイの角度分解能が、前記撮像装置の前記画像センサの角度分解能に実質的に一致するような焦点距離である、請求項１１に記載の撮像装置。
【請求項１３】
前記モーションセンサの光素子アレイに関連する複数の対物レンズであって、該対物レンズのそれぞれが対応する視野を有し、該複数の対物レンズの視野を組み合わせて前記光素子アレイの有効視野が形成される、請求項１に記載の撮像装置。
【請求項１４】
前記複数の対物レンズのそれぞれが、対応する視野内の特徴の画像を前記光素子アレイに投影し、特徴の各画像が、互いに異なるものである、請求項１３に記載の撮像装置。
【請求項１５】
特定シーンを表わす光を受け取るように構成された撮像面と、
前記撮像面と前記特定シーンとの間に配置され、第１の軸及び第２の軸に沿って移動可能なレンズ素子と、
モーションセンサと
からなる撮像装置であって、前記モーションセンサが、
前記ステージ上に配置され、前記モーションセンサの視野内の環境の特徴の連続画像を取得するように構成された光素子アレイであって、特徴の第１の画像と、該第１の画像の後、或る時間間隔において取得された特徴の第２の画像とを含み、前記第１の画像と前記第２の画像が共通の特徴を有するものである、光素子アレイと、
前記第１の画像及び前記第２の画像を受信し、それらの相関を求め、前記光素子アレイに対する前記共通の特徴の位置の差を検出することにより、前記時間間隔における前記第１の軸及び前記第２の軸を中心とした前記撮像装置の動きを検出し、前記相関に基づいて第１の補正信号及び第２の補正信号を生成し、前記レンズ素子の動きを制御して、前記特定シーンと前記撮像面との間に実質的に一定関係を維持するようにして、前記第１の軸及び前記第２の軸を中心とした前記撮像装置の検出された動きを打ち消すように構成されたコントローラと
からなる、撮像装置。
【請求項１６】
前記撮像面は画像センサからなる、請求項１５に記載の撮像装置。
【請求項１７】
前記撮像面は感光性撮像媒体からなる、請求項１５に記載の撮像装置。
【請求項１８】
対物レンズを更に含み、該対物レンズによって前記特定シーンが前記撮像面に投影され、前記光素子アレイの視野内の環境の特徴が前記光素子アレイに投影されるような位置に、前記撮像面及び前記光素子アレイは配置される、請求項１に記載の撮像装置。
【請求項１９】
特定シーンを表わす光を画像面に受け取る撮像装置の動きを補正する方法であって、
特徴の第１の画像と、該第１の画像の後、或る時間間隔において取得された第２の画像とを含む、画像センサ内の環境の特徴の連続画像を取得するステップであって、前記第１の画像と前記第２の画像が共通の特徴を有するものである、連続画像を取得するステップと、
前記第１の画像と前記第２の画像の相関を求め、前記画像センサに対する前記共通の特徴の位置の差を検出することにより、第１の軸及び第２の軸を中心とした前記撮像装置の動きを検出するステップと、
前記相関に基づいて光学機械的調節手段を制御し、前記特定シーンと前記撮像面との間に実質的に一定関係を維持するようにして、前記撮像装置の検出された動きを打ち消すステップと
からなる方法。
【請求項２０】
前記第１の画像は基準画像であり、前記相関を求めるステップは、前記環境の特徴の連続画像のうちの最初の画像を基準画像として選択することを含む、請求項１９に記載の方法。
【請求項２１】
特定の動作規準に基づいて、前記基準画像を前記特徴の連続画像のうちの直ぐ次の画像を使用して更新するステップを含む、請求項１９に記載の方法。
【請求項２２】
前記特定の動作規準は、前記第１の画像と前記第２の画像の間に共通の特徴が何もない状態になる前記撮像装置の動きを含む、請求項２１に記載の方法。
【請求項２３】
前記光学機械的調節手段を制御するステップは、前記画像面の位置を前記第１の軸及び前記台２の軸に沿って調節することからなる、請求項１９に記載の方法。
【請求項２４】
前記光学機械的調節手段を制御するステップは、前記画像面の位置と共に前記画像センサの位置を前記第１の軸及び前記第２の軸に沿って調節することからなる、請求項２３に記載の方法。
【請求項１】
特定シーンを表す光を画像面に受け取る撮像装置の動きの補正を制御するように構成されたモーションセンサであって、
前記モーションセンサの視野内の環境の特徴の連続画像を取得するように構成された光素子のアレイであって、特徴の第１の画像と、該第１の画像の後、或る時間間隔において取得された特徴の第２の画像とを含み、前記第１の画像と前記第２の画像が共通の特徴を有するものである、光素子のアレイと、
前記第１の画像及び前記第２の画像を受信し、それらの相関を求め、前記光素子のアレイに対する前記共通の特徴の位置の差を検出することにより、前記時間間隔における第１の軸及び第２の軸を中心とした前記撮像装置の動きを検出し、前記相関に基づいて第１の補正信号及び第２の補正信号を生成し、光学機械的調節手段を制御して、前記特定シーンと前記撮像面との間に実質的に一定関係を維持するようにして、前記第１の軸及び前記第２の軸を中心とした前記撮像装置の検出された動きを打ち消すように構成されたコントローラと
からなるモーションセンサ。
【請求項２】
前記第１の画像は基準画像である、請求項１に記載のモーションセンサ。
【請求項３】
前記環境の特徴の連続画像のうちの第１の画像は基準画像であり、前記連続画像のうちのその後に取得された画像のそれぞれと、前記基準画像との間の相関を計算することにより、前記撮像装置の動きが検出される、請求項１に記載のモーションセンサ。
【請求項４】
前記モーションセンサは、光素子アレイとコントローラを含む集積回路パッケージからなる、請求項１に記載のモーションセンサ。
【請求項５】
前記光素子アレイは、相補型金属酸化膜半導体画像センサを構成する、請求項１に記載のモーションセンサ。
【請求項６】
第１の軸及び第２の軸に沿って移動可能なステージと、
前記ステージ上に配置され、特定シーンを表す光を受け取るように構成された撮像面と、
モーションセンサと
からなる撮像装置であって、前記モーションセンサが、
前記ステージ上に配置され、モーションセンサの視野内の環境の特徴の連続画像を取得するように構成された光素子アレイであって、特徴の第１の画像と、該第１の画像の後、或る時間間隔において取得された特徴の第２の特徴の画像とを含み、前記第１の画像と前記第２の画像が共通の特徴を有するものである、光素子アレイと、
前記第１の画像及び前記第２の画像を受信し、それらの相関を求め、前記光素子アレイに対する前記共通の特徴の位置の差を検出することにより、前記時間間隔における前記第１の軸及び前記第２の軸を中心とした前記撮像装置の動きを検出し、前記相関に基づいて第１の補正信号及び第２の補正信号を生成し、前記ステージの動きを制御して、前記特定シーンと前記撮像面との間に実質的に一定関係を維持するようにして、前記第１の軸及び前記第２の軸を中心とした前記撮像装置の検出された動きを打ち消すように構成されたコントローラと
からなる、撮像装置。
【請求項７】
前記第１の軸及び前記第２の軸を中心とした前記撮像装置の検出された動きを打ち消すための前記ステージの動きは、前記モーションセンサの視野内の環境と、前記光素子アレイとの間に、実質的に一定関係を維持するものである、請求項１に記載の撮像装置。
【請求項８】
前記第１の補正信号に応じて前記ステージを前記第１の軸に沿って動かすように構成された第１のボイスコイルモータと、前記第２の補正信号に応じて前記ステージを前記第２の軸に沿って動かすように構成された第２のボイスコイルモータとを含む、請求項１に記載の撮像装置。
【請求項９】
前記撮像面は画像センサからなる、請求項１に記載の撮像装置。
【請求項１０】
前記モーションセンサの前記光素子アレイの角度分解能は、前記撮像装置の前記画像センサの角度分解能に実質的に一致する、請求項９に記載の撮像装置。
【請求項１１】
前記撮像面に関連するカメラ対物レンズと、前記モーションセンサに関連するモーションセンサ対物レンズとを含む、請求項１に記載の撮像装置。
【請求項１２】
前記モーションセンサ対物レンズの焦点距離は、前記モーションセンサの前記光素子アレイの角度分解能が、前記撮像装置の前記画像センサの角度分解能に実質的に一致するような焦点距離である、請求項１１に記載の撮像装置。
【請求項１３】
前記モーションセンサの光素子アレイに関連する複数の対物レンズであって、該対物レンズのそれぞれが対応する視野を有し、該複数の対物レンズの視野を組み合わせて前記光素子アレイの有効視野が形成される、請求項１に記載の撮像装置。
【請求項１４】
前記複数の対物レンズのそれぞれが、対応する視野内の特徴の画像を前記光素子アレイに投影し、特徴の各画像が、互いに異なるものである、請求項１３に記載の撮像装置。
【請求項１５】
特定シーンを表わす光を受け取るように構成された撮像面と、
前記撮像面と前記特定シーンとの間に配置され、第１の軸及び第２の軸に沿って移動可能なレンズ素子と、
モーションセンサと
からなる撮像装置であって、前記モーションセンサが、
前記ステージ上に配置され、前記モーションセンサの視野内の環境の特徴の連続画像を取得するように構成された光素子アレイであって、特徴の第１の画像と、該第１の画像の後、或る時間間隔において取得された特徴の第２の画像とを含み、前記第１の画像と前記第２の画像が共通の特徴を有するものである、光素子アレイと、
前記第１の画像及び前記第２の画像を受信し、それらの相関を求め、前記光素子アレイに対する前記共通の特徴の位置の差を検出することにより、前記時間間隔における前記第１の軸及び前記第２の軸を中心とした前記撮像装置の動きを検出し、前記相関に基づいて第１の補正信号及び第２の補正信号を生成し、前記レンズ素子の動きを制御して、前記特定シーンと前記撮像面との間に実質的に一定関係を維持するようにして、前記第１の軸及び前記第２の軸を中心とした前記撮像装置の検出された動きを打ち消すように構成されたコントローラと
からなる、撮像装置。
【請求項１６】
前記撮像面は画像センサからなる、請求項１５に記載の撮像装置。
【請求項１７】
前記撮像面は感光性撮像媒体からなる、請求項１５に記載の撮像装置。
【請求項１８】
対物レンズを更に含み、該対物レンズによって前記特定シーンが前記撮像面に投影され、前記光素子アレイの視野内の環境の特徴が前記光素子アレイに投影されるような位置に、前記撮像面及び前記光素子アレイは配置される、請求項１に記載の撮像装置。
【請求項１９】
特定シーンを表わす光を画像面に受け取る撮像装置の動きを補正する方法であって、
特徴の第１の画像と、該第１の画像の後、或る時間間隔において取得された第２の画像とを含む、画像センサ内の環境の特徴の連続画像を取得するステップであって、前記第１の画像と前記第２の画像が共通の特徴を有するものである、連続画像を取得するステップと、
前記第１の画像と前記第２の画像の相関を求め、前記画像センサに対する前記共通の特徴の位置の差を検出することにより、第１の軸及び第２の軸を中心とした前記撮像装置の動きを検出するステップと、
前記相関に基づいて光学機械的調節手段を制御し、前記特定シーンと前記撮像面との間に実質的に一定関係を維持するようにして、前記撮像装置の検出された動きを打ち消すステップと
からなる方法。
【請求項２０】
前記第１の画像は基準画像であり、前記相関を求めるステップは、前記環境の特徴の連続画像のうちの最初の画像を基準画像として選択することを含む、請求項１９に記載の方法。
【請求項２１】
特定の動作規準に基づいて、前記基準画像を前記特徴の連続画像のうちの直ぐ次の画像を使用して更新するステップを含む、請求項１９に記載の方法。
【請求項２２】
前記特定の動作規準は、前記第１の画像と前記第２の画像の間に共通の特徴が何もない状態になる前記撮像装置の動きを含む、請求項２１に記載の方法。
【請求項２３】
前記光学機械的調節手段を制御するステップは、前記画像面の位置を前記第１の軸及び前記台２の軸に沿って調節することからなる、請求項１９に記載の方法。
【請求項２４】
前記光学機械的調節手段を制御するステップは、前記画像面の位置と共に前記画像センサの位置を前記第１の軸及び前記第２の軸に沿って調節することからなる、請求項２３に記載の方法。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−３５０３０５（Ｐ２００６−３５０３０５Ａ）
【公開日】平成１８年１２月２８日（２００６．１２．２８）
【国際特許分類】
【外国語出願】
【出願番号】特願２００６−１２８８７１（Ｐ２００６−１２８８７１）
【出願日】平成１８年５月８日（２００６．５．８）
【出願人】（５０６０７６６０６）アバゴ・テクノロジーズ・ジェネラル・アイピー（シンガポール）プライベート・リミテッド (129)
【Ｆターム（参考）】
【公開日】平成１８年１２月２８日（２００６．１２．２８）
【国際特許分類】
【出願番号】特願２００６−１２８８７１（Ｐ２００６−１２８８７１）
【出願日】平成１８年５月８日（２００６．５．８）
【出願人】（５０６０７６６０６）アバゴ・テクノロジーズ・ジェネラル・アイピー（シンガポール）プライベート・リミテッド (129)
【Ｆターム（参考）】
[ Back to top ]