撮像装置及び撮像方法並びに携帯情報端末装置
【課題】撮像装置内部の温度変化に起因して生じる手振れ補正機構のセンタリングのズレを補償することが可能であって、長時間露光においても解像度を低下させることなく、撮影品質を維持することができる撮像装置を提供する。
【解決手段】撮像装置は、制御部２８の制御の下に、所定回数の撮影を行う毎に、所定の複数の特徴点を追跡し、各々の特徴点のズレ量（移動距離）を求めると共に、光学系６付近、撮像素子２０の裏側、手振れ補正機構付近に配置された温度センサ２９を介して撮影画像に影響を与える本撮像装置の内部温度を計測し、該温度に対応する画像のズレ量（推定値）を求める。次に、制御部２８は、この画像のズレ量（推定値）に基づいて重み付けを行って前記各々の特徴点のズレ（移動距離）の重み付き平均値を求める。最後に、この平均値に基づいて撮影画像を補正する。
【解決手段】撮像装置は、制御部２８の制御の下に、所定回数の撮影を行う毎に、所定の複数の特徴点を追跡し、各々の特徴点のズレ量（移動距離）を求めると共に、光学系６付近、撮像素子２０の裏側、手振れ補正機構付近に配置された温度センサ２９を介して撮影画像に影響を与える本撮像装置の内部温度を計測し、該温度に対応する画像のズレ量（推定値）を求める。次に、制御部２８は、この画像のズレ量（推定値）に基づいて重み付けを行って前記各々の特徴点のズレ（移動距離）の重み付き平均値を求める。最後に、この平均値に基づいて撮影画像を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像方法に関し、特に、環境やカメラ内部の温度変化に起因して生じる手振れ補正機構のセンタリングのズレの影響を補償することができる撮像装置および撮像方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラを用いて夜景を撮影する場合、長秒時露光や、インターバル撮影した写真を後処理で合成するなどの様々な方法が用いられている。
この場合、いずれの方法においても、“ぶれ”を抑えるために三脚等で固定した状態で長時間露光（長時間のシャッタ開放）をしている。
しかしながら、従来の上記方法では、実際に長時間での撮影を行うと、カメラ内部に配置されているホール素子やマグネット等のメカ部品が有する温度特性の影響を受けて、手ぶれ補正機構のセンタリング位置が少しずつずれていくという現象が生じていた。
しかしながら、このような問題点の有る長時間露光においても、品質の面から解像感が低下させることは避けなければならず、本発明に際しても、この点が１つの解決すべき課題であった。
なお、この分野の公知技術として、例えば、特許文献１（特開平１１−２８５２号公報）には、環境温度の変化に拘わらず、安定した性能の高い駆動制御を可能にする「光学装置の手振れ補正制御装置及び振れ補正機能付きカメラ」が記載されている。具体的には、カメラ本体の環境温度を検出する温度センサと、該温度センサで検出された環境温度に応じて、駆動制御回路で用いられる基準温度に対する基本ゲイン補正用のゲイン補正量を求める補正ゲイン設定部と、目標位置設定部により示された補正レンズ部に対する駆動目標位置に応じて基本ゲインを生成し、この基本ゲインを補正ゲイン設定部で求められたゲイン補正量で補正し、補正された基本ゲインを用いて補正レンズ部に対する駆動信号を生成する駆動制御回路と、を備えるものとしている。
【０００３】
また、例えば、特許文献２（特開２００１−２２３９３２号公報）には、デジタルカメラなどの撮像装置において、三脚などの固定具をすることなく、高品質の画素ずらし合成画像を得る技術が記載されている。具体的には、合成モードが選択された場合、スルー画表示動作中に、ビューファインダ内の視線検出センサを用いて撮影者の視線方向を検出することにより主要被写体を特定する。
画像処理部でスルー画間のパターンマッチングにより主要被写体と背景の像ぶれ量をそれぞれ検出し、レリーズ操作で開始する撮像動作時に主要被写体の像ぶれ量を補正するように撮像素子変位機構を制御するものとし、手ぶれが大きく主要被写体の像ぶれを補正できない時は、並進ぶれにより主要被写体と背景の像ぶれ量の差が許容値を超えた時に、警告を出すこととしている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記背景技術で述べた従来の撮像装置にあっては、前述のとおり、デジタルカメラを用いて夜景を撮影する場合、長時間露光や、インターバル撮影した写真を後処理で合成するなどの様々な方法を用いたとしても、また、上記のいずれの方法においても“ぶれ”を抑えるための三脚等を用いてカメラを固定したとしても、長時間露光の際には、解像感が低下して撮影品質に影響するという問題点が有った。
特に、インターバル合成モードの場合は、インターバル撮影された複数の画像に対して、同じ座標の画素を比較して高輝度の方を上書きしながら合成するといった機能を有し、この機能は星の軌跡等を撮影できる商品性の高い機能であるが、それだけに、この撮影機能が正常に動作するためには、数時間に渡る撮影期間であっても、撮影構図が僅かでも変化することは許されない。
しかしながら、従来の撮像装置では、長時間での撮影（例えば、長時間露光やインターバル撮影) では、カメラ内部に配置されているホール素子やマグネット等のメカ部品が有する温度特性の影響を受けて、手ぶれ補正機構のセンタリング位置が少しずつズレていくといった現象が生じており、その結果、カメラを三脚等で固定しているにも拘わらず、撮影画像がぶれたり、撮影構図が時間と共に変化してしまう等の、ユーザの意思に反する不具合が生じ易くなるといった問題点が有ることが分かった。
【０００５】
特に、最近の新しい機種の中では、手振れ補正の保持機構が廃止されているものもあるので、上記の問題点に対する対策が必要不可欠となってきた。
長時間露光の機能が無い機種については、上記の問題点は生じないが、例えば、１８０秒までの露光ができる機種や、インターバル合成モードを有する機種では、上記の問題点が撮影品質に関わる大きな問題点となる。
ところで、図５は、通常撮影時の撮影画像図と、横および縦に１．３〔ｐｘ〕のズレた場合の画像をシミュレートして示した撮影画像図である。
前述の撮影構図のズレに関する問題点について、より具体的に述べると、センタリングのズレ量を１〜２〔ｐｘ〕の精度で補償するには、手振れ補正機構への温度補正だけでは難しいのであり、例えば、図５にも１．３〔ｐｘ]のズレ量をシミュレートした画像を示しているが、この図５からは、限界解像付近の被写体は、コントラストの低下が大きく、品質面で許容できないものとなっていることが理解される。
図６は、インターバル合成モードでの画像の画素ズレを示す撮影画像図である。
【０００６】
同図は、インターバル合成モードで、通常撮影、縦５〔ｐｘ]のズレおよび横１０〔ｐｘ]のズレが生じた撮像をそれぞれ示すものであるが、この図から分かるように、この場合の画素ズレも、品質面で許容できないものとなっていることが理解される。
一方、画像処理による特徴点の追跡を行う場合は、メカ部品の個体間のバラツキや、環境温度の変化に左右されない“ズレ量”を算出することができるが、この場合は、センタリングのズレに起因しない画像のズレ（例えば、環境光の変化や、動被写体の存在等) には大きく影響されてしまうといった問題点が生じる。
ちなみに、これら性質の異なる２つの“ずれ量”の算出方法を同時に用いると、より高度なズレの補償方法を提供することができる。
また、手振れ補正に用いられるホール素子やマグネット等の部品は、個体差によるバラツキが非常に大きいため、一律の補正ゲインだけで高い精度を出すことは難しく、厳密に対処するためには、個体毎に調整をすることが望ましいと言える。
図７は、ホール素子の温度特性を加味した、温度変化と画素ズレ量との関係（計算値）を示すグラフ図である。
【０００７】
同図に示すように、一般に、手振れ補正機構の温度補正として、温度センサから得られる温度変化情報から、およその“ずれ方向”と“ずれ量”とを算出することができるが、個体間のばらつきや精度に課題が残る。
図８は、特徴点の追跡結果を一例として示す撮影画像図である。
同図は、連続画像に対して１００点の特徴点追跡を行った結果を示している。
このような特徴点追跡によって画像（センタリング）のズレ量を算出することができる。
即ち、インターバル撮影などで得られる複数画像間で、特徴点追跡を行うことによって画像（センタリング）のズレ量を算出することができる（丸印が最初の画像における特徴点の座標、線分がその特徴点の動き（始点−終点）を示している）。
この場合、急峻なエッジであれば、サブピクセル精度でのズレ量を求めることができるが、輝度の揺らぎに起因して精度が低下することや、環境光や被写体の変化で特徴点追跡精度が低下するといった問題点が有る。
例えば、想定している星景撮影の場合、星を特徴点として抽出してしまうと、センタリングのズレではなく星の動きを算出してしまうことになる。
以上に述べた結論として、特徴点の動きは、大別して下記の３つのカテゴリーに分類することができる。
【０００８】
まず、１つ目は、１５番の特徴点に代表されるように、静被写体に対して特徴点が抽出された場合である。
この場合、この特徴点は、環境に大きな変化等が無ければ、センタリングのズレを検出するのに有益な情報として用いることができる。目視の１０〔ｐｘ〕のズレに対して、追跡結果も１０〔ｐｘ〕のズレ程度と算出されている。
次に、２つ目は、１４番の特徴点に代表されるように、動被写体（この場合はクレーンであり、実は時間経過に応じて微妙に動いている）に対して特徴点が抽出された場合である。
この場合、この特徴点は、センタリングのズレを検出するのには誤差を生じるノイズとなる厄介な情報となる。
最後に、３つ目は、０番の特徴点に代表されるように、最初に星を特徴点として検出した場合である。
この場合は、明るい星に対してならば動きに追従して追跡ができているが、暗い星に対しては周辺のノイズなどの影響を強く受けて、正しく特徴点追跡ができていない。そもそも、センタリングのズレを算出するには無益な情報である。
【０００９】
即ち、星を特徴点として追跡した場合、ノイズや星の瞬きの影響を受けて、特徴点の動きは、全くのアト・ランダムとなることが理解される。
以上の検討から、特徴点追跡を用いた場合、どの特徴点を信頼すべきかという課題が必ず残ることになる。この特徴点の選別作業のために、温度情報を用いることができれば、不要な情報を排除してセンタリングのズレを精度良く算出することが可能となる。
図９は、撮像に示す東京スカイツリー上の静被写体の１５番の特徴点の追跡結果を示す軌跡図である。
同図９は、例えば、東京スカイツリー上の静被写体を夜間撮影した３９５枚の連続画像から１００点の特徴点を追跡した結果を示すが、このケースでは三脚のクランプの締めが不十分であったために、撮影者が気付かないレベルで時間経過と共に徐々に特徴点追跡精度が下がっていき、結果として最初と最後の画像間で１０〔ｐｘ〕程度の差が生じている。
即ち、静被写体を特徴点とした場合、目視のズレ量と、追跡結果のズレ量とはほぼ一致する）。
【００１０】
図１０は、図８に示す１４番の特徴点（撮像に示す東京スカイツリーのクレーン（動被写体）上の特徴点）の追跡結果を示す軌跡図である。
即ち、クレーン（動被写体）を特徴点として追跡した場合、クレーンの動きに応じて特徴点が激しく動いていることが判る。
図１１は、図８に示す０番の特徴点（撮像に示す星）の追跡結果を示す軌跡図である。
なお、前述の特許文献１に開示されている技術は、本発明の撮像装置と比べて、環境温度の変化に応じて、手振れ補正機構に与える駆動信号を生成／制御することにより、温度によるセンタリングのズレによる影響も補償するという点では類似点を有する。
しかしながら、前述の特許文献１に開示されている技術では、その効果として、「環境温度が基本増幅比に対する基準温度から外れても、一定のレベルに保持されるようになる」、といった記載に留まっており、数時間に及ぶ撮影で、撮影構図のズレを１〜２〔ｐｘ（ピクセル）〕の精度で補償できるようにするという課題は解決されていない。
また、前述の特許文献２に開示されている技術は、三脚無しの撮影の場合に生じる手ぶれを防止する技術であって、本発明の撮像装置とは目的・構成が異なるものである。
本発明は、上記従来の問題点に鑑みてなされたものであって、環境や撮像装置内部の温度変化に起因して生じる手振れ補正機構のセンタリングのズレに対して、センタリングのズレを補償することを可能とし、長時間露光においても解像度を低下させることなく、撮影品質を維持することができる撮像装置および撮影方法を提供することを目的としている。
【課題を解決するための手段】
【００１１】
請求項１に記載した本発明に係る撮像装置は、上述した目的を達成するために、
被写体の撮像に対応する光信号を光電変換処理により取得して撮影画像を得る撮像手段と、
少なくとも１枚分の前記撮影画像から複数の特徴点を抽出する特徴点抽出手段と、
前記撮像手段により、前記被写体を複数回に渡って撮影して得られた一連の撮影画像から前記複数の特徴点の各々をそれぞれ追跡して該特徴点の各々の動きベクトルを算出する動きベクトル算出手段と、
本撮像装置の少なくとも一部分の温度を測定して該測定箇所の温度情報を得る温度測定手段と、
前記温度情報を基にして、前記撮影画像の位置ズレ量を推定する位置ズレ推定手段と、
前記位置ズレ量を参照して、前記動きベクトル算出手段から得られた前記動きベクトルの各々を重み付ける重み付け算出手段と、
前記重み付けられた前記動きベクトルを用いて、撮影画像の位置ズレ量の最尤値を算出する最尤位置算出手段と、
前記位置ズレ量の最尤値を用いて、前記撮影画像の修正画像を得る画像修正手段と、
を備えたことを特徴としている。
【００１２】
また、請求項９に記載した本発明に係る撮像方法は、上述した目的を達成するために、被写体の撮像に対応する光信号を光電変換処理により取得して撮影画像を得る撮像ステップと、
少なくとも１枚分の前記撮影画像から複数の特徴点を抽出する特徴点抽出ステップと、
前記撮像ステップにより、前記被写体を複数回に渡って撮影して得られた一連の撮影画像から前記複数の特徴点の各々をそれぞれ追跡して該特徴点の各々の動きベクトルを算出する動きベクトル算出ステップと、
本撮像装置の少なくとも一部分の温度を測定して該測定箇所の温度情報を得る温度測定ステップと、
前記温度情報を基にして、前記撮影画像の位置ズレ量を推定する位置ズレ推定ステップと、
前記位置ズレ量を参照して、前記動きベクトル算出ステップから得られた前記動きベクトルの各々を重み付ける重み付け算出ステップと、
前記重み付けられた前記動きベクトルを用いて、撮影画像の位置ズレ量の最尤値を算出する最尤位置算出ステップと、
前記位置ズレ量の最尤値を用いて前記撮影画像の補正画像を得る画像補正ステップと、を有することを特徴としている。
【発明の効果】
【００１３】
本発明によれば、被写体の撮像に対応する光信号を光電変換処理により取得して撮影画像を得る撮像手段と、
少なくとも１枚分の前記撮影画像から複数の特徴点を抽出する特徴点抽出手段と、
前記撮像手段により、前記被写体を複数回に渡って撮影して得られた一連の撮影画像から前記複数の特徴点の各々をそれぞれ追跡して該特徴点の各々の動きベクトルを算出する動きベクトル算出手段と、
本撮像装置の少なくとも一部分の温度を測定して該測定箇所の温度情報を得る温度測定手段と、
前記温度情報を基にして、前記撮影画像の位置ズレ量を推定する位置ズレ推定手段と、
前記位置ズレ量を参照して、前記動きベクトル算出手段から得られた前記動きベクトルの各々を重み付ける重み付け算出手段と、
前記重み付けられた前記動きベクトルを用いて、撮影画像の位置ズレ量の最尤値を算出する最尤位置算出手段と、
前記位置ズレ量の最尤値を用いて、前記撮影画像の修正画像を得る画像修正手段と、
を備えたことにより、環境や撮像装置内部の温度変化に基因して生じる手振れ補正機構のセンタリングのズレに対して、画像データからの特徴点追跡から算出されるズレ方向とズレ量と、温度測定手段からの温度変化情報とから算出されるズレ方向とズレ量とを基に、センタリングのズレを補償することを可能とし、長時間露光においても解像度を低下させることなく、撮影品質を維持し得る撮像装置携帯情報端末装置および撮像方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態に係る撮像装置の要部の構成を示すブロック図である。
【図２】本発明の一実施形態に係る撮像装置のインターバル合成モードにおける処理手順を示すフローチャートである。
【図３】１００枚目までの特徴点追跡結果（フルスケール）をプロットしたグラフである。
【図４】１００枚目までの特徴点追跡結果（０〔ｐｘ〕付近）をプロットしたグラフである。
【図５】センタリングのズレをシュミレートして示す画像図であり、（ａ）は、通常撮影時の画像、（ｂ）は、横に１．３〔ｐｘ〕ズレた場合の画像、（ｃ）は、縦横にそれぞれ１．３〔ｐｘ〕のズレ量での画像をシミュレートして示した画像図である。
【図６】インターバル合成モードでの画像の画素ズレを示す撮像図であり、（ａ）は、通常撮影の場合の撮像図、（ｂ）は、横５〔ｐｘ〕ずれた場合、（ｃ）は、縦１０〔ｐｘ〕センタリングずれを生じた撮像画図である。
【図７】ホール素子の温度特性を加味した、温度変化と画素ズレ量との関係（計算値）を示すグラフ図である。
【図８】特徴点の追跡結果を一例として示す撮像図である。
【図９】撮像に示す東京スカイツリー上の静被写体の１５番の特徴点の追跡結果を示す軌跡図である。
【図１０】図８に示す１４番の特徴点（撮像に示す東京スカイツリーのクレーン（動被写体）上の特徴点）の追跡結果を示す軌跡図である。
【図１１】図８に示す０番の特徴点（撮像に示す星）の追跡結果を示す軌跡図である。
【発明を実施するための形態】
【００１５】
具体的な実施の形態について説明する前に、先ず、本発明の特徴を以下に述べる。
第１に、本発明に係る撮像装置の特徴は、
被写体の撮像に対応する光信号を光電変換処理により取得して撮影画像を得る撮像手段と、
少なくとも１枚分の前記撮影画像から複数の特徴点を抽出する特徴点抽出手段と、
前記撮像手段により、前記被写体を複数回に渡って撮影して得られた一連の撮影画像から前記複数の特徴点の各々をそれぞれ追跡して該特徴点の各々の動きベクトルを算出する動きベクトル算出手段と、
本撮像装置の少なくとも一部分の温度を測定して該測定箇所の温度情報を得る温度測定手段と、
前記温度情報を基にして、前記撮影画像の位置ズレ量を推定する位置ズレ推定手段と、
前記位置ズレ量を参照して、前記動きベクトル算出手段から得られた前記動きベクトルの各々を重み付ける重み付け算出手段と、
前記重み付けられた前記動きベクトルを用いて、撮影画像の位置ズレ量の最尤値を算出する最尤位置算出手段と、
前記位置ズレ量の最尤値を用いて、前記撮影画像の修正画像を得る画像修正手段と、
を備えたことにある（請求項１に対応する）。
このような構成とすることにより、環境や撮像装置内部の温度変化に基因して生じる手振れ補正機構のセンタリングのズレに対して、画像データからの特徴点追跡から算出されるズレ方向とズレ量と、温度測定手段からの温度変化情報とから算出されるズレ方向とズレ量とを基に、センタリングのズレを補償することを可能とし、長時間露光においても解像度を低下させることなく、撮影品質を維持し得る撮像装置を提供することができる。
【００１６】
さらに、本発明に係る撮像装置の特徴とするところは、前記撮像装置において、前記温度測定手段が、鏡胴内部のレンズ付近、撮像素子の裏側および手ぶれ補正機構の回路付近の内、少なくともいずれか１つの温度を測定することにある（請求項２に対応する）。
画像ズレに大きな影響を与える要因としては、レンズ群の温度特性と、撮像手段としての撮像素子の温度特性と、手ぶれ補正機構の温度特性が想定される。そのため、温度測定手段は、鏡胴内部のレンズ付近、撮像素子の裏側および手ぶれ補正機構の回路付近のうち、少なくともいずれか１つの温度を測定することが望ましい。
また、本発明に係る撮像装置は、前記重み付け算出手段で算出された重み付けの最大値が、予め設定された閾値よりも小さいと判断された場合は、前記位置ズレ推定手段による位置ズレ量を最尤位置とする最尤位置制御手段を更に有することにある（請求項３に対応する）。
上述した請求項１に対応する方式のみであると、必ず特徴点追跡の結果を用いることになる。しかしながら、例えば、静被写体が存在しないとか、または特徴点の追跡を失敗している場合には、特徴点追跡の結果を信頼するべきではない。むしろ、特徴点の追跡を失敗していることが検出された場合は、精度が低くとも温度変化による推定結果を用いた方が好結果を期待することができる。
また、例えば、図８に示されている特徴点追跡結果のうち、星のような動被写体または追跡失敗し易い特徴点の場合、
「特徴点追跡結果≠画角変化」
となる。このため、このような場合は、特徴点追跡結果を信頼することは画質劣化に繋がるため避けなければならない。従って、温度情報によって得られる“粗い”ズレ推定値と、特徴点追跡による“細かい”ズレ推定値がどれだけ離れているかどうか、という情報を得ることで、特徴点追跡が何らかの理由で信頼できないものと判断できれば、その場合は特徴点追跡によるズレ推定値は無視をして、温度情報による推定結果のみを信頼した方が精度が保たれる、という論理に基づく。
また、本発明に係る撮像装置の特徴とするところは、前記撮像装置において、前記重み付け算出手段により算出された重みが、予め設定された閾値を超えている特徴点の個数が、予め設定された個数以下であると判断された場合は、前記位置ズレ推定手段による位置ズレ量を最尤位置とする最尤位置制御手段を更に有することにある（請求項４に対応する）。
この請求項３に対応する方式と同様の論理により、特徴点追跡が何らかの理由で信頼できないものと判断できれば、その場合は、特徴点追跡によるズレ推定値は無視して、温度情報による推定結果のみを信頼する方が精度上望ましい。
また、本発明に係る撮像装置の特徴とするところは、前記重み付け算出手段が、前記特徴点抽出手段によって抽出された前記特徴点の前記撮影画像における座標情報と、前記撮像装置のレンズ群の位置情報とを用いて、前記重み付け算出手段で算出された重みに係数を掛けることである（請求項５に対応する）。
「特徴点追跡結果＝画角変化」という関係が成り立つためには、諸収差が全くない理想的なレンズである必要があるが、実際には歪曲収差などの影響が大きく、画像中心と画像周辺では、ずれ方向やずれ量に差異が出てくる。従って、諸収差の影響を加味するために、例えば画像中心付近の特徴点には大きな重みを与え、周辺には小さな重みを与えることが必要になる。諸収差は、焦点距離やピント位置によって変化するので、レンズ群の位置情報も参照して決定することが望ましい。
【００１７】
また、本発明に係る撮像装置の特徴とするところは、前記撮像装置において、前記重み付け算出手段が、前記位置ずれ推定手段によって算出された推定位置を中心とし、該推定位置の信頼度から決定される量を分散とするガウス関数に従って重み付けを行うことである（請求項６に対応する）。
特徴点は、任意の数で追跡可能であるが、追跡失敗した特徴点などは計算に用いるべきではないため、中心から離れるに従って急激に重みを小さくすることができるガウス関数を使って、各々の重みを決定できると都合が良い。（尚、この目的を達成できるのであれば、ガウス関数に限る必要はない。）
さらに、本発明に係る撮像装置の特徴とするところは、前記重み付け算出手段が、２変数を用いたガウシアンフィルタによる重み付き平均値計算法を用いて前記重みを算出することである（請求項７に対応する）。
特徴点追跡によって得られるずれ量は、直角座標（Ｘ，Ｙ）あるいは極座標（Ｒ，θ）のいずれも２次元の値を持つ。ガウス関数で重みを与えることを考えた場合、例えば温度情報による“粗い”ずれ量に対して、Ｘは非常に近いが、Ｙは非常に遠い、という特徴点があったとすると、その特徴点は、追跡失敗している可能性が高く、たまたまＸだけが近い値となったと考えるのが妥当である。従って、２次元の値がどちらとも“粗い”ずれ量に近くなければ信頼するべきではないため、２変数のガウシアンフィルタを用いて対応することが望ましい。
また、本発明に係る携帯情報端末装置の特徴とするところは、撮像機能を有し、上記したいずれかの撮像装置を具備することである（請求項８に対応する）。
このような構成とすることにより、環境や撮像装置内部の温度変化に基因して生じる手振れ補正機構のセンタリングのズレに対して、画像データからの特徴点追跡から算出されるズレ方向とズレ量と、温度測定手段からの温度変化情報とから算出されるズレ方向とズレ量とを基に、センタリングのズレを補償することを可能とし、長時間露光においても解像度を低下させることなく、撮影品質を維持し得る携帯情報端末装置を提供することができる。
また、本発明に係る撮像方法の特徴とするところ、被写体の撮像に対応する光信号を光電変換処理により取得して撮影画像を得る撮像ステップと、
少なくとも１枚分の前記撮影画像から複数の特徴点を抽出する特徴点抽出ステップと、
前記撮像ステップにより、前記被写体を複数回に渡って撮影して得られた一連の撮影画像から前記複数の特徴点の各々をそれぞれ追跡して該特徴点各々の動きベクトルを算出する動きベクトル算出ステップと、
本撮像装置の少なくとも一部分の温度を測定して該測定箇所の温度情報を得る温度測定ステップと、
前記温度情報を基にして、前記撮影画像の位置ズレ量を推定する位置ズレ推定ステップと、
前記位置ズレ量を参照して、前記動きベクトル算出ステップから得られた前記動きベクトルの各々を重み付ける重み付け算出ステップと、
前記重み付けられた前記動きベクトルを用いて、撮影画像の位置ズレ量の最尤値を算出する最尤位置算出ステップと、
前記位置ズレ量の最尤値を用いて前記撮影画像の補正画像を得る画像補正ステップと、を有することである（請求項９に相当する）。
このような構成とすることにより、環境や撮像装置内部の温度変化に基因して生じる手振れ補正機構のセンタリングのズレに対して、画像データからの特徴点追跡から算出されるズレ方向とズレ量と、温度測定手段からの温度変化情報とから算出されるズレ方向とズレ量とを基に、センタリングのズレを補償することを可能とし、長時間露光においても解像度を低下させることなく、撮影品質を維持し得る、撮像方法を提供することができる。
【００１８】
本発明に係る撮像装置は、上述したように、要するに、長時間露光やインターバル撮影モード等の、環境の温度変化によって生じるセンタリングのズレの影響を受ける撮影モードの場合に、画像処理による特徴点追跡で算出されるセンタリングのズレ量のうち、信頼性の高いものだけを選別することを特徴としている。
このため、温度センサの情報から温度特性を用いて推測されるセンタリングのズレ量を、「２変数を用いたガウシアンフィルタによる重み付き平均値計算法」による計算式のパラメータとして用いる。
以下、本発明の撮像装置および撮像方法並びに携帯情報端末装置の実施形態について、図面を参照して詳細に説明する。
図１は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。
図１において、本実施形態の撮像装置は、具体的には、デジタルスチルカメラの構成を示すものであり、主要な構成要素として、光学系６と、アナログ信号を処理するアナログフロントエンド部２１と、信号処理部２２と、を備えて構成される。
光学系６には、レンズ群５と、撮像素子２０と、モータドライバ２５と、絞り２６、内蔵ＮＤフィルタ２７と、温度センサ２９と、を備える。
【００１９】
また、アナログフロントエンド部２１には、ＣＣＤの駆動信号を生成するＴＧ回路３０と、ＣＣＤ出力信号のノイズを除去するＣＤＳ回路３１と、入力信号を増幅して出力するＡＧＣ回路３２と、入力アナログ信号をディジタル信号に変換して出力するＡ／Ｄ変換回路３３と、を備える。
さらに、信号処理部２２には、ＣＣＤ−Ｉ／Ｆ３４と、ＣＰＵで構成された制御部２８と、メモリコントローラ３５と、ＹＵＶ変換部３６と、リサイズ処理部３７と、表示出力制御部３８と、データ圧縮部３９と、メディアＩ／Ｆ４０と、を備える。
撮像素子２０は、ＣＣＤセンサやＣＭＯＳセンサで構成することができるが、ＣＭＯＳセンサで構成する場合は、アナログフロントエンド部２１を省略することができる。
信号処理部２２は、ＳＤＲＡＭ２３、ＲＯＭ２４、ＬＣＤ９、メモリカード１４および操作部４１と接続されている。
外部ＡＦモジュール部５５は、外部接続の光学系であるが、オプショナルな構成要素である。
ＲＯＭ２４には、制御部２８にて解読可能なプログラムコードで記述された、制御プログラムや、他の構成要素を制御するためのパラメータ等が格納されている。
【００２０】
アナログフロントエンド部２１は、ＣＤＳ３１、ＡＧＣ３２、Ａ／Ｄ変換回路３３およびＴＧ３０を有し、これら各部は、信号処理部２２の制御部２８によって制御される。
ＣＣＤ２０は、典型的には、ＣＣＤ（電荷結合素子）の撮像素子またはＣＭＯＳ（相補型金属酸化物半導体）撮像素子等の固体撮像素子を用いて構成され、光学像を光電変換して電子的な画像信号に変換する。
ＣＤＳ３１では、ＣＣＤ２０より得られた画像信号の相関二重サンプリングを行って画像ノイズを除去し、ＡＧＣ３２では、画像ノイズが除去された画像信号の利得調整を行い、Ａ／Ｄ変換回路３３では、利得調整された画像信号をＡ／Ｄ変換（アナログ−ディジタル変換）によりディジタル信号に変換して、信号処理部２２に送出する。
信号処理部２２のＣＣＤ−Ｉ／Ｆ３４は、Ａ／Ｄ変換回路３３から送出された画像信号データをＴＧ回路３０からのタイミングで一時記憶し、ＹＵＶ変換部３６、リサイズ処理部３７およびデータ圧縮部３９は、Ａ／Ｄ変換回路３３から送出された画像信号データを圧縮処理する。
信号処理部２２の表示出力制御部３８は、液晶表示装置のＬＣＤ９の表示を制御する。
【００２１】
信号処理部２２のメディアＩ／Ｆ４０は、メモリカード１４における画像データの入出力を制御する。
操作部４１は、ユーザーが操作する操作キー、操作スイッチおよび操作ボタン等と接続されている入力操作回路を含む。
温度センサ２９は、本発明の特徴的な構成要素であり、図１に示すように、鏡胴内部の光学系６付近や撮像素子２０の裏側、手ぶれ補正機構付近に配置され、これらの温度を測定し、測定温度に対応する電気信号に変換して制御部２８に送出するセンサである。
画像のズレに対して特に大きな影響を与える要因としては、レンズ群の温度特性と、撮像素子の温度特性と、手ぶれ補正機構（撮像素子周辺に設置可能）の温度特性が挙げられる。
従って、温度センサ２９は、上述し且つ図１に示すように、鏡胴内部のレンズ群５付近や、撮像素子２０の裏側や、前記の手ぶれ補正機構（図示は省略）の回路付近に置くことが望ましい。
但し、図１に示す本実施形態に係る撮像装置の要部の構成は、本発明に係る撮像装置の要部の構成の一例であり、一般に、本発明では、温度センサ２９を具備していさえすれば、外見的な構成としては他の構成を有する撮像装置であっても良い。
【００２２】
本発明に係る撮像装置には、撮影モードとして、インターバル合成モードを搭載しているものとする。最近のデジタルカメラには、インターバル撮影と称し、一定の時間間隔で連続撮影を行う撮影モードが搭載されているが、このモードでは基本的に三脚固定などで同じ構図で撮影をし続けることを想定している。
インターバル合成モードは、このインターバル撮影モードを発展させた形で、連続撮影された複数画像に対して、同一画素の出力値を比べ、より高輝度な方で上書きをしていく処理を行う。この処理は、比較明加算、比較明コンポジット等と呼ばれており、星の軌跡や、自動車のヘッドライトやテールランプの軌跡、蛍の航跡等を撮影する手法として知られている。
本実施の形態に係る撮像装置は、インターバル合成モードでの撮影の場合、最終的には制御部２８において下記の処理を行う。
（１） 所定回数の撮影を行う毎に、所定の複数の特徴点を追跡し、各々の特徴点のズレ量（移動距離）を求める。
（２） 所定回数の撮影を行う毎に、撮影画像に影響を与える周囲温度を温度センサ２９で計測し、該温度に対応する画像のズレ量を求める。
（３） （２）の処理で求まった温度に対応する画像のズレ量に基づいて重み付けを行って（１）記載のズレ量の重み付き平均値を求める。
【００２３】
以下、前述の（１）〜（３）の処理項目について、その考え方を詳述する。
まず、上記の（１）に関し、本実施の形態に係る撮像装置では、前記の所定の複数の特徴点として、ウェイトの高い静止対象の特徴点だけではなく、動的対象の特徴点も、区別することなく、ズレ量の算出に取り入れるものとする。
しかしながら、予め獲得した温度情報による画像のズレ量情報（但し、その推定精度は高くない）を用いて、静的な特徴点に対して重み付け平均値を求める計算の際に大きな重みを付与するのであり、ここが本発明の特徴である。つまり、温度情報を用いることにより、間接的に静的な特徴点か、それとも動的な特徴点かを区別しているとも言える。
次に、上記の（２），（３）に関し、静止対象の特徴点にウェイトを置く理由について述べると、画像のズレ量を示す情報を得るには、従来から特徴点を追跡する方法が用いられているが、被写体が完全に静止していなければ画像の正しいズレ方向と正しいズレ量とを算出することができない。
より具体的には、動被写体上の特徴点の場合、得られる結果は被写体像の撮像面上での動きベクトルが支配的になる。よって、動被写体上の特徴点の情報は、本発明にとっては無益な情報となるので、画像ズレ量の平均値計算から除外することが好ましい。
そこで、本発明では、動被写体上の特徴点については、画像ズレ量の平均値計算の際の重みを大きく下げることにしている。
一方、静被写体であれば、その撮像は、時間の経過に拘わらずに撮像面上の同じ１点に結像するという仮定ができるため、その動きベクトルから、逆に撮像面のズレ量を算出できることになる（但し、実際にはレンズの諸収差の影響も存在する）。
【００２４】
〔原理の説明〕
本発明に係る撮像装置では、静止対象の特徴点にウェイトを置くために、前述の（２）項で求めた温度に対応する画像のズレ量を画像ズレ量の平均値計算に取り入れるが、以下、その原理及び考え方を説明する。
前述のとおり、画像上の特徴点を追跡して動きベクトルを求めることが画像ズレ量を最も正確に計測する方法であるが、この場合、該特徴点が静被写体上にあることが大前提となる。しかしながら、実際の場面では、静被写体と動被写体とが混在しているので、何らかの手段によって、両者の区別を行うことが必要となる。
そこで、前述のとおり、本発明では、制御部２８は、静被写体／動被写体の区別は行わずとも、別の方法を用いて（即ち、画像ズレ量の平均値計算を重み付きの平均値計算とすることで）、有益な特徴点の選別を間接的に行うものであり、これにより、画像ズレ量の算出精度を上げている。
一方、画像ズレが発生する原因は、起動直後のカメラ本体の温度上昇によるものであり、即ち、メカ部品の変形や、電気部品の特性変化等が挙げられる。そこで、カメラ本体内の温度を温度センサ２９で監視することができれば、どれだけ画像ズレが生じ得るか、ある程度の推測値を立てることができる。
【００２５】
しかしながら、温度センサ２９の精度や、環境温度の影響、繰り返しバラツキ等を考えると、これだけでは、求められる画像ズレ量の推定精度に対して、十分であるとは言えない（例えば、撮影の全ての回に渡って同じ温度変化が生じて同じズレ量になるわけではない）。
そこで、制御部２８は、画像上の特徴点を追跡して動きベクトルを求める手段と、カメラ本体内の温度を求めて該温度変化による画像ズレ量を推定する手段とを組み合わせる。具体的には、制御部２８は、前記の各特徴点のうち、精度（尤度）が低いものについては画像ズレ量の重み付き平均値計算の際に低い重みで計算されるような計算式（ここでは、「２変数を用いたガウシアンフィルタによる重み付き平均値計算法」による計算式）を用いる。これにより、結果的に静被写体の撮像面上での動きベクトルを求めることができるようになる。
但し、制御部２８は、前記画像ズレ量の重み付き平均値計算の際に、算出された重み付けの最大値が、予め設定された閾値よりも小さいと判断された場合は、前記温度変化による画像ズレ量を推定する手段による位置ズレ量を最尤位置とする。
【００２６】
また、制御部２８は、前記算出された重み付けの重みが、予め設定された閾値を超えている特徴点の個数が、予め設定された個数以下であると判断された場合は、前記温度変化による画像ズレ量を推定する手段による位置ズレ量を最尤位置とする。
また、制御部２８は、前記抽出された特徴点の前記撮像中での座標情報と、本撮像装置のレンズ群の位置情報とを用いて、前記算出された重み付けの重みに係数を掛けるように制御することも可能である。
尚、本発明に係る構成要件と図１に示される各部の構成とについて、説明する。
被写体の撮像に対応する光信号を光電変換処理により取得して撮影画像を得る撮像手段は、図１のレンズ群、絞りを含む光学系６、撮像素子２０、アナログフロントエンド部２１、信号処理部２２を含んで構成される。
また、少なくとも１枚分の前記撮影画像から複数の特徴点を抽出する特徴点抽出手段は、図１の信号処理部２２のＣＰＵ２８を含んで構成される。
前記撮像手段により、前記被写体を複数回に渡って撮影して得られた一連の撮影画像から前記複数の特徴点の各々をそれぞれ追跡して該特徴点の各々の動きベクトルを算出する動きベクトル算出手段は、図１の信号処理部２２のＣＰＵ２８を含んで構成される。
【００２７】
本撮像装置の少なくとも一部分の温度を測定して該測定箇所の温度情報を得る温度測定手段は、図１の温度センサ２９が相当する。
前記温度情報を基にして、前記撮影画像の位置ズレ量を推定する位置ズレ推定手段は、図１の温度センサ２９から得られた温度情報と、ＲＯＭ２４に保存されたズレ量推定テーブルから、計算を行うＣＰＵ２８を含んで構成される。
前記位置ズレ量を参照して、前記動きベクトル算出手段から得られた前記動きベクトルの各々を重み付ける重み付け算出手段は、図１の信号処理部２２のＣＰＵ２８を含んで構成される。
前記重み付けられた前記動きベクトルを用いて、撮影画像の位置ズレ量の最尤値を算出する最尤位置算出手段および前記位置ズレ量の最尤値を用いて前記撮影画像の補正画像を得る画像補正手段は、図１の信号処理部２２のＣＰＵ２８を含んで構成される。
上記各部の構成および作用は、図２を用いたフローチャートと関連して説明する。
【００２８】
〔計算式の説明〕
単純平均でセンタリングのズレ量を算出する場合は、特徴点の個数をＮとして、（１）式を用いるが、この算式では動被写体等による外れ値を引き込んでしまうので、算出精度が悪くなる。
【００２９】
ΔＸａｖｒ＝ΣΔＸ〔ｉ〕／Ｎ，ΔＹａｖｒ＝ΣΔＹ〔ｉ〕／Ｎ ………（１）
そこで、本発明の実施の形態に係る撮像装置では、画像ズレ量を算出するために、一例として、前述の「２変数を用いたガウシアンフィルタによる重み付き平均値計算法」を使用する。
以下、この一例としての、「２変数を用いたガウシアンフィルタによる重み付き平均値計算法」に基づく計算式について説明する。
なお、ここでは、１００枚目に撮影した画像データを補正する場合を説明する。
本発明の実施の形態に係る撮像装置では、温度変化によるセンタリングのズレ量の推定値を用いる。該推定値をΔＸｔ，ΔＹｔとおき、個体間のばらつきや測定精度等を考慮した前記推定値のばらつき度合をσＸｔ，σＹｔとする。
また、特徴点の識別子をｉとし、複数の特徴点毎に、下記の（２）式に基づいて、（Ｘ，Ｙ）空間（直角座標空間）を（Ｒ，θ）空間（極座標空間）に変換し、（３）式に示す「２変数を用いたガウシアンフィルタによる重み付き平均値計算法」の算式を用いて、“ずれ量”と、“ずれ方向”とをパラメータとする画像ズレ量の重み付き平均を算出する。
【００３０】
Ｒ〔ｉ〕＝（ΔＸ〔ｉ〕２＋ΔＹ〔ｉ〕２）１／２ ………（２）
【００３１】
Ｒａｖｒ＝Σ（ＷＲ〔ｉ〕×Ｗθ〔ｉ〕×Ｒ〔ｉ〕）／Σ（ＷＲ〔ｉ〕×Ｗθ〔ｉ〕），
θａｖｒ＝Σ（ＷＲ〔ｉ〕×Ｗθ〔ｉ〕×θ〔ｉ〕）／Σ（ＷＲ〔ｉ〕×Ｗθ〔ｉ〕），
ＷＲ〔ｉ〕＝Σ（（Ｒｔ−Ｒ〔ｉ〕）２／（２×σＲｔ２）／（σＲｔ×（２π）（１／２）），
Ｗθ〔ｉ〕＝Σ（（θｔ−θ〔ｉ〕）２／（２×σθｔ２）／（σθｔ×（２π）（１／２）） ………（３）
つまり、（３）式による算出方法では、重み付けの仕方は、温度情報から求められる推定のズレ量（Ｒｔ，θｔ）を中心とする２次元のガウス関数によって決まることになる。
Ｒ方向、θ方向の分散は、それぞれσＲｔ、σθｔであるが、これは信頼度、推定ズレ量が正解値からどれだけ離れているかによって決定される量であり、前述したように温度センサの精度や、繰り返しのバラツキ等の経験則から決めることができる。
前述のとおり、この重み付けにより、温度情報から求められる推定のズレ量から、遠く離れた結果を出した特徴点の重みは非常に低くなるようにし、前記推定のズレ量に近い結果を出した特徴点の重みは高くなるようにしてズレ量の重み付き平均値が算出する必要が有る。
【００３２】
即ち、仮にＲ方向（動き量）が前記推定のズレ量に近かったとしても、θ方向（動き方向）が前記推定のズレ量に遠ければ、特徴点の信頼度としては低いと考えるべきである。
【００３３】
そこで、本発明の撮像装置では、「２変数を用いたガウシアンフィルタによる重み付き平均値計算法」を用いてズレ量の重み付き平均値を算出する。
なお、各々の重み付けに従って算出された（２）式に示す重み付け平均値、即ち、
Ｒａｖｒ，θａｖｒが最尤値（平均値）となる。
この実施の形態では、ズレ量を求める重み付け平均算出法として、（３）式を用いたが、本発明では、一般に、温度情報から求められる推定のズレ量から、遠く離れた結果を出した特徴点の重みは非常に低くなるようにし、前記推定のズレ量に近い結果を出した特徴点の重みは高くなるようにして、ズレ量の重み付き平均値が算出されさえすれば良く、よって、ズレ量を求める重み付け平均算出については（３）式以外の算式を用いても良い。
また、必ずしも極座標を使用する必要は無く、直角座標を使用しても良い。ちなみに、（３）式に対応する直角座標形式の計算式も存在する。
【００３４】
図２は、本発明の実施の形態に係る撮像装置のインターバル合成モードにおける処理手順を示すフローチャートである。
以下、図１を参照しながら、図２に示すフローチャートを使用して、本実施の形態に係る撮像装置のインターバル合成モードにおける処理手順を説明する。
インターバル合成モードとは、インターバル撮影で得られる複数画像を比較して、より高輝度の画素だけを上書きすることで星の軌跡等を撮影可能とするモードであるが、品質面を考慮すると、前提条件として、１〔ｐｘ〕程度の精度で撮影構図が一致する必要がある。
（ステップＳ１）
まず、ステップＳ１では、制御部２８は、インターバル合成モードの開始と共に、１枚目の画像を撮影する。
（ステップＳ２）
次に、ステップＳ２では、制御部２８は、前記撮影画像の内から特徴点を抽出する。
この特徴点の抽出に用いるアルゴリズムは任意で良いが、ここでは、「Ｇｏｏｄ Ｆｅａｔｕｒｅｓ Ｔｏ Ｔｒａｃｋ」アルゴリズムを用いて１００点の特徴点を抽出するものとする。
【００３５】
このアルゴリズムは、特徴点追跡手法であるＫＬＴ（Ｌｕｃａ−Ｋａｎａｄｅ−Ｔｏｍｏｓｉ）法で用いられている特徴点抽出手法であり、基本的な算出には「Ｈａｒｒｉｓオベレータ」が用いられる。特徴点を抽出する手法として、画像中の大きな輝度変化のある部分を見つける微分幾何学に基づくアプローチが多く存在しているが、この「Ｈａｒｒｉｓオペレータ」もその内の１つである。
（ステップＳ３）
次に、ステップＳ３では、制御部２８は、前回に撮影した１枚目の画像に続く２枚目の画像を撮影することを継続し、Ｎ枚目までの画像を撮影する（Ｎは、任意の整数であるが、例えば、１００とすることができる）。
【００３６】
（ステップＳ４）
次に、ステップＳ４では、制御部２８は、その時の温度変化ΔＴを温度センサ２９を介して測定し、推定されるズレ量ΔＸｔ〔ｐｘ〕，ΔＹｔ〔ｐｘ〕および固体ばらつき度合σＸｔ，σＹｔを算出する。
これらのパラメータの推定には、ホール素子やマグネット等のメカ部品の温度特性から算出する方法を用いても良いし、実際に個体毎に温度特性を測定して得たパラメータ値をルックアップ・テーブルに格納しておく方法を用いても良い。
（ステップＳ５）
次に、ステップＳ５では、制御部２８は、１枚目からＮ枚目までのＮ枚の画像に基づいて、特徴点の追跡を行う。この特徴点の追跡アルゴリズムは、任意であるが、ここでは、前述のとおり、「Ｇｏｏｄ Ｆｅａｔｕｒｅｓ Ｔｏ Ｔｒａｃｋ」アルゴリズムを使用するものとし、１００点の特徴点を追跡するものとする。また、制御部２８は、１枚目からＮ枚目までのＮ枚の画像の追跡で得られた前記１００点の特徴点の追跡結果に基づいて、ズレ量ΔＸ〔ｉ〕，ΔＹ〔ｉ〕を求める。
【００３７】
（ステップＳ６）
次に、ステップＳ６では、制御部２８は、前記のズレ量ΔＸ〔ｉ〕，ΔＹ〔ｉ〕を、（２）式を用いて（Ｒ，θ）空間（極座標空間）に変換する。
また、制御部２８は、この変換結果をパラメータとして、（３）式に代入して、（Ｒ，θ）空間でのＲａｖｒとθａｖｒとを求める。さらに、この結果として得られたＲａｖｒと、θａｖｒとを（Ｘ，Ｙ）空間（直角座標空間）に変換して、（Ｘ，Ｙ）空間での重み付き平均ズレ量ΔＸ，ΔＹを求める。
この場合、２変数を用いたガウシアンフィルタによる重み付けを行うことができる。
【００３８】
（ステップＳ７）
次に、ステップＳ７では、制御部２８は、Ｎ枚目の画像を、前記の平均ズレ量ΔＸ，ΔＹだけずらして合成処理する。
（ステップＳ８）
次に、ステップＳ８では、制御部２８は、撮影が終了したか否かを検証し、撮影が終了していない場合は、ステップＳ３に戻り、撮影が終了している場合はＳ９に移る。
（ステップＳ９）
引き続き、ステップＳ９では、制御部２８は、Ｎ＋１枚目の画像の撮影が完了したこととなるので、インターバル合成モードの処理を終了する。
〔実施例の説明〕
図３は、１００枚目までの特徴点追跡結果（フルスケール）をプロットした説明図である。
図４は、１００枚目までの特徴点追跡結果（０〔ｐｘ〕付近）をプロットした説明図である。
図３と図４は、スケールが異なるだけであって、データとしては共通である。
きちんと追跡できていない特徴点や、動被写体を追跡してしまっている特徴点の影響を受けて、生データをそのまま単純平均した場合、ΔＸａｖｒ＝−２５〔ｐｘ〕、ΔＹａｖｒ＝＋１０１〔ｐｘ〕となっているが、（３）式を用いて特徴点に応じて重みを変化させた場合、重み付きの平均値は、ΔＸａｖｒ＝−０．０〔ｐｘ〕、ΔＹａｖｒ＝＋４．８〔ｐｘ〕となった。但し、目視では５〔ｐｘ〕のズレ量である。
上記の実施例では、Ｒｔ＝５、θｔ＝０、σθｔ＝１０として机上計算を行ったが、実際の実施に際しては、温度センサ２９からの情報に基づいて、推定値（ΔＲｔ，Δθｔ）を算出して求めることが望ましい。
なお、本発明に係る撮像装置の各構成要素の処理の少なくとも一部をコンピュータ制御により実行するものとし、かつ、上記処理を、図２のフローチャートで示した動作手順により、コンピュータに実行させるためのコンピュータプログラムは、半導体メモリを始め、ＣＤ−ＲＯＭや磁気テープなどのコンピュータ読み取り可能な記録媒体に格納して頒付しても良い。そして、少なくともマイクロコンピュータ、パーソナルコンピュータ、汎用コンピュータを範疇に含むコンピュータが、上記の記録媒体から上記コンピュータプログラムを読み出して、実行するものとしても良い。
また、本発明に係る撮像装置を、撮像機能を有した携帯情報端末装置として構成することができる。
【符号の説明】
【００３９】
５ レンズ群
６ 光学系
９ ＬＣＤ
１４ メモリカード
２０ 撮像素子
２１ アナログフロントエンド部
２２ 信号処理部
２３ ＳＤＲＡＭ
２４ ＲＯＭ
２５ モータドライバ
２６，２７ 絞り・内蔵ＮＤフィルタ
２８ 制御部
２９ 温度センサ
３０ ＴＧ回路
３１ ＣＤＳ回路
３２ ＡＧＣ回路
３３ Ａ／Ｄ変換回路
３４ ＣＣＤ−Ｉ／Ｆ
３５ メモリコントローラ
３６ ＹＵＶ変換部
３７ リサイズ処理部
３８ 表示出力制御部
３９ データ圧縮部
４０ メディアＩ／Ｆ
４１ 操作部
５５ 外部ＡＦモジュール部
【特許文献１】「特開平１１−００２８５２号公報」
【特許文献２】「特開２００１−２２３９３２号公報」
【技術分野】
【０００１】
本発明は、撮像装置および撮像方法に関し、特に、環境やカメラ内部の温度変化に起因して生じる手振れ補正機構のセンタリングのズレの影響を補償することができる撮像装置および撮像方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラを用いて夜景を撮影する場合、長秒時露光や、インターバル撮影した写真を後処理で合成するなどの様々な方法が用いられている。
この場合、いずれの方法においても、“ぶれ”を抑えるために三脚等で固定した状態で長時間露光（長時間のシャッタ開放）をしている。
しかしながら、従来の上記方法では、実際に長時間での撮影を行うと、カメラ内部に配置されているホール素子やマグネット等のメカ部品が有する温度特性の影響を受けて、手ぶれ補正機構のセンタリング位置が少しずつずれていくという現象が生じていた。
しかしながら、このような問題点の有る長時間露光においても、品質の面から解像感が低下させることは避けなければならず、本発明に際しても、この点が１つの解決すべき課題であった。
なお、この分野の公知技術として、例えば、特許文献１（特開平１１−２８５２号公報）には、環境温度の変化に拘わらず、安定した性能の高い駆動制御を可能にする「光学装置の手振れ補正制御装置及び振れ補正機能付きカメラ」が記載されている。具体的には、カメラ本体の環境温度を検出する温度センサと、該温度センサで検出された環境温度に応じて、駆動制御回路で用いられる基準温度に対する基本ゲイン補正用のゲイン補正量を求める補正ゲイン設定部と、目標位置設定部により示された補正レンズ部に対する駆動目標位置に応じて基本ゲインを生成し、この基本ゲインを補正ゲイン設定部で求められたゲイン補正量で補正し、補正された基本ゲインを用いて補正レンズ部に対する駆動信号を生成する駆動制御回路と、を備えるものとしている。
【０００３】
また、例えば、特許文献２（特開２００１−２２３９３２号公報）には、デジタルカメラなどの撮像装置において、三脚などの固定具をすることなく、高品質の画素ずらし合成画像を得る技術が記載されている。具体的には、合成モードが選択された場合、スルー画表示動作中に、ビューファインダ内の視線検出センサを用いて撮影者の視線方向を検出することにより主要被写体を特定する。
画像処理部でスルー画間のパターンマッチングにより主要被写体と背景の像ぶれ量をそれぞれ検出し、レリーズ操作で開始する撮像動作時に主要被写体の像ぶれ量を補正するように撮像素子変位機構を制御するものとし、手ぶれが大きく主要被写体の像ぶれを補正できない時は、並進ぶれにより主要被写体と背景の像ぶれ量の差が許容値を超えた時に、警告を出すこととしている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記背景技術で述べた従来の撮像装置にあっては、前述のとおり、デジタルカメラを用いて夜景を撮影する場合、長時間露光や、インターバル撮影した写真を後処理で合成するなどの様々な方法を用いたとしても、また、上記のいずれの方法においても“ぶれ”を抑えるための三脚等を用いてカメラを固定したとしても、長時間露光の際には、解像感が低下して撮影品質に影響するという問題点が有った。
特に、インターバル合成モードの場合は、インターバル撮影された複数の画像に対して、同じ座標の画素を比較して高輝度の方を上書きしながら合成するといった機能を有し、この機能は星の軌跡等を撮影できる商品性の高い機能であるが、それだけに、この撮影機能が正常に動作するためには、数時間に渡る撮影期間であっても、撮影構図が僅かでも変化することは許されない。
しかしながら、従来の撮像装置では、長時間での撮影（例えば、長時間露光やインターバル撮影) では、カメラ内部に配置されているホール素子やマグネット等のメカ部品が有する温度特性の影響を受けて、手ぶれ補正機構のセンタリング位置が少しずつズレていくといった現象が生じており、その結果、カメラを三脚等で固定しているにも拘わらず、撮影画像がぶれたり、撮影構図が時間と共に変化してしまう等の、ユーザの意思に反する不具合が生じ易くなるといった問題点が有ることが分かった。
【０００５】
特に、最近の新しい機種の中では、手振れ補正の保持機構が廃止されているものもあるので、上記の問題点に対する対策が必要不可欠となってきた。
長時間露光の機能が無い機種については、上記の問題点は生じないが、例えば、１８０秒までの露光ができる機種や、インターバル合成モードを有する機種では、上記の問題点が撮影品質に関わる大きな問題点となる。
ところで、図５は、通常撮影時の撮影画像図と、横および縦に１．３〔ｐｘ〕のズレた場合の画像をシミュレートして示した撮影画像図である。
前述の撮影構図のズレに関する問題点について、より具体的に述べると、センタリングのズレ量を１〜２〔ｐｘ〕の精度で補償するには、手振れ補正機構への温度補正だけでは難しいのであり、例えば、図５にも１．３〔ｐｘ]のズレ量をシミュレートした画像を示しているが、この図５からは、限界解像付近の被写体は、コントラストの低下が大きく、品質面で許容できないものとなっていることが理解される。
図６は、インターバル合成モードでの画像の画素ズレを示す撮影画像図である。
【０００６】
同図は、インターバル合成モードで、通常撮影、縦５〔ｐｘ]のズレおよび横１０〔ｐｘ]のズレが生じた撮像をそれぞれ示すものであるが、この図から分かるように、この場合の画素ズレも、品質面で許容できないものとなっていることが理解される。
一方、画像処理による特徴点の追跡を行う場合は、メカ部品の個体間のバラツキや、環境温度の変化に左右されない“ズレ量”を算出することができるが、この場合は、センタリングのズレに起因しない画像のズレ（例えば、環境光の変化や、動被写体の存在等) には大きく影響されてしまうといった問題点が生じる。
ちなみに、これら性質の異なる２つの“ずれ量”の算出方法を同時に用いると、より高度なズレの補償方法を提供することができる。
また、手振れ補正に用いられるホール素子やマグネット等の部品は、個体差によるバラツキが非常に大きいため、一律の補正ゲインだけで高い精度を出すことは難しく、厳密に対処するためには、個体毎に調整をすることが望ましいと言える。
図７は、ホール素子の温度特性を加味した、温度変化と画素ズレ量との関係（計算値）を示すグラフ図である。
【０００７】
同図に示すように、一般に、手振れ補正機構の温度補正として、温度センサから得られる温度変化情報から、およその“ずれ方向”と“ずれ量”とを算出することができるが、個体間のばらつきや精度に課題が残る。
図８は、特徴点の追跡結果を一例として示す撮影画像図である。
同図は、連続画像に対して１００点の特徴点追跡を行った結果を示している。
このような特徴点追跡によって画像（センタリング）のズレ量を算出することができる。
即ち、インターバル撮影などで得られる複数画像間で、特徴点追跡を行うことによって画像（センタリング）のズレ量を算出することができる（丸印が最初の画像における特徴点の座標、線分がその特徴点の動き（始点−終点）を示している）。
この場合、急峻なエッジであれば、サブピクセル精度でのズレ量を求めることができるが、輝度の揺らぎに起因して精度が低下することや、環境光や被写体の変化で特徴点追跡精度が低下するといった問題点が有る。
例えば、想定している星景撮影の場合、星を特徴点として抽出してしまうと、センタリングのズレではなく星の動きを算出してしまうことになる。
以上に述べた結論として、特徴点の動きは、大別して下記の３つのカテゴリーに分類することができる。
【０００８】
まず、１つ目は、１５番の特徴点に代表されるように、静被写体に対して特徴点が抽出された場合である。
この場合、この特徴点は、環境に大きな変化等が無ければ、センタリングのズレを検出するのに有益な情報として用いることができる。目視の１０〔ｐｘ〕のズレに対して、追跡結果も１０〔ｐｘ〕のズレ程度と算出されている。
次に、２つ目は、１４番の特徴点に代表されるように、動被写体（この場合はクレーンであり、実は時間経過に応じて微妙に動いている）に対して特徴点が抽出された場合である。
この場合、この特徴点は、センタリングのズレを検出するのには誤差を生じるノイズとなる厄介な情報となる。
最後に、３つ目は、０番の特徴点に代表されるように、最初に星を特徴点として検出した場合である。
この場合は、明るい星に対してならば動きに追従して追跡ができているが、暗い星に対しては周辺のノイズなどの影響を強く受けて、正しく特徴点追跡ができていない。そもそも、センタリングのズレを算出するには無益な情報である。
【０００９】
即ち、星を特徴点として追跡した場合、ノイズや星の瞬きの影響を受けて、特徴点の動きは、全くのアト・ランダムとなることが理解される。
以上の検討から、特徴点追跡を用いた場合、どの特徴点を信頼すべきかという課題が必ず残ることになる。この特徴点の選別作業のために、温度情報を用いることができれば、不要な情報を排除してセンタリングのズレを精度良く算出することが可能となる。
図９は、撮像に示す東京スカイツリー上の静被写体の１５番の特徴点の追跡結果を示す軌跡図である。
同図９は、例えば、東京スカイツリー上の静被写体を夜間撮影した３９５枚の連続画像から１００点の特徴点を追跡した結果を示すが、このケースでは三脚のクランプの締めが不十分であったために、撮影者が気付かないレベルで時間経過と共に徐々に特徴点追跡精度が下がっていき、結果として最初と最後の画像間で１０〔ｐｘ〕程度の差が生じている。
即ち、静被写体を特徴点とした場合、目視のズレ量と、追跡結果のズレ量とはほぼ一致する）。
【００１０】
図１０は、図８に示す１４番の特徴点（撮像に示す東京スカイツリーのクレーン（動被写体）上の特徴点）の追跡結果を示す軌跡図である。
即ち、クレーン（動被写体）を特徴点として追跡した場合、クレーンの動きに応じて特徴点が激しく動いていることが判る。
図１１は、図８に示す０番の特徴点（撮像に示す星）の追跡結果を示す軌跡図である。
なお、前述の特許文献１に開示されている技術は、本発明の撮像装置と比べて、環境温度の変化に応じて、手振れ補正機構に与える駆動信号を生成／制御することにより、温度によるセンタリングのズレによる影響も補償するという点では類似点を有する。
しかしながら、前述の特許文献１に開示されている技術では、その効果として、「環境温度が基本増幅比に対する基準温度から外れても、一定のレベルに保持されるようになる」、といった記載に留まっており、数時間に及ぶ撮影で、撮影構図のズレを１〜２〔ｐｘ（ピクセル）〕の精度で補償できるようにするという課題は解決されていない。
また、前述の特許文献２に開示されている技術は、三脚無しの撮影の場合に生じる手ぶれを防止する技術であって、本発明の撮像装置とは目的・構成が異なるものである。
本発明は、上記従来の問題点に鑑みてなされたものであって、環境や撮像装置内部の温度変化に起因して生じる手振れ補正機構のセンタリングのズレに対して、センタリングのズレを補償することを可能とし、長時間露光においても解像度を低下させることなく、撮影品質を維持することができる撮像装置および撮影方法を提供することを目的としている。
【課題を解決するための手段】
【００１１】
請求項１に記載した本発明に係る撮像装置は、上述した目的を達成するために、
被写体の撮像に対応する光信号を光電変換処理により取得して撮影画像を得る撮像手段と、
少なくとも１枚分の前記撮影画像から複数の特徴点を抽出する特徴点抽出手段と、
前記撮像手段により、前記被写体を複数回に渡って撮影して得られた一連の撮影画像から前記複数の特徴点の各々をそれぞれ追跡して該特徴点の各々の動きベクトルを算出する動きベクトル算出手段と、
本撮像装置の少なくとも一部分の温度を測定して該測定箇所の温度情報を得る温度測定手段と、
前記温度情報を基にして、前記撮影画像の位置ズレ量を推定する位置ズレ推定手段と、
前記位置ズレ量を参照して、前記動きベクトル算出手段から得られた前記動きベクトルの各々を重み付ける重み付け算出手段と、
前記重み付けられた前記動きベクトルを用いて、撮影画像の位置ズレ量の最尤値を算出する最尤位置算出手段と、
前記位置ズレ量の最尤値を用いて、前記撮影画像の修正画像を得る画像修正手段と、
を備えたことを特徴としている。
【００１２】
また、請求項９に記載した本発明に係る撮像方法は、上述した目的を達成するために、被写体の撮像に対応する光信号を光電変換処理により取得して撮影画像を得る撮像ステップと、
少なくとも１枚分の前記撮影画像から複数の特徴点を抽出する特徴点抽出ステップと、
前記撮像ステップにより、前記被写体を複数回に渡って撮影して得られた一連の撮影画像から前記複数の特徴点の各々をそれぞれ追跡して該特徴点の各々の動きベクトルを算出する動きベクトル算出ステップと、
本撮像装置の少なくとも一部分の温度を測定して該測定箇所の温度情報を得る温度測定ステップと、
前記温度情報を基にして、前記撮影画像の位置ズレ量を推定する位置ズレ推定ステップと、
前記位置ズレ量を参照して、前記動きベクトル算出ステップから得られた前記動きベクトルの各々を重み付ける重み付け算出ステップと、
前記重み付けられた前記動きベクトルを用いて、撮影画像の位置ズレ量の最尤値を算出する最尤位置算出ステップと、
前記位置ズレ量の最尤値を用いて前記撮影画像の補正画像を得る画像補正ステップと、を有することを特徴としている。
【発明の効果】
【００１３】
本発明によれば、被写体の撮像に対応する光信号を光電変換処理により取得して撮影画像を得る撮像手段と、
少なくとも１枚分の前記撮影画像から複数の特徴点を抽出する特徴点抽出手段と、
前記撮像手段により、前記被写体を複数回に渡って撮影して得られた一連の撮影画像から前記複数の特徴点の各々をそれぞれ追跡して該特徴点の各々の動きベクトルを算出する動きベクトル算出手段と、
本撮像装置の少なくとも一部分の温度を測定して該測定箇所の温度情報を得る温度測定手段と、
前記温度情報を基にして、前記撮影画像の位置ズレ量を推定する位置ズレ推定手段と、
前記位置ズレ量を参照して、前記動きベクトル算出手段から得られた前記動きベクトルの各々を重み付ける重み付け算出手段と、
前記重み付けられた前記動きベクトルを用いて、撮影画像の位置ズレ量の最尤値を算出する最尤位置算出手段と、
前記位置ズレ量の最尤値を用いて、前記撮影画像の修正画像を得る画像修正手段と、
を備えたことにより、環境や撮像装置内部の温度変化に基因して生じる手振れ補正機構のセンタリングのズレに対して、画像データからの特徴点追跡から算出されるズレ方向とズレ量と、温度測定手段からの温度変化情報とから算出されるズレ方向とズレ量とを基に、センタリングのズレを補償することを可能とし、長時間露光においても解像度を低下させることなく、撮影品質を維持し得る撮像装置携帯情報端末装置および撮像方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態に係る撮像装置の要部の構成を示すブロック図である。
【図２】本発明の一実施形態に係る撮像装置のインターバル合成モードにおける処理手順を示すフローチャートである。
【図３】１００枚目までの特徴点追跡結果（フルスケール）をプロットしたグラフである。
【図４】１００枚目までの特徴点追跡結果（０〔ｐｘ〕付近）をプロットしたグラフである。
【図５】センタリングのズレをシュミレートして示す画像図であり、（ａ）は、通常撮影時の画像、（ｂ）は、横に１．３〔ｐｘ〕ズレた場合の画像、（ｃ）は、縦横にそれぞれ１．３〔ｐｘ〕のズレ量での画像をシミュレートして示した画像図である。
【図６】インターバル合成モードでの画像の画素ズレを示す撮像図であり、（ａ）は、通常撮影の場合の撮像図、（ｂ）は、横５〔ｐｘ〕ずれた場合、（ｃ）は、縦１０〔ｐｘ〕センタリングずれを生じた撮像画図である。
【図７】ホール素子の温度特性を加味した、温度変化と画素ズレ量との関係（計算値）を示すグラフ図である。
【図８】特徴点の追跡結果を一例として示す撮像図である。
【図９】撮像に示す東京スカイツリー上の静被写体の１５番の特徴点の追跡結果を示す軌跡図である。
【図１０】図８に示す１４番の特徴点（撮像に示す東京スカイツリーのクレーン（動被写体）上の特徴点）の追跡結果を示す軌跡図である。
【図１１】図８に示す０番の特徴点（撮像に示す星）の追跡結果を示す軌跡図である。
【発明を実施するための形態】
【００１５】
具体的な実施の形態について説明する前に、先ず、本発明の特徴を以下に述べる。
第１に、本発明に係る撮像装置の特徴は、
被写体の撮像に対応する光信号を光電変換処理により取得して撮影画像を得る撮像手段と、
少なくとも１枚分の前記撮影画像から複数の特徴点を抽出する特徴点抽出手段と、
前記撮像手段により、前記被写体を複数回に渡って撮影して得られた一連の撮影画像から前記複数の特徴点の各々をそれぞれ追跡して該特徴点の各々の動きベクトルを算出する動きベクトル算出手段と、
本撮像装置の少なくとも一部分の温度を測定して該測定箇所の温度情報を得る温度測定手段と、
前記温度情報を基にして、前記撮影画像の位置ズレ量を推定する位置ズレ推定手段と、
前記位置ズレ量を参照して、前記動きベクトル算出手段から得られた前記動きベクトルの各々を重み付ける重み付け算出手段と、
前記重み付けられた前記動きベクトルを用いて、撮影画像の位置ズレ量の最尤値を算出する最尤位置算出手段と、
前記位置ズレ量の最尤値を用いて、前記撮影画像の修正画像を得る画像修正手段と、
を備えたことにある（請求項１に対応する）。
このような構成とすることにより、環境や撮像装置内部の温度変化に基因して生じる手振れ補正機構のセンタリングのズレに対して、画像データからの特徴点追跡から算出されるズレ方向とズレ量と、温度測定手段からの温度変化情報とから算出されるズレ方向とズレ量とを基に、センタリングのズレを補償することを可能とし、長時間露光においても解像度を低下させることなく、撮影品質を維持し得る撮像装置を提供することができる。
【００１６】
さらに、本発明に係る撮像装置の特徴とするところは、前記撮像装置において、前記温度測定手段が、鏡胴内部のレンズ付近、撮像素子の裏側および手ぶれ補正機構の回路付近の内、少なくともいずれか１つの温度を測定することにある（請求項２に対応する）。
画像ズレに大きな影響を与える要因としては、レンズ群の温度特性と、撮像手段としての撮像素子の温度特性と、手ぶれ補正機構の温度特性が想定される。そのため、温度測定手段は、鏡胴内部のレンズ付近、撮像素子の裏側および手ぶれ補正機構の回路付近のうち、少なくともいずれか１つの温度を測定することが望ましい。
また、本発明に係る撮像装置は、前記重み付け算出手段で算出された重み付けの最大値が、予め設定された閾値よりも小さいと判断された場合は、前記位置ズレ推定手段による位置ズレ量を最尤位置とする最尤位置制御手段を更に有することにある（請求項３に対応する）。
上述した請求項１に対応する方式のみであると、必ず特徴点追跡の結果を用いることになる。しかしながら、例えば、静被写体が存在しないとか、または特徴点の追跡を失敗している場合には、特徴点追跡の結果を信頼するべきではない。むしろ、特徴点の追跡を失敗していることが検出された場合は、精度が低くとも温度変化による推定結果を用いた方が好結果を期待することができる。
また、例えば、図８に示されている特徴点追跡結果のうち、星のような動被写体または追跡失敗し易い特徴点の場合、
「特徴点追跡結果≠画角変化」
となる。このため、このような場合は、特徴点追跡結果を信頼することは画質劣化に繋がるため避けなければならない。従って、温度情報によって得られる“粗い”ズレ推定値と、特徴点追跡による“細かい”ズレ推定値がどれだけ離れているかどうか、という情報を得ることで、特徴点追跡が何らかの理由で信頼できないものと判断できれば、その場合は特徴点追跡によるズレ推定値は無視をして、温度情報による推定結果のみを信頼した方が精度が保たれる、という論理に基づく。
また、本発明に係る撮像装置の特徴とするところは、前記撮像装置において、前記重み付け算出手段により算出された重みが、予め設定された閾値を超えている特徴点の個数が、予め設定された個数以下であると判断された場合は、前記位置ズレ推定手段による位置ズレ量を最尤位置とする最尤位置制御手段を更に有することにある（請求項４に対応する）。
この請求項３に対応する方式と同様の論理により、特徴点追跡が何らかの理由で信頼できないものと判断できれば、その場合は、特徴点追跡によるズレ推定値は無視して、温度情報による推定結果のみを信頼する方が精度上望ましい。
また、本発明に係る撮像装置の特徴とするところは、前記重み付け算出手段が、前記特徴点抽出手段によって抽出された前記特徴点の前記撮影画像における座標情報と、前記撮像装置のレンズ群の位置情報とを用いて、前記重み付け算出手段で算出された重みに係数を掛けることである（請求項５に対応する）。
「特徴点追跡結果＝画角変化」という関係が成り立つためには、諸収差が全くない理想的なレンズである必要があるが、実際には歪曲収差などの影響が大きく、画像中心と画像周辺では、ずれ方向やずれ量に差異が出てくる。従って、諸収差の影響を加味するために、例えば画像中心付近の特徴点には大きな重みを与え、周辺には小さな重みを与えることが必要になる。諸収差は、焦点距離やピント位置によって変化するので、レンズ群の位置情報も参照して決定することが望ましい。
【００１７】
また、本発明に係る撮像装置の特徴とするところは、前記撮像装置において、前記重み付け算出手段が、前記位置ずれ推定手段によって算出された推定位置を中心とし、該推定位置の信頼度から決定される量を分散とするガウス関数に従って重み付けを行うことである（請求項６に対応する）。
特徴点は、任意の数で追跡可能であるが、追跡失敗した特徴点などは計算に用いるべきではないため、中心から離れるに従って急激に重みを小さくすることができるガウス関数を使って、各々の重みを決定できると都合が良い。（尚、この目的を達成できるのであれば、ガウス関数に限る必要はない。）
さらに、本発明に係る撮像装置の特徴とするところは、前記重み付け算出手段が、２変数を用いたガウシアンフィルタによる重み付き平均値計算法を用いて前記重みを算出することである（請求項７に対応する）。
特徴点追跡によって得られるずれ量は、直角座標（Ｘ，Ｙ）あるいは極座標（Ｒ，θ）のいずれも２次元の値を持つ。ガウス関数で重みを与えることを考えた場合、例えば温度情報による“粗い”ずれ量に対して、Ｘは非常に近いが、Ｙは非常に遠い、という特徴点があったとすると、その特徴点は、追跡失敗している可能性が高く、たまたまＸだけが近い値となったと考えるのが妥当である。従って、２次元の値がどちらとも“粗い”ずれ量に近くなければ信頼するべきではないため、２変数のガウシアンフィルタを用いて対応することが望ましい。
また、本発明に係る携帯情報端末装置の特徴とするところは、撮像機能を有し、上記したいずれかの撮像装置を具備することである（請求項８に対応する）。
このような構成とすることにより、環境や撮像装置内部の温度変化に基因して生じる手振れ補正機構のセンタリングのズレに対して、画像データからの特徴点追跡から算出されるズレ方向とズレ量と、温度測定手段からの温度変化情報とから算出されるズレ方向とズレ量とを基に、センタリングのズレを補償することを可能とし、長時間露光においても解像度を低下させることなく、撮影品質を維持し得る携帯情報端末装置を提供することができる。
また、本発明に係る撮像方法の特徴とするところ、被写体の撮像に対応する光信号を光電変換処理により取得して撮影画像を得る撮像ステップと、
少なくとも１枚分の前記撮影画像から複数の特徴点を抽出する特徴点抽出ステップと、
前記撮像ステップにより、前記被写体を複数回に渡って撮影して得られた一連の撮影画像から前記複数の特徴点の各々をそれぞれ追跡して該特徴点各々の動きベクトルを算出する動きベクトル算出ステップと、
本撮像装置の少なくとも一部分の温度を測定して該測定箇所の温度情報を得る温度測定ステップと、
前記温度情報を基にして、前記撮影画像の位置ズレ量を推定する位置ズレ推定ステップと、
前記位置ズレ量を参照して、前記動きベクトル算出ステップから得られた前記動きベクトルの各々を重み付ける重み付け算出ステップと、
前記重み付けられた前記動きベクトルを用いて、撮影画像の位置ズレ量の最尤値を算出する最尤位置算出ステップと、
前記位置ズレ量の最尤値を用いて前記撮影画像の補正画像を得る画像補正ステップと、を有することである（請求項９に相当する）。
このような構成とすることにより、環境や撮像装置内部の温度変化に基因して生じる手振れ補正機構のセンタリングのズレに対して、画像データからの特徴点追跡から算出されるズレ方向とズレ量と、温度測定手段からの温度変化情報とから算出されるズレ方向とズレ量とを基に、センタリングのズレを補償することを可能とし、長時間露光においても解像度を低下させることなく、撮影品質を維持し得る、撮像方法を提供することができる。
【００１８】
本発明に係る撮像装置は、上述したように、要するに、長時間露光やインターバル撮影モード等の、環境の温度変化によって生じるセンタリングのズレの影響を受ける撮影モードの場合に、画像処理による特徴点追跡で算出されるセンタリングのズレ量のうち、信頼性の高いものだけを選別することを特徴としている。
このため、温度センサの情報から温度特性を用いて推測されるセンタリングのズレ量を、「２変数を用いたガウシアンフィルタによる重み付き平均値計算法」による計算式のパラメータとして用いる。
以下、本発明の撮像装置および撮像方法並びに携帯情報端末装置の実施形態について、図面を参照して詳細に説明する。
図１は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。
図１において、本実施形態の撮像装置は、具体的には、デジタルスチルカメラの構成を示すものであり、主要な構成要素として、光学系６と、アナログ信号を処理するアナログフロントエンド部２１と、信号処理部２２と、を備えて構成される。
光学系６には、レンズ群５と、撮像素子２０と、モータドライバ２５と、絞り２６、内蔵ＮＤフィルタ２７と、温度センサ２９と、を備える。
【００１９】
また、アナログフロントエンド部２１には、ＣＣＤの駆動信号を生成するＴＧ回路３０と、ＣＣＤ出力信号のノイズを除去するＣＤＳ回路３１と、入力信号を増幅して出力するＡＧＣ回路３２と、入力アナログ信号をディジタル信号に変換して出力するＡ／Ｄ変換回路３３と、を備える。
さらに、信号処理部２２には、ＣＣＤ−Ｉ／Ｆ３４と、ＣＰＵで構成された制御部２８と、メモリコントローラ３５と、ＹＵＶ変換部３６と、リサイズ処理部３７と、表示出力制御部３８と、データ圧縮部３９と、メディアＩ／Ｆ４０と、を備える。
撮像素子２０は、ＣＣＤセンサやＣＭＯＳセンサで構成することができるが、ＣＭＯＳセンサで構成する場合は、アナログフロントエンド部２１を省略することができる。
信号処理部２２は、ＳＤＲＡＭ２３、ＲＯＭ２４、ＬＣＤ９、メモリカード１４および操作部４１と接続されている。
外部ＡＦモジュール部５５は、外部接続の光学系であるが、オプショナルな構成要素である。
ＲＯＭ２４には、制御部２８にて解読可能なプログラムコードで記述された、制御プログラムや、他の構成要素を制御するためのパラメータ等が格納されている。
【００２０】
アナログフロントエンド部２１は、ＣＤＳ３１、ＡＧＣ３２、Ａ／Ｄ変換回路３３およびＴＧ３０を有し、これら各部は、信号処理部２２の制御部２８によって制御される。
ＣＣＤ２０は、典型的には、ＣＣＤ（電荷結合素子）の撮像素子またはＣＭＯＳ（相補型金属酸化物半導体）撮像素子等の固体撮像素子を用いて構成され、光学像を光電変換して電子的な画像信号に変換する。
ＣＤＳ３１では、ＣＣＤ２０より得られた画像信号の相関二重サンプリングを行って画像ノイズを除去し、ＡＧＣ３２では、画像ノイズが除去された画像信号の利得調整を行い、Ａ／Ｄ変換回路３３では、利得調整された画像信号をＡ／Ｄ変換（アナログ−ディジタル変換）によりディジタル信号に変換して、信号処理部２２に送出する。
信号処理部２２のＣＣＤ−Ｉ／Ｆ３４は、Ａ／Ｄ変換回路３３から送出された画像信号データをＴＧ回路３０からのタイミングで一時記憶し、ＹＵＶ変換部３６、リサイズ処理部３７およびデータ圧縮部３９は、Ａ／Ｄ変換回路３３から送出された画像信号データを圧縮処理する。
信号処理部２２の表示出力制御部３８は、液晶表示装置のＬＣＤ９の表示を制御する。
【００２１】
信号処理部２２のメディアＩ／Ｆ４０は、メモリカード１４における画像データの入出力を制御する。
操作部４１は、ユーザーが操作する操作キー、操作スイッチおよび操作ボタン等と接続されている入力操作回路を含む。
温度センサ２９は、本発明の特徴的な構成要素であり、図１に示すように、鏡胴内部の光学系６付近や撮像素子２０の裏側、手ぶれ補正機構付近に配置され、これらの温度を測定し、測定温度に対応する電気信号に変換して制御部２８に送出するセンサである。
画像のズレに対して特に大きな影響を与える要因としては、レンズ群の温度特性と、撮像素子の温度特性と、手ぶれ補正機構（撮像素子周辺に設置可能）の温度特性が挙げられる。
従って、温度センサ２９は、上述し且つ図１に示すように、鏡胴内部のレンズ群５付近や、撮像素子２０の裏側や、前記の手ぶれ補正機構（図示は省略）の回路付近に置くことが望ましい。
但し、図１に示す本実施形態に係る撮像装置の要部の構成は、本発明に係る撮像装置の要部の構成の一例であり、一般に、本発明では、温度センサ２９を具備していさえすれば、外見的な構成としては他の構成を有する撮像装置であっても良い。
【００２２】
本発明に係る撮像装置には、撮影モードとして、インターバル合成モードを搭載しているものとする。最近のデジタルカメラには、インターバル撮影と称し、一定の時間間隔で連続撮影を行う撮影モードが搭載されているが、このモードでは基本的に三脚固定などで同じ構図で撮影をし続けることを想定している。
インターバル合成モードは、このインターバル撮影モードを発展させた形で、連続撮影された複数画像に対して、同一画素の出力値を比べ、より高輝度な方で上書きをしていく処理を行う。この処理は、比較明加算、比較明コンポジット等と呼ばれており、星の軌跡や、自動車のヘッドライトやテールランプの軌跡、蛍の航跡等を撮影する手法として知られている。
本実施の形態に係る撮像装置は、インターバル合成モードでの撮影の場合、最終的には制御部２８において下記の処理を行う。
（１） 所定回数の撮影を行う毎に、所定の複数の特徴点を追跡し、各々の特徴点のズレ量（移動距離）を求める。
（２） 所定回数の撮影を行う毎に、撮影画像に影響を与える周囲温度を温度センサ２９で計測し、該温度に対応する画像のズレ量を求める。
（３） （２）の処理で求まった温度に対応する画像のズレ量に基づいて重み付けを行って（１）記載のズレ量の重み付き平均値を求める。
【００２３】
以下、前述の（１）〜（３）の処理項目について、その考え方を詳述する。
まず、上記の（１）に関し、本実施の形態に係る撮像装置では、前記の所定の複数の特徴点として、ウェイトの高い静止対象の特徴点だけではなく、動的対象の特徴点も、区別することなく、ズレ量の算出に取り入れるものとする。
しかしながら、予め獲得した温度情報による画像のズレ量情報（但し、その推定精度は高くない）を用いて、静的な特徴点に対して重み付け平均値を求める計算の際に大きな重みを付与するのであり、ここが本発明の特徴である。つまり、温度情報を用いることにより、間接的に静的な特徴点か、それとも動的な特徴点かを区別しているとも言える。
次に、上記の（２），（３）に関し、静止対象の特徴点にウェイトを置く理由について述べると、画像のズレ量を示す情報を得るには、従来から特徴点を追跡する方法が用いられているが、被写体が完全に静止していなければ画像の正しいズレ方向と正しいズレ量とを算出することができない。
より具体的には、動被写体上の特徴点の場合、得られる結果は被写体像の撮像面上での動きベクトルが支配的になる。よって、動被写体上の特徴点の情報は、本発明にとっては無益な情報となるので、画像ズレ量の平均値計算から除外することが好ましい。
そこで、本発明では、動被写体上の特徴点については、画像ズレ量の平均値計算の際の重みを大きく下げることにしている。
一方、静被写体であれば、その撮像は、時間の経過に拘わらずに撮像面上の同じ１点に結像するという仮定ができるため、その動きベクトルから、逆に撮像面のズレ量を算出できることになる（但し、実際にはレンズの諸収差の影響も存在する）。
【００２４】
〔原理の説明〕
本発明に係る撮像装置では、静止対象の特徴点にウェイトを置くために、前述の（２）項で求めた温度に対応する画像のズレ量を画像ズレ量の平均値計算に取り入れるが、以下、その原理及び考え方を説明する。
前述のとおり、画像上の特徴点を追跡して動きベクトルを求めることが画像ズレ量を最も正確に計測する方法であるが、この場合、該特徴点が静被写体上にあることが大前提となる。しかしながら、実際の場面では、静被写体と動被写体とが混在しているので、何らかの手段によって、両者の区別を行うことが必要となる。
そこで、前述のとおり、本発明では、制御部２８は、静被写体／動被写体の区別は行わずとも、別の方法を用いて（即ち、画像ズレ量の平均値計算を重み付きの平均値計算とすることで）、有益な特徴点の選別を間接的に行うものであり、これにより、画像ズレ量の算出精度を上げている。
一方、画像ズレが発生する原因は、起動直後のカメラ本体の温度上昇によるものであり、即ち、メカ部品の変形や、電気部品の特性変化等が挙げられる。そこで、カメラ本体内の温度を温度センサ２９で監視することができれば、どれだけ画像ズレが生じ得るか、ある程度の推測値を立てることができる。
【００２５】
しかしながら、温度センサ２９の精度や、環境温度の影響、繰り返しバラツキ等を考えると、これだけでは、求められる画像ズレ量の推定精度に対して、十分であるとは言えない（例えば、撮影の全ての回に渡って同じ温度変化が生じて同じズレ量になるわけではない）。
そこで、制御部２８は、画像上の特徴点を追跡して動きベクトルを求める手段と、カメラ本体内の温度を求めて該温度変化による画像ズレ量を推定する手段とを組み合わせる。具体的には、制御部２８は、前記の各特徴点のうち、精度（尤度）が低いものについては画像ズレ量の重み付き平均値計算の際に低い重みで計算されるような計算式（ここでは、「２変数を用いたガウシアンフィルタによる重み付き平均値計算法」による計算式）を用いる。これにより、結果的に静被写体の撮像面上での動きベクトルを求めることができるようになる。
但し、制御部２８は、前記画像ズレ量の重み付き平均値計算の際に、算出された重み付けの最大値が、予め設定された閾値よりも小さいと判断された場合は、前記温度変化による画像ズレ量を推定する手段による位置ズレ量を最尤位置とする。
【００２６】
また、制御部２８は、前記算出された重み付けの重みが、予め設定された閾値を超えている特徴点の個数が、予め設定された個数以下であると判断された場合は、前記温度変化による画像ズレ量を推定する手段による位置ズレ量を最尤位置とする。
また、制御部２８は、前記抽出された特徴点の前記撮像中での座標情報と、本撮像装置のレンズ群の位置情報とを用いて、前記算出された重み付けの重みに係数を掛けるように制御することも可能である。
尚、本発明に係る構成要件と図１に示される各部の構成とについて、説明する。
被写体の撮像に対応する光信号を光電変換処理により取得して撮影画像を得る撮像手段は、図１のレンズ群、絞りを含む光学系６、撮像素子２０、アナログフロントエンド部２１、信号処理部２２を含んで構成される。
また、少なくとも１枚分の前記撮影画像から複数の特徴点を抽出する特徴点抽出手段は、図１の信号処理部２２のＣＰＵ２８を含んで構成される。
前記撮像手段により、前記被写体を複数回に渡って撮影して得られた一連の撮影画像から前記複数の特徴点の各々をそれぞれ追跡して該特徴点の各々の動きベクトルを算出する動きベクトル算出手段は、図１の信号処理部２２のＣＰＵ２８を含んで構成される。
【００２７】
本撮像装置の少なくとも一部分の温度を測定して該測定箇所の温度情報を得る温度測定手段は、図１の温度センサ２９が相当する。
前記温度情報を基にして、前記撮影画像の位置ズレ量を推定する位置ズレ推定手段は、図１の温度センサ２９から得られた温度情報と、ＲＯＭ２４に保存されたズレ量推定テーブルから、計算を行うＣＰＵ２８を含んで構成される。
前記位置ズレ量を参照して、前記動きベクトル算出手段から得られた前記動きベクトルの各々を重み付ける重み付け算出手段は、図１の信号処理部２２のＣＰＵ２８を含んで構成される。
前記重み付けられた前記動きベクトルを用いて、撮影画像の位置ズレ量の最尤値を算出する最尤位置算出手段および前記位置ズレ量の最尤値を用いて前記撮影画像の補正画像を得る画像補正手段は、図１の信号処理部２２のＣＰＵ２８を含んで構成される。
上記各部の構成および作用は、図２を用いたフローチャートと関連して説明する。
【００２８】
〔計算式の説明〕
単純平均でセンタリングのズレ量を算出する場合は、特徴点の個数をＮとして、（１）式を用いるが、この算式では動被写体等による外れ値を引き込んでしまうので、算出精度が悪くなる。
【００２９】
ΔＸａｖｒ＝ΣΔＸ〔ｉ〕／Ｎ，ΔＹａｖｒ＝ΣΔＹ〔ｉ〕／Ｎ ………（１）
そこで、本発明の実施の形態に係る撮像装置では、画像ズレ量を算出するために、一例として、前述の「２変数を用いたガウシアンフィルタによる重み付き平均値計算法」を使用する。
以下、この一例としての、「２変数を用いたガウシアンフィルタによる重み付き平均値計算法」に基づく計算式について説明する。
なお、ここでは、１００枚目に撮影した画像データを補正する場合を説明する。
本発明の実施の形態に係る撮像装置では、温度変化によるセンタリングのズレ量の推定値を用いる。該推定値をΔＸｔ，ΔＹｔとおき、個体間のばらつきや測定精度等を考慮した前記推定値のばらつき度合をσＸｔ，σＹｔとする。
また、特徴点の識別子をｉとし、複数の特徴点毎に、下記の（２）式に基づいて、（Ｘ，Ｙ）空間（直角座標空間）を（Ｒ，θ）空間（極座標空間）に変換し、（３）式に示す「２変数を用いたガウシアンフィルタによる重み付き平均値計算法」の算式を用いて、“ずれ量”と、“ずれ方向”とをパラメータとする画像ズレ量の重み付き平均を算出する。
【００３０】
Ｒ〔ｉ〕＝（ΔＸ〔ｉ〕２＋ΔＹ〔ｉ〕２）１／２ ………（２）
【００３１】
Ｒａｖｒ＝Σ（ＷＲ〔ｉ〕×Ｗθ〔ｉ〕×Ｒ〔ｉ〕）／Σ（ＷＲ〔ｉ〕×Ｗθ〔ｉ〕），
θａｖｒ＝Σ（ＷＲ〔ｉ〕×Ｗθ〔ｉ〕×θ〔ｉ〕）／Σ（ＷＲ〔ｉ〕×Ｗθ〔ｉ〕），
ＷＲ〔ｉ〕＝Σ（（Ｒｔ−Ｒ〔ｉ〕）２／（２×σＲｔ２）／（σＲｔ×（２π）（１／２）），
Ｗθ〔ｉ〕＝Σ（（θｔ−θ〔ｉ〕）２／（２×σθｔ２）／（σθｔ×（２π）（１／２）） ………（３）
つまり、（３）式による算出方法では、重み付けの仕方は、温度情報から求められる推定のズレ量（Ｒｔ，θｔ）を中心とする２次元のガウス関数によって決まることになる。
Ｒ方向、θ方向の分散は、それぞれσＲｔ、σθｔであるが、これは信頼度、推定ズレ量が正解値からどれだけ離れているかによって決定される量であり、前述したように温度センサの精度や、繰り返しのバラツキ等の経験則から決めることができる。
前述のとおり、この重み付けにより、温度情報から求められる推定のズレ量から、遠く離れた結果を出した特徴点の重みは非常に低くなるようにし、前記推定のズレ量に近い結果を出した特徴点の重みは高くなるようにしてズレ量の重み付き平均値が算出する必要が有る。
【００３２】
即ち、仮にＲ方向（動き量）が前記推定のズレ量に近かったとしても、θ方向（動き方向）が前記推定のズレ量に遠ければ、特徴点の信頼度としては低いと考えるべきである。
【００３３】
そこで、本発明の撮像装置では、「２変数を用いたガウシアンフィルタによる重み付き平均値計算法」を用いてズレ量の重み付き平均値を算出する。
なお、各々の重み付けに従って算出された（２）式に示す重み付け平均値、即ち、
Ｒａｖｒ，θａｖｒが最尤値（平均値）となる。
この実施の形態では、ズレ量を求める重み付け平均算出法として、（３）式を用いたが、本発明では、一般に、温度情報から求められる推定のズレ量から、遠く離れた結果を出した特徴点の重みは非常に低くなるようにし、前記推定のズレ量に近い結果を出した特徴点の重みは高くなるようにして、ズレ量の重み付き平均値が算出されさえすれば良く、よって、ズレ量を求める重み付け平均算出については（３）式以外の算式を用いても良い。
また、必ずしも極座標を使用する必要は無く、直角座標を使用しても良い。ちなみに、（３）式に対応する直角座標形式の計算式も存在する。
【００３４】
図２は、本発明の実施の形態に係る撮像装置のインターバル合成モードにおける処理手順を示すフローチャートである。
以下、図１を参照しながら、図２に示すフローチャートを使用して、本実施の形態に係る撮像装置のインターバル合成モードにおける処理手順を説明する。
インターバル合成モードとは、インターバル撮影で得られる複数画像を比較して、より高輝度の画素だけを上書きすることで星の軌跡等を撮影可能とするモードであるが、品質面を考慮すると、前提条件として、１〔ｐｘ〕程度の精度で撮影構図が一致する必要がある。
（ステップＳ１）
まず、ステップＳ１では、制御部２８は、インターバル合成モードの開始と共に、１枚目の画像を撮影する。
（ステップＳ２）
次に、ステップＳ２では、制御部２８は、前記撮影画像の内から特徴点を抽出する。
この特徴点の抽出に用いるアルゴリズムは任意で良いが、ここでは、「Ｇｏｏｄ Ｆｅａｔｕｒｅｓ Ｔｏ Ｔｒａｃｋ」アルゴリズムを用いて１００点の特徴点を抽出するものとする。
【００３５】
このアルゴリズムは、特徴点追跡手法であるＫＬＴ（Ｌｕｃａ−Ｋａｎａｄｅ−Ｔｏｍｏｓｉ）法で用いられている特徴点抽出手法であり、基本的な算出には「Ｈａｒｒｉｓオベレータ」が用いられる。特徴点を抽出する手法として、画像中の大きな輝度変化のある部分を見つける微分幾何学に基づくアプローチが多く存在しているが、この「Ｈａｒｒｉｓオペレータ」もその内の１つである。
（ステップＳ３）
次に、ステップＳ３では、制御部２８は、前回に撮影した１枚目の画像に続く２枚目の画像を撮影することを継続し、Ｎ枚目までの画像を撮影する（Ｎは、任意の整数であるが、例えば、１００とすることができる）。
【００３６】
（ステップＳ４）
次に、ステップＳ４では、制御部２８は、その時の温度変化ΔＴを温度センサ２９を介して測定し、推定されるズレ量ΔＸｔ〔ｐｘ〕，ΔＹｔ〔ｐｘ〕および固体ばらつき度合σＸｔ，σＹｔを算出する。
これらのパラメータの推定には、ホール素子やマグネット等のメカ部品の温度特性から算出する方法を用いても良いし、実際に個体毎に温度特性を測定して得たパラメータ値をルックアップ・テーブルに格納しておく方法を用いても良い。
（ステップＳ５）
次に、ステップＳ５では、制御部２８は、１枚目からＮ枚目までのＮ枚の画像に基づいて、特徴点の追跡を行う。この特徴点の追跡アルゴリズムは、任意であるが、ここでは、前述のとおり、「Ｇｏｏｄ Ｆｅａｔｕｒｅｓ Ｔｏ Ｔｒａｃｋ」アルゴリズムを使用するものとし、１００点の特徴点を追跡するものとする。また、制御部２８は、１枚目からＮ枚目までのＮ枚の画像の追跡で得られた前記１００点の特徴点の追跡結果に基づいて、ズレ量ΔＸ〔ｉ〕，ΔＹ〔ｉ〕を求める。
【００３７】
（ステップＳ６）
次に、ステップＳ６では、制御部２８は、前記のズレ量ΔＸ〔ｉ〕，ΔＹ〔ｉ〕を、（２）式を用いて（Ｒ，θ）空間（極座標空間）に変換する。
また、制御部２８は、この変換結果をパラメータとして、（３）式に代入して、（Ｒ，θ）空間でのＲａｖｒとθａｖｒとを求める。さらに、この結果として得られたＲａｖｒと、θａｖｒとを（Ｘ，Ｙ）空間（直角座標空間）に変換して、（Ｘ，Ｙ）空間での重み付き平均ズレ量ΔＸ，ΔＹを求める。
この場合、２変数を用いたガウシアンフィルタによる重み付けを行うことができる。
【００３８】
（ステップＳ７）
次に、ステップＳ７では、制御部２８は、Ｎ枚目の画像を、前記の平均ズレ量ΔＸ，ΔＹだけずらして合成処理する。
（ステップＳ８）
次に、ステップＳ８では、制御部２８は、撮影が終了したか否かを検証し、撮影が終了していない場合は、ステップＳ３に戻り、撮影が終了している場合はＳ９に移る。
（ステップＳ９）
引き続き、ステップＳ９では、制御部２８は、Ｎ＋１枚目の画像の撮影が完了したこととなるので、インターバル合成モードの処理を終了する。
〔実施例の説明〕
図３は、１００枚目までの特徴点追跡結果（フルスケール）をプロットした説明図である。
図４は、１００枚目までの特徴点追跡結果（０〔ｐｘ〕付近）をプロットした説明図である。
図３と図４は、スケールが異なるだけであって、データとしては共通である。
きちんと追跡できていない特徴点や、動被写体を追跡してしまっている特徴点の影響を受けて、生データをそのまま単純平均した場合、ΔＸａｖｒ＝−２５〔ｐｘ〕、ΔＹａｖｒ＝＋１０１〔ｐｘ〕となっているが、（３）式を用いて特徴点に応じて重みを変化させた場合、重み付きの平均値は、ΔＸａｖｒ＝−０．０〔ｐｘ〕、ΔＹａｖｒ＝＋４．８〔ｐｘ〕となった。但し、目視では５〔ｐｘ〕のズレ量である。
上記の実施例では、Ｒｔ＝５、θｔ＝０、σθｔ＝１０として机上計算を行ったが、実際の実施に際しては、温度センサ２９からの情報に基づいて、推定値（ΔＲｔ，Δθｔ）を算出して求めることが望ましい。
なお、本発明に係る撮像装置の各構成要素の処理の少なくとも一部をコンピュータ制御により実行するものとし、かつ、上記処理を、図２のフローチャートで示した動作手順により、コンピュータに実行させるためのコンピュータプログラムは、半導体メモリを始め、ＣＤ−ＲＯＭや磁気テープなどのコンピュータ読み取り可能な記録媒体に格納して頒付しても良い。そして、少なくともマイクロコンピュータ、パーソナルコンピュータ、汎用コンピュータを範疇に含むコンピュータが、上記の記録媒体から上記コンピュータプログラムを読み出して、実行するものとしても良い。
また、本発明に係る撮像装置を、撮像機能を有した携帯情報端末装置として構成することができる。
【符号の説明】
【００３９】
５ レンズ群
６ 光学系
９ ＬＣＤ
１４ メモリカード
２０ 撮像素子
２１ アナログフロントエンド部
２２ 信号処理部
２３ ＳＤＲＡＭ
２４ ＲＯＭ
２５ モータドライバ
２６，２７ 絞り・内蔵ＮＤフィルタ
２８ 制御部
２９ 温度センサ
３０ ＴＧ回路
３１ ＣＤＳ回路
３２ ＡＧＣ回路
３３ Ａ／Ｄ変換回路
３４ ＣＣＤ−Ｉ／Ｆ
３５ メモリコントローラ
３６ ＹＵＶ変換部
３７ リサイズ処理部
３８ 表示出力制御部
３９ データ圧縮部
４０ メディアＩ／Ｆ
４１ 操作部
５５ 外部ＡＦモジュール部
【特許文献１】「特開平１１−００２８５２号公報」
【特許文献２】「特開２００１−２２３９３２号公報」
【特許請求の範囲】
【請求項１】
被写体の撮像に対応する光信号を光電変換処理により取得して撮影画像を得る撮像手段と、
少なくとも１枚分の前記撮影画像から複数の特徴点を抽出する特徴点抽出手段と、
前記撮像手段により、前記被写体を複数回に渡って撮影して得られた一連の撮影画像から前記複数の特徴点の各々をそれぞれ追跡して該特徴点の各々の動きベクトルを算出する動きベクトル算出手段と、
本撮像装置の少なくとも一部分の温度を測定して該測定箇所の温度情報を得る温度測定手段と、
前記温度情報を基にして、前記撮影画像の位置ズレ量を推定する位置ズレ推定手段と、
前記位置ズレ量を参照して、前記動きベクトル算出手段から得られた前記動きベクトルの各々を重み付ける重み付け算出手段と、
前記重み付けられた前記動きベクトルを用いて、撮影画像の位置ズレ量の最尤値を算出する最尤位置算出手段と、
前記位置ズレ量の最尤値を用いて前記撮影画像の補正画像を得る画像補正手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記温度測定手段は、鏡胴内部のレンズ付近、撮像素子の裏側および手ぶれ補正機構の回路付近の内、少なくともいずれか１つの温度を測定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記重み付け算出手段で算出された重み付けの最大値が、予め設定された閾値よりも小さいと判断された場合は、前記位置ズレ推定手段による位置ズレ量を最尤位置とする最尤位置制御手段を更に有することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記重み付け算出手段により算出された重みが、予め設定された閾値を超えている特徴点の個数が、予め設定された個数以下であると判断された場合は、前記位置ズレ推定手段による位置ズレ量を最尤位置とする最尤位置制御手段を更に有することを特徴とする請求項１または３に記載の撮像装置。
【請求項５】
前記重み付け算出手段は、前記特徴点抽出手段によって抽出された前記特徴点の前記撮影画像における座標情報と、前記撮像装置のレンズ群の位置情報とを用いて、前記重み付け算出手段で算出された重みに係数を掛けることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記重み付け算出手段は、前記位置ずれ推定手段によって算出された推定位置を中心とし、該推定位置の信頼度から決定される量を分散とするガウス関数に従って重み付けを行うことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記重み付け算出手段は、２変数を用いたガウシアンフィルタによる重み付き平均値計算法を用いて前記重みを算出することを特徴とする請求項６記載の撮像装置。
【請求項８】
撮像機能を有し、請求項１〜請求項６のいずれか１項の撮像装置を具備することを特徴とする携帯情報端末装置。
【請求項９】
被写体の撮像に対応する光信号を光電変換処理により取得して撮影画像を得る撮像ステップと、
少なくとも１枚分の前記撮影画像から複数の特徴点を抽出する特徴点抽出ステップと、
前記撮像ステップにより、前記被写体を複数回に渡って撮影して得られた一連の撮影画像から前記複数の特徴点の各々をそれぞれ追跡して該特徴点各々の動きベクトルを算出する動きベクトル算出ステップと、
本撮像装置の少なくとも一部分の温度を測定して該測定箇所の温度情報を得る温度測定ステップと、
前記温度情報を基にして、前記撮影画像の位置ズレ量を推定する位置ズレ推定ステップと、
前記位置ズレ量を参照して、前記動きベクトル算出ステップから得られた前記動きベクトルの各々を重み付ける重み付け算出ステップと、
前記重み付けられた前記動きベクトルを用いて、撮影画像の位置ズレ量の最尤値を算出する最尤位置算出ステップと、
前記位置ズレ量の最尤値を用いて前記撮影画像の補正画像を得る画像補正ステップと、を有することを特徴とする撮像方法。
【請求項１】
被写体の撮像に対応する光信号を光電変換処理により取得して撮影画像を得る撮像手段と、
少なくとも１枚分の前記撮影画像から複数の特徴点を抽出する特徴点抽出手段と、
前記撮像手段により、前記被写体を複数回に渡って撮影して得られた一連の撮影画像から前記複数の特徴点の各々をそれぞれ追跡して該特徴点の各々の動きベクトルを算出する動きベクトル算出手段と、
本撮像装置の少なくとも一部分の温度を測定して該測定箇所の温度情報を得る温度測定手段と、
前記温度情報を基にして、前記撮影画像の位置ズレ量を推定する位置ズレ推定手段と、
前記位置ズレ量を参照して、前記動きベクトル算出手段から得られた前記動きベクトルの各々を重み付ける重み付け算出手段と、
前記重み付けられた前記動きベクトルを用いて、撮影画像の位置ズレ量の最尤値を算出する最尤位置算出手段と、
前記位置ズレ量の最尤値を用いて前記撮影画像の補正画像を得る画像補正手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記温度測定手段は、鏡胴内部のレンズ付近、撮像素子の裏側および手ぶれ補正機構の回路付近の内、少なくともいずれか１つの温度を測定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記重み付け算出手段で算出された重み付けの最大値が、予め設定された閾値よりも小さいと判断された場合は、前記位置ズレ推定手段による位置ズレ量を最尤位置とする最尤位置制御手段を更に有することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記重み付け算出手段により算出された重みが、予め設定された閾値を超えている特徴点の個数が、予め設定された個数以下であると判断された場合は、前記位置ズレ推定手段による位置ズレ量を最尤位置とする最尤位置制御手段を更に有することを特徴とする請求項１または３に記載の撮像装置。
【請求項５】
前記重み付け算出手段は、前記特徴点抽出手段によって抽出された前記特徴点の前記撮影画像における座標情報と、前記撮像装置のレンズ群の位置情報とを用いて、前記重み付け算出手段で算出された重みに係数を掛けることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記重み付け算出手段は、前記位置ずれ推定手段によって算出された推定位置を中心とし、該推定位置の信頼度から決定される量を分散とするガウス関数に従って重み付けを行うことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記重み付け算出手段は、２変数を用いたガウシアンフィルタによる重み付き平均値計算法を用いて前記重みを算出することを特徴とする請求項６記載の撮像装置。
【請求項８】
撮像機能を有し、請求項１〜請求項６のいずれか１項の撮像装置を具備することを特徴とする携帯情報端末装置。
【請求項９】
被写体の撮像に対応する光信号を光電変換処理により取得して撮影画像を得る撮像ステップと、
少なくとも１枚分の前記撮影画像から複数の特徴点を抽出する特徴点抽出ステップと、
前記撮像ステップにより、前記被写体を複数回に渡って撮影して得られた一連の撮影画像から前記複数の特徴点の各々をそれぞれ追跡して該特徴点各々の動きベクトルを算出する動きベクトル算出ステップと、
本撮像装置の少なくとも一部分の温度を測定して該測定箇所の温度情報を得る温度測定ステップと、
前記温度情報を基にして、前記撮影画像の位置ズレ量を推定する位置ズレ推定ステップと、
前記位置ズレ量を参照して、前記動きベクトル算出ステップから得られた前記動きベクトルの各々を重み付ける重み付け算出ステップと、
前記重み付けられた前記動きベクトルを用いて、撮影画像の位置ズレ量の最尤値を算出する最尤位置算出ステップと、
前記位置ズレ量の最尤値を用いて前記撮影画像の補正画像を得る画像補正ステップと、を有することを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図７】
【図９】
【図１０】
【図１１】
【図５】
【図６】
【図８】
【図２】
【図３】
【図４】
【図７】
【図９】
【図１０】
【図１１】
【図５】
【図６】
【図８】
【公開番号】特開２０１３−５５３８１（Ｐ２０１３−５５３８１Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９０２０８（Ｐ２０１１−１９０２０８）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]