撮像装置及びその制御方法
【課題】 光学補正の精度の低下させることなく光学補正に係る演算量及びオーバーヘッドを低減すること。
【解決手段】 撮像素子の電荷蓄積期間において光学系が駆動されたことによる光学系の光学パラメータの変動量を算出し（Ｓ５０３）、その変動量に応じて、電荷蓄積期間における光学パラメータの算出する個数を決定する（Ｓ５０４）。その後、決定された個数だけ、電荷蓄積期間における異なる時刻での光学パラメータを算出し（Ｓ５０７）、算出された各光学パラメータに対応する光学特性を光学データベースから取得し（Ｓ５０８）、取得された各光学特性に基づき補正値を生成して（Ｓ５１０）、その補正値を用いて画像信号を補正する（Ｓ５１１）。
【解決手段】 撮像素子の電荷蓄積期間において光学系が駆動されたことによる光学系の光学パラメータの変動量を算出し（Ｓ５０３）、その変動量に応じて、電荷蓄積期間における光学パラメータの算出する個数を決定する（Ｓ５０４）。その後、決定された個数だけ、電荷蓄積期間における異なる時刻での光学パラメータを算出し（Ｓ５０７）、算出された各光学パラメータに対応する光学特性を光学データベースから取得し（Ｓ５０８）、取得された各光学特性に基づき補正値を生成して（Ｓ５１０）、その補正値を用いて画像信号を補正する（Ｓ５１１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラ等の撮像装置及びその制御方法に関するものである。
【背景技術】
【０００２】
撮像装置のレンズにおいては、収差や周辺光量の低下が発生し、これらは出力画像の歪みや濃度勾配といった画質劣化の要因となる。収差や周辺光量は、焦点距離、物体距離、絞り（以下、光学パラメータと呼ぶ）に応じて変化する。このため、従来より、予め記憶された光学特性を保持するメモリから光学パラメータに対応した光学特性を取得し、これを用いて、撮影された画像を補正する技術が提案されている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−０６９３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１では、撮像素子の電荷蓄積期間中に光学系が駆動することによる光学パラメータの変動については考慮されていない。撮像素子の電荷蓄積期間中に光学パラメータが変動すると、補正精度が悪化するという問題がある。
【０００５】
図８は、撮像素子の電荷蓄積の様子及び光学パラメータである焦点距離の変動の様子を模式的に示す図である。８０１は、撮像装置の撮影方式で決定される垂直同期信号であり、周期Ｔで周期的に発生している。８０２は、ズームレンズの駆動を模式的に表したものであり、横軸に時間、縦軸に焦点距離をとって、ズームレンズの駆動による焦点距離の変動の様子の一例を示している。８０３、８０５、８０７は、フレームごとに決定されるズームレンズの目標焦点距離を示す。ここでは、目標焦点距離、１垂直同期期間に一度決定され、ズームレンズは、決定された目標焦点距離まで、１垂直同期期間かけて一定速度で駆動されるものとする。８１３、８１５は、撮像素子の電荷蓄積開始時刻を示し、８１２、８１４，８１６は、撮像素子に蓄積された電荷を読み出す時刻を示している。８０４、８０６は撮像素子が電荷蓄積動作を開始する時刻における焦点距離を示し、８０８、８０９、８１０、８１１は、撮像素子の電荷蓄積動作中の焦点距離を示している。
【０００６】
撮像素子が８１３、８１４で決定されたタイミングで電荷蓄積動作を行うとき、電荷蓄積動作中にもズームレンズは駆動しており、光学パラメータである焦点距離ｌが変化することによって画像上に現れる光学特性も変動してしまう。従来技術では、ＶＤのタイミングで取得した光学パラメータを用いて補正を行うため、センサの電荷蓄積期間中に光学パラメータが変動すると補正精度が悪化するという問題があった。
【０００７】
そこで、８１３、８１４で示される電荷蓄積時間中の焦点距離の変動を考慮した処理を行うことが考えられる。例えば、電荷蓄積開始時刻における焦点距離ｌａ１を目標焦点距離ｌｓとｌｅ１から算出し、かつ、電荷蓄積期間中の焦点距離ｌ１０、ｌ１１を算出された焦点距離ｌａ１と目標焦点距離ｌｅ１からそれぞれ算出する。これにより、複数の光学パラメータが取得される。そして、各光学パラメータに基づいて得られた光学特性から補正値を算出する。こうして、撮像素子の電荷蓄積時間中の光学変動を加味した補正値を生成することができる。
【０００８】
しかしながら、８１５、８１６で示される電荷蓄積期間のように、撮像素子の電荷蓄積期間中に光学系の駆動がなされない場合もある。その場合、複数の焦点距離ｌａ２、ｌ２０、ｌ２１を算出し、それらに基づき光学特性を取得して補正値を生成することとなるが、光学特性に変動がないのだから、電荷蓄積期間中の複数の焦点距離を算出することは無駄になる。さらには、それら算出した複数の焦点距離に基づき光学データベースから複数の光学特性を参照してしまうため、同じ光学特性のデータを何回も参照してしまうという問題もある。
【０００９】
そこで、本発明は、このような問題を解決し、光学補正の精度を低下させることなく光学補正にかかる演算量及びオーバーヘッドを低減することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一側面に係る撮像装置は、ズームレンズ、フォーカスレンズ、及び絞りのうちの少なくともいずれか１つを含む光学系と、前記光学系によって投影された被写体像を画像信号に変換して出力する撮像素子と、前記光学系の光学パラメータと光学特性との対応関係を記憶する光学データベースと、前記撮像素子の電荷蓄積期間において前記光学系が駆動されたことによる前記光学系の光学パラメータの変動量を算出する変動量算出手段と、前記変動量算出手段によって算出された前記変動量に応じて、前記電荷蓄積期間における光学パラメータの、算出する個数を決定する決定手段と、前記決定手段により決定された個数だけ、前記電荷蓄積期間における異なる時刻での光学パラメータを算出する光学パラメータ演算手段と、前記光学パラメータ演算手段により算出された各々の光学パラメータに対応する光学特性を前記光学データベースから取得する取得手段と、前記取得手段により取得された各々の光学特性に基づいて補正値を生成する生成手段と、前記生成手段により生成された前記補正値を用いて前記画像信号を補正する補正手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、光学補正の精度の低下させることなく光学補正に係る演算量及びオーバーヘッドを低減することができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態１における撮像装置の概略構成を示すブロック図。
【図２】実施形態１における光学パラメータの変動量の算出方法を説明する図。
【図３】実施形態１における光学パラメータの個数の決定方法を説明する図。
【図４】実施形態１における光学パラメータの算出方法を説明する図。
【図５】実施形態１の撮像装置の処理を示すフローチャート。
【図６】実施形態２における撮像装置の概略構成を示すブロック図。
【図７】実施形態２の撮像装置の処理を示すフローチャート。
【図８】従来の撮像素子の電荷蓄積の様子及び焦点距離の変動の様子を模式的に示す図。
【図９】実施形態２における光学パラメータの変動と各光学特性の影響度を示す図。
【図１０】実施形態３における光学データベースへの光学特性の参照を説明する図。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
【００１４】
＜実施形態１＞
図１に本実施形態における撮像装置のブロック図を示す。光学系１０１は、システム制御部１０３から出力される制御信号により駆動され、ズームレンズ、絞り、フォーカスレンズのうちの少なくとも１つ以上から構成される。撮像素子１０２は、システム制御部１０３から出力される制御信号により駆動され、光学系１０１によって投影された被写体像を光電変換により電気信号に変換して、画像信号として出力する。このとき、撮像素子１０２が電子シャッタ機能を有する場合は、システム制御部１０３から出力される制御信号によって必要な露光時間となるように露光時間を確保してもよい。システム制御部１０３は撮像装置全体を制御する。光学データベース１０４は、光学系１０１の光学パラメータと各画素位置の光学特性との対応関係を記憶している。なお、本明細書において、光学パラメータとは、焦点距離、物体距離、絞りのうちの少なくともいずれか１つを含むパラメータをいうものとする。
【００１５】
光学特性算出部１０９では、システム制御部１０３から出力される撮像素子１０２の駆動情報と、システム制御部１０３から出力される光学系１０１の駆動情報とに基づいて光学パラメータを算出する。光学特性算出部１０９はさらに、光学データベース１０４を参照して、算出した光学パラメータに応じた光学特性を取得し、その光学特性を補正値生成部１０６へ出力する。具体的には、図示するように、光学特性算出部１０９は、演算制御部１０８及び光学パラメータ演算部１０５を含む。演算制御部１０８は、システム制御部１０３から得られた撮像素子１０２の駆動情報と、システム制御部１０３から出力された光学系１０１の駆動情報とに基づいて、光学パラメータの変動量を算出する。演算制御部１０８はさらに、その変動量に基づき、算出する光学パラメータの個数を決定して光学パラメータ演算部１０５に出力する。光学パラメータ演算部１０５は、演算制御部１０８で決定された個数だけ、撮像素子１０２の電荷蓄積期間における光学パラメータを演算する。
【００１６】
補正値生成部１０６は、得られた光学特性から、撮像素子１０２から出力される画像信号に対して補正処理を行うのに必要な補正値を生成する。光学補正部１０７は、補正値生成部１０６で生成された補正値を用いて撮像素子１０２から出力された画像信号に対して補正処理を行う。
【００１７】
次に図２、図３、図４、図５を用いて本実施形態の動作について説明する。図５は、本実施形態における撮像装置の動作を説明するフローチャートである。まず、システム制御部１０３は、撮像装置のユーザからの指示により光学系１０１の駆動を決定し、所望の駆動を実現させるために制御信号を光学系１０１に送信する（Ｓ５０１）。システム制御部１０３は、撮像装置のユーザからの指示によって、撮像素子１０２の駆動を決定し、所望の駆動を実現させるために制御信号を撮像素子１０２に送信する（Ｓ５０２）。演算制御部１０８は、システム制御部１０３から送られた撮像素子１０２の駆動情報及び光学系１０１の駆動情報に基づいて、光学パラメータである焦点距離の変動量Δｌを算出する（Ｓ５０３）。
【００１８】
図２は、撮像素子１０２の蓄積の様子と光学パラメータである焦点距離の変動の様子を模式的に示したものである。２０１は、撮像装置の撮影方式で決定される垂直同期信号であり、周期Ｔで周期的に発生している。２０２は、ズームレンズの駆動を模式的に表したものであり、横軸に時間、縦軸に焦点距離をとって、ズームレンズの駆動による焦点距離の変動の様子の一例を示している。２０３は、２０６で示されるズームレンズの駆動開始時刻ｔｓにおける焦点距離ｌｓを示し、２０４は、フレームごとに決定されるズームレンズの目標焦点距離ｌｅを示す。ここでは、目標焦点距離ｌｅは１垂直同期期間に一度決定され、ズームレンズは目標焦点距離まで１垂直同期期間かけて一定速度で駆動するものとする。２０８は、撮像素子１０２の電荷蓄積期間の開始時刻ｔａを示し、２０７は、撮像素子１０２に蓄積された電荷を読み出す時刻ｔｅを示す。ｔａからｔｅまでの時間が撮像素子１０２の電荷蓄積時間となる。なお、以下では、ｔｅを、電荷蓄積期間の終了時刻ともいう。また、本実施形態では、説明を分かりやすくするために、撮像素子１０２からの画像信号の読み出しが１垂直同期期間毎に行われているものとし、ズームレンズの目標焦点距離ｌｅは、撮像素子１０２から画像信号を読み出す時刻ｔｅにおけるものとして説明する。２０５は、電荷蓄積開始時刻ｔａにおける焦点距離ｌａを示す。電荷蓄積開始時刻ｔａにおける焦点距離ｌａは、次式に従い算出される。
【００１９】
【数１】
【００２０】
また、光学パラメータである焦点距離の変動量Δｌは、電荷蓄積開始時刻における焦点距離ｌａと、電荷蓄積期間の終了時刻における焦点距離ｌｅとの差であるから、変動量Δｌは、次式により算出される。
【００２１】
【数２】
【００２２】
本実施形態では、変動量Δｌの符号すなわち焦点距離の移動方向は考慮しないため絶対値で算出しているが、移動方向の情報を変動量に加える場合は、ｌａないしｌｅを基準に差分をとることで算出することができる。以上が、本実施形態における変動量算出の例である。
【００２３】
図５のフローチャートに戻って説明を続ける。Ｓ５０３で算出された焦点距離の変動量Δｌに基づき、演算制御部１０８は、算出する光学パラメータの個数ｎを決定する（Ｓ５０４）。図３は、焦点距離の変動量Δｌに応じて、算出する光学パラメータの個数ｎを決定する一例を示している。３０１は、焦点距離の変動量Δｌと光学パラメータの個数を結びつける関数を示しており、変動量Δｌの大きさに応じて算出する光学パラメータの個数ｎが決定される。このように、撮像素子１０２の電荷蓄積期間中の焦点距離の変動量Δｌが小さいほど算出する光学パラメータの個数を少なくとるような関数にすることで、光学データベース１０４から参照する光学特性の数を制御することが可能となる。図３では、説明を分かりやすくするため、変動量Δｌを等間隔で区切って算出する光学パラメータの個数を制御しているが、これに限ったものではなく、一般的には、光学パラメータの変動量と光学特性の変化量に応じて関数を決定すればよい。
【００２４】
演算制御部１０８において算出された光学パラメータの個数ｎに応じ、光学パラメータ演算部１０５は、撮像素子１０２の電荷蓄積期間中の焦点距離ｌｍ（ｍ＝０，１，…，（ｎ−１））をそれぞれ算出するため、ｍに初期値０を設定する（Ｓ５０５）。Ｓ５０６で撮像素子１０２の電荷蓄積期間中の焦点距離ｌｍがすべて算出されたと判断された場合は、Ｓ５１０へ、そうでなければＳ５０７へ移行する。Ｓ５０７では、撮像素子１０２の電荷蓄積期間中の焦点距離ｌｍを算出する。
【００２５】
図４は、撮像素子１０２の電荷蓄積期間中の焦点距離ｌｍを算出する例を示したものである。この図では、演算制御部１０８において算出された光学パラメータの個数ｎが４であったとして、撮像素子１０２の蓄積期間中の焦点距離ｌｍを算出する例を示している。なお、図２と同一符号を付しているものに関しては説明を省略する。４０１，４０２，４０３，４０４は、撮像素子１０２の蓄積期間中の焦点距離を示しているものであり、ここでは、蓄積期間を等間隔に５等分したときの異なる時刻でのそれぞれの焦点距離を示している。このとき、焦点距離ｌｍ（ｍ＝０，１，…，（ｎ−１））は、次式により算出される。
【００２６】
【数３】
【００２７】
再び図５のフローチャートに戻って説明を続ける。光学パラメータ演算部１０５は、光学データベース１０４から参照して、算出された焦点距離ｌｍに対応する、画像信号の各画素の光学特性を取得する（Ｓ５０８）。光学パラメータ演算部１０５は、焦点距離ｌｍを算出するために、ｍを１増やす（Ｓ５０９）。以下、撮像素子１０２の電荷蓄積期間中の焦点距離ｌｍを、演算制御部１０８で算出された個数ｎぶん算出するようにフローチャートは繰り返され、焦点距離ｌｍを算出し光学特性の取得が終わったら処理はＳ５１０へ進む。
【００２８】
Ｓ５１０では、補正値生成部１０６は、光学パラメータ演算部１０５が取得した各々の光学特性に基づいて補正値を生成し、光学補正部１０７に渡す。Ｓ５０５からＳ５０９までの一連の処理により、画像信号に含まれる各画素における光学特性は、演算制御部１０８が算出した個数だけ存在している。そこで、補正値生成部１０６は例えば、得られた光学特性を平均処理することで１つの光学特性を新たに算出し、算出された該光学特性に基づき補正値を生成してもよい。
【００２９】
光学補正部１０７は、補正値生成部１０６で生成された補正値で、撮像素子１０２から読み出される画像信号に対し補正処理を行う（Ｓ５１１）。
【００３０】
以上説明したように、撮像素子１０２の駆動情報と光学系１０１の駆動情報から、演算制御部１０８が撮像素子１０２の蓄積期間中の光学パラメータの変動量に応じて、算出する光学パラメータの個数を制御する。光学パラメータ演算部１０５は、その光学パラメータの個数分の蓄積期間中の光学パラメータを算出し、光学データベース１０４から光学パラメータに応じた光学特性を取得する。これにより、蓄積期間中に光学系１０１に変動があった場合でもより精度よく光学特性を表し、精度の高い光学補正を行うことができる。さらに、蓄積期間中の光学パラメータの変動量に応じて算出する光学パラメータの個数を制御することで、演算量の低減や光学データベース１０４との通信量の低減が実現できる。
【００３１】
また、周辺光量落ち等に見られる像高をパラメータとした光学特性が一般的に知られている。これに対し本実施形態においては、光学パラメータ演算部１０５において撮像素子１０２から読み出される画像信号の各画素位置を像高に変換し、光学データベース１０４には像高をパラメータとした光学特性を保持する。これにより、光学パラメータ演算部１０５は各画素位置を像高に変換した上で光学データベース１０４を参照することも可能であり、光学データベース１０４のデータ量を削減することも可能である。
【００３２】
＜実施形態２＞
次に、本発明の実施形態２を説明する。実施形態１では、ある１つの光学特性に対して電荷蓄積期間中の光学パラメータの算出個数ｎを光学パラメータの変動量に応じて制御した。これに対し、実施形態では、複数種類の光学特性に対して光学パラメータの個数ｎを、各種類の光学特性ごとに、各光学パラメータの変動量に応じて算出し、補正するよう、各部が動作する。
【００３３】
図６に実施形態２の撮像装置のブロック図を示す。実施形態１と同じ番号を付したものについては説明を省略する。６０１は、第１の光学特性を補正するための補正値を生成する第１の補正値生成部であり、６０２は、第１の補正値生成部６０１で生成された補正値で画像信号に対して補正を行う第１の光学補正部である。６０３は、第１の光学特性とは異なる第２の光学特性を補正するための補正値を生成する第２の補正値生成部であり、６０４は、第２の補正値生成部６０３で生成された補正値で画像信号に対して補正を行う第２の光学補正部である。６０５は、第１及び第２の光学特性とは異なる第３の光学特性を補正するための補正値を生成する第３の補正値生成部であり、６０６は、第３の補正値生成部６０５で生成された補正値で画像信号に対して補正を行う第３の光学補正部である。なお、光学データベース１０４は、複数種類の光学パラメータと複数種類の光学特性との対応関係を記憶している。
【００３４】
次に図７を用いて本実施形態の動作について説明する。図７は、本実施形態の撮像装置の動作を説明するフローチャートである。システム制御部１０３は、撮像装置のユーザからの指示により光学系１０１の駆動を決定し、所望の駆動を実現させるために制御信号を光学系１０１に送信する（Ｓ７０１）。システム制御部１０３は、撮像装置のユーザからの指示により、撮像素子１０２の駆動方法を決定し、所望の駆動を実現させるために制御信号を撮像素子１０２に送信する（Ｓ７０２）。
【００３５】
演算制御部１０８は、システム制御部１０３から送られた光学系１０１の駆動情報及び撮像素子１０２の駆動情報に基づいて、複数種類の光学パラメータの各変動量Δｌｘを算出する（Ｓ７０３）。添え字ｘは、光学パラメータの種類を表しており、本実施形態ではｘ＝０，１，２の値をとるものとする。演算制御部１０８は、算出された複数の光学パラメータΔｌｘに基づいて各種類の光学パラメータの個数ｎｘを決定する（Ｓ７０４）。個数ｎｘの決定方法は、実施形態１に記載したのと同様に、光学パラメータの変動量Δｌｘと光学パラメータの個数を結びつける関数に従って決定していく。光学パラメータとして焦点距離をｎ０、フォーカス位置をｎ１、絞りをｎ２と定義したとき、光学系の駆動によって焦点距離が変動した場合は、ｎ０＝１０、ｎ１＝１、ｎ２＝１のように、各々の光学パラメータの個数が決定される。
【００３６】
画像信号に与える影響の大きさによって予め定められた優先度に応じて複数の光学パラメータの個数ｎｘを、補正する光学特性ごとに調整し、各々の光学特性ごとに決定する（Ｓ７０５）。図９は、主な光学特性として、周辺光量落ち、倍率色収差、歪曲収差の３つの光学特性について、それぞれが光学パラメータの変動から受ける一般的な影響度と優先順位を示している。影響度と優先順位付けは各現象の項目の下に示されている。例えば、優先順位付けＮｏ．１においては、焦点距離のみが動くと、周辺光量落ちへの影響は中程度、倍率色収差への影響は中程度、歪曲収差補正への影響は大程度である。また、そのときの優先順位が括弧の中に示されており、歪曲収差、倍率色収差、周辺光量落ちの順になることを示している。ここで、同程度の影響を受ける場合にも優先順位をつけているが、これは補正誤差の目立ち度合いに応じて決定しており、この場合周辺光量落ちの補正誤差よりも、倍率色収差補正の補正誤差の方が目立つことに起因して決定している。
【００３７】
演算制御部１０８は、図９に示す優先順位に応じて、各光学パラメータの個数ｎｘを各々の光学特性ごとに調整し、各光学特性ごとに光学パラメータの個数ｎ（ｘ、ｙ）を決定する。ｙは、補正する光学特性の種類を現しており、本実施形態ではｙ＝０が周辺光量落ち、ｙ＝１が倍率色収差、ｙ＝２が歪曲収差を表している。例えば、焦点距離だけが大きく変動した場合、優先順位付けＮｏ．１に従って、歪曲収差に対する光学パラメータの個数を最優先する。従って、歪曲収差補正のための光学パラメータの個数は、ｎ（０，２）＝１０、ｎ（１，２）＝１、ｎ（２，２）＝１のように、Ｓ７０４において決定されたｎｘをそのまま適用する。これに対し、倍率収差補正のための光学パラメータの個数は、倍率色収差が焦点距離の影響を受けにくいため、ｎ（０，１）＝２、ｎ（１，１）＝１、ｎ（２，１）＝１のように、焦点距離の個数を調整する。同様に、周辺光量落ち補正のための光学パラメータの個数も、ｎ（０，０）＝２、ｎ（１，０）＝１、ｎ（２，０）＝１のように調整する。また、優先順位に従って、ｎ（０，０）＝１のようにｎ（０，１）と差をつけてもよい。
【００３８】
光学パラメータ演算部１０５は、ｙに初期値０を設定する。これは、演算制御部１０８において算出された光学パラメータの個数ｎ（ｘ、ｙ）に応じ、撮像素子１０２の蓄積期間中の光学パラメータｌｍ（ｘ、ｙ）（ｍ＝０，１，…，（ｎ（ｘ、ｙ）−１））を光学特性ごとに算出するためのものである。Ｓ７０７で、各々の光学特性についてすべての光学パラメータｌｍ（ｘ、ｙ）が算出されたら、処理はＳ７１１へ、そうでなければＳ７０８へ移行する。Ｓ７０８では、撮像素子１０２の蓄積期間中の光学パラメータｌｍ（ｘ、ｙ）を算出する。算出方法は実施形態１に記述したのと同様である。次に、光学データベース１０４を参照して、算出された光学パラメータｌｍ（ｘ、ｙ）に応じた、画像信号の各画素に応じた光学特性を取得する（Ｓ７０９）。引き続き光学パラメータｌｍ（ｘ、ｙ）を算出するために、ｙを１増やす（Ｓ７１０）。
【００３９】
以下、撮像素子１０２の蓄積期間中の光学パラメータｌｍ（ｘ、ｙ）を、すべての光学特性について算出するようにフローチャートは繰り返され、光学特性の取得が終わったら処理はＳ７１１へ進む。Ｓ７１１では、第１の補正値生成部６０１、第２の補正値生成部６０３、第３の補正値生成部６０５は、光学パラメータ演算部１０５が取得した各々の光学特性を用いてそれぞれ補正値を生成する。第１の補正値生成部６０１、第２の補正値生成部６０３、第３の補正値生成部６０５はそれぞれ、第１の光学補正部６０２、第２の光学補正部６０４、第３の光学補正部６０６に、生成された補正値を渡す。
【００４０】
Ｓ７０８において、画像信号に含まれる各画素における光学特性は、演算制御部１０８が算出した個数ｎｘ（ｘ、ｙ）ぶん存在しているため、各補正値生成部は、得られた光学特性を例えば平均値処理することで１つの光学特性を新たに算出する。こうして、算出された光学特性を基に補正値が生成される。
【００４１】
第１の光学補正部６０２は、第１の補正値生成部６０１で生成された補正値で、撮像素子１０２から読み出される画像信号に対し補正処理を行う（Ｓ７１２）。以下、第２の光学補正部６０４、第３の光学補正部６０６も同様にそれぞれ画像信号に対して補正処理を行う。
【００４２】
以上説明したように、撮像素子１０２の駆動情報と光学系１０１の駆動情報から、演算制御部１０８が撮像素子１０２の蓄積期間中の光学パラメータの変動量に応じて、算出する光学パラメータの個数が制御される。これにより、蓄積期間中に光学系１０１に変動があった場合でもより精度よく光学特性を表し、精度の高い光学補正を行うことができる。また、蓄積期間中の光学パラメータの変動量に応じて算出する光学パラメータの個数が制御され、かつ、画像信号に与える影響から決定される優先順位に応じて各光学特性の光学パラメータの個数が調整される。これにより、複数の光学特性を補正するような演算負荷が大きい場合ないしは光学データベース１０４への参照量が大きい場合でも、光学補正の精度を大きく損なうことなく光学データベース１０４への参照量の低減が実現できる。
【００４３】
また、周辺光量落ち等に見られる像高をパラメータとした光学特性が一般的に知られている。これに対し本実施形態においては、光学パラメータ演算部１０５において撮像素子１０２から読み出される画像信号の各画素位置を像高に変換し、光学データベース１０４には像高をパラメータとした光学特性を保持する。これにより、光学パラメータ演算部１０５は各画素位置を像高に変換した上で光学データベース１０４を参照することも可能であり、光学データベース１０４のデータ量を削減することも可能である。
【００４４】
＜実施形態３＞
次に、本発明の実施形態３を説明する。実施形態１では、光学パラメータの変動量に応じて決定された個数の光学パラメータを算出し、光学データベース１０４を参照して、その個数の光学パラメータに対応する光学特性を取得した。これに対し、実施形態３は、光学データベース１０４にすべての光学パラメータに対する光学特性を保持していない場合での補正値の生成方法に特徴がある。
【００４５】
図１０は、撮像素子１０２の蓄積の様子と光学パラメータである焦点距離の変動の様子を模式的に示したものである。実施形態１と同じ番号及び符号を付したものについては説明を省略する。１００１、１００２は、演算制御部１０８において、撮像素子１０２の電荷蓄積期間中の焦点距離の変動量を基に決定された個数の焦点距離を示している。光学データベース１０４にすべての焦点距離に対する光学特性を保持していない場合、任意の光学パラメータを演算し、光学データベース１０４から光学特性を参照することができない場合がある。例えば、電荷蓄積開始時刻ｔaにおける焦点距離がｌaであった場合、光学データベース１０４には、焦点距離ｌaにおける光学特性が存在していない。このように、図１０に示したように光学データベース１０４には、ｌｄ０、ｌｄ１、ｌｄ２、ｌｄ３、ｌｄ４のように離散的にしか存在しない。このため、撮像素子１０２の電荷蓄積時間中の光学パラメータは、１００１、１００２に示すように、電荷蓄積時間に対して不等間隔になってしまう。そこで、補正値生成部１０６において、不等間隔に参照した光学特性を基に、撮像素子１０２の電荷蓄積時間中心における光学特性を補正するような補正値を生成する。焦点距離ｌ０、ｌ１における光学特性をｐ０、ｐ１としたとき、次式に示すように光学データベース１０４から参照した光学特性に対して重み付けされた光学特性ｐｃを算出する。
【００４６】
【数４】
ただし、Nは、蓄積時間中の光学パラメータの個数（例えば２）である。
【００４７】
補正値生成部１０６は、算出された光学特性ｐｃを基に補正値を生成し、光学補正部１０７において補正値生成部１０６で生成された補正値で、撮像素子１０２から読み出される画像信号に対し補正処理を行う。
【００４８】
以上、光学データベース１０４に保持されている光学特性が離散的であった場合の対処方法を説明した。すなわち、この場合においては、光学パラメータの変動量に応じて参照する光学パラメータの個数を制御し、かつ、得られた光学特性を撮像素子１０２の電荷蓄積時間中心になるように重み付け平均する。これにより、光学パラメータを算出することなく光学データベース１０４から光学特性を参照しても精度よく光学補正を施すことが可能となり、また、光学データベース１０４との通信量を低減させることが可能となる。
【００４９】
また、実施形態１と同様に、本実施形態においても、光学パラメータ演算部１０５において撮像素子１０２から読み出される画像信号の各画素位置を像高に変換し、光学データベース１０４には像高をパラメータとした光学特性を保持する。これにより、光学パラメータ演算部１０５は各画素位置を像高に変換した上で光学データベース１０４を参照することも可能であり、光学データベース１０４のデータ量を削減することも可能である。
【００５０】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【技術分野】
【０００１】
本発明は、ビデオカメラ等の撮像装置及びその制御方法に関するものである。
【背景技術】
【０００２】
撮像装置のレンズにおいては、収差や周辺光量の低下が発生し、これらは出力画像の歪みや濃度勾配といった画質劣化の要因となる。収差や周辺光量は、焦点距離、物体距離、絞り（以下、光学パラメータと呼ぶ）に応じて変化する。このため、従来より、予め記憶された光学特性を保持するメモリから光学パラメータに対応した光学特性を取得し、これを用いて、撮影された画像を補正する技術が提案されている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−０６９３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１では、撮像素子の電荷蓄積期間中に光学系が駆動することによる光学パラメータの変動については考慮されていない。撮像素子の電荷蓄積期間中に光学パラメータが変動すると、補正精度が悪化するという問題がある。
【０００５】
図８は、撮像素子の電荷蓄積の様子及び光学パラメータである焦点距離の変動の様子を模式的に示す図である。８０１は、撮像装置の撮影方式で決定される垂直同期信号であり、周期Ｔで周期的に発生している。８０２は、ズームレンズの駆動を模式的に表したものであり、横軸に時間、縦軸に焦点距離をとって、ズームレンズの駆動による焦点距離の変動の様子の一例を示している。８０３、８０５、８０７は、フレームごとに決定されるズームレンズの目標焦点距離を示す。ここでは、目標焦点距離、１垂直同期期間に一度決定され、ズームレンズは、決定された目標焦点距離まで、１垂直同期期間かけて一定速度で駆動されるものとする。８１３、８１５は、撮像素子の電荷蓄積開始時刻を示し、８１２、８１４，８１６は、撮像素子に蓄積された電荷を読み出す時刻を示している。８０４、８０６は撮像素子が電荷蓄積動作を開始する時刻における焦点距離を示し、８０８、８０９、８１０、８１１は、撮像素子の電荷蓄積動作中の焦点距離を示している。
【０００６】
撮像素子が８１３、８１４で決定されたタイミングで電荷蓄積動作を行うとき、電荷蓄積動作中にもズームレンズは駆動しており、光学パラメータである焦点距離ｌが変化することによって画像上に現れる光学特性も変動してしまう。従来技術では、ＶＤのタイミングで取得した光学パラメータを用いて補正を行うため、センサの電荷蓄積期間中に光学パラメータが変動すると補正精度が悪化するという問題があった。
【０００７】
そこで、８１３、８１４で示される電荷蓄積時間中の焦点距離の変動を考慮した処理を行うことが考えられる。例えば、電荷蓄積開始時刻における焦点距離ｌａ１を目標焦点距離ｌｓとｌｅ１から算出し、かつ、電荷蓄積期間中の焦点距離ｌ１０、ｌ１１を算出された焦点距離ｌａ１と目標焦点距離ｌｅ１からそれぞれ算出する。これにより、複数の光学パラメータが取得される。そして、各光学パラメータに基づいて得られた光学特性から補正値を算出する。こうして、撮像素子の電荷蓄積時間中の光学変動を加味した補正値を生成することができる。
【０００８】
しかしながら、８１５、８１６で示される電荷蓄積期間のように、撮像素子の電荷蓄積期間中に光学系の駆動がなされない場合もある。その場合、複数の焦点距離ｌａ２、ｌ２０、ｌ２１を算出し、それらに基づき光学特性を取得して補正値を生成することとなるが、光学特性に変動がないのだから、電荷蓄積期間中の複数の焦点距離を算出することは無駄になる。さらには、それら算出した複数の焦点距離に基づき光学データベースから複数の光学特性を参照してしまうため、同じ光学特性のデータを何回も参照してしまうという問題もある。
【０００９】
そこで、本発明は、このような問題を解決し、光学補正の精度を低下させることなく光学補正にかかる演算量及びオーバーヘッドを低減することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一側面に係る撮像装置は、ズームレンズ、フォーカスレンズ、及び絞りのうちの少なくともいずれか１つを含む光学系と、前記光学系によって投影された被写体像を画像信号に変換して出力する撮像素子と、前記光学系の光学パラメータと光学特性との対応関係を記憶する光学データベースと、前記撮像素子の電荷蓄積期間において前記光学系が駆動されたことによる前記光学系の光学パラメータの変動量を算出する変動量算出手段と、前記変動量算出手段によって算出された前記変動量に応じて、前記電荷蓄積期間における光学パラメータの、算出する個数を決定する決定手段と、前記決定手段により決定された個数だけ、前記電荷蓄積期間における異なる時刻での光学パラメータを算出する光学パラメータ演算手段と、前記光学パラメータ演算手段により算出された各々の光学パラメータに対応する光学特性を前記光学データベースから取得する取得手段と、前記取得手段により取得された各々の光学特性に基づいて補正値を生成する生成手段と、前記生成手段により生成された前記補正値を用いて前記画像信号を補正する補正手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、光学補正の精度の低下させることなく光学補正に係る演算量及びオーバーヘッドを低減することができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態１における撮像装置の概略構成を示すブロック図。
【図２】実施形態１における光学パラメータの変動量の算出方法を説明する図。
【図３】実施形態１における光学パラメータの個数の決定方法を説明する図。
【図４】実施形態１における光学パラメータの算出方法を説明する図。
【図５】実施形態１の撮像装置の処理を示すフローチャート。
【図６】実施形態２における撮像装置の概略構成を示すブロック図。
【図７】実施形態２の撮像装置の処理を示すフローチャート。
【図８】従来の撮像素子の電荷蓄積の様子及び焦点距離の変動の様子を模式的に示す図。
【図９】実施形態２における光学パラメータの変動と各光学特性の影響度を示す図。
【図１０】実施形態３における光学データベースへの光学特性の参照を説明する図。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
【００１４】
＜実施形態１＞
図１に本実施形態における撮像装置のブロック図を示す。光学系１０１は、システム制御部１０３から出力される制御信号により駆動され、ズームレンズ、絞り、フォーカスレンズのうちの少なくとも１つ以上から構成される。撮像素子１０２は、システム制御部１０３から出力される制御信号により駆動され、光学系１０１によって投影された被写体像を光電変換により電気信号に変換して、画像信号として出力する。このとき、撮像素子１０２が電子シャッタ機能を有する場合は、システム制御部１０３から出力される制御信号によって必要な露光時間となるように露光時間を確保してもよい。システム制御部１０３は撮像装置全体を制御する。光学データベース１０４は、光学系１０１の光学パラメータと各画素位置の光学特性との対応関係を記憶している。なお、本明細書において、光学パラメータとは、焦点距離、物体距離、絞りのうちの少なくともいずれか１つを含むパラメータをいうものとする。
【００１５】
光学特性算出部１０９では、システム制御部１０３から出力される撮像素子１０２の駆動情報と、システム制御部１０３から出力される光学系１０１の駆動情報とに基づいて光学パラメータを算出する。光学特性算出部１０９はさらに、光学データベース１０４を参照して、算出した光学パラメータに応じた光学特性を取得し、その光学特性を補正値生成部１０６へ出力する。具体的には、図示するように、光学特性算出部１０９は、演算制御部１０８及び光学パラメータ演算部１０５を含む。演算制御部１０８は、システム制御部１０３から得られた撮像素子１０２の駆動情報と、システム制御部１０３から出力された光学系１０１の駆動情報とに基づいて、光学パラメータの変動量を算出する。演算制御部１０８はさらに、その変動量に基づき、算出する光学パラメータの個数を決定して光学パラメータ演算部１０５に出力する。光学パラメータ演算部１０５は、演算制御部１０８で決定された個数だけ、撮像素子１０２の電荷蓄積期間における光学パラメータを演算する。
【００１６】
補正値生成部１０６は、得られた光学特性から、撮像素子１０２から出力される画像信号に対して補正処理を行うのに必要な補正値を生成する。光学補正部１０７は、補正値生成部１０６で生成された補正値を用いて撮像素子１０２から出力された画像信号に対して補正処理を行う。
【００１７】
次に図２、図３、図４、図５を用いて本実施形態の動作について説明する。図５は、本実施形態における撮像装置の動作を説明するフローチャートである。まず、システム制御部１０３は、撮像装置のユーザからの指示により光学系１０１の駆動を決定し、所望の駆動を実現させるために制御信号を光学系１０１に送信する（Ｓ５０１）。システム制御部１０３は、撮像装置のユーザからの指示によって、撮像素子１０２の駆動を決定し、所望の駆動を実現させるために制御信号を撮像素子１０２に送信する（Ｓ５０２）。演算制御部１０８は、システム制御部１０３から送られた撮像素子１０２の駆動情報及び光学系１０１の駆動情報に基づいて、光学パラメータである焦点距離の変動量Δｌを算出する（Ｓ５０３）。
【００１８】
図２は、撮像素子１０２の蓄積の様子と光学パラメータである焦点距離の変動の様子を模式的に示したものである。２０１は、撮像装置の撮影方式で決定される垂直同期信号であり、周期Ｔで周期的に発生している。２０２は、ズームレンズの駆動を模式的に表したものであり、横軸に時間、縦軸に焦点距離をとって、ズームレンズの駆動による焦点距離の変動の様子の一例を示している。２０３は、２０６で示されるズームレンズの駆動開始時刻ｔｓにおける焦点距離ｌｓを示し、２０４は、フレームごとに決定されるズームレンズの目標焦点距離ｌｅを示す。ここでは、目標焦点距離ｌｅは１垂直同期期間に一度決定され、ズームレンズは目標焦点距離まで１垂直同期期間かけて一定速度で駆動するものとする。２０８は、撮像素子１０２の電荷蓄積期間の開始時刻ｔａを示し、２０７は、撮像素子１０２に蓄積された電荷を読み出す時刻ｔｅを示す。ｔａからｔｅまでの時間が撮像素子１０２の電荷蓄積時間となる。なお、以下では、ｔｅを、電荷蓄積期間の終了時刻ともいう。また、本実施形態では、説明を分かりやすくするために、撮像素子１０２からの画像信号の読み出しが１垂直同期期間毎に行われているものとし、ズームレンズの目標焦点距離ｌｅは、撮像素子１０２から画像信号を読み出す時刻ｔｅにおけるものとして説明する。２０５は、電荷蓄積開始時刻ｔａにおける焦点距離ｌａを示す。電荷蓄積開始時刻ｔａにおける焦点距離ｌａは、次式に従い算出される。
【００１９】
【数１】
【００２０】
また、光学パラメータである焦点距離の変動量Δｌは、電荷蓄積開始時刻における焦点距離ｌａと、電荷蓄積期間の終了時刻における焦点距離ｌｅとの差であるから、変動量Δｌは、次式により算出される。
【００２１】
【数２】
【００２２】
本実施形態では、変動量Δｌの符号すなわち焦点距離の移動方向は考慮しないため絶対値で算出しているが、移動方向の情報を変動量に加える場合は、ｌａないしｌｅを基準に差分をとることで算出することができる。以上が、本実施形態における変動量算出の例である。
【００２３】
図５のフローチャートに戻って説明を続ける。Ｓ５０３で算出された焦点距離の変動量Δｌに基づき、演算制御部１０８は、算出する光学パラメータの個数ｎを決定する（Ｓ５０４）。図３は、焦点距離の変動量Δｌに応じて、算出する光学パラメータの個数ｎを決定する一例を示している。３０１は、焦点距離の変動量Δｌと光学パラメータの個数を結びつける関数を示しており、変動量Δｌの大きさに応じて算出する光学パラメータの個数ｎが決定される。このように、撮像素子１０２の電荷蓄積期間中の焦点距離の変動量Δｌが小さいほど算出する光学パラメータの個数を少なくとるような関数にすることで、光学データベース１０４から参照する光学特性の数を制御することが可能となる。図３では、説明を分かりやすくするため、変動量Δｌを等間隔で区切って算出する光学パラメータの個数を制御しているが、これに限ったものではなく、一般的には、光学パラメータの変動量と光学特性の変化量に応じて関数を決定すればよい。
【００２４】
演算制御部１０８において算出された光学パラメータの個数ｎに応じ、光学パラメータ演算部１０５は、撮像素子１０２の電荷蓄積期間中の焦点距離ｌｍ（ｍ＝０，１，…，（ｎ−１））をそれぞれ算出するため、ｍに初期値０を設定する（Ｓ５０５）。Ｓ５０６で撮像素子１０２の電荷蓄積期間中の焦点距離ｌｍがすべて算出されたと判断された場合は、Ｓ５１０へ、そうでなければＳ５０７へ移行する。Ｓ５０７では、撮像素子１０２の電荷蓄積期間中の焦点距離ｌｍを算出する。
【００２５】
図４は、撮像素子１０２の電荷蓄積期間中の焦点距離ｌｍを算出する例を示したものである。この図では、演算制御部１０８において算出された光学パラメータの個数ｎが４であったとして、撮像素子１０２の蓄積期間中の焦点距離ｌｍを算出する例を示している。なお、図２と同一符号を付しているものに関しては説明を省略する。４０１，４０２，４０３，４０４は、撮像素子１０２の蓄積期間中の焦点距離を示しているものであり、ここでは、蓄積期間を等間隔に５等分したときの異なる時刻でのそれぞれの焦点距離を示している。このとき、焦点距離ｌｍ（ｍ＝０，１，…，（ｎ−１））は、次式により算出される。
【００２６】
【数３】
【００２７】
再び図５のフローチャートに戻って説明を続ける。光学パラメータ演算部１０５は、光学データベース１０４から参照して、算出された焦点距離ｌｍに対応する、画像信号の各画素の光学特性を取得する（Ｓ５０８）。光学パラメータ演算部１０５は、焦点距離ｌｍを算出するために、ｍを１増やす（Ｓ５０９）。以下、撮像素子１０２の電荷蓄積期間中の焦点距離ｌｍを、演算制御部１０８で算出された個数ｎぶん算出するようにフローチャートは繰り返され、焦点距離ｌｍを算出し光学特性の取得が終わったら処理はＳ５１０へ進む。
【００２８】
Ｓ５１０では、補正値生成部１０６は、光学パラメータ演算部１０５が取得した各々の光学特性に基づいて補正値を生成し、光学補正部１０７に渡す。Ｓ５０５からＳ５０９までの一連の処理により、画像信号に含まれる各画素における光学特性は、演算制御部１０８が算出した個数だけ存在している。そこで、補正値生成部１０６は例えば、得られた光学特性を平均処理することで１つの光学特性を新たに算出し、算出された該光学特性に基づき補正値を生成してもよい。
【００２９】
光学補正部１０７は、補正値生成部１０６で生成された補正値で、撮像素子１０２から読み出される画像信号に対し補正処理を行う（Ｓ５１１）。
【００３０】
以上説明したように、撮像素子１０２の駆動情報と光学系１０１の駆動情報から、演算制御部１０８が撮像素子１０２の蓄積期間中の光学パラメータの変動量に応じて、算出する光学パラメータの個数を制御する。光学パラメータ演算部１０５は、その光学パラメータの個数分の蓄積期間中の光学パラメータを算出し、光学データベース１０４から光学パラメータに応じた光学特性を取得する。これにより、蓄積期間中に光学系１０１に変動があった場合でもより精度よく光学特性を表し、精度の高い光学補正を行うことができる。さらに、蓄積期間中の光学パラメータの変動量に応じて算出する光学パラメータの個数を制御することで、演算量の低減や光学データベース１０４との通信量の低減が実現できる。
【００３１】
また、周辺光量落ち等に見られる像高をパラメータとした光学特性が一般的に知られている。これに対し本実施形態においては、光学パラメータ演算部１０５において撮像素子１０２から読み出される画像信号の各画素位置を像高に変換し、光学データベース１０４には像高をパラメータとした光学特性を保持する。これにより、光学パラメータ演算部１０５は各画素位置を像高に変換した上で光学データベース１０４を参照することも可能であり、光学データベース１０４のデータ量を削減することも可能である。
【００３２】
＜実施形態２＞
次に、本発明の実施形態２を説明する。実施形態１では、ある１つの光学特性に対して電荷蓄積期間中の光学パラメータの算出個数ｎを光学パラメータの変動量に応じて制御した。これに対し、実施形態では、複数種類の光学特性に対して光学パラメータの個数ｎを、各種類の光学特性ごとに、各光学パラメータの変動量に応じて算出し、補正するよう、各部が動作する。
【００３３】
図６に実施形態２の撮像装置のブロック図を示す。実施形態１と同じ番号を付したものについては説明を省略する。６０１は、第１の光学特性を補正するための補正値を生成する第１の補正値生成部であり、６０２は、第１の補正値生成部６０１で生成された補正値で画像信号に対して補正を行う第１の光学補正部である。６０３は、第１の光学特性とは異なる第２の光学特性を補正するための補正値を生成する第２の補正値生成部であり、６０４は、第２の補正値生成部６０３で生成された補正値で画像信号に対して補正を行う第２の光学補正部である。６０５は、第１及び第２の光学特性とは異なる第３の光学特性を補正するための補正値を生成する第３の補正値生成部であり、６０６は、第３の補正値生成部６０５で生成された補正値で画像信号に対して補正を行う第３の光学補正部である。なお、光学データベース１０４は、複数種類の光学パラメータと複数種類の光学特性との対応関係を記憶している。
【００３４】
次に図７を用いて本実施形態の動作について説明する。図７は、本実施形態の撮像装置の動作を説明するフローチャートである。システム制御部１０３は、撮像装置のユーザからの指示により光学系１０１の駆動を決定し、所望の駆動を実現させるために制御信号を光学系１０１に送信する（Ｓ７０１）。システム制御部１０３は、撮像装置のユーザからの指示により、撮像素子１０２の駆動方法を決定し、所望の駆動を実現させるために制御信号を撮像素子１０２に送信する（Ｓ７０２）。
【００３５】
演算制御部１０８は、システム制御部１０３から送られた光学系１０１の駆動情報及び撮像素子１０２の駆動情報に基づいて、複数種類の光学パラメータの各変動量Δｌｘを算出する（Ｓ７０３）。添え字ｘは、光学パラメータの種類を表しており、本実施形態ではｘ＝０，１，２の値をとるものとする。演算制御部１０８は、算出された複数の光学パラメータΔｌｘに基づいて各種類の光学パラメータの個数ｎｘを決定する（Ｓ７０４）。個数ｎｘの決定方法は、実施形態１に記載したのと同様に、光学パラメータの変動量Δｌｘと光学パラメータの個数を結びつける関数に従って決定していく。光学パラメータとして焦点距離をｎ０、フォーカス位置をｎ１、絞りをｎ２と定義したとき、光学系の駆動によって焦点距離が変動した場合は、ｎ０＝１０、ｎ１＝１、ｎ２＝１のように、各々の光学パラメータの個数が決定される。
【００３６】
画像信号に与える影響の大きさによって予め定められた優先度に応じて複数の光学パラメータの個数ｎｘを、補正する光学特性ごとに調整し、各々の光学特性ごとに決定する（Ｓ７０５）。図９は、主な光学特性として、周辺光量落ち、倍率色収差、歪曲収差の３つの光学特性について、それぞれが光学パラメータの変動から受ける一般的な影響度と優先順位を示している。影響度と優先順位付けは各現象の項目の下に示されている。例えば、優先順位付けＮｏ．１においては、焦点距離のみが動くと、周辺光量落ちへの影響は中程度、倍率色収差への影響は中程度、歪曲収差補正への影響は大程度である。また、そのときの優先順位が括弧の中に示されており、歪曲収差、倍率色収差、周辺光量落ちの順になることを示している。ここで、同程度の影響を受ける場合にも優先順位をつけているが、これは補正誤差の目立ち度合いに応じて決定しており、この場合周辺光量落ちの補正誤差よりも、倍率色収差補正の補正誤差の方が目立つことに起因して決定している。
【００３７】
演算制御部１０８は、図９に示す優先順位に応じて、各光学パラメータの個数ｎｘを各々の光学特性ごとに調整し、各光学特性ごとに光学パラメータの個数ｎ（ｘ、ｙ）を決定する。ｙは、補正する光学特性の種類を現しており、本実施形態ではｙ＝０が周辺光量落ち、ｙ＝１が倍率色収差、ｙ＝２が歪曲収差を表している。例えば、焦点距離だけが大きく変動した場合、優先順位付けＮｏ．１に従って、歪曲収差に対する光学パラメータの個数を最優先する。従って、歪曲収差補正のための光学パラメータの個数は、ｎ（０，２）＝１０、ｎ（１，２）＝１、ｎ（２，２）＝１のように、Ｓ７０４において決定されたｎｘをそのまま適用する。これに対し、倍率収差補正のための光学パラメータの個数は、倍率色収差が焦点距離の影響を受けにくいため、ｎ（０，１）＝２、ｎ（１，１）＝１、ｎ（２，１）＝１のように、焦点距離の個数を調整する。同様に、周辺光量落ち補正のための光学パラメータの個数も、ｎ（０，０）＝２、ｎ（１，０）＝１、ｎ（２，０）＝１のように調整する。また、優先順位に従って、ｎ（０，０）＝１のようにｎ（０，１）と差をつけてもよい。
【００３８】
光学パラメータ演算部１０５は、ｙに初期値０を設定する。これは、演算制御部１０８において算出された光学パラメータの個数ｎ（ｘ、ｙ）に応じ、撮像素子１０２の蓄積期間中の光学パラメータｌｍ（ｘ、ｙ）（ｍ＝０，１，…，（ｎ（ｘ、ｙ）−１））を光学特性ごとに算出するためのものである。Ｓ７０７で、各々の光学特性についてすべての光学パラメータｌｍ（ｘ、ｙ）が算出されたら、処理はＳ７１１へ、そうでなければＳ７０８へ移行する。Ｓ７０８では、撮像素子１０２の蓄積期間中の光学パラメータｌｍ（ｘ、ｙ）を算出する。算出方法は実施形態１に記述したのと同様である。次に、光学データベース１０４を参照して、算出された光学パラメータｌｍ（ｘ、ｙ）に応じた、画像信号の各画素に応じた光学特性を取得する（Ｓ７０９）。引き続き光学パラメータｌｍ（ｘ、ｙ）を算出するために、ｙを１増やす（Ｓ７１０）。
【００３９】
以下、撮像素子１０２の蓄積期間中の光学パラメータｌｍ（ｘ、ｙ）を、すべての光学特性について算出するようにフローチャートは繰り返され、光学特性の取得が終わったら処理はＳ７１１へ進む。Ｓ７１１では、第１の補正値生成部６０１、第２の補正値生成部６０３、第３の補正値生成部６０５は、光学パラメータ演算部１０５が取得した各々の光学特性を用いてそれぞれ補正値を生成する。第１の補正値生成部６０１、第２の補正値生成部６０３、第３の補正値生成部６０５はそれぞれ、第１の光学補正部６０２、第２の光学補正部６０４、第３の光学補正部６０６に、生成された補正値を渡す。
【００４０】
Ｓ７０８において、画像信号に含まれる各画素における光学特性は、演算制御部１０８が算出した個数ｎｘ（ｘ、ｙ）ぶん存在しているため、各補正値生成部は、得られた光学特性を例えば平均値処理することで１つの光学特性を新たに算出する。こうして、算出された光学特性を基に補正値が生成される。
【００４１】
第１の光学補正部６０２は、第１の補正値生成部６０１で生成された補正値で、撮像素子１０２から読み出される画像信号に対し補正処理を行う（Ｓ７１２）。以下、第２の光学補正部６０４、第３の光学補正部６０６も同様にそれぞれ画像信号に対して補正処理を行う。
【００４２】
以上説明したように、撮像素子１０２の駆動情報と光学系１０１の駆動情報から、演算制御部１０８が撮像素子１０２の蓄積期間中の光学パラメータの変動量に応じて、算出する光学パラメータの個数が制御される。これにより、蓄積期間中に光学系１０１に変動があった場合でもより精度よく光学特性を表し、精度の高い光学補正を行うことができる。また、蓄積期間中の光学パラメータの変動量に応じて算出する光学パラメータの個数が制御され、かつ、画像信号に与える影響から決定される優先順位に応じて各光学特性の光学パラメータの個数が調整される。これにより、複数の光学特性を補正するような演算負荷が大きい場合ないしは光学データベース１０４への参照量が大きい場合でも、光学補正の精度を大きく損なうことなく光学データベース１０４への参照量の低減が実現できる。
【００４３】
また、周辺光量落ち等に見られる像高をパラメータとした光学特性が一般的に知られている。これに対し本実施形態においては、光学パラメータ演算部１０５において撮像素子１０２から読み出される画像信号の各画素位置を像高に変換し、光学データベース１０４には像高をパラメータとした光学特性を保持する。これにより、光学パラメータ演算部１０５は各画素位置を像高に変換した上で光学データベース１０４を参照することも可能であり、光学データベース１０４のデータ量を削減することも可能である。
【００４４】
＜実施形態３＞
次に、本発明の実施形態３を説明する。実施形態１では、光学パラメータの変動量に応じて決定された個数の光学パラメータを算出し、光学データベース１０４を参照して、その個数の光学パラメータに対応する光学特性を取得した。これに対し、実施形態３は、光学データベース１０４にすべての光学パラメータに対する光学特性を保持していない場合での補正値の生成方法に特徴がある。
【００４５】
図１０は、撮像素子１０２の蓄積の様子と光学パラメータである焦点距離の変動の様子を模式的に示したものである。実施形態１と同じ番号及び符号を付したものについては説明を省略する。１００１、１００２は、演算制御部１０８において、撮像素子１０２の電荷蓄積期間中の焦点距離の変動量を基に決定された個数の焦点距離を示している。光学データベース１０４にすべての焦点距離に対する光学特性を保持していない場合、任意の光学パラメータを演算し、光学データベース１０４から光学特性を参照することができない場合がある。例えば、電荷蓄積開始時刻ｔaにおける焦点距離がｌaであった場合、光学データベース１０４には、焦点距離ｌaにおける光学特性が存在していない。このように、図１０に示したように光学データベース１０４には、ｌｄ０、ｌｄ１、ｌｄ２、ｌｄ３、ｌｄ４のように離散的にしか存在しない。このため、撮像素子１０２の電荷蓄積時間中の光学パラメータは、１００１、１００２に示すように、電荷蓄積時間に対して不等間隔になってしまう。そこで、補正値生成部１０６において、不等間隔に参照した光学特性を基に、撮像素子１０２の電荷蓄積時間中心における光学特性を補正するような補正値を生成する。焦点距離ｌ０、ｌ１における光学特性をｐ０、ｐ１としたとき、次式に示すように光学データベース１０４から参照した光学特性に対して重み付けされた光学特性ｐｃを算出する。
【００４６】
【数４】
ただし、Nは、蓄積時間中の光学パラメータの個数（例えば２）である。
【００４７】
補正値生成部１０６は、算出された光学特性ｐｃを基に補正値を生成し、光学補正部１０７において補正値生成部１０６で生成された補正値で、撮像素子１０２から読み出される画像信号に対し補正処理を行う。
【００４８】
以上、光学データベース１０４に保持されている光学特性が離散的であった場合の対処方法を説明した。すなわち、この場合においては、光学パラメータの変動量に応じて参照する光学パラメータの個数を制御し、かつ、得られた光学特性を撮像素子１０２の電荷蓄積時間中心になるように重み付け平均する。これにより、光学パラメータを算出することなく光学データベース１０４から光学特性を参照しても精度よく光学補正を施すことが可能となり、また、光学データベース１０４との通信量を低減させることが可能となる。
【００４９】
また、実施形態１と同様に、本実施形態においても、光学パラメータ演算部１０５において撮像素子１０２から読み出される画像信号の各画素位置を像高に変換し、光学データベース１０４には像高をパラメータとした光学特性を保持する。これにより、光学パラメータ演算部１０５は各画素位置を像高に変換した上で光学データベース１０４を参照することも可能であり、光学データベース１０４のデータ量を削減することも可能である。
【００５０】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【特許請求の範囲】
【請求項１】
ズームレンズ、フォーカスレンズ、及び絞りのうちの少なくともいずれか１つを含む光学系と、
前記光学系によって投影された被写体像を画像信号に変換して出力する撮像素子と、
前記光学系の光学パラメータと光学特性との対応関係を記憶する光学データベースと、
前記撮像素子の電荷蓄積期間において前記光学系が駆動されたことによる前記光学系の光学パラメータの変動量を算出する変動量算出手段と、
前記変動量算出手段によって算出された前記変動量に応じて、前記電荷蓄積期間における光学パラメータの、算出する個数を決定する決定手段と、
前記決定手段により決定された個数だけ、前記電荷蓄積期間における異なる時刻での光学パラメータを算出する光学パラメータ演算手段と、
前記光学パラメータ演算手段により算出された各々の光学パラメータに対応する光学特性を前記光学データベースから取得する取得手段と、
前記取得手段により取得された各々の光学特性に基づいて補正値を生成する生成手段と、
前記生成手段により生成された前記補正値を用いて前記画像信号を補正する補正手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記生成手段は、前記取得手段により取得された各々の光学特性を平均処理して得た光学特性に基づいて補正値を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記光学パラメータは、焦点距離、物体距離、絞り値のうちの少なくとも１つであることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記光学データベースは、複数種類の光学パラメータと複数種類の光学特性との対応関係を記憶しており、
前記変動量算出手段、前記決定手段、前記光学パラメータ演算手段、前記取得手段、前記生成手段、及び前記補正手段はそれぞれ、前記複数種類の光学パラメータの各々に対して動作することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記複数種類の光学特性は、周辺光量落ち、倍率色収差、歪曲収差を含むことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記複数種類の光学特性の各々には、光学パラメータの変動が前記画像信号に与える影響の大きさに応じて優先度が予め定められており、
前記優先度に応じて、前記決定手段により決定された前記複数種類の光学パラメータの各々についての前記算出する個数を調整する調整手段を更に有する
ことを特徴とする請求項４に記載の撮像装置。
【請求項７】
ズームレンズ、フォーカスレンズ、及び絞りのうちの少なくともいずれか１つを含む光学系と、前記光学系によって投影された被写体像を画像信号に変換して出力する撮像素子と、前記光学系の光学パラメータと光学特性との対応関係を記憶する光学データベースとを有する撮像装置の制御方法であって、
変動量算出手段が、前記撮像素子の電荷蓄積期間において前記光学系が駆動されたことによる前記光学系の光学パラメータの変動量を算出する変動量算出ステップと、
決定手段が、前記変動量算出ステップで算出された前記変動量に応じて、前記電荷蓄積期間における光学パラメータの、算出する個数を決定する決定ステップと、
光学パラメータ演算手段が、前記決定ステップで決定された個数だけ、前記電荷蓄積期間における異なる時刻での光学パラメータを算出する光学パラメータ演算ステップと、
取得手段が、前記光学パラメータ演算ステップで算出された各々の光学パラメータに対応する光学特性を前記光学データベースから取得する取得ステップと、
生成手段が、前記取得ステップで取得された各々の光学特性に基づいて補正値を生成する生成ステップと、
補正手段が、前記生成ステップで生成された前記補正値を用いて前記画像信号を補正する補正ステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項８】
コンピュータに、請求項７に記載の撮像装置の制御方法の各ステップを実行させるためのプログラム。
【請求項１】
ズームレンズ、フォーカスレンズ、及び絞りのうちの少なくともいずれか１つを含む光学系と、
前記光学系によって投影された被写体像を画像信号に変換して出力する撮像素子と、
前記光学系の光学パラメータと光学特性との対応関係を記憶する光学データベースと、
前記撮像素子の電荷蓄積期間において前記光学系が駆動されたことによる前記光学系の光学パラメータの変動量を算出する変動量算出手段と、
前記変動量算出手段によって算出された前記変動量に応じて、前記電荷蓄積期間における光学パラメータの、算出する個数を決定する決定手段と、
前記決定手段により決定された個数だけ、前記電荷蓄積期間における異なる時刻での光学パラメータを算出する光学パラメータ演算手段と、
前記光学パラメータ演算手段により算出された各々の光学パラメータに対応する光学特性を前記光学データベースから取得する取得手段と、
前記取得手段により取得された各々の光学特性に基づいて補正値を生成する生成手段と、
前記生成手段により生成された前記補正値を用いて前記画像信号を補正する補正手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記生成手段は、前記取得手段により取得された各々の光学特性を平均処理して得た光学特性に基づいて補正値を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記光学パラメータは、焦点距離、物体距離、絞り値のうちの少なくとも１つであることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記光学データベースは、複数種類の光学パラメータと複数種類の光学特性との対応関係を記憶しており、
前記変動量算出手段、前記決定手段、前記光学パラメータ演算手段、前記取得手段、前記生成手段、及び前記補正手段はそれぞれ、前記複数種類の光学パラメータの各々に対して動作することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記複数種類の光学特性は、周辺光量落ち、倍率色収差、歪曲収差を含むことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記複数種類の光学特性の各々には、光学パラメータの変動が前記画像信号に与える影響の大きさに応じて優先度が予め定められており、
前記優先度に応じて、前記決定手段により決定された前記複数種類の光学パラメータの各々についての前記算出する個数を調整する調整手段を更に有する
ことを特徴とする請求項４に記載の撮像装置。
【請求項７】
ズームレンズ、フォーカスレンズ、及び絞りのうちの少なくともいずれか１つを含む光学系と、前記光学系によって投影された被写体像を画像信号に変換して出力する撮像素子と、前記光学系の光学パラメータと光学特性との対応関係を記憶する光学データベースとを有する撮像装置の制御方法であって、
変動量算出手段が、前記撮像素子の電荷蓄積期間において前記光学系が駆動されたことによる前記光学系の光学パラメータの変動量を算出する変動量算出ステップと、
決定手段が、前記変動量算出ステップで算出された前記変動量に応じて、前記電荷蓄積期間における光学パラメータの、算出する個数を決定する決定ステップと、
光学パラメータ演算手段が、前記決定ステップで決定された個数だけ、前記電荷蓄積期間における異なる時刻での光学パラメータを算出する光学パラメータ演算ステップと、
取得手段が、前記光学パラメータ演算ステップで算出された各々の光学パラメータに対応する光学特性を前記光学データベースから取得する取得ステップと、
生成手段が、前記取得ステップで取得された各々の光学特性に基づいて補正値を生成する生成ステップと、
補正手段が、前記生成ステップで生成された前記補正値を用いて前記画像信号を補正する補正ステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項８】
コンピュータに、請求項７に記載の撮像装置の制御方法の各ステップを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−５１１９（Ｐ２０１３−５１１９Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３２７０５（Ｐ２０１１−１３２７０５）
【出願日】平成２３年６月１４日（２０１１．６．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１４日（２０１１．６．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]