撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体
【課題】ぶれ補正時の歪曲収差補正を適切に行うことを可能とする撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体を提供する。
【解決手段】被写体像を光電変換する撮像部９を駆動して駆動後の位置情報を生成する被ぶれ補正機構７を有する撮像装置１において、光電変換された被写体像を１ライン毎に取得し、取得した被写体像のラインに対応する１ラインまたは複数ラインの位置情報を抽出する。そして、１ラインまたは複数ラインに対応する位置情報に基づいて、被写体像に対して歪曲収差補正する。
【解決手段】被写体像を光電変換する撮像部９を駆動して駆動後の位置情報を生成する被ぶれ補正機構７を有する撮像装置１において、光電変換された被写体像を１ライン毎に取得し、取得した被写体像のラインに対応する１ラインまたは複数ラインの位置情報を抽出する。そして、１ラインまたは複数ラインに対応する位置情報に基づいて、被写体像に対して歪曲収差補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体像を光電変換する撮像部を駆動するぶれ補正を行う技術に関し、特に、ぶれ補正時にレンズ等の光学要素部において生じる歪曲収差を補正する撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体に関する。
【背景技術】
【０００２】
近年は、ビデオカメラ等の撮像装置による動画像の撮影において、手ぶれによるぶれを補正する機能が求められるようになってきている。特に、光学的に手ぶれを補正する撮像装置においては、手ぶれ補正を適切に行うための技術の一つとして、歪曲収差補正に関する技術についても知られている（例えば、特許文献１）。
【０００３】
特許文献１においては、透過光の進行方向を任意に変えることができる可変頂角プリズムを有する防振光学系において、可変頂角プリズムがぶれ補正のために頂角を変化させた際に発生する偏心歪曲収差を補正する。
【０００４】
具体的には、あるフレームを撮影したときの撮影レンズのズーム位置と、可変頂角プリズムの回動角とをパラメータとして用いることにより、歪曲収差補正量が決定できる点に着目している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−９０３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術によれば、１フレームの全てのラインに対して同じ歪曲収差補正量を適用することを前提としている。このため、特許文献１の技術を適用できるのは、固体撮像素子が、１フレームの全てのラインの画素を一度に読み出す構成に限定されてしまうこととなる。
【０００７】
すなわち、１フレーム期間内で歪曲収差補正量が変化する場合は考慮されていないため、例えば１ライン毎に画素読み出しを行う固体撮像素子を備える構成をとる場合には、適切に歪曲収差補正量を決定することができない。
本発明は、１ライン毎に画素を読み出す固体撮像素子を備える場合に、ぶれ補正時の歪曲収差補正を適切に行うことを可能とする撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体の提供を目的とする。
【課題を解決するための手段】
【０００８】
前述した目的を達成するために、本発明の態様のひとつである撮像装置は、被写体像を光電変換する撮像部を駆動して当該駆動後の位置情報を生成する被ぶれ補正機構を有する撮像装置において、前記光電変換された被写体像を１ライン毎に取得し、当該取得した被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する処理と、前記１ラインまたは複数ラインに対応する位置情報に基づいて、前記被写体像に対して歪曲収差補正する処理と、を行う補正画像生成部を備えることを特徴とする。
【０００９】
また、本発明の別の態様のひとつであるぶれ補正方法は、被写体像を光電変換する撮像部を駆動して当該駆動後の位置情報を生成する被ぶれ補正機構を有する撮像装置によるぶれ補正方法であって、前記光電変換された被写体像を１ライン毎に取得する段階と、前記取得した前記被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する段階と、前記１ラインまたは複数ラインに対応する位置情報に基づいて、歪曲収差補正値を算出する段階と、前記歪曲収差補正値に基づいて、撮像レンズの歪曲収差を補正する段階と、を有することを特徴とする。
【００１０】
また、本発明の別の態様のひとつである制御プログラムは、被写体像を光電変換する撮像部を駆動して当該駆動後の位置情報を生成する被ぶれ補正機構を有する撮像装置によるぶれ補正方法を演算処理装置に行わせるための制御プログラムであって、前記光電変換された被写体像を１ライン毎に取得する処理と、前記取得した前記被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する処理と、前記１ラインまたは複数ラインに対応する位置情報に基づいて、歪曲収差補正値を算出する処理と、前記歪曲収差補正値に基づいて、撮像レンズの歪曲収差を補正する処理と、を前記演算処理装置に行わせることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、１ライン毎に画素を読み出す固体撮像素子を備える場合に、ぶれ補正時の歪曲収差補正を適切に行うことを可能とする撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体を提供できる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る撮像装置の構成図である。
【図２】撮像部及び撮像レンズの位置関係を説明する図である。
【図３】撮像レンズが樽型の歪曲収差を有する場合を示す図である。
【図４】樽型の歪曲収差を収差曲線で表した図である。
【図５】１フレームの全画素について同時に読み出す固体撮像素子が入力した、各フレーム画像におけるライン毎の露光期間を説明する図である。
【図６】１フレーム内の全画素について同時に読み出す固体撮像素子を備えた撮像装置における、歪曲収差補正方法を説明する図である。
【図７】第１の実施形態に係る撮像装置の撮像部が入力した、各フレーム画像におけるライン毎の露光期間を説明する図である。
【図８】第１の実施形態に係る撮像装置が取得するライン毎の位置情報の例を示す図である。
【図９】第１の実施形態に係る撮像装置による歪曲収差補正方法を説明する図である。
【図１０】第１の実施形態に係る撮像装置の制御部による歪曲収差の補正処理を示したフローチャートである。
【図１１】第２の実施形態に係る撮像装置が取得する位置情報の例を示す図である。
【図１２】第２の実施形態に係る撮像装置の制御部による歪曲収差の補正処理を示したフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
＜第１の実施形態＞
図１は、本実施形態に係る撮像装置の構成図である。図１に示す撮像装置１は、ぶれ検出部２、制御部３、記録媒体４、記憶部５、補正画像生成部６、及び被ぶれ補正機構７を含む。図１においては、本実施形態に係る歪曲収差補正処理に係わる構成を中心に記載している。
【００１４】
ぶれ検出部２は、例えばジャイロスコープ等の角加速度センサを用い、撮像装置１の角加速度等の振れを検出し、制御部３に対して、検出したぶれを示すぶれ情報を通知する。
被ぶれ補正機構７は、位置検出部８、撮像部９、撮像レンズ１０、及び駆動部１１を含み、撮像部９を移動させることによりぶれ補正を行う。
【００１５】
被ぶれ補正機構７のうち、撮像レンズ１０は、複数のレンズ等を含み、被写体像を結像させる。撮像部９は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を用い、撮像レンズ１０により結像された被写体像を光電変換し、得られた信号についてＡ／Ｄ変換を行う。Ａ／Ｄ変換により得られたデジタルデータは、図１においては不図示の信号処理部において処理が施され、得られた画像信号は、制御部３に受け渡される。
【００１６】
駆動部１１は、制御部３からのぶれ補正を行うためのぶれ補正信号にしたがって、撮像部９を駆動して、撮像部９を移動させることによりぶれ補正を行う。
位置検出部８は、例えばホール素子等を用い、駆動部１１により駆動された撮像部９の位置情報（Ｘ、Ｙ）を検出する。制御部３は、位置検出部８から検出された位置情報（Ｘ、Ｙ）を取得する。
【００１７】
本実施形態においては、位置検出部８は、フレーム内の各ラインについての位置情報（Ｘ、Ｙ）を検出する。位置検出部８が検出する位置情報（Ｘ、Ｙ）について、図２を参照して説明する。
【００１８】
図２は、撮像部９及び撮像レンズ１０の位置関係を説明する図である。ここでは、撮像装置１の光軸横行と一致する向きにｚ軸をとり、光軸と直交する平面上にｘ軸及びｙ軸をとる。
【００１９】
本実施形態に係る撮像装置１においては、位置検出部８は、撮像部９の光軸と交差する位置座標を原点Ｏ´とした場合におけるｘ軸及びｙ軸方向の座標位置（Ｘ、Ｙ）を各ラインについて検出する。
【００２０】
補正画像生成部６は、ぶれ検出部２において検出したぶれ情報と、被ぶれ補正機構７の位置検出部８が検出した位置情報（Ｘ、Ｙ）とに基づいて、被ぶれ補正機構７におけるぶれ補正によって生じる撮像部９の光軸からのずれを考慮して、撮像部９の撮像面に生じる歪曲収差に対する補正を制御部３に実行させる。具体的には、補正画像生成部６は、撮像部９により光電変換された被写体像を１ライン毎に取得し、取得した被写体像のラインに対応する１ラインまたは複数ラインの位置情報（Ｘ、Ｙ）を抽出する処理と、１ラインまたは複数ラインに対応する位置情報（Ｘ、Ｙ）に基づいて、被写体像に対して歪曲収差補正する処理とを制御部３に実行させる。
【００２１】
制御部３は、ぶれ検出部２、被ぶれ補正機構７の各部、補正画像生成部６、及び記憶部５の制御を行う。具体的には、制御部３は、ぶれ検出部２からの情報を取得して、被ぶれ補正機構７の制御を行う。また、制御部３は、被ぶれ補正機構７の位置検出部８が検出した位置情報（Ｘ、Ｙ）から撮像部９のずれ量を算出し、算出したずれ量に応じたぶれ補正信号を生成する。制御部３は、生成したぶれ補正信号を駆動部１１に通知し、前述のとおり、駆動部１１にぶれ補正を行わせる。
【００２２】
補正画像生成部６は、例えば制御部３の演算処理装置により実行される、補正画像を生成するまでの一連の処理を行う電子回路、または制御部３の演算処理装置により実行される制御プログラムとする。
【００２３】
記憶部５は、図１においては不図示の信号処理部から出力される輝度色差信号を記憶するとともに、記録媒体４に対して、画像等のデータの保存、及び制御プログラムを記憶する。補正画像生成部６が制御プログラムである場合は、当該制御プログラムを記憶部５に予め記憶させることとしてもよい。また、被ぶれ補正機構７においてぶれ補正を行う場合には、制御部３は、補正画像生成部６に基づいて、歪曲収差に対する補正がなされた画像を記憶部５に記憶する。
【００２４】
記録媒体４は、たとえば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等であり、画像等のデータを保存する。
【００２５】
図１の撮像装置１は、例えば、電源ボタンの押下によって電源が投入されることにより、所定のフレームレートでの動画の撮像を開始し、電源ボタンの再度の押下等によって電源が切られることにより、動画の撮像を終了する。動画の撮像中は、撮像部９から順次フレーム（あるいはフィールド）画像が出力される。制御部３は、記録媒体４から読み出した制御プログラムを実行することにより、あるいは、制御部３の演算処理装置により実行される電子回路により、各フレーム（あるいはフィールド）画像に対し、補正画像生成部６による補正画像を生成する。以下においては、補正画像生成部６は、制御部３の演算処理装置により実行される制御プログラムで構成した場合とする。
【００２６】
なお、このような補正画像の生成処理を実行するタイミングは、動画の記録中には限らない。撮像装置１において、ぶれ補正処理が「オン（ぶれ補正処理を実行）」と設定されている下で動画の撮像を行う場合には、制御部３は、記録媒体４から読み出した制御プログラムを実行することにより、あるいは、制御部３の演算処理装置により実行される電子回路により、各フレーム画像等に対し、補正画像生成部６による補正画像の生成を行う。
【００２７】
次に、撮像部９を駆動させてぶれ補正を行う場合における歪曲収差の補正について、図３及び図４を参照して説明する。
図３は、撮像レンズ１０が樽型の歪曲収差３１を有する場合を示す図であり、図４は、図３の樽型の歪曲収差３１を収差曲線で表した図である。図４においては、図３に示す樽型の歪曲収差３１を収差曲線で表している。図４の縦軸は、撮像レンズ１０の歪曲収差Ｄであり、横軸は、歪曲収差がないとした場合における光軸中心からの距離Ｌ０を表す。
【００２８】
ここで、縦軸の歪曲収差については、以下の（１）式により表される。
Ｄ＝（Ｌ−Ｌ０）／Ｌ０・・・（１）
（１）式中のＬについては、歪曲収差の影響を受けた場合における光軸中心からの距離を表す。（１）式を変形して歪曲収差がない場合の光軸からの距離Ｌ０について解くと、以下の（２）式を得る。
Ｌ０＝Ｌ／（１＋Ｄ）・・・（２）
したがって、（２）式により、Ｌに対応するＬ０を求めることにより、図３に示す歪曲収差３１を持つ被写体像に対して歪曲収差の補正をすることができる。
【００２９】
なお、（２）式から歪曲収差の補正量を求めることができるのは、撮像レンズ１０の光軸と交差する原点Ｏと、前述の撮像部９の原点Ｏ´とが一致している場合である。実際に画素毎に対応するＬ０を求めるためには、前述の撮像部９の位置情報（Ｘ、Ｙ）を考慮しなければならない。
【００３０】
そこで、撮像部９の位置情報（Ｘ、Ｙ）に基づき歪曲収差の補正量を求める方法について、具体的に説明する。
歪曲収差の補正量を求める方法について説明するに当たり、まず、ＣＣＤ（Charge Coupled Device）等のように、１フレームの全画素について同時に読み出す固体撮像素子を備える撮像装置において、歪曲収差の補正を行う方法について、図５及び図６を参照して説明する。
【００３１】
図５は、固体撮像素子が入力した各フレーム画像におけるライン毎の露光期間を説明する図である。ここで、１フレームのライン数はＮとする。
ＣＣＤ等の固体撮像素子は、垂直同期信号及び水平同期信号にしたがって、１フレームの全画素を同時に読み出す。図５に示す例では、１つのフレーム画像の全てのライン（ライン１〜ラインＮ）の画素を同時に読み出す。読み出した順にフレーム画像（１）、フレーム画像（２）、…とする。
【００３２】
図６は、１フレーム内の全画素について同時に読み出す固体撮像素子を備えた撮像装置における、歪曲収差補正方法を説明する図である。ここでは、簡単のため、撮像部９がｙ軸方向にのみ移動する場合を例に説明する。
【００３３】
図６（ａ）においては、固体撮像素子の実際の位置３２（図６（ａ）においては実線で表す）と、固体撮像素子と撮像レンズとの間で前述の原点Ｏ及び原点Ｏ´を結ぶ直線と光軸との間にずれがない場合の固体撮像装置の位置３３（図６（ａ）においては二点鎖線で表す）とを示す。ぶれ補正を行う前の段階であるフェーズ１においては、位置３２は、位置３３に対してｙ軸方向にずれている。そこで、実際の位置３２及び位置３３のずれ量よりぶれ補正を行って、固体撮像素子をｙ軸方向へ移動させると、歪曲収差３１が現れる。なお、固体撮像素子が取得したフレーム画像は、固体撮像素子の実際の位置３２内の灰色で示す領域がこれに相当し、図６においては、以降のフェーズにおいても同様の方法で表すこととする。
【００３４】
固体撮像素子の実際の位置３２を示す位置情報（Ｘ、Ｙ）が、（２）式におけるＬに相当する。そこで、フェーズ２においては、Ｌに相当する位置情報（Ｘ、Ｙ）を（２）式に代入することにより、（２）式のＬ０、すなわち歪曲収差の補正値を算出する。図６（ｂ）の補正値６１が、算出した歪曲収差の補正値に相当する。
【００３５】
フェーズ３においては、フェーズ２において求めた補正値６１によりフレーム画像を補正する。図６（ｃ）には、歪曲補正処理を施した画像を示す。
このように、ＣＣＤ等のように１フレーム内の全画素について同時に読み出しを行う固体撮像素子を備える撮像装置においては、図６に示す方法によって、ぶれ補正により生じる歪曲収差を補正することができる。しかし、本実施形態に係る撮像装置１のように、撮像部９が、例えばＣＭＯＳ等の、１ライン毎に画素を読み出す固体撮像素子からなる場合には、１ライン毎に歪曲収差補正量が変化するため、同様の方法では、歪曲収差を適切に補正することができない。次に、本実施形態に係る撮像装置１による歪曲収差補正方法について、図７〜図９を参照して説明する。
【００３６】
図７は、本実施形態に係る撮像装置１の撮像部９が入力した、各フレーム画像におけるライン毎の露光期間を説明する図である。
図７に示すように、本実施形態に係る撮像装置１の撮像部９では、ライン毎に露光期間がずれている。このため、図１の制御部３は、位置検出部８から１ラインまたは複数ラインに対応する位置情報（Ｘ、Ｙ）を露光期間に応じて取得して、歪曲収差の補正値を算出する。
【００３７】
図７に示す例では、説明の簡単のため、１フレームの画像を露光期間のタイミングに応じて、上から順に領域Ａ１、領域Ａ２及び領域Ａ３の３つの領域に分割する。領域Ａ１〜Ａ３のライン数はいずれもＮであり、図７においては、それぞれライン１〜Ｎとしている。
【００３８】
以下においては、領域Ａ１〜Ａ３のそれぞれの領域内においてはラインの露光期間は同じであるとして、本実施形態に係るぶれ補正処理において歪曲収差を補正する方法について説明する。
【００３９】
図８は、本実施形態に係る撮像装置１が取得するライン毎の位置情報の例を示す図である。図８の縦軸は、時間を表し、横軸は、水平方向（ｘ軸方向）の位置を表す。
図８に示す「水平方向位置情報」の中心とは、撮像部９の原点Ｏ´及び撮像レンズ１０の原点Ｏを結ぶ直線と、光軸との間にずれがない場合における撮像部９のｘ軸方向に関する中心である。領域Ａｉのラインｎの中心については、「Ｏｉ（Ａｎ）（但し、ｉは１〜Ｎの整数、ｎは１〜３の整数）」と表す。また、領域Ａｉのラインｎについての位置情報については、「Ｘｉ（Ａｎ）」と表す。図８においては、位置情報（Ｘ、Ｙ）のうち、ｘ軸方向に関する位置情報のみを示している。
【００４０】
図８に示すように、本実施形態に係る撮像装置１の位置検出部８は、各ラインの位置情報Ｘｉ（Ａｎ）を、フレーム内の上のライン（ライン１）から順に取得していく。
図９は、本実施形態に係る撮像装置１による歪曲収差補正方法を説明する図である。図９（ａ）〜図９（ｊ）においては、撮像部９が取得したフレーム画像のうち、各フェーズで処理対象となる領域を網掛けで示す。また、説明の簡単のため、ここでは、図６と同様に、撮像部９がｙ軸方向にのみ移動する場合、すなわち、位置３２が位置３３に対してｙ軸方向にずれている場合を例示する。
【００４１】
制御部３は、露光期間を同じくする領域Ａ１〜Ａ３毎に位置検出部８から位置情報（Ｘ、Ｙ）を取得して歪曲収差の補正値６１を算出する。図９（ａ）〜図９（ｃ）は、領域Ａ１についてのフェーズ１〜フェーズ３の状態をそれぞれ示しており、各フェーズにおいて実行される処理は、図６と同様である。但し、フェーズ３においては、領域Ａ１についての歪曲補正処理を施した画像Ｉ（Ａ１）を得る。同様に、図９（ｄ）〜図９（ｆ）は、領域Ａ２についてのフェーズ１〜フェーズ３の状態をそれぞれ表し、図９（ｇ）〜図９（ｉ）は、領域Ａ３についてのフェーズ１〜フェーズ３の状態をそれぞれ表している。図９（ｄ）においては、位置３２と位置３３が重なる場合、すなわち、撮像部９の位置にずれがない場合を示す。
【００４２】
フェーズ３の処理まで実行すると、領域Ａ１〜Ａ３のそれぞれについて部分画像Ｉ（Ａ１）〜Ｉ（Ａ３）が生成される。制御部３は、領域Ａ１〜Ａ３のそれぞれについて得られた歪曲収差補正を施した画像Ｉ（Ａ１）〜Ｉ（Ａ３）を合成し、図９（ｊ）に示す画像Ｉを得る。
【００４３】
図７〜図９においては、フレームを３つの領域Ａ１〜Ａ３に分割する場合を例に説明しているが、これに限定されるものではない。
図１０は、本実施形態に係る撮像装置１の制御部３による歪曲収差の補正処理を示したフローチャートである。前述したように、本フローチャートでは、撮像装置１の制御部３が記録媒体４から補正画像生成部６における制御プログラムを読み出して実行する場合とする。
【００４４】
なお、図１０に示す歪曲収差に対する補正処理を実行する前提として、ぶれ補正処理が図１０に示す歪曲収差に対する補正処理と並列に実行されていることとする。
まず、制御部３は、ステップＳ１Ａにおいて、位置検出部８から、１ラインまたは複数ラインに対応する位置情報（Ｘ、Ｙ）を取得する。ステップＳ１Ａの処理は、図９においては、フェーズ１の位置３２を取得する処理に相当する。
【００４５】
次に、制御部３は、ステップＳ２において、ステップＳ１で取得した位置情報（Ｘ、Ｙ）を用いて、１ラインまたは複数ラインに対応する歪曲収差補正値を算出する。ステップＳ２の処理は、図９においては、フェーズ２の補正値６１を算出する処理に相当する。
【００４６】
最後に、制御部３は、ステップＳ３において、ステップＳ２で算出した歪曲収差補正値を用いて、撮像された被写体像の１ラインまたは複数ラインに対して歪曲収差補正を行う。ステップＳ３の処理は、図９においては、フェーズ３の各領域に対して歪曲収差補正を行う処理に相当する。
【００４７】
図１０に示す一連の処理により、各領域についての歪曲収差補正を行った部分画像を得る。これらの部分画像を合成して得られた合成画像を、歪曲収差補正を行った被写体画像として記憶部５に記憶し、処理を終了する。
【００４８】
以上説明したように、本実施形態に係る撮像装置１によれば、撮像部９を駆動して位置情報（Ｘ、Ｙ）を生成してぶれ補正を行う際に、１ラインまたは複数ラインに対応する位置情報（Ｘ、Ｙ）を位置検出部８から取得する。そして、取得した１ラインまたは複数ラインの位置情報（Ｘ、Ｙ）より、撮像部９のずれ量を算出して歪曲収差の補正量を求めて歪曲収差補正を行う。これにより、フレーム内の画素をライン毎に読み出す構成の撮像部９を備える撮像装置１であっても、ぶれ補正時の歪曲収差補正を適切に行うことが可能となる。
＜第２の実施形態＞
【００４９】
前述の実施形態においては、制御部３は、位置検出部８から１ラインまたは複数ラインに対応する位置情報（Ｘ、Ｙ）を取得して、歪曲収差補正を行っている。これに対して、本実施形態に係る撮像装置１においては、ぶれ補正処理において取得する位置情報（Ｘ、Ｙ）を利用して歪曲収差補正を行う点で異なる。
【００５０】
以下に、第１の実施形態と異なる点を中心に、本実施形態に係る撮像装置１によるぶれ補正時の歪曲収差補正方法について説明する。
なお、本実施形態に係る撮像装置１の構成は、図１に示す第１の実施形態に係る撮像装置と同様である。但し、本実施形態においては、位置検出部８は、所定のタイミングで実行されるぶれ補正処理において、複数のラインの位置情報（Ｘ、Ｙ）を取得する。
【００５１】
図１１は、本実施形態に係る撮像装置１が取得する位置情報の例を示す図である。図１１の縦軸は、時間を表し、横軸は、水平方向（ｘ軸方向）の位置を表す。
図８と同様に、図１１の「水平方向位置情報」の中心とは、撮像部９の原点Ｏ´及び撮像レンズ１０の原点Ｏを結ぶ直線と、光軸との間にずれがない場合における撮像部９のｘ軸方向に関する中心である。
【００５２】
前述のとおり、本実施形態に係る撮像装置１においては、ぶれ補正処理において位置検出部８が検出した位置情報を取得して、歪曲収差補正に利用する。図８においては、１フレーム内の複数のラインのうち、３つのラインａ、ｂ、ｃに対応する位置情報を取得した場合を例示する。ここでは、ｘ軸方向の位置情報を例に説明している。
【００５３】
制御部３は、取得した位置情報Ｘａ、Ｘｂ、Ｘｃと、ラインａ、ｂ、ｃとの対応付けを行う。そして、制御部３は、位置情報を取得しなかったライン、すなわち、ラインａ、ｂ、ｃ以外のラインと対応する位置情報を、１次補間により算出する。具体的には、位置情報Ｘａ−Ｘｂを結ぶ直線の式を求め、求めた式より、ラインａ−ｂ間のラインについての位置情報Ｘを算出する。ラインｂ−ｃ間についても同様の方法により位置情報Ｘを算出する。
【００５４】
図１１においては、水平（ｘ軸）方向の位置情報Ｘの補間のみを示しているが、垂直（ｙ軸）方向の位置情報Ｙの補間についても同様の方法により行うことができる。
１次補間により１フレーム内の各ラインの位置情報を算出すると、ラインごとの露光期間のタイミングに応じて、領域ごとに歪曲収差の補正量を求めて歪曲収差を行い、領域ごとに部分画像を生成する。そして、部分画像を合成することにより、歪曲収差補正を行った被写体画像を得る。なお、本実施形態に係る撮像装置１の撮像部９が入力したフレーム画像におけるライン毎の露光期間については、第１の実施形態と同様であり、図７に示すとおりとする。
【００５５】
図１２は、本実施形態に係る撮像装置１の制御部３による歪曲収差の補正処理を示したフローチャートである。本フローチャートでは、撮像装置１の制御部３が記録媒体４から補正画像生成部６における制御プログラムを読み出して実行する場合とする。
【００５６】
第１の実施形態と同様に、図１２に示す歪曲収差に対する補正処理を実行する前提として、ぶれ補正処理が図１２に示す歪曲収差に対する補正処理と並列に実行されていることとする。
【００５７】
図１２においては、図１０に示す処理と同様の処理を実行するステップについては、同一のステップ番号を付している。
まず、制御部３は、ステップＳ１Ｂ−１において、ぶれ補正処理実行時に位置検出部８が取得する複数の位置情報（Ｘ、Ｙ）を取得する。
【００５８】
次に、制御部３は、ステップＳ１Ｂ−２において、位置検出部８から取得した位置情報と対応するラインを選出する。図１１に示す例では、ラインａ、ｂ、ｃを選出する。
そして、制御部３は、ステップＳ１Ｂ−３において、選出したライン間に位置するラインについての位置情報を、１次補間により求め、ステップＳ２へと処理を移行させる。
【００５９】
ステップＳ２以降の処理については、図１０に示す処理と同様である。
以上説明したように、本実施形態に係る撮像装置１によれば、ぶれ補正処理を行うときに位置検出部８が検出する位置情報を取得して、取得しなかったラインの位置情報については、１次補間により、歪曲収差補正に必要な位置情報（Ｘ、Ｙ）を算出する。歪曲収差補正と並列して実行するぶれ補正処理において用いる位置情報を利用することで、歪曲収差補正処理に要する時間を短縮することが可能となる。
【００６０】
この他にも、本発明は、本発明の要旨を逸脱しない範囲内で、種々の改良及び変更が可能である。例えば、前述の各実施形態に示された全体構成からいくつかの構成要素を削除してもよく、更には各実施形態の異なる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６１】
１ 撮像装置
２ ぶれ検出部
３ 制御部
４ 記録媒体
５ 記憶部
６ 補正画像生成部
７ 被ぶれ補正機構
８ 位置検出部
９ 撮像部
１０ 撮像レンズ
１１ 駆動部
３１ 歪曲収差
３２ 固体撮像素子の実際の位置
３３ 撮像レンズと原点位置が一致する場合の固体撮像素子の位置
６１ 歪曲収差補正値
【技術分野】
【０００１】
本発明は、被写体像を光電変換する撮像部を駆動するぶれ補正を行う技術に関し、特に、ぶれ補正時にレンズ等の光学要素部において生じる歪曲収差を補正する撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体に関する。
【背景技術】
【０００２】
近年は、ビデオカメラ等の撮像装置による動画像の撮影において、手ぶれによるぶれを補正する機能が求められるようになってきている。特に、光学的に手ぶれを補正する撮像装置においては、手ぶれ補正を適切に行うための技術の一つとして、歪曲収差補正に関する技術についても知られている（例えば、特許文献１）。
【０００３】
特許文献１においては、透過光の進行方向を任意に変えることができる可変頂角プリズムを有する防振光学系において、可変頂角プリズムがぶれ補正のために頂角を変化させた際に発生する偏心歪曲収差を補正する。
【０００４】
具体的には、あるフレームを撮影したときの撮影レンズのズーム位置と、可変頂角プリズムの回動角とをパラメータとして用いることにより、歪曲収差補正量が決定できる点に着目している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−９０３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術によれば、１フレームの全てのラインに対して同じ歪曲収差補正量を適用することを前提としている。このため、特許文献１の技術を適用できるのは、固体撮像素子が、１フレームの全てのラインの画素を一度に読み出す構成に限定されてしまうこととなる。
【０００７】
すなわち、１フレーム期間内で歪曲収差補正量が変化する場合は考慮されていないため、例えば１ライン毎に画素読み出しを行う固体撮像素子を備える構成をとる場合には、適切に歪曲収差補正量を決定することができない。
本発明は、１ライン毎に画素を読み出す固体撮像素子を備える場合に、ぶれ補正時の歪曲収差補正を適切に行うことを可能とする撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体の提供を目的とする。
【課題を解決するための手段】
【０００８】
前述した目的を達成するために、本発明の態様のひとつである撮像装置は、被写体像を光電変換する撮像部を駆動して当該駆動後の位置情報を生成する被ぶれ補正機構を有する撮像装置において、前記光電変換された被写体像を１ライン毎に取得し、当該取得した被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する処理と、前記１ラインまたは複数ラインに対応する位置情報に基づいて、前記被写体像に対して歪曲収差補正する処理と、を行う補正画像生成部を備えることを特徴とする。
【０００９】
また、本発明の別の態様のひとつであるぶれ補正方法は、被写体像を光電変換する撮像部を駆動して当該駆動後の位置情報を生成する被ぶれ補正機構を有する撮像装置によるぶれ補正方法であって、前記光電変換された被写体像を１ライン毎に取得する段階と、前記取得した前記被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する段階と、前記１ラインまたは複数ラインに対応する位置情報に基づいて、歪曲収差補正値を算出する段階と、前記歪曲収差補正値に基づいて、撮像レンズの歪曲収差を補正する段階と、を有することを特徴とする。
【００１０】
また、本発明の別の態様のひとつである制御プログラムは、被写体像を光電変換する撮像部を駆動して当該駆動後の位置情報を生成する被ぶれ補正機構を有する撮像装置によるぶれ補正方法を演算処理装置に行わせるための制御プログラムであって、前記光電変換された被写体像を１ライン毎に取得する処理と、前記取得した前記被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する処理と、前記１ラインまたは複数ラインに対応する位置情報に基づいて、歪曲収差補正値を算出する処理と、前記歪曲収差補正値に基づいて、撮像レンズの歪曲収差を補正する処理と、を前記演算処理装置に行わせることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、１ライン毎に画素を読み出す固体撮像素子を備える場合に、ぶれ補正時の歪曲収差補正を適切に行うことを可能とする撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体を提供できる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る撮像装置の構成図である。
【図２】撮像部及び撮像レンズの位置関係を説明する図である。
【図３】撮像レンズが樽型の歪曲収差を有する場合を示す図である。
【図４】樽型の歪曲収差を収差曲線で表した図である。
【図５】１フレームの全画素について同時に読み出す固体撮像素子が入力した、各フレーム画像におけるライン毎の露光期間を説明する図である。
【図６】１フレーム内の全画素について同時に読み出す固体撮像素子を備えた撮像装置における、歪曲収差補正方法を説明する図である。
【図７】第１の実施形態に係る撮像装置の撮像部が入力した、各フレーム画像におけるライン毎の露光期間を説明する図である。
【図８】第１の実施形態に係る撮像装置が取得するライン毎の位置情報の例を示す図である。
【図９】第１の実施形態に係る撮像装置による歪曲収差補正方法を説明する図である。
【図１０】第１の実施形態に係る撮像装置の制御部による歪曲収差の補正処理を示したフローチャートである。
【図１１】第２の実施形態に係る撮像装置が取得する位置情報の例を示す図である。
【図１２】第２の実施形態に係る撮像装置の制御部による歪曲収差の補正処理を示したフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
＜第１の実施形態＞
図１は、本実施形態に係る撮像装置の構成図である。図１に示す撮像装置１は、ぶれ検出部２、制御部３、記録媒体４、記憶部５、補正画像生成部６、及び被ぶれ補正機構７を含む。図１においては、本実施形態に係る歪曲収差補正処理に係わる構成を中心に記載している。
【００１４】
ぶれ検出部２は、例えばジャイロスコープ等の角加速度センサを用い、撮像装置１の角加速度等の振れを検出し、制御部３に対して、検出したぶれを示すぶれ情報を通知する。
被ぶれ補正機構７は、位置検出部８、撮像部９、撮像レンズ１０、及び駆動部１１を含み、撮像部９を移動させることによりぶれ補正を行う。
【００１５】
被ぶれ補正機構７のうち、撮像レンズ１０は、複数のレンズ等を含み、被写体像を結像させる。撮像部９は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を用い、撮像レンズ１０により結像された被写体像を光電変換し、得られた信号についてＡ／Ｄ変換を行う。Ａ／Ｄ変換により得られたデジタルデータは、図１においては不図示の信号処理部において処理が施され、得られた画像信号は、制御部３に受け渡される。
【００１６】
駆動部１１は、制御部３からのぶれ補正を行うためのぶれ補正信号にしたがって、撮像部９を駆動して、撮像部９を移動させることによりぶれ補正を行う。
位置検出部８は、例えばホール素子等を用い、駆動部１１により駆動された撮像部９の位置情報（Ｘ、Ｙ）を検出する。制御部３は、位置検出部８から検出された位置情報（Ｘ、Ｙ）を取得する。
【００１７】
本実施形態においては、位置検出部８は、フレーム内の各ラインについての位置情報（Ｘ、Ｙ）を検出する。位置検出部８が検出する位置情報（Ｘ、Ｙ）について、図２を参照して説明する。
【００１８】
図２は、撮像部９及び撮像レンズ１０の位置関係を説明する図である。ここでは、撮像装置１の光軸横行と一致する向きにｚ軸をとり、光軸と直交する平面上にｘ軸及びｙ軸をとる。
【００１９】
本実施形態に係る撮像装置１においては、位置検出部８は、撮像部９の光軸と交差する位置座標を原点Ｏ´とした場合におけるｘ軸及びｙ軸方向の座標位置（Ｘ、Ｙ）を各ラインについて検出する。
【００２０】
補正画像生成部６は、ぶれ検出部２において検出したぶれ情報と、被ぶれ補正機構７の位置検出部８が検出した位置情報（Ｘ、Ｙ）とに基づいて、被ぶれ補正機構７におけるぶれ補正によって生じる撮像部９の光軸からのずれを考慮して、撮像部９の撮像面に生じる歪曲収差に対する補正を制御部３に実行させる。具体的には、補正画像生成部６は、撮像部９により光電変換された被写体像を１ライン毎に取得し、取得した被写体像のラインに対応する１ラインまたは複数ラインの位置情報（Ｘ、Ｙ）を抽出する処理と、１ラインまたは複数ラインに対応する位置情報（Ｘ、Ｙ）に基づいて、被写体像に対して歪曲収差補正する処理とを制御部３に実行させる。
【００２１】
制御部３は、ぶれ検出部２、被ぶれ補正機構７の各部、補正画像生成部６、及び記憶部５の制御を行う。具体的には、制御部３は、ぶれ検出部２からの情報を取得して、被ぶれ補正機構７の制御を行う。また、制御部３は、被ぶれ補正機構７の位置検出部８が検出した位置情報（Ｘ、Ｙ）から撮像部９のずれ量を算出し、算出したずれ量に応じたぶれ補正信号を生成する。制御部３は、生成したぶれ補正信号を駆動部１１に通知し、前述のとおり、駆動部１１にぶれ補正を行わせる。
【００２２】
補正画像生成部６は、例えば制御部３の演算処理装置により実行される、補正画像を生成するまでの一連の処理を行う電子回路、または制御部３の演算処理装置により実行される制御プログラムとする。
【００２３】
記憶部５は、図１においては不図示の信号処理部から出力される輝度色差信号を記憶するとともに、記録媒体４に対して、画像等のデータの保存、及び制御プログラムを記憶する。補正画像生成部６が制御プログラムである場合は、当該制御プログラムを記憶部５に予め記憶させることとしてもよい。また、被ぶれ補正機構７においてぶれ補正を行う場合には、制御部３は、補正画像生成部６に基づいて、歪曲収差に対する補正がなされた画像を記憶部５に記憶する。
【００２４】
記録媒体４は、たとえば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等であり、画像等のデータを保存する。
【００２５】
図１の撮像装置１は、例えば、電源ボタンの押下によって電源が投入されることにより、所定のフレームレートでの動画の撮像を開始し、電源ボタンの再度の押下等によって電源が切られることにより、動画の撮像を終了する。動画の撮像中は、撮像部９から順次フレーム（あるいはフィールド）画像が出力される。制御部３は、記録媒体４から読み出した制御プログラムを実行することにより、あるいは、制御部３の演算処理装置により実行される電子回路により、各フレーム（あるいはフィールド）画像に対し、補正画像生成部６による補正画像を生成する。以下においては、補正画像生成部６は、制御部３の演算処理装置により実行される制御プログラムで構成した場合とする。
【００２６】
なお、このような補正画像の生成処理を実行するタイミングは、動画の記録中には限らない。撮像装置１において、ぶれ補正処理が「オン（ぶれ補正処理を実行）」と設定されている下で動画の撮像を行う場合には、制御部３は、記録媒体４から読み出した制御プログラムを実行することにより、あるいは、制御部３の演算処理装置により実行される電子回路により、各フレーム画像等に対し、補正画像生成部６による補正画像の生成を行う。
【００２７】
次に、撮像部９を駆動させてぶれ補正を行う場合における歪曲収差の補正について、図３及び図４を参照して説明する。
図３は、撮像レンズ１０が樽型の歪曲収差３１を有する場合を示す図であり、図４は、図３の樽型の歪曲収差３１を収差曲線で表した図である。図４においては、図３に示す樽型の歪曲収差３１を収差曲線で表している。図４の縦軸は、撮像レンズ１０の歪曲収差Ｄであり、横軸は、歪曲収差がないとした場合における光軸中心からの距離Ｌ０を表す。
【００２８】
ここで、縦軸の歪曲収差については、以下の（１）式により表される。
Ｄ＝（Ｌ−Ｌ０）／Ｌ０・・・（１）
（１）式中のＬについては、歪曲収差の影響を受けた場合における光軸中心からの距離を表す。（１）式を変形して歪曲収差がない場合の光軸からの距離Ｌ０について解くと、以下の（２）式を得る。
Ｌ０＝Ｌ／（１＋Ｄ）・・・（２）
したがって、（２）式により、Ｌに対応するＬ０を求めることにより、図３に示す歪曲収差３１を持つ被写体像に対して歪曲収差の補正をすることができる。
【００２９】
なお、（２）式から歪曲収差の補正量を求めることができるのは、撮像レンズ１０の光軸と交差する原点Ｏと、前述の撮像部９の原点Ｏ´とが一致している場合である。実際に画素毎に対応するＬ０を求めるためには、前述の撮像部９の位置情報（Ｘ、Ｙ）を考慮しなければならない。
【００３０】
そこで、撮像部９の位置情報（Ｘ、Ｙ）に基づき歪曲収差の補正量を求める方法について、具体的に説明する。
歪曲収差の補正量を求める方法について説明するに当たり、まず、ＣＣＤ（Charge Coupled Device）等のように、１フレームの全画素について同時に読み出す固体撮像素子を備える撮像装置において、歪曲収差の補正を行う方法について、図５及び図６を参照して説明する。
【００３１】
図５は、固体撮像素子が入力した各フレーム画像におけるライン毎の露光期間を説明する図である。ここで、１フレームのライン数はＮとする。
ＣＣＤ等の固体撮像素子は、垂直同期信号及び水平同期信号にしたがって、１フレームの全画素を同時に読み出す。図５に示す例では、１つのフレーム画像の全てのライン（ライン１〜ラインＮ）の画素を同時に読み出す。読み出した順にフレーム画像（１）、フレーム画像（２）、…とする。
【００３２】
図６は、１フレーム内の全画素について同時に読み出す固体撮像素子を備えた撮像装置における、歪曲収差補正方法を説明する図である。ここでは、簡単のため、撮像部９がｙ軸方向にのみ移動する場合を例に説明する。
【００３３】
図６（ａ）においては、固体撮像素子の実際の位置３２（図６（ａ）においては実線で表す）と、固体撮像素子と撮像レンズとの間で前述の原点Ｏ及び原点Ｏ´を結ぶ直線と光軸との間にずれがない場合の固体撮像装置の位置３３（図６（ａ）においては二点鎖線で表す）とを示す。ぶれ補正を行う前の段階であるフェーズ１においては、位置３２は、位置３３に対してｙ軸方向にずれている。そこで、実際の位置３２及び位置３３のずれ量よりぶれ補正を行って、固体撮像素子をｙ軸方向へ移動させると、歪曲収差３１が現れる。なお、固体撮像素子が取得したフレーム画像は、固体撮像素子の実際の位置３２内の灰色で示す領域がこれに相当し、図６においては、以降のフェーズにおいても同様の方法で表すこととする。
【００３４】
固体撮像素子の実際の位置３２を示す位置情報（Ｘ、Ｙ）が、（２）式におけるＬに相当する。そこで、フェーズ２においては、Ｌに相当する位置情報（Ｘ、Ｙ）を（２）式に代入することにより、（２）式のＬ０、すなわち歪曲収差の補正値を算出する。図６（ｂ）の補正値６１が、算出した歪曲収差の補正値に相当する。
【００３５】
フェーズ３においては、フェーズ２において求めた補正値６１によりフレーム画像を補正する。図６（ｃ）には、歪曲補正処理を施した画像を示す。
このように、ＣＣＤ等のように１フレーム内の全画素について同時に読み出しを行う固体撮像素子を備える撮像装置においては、図６に示す方法によって、ぶれ補正により生じる歪曲収差を補正することができる。しかし、本実施形態に係る撮像装置１のように、撮像部９が、例えばＣＭＯＳ等の、１ライン毎に画素を読み出す固体撮像素子からなる場合には、１ライン毎に歪曲収差補正量が変化するため、同様の方法では、歪曲収差を適切に補正することができない。次に、本実施形態に係る撮像装置１による歪曲収差補正方法について、図７〜図９を参照して説明する。
【００３６】
図７は、本実施形態に係る撮像装置１の撮像部９が入力した、各フレーム画像におけるライン毎の露光期間を説明する図である。
図７に示すように、本実施形態に係る撮像装置１の撮像部９では、ライン毎に露光期間がずれている。このため、図１の制御部３は、位置検出部８から１ラインまたは複数ラインに対応する位置情報（Ｘ、Ｙ）を露光期間に応じて取得して、歪曲収差の補正値を算出する。
【００３７】
図７に示す例では、説明の簡単のため、１フレームの画像を露光期間のタイミングに応じて、上から順に領域Ａ１、領域Ａ２及び領域Ａ３の３つの領域に分割する。領域Ａ１〜Ａ３のライン数はいずれもＮであり、図７においては、それぞれライン１〜Ｎとしている。
【００３８】
以下においては、領域Ａ１〜Ａ３のそれぞれの領域内においてはラインの露光期間は同じであるとして、本実施形態に係るぶれ補正処理において歪曲収差を補正する方法について説明する。
【００３９】
図８は、本実施形態に係る撮像装置１が取得するライン毎の位置情報の例を示す図である。図８の縦軸は、時間を表し、横軸は、水平方向（ｘ軸方向）の位置を表す。
図８に示す「水平方向位置情報」の中心とは、撮像部９の原点Ｏ´及び撮像レンズ１０の原点Ｏを結ぶ直線と、光軸との間にずれがない場合における撮像部９のｘ軸方向に関する中心である。領域Ａｉのラインｎの中心については、「Ｏｉ（Ａｎ）（但し、ｉは１〜Ｎの整数、ｎは１〜３の整数）」と表す。また、領域Ａｉのラインｎについての位置情報については、「Ｘｉ（Ａｎ）」と表す。図８においては、位置情報（Ｘ、Ｙ）のうち、ｘ軸方向に関する位置情報のみを示している。
【００４０】
図８に示すように、本実施形態に係る撮像装置１の位置検出部８は、各ラインの位置情報Ｘｉ（Ａｎ）を、フレーム内の上のライン（ライン１）から順に取得していく。
図９は、本実施形態に係る撮像装置１による歪曲収差補正方法を説明する図である。図９（ａ）〜図９（ｊ）においては、撮像部９が取得したフレーム画像のうち、各フェーズで処理対象となる領域を網掛けで示す。また、説明の簡単のため、ここでは、図６と同様に、撮像部９がｙ軸方向にのみ移動する場合、すなわち、位置３２が位置３３に対してｙ軸方向にずれている場合を例示する。
【００４１】
制御部３は、露光期間を同じくする領域Ａ１〜Ａ３毎に位置検出部８から位置情報（Ｘ、Ｙ）を取得して歪曲収差の補正値６１を算出する。図９（ａ）〜図９（ｃ）は、領域Ａ１についてのフェーズ１〜フェーズ３の状態をそれぞれ示しており、各フェーズにおいて実行される処理は、図６と同様である。但し、フェーズ３においては、領域Ａ１についての歪曲補正処理を施した画像Ｉ（Ａ１）を得る。同様に、図９（ｄ）〜図９（ｆ）は、領域Ａ２についてのフェーズ１〜フェーズ３の状態をそれぞれ表し、図９（ｇ）〜図９（ｉ）は、領域Ａ３についてのフェーズ１〜フェーズ３の状態をそれぞれ表している。図９（ｄ）においては、位置３２と位置３３が重なる場合、すなわち、撮像部９の位置にずれがない場合を示す。
【００４２】
フェーズ３の処理まで実行すると、領域Ａ１〜Ａ３のそれぞれについて部分画像Ｉ（Ａ１）〜Ｉ（Ａ３）が生成される。制御部３は、領域Ａ１〜Ａ３のそれぞれについて得られた歪曲収差補正を施した画像Ｉ（Ａ１）〜Ｉ（Ａ３）を合成し、図９（ｊ）に示す画像Ｉを得る。
【００４３】
図７〜図９においては、フレームを３つの領域Ａ１〜Ａ３に分割する場合を例に説明しているが、これに限定されるものではない。
図１０は、本実施形態に係る撮像装置１の制御部３による歪曲収差の補正処理を示したフローチャートである。前述したように、本フローチャートでは、撮像装置１の制御部３が記録媒体４から補正画像生成部６における制御プログラムを読み出して実行する場合とする。
【００４４】
なお、図１０に示す歪曲収差に対する補正処理を実行する前提として、ぶれ補正処理が図１０に示す歪曲収差に対する補正処理と並列に実行されていることとする。
まず、制御部３は、ステップＳ１Ａにおいて、位置検出部８から、１ラインまたは複数ラインに対応する位置情報（Ｘ、Ｙ）を取得する。ステップＳ１Ａの処理は、図９においては、フェーズ１の位置３２を取得する処理に相当する。
【００４５】
次に、制御部３は、ステップＳ２において、ステップＳ１で取得した位置情報（Ｘ、Ｙ）を用いて、１ラインまたは複数ラインに対応する歪曲収差補正値を算出する。ステップＳ２の処理は、図９においては、フェーズ２の補正値６１を算出する処理に相当する。
【００４６】
最後に、制御部３は、ステップＳ３において、ステップＳ２で算出した歪曲収差補正値を用いて、撮像された被写体像の１ラインまたは複数ラインに対して歪曲収差補正を行う。ステップＳ３の処理は、図９においては、フェーズ３の各領域に対して歪曲収差補正を行う処理に相当する。
【００４７】
図１０に示す一連の処理により、各領域についての歪曲収差補正を行った部分画像を得る。これらの部分画像を合成して得られた合成画像を、歪曲収差補正を行った被写体画像として記憶部５に記憶し、処理を終了する。
【００４８】
以上説明したように、本実施形態に係る撮像装置１によれば、撮像部９を駆動して位置情報（Ｘ、Ｙ）を生成してぶれ補正を行う際に、１ラインまたは複数ラインに対応する位置情報（Ｘ、Ｙ）を位置検出部８から取得する。そして、取得した１ラインまたは複数ラインの位置情報（Ｘ、Ｙ）より、撮像部９のずれ量を算出して歪曲収差の補正量を求めて歪曲収差補正を行う。これにより、フレーム内の画素をライン毎に読み出す構成の撮像部９を備える撮像装置１であっても、ぶれ補正時の歪曲収差補正を適切に行うことが可能となる。
＜第２の実施形態＞
【００４９】
前述の実施形態においては、制御部３は、位置検出部８から１ラインまたは複数ラインに対応する位置情報（Ｘ、Ｙ）を取得して、歪曲収差補正を行っている。これに対して、本実施形態に係る撮像装置１においては、ぶれ補正処理において取得する位置情報（Ｘ、Ｙ）を利用して歪曲収差補正を行う点で異なる。
【００５０】
以下に、第１の実施形態と異なる点を中心に、本実施形態に係る撮像装置１によるぶれ補正時の歪曲収差補正方法について説明する。
なお、本実施形態に係る撮像装置１の構成は、図１に示す第１の実施形態に係る撮像装置と同様である。但し、本実施形態においては、位置検出部８は、所定のタイミングで実行されるぶれ補正処理において、複数のラインの位置情報（Ｘ、Ｙ）を取得する。
【００５１】
図１１は、本実施形態に係る撮像装置１が取得する位置情報の例を示す図である。図１１の縦軸は、時間を表し、横軸は、水平方向（ｘ軸方向）の位置を表す。
図８と同様に、図１１の「水平方向位置情報」の中心とは、撮像部９の原点Ｏ´及び撮像レンズ１０の原点Ｏを結ぶ直線と、光軸との間にずれがない場合における撮像部９のｘ軸方向に関する中心である。
【００５２】
前述のとおり、本実施形態に係る撮像装置１においては、ぶれ補正処理において位置検出部８が検出した位置情報を取得して、歪曲収差補正に利用する。図８においては、１フレーム内の複数のラインのうち、３つのラインａ、ｂ、ｃに対応する位置情報を取得した場合を例示する。ここでは、ｘ軸方向の位置情報を例に説明している。
【００５３】
制御部３は、取得した位置情報Ｘａ、Ｘｂ、Ｘｃと、ラインａ、ｂ、ｃとの対応付けを行う。そして、制御部３は、位置情報を取得しなかったライン、すなわち、ラインａ、ｂ、ｃ以外のラインと対応する位置情報を、１次補間により算出する。具体的には、位置情報Ｘａ−Ｘｂを結ぶ直線の式を求め、求めた式より、ラインａ−ｂ間のラインについての位置情報Ｘを算出する。ラインｂ−ｃ間についても同様の方法により位置情報Ｘを算出する。
【００５４】
図１１においては、水平（ｘ軸）方向の位置情報Ｘの補間のみを示しているが、垂直（ｙ軸）方向の位置情報Ｙの補間についても同様の方法により行うことができる。
１次補間により１フレーム内の各ラインの位置情報を算出すると、ラインごとの露光期間のタイミングに応じて、領域ごとに歪曲収差の補正量を求めて歪曲収差を行い、領域ごとに部分画像を生成する。そして、部分画像を合成することにより、歪曲収差補正を行った被写体画像を得る。なお、本実施形態に係る撮像装置１の撮像部９が入力したフレーム画像におけるライン毎の露光期間については、第１の実施形態と同様であり、図７に示すとおりとする。
【００５５】
図１２は、本実施形態に係る撮像装置１の制御部３による歪曲収差の補正処理を示したフローチャートである。本フローチャートでは、撮像装置１の制御部３が記録媒体４から補正画像生成部６における制御プログラムを読み出して実行する場合とする。
【００５６】
第１の実施形態と同様に、図１２に示す歪曲収差に対する補正処理を実行する前提として、ぶれ補正処理が図１２に示す歪曲収差に対する補正処理と並列に実行されていることとする。
【００５７】
図１２においては、図１０に示す処理と同様の処理を実行するステップについては、同一のステップ番号を付している。
まず、制御部３は、ステップＳ１Ｂ−１において、ぶれ補正処理実行時に位置検出部８が取得する複数の位置情報（Ｘ、Ｙ）を取得する。
【００５８】
次に、制御部３は、ステップＳ１Ｂ−２において、位置検出部８から取得した位置情報と対応するラインを選出する。図１１に示す例では、ラインａ、ｂ、ｃを選出する。
そして、制御部３は、ステップＳ１Ｂ−３において、選出したライン間に位置するラインについての位置情報を、１次補間により求め、ステップＳ２へと処理を移行させる。
【００５９】
ステップＳ２以降の処理については、図１０に示す処理と同様である。
以上説明したように、本実施形態に係る撮像装置１によれば、ぶれ補正処理を行うときに位置検出部８が検出する位置情報を取得して、取得しなかったラインの位置情報については、１次補間により、歪曲収差補正に必要な位置情報（Ｘ、Ｙ）を算出する。歪曲収差補正と並列して実行するぶれ補正処理において用いる位置情報を利用することで、歪曲収差補正処理に要する時間を短縮することが可能となる。
【００６０】
この他にも、本発明は、本発明の要旨を逸脱しない範囲内で、種々の改良及び変更が可能である。例えば、前述の各実施形態に示された全体構成からいくつかの構成要素を削除してもよく、更には各実施形態の異なる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６１】
１ 撮像装置
２ ぶれ検出部
３ 制御部
４ 記録媒体
５ 記憶部
６ 補正画像生成部
７ 被ぶれ補正機構
８ 位置検出部
９ 撮像部
１０ 撮像レンズ
１１ 駆動部
３１ 歪曲収差
３２ 固体撮像素子の実際の位置
３３ 撮像レンズと原点位置が一致する場合の固体撮像素子の位置
６１ 歪曲収差補正値
【特許請求の範囲】
【請求項１】
被写体像を光電変換する撮像部を駆動して当該駆動後の位置情報を生成する被ぶれ補正機構を有する撮像装置において、
前記光電変換された被写体像を１ライン毎に取得し、当該取得した被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する処理と、前記１ラインまたは複数ラインに対応する位置情報に基づいて、前記被写体像に対して歪曲収差補正する処理と、を行う補正画像生成部
を備えることを特徴とする撮像装置。
【請求項２】
前記位置情報を抽出する処理は、前記被写体像の水平走査方向または垂直走査方向の１ラインである第１のラインと、当該第１のラインから複数ライン離間した１ラインである第２のラインとの間のラインについての前記水平走査方向または前記垂直走査方向の当該位置情報を、１次補間により抽出する処理を含む
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記位置情報を抽出する処理は、ぶれ補正処理において取得する複数の位置情報を取得する処理と、当該取得した複数の位置情報とそれぞれ対応する複数のラインを選出する処理と、当該選出した複数のライン間のラインについての位置情報を、１次補間で求める処理とを含む
ことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記被写体像に前記歪曲収差補正を行った画像を記憶させる記憶部と
を更に備えることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
被写体像を光電変換する撮像部を駆動して当該駆動後の位置情報を生成する被ぶれ補正機構を有する撮像装置によるぶれ補正方法であって、
前記光電変換された被写体像を１ライン毎に取得する段階と、
前記取得した前記被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する段階と、
前記１ラインまたは複数ラインに対応する位置情報に基づいて、歪曲収差補正値を算出する段階と、
前記歪曲収差補正値に基づいて、撮像レンズの歪曲収差を補正する段階と、
を有することを特徴とするぶれ補正方法。
【請求項６】
前記位置情報を抽出する段階は、前記被写体像の水平走査方向または垂直走査方向の１ラインである第１のラインと、当該第１のラインから複数ライン離間した１ラインである第２のラインとの間のラインについての前記水平走査方向または前記垂直走査方向の当該位置情報を、１次補間により抽出する段階を含む
ことを特徴とする請求項５記載のぶれ補正方法。
【請求項７】
前記位置情報を抽出する段階は、ぶれ補正処理において取得する複数の位置情報を取得する段階と、当該取得した複数の位置情報とそれぞれ対応する複数のラインを選出する段階と、当該選出した複数のライン間のラインについての位置情報を、１次補間で求める段階とを含む
ことを特徴とする請求項６記載のぶれ補正方法。
【請求項８】
前記被写体像に前記歪曲収差補正を行った画像を記憶させる段階と
を更に備えることを特徴とする請求項５から７のいずれか１項に記載のぶれ補正方法。
【請求項９】
被写体像を光電変換する撮像部を駆動して当該駆動後の位置情報を生成する被ぶれ補正機構を有する撮像装置によるぶれ補正方法を演算処理装置に行わせるための制御プログラムであって、
前記光電変換された被写体像を１ライン毎に取得する処理と、
前記取得した前記被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する処理と、
前記１ラインまたは複数ラインに対応する位置情報に基づいて、歪曲収差補正値を算出する処理と、
前記歪曲収差補正値に基づいて、撮像レンズの歪曲収差を補正する処理と、
を前記演算処理装置に行わせることを特徴とする制御プログラム。
【請求項１０】
前記位置情報を抽出する処理は、前記被写体像の水平走査方向または垂直走査方向の１ラインである第１のラインと、当該第１のラインから複数ライン離間した１ラインである第２のラインとの間のラインについての前記水平走査方向または前記垂直走査方向の当該位置情報を、１次補間により抽出する処理を含む
ことを特徴とする請求項９記載の制御プログラム。
【請求項１１】
前記位置情報を抽出する処理は、ぶれ補正処理において取得する複数の位置情報を取得する処理と、当該取得した複数の位置情報とそれぞれ対応する複数のラインを選出する処理と、当該選出した複数のライン間のラインについての位置情報を、１次補間で求める処理とを含む
ことを特徴とする請求項１０記載の制御プログラム。
【請求項１２】
前記被写体像に前記歪曲収差補正を行った画像を記憶させる処理と
を更に備えることを特徴とする請求項９から１１のいずれか１項に記載の制御プログラム。
【請求項１３】
請求項９の制御プログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項１】
被写体像を光電変換する撮像部を駆動して当該駆動後の位置情報を生成する被ぶれ補正機構を有する撮像装置において、
前記光電変換された被写体像を１ライン毎に取得し、当該取得した被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する処理と、前記１ラインまたは複数ラインに対応する位置情報に基づいて、前記被写体像に対して歪曲収差補正する処理と、を行う補正画像生成部
を備えることを特徴とする撮像装置。
【請求項２】
前記位置情報を抽出する処理は、前記被写体像の水平走査方向または垂直走査方向の１ラインである第１のラインと、当該第１のラインから複数ライン離間した１ラインである第２のラインとの間のラインについての前記水平走査方向または前記垂直走査方向の当該位置情報を、１次補間により抽出する処理を含む
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記位置情報を抽出する処理は、ぶれ補正処理において取得する複数の位置情報を取得する処理と、当該取得した複数の位置情報とそれぞれ対応する複数のラインを選出する処理と、当該選出した複数のライン間のラインについての位置情報を、１次補間で求める処理とを含む
ことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記被写体像に前記歪曲収差補正を行った画像を記憶させる記憶部と
を更に備えることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
被写体像を光電変換する撮像部を駆動して当該駆動後の位置情報を生成する被ぶれ補正機構を有する撮像装置によるぶれ補正方法であって、
前記光電変換された被写体像を１ライン毎に取得する段階と、
前記取得した前記被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する段階と、
前記１ラインまたは複数ラインに対応する位置情報に基づいて、歪曲収差補正値を算出する段階と、
前記歪曲収差補正値に基づいて、撮像レンズの歪曲収差を補正する段階と、
を有することを特徴とするぶれ補正方法。
【請求項６】
前記位置情報を抽出する段階は、前記被写体像の水平走査方向または垂直走査方向の１ラインである第１のラインと、当該第１のラインから複数ライン離間した１ラインである第２のラインとの間のラインについての前記水平走査方向または前記垂直走査方向の当該位置情報を、１次補間により抽出する段階を含む
ことを特徴とする請求項５記載のぶれ補正方法。
【請求項７】
前記位置情報を抽出する段階は、ぶれ補正処理において取得する複数の位置情報を取得する段階と、当該取得した複数の位置情報とそれぞれ対応する複数のラインを選出する段階と、当該選出した複数のライン間のラインについての位置情報を、１次補間で求める段階とを含む
ことを特徴とする請求項６記載のぶれ補正方法。
【請求項８】
前記被写体像に前記歪曲収差補正を行った画像を記憶させる段階と
を更に備えることを特徴とする請求項５から７のいずれか１項に記載のぶれ補正方法。
【請求項９】
被写体像を光電変換する撮像部を駆動して当該駆動後の位置情報を生成する被ぶれ補正機構を有する撮像装置によるぶれ補正方法を演算処理装置に行わせるための制御プログラムであって、
前記光電変換された被写体像を１ライン毎に取得する処理と、
前記取得した前記被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する処理と、
前記１ラインまたは複数ラインに対応する位置情報に基づいて、歪曲収差補正値を算出する処理と、
前記歪曲収差補正値に基づいて、撮像レンズの歪曲収差を補正する処理と、
を前記演算処理装置に行わせることを特徴とする制御プログラム。
【請求項１０】
前記位置情報を抽出する処理は、前記被写体像の水平走査方向または垂直走査方向の１ラインである第１のラインと、当該第１のラインから複数ライン離間した１ラインである第２のラインとの間のラインについての前記水平走査方向または前記垂直走査方向の当該位置情報を、１次補間により抽出する処理を含む
ことを特徴とする請求項９記載の制御プログラム。
【請求項１１】
前記位置情報を抽出する処理は、ぶれ補正処理において取得する複数の位置情報を取得する処理と、当該取得した複数の位置情報とそれぞれ対応する複数のラインを選出する処理と、当該選出した複数のライン間のラインについての位置情報を、１次補間で求める処理とを含む
ことを特徴とする請求項１０記載の制御プログラム。
【請求項１２】
前記被写体像に前記歪曲収差補正を行った画像を記憶させる処理と
を更に備えることを特徴とする請求項９から１１のいずれか１項に記載の制御プログラム。
【請求項１３】
請求項９の制御プログラムを記録したコンピュータが読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図８】
【図１０】
【図１１】
【図１２】
【図５】
【図６】
【図７】
【図９】
【図２】
【図３】
【図４】
【図８】
【図１０】
【図１１】
【図１２】
【図５】
【図６】
【図７】
【図９】
【公開番号】特開２０１２−２３１２６２（Ｐ２０１２−２３１２６２Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−９７５６６（Ｐ２０１１−９７５６６）
【出願日】平成２３年４月２５日（２０１１．４．２５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２５日（２０１１．４．２５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]