撮像装置及び撮像方法並びにプログラム
【課題】撮像装置において、ローリングシャッタ方式の撮像センサで動体を撮像するときに生じる動体の図形の歪みを、解像度を変えることなく容易に補正する。
【解決手段】ローリングシャッタ方式の撮像センサを使用して被写体を撮像する撮像手段を用いて、撮像手段に第１の撮像を行わせ、ライン毎の走査を一方向から行う第１の走査方法で撮像センサの信号を読み出す。撮像手段に第２の撮像を行わせ、ライン毎の走査を前記一方向とは逆の方向から行う第２の走査方法で撮像センサの信号を読み出す。第１の撮像によって取得した第１の画像から複数の特徴点を抽出し各々に対応する対応点を、第２の撮像によって取得した第２の画像から検出する。複数の特徴点と各々に対応する対応点との中間に位置する中間点の座標値を算出する。複数の特徴点／対応点の座標値が中間点の座標値に一致するように第１の画像／第２の画像を変形する。
【解決手段】ローリングシャッタ方式の撮像センサを使用して被写体を撮像する撮像手段を用いて、撮像手段に第１の撮像を行わせ、ライン毎の走査を一方向から行う第１の走査方法で撮像センサの信号を読み出す。撮像手段に第２の撮像を行わせ、ライン毎の走査を前記一方向とは逆の方向から行う第２の走査方法で撮像センサの信号を読み出す。第１の撮像によって取得した第１の画像から複数の特徴点を抽出し各々に対応する対応点を、第２の撮像によって取得した第２の画像から検出する。複数の特徴点と各々に対応する対応点との中間に位置する中間点の座標値を算出する。複数の特徴点／対応点の座標値が中間点の座標値に一致するように第１の画像／第２の画像を変形する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタルカメラ等の撮像装置に関し、特にローリングシャッタ方式の撮像センサを備えてなる撮像装置及び撮像方法並びプログラムに関するものである。
【背景技術】
【０００２】
近年、ローリングシャッタ方式の撮像センサとして、構造的に読出線を複数用意したり、不要部分を読み飛ばすことによって高速読み出しを可能にしたＣＭＯＳ（Complementary Mental Oxide Semiconductor）イメージセンサ（以下、ＣＭＯＳセンサという）が普及しつつある。このようなＣＭＯＳセンサをデジタルカメラに搭載することにより、従来よりも高速な連写が可能となり、シャッタチャンスを逃すことなく撮像を行うことができる。
【０００３】
ところでＣＭＯＳセンサでは、一般的に、走査ライン毎に順次シャッタを切るローリングシャッタ方式により画素信号の読み出しが行われる。この方式で全画素の画素信号を読み出す場合、例えば、画面の左上の画素から順に、右下に向かって各画素の信号を読み出すため、読み出し開始点（左上）と読み出し終了点（右下）とで時間差が生じてしまい、図１３の左図に示すように被写体に図中右方向に移動する動体Ｄが存在する場合には、撮像して得た画像は図１３の右図に示すように動体Ｄの図形に歪みが生じてしまう。
【０００４】
そこで、ローリングシャッタ方式の撮像センサにおいて、水平又は垂直の走査ラインを所定の間引き率で読み出し、間引かれた走査ラインは近接する走査ラインを用いて補正することにより動体の図形の歪みを低減する方法（特許文献１）や、ローリングシャッタ方式の撮像センサを用いて撮像された複数枚のフレーム画像において、動き領域及び動き領域の動きベクトルを取得し、動きベクトルと複数枚のフレーム画像間での撮像間隔に関する情報と、露光開始時刻差に関する情報と、露光開始順序に関する情報とに基づいて複数枚のフレーム画像中の補正対象たるフレーム画像内の動き領域を補正する方法（特許文献２）が開示されている。
【特許文献１】特開２００６−１４８８６１号公報
【特許文献２】特開２００７−１４２９２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の方法は、走査ラインを間引くので水平方向の走査ラインを間引いた場合には垂直方向の解像度が、垂直方向の走査ラインを間引いた場合には水平方向の解像度が低下してしまう。また上記特許文献２に記載の方法は、動き領域の検出や、露光開始時刻差等の情報が必要となり、例えば画像の中に動きの異なる複数の動き領域が存在する場合等には各々の動き領域を検出して、領域毎に異なる補正を行う必要があるため処理が煩雑になってしまう虞がある。
【０００６】
本発明はかかる事情に鑑みてなされたものであり、ローリングシャッタ方式の撮像センサで動体を撮像するときに生じる動体の図形の歪みを、解像度を変えることなく容易に補正することができる撮像装置及び撮像方法並びプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、ローリングシャッタ方式の撮像センサを使用して被写体を撮像する撮像手段と、
【０００８】
該撮像手段に第１の撮像と第２の撮像とを連続して行わせ、前記第１の撮像時にライン毎の走査を一方向から行う第１の走査方法で前記撮像センサの信号を読み出し、前記第２の撮像時にライン毎の走査を前記一方向とは逆の方向から行う第２の走査方法で前記撮像センサの信号を読み出すように前記撮像手段を制御する撮像制御手段と、
【０００９】
前記第１の撮像によって取得した第１の画像から複数の特徴点を抽出する特徴点抽出手段と、
【００１０】
該特徴点抽出手段により抽出された複数の特徴点の各々に対応する対応点を、前記第２の撮像によって取得した第２の画像から検出する対応点検出手段と、
【００１１】
前記複数の特徴点と該複数の特徴点の各々に対応する前記対応点との中間に位置する中間点の座標値を算出し、前記特徴点の座標値が前記中間点の座標値に一致するように前記第１の画像を変形する、及び／又は、前記対応点の座標値が前記中間点の座標値に一致するように前記第２の画像を変形する画像変形手段とを備えていることを特徴とするものである。
【００１２】
本発明において「ローリングシャッタ方式の撮像センサ」は、全画素同時ではなく、シャッタ動作を行う画素が時間とともに縦方向又は横方向の行単位でシフトしていく方式のイメージセンサをいい、ＭＯＳ型のイメージセンサを挙げることができる。ＭＯＳ型のイメージセンサとしては例えばＣＭＯＳセンサを使用することができる。
また「第１の撮像と第２の撮像とを連続して行わせ」は、先に第１の撮像を行ってもよいし、先に第２の撮像を行ってもよい。ただし「連続」した撮像は第１の撮像と第２の撮像との間の時間間隔が例えば１／６０秒を超えないようにする。
【００１３】
なお本発明の撮像装置は、前記複数の特徴点と該複数の特徴点の各々に対応する前記対応点とから動きベクトルを算出する動きベクトル算出手段と、
【００１４】
該動きベクトル算出手段により算出された前記動きベクトルが所定の閾値よりも小さい場合に、前記画像変形手段による前記第１の画像又は前記第２の画像の変形を行わないようにする画像変形禁止手段とをさらに備えていてもよい。
【００１５】
なお所定の閾値と比較する「動きベクトル」は、複数の動きベクトルのうち最も大きさの大きいベクトルを選択してもよいし、複数の動きベクトルの平均値や中間値を使用してもよいし、選択方法を適宜変更することができる。
【００１６】
また本発明の撮像装置は、前記画像変形手段が、前記第１の画像及び前記第２の画像を変形するものであり、
【００１７】
該変形された第１の画像及び第２の画像を合成して１つの画像を生成する画像合成手段をさらに備えていてもよい。
【００１８】
本発明の撮像方法は、ローリングシャッタ方式の撮像センサを使用して被写体を撮像する撮像手段を用いる撮像方法において、
【００１９】
前記撮像手段に第１の撮像を行わせ、
【００２０】
該第１の撮像時にライン毎の走査を一方向から行う第１の走査方法で前記撮像センサの信号を読み出し、
【００２１】
前記撮像手段に第２の撮像を行わせ、
【００２２】
該第２の撮像時にライン毎の走査を前記一方向とは逆の方向から行う第２の走査方法で前記撮像センサの信号を読み出し、
【００２３】
前記第１の撮像によって取得した第１の画像から複数の特徴点を抽出し、
【００２４】
該抽出された複数の特徴点の各々に対応する対応点を、前記第２の撮像によって取得した第２の画像から検出し、
【００２５】
前記複数の特徴点と該複数の特徴点の各々に対応する対応点との中間に位置する中間点の座標値を算出し、
【００２６】
前記複数の特徴点の座標値が前記中間点の座標値に一致するように前記第１の画像を変形する、及び／又は、前記対応点の座標値が前記中間点の座標値に一致するように前記第２の画像を変形することを特徴とする。
【００２７】
なお本発明の撮像方法は、前記複数の特徴点と該複数の特徴点の各々に対応する前記対応点とから動きベクトルを算出し、
【００２８】
該算出された前記動きベクトルが所定の閾値よりも小さい場合に、前記第１の画像又は前記第２の画像の変形を行わないようにしてもよい。
【００２９】
また本発明の撮像方法は、前記第１の画像及び前記第２の画像を変形し、
【００３０】
該変形された第１の画像及び第２の画像を合成して１つの画像を生成してもよい。
【００３１】
本発明のプログラムは、ローリングシャッタ方式の撮像センサを使用して被写体を撮像する撮像手段を用いる撮像方法をコンピュータに実行させるためのプログラムにおいて、
【００３２】
前記撮像手段に第１の撮像を行わせ、
該第１の撮像時にライン毎の走査を一方向から行う第１の走査方法で前記撮像センサの信号を読み出し、
【００３３】
前記撮像手段に第２の撮像を行わせ、
【００３４】
該第２の撮像時にライン毎の走査を前記一方向とは逆の方向から行う第２の走査方法で前記撮像センサの信号を読み出し、
【００３５】
前記第１の撮像によって取得した第１の画像から複数の特徴点を抽出し、
【００３６】
該抽出された複数の特徴点の各々に対応する対応点を、前記第２の撮像によって取得した第２の画像から検出し、
【００３７】
前記複数の特徴点と該複数の特徴点の各々に対応する対応点との中間に位置する中間点の座標値を算出し、
【００３８】
前記複数の特徴点の座標値が前記中間点の座標値に一致するように前記第１の画像を変形する、及び／又は、前記対応点の座標値が前記中間点の座標値に一致するように前記第２の画像を変形することを実行させることを特徴とするものである。
【００３９】
なお本発明のプログラムは、コンピュータに、前記複数の特徴点と該複数の特徴点の各々に対応する前記対応点とから動きベクトルを算出し、
【００４０】
該算出された前記動きベクトルが所定の閾値よりも小さい場合に、前記第１の画像又は前記第２の画像の変形を行わないようにすることを実行させるものであってもよい。
【００４１】
また本発明のプログラムは、コンピュータに、前記第１の画像及び前記第２の画像を変形し、
【００４２】
該変形された第１の画像及び第２の画像を合成して１つの画像を生成することを実行させるものであってもよい。
【発明の効果】
【００４３】
本発明の撮像装置及び撮像方法並びにプログラムによれば、略同一のシーンを２度撮像し、１度目の撮像時と２度目の撮像時とで、撮像センサの信号の読み出し走査方向を逆転させることにより、１度目の撮像時によって取得した第１の画像と２度目の撮像時によって取得した第２の画像とでは、被写体に一定速度で移動する動体が含まれていた場合に、動体の歪みの形状に対称性を有する差が生じるので、第１の画像から抽出された複数の特徴点と、複数の特徴点に各々対応する対応点との中間に位置する中間点の座標値を算出して、特徴点の座標値が中間点の座標値に一致するように第１の画像を変形する、及び／又は、対応点の座標値が中間点の座標値に一致するように第２の画像を変形することにより、ローリングシャッタ方式の撮像センサで動体を撮像するときに生じる動体の図形の歪みを、解像度を変えることなく容易に補正することができる。
【００４４】
また複数の特徴点と複数の特徴点の各々に対応する対応点とから動きベクトルを算出し、算出された動きベクトルが所定の閾値よりも小さい場合に、第１の画像又は第２の画像の変形を行わないようにする場合には、撮像センサに起因する動体の歪みは動体の速度が速いほど顕著であり、逆に動体の速度が遅い場合には動体の図形の歪みは小さくなるので、動体の動きが小さい場合に画像の変形を禁止することにより、無駄な処理をなくすことができる。
【００４５】
また第１の画像及び第２の画像を変形し、変形された第１の画像及び第２の画像を合成して１つの画像を生成する場合には、第１の画像を取得する第１の撮像と、第２の画像を取得する第２の撮像とで撮像条件を変えることにより、例えば露出条件を変えた場合には第１の画像と第２の画像においてそれぞれ適正露出の部分が異なる部分となるので、適正露出部分を合成することにより、動体の図形の歪みを補正すると共にダイナミックレンジを拡大することができる。
【発明を実施するための最良の形態】
【００４６】
以下、本発明にかかる撮像装置の一実施形態を、図面を参照して詳細に説明する。尚、以下の実施の形態では、本発明における撮像装置としてデジタルカメラを例に説明するが、本発明の適用範囲はこれに限定されず、例えば、カメラ付き携帯電話、カメラ付きＰＤＡ等、電子撮像機能を備えた他の電子機器に対しても適用可能である。
【００４７】
ここで図１にデジタルカメラ１の機能構成を示すブロック図を示す。本実施形態のデジタルカメラ１は、図１に示す如く、撮影レンズ１１と、ＣＭＯＳセンサ（撮像センサ）１５と、撮影レンズ１１とＣＭＯＳセンサ１５との間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備えている。
【００４８】
撮影レンズ１１は、光軸方向に移動可能であり、後述するＣＰＵ１９によって制御されレンズ駆動部１６を介してフォーカス位置に移動される。絞り１２は、絞り径すなわち開口量が調整可能であり、後述するＣＰＵ１９によって制御され絞り駆動部１７を介して露光量が適正露光量となるように調整される。
【００４９】
ＣＭＯＳセンサ１５は、後述するＣＰＵ１９によって制御され撮像素子駆動部１８を介して駆動されて、撮影レンズ１１を通して撮像した被写体画像を色信号として出力させる。ＣＭＯＳセンサ１５では、走査ライン毎に順次シャッタを切るローリングシャッタ方式により画素信号の読み出しが行わる。全画素の画素信号を読み出す場合、画面左端の画素から右端の画素に向かって順に画素の信号を読み出す水平ライン毎の走査を画面の上端のラインから下端のラインに向かって順に行う第１の走査方法か、又は画面左端の画素から右端の画素に向かって順に画素の信号を読み出す水平ライン毎の走査を画面の下端のラインから上端のラインに向かって順に行う第２の走査方法によって画素の信号の読み出しを行い、この画素信号をアナログ画像信号として出力する。
【００５０】
なお本実施形態では、水平ライン毎の走査を画面の上方向又は下方向に向かって行うものとしたが、垂直ライン毎の走査を画面の左方向又は右方向に向かって行うものであってもよい。
【００５１】
本実施形態では上述した撮影レンズ１１、絞り１２、赤外線カットフィルタ１３、光学ローパスフィルタ１４、ＣＭＯＳセンサ１５、レンズ駆動部１６、絞り駆動部１７及び撮像素子駆動部１８が被写体を撮像する撮像手段１０として機能する。
【００５２】
ＣＰＵ（撮像制御手段）１９は、デジタルカメラ１全体を制御するものであり、撮像手段１０を制御する撮像制御手段としても機能するものであって、撮像手段１０に第１の撮像と第２の撮像とを連続して行わせ、第１の撮像時に上述した第１の走査方法で撮像センサ１５の画素の信号を読み出させ、第２の撮像時に上述した第２の走査方法で撮像センサ１５の画素の信号を読み出させる。
【００５３】
またＣＰＵ１９は、フラッシュ用の発光部２０と受光部２１を制御すると共に、図示しないシャッタボタンや、メニュー／ＯＫボタン、ズーム／上下矢印ボタン等の操作部２２を介して入力されるユーザの指示信号に従って各種制御を行う。
【００５４】
ＣＭＯＳセンサ１５が出力するアナログ画像信号は、アナログ信号処理部２３に入力される。このアナログ信号処理部２３は、アナログ画像信号のノイズ除去を行う相関２重サンプリング回路（ＣＤＳ）と、アナログ画像信号のゲイン調整を行うオートゲインコントローラ（ＡＧＣ）とからなる。
Ａ／Ｄ２４は、アナログ信号処理部２３で信号処理されたアナログ画像信号をデジタル画像データに変換するＡ／Ｄコンバータ（ＡＤＣ）である。このデジタル信号に変換されたデジタル画像データは、画素毎にＲＧＢの濃度値を持つＣＣＤ−ＲＡＷデータである。
【００５５】
そしてＡ／Ｄ２４によってデジタル信号に変換されたデジタル画像データは、ＣＰＵ１９からの指令により制御され、制御バス３７及びデータバス３８によって相互に接続された各部に必要に応じて出力されて各種処理が施される。以下、この各部について説明する。
【００５６】
デジタルカメラ１において設定される各種定数、及び、ＣＰＵ１９が実行するプログラム等を格納するメインメモリ２５に接続されたメモリ制御部２６は、ＣＰＵ１９からの指令によってメインメモリ２５に記憶された各種データを読み出す。
【００５７】
デジタル信号処理部２７は、入力された画像データに対してガンマ補正処理、輪郭強調（シャープネス）処理、コントラスト処理、ノイズ低減処理等の画質補正処理を施すと共に、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータ及び赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。
【００５８】
圧縮伸張処理部２８は、デジタル信号処理部２７によって画質補正等の処理が行われた画像データに対して、例えばＪＰＥＧ等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆ形式等に基づいて、撮影日時や、肖像権保護モードで撮影された画像であるか等の付帯情報が格納されたタグが付加される。またこの圧縮伸張処理部２８は、再生モードにおいては記録媒体３０（後述する）から圧縮された画像ファイルを読み出し伸張処理を行う。伸張後の画像データは表示制御部３３（後述する）に出力され、表示制御部３３は画像データに基づいた画像を表示部３２（後述する）に表示する。
【００５９】
積算部２９は、測光データを積算してホワイトバランスのゲインを調整する。
【００６０】
着脱自在の記録媒体３０が接続される外部メモリ制御部３１は、記録媒体３０が接続されるとデータの読み取り／書き込みを行うメディアスロットに相当し、記録媒体３０に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。
【００６１】
デジタルカメラ１の背面等に搭載された液晶モニタ等の表示部３２に接続される表示制御部３３は、画像データに基づいた画像を表示部３２に表示する。
【００６２】
特徴点抽出部３４は、撮像手段１０により撮像された画像から特徴点を抽出する。特徴点は被写体の角部や画像パターン等として特徴を有する点であり、画素信号の勾配情報等に基づいて抽出される。特徴点の抽出方法としては、例えばＭｏｒａｖｅｃの手法や、Ｈａｒｒｉｓの手法等を使用することができるが、本発明においては、特徴点を抽出できれば抽出方法は限定しない。
【００６３】
対応点検出部３５は、撮像手段１０により撮像された画像から、特徴点抽出部３４によって抽出された特徴点に対応する対応点を検出する。対応点は、特徴点の特徴と略一致する点であり、対応点の検出方法としては、例えばＫＬＴ法、ブロックマッチング等を使用することができるが、本発明においては、対応点を検出できれば検出方法は限定しない。
【００６４】
画像変形部３６は、被写体の歪みを補正するために画像を変形するものである。なお画像の変形方法については後で詳細に説明する。
【００６５】
本実施形態のデジタルカメラ１は以上のように構成されている。次に上記構成のデジタルカメラ１を使用した撮像方法について以下図面を使用して詳細に説明する。図２は図１のデジタルカメラ１の撮像処理のフローチャート、図３（ａ）は被写体中の動体Ｄに歪みが生じていない状態の画像Ｐ、図３（ｂ）は第１の走査方法によって取得した画像Ｐ１、図３（ｃ）は第２の走査方法によって取得した画像Ｐ２、図４は歪みの対称性を説明する図である。
【００６６】
本実施形態のデジタルカメラ１は、図２に示す如く、先ず、ＣＰＵ１９がＣＭＯＳセンサ１５の走査方法を上述した第１の走査方法に設定する（ステップＳ１）。そしてＣＰＵ１９はシャッタボタンが全押しされたか否かを判別し（ステップＳ２）、シャッタボタンが全押しされていなければ（ステップＳ２；ＮＯ）、シャッタボタンが全押しされるまでステップＳ２の処理を繰り返し行う。
【００６７】
一方、ステップＳ２にてシャッタボタンが全押しされたと判別されると（ステップＳ２；ＹＥＳ）、ＣＰＵ１９は撮像手段１０に第１の走査方法による第１の撮像を行わせて第１の画像Ｐ１を取得させる（ステップＳ３）。例えば、図３（ａ）に示す如く、被写体中に図中右方向に移動する動体Ｄが存在している場合には、第１の走査方法によって第１の画像Ｐ１を取得すると、図３（ｂ）に示す如く、ＣＭＯＳセンサ１５は画面左端の画素から右方向に向かって、すなわち図中矢印Ａ１方向に順に画素の信号を読み出す水平ラインの走査を画面上端から画面下端に向かって、すなわち図中矢印Ａ２方向に順に行うので、被写体中の動体Ｄの上端の画素と下端の画素とに画素信号を読み出す時間の差が生じてしまい、この時間差の間に動体Ｄが移動した分だけ動体Ｄに歪みが生じ、第１の画像Ｐ１における動体は歪んだ図形の動体Ｄ１となる。
【００６８】
このように撮像手段１０が動体Ｄ１の図形が歪んだ画像Ｐ１を取得した後（ステップＳ３）、ＣＰＵ１９は走査方法を第１の走査方法から上述した第２の走査方法に変更する（ステップＳ４）。そして次にＣＰＵ１９は撮像手段１０に第２の走査方法による第２の撮像を行わせて第１の画像Ｐ１を取得させる（ステップＳ３）。なおＣＰＵ１９は撮像手段１０に第１の撮像と第２の撮像との時間差が１／６０秒を超えないように連続して撮像を行わせる。また本実施形態では第１の撮像と第２の撮像は、明るさ、シャッタスピード、絞り等の撮像条件は同じとする。
【００６９】
第２の走査方法によって第２の画像Ｐ２を取得すると、図３（ｃ）に示す如く、ＣＭＯＳセンサ１５は画面左端の画素から右方向に向かって、すなわち図中矢印Ｂ１方向に順に画素の信号を読み出す水平ラインの走査を画面下端から画面上端に向かって、すなわち図中矢印Ｂ２方向に順に行うので、第１の走査方法のときと同様に被写体中の動体Ｄの上端の画素と下端の画素とに画素信号を読み出す時間の差が生じてしまい、この時間差の間に動体Ｄが移動した分だけ動体Ｄに歪みが生じ、第２の画像Ｐ２における動体は歪んだ図形の動体Ｄ２となる。
【００７０】
第１の走査方法では画素信号を読み出すときに動体Ｄの上端側が先に読み出されるので、第１の画像Ｐ１の歪んだ動体Ｄ１は下端が動体Ｄの動く方向に移動した図形となり、第２の走査方法では画像信号を読み出すときに動体Ｄの下端側が先に読み出されるので、第２の画像Ｐ２の歪んだ動体Ｄ２は上端が動体Ｄの動く方向に移動した図形となる。すなわち動体Ｄの歪みは動体Ｄの移動速度とＣＭＯＳセンサ１５の走査時間や走査方向によって異なるものとなる。
【００７１】
つまり動体Ｄの移動速度が一定で、かつＣＭＯＳセンサ１５の第１の走査方式と第２の走査方式を使用したときの走査時間が同じときには、例えば歪んでいない状態の動体Ｄ（図３（ａ）参照）の垂直な右端が、図４に示す如く、第１の画像Ｐ１において歪んだ動体Ｄ１となったときの傾きＥ１と、第２の画像Ｐ２において歪んだ動体Ｄ２となったときの傾きＥ２とが、傾きＥ２を第１の画像Ｐ１に傾きＥ１に交わるように平行移動して傾きＥ２’としたときに、傾きＥ１と傾きＥ２’とが各々の交点を通る軸Ｇに対して対称となることから、第１の画像Ｐ１における動体Ｄ１の歪み形状と第２の画像Ｐ２における動体Ｄ２の歪み形状とは対称性を持つ。
【００７２】
そしてこの対称性から歪みのない動体Ｄの形状を算出することにより、図２のステップＳ６からステップＳ１１の処理により歪みの補正を行う。図２に示す如く、第１の画像Ｐ１と第２の画像Ｐ２とを取得したら（ステップＳ３、５）、特徴点抽出部３４が上述したようにして第１の画像Ｐ１から複数の特徴点を抽出する（ステップＳ６）。次にＣＰＵ１９は特徴点抽出部３４により抽出された特徴点がＮ１（本実施形態では２００）個未満か否かを判別する（ステップＳ７）。
【００７３】
特徴点抽出部３４が特徴点をＮ１（本実施形態では２００）個未満抽出していたときには（ステップＳ７；ＹＥＳ）、画像の変形に必要な数の対応点が検出される可能性が低いので図形の変形は行わずに処理を終了する。このとき取得した画像Ｐ１及び／又は画像Ｐ２を記録媒体３０に記録してもよい。
【００７４】
一方、特徴点抽出部３４が特徴点をＮ１（本実施形態では２００）個以上抽出していたときには（ステップＳ７；ＮＯ）、対応点検出部３５が上述したようにして第２の画像Ｐ２から特徴点抽出部３４により抽出された複数の特徴点の各々に対応する対応点を検出する（ステップＳ８）。次にＣＰＵ１９は対応点検出部３５により検出された対応点がＮ２（本実施形態では１００）個未満か否かを判別する（ステップＳ９）。
【００７５】
対応点検出部３５が対応点をＮ２（本実施形態では１００）個未満検出していたときには（ステップＳ９；ＹＥＳ）、画像の変形に必要な数の対応点が検出されていないので図形の変形は行わずに処理を終了する。このとき取得した画像Ｐ１及び／又は画像Ｐ２を記録媒体３０に記録してもよい。
【００７６】
一方、対応点検出部３５が対応点をＮ２（本実施形態では１００）以上検出していたときには（ステップＳ９；ＮＯ）、画像変形部３６が中間点の座標値を算出する（ステップＳ１０）。ここで図５（ａ）に特徴点の抽出結果を示す図、図５（ｂ）に対応点の検出結果を示す図、図６に特徴点と中間点とを示す図、図７に画像の変形方法を説明する図をそれぞれ示す。なお図５（ａ）、図５（ｂ）、図６は、便宜上、特徴点、対応点、中間点の個数を５個として以下説明するが、実際にはもっと多いものとする。
【００７７】
例えば図５（ａ）に示す如く、特徴点抽出部３４が第１の画像Ｐ１において特徴点ｆ１〜ｆ５の５つの特徴点を抽出し、図５（ｂ）に示す如く、対応点検出部３５が第２の画像Ｐ２において、特徴点ｆ１〜ｆ５とそれぞれ対応する対応点ｍ１〜ｍ５を検出したとする。このときの特徴点ｆ１〜ｆ５及び対応点ｍ１〜ｍ５の座標値並びに特徴点ｆ１〜ｆ５および対応点ｍ１〜ｍ５の座標値に基づいて算出した各々の中間点ｈ１〜ｈ５を下記表１に示す。
【表１】
上記表１に示すように、特徴点ｆ１〜ｆ５および対応点ｍ１〜ｍ５の座標値に基づいて中間点ｈ１〜ｈ５を算出すると（ステップＳ１０）、画像変形部３６は、第１の画像を変形する（ステップＳ１１）。
上述したように第１の画像Ｐ１の動体Ｄ１と第２の画像Ｐ２の動体Ｄ２とは、歪み形状が対称性を有するので、図６に示す如く、特徴点ｆと対応点ｍの中間点ｈの座標値すなわち対称軸上に、特徴点ｆの座標値が重なるように、第１の画像Ｐ１を変形することにより動体Ｄ１の歪みを補正することができる。
【００７８】
第１の画像Ｐ１の変形には、例えば画像を局所的に歪めて、すなわちワープして変形するワーピングを使用することができる。一般的にワーピングは、画像を複数の三角形に分割し、その三角形毎に変形を行う。以下、具体的に説明する。なお抽出された特徴点ｆ、検出された対応点ｍ、算出された中間点ｈはそれぞれ１０個として説明する。
【００７９】
図７の左図に示す如く、第１の画像Ｐ１において第１の画像Ｐ１の４隅及び抽出された特徴点ｆ１〜ｆ１０をそれぞれ結んで第１の画像Ｐ１を複数の三角形に分割する。そして第１の画像Ｐ１の特徴点ｆ１〜ｆ１０が算出された中間点ｈ１〜ｈ１０に重なるように第１の画像Ｐ１の各三角形をアフィン変換して画像Ｐ１’を生成する。このとき使用するアフィン変換の式を下記式（１）に示す。
【数１】
上記式（１）において（ｘ，ｙ）は第１の画像Ｐ１における所定の三角形の中の所定の点の座標値で、（ｘ’，ｙ’）は（ｘ，ｙ）に対応する点の座標値を表す。またａ，ｂ，ｃ，ｄ，ｓ，ｔは未知のパラメータであり、三角形の３つの頂点の座標値から一意に定めることができる。つまり、三角形の３つの頂点をなす特徴点ｆと中間点ｈの組からアフィン変換のパラメータを算出し、算出したパラメータに基づいて三角形内部の点つまり各画素をアフィン変換する。そして全ての三角形をアフィン変換してワーピングを終了する。このようにワーピングを行うことにより第１の画像Ｐ１を変形して動体Ｄ１の歪みを補正することができる。
そして図２に示す如く、画像変形部３６が第１の画像Ｐ１を変形すると（ステップＳ１１）、ＣＰＵ１９は変形された画像Ｐ１’を、外部メモリ制御部３１を介して記録媒体３０に記録する。以上のようにしてデジタルカメラ１による撮影処理を行う。
【００８０】
以上のように本実施形態のデジタルカメラ１によれば、略同一のシーンを２度撮像し、１度目の撮像時と２度目の撮像時とで、ＣＭＯＳセンサ１５の信号の読み出し走査方向を逆転させることにより、１度目の撮像時によって取得した第１の画像Ｐ１と２度目の撮像時によって取得した第２の画像Ｐ２とでは、動体Ｄの歪みの形状に対称性を有する差が生じるので、第１の画像Ｐ１から抽出された複数の特徴点ｆと、複数の特徴点ｆに各々対応する対応点ｍとの中間に位置する中間点ｈの座標値を算出して、特徴点ｆの座標値が中間点ｈの座標値に一致するように第１の画像Ｐ１を変形することにより、ＣＭＯＳセンサ１５で動体Ｄを撮像するときに生じる動体Ｄの図形の歪みを、解像度を変えることなく容易に補正することができる。
【００８１】
なお本実施形態では特徴点の個数Ｎ１を２００個、対応点の個数Ｎ２を１００個としたが本発明はこれに限られるものではなく、Ｎ１がＮ２以上であればよい。なおＮ１はＮ２の２倍以上であることが好ましく、Ｎ２は少なくとも２０個以上であることが好ましく、１００個以上であることがさらに好ましい。
【００８２】
また本実施形態では、第１の撮像を第２の撮像よりも先に行ったが、本発明はこれに限られるものではなく、第２の撮像を第１の撮像よりも先に行ってもよい。本実施形態では第１の撮像と第２の撮像は同じ撮像条件としたが、対応点を検出することが可能であれば撮像条件を変更してもよい。また本実施形態では、第１の画像Ｐ１に対して特徴点の抽出を行い、第２の画像Ｐ２に対して対応点の検出を行ったが、本発明はこれに限られるものではなく、第２の画像Ｐ２に対して特徴点の抽出を行い、第１の画像Ｐ１に対して対応点の検出を行ってもよい。また本実施形態では、第１の画像Ｐ１の特徴点の座標値が中間点の座標値に一致するように画像Ｐ１を変形したが、本発明はこれに限られるものではなく、第２の画像Ｐ２の対応点の座標値が中間点の座標値に一致するように画像Ｐ２を変形してもよい。
【００８３】
次に本発明にかかる第２の実施形態のデジタルカメラ１−２について以下図面を参照して詳細に説明する。図８はデジタルカメラ１−２の機能構成を示すブロック図、図９は図８のデジタルカメラ１−２の撮像処理のフローチャート、図１０は動きベクトルを示す図である。なお図８は便宜上、図１のデジタルカメラ１と同様の箇所は同符号で示して説明を省略する。また図９は便宜上、図２のフローチャートと同様の処理は同じステップ番号で示して説明を省略する。
【００８４】
本実施形態のデジタルカメラ１−２は、図８に示す如く、図１のデジタルカメラ１の構成にさらに動きベクトル算出部（動きベクトル算出手段）３９及び画像変形禁止部（画像変形禁止手段）４０を備えている。動きベクトル算出部３９は、特徴点ｆとこの特徴点ｆに対応する対応点ｍとから動きベクトルｊを算出するものであり、画像変形禁止部４０は、画像変形部３６による画像の変形を禁止するものである。
【００８５】
本実施形態のデジタルカメラ１−２は、図９に示す如く、ステップＳ９にて対応点検出部３５により検出された対応点ｍの数がＮ２個以上である場合（ステップＳ９；ＮＯ）に、動きベクトル算出部３９が動きベクトルｊの算出を行う（ステップＳ２０）。動きベクトルｊは、図１０に示す如く、特徴点抽出部３４により抽出された複数の特徴点ｆと、対応点検出部３５により検出された複数の特徴点ｆの各々に対応する対応点ｍの座標値からそれぞれ算出する。
【００８６】
そして次にＣＰＵ１９は、算出された動きベクトルｊ１〜ｊ５のうち最も大きい動きベクトルｊ（本実施形態では動きベクトルｊ１）が所定の閾値以上であるか否かを判別する（ステップＳ２１）。本実施形態では所定の閾値は３画素とするが、ユーザが操作部２２を操作することにより変更することができる。
【００８７】
動きベクトルｊ１が３画素未満である場合（ステップＳ２１；ＮＯ）には、画像変形禁止部４０が動体Ｄの歪みは小さいと判断して画像変形部３６による第１の画像Ｐ１の変形を禁止して（ステップＳ２２）、処理を終了する。このとき取得した画像Ｐ１及び／又は画像Ｐ２を記録媒体３０に記録してもよい。
【００８８】
一方、動きベクトルｊ１が３画素以上である場合（ステップＳ２１；ＹＥＳ）には、画像変形部３６が動体Ｄの歪みが大きいと判断してステップＳ１０以降の処理を行い、第１の画像Ｐ１の動体Ｄ１の歪みを補正する。
【００８９】
ＣＭＯＳセンサに起因する動体Ｄの歪みは動体Ｄの速度が速いほど顕著であり、逆に動体Ｄの速度が遅い場合には動体Ｄの歪みは小さくなるので、本実施形態のように動体Ｄの動きが小さい場合には画像の変形を禁止することにより、無駄な処理をなくすことができる。
【００９０】
なお本実施形態では算出された動きベクトルｊ１〜ｊ５のうち最も大きい動きベクトルｊ１を判別の対象としたが、本発明はこれに限られるものではなく、例えば動きベクトルｊ１〜ｊ５の大きさの平均値、中間値等を判別の対象としてもよいし、適宜変更することができる。
【００９１】
次に本発明にかかる第３の実施形態のデジタルカメラ１−３について以下図面を参照して詳細に説明する。図１１はデジタルカメラ１−３の機能構成を示すブロック図、図１２は図１１のデジタルカメラ１−２の撮像処理のフローチャートである。なお図１１は便宜上、図１のデジタルカメラ１と同様の箇所は同符号で示して説明を省略する。また図１２は便宜上、図２のフローチャートと同様の処理は同じステップ番号で示して説明を省略する。
【００９２】
本実施形態のデジタルカメラ１−３は、図１１に示す如く、図１のデジタルカメラの構成にさらに画像合成部（画像合成手段）４１を備えている。また本実施形態の画像変形部３６−３は、第１の画像Ｐ１と第２の画像Ｐ２の両方に対して画像の変形を行うものである。
【００９３】
本実施形態のデジタルカメラ１−３は、図１２に示す如く、ステップＳ３’における第１の撮像とステップＳ５’における第２の撮像とでは、撮像条件のうちの露光条件が異なっている。
【００９４】
第２の撮像（ステップＳ５’）では第１の撮像の露光条件よりもダイナミックレンジに応じた段数でアンダー露光して撮像を行う。
【００９５】
そしてステップＳ１１にて画像変形部３６−３が、第１の画像Ｐ１を変形すると（ステップＳ１１）、次に画像変形部３６−３は第２の画像Ｐ２を変形する（ステップＳ３０）。第２の画像Ｐ２の変形は、第１の画像Ｐ１の変形と同様にワーピングによって行うことができ各対応点ｍを中間点ｈに一致させることにより変形する。なおワーピングの手順は上述した第１の画像Ｐ１の変形と同様であるため、ここでの説明は省略する。
【００９６】
このようにして第１の画像Ｐ１と第２の画像Ｐ２を変形した（ステップＳ１１、Ｓ１２）後で、画像合成部４１が第１の画像Ｐ１と第２の画像Ｐ２とを合成する（ステップＳ３１）。なお画像合成部４１による明るさの異なる第１の画像Ｐ１と第２の画像Ｐ２との合成方法は、例えば特開２００１−８１０４号公報に記載されている合成方法を使用できるものとし、ここでの詳細な説明は省略する。そしてＣＰＵ１９は合成された画像を、外部メモリ制御部３１を介して記録媒体３０に記録する。以上のようにしてデジタルカメラ１−３による撮像処理を行う。
【００９７】
このように合成処理を行うことにより、動体Ｄの歪みを補正すると共にダイナミックレンジを拡大することができる。
【００９８】
なお本実施形態ではダイナミックレンジを拡大するために、露光条件の異なる２つの画像を合成するものとしたが、本発明はこれに限られるものではなく、例えば感度の異なる２つの画像を合成するようにしてもよい。
【００９９】
なお本発明の撮像装置は、上述した実施形態のデジタルカメラ１に限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。
【図面の簡単な説明】
【０１００】
【図１】第１の実施形態のデジタルカメラの機能構成を示すブロック図
【図２】図１のデジタルカメラの撮像処理のフローチャート
【図３】（ａ）被写体中の動体Ｄに歪みが生じていない状態の画像Ｐ、（ｂ）第１の走査方法によって取得した画像Ｐ１、（ｃ）第２の走査方法によって取得した画像Ｐ２
【図４】歪みの対称性を説明する図
【図５】（ａ）特徴点の抽出結果を示す図、（ｂ）対応点の検出結果を示す図
【図６】特徴点と中間点とを示す図
【図７】画像の変形方法を説明する図
【図８】第２の実施形態のデジタルカメラの機能構成を示すブロック図
【図９】図８のデジタルカメラの撮像処理のフローチャート
【図１０】動きベクトルを示す図
【図１１】第３の実施形態のデジタルカメラの機能構成を示すブロック図
【図１２】図１１のデジタルカメラの撮像処理のフローチャート
【図１３】被写体中の動体を示す図及び撮像して得た画像
【符号の説明】
【０１０１】
１ デジタルカメラ（撮像装置）
１０ 撮像手段
１５ ＣＭＯＳセンサ（撮像センサ）
１９ ＣＰＵ（撮像制御手段）
３４ 特徴点抽出部（特徴点抽出手段）
３５ 対応点検出部（対応点検出手段）
３６ 画像変形部（画像変形手段）
３９ 動きベクトル算出部（動きベクトル算出手段）
４０ 画像変形禁止部（画像変形禁止手段）
４１ 画像合成部（画像合成手段）
Ｐ１ 第１の画像
Ｐ２ 第２の画像
Ｄ、Ｄ１、Ｄ２ 動体
【技術分野】
【０００１】
本発明はデジタルカメラ等の撮像装置に関し、特にローリングシャッタ方式の撮像センサを備えてなる撮像装置及び撮像方法並びプログラムに関するものである。
【背景技術】
【０００２】
近年、ローリングシャッタ方式の撮像センサとして、構造的に読出線を複数用意したり、不要部分を読み飛ばすことによって高速読み出しを可能にしたＣＭＯＳ（Complementary Mental Oxide Semiconductor）イメージセンサ（以下、ＣＭＯＳセンサという）が普及しつつある。このようなＣＭＯＳセンサをデジタルカメラに搭載することにより、従来よりも高速な連写が可能となり、シャッタチャンスを逃すことなく撮像を行うことができる。
【０００３】
ところでＣＭＯＳセンサでは、一般的に、走査ライン毎に順次シャッタを切るローリングシャッタ方式により画素信号の読み出しが行われる。この方式で全画素の画素信号を読み出す場合、例えば、画面の左上の画素から順に、右下に向かって各画素の信号を読み出すため、読み出し開始点（左上）と読み出し終了点（右下）とで時間差が生じてしまい、図１３の左図に示すように被写体に図中右方向に移動する動体Ｄが存在する場合には、撮像して得た画像は図１３の右図に示すように動体Ｄの図形に歪みが生じてしまう。
【０００４】
そこで、ローリングシャッタ方式の撮像センサにおいて、水平又は垂直の走査ラインを所定の間引き率で読み出し、間引かれた走査ラインは近接する走査ラインを用いて補正することにより動体の図形の歪みを低減する方法（特許文献１）や、ローリングシャッタ方式の撮像センサを用いて撮像された複数枚のフレーム画像において、動き領域及び動き領域の動きベクトルを取得し、動きベクトルと複数枚のフレーム画像間での撮像間隔に関する情報と、露光開始時刻差に関する情報と、露光開始順序に関する情報とに基づいて複数枚のフレーム画像中の補正対象たるフレーム画像内の動き領域を補正する方法（特許文献２）が開示されている。
【特許文献１】特開２００６−１４８８６１号公報
【特許文献２】特開２００７−１４２９２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の方法は、走査ラインを間引くので水平方向の走査ラインを間引いた場合には垂直方向の解像度が、垂直方向の走査ラインを間引いた場合には水平方向の解像度が低下してしまう。また上記特許文献２に記載の方法は、動き領域の検出や、露光開始時刻差等の情報が必要となり、例えば画像の中に動きの異なる複数の動き領域が存在する場合等には各々の動き領域を検出して、領域毎に異なる補正を行う必要があるため処理が煩雑になってしまう虞がある。
【０００６】
本発明はかかる事情に鑑みてなされたものであり、ローリングシャッタ方式の撮像センサで動体を撮像するときに生じる動体の図形の歪みを、解像度を変えることなく容易に補正することができる撮像装置及び撮像方法並びプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、ローリングシャッタ方式の撮像センサを使用して被写体を撮像する撮像手段と、
【０００８】
該撮像手段に第１の撮像と第２の撮像とを連続して行わせ、前記第１の撮像時にライン毎の走査を一方向から行う第１の走査方法で前記撮像センサの信号を読み出し、前記第２の撮像時にライン毎の走査を前記一方向とは逆の方向から行う第２の走査方法で前記撮像センサの信号を読み出すように前記撮像手段を制御する撮像制御手段と、
【０００９】
前記第１の撮像によって取得した第１の画像から複数の特徴点を抽出する特徴点抽出手段と、
【００１０】
該特徴点抽出手段により抽出された複数の特徴点の各々に対応する対応点を、前記第２の撮像によって取得した第２の画像から検出する対応点検出手段と、
【００１１】
前記複数の特徴点と該複数の特徴点の各々に対応する前記対応点との中間に位置する中間点の座標値を算出し、前記特徴点の座標値が前記中間点の座標値に一致するように前記第１の画像を変形する、及び／又は、前記対応点の座標値が前記中間点の座標値に一致するように前記第２の画像を変形する画像変形手段とを備えていることを特徴とするものである。
【００１２】
本発明において「ローリングシャッタ方式の撮像センサ」は、全画素同時ではなく、シャッタ動作を行う画素が時間とともに縦方向又は横方向の行単位でシフトしていく方式のイメージセンサをいい、ＭＯＳ型のイメージセンサを挙げることができる。ＭＯＳ型のイメージセンサとしては例えばＣＭＯＳセンサを使用することができる。
また「第１の撮像と第２の撮像とを連続して行わせ」は、先に第１の撮像を行ってもよいし、先に第２の撮像を行ってもよい。ただし「連続」した撮像は第１の撮像と第２の撮像との間の時間間隔が例えば１／６０秒を超えないようにする。
【００１３】
なお本発明の撮像装置は、前記複数の特徴点と該複数の特徴点の各々に対応する前記対応点とから動きベクトルを算出する動きベクトル算出手段と、
【００１４】
該動きベクトル算出手段により算出された前記動きベクトルが所定の閾値よりも小さい場合に、前記画像変形手段による前記第１の画像又は前記第２の画像の変形を行わないようにする画像変形禁止手段とをさらに備えていてもよい。
【００１５】
なお所定の閾値と比較する「動きベクトル」は、複数の動きベクトルのうち最も大きさの大きいベクトルを選択してもよいし、複数の動きベクトルの平均値や中間値を使用してもよいし、選択方法を適宜変更することができる。
【００１６】
また本発明の撮像装置は、前記画像変形手段が、前記第１の画像及び前記第２の画像を変形するものであり、
【００１７】
該変形された第１の画像及び第２の画像を合成して１つの画像を生成する画像合成手段をさらに備えていてもよい。
【００１８】
本発明の撮像方法は、ローリングシャッタ方式の撮像センサを使用して被写体を撮像する撮像手段を用いる撮像方法において、
【００１９】
前記撮像手段に第１の撮像を行わせ、
【００２０】
該第１の撮像時にライン毎の走査を一方向から行う第１の走査方法で前記撮像センサの信号を読み出し、
【００２１】
前記撮像手段に第２の撮像を行わせ、
【００２２】
該第２の撮像時にライン毎の走査を前記一方向とは逆の方向から行う第２の走査方法で前記撮像センサの信号を読み出し、
【００２３】
前記第１の撮像によって取得した第１の画像から複数の特徴点を抽出し、
【００２４】
該抽出された複数の特徴点の各々に対応する対応点を、前記第２の撮像によって取得した第２の画像から検出し、
【００２５】
前記複数の特徴点と該複数の特徴点の各々に対応する対応点との中間に位置する中間点の座標値を算出し、
【００２６】
前記複数の特徴点の座標値が前記中間点の座標値に一致するように前記第１の画像を変形する、及び／又は、前記対応点の座標値が前記中間点の座標値に一致するように前記第２の画像を変形することを特徴とする。
【００２７】
なお本発明の撮像方法は、前記複数の特徴点と該複数の特徴点の各々に対応する前記対応点とから動きベクトルを算出し、
【００２８】
該算出された前記動きベクトルが所定の閾値よりも小さい場合に、前記第１の画像又は前記第２の画像の変形を行わないようにしてもよい。
【００２９】
また本発明の撮像方法は、前記第１の画像及び前記第２の画像を変形し、
【００３０】
該変形された第１の画像及び第２の画像を合成して１つの画像を生成してもよい。
【００３１】
本発明のプログラムは、ローリングシャッタ方式の撮像センサを使用して被写体を撮像する撮像手段を用いる撮像方法をコンピュータに実行させるためのプログラムにおいて、
【００３２】
前記撮像手段に第１の撮像を行わせ、
該第１の撮像時にライン毎の走査を一方向から行う第１の走査方法で前記撮像センサの信号を読み出し、
【００３３】
前記撮像手段に第２の撮像を行わせ、
【００３４】
該第２の撮像時にライン毎の走査を前記一方向とは逆の方向から行う第２の走査方法で前記撮像センサの信号を読み出し、
【００３５】
前記第１の撮像によって取得した第１の画像から複数の特徴点を抽出し、
【００３６】
該抽出された複数の特徴点の各々に対応する対応点を、前記第２の撮像によって取得した第２の画像から検出し、
【００３７】
前記複数の特徴点と該複数の特徴点の各々に対応する対応点との中間に位置する中間点の座標値を算出し、
【００３８】
前記複数の特徴点の座標値が前記中間点の座標値に一致するように前記第１の画像を変形する、及び／又は、前記対応点の座標値が前記中間点の座標値に一致するように前記第２の画像を変形することを実行させることを特徴とするものである。
【００３９】
なお本発明のプログラムは、コンピュータに、前記複数の特徴点と該複数の特徴点の各々に対応する前記対応点とから動きベクトルを算出し、
【００４０】
該算出された前記動きベクトルが所定の閾値よりも小さい場合に、前記第１の画像又は前記第２の画像の変形を行わないようにすることを実行させるものであってもよい。
【００４１】
また本発明のプログラムは、コンピュータに、前記第１の画像及び前記第２の画像を変形し、
【００４２】
該変形された第１の画像及び第２の画像を合成して１つの画像を生成することを実行させるものであってもよい。
【発明の効果】
【００４３】
本発明の撮像装置及び撮像方法並びにプログラムによれば、略同一のシーンを２度撮像し、１度目の撮像時と２度目の撮像時とで、撮像センサの信号の読み出し走査方向を逆転させることにより、１度目の撮像時によって取得した第１の画像と２度目の撮像時によって取得した第２の画像とでは、被写体に一定速度で移動する動体が含まれていた場合に、動体の歪みの形状に対称性を有する差が生じるので、第１の画像から抽出された複数の特徴点と、複数の特徴点に各々対応する対応点との中間に位置する中間点の座標値を算出して、特徴点の座標値が中間点の座標値に一致するように第１の画像を変形する、及び／又は、対応点の座標値が中間点の座標値に一致するように第２の画像を変形することにより、ローリングシャッタ方式の撮像センサで動体を撮像するときに生じる動体の図形の歪みを、解像度を変えることなく容易に補正することができる。
【００４４】
また複数の特徴点と複数の特徴点の各々に対応する対応点とから動きベクトルを算出し、算出された動きベクトルが所定の閾値よりも小さい場合に、第１の画像又は第２の画像の変形を行わないようにする場合には、撮像センサに起因する動体の歪みは動体の速度が速いほど顕著であり、逆に動体の速度が遅い場合には動体の図形の歪みは小さくなるので、動体の動きが小さい場合に画像の変形を禁止することにより、無駄な処理をなくすことができる。
【００４５】
また第１の画像及び第２の画像を変形し、変形された第１の画像及び第２の画像を合成して１つの画像を生成する場合には、第１の画像を取得する第１の撮像と、第２の画像を取得する第２の撮像とで撮像条件を変えることにより、例えば露出条件を変えた場合には第１の画像と第２の画像においてそれぞれ適正露出の部分が異なる部分となるので、適正露出部分を合成することにより、動体の図形の歪みを補正すると共にダイナミックレンジを拡大することができる。
【発明を実施するための最良の形態】
【００４６】
以下、本発明にかかる撮像装置の一実施形態を、図面を参照して詳細に説明する。尚、以下の実施の形態では、本発明における撮像装置としてデジタルカメラを例に説明するが、本発明の適用範囲はこれに限定されず、例えば、カメラ付き携帯電話、カメラ付きＰＤＡ等、電子撮像機能を備えた他の電子機器に対しても適用可能である。
【００４７】
ここで図１にデジタルカメラ１の機能構成を示すブロック図を示す。本実施形態のデジタルカメラ１は、図１に示す如く、撮影レンズ１１と、ＣＭＯＳセンサ（撮像センサ）１５と、撮影レンズ１１とＣＭＯＳセンサ１５との間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備えている。
【００４８】
撮影レンズ１１は、光軸方向に移動可能であり、後述するＣＰＵ１９によって制御されレンズ駆動部１６を介してフォーカス位置に移動される。絞り１２は、絞り径すなわち開口量が調整可能であり、後述するＣＰＵ１９によって制御され絞り駆動部１７を介して露光量が適正露光量となるように調整される。
【００４９】
ＣＭＯＳセンサ１５は、後述するＣＰＵ１９によって制御され撮像素子駆動部１８を介して駆動されて、撮影レンズ１１を通して撮像した被写体画像を色信号として出力させる。ＣＭＯＳセンサ１５では、走査ライン毎に順次シャッタを切るローリングシャッタ方式により画素信号の読み出しが行わる。全画素の画素信号を読み出す場合、画面左端の画素から右端の画素に向かって順に画素の信号を読み出す水平ライン毎の走査を画面の上端のラインから下端のラインに向かって順に行う第１の走査方法か、又は画面左端の画素から右端の画素に向かって順に画素の信号を読み出す水平ライン毎の走査を画面の下端のラインから上端のラインに向かって順に行う第２の走査方法によって画素の信号の読み出しを行い、この画素信号をアナログ画像信号として出力する。
【００５０】
なお本実施形態では、水平ライン毎の走査を画面の上方向又は下方向に向かって行うものとしたが、垂直ライン毎の走査を画面の左方向又は右方向に向かって行うものであってもよい。
【００５１】
本実施形態では上述した撮影レンズ１１、絞り１２、赤外線カットフィルタ１３、光学ローパスフィルタ１４、ＣＭＯＳセンサ１５、レンズ駆動部１６、絞り駆動部１７及び撮像素子駆動部１８が被写体を撮像する撮像手段１０として機能する。
【００５２】
ＣＰＵ（撮像制御手段）１９は、デジタルカメラ１全体を制御するものであり、撮像手段１０を制御する撮像制御手段としても機能するものであって、撮像手段１０に第１の撮像と第２の撮像とを連続して行わせ、第１の撮像時に上述した第１の走査方法で撮像センサ１５の画素の信号を読み出させ、第２の撮像時に上述した第２の走査方法で撮像センサ１５の画素の信号を読み出させる。
【００５３】
またＣＰＵ１９は、フラッシュ用の発光部２０と受光部２１を制御すると共に、図示しないシャッタボタンや、メニュー／ＯＫボタン、ズーム／上下矢印ボタン等の操作部２２を介して入力されるユーザの指示信号に従って各種制御を行う。
【００５４】
ＣＭＯＳセンサ１５が出力するアナログ画像信号は、アナログ信号処理部２３に入力される。このアナログ信号処理部２３は、アナログ画像信号のノイズ除去を行う相関２重サンプリング回路（ＣＤＳ）と、アナログ画像信号のゲイン調整を行うオートゲインコントローラ（ＡＧＣ）とからなる。
Ａ／Ｄ２４は、アナログ信号処理部２３で信号処理されたアナログ画像信号をデジタル画像データに変換するＡ／Ｄコンバータ（ＡＤＣ）である。このデジタル信号に変換されたデジタル画像データは、画素毎にＲＧＢの濃度値を持つＣＣＤ−ＲＡＷデータである。
【００５５】
そしてＡ／Ｄ２４によってデジタル信号に変換されたデジタル画像データは、ＣＰＵ１９からの指令により制御され、制御バス３７及びデータバス３８によって相互に接続された各部に必要に応じて出力されて各種処理が施される。以下、この各部について説明する。
【００５６】
デジタルカメラ１において設定される各種定数、及び、ＣＰＵ１９が実行するプログラム等を格納するメインメモリ２５に接続されたメモリ制御部２６は、ＣＰＵ１９からの指令によってメインメモリ２５に記憶された各種データを読み出す。
【００５７】
デジタル信号処理部２７は、入力された画像データに対してガンマ補正処理、輪郭強調（シャープネス）処理、コントラスト処理、ノイズ低減処理等の画質補正処理を施すと共に、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータ及び赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。
【００５８】
圧縮伸張処理部２８は、デジタル信号処理部２７によって画質補正等の処理が行われた画像データに対して、例えばＪＰＥＧ等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆ形式等に基づいて、撮影日時や、肖像権保護モードで撮影された画像であるか等の付帯情報が格納されたタグが付加される。またこの圧縮伸張処理部２８は、再生モードにおいては記録媒体３０（後述する）から圧縮された画像ファイルを読み出し伸張処理を行う。伸張後の画像データは表示制御部３３（後述する）に出力され、表示制御部３３は画像データに基づいた画像を表示部３２（後述する）に表示する。
【００５９】
積算部２９は、測光データを積算してホワイトバランスのゲインを調整する。
【００６０】
着脱自在の記録媒体３０が接続される外部メモリ制御部３１は、記録媒体３０が接続されるとデータの読み取り／書き込みを行うメディアスロットに相当し、記録媒体３０に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。
【００６１】
デジタルカメラ１の背面等に搭載された液晶モニタ等の表示部３２に接続される表示制御部３３は、画像データに基づいた画像を表示部３２に表示する。
【００６２】
特徴点抽出部３４は、撮像手段１０により撮像された画像から特徴点を抽出する。特徴点は被写体の角部や画像パターン等として特徴を有する点であり、画素信号の勾配情報等に基づいて抽出される。特徴点の抽出方法としては、例えばＭｏｒａｖｅｃの手法や、Ｈａｒｒｉｓの手法等を使用することができるが、本発明においては、特徴点を抽出できれば抽出方法は限定しない。
【００６３】
対応点検出部３５は、撮像手段１０により撮像された画像から、特徴点抽出部３４によって抽出された特徴点に対応する対応点を検出する。対応点は、特徴点の特徴と略一致する点であり、対応点の検出方法としては、例えばＫＬＴ法、ブロックマッチング等を使用することができるが、本発明においては、対応点を検出できれば検出方法は限定しない。
【００６４】
画像変形部３６は、被写体の歪みを補正するために画像を変形するものである。なお画像の変形方法については後で詳細に説明する。
【００６５】
本実施形態のデジタルカメラ１は以上のように構成されている。次に上記構成のデジタルカメラ１を使用した撮像方法について以下図面を使用して詳細に説明する。図２は図１のデジタルカメラ１の撮像処理のフローチャート、図３（ａ）は被写体中の動体Ｄに歪みが生じていない状態の画像Ｐ、図３（ｂ）は第１の走査方法によって取得した画像Ｐ１、図３（ｃ）は第２の走査方法によって取得した画像Ｐ２、図４は歪みの対称性を説明する図である。
【００６６】
本実施形態のデジタルカメラ１は、図２に示す如く、先ず、ＣＰＵ１９がＣＭＯＳセンサ１５の走査方法を上述した第１の走査方法に設定する（ステップＳ１）。そしてＣＰＵ１９はシャッタボタンが全押しされたか否かを判別し（ステップＳ２）、シャッタボタンが全押しされていなければ（ステップＳ２；ＮＯ）、シャッタボタンが全押しされるまでステップＳ２の処理を繰り返し行う。
【００６７】
一方、ステップＳ２にてシャッタボタンが全押しされたと判別されると（ステップＳ２；ＹＥＳ）、ＣＰＵ１９は撮像手段１０に第１の走査方法による第１の撮像を行わせて第１の画像Ｐ１を取得させる（ステップＳ３）。例えば、図３（ａ）に示す如く、被写体中に図中右方向に移動する動体Ｄが存在している場合には、第１の走査方法によって第１の画像Ｐ１を取得すると、図３（ｂ）に示す如く、ＣＭＯＳセンサ１５は画面左端の画素から右方向に向かって、すなわち図中矢印Ａ１方向に順に画素の信号を読み出す水平ラインの走査を画面上端から画面下端に向かって、すなわち図中矢印Ａ２方向に順に行うので、被写体中の動体Ｄの上端の画素と下端の画素とに画素信号を読み出す時間の差が生じてしまい、この時間差の間に動体Ｄが移動した分だけ動体Ｄに歪みが生じ、第１の画像Ｐ１における動体は歪んだ図形の動体Ｄ１となる。
【００６８】
このように撮像手段１０が動体Ｄ１の図形が歪んだ画像Ｐ１を取得した後（ステップＳ３）、ＣＰＵ１９は走査方法を第１の走査方法から上述した第２の走査方法に変更する（ステップＳ４）。そして次にＣＰＵ１９は撮像手段１０に第２の走査方法による第２の撮像を行わせて第１の画像Ｐ１を取得させる（ステップＳ３）。なおＣＰＵ１９は撮像手段１０に第１の撮像と第２の撮像との時間差が１／６０秒を超えないように連続して撮像を行わせる。また本実施形態では第１の撮像と第２の撮像は、明るさ、シャッタスピード、絞り等の撮像条件は同じとする。
【００６９】
第２の走査方法によって第２の画像Ｐ２を取得すると、図３（ｃ）に示す如く、ＣＭＯＳセンサ１５は画面左端の画素から右方向に向かって、すなわち図中矢印Ｂ１方向に順に画素の信号を読み出す水平ラインの走査を画面下端から画面上端に向かって、すなわち図中矢印Ｂ２方向に順に行うので、第１の走査方法のときと同様に被写体中の動体Ｄの上端の画素と下端の画素とに画素信号を読み出す時間の差が生じてしまい、この時間差の間に動体Ｄが移動した分だけ動体Ｄに歪みが生じ、第２の画像Ｐ２における動体は歪んだ図形の動体Ｄ２となる。
【００７０】
第１の走査方法では画素信号を読み出すときに動体Ｄの上端側が先に読み出されるので、第１の画像Ｐ１の歪んだ動体Ｄ１は下端が動体Ｄの動く方向に移動した図形となり、第２の走査方法では画像信号を読み出すときに動体Ｄの下端側が先に読み出されるので、第２の画像Ｐ２の歪んだ動体Ｄ２は上端が動体Ｄの動く方向に移動した図形となる。すなわち動体Ｄの歪みは動体Ｄの移動速度とＣＭＯＳセンサ１５の走査時間や走査方向によって異なるものとなる。
【００７１】
つまり動体Ｄの移動速度が一定で、かつＣＭＯＳセンサ１５の第１の走査方式と第２の走査方式を使用したときの走査時間が同じときには、例えば歪んでいない状態の動体Ｄ（図３（ａ）参照）の垂直な右端が、図４に示す如く、第１の画像Ｐ１において歪んだ動体Ｄ１となったときの傾きＥ１と、第２の画像Ｐ２において歪んだ動体Ｄ２となったときの傾きＥ２とが、傾きＥ２を第１の画像Ｐ１に傾きＥ１に交わるように平行移動して傾きＥ２’としたときに、傾きＥ１と傾きＥ２’とが各々の交点を通る軸Ｇに対して対称となることから、第１の画像Ｐ１における動体Ｄ１の歪み形状と第２の画像Ｐ２における動体Ｄ２の歪み形状とは対称性を持つ。
【００７２】
そしてこの対称性から歪みのない動体Ｄの形状を算出することにより、図２のステップＳ６からステップＳ１１の処理により歪みの補正を行う。図２に示す如く、第１の画像Ｐ１と第２の画像Ｐ２とを取得したら（ステップＳ３、５）、特徴点抽出部３４が上述したようにして第１の画像Ｐ１から複数の特徴点を抽出する（ステップＳ６）。次にＣＰＵ１９は特徴点抽出部３４により抽出された特徴点がＮ１（本実施形態では２００）個未満か否かを判別する（ステップＳ７）。
【００７３】
特徴点抽出部３４が特徴点をＮ１（本実施形態では２００）個未満抽出していたときには（ステップＳ７；ＹＥＳ）、画像の変形に必要な数の対応点が検出される可能性が低いので図形の変形は行わずに処理を終了する。このとき取得した画像Ｐ１及び／又は画像Ｐ２を記録媒体３０に記録してもよい。
【００７４】
一方、特徴点抽出部３４が特徴点をＮ１（本実施形態では２００）個以上抽出していたときには（ステップＳ７；ＮＯ）、対応点検出部３５が上述したようにして第２の画像Ｐ２から特徴点抽出部３４により抽出された複数の特徴点の各々に対応する対応点を検出する（ステップＳ８）。次にＣＰＵ１９は対応点検出部３５により検出された対応点がＮ２（本実施形態では１００）個未満か否かを判別する（ステップＳ９）。
【００７５】
対応点検出部３５が対応点をＮ２（本実施形態では１００）個未満検出していたときには（ステップＳ９；ＹＥＳ）、画像の変形に必要な数の対応点が検出されていないので図形の変形は行わずに処理を終了する。このとき取得した画像Ｐ１及び／又は画像Ｐ２を記録媒体３０に記録してもよい。
【００７６】
一方、対応点検出部３５が対応点をＮ２（本実施形態では１００）以上検出していたときには（ステップＳ９；ＮＯ）、画像変形部３６が中間点の座標値を算出する（ステップＳ１０）。ここで図５（ａ）に特徴点の抽出結果を示す図、図５（ｂ）に対応点の検出結果を示す図、図６に特徴点と中間点とを示す図、図７に画像の変形方法を説明する図をそれぞれ示す。なお図５（ａ）、図５（ｂ）、図６は、便宜上、特徴点、対応点、中間点の個数を５個として以下説明するが、実際にはもっと多いものとする。
【００７７】
例えば図５（ａ）に示す如く、特徴点抽出部３４が第１の画像Ｐ１において特徴点ｆ１〜ｆ５の５つの特徴点を抽出し、図５（ｂ）に示す如く、対応点検出部３５が第２の画像Ｐ２において、特徴点ｆ１〜ｆ５とそれぞれ対応する対応点ｍ１〜ｍ５を検出したとする。このときの特徴点ｆ１〜ｆ５及び対応点ｍ１〜ｍ５の座標値並びに特徴点ｆ１〜ｆ５および対応点ｍ１〜ｍ５の座標値に基づいて算出した各々の中間点ｈ１〜ｈ５を下記表１に示す。
【表１】
上記表１に示すように、特徴点ｆ１〜ｆ５および対応点ｍ１〜ｍ５の座標値に基づいて中間点ｈ１〜ｈ５を算出すると（ステップＳ１０）、画像変形部３６は、第１の画像を変形する（ステップＳ１１）。
上述したように第１の画像Ｐ１の動体Ｄ１と第２の画像Ｐ２の動体Ｄ２とは、歪み形状が対称性を有するので、図６に示す如く、特徴点ｆと対応点ｍの中間点ｈの座標値すなわち対称軸上に、特徴点ｆの座標値が重なるように、第１の画像Ｐ１を変形することにより動体Ｄ１の歪みを補正することができる。
【００７８】
第１の画像Ｐ１の変形には、例えば画像を局所的に歪めて、すなわちワープして変形するワーピングを使用することができる。一般的にワーピングは、画像を複数の三角形に分割し、その三角形毎に変形を行う。以下、具体的に説明する。なお抽出された特徴点ｆ、検出された対応点ｍ、算出された中間点ｈはそれぞれ１０個として説明する。
【００７９】
図７の左図に示す如く、第１の画像Ｐ１において第１の画像Ｐ１の４隅及び抽出された特徴点ｆ１〜ｆ１０をそれぞれ結んで第１の画像Ｐ１を複数の三角形に分割する。そして第１の画像Ｐ１の特徴点ｆ１〜ｆ１０が算出された中間点ｈ１〜ｈ１０に重なるように第１の画像Ｐ１の各三角形をアフィン変換して画像Ｐ１’を生成する。このとき使用するアフィン変換の式を下記式（１）に示す。
【数１】
上記式（１）において（ｘ，ｙ）は第１の画像Ｐ１における所定の三角形の中の所定の点の座標値で、（ｘ’，ｙ’）は（ｘ，ｙ）に対応する点の座標値を表す。またａ，ｂ，ｃ，ｄ，ｓ，ｔは未知のパラメータであり、三角形の３つの頂点の座標値から一意に定めることができる。つまり、三角形の３つの頂点をなす特徴点ｆと中間点ｈの組からアフィン変換のパラメータを算出し、算出したパラメータに基づいて三角形内部の点つまり各画素をアフィン変換する。そして全ての三角形をアフィン変換してワーピングを終了する。このようにワーピングを行うことにより第１の画像Ｐ１を変形して動体Ｄ１の歪みを補正することができる。
そして図２に示す如く、画像変形部３６が第１の画像Ｐ１を変形すると（ステップＳ１１）、ＣＰＵ１９は変形された画像Ｐ１’を、外部メモリ制御部３１を介して記録媒体３０に記録する。以上のようにしてデジタルカメラ１による撮影処理を行う。
【００８０】
以上のように本実施形態のデジタルカメラ１によれば、略同一のシーンを２度撮像し、１度目の撮像時と２度目の撮像時とで、ＣＭＯＳセンサ１５の信号の読み出し走査方向を逆転させることにより、１度目の撮像時によって取得した第１の画像Ｐ１と２度目の撮像時によって取得した第２の画像Ｐ２とでは、動体Ｄの歪みの形状に対称性を有する差が生じるので、第１の画像Ｐ１から抽出された複数の特徴点ｆと、複数の特徴点ｆに各々対応する対応点ｍとの中間に位置する中間点ｈの座標値を算出して、特徴点ｆの座標値が中間点ｈの座標値に一致するように第１の画像Ｐ１を変形することにより、ＣＭＯＳセンサ１５で動体Ｄを撮像するときに生じる動体Ｄの図形の歪みを、解像度を変えることなく容易に補正することができる。
【００８１】
なお本実施形態では特徴点の個数Ｎ１を２００個、対応点の個数Ｎ２を１００個としたが本発明はこれに限られるものではなく、Ｎ１がＮ２以上であればよい。なおＮ１はＮ２の２倍以上であることが好ましく、Ｎ２は少なくとも２０個以上であることが好ましく、１００個以上であることがさらに好ましい。
【００８２】
また本実施形態では、第１の撮像を第２の撮像よりも先に行ったが、本発明はこれに限られるものではなく、第２の撮像を第１の撮像よりも先に行ってもよい。本実施形態では第１の撮像と第２の撮像は同じ撮像条件としたが、対応点を検出することが可能であれば撮像条件を変更してもよい。また本実施形態では、第１の画像Ｐ１に対して特徴点の抽出を行い、第２の画像Ｐ２に対して対応点の検出を行ったが、本発明はこれに限られるものではなく、第２の画像Ｐ２に対して特徴点の抽出を行い、第１の画像Ｐ１に対して対応点の検出を行ってもよい。また本実施形態では、第１の画像Ｐ１の特徴点の座標値が中間点の座標値に一致するように画像Ｐ１を変形したが、本発明はこれに限られるものではなく、第２の画像Ｐ２の対応点の座標値が中間点の座標値に一致するように画像Ｐ２を変形してもよい。
【００８３】
次に本発明にかかる第２の実施形態のデジタルカメラ１−２について以下図面を参照して詳細に説明する。図８はデジタルカメラ１−２の機能構成を示すブロック図、図９は図８のデジタルカメラ１−２の撮像処理のフローチャート、図１０は動きベクトルを示す図である。なお図８は便宜上、図１のデジタルカメラ１と同様の箇所は同符号で示して説明を省略する。また図９は便宜上、図２のフローチャートと同様の処理は同じステップ番号で示して説明を省略する。
【００８４】
本実施形態のデジタルカメラ１−２は、図８に示す如く、図１のデジタルカメラ１の構成にさらに動きベクトル算出部（動きベクトル算出手段）３９及び画像変形禁止部（画像変形禁止手段）４０を備えている。動きベクトル算出部３９は、特徴点ｆとこの特徴点ｆに対応する対応点ｍとから動きベクトルｊを算出するものであり、画像変形禁止部４０は、画像変形部３６による画像の変形を禁止するものである。
【００８５】
本実施形態のデジタルカメラ１−２は、図９に示す如く、ステップＳ９にて対応点検出部３５により検出された対応点ｍの数がＮ２個以上である場合（ステップＳ９；ＮＯ）に、動きベクトル算出部３９が動きベクトルｊの算出を行う（ステップＳ２０）。動きベクトルｊは、図１０に示す如く、特徴点抽出部３４により抽出された複数の特徴点ｆと、対応点検出部３５により検出された複数の特徴点ｆの各々に対応する対応点ｍの座標値からそれぞれ算出する。
【００８６】
そして次にＣＰＵ１９は、算出された動きベクトルｊ１〜ｊ５のうち最も大きい動きベクトルｊ（本実施形態では動きベクトルｊ１）が所定の閾値以上であるか否かを判別する（ステップＳ２１）。本実施形態では所定の閾値は３画素とするが、ユーザが操作部２２を操作することにより変更することができる。
【００８７】
動きベクトルｊ１が３画素未満である場合（ステップＳ２１；ＮＯ）には、画像変形禁止部４０が動体Ｄの歪みは小さいと判断して画像変形部３６による第１の画像Ｐ１の変形を禁止して（ステップＳ２２）、処理を終了する。このとき取得した画像Ｐ１及び／又は画像Ｐ２を記録媒体３０に記録してもよい。
【００８８】
一方、動きベクトルｊ１が３画素以上である場合（ステップＳ２１；ＹＥＳ）には、画像変形部３６が動体Ｄの歪みが大きいと判断してステップＳ１０以降の処理を行い、第１の画像Ｐ１の動体Ｄ１の歪みを補正する。
【００８９】
ＣＭＯＳセンサに起因する動体Ｄの歪みは動体Ｄの速度が速いほど顕著であり、逆に動体Ｄの速度が遅い場合には動体Ｄの歪みは小さくなるので、本実施形態のように動体Ｄの動きが小さい場合には画像の変形を禁止することにより、無駄な処理をなくすことができる。
【００９０】
なお本実施形態では算出された動きベクトルｊ１〜ｊ５のうち最も大きい動きベクトルｊ１を判別の対象としたが、本発明はこれに限られるものではなく、例えば動きベクトルｊ１〜ｊ５の大きさの平均値、中間値等を判別の対象としてもよいし、適宜変更することができる。
【００９１】
次に本発明にかかる第３の実施形態のデジタルカメラ１−３について以下図面を参照して詳細に説明する。図１１はデジタルカメラ１−３の機能構成を示すブロック図、図１２は図１１のデジタルカメラ１−２の撮像処理のフローチャートである。なお図１１は便宜上、図１のデジタルカメラ１と同様の箇所は同符号で示して説明を省略する。また図１２は便宜上、図２のフローチャートと同様の処理は同じステップ番号で示して説明を省略する。
【００９２】
本実施形態のデジタルカメラ１−３は、図１１に示す如く、図１のデジタルカメラの構成にさらに画像合成部（画像合成手段）４１を備えている。また本実施形態の画像変形部３６−３は、第１の画像Ｐ１と第２の画像Ｐ２の両方に対して画像の変形を行うものである。
【００９３】
本実施形態のデジタルカメラ１−３は、図１２に示す如く、ステップＳ３’における第１の撮像とステップＳ５’における第２の撮像とでは、撮像条件のうちの露光条件が異なっている。
【００９４】
第２の撮像（ステップＳ５’）では第１の撮像の露光条件よりもダイナミックレンジに応じた段数でアンダー露光して撮像を行う。
【００９５】
そしてステップＳ１１にて画像変形部３６−３が、第１の画像Ｐ１を変形すると（ステップＳ１１）、次に画像変形部３６−３は第２の画像Ｐ２を変形する（ステップＳ３０）。第２の画像Ｐ２の変形は、第１の画像Ｐ１の変形と同様にワーピングによって行うことができ各対応点ｍを中間点ｈに一致させることにより変形する。なおワーピングの手順は上述した第１の画像Ｐ１の変形と同様であるため、ここでの説明は省略する。
【００９６】
このようにして第１の画像Ｐ１と第２の画像Ｐ２を変形した（ステップＳ１１、Ｓ１２）後で、画像合成部４１が第１の画像Ｐ１と第２の画像Ｐ２とを合成する（ステップＳ３１）。なお画像合成部４１による明るさの異なる第１の画像Ｐ１と第２の画像Ｐ２との合成方法は、例えば特開２００１−８１０４号公報に記載されている合成方法を使用できるものとし、ここでの詳細な説明は省略する。そしてＣＰＵ１９は合成された画像を、外部メモリ制御部３１を介して記録媒体３０に記録する。以上のようにしてデジタルカメラ１−３による撮像処理を行う。
【００９７】
このように合成処理を行うことにより、動体Ｄの歪みを補正すると共にダイナミックレンジを拡大することができる。
【００９８】
なお本実施形態ではダイナミックレンジを拡大するために、露光条件の異なる２つの画像を合成するものとしたが、本発明はこれに限られるものではなく、例えば感度の異なる２つの画像を合成するようにしてもよい。
【００９９】
なお本発明の撮像装置は、上述した実施形態のデジタルカメラ１に限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。
【図面の簡単な説明】
【０１００】
【図１】第１の実施形態のデジタルカメラの機能構成を示すブロック図
【図２】図１のデジタルカメラの撮像処理のフローチャート
【図３】（ａ）被写体中の動体Ｄに歪みが生じていない状態の画像Ｐ、（ｂ）第１の走査方法によって取得した画像Ｐ１、（ｃ）第２の走査方法によって取得した画像Ｐ２
【図４】歪みの対称性を説明する図
【図５】（ａ）特徴点の抽出結果を示す図、（ｂ）対応点の検出結果を示す図
【図６】特徴点と中間点とを示す図
【図７】画像の変形方法を説明する図
【図８】第２の実施形態のデジタルカメラの機能構成を示すブロック図
【図９】図８のデジタルカメラの撮像処理のフローチャート
【図１０】動きベクトルを示す図
【図１１】第３の実施形態のデジタルカメラの機能構成を示すブロック図
【図１２】図１１のデジタルカメラの撮像処理のフローチャート
【図１３】被写体中の動体を示す図及び撮像して得た画像
【符号の説明】
【０１０１】
１ デジタルカメラ（撮像装置）
１０ 撮像手段
１５ ＣＭＯＳセンサ（撮像センサ）
１９ ＣＰＵ（撮像制御手段）
３４ 特徴点抽出部（特徴点抽出手段）
３５ 対応点検出部（対応点検出手段）
３６ 画像変形部（画像変形手段）
３９ 動きベクトル算出部（動きベクトル算出手段）
４０ 画像変形禁止部（画像変形禁止手段）
４１ 画像合成部（画像合成手段）
Ｐ１ 第１の画像
Ｐ２ 第２の画像
Ｄ、Ｄ１、Ｄ２ 動体
【特許請求の範囲】
【請求項１】
ローリングシャッタ方式の撮像センサを使用して被写体を撮像する撮像手段と、
該撮像手段に第１の撮像と第２の撮像とを連続して行わせ、前記第１の撮像時にライン毎の走査を一方向から行う第１の走査方法で前記撮像センサの信号を読み出し、前記第２の撮像時にライン毎の走査を前記一方向とは逆の方向から行う第２の走査方法で前記撮像センサの信号を読み出すように前記撮像手段を制御する撮像制御手段と、
前記第１の撮像によって取得した第１の画像から複数の特徴点を抽出する特徴点抽出手段と、
該特徴点抽出手段により抽出された複数の特徴点の各々に対応する対応点を、前記第２の撮像によって取得した第２の画像から検出する対応点検出手段と、
前記複数の特徴点と該複数の特徴点の各々に対応する前記対応点との中間に位置する中間点の座標値を算出し、前記特徴点の座標値が前記中間点の座標値に一致するように前記第１の画像を変形する、及び／又は、前記対応点の座標値が前記中間点の座標値に一致するように前記第２の画像を変形する画像変形手段とを備えていることを特徴とする撮像装置。
【請求項２】
前記複数の特徴点と該複数の特徴点の各々に対応する前記対応点とから動きベクトルを算出する動きベクトル算出手段と、
該動きベクトル算出手段により算出された前記動きベクトルが所定の閾値よりも小さい場合に、前記画像変形手段による前記第１の画像又は前記第２の画像の変形を行わないようにする画像変形禁止手段とをさらに備えていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像変形手段が、前記第１の画像及び前記第２の画像を変形するものであり、
該変形された第１の画像及び第２の画像を合成して１つの画像を生成する画像合成手段をさらに備えていることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
ローリングシャッタ方式の撮像センサを使用して被写体を撮像する撮像手段を用いる撮像方法において、
前記撮像手段に第１の撮像を行わせ、
該第１の撮像時にライン毎の走査を一方向から行う第１の走査方法で前記撮像センサの信号を読み出し、
前記撮像手段に第２の撮像を行わせ、
該第２の撮像時にライン毎の走査を前記一方向とは逆の方向から行う第２の走査方法で前記撮像センサの信号を読み出し、
前記第１の撮像によって取得した第１の画像から複数の特徴点を抽出し、
該抽出された複数の特徴点の各々に対応する対応点を、前記第２の撮像によって取得した第２の画像から検出し、
前記複数の特徴点と該複数の特徴点の各々に対応する対応点との中間に位置する中間点の座標値を算出し、
前記複数の特徴点の座標値が前記中間点の座標値に一致するように前記第１の画像を変形する、及び／又は、前記対応点の座標値が前記中間点の座標値に一致するように前記第２の画像を変形することを特徴とする撮像方法。
【請求項５】
前記複数の特徴点と該複数の特徴点の各々に対応する前記対応点とから動きベクトルを算出し、
該算出された前記動きベクトルが所定の閾値よりも小さい場合に、前記第１の画像又は前記第２の画像の変形を行わないようにすることを特徴とする請求項４に記載の撮像方法。
【請求項６】
前記第１の画像及び前記第２の画像を変形し、
該変形された第１の画像及び第２の画像を合成して１つの画像を生成することを特徴とする請求項４又は５に記載の撮像方法。
【請求項７】
ローリングシャッタ方式の撮像センサを使用して被写体を撮像する撮像手段を用いる撮像方法をコンピュータに実行させるためのプログラムにおいて、
前記撮像手段に第１の撮像を行わせ、
該第１の撮像時にライン毎の走査を一方向から行う第１の走査方法で前記撮像センサの信号を読み出し、
前記撮像手段に第２の撮像を行わせ、
該第２の撮像時にライン毎の走査を前記一方向とは逆の方向から行う第２の走査方法で前記撮像センサの信号を読み出し、
前記第１の撮像によって取得した第１の画像から複数の特徴点を抽出し、
該抽出された複数の特徴点の各々に対応する対応点を、前記第２の撮像によって取得した第２の画像から検出し、
前記複数の特徴点と該複数の特徴点の各々に対応する対応点との中間に位置する中間点の座標値を算出し、
前記複数の特徴点の座標値が前記中間点の座標値に一致するように前記第１の画像を変形する、及び／又は、前記対応点の座標値が前記中間点の座標値に一致するように前記第２の画像を変形することを実行させることを特徴とするプログラム。
【請求項８】
コンピュータに、前記複数の特徴点と該複数の特徴点の各々に対応する前記対応点とから動きベクトルを算出し、
該算出された前記動きベクトルが所定の閾値よりも小さい場合に、前記第１の画像又は前記第２の画像の変形を行わないようにすることを実行させることを特徴とする請求項７に記載のプログラム。
【請求項９】
コンピュータに、前記第１の画像及び前記第２の画像を変形し、
該変形された第１の画像及び第２の画像を合成して１つの画像を生成することを実行させることを特徴とする請求項７又は８に記載のプログラム。
【請求項１】
ローリングシャッタ方式の撮像センサを使用して被写体を撮像する撮像手段と、
該撮像手段に第１の撮像と第２の撮像とを連続して行わせ、前記第１の撮像時にライン毎の走査を一方向から行う第１の走査方法で前記撮像センサの信号を読み出し、前記第２の撮像時にライン毎の走査を前記一方向とは逆の方向から行う第２の走査方法で前記撮像センサの信号を読み出すように前記撮像手段を制御する撮像制御手段と、
前記第１の撮像によって取得した第１の画像から複数の特徴点を抽出する特徴点抽出手段と、
該特徴点抽出手段により抽出された複数の特徴点の各々に対応する対応点を、前記第２の撮像によって取得した第２の画像から検出する対応点検出手段と、
前記複数の特徴点と該複数の特徴点の各々に対応する前記対応点との中間に位置する中間点の座標値を算出し、前記特徴点の座標値が前記中間点の座標値に一致するように前記第１の画像を変形する、及び／又は、前記対応点の座標値が前記中間点の座標値に一致するように前記第２の画像を変形する画像変形手段とを備えていることを特徴とする撮像装置。
【請求項２】
前記複数の特徴点と該複数の特徴点の各々に対応する前記対応点とから動きベクトルを算出する動きベクトル算出手段と、
該動きベクトル算出手段により算出された前記動きベクトルが所定の閾値よりも小さい場合に、前記画像変形手段による前記第１の画像又は前記第２の画像の変形を行わないようにする画像変形禁止手段とをさらに備えていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像変形手段が、前記第１の画像及び前記第２の画像を変形するものであり、
該変形された第１の画像及び第２の画像を合成して１つの画像を生成する画像合成手段をさらに備えていることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
ローリングシャッタ方式の撮像センサを使用して被写体を撮像する撮像手段を用いる撮像方法において、
前記撮像手段に第１の撮像を行わせ、
該第１の撮像時にライン毎の走査を一方向から行う第１の走査方法で前記撮像センサの信号を読み出し、
前記撮像手段に第２の撮像を行わせ、
該第２の撮像時にライン毎の走査を前記一方向とは逆の方向から行う第２の走査方法で前記撮像センサの信号を読み出し、
前記第１の撮像によって取得した第１の画像から複数の特徴点を抽出し、
該抽出された複数の特徴点の各々に対応する対応点を、前記第２の撮像によって取得した第２の画像から検出し、
前記複数の特徴点と該複数の特徴点の各々に対応する対応点との中間に位置する中間点の座標値を算出し、
前記複数の特徴点の座標値が前記中間点の座標値に一致するように前記第１の画像を変形する、及び／又は、前記対応点の座標値が前記中間点の座標値に一致するように前記第２の画像を変形することを特徴とする撮像方法。
【請求項５】
前記複数の特徴点と該複数の特徴点の各々に対応する前記対応点とから動きベクトルを算出し、
該算出された前記動きベクトルが所定の閾値よりも小さい場合に、前記第１の画像又は前記第２の画像の変形を行わないようにすることを特徴とする請求項４に記載の撮像方法。
【請求項６】
前記第１の画像及び前記第２の画像を変形し、
該変形された第１の画像及び第２の画像を合成して１つの画像を生成することを特徴とする請求項４又は５に記載の撮像方法。
【請求項７】
ローリングシャッタ方式の撮像センサを使用して被写体を撮像する撮像手段を用いる撮像方法をコンピュータに実行させるためのプログラムにおいて、
前記撮像手段に第１の撮像を行わせ、
該第１の撮像時にライン毎の走査を一方向から行う第１の走査方法で前記撮像センサの信号を読み出し、
前記撮像手段に第２の撮像を行わせ、
該第２の撮像時にライン毎の走査を前記一方向とは逆の方向から行う第２の走査方法で前記撮像センサの信号を読み出し、
前記第１の撮像によって取得した第１の画像から複数の特徴点を抽出し、
該抽出された複数の特徴点の各々に対応する対応点を、前記第２の撮像によって取得した第２の画像から検出し、
前記複数の特徴点と該複数の特徴点の各々に対応する対応点との中間に位置する中間点の座標値を算出し、
前記複数の特徴点の座標値が前記中間点の座標値に一致するように前記第１の画像を変形する、及び／又は、前記対応点の座標値が前記中間点の座標値に一致するように前記第２の画像を変形することを実行させることを特徴とするプログラム。
【請求項８】
コンピュータに、前記複数の特徴点と該複数の特徴点の各々に対応する前記対応点とから動きベクトルを算出し、
該算出された前記動きベクトルが所定の閾値よりも小さい場合に、前記第１の画像又は前記第２の画像の変形を行わないようにすることを実行させることを特徴とする請求項７に記載のプログラム。
【請求項９】
コンピュータに、前記第１の画像及び前記第２の画像を変形し、
該変形された第１の画像及び第２の画像を合成して１つの画像を生成することを実行させることを特徴とする請求項７又は８に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−１５４３９０（Ｐ２０１０−１５４３９０Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２００８−３３２０４０（Ｐ２００８−３３２０４０）
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]