撮像装置、その制御方法及びプログラム
【課題】動きベクトルを検出する際の探索領域を適切に設定し、動きベクトルの検出効率を上げる。
【解決手段】画像補正部２１０は、レンズ部の歪曲収差特性に応じて、撮像部により第１の時点に生成された画像データに対応する参照画像データと、撮像部により前記第１の時点より後の第２の時点に生成された画像データとの歪曲収差を補正する。動き検出部Ａ２０３は、歪曲収差が補正された参照画像データと画像データとに基づいて、動きベクトルを検出する。ベクトル補正部２０４は、レンズ部の歪曲収差特性に応じて、動きの検出部Ａ２０３により検出された動きベクトルについて、各画像の歪曲収差補正により生じた誤差成分を補正する。動き検出部Ｂ２０５は、補正された動きベクトルに基づいて動きベクトルの探索範囲を設定し、当該探索範囲で動きベクトルを検出する。
【解決手段】画像補正部２１０は、レンズ部の歪曲収差特性に応じて、撮像部により第１の時点に生成された画像データに対応する参照画像データと、撮像部により前記第１の時点より後の第２の時点に生成された画像データとの歪曲収差を補正する。動き検出部Ａ２０３は、歪曲収差が補正された参照画像データと画像データとに基づいて、動きベクトルを検出する。ベクトル補正部２０４は、レンズ部の歪曲収差特性に応じて、動きの検出部Ａ２０３により検出された動きベクトルについて、各画像の歪曲収差補正により生じた誤差成分を補正する。動き検出部Ｂ２０５は、補正された動きベクトルに基づいて動きベクトルの探索範囲を設定し、当該探索範囲で動きベクトルを検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歪曲収差特性を有するレンズからの入射光に基づいて生成される画像データから動きベクトルを検出する技術に関するものである。
【背景技術】
【０００２】
被写体を撮像し、撮像された動画像を符号化して、記録するデジタルビデオカメラやデジタルスチルカメラがある。このようなデジタルビデオカメラやデジタルスチルカメラには、レンズが着脱可能な交換レンズタイプ（例えば、デジタル一眼カメラ）がある。撮影シーンによって、望遠レンズや広角レンズ等、様々なレンズに交換できるようになっている。レンズの中には魚眼レンズと呼ばれる大きな歪曲歪みを持つ超広角レンズがある。超広角レンズによって撮影される画像は、フレームの中央ほど拡大され、フレームの周辺ほど縮小された画像となる特性がある。一方、超広角レンズを装着した撮像装置において、レンズの歪曲収差特性を補正するものが知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１９３４５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、動画像を撮像して入力信号とする装置においては、動画像データを圧縮符号化して記録媒体に記録する手法が一般的である。動画像データを符号化する符号化方式には、ＭＰＥＧ２やＨ．２６４等の高能率符号化方式が知られている。高能率符号化方式では、高い圧縮効率を得るために、異なる時刻のフレームに基づいて予測画像データを生成し、入力画像データと予測画像データとの差分画像データを符号化するフレーム間予測（インター予測）と呼ばれる方法がとられている。このフレーム間予測において欠かせない技術として動き補償がある。この技術は、動きベクトルを検出し、参照画像データと動きベクトルとから予測画像データを生成することで、差分画像データの情報量をより低減するために使用される。
【０００５】
ここで、撮像された画像データが大きく歪んでいた場合、従来の手法で動き補償をすると次のような問題が生じる。例えば、レンズの歪曲収差特性によって被写体が歪むことで、入力画像データ内の被写体と参照画像データ内の被写体との形が異なり、動き補償を行う際に符号化効率が低下するという課題があった。
【０００６】
そこで、本発明の目的は、動きベクトルを検出する際の探索領域を適切に設定し、動きベクトルの検出効率を上げることにある。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、レンズを介して入射される被写体像から画像データを生成する撮像手段と、前記レンズの歪曲収差特性に応じて、前記撮像手段により第１の時点に生成された画像データに対応する参照画像データに含まれる歪曲収差と、前記撮像手段により前記第１の時点より後の第２の時点に生成された画像データに含まれる歪曲収差とをそれぞれ補正する画像補正手段と、前記画像補正手段により歪曲収差が補正された前記参照画像データと前記画像データとに基づいて、動きベクトルを検出する第１の検出手段と、前記レンズの歪曲収差特性に応じて、前記第１の検出手段により検出された動きベクトルに含まれる前記画像補正手段による歪曲収差補正により生じた誤差成分を補正するベクトル補正手段と、前記ベクトル補正手段により補正された動きベクトルに基づいて動きベクトルの探索範囲を設定し、当該探索範囲で動きベクトルを検出する第２の検出手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、動きベクトルを検出する際の探索領域を適切に設定することが可能となり、動きベクトルの検出効率を上げることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示す図である。
【図２】動き検出部の詳細な構成を示す図である。
【図３】画像補正部について説明するための図である。
【図４】動き検出部Ａについて説明するための図である。
【図５】ベクトル補正部及び動き検出部Ｂについて説明するための図である。
【図６】本発明の第２の実施形態に係る撮像装置の構成を示す図である。
【図７】動き検出部の詳細な構成を示す図である。
【図８】レンズ部の動作を示すフローチャートである。
【図９】本発明の第３の実施形態に係る撮像装置の構成を示す図である。
【図１０】歪曲収差特性を有するレンズについて説明するための図である。
【図１１】歪曲収差特性を有するレンズについて説明するための図である。
【図１２】魚眼レンズにおける動き探索範囲データの一例を説明するための図である。
【図１３】動き探索範囲の具体例を示す図である。
【図１４】格子柄を魚眼レンズによって撮影した画像データを示す図である。
【図１５】動き探索範囲の形状の例を示す図である。
【図１６】本発明の第４の実施形態に係る撮像装置の構成を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１１】
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の構成を示す図であり、特に符号化処理に関連する構成を示している。なお、以下で説明する実施形態においては、Ｈ．２６４の符号化方式を採用した場合の構成を例に挙げている。
【００１２】
図１に示すように、本実施形態に係る撮像装置の符号化処理に関連する構成は、レンズ部１０１、撮像部１０２、イントラ予測部１０３、加算器１０４、直交変換部１０５、量子化部１０６、エントロピー符号化部１０７、逆量子化部１０８、逆直交変換部１０９、デブロッキングフィルタ１１０、フレームメモリ１１１、動き検出部１１２、動き補償部１１３、スイッチ１１４、加算器１１５である。
【００１３】
ここで、符号化処理時における各構成の動作について説明する。レンズ部１０１は、レンズ及びレンズを制御するレンズ駆動部等から構成されている。レンズ部１０１は、入射した被写体像を撮像部１０２に結像させる。撮像部１０２は、センサ、ノイズ除去回路、Ａ／Ｄ変換部等から構成されており、レンズ部１０１を介して得られた被写体像を電気信号に変換し、さらにＡ／Ｄ変換を行ってアナログ信号をデジタル信号の画像データに変換する。撮像部１０２は、デジタル信号化された画像データ（以下、入力画像データと称す）をイントラ予測部１０３、加算器１０４、動き検出部１１２に出力する。
【００１４】
イントラ予測部１０３は、同一フレーム内の入力画像データを用いて予測画像データを生成する。イントラ予測部１０３は、生成した予測画像データと撮像部１０２からの入力画像データとの差分である差分画像データを生成し、スイッチ１１４に出力する。加算器１０４は、入力画像データから後述する動き補償部１１３で生成された予測画像データを差し引き、差分画像データを生成する。差分画像データは、スイッチ１１４に出力される。
【００１５】
スイッチ１１４は、イントラ予測の場合には、イントラ予測部１０３からの差分画像データを選択し、インター予測の場合には、加算器１０４からの差分画像データを選択し、直交変換部１０５に出力する。
【００１６】
スイッチ１１４から出力された差分画像データは、直交変換部１０５において直交変換処理が行われ、続いて量子化部１０６において量子化される。以上の処理により、画像データが削減される。量子化部１０６で量子化された画像データは、エントロピー符号化部１０７に出力される。
【００１７】
エントロピー符号化部１０７は、量子化された画像データの他に後述する動き検出部１１２で生成された動きベクトル、その他量子化処理に使用される量子化パラメータ等のデータを入力し、シンタックスに従ってストリームを生成する。生成されたストリームは不図示の記録媒体等に記録される。
【００１８】
また、量子化された画像データは逆量子化部１０８に入力され、逆量子化処理される。逆量子化された画像データは、逆直交変換部１０９において逆直交変換処理が行われ、差分画像データが復元され、加算器１１５に出力される。
【００１９】
加算器１１５は、動き補償部１１３から出力される予測画像データと逆量子化部１０８から出力される差分画像データとを加算し、参照画像データを生成する。加算器１１５は、参照画像データをデブロッキングフィルタ１１０に出力する。
【００２０】
デブロッキングフィルタ１１０は、参照画像データに対してブロック歪みを除去するデブロッキング処理を施し、フレームメモリ１１１に入力する。但し、イントラ予測の場合、参照画像データは、デブロッキング処理が施されずにフレームメモリ１１１に入力される。
【００２１】
動き検出部１１２は、撮像部１０２から入力される入力画像データと、フレームメモリ１１１から読み出した参照画像データとを用いて動きベクトルを検出する。ここで、入力画像データと参照画像データとでは、撮像された時点が異なり、入力画像データのほうが後から撮像された画像である。検出された動きベクトルは、動き補償部１１３及びエントロピー符号化部１０７に出力される。
【００２２】
動き補償部１１３は、動きベクトルとフレームメモリ１１１から読み出した参照画像データとを用いてインター予測で使用する予測画像データを生成する。動き補償部１１３で生成された予測画像データは加算器１０４に出力され、加算器１０４において差分画像データが生成される。以上が符号化処理時における各構成の動作である。
【００２３】
次に、歪曲収差補正時における各構成の動作について説明する。レンズ部１０１は、被写体光以外にレンズ部１０１内部に保持しているレンズ情報を撮像部１０２に出力する。レンズ情報とは、例えばレンズの種類やレンズの焦点距離等を示す情報である。
【００２４】
撮像部１０２は、レンズ情報を入力し、動き検出部１１２に出力する。動き検出部１１２は、内部に歪曲収差補正に用いられる歪曲収差特性情報を複数保持している。歪曲収差特性情報は、歪曲収差を補正する際に用いられるデータ群のことである。歪曲収差特性情報の具体例としては、画像データの位置（ｘ，ｙ）をインデックスとして、歪曲収差補正した後の画像データの位置が格納されたテーブル等が挙げられる。
【００２５】
図２は、動き検出部１１２の詳細な構成を示す図である。以下、図２を参照しながら、動き検出部１１２における動きベクトルの検出時の動作について説明する。
【００２６】
動き検出部１１２は、画像補正部２０１、歪曲収差特性情報格納部２０２、動き検出部Ａ２０３、ベクトル補正部２０４、動き検出部Ｂ２０５から構成されている。動きベクトルの検出のアルゴリズムには、広い探索領域で動きベクトルを探索しながらも必要なデータ量を低減するために、階層的に動きベクトルを探索する。動き検出部１１２は、入力画像データと参照画像データとを同じ縮小率で縮小し、それらの縮小した画像データを用いて動きベクトルの粗探索を行う。その後、動き検出部１１２は、その周辺の小領域で縮小率を変えた画像データを用いてさらに動きベクトルの探索を行い、所望の精度の動きベクトルが得られるまで、動きベクトルの探索を繰り返し行う。本実施形態において、動きベクトルの粗探索は動き検出部Ａ２０３で行い、より精度の高い動きベクトルの検出は動き検出部Ｂ２０５で行うようにしている。即ち、本実施形態においては、二階層の動きベクトルの探索を行うようにしている。なお、動き検出部Ａ２０３は第１の検出手段、動き検出部Ｂ２０５は第２の検出手段の適用例である。
【００２７】
画像補正部２０１は、撮像部１０２からの入力画像データとフレームメモリ１１１からの参照画像データとを入力し、それぞれの画像データに対して歪曲収差補正を行う。画像補正部２０１は、歪曲収差特性情報格納部２０２と接続されている。歪曲収差特性情報格納部２０２は、レンズの種類及びレンズの焦点距離をインデックスとした歪曲収差特性情報を予め保持している。画像補正部２０１が歪曲収差補正を行う際に、歪曲収差特性情報格納部２０２は、レンズの種類及びレンズの焦点距離に応じた歪曲収差特性情報を画像補正部２０１に返す。また、歪曲収差特性情報格納部２０２は、更に画像データの位置をインデックスとして歪曲収差特性情報を保持している。従って、歪曲収差特性情報格納部２０２に対して補正前の画像データの位置が入力されると、レンズの種類及びレンズの焦点距離に応じた補正後の画像データの位置が画像補正部２０１に対して返される。画像補正部２０１は、歪曲収差補正を施した入力画像データ及び参照画像データを縮小して動き検出部Ａ２０３に出力する。
【００２８】
ここで、図３を用いて画像補正部２０１について更に詳しく説明を行う。図３（ａ）は入力画像データを示しており、図３（ｂ）は参照画像データを示している。それぞれの画像データは歪曲収差によって形が歪んでいる。よって、動きベクトルの検出を行う際に、入力画像データの被写体と参照画像データの被写体とが同じであっても、被写体の画像データの位置が異なると、被写体の形が歪むため、動きベクトルの検出は困難になる。図３（ｃ）は、図３（ａ）の入力画像データに対して歪曲収差を補正した後の入力画像データを示している。図３（ｄ）は、図３（ｂ）の参照画像データに対して歪曲収差を補正した後の参照画像データを示している。歪曲収差が補正された後の入力画像データ及び参照画像データでは、被写体に歪みがなくなるので、動きベクトルの検出の精度が向上する。画像補正部２０１は、図３（ｃ）及び図３（ｄ）のような被写体に歪みがない画像データを得るために歪曲収差補正を行っている。
【００２９】
説明を図２に戻す。動き検出部Ａ２０３は、上述したように動きベクトルの粗探索を行う動き検出部である。歪曲収差補正及び縮小された入力画像データ、参照画像データを入力し、動きベクトルを探索（検出）する。このとき使用される入力画像データ及び参照画像データは歪曲収差が補正されているので、レンズの歪曲収差による歪みがない状態で動きベクトルの探索が可能である。即ち、レンズの歪曲収差によって歪んでしまった被写体像を本来の形（歪曲収差のない形）に補正することで、動きベクトルの探索の精度を上げることができる。動き検出部Ａ２０３は、検出した動きベクトルをベクトル補正部２０４に出力する。
【００３０】
ここで、図４を用いて動き検出部Ａ２０３について更に詳しく説明を行う。図４は、歪曲収差が補正された入力画像データと参照画像データとを重ねたイメージである。４０１は、入力画像データ内の符号化対象マクロブロックである。４０２は、参照画像データ内の符号化対象マクロブロックと類似するブロックである。４０３は、動き検出部Ａ２０３の動きベクトルの探索の結果、検出された動きベクトルである。検出部Ａ２０３は、図４に示すように歪曲収差が補正された画像データを用いて動きベクトルを検出し、ベクトル補正部２０４に出力する。
【００３１】
再び説明を図２に戻す。ベクトル補正部２０４に入力される動きベクトルは、歪曲収差が補正された画像データから検出された動きベクトルであるので、符号化後に記録媒体に記録される、歪曲収差が存在する画像データ上の動きベクトルとは異なる。そこで、ベクトル補正部２０４は、動き検出部Ａ２０３で生成された動きベクトルを元の歪曲収差がある画像データにおける動きベクトルに対応できるように、各画像の歪曲収差補正により生じた動きベクトルの誤差成分を補正する。即ち、動き検出部Ａ２０３から出力された動きベクトルは、歪曲収差がない画像データにおける動きベクトルであり、ベクトル補正部２０４から出力される動きベクトルは、歪曲収差がある画像データにおける動きベクトルである。従って、ベクトル補正部２０４は、歪曲収差特性情報格納部２０２から歪曲収差特性情報を取得して歪曲収差の逆補正を行う。
【００３２】
動き検出部Ｂ２０５は、縮小された画像データを使用せずに動きベクトルの検出を行うので、動き検出部Ａ２０３よりも高い精度で動きベクトルを検出する。動き検出部Ｂ２０５は、ベクトル補正部２０４から出力された動きベクトル、入力画像データ、参照画像データを用いて動きベクトルを探索（検出）する。動き検出部Ｂ２０５は、ベクトル補正部２０４から出力される動きベクトルを探索領域の中心として設定し、当該探索領域内でより精度の高い動きベクトルを探索（検出）する。このようにして探索（検出）された動きベクトルは、動き補償部１１３に出力される。
【００３３】
ここで、図５を用いてベクトル補正部２０４及び動き検出部Ｂ２０５について更に詳しく説明を行う。図５（ａ）の５０１は、ベクトル補正部２０４において補正される前の動きベクトルである。図５（ａ）の５０２は、ベクトル補正部２０４において歪曲収差が逆補正された後の動きベクトルである。このように、歪曲収差が補正された画像データから検出された動きベクトル５０１が、元の歪曲収差がある画像データにおける動きベクトル５０２に補正される。図５（ｂ）の５０３は、図５（ａ）の５０２と同じくベクトル補正部２０４において歪曲収差が逆補正された後の動きベクトルである。図５（ｂ）の５０４は、動きベクトル５０３を中心として設定された探索領域である。動き検出部Ｂ２０５は、探索領域５０４の中で、符号化対象マクロブロックと類似するマクロブロックを探索し、動きベクトルを探索（検出）する。
【００３４】
このように、本実施形態によれば、動きベクトルを検出する際の探索領域を適切に設定することが可能となり、動きベクトルの検出効率を上げることができる。
【００３５】
次に、本発明の第２の実施形態について説明する。図６は、本発明の第２の実施形態に係る撮像装置の構成を示す図であり、特に符号化処理に関連する構成を示している。
【００３６】
図６に示すように、本実施形態に係る撮像装置の符号化処理に関連する構成は、レンズ部６０１、撮像部６０２、イントラ予測部６０３、加算器６０４、直交変換部６０５、量子化部６０６、エントロピー符号化部６０７、逆量子化部６０８、逆直交変換部６０９、デブロッキングフィルタ６１０、フレームメモリ６１１、動き検出部６１２、動き補償部６１３、スイッチ６１４、歪曲収差特性情報格納部６１５である。
【００３７】
レンズ部６０１、イントラ予測部６０３、加算器６０４、直交変換部６０５、量子化部６０６、エントロピー符号化部６０７、逆量子化部６０８、逆直交変換部６０９、デブロッキングフィルタ６１０、フレームメモリ６１１、動き補償部６１３、スイッチ６１４は、図１におけるレンズ部１０１、イントラ予測部１０３、加算器１０４、直交変換部１０５、量子化部１０６、エントロピー符号化部１０７、逆量子化部１０８、逆直交変換部１０９、デブロッキングフィルタ１１０、フレームメモリ１１１、動き補償部１１３、スイッチ１１４と同様の構成であるため、ここでは説明を省略する。
【００３８】
レンズ部６０１に含まれるレンズが可変焦点レンズである場合、歪曲収差特性は、焦点距離によって変わる。レンズ部６０１と接続されている歪曲収差特性情報格納部６１５は、予めレンズの焦点距離に応じてその歪みの割合をテーブル化して保持している。レンズ部６０１は、レンズの焦点距離が変わる度に、歪曲収差特性情報格納部６１５から歪曲収差補正に用いる歪曲収差特性情報を読み出し、撮像部６０２に出力する。
【００３９】
撮像部６０２は、入力画像データとともに歪曲収差特性情報を動き検出部６１２に出力する。動き検出部６１２は、入力された歪曲収差特性情報を用いて入力画像データ、参照画像データに対して歪曲収差を補正する。動き検出部６１２は、歪曲収差を補正した入力画像データと参照画像データとを用いて粗探索の動きベクトルを算出し、算出した動きベクトルに対して歪曲収差を逆補正して最終的な動きベクトルを算出する。
【００４０】
図７は、動き検出部６１２の詳細な構成を示す図である。以下、図７を参照しながら、動き検出部６１２について詳細に説明する。図７に示すように、動き検出部６１２は、画像補正部７０１、動き検出部Ａ７０２、ベクトル補正部７０３、動き検出部Ｂ７０４で構成されている。
【００４１】
動き検出部６１２は、入力画像データ、参照画像データ及び歪曲収差特性情報をそれぞれ入力する。画像補正部７０１は、入力画像データ、参照画像データ及び歪曲収差特性情報を入力し、歪曲収差特性情報を用いて入力画像データ、参照画像データそれぞれの画像データに対して歪曲収差を補正する。次に、画像補正部７０１は、歪曲収差を補正した入力画像データ及び参照画像データを縮小して動き検出部Ａ７０２に出力する。
【００４２】
動き検出部Ａ７０２は、動きベクトルの粗探索を行い、検出した動きベクトルをベクトル補正部７０３に出力する。ベクトル補正部７０３は、入力される歪曲収差特性情報を用いて動きベクトルの逆補正を行い、動き検出部Ｂ７０４に出力する。
【００４３】
動き検出部Ｂ７０４は、ベクトル補正部７０３から出力された動きベクトル、入力画像データ、参照画像データを用いて、動き検出部Ａ７０２より高い精度で動きベクトルを探索（検出）する。動き検出部Ｂ７０４は、探索（検出）された動きベクトルを動き補償部６１３に出力する。
【００４４】
図８は、レンズ部６０１の動作を示すフローチャートである。以下、図８を参照しながら、レンズ部６０１の動作について説明する。
【００４５】
ステップＳ８０１において、レンズ部６０１は、装着されたレンズの種類を判別する。具体的には、可変焦点距離レンズであるか、固定焦点距離レンズであるかが判別される。ステップＳ８０２は、装着されたレンズが可変焦点距離レンズであるか、固定焦点距離レンズであるかに応じて処理を分岐させる制御処理である。即ち、レンズが可変焦点距離レンズである場合、処理はステップＳ８０３に移行する。一方、レンズが固定焦点距離レンズである場合、処理はステップＳ８０３をスキップしてステップＳ８０４に移行する。
【００４６】
ステップ８０３において、レンズ部６０１は、現在の焦点距離を取得する。ステップＳ８０４において、レンズ部６０１は、歪曲収差特性情報を歪曲収差特性情報格納部６１５から取得する。歪曲収差特性情報は、焦点距離をインデックスとして管理されているため、レンズ部６０１は、ステップＳ８０３で取得した焦点距離、又は、固定焦点距離レンズの焦点距離に対応する歪曲収差特性情報を歪曲収差特性情報格納部６１５から取得する。
【００４７】
ステップＳ８０５において、レンズ部６０１は、焦点距離に変更があったか否かを判定する。可変焦点距離レンズが装着されている場合、レンズ部６０１は、ズーム等の操作によって焦点距離が変更されたことを検知する。焦点距離が変更された場合、処理はステップＳ８０３に戻る。一方、焦点距離が変更されていない場合、処理はステップＳ８０６に移行する。ステップＳ８０６において、レンズ部６０１は、歪曲収差補正に用いられる歪曲収差特性情報を動き検出部６１２に出力する。
【００４８】
上述したように歪曲収差特性情報がレンズ部６０１内部に保持されているので、撮像装置本体の歪曲収差特性情報を保持するテーブルのハード規模を低減することができる。また、新たに多種多様なレンズが発売されても、歪曲収差特性情報を更新する必要がないため、ユーザの使い勝手も向上する。本実施形態によれば、動きベクトルを検出する際の探索領域を適切に設定することができ、動きベクトルの検出効率を上げることができる。
【００４９】
以下、本発明の第３の実施形態について説明する。図９は、本発明の第３の実施形態に係る撮像装置の構成を示す図である。以下では、第１、第２の実施形態と異なる点についてのみ説明するものとする。
【００５０】
図９において、９０１は、被写体からの光を集光するレンズ部である。レンズ部９０１は着脱可能な構造を有しており、標準レンズ、望遠レンズ、魚眼レンズ等、様々な種類のレンズが装着されることを想定している。またレンズ部９０１は、制御部９０５と接続されており、レンズ部９０１におけるレンズ種別等を示すレンズ情報を制御部９０５に出力する。９０２は、撮像素子によって構成される撮像部であり、レンズ部９０１で集光された光を撮像し、撮像信号として出力する。９０３は、撮像部９０２から出力された撮像信号をＡ／Ｄ変換し、色マトリクス変換やガンマ補正等の処理を行って、デジタル化された映像信号（入力画像データ）に変換する撮像信号処理部である。
【００５１】
９０４は、ＭＰＥＧ２方式等の符号化方式により、撮像信号処理部９０３から出力される入力画像データを符号化する符号化部である。符号化部９０４は、マクロブロックと呼ばれる１６×１６画素のブロックに入力画像データを分割し、動き補償予測、直交変換を行い、さらにその変換係数を量子化処理し、エントロピー符号化を施して入力画像データの圧縮及び符号化を行っている。
【００５２】
動き補償予測では、直前に符号化された入力画像データを復号することにより得られる画像データ、即ち参照画像データに対する、現在の入力画像データのマクロブロック毎の動きベクトルが探索により求められ、動きベクトルを用いて予測画像データが生成される。１マクロブロックにおける動きベクトルの探索範囲（以下、動き探索範囲と称す）は、一般に、画面上の全てのマクロブロックで同じであるが、本実施形態では、マクロブロック毎に制御部９０５により指示された動き探索範囲を探索するよう構成されている。即ち、制御部９０５は、メモリ９０６から動き探索設定データを読み出し、符号化部９０４に動き探索範囲を設定する。記録部９０７は、以上の手順で圧縮符号化された入力画像データを記録媒体９０８に記録する。なお、動き探索設定データとは、画面上のマクロブロック毎の動き探索範囲を設定するためのデータである。
【００５３】
次に、本実施形態に係る撮像装置の動作について説明する。図９のレンズ部９０１として超広角レンズである魚眼レンズを撮像装置に装着し、図１０に示すような格子状の図柄を撮影すると、図９の撮像信号処理部９０３からは、図１１に示すように画面の中央部は拡大され、周辺部は縮小された画像データが出力される。即ち、装着された魚眼レンズはこのような歪曲収差特性を有している。このような歪曲収差特性のレンズで撮影された画像データを符号化する場合、歪曲収差特性によって画像データが拡大される中央部は動き量が大きいため、通常より動き探索範囲を広くする。動き探索範囲を広くすることで、被写体が大きく動いた場合でも適切な動きベクトルを検出することができ、予測画像データの精度を上げることができる。一方、画像データが縮小される周辺部は動き量が小さいため、通常より動き探索範囲を狭くする。動き探索範囲を狭くすることで、探索の誤検出を防ぐことができる。動き探索範囲を不必要に広くすると、被写体の本来の動きではない動きベクトルが発生し、画質劣化を招く。このように、レンズの歪曲収差特性に合わせて、動き探索範囲を広くしたり、狭くしたりすることで、適切な動きベクトルの探索が可能となる。
【００５４】
メモリ９０６には、動き探索範囲データが予め格納されている。これは、レンズの歪曲率に合わせて定められたデータであって、予めレンズの歪曲収差特性を測定して、エリア毎の拡大・縮小率からマクロブロック毎の動き探索範囲が定められたものである。また、動き探索範囲データには、魚眼レンズ、標準レンズ等のレンズの種別や型番毎に定められた複数のレンズの設定データが格納されている。
【００５５】
魚眼レンズにおける動き探索範囲データの一例を、図１２を用いて説明する。図１２は符号化を行う画像データの領域を示す図であり、個々の小さい四角形はマクロブロックに相当する。図１２に示すように、メモリ９０６には、マクロブロック毎に歪曲収差の度合いに応じて定められた動き探索範囲データであるａ〜ｆが格納されている。ａ〜ｆの実際の値は、動き探索範囲を示す長方形の横サイズＸと縦サイズＹであって、例えば図１３に示すような値である。図１３の例においては、aが最も動き探索範囲が広く、ｂ、ｃ、ｄ、ｅ、ｆの順で動き探索範囲が狭くなる値である。即ち、画像データが拡大されて動き量が大きくなる中央部では広い動き探索範囲を示す値となり、画像データが縮小されて動き量が小さい周辺部にいく程、徐々に狭くした動き探索範囲を示す値となっている。なお、魚眼レンズ以外のレンズ、例えば標準レンズのように歪曲歪みがほとんどないレンズにおいては、画面全体が同一の動き探索範囲データとなる。
【００５６】
また、上記では、動き探索範囲の形状は横方向サイズＸ、縦方向サイズＹの長方形としたが、本発明はこれに限定されるものではない。レンズの歪曲収差による画像の歪みに合わせて、例えば、長方形以外の四角形であってもよいし、円形、楕円形であってもよい。その例を以下に説明する。
【００５７】
図１４は、格子柄を魚眼レンズによって撮影した画像データを示している。このように変形した格子柄に合わせて、例えば斜線で示した１４０１〜１４０５の領域に対しては、それぞれ図１５（ａ）〜（ｅ）の形状の動き探索範囲とする。このように変形した形状と同じ動き探索範囲の形状とすることで、歪曲収差によって歪む前の画面全体に対して同一の形状の動き探索範囲を設定したことに相当する。
【００５８】
図９の説明に戻る。制御部９０５は、レンズ部９０１と接続されており、レンズ部９０１よりレンズ種別を示すレンズ情報を取得する。制御部９０５は、レンズ情報によってレンズ種別を特定し、該当する動き探索範囲データをメモリ９０６より読み出して、符号化部９０４に動き探索範囲を設定する。これにより、レンズ部９０１に歪曲収差特性の異なるレンズが装着された場合であっても、レンズの歪曲収差特性に一致した動き探索範囲データを符号化部９０４に設定することができる。符号化部９０４は、設定された動き探索範囲に従って、動きベクトルの探索を行う。
【００５９】
以上のように、第３の実施形態においては、レンズの歪曲収差特性に応じて動き探索範囲の広さをマクロブロック毎に設定できるので、適切な動きベクトルの探索を行うことができ、高画質な符号化を行うことが可能となる。なお、本実施形態において動き探索範囲を設定する処理、設定された動き探索範囲で動きベクトルを探索する処理は、図２、図７では、動き検出部Ｂ２０５、７０４によって実行される処理である。
【００６０】
次に、本発明の第４の実施形態について説明する。図１６は、本発明の第４の実施形態に係る撮像装置の構成を示す図である。
【００６１】
図１６において、撮像部１６０２、撮像信号処理部１６０３、符号化部１６０４、記録部１６０７、記録媒体１６０８は、図９の撮像部９０２、撮像信号処理部９０３、符号化部９０４、記録部９０７、記録媒体９０８と同様の構成であるため、説明は省略する。
【００６２】
１６０１は、被写体からの光を集光するレンズ部である。レンズ部１６０１は、着脱可能な構造を有しており、標準レンズ、望遠レンズ、魚眼レンズ等、様々な種類のレンズが装着されることを想定している。また、レンズ部１６０１内にはメモリ１６０６が内蔵されている。メモリ１６０６は図９のメモリ９０６に相当し、レンズ部１６０１の歪曲収差に合わせて定められた動き探索設定データが格納されている。但し、図９のメモリ９０６は、複数のレンズ種別の動き探索設定データが格納されているのに対し、メモリ１６０６には、レンズ部１６０１に対応する動き探索設定データのみが格納されている。
【００６３】
制御部１６０５は、レンズ部１６０１内のメモリ１６０６と接続されており、動き探索設定データを読み出して、動き探索範囲を符号化部１６０４に設定する。符号化部１６０４は、設定された動き探索範囲に従って、動きベクトルを探索する。
【００６４】
第４の実施形態においては、レンズ内に動き探索設定データが格納されているため、レンズが撮像装置本体よりも後に提供されるような場合であっても、レンズの歪曲収差特性に一致した動き探索設定で動きベクトルの探索を行うことが可能となる。
【００６５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６６】
１０１：レンズ部、１０２：撮像部、１０３：イントラ予測部、１０４：加算器、１０５：直交変換部、１０６：量子化部、１０７：エントロピー符号化部、１０８：逆量子化部、１０９：逆直交変換部、１１０：デブロッキングフィルタ、１１１：フレームメモリ、１１２：動き検出部、１１３：動き補償部、１１４：スイッチ
【技術分野】
【０００１】
本発明は、歪曲収差特性を有するレンズからの入射光に基づいて生成される画像データから動きベクトルを検出する技術に関するものである。
【背景技術】
【０００２】
被写体を撮像し、撮像された動画像を符号化して、記録するデジタルビデオカメラやデジタルスチルカメラがある。このようなデジタルビデオカメラやデジタルスチルカメラには、レンズが着脱可能な交換レンズタイプ（例えば、デジタル一眼カメラ）がある。撮影シーンによって、望遠レンズや広角レンズ等、様々なレンズに交換できるようになっている。レンズの中には魚眼レンズと呼ばれる大きな歪曲歪みを持つ超広角レンズがある。超広角レンズによって撮影される画像は、フレームの中央ほど拡大され、フレームの周辺ほど縮小された画像となる特性がある。一方、超広角レンズを装着した撮像装置において、レンズの歪曲収差特性を補正するものが知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１９３４５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、動画像を撮像して入力信号とする装置においては、動画像データを圧縮符号化して記録媒体に記録する手法が一般的である。動画像データを符号化する符号化方式には、ＭＰＥＧ２やＨ．２６４等の高能率符号化方式が知られている。高能率符号化方式では、高い圧縮効率を得るために、異なる時刻のフレームに基づいて予測画像データを生成し、入力画像データと予測画像データとの差分画像データを符号化するフレーム間予測（インター予測）と呼ばれる方法がとられている。このフレーム間予測において欠かせない技術として動き補償がある。この技術は、動きベクトルを検出し、参照画像データと動きベクトルとから予測画像データを生成することで、差分画像データの情報量をより低減するために使用される。
【０００５】
ここで、撮像された画像データが大きく歪んでいた場合、従来の手法で動き補償をすると次のような問題が生じる。例えば、レンズの歪曲収差特性によって被写体が歪むことで、入力画像データ内の被写体と参照画像データ内の被写体との形が異なり、動き補償を行う際に符号化効率が低下するという課題があった。
【０００６】
そこで、本発明の目的は、動きベクトルを検出する際の探索領域を適切に設定し、動きベクトルの検出効率を上げることにある。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、レンズを介して入射される被写体像から画像データを生成する撮像手段と、前記レンズの歪曲収差特性に応じて、前記撮像手段により第１の時点に生成された画像データに対応する参照画像データに含まれる歪曲収差と、前記撮像手段により前記第１の時点より後の第２の時点に生成された画像データに含まれる歪曲収差とをそれぞれ補正する画像補正手段と、前記画像補正手段により歪曲収差が補正された前記参照画像データと前記画像データとに基づいて、動きベクトルを検出する第１の検出手段と、前記レンズの歪曲収差特性に応じて、前記第１の検出手段により検出された動きベクトルに含まれる前記画像補正手段による歪曲収差補正により生じた誤差成分を補正するベクトル補正手段と、前記ベクトル補正手段により補正された動きベクトルに基づいて動きベクトルの探索範囲を設定し、当該探索範囲で動きベクトルを検出する第２の検出手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、動きベクトルを検出する際の探索領域を適切に設定することが可能となり、動きベクトルの検出効率を上げることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示す図である。
【図２】動き検出部の詳細な構成を示す図である。
【図３】画像補正部について説明するための図である。
【図４】動き検出部Ａについて説明するための図である。
【図５】ベクトル補正部及び動き検出部Ｂについて説明するための図である。
【図６】本発明の第２の実施形態に係る撮像装置の構成を示す図である。
【図７】動き検出部の詳細な構成を示す図である。
【図８】レンズ部の動作を示すフローチャートである。
【図９】本発明の第３の実施形態に係る撮像装置の構成を示す図である。
【図１０】歪曲収差特性を有するレンズについて説明するための図である。
【図１１】歪曲収差特性を有するレンズについて説明するための図である。
【図１２】魚眼レンズにおける動き探索範囲データの一例を説明するための図である。
【図１３】動き探索範囲の具体例を示す図である。
【図１４】格子柄を魚眼レンズによって撮影した画像データを示す図である。
【図１５】動き探索範囲の形状の例を示す図である。
【図１６】本発明の第４の実施形態に係る撮像装置の構成を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１１】
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の構成を示す図であり、特に符号化処理に関連する構成を示している。なお、以下で説明する実施形態においては、Ｈ．２６４の符号化方式を採用した場合の構成を例に挙げている。
【００１２】
図１に示すように、本実施形態に係る撮像装置の符号化処理に関連する構成は、レンズ部１０１、撮像部１０２、イントラ予測部１０３、加算器１０４、直交変換部１０５、量子化部１０６、エントロピー符号化部１０７、逆量子化部１０８、逆直交変換部１０９、デブロッキングフィルタ１１０、フレームメモリ１１１、動き検出部１１２、動き補償部１１３、スイッチ１１４、加算器１１５である。
【００１３】
ここで、符号化処理時における各構成の動作について説明する。レンズ部１０１は、レンズ及びレンズを制御するレンズ駆動部等から構成されている。レンズ部１０１は、入射した被写体像を撮像部１０２に結像させる。撮像部１０２は、センサ、ノイズ除去回路、Ａ／Ｄ変換部等から構成されており、レンズ部１０１を介して得られた被写体像を電気信号に変換し、さらにＡ／Ｄ変換を行ってアナログ信号をデジタル信号の画像データに変換する。撮像部１０２は、デジタル信号化された画像データ（以下、入力画像データと称す）をイントラ予測部１０３、加算器１０４、動き検出部１１２に出力する。
【００１４】
イントラ予測部１０３は、同一フレーム内の入力画像データを用いて予測画像データを生成する。イントラ予測部１０３は、生成した予測画像データと撮像部１０２からの入力画像データとの差分である差分画像データを生成し、スイッチ１１４に出力する。加算器１０４は、入力画像データから後述する動き補償部１１３で生成された予測画像データを差し引き、差分画像データを生成する。差分画像データは、スイッチ１１４に出力される。
【００１５】
スイッチ１１４は、イントラ予測の場合には、イントラ予測部１０３からの差分画像データを選択し、インター予測の場合には、加算器１０４からの差分画像データを選択し、直交変換部１０５に出力する。
【００１６】
スイッチ１１４から出力された差分画像データは、直交変換部１０５において直交変換処理が行われ、続いて量子化部１０６において量子化される。以上の処理により、画像データが削減される。量子化部１０６で量子化された画像データは、エントロピー符号化部１０７に出力される。
【００１７】
エントロピー符号化部１０７は、量子化された画像データの他に後述する動き検出部１１２で生成された動きベクトル、その他量子化処理に使用される量子化パラメータ等のデータを入力し、シンタックスに従ってストリームを生成する。生成されたストリームは不図示の記録媒体等に記録される。
【００１８】
また、量子化された画像データは逆量子化部１０８に入力され、逆量子化処理される。逆量子化された画像データは、逆直交変換部１０９において逆直交変換処理が行われ、差分画像データが復元され、加算器１１５に出力される。
【００１９】
加算器１１５は、動き補償部１１３から出力される予測画像データと逆量子化部１０８から出力される差分画像データとを加算し、参照画像データを生成する。加算器１１５は、参照画像データをデブロッキングフィルタ１１０に出力する。
【００２０】
デブロッキングフィルタ１１０は、参照画像データに対してブロック歪みを除去するデブロッキング処理を施し、フレームメモリ１１１に入力する。但し、イントラ予測の場合、参照画像データは、デブロッキング処理が施されずにフレームメモリ１１１に入力される。
【００２１】
動き検出部１１２は、撮像部１０２から入力される入力画像データと、フレームメモリ１１１から読み出した参照画像データとを用いて動きベクトルを検出する。ここで、入力画像データと参照画像データとでは、撮像された時点が異なり、入力画像データのほうが後から撮像された画像である。検出された動きベクトルは、動き補償部１１３及びエントロピー符号化部１０７に出力される。
【００２２】
動き補償部１１３は、動きベクトルとフレームメモリ１１１から読み出した参照画像データとを用いてインター予測で使用する予測画像データを生成する。動き補償部１１３で生成された予測画像データは加算器１０４に出力され、加算器１０４において差分画像データが生成される。以上が符号化処理時における各構成の動作である。
【００２３】
次に、歪曲収差補正時における各構成の動作について説明する。レンズ部１０１は、被写体光以外にレンズ部１０１内部に保持しているレンズ情報を撮像部１０２に出力する。レンズ情報とは、例えばレンズの種類やレンズの焦点距離等を示す情報である。
【００２４】
撮像部１０２は、レンズ情報を入力し、動き検出部１１２に出力する。動き検出部１１２は、内部に歪曲収差補正に用いられる歪曲収差特性情報を複数保持している。歪曲収差特性情報は、歪曲収差を補正する際に用いられるデータ群のことである。歪曲収差特性情報の具体例としては、画像データの位置（ｘ，ｙ）をインデックスとして、歪曲収差補正した後の画像データの位置が格納されたテーブル等が挙げられる。
【００２５】
図２は、動き検出部１１２の詳細な構成を示す図である。以下、図２を参照しながら、動き検出部１１２における動きベクトルの検出時の動作について説明する。
【００２６】
動き検出部１１２は、画像補正部２０１、歪曲収差特性情報格納部２０２、動き検出部Ａ２０３、ベクトル補正部２０４、動き検出部Ｂ２０５から構成されている。動きベクトルの検出のアルゴリズムには、広い探索領域で動きベクトルを探索しながらも必要なデータ量を低減するために、階層的に動きベクトルを探索する。動き検出部１１２は、入力画像データと参照画像データとを同じ縮小率で縮小し、それらの縮小した画像データを用いて動きベクトルの粗探索を行う。その後、動き検出部１１２は、その周辺の小領域で縮小率を変えた画像データを用いてさらに動きベクトルの探索を行い、所望の精度の動きベクトルが得られるまで、動きベクトルの探索を繰り返し行う。本実施形態において、動きベクトルの粗探索は動き検出部Ａ２０３で行い、より精度の高い動きベクトルの検出は動き検出部Ｂ２０５で行うようにしている。即ち、本実施形態においては、二階層の動きベクトルの探索を行うようにしている。なお、動き検出部Ａ２０３は第１の検出手段、動き検出部Ｂ２０５は第２の検出手段の適用例である。
【００２７】
画像補正部２０１は、撮像部１０２からの入力画像データとフレームメモリ１１１からの参照画像データとを入力し、それぞれの画像データに対して歪曲収差補正を行う。画像補正部２０１は、歪曲収差特性情報格納部２０２と接続されている。歪曲収差特性情報格納部２０２は、レンズの種類及びレンズの焦点距離をインデックスとした歪曲収差特性情報を予め保持している。画像補正部２０１が歪曲収差補正を行う際に、歪曲収差特性情報格納部２０２は、レンズの種類及びレンズの焦点距離に応じた歪曲収差特性情報を画像補正部２０１に返す。また、歪曲収差特性情報格納部２０２は、更に画像データの位置をインデックスとして歪曲収差特性情報を保持している。従って、歪曲収差特性情報格納部２０２に対して補正前の画像データの位置が入力されると、レンズの種類及びレンズの焦点距離に応じた補正後の画像データの位置が画像補正部２０１に対して返される。画像補正部２０１は、歪曲収差補正を施した入力画像データ及び参照画像データを縮小して動き検出部Ａ２０３に出力する。
【００２８】
ここで、図３を用いて画像補正部２０１について更に詳しく説明を行う。図３（ａ）は入力画像データを示しており、図３（ｂ）は参照画像データを示している。それぞれの画像データは歪曲収差によって形が歪んでいる。よって、動きベクトルの検出を行う際に、入力画像データの被写体と参照画像データの被写体とが同じであっても、被写体の画像データの位置が異なると、被写体の形が歪むため、動きベクトルの検出は困難になる。図３（ｃ）は、図３（ａ）の入力画像データに対して歪曲収差を補正した後の入力画像データを示している。図３（ｄ）は、図３（ｂ）の参照画像データに対して歪曲収差を補正した後の参照画像データを示している。歪曲収差が補正された後の入力画像データ及び参照画像データでは、被写体に歪みがなくなるので、動きベクトルの検出の精度が向上する。画像補正部２０１は、図３（ｃ）及び図３（ｄ）のような被写体に歪みがない画像データを得るために歪曲収差補正を行っている。
【００２９】
説明を図２に戻す。動き検出部Ａ２０３は、上述したように動きベクトルの粗探索を行う動き検出部である。歪曲収差補正及び縮小された入力画像データ、参照画像データを入力し、動きベクトルを探索（検出）する。このとき使用される入力画像データ及び参照画像データは歪曲収差が補正されているので、レンズの歪曲収差による歪みがない状態で動きベクトルの探索が可能である。即ち、レンズの歪曲収差によって歪んでしまった被写体像を本来の形（歪曲収差のない形）に補正することで、動きベクトルの探索の精度を上げることができる。動き検出部Ａ２０３は、検出した動きベクトルをベクトル補正部２０４に出力する。
【００３０】
ここで、図４を用いて動き検出部Ａ２０３について更に詳しく説明を行う。図４は、歪曲収差が補正された入力画像データと参照画像データとを重ねたイメージである。４０１は、入力画像データ内の符号化対象マクロブロックである。４０２は、参照画像データ内の符号化対象マクロブロックと類似するブロックである。４０３は、動き検出部Ａ２０３の動きベクトルの探索の結果、検出された動きベクトルである。検出部Ａ２０３は、図４に示すように歪曲収差が補正された画像データを用いて動きベクトルを検出し、ベクトル補正部２０４に出力する。
【００３１】
再び説明を図２に戻す。ベクトル補正部２０４に入力される動きベクトルは、歪曲収差が補正された画像データから検出された動きベクトルであるので、符号化後に記録媒体に記録される、歪曲収差が存在する画像データ上の動きベクトルとは異なる。そこで、ベクトル補正部２０４は、動き検出部Ａ２０３で生成された動きベクトルを元の歪曲収差がある画像データにおける動きベクトルに対応できるように、各画像の歪曲収差補正により生じた動きベクトルの誤差成分を補正する。即ち、動き検出部Ａ２０３から出力された動きベクトルは、歪曲収差がない画像データにおける動きベクトルであり、ベクトル補正部２０４から出力される動きベクトルは、歪曲収差がある画像データにおける動きベクトルである。従って、ベクトル補正部２０４は、歪曲収差特性情報格納部２０２から歪曲収差特性情報を取得して歪曲収差の逆補正を行う。
【００３２】
動き検出部Ｂ２０５は、縮小された画像データを使用せずに動きベクトルの検出を行うので、動き検出部Ａ２０３よりも高い精度で動きベクトルを検出する。動き検出部Ｂ２０５は、ベクトル補正部２０４から出力された動きベクトル、入力画像データ、参照画像データを用いて動きベクトルを探索（検出）する。動き検出部Ｂ２０５は、ベクトル補正部２０４から出力される動きベクトルを探索領域の中心として設定し、当該探索領域内でより精度の高い動きベクトルを探索（検出）する。このようにして探索（検出）された動きベクトルは、動き補償部１１３に出力される。
【００３３】
ここで、図５を用いてベクトル補正部２０４及び動き検出部Ｂ２０５について更に詳しく説明を行う。図５（ａ）の５０１は、ベクトル補正部２０４において補正される前の動きベクトルである。図５（ａ）の５０２は、ベクトル補正部２０４において歪曲収差が逆補正された後の動きベクトルである。このように、歪曲収差が補正された画像データから検出された動きベクトル５０１が、元の歪曲収差がある画像データにおける動きベクトル５０２に補正される。図５（ｂ）の５０３は、図５（ａ）の５０２と同じくベクトル補正部２０４において歪曲収差が逆補正された後の動きベクトルである。図５（ｂ）の５０４は、動きベクトル５０３を中心として設定された探索領域である。動き検出部Ｂ２０５は、探索領域５０４の中で、符号化対象マクロブロックと類似するマクロブロックを探索し、動きベクトルを探索（検出）する。
【００３４】
このように、本実施形態によれば、動きベクトルを検出する際の探索領域を適切に設定することが可能となり、動きベクトルの検出効率を上げることができる。
【００３５】
次に、本発明の第２の実施形態について説明する。図６は、本発明の第２の実施形態に係る撮像装置の構成を示す図であり、特に符号化処理に関連する構成を示している。
【００３６】
図６に示すように、本実施形態に係る撮像装置の符号化処理に関連する構成は、レンズ部６０１、撮像部６０２、イントラ予測部６０３、加算器６０４、直交変換部６０５、量子化部６０６、エントロピー符号化部６０７、逆量子化部６０８、逆直交変換部６０９、デブロッキングフィルタ６１０、フレームメモリ６１１、動き検出部６１２、動き補償部６１３、スイッチ６１４、歪曲収差特性情報格納部６１５である。
【００３７】
レンズ部６０１、イントラ予測部６０３、加算器６０４、直交変換部６０５、量子化部６０６、エントロピー符号化部６０７、逆量子化部６０８、逆直交変換部６０９、デブロッキングフィルタ６１０、フレームメモリ６１１、動き補償部６１３、スイッチ６１４は、図１におけるレンズ部１０１、イントラ予測部１０３、加算器１０４、直交変換部１０５、量子化部１０６、エントロピー符号化部１０７、逆量子化部１０８、逆直交変換部１０９、デブロッキングフィルタ１１０、フレームメモリ１１１、動き補償部１１３、スイッチ１１４と同様の構成であるため、ここでは説明を省略する。
【００３８】
レンズ部６０１に含まれるレンズが可変焦点レンズである場合、歪曲収差特性は、焦点距離によって変わる。レンズ部６０１と接続されている歪曲収差特性情報格納部６１５は、予めレンズの焦点距離に応じてその歪みの割合をテーブル化して保持している。レンズ部６０１は、レンズの焦点距離が変わる度に、歪曲収差特性情報格納部６１５から歪曲収差補正に用いる歪曲収差特性情報を読み出し、撮像部６０２に出力する。
【００３９】
撮像部６０２は、入力画像データとともに歪曲収差特性情報を動き検出部６１２に出力する。動き検出部６１２は、入力された歪曲収差特性情報を用いて入力画像データ、参照画像データに対して歪曲収差を補正する。動き検出部６１２は、歪曲収差を補正した入力画像データと参照画像データとを用いて粗探索の動きベクトルを算出し、算出した動きベクトルに対して歪曲収差を逆補正して最終的な動きベクトルを算出する。
【００４０】
図７は、動き検出部６１２の詳細な構成を示す図である。以下、図７を参照しながら、動き検出部６１２について詳細に説明する。図７に示すように、動き検出部６１２は、画像補正部７０１、動き検出部Ａ７０２、ベクトル補正部７０３、動き検出部Ｂ７０４で構成されている。
【００４１】
動き検出部６１２は、入力画像データ、参照画像データ及び歪曲収差特性情報をそれぞれ入力する。画像補正部７０１は、入力画像データ、参照画像データ及び歪曲収差特性情報を入力し、歪曲収差特性情報を用いて入力画像データ、参照画像データそれぞれの画像データに対して歪曲収差を補正する。次に、画像補正部７０１は、歪曲収差を補正した入力画像データ及び参照画像データを縮小して動き検出部Ａ７０２に出力する。
【００４２】
動き検出部Ａ７０２は、動きベクトルの粗探索を行い、検出した動きベクトルをベクトル補正部７０３に出力する。ベクトル補正部７０３は、入力される歪曲収差特性情報を用いて動きベクトルの逆補正を行い、動き検出部Ｂ７０４に出力する。
【００４３】
動き検出部Ｂ７０４は、ベクトル補正部７０３から出力された動きベクトル、入力画像データ、参照画像データを用いて、動き検出部Ａ７０２より高い精度で動きベクトルを探索（検出）する。動き検出部Ｂ７０４は、探索（検出）された動きベクトルを動き補償部６１３に出力する。
【００４４】
図８は、レンズ部６０１の動作を示すフローチャートである。以下、図８を参照しながら、レンズ部６０１の動作について説明する。
【００４５】
ステップＳ８０１において、レンズ部６０１は、装着されたレンズの種類を判別する。具体的には、可変焦点距離レンズであるか、固定焦点距離レンズであるかが判別される。ステップＳ８０２は、装着されたレンズが可変焦点距離レンズであるか、固定焦点距離レンズであるかに応じて処理を分岐させる制御処理である。即ち、レンズが可変焦点距離レンズである場合、処理はステップＳ８０３に移行する。一方、レンズが固定焦点距離レンズである場合、処理はステップＳ８０３をスキップしてステップＳ８０４に移行する。
【００４６】
ステップ８０３において、レンズ部６０１は、現在の焦点距離を取得する。ステップＳ８０４において、レンズ部６０１は、歪曲収差特性情報を歪曲収差特性情報格納部６１５から取得する。歪曲収差特性情報は、焦点距離をインデックスとして管理されているため、レンズ部６０１は、ステップＳ８０３で取得した焦点距離、又は、固定焦点距離レンズの焦点距離に対応する歪曲収差特性情報を歪曲収差特性情報格納部６１５から取得する。
【００４７】
ステップＳ８０５において、レンズ部６０１は、焦点距離に変更があったか否かを判定する。可変焦点距離レンズが装着されている場合、レンズ部６０１は、ズーム等の操作によって焦点距離が変更されたことを検知する。焦点距離が変更された場合、処理はステップＳ８０３に戻る。一方、焦点距離が変更されていない場合、処理はステップＳ８０６に移行する。ステップＳ８０６において、レンズ部６０１は、歪曲収差補正に用いられる歪曲収差特性情報を動き検出部６１２に出力する。
【００４８】
上述したように歪曲収差特性情報がレンズ部６０１内部に保持されているので、撮像装置本体の歪曲収差特性情報を保持するテーブルのハード規模を低減することができる。また、新たに多種多様なレンズが発売されても、歪曲収差特性情報を更新する必要がないため、ユーザの使い勝手も向上する。本実施形態によれば、動きベクトルを検出する際の探索領域を適切に設定することができ、動きベクトルの検出効率を上げることができる。
【００４９】
以下、本発明の第３の実施形態について説明する。図９は、本発明の第３の実施形態に係る撮像装置の構成を示す図である。以下では、第１、第２の実施形態と異なる点についてのみ説明するものとする。
【００５０】
図９において、９０１は、被写体からの光を集光するレンズ部である。レンズ部９０１は着脱可能な構造を有しており、標準レンズ、望遠レンズ、魚眼レンズ等、様々な種類のレンズが装着されることを想定している。またレンズ部９０１は、制御部９０５と接続されており、レンズ部９０１におけるレンズ種別等を示すレンズ情報を制御部９０５に出力する。９０２は、撮像素子によって構成される撮像部であり、レンズ部９０１で集光された光を撮像し、撮像信号として出力する。９０３は、撮像部９０２から出力された撮像信号をＡ／Ｄ変換し、色マトリクス変換やガンマ補正等の処理を行って、デジタル化された映像信号（入力画像データ）に変換する撮像信号処理部である。
【００５１】
９０４は、ＭＰＥＧ２方式等の符号化方式により、撮像信号処理部９０３から出力される入力画像データを符号化する符号化部である。符号化部９０４は、マクロブロックと呼ばれる１６×１６画素のブロックに入力画像データを分割し、動き補償予測、直交変換を行い、さらにその変換係数を量子化処理し、エントロピー符号化を施して入力画像データの圧縮及び符号化を行っている。
【００５２】
動き補償予測では、直前に符号化された入力画像データを復号することにより得られる画像データ、即ち参照画像データに対する、現在の入力画像データのマクロブロック毎の動きベクトルが探索により求められ、動きベクトルを用いて予測画像データが生成される。１マクロブロックにおける動きベクトルの探索範囲（以下、動き探索範囲と称す）は、一般に、画面上の全てのマクロブロックで同じであるが、本実施形態では、マクロブロック毎に制御部９０５により指示された動き探索範囲を探索するよう構成されている。即ち、制御部９０５は、メモリ９０６から動き探索設定データを読み出し、符号化部９０４に動き探索範囲を設定する。記録部９０７は、以上の手順で圧縮符号化された入力画像データを記録媒体９０８に記録する。なお、動き探索設定データとは、画面上のマクロブロック毎の動き探索範囲を設定するためのデータである。
【００５３】
次に、本実施形態に係る撮像装置の動作について説明する。図９のレンズ部９０１として超広角レンズである魚眼レンズを撮像装置に装着し、図１０に示すような格子状の図柄を撮影すると、図９の撮像信号処理部９０３からは、図１１に示すように画面の中央部は拡大され、周辺部は縮小された画像データが出力される。即ち、装着された魚眼レンズはこのような歪曲収差特性を有している。このような歪曲収差特性のレンズで撮影された画像データを符号化する場合、歪曲収差特性によって画像データが拡大される中央部は動き量が大きいため、通常より動き探索範囲を広くする。動き探索範囲を広くすることで、被写体が大きく動いた場合でも適切な動きベクトルを検出することができ、予測画像データの精度を上げることができる。一方、画像データが縮小される周辺部は動き量が小さいため、通常より動き探索範囲を狭くする。動き探索範囲を狭くすることで、探索の誤検出を防ぐことができる。動き探索範囲を不必要に広くすると、被写体の本来の動きではない動きベクトルが発生し、画質劣化を招く。このように、レンズの歪曲収差特性に合わせて、動き探索範囲を広くしたり、狭くしたりすることで、適切な動きベクトルの探索が可能となる。
【００５４】
メモリ９０６には、動き探索範囲データが予め格納されている。これは、レンズの歪曲率に合わせて定められたデータであって、予めレンズの歪曲収差特性を測定して、エリア毎の拡大・縮小率からマクロブロック毎の動き探索範囲が定められたものである。また、動き探索範囲データには、魚眼レンズ、標準レンズ等のレンズの種別や型番毎に定められた複数のレンズの設定データが格納されている。
【００５５】
魚眼レンズにおける動き探索範囲データの一例を、図１２を用いて説明する。図１２は符号化を行う画像データの領域を示す図であり、個々の小さい四角形はマクロブロックに相当する。図１２に示すように、メモリ９０６には、マクロブロック毎に歪曲収差の度合いに応じて定められた動き探索範囲データであるａ〜ｆが格納されている。ａ〜ｆの実際の値は、動き探索範囲を示す長方形の横サイズＸと縦サイズＹであって、例えば図１３に示すような値である。図１３の例においては、aが最も動き探索範囲が広く、ｂ、ｃ、ｄ、ｅ、ｆの順で動き探索範囲が狭くなる値である。即ち、画像データが拡大されて動き量が大きくなる中央部では広い動き探索範囲を示す値となり、画像データが縮小されて動き量が小さい周辺部にいく程、徐々に狭くした動き探索範囲を示す値となっている。なお、魚眼レンズ以外のレンズ、例えば標準レンズのように歪曲歪みがほとんどないレンズにおいては、画面全体が同一の動き探索範囲データとなる。
【００５６】
また、上記では、動き探索範囲の形状は横方向サイズＸ、縦方向サイズＹの長方形としたが、本発明はこれに限定されるものではない。レンズの歪曲収差による画像の歪みに合わせて、例えば、長方形以外の四角形であってもよいし、円形、楕円形であってもよい。その例を以下に説明する。
【００５７】
図１４は、格子柄を魚眼レンズによって撮影した画像データを示している。このように変形した格子柄に合わせて、例えば斜線で示した１４０１〜１４０５の領域に対しては、それぞれ図１５（ａ）〜（ｅ）の形状の動き探索範囲とする。このように変形した形状と同じ動き探索範囲の形状とすることで、歪曲収差によって歪む前の画面全体に対して同一の形状の動き探索範囲を設定したことに相当する。
【００５８】
図９の説明に戻る。制御部９０５は、レンズ部９０１と接続されており、レンズ部９０１よりレンズ種別を示すレンズ情報を取得する。制御部９０５は、レンズ情報によってレンズ種別を特定し、該当する動き探索範囲データをメモリ９０６より読み出して、符号化部９０４に動き探索範囲を設定する。これにより、レンズ部９０１に歪曲収差特性の異なるレンズが装着された場合であっても、レンズの歪曲収差特性に一致した動き探索範囲データを符号化部９０４に設定することができる。符号化部９０４は、設定された動き探索範囲に従って、動きベクトルの探索を行う。
【００５９】
以上のように、第３の実施形態においては、レンズの歪曲収差特性に応じて動き探索範囲の広さをマクロブロック毎に設定できるので、適切な動きベクトルの探索を行うことができ、高画質な符号化を行うことが可能となる。なお、本実施形態において動き探索範囲を設定する処理、設定された動き探索範囲で動きベクトルを探索する処理は、図２、図７では、動き検出部Ｂ２０５、７０４によって実行される処理である。
【００６０】
次に、本発明の第４の実施形態について説明する。図１６は、本発明の第４の実施形態に係る撮像装置の構成を示す図である。
【００６１】
図１６において、撮像部１６０２、撮像信号処理部１６０３、符号化部１６０４、記録部１６０７、記録媒体１６０８は、図９の撮像部９０２、撮像信号処理部９０３、符号化部９０４、記録部９０７、記録媒体９０８と同様の構成であるため、説明は省略する。
【００６２】
１６０１は、被写体からの光を集光するレンズ部である。レンズ部１６０１は、着脱可能な構造を有しており、標準レンズ、望遠レンズ、魚眼レンズ等、様々な種類のレンズが装着されることを想定している。また、レンズ部１６０１内にはメモリ１６０６が内蔵されている。メモリ１６０６は図９のメモリ９０６に相当し、レンズ部１６０１の歪曲収差に合わせて定められた動き探索設定データが格納されている。但し、図９のメモリ９０６は、複数のレンズ種別の動き探索設定データが格納されているのに対し、メモリ１６０６には、レンズ部１６０１に対応する動き探索設定データのみが格納されている。
【００６３】
制御部１６０５は、レンズ部１６０１内のメモリ１６０６と接続されており、動き探索設定データを読み出して、動き探索範囲を符号化部１６０４に設定する。符号化部１６０４は、設定された動き探索範囲に従って、動きベクトルを探索する。
【００６４】
第４の実施形態においては、レンズ内に動き探索設定データが格納されているため、レンズが撮像装置本体よりも後に提供されるような場合であっても、レンズの歪曲収差特性に一致した動き探索設定で動きベクトルの探索を行うことが可能となる。
【００６５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６６】
１０１：レンズ部、１０２：撮像部、１０３：イントラ予測部、１０４：加算器、１０５：直交変換部、１０６：量子化部、１０７：エントロピー符号化部、１０８：逆量子化部、１０９：逆直交変換部、１１０：デブロッキングフィルタ、１１１：フレームメモリ、１１２：動き検出部、１１３：動き補償部、１１４：スイッチ
【特許請求の範囲】
【請求項１】
レンズを介して入射される被写体像から画像データを生成する撮像手段と、
前記レンズの歪曲収差特性に応じて、前記撮像手段により第１の時点に生成された画像データに対応する参照画像データに含まれる歪曲収差と、前記撮像手段により前記第１の時点より後の第２の時点に生成された画像データに含まれる歪曲収差とをそれぞれ補正する画像補正手段と、
前記画像補正手段により歪曲収差が補正された前記参照画像データと前記画像データとに基づいて、動きベクトルを検出する第１の検出手段と、
前記レンズの歪曲収差特性に応じて、前記第１の検出手段により検出された動きベクトルに含まれる前記画像補正手段による歪曲収差補正により生じた誤差成分を補正するベクトル補正手段と、
前記ベクトル補正手段により補正された動きベクトルに基づいて動きベクトルの探索範囲を設定し、当該探索範囲で動きベクトルを検出する第２の検出手段とを有することを特徴とする撮像装置。
【請求項２】
前記レンズに係る情報を入力する入力手段を更に有し、
前記画像補正手段及び前記ベクトル補正手段のうちの少なくとも何れか一方は、前記入力手段により入力される前記レンズに係る情報に応じて歪曲収差の補正方法を制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記レンズに係る情報は、前記レンズの種類及び前記レンズの焦点距離のうちの少なくとも何れか一方を含むことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記レンズの歪曲収差特性を示す情報を入力する入力手段を更に有し、
前記画像補正手段及び前記ベクトル補正手段のうちの少なくとも何れか一方は、前記入力手段により入力される前記レンズの歪曲収差特性を示す情報に応じて歪曲収差の補正方法を制御することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記第２の検出手段は、前記レンズの歪曲収差特性に応じて、前記動きベクトルの探索範囲の広さを設定することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記第２の検出手段は、前記レンズの歪曲収差特性に応じて、通常より画像データが拡大される領域では前記動きベクトルの探索範囲を通常より広く設定し、通常より画像データが縮小される領域では前記動きベクトルの探索範囲を通常より狭く設定することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第２の検出手段は、前記レンズである魚眼レンズの歪曲収差特性に応じて、画像データの中央部では前記動きベクトルの探索範囲を通常より広く設定し、画像データの周辺部では前記動きベクトルの探索範囲を通常より狭く設定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記第２の検出手段は、前記レンズの歪曲収差特性に応じて変形される各領域に対応する形状で前記探索範囲を設定することを特徴とする請求項５に記載の撮像装置。
【請求項９】
レンズを介して入射される被写体像から画像データを生成する撮像手段を有する撮像装置の制御方法であって、
前記レンズの歪曲収差特性に応じて、前記撮像手段により第１の時点に生成された画像データに対応する参照画像データに含まれる歪曲収差と、前記撮像手段により前記第１の時点より後の第２の時点に生成された画像データに含まれる歪曲収差とをそれぞれ補正する画像補正ステップと、
前記画像補正ステップにより歪曲収差が補正された前記参照画像データと前記画像データとに基づいて、動きベクトルを検出する第１の検出ステップと、
前記レンズの歪曲収差特性に応じて、前記第１の検出ステップにより検出された動きベクトルに含まれる前記画像補正ステップによる歪曲収差補正により生じた誤差成分を補正するベクトル補正ステップと、
前記ベクトル補正ステップにより補正された動きベクトルに基づいて動きベクトルの探索範囲を設定し、当該探索範囲で動きベクトルを検出する第２の検出ステップとを含むことを特徴とする撮像装置の制御方法。
【請求項１０】
レンズを介して入射される被写体像から画像データを生成する撮像手段を有する撮像装置の機能をコンピュータに実行させるためのプログラムであって、
前記レンズの歪曲収差特性に応じて、前記撮像手段により第１の時点に生成された画像データに対応する参照画像データに含まれる歪曲収差と、前記撮像手段により前記第１の時点より後の第２の時点に生成された画像データに含まれる歪曲収差とをそれぞれ補正する画像補正ステップと、
前記画像補正ステップにより歪曲収差が補正された前記参照画像データと前記画像データとに基づいて、動きベクトルを検出する第１の検出ステップと、
前記レンズの歪曲収差特性に応じて、前記第１の検出ステップにより検出された動きベクトルに含まれる前記画像補正ステップによる歪曲収差補正により生じた誤差成分を補正するベクトル補正ステップと、
前記ベクトル補正ステップにより補正された動きベクトルに基づいて動きベクトルの探索範囲を設定し、当該探索範囲で動きベクトルを検出する第２の検出ステップとをコンピュータに実行させるためのプログラム。
【請求項１】
レンズを介して入射される被写体像から画像データを生成する撮像手段と、
前記レンズの歪曲収差特性に応じて、前記撮像手段により第１の時点に生成された画像データに対応する参照画像データに含まれる歪曲収差と、前記撮像手段により前記第１の時点より後の第２の時点に生成された画像データに含まれる歪曲収差とをそれぞれ補正する画像補正手段と、
前記画像補正手段により歪曲収差が補正された前記参照画像データと前記画像データとに基づいて、動きベクトルを検出する第１の検出手段と、
前記レンズの歪曲収差特性に応じて、前記第１の検出手段により検出された動きベクトルに含まれる前記画像補正手段による歪曲収差補正により生じた誤差成分を補正するベクトル補正手段と、
前記ベクトル補正手段により補正された動きベクトルに基づいて動きベクトルの探索範囲を設定し、当該探索範囲で動きベクトルを検出する第２の検出手段とを有することを特徴とする撮像装置。
【請求項２】
前記レンズに係る情報を入力する入力手段を更に有し、
前記画像補正手段及び前記ベクトル補正手段のうちの少なくとも何れか一方は、前記入力手段により入力される前記レンズに係る情報に応じて歪曲収差の補正方法を制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記レンズに係る情報は、前記レンズの種類及び前記レンズの焦点距離のうちの少なくとも何れか一方を含むことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記レンズの歪曲収差特性を示す情報を入力する入力手段を更に有し、
前記画像補正手段及び前記ベクトル補正手段のうちの少なくとも何れか一方は、前記入力手段により入力される前記レンズの歪曲収差特性を示す情報に応じて歪曲収差の補正方法を制御することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記第２の検出手段は、前記レンズの歪曲収差特性に応じて、前記動きベクトルの探索範囲の広さを設定することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記第２の検出手段は、前記レンズの歪曲収差特性に応じて、通常より画像データが拡大される領域では前記動きベクトルの探索範囲を通常より広く設定し、通常より画像データが縮小される領域では前記動きベクトルの探索範囲を通常より狭く設定することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第２の検出手段は、前記レンズである魚眼レンズの歪曲収差特性に応じて、画像データの中央部では前記動きベクトルの探索範囲を通常より広く設定し、画像データの周辺部では前記動きベクトルの探索範囲を通常より狭く設定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記第２の検出手段は、前記レンズの歪曲収差特性に応じて変形される各領域に対応する形状で前記探索範囲を設定することを特徴とする請求項５に記載の撮像装置。
【請求項９】
レンズを介して入射される被写体像から画像データを生成する撮像手段を有する撮像装置の制御方法であって、
前記レンズの歪曲収差特性に応じて、前記撮像手段により第１の時点に生成された画像データに対応する参照画像データに含まれる歪曲収差と、前記撮像手段により前記第１の時点より後の第２の時点に生成された画像データに含まれる歪曲収差とをそれぞれ補正する画像補正ステップと、
前記画像補正ステップにより歪曲収差が補正された前記参照画像データと前記画像データとに基づいて、動きベクトルを検出する第１の検出ステップと、
前記レンズの歪曲収差特性に応じて、前記第１の検出ステップにより検出された動きベクトルに含まれる前記画像補正ステップによる歪曲収差補正により生じた誤差成分を補正するベクトル補正ステップと、
前記ベクトル補正ステップにより補正された動きベクトルに基づいて動きベクトルの探索範囲を設定し、当該探索範囲で動きベクトルを検出する第２の検出ステップとを含むことを特徴とする撮像装置の制御方法。
【請求項１０】
レンズを介して入射される被写体像から画像データを生成する撮像手段を有する撮像装置の機能をコンピュータに実行させるためのプログラムであって、
前記レンズの歪曲収差特性に応じて、前記撮像手段により第１の時点に生成された画像データに対応する参照画像データに含まれる歪曲収差と、前記撮像手段により前記第１の時点より後の第２の時点に生成された画像データに含まれる歪曲収差とをそれぞれ補正する画像補正ステップと、
前記画像補正ステップにより歪曲収差が補正された前記参照画像データと前記画像データとに基づいて、動きベクトルを検出する第１の検出ステップと、
前記レンズの歪曲収差特性に応じて、前記第１の検出ステップにより検出された動きベクトルに含まれる前記画像補正ステップによる歪曲収差補正により生じた誤差成分を補正するベクトル補正ステップと、
前記ベクトル補正ステップにより補正された動きベクトルに基づいて動きベクトルの探索範囲を設定し、当該探索範囲で動きベクトルを検出する第２の検出ステップとをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１６０８８６（Ｐ２０１２−１６０８８６Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−１８８２８（Ｐ２０１１−１８８２８）
【出願日】平成２３年１月３１日（２０１１．１．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年１月３１日（２０１１．１．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]