画像処理装置、画像処理方法、およびプログラム
【課題】フォーカルプレーン歪みを補正することが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】フレーム画像からなる動画像を示す画像信号と、撮像における遅延時間を示す遅延時間情報とに基づいて、複数のフレーム画像から動画像に含まれる被写体の動きを検出する動き検出部と、画像信号と、検出された被写体の動きを示す動き情報とに基づいて、画像信号を補正する補正部とを備える画像処理装置が提供される。
【解決手段】フレーム画像からなる動画像を示す画像信号と、撮像における遅延時間を示す遅延時間情報とに基づいて、複数のフレーム画像から動画像に含まれる被写体の動きを検出する動き検出部と、画像信号と、検出された被写体の動きを示す動き情報とに基づいて、画像信号を補正する補正部とを備える画像処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、例えば、デジタルスチルカメラや、携帯電話などの通信装置など、様々な機器に動画像を撮像可能な撮像機能が搭載されており、ユーザが動画像を撮像する機会は増えている。ここで、上記撮像機能が、例えばローリングシャッター方式によって実現される場合、すなわち、ラインごとに順次撮像を行う撮像素子によって撮像が行われる場合には、フォーカルプレーン歪みとよばれる歪みが動画像に発生することが起こりうる。
【０００３】
このような中、動画像に生じうる歪みを低減する技術が開発されている。動画像に生じうる歪みを低減する技術としては、例えば、特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１４８４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば特許文献１に示す動画像に生じうる歪みを低減する従来の技術（以下、単に「従来の技術」と示す場合がある。）は、フォーカルプレーン歪みが生じていた場合には、動画像を構成する時間的に連続する２つのフレーム画像の情報を混合する。よって、従来の技術を用いることによって、動画像に生じているフォーカルプレーン歪みを低減することができる可能性がある。
【０００６】
ここで、従来の技術では、例えば、単純な線形補間によって２つのフレーム画像の情報を混合し、補間の比率をラインごとに変えている。しかしながら、従来の技術では、補間を行う際に２つのフレーム画像の同じ位置の画素に対応する画像信号を用いて線形補間をしているので、動画像に含まれる被写体の動きに基づく精度の高い補間を行うことは、困難である。よって、従来の技術を用いたとしても、フォーカルプレーン歪みを十分に低減することができない恐れがある。
【０００７】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、フォーカルプレーン歪みを補正することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の第１の観点によれば、フレーム画像からなる動画像を示す画像信号と、撮像における遅延時間を示す遅延時間情報とに基づいて、複数の上記フレーム画像から上記動画像に含まれる被写体の動きを検出する動き検出部と、上記画像信号と、検出された被写体の動きを示す動き情報とに基づいて、上記画像信号を補正する補正部と、を備える画像処理装置が提供される。
【０００９】
かかる構成により、フォーカルプレーン歪みを補正することができる。
【００１０】
また、ラインごとに順次撮像を行う撮像素子を有する撮像装置の撮像パラメータに基づいて、上記遅延時間を画素ごとに算出する遅延時間算出部をさらに備えてもよい。
【００１１】
また、上記動き検出部は、上記遅延時間情報に基づいて上記動画像が撮像されたときの時間位相を特定し、特定された上記時間位相に基づいて画素ごとに上記被写体の動きを検出してもよい。
【００１２】
また、上記動き検出部は、上記遅延時間情報に基づき特定された上記時間位相を調整してもよい。
【００１３】
また、上記動き検出部は、上記遅延時間情報に基づいて、複数の上記フレーム画像それぞれを参照する比率を示す参照比率を算出する参照比率算出部と、算出された参照比率に基づいて上記被写体の動きを検出する第１検出部と、を備えてもよい。
【００１４】
また、上記動き検出部は、上記画像信号に基づいて上記被写体の動きを検出する第２検出部と、上記第１検出部において検出された動きを示す動き情報と、上記画像信号と、上記遅延時間情報とに基づいて、上記被写体の動きを再検出する第３検出部と、を備えてもよい。
【００１５】
また、上記補正部は、１または２以上の動き情報に基づいて、上記画像信号を補正してもよい。
【００１６】
また、上記動き情報には、複数の上記フレーム画像それぞれを参照する比率を示す参照比率が含まれてもよい。
【００１７】
また、上記撮像パラメータを取得するパラメータ取得部をさらに備えてもよい。
【００１８】
また、上記パラメータ取得部は、上記撮像装置を識別する識別情報を、上記画像信号、または、上記識別情報を記憶する記録媒体から取得し、上記識別情報と上記撮像パラメータとが対応付けられたデータベースから、取得した上記識別情報に対応する上記撮像パラメータを取得してもよい。
【００１９】
また、上記パラメータ取得部は、上記動き検出部が検出した動き情報に基づいて、上記撮像パラメータを推定して上記撮像パラメータを取得してもよい。
【００２０】
また、上記パラメータ取得部は、上記画像信号から上記撮像パラメータを取得してもよい。
【００２１】
また、上記動画像を撮像する撮像部をさらに備えてもよい。
【００２２】
また、上記目的を達成するために、本発明の第２の観点によれば、フレーム画像からなる動画像を示す画像信号と、撮像における遅延時間を示す遅延時間情報とに基づいて、複数の上記フレーム画像から上記動画像に含まれる被写体の動きを検出するステップと、
上記画像信号と、検出された被写体の動きを示す動き情報とに基づいて、上記画像信号を補正するステップと、を有する画像処理方法が提供される。
【００２３】
かかる方法を用いることにより、フォーカルプレーン歪みを補正することができる。
【００２４】
また、上記目的を達成するために、本発明の第３の観点によれば、フレーム画像からなる動画像を示す画像信号と、撮像における遅延時間を示す遅延時間情報とに基づいて、複数の上記フレーム画像から上記動画像に含まれる被写体の動きを検出するステップ、上記画像信号と、検出された被写体の動きを示す動き情報とに基づいて、上記画像信号を補正するステップ、をコンピュータに実行させるためのプログラムが提供される。
【００２５】
かかるプログラムを用いることにより、フォーカルプレーン歪みを補正することができる。
【発明の効果】
【００２６】
本発明によれば、フォーカルプレーン歪みを補正することができる。
【図面の簡単な説明】
【００２７】
【図１】フォーカルプレーン歪みについて説明するための説明図である。
【図２】フォーカルプレーン歪みについて説明するための説明図である。
【図３】フォーカルプレーン歪みについて説明するための説明図である。
【図４】フォーカルプレーン歪みについて説明するための説明図である。
【図５】本発明の実施形態に係る画像処理方法の概要を示す説明図である。
【図６】本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図７】本発明の実施形態に係る動き情報に基づく撮像パラメータの推定方法の一例を説明するための説明図である。
【図８】本発明の実施形態に係る画像処理装置における遅延時間の算出方法の一例を説明するための説明図である。
【図９】本発明の実施形態に係る画像処理装置が備える動き検出部の第１の構成例における処理の概要を示す説明図である。
【図１０】本発明の実施形態に係る画像処理装置が備える動き検出部の第１の構成例を示すブロック図である。
【図１１】本発明の実施形態に係る画像処理装置が備える、第１の構成例に係る動き検出部における参照比率の算出処理の一例を説明するための説明図である。
【図１２】本発明の実施形態に係る画像処理装置が備える、第１の構成例に係る動き検出部における参照比率の算出処理の他の例を説明するための説明図である。
【図１３】本発明の実施形態に係る撮像における遅延時間の他の例を説明するための説明図である。
【図１４】本発明の実施形態に係る撮像における遅延時間の他の例を説明するための説明図である。
【図１５】本発明の実施形態に係る画像処理装置が備える、第１の構成例に係る動き検出部における参照比率の算出処理の他の例を説明するための説明図である。
【図１６】本発明の実施形態に係る画像処理装置が備える、第１の構成例に係る動き検出部における動き検出処理の一例を説明するための説明図である。
【図１７】本発明の実施形態に係る画像処理装置が備える動き検出部の第２の構成例における処理の概要を示す説明図である。
【図１８】本発明の実施形態に係る画像処理装置が備える動き検出部の第２の構成例を示すブロック図である。
【図１９】本発明の実施形態に係る画像処理装置１００が備える、第２の構成例に係る動き検出部における参照比率の算出処理の一例を説明するための説明図である。
【図２０】本発明の実施形態に係る画像処理装置が備える、第２の構成例に係る動き検出部における参照比率の算出処理の過程において生じうる問題の一例を示す説明図である。
【図２１】本発明の実施形態に係る画像処理装置が備える、第２の構成例に係る動き検出部における参照比率の算出処理の他の例を説明するための説明図である。
【図２２】本発明の実施形態に係る画像処理装置が備える補正部における処理の一例を示す説明図である。
【図２３】本発明の実施形態に係る画像処理装置における処理結果の一例を示す説明図である。
【発明を実施するための形態】
【００２８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２９】
また、以下では、下記に示す順序で説明を行う。
１．本発明の実施形態に係る画像処理方法
２．本発明の実施形態に係る画像処理装置
３．本発明の実施形態に係るプログラム
【００３０】
（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理装置（以下、「画像処理装置１００」と示す場合がある。）の構成について説明する前に、本発明の実施形態に係る画像処理方法の概要について説明する。以下では、画像処理装置１００が、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００３１】
また、以下では、画像処理装置１００が、フレーム画像からなる動画像を示す画像信号を処理するものとして説明する。また、以下では、画像処理装置１００が処理する画像信号が示す各フレーム画像を「入力画像」と示し、画像信号を補正することにより得られる画像を「補正画像」と示す場合がある。
【００３２】
ここで、本発明の実施形態に係る画像信号としては、例えば撮像者が撮像装置を用いて撮像することにより得られた動画像を示す信号（アナログ信号／デジタル信号）が挙げられるが、本発明の実施形態に係る画像信号は、上記に限られない。例えば、本発明の実施形態に係る画像信号は、乗り物などに搭載された撮像装置によって撮像された動画像や、いわゆる防犯カメラなどのように固定の場所に設置された撮像装置によって撮像された動画像を示す信号であってもよい。
【００３３】
また、本発明の実施形態に係る画像信号としては、例えば、画像処理装置１００がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号が挙げられる。また、画像処理装置１００は、例えば、ネットワークを介して（または直接的に）外部装置から送信された画像信号を処理することも可能である。また、画像処理装置１００は、例えば、記憶部（後述する）や、画像処理装置１００から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を処理してもよい。さらに、画像処理装置１００が動画像を撮像することが可能な撮像部（上記撮像装置に対応するデバイス。後述する）を備えている場合、すなわち、画像処理装置１００が撮像装置として機能する場合には、画像処理装置１００は、例えば、当該撮像部により撮像された動画像に対応する画像信号を処理してもよい。
【００３４】
［フォーカルプレーン歪みについて］
まず、本発明の実施形態に係る画像処理装置１００が、補正の対象とするフォーカルプレーン歪みについて説明する。図１〜図４は、フォーカルプレーン歪みについて説明するための説明図である。
【００３５】
撮像装置のイメージセンサを構成する複数の撮像素子として例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）が用いられる場合には、ローリングシャッター方式（ライン露光順次読み出し方式）が採用されることが多い。ここで、ローリングシャッター方式とは、例えば、撮像素子の左上からラスタ順に露光し、データを転送する方式である。ローリングシャッター方式が用いられる場合には、撮像装置では、ライン（例えば水平方向のライン）ごとに順次撮像が行われる。よって、例えばローリングシャッター方式のようにラインごとに順次撮像が行われる場合には、例えば図１に示すように、同一フレーム内にラインごとに異なる時間のフレーム画像が取り込まれる。
【００３６】
図１に示すように同一フレーム内にラインごとに異なる時間のフレーム画像が取り込まれる結果、例えば、左から右へと移動する矩形の物体（移動体。被写体の一例）をＣＭＯＳの撮像素子を用いて動画像を撮像した場合には、当該物体は、例えば図２に示すように、平行四辺形の物体としてフレーム画像に表されることとなる。また、例えば、上から下へと移動する矩形の物体（移動体）をＣＭＯＳの撮像素子を用いて動画像を撮像した場合には、当該物体は、実際の物体よりも縦長の物体としてフレーム画像に表されることとなる。例えば上記のように、動画像において撮像された物体（以下、「被写体」と示す。）に生じる歪みが、本発明の実施形態に係る「フォーカルプレーン歪み」である。
【００３７】
なお、フォーカルプレーン歪みは、上記のように撮像される物体が動く場合に生じることに限られず、例えば、撮像装置が動く場合にも、生じうる。例えば、図３のＡ〜Ｄは、撮像装置が動いた場合（例えば撮像装置がパン、チルトする場合）において生じうるフォーカルプレーン歪みの一例を示している。つまり、図２、図３に示すように、フォーカルプレーン歪みは、撮像素子に対して被写体が相対的に動いている場合に発生しうる。
【００３８】
一方、撮像装置のイメージセンサを構成する複数の撮像素子として例えばＣＣＤ（Charge Coupled Device）が用いられる場合には、グローバルシャッター方式（同時露光一括読み出し方式）が採用される。ここで、グローバルシャッター方式とは、例えば図４に示すように、同一フレーム内のデータを同時に転送する方式である。よって、グローバルシャッター方式が用いられる場合には、フォーカルプレーン歪みは発生しない。
【００３９】
上記のように、例えば、撮像装置が有する撮像機能を、ＣＣＤのようなグローバルシャッター方式を実現可能な撮像素子で実現する場合には、フォーカルプレーン歪みの発生自体を防止することが可能である。しかしながら、ＣＭＯＳの撮像素子は、ＣＣＤの撮像素子と比較して、例えば、省電力であり、高速な読み出しが可能であり、コストが低いという利点があるため、普及が進む多くの撮像装置では、ＣＭＯＳが撮像素子として用いられている。よって、例えば再生された動画像の高画質化を図るために、フォーカルプレーン歪みの発生自体を防止するのではなく、発生しうるフォーカルプレーン歪みを補正により低減することが、望まれている。
【００４０】
ここで、フォーカルプレーン歪みを補正により低減する一の方法としては、例えば、撮像装置が備えるセンサにより検出された動き情報を用いてフォーカルプレーン歪みを補正することが挙げられる。しかしながら、上記の方法を用いる場合には、例えば、動画像を撮像した撮像装置の動きを示すカメラワークによって生じたグローバルな歪みしか補正できない。
【００４１】
また、上述したように、従来の技術を用いたとしても、フォーカルプレーン歪みを十分に低減することができない恐れがある。
【００４２】
［本発明の実施形態に係る画像処理方法の概要］
そこで、本発明の実施形態に係る画像処理装置１００は、撮像における遅延時間を考慮して複数のフレーム画像から動画像に含まれる被写体の動きを検出する。そして、画像処理装置１００は、検出された動きに基づき画像信号を補正することによって、検出された動きを補償する。
【００４３】
ここで、画像処理装置１００は、撮像における遅延時間を考慮しているので、ローカルな動きから画素ごとに歪みを補正することができる。画像処理装置１００が、上記のように撮像における遅延時間を考慮して画像信号の補正を行うことによって、グローバルな歪み、ローカルな歪みのどちらにも対応することが可能である。つまり、画像処理装置１００が上記のように撮像における遅延時間を考慮して画像信号の補正を行うことによって、画像処理装置１００は、動画像における動きが、例えばカメラワークであっても物体（被写体）の動きであっても、当該動きを補償することができる。よって、本発明の実施形態に係る画像処理装置１００が検出する動画像に含まれる被写体の動きには、物体（被写体）自体の動きに限られず、カメラワークも含まれる。
【００４４】
したがって、画像処理装置１００は、動画像において発生しうるフォーカルプレーン歪みを補正することができる。
【００４５】
ここで、画像処理装置１００は、例えば、撮像装置の撮像パラメータに基づいて撮像における遅延時間を画素ごとに算出することや、撮像における遅延時間を示す遅延時間情報（遅延時間データ）を取得することによって、遅延時間を特定する。本発明の実施形態に係る撮像パラメータとは、例えば、ライン（例えば水平方向のライン。以下、同様とする。）ごとに順次撮像を行う撮像素子を有する撮像装置における撮像の特性を示す値である。撮像パラメータとしては、例えば、画素ごとの露光と読み出しとに係る遅延時間を示す値（以下、「遅延時間Ｒｐｉｘ」と示す場合がある。）と、ラインごとの遅延時間を示す値（以下、「遅延時間Ｒｌｉｎｅ」と示す場合がある。）とが挙げられる。
【００４６】
また、本発明の実施形態に係る撮像における遅延時間とは、例えば、画素ごとの露光、読み出しの遅延時間である。ここで、フレーム画像における任意の位置（例えば、画素の座標で表される。）における遅延時間は、例えば、上記撮像パラメータを用いて算出される。また、画像処理装置１００は、例えば、取得された遅延時間情報からフレーム画像における任意の位置における遅延時間を特定してもよい。なお、本発明の実施形態に係る遅延時間の算出方法の一例については、後述する。
【００４７】
図５は、本発明の実施形態に係る画像処理方法の概要の一例を示す説明図である。例えば図５に示すように、画像処理装置１００は、複数のフレーム画像（入力画像）に基づき補正画像を生成することによって、発生しうるフォーカルプレーン歪みを補正する。
【００４８】
以下、本発明の実施形態に係る画像処理装置１００の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。以下では、画像処理装置１００が撮像パラメータに基づいて撮像における遅延時間を算出する場合を主に例に挙げて、本発明の実施形態に係る画像処理装置１００の構成の一例、および本発明の実施形態に係る画像処理方法に係る処理の具体例について説明する。また、以下では、画像処理装置１００に入力される画像信号、すなわち、処理対象の画像信号を、「入力画像信号」と示す場合がある。
【００４９】
（本発明の実施形態に係る画像処理装置）
図６は、本発明の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、パラメータ取得部１０２と、遅延時間算出部１０４と、動き検出部１０６と、補正部１０８とを備える。
【００５０】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory；図示せず）、ＲＡＭ（Random Access Memory；図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。
【００５１】
ここで、制御部（図示せず）は、例えば、ＭＰＵ（Micro Processing Unit）や、各種処理回路などで構成され画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、パラメータ取得部１０２、遅延時間算出部１０４、動き検出部１０６、および補正部１０８の役目を果たしてもよい。また、制御部（図示せず）は、例えば、補正部１０８が処理を行った画像信号（出力画像信号）をエンコードして、記憶部（図示せず）に記録する、および／または、当該画像信号が示す画像を表示部（図示せず）や外部表示装置の表示画面に表示させるなど、本発明の実施形態に係る画像処理方法に係る処理が行われた画像信号に対する処理を行う役目を果たしてもよい。
【００５２】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００５３】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００５４】
操作部（図示せず）としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。
【００５５】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。
【００５６】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００５７】
以下、図６に示す本発明の実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００５８】
パラメータ取得部１０２は、撮像パラメータを取得する。
【００５９】
［撮像パラメータの取得処理の一例］
（ｉ）第１の例
パラメータ取得部１０２は、撮像装置を識別する識別情報を、例えば、入力画像信号、または、識別情報を記憶する記録媒体から取得する。そして、パラメータ取得部１０２は、例えば、識別情報と撮像パラメータとが対応付けられたデータベースから、取得した識別情報に対応する撮像パラメータを取得する。
【００６０】
ここで、入力画像信号からの識別情報の取得方法としては、例えば、パラメータ取得部１０２が、入力画像信号に含まれている（または入力画像信号に埋め込まれている）メタデータやすかしなどをデコードする（または、デコーダなどにデコードさせる）ことが挙げられる。本発明の実施形態に係る識別情報としては、例えば、撮像装置の機種を示す型番が挙げられるが、撮像装置を識別することが可能な情報であれば、任意の情報を識別情報とすることが可能である。
【００６１】
また、パラメータ取得部１０２は、例えば記憶部（図示せず）に記憶されるデータベースから識別情報に対応する撮像パラメータを取得するが、パラメータ取得部１０２における処理は、上記に限られない。例えば、パラメータ取得部１０２は、例えばサーバなどの外部装置から、識別情報に対応する撮像パラメータを取得してもよい。ここで、外部装置から撮像パラメータを取得する場合には、パラメータ取得部１０２は、例えば通信部（図示せず）を介して外部装置と通信を行い、識別情報と撮像パラメータの送信を要求する送信要求とを当該外部装置に送信することによって、撮像パラメータを取得する。なお、画像処理装置１００では、例えば、パラメータ取得部１０２が通信機能を有していてもよい。上記の場合には、画像処理装置１００が通信部（図示せず）を備えているか否かによらず、パラメータ取得部１０２が、外部装置と通信を行って撮像パラメータを取得することとなる。
【００６２】
また、識別情報を記憶する記録媒体としては、例えば、記憶部（図示せず）やＲＯＭ（図示せず）が挙げられるが、識別情報を記憶する記録媒体は、上記に限られない。例えば、識別情報を記憶する記録媒体は、画像処理装置１００から着脱可能な外部記録媒体であってもよい。上記外部記録媒体としては、例えばフラッシュメモリなどの不揮発性メモリが挙げられる。ここで、上記記録媒体に記録される識別情報は、例えば、予め記録されたものであってもよいし、ユーザ操作に応じて記録されるものであってもよい。
【００６３】
（ｉｉ）第２の例
パラメータ取得部１０２は、例えば、入力画像信号から撮像パラメータを取得することも可能である。ここで、入力画像信号からの撮像パラメータの取得方法としては、例えば、パラメータ取得部１０２が、入力画像信号に含まれている（または入力画像信号に埋め込まれている）メタデータやすかしなどをデコードする（または、デコーダなどにデコードさせる）ことが挙げられる。
【００６４】
（ｉｉｉ）第３の例
本発明の実施形態に係るパラメータ取得部１０２における撮像パラメータの取得処理は、上記第１の例、第２の例に限られない。例えば、パラメータ取得部１０２は、検出された被写体の動きを示す動き情報に基づいて、撮像パラメータを推定し、推定された撮像パラメータを、撮像パラメータとして取得してもよい。
【００６５】
図７は、本発明の実施形態に係る動き情報に基づく撮像パラメータの推定方法の一例を説明するための説明図である。例えば図７のＡに示すようにフォーカルプレーン歪みが生じている場合、フレーム画像における最初に撮像が行われたラインと最後に撮像が行われたラインとには、速さにずれ時間Δｔが生じる。画像処理装置１００は、例えば、上記ずれ時間Δｔとライン数とに基づいて遅延時間Ｒｌｉｎｅを推定する。より具体的には、画像処理装置１００は、例えば、“Δｔ／ライン数”の演算を行うことによって、遅延時間Ｒｌｉｎｅを推定する。なお、本発明の実施形態に係る撮像パラメータの推定方法は、上記に限られない。例えば、画像処理装置１００は、歪みを示す任意の情報から撮像パラメータを推定してもよい。
【００６６】
再度図６を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。パラメータ取得部１０２は、例えば上記第１の例〜第３の例に示す処理を行うことによって、撮像パラメータを取得する。なお、本発明の実施形態に係るパラメータ取得部１０２における撮像パラメータの取得処理が、上記第１の例〜第３の例に示す処理に限られないことは、言うまでもない。
【００６７】
また、パラメータ取得部１０２は、例えば、上記のような撮像パラメータの取得処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、パラメータ取得部１０２の構成は、上記に限られない。例えば、画像処理装置１００では制御部（図示せず）がパラメータ取得部１０２の役目を果たしてもよく、また、パラメータ取得部１０２は、他の処理も可能な汎用の処理回路であってもよい。
【００６８】
なお、図６では、画像処理装置１００がパラメータ取得部１０２を備えている構成を示しているが、本発明の実施形態に係る画像処理装置１００の構成は、上記に限られない。例えば、画像処理装置１００は、パラメータ取得部１０２を備えず、画像処理装置１００とは別体のパラメータ取得装置において取得された撮像パラメータを用いて処理を行うことも可能である。
【００６９】
また、図６では、画像処理装置１００が撮像パラメータを取得するパラメータ取得部１０２を備える例を示したが、本発明の実施形態に係る画像処理装置１００の構成は、上記に限られない。例えば、画像処理装置１００は、遅延時間情報を取得する遅延時間情報取得部（図示せず）をパラメータ取得部１０２の代わりに備えていてもよい。ここで、遅延時間情報取得部（図示せず）は、例えば、上記撮像パラメータの取得処理の第１の例、第２の例と同様の処理を行うことによって、遅延時間情報を取得するが、本発明の実施形態に係る遅延時間情報の取得処理は、上記に限られない。なお、本発明の実施形態に係る画像処理装置１００が、図６に示す構成に加え、さらに遅延時間情報取得部（図示せず）を備えていてもよいことは、言うまでもない。
【００７０】
遅延時間算出部１０４は、パラメータ取得部１０２において取得された撮像パラメータに基づいて、撮像における遅延時間を画素ごとに算出する。
【００７１】
図８は、本発明の実施形態に係る画像処理装置１００における遅延時間の算出方法の一例を説明するための説明図である。
【００７２】
撮像装置がラスタスキャン順に露光と読み出しとを行う場合には、図８に示す左上の画素における遅延は“０”とおくことが可能である。上記の場合、任意の画素における遅延時間は、当該画素の座標を（ｘ，ｙ）とおくと、例えば下記の数式１により算出される。ここで、数式１に示す“Ｒｐｉｘ”は、同一ラインの隣接する画素間における遅延時間であり、また、数式１に示す“Ｒｌｉｎｅ”は、隣接するライン間における遅延時間である。
【００７３】
【数１】
・・・（数式１）
【００７４】
遅延時間算出部１０４は、例えば数式１により遅延時間を画素ごとに算出し、算出した遅延時間を示す遅延時間情報を、動き検出部１０６へ伝達する。なお、遅延時間算出部１０４における遅延時間の算出方法は、上記に限られない。例えば、撮像素子群の左上および撮像素子群の左下から露光と読み出しとが行われることを示す撮像パラメータなど、露光および読み出しが開始される撮像素子の位置を示す撮像パラメータがパラメータ取得部１０２において取得された場合には、遅延時間算出部１０４は、当該位置に対応する複数の画素それぞれにおける遅延を“０”とおいて、各画素における遅延時間ｒ（ｘ，ｙ）を算出してもよい。
【００７５】
また、遅延時間算出部１０４は、例えば、上記のような遅延時間の算出方法に係る処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、遅延時間算出部１０４の構成は、上記に限られない。例えば、画像処理装置１００では制御部（図示せず）が遅延時間算出部１０４の役目を果たしてもよく、また、遅延時間算出部１０４は、他の処理も可能な汎用の処理回路であってもよい。
【００７６】
なお、図６では、画像処理装置１００が撮像における遅延時間を画素ごとに算出する遅延時間算出部１０４を備える例を示したが、本発明の実施形態に係る画像処理装置１００の構成は、上記に限られない。例えば、画像処理装置１００は、遅延時間情報取得部（図示せず）を備える場合には、遅延時間算出部１０４を備えていなくてもよい。上記の構成の場合には、画像処理装置１００では、例えば、遅延時間情報取得部（図示せず）から動き検出部１０６へと遅延時間情報が伝達される。
【００７７】
動き検出部１０６は、入力画像信号と、遅延時間情報とに基づいて、複数のフレーム画像から動画像に含まれる被写体の動きを検出する。ここで、動き検出部１０６が用いる遅延時間情報としては、例えば、遅延時間算出部１０４から伝達される遅延時間情報や、遅延時間情報取得部（図示せず）から伝達される遅延時間情報が挙げられる。
【００７８】
（Ｉ）第１の構成例
第１の構成例に係る動き検出部１０６は、遅延時間情報に基づいて動画像が撮像されたときの時間位相を特定し、特定された時間位相に基づいて画素ごとに被写体の動きを検出する。ここで、第１の構成例に係る動き検出部１０６における処理は、補正画像を基準として動き検出を行う場合の処理に該当する。
【００７９】
図９は、本発明の実施形態に係る画像処理装置１００が備える動き検出部１０６の第１の構成例における処理の概要を示す説明図である。第１の構成例に係る動き検出部１０６は、例えば連続する２つのフレームに対応する２つのフレーム画像について、画素ごとに当該２つのフレーム画像それぞれを参照する参照比率（１：α）を、時間位相として特定する。そして、第１の構成例に係る動き検出部１０６は、特定した参照比率を用いて被写体の動きを検出する。なお、図９では、第１の構成例に係る動き検出部１０６が連続する２つのフレームに対応する２つのフレーム画像を参照する参照比率を、時間位相として特定する例を示しているが、第１の構成例に係る動き検出部１０６における処理は、上記に限られない。例えば、第１の構成例に係る動き検出部１０６は、３以上のフレームそれぞれに対応する３以上のフレーム画像を参照する参照比率を、時間位相として特定することも可能である。以下では、例えば図９に示すように、第１の構成例に係る動き検出部１０６が、連続する２つのフレームに対応する２つのフレーム画像を参照する参照比率を時間位相として特定する場合を例に挙げて説明する。
【００８０】
図１０は、本発明の実施形態に係る画像処理装置１００が備える動き検出部１０６の第１の構成例を示すブロック図である。第１の構成例に係る動き検出部１０６は、例えば、参照比率算出部１１０と、検出部１１２（第１検出部）とを備える。
【００８１】
参照比率算出部１１０は、入力画像信号と、遅延時間算出部１０４から伝達される遅延時間情報とに基づいて参照比率を画素ごとに算出する。そして、参照比率算出部１１０は、算出した参照比率を示す情報（データ）を、検出部１１２へ伝達する。
【００８２】
図１１は、本発明の実施形態に係る画像処理装置１００が備える、第１の構成例に係る動き検出部１０６における参照比率の算出処理の一例を説明するための説明図である。ここで、図１１に示す補正画素とは、補正画像における画素である（以下、同様とする。）。また、以下では、補正画像に対応する入力画像（フレーム画像）における補正画素に対応する画素を、「参照画素」と示す場合がある。
【００８３】
例えばフレームレート変換などにおいて用いられる一般的な動き検出は、グローバルシャッター方式における時間位相で行われる。それに対して、本発明の実施形態に係る第１の構成例に係る検出部１０６（より厳密には、例えば参照比率算出部１１０）では、遅延時間情報を用いることによって入力画像信号に対応する動画像を撮像した撮像装置における遅延時間を考慮した上で、画素ごとに被写体の動きを検出する。
【００８４】
例えば、図１１に示す補正画素から入力画像Ａの参照画素までの時間と、補正画素から入力画像Ｂの参照画素までの時間の比率を“１：α”と仮定し、また、補正画素から入力画像Ａの参照画素までのベクトルを“（ｘｓｒｃｈ，ｙｓｒｃｈ）”と仮定する。上記のように仮定すると、入力画像Ａの参照画素の座標（ｘｒｅｆ，ｙｒｅｆ）、入力画像Ｂの参照画素の座標（ｘｔａｒ，ｙｔａｒ）、入力画像Ａの参照画素における遅延時間ｒｒｅｆ、および入力画像Ｂの参照画素における遅延時間ｒｔａｒは、例えば下記の数式２〜数式５で表される。
【００８５】
【数２】
・・・（数式２）
【数３】
・・・（数式３）
【数４】
・・・（数式４）
【数５】
・・・（数式５）
【００８６】
ここで、入力画像信号におけるフレーム周期を“ΔＴｒｅｆ”とおくと、入力画像Ｂの参照画素における遅延時間ｒｔａｒは、例えば下記の数式６で表される。
【００８７】
【数６】
・・・（数式６）
【００８８】
また、数式１、数式３、数式４、および数式６より、補正画素から入力画像Ｂの参照画素までの時間の比率に係る“α”は、例えば下記の数式７で表される。
【００８９】
【数７】
・・・（数式７）
【００９０】
なお、“α”は、上記数式７で算出されることに限られない。例えば、一般的に、同一ラインの隣接する画素間における遅延時間Ｒｐｉｘは、同一ラインの隣接する画素間における遅延時間Ｒｌｉｎｅよりも非常に小さい（すなわち、Ｒｐｉｘ＜＜Ｒｌｉｎｅ）ので、“α”は、例えば下記の数式８で表されてもよい。
【００９１】
【数８】
・・・（数式８）
【００９２】
なお、図１１では、連続する２つのフレームのフレーム画像（入力画像）を参照画像とする例を示しているが、本発明の実施形態に係る第１の構成例に係る動き検出部１０６における参照比率の算出方法は、上記に限られない。
【００９３】
図１２は、本発明の実施形態に係る画像処理装置１００が備える、第１の構成例に係る動き検出部１０６における参照比率の算出処理の他の例を説明するための説明図である。ここで、図１２は、第１の構成例に係る動き検出部１０６が、任意の２つのフレームのフレーム画像（入力画像）を参照画像とする例を示している。
【００９４】
入力画像Ａに対応するフレームと補正画像に対応するフレーム（以下、「補正フレーム」と示す。）との間隔を“ΔＴｒｅｆ”、補正フレームと入力画像Ｂに対応するフレームとの間隔を“ΔＴｔａｒ”とおくと、補正画素から入力画像Ｂの参照画素までの時間の比率に係る“α”は、例えば下記の数式９で表される。また、Ｒｐｉｘ＜＜Ｒｌｉｎｅより、“α”は、例えば下記の数式１０で表されてもよい。
【００９５】
【数９】
・・・（数式９）
【数１０】
・・・（数式１０）
【００９６】
参照比率算出部１１０は、例えば上記のような演算を行うことによって、参照比率を画素ごとに算出する。ここで、例えば数式８〜数式１０に示すように、入力画像の参照比率は、画像の時間間隔と、補正画像の座標（ｘ，ｙ）、および撮像パラメータに基づく遅延時間情報によって、表される。よって、画像処理装置１００では、被写体の動き検出や、入力画像信号の補正（動き補償）を、上記のように算出された画素ごとの参照比率を用いて行うことができる。また、上記のように算出された画素ごとの参照比率を用いることによって、画像処理装置１００は、フレームレート変換を行うこともできる。
【００９７】
なお、図１１、図１２では、２つのフレームのフレーム画像（入力画像）を参照画像とする例を示したが、本発明の実施形態に係る第１の構成例に係る動き検出部１０６における参照比率の算出方法は、上記に限られない。例えば、本発明の実施形態に係る第１の構成例に係る動き検出部１０６は、３以上のフレーム画像を参照画像として用いることも可能である。
【００９８】
また、上記では、図１１、図１２に示すように、画素ごとの遅延時間ｒ（ｘ，ｙ）が上記数式１により表される場合における参照比率を算出する例を示したが、本発明の実施形態に係る画素ごとの遅延時間ｒ（ｘ，ｙ）は、数式１に示す関数で表されることに限られない。例えば、本発明の実施形態に係る画素ごとの遅延時間ｒ（ｘ，ｙ）は、任意の関数で表されていてもよい。
【００９９】
図１３、図１４は、本発明の実施形態に係る撮像における遅延時間の他の例を説明するための説明図である。ここで、図１３は、遅延時間ｒ（ｘ，ｙ）が画素の座標を引数に有する任意の関数である場合におけるフレーム画像の一例を示している。また、図１４は、垂直座標のある区間ごとに遅延時間を示す関数が変化する場合（図１３に示す遅延時間ｒ（ｘ，ｙ）が任意の関数で表される場合の一例）におけるフレーム画像の一例を示している。より具体的には、図１４は、撮像装置において撮像装置が備える撮像素子群のうちの撮像素子群の左上および撮像素子群の左下から露光と読み出しとが行われた場合における、フレーム画像の一例を示している。
【０１００】
第１の構成例に係る動き検出部１０６を備える画像処理装置１００は、例えば図１３、図１４に示すように、遅延時間ｒ（ｘ，ｙ）が任意の関数で表される場合であっても、上述した遅延時間ｒ（ｘ，ｙ）が数式１で表される場合と同様に、参照比率を算出することが可能である。
【０１０１】
図１５は、本発明の実施形態に係る画像処理装置１００が備える、第１の構成例に係る動き検出部１０６における参照比率の算出処理の他の例を説明するための説明図である。ここで、図１５は、図１２と同様に、第１の構成例に係る動き検出部１０６が、任意の２つのフレームのフレーム画像（入力画像）を参照画像とする例を示している。
【０１０２】
数式３、数式４、および数式５より、補正画素から入力画像Ｂの参照画素までの時間の比率に係る“α”は、例えば下記の数式１１で表される。ここで、参照比率算出部１１０は、例えば、遅延時間算出部１０４から伝達される遅延時間情報や、遅延時間情報取得部（図示せず）から伝達される遅延時間情報によって、遅延関数ｒ（ｘ，ｙ）を既知とすることが可能である。よって、数式１１における未知数は“α”１つとなるので、画像処理装置１００は、補正画素から入力画像Ｂの参照画素までの時間の比率に係る“α”を一意に算出することができる。
【０１０３】
【数１１】
・・・（数式１１）
【０１０４】
ここで、例えば遅延時間ｒ（ｘ，ｙ）を示す関数が数式１で表される場合には、数式１１に示す“α”は、数式９で表される。つまり、数式１１は、数式９を一般化した式である。
【０１０５】
上記のように、第１の構成例に係る動き検出部１０６を備える画像処理装置１００は、画素ごとの遅延時間ｒ（ｘ，ｙ）が任意の関数で表されている場合であっても、参照比率を画素ごとに算出することができる。
【０１０６】
なお、画素ごとの遅延時間ｒ（ｘ，ｙ）が任意の関数で表されている場合における参照比率の算出方法は、上記に限られない。例えば、図１４に示すように、垂直座標のある区間ごとに遅延時間を示す関数が変化する場合には、第１の構成例に係る動き検出部１０６を備える画像処理装置１００は、同一の関数で表される垂直座標の区間ごとに、参照比率を算出してもよい。
【０１０７】
再度図１０を参照して、第１の構成例に係る動き検出部１０６の構成の一例について説明する。検出部１１２は、入力画像信号と、参照比率算出部１１０において算出された参照比率とに基づいて、被写体の動きを検出する
【０１０８】
上述したように、第１の構成例に係る動き検出部１０６は、補正画像を基準として動き検出を行う。補正画像を基準として動き検出を行う場合には、例えば、動き（例えば、ベクトル、オプティカルフローで表される。）を仮定して評価値や拘束条件などを求めることになる。検出部１１２は、例えば、参照比率算出部１１０において算出された参照比率を用いて、入力画像への動きベクトル（オプティカルフロー）を決定する。ここで、検出部１１２は、例えば、ブロックマッチング法や、勾配法など、動きを検出することが可能な任意の方法を用いて、動きベクトルを決定する。
【０１０９】
図１６は、本発明の実施形態に係る画像処理装置１００が備える、第１の構成例に係る動き検出部１０６における動き検出処理の一例を説明するための説明図である。ここで、図１６は、動き検出部１０６が、ブロックマッチングを用いた補正画像基準の動き検出を、２つのフレーム画像（入力画像）から行う場合の一例を示している。
【０１１０】
例えば図８より、補正画素の座標（ｘ，ｙ）に対応する入力画像Ａにおける探索位置（座標）は、（ｘ＋ｘｓｒｃｈ，ｙ＋ｙｓｒｃｈ）と表され、また、補正画素の座標（ｘ，ｙ）に対応する入力画像Ｂにおける探索位置（座標）は、（ｘ−α×ｘｓｒｃｈ，ｙ−α×ｙｓｒｃｈ）と表される。よって、入力画像Ａの参照位置における画素値と、入力画像Ｂの参照位置における画素値とは、例えば下記の数式１２、数式１３で表される。
【０１１１】
【数１２】
・・・（数式１２）
【数１３】
・・・（数式１３）
【０１１２】
また、“ｎ”をブロック内の基準位置からのｘ軸方向への移動量とし、“ｍ”をブロック内の基準位置からのｙ軸方向への移動量とすると、入力画像Ａ、入力画像Ｂそれぞれの参照位置は、例えば下記の数式１４、数式１５で表される。
【０１１３】
【数１４】
・・・（数式１４）
【数１５】
・・・（数式１５）
【０１１４】
また、ブロックの座標範囲を（ｘ−Ｍ，ｙ−Ｎ）〜（ｘ＋Ｍ，ｙ＋Ｎ）とすると、動きの評価値ｅｘｙ（ｘｓｒｃｈ，ｙｓｒｃｈ）は、例えば下記の数式１６で表される。
【０１１５】
【数１６】
・・・（数式１６）
【０１１６】
検出部１１２は、例えば上記のような演算を行うことによって、動きを検出する。そして、検出部１１２は、例えば、各入力画像の参照位置（参照画素の座標）と、各参照位置に対応する参照比率とを、動き情報として補正部１０８へ伝達する。
【０１１７】
なお、本発明の実施形態に係る第１の構成例に係る動き検出部１０６における動きの検出方法は、上記に限られない。例えば、第１の構成例に係る動き検出部１０６は、ブロックマッチングを用いる場合において、畳み込みに使用するブロック内の画素数を任意の数に減らすことも可能である。また、第１の構成例に係る動き検出部１０６は、拘束条件で用いられるオプティカルフローを仮定する際に入力画像の参照比率を用いた勾配法によって、動きを検出することもできる。さらに、第１の構成例に係る動き検出部１０６は、複数の入力画像から求められた複数の動きを算出することによって、動きの検出結果の精度を向上させることも可能である。
【０１１８】
第１の構成例に係る動き検出部１０６は、例えば図１０に示す構成によって、補正画像を基準として動きを検出し、検出された動きを示す動き情報を補正部１０８へ伝達する。ここで、第１の構成例に係る動き検出部１０６は、例えば上記のような動き検出処理を行うことが可能な任意の構成を有する専用の処理回路で実現可能であるが、第１の構成例に係る動き検出部１０６の構成は、上記に限られない。例えば、画像処理装置１００では制御部（図示せず）が第１の構成例に係る動き検出部１０６の役目を果たしてもよく、また、第１の構成例に係る動き検出部１０６は、他の処理も可能な汎用の処理回路であってもよい。
【０１１９】
（ＩＩ）第２の構成例
第２の構成例に係る動き検出部１０６は、２段階の動き検出を行うことによって、被写体の動きを検出する。より具体的には、第２の構成例に係る動き検出部１０６は、まず入力画像信号に基づいて被写体の動きを検出する。そして、第２の構成例に係る動き検出部１０６は、入力画像信号に基づき検出された動きを示す動き情報と、入力画像信号と、遅延時間算出部１０４から伝達される遅延時間情報とに基づいて、被写体の動きを再検出する。ここで、第２の構成例に係る動き検出部１０６における処理は、入力画像（フレーム画像）を基準として動き検出を行う場合の処理に該当する。
【０１２０】
図１７は、本発明の実施形態に係る画像処理装置１００が備える動き検出部１０６の第２の構成例における処理の概要を示す説明図である。入力画像を基準として動き検出を行う場合、第２の構成例に係る動き検出部１０６は、例えば連続する２つのフレームに対応する２つのフレーム画像に基づいて、動きを検出する。そして、第２の構成例に係る動き検出部１０６は、遅延時間情報に基づいて、補正画像の位置における動き量の再計算を行う。上記のように再計算を行うことによって、撮像における遅延時間を補償することが可能となる。なお、図１７では、第２の構成例に係る動き検出部１０６が連続する２つのフレームに対応する２つのフレーム画像に基づき処理を行う例を示しているが、第２の構成例に係る動き検出部１０６における処理は、上記に限られない。例えば、第２の構成例に係る動き検出部１０６は、任意の２つのフレームそれぞれに対応するフレーム画像や、３以上のフレームそれぞれに対応する３以上のフレーム画像に基づき処理を行うことも可能である。以下では、第２の構成例に係る動き検出部１０６が、２つのフレームに対応する２つのフレーム画像に基づき処理を行う場合を例に挙げて説明する。
【０１２１】
図１８は、本発明の実施形態に係る画像処理装置１００が備える動き検出部１０６の第２の構成例を示すブロック図である。第２の構成例に係る動き検出部１０６は、例えば、検出部１１４（第２検出部）と、再検出部１１６（第３検出部）とを備える。
【０１２２】
検出部１１４は、入力画像信号に基づいて被写体の動きを検出する。そして、検出部１１４は、検出した動きを示す動き情報を再検出部１１６へ伝達する。
【０１２３】
ここで、検出部１１４は、例えば、ブロックマッチング法や、勾配法など、動きを検出することが可能な任意の方法を用いて、動きと、各補正画素に対応するフレーム画像における対応点とを算出する。つまり、検出部１１４は、露光や読み出しによる遅延による、画素ごとの撮像における遅延時間を考慮せず、例えばフレーム変換などにおいて用いられる一般的な動き検出方法を用いることが可能である。
【０１２４】
再検出部１１６は、検出部１１４から伝達される動き情報と、入力画像信号と、遅延時間算出部１０４から伝達される遅延時間情報とに基づいて、被写体の動きを再検出する。
【０１２５】
動き検出を入力画像を基準として行う場合には、検出部１１４において入力画像信号に基づき求められた対応点から、補正画像の座標を求める必要がある。本発明の実施形態に係る第２の構成例に係る検出部１０６（より厳密には、例えば再検出部１１６）では、遅延時間情報を用いることによって入力画像信号に対応する動画像を撮像した撮像装置における遅延時間を考慮した上で、補正画像の座標を求める。つまり、第２の構成例に係る検出部１０６は、上記第１の構成例に係る検出部１０６と同様に、遅延時間情報に基づいて動画像が撮像されたときの時間位相を特定し、特定された時間位相に基づいて画素ごとに被写体の動きを検出する。
【０１２６】
図１９は、本発明の実施形態に係る画像処理装置１００が備える、第２の構成例に係る動き検出部１０６における参照比率の算出処理の一例を説明するための説明図である。
【０１２７】
入力画像信号に基づき求められた入力画像Ａの対応点の画素の座標を“（ｘｒｅｆ，ｙｒｅｆ）”、入力画像信号に基づき求められた入力画像Ｂの対応点の画素の座標を“（ｘｔａｒ，ｙｔａｒ）”とおくと、入力画像Ａの各画素における撮像における遅延時間ｒｒｅｆと、入力画像Ｂの各画素における撮像における遅延時間ｒｔａｒとは、上記数式１より、例えば下記の数式１７、数式１８で表される。
【０１２８】
【数１７】
・・・（数式１７）
【数１８】
・・・（数式１８）
【０１２９】
また、図１９に示すように、補正フレームと入力画像Ａに対応するフレームとの時間間隔と、補正フレームと入力画像Ｂに対応するフレームとの時間間隔との比率を“１：α”とおき、入力画像Ａに対応するフレームと補正フレーム」と示す。）との間隔を“ΔＴｒｅｆ”、補正フレームと入力画像Ｂに対応するフレームとの間隔を“ΔＴｔａｒ”とおくと、補正画素から入力画像Ｂの参照画素までの時間の比率に係る“α”は、上記数式１、数式１７、数式１８より、例えば下記の数式１９で表される。また、Ｒｐｉｘ＜＜Ｒｌｉｎｅより、“α”は、例えば下記の数式２０で算出されてもよい。
【０１３０】
【数１９】
・・・（数式１９）
【数２０】
・・・（数式２０）
【０１３１】
また、（ｘｒｅｆ，ｙｒｅｆ）、（ｘｔａｒ，ｙｔａｒ）に対応する、補正画像における座標（ｘ，ｙ）は、例えば下記の数式２１で表される。
【０１３２】
【数２１】
・・・（数式２１）
【０１３３】
ここで、例えば数式２１に示す演算によって補正画像における座標（ｘ，ｙ）を求める場合には、例えば、補正画像においてベクトルが当たらない画素が生じることや、複数のベクトルが重なることが生じる恐れがある。図２０は、本発明の実施形態に係る画像処理装置１００が備える、第２の構成例に係る動き検出部１０６における参照比率の算出処理の過程において生じうる問題の一例を示す説明図である。
【０１３４】
第２の構成例に係る動き検出部１０６は、例えば、補正画像における周辺の画素の情報を用いて補間することによって、補正画像においてベクトルが当たらない画素が生じることを防止する。また、第２の構成例に係る動き検出部１０６は、例えば、入力画像信号に基づき算出した評価値を用いてより最適なベクトルを決定することによって、複数のベクトルが重なることによる問題を解消する。なお、第２の構成例に係る動き検出部１０６は、上記の場合において、複数の入力画像から求められた複数の動きの検出結果を利用してもよい。
【０１３５】
なお、上記では、図１９に示すように、画素ごとの遅延時間ｒ（ｘ，ｙ）が上記数式１により表される場合において、画像処理装置１００が参照比率を算出する例を示したが、本発明の実施形態に係る画素ごとの遅延時間ｒ（ｘ，ｙ）は、数式１に示す関数で表されることに限られない。例えば、本発明の実施形態に係る画素ごとの遅延時間ｒ（ｘ，ｙ）は、上述した第１の構成例に係る動き検出部１０６の場合と同様に、任意の関数で表されていてもよい。第２の構成例に係る動き検出部１０６を備える画像処理装置１００は、遅延時間ｒ（ｘ，ｙ）が任意の関数で表される場合であっても、上述した遅延時間ｒ（ｘ，ｙ）が数式１で表される場合と同様に、参照比率を算出することが可能である。
【０１３６】
図２１は、本発明の実施形態に係る画像処理装置１００が備える、第２の構成例に係る動き検出部１０６における参照比率の算出処理の他の例を説明するための説明図である。
【０１３７】
補正画素から入力画像Ｂの参照画素までの時間の比率に係る“α”は、上記数式１７、数式１８より、例えば下記の数式２２で表される。ここで、再検出部１１６は、例えば、遅延時間算出部１０４から伝達される遅延時間情報や、遅延時間情報取得部（図示せず）から伝達される遅延時間情報によって、遅延関数ｒ（ｘ，ｙ）を既知とすることが可能である。また、再検出部１１６は、検出部１１４から伝達される動き情報によって、“ｘｒｅｆ”、“ｙｒｅｆ”、“ｘｔａｒ”、および“ｙｔａｒ”を既知とすることが可能である。よって、数式２２における未知数は“α”１つとなるので、画像処理装置１００は、補正画素から入力画像Ｂの参照画素までの時間の比率に係る“α”を一意に算出することができる。
【０１３８】
【数２２】
・・・（数式２２）
【０１３９】
また、（ｘｒｅｆ，ｙｒｅｆ）、（ｘｔａｒ，ｙｔａｒ）に対応する、補正画像における座標（ｘ，ｙ）は、例えば上記数式２１で表される。
【０１４０】
ここで、例えば遅延関数ｒ（ｘ，ｙ）が数式１で表される場合には、数式２２に示す“α”は、数式１９で表される。つまり、数式２２は、数式１９を一般化した式であるといえる。
【０１４１】
上記のように、第２の構成例に係る動き検出部１０６を備える画像処理装置１００は、画素ごとの遅延時間ｒ（ｘ，ｙ）が任意の関数で表されている場合であっても、参照比率を画素ごとに算出することができる。
【０１４２】
なお、画素ごとの遅延時間ｒ（ｘ，ｙ）が任意の関数で表されている場合における参照比率の算出方法は、上記に限られない。例えば、図１４に示すように、垂直座標のある区間ごとに遅延時間を示す関数が変化する場合には、第２の構成例に係る動き検出部１０６を備える画像処理装置１００は、第１の構成例に係る動き検出部１０６を備える場合と同様に、同一の関数で表される垂直座標の区間ごとに、参照比率を算出してもよい。
【０１４３】
再検出部１１６は、例えば、上記のような演算を行うことによって、補正画素から入力画像Ｂの参照画素までの時間の比率に係る“α”を算出して、補正フレームと入力画像Ａに対応するフレームとの時間間隔と、補正フレームと入力画像Ｂに対応するフレームとの時間間隔との比率、すなわち、参照比率を求める。そして、再検出部１１６は、例えば、参照画素の座標と、各参照画素に対応する参照比率とを、動き情報として補正部１０８へ伝達する。
【０１４４】
第２の構成例に係る動き検出部１０６は、例えば図１８に示す構成によって、入力画像（フレーム画像）を基準として動きを検出し、検出された動きを示す動き情報を補正部１０８へ伝達する。ここで、第２の構成例に係る動き検出部１０６は、例えば上記のような動き検出処理を行うことが可能な任意の構成を有する専用の処理回路で実現可能であるが、第２の構成例に係る動き検出部１０６の構成は、上記に限られない。例えば、画像処理装置１００では制御部（図示せず）が第２の構成例に係る動き検出部１０６の役目を果たしてもよく、また、第２の構成例に係る動き検出部１０６は、他の処理も可能な汎用の処理回路であってもよい。
【０１４５】
本発明の実施形態に係る動き検出部１０６は、例えば、図１０や図１８に示す構成によって、被写体の動きを検出し、検出された動きを示す動き情報を補正部１０８へ伝達する。なお、本発明の実施形態に係る動き検出部１０６の構成は、図１０や図１８に示す構成に限られない。例えば、本発明の実施形態に係る動き検出部１０６は、ユーザ操作などに基づいて、算出した参照比率を調整してもよい。上記の場合には、画像処理装置１００では、遅延時間情報に基づき特定された時間位相が調整される。
【０１４６】
再度図６を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。補正部１０８は、入力画像信号と、動き検出部１０６から伝達される動き情報とに基づいて、入力画像信号を補正する。より具体的には、補正部１０８は、第１の構成例に係る動き検出部１０６における動き検出、または、第２の構成例に係る動き検出部１０６における動きの再検出（動きベクトルの再算出）において算出された画素の参照比率と、補正画像の各画素に対応する入力画像の対応点（参照画素の座標）とを用いて、入力画像信号から補正画素を求める。ここで、補正部１０８における処理は、補間を行う処理に相当する。
【０１４７】
図２２は、本発明の実施形態に係る画像処理装置１００が備える補正部１０８における処理の一例を示す説明図である。
【０１４８】
補正部１０８は、例えば、画素の参照比率“１：α”を用いて複数の入力画素のブレンド比率を決定する。例えば、入力画像Ａの対応する画素（対応点）の画素値を“Ｐｒｅｆ”、入力画像Ｂの対応する画素（対応点）の画素値を“Ｐｔａｒ”とおくと、補正画素の画素値“Ｐｉｎｔ ｅｒｐ”は、例えば下記の数式２３によって、線形補間によって求められる。
【０１４９】
【数２３】
・・・（数式２３）
【０１５０】
補正部１０８は、例えば上記数式２３に示す演算を対応点ごとに行うことによって、入力画像信号を補正し、動きを補償する。なお、本発明の実施形態に係る補正部１０８における処理は、上記に限られない。例えば、補正部１０８は、動き補償を行う際に、複数の入力画像のペアと、これらのペアそれぞれから動きを検出した複数の結果とを用いて、補正画素を決定してもよい。
【０１５１】
また、補正部１０８は、例えば、上記のような補正処理を行うことが可能な任意の構成を有する専用の処理回路で実現可能であるが、補正部１０８の構成は、上記に限られない。例えば、画像処理装置１００では制御部（図示せず）が補正部１０８の役目を果たしてもよく、また、補正部１０８は、他の処理も可能な汎用の処理回路であってもよい。
【０１５２】
図２３は、本発明の実施形態に係る画像処理装置１００における処理結果の一例を示す説明図である。ここで、図２３に示すＡと図２３に示すＢとは、ローリングシャッター方式の撮像装置を用いて風景（被写体）を撮像した場合に得られる動画像を構成する一のフレーム画像を示している。また、図２３に示すＡは、本発明の実施形態に係る画像処理方法に係る処理が用いられない場合の処理結果の一例を示しており、また、図２３に示すＢは、図１０に示す第１の構成例に係る動き検出部１０６を備える画像処理装置１００が処理した場合（本発明の実施形態に係る画像処理方法に係る処理が用いられた場合）の処理結果の一例を示している。
【０１５３】
図２３のＡ、図２３のＢに示すように、本発明の実施形態に係る画像処理方法に係る処理が行われることによって、図２３のＡに示すフレーム画像において生じているフォーカルプレーン歪みが、図２３のＢに示すフレーム画像においては補正されることが分かる。
【０１５４】
本発明の実施形態に係る画像処理装置１００は、例えば図６に示す構成によって、（Ａ）撮像パラメータに基づく撮像における遅延時間の算出処理、（Ｂ）被写体の動きの検出処理、（Ｃ）画像信号の補正処理（動き補償処理）、を行う。ここで、上記（Ａ）の処理〜（Ｃ）の処理を行うことによって、撮像における遅延時間が考慮された上で動きが補償されるので、上述した本発明の実施形態に係る画像処理方法が実現される。つまり、上記（Ａ）の処理〜（Ｃ）の処理は、上述した本発明の実施形態に係る画像処理方法に係る処理に該当する。よって、画像処理装置１００は、例えば図６に示す構成によって、上述した本発明の実施形態に係る画像処理方法を実行することができる。
【０１５５】
したがって、本発明の実施形態に係る画像処理装置１００は、例えば図６に示す構成によって、フォーカルプレーン歪みを補正することができる。
【０１５６】
なお、本発明の実施形態に係る画像処理装置１００の構成は、図６に示す構成に限られない。例えば、本発明の実施形態に係る画像処理装置１００は、図６に示す構成に加え、動画像を撮像する撮像部（図示せず）をさらに備えていてもよい。上記の構成の場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された画像信号を処理することが可能である。
【０１５７】
ここで、本発明の実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳなどのローリングシャッター方式に係る撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【０１５８】
また、画像処理装置１００は、例えば、通信部（図示せず）をさらに備えていてもよい。通信部（図示せず）を備えることによって、画像処理装置１００は、例えば、外部装置から送信された画像信号（入力画像信号）を処理し、処理後の画像信号（出力画像信号）を通信部（図示せず）を介して、当該外部装置へ送信することが可能となる。よって、画像処理装置１００がさらに通信部（図示せず）を備えることによって、例えば、クラウドコンピューティングなどのネットワークへの接続を前提とした画像処理システムが実現される。
【０１５９】
また、画像処理装置１００は、パラメータ取得部１０２が撮像パラメータを推定する処理を行う場合（撮像パラメータの取得処理の第３の例）には、例えば、推定を行うために有効な撮像環境を検出する機構や、モード遷移して撮影者に最適な撮像環境をアドバイスする機構などさらに備えていてもよい。上記に構成を有する場合には、画像処理装置１００は、推定の精度をさらに向上させることができる。
【０１６０】
また、上述したように、本発明の実施形態に係る画像処理装置１００は、遅延時間情報を取得する構成である場合には遅延時間算出部を備えていなくてもよい。上記の構成の場合には、画像処理装置１００は、上記（Ｂ）の処理（被写体の動きの検出処理）、および（Ｃ）の処理（画像信号の補正処理（動き補償処理））によって、本発明の実施形態に係る画像処理方法を実現する。つまり、上記の構成の場合には、上記（Ｂ）の処理および（Ｃ）の処理が、上述した本発明の実施形態に係る画像処理方法に係る処理に該当する。
【０１６１】
以上のように、本発明の実施形態に係る画像処理装置１００は、撮像装置の撮像パラメータに基づいて、撮像における遅延時間を画素ごとに算出し、当該遅延時間を考慮して複数のフレーム画像から動画像に含まれる被写体の動きを検出する。そして、画像処理装置１００は、検出された動きに基づき画像信号を補正することによって、検出された動きを補償する。ここで、画像処理装置１００は、撮像における遅延時間を考慮して画像信号の補正を行う。よって、画像処理装置１００は、動画像における動きが、例えば、カメラワークであっても物体（被写体）の動きであっても、当該動きを補償することができる。
【０１６２】
したがって、画像処理装置１００は、動画像において発生しうるフォーカルプレーン歪みを補正することができる。
【０１６３】
また、画像処理装置１００は、画素ごとに読み出し時間位相を求めることが可能であり、撮像における遅延時間を考慮して動きの検出、動きの補償を行うので、補正処理において、同一の時間位相の画素を復元することができる。
【０１６４】
また、画像処理装置１００は、撮像パラメータに基づき撮像における遅延時間を算出するので、撮像装置ごとに精度の高い補正を行うことができる。
【０１６５】
さらに、画像処理装置１００は、算出した参照比率を調整することも可能であるので、例えば、任意の時間位相の画像を生成することができ、また、補正処理と共にフレームレートの変換を行うことができる。
【０１６６】
以上、本発明の実施形態として画像処理装置１００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置、ＰＣやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話などの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated Circuit）に適用することもできる。
【０１６７】
（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、上記（Ａ）の処理〜（Ｃ）の処理を実現するためのプログラムや、上記（Ｂ）の処理および（Ｃ）の処理を実現するためのプログラムなど、本発明の実施形態に係る画像処理方法に係る処理を実現するためのプログラム）によって、フォーカルプレーン歪みを補正することができる。
【０１６８】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１６９】
例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【０１７０】
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。
【符号の説明】
【０１７１】
１００ 画像処理装置
１０２ パラメータ取得部
１０４ 遅延時間算出部
１０６ 動き検出部
１０８ 補正部
１１０ 参照比率算出部
１１２、１１４ 検出部
１１６ 再検出部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、例えば、デジタルスチルカメラや、携帯電話などの通信装置など、様々な機器に動画像を撮像可能な撮像機能が搭載されており、ユーザが動画像を撮像する機会は増えている。ここで、上記撮像機能が、例えばローリングシャッター方式によって実現される場合、すなわち、ラインごとに順次撮像を行う撮像素子によって撮像が行われる場合には、フォーカルプレーン歪みとよばれる歪みが動画像に発生することが起こりうる。
【０００３】
このような中、動画像に生じうる歪みを低減する技術が開発されている。動画像に生じうる歪みを低減する技術としては、例えば、特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１４８４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば特許文献１に示す動画像に生じうる歪みを低減する従来の技術（以下、単に「従来の技術」と示す場合がある。）は、フォーカルプレーン歪みが生じていた場合には、動画像を構成する時間的に連続する２つのフレーム画像の情報を混合する。よって、従来の技術を用いることによって、動画像に生じているフォーカルプレーン歪みを低減することができる可能性がある。
【０００６】
ここで、従来の技術では、例えば、単純な線形補間によって２つのフレーム画像の情報を混合し、補間の比率をラインごとに変えている。しかしながら、従来の技術では、補間を行う際に２つのフレーム画像の同じ位置の画素に対応する画像信号を用いて線形補間をしているので、動画像に含まれる被写体の動きに基づく精度の高い補間を行うことは、困難である。よって、従来の技術を用いたとしても、フォーカルプレーン歪みを十分に低減することができない恐れがある。
【０００７】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、フォーカルプレーン歪みを補正することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の第１の観点によれば、フレーム画像からなる動画像を示す画像信号と、撮像における遅延時間を示す遅延時間情報とに基づいて、複数の上記フレーム画像から上記動画像に含まれる被写体の動きを検出する動き検出部と、上記画像信号と、検出された被写体の動きを示す動き情報とに基づいて、上記画像信号を補正する補正部と、を備える画像処理装置が提供される。
【０００９】
かかる構成により、フォーカルプレーン歪みを補正することができる。
【００１０】
また、ラインごとに順次撮像を行う撮像素子を有する撮像装置の撮像パラメータに基づいて、上記遅延時間を画素ごとに算出する遅延時間算出部をさらに備えてもよい。
【００１１】
また、上記動き検出部は、上記遅延時間情報に基づいて上記動画像が撮像されたときの時間位相を特定し、特定された上記時間位相に基づいて画素ごとに上記被写体の動きを検出してもよい。
【００１２】
また、上記動き検出部は、上記遅延時間情報に基づき特定された上記時間位相を調整してもよい。
【００１３】
また、上記動き検出部は、上記遅延時間情報に基づいて、複数の上記フレーム画像それぞれを参照する比率を示す参照比率を算出する参照比率算出部と、算出された参照比率に基づいて上記被写体の動きを検出する第１検出部と、を備えてもよい。
【００１４】
また、上記動き検出部は、上記画像信号に基づいて上記被写体の動きを検出する第２検出部と、上記第１検出部において検出された動きを示す動き情報と、上記画像信号と、上記遅延時間情報とに基づいて、上記被写体の動きを再検出する第３検出部と、を備えてもよい。
【００１５】
また、上記補正部は、１または２以上の動き情報に基づいて、上記画像信号を補正してもよい。
【００１６】
また、上記動き情報には、複数の上記フレーム画像それぞれを参照する比率を示す参照比率が含まれてもよい。
【００１７】
また、上記撮像パラメータを取得するパラメータ取得部をさらに備えてもよい。
【００１８】
また、上記パラメータ取得部は、上記撮像装置を識別する識別情報を、上記画像信号、または、上記識別情報を記憶する記録媒体から取得し、上記識別情報と上記撮像パラメータとが対応付けられたデータベースから、取得した上記識別情報に対応する上記撮像パラメータを取得してもよい。
【００１９】
また、上記パラメータ取得部は、上記動き検出部が検出した動き情報に基づいて、上記撮像パラメータを推定して上記撮像パラメータを取得してもよい。
【００２０】
また、上記パラメータ取得部は、上記画像信号から上記撮像パラメータを取得してもよい。
【００２１】
また、上記動画像を撮像する撮像部をさらに備えてもよい。
【００２２】
また、上記目的を達成するために、本発明の第２の観点によれば、フレーム画像からなる動画像を示す画像信号と、撮像における遅延時間を示す遅延時間情報とに基づいて、複数の上記フレーム画像から上記動画像に含まれる被写体の動きを検出するステップと、
上記画像信号と、検出された被写体の動きを示す動き情報とに基づいて、上記画像信号を補正するステップと、を有する画像処理方法が提供される。
【００２３】
かかる方法を用いることにより、フォーカルプレーン歪みを補正することができる。
【００２４】
また、上記目的を達成するために、本発明の第３の観点によれば、フレーム画像からなる動画像を示す画像信号と、撮像における遅延時間を示す遅延時間情報とに基づいて、複数の上記フレーム画像から上記動画像に含まれる被写体の動きを検出するステップ、上記画像信号と、検出された被写体の動きを示す動き情報とに基づいて、上記画像信号を補正するステップ、をコンピュータに実行させるためのプログラムが提供される。
【００２５】
かかるプログラムを用いることにより、フォーカルプレーン歪みを補正することができる。
【発明の効果】
【００２６】
本発明によれば、フォーカルプレーン歪みを補正することができる。
【図面の簡単な説明】
【００２７】
【図１】フォーカルプレーン歪みについて説明するための説明図である。
【図２】フォーカルプレーン歪みについて説明するための説明図である。
【図３】フォーカルプレーン歪みについて説明するための説明図である。
【図４】フォーカルプレーン歪みについて説明するための説明図である。
【図５】本発明の実施形態に係る画像処理方法の概要を示す説明図である。
【図６】本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図７】本発明の実施形態に係る動き情報に基づく撮像パラメータの推定方法の一例を説明するための説明図である。
【図８】本発明の実施形態に係る画像処理装置における遅延時間の算出方法の一例を説明するための説明図である。
【図９】本発明の実施形態に係る画像処理装置が備える動き検出部の第１の構成例における処理の概要を示す説明図である。
【図１０】本発明の実施形態に係る画像処理装置が備える動き検出部の第１の構成例を示すブロック図である。
【図１１】本発明の実施形態に係る画像処理装置が備える、第１の構成例に係る動き検出部における参照比率の算出処理の一例を説明するための説明図である。
【図１２】本発明の実施形態に係る画像処理装置が備える、第１の構成例に係る動き検出部における参照比率の算出処理の他の例を説明するための説明図である。
【図１３】本発明の実施形態に係る撮像における遅延時間の他の例を説明するための説明図である。
【図１４】本発明の実施形態に係る撮像における遅延時間の他の例を説明するための説明図である。
【図１５】本発明の実施形態に係る画像処理装置が備える、第１の構成例に係る動き検出部における参照比率の算出処理の他の例を説明するための説明図である。
【図１６】本発明の実施形態に係る画像処理装置が備える、第１の構成例に係る動き検出部における動き検出処理の一例を説明するための説明図である。
【図１７】本発明の実施形態に係る画像処理装置が備える動き検出部の第２の構成例における処理の概要を示す説明図である。
【図１８】本発明の実施形態に係る画像処理装置が備える動き検出部の第２の構成例を示すブロック図である。
【図１９】本発明の実施形態に係る画像処理装置１００が備える、第２の構成例に係る動き検出部における参照比率の算出処理の一例を説明するための説明図である。
【図２０】本発明の実施形態に係る画像処理装置が備える、第２の構成例に係る動き検出部における参照比率の算出処理の過程において生じうる問題の一例を示す説明図である。
【図２１】本発明の実施形態に係る画像処理装置が備える、第２の構成例に係る動き検出部における参照比率の算出処理の他の例を説明するための説明図である。
【図２２】本発明の実施形態に係る画像処理装置が備える補正部における処理の一例を示す説明図である。
【図２３】本発明の実施形態に係る画像処理装置における処理結果の一例を示す説明図である。
【発明を実施するための形態】
【００２８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２９】
また、以下では、下記に示す順序で説明を行う。
１．本発明の実施形態に係る画像処理方法
２．本発明の実施形態に係る画像処理装置
３．本発明の実施形態に係るプログラム
【００３０】
（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理装置（以下、「画像処理装置１００」と示す場合がある。）の構成について説明する前に、本発明の実施形態に係る画像処理方法の概要について説明する。以下では、画像処理装置１００が、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００３１】
また、以下では、画像処理装置１００が、フレーム画像からなる動画像を示す画像信号を処理するものとして説明する。また、以下では、画像処理装置１００が処理する画像信号が示す各フレーム画像を「入力画像」と示し、画像信号を補正することにより得られる画像を「補正画像」と示す場合がある。
【００３２】
ここで、本発明の実施形態に係る画像信号としては、例えば撮像者が撮像装置を用いて撮像することにより得られた動画像を示す信号（アナログ信号／デジタル信号）が挙げられるが、本発明の実施形態に係る画像信号は、上記に限られない。例えば、本発明の実施形態に係る画像信号は、乗り物などに搭載された撮像装置によって撮像された動画像や、いわゆる防犯カメラなどのように固定の場所に設置された撮像装置によって撮像された動画像を示す信号であってもよい。
【００３３】
また、本発明の実施形態に係る画像信号としては、例えば、画像処理装置１００がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号が挙げられる。また、画像処理装置１００は、例えば、ネットワークを介して（または直接的に）外部装置から送信された画像信号を処理することも可能である。また、画像処理装置１００は、例えば、記憶部（後述する）や、画像処理装置１００から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を処理してもよい。さらに、画像処理装置１００が動画像を撮像することが可能な撮像部（上記撮像装置に対応するデバイス。後述する）を備えている場合、すなわち、画像処理装置１００が撮像装置として機能する場合には、画像処理装置１００は、例えば、当該撮像部により撮像された動画像に対応する画像信号を処理してもよい。
【００３４】
［フォーカルプレーン歪みについて］
まず、本発明の実施形態に係る画像処理装置１００が、補正の対象とするフォーカルプレーン歪みについて説明する。図１〜図４は、フォーカルプレーン歪みについて説明するための説明図である。
【００３５】
撮像装置のイメージセンサを構成する複数の撮像素子として例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）が用いられる場合には、ローリングシャッター方式（ライン露光順次読み出し方式）が採用されることが多い。ここで、ローリングシャッター方式とは、例えば、撮像素子の左上からラスタ順に露光し、データを転送する方式である。ローリングシャッター方式が用いられる場合には、撮像装置では、ライン（例えば水平方向のライン）ごとに順次撮像が行われる。よって、例えばローリングシャッター方式のようにラインごとに順次撮像が行われる場合には、例えば図１に示すように、同一フレーム内にラインごとに異なる時間のフレーム画像が取り込まれる。
【００３６】
図１に示すように同一フレーム内にラインごとに異なる時間のフレーム画像が取り込まれる結果、例えば、左から右へと移動する矩形の物体（移動体。被写体の一例）をＣＭＯＳの撮像素子を用いて動画像を撮像した場合には、当該物体は、例えば図２に示すように、平行四辺形の物体としてフレーム画像に表されることとなる。また、例えば、上から下へと移動する矩形の物体（移動体）をＣＭＯＳの撮像素子を用いて動画像を撮像した場合には、当該物体は、実際の物体よりも縦長の物体としてフレーム画像に表されることとなる。例えば上記のように、動画像において撮像された物体（以下、「被写体」と示す。）に生じる歪みが、本発明の実施形態に係る「フォーカルプレーン歪み」である。
【００３７】
なお、フォーカルプレーン歪みは、上記のように撮像される物体が動く場合に生じることに限られず、例えば、撮像装置が動く場合にも、生じうる。例えば、図３のＡ〜Ｄは、撮像装置が動いた場合（例えば撮像装置がパン、チルトする場合）において生じうるフォーカルプレーン歪みの一例を示している。つまり、図２、図３に示すように、フォーカルプレーン歪みは、撮像素子に対して被写体が相対的に動いている場合に発生しうる。
【００３８】
一方、撮像装置のイメージセンサを構成する複数の撮像素子として例えばＣＣＤ（Charge Coupled Device）が用いられる場合には、グローバルシャッター方式（同時露光一括読み出し方式）が採用される。ここで、グローバルシャッター方式とは、例えば図４に示すように、同一フレーム内のデータを同時に転送する方式である。よって、グローバルシャッター方式が用いられる場合には、フォーカルプレーン歪みは発生しない。
【００３９】
上記のように、例えば、撮像装置が有する撮像機能を、ＣＣＤのようなグローバルシャッター方式を実現可能な撮像素子で実現する場合には、フォーカルプレーン歪みの発生自体を防止することが可能である。しかしながら、ＣＭＯＳの撮像素子は、ＣＣＤの撮像素子と比較して、例えば、省電力であり、高速な読み出しが可能であり、コストが低いという利点があるため、普及が進む多くの撮像装置では、ＣＭＯＳが撮像素子として用いられている。よって、例えば再生された動画像の高画質化を図るために、フォーカルプレーン歪みの発生自体を防止するのではなく、発生しうるフォーカルプレーン歪みを補正により低減することが、望まれている。
【００４０】
ここで、フォーカルプレーン歪みを補正により低減する一の方法としては、例えば、撮像装置が備えるセンサにより検出された動き情報を用いてフォーカルプレーン歪みを補正することが挙げられる。しかしながら、上記の方法を用いる場合には、例えば、動画像を撮像した撮像装置の動きを示すカメラワークによって生じたグローバルな歪みしか補正できない。
【００４１】
また、上述したように、従来の技術を用いたとしても、フォーカルプレーン歪みを十分に低減することができない恐れがある。
【００４２】
［本発明の実施形態に係る画像処理方法の概要］
そこで、本発明の実施形態に係る画像処理装置１００は、撮像における遅延時間を考慮して複数のフレーム画像から動画像に含まれる被写体の動きを検出する。そして、画像処理装置１００は、検出された動きに基づき画像信号を補正することによって、検出された動きを補償する。
【００４３】
ここで、画像処理装置１００は、撮像における遅延時間を考慮しているので、ローカルな動きから画素ごとに歪みを補正することができる。画像処理装置１００が、上記のように撮像における遅延時間を考慮して画像信号の補正を行うことによって、グローバルな歪み、ローカルな歪みのどちらにも対応することが可能である。つまり、画像処理装置１００が上記のように撮像における遅延時間を考慮して画像信号の補正を行うことによって、画像処理装置１００は、動画像における動きが、例えばカメラワークであっても物体（被写体）の動きであっても、当該動きを補償することができる。よって、本発明の実施形態に係る画像処理装置１００が検出する動画像に含まれる被写体の動きには、物体（被写体）自体の動きに限られず、カメラワークも含まれる。
【００４４】
したがって、画像処理装置１００は、動画像において発生しうるフォーカルプレーン歪みを補正することができる。
【００４５】
ここで、画像処理装置１００は、例えば、撮像装置の撮像パラメータに基づいて撮像における遅延時間を画素ごとに算出することや、撮像における遅延時間を示す遅延時間情報（遅延時間データ）を取得することによって、遅延時間を特定する。本発明の実施形態に係る撮像パラメータとは、例えば、ライン（例えば水平方向のライン。以下、同様とする。）ごとに順次撮像を行う撮像素子を有する撮像装置における撮像の特性を示す値である。撮像パラメータとしては、例えば、画素ごとの露光と読み出しとに係る遅延時間を示す値（以下、「遅延時間Ｒｐｉｘ」と示す場合がある。）と、ラインごとの遅延時間を示す値（以下、「遅延時間Ｒｌｉｎｅ」と示す場合がある。）とが挙げられる。
【００４６】
また、本発明の実施形態に係る撮像における遅延時間とは、例えば、画素ごとの露光、読み出しの遅延時間である。ここで、フレーム画像における任意の位置（例えば、画素の座標で表される。）における遅延時間は、例えば、上記撮像パラメータを用いて算出される。また、画像処理装置１００は、例えば、取得された遅延時間情報からフレーム画像における任意の位置における遅延時間を特定してもよい。なお、本発明の実施形態に係る遅延時間の算出方法の一例については、後述する。
【００４７】
図５は、本発明の実施形態に係る画像処理方法の概要の一例を示す説明図である。例えば図５に示すように、画像処理装置１００は、複数のフレーム画像（入力画像）に基づき補正画像を生成することによって、発生しうるフォーカルプレーン歪みを補正する。
【００４８】
以下、本発明の実施形態に係る画像処理装置１００の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。以下では、画像処理装置１００が撮像パラメータに基づいて撮像における遅延時間を算出する場合を主に例に挙げて、本発明の実施形態に係る画像処理装置１００の構成の一例、および本発明の実施形態に係る画像処理方法に係る処理の具体例について説明する。また、以下では、画像処理装置１００に入力される画像信号、すなわち、処理対象の画像信号を、「入力画像信号」と示す場合がある。
【００４９】
（本発明の実施形態に係る画像処理装置）
図６は、本発明の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、パラメータ取得部１０２と、遅延時間算出部１０４と、動き検出部１０６と、補正部１０８とを備える。
【００５０】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory；図示せず）、ＲＡＭ（Random Access Memory；図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。
【００５１】
ここで、制御部（図示せず）は、例えば、ＭＰＵ（Micro Processing Unit）や、各種処理回路などで構成され画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、パラメータ取得部１０２、遅延時間算出部１０４、動き検出部１０６、および補正部１０８の役目を果たしてもよい。また、制御部（図示せず）は、例えば、補正部１０８が処理を行った画像信号（出力画像信号）をエンコードして、記憶部（図示せず）に記録する、および／または、当該画像信号が示す画像を表示部（図示せず）や外部表示装置の表示画面に表示させるなど、本発明の実施形態に係る画像処理方法に係る処理が行われた画像信号に対する処理を行う役目を果たしてもよい。
【００５２】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００５３】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００５４】
操作部（図示せず）としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。
【００５５】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。
【００５６】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００５７】
以下、図６に示す本発明の実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００５８】
パラメータ取得部１０２は、撮像パラメータを取得する。
【００５９】
［撮像パラメータの取得処理の一例］
（ｉ）第１の例
パラメータ取得部１０２は、撮像装置を識別する識別情報を、例えば、入力画像信号、または、識別情報を記憶する記録媒体から取得する。そして、パラメータ取得部１０２は、例えば、識別情報と撮像パラメータとが対応付けられたデータベースから、取得した識別情報に対応する撮像パラメータを取得する。
【００６０】
ここで、入力画像信号からの識別情報の取得方法としては、例えば、パラメータ取得部１０２が、入力画像信号に含まれている（または入力画像信号に埋め込まれている）メタデータやすかしなどをデコードする（または、デコーダなどにデコードさせる）ことが挙げられる。本発明の実施形態に係る識別情報としては、例えば、撮像装置の機種を示す型番が挙げられるが、撮像装置を識別することが可能な情報であれば、任意の情報を識別情報とすることが可能である。
【００６１】
また、パラメータ取得部１０２は、例えば記憶部（図示せず）に記憶されるデータベースから識別情報に対応する撮像パラメータを取得するが、パラメータ取得部１０２における処理は、上記に限られない。例えば、パラメータ取得部１０２は、例えばサーバなどの外部装置から、識別情報に対応する撮像パラメータを取得してもよい。ここで、外部装置から撮像パラメータを取得する場合には、パラメータ取得部１０２は、例えば通信部（図示せず）を介して外部装置と通信を行い、識別情報と撮像パラメータの送信を要求する送信要求とを当該外部装置に送信することによって、撮像パラメータを取得する。なお、画像処理装置１００では、例えば、パラメータ取得部１０２が通信機能を有していてもよい。上記の場合には、画像処理装置１００が通信部（図示せず）を備えているか否かによらず、パラメータ取得部１０２が、外部装置と通信を行って撮像パラメータを取得することとなる。
【００６２】
また、識別情報を記憶する記録媒体としては、例えば、記憶部（図示せず）やＲＯＭ（図示せず）が挙げられるが、識別情報を記憶する記録媒体は、上記に限られない。例えば、識別情報を記憶する記録媒体は、画像処理装置１００から着脱可能な外部記録媒体であってもよい。上記外部記録媒体としては、例えばフラッシュメモリなどの不揮発性メモリが挙げられる。ここで、上記記録媒体に記録される識別情報は、例えば、予め記録されたものであってもよいし、ユーザ操作に応じて記録されるものであってもよい。
【００６３】
（ｉｉ）第２の例
パラメータ取得部１０２は、例えば、入力画像信号から撮像パラメータを取得することも可能である。ここで、入力画像信号からの撮像パラメータの取得方法としては、例えば、パラメータ取得部１０２が、入力画像信号に含まれている（または入力画像信号に埋め込まれている）メタデータやすかしなどをデコードする（または、デコーダなどにデコードさせる）ことが挙げられる。
【００６４】
（ｉｉｉ）第３の例
本発明の実施形態に係るパラメータ取得部１０２における撮像パラメータの取得処理は、上記第１の例、第２の例に限られない。例えば、パラメータ取得部１０２は、検出された被写体の動きを示す動き情報に基づいて、撮像パラメータを推定し、推定された撮像パラメータを、撮像パラメータとして取得してもよい。
【００６５】
図７は、本発明の実施形態に係る動き情報に基づく撮像パラメータの推定方法の一例を説明するための説明図である。例えば図７のＡに示すようにフォーカルプレーン歪みが生じている場合、フレーム画像における最初に撮像が行われたラインと最後に撮像が行われたラインとには、速さにずれ時間Δｔが生じる。画像処理装置１００は、例えば、上記ずれ時間Δｔとライン数とに基づいて遅延時間Ｒｌｉｎｅを推定する。より具体的には、画像処理装置１００は、例えば、“Δｔ／ライン数”の演算を行うことによって、遅延時間Ｒｌｉｎｅを推定する。なお、本発明の実施形態に係る撮像パラメータの推定方法は、上記に限られない。例えば、画像処理装置１００は、歪みを示す任意の情報から撮像パラメータを推定してもよい。
【００６６】
再度図６を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。パラメータ取得部１０２は、例えば上記第１の例〜第３の例に示す処理を行うことによって、撮像パラメータを取得する。なお、本発明の実施形態に係るパラメータ取得部１０２における撮像パラメータの取得処理が、上記第１の例〜第３の例に示す処理に限られないことは、言うまでもない。
【００６７】
また、パラメータ取得部１０２は、例えば、上記のような撮像パラメータの取得処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、パラメータ取得部１０２の構成は、上記に限られない。例えば、画像処理装置１００では制御部（図示せず）がパラメータ取得部１０２の役目を果たしてもよく、また、パラメータ取得部１０２は、他の処理も可能な汎用の処理回路であってもよい。
【００６８】
なお、図６では、画像処理装置１００がパラメータ取得部１０２を備えている構成を示しているが、本発明の実施形態に係る画像処理装置１００の構成は、上記に限られない。例えば、画像処理装置１００は、パラメータ取得部１０２を備えず、画像処理装置１００とは別体のパラメータ取得装置において取得された撮像パラメータを用いて処理を行うことも可能である。
【００６９】
また、図６では、画像処理装置１００が撮像パラメータを取得するパラメータ取得部１０２を備える例を示したが、本発明の実施形態に係る画像処理装置１００の構成は、上記に限られない。例えば、画像処理装置１００は、遅延時間情報を取得する遅延時間情報取得部（図示せず）をパラメータ取得部１０２の代わりに備えていてもよい。ここで、遅延時間情報取得部（図示せず）は、例えば、上記撮像パラメータの取得処理の第１の例、第２の例と同様の処理を行うことによって、遅延時間情報を取得するが、本発明の実施形態に係る遅延時間情報の取得処理は、上記に限られない。なお、本発明の実施形態に係る画像処理装置１００が、図６に示す構成に加え、さらに遅延時間情報取得部（図示せず）を備えていてもよいことは、言うまでもない。
【００７０】
遅延時間算出部１０４は、パラメータ取得部１０２において取得された撮像パラメータに基づいて、撮像における遅延時間を画素ごとに算出する。
【００７１】
図８は、本発明の実施形態に係る画像処理装置１００における遅延時間の算出方法の一例を説明するための説明図である。
【００７２】
撮像装置がラスタスキャン順に露光と読み出しとを行う場合には、図８に示す左上の画素における遅延は“０”とおくことが可能である。上記の場合、任意の画素における遅延時間は、当該画素の座標を（ｘ，ｙ）とおくと、例えば下記の数式１により算出される。ここで、数式１に示す“Ｒｐｉｘ”は、同一ラインの隣接する画素間における遅延時間であり、また、数式１に示す“Ｒｌｉｎｅ”は、隣接するライン間における遅延時間である。
【００７３】
【数１】
・・・（数式１）
【００７４】
遅延時間算出部１０４は、例えば数式１により遅延時間を画素ごとに算出し、算出した遅延時間を示す遅延時間情報を、動き検出部１０６へ伝達する。なお、遅延時間算出部１０４における遅延時間の算出方法は、上記に限られない。例えば、撮像素子群の左上および撮像素子群の左下から露光と読み出しとが行われることを示す撮像パラメータなど、露光および読み出しが開始される撮像素子の位置を示す撮像パラメータがパラメータ取得部１０２において取得された場合には、遅延時間算出部１０４は、当該位置に対応する複数の画素それぞれにおける遅延を“０”とおいて、各画素における遅延時間ｒ（ｘ，ｙ）を算出してもよい。
【００７５】
また、遅延時間算出部１０４は、例えば、上記のような遅延時間の算出方法に係る処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、遅延時間算出部１０４の構成は、上記に限られない。例えば、画像処理装置１００では制御部（図示せず）が遅延時間算出部１０４の役目を果たしてもよく、また、遅延時間算出部１０４は、他の処理も可能な汎用の処理回路であってもよい。
【００７６】
なお、図６では、画像処理装置１００が撮像における遅延時間を画素ごとに算出する遅延時間算出部１０４を備える例を示したが、本発明の実施形態に係る画像処理装置１００の構成は、上記に限られない。例えば、画像処理装置１００は、遅延時間情報取得部（図示せず）を備える場合には、遅延時間算出部１０４を備えていなくてもよい。上記の構成の場合には、画像処理装置１００では、例えば、遅延時間情報取得部（図示せず）から動き検出部１０６へと遅延時間情報が伝達される。
【００７７】
動き検出部１０６は、入力画像信号と、遅延時間情報とに基づいて、複数のフレーム画像から動画像に含まれる被写体の動きを検出する。ここで、動き検出部１０６が用いる遅延時間情報としては、例えば、遅延時間算出部１０４から伝達される遅延時間情報や、遅延時間情報取得部（図示せず）から伝達される遅延時間情報が挙げられる。
【００７８】
（Ｉ）第１の構成例
第１の構成例に係る動き検出部１０６は、遅延時間情報に基づいて動画像が撮像されたときの時間位相を特定し、特定された時間位相に基づいて画素ごとに被写体の動きを検出する。ここで、第１の構成例に係る動き検出部１０６における処理は、補正画像を基準として動き検出を行う場合の処理に該当する。
【００７９】
図９は、本発明の実施形態に係る画像処理装置１００が備える動き検出部１０６の第１の構成例における処理の概要を示す説明図である。第１の構成例に係る動き検出部１０６は、例えば連続する２つのフレームに対応する２つのフレーム画像について、画素ごとに当該２つのフレーム画像それぞれを参照する参照比率（１：α）を、時間位相として特定する。そして、第１の構成例に係る動き検出部１０６は、特定した参照比率を用いて被写体の動きを検出する。なお、図９では、第１の構成例に係る動き検出部１０６が連続する２つのフレームに対応する２つのフレーム画像を参照する参照比率を、時間位相として特定する例を示しているが、第１の構成例に係る動き検出部１０６における処理は、上記に限られない。例えば、第１の構成例に係る動き検出部１０６は、３以上のフレームそれぞれに対応する３以上のフレーム画像を参照する参照比率を、時間位相として特定することも可能である。以下では、例えば図９に示すように、第１の構成例に係る動き検出部１０６が、連続する２つのフレームに対応する２つのフレーム画像を参照する参照比率を時間位相として特定する場合を例に挙げて説明する。
【００８０】
図１０は、本発明の実施形態に係る画像処理装置１００が備える動き検出部１０６の第１の構成例を示すブロック図である。第１の構成例に係る動き検出部１０６は、例えば、参照比率算出部１１０と、検出部１１２（第１検出部）とを備える。
【００８１】
参照比率算出部１１０は、入力画像信号と、遅延時間算出部１０４から伝達される遅延時間情報とに基づいて参照比率を画素ごとに算出する。そして、参照比率算出部１１０は、算出した参照比率を示す情報（データ）を、検出部１１２へ伝達する。
【００８２】
図１１は、本発明の実施形態に係る画像処理装置１００が備える、第１の構成例に係る動き検出部１０６における参照比率の算出処理の一例を説明するための説明図である。ここで、図１１に示す補正画素とは、補正画像における画素である（以下、同様とする。）。また、以下では、補正画像に対応する入力画像（フレーム画像）における補正画素に対応する画素を、「参照画素」と示す場合がある。
【００８３】
例えばフレームレート変換などにおいて用いられる一般的な動き検出は、グローバルシャッター方式における時間位相で行われる。それに対して、本発明の実施形態に係る第１の構成例に係る検出部１０６（より厳密には、例えば参照比率算出部１１０）では、遅延時間情報を用いることによって入力画像信号に対応する動画像を撮像した撮像装置における遅延時間を考慮した上で、画素ごとに被写体の動きを検出する。
【００８４】
例えば、図１１に示す補正画素から入力画像Ａの参照画素までの時間と、補正画素から入力画像Ｂの参照画素までの時間の比率を“１：α”と仮定し、また、補正画素から入力画像Ａの参照画素までのベクトルを“（ｘｓｒｃｈ，ｙｓｒｃｈ）”と仮定する。上記のように仮定すると、入力画像Ａの参照画素の座標（ｘｒｅｆ，ｙｒｅｆ）、入力画像Ｂの参照画素の座標（ｘｔａｒ，ｙｔａｒ）、入力画像Ａの参照画素における遅延時間ｒｒｅｆ、および入力画像Ｂの参照画素における遅延時間ｒｔａｒは、例えば下記の数式２〜数式５で表される。
【００８５】
【数２】
・・・（数式２）
【数３】
・・・（数式３）
【数４】
・・・（数式４）
【数５】
・・・（数式５）
【００８６】
ここで、入力画像信号におけるフレーム周期を“ΔＴｒｅｆ”とおくと、入力画像Ｂの参照画素における遅延時間ｒｔａｒは、例えば下記の数式６で表される。
【００８７】
【数６】
・・・（数式６）
【００８８】
また、数式１、数式３、数式４、および数式６より、補正画素から入力画像Ｂの参照画素までの時間の比率に係る“α”は、例えば下記の数式７で表される。
【００８９】
【数７】
・・・（数式７）
【００９０】
なお、“α”は、上記数式７で算出されることに限られない。例えば、一般的に、同一ラインの隣接する画素間における遅延時間Ｒｐｉｘは、同一ラインの隣接する画素間における遅延時間Ｒｌｉｎｅよりも非常に小さい（すなわち、Ｒｐｉｘ＜＜Ｒｌｉｎｅ）ので、“α”は、例えば下記の数式８で表されてもよい。
【００９１】
【数８】
・・・（数式８）
【００９２】
なお、図１１では、連続する２つのフレームのフレーム画像（入力画像）を参照画像とする例を示しているが、本発明の実施形態に係る第１の構成例に係る動き検出部１０６における参照比率の算出方法は、上記に限られない。
【００９３】
図１２は、本発明の実施形態に係る画像処理装置１００が備える、第１の構成例に係る動き検出部１０６における参照比率の算出処理の他の例を説明するための説明図である。ここで、図１２は、第１の構成例に係る動き検出部１０６が、任意の２つのフレームのフレーム画像（入力画像）を参照画像とする例を示している。
【００９４】
入力画像Ａに対応するフレームと補正画像に対応するフレーム（以下、「補正フレーム」と示す。）との間隔を“ΔＴｒｅｆ”、補正フレームと入力画像Ｂに対応するフレームとの間隔を“ΔＴｔａｒ”とおくと、補正画素から入力画像Ｂの参照画素までの時間の比率に係る“α”は、例えば下記の数式９で表される。また、Ｒｐｉｘ＜＜Ｒｌｉｎｅより、“α”は、例えば下記の数式１０で表されてもよい。
【００９５】
【数９】
・・・（数式９）
【数１０】
・・・（数式１０）
【００９６】
参照比率算出部１１０は、例えば上記のような演算を行うことによって、参照比率を画素ごとに算出する。ここで、例えば数式８〜数式１０に示すように、入力画像の参照比率は、画像の時間間隔と、補正画像の座標（ｘ，ｙ）、および撮像パラメータに基づく遅延時間情報によって、表される。よって、画像処理装置１００では、被写体の動き検出や、入力画像信号の補正（動き補償）を、上記のように算出された画素ごとの参照比率を用いて行うことができる。また、上記のように算出された画素ごとの参照比率を用いることによって、画像処理装置１００は、フレームレート変換を行うこともできる。
【００９７】
なお、図１１、図１２では、２つのフレームのフレーム画像（入力画像）を参照画像とする例を示したが、本発明の実施形態に係る第１の構成例に係る動き検出部１０６における参照比率の算出方法は、上記に限られない。例えば、本発明の実施形態に係る第１の構成例に係る動き検出部１０６は、３以上のフレーム画像を参照画像として用いることも可能である。
【００９８】
また、上記では、図１１、図１２に示すように、画素ごとの遅延時間ｒ（ｘ，ｙ）が上記数式１により表される場合における参照比率を算出する例を示したが、本発明の実施形態に係る画素ごとの遅延時間ｒ（ｘ，ｙ）は、数式１に示す関数で表されることに限られない。例えば、本発明の実施形態に係る画素ごとの遅延時間ｒ（ｘ，ｙ）は、任意の関数で表されていてもよい。
【００９９】
図１３、図１４は、本発明の実施形態に係る撮像における遅延時間の他の例を説明するための説明図である。ここで、図１３は、遅延時間ｒ（ｘ，ｙ）が画素の座標を引数に有する任意の関数である場合におけるフレーム画像の一例を示している。また、図１４は、垂直座標のある区間ごとに遅延時間を示す関数が変化する場合（図１３に示す遅延時間ｒ（ｘ，ｙ）が任意の関数で表される場合の一例）におけるフレーム画像の一例を示している。より具体的には、図１４は、撮像装置において撮像装置が備える撮像素子群のうちの撮像素子群の左上および撮像素子群の左下から露光と読み出しとが行われた場合における、フレーム画像の一例を示している。
【０１００】
第１の構成例に係る動き検出部１０６を備える画像処理装置１００は、例えば図１３、図１４に示すように、遅延時間ｒ（ｘ，ｙ）が任意の関数で表される場合であっても、上述した遅延時間ｒ（ｘ，ｙ）が数式１で表される場合と同様に、参照比率を算出することが可能である。
【０１０１】
図１５は、本発明の実施形態に係る画像処理装置１００が備える、第１の構成例に係る動き検出部１０６における参照比率の算出処理の他の例を説明するための説明図である。ここで、図１５は、図１２と同様に、第１の構成例に係る動き検出部１０６が、任意の２つのフレームのフレーム画像（入力画像）を参照画像とする例を示している。
【０１０２】
数式３、数式４、および数式５より、補正画素から入力画像Ｂの参照画素までの時間の比率に係る“α”は、例えば下記の数式１１で表される。ここで、参照比率算出部１１０は、例えば、遅延時間算出部１０４から伝達される遅延時間情報や、遅延時間情報取得部（図示せず）から伝達される遅延時間情報によって、遅延関数ｒ（ｘ，ｙ）を既知とすることが可能である。よって、数式１１における未知数は“α”１つとなるので、画像処理装置１００は、補正画素から入力画像Ｂの参照画素までの時間の比率に係る“α”を一意に算出することができる。
【０１０３】
【数１１】
・・・（数式１１）
【０１０４】
ここで、例えば遅延時間ｒ（ｘ，ｙ）を示す関数が数式１で表される場合には、数式１１に示す“α”は、数式９で表される。つまり、数式１１は、数式９を一般化した式である。
【０１０５】
上記のように、第１の構成例に係る動き検出部１０６を備える画像処理装置１００は、画素ごとの遅延時間ｒ（ｘ，ｙ）が任意の関数で表されている場合であっても、参照比率を画素ごとに算出することができる。
【０１０６】
なお、画素ごとの遅延時間ｒ（ｘ，ｙ）が任意の関数で表されている場合における参照比率の算出方法は、上記に限られない。例えば、図１４に示すように、垂直座標のある区間ごとに遅延時間を示す関数が変化する場合には、第１の構成例に係る動き検出部１０６を備える画像処理装置１００は、同一の関数で表される垂直座標の区間ごとに、参照比率を算出してもよい。
【０１０７】
再度図１０を参照して、第１の構成例に係る動き検出部１０６の構成の一例について説明する。検出部１１２は、入力画像信号と、参照比率算出部１１０において算出された参照比率とに基づいて、被写体の動きを検出する
【０１０８】
上述したように、第１の構成例に係る動き検出部１０６は、補正画像を基準として動き検出を行う。補正画像を基準として動き検出を行う場合には、例えば、動き（例えば、ベクトル、オプティカルフローで表される。）を仮定して評価値や拘束条件などを求めることになる。検出部１１２は、例えば、参照比率算出部１１０において算出された参照比率を用いて、入力画像への動きベクトル（オプティカルフロー）を決定する。ここで、検出部１１２は、例えば、ブロックマッチング法や、勾配法など、動きを検出することが可能な任意の方法を用いて、動きベクトルを決定する。
【０１０９】
図１６は、本発明の実施形態に係る画像処理装置１００が備える、第１の構成例に係る動き検出部１０６における動き検出処理の一例を説明するための説明図である。ここで、図１６は、動き検出部１０６が、ブロックマッチングを用いた補正画像基準の動き検出を、２つのフレーム画像（入力画像）から行う場合の一例を示している。
【０１１０】
例えば図８より、補正画素の座標（ｘ，ｙ）に対応する入力画像Ａにおける探索位置（座標）は、（ｘ＋ｘｓｒｃｈ，ｙ＋ｙｓｒｃｈ）と表され、また、補正画素の座標（ｘ，ｙ）に対応する入力画像Ｂにおける探索位置（座標）は、（ｘ−α×ｘｓｒｃｈ，ｙ−α×ｙｓｒｃｈ）と表される。よって、入力画像Ａの参照位置における画素値と、入力画像Ｂの参照位置における画素値とは、例えば下記の数式１２、数式１３で表される。
【０１１１】
【数１２】
・・・（数式１２）
【数１３】
・・・（数式１３）
【０１１２】
また、“ｎ”をブロック内の基準位置からのｘ軸方向への移動量とし、“ｍ”をブロック内の基準位置からのｙ軸方向への移動量とすると、入力画像Ａ、入力画像Ｂそれぞれの参照位置は、例えば下記の数式１４、数式１５で表される。
【０１１３】
【数１４】
・・・（数式１４）
【数１５】
・・・（数式１５）
【０１１４】
また、ブロックの座標範囲を（ｘ−Ｍ，ｙ−Ｎ）〜（ｘ＋Ｍ，ｙ＋Ｎ）とすると、動きの評価値ｅｘｙ（ｘｓｒｃｈ，ｙｓｒｃｈ）は、例えば下記の数式１６で表される。
【０１１５】
【数１６】
・・・（数式１６）
【０１１６】
検出部１１２は、例えば上記のような演算を行うことによって、動きを検出する。そして、検出部１１２は、例えば、各入力画像の参照位置（参照画素の座標）と、各参照位置に対応する参照比率とを、動き情報として補正部１０８へ伝達する。
【０１１７】
なお、本発明の実施形態に係る第１の構成例に係る動き検出部１０６における動きの検出方法は、上記に限られない。例えば、第１の構成例に係る動き検出部１０６は、ブロックマッチングを用いる場合において、畳み込みに使用するブロック内の画素数を任意の数に減らすことも可能である。また、第１の構成例に係る動き検出部１０６は、拘束条件で用いられるオプティカルフローを仮定する際に入力画像の参照比率を用いた勾配法によって、動きを検出することもできる。さらに、第１の構成例に係る動き検出部１０６は、複数の入力画像から求められた複数の動きを算出することによって、動きの検出結果の精度を向上させることも可能である。
【０１１８】
第１の構成例に係る動き検出部１０６は、例えば図１０に示す構成によって、補正画像を基準として動きを検出し、検出された動きを示す動き情報を補正部１０８へ伝達する。ここで、第１の構成例に係る動き検出部１０６は、例えば上記のような動き検出処理を行うことが可能な任意の構成を有する専用の処理回路で実現可能であるが、第１の構成例に係る動き検出部１０６の構成は、上記に限られない。例えば、画像処理装置１００では制御部（図示せず）が第１の構成例に係る動き検出部１０６の役目を果たしてもよく、また、第１の構成例に係る動き検出部１０６は、他の処理も可能な汎用の処理回路であってもよい。
【０１１９】
（ＩＩ）第２の構成例
第２の構成例に係る動き検出部１０６は、２段階の動き検出を行うことによって、被写体の動きを検出する。より具体的には、第２の構成例に係る動き検出部１０６は、まず入力画像信号に基づいて被写体の動きを検出する。そして、第２の構成例に係る動き検出部１０６は、入力画像信号に基づき検出された動きを示す動き情報と、入力画像信号と、遅延時間算出部１０４から伝達される遅延時間情報とに基づいて、被写体の動きを再検出する。ここで、第２の構成例に係る動き検出部１０６における処理は、入力画像（フレーム画像）を基準として動き検出を行う場合の処理に該当する。
【０１２０】
図１７は、本発明の実施形態に係る画像処理装置１００が備える動き検出部１０６の第２の構成例における処理の概要を示す説明図である。入力画像を基準として動き検出を行う場合、第２の構成例に係る動き検出部１０６は、例えば連続する２つのフレームに対応する２つのフレーム画像に基づいて、動きを検出する。そして、第２の構成例に係る動き検出部１０６は、遅延時間情報に基づいて、補正画像の位置における動き量の再計算を行う。上記のように再計算を行うことによって、撮像における遅延時間を補償することが可能となる。なお、図１７では、第２の構成例に係る動き検出部１０６が連続する２つのフレームに対応する２つのフレーム画像に基づき処理を行う例を示しているが、第２の構成例に係る動き検出部１０６における処理は、上記に限られない。例えば、第２の構成例に係る動き検出部１０６は、任意の２つのフレームそれぞれに対応するフレーム画像や、３以上のフレームそれぞれに対応する３以上のフレーム画像に基づき処理を行うことも可能である。以下では、第２の構成例に係る動き検出部１０６が、２つのフレームに対応する２つのフレーム画像に基づき処理を行う場合を例に挙げて説明する。
【０１２１】
図１８は、本発明の実施形態に係る画像処理装置１００が備える動き検出部１０６の第２の構成例を示すブロック図である。第２の構成例に係る動き検出部１０６は、例えば、検出部１１４（第２検出部）と、再検出部１１６（第３検出部）とを備える。
【０１２２】
検出部１１４は、入力画像信号に基づいて被写体の動きを検出する。そして、検出部１１４は、検出した動きを示す動き情報を再検出部１１６へ伝達する。
【０１２３】
ここで、検出部１１４は、例えば、ブロックマッチング法や、勾配法など、動きを検出することが可能な任意の方法を用いて、動きと、各補正画素に対応するフレーム画像における対応点とを算出する。つまり、検出部１１４は、露光や読み出しによる遅延による、画素ごとの撮像における遅延時間を考慮せず、例えばフレーム変換などにおいて用いられる一般的な動き検出方法を用いることが可能である。
【０１２４】
再検出部１１６は、検出部１１４から伝達される動き情報と、入力画像信号と、遅延時間算出部１０４から伝達される遅延時間情報とに基づいて、被写体の動きを再検出する。
【０１２５】
動き検出を入力画像を基準として行う場合には、検出部１１４において入力画像信号に基づき求められた対応点から、補正画像の座標を求める必要がある。本発明の実施形態に係る第２の構成例に係る検出部１０６（より厳密には、例えば再検出部１１６）では、遅延時間情報を用いることによって入力画像信号に対応する動画像を撮像した撮像装置における遅延時間を考慮した上で、補正画像の座標を求める。つまり、第２の構成例に係る検出部１０６は、上記第１の構成例に係る検出部１０６と同様に、遅延時間情報に基づいて動画像が撮像されたときの時間位相を特定し、特定された時間位相に基づいて画素ごとに被写体の動きを検出する。
【０１２６】
図１９は、本発明の実施形態に係る画像処理装置１００が備える、第２の構成例に係る動き検出部１０６における参照比率の算出処理の一例を説明するための説明図である。
【０１２７】
入力画像信号に基づき求められた入力画像Ａの対応点の画素の座標を“（ｘｒｅｆ，ｙｒｅｆ）”、入力画像信号に基づき求められた入力画像Ｂの対応点の画素の座標を“（ｘｔａｒ，ｙｔａｒ）”とおくと、入力画像Ａの各画素における撮像における遅延時間ｒｒｅｆと、入力画像Ｂの各画素における撮像における遅延時間ｒｔａｒとは、上記数式１より、例えば下記の数式１７、数式１８で表される。
【０１２８】
【数１７】
・・・（数式１７）
【数１８】
・・・（数式１８）
【０１２９】
また、図１９に示すように、補正フレームと入力画像Ａに対応するフレームとの時間間隔と、補正フレームと入力画像Ｂに対応するフレームとの時間間隔との比率を“１：α”とおき、入力画像Ａに対応するフレームと補正フレーム」と示す。）との間隔を“ΔＴｒｅｆ”、補正フレームと入力画像Ｂに対応するフレームとの間隔を“ΔＴｔａｒ”とおくと、補正画素から入力画像Ｂの参照画素までの時間の比率に係る“α”は、上記数式１、数式１７、数式１８より、例えば下記の数式１９で表される。また、Ｒｐｉｘ＜＜Ｒｌｉｎｅより、“α”は、例えば下記の数式２０で算出されてもよい。
【０１３０】
【数１９】
・・・（数式１９）
【数２０】
・・・（数式２０）
【０１３１】
また、（ｘｒｅｆ，ｙｒｅｆ）、（ｘｔａｒ，ｙｔａｒ）に対応する、補正画像における座標（ｘ，ｙ）は、例えば下記の数式２１で表される。
【０１３２】
【数２１】
・・・（数式２１）
【０１３３】
ここで、例えば数式２１に示す演算によって補正画像における座標（ｘ，ｙ）を求める場合には、例えば、補正画像においてベクトルが当たらない画素が生じることや、複数のベクトルが重なることが生じる恐れがある。図２０は、本発明の実施形態に係る画像処理装置１００が備える、第２の構成例に係る動き検出部１０６における参照比率の算出処理の過程において生じうる問題の一例を示す説明図である。
【０１３４】
第２の構成例に係る動き検出部１０６は、例えば、補正画像における周辺の画素の情報を用いて補間することによって、補正画像においてベクトルが当たらない画素が生じることを防止する。また、第２の構成例に係る動き検出部１０６は、例えば、入力画像信号に基づき算出した評価値を用いてより最適なベクトルを決定することによって、複数のベクトルが重なることによる問題を解消する。なお、第２の構成例に係る動き検出部１０６は、上記の場合において、複数の入力画像から求められた複数の動きの検出結果を利用してもよい。
【０１３５】
なお、上記では、図１９に示すように、画素ごとの遅延時間ｒ（ｘ，ｙ）が上記数式１により表される場合において、画像処理装置１００が参照比率を算出する例を示したが、本発明の実施形態に係る画素ごとの遅延時間ｒ（ｘ，ｙ）は、数式１に示す関数で表されることに限られない。例えば、本発明の実施形態に係る画素ごとの遅延時間ｒ（ｘ，ｙ）は、上述した第１の構成例に係る動き検出部１０６の場合と同様に、任意の関数で表されていてもよい。第２の構成例に係る動き検出部１０６を備える画像処理装置１００は、遅延時間ｒ（ｘ，ｙ）が任意の関数で表される場合であっても、上述した遅延時間ｒ（ｘ，ｙ）が数式１で表される場合と同様に、参照比率を算出することが可能である。
【０１３６】
図２１は、本発明の実施形態に係る画像処理装置１００が備える、第２の構成例に係る動き検出部１０６における参照比率の算出処理の他の例を説明するための説明図である。
【０１３７】
補正画素から入力画像Ｂの参照画素までの時間の比率に係る“α”は、上記数式１７、数式１８より、例えば下記の数式２２で表される。ここで、再検出部１１６は、例えば、遅延時間算出部１０４から伝達される遅延時間情報や、遅延時間情報取得部（図示せず）から伝達される遅延時間情報によって、遅延関数ｒ（ｘ，ｙ）を既知とすることが可能である。また、再検出部１１６は、検出部１１４から伝達される動き情報によって、“ｘｒｅｆ”、“ｙｒｅｆ”、“ｘｔａｒ”、および“ｙｔａｒ”を既知とすることが可能である。よって、数式２２における未知数は“α”１つとなるので、画像処理装置１００は、補正画素から入力画像Ｂの参照画素までの時間の比率に係る“α”を一意に算出することができる。
【０１３８】
【数２２】
・・・（数式２２）
【０１３９】
また、（ｘｒｅｆ，ｙｒｅｆ）、（ｘｔａｒ，ｙｔａｒ）に対応する、補正画像における座標（ｘ，ｙ）は、例えば上記数式２１で表される。
【０１４０】
ここで、例えば遅延関数ｒ（ｘ，ｙ）が数式１で表される場合には、数式２２に示す“α”は、数式１９で表される。つまり、数式２２は、数式１９を一般化した式であるといえる。
【０１４１】
上記のように、第２の構成例に係る動き検出部１０６を備える画像処理装置１００は、画素ごとの遅延時間ｒ（ｘ，ｙ）が任意の関数で表されている場合であっても、参照比率を画素ごとに算出することができる。
【０１４２】
なお、画素ごとの遅延時間ｒ（ｘ，ｙ）が任意の関数で表されている場合における参照比率の算出方法は、上記に限られない。例えば、図１４に示すように、垂直座標のある区間ごとに遅延時間を示す関数が変化する場合には、第２の構成例に係る動き検出部１０６を備える画像処理装置１００は、第１の構成例に係る動き検出部１０６を備える場合と同様に、同一の関数で表される垂直座標の区間ごとに、参照比率を算出してもよい。
【０１４３】
再検出部１１６は、例えば、上記のような演算を行うことによって、補正画素から入力画像Ｂの参照画素までの時間の比率に係る“α”を算出して、補正フレームと入力画像Ａに対応するフレームとの時間間隔と、補正フレームと入力画像Ｂに対応するフレームとの時間間隔との比率、すなわち、参照比率を求める。そして、再検出部１１６は、例えば、参照画素の座標と、各参照画素に対応する参照比率とを、動き情報として補正部１０８へ伝達する。
【０１４４】
第２の構成例に係る動き検出部１０６は、例えば図１８に示す構成によって、入力画像（フレーム画像）を基準として動きを検出し、検出された動きを示す動き情報を補正部１０８へ伝達する。ここで、第２の構成例に係る動き検出部１０６は、例えば上記のような動き検出処理を行うことが可能な任意の構成を有する専用の処理回路で実現可能であるが、第２の構成例に係る動き検出部１０６の構成は、上記に限られない。例えば、画像処理装置１００では制御部（図示せず）が第２の構成例に係る動き検出部１０６の役目を果たしてもよく、また、第２の構成例に係る動き検出部１０６は、他の処理も可能な汎用の処理回路であってもよい。
【０１４５】
本発明の実施形態に係る動き検出部１０６は、例えば、図１０や図１８に示す構成によって、被写体の動きを検出し、検出された動きを示す動き情報を補正部１０８へ伝達する。なお、本発明の実施形態に係る動き検出部１０６の構成は、図１０や図１８に示す構成に限られない。例えば、本発明の実施形態に係る動き検出部１０６は、ユーザ操作などに基づいて、算出した参照比率を調整してもよい。上記の場合には、画像処理装置１００では、遅延時間情報に基づき特定された時間位相が調整される。
【０１４６】
再度図６を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。補正部１０８は、入力画像信号と、動き検出部１０６から伝達される動き情報とに基づいて、入力画像信号を補正する。より具体的には、補正部１０８は、第１の構成例に係る動き検出部１０６における動き検出、または、第２の構成例に係る動き検出部１０６における動きの再検出（動きベクトルの再算出）において算出された画素の参照比率と、補正画像の各画素に対応する入力画像の対応点（参照画素の座標）とを用いて、入力画像信号から補正画素を求める。ここで、補正部１０８における処理は、補間を行う処理に相当する。
【０１４７】
図２２は、本発明の実施形態に係る画像処理装置１００が備える補正部１０８における処理の一例を示す説明図である。
【０１４８】
補正部１０８は、例えば、画素の参照比率“１：α”を用いて複数の入力画素のブレンド比率を決定する。例えば、入力画像Ａの対応する画素（対応点）の画素値を“Ｐｒｅｆ”、入力画像Ｂの対応する画素（対応点）の画素値を“Ｐｔａｒ”とおくと、補正画素の画素値“Ｐｉｎｔ ｅｒｐ”は、例えば下記の数式２３によって、線形補間によって求められる。
【０１４９】
【数２３】
・・・（数式２３）
【０１５０】
補正部１０８は、例えば上記数式２３に示す演算を対応点ごとに行うことによって、入力画像信号を補正し、動きを補償する。なお、本発明の実施形態に係る補正部１０８における処理は、上記に限られない。例えば、補正部１０８は、動き補償を行う際に、複数の入力画像のペアと、これらのペアそれぞれから動きを検出した複数の結果とを用いて、補正画素を決定してもよい。
【０１５１】
また、補正部１０８は、例えば、上記のような補正処理を行うことが可能な任意の構成を有する専用の処理回路で実現可能であるが、補正部１０８の構成は、上記に限られない。例えば、画像処理装置１００では制御部（図示せず）が補正部１０８の役目を果たしてもよく、また、補正部１０８は、他の処理も可能な汎用の処理回路であってもよい。
【０１５２】
図２３は、本発明の実施形態に係る画像処理装置１００における処理結果の一例を示す説明図である。ここで、図２３に示すＡと図２３に示すＢとは、ローリングシャッター方式の撮像装置を用いて風景（被写体）を撮像した場合に得られる動画像を構成する一のフレーム画像を示している。また、図２３に示すＡは、本発明の実施形態に係る画像処理方法に係る処理が用いられない場合の処理結果の一例を示しており、また、図２３に示すＢは、図１０に示す第１の構成例に係る動き検出部１０６を備える画像処理装置１００が処理した場合（本発明の実施形態に係る画像処理方法に係る処理が用いられた場合）の処理結果の一例を示している。
【０１５３】
図２３のＡ、図２３のＢに示すように、本発明の実施形態に係る画像処理方法に係る処理が行われることによって、図２３のＡに示すフレーム画像において生じているフォーカルプレーン歪みが、図２３のＢに示すフレーム画像においては補正されることが分かる。
【０１５４】
本発明の実施形態に係る画像処理装置１００は、例えば図６に示す構成によって、（Ａ）撮像パラメータに基づく撮像における遅延時間の算出処理、（Ｂ）被写体の動きの検出処理、（Ｃ）画像信号の補正処理（動き補償処理）、を行う。ここで、上記（Ａ）の処理〜（Ｃ）の処理を行うことによって、撮像における遅延時間が考慮された上で動きが補償されるので、上述した本発明の実施形態に係る画像処理方法が実現される。つまり、上記（Ａ）の処理〜（Ｃ）の処理は、上述した本発明の実施形態に係る画像処理方法に係る処理に該当する。よって、画像処理装置１００は、例えば図６に示す構成によって、上述した本発明の実施形態に係る画像処理方法を実行することができる。
【０１５５】
したがって、本発明の実施形態に係る画像処理装置１００は、例えば図６に示す構成によって、フォーカルプレーン歪みを補正することができる。
【０１５６】
なお、本発明の実施形態に係る画像処理装置１００の構成は、図６に示す構成に限られない。例えば、本発明の実施形態に係る画像処理装置１００は、図６に示す構成に加え、動画像を撮像する撮像部（図示せず）をさらに備えていてもよい。上記の構成の場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された画像信号を処理することが可能である。
【０１５７】
ここで、本発明の実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳなどのローリングシャッター方式に係る撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【０１５８】
また、画像処理装置１００は、例えば、通信部（図示せず）をさらに備えていてもよい。通信部（図示せず）を備えることによって、画像処理装置１００は、例えば、外部装置から送信された画像信号（入力画像信号）を処理し、処理後の画像信号（出力画像信号）を通信部（図示せず）を介して、当該外部装置へ送信することが可能となる。よって、画像処理装置１００がさらに通信部（図示せず）を備えることによって、例えば、クラウドコンピューティングなどのネットワークへの接続を前提とした画像処理システムが実現される。
【０１５９】
また、画像処理装置１００は、パラメータ取得部１０２が撮像パラメータを推定する処理を行う場合（撮像パラメータの取得処理の第３の例）には、例えば、推定を行うために有効な撮像環境を検出する機構や、モード遷移して撮影者に最適な撮像環境をアドバイスする機構などさらに備えていてもよい。上記に構成を有する場合には、画像処理装置１００は、推定の精度をさらに向上させることができる。
【０１６０】
また、上述したように、本発明の実施形態に係る画像処理装置１００は、遅延時間情報を取得する構成である場合には遅延時間算出部を備えていなくてもよい。上記の構成の場合には、画像処理装置１００は、上記（Ｂ）の処理（被写体の動きの検出処理）、および（Ｃ）の処理（画像信号の補正処理（動き補償処理））によって、本発明の実施形態に係る画像処理方法を実現する。つまり、上記の構成の場合には、上記（Ｂ）の処理および（Ｃ）の処理が、上述した本発明の実施形態に係る画像処理方法に係る処理に該当する。
【０１６１】
以上のように、本発明の実施形態に係る画像処理装置１００は、撮像装置の撮像パラメータに基づいて、撮像における遅延時間を画素ごとに算出し、当該遅延時間を考慮して複数のフレーム画像から動画像に含まれる被写体の動きを検出する。そして、画像処理装置１００は、検出された動きに基づき画像信号を補正することによって、検出された動きを補償する。ここで、画像処理装置１００は、撮像における遅延時間を考慮して画像信号の補正を行う。よって、画像処理装置１００は、動画像における動きが、例えば、カメラワークであっても物体（被写体）の動きであっても、当該動きを補償することができる。
【０１６２】
したがって、画像処理装置１００は、動画像において発生しうるフォーカルプレーン歪みを補正することができる。
【０１６３】
また、画像処理装置１００は、画素ごとに読み出し時間位相を求めることが可能であり、撮像における遅延時間を考慮して動きの検出、動きの補償を行うので、補正処理において、同一の時間位相の画素を復元することができる。
【０１６４】
また、画像処理装置１００は、撮像パラメータに基づき撮像における遅延時間を算出するので、撮像装置ごとに精度の高い補正を行うことができる。
【０１６５】
さらに、画像処理装置１００は、算出した参照比率を調整することも可能であるので、例えば、任意の時間位相の画像を生成することができ、また、補正処理と共にフレームレートの変換を行うことができる。
【０１６６】
以上、本発明の実施形態として画像処理装置１００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置、ＰＣやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話などの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated Circuit）に適用することもできる。
【０１６７】
（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、上記（Ａ）の処理〜（Ｃ）の処理を実現するためのプログラムや、上記（Ｂ）の処理および（Ｃ）の処理を実現するためのプログラムなど、本発明の実施形態に係る画像処理方法に係る処理を実現するためのプログラム）によって、フォーカルプレーン歪みを補正することができる。
【０１６８】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１６９】
例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【０１７０】
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。
【符号の説明】
【０１７１】
１００ 画像処理装置
１０２ パラメータ取得部
１０４ 遅延時間算出部
１０６ 動き検出部
１０８ 補正部
１１０ 参照比率算出部
１１２、１１４ 検出部
１１６ 再検出部
【特許請求の範囲】
【請求項１】
フレーム画像からなる動画像を示す画像信号と、撮像における遅延時間を示す遅延時間情報とに基づいて、複数の前記フレーム画像から前記動画像に含まれる被写体の動きを検出する動き検出部と、
前記画像信号と、検出された被写体の動きを示す動き情報とに基づいて、前記画像信号を補正する補正部と、
を備える、画像処理装置。
【請求項２】
ラインごとに順次撮像を行う撮像素子を有する撮像装置の撮像パラメータに基づいて、前記遅延時間を画素ごとに算出する遅延時間算出部をさらに備える、請求項１に記載の画像装置。
【請求項３】
前記動き検出部は、前記遅延時間情報に基づいて前記動画像が撮像されたときの時間位相を特定し、特定された前記時間位相に基づいて画素ごとに前記被写体の動きを検出する、請求項１または２に記載の画像処理装置。
【請求項４】
前記動き検出部は、前記遅延時間情報に基づき特定された前記時間位相を調整する、請求項３に記載の画像処理装置。
【請求項５】
前記動き検出部は、
前記遅延時間情報に基づいて、複数の前記フレーム画像それぞれを参照する比率を示す参照比率を算出する参照比率算出部と、
算出された参照比率に基づいて前記被写体の動きを検出する第１検出部と、
を備える、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記動き検出部は、
前記画像信号に基づいて前記被写体の動きを検出する第２検出部と、
前記第１検出部において検出された動きを示す動き情報と、前記画像信号と、前記遅延時間情報とに基づいて、前記被写体の動きを再検出する第３検出部と、
を備える、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項７】
前記補正部は、１または２以上の動き情報に基づいて、前記画像信号を補正する、請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記動き情報には、複数の前記フレーム画像それぞれを参照する比率を示す参照比率が含まれる、請求項７に記載の画像処理装置。
【請求項９】
前記撮像パラメータを取得するパラメータ取得部をさらに備える、請求項２〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記パラメータ取得部は、
前記撮像装置を識別する識別情報を、前記画像信号、または、前記識別情報を記憶する記録媒体から取得し、
前記識別情報と前記撮像パラメータとが対応付けられたデータベースから、取得した前記識別情報に対応する前記撮像パラメータを取得する、請求項９に記載の画像処理装置。
【請求項１１】
前記パラメータ取得部は、前記動き検出部が検出した動き情報に基づいて、前記撮像パラメータを推定して前記撮像パラメータを取得する、請求項９に記載の画像処理装置。
【請求項１２】
前記パラメータ取得部は、前記画像信号から前記撮像パラメータを取得する、請求項９に記載の画像処理装置。
【請求項１３】
前記動画像を撮像する撮像部をさらに備える、請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１４】
フレーム画像からなる動画像を示す画像信号と、撮像における遅延時間を示す遅延時間情報とに基づいて、複数の前記フレーム画像から前記動画像に含まれる被写体の動きを検出するステップと、
前記画像信号と、検出された被写体の動きを示す動き情報とに基づいて、前記画像信号を補正するステップと、
を有する、画像処理方法。
【請求項１５】
フレーム画像からなる動画像を示す画像信号と、撮像における遅延時間を示す遅延時間情報とに基づいて、複数の前記フレーム画像から前記動画像に含まれる被写体の動きを検出するステップ、
前記画像信号と、検出された被写体の動きを示す動き情報とに基づいて、前記画像信号を補正するステップ、
をコンピュータに実行させるためのプログラム。
【請求項１】
フレーム画像からなる動画像を示す画像信号と、撮像における遅延時間を示す遅延時間情報とに基づいて、複数の前記フレーム画像から前記動画像に含まれる被写体の動きを検出する動き検出部と、
前記画像信号と、検出された被写体の動きを示す動き情報とに基づいて、前記画像信号を補正する補正部と、
を備える、画像処理装置。
【請求項２】
ラインごとに順次撮像を行う撮像素子を有する撮像装置の撮像パラメータに基づいて、前記遅延時間を画素ごとに算出する遅延時間算出部をさらに備える、請求項１に記載の画像装置。
【請求項３】
前記動き検出部は、前記遅延時間情報に基づいて前記動画像が撮像されたときの時間位相を特定し、特定された前記時間位相に基づいて画素ごとに前記被写体の動きを検出する、請求項１または２に記載の画像処理装置。
【請求項４】
前記動き検出部は、前記遅延時間情報に基づき特定された前記時間位相を調整する、請求項３に記載の画像処理装置。
【請求項５】
前記動き検出部は、
前記遅延時間情報に基づいて、複数の前記フレーム画像それぞれを参照する比率を示す参照比率を算出する参照比率算出部と、
算出された参照比率に基づいて前記被写体の動きを検出する第１検出部と、
を備える、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記動き検出部は、
前記画像信号に基づいて前記被写体の動きを検出する第２検出部と、
前記第１検出部において検出された動きを示す動き情報と、前記画像信号と、前記遅延時間情報とに基づいて、前記被写体の動きを再検出する第３検出部と、
を備える、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項７】
前記補正部は、１または２以上の動き情報に基づいて、前記画像信号を補正する、請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記動き情報には、複数の前記フレーム画像それぞれを参照する比率を示す参照比率が含まれる、請求項７に記載の画像処理装置。
【請求項９】
前記撮像パラメータを取得するパラメータ取得部をさらに備える、請求項２〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記パラメータ取得部は、
前記撮像装置を識別する識別情報を、前記画像信号、または、前記識別情報を記憶する記録媒体から取得し、
前記識別情報と前記撮像パラメータとが対応付けられたデータベースから、取得した前記識別情報に対応する前記撮像パラメータを取得する、請求項９に記載の画像処理装置。
【請求項１１】
前記パラメータ取得部は、前記動き検出部が検出した動き情報に基づいて、前記撮像パラメータを推定して前記撮像パラメータを取得する、請求項９に記載の画像処理装置。
【請求項１２】
前記パラメータ取得部は、前記画像信号から前記撮像パラメータを取得する、請求項９に記載の画像処理装置。
【請求項１３】
前記動画像を撮像する撮像部をさらに備える、請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１４】
フレーム画像からなる動画像を示す画像信号と、撮像における遅延時間を示す遅延時間情報とに基づいて、複数の前記フレーム画像から前記動画像に含まれる被写体の動きを検出するステップと、
前記画像信号と、検出された被写体の動きを示す動き情報とに基づいて、前記画像信号を補正するステップと、
を有する、画像処理方法。
【請求項１５】
フレーム画像からなる動画像を示す画像信号と、撮像における遅延時間を示す遅延時間情報とに基づいて、複数の前記フレーム画像から前記動画像に含まれる被写体の動きを検出するステップ、
前記画像信号と、検出された被写体の動きを示す動き情報とに基づいて、前記画像信号を補正するステップ、
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１２−２２２６１７（Ｐ２０１２−２２２６１７Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８６４９８（Ｐ２０１１−８６４９８）
【出願日】平成２３年４月８日（２０１１．４．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月８日（２０１１．４．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]