画像処理装置、撮像装置、及びそれらの制御方法
【課題】映像中の対象物の動きの質に応じて、撮像時のボケの低減とランダム感の抑制とを両立可能な技術を提供する。
【解決手段】画像処理装置は、動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力する入力部と、映像信号を解析して前記対象物の動きを検出する動き検出部と、検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を切り換え又は合成することにより出力映像信号を生成する出力制御部と、を有する。出力制御部は、等速度又は等加速度の動きである場合には第１の映像信号を、等速度又は等加速度の動きでない場合には第２の映像信号を出力する。或いは、等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、第２の映像信号の重みを大きくする。
【解決手段】画像処理装置は、動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力する入力部と、映像信号を解析して前記対象物の動きを検出する動き検出部と、検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を切り換え又は合成することにより出力映像信号を生成する出力制御部と、を有する。出力制御部は、等速度又は等加速度の動きである場合には第１の映像信号を、等速度又は等加速度の動きでない場合には第２の映像信号を出力する。或いは、等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、第２の映像信号の重みを大きくする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、撮像装置、及びそれらの制御方法に関する。
【背景技術】
【０００２】
従来より、被写体の動きの大きさ（速さ）に応じて、撮像素子の撮像時間（シャッタ速度、露光時間）を調整することで、画像の品質を改善する方法が知られている。
特許文献１には、撮像された画像を複数のブロックに分割し、各ブロックの動きを検出し、動きが大きいブロックほど露光時間が短くなるようにブロック単位で電子シャッタを制御する撮像装置が開示されている。
また、特許文献２では、撮像された画像から被写体の動きを検出し、被写体の動きが大きい場合に撮像素子の電子シャッタ速度を遅くする画像観察装置が開示されている。さらに、特許文献２では、動きが検出された画素を含む画素エリアで画素加算及びスムージング処理を行い、画像をぼかすことを開示している。
また、特許文献３では、分割領域単位の移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を分割領域単位で設定し、分割領域単位でフィルタリング処理を行うことを開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１９７１９２号公報
【特許文献２】特開２００８−６０９８１号公報
【特許文献３】特開２００７−２７４２９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したように、従来技術では、物体の動きの大きさ（速さ）にのみ着目して、撮像時間を制御している。しかしながら、本発明者の検討により、動きの大きさだけでなく、動きの質（速度の変化や加速度の変化）も、映像の表示に影響を与えることがわかってきた。たとえば、物体が様々な方向・速度で動いているような映像は、物体が等速度若しくは等加速度で動いている映像に比べて、物体を追従視することが難しい。このような追従視の困難な映像に対して撮像時のボケを低減する処理を単純に施すと、物体の動きの連続性が視覚的に感じられなくなり、物体がランダムな位置に現れては消えるように見えることがある。この妨害感を本明細書ではランダム感とよぶ。従来方法では、このようなランダム感の発生を回避することはできない。
【０００５】
本発明は上記実情に鑑みてなされたものであり、動きのある映像を表示する際の表示品質のさらなる改善を目的とする。より詳しくは、本発明は、映像中の対象物の動きの質に応じて、撮像時のボケの低減とランダム感の抑制とを両立可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１態様は、
動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力する入力部と、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出する動き検出部と、
前記動き検出部で検出された動きの質に応じて、前記第１の映像信号と前記第２の映像
信号を切り換えることにより出力映像信号を生成する出力制御部と、
を有し、
前記出力制御部は、検出された動きが等速度又は等加速度の動きである場合には前記第１の映像信号を出力し、検出された動きが等速度又は等加速度の動きでない場合には前記第２の映像信号を出力する画像処理装置を提供する。
【０００７】
本発明の第２態様は、
動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力する入力部と、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出する動き検出部と、
前記動き検出部で検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成する出力制御部と、
を有し、
前記出力制御部は、検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする画像処理装置を提供する。
【０００８】
本発明の第３態様は、
動く対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む前記第２の映像信号を出力する撮像部と、
前記撮像部から出力される前記第１の映像信号及び前記第２の映像信号が入力される、上記の画像処理装置と、
を有する撮像装置を提供する。
【０００９】
本発明の第４態様は、
撮像時間を変更可能なカメラと、
前記カメラで撮像された映像信号を解析して、前記映像信号に含まれる対象物の動きを検出する動き検出部と、
検出された動きが等速度又は等加速度の動きである場合は撮像時間が短く、検出された動きが等速度又は等加速度の動きでない場合は撮像時間が長くなるように、前記カメラの撮像時間を制御する制御部と、
を有する撮像装置を提供する。
【００１０】
本発明の第５態様は、
動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力するステップと、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を切り換えることにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きである場合には前記第１の映像信号が出力され、検出された動きが等速度又は等加速度の動きでない場合には前記第２の映像信号が出力される
画像処理装置の制御方法を提供する。
【００１１】
本発明の第６態様は、
動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力するステップと、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする画像処理装置の制御方法を提供する。
【００１２】
本発明の第７態様は、
動く対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を取得するステップと、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を切り換えることにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きである場合には前記第１の映像信号が出力され、検出された動きが等速度又は等加速度の動きでない場合には前記第２の映像信号が出力される
撮像装置の制御方法を提供する。
【００１３】
本発明の第８態様は、
動く対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を取得するステップと、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする撮像装置の制御方法を提供する。
【００１４】
本発明の第９態様は、
撮像時間を変更可能なカメラを有する撮像装置の制御方法であって、
前記カメラで撮像された映像信号を解析して、前記映像信号に含まれる対象物の動きを検出するステップと、
検出された動きが等速度又は等加速度の動きである場合は撮像時間が短く、検出された動きが等速度又は等加速度の動きでない場合は撮像時間が長くなるように、前記カメラの撮像時間を制御するステップと、
を有する撮像装置の制御方法を提供する。
【発明の効果】
【００１５】
本発明によれば、動きのある映像を表示する際の表示品質のさらなる改善が可能となる。また、本発明によれば、映像中の対象物の動きの質に応じて、撮像時のボケの低減とランダム感の抑制とを両立することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態の撮像装置のブロック図。
【図２】本発明の第２の実施形態の撮像装置のブロック図。
【図３】本発明の第３の実施形態の撮像装置のブロック図。
【図４】本発明の第４の実施形態の撮像装置のブロック図。
【図５】本発明の第５の実施形態の画像処理装置のブロック図。
【図６】等速度運動の評価と等加速度運動の評価を説明するための図。
【図７】ずれ係数Ｋに対する映像信号Ｖ１とＶ２の重みの一例を示すグラフ。
【図８】等速度の評価を行う撮像時間制御部の構成を示す図。
【図９】ずれ係数Ｌに対する映像信号Ｖ１とＶ２の重みの一例を示すグラフ。
【図１０】等加速度の評価を行う撮像時間制御部の構成を示す図。
【図１１】動いている対象物と各ブロックの出力映像信号の種類を模式的に示した図。
【図１２】ずれ係数Ｋに対する撮像時間の一例を示すグラフ。
【図１３】ずれ係数Ｌに対する撮像時間の一例を示すグラフ。
【図１４】本発明の第３の実施形態の変形例を示すブロック図。
【図１５】本発明の第４の実施形態の変形例を示すブロック図。
【図１６】１チップに高速及び低速の２種類の撮像素子が実装された例を示す図。
【図１７】ダブルシャッタカメラを用いた撮像部分の構成を示す図。
【図１８】ダブルシャッタカメラを用いた構成のタイミング図。
【図１９】主要対象物の動きベクトルの第３の算出方法を説明するための図。
【発明を実施するための形態】
【００１７】
本発明は、インパルス型ディスプレイを用いて映像信号を表示する際に、撮像時のボケを低減するとともに、追従視の困難な映像部分に対してランダム感の発生を抑制可能な技術に関する。本発明は、入力された映像信号（原信号）からインパルス型ディスプレイの表示に適した映像信号を生成して出力する画像処理装置、又は、撮像した映像信号からインパルス型ディスプレイの表示に適した映像信号を生成して出力する撮像装置に適用できる。さらに、入力された映像信号（原信号）から表示に適した映像信号を生成して表示するインパルス型ディスプレイ（画像表示装置）にも本発明を適用できる。なお、インパルス型ディスプレイは、典型的には、ＣＲＴ、線順次駆動を行うＦＥＤ（Field Emission Display）やＳＥＤ（Surface-conduction Electron-emitter Display）などである。ただ
し、本発明では、黒フレームを挿入したり、あるいはバックライトの発光時間を短くすることで、ホールドボケ（動きぼやけ）を改善したＬＣＤ（液晶ディスプレイ）も、インパルス型ディスプレイの範疇とする。
【００１８】
（撮像時のボケ）
初めに、撮像時のボケについて説明する。撮像時のボケは撮像素子の撮像時間内で被写体である対象物が動いた場合に発生するものであり、モーションブラー（動きぶれ）ともよばれる。映像信号自体にボケが含まれているため、どのようなタイプのディスプレイで表示しても撮像時のボケは観察される。
撮像時のボケを少なくするためには、撮像素子の電子シャッタの速度を制御し、１フレーム時間より短い撮像時間で対象物を撮像する方法がある。例えば1/1000秒の撮像時間で対象物を撮像した場合、映像信号のそれぞれのフレームはぶれの無いシャープな映像となる。
撮像時のボケ（動きぶれ）は、被写体の輪郭をぼやけさせたり、色や明暗のコントラストを低下させる。そのため、同一対象物を異なる撮像時間（シャッタ速度）で撮像した複数種類の映像について空間周波数成分を比較すると、撮像時間の短い映像信号ほど高周波成分が多く、撮像時間の長い映像信号ほど高周波成分が少なくなる。よって、撮像時間の短い映像信号を「高周波成分の多い映像信号」、撮像時間の長い映像信号を「高周波成分の少ない映像信号」とよぶことができる。また、時間軸方向の画素値（又は輝度又は色）の変化に着目した場合は、撮像時間の短い映像信号を「時間応答性の良い映像信号」、撮
像時間の長い映像信号を「時間応答性の悪い映像信号」とよぶこともできる。また、映像中の対象物の動きぶれの有無に着目した場合は、撮像時間の短い映像信号を「対象物のぶれを含まない映像信号」、撮像時間の長い映像信号を「対象物のぶれを含む映像信号」とよぶこともできる。
【００１９】
（ホールドボケ）
次に、ホールドボケについて説明する。ホールドボケは、画面上の動く対象物を追従視した場合に発生する。追従視とは、対象物の動きに対して視線を追従させながら、動く対象物を観測することをいう。
【００２０】
ＣＲＴ、線順次駆動のＦＥＤやＳＥＤ（Surface-conduction Electron-emitter Display）を初めとするインパルス型ディスプレイでは、各フレーム（又はフィールド）におけ
る表示時間（発光時間）が非常に短い。そのため、動く対象物を追従視した場合でもボケは発生しない。
これに対し、ＬＣＤを初めとするホールド型ディスプレイでは、１フレームのあいだ発光強度が保持されるため、動く対象物を追従視した場合に、対象物が移動方向に広がって網膜上に結像される。これがホールドボケとなって観測される。ホールドボケは、動く対象物を追従視した場合、ホールド型ディスプレイでは必ず発生する。このホールドボケを回避するためには、ホールド型ディスプレイで動く対象物を表示する際、バックライトの発光時間を短く制御して、インパルス型ディスプレイのように表示することが好ましい。最近では、ＬＣＤのバックライトの発光時間を短くする技術や、映像フレーム間に黒フレームを挿入する技術により、ＬＣＤもインパルス型ディスプレイの特性に近づいている。このような制御を行っているＬＣＤに対しても、本発明の映像処理方法は有効である。本明細書では、このようなＬＣＤもインパルス型ディスプレイの範疇として考える。
【００２１】
（インパルス型ディスプレイでの妨害感）
次に、インパルス型ディスプレイで表示を行った場合の妨害感について説明する。
インパルス型ディスプレイでは、撮像時のボケの無い映像を表示した場合に、ある条件で妨害感が発生する。撮像時のボケの無い対象物をインパルス型ディスプレイで観測すると、前述した様に、動く対象物を追従視してもホールドボケは発生しない。一方、追従視の困難な動きの対象物の場合は、観測者の視線の動きと映像上の対象物の動きとがずれてしまい、網膜上の結像位置にずれが生じる。
実際このような運動を行う対象物の映像をインパルス型ディスプレイに表示すると、観測者は対象物の動きの連続性を視覚的に感じられなくなり、対象物がランダムな位置に現れては消えるような不自然な表示に見える。このような妨害感（ランダム感とよぶ。）は、撮像時のボケより不自然であり違和感がある。追従視が困難な映像としては、例えば、滝や噴水の映像がある。滝や噴水の水滴は多くの方向に色々な速度で飛散するので追従視が不可能である。また、１つ又は少ない数の対象物であっても、様々な方向・速度で動いている場合には、動きを予測することができず、追従視が困難である。
本発明者の検討により、追従視の困難な対象物を撮像する場合に、撮像時間を長く設定し、わざと撮像時のボケを加えて撮像することによってランダム感を除去できることが分かった。また、電子シャッタを用いて短い撮像時間で撮影した映像信号に対して、撮像時のボケに相当するボケを信号処理により加えることによっても、同じようにランダム感を低減できることも見出した。なお、撮像時のボケは対象物の移動方向に沿って現れるため、ランダム感に比べて不自然さは少ない。
【００２２】
＜第１の実施形態＞
本発明の第１の実施形態は、映像信号の動きの質（速度の変化、加速度の変化）を評価し、その評価結果すなわち追従視のしやすさに応じて、出力映像信号の撮像時間の長さを変化させる。具体的には、撮像時間の短い第１の映像信号（対象物のぶれを含まない映像
信号）と撮像時間の長い第２の映像信号（対象物のぶれを含む映像信号）を適宜切り換え又は合成して、出力映像信号を生成する。このような出力映像信号をディスプレイに出力することにより、追従視の容易な対象物についてはボケ（ぶれ）の無いシャープな画質を実現し、追従視の困難な対象物についてはランダム感を抑えた自然な画質を実現する。
なお、以下に述べる実施形態では、１フレームの映像を複数の映像ブロックに分割し、ブロック毎に動きの質の評価及び撮像時間の制御を行う。これにより、１フレームの中に動きの無い物体、追従視の困難な動きの物体、追従視の容易な動きの物体などが混在している映像に対しても、映像全体の表示品質を良好にできる。映像ブロックの数及び大きさは任意に設定できる。例えば１フレームの映像全体を、縦、横それぞれ数十分割すると好適である。なお、１フレームの映像全体を１つのブロックとして撮像時間を制御した場合でも、本発明の効果は得られる。
【００２３】
（装置構成）
本発明の第１の実施形態の撮像装置のブロック図を図１に示す。
図１において、１は映像信号を解析して各ブロックに対応する部分の映像の動きベクトルを検出する動き検出部である。２は動き検出部１の出力に基づいて、ブロック毎の出力映像信号の撮像時間の長さを制御するための制御信号ＣＳ１を出力する撮像時間制御部である。４は制御信号ＣＳ１に従って、撮像時間の短い映像Ｖ１と撮像時間の長い映像Ｖ２とを切り換え又は合成するスイッチ（出力制御部）である。５ａ、５ｂは映像信号を遅延するフレーム遅延部である。９１ａは撮像時間の短い高速シャッタカメラであり、９１ｂは撮像時間の長い（通常１フレーム時間の１／６０秒）低速シャッタカメラであり、９２は被写体９０からの光を２つのカメラ９１ａ及び９１ｂに導くハーフミラーである。２台のカメラ９１ａ、９ｂとハーフミラーにより撮像部が構成されている。高速シャッタカメラ９１ａから得られる撮像時間の短い映像は入力端子１０ａに入力され、低速シャッタカメラ９１ｂから得られる撮像時間の長い映像は入力端子１０ｂに入力される。そしてスイッチ４で切り換え又は合成された映像信号は出力端子１０ｃからディスプレイ装置に出力される。
【００２４】
図１の構成において、高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂはハーフミラー９２を介して被写体である対象物９０を撮像する。高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂ、ハーフミラー９２の位置は、高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂの映像が完全に重なるように、調整されている。また、高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂの映像は同期しており、同じタイミングで撮像時間（シャッタ速度）の異なる２つの映像が得られる。対象物９０を撮像した高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂの映像出力は映像入力端子（入力部）１０ａ、１０ｂにそれぞれ入力される。
映像入力端子１０ａに入力された高速シャッタカメラ９１ａからの映像信号は、動き検出部１でブロック毎に１フレーム単位の動きベクトルが計算される。動き検出部１は、低速シャッタカメラ９１ｂからの映像信号から動きベクトルを算出しても良いが、高速シャッタカメラ９１ａからの映像信号の方が撮像時のボケが少ないため動きベクトルが精度よく求まる。
【００２５】
動き検出部１は、例えば以下のように動きベクトルの計算処理を行う。現在入力されているフレーム（現フレーム）と１つ前のフレーム（前フレーム）にそれぞれ動きベクトル検出単位エリアを設定する。前フレームの動きベクトル検出単位エリアを所定の探索範囲内で移動させながら、前フレームの映像と現フレームの映像との相関値を求める。そして、相関値が高い移動量を、その動きベクトル検出単位エリアの動きベクトルに決定する。この処理を、現フレーム上の複数の動きベクトル検出単位エリアごとに行う。動きベクトルは１フレーム時間で動きベクトル検出単位エリアがどのように動いたかを示す距離として、（ｘ，ｙ）座標で表現される。
【００２６】
動きベクトル検出単位エリアの大きさは、撮像時間を制御するブロックの大きさと同じでも良いし、異なっていても良い。ブロックの大きさより小さな動きベクトル検出単位エリア毎に動きベクトルを検出した場合は、ブロック内で動きベクトル検出単位エリア毎に算出された動きベクトルを平均してブロック毎の動きベクトルとしても良い。また、逆に、ブロックの大きさより大きな動きベクトル検出単位エリア毎に動きベクトルを検出した場合は、動きベクトル検出単位エリア毎に算出された動きベクトルに空間的なローパスフィルタをかけ、ブロック単位の動きベクトルを求めてもよい。動き検出部１の動きベクトルの計算量を削減するために、あらかじめ画素を間引くか平均化することで画素数を少なくしてから計算すると好適である。
【００２７】
動き検出部１で上記のような処理によって求まったブロック毎の動きベクトルは、撮像時間制御部２に入力される。撮像時間制御部２は入力されるブロック毎の動きベクトルから、制御信号ＣＳ１を計算し出力する。撮像時間制御部２の詳細な動作については後述する。
【００２８】
図１において、フレーム遅延部５ａ、５ｂはフレームメモリで構成され、それぞれ高速シャッタカメラ９１ａからの映像信号、低速シャッタカメラ９１ｂからの映像信号を遅延する。遅延量は、動き検出部１及び撮像時間制御部５の演算時間による遅延時間に合わすと好適である。フレーム遅延部５ａ、５ｂはフレームメモリが必要なため、ハードウエア量が多く比較的コストが高い。
フレーム遅延部５ａ、５ｂを省いた場合、期待する撮像時間の映像信号とその切り換えに時間的なずれ（遅れ）が生じるが、通常の映像では違和感が少ないため、コストを下げるためフレーム遅延部５ａ、５ｂを省くことが可能である。
【００２９】
（撮像時間の制御）
前述したようにインパルス型ディスプレイにおいて、追従視できない対象物については、ランダム感と呼ばれる妨害感が発生する。
第１の実施形態は、このような不自然な表示を改善するための方法である。すなわち、映像信号から対象物の動きの質（追従視の容易な動きか否か）を評価して、追従視の容易な映像ブロックについては撮像時間の短い映像信号を出力することで撮像時のボケ（ぶれ）の無い映像を表示する。一方、追従視の困難な映像ブロックについて撮像時間の長い映像信号を出力することでランダム感の発生を抑制する。
【００３０】
次に、追従視可能な対象物の動きについて説明する。本発明者が、追従視できる対象物の動きを観察したところ、テロップの様な等速度で移動している対象物、あるいは、等加速度で移動する対象物については人間の目が良好に追従できることがわかった。
【００３１】
このことから、等速度あるいは等加速度運動する対象物が含まれる映像ブロックであれば撮像時間が短い映像信号を出力する。それによって、追従視できる対象物のボケ（ぶれ）を防止する。その他の動きが含まれる映像ブロックについては追従視が難しいので、ランダム感が発生しないように、撮像時間が長い映像信号に切り換えるか、撮像時間が短い映像信号と長い映像信号を合成し、撮像時のボケ（ぶれ）を含む映像を表示する。追従視が難しいブロックではボケた（ぶれた）映像が表示されるが、撮像時のボケはランダム感に比べ不自然さが小さいことから、映像全体の総合的な表示品質は向上する。
【００３２】
（等速度の評価）
初めに、等速度の評価を行う例について記す。
図６（ａ）に等速度運動の評価を説明するためのグラフを示す。図６（ａ）において、縦軸は時刻、横軸はｘ方向の位置を示す。Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１はフレー
ム毎の時刻を示している。横軸はｘ方向として説明するが、ｘ，ｙ軸の両方の位置を評価すると好適である。図６（ａ）において４０１ａ、４０１ｂ、４０１ｃ、４０１ｄはそれぞれ時刻Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１の時の追従視している視線を模式的に示す。４０２ａ、４０２ｂ、４０２ｃ、４０２ｄは動く対象物であり、おおよそ等速度運動をしている。観測者はフレーム毎に視線を対象物の動きに合わすことはできず、対象物の平均的な動きに追従し等速度に視線を移動させる。すなわち、対象物４０２ｃの様な等速度から外れた対象物については、視線４０１ｃとのずれ（ΔＸ）が発生する。このずれは網膜上でボケとなる。このボケに起因して、インパルス型ディスプレイにおけるランダム感が発生する。
【００３３】
このボケの出具合、すなわち等速度で追従視する視線に対して対象物がどの程度ずれているかの比を「ずれ係数：Ｋ」として、本明細書では定義する。このずれ係数Ｋが小さな値であればランダム感は発生しにくいため、撮像時間が短い映像信号を良好な表示品質でインパルス型のディスプレイに表示できる。
【００３４】
動き検出部１からの出力である動きベクトルから得られるｍ番目のフレームにおける１フレームあたりの移動量をＸｍ、観測者の視線の１フレームあたりの平均移動量をＸａｖｅとする。現時刻であるｎ番目のフレームにおけるずれ係数Ｋを、式１）で定義する。
【数１】
ずれ係数Ｋは図６（ａ）に示したように、対象物の位置と視線の位置の差（ΔＸ）を１フレームあたりの視線の移動距離（Ｘａｖｅ）で割った値で定義する。
【００３５】
ずれ係数Ｋが例えば０であれば、視線の位置と対象物の位置がずれていないので、撮像時間が短い映像信号Ｖ１を出力し、追従視できる対象物のボケを防止する。この場合、ランダム感のような妨害感は生じない。一方、ずれ係数Ｋが０．５以上になると、追従視した時に１フレーム期間に動く距離の半分の距離、対象物がずれていることとなり、妨害感が顕著になり始める。
そのため、ずれ係数Ｋの値が大きくなるのに応じて、撮像時間が短い映像信号Ｖ１から撮像時間が長い映像信号Ｖ２に切り換えるか、あるいは、映像信号Ｖ１に対する映像信号Ｖ２の合成率（重み）を増加させることで、意図的に対象物に撮像時のボケを加える。それによって、追従視の困難な映像信号におけるランダム感の発生を抑制する。
【００３６】
ずれ係数Ｋの定義式をより簡略化するために、以下の様な式の変形を行い、ずれ係数を求めても好適である。すなわち式１）は、
【数２】
と、変形できる。現時刻ｎより前までは追従視できている（すなわち、視線の位置と対象物の位置がずれていない）と仮定する。式で示すと、
【数３】
となる。
式２）に式３）を代入し、
K=|Xn-Xave|/|Xave| ・・・・式４）
が求まる。
式１）あるいは、式４）により、ずれ係数Ｋを求め追従視可能かを判断すると好適である。
【００３７】
次に、１フレームあたりの視線の移動距離（視線の速度）は、現時刻ｎより以前の１フレームあたりの対象物の移動距離の平均値であるので、
【数４】
と、求めることができる。
【００３８】
本実施形態では式１）または式４）に式５）を代入して、ずれ係数Ｋを計算し、ずれ係数Ｋの大きさにより、撮像時間が短い映像信号Ｖ１と撮像時間が長い映像信号Ｖ２とを最適に選択する。式５）の開始時刻は、例えば、シーンが変わったときを基点として、過去から計算すればよい。
【００３９】
静止している対象物のブロックでＸａｖｅが０の場合、式１）、式４）の分母が０となる。対象物が静止しているときは追従視可能であるので、この場合は、式１）、式４）の計算は行わず、Ｋの値として小さな値（例えばＫ＝０）を出力する。
【００４０】
これらの計算は、ソフトウエアで処理する場合は実装が容易であるが、ハードウエア化する場合は、ハードウエアの増加が懸念される。そこで、ハードウエアにより実現する場合は、式５）の計算は、現時刻により重みを付けた計算（巡回型のフィルタ）で視線の移動距離（視線の速度）Ｘａｖｅを計算するとよい。これによりハードウエアの量を削減でき、更に、実際の観測者の追従視の速度に近い値が得られる。時刻ｎのフレームの時の追従視の速度をＸａｖｅｎとすると、Ｘａｖｅｎを求める式は、
Xaven=S1・Xn-1+S2・Xaven-1 ・・・・式６）
ただし、
S1+S2=1 ・・・・式７）
となる。Ｓ１、Ｓ２により、１フレーム前の視線の速度と１フレーム前の対象物の速度の重みを変えることができる。通常、Ｓ２がＳ１より大きくなるように、Ｓ１とＳ２を設定すると良い。
【００４１】
さらに、簡便に視線の速度を計算するためには、以下の様な計算を行うと好適である。時刻ｎのフレームにおける視線の速度Ｘａｖｅｎは直前の２フレームにおける対象物の速度の平均値から求めると計算量を少なくできる。すなわち、
Xaven=(1/2)・Xn-2+(1/2)・Xn-1 ・・・・式８）
で求める。
さらに、より簡便に視線の速度を計算するために、時刻ｎのフレームにおける視線の速度Ｘａｖｅｎを単に直前の１フレームにおける対象物の速度から求めると良い。すなわち、
Xaven=Xn-1 ・・・・式９）
で求める。
式８）、式９）の視線の速度の計算は、誤差が多少大きくなるが、ハードウエアやソフトウエアでの計算量が少なくできる大きな利点がある。
【００４２】
式１）または式４）に式５）または式６）または式８）または式９）を代入して、ずれ係数Ｋを計算し、ずれ係数Ｋの大きさにより、撮像時間が短い映像信号Ｖ１と撮像時間が長い映像信号Ｖ２を最適に選択する。
ずれ係数Ｋの値が小さければ、視線と対象物のずれが少なく追従視が容易であるので、
撮像時間が短い映像信号Ｖ１を選択、又は、支配的にすることで、ボケ（ぶれ）の無い映像を表示する。そして、ずれ係数Ｋの値が大きければ、視線と対象物のずれが大きく追従視が困難であるので、撮像時間が長い映像信号Ｖ２を選択、又は、支配的にすることで、ランダム感の発生を抑制する。
【００４３】
スイッチ４は、例えば、ずれ係数Ｋが０．５より小さい場合に、等速度の動きであるとみなし、高速シャッタカメラ９１ａの映像信号Ｖ１を選択して出力する。また、ずれ係数Ｋが０．５以上の場合に、等速度の動きでないとみなし、低速シャッタカメラ９１ｂの映像信号Ｖ２に切り換えて出力する。この場合、制御信号ＣＳ１は映像信号Ｖ１とＶ２を切り換える二値の信号でよい。図７（ａ）は、映像信号Ｖ１、Ｖ２の切り換えの特性を模式的に示している。横軸はずれ係数Ｋ、縦軸は映像信号Ｖ１、Ｖ２に対する重みを示す。
【００４４】
また、スイッチ４は、映像信号Ｖ１とＶ２を選択的に切り換えるのではなく、ずれ係数Ｋの大きさに応じた重み（合成率）で映像信号Ｖ１とＶ２を重み付け合成し、その合成映像信号を出力することも好適である。このときも、例えば、ずれ係数Ｋが０．５以上の場合（つまり等速度の動きでない場合）に、ずれ係数Ｋが０．５より小さい場合（つまり等速度の動きである場合）に比べ、映像信号Ｖ２の重みが大きくなるようにすれば、ランダム感の発生を抑制できる。好ましくは、等速度の動きである場合には、Ｖ１の重みをＶ２の重みよりも大きくし（例えば、Ｖ１の重みを０．６〜１．０、Ｖ２の重みを０．４〜０．０）、等速度の動きでない場合には、Ｖ２の重みをＶ１の重みよりも大きくする（例えば、Ｖ１の重みを０．０〜０．４、Ｖ２の重みを１．０〜０．６）とよい。これにより、ボケ（ぶれ）の抑制とランダム感の発生の抑制をより確実に制御できる。
さらに、ずれ係数Ｋが大きくなるほどＶ２の重みが大きくなるように、ずれ係数Ｋの大きさに応じて重み（合成率）を連続的に変化させることが好ましい。図７（ｂ）、（ｃ）に重みを連続的に変化させる場合の切り換え特性の例を示す。映像信号Ｖ１、Ｖ２の重みの合計は１となるようにすると、合成の前と後で輝度が変化しないので好適である。この場合は、映像信号Ｖ１、Ｖ２のうちいずれか一方の重みを制御信号ＣＳ１としてスイッチ４に与えればよい。なお図７（ｂ）、（ｃ）では、Ｖ１の重みを１．０〜０．０の範囲で変化させているが、重みの上限を１．０より小さくしたり、重みの下限を０．０より大きくしたりしてもよい。例えば、Ｖ１の重みを１．０〜０．１（Ｖ２の重みを０．０〜０．９）の範囲で変化させたり、Ｖ１の重みを０．９〜０．０（Ｖ２の重みを０．１〜１．０）の範囲で変化させたり、Ｖ１の重みを０．９〜０．１（Ｖ２の重みを０．１〜０．９）の範囲で変化させてもよい。
この方法によれば、映像信号Ｖ１とＶ２の切り換えが連続的となるため、映像信号Ｖ１とＶ２を選択的に切り換える方法よりも、切り換え時の映像の変化や違和感を少なくできる。なお、図７（ｂ）、（ｃ）の特性は一例にすぎず、実際に主観評価を行い最適な特性を決定することが好適である。ただし、重みの変化は、連続的又は段階的に単調増加（又は単調減少）させることが好ましい。
また映像信号Ｖ１、Ｖ２は輝度と比例する値をもつデータであることが望ましい。ガンマ変換されている映像信号の場合は、スイッチ４の前で逆ガンマ変換を行い輝度と比例するデータとした上で処理を行うと、合成の前と後で映像信号の輝度が変化しないので好適である。
なお上記の例では、ずれ係数Ｋが０．５より小さい場合を「等速度の動きである」、ずれ係数Ｋが０．５以上の場合を「等速度の動きでない」と評価しているが、等速度の動きか否かを判定する閾値はこれに限られない。また、ずれ係数Ｋ以外の指標により等速度の動きか否かを評価してもよい。
【００４５】
（等速度の評価を行う撮像時間制御部）
図８に、等速度の評価を行う撮像時間制御部２の構成例を示す。図８において、５０１は動き検出部１の出力である動きベクトルを入力する入力端子である。５１０は追従視速
度算出部であり、前述した式５）、式６）、式８）、式９）のいずれかの方法で視線の速度（Ｘａｖｅ）を計算する。５１１はＫ算出部であり、入力された視線の速度（Ｘａｖｅ）と動きベクトルからずれ係数Ｋを算出する。５０８は変換テーブルであり、図７（ａ）、（ｂ）、（ｃ）に示した特性等がルックアップテーブル形式で記憶されており、ずれ係数Ｋに対して映像信号Ｖ１の重みを出力する。５０９は変換テーブル５０８の出力に対して、時間方向の高域成分をカットするローパスフィルタである。５０６はスイッチ４に制御信号ＣＳ１を出力する出力端子である。
【００４６】
変換テーブル５０８の出力である映像信号Ｖ１の重みを、直接、制御信号ＣＳ１としてスイッチ４に入力しても良い。しかし、好ましくは図８に示したように、変換テーブル５０８の出力をローパスフィルタ５０９に入力、ローパスフィルタ５０９の出力を制御信号ＣＳ１としてスイッチ４に与えるとよい。ローパスフィルタ５０９を付けることによって、映像信号Ｖ１とＶ２の切り換えの時間方向及び空間方向の変化が緩やかになるため、映像信号Ｖ１とＶ２の切り換えによる違和感が少なくなるからである。なお、スイッチ４では、１から、映像信号Ｖ１の重みであるＣＳ１の値を減算することで、映像信号Ｖ２の重みを求めることができる。
【００４７】
（等加速度の評価）
次に等加速度の評価を行う例について記す。
【００４８】
図６（ｂ）に等加速度運動の評価を説明するためのグラフを示す。図６（ｂ）において、縦軸は時刻、横軸はｘ方向の速度を示す。Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１はフレーム毎の時刻を示している。横軸はｘ方向の速度として説明するが、ｘ，ｙ軸の両方の速度を評価すると好適である。図６（ｂ）において４０１ａ、４０１ｂ、４０１ｃ、４０１ｄはそれぞれ時刻Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１の時の追従視している視線を模式的に示す。４０２ａ、４０２ｂ、４０２ｃ、４０２ｄは動く対象物であり、おおよそ等加速度運動をしている。観測者はフレーム毎に視線を対象物の動きに合わすことはできず、対象物の平均的な動きに追従し等加速度で視線を移動させる。すなわち、対象物４０２ｃの様な等加速度から外れた対象物については、視線４０１ｃとの速度のずれ（ΔＶ）が発生する。この速度のずれ（ΔＶ）は等加速度で追従視している観測者にとって網膜上でボケとなる。このボケに起因して、インパルス型ディスプレイにおけるランダム感が発生する。
【００４９】
このボケの出具合、すなわち等加速度で追従視する視線に対して対象物の加速度がどの程度ずれているかの比を「ずれ係数：Ｌ」として、本明細書では定義する。このずれ係数Ｌが小さな値であればランダム感は発生しにくいため、撮像時間が短い映像信号を良好な表示品質でインパルス型のディスプレイに表示できる。
【００５０】
Ａｎをｎ番目のフレームにおける対象物の加速度、Ａａｖｅを対象物の平均加速度（すなわち観測者が追従視する視線の平均加速度）とすると、ずれ係数Ｌを式１０）で定義する。
L=|An-Aave|/|Aave| ・・・・式１０）
すなわち、ずれ係数Lは、現時刻における加速度と観測者の視線の平均加速度の差の、
視線の平均加速度に対する比である。この比が０であれば、観測者の視線の動きと対象物の動きが同じであるので、撮像時間が短い映像信号Ｖ１を出力し、追従視できる対象物のボケを防止する。この場合、ランダム感のように妨害感は生じない。一方、ずれ係数Ｌが０．５以上になると、追従視した時に１フレーム期間に変化する速度の半分の速度に当たる距離、対象物がずれていることなり、妨害感が顕著になり始める。
そのため、ずれ係数Ｌの値が大きくなるのに応じて、撮像時間が短い映像信号Ｖ１から撮像時間が長い映像信号Ｖ２に切り換えるか、あるいは、映像信号Ｖ１に対する映像信号
Ｖ２の合成率（重み）を増加させることで、意図的に対象物に撮像時のボケを加える。それによって、追従視の困難な映像信号におけるランダム感の発生を抑制する。
【００５１】
動き検出部１から出力される動きベクトルは、１フレーム時間当たりの移動量、すなわち速度であるから、現時刻の加速度は動き検出部１の出力の差で求めることができる。式１０）は、
L=|{Xn-Xn-1}-Aave|/|Aave| ・・・・式１１）
となる。
平均加速度は、
【数５】
でもとめることができる。
【００５２】
式１１）に式１２）を代入して、ずれ係数Ｌを計算し、ずれ係数Ｌの大きさにより、撮像時間が短い映像信号Ｖ１と撮像時間が長い映像信号Ｖ２とを最適に選択する。式１２）の開始時刻は、例えば、シーンが変わったときを基点として、過去から計算すればよい。
等速度運動している対象物のブロックではＡａｖｅが０となり、式１０）、式１１）の分母が０となる。対象物が等速度運動しているときは観測者は追従視可能であるので、この場合は、式１０）、式１１）の計算は行わず、Ｌの値として小さな値（例えばＬ＝０）を出力する。
【００５３】
これらの計算は、ソフトウエアで処理する場合は実装が容易であるが、ハードウエア化する場合は、ハードウエアの増加が懸念される。そこで、ハードウエアにより実現する場合は、式１２）の計算は、現時刻により重みを付けた計算（巡回型のフィルタ）で視線の平均加速度Ａａｖｅを計算するとよい。これによりハードウエアの量を削減でき、更に、実際の観測者の追従視の加速度に近い値が得られる。時刻ｎのフレームの時の追従視の加速度をＡａｖｅｎとすると、Ａａｖｅｎを求める式は、
Aaven=S1・(Xn-1-Xn-2)+S2・Aaven-1 ・・・・式１３）
ただし、
S1+S2=1 ・・・・式１４）
となる。Ｓ１、Ｓ２により、１フレーム前の視線の加速度と１フレーム前の対象物の加速度の重みを変えることができる。通常、Ｓ２がＳ１より大きくなるように、Ｓ１とＳ２を設定すると良い。
【００５４】
さらに、簡便に視線の加速度を計算するためには、以下の様な計算を行うと好適である。時刻ｎのフレームにおける視線の加速度Ａａｖｅｎは直前の２フレームにおける対象物の加速度の平均値から求めても良い。すなわち、
Aaven={(Xn-2-Xn-3)+(Xn-1-Xn-2)}/2 ・・・・式１５）
で求める。
【００５５】
さらに、より簡便に追従視の加速度を計算するためには、時刻nのフレームにおける追
従視の加速度Ａａｖｅｎを単に直前の２フレームにおける対象物の加速度から求めても良い。すなわち、
Aaven=(Xn-1-Xn-2) ・・・・式１６）
で求める。
式１５）、式１６）で求めた視線の加速度の計算は、誤差が多少大きくなるが、ハードウエアやソフトウエアでの計算量が少なくできる大きな利点がある。
【００５６】
式１１）に式１２）または式１３）または式１５）または式１６）を代入して、ずれ係数Ｌを計算し、ずれ係数Ｌの大きさにより、撮像時間が短い映像信号Ｖ１と撮像時間が長い映像信号Ｖ２を最適に選択する。
ずれ係数Ｌの値が小さければ、視線と対象物のずれが少なく追従視が容易であるので、撮像時間が短い映像信号Ｖ１を選択、又は、支配的にすることで、ボケ（ぶれ）の無い映像を表示する。そして、ずれ係数Ｌの値が大きければ、視線と対象物のずれが大きく追従視が困難であるので、撮像時間が長い映像信号Ｖ２を選択、又は、支配的にすることで、ランダム感の発生を抑制する。ここでも、ずれ係数Ｋの場合と同様、図９（ａ）、（ｂ）、（ｃ）のようにずれ係数Ｌの値に応じて映像信号Ｖ１とＶ２の切り換えや重みを制御するとよい。
なお、ここでは、ずれ係数Ｌが０．５より小さい場合を「等加速度の動きである」、ずれ係数Ｌが０．５以上の場合を「等加速度の動きでない」と評価すればよい。ただし、等加速度の動きか否かを判定する閾値はこれに限られない。また、ずれ係数Ｌ以外の指標により等加速度の動きが否かを評価してもよい。
【００５７】
（等加速度の評価を行う撮像時間制御部）
図１０に、等加速度の評価を行う撮像時間制御部２の構成例を示す。図１０において、図８と同様の構成ブロックについては説明を省略する。図１０において、５１２は追従視加速度算出部であり、前述した式１２）、式１３）、式１５）、式１６）のいずれかの方法で視線の加速度（Ａａｖｅ）を計算する。５１３はＬ算出部であり、入力された視線の加速度（Ａａｖｅ）と動きベクトルからずれ係数Ｌを算出する。５０８は変換テーブルであり、図９（ａ）、（ｂ）、（ｃ）に示した特性等がルックアップテーブル形式で記憶されており、ずれ係数Ｌに対して映像信号Ｖ１の重みを出力する。ローパスフィルタ５０９の構成及び処理内容は図８のものと同じである。
【００５８】
上記では説明をわかりやすくするために、Ｘ方向のずれ係数Ｋ、Ｌのみ説明したが、Ｙ方向についても同様な評価を行うことが好ましい。Ｘ方向とＹ方向の評価を行うときは両方向のずれ係数がゼロ若しくは十分小さい場合に限って、追従視が容易であると判断し、映像信号Ｖ１を選択することが好適である。例えば、Ｘ、Ｙ方向でそれぞれ映像信号Ｖ１の重みを求めた後、より小さい重みをローパルフィルタ５０９へ入力すると好適である。実際には図８又は図１０において、変換テーブル５０８までは、Ｘ、Ｙの２系統で処理し、変換テーブル５０８の出力である映像信号Ｖ１の重みの大小を比較し、より小さな値をローパスフィルタ５０９に入力し、以降の処理は１系統で行うと良い。
【００５９】
（制御結果の一例）
図１１（ａ）、（ｂ）に、本発明の第１の実施形態によるブロック毎の映像信号の切り換え制御の一例を模式的に示す。図１１（ａ）は入力映像信号の例であり、図１１（ｂ）は出力映像信号におけるブロックごとの映像信号の種類を模式的に示した例である。
図１１（ａ）において、３１０の斜線は等速度で矢印方向に移動している対象物、格子は映像ブロックを示す。図示しないが、対象物３１０の周囲の背景には、等速度でない動きの物体が映っているものとする。
図１１（ｂ）において、３１１の斜線部は撮像時間の短い映像信号Ｖ１が出力されるブロック、３１２のドット部分は撮像時間の短い映像信号Ｖ１と撮像時間の長い映像信号Ｖ２とを合成した映像信号が出力されるブロックである。また３１３の無地のブロックは、撮像時間の長い映像信号Ｖ２が出力されるブロックである。
本発明の第１の実施形態によるブロック毎の撮像時間の選択制御によって、等速運動している対象物３１０のあるブロックでは短い撮像時間が選択され撮像ボケの無いくっきりした動画が得られる。一方、等速度運動していないブロックでは、ランダム感を防ぐため撮像時間の長い映像信号が選ばれる。
【００６０】
（第１の実施形態の利点）
第１の実施形態によれば、ブロック毎に映像の動きの質（等速度、等加速度）を評価することで追従視のしやすさを判断し、撮像時間の短い映像信号と撮像時間の長い映像信号を適宜切り換え又は合成して、出力映像信号を生成する。このような出力映像信号をディスプレイに出力することにより、追従視の容易な対象物についてはボケ（ぶれ）の無いシャープな画質を実現し、追従視の困難な対象物についてはランダム感を抑えた自然な画質を実現することができる。
【００６１】
等速度の評価と等加速度の評価は、それぞれ単独で行っても効果がある。また２つの方法を組み合わせても良好な効果が得られる。２つの方法を組み合わせる場合、各々独立に撮像時間の短い映像信号Ｖ１の重みを計算し、そのうち小さいほうの値を制御信号ＣＳ１としてブロック毎にスイッチ４に出力すると好適である。
また、等速度の評価により撮像時間の短い映像信号と撮像時間の長い映像信号を切り換える制御のほうが、等加速度の評価により切り換える制御よりも効果が大きいので、等速度の評価のみを行っても好適である。
【００６２】
＜第２の実施形態＞
次に本発明の第２の実施形態について説明する。第１の実施形態では、シャッタ速度の異なる２台のカメラで映像信号Ｖ１とＶ２を取得し、それらを適宜切り換えて出力映像信号を生成した。これに対し第２の実施形態では、撮像した映像信号の動きの質の評価結果に基づいてカメラのシャッタ速度をフィードバック制御することにより、第１の実施形態で生成した出力映像信号と同等の映像を直接取得可能な撮像装置を示す。
【００６３】
本発明の第２の実施形態の撮像装置のブロック図を図２に示す。
図２において、１は映像信号を解析して各ブロックに対応する部分の映像の動きベクトルを算出する動き検出部、３は動き検出部１の出力に基づいてブロック毎の適切な撮像時間を算出し、撮像時間指示信号ＣＳ２を出力する撮像時間算出部（制御部）である。１０ｃは撮像装置の出力である映像信号を出力する出力端子、１０ｄは撮像素子の出力する映像信号を入力する入力端子である。９０は被写体、９１ｃは撮像時間指示信号ＣＳ２によりブロック毎に撮像時間（シャッタ速度）を変更可能な可変シャッタカメラである。
【００６４】
図２において、対象物を撮像した可変シャッタカメラ９１ｃは映像信号を入力端子１０ｄに出力する。入力端子１０ｄに入力された映像信号から動き検出部１はブロック毎の動きベクトルを算出する。動きベクトルの算出は、第１の実施形態と同じ方法で行うので、説明は省略する。算出されたブロック毎の動きベクトルは、撮像時間算出部３に入力される。
撮像時間算出部３の構成は前述した撮像時間制御部２とほぼ同様な構成であり、等速度を評価する場合は図８の構成、等加速度を評価する場合は図１０の構成である。異なる部分は、変換テーブル５０８に記憶されている内容であり、詳細の違いについては後述する。そして、撮像時間算出部３の出力であるブロック毎の撮像時間により、可変シャッタカメラ９１ｃの撮像素子のブロック毎の撮像時間が好適に制御される。
【００６５】
第２の実施形態である撮像装置において、対象物の動きの質として等速度の評価を行う例を説明する。
等速度を評価する場合、撮像時間算出部３の構成は図８の構成である。第１の実施形態と異なる部分は、変換テーブルの出力がずれ係数Ｋに対して最適な撮像時間が記憶されている点である。ずれ係数Ｋに対する最適な撮像時間の例を、図１２（ａ）、（ｂ）、（ｃ）に記す。図１２（ａ）、（ｂ）、（ｃ）はずれ係数Ｋに対して好ましい撮像時間を出力する変換テーブル５０８の変換の例である。横軸はずれ係数Ｋを示し、縦軸は撮像時間を示している。撮像時間は０から１の範囲で規格化されており、１のときに最大の撮像時間
となる。なお図に示した特性は一例にすぎず、実際に主観評価を行い最適な特性を決定することが好適である。
【００６６】
図１２（ａ）は、単純に、ずれ係数Ｋが閾値（図の例では０．５）以上か否かで、撮像時間の長さを切り換える例である。すなわち、ずれ係数Ｋが閾値より小さい場合は、追従視が容易であるため、撮像時間を短くしてボケ（ぶれ）の無い映像を撮影し、ずれ係数Ｋが閾値以上の場合は、追従視が困難であるため、撮影時間を長くして意図的にボケ（ぶれ）を発生させる。これにより、第１の実施形態における図７（ａ）の制御と同等の映像信号を得ることができる。
図１２（ｂ）、（ｃ）は、撮像時間の切り換え時の映像の変化や違和感を低減するために、ずれ係数Ｋに応じて撮像時間を連続的に変化させるようにした例である。このようなテーブルを用いることで、第１の実施形態における図７（ｂ）、（ｃ）の制御と同等の映像信号を得ることができる。
【００６７】
第２の実施形態の撮像装置において、対象物の動きの質として等加速度の評価を行う場合は、撮像時間算出部３の構成は図１０の構成となる。そして、図１０の変換テーブル５０８に図１３（ａ）、（ｂ）、（ｃ）のような特性のテーブルをもたせ、ずれ係数Ｌに応じて各ブロックの撮像時間を制御することで、上記の等速度評価を行う場合と同等の映像信号を得ることができる。
【００６８】
ローパスフィルタ５０９の役目や、等速度と等加速度を両方行う場合の実施例等のその他の構成は第１の実施形態で説明した構成と同じであるので、説明は省略する。
また、ブロック毎に撮像時間（露光時間）を制御できる撮像素子の構造については特開２００６−１９７１９２号公報に記載されているので、本明細書では説明を省略する。
【００６９】
本発明の第２の実施形態では、第１の実施形態で示したフレーム遅延部５ａ、５ｂが付けられない構成である。すなわち、撮像時間が制御されるフレームは、動きの質を評価し撮像時間指示信号ＣＳ２を作成するために参照したフレームに対して、１から数フレーム遅延している。そのため厳密には、適切でない撮像時間が設定される可能性もある。しかしながら、一般に隣接フレーム間の相関は高いため、適切でない撮像時間が設定されることは少ない。また、たとえ適切でない撮像時間が設定されたとしてもそれによる表示品質の低下は殆ど目立たないので、上記の点が不利になることはない。むしろ、カメラが２台必要であり、且つ、幾何光学的な調整が必要な第１の実施形態に比べ、カメラが１台である第２の実施形態はコストメリットが大きいため、有用な構成である。
【００７０】
＜第３の実施形態＞
次に、本発明の第３の実施形態を示す。第１の実施形態では、シャッタ速度の異なる２台のカメラで高周波成分の多い映像信号Ｖ１と高周波成分の少ない映像信号Ｖ２を取得した。これに対し第３の実施形態では、低速シャッタカメラで得られた映像信号Ｖ２に対し、高域強調処理を施すことにより、高周波成分の多い映像信号Ｖ１を生成する。映像の動きの質（追従視のしやすさ）により映像信号Ｖ１とＶ２を適宜切り換え又は合成して出力映像信号を生成する点は、第１の実施形態のものと同様である。カメラが１台でよい第３の実施形態は、カメラが２台必要であり幾何光学的な調整が必要な第１の実施形態に比べ、コストメリットが大きい。
【００７１】
本発明の第３の実施形態の撮像装置のブロック図を図３に示す。
第１の実施形態（図１）と異なる構成は、高速シャッタカメラの代わりに、動き方向高域強調フィルタ３０ａが設けられている点と、低速シャッタカメラ９１ｂの映像信号を遅延するフレーム遅延部５ｃが設けられている点である。それ以外は、第１の実施形態の構成と同じである。
【００７２】
動き方向高域強調フィルタ（ボケ低減部）３０ａは、低速シャッタカメラ９１ｂの映像信号から動き方向（動きベクトル）を検出し、映像信号に対し動き方向の高域強調を施す。これにより、低速シャッタカメラ９１ｂの映像信号に含まれる撮像時のボケ（ぶれ）がキャンセルされ、高速シャッタカメラで得られる映像信号と同等の高周波成分の多い映像信号が得られる。動き方向高域強調フィルタ３０ａの出力は入力端子１０ａに入力される。一方、低速シャッタカメラ９１ｂから出力される高周波成分の少ない映像信号は、フレーム遅延部５ｃにより動き方向高域強調フィルタ３０ａの処理時間と同じ時間だけ遅延され、入力端子１０ｂに入力される。入力端子１０ａ、１０ｂより後段の構成、動作は、第１の実施形態と同じであるので、詳細な説明は省略する。
【００７３】
このようにして、第１の実施形態と同様に、ブロック毎に映像信号Ｖ１とＶ２を適宜切り換えることにより、追従視の容易な対象物のあるブロックでは撮像時のボケ（ぶれ）の少ないくっきりした動画が得られ、追従視の困難な対象物のあるブロックでは、ランダム感の発生が防止される。
【００７４】
次に、動き方向高域強調フィルタ３０ａの動作を説明する。
動き方向高域強調フィルタ３０ａは、ブロック毎に動きベクトルを算出し、動きベクトルの方向、大きさに応じて、高い空間周波数の信号を増強するフィルタである。対象物の動く速度の大きさ・方向により撮像時のボケは変化するので、動きベクトルの大きさ・方向によりフィルタの特性を制御すると好適である。すなわち動きベクトルの方向にあわせた空間方向のフィルタを用い、そのフィルタの高域の空間周波数の持ち上げ方を動きベクトルの大きさに従って制御すると好適である。動きベクトルが大きな場合、撮像時のボケが大きいので、動き方向高域強調フィルタ３０ａはより低い周波数から強調を行うと良い。
動き方向高域強調フィルタ３０ａの動きベクトルの検出方法は、前述した動き検出部１と同等の方法が好適である。動きベクトルの検出方法の説明は省略する。
【００７５】
動きベクトルの検出は前述したように複雑な処理を行うため、ハードウエア量、あるいはソフトウエアの計算量が大きくなりコストの上昇等の問題がある。図３では、本発明の第３の実施形態の説明をわかりやすくするために、動き検出を２つ持つ構成を示した。しかし、製品等に第３の実施形態を実装する場合は、コストの上昇が少ない図１４に示す構成が有効である。
【００７６】
図１４の構成で図３の構成と異なる点は、動き方向高域強調フィルタ３０は、動き検出機能を持たず、動き検出部１の動きベクトルを使用して、動き方向の高域強調フィルタ処理を行うことである。そのため、フレーム遅延部５ａ、５ｃも省略できる。フレーム遅延部５ｂの遅延時間は、動き方向高域強調フィルタ３０の遅延時間と等しく設計する。またフレーム遅延部５ｂはコストが比較的高いので、前述しているようにコストを下げるために省略しても良い。図１４の撮像装置においても、低速シャッタカメラ９１ｂの映像信号に動き方向の高域強調を施した映像信号Ｖ１と、低速シャッタカメラ９１ｂの映像信号Ｖ２とをスイッチ４で適宜切り換え又は合成することで、図３の撮像装置と同等の出力映像信号が得られる。
【００７７】
＜第４の実施形態＞
次に、本発明の第４の実施形態を示す。第１の実施形態では、シャッタ速度の異なる２台のカメラで高周波成分の多い映像信号Ｖ１と高周波成分の少ない映像信号Ｖ２を取得した。これに対し第４の実施形態では、高速シャッタカメラで得られた映像信号Ｖ１に対し、
ローパスフィルタをかけることにより、高周波成分の少ない映像信号Ｖ２を生成する。映
像の動きの質（追従視のしやすさ）により映像信号Ｖ１とＶ２を適宜切り換え又は合成して出力映像信号を生成する点は、第１の実施形態のものと同様である。カメラが１台でよい第４の実施形態は、カメラが２台必要であり幾何光学的な調整が必要な第１の実施形態に比べ、コストメリットが大きい。
【００７８】
本発明の第４の実施形態の撮像装置のブロック図を図４に示す。
第１の実施形態（図１）と異なる構成は、低速シャッタカメラの代わりに、動き方向ローパスフィルタ４０ａが設けられている点と、高速シャッタカメラ９１ａの映像信号を遅延するフレーム遅延部５ｃが設けられている点である。高速シャッタカメラ９１ａは撮像時間の短いカメラであり、例えばフレーム時間の数分の１あるいは数百分の１の撮像時間（１／１００〜１／２０００秒）である。それ以外は、第１の実施形態の構成と同じである。
【００７９】
動き方向ローパスフィルタ（ボケ付加部）４０ａは、高速シャッタカメラ９１ａの映像信号から動き方向（動きベクトル）を検出し、映像信号に対し動き方向のローパスフィルタ処理を施す。これにより、高速シャッタカメラ９１ａのシャープな映像信号に対して、撮像時のボケ（ぶれ）のようなボケが付加され、低速シャッタカメラで得られる映像信号と同等の高周波成分の少ない映像信号が得られる。動き方向ローパスフィルタ４０ａの出力は入力端子１０ｂに入力される。一方、高速シャッタカメラ９１ａから出力される高周波成分の多い映像信号は、フレーム遅延部５ｃにより動き方向ローパスフィルタ４０ａの処理時間と同じ時間だけ遅延され、入力端子１０ａに入力される。入力端子１０ａ、１０ｂより後段の構成、動作は、第１の実施形態と同じであるので、詳細な説明は省略する。
【００８０】
このようにして、第１の実施形態と同様に、ブロック毎に映像信号Ｖ１とＶ２を適宜切り換えることにより、追従視の容易な対象物のあるブロックでは撮像時のボケ（ぶれ）の少ないくっきりした動画が得られ、追従視の困難な対象物のあるブロックでは、ランダム感の発生が防止される。
【００８１】
次に、動き方向ローパスフィルタ４０ａの動作を説明する。
動き方向ローパスフィルタ４０ａは、ブロック毎に動きベクトルを算出し、動きベクトルの方向、大きさに応じて、高い空間周波数の信号を低減するフィルタである。対象物の動く速度の大きさ・方向により撮像時のボケは変化するので、動きベクトルの大きさ・方向によりフィルタの特性を制御すると好適である。すなわち動きベクトルの方向にあわせた空間方向のフィルタを用い、そのフィルタの高域の空間周波数の低減の仕方を動きベクトルの大きさに従って制御すると好適である。動きベクトルが大きな場合、撮像時のボケが大きいので、動き方向ローパスフィルタ４０ａはより低い周波数から低減を行うと良い。
動き方向ローパスフィルタ４０ａの動きベクトルの検出方法は、前述した動き検出部１と同等の方法が好適である。動きベクトルの検出方法の説明は省略する。
【００８２】
動きベクトルの検出は前述したように複雑な処理を行うため、ハードウエア量、あるいはソフトウエアの計算量が大きくなりコストの上昇等の問題がある。図４では、本発明の第４の実施形態の説明をわかりやすくするために、動き検出を２つ持つ構成を示した。しかし、製品等に第４の実施形態を実装する場合は、コストの上昇が少ない図１５に示す構成が有効である。
【００８３】
図１５の構成で図４の構成と異なる点は、動き方向ローパスフィルタ４０は、動き検出機能を持たず、動き検出部１の動きベクトルを使用して、動き方向のローパスフィルタ処理を行うことである。そのため、フレーム遅延部５ｂ、５ｃも省略できる。フレーム遅延部５ａの遅延時間は、動き方向ローパスフィルタ４０の遅延時間と等しく設計する。また
フレーム遅延部５ａはコストが比較的高いので、前述しているようにコストを下げるために省略しても良い。図１５の撮像装置においても、高速シャッタカメラ９１ａの映像信号Ｖ１と、高速シャッタカメラ９１ａの映像信号に動き方向のローパスフィルタ処理を施した映像信号Ｖ２とをスイッチ４で適宜切り換え又は合成することで、図４の撮像装置と同等の出力映像信号が得られる。
【００８４】
＜第５の実施形態＞
上述した第１から第４の実施形態は本発明を撮像装置に適用した例であり、カメラから得られるビデオ信号を切り換え又は合成して出力映像信号を生成している。これに対し、本発明の第５の実施形態は、本発明を画像処理装置に適用した例であり、記憶装置に記憶されている映像データを読み込み、それらを切り換え又は合成して出力映像データの生成を行う。
【００８５】
本発明の第５の実施形態の画像処理装置のブロック図を図５に示す。図５において、９１ｄは時間応答性の良い例えば高速シャッタで撮像した映像データが記憶されている記憶装置、９１ｅは時間応答性の悪い例えば低速シャッタカメラで撮像した映像データが記憶されている記憶装置である。９１ｆは画像処理装置から出力される映像データを記憶する記憶装置である。これらの記憶装置９１ｄ、９１ｅ、９１ｆは単一のハードウエアであっても良いし、別々のハードウエアで構成されていても良い。記憶装置としては、ハードディスクドライブ、ＤＶＤ等の光ディスクドライブ、半導体メモリを用いたソリッドステートドライブ、フラッシュメモリ、ＵＳＢメモリなど、映像データを記憶可能ないかなる種類のストレージデバイスを用いることができる。また、映像データの記憶及び出力機能を有するコンピュータ、携帯端末、スマートフォン、映像録画再生装置なども、これらの記憶装置として用いることができる。
【００８６】
時間応答性の良い映像データは、例えば、低速シャッタカメラの映像データに対し、動き方向に高域強調フィルタ処理を行い作成した映像データであっても良い。また、時間応答性の悪い映像データは、例えば、高速シャッタカメラの映像データに対し、動き方向にローパスフィルタ処理を行い作成した映像データであっても良い。
【００８７】
第５の実施形態の画像処理装置では、動き検出部１、撮像時間制御部２、スイッチ４、フレーム遅延部５ａ、５ｂの処理がソフトウエアにより実現される。処理の内容については第１の実施形態で述べたものと同じである。スイッチ４により合成された出力映像データは、記憶装置９１ｆに記憶される。この記憶装置９１ｆに記憶された映像データは、観測者の要求に応じて、不図示の映像再生部により表示装置に出力される。
【００８８】
このような画像処理装置によれば、元映像データから、追従視の容易な対象物のブロックでは撮像時のボケ（ぶれ）が少なく、追従視の困難な対象物のあるブロックではランダム感の少ない高品質な表示が行える映像データを生成することができる。
【００８９】
なお、本実施形態では、第１の実施形態と同じように２種類の元映像データを入力する構成としたが、第３又は第４の実施形態と同じように１つの元映像データに対して高域強調処理又はローパスフィルタ処理を施すことで２種類の元映像データを生成してもよい。また、出力映像データを記憶装置９１ｆに記憶させるのではなく、表示装置や外部装置に対してリアルタイムで出力しても良い。本実施形態の画像処理装置は、汎用のコンピュータとプログラムにより構成することもできるし、専用の装置で構成することもできる。
【００９０】
＜その他の実施形態＞
図１で示した高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂ、ハーフミラーで構成する撮像部は、図１６に示すＣＣＤあるいはＣＭＯＳで構成される半導体撮像素子に
より実現しても好適である。図１６は１つの半導体撮像素子のチップに高速シャッタで動作する撮像素子、及び低速シャッタで動作する撮像素子を実装した半導体撮像素子である。
【００９１】
図１６において、９００は半導体撮像素子のチップ（ダイ）外形を模式的に示す線、９０１は半導体撮像素子の１受光素子の部分を示す破線である。９０２は半導体撮像素子の高速シャッタ用のホトダイオード等で実現する受光部分、９０３は半導体撮像素子の低速シャッタ用のホトダイオード等で実現する受光部分である。その他、受光した映像データの転送回路やタイミング回路や映像データの出力回路等については、本発明には直接影響しないので、図１６では省略している。図１６において、受光部分９０２で受光した光は、短い撮像時間で光電変換される。一方、受光部分９０３で受光した光は、長い撮像時間で光電変換される。
受光部分９０２と受光部分９０３の面積比は、撮像時間の逆数の比に比例するように設計すると、光電変換される電圧がほぼ同じになるので好適である。２つの映像信号のずれは不図示のゲイン調整回路で行うと良い。
【００９２】
この半導体撮像素子は通常の半導体撮像素子同様の光学系を有し、１受光素子９０１で撮像時間の短い映像信号と撮像時間の長い映像信号の２つを同時に得る事ができる。第１の実施形態に比べ光学系が通常のカメラと同じでよいので、非常に簡単な構成で、撮像時間の長さが異なる２つの映像信号を同時に得ることができる。これらの映像信号を第１の実施形態に適応することによって、撮像部分を簡便化できる。
【００９３】
また、図１で示した高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂ、ハーフミラーで構成する撮像部分は、図１７に示す構成で実現しても好適である。図１７は１フレームを２つのサブフレームに時間分割し、高速シャッタ、及び低速シャッタの映像信号を順次出力するダブルシャッタカメラを使用した構成である。
【００９４】
図１７において、９１ｇは１フレームを２つのサブフィールド（一方は撮像時間の短い映像信号、もう一方は撮像時間の長い映像信号）に分割し、それらサブフィールドを時分割で出力するダブルシャッタカメラである。６００は、ダブルシャッタカメラ９１ｇの出力ＶＳ１を受けて、通常の１フレーム時間の長さで、撮像時間の短い映像信号ＶＳ２と長い映像信号ＶＳ３の２つの信号を同時に出力するシリパラ変換部である。６０１はフレームメモリ、６０２はタイミング発生回路、６０３は撮像時間の短い映像信号ＶＳ２を出力する出力端子、６０４は撮像時間の長い映像信号ＶＳ３を出力する出力端子である。
【００９５】
図１８にダブルシャッタカメラ９１ｇを使用した構成のタイミング図を示す。図１８のタイミング図において、横軸はフレームを単位とする時間軸である。図１７と、図１８を用いて以下動作を説明する。
【００９６】
ダブルシャッタカメラ９１ｇは、例えば、ｎ番目のフレーム時刻において撮像時間の短い映像信号（ＳＳｎ）と撮像時間の長い映像信号（ＬＳｎ）を時分割で出力する。撮像時間が異なるため映像信号ＳＳｎと映像信号ＬＳｎの信号レベルは異なるが、不図示のゲイン調整回路で２つの映像信号が同じレベルとなるように調整するとよい。
シリパラ変換部６００は、ｎ番目のフレーム時刻において、撮像時間の短い映像信号（ＳＳｎ）、撮像時間の長い映像信号（ＬＳｎ）をフレームメモリ６０１に書き込む。
次に、ｎ＋１番目のフレーム時刻において、ダブルシャッタカメラ９１ｇは、撮像時間の短い映像信号（ＳＳｎ＋１）、撮像時間の長い映像信号（ＬＳｎ＋１）を時分割で出力する。ｎ＋１番目のフレーム時刻において、シリパラ変換部６００はフレームメモリ６０１に撮像時間の短い映像信号（ＳＳｎ＋１）及び撮像時間の長い映像信号（ＬＳｎ＋１）を書き込む。同時に、シリパラ変換部６００はフレームメモリ６０１からｎ＋１番目のフ
レーム時刻において、前フレーム時間に書き込んだ撮像時間の短い映像信号（ＳＳｎ）および撮像時間の長い映像信号（ＬＳｎ）を１フレーム時間をかけて並列に読み出す。そして、撮像時間の短い映像信号（ＳＳｎ）は出力端子６０３に、撮像時間の長い映像信号（ＬＳｎ）は出力端子６０４にそれぞれ出力される。
タイミング発生回路６０２は、これらの動作で必要なタイミングを生成する。
【００９７】
このようにして、１つのカメラから、撮像時間の短い映像信号と撮像時間の長い映像信号の２種類の映像信号を得ることができる。このダブルシャッタカメラ９１ｇによる構成は、通常のカメラと同じ光学系でよいので、非常に簡単な構成で、１つの受光素子で撮像時間の短い映像信号と長い映像信号の両方を同時に得ることができる。かかる構成を第１の実施形態に適用することによって、撮像部分の構成を簡単化できる。
【００９８】
前述したように、第１の実施形態におけるスイッチ４が切り換えるブロックの大きさ、あるいは、第２の実施形態における撮像素子の撮像時間の指定のためのブロックの大きさは任意である。また、映像信号全体（１フレーム全体）を１つのブロックとして制御しても本発明の効果は得られる。
【００９９】
ブロックよりも動きベクトル検出単位エリアの大きさが小さい場合、ブロック内の複数の動きベクトル検出単位エリアで検出された動きベクトルを平均してブロック全体の動きベクトルを求めることができる。この方法を拡張し、各動きベクトル検出単位エリアで検出された局所的な動きベクトルを映像信号全体で平均することで、映像信号全体を１つのブロックとして扱う場合の動きベクトルを計算することができる。
【０１００】
映像信号全体（１フレーム全体）を１ブロックとして扱うために、さらに以下の方法も好適である。
この動きベクトルは、観測者の視線の動きと一致していると良い。観測者の視線の動きと一致していると、第１または第３または第４の実施形態におけるスイッチ４の切り換え、あるいは、第２の実施形態における撮像素子の撮像時間の指定が、観測者の視線の動きと合致し、本発明の効果が良好となる。
すなわち、ブロックが１つの場合の動きベクトルが、観測者が追従視すると期待できる映像中の対象物（主要対象物）の動きベクトルと一致していると、本発明の効果が良好となる。主要対象物の動きベクトルは例えば以下の方法により算出することができる。
【０１０１】
第１の方法は、動き検出部１が、各動きベクトル検出単位エリアの局所的な動きベクトルの映像全体の平均を算出し、その平均値を主要対象物の動きベクトルとして出力する方法である。カメラをパンしたときのように、映像全体が同じ方向に同じ速度で移動している場合に、追従視の動きと、主要対象物の動きベクトルとは良く合致する。第１の方法は、処理内容が単純であるとともに、ハードウエア化が容易であるという利点がある。
【０１０２】
第２の方法は、動き検出部１が、予め設定された閾値以上の大きさをもつ局所的な動きベクトルのみの平均を算出し、その平均値を主要対象物の動きベクトルとして出力する方法である。ここで用いる閾値ＴＨ１は、映像のサイズ（解像度）やフレームレート、動き検出単位エリアの大きさなどに応じて適宜設定すればよく、例えば、数画素から十数画素程度に設定することができる。第２の方法も、第１の方法と同様、カメラをパンしたときのような映像に対して有効である。さらに第２の方法は、背景が静止若しくは殆ど動いておらず、対象物のみが動いているような映像の場合に、当該対象物の動きベクトルを第１の方法よりも正確に算出できるという利点がある。なお、第２の方法も、処理内容が比較的単純であり、ハードウエア化が容易である。
【０１０３】
第３の方法は、最も好適な算出方法である。例えば、映像中の主要対象物（観察者が追
従視する対象物）があまり大きくなく、背景部分にも動く対象物が存在しているような映像を考える。背景部分の動きが小さい場合は、第２の方法でも主要対象物の動きベクトルを精度良く算出することができる。しかし、背景部分に動く対象物が多数含まれていたり、背景部分の対象物が大きく動いたり、ランダムな方向に動いていたりすると、主要対象物の動きベクトルの算出結果の誤差が大きくなる可能性がある。
そこで第３の方法では、同一又は類似の局所的な動きベクトルを有し、かつ、エリアの合計面積が閾値ＴＨ２以上となる、隣接した複数の動き検出単位エリアを、主要対象物として選択する。このとき、第２の方法と同じように、閾値ＴＨ１より小さい動きベクトルのエリアは除いて考えるとよい。複数の主要対象物候補が検出された場合には、それらの中で動きの最も大きいものを主要対象物に選べばよい。閾値ＴＨ２は、映像のサイズ（解像度）やフレームレート、動き検出単位エリアの大きさなどに応じて適宜設定すればよく、例えば、映像全体の面積の数％から十数％程度に設定することができる。なお、同一の動きベクトルとは、方向及び大きさがともに一致する動きベクトルをいい、類似の動きベクトルとは、方向の差及び大きさの差がともに非常に小さい動きベクトルをいう。例えば、方向の差が閾値ＴＨ３（例えば、数度から十数度程度）より小さく、かつ、大きさの差が閾値ＴＨ４（例えば、数画素から十数画素程度）より小さい場合に、類似の動きベクトルと判断すればよい。
【０１０４】
図１９を参照して、第３の方法のアルゴリズムを具体的に説明する。図１９において、各矩形領域８０１は動きベクトル検出単位エリアであり、この例では縦５×横８の４０個の動きベクトル検出単位エリア８０１が示されている。８０２は、動きベクトル検出単位エリア８０１毎に算出された局所的な動きベクトルを模式的に示す矢印である。なお黒丸は、大きさゼロの動きベクトルを表す。斜線でハッチングした領域８０３が、動き検出部１によって、同一又は類似の動きベクトルを有する隣接した複数の動きベクトル検出単位エリアと判断された領域である。閾値ＴＨ２が例えば映像全体の面積Ｓの５％に設定されていると仮定する。この場合、動き検出部１は、領域８０３の合計面積が０．０５×Ｓ以上であれば、この領域８０３を主要対象物とみなし、領域８０３内の１１個のエリア８０１の動きベクトルを平均したものを主要対象物のベクトルとして出力する。
【０１０５】
動き検出部１で上記のような処理によって求まった動きベクトルは、撮像時間制御部２、あるいは、撮像時間算出部３に入力される。動き検出部１以降の処理については前述したとおりである。すなわち、主要対象物の動きベクトルにしたがって、画面全体を１ブロックとして、時間応答性の良い（高周波成分の多い）映像信号と時間応答性の悪い（高周波成分の少ない）映像信号の切り換え、あるいは、撮像素子の撮像時間の設定が行われるこの方法によって、画面全体が１つのブロックとして扱っていても、追従視可能な対象物では撮像時のボケが無く、追従視が困難な対象物ではランダム感の無い表示が行える。
【符号の説明】
【０１０６】
１：動き検出部、２：撮像時間制御部、３：撮像時間算出部、４：スイッチ、９１ａ：高速シャッタカメラ、９１ｂ：低速シャッタカメラ、９１ｃ：可変シャッタカメラ
【技術分野】
【０００１】
本発明は画像処理装置、撮像装置、及びそれらの制御方法に関する。
【背景技術】
【０００２】
従来より、被写体の動きの大きさ（速さ）に応じて、撮像素子の撮像時間（シャッタ速度、露光時間）を調整することで、画像の品質を改善する方法が知られている。
特許文献１には、撮像された画像を複数のブロックに分割し、各ブロックの動きを検出し、動きが大きいブロックほど露光時間が短くなるようにブロック単位で電子シャッタを制御する撮像装置が開示されている。
また、特許文献２では、撮像された画像から被写体の動きを検出し、被写体の動きが大きい場合に撮像素子の電子シャッタ速度を遅くする画像観察装置が開示されている。さらに、特許文献２では、動きが検出された画素を含む画素エリアで画素加算及びスムージング処理を行い、画像をぼかすことを開示している。
また、特許文献３では、分割領域単位の移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を分割領域単位で設定し、分割領域単位でフィルタリング処理を行うことを開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１９７１９２号公報
【特許文献２】特開２００８−６０９８１号公報
【特許文献３】特開２００７−２７４２９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したように、従来技術では、物体の動きの大きさ（速さ）にのみ着目して、撮像時間を制御している。しかしながら、本発明者の検討により、動きの大きさだけでなく、動きの質（速度の変化や加速度の変化）も、映像の表示に影響を与えることがわかってきた。たとえば、物体が様々な方向・速度で動いているような映像は、物体が等速度若しくは等加速度で動いている映像に比べて、物体を追従視することが難しい。このような追従視の困難な映像に対して撮像時のボケを低減する処理を単純に施すと、物体の動きの連続性が視覚的に感じられなくなり、物体がランダムな位置に現れては消えるように見えることがある。この妨害感を本明細書ではランダム感とよぶ。従来方法では、このようなランダム感の発生を回避することはできない。
【０００５】
本発明は上記実情に鑑みてなされたものであり、動きのある映像を表示する際の表示品質のさらなる改善を目的とする。より詳しくは、本発明は、映像中の対象物の動きの質に応じて、撮像時のボケの低減とランダム感の抑制とを両立可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１態様は、
動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力する入力部と、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出する動き検出部と、
前記動き検出部で検出された動きの質に応じて、前記第１の映像信号と前記第２の映像
信号を切り換えることにより出力映像信号を生成する出力制御部と、
を有し、
前記出力制御部は、検出された動きが等速度又は等加速度の動きである場合には前記第１の映像信号を出力し、検出された動きが等速度又は等加速度の動きでない場合には前記第２の映像信号を出力する画像処理装置を提供する。
【０００７】
本発明の第２態様は、
動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力する入力部と、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出する動き検出部と、
前記動き検出部で検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成する出力制御部と、
を有し、
前記出力制御部は、検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする画像処理装置を提供する。
【０００８】
本発明の第３態様は、
動く対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む前記第２の映像信号を出力する撮像部と、
前記撮像部から出力される前記第１の映像信号及び前記第２の映像信号が入力される、上記の画像処理装置と、
を有する撮像装置を提供する。
【０００９】
本発明の第４態様は、
撮像時間を変更可能なカメラと、
前記カメラで撮像された映像信号を解析して、前記映像信号に含まれる対象物の動きを検出する動き検出部と、
検出された動きが等速度又は等加速度の動きである場合は撮像時間が短く、検出された動きが等速度又は等加速度の動きでない場合は撮像時間が長くなるように、前記カメラの撮像時間を制御する制御部と、
を有する撮像装置を提供する。
【００１０】
本発明の第５態様は、
動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力するステップと、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を切り換えることにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きである場合には前記第１の映像信号が出力され、検出された動きが等速度又は等加速度の動きでない場合には前記第２の映像信号が出力される
画像処理装置の制御方法を提供する。
【００１１】
本発明の第６態様は、
動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力するステップと、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする画像処理装置の制御方法を提供する。
【００１２】
本発明の第７態様は、
動く対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を取得するステップと、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を切り換えることにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きである場合には前記第１の映像信号が出力され、検出された動きが等速度又は等加速度の動きでない場合には前記第２の映像信号が出力される
撮像装置の制御方法を提供する。
【００１３】
本発明の第８態様は、
動く対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を取得するステップと、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする撮像装置の制御方法を提供する。
【００１４】
本発明の第９態様は、
撮像時間を変更可能なカメラを有する撮像装置の制御方法であって、
前記カメラで撮像された映像信号を解析して、前記映像信号に含まれる対象物の動きを検出するステップと、
検出された動きが等速度又は等加速度の動きである場合は撮像時間が短く、検出された動きが等速度又は等加速度の動きでない場合は撮像時間が長くなるように、前記カメラの撮像時間を制御するステップと、
を有する撮像装置の制御方法を提供する。
【発明の効果】
【００１５】
本発明によれば、動きのある映像を表示する際の表示品質のさらなる改善が可能となる。また、本発明によれば、映像中の対象物の動きの質に応じて、撮像時のボケの低減とランダム感の抑制とを両立することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態の撮像装置のブロック図。
【図２】本発明の第２の実施形態の撮像装置のブロック図。
【図３】本発明の第３の実施形態の撮像装置のブロック図。
【図４】本発明の第４の実施形態の撮像装置のブロック図。
【図５】本発明の第５の実施形態の画像処理装置のブロック図。
【図６】等速度運動の評価と等加速度運動の評価を説明するための図。
【図７】ずれ係数Ｋに対する映像信号Ｖ１とＶ２の重みの一例を示すグラフ。
【図８】等速度の評価を行う撮像時間制御部の構成を示す図。
【図９】ずれ係数Ｌに対する映像信号Ｖ１とＶ２の重みの一例を示すグラフ。
【図１０】等加速度の評価を行う撮像時間制御部の構成を示す図。
【図１１】動いている対象物と各ブロックの出力映像信号の種類を模式的に示した図。
【図１２】ずれ係数Ｋに対する撮像時間の一例を示すグラフ。
【図１３】ずれ係数Ｌに対する撮像時間の一例を示すグラフ。
【図１４】本発明の第３の実施形態の変形例を示すブロック図。
【図１５】本発明の第４の実施形態の変形例を示すブロック図。
【図１６】１チップに高速及び低速の２種類の撮像素子が実装された例を示す図。
【図１７】ダブルシャッタカメラを用いた撮像部分の構成を示す図。
【図１８】ダブルシャッタカメラを用いた構成のタイミング図。
【図１９】主要対象物の動きベクトルの第３の算出方法を説明するための図。
【発明を実施するための形態】
【００１７】
本発明は、インパルス型ディスプレイを用いて映像信号を表示する際に、撮像時のボケを低減するとともに、追従視の困難な映像部分に対してランダム感の発生を抑制可能な技術に関する。本発明は、入力された映像信号（原信号）からインパルス型ディスプレイの表示に適した映像信号を生成して出力する画像処理装置、又は、撮像した映像信号からインパルス型ディスプレイの表示に適した映像信号を生成して出力する撮像装置に適用できる。さらに、入力された映像信号（原信号）から表示に適した映像信号を生成して表示するインパルス型ディスプレイ（画像表示装置）にも本発明を適用できる。なお、インパルス型ディスプレイは、典型的には、ＣＲＴ、線順次駆動を行うＦＥＤ（Field Emission Display）やＳＥＤ（Surface-conduction Electron-emitter Display）などである。ただ
し、本発明では、黒フレームを挿入したり、あるいはバックライトの発光時間を短くすることで、ホールドボケ（動きぼやけ）を改善したＬＣＤ（液晶ディスプレイ）も、インパルス型ディスプレイの範疇とする。
【００１８】
（撮像時のボケ）
初めに、撮像時のボケについて説明する。撮像時のボケは撮像素子の撮像時間内で被写体である対象物が動いた場合に発生するものであり、モーションブラー（動きぶれ）ともよばれる。映像信号自体にボケが含まれているため、どのようなタイプのディスプレイで表示しても撮像時のボケは観察される。
撮像時のボケを少なくするためには、撮像素子の電子シャッタの速度を制御し、１フレーム時間より短い撮像時間で対象物を撮像する方法がある。例えば1/1000秒の撮像時間で対象物を撮像した場合、映像信号のそれぞれのフレームはぶれの無いシャープな映像となる。
撮像時のボケ（動きぶれ）は、被写体の輪郭をぼやけさせたり、色や明暗のコントラストを低下させる。そのため、同一対象物を異なる撮像時間（シャッタ速度）で撮像した複数種類の映像について空間周波数成分を比較すると、撮像時間の短い映像信号ほど高周波成分が多く、撮像時間の長い映像信号ほど高周波成分が少なくなる。よって、撮像時間の短い映像信号を「高周波成分の多い映像信号」、撮像時間の長い映像信号を「高周波成分の少ない映像信号」とよぶことができる。また、時間軸方向の画素値（又は輝度又は色）の変化に着目した場合は、撮像時間の短い映像信号を「時間応答性の良い映像信号」、撮
像時間の長い映像信号を「時間応答性の悪い映像信号」とよぶこともできる。また、映像中の対象物の動きぶれの有無に着目した場合は、撮像時間の短い映像信号を「対象物のぶれを含まない映像信号」、撮像時間の長い映像信号を「対象物のぶれを含む映像信号」とよぶこともできる。
【００１９】
（ホールドボケ）
次に、ホールドボケについて説明する。ホールドボケは、画面上の動く対象物を追従視した場合に発生する。追従視とは、対象物の動きに対して視線を追従させながら、動く対象物を観測することをいう。
【００２０】
ＣＲＴ、線順次駆動のＦＥＤやＳＥＤ（Surface-conduction Electron-emitter Display）を初めとするインパルス型ディスプレイでは、各フレーム（又はフィールド）におけ
る表示時間（発光時間）が非常に短い。そのため、動く対象物を追従視した場合でもボケは発生しない。
これに対し、ＬＣＤを初めとするホールド型ディスプレイでは、１フレームのあいだ発光強度が保持されるため、動く対象物を追従視した場合に、対象物が移動方向に広がって網膜上に結像される。これがホールドボケとなって観測される。ホールドボケは、動く対象物を追従視した場合、ホールド型ディスプレイでは必ず発生する。このホールドボケを回避するためには、ホールド型ディスプレイで動く対象物を表示する際、バックライトの発光時間を短く制御して、インパルス型ディスプレイのように表示することが好ましい。最近では、ＬＣＤのバックライトの発光時間を短くする技術や、映像フレーム間に黒フレームを挿入する技術により、ＬＣＤもインパルス型ディスプレイの特性に近づいている。このような制御を行っているＬＣＤに対しても、本発明の映像処理方法は有効である。本明細書では、このようなＬＣＤもインパルス型ディスプレイの範疇として考える。
【００２１】
（インパルス型ディスプレイでの妨害感）
次に、インパルス型ディスプレイで表示を行った場合の妨害感について説明する。
インパルス型ディスプレイでは、撮像時のボケの無い映像を表示した場合に、ある条件で妨害感が発生する。撮像時のボケの無い対象物をインパルス型ディスプレイで観測すると、前述した様に、動く対象物を追従視してもホールドボケは発生しない。一方、追従視の困難な動きの対象物の場合は、観測者の視線の動きと映像上の対象物の動きとがずれてしまい、網膜上の結像位置にずれが生じる。
実際このような運動を行う対象物の映像をインパルス型ディスプレイに表示すると、観測者は対象物の動きの連続性を視覚的に感じられなくなり、対象物がランダムな位置に現れては消えるような不自然な表示に見える。このような妨害感（ランダム感とよぶ。）は、撮像時のボケより不自然であり違和感がある。追従視が困難な映像としては、例えば、滝や噴水の映像がある。滝や噴水の水滴は多くの方向に色々な速度で飛散するので追従視が不可能である。また、１つ又は少ない数の対象物であっても、様々な方向・速度で動いている場合には、動きを予測することができず、追従視が困難である。
本発明者の検討により、追従視の困難な対象物を撮像する場合に、撮像時間を長く設定し、わざと撮像時のボケを加えて撮像することによってランダム感を除去できることが分かった。また、電子シャッタを用いて短い撮像時間で撮影した映像信号に対して、撮像時のボケに相当するボケを信号処理により加えることによっても、同じようにランダム感を低減できることも見出した。なお、撮像時のボケは対象物の移動方向に沿って現れるため、ランダム感に比べて不自然さは少ない。
【００２２】
＜第１の実施形態＞
本発明の第１の実施形態は、映像信号の動きの質（速度の変化、加速度の変化）を評価し、その評価結果すなわち追従視のしやすさに応じて、出力映像信号の撮像時間の長さを変化させる。具体的には、撮像時間の短い第１の映像信号（対象物のぶれを含まない映像
信号）と撮像時間の長い第２の映像信号（対象物のぶれを含む映像信号）を適宜切り換え又は合成して、出力映像信号を生成する。このような出力映像信号をディスプレイに出力することにより、追従視の容易な対象物についてはボケ（ぶれ）の無いシャープな画質を実現し、追従視の困難な対象物についてはランダム感を抑えた自然な画質を実現する。
なお、以下に述べる実施形態では、１フレームの映像を複数の映像ブロックに分割し、ブロック毎に動きの質の評価及び撮像時間の制御を行う。これにより、１フレームの中に動きの無い物体、追従視の困難な動きの物体、追従視の容易な動きの物体などが混在している映像に対しても、映像全体の表示品質を良好にできる。映像ブロックの数及び大きさは任意に設定できる。例えば１フレームの映像全体を、縦、横それぞれ数十分割すると好適である。なお、１フレームの映像全体を１つのブロックとして撮像時間を制御した場合でも、本発明の効果は得られる。
【００２３】
（装置構成）
本発明の第１の実施形態の撮像装置のブロック図を図１に示す。
図１において、１は映像信号を解析して各ブロックに対応する部分の映像の動きベクトルを検出する動き検出部である。２は動き検出部１の出力に基づいて、ブロック毎の出力映像信号の撮像時間の長さを制御するための制御信号ＣＳ１を出力する撮像時間制御部である。４は制御信号ＣＳ１に従って、撮像時間の短い映像Ｖ１と撮像時間の長い映像Ｖ２とを切り換え又は合成するスイッチ（出力制御部）である。５ａ、５ｂは映像信号を遅延するフレーム遅延部である。９１ａは撮像時間の短い高速シャッタカメラであり、９１ｂは撮像時間の長い（通常１フレーム時間の１／６０秒）低速シャッタカメラであり、９２は被写体９０からの光を２つのカメラ９１ａ及び９１ｂに導くハーフミラーである。２台のカメラ９１ａ、９ｂとハーフミラーにより撮像部が構成されている。高速シャッタカメラ９１ａから得られる撮像時間の短い映像は入力端子１０ａに入力され、低速シャッタカメラ９１ｂから得られる撮像時間の長い映像は入力端子１０ｂに入力される。そしてスイッチ４で切り換え又は合成された映像信号は出力端子１０ｃからディスプレイ装置に出力される。
【００２４】
図１の構成において、高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂはハーフミラー９２を介して被写体である対象物９０を撮像する。高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂ、ハーフミラー９２の位置は、高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂの映像が完全に重なるように、調整されている。また、高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂの映像は同期しており、同じタイミングで撮像時間（シャッタ速度）の異なる２つの映像が得られる。対象物９０を撮像した高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂの映像出力は映像入力端子（入力部）１０ａ、１０ｂにそれぞれ入力される。
映像入力端子１０ａに入力された高速シャッタカメラ９１ａからの映像信号は、動き検出部１でブロック毎に１フレーム単位の動きベクトルが計算される。動き検出部１は、低速シャッタカメラ９１ｂからの映像信号から動きベクトルを算出しても良いが、高速シャッタカメラ９１ａからの映像信号の方が撮像時のボケが少ないため動きベクトルが精度よく求まる。
【００２５】
動き検出部１は、例えば以下のように動きベクトルの計算処理を行う。現在入力されているフレーム（現フレーム）と１つ前のフレーム（前フレーム）にそれぞれ動きベクトル検出単位エリアを設定する。前フレームの動きベクトル検出単位エリアを所定の探索範囲内で移動させながら、前フレームの映像と現フレームの映像との相関値を求める。そして、相関値が高い移動量を、その動きベクトル検出単位エリアの動きベクトルに決定する。この処理を、現フレーム上の複数の動きベクトル検出単位エリアごとに行う。動きベクトルは１フレーム時間で動きベクトル検出単位エリアがどのように動いたかを示す距離として、（ｘ，ｙ）座標で表現される。
【００２６】
動きベクトル検出単位エリアの大きさは、撮像時間を制御するブロックの大きさと同じでも良いし、異なっていても良い。ブロックの大きさより小さな動きベクトル検出単位エリア毎に動きベクトルを検出した場合は、ブロック内で動きベクトル検出単位エリア毎に算出された動きベクトルを平均してブロック毎の動きベクトルとしても良い。また、逆に、ブロックの大きさより大きな動きベクトル検出単位エリア毎に動きベクトルを検出した場合は、動きベクトル検出単位エリア毎に算出された動きベクトルに空間的なローパスフィルタをかけ、ブロック単位の動きベクトルを求めてもよい。動き検出部１の動きベクトルの計算量を削減するために、あらかじめ画素を間引くか平均化することで画素数を少なくしてから計算すると好適である。
【００２７】
動き検出部１で上記のような処理によって求まったブロック毎の動きベクトルは、撮像時間制御部２に入力される。撮像時間制御部２は入力されるブロック毎の動きベクトルから、制御信号ＣＳ１を計算し出力する。撮像時間制御部２の詳細な動作については後述する。
【００２８】
図１において、フレーム遅延部５ａ、５ｂはフレームメモリで構成され、それぞれ高速シャッタカメラ９１ａからの映像信号、低速シャッタカメラ９１ｂからの映像信号を遅延する。遅延量は、動き検出部１及び撮像時間制御部５の演算時間による遅延時間に合わすと好適である。フレーム遅延部５ａ、５ｂはフレームメモリが必要なため、ハードウエア量が多く比較的コストが高い。
フレーム遅延部５ａ、５ｂを省いた場合、期待する撮像時間の映像信号とその切り換えに時間的なずれ（遅れ）が生じるが、通常の映像では違和感が少ないため、コストを下げるためフレーム遅延部５ａ、５ｂを省くことが可能である。
【００２９】
（撮像時間の制御）
前述したようにインパルス型ディスプレイにおいて、追従視できない対象物については、ランダム感と呼ばれる妨害感が発生する。
第１の実施形態は、このような不自然な表示を改善するための方法である。すなわち、映像信号から対象物の動きの質（追従視の容易な動きか否か）を評価して、追従視の容易な映像ブロックについては撮像時間の短い映像信号を出力することで撮像時のボケ（ぶれ）の無い映像を表示する。一方、追従視の困難な映像ブロックについて撮像時間の長い映像信号を出力することでランダム感の発生を抑制する。
【００３０】
次に、追従視可能な対象物の動きについて説明する。本発明者が、追従視できる対象物の動きを観察したところ、テロップの様な等速度で移動している対象物、あるいは、等加速度で移動する対象物については人間の目が良好に追従できることがわかった。
【００３１】
このことから、等速度あるいは等加速度運動する対象物が含まれる映像ブロックであれば撮像時間が短い映像信号を出力する。それによって、追従視できる対象物のボケ（ぶれ）を防止する。その他の動きが含まれる映像ブロックについては追従視が難しいので、ランダム感が発生しないように、撮像時間が長い映像信号に切り換えるか、撮像時間が短い映像信号と長い映像信号を合成し、撮像時のボケ（ぶれ）を含む映像を表示する。追従視が難しいブロックではボケた（ぶれた）映像が表示されるが、撮像時のボケはランダム感に比べ不自然さが小さいことから、映像全体の総合的な表示品質は向上する。
【００３２】
（等速度の評価）
初めに、等速度の評価を行う例について記す。
図６（ａ）に等速度運動の評価を説明するためのグラフを示す。図６（ａ）において、縦軸は時刻、横軸はｘ方向の位置を示す。Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１はフレー
ム毎の時刻を示している。横軸はｘ方向として説明するが、ｘ，ｙ軸の両方の位置を評価すると好適である。図６（ａ）において４０１ａ、４０１ｂ、４０１ｃ、４０１ｄはそれぞれ時刻Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１の時の追従視している視線を模式的に示す。４０２ａ、４０２ｂ、４０２ｃ、４０２ｄは動く対象物であり、おおよそ等速度運動をしている。観測者はフレーム毎に視線を対象物の動きに合わすことはできず、対象物の平均的な動きに追従し等速度に視線を移動させる。すなわち、対象物４０２ｃの様な等速度から外れた対象物については、視線４０１ｃとのずれ（ΔＸ）が発生する。このずれは網膜上でボケとなる。このボケに起因して、インパルス型ディスプレイにおけるランダム感が発生する。
【００３３】
このボケの出具合、すなわち等速度で追従視する視線に対して対象物がどの程度ずれているかの比を「ずれ係数：Ｋ」として、本明細書では定義する。このずれ係数Ｋが小さな値であればランダム感は発生しにくいため、撮像時間が短い映像信号を良好な表示品質でインパルス型のディスプレイに表示できる。
【００３４】
動き検出部１からの出力である動きベクトルから得られるｍ番目のフレームにおける１フレームあたりの移動量をＸｍ、観測者の視線の１フレームあたりの平均移動量をＸａｖｅとする。現時刻であるｎ番目のフレームにおけるずれ係数Ｋを、式１）で定義する。
【数１】
ずれ係数Ｋは図６（ａ）に示したように、対象物の位置と視線の位置の差（ΔＸ）を１フレームあたりの視線の移動距離（Ｘａｖｅ）で割った値で定義する。
【００３５】
ずれ係数Ｋが例えば０であれば、視線の位置と対象物の位置がずれていないので、撮像時間が短い映像信号Ｖ１を出力し、追従視できる対象物のボケを防止する。この場合、ランダム感のような妨害感は生じない。一方、ずれ係数Ｋが０．５以上になると、追従視した時に１フレーム期間に動く距離の半分の距離、対象物がずれていることとなり、妨害感が顕著になり始める。
そのため、ずれ係数Ｋの値が大きくなるのに応じて、撮像時間が短い映像信号Ｖ１から撮像時間が長い映像信号Ｖ２に切り換えるか、あるいは、映像信号Ｖ１に対する映像信号Ｖ２の合成率（重み）を増加させることで、意図的に対象物に撮像時のボケを加える。それによって、追従視の困難な映像信号におけるランダム感の発生を抑制する。
【００３６】
ずれ係数Ｋの定義式をより簡略化するために、以下の様な式の変形を行い、ずれ係数を求めても好適である。すなわち式１）は、
【数２】
と、変形できる。現時刻ｎより前までは追従視できている（すなわち、視線の位置と対象物の位置がずれていない）と仮定する。式で示すと、
【数３】
となる。
式２）に式３）を代入し、
K=|Xn-Xave|/|Xave| ・・・・式４）
が求まる。
式１）あるいは、式４）により、ずれ係数Ｋを求め追従視可能かを判断すると好適である。
【００３７】
次に、１フレームあたりの視線の移動距離（視線の速度）は、現時刻ｎより以前の１フレームあたりの対象物の移動距離の平均値であるので、
【数４】
と、求めることができる。
【００３８】
本実施形態では式１）または式４）に式５）を代入して、ずれ係数Ｋを計算し、ずれ係数Ｋの大きさにより、撮像時間が短い映像信号Ｖ１と撮像時間が長い映像信号Ｖ２とを最適に選択する。式５）の開始時刻は、例えば、シーンが変わったときを基点として、過去から計算すればよい。
【００３９】
静止している対象物のブロックでＸａｖｅが０の場合、式１）、式４）の分母が０となる。対象物が静止しているときは追従視可能であるので、この場合は、式１）、式４）の計算は行わず、Ｋの値として小さな値（例えばＫ＝０）を出力する。
【００４０】
これらの計算は、ソフトウエアで処理する場合は実装が容易であるが、ハードウエア化する場合は、ハードウエアの増加が懸念される。そこで、ハードウエアにより実現する場合は、式５）の計算は、現時刻により重みを付けた計算（巡回型のフィルタ）で視線の移動距離（視線の速度）Ｘａｖｅを計算するとよい。これによりハードウエアの量を削減でき、更に、実際の観測者の追従視の速度に近い値が得られる。時刻ｎのフレームの時の追従視の速度をＸａｖｅｎとすると、Ｘａｖｅｎを求める式は、
Xaven=S1・Xn-1+S2・Xaven-1 ・・・・式６）
ただし、
S1+S2=1 ・・・・式７）
となる。Ｓ１、Ｓ２により、１フレーム前の視線の速度と１フレーム前の対象物の速度の重みを変えることができる。通常、Ｓ２がＳ１より大きくなるように、Ｓ１とＳ２を設定すると良い。
【００４１】
さらに、簡便に視線の速度を計算するためには、以下の様な計算を行うと好適である。時刻ｎのフレームにおける視線の速度Ｘａｖｅｎは直前の２フレームにおける対象物の速度の平均値から求めると計算量を少なくできる。すなわち、
Xaven=(1/2)・Xn-2+(1/2)・Xn-1 ・・・・式８）
で求める。
さらに、より簡便に視線の速度を計算するために、時刻ｎのフレームにおける視線の速度Ｘａｖｅｎを単に直前の１フレームにおける対象物の速度から求めると良い。すなわち、
Xaven=Xn-1 ・・・・式９）
で求める。
式８）、式９）の視線の速度の計算は、誤差が多少大きくなるが、ハードウエアやソフトウエアでの計算量が少なくできる大きな利点がある。
【００４２】
式１）または式４）に式５）または式６）または式８）または式９）を代入して、ずれ係数Ｋを計算し、ずれ係数Ｋの大きさにより、撮像時間が短い映像信号Ｖ１と撮像時間が長い映像信号Ｖ２を最適に選択する。
ずれ係数Ｋの値が小さければ、視線と対象物のずれが少なく追従視が容易であるので、
撮像時間が短い映像信号Ｖ１を選択、又は、支配的にすることで、ボケ（ぶれ）の無い映像を表示する。そして、ずれ係数Ｋの値が大きければ、視線と対象物のずれが大きく追従視が困難であるので、撮像時間が長い映像信号Ｖ２を選択、又は、支配的にすることで、ランダム感の発生を抑制する。
【００４３】
スイッチ４は、例えば、ずれ係数Ｋが０．５より小さい場合に、等速度の動きであるとみなし、高速シャッタカメラ９１ａの映像信号Ｖ１を選択して出力する。また、ずれ係数Ｋが０．５以上の場合に、等速度の動きでないとみなし、低速シャッタカメラ９１ｂの映像信号Ｖ２に切り換えて出力する。この場合、制御信号ＣＳ１は映像信号Ｖ１とＶ２を切り換える二値の信号でよい。図７（ａ）は、映像信号Ｖ１、Ｖ２の切り換えの特性を模式的に示している。横軸はずれ係数Ｋ、縦軸は映像信号Ｖ１、Ｖ２に対する重みを示す。
【００４４】
また、スイッチ４は、映像信号Ｖ１とＶ２を選択的に切り換えるのではなく、ずれ係数Ｋの大きさに応じた重み（合成率）で映像信号Ｖ１とＶ２を重み付け合成し、その合成映像信号を出力することも好適である。このときも、例えば、ずれ係数Ｋが０．５以上の場合（つまり等速度の動きでない場合）に、ずれ係数Ｋが０．５より小さい場合（つまり等速度の動きである場合）に比べ、映像信号Ｖ２の重みが大きくなるようにすれば、ランダム感の発生を抑制できる。好ましくは、等速度の動きである場合には、Ｖ１の重みをＶ２の重みよりも大きくし（例えば、Ｖ１の重みを０．６〜１．０、Ｖ２の重みを０．４〜０．０）、等速度の動きでない場合には、Ｖ２の重みをＶ１の重みよりも大きくする（例えば、Ｖ１の重みを０．０〜０．４、Ｖ２の重みを１．０〜０．６）とよい。これにより、ボケ（ぶれ）の抑制とランダム感の発生の抑制をより確実に制御できる。
さらに、ずれ係数Ｋが大きくなるほどＶ２の重みが大きくなるように、ずれ係数Ｋの大きさに応じて重み（合成率）を連続的に変化させることが好ましい。図７（ｂ）、（ｃ）に重みを連続的に変化させる場合の切り換え特性の例を示す。映像信号Ｖ１、Ｖ２の重みの合計は１となるようにすると、合成の前と後で輝度が変化しないので好適である。この場合は、映像信号Ｖ１、Ｖ２のうちいずれか一方の重みを制御信号ＣＳ１としてスイッチ４に与えればよい。なお図７（ｂ）、（ｃ）では、Ｖ１の重みを１．０〜０．０の範囲で変化させているが、重みの上限を１．０より小さくしたり、重みの下限を０．０より大きくしたりしてもよい。例えば、Ｖ１の重みを１．０〜０．１（Ｖ２の重みを０．０〜０．９）の範囲で変化させたり、Ｖ１の重みを０．９〜０．０（Ｖ２の重みを０．１〜１．０）の範囲で変化させたり、Ｖ１の重みを０．９〜０．１（Ｖ２の重みを０．１〜０．９）の範囲で変化させてもよい。
この方法によれば、映像信号Ｖ１とＶ２の切り換えが連続的となるため、映像信号Ｖ１とＶ２を選択的に切り換える方法よりも、切り換え時の映像の変化や違和感を少なくできる。なお、図７（ｂ）、（ｃ）の特性は一例にすぎず、実際に主観評価を行い最適な特性を決定することが好適である。ただし、重みの変化は、連続的又は段階的に単調増加（又は単調減少）させることが好ましい。
また映像信号Ｖ１、Ｖ２は輝度と比例する値をもつデータであることが望ましい。ガンマ変換されている映像信号の場合は、スイッチ４の前で逆ガンマ変換を行い輝度と比例するデータとした上で処理を行うと、合成の前と後で映像信号の輝度が変化しないので好適である。
なお上記の例では、ずれ係数Ｋが０．５より小さい場合を「等速度の動きである」、ずれ係数Ｋが０．５以上の場合を「等速度の動きでない」と評価しているが、等速度の動きか否かを判定する閾値はこれに限られない。また、ずれ係数Ｋ以外の指標により等速度の動きか否かを評価してもよい。
【００４５】
（等速度の評価を行う撮像時間制御部）
図８に、等速度の評価を行う撮像時間制御部２の構成例を示す。図８において、５０１は動き検出部１の出力である動きベクトルを入力する入力端子である。５１０は追従視速
度算出部であり、前述した式５）、式６）、式８）、式９）のいずれかの方法で視線の速度（Ｘａｖｅ）を計算する。５１１はＫ算出部であり、入力された視線の速度（Ｘａｖｅ）と動きベクトルからずれ係数Ｋを算出する。５０８は変換テーブルであり、図７（ａ）、（ｂ）、（ｃ）に示した特性等がルックアップテーブル形式で記憶されており、ずれ係数Ｋに対して映像信号Ｖ１の重みを出力する。５０９は変換テーブル５０８の出力に対して、時間方向の高域成分をカットするローパスフィルタである。５０６はスイッチ４に制御信号ＣＳ１を出力する出力端子である。
【００４６】
変換テーブル５０８の出力である映像信号Ｖ１の重みを、直接、制御信号ＣＳ１としてスイッチ４に入力しても良い。しかし、好ましくは図８に示したように、変換テーブル５０８の出力をローパスフィルタ５０９に入力、ローパスフィルタ５０９の出力を制御信号ＣＳ１としてスイッチ４に与えるとよい。ローパスフィルタ５０９を付けることによって、映像信号Ｖ１とＶ２の切り換えの時間方向及び空間方向の変化が緩やかになるため、映像信号Ｖ１とＶ２の切り換えによる違和感が少なくなるからである。なお、スイッチ４では、１から、映像信号Ｖ１の重みであるＣＳ１の値を減算することで、映像信号Ｖ２の重みを求めることができる。
【００４７】
（等加速度の評価）
次に等加速度の評価を行う例について記す。
【００４８】
図６（ｂ）に等加速度運動の評価を説明するためのグラフを示す。図６（ｂ）において、縦軸は時刻、横軸はｘ方向の速度を示す。Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１はフレーム毎の時刻を示している。横軸はｘ方向の速度として説明するが、ｘ，ｙ軸の両方の速度を評価すると好適である。図６（ｂ）において４０１ａ、４０１ｂ、４０１ｃ、４０１ｄはそれぞれ時刻Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１の時の追従視している視線を模式的に示す。４０２ａ、４０２ｂ、４０２ｃ、４０２ｄは動く対象物であり、おおよそ等加速度運動をしている。観測者はフレーム毎に視線を対象物の動きに合わすことはできず、対象物の平均的な動きに追従し等加速度で視線を移動させる。すなわち、対象物４０２ｃの様な等加速度から外れた対象物については、視線４０１ｃとの速度のずれ（ΔＶ）が発生する。この速度のずれ（ΔＶ）は等加速度で追従視している観測者にとって網膜上でボケとなる。このボケに起因して、インパルス型ディスプレイにおけるランダム感が発生する。
【００４９】
このボケの出具合、すなわち等加速度で追従視する視線に対して対象物の加速度がどの程度ずれているかの比を「ずれ係数：Ｌ」として、本明細書では定義する。このずれ係数Ｌが小さな値であればランダム感は発生しにくいため、撮像時間が短い映像信号を良好な表示品質でインパルス型のディスプレイに表示できる。
【００５０】
Ａｎをｎ番目のフレームにおける対象物の加速度、Ａａｖｅを対象物の平均加速度（すなわち観測者が追従視する視線の平均加速度）とすると、ずれ係数Ｌを式１０）で定義する。
L=|An-Aave|/|Aave| ・・・・式１０）
すなわち、ずれ係数Lは、現時刻における加速度と観測者の視線の平均加速度の差の、
視線の平均加速度に対する比である。この比が０であれば、観測者の視線の動きと対象物の動きが同じであるので、撮像時間が短い映像信号Ｖ１を出力し、追従視できる対象物のボケを防止する。この場合、ランダム感のように妨害感は生じない。一方、ずれ係数Ｌが０．５以上になると、追従視した時に１フレーム期間に変化する速度の半分の速度に当たる距離、対象物がずれていることなり、妨害感が顕著になり始める。
そのため、ずれ係数Ｌの値が大きくなるのに応じて、撮像時間が短い映像信号Ｖ１から撮像時間が長い映像信号Ｖ２に切り換えるか、あるいは、映像信号Ｖ１に対する映像信号
Ｖ２の合成率（重み）を増加させることで、意図的に対象物に撮像時のボケを加える。それによって、追従視の困難な映像信号におけるランダム感の発生を抑制する。
【００５１】
動き検出部１から出力される動きベクトルは、１フレーム時間当たりの移動量、すなわち速度であるから、現時刻の加速度は動き検出部１の出力の差で求めることができる。式１０）は、
L=|{Xn-Xn-1}-Aave|/|Aave| ・・・・式１１）
となる。
平均加速度は、
【数５】
でもとめることができる。
【００５２】
式１１）に式１２）を代入して、ずれ係数Ｌを計算し、ずれ係数Ｌの大きさにより、撮像時間が短い映像信号Ｖ１と撮像時間が長い映像信号Ｖ２とを最適に選択する。式１２）の開始時刻は、例えば、シーンが変わったときを基点として、過去から計算すればよい。
等速度運動している対象物のブロックではＡａｖｅが０となり、式１０）、式１１）の分母が０となる。対象物が等速度運動しているときは観測者は追従視可能であるので、この場合は、式１０）、式１１）の計算は行わず、Ｌの値として小さな値（例えばＬ＝０）を出力する。
【００５３】
これらの計算は、ソフトウエアで処理する場合は実装が容易であるが、ハードウエア化する場合は、ハードウエアの増加が懸念される。そこで、ハードウエアにより実現する場合は、式１２）の計算は、現時刻により重みを付けた計算（巡回型のフィルタ）で視線の平均加速度Ａａｖｅを計算するとよい。これによりハードウエアの量を削減でき、更に、実際の観測者の追従視の加速度に近い値が得られる。時刻ｎのフレームの時の追従視の加速度をＡａｖｅｎとすると、Ａａｖｅｎを求める式は、
Aaven=S1・(Xn-1-Xn-2)+S2・Aaven-1 ・・・・式１３）
ただし、
S1+S2=1 ・・・・式１４）
となる。Ｓ１、Ｓ２により、１フレーム前の視線の加速度と１フレーム前の対象物の加速度の重みを変えることができる。通常、Ｓ２がＳ１より大きくなるように、Ｓ１とＳ２を設定すると良い。
【００５４】
さらに、簡便に視線の加速度を計算するためには、以下の様な計算を行うと好適である。時刻ｎのフレームにおける視線の加速度Ａａｖｅｎは直前の２フレームにおける対象物の加速度の平均値から求めても良い。すなわち、
Aaven={(Xn-2-Xn-3)+(Xn-1-Xn-2)}/2 ・・・・式１５）
で求める。
【００５５】
さらに、より簡便に追従視の加速度を計算するためには、時刻nのフレームにおける追
従視の加速度Ａａｖｅｎを単に直前の２フレームにおける対象物の加速度から求めても良い。すなわち、
Aaven=(Xn-1-Xn-2) ・・・・式１６）
で求める。
式１５）、式１６）で求めた視線の加速度の計算は、誤差が多少大きくなるが、ハードウエアやソフトウエアでの計算量が少なくできる大きな利点がある。
【００５６】
式１１）に式１２）または式１３）または式１５）または式１６）を代入して、ずれ係数Ｌを計算し、ずれ係数Ｌの大きさにより、撮像時間が短い映像信号Ｖ１と撮像時間が長い映像信号Ｖ２を最適に選択する。
ずれ係数Ｌの値が小さければ、視線と対象物のずれが少なく追従視が容易であるので、撮像時間が短い映像信号Ｖ１を選択、又は、支配的にすることで、ボケ（ぶれ）の無い映像を表示する。そして、ずれ係数Ｌの値が大きければ、視線と対象物のずれが大きく追従視が困難であるので、撮像時間が長い映像信号Ｖ２を選択、又は、支配的にすることで、ランダム感の発生を抑制する。ここでも、ずれ係数Ｋの場合と同様、図９（ａ）、（ｂ）、（ｃ）のようにずれ係数Ｌの値に応じて映像信号Ｖ１とＶ２の切り換えや重みを制御するとよい。
なお、ここでは、ずれ係数Ｌが０．５より小さい場合を「等加速度の動きである」、ずれ係数Ｌが０．５以上の場合を「等加速度の動きでない」と評価すればよい。ただし、等加速度の動きか否かを判定する閾値はこれに限られない。また、ずれ係数Ｌ以外の指標により等加速度の動きが否かを評価してもよい。
【００５７】
（等加速度の評価を行う撮像時間制御部）
図１０に、等加速度の評価を行う撮像時間制御部２の構成例を示す。図１０において、図８と同様の構成ブロックについては説明を省略する。図１０において、５１２は追従視加速度算出部であり、前述した式１２）、式１３）、式１５）、式１６）のいずれかの方法で視線の加速度（Ａａｖｅ）を計算する。５１３はＬ算出部であり、入力された視線の加速度（Ａａｖｅ）と動きベクトルからずれ係数Ｌを算出する。５０８は変換テーブルであり、図９（ａ）、（ｂ）、（ｃ）に示した特性等がルックアップテーブル形式で記憶されており、ずれ係数Ｌに対して映像信号Ｖ１の重みを出力する。ローパスフィルタ５０９の構成及び処理内容は図８のものと同じである。
【００５８】
上記では説明をわかりやすくするために、Ｘ方向のずれ係数Ｋ、Ｌのみ説明したが、Ｙ方向についても同様な評価を行うことが好ましい。Ｘ方向とＹ方向の評価を行うときは両方向のずれ係数がゼロ若しくは十分小さい場合に限って、追従視が容易であると判断し、映像信号Ｖ１を選択することが好適である。例えば、Ｘ、Ｙ方向でそれぞれ映像信号Ｖ１の重みを求めた後、より小さい重みをローパルフィルタ５０９へ入力すると好適である。実際には図８又は図１０において、変換テーブル５０８までは、Ｘ、Ｙの２系統で処理し、変換テーブル５０８の出力である映像信号Ｖ１の重みの大小を比較し、より小さな値をローパスフィルタ５０９に入力し、以降の処理は１系統で行うと良い。
【００５９】
（制御結果の一例）
図１１（ａ）、（ｂ）に、本発明の第１の実施形態によるブロック毎の映像信号の切り換え制御の一例を模式的に示す。図１１（ａ）は入力映像信号の例であり、図１１（ｂ）は出力映像信号におけるブロックごとの映像信号の種類を模式的に示した例である。
図１１（ａ）において、３１０の斜線は等速度で矢印方向に移動している対象物、格子は映像ブロックを示す。図示しないが、対象物３１０の周囲の背景には、等速度でない動きの物体が映っているものとする。
図１１（ｂ）において、３１１の斜線部は撮像時間の短い映像信号Ｖ１が出力されるブロック、３１２のドット部分は撮像時間の短い映像信号Ｖ１と撮像時間の長い映像信号Ｖ２とを合成した映像信号が出力されるブロックである。また３１３の無地のブロックは、撮像時間の長い映像信号Ｖ２が出力されるブロックである。
本発明の第１の実施形態によるブロック毎の撮像時間の選択制御によって、等速運動している対象物３１０のあるブロックでは短い撮像時間が選択され撮像ボケの無いくっきりした動画が得られる。一方、等速度運動していないブロックでは、ランダム感を防ぐため撮像時間の長い映像信号が選ばれる。
【００６０】
（第１の実施形態の利点）
第１の実施形態によれば、ブロック毎に映像の動きの質（等速度、等加速度）を評価することで追従視のしやすさを判断し、撮像時間の短い映像信号と撮像時間の長い映像信号を適宜切り換え又は合成して、出力映像信号を生成する。このような出力映像信号をディスプレイに出力することにより、追従視の容易な対象物についてはボケ（ぶれ）の無いシャープな画質を実現し、追従視の困難な対象物についてはランダム感を抑えた自然な画質を実現することができる。
【００６１】
等速度の評価と等加速度の評価は、それぞれ単独で行っても効果がある。また２つの方法を組み合わせても良好な効果が得られる。２つの方法を組み合わせる場合、各々独立に撮像時間の短い映像信号Ｖ１の重みを計算し、そのうち小さいほうの値を制御信号ＣＳ１としてブロック毎にスイッチ４に出力すると好適である。
また、等速度の評価により撮像時間の短い映像信号と撮像時間の長い映像信号を切り換える制御のほうが、等加速度の評価により切り換える制御よりも効果が大きいので、等速度の評価のみを行っても好適である。
【００６２】
＜第２の実施形態＞
次に本発明の第２の実施形態について説明する。第１の実施形態では、シャッタ速度の異なる２台のカメラで映像信号Ｖ１とＶ２を取得し、それらを適宜切り換えて出力映像信号を生成した。これに対し第２の実施形態では、撮像した映像信号の動きの質の評価結果に基づいてカメラのシャッタ速度をフィードバック制御することにより、第１の実施形態で生成した出力映像信号と同等の映像を直接取得可能な撮像装置を示す。
【００６３】
本発明の第２の実施形態の撮像装置のブロック図を図２に示す。
図２において、１は映像信号を解析して各ブロックに対応する部分の映像の動きベクトルを算出する動き検出部、３は動き検出部１の出力に基づいてブロック毎の適切な撮像時間を算出し、撮像時間指示信号ＣＳ２を出力する撮像時間算出部（制御部）である。１０ｃは撮像装置の出力である映像信号を出力する出力端子、１０ｄは撮像素子の出力する映像信号を入力する入力端子である。９０は被写体、９１ｃは撮像時間指示信号ＣＳ２によりブロック毎に撮像時間（シャッタ速度）を変更可能な可変シャッタカメラである。
【００６４】
図２において、対象物を撮像した可変シャッタカメラ９１ｃは映像信号を入力端子１０ｄに出力する。入力端子１０ｄに入力された映像信号から動き検出部１はブロック毎の動きベクトルを算出する。動きベクトルの算出は、第１の実施形態と同じ方法で行うので、説明は省略する。算出されたブロック毎の動きベクトルは、撮像時間算出部３に入力される。
撮像時間算出部３の構成は前述した撮像時間制御部２とほぼ同様な構成であり、等速度を評価する場合は図８の構成、等加速度を評価する場合は図１０の構成である。異なる部分は、変換テーブル５０８に記憶されている内容であり、詳細の違いについては後述する。そして、撮像時間算出部３の出力であるブロック毎の撮像時間により、可変シャッタカメラ９１ｃの撮像素子のブロック毎の撮像時間が好適に制御される。
【００６５】
第２の実施形態である撮像装置において、対象物の動きの質として等速度の評価を行う例を説明する。
等速度を評価する場合、撮像時間算出部３の構成は図８の構成である。第１の実施形態と異なる部分は、変換テーブルの出力がずれ係数Ｋに対して最適な撮像時間が記憶されている点である。ずれ係数Ｋに対する最適な撮像時間の例を、図１２（ａ）、（ｂ）、（ｃ）に記す。図１２（ａ）、（ｂ）、（ｃ）はずれ係数Ｋに対して好ましい撮像時間を出力する変換テーブル５０８の変換の例である。横軸はずれ係数Ｋを示し、縦軸は撮像時間を示している。撮像時間は０から１の範囲で規格化されており、１のときに最大の撮像時間
となる。なお図に示した特性は一例にすぎず、実際に主観評価を行い最適な特性を決定することが好適である。
【００６６】
図１２（ａ）は、単純に、ずれ係数Ｋが閾値（図の例では０．５）以上か否かで、撮像時間の長さを切り換える例である。すなわち、ずれ係数Ｋが閾値より小さい場合は、追従視が容易であるため、撮像時間を短くしてボケ（ぶれ）の無い映像を撮影し、ずれ係数Ｋが閾値以上の場合は、追従視が困難であるため、撮影時間を長くして意図的にボケ（ぶれ）を発生させる。これにより、第１の実施形態における図７（ａ）の制御と同等の映像信号を得ることができる。
図１２（ｂ）、（ｃ）は、撮像時間の切り換え時の映像の変化や違和感を低減するために、ずれ係数Ｋに応じて撮像時間を連続的に変化させるようにした例である。このようなテーブルを用いることで、第１の実施形態における図７（ｂ）、（ｃ）の制御と同等の映像信号を得ることができる。
【００６７】
第２の実施形態の撮像装置において、対象物の動きの質として等加速度の評価を行う場合は、撮像時間算出部３の構成は図１０の構成となる。そして、図１０の変換テーブル５０８に図１３（ａ）、（ｂ）、（ｃ）のような特性のテーブルをもたせ、ずれ係数Ｌに応じて各ブロックの撮像時間を制御することで、上記の等速度評価を行う場合と同等の映像信号を得ることができる。
【００６８】
ローパスフィルタ５０９の役目や、等速度と等加速度を両方行う場合の実施例等のその他の構成は第１の実施形態で説明した構成と同じであるので、説明は省略する。
また、ブロック毎に撮像時間（露光時間）を制御できる撮像素子の構造については特開２００６−１９７１９２号公報に記載されているので、本明細書では説明を省略する。
【００６９】
本発明の第２の実施形態では、第１の実施形態で示したフレーム遅延部５ａ、５ｂが付けられない構成である。すなわち、撮像時間が制御されるフレームは、動きの質を評価し撮像時間指示信号ＣＳ２を作成するために参照したフレームに対して、１から数フレーム遅延している。そのため厳密には、適切でない撮像時間が設定される可能性もある。しかしながら、一般に隣接フレーム間の相関は高いため、適切でない撮像時間が設定されることは少ない。また、たとえ適切でない撮像時間が設定されたとしてもそれによる表示品質の低下は殆ど目立たないので、上記の点が不利になることはない。むしろ、カメラが２台必要であり、且つ、幾何光学的な調整が必要な第１の実施形態に比べ、カメラが１台である第２の実施形態はコストメリットが大きいため、有用な構成である。
【００７０】
＜第３の実施形態＞
次に、本発明の第３の実施形態を示す。第１の実施形態では、シャッタ速度の異なる２台のカメラで高周波成分の多い映像信号Ｖ１と高周波成分の少ない映像信号Ｖ２を取得した。これに対し第３の実施形態では、低速シャッタカメラで得られた映像信号Ｖ２に対し、高域強調処理を施すことにより、高周波成分の多い映像信号Ｖ１を生成する。映像の動きの質（追従視のしやすさ）により映像信号Ｖ１とＶ２を適宜切り換え又は合成して出力映像信号を生成する点は、第１の実施形態のものと同様である。カメラが１台でよい第３の実施形態は、カメラが２台必要であり幾何光学的な調整が必要な第１の実施形態に比べ、コストメリットが大きい。
【００７１】
本発明の第３の実施形態の撮像装置のブロック図を図３に示す。
第１の実施形態（図１）と異なる構成は、高速シャッタカメラの代わりに、動き方向高域強調フィルタ３０ａが設けられている点と、低速シャッタカメラ９１ｂの映像信号を遅延するフレーム遅延部５ｃが設けられている点である。それ以外は、第１の実施形態の構成と同じである。
【００７２】
動き方向高域強調フィルタ（ボケ低減部）３０ａは、低速シャッタカメラ９１ｂの映像信号から動き方向（動きベクトル）を検出し、映像信号に対し動き方向の高域強調を施す。これにより、低速シャッタカメラ９１ｂの映像信号に含まれる撮像時のボケ（ぶれ）がキャンセルされ、高速シャッタカメラで得られる映像信号と同等の高周波成分の多い映像信号が得られる。動き方向高域強調フィルタ３０ａの出力は入力端子１０ａに入力される。一方、低速シャッタカメラ９１ｂから出力される高周波成分の少ない映像信号は、フレーム遅延部５ｃにより動き方向高域強調フィルタ３０ａの処理時間と同じ時間だけ遅延され、入力端子１０ｂに入力される。入力端子１０ａ、１０ｂより後段の構成、動作は、第１の実施形態と同じであるので、詳細な説明は省略する。
【００７３】
このようにして、第１の実施形態と同様に、ブロック毎に映像信号Ｖ１とＶ２を適宜切り換えることにより、追従視の容易な対象物のあるブロックでは撮像時のボケ（ぶれ）の少ないくっきりした動画が得られ、追従視の困難な対象物のあるブロックでは、ランダム感の発生が防止される。
【００７４】
次に、動き方向高域強調フィルタ３０ａの動作を説明する。
動き方向高域強調フィルタ３０ａは、ブロック毎に動きベクトルを算出し、動きベクトルの方向、大きさに応じて、高い空間周波数の信号を増強するフィルタである。対象物の動く速度の大きさ・方向により撮像時のボケは変化するので、動きベクトルの大きさ・方向によりフィルタの特性を制御すると好適である。すなわち動きベクトルの方向にあわせた空間方向のフィルタを用い、そのフィルタの高域の空間周波数の持ち上げ方を動きベクトルの大きさに従って制御すると好適である。動きベクトルが大きな場合、撮像時のボケが大きいので、動き方向高域強調フィルタ３０ａはより低い周波数から強調を行うと良い。
動き方向高域強調フィルタ３０ａの動きベクトルの検出方法は、前述した動き検出部１と同等の方法が好適である。動きベクトルの検出方法の説明は省略する。
【００７５】
動きベクトルの検出は前述したように複雑な処理を行うため、ハードウエア量、あるいはソフトウエアの計算量が大きくなりコストの上昇等の問題がある。図３では、本発明の第３の実施形態の説明をわかりやすくするために、動き検出を２つ持つ構成を示した。しかし、製品等に第３の実施形態を実装する場合は、コストの上昇が少ない図１４に示す構成が有効である。
【００７６】
図１４の構成で図３の構成と異なる点は、動き方向高域強調フィルタ３０は、動き検出機能を持たず、動き検出部１の動きベクトルを使用して、動き方向の高域強調フィルタ処理を行うことである。そのため、フレーム遅延部５ａ、５ｃも省略できる。フレーム遅延部５ｂの遅延時間は、動き方向高域強調フィルタ３０の遅延時間と等しく設計する。またフレーム遅延部５ｂはコストが比較的高いので、前述しているようにコストを下げるために省略しても良い。図１４の撮像装置においても、低速シャッタカメラ９１ｂの映像信号に動き方向の高域強調を施した映像信号Ｖ１と、低速シャッタカメラ９１ｂの映像信号Ｖ２とをスイッチ４で適宜切り換え又は合成することで、図３の撮像装置と同等の出力映像信号が得られる。
【００７７】
＜第４の実施形態＞
次に、本発明の第４の実施形態を示す。第１の実施形態では、シャッタ速度の異なる２台のカメラで高周波成分の多い映像信号Ｖ１と高周波成分の少ない映像信号Ｖ２を取得した。これに対し第４の実施形態では、高速シャッタカメラで得られた映像信号Ｖ１に対し、
ローパスフィルタをかけることにより、高周波成分の少ない映像信号Ｖ２を生成する。映
像の動きの質（追従視のしやすさ）により映像信号Ｖ１とＶ２を適宜切り換え又は合成して出力映像信号を生成する点は、第１の実施形態のものと同様である。カメラが１台でよい第４の実施形態は、カメラが２台必要であり幾何光学的な調整が必要な第１の実施形態に比べ、コストメリットが大きい。
【００７８】
本発明の第４の実施形態の撮像装置のブロック図を図４に示す。
第１の実施形態（図１）と異なる構成は、低速シャッタカメラの代わりに、動き方向ローパスフィルタ４０ａが設けられている点と、高速シャッタカメラ９１ａの映像信号を遅延するフレーム遅延部５ｃが設けられている点である。高速シャッタカメラ９１ａは撮像時間の短いカメラであり、例えばフレーム時間の数分の１あるいは数百分の１の撮像時間（１／１００〜１／２０００秒）である。それ以外は、第１の実施形態の構成と同じである。
【００７９】
動き方向ローパスフィルタ（ボケ付加部）４０ａは、高速シャッタカメラ９１ａの映像信号から動き方向（動きベクトル）を検出し、映像信号に対し動き方向のローパスフィルタ処理を施す。これにより、高速シャッタカメラ９１ａのシャープな映像信号に対して、撮像時のボケ（ぶれ）のようなボケが付加され、低速シャッタカメラで得られる映像信号と同等の高周波成分の少ない映像信号が得られる。動き方向ローパスフィルタ４０ａの出力は入力端子１０ｂに入力される。一方、高速シャッタカメラ９１ａから出力される高周波成分の多い映像信号は、フレーム遅延部５ｃにより動き方向ローパスフィルタ４０ａの処理時間と同じ時間だけ遅延され、入力端子１０ａに入力される。入力端子１０ａ、１０ｂより後段の構成、動作は、第１の実施形態と同じであるので、詳細な説明は省略する。
【００８０】
このようにして、第１の実施形態と同様に、ブロック毎に映像信号Ｖ１とＶ２を適宜切り換えることにより、追従視の容易な対象物のあるブロックでは撮像時のボケ（ぶれ）の少ないくっきりした動画が得られ、追従視の困難な対象物のあるブロックでは、ランダム感の発生が防止される。
【００８１】
次に、動き方向ローパスフィルタ４０ａの動作を説明する。
動き方向ローパスフィルタ４０ａは、ブロック毎に動きベクトルを算出し、動きベクトルの方向、大きさに応じて、高い空間周波数の信号を低減するフィルタである。対象物の動く速度の大きさ・方向により撮像時のボケは変化するので、動きベクトルの大きさ・方向によりフィルタの特性を制御すると好適である。すなわち動きベクトルの方向にあわせた空間方向のフィルタを用い、そのフィルタの高域の空間周波数の低減の仕方を動きベクトルの大きさに従って制御すると好適である。動きベクトルが大きな場合、撮像時のボケが大きいので、動き方向ローパスフィルタ４０ａはより低い周波数から低減を行うと良い。
動き方向ローパスフィルタ４０ａの動きベクトルの検出方法は、前述した動き検出部１と同等の方法が好適である。動きベクトルの検出方法の説明は省略する。
【００８２】
動きベクトルの検出は前述したように複雑な処理を行うため、ハードウエア量、あるいはソフトウエアの計算量が大きくなりコストの上昇等の問題がある。図４では、本発明の第４の実施形態の説明をわかりやすくするために、動き検出を２つ持つ構成を示した。しかし、製品等に第４の実施形態を実装する場合は、コストの上昇が少ない図１５に示す構成が有効である。
【００８３】
図１５の構成で図４の構成と異なる点は、動き方向ローパスフィルタ４０は、動き検出機能を持たず、動き検出部１の動きベクトルを使用して、動き方向のローパスフィルタ処理を行うことである。そのため、フレーム遅延部５ｂ、５ｃも省略できる。フレーム遅延部５ａの遅延時間は、動き方向ローパスフィルタ４０の遅延時間と等しく設計する。また
フレーム遅延部５ａはコストが比較的高いので、前述しているようにコストを下げるために省略しても良い。図１５の撮像装置においても、高速シャッタカメラ９１ａの映像信号Ｖ１と、高速シャッタカメラ９１ａの映像信号に動き方向のローパスフィルタ処理を施した映像信号Ｖ２とをスイッチ４で適宜切り換え又は合成することで、図４の撮像装置と同等の出力映像信号が得られる。
【００８４】
＜第５の実施形態＞
上述した第１から第４の実施形態は本発明を撮像装置に適用した例であり、カメラから得られるビデオ信号を切り換え又は合成して出力映像信号を生成している。これに対し、本発明の第５の実施形態は、本発明を画像処理装置に適用した例であり、記憶装置に記憶されている映像データを読み込み、それらを切り換え又は合成して出力映像データの生成を行う。
【００８５】
本発明の第５の実施形態の画像処理装置のブロック図を図５に示す。図５において、９１ｄは時間応答性の良い例えば高速シャッタで撮像した映像データが記憶されている記憶装置、９１ｅは時間応答性の悪い例えば低速シャッタカメラで撮像した映像データが記憶されている記憶装置である。９１ｆは画像処理装置から出力される映像データを記憶する記憶装置である。これらの記憶装置９１ｄ、９１ｅ、９１ｆは単一のハードウエアであっても良いし、別々のハードウエアで構成されていても良い。記憶装置としては、ハードディスクドライブ、ＤＶＤ等の光ディスクドライブ、半導体メモリを用いたソリッドステートドライブ、フラッシュメモリ、ＵＳＢメモリなど、映像データを記憶可能ないかなる種類のストレージデバイスを用いることができる。また、映像データの記憶及び出力機能を有するコンピュータ、携帯端末、スマートフォン、映像録画再生装置なども、これらの記憶装置として用いることができる。
【００８６】
時間応答性の良い映像データは、例えば、低速シャッタカメラの映像データに対し、動き方向に高域強調フィルタ処理を行い作成した映像データであっても良い。また、時間応答性の悪い映像データは、例えば、高速シャッタカメラの映像データに対し、動き方向にローパスフィルタ処理を行い作成した映像データであっても良い。
【００８７】
第５の実施形態の画像処理装置では、動き検出部１、撮像時間制御部２、スイッチ４、フレーム遅延部５ａ、５ｂの処理がソフトウエアにより実現される。処理の内容については第１の実施形態で述べたものと同じである。スイッチ４により合成された出力映像データは、記憶装置９１ｆに記憶される。この記憶装置９１ｆに記憶された映像データは、観測者の要求に応じて、不図示の映像再生部により表示装置に出力される。
【００８８】
このような画像処理装置によれば、元映像データから、追従視の容易な対象物のブロックでは撮像時のボケ（ぶれ）が少なく、追従視の困難な対象物のあるブロックではランダム感の少ない高品質な表示が行える映像データを生成することができる。
【００８９】
なお、本実施形態では、第１の実施形態と同じように２種類の元映像データを入力する構成としたが、第３又は第４の実施形態と同じように１つの元映像データに対して高域強調処理又はローパスフィルタ処理を施すことで２種類の元映像データを生成してもよい。また、出力映像データを記憶装置９１ｆに記憶させるのではなく、表示装置や外部装置に対してリアルタイムで出力しても良い。本実施形態の画像処理装置は、汎用のコンピュータとプログラムにより構成することもできるし、専用の装置で構成することもできる。
【００９０】
＜その他の実施形態＞
図１で示した高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂ、ハーフミラーで構成する撮像部は、図１６に示すＣＣＤあるいはＣＭＯＳで構成される半導体撮像素子に
より実現しても好適である。図１６は１つの半導体撮像素子のチップに高速シャッタで動作する撮像素子、及び低速シャッタで動作する撮像素子を実装した半導体撮像素子である。
【００９１】
図１６において、９００は半導体撮像素子のチップ（ダイ）外形を模式的に示す線、９０１は半導体撮像素子の１受光素子の部分を示す破線である。９０２は半導体撮像素子の高速シャッタ用のホトダイオード等で実現する受光部分、９０３は半導体撮像素子の低速シャッタ用のホトダイオード等で実現する受光部分である。その他、受光した映像データの転送回路やタイミング回路や映像データの出力回路等については、本発明には直接影響しないので、図１６では省略している。図１６において、受光部分９０２で受光した光は、短い撮像時間で光電変換される。一方、受光部分９０３で受光した光は、長い撮像時間で光電変換される。
受光部分９０２と受光部分９０３の面積比は、撮像時間の逆数の比に比例するように設計すると、光電変換される電圧がほぼ同じになるので好適である。２つの映像信号のずれは不図示のゲイン調整回路で行うと良い。
【００９２】
この半導体撮像素子は通常の半導体撮像素子同様の光学系を有し、１受光素子９０１で撮像時間の短い映像信号と撮像時間の長い映像信号の２つを同時に得る事ができる。第１の実施形態に比べ光学系が通常のカメラと同じでよいので、非常に簡単な構成で、撮像時間の長さが異なる２つの映像信号を同時に得ることができる。これらの映像信号を第１の実施形態に適応することによって、撮像部分を簡便化できる。
【００９３】
また、図１で示した高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂ、ハーフミラーで構成する撮像部分は、図１７に示す構成で実現しても好適である。図１７は１フレームを２つのサブフレームに時間分割し、高速シャッタ、及び低速シャッタの映像信号を順次出力するダブルシャッタカメラを使用した構成である。
【００９４】
図１７において、９１ｇは１フレームを２つのサブフィールド（一方は撮像時間の短い映像信号、もう一方は撮像時間の長い映像信号）に分割し、それらサブフィールドを時分割で出力するダブルシャッタカメラである。６００は、ダブルシャッタカメラ９１ｇの出力ＶＳ１を受けて、通常の１フレーム時間の長さで、撮像時間の短い映像信号ＶＳ２と長い映像信号ＶＳ３の２つの信号を同時に出力するシリパラ変換部である。６０１はフレームメモリ、６０２はタイミング発生回路、６０３は撮像時間の短い映像信号ＶＳ２を出力する出力端子、６０４は撮像時間の長い映像信号ＶＳ３を出力する出力端子である。
【００９５】
図１８にダブルシャッタカメラ９１ｇを使用した構成のタイミング図を示す。図１８のタイミング図において、横軸はフレームを単位とする時間軸である。図１７と、図１８を用いて以下動作を説明する。
【００９６】
ダブルシャッタカメラ９１ｇは、例えば、ｎ番目のフレーム時刻において撮像時間の短い映像信号（ＳＳｎ）と撮像時間の長い映像信号（ＬＳｎ）を時分割で出力する。撮像時間が異なるため映像信号ＳＳｎと映像信号ＬＳｎの信号レベルは異なるが、不図示のゲイン調整回路で２つの映像信号が同じレベルとなるように調整するとよい。
シリパラ変換部６００は、ｎ番目のフレーム時刻において、撮像時間の短い映像信号（ＳＳｎ）、撮像時間の長い映像信号（ＬＳｎ）をフレームメモリ６０１に書き込む。
次に、ｎ＋１番目のフレーム時刻において、ダブルシャッタカメラ９１ｇは、撮像時間の短い映像信号（ＳＳｎ＋１）、撮像時間の長い映像信号（ＬＳｎ＋１）を時分割で出力する。ｎ＋１番目のフレーム時刻において、シリパラ変換部６００はフレームメモリ６０１に撮像時間の短い映像信号（ＳＳｎ＋１）及び撮像時間の長い映像信号（ＬＳｎ＋１）を書き込む。同時に、シリパラ変換部６００はフレームメモリ６０１からｎ＋１番目のフ
レーム時刻において、前フレーム時間に書き込んだ撮像時間の短い映像信号（ＳＳｎ）および撮像時間の長い映像信号（ＬＳｎ）を１フレーム時間をかけて並列に読み出す。そして、撮像時間の短い映像信号（ＳＳｎ）は出力端子６０３に、撮像時間の長い映像信号（ＬＳｎ）は出力端子６０４にそれぞれ出力される。
タイミング発生回路６０２は、これらの動作で必要なタイミングを生成する。
【００９７】
このようにして、１つのカメラから、撮像時間の短い映像信号と撮像時間の長い映像信号の２種類の映像信号を得ることができる。このダブルシャッタカメラ９１ｇによる構成は、通常のカメラと同じ光学系でよいので、非常に簡単な構成で、１つの受光素子で撮像時間の短い映像信号と長い映像信号の両方を同時に得ることができる。かかる構成を第１の実施形態に適用することによって、撮像部分の構成を簡単化できる。
【００９８】
前述したように、第１の実施形態におけるスイッチ４が切り換えるブロックの大きさ、あるいは、第２の実施形態における撮像素子の撮像時間の指定のためのブロックの大きさは任意である。また、映像信号全体（１フレーム全体）を１つのブロックとして制御しても本発明の効果は得られる。
【００９９】
ブロックよりも動きベクトル検出単位エリアの大きさが小さい場合、ブロック内の複数の動きベクトル検出単位エリアで検出された動きベクトルを平均してブロック全体の動きベクトルを求めることができる。この方法を拡張し、各動きベクトル検出単位エリアで検出された局所的な動きベクトルを映像信号全体で平均することで、映像信号全体を１つのブロックとして扱う場合の動きベクトルを計算することができる。
【０１００】
映像信号全体（１フレーム全体）を１ブロックとして扱うために、さらに以下の方法も好適である。
この動きベクトルは、観測者の視線の動きと一致していると良い。観測者の視線の動きと一致していると、第１または第３または第４の実施形態におけるスイッチ４の切り換え、あるいは、第２の実施形態における撮像素子の撮像時間の指定が、観測者の視線の動きと合致し、本発明の効果が良好となる。
すなわち、ブロックが１つの場合の動きベクトルが、観測者が追従視すると期待できる映像中の対象物（主要対象物）の動きベクトルと一致していると、本発明の効果が良好となる。主要対象物の動きベクトルは例えば以下の方法により算出することができる。
【０１０１】
第１の方法は、動き検出部１が、各動きベクトル検出単位エリアの局所的な動きベクトルの映像全体の平均を算出し、その平均値を主要対象物の動きベクトルとして出力する方法である。カメラをパンしたときのように、映像全体が同じ方向に同じ速度で移動している場合に、追従視の動きと、主要対象物の動きベクトルとは良く合致する。第１の方法は、処理内容が単純であるとともに、ハードウエア化が容易であるという利点がある。
【０１０２】
第２の方法は、動き検出部１が、予め設定された閾値以上の大きさをもつ局所的な動きベクトルのみの平均を算出し、その平均値を主要対象物の動きベクトルとして出力する方法である。ここで用いる閾値ＴＨ１は、映像のサイズ（解像度）やフレームレート、動き検出単位エリアの大きさなどに応じて適宜設定すればよく、例えば、数画素から十数画素程度に設定することができる。第２の方法も、第１の方法と同様、カメラをパンしたときのような映像に対して有効である。さらに第２の方法は、背景が静止若しくは殆ど動いておらず、対象物のみが動いているような映像の場合に、当該対象物の動きベクトルを第１の方法よりも正確に算出できるという利点がある。なお、第２の方法も、処理内容が比較的単純であり、ハードウエア化が容易である。
【０１０３】
第３の方法は、最も好適な算出方法である。例えば、映像中の主要対象物（観察者が追
従視する対象物）があまり大きくなく、背景部分にも動く対象物が存在しているような映像を考える。背景部分の動きが小さい場合は、第２の方法でも主要対象物の動きベクトルを精度良く算出することができる。しかし、背景部分に動く対象物が多数含まれていたり、背景部分の対象物が大きく動いたり、ランダムな方向に動いていたりすると、主要対象物の動きベクトルの算出結果の誤差が大きくなる可能性がある。
そこで第３の方法では、同一又は類似の局所的な動きベクトルを有し、かつ、エリアの合計面積が閾値ＴＨ２以上となる、隣接した複数の動き検出単位エリアを、主要対象物として選択する。このとき、第２の方法と同じように、閾値ＴＨ１より小さい動きベクトルのエリアは除いて考えるとよい。複数の主要対象物候補が検出された場合には、それらの中で動きの最も大きいものを主要対象物に選べばよい。閾値ＴＨ２は、映像のサイズ（解像度）やフレームレート、動き検出単位エリアの大きさなどに応じて適宜設定すればよく、例えば、映像全体の面積の数％から十数％程度に設定することができる。なお、同一の動きベクトルとは、方向及び大きさがともに一致する動きベクトルをいい、類似の動きベクトルとは、方向の差及び大きさの差がともに非常に小さい動きベクトルをいう。例えば、方向の差が閾値ＴＨ３（例えば、数度から十数度程度）より小さく、かつ、大きさの差が閾値ＴＨ４（例えば、数画素から十数画素程度）より小さい場合に、類似の動きベクトルと判断すればよい。
【０１０４】
図１９を参照して、第３の方法のアルゴリズムを具体的に説明する。図１９において、各矩形領域８０１は動きベクトル検出単位エリアであり、この例では縦５×横８の４０個の動きベクトル検出単位エリア８０１が示されている。８０２は、動きベクトル検出単位エリア８０１毎に算出された局所的な動きベクトルを模式的に示す矢印である。なお黒丸は、大きさゼロの動きベクトルを表す。斜線でハッチングした領域８０３が、動き検出部１によって、同一又は類似の動きベクトルを有する隣接した複数の動きベクトル検出単位エリアと判断された領域である。閾値ＴＨ２が例えば映像全体の面積Ｓの５％に設定されていると仮定する。この場合、動き検出部１は、領域８０３の合計面積が０．０５×Ｓ以上であれば、この領域８０３を主要対象物とみなし、領域８０３内の１１個のエリア８０１の動きベクトルを平均したものを主要対象物のベクトルとして出力する。
【０１０５】
動き検出部１で上記のような処理によって求まった動きベクトルは、撮像時間制御部２、あるいは、撮像時間算出部３に入力される。動き検出部１以降の処理については前述したとおりである。すなわち、主要対象物の動きベクトルにしたがって、画面全体を１ブロックとして、時間応答性の良い（高周波成分の多い）映像信号と時間応答性の悪い（高周波成分の少ない）映像信号の切り換え、あるいは、撮像素子の撮像時間の設定が行われるこの方法によって、画面全体が１つのブロックとして扱っていても、追従視可能な対象物では撮像時のボケが無く、追従視が困難な対象物ではランダム感の無い表示が行える。
【符号の説明】
【０１０６】
１：動き検出部、２：撮像時間制御部、３：撮像時間算出部、４：スイッチ、９１ａ：高速シャッタカメラ、９１ｂ：低速シャッタカメラ、９１ｃ：可変シャッタカメラ
【特許請求の範囲】
【請求項１】
動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力する入力部と、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出する動き検出部と、
前記動き検出部で検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を切り換えることにより出力映像信号を生成する出力制御部と、
を有し、
前記出力制御部は、検出された動きが等速度又は等加速度の動きである場合には前記第１の映像信号を出力し、検出された動きが等速度又は等加速度の動きでない場合には前記第２の映像信号を出力する
ことを特徴とする画像処理装置。
【請求項２】
動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力する入力部と、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出する動き検出部と、
前記動き検出部で検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成する出力制御部と、
を有し、
前記出力制御部は、検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする
ことを特徴とする画像処理装置。
【請求項３】
前記出力制御部は、検出された動きが等速度又は等加速度の動きである場合には、前記第１の映像信号の重みを前記第２の映像信号の重みより大きくし、検出された動きが等速度又は等加速度の動きでない場合には、前記第２の映像信号の重みを前記第１の映像信号の重みより大きくする
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記出力制御部は、
検出された動きと等速度又は等加速度の動きとのずれを算出し、
ずれが大きくなるほど前記第２の映像信号の重みを大きくする
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記動き検出部は、前記対象物のぶれを含まない第１の映像信号から動きを検出する
ことを特徴とする請求項１〜４のうちいずれか１項に記載の画像処理装置。
【請求項６】
動く対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を出力する撮像部と、
前記撮像部から出力される前記第１の映像信号及び前記第２の映像信号が入力される、請求項１〜５のうちいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
【請求項７】
前記撮像部は、撮像時間の異なる２つのカメラを有しており、
前記第１の映像信号は、撮像時間が短いほうのカメラで撮像された映像信号であり、
前記第２の映像信号は、撮像時間が長いほうのカメラで撮像された映像信号である
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記撮像部は、１フレーム時間よりも短い撮像時間のカメラと、映像信号に対しボケを付加するボケ付加部とを有し、
前記第１の映像信号は、前記カメラで撮像された映像信号であり、
前記第２の映像信号は、前記カメラで撮像された映像信号に対し前記ボケ付加部でボケが付加された映像信号である
ことを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記撮像部は、１フレーム時間と同じ撮像時間のカメラと、映像信号に対しボケを低減するボケ低減部とを有し、
前記第１の映像信号は、前記カメラで撮像された映像信号に対し前記ボケ低減部でボケが低減された映像信号であり、
前記第２の映像信号は、前記カメラで撮像された映像信号である
ことを特徴とする請求項６に記載の撮像装置。
【請求項１０】
撮像時間を変更可能なカメラと、
前記カメラで撮像された映像信号を解析して、前記映像信号に含まれる対象物の動きを検出する動き検出部と、
検出された動きが等速度又は等加速度の動きである場合は撮像時間が短く、検出された動きが等速度又は等加速度の動きでない場合は撮像時間が長くなるように、前記カメラの撮像時間を制御する制御部と、
を有することを特徴とする撮像装置。
【請求項１１】
動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力するステップと、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を切り換えることにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きである場合には前記第１の映像信号が出力され、検出された動きが等速度又は等加速度の動きでない場合には前記第２の映像信号が出力される
ことを特徴とする画像処理装置の制御方法。
【請求項１２】
動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力するステップと、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする
ことを特徴とする画像処理装置の制御方法。
【請求項１３】
動く対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を取得するステップと、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を切り換える
ことにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きである場合には前記第１の映像信号が出力され、検出された動きが等速度又は等加速度の動きでない場合には前記第２の映像信号が出力される
ことを特徴とする撮像装置の制御方法。
【請求項１４】
動く対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を取得するステップと、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする
ことを特徴とする撮像装置の制御方法。
【請求項１５】
撮像時間を変更可能なカメラを有する撮像装置の制御方法であって、
前記カメラで撮像された映像信号を解析して、前記映像信号に含まれる対象物の動きを検出するステップと、
検出された動きが等速度又は等加速度の動きである場合は撮像時間が短く、検出された動きが等速度又は等加速度の動きでない場合は撮像時間が長くなるように、前記カメラの撮像時間を制御するステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項１】
動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力する入力部と、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出する動き検出部と、
前記動き検出部で検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を切り換えることにより出力映像信号を生成する出力制御部と、
を有し、
前記出力制御部は、検出された動きが等速度又は等加速度の動きである場合には前記第１の映像信号を出力し、検出された動きが等速度又は等加速度の動きでない場合には前記第２の映像信号を出力する
ことを特徴とする画像処理装置。
【請求項２】
動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力する入力部と、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出する動き検出部と、
前記動き検出部で検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成する出力制御部と、
を有し、
前記出力制御部は、検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする
ことを特徴とする画像処理装置。
【請求項３】
前記出力制御部は、検出された動きが等速度又は等加速度の動きである場合には、前記第１の映像信号の重みを前記第２の映像信号の重みより大きくし、検出された動きが等速度又は等加速度の動きでない場合には、前記第２の映像信号の重みを前記第１の映像信号の重みより大きくする
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記出力制御部は、
検出された動きと等速度又は等加速度の動きとのずれを算出し、
ずれが大きくなるほど前記第２の映像信号の重みを大きくする
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記動き検出部は、前記対象物のぶれを含まない第１の映像信号から動きを検出する
ことを特徴とする請求項１〜４のうちいずれか１項に記載の画像処理装置。
【請求項６】
動く対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を出力する撮像部と、
前記撮像部から出力される前記第１の映像信号及び前記第２の映像信号が入力される、請求項１〜５のうちいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
【請求項７】
前記撮像部は、撮像時間の異なる２つのカメラを有しており、
前記第１の映像信号は、撮像時間が短いほうのカメラで撮像された映像信号であり、
前記第２の映像信号は、撮像時間が長いほうのカメラで撮像された映像信号である
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記撮像部は、１フレーム時間よりも短い撮像時間のカメラと、映像信号に対しボケを付加するボケ付加部とを有し、
前記第１の映像信号は、前記カメラで撮像された映像信号であり、
前記第２の映像信号は、前記カメラで撮像された映像信号に対し前記ボケ付加部でボケが付加された映像信号である
ことを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記撮像部は、１フレーム時間と同じ撮像時間のカメラと、映像信号に対しボケを低減するボケ低減部とを有し、
前記第１の映像信号は、前記カメラで撮像された映像信号に対し前記ボケ低減部でボケが低減された映像信号であり、
前記第２の映像信号は、前記カメラで撮像された映像信号である
ことを特徴とする請求項６に記載の撮像装置。
【請求項１０】
撮像時間を変更可能なカメラと、
前記カメラで撮像された映像信号を解析して、前記映像信号に含まれる対象物の動きを検出する動き検出部と、
検出された動きが等速度又は等加速度の動きである場合は撮像時間が短く、検出された動きが等速度又は等加速度の動きでない場合は撮像時間が長くなるように、前記カメラの撮像時間を制御する制御部と、
を有することを特徴とする撮像装置。
【請求項１１】
動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力するステップと、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を切り換えることにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きである場合には前記第１の映像信号が出力され、検出された動きが等速度又は等加速度の動きでない場合には前記第２の映像信号が出力される
ことを特徴とする画像処理装置の制御方法。
【請求項１２】
動く対象物を撮像した映像信号であって、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号とを入力するステップと、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする
ことを特徴とする画像処理装置の制御方法。
【請求項１３】
動く対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を取得するステップと、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を切り換える
ことにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きである場合には前記第１の映像信号が出力され、検出された動きが等速度又は等加速度の動きでない場合には前記第２の映像信号が出力される
ことを特徴とする撮像装置の制御方法。
【請求項１４】
動く対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を取得するステップと、
前記第１の映像信号と前記第２の映像信号の少なくともいずれか一方の映像信号を解析して、前記対象物の動きを検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする
ことを特徴とする撮像装置の制御方法。
【請求項１５】
撮像時間を変更可能なカメラを有する撮像装置の制御方法であって、
前記カメラで撮像された映像信号を解析して、前記映像信号に含まれる対象物の動きを検出するステップと、
検出された動きが等速度又は等加速度の動きである場合は撮像時間が短く、検出された動きが等速度又は等加速度の動きでない場合は撮像時間が長くなるように、前記カメラの撮像時間を制御するステップと、
を有することを特徴とする撮像装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−８０３５５（Ｐ２０１２−８０３５５Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２４１８９（Ｐ２０１０−２２４１８９）
【出願日】平成２２年１０月１日（２０１０．１０．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年１０月１日（２０１０．１０．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]