画像処理装置、画像処理方法、およびプログラム
【課題】重畳表示が存在する動画像の手振れを違和感なく補正する。
【解決手段】入力画像に重畳表示が存在する場合、ステップＳ５で入力画像に手振れ補正処理を施す。次に、ステップＳ６で、重畳表示を消去するに際してフィールド補間を採用できるか否か判定し、できると判定した場合、フィールド補間によってフィールド画像の重畳表示を消去し、できないと判定した場合、面内補間によってフィールド画像の重畳表示を消去する。本発明は、例えばテレビジョン受像機、ビデオプレーヤなどに適用することができる。
【解決手段】入力画像に重畳表示が存在する場合、ステップＳ５で入力画像に手振れ補正処理を施す。次に、ステップＳ６で、重畳表示を消去するに際してフィールド補間を採用できるか否か判定し、できると判定した場合、フィールド補間によってフィールド画像の重畳表示を消去し、できないと判定した場合、面内補間によってフィールド画像の重畳表示を消去する。本発明は、例えばテレビジョン受像機、ビデオプレーヤなどに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、例えば、撮影済みの動画像の手振れを補正する場合に用いて好適な画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
現在発売されているビデオカメラの多くには手振れ補正機能が備えてられており、撮影時に手振れを補正して、補正済みの動画像を記録することが可能である。ビデオカメラが備える手振れ補正機能には、光学式手振れ補正方式、電子式手振れ補正方式などが存在する（例えば、特許文献１参照）。
【０００３】
光学式手振れ補正方式は、ビデオカメラに内蔵されたジャイロセンサなどによって手振れを検出し、検出結果に対応して撮影時の光軸をオフセットすることにより、記録される画像のブレを抑止するようになされている。電子式手振れ補正方式は、画像内における被写体の位置に応じて、撮影した画像よりも縦方向に走査線数十本分だけ狭い有効部分を決定し、決定した有効部分だけを記録することにより、記録される画像内の被写体の振動を抑止するようになされている。
【０００４】
【特許文献１】特開平５−３１６４０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、手振れ補正機能を有していないビデオカメラによって記録された動画像を再生して表示した場合、手振れによって画像が上下左右に震動あるいは回転して見づらいことがある。このような不都合を解消するため、再生した動画像に対して、上述した電子式手振れ補正と同様の画像処理（以下、再生時における手振れ補正処理と称する）を施すことにより、画像内の被写体の振動を抑止する方法が考えられる。
【０００６】
再生時における手振れ補正処理の妨げとなるのが、撮影された動画像に重畳されている撮影日時などを示す文字列（以下、重畳表示と称する）の存在である。例えば、図１Ａ、図１Ｂ、図１Ｃに示す連続したフィールド画像ｆ１，ｆ２，ｆ３にように、手振れが生じた動画像に重畳表示が存在する場合、これに電子的手振れ補正処理を施すと、図２Ａ乃至図２Ｃに示すとおりとなる。
【０００７】
すなわち、フィールド画像ｆ１，ｆ２，ｆ３のそれぞれから被写体（いまの場合、家）の位置に応じた有効部分が抽出されて、フィールド画像ｆ１’，ｆ２’，ｆ３’が生成される。この結果、フィールド画像ｆ１’には重畳表示が含まれず、フィールド画像ｆ２’には重畳表示が残り、フィールド画像ｆ３’には重畳表示が部分的に残ってしまう。この結果、被写体の上下の振動は収まるものの、重畳表示（いまの場合、1995/2/1/10:30）の位置が変化したり、消滅したりしてしまう（以下、重畳表示が「泳いでしまう」とも表現する）ことが発生し得るので、何らかの対策が必要である。
【０００８】
なお、一般的なビデオカメラでは、撮影日時などの情報は動画像と対応付けて動画像とは別に記録され、再生時に必要に応じて動画像に重畳されて出力されるようになされているので、上述した問題は杞憂であるとも思える。
【０００９】
しかしながら、従来のビデオカメラにはコストダウンなどを目的として、撮影日時などの文字列を動画像に重畳させた状態で記録するものが存在するし、一般的なビデオカメラから撮影日時などが重畳された状態で出力された手振れのある動画像を入力ソースとして場合や、放送局のロゴや放送時刻などの重畳表示が画像上に存在している手振れのある放送コンテンツを入力ソースとした場合などは、再生時における手振れ補正処理を施したときの、重畳表示への対策は必須である。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、重畳表示が存在する動画像の手振れに起因する被写体の振動を違和感なく補正できるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面である画像処理装置は、動画像における被写体の振動を補正する画像処理装置において、前記動画像の被写体に重畳され、画面上の固定された位置に存在する重畳表示を検出する検出手段と、前記動画像における被写体の振動を補正する手振れ補正手段と、前記補正手段による補正済みの前記動画像から、前記検出手段によって検出された前記重畳表示を消去する消去手段とを含む。
【００１２】
前記消去手段は、前記補正手段による補正済みの前記動画像を構成する一連の静止画像のうち、前記重畳表示が存在する静止画像の前記重畳表示が存在する領域を、前記重畳表示が存在しない静止画像の対応する領域を用いて置換することにより、前記重畳表示を消去するようにすることができる。
【００１３】
前記消去手段は、前記補正手段による補正済みの前記動画像を構成する一連の静止画像のうち、前記重畳表示が存在する静止画像の前記重畳表示が存在する領域に所定のフィルタリング処理を行うことにより、前記重畳表示を消去するようにすることができる。
【００１４】
本発明の一側面である画像処理方法は、動画像における被写体の振動を補正する画像処理装置の画像処理方法において、前記動画像の被写体に重畳され、画面上の固定された位置に存在する重畳表示を検出する検出ステップと、前記動画像における被写体の振動を補正する手振れ補正ステップと、前記補正ステップの処理による補正済みの前記動画像から、前記検出ステップの処理で検出された前記重畳表示を消去する消去ステップとを含む。
【００１５】
本発明の一側面であるプログラムは、動画像における被写体の振動を補正するコンピュータの制御用のプログラムであって、前記動画像の被写体に重畳され、画面上の固定された位置に存在する重畳表示を検出する検出ステップと、前記動画像における被写体の振動を補正する手振れ補正ステップと、前記補正ステップの処理による補正済みの前記動画像から、前記検出ステップの処理で検出された前記重畳表示を消去する消去ステップとを含む処理をコンピュータに実行させる。
【００１６】
本発明の一側面においては、動画像の被写体に重畳されていて、画面上の固定された位置に存在する重畳表示が検出され、動画像における被写体の振動が補正され、補正済みの動画像から、検出された重畳表示が消去される。
【発明の効果】
【００１７】
本発明の一側面によれば、撮影時の手振れなどに起因する動画像の被写体の振動を補正することができる。
【００１８】
また、本発明の一側面によれば、撮影時の手振れなどに起因する動画像の被写体の振動を補正しつつ、重畳表示を違和感なく消去することができる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
本発明の一側面である画像処理装置（例えば、図３の画像処理装置１０）は、動画像の被写体に重畳され、画面上の固定された位置に存在する重畳表示を検出する検出手段（例えば、図３の重畳表示検出部１５）と、動画像における被写体の振動を補正する手振れ補正手段（例えば、図３の手振れ補正部１３）と、補正手段による補正済みの動画像から、検出手段によって検出された重畳表示を消去する消去手段（例えば、図３の重畳表示消去部１７）とを含む。
【００２１】
本発明の一側面である画像処理方法およびプログラムは、動画像の被写体に重畳され、画面上の固定された位置に存在する重畳表示を検出する検出ステップ（例えば、図５のステップＳ２）と、動画像における被写体の振動を補正する手振れ補正ステップ（例えば、図５のステップＳ５）と、補正ステップの処理による補正済みの動画像から、検出ステップの処理で検出された重畳表示を消去する消去ステップ（例えば、図５のステップ７またはＳ８）とを含む。
【００２２】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２３】
図３は、本発明の一実施の形態である画像処理装置の構成例を示している。この画像処理装置１０は、入力されるインタレース方式の動画像信号（以下、入力画像と称する）の撮影時における手振れを補正し、かつ重畳表示を消去するものであり、手振れ補正実行判定部１１、手振れ補正部１３、重畳表示検出部１５、および重畳表示消去部１７から構成される。
【００２４】
手振れ補正実行判定部１１は、入力画像を構成するフィールド画像を数枚分保持できるバッファ１２を内蔵しており、バッファ１２に保持されたフィールド画像に基づいて、入力画像に手振れ補正処理を施すか否かを判定し、判定結果を手振れ補正部１３に通知する。
【００２５】
手振れ補正実行判定部１１による判定は、フィールド間相関やヒストグラムの変化などによって一連の動画像をシーン毎に区切り、シーン毎に判定を行う。例えば、フィールド画像内における被写体の振動が手振れ補正処理が可能である範囲（例えば、走査線数十本ほど）である場合、手振れ補正処理を施すと判定する。また例えば、フィールド画像内における被写体の振動が極めて少ない場合、手振れ補正処理の必要がないので、手振れ補正処理を施さないと判定する。さらに例えば、被写体の動きが速過ぎる場合、手振れ補正処理の効果が出ないので、手振れ補正処理を施さないと判定する。
【００２６】
手振れ補正部１３は、入力画像を構成するフィールド画像を数枚分保持できるバッファ１４を内蔵しており、手振れ補正実行判定部１１の判定結果に対応して、図１および図２を参照して上述した従来からの手振れ補正処理を入力画像に施して重畳表示消去部１７に出力する。なお、手振れ補正処理を施さない場合、手振れ補正部１３は、入力画像をそのまま重畳表示消去部１７に出力する。
【００２７】
重畳表示検出部１５は、入力画像を構成するフィールド画像を数枚分保持できるバッファ１６を内蔵しており、入力画像の画面上の固定された位置に存在し続けて移動しない重畳表示（撮影日時、放送時刻、放送局のロゴなどの文字列やマーク）を検出し、検出結果（重畳表示の有無、位置、サイズなど）を重畳表示消去部１７に通知する。
【００２８】
重畳表示検出部１５による重畳表示の検出には、位相限定フィルタ（SPOMF:symmetric phase only matched filter）を用いた画像相関に基づく方法、FFT(Fast Fourier Transforms)による周波数スペクトラムに基づく方法、または接続された画像出力装置を特定する方法などが適用できるので、これらのいずれか、またはこれらを組み合わせて採用する。
【００２９】
SPOMFを用いた画像相関に基づく方法では、画面上で移動しない重畳表示と、画面上で移動する被写体（重畳表示の背景）のそれぞれは隣接するフィールド画像間で相関値のピークが出現するので、この相関値のピークを利用して重畳表示を検出する。なお、位相限定フィルタについては、例えば文献”Symmetrical Phase-Only Matched Filtering of Fourier-Mellin Transforms for Registration and Recognition”,IEEE Transaction on Pattern analysis and Machine Intelligence,VOL.16 No.12 December 1994 などに記載されている。
【００３０】
FFTによる周波数スペクトラムに基づく方法では、重畳表示が存在する部分の周波数スペクトラムに特徴があることを利用して重畳表示を検出する。
【００３１】
接続された画像出力装置を特定する方法では、画像処理装置１０に入力画像を供給する画像出力装置（不図示）との接続インタフェースに依存するが、例えば接続インタフェースがIEEE1394である場合、画像処理装置１０は接続相手である画像出力装置の機種、型式などを識別することができるので、この識別した機種、型番などを利用する。具体的には、機種、型番などに対応して重畳表示が表示される位置、サイズ、輝度などが記録されているデータベースを予め準備し、識別した機種、型番などに応じて当該データベースを参照することにより、重畳表示の有無、位置、サイズ、輝度などを取得する。
【００３２】
なお、重畳表示検出部１５による重畳表示の検出には、上に挙げた３例以外の方法を採用してもかまわない。
【００３３】
重畳表示消去部１７は、手振れ補正部１３から入力されるフィールド画像を数枚分保持できるバッファ１８を内蔵しており、重畳表示検出部１５から通知される重畳表示の通知結果に基づき、手振れ補正部１３から入力されるフィールド画像に存在する重畳表示を消去する。
【００３４】
重畳表示を消去する方法としては、重畳表示が含まれる矩形領域（他の形状の領域でもよい）をローパスフィルタを用いてぼかす方法、重畳表示が含まれる矩形領域（他の形状の領域でもよい）を他の矩形領域で置換する方法、または重畳表示の領域だけ（文字などの輪郭内の領域だけ）を他の領域で置換する方法が採用される。
【００３５】
なお、重畳表示が含まれる矩形領域をローパスフィルタを用いてぼかす方法は、重畳表示を完全に消去させることができないだけでなく、重畳表示の背景がぼやけてしまう欠点がある。
【００３６】
重畳表示を含む矩形領域を他の矩形領域で置換する方法は、置換に用いる矩形領域として、同一フィールド画像内の近傍の領域を流用する方法（以下、面内補間と称する）と、バッファ１８に保持されている時間的に近い異なるフィールド画像の対応する位置の領域を流用する方法（以下、フィールド補間と称する）の２種類がある。
【００３７】
フィールド補間は、例えば図２に示されたフィールド画像ｆ１’乃至ｆ３’がバッファ１８に保持されている場合、フィールド画像ｆ２’，ｆ３’の重畳表示を含む領域を、図４Ａに示す重畳表示が存在しないフィールド画像ｆ１’の流用領域２１で置換することにより、図４Ｂ，図４Ｃに示すように、フィールド画像ｆ２’，ｆ３’の重畳表示を消去して、フィールド画像ｆ２”，ｆ３”を生成する。
【００３８】
重畳表示の領域だけを他の領域で置換する方法も、重畳表示を含む矩形領域を他の矩形領域で置換する方法と同様、面内補間とフィールド補間の２種類がある。
【００３９】
面内補間とフィールド補間を比較した場合、時間的に近いフィールド画像は類似していることに起因して、フィールド補間の方が重畳表示を消去した後の画像の画質が高くなると考えられる。したがって、基本的にフィールド補間を採用し、フィールド補間ができない場合に面内補間を採用するようにする。
【００４０】
フィールド補間に用いるフィールド画像（以下、流用フィールド画像と称する）は以下の基準に基づいて決定される。すなわち、流用フィールド画像には、重畳表示を消去するフィールド画像にできるだけ時間的に近く、流用する領域に重畳表示が無く、ぼやけていないものであって、重畳表示を消去するフィールド画像との間にシーンチェンジが無く、重畳表示を消去するフィールド画像と明るさに大きな変化が無いものを採用する。このような条件を満たすフィールド画像が存在しない場合、面内補間を採用する。
【００４１】
次に、画像処理装置１０による手振れ補正処理について、図５のフローチャートを参照して説明する。
【００４２】
前段の画像出力装置から供給されたインタレース方式の動画像は、それぞれ手振れ補正実行判定部１１、手振れ補正部１３、および重畳表示検出部１５に入力される。
【００４３】
ステップＳ１において、手振れ補正実行判定部１１は、バッファ１２に保持されたフィールド画像に基づき、入力画像に対して手振れ補正処理を施すか否かを判定し、判定結果を手振れ補正部１３に通知する。手振れ補正処理を施すと判定された場合、処理はステップＳ２に進められる。
【００４４】
ステップＳ２において、重畳表示検出部１５は、入力画像に重畳表示が存在するか否かを判定する。入力画像に重畳表示が存在しないと判定された場合、処理はステップＳ３に進められる。ステップＳ３において、重畳表示検出部１５は、入力画像に重畳表示が存在しない旨を重畳表示消去部１７に通知する。
【００４５】
ステップＳ３において、手振れ補正部１３は、入力画像に手振れ補正処理を施して重畳表示消去部１７に出力する。この後、処理はステップＳ９に進められ、ステップＳ９において、重畳表示消去部１７は、手振れ補正部１３から入力された手振れ補正処理が施されたフィールド画像を後段に出力する。
【００４６】
一方、ステップＳ２において、入力画像に重畳表示が存在すると判定された場合、処理はステップＳ４に進められる。ステップＳ４において、重畳表示検出部１５は、重畳表示の位置、サイズなどを検出して重畳表示消去部１７に通知する。
【００４７】
ステップＳ５において、手振れ補正部１３は、上述したステップＳ３の処理と同様、入力画像に手振れ補正処理を施して重畳表示消去部１７に出力する。
【００４８】
ステップＳ６において、重畳表示消去部１７は、手振れ補正部１３から入力されたフィールド画像の重畳表示を消去するに際してフィールド補間を採用できるか否か判定する。フィールド補間を採用できると判定した場合、重畳表示消去部１７は、処理をステップＳ７に進めて、フィールド補間によってフィールド画像の重畳表示を消去し、ステップＳ９において、重畳表示を消去したフィールド画像を後段に出力する。
【００４９】
反対に、ステップＳ６において、フィールド補間を採用できないと判定された場合、処理はステップＳ８に進められる。ステップＳ８において、重畳表示消去部１７は、面内補間によってフィールド画像の重畳表示を消去し、ステップＳ９において、重畳表示を消去したフィールド画像を出力する。
【００５０】
なお、ステップＳ１において、入力画像に対して手振れ補正処理を施さないと判定された場合、ステップＳ２乃至Ｓ８はスキップされて処理はステップＳ９に進められる。ステップＳ９において、手振れ補正部１３は、入力画像をそのまま重畳表示消去部１８に出力し、重畳表示消去部１７も、入力画像をそのまま後段に出力する。以上で、画像処理装置１０による手振れ補正処理の説明を終了する。
【００５１】
画像処理装置１０による手振れ補正処理によれば、手振れ補正後のフィールド画像から重畳表示を消去するので、出力画像上で重畳表示が泳ぐことはない。したがって、ユーザに手振れがなく見やすい出力画像を提供することができる。
【００５２】
なお、本実施の形態においては、インタレース方式の動画像を入力画像としたが、プログレッシブ方式の動画像を入力画像として、当該動画像を構成するフレーム画像を処理の対象とするようにしてもよい。
【００５３】
また、本発明は、本実施の形態のように、既に存在する動画像を処理対象とするだけでなく、例えば、ビデオカメラからリアルタイムに出力される動画像を処理対象としてもよい。
【００５４】
本発明は、例えば、テレビジョン受像機、ビデオプレーヤ、ビデオカメラなどに適用することができる。また、過去に撮影され保存されている撮影フィルムや放送コンテンツを編集し、ディジタルデータとして保存し直す場合などにも適用することができる。
【００５５】
ところで、上述した一連の処理は、図３のブロック図のように構成されたハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００５６】
図６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００５７】
このコンピュータ５０において、CPU(Central Processing Unit)５１，ROM(Read Only Memory)５２，RAM(Random Access Memory）５３は、バス５４により相互に接続されている。
【００５８】
バス５４には、さらに、入出力インタフェース５５が接続されている。入出力インタフェース５５には、キーボード、マウスなどよりなる入力部５６、ディスプレイ、スピーカなどよりなる出力部５７、ハードディスクや不揮発性のメモリなどよりなる記憶部５８、ネットワークインタフェースなどよりなる通信部５９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア６１を駆動するドライブ６０が接続されている。
【００５９】
以上のように構成されるコンピュータ５０では、CPU５１が、例えば、記憶部５８に記憶されているプログラムを、入出力インタフェース５５およびバス５４を介して、RAM５３にロードして実行することにより、上述した一連の処理が行われる。
【００６０】
なお、コンピュータ５０が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００６１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００６２】
【図１】手振れと重畳表示のあるフィールド画像の例を示す図である。
【図２】図１のフィールド画像に手振れ補正だけを施した例を示す図である。
【図３】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図４】図１のフィールド画像に本発明を適用した手振れ補正処理を施した例を示す図である。
【図５】本発明を適用した手振れ補正処理を説明するフローチャートである。
【図６】汎用コンピュータの構成例を示すブロック図である。
【符号の説明】
【００６３】
１０ 画像処理装置， １１ 手振れ補正実行判定部， １２ バッファ， １３ 重畳表示検出部， １４ バッファ， １５ 手振れ補正部， １６ バッファ， １７ 重畳表示消去部， １８ バッファ
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、例えば、撮影済みの動画像の手振れを補正する場合に用いて好適な画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
現在発売されているビデオカメラの多くには手振れ補正機能が備えてられており、撮影時に手振れを補正して、補正済みの動画像を記録することが可能である。ビデオカメラが備える手振れ補正機能には、光学式手振れ補正方式、電子式手振れ補正方式などが存在する（例えば、特許文献１参照）。
【０００３】
光学式手振れ補正方式は、ビデオカメラに内蔵されたジャイロセンサなどによって手振れを検出し、検出結果に対応して撮影時の光軸をオフセットすることにより、記録される画像のブレを抑止するようになされている。電子式手振れ補正方式は、画像内における被写体の位置に応じて、撮影した画像よりも縦方向に走査線数十本分だけ狭い有効部分を決定し、決定した有効部分だけを記録することにより、記録される画像内の被写体の振動を抑止するようになされている。
【０００４】
【特許文献１】特開平５−３１６４０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、手振れ補正機能を有していないビデオカメラによって記録された動画像を再生して表示した場合、手振れによって画像が上下左右に震動あるいは回転して見づらいことがある。このような不都合を解消するため、再生した動画像に対して、上述した電子式手振れ補正と同様の画像処理（以下、再生時における手振れ補正処理と称する）を施すことにより、画像内の被写体の振動を抑止する方法が考えられる。
【０００６】
再生時における手振れ補正処理の妨げとなるのが、撮影された動画像に重畳されている撮影日時などを示す文字列（以下、重畳表示と称する）の存在である。例えば、図１Ａ、図１Ｂ、図１Ｃに示す連続したフィールド画像ｆ１，ｆ２，ｆ３にように、手振れが生じた動画像に重畳表示が存在する場合、これに電子的手振れ補正処理を施すと、図２Ａ乃至図２Ｃに示すとおりとなる。
【０００７】
すなわち、フィールド画像ｆ１，ｆ２，ｆ３のそれぞれから被写体（いまの場合、家）の位置に応じた有効部分が抽出されて、フィールド画像ｆ１’，ｆ２’，ｆ３’が生成される。この結果、フィールド画像ｆ１’には重畳表示が含まれず、フィールド画像ｆ２’には重畳表示が残り、フィールド画像ｆ３’には重畳表示が部分的に残ってしまう。この結果、被写体の上下の振動は収まるものの、重畳表示（いまの場合、1995/2/1/10:30）の位置が変化したり、消滅したりしてしまう（以下、重畳表示が「泳いでしまう」とも表現する）ことが発生し得るので、何らかの対策が必要である。
【０００８】
なお、一般的なビデオカメラでは、撮影日時などの情報は動画像と対応付けて動画像とは別に記録され、再生時に必要に応じて動画像に重畳されて出力されるようになされているので、上述した問題は杞憂であるとも思える。
【０００９】
しかしながら、従来のビデオカメラにはコストダウンなどを目的として、撮影日時などの文字列を動画像に重畳させた状態で記録するものが存在するし、一般的なビデオカメラから撮影日時などが重畳された状態で出力された手振れのある動画像を入力ソースとして場合や、放送局のロゴや放送時刻などの重畳表示が画像上に存在している手振れのある放送コンテンツを入力ソースとした場合などは、再生時における手振れ補正処理を施したときの、重畳表示への対策は必須である。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、重畳表示が存在する動画像の手振れに起因する被写体の振動を違和感なく補正できるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面である画像処理装置は、動画像における被写体の振動を補正する画像処理装置において、前記動画像の被写体に重畳され、画面上の固定された位置に存在する重畳表示を検出する検出手段と、前記動画像における被写体の振動を補正する手振れ補正手段と、前記補正手段による補正済みの前記動画像から、前記検出手段によって検出された前記重畳表示を消去する消去手段とを含む。
【００１２】
前記消去手段は、前記補正手段による補正済みの前記動画像を構成する一連の静止画像のうち、前記重畳表示が存在する静止画像の前記重畳表示が存在する領域を、前記重畳表示が存在しない静止画像の対応する領域を用いて置換することにより、前記重畳表示を消去するようにすることができる。
【００１３】
前記消去手段は、前記補正手段による補正済みの前記動画像を構成する一連の静止画像のうち、前記重畳表示が存在する静止画像の前記重畳表示が存在する領域に所定のフィルタリング処理を行うことにより、前記重畳表示を消去するようにすることができる。
【００１４】
本発明の一側面である画像処理方法は、動画像における被写体の振動を補正する画像処理装置の画像処理方法において、前記動画像の被写体に重畳され、画面上の固定された位置に存在する重畳表示を検出する検出ステップと、前記動画像における被写体の振動を補正する手振れ補正ステップと、前記補正ステップの処理による補正済みの前記動画像から、前記検出ステップの処理で検出された前記重畳表示を消去する消去ステップとを含む。
【００１５】
本発明の一側面であるプログラムは、動画像における被写体の振動を補正するコンピュータの制御用のプログラムであって、前記動画像の被写体に重畳され、画面上の固定された位置に存在する重畳表示を検出する検出ステップと、前記動画像における被写体の振動を補正する手振れ補正ステップと、前記補正ステップの処理による補正済みの前記動画像から、前記検出ステップの処理で検出された前記重畳表示を消去する消去ステップとを含む処理をコンピュータに実行させる。
【００１６】
本発明の一側面においては、動画像の被写体に重畳されていて、画面上の固定された位置に存在する重畳表示が検出され、動画像における被写体の振動が補正され、補正済みの動画像から、検出された重畳表示が消去される。
【発明の効果】
【００１７】
本発明の一側面によれば、撮影時の手振れなどに起因する動画像の被写体の振動を補正することができる。
【００１８】
また、本発明の一側面によれば、撮影時の手振れなどに起因する動画像の被写体の振動を補正しつつ、重畳表示を違和感なく消去することができる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
本発明の一側面である画像処理装置（例えば、図３の画像処理装置１０）は、動画像の被写体に重畳され、画面上の固定された位置に存在する重畳表示を検出する検出手段（例えば、図３の重畳表示検出部１５）と、動画像における被写体の振動を補正する手振れ補正手段（例えば、図３の手振れ補正部１３）と、補正手段による補正済みの動画像から、検出手段によって検出された重畳表示を消去する消去手段（例えば、図３の重畳表示消去部１７）とを含む。
【００２１】
本発明の一側面である画像処理方法およびプログラムは、動画像の被写体に重畳され、画面上の固定された位置に存在する重畳表示を検出する検出ステップ（例えば、図５のステップＳ２）と、動画像における被写体の振動を補正する手振れ補正ステップ（例えば、図５のステップＳ５）と、補正ステップの処理による補正済みの動画像から、検出ステップの処理で検出された重畳表示を消去する消去ステップ（例えば、図５のステップ７またはＳ８）とを含む。
【００２２】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２３】
図３は、本発明の一実施の形態である画像処理装置の構成例を示している。この画像処理装置１０は、入力されるインタレース方式の動画像信号（以下、入力画像と称する）の撮影時における手振れを補正し、かつ重畳表示を消去するものであり、手振れ補正実行判定部１１、手振れ補正部１３、重畳表示検出部１５、および重畳表示消去部１７から構成される。
【００２４】
手振れ補正実行判定部１１は、入力画像を構成するフィールド画像を数枚分保持できるバッファ１２を内蔵しており、バッファ１２に保持されたフィールド画像に基づいて、入力画像に手振れ補正処理を施すか否かを判定し、判定結果を手振れ補正部１３に通知する。
【００２５】
手振れ補正実行判定部１１による判定は、フィールド間相関やヒストグラムの変化などによって一連の動画像をシーン毎に区切り、シーン毎に判定を行う。例えば、フィールド画像内における被写体の振動が手振れ補正処理が可能である範囲（例えば、走査線数十本ほど）である場合、手振れ補正処理を施すと判定する。また例えば、フィールド画像内における被写体の振動が極めて少ない場合、手振れ補正処理の必要がないので、手振れ補正処理を施さないと判定する。さらに例えば、被写体の動きが速過ぎる場合、手振れ補正処理の効果が出ないので、手振れ補正処理を施さないと判定する。
【００２６】
手振れ補正部１３は、入力画像を構成するフィールド画像を数枚分保持できるバッファ１４を内蔵しており、手振れ補正実行判定部１１の判定結果に対応して、図１および図２を参照して上述した従来からの手振れ補正処理を入力画像に施して重畳表示消去部１７に出力する。なお、手振れ補正処理を施さない場合、手振れ補正部１３は、入力画像をそのまま重畳表示消去部１７に出力する。
【００２７】
重畳表示検出部１５は、入力画像を構成するフィールド画像を数枚分保持できるバッファ１６を内蔵しており、入力画像の画面上の固定された位置に存在し続けて移動しない重畳表示（撮影日時、放送時刻、放送局のロゴなどの文字列やマーク）を検出し、検出結果（重畳表示の有無、位置、サイズなど）を重畳表示消去部１７に通知する。
【００２８】
重畳表示検出部１５による重畳表示の検出には、位相限定フィルタ（SPOMF:symmetric phase only matched filter）を用いた画像相関に基づく方法、FFT(Fast Fourier Transforms)による周波数スペクトラムに基づく方法、または接続された画像出力装置を特定する方法などが適用できるので、これらのいずれか、またはこれらを組み合わせて採用する。
【００２９】
SPOMFを用いた画像相関に基づく方法では、画面上で移動しない重畳表示と、画面上で移動する被写体（重畳表示の背景）のそれぞれは隣接するフィールド画像間で相関値のピークが出現するので、この相関値のピークを利用して重畳表示を検出する。なお、位相限定フィルタについては、例えば文献”Symmetrical Phase-Only Matched Filtering of Fourier-Mellin Transforms for Registration and Recognition”,IEEE Transaction on Pattern analysis and Machine Intelligence,VOL.16 No.12 December 1994 などに記載されている。
【００３０】
FFTによる周波数スペクトラムに基づく方法では、重畳表示が存在する部分の周波数スペクトラムに特徴があることを利用して重畳表示を検出する。
【００３１】
接続された画像出力装置を特定する方法では、画像処理装置１０に入力画像を供給する画像出力装置（不図示）との接続インタフェースに依存するが、例えば接続インタフェースがIEEE1394である場合、画像処理装置１０は接続相手である画像出力装置の機種、型式などを識別することができるので、この識別した機種、型番などを利用する。具体的には、機種、型番などに対応して重畳表示が表示される位置、サイズ、輝度などが記録されているデータベースを予め準備し、識別した機種、型番などに応じて当該データベースを参照することにより、重畳表示の有無、位置、サイズ、輝度などを取得する。
【００３２】
なお、重畳表示検出部１５による重畳表示の検出には、上に挙げた３例以外の方法を採用してもかまわない。
【００３３】
重畳表示消去部１７は、手振れ補正部１３から入力されるフィールド画像を数枚分保持できるバッファ１８を内蔵しており、重畳表示検出部１５から通知される重畳表示の通知結果に基づき、手振れ補正部１３から入力されるフィールド画像に存在する重畳表示を消去する。
【００３４】
重畳表示を消去する方法としては、重畳表示が含まれる矩形領域（他の形状の領域でもよい）をローパスフィルタを用いてぼかす方法、重畳表示が含まれる矩形領域（他の形状の領域でもよい）を他の矩形領域で置換する方法、または重畳表示の領域だけ（文字などの輪郭内の領域だけ）を他の領域で置換する方法が採用される。
【００３５】
なお、重畳表示が含まれる矩形領域をローパスフィルタを用いてぼかす方法は、重畳表示を完全に消去させることができないだけでなく、重畳表示の背景がぼやけてしまう欠点がある。
【００３６】
重畳表示を含む矩形領域を他の矩形領域で置換する方法は、置換に用いる矩形領域として、同一フィールド画像内の近傍の領域を流用する方法（以下、面内補間と称する）と、バッファ１８に保持されている時間的に近い異なるフィールド画像の対応する位置の領域を流用する方法（以下、フィールド補間と称する）の２種類がある。
【００３７】
フィールド補間は、例えば図２に示されたフィールド画像ｆ１’乃至ｆ３’がバッファ１８に保持されている場合、フィールド画像ｆ２’，ｆ３’の重畳表示を含む領域を、図４Ａに示す重畳表示が存在しないフィールド画像ｆ１’の流用領域２１で置換することにより、図４Ｂ，図４Ｃに示すように、フィールド画像ｆ２’，ｆ３’の重畳表示を消去して、フィールド画像ｆ２”，ｆ３”を生成する。
【００３８】
重畳表示の領域だけを他の領域で置換する方法も、重畳表示を含む矩形領域を他の矩形領域で置換する方法と同様、面内補間とフィールド補間の２種類がある。
【００３９】
面内補間とフィールド補間を比較した場合、時間的に近いフィールド画像は類似していることに起因して、フィールド補間の方が重畳表示を消去した後の画像の画質が高くなると考えられる。したがって、基本的にフィールド補間を採用し、フィールド補間ができない場合に面内補間を採用するようにする。
【００４０】
フィールド補間に用いるフィールド画像（以下、流用フィールド画像と称する）は以下の基準に基づいて決定される。すなわち、流用フィールド画像には、重畳表示を消去するフィールド画像にできるだけ時間的に近く、流用する領域に重畳表示が無く、ぼやけていないものであって、重畳表示を消去するフィールド画像との間にシーンチェンジが無く、重畳表示を消去するフィールド画像と明るさに大きな変化が無いものを採用する。このような条件を満たすフィールド画像が存在しない場合、面内補間を採用する。
【００４１】
次に、画像処理装置１０による手振れ補正処理について、図５のフローチャートを参照して説明する。
【００４２】
前段の画像出力装置から供給されたインタレース方式の動画像は、それぞれ手振れ補正実行判定部１１、手振れ補正部１３、および重畳表示検出部１５に入力される。
【００４３】
ステップＳ１において、手振れ補正実行判定部１１は、バッファ１２に保持されたフィールド画像に基づき、入力画像に対して手振れ補正処理を施すか否かを判定し、判定結果を手振れ補正部１３に通知する。手振れ補正処理を施すと判定された場合、処理はステップＳ２に進められる。
【００４４】
ステップＳ２において、重畳表示検出部１５は、入力画像に重畳表示が存在するか否かを判定する。入力画像に重畳表示が存在しないと判定された場合、処理はステップＳ３に進められる。ステップＳ３において、重畳表示検出部１５は、入力画像に重畳表示が存在しない旨を重畳表示消去部１７に通知する。
【００４５】
ステップＳ３において、手振れ補正部１３は、入力画像に手振れ補正処理を施して重畳表示消去部１７に出力する。この後、処理はステップＳ９に進められ、ステップＳ９において、重畳表示消去部１７は、手振れ補正部１３から入力された手振れ補正処理が施されたフィールド画像を後段に出力する。
【００４６】
一方、ステップＳ２において、入力画像に重畳表示が存在すると判定された場合、処理はステップＳ４に進められる。ステップＳ４において、重畳表示検出部１５は、重畳表示の位置、サイズなどを検出して重畳表示消去部１７に通知する。
【００４７】
ステップＳ５において、手振れ補正部１３は、上述したステップＳ３の処理と同様、入力画像に手振れ補正処理を施して重畳表示消去部１７に出力する。
【００４８】
ステップＳ６において、重畳表示消去部１７は、手振れ補正部１３から入力されたフィールド画像の重畳表示を消去するに際してフィールド補間を採用できるか否か判定する。フィールド補間を採用できると判定した場合、重畳表示消去部１７は、処理をステップＳ７に進めて、フィールド補間によってフィールド画像の重畳表示を消去し、ステップＳ９において、重畳表示を消去したフィールド画像を後段に出力する。
【００４９】
反対に、ステップＳ６において、フィールド補間を採用できないと判定された場合、処理はステップＳ８に進められる。ステップＳ８において、重畳表示消去部１７は、面内補間によってフィールド画像の重畳表示を消去し、ステップＳ９において、重畳表示を消去したフィールド画像を出力する。
【００５０】
なお、ステップＳ１において、入力画像に対して手振れ補正処理を施さないと判定された場合、ステップＳ２乃至Ｓ８はスキップされて処理はステップＳ９に進められる。ステップＳ９において、手振れ補正部１３は、入力画像をそのまま重畳表示消去部１８に出力し、重畳表示消去部１７も、入力画像をそのまま後段に出力する。以上で、画像処理装置１０による手振れ補正処理の説明を終了する。
【００５１】
画像処理装置１０による手振れ補正処理によれば、手振れ補正後のフィールド画像から重畳表示を消去するので、出力画像上で重畳表示が泳ぐことはない。したがって、ユーザに手振れがなく見やすい出力画像を提供することができる。
【００５２】
なお、本実施の形態においては、インタレース方式の動画像を入力画像としたが、プログレッシブ方式の動画像を入力画像として、当該動画像を構成するフレーム画像を処理の対象とするようにしてもよい。
【００５３】
また、本発明は、本実施の形態のように、既に存在する動画像を処理対象とするだけでなく、例えば、ビデオカメラからリアルタイムに出力される動画像を処理対象としてもよい。
【００５４】
本発明は、例えば、テレビジョン受像機、ビデオプレーヤ、ビデオカメラなどに適用することができる。また、過去に撮影され保存されている撮影フィルムや放送コンテンツを編集し、ディジタルデータとして保存し直す場合などにも適用することができる。
【００５５】
ところで、上述した一連の処理は、図３のブロック図のように構成されたハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００５６】
図６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００５７】
このコンピュータ５０において、CPU(Central Processing Unit)５１，ROM(Read Only Memory)５２，RAM(Random Access Memory）５３は、バス５４により相互に接続されている。
【００５８】
バス５４には、さらに、入出力インタフェース５５が接続されている。入出力インタフェース５５には、キーボード、マウスなどよりなる入力部５６、ディスプレイ、スピーカなどよりなる出力部５７、ハードディスクや不揮発性のメモリなどよりなる記憶部５８、ネットワークインタフェースなどよりなる通信部５９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア６１を駆動するドライブ６０が接続されている。
【００５９】
以上のように構成されるコンピュータ５０では、CPU５１が、例えば、記憶部５８に記憶されているプログラムを、入出力インタフェース５５およびバス５４を介して、RAM５３にロードして実行することにより、上述した一連の処理が行われる。
【００６０】
なお、コンピュータ５０が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００６１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００６２】
【図１】手振れと重畳表示のあるフィールド画像の例を示す図である。
【図２】図１のフィールド画像に手振れ補正だけを施した例を示す図である。
【図３】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図４】図１のフィールド画像に本発明を適用した手振れ補正処理を施した例を示す図である。
【図５】本発明を適用した手振れ補正処理を説明するフローチャートである。
【図６】汎用コンピュータの構成例を示すブロック図である。
【符号の説明】
【００６３】
１０ 画像処理装置， １１ 手振れ補正実行判定部， １２ バッファ， １３ 重畳表示検出部， １４ バッファ， １５ 手振れ補正部， １６ バッファ， １７ 重畳表示消去部， １８ バッファ
【特許請求の範囲】
【請求項１】
動画像における被写体の振動を補正する画像処理装置において、
前記動画像の被写体に重畳され、画面上の固定された位置に存在する重畳表示を検出する検出手段と、
前記動画像における被写体の振動を補正する手振れ補正手段と、
前記補正手段による補正済みの前記動画像から、前記検出手段によって検出された前記重畳表示を消去する消去手段と
を含む画像処理装置。
【請求項２】
前記消去手段は、前記補正手段による補正済みの前記動画像を構成する一連の静止画像のうち、前記重畳表示が存在する静止画像の前記重畳表示が存在する領域を、前記重畳表示が存在しない静止画像の対応する領域を用いて置換することにより、前記重畳表示を消去する
請求項１に記載の画像処理装置。
【請求項３】
前記消去手段は、前記補正手段による補正済みの前記動画像を構成する一連の静止画像のうち、前記重畳表示が存在する静止画像の前記重畳表示が存在する領域に所定のフィルタリング処理を行うことにより、前記重畳表示を消去する
請求項１に記載の画像処理装置。
【請求項４】
動画像における被写体の振動を補正する画像処理装置の画像処理方法において、
前記動画像の被写体に重畳され、画面上の固定された位置に存在する重畳表示を検出する検出ステップと、
前記動画像における被写体の振動を補正する手振れ補正ステップと、
前記補正ステップの処理による補正済みの前記動画像から、前記検出ステップの処理で検出された前記重畳表示を消去する消去ステップと
を含む画像処理方法。
【請求項５】
動画像における被写体の振動を補正するコンピュータの制御用のプログラムであって、
前記動画像の被写体に重畳され、画面上の固定された位置に存在する重畳表示を検出する検出ステップと、
前記動画像における被写体の振動を補正する手振れ補正ステップと、
前記補正ステップの処理による補正済みの前記動画像から、前記検出ステップの処理で検出された前記重畳表示を消去する消去ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１】
動画像における被写体の振動を補正する画像処理装置において、
前記動画像の被写体に重畳され、画面上の固定された位置に存在する重畳表示を検出する検出手段と、
前記動画像における被写体の振動を補正する手振れ補正手段と、
前記補正手段による補正済みの前記動画像から、前記検出手段によって検出された前記重畳表示を消去する消去手段と
を含む画像処理装置。
【請求項２】
前記消去手段は、前記補正手段による補正済みの前記動画像を構成する一連の静止画像のうち、前記重畳表示が存在する静止画像の前記重畳表示が存在する領域を、前記重畳表示が存在しない静止画像の対応する領域を用いて置換することにより、前記重畳表示を消去する
請求項１に記載の画像処理装置。
【請求項３】
前記消去手段は、前記補正手段による補正済みの前記動画像を構成する一連の静止画像のうち、前記重畳表示が存在する静止画像の前記重畳表示が存在する領域に所定のフィルタリング処理を行うことにより、前記重畳表示を消去する
請求項１に記載の画像処理装置。
【請求項４】
動画像における被写体の振動を補正する画像処理装置の画像処理方法において、
前記動画像の被写体に重畳され、画面上の固定された位置に存在する重畳表示を検出する検出ステップと、
前記動画像における被写体の振動を補正する手振れ補正ステップと、
前記補正ステップの処理による補正済みの前記動画像から、前記検出ステップの処理で検出された前記重畳表示を消去する消去ステップと
を含む画像処理方法。
【請求項５】
動画像における被写体の振動を補正するコンピュータの制御用のプログラムであって、
前記動画像の被写体に重畳され、画面上の固定された位置に存在する重畳表示を検出する検出ステップと、
前記動画像における被写体の振動を補正する手振れ補正ステップと、
前記補正ステップの処理による補正済みの前記動画像から、前記検出ステップの処理で検出された前記重畳表示を消去する消去ステップと
を含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−２２７７２５（Ｐ２００８−２２７７２５Ａ）
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願番号】特願２００７−６０４２８（Ｐ２００７−６０４２８）
【出願日】平成１９年３月９日（２００７．３．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願日】平成１９年３月９日（２００７．３．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]