再生装置および方法、プログラム
【課題】 動画像の撮影の途中で各フレームの撮影における露光時間が変化した場合、再生される動画像における被写体の動きの滑らかさが再生の途中で変化してしまう恐れがあった。
【解決手段】 撮影された動画像を再生する再生装置において、フィルタ回路２０３は、動画像を構成するフレームの撮影条件（シャッタースピード情報ｓ）を取得する。そして、取得されたシャッタースピードに応じたパラメータ（指向型平滑化フィルタカーネル）を用いて、フレームの画素情報を平滑化する（Ｓ３０７）。
【解決手段】 撮影された動画像を再生する再生装置において、フィルタ回路２０３は、動画像を構成するフレームの撮影条件（シャッタースピード情報ｓ）を取得する。そして、取得されたシャッタースピードに応じたパラメータ（指向型平滑化フィルタカーネル）を用いて、フレームの画素情報を平滑化する（Ｓ３０７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された動画像を再生するための再生装置および方法、プログラムに関する。
【背景技術】
【０００２】
従来、各フレームが短い露光時間で撮影された動画像を再生する場合、特に被写体の動きが大きいときには、その動きを滑らかに再生できないという問題があった。
【０００３】
このような、撮影時の露光時間と再生時の動きの滑らかさの問題を解決するための従来技術として、例えば特許文献１がある。特許文献１では、短い露光時間で連続撮影した複数の静止画から、移動する被写体の動きが滑らかに見える動画用のフレーム画像を得るために、連続撮影された２つの静止画像の間に位置する予測画像を生成し、撮影した静止画像に予測画像を重ねる処理を行っている。
【特許文献１】特開２００６−２８７９２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、動画像の撮影の途中で各フレームの撮影における露光時間が変化した場合、再生される動画像における被写体の動きの滑らかさが再生の途中で変化してしまう恐れがある。
【０００５】
撮影中に露光時間が変化する例として、ビデオカメラで絞りを固定して動画像を撮影する場合に、適正露出を得るために、シャッタースピード変動させる場合がある。ここで、例えば、撮影開始時はシャッタースピードが遅く、撮影中にシャッタースピードが速くなった場合、再生する動画像における被写体の動きが、途中から滑らかに見えなくなってしまう恐れがある。このように、動画像の撮影中に、シャッタースピードが遅い（露光時間が長い）状態から、シャッタースピードが速い（露光時間が短い）状態に変化すると、再生する動画像における被写体の動きが、再生の途中で滑らかでなくなってしまう恐れがあった。また、逆に、撮影中のある時刻においてはシャッタースピードが速い（露光時間が短い）状態で、その後シャッタースピードが遅い（露光時間が長い）状態に変化した場合も、再生の途中で被写体の動きの滑らかさが変化してしまう恐れがあった。このように、動画像の再生中に動きの滑らかさが変化すると、ユーザが違和感を感じてしまう恐れがある。
【０００６】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、撮影中に各フレームの撮影における露光時間が変化するような動画像を再生する場合に、被写体の動きの滑らかさの変化を低減させることである。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明の再生装置は、以下の構成を有する。即ち、撮影された動画像を再生する再生装置であって、動画像を構成するフレームの撮影条件を取得する取得手段と、取得された撮影条件に応じたパラメータを用いて、再生するフレームの画素情報を平滑化する平滑化手段とを有する。
【０００８】
また、本発明の再生方法は、撮影された動画像を再生する再生装置が行う再生方法であって、前記動画像を構成するフレームの撮影条件を取得する取得工程と、前記取得された撮影条件に応じたパラメータを用いて、前記フレームの画素情報を平滑化する平滑化工程とを有する。
【発明の効果】
【０００９】
本発明によれば、撮影中に各フレームの撮影における露光時間が変化するような動画像を再生する場合に、被写体の動きの滑らかさの変化を低減することができる。
【発明を実施するための最良の形態】
【００１０】
＜実施形態１＞
以下、本発明の第１の実施形態について図面を用いて説明する。ただし、本発明の技術的範囲がこの実施の形態に限定されるものではない。
【００１１】
まず、露光時間を判断するための撮影条件としてシャッタースピード情報ｓを符号化ストリームに付加する撮像装置、および再生時にシャッタースピード情報ｓを用いて、フィルタリングの制御を行う再生装置について、図１、図２を使って説明する。
【００１２】
図１は、本実施形態における撮影装置の構成例を示したものである。尚、本実施形態における撮影装置は、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ、ワークステーション、ノートブックＰＣ、パームトップＰＣ、コンピュータを内蔵した各種家電製品、ゲーム機、携帯電話などのうち、動画像の撮影が行える装置、もしくは、これらの組合せにより実施可能である。
【００１３】
同図において、シャッタースピード制御回路１０１は、各フレームの撮影におけるシャッタースピードを設定し、当該設定に応じたシャッタースピード情報ｓを、撮像部１０２及び、ストリーム複合回路１０４に出力する。撮像部１０２は、シャッタースピード制御回路１０１によって設定されたシャッタースピードで画像を撮影し、得られた画像データを符号化回路１０３へ出力する。符号化回路１０３は、撮像部１０２によって出力された画像データの符号化処理を行い、得られた符号化ストリームをストリーム複合回路１０４へ出力する。ストリーム複合回路１０４は、符号化回路１０３によって出力された符号化ストリームと、シャッタースピード制御回路１０１から出力されたシャッタースピード情報ｓを対応付けて複合する。例えば、符号化ストリームがＭＰＥＧ２の規格に基づくものである場合、シャッタースピード情報ｓは、フレームごとに設けられた、ピクチャ層のＥＩＰ（Ｅｘｔｒａ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｉｃｔｕｒｅ）と呼ばれる領域等に埋め込むことができる。ただし、それ以外の場所に埋め込むようにしても良い。そして、得られたデータストリームを、後述する再生装置に対して出力する。ただし、ストリーム複合回路１０４によるデータストリームの出力先は、例えば、記録媒体等であっても良い。
【００１４】
図２は、本実施形態における再生装置の構成例を示したものである。尚、本実施形態の再生装置は、デジタルテレビ、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ、ワークステーション、ノートブックＰＣ、パームトップＰＣ、コンピュータを内蔵した各種家電製品、ゲーム機、携帯電話などのうち、撮影された動画像を再生する装置、もしくは、これらの組合せにより実施可能である。
【００１５】
同図において、ストリーム分離回路２０１は、本実施形態の撮影装置が出力したデータストリームから、シャッタースピード情報ｓと符号化ストリームを分離する。そして、ストリーム分離回路２０１は、シャッタースピード情報ｓをフィルタ回路２０３へ、符号化ストリームを画像生成回路２０２へ出力する。画像生成回路２０２は、符号化ストリームを復号し、復号された画像データ、および符号化された動きベクトル情報を、フィルタ回路２０３へ出力する。フィルタ回路（平滑化回路）２０３は、ストリーム分離回路２０１によって出力されたシャッタースピード情報ｓ、及び画像生成回路２０２によって出力された動きベクトル情報に基づいて、再生画像のフィルタリング処理を行い、再生させる。即ち、フィルタ回路２０３は、動画像を構成するフレームの撮影条件（シャッタースピード情報ｓ）を取得する。そして、フィルタ回路２０３は、取得された撮影条件に応じたパラメータを用いて、再生するフレームの画素情報を平滑化（フィルタリング）する。
【００１６】
以下、フィルタ回路２０３によるシャッタースピード情報ｓに応じたパラメータによるフィルタリングの方法について、図３を用いて説明する。
【００１７】
図３は、本実施形態のフィルタ回路２０３が行う、フィルタリング処理を行う画素（対象画素）に対する処理の手順を示すフローチャートである。本実施形態では、対象画素ごとに、これから図３を用いて説明するフィルタリング処理を実行する。尚、図３の処理をソフトウェアによって行うことも可能である。即ち、本実施形態の再生装置は、図３を用いて説明する各処理を、予め記憶されたプログラムに基づいて行うようにすることもできる。この場合、再生装置の各制御を行うＣＰＵが、ＲＯＭ等に記憶される制御プログラムを適宜読み出し、フィルタリング処理を実行する。
【００１８】
尚、本実施形態では、シャッタースピード情報ｓに応じたパラメータの決定、及び決定されたパラメータによるフィルタリング処理を、画素単位で行う例について説明するが、これに限らず、例えばマクロブロック単位など、任意の単位で処理を行うようにしても良い。ここで、マクロブロックとは、例えば、ＭＰＥＧ２等の規格において、１６×１６画素を示している。
【００１９】
同図において、Ｓ３０１では、画像生成回路２０２から出力された対象画素の動きベクトル情報（Ｘｖ，Ｙｖ）に対して、式１により、動きベクトルのスカラｌを算出する。Ｓ３０２（取得手順）では、シャッタースピード情報ｓを取得し、フレーム間隔ｔ、シャッタースピード情報ｓ、動きベクトルのスカラｌから、式２により、フィルタ半径ｒを算出する。
【００２０】
【数１】
【００２１】
【数２】
【００２２】
尚、フレーム間隔ｔは、画像生成回路２０２が符号化ストリームを復号する過程で得られる。フレーム間隔ｔの例として、例えば、１／２９．９７、シャッタースピード情報ｓが示すシャッタースピードの例として、例えば、１／３０、１／６０、１／１００などがある。Ｓ３０３では、算出されたフィルタ半径ｒの値を判断し、フィルタ半径ｒが２以上の場合、Ｓ３０４に移行し、２未満の場合は、処理を終了する。尚、Ｓ３０３で判断するフィルタ半径ｒの閾値は、２に限らず、任意の値を設定可能である。このように、Ｓ３０３でフィルタ半径ｒの大きさを判断し、所定の値よりも大きいときにフィルタリング処理を行うようにすることで、フィルタリング処理に関する処理量を減らすことができる。また、フィルタ半径ｒを判断することで、フレーム間隔ｔ、シャッタースピードｓ、スカラｌを考慮して、フィルタリング処理の有無を決定できる。しかし、フィルタ半径ｒの判断に限らず、例えば、Ｓ３０１で算出したベクトルのスカラｌの大きさからフィルタリング処理を行うかを判断するようにしても良い。このようにすれば、フィルタリング処理を行わない画素におけるフィルタ半径ｒを算出する処理を省略することができる。
【００２３】
Ｓ３０４では、動きベクトル情報（Ｘｖ，Ｙｖ）から、式３により角度θを算出する。そして、Ｓ３０５では、フィルタ半径ｒの平滑化フィルタカーネルを生成する。尚、Ｓ３０４とＳ３０５の処理の順序は、逆でも良い。Ｓ３０６では、Ｓ３０４で求めた角度θ及びＳ３０２で求めたフィルタ半径ｒの値に基づき、式４により行列Ａを計算する。そして、計算された行列Ａにより、Ｓ３０５で生成した平滑化フィルタカーネルを写像し、指向型平滑化フィルタカーネルを生成する。Ｓ３０５で生成される平滑化フィルタカーネル、及び、Ｓ３０６で生成される指向型平滑化フィルタカーネルの例を図４に示す。
【００２４】
【数３】
【００２５】
【数４】
【００２６】
Ｓ３０７（平滑化手順）では、Ｓ３０６で生成された指向型平滑化フィルタカーネルを用いて、対象画素のフィルタリング処理を行う。即ち、フィルタ回路２０３は、撮影条件（シャッタースピード情報ｓ）に応じた範囲の画素情報を用いて、再生するフレームの画素情報を平滑化する。以上説明したように、本実施形態では、撮影条件（シャッタースピード情報ｓ）に応じたパラメータ（指向型平滑化フィルタカーネル）を用いてフィルタリング処理を行う。例えば、シャッタースピードが高速である（露光時間が短い）場合は、動きが滑らかに再生されるように、広範囲の画素情報を用いてフィルタリングを行う。また、逆に、シャッタースピードが低速である（露光時間が長い）場合は、対象画素の情報がフィルタリングによって大きく変化しないように、狭い範囲の画素情報でフィルタリングを行うか、又はフィルタリングを行わないようにする。このようにすることで、撮影中に各フレームの撮影における露光時間が変化するような動画像を再生する場合であっても、被写体の動きの滑らかさの変化を低減させることができるようになる。
【００２７】
尚、撮影データから静止画を得る場合は、フィルタリング処理をせずに画像を出力することにより、フィルタリング処理のされていない静止画を取得することも可能である。
【００２８】
また、本実施形態では、Ｓ３０５において、半径ｒの平均値フィルタを生成するが、これに限らない。即ち、本実施形態では、撮影条件に応じて平滑化フィルタの半径ｒを決定していたが、例えば、半径ｒを一定値とし、撮影条件に応じて、平滑化フィルタ内での平滑化の強度を変化させるようにしても良い。つまり、例えば、遅いシャッタースピードで撮影された画像を再生する場合は、平滑化において、ほかの画素の情報の影響をあまり受けないように（対象画素の情報が平滑化によってあまり変化しないように）対象画素の平滑化を行う。一方、速いシャッタースピードで撮影された画像を再生する場合は、平滑化フィルタ内のほかの画素の情報によって対象画素がより強く平滑化されるように平滑化を行う。また、半径ｒが固定された平滑化フィルタにおいて、動きベクトル情報に応じて、対象画素の平滑化に用いる各画素の重み付けを決定するようにしても良い。即ち、フィルタ回路２０３は、撮影条件に応じた平滑化の強度を示すパラメータを用いて、再生するフレームの画素情報を平滑化するようにしても良い。このようにすることで、平滑化フィルタの半径ｒを算出する処理を省略することができる。
【００２９】
また、本実施形態のフィルタ回路２０３は、動き情報として、動きベクトル情報、即ちフレーム内の被写体の動き情報を取得し、撮影条件と動きベクトル情報に応じて指向型フィルタカーネルを生成していた。しかし、動きベクトル情報に限らず、例えば、動画像撮影時の撮影装置の動き情報を取得し、撮影条件と、撮影装置の動き情報とに応じて指向型フィルタカーネルを生成するようにしても良い。このようにすれば、動きベクトルの情報によらず、被写体の動きの滑らかさの変化を低減させることができる。
【００３０】
また、本実施形態のストリーム複合回路１０４は、シャッタースピード情報ｓを、本実施形態のようなフィルタリング処理の制御ができない再生装置で無視されるようにオプショナルなエントリー項目として複合する。このようにすることにより、既存の再生装置でも再生可能なデータストリームが作成できる。
【００３１】
また、本実施形態では、シャッタースピード情報ｓをフレームごとに付加する例について説明したが、別の間隔でシャッタースピード情報ｓを付加するような場合であっても良い。別の間隔とは、例えば、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）ごとやシーケンスごとなどである。この場合、例えば各ＧＯＰのヘッダやシーケンスのヘッダに付加されたシャッタースピード情報ｓを用いて、上述したようなフィルタリング処理を行う。また、シャッタースピードが変化したタイミングでシャッタースピード情報ｓを付加するようにしても良い。即ち、本実施形態のフィルタ回路２０３は、フレームの撮影条件（シャッタースピード情報ｓ）を繰り返し取得する。
【００３２】
また、本実施形態の画像生成回路２０２は、符号化された動きベクトル情報を出力しているが、復号された画素あるいはブロックごとに動きベクトルを再探索し、得られた動きベクトルを出力するようにしてもよい。
【００３３】
また、本実施形態では、フィルタリング処理を行うパラメータを決定するための撮影条件の情報として、シャッタースピード情報ｓを用いているが、これに限らない。そのほかの撮影条件の情報として、例えば、露光時間情報や、ズーム倍率情報ｚなどを用いてフィルタリング処理を制御することができる。ズーム倍率情報ｚを用いてフィルタリング処理を制御する形態については、実施形態２で詳細に説明する。
【００３４】
また、本実施形態では、画素単位でフィルタリングに関する一連の処理を行っているが、これに限らない。例えば、動きベクトルの情報がマクロブロック単位で与えられている場合は、Ｓ３０１からＳ３０６までの処理をマクロブロック単位で行い、Ｓ３０７の処理のみ画素単位で行うようにしても良い。このようにすれば、フィルタリングにかかる処理の量を削減することができる。
【００３５】
＜実施形態２＞
本実施形態では、撮影条件としてシャッタースピード情報ｓ、及びズーム倍率情報ｚを符号化ストリームに付加し、再生時にこれらの撮影条件の情報を用いて、フィルタリングの制御を行う再生装置について説明する。
【００３６】
図５は、本実施形態における撮影装置、図６は、本実施形態における再生装置の構成例を示したものである。
【００３７】
尚、図５に示した撮影装置は、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ、ワークステーション、ノートブックＰＣ、パームトップＰＣ、コンピュータを内蔵した各種家電製品、ゲーム機、携帯電話などのうち、動画像の撮影が行える装置、もしくは、これらの組合せにより実施可能である。また、図６に示した再生装置は、デジタルテレビ、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ、ワークステーション、ノートブックＰＣ、パームトップＰＣ、コンピュータを内蔵した各種家電製品、ゲーム機、携帯電話などのうち、撮影された動画像を再生する装置、もしくは、これらの組合せにより実施可能である。
【００３８】
図５において、シャッタースピード制御回路５０１は、各フレームの撮影におけるシャッタースピードを設定し、当該設定に応じたシャッタースピード情報ｓを、撮像部５０２及び、ストリーム複合回路５０４に出力する。ズーム倍率制御回路５０５は、例えば、ユーザからの指示に応じて各フレームの撮影におけるズーム倍率を設定し、当該設定に応じたズーム倍率情報ｚを、撮像部５０２及び、ストリーム複合回路５０４に出力する。撮像部５０２は、シャッタースピード制御回路５０１から出力されたシャッタースピード情報ｓに応じたシャッタースピードで画像を撮影し、得られた画像データを符号化回路５０３へ出力する。符号化回路５０３は、符号化処理を行い、得られた符号化ストリームをストリーム複合回路５０４へ出力する。ストリーム複合回路５０４は、符号化回路５０３によって出力された符号化ストリームと、シャッタースピード制御回路５０１から出力されたシャッタースピード情報ｓ、および、ズーム倍率制御回路５０５から出力されたズーム倍率情報ｚを対応付けて複合する。例えば、符号化ストリームがＭＰＥＧ２の規格に基づくものである場合、シャッタースピード情報ｓ及びズーム倍率情報ｚは、ピクチャ層のＥＩＰ（Ｅｘｔｒａ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｉｃｔｕｒｅ）と呼ばれる領域等に埋め込むことができる。ただし、それ以外の場所に埋め込むようにしても良い。そして、ストリーム複合回路５０４は、得られたデータストリームを後述する本実施形態の再生装置に対して出力する。ただし、ストリーム複合回路５０４によるデータストリームの出力先は、例えば、記録媒体等であっても良い。
【００３９】
また、図６に示す再生装置において、ストリーム分離回路６０１は、本実施形態の撮影装置が出力したデータストリームから、シャッタースピード情報ｓ、ズーム倍率情報ｚ、及び符号化ストリームとを分離する。そして、シャッタースピード情報ｓ、および、ズーム倍率情報ｚをフィルタ回路６０３へ、符号化ストリームを画像生成回路６０２へ出力する。画像生成回路６０２は、ストリーム分離回路６０１から出力された符号化ストリームを復号し、復号された画像データ、および符号化された動きベクトル情報をフィルタ回路６０３へ出力する。フィルタ回路６０３は、ストリーム分離回路６０１から出力されたシャッタースピード情報ｓとズーム倍率情報ｚ、及び画像生成回路６０２から出力された動きベクトル情報に基づいて、再生画像のフィルタリング処理を行い、再生させる。即ち、フィルタ回路６０３は、動画像を構成するフレームの撮影条件（シャッタースピード情報ｓ、及びズーム倍率情報ｚ）を取得する。また、フィルタ回路６０３は、取得された撮影条件に応じたパラメータを用いて、再生するフレームの画素情報を平滑化（フィルタリング）する。
【００４０】
以下、フィルタ回路６０３によるフィルタリングの方法について図７を使って説明する。
【００４１】
図７は、本実施形態のフィルタ回路６０３が行う、フィルタリング処理を行う画素（対象画素）に対する処理の手順を示すフローチャートである。本実施形態では、対象画素ごとに、これから図７を用いて説明するフィルタリング処理を実行する。尚、図７の処理をソフトウェアによって行うことも可能である。即ち、本実施形態の再生装置は、図７を用いて説明する各処理を、予め記憶されたプログラムに基づいて行うようにすることもできる。この場合、再生装置の各制御を行うＣＰＵが、ＲＯＭ等に記憶される制御プログラムを適宜読み出し、フィルタリング処理を実行する。
【００４２】
尚、本実施形態では、フィルタリングに関する一連の処理を、画素単位で行う例について説明するが、これに限らず、例えばマクロブロック単位など、任意の単位で処理を行うようにしても良い。
【００４３】
同図において、Ｓ７０１では、対象画素におけるフレーム（現フレーム）のズーム倍率情報ｚ１と、現フレームの時間的に１つ前に再生されるフレームである前フレームのズーム倍率情報ｚ０から、式７により、動き量ｒ０を算出する。
【００４４】
【数５】
【００４５】
尚、式７において、（ｘ０，ｙ０）は、現フレームの中心の座標であり、（ｘ１，ｙ１）は、対象画素の座標である。Ｓ７０２では、動き量ｒ０の大きさを判断し、ｒ０が１以下の場合は、Ｓ７０３に進み、ｒ０が１より大きい場合は、Ｓ７１０に進む。尚、Ｓ７０２で判断する動き量ｒ０の閾値は、１に限らず、任意の値を設定可能である。
【００４６】
このように、動き量ｒ０に応じて処理を切り替えることで、ズーム倍率の変化が小さい場合や、ズーム倍率の変化による影響が小さい画素についてのズーム倍率情報ｚによるフィルタリング処理を省略することができる。
【００４７】
Ｓ７１０では、現フレームの中心座標（ｘ０，ｙ０）と対象画素の座標（ｘ１，ｙ１）から、式５により、角度θを算出する。
【００４８】
【数６】
【００４９】
Ｓ７１１（取得手順）では、シャッタースピード情報ｓを取得し、フレーム間隔ｔ、シャッタースピードｓ，動き量ｒ０から、式６により、フィルタ半径ｒを算出する。
【００５０】
【数７】
【００５１】
尚、フレーム間隔ｔは、画像生成回路６０２が符号化ストリームを復号する過程で得られる。フレーム間隔ｔの例として、例えば、１／２９．９７、シャッタースピード情報ｓが示すシャッタースピードの例として、例えば、１／３０、１／６０、１／１００などがある。尚、Ｓ７１０、Ｓ７１１の処理の順序は、逆でも良い。Ｓ７１２では、フィルタ半径ｒの値を判断し、ｒが２以上の場合は、Ｓ７０７に進み、ｒが２未満の場合は、処理を終了し、次の画素のフィルタリング処理を開始する。尚、Ｓ７１２で判断するフィルタ半径ｒの閾値は、２に限らず、任意の値を設定可能である。このように、Ｓ７１２でフィルタ半径ｒの大きさを判断し、所定の値よりも大きいときにフィルタリング処理を行うようにすることで、フィルタリング処理に関する処理量を減らすことができる。また、フィルタ半径ｒを判断することで、フレーム間隔ｔ、シャッタースピードｓ、ズーム倍率に応じた動き量ｒ０を考慮して、フィルタリング処理の有無を決定できる。
【００５２】
Ｓ７０３では、画像生成回路６０２から出力された対象画素の動きベクトル情報（Ｘｖ，Ｙｖ）に基づいて、式１により、動きベクトルのスカラｌを算出する。Ｓ７０４（取得手順）では、シャッタースピード情報ｓを取得し、フレーム間隔ｔ、シャッタースピード情報ｓ、動きベクトルのスカラｌから、式２により、フィルタ半径ｒを算出する。尚、フレーム間隔ｔは、画像生成回路６０２が符号化ストリームを復号する過程で得られる。Ｓ７０５では、フィルタ半径ｒの値を判断し、ｒが２以上の場合、Ｓ７０６に進み、２未満の場合は、処理を終了して次の画素のフィルタリング処理を開始する。尚、Ｓ７０５で判断するフィルタ半径ｒの閾値は、２に限らず、任意の値を設定可能である。このように、Ｓ７０５でフィルタ半径ｒの大きさを判断し、所定の値よりも大きいときにフィルタリング処理を行うようにすることで、フィルタリング処理に関する処理量を減らすことができる。また、フィルタ半径ｒを判断することで、フレーム間隔ｔ、シャッタースピードｓ、スカラｌを考慮して、フィルタリング処理の有無を決定できる。しかし、フィルタ半径ｒの判断に限らず、例えば、Ｓ７０３で算出したベクトルのスカラｌの大きさからフィルタリング処理を行うかを判断するようにしても良い。このようにすれば、フィルタリング処理を行わない画素におけるフィルタ半径ｒを算出する処理を少なくすることができる。
【００５３】
Ｓ７０６では、動きベクトル情報（Ｘｖ，Ｙｖ）から、式３により角度θを計算する。そして、Ｓ７０７では、フィルタ半径ｒの平滑化フィルタカーネルを生成する。尚、Ｓ７０６とＳ７０７の処理の順序は、逆でも良い。Ｓ７０８では、Ｓ７０６で求めた角度θ及びＳ７０５で求めたフィルタ半径ｒの値に基づき、式４により行列Ａを計算する。そして、計算された行列Ａにより、Ｓ７０７で生成した平滑化フィルタカーネルを写像し、指向型平滑化フィルタカーネルを生成する。Ｓ７０７で生成される平滑化フィルタカーネル、及び、Ｓ７０８で生成される指向型平滑化フィルタカーネルの例は、図４のようになる。Ｓ７０９（平滑化手順）では、Ｓ７０８で生成された指向型平滑化フィルタカーネルを用いて、対象画素のフィルタリング処理を行う。即ち、フィルタ回路６０３は、撮影条件（シャッタースピード情報ｓ、ズーム倍率情報ｚ）に応じた範囲の画素情報を用いて、再生するフレームの画素情報を平滑化する。
【００５４】
以上説明したように、本実施形態では、撮影条件（シャッタースピード情報ｓ及びズーム倍率情報ｚ）に応じたパラメータ（指向型平滑化フィルタカーネル）を用いてフィルタリング処理を行う。例えば、シャッタースピードが高速である（露光時間が短い）場合は、動きが滑らかに再生されるように、広範囲の画素情報を用いてフィルタリングを行う。一方、シャッタースピードが低速である（露光時間が長い）場合は、対象画素の情報がフィルタリングによって大きく変化しないように、狭い範囲の画素情報でフィルタリングを行うか、又はフィルタリングを行わないようにする。また、例えば、ズーム倍率の変化により、表示画面における被写体の位置が大きく変化するような場合は、被写体の動きが滑らかに再生されるように、広範囲の画素情報を用いて当該被写体のフィルタリングを行う。一方、ズーム倍率の変化による被写体の位置の変化が小さい、又はズーム倍率が変化していない場合は、対象画素の情報がフィルタリングによって大きく変化しないように、狭い範囲の画素情報でフィルタリングを行うか、もしくはフィルタリングを行わないようにする。このようにすることで、撮影中に各フレームの撮影における露光時間が変化するような動画像を再生する場合に、被写体の動きの滑らかさの変化を低減させることができる。また、撮影中に行われたズーム倍率の変化による像の動きも滑らかに再生させることができる。
【００５５】
また、本実施形態のストリーム複合回路５０４は、撮影条件（シャッタースピード情報ｓ、ズーム倍率情報ｚ）を、本実施形態のようなフィルタリング処理の制御ができない再生装置で無視されるようにオプショナルなエントリー項目として複合する。このようにすることにより、既存の再生装置でも再生可能なデータストリームが作成できる。
【００５６】
尚、本実施形態の画像生成回路６０２は、符号化された動きベクトル情報を出力しているが、復号された画素あるいはブロックごとに動きベクトルを再探索し、得られた動きベクトルを出力するようにしてもよい。
【００５７】
また、本実施形態では、Ｓ７０７において、半径ｒの平均値フィルタを生成するが、これに限らない。即ち、本実施形態では、撮影条件に応じて平滑化フィルタの半径ｒを決定していたが、例えば、半径ｒを一定とし、撮影条件に応じて、平滑化フィルタ内での平滑化の強度を変化させるようにしても良い。つまり、例えば、遅いシャッタースピードで撮影された画像を再生する場合は、平滑化において、ほかの画素の情報の影響をあまり受けないように（対象画素の情報が平滑化によってあまり変化しないように）対象画素の平滑化を行う。一方、速いシャッタースピードで撮影された画像を再生する場合は、平滑化フィルタ内のほかの画素の情報によって対象画素がより強く平滑化されるように平滑化を行う。また、半径ｒが固定された平滑化フィルタにおいて、動きベクトル情報に応じて、対象画素の平滑化に用いる各画素の重み付けを決定するようにしても良い。即ち、フィルタ回路６０３は、撮影条件に応じた平滑化の強度を示すパラメータを用いて、再生するフレームの画素情報を平滑化するようにしても良い。このようにすることで、平滑化フィルタの半径ｒを算出する処理を省略することができる。
【００５８】
また、本実施形態のフィルタ回路６０３は、動き情報として、動きベクトル情報、即ち被写体の動き情報を取得し、撮影条件と動きベクトル情報に応じて指向型フィルタカーネルを生成していた。しかし、動きベクトル情報に限らず、例えば、動画像撮影時の撮影装置の動き情報を取得し、撮影条件と、撮影装置の動き情報とに応じて指向型フィルタカーネルを生成するようにしても良い。このようにすれば、動きベクトルの情報によらず、被写体の動きの滑らかさの変化を低減させることができる。
【００５９】
また、撮影データから静止画を得る場合は、フィルタリング処理をせずに画像を出力することにより、フィルタリング処理のされていない静止画を取得することも可能である。
【００６０】
また、本実施形態では、撮影条件をフレームごとに付加する例について説明したが、別の間隔で付加するような場合であっても良い。別の間隔として、例えば、ＧＯＰごとやシーケンスごとなどがある。この場合、例えば各ＧＯＰのヘッダやシーケンスのヘッダに付加されたシャッタースピード情報ｓを用いて、上述したようなフィルタリング処理を行う。また、撮影条件が変化したタイミングで撮影条件を付加するようにしても良い。即ち、本実施形態のフィルタ回路６０３は、フレームの撮影条件（シャッタースピード情報ｓ、ズーム倍率情報ｚ）を繰り返し取得する。
【００６１】
また、本実施形態では、画素単位でフィルタリングに関する一連の処理を行っているが、これに限らない。例えば、動きベクトルの情報がマクロブロック単位で与えられている場合は、Ｓ７０１からＳ７０８までの処理をマクロブロック単位で行い、Ｓ７０９の処理のみ画素単位で行うようにしても良い。このようにすれば、フィルタリングにかかる処理の量を削減することができる。
【図面の簡単な説明】
【００６２】
【図１】実施形態１における撮像装置の構成例。
【図２】実施形態１における再生装置の構成例。
【図３】実施形態１におけるフィルタリング処理の手順。
【図４】フィルタカーネルの例。
【図５】実施形態２における撮像装置の構成例。
【図６】実施形態２における再生装置の構成例。
【図７】実施形態２におけるフィルタリング処理の手順。
【符号の説明】
【００６３】
１０１、５０１ シャッタースピード制御回路
１０２、５０２ 撮像部
１０３、５０３ 符号化回路
１０４、５０４ ストリーム複合回路
２０１、６０１ ストリーム分離回路
２０２、６０２ 画像生成回路
２０３、６０３ フィルタ回路
５０５ ズーム倍率制御回路
【技術分野】
【０００１】
本発明は、撮影された動画像を再生するための再生装置および方法、プログラムに関する。
【背景技術】
【０００２】
従来、各フレームが短い露光時間で撮影された動画像を再生する場合、特に被写体の動きが大きいときには、その動きを滑らかに再生できないという問題があった。
【０００３】
このような、撮影時の露光時間と再生時の動きの滑らかさの問題を解決するための従来技術として、例えば特許文献１がある。特許文献１では、短い露光時間で連続撮影した複数の静止画から、移動する被写体の動きが滑らかに見える動画用のフレーム画像を得るために、連続撮影された２つの静止画像の間に位置する予測画像を生成し、撮影した静止画像に予測画像を重ねる処理を行っている。
【特許文献１】特開２００６−２８７９２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、動画像の撮影の途中で各フレームの撮影における露光時間が変化した場合、再生される動画像における被写体の動きの滑らかさが再生の途中で変化してしまう恐れがある。
【０００５】
撮影中に露光時間が変化する例として、ビデオカメラで絞りを固定して動画像を撮影する場合に、適正露出を得るために、シャッタースピード変動させる場合がある。ここで、例えば、撮影開始時はシャッタースピードが遅く、撮影中にシャッタースピードが速くなった場合、再生する動画像における被写体の動きが、途中から滑らかに見えなくなってしまう恐れがある。このように、動画像の撮影中に、シャッタースピードが遅い（露光時間が長い）状態から、シャッタースピードが速い（露光時間が短い）状態に変化すると、再生する動画像における被写体の動きが、再生の途中で滑らかでなくなってしまう恐れがあった。また、逆に、撮影中のある時刻においてはシャッタースピードが速い（露光時間が短い）状態で、その後シャッタースピードが遅い（露光時間が長い）状態に変化した場合も、再生の途中で被写体の動きの滑らかさが変化してしまう恐れがあった。このように、動画像の再生中に動きの滑らかさが変化すると、ユーザが違和感を感じてしまう恐れがある。
【０００６】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、撮影中に各フレームの撮影における露光時間が変化するような動画像を再生する場合に、被写体の動きの滑らかさの変化を低減させることである。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明の再生装置は、以下の構成を有する。即ち、撮影された動画像を再生する再生装置であって、動画像を構成するフレームの撮影条件を取得する取得手段と、取得された撮影条件に応じたパラメータを用いて、再生するフレームの画素情報を平滑化する平滑化手段とを有する。
【０００８】
また、本発明の再生方法は、撮影された動画像を再生する再生装置が行う再生方法であって、前記動画像を構成するフレームの撮影条件を取得する取得工程と、前記取得された撮影条件に応じたパラメータを用いて、前記フレームの画素情報を平滑化する平滑化工程とを有する。
【発明の効果】
【０００９】
本発明によれば、撮影中に各フレームの撮影における露光時間が変化するような動画像を再生する場合に、被写体の動きの滑らかさの変化を低減することができる。
【発明を実施するための最良の形態】
【００１０】
＜実施形態１＞
以下、本発明の第１の実施形態について図面を用いて説明する。ただし、本発明の技術的範囲がこの実施の形態に限定されるものではない。
【００１１】
まず、露光時間を判断するための撮影条件としてシャッタースピード情報ｓを符号化ストリームに付加する撮像装置、および再生時にシャッタースピード情報ｓを用いて、フィルタリングの制御を行う再生装置について、図１、図２を使って説明する。
【００１２】
図１は、本実施形態における撮影装置の構成例を示したものである。尚、本実施形態における撮影装置は、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ、ワークステーション、ノートブックＰＣ、パームトップＰＣ、コンピュータを内蔵した各種家電製品、ゲーム機、携帯電話などのうち、動画像の撮影が行える装置、もしくは、これらの組合せにより実施可能である。
【００１３】
同図において、シャッタースピード制御回路１０１は、各フレームの撮影におけるシャッタースピードを設定し、当該設定に応じたシャッタースピード情報ｓを、撮像部１０２及び、ストリーム複合回路１０４に出力する。撮像部１０２は、シャッタースピード制御回路１０１によって設定されたシャッタースピードで画像を撮影し、得られた画像データを符号化回路１０３へ出力する。符号化回路１０３は、撮像部１０２によって出力された画像データの符号化処理を行い、得られた符号化ストリームをストリーム複合回路１０４へ出力する。ストリーム複合回路１０４は、符号化回路１０３によって出力された符号化ストリームと、シャッタースピード制御回路１０１から出力されたシャッタースピード情報ｓを対応付けて複合する。例えば、符号化ストリームがＭＰＥＧ２の規格に基づくものである場合、シャッタースピード情報ｓは、フレームごとに設けられた、ピクチャ層のＥＩＰ（Ｅｘｔｒａ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｉｃｔｕｒｅ）と呼ばれる領域等に埋め込むことができる。ただし、それ以外の場所に埋め込むようにしても良い。そして、得られたデータストリームを、後述する再生装置に対して出力する。ただし、ストリーム複合回路１０４によるデータストリームの出力先は、例えば、記録媒体等であっても良い。
【００１４】
図２は、本実施形態における再生装置の構成例を示したものである。尚、本実施形態の再生装置は、デジタルテレビ、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ、ワークステーション、ノートブックＰＣ、パームトップＰＣ、コンピュータを内蔵した各種家電製品、ゲーム機、携帯電話などのうち、撮影された動画像を再生する装置、もしくは、これらの組合せにより実施可能である。
【００１５】
同図において、ストリーム分離回路２０１は、本実施形態の撮影装置が出力したデータストリームから、シャッタースピード情報ｓと符号化ストリームを分離する。そして、ストリーム分離回路２０１は、シャッタースピード情報ｓをフィルタ回路２０３へ、符号化ストリームを画像生成回路２０２へ出力する。画像生成回路２０２は、符号化ストリームを復号し、復号された画像データ、および符号化された動きベクトル情報を、フィルタ回路２０３へ出力する。フィルタ回路（平滑化回路）２０３は、ストリーム分離回路２０１によって出力されたシャッタースピード情報ｓ、及び画像生成回路２０２によって出力された動きベクトル情報に基づいて、再生画像のフィルタリング処理を行い、再生させる。即ち、フィルタ回路２０３は、動画像を構成するフレームの撮影条件（シャッタースピード情報ｓ）を取得する。そして、フィルタ回路２０３は、取得された撮影条件に応じたパラメータを用いて、再生するフレームの画素情報を平滑化（フィルタリング）する。
【００１６】
以下、フィルタ回路２０３によるシャッタースピード情報ｓに応じたパラメータによるフィルタリングの方法について、図３を用いて説明する。
【００１７】
図３は、本実施形態のフィルタ回路２０３が行う、フィルタリング処理を行う画素（対象画素）に対する処理の手順を示すフローチャートである。本実施形態では、対象画素ごとに、これから図３を用いて説明するフィルタリング処理を実行する。尚、図３の処理をソフトウェアによって行うことも可能である。即ち、本実施形態の再生装置は、図３を用いて説明する各処理を、予め記憶されたプログラムに基づいて行うようにすることもできる。この場合、再生装置の各制御を行うＣＰＵが、ＲＯＭ等に記憶される制御プログラムを適宜読み出し、フィルタリング処理を実行する。
【００１８】
尚、本実施形態では、シャッタースピード情報ｓに応じたパラメータの決定、及び決定されたパラメータによるフィルタリング処理を、画素単位で行う例について説明するが、これに限らず、例えばマクロブロック単位など、任意の単位で処理を行うようにしても良い。ここで、マクロブロックとは、例えば、ＭＰＥＧ２等の規格において、１６×１６画素を示している。
【００１９】
同図において、Ｓ３０１では、画像生成回路２０２から出力された対象画素の動きベクトル情報（Ｘｖ，Ｙｖ）に対して、式１により、動きベクトルのスカラｌを算出する。Ｓ３０２（取得手順）では、シャッタースピード情報ｓを取得し、フレーム間隔ｔ、シャッタースピード情報ｓ、動きベクトルのスカラｌから、式２により、フィルタ半径ｒを算出する。
【００２０】
【数１】
【００２１】
【数２】
【００２２】
尚、フレーム間隔ｔは、画像生成回路２０２が符号化ストリームを復号する過程で得られる。フレーム間隔ｔの例として、例えば、１／２９．９７、シャッタースピード情報ｓが示すシャッタースピードの例として、例えば、１／３０、１／６０、１／１００などがある。Ｓ３０３では、算出されたフィルタ半径ｒの値を判断し、フィルタ半径ｒが２以上の場合、Ｓ３０４に移行し、２未満の場合は、処理を終了する。尚、Ｓ３０３で判断するフィルタ半径ｒの閾値は、２に限らず、任意の値を設定可能である。このように、Ｓ３０３でフィルタ半径ｒの大きさを判断し、所定の値よりも大きいときにフィルタリング処理を行うようにすることで、フィルタリング処理に関する処理量を減らすことができる。また、フィルタ半径ｒを判断することで、フレーム間隔ｔ、シャッタースピードｓ、スカラｌを考慮して、フィルタリング処理の有無を決定できる。しかし、フィルタ半径ｒの判断に限らず、例えば、Ｓ３０１で算出したベクトルのスカラｌの大きさからフィルタリング処理を行うかを判断するようにしても良い。このようにすれば、フィルタリング処理を行わない画素におけるフィルタ半径ｒを算出する処理を省略することができる。
【００２３】
Ｓ３０４では、動きベクトル情報（Ｘｖ，Ｙｖ）から、式３により角度θを算出する。そして、Ｓ３０５では、フィルタ半径ｒの平滑化フィルタカーネルを生成する。尚、Ｓ３０４とＳ３０５の処理の順序は、逆でも良い。Ｓ３０６では、Ｓ３０４で求めた角度θ及びＳ３０２で求めたフィルタ半径ｒの値に基づき、式４により行列Ａを計算する。そして、計算された行列Ａにより、Ｓ３０５で生成した平滑化フィルタカーネルを写像し、指向型平滑化フィルタカーネルを生成する。Ｓ３０５で生成される平滑化フィルタカーネル、及び、Ｓ３０６で生成される指向型平滑化フィルタカーネルの例を図４に示す。
【００２４】
【数３】
【００２５】
【数４】
【００２６】
Ｓ３０７（平滑化手順）では、Ｓ３０６で生成された指向型平滑化フィルタカーネルを用いて、対象画素のフィルタリング処理を行う。即ち、フィルタ回路２０３は、撮影条件（シャッタースピード情報ｓ）に応じた範囲の画素情報を用いて、再生するフレームの画素情報を平滑化する。以上説明したように、本実施形態では、撮影条件（シャッタースピード情報ｓ）に応じたパラメータ（指向型平滑化フィルタカーネル）を用いてフィルタリング処理を行う。例えば、シャッタースピードが高速である（露光時間が短い）場合は、動きが滑らかに再生されるように、広範囲の画素情報を用いてフィルタリングを行う。また、逆に、シャッタースピードが低速である（露光時間が長い）場合は、対象画素の情報がフィルタリングによって大きく変化しないように、狭い範囲の画素情報でフィルタリングを行うか、又はフィルタリングを行わないようにする。このようにすることで、撮影中に各フレームの撮影における露光時間が変化するような動画像を再生する場合であっても、被写体の動きの滑らかさの変化を低減させることができるようになる。
【００２７】
尚、撮影データから静止画を得る場合は、フィルタリング処理をせずに画像を出力することにより、フィルタリング処理のされていない静止画を取得することも可能である。
【００２８】
また、本実施形態では、Ｓ３０５において、半径ｒの平均値フィルタを生成するが、これに限らない。即ち、本実施形態では、撮影条件に応じて平滑化フィルタの半径ｒを決定していたが、例えば、半径ｒを一定値とし、撮影条件に応じて、平滑化フィルタ内での平滑化の強度を変化させるようにしても良い。つまり、例えば、遅いシャッタースピードで撮影された画像を再生する場合は、平滑化において、ほかの画素の情報の影響をあまり受けないように（対象画素の情報が平滑化によってあまり変化しないように）対象画素の平滑化を行う。一方、速いシャッタースピードで撮影された画像を再生する場合は、平滑化フィルタ内のほかの画素の情報によって対象画素がより強く平滑化されるように平滑化を行う。また、半径ｒが固定された平滑化フィルタにおいて、動きベクトル情報に応じて、対象画素の平滑化に用いる各画素の重み付けを決定するようにしても良い。即ち、フィルタ回路２０３は、撮影条件に応じた平滑化の強度を示すパラメータを用いて、再生するフレームの画素情報を平滑化するようにしても良い。このようにすることで、平滑化フィルタの半径ｒを算出する処理を省略することができる。
【００２９】
また、本実施形態のフィルタ回路２０３は、動き情報として、動きベクトル情報、即ちフレーム内の被写体の動き情報を取得し、撮影条件と動きベクトル情報に応じて指向型フィルタカーネルを生成していた。しかし、動きベクトル情報に限らず、例えば、動画像撮影時の撮影装置の動き情報を取得し、撮影条件と、撮影装置の動き情報とに応じて指向型フィルタカーネルを生成するようにしても良い。このようにすれば、動きベクトルの情報によらず、被写体の動きの滑らかさの変化を低減させることができる。
【００３０】
また、本実施形態のストリーム複合回路１０４は、シャッタースピード情報ｓを、本実施形態のようなフィルタリング処理の制御ができない再生装置で無視されるようにオプショナルなエントリー項目として複合する。このようにすることにより、既存の再生装置でも再生可能なデータストリームが作成できる。
【００３１】
また、本実施形態では、シャッタースピード情報ｓをフレームごとに付加する例について説明したが、別の間隔でシャッタースピード情報ｓを付加するような場合であっても良い。別の間隔とは、例えば、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）ごとやシーケンスごとなどである。この場合、例えば各ＧＯＰのヘッダやシーケンスのヘッダに付加されたシャッタースピード情報ｓを用いて、上述したようなフィルタリング処理を行う。また、シャッタースピードが変化したタイミングでシャッタースピード情報ｓを付加するようにしても良い。即ち、本実施形態のフィルタ回路２０３は、フレームの撮影条件（シャッタースピード情報ｓ）を繰り返し取得する。
【００３２】
また、本実施形態の画像生成回路２０２は、符号化された動きベクトル情報を出力しているが、復号された画素あるいはブロックごとに動きベクトルを再探索し、得られた動きベクトルを出力するようにしてもよい。
【００３３】
また、本実施形態では、フィルタリング処理を行うパラメータを決定するための撮影条件の情報として、シャッタースピード情報ｓを用いているが、これに限らない。そのほかの撮影条件の情報として、例えば、露光時間情報や、ズーム倍率情報ｚなどを用いてフィルタリング処理を制御することができる。ズーム倍率情報ｚを用いてフィルタリング処理を制御する形態については、実施形態２で詳細に説明する。
【００３４】
また、本実施形態では、画素単位でフィルタリングに関する一連の処理を行っているが、これに限らない。例えば、動きベクトルの情報がマクロブロック単位で与えられている場合は、Ｓ３０１からＳ３０６までの処理をマクロブロック単位で行い、Ｓ３０７の処理のみ画素単位で行うようにしても良い。このようにすれば、フィルタリングにかかる処理の量を削減することができる。
【００３５】
＜実施形態２＞
本実施形態では、撮影条件としてシャッタースピード情報ｓ、及びズーム倍率情報ｚを符号化ストリームに付加し、再生時にこれらの撮影条件の情報を用いて、フィルタリングの制御を行う再生装置について説明する。
【００３６】
図５は、本実施形態における撮影装置、図６は、本実施形態における再生装置の構成例を示したものである。
【００３７】
尚、図５に示した撮影装置は、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ、ワークステーション、ノートブックＰＣ、パームトップＰＣ、コンピュータを内蔵した各種家電製品、ゲーム機、携帯電話などのうち、動画像の撮影が行える装置、もしくは、これらの組合せにより実施可能である。また、図６に示した再生装置は、デジタルテレビ、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ、ワークステーション、ノートブックＰＣ、パームトップＰＣ、コンピュータを内蔵した各種家電製品、ゲーム機、携帯電話などのうち、撮影された動画像を再生する装置、もしくは、これらの組合せにより実施可能である。
【００３８】
図５において、シャッタースピード制御回路５０１は、各フレームの撮影におけるシャッタースピードを設定し、当該設定に応じたシャッタースピード情報ｓを、撮像部５０２及び、ストリーム複合回路５０４に出力する。ズーム倍率制御回路５０５は、例えば、ユーザからの指示に応じて各フレームの撮影におけるズーム倍率を設定し、当該設定に応じたズーム倍率情報ｚを、撮像部５０２及び、ストリーム複合回路５０４に出力する。撮像部５０２は、シャッタースピード制御回路５０１から出力されたシャッタースピード情報ｓに応じたシャッタースピードで画像を撮影し、得られた画像データを符号化回路５０３へ出力する。符号化回路５０３は、符号化処理を行い、得られた符号化ストリームをストリーム複合回路５０４へ出力する。ストリーム複合回路５０４は、符号化回路５０３によって出力された符号化ストリームと、シャッタースピード制御回路５０１から出力されたシャッタースピード情報ｓ、および、ズーム倍率制御回路５０５から出力されたズーム倍率情報ｚを対応付けて複合する。例えば、符号化ストリームがＭＰＥＧ２の規格に基づくものである場合、シャッタースピード情報ｓ及びズーム倍率情報ｚは、ピクチャ層のＥＩＰ（Ｅｘｔｒａ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｉｃｔｕｒｅ）と呼ばれる領域等に埋め込むことができる。ただし、それ以外の場所に埋め込むようにしても良い。そして、ストリーム複合回路５０４は、得られたデータストリームを後述する本実施形態の再生装置に対して出力する。ただし、ストリーム複合回路５０４によるデータストリームの出力先は、例えば、記録媒体等であっても良い。
【００３９】
また、図６に示す再生装置において、ストリーム分離回路６０１は、本実施形態の撮影装置が出力したデータストリームから、シャッタースピード情報ｓ、ズーム倍率情報ｚ、及び符号化ストリームとを分離する。そして、シャッタースピード情報ｓ、および、ズーム倍率情報ｚをフィルタ回路６０３へ、符号化ストリームを画像生成回路６０２へ出力する。画像生成回路６０２は、ストリーム分離回路６０１から出力された符号化ストリームを復号し、復号された画像データ、および符号化された動きベクトル情報をフィルタ回路６０３へ出力する。フィルタ回路６０３は、ストリーム分離回路６０１から出力されたシャッタースピード情報ｓとズーム倍率情報ｚ、及び画像生成回路６０２から出力された動きベクトル情報に基づいて、再生画像のフィルタリング処理を行い、再生させる。即ち、フィルタ回路６０３は、動画像を構成するフレームの撮影条件（シャッタースピード情報ｓ、及びズーム倍率情報ｚ）を取得する。また、フィルタ回路６０３は、取得された撮影条件に応じたパラメータを用いて、再生するフレームの画素情報を平滑化（フィルタリング）する。
【００４０】
以下、フィルタ回路６０３によるフィルタリングの方法について図７を使って説明する。
【００４１】
図７は、本実施形態のフィルタ回路６０３が行う、フィルタリング処理を行う画素（対象画素）に対する処理の手順を示すフローチャートである。本実施形態では、対象画素ごとに、これから図７を用いて説明するフィルタリング処理を実行する。尚、図７の処理をソフトウェアによって行うことも可能である。即ち、本実施形態の再生装置は、図７を用いて説明する各処理を、予め記憶されたプログラムに基づいて行うようにすることもできる。この場合、再生装置の各制御を行うＣＰＵが、ＲＯＭ等に記憶される制御プログラムを適宜読み出し、フィルタリング処理を実行する。
【００４２】
尚、本実施形態では、フィルタリングに関する一連の処理を、画素単位で行う例について説明するが、これに限らず、例えばマクロブロック単位など、任意の単位で処理を行うようにしても良い。
【００４３】
同図において、Ｓ７０１では、対象画素におけるフレーム（現フレーム）のズーム倍率情報ｚ１と、現フレームの時間的に１つ前に再生されるフレームである前フレームのズーム倍率情報ｚ０から、式７により、動き量ｒ０を算出する。
【００４４】
【数５】
【００４５】
尚、式７において、（ｘ０，ｙ０）は、現フレームの中心の座標であり、（ｘ１，ｙ１）は、対象画素の座標である。Ｓ７０２では、動き量ｒ０の大きさを判断し、ｒ０が１以下の場合は、Ｓ７０３に進み、ｒ０が１より大きい場合は、Ｓ７１０に進む。尚、Ｓ７０２で判断する動き量ｒ０の閾値は、１に限らず、任意の値を設定可能である。
【００４６】
このように、動き量ｒ０に応じて処理を切り替えることで、ズーム倍率の変化が小さい場合や、ズーム倍率の変化による影響が小さい画素についてのズーム倍率情報ｚによるフィルタリング処理を省略することができる。
【００４７】
Ｓ７１０では、現フレームの中心座標（ｘ０，ｙ０）と対象画素の座標（ｘ１，ｙ１）から、式５により、角度θを算出する。
【００４８】
【数６】
【００４９】
Ｓ７１１（取得手順）では、シャッタースピード情報ｓを取得し、フレーム間隔ｔ、シャッタースピードｓ，動き量ｒ０から、式６により、フィルタ半径ｒを算出する。
【００５０】
【数７】
【００５１】
尚、フレーム間隔ｔは、画像生成回路６０２が符号化ストリームを復号する過程で得られる。フレーム間隔ｔの例として、例えば、１／２９．９７、シャッタースピード情報ｓが示すシャッタースピードの例として、例えば、１／３０、１／６０、１／１００などがある。尚、Ｓ７１０、Ｓ７１１の処理の順序は、逆でも良い。Ｓ７１２では、フィルタ半径ｒの値を判断し、ｒが２以上の場合は、Ｓ７０７に進み、ｒが２未満の場合は、処理を終了し、次の画素のフィルタリング処理を開始する。尚、Ｓ７１２で判断するフィルタ半径ｒの閾値は、２に限らず、任意の値を設定可能である。このように、Ｓ７１２でフィルタ半径ｒの大きさを判断し、所定の値よりも大きいときにフィルタリング処理を行うようにすることで、フィルタリング処理に関する処理量を減らすことができる。また、フィルタ半径ｒを判断することで、フレーム間隔ｔ、シャッタースピードｓ、ズーム倍率に応じた動き量ｒ０を考慮して、フィルタリング処理の有無を決定できる。
【００５２】
Ｓ７０３では、画像生成回路６０２から出力された対象画素の動きベクトル情報（Ｘｖ，Ｙｖ）に基づいて、式１により、動きベクトルのスカラｌを算出する。Ｓ７０４（取得手順）では、シャッタースピード情報ｓを取得し、フレーム間隔ｔ、シャッタースピード情報ｓ、動きベクトルのスカラｌから、式２により、フィルタ半径ｒを算出する。尚、フレーム間隔ｔは、画像生成回路６０２が符号化ストリームを復号する過程で得られる。Ｓ７０５では、フィルタ半径ｒの値を判断し、ｒが２以上の場合、Ｓ７０６に進み、２未満の場合は、処理を終了して次の画素のフィルタリング処理を開始する。尚、Ｓ７０５で判断するフィルタ半径ｒの閾値は、２に限らず、任意の値を設定可能である。このように、Ｓ７０５でフィルタ半径ｒの大きさを判断し、所定の値よりも大きいときにフィルタリング処理を行うようにすることで、フィルタリング処理に関する処理量を減らすことができる。また、フィルタ半径ｒを判断することで、フレーム間隔ｔ、シャッタースピードｓ、スカラｌを考慮して、フィルタリング処理の有無を決定できる。しかし、フィルタ半径ｒの判断に限らず、例えば、Ｓ７０３で算出したベクトルのスカラｌの大きさからフィルタリング処理を行うかを判断するようにしても良い。このようにすれば、フィルタリング処理を行わない画素におけるフィルタ半径ｒを算出する処理を少なくすることができる。
【００５３】
Ｓ７０６では、動きベクトル情報（Ｘｖ，Ｙｖ）から、式３により角度θを計算する。そして、Ｓ７０７では、フィルタ半径ｒの平滑化フィルタカーネルを生成する。尚、Ｓ７０６とＳ７０７の処理の順序は、逆でも良い。Ｓ７０８では、Ｓ７０６で求めた角度θ及びＳ７０５で求めたフィルタ半径ｒの値に基づき、式４により行列Ａを計算する。そして、計算された行列Ａにより、Ｓ７０７で生成した平滑化フィルタカーネルを写像し、指向型平滑化フィルタカーネルを生成する。Ｓ７０７で生成される平滑化フィルタカーネル、及び、Ｓ７０８で生成される指向型平滑化フィルタカーネルの例は、図４のようになる。Ｓ７０９（平滑化手順）では、Ｓ７０８で生成された指向型平滑化フィルタカーネルを用いて、対象画素のフィルタリング処理を行う。即ち、フィルタ回路６０３は、撮影条件（シャッタースピード情報ｓ、ズーム倍率情報ｚ）に応じた範囲の画素情報を用いて、再生するフレームの画素情報を平滑化する。
【００５４】
以上説明したように、本実施形態では、撮影条件（シャッタースピード情報ｓ及びズーム倍率情報ｚ）に応じたパラメータ（指向型平滑化フィルタカーネル）を用いてフィルタリング処理を行う。例えば、シャッタースピードが高速である（露光時間が短い）場合は、動きが滑らかに再生されるように、広範囲の画素情報を用いてフィルタリングを行う。一方、シャッタースピードが低速である（露光時間が長い）場合は、対象画素の情報がフィルタリングによって大きく変化しないように、狭い範囲の画素情報でフィルタリングを行うか、又はフィルタリングを行わないようにする。また、例えば、ズーム倍率の変化により、表示画面における被写体の位置が大きく変化するような場合は、被写体の動きが滑らかに再生されるように、広範囲の画素情報を用いて当該被写体のフィルタリングを行う。一方、ズーム倍率の変化による被写体の位置の変化が小さい、又はズーム倍率が変化していない場合は、対象画素の情報がフィルタリングによって大きく変化しないように、狭い範囲の画素情報でフィルタリングを行うか、もしくはフィルタリングを行わないようにする。このようにすることで、撮影中に各フレームの撮影における露光時間が変化するような動画像を再生する場合に、被写体の動きの滑らかさの変化を低減させることができる。また、撮影中に行われたズーム倍率の変化による像の動きも滑らかに再生させることができる。
【００５５】
また、本実施形態のストリーム複合回路５０４は、撮影条件（シャッタースピード情報ｓ、ズーム倍率情報ｚ）を、本実施形態のようなフィルタリング処理の制御ができない再生装置で無視されるようにオプショナルなエントリー項目として複合する。このようにすることにより、既存の再生装置でも再生可能なデータストリームが作成できる。
【００５６】
尚、本実施形態の画像生成回路６０２は、符号化された動きベクトル情報を出力しているが、復号された画素あるいはブロックごとに動きベクトルを再探索し、得られた動きベクトルを出力するようにしてもよい。
【００５７】
また、本実施形態では、Ｓ７０７において、半径ｒの平均値フィルタを生成するが、これに限らない。即ち、本実施形態では、撮影条件に応じて平滑化フィルタの半径ｒを決定していたが、例えば、半径ｒを一定とし、撮影条件に応じて、平滑化フィルタ内での平滑化の強度を変化させるようにしても良い。つまり、例えば、遅いシャッタースピードで撮影された画像を再生する場合は、平滑化において、ほかの画素の情報の影響をあまり受けないように（対象画素の情報が平滑化によってあまり変化しないように）対象画素の平滑化を行う。一方、速いシャッタースピードで撮影された画像を再生する場合は、平滑化フィルタ内のほかの画素の情報によって対象画素がより強く平滑化されるように平滑化を行う。また、半径ｒが固定された平滑化フィルタにおいて、動きベクトル情報に応じて、対象画素の平滑化に用いる各画素の重み付けを決定するようにしても良い。即ち、フィルタ回路６０３は、撮影条件に応じた平滑化の強度を示すパラメータを用いて、再生するフレームの画素情報を平滑化するようにしても良い。このようにすることで、平滑化フィルタの半径ｒを算出する処理を省略することができる。
【００５８】
また、本実施形態のフィルタ回路６０３は、動き情報として、動きベクトル情報、即ち被写体の動き情報を取得し、撮影条件と動きベクトル情報に応じて指向型フィルタカーネルを生成していた。しかし、動きベクトル情報に限らず、例えば、動画像撮影時の撮影装置の動き情報を取得し、撮影条件と、撮影装置の動き情報とに応じて指向型フィルタカーネルを生成するようにしても良い。このようにすれば、動きベクトルの情報によらず、被写体の動きの滑らかさの変化を低減させることができる。
【００５９】
また、撮影データから静止画を得る場合は、フィルタリング処理をせずに画像を出力することにより、フィルタリング処理のされていない静止画を取得することも可能である。
【００６０】
また、本実施形態では、撮影条件をフレームごとに付加する例について説明したが、別の間隔で付加するような場合であっても良い。別の間隔として、例えば、ＧＯＰごとやシーケンスごとなどがある。この場合、例えば各ＧＯＰのヘッダやシーケンスのヘッダに付加されたシャッタースピード情報ｓを用いて、上述したようなフィルタリング処理を行う。また、撮影条件が変化したタイミングで撮影条件を付加するようにしても良い。即ち、本実施形態のフィルタ回路６０３は、フレームの撮影条件（シャッタースピード情報ｓ、ズーム倍率情報ｚ）を繰り返し取得する。
【００６１】
また、本実施形態では、画素単位でフィルタリングに関する一連の処理を行っているが、これに限らない。例えば、動きベクトルの情報がマクロブロック単位で与えられている場合は、Ｓ７０１からＳ７０８までの処理をマクロブロック単位で行い、Ｓ７０９の処理のみ画素単位で行うようにしても良い。このようにすれば、フィルタリングにかかる処理の量を削減することができる。
【図面の簡単な説明】
【００６２】
【図１】実施形態１における撮像装置の構成例。
【図２】実施形態１における再生装置の構成例。
【図３】実施形態１におけるフィルタリング処理の手順。
【図４】フィルタカーネルの例。
【図５】実施形態２における撮像装置の構成例。
【図６】実施形態２における再生装置の構成例。
【図７】実施形態２におけるフィルタリング処理の手順。
【符号の説明】
【００６３】
１０１、５０１ シャッタースピード制御回路
１０２、５０２ 撮像部
１０３、５０３ 符号化回路
１０４、５０４ ストリーム複合回路
２０１、６０１ ストリーム分離回路
２０２、６０２ 画像生成回路
２０３、６０３ フィルタ回路
５０５ ズーム倍率制御回路
【特許請求の範囲】
【請求項１】
撮影された動画像を再生する再生装置であって、
前記動画像を構成するフレームの撮影条件を取得する取得手段と、
前記取得された撮影条件に応じたパラメータを用いて、前記再生するフレームの画素情報を平滑化する平滑化手段と
を備えることを特徴とする再生装置。
【請求項２】
前記平滑化手段は、前記フレームの撮影条件を繰り返し取得する
ことを特徴とする請求項１記載の再生装置。
【請求項３】
前記平滑化手段は、前記撮影条件に応じた範囲の画素情報を用いて、前記再生するフレームの画素情報を平滑化する
ことを特徴とする請求項１又は２記載の再生装置。
【請求項４】
前記平滑化手段は、前記撮影条件に応じた前記平滑化の強度を示すパラメータを用いて、前記再生するフレームの画素情報を平滑化する
ことを特徴とする請求項１又は２記載の再生装置。
【請求項５】
前記撮影条件は前記フレームの取得における露光時間であって、
前記平滑化手段は、前記露光時間に応じたパラメータを用いて、前記再生するフレームの画素情報を平滑化する
ことを特徴とする請求項１乃至４のうち、いずれか１項記載の再生装置。
【請求項６】
前記撮影条件は前記フレームの撮影時のズーム倍率を含み、
前記平滑化手段は、前記ズーム倍率に応じたパラメータを用いて、前記再生するフレームの画素情報を平滑化する
ことを特徴とする請求項１乃至４のうち、いずれか１項記載の再生装置。
【請求項７】
前記取得手段は、前記フレーム内における被写体の動き情報を取得し、
前記平滑化手段は、前記撮影条件及び被写体の動き情報に応じたパラメータを用いて、前記再生するフレームの画素情報を平滑化する
ことを特徴とする請求項１記載の再生装置。
【請求項８】
前記取得手段は、前記動画像撮影時の動画像撮影装置の動き情報を取得し、
前記平滑化手段は、前記撮影条件及び動画像撮影装置の動き情報に応じたパラメータを用いて、前記再生するフレームの画素情報を平滑化する
ことを特徴とする請求項１記載の再生装置。
【請求項９】
撮影された動画像を再生する再生装置が行う再生方法であって、
前記動画像を構成するフレームの撮影条件を取得する取得工程と、
前記取得された撮影条件に応じたパラメータを用いて、前記フレームの画素情報を平滑化する平滑化工程と
を備えることを特徴とする再生方法。
【請求項１０】
撮影された動画像を再生するコンピュータに、
前記動画像を構成するフレームの撮影条件を取得する取得手順と、
前記取得された撮影条件に応じたパラメータを用いて、前記フレームの画素情報を平滑化する平滑化手順と
を実行させることを特徴とするプログラム。
【請求項１】
撮影された動画像を再生する再生装置であって、
前記動画像を構成するフレームの撮影条件を取得する取得手段と、
前記取得された撮影条件に応じたパラメータを用いて、前記再生するフレームの画素情報を平滑化する平滑化手段と
を備えることを特徴とする再生装置。
【請求項２】
前記平滑化手段は、前記フレームの撮影条件を繰り返し取得する
ことを特徴とする請求項１記載の再生装置。
【請求項３】
前記平滑化手段は、前記撮影条件に応じた範囲の画素情報を用いて、前記再生するフレームの画素情報を平滑化する
ことを特徴とする請求項１又は２記載の再生装置。
【請求項４】
前記平滑化手段は、前記撮影条件に応じた前記平滑化の強度を示すパラメータを用いて、前記再生するフレームの画素情報を平滑化する
ことを特徴とする請求項１又は２記載の再生装置。
【請求項５】
前記撮影条件は前記フレームの取得における露光時間であって、
前記平滑化手段は、前記露光時間に応じたパラメータを用いて、前記再生するフレームの画素情報を平滑化する
ことを特徴とする請求項１乃至４のうち、いずれか１項記載の再生装置。
【請求項６】
前記撮影条件は前記フレームの撮影時のズーム倍率を含み、
前記平滑化手段は、前記ズーム倍率に応じたパラメータを用いて、前記再生するフレームの画素情報を平滑化する
ことを特徴とする請求項１乃至４のうち、いずれか１項記載の再生装置。
【請求項７】
前記取得手段は、前記フレーム内における被写体の動き情報を取得し、
前記平滑化手段は、前記撮影条件及び被写体の動き情報に応じたパラメータを用いて、前記再生するフレームの画素情報を平滑化する
ことを特徴とする請求項１記載の再生装置。
【請求項８】
前記取得手段は、前記動画像撮影時の動画像撮影装置の動き情報を取得し、
前記平滑化手段は、前記撮影条件及び動画像撮影装置の動き情報に応じたパラメータを用いて、前記再生するフレームの画素情報を平滑化する
ことを特徴とする請求項１記載の再生装置。
【請求項９】
撮影された動画像を再生する再生装置が行う再生方法であって、
前記動画像を構成するフレームの撮影条件を取得する取得工程と、
前記取得された撮影条件に応じたパラメータを用いて、前記フレームの画素情報を平滑化する平滑化工程と
を備えることを特徴とする再生方法。
【請求項１０】
撮影された動画像を再生するコンピュータに、
前記動画像を構成するフレームの撮影条件を取得する取得手順と、
前記取得された撮影条件に応じたパラメータを用いて、前記フレームの画素情報を平滑化する平滑化手順と
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−２５３６７５（Ｐ２００９−２５３６７５Ａ）
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願番号】特願２００８−９９３０４（Ｐ２００８−９９３０４）
【出願日】平成２０年４月７日（２００８．４．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願日】平成２０年４月７日（２００８．４．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]