画像処理方法、画像処理装置、およびプログラム
【課題】 複数のフレームから構成される動画像から適切なフレームを抽出することができる画像処理装置を提供する。
【解決手段】 動画像に含まれる複数のフレームのそれぞれにおける、複数の解析領域を解析し、その複数の解析領域のそれぞれに対する解析結果に基づき、複数のフレームから出力対象のフレームを抽出する。
【解決手段】 動画像に含まれる複数のフレームのそれぞれにおける、複数の解析領域を解析し、その複数の解析領域のそれぞれに対する解析結果に基づき、複数のフレームから出力対象のフレームを抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画を構成する複数フレームから、出力対象のフレームを抽出する画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、動画再生機能を有する装置において、動画像を構成する静止画像を、動画像から抽出する機能を有するものがある。この種の機能においては、動画像に含まれる複数のフレームから抽出対象のフレームをユーザが指定すると、その指定されたフレームの画像を液晶モニター等の表示装置に出力して、その画像を表示させることができる。他にも、動画像から抽出されたフレームを印刷装置に出力することで、そのフレームに対応する画像を印刷用紙に印刷させることができる。
【０００３】
ところで、動画像に含まれる静止画像のうち、撮影者の手や被写体が動いたときに撮影された静止画像は、ブレが発生している場合があり、出力対象として好ましくない場合がある。そこで特許文献１では、動画データを解析して、動画に含まれる各フレームのブレ量を取得し、取得されたブレ量に基づいて基準フレームを決定し、その基準フレームの所定範囲内にある周辺フレームを出力することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４３０１２３６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の従来技術は、画像のブレ量を判定する方法として、フレーム内の特徴点のフレーム間での移動量により、ブレ量を判定する方法が記載されている。
【０００６】
しかしながら、フレーム内の特徴点がフレーム間で移動していたとしても、その特徴点の移動が、撮影装置のブレによるものなのか、被写体の移動であるのか特定することはできない。よって、仮に特徴点のフレーム間の移動量が小さく、その特徴点のブレが小さかったとしても、その特徴点に対応する被写体の移動に合わせて動画像が撮影されていた場合がある。このとき、その特徴点のブレは少なかったとしても、フレームにおけるその特徴点以外の領域のブレが大きく、そのフレームが出力対象として好ましくない場合がある。
【０００７】
そこで本発明は、動画から出力対象のフレームを適切に抽出することができる画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、複数のフレームから構成される動画像から抽出された出力対象のフレームを出力する画像処理装置であって、前記動画像に含まれる複数のフレームのそれぞれにおける、複数の解析領域を解析する解析手段と、前記複数のフレームのそれぞれにおける、前記複数の解析領域のそれぞれに対する、前記解析手段による解析結果に基づき、当該複数のフレームから出力対象のフレームを抽出する抽出手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、フレームにおける複数の領域の解析結果により出力対象のフレームを抽出することで、動画から出力対象のフレームを適切に抽出することができる
【図面の簡単な説明】
【００１０】
【図１】画像処理装置のブロック図である。
【図２】フレーム抽出処理を示すフローチャートである。
【図３】動画像に含まれる複数フレームを示す図である。
【図４】フレームに対して設定される解析領域を示す図である。
【図５】動画像におけるフレームを示す図である。
【発明を実施するための形態】
【００１１】
（実施例１）
以下、本発明の実施の形態について詳細に説明する。
【００１２】
図１に本発明で使用する画像処理装置のブロック図を示す。画像処理方法として、ＰＣを使用すると想定して説明する。
【００１３】
ＣＰＵ １０１は、中央演算ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で、他の機能ブロックや装置の制御を行う。ブリッジ部１０２は、ＣＰＵ １０１と他の機能ブロックの間でデータのやり取りを制御する機能を提供している。
【００１４】
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ） １０３は読み込み専用の不揮発メモリであり、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）と呼ばれるプログラムが格納されている。ＢＩＯＳは画像処理装置が起動したときに最初に実行されるプログラムであり、２次記憶装置１０５、表示装置１０７、入力装置１０９、出力装置１１０などの周辺機器の基本入出力機能を制御するものである。
【００１５】
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４は、高速の読み／書き可能な記憶領域を提供する。
【００１６】
２次記憶装置１０５は、大容量の記憶領域を提供するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。ＢＩＯＳが実行されると、ＨＤＤに格納されているＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が実行される。ＯＳはすべてのアプリケーションで利用可能な基本的な機能や、アプリケーションの管理、基本ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する。アプリケーションは、ＯＳが提供するＧＵＩを組み合わせることで、アプリケーション独自の機能を実現するＵＩを提供できる。
【００１７】
なお、上記のＯＳや、他のアプリケーションの実行プログラムや作業用に使用しているデータは、必要に応じてＲＯＭ１０３または２次記憶装置１０５に格納される。また、本実施例の処理を実行する画像処理アプリケーションは、ＲＯＭ１０３または２次記憶装置１０５に格納され、ユーザの操作で起動するアプリケーションとして提供される。以下で説明する処理は、ＣＰＵ１０１が、ＲＯＭ１０３や２次記憶装置１０５に記憶されている、ＯＳ、画像処理アプリケーション等のプログラムを、ＲＡＭ１０４をワークメモリとして実行することで実現する。
【００１８】
表示制御部１０６は、各種の画像を表示装置１０７に表示させるための制御を行う。表示される画像は、例えば、２次記憶装置１０５に記憶されている画像や、ＯＳやアプリケーションに対して行われるユーザの操作の結果を示すＧＵＩの画像である。また、表示装置１０７には液晶ディスプレイや、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイが使用できる。
【００１９】
Ｉ／Ｏ制御部１０８は、複数の入力装置１０９、出力装置１１０とのインターフェースを提供するものである。代表的なインターフェースとして、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＰＳ／２（Ｐｅｒｓｏｎａｌ Ｓｙｓｔｅｍ／２）がある。
【００２０】
入力装置１０９は、キーボード、マウスといった操作デバイスであり、Ｉ／Ｏ制御部１０８は、入力装置１０９を介してユーザの指示を画像処理装置に入力する。
【００２１】
Ｉ／Ｏ制御部１０８は、各種の出力装置に１１０を接続して、接続されている出力装置１１０にデータを出力する。出力装置１１０は例えばプリンターであり、Ｉ／Ｏ制御部が印刷データを出力装置に出力することで、印刷データに対応する画像を印刷させることができる。
【００２２】
なお、画像処理装置には、デジタルカメラ、ＵＳＢメモリ、ＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ）メモリ、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカードといった記憶装置などを接続することもできる。そして、Ｉ／Ｏ制御部は、そのデジタルカメラやメモリに画像データなどのデータを転送することや、逆にデジタルカメラやメモリからデータを取得することも可能である。
【００２３】
後述するが、本実施例では、複数枚のフレームから構成される動画像から、フレームを抽出する。その動画像のデータは、上記の２次記憶装置１０５や、画像処理装置に接続されているＵＳＢメモリやＣＦメモリ、ＳＤメモリカード等から供給される。
【００２４】
次に、本実施例におけるフレーム抽出処理について説明する。
【００２５】
本実施例では、動画像に含まれているフレームを抽出するときに、ブレ量、ボケ量を判定して、ブレ、ボケが少ないフレームを出力対象として抽出する。なぜなら、動画像の場合は特に、連続するフレームで明るさや色味が微妙に変動することもあり、また、主要被写体がわずかに移動することによっても、圧縮などの影響を受けてそれがブレやボケ推定のノイズとなりやすい。また、シーンの特性が大きく変動すると、それ自体がブレ・ボケ推定のノイズとなる。よって、動画像からフレームを抽出するときには、フレームにおけるブレ、ボケを判定して、出力対象として適切なフレームを抽出することが重要である。
【００２６】
また本実施例では、フレームのブレ、ボケを判定するときに、フレームにおける複数の領域のブレ、ボケの解析結果を利用する。
【００２７】
これは、フレームにおける１つの領域の解析結果だけでは、フレームのブレ、ボケを適切に評価できない場合がある。これを、図５を用いて説明する。
【００２８】
図５は、動画像に含まれるフレームを示す図である。この図５において、主要被写体５０２付近に解析領域５０１を設定して、この解析領域５０１内のブレ、ボケを判定するものとする。例えば、主要被写体がある程度の速度で動いている場合に、被写体にカメラを被写体の動きに同調して撮影すると、被写体にはピントが合うが背景は流れた画像（ブレ）となる。
【００２９】
従って、１つの解析領域５０１内におけるブレ、ボケが少なかったとしても、その解析領域５０１以外の領域のブレ、ボケが大きく、出力対象のフレームとして好ましくないことがある。
【００３０】
さらに、解析領域５０１において主要被写体５０２ではない領域である背景領域５０３は、上記のようにブレが大きい場合がある。よって、１つの解析領域５０１によりフレームのブレ、ボケを判断する場合、その１つの解析領域の設定の仕方によって、判断結果が大きく変わることがある。
【００３１】
特に、動画像の撮影時において、ピントが合う領域をより限定する撮影方法により動画像が撮影されていた場合には、主要被写体と背景とのボケ量の差が大きくなる。例えば、撮影時にレンズの絞りを開放して（Ｆ値を小さくして）撮影すると、焦点の合う被写界深度の範囲が狭くなる。この場合、ピントを合わせた被写体に対して背景がボケるのはもちろん、特に明るいレンズを利用してＦ値を小さく設定して撮影すると被写体領域においても厳密にピントが合う領域が限定されることになる。
【００３２】
この場合、特に、１つの解析領域５０１内の主要被写体のブレ、ボケが少なかったとしても、背景においてブレ、ボケが大きく発生していることがある。また、１つの解析領域５０１内に、背景領域５０３をどれだけ含むかによって、フレームに対するブレ、ボケの評価が特に大きく変わる。
【００３３】
従って、本実施例では、１つのフレームに複数の解析領域を設定し、その複数の解析領域の解析結果に基づき、複数のフレームから、出力対象として適切なフレームを抽出する。
【００３４】
図２は本実施例のフレーム抽出処理を示すフローチャートである。このフローチャートの処理に対応するプログラムがＲＯＭ１０３または２次記憶装置１０５に記憶されており、ＣＰＵ１０１がそのプログラムをＲＡＭ１０４に読み出して実行することにより、図２のフローチャートで示す処理を実現することができる。
【００３５】
まず、動画データを構成する複数のフレームから、解析対象の複数のフレームを選択する（Ｓ２０１）。そして、Ｓ２０１で選択された複数のフレームのそれぞれに、ブレ量、ボケ量を判定するための解析処理の対象とする、解析領域を設定する（Ｓ２０２）。なお、このＳ２０２では、上記のように、複数の解析領域を設定する。複数の解析領域の詳細については、図４を用いて後述する。
【００３６】
フレームにおける、Ｓ２０２において設定された複数の解析領域のそれぞれに、画質評価を行う（Ｓ２０３）。ここで、画質評価方法としては特に解析領域に含まれるブレ量やボケ量を推定する。ブレ量やボケ量を推定する方法は、公知の技術を利用すればよい。例えば、解析領域のエッジ量をブレ量もしくはボケ量の評価値として算出する。
【００３７】
次に、周辺のフレーム間で互いに対応する解析領域ごとに画質評価値を比較する（Ｓ２０４）。最後に互いの画質評価値の比較結果に基づいて、最終的に出力対象フレームを決定して抽出する（Ｓ２０５）。
【００３８】
そして、このＳ２０５で抽出された出力対象のフレームを出力する（Ｓ２０６）。例えば表示制御部１０６により、動画像データから抽出したフレームを、表示装置１０７に表示させてもよい。または、動画像データから抽出したフレームに対応する印刷データを印刷装置である出力装置１１０に出力して、当該フレームに対応する画像を印刷媒体に印刷させてもよい。
【００３９】
ここで、上記のＳ２０１における、解析対象のフレームの選択について、図３を用いて説明する。図３は、動画像に含まれる複数のフレームを示す図である。Ｓ２０１では、まず動画を構成する一連のフレームから、主フレーム３０１を決定する。これは、ユーザが入力装置１０９を用いて指定したフレームとする。あるいは、動画像の全フレームから、所定枚数ごとにフレームを特定したときの複数のフレームを、それぞれ主フレームと３０１して設定してもよい。
【００４０】
次に、この主フレーム３０１の近傍にあるフレームを周辺フレーム３０２として設定する。周辺フレームは、主フレームに連続するフレームを利用してもよいし、シーン特性がほぼ同じになる範囲において所定の間隔で周辺フレームを設定してもよい。
【００４１】
Ｓ２０１では、主フレーム３０１と、その主フレーム３０１に対応する周辺フレーム３０２とを、ブレ、ボケを判断するための解析を実行する解析対象の複数のフレーム（フレーム群）として選択する。そして、Ｓ２０５では、Ｓ２０２〜Ｓ２０４におけるフレームの解析結果により、解析対象の複数のフレームから、ブレ、ボケの少ないフレームを、出力対象のフレームとして抽出する。
【００４２】
次に、本実施例における、フレームに対する解析領域の設定について、詳細に説明する。
【００４３】
図４は、フレームに対して設定される解析領域を示す図である。上述の図２のＳ２０２では、この図４に示す複数の解析領域が設定される。図４に示す例では、５つの解析領域４０２を、１つのフレームに対して設定する。
【００４４】
本実施例では、フルＨＤ画質（１９２０×１０８０画素）の動画像に含まれるフレームに解析領域を設定する場合を想定しており、１２８×１２８画素の解析領域４０２を、図４に示すように５つ設定する。なお、解析領域４０２のサイズは、動画像の画素数に応じて設定すればよい。
【００４５】
そして、図２のＳ２０３においては、１つのフレーム内の５つの解析領域のそれぞれに対して、ブレ、ボケを判定するための解析を実行する。そして、その解析により得られたブレ量、ボケ量に応じて、各解析領域の画質を示す評価値を決定する。この評価値は、例えばＲＡＭ１０４に記憶しておく。この評価値は、解析領域内の画像データのブレ量・ボケ量を数値化したものである。本実施例では、ブレ・ボケ量に比例して大きくなる点数で評価値を設定するが、逆にブレ・ボケなしを１００点満点としてブレ・ボケ量が大きくなるにつれて低い点数になるように評価値を設定してもよい。
【００４６】
次に図２のＳ２０４においては、まず、５つの解析領域のそれぞれの評価値を、フレーム間で比較する。このとき、各フレームの対応する解析領域ごとに評価値を比較する。具体的には、主フレームおよび周辺フレームから２枚のフレームを選択して、その２枚のフレームのそれぞれにおける、５つの解析領域ごとに、Ｓ２０３で得られた評価値を比較する。このときに、２枚のフレームにおいて対応する解析領域同士を比較する。例えば、フレームの中央に設けられている解析領域同士を比較する。ユーザは画像の撮影時に、主要な被写体がフレームの中央に配置されるように撮影することが多い。よって、上記のようにフレームの中央の解析領域同士を比較することで、２枚のフレームにおいて共通の被写体について、ブレ、ボケを判定することができる。
【００４７】
また、各解析領域の評価値を比較するときに「勝ち点方式」により比較を行う。この「勝ち点方式」は、ある解析領域の評価値を２枚のフレームにおいて比較し、両者の評価値の差が所定値以上であれば、評価値が高いフレームの当該解析領域に勝ち点３を与える。そして、２枚のフレームの評価値の差が所定値より小さければ、引分けとみなして、その２枚のフレームの当該解析領域に対して勝ち点１を与える。この各解析領域に対する比較処理を、５つの解析領域に対して実行する。そして、１つのフレームにおいて、５つの解析領域に対して与えられた勝ち点を加算して、加算された勝ち点を、そのフレームのフレーム評価値とする。
【００４８】
この２枚のフレームの比較処理を、Ｓ２０１において選択された複数のフレームにおいて総当たりで実施して、２枚のフレームの比較処理を実行するたびに、その２枚のフレームのそれぞれに、フレーム評価値を加算していく。
【００４９】
そしてＳ２０５では、最終的に加算されたフレーム評価値に基づき、出力対象のフレームを抽出する。なお、Ｓ２０５では、最もよい評価値となった１枚のフレームを抽出対象として適していると判断して、そのフレームを抽出フレームとして決定するが、所定の評価値を満たした複数のフレームを抽出フレームとして決定してもよい。
【００５０】
このように、本実施例では、１つのフレームに対して複数の解析領域を設定し、その複数の解析領域に対する解析結果に基づいて、そのフレームのブレ、ボケを判定している。上述したように、１つの解析領域によりブレ、ボケの判定する場合、その１つの解析領域の解析結果に応じて、フレームに対するブレ、ボケの評価が大きく変わることがあり、それにより、フレームの画質の評価を適切に行えない場合があった。
【００５１】
一方、本実施例では、複数の解析領域を設定するため、１つの解析領域においてフレームのブレ、ボケを適切に判定できなかったとしても、他の解析領域を考慮することで、適切な判定を行うことができる。
【００５２】
なお、上述したように、本実施例では主フレーム３０１に対して、周辺フレーム３０２を選択して、その主フレーム３０１と、周辺フレーム３０２を、解析対象のフレーム群としている。そのとき、そのフレーム群において、シーンの変更があった場合には、複数のシーンに対応するフレームが、そのフレーム群に含まれることになる。この場合、ブレ量、ボケ量により、いずれかのシーンのフレームを抽出するよりも、その複数のシーンのそれぞれから、ブレ、ボケの少ないフレームを抽出することが望ましい。
【００５３】
通常は、撮影シーンにもよるが、０．５秒〜１秒未満の間隔にあるフレームであれば、それほど大きなシーン変化はないことが多いと想定できる。そこで、０．５秒ないしは１秒未満の範囲で周辺フレームの範囲を限定することで、シーン特性の変動を少なくすることができる。これにより、ブレ、ボケの解析対象のフレーム群において、シーンが変化することを防ぐことができる。
【００５４】
ここで図４に示した解析領域の大きさについて説明する。図５において説明したように、解析領域の大きさは、背景が可能な限り混在しないように設定することがポイントになる。これは想定する撮影シーンに基づいて決定すればよい。具体的には、動いている子供を動画撮影することを想定すると、フルＨＤ画質（１９２０×１０８０画素）で全身がフレームの納まっている場合を考えて設定する。フレームの垂直方向の１０８０画素に対して８割程度に撮影されたとすると、その５〜６頭身換算で１４４〜１７２画素となる。解析領域の大きさは、それ以下となるように設定すればよい。なお、上記のように、フレームの大きさに対する被写体の大きさの比率により解析領域の大きさを決定する場合、フレーム全体の画素数に応じて、解析領域の画素数を決定すればよい。
【００５５】
次に、図４に示した複数の解析領域の配置方法に関しても、適度に解析しない領域を意図的に設定することがポイントになる。つまり、所定サイズの解析領域をフレーム全体に密に配置しても、上述した想定シーンなどではほとんどが流れている背景となることにもなり兼ねず、それらをいくら解析したところで抽出精度を向上させることはあまり期待できない。よって、フレームにおける、適切な部分に、解析領域を設定する必要がある。
【００５６】
ユーザは、主要な被写体のブレ、ボケが少ないフレームを出力対象として望むことが多いため、この主要な被写体を解析領域に含めて、フレームに対するブレ、ボケの評価に用いることが望ましい。
【００５７】
特に動画撮影の場合には、撮影者が注目する特定の被写体を画像の中心として撮影していることが多い。即ち、フレームの中央部では、主要な被写体が存在していることが多く、動画像において連続する複数のフレームにおいて、特定の被写体がフレームの中央部に含まれていることが多い。そこで、図４に示したように、フレームの中央部に解析領域を中心的に設定する。
【００５８】
一方、フレームの端部では、撮影者が注目する特定の被写体が存在することが少なく、その被写体が移動している場合には、フレームの端部では、わずかな時間経過でもシーンが変化している可能性が高い。よって、動画像において連続する複数のフレームにおいて、フレームの端部の内容が変化していることが多い。そこで、図４に示したように、フレーム端部には解析領域を設定しないようにすればよい。
【００５９】
また他にも、撮影構図の中心や撮影領域を略９等分するラインの４つの交点付近（いわゆる黄金分割点）を中心に主要被写体が撮影される可能性が高いことを想定して、それらの領域を解析領域として配置することもできる。図４に示す例では、主要被写体が撮影される可能性が高い点として、フレームの中央と、４つの黄金分割点に解析領域を設けている。あるいは、カメラの測距点を中心にして解析領域を配置してもよい。これはカメラの撮影時の制御として、測距点でピント制御が実施されていれば、それらの周辺でピントが合う可能性が高くなると考えられるからである。
【００６０】
また、図４に示した例では、５つの解析領域を設定したが、これに限らず、６つ以上または４つ以下の複数の解析領域を設定してもよい。
【００６１】
さらに、上記の実施例のように、複数の解析領域のそれぞれに対する解析結果により、出力対象のフレームを抽出するが、解析領域に応じて、解析結果に重み付けをしてもよい。このとき、複数の解析領域のうちの、より重要な位置に配置された解析領域に重みを置く。例えば、フレームの中央に配置されている解析領域を、他の解析領域よりも重視するために、上記の「勝ち点方式」の判定において、中央に配置された解析領域に対して与えられた勝ち点を２倍にして、当該フレームに与えられた勝ち点を計算する。
【００６２】
（実施例２）
実施例１では、解析領域を設定するときに、動画像の画素数に応じてサイズの領域を設定することを示した。このサイズ設定が適切であるかは、画像の内容や、撮影情報（撮影時に利用しているレンズ性能、カメラの設定値等）によって依存することがある。
【００６３】
そこで、本実施例では、この画像の内容や撮影情報に基づくサイズ設定方法について説明する。それ以外の構成は、実施例１と同様である。
【００６４】
まず画像の内容であるが、実施例１ではフレームに対する被写体の大きさを考慮して、解析領域として所定の大きさのサイズを設定した。そこで、実施例２では、フレームを解析することで、そのフレームに含まれる被写体の大きさを判定し、その被写体の大きさに応じて、解析領域の大きさを決定する。例えば、公知の顔検出技術を用いて、被写体として顔を検出し、検出された顔の大きさに応じて、解析領域の大きさを決定する。なお、このとき、顔のフレームにおける位置に応じて、解析領域の位置を決定してもよい。
【００６５】
また、撮影情報としては、レンズの明るさを示すＦ値や焦点距離などがある。上述したように、Ｆ値が小さいほど合焦する領域の大きさは小さくなる。また、望遠レンズを利用して遠景を撮影しているような場合には、一般的にブレやすくなる。よって、このようなカメラ情報に基づいて解析サイズを調整してもよい。例えば、上記のように、Ｆ値が小さい場合には、ボケ量の異なる被写体を解析領域に含めないために、解析領域のサイズを、通常よりも小さくしてもよい。
【００６６】
なお、上記の動画像に対応する撮影情報は、動画像を撮影したときに、動画像ファイルのヘッダ部に格納されており、メモリに記憶されている動画像ファイルの上記のヘッダ部を参照することで、Ｆ値やレンズの種類を判定することができる。
【００６７】
（実施例３）
実施例１では、連続する動画フレームの中から好ましいフレームを抽出するときに、２枚のフレームにおいて対応する解析領域、すなわち２枚のフレームにおける同じ場所の評価値に基づいて、フレーム間の画質の比較を行っていた。
【００６８】
しかし、上述したような想定シーンにおいては、被写体が移動する場合もある。そこで、本実施形態は、被写体の移動を想定し、かつ、カメラも移動していることで全体の背景は流れているケースを考える。
【００６９】
このようなシーンを想定すると、主要被写体が入った解析領域は、他の解析領域と比較して極めて高い評価値となる。つまり、他の解析領域の評価値に対して、突出した評価値をもつ解析領域が少なくともひとつ存在する場合がある。また、被写体が移動して別の解析領域で補足されたとすると、同様に、その解析領域の評価値が他の解析領域と比べて突出したものになる。
【００７０】
この場合、フレームにおける複数の解析領域のうち、特に評価値が高い解析領域を有するフレームを、優先的に抽出するようにしてもよい。例えば、フレームごとに設定された複数の解析領域の評価値の分布を解析して、他の解析領域と比較して突出してよい評価値をもつ解析領域が存在するかを判定する。つぎに、複数のフレームの中から、この基準を満たす解析領域を有するフレームを選択し、それらの中から上記の解析領域の評価値に基づいて抽出するフレームを決定してもよい。
【００７１】
これにより、主要な被写体にブレ、ボケの少ないフレームを、出力対象として抽出することができる。
【００７２】
以上の実施例では、１つのフレームに対して複数の解析領域を設定し、その複数の解析領域に対する解析結果に基づいて、そのフレームのブレ、ボケを判定する。これにより、１つの解析領域においてフレームのブレ、ボケを適切に判定できなかったとしても、他の解析領域を考慮することで、適切な判定を行うことができる。
【００７３】
従って、本実施例によれば、例えば、動画像を構成する複数のフレームから、出力対象のフレームを抽出するときに、ブレ、ボケの少ないフレームを抽出することができる。そして、そのように動画像から抽出されたフレームを、表示装置に表示させる、または印刷装置に印刷させるなど、各種の出力処理を行うことができる。この場合でも、本実施例によれば、ブレ、ボケの少ない画像を抽出できるので、適切な画像を抽出して表示や印刷を行うことができる。なお、そのように動画像からフレームを抽出する場合に、動画像から抽出された複数フレームを並べて表示や印刷を実行してもよいし、複数フレームを合成して表示や印刷を実行してもよい。
【００７４】
なお、以上の実施例では、画質評価方法として、ブレ・ボケ推定量によって評価する方法を示したが、これ以外にも画質面での色味のよさやコントラストの適正、またノイズ感など様々な画質の解析結果に基づくものであってもよい。このように、画質評価方法としては種々の変形が可能である。
【００７５】
また以上の実施例の処理は、動画像からフレームを抽出するときに限らず、複数の静止画像から、ユーザの指示に応じた間隔で静止画像を抽出するときにも応用できるものである。例えば、コンピュータ上に取りためた大量の静止画像の内容を、ユーザが瞬時に把握できるように、ユーザが指定した間隔で、ブレ、ボケの少ない画像を抽出するときに用いることができる。
【００７６】
また、以上の実施例で説明した画像処理装置は、表示装置１０７や出力装置１１０を含むものであったが、画像処理装置に接続されている、外部の表示装置に画像を表示させる、また外部の出力装置１１０に画像を出力する場合であってもよい。また、この画像処理装置の例としては、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）や、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、印刷装置、携帯電話などのモバイル機器など、種々の装置であってよい。
【００７７】
（他の実施形態）
前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラムを記録媒体に記憶させ、該記録媒体に記憶されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も上述の実施形態の範疇に含まれる。
【００７８】
該記録媒体は、コンピュータ読み取り可能な記録媒体である。また、前述のプログラムが記憶された記録媒体はもちろんそのプログラム自体も上述の実施形態に含まれる。かかる記録媒体としてはたとえばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ―ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。
【００７９】
また前述の記録媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウエア、拡張ボードの機能と共同して、ＯＳ上で動作し前述の実施形態の動作を実行するものも前述した実施形態の範疇に含まれる。
【００８０】
また本発明は、１つのプロセッサがプログラムを実行する場合に限らず、複数のプロセッサが協働することによっても実現できるものである。
【符号の説明】
【００８１】
１０１ ＣＰＵ
１０２ ブリッジ部
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ ２次記憶装置
【技術分野】
【０００１】
本発明は、動画を構成する複数フレームから、出力対象のフレームを抽出する画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、動画再生機能を有する装置において、動画像を構成する静止画像を、動画像から抽出する機能を有するものがある。この種の機能においては、動画像に含まれる複数のフレームから抽出対象のフレームをユーザが指定すると、その指定されたフレームの画像を液晶モニター等の表示装置に出力して、その画像を表示させることができる。他にも、動画像から抽出されたフレームを印刷装置に出力することで、そのフレームに対応する画像を印刷用紙に印刷させることができる。
【０００３】
ところで、動画像に含まれる静止画像のうち、撮影者の手や被写体が動いたときに撮影された静止画像は、ブレが発生している場合があり、出力対象として好ましくない場合がある。そこで特許文献１では、動画データを解析して、動画に含まれる各フレームのブレ量を取得し、取得されたブレ量に基づいて基準フレームを決定し、その基準フレームの所定範囲内にある周辺フレームを出力することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４３０１２３６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の従来技術は、画像のブレ量を判定する方法として、フレーム内の特徴点のフレーム間での移動量により、ブレ量を判定する方法が記載されている。
【０００６】
しかしながら、フレーム内の特徴点がフレーム間で移動していたとしても、その特徴点の移動が、撮影装置のブレによるものなのか、被写体の移動であるのか特定することはできない。よって、仮に特徴点のフレーム間の移動量が小さく、その特徴点のブレが小さかったとしても、その特徴点に対応する被写体の移動に合わせて動画像が撮影されていた場合がある。このとき、その特徴点のブレは少なかったとしても、フレームにおけるその特徴点以外の領域のブレが大きく、そのフレームが出力対象として好ましくない場合がある。
【０００７】
そこで本発明は、動画から出力対象のフレームを適切に抽出することができる画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、複数のフレームから構成される動画像から抽出された出力対象のフレームを出力する画像処理装置であって、前記動画像に含まれる複数のフレームのそれぞれにおける、複数の解析領域を解析する解析手段と、前記複数のフレームのそれぞれにおける、前記複数の解析領域のそれぞれに対する、前記解析手段による解析結果に基づき、当該複数のフレームから出力対象のフレームを抽出する抽出手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、フレームにおける複数の領域の解析結果により出力対象のフレームを抽出することで、動画から出力対象のフレームを適切に抽出することができる
【図面の簡単な説明】
【００１０】
【図１】画像処理装置のブロック図である。
【図２】フレーム抽出処理を示すフローチャートである。
【図３】動画像に含まれる複数フレームを示す図である。
【図４】フレームに対して設定される解析領域を示す図である。
【図５】動画像におけるフレームを示す図である。
【発明を実施するための形態】
【００１１】
（実施例１）
以下、本発明の実施の形態について詳細に説明する。
【００１２】
図１に本発明で使用する画像処理装置のブロック図を示す。画像処理方法として、ＰＣを使用すると想定して説明する。
【００１３】
ＣＰＵ １０１は、中央演算ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で、他の機能ブロックや装置の制御を行う。ブリッジ部１０２は、ＣＰＵ １０１と他の機能ブロックの間でデータのやり取りを制御する機能を提供している。
【００１４】
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ） １０３は読み込み専用の不揮発メモリであり、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）と呼ばれるプログラムが格納されている。ＢＩＯＳは画像処理装置が起動したときに最初に実行されるプログラムであり、２次記憶装置１０５、表示装置１０７、入力装置１０９、出力装置１１０などの周辺機器の基本入出力機能を制御するものである。
【００１５】
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４は、高速の読み／書き可能な記憶領域を提供する。
【００１６】
２次記憶装置１０５は、大容量の記憶領域を提供するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。ＢＩＯＳが実行されると、ＨＤＤに格納されているＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が実行される。ＯＳはすべてのアプリケーションで利用可能な基本的な機能や、アプリケーションの管理、基本ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する。アプリケーションは、ＯＳが提供するＧＵＩを組み合わせることで、アプリケーション独自の機能を実現するＵＩを提供できる。
【００１７】
なお、上記のＯＳや、他のアプリケーションの実行プログラムや作業用に使用しているデータは、必要に応じてＲＯＭ１０３または２次記憶装置１０５に格納される。また、本実施例の処理を実行する画像処理アプリケーションは、ＲＯＭ１０３または２次記憶装置１０５に格納され、ユーザの操作で起動するアプリケーションとして提供される。以下で説明する処理は、ＣＰＵ１０１が、ＲＯＭ１０３や２次記憶装置１０５に記憶されている、ＯＳ、画像処理アプリケーション等のプログラムを、ＲＡＭ１０４をワークメモリとして実行することで実現する。
【００１８】
表示制御部１０６は、各種の画像を表示装置１０７に表示させるための制御を行う。表示される画像は、例えば、２次記憶装置１０５に記憶されている画像や、ＯＳやアプリケーションに対して行われるユーザの操作の結果を示すＧＵＩの画像である。また、表示装置１０７には液晶ディスプレイや、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイが使用できる。
【００１９】
Ｉ／Ｏ制御部１０８は、複数の入力装置１０９、出力装置１１０とのインターフェースを提供するものである。代表的なインターフェースとして、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＰＳ／２（Ｐｅｒｓｏｎａｌ Ｓｙｓｔｅｍ／２）がある。
【００２０】
入力装置１０９は、キーボード、マウスといった操作デバイスであり、Ｉ／Ｏ制御部１０８は、入力装置１０９を介してユーザの指示を画像処理装置に入力する。
【００２１】
Ｉ／Ｏ制御部１０８は、各種の出力装置に１１０を接続して、接続されている出力装置１１０にデータを出力する。出力装置１１０は例えばプリンターであり、Ｉ／Ｏ制御部が印刷データを出力装置に出力することで、印刷データに対応する画像を印刷させることができる。
【００２２】
なお、画像処理装置には、デジタルカメラ、ＵＳＢメモリ、ＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ）メモリ、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカードといった記憶装置などを接続することもできる。そして、Ｉ／Ｏ制御部は、そのデジタルカメラやメモリに画像データなどのデータを転送することや、逆にデジタルカメラやメモリからデータを取得することも可能である。
【００２３】
後述するが、本実施例では、複数枚のフレームから構成される動画像から、フレームを抽出する。その動画像のデータは、上記の２次記憶装置１０５や、画像処理装置に接続されているＵＳＢメモリやＣＦメモリ、ＳＤメモリカード等から供給される。
【００２４】
次に、本実施例におけるフレーム抽出処理について説明する。
【００２５】
本実施例では、動画像に含まれているフレームを抽出するときに、ブレ量、ボケ量を判定して、ブレ、ボケが少ないフレームを出力対象として抽出する。なぜなら、動画像の場合は特に、連続するフレームで明るさや色味が微妙に変動することもあり、また、主要被写体がわずかに移動することによっても、圧縮などの影響を受けてそれがブレやボケ推定のノイズとなりやすい。また、シーンの特性が大きく変動すると、それ自体がブレ・ボケ推定のノイズとなる。よって、動画像からフレームを抽出するときには、フレームにおけるブレ、ボケを判定して、出力対象として適切なフレームを抽出することが重要である。
【００２６】
また本実施例では、フレームのブレ、ボケを判定するときに、フレームにおける複数の領域のブレ、ボケの解析結果を利用する。
【００２７】
これは、フレームにおける１つの領域の解析結果だけでは、フレームのブレ、ボケを適切に評価できない場合がある。これを、図５を用いて説明する。
【００２８】
図５は、動画像に含まれるフレームを示す図である。この図５において、主要被写体５０２付近に解析領域５０１を設定して、この解析領域５０１内のブレ、ボケを判定するものとする。例えば、主要被写体がある程度の速度で動いている場合に、被写体にカメラを被写体の動きに同調して撮影すると、被写体にはピントが合うが背景は流れた画像（ブレ）となる。
【００２９】
従って、１つの解析領域５０１内におけるブレ、ボケが少なかったとしても、その解析領域５０１以外の領域のブレ、ボケが大きく、出力対象のフレームとして好ましくないことがある。
【００３０】
さらに、解析領域５０１において主要被写体５０２ではない領域である背景領域５０３は、上記のようにブレが大きい場合がある。よって、１つの解析領域５０１によりフレームのブレ、ボケを判断する場合、その１つの解析領域の設定の仕方によって、判断結果が大きく変わることがある。
【００３１】
特に、動画像の撮影時において、ピントが合う領域をより限定する撮影方法により動画像が撮影されていた場合には、主要被写体と背景とのボケ量の差が大きくなる。例えば、撮影時にレンズの絞りを開放して（Ｆ値を小さくして）撮影すると、焦点の合う被写界深度の範囲が狭くなる。この場合、ピントを合わせた被写体に対して背景がボケるのはもちろん、特に明るいレンズを利用してＦ値を小さく設定して撮影すると被写体領域においても厳密にピントが合う領域が限定されることになる。
【００３２】
この場合、特に、１つの解析領域５０１内の主要被写体のブレ、ボケが少なかったとしても、背景においてブレ、ボケが大きく発生していることがある。また、１つの解析領域５０１内に、背景領域５０３をどれだけ含むかによって、フレームに対するブレ、ボケの評価が特に大きく変わる。
【００３３】
従って、本実施例では、１つのフレームに複数の解析領域を設定し、その複数の解析領域の解析結果に基づき、複数のフレームから、出力対象として適切なフレームを抽出する。
【００３４】
図２は本実施例のフレーム抽出処理を示すフローチャートである。このフローチャートの処理に対応するプログラムがＲＯＭ１０３または２次記憶装置１０５に記憶されており、ＣＰＵ１０１がそのプログラムをＲＡＭ１０４に読み出して実行することにより、図２のフローチャートで示す処理を実現することができる。
【００３５】
まず、動画データを構成する複数のフレームから、解析対象の複数のフレームを選択する（Ｓ２０１）。そして、Ｓ２０１で選択された複数のフレームのそれぞれに、ブレ量、ボケ量を判定するための解析処理の対象とする、解析領域を設定する（Ｓ２０２）。なお、このＳ２０２では、上記のように、複数の解析領域を設定する。複数の解析領域の詳細については、図４を用いて後述する。
【００３６】
フレームにおける、Ｓ２０２において設定された複数の解析領域のそれぞれに、画質評価を行う（Ｓ２０３）。ここで、画質評価方法としては特に解析領域に含まれるブレ量やボケ量を推定する。ブレ量やボケ量を推定する方法は、公知の技術を利用すればよい。例えば、解析領域のエッジ量をブレ量もしくはボケ量の評価値として算出する。
【００３７】
次に、周辺のフレーム間で互いに対応する解析領域ごとに画質評価値を比較する（Ｓ２０４）。最後に互いの画質評価値の比較結果に基づいて、最終的に出力対象フレームを決定して抽出する（Ｓ２０５）。
【００３８】
そして、このＳ２０５で抽出された出力対象のフレームを出力する（Ｓ２０６）。例えば表示制御部１０６により、動画像データから抽出したフレームを、表示装置１０７に表示させてもよい。または、動画像データから抽出したフレームに対応する印刷データを印刷装置である出力装置１１０に出力して、当該フレームに対応する画像を印刷媒体に印刷させてもよい。
【００３９】
ここで、上記のＳ２０１における、解析対象のフレームの選択について、図３を用いて説明する。図３は、動画像に含まれる複数のフレームを示す図である。Ｓ２０１では、まず動画を構成する一連のフレームから、主フレーム３０１を決定する。これは、ユーザが入力装置１０９を用いて指定したフレームとする。あるいは、動画像の全フレームから、所定枚数ごとにフレームを特定したときの複数のフレームを、それぞれ主フレームと３０１して設定してもよい。
【００４０】
次に、この主フレーム３０１の近傍にあるフレームを周辺フレーム３０２として設定する。周辺フレームは、主フレームに連続するフレームを利用してもよいし、シーン特性がほぼ同じになる範囲において所定の間隔で周辺フレームを設定してもよい。
【００４１】
Ｓ２０１では、主フレーム３０１と、その主フレーム３０１に対応する周辺フレーム３０２とを、ブレ、ボケを判断するための解析を実行する解析対象の複数のフレーム（フレーム群）として選択する。そして、Ｓ２０５では、Ｓ２０２〜Ｓ２０４におけるフレームの解析結果により、解析対象の複数のフレームから、ブレ、ボケの少ないフレームを、出力対象のフレームとして抽出する。
【００４２】
次に、本実施例における、フレームに対する解析領域の設定について、詳細に説明する。
【００４３】
図４は、フレームに対して設定される解析領域を示す図である。上述の図２のＳ２０２では、この図４に示す複数の解析領域が設定される。図４に示す例では、５つの解析領域４０２を、１つのフレームに対して設定する。
【００４４】
本実施例では、フルＨＤ画質（１９２０×１０８０画素）の動画像に含まれるフレームに解析領域を設定する場合を想定しており、１２８×１２８画素の解析領域４０２を、図４に示すように５つ設定する。なお、解析領域４０２のサイズは、動画像の画素数に応じて設定すればよい。
【００４５】
そして、図２のＳ２０３においては、１つのフレーム内の５つの解析領域のそれぞれに対して、ブレ、ボケを判定するための解析を実行する。そして、その解析により得られたブレ量、ボケ量に応じて、各解析領域の画質を示す評価値を決定する。この評価値は、例えばＲＡＭ１０４に記憶しておく。この評価値は、解析領域内の画像データのブレ量・ボケ量を数値化したものである。本実施例では、ブレ・ボケ量に比例して大きくなる点数で評価値を設定するが、逆にブレ・ボケなしを１００点満点としてブレ・ボケ量が大きくなるにつれて低い点数になるように評価値を設定してもよい。
【００４６】
次に図２のＳ２０４においては、まず、５つの解析領域のそれぞれの評価値を、フレーム間で比較する。このとき、各フレームの対応する解析領域ごとに評価値を比較する。具体的には、主フレームおよび周辺フレームから２枚のフレームを選択して、その２枚のフレームのそれぞれにおける、５つの解析領域ごとに、Ｓ２０３で得られた評価値を比較する。このときに、２枚のフレームにおいて対応する解析領域同士を比較する。例えば、フレームの中央に設けられている解析領域同士を比較する。ユーザは画像の撮影時に、主要な被写体がフレームの中央に配置されるように撮影することが多い。よって、上記のようにフレームの中央の解析領域同士を比較することで、２枚のフレームにおいて共通の被写体について、ブレ、ボケを判定することができる。
【００４７】
また、各解析領域の評価値を比較するときに「勝ち点方式」により比較を行う。この「勝ち点方式」は、ある解析領域の評価値を２枚のフレームにおいて比較し、両者の評価値の差が所定値以上であれば、評価値が高いフレームの当該解析領域に勝ち点３を与える。そして、２枚のフレームの評価値の差が所定値より小さければ、引分けとみなして、その２枚のフレームの当該解析領域に対して勝ち点１を与える。この各解析領域に対する比較処理を、５つの解析領域に対して実行する。そして、１つのフレームにおいて、５つの解析領域に対して与えられた勝ち点を加算して、加算された勝ち点を、そのフレームのフレーム評価値とする。
【００４８】
この２枚のフレームの比較処理を、Ｓ２０１において選択された複数のフレームにおいて総当たりで実施して、２枚のフレームの比較処理を実行するたびに、その２枚のフレームのそれぞれに、フレーム評価値を加算していく。
【００４９】
そしてＳ２０５では、最終的に加算されたフレーム評価値に基づき、出力対象のフレームを抽出する。なお、Ｓ２０５では、最もよい評価値となった１枚のフレームを抽出対象として適していると判断して、そのフレームを抽出フレームとして決定するが、所定の評価値を満たした複数のフレームを抽出フレームとして決定してもよい。
【００５０】
このように、本実施例では、１つのフレームに対して複数の解析領域を設定し、その複数の解析領域に対する解析結果に基づいて、そのフレームのブレ、ボケを判定している。上述したように、１つの解析領域によりブレ、ボケの判定する場合、その１つの解析領域の解析結果に応じて、フレームに対するブレ、ボケの評価が大きく変わることがあり、それにより、フレームの画質の評価を適切に行えない場合があった。
【００５１】
一方、本実施例では、複数の解析領域を設定するため、１つの解析領域においてフレームのブレ、ボケを適切に判定できなかったとしても、他の解析領域を考慮することで、適切な判定を行うことができる。
【００５２】
なお、上述したように、本実施例では主フレーム３０１に対して、周辺フレーム３０２を選択して、その主フレーム３０１と、周辺フレーム３０２を、解析対象のフレーム群としている。そのとき、そのフレーム群において、シーンの変更があった場合には、複数のシーンに対応するフレームが、そのフレーム群に含まれることになる。この場合、ブレ量、ボケ量により、いずれかのシーンのフレームを抽出するよりも、その複数のシーンのそれぞれから、ブレ、ボケの少ないフレームを抽出することが望ましい。
【００５３】
通常は、撮影シーンにもよるが、０．５秒〜１秒未満の間隔にあるフレームであれば、それほど大きなシーン変化はないことが多いと想定できる。そこで、０．５秒ないしは１秒未満の範囲で周辺フレームの範囲を限定することで、シーン特性の変動を少なくすることができる。これにより、ブレ、ボケの解析対象のフレーム群において、シーンが変化することを防ぐことができる。
【００５４】
ここで図４に示した解析領域の大きさについて説明する。図５において説明したように、解析領域の大きさは、背景が可能な限り混在しないように設定することがポイントになる。これは想定する撮影シーンに基づいて決定すればよい。具体的には、動いている子供を動画撮影することを想定すると、フルＨＤ画質（１９２０×１０８０画素）で全身がフレームの納まっている場合を考えて設定する。フレームの垂直方向の１０８０画素に対して８割程度に撮影されたとすると、その５〜６頭身換算で１４４〜１７２画素となる。解析領域の大きさは、それ以下となるように設定すればよい。なお、上記のように、フレームの大きさに対する被写体の大きさの比率により解析領域の大きさを決定する場合、フレーム全体の画素数に応じて、解析領域の画素数を決定すればよい。
【００５５】
次に、図４に示した複数の解析領域の配置方法に関しても、適度に解析しない領域を意図的に設定することがポイントになる。つまり、所定サイズの解析領域をフレーム全体に密に配置しても、上述した想定シーンなどではほとんどが流れている背景となることにもなり兼ねず、それらをいくら解析したところで抽出精度を向上させることはあまり期待できない。よって、フレームにおける、適切な部分に、解析領域を設定する必要がある。
【００５６】
ユーザは、主要な被写体のブレ、ボケが少ないフレームを出力対象として望むことが多いため、この主要な被写体を解析領域に含めて、フレームに対するブレ、ボケの評価に用いることが望ましい。
【００５７】
特に動画撮影の場合には、撮影者が注目する特定の被写体を画像の中心として撮影していることが多い。即ち、フレームの中央部では、主要な被写体が存在していることが多く、動画像において連続する複数のフレームにおいて、特定の被写体がフレームの中央部に含まれていることが多い。そこで、図４に示したように、フレームの中央部に解析領域を中心的に設定する。
【００５８】
一方、フレームの端部では、撮影者が注目する特定の被写体が存在することが少なく、その被写体が移動している場合には、フレームの端部では、わずかな時間経過でもシーンが変化している可能性が高い。よって、動画像において連続する複数のフレームにおいて、フレームの端部の内容が変化していることが多い。そこで、図４に示したように、フレーム端部には解析領域を設定しないようにすればよい。
【００５９】
また他にも、撮影構図の中心や撮影領域を略９等分するラインの４つの交点付近（いわゆる黄金分割点）を中心に主要被写体が撮影される可能性が高いことを想定して、それらの領域を解析領域として配置することもできる。図４に示す例では、主要被写体が撮影される可能性が高い点として、フレームの中央と、４つの黄金分割点に解析領域を設けている。あるいは、カメラの測距点を中心にして解析領域を配置してもよい。これはカメラの撮影時の制御として、測距点でピント制御が実施されていれば、それらの周辺でピントが合う可能性が高くなると考えられるからである。
【００６０】
また、図４に示した例では、５つの解析領域を設定したが、これに限らず、６つ以上または４つ以下の複数の解析領域を設定してもよい。
【００６１】
さらに、上記の実施例のように、複数の解析領域のそれぞれに対する解析結果により、出力対象のフレームを抽出するが、解析領域に応じて、解析結果に重み付けをしてもよい。このとき、複数の解析領域のうちの、より重要な位置に配置された解析領域に重みを置く。例えば、フレームの中央に配置されている解析領域を、他の解析領域よりも重視するために、上記の「勝ち点方式」の判定において、中央に配置された解析領域に対して与えられた勝ち点を２倍にして、当該フレームに与えられた勝ち点を計算する。
【００６２】
（実施例２）
実施例１では、解析領域を設定するときに、動画像の画素数に応じてサイズの領域を設定することを示した。このサイズ設定が適切であるかは、画像の内容や、撮影情報（撮影時に利用しているレンズ性能、カメラの設定値等）によって依存することがある。
【００６３】
そこで、本実施例では、この画像の内容や撮影情報に基づくサイズ設定方法について説明する。それ以外の構成は、実施例１と同様である。
【００６４】
まず画像の内容であるが、実施例１ではフレームに対する被写体の大きさを考慮して、解析領域として所定の大きさのサイズを設定した。そこで、実施例２では、フレームを解析することで、そのフレームに含まれる被写体の大きさを判定し、その被写体の大きさに応じて、解析領域の大きさを決定する。例えば、公知の顔検出技術を用いて、被写体として顔を検出し、検出された顔の大きさに応じて、解析領域の大きさを決定する。なお、このとき、顔のフレームにおける位置に応じて、解析領域の位置を決定してもよい。
【００６５】
また、撮影情報としては、レンズの明るさを示すＦ値や焦点距離などがある。上述したように、Ｆ値が小さいほど合焦する領域の大きさは小さくなる。また、望遠レンズを利用して遠景を撮影しているような場合には、一般的にブレやすくなる。よって、このようなカメラ情報に基づいて解析サイズを調整してもよい。例えば、上記のように、Ｆ値が小さい場合には、ボケ量の異なる被写体を解析領域に含めないために、解析領域のサイズを、通常よりも小さくしてもよい。
【００６６】
なお、上記の動画像に対応する撮影情報は、動画像を撮影したときに、動画像ファイルのヘッダ部に格納されており、メモリに記憶されている動画像ファイルの上記のヘッダ部を参照することで、Ｆ値やレンズの種類を判定することができる。
【００６７】
（実施例３）
実施例１では、連続する動画フレームの中から好ましいフレームを抽出するときに、２枚のフレームにおいて対応する解析領域、すなわち２枚のフレームにおける同じ場所の評価値に基づいて、フレーム間の画質の比較を行っていた。
【００６８】
しかし、上述したような想定シーンにおいては、被写体が移動する場合もある。そこで、本実施形態は、被写体の移動を想定し、かつ、カメラも移動していることで全体の背景は流れているケースを考える。
【００６９】
このようなシーンを想定すると、主要被写体が入った解析領域は、他の解析領域と比較して極めて高い評価値となる。つまり、他の解析領域の評価値に対して、突出した評価値をもつ解析領域が少なくともひとつ存在する場合がある。また、被写体が移動して別の解析領域で補足されたとすると、同様に、その解析領域の評価値が他の解析領域と比べて突出したものになる。
【００７０】
この場合、フレームにおける複数の解析領域のうち、特に評価値が高い解析領域を有するフレームを、優先的に抽出するようにしてもよい。例えば、フレームごとに設定された複数の解析領域の評価値の分布を解析して、他の解析領域と比較して突出してよい評価値をもつ解析領域が存在するかを判定する。つぎに、複数のフレームの中から、この基準を満たす解析領域を有するフレームを選択し、それらの中から上記の解析領域の評価値に基づいて抽出するフレームを決定してもよい。
【００７１】
これにより、主要な被写体にブレ、ボケの少ないフレームを、出力対象として抽出することができる。
【００７２】
以上の実施例では、１つのフレームに対して複数の解析領域を設定し、その複数の解析領域に対する解析結果に基づいて、そのフレームのブレ、ボケを判定する。これにより、１つの解析領域においてフレームのブレ、ボケを適切に判定できなかったとしても、他の解析領域を考慮することで、適切な判定を行うことができる。
【００７３】
従って、本実施例によれば、例えば、動画像を構成する複数のフレームから、出力対象のフレームを抽出するときに、ブレ、ボケの少ないフレームを抽出することができる。そして、そのように動画像から抽出されたフレームを、表示装置に表示させる、または印刷装置に印刷させるなど、各種の出力処理を行うことができる。この場合でも、本実施例によれば、ブレ、ボケの少ない画像を抽出できるので、適切な画像を抽出して表示や印刷を行うことができる。なお、そのように動画像からフレームを抽出する場合に、動画像から抽出された複数フレームを並べて表示や印刷を実行してもよいし、複数フレームを合成して表示や印刷を実行してもよい。
【００７４】
なお、以上の実施例では、画質評価方法として、ブレ・ボケ推定量によって評価する方法を示したが、これ以外にも画質面での色味のよさやコントラストの適正、またノイズ感など様々な画質の解析結果に基づくものであってもよい。このように、画質評価方法としては種々の変形が可能である。
【００７５】
また以上の実施例の処理は、動画像からフレームを抽出するときに限らず、複数の静止画像から、ユーザの指示に応じた間隔で静止画像を抽出するときにも応用できるものである。例えば、コンピュータ上に取りためた大量の静止画像の内容を、ユーザが瞬時に把握できるように、ユーザが指定した間隔で、ブレ、ボケの少ない画像を抽出するときに用いることができる。
【００７６】
また、以上の実施例で説明した画像処理装置は、表示装置１０７や出力装置１１０を含むものであったが、画像処理装置に接続されている、外部の表示装置に画像を表示させる、また外部の出力装置１１０に画像を出力する場合であってもよい。また、この画像処理装置の例としては、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）や、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、印刷装置、携帯電話などのモバイル機器など、種々の装置であってよい。
【００７７】
（他の実施形態）
前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラムを記録媒体に記憶させ、該記録媒体に記憶されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も上述の実施形態の範疇に含まれる。
【００７８】
該記録媒体は、コンピュータ読み取り可能な記録媒体である。また、前述のプログラムが記憶された記録媒体はもちろんそのプログラム自体も上述の実施形態に含まれる。かかる記録媒体としてはたとえばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ―ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。
【００７９】
また前述の記録媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウエア、拡張ボードの機能と共同して、ＯＳ上で動作し前述の実施形態の動作を実行するものも前述した実施形態の範疇に含まれる。
【００８０】
また本発明は、１つのプロセッサがプログラムを実行する場合に限らず、複数のプロセッサが協働することによっても実現できるものである。
【符号の説明】
【００８１】
１０１ ＣＰＵ
１０２ ブリッジ部
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ ２次記憶装置
【特許請求の範囲】
【請求項１】
複数のフレームから構成される動画像から抽出された出力対象のフレームを出力する画像処理装置であって、
前記動画像に含まれる複数のフレームのそれぞれにおける、複数の解析領域を解析する解析手段と、
前記複数のフレームのそれぞれにおける、前記複数の解析領域のそれぞれに対する、前記解析手段による解析結果に基づき、当該複数のフレームから出力対象のフレームを抽出する抽出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記抽出手段は、前記複数のフレームのそれぞれにおける、前記複数の解析領域のそれぞれに対する解析結果を、当該複数のフレーム間で比較することによって、当該複数のフレームから出力対象のフレームを抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段は、複数のフレームのそれぞれにおける複数の解析領域の解析結果を、当該複数のフレーム間で、解析領域ごとに比較して、当該比較により抽出対象として適していると判断した解析領域の数に応じて、当該複数のフレームから出力対象のフレームを抽出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記抽出手段は、複数のフレームのそれぞれにおける複数の解析領域のうちの、当該複数のフレームにおいて対応する解析領域同士を比較することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記解析手段は、前記動画像に含まれるフレームを解析するときに、当該フレームに応じて解析領域のサイズを決定し、当該フレームにおける、当該決定したサイズの複数の解析領域を、解析することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記動画像に含まれるフレームにおける、被写体に対応する領域を特定する特定手段を有し、
前記解析手段は、フレームにおいて前記特定手段により特定された被写体の大きさに応じて、当該フレームに対応する解析領域のサイズを決定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記解析手段は、前記動画像に含まれるフレームを解析するときに、当該動画像に対応する撮影情報に従って、当該フレームの解析領域のサイズを決定することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記解析手段は、前記動画像に含まれるフレームに対して、当該フレームの端部よりも当該フレームの中央部に多くの解析領域を配置するように、複数の解析領域を決定し、当該フレームにおける当該決定した複数の解析領域を解析することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
複数のフレームから構成される動画像から抽出された出力対象のフレームを出力する画像処理方法であって、
前記動画像に含まれる複数のフレームのそれぞれにおける、複数の解析領域を解析し、
前記複数のフレームのそれぞれにおける、前記複数の解析領域のそれぞれに対する解析結果に基づき、当該複数のフレームから出力対象のフレームを抽出し、
前記複数のフレームから抽出された出力対象のフレームを出力することを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
複数のフレームから構成される動画像から抽出された出力対象のフレームを出力する画像処理装置であって、
前記動画像に含まれる複数のフレームのそれぞれにおける、複数の解析領域を解析する解析手段と、
前記複数のフレームのそれぞれにおける、前記複数の解析領域のそれぞれに対する、前記解析手段による解析結果に基づき、当該複数のフレームから出力対象のフレームを抽出する抽出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記抽出手段は、前記複数のフレームのそれぞれにおける、前記複数の解析領域のそれぞれに対する解析結果を、当該複数のフレーム間で比較することによって、当該複数のフレームから出力対象のフレームを抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段は、複数のフレームのそれぞれにおける複数の解析領域の解析結果を、当該複数のフレーム間で、解析領域ごとに比較して、当該比較により抽出対象として適していると判断した解析領域の数に応じて、当該複数のフレームから出力対象のフレームを抽出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記抽出手段は、複数のフレームのそれぞれにおける複数の解析領域のうちの、当該複数のフレームにおいて対応する解析領域同士を比較することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記解析手段は、前記動画像に含まれるフレームを解析するときに、当該フレームに応じて解析領域のサイズを決定し、当該フレームにおける、当該決定したサイズの複数の解析領域を、解析することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記動画像に含まれるフレームにおける、被写体に対応する領域を特定する特定手段を有し、
前記解析手段は、フレームにおいて前記特定手段により特定された被写体の大きさに応じて、当該フレームに対応する解析領域のサイズを決定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記解析手段は、前記動画像に含まれるフレームを解析するときに、当該動画像に対応する撮影情報に従って、当該フレームの解析領域のサイズを決定することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記解析手段は、前記動画像に含まれるフレームに対して、当該フレームの端部よりも当該フレームの中央部に多くの解析領域を配置するように、複数の解析領域を決定し、当該フレームにおける当該決定した複数の解析領域を解析することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
複数のフレームから構成される動画像から抽出された出力対象のフレームを出力する画像処理方法であって、
前記動画像に含まれる複数のフレームのそれぞれにおける、複数の解析領域を解析し、
前記複数のフレームのそれぞれにおける、前記複数の解析領域のそれぞれに対する解析結果に基づき、当該複数のフレームから出力対象のフレームを抽出し、
前記複数のフレームから抽出された出力対象のフレームを出力することを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−２６９３７（Ｐ２０１３−２６９３７Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１６１４３９（Ｐ２０１１−１６１４３９）
【出願日】平成２３年７月２３日（２０１１．７．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２３日（２０１１．７．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]