画像ボケ量計算装置およびそのプログラム
【課題】本発明は、処理時間が短く、計算コストが低い画像ボケ量計算装置を提供する。
【解決手段】画像ボケ量計算装置１は、微分画像を生成するソーベルフィルタ１０と、微分画像に含まれるエッジを検出するエッジ検出手段２０と、エッジの開始点および終了点を検出する開始点・終了点検出手段３０と、開始点・終了点検出手段３０が検出した開始点と終了点との輝度値の差と、開始点と前記終了点との輝度勾配の平均値とを算出すると共に、輝度値の差を輝度勾配の平均値で除算した値に基づいて画像ボケ量を計算する画像ボケ量計算手段４０と、画像ボケ量計算手段４０が計算した水平方向および垂直方向の画像ボケ量を平均する画像ボケ量平均手段５０とを備える。
【解決手段】画像ボケ量計算装置１は、微分画像を生成するソーベルフィルタ１０と、微分画像に含まれるエッジを検出するエッジ検出手段２０と、エッジの開始点および終了点を検出する開始点・終了点検出手段３０と、開始点・終了点検出手段３０が検出した開始点と終了点との輝度値の差と、開始点と前記終了点との輝度勾配の平均値とを算出すると共に、輝度値の差を輝度勾配の平均値で除算した値に基づいて画像ボケ量を計算する画像ボケ量計算手段４０と、画像ボケ量計算手段４０が計算した水平方向および垂直方向の画像ボケ量を平均する画像ボケ量平均手段５０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体が撮影された入力画像の画像ボケ量を計算する画像ボケ量計算装置およびそのプログラムに関する。
【背景技術】
【０００２】
従来から、被写体を撮影した入力画像において、ボケを検出することは広く行われている。この入力画像において、ボケが発生しているボケ領域は、被写体または他の模様のエッジ付近に発生することが多い。
【０００３】
エッジ付近のボケが輝度勾配を生じるため、この輝度勾配を得られるソーベルフィルタが、広く利用されている（例えば、非特許文献１）。ここで、ソーベルフィルタは、入力画像に適用することで微分画像を生成し、その微分画像から輝度勾配を得ることができる。より具体的には、ソーベルフィルタは、下記の式（１）に示すように、入力画像Ａに対して、垂直方向および水平方向にそれぞれ３×３カーネルを畳み込むことで、水平方向の微分画像Ｇｘと、垂直方向の微分画像Ｇｙとを生成する。なお、式（１）において、「＊」は、２次元の畳み込みオペレータを示す。
【０００４】
【数１】
【０００５】
また、従来から、ソーベルフィルタを利用したボケ、絵柄などの検出手法が提案されている（例えば、特許文献１）。この特許文献１に記載の発明は、リファレンス画像を用いた検出手法である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平７−１７５９２６号公報
【非特許文献】
【０００７】
【非特許文献１】Sobel operator:http://en.wikipedia.org/wiki/Sobel_operator
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１に記載の発明は、リファレンス画像を生成するために処理時間が余計に必要となる。ここで、例えば、カメラレンズのフォーカスチェック、カメラトラッキング、被写体トラッキングなどのボケ検出を利用するアプリケーションでは、ボケ検出にかかる時間が重要な要素となる。このため、処理時間が短く、計算コストが低いボケ検出手法が、ユーザから強く要望されている。
【０００９】
そこで、本発明は、前記した問題を解決し、処理時間が短く、計算コストが低い画像ボケ量計算装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記した課題に鑑みて、本願第１発明に係る画像ボケ量計算装置は、被写体を撮影した入力画像の画像ボケ量を計算する画像ボケ量計算装置において、一次微分フィルタと、エッジ検出手段と、開始点・終了点検出手段と、画像ボケ量計算手段と、画像ボケ量平均手段とを備えることを特徴とする。
【００１１】
かかる構成によれば、画像ボケ量計算装置は、一次微分フィルタによって、前記入力画像が入力されると共に、入力された前記入力画像から、当該入力画像のエッジを示す水平方向および垂直方向の微分画像を生成する。また、画像ボケ量計算装置は、エッジ検出手段によって、前記一次微分フィルタが生成した水平方向および垂直方向の微分画像から、前記エッジを検出する。そして、画像ボケ量計算装置は、開始点・終了点検出手段によって、前記エッジ検出手段が検出したエッジごとに、前記エッジの開始点および終了点を検出する。
【００１２】
また、画像ボケ量計算装置は、画像ボケ量計算手段によって、前記開始点・終了点検出手段が検出した開始点と終了点との輝度値の差と、前記開始点と前記終了点との輝度勾配の平均値とを算出すると共に、前記輝度値の差を前記輝度勾配の平均値で除算した値に基づいて、前記水平方向および前記垂直方向で前記画像ボケ量を計算する。つまり、画像ボケ量計算手段は、画像ボケ量が輝度勾配に反比例する性質を利用して、前記輝度値の差および前記輝度勾配の平均値を用いて画像ボケ量を計算するので、リファレンス画像を用いる必要がない。
【００１３】
また、画像ボケ量計算装置は、画像ボケ量平均手段によって、前記画像ボケ量計算手段が計算した前記水平方向および前記垂直方向の前記画像ボケ量を平均する。
【００１４】
本願第２発明に係る画像ボケ量計算装置は、前記画像ボケ量計算手段が、前記エッジの数をＮとし、ｋ番目の前記エッジの開始点をｘＳとし（１≦ｋ≦Ｎ）、前記ｋ番目のエッジの終了点をｘＥとし、前記ｋ番目のエッジの開始点ｘＳの輝度値をｅｋ（ｘＳ）とし、前記ｋ番目のエッジの終了点ｘＥの輝度値をｅｋ（ｘＥ）とし、前記ｋ番目のエッジの開始点ｘＳと終了点ｘＥとの輝度値の差をＨｋとし、前記ｋ番目のエッジの開始点ｘＳから終了点ｘＥまでの輝度勾配∇ｅｋ（ｘ）の平均値をＳｋとしたとき、下記の式（２）を用いて、前記水平方向および前記垂直方向で前記画像ボケ量σを計算することが好ましい。
【００１５】
なお、本願第１発明に係る画像ボケ量計算装置は、コンピュータを、一次微分フィルタ、エッジ検出手段、開始点・終了点検出手段、画像ボケ量計算手段、画像ボケ量平均手段として機能させる画像ボケ量計算プログラムによって実現することもできる。
【発明の効果】
【００１６】
本発明によれば、リファレンス画像を用いることなく、画像ボケ量を計算できるため、処理時間を短く、計算コストを低くすることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る画像ボケ量計算装置の構成を示すブロック図である。
【図２】本発明の実施形態において、入力画像の一例を示す図である。
【図３】本発明の実施形態において、水平方向の微分画像の一例を示す図である。
【図４】本発明の実施形態において、垂直方向の微分画像の一例を示す図である。
【図５】本発明の実施形態において、水平エッジの開始点および終了点の検出を説明する図である。
【図６】本発明の実施形態において、プロファイルを示す図である。
【図７】本発明の実施形態において、垂直エッジの開始点および終了点の検出を説明する図である。
【図８】図１の画像ボケ量計算装置の動作を示すフローチャートである。
【図９】本発明の実施例１において、画像ボケ量の計算結果を示すグラフである。
【図１０】本発明の実施例２において、ジッター抑制前のカメラ姿勢推定結果を示すグラフであり、（ａ）〜（ｃ）はそれぞれカメラの並進させたときのグラフである。
【図１１】本発明の実施例２において、ジッター抑制前のカメラ姿勢推定結果を示すグラフであり、（ａ）〜（ｃ）はそれぞれカメラの回転させたときのグラフである。
【図１２】本発明の実施例２において、ジッター抑制後のカメラ姿勢推定結果を示すグラフであり、（ａ）〜（ｃ）はそれぞれカメラの並進させたときのグラフである。
【図１３】本発明の実施例２において、ジッター抑制後のカメラ姿勢推定結果を示すグラフであり、（ａ）〜（ｃ）はそれぞれカメラの回転させたときのグラフである。
【図１４】本発明の実施例２において、カメラの動き強度を示すグラフである。
【発明を実施するための形態】
【００１８】
［画像ボケ量計算装置の構成］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１に示すように、本発明の実施形態に係る画像ボケ量計算装置１は、被写体を撮影した入力画像の画像ボケ量を計算するものであり、ソーベルフィルタ（一次微分フィルタ）１０と、エッジ検出手段２０と、開始点・終了点検出手段３０と、画像ボケ量計算手段４０と、画像ボケ量平均手段５０とを備える。なお、画像ボケ量とは、入力画像Ｉに含まれる被写体がどの程度ボケているかを示す数値である。
【００１９】
ソーベルフィルタ１０は、図示を省略したカメラから入力画像（静止画）Ｉが入力されると共に、この入力画像Ｉから、水平方向および垂直方向の微分画像Ｇｘ，Ｇｙを生成するものである。具体的には、ソーベルフィルタ１０は、前記した式（１）に示すように、入力画像Ｉに対して、垂直方向および水平方向にそれぞれ３×３カーネルを畳み込むことで、水平方向の微分画像Ｇｘと、垂直方向の微分画像Ｇｙとを生成する。そして、ソーベルフィルタ１０は、生成した微分画像Ｇｙを水平エッジ検出部２１に出力し、生成した微分画像Ｇｘを垂直エッジ検出部２３に出力する。なお、ソーベルフィルタ１０としては、例えば、前記した非特許文献１に記載された技術を利用することができる。
【００２０】
水平方向の微分画像Ｇｘは、入力画像Ｉに含まれる垂直エッジを示す画像である。例えば、図２の入力画像Ｉをソーベルフィルタ１０に入力した場合、図３に示すような微分画像Ｇｘが生成される。
垂直方向の微分画像Ｇｙは、入力画像Ｉに含まれる水平エッジを示す画像である。例えば、図２の入力画像Ｉをソーベルフィルタ１０に入力した場合、図４に示すような微分画像Ｇｙが生成される。
【００２１】
エッジ検出手段２０は、ソーベルフィルタ１０が生成した微分画像Ｇｘ，Ｇｙからエッジを検出するものであり、水平エッジ検出部２１と、垂直エッジ検出部２３とを備える。
【００２２】
水平エッジ検出部２１は、ソーベルフィルタ１０から微分画像Ｇｙが入力されると共に、入力された微分画像Ｇｙに含まれる水平エッジを検出する。例えば、水平エッジ検出部２１は、この微分画像Ｇｙに閾値処理を施して、画像ボケ量の計算対象となる水平エッジを検出する。そして、水平エッジ検出部２１は、検出した水平エッジの各画素位置をボケ計算対象座標（ｘ，ｙ）として、水平エッジ開始点・終了点検出部３１に出力する。
【００２３】
垂直エッジ検出部２３は、ソーベルフィルタ１０から微分画像Ｇｘが入力されると共に、入力された微分画像Ｇｘに含まれる垂直エッジを検出する。例えば、垂直エッジ検出部２３は、この微分画像Ｇｘに閾値処理を施して、画像ボケ量の計算対象となる垂直エッジを検出する。そして、垂直エッジ検出部２３は、検出した垂直エッジの各画素位置をボケ計算対象座標（ｘ，ｙ）として、垂直エッジ開始点・終了点検出部３３に出力する。
【００２４】
開始点・終了点検出手段３０は、エッジ検出手段２０が検出したエッジごとに、開始点ｘＳおよびエッジの終了点ｘＥを検出するものであり、水平エッジ開始点・終了点検出部３１と、垂直エッジ開始点・終了点検出部３３とを備える。
【００２５】
水平エッジ開始点・終了点検出部３１は、カメラから入力画像Ｉが入力され、水平エッジ検出部２１からボケ計算対象座標（ｘ，ｙ）が入力される。そして、水平エッジ開始点・終了点検出部３１は、入力画像Ｉのボケ計算対象座標（ｘ，ｙ）で表される水平エッジに対して、その水平エッジの上部および下部である開始点（最近傍極大値）ｘＳと終了点（最近傍極小値）ｘＥとを検出する。その後、水平エッジ開始点・終了点検出部３１は、検出した開始点ｘＳおよび終了点ｘＥと、入力画像Ｉとを垂直方向画像ボケ量計算部４１に出力する。
【００２６】
ここで、図５を参照して、水平エッジでの開始点ｘＳおよび終了点ｘＥの検出について説明する。図５では、被写体Ｏｂｊの外周部でボケが発生しており、ドットの濃淡で輝度値の高低を図示した。つまり、被写体Ｏｂｊの中心部では輝度値が最も低く、被写体Ｏｂｊの外周部に向かうにつれ、輝度値が徐々に高くなることを示している。
【００２７】
また、図５では、水平エッジの方向を矢印Ｅｇとして図示すると共に、矢印Ｅｇに直交する仮想線αを図示した。仮想線αは開始点ｘＳおよび終了点ｘＥの検出を説明するために図示したものである。
【００２８】
図５に示すように、微分画像Ｇｙでは、例えば、被写体Ｏｂｊの上部に矢印Ｅｇの方向で水平エッジが検出される。この場合、水平エッジ開始点・終了点検出部３１は、垂直方向の画像ボケ量を計算するために、矢印Ｅｇに直交する仮想線αの方向で水平エッジの開始点ｘＳおよび終了点ｘＥを検出する。具体的には、水平エッジ開始点・終了点検出部３１は、仮想線α上でボケが始まる位置、すなわち、水平エッジの下部を開始点（最近傍極大値）ｘＳとして検出する。また、水平エッジ開始点・終了点検出部３１は、仮想線α上でボケが終了する位置、すなわち、水平エッジの上部を終了点（最近傍極小値）ｘＥとして検出する。
【００２９】
この水平エッジのプロファイルを図示すると、図６のようになる。図６は、画素位置と輝度値との関係を示しており、横軸が画素位置（Pixel Position）であり、縦軸が輝度値（Pixel intensity）である。この場合、図６のプロファイルに微分処理を施すと、開始点ｘＳおよび終了点ｘＥにそれぞれ、最近傍極大値と最近傍極小値とが現れる。つまり、水平エッジ開始点・終了点検出部３１は、微分処理によって現れる最近傍極大値および最近傍極小値を、開始点ｘＳおよび終了点ｘＥとしてそれぞれ検出することになる。
【００３０】
垂直エッジ開始点・終了点検出部３３は、カメラから入力画像Ｉが入力され、垂直エッジ検出部２３からボケ計算対象座標（ｘ，ｙ）が入力される。そして、垂直エッジ開始点・終了点検出部３３は、水平エッジ開始点・終了点検出部３１と同様、入力画像Ｉのボケ計算対象座標（ｘ，ｙ）で表される垂直エッジに対して、その垂直エッジの左右の開始点（最近傍極大値）ｘＳおよび終了点（最近傍極小値）ｘＥを検出する。その後、垂直エッジ開始点・終了点検出部３３は、検出した開始点ｘＳおよび終了点ｘＥと、入力画像Ｉとを水平方向画像ボケ量計算部４３に出力する。
【００３１】
例えば、図７に示すように、被写体Ｏｂｊの左右において、矢印Ｅｇの方向で垂直エッジがそれぞれ検出されたとする。この場合、各垂直エッジは、被写体Ｏｂｊの左右反対側に位置するため、輝度勾配が逆方向になるプロファイルとして表すことができる（図７拡大図参照）。
【００３２】
画像ボケ量計算手段４０は、開始点・終了点検出手段３０が検出した開始点ｘＳおよび終了点ｘＥとの輝度値の差と、開始点ｘＳおよび終了点ｘＥとの輝度勾配の平均値とを算出すると共に、輝度値の差を輝度勾配の平均値で除算した値に基づいて、水平方向および垂直方向で画像ボケ量を計算するものである。このため、画像ボケ量計算手段４０は、垂直方向画像ボケ量計算部４１と、水平方向画像ボケ量計算部４３とを備える。
【００３３】
垂直方向画像ボケ量計算部４１は、水平エッジ開始点・終了点検出部３１から開始点ｘＳおよび終了点ｘＥと入力画像Ｉとが入力されると共に、入力画像Ｉ上において、開始点ｘＳおよび終了点ｘＥとの輝度値の差Ｈｋと、開始点ｘＳから終了点ｘＥまでの輝度勾配の平均値Ｓｋとを算出する。
【００３４】
以下、図６に戻り、垂直方向画像ボケ量計算部４１の詳細について説明する（適宜図１参照）。図６に示すように、垂直方向画像ボケ量計算部４１は、入力画像Ｉ上において、水平エッジの開始点ｘＳにおける輝度値ｅｋ（ｘＳ）と、水平エッジの終了点ｘＥにおける輝度値ｅｋ（ｘＥ）との差分絶対値を、輝度値の差Ｈｋとして計算する。
【００３５】
また、垂直方向画像ボケ量計算部４１は、入力画像Ｉ上において、水平エッジの輝度値がｅｋ（ｘ）であるとき、開始点ｘＳから終了点ｘＥまでの間、隣接画素同士の輝度勾配∇ｅｋ（ｘ）を計算する。そして、垂直方向画像ボケ量計算部４１は、隣接画素同士の輝度勾配∇ｅｋ（ｘ）を開始点ｘＳから終了点ｘＥまでの間で平均して、輝度勾配の平均値Ｓｋを計算する。
【００３６】
そして、垂直方向画像ボケ量計算部４１は、輝度値の差Ｈｋを輝度勾配の平均値Ｓｋで除算した値に基づいて、垂直方向の画像ボケ量を計算する。具体的には、垂直方向画像ボケ量計算部４１は、下記の式（２）に示すように、水平エッジの輝度値の差Ｈｋを輝度勾配の平均値Ｓｋで除算した除算値を計算し、水平エッジにおける除算値の平均を計算して、画像ボケ量σを計算する。つまり、垂直方向画像ボケ量計算部４１は、画像ボケ量が輝度勾配に反比例する性質を利用して、画像ボケ量σを計算している。その後、垂直方向画像ボケ量計算部４１は、計算した画像ボケ量σを、垂直方向の画像ボケ量σｖとして画像ボケ量平均手段５０に出力する。なお、式（２）において、Ｎは微分画像Ｇｙから検出された水平エッジの数を示し、ｋは何番目のエッジであるかを示す（１≦ｋ≦Ｎ）。
【００３７】
【数２】
【００３８】
水平方向画像ボケ量計算部４３は、垂直エッジ開始点・終了点検出部３３から開始点ｘＳおよび終了点ｘＥと入力画像Ｉとが入力されると共に、入力画像Ｉ上において、開始点ｘＳおよび終了点ｘＥとの輝度値の差Ｈｋと、開始点ｘＳおよび終了点ｘＥとの輝度勾配の平均値Ｓｋとを算出する。そして、水平方向画像ボケ量計算部４３は、垂直方向画像ボケ量計算部４１と同様、前記した式（２）を用いて、水平方向の画像ボケ量σｈを計算して画像ボケ量平均手段５０に出力する。
【００３９】
なお、水平方向画像ボケ量計算部４３で画像ボケ量を計算する場合、前記した式（２）において、垂直エッジの開始点ｘＳにおける輝度値をｅｋ（ｘＳ）、垂直エッジの終了点ｘＥにおける輝度値をｅｋ（ｘＥ）、垂直エッジの輝度値をｅｋ（ｘ）、垂直エッジにおける隣接画素同士の輝度勾配∇ｅｋ（ｘ）、垂直エッジの輝度値の差をＨｋ、垂直エッジの輝度勾配の平均値をＳｋ、微分画像Ｇｘから検出された垂直エッジの数をＮと読み替える。
【００４０】
画像ボケ量平均手段５０は、垂直方向画像ボケ量計算部４１から垂直方向の画像ボケ量σｖが入力され、水平方向画像ボケ量計算部４３から水平方向の画像ボケ量σｈが入力される。そして、画像ボケ量平均手段５０は、水平方向の画像ボケ量σｈと、垂直方向の画像ボケ量σｖとの平均（σｈ＋σｖ）／２を計算し、この平均値を画像ボケ量σ´として出力する。
【００４１】
［画像ボケ量計算装置の動作］
以下、図８を参照して、図１の画像ボケ量計算装置１の動作について説明する。
画像ボケ量計算装置１は、ソーベルフィルタ１０によって、入力画像Ｉから微分画像Ｇｘ，Ｇｙを生成する（ステップＳ１）。そして、画像ボケ量計算装置１は、水平エッジ検出部２１によって、微分画像Ｇｙに含まれる水平エッジを検出する（ステップＳ２）。
【００４２】
画像ボケ量計算装置１は、水平エッジ開始点・終了点検出部３１によって、水平エッジから開始点ｘＳおよび終了点ｘＥを検出する（ステップＳ３）。そして、画像ボケ量計算装置１は、垂直方向画像ボケ量計算部４１によって、前記した式（２）を用いて、垂直方向の画像ボケ量σｖを計算する（ステップＳ４）。
【００４３】
画像ボケ量計算装置１は、垂直エッジ検出部２３によって、微分画像Ｇｘに含まれる垂直エッジを検出する（ステップＳ５）。また、画像ボケ量計算装置１は、垂直エッジ開始点・終了点検出部３３によって、垂直エッジから開始点ｘＳおよび終了点ｘＥを検出する（ステップＳ６）。そして、画像ボケ量計算装置１は、水平方向画像ボケ量計算部４３によって、前記した式（２）を用いて、水平方向で画像ボケ量σｈを計算する（ステップＳ７）。さらに、画像ボケ量計算装置１は、画像ボケ量平均手段５０によって、水平方向の画像ボケ量σｈと、垂直方向の画像ボケ量σｖとの平均値を画像ボケ量σ´として出力する（ステップＳ８）。
【００４４】
以上のように、本発明の実施形態に係る画像ボケ量計算装置１は、画像ボケ量が輝度勾配に反比例する性質を利用して、前記した式（２）に示すように、輝度値の差を輝度勾配の平均値で除算した値に基づいて画像ボケ量を計算するので、リファレンス画像を用いる必要がない。このため、画像ボケ量計算装置１は、処理時間を短く、計算コストを低くすることができる。
【００４５】
なお、本実施形態では、一次微分フィルタの一例としてソーベルフィルタ３０を説明したが、本発明に適用可能な一次微分フィルタは、これに限定されない。例えば、本発明では、一次微分フィルタとして、ＲｏｂｅｒｔｓフィルタまたはＰｒｅｗｉｔｔフィルタを用いることもできる。
【００４６】
なお、本実施形態では、画像ボケ量計算装置１が、入力画像Ｉとして静止画を扱うこととして説明したが、入力画像Ｉとして静止画を扱うこともできる。
【００４７】
なお、本実施形態では、画像ボケ量計算装置１を独立した装置として説明したが、本発明では、一般的なコンピュータのハードウェア資源を、前記した各手段として協調動作させる画像ボケ量計算プログラムによって実現することもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【００４８】
なお、図８では、ステップＳ２〜Ｓ４の処理を実行してから、ステップＳ５〜Ｓ７の処理を実行することとして説明したが、本発明は、これに限定されない。例えば、図８において、ステップＳ２〜Ｓ４の処理と、ステップＳ５〜Ｓ７の処理とを実行する順番を入れ替えてもよい。
【実施例】
【００４９】
（実施例１）
以下、本発明の実施例１として、本発明の効果について説明する。ここでは、クロック周波数が２．８ＧＨｚでデュアルコアのコンピュータに画像ボケ量計算プログラムをインストールして、図１と同等の画像ボケ量計算装置を準備した。以下、本発明の実施例１に係る画像ボケ量計算装置を「画像ボケ量計算装置１Ｂ」と呼ぶ。
【００５０】
また、劣化が少ない非圧縮の高品質実写画像に対して、１×５、１×９、１×１３、１×１７、１×２１、１×２５の水平方向平滑化（移動平均）フィルタをそれぞれ適用して、ボケを発生させた入力画像Ｉを複数準備した。そして、この画像ボケ量計算装置１Ｂに各入力画像Ｉを入力して、各入力画像Ｉの画像ボケ量を計算させると共に、画像ボケ量の計算に要する処理時間（平均値）を測定した。
【００５１】
ここで、画像ボケ量計算装置１Ｂが計算した画像ボケ量を図９に示す。この図９では、横軸が水平方向平滑化フィルタにおける平滑化画素数であり、縦軸が画像ボケ量計算装置１Ｂで計算した画像ボケ量である。図９に示すように、各水平方向平滑化フィルタで発生させたボケに対して、画像ボケ量計算装置１Ｂで計算した画像ボケ量が線形で単調増加している。つまり、画像ボケ量計算装置１Ｂは、画像ボケ量を正確に計算できることがわかる。
【００５２】
以下、画像ボケ量計算装置１Ｂの計算コストと、従来技術の計算コストを比較した結果を説明する。ここで、従来技術として知られている画像ボケ検出手法を、実施例１と同一性能のコンピュータで実装した。これら従来技術を比較例１〜３とする。そして、比較例１〜３の手法でそれぞれ、実施例１と同一の入力画像Ｉから画像ボケ量を計算し、そのときの処理時間（平均値）を計測した。その結果を下記の表１に示す。この表１に示すように、画像ボケ量計算装置１Ｂは、比較例１〜３の手法と比べて処理時間が短く、計算コストを低減できることがわかる。
【００５３】
【表１】
【００５４】
なお、比較例１〜３の手法は、下記の文献に記載されている。
比較例１：Y.-C. Chung, J.-M. Wang, R. R. Bailey, S.-W. Chen, and S.-L. Chang, “A non-parametric blur measure based on edge analysis for image processing applications,” Proc. of IEEE CIS, 2004, pp. 356-360.
比較例２：R. Ferzli and L. J. Karam, “Human visual system based no-reference objective image sharpness metric,” Proc. of ICIP, 2006, pp. 2949-2952.
比較例３：J. Ko and C. Kim, “Low cost blur image detection and estimation for mobile devices,” Proc. of ICACT, 2009, pp. 1605-1610.
【００５５】
（実施例２）
近年、ジッター抑制機能を付加したＡＲ（拡張現実：Augmented Reality）が注目されている。このＡＲアプリケーションでは、撮影映像のフレーム毎にカメラの姿勢を正確に推定する必要がある。一般的には、エッジや点など画像特徴を追跡し、その追跡情報からカメラ姿勢を推定できる。例えば、動きボケを誤って追跡した場合、ＡＲアプリケーションには、動きボケがジッターとして現れる。すなわち、動きボケを正確かつ高速に推定することがＡＲアプリケーションとって重要である。つまり、本発明に係る画像ボケ量計算装置１は、ＡＲアプリケーションに最適と言える。
【００５６】
ここで、動きボケ量とカメラの動き強度とが、本発明者らの実験によって、線形関係であることがわかった。従って、動きボケ量を用いて、カメラの動き強度の推定精度を向上させることができる。すなわち、推定したカメラの動きより大きい画像特徴の動きを無視することで、ＡＲアプリケーションにおいて、ジッターを抑制できる。以下、この手法を実現したカメラ姿勢推定装置の効果について、実施例２として説明する。
【００５７】
図１０（ａ）〜（ｃ）および図１１（ａ）〜（ｃ）では推定結果を示す線が細かく揺れており、ジッターが強く現れている。その一方、カメラ姿勢推定装置は、図１２（ａ）〜（ｃ）および図１３（ａ）〜（ｃ）に示すように、その線の揺れが少なく、ジッターを抑制している。なお、図１０〜図１３において、横軸が撮影映像のフレームであり、縦軸がカメラの動き強度である。また、図１０，図１２のｔ１，ｔ２，ｔ３がカメラの並進であり、図１１および図１３のｒ１，ｒ２，ｒ３がカメラの回転である。
【００５８】
また、ジッター抑制前とジッター抑制後とにおいて、カメラの姿勢推定値の空間上の誤差を求めた結果を下記の表２に示す。さらに、カメラ姿勢推定装置が求めたカメラの動き強度を図１４に示す。以上のように、図１０〜図１４および表２から、本発明の実施例２に係るカメラ姿勢推定装置は、ジッターを大きく抑制できることがわかる。
【００５９】
【表２】
【産業上の利用可能性】
【００６０】
本発明に係る画像ボケ量計算装置は、例えば、画像解析、画像修復、画像強調、画像セグメンテーション、カメラトラッキングまたは被写体トラッキングに利用することができる。
【符号の説明】
【００６１】
１ 画像ボケ量計算装置
１０ ソーベルフィルタ（一次微分フィルタ）
２０ エッジ検出手段
２１ 水平エッジ検出部
２３ 垂直エッジ検出部
３０ 開始点・終了点検出手段
３１ 水平エッジ開始点・終了点検出部
３３ 垂直エッジ開始点・終了点検出部
４０ 画像ボケ量計算手段
４１ 垂直方向画像ボケ量計算部
４３ 水平方向画像ボケ量計算部
５０ 画像ボケ量平均手段
【技術分野】
【０００１】
本発明は、被写体が撮影された入力画像の画像ボケ量を計算する画像ボケ量計算装置およびそのプログラムに関する。
【背景技術】
【０００２】
従来から、被写体を撮影した入力画像において、ボケを検出することは広く行われている。この入力画像において、ボケが発生しているボケ領域は、被写体または他の模様のエッジ付近に発生することが多い。
【０００３】
エッジ付近のボケが輝度勾配を生じるため、この輝度勾配を得られるソーベルフィルタが、広く利用されている（例えば、非特許文献１）。ここで、ソーベルフィルタは、入力画像に適用することで微分画像を生成し、その微分画像から輝度勾配を得ることができる。より具体的には、ソーベルフィルタは、下記の式（１）に示すように、入力画像Ａに対して、垂直方向および水平方向にそれぞれ３×３カーネルを畳み込むことで、水平方向の微分画像Ｇｘと、垂直方向の微分画像Ｇｙとを生成する。なお、式（１）において、「＊」は、２次元の畳み込みオペレータを示す。
【０００４】
【数１】
【０００５】
また、従来から、ソーベルフィルタを利用したボケ、絵柄などの検出手法が提案されている（例えば、特許文献１）。この特許文献１に記載の発明は、リファレンス画像を用いた検出手法である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平７−１７５９２６号公報
【非特許文献】
【０００７】
【非特許文献１】Sobel operator:http://en.wikipedia.org/wiki/Sobel_operator
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１に記載の発明は、リファレンス画像を生成するために処理時間が余計に必要となる。ここで、例えば、カメラレンズのフォーカスチェック、カメラトラッキング、被写体トラッキングなどのボケ検出を利用するアプリケーションでは、ボケ検出にかかる時間が重要な要素となる。このため、処理時間が短く、計算コストが低いボケ検出手法が、ユーザから強く要望されている。
【０００９】
そこで、本発明は、前記した問題を解決し、処理時間が短く、計算コストが低い画像ボケ量計算装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記した課題に鑑みて、本願第１発明に係る画像ボケ量計算装置は、被写体を撮影した入力画像の画像ボケ量を計算する画像ボケ量計算装置において、一次微分フィルタと、エッジ検出手段と、開始点・終了点検出手段と、画像ボケ量計算手段と、画像ボケ量平均手段とを備えることを特徴とする。
【００１１】
かかる構成によれば、画像ボケ量計算装置は、一次微分フィルタによって、前記入力画像が入力されると共に、入力された前記入力画像から、当該入力画像のエッジを示す水平方向および垂直方向の微分画像を生成する。また、画像ボケ量計算装置は、エッジ検出手段によって、前記一次微分フィルタが生成した水平方向および垂直方向の微分画像から、前記エッジを検出する。そして、画像ボケ量計算装置は、開始点・終了点検出手段によって、前記エッジ検出手段が検出したエッジごとに、前記エッジの開始点および終了点を検出する。
【００１２】
また、画像ボケ量計算装置は、画像ボケ量計算手段によって、前記開始点・終了点検出手段が検出した開始点と終了点との輝度値の差と、前記開始点と前記終了点との輝度勾配の平均値とを算出すると共に、前記輝度値の差を前記輝度勾配の平均値で除算した値に基づいて、前記水平方向および前記垂直方向で前記画像ボケ量を計算する。つまり、画像ボケ量計算手段は、画像ボケ量が輝度勾配に反比例する性質を利用して、前記輝度値の差および前記輝度勾配の平均値を用いて画像ボケ量を計算するので、リファレンス画像を用いる必要がない。
【００１３】
また、画像ボケ量計算装置は、画像ボケ量平均手段によって、前記画像ボケ量計算手段が計算した前記水平方向および前記垂直方向の前記画像ボケ量を平均する。
【００１４】
本願第２発明に係る画像ボケ量計算装置は、前記画像ボケ量計算手段が、前記エッジの数をＮとし、ｋ番目の前記エッジの開始点をｘＳとし（１≦ｋ≦Ｎ）、前記ｋ番目のエッジの終了点をｘＥとし、前記ｋ番目のエッジの開始点ｘＳの輝度値をｅｋ（ｘＳ）とし、前記ｋ番目のエッジの終了点ｘＥの輝度値をｅｋ（ｘＥ）とし、前記ｋ番目のエッジの開始点ｘＳと終了点ｘＥとの輝度値の差をＨｋとし、前記ｋ番目のエッジの開始点ｘＳから終了点ｘＥまでの輝度勾配∇ｅｋ（ｘ）の平均値をＳｋとしたとき、下記の式（２）を用いて、前記水平方向および前記垂直方向で前記画像ボケ量σを計算することが好ましい。
【００１５】
なお、本願第１発明に係る画像ボケ量計算装置は、コンピュータを、一次微分フィルタ、エッジ検出手段、開始点・終了点検出手段、画像ボケ量計算手段、画像ボケ量平均手段として機能させる画像ボケ量計算プログラムによって実現することもできる。
【発明の効果】
【００１６】
本発明によれば、リファレンス画像を用いることなく、画像ボケ量を計算できるため、処理時間を短く、計算コストを低くすることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る画像ボケ量計算装置の構成を示すブロック図である。
【図２】本発明の実施形態において、入力画像の一例を示す図である。
【図３】本発明の実施形態において、水平方向の微分画像の一例を示す図である。
【図４】本発明の実施形態において、垂直方向の微分画像の一例を示す図である。
【図５】本発明の実施形態において、水平エッジの開始点および終了点の検出を説明する図である。
【図６】本発明の実施形態において、プロファイルを示す図である。
【図７】本発明の実施形態において、垂直エッジの開始点および終了点の検出を説明する図である。
【図８】図１の画像ボケ量計算装置の動作を示すフローチャートである。
【図９】本発明の実施例１において、画像ボケ量の計算結果を示すグラフである。
【図１０】本発明の実施例２において、ジッター抑制前のカメラ姿勢推定結果を示すグラフであり、（ａ）〜（ｃ）はそれぞれカメラの並進させたときのグラフである。
【図１１】本発明の実施例２において、ジッター抑制前のカメラ姿勢推定結果を示すグラフであり、（ａ）〜（ｃ）はそれぞれカメラの回転させたときのグラフである。
【図１２】本発明の実施例２において、ジッター抑制後のカメラ姿勢推定結果を示すグラフであり、（ａ）〜（ｃ）はそれぞれカメラの並進させたときのグラフである。
【図１３】本発明の実施例２において、ジッター抑制後のカメラ姿勢推定結果を示すグラフであり、（ａ）〜（ｃ）はそれぞれカメラの回転させたときのグラフである。
【図１４】本発明の実施例２において、カメラの動き強度を示すグラフである。
【発明を実施するための形態】
【００１８】
［画像ボケ量計算装置の構成］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１に示すように、本発明の実施形態に係る画像ボケ量計算装置１は、被写体を撮影した入力画像の画像ボケ量を計算するものであり、ソーベルフィルタ（一次微分フィルタ）１０と、エッジ検出手段２０と、開始点・終了点検出手段３０と、画像ボケ量計算手段４０と、画像ボケ量平均手段５０とを備える。なお、画像ボケ量とは、入力画像Ｉに含まれる被写体がどの程度ボケているかを示す数値である。
【００１９】
ソーベルフィルタ１０は、図示を省略したカメラから入力画像（静止画）Ｉが入力されると共に、この入力画像Ｉから、水平方向および垂直方向の微分画像Ｇｘ，Ｇｙを生成するものである。具体的には、ソーベルフィルタ１０は、前記した式（１）に示すように、入力画像Ｉに対して、垂直方向および水平方向にそれぞれ３×３カーネルを畳み込むことで、水平方向の微分画像Ｇｘと、垂直方向の微分画像Ｇｙとを生成する。そして、ソーベルフィルタ１０は、生成した微分画像Ｇｙを水平エッジ検出部２１に出力し、生成した微分画像Ｇｘを垂直エッジ検出部２３に出力する。なお、ソーベルフィルタ１０としては、例えば、前記した非特許文献１に記載された技術を利用することができる。
【００２０】
水平方向の微分画像Ｇｘは、入力画像Ｉに含まれる垂直エッジを示す画像である。例えば、図２の入力画像Ｉをソーベルフィルタ１０に入力した場合、図３に示すような微分画像Ｇｘが生成される。
垂直方向の微分画像Ｇｙは、入力画像Ｉに含まれる水平エッジを示す画像である。例えば、図２の入力画像Ｉをソーベルフィルタ１０に入力した場合、図４に示すような微分画像Ｇｙが生成される。
【００２１】
エッジ検出手段２０は、ソーベルフィルタ１０が生成した微分画像Ｇｘ，Ｇｙからエッジを検出するものであり、水平エッジ検出部２１と、垂直エッジ検出部２３とを備える。
【００２２】
水平エッジ検出部２１は、ソーベルフィルタ１０から微分画像Ｇｙが入力されると共に、入力された微分画像Ｇｙに含まれる水平エッジを検出する。例えば、水平エッジ検出部２１は、この微分画像Ｇｙに閾値処理を施して、画像ボケ量の計算対象となる水平エッジを検出する。そして、水平エッジ検出部２１は、検出した水平エッジの各画素位置をボケ計算対象座標（ｘ，ｙ）として、水平エッジ開始点・終了点検出部３１に出力する。
【００２３】
垂直エッジ検出部２３は、ソーベルフィルタ１０から微分画像Ｇｘが入力されると共に、入力された微分画像Ｇｘに含まれる垂直エッジを検出する。例えば、垂直エッジ検出部２３は、この微分画像Ｇｘに閾値処理を施して、画像ボケ量の計算対象となる垂直エッジを検出する。そして、垂直エッジ検出部２３は、検出した垂直エッジの各画素位置をボケ計算対象座標（ｘ，ｙ）として、垂直エッジ開始点・終了点検出部３３に出力する。
【００２４】
開始点・終了点検出手段３０は、エッジ検出手段２０が検出したエッジごとに、開始点ｘＳおよびエッジの終了点ｘＥを検出するものであり、水平エッジ開始点・終了点検出部３１と、垂直エッジ開始点・終了点検出部３３とを備える。
【００２５】
水平エッジ開始点・終了点検出部３１は、カメラから入力画像Ｉが入力され、水平エッジ検出部２１からボケ計算対象座標（ｘ，ｙ）が入力される。そして、水平エッジ開始点・終了点検出部３１は、入力画像Ｉのボケ計算対象座標（ｘ，ｙ）で表される水平エッジに対して、その水平エッジの上部および下部である開始点（最近傍極大値）ｘＳと終了点（最近傍極小値）ｘＥとを検出する。その後、水平エッジ開始点・終了点検出部３１は、検出した開始点ｘＳおよび終了点ｘＥと、入力画像Ｉとを垂直方向画像ボケ量計算部４１に出力する。
【００２６】
ここで、図５を参照して、水平エッジでの開始点ｘＳおよび終了点ｘＥの検出について説明する。図５では、被写体Ｏｂｊの外周部でボケが発生しており、ドットの濃淡で輝度値の高低を図示した。つまり、被写体Ｏｂｊの中心部では輝度値が最も低く、被写体Ｏｂｊの外周部に向かうにつれ、輝度値が徐々に高くなることを示している。
【００２７】
また、図５では、水平エッジの方向を矢印Ｅｇとして図示すると共に、矢印Ｅｇに直交する仮想線αを図示した。仮想線αは開始点ｘＳおよび終了点ｘＥの検出を説明するために図示したものである。
【００２８】
図５に示すように、微分画像Ｇｙでは、例えば、被写体Ｏｂｊの上部に矢印Ｅｇの方向で水平エッジが検出される。この場合、水平エッジ開始点・終了点検出部３１は、垂直方向の画像ボケ量を計算するために、矢印Ｅｇに直交する仮想線αの方向で水平エッジの開始点ｘＳおよび終了点ｘＥを検出する。具体的には、水平エッジ開始点・終了点検出部３１は、仮想線α上でボケが始まる位置、すなわち、水平エッジの下部を開始点（最近傍極大値）ｘＳとして検出する。また、水平エッジ開始点・終了点検出部３１は、仮想線α上でボケが終了する位置、すなわち、水平エッジの上部を終了点（最近傍極小値）ｘＥとして検出する。
【００２９】
この水平エッジのプロファイルを図示すると、図６のようになる。図６は、画素位置と輝度値との関係を示しており、横軸が画素位置（Pixel Position）であり、縦軸が輝度値（Pixel intensity）である。この場合、図６のプロファイルに微分処理を施すと、開始点ｘＳおよび終了点ｘＥにそれぞれ、最近傍極大値と最近傍極小値とが現れる。つまり、水平エッジ開始点・終了点検出部３１は、微分処理によって現れる最近傍極大値および最近傍極小値を、開始点ｘＳおよび終了点ｘＥとしてそれぞれ検出することになる。
【００３０】
垂直エッジ開始点・終了点検出部３３は、カメラから入力画像Ｉが入力され、垂直エッジ検出部２３からボケ計算対象座標（ｘ，ｙ）が入力される。そして、垂直エッジ開始点・終了点検出部３３は、水平エッジ開始点・終了点検出部３１と同様、入力画像Ｉのボケ計算対象座標（ｘ，ｙ）で表される垂直エッジに対して、その垂直エッジの左右の開始点（最近傍極大値）ｘＳおよび終了点（最近傍極小値）ｘＥを検出する。その後、垂直エッジ開始点・終了点検出部３３は、検出した開始点ｘＳおよび終了点ｘＥと、入力画像Ｉとを水平方向画像ボケ量計算部４３に出力する。
【００３１】
例えば、図７に示すように、被写体Ｏｂｊの左右において、矢印Ｅｇの方向で垂直エッジがそれぞれ検出されたとする。この場合、各垂直エッジは、被写体Ｏｂｊの左右反対側に位置するため、輝度勾配が逆方向になるプロファイルとして表すことができる（図７拡大図参照）。
【００３２】
画像ボケ量計算手段４０は、開始点・終了点検出手段３０が検出した開始点ｘＳおよび終了点ｘＥとの輝度値の差と、開始点ｘＳおよび終了点ｘＥとの輝度勾配の平均値とを算出すると共に、輝度値の差を輝度勾配の平均値で除算した値に基づいて、水平方向および垂直方向で画像ボケ量を計算するものである。このため、画像ボケ量計算手段４０は、垂直方向画像ボケ量計算部４１と、水平方向画像ボケ量計算部４３とを備える。
【００３３】
垂直方向画像ボケ量計算部４１は、水平エッジ開始点・終了点検出部３１から開始点ｘＳおよび終了点ｘＥと入力画像Ｉとが入力されると共に、入力画像Ｉ上において、開始点ｘＳおよび終了点ｘＥとの輝度値の差Ｈｋと、開始点ｘＳから終了点ｘＥまでの輝度勾配の平均値Ｓｋとを算出する。
【００３４】
以下、図６に戻り、垂直方向画像ボケ量計算部４１の詳細について説明する（適宜図１参照）。図６に示すように、垂直方向画像ボケ量計算部４１は、入力画像Ｉ上において、水平エッジの開始点ｘＳにおける輝度値ｅｋ（ｘＳ）と、水平エッジの終了点ｘＥにおける輝度値ｅｋ（ｘＥ）との差分絶対値を、輝度値の差Ｈｋとして計算する。
【００３５】
また、垂直方向画像ボケ量計算部４１は、入力画像Ｉ上において、水平エッジの輝度値がｅｋ（ｘ）であるとき、開始点ｘＳから終了点ｘＥまでの間、隣接画素同士の輝度勾配∇ｅｋ（ｘ）を計算する。そして、垂直方向画像ボケ量計算部４１は、隣接画素同士の輝度勾配∇ｅｋ（ｘ）を開始点ｘＳから終了点ｘＥまでの間で平均して、輝度勾配の平均値Ｓｋを計算する。
【００３６】
そして、垂直方向画像ボケ量計算部４１は、輝度値の差Ｈｋを輝度勾配の平均値Ｓｋで除算した値に基づいて、垂直方向の画像ボケ量を計算する。具体的には、垂直方向画像ボケ量計算部４１は、下記の式（２）に示すように、水平エッジの輝度値の差Ｈｋを輝度勾配の平均値Ｓｋで除算した除算値を計算し、水平エッジにおける除算値の平均を計算して、画像ボケ量σを計算する。つまり、垂直方向画像ボケ量計算部４１は、画像ボケ量が輝度勾配に反比例する性質を利用して、画像ボケ量σを計算している。その後、垂直方向画像ボケ量計算部４１は、計算した画像ボケ量σを、垂直方向の画像ボケ量σｖとして画像ボケ量平均手段５０に出力する。なお、式（２）において、Ｎは微分画像Ｇｙから検出された水平エッジの数を示し、ｋは何番目のエッジであるかを示す（１≦ｋ≦Ｎ）。
【００３７】
【数２】
【００３８】
水平方向画像ボケ量計算部４３は、垂直エッジ開始点・終了点検出部３３から開始点ｘＳおよび終了点ｘＥと入力画像Ｉとが入力されると共に、入力画像Ｉ上において、開始点ｘＳおよび終了点ｘＥとの輝度値の差Ｈｋと、開始点ｘＳおよび終了点ｘＥとの輝度勾配の平均値Ｓｋとを算出する。そして、水平方向画像ボケ量計算部４３は、垂直方向画像ボケ量計算部４１と同様、前記した式（２）を用いて、水平方向の画像ボケ量σｈを計算して画像ボケ量平均手段５０に出力する。
【００３９】
なお、水平方向画像ボケ量計算部４３で画像ボケ量を計算する場合、前記した式（２）において、垂直エッジの開始点ｘＳにおける輝度値をｅｋ（ｘＳ）、垂直エッジの終了点ｘＥにおける輝度値をｅｋ（ｘＥ）、垂直エッジの輝度値をｅｋ（ｘ）、垂直エッジにおける隣接画素同士の輝度勾配∇ｅｋ（ｘ）、垂直エッジの輝度値の差をＨｋ、垂直エッジの輝度勾配の平均値をＳｋ、微分画像Ｇｘから検出された垂直エッジの数をＮと読み替える。
【００４０】
画像ボケ量平均手段５０は、垂直方向画像ボケ量計算部４１から垂直方向の画像ボケ量σｖが入力され、水平方向画像ボケ量計算部４３から水平方向の画像ボケ量σｈが入力される。そして、画像ボケ量平均手段５０は、水平方向の画像ボケ量σｈと、垂直方向の画像ボケ量σｖとの平均（σｈ＋σｖ）／２を計算し、この平均値を画像ボケ量σ´として出力する。
【００４１】
［画像ボケ量計算装置の動作］
以下、図８を参照して、図１の画像ボケ量計算装置１の動作について説明する。
画像ボケ量計算装置１は、ソーベルフィルタ１０によって、入力画像Ｉから微分画像Ｇｘ，Ｇｙを生成する（ステップＳ１）。そして、画像ボケ量計算装置１は、水平エッジ検出部２１によって、微分画像Ｇｙに含まれる水平エッジを検出する（ステップＳ２）。
【００４２】
画像ボケ量計算装置１は、水平エッジ開始点・終了点検出部３１によって、水平エッジから開始点ｘＳおよび終了点ｘＥを検出する（ステップＳ３）。そして、画像ボケ量計算装置１は、垂直方向画像ボケ量計算部４１によって、前記した式（２）を用いて、垂直方向の画像ボケ量σｖを計算する（ステップＳ４）。
【００４３】
画像ボケ量計算装置１は、垂直エッジ検出部２３によって、微分画像Ｇｘに含まれる垂直エッジを検出する（ステップＳ５）。また、画像ボケ量計算装置１は、垂直エッジ開始点・終了点検出部３３によって、垂直エッジから開始点ｘＳおよび終了点ｘＥを検出する（ステップＳ６）。そして、画像ボケ量計算装置１は、水平方向画像ボケ量計算部４３によって、前記した式（２）を用いて、水平方向で画像ボケ量σｈを計算する（ステップＳ７）。さらに、画像ボケ量計算装置１は、画像ボケ量平均手段５０によって、水平方向の画像ボケ量σｈと、垂直方向の画像ボケ量σｖとの平均値を画像ボケ量σ´として出力する（ステップＳ８）。
【００４４】
以上のように、本発明の実施形態に係る画像ボケ量計算装置１は、画像ボケ量が輝度勾配に反比例する性質を利用して、前記した式（２）に示すように、輝度値の差を輝度勾配の平均値で除算した値に基づいて画像ボケ量を計算するので、リファレンス画像を用いる必要がない。このため、画像ボケ量計算装置１は、処理時間を短く、計算コストを低くすることができる。
【００４５】
なお、本実施形態では、一次微分フィルタの一例としてソーベルフィルタ３０を説明したが、本発明に適用可能な一次微分フィルタは、これに限定されない。例えば、本発明では、一次微分フィルタとして、ＲｏｂｅｒｔｓフィルタまたはＰｒｅｗｉｔｔフィルタを用いることもできる。
【００４６】
なお、本実施形態では、画像ボケ量計算装置１が、入力画像Ｉとして静止画を扱うこととして説明したが、入力画像Ｉとして静止画を扱うこともできる。
【００４７】
なお、本実施形態では、画像ボケ量計算装置１を独立した装置として説明したが、本発明では、一般的なコンピュータのハードウェア資源を、前記した各手段として協調動作させる画像ボケ量計算プログラムによって実現することもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【００４８】
なお、図８では、ステップＳ２〜Ｓ４の処理を実行してから、ステップＳ５〜Ｓ７の処理を実行することとして説明したが、本発明は、これに限定されない。例えば、図８において、ステップＳ２〜Ｓ４の処理と、ステップＳ５〜Ｓ７の処理とを実行する順番を入れ替えてもよい。
【実施例】
【００４９】
（実施例１）
以下、本発明の実施例１として、本発明の効果について説明する。ここでは、クロック周波数が２．８ＧＨｚでデュアルコアのコンピュータに画像ボケ量計算プログラムをインストールして、図１と同等の画像ボケ量計算装置を準備した。以下、本発明の実施例１に係る画像ボケ量計算装置を「画像ボケ量計算装置１Ｂ」と呼ぶ。
【００５０】
また、劣化が少ない非圧縮の高品質実写画像に対して、１×５、１×９、１×１３、１×１７、１×２１、１×２５の水平方向平滑化（移動平均）フィルタをそれぞれ適用して、ボケを発生させた入力画像Ｉを複数準備した。そして、この画像ボケ量計算装置１Ｂに各入力画像Ｉを入力して、各入力画像Ｉの画像ボケ量を計算させると共に、画像ボケ量の計算に要する処理時間（平均値）を測定した。
【００５１】
ここで、画像ボケ量計算装置１Ｂが計算した画像ボケ量を図９に示す。この図９では、横軸が水平方向平滑化フィルタにおける平滑化画素数であり、縦軸が画像ボケ量計算装置１Ｂで計算した画像ボケ量である。図９に示すように、各水平方向平滑化フィルタで発生させたボケに対して、画像ボケ量計算装置１Ｂで計算した画像ボケ量が線形で単調増加している。つまり、画像ボケ量計算装置１Ｂは、画像ボケ量を正確に計算できることがわかる。
【００５２】
以下、画像ボケ量計算装置１Ｂの計算コストと、従来技術の計算コストを比較した結果を説明する。ここで、従来技術として知られている画像ボケ検出手法を、実施例１と同一性能のコンピュータで実装した。これら従来技術を比較例１〜３とする。そして、比較例１〜３の手法でそれぞれ、実施例１と同一の入力画像Ｉから画像ボケ量を計算し、そのときの処理時間（平均値）を計測した。その結果を下記の表１に示す。この表１に示すように、画像ボケ量計算装置１Ｂは、比較例１〜３の手法と比べて処理時間が短く、計算コストを低減できることがわかる。
【００５３】
【表１】
【００５４】
なお、比較例１〜３の手法は、下記の文献に記載されている。
比較例１：Y.-C. Chung, J.-M. Wang, R. R. Bailey, S.-W. Chen, and S.-L. Chang, “A non-parametric blur measure based on edge analysis for image processing applications,” Proc. of IEEE CIS, 2004, pp. 356-360.
比較例２：R. Ferzli and L. J. Karam, “Human visual system based no-reference objective image sharpness metric,” Proc. of ICIP, 2006, pp. 2949-2952.
比較例３：J. Ko and C. Kim, “Low cost blur image detection and estimation for mobile devices,” Proc. of ICACT, 2009, pp. 1605-1610.
【００５５】
（実施例２）
近年、ジッター抑制機能を付加したＡＲ（拡張現実：Augmented Reality）が注目されている。このＡＲアプリケーションでは、撮影映像のフレーム毎にカメラの姿勢を正確に推定する必要がある。一般的には、エッジや点など画像特徴を追跡し、その追跡情報からカメラ姿勢を推定できる。例えば、動きボケを誤って追跡した場合、ＡＲアプリケーションには、動きボケがジッターとして現れる。すなわち、動きボケを正確かつ高速に推定することがＡＲアプリケーションとって重要である。つまり、本発明に係る画像ボケ量計算装置１は、ＡＲアプリケーションに最適と言える。
【００５６】
ここで、動きボケ量とカメラの動き強度とが、本発明者らの実験によって、線形関係であることがわかった。従って、動きボケ量を用いて、カメラの動き強度の推定精度を向上させることができる。すなわち、推定したカメラの動きより大きい画像特徴の動きを無視することで、ＡＲアプリケーションにおいて、ジッターを抑制できる。以下、この手法を実現したカメラ姿勢推定装置の効果について、実施例２として説明する。
【００５７】
図１０（ａ）〜（ｃ）および図１１（ａ）〜（ｃ）では推定結果を示す線が細かく揺れており、ジッターが強く現れている。その一方、カメラ姿勢推定装置は、図１２（ａ）〜（ｃ）および図１３（ａ）〜（ｃ）に示すように、その線の揺れが少なく、ジッターを抑制している。なお、図１０〜図１３において、横軸が撮影映像のフレームであり、縦軸がカメラの動き強度である。また、図１０，図１２のｔ１，ｔ２，ｔ３がカメラの並進であり、図１１および図１３のｒ１，ｒ２，ｒ３がカメラの回転である。
【００５８】
また、ジッター抑制前とジッター抑制後とにおいて、カメラの姿勢推定値の空間上の誤差を求めた結果を下記の表２に示す。さらに、カメラ姿勢推定装置が求めたカメラの動き強度を図１４に示す。以上のように、図１０〜図１４および表２から、本発明の実施例２に係るカメラ姿勢推定装置は、ジッターを大きく抑制できることがわかる。
【００５９】
【表２】
【産業上の利用可能性】
【００６０】
本発明に係る画像ボケ量計算装置は、例えば、画像解析、画像修復、画像強調、画像セグメンテーション、カメラトラッキングまたは被写体トラッキングに利用することができる。
【符号の説明】
【００６１】
１ 画像ボケ量計算装置
１０ ソーベルフィルタ（一次微分フィルタ）
２０ エッジ検出手段
２１ 水平エッジ検出部
２３ 垂直エッジ検出部
３０ 開始点・終了点検出手段
３１ 水平エッジ開始点・終了点検出部
３３ 垂直エッジ開始点・終了点検出部
４０ 画像ボケ量計算手段
４１ 垂直方向画像ボケ量計算部
４３ 水平方向画像ボケ量計算部
５０ 画像ボケ量平均手段
【特許請求の範囲】
【請求項１】
被写体を撮影した入力画像の画像ボケ量を計算する画像ボケ量計算装置において、
前記入力画像が入力されると共に、入力された前記入力画像から、当該入力画像のエッジを示す水平方向および垂直方向の微分画像を生成する一次微分フィルタと、
前記一次微分フィルタが生成した水平方向および垂直方向の微分画像から、前記エッジを検出するエッジ検出手段と、
前記エッジ検出手段が検出したエッジごとに、前記エッジの開始点および終了点を検出する開始点・終了点検出手段と、
前記開始点・終了点検出手段が検出した開始点と終了点との輝度値の差と、前記開始点と前記終了点との輝度勾配の平均値とを算出すると共に、前記輝度値の差を前記輝度勾配の平均値で除算した値に基づいて、前記水平方向および前記垂直方向で前記画像ボケ量を計算する画像ボケ量計算手段と、
前記画像ボケ量計算手段が計算した前記水平方向および前記垂直方向の前記画像ボケ量を平均する画像ボケ量平均手段と、
を備えることを特徴とする画像ボケ量計算装置。
【請求項２】
前記画像ボケ量計算手段は、前記エッジの数をＮとし、ｋ番目の前記エッジの開始点をｘＳとし（１≦ｋ≦Ｎ）、前記ｋ番目のエッジの終了点をｘＥとし、前記ｋ番目のエッジの開始点ｘＳの輝度値をｅｋ（ｘＳ）とし、前記ｋ番目のエッジの終了点ｘＥの輝度値をｅｋ（ｘＥ）とし、前記ｋ番目のエッジの開始点ｘＳと終了点ｘＥとの輝度値の差をＨｋとし、前記ｋ番目のエッジの開始点ｘＳから終了点ｘＥまでの輝度勾配∇ｅｋ（ｘ）の平均値をＳｋとしたとき、下記の式（２）を用いて、前記水平方向および前記垂直方向で前記画像ボケ量σを計算することを特徴とする請求項１に記載の画像ボケ量計算装置。
【数１】
【請求項３】
被写体を撮影した入力画像の画像ボケ量を計算するために、コンピュータを、
前記入力画像が入力されると共に、入力された前記入力画像から、当該入力画像のエッジを示す水平方向および垂直方向の微分画像を生成する一次微分フィルタ、
前記一次微分フィルタが生成した水平方向および垂直方向の微分画像から、前記エッジを検出するエッジ検出手段、
前記エッジ検出手段が検出したエッジごとに、前記エッジの開始点および終了点を検出する開始点・終了点検出手段、
前記開始点・終了点検出手段が検出した開始点と終了点との輝度値の差と、前記開始点と前記終了点との輝度勾配の平均値とを算出すると共に、前記輝度値の差を前記輝度勾配の平均値で除算した値に基づいて、前記水平方向および前記垂直方向で前記画像ボケ量を計算する画像ボケ量計算手段、
前記画像ボケ量計算手段が計算した前記水平方向および前記垂直方向の前記画像ボケ量を平均する画像ボケ量平均手段、
として機能させるための画像ボケ量計算プログラム。
【請求項１】
被写体を撮影した入力画像の画像ボケ量を計算する画像ボケ量計算装置において、
前記入力画像が入力されると共に、入力された前記入力画像から、当該入力画像のエッジを示す水平方向および垂直方向の微分画像を生成する一次微分フィルタと、
前記一次微分フィルタが生成した水平方向および垂直方向の微分画像から、前記エッジを検出するエッジ検出手段と、
前記エッジ検出手段が検出したエッジごとに、前記エッジの開始点および終了点を検出する開始点・終了点検出手段と、
前記開始点・終了点検出手段が検出した開始点と終了点との輝度値の差と、前記開始点と前記終了点との輝度勾配の平均値とを算出すると共に、前記輝度値の差を前記輝度勾配の平均値で除算した値に基づいて、前記水平方向および前記垂直方向で前記画像ボケ量を計算する画像ボケ量計算手段と、
前記画像ボケ量計算手段が計算した前記水平方向および前記垂直方向の前記画像ボケ量を平均する画像ボケ量平均手段と、
を備えることを特徴とする画像ボケ量計算装置。
【請求項２】
前記画像ボケ量計算手段は、前記エッジの数をＮとし、ｋ番目の前記エッジの開始点をｘＳとし（１≦ｋ≦Ｎ）、前記ｋ番目のエッジの終了点をｘＥとし、前記ｋ番目のエッジの開始点ｘＳの輝度値をｅｋ（ｘＳ）とし、前記ｋ番目のエッジの終了点ｘＥの輝度値をｅｋ（ｘＥ）とし、前記ｋ番目のエッジの開始点ｘＳと終了点ｘＥとの輝度値の差をＨｋとし、前記ｋ番目のエッジの開始点ｘＳから終了点ｘＥまでの輝度勾配∇ｅｋ（ｘ）の平均値をＳｋとしたとき、下記の式（２）を用いて、前記水平方向および前記垂直方向で前記画像ボケ量σを計算することを特徴とする請求項１に記載の画像ボケ量計算装置。
【数１】
【請求項３】
被写体を撮影した入力画像の画像ボケ量を計算するために、コンピュータを、
前記入力画像が入力されると共に、入力された前記入力画像から、当該入力画像のエッジを示す水平方向および垂直方向の微分画像を生成する一次微分フィルタ、
前記一次微分フィルタが生成した水平方向および垂直方向の微分画像から、前記エッジを検出するエッジ検出手段、
前記エッジ検出手段が検出したエッジごとに、前記エッジの開始点および終了点を検出する開始点・終了点検出手段、
前記開始点・終了点検出手段が検出した開始点と終了点との輝度値の差と、前記開始点と前記終了点との輝度勾配の平均値とを算出すると共に、前記輝度値の差を前記輝度勾配の平均値で除算した値に基づいて、前記水平方向および前記垂直方向で前記画像ボケ量を計算する画像ボケ量計算手段、
前記画像ボケ量計算手段が計算した前記水平方向および前記垂直方向の前記画像ボケ量を平均する画像ボケ量平均手段、
として機能させるための画像ボケ量計算プログラム。
【図１】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図７】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図７】
【公開番号】特開２０１２−７３７０３（Ｐ２０１２−７３７０３Ａ）
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願番号】特願２０１０−２１６３９５（Ｐ２０１０−２１６３９５）
【出願日】平成２２年９月２８日（２０１０．９．２８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願日】平成２２年９月２８日（２０１０．９．２８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]