画像評価装置、方法、及びプログラム
【課題】人間の高度な判断を必要とせずに、多視点画像の評価を行う。
【解決手段】多視点画像入力部１１は、複数の生成手法で生成された複数の多視点画像を入力する。動きベクトル検出部１２は、入力された複数の多視点画像のそれぞれで、動きベクトルを検出する。予測画像生成部３１は、動きベクトルを用いて予測画像を生成する。近似度算出部３２は、予測画像のそれぞれに対し、予測画像と多視点画像中の対応する視点の画像とを比較する。スコア算出部３３は、動きベクトルごとに、予測画像に対する近似度の総和を求め、評価値算出部３４は、多視点画像ごとに、スコア算出部３３が求めた値を合計して評価値とする。生成手法選択部１５は、多視点画像の評価値を比較し、複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択する。
【解決手段】多視点画像入力部１１は、複数の生成手法で生成された複数の多視点画像を入力する。動きベクトル検出部１２は、入力された複数の多視点画像のそれぞれで、動きベクトルを検出する。予測画像生成部３１は、動きベクトルを用いて予測画像を生成する。近似度算出部３２は、予測画像のそれぞれに対し、予測画像と多視点画像中の対応する視点の画像とを比較する。スコア算出部３３は、動きベクトルごとに、予測画像に対する近似度の総和を求め、評価値算出部３４は、多視点画像ごとに、スコア算出部３３が求めた値を合計して評価値とする。生成手法選択部１５は、多視点画像の評価値を比較し、複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像評価装置、方法、及びプログラムに関し、特に、立体視可能な画像に対する評価を行う画像評価装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
視差を有する複数の画像（ステレオ画像）を用いて画像を立体視可能に表示する技術が知られている。ステレオ画像は、典型的には右目画像と左目画像とを含む。ステレオ画像から、視点が互いに異なる複数の視点を想定した多視点画像を生成する技術も知られている。多視点画像の生成は、例えば特許文献１に記載されている。特許文献１では、仮想視点が左右視点の内側にあれば、左右画素間距離を内挿して、複数の仮想視点から見たことを想定した画像を生成する。
【０００３】
特許文献２は、１視点の連続フレーム画像から立体表示用画像（３次元データ）を生成することが記載された文献である。この特許文献２では、情報処理装置は、連続フレーム画像から複数の選択画像を選び出し、選択画像から特徴点を抽出する。情報処理装置は、特徴点抽出後、参照画像から特徴点を抽出又は追跡し、選択画像の特徴点からカメラ位置情報と特徴点の３次元位置情報とを求める。その後、情報処理装置は、特徴点の３次元位置から参照画像上への再投影点を求め、誤差を求め、誤差の大きさで選択画像が３次元データ生成に適しているか否かを判断する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１２４３０８号公報
【特許文献２】特開２００９−２３７８４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、多視点画像の生成には、複数のアルゴリズムを用いることができる。多視点画像の生成に用いるアルゴリズムが異なれば、生成される多視点画像も相互に異なる画像になることが予想される。また、多視点画像の生成では、パラメータとして選択可能な値がいくつかあり、パラメータを調整することで生成される多視点画像の調整が可能な場合もある。
【０００６】
従来技術の問題点は、複数のアルゴリズムやパラメータを用いて複数の多視点画像を生成したときに、どのアルゴリズムやパラメータを用いて生成した多視点画像が表示に適した画像であるかを自動的に評価する仕組みがないということである。このため、多視点画像の選択に際しては、人間が、生成された複数の多視点画像を見て、どの多視点画像が表示に最適な多視点画像であるか、つまり最も自然に見える多視点画像であるかを判断する必要があり、高度に人間的な判断が必要であった。
【０００７】
本発明は、上記従来技術の問題点に鑑み、ステレオ画像から複数のアルゴリズムやパラメータを用いて生成された複数の多視点画像があるときに、高度に人間的な判断を必要とせずに多視点画像の評価が可能な画像評価装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、互いに視点が異なる２つの画像を含むステレオ画像に基づいて、複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる１以上の仮想視点から見たことを想定した画像を１つ以上含む複数の多視点画像を入力する多視点画像入力部と、前記複数の多視点画像のそれぞれにおいて、前記多視点画像に含まれる隣接する２以上の視点の画像に基づいて、該２以上の画像間の動きベクトルを検出する動きベクトル検出部と、前記検出された動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行う多視点画像評価部と、前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択する生成手法選択部とを備えることを特徴とする画像評価装置を提供する。
【０００９】
ここで、「評価」に用いる指標（評価値）には、値が大きいほど評価が高いことを表わす評価値と、値が小さいほど評価が高いことを表わす評価値との何れを用いてもよい。値が大きいほど評価が高いことを表わす評価値を用いる場合、生成手法選択部は、複数の多視点画像のうち、評価値が最も大きい多視点画像の生成手法を選択すればよい。これとは逆に、値が小さいほど評価が高いことを表わす評価値を用いる場合、生成手法選択部は、複数の多視点画像のうち、評価値が最も小さい多視点画像の生成手法を選択すればよい。なお、各多視点画像は、各生成手法を用いて生成された画像であるため、生成手法選択部が評価が高い生成手法を選択するということは、評価が高い多視点画像そのものを選択するということと同義である。
【００１０】
本発明の画像評価装置では、前記多視点画像評価部が、前記動きベクトルに基づいて、前記多視点画像における視点のうちで前記動きベクトルの検出元の画像の視点以外の視点のうちの少なくとも１つの視点の画像を予測する予測画像生成部と、前記予測された画像のそれぞれに対して、該予測された画像と、前記多視点画像のうちで前記予測された画像の視点に対応する視点の画像との近似度を求める近似度算出部と、前記複数の多視点画像のそれぞれに対して、前記予測された画像に対して求められた近似度の総和を評価値として求める評価値算出部とを含む構成を採用することができる。
【００１１】
ここで、「近似度」は、比較対象の画像のうちの対応する部分がどれだけ似ているかを表わす指標である。「近似度」の値は、近似度が高いほど値が大きくなるものでもよく、或いは、近似度が高いほど値が小さくなるものでよい。「評価値」は、「近似度」の和で求められるため、「近似度」として、近似度が高いほど値が大きくなるものを用いた場合、評価値の値が大きいほど評価が高い。逆に、「近似度」として、近似度が高いほど値が小さくなるものを用いた場合、評価値の値が小さいほど評価が高い。「近似度」には、比較対象の画像のうちの対応する部分同士がどれだけ一致するかを示す一致度を用いることができる。
【００１２】
本発明の画像処理装置は、前記予測画像に対して求められた近似度を、前記予測画像の生成に用いられた動きベクトルごとに集計するスコア算出部を更に備え、前記評価値算出部が、前記スコア算出部で動きベクトルごとに集計された近似度を、前記動きベクトルの検出元の多視点画像ごとに集計することで前記評価値を求めるものである構成を採用できる。
【００１３】
本発明の画像評価装置では、前記スコア算出部が、前記予測された画像と前記動きベクトルの検出元の画像との距離に応じ、距離が近いほど重みが重くなるように重み付けをした上で、前記近似度の総和の合計を計算する構成を採用することができる。
【００１４】
本発明の画像評価装置では、前記予測画像生成部が、前記動きベクトル検出元の画像の両側に隣接する視点のうちの少なくとも１つを含む視点の画像を予測する構成を採用することができる。
【００１５】
本発明の画像評価装置では、前記近似度算出部が、前記予測された画像と、前記予測された画像の視点に対応する視点の画像とで、対応する位置関係にある画素における画素値に基づいて前記近似度を算出する構成を採用することができる。
【００１６】
また、前記近似度算出部が、前記予測された画像と、前記予測された画像の視点に対応する視点の画像とで、同じ座標位置の画素の画素値の差分絶対値、及び画素値の差分の分散の少なくとも一方を算出し、該算出した差分絶対値、及び差分の分散の少なくとも一方に基づいて近似度を求める構成としてもよい。
【００１７】
本発明の画像評価装置では、前記多視点画像入力部が、前記多視点画像と共に、該多視点画像に含まれる仮想視点から見たことを想定した画像の信用度情報を入力し、前記近似度算出部が、前記画像の信用度情報に基づいて、前記対応する関係にある画素が前記近似度の算出に与える影響を変化させる構成とすることができる。
【００１８】
本発明の画像評価装置では、前記画像の信用度情報が、前記仮想視点から見たことを想定した画像の各画素がオクルージョン領域の画素に該当するか否かを示す情報を含み、前記近似度算出部が、前記オクルージョン領域に該当する画素が前記近似度の算出に与える影響を、前記オクルージョン領域ではない領域に該当する画素が前記近似度の算出に与える影響よりも大きくする構成とすることができる。
【００１９】
また、前記画像の信用度情報が、前記仮想視点から見たことを想定した画像の各画素と、該画像の生成元の前記ステレオ画像の各画素との相関関係の度合いを示す情報を含み、前記近似度算出部が、前記相関関係の度合いが小さいほど、前記画素が前記近似度の算出に与える影響を大きくする構成としてもよい。
【００２０】
本発明の画像評価装置では、前記動きベクトル検出部が、動きベクトルの信用度情報を生成する動きベクトル信用度算出部を含み、前記近似度算出部が、前記動きベクトルの信用度情報に基づいて、前記対応する関係にある画素が前記近似度の算出に与える影響を変化させる構成を採用することができる。
【００２１】
ここで、前記動きベクトルの信用度情報が、画素の特徴量の局所的な変化の度合いを示す情報を含み、前記近似度算出部が、前記局所的な変化の度合いが大きいほど、前記画素が前記近似度の算出に与える影響を大きくする構成を採用することができる。
【００２２】
本発明の画像評価装置では、前記多視点画像評価部が、前記検出された動きベクトルのうち、隣接関係にある動きベクトル同士を比較し、動きベクトルの近似度を求める動きベクトル比較部と、前記複数の多視点画像のそれぞれに対して、前記動きベクトルの近似度の総和を評価値として求める評価値算出部とを含む構成を採用することができる。
【００２３】
本発明の画像評価装置では、前記動きベクトル比較部が、前記多視点画像に含まれる画像のうちの１つを着目画像としたときに、該着目画像の視点に対して第１の方向に隣接する１以上の視点の画像と前記着目画像とから検出された動きベクトルと、前記着目画像の視点に対して第１の方向とは反対側の第２の方向に隣接する１以上の視点の画像と前記着目画像とから検出された動きベクトルとを比較する構成を採用することができる。
【００２４】
本発明の画像評価装置は、ステレオ画像から、生成アルゴリズム及び生成時のパラメータのうちの少なくとも一方が相互に異なる複数の生成手法で前記多視点画像を生成し、前記多視点画像入力部に入力する多視点画像生成部を更に備える構成を採用することができる。
【００２５】
本発明の画像評価装置では、前記多視点画像生成部が、前記仮想視点から見たことを想定した画像の信用度情報を生成する対応点信用度情報評価部を含む構成を採用することができる。
【００２６】
本発明の画像評価装置は、前記生成手法選択部が選択した多視点画像の生成手法で生成された多視点画像を出力する選択画像出力部を更に備える構成を採用することができる。
【００２７】
本発明は、互いに視点が異なる２つの画像を含むステレオ画像に基づいて、複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる１以上の仮想視点から見たことを想定した画像を１つ以上含む複数の多視点画像を入力するステップと、前記複数の多視点画像のそれぞれにおいて、前記多視点画像に含まれる隣接する２以上の視点の画像に基づいて、該２以上の画像間の動きベクトルを検出するステップと、前記検出した動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行うステップと、前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択するステップとを有することを特徴とする画像評価方法を提供する。
【００２８】
本発明は、コンピュータに、互いに視点が異なる２つの画像を含むステレオ画像に基づいて、複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる１以上の仮想視点から見たことを想定した画像を１つ以上含む複数の多視点画像を入力する処理と、前記複数の多視点画像のそれぞれにおいて、前記多視点画像に含まれる隣接する２以上の視点の画像に基づいて、該２以上の画像間の動きベクトルを検出する処理と、前記検出された動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行う処理と、前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択する処理とを実行させることを特徴とするプログラムを提供する。
【発明の効果】
【００２９】
本発明の画像評価装置、方法、及びプログラムでは、多視点画像評価部が、多視点画像から検出された動きベクトルに基づいて、多視点画像のそれぞれに対して多視点画像の評価を行う。人間が多視点画像を観察した際に、画像が自然に見えるか否かは、隣接画像間の動きに基づいて判断できると考えられる。本発明では、動きベクトルに基づいて多視点画像を評価するため、人間の高度な判断を必要とせずに、多視点画像の複数の生成手法のうちで高い評価が得られる生成手法を判断することができる。
【００３０】
動きベクトルに基づく多視点画像の評価は、動きベクトルに基づいて予測画像を生成し、予測画像と、多視点画像に含まれる対応する視点の画像との近似度を求め、その近似度に基づいて行うことができる。人間が見て自然に見える多視点画像ほど、動きベクトルを用いて予測された画像と、多視点画像に含まれる対応する視点の画像との近似度が高いと考えられる。このため、予測画像の近似度に基づいて多視点画像の評価を行う構成を採用する場合、多視点画像ごとに予測画像の近似度を求め、それを評価値として評価を行うことで、多視点画像の複数の生成手法から、人が見て自然に見える生成手法を選択することができる。この処理は機械的に実行可能であるため、人間の高度な判断は必要がない。
【００３１】
動きベクトルに基づく多視点画像の評価は、隣接関係にある動きベクトル同士を比較し、その近似度に基づいて行うことができる。人間が見て自然に見える多視点画像ほど、隣接する動きベクトルは、似た動きを示すと考えられる。このため、動きベクトルの近似度に基づいて多視点画像の評価を行う構成を採用する場合、多視点画像ごとに動きベクトルの近似度を求め、それを評価値として評価を行うことで、多視点画像の複数の生成手法から、人が見て自然に見える生成手法を選択することができる。この処理も機械的に実行可能であるため、人間の高度な判断は必要がない。
【図面の簡単な説明】
【００３２】
【図１】本発明の第１実施形態の画像評価装置を示すブロック図。
【図２】画像評価装置の動作手順を示すフローチャート。
【図３】複数の多視点画像を示すブロック図。
【図４】手法Ａで生成された多視点画像における動きベクトル検出を例示するブロック図。
【図５】動きベクトルに基づく予測画像生成を例示するブロック図。
【図６】動きベクトルＬＡ１を用いて予測された画像と、多視点画像に含まれる画像との近似度計算を例示するブロック図。
【図７】動きベクトルＬＡ１に対するスコア算出を例示するブロック図。
【図８】手法Ａで生成された多視点画像の評価値算出を例示するブロック図。
【図９】本発明の第２実施形態の画像評価装置を示すブロック図。
【図１０】本発明の第３実施形態の画像評価装置を示すブロック図。
【図１１】信用度情報の一例を示す図。
【図１２】信用度情報の別の例を示す図。
【図１３】本発明の第４実施形態の画像評価装置を示すブロック図。
【図１４】本発明の第５実施形態の画像評価装置を示すブロック図。
【図１５】第５実施形態の画像評価装置の動作手順を示すフローチャート。
【図１６】動きベクトルの近似度の演算を例示するブロック図。
【発明を実施するための形態】
【００３３】
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の第１実施形態の画像評価装置を示している。画像評価装置１０は、多視点画像入力部１１、動きベクトル検出部１２、多視点画像評価部１３、生成手法選択部１４、及び選択画像出力部１５を備える。画像評価装置１０内の各部の機能は、コンピュータが所定のプログラムに従って処理を実行することで実現可能である。
【００３４】
多視点画像入力部１１は、互いに視点が異なる２つの画像を含むステレオ画像に基づいて生成された多視点画像を入力する。多視点画像入力部１１には、複数の多視点画像が入力される。複数の入力画像のそれぞれは、例えばアルゴリズム、及び／又はパラメータが相互に異なる複数の生成手法を用いて生成されている。各多視点画像は、合計で３つ以上の画像を含む。また、多視点画像は、ステレオ画像における視点とは異なる１以上の視点（仮想視点）から見たことを想定した画像を１つ以上含む。
【００３５】
多視点画像における仮想視点は、ほぼ、ステレオ画像における２つの視点間を結ぶ直線上に存在しているとする。また、ほぼ直線上に並ぶ仮想視点の隣接する視点間の間隔は、等間隔であるとする。仮想視点は、ステレオ画像における２つの視点よりも内側の視点であるとする。すなわち仮想視点は、ステレオ画像における２つの視点を結ぶ直線を所定の内分比で内分した点に対応する位置に存在するとする。或いは、仮想視点の一部又は全でが、ステレオ画像における２つの視点よりも外側に存在していてもかまわない。多視点画像は、生成元となるステレオ画像の各視点の画像（右目画像及び左目画像）の少なくとも一方を含む。或いは、多視点画像は、仮想視点から見た画像のみを含み、生成元である右目画像及び左目画像を含んでいなくてもよい。
【００３６】
動きベクトル検出部１２は、多視点画像に含まれる隣接する２以上の視点の画像に基づいて、２以上の画像間の動きベクトルを検出する。動きベクトル検出部１２は、複数の多視点画像のそれぞれで、動きベクトルの検出を行う。多視点画像評価部１３は、動きベクトル検出部１２で検出された動きベクトルに基づいて、複数の多視点画像のそれぞれに対し、多視点画像の評価を行う。生成手法選択部１４は、多視点画像の評価を比較し、複数の多視点画像の生成手法のうちで評価が最も高い生成手法を選択する。選択画像出力部１５は、選択された多視点画像の生成手法で生成された多視点画像を出力する。
【００３７】
多視点画像評価部１３は、予測画像生成部３１、近似度算出部３２、スコア算出部３３、及び評価値算出部３４を含む。予測画像生成部３１は、検出された動きベクトルに基づいて、動きベクトル検出元の画像とは異なる視点の画像を予測する。より詳細には、予測画像生成部３１は、多視点画像における視点のうち、動きベクトル検出元の画像よりも外側の１以上の視点の画像を予測する。すなわち予測画像生成部３１は、他視点画像における視点のうちで動きベクトル検出元の画像の視点以外の視点のうちの少なくとも１つの視点の画像を予測する。予測画像の生成には、任意の手法を用いることができる。
【００３８】
近似度算出部３２は、予測画像生成部３１が生成した予測画像と、多視点画像に含まれる画像とに基づいて、画像がどれだけ似ているかを表す近似度を求める。近似度算出部３２は、予測画像生成部３１が複数の画像を予測したときは、そのそれぞれについて、画像の近似度を求める。近似度算出部３２は、画像の近似度を求める際には、予測画像と、多視点画像のうちで予測画像の視点に対応する視点の画像とを比較し、近似度を求める。
【００３９】
スコア算出部３３は、動きベクトルから予測された１以上の予測画像に対して求められた画像の近似度の総和を求める。スコア算出部３３は、予測画像の近似度の総和を、予測画像の生成に用いられた動きベクトルごとに求める。つまり、スコア算出部３３は、予測画像に対して求められた近似度を、生成元の動きベクトルごとに集計する。例えば、ある動きベクトルを用いて生成された予測画像が３つあるとき、スコア算出部３３は、３つの予測画像のそれぞれに対して求められた近似度の和を求める。スコア算出部３３は、複数の予測画像の近似度の和を求める際には、近似度に何らかの重み付けを行った上で、近似度を集計してもよい。スコア算出部３３は、例えば、多視点画像から５つの動きベクトルが検出されているとき、それら５つの動きベクトルのそれぞれに対して、予測画像から求めた画像の近似度の総和を求める。
【００４０】
評価値算出部３４は、予測された画像に対して求められた近似度の総和を評価値として求める。評価値算出部３４は、入力された複数の多視点画像、すなわち複数の生成手法で生成された複数の多視点画像のそれぞれに対して評価値を計算する。より詳細には評価値算出部３４は、スコア算出部３３で動きベクトルごとに集計された近似度を、動きベクトルの検出元の多視点画像ごとに集計し、これを多視点画像に対する評価値として求める。
【００４１】
生成手法選択部１４は、複数の多視点画像に対する評価値を相互に比較し、評価が最も高い多視点画像の生成方法を、最適生成手法として選択する。例えば、近似度として、画像の近似度が高いほど近似度の値が大きくなるような近似度を使用した場合、生成手法選択部１４は評価値の値が最も大きい多視点画像の生成方法を選択する。逆に、近似度として画像の近似度が高いほど値が小さくなるような近似度を使用した場合には、生成手法選択部１４は評価値の値が最も小さい多視点画像の生成方法を選択すればよい。
【００４２】
図２は、画像評価装置の動作手順を示している。多視点画像入力部１１は、複数の生成手法で生成された複数の多視点画像を入力する（ステップＳ１１）。画像評価装置１０は、入力された多視点画像から未処理の多視点画像を１つ選択する（ステップＳ１２）。動きベクトル検出部１２は、ステップＳ１２で選択された多視点画像に含まれる画像から、隣接画像間の動きベクトルを検出する（ステップＳ１３）。動きベクトル検出のアルゴリズムには、任意のアルゴリズムを用いることができる。動きベクトル検出部１２は、例えば勾配法を用いて、画素ごとに動きベクトルを求める。
【００４３】
多視点画像評価部１３は、ステップＳ１３で検出された動きベクトルのうちで未処理の動きベクトルを１つ選択する（ステップＳ１４）。予測画像生成部３１は、ステップＳ１４で選択された動きベクトルを用いて予測画像を生成する（ステップＳ１５）。予測画像生成部３１は、ステップＳ１５では、選択された動きベクトルと、その動きベクトルの検出元となった画像とに基づいて、検出元の画像よりも外側の視点の画像を予測して生成する。予測画像生成部３１は、動きベクトル検出元の画像の両側に隣接する視点のうちの少なくとも１つを含む視点の画像を予測するものとする。予測画像生成のアルゴリズムには、フレーム間予測などの任意のアルゴリズムを用いることができる。
【００４４】
近似度算出部３２は、ステップＳ１５で生成された予測画像と、多視点画像に含まれる画像のうちで予測画像の視点に対応する視点の画像との近似度を求める（ステップＳ１６）。近似度算出部３２は、ステップＳ１４で選択された動きベクトルを用いて生成された予測画像のそれぞれに対して、画像の近似度を求める。
【００４５】
近似度算出部３２は、例えば予測画像と、多視点画像に含まれる画像のうちで予測画像の視点に対応する視点の画像とで、対応する位置関係にある画素における画素値に基づいて近似度を算出する。より詳細には、近似度算出部３２は、例えば予測画像と、多視点画像の対応する視点の画像とで同じ座標位置の画素の画素値の差分絶対値を求め、その差分絶対値の総和を近似度として算出する。これに代えて、或いは、加えて、近似度算出部３２は、同じ座標位置にある画素値の差分の分散を求め、その差分の分散を近似度に反映してもよい。
【００４６】
スコア算出部３３は、予測画像ごとに求められる画像の近似度の総和を計算する（ステップＳ１７）。スコア算出部３３は、計算した画像の近似度の総和を、ステップＳ１４で選択された動きベクトルに対するスコアとする。なお、動きベクトルを用いて生成された予測画像が１つのみ場合は、ステップＳ１６で求められる近似度の数は１つしかないので、その予測画像の近似度が動きベクトルに対するスコアとなる。
【００４７】
多視点画像評価部１３は、ステップＳ１３で検出された動きベクトルの中に未処理の動きベクトル、つまりステップＳ１４でまだ選択されていない動きベクトルが存在するか否かを判断する（ステップＳ１８）。未処理の動きベクトルがあるとき、多視点画像評価部１３は、ステップＳ１４に戻って動きベクトルを１つ選択する。多視点画像評価部１３は、ステップＳ１４からステップＳ１８までの処理を、未処理の動きベクトルがなくなるまで繰り返し実行し、動きベクトルごとのスコアを求める。
【００４８】
ステップＳ１８で未処理の動きベクトルがないと判断されると、評価値算出部３４は、動きベクトルごとに求められたスコアを合計し、それを多視点画像に対する評価値とする（ステップＳ１９）。評価値算出部３４は、例えばステップＳ１２で選択された多視点画像からステップＳ１３で５つの動きベクトルが検出されていたときは、５つの動きベクトルのそれぞれに対して算出されたスコアの合計を、ステップＳ１２で選択された多視点画像に対する評価値とする。
【００４９】
画像評価装置１０は、ステップＳ１１で入力された複数の多視点画像の中に未処理の多視点画像が存在するか否かを判断する（ステップＳ２０）。画像評価装置１０は、未処理の多視点画像が存在すると判断したときは、ステップＳ１２に戻って多視点画像を１つ選択する。画像評価装置１０は、未処理の多視点画像がなくなるまで、動きベクトル検出部１２及び多視点画像評価部１３を用いてステップＳ１２からステップＳ２０までの処理を繰り返し実行し、各多視点画像に対する評価値を求める。
【００５０】
ステップＳ２０で未処理の多視点画像が存在しないと判断されると、生成手法選択部１４は、各多視点画像に対して求められた評価値を比較する（ステップＳ２１）。生成手法選択部１４は、評価値が最も高い多視点画像の生成手法を最適生成手法として選択する。なお、評価が最も高い多視点画像の生成手法を選択することと、評価が最も高い多視点画像そのものを選択することとは同義である。選択画像出力部１５は、ステップＳ１１で入力された複数の多視点画像のうち、生成手法選択部１４が選択した生成手法で生成された多視点画像を出力する（ステップＳ２２）。出力された多視点画像は、例えば立体表示が可能なディスプレイに表示される。或いは、出力された多視点画像は、３Ｄプリントとして印刷される。
【００５１】
以下、具体例を交えつつ、動作を詳細に説明する。図３は、複数の多視点画像を例示している。図３では、多視点画像の生成手法として、手法Ａ、手法Ｂ、手法Ｃの３つを想定している。ステレオ画像（Ｌ、Ｒ）は、多視点画像の生成元の画像である。各多視点画像は、ステレオ画像の画像Ｌの視点と画像Ｒの視点との内側に存在する４つの仮想視点のそれぞれから見たことを想定した画像を含む。各多視点画像は、中間視点画像生成やモーフィングなどのアルゴリズムを用いてステレオ画像から生成される。
【００５２】
手法Ａで生成された多視点画像は、生成元であるステレオ画像（Ｌ、Ｒ）と、４つの仮想視点の画像（Ａ１〜Ａ４）とを含む。手法Ｂで生成された多視点画像は、ステレオ画像（Ｌ、Ｒ）と、４つの仮想視点画像（Ｂ１〜Ｂ４）とを含む。手法Ｃで生成された多視点画像は、ステレオ画像（Ｌ、Ｒ）と、４つの仮想視点画像（Ｃ１〜Ｃ４）とを含む。各多視点画像における仮想視点は、画像Ｌの視点と画像Ｒの視点とを結ぶ直線上に、ほぼ等間隔で並んでいるとする。
【００５３】
図４は、手法Ａで生成された多視点画像における動きベクトル検出を例示している。動きベクトル検出部１２は、隣接する視点の画像間の動きベクトルを検出する。より詳細には、動きベクトル検出部１２は、画像Ｌと画像Ａ１との間、画像Ａ１と画像Ａ２との間、画像Ａ２と画像Ａ３との間、画像Ａ３と画像Ａ４との間、及び画像Ａ４と画像Ｒとの間の動きベクトルをそれぞれ検出する。なお、動きベクトルの検出に際しては、隣接画像以外の画像の情報を用いることも可能である。例えば、画像Ｌと画像Ａ１との間の動きベクトルを検出する際に、画像Ａ２を参照することも可能である。
【００５４】
画像Ｌと画像Ａ１との間の動きベクトルの検出について、具体的に説明する。動きベクトル検出部１２は、例えば勾配法を用いて、画素ごとの動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）を求める。動きベクトル検出部１２は、ＹＬ（ｘ，ｙ）を画像Ｌにおける座標（ｘ，ｙ）の画素の輝度、ＹＡ１（ｘ，ｙ）を画像Ａ１における座標（ｘ，ｙ）の画素の輝度として、画像Ｌの画素ごとの輝度ＹＬ（ｘ，ｙ）に対して、下記の拘束方程式を解く。
【数１】
動きベクトル検出部１２は、上記拘束方程式に対して、拘束条件「動きは局所的に滑らか」を課し、注目画素の周囲の画素の拘束方程式と組み合わせて、動きベクトルｕ（ｘ，ｙ）とｖ（ｘ、ｙ）とを求める。
【００５５】
なお、多視点画像において、隣接する視点間で垂直方向（画像Ｌの視点と画像Ｒの視点とを結ぶ直線に直交する方向）の変位がないと仮定すると、ｖ（ｘ，ｙ）＝０とすることができる。この場合、上記拘束方程式は、下記のように表わすことができる。
【数２】
垂直方向の変位がないとした場合、動きベクトル検出部１２は、「滑らか」の拘束条件なしに、画素ごとに一意に動きベクトルｕ（ｘ，ｙ）を求めることができる。
【００５６】
図５は、動きベクトルに基づく予測画像生成を例示している。図５では、画像Ｌと画像Ａ１との間の動きベクトル（動きベクトルＬＡ１）に基づく予測画像の生成を示している。予測画像生成部３１は、動きベクトルＬＡ１と、画像Ｌ及び／又は画像Ａ１とから、画像Ｌ及び画像Ａ１よりも外側の視点の画像を予測する。一般に、予測画像は、隣接視点間の画像の変化分（動きベクトル）を検出し、その変化分に基づいて、隣の視点の画像を生成することで生成可能である。予測画像生成部３１は、動きベクトルＬＡ１を用いて、多視点画像を構成する画像Ｌ、画像Ａ１〜Ａ４、及び画像Ｒのうち、動きベクトルＬＡ１の検出元の画像以外の画像（画像Ａ２〜Ａ４及び画像Ｒ）の視点に対する予測画像（予測画像Ａ２〜Ａ４及び予測画像Ｒ）を生成する。
【００５７】
図６は、動きベクトルＬＡ１を用いて予測された画像と、多視点画像に含まれる画像との近似度計算を例示している。近似度には、例えば両画像間で各画素がどれだけ一致するかを示す一致度を用いることができる。一致度には、画素値の差分絶対値の総和、又は画素値の差分の分散を用いることができる。或いは、差分絶対値の総和と差分の分散とを組み合わせて、これを一致度としてもよい。
【００５８】
具体的には、画素値が輝度信号Ｙと色差信号Ｃｒ、Ｃｂとで表わされるとき、近似度算出部３２は、下記式を用いて、予測画像における各画素の画素値と、多視点画像に含まれる対応する視点の画像における各画素の画素値との差分絶対値の総和を計算する。
一致度=aΣ|Y予測(x,y)-Y入力(x,y)|
+bΣ|Cr予測(x,y)-Cr入力(x,y)|
+cΣ|Cb予測(x,y)-Cb入力(x,y)|
ここで、輝度信号Ｙ予測（ｘ，ｙ）は、動きベクトルを用いて予測された画像の座標（ｘ，ｙ）における輝度値を表わし、輝度信号Ｙ入力（ｘ，ｙ）は、多視点画像に含まれる対応する視点の画像の座標（ｘ，ｙ）における輝度値を表わす。色差信号Ｃｒ、Ｃｂも同様である。ａ、ｂ、ｃは係数であり、例えばａ＝１、ｂ＝ｃ＝０．５とする。
【００５９】
また、近似度算出部３２は、下記式を用いて、予測画像における各画素の画素値と、多視点画像に含まれる対応する視点の画像における各画素の画素値との差分の分散を計算してもよい。
一致度=aΣ((Y予測(x,y)-Y入力(x,y))-平均(Y予測-Y入力))2
+bΣ((Cr予測(x,y)-Cr入力(x,y))-平均(Cr予測-Cr入力))2
+cΣ((Cr予測(x,y)-Cr入力(x,y))-平均(Cr予測-Cr入力))2
ａ、ｂ、ｃは係数であり、例えば上記と同様に、ａ＝１、ｂ＝ｃ＝０．５とすることができる。なお、上記では輝度信号と色差信号Ｃｒ、Ｃｂとの双方を用いて一致度を計算しているが、これには限定されず、画素値のうち、例えば輝度信号のみを用いて一致度を計算してもかまわない。近似度算出部３２は、予測画像生成部３１が生成した予測画像のそれぞれに対し、すなわち予測画像Ａ２〜Ａ４及び予測画像Ｒのそれぞれに対して、画像の一致度を算出する。
【００６０】
図７は、動きベクトルＬＡ１に対するスコア算出を例示している。スコア算出部３３は、図６で求められた各予測画像の一致度の総和を、動きベクトルＬＡ１に対するスコアとして求める。その際、スコア算出部３３は、動きベクトルの検出元である画像Ｌ、Ａ１の視点から各予測画像の視点までの距離に応じて重み付けした上で、各予測画像の一致度の総和を求めることができる。
【００６１】
具体的には、スコア算出部３３は、下記式を用いて、動きベクトルＬＡ１に対するスコアを算出することができる。
スコア＝ｗ１×一致度（予測Ａ２）＋ｗ２×一致度（予測Ａ３）
＋ｗ３×一致度（予測Ａ４）＋ｗ４×一致度（予測Ｒ）
ｗ１〜ｗ４は距離に応じた重み（係数）であり、例えばｗ１＝１．０、ｗ２＝０．５、ｗ３＝０．２５、ｗ４＝０・１２５とする。このような重み付けを行う場合、より動きベクトル検出元の画像の視点から近い予測画像の近似度ほど、スコアに与える影響を大きくすることができる。
【００６２】
予測画像生成部３１は、図４に示す動きベクトルＬＡ１以外の動きベクトルについても、同様に予測画像を生成する。より詳細には、予測画像生成部３１は、動きベクトルＡ１Ａ２を用いて予測画像Ｌ、予測画像Ａ３、Ａ４、予測画像Ｒを生成する。予測画像生成部３１は、動きベクトルＡ２Ａ３を用いて予測画像Ｌ、予測画像Ａ１、Ａ４、予測画像Ｒを生成する。予測画像生成部３１は、動きベクトルＡ３Ａ４を用いて予測画像Ｌ、予測画像Ａ１、Ａ２、予測画像Ｒを生成する。予測画像生成部３１は、動きベクトルＡ４Ｒを用いて予測画像Ｌ、予測画像Ａ１〜Ａ３を生成する。近似度算出部３２は、予測画像生成部３１が生成した予測画像のそれぞれに対して画像の一致度を算出する。
【００６３】
スコア算出部３３は、動きベクトルごとに、予測画像の近似度の総和をスコアとして求める。より詳細には、スコア算出部３３は、動きベクトルＡ１Ａ２を用いて生成された予測画像Ｌ、予測画像Ａ３、Ａ４、予測画像Ｒの一致度の総和を、動きベクトルＡ１Ａ２に対するスコアとする。また、スコア算出部３３は、動きベクトルＡ２Ａ３を用いて生成された予測画像Ｌ、予測画像Ａ１、Ａ４、予測画像Ｒの一致度の総和を、動きベクトルＡ２Ａ３に対するスコアとする。スコア算出部３３は、動きベクトルＡ３Ａ４を用いて生成された予測画像Ｌ、予測画像Ａ１、Ａ２、予測画像Ｒの一致度の総和を、動きベクトルＡ３Ａ４に対するスコアとする。スコア算出部３３は、動きベクトルＡ４Ｒを用いて生成された予測画像Ｌ、予測画像Ａ１〜Ａ３の一致度の総和を、動きベクトルＡ４Ｒに対するスコアとする。
【００６４】
なお、図５では、画像Ｌ、Ａ１から検出された動きベクトルを用いて他の全ての視点の画像を予測する例を説明したが、予測画像生成部３１は、必ずしも他の全ての視点の予測画像を生成する必要はない。また、図６では、他の全ての視点の予測画像の近似度（一致度）を、動きベクトルのスコア算出に用いる例を説明したが、スコア算出部３３は、必ずしもスコア算出に他の全ての視点の予測画像の近似度を用いる必要はない。例えば、予測画像生成部３１で検出元の画像に隣接する視点の予測画像のみを生成し、近似度算出部３２でその予測画像に対して近似度を求め、スコア算出部３３で近似度に基づいて動きベクトルに対するスコアを算出してもよい。例えば、動きベクトルの検出元の画像が画像Ａ１、Ａ２である場合、それらの視点に隣接する視点の画像は、画像Ｌと画像Ａ３の２つの画像があるが、予測画像生成部３１は、それらのうちの少なくとも一方の画像を予測すればよい。
【００６５】
図８は、手法Ａで生成された多視点画像の評価値算出を例示している。評価値算出部３４は、動きベクトルごとに求められたスコアの合計を、手法Ａの多視点画像に対する評価値として算出する。より詳細には、評価値算出部３４は、図４に示す動きベクトルＬＡ１、動きベクトルＡ１Ａ２、動きベクトルＡ２Ａ３、動きベクトルＡ３Ａ４、及び動きベクトルＡ４Ｒのそれぞれに対して求められたスコアの総和を、手法Ａの多視点画像に対する評価値として算出する。
【００６６】
動きベクトル検出部１２は、他の手法、すなわち図３の手法Ｂ、手法Ｃのそれぞれで生成された多視点画像に対しても、図４と同様な処理で、隣接する画像間の動きベクトルを検出する。予測画像生成部３１は、図５と同様な処理で、各手法で生成された多視点画像から検出された動きベクトルのそれぞれを用いて予測画像を生成する。近似度算出部３２は、図６と同様な処理で、予測画像の近似度を求める。スコア算出部３３は、図７と同様な処理で、動きベクトルごとのスコアを算出する。評価値算出部３４は、他の手法、すなわち図３の手法Ｂ、手法Ｃのそれぞれで生成された多視点画像に対しても、図８と同様な処理で、評価値を算出する。
【００６７】
生成手法選択部１４は、各多視点画像に対して求められた評価値を相互に比較し、評価が最も高い多視点画像の生成手法を最適生成手法として決定する。例えば、画像の近似度として差分絶対値の総和を用いる場合、画像間の各画素の輝度信号及び色度信号が一致するほど差分の絶対値の値は小さくなる。従って、一致度の値が小さいほど、予測された画像と多視点画像に含まれる画像とにおける画素は、一致していることなる。その場合、生成手法選択部１４は、各多視点画像に対して求められた評価値のうち、値が最小になる評価値を持ち多視点画像の生成手法を最適生成手法として決定する。選択画像出力部１５は、選択された手法の多視点画像、すなわち評価が最も高い多視点画像を出力する。
【００６８】
本実施形態では、多視点画像入力部１１は、ステレオ画像から複数の生成手法を用いて生成された複数の多視点画像を入力し、動きベクトル検出部１２は、複数の多視点画像のそれぞれにおいて、隣接する視点の画像間の動きベクトルを検出する。多視点画像評価部１３は、検出された動きベクトルに基づいて、多視点画像のそれぞれに対して多視点画像の評価を行う。生成手法選択部１４は、多視点画像の評価を比較し、最も評価が高い多視点画像の生成手法を最適生成手法として選択する。人間が多視点画像を観察した際に、画像が自然に見えるか否かは、隣接画像間の動きに基づいて判断できると考えられる。本実施形態では、画像評価装置１０は、複数の多視点画像に対する評価の仕組みを持つため、人間の高度な判断を必要とせずに、複数の生成手法のうちで最も高い評価が得られる生成手法を判断することができる。
【００６９】
特に、本実施形態では、予測画像生成部３１は、動きベクトルに基づいて他の視点の画像を予測し、近似度算出部３２は、その予測画像と多視点画像に含まれる対応する視点の画像との近似度を求める。スコア算出部３３は、動きベクトルごとに予測画像の近似度の総和を求め、評価値算出部３４は、動きベクトルごとの近似度の総和を合計し、これを多視点画像に対する評価値とする。求められた評価値が高いほど、すなわち各動きベクトルを用いて予測された画像と、多視点画像に含まれる対応する視点の画像との近似度が高いほど、その多視点画像は、表示に適した多視点画像であると考えられる。従って、生成手法選択部１４にて、評価値に基づいて最適生成手法を選択し、選択画像出力部１５から、選択された生成手法で生成された多視点画像を出力することで、入力された複数の多視点画像のうち、表示に適した多視点画像の選択・出力が可能になる。
【００７０】
ここで、観察者は、表示された多視点の立体画像を観察するとき、通常、表示装置を動かしながら、或いは、自身が動きながら画像を観察する。つまり観察者は、立体画像を運動する（回転する）対象として観察していることになる。従って、多視点画像は、運動する一連の（複数の）対象として評価したときに評価値が高いものの方が、より表示に適した画像であると言える。これが、動き予測系のアルゴリズムを用いて予測画像を生成し、その予測画像の近似度の評価を行う理由である。一方、ステレオ画像から複数の多視点画像を生成する際には、主に、内挿・補間処理を行うため、動き予測系のアルゴリズムは使用しにくい。従って、多視点画像の生成には、内挿処理を得意とするモーフィングや中間視点画像生成等のアルゴリズムを用いることが好適である。本実施形態では、多視点画像の生成に適したアルゴリズムと、評価に適したアルゴリズムとを使い分けることで、効率的、かつ、人が見て自然な感じがする多視点立体画像の評価が可能である。
【００７１】
なお、上記実施形態の説明では、評価値算出部３４は、スコア算出部３３で動きベクトルごとに集計された予測画像の近似度を、更に多視点画像ごとに集計しているが、評価値算出の手法はこれには限定されない。例えば、図１に示す構成からスコア算出部３３を省き、評価値算出部３４で、多視点画像ごとに、その多視点画像から検出された動き予測ベクトルを用いて予測された画像の近似度の総和を求め、それを多視点画像に対する評価値として求めてもよい。
【００７２】
次いで、本発明の第２実施形態を説明する。図９は、本発明の第２実施形態の画像評価装置を示している。本実施形態の画像評価装置１０ａは、図１に示す画像評価装置１０の構成に加えて、ステレオ画像入力部１６、複数の多視点画像生成部１７、及び多視点画像出力部１８を備える。図９では、多視点画像の生成手法として生成手法１から生成手法Ｎ（Ｎは２以上の整数）までを想定しており、画像評価装置１０ａは、多視点画像生成部１７−１から多視点画像生成部１７−ＮまでのＮ個の多視点画像生成部を有する。
【００７３】
ステレオ画像入力部１６は、互いに視点が異なる２つの画像を含むステレオ画像を入力する。ステレオ画像は、典型的には、右目用画像と左目用画像とから成る。多視点画像生成部１７−１〜１７−Ｎは、それぞれ、ステレオ画像から、ステレオ画像における視点とは異なる１以上の仮想視点から見たことを想定した画像を１つ以上含む多視点画像を生成する。多視点画像生成部１７−１〜１７−Ｎは、それぞれ、任意の中間視点画像作成アルゴリズムを用いて多視点画像を生成する。多視点画像生成部１７−１〜１７−Ｎのそれぞれにおける生成アルゴリズム及び生成時のパラメータのうちの少なくとも一方は、相互に異なる。
【００７４】
各多視点画像生成部１７は、典型的には、対応点検出部７１、中間視点画像生成部７２、中間視点画像補正部７３、及び対応点信用度評価部７４を有する。対応点検出部７１は、ステレオ画像に含まれる２つの視点の画像間の対応点を探索する。中間視点画像生成部７２は、あらかじめ設定された中間視点画像の視点位置に応じた内分点の位置を求め、その位置に、ステレオ画像の画素（色）をマッピングする。対応点信用度評価部７４は、対応点検出部７１が検出した対応点の信用度を評価する。中間視点画像補正部７３は、信用度を参照して、例えばオクルージョン領域と判定された領域の画素を補完する。
【００７５】
多視点画像生成の際のアルゴリズムのバリエーションには、以下に記すようなアルゴリズムがあり、多視点画像生成部１７−１〜１７−Ｎは、それらを適宜組み合わせて、手法１〜手法ＮまでのＮ通りの生成手法で、多視点画像を生成する。
【表１】
【００７６】
多視点画像生成部１７−１〜１７−Ｎは、それぞれ、生成した多視点画像を多視点画像出力部１８に出力する。多視点画像出力部１８は、多視点画像入力部１１に複数の多視点画像を出力する。多視点画像入力部１１に複数の多視点画像が入力された後の画像評価装置１０ａの動作は、第１実施形態で説明した動作（図２）と同様である。すなわち画像評価装置１０ａは、動きベクトルを検出し、検出した動きベクトルを用いて予測画像を生成し、予測画像の近似度を求めてその総和（スコア）を計算し、スコアの総和を多視点画像に対する評価値として算出する。また、画像評価装置１０ａは、評価値に基づいて最適生成手法を選択し、その生成手法で生成された多視点画像を出力する。
【００７７】
本実施形態では、画像評価装置１０ａが、複数の生成手法で多視点画像を生成する複数の多視点画像生成部１７を備えている。本実施形態では、画像評価装置１０ａ自体が複数の多視点画像を生成するため、画像評価装置１０ａに対する入力はステレオ画像でよく、入力がシンプルとなる。その他の効果は、第１実施形態と同様である。すなわち画像評価装置１０ａは、人間の高度な判断を必要とせずに、人が見て自然に見える多視点画像の生成手法を判断することができる。また、入力された複数の多視点画像のうち、表示に適した多視点画像を出力することが可能である。
【００７８】
次に、本発明の第３実施形態を説明する。図１０は、本発明の第３実施形態の画像評価装置を示している。本実施形態の画像評価装置１０ｂは、図９に示す第２実施形態の画像評価装置１０ａの構成に加えて、多視点画像信用度情報出力部１９と、多視点画像信用度情報入力部２０とを備える。本実施形態の画像評価装置１０ｂは、多視点画像（仮想視点画像）の信用度情報を考慮して予測画像の近似度を演算する点で、第２実施形態の画像評価装置１０ａと相違する。その他の点は、第２実施形態と同様である。
【００７９】
各多視点画像生成部１７の対応点信用度評価部７４は、仮想視点の画像の生成に際して、仮想視点画像とステレオ画像との相関度や、周囲の対応点との連続性などを評価する。対応点信用度評価部７４は、例えば画素ごとに評価値を求め、その評価値を信用度情報として出力する。或いは、対応点信用度評価部７４は、画素がオクルージョンと判定されたか否かを示すフラグや、ブロックマッチングに用いたウィンドウサイズなどを、信用度情報として出力してもよい。対応点信用度評価部７４は、ステレオ画像から生成した仮想視点の画像のそれぞれ（例えば図３のＡ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ１〜Ｃ４）に対して、信用度情報を出力する。
【００８０】
多視点画像信用度情報出力部１９は、多視点画像生成部１７−１〜１７−Ｎから、それぞれの対応点信用度評価部７４で得られた信用度に関する情報を受け取る。多視点画像信用度情報出力部１９は、多視点画像信用度情報入力部２０に、信用度情報を出力する。多視点画像信用度情報入力部２０は、信用度情報が入力されると、入力された信用度情報を近似度算出部３２に与える。近似度算出部３２は、信用度情報を用いて、動きベクトルに基づいて予測された画像と、その予測画像に対応する視点の画像との近似度を演算する。より詳細には、近似度算出部３２は、予測画像と、その予測画像に対応する視点の画像とで対応する関係にある画素が近似度の算出に与える影響を、信用度情報に応じて変化させて、近似度を演算する。
【００８１】
図１１は、信用度情報の一例を示している。信用度情報は、例えば０又は１の２値で表わされる。対応点信用度評価部７４は、ステレオ画像の右目用画像又は左目用画像の何れか一方のみからマッピングした画素の信用度を“０”とし、双方の画像からマッピングできた画素の信用度を“１”とする。図９では、信用度情報“０”の画素を黒色で表わし、信用度情報“１”の画素を白色で表わしている。中間視点画像において、信用度情報“０”の画素の領域はオクルージョン領域に相当し、信用度情報“１”の画素の領域は非オクルージョン領域に相当する。
【００８２】
ここで、非オクルージョン領域の画素は、ステレオ画像の双方の画像からマッピングされた画素であるため、複数の生成手法の何れを用いても、マッピングされた画素の輝度や色度などは、生成手法間で大差ないと考えられる。一方、オクルージョン領域の画素は、ステレオ画像うちの一方の画像のみからしかマッピングできない画素であるため、多視点画像生成のアルゴリズムやパラメータに依存してマッピングの仕方が変わってくる可能性がある。従って、仮想視点画像の評価では、オクルージョン領域に該当する画素が自然に見えるか否かが特に重要であると考えることができる。
【００８３】
そこで、本実施形態では、近似度算出部３２は、オクルージョン領域に該当する画素が近似度の算出に与える影響を、非オクルージョン領域に該当する領域の画素が近似度の算出に与える影響を大きくして、画像全体の近似度を演算する。例えば、近似度算出部３２は、差分絶対値の総和を求める際に、画素ごとに、信用度情報に基づく重み付けを行う。画素ごとの重みは、座標（ｘ，ｙ）の画素の信用度情報を信用度（ｘ，ｙ）として、例えば下記式で定義する。
Ｗｅｉｇｈｔ（ｘ，ｙ）＝１．０＋（１−信用度（ｘ，ｙ））×０．２
近似度算出部３２は、例えば上記式で定義される重みを用いて、下記式で画像の近似度（一致度）を算出する。
一致度=aΣ(Weight(x,y)×|Y予測(x,y)-Y入力(x,y)|)
+bΣ（Weight(x,y)×|Cr予測(x,y)-Cr入力(x,y)|）
+cΣ（Weight(x,y)×|Cb予測(x,y)-Cb入力(x,y)|）
【００８４】
図１２は、信用度情報の別の例を示す。図１２では、相関度に関する情報を信用度情報として用いており、信用度情報は０〜２５５までの２５６段階の値を持つ。図１２では、各画素の信用度（相関度）を、０（黒）〜２５５（白）までのグレースケールで表現している。例えば、図１２では、左右何れかの画像のみからマッピングされた画素（オクルージョン領域の画素）は、信用度が０である。また、図１２では、人物のうちの顔の部分はパターンが少なく、相関度はあまり高くない。人物のうちの服の部分は、パターンが豊富で、相関度が高い。背景のうち、空の部分（背景の上部）はパターンがなく、相関度が低い。背景の道路面（背景の下部）はパターンが豊富で、相関度が高い。
【００８５】
近似度算出部３２は、信用度情報が相関度で表わされるとき、相関度が低い画素が近似度の算出に与える影響を大きくし、相関度が高い画素が近似度の算出に与える影響を大きくして、画像全体の近似度を演算する。例えば、近似度算出部３２は、下記式で定義される重みを用いて近似度（一致度）を算出する。
Ｗｅｉｇｈｔ（ｘ，ｙ）＝２５５−信用度（ｘ，ｙ）
上記のように定義した重みを用いて上記の一致度の計算式を計算することで、各画素が画像全体の近似度の計算に与える影響を相関度に応じて変化させることができる。
【００８６】
本実施形態では、近似度の演算に、多視点画像の信用度情報を用いている。信用度情報を参照することで、多視点画像の生成時に、誤差が大きいと思われる領域を特定することが可能である。誤差が大きいと思われる領域は、不自然に見えやすい領域に相当するため、近似度の演算に際しては、そのような領域を重点的に調べることが好ましい。すなわち不自然に見えやすい領域の画素が、近似度の演算に与える影響を大きくすることが好ましい。本実施形態では、多視点画像の信用度情報を用いて画素が近似度の演算に与える影響を変化させているため、近似度の演算を、より適切に行うことができる。その他の効果は、第２実施形態と同様である。
【００８７】
次に、本発明の第４実施形態を説明する。図１３は、本発明の第４実施形態の画像評価装置を示している。本実施形態の画像評価装置１０ｃは、図９に示す第２実施形態の画像評価装置１０ａの構成に加えて、動きベクトル信用度算出部２１を備える。本実施形態の画像評価装置１０ｃは、動きベクトルの信用度情報を考慮して予測画像の近似度を演算する点で、第２実施形態の画像評価装置１０ａと相違する。その他の点は、第２実施形態と同様である。
【００８８】
動きベクトル信用度算出部２１は、動きベクトルの信用度情報を生成する。動きベクトル信用度算出部２１は、画素における特徴量の強さを、動きベクトルの信用度として算出する。動きベクトル信用度算出部２１は、例えば画素の局所的な輝度変化の大きさを特徴量として、信用度を算出する。具体的には、動きベクトル信用度算出部２１は、勾配法を用いた動き予測（動きベクトル）の計算で得られた値を用いて、下記式で信用度を算出する。
【数３】
この場合、信用度の値が大きいほど、強い特徴を持つ場所ということができる。
【００８９】
近似度算出部３２は、動きベクトルの信用度情報に基づいて、予測画像と、それに対応する視点の画像とで対応する関係にある画素が、近似度の算出に与える影響を変化させる。近似度算出部３２は、例えば上記式で定義される各画素の信用度を、近似度計算の際の重みとして用いる。近似度算出部３２は、画素ごとに重み付けを行って、画素値の差分絶対値の総和などを計算する。重みとして、上記式で定義される信用度を用いることで、近似度算出部３２は、強い特徴を持つ画素ほど、すなわち輝度などの局所的な変化の度合いが大きい画素ほど、その画素が画像全体の近似度の算出に与える影響を大きくすることができる。
【００９０】
本実施形態では、近似度の演算に、動きベクトルの信用度情報を用いている。信用度情報を参照することで、強い特徴を持つ場所（画素位置）を特定することが可能である。強い特徴を持つ場所は、人目につきやすいため、近似度の演算に際しては、そのような領域を重点的に調べることが好ましい。すなわち強い特徴を持つ領域の画素が、近似度の演算に与える影響を大きくすることが好ましい。本実施形態では、動きベクトルの信用度情報を用いて画素が近似度の演算に与える影響を変化させているため、近似度の演算を、より適切に行うことができる。その他の効果は、第２実施形態と同様である。
【００９１】
また、本実施形態は、第３実施形態に比して、以下のようなメリットがある。すなわち第３実施形態では、多視点画像生成時の情報（中間演算情報）を信用度情報としているため、近似度を演算する手段は、多視点画像を生成する手段から、信用度の情報を受け取る必要がある。また、多視点画像の生成アルゴリズムに依存して、出力可能な中間演算情報が異なる場合もあり、第３実施形態の画像評価装置は、多視点画像生成のアルゴリズムとして利用可能なアルゴリズムが制限されることがある。本実施形態では、動きベクトルの信用度情報を用いるので、多視点画像生成の際に用いるアルゴリズムが特に制限されることがない。また、多視点画像生成時の中間演算情報が必要ないので、例えば図１に示す第１実施形態の画像評価装置１０のように、画像評価装置が多視点画像を生成する部分を含まない場合にも適用が容易である。
【００９２】
続いて、本発明の第５実施形態を説明する。図１４は、本発明の第５実施形態の画像評価装置を示している。本実施形態の画像評価装置１０ｄは、図９に示す第２実施形態の画像評価装置１０ａとは、多視点画像評価部１３の部分の構成が異なる。本実施形態の画像評価装置１０ｄにおける多視点画像評価部１３ａは、動きベクトル比較部３５と、評価値算出部３６とを有する。本実施形態の画像評価装置１０ｄは、多視点画像に対する評価値の算出手法が、第２実施形態の画像評価装置１０ａにおける評価値算出手法とは異なる。その他の点は、第２実施形態と同様である。
【００９３】
動きベクトル比較部３５は、動きベクトル検出部１２で検出された動きベクトルのうち、隣接関係にある動きベクトル同士を相互に比較する。より詳細には、動きベクトル比較部３５は、多視点画像に含まれる画像のうちの１つを着目画像としたときに、その着目画像と、着目画像の視点に対して第１の方向に隣接する視点の画像とから検出された動きベクトルと、着目画像と、着目画像の視点に対して第１の方向とは反対側の第２の方向に隣接する視点の画像とから検出された動きベクトルとを比較する。なお、動きベクトルが、隣接する３以上の画像から検出されている場合、動きベクトル比較部３５は、着目画像と、着目画像の視点に対して第１の方向に隣接する２以上の視点の画像とから検出された動きベクトルと、着目画像と、着目画像の視点に対して第２の方向に隣接する視点の２以上の画像とから検出された動きベクトルとを比較すればよい。
【００９４】
動きベクトル比較部３５は、隣接する関係にある動きベクトル同士を比較し、動きベクトルの近似度を求める。評価値算出部３６は、複数の多視点画像のそれぞれに対して、動きベクトルの近似度の総和を評価値として求める。例えば、ある多視点画像から、第１〜第４までの４つの動きベクトルが検出されているとき、評価値算出部３６は、第１の動きベクトルと第２の動きベクトルとの近似度、第２の動きベクトルと第３の動きベクトルとの近似度、及び第３の動きベクトルと第４の動きベクトルとの近似度の総和を、動きベクトル検出元の多視点画像に対する評価値として求める。
【００９５】
図１５は、第５実施形態の画像評価装置の動作手順を示している。多視点画像生成部１７−１〜１７−Ｎは、それぞれ、ステレオ画像入力部１６から入力されたステレオ画像に基づいて多視点画像を生成する。多視点画像出力部１８は、多視点画像入力部１１に複数の多視点画像を出力する。多視点画像入力部１１は、複数の生成手法で生成された複数の多視点画像を入力する（ステップＳ３１）。
【００９６】
画像評価装置１０ｄは、入力された多視点画像から、未処理の多視点画像を１つ選択する（ステップＳ３２）。動きベクトル検出部１２は、ステップＳ３２で選択された多視点画像に含まれる画像から、隣接画像間の動きベクトルを検出する（ステップＳ３３）。動きベクトル検出のアルゴリズムには、任意のアルゴリズムを用いることができる。動きベクトル検出部１２は、例えば勾配法を用いて、画素ごとに動きベクトルを求める。ここまでの動作は、第２実施形態における動作と同様である。
【００９７】
動きベクトル比較部３５は、ステップＳ３３で検出された動きベクトルのうち、隣接する関係にある動きベクトル同士を比較し、近似度を求める（ステップＳ３４）。動きベクトル比較部３５は、例えば各画素の動きベクトルの変化量の大きさの二乗の総和を、動きベクトルの近似度（一致度）として求める。或いは、動きベクトル比較部３５は、各画素の動きベクトルの変化の角度の絶対値の総和を、動きベクトルの一致度として求めてもよい。評価値算出部３６は、動きベクトル間の近似度の総和を求め、それをステップＳ３２で選択された多視点画像に対する評価値とする（ステップＳ３５）。
【００９８】
画像評価装置１０ｄは、ステップＳ３１で入力された複数の多視点画像の中に、未処理の多視点画像が存在するか否かを判断する（ステップＳ３６）。画像評価装置１０ｄは、未処理の多視点画像が存在すると判断したときは、ステップＳ３２に戻って多視点画像を１つ選択する。画像評価装置１０ｄは、未処理の多視点画像がなくなるまで、動きベクトル検出部１２及び多視点画像評価部１３を用いてステップＳ３２からステップＳ３５までの処理を繰り返し実行し、各多視点画像に対する評価値を求める。
【００９９】
ステップＳ３６で未処理の多視点画像が存在しないと判断されると、生成手法選択部１４は、各多視点画像に対して求められた評価値を比較する（ステップＳ３７）。生成手法選択部１４は、評価値が最も高い多視点画像の生成手法を最適生成手法として選択する。選択画像出力部１５は、ステップＳ３１で入力された複数の多視点画像のうち、生成手法選択部１４が選択した生成手法で生成された多視点画像を出力する（ステップＳ３８）。出力された多視点画像は、例えば立体表示が可能なディスプレイに表示される。或いは、出力された多視点画像は、３Ｄプリントとして印刷される。
【０１００】
図１６は、動きベクトルの近似度の演算を例示している。図４と同様に、手法Ａで生成された多視点画像（画像Ｌ、Ａ１〜Ａ４、Ｒ）と、隣接画像間から検出された動きベクトル（動きベクトルＬＡ１、Ａ１Ａ２、Ａ２Ａ３、Ａ３Ａ４、Ａ４Ｌ）とを考える。動きベクトル比較部３５は、動きベクトルＬＡ１と動きベクトルＡ１Ａ２とから、両ベクトル間の近似度を求める。また、動きベクトル比較部３５は、動きベクトルＡ１Ａ２と動きベクトルＡ２Ａ３とから、両ベクトル間の近似度を求める。動きベクトル比較部３５は、動きベクトルＡ２Ａ３と動きベクトルＡ３Ａ４とから、両ベクトル間の近似度を求める。動きベクトル比較部３５は、動きベクトルＡ３Ａ４と動きベクトルＡ４Ｒとから、両ベクトル間の近似度を求める。
【０１０１】
具体的には、動きベクトル比較部３５は、例えば動きベクトルＬＡ１（uLA1(x,y)、vLA1(x,y)）と動きベクトルＡ１Ａ２（uA1A1(x,y)、vA1A2(x,y)）とに対し、下記式で、各画素の動きベクトルの変化量の大きさの二乗の総和を計算し、それを、両ベクトルの近似度（一致度）をとする。
【数４】
動きベクトル比較部３５は、上記に代えて、下記式で、各画素の動きベクトルの変化の角度の絶対値の総和を計算し、それを、両ベクトルの一致度としてもよい。
【数５】
なお、一致度は、動きベクトルの変化量の大きさの二乗の総和と、変化の角度の絶対値の総和との双方に基づいて定義してもよい。
【０１０２】
動きベクトル比較部３５は、動きベクトルＬＡ１、Ａ１Ａ２以外の動きベクトルに対しても上記と同様な計算を行い、動きベクトル間の一致度を求める。評価値算出部３６は、求められた隣接動きベクトル間の一致度の総和を、手法Ａの多視点画像に対する評価値とする。動きベクトル比較部３５は、手法Ａ以外の手法で生成された多視点画像から検出された動くベクトルに対しても上記と同様な処理を行い、評価値算出部３６は、各手法の多視点画像に対する評価値を算出する。
【０１０３】
本実施形態では、動きベクトルに基づいて多視点画像を評価する際に、動きベクトル同士を比較している。観察者が見て違和感が生じない多視点画像ができているとき、隣接する関係にある動きベクトルは、相互に似た動きを表わすベクトルになり、両ベクトルはよく一致すると考えられる。従って、動きベクトル間の近似度が高い多視点画像を選択することで、表示に適した多視点画像を得ることができる。本実施形態は、第１〜第４実施形態に対して、予測画像を生成する必要がなくなることで、処理を簡略化できるというメリットがある。
【０１０４】
なお、図２及び図１５では、複数の多視点画像から多視点画像を１つずつ順次に選択し、評価値を求める例を説明したが、これには限定されない。結果として、多視点画像ごとに評価値を求めることができればよく、評価値を求めるまでの動作手順の組み立て方は任意である。例えば、全ての多視点画像のから検出された全ての動きベクトルを用いて予測画像を一度に生成し、全ての予測画像について近似度を計算する処理を行った後に、動きベクトルごと近似度を集計し、それを更に多視点画像ごとに集計して多視点画像ごとの評価値を求めてもよい。
【０１０５】
図９などでは、Ｎ種類の多視点画像の生成手法に対して、画像評価装置がＮ個の多視点画像生成部を有することとしたが、多視点画像生成部の数と、多視点画像の生成手法の数とは必ずしも一致していなくてよい。例えば、多視点画像生成部を１つのみ設け、その多視点画像生成部にて、生成手法を変更しつつ多視点画像の生成を繰り返し行い、複数の多視点画像を生成してもよい。また、用いるアルゴリズムの数だけ多視点画像生成部を設け、同じ多視点画像生成部を用いて、生成の際に用いるパラメータを変更した複数の多視点画像を順次に生成してもよい。
【０１０６】
図１０では、多視点画像出力と多視点画像信用度情報出力部とを別々に描いているが、多視点画像出力部が、多視点画像信用度情報出力部を兼ねる構成でも構わない。また、多視点画像入力部が、多視点画像信用度情報入力部を兼ねる構成でもよい。例えば図１に示す画像評価装置のように、画像評価装置が多視点画像を生成する部分を含まない場合には、外部から多視点画像の信用度情報を与え、多視点画像信用度情報を用いた近似度の演算を行ってもよい。その場合、例えば図１に示す構成にて、多視点画像入力部に、多視点画像と共に、各仮想視点画像（中間視点画像）の信用度情報を入力すればよい。
【０１０７】
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の画像評価装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
【符号の説明】
【０１０８】
１０：画像評価装置
１１：多視点画像入力部
１２：ベクトル検出部
１３：多視点画像評価部
１４：生成手法選択部
１５：選択画像出力部
１６：ステレオ画像入力部
１７：多視点画像生成部
１８：多視点画像出力部
１９：多視点画像信用度情報出力部
２０：多視点画像信用度情報入力部
２１：ベクトル信用度算出部
３１：予測画像生成部
３２：近似度算出部
３３：スコア算出部
３４：評価値算出部
３５：ベクトル比較部
３６：評価値算出部
７１：対応点検出部
７２：中間視点画像生成部
７３：中間視点画像補正部
７４：対応点信用度評価部
【技術分野】
【０００１】
本発明は、画像評価装置、方法、及びプログラムに関し、特に、立体視可能な画像に対する評価を行う画像評価装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
視差を有する複数の画像（ステレオ画像）を用いて画像を立体視可能に表示する技術が知られている。ステレオ画像は、典型的には右目画像と左目画像とを含む。ステレオ画像から、視点が互いに異なる複数の視点を想定した多視点画像を生成する技術も知られている。多視点画像の生成は、例えば特許文献１に記載されている。特許文献１では、仮想視点が左右視点の内側にあれば、左右画素間距離を内挿して、複数の仮想視点から見たことを想定した画像を生成する。
【０００３】
特許文献２は、１視点の連続フレーム画像から立体表示用画像（３次元データ）を生成することが記載された文献である。この特許文献２では、情報処理装置は、連続フレーム画像から複数の選択画像を選び出し、選択画像から特徴点を抽出する。情報処理装置は、特徴点抽出後、参照画像から特徴点を抽出又は追跡し、選択画像の特徴点からカメラ位置情報と特徴点の３次元位置情報とを求める。その後、情報処理装置は、特徴点の３次元位置から参照画像上への再投影点を求め、誤差を求め、誤差の大きさで選択画像が３次元データ生成に適しているか否かを判断する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１２４３０８号公報
【特許文献２】特開２００９−２３７８４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、多視点画像の生成には、複数のアルゴリズムを用いることができる。多視点画像の生成に用いるアルゴリズムが異なれば、生成される多視点画像も相互に異なる画像になることが予想される。また、多視点画像の生成では、パラメータとして選択可能な値がいくつかあり、パラメータを調整することで生成される多視点画像の調整が可能な場合もある。
【０００６】
従来技術の問題点は、複数のアルゴリズムやパラメータを用いて複数の多視点画像を生成したときに、どのアルゴリズムやパラメータを用いて生成した多視点画像が表示に適した画像であるかを自動的に評価する仕組みがないということである。このため、多視点画像の選択に際しては、人間が、生成された複数の多視点画像を見て、どの多視点画像が表示に最適な多視点画像であるか、つまり最も自然に見える多視点画像であるかを判断する必要があり、高度に人間的な判断が必要であった。
【０００７】
本発明は、上記従来技術の問題点に鑑み、ステレオ画像から複数のアルゴリズムやパラメータを用いて生成された複数の多視点画像があるときに、高度に人間的な判断を必要とせずに多視点画像の評価が可能な画像評価装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、互いに視点が異なる２つの画像を含むステレオ画像に基づいて、複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる１以上の仮想視点から見たことを想定した画像を１つ以上含む複数の多視点画像を入力する多視点画像入力部と、前記複数の多視点画像のそれぞれにおいて、前記多視点画像に含まれる隣接する２以上の視点の画像に基づいて、該２以上の画像間の動きベクトルを検出する動きベクトル検出部と、前記検出された動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行う多視点画像評価部と、前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択する生成手法選択部とを備えることを特徴とする画像評価装置を提供する。
【０００９】
ここで、「評価」に用いる指標（評価値）には、値が大きいほど評価が高いことを表わす評価値と、値が小さいほど評価が高いことを表わす評価値との何れを用いてもよい。値が大きいほど評価が高いことを表わす評価値を用いる場合、生成手法選択部は、複数の多視点画像のうち、評価値が最も大きい多視点画像の生成手法を選択すればよい。これとは逆に、値が小さいほど評価が高いことを表わす評価値を用いる場合、生成手法選択部は、複数の多視点画像のうち、評価値が最も小さい多視点画像の生成手法を選択すればよい。なお、各多視点画像は、各生成手法を用いて生成された画像であるため、生成手法選択部が評価が高い生成手法を選択するということは、評価が高い多視点画像そのものを選択するということと同義である。
【００１０】
本発明の画像評価装置では、前記多視点画像評価部が、前記動きベクトルに基づいて、前記多視点画像における視点のうちで前記動きベクトルの検出元の画像の視点以外の視点のうちの少なくとも１つの視点の画像を予測する予測画像生成部と、前記予測された画像のそれぞれに対して、該予測された画像と、前記多視点画像のうちで前記予測された画像の視点に対応する視点の画像との近似度を求める近似度算出部と、前記複数の多視点画像のそれぞれに対して、前記予測された画像に対して求められた近似度の総和を評価値として求める評価値算出部とを含む構成を採用することができる。
【００１１】
ここで、「近似度」は、比較対象の画像のうちの対応する部分がどれだけ似ているかを表わす指標である。「近似度」の値は、近似度が高いほど値が大きくなるものでもよく、或いは、近似度が高いほど値が小さくなるものでよい。「評価値」は、「近似度」の和で求められるため、「近似度」として、近似度が高いほど値が大きくなるものを用いた場合、評価値の値が大きいほど評価が高い。逆に、「近似度」として、近似度が高いほど値が小さくなるものを用いた場合、評価値の値が小さいほど評価が高い。「近似度」には、比較対象の画像のうちの対応する部分同士がどれだけ一致するかを示す一致度を用いることができる。
【００１２】
本発明の画像処理装置は、前記予測画像に対して求められた近似度を、前記予測画像の生成に用いられた動きベクトルごとに集計するスコア算出部を更に備え、前記評価値算出部が、前記スコア算出部で動きベクトルごとに集計された近似度を、前記動きベクトルの検出元の多視点画像ごとに集計することで前記評価値を求めるものである構成を採用できる。
【００１３】
本発明の画像評価装置では、前記スコア算出部が、前記予測された画像と前記動きベクトルの検出元の画像との距離に応じ、距離が近いほど重みが重くなるように重み付けをした上で、前記近似度の総和の合計を計算する構成を採用することができる。
【００１４】
本発明の画像評価装置では、前記予測画像生成部が、前記動きベクトル検出元の画像の両側に隣接する視点のうちの少なくとも１つを含む視点の画像を予測する構成を採用することができる。
【００１５】
本発明の画像評価装置では、前記近似度算出部が、前記予測された画像と、前記予測された画像の視点に対応する視点の画像とで、対応する位置関係にある画素における画素値に基づいて前記近似度を算出する構成を採用することができる。
【００１６】
また、前記近似度算出部が、前記予測された画像と、前記予測された画像の視点に対応する視点の画像とで、同じ座標位置の画素の画素値の差分絶対値、及び画素値の差分の分散の少なくとも一方を算出し、該算出した差分絶対値、及び差分の分散の少なくとも一方に基づいて近似度を求める構成としてもよい。
【００１７】
本発明の画像評価装置では、前記多視点画像入力部が、前記多視点画像と共に、該多視点画像に含まれる仮想視点から見たことを想定した画像の信用度情報を入力し、前記近似度算出部が、前記画像の信用度情報に基づいて、前記対応する関係にある画素が前記近似度の算出に与える影響を変化させる構成とすることができる。
【００１８】
本発明の画像評価装置では、前記画像の信用度情報が、前記仮想視点から見たことを想定した画像の各画素がオクルージョン領域の画素に該当するか否かを示す情報を含み、前記近似度算出部が、前記オクルージョン領域に該当する画素が前記近似度の算出に与える影響を、前記オクルージョン領域ではない領域に該当する画素が前記近似度の算出に与える影響よりも大きくする構成とすることができる。
【００１９】
また、前記画像の信用度情報が、前記仮想視点から見たことを想定した画像の各画素と、該画像の生成元の前記ステレオ画像の各画素との相関関係の度合いを示す情報を含み、前記近似度算出部が、前記相関関係の度合いが小さいほど、前記画素が前記近似度の算出に与える影響を大きくする構成としてもよい。
【００２０】
本発明の画像評価装置では、前記動きベクトル検出部が、動きベクトルの信用度情報を生成する動きベクトル信用度算出部を含み、前記近似度算出部が、前記動きベクトルの信用度情報に基づいて、前記対応する関係にある画素が前記近似度の算出に与える影響を変化させる構成を採用することができる。
【００２１】
ここで、前記動きベクトルの信用度情報が、画素の特徴量の局所的な変化の度合いを示す情報を含み、前記近似度算出部が、前記局所的な変化の度合いが大きいほど、前記画素が前記近似度の算出に与える影響を大きくする構成を採用することができる。
【００２２】
本発明の画像評価装置では、前記多視点画像評価部が、前記検出された動きベクトルのうち、隣接関係にある動きベクトル同士を比較し、動きベクトルの近似度を求める動きベクトル比較部と、前記複数の多視点画像のそれぞれに対して、前記動きベクトルの近似度の総和を評価値として求める評価値算出部とを含む構成を採用することができる。
【００２３】
本発明の画像評価装置では、前記動きベクトル比較部が、前記多視点画像に含まれる画像のうちの１つを着目画像としたときに、該着目画像の視点に対して第１の方向に隣接する１以上の視点の画像と前記着目画像とから検出された動きベクトルと、前記着目画像の視点に対して第１の方向とは反対側の第２の方向に隣接する１以上の視点の画像と前記着目画像とから検出された動きベクトルとを比較する構成を採用することができる。
【００２４】
本発明の画像評価装置は、ステレオ画像から、生成アルゴリズム及び生成時のパラメータのうちの少なくとも一方が相互に異なる複数の生成手法で前記多視点画像を生成し、前記多視点画像入力部に入力する多視点画像生成部を更に備える構成を採用することができる。
【００２５】
本発明の画像評価装置では、前記多視点画像生成部が、前記仮想視点から見たことを想定した画像の信用度情報を生成する対応点信用度情報評価部を含む構成を採用することができる。
【００２６】
本発明の画像評価装置は、前記生成手法選択部が選択した多視点画像の生成手法で生成された多視点画像を出力する選択画像出力部を更に備える構成を採用することができる。
【００２７】
本発明は、互いに視点が異なる２つの画像を含むステレオ画像に基づいて、複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる１以上の仮想視点から見たことを想定した画像を１つ以上含む複数の多視点画像を入力するステップと、前記複数の多視点画像のそれぞれにおいて、前記多視点画像に含まれる隣接する２以上の視点の画像に基づいて、該２以上の画像間の動きベクトルを検出するステップと、前記検出した動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行うステップと、前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択するステップとを有することを特徴とする画像評価方法を提供する。
【００２８】
本発明は、コンピュータに、互いに視点が異なる２つの画像を含むステレオ画像に基づいて、複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる１以上の仮想視点から見たことを想定した画像を１つ以上含む複数の多視点画像を入力する処理と、前記複数の多視点画像のそれぞれにおいて、前記多視点画像に含まれる隣接する２以上の視点の画像に基づいて、該２以上の画像間の動きベクトルを検出する処理と、前記検出された動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行う処理と、前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択する処理とを実行させることを特徴とするプログラムを提供する。
【発明の効果】
【００２９】
本発明の画像評価装置、方法、及びプログラムでは、多視点画像評価部が、多視点画像から検出された動きベクトルに基づいて、多視点画像のそれぞれに対して多視点画像の評価を行う。人間が多視点画像を観察した際に、画像が自然に見えるか否かは、隣接画像間の動きに基づいて判断できると考えられる。本発明では、動きベクトルに基づいて多視点画像を評価するため、人間の高度な判断を必要とせずに、多視点画像の複数の生成手法のうちで高い評価が得られる生成手法を判断することができる。
【００３０】
動きベクトルに基づく多視点画像の評価は、動きベクトルに基づいて予測画像を生成し、予測画像と、多視点画像に含まれる対応する視点の画像との近似度を求め、その近似度に基づいて行うことができる。人間が見て自然に見える多視点画像ほど、動きベクトルを用いて予測された画像と、多視点画像に含まれる対応する視点の画像との近似度が高いと考えられる。このため、予測画像の近似度に基づいて多視点画像の評価を行う構成を採用する場合、多視点画像ごとに予測画像の近似度を求め、それを評価値として評価を行うことで、多視点画像の複数の生成手法から、人が見て自然に見える生成手法を選択することができる。この処理は機械的に実行可能であるため、人間の高度な判断は必要がない。
【００３１】
動きベクトルに基づく多視点画像の評価は、隣接関係にある動きベクトル同士を比較し、その近似度に基づいて行うことができる。人間が見て自然に見える多視点画像ほど、隣接する動きベクトルは、似た動きを示すと考えられる。このため、動きベクトルの近似度に基づいて多視点画像の評価を行う構成を採用する場合、多視点画像ごとに動きベクトルの近似度を求め、それを評価値として評価を行うことで、多視点画像の複数の生成手法から、人が見て自然に見える生成手法を選択することができる。この処理も機械的に実行可能であるため、人間の高度な判断は必要がない。
【図面の簡単な説明】
【００３２】
【図１】本発明の第１実施形態の画像評価装置を示すブロック図。
【図２】画像評価装置の動作手順を示すフローチャート。
【図３】複数の多視点画像を示すブロック図。
【図４】手法Ａで生成された多視点画像における動きベクトル検出を例示するブロック図。
【図５】動きベクトルに基づく予測画像生成を例示するブロック図。
【図６】動きベクトルＬＡ１を用いて予測された画像と、多視点画像に含まれる画像との近似度計算を例示するブロック図。
【図７】動きベクトルＬＡ１に対するスコア算出を例示するブロック図。
【図８】手法Ａで生成された多視点画像の評価値算出を例示するブロック図。
【図９】本発明の第２実施形態の画像評価装置を示すブロック図。
【図１０】本発明の第３実施形態の画像評価装置を示すブロック図。
【図１１】信用度情報の一例を示す図。
【図１２】信用度情報の別の例を示す図。
【図１３】本発明の第４実施形態の画像評価装置を示すブロック図。
【図１４】本発明の第５実施形態の画像評価装置を示すブロック図。
【図１５】第５実施形態の画像評価装置の動作手順を示すフローチャート。
【図１６】動きベクトルの近似度の演算を例示するブロック図。
【発明を実施するための形態】
【００３３】
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の第１実施形態の画像評価装置を示している。画像評価装置１０は、多視点画像入力部１１、動きベクトル検出部１２、多視点画像評価部１３、生成手法選択部１４、及び選択画像出力部１５を備える。画像評価装置１０内の各部の機能は、コンピュータが所定のプログラムに従って処理を実行することで実現可能である。
【００３４】
多視点画像入力部１１は、互いに視点が異なる２つの画像を含むステレオ画像に基づいて生成された多視点画像を入力する。多視点画像入力部１１には、複数の多視点画像が入力される。複数の入力画像のそれぞれは、例えばアルゴリズム、及び／又はパラメータが相互に異なる複数の生成手法を用いて生成されている。各多視点画像は、合計で３つ以上の画像を含む。また、多視点画像は、ステレオ画像における視点とは異なる１以上の視点（仮想視点）から見たことを想定した画像を１つ以上含む。
【００３５】
多視点画像における仮想視点は、ほぼ、ステレオ画像における２つの視点間を結ぶ直線上に存在しているとする。また、ほぼ直線上に並ぶ仮想視点の隣接する視点間の間隔は、等間隔であるとする。仮想視点は、ステレオ画像における２つの視点よりも内側の視点であるとする。すなわち仮想視点は、ステレオ画像における２つの視点を結ぶ直線を所定の内分比で内分した点に対応する位置に存在するとする。或いは、仮想視点の一部又は全でが、ステレオ画像における２つの視点よりも外側に存在していてもかまわない。多視点画像は、生成元となるステレオ画像の各視点の画像（右目画像及び左目画像）の少なくとも一方を含む。或いは、多視点画像は、仮想視点から見た画像のみを含み、生成元である右目画像及び左目画像を含んでいなくてもよい。
【００３６】
動きベクトル検出部１２は、多視点画像に含まれる隣接する２以上の視点の画像に基づいて、２以上の画像間の動きベクトルを検出する。動きベクトル検出部１２は、複数の多視点画像のそれぞれで、動きベクトルの検出を行う。多視点画像評価部１３は、動きベクトル検出部１２で検出された動きベクトルに基づいて、複数の多視点画像のそれぞれに対し、多視点画像の評価を行う。生成手法選択部１４は、多視点画像の評価を比較し、複数の多視点画像の生成手法のうちで評価が最も高い生成手法を選択する。選択画像出力部１５は、選択された多視点画像の生成手法で生成された多視点画像を出力する。
【００３７】
多視点画像評価部１３は、予測画像生成部３１、近似度算出部３２、スコア算出部３３、及び評価値算出部３４を含む。予測画像生成部３１は、検出された動きベクトルに基づいて、動きベクトル検出元の画像とは異なる視点の画像を予測する。より詳細には、予測画像生成部３１は、多視点画像における視点のうち、動きベクトル検出元の画像よりも外側の１以上の視点の画像を予測する。すなわち予測画像生成部３１は、他視点画像における視点のうちで動きベクトル検出元の画像の視点以外の視点のうちの少なくとも１つの視点の画像を予測する。予測画像の生成には、任意の手法を用いることができる。
【００３８】
近似度算出部３２は、予測画像生成部３１が生成した予測画像と、多視点画像に含まれる画像とに基づいて、画像がどれだけ似ているかを表す近似度を求める。近似度算出部３２は、予測画像生成部３１が複数の画像を予測したときは、そのそれぞれについて、画像の近似度を求める。近似度算出部３２は、画像の近似度を求める際には、予測画像と、多視点画像のうちで予測画像の視点に対応する視点の画像とを比較し、近似度を求める。
【００３９】
スコア算出部３３は、動きベクトルから予測された１以上の予測画像に対して求められた画像の近似度の総和を求める。スコア算出部３３は、予測画像の近似度の総和を、予測画像の生成に用いられた動きベクトルごとに求める。つまり、スコア算出部３３は、予測画像に対して求められた近似度を、生成元の動きベクトルごとに集計する。例えば、ある動きベクトルを用いて生成された予測画像が３つあるとき、スコア算出部３３は、３つの予測画像のそれぞれに対して求められた近似度の和を求める。スコア算出部３３は、複数の予測画像の近似度の和を求める際には、近似度に何らかの重み付けを行った上で、近似度を集計してもよい。スコア算出部３３は、例えば、多視点画像から５つの動きベクトルが検出されているとき、それら５つの動きベクトルのそれぞれに対して、予測画像から求めた画像の近似度の総和を求める。
【００４０】
評価値算出部３４は、予測された画像に対して求められた近似度の総和を評価値として求める。評価値算出部３４は、入力された複数の多視点画像、すなわち複数の生成手法で生成された複数の多視点画像のそれぞれに対して評価値を計算する。より詳細には評価値算出部３４は、スコア算出部３３で動きベクトルごとに集計された近似度を、動きベクトルの検出元の多視点画像ごとに集計し、これを多視点画像に対する評価値として求める。
【００４１】
生成手法選択部１４は、複数の多視点画像に対する評価値を相互に比較し、評価が最も高い多視点画像の生成方法を、最適生成手法として選択する。例えば、近似度として、画像の近似度が高いほど近似度の値が大きくなるような近似度を使用した場合、生成手法選択部１４は評価値の値が最も大きい多視点画像の生成方法を選択する。逆に、近似度として画像の近似度が高いほど値が小さくなるような近似度を使用した場合には、生成手法選択部１４は評価値の値が最も小さい多視点画像の生成方法を選択すればよい。
【００４２】
図２は、画像評価装置の動作手順を示している。多視点画像入力部１１は、複数の生成手法で生成された複数の多視点画像を入力する（ステップＳ１１）。画像評価装置１０は、入力された多視点画像から未処理の多視点画像を１つ選択する（ステップＳ１２）。動きベクトル検出部１２は、ステップＳ１２で選択された多視点画像に含まれる画像から、隣接画像間の動きベクトルを検出する（ステップＳ１３）。動きベクトル検出のアルゴリズムには、任意のアルゴリズムを用いることができる。動きベクトル検出部１２は、例えば勾配法を用いて、画素ごとに動きベクトルを求める。
【００４３】
多視点画像評価部１３は、ステップＳ１３で検出された動きベクトルのうちで未処理の動きベクトルを１つ選択する（ステップＳ１４）。予測画像生成部３１は、ステップＳ１４で選択された動きベクトルを用いて予測画像を生成する（ステップＳ１５）。予測画像生成部３１は、ステップＳ１５では、選択された動きベクトルと、その動きベクトルの検出元となった画像とに基づいて、検出元の画像よりも外側の視点の画像を予測して生成する。予測画像生成部３１は、動きベクトル検出元の画像の両側に隣接する視点のうちの少なくとも１つを含む視点の画像を予測するものとする。予測画像生成のアルゴリズムには、フレーム間予測などの任意のアルゴリズムを用いることができる。
【００４４】
近似度算出部３２は、ステップＳ１５で生成された予測画像と、多視点画像に含まれる画像のうちで予測画像の視点に対応する視点の画像との近似度を求める（ステップＳ１６）。近似度算出部３２は、ステップＳ１４で選択された動きベクトルを用いて生成された予測画像のそれぞれに対して、画像の近似度を求める。
【００４５】
近似度算出部３２は、例えば予測画像と、多視点画像に含まれる画像のうちで予測画像の視点に対応する視点の画像とで、対応する位置関係にある画素における画素値に基づいて近似度を算出する。より詳細には、近似度算出部３２は、例えば予測画像と、多視点画像の対応する視点の画像とで同じ座標位置の画素の画素値の差分絶対値を求め、その差分絶対値の総和を近似度として算出する。これに代えて、或いは、加えて、近似度算出部３２は、同じ座標位置にある画素値の差分の分散を求め、その差分の分散を近似度に反映してもよい。
【００４６】
スコア算出部３３は、予測画像ごとに求められる画像の近似度の総和を計算する（ステップＳ１７）。スコア算出部３３は、計算した画像の近似度の総和を、ステップＳ１４で選択された動きベクトルに対するスコアとする。なお、動きベクトルを用いて生成された予測画像が１つのみ場合は、ステップＳ１６で求められる近似度の数は１つしかないので、その予測画像の近似度が動きベクトルに対するスコアとなる。
【００４７】
多視点画像評価部１３は、ステップＳ１３で検出された動きベクトルの中に未処理の動きベクトル、つまりステップＳ１４でまだ選択されていない動きベクトルが存在するか否かを判断する（ステップＳ１８）。未処理の動きベクトルがあるとき、多視点画像評価部１３は、ステップＳ１４に戻って動きベクトルを１つ選択する。多視点画像評価部１３は、ステップＳ１４からステップＳ１８までの処理を、未処理の動きベクトルがなくなるまで繰り返し実行し、動きベクトルごとのスコアを求める。
【００４８】
ステップＳ１８で未処理の動きベクトルがないと判断されると、評価値算出部３４は、動きベクトルごとに求められたスコアを合計し、それを多視点画像に対する評価値とする（ステップＳ１９）。評価値算出部３４は、例えばステップＳ１２で選択された多視点画像からステップＳ１３で５つの動きベクトルが検出されていたときは、５つの動きベクトルのそれぞれに対して算出されたスコアの合計を、ステップＳ１２で選択された多視点画像に対する評価値とする。
【００４９】
画像評価装置１０は、ステップＳ１１で入力された複数の多視点画像の中に未処理の多視点画像が存在するか否かを判断する（ステップＳ２０）。画像評価装置１０は、未処理の多視点画像が存在すると判断したときは、ステップＳ１２に戻って多視点画像を１つ選択する。画像評価装置１０は、未処理の多視点画像がなくなるまで、動きベクトル検出部１２及び多視点画像評価部１３を用いてステップＳ１２からステップＳ２０までの処理を繰り返し実行し、各多視点画像に対する評価値を求める。
【００５０】
ステップＳ２０で未処理の多視点画像が存在しないと判断されると、生成手法選択部１４は、各多視点画像に対して求められた評価値を比較する（ステップＳ２１）。生成手法選択部１４は、評価値が最も高い多視点画像の生成手法を最適生成手法として選択する。なお、評価が最も高い多視点画像の生成手法を選択することと、評価が最も高い多視点画像そのものを選択することとは同義である。選択画像出力部１５は、ステップＳ１１で入力された複数の多視点画像のうち、生成手法選択部１４が選択した生成手法で生成された多視点画像を出力する（ステップＳ２２）。出力された多視点画像は、例えば立体表示が可能なディスプレイに表示される。或いは、出力された多視点画像は、３Ｄプリントとして印刷される。
【００５１】
以下、具体例を交えつつ、動作を詳細に説明する。図３は、複数の多視点画像を例示している。図３では、多視点画像の生成手法として、手法Ａ、手法Ｂ、手法Ｃの３つを想定している。ステレオ画像（Ｌ、Ｒ）は、多視点画像の生成元の画像である。各多視点画像は、ステレオ画像の画像Ｌの視点と画像Ｒの視点との内側に存在する４つの仮想視点のそれぞれから見たことを想定した画像を含む。各多視点画像は、中間視点画像生成やモーフィングなどのアルゴリズムを用いてステレオ画像から生成される。
【００５２】
手法Ａで生成された多視点画像は、生成元であるステレオ画像（Ｌ、Ｒ）と、４つの仮想視点の画像（Ａ１〜Ａ４）とを含む。手法Ｂで生成された多視点画像は、ステレオ画像（Ｌ、Ｒ）と、４つの仮想視点画像（Ｂ１〜Ｂ４）とを含む。手法Ｃで生成された多視点画像は、ステレオ画像（Ｌ、Ｒ）と、４つの仮想視点画像（Ｃ１〜Ｃ４）とを含む。各多視点画像における仮想視点は、画像Ｌの視点と画像Ｒの視点とを結ぶ直線上に、ほぼ等間隔で並んでいるとする。
【００５３】
図４は、手法Ａで生成された多視点画像における動きベクトル検出を例示している。動きベクトル検出部１２は、隣接する視点の画像間の動きベクトルを検出する。より詳細には、動きベクトル検出部１２は、画像Ｌと画像Ａ１との間、画像Ａ１と画像Ａ２との間、画像Ａ２と画像Ａ３との間、画像Ａ３と画像Ａ４との間、及び画像Ａ４と画像Ｒとの間の動きベクトルをそれぞれ検出する。なお、動きベクトルの検出に際しては、隣接画像以外の画像の情報を用いることも可能である。例えば、画像Ｌと画像Ａ１との間の動きベクトルを検出する際に、画像Ａ２を参照することも可能である。
【００５４】
画像Ｌと画像Ａ１との間の動きベクトルの検出について、具体的に説明する。動きベクトル検出部１２は、例えば勾配法を用いて、画素ごとの動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）を求める。動きベクトル検出部１２は、ＹＬ（ｘ，ｙ）を画像Ｌにおける座標（ｘ，ｙ）の画素の輝度、ＹＡ１（ｘ，ｙ）を画像Ａ１における座標（ｘ，ｙ）の画素の輝度として、画像Ｌの画素ごとの輝度ＹＬ（ｘ，ｙ）に対して、下記の拘束方程式を解く。
【数１】
動きベクトル検出部１２は、上記拘束方程式に対して、拘束条件「動きは局所的に滑らか」を課し、注目画素の周囲の画素の拘束方程式と組み合わせて、動きベクトルｕ（ｘ，ｙ）とｖ（ｘ、ｙ）とを求める。
【００５５】
なお、多視点画像において、隣接する視点間で垂直方向（画像Ｌの視点と画像Ｒの視点とを結ぶ直線に直交する方向）の変位がないと仮定すると、ｖ（ｘ，ｙ）＝０とすることができる。この場合、上記拘束方程式は、下記のように表わすことができる。
【数２】
垂直方向の変位がないとした場合、動きベクトル検出部１２は、「滑らか」の拘束条件なしに、画素ごとに一意に動きベクトルｕ（ｘ，ｙ）を求めることができる。
【００５６】
図５は、動きベクトルに基づく予測画像生成を例示している。図５では、画像Ｌと画像Ａ１との間の動きベクトル（動きベクトルＬＡ１）に基づく予測画像の生成を示している。予測画像生成部３１は、動きベクトルＬＡ１と、画像Ｌ及び／又は画像Ａ１とから、画像Ｌ及び画像Ａ１よりも外側の視点の画像を予測する。一般に、予測画像は、隣接視点間の画像の変化分（動きベクトル）を検出し、その変化分に基づいて、隣の視点の画像を生成することで生成可能である。予測画像生成部３１は、動きベクトルＬＡ１を用いて、多視点画像を構成する画像Ｌ、画像Ａ１〜Ａ４、及び画像Ｒのうち、動きベクトルＬＡ１の検出元の画像以外の画像（画像Ａ２〜Ａ４及び画像Ｒ）の視点に対する予測画像（予測画像Ａ２〜Ａ４及び予測画像Ｒ）を生成する。
【００５７】
図６は、動きベクトルＬＡ１を用いて予測された画像と、多視点画像に含まれる画像との近似度計算を例示している。近似度には、例えば両画像間で各画素がどれだけ一致するかを示す一致度を用いることができる。一致度には、画素値の差分絶対値の総和、又は画素値の差分の分散を用いることができる。或いは、差分絶対値の総和と差分の分散とを組み合わせて、これを一致度としてもよい。
【００５８】
具体的には、画素値が輝度信号Ｙと色差信号Ｃｒ、Ｃｂとで表わされるとき、近似度算出部３２は、下記式を用いて、予測画像における各画素の画素値と、多視点画像に含まれる対応する視点の画像における各画素の画素値との差分絶対値の総和を計算する。
一致度=aΣ|Y予測(x,y)-Y入力(x,y)|
+bΣ|Cr予測(x,y)-Cr入力(x,y)|
+cΣ|Cb予測(x,y)-Cb入力(x,y)|
ここで、輝度信号Ｙ予測（ｘ，ｙ）は、動きベクトルを用いて予測された画像の座標（ｘ，ｙ）における輝度値を表わし、輝度信号Ｙ入力（ｘ，ｙ）は、多視点画像に含まれる対応する視点の画像の座標（ｘ，ｙ）における輝度値を表わす。色差信号Ｃｒ、Ｃｂも同様である。ａ、ｂ、ｃは係数であり、例えばａ＝１、ｂ＝ｃ＝０．５とする。
【００５９】
また、近似度算出部３２は、下記式を用いて、予測画像における各画素の画素値と、多視点画像に含まれる対応する視点の画像における各画素の画素値との差分の分散を計算してもよい。
一致度=aΣ((Y予測(x,y)-Y入力(x,y))-平均(Y予測-Y入力))2
+bΣ((Cr予測(x,y)-Cr入力(x,y))-平均(Cr予測-Cr入力))2
+cΣ((Cr予測(x,y)-Cr入力(x,y))-平均(Cr予測-Cr入力))2
ａ、ｂ、ｃは係数であり、例えば上記と同様に、ａ＝１、ｂ＝ｃ＝０．５とすることができる。なお、上記では輝度信号と色差信号Ｃｒ、Ｃｂとの双方を用いて一致度を計算しているが、これには限定されず、画素値のうち、例えば輝度信号のみを用いて一致度を計算してもかまわない。近似度算出部３２は、予測画像生成部３１が生成した予測画像のそれぞれに対し、すなわち予測画像Ａ２〜Ａ４及び予測画像Ｒのそれぞれに対して、画像の一致度を算出する。
【００６０】
図７は、動きベクトルＬＡ１に対するスコア算出を例示している。スコア算出部３３は、図６で求められた各予測画像の一致度の総和を、動きベクトルＬＡ１に対するスコアとして求める。その際、スコア算出部３３は、動きベクトルの検出元である画像Ｌ、Ａ１の視点から各予測画像の視点までの距離に応じて重み付けした上で、各予測画像の一致度の総和を求めることができる。
【００６１】
具体的には、スコア算出部３３は、下記式を用いて、動きベクトルＬＡ１に対するスコアを算出することができる。
スコア＝ｗ１×一致度（予測Ａ２）＋ｗ２×一致度（予測Ａ３）
＋ｗ３×一致度（予測Ａ４）＋ｗ４×一致度（予測Ｒ）
ｗ１〜ｗ４は距離に応じた重み（係数）であり、例えばｗ１＝１．０、ｗ２＝０．５、ｗ３＝０．２５、ｗ４＝０・１２５とする。このような重み付けを行う場合、より動きベクトル検出元の画像の視点から近い予測画像の近似度ほど、スコアに与える影響を大きくすることができる。
【００６２】
予測画像生成部３１は、図４に示す動きベクトルＬＡ１以外の動きベクトルについても、同様に予測画像を生成する。より詳細には、予測画像生成部３１は、動きベクトルＡ１Ａ２を用いて予測画像Ｌ、予測画像Ａ３、Ａ４、予測画像Ｒを生成する。予測画像生成部３１は、動きベクトルＡ２Ａ３を用いて予測画像Ｌ、予測画像Ａ１、Ａ４、予測画像Ｒを生成する。予測画像生成部３１は、動きベクトルＡ３Ａ４を用いて予測画像Ｌ、予測画像Ａ１、Ａ２、予測画像Ｒを生成する。予測画像生成部３１は、動きベクトルＡ４Ｒを用いて予測画像Ｌ、予測画像Ａ１〜Ａ３を生成する。近似度算出部３２は、予測画像生成部３１が生成した予測画像のそれぞれに対して画像の一致度を算出する。
【００６３】
スコア算出部３３は、動きベクトルごとに、予測画像の近似度の総和をスコアとして求める。より詳細には、スコア算出部３３は、動きベクトルＡ１Ａ２を用いて生成された予測画像Ｌ、予測画像Ａ３、Ａ４、予測画像Ｒの一致度の総和を、動きベクトルＡ１Ａ２に対するスコアとする。また、スコア算出部３３は、動きベクトルＡ２Ａ３を用いて生成された予測画像Ｌ、予測画像Ａ１、Ａ４、予測画像Ｒの一致度の総和を、動きベクトルＡ２Ａ３に対するスコアとする。スコア算出部３３は、動きベクトルＡ３Ａ４を用いて生成された予測画像Ｌ、予測画像Ａ１、Ａ２、予測画像Ｒの一致度の総和を、動きベクトルＡ３Ａ４に対するスコアとする。スコア算出部３３は、動きベクトルＡ４Ｒを用いて生成された予測画像Ｌ、予測画像Ａ１〜Ａ３の一致度の総和を、動きベクトルＡ４Ｒに対するスコアとする。
【００６４】
なお、図５では、画像Ｌ、Ａ１から検出された動きベクトルを用いて他の全ての視点の画像を予測する例を説明したが、予測画像生成部３１は、必ずしも他の全ての視点の予測画像を生成する必要はない。また、図６では、他の全ての視点の予測画像の近似度（一致度）を、動きベクトルのスコア算出に用いる例を説明したが、スコア算出部３３は、必ずしもスコア算出に他の全ての視点の予測画像の近似度を用いる必要はない。例えば、予測画像生成部３１で検出元の画像に隣接する視点の予測画像のみを生成し、近似度算出部３２でその予測画像に対して近似度を求め、スコア算出部３３で近似度に基づいて動きベクトルに対するスコアを算出してもよい。例えば、動きベクトルの検出元の画像が画像Ａ１、Ａ２である場合、それらの視点に隣接する視点の画像は、画像Ｌと画像Ａ３の２つの画像があるが、予測画像生成部３１は、それらのうちの少なくとも一方の画像を予測すればよい。
【００６５】
図８は、手法Ａで生成された多視点画像の評価値算出を例示している。評価値算出部３４は、動きベクトルごとに求められたスコアの合計を、手法Ａの多視点画像に対する評価値として算出する。より詳細には、評価値算出部３４は、図４に示す動きベクトルＬＡ１、動きベクトルＡ１Ａ２、動きベクトルＡ２Ａ３、動きベクトルＡ３Ａ４、及び動きベクトルＡ４Ｒのそれぞれに対して求められたスコアの総和を、手法Ａの多視点画像に対する評価値として算出する。
【００６６】
動きベクトル検出部１２は、他の手法、すなわち図３の手法Ｂ、手法Ｃのそれぞれで生成された多視点画像に対しても、図４と同様な処理で、隣接する画像間の動きベクトルを検出する。予測画像生成部３１は、図５と同様な処理で、各手法で生成された多視点画像から検出された動きベクトルのそれぞれを用いて予測画像を生成する。近似度算出部３２は、図６と同様な処理で、予測画像の近似度を求める。スコア算出部３３は、図７と同様な処理で、動きベクトルごとのスコアを算出する。評価値算出部３４は、他の手法、すなわち図３の手法Ｂ、手法Ｃのそれぞれで生成された多視点画像に対しても、図８と同様な処理で、評価値を算出する。
【００６７】
生成手法選択部１４は、各多視点画像に対して求められた評価値を相互に比較し、評価が最も高い多視点画像の生成手法を最適生成手法として決定する。例えば、画像の近似度として差分絶対値の総和を用いる場合、画像間の各画素の輝度信号及び色度信号が一致するほど差分の絶対値の値は小さくなる。従って、一致度の値が小さいほど、予測された画像と多視点画像に含まれる画像とにおける画素は、一致していることなる。その場合、生成手法選択部１４は、各多視点画像に対して求められた評価値のうち、値が最小になる評価値を持ち多視点画像の生成手法を最適生成手法として決定する。選択画像出力部１５は、選択された手法の多視点画像、すなわち評価が最も高い多視点画像を出力する。
【００６８】
本実施形態では、多視点画像入力部１１は、ステレオ画像から複数の生成手法を用いて生成された複数の多視点画像を入力し、動きベクトル検出部１２は、複数の多視点画像のそれぞれにおいて、隣接する視点の画像間の動きベクトルを検出する。多視点画像評価部１３は、検出された動きベクトルに基づいて、多視点画像のそれぞれに対して多視点画像の評価を行う。生成手法選択部１４は、多視点画像の評価を比較し、最も評価が高い多視点画像の生成手法を最適生成手法として選択する。人間が多視点画像を観察した際に、画像が自然に見えるか否かは、隣接画像間の動きに基づいて判断できると考えられる。本実施形態では、画像評価装置１０は、複数の多視点画像に対する評価の仕組みを持つため、人間の高度な判断を必要とせずに、複数の生成手法のうちで最も高い評価が得られる生成手法を判断することができる。
【００６９】
特に、本実施形態では、予測画像生成部３１は、動きベクトルに基づいて他の視点の画像を予測し、近似度算出部３２は、その予測画像と多視点画像に含まれる対応する視点の画像との近似度を求める。スコア算出部３３は、動きベクトルごとに予測画像の近似度の総和を求め、評価値算出部３４は、動きベクトルごとの近似度の総和を合計し、これを多視点画像に対する評価値とする。求められた評価値が高いほど、すなわち各動きベクトルを用いて予測された画像と、多視点画像に含まれる対応する視点の画像との近似度が高いほど、その多視点画像は、表示に適した多視点画像であると考えられる。従って、生成手法選択部１４にて、評価値に基づいて最適生成手法を選択し、選択画像出力部１５から、選択された生成手法で生成された多視点画像を出力することで、入力された複数の多視点画像のうち、表示に適した多視点画像の選択・出力が可能になる。
【００７０】
ここで、観察者は、表示された多視点の立体画像を観察するとき、通常、表示装置を動かしながら、或いは、自身が動きながら画像を観察する。つまり観察者は、立体画像を運動する（回転する）対象として観察していることになる。従って、多視点画像は、運動する一連の（複数の）対象として評価したときに評価値が高いものの方が、より表示に適した画像であると言える。これが、動き予測系のアルゴリズムを用いて予測画像を生成し、その予測画像の近似度の評価を行う理由である。一方、ステレオ画像から複数の多視点画像を生成する際には、主に、内挿・補間処理を行うため、動き予測系のアルゴリズムは使用しにくい。従って、多視点画像の生成には、内挿処理を得意とするモーフィングや中間視点画像生成等のアルゴリズムを用いることが好適である。本実施形態では、多視点画像の生成に適したアルゴリズムと、評価に適したアルゴリズムとを使い分けることで、効率的、かつ、人が見て自然な感じがする多視点立体画像の評価が可能である。
【００７１】
なお、上記実施形態の説明では、評価値算出部３４は、スコア算出部３３で動きベクトルごとに集計された予測画像の近似度を、更に多視点画像ごとに集計しているが、評価値算出の手法はこれには限定されない。例えば、図１に示す構成からスコア算出部３３を省き、評価値算出部３４で、多視点画像ごとに、その多視点画像から検出された動き予測ベクトルを用いて予測された画像の近似度の総和を求め、それを多視点画像に対する評価値として求めてもよい。
【００７２】
次いで、本発明の第２実施形態を説明する。図９は、本発明の第２実施形態の画像評価装置を示している。本実施形態の画像評価装置１０ａは、図１に示す画像評価装置１０の構成に加えて、ステレオ画像入力部１６、複数の多視点画像生成部１７、及び多視点画像出力部１８を備える。図９では、多視点画像の生成手法として生成手法１から生成手法Ｎ（Ｎは２以上の整数）までを想定しており、画像評価装置１０ａは、多視点画像生成部１７−１から多視点画像生成部１７−ＮまでのＮ個の多視点画像生成部を有する。
【００７３】
ステレオ画像入力部１６は、互いに視点が異なる２つの画像を含むステレオ画像を入力する。ステレオ画像は、典型的には、右目用画像と左目用画像とから成る。多視点画像生成部１７−１〜１７−Ｎは、それぞれ、ステレオ画像から、ステレオ画像における視点とは異なる１以上の仮想視点から見たことを想定した画像を１つ以上含む多視点画像を生成する。多視点画像生成部１７−１〜１７−Ｎは、それぞれ、任意の中間視点画像作成アルゴリズムを用いて多視点画像を生成する。多視点画像生成部１７−１〜１７−Ｎのそれぞれにおける生成アルゴリズム及び生成時のパラメータのうちの少なくとも一方は、相互に異なる。
【００７４】
各多視点画像生成部１７は、典型的には、対応点検出部７１、中間視点画像生成部７２、中間視点画像補正部７３、及び対応点信用度評価部７４を有する。対応点検出部７１は、ステレオ画像に含まれる２つの視点の画像間の対応点を探索する。中間視点画像生成部７２は、あらかじめ設定された中間視点画像の視点位置に応じた内分点の位置を求め、その位置に、ステレオ画像の画素（色）をマッピングする。対応点信用度評価部７４は、対応点検出部７１が検出した対応点の信用度を評価する。中間視点画像補正部７３は、信用度を参照して、例えばオクルージョン領域と判定された領域の画素を補完する。
【００７５】
多視点画像生成の際のアルゴリズムのバリエーションには、以下に記すようなアルゴリズムがあり、多視点画像生成部１７−１〜１７−Ｎは、それらを適宜組み合わせて、手法１〜手法ＮまでのＮ通りの生成手法で、多視点画像を生成する。
【表１】
【００７６】
多視点画像生成部１７−１〜１７−Ｎは、それぞれ、生成した多視点画像を多視点画像出力部１８に出力する。多視点画像出力部１８は、多視点画像入力部１１に複数の多視点画像を出力する。多視点画像入力部１１に複数の多視点画像が入力された後の画像評価装置１０ａの動作は、第１実施形態で説明した動作（図２）と同様である。すなわち画像評価装置１０ａは、動きベクトルを検出し、検出した動きベクトルを用いて予測画像を生成し、予測画像の近似度を求めてその総和（スコア）を計算し、スコアの総和を多視点画像に対する評価値として算出する。また、画像評価装置１０ａは、評価値に基づいて最適生成手法を選択し、その生成手法で生成された多視点画像を出力する。
【００７７】
本実施形態では、画像評価装置１０ａが、複数の生成手法で多視点画像を生成する複数の多視点画像生成部１７を備えている。本実施形態では、画像評価装置１０ａ自体が複数の多視点画像を生成するため、画像評価装置１０ａに対する入力はステレオ画像でよく、入力がシンプルとなる。その他の効果は、第１実施形態と同様である。すなわち画像評価装置１０ａは、人間の高度な判断を必要とせずに、人が見て自然に見える多視点画像の生成手法を判断することができる。また、入力された複数の多視点画像のうち、表示に適した多視点画像を出力することが可能である。
【００７８】
次に、本発明の第３実施形態を説明する。図１０は、本発明の第３実施形態の画像評価装置を示している。本実施形態の画像評価装置１０ｂは、図９に示す第２実施形態の画像評価装置１０ａの構成に加えて、多視点画像信用度情報出力部１９と、多視点画像信用度情報入力部２０とを備える。本実施形態の画像評価装置１０ｂは、多視点画像（仮想視点画像）の信用度情報を考慮して予測画像の近似度を演算する点で、第２実施形態の画像評価装置１０ａと相違する。その他の点は、第２実施形態と同様である。
【００７９】
各多視点画像生成部１７の対応点信用度評価部７４は、仮想視点の画像の生成に際して、仮想視点画像とステレオ画像との相関度や、周囲の対応点との連続性などを評価する。対応点信用度評価部７４は、例えば画素ごとに評価値を求め、その評価値を信用度情報として出力する。或いは、対応点信用度評価部７４は、画素がオクルージョンと判定されたか否かを示すフラグや、ブロックマッチングに用いたウィンドウサイズなどを、信用度情報として出力してもよい。対応点信用度評価部７４は、ステレオ画像から生成した仮想視点の画像のそれぞれ（例えば図３のＡ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ１〜Ｃ４）に対して、信用度情報を出力する。
【００８０】
多視点画像信用度情報出力部１９は、多視点画像生成部１７−１〜１７−Ｎから、それぞれの対応点信用度評価部７４で得られた信用度に関する情報を受け取る。多視点画像信用度情報出力部１９は、多視点画像信用度情報入力部２０に、信用度情報を出力する。多視点画像信用度情報入力部２０は、信用度情報が入力されると、入力された信用度情報を近似度算出部３２に与える。近似度算出部３２は、信用度情報を用いて、動きベクトルに基づいて予測された画像と、その予測画像に対応する視点の画像との近似度を演算する。より詳細には、近似度算出部３２は、予測画像と、その予測画像に対応する視点の画像とで対応する関係にある画素が近似度の算出に与える影響を、信用度情報に応じて変化させて、近似度を演算する。
【００８１】
図１１は、信用度情報の一例を示している。信用度情報は、例えば０又は１の２値で表わされる。対応点信用度評価部７４は、ステレオ画像の右目用画像又は左目用画像の何れか一方のみからマッピングした画素の信用度を“０”とし、双方の画像からマッピングできた画素の信用度を“１”とする。図９では、信用度情報“０”の画素を黒色で表わし、信用度情報“１”の画素を白色で表わしている。中間視点画像において、信用度情報“０”の画素の領域はオクルージョン領域に相当し、信用度情報“１”の画素の領域は非オクルージョン領域に相当する。
【００８２】
ここで、非オクルージョン領域の画素は、ステレオ画像の双方の画像からマッピングされた画素であるため、複数の生成手法の何れを用いても、マッピングされた画素の輝度や色度などは、生成手法間で大差ないと考えられる。一方、オクルージョン領域の画素は、ステレオ画像うちの一方の画像のみからしかマッピングできない画素であるため、多視点画像生成のアルゴリズムやパラメータに依存してマッピングの仕方が変わってくる可能性がある。従って、仮想視点画像の評価では、オクルージョン領域に該当する画素が自然に見えるか否かが特に重要であると考えることができる。
【００８３】
そこで、本実施形態では、近似度算出部３２は、オクルージョン領域に該当する画素が近似度の算出に与える影響を、非オクルージョン領域に該当する領域の画素が近似度の算出に与える影響を大きくして、画像全体の近似度を演算する。例えば、近似度算出部３２は、差分絶対値の総和を求める際に、画素ごとに、信用度情報に基づく重み付けを行う。画素ごとの重みは、座標（ｘ，ｙ）の画素の信用度情報を信用度（ｘ，ｙ）として、例えば下記式で定義する。
Ｗｅｉｇｈｔ（ｘ，ｙ）＝１．０＋（１−信用度（ｘ，ｙ））×０．２
近似度算出部３２は、例えば上記式で定義される重みを用いて、下記式で画像の近似度（一致度）を算出する。
一致度=aΣ(Weight(x,y)×|Y予測(x,y)-Y入力(x,y)|)
+bΣ（Weight(x,y)×|Cr予測(x,y)-Cr入力(x,y)|）
+cΣ（Weight(x,y)×|Cb予測(x,y)-Cb入力(x,y)|）
【００８４】
図１２は、信用度情報の別の例を示す。図１２では、相関度に関する情報を信用度情報として用いており、信用度情報は０〜２５５までの２５６段階の値を持つ。図１２では、各画素の信用度（相関度）を、０（黒）〜２５５（白）までのグレースケールで表現している。例えば、図１２では、左右何れかの画像のみからマッピングされた画素（オクルージョン領域の画素）は、信用度が０である。また、図１２では、人物のうちの顔の部分はパターンが少なく、相関度はあまり高くない。人物のうちの服の部分は、パターンが豊富で、相関度が高い。背景のうち、空の部分（背景の上部）はパターンがなく、相関度が低い。背景の道路面（背景の下部）はパターンが豊富で、相関度が高い。
【００８５】
近似度算出部３２は、信用度情報が相関度で表わされるとき、相関度が低い画素が近似度の算出に与える影響を大きくし、相関度が高い画素が近似度の算出に与える影響を大きくして、画像全体の近似度を演算する。例えば、近似度算出部３２は、下記式で定義される重みを用いて近似度（一致度）を算出する。
Ｗｅｉｇｈｔ（ｘ，ｙ）＝２５５−信用度（ｘ，ｙ）
上記のように定義した重みを用いて上記の一致度の計算式を計算することで、各画素が画像全体の近似度の計算に与える影響を相関度に応じて変化させることができる。
【００８６】
本実施形態では、近似度の演算に、多視点画像の信用度情報を用いている。信用度情報を参照することで、多視点画像の生成時に、誤差が大きいと思われる領域を特定することが可能である。誤差が大きいと思われる領域は、不自然に見えやすい領域に相当するため、近似度の演算に際しては、そのような領域を重点的に調べることが好ましい。すなわち不自然に見えやすい領域の画素が、近似度の演算に与える影響を大きくすることが好ましい。本実施形態では、多視点画像の信用度情報を用いて画素が近似度の演算に与える影響を変化させているため、近似度の演算を、より適切に行うことができる。その他の効果は、第２実施形態と同様である。
【００８７】
次に、本発明の第４実施形態を説明する。図１３は、本発明の第４実施形態の画像評価装置を示している。本実施形態の画像評価装置１０ｃは、図９に示す第２実施形態の画像評価装置１０ａの構成に加えて、動きベクトル信用度算出部２１を備える。本実施形態の画像評価装置１０ｃは、動きベクトルの信用度情報を考慮して予測画像の近似度を演算する点で、第２実施形態の画像評価装置１０ａと相違する。その他の点は、第２実施形態と同様である。
【００８８】
動きベクトル信用度算出部２１は、動きベクトルの信用度情報を生成する。動きベクトル信用度算出部２１は、画素における特徴量の強さを、動きベクトルの信用度として算出する。動きベクトル信用度算出部２１は、例えば画素の局所的な輝度変化の大きさを特徴量として、信用度を算出する。具体的には、動きベクトル信用度算出部２１は、勾配法を用いた動き予測（動きベクトル）の計算で得られた値を用いて、下記式で信用度を算出する。
【数３】
この場合、信用度の値が大きいほど、強い特徴を持つ場所ということができる。
【００８９】
近似度算出部３２は、動きベクトルの信用度情報に基づいて、予測画像と、それに対応する視点の画像とで対応する関係にある画素が、近似度の算出に与える影響を変化させる。近似度算出部３２は、例えば上記式で定義される各画素の信用度を、近似度計算の際の重みとして用いる。近似度算出部３２は、画素ごとに重み付けを行って、画素値の差分絶対値の総和などを計算する。重みとして、上記式で定義される信用度を用いることで、近似度算出部３２は、強い特徴を持つ画素ほど、すなわち輝度などの局所的な変化の度合いが大きい画素ほど、その画素が画像全体の近似度の算出に与える影響を大きくすることができる。
【００９０】
本実施形態では、近似度の演算に、動きベクトルの信用度情報を用いている。信用度情報を参照することで、強い特徴を持つ場所（画素位置）を特定することが可能である。強い特徴を持つ場所は、人目につきやすいため、近似度の演算に際しては、そのような領域を重点的に調べることが好ましい。すなわち強い特徴を持つ領域の画素が、近似度の演算に与える影響を大きくすることが好ましい。本実施形態では、動きベクトルの信用度情報を用いて画素が近似度の演算に与える影響を変化させているため、近似度の演算を、より適切に行うことができる。その他の効果は、第２実施形態と同様である。
【００９１】
また、本実施形態は、第３実施形態に比して、以下のようなメリットがある。すなわち第３実施形態では、多視点画像生成時の情報（中間演算情報）を信用度情報としているため、近似度を演算する手段は、多視点画像を生成する手段から、信用度の情報を受け取る必要がある。また、多視点画像の生成アルゴリズムに依存して、出力可能な中間演算情報が異なる場合もあり、第３実施形態の画像評価装置は、多視点画像生成のアルゴリズムとして利用可能なアルゴリズムが制限されることがある。本実施形態では、動きベクトルの信用度情報を用いるので、多視点画像生成の際に用いるアルゴリズムが特に制限されることがない。また、多視点画像生成時の中間演算情報が必要ないので、例えば図１に示す第１実施形態の画像評価装置１０のように、画像評価装置が多視点画像を生成する部分を含まない場合にも適用が容易である。
【００９２】
続いて、本発明の第５実施形態を説明する。図１４は、本発明の第５実施形態の画像評価装置を示している。本実施形態の画像評価装置１０ｄは、図９に示す第２実施形態の画像評価装置１０ａとは、多視点画像評価部１３の部分の構成が異なる。本実施形態の画像評価装置１０ｄにおける多視点画像評価部１３ａは、動きベクトル比較部３５と、評価値算出部３６とを有する。本実施形態の画像評価装置１０ｄは、多視点画像に対する評価値の算出手法が、第２実施形態の画像評価装置１０ａにおける評価値算出手法とは異なる。その他の点は、第２実施形態と同様である。
【００９３】
動きベクトル比較部３５は、動きベクトル検出部１２で検出された動きベクトルのうち、隣接関係にある動きベクトル同士を相互に比較する。より詳細には、動きベクトル比較部３５は、多視点画像に含まれる画像のうちの１つを着目画像としたときに、その着目画像と、着目画像の視点に対して第１の方向に隣接する視点の画像とから検出された動きベクトルと、着目画像と、着目画像の視点に対して第１の方向とは反対側の第２の方向に隣接する視点の画像とから検出された動きベクトルとを比較する。なお、動きベクトルが、隣接する３以上の画像から検出されている場合、動きベクトル比較部３５は、着目画像と、着目画像の視点に対して第１の方向に隣接する２以上の視点の画像とから検出された動きベクトルと、着目画像と、着目画像の視点に対して第２の方向に隣接する視点の２以上の画像とから検出された動きベクトルとを比較すればよい。
【００９４】
動きベクトル比較部３５は、隣接する関係にある動きベクトル同士を比較し、動きベクトルの近似度を求める。評価値算出部３６は、複数の多視点画像のそれぞれに対して、動きベクトルの近似度の総和を評価値として求める。例えば、ある多視点画像から、第１〜第４までの４つの動きベクトルが検出されているとき、評価値算出部３６は、第１の動きベクトルと第２の動きベクトルとの近似度、第２の動きベクトルと第３の動きベクトルとの近似度、及び第３の動きベクトルと第４の動きベクトルとの近似度の総和を、動きベクトル検出元の多視点画像に対する評価値として求める。
【００９５】
図１５は、第５実施形態の画像評価装置の動作手順を示している。多視点画像生成部１７−１〜１７−Ｎは、それぞれ、ステレオ画像入力部１６から入力されたステレオ画像に基づいて多視点画像を生成する。多視点画像出力部１８は、多視点画像入力部１１に複数の多視点画像を出力する。多視点画像入力部１１は、複数の生成手法で生成された複数の多視点画像を入力する（ステップＳ３１）。
【００９６】
画像評価装置１０ｄは、入力された多視点画像から、未処理の多視点画像を１つ選択する（ステップＳ３２）。動きベクトル検出部１２は、ステップＳ３２で選択された多視点画像に含まれる画像から、隣接画像間の動きベクトルを検出する（ステップＳ３３）。動きベクトル検出のアルゴリズムには、任意のアルゴリズムを用いることができる。動きベクトル検出部１２は、例えば勾配法を用いて、画素ごとに動きベクトルを求める。ここまでの動作は、第２実施形態における動作と同様である。
【００９７】
動きベクトル比較部３５は、ステップＳ３３で検出された動きベクトルのうち、隣接する関係にある動きベクトル同士を比較し、近似度を求める（ステップＳ３４）。動きベクトル比較部３５は、例えば各画素の動きベクトルの変化量の大きさの二乗の総和を、動きベクトルの近似度（一致度）として求める。或いは、動きベクトル比較部３５は、各画素の動きベクトルの変化の角度の絶対値の総和を、動きベクトルの一致度として求めてもよい。評価値算出部３６は、動きベクトル間の近似度の総和を求め、それをステップＳ３２で選択された多視点画像に対する評価値とする（ステップＳ３５）。
【００９８】
画像評価装置１０ｄは、ステップＳ３１で入力された複数の多視点画像の中に、未処理の多視点画像が存在するか否かを判断する（ステップＳ３６）。画像評価装置１０ｄは、未処理の多視点画像が存在すると判断したときは、ステップＳ３２に戻って多視点画像を１つ選択する。画像評価装置１０ｄは、未処理の多視点画像がなくなるまで、動きベクトル検出部１２及び多視点画像評価部１３を用いてステップＳ３２からステップＳ３５までの処理を繰り返し実行し、各多視点画像に対する評価値を求める。
【００９９】
ステップＳ３６で未処理の多視点画像が存在しないと判断されると、生成手法選択部１４は、各多視点画像に対して求められた評価値を比較する（ステップＳ３７）。生成手法選択部１４は、評価値が最も高い多視点画像の生成手法を最適生成手法として選択する。選択画像出力部１５は、ステップＳ３１で入力された複数の多視点画像のうち、生成手法選択部１４が選択した生成手法で生成された多視点画像を出力する（ステップＳ３８）。出力された多視点画像は、例えば立体表示が可能なディスプレイに表示される。或いは、出力された多視点画像は、３Ｄプリントとして印刷される。
【０１００】
図１６は、動きベクトルの近似度の演算を例示している。図４と同様に、手法Ａで生成された多視点画像（画像Ｌ、Ａ１〜Ａ４、Ｒ）と、隣接画像間から検出された動きベクトル（動きベクトルＬＡ１、Ａ１Ａ２、Ａ２Ａ３、Ａ３Ａ４、Ａ４Ｌ）とを考える。動きベクトル比較部３５は、動きベクトルＬＡ１と動きベクトルＡ１Ａ２とから、両ベクトル間の近似度を求める。また、動きベクトル比較部３５は、動きベクトルＡ１Ａ２と動きベクトルＡ２Ａ３とから、両ベクトル間の近似度を求める。動きベクトル比較部３５は、動きベクトルＡ２Ａ３と動きベクトルＡ３Ａ４とから、両ベクトル間の近似度を求める。動きベクトル比較部３５は、動きベクトルＡ３Ａ４と動きベクトルＡ４Ｒとから、両ベクトル間の近似度を求める。
【０１０１】
具体的には、動きベクトル比較部３５は、例えば動きベクトルＬＡ１（uLA1(x,y)、vLA1(x,y)）と動きベクトルＡ１Ａ２（uA1A1(x,y)、vA1A2(x,y)）とに対し、下記式で、各画素の動きベクトルの変化量の大きさの二乗の総和を計算し、それを、両ベクトルの近似度（一致度）をとする。
【数４】
動きベクトル比較部３５は、上記に代えて、下記式で、各画素の動きベクトルの変化の角度の絶対値の総和を計算し、それを、両ベクトルの一致度としてもよい。
【数５】
なお、一致度は、動きベクトルの変化量の大きさの二乗の総和と、変化の角度の絶対値の総和との双方に基づいて定義してもよい。
【０１０２】
動きベクトル比較部３５は、動きベクトルＬＡ１、Ａ１Ａ２以外の動きベクトルに対しても上記と同様な計算を行い、動きベクトル間の一致度を求める。評価値算出部３６は、求められた隣接動きベクトル間の一致度の総和を、手法Ａの多視点画像に対する評価値とする。動きベクトル比較部３５は、手法Ａ以外の手法で生成された多視点画像から検出された動くベクトルに対しても上記と同様な処理を行い、評価値算出部３６は、各手法の多視点画像に対する評価値を算出する。
【０１０３】
本実施形態では、動きベクトルに基づいて多視点画像を評価する際に、動きベクトル同士を比較している。観察者が見て違和感が生じない多視点画像ができているとき、隣接する関係にある動きベクトルは、相互に似た動きを表わすベクトルになり、両ベクトルはよく一致すると考えられる。従って、動きベクトル間の近似度が高い多視点画像を選択することで、表示に適した多視点画像を得ることができる。本実施形態は、第１〜第４実施形態に対して、予測画像を生成する必要がなくなることで、処理を簡略化できるというメリットがある。
【０１０４】
なお、図２及び図１５では、複数の多視点画像から多視点画像を１つずつ順次に選択し、評価値を求める例を説明したが、これには限定されない。結果として、多視点画像ごとに評価値を求めることができればよく、評価値を求めるまでの動作手順の組み立て方は任意である。例えば、全ての多視点画像のから検出された全ての動きベクトルを用いて予測画像を一度に生成し、全ての予測画像について近似度を計算する処理を行った後に、動きベクトルごと近似度を集計し、それを更に多視点画像ごとに集計して多視点画像ごとの評価値を求めてもよい。
【０１０５】
図９などでは、Ｎ種類の多視点画像の生成手法に対して、画像評価装置がＮ個の多視点画像生成部を有することとしたが、多視点画像生成部の数と、多視点画像の生成手法の数とは必ずしも一致していなくてよい。例えば、多視点画像生成部を１つのみ設け、その多視点画像生成部にて、生成手法を変更しつつ多視点画像の生成を繰り返し行い、複数の多視点画像を生成してもよい。また、用いるアルゴリズムの数だけ多視点画像生成部を設け、同じ多視点画像生成部を用いて、生成の際に用いるパラメータを変更した複数の多視点画像を順次に生成してもよい。
【０１０６】
図１０では、多視点画像出力と多視点画像信用度情報出力部とを別々に描いているが、多視点画像出力部が、多視点画像信用度情報出力部を兼ねる構成でも構わない。また、多視点画像入力部が、多視点画像信用度情報入力部を兼ねる構成でもよい。例えば図１に示す画像評価装置のように、画像評価装置が多視点画像を生成する部分を含まない場合には、外部から多視点画像の信用度情報を与え、多視点画像信用度情報を用いた近似度の演算を行ってもよい。その場合、例えば図１に示す構成にて、多視点画像入力部に、多視点画像と共に、各仮想視点画像（中間視点画像）の信用度情報を入力すればよい。
【０１０７】
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の画像評価装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
【符号の説明】
【０１０８】
１０：画像評価装置
１１：多視点画像入力部
１２：ベクトル検出部
１３：多視点画像評価部
１４：生成手法選択部
１５：選択画像出力部
１６：ステレオ画像入力部
１７：多視点画像生成部
１８：多視点画像出力部
１９：多視点画像信用度情報出力部
２０：多視点画像信用度情報入力部
２１：ベクトル信用度算出部
３１：予測画像生成部
３２：近似度算出部
３３：スコア算出部
３４：評価値算出部
３５：ベクトル比較部
３６：評価値算出部
７１：対応点検出部
７２：中間視点画像生成部
７３：中間視点画像補正部
７４：対応点信用度評価部
【特許請求の範囲】
【請求項１】
互いに視点が異なる２つの画像を含むステレオ画像に基づいて、複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる１以上の仮想視点から見たことを想定した画像を１つ以上含む複数の多視点画像を入力する多視点画像入力部と、
前記複数の多視点画像のそれぞれにおいて、前記多視点画像に含まれる隣接する２以上の視点の画像に基づいて、該２以上の画像間の動きベクトルを検出する動きベクトル検出部と、
前記検出された動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行う多視点画像評価部と、
前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択する生成手法選択部とを備えることを特徴とする画像評価装置。
【請求項２】
前記多視点画像評価部が、
前記動きベクトルに基づいて、前記多視点画像における視点のうちで前記動きベクトルの検出元の画像の視点以外の視点のうちの少なくとも１つの視点の画像を予測する予測画像生成部と、
前記予測された画像のそれぞれに対して、該予測された画像と、前記多視点画像のうちで前記予測された画像の視点に対応する視点の画像との近似度を求める近似度算出部と、
前記複数の多視点画像のそれぞれに対して、前記予測された画像に対して求められた近似度の総和を評価値として求める評価値算出部とを含むことを特徴とする請求項１に記載の画像評価装置。
【請求項３】
前記予測画像に対して求められた近似度を、前記予測画像の生成に用いられた動きベクトルごとに集計するスコア算出部を更に備えており、
前記評価値算出部が、前記スコア算出部で動きベクトルごとに集計された近似度を、前記動きベクトルの検出元の多視点画像ごとに集計することで前記評価値を求めるものであることを特徴とする請求項２に記載の画像評価装置。
【請求項４】
前記スコア算出部が、前記予測された画像と前記動きベクトルの検出元の画像との距離に応じ、距離が近いほど重みが重くなるように重み付けをした上で、前記近似度を集計するものであることを特徴とする請求項３に記載の画像評価装置。
【請求項５】
前記予測画像生成部が、前記動きベクトル検出元の画像の両側に隣接する視点のうちの少なくとも１つを含む視点の画像を予測するものであることを特徴とする請求項２乃至４の何れか一に記載の画像評価装置。
【請求項６】
前記近似度算出部が、前記予測された画像と、前記予測された画像の視点に対応する視点の画像とで、対応する位置関係にある画素における画素値に基づいて前記近似度を算出するものであることを特徴とする請求項２乃至５の何れか一に記載の画像評価装置。
【請求項７】
前記近似度算出部が、前記予測された画像と、前記予測された画像の視点に対応する視点の画像とで、同じ座標位置の画素の画素値の差分絶対値、及び画素値の差分の分散の少なくとも一方を算出し、該算出した差分絶対値、及び差分の分散の少なくとも一方に基づいて近似度を求めるものであることを特徴とする請求項６に記載の画像評価装置。
【請求項８】
前記多視点画像入力部が、前記多視点画像と共に、該多視点画像に含まれる仮想視点から見たことを想定した画像の信用度情報を入力し、前記近似度算出部は、前記画像の信用度情報に基づいて、前記対応する関係にある画素が前記近似度の算出に与える影響を変化させるものであることを特徴とする請求項６又は７に記載の画像評価装置。
【請求項９】
前記画像の信用度情報が、前記仮想視点から見たことを想定した画像の各画素がオクルージョン領域の画素に該当するか否かを示す情報を含み、前記近似度算出部が、前記オクルージョン領域に該当する画素が前記近似度の算出に与える影響を、前記オクルージョン領域ではない領域に該当する画素が前記近似度の算出に与える影響よりも大きくするものであることを特徴とする請求項８に記載の画像評価装置。
【請求項１０】
前記画像の信用度情報が、前記仮想視点から見たことを想定した画像の各画素と、該画像の生成元の前記ステレオ画像の各画素との相関関係の度合いを示す情報を含み、前記近似度算出部は、前記相関関係の度合いが小さいほど、前記画素が前記近似度の算出に与える影響を大きくするものであることを特徴とする請求項８に記載の画像評価装置。
【請求項１１】
前記動きベクトル検出部が、動きベクトルの信用度情報を生成する動きベクトル信用度算出部を含み、前記近似度算出部が、前記動きベクトルの信用度情報に基づいて、前記対応する関係にある画素が前記近似度の算出に与える影響を変化させるものであることを特徴とする請求項６又は７に記載の画像評価装置。
【請求項１２】
前記動きベクトルの信用度情報は、画素の特徴量の局所的な変化の度合いを示す情報を含み、前記近似度算出部は、前記局所的な変化の度合いが大きいほど、前記画素が前記近似度の算出に与える影響を大きくするものであることを特徴とする請求項１１に記載の画像評価装置。
【請求項１３】
前記多視点画像評価部が、
前記検出された動きベクトルのうち、隣接関係にある動きベクトル同士を比較し、動きベクトルの近似度を求める動きベクトル比較部と、
前記複数の多視点画像のそれぞれに対して、前記動きベクトルの近似度の総和を評価値として求める評価値算出部とを含むことを特徴とする請求項１に記載の画像評価装置。
【請求項１４】
前記動きベクトル比較部が、前記多視点画像に含まれる画像のうちの１つを着目画像としたときに、該着目画像の視点に対して第１の方向に隣接する１以上の視点の画像と前記着目画像とから検出された動きベクトルと、前記着目画像の視点に対して第１の方向とは反対側の第２の方向に隣接する１以上の視点の画像と前記着目画像とから検出された動きベクトルとを比較するものであることを特徴とする請求項１３に記載の画像評価装置。
【請求項１５】
ステレオ画像から、生成アルゴリズム及び生成時のパラメータのうちの少なくとも一方が相互に異なる複数の生成手法で前記多視点画像を生成し、前記多視点画像入力部に入力する多視点画像生成部を更に備えることを特徴とする請求項１乃至１４の何れか一に記載の画像評価装置。
【請求項１６】
前記多視点画像生成部が、前記仮想視点から見たことを想定した画像の信用度情報を生成する対応点信用度情報評価部を含むことを特徴とする請求項１５に記載の画像評価装置。
【請求項１７】
前記生成手法選択部が選択した多視点画像の生成手法で生成された多視点画像を出力する選択画像出力部を更に備えることを特徴とする請求項１乃至１６の何れか一に記載の画像評価装置。
【請求項１８】
互いに視点が異なる２つの画像を含むステレオ画像に基づき複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる１以上の仮想視点から見たことを想定した画像を１つ以上含む複数の多視点画像を入力するステップと、
前記複数の多視点画像のそれぞれで、前記多視点画像に含まれる隣接する２以上の視点の画像に基づいて、該２以上の画像間の動きベクトルを検出するステップと、
前記検出した動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行うステップと、
前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択するステップとを有することを特徴とする画像評価方法。
【請求項１９】
前記多視点画像の評価を行うステップが、
前記動きベクトルに基づいて、前記多視点画像における視点のうちで前記動きベクトルの検出元の画像の視点以外の視点のうちの少なくとも１つの視点の画像を予測するステップと、
前記予測した画像のそれぞれに対して、該予測した画像と、前記多視点画像のうちで前記予測した画像の視点に対応する視点の画像との近似度を求めるステップと、
前記複数の多視点画像のそれぞれに対して、前記予測された画像に対して求められた近似度の総和を評価値として求めるステップとを含むことを特徴とする請求項１８に記載の画像評価方法。
【請求項２０】
前記多視点画像の評価を行うステップが、
前記検出した動きベクトルのうち、隣接関係にある動きベクトル同士を比較し、動きベクトルの近似度を求めるステップと、
前記複数の多視点画像のそれぞれに対して、前記動きベクトルの近似度の総和を評価値として求めるステップとを含むことを特徴とする請求項１８に記載の画像評価方法。
【請求項２１】
コンピュータに、
互いに視点が異なる２つの画像を含むステレオ画像に基づき複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる１以上の仮想視点から見たことを想定した画像を１つ以上含む複数の多視点画像を入力する処理と、
前記複数の多視点画像のそれぞれで、前記多視点画像に含まれる隣接する２以上の視点の画像に基づいて、該２以上の画像間の動きベクトルを検出する処理と、
前記検出された動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行う処理と、
前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択する処理とを実行させることを特徴とするプログラム。
【請求項１】
互いに視点が異なる２つの画像を含むステレオ画像に基づいて、複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる１以上の仮想視点から見たことを想定した画像を１つ以上含む複数の多視点画像を入力する多視点画像入力部と、
前記複数の多視点画像のそれぞれにおいて、前記多視点画像に含まれる隣接する２以上の視点の画像に基づいて、該２以上の画像間の動きベクトルを検出する動きベクトル検出部と、
前記検出された動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行う多視点画像評価部と、
前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択する生成手法選択部とを備えることを特徴とする画像評価装置。
【請求項２】
前記多視点画像評価部が、
前記動きベクトルに基づいて、前記多視点画像における視点のうちで前記動きベクトルの検出元の画像の視点以外の視点のうちの少なくとも１つの視点の画像を予測する予測画像生成部と、
前記予測された画像のそれぞれに対して、該予測された画像と、前記多視点画像のうちで前記予測された画像の視点に対応する視点の画像との近似度を求める近似度算出部と、
前記複数の多視点画像のそれぞれに対して、前記予測された画像に対して求められた近似度の総和を評価値として求める評価値算出部とを含むことを特徴とする請求項１に記載の画像評価装置。
【請求項３】
前記予測画像に対して求められた近似度を、前記予測画像の生成に用いられた動きベクトルごとに集計するスコア算出部を更に備えており、
前記評価値算出部が、前記スコア算出部で動きベクトルごとに集計された近似度を、前記動きベクトルの検出元の多視点画像ごとに集計することで前記評価値を求めるものであることを特徴とする請求項２に記載の画像評価装置。
【請求項４】
前記スコア算出部が、前記予測された画像と前記動きベクトルの検出元の画像との距離に応じ、距離が近いほど重みが重くなるように重み付けをした上で、前記近似度を集計するものであることを特徴とする請求項３に記載の画像評価装置。
【請求項５】
前記予測画像生成部が、前記動きベクトル検出元の画像の両側に隣接する視点のうちの少なくとも１つを含む視点の画像を予測するものであることを特徴とする請求項２乃至４の何れか一に記載の画像評価装置。
【請求項６】
前記近似度算出部が、前記予測された画像と、前記予測された画像の視点に対応する視点の画像とで、対応する位置関係にある画素における画素値に基づいて前記近似度を算出するものであることを特徴とする請求項２乃至５の何れか一に記載の画像評価装置。
【請求項７】
前記近似度算出部が、前記予測された画像と、前記予測された画像の視点に対応する視点の画像とで、同じ座標位置の画素の画素値の差分絶対値、及び画素値の差分の分散の少なくとも一方を算出し、該算出した差分絶対値、及び差分の分散の少なくとも一方に基づいて近似度を求めるものであることを特徴とする請求項６に記載の画像評価装置。
【請求項８】
前記多視点画像入力部が、前記多視点画像と共に、該多視点画像に含まれる仮想視点から見たことを想定した画像の信用度情報を入力し、前記近似度算出部は、前記画像の信用度情報に基づいて、前記対応する関係にある画素が前記近似度の算出に与える影響を変化させるものであることを特徴とする請求項６又は７に記載の画像評価装置。
【請求項９】
前記画像の信用度情報が、前記仮想視点から見たことを想定した画像の各画素がオクルージョン領域の画素に該当するか否かを示す情報を含み、前記近似度算出部が、前記オクルージョン領域に該当する画素が前記近似度の算出に与える影響を、前記オクルージョン領域ではない領域に該当する画素が前記近似度の算出に与える影響よりも大きくするものであることを特徴とする請求項８に記載の画像評価装置。
【請求項１０】
前記画像の信用度情報が、前記仮想視点から見たことを想定した画像の各画素と、該画像の生成元の前記ステレオ画像の各画素との相関関係の度合いを示す情報を含み、前記近似度算出部は、前記相関関係の度合いが小さいほど、前記画素が前記近似度の算出に与える影響を大きくするものであることを特徴とする請求項８に記載の画像評価装置。
【請求項１１】
前記動きベクトル検出部が、動きベクトルの信用度情報を生成する動きベクトル信用度算出部を含み、前記近似度算出部が、前記動きベクトルの信用度情報に基づいて、前記対応する関係にある画素が前記近似度の算出に与える影響を変化させるものであることを特徴とする請求項６又は７に記載の画像評価装置。
【請求項１２】
前記動きベクトルの信用度情報は、画素の特徴量の局所的な変化の度合いを示す情報を含み、前記近似度算出部は、前記局所的な変化の度合いが大きいほど、前記画素が前記近似度の算出に与える影響を大きくするものであることを特徴とする請求項１１に記載の画像評価装置。
【請求項１３】
前記多視点画像評価部が、
前記検出された動きベクトルのうち、隣接関係にある動きベクトル同士を比較し、動きベクトルの近似度を求める動きベクトル比較部と、
前記複数の多視点画像のそれぞれに対して、前記動きベクトルの近似度の総和を評価値として求める評価値算出部とを含むことを特徴とする請求項１に記載の画像評価装置。
【請求項１４】
前記動きベクトル比較部が、前記多視点画像に含まれる画像のうちの１つを着目画像としたときに、該着目画像の視点に対して第１の方向に隣接する１以上の視点の画像と前記着目画像とから検出された動きベクトルと、前記着目画像の視点に対して第１の方向とは反対側の第２の方向に隣接する１以上の視点の画像と前記着目画像とから検出された動きベクトルとを比較するものであることを特徴とする請求項１３に記載の画像評価装置。
【請求項１５】
ステレオ画像から、生成アルゴリズム及び生成時のパラメータのうちの少なくとも一方が相互に異なる複数の生成手法で前記多視点画像を生成し、前記多視点画像入力部に入力する多視点画像生成部を更に備えることを特徴とする請求項１乃至１４の何れか一に記載の画像評価装置。
【請求項１６】
前記多視点画像生成部が、前記仮想視点から見たことを想定した画像の信用度情報を生成する対応点信用度情報評価部を含むことを特徴とする請求項１５に記載の画像評価装置。
【請求項１７】
前記生成手法選択部が選択した多視点画像の生成手法で生成された多視点画像を出力する選択画像出力部を更に備えることを特徴とする請求項１乃至１６の何れか一に記載の画像評価装置。
【請求項１８】
互いに視点が異なる２つの画像を含むステレオ画像に基づき複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる１以上の仮想視点から見たことを想定した画像を１つ以上含む複数の多視点画像を入力するステップと、
前記複数の多視点画像のそれぞれで、前記多視点画像に含まれる隣接する２以上の視点の画像に基づいて、該２以上の画像間の動きベクトルを検出するステップと、
前記検出した動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行うステップと、
前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択するステップとを有することを特徴とする画像評価方法。
【請求項１９】
前記多視点画像の評価を行うステップが、
前記動きベクトルに基づいて、前記多視点画像における視点のうちで前記動きベクトルの検出元の画像の視点以外の視点のうちの少なくとも１つの視点の画像を予測するステップと、
前記予測した画像のそれぞれに対して、該予測した画像と、前記多視点画像のうちで前記予測した画像の視点に対応する視点の画像との近似度を求めるステップと、
前記複数の多視点画像のそれぞれに対して、前記予測された画像に対して求められた近似度の総和を評価値として求めるステップとを含むことを特徴とする請求項１８に記載の画像評価方法。
【請求項２０】
前記多視点画像の評価を行うステップが、
前記検出した動きベクトルのうち、隣接関係にある動きベクトル同士を比較し、動きベクトルの近似度を求めるステップと、
前記複数の多視点画像のそれぞれに対して、前記動きベクトルの近似度の総和を評価値として求めるステップとを含むことを特徴とする請求項１８に記載の画像評価方法。
【請求項２１】
コンピュータに、
互いに視点が異なる２つの画像を含むステレオ画像に基づき複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる１以上の仮想視点から見たことを想定した画像を１つ以上含む複数の多視点画像を入力する処理と、
前記複数の多視点画像のそれぞれで、前記多視点画像に含まれる隣接する２以上の視点の画像に基づいて、該２以上の画像間の動きベクトルを検出する処理と、
前記検出された動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行う処理と、
前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択する処理とを実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１２】
【公開番号】特開２０１１−１９９３８２（Ｐ２０１１−１９９３８２Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６１１１４（Ｐ２０１０−６１１１４）
【出願日】平成２２年３月１７日（２０１０．３．１７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１７日（２０１０．３．１７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]