画像処理装置、画像処理方法、およびプログラム
【課題】２以上の視点の３Ｄ画像の所望の領域の複数のフレームまたは視点の視差に関する情報を容易に変更することができるようにする。
【解決手段】入力部は、３Ｄ動画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値を取得する。視差反映部は、補正値に基づいて、３Ｄ動画像の視差画像のうちの、所定のフレームの所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する。本技術は、例えば、３Ｄ画像を処理する画像処理装置に適用することができる。
【解決手段】入力部は、３Ｄ動画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値を取得する。視差反映部は、補正値に基づいて、３Ｄ動画像の視差画像のうちの、所定のフレームの所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する。本技術は、例えば、３Ｄ画像を処理する画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、２以上の視点の３D画像の所望の領域の複数のフレームまたは視点の視差に関する情報を容易に変更することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、２視点の３D静止画像の仮想視点間の奥行き量または視差値を調整する際に、各種セグメンテーション手法やユーザからのGUI（Graphical User Interface）を利用した入力を用いて、調整する領域を指定する技術が考案されている(例えば、特許文献１参照)。この技術により、３D静止画像の１視点の所望の領域の奥行き量または視差値のみを変更することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２０９８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、複数のフレームの２以上の視点の３D画像からなる３D動画像において、フレームごとに奥行き量や視差値等の視差に関する情報を調整する領域を指定したり、３D動画像や２以上の視点の３D静止画像において、視点ごとに視差に関する情報を調整する領域を指定したりすることは、多くの時間および労力を必要とする。従って、２以上の視点の３D画像の所望の領域の複数のフレームまたは視点の視差に関する情報を変更することは困難である。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、２以上の視点の３D画像の所望の領域の複数のフレームまたは視点の視差に関する情報を容易に変更することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の画像処理装置は、１以上のフレームの２以上の視点の画像からなる３D画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値を取得する取得部と、前記取得部により取得された前記補正値に基づいて、前記３D画像の視差画像のうちの、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する視差補正部とを備える画像処理装置である。
【０００７】
本技術の一側面の画像処理方法およびプログラムは、本技術の一側面の画像処理装置に対応する。
【０００８】
本技術の一側面においては、１以上のフレームの２以上の視点の画像からなる３D画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値が取得され、前記補正値に基づいて、前記３D画像の視差画像のうちの、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像が補正される。
【発明の効果】
【０００９】
本技術の一側面によれば、２以上の視点の３D画像の所望の領域の複数のフレームまたは視点の視差に関する情報を容易に変更することができる。
【図面の簡単な説明】
【００１０】
【図１】本技術を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【図２】図１の視差反映部の第１の構成例を示すブロック図である。
【図３】動き反映部および反映部による処理を説明する図である。
【図４】図１の画像処理装置の視差調整処理を説明するフローチャートである。
【図５】図２の視差反映部の視差反映処理を説明するフローチャートである。
【図６】図５の注目視点補正処理の詳細を説明するフローチャートである。
【図７】図１の視差反映部の第２の構成例を示すブロック図である。
【図８】図７の視差反映部による注目視点補正処理の詳細を説明するフローチャートである。
【図９】本技術を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【図１０】本技術を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【図１１】図１０の視差反映部の構成例を示すブロック図である。
【図１２】図１０の画像処理装置の視差調整処理を説明するフローチャートである。
【図１３】図１１の視差反映部の視差反映処理を説明するフローチャートである。
【図１４】本技術を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。
【図１５】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００１１】
＜第１実施の形態＞
［画像処理装置の第１実施の形態の構成例］
図１は、本技術を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【００１２】
図１において、画像処理装置１０は、画像取得部１１、表示制御部１２、表示部１３、入力部１４、調整部１５、記憶部１６、および視差反映部１７により構成される。画像処理装置１０は、例えば、３D動画像のうちの所定のフレームの所定の視点の画像に対するユーザからの指示に基づいて、３D動画像の各フレームの各視点の視差画像を変更する。
【００１３】
具体的には、画像処理装置１０の画像取得部１１には、２以上の視点の画像を撮影する装置、１視点の画像を撮影し、その画像から２以上の視点の画像を生成する装置、２視点以上の画像を撮影し、その画像から、より多くの視点の画像を生成する装置等により得られる３D動画像（３D画像シーケンス）が入力される。
【００１４】
また、画像取得部１１には、３D動画像だけでなく、その３D動画像の視差画像も入力される。視差画像とは、画像の各画素の視差値や被写体までの奥行方向の距離を表すデプス値等の視差に関する情報を表す画像である。視差画像は、測距センサ等の視差値またはデプス値を取得する装置や、３D動画像に対して奥行き推定処理やステレオマッチング等の視差検出処理を行う装置等により得られる。
【００１５】
なお、視差値とデプス値は互いに変換可能な値であるため、本明細書では、視差画像は、画像の各画素の視差値であるものとして説明する。また、本実施の形態では、３D動画像の各フレームの各視点の画像の視差画像が入力されるものとするが、所定のフレームの所定の視点の画像の視差画像のみが入力されるようにしてもよい。この場合、画像取得部１１は、入力された所定のフレームの所定の視点の視差画像から、他のフレームまたは他の視点の視差画像を生成するようにしてもよい。
【００１６】
画像取得部１１は、入力部１４から供給されるユーザにより指定されたフレームおよび視点を表す情報である指定情報に基づいて、外部から入力された３D動画像のうちの、ユーザにより指定されたフレームおよび視点の画像を抽出する。画像取得部１１は、抽出された画像を表示制御部１２に供給し、その画像に対応する視差画像を調整部１５に供給する。また、画像取得部１１は、外部から入力される視差画像を視差反映部１７に供給する。
【００１７】
表示制御部１２は、画像取得部１１から供給される画像を表示部１３に表示させる。
【００１８】
入力部１４は、ユーザからの操作を受け付ける。具体的には、ユーザは、３D動画像の視差画像を補正したい場合、補正後の視差値である補正値を入力するために表示させる画像に対応するフレームと１以上の視点を指定するための操作を行う。入力部１４は、その操作を受け付けて指定情報を生成し、画像取得部１１と調整部１５に供給する。また、ユーザは、表示部１３に画像が表示されているとき、その画像の所定の画素を指定するための操作を行い、その画素に対応する視差画像の画素の補正値を入力するための操作を行う。入力部１４は、取得部として機能し、これらの操作を受け付けて、指定された画素の位置（以下、補正画素位置という）と入力された補正値を取得し、調整部１５に供給する。
【００１９】
調整部１５は、入力部１４から供給される補正画素位置と補正値に基づいて、画像取得部１１から供給される視差画像を補正する。調整部１５は、補正後の視差画像および補正画素位置、並びに、入力部１４から供給される指定情報を記憶部１６に供給する。
【００２０】
記憶部１６は、調整部１５から供給される指定情報に対応付けて、補正後の視差画像および補正画素位置を記憶する。
【００２１】
視差反映部１７は、画像取得部１１から入力される視差画像の全てのフレームを順次注目フレームとする。また、視差反映部１７は、注目フレームの全ての視差画像に対応する視点を順次注目視点とする。視差反映部１７は、記憶部１６から指定情報、補正画素位置、および補正後の視差画像を読み出す。視差反映部１７は、視差補正部として機能し、読み出された指定情報、補正画素位置、および補正後の視差画像に基づいて、画像取得部１１から供給される注目フレームの注目視点の視差画像を補正して、出力する。
【００２２】
なお、画像取得部１１は、画像とともに、対応する視差画像を表示制御部１２に供給し、表示制御部１２は、画像と視差画像を表示部１３に表示させるようにしてもよい。この場合、画像と視差画像のうちのいずれに対して視差値を補正する画素を指定してもよい。
【００２３】
［視差反映部の第１の構成例］
図２は、図１の視差反映部１７の第１の構成例を示すブロック図である。
【００２４】
図２において、視差反映部１７は、対応画素検出部３１、判定部３２、動き検出部３３、動き反映部３４、および反映部３５により構成される。
【００２５】
視差反映部１７の対応画素検出部３１は、画像取得部１１に入力される全ての視差画像に対応するフレームを順次注目フレームとする。また、対応画素検出部３１は、注目フレームの全ての視差画像に対応する視点を順次注目視点とする。
【００２６】
対応画素検出部３１は、記憶部１６から指定情報と補正画素位置を読み出す。対応画素検出部３１は、図１の画像取得部１１からの視差画像、並びに、補正画素位置、指定情報が表す視点の位置、および注目視点の位置に基づいて、補正画素位置に対応する、注目フレームの注目視点の視差画像の画素位置（以下、対応画素位置という）を検出する。
【００２７】
具体的には、指定情報が注目フレームおよび注目視点を表す場合、対応画素検出部３１は、補正画素位置を対応画素位置として検出する。
【００２８】
また、指定情報が注目フレームを表しており、注目視点以外の視点を表している場合、対応画素検出部３１は、補正画素位置、指定情報が表すフレームおよび視点の視差画像、並びに、その視差画像の基点、指定情報が表す視点、および注目視点の位置関係に基づいて、対応画素位置を検出する。より詳細には、対応画素検出部３１は、補正画素位置の視差値、並びに、指定情報が表す視点、指定情報が表す視点およびフレームの視差画像の基点、および注目視点の位置関係に基づいて、対応画素位置を検出する。
【００２９】
なお、この場合、対応画素検出部３１は、注目フレームの注目視点の画像と、指定情報が表すフレームおよび視点の画像の補正画素位置の画素値とを用いて、対応点検出アルゴリズムにしたがう処理を行うことにより、対応画素位置を検出するようにしてもよい。対応点検出アルゴリズムとしては、ブロックマッチング、グラフカット、動的計画法等がある。
【００３０】
また、以下のように、対応画素位置を検出してもよい。即ち、対応画素検出部３１は、まず、補正画素位置、指定情報が表すフレームおよび視点の視差画像、並びに、その視差画像の基点、指定情報が表す視点、および注目視点の位置関係に基づいて、対応画素位置の候補を検出する。そして、対応画素検出部３１は、注目フレームの注目視点の画像に対して、指定情報が表すフレームおよび視点の画像の対応画素位置の候補の画素を含む所定の範囲を探索範囲として、対応点検出アルゴリズムにしたがう処理を行うことにより、最終的な対応画素位置を検出する。
【００３１】
さらに、これらの視差画像を用いた検出方法、画像を用いた検出方法、および視差画像および画素を用いた検出方法を選択的に行うようにしてもよい。
【００３２】
一方、指定情報が注目画素を表しており、注目フレーム以外のフレームを表している場合、または、指定情報が注目フレーム以外のフレームおよび注目画素以外の画素を表している場合、対応画素検出部３１は、注目フレームの注目視点の視差画像と、指定情報が表すフレームおよび視点の視差画像とを用いて対応点検出アルゴリズムにしたがう処理を行うことにより、対応画素位置を検出する。
【００３３】
なお、この場合、対応画素検出部３１は、注目フレームの注目視点の画像と、指定情報が表すフレームおよび視点の画像とを用いて対応点検出アルゴリズムにしたがう処理を行うことにより、対応画素位置を検出するようにしてもよい。
【００３４】
また、対応画素検出部３１は、注目フレームの注目視点の画像および視差画像、並びに、指定情報が表すフレームおよび視点の画像および視差画像を用いて、対応点検出アルゴリズムにしたがう処理を行うことにより、対応画素位置を検出するようにしてもよい。
【００３５】
この場合、例えば、対応点検出アルゴリズムがブロックマッチングである場合、対応画素検出部３１は、注目フレームの注目視点の画像の各ブロックの画素値と、指定情報が表すフレームおよび視点の画像の対応画素位置の画素を含むブロックの画素値の差分絶対値和を第１の評価値として算出する。また、対応画素検出部３１は、注目フレームの注目視点の視差画像の各ブロックの視差値と、指定情報が表すフレームおよび視点の視差画像の対応画素位置の画素を含むブロックの視差値の差分絶対値和を第２の評価値として算出する。そして、対応画素検出部３１は、第１の評価値と第２の評価値の重み付き平均値を最終的な評価値として、最終的な評価値が最小となる注目フレームの注目視点の視差画像のブロック内の補正画素位置に対応する位置を対応画素位置として検出する。
【００３６】
さらに、これらの視差画像を用いた検出方法、画像を用いた検出方法、および視差画像および画素を用いた検出方法を選択的に行うようにしてもよい。
【００３７】
対応画素検出部３１は、以上のようにして検出された対応画素位置を、判定部３２、動き反映部３４、および反映部３５に供給する。
【００３８】
判定部３２は、記憶部１６から指定情報を読み出す。判定部３２は、画像取得部１１から供給される視差画像から、指定情報が表すフレームおよび視点の視差画像の補正画素位置の画素の視差値を抽出する。また、判定部３２は、画像取得部１１から供給される視差画像から、注目フレームの注目視点の視差画像の、対応画素検出部３１から供給される対応画素位置の画素の視差値を抽出する。
【００３９】
そして、判定部３２は、抽出された補正画素位置の画素の視差値と、対応画素位置の画素の視差値との差分を求める。判定部３２は、その差分が閾値以上であるかどうかを判定する。判定部３２は、その差分が閾値以上であると判定された場合、動き反映部３４に指令を行い、その差分が閾値より小さいと判定された場合、反映部３５に指令を行う。
【００４０】
なお、補正画素位置が複数ある場合には、補正画素位置ごとに判定が行われるようにしてもよいし、全ての補正画素位置についてまとめて判定が行われるようにしてもよい。全ての補正画素位置についてまとめて判定が行われる場合には、例えば、各補正画素位置についての差分の平均値が判定に用いられる。
【００４１】
動き検出部３３は、画像取得部１１から供給される注目フレームの注目視点の視差画像と、その注目フレームより１フレーム前の注目視点の視差画像とを用いて、注目フレームの注目視点の画像の奥行方向の動きベクトルを検出する。動き検出部３３は、検出された動きベクトルを動き反映部３４に供給する。なお、本明細書では、手前方向、即ち表示部１３の画面から視聴位置に向かう方向を正方向とし、奥方向、即ち視聴位置から表示部１３の画面に向かう方向を負方向とする。
【００４２】
動き反映部３４は、判定部３２からの指令に応じて、記憶部１６に記憶されている補正後の視差画像と補正画素位置を読み出す。そして、動き反映部３４は、補正部として機能し、動き検出部３３からの動きベクトル、対応画素検出部３１からの対応画素位置、並びに、補正後の視差画像および補正画素位置に基づいて、画像取得部１１からの注目フレームの注目視点の視差画像を補正する。
【００４３】
具体的には、動き反映部３４は、動きベクトルに基づいて、補正後の視差画像内の補正画素位置の視差値を変更し、注目フレームの注目視点の視差画像内の対応画素位置の視差値を、変更後の補正画素位置の視差値に変更する。即ち、動き反映部３４は、フレーム間の視差値の変化を考慮して、注目フレームの注目視点の視差画像内の対応画素位置の視差値を補正する。そして、動き反映部３４は、補正後の注目フレームの注目視点の視差画像を出力する。
【００４４】
反映部３５は、判定部３２からの指令に応じて、記憶部１６に記憶されている補正後の視差画像と補正画素位置を読み出す。そして、反映部３５は、補正部として機能し、対応画素検出部３１からの対応画素位置、並びに、補正後の視差画像および補正画素位置に基づいて、画像取得部１１からの注目フレームの注目視点の視差画像を補正する。具体的には、反映部３５は、注目フレームの注目視点の視差画像内の対応画素位置の視差値を、補正後の視差画像内の補正画素位置の視差値に変更する。そして、反映部３５は、補正後の視差画像を出力する。
【００４５】
［動き反映部および反映部の処理の説明］
図３は、動き反映部３４および反映部３５による処理を説明する図である。
【００４６】
図３の例では、ｔフレームの視点Ａの画像５１には、オブジェクト５１Ａがあり、tフレームの視点Ｂの画像５２には、オブジェクト５１Ａに対応するオブジェクト５２Ａがある。また、t+1フレームの視点Ａの画像５３には、オブジェクト５１Ａが右手前側に移動したオブジェクト５３Ａがあり、t+1フレームの視点Ｂの画像５４には、オブジェクト５２Ａが右手前側に移動したオブジェクト５４Ａがある。
【００４７】
ここで、ユーザが、ｔフレームおよび視点Ａを指定した後、オブジェクト５１Ａの位置ptを指定し、位置ptの視差値dtの補正値ctを入力すると、オブジェクト５１Ａの位置ptの視差値dtが補正値ctに補正される。
【００４８】
そして、注目フレームがｔフレームであり、注目視点が視点Bである場合、オブジェクト５１Ａの位置ptである補正画素位置の視差値dtと、その補正画素位置に対応する対応画素位置であるオブジェクト５２Ａの位置p'tの視差値d'tの差分が閾値より小さいため、反映部３５に指令が供給される。これにより、反映部３５は、オブジェクト５１Ａの位置ptである補正画素位置に対応する対応画素位置であるオブジェクト５２Ａの位置p'tの視差値d'tを補正値ｃtに補正する。
【００４９】
また、注目フレームがt+1フレームであり、注目視点が視点Aである場合、判定部３２は、オブジェクト５１Ａの位置ptである補正画素位置の視差値dtと、その補正画素位置に対応する対応画素位置であるオブジェクト５３Ａの位置pt+1の視差値dt+1の差分を求める。図３の例では、オブジェクト５１Ａが右手前側に移動してオブジェクト５３Ａとなる、即ち、オブジェクト５１Ａが奥行方向に移動してオブジェクト５３Ａとなるので、補正画素位置の視差値dtと対応画素位置の視差値dt+1の差分は大きい。
【００５０】
従って、判定部３２からの指令が動き反映部３４に供給され、動き反映部３４は、例えば、以下の式（１）により、奥行方向の動きベクトルに基づいて補正後の視差画像内の補正画素位置の視差値を変更し、補正値ｃt+1を得る。そして、動き反映部３４は、オブジェクト５１Ａの位置ptである補正画素位置に対応する対応画素位置であるオブジェクト５３Ａの位置pt+1の視差値dt+1を、補正値ｃt+1に補正する。
【００５１】
ct+1=α(ct-dt)+dt+1
・・・（１）
【００５２】
なお、式（１）において、αは動きベクトルに基づく係数である。
【００５３】
例えば、奥行方向の動きベクトルが閾値vth1(vth1≧0)より大きい場合、即ち、注目視点の画像が急激に迫り出す場合、例えば、αは1より大きい値に設定される。即ち、対応画素位置の視差値の補正量が、補正画素位置の視差値の補正量より大きくされる。これにより、急激に迫り出すシーンで、より迫り出すようにすることができる。
【００５４】
なお、奥行方向の動きベクトルが閾値vth1(vth1≧0)より大きい場合、αは0より大きく1より小さい値に設定されるようにしてもよい。即ち、対応画素位置の視差値の補正量が、補正画素位置の視差値の補正量より小さくされるようにしてもよい。この場合、急激に迫り出すシーンで、視差が急激に大きくなり過ぎないようにすることができる。
【００５５】
また、奥行方向の動きベクトルが閾値vth1(vth1≧0)より大きい場合、αとして設定される値は、固定値であってもよいし、例えば、以下の式（２）に示すように、奥行方向の動きベクトルの大きさに応じた値でもよい。
【００５６】
α∝|vzt|×vth1-1
・・・（２）
【００５７】
式（２）において、vztは、奥行方向の動きベクトルを表す。
【００５８】
一方、奥行方向の動きベクトルが閾値vth2(vth2＜0)より小さい場合、即ち、注目視点の画像が急激に引っ込む場合、例えば、αは1より大きい値に設定される。これにより、急激に引っ込むシーンで、より引っ込むようにすることができる。
【００５９】
なお、奥行方向の動きベクトルがvth2(vth2＜0)より小さい場合、αは0より大きく1より小さい値に設定されるようにしてもよい。この場合、急激に引っ込むシーンで、視差が急激に小さくなり過ぎないようにすることができる。
【００６０】
また、奥行方向の動きベクトルがvth2(vth2＜0)より小さい場合、αとして設定される値は、固定値であってもよいし、例えば、以下の式（３）に示すように、奥行方向の動きベクトルの大きさに応じた値でもよい。
【００６１】
α∝|vzt|×vth2-1
・・・（３）
【００６２】
式（３）において、vztは、奥行方向の動きベクトルを表す。
【００６３】
また、奥行方向の動きベクトルがvth2(vth2＜0)以上閾値vth1(vth1≧0)以下である場合、αは１に設定され、補正値ｃt+1は以下の式（４）で表される。
【００６４】
ct+1=(ct-dt) +dt+1
・・・（４）
【００６５】
以上のように、動き反映部３４は、奥行方向の動きベクトルに基づいて補正値ｃt+1を決定するので、補正後の注目フレームおよび注目視点の視差画像に対応する３D画像の見え方が自然になる。
【００６６】
なお、奥行方向の動きベクトルによらず、αが１に設定されるようにしてもよい。
【００６７】
また、図３の例では、オブジェクト５３Ａが奥行方向に移動してオブジェクト５３Ａとなったが、オブジェクト５３Ａが奥行方向に移動せずに、例えば水平方向にのみ移動してオブジェクト５３Ａとなる場合、以下のようにしてオブジェクト５１Ａの位置ptである補正画素位置に対応する対応画素位置であるオブジェクト５３Ａの位置pt+1の視差値dt+1の補正を行う。
【００６８】
即ち、この場合、補正画素位置の視差値dtと対応画素位置の視差値dt+1の差分は小さい。従って、判定部３２からの指令が反映部３５に供給され、反映部３５は、例えば、オブジェクト５１Ａの位置ptである補正画素位置の補正後の視差値ｃtを用いて、以下の式（５）により補正値ｃt+1を求める。
【００６９】
ct+1= ct
・・・（５）
【００７０】
そして、オブジェクト５１Ａの位置ptである補正画素位置に対応する対応画素位置であるオブジェクト５３Ａの位置pt+1の視差値dt+1を補正値ｃt+1に補正する。
【００７１】
なお、注目フレームがt+1フレームであり、注目視点が視点Bである場合、注目フレームがt+1フレームであり、注目視点が視点Aである場合と同様に、オブジェクト５１Ａの位置ptである補正画素位置に対応する対応画素位置であるオブジェクト５４Ａの位置p't+1の視差値d't+1が補正される。
【００７２】
［画像処理装置の処理の説明］
図４は、図１の画像処理装置１０の視差調整処理を説明するフローチャートである。この視差調整処理は、例えば、ユーザが入力部１４を操作して、フレームおよび１以上の視点を指定したとき、開始される。
【００７３】
図４のステップＳ１１において、画像取得部１１は、入力部１４から供給される指定情報に基づいて、外部から入力された３D動画像のうちの、ユーザにより指定されたフレームおよび視点の画像を抽出する。画像取得部１１は、抽出された画像を表示制御部１２に供給し、その画像に対応する視差画像を調整部１５に供給する。また、画像取得部１１は、外部から入力される視差画像を視差反映部１７に供給する。
【００７４】
ステップＳ１２において、表示制御部１２は、画像取得部１１から供給される画像を表示部１３に表示させる。
【００７５】
ステップＳ１３において、入力部１４は、ユーザにより表示中の画像の所定の画素を指定するための操作が行われたかどうかを判定する。ステップＳ１３でユーザにより表示中の画像の所定の画素を指定するための操作が行われていないと判定された場合、その操作が行われるまで待機する。
【００７６】
一方、ステップＳ１３でユーザにより表示中の画像の所定の画素を指定するための操作が行われたと判定された場合、入力部１４は、その画素の位置を補正画素位置として調整部１５に供給する。
【００７７】
そして、ステップＳ１４において、入力部１４は、ユーザにより補正値を入力するための操作が行われたかどうかを判定する。ステップＳ１４でユーザにより補正値を入力するための操作が行われていないと判定された場合、その操作が行われるまで待機する。
【００７８】
一方、ステップＳ１４でユーザにより補正値を入力するための操作が行われたと判定された場合、入力部１４は、その補正値を調整部１５に供給する。
【００７９】
そして、ステップＳ１５において、調整部１５は、入力部１４から供給される補正画素位置および補正値に基づいて、画像取得部１１から供給される表示中の画像の視差画像を補正する。調整部１５は、補正後の視差画像および補正画素位置、並びに、入力部１４から供給される指定情報を記憶部１６に供給する。
【００８０】
ステップＳ１６において、記憶部１６は、調整部１５から供給される指定情報に対応付けて、補正画素位置および補正後の視差画像を記憶し、処理を終了する。
【００８１】
図５は、図２の視差反映部１７の視差反映処理を説明するフローチャートである。この視差反映処理は、例えば、図４の視差調整処理が行われた後、開始される。
【００８２】
図５のステップＳ３０において、視差反映部１７の対応画素検出部３１は、記憶部１６から指定情報と補正画素位置を読み出す。
【００８３】
ステップＳ３１において、対応画素検出部３１は、図１の画像取得部１１に入力される全ての視差画像に対応するフレームのうち、まだ注目フレームとしていないフレームを注目フレームに決定する。
【００８４】
ステップＳ３２において、対応画素検出部３１は、注目フレームの全ての視差画像に対応する視点のうち、まだ注目視点としてない視点を注目視点に決定する。
【００８５】
ステップＳ３３において、対応画素検出部３１は、画像取得部１１からの視差画像、並びに、補正画素位置、指定情報が表す視点の位置、および注目視点の位置に基づいて、対応画素位置を検出する。対応画素検出部３１は、検出された対応画素位置を、判定部３２、動き反映部３４、および反映部３５に供給する。
【００８６】
ステップＳ３４において、視差反映部１７は、注目フレームの注目視点の視差値を補正する注目視点補正処理を行う。この注目視点補正処理の詳細は、後述する図６を参照して説明する。
【００８７】
ステップＳ３５において、対応画素検出部３１は、注目フレームの全ての視差画像に対応する全ての視点を注目視点としたかどうかを判定する。ステップＳ３５でまだ注目フレームの全ての視差画像に対応する全ての視点を注目視点としていないと判定された場合、処理はステップＳ３２に戻り、注目フレームの全ての視差画像に対応する全ての視点を注目視点とするまで、ステップＳ３２乃至Ｓ３５の処理が繰り返される。
【００８８】
一方、ステップＳ３５で注目フレームの全ての視差画像に対応する全ての視点を注目視点としたと判定された場合、ステップＳ３６において、画像取得部１１に入力される全ての視差画像に対応するフレームを注目フレームとしたかどうかを判定する。ステップＳ３６でまだ画像取得部１１に入力される全ての視差画像に対応するフレームを注目フレームとしていないと判定された場合、処理はステップＳ３１に戻り、画像取得部１１に入力される全ての視差画像に対応するフレームを注目フレームとするまで、ステップＳ３１乃至Ｓ３６の処理が繰り返される。
【００８９】
ステップＳ３６で画像取得部１１に入力される全ての視差画像に対応するフレームを注目フレームとしたと判定された場合、処理は終了する。
【００９０】
図６は、図５のステップＳ３４の注目視点補正処理の詳細を説明するフローチャートである。
【００９１】
図６のステップＳ５１において、判定部３２は、補正画素位置の画素と対応画素位置の画素の視差値の差分を求める。具体的には、判定部３２は、記憶部１６から指定情報を読み出す。そして、判定部３２は、画像取得部１１から供給される視差画像から、指定情報が表すフレームおよび視点の視差画像の補正画素位置の画素の視差値を抽出する。また、判定部３２は、画像取得部１１から供給される視差画像から、注目フレームの注目視点の視差画像の、対応画素検出部３１から供給される対応画素位置の画素の視差値を抽出する。そして、判定部３２は、抽出された補正画素位置の画素の視差値と、対応画素位置の画素の視差値との差分を求める。
【００９２】
ステップＳ５２において、判定部３２は、補正画素位置の画素と対応画素位置の画素の視差値の差分が閾値以上であるかどうかを判定する。ステップＳ５２で補正画素位置の画素と対応画素位置の画素の視差値の差分が閾値以上であると判定された場合、判定部３２は、動き反映部３４に指令を行い、処理をステップＳ５３に進める。
【００９３】
ステップＳ５３において、動き検出部３３は、画像取得部１１から供給される注目フレームの注目視点の視差画像と、その注目フレームより１フレーム前の注目視点の視差画像とを用いて、注目フレームの注目視点の画像の奥行方向の動きベクトルを検出する。動き検出部３３は、検出された動きベクトルを動き反映部３４に供給する。
【００９４】
ステップＳ５４において、動き反映部３４は、判定部３２からの指令に応じて、動き検出部３３からの奥行方向の動きベクトル、対応画素検出部３１からの対応画素位置、並びに、記憶部１６に記憶されている補正後の視差画像および補正画素位置に基づいて、画像取得部１１からの注目フレームの注目視点の視差画像を補正する。そして、動き反映部３４は、補正後の注目フレームの注目視点の視差画像を出力する。そして、処理は図５のステップＳ３４に戻り、ステップＳ３５に進む。
【００９５】
一方、ステップＳ５２で補正画素位置の画素と対応画素位置の画素の視差値の差分が閾値より小さいと判定された場合、判定部３２は、反映部３５に指令を行い、処理をステップＳ５５に進める。
【００９６】
ステップＳ５５において、反映部３５は、判定部３２からの指令に応じて、対応画素検出部３１からの対応画素位置、並びに、記憶部１６に記憶されている補正後の視差画像および補正画素位置に基づいて、画像取得部１１からの注目フレームの注目視点の視差画像を補正する。そして、反映部３５は、補正後の注目フレームの注目視点の視差画像を出力する。そして、処理は図５のステップＳ３４に戻り、ステップＳ３５に進む。
【００９７】
［視差反映部の第２の構成例］
図７は、図１の視差反映部１７の第２の構成例を示すブロック図である。
【００９８】
図７に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００９９】
図７の視差反映部１７の構成は、主に、判定部３２および反映部３５が設けられていない点、および、動き反映部３４の代わりに動き反映部７１が設けられている点が図２の構成と異なる。図７の視差反映部１７は、補正画素位置と対応画素位置の視差値の差分によらず、奥行方向の動きベクトルに基づいて注目フレームおよび注目視点の視差画像を補正する。
【０１００】
具体的には、図７の視差反映部１７の動き反映部７１は、記憶部１６に記憶されている補正後の視差画像と補正画素位置を読み出す。そして、動き反映部７１は、図２の動き反映部３４と同様に、動き検出部３３からの動きベクトル、対応画素検出部３１により検出された対応画素位置、並びに、補正後の視差画像および補正画素位置に基づいて、画像取得部１１からの注目フレームの注目視点の視差画像を補正する。そして、動き反映部７１は、補正後の注目フレームの注目視点の視差画像を出力する。
【０１０１】
［視差反映部の処理の説明］
図８は、図７の視差反映部１７による図５のステップＳ３４の注目視点補正処理の詳細を説明するフローチャートである。
【０１０２】
図８のステップＳ７１において、動き検出部３３は、画像取得部１１から供給される注目フレームの注目視点の視差画像と、その注目フレームより１フレーム前の注目視点の視差画像とを用いて、注目フレームの注目視点の奥行方向の動きベクトルを検出する。動き検出部３３は、検出された動きベクトルを動き反映部７１に供給する。
【０１０３】
ステップＳ７２において、動き反映部７１は、動き検出部３３からの奥行方向の動きベクトル、対応画素検出部３１により検出された対応画素位置、並びに、補正後の視差画像および補正画素位置に基づいて、画像取得部１１からの注目フレームの注目視点の視差画像を補正する。そして、動き反映部７１は、補正後の注目フレームの注目視点の視差画像を出力する。そして、処理は図５のステップＳ３４に戻り、ステップＳ３５に進む。
【０１０４】
＜第２実施の形態＞
［画像処理装置の第２実施の形態の構成例］
図９は、本技術を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【０１０５】
図９に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０６】
図９の画像処理装置９０の構成は、主に、新たに視差検出部９１が設けられている点が図１の構成と異なる。図９の画像処理装置９０には、外部から３D動画像のみが入力され、画像処理装置９０は、その３D動画像に対応する視差画像を生成する。
【０１０７】
具体的には、画像処理装置９０の視差検出部９１には、外部から３D動画像が入力される。視差検出部９１は、入力された３D動画像の各フレームの各視点の画像の各画素の視差値を検出する。
【０１０８】
より詳細には、視差検出部９１は、例えば、３D動画像を構成する各フレームの各１視点の画像、または、各フレームの各１視点の画像と任意の１視点の画像により生成される３D画像の動き、色、ボケ等の特徴を用いて奥行き推定処理を行う。そして、視差検出部９１は、その結果得られる各フレームの各１視点の画像の各画素のデプス値を視差値に変換する。視差検出部９１は、検出された３D動画像の各フレームの各視点の画像の各画素の視差値を表す視差画像を、画像取得部１１に供給する。
【０１０９】
なお、視差検出部９１は、３D動画像を構成する各フレームの各１視点の画像を含む2視点以上の画像に対してステレオマッチング等の視差検出処理を行い、各フレームの各１視点の画像の各画素の視差値を求めるようにしてもよい。
【０１１０】
＜第３実施の形態＞
［画像処理装置の第３実施の形態の構成例］
図１０は、本技術を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【０１１１】
図１０に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１２】
図１０の画像処理装置１１０の構成は、主に、新たに領域抽出部１１１が設けられている点、および、調整部１５、記憶部１６、視差反映部１７の代わりに調整部１１２、記憶部１１３、視差反映部１１４が設けられている点が図１の構成と異なる。図１０の画像処理装置１１０は、表示中の画像を複数の領域に区分し、ユーザにより指定された画素を含む領域を、視差値を補正する領域に決定する。
【０１１３】
具体的には、領域抽出部１１１は、画像取得部１１により抽出された、ユーザにより指定されたフレームおよび視点の画像に対して、動きや色等の画像の特徴を用いたセグメンテーション、物体認識等を行う。これにより、ユーザにより指定されたフレームおよび視点の画像が、略同一の特徴を有する１以上の画素からなる複数の領域に精度良く区分される。
【０１１４】
領域抽出部１１１は、区分された各領域の位置と、入力部１４により取得された補正画素位置とに基づいて、補正画素位置の画素を含む領域を、視差値を補正する領域に決定する。領域抽出部１１１は、その視差値を補正する領域の位置を補正領域位置として調整部１１２に供給するとともに、入力部１４により取得された補正値と指定情報を調整部１１２に供給する。
【０１１５】
なお、領域抽出部１１１は、ユーザにより指定されたフレームおよび視点の画像ではなく、その画像に対応する視差画像に対して、視差値を用いたセグメンテーションや物体認識等を行うようにしてもよい。この場合、ユーザにより指定されたフレームおよび視点の画像が、略同一の視差値を有する１以上の画素からなる複数の領域に精度良く区分される。
【０１１６】
調整部１１２は、領域抽出部１１１から供給される補正領域位置と補正値とに基づいて、画像取得部１１から供給される視差画像を補正する。調整部１１２は、補正後の視差画像および補正領域位置、並びに、領域抽出部１１１から供給される指定情報を記憶部１１３に供給する。
【０１１７】
記憶部１１３は、調整部１１２から供給される指定情報に対応付けて、補正後の視差画像および補正領域位置を記憶する。
【０１１８】
視差反映部１１４は、図１の視差反映部１７と同様に、画像取得部１１から入力される視差画像の全てのフレームを順次注目フレームとする。また、視差反映部１１４は、視差反映部１７と同様に、注目フレームの全ての視差画像に対応する視点を順次注目視点とする。視差反映部１１４は、記憶部１１３から指定情報、補正領域位置、および補正後の視差画像を読み出す。視差反映部１１４は、視差補正部として機能し、読み出された指定情報、補正領域位置、および補正後の視差画像に基づいて、画像取得部１１から供給される注目フレームの注目視点の視差画像を補正して、出力する。
【０１１９】
［視差反映部の構成例］
図１１は、図１０の視差反映部１１４の構成例を示すブロック図である。
【０１２０】
図１１に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１２１】
図１１の視差反映部１１４の構成は、主に、対応画素検出部３１、判定部３２、動き反映部３４、反映部３５の代わりに、対応領域検出部１３１、判定部１３２、動き反映部１３３、反映部１３４が設けられている点が図２の構成と異なる。
【０１２２】
対応領域検出部１３１、判定部１３２、動き反映部１３３、および反映部１３４は、処理対象が画素単位ではなく、領域単位であることを除いて、対応画素検出部３１、判定部３２、動き反映部３４、および反映部３５と同様であるので、説明は省略する。
【０１２３】
なお、対応領域検出部１３１は、対応点検出アルゴリズムにしたがう処理の代わりに、パターンマッチング、物体認識等の対応領域検出アルゴリズムにしたがう処理を行うこともできる。
【０１２４】
［画像処理装置の処理の説明］
図１２は、図１０の画像処理装置１１０の視差調整処理を説明するフローチャートである。この視差調整処理は、例えば、ユーザが入力部１４を操作して、フレームおよび１以上の視点を指定したとき、開始される。
【０１２５】
図１２のステップＳ９１乃至Ｓ９４の処理は、図４のステップＳ１１乃至Ｓ１４の処理と同様であるので、説明は省略する。
【０１２６】
ステップＳ９５において、領域抽出部１１１は、画像取得部１１により抽出されたユーザにより指定されたフレームおよび視点の画像に対して、動きや色等の画像の特徴を用いたセグメンテーションや物体認識等を行うことにより、その画像を１以上の画素からなる複数の領域に区分する。
【０１２７】
ステップＳ９６において、領域抽出部１１１は、区分された各領域の位置と、入力部１４により取得された補正画素位置とに基づいて、補正画素位置の画素を含む領域を、視差値を補正する領域に決定する。領域抽出部１１１は、その視差値を補正する領域の位置を補正領域位置として調整部１１２に供給するとともに、入力部１４により取得された補正値と指定情報を調整部１１２に供給する。
【０１２８】
ステップＳ９７において、調整部１１２は、領域抽出部１１１から供給される補正領域位置および補正値に基づいて、画像取得部１１から供給される表示中の画像の視差画像を補正する。調整部１１２は、補正後の視差画像および補正領域位置、並びに、領域抽出部１１１から供給される指定情報を記憶部１１３に供給する。
【０１２９】
ステップＳ９８において、記憶部１１３は、調整部１１２から供給される指定情報に対応付けて、補正領域位置および補正後の視差画像を記憶し、処理を終了する。
【０１３０】
図１３は、図１１の視差反映部１１４の視差反映処理を説明するフローチャートである。この視差調整処理は、例えば、図１２の視差調整処理が行われたと、開始される。
【０１３１】
図１３のステップＳ１１１において、視差反映部１１４の対応領域検出部１３１は、記憶部１１３から指定情報と補正領域位置を読み出す。
【０１３２】
ステップＳ１１２において、対応領域検出部１３１は、図１０の画像取得部１１に入力される全ての視差画像に対応するフレームのうち、まだ注目フレームとしていないフレームを注目フレームに決定する。
【０１３３】
ステップＳ１１３において、対応領域検出部１３１は、注目フレームの全ての視差画像に対応する視点のうち、まだ注目視点としてない視点を注目視点に決定する。
【０１３４】
ステップＳ１１４において、対応領域検出部１３１は、画像取得部１１からの視差画像、並びに、補正領域位置、指定情報が表す視点の位置、および注目視点の位置に基づいて、対応領域位置を検出する。対応領域検出部１３１は、検出された対応領域位置を、判定部１３２、動き反映部１３３、および反映部１３４に供給する。
【０１３５】
ステップＳ１１５において、視差反映部１１４は、注目フレームの注目視点の視差値を補正する注目視点補正処理を行う。この注目視点補正処理は、処理対象が画素単位ではなく領域単位である点を除いて、図６の注目視点補正処理と同様であるので、説明は省略する。
【０１３６】
ステップＳ１１６において、対応領域検出部１３１は、注目フレームの全ての視差画像に対応する全ての視点を注目視点としたかどうかを判定する。ステップＳ１１６でまだ注目フレームの全ての視差画像に対応する全ての視点を注目視点としていないと判定された場合、処理はステップＳ１１３に戻り、注目フレームの全ての視差画像に対応する全ての視点を注目視点とするまで、ステップＳ１１３乃至Ｓ１１６の処理が繰り返される。
【０１３７】
一方、ステップＳ１１６で注目フレームの全ての視差画像に対応する全ての視点を注目視点としたと判定された場合、ステップＳ１１７において、画像取得部１１に入力される全ての視差画像に対応するフレームを注目フレームとしたかどうかを判定する。ステップＳ１１７でまだ外部から入力される全ての視差画像に対応するフレームを注目フレームとしていないと判定された場合、処理はステップＳ１１２に戻り、画像取得部１１に入力される全ての視差画像に対応するフレームを注目フレームとするまで、ステップＳ１１２乃至Ｓ１１７の処理が繰り返される。
【０１３８】
ステップＳ１１７で画像取得部１１に入力される全ての視差画像に対応するフレームを注目フレームとしたと判定された場合、処理は終了する。
【０１３９】
以上のように、画像処理装置１１０は、画像から領域を抽出し、ユーザにより指定された画素を含む領域を視差値を補正する領域に決定するので、ユーザが所望の領域を手作業で指定する場合に比べて、ユーザの所望の領域を容易かつ正確に指定することができる。
【０１４０】
その結果、例えば、物体認識により半球状のオブジェクトの領域が抽出され、その領域が視差値を補正する領域に決定される場合、３D動画像内の半球状のオブジェクト全体の視差をきれいに変化させることができる。
【０１４１】
なお、画像処理装置１１０の視差反映部１１４は、図７の視差反映部１７において、処理単位を画素単位ではなく領域単位にしたものとすることもできる。
【０１４２】
＜第４実施の形態＞
［画像処理装置の第４実施の形態の構成例］
図１４は、本技術を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。
【０１４３】
図１４に示す構成のうち、図９や図１０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１４４】
図１４の画像処理装置１５０の構成は、主に、新たに視差検出部９１が設けられている点が図１０の構成と異なる。図１４の画像処理装置１５０には、図９の画像処理装置９０と同様に、外部から３D動画像のみが入力され、画像処理装置１５０は、その３D動画像に対応する視差画像を生成する。
【０１４５】
以上のように、画像処理装置１０（９０，１１０，１５０）は、３D動画像のうちの所定のフレームの所定の視点の画像の視差画像の所定の画素の補正値を取得し、その補正値に基づいて、３D動画像の視差画像のうちの、所定のフレームの所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する。従って、ユーザは、３D動画像の視差画像のうちの所定のフレームの所定の視点の視差画像の所望の領域の補正値を入力するだけで、その視差画像とはフレームまたは視点が異なる視差画像の所望の領域の視差値も補正することができる。その結果、ユーザは、３D動画像の所望の領域の複数のフレームまたは視点の視差値を容易に変更することができる。
【０１４６】
なお、本発明は、３D動画像の所定の領域の複数のフレームおよび視点の視差に関する情報を補正する画像処理装置だけでなく、３D動画像の所定の領域の複数のフレームまたは視点の視差に関する情報を補正する画像処理装置や、２以上の視点の３D静止画像の所定の領域の複数の視点の視差に関する情報を補正する画像処理装置にも適用することができる。また、本発明は、ポストプロダクション等に用いられる編集装置、パーソナルコンピュータやゲーム機器等に適用することができる。
【０１４７】
また、上述した第１乃至第４実施の形態では、画像処理装置１０（９０，１１０，１５０）が、３D動画像の全フレームおよび全視点の視差画像を補正したが、所定の複数の視差画像のみを補正するようにしてもよい。この場合、補正対象とする視差画像に対応するフレームおよび視点は、予め決められていてもよいし、ユーザにより指定されるようにしてもよい。
【０１４８】
さらに、注目フレームは、外部から入力される３D動画像に対応するフレーム以外のフレームであってもよい。注目視点についても同様である。
【０１４９】
この場合、対応画素検出部３１（対応領域検出部１３１）は、指定情報が表すフレームおよび視点の視差画像の全ての画素位置について、対応する注目フレームの注目視点の視差画像の位置（領域）を検出する。そして、動き反映部３４（１３３）または反映部３５（１３４）は、その位置（領域）等に基づいて、調整部１１２により補正された視差画像から注目フレームの注目視点の視差画像を生成する。
【０１５０】
また、視差反映部１７および視差反映部１１４は、視差画像を補正するだけでなく、補正後の視差画像を用いて画像も補正するようにしてもよい。
【０１５１】
さらに、画像処理装置１１０（１５０）が物体認識により画像の領域を区分する場合、ユーザは画素を指定するのではなく、物体を特定する情報を指定するようにしてもよい。この場合、画像処理装置１１０（１５０）は、ユーザにより指定された物体を特定する情報により特定される物体の領域を、視差値を補正する領域として決定する。
【０１５２】
＜第５実施の形態＞
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１５３】
そこで、図１５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１５４】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０１５５】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１５６】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１５７】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１５８】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１５９】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１６０】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１６１】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１６２】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１６３】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１６４】
なお、本技術は、以下のような構成もとることができる。
【０１６５】
（１）
１以上のフレームの２以上の視点の画像からなる３D画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値を取得する取得部と、
前記取得部により取得された前記補正値に基づいて、前記３D画像の視差画像のうちの、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する視差補正部と
を備える画像処理装置。
（２）
前記視差補正部は、
前記所定の画素に対応する、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像の画素を対応画素として検出する対応画素検出部と、
前記補正値に基づいて、前記対応画素検出部により検出された前記対応画素の視差値を補正する補正部と
を備える前記（１）に記載の画像処理装置。
（３）
前記視差補正部は、
前記所定の画素に対応する、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像の画素を対応画素として検出する対応画素検出部と、
前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像に対応する画像の奥行方向の動きベクトルを検出する動き検出部と、
前記動き検出部により検出された前記動きベクトルと前記補正値に基づいて、前記対応画素検出部により検出された前記対応画素の視差値を補正する補正部と
を備える前記（１）に記載の画像処理装置。
（４）
前記補正部は、前記所定の画素の視差値と前記対応画素の視差値の差分が所定の閾値より小さい場合、前記補正値に基づいて前記対応画素の視差値を補正し、前記所定の画素の視差値と前記対応画素の視差値の差分が前記所定の閾値以上である場合、前記動きベクトルと前記補正値に基づいて前記対応画素の視差値を補正する
前記（３）に記載の画像処理装置。
（５）
前記所定のフレームの前記所定の視点の画像を１以上の画素からなる複数の領域に区分する領域抽出部
をさらに備え、
前記取得部は、前記所定のフレームの前記所定の視点の視差画像の、前記領域抽出部により区分された前記複数の領域のうちの所定の領域の補正値を取得する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
画像処理装置が、
１以上のフレームの２以上の視点の画像からなる３D画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値を取得する取得ステップと、
前記取得部により取得された前記補正値に基づいて、前記３D画像の視差画像のうちの、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する視差補正ステップと
を含む画像処理方法。
（７）
コンピュータに、
１以上のフレームの２以上の視点の画像からなる３D画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値を取得する取得ステップと、
前記取得部により取得された前記補正値に基づいて、前記３D画像の視差画像のうちの、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する視差補正ステップと
を含む処理を実行させるためのプログラム。
【符号の説明】
【０１６６】
１０ 画像処理装置， １４ 入力部， １７ 視差反映部， ３１ 対応画素検出部， ３３ 動き検出部， ３４ 動き反映部， ３５ 反映部， ７１ 動き反映部， ９０，１１０ 画像処理装置， １１４ 視差反映部， １３１ 対応領域検出部， １３３ 動き反映部， １３４ 反映部， １５０ 画像処理装置
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、２以上の視点の３D画像の所望の領域の複数のフレームまたは視点の視差に関する情報を容易に変更することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、２視点の３D静止画像の仮想視点間の奥行き量または視差値を調整する際に、各種セグメンテーション手法やユーザからのGUI（Graphical User Interface）を利用した入力を用いて、調整する領域を指定する技術が考案されている(例えば、特許文献１参照)。この技術により、３D静止画像の１視点の所望の領域の奥行き量または視差値のみを変更することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２０９８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、複数のフレームの２以上の視点の３D画像からなる３D動画像において、フレームごとに奥行き量や視差値等の視差に関する情報を調整する領域を指定したり、３D動画像や２以上の視点の３D静止画像において、視点ごとに視差に関する情報を調整する領域を指定したりすることは、多くの時間および労力を必要とする。従って、２以上の視点の３D画像の所望の領域の複数のフレームまたは視点の視差に関する情報を変更することは困難である。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、２以上の視点の３D画像の所望の領域の複数のフレームまたは視点の視差に関する情報を容易に変更することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の画像処理装置は、１以上のフレームの２以上の視点の画像からなる３D画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値を取得する取得部と、前記取得部により取得された前記補正値に基づいて、前記３D画像の視差画像のうちの、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する視差補正部とを備える画像処理装置である。
【０００７】
本技術の一側面の画像処理方法およびプログラムは、本技術の一側面の画像処理装置に対応する。
【０００８】
本技術の一側面においては、１以上のフレームの２以上の視点の画像からなる３D画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値が取得され、前記補正値に基づいて、前記３D画像の視差画像のうちの、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像が補正される。
【発明の効果】
【０００９】
本技術の一側面によれば、２以上の視点の３D画像の所望の領域の複数のフレームまたは視点の視差に関する情報を容易に変更することができる。
【図面の簡単な説明】
【００１０】
【図１】本技術を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【図２】図１の視差反映部の第１の構成例を示すブロック図である。
【図３】動き反映部および反映部による処理を説明する図である。
【図４】図１の画像処理装置の視差調整処理を説明するフローチャートである。
【図５】図２の視差反映部の視差反映処理を説明するフローチャートである。
【図６】図５の注目視点補正処理の詳細を説明するフローチャートである。
【図７】図１の視差反映部の第２の構成例を示すブロック図である。
【図８】図７の視差反映部による注目視点補正処理の詳細を説明するフローチャートである。
【図９】本技術を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【図１０】本技術を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【図１１】図１０の視差反映部の構成例を示すブロック図である。
【図１２】図１０の画像処理装置の視差調整処理を説明するフローチャートである。
【図１３】図１１の視差反映部の視差反映処理を説明するフローチャートである。
【図１４】本技術を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。
【図１５】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００１１】
＜第１実施の形態＞
［画像処理装置の第１実施の形態の構成例］
図１は、本技術を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【００１２】
図１において、画像処理装置１０は、画像取得部１１、表示制御部１２、表示部１３、入力部１４、調整部１５、記憶部１６、および視差反映部１７により構成される。画像処理装置１０は、例えば、３D動画像のうちの所定のフレームの所定の視点の画像に対するユーザからの指示に基づいて、３D動画像の各フレームの各視点の視差画像を変更する。
【００１３】
具体的には、画像処理装置１０の画像取得部１１には、２以上の視点の画像を撮影する装置、１視点の画像を撮影し、その画像から２以上の視点の画像を生成する装置、２視点以上の画像を撮影し、その画像から、より多くの視点の画像を生成する装置等により得られる３D動画像（３D画像シーケンス）が入力される。
【００１４】
また、画像取得部１１には、３D動画像だけでなく、その３D動画像の視差画像も入力される。視差画像とは、画像の各画素の視差値や被写体までの奥行方向の距離を表すデプス値等の視差に関する情報を表す画像である。視差画像は、測距センサ等の視差値またはデプス値を取得する装置や、３D動画像に対して奥行き推定処理やステレオマッチング等の視差検出処理を行う装置等により得られる。
【００１５】
なお、視差値とデプス値は互いに変換可能な値であるため、本明細書では、視差画像は、画像の各画素の視差値であるものとして説明する。また、本実施の形態では、３D動画像の各フレームの各視点の画像の視差画像が入力されるものとするが、所定のフレームの所定の視点の画像の視差画像のみが入力されるようにしてもよい。この場合、画像取得部１１は、入力された所定のフレームの所定の視点の視差画像から、他のフレームまたは他の視点の視差画像を生成するようにしてもよい。
【００１６】
画像取得部１１は、入力部１４から供給されるユーザにより指定されたフレームおよび視点を表す情報である指定情報に基づいて、外部から入力された３D動画像のうちの、ユーザにより指定されたフレームおよび視点の画像を抽出する。画像取得部１１は、抽出された画像を表示制御部１２に供給し、その画像に対応する視差画像を調整部１５に供給する。また、画像取得部１１は、外部から入力される視差画像を視差反映部１７に供給する。
【００１７】
表示制御部１２は、画像取得部１１から供給される画像を表示部１３に表示させる。
【００１８】
入力部１４は、ユーザからの操作を受け付ける。具体的には、ユーザは、３D動画像の視差画像を補正したい場合、補正後の視差値である補正値を入力するために表示させる画像に対応するフレームと１以上の視点を指定するための操作を行う。入力部１４は、その操作を受け付けて指定情報を生成し、画像取得部１１と調整部１５に供給する。また、ユーザは、表示部１３に画像が表示されているとき、その画像の所定の画素を指定するための操作を行い、その画素に対応する視差画像の画素の補正値を入力するための操作を行う。入力部１４は、取得部として機能し、これらの操作を受け付けて、指定された画素の位置（以下、補正画素位置という）と入力された補正値を取得し、調整部１５に供給する。
【００１９】
調整部１５は、入力部１４から供給される補正画素位置と補正値に基づいて、画像取得部１１から供給される視差画像を補正する。調整部１５は、補正後の視差画像および補正画素位置、並びに、入力部１４から供給される指定情報を記憶部１６に供給する。
【００２０】
記憶部１６は、調整部１５から供給される指定情報に対応付けて、補正後の視差画像および補正画素位置を記憶する。
【００２１】
視差反映部１７は、画像取得部１１から入力される視差画像の全てのフレームを順次注目フレームとする。また、視差反映部１７は、注目フレームの全ての視差画像に対応する視点を順次注目視点とする。視差反映部１７は、記憶部１６から指定情報、補正画素位置、および補正後の視差画像を読み出す。視差反映部１７は、視差補正部として機能し、読み出された指定情報、補正画素位置、および補正後の視差画像に基づいて、画像取得部１１から供給される注目フレームの注目視点の視差画像を補正して、出力する。
【００２２】
なお、画像取得部１１は、画像とともに、対応する視差画像を表示制御部１２に供給し、表示制御部１２は、画像と視差画像を表示部１３に表示させるようにしてもよい。この場合、画像と視差画像のうちのいずれに対して視差値を補正する画素を指定してもよい。
【００２３】
［視差反映部の第１の構成例］
図２は、図１の視差反映部１７の第１の構成例を示すブロック図である。
【００２４】
図２において、視差反映部１７は、対応画素検出部３１、判定部３２、動き検出部３３、動き反映部３４、および反映部３５により構成される。
【００２５】
視差反映部１７の対応画素検出部３１は、画像取得部１１に入力される全ての視差画像に対応するフレームを順次注目フレームとする。また、対応画素検出部３１は、注目フレームの全ての視差画像に対応する視点を順次注目視点とする。
【００２６】
対応画素検出部３１は、記憶部１６から指定情報と補正画素位置を読み出す。対応画素検出部３１は、図１の画像取得部１１からの視差画像、並びに、補正画素位置、指定情報が表す視点の位置、および注目視点の位置に基づいて、補正画素位置に対応する、注目フレームの注目視点の視差画像の画素位置（以下、対応画素位置という）を検出する。
【００２７】
具体的には、指定情報が注目フレームおよび注目視点を表す場合、対応画素検出部３１は、補正画素位置を対応画素位置として検出する。
【００２８】
また、指定情報が注目フレームを表しており、注目視点以外の視点を表している場合、対応画素検出部３１は、補正画素位置、指定情報が表すフレームおよび視点の視差画像、並びに、その視差画像の基点、指定情報が表す視点、および注目視点の位置関係に基づいて、対応画素位置を検出する。より詳細には、対応画素検出部３１は、補正画素位置の視差値、並びに、指定情報が表す視点、指定情報が表す視点およびフレームの視差画像の基点、および注目視点の位置関係に基づいて、対応画素位置を検出する。
【００２９】
なお、この場合、対応画素検出部３１は、注目フレームの注目視点の画像と、指定情報が表すフレームおよび視点の画像の補正画素位置の画素値とを用いて、対応点検出アルゴリズムにしたがう処理を行うことにより、対応画素位置を検出するようにしてもよい。対応点検出アルゴリズムとしては、ブロックマッチング、グラフカット、動的計画法等がある。
【００３０】
また、以下のように、対応画素位置を検出してもよい。即ち、対応画素検出部３１は、まず、補正画素位置、指定情報が表すフレームおよび視点の視差画像、並びに、その視差画像の基点、指定情報が表す視点、および注目視点の位置関係に基づいて、対応画素位置の候補を検出する。そして、対応画素検出部３１は、注目フレームの注目視点の画像に対して、指定情報が表すフレームおよび視点の画像の対応画素位置の候補の画素を含む所定の範囲を探索範囲として、対応点検出アルゴリズムにしたがう処理を行うことにより、最終的な対応画素位置を検出する。
【００３１】
さらに、これらの視差画像を用いた検出方法、画像を用いた検出方法、および視差画像および画素を用いた検出方法を選択的に行うようにしてもよい。
【００３２】
一方、指定情報が注目画素を表しており、注目フレーム以外のフレームを表している場合、または、指定情報が注目フレーム以外のフレームおよび注目画素以外の画素を表している場合、対応画素検出部３１は、注目フレームの注目視点の視差画像と、指定情報が表すフレームおよび視点の視差画像とを用いて対応点検出アルゴリズムにしたがう処理を行うことにより、対応画素位置を検出する。
【００３３】
なお、この場合、対応画素検出部３１は、注目フレームの注目視点の画像と、指定情報が表すフレームおよび視点の画像とを用いて対応点検出アルゴリズムにしたがう処理を行うことにより、対応画素位置を検出するようにしてもよい。
【００３４】
また、対応画素検出部３１は、注目フレームの注目視点の画像および視差画像、並びに、指定情報が表すフレームおよび視点の画像および視差画像を用いて、対応点検出アルゴリズムにしたがう処理を行うことにより、対応画素位置を検出するようにしてもよい。
【００３５】
この場合、例えば、対応点検出アルゴリズムがブロックマッチングである場合、対応画素検出部３１は、注目フレームの注目視点の画像の各ブロックの画素値と、指定情報が表すフレームおよび視点の画像の対応画素位置の画素を含むブロックの画素値の差分絶対値和を第１の評価値として算出する。また、対応画素検出部３１は、注目フレームの注目視点の視差画像の各ブロックの視差値と、指定情報が表すフレームおよび視点の視差画像の対応画素位置の画素を含むブロックの視差値の差分絶対値和を第２の評価値として算出する。そして、対応画素検出部３１は、第１の評価値と第２の評価値の重み付き平均値を最終的な評価値として、最終的な評価値が最小となる注目フレームの注目視点の視差画像のブロック内の補正画素位置に対応する位置を対応画素位置として検出する。
【００３６】
さらに、これらの視差画像を用いた検出方法、画像を用いた検出方法、および視差画像および画素を用いた検出方法を選択的に行うようにしてもよい。
【００３７】
対応画素検出部３１は、以上のようにして検出された対応画素位置を、判定部３２、動き反映部３４、および反映部３５に供給する。
【００３８】
判定部３２は、記憶部１６から指定情報を読み出す。判定部３２は、画像取得部１１から供給される視差画像から、指定情報が表すフレームおよび視点の視差画像の補正画素位置の画素の視差値を抽出する。また、判定部３２は、画像取得部１１から供給される視差画像から、注目フレームの注目視点の視差画像の、対応画素検出部３１から供給される対応画素位置の画素の視差値を抽出する。
【００３９】
そして、判定部３２は、抽出された補正画素位置の画素の視差値と、対応画素位置の画素の視差値との差分を求める。判定部３２は、その差分が閾値以上であるかどうかを判定する。判定部３２は、その差分が閾値以上であると判定された場合、動き反映部３４に指令を行い、その差分が閾値より小さいと判定された場合、反映部３５に指令を行う。
【００４０】
なお、補正画素位置が複数ある場合には、補正画素位置ごとに判定が行われるようにしてもよいし、全ての補正画素位置についてまとめて判定が行われるようにしてもよい。全ての補正画素位置についてまとめて判定が行われる場合には、例えば、各補正画素位置についての差分の平均値が判定に用いられる。
【００４１】
動き検出部３３は、画像取得部１１から供給される注目フレームの注目視点の視差画像と、その注目フレームより１フレーム前の注目視点の視差画像とを用いて、注目フレームの注目視点の画像の奥行方向の動きベクトルを検出する。動き検出部３３は、検出された動きベクトルを動き反映部３４に供給する。なお、本明細書では、手前方向、即ち表示部１３の画面から視聴位置に向かう方向を正方向とし、奥方向、即ち視聴位置から表示部１３の画面に向かう方向を負方向とする。
【００４２】
動き反映部３４は、判定部３２からの指令に応じて、記憶部１６に記憶されている補正後の視差画像と補正画素位置を読み出す。そして、動き反映部３４は、補正部として機能し、動き検出部３３からの動きベクトル、対応画素検出部３１からの対応画素位置、並びに、補正後の視差画像および補正画素位置に基づいて、画像取得部１１からの注目フレームの注目視点の視差画像を補正する。
【００４３】
具体的には、動き反映部３４は、動きベクトルに基づいて、補正後の視差画像内の補正画素位置の視差値を変更し、注目フレームの注目視点の視差画像内の対応画素位置の視差値を、変更後の補正画素位置の視差値に変更する。即ち、動き反映部３４は、フレーム間の視差値の変化を考慮して、注目フレームの注目視点の視差画像内の対応画素位置の視差値を補正する。そして、動き反映部３４は、補正後の注目フレームの注目視点の視差画像を出力する。
【００４４】
反映部３５は、判定部３２からの指令に応じて、記憶部１６に記憶されている補正後の視差画像と補正画素位置を読み出す。そして、反映部３５は、補正部として機能し、対応画素検出部３１からの対応画素位置、並びに、補正後の視差画像および補正画素位置に基づいて、画像取得部１１からの注目フレームの注目視点の視差画像を補正する。具体的には、反映部３５は、注目フレームの注目視点の視差画像内の対応画素位置の視差値を、補正後の視差画像内の補正画素位置の視差値に変更する。そして、反映部３５は、補正後の視差画像を出力する。
【００４５】
［動き反映部および反映部の処理の説明］
図３は、動き反映部３４および反映部３５による処理を説明する図である。
【００４６】
図３の例では、ｔフレームの視点Ａの画像５１には、オブジェクト５１Ａがあり、tフレームの視点Ｂの画像５２には、オブジェクト５１Ａに対応するオブジェクト５２Ａがある。また、t+1フレームの視点Ａの画像５３には、オブジェクト５１Ａが右手前側に移動したオブジェクト５３Ａがあり、t+1フレームの視点Ｂの画像５４には、オブジェクト５２Ａが右手前側に移動したオブジェクト５４Ａがある。
【００４７】
ここで、ユーザが、ｔフレームおよび視点Ａを指定した後、オブジェクト５１Ａの位置ptを指定し、位置ptの視差値dtの補正値ctを入力すると、オブジェクト５１Ａの位置ptの視差値dtが補正値ctに補正される。
【００４８】
そして、注目フレームがｔフレームであり、注目視点が視点Bである場合、オブジェクト５１Ａの位置ptである補正画素位置の視差値dtと、その補正画素位置に対応する対応画素位置であるオブジェクト５２Ａの位置p'tの視差値d'tの差分が閾値より小さいため、反映部３５に指令が供給される。これにより、反映部３５は、オブジェクト５１Ａの位置ptである補正画素位置に対応する対応画素位置であるオブジェクト５２Ａの位置p'tの視差値d'tを補正値ｃtに補正する。
【００４９】
また、注目フレームがt+1フレームであり、注目視点が視点Aである場合、判定部３２は、オブジェクト５１Ａの位置ptである補正画素位置の視差値dtと、その補正画素位置に対応する対応画素位置であるオブジェクト５３Ａの位置pt+1の視差値dt+1の差分を求める。図３の例では、オブジェクト５１Ａが右手前側に移動してオブジェクト５３Ａとなる、即ち、オブジェクト５１Ａが奥行方向に移動してオブジェクト５３Ａとなるので、補正画素位置の視差値dtと対応画素位置の視差値dt+1の差分は大きい。
【００５０】
従って、判定部３２からの指令が動き反映部３４に供給され、動き反映部３４は、例えば、以下の式（１）により、奥行方向の動きベクトルに基づいて補正後の視差画像内の補正画素位置の視差値を変更し、補正値ｃt+1を得る。そして、動き反映部３４は、オブジェクト５１Ａの位置ptである補正画素位置に対応する対応画素位置であるオブジェクト５３Ａの位置pt+1の視差値dt+1を、補正値ｃt+1に補正する。
【００５１】
ct+1=α(ct-dt)+dt+1
・・・（１）
【００５２】
なお、式（１）において、αは動きベクトルに基づく係数である。
【００５３】
例えば、奥行方向の動きベクトルが閾値vth1(vth1≧0)より大きい場合、即ち、注目視点の画像が急激に迫り出す場合、例えば、αは1より大きい値に設定される。即ち、対応画素位置の視差値の補正量が、補正画素位置の視差値の補正量より大きくされる。これにより、急激に迫り出すシーンで、より迫り出すようにすることができる。
【００５４】
なお、奥行方向の動きベクトルが閾値vth1(vth1≧0)より大きい場合、αは0より大きく1より小さい値に設定されるようにしてもよい。即ち、対応画素位置の視差値の補正量が、補正画素位置の視差値の補正量より小さくされるようにしてもよい。この場合、急激に迫り出すシーンで、視差が急激に大きくなり過ぎないようにすることができる。
【００５５】
また、奥行方向の動きベクトルが閾値vth1(vth1≧0)より大きい場合、αとして設定される値は、固定値であってもよいし、例えば、以下の式（２）に示すように、奥行方向の動きベクトルの大きさに応じた値でもよい。
【００５６】
α∝|vzt|×vth1-1
・・・（２）
【００５７】
式（２）において、vztは、奥行方向の動きベクトルを表す。
【００５８】
一方、奥行方向の動きベクトルが閾値vth2(vth2＜0)より小さい場合、即ち、注目視点の画像が急激に引っ込む場合、例えば、αは1より大きい値に設定される。これにより、急激に引っ込むシーンで、より引っ込むようにすることができる。
【００５９】
なお、奥行方向の動きベクトルがvth2(vth2＜0)より小さい場合、αは0より大きく1より小さい値に設定されるようにしてもよい。この場合、急激に引っ込むシーンで、視差が急激に小さくなり過ぎないようにすることができる。
【００６０】
また、奥行方向の動きベクトルがvth2(vth2＜0)より小さい場合、αとして設定される値は、固定値であってもよいし、例えば、以下の式（３）に示すように、奥行方向の動きベクトルの大きさに応じた値でもよい。
【００６１】
α∝|vzt|×vth2-1
・・・（３）
【００６２】
式（３）において、vztは、奥行方向の動きベクトルを表す。
【００６３】
また、奥行方向の動きベクトルがvth2(vth2＜0)以上閾値vth1(vth1≧0)以下である場合、αは１に設定され、補正値ｃt+1は以下の式（４）で表される。
【００６４】
ct+1=(ct-dt) +dt+1
・・・（４）
【００６５】
以上のように、動き反映部３４は、奥行方向の動きベクトルに基づいて補正値ｃt+1を決定するので、補正後の注目フレームおよび注目視点の視差画像に対応する３D画像の見え方が自然になる。
【００６６】
なお、奥行方向の動きベクトルによらず、αが１に設定されるようにしてもよい。
【００６７】
また、図３の例では、オブジェクト５３Ａが奥行方向に移動してオブジェクト５３Ａとなったが、オブジェクト５３Ａが奥行方向に移動せずに、例えば水平方向にのみ移動してオブジェクト５３Ａとなる場合、以下のようにしてオブジェクト５１Ａの位置ptである補正画素位置に対応する対応画素位置であるオブジェクト５３Ａの位置pt+1の視差値dt+1の補正を行う。
【００６８】
即ち、この場合、補正画素位置の視差値dtと対応画素位置の視差値dt+1の差分は小さい。従って、判定部３２からの指令が反映部３５に供給され、反映部３５は、例えば、オブジェクト５１Ａの位置ptである補正画素位置の補正後の視差値ｃtを用いて、以下の式（５）により補正値ｃt+1を求める。
【００６９】
ct+1= ct
・・・（５）
【００７０】
そして、オブジェクト５１Ａの位置ptである補正画素位置に対応する対応画素位置であるオブジェクト５３Ａの位置pt+1の視差値dt+1を補正値ｃt+1に補正する。
【００７１】
なお、注目フレームがt+1フレームであり、注目視点が視点Bである場合、注目フレームがt+1フレームであり、注目視点が視点Aである場合と同様に、オブジェクト５１Ａの位置ptである補正画素位置に対応する対応画素位置であるオブジェクト５４Ａの位置p't+1の視差値d't+1が補正される。
【００７２】
［画像処理装置の処理の説明］
図４は、図１の画像処理装置１０の視差調整処理を説明するフローチャートである。この視差調整処理は、例えば、ユーザが入力部１４を操作して、フレームおよび１以上の視点を指定したとき、開始される。
【００７３】
図４のステップＳ１１において、画像取得部１１は、入力部１４から供給される指定情報に基づいて、外部から入力された３D動画像のうちの、ユーザにより指定されたフレームおよび視点の画像を抽出する。画像取得部１１は、抽出された画像を表示制御部１２に供給し、その画像に対応する視差画像を調整部１５に供給する。また、画像取得部１１は、外部から入力される視差画像を視差反映部１７に供給する。
【００７４】
ステップＳ１２において、表示制御部１２は、画像取得部１１から供給される画像を表示部１３に表示させる。
【００７５】
ステップＳ１３において、入力部１４は、ユーザにより表示中の画像の所定の画素を指定するための操作が行われたかどうかを判定する。ステップＳ１３でユーザにより表示中の画像の所定の画素を指定するための操作が行われていないと判定された場合、その操作が行われるまで待機する。
【００７６】
一方、ステップＳ１３でユーザにより表示中の画像の所定の画素を指定するための操作が行われたと判定された場合、入力部１４は、その画素の位置を補正画素位置として調整部１５に供給する。
【００７７】
そして、ステップＳ１４において、入力部１４は、ユーザにより補正値を入力するための操作が行われたかどうかを判定する。ステップＳ１４でユーザにより補正値を入力するための操作が行われていないと判定された場合、その操作が行われるまで待機する。
【００７８】
一方、ステップＳ１４でユーザにより補正値を入力するための操作が行われたと判定された場合、入力部１４は、その補正値を調整部１５に供給する。
【００７９】
そして、ステップＳ１５において、調整部１５は、入力部１４から供給される補正画素位置および補正値に基づいて、画像取得部１１から供給される表示中の画像の視差画像を補正する。調整部１５は、補正後の視差画像および補正画素位置、並びに、入力部１４から供給される指定情報を記憶部１６に供給する。
【００８０】
ステップＳ１６において、記憶部１６は、調整部１５から供給される指定情報に対応付けて、補正画素位置および補正後の視差画像を記憶し、処理を終了する。
【００８１】
図５は、図２の視差反映部１７の視差反映処理を説明するフローチャートである。この視差反映処理は、例えば、図４の視差調整処理が行われた後、開始される。
【００８２】
図５のステップＳ３０において、視差反映部１７の対応画素検出部３１は、記憶部１６から指定情報と補正画素位置を読み出す。
【００８３】
ステップＳ３１において、対応画素検出部３１は、図１の画像取得部１１に入力される全ての視差画像に対応するフレームのうち、まだ注目フレームとしていないフレームを注目フレームに決定する。
【００８４】
ステップＳ３２において、対応画素検出部３１は、注目フレームの全ての視差画像に対応する視点のうち、まだ注目視点としてない視点を注目視点に決定する。
【００８５】
ステップＳ３３において、対応画素検出部３１は、画像取得部１１からの視差画像、並びに、補正画素位置、指定情報が表す視点の位置、および注目視点の位置に基づいて、対応画素位置を検出する。対応画素検出部３１は、検出された対応画素位置を、判定部３２、動き反映部３４、および反映部３５に供給する。
【００８６】
ステップＳ３４において、視差反映部１７は、注目フレームの注目視点の視差値を補正する注目視点補正処理を行う。この注目視点補正処理の詳細は、後述する図６を参照して説明する。
【００８７】
ステップＳ３５において、対応画素検出部３１は、注目フレームの全ての視差画像に対応する全ての視点を注目視点としたかどうかを判定する。ステップＳ３５でまだ注目フレームの全ての視差画像に対応する全ての視点を注目視点としていないと判定された場合、処理はステップＳ３２に戻り、注目フレームの全ての視差画像に対応する全ての視点を注目視点とするまで、ステップＳ３２乃至Ｓ３５の処理が繰り返される。
【００８８】
一方、ステップＳ３５で注目フレームの全ての視差画像に対応する全ての視点を注目視点としたと判定された場合、ステップＳ３６において、画像取得部１１に入力される全ての視差画像に対応するフレームを注目フレームとしたかどうかを判定する。ステップＳ３６でまだ画像取得部１１に入力される全ての視差画像に対応するフレームを注目フレームとしていないと判定された場合、処理はステップＳ３１に戻り、画像取得部１１に入力される全ての視差画像に対応するフレームを注目フレームとするまで、ステップＳ３１乃至Ｓ３６の処理が繰り返される。
【００８９】
ステップＳ３６で画像取得部１１に入力される全ての視差画像に対応するフレームを注目フレームとしたと判定された場合、処理は終了する。
【００９０】
図６は、図５のステップＳ３４の注目視点補正処理の詳細を説明するフローチャートである。
【００９１】
図６のステップＳ５１において、判定部３２は、補正画素位置の画素と対応画素位置の画素の視差値の差分を求める。具体的には、判定部３２は、記憶部１６から指定情報を読み出す。そして、判定部３２は、画像取得部１１から供給される視差画像から、指定情報が表すフレームおよび視点の視差画像の補正画素位置の画素の視差値を抽出する。また、判定部３２は、画像取得部１１から供給される視差画像から、注目フレームの注目視点の視差画像の、対応画素検出部３１から供給される対応画素位置の画素の視差値を抽出する。そして、判定部３２は、抽出された補正画素位置の画素の視差値と、対応画素位置の画素の視差値との差分を求める。
【００９２】
ステップＳ５２において、判定部３２は、補正画素位置の画素と対応画素位置の画素の視差値の差分が閾値以上であるかどうかを判定する。ステップＳ５２で補正画素位置の画素と対応画素位置の画素の視差値の差分が閾値以上であると判定された場合、判定部３２は、動き反映部３４に指令を行い、処理をステップＳ５３に進める。
【００９３】
ステップＳ５３において、動き検出部３３は、画像取得部１１から供給される注目フレームの注目視点の視差画像と、その注目フレームより１フレーム前の注目視点の視差画像とを用いて、注目フレームの注目視点の画像の奥行方向の動きベクトルを検出する。動き検出部３３は、検出された動きベクトルを動き反映部３４に供給する。
【００９４】
ステップＳ５４において、動き反映部３４は、判定部３２からの指令に応じて、動き検出部３３からの奥行方向の動きベクトル、対応画素検出部３１からの対応画素位置、並びに、記憶部１６に記憶されている補正後の視差画像および補正画素位置に基づいて、画像取得部１１からの注目フレームの注目視点の視差画像を補正する。そして、動き反映部３４は、補正後の注目フレームの注目視点の視差画像を出力する。そして、処理は図５のステップＳ３４に戻り、ステップＳ３５に進む。
【００９５】
一方、ステップＳ５２で補正画素位置の画素と対応画素位置の画素の視差値の差分が閾値より小さいと判定された場合、判定部３２は、反映部３５に指令を行い、処理をステップＳ５５に進める。
【００９６】
ステップＳ５５において、反映部３５は、判定部３２からの指令に応じて、対応画素検出部３１からの対応画素位置、並びに、記憶部１６に記憶されている補正後の視差画像および補正画素位置に基づいて、画像取得部１１からの注目フレームの注目視点の視差画像を補正する。そして、反映部３５は、補正後の注目フレームの注目視点の視差画像を出力する。そして、処理は図５のステップＳ３４に戻り、ステップＳ３５に進む。
【００９７】
［視差反映部の第２の構成例］
図７は、図１の視差反映部１７の第２の構成例を示すブロック図である。
【００９８】
図７に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００９９】
図７の視差反映部１７の構成は、主に、判定部３２および反映部３５が設けられていない点、および、動き反映部３４の代わりに動き反映部７１が設けられている点が図２の構成と異なる。図７の視差反映部１７は、補正画素位置と対応画素位置の視差値の差分によらず、奥行方向の動きベクトルに基づいて注目フレームおよび注目視点の視差画像を補正する。
【０１００】
具体的には、図７の視差反映部１７の動き反映部７１は、記憶部１６に記憶されている補正後の視差画像と補正画素位置を読み出す。そして、動き反映部７１は、図２の動き反映部３４と同様に、動き検出部３３からの動きベクトル、対応画素検出部３１により検出された対応画素位置、並びに、補正後の視差画像および補正画素位置に基づいて、画像取得部１１からの注目フレームの注目視点の視差画像を補正する。そして、動き反映部７１は、補正後の注目フレームの注目視点の視差画像を出力する。
【０１０１】
［視差反映部の処理の説明］
図８は、図７の視差反映部１７による図５のステップＳ３４の注目視点補正処理の詳細を説明するフローチャートである。
【０１０２】
図８のステップＳ７１において、動き検出部３３は、画像取得部１１から供給される注目フレームの注目視点の視差画像と、その注目フレームより１フレーム前の注目視点の視差画像とを用いて、注目フレームの注目視点の奥行方向の動きベクトルを検出する。動き検出部３３は、検出された動きベクトルを動き反映部７１に供給する。
【０１０３】
ステップＳ７２において、動き反映部７１は、動き検出部３３からの奥行方向の動きベクトル、対応画素検出部３１により検出された対応画素位置、並びに、補正後の視差画像および補正画素位置に基づいて、画像取得部１１からの注目フレームの注目視点の視差画像を補正する。そして、動き反映部７１は、補正後の注目フレームの注目視点の視差画像を出力する。そして、処理は図５のステップＳ３４に戻り、ステップＳ３５に進む。
【０１０４】
＜第２実施の形態＞
［画像処理装置の第２実施の形態の構成例］
図９は、本技術を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【０１０５】
図９に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０６】
図９の画像処理装置９０の構成は、主に、新たに視差検出部９１が設けられている点が図１の構成と異なる。図９の画像処理装置９０には、外部から３D動画像のみが入力され、画像処理装置９０は、その３D動画像に対応する視差画像を生成する。
【０１０７】
具体的には、画像処理装置９０の視差検出部９１には、外部から３D動画像が入力される。視差検出部９１は、入力された３D動画像の各フレームの各視点の画像の各画素の視差値を検出する。
【０１０８】
より詳細には、視差検出部９１は、例えば、３D動画像を構成する各フレームの各１視点の画像、または、各フレームの各１視点の画像と任意の１視点の画像により生成される３D画像の動き、色、ボケ等の特徴を用いて奥行き推定処理を行う。そして、視差検出部９１は、その結果得られる各フレームの各１視点の画像の各画素のデプス値を視差値に変換する。視差検出部９１は、検出された３D動画像の各フレームの各視点の画像の各画素の視差値を表す視差画像を、画像取得部１１に供給する。
【０１０９】
なお、視差検出部９１は、３D動画像を構成する各フレームの各１視点の画像を含む2視点以上の画像に対してステレオマッチング等の視差検出処理を行い、各フレームの各１視点の画像の各画素の視差値を求めるようにしてもよい。
【０１１０】
＜第３実施の形態＞
［画像処理装置の第３実施の形態の構成例］
図１０は、本技術を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【０１１１】
図１０に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１２】
図１０の画像処理装置１１０の構成は、主に、新たに領域抽出部１１１が設けられている点、および、調整部１５、記憶部１６、視差反映部１７の代わりに調整部１１２、記憶部１１３、視差反映部１１４が設けられている点が図１の構成と異なる。図１０の画像処理装置１１０は、表示中の画像を複数の領域に区分し、ユーザにより指定された画素を含む領域を、視差値を補正する領域に決定する。
【０１１３】
具体的には、領域抽出部１１１は、画像取得部１１により抽出された、ユーザにより指定されたフレームおよび視点の画像に対して、動きや色等の画像の特徴を用いたセグメンテーション、物体認識等を行う。これにより、ユーザにより指定されたフレームおよび視点の画像が、略同一の特徴を有する１以上の画素からなる複数の領域に精度良く区分される。
【０１１４】
領域抽出部１１１は、区分された各領域の位置と、入力部１４により取得された補正画素位置とに基づいて、補正画素位置の画素を含む領域を、視差値を補正する領域に決定する。領域抽出部１１１は、その視差値を補正する領域の位置を補正領域位置として調整部１１２に供給するとともに、入力部１４により取得された補正値と指定情報を調整部１１２に供給する。
【０１１５】
なお、領域抽出部１１１は、ユーザにより指定されたフレームおよび視点の画像ではなく、その画像に対応する視差画像に対して、視差値を用いたセグメンテーションや物体認識等を行うようにしてもよい。この場合、ユーザにより指定されたフレームおよび視点の画像が、略同一の視差値を有する１以上の画素からなる複数の領域に精度良く区分される。
【０１１６】
調整部１１２は、領域抽出部１１１から供給される補正領域位置と補正値とに基づいて、画像取得部１１から供給される視差画像を補正する。調整部１１２は、補正後の視差画像および補正領域位置、並びに、領域抽出部１１１から供給される指定情報を記憶部１１３に供給する。
【０１１７】
記憶部１１３は、調整部１１２から供給される指定情報に対応付けて、補正後の視差画像および補正領域位置を記憶する。
【０１１８】
視差反映部１１４は、図１の視差反映部１７と同様に、画像取得部１１から入力される視差画像の全てのフレームを順次注目フレームとする。また、視差反映部１１４は、視差反映部１７と同様に、注目フレームの全ての視差画像に対応する視点を順次注目視点とする。視差反映部１１４は、記憶部１１３から指定情報、補正領域位置、および補正後の視差画像を読み出す。視差反映部１１４は、視差補正部として機能し、読み出された指定情報、補正領域位置、および補正後の視差画像に基づいて、画像取得部１１から供給される注目フレームの注目視点の視差画像を補正して、出力する。
【０１１９】
［視差反映部の構成例］
図１１は、図１０の視差反映部１１４の構成例を示すブロック図である。
【０１２０】
図１１に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１２１】
図１１の視差反映部１１４の構成は、主に、対応画素検出部３１、判定部３２、動き反映部３４、反映部３５の代わりに、対応領域検出部１３１、判定部１３２、動き反映部１３３、反映部１３４が設けられている点が図２の構成と異なる。
【０１２２】
対応領域検出部１３１、判定部１３２、動き反映部１３３、および反映部１３４は、処理対象が画素単位ではなく、領域単位であることを除いて、対応画素検出部３１、判定部３２、動き反映部３４、および反映部３５と同様であるので、説明は省略する。
【０１２３】
なお、対応領域検出部１３１は、対応点検出アルゴリズムにしたがう処理の代わりに、パターンマッチング、物体認識等の対応領域検出アルゴリズムにしたがう処理を行うこともできる。
【０１２４】
［画像処理装置の処理の説明］
図１２は、図１０の画像処理装置１１０の視差調整処理を説明するフローチャートである。この視差調整処理は、例えば、ユーザが入力部１４を操作して、フレームおよび１以上の視点を指定したとき、開始される。
【０１２５】
図１２のステップＳ９１乃至Ｓ９４の処理は、図４のステップＳ１１乃至Ｓ１４の処理と同様であるので、説明は省略する。
【０１２６】
ステップＳ９５において、領域抽出部１１１は、画像取得部１１により抽出されたユーザにより指定されたフレームおよび視点の画像に対して、動きや色等の画像の特徴を用いたセグメンテーションや物体認識等を行うことにより、その画像を１以上の画素からなる複数の領域に区分する。
【０１２７】
ステップＳ９６において、領域抽出部１１１は、区分された各領域の位置と、入力部１４により取得された補正画素位置とに基づいて、補正画素位置の画素を含む領域を、視差値を補正する領域に決定する。領域抽出部１１１は、その視差値を補正する領域の位置を補正領域位置として調整部１１２に供給するとともに、入力部１４により取得された補正値と指定情報を調整部１１２に供給する。
【０１２８】
ステップＳ９７において、調整部１１２は、領域抽出部１１１から供給される補正領域位置および補正値に基づいて、画像取得部１１から供給される表示中の画像の視差画像を補正する。調整部１１２は、補正後の視差画像および補正領域位置、並びに、領域抽出部１１１から供給される指定情報を記憶部１１３に供給する。
【０１２９】
ステップＳ９８において、記憶部１１３は、調整部１１２から供給される指定情報に対応付けて、補正領域位置および補正後の視差画像を記憶し、処理を終了する。
【０１３０】
図１３は、図１１の視差反映部１１４の視差反映処理を説明するフローチャートである。この視差調整処理は、例えば、図１２の視差調整処理が行われたと、開始される。
【０１３１】
図１３のステップＳ１１１において、視差反映部１１４の対応領域検出部１３１は、記憶部１１３から指定情報と補正領域位置を読み出す。
【０１３２】
ステップＳ１１２において、対応領域検出部１３１は、図１０の画像取得部１１に入力される全ての視差画像に対応するフレームのうち、まだ注目フレームとしていないフレームを注目フレームに決定する。
【０１３３】
ステップＳ１１３において、対応領域検出部１３１は、注目フレームの全ての視差画像に対応する視点のうち、まだ注目視点としてない視点を注目視点に決定する。
【０１３４】
ステップＳ１１４において、対応領域検出部１３１は、画像取得部１１からの視差画像、並びに、補正領域位置、指定情報が表す視点の位置、および注目視点の位置に基づいて、対応領域位置を検出する。対応領域検出部１３１は、検出された対応領域位置を、判定部１３２、動き反映部１３３、および反映部１３４に供給する。
【０１３５】
ステップＳ１１５において、視差反映部１１４は、注目フレームの注目視点の視差値を補正する注目視点補正処理を行う。この注目視点補正処理は、処理対象が画素単位ではなく領域単位である点を除いて、図６の注目視点補正処理と同様であるので、説明は省略する。
【０１３６】
ステップＳ１１６において、対応領域検出部１３１は、注目フレームの全ての視差画像に対応する全ての視点を注目視点としたかどうかを判定する。ステップＳ１１６でまだ注目フレームの全ての視差画像に対応する全ての視点を注目視点としていないと判定された場合、処理はステップＳ１１３に戻り、注目フレームの全ての視差画像に対応する全ての視点を注目視点とするまで、ステップＳ１１３乃至Ｓ１１６の処理が繰り返される。
【０１３７】
一方、ステップＳ１１６で注目フレームの全ての視差画像に対応する全ての視点を注目視点としたと判定された場合、ステップＳ１１７において、画像取得部１１に入力される全ての視差画像に対応するフレームを注目フレームとしたかどうかを判定する。ステップＳ１１７でまだ外部から入力される全ての視差画像に対応するフレームを注目フレームとしていないと判定された場合、処理はステップＳ１１２に戻り、画像取得部１１に入力される全ての視差画像に対応するフレームを注目フレームとするまで、ステップＳ１１２乃至Ｓ１１７の処理が繰り返される。
【０１３８】
ステップＳ１１７で画像取得部１１に入力される全ての視差画像に対応するフレームを注目フレームとしたと判定された場合、処理は終了する。
【０１３９】
以上のように、画像処理装置１１０は、画像から領域を抽出し、ユーザにより指定された画素を含む領域を視差値を補正する領域に決定するので、ユーザが所望の領域を手作業で指定する場合に比べて、ユーザの所望の領域を容易かつ正確に指定することができる。
【０１４０】
その結果、例えば、物体認識により半球状のオブジェクトの領域が抽出され、その領域が視差値を補正する領域に決定される場合、３D動画像内の半球状のオブジェクト全体の視差をきれいに変化させることができる。
【０１４１】
なお、画像処理装置１１０の視差反映部１１４は、図７の視差反映部１７において、処理単位を画素単位ではなく領域単位にしたものとすることもできる。
【０１４２】
＜第４実施の形態＞
［画像処理装置の第４実施の形態の構成例］
図１４は、本技術を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。
【０１４３】
図１４に示す構成のうち、図９や図１０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１４４】
図１４の画像処理装置１５０の構成は、主に、新たに視差検出部９１が設けられている点が図１０の構成と異なる。図１４の画像処理装置１５０には、図９の画像処理装置９０と同様に、外部から３D動画像のみが入力され、画像処理装置１５０は、その３D動画像に対応する視差画像を生成する。
【０１４５】
以上のように、画像処理装置１０（９０，１１０，１５０）は、３D動画像のうちの所定のフレームの所定の視点の画像の視差画像の所定の画素の補正値を取得し、その補正値に基づいて、３D動画像の視差画像のうちの、所定のフレームの所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する。従って、ユーザは、３D動画像の視差画像のうちの所定のフレームの所定の視点の視差画像の所望の領域の補正値を入力するだけで、その視差画像とはフレームまたは視点が異なる視差画像の所望の領域の視差値も補正することができる。その結果、ユーザは、３D動画像の所望の領域の複数のフレームまたは視点の視差値を容易に変更することができる。
【０１４６】
なお、本発明は、３D動画像の所定の領域の複数のフレームおよび視点の視差に関する情報を補正する画像処理装置だけでなく、３D動画像の所定の領域の複数のフレームまたは視点の視差に関する情報を補正する画像処理装置や、２以上の視点の３D静止画像の所定の領域の複数の視点の視差に関する情報を補正する画像処理装置にも適用することができる。また、本発明は、ポストプロダクション等に用いられる編集装置、パーソナルコンピュータやゲーム機器等に適用することができる。
【０１４７】
また、上述した第１乃至第４実施の形態では、画像処理装置１０（９０，１１０，１５０）が、３D動画像の全フレームおよび全視点の視差画像を補正したが、所定の複数の視差画像のみを補正するようにしてもよい。この場合、補正対象とする視差画像に対応するフレームおよび視点は、予め決められていてもよいし、ユーザにより指定されるようにしてもよい。
【０１４８】
さらに、注目フレームは、外部から入力される３D動画像に対応するフレーム以外のフレームであってもよい。注目視点についても同様である。
【０１４９】
この場合、対応画素検出部３１（対応領域検出部１３１）は、指定情報が表すフレームおよび視点の視差画像の全ての画素位置について、対応する注目フレームの注目視点の視差画像の位置（領域）を検出する。そして、動き反映部３４（１３３）または反映部３５（１３４）は、その位置（領域）等に基づいて、調整部１１２により補正された視差画像から注目フレームの注目視点の視差画像を生成する。
【０１５０】
また、視差反映部１７および視差反映部１１４は、視差画像を補正するだけでなく、補正後の視差画像を用いて画像も補正するようにしてもよい。
【０１５１】
さらに、画像処理装置１１０（１５０）が物体認識により画像の領域を区分する場合、ユーザは画素を指定するのではなく、物体を特定する情報を指定するようにしてもよい。この場合、画像処理装置１１０（１５０）は、ユーザにより指定された物体を特定する情報により特定される物体の領域を、視差値を補正する領域として決定する。
【０１５２】
＜第５実施の形態＞
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１５３】
そこで、図１５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１５４】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０１５５】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１５６】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１５７】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１５８】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１５９】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１６０】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１６１】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１６２】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１６３】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１６４】
なお、本技術は、以下のような構成もとることができる。
【０１６５】
（１）
１以上のフレームの２以上の視点の画像からなる３D画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値を取得する取得部と、
前記取得部により取得された前記補正値に基づいて、前記３D画像の視差画像のうちの、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する視差補正部と
を備える画像処理装置。
（２）
前記視差補正部は、
前記所定の画素に対応する、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像の画素を対応画素として検出する対応画素検出部と、
前記補正値に基づいて、前記対応画素検出部により検出された前記対応画素の視差値を補正する補正部と
を備える前記（１）に記載の画像処理装置。
（３）
前記視差補正部は、
前記所定の画素に対応する、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像の画素を対応画素として検出する対応画素検出部と、
前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像に対応する画像の奥行方向の動きベクトルを検出する動き検出部と、
前記動き検出部により検出された前記動きベクトルと前記補正値に基づいて、前記対応画素検出部により検出された前記対応画素の視差値を補正する補正部と
を備える前記（１）に記載の画像処理装置。
（４）
前記補正部は、前記所定の画素の視差値と前記対応画素の視差値の差分が所定の閾値より小さい場合、前記補正値に基づいて前記対応画素の視差値を補正し、前記所定の画素の視差値と前記対応画素の視差値の差分が前記所定の閾値以上である場合、前記動きベクトルと前記補正値に基づいて前記対応画素の視差値を補正する
前記（３）に記載の画像処理装置。
（５）
前記所定のフレームの前記所定の視点の画像を１以上の画素からなる複数の領域に区分する領域抽出部
をさらに備え、
前記取得部は、前記所定のフレームの前記所定の視点の視差画像の、前記領域抽出部により区分された前記複数の領域のうちの所定の領域の補正値を取得する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
画像処理装置が、
１以上のフレームの２以上の視点の画像からなる３D画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値を取得する取得ステップと、
前記取得部により取得された前記補正値に基づいて、前記３D画像の視差画像のうちの、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する視差補正ステップと
を含む画像処理方法。
（７）
コンピュータに、
１以上のフレームの２以上の視点の画像からなる３D画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値を取得する取得ステップと、
前記取得部により取得された前記補正値に基づいて、前記３D画像の視差画像のうちの、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する視差補正ステップと
を含む処理を実行させるためのプログラム。
【符号の説明】
【０１６６】
１０ 画像処理装置， １４ 入力部， １７ 視差反映部， ３１ 対応画素検出部， ３３ 動き検出部， ３４ 動き反映部， ３５ 反映部， ７１ 動き反映部， ９０，１１０ 画像処理装置， １１４ 視差反映部， １３１ 対応領域検出部， １３３ 動き反映部， １３４ 反映部， １５０ 画像処理装置
【特許請求の範囲】
【請求項１】
１以上のフレームの２以上の視点の画像からなる３Ｄ画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値を取得する取得部と、
前記取得部により取得された前記補正値に基づいて、前記３Ｄ画像の視差画像のうちの、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する視差補正部と
を備える画像処理装置。
【請求項２】
前記視差補正部は、
前記所定の画素に対応する、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像の画素を対応画素として検出する対応画素検出部と、
前記補正値に基づいて、前記対応画素検出部により検出された前記対応画素の視差値を補正する補正部と
を備える請求項１に記載の画像処理装置。
【請求項３】
前記視差補正部は、
前記所定の画素に対応する、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像の画素を対応画素として検出する対応画素検出部と、
前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像に対応する画像の奥行方向の動きベクトルを検出する動き検出部と、
前記動き検出部により検出された前記動きベクトルと前記補正値に基づいて、前記対応画素検出部により検出された前記対応画素の視差値を補正する補正部と
を備える請求項１に記載の画像処理装置。
【請求項４】
前記補正部は、前記所定の画素の視差値と前記対応画素の視差値の差分が所定の閾値より小さい場合、前記補正値に基づいて前記対応画素の視差値を補正し、前記所定の画素の視差値と前記対応画素の視差値の差分が前記所定の閾値以上である場合、前記動きベクトルと前記補正値に基づいて前記対応画素の視差値を補正する
請求項３に記載の画像処理装置。
【請求項５】
前記所定のフレームの前記所定の視点の画像を１以上の画素からなる複数の領域に区分する領域抽出部
をさらに備え、
前記取得部は、前記所定のフレームの前記所定の視点の視差画像の、前記領域抽出部により区分された前記複数の領域のうちの所定の領域の補正値を取得する
請求項１に記載の画像処理装置。
【請求項６】
画像処理装置が、
１以上のフレームの２以上の視点の画像からなる３Ｄ画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値を取得する取得ステップと、
前記取得部により取得された前記補正値に基づいて、前記３Ｄ画像の視差画像のうちの、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する視差補正ステップと
を含む画像処理方法。
【請求項７】
コンピュータに、
１以上のフレームの２以上の視点の画像からなる３Ｄ画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値を取得する取得ステップと、
前記取得部により取得された前記補正値に基づいて、前記３Ｄ画像の視差画像のうちの、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する視差補正ステップと
を含む処理を実行させるためのプログラム。
【請求項１】
１以上のフレームの２以上の視点の画像からなる３Ｄ画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値を取得する取得部と、
前記取得部により取得された前記補正値に基づいて、前記３Ｄ画像の視差画像のうちの、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する視差補正部と
を備える画像処理装置。
【請求項２】
前記視差補正部は、
前記所定の画素に対応する、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像の画素を対応画素として検出する対応画素検出部と、
前記補正値に基づいて、前記対応画素検出部により検出された前記対応画素の視差値を補正する補正部と
を備える請求項１に記載の画像処理装置。
【請求項３】
前記視差補正部は、
前記所定の画素に対応する、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像の画素を対応画素として検出する対応画素検出部と、
前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像に対応する画像の奥行方向の動きベクトルを検出する動き検出部と、
前記動き検出部により検出された前記動きベクトルと前記補正値に基づいて、前記対応画素検出部により検出された前記対応画素の視差値を補正する補正部と
を備える請求項１に記載の画像処理装置。
【請求項４】
前記補正部は、前記所定の画素の視差値と前記対応画素の視差値の差分が所定の閾値より小さい場合、前記補正値に基づいて前記対応画素の視差値を補正し、前記所定の画素の視差値と前記対応画素の視差値の差分が前記所定の閾値以上である場合、前記動きベクトルと前記補正値に基づいて前記対応画素の視差値を補正する
請求項３に記載の画像処理装置。
【請求項５】
前記所定のフレームの前記所定の視点の画像を１以上の画素からなる複数の領域に区分する領域抽出部
をさらに備え、
前記取得部は、前記所定のフレームの前記所定の視点の視差画像の、前記領域抽出部により区分された前記複数の領域のうちの所定の領域の補正値を取得する
請求項１に記載の画像処理装置。
【請求項６】
画像処理装置が、
１以上のフレームの２以上の視点の画像からなる３Ｄ画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値を取得する取得ステップと、
前記取得部により取得された前記補正値に基づいて、前記３Ｄ画像の視差画像のうちの、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する視差補正ステップと
を含む画像処理方法。
【請求項７】
コンピュータに、
１以上のフレームの２以上の視点の画像からなる３Ｄ画像のうちの所定のフレームの所定の視点の画像の、各画素の視差に関する情報を表す視差画像の所定の画素の補正値を取得する取得ステップと、
前記取得部により取得された前記補正値に基づいて、前記３Ｄ画像の視差画像のうちの、前記所定のフレームの前記所定の視点の視差画像とはフレームまたは視点が異なる視差画像を補正する視差補正ステップと
を含む処理を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２４９１５９（Ｐ２０１２−２４９１５９Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１２０４０４（Ｐ２０１１−１２０４０４）
【出願日】平成２３年５月３０日（２０１１．５．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月３０日（２０１１．５．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]