画像処理装置、画像処理方法、およびプログラム
【課題】３Ｄ画像の最適な構図を検出することができるようにする。
【解決手段】最適視点検出部は、３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点を最適な視点として検出する。本技術は、例えば、３Ｄ画像を撮影する撮影装置に適用することができる。
【解決手段】最適視点検出部は、３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点を最適な視点として検出する。本技術は、例えば、３Ｄ画像を撮影する撮影装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、３Ｄ画像の最適な構図を検出することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、３Ｄ画像の撮影、編集、表示に関する技術が数多く考案されている。
【０００３】
一方、撮影構図を推薦する技術としては、２Ｄ画像の撮影時に、ユーザにより選択された主要被写体の画像の特徴に応じて撮影構図を選択し、表示する技術がある（例えば、特許文献１参照）。この技術により、人物を含む複数の被写体が存在する場合であっても、より好ましい撮影構図をユーザに提示することができる。
【０００４】
また、撮影構図を推定する技術としては、被写体の奥行き値を利用して２Ｄ画像の撮影構図を推定する技術がある（例えば、特許文献２参照）。この技術は、２Ｄ画像から検出した奥行き値のうちの、２Ｄ画像の上部領域からなるオープンスカイ領域の奥行き値の重み付け平均値と、左右の側面領域からなるポートレート領域の奥行き値の重み付け平均値に基づいて、撮影構図を特定する技術である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２４６４３８号公報
【特許文献２】特開２０１０−７２９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、被写体の奥行方向の位置などの３Ｄ画像特有の特徴を考慮して、３Ｄ画像の最適な構図、即ち最適な２視点を検出する技術は考案されていない。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、３Ｄ画像の最適な構図を検出することができようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の画像処理装置は、３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点を最適な視点として検出する最適視点検出部を備える画像処理装置である。
【０００９】
本技術の一側面の画像処理方法およびプログラムは、本技術の一側面の画像処理装置に対応する。
【００１０】
本技術の一側面においては、３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点が最適な視点として検出される。
【発明の効果】
【００１１】
本技術の一側面によれば、３Ｄ画像の最適な構図を検出することができる。
【図面の簡単な説明】
【００１２】
【図１】本技術を適用した画像処理装置の第１実施の形態としての撮影装置の構成例を示すブロック図である。
【図２】図１の撮影装置の最適構図案内処理のフローチャートである。
【図３】セグメンテーション結果の例を示す図である。
【図４】消失点の検出処理結果の例を示す図である。
【図５】図２の評価値算出処理の第１の例の詳細を説明するフローチャートである。
【図６】視差画像の例を示す図である。
【図７】図２の評価値算出処理の第２の例の詳細を説明するフローチャートである
【図８】図２の評価値算出処理の第３の例の詳細を説明するフローチャートである。
【図９】本技術を適用した画像処理装置の第２実施の形態としてのコンテンツ編集装置の構成例を示すブロック図である。
【図１０】本技術を適用した画像処理装置の第３実施の形態としての表示制御装置の構成例を示すブロック図である。
【図１１】図１０の最適構図表示制御部の他の構成例を示す図である。
【図１２】本技術を適用した画像処理装置の第４実施の形態としての撮影装置の構成例を示すブロック図である。
【図１３】図１２の撮影装置の最適構図案内処理のフローチャートである。
【図１４】図１４は、本技術を適用した画像処理装置の第５実施の形態としての撮影装置の構成例を示すブロック図である。
【図１５】図１４の撮影装置の最適構図案内処理のフローチャートである。
【図１６】本技術を適用した画像処理装置の第６実施の形態としての撮影装置の構成例を示すブロック図である。
【図１７】図１６の撮影装置の最適構図案内処理のフローチャートである。
【図１８】本技術を適用した画像処理装置の第７実施の形態としての撮影装置の構成例を示すブロック図である。
【図１９】図１８の撮影装置の最適構図案内処理を説明するフローチャートである。
【図２０】図１２と図１８の撮影装置の組み合わせの構成例を示すブロック図である。
【図２１】図１４と図１８の撮影装置の組み合わせの構成例を示すブロック図である。
【図２２】図１６と図１８の撮影装置の組み合わせの構成例を示すブロック図である。
【図２３】本技術を適用した画像処理装置の第８実施の形態としての撮影装置の構成例を示すブロック図である。
【図２４】図１２と図２３の撮影装置の組み合わせの構成例を示すブロック図である。
【図２５】図１４と図２３の撮影装置の組み合わせの構成例を示すブロック図である。
【図２６】図１６と図２３の撮影装置の組み合わせの構成例を示すブロック図である。
【図２７】図１８と図２３の撮影装置の組み合わせの構成例を示すブロック図である。
【図２８】図２０と図２３の撮影装置の組み合わせの構成例を示すブロック図である。
【図２９】図２１と図２３の撮影装置の組み合わせの構成例を示すブロック図である。
【図３０】図２２と図２３の撮影装置の組み合わせの構成例を示すブロック図である。
【図３１】本技術を適用した画像処理装置の第９実施の形態としての撮影装置の構成例を示すブロック図である。
【図３２】図３１の画像変換部の第１の構成例を示すブロック図である。
【図３３】図３１の画像変換部の第２の構成例を示すブロック図である。
【図３４】本技術を適用した画像処理装置の第１０実施の形態としての撮影装置の構成例を示すブロック図である。
【図３５】本技術を適用した画像処理装置の第１１実施の形態としての撮影装置の構成例を示すブロック図である。
【図３６】本技術を適用した画像処理装置の第１２実施の形態としての撮影装置の構成例を示すブロック図である。
【図３７】図３６の視差検出部の処理の第１の例を説明する図である。
【図３８】図３６の視差検出部の処理の第２の例を説明する図である。
【図３９】図３６の視差検出部の処理の第３の例を説明する図である。
【図４０】図３６の視差検出部の処理の第４の例を説明する図である。
【図４１】図３６の視差検出部の処理の第５の例を説明する図である。
【図４２】図３６の視差検出部の処理の第６の例を説明する図である。
【図４３】図３６の視差検出部の処理の第７の例を説明する図である。
【図４４】図３６の視差検出部の処理の第８の例を説明する図である。
【図４５】本技術を適用した画像処理装置の第１３実施の形態としての撮影装置の構成例を示すブロック図である。
【図４６】本技術を適用した画像処理装置の第１４実施の形態としての撮影装置の構成例を示すブロック図である。
【図４７】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００１３】
＜第１実施の形態＞
［画像処理装置の第１実施の形態の構成例］
図１は、本技術を適用した画像処理装置の第１実施の形態としての撮影装置の構成例を示すブロック図である。
【００１４】
図１の撮影装置１０は、撮影部１１、最適視点検出部１２、最適構図案内部１３、および表示部１４により構成され、最適な２視点の３Ｄ画像を撮影可能な位置に撮影部１１を案内する。
【００１５】
具体的には、撮影装置１０の撮影部１１は、３以上の視点である多視点のフレーム単位のカラー画像を２視点ずつ撮影する。また、撮影部１１は、撮影時に、所定の視点のフレーム単位のカラー画像に対応する視差画像を取得する。
【００１６】
なお、視差画像は、Disparity Mapとも呼ばれ、対応する視点のカラー画像の各画素と、その画素に対応する、基点となる視点のカラー画像の画素の画面上の位置の水平方向の距離を表す視差値からなる画像である。この視差画像は、３Ｄ画像の奥行方向の位置や、撮影部１１と被写体との間の距離を表すDepth Mapから変換可能な画像である。撮影部１１は、例えば、撮影時に測距センサ等により検出されたDepth Mapやユーザにより作成されたDepth Mapを視差画像に変換することにより、視差画像を取得する。なお、撮影部１１により取得される視差画像の視点数は、多視点画像の視点数と同一であってもよいし、異なっていてもよい。
【００１７】
撮影部１１は、多視点のフレーム単位のカラー画像を多視点画像として最適視点検出部１２に供給するとともに、視差画像を最適視点検出部１２に供給する。また、撮影部１１は、現在の撮影部１１の位置に対応する２視点の位置を表す視点位置情報を、最適構図案内部１３に供給する。
【００１８】
最適視点検出部１２は、撮影部１１から供給される多視点画像と視差画像を用いて、多視点画像の視点の中から、表示時に最適な３Ｄ画像の２視点を最適視点として選択する。具体的には、最適視点検出部１２は、多視点画像の特徴を視点ごとに抽出する。また、最適視点検出部１２は、抽出された多視点画像の特徴と視差画像に基づいて、視点ごとに、多視点画像の評価値を算出する。そして、最適視点検出部１２は、多視点画像のうちの評価値が最小となるカラー画像に対応する視点を最適視点のうちの１視点（以下、最適１視点という）とし、最適１視点と、最適１視点と所定の距離だけ離れた１視点の２視点を最適視点とする。最適視点検出部１２は、最適視点を最適構図案内部１３に供給する。
【００１９】
最適構図案内部１３は、最適視点検出部１２から供給される最適視点と、撮影部１１から供給される視点位置情報とに基づいて、視点位置情報が表す２視点の位置から最適視点までの距離を移動量として算出する。最適構図案内部１３は、算出された移動量に基づいて、最適視点の３Ｄ画像を撮影可能な位置に撮影部１１を案内するための案内視点情報を生成し、表示部１４に供給する。
【００２０】
表示部１４は、最適構図案内部１３から供給される案内視点情報を表示する。例えば、表示部１４は、案内視点情報としての「少し右に寄って下さい」等のメッセージを表示する。
【００２１】
［撮影装置の処理の説明］
図２は、図１の撮影装置１０の最適構図案内処理のフローチャートである。この最適構図案内処理は、例えば、撮影部１１から多視点画像と視差画像が最適視点検出部１２に入力されたとき、開始される。
【００２２】
図２のステップＳ１１において、撮影装置１０の最適視点検出部１２は、多視点画像の視点のうちの、まだ注目視点とされていない１つの視点を注目視点とする。
【００２３】
ステップＳ１２において、最適視点検出部１２は、多視点画像のうちの注目視点のカラー画像の特徴を抽出する。具体的には、最適視点検出部１２は、注目視点のカラー画像に対して物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等を行う。
【００２４】
なお、物体認識処理とは、例えば、Support Vector Machine、Boosting、Neural Network等のアルゴリズムにしたがう処理であり、この物体認識処理により、主要な被写体となり得る人や物の画像が、カラー画像の特徴として抽出される。
【００２５】
また、セグメンテーションとは、例えば、Mean Shift、Graph Cut等のアルゴリズムにしたがう、各画素を１以上の領域に分類する処理である。このセグメンテーションにより、地面、水面、空、構造物等の領域がカラー画像の特徴として抽出される。３視点の多視点画像のセグメンテーション結果の例を、図３Ａ乃至図３Ｃに示す。図３Ａ乃至図３Ｃの例では、各視点のカラー画像のセグメンテーション結果として、６個の領域３１乃至３６が抽出されている。
【００２６】
また、水平線や消失点等の幾何情報の検出処理は、例えば、各種のエッジ検出フィルタを用いた処理や、Hough変換等のアルゴリズムにしたがう処理である。この水平線や消失点等の幾何情報の検出処理により、カラー画像の地平線や水平線、消失点、構造物の輪郭等が特徴として抽出される。図３Ａ乃至図３Ｃに示したセグメンテーション結果に対応する３視点の多視点画像の消失点の検出処理結果の例を、図４Ａ乃至図４Ｃに示す。図４Ａ乃至図４Ｃの例では、各視点のカラー画像の検出処理結果として、消失点４１が抽出されている。
【００２７】
ステップＳ１３において、最適視点検出部１２は、注目視点の視差画像が入力されているかどうかを判定する。ステップＳ１３で注目視点の視差画像が入力されていないと判定された場合、処理はステップＳ１４に進む。
【００２８】
ステップＳ１４において、最適視点検出部１２は、入力されている視差画像から注目視点の視差画像を生成し、処理をステップＳ１５に進める。
【００２９】
一方、ステップＳ１３で注目視点の視差画像が入力されている判定された場合、処理はステップＳ１５に進む。
【００３０】
ステップＳ１５において、最適視点検出部１２は、ステップＳ１２で抽出された注目視点のカラー画像の特徴と注目視点の視差画像を用いて評価値を算出する評価値算出処理を行う。この評価値算出処理の詳細は、後述する図５乃至図８を参照して説明する。
【００３１】
ステップＳ１６において、最適視点検出部１２は、注目視点が最初の注目視点であるかどうかを判定する。ステップＳ１６で注目視点が最初の注目視点であると判定された場合、ステップＳ１７において、最適視点検出部１２は、注目視点を最適１視点の候補とし、処理をステップＳ２０に進める。
【００３２】
一方、ステップＳ１６で注目視点が最初の注目視点ではないと判定された場合、ステップＳ１８において、最適視点検出部１２は、注目視点の評価値が最適１視点の候補の評価値より小さいかどうかを判定する。
【００３３】
ステップＳ１８で注目視点の評価値が最適１視点の候補の評価値より小さいと判定された場合、ステップＳ１９において、最適視点検出部１２は、最適１視点の候補を注目視点に変更する。
【００３４】
一方、ステップＳ１８で注目視点の評価値が最適１視点の候補の評価値より小さくはないと判定された場合、ステップＳ１９の処理はスキップされ、処理はステップＳ２０に進む。
【００３５】
ステップＳ２０において、最適視点検出部１２は、多視点画像の全ての視点を注目視点としたかどうかを判定する。ステップＳ２０で多視点画像の全ての視点をまだ注目視点としていないと判定された場合、処理はステップＳ１１に戻り、全ての視点が注目視点とされるまで、ステップＳ１１乃至Ｓ２０の処理が繰り返される。
【００３６】
一方、ステップＳ２０で多視点画像の全ての視点を注目視点としたと判定された場合、最適視点検出部１２は、最適１視点の候補を最適１視点とし、処理をステップＳ２１に進める。
【００３７】
ステップＳ２１において、最適視点検出部１２は、最適１視点と、その最適１視点に対応する、最適１視点と所定の距離だけ離れた１視点の２視点を最適視点として、最適構図案内部１３に出力する。
【００３８】
ステップＳ２２において、最適構図案内部１３は、最適視点検出部１２から供給される最適視点と、撮影部１１から供給される視点位置情報とに基づいて、視点位置情報が表す２視点の位置から最適視点までの距離を移動量として算出する。そして、最適構図案内部１３は、算出された移動量に基づいて案内視点情報を生成し、表示部１４に供給する。
【００３９】
ステップＳ２３において、表示部１４は、最適構図案内部１３から供給される案内視点情報を表示し、処理を終了する。
【００４０】
図５は、図２のステップＳ１５の評価値算出処理の第１の例の詳細を説明するフローチャートである。なお、図５の評価値算出処理は、図２のステップＳ１２で注目視点のカラー画像に対してセグメンテーションが行われた場合の評価値算出処理である。
【００４１】
図５のステップＳ４１において、最適視点検出部１２は、図２のステップＳ１２でセグメンテーションの結果抽出される特徴としての領域と注目視点の視差画像とに基づいて、各領域の面積Ｓ、重心の座標(x,y)、および視差値の平均値zを求める。
【００４２】
例えば、図３Ａの領域３１乃至３６が注目視点のカラー画像の特徴として抽出される場合、最適視点検出部１２は、図３Ａの領域３１乃至３６と図６Ａに示す注目視点の視差画像に基づいて、図３Ａの領域３１乃至３６それぞれの面積Ｓ、重心の座標(x,y)、および視差の平均値zを求める。同様に、図３Ｂの領域３１乃至３６が注目視点のカラー画像の特徴として抽出される場合、最適視点検出部１２は、図３Ｂの領域３１乃至３６と図６Ｂに示す注目視点の視差画像に基づいて、図３Ｂの領域３１乃至３６それぞれの面積Ｓ、重心の座標(x,y)、および視差の平均値zを求める。また、図３Ｃの領域３１乃至３６が注目視点のカラー画像の特徴として抽出される場合、最適視点検出部１２は、図３Ｃの領域３１乃至３６と図６Ｃに示す注目視点の視差画像に基づいて、図３Ｃの領域３１乃至３６それぞれの面積Ｓ、重心の座標(x,y)、および視差の平均値zを求める。
【００４３】
ステップＳ４２において、最適視点検出部１２は、ステップＳ４１で求められた各領域の視差値の平均値zに基づいて、最も手前側の領域と最も奥側の領域を検出する。
【００４４】
例えば、図３Ａの領域３１乃至３６が注目視点のカラー画像の特徴として抽出され、注目視点の視差画像が図６Ａに示した画像である場合、最適視点検出部１２は、最も手前側の領域として領域３５を検出する。また、最適視点検出部１２は、最も奥側の領域として領域３１および領域３３を検出する。
【００４５】
この場合のように、最も奥側の領域の数が複数である場合、最適視点検出部１２は、例えば、重心の座標(x,y)が画面の中央に近い方の領域３３を選択する。なお、最適視点検出部１２は、複数の最も奥側の領域のうちのいずれか一方を選択するのではなく、両方の領域を連結することもできる。最も手前側の領域の数が複数である場合も同様である。
【００４６】
ステップＳ４３において、最適視点検出部１２は、最も手前側の領域の面積Ｓが所定値より大きいかどうかを判定する。ステップＳ４３で最も手前側の領域の面積Ｓが所定値より大きいと判定された場合、ステップＳ４４において、最適視点検出部１２は、最も手前側の領域を主要な被写体の領域とする。
【００４７】
ステップＳ４５において、最適視点検出部１２は、主要な被写体の領域とされた最も手前側の領域の重心の座標(x,y)と、画面中央の座標(xｃ,yｃ)に基づいて、座標(x,y)と座標(xｃ,yｃ)の距離が小さいほど小さくなるように、評価値を算出する。その結果、主要な被写体の領域とされた最も手前側の領域が画面中央の近くに存在するカラー画像に対応する視点が、最適１視点とされる。例えば、図３Ａ乃至図３Ｃの領域３１乃至３６が３視点の多視点画像の特徴として抽出され、その多視点画像の視差画像が図６Ａ乃至図６Ｃに示した画像である場合、画面中央に比較的近い図３Ｃの領域３５を特徴とするカラー画像に対応する視点が最適１視点とされる。
【００４８】
一方、ステップＳ４３で最も手前側の領域の面積Ｓが所定値より大きくはないと判定された場合、ステップＳ４６において、最適視点検出部１２は、評価値を所定値とする。
【００４９】
図７は、図２のステップＳ１５の評価値算出処理の第２の例の詳細を説明するフローチャートである。なお、図７の評価値算出処理は、図２のステップＳ１２で注目視点のカラー画像に対してセグメンテーションが行われた場合の評価値算出処理である。
【００５０】
図７のステップＳ６１において、最適視点検出部１２は、図２のステップＳ１２でセグメンテーションの結果抽出される特徴としての領域と注目視点の視差画像とに基づいて、各領域の面積Ｓ、重心の座標(x,y)、および視差値の平均値zを求める。
【００５１】
ステップＳ６２において、最適視点検出部１２は、ステップＳ６１で求められた各領域の視差値の平均値zと重心の座標(x,y)に基づいて、最も奥側の領域に隣接する左右の領域を検出する。例えば、図３Ａの領域３１乃至３６が注目視点のカラー画像の特徴として抽出され、注目視点の視差画像が図６Ａに示した画像である場合、最適視点検出部１２は、図５のステップ４２の処理と同様に、最も奥側の領域として領域３３を検出する。そして、最適視点検出部１２は、領域３３の重心の座標(x,y)の左側の最も近い重心の座標(x,y)に対応する領域３２を、最も奥側の領域に隣接する左の領域として検出する。また、最適視点検出部１２は、領域３３の重心の座標(x,y)の右側の最も近い重心の座標(x,y)に対応する領域３４を、最も奥側の領域に隣接する右の領域として検出する。
【００５２】
ステップＳ６３において、最適視点検出部１２は、ステップＳ６２で検出された左右の領域の面積Ｓの比に基づいて、その比が予め設定された所定値に近いほど小さくなるように、評価値を算出する。その結果、最も奥側の領域の左右の領域の面積Ｓの比が予め設定された所定値に最も近いカラー画像に対応する視点が、最適１視点とされる。
【００５３】
図８は、図２のステップＳ１５の評価値算出処理の第３の例の詳細を説明するフローチャートである。なお、図８の評価値算出処理は、図２のステップＳ１２で注目視点のカラー画像に対して消失点の検出処理が行われた場合の評価値算出処理である。
【００５４】
図８のステップＳ７１において、最適視点検出部１２は、図２のステップＳ１２で消失点の検出処理の結果抽出される特徴としての消失点と、注目視点の視差画像とに基づいて、消失点の左側の画素の視差値の平均値と、消失点の右側の画素の視差値の平均値の比を求める。
【００５５】
例えば、図４Ａに示した消失点４１が抽出される場合、最適視点検出部１２は、その消失点４１の位置（xｄ,yｄ）を検出する。そして、最適視点検出部１２は、消失点４１の位置（xｄ,yｄ）と図６Ａに示した注目視点の視差画像に基づいて、消失点４１の左側の画素の視差値の平均値と右側の画素の視差値の平均値の比を求める。
【００５６】
ステップＳ７２において、最適視点検出部１２は、ステップＳ７１で検出された視差値の平均値の比に基づいて、その比が予め設定された所定値に近いほど小さくなるように、評価値を算出する。その結果、消失点の左側の画素の視差値の平均値と右側の画素の視差値の平均値の比が所定値に近いカラー画像に対応する視点が、最適１視点とされる。
【００５７】
以上のように、撮影装置１０は、多視点のカラー画像と多視点の視差画像を用いて、多視点のうちの最適視点を検出するので、視差等を考慮して、最適視点、即ち３Ｄ画像の最適な構図を検出することができる。従って、撮影装置１０は、最適視点に基づいて案内視点情報を表示することにより、被写体と背景との奥行き方向の距離感や、被写体の立体感等が最適であると推測される撮影構図での撮影をユーザに推薦することができる。
【００５８】
＜第２実施の形態＞
[画像処理装置の第２実施の形態の構成例]
図９は、本技術を適用した画像処理装置の第２実施の形態としてのコンテンツ編集装置の構成例を示すブロック図である。
【００５９】
図９に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００６０】
図９のコンテンツ編集装置５０の構成は、主に、撮影部１１が設けられない点、記録部５１、再生部５２、および入力部５５が新たに設けられている点、最適構図案内部１３、表示部１４の代わりに最適構図推薦部５３、表示部５４が設けられている点が図１の構成と異なる。図９のコンテンツ編集装置５０は、記録部５１に記録されている多視点画像と視差画像を再生し、最適視点を検出する。
【００６１】
具体的には、コンテンツ編集装置５０の記録部５１には、多視点画像と視差画像が記録されている。
【００６２】
再生部５２は、入力部５５から供給される最適視点の推薦の指示、最適視点の記録の指示、および多視点画像から２視点の３Ｄ画像への変換の指示に応じて、記録部５１に記録されている多視点画像と視差画像を読み出し、最適視点検出部１２に供給する。また、再生部５２は、入力部５５から供給される多視点画像から２視点の３Ｄ画像への変換の指示に応じて、記録部５１から読み出された多視点画像を最適構図推薦部５３に供給する。
【００６３】
最適構図推薦部５３は、出力部として機能し、入力部５５から供給される最適視点の推薦の指示に応じて、最適視点検出部１２により選択される最適視点に基づいて、最適視点を推薦するための推薦視点情報を生成し、表示部５４に供給する。また、最適構図推薦部５３は、入力部５５から供給される最適視点の記録の指示に応じて、記録部５１に最適視点を供給し、記録部５１に記録されている多視点画像に対応付けて記録させる。
【００６４】
さらに、最適構図推薦部５３は、入力部５５から供給される多視点画像から２視点の３Ｄ画像への変換の指示に応じて、再生部５２から供給される多視点画像のうちの最適視点のカラー画像を、変換後の２視点の３Ｄ画像として記録部５１に供給し、記録させる。なお、このとき、最適視点検出部１２で最適視点の検出に用いられた最適視点の視差画像が、最適視点のカラー画像とともに記録部５１に記録されるようにしてもよい。
【００６５】
表示部５４は、最適構図推薦部５３から供給される推薦視点情報を表示する。これにより、ポストプロダクション等を行うユーザが、最適視点を認識することができる。
【００６６】
なお、推薦視点情報としては、最適視点を表す情報であってもよいし、最適視点のうちの１視点のカラー画像や最適視点の両方のカラー画像であってもよい。また、表示部５４には、推薦視点情報としての最適視点を表す情報とともに、多視点画像が表示されるようにしてもよい。
【００６７】
入力部５５は、ユーザによる操作を受け付ける。入力部５５は、受け付けられた操作に応じて、最適視点の推薦の指示、最適視点の記録の指示、および多視点画像から２視点の３Ｄ画像への変換の指示などを再生部５２と最適構図推薦部５３に供給する。
【００６８】
以上のように、コンテンツ編集装置５０は、多視点のカラー画像と多視点の視差画像を用いて、多視点のうちの最適視点を検出するので、視差等を考慮して、最適視点、即ち３Ｄ画像の最適な構図を検出することができる。従って、コンテンツ編集装置５０は、最適視点に基づいて、推薦視点情報を表示したり、最適視点を記録したりすることにより、被写体と背景との奥行き方向の距離感や、被写体の立体感等が最適であると推測される構図をユーザに推薦することができる。また、コンテンツ編集装置５０は、最適視点に基づいて最適視点のカラー画像からなる３Ｄ画像を生成することにより、被写体と背景との奥行き方向の距離感や、被写体の立体感等が最適であると推測される構図の３Ｄ画像をユーザに提供することができる。
【００６９】
＜第３実施の形態＞
[画像処理装置の第３実施の形態の構成例]
図１０は、本技術を適用した画像処理装置の第３実施の形態としての表示制御装置の構成例を示すブロック図である。
【００７０】
図１０に示す構成のうち、図９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００７１】
図１０の表示制御装置７０の構成は、主に、最適構図推薦部５３、表示部５４の代わりに、最適構図表示制御部７１、表示部７２が設けられている点、および、入力部５５が設けられない点が図９の構成と異なる。図１０の表示制御装置７０は、最適視点のカラー画像を、表示部７２の略正面から鑑賞可能なように表示させる。
【００７２】
具体的には、表示制御装置７０の最適構図表示制御部７１は、最適視点検出部１２により選択される最適視点に基づいて、再生部５２により再生された多視点画像を表示するための表示情報を生成する。具体的には、最適構図表示制御部７１は、多視点画像のうちの最適視点のカラー画像を表示部７２の正面に位置するユーザから鑑賞可能なように表示するための表示情報を生成する。最適構図表示制御部７１は、生成された表示情報を表示部７２に供給する。
【００７３】
表示部７２は、最適構図表示制御部７１から供給される表示情報に基づいて、多視点の画像を、視点ごとに鑑賞可能な位置が異なるように表示する。これにより、表示部７２の略正面に位置するユーザは、最適視点のカラー画像を視点ごとに左右の各目で鑑賞することができ、その結果、３Ｄ視聴用のメガネを装着せずに３Ｄ画像を見ることができる。
【００７４】
なお、表示部７２で表示可能なカラー画像の視点数は３以上でなくてもよい。表示部７２で表示可能なカラー画像の視点数が１である場合、表示部７２は、最適視点のうちの１視点のカラー画像を表示する。また、表示部７２で表示可能なカラー画像の視点数が２である場合、表示部７２は、最適視点のカラー画像のみを表示する。
【００７５】
また、図１０の表示制御装置７０は、記録部５１に記録されている多視点画像を表示したが、テレビジョン放送等により送信されてくる多視点画像を表示するようにしてもよい。この場合、例えば、視差画像も多視点画像とともに送信されてくる。
【００７６】
さらに、図１０の最適構図表示制御部７１は、図１１に示すように構成することもできる。
【００７７】
図１１の最適構図表示制御部７１は、視聴状態検出部９１と表示位置調整部９２により構成され、ユーザの視聴環境に応じて最適視点のカラー画像の表示位置を変更する。
【００７８】
具体的には、最適構図表示制御部７１の視聴状態検出部９１は、図示せぬカメラ等を内蔵し、図１０の表示部７２による表示を鑑賞するユーザの画像を取得する。視聴状態検出部９１は、ユーザの画像を解析し、ユーザの人数、位置、顔の向き、および視線の方向の少なくとも１つを、ユーザの視聴状態として検出する。視聴状態検出部９１は、検出された視聴状態を表す視聴情報を生成し、表示位置調整部９２に供給する。
【００７９】
表示位置調整部９２は、視聴状態検出部９１から供給される視聴情報に基づいて、最適視点のカラー画像の鑑賞可能位置を決定する。例えば、表示位置調整部９２は、より多くのユーザが存在する位置を鑑賞可能位置に決定する。また、表示位置調整部９２は、より多くのユーザの視線の方向に対応する鑑賞位置を鑑賞可能位置に決定する。
【００８０】
表示位置調整部９２は、多視点画像のうちの最適視点のカラー画像を、決定された鑑賞可能位置にいるユーザから鑑賞可能なように表示するための表示情報を生成し、表示部７２に供給する。
【００８１】
以上のように、表示制御装置７０は、多視点のカラー画像と多視点の視差画像を用いて、多視点のうちの最適視点を検出するので、視差等を考慮して、最適視点、即ち３Ｄ画像の最適な構図を検出することができる。従って、表示制御装置７０は、最適視点に基づいて多視点画像を表示することにより、被写体と背景との奥行き方向の距離感や、被写体の立体感等が最適であると推測される構図の３Ｄ画像をユーザに推薦して表示することができる。
【００８２】
＜第４実施の形態＞
[画像処理装置の第４実施の形態の構成例]
図１２は、本技術を適用した画像処理装置の第４実施の形態としての撮影装置の構成例を示すブロック図である。
【００８３】
図１２に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００８４】
図１２の撮影装置１１０の構成は、主に、最適視点検出部１２の代わりに最適視点検出部１１１が設けられている点、および、新たに記憶部１１２が設けられている点が図１の構成と異なる。図１２の撮影装置１１０は、多視点画像、視差画像、および最適視点事前情報に基づいて、最適視点を検出する。
【００８５】
なお、最適視点事前情報とは、ユーザの意図する構図で撮影された２視点の３Ｄ画像と視差画像を用いて予め学習によりモデル化された、カラー画像の特徴と視差画像の関係を表す情報である。最適視点事前情報で視差画像との関係が表されるカラー画像の特徴は、最適視点検出部１１１で行われる、物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等と同様の処理により抽出されたものである。
【００８６】
また、ユーザの意図する構図で撮影された２視点の３Ｄ画像としては、より奥行き感が得られる３Ｄ画像、眼への負担を軽減することができる３Ｄ画像、フレーミングの技法において推奨される構図で撮影された３Ｄ画像などを用いることができる。
【００８７】
撮影装置１１０の最適視点検出部１１１は、撮影部１１から供給される多視点画像および視差画像、並びに記憶部１１２から読み出された最適視点事前情報を用いて、多視点画像の視点の中から最適視点を選択する。
【００８８】
具体的には、最適視点検出部１１１は、図１の最適視点検出部１２と同様に、多視点画像に対して、視点ごとに、物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等を行い、特徴を抽出する。そして、最適視点検出部１１１は、視点ごとに、抽出された特徴と視差画像の関係と、最適視点事前情報が表す関係とを比較することにより、評価値を算出する。最適視点検出部１１１は、図１の最適視点検出部１２と同様に、多視点画像のうちの評価値が最小となるカラー画像に対応する視点を最適１視点とし、最適１視点と、最適１視点と所定の距離だけ離れた１視点の２視点を最適視点とする。最適視点検出部１１１は、最適視点検出部１２と同様に、最適視点を最適構図案内部１３に供給する。
【００８９】
記憶部１１２は、最適視点事前情報を記憶する。
【００９０】
[撮影装置の処理の説明]
図１３は、図１２の撮影装置１１０の最適構図案内処理のフローチャートである。この最適構図案内処理は、例えば、撮影部１１から多視点画像と視差画像が最適視点検出部１１１に入力されたとき、開始される。
【００９１】
図１３のステップＳ１１１乃至Ｓ１１４の処理は、図２のステップＳ１１乃至Ｓ１４の処理と同様であるので、説明は省略する。
【００９２】
ステップＳ１１５において、最適視点検出部１１１は、注目視点のカラー画像の特徴および視差画像並びに記憶部１１２から読み出された最適視点事前情報に基づいて、評価値を算出する。具体的には、最適視点検出部１１１は、注目視点のカラー画像の特徴と視差画像の関係が、最適視点事前情報が表す関係に近似しているほど小さくなるように、評価値を算出する。
【００９３】
ステップＳ１１６乃至Ｓ１２３の処理は、図２のステップＳ１６乃至Ｓ２３の処理と同様であるので、説明は省略する。
【００９４】
なお、図示は省略するが、図９のコンテンツ編集装置５０や図１０の表示制御装置７０においても、最適視点検出部１２の代わりに図１２の最適視点検出部１１１を設け、新たに記憶部１１２を設けることができる。
【００９５】
＜第５実施の形態＞
[画像処理装置の第５実施の形態の構成例]
図１４は、本技術を適用した画像処理装置の第５実施の形態としての撮影装置の構成例を示すブロック図である。
【００９６】
図１４に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００９７】
図１４の撮影装置１３０の構成は、主に、新たに動きベクトル検出部１３１が設けられている点、および、最適視点検出部１２の代わりに最適視点検出部１３２が設けられている点が図１の構成と異なる。図１４の撮影装置１３０は、多視点画像の動きベクトルを検出し、その動きベクトル、多視点画像、および視差画像に基づいて、最適視点を検出する。
【００９８】
具体的には、撮影装置１３０の動きベクトル検出部１３１は、撮影部１１により取得されるフレーム単位の多視点画像のフレーム間の動きベクトルを検出する。このとき、動きベクトル検出部１３１は、多視点画像を構成する全ての視点のカラー画像の動きベクトルを検出してもよいし、所定の視点のカラー画像の動きベクトルのみを検出するようにしてもよい。動きベクトル検出部１３１が所定の視点のカラー画像の動きベクトルのみを検出する場合には、最適視点検出部１３２が、その動きベクトルを用いて他の視点の動きベクトルを生成する。動きベクトル検出部１３１は、検出された動きベクトルを最適視点検出部１３２に供給する。
【００９９】
最適視点検出部１３２は、撮影部１１から供給される多視点画像および視差画像、並びに動きベクトル検出部１３１から供給される動きベクトルを用いて、多視点画像の視点の中から最適視点を選択する。
【０１００】
具体的には、最適視点検出部１３２は、多視点画像に対して、視点ごとに、動きベクトルを用いて、物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等を行い、特徴を抽出する。なお、動きベクトルを用いたセグメンテーションの詳細は、例えば、Michael M. Chang, A. Murat Tekalp, M. Ibrahim Sezan, “Simultaneous motion estimation and segmentation”, Image Processing, IEEE Transactions on, 1997に記載されている。最適視点検出部１３２は、動きベクトルを用いて特徴を抽出することにより、より精度良く特徴を抽出することができる。
【０１０１】
また、最適視点検出部１３２は、図１の最適視点検出部１２と同様に、抽出された多視点画像の特徴と視差画像に基づいて、視点ごとに、多視点画像の評価値を算出する。そして、最適視点検出部１３２は、最適視点検出部１２と同様に、多視点画像のうちの評価値が最小となるカラー画像に対応する視点を最適視点のうちの最適１視点とし、最適１視点と、最適１視点と所定の距離だけ離れた１視点の２視点を最適視点とする。最適視点検出部１３２は、最適視点検出部１２と同様に、最適視点を最適構図案内部１３に供給する。
【０１０２】
[撮影装置の処理の説明]
図１５は、図１４の撮影装置１３０の最適構図案内処理のフローチャートである。この最適構図案内処理は、例えば、撮影部１１から多視点画像が動きベクトル検出部１３１と最適視点検出部１３２に入力され、視差画像が最適視点検出部１３２に入力されたとき、開始される。
【０１０３】
図１５のステップＳ１４０において、撮影装置１３０の動きベクトル検出部１３１は、撮影部１１から入力される多視点画像のフレーム間の動きベクトルを検出し、最適視点検出部１３２に供給する。
【０１０４】
ステップＳ１４１において、最適視点検出部１３２は、多視点画像の視点のうちの、まだ注目視点とされていない１つの視点を注目視点とする。
【０１０５】
ステップＳ１４２において、最適視点検出部１３２は、注目視点のカラー画像の動きベクトルを用いて、注目視点のカラー画像の特徴を抽出する。具体的には、最適視点検出部１３２は、注目視点のカラー画像の動きベクトルを用いて、注目視点のカラー画像に対して、物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等を行い、注目視点のカラー画像の特徴を抽出する。
【０１０６】
ステップＳ１４３乃至Ｓ１５３の処理は、図２のステップＳ１３乃至Ｓ２３の処理と同様であるので、説明は省略する。
【０１０７】
なお、図１４の撮影装置１３０は、動きベクトルを用いてカラー画像の特徴を抽出したが、動きベクトルを評価値の算出に用いるようにしてもよい。この場合、例えば、動きベクトルが大きく、視差値がより手前側の位置に対応する値である領域が、画面中央に近いほど小さくなるように評価値が算出される。
【０１０８】
また、図示は省略するが、図９のコンテンツ編集装置５０や図１０の表示制御装置７０においても、最適視点検出部１２の代わりに図１４の最適視点検出部１３２を設け、新たに動きベクトル検出部１３１を設けることができる。
【０１０９】
＜第６実施の形態＞
[画像処理装置の第６実施の形態の構成例]
図１６は、本技術を適用した画像処理装置の第６実施の形態としての撮影装置の構成例を示すブロック図である。
【０１１０】
図１６に示す構成のうち、図１、図１２、および図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１１】
図１６の撮影装置１５０は、最適視点検出部１２の代わりに最適視点検出部１５１が設けられ、図１２の記憶部１１２と図１４の動きベクトル検出部１３１が設けられている点が図１の構成と異なる。即ち、図１６の撮影装置１５０は、図１の撮影装置１０、図１２の撮影装置１１０、および図１４の撮影装置１３０を組み合わせたものである。
【０１１２】
具体的には、撮影装置１５０の最適視点検出部１５１は、撮影部１１からの多視点画像および視差画像、記憶部１１２からの最適視点事前情報、並びに動きベクトル検出部１３１からの動きベクトルを用いて、多視点画像の視点の中から最適視点を選択する。
【０１１３】
より詳細には、最適視点検出部１５１は、図１４の最適視点検出部１３２と同様に、多視点画像に対して、視点ごとに、動きベクトルを用いて、物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等を行い、特徴を抽出する。そして、最適視点検出部１５１は、図１２の最適視点検出部１１１と同様に、抽出された特徴と視差画像の関係と、最適視点事前情報が表す関係とを比較することにより、評価値を算出する。なお、この最適視点事前情報で視差画像との関係が表されるカラー画像の特徴は、最適視点検出部１５１で行われる、動きベクトルを用いた物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等と同様の処理により抽出されたものである。
【０１１４】
最適視点検出部１５１は、図１の最適視点検出部１２と同様に、多視点画像のうちの評価値が最小となるカラー画像に対応する視点を最適視点のうちの最適１視点とし、最適１視点と、最適１視点と所定の距離だけ離れた１視点の２視点を最適視点とする。最適視点検出部１５１は、最適視点検出部１２と同様に、最適視点を最適構図案内部１３に供給する。
【０１１５】
[撮影装置の処理の説明]
図１７は、図１６の撮影装置１５０の最適構図案内処理のフローチャートである。この最適構図案内処理は、例えば、撮影部１１から多視点画像が動きベクトル検出部１３１と最適視点検出部１５１に入力され、視差画像が最適視点検出部１５１に入力されたとき、開始される。
【０１１６】
図１７のステップＳ１６０乃至Ｓ１６４の処理は、図１５のステップＳ１４０乃至Ｓ１４４の処理と同様であるので、説明は省略する。
【０１１７】
ステップＳ１６５乃至Ｓ１７３の処理は、図１３のＳ１１５乃至Ｓ１２３の処理と同様であるので、説明は省略する。
【０１１８】
なお、図１６の撮影装置１５０は、動きベクトルを用いてセグメンテーションを行うことによりカラー画像の特徴として領域を抽出するのではなく、セグメンテーションにより抽出される各領域の代表の動きベクトルをカラー画像の特徴として抽出するようにしてもよい。この場合、最適視点事前情報で視差画像との関係が表されるカラー画像の特徴も、セグメンテーションにより抽出される各領域の代表の動きベクトルとなる。
【０１１９】
また、図示は省略するが、図９のコンテンツ編集装置５０や図１０の表示制御装置７０においても、最適視点検出部１２の代わりに図１６の最適視点検出部１５１を設け、新たに記憶部１１２と動きベクトル検出部１３１を設けることができる。
【０１２０】
＜第７実施の形態＞
[画像処理装置の第７実施の形態の構成例]
図１８は、本技術を適用した画像処理装置の第７実施の形態としての撮影装置の構成例を示すブロック図である。
【０１２１】
図１８に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１２２】
図１８の撮影装置１７０は、新たに時間方向安定化処理部１７１が設けられている点が図１の構成と異なる。撮影装置１７０は、検出された最適視点を時間方向に安定化させる。
【０１２３】
具体的には、撮影装置１７０の時間方向安定化処理部１７１は、最適視点検出部１２により選択された最適視点のうちの最適１視点に対して安定化処理を行う。より詳細には、時間方向安定化処理部１７１は、最適１視点に付与される視点に固有のＩＤの重み付け平均値を求める。なお、各視点に付与されるＩＤは、隣接する視点のＩＤが連続する整数となるように付与される。
【０１２４】
時間方向安定化処理部１７１は、求められた重み付け平均値に近似する整数がＩＤとして付与された最適１視点を、時間方向安定化処理後の最適１視点とする。そして、時間方向安定化処理部１７１は、時間方向安定化処理後の最適１視点と、その最適１視点と所定の距離だけ離れた１視点の２視点を、時間方向安定化処理後の最適視点とする。そして、時間方向安定化処理部１７１は、時間方向安定化処理後の最適視点を最適構図案内部１３に供給する。
【０１２５】
なお、ここでは、時間方向安定化処理部１７１が、最適視点のうちの最適１視点に対してのみ安定化処理を行うものとするが、最適視点の両視点に対して安定化処理を行うようにしてもよい。
【０１２６】
[撮影装置の処理の説明]
図１９は、図１８の撮影装置１７０の最適構図案内処理を説明するフローチャートである。この最適構図案内処理は、例えば、所定数フレームごとに行われる。
【０１２７】
図１９のステップＳ１８１において、撮影装置１７０の最適視点検出部１２は、撮影部１１から１フレーム分の多視点画像と視差画像を取得する。
【０１２８】
ステップＳ１８２において、最適視点検出部１２は、取得された１時刻分の多視点画像と視差画像を用いて最適視点を選択し、出力する。具体的には、最適視点検出部１２は、図２のステップＳ１１乃至Ｓ２１の処理を行う。
【０１２９】
ステップＳ１８３において、時間方向安定化処理部１７１は、ステップＳ１８２で出力された最適視点のうちの最適１視点のＩＤを所定の重み付け係数で重み付けする。
【０１３０】
ステップＳ１８４において、時間方向安定化処理部１７１は、ステップＳ１８３で重み付けされた最適１視点のＩＤと、前回のステップＳ１８５で保持された積算値と加算することにより、最適１視点のＩＤを積算し、積算値を求める。なお、まだステップＳ１８５の処理が行われておらず、積算値が保持されていない場合には、ステップＳ１８３で重み付けされた最適１視点のＩＤをそのまま積算値とする。
【０１３１】
ステップＳ１８５において、時間方向安定化処理部１７１は、ステップＳ１８４で求められた積算値を保持する。
【０１３２】
ステップＳ１８６において、時間方向安定化処理部１７１は、所定数フレーム分の重み付けされた最適１視点のＩＤを積算したかどうかを判定する。ステップＳ１８６でまだ所定数フレーム分の最適１視点を積算していないと判定された場合、処理はステップＳ１８１に戻り、所定数フレーム分の重み付けされた最適１視点のＩＤが積算されるまで、ステップＳ１８１乃至Ｓ１８６の処理が行われる。
【０１３３】
一方、ステップＳ１８６で所定数フレーム分の重み付けされた最適１視点のＩＤを積算したと判定された場合、処理はステップＳ１８７に進む。ステップＳ１８７において、時間方向安定化処理部１７１は、保持されている積算値の平均値に近似する整数がＩＤとして付与される視点と、その視点と所定の距離だけ離れた１視点の２視点を、時間方向安定化処理後の最適視点に決定する。時間方向安定化処理部１７１は、保持している積算値をクリアし、時間方向安定化処理後の最適視点を最適構図案内部１３に供給する。
【０１３４】
ステップＳ１８８において、最適構図案内部１３は、時間方向安定化処理部１７１から供給される最適視点と、撮影部１１から供給される視点位置情報とに基づいて、視点位置情報が表す２視点の位置から最適視点までの距離を移動量として算出する。そして、最適構図案内部１３は、算出された移動量に基づいて案内視点情報を生成し、表示部１４に供給する。
【０１３５】
ステップＳ１８９において、表示部１４は、図２のステップＳ２３の処理と同様に、最適構図案内部１３から供給される案内視点情報を表示し、処理を終了する。
【０１３６】
なお、図示は省略するが、図９のコンテンツ編集装置５０、図１０の表示制御装置７０、図１２の撮影装置１１０、図１４の撮影装置１３０、および図１６の撮影装置１５０においても、時間方向安定化処理部１７１を設けることができる。
【０１３７】
図２０は、図１２の撮影装置１１０に時間方向安定化処理部１７１が設けられた撮影装置１９０の構成例を示すブロック図であり、図２１は、図１４の撮影装置１３０に時間方向安定化処理部１７１が設けられた撮影装置２００の構成例を示すブロック図である。また、図２２は、図１６の撮影装置１５０に時間方向安定化処理部１７１が設けられた撮影装置２１０の構成例を示すブロック図である。
【０１３８】
＜第８実施の形態＞
[画像処理装置の第８実施の形態の構成例]
図２３は、本技術を適用した画像処理装置の第８実施の形態としての撮影装置の構成例を示すブロック図である。
【０１３９】
図２３に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１４０】
図２３の撮影装置２２０は、撮影部１１の代わりに撮影部２２１が設けられている点、および、新たに視差検出部２２２が設けられている点が図１の構成と異なる。撮影装置２２０は、多視点画像から視差画像を生成する。
【０１４１】
具体的には、撮影装置２２０の撮影部２２１は、図１の撮影部１１と同様に、３以上の視点である多視点のフレーム単位のカラー画像を２視点ずつ撮影し、多視点のカラー画像を多視点画像として最適視点検出部１２と視差検出部２２２に供給する。また、撮影部２２１は、撮影部１１と同様に、現在の撮影部１１の位置に対応する２視点の位置を表す視点位置情報を、最適構図案内部１３に供給する。
【０１４２】
視差検出部２２２は、撮影部２２１から供給される多視点画像から、所定の視点の視差画像を生成する。具体的には、視差検出部２２２は、多視点画像のうちの基点となる視点のカラー画像と、基点以外の所定の視点のカラー画像を用いて、視点ごとにブロックマッチング等を行う。これにより、視差検出部２２２は、基点以外の所定の視点のカラー画像の各画素に対応する基点となる視点のカラー画像の画素を検出する。そして、視差検出部２２２は、基点以外の所定の視点のカラー画像の各画素と、その画素に対応する基点となる視点のカラー画像の画素の画面上の位置の水平方向の距離を表す視差値を求め、その視差値から視差画像を生成する。視差検出部２２２は、生成された視差画像を最適視点検出部１２に供給する。
【０１４３】
なお、図示は省略するが、図９のコンテンツ編集装置５０、図１０の表示制御装置７０、図１２の撮影装置１１０、図１４の撮影装置１３０、および図１６の撮影装置１５０においても、撮影部１１の代わりに撮影部２２１を設け、新たに視差検出部２２２を設けることができる。
【０１４４】
図２４は、図１２の撮影装置１１０において、撮影部１１の代わりに撮影部２２１が設けられ、新たに視差検出部２２２が設けられた撮影装置２３０の構成例を示すブロック図である。図２５は、図１４の撮影装置１３０において、撮影部１１の代わりに撮影部２２１が設けられ、新たに視差検出部２２２が設けられた撮影装置２４０の構成例を示すブロック図である。また、図２６は、図１６の撮影装置１５０において、撮影部１１の代わりに撮影部２２１が設けられ、新たに視差検出部２２２が設けられた撮影装置２５０の構成例を示すブロック図である。
【０１４５】
また、図１８の撮影装置１７０、図２０の撮影装置１９０、図２１の撮影装置２００、図２２の撮影装置２１０においても、撮影部１１の代わりに撮影部２２１を設け、新たに視差検出部２２２を設けることができる。
【０１４６】
図２７は、図１８の撮影装置１７０において、撮影部１１の代わりに撮影部２２１が設けられ、新たに視差検出部２２２が設けられた撮影装置２６０の構成例を示すブロック図である。図２８は、図２０の撮影装置１９０において、撮影部１１の代わりに撮影部２２１が設けられ、新たに視差検出部２２２が設けられた撮影装置２７０の構成例を示すブロック図である。
【０１４７】
また、図２９は、図２１の撮影装置２００において、撮影部１１の代わりに撮影部２２１が設けられ、新たに視差検出部２２２が設けられた撮影装置２８０の構成例を示すブロック図である。さらに、図３０は、図２２の撮影装置２１０において、撮影部１１の代わりに撮影部２２１が設けられ、新たに視差検出部２２２が設けられた撮影装置２９０の構成例を示すブロック図である。
【０１４８】
＜第９実施の形態＞
[画像処理装置の第９実施の形態の構成例]
図３１は、本技術を適用した画像処理装置の第９実施の形態としての撮影装置の構成例を示すブロック図である。
【０１４９】
図３１に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１５０】
図３１の撮影装置３００は、撮影部１１、最適構図案内部１３の代わりに、撮影部３０１、最適構図案内部３０３が設けられている点、および、新たに画像変換部３０２が設けられている点が図１の構成と異なる。撮影装置３００は、所定の１視点のカラー画像を撮影し、その１視点のカラー画像から多視点画像を生成する。
【０１５１】
具体的には、撮影部３０１は、所定の１視点のフレーム単位のカラー画像を撮影する。また、撮影部３０１は、撮影時に、所定の１視点のカラー画像に対応する視差画像を取得する。撮影部３０１は、所定の１視点のカラー画像を１視点画像として画像変換部３０２に供給するとともに、所定の１視点の視差画像を最適視点検出部１２に供給する。また、撮影部３０１は、現在の撮影部３０１の位置に対応する１視点の位置を表す１視点位置情報を、最適構図案内部３０３に供給する。
【０１５２】
画像変換部３０２は、撮影部３０１から供給される１視点画像を、生成する多視点画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、多視点画像を生成する。画像変換部３０２は、生成された多視点画像を最適視点検出部１２に供給する。
【０１５３】
最適構図案内部３０３は、最適視点検出部１２から供給される最適視点と、撮影部３０１から供給される１視点位置情報とに基づいて、視点位置情報が表す１視点の位置から最適視点のそれぞれまでの移動量を算出する。最適構図案内部３０３は、算出された移動量に基づいて、最適視点のそれぞれの３Ｄ画像が撮影可能な位置に撮影部３０１を案内するための案内視点情報を生成し、表示部１４に供給する。
【０１５４】
なお、図示は省略するが、図９のコンテンツ編集装置５０、図１０の表示制御装置７０、図１２の撮影装置１１０、図１４の撮影装置１３０、図１６の撮影装置１５０、図１８の撮影装置１７０、図２０の撮影装置１９０、図２１の撮影装置２００、および図２２の撮影装置２１０においても、撮影部１１の代わりに撮影部３０１を設け、最適構図案内部１３の代わりに最適構図案内部３０３を設け、新たに画像変換部３０２を設けることができる。
【０１５５】
[画像変換部の第１の構成例]
図３２は、図３１の画像変換部３０２の第１の構成例を示すブロック図である。
【０１５６】
図３２の画像変換部３０２は、２Ｄ/３Ｄ変換部３１１と２視点/多視点変換部３１２により構成される。
【０１５７】
画像変換部３０２の２Ｄ/３Ｄ変換部３１１は、撮影部３０１から供給される１視点画像を、生成する２視点の３Ｄ画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、２視点の３Ｄ画像を生成する。２Ｄ/３Ｄ変換部３１１は、生成された２視点の３Ｄ画像を２視点画像として２視点/多視点変換部３１２に供給する。
【０１５８】
２視点/多視点変換部３１２は、２Ｄ/３Ｄ変換部３１１から供給される２視点画像のいずれか一方を、生成する多視点画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、多視点画像を生成する。２視点/多視点変換部３１２は、生成された多視点画像を最適視点検出部１２（図３１）に供給する。
【０１５９】
[画像変換部の第２の構成例]
図３３は、図３１の画像変換部３０２の第２の構成例を示すブロック図である。
【０１６０】
図３３の画像変換部３０２は、１視点/多視点変換部３２１により構成される。
【０１６１】
画像変換部３０２の１視点/多視点変換部３２１は、撮影部３０１から供給される１視点画像を、生成する多視点画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、多視点画像を生成する。１視点/多視点変換部３２１は、生成された多視点画像を最適視点検出部１２（図３１）に供給する。
【０１６２】
＜第１０実施の形態＞
[画像処理装置の第１０実施の形態の構成例]
図３４は、本技術を適用した画像処理装置の第１０実施の形態としての撮影装置の構成例を示すブロック図である。
【０１６３】
図３４に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１６４】
図３４の撮影装置３４０は、撮影部１１の代わりに撮影部３４１が設けられている点、および、新たに画像変換部３４２が設けられている点が図１の構成と異なる。撮影装置３４０は、所定の２視点のカラー画像を撮影し、その２視点のカラー画像から多視点画像を生成する。
【０１６５】
具体的には、撮影装置３４０の撮影部３４１は、所定の２視点のフレーム単位のカラー画像を撮影する。また、撮影部３４１は、撮影時に、所定の視点のカラー画像に対応する視差画像を取得する。撮影部３４１は、所定の２視点のカラー画像を２視点画像として画像変換部３４２に供給するとともに、所定の視点の視差画像を最適視点検出部１２に供給する。また、撮影部３４１は、図１の撮影部１１と同様に、視点位置情報を最適構図案内部１３に供給する。
【０１６６】
画像変換部３４２は、撮影部３４１から供給される２視点画像のうちのいずれか一方のカラー画像を、生成する多視点画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、多視点画像を生成する。画像変換部３４２は、生成された多視点画像を最適視点検出部１２に供給する。
【０１６７】
なお、図示は省略するが、図９のコンテンツ編集装置５０、図１０の表示制御装置７０、図１２の撮影装置１１０、図１４の撮影装置１３０、図１６の撮影装置１５０、図１８の撮影装置１７０、図２０の撮影装置１９０、図２１の撮影装置２００、および図２２の撮影装置２１０においても、撮影部１１の代わりに撮影部３４１を設け、新たに画像変換部３４２を設けることができる。
【０１６８】
＜第１１実施の形態＞
[画像処理装置の第１１実施の形態の構成例]
図３５は、本技術を適用した画像処理装置の第１１実施の形態としての撮影装置の構成例を示すブロック図である。
【０１６９】
図３５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１７０】
図３５の撮影装置３６０は、撮影部１１の代わりに撮影部３６１が設けられている点、および、新たに画像変換部３６２が設けられている点が図１の構成と異なる。撮影装置３６０は、多視点のカラー画像を撮影し、その多視点のカラー画像からより多い視点の多視点画像を生成する。
【０１７１】
具体的には、撮影装置３６０の撮影部３６１は、多視点のフレーム単位のカラー画像を撮影する。また、撮影部３６１は、撮影時に、所定の視点のカラー画像に対応する視差画像を取得する。撮影部３６１は、多視点のカラー画像を画像変換部３６２に供給するとともに、所定の視点の視差画像を最適視点検出部１２に供給する。また、撮影部３６１は、図１の撮影部１１と同様に、視点位置情報を最適構図案内部１３に供給する。
【０１７２】
画像変換部３６２は、撮影部３６１から供給される多視点のカラー画像のうちの１つのカラー画像を、生成する多視点画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトする。これにより、画像変換部３６２は、多視点のカラー画像より多い視点の多視点画像を生成する。画像変換部３６２は、生成された多視点画像を最適視点検出部１２に供給する。
【０１７３】
なお、図示は省略するが、図９のコンテンツ編集装置５０、図１０の表示制御装置７０、図１２の撮影装置１１０、図１４の撮影装置１３０、図１６の撮影装置１５０、図１８の撮影装置１７０、図２０の撮影装置１９０、図２１の撮影装置２００、および図２２の撮影装置２１０においても、撮影部１１の代わりに撮影部３６１を設け、新たに画像変換部３６２を設けることができる。
【０１７４】
＜第１２実施の形態＞
[画像処理装置の第１２実施の形態の構成例]
図３６は、本技術を適用した画像処理装置の第１２実施の形態としての撮影装置の構成例を示すブロック図である。
【０１７５】
図３６に示す構成のうち、図３１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１７６】
図３６の撮影装置３７０は、撮影部３０１の代わりに撮影部３７１が設けられている点、および、新たに視差検出部３７２が設けられている点が図３１の構成と異なる。撮影装置３７０は、１視点画像に対応する画像から視差画像を生成する。
【０１７７】
具体的には、撮影部３７１は、所定の１視点のカラー画像を撮影し、１視点画像として画像変換部３０２に供給する。また、撮影部３７１は、図３１の撮影部３０１と同様に、１視点位置情報を、最適構図案内部３０３に供給する。
【０１７８】
視差検出部３７２は、画像変換部３０２で得られる１視点画像に対応する画像から、所定の視点の視差画像を生成し、最適視点検出部１２に供給する。
【０１７９】
具体的には、画像変換部３０２の構成が、図３２で示した構成である場合、視差検出部３７２は、以下のようにして視差画像を生成することができる。
【０１８０】
例えば、視差検出部３７２は、図３７に示すように、画像変換部３０２に入力される１視点画像を取得し、その１視点画像の視点の視差画像を生成することができる。具体的には、視差検出部３７２は、１視点画像のボケ度合い、動き量の大きさ、被写体の大きさ等により、１視点画像の各画素の視差値を検出して視差画像を生成する。例えば、１視点画像のボケ度合いが大きい画素は、奥行方向の位置が奥側であると判断されて視差値が決定され、動き量が大きい画素は、奥行方向の位置が手前側であると判断されて視差値が決定される。
【０１８１】
また、視差検出部３７２は、図３８に示すように、２Ｄ/３Ｄ変換部３１１における各画素のシフト量を表す画像等の中間画像を取得し、１視点画像の視点または２視点画像の２視点のうちの一方の視点を基点とした所定の視点の視差画像を生成することができる。
【０１８２】
また、視差検出部３７２は、図３９に示すように、２Ｄ/３Ｄ変換部３１１から出力される２視点画像を取得し、２視点画像の２視点のうちの一方の視点を基準とした所定の視点の視差画像を生成することができる。また、視差検出部３７２は、図４０に示すように、２視点/多視点変換部３１２における各画素のシフト量を表す画像等の中間画像を取得し、２視点画像の２視点または多視点画像の多視点のうちの１つの視点を基点とした所定の視点の視差画像を生成することができる。
【０１８３】
また、視差検出部３７２は、図４１に示すように、２視点/多視点変換部３１２から出力される多視点画像を取得し、多視点画像の多視点のうちの１つの視点を基準とした所定の視点の視差画像を生成することができる。
【０１８４】
また、画像変換部３０２の構成が、図３３で示した構成である場合、視差検出部３７２は、以下のようにして視差画像を生成することができる。
【０１８５】
例えば、視差検出部３７２は、図４２に示すように、１視点/多視点変換部３２１に入力される１視点画像を取得し、その1視点画像の視点の視差画像を生成することができる。また、視差検出部３７２は、図４３に示すように、１視点/多視点変換部３２１における各画素のシフト量を表す画像等の中間画像を取得し、１視点画像の視点または多視点画像の多視点のうちの１つの視点を基点とした所定の視点の視差画像を生成することができる。さらに、視差検出部３７２は、図４４に示すように、１視点/多視点変換部３２１から出力される多視点画像を取得し、多視点画像の多視点のうちの１つの視点を基準とした所定の視点の視差画像を生成することができる。
【０１８６】
なお、図示は省略するが、図９のコンテンツ編集装置５０、図１０の表示制御装置７０、図１２の撮影装置１１０、図１４の撮影装置１３０、図１６の撮影装置１５０、図１８の撮影装置１７０、図２０の撮影装置１９０、図２１の撮影装置２００、および図２２の撮影装置２１０においても、撮影部１１の代わりに撮影部３７１を設け、新たに画像変換部３０２と視差検出部３７２を設けることができる。
【０１８７】
＜第１３実施の形態＞
[画像処理装置の第１３実施の形態の構成例]
図４５は、本技術を適用した画像処理装置の第１３実施の形態としての撮影装置の構成例を示すブロック図である。
【０１８８】
図４５に示す構成のうち、図３４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１８９】
図４５の撮影装置３９０は、撮影部３４１の代わりに撮影部３９１が設けられている点、および、新たに視差検出部３９２が設けられている点が図３４の構成と異なる。撮影装置３９０は、２視点画像に対応する画像から視差画像を生成する。
【０１９０】
具体的には、撮影部３９１は、所定の２視点のカラー画像を撮影し、２視点画像として画像変換部３４２に供給する。また、撮影部３９１は、視点位置情報を最適構図案内部１３に供給する。
【０１９１】
視差検出部３９２は、画像変換部３４２で得られる２視点画像に対応する画像から、所定の視点の視差画像を生成し、最適視点検出部１２に供給する。
【０１９２】
具体的には、視差検出部３９２は、画像変換部３４２に入力される２視点画像を取得し、その２視点画像の２視点のうちの一方の視点を基点とした所定の視点の視差画像を生成することができる。また、視差検出部３９２は、画像変換部３４２における各画素のシフト量を表す画像等の中間画像を取得し、２視点画像の２視点または多視点画像の多視点のうちの１つの視点を基点とした所定の視点の視差画像を生成することができる。さらに、視差検出部３９２は、画像変換部３４２から出力される多視点画像を取得し、その多視点画像の多視点のうちの１つの視点を基点とした所定の視点の視差画像を生成することができる。
【０１９３】
なお、図示は省略するが、図９のコンテンツ編集装置５０、図１０の表示制御装置７０、図１２の撮影装置１１０、図１４の撮影装置１３０、図１６の撮影装置１５０、図１８の撮影装置１７０、図２０の撮影装置１９０、図２１の撮影装置２００、および図２２の撮影装置２１０においても、撮影部１１の代わりに撮影部３９１を設け、新たに画像変換部３４２と視差検出部３９２を設けることができる。
【０１９４】
＜第１４実施の形態＞
[画像処理装置の第１４実施の形態の構成例]
図４６は、本技術を適用した画像処理装置の第１４実施の形態としての撮影装置の構成例を示すブロック図である。
【０１９５】
図４６に示す構成のうち、図３５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１９６】
図４６の撮影装置４１０は、撮影部３６１の代わりに撮影部４１１が設けられている点、および、新たに視差検出部４１２が設けられている点が図３５の構成と異なる。撮影装置４１０は、多視点のカラー画像に対応する画像から視差画像を生成する。
【０１９７】
具体的には、撮影部４１１は、多視点のカラー画像を撮影して画像変換部３６２に供給する。また、撮影部４１１は、視点位置情報を最適構図案内部１３に供給する。
【０１９８】
視差検出部４１２は、画像変換部３６２で得られる多視点のカラー画像に対応する画像から、所定の視点の視差画像を生成し、最適視点検出部１２に供給する。
【０１９９】
具体的には、視差検出部４１２は、画像変換部３６２に入力される多視点のカラー画像を取得し、その多視点のカラー画像の多視点のうちの１つの視点を基点とした所定の視点の視差画像を生成することができる。また、視差検出部４１２は、画像変換部３６２における各画素のシフト量を表す画像等の中間画像を取得し、多視点のカラー画像の多視点または多視点画像の多視点のうちの１つの視点を基点とした所定の視点の視差画像を生成することができる。さらに、視差検出部４１２は、画像変換部３６２から出力される多視点画像を取得し、その多視点画像の多視点のうちの１つの視点を基点とした所定の視点の視差画像を生成することができる。
【０２００】
なお、図示は省略するが、図９のコンテンツ編集装置５０、図１０の表示制御装置７０、図１２の撮影装置１１０、図１４の撮影装置１３０、図１６の撮影装置１５０、図１８の撮影装置１７０、図２０の撮影装置１９０、図２１の撮影装置２００、および図２２の撮影装置２１０においても、撮影部１１の代わりに撮影部４１１を設け、新たに画像変換部３６２と視差検出部４１２を設けることができる。
【０２０１】
なお、本技術を適用した画像処理装置の一実施の形態としての撮影装置は、デジタルカメラやカムコーダ、業務用ビデオカメラ、Webカメラ、携帯電話やゲーム機器、自動車等に搭載されたカメラ、レンズアレイとイメージセンサを組み合わせた装置等に適用することができる。
【０２０２】
また、本技術を適用した画像処理装置の一実施の形態としてのコンテンツ編集装置は、３Ｄ画像用の編集アプリケーションを実行するパーソナルコンピュータ、DVD(Digital Versatile Disc)レコーダ、BD（Blu-Ray（登録商標） Disc）レコーダ、DVDプレイヤ、BDプレイヤ、ゲーム機器、ポストプロダクション用のコンテンツ編集機等に適用することができる。
【０２０３】
さらに、本技術を適用した画像処理装置の一実施の形態としての表示制御装置は、テレビジョン受像機、パーソナルコンピュータ、デジタルカメラ、カムコーダ、携帯電話、音楽プレイヤ、電子ペーパ、車載用機器、ゲーム機器等に適用することができる。
【０２０４】
また、多視点画像の特徴は、多視点画像に対して、物体認識処理、セグメンテーション、および水平線や消失点等の幾何情報の検出処理のうちの２以上を行うことにより抽出されるようにしてもよい。
【０２０５】
さらに、上述した最適構図案内処理では、注目視点のカラー画像と視差画像に基づいて最適１視点が選択され、その最適１視点から最適視点が決定されたが、注目視点と、その注目視点と所定の距離だけ離れた視点のカラー画像により構成される３Ｄ画像に基づいて、最適視点を選択するようにしてもよい。この場合、注目視点と、その注目視点と所定の距離だけ離れた視点のカラー画像を用いて、注目視点に対応する３Ｄ画像のDepth Mapが生成され、注目視点の視差画像の代わりに用いられる。即ち、注目視点に対応する３Ｄ画像とDepth Mapを用いて最適視点が選択される。これにより、より最適な２視点を最適視点として選択することができる。
【０２０６】
また、上述した多視点は、水平方向に並ぶ３以上の視点であっても、垂直方向に並ぶ３以上の視点であってもよい。
【０２０７】
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理の少なくとも一部は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２０８】
そこで、図４７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２０９】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部５０８やROM（Read Only Memory）５０２に予め記録しておくことができる。
【０２１０】
あるいはまた、プログラムは、リムーバブルメディア５１１に格納（記録）しておくことができる。このようなリムーバブルメディア５１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア５１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２１１】
なお、プログラムは、上述したようなリムーバブルメディア５１１からドライブ５１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部５０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２１２】
コンピュータは、CPU(Central Processing Unit)５０１を内蔵しており、CPU５０１には、バス５０４を介して、入出力インタフェース５０５が接続されている。
【０２１３】
CPU５０１は、入出力インタフェース５０５を介して、ユーザによって、入力部５０６が操作等されることにより指令が入力されると、それに従って、ROM５０２に格納されているプログラムを実行する。あるいは、CPU５０１は、記憶部５０８に格納されたプログラムを、RAM(Random Access Memory)５０３にロードして実行する。
【０２１４】
これにより、CPU５０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU５０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース５０５を介して、出力部５０７から出力、あるいは、通信部５０９から送信、さらには、記憶部５０８に記録等させる。
【０２１５】
なお、入力部５０６は、キーボードや、マウス、マイク等で構成される。また、出力部５０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２１６】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２１７】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２１８】
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１９】
なお、本技術は、以下のような構成もとることができる。
（１）
３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点を最適な視点として検出する最適視点検出部
を備える画像処理装置。
（２）
前記最適視点検出部は、前記３以上の視点の視点ごとに、その視点の前記画像の特徴を抽出し、その特徴と前記３以上の視点の視差画像を用いて、前記最適な視点を検出する
前記（１）に記載の画像処理装置。
（３）
前記最適視点検出部は、前記画像に対して物体認識処理を行うことにより、前記画像の特徴として所定の物体の画像を抽出する
前記（２）に記載の画像処理装置。
（４）
前記最適視点検出部は、前記画像に対してセグメンテーションを行うことにより、前記画像の特徴として所定の領域を抽出する
前記（２）に記載の画像処理装置。
（５）
前記最適視点検出部は、前記視差画像内の前記所定の領域の視差値に基づいて、前記最適な視点を検出する
前記（４）に記載の画像処理装置。
（６）
前記最適視点検出部は、前記視差画像内の前記所定の領域の視差値、並びに、前記所定の領域の面積および位置に基づいて、前記最適な視点を検出する
前記（５）に記載の画像処理装置。
（７）
前記最適視点検出部は、前記画像に対して幾何情報の検出処理を行うことにより、前記画像の特徴として消失点を抽出する
前記（２）に記載の画像処理装置。
（８）
前記最適視点検出部は、前記視差画像内の前記消失点で分割される２つの領域の視差値に基づいて、前記最適な視点を検出する
前記（７）に記載の画像処理装置。
（９）
前記最適視点検出部は、前記３以上の視点の視点ごとの前記画像の特徴と前記視差画像の関係と、予め学習された所定の画像の特徴と視差画像の関係とを比較することにより、前記最適な視点を検出する
前記（２）に記載の画像処理装置。
（１０）
前記最適視点検出部は、前記３以上の視点の画像の動きベクトル、前記３以上の視点の画像、および前記３以上の視点の視差画像を用いて、前記最適な視点を検出する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記最適視点検出部は、前記３以上の視点の視点ごとに、その視点の前記画像の前記動きベクトルを用いて、その画像の特徴を抽出し、その特徴と前記３以上の視点の視差画像を用いて、前記最適な視点を検出する
前記（１０）に記載の画像処理装置。
（１２）
前記最適視点検出部により検出された前記最適な視点を時間方向に安定化させる時間方向安定化処理部
をさらに備える
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記画像を撮影する撮影部と、
前記最適視点検出部により検出された前記最適な視点の画像を撮影可能な位置に前記撮影部を案内するための案内視点情報を生成する案内部と
をさらに備える
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
前記最適視点検出部により検出された前記最適な視点を出力する出力部
をさらに備える
前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
前記最適視点検出部により検出された前記最適な視点の前記画像を表示させる表示制御部
をさらに備える
前記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）
ユーザの視聴状態を検出する視聴状態検出部
をさらに備え、
前記表示制御部は、前記視聴状態検出部により検出された前記視聴状態に基づいて、前記最適視点検出部により検出された前記最適な視点の前記画像を表示させる
前記（１５）に記載の画像処理装置。
（１７）
画像処理装置が、
３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点を最適な視点として検出する最適視点検出ステップ
を含む画像処理方法。
（１８）
画像処理を、コンピュータに行わせるプログラムにおいて、
３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点を最適な視点として検出する最適視点検出ステップ
を含むプログラム。
【符号の説明】
【０２２０】
１０ 撮影装置， １１ 撮影部， １２ 最適視点検出部， １３ 最適構図案内部， ５０ コンテンツ編集装置， ５３ 最適構図推薦部， ７０ 表示制御装置， ７２ 表示部， ９１ 視聴状態検出部
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、３Ｄ画像の最適な構図を検出することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、３Ｄ画像の撮影、編集、表示に関する技術が数多く考案されている。
【０００３】
一方、撮影構図を推薦する技術としては、２Ｄ画像の撮影時に、ユーザにより選択された主要被写体の画像の特徴に応じて撮影構図を選択し、表示する技術がある（例えば、特許文献１参照）。この技術により、人物を含む複数の被写体が存在する場合であっても、より好ましい撮影構図をユーザに提示することができる。
【０００４】
また、撮影構図を推定する技術としては、被写体の奥行き値を利用して２Ｄ画像の撮影構図を推定する技術がある（例えば、特許文献２参照）。この技術は、２Ｄ画像から検出した奥行き値のうちの、２Ｄ画像の上部領域からなるオープンスカイ領域の奥行き値の重み付け平均値と、左右の側面領域からなるポートレート領域の奥行き値の重み付け平均値に基づいて、撮影構図を特定する技術である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２４６４３８号公報
【特許文献２】特開２０１０−７２９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、被写体の奥行方向の位置などの３Ｄ画像特有の特徴を考慮して、３Ｄ画像の最適な構図、即ち最適な２視点を検出する技術は考案されていない。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、３Ｄ画像の最適な構図を検出することができようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の画像処理装置は、３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点を最適な視点として検出する最適視点検出部を備える画像処理装置である。
【０００９】
本技術の一側面の画像処理方法およびプログラムは、本技術の一側面の画像処理装置に対応する。
【００１０】
本技術の一側面においては、３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点が最適な視点として検出される。
【発明の効果】
【００１１】
本技術の一側面によれば、３Ｄ画像の最適な構図を検出することができる。
【図面の簡単な説明】
【００１２】
【図１】本技術を適用した画像処理装置の第１実施の形態としての撮影装置の構成例を示すブロック図である。
【図２】図１の撮影装置の最適構図案内処理のフローチャートである。
【図３】セグメンテーション結果の例を示す図である。
【図４】消失点の検出処理結果の例を示す図である。
【図５】図２の評価値算出処理の第１の例の詳細を説明するフローチャートである。
【図６】視差画像の例を示す図である。
【図７】図２の評価値算出処理の第２の例の詳細を説明するフローチャートである
【図８】図２の評価値算出処理の第３の例の詳細を説明するフローチャートである。
【図９】本技術を適用した画像処理装置の第２実施の形態としてのコンテンツ編集装置の構成例を示すブロック図である。
【図１０】本技術を適用した画像処理装置の第３実施の形態としての表示制御装置の構成例を示すブロック図である。
【図１１】図１０の最適構図表示制御部の他の構成例を示す図である。
【図１２】本技術を適用した画像処理装置の第４実施の形態としての撮影装置の構成例を示すブロック図である。
【図１３】図１２の撮影装置の最適構図案内処理のフローチャートである。
【図１４】図１４は、本技術を適用した画像処理装置の第５実施の形態としての撮影装置の構成例を示すブロック図である。
【図１５】図１４の撮影装置の最適構図案内処理のフローチャートである。
【図１６】本技術を適用した画像処理装置の第６実施の形態としての撮影装置の構成例を示すブロック図である。
【図１７】図１６の撮影装置の最適構図案内処理のフローチャートである。
【図１８】本技術を適用した画像処理装置の第７実施の形態としての撮影装置の構成例を示すブロック図である。
【図１９】図１８の撮影装置の最適構図案内処理を説明するフローチャートである。
【図２０】図１２と図１８の撮影装置の組み合わせの構成例を示すブロック図である。
【図２１】図１４と図１８の撮影装置の組み合わせの構成例を示すブロック図である。
【図２２】図１６と図１８の撮影装置の組み合わせの構成例を示すブロック図である。
【図２３】本技術を適用した画像処理装置の第８実施の形態としての撮影装置の構成例を示すブロック図である。
【図２４】図１２と図２３の撮影装置の組み合わせの構成例を示すブロック図である。
【図２５】図１４と図２３の撮影装置の組み合わせの構成例を示すブロック図である。
【図２６】図１６と図２３の撮影装置の組み合わせの構成例を示すブロック図である。
【図２７】図１８と図２３の撮影装置の組み合わせの構成例を示すブロック図である。
【図２８】図２０と図２３の撮影装置の組み合わせの構成例を示すブロック図である。
【図２９】図２１と図２３の撮影装置の組み合わせの構成例を示すブロック図である。
【図３０】図２２と図２３の撮影装置の組み合わせの構成例を示すブロック図である。
【図３１】本技術を適用した画像処理装置の第９実施の形態としての撮影装置の構成例を示すブロック図である。
【図３２】図３１の画像変換部の第１の構成例を示すブロック図である。
【図３３】図３１の画像変換部の第２の構成例を示すブロック図である。
【図３４】本技術を適用した画像処理装置の第１０実施の形態としての撮影装置の構成例を示すブロック図である。
【図３５】本技術を適用した画像処理装置の第１１実施の形態としての撮影装置の構成例を示すブロック図である。
【図３６】本技術を適用した画像処理装置の第１２実施の形態としての撮影装置の構成例を示すブロック図である。
【図３７】図３６の視差検出部の処理の第１の例を説明する図である。
【図３８】図３６の視差検出部の処理の第２の例を説明する図である。
【図３９】図３６の視差検出部の処理の第３の例を説明する図である。
【図４０】図３６の視差検出部の処理の第４の例を説明する図である。
【図４１】図３６の視差検出部の処理の第５の例を説明する図である。
【図４２】図３６の視差検出部の処理の第６の例を説明する図である。
【図４３】図３６の視差検出部の処理の第７の例を説明する図である。
【図４４】図３６の視差検出部の処理の第８の例を説明する図である。
【図４５】本技術を適用した画像処理装置の第１３実施の形態としての撮影装置の構成例を示すブロック図である。
【図４６】本技術を適用した画像処理装置の第１４実施の形態としての撮影装置の構成例を示すブロック図である。
【図４７】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００１３】
＜第１実施の形態＞
［画像処理装置の第１実施の形態の構成例］
図１は、本技術を適用した画像処理装置の第１実施の形態としての撮影装置の構成例を示すブロック図である。
【００１４】
図１の撮影装置１０は、撮影部１１、最適視点検出部１２、最適構図案内部１３、および表示部１４により構成され、最適な２視点の３Ｄ画像を撮影可能な位置に撮影部１１を案内する。
【００１５】
具体的には、撮影装置１０の撮影部１１は、３以上の視点である多視点のフレーム単位のカラー画像を２視点ずつ撮影する。また、撮影部１１は、撮影時に、所定の視点のフレーム単位のカラー画像に対応する視差画像を取得する。
【００１６】
なお、視差画像は、Disparity Mapとも呼ばれ、対応する視点のカラー画像の各画素と、その画素に対応する、基点となる視点のカラー画像の画素の画面上の位置の水平方向の距離を表す視差値からなる画像である。この視差画像は、３Ｄ画像の奥行方向の位置や、撮影部１１と被写体との間の距離を表すDepth Mapから変換可能な画像である。撮影部１１は、例えば、撮影時に測距センサ等により検出されたDepth Mapやユーザにより作成されたDepth Mapを視差画像に変換することにより、視差画像を取得する。なお、撮影部１１により取得される視差画像の視点数は、多視点画像の視点数と同一であってもよいし、異なっていてもよい。
【００１７】
撮影部１１は、多視点のフレーム単位のカラー画像を多視点画像として最適視点検出部１２に供給するとともに、視差画像を最適視点検出部１２に供給する。また、撮影部１１は、現在の撮影部１１の位置に対応する２視点の位置を表す視点位置情報を、最適構図案内部１３に供給する。
【００１８】
最適視点検出部１２は、撮影部１１から供給される多視点画像と視差画像を用いて、多視点画像の視点の中から、表示時に最適な３Ｄ画像の２視点を最適視点として選択する。具体的には、最適視点検出部１２は、多視点画像の特徴を視点ごとに抽出する。また、最適視点検出部１２は、抽出された多視点画像の特徴と視差画像に基づいて、視点ごとに、多視点画像の評価値を算出する。そして、最適視点検出部１２は、多視点画像のうちの評価値が最小となるカラー画像に対応する視点を最適視点のうちの１視点（以下、最適１視点という）とし、最適１視点と、最適１視点と所定の距離だけ離れた１視点の２視点を最適視点とする。最適視点検出部１２は、最適視点を最適構図案内部１３に供給する。
【００１９】
最適構図案内部１３は、最適視点検出部１２から供給される最適視点と、撮影部１１から供給される視点位置情報とに基づいて、視点位置情報が表す２視点の位置から最適視点までの距離を移動量として算出する。最適構図案内部１３は、算出された移動量に基づいて、最適視点の３Ｄ画像を撮影可能な位置に撮影部１１を案内するための案内視点情報を生成し、表示部１４に供給する。
【００２０】
表示部１４は、最適構図案内部１３から供給される案内視点情報を表示する。例えば、表示部１４は、案内視点情報としての「少し右に寄って下さい」等のメッセージを表示する。
【００２１】
［撮影装置の処理の説明］
図２は、図１の撮影装置１０の最適構図案内処理のフローチャートである。この最適構図案内処理は、例えば、撮影部１１から多視点画像と視差画像が最適視点検出部１２に入力されたとき、開始される。
【００２２】
図２のステップＳ１１において、撮影装置１０の最適視点検出部１２は、多視点画像の視点のうちの、まだ注目視点とされていない１つの視点を注目視点とする。
【００２３】
ステップＳ１２において、最適視点検出部１２は、多視点画像のうちの注目視点のカラー画像の特徴を抽出する。具体的には、最適視点検出部１２は、注目視点のカラー画像に対して物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等を行う。
【００２４】
なお、物体認識処理とは、例えば、Support Vector Machine、Boosting、Neural Network等のアルゴリズムにしたがう処理であり、この物体認識処理により、主要な被写体となり得る人や物の画像が、カラー画像の特徴として抽出される。
【００２５】
また、セグメンテーションとは、例えば、Mean Shift、Graph Cut等のアルゴリズムにしたがう、各画素を１以上の領域に分類する処理である。このセグメンテーションにより、地面、水面、空、構造物等の領域がカラー画像の特徴として抽出される。３視点の多視点画像のセグメンテーション結果の例を、図３Ａ乃至図３Ｃに示す。図３Ａ乃至図３Ｃの例では、各視点のカラー画像のセグメンテーション結果として、６個の領域３１乃至３６が抽出されている。
【００２６】
また、水平線や消失点等の幾何情報の検出処理は、例えば、各種のエッジ検出フィルタを用いた処理や、Hough変換等のアルゴリズムにしたがう処理である。この水平線や消失点等の幾何情報の検出処理により、カラー画像の地平線や水平線、消失点、構造物の輪郭等が特徴として抽出される。図３Ａ乃至図３Ｃに示したセグメンテーション結果に対応する３視点の多視点画像の消失点の検出処理結果の例を、図４Ａ乃至図４Ｃに示す。図４Ａ乃至図４Ｃの例では、各視点のカラー画像の検出処理結果として、消失点４１が抽出されている。
【００２７】
ステップＳ１３において、最適視点検出部１２は、注目視点の視差画像が入力されているかどうかを判定する。ステップＳ１３で注目視点の視差画像が入力されていないと判定された場合、処理はステップＳ１４に進む。
【００２８】
ステップＳ１４において、最適視点検出部１２は、入力されている視差画像から注目視点の視差画像を生成し、処理をステップＳ１５に進める。
【００２９】
一方、ステップＳ１３で注目視点の視差画像が入力されている判定された場合、処理はステップＳ１５に進む。
【００３０】
ステップＳ１５において、最適視点検出部１２は、ステップＳ１２で抽出された注目視点のカラー画像の特徴と注目視点の視差画像を用いて評価値を算出する評価値算出処理を行う。この評価値算出処理の詳細は、後述する図５乃至図８を参照して説明する。
【００３１】
ステップＳ１６において、最適視点検出部１２は、注目視点が最初の注目視点であるかどうかを判定する。ステップＳ１６で注目視点が最初の注目視点であると判定された場合、ステップＳ１７において、最適視点検出部１２は、注目視点を最適１視点の候補とし、処理をステップＳ２０に進める。
【００３２】
一方、ステップＳ１６で注目視点が最初の注目視点ではないと判定された場合、ステップＳ１８において、最適視点検出部１２は、注目視点の評価値が最適１視点の候補の評価値より小さいかどうかを判定する。
【００３３】
ステップＳ１８で注目視点の評価値が最適１視点の候補の評価値より小さいと判定された場合、ステップＳ１９において、最適視点検出部１２は、最適１視点の候補を注目視点に変更する。
【００３４】
一方、ステップＳ１８で注目視点の評価値が最適１視点の候補の評価値より小さくはないと判定された場合、ステップＳ１９の処理はスキップされ、処理はステップＳ２０に進む。
【００３５】
ステップＳ２０において、最適視点検出部１２は、多視点画像の全ての視点を注目視点としたかどうかを判定する。ステップＳ２０で多視点画像の全ての視点をまだ注目視点としていないと判定された場合、処理はステップＳ１１に戻り、全ての視点が注目視点とされるまで、ステップＳ１１乃至Ｓ２０の処理が繰り返される。
【００３６】
一方、ステップＳ２０で多視点画像の全ての視点を注目視点としたと判定された場合、最適視点検出部１２は、最適１視点の候補を最適１視点とし、処理をステップＳ２１に進める。
【００３７】
ステップＳ２１において、最適視点検出部１２は、最適１視点と、その最適１視点に対応する、最適１視点と所定の距離だけ離れた１視点の２視点を最適視点として、最適構図案内部１３に出力する。
【００３８】
ステップＳ２２において、最適構図案内部１３は、最適視点検出部１２から供給される最適視点と、撮影部１１から供給される視点位置情報とに基づいて、視点位置情報が表す２視点の位置から最適視点までの距離を移動量として算出する。そして、最適構図案内部１３は、算出された移動量に基づいて案内視点情報を生成し、表示部１４に供給する。
【００３９】
ステップＳ２３において、表示部１４は、最適構図案内部１３から供給される案内視点情報を表示し、処理を終了する。
【００４０】
図５は、図２のステップＳ１５の評価値算出処理の第１の例の詳細を説明するフローチャートである。なお、図５の評価値算出処理は、図２のステップＳ１２で注目視点のカラー画像に対してセグメンテーションが行われた場合の評価値算出処理である。
【００４１】
図５のステップＳ４１において、最適視点検出部１２は、図２のステップＳ１２でセグメンテーションの結果抽出される特徴としての領域と注目視点の視差画像とに基づいて、各領域の面積Ｓ、重心の座標(x,y)、および視差値の平均値zを求める。
【００４２】
例えば、図３Ａの領域３１乃至３６が注目視点のカラー画像の特徴として抽出される場合、最適視点検出部１２は、図３Ａの領域３１乃至３６と図６Ａに示す注目視点の視差画像に基づいて、図３Ａの領域３１乃至３６それぞれの面積Ｓ、重心の座標(x,y)、および視差の平均値zを求める。同様に、図３Ｂの領域３１乃至３６が注目視点のカラー画像の特徴として抽出される場合、最適視点検出部１２は、図３Ｂの領域３１乃至３６と図６Ｂに示す注目視点の視差画像に基づいて、図３Ｂの領域３１乃至３６それぞれの面積Ｓ、重心の座標(x,y)、および視差の平均値zを求める。また、図３Ｃの領域３１乃至３６が注目視点のカラー画像の特徴として抽出される場合、最適視点検出部１２は、図３Ｃの領域３１乃至３６と図６Ｃに示す注目視点の視差画像に基づいて、図３Ｃの領域３１乃至３６それぞれの面積Ｓ、重心の座標(x,y)、および視差の平均値zを求める。
【００４３】
ステップＳ４２において、最適視点検出部１２は、ステップＳ４１で求められた各領域の視差値の平均値zに基づいて、最も手前側の領域と最も奥側の領域を検出する。
【００４４】
例えば、図３Ａの領域３１乃至３６が注目視点のカラー画像の特徴として抽出され、注目視点の視差画像が図６Ａに示した画像である場合、最適視点検出部１２は、最も手前側の領域として領域３５を検出する。また、最適視点検出部１２は、最も奥側の領域として領域３１および領域３３を検出する。
【００４５】
この場合のように、最も奥側の領域の数が複数である場合、最適視点検出部１２は、例えば、重心の座標(x,y)が画面の中央に近い方の領域３３を選択する。なお、最適視点検出部１２は、複数の最も奥側の領域のうちのいずれか一方を選択するのではなく、両方の領域を連結することもできる。最も手前側の領域の数が複数である場合も同様である。
【００４６】
ステップＳ４３において、最適視点検出部１２は、最も手前側の領域の面積Ｓが所定値より大きいかどうかを判定する。ステップＳ４３で最も手前側の領域の面積Ｓが所定値より大きいと判定された場合、ステップＳ４４において、最適視点検出部１２は、最も手前側の領域を主要な被写体の領域とする。
【００４７】
ステップＳ４５において、最適視点検出部１２は、主要な被写体の領域とされた最も手前側の領域の重心の座標(x,y)と、画面中央の座標(xｃ,yｃ)に基づいて、座標(x,y)と座標(xｃ,yｃ)の距離が小さいほど小さくなるように、評価値を算出する。その結果、主要な被写体の領域とされた最も手前側の領域が画面中央の近くに存在するカラー画像に対応する視点が、最適１視点とされる。例えば、図３Ａ乃至図３Ｃの領域３１乃至３６が３視点の多視点画像の特徴として抽出され、その多視点画像の視差画像が図６Ａ乃至図６Ｃに示した画像である場合、画面中央に比較的近い図３Ｃの領域３５を特徴とするカラー画像に対応する視点が最適１視点とされる。
【００４８】
一方、ステップＳ４３で最も手前側の領域の面積Ｓが所定値より大きくはないと判定された場合、ステップＳ４６において、最適視点検出部１２は、評価値を所定値とする。
【００４９】
図７は、図２のステップＳ１５の評価値算出処理の第２の例の詳細を説明するフローチャートである。なお、図７の評価値算出処理は、図２のステップＳ１２で注目視点のカラー画像に対してセグメンテーションが行われた場合の評価値算出処理である。
【００５０】
図７のステップＳ６１において、最適視点検出部１２は、図２のステップＳ１２でセグメンテーションの結果抽出される特徴としての領域と注目視点の視差画像とに基づいて、各領域の面積Ｓ、重心の座標(x,y)、および視差値の平均値zを求める。
【００５１】
ステップＳ６２において、最適視点検出部１２は、ステップＳ６１で求められた各領域の視差値の平均値zと重心の座標(x,y)に基づいて、最も奥側の領域に隣接する左右の領域を検出する。例えば、図３Ａの領域３１乃至３６が注目視点のカラー画像の特徴として抽出され、注目視点の視差画像が図６Ａに示した画像である場合、最適視点検出部１２は、図５のステップ４２の処理と同様に、最も奥側の領域として領域３３を検出する。そして、最適視点検出部１２は、領域３３の重心の座標(x,y)の左側の最も近い重心の座標(x,y)に対応する領域３２を、最も奥側の領域に隣接する左の領域として検出する。また、最適視点検出部１２は、領域３３の重心の座標(x,y)の右側の最も近い重心の座標(x,y)に対応する領域３４を、最も奥側の領域に隣接する右の領域として検出する。
【００５２】
ステップＳ６３において、最適視点検出部１２は、ステップＳ６２で検出された左右の領域の面積Ｓの比に基づいて、その比が予め設定された所定値に近いほど小さくなるように、評価値を算出する。その結果、最も奥側の領域の左右の領域の面積Ｓの比が予め設定された所定値に最も近いカラー画像に対応する視点が、最適１視点とされる。
【００５３】
図８は、図２のステップＳ１５の評価値算出処理の第３の例の詳細を説明するフローチャートである。なお、図８の評価値算出処理は、図２のステップＳ１２で注目視点のカラー画像に対して消失点の検出処理が行われた場合の評価値算出処理である。
【００５４】
図８のステップＳ７１において、最適視点検出部１２は、図２のステップＳ１２で消失点の検出処理の結果抽出される特徴としての消失点と、注目視点の視差画像とに基づいて、消失点の左側の画素の視差値の平均値と、消失点の右側の画素の視差値の平均値の比を求める。
【００５５】
例えば、図４Ａに示した消失点４１が抽出される場合、最適視点検出部１２は、その消失点４１の位置（xｄ,yｄ）を検出する。そして、最適視点検出部１２は、消失点４１の位置（xｄ,yｄ）と図６Ａに示した注目視点の視差画像に基づいて、消失点４１の左側の画素の視差値の平均値と右側の画素の視差値の平均値の比を求める。
【００５６】
ステップＳ７２において、最適視点検出部１２は、ステップＳ７１で検出された視差値の平均値の比に基づいて、その比が予め設定された所定値に近いほど小さくなるように、評価値を算出する。その結果、消失点の左側の画素の視差値の平均値と右側の画素の視差値の平均値の比が所定値に近いカラー画像に対応する視点が、最適１視点とされる。
【００５７】
以上のように、撮影装置１０は、多視点のカラー画像と多視点の視差画像を用いて、多視点のうちの最適視点を検出するので、視差等を考慮して、最適視点、即ち３Ｄ画像の最適な構図を検出することができる。従って、撮影装置１０は、最適視点に基づいて案内視点情報を表示することにより、被写体と背景との奥行き方向の距離感や、被写体の立体感等が最適であると推測される撮影構図での撮影をユーザに推薦することができる。
【００５８】
＜第２実施の形態＞
[画像処理装置の第２実施の形態の構成例]
図９は、本技術を適用した画像処理装置の第２実施の形態としてのコンテンツ編集装置の構成例を示すブロック図である。
【００５９】
図９に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００６０】
図９のコンテンツ編集装置５０の構成は、主に、撮影部１１が設けられない点、記録部５１、再生部５２、および入力部５５が新たに設けられている点、最適構図案内部１３、表示部１４の代わりに最適構図推薦部５３、表示部５４が設けられている点が図１の構成と異なる。図９のコンテンツ編集装置５０は、記録部５１に記録されている多視点画像と視差画像を再生し、最適視点を検出する。
【００６１】
具体的には、コンテンツ編集装置５０の記録部５１には、多視点画像と視差画像が記録されている。
【００６２】
再生部５２は、入力部５５から供給される最適視点の推薦の指示、最適視点の記録の指示、および多視点画像から２視点の３Ｄ画像への変換の指示に応じて、記録部５１に記録されている多視点画像と視差画像を読み出し、最適視点検出部１２に供給する。また、再生部５２は、入力部５５から供給される多視点画像から２視点の３Ｄ画像への変換の指示に応じて、記録部５１から読み出された多視点画像を最適構図推薦部５３に供給する。
【００６３】
最適構図推薦部５３は、出力部として機能し、入力部５５から供給される最適視点の推薦の指示に応じて、最適視点検出部１２により選択される最適視点に基づいて、最適視点を推薦するための推薦視点情報を生成し、表示部５４に供給する。また、最適構図推薦部５３は、入力部５５から供給される最適視点の記録の指示に応じて、記録部５１に最適視点を供給し、記録部５１に記録されている多視点画像に対応付けて記録させる。
【００６４】
さらに、最適構図推薦部５３は、入力部５５から供給される多視点画像から２視点の３Ｄ画像への変換の指示に応じて、再生部５２から供給される多視点画像のうちの最適視点のカラー画像を、変換後の２視点の３Ｄ画像として記録部５１に供給し、記録させる。なお、このとき、最適視点検出部１２で最適視点の検出に用いられた最適視点の視差画像が、最適視点のカラー画像とともに記録部５１に記録されるようにしてもよい。
【００６５】
表示部５４は、最適構図推薦部５３から供給される推薦視点情報を表示する。これにより、ポストプロダクション等を行うユーザが、最適視点を認識することができる。
【００６６】
なお、推薦視点情報としては、最適視点を表す情報であってもよいし、最適視点のうちの１視点のカラー画像や最適視点の両方のカラー画像であってもよい。また、表示部５４には、推薦視点情報としての最適視点を表す情報とともに、多視点画像が表示されるようにしてもよい。
【００６７】
入力部５５は、ユーザによる操作を受け付ける。入力部５５は、受け付けられた操作に応じて、最適視点の推薦の指示、最適視点の記録の指示、および多視点画像から２視点の３Ｄ画像への変換の指示などを再生部５２と最適構図推薦部５３に供給する。
【００６８】
以上のように、コンテンツ編集装置５０は、多視点のカラー画像と多視点の視差画像を用いて、多視点のうちの最適視点を検出するので、視差等を考慮して、最適視点、即ち３Ｄ画像の最適な構図を検出することができる。従って、コンテンツ編集装置５０は、最適視点に基づいて、推薦視点情報を表示したり、最適視点を記録したりすることにより、被写体と背景との奥行き方向の距離感や、被写体の立体感等が最適であると推測される構図をユーザに推薦することができる。また、コンテンツ編集装置５０は、最適視点に基づいて最適視点のカラー画像からなる３Ｄ画像を生成することにより、被写体と背景との奥行き方向の距離感や、被写体の立体感等が最適であると推測される構図の３Ｄ画像をユーザに提供することができる。
【００６９】
＜第３実施の形態＞
[画像処理装置の第３実施の形態の構成例]
図１０は、本技術を適用した画像処理装置の第３実施の形態としての表示制御装置の構成例を示すブロック図である。
【００７０】
図１０に示す構成のうち、図９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００７１】
図１０の表示制御装置７０の構成は、主に、最適構図推薦部５３、表示部５４の代わりに、最適構図表示制御部７１、表示部７２が設けられている点、および、入力部５５が設けられない点が図９の構成と異なる。図１０の表示制御装置７０は、最適視点のカラー画像を、表示部７２の略正面から鑑賞可能なように表示させる。
【００７２】
具体的には、表示制御装置７０の最適構図表示制御部７１は、最適視点検出部１２により選択される最適視点に基づいて、再生部５２により再生された多視点画像を表示するための表示情報を生成する。具体的には、最適構図表示制御部７１は、多視点画像のうちの最適視点のカラー画像を表示部７２の正面に位置するユーザから鑑賞可能なように表示するための表示情報を生成する。最適構図表示制御部７１は、生成された表示情報を表示部７２に供給する。
【００７３】
表示部７２は、最適構図表示制御部７１から供給される表示情報に基づいて、多視点の画像を、視点ごとに鑑賞可能な位置が異なるように表示する。これにより、表示部７２の略正面に位置するユーザは、最適視点のカラー画像を視点ごとに左右の各目で鑑賞することができ、その結果、３Ｄ視聴用のメガネを装着せずに３Ｄ画像を見ることができる。
【００７４】
なお、表示部７２で表示可能なカラー画像の視点数は３以上でなくてもよい。表示部７２で表示可能なカラー画像の視点数が１である場合、表示部７２は、最適視点のうちの１視点のカラー画像を表示する。また、表示部７２で表示可能なカラー画像の視点数が２である場合、表示部７２は、最適視点のカラー画像のみを表示する。
【００７５】
また、図１０の表示制御装置７０は、記録部５１に記録されている多視点画像を表示したが、テレビジョン放送等により送信されてくる多視点画像を表示するようにしてもよい。この場合、例えば、視差画像も多視点画像とともに送信されてくる。
【００７６】
さらに、図１０の最適構図表示制御部７１は、図１１に示すように構成することもできる。
【００７７】
図１１の最適構図表示制御部７１は、視聴状態検出部９１と表示位置調整部９２により構成され、ユーザの視聴環境に応じて最適視点のカラー画像の表示位置を変更する。
【００７８】
具体的には、最適構図表示制御部７１の視聴状態検出部９１は、図示せぬカメラ等を内蔵し、図１０の表示部７２による表示を鑑賞するユーザの画像を取得する。視聴状態検出部９１は、ユーザの画像を解析し、ユーザの人数、位置、顔の向き、および視線の方向の少なくとも１つを、ユーザの視聴状態として検出する。視聴状態検出部９１は、検出された視聴状態を表す視聴情報を生成し、表示位置調整部９２に供給する。
【００７９】
表示位置調整部９２は、視聴状態検出部９１から供給される視聴情報に基づいて、最適視点のカラー画像の鑑賞可能位置を決定する。例えば、表示位置調整部９２は、より多くのユーザが存在する位置を鑑賞可能位置に決定する。また、表示位置調整部９２は、より多くのユーザの視線の方向に対応する鑑賞位置を鑑賞可能位置に決定する。
【００８０】
表示位置調整部９２は、多視点画像のうちの最適視点のカラー画像を、決定された鑑賞可能位置にいるユーザから鑑賞可能なように表示するための表示情報を生成し、表示部７２に供給する。
【００８１】
以上のように、表示制御装置７０は、多視点のカラー画像と多視点の視差画像を用いて、多視点のうちの最適視点を検出するので、視差等を考慮して、最適視点、即ち３Ｄ画像の最適な構図を検出することができる。従って、表示制御装置７０は、最適視点に基づいて多視点画像を表示することにより、被写体と背景との奥行き方向の距離感や、被写体の立体感等が最適であると推測される構図の３Ｄ画像をユーザに推薦して表示することができる。
【００８２】
＜第４実施の形態＞
[画像処理装置の第４実施の形態の構成例]
図１２は、本技術を適用した画像処理装置の第４実施の形態としての撮影装置の構成例を示すブロック図である。
【００８３】
図１２に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００８４】
図１２の撮影装置１１０の構成は、主に、最適視点検出部１２の代わりに最適視点検出部１１１が設けられている点、および、新たに記憶部１１２が設けられている点が図１の構成と異なる。図１２の撮影装置１１０は、多視点画像、視差画像、および最適視点事前情報に基づいて、最適視点を検出する。
【００８５】
なお、最適視点事前情報とは、ユーザの意図する構図で撮影された２視点の３Ｄ画像と視差画像を用いて予め学習によりモデル化された、カラー画像の特徴と視差画像の関係を表す情報である。最適視点事前情報で視差画像との関係が表されるカラー画像の特徴は、最適視点検出部１１１で行われる、物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等と同様の処理により抽出されたものである。
【００８６】
また、ユーザの意図する構図で撮影された２視点の３Ｄ画像としては、より奥行き感が得られる３Ｄ画像、眼への負担を軽減することができる３Ｄ画像、フレーミングの技法において推奨される構図で撮影された３Ｄ画像などを用いることができる。
【００８７】
撮影装置１１０の最適視点検出部１１１は、撮影部１１から供給される多視点画像および視差画像、並びに記憶部１１２から読み出された最適視点事前情報を用いて、多視点画像の視点の中から最適視点を選択する。
【００８８】
具体的には、最適視点検出部１１１は、図１の最適視点検出部１２と同様に、多視点画像に対して、視点ごとに、物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等を行い、特徴を抽出する。そして、最適視点検出部１１１は、視点ごとに、抽出された特徴と視差画像の関係と、最適視点事前情報が表す関係とを比較することにより、評価値を算出する。最適視点検出部１１１は、図１の最適視点検出部１２と同様に、多視点画像のうちの評価値が最小となるカラー画像に対応する視点を最適１視点とし、最適１視点と、最適１視点と所定の距離だけ離れた１視点の２視点を最適視点とする。最適視点検出部１１１は、最適視点検出部１２と同様に、最適視点を最適構図案内部１３に供給する。
【００８９】
記憶部１１２は、最適視点事前情報を記憶する。
【００９０】
[撮影装置の処理の説明]
図１３は、図１２の撮影装置１１０の最適構図案内処理のフローチャートである。この最適構図案内処理は、例えば、撮影部１１から多視点画像と視差画像が最適視点検出部１１１に入力されたとき、開始される。
【００９１】
図１３のステップＳ１１１乃至Ｓ１１４の処理は、図２のステップＳ１１乃至Ｓ１４の処理と同様であるので、説明は省略する。
【００９２】
ステップＳ１１５において、最適視点検出部１１１は、注目視点のカラー画像の特徴および視差画像並びに記憶部１１２から読み出された最適視点事前情報に基づいて、評価値を算出する。具体的には、最適視点検出部１１１は、注目視点のカラー画像の特徴と視差画像の関係が、最適視点事前情報が表す関係に近似しているほど小さくなるように、評価値を算出する。
【００９３】
ステップＳ１１６乃至Ｓ１２３の処理は、図２のステップＳ１６乃至Ｓ２３の処理と同様であるので、説明は省略する。
【００９４】
なお、図示は省略するが、図９のコンテンツ編集装置５０や図１０の表示制御装置７０においても、最適視点検出部１２の代わりに図１２の最適視点検出部１１１を設け、新たに記憶部１１２を設けることができる。
【００９５】
＜第５実施の形態＞
[画像処理装置の第５実施の形態の構成例]
図１４は、本技術を適用した画像処理装置の第５実施の形態としての撮影装置の構成例を示すブロック図である。
【００９６】
図１４に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００９７】
図１４の撮影装置１３０の構成は、主に、新たに動きベクトル検出部１３１が設けられている点、および、最適視点検出部１２の代わりに最適視点検出部１３２が設けられている点が図１の構成と異なる。図１４の撮影装置１３０は、多視点画像の動きベクトルを検出し、その動きベクトル、多視点画像、および視差画像に基づいて、最適視点を検出する。
【００９８】
具体的には、撮影装置１３０の動きベクトル検出部１３１は、撮影部１１により取得されるフレーム単位の多視点画像のフレーム間の動きベクトルを検出する。このとき、動きベクトル検出部１３１は、多視点画像を構成する全ての視点のカラー画像の動きベクトルを検出してもよいし、所定の視点のカラー画像の動きベクトルのみを検出するようにしてもよい。動きベクトル検出部１３１が所定の視点のカラー画像の動きベクトルのみを検出する場合には、最適視点検出部１３２が、その動きベクトルを用いて他の視点の動きベクトルを生成する。動きベクトル検出部１３１は、検出された動きベクトルを最適視点検出部１３２に供給する。
【００９９】
最適視点検出部１３２は、撮影部１１から供給される多視点画像および視差画像、並びに動きベクトル検出部１３１から供給される動きベクトルを用いて、多視点画像の視点の中から最適視点を選択する。
【０１００】
具体的には、最適視点検出部１３２は、多視点画像に対して、視点ごとに、動きベクトルを用いて、物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等を行い、特徴を抽出する。なお、動きベクトルを用いたセグメンテーションの詳細は、例えば、Michael M. Chang, A. Murat Tekalp, M. Ibrahim Sezan, “Simultaneous motion estimation and segmentation”, Image Processing, IEEE Transactions on, 1997に記載されている。最適視点検出部１３２は、動きベクトルを用いて特徴を抽出することにより、より精度良く特徴を抽出することができる。
【０１０１】
また、最適視点検出部１３２は、図１の最適視点検出部１２と同様に、抽出された多視点画像の特徴と視差画像に基づいて、視点ごとに、多視点画像の評価値を算出する。そして、最適視点検出部１３２は、最適視点検出部１２と同様に、多視点画像のうちの評価値が最小となるカラー画像に対応する視点を最適視点のうちの最適１視点とし、最適１視点と、最適１視点と所定の距離だけ離れた１視点の２視点を最適視点とする。最適視点検出部１３２は、最適視点検出部１２と同様に、最適視点を最適構図案内部１３に供給する。
【０１０２】
[撮影装置の処理の説明]
図１５は、図１４の撮影装置１３０の最適構図案内処理のフローチャートである。この最適構図案内処理は、例えば、撮影部１１から多視点画像が動きベクトル検出部１３１と最適視点検出部１３２に入力され、視差画像が最適視点検出部１３２に入力されたとき、開始される。
【０１０３】
図１５のステップＳ１４０において、撮影装置１３０の動きベクトル検出部１３１は、撮影部１１から入力される多視点画像のフレーム間の動きベクトルを検出し、最適視点検出部１３２に供給する。
【０１０４】
ステップＳ１４１において、最適視点検出部１３２は、多視点画像の視点のうちの、まだ注目視点とされていない１つの視点を注目視点とする。
【０１０５】
ステップＳ１４２において、最適視点検出部１３２は、注目視点のカラー画像の動きベクトルを用いて、注目視点のカラー画像の特徴を抽出する。具体的には、最適視点検出部１３２は、注目視点のカラー画像の動きベクトルを用いて、注目視点のカラー画像に対して、物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等を行い、注目視点のカラー画像の特徴を抽出する。
【０１０６】
ステップＳ１４３乃至Ｓ１５３の処理は、図２のステップＳ１３乃至Ｓ２３の処理と同様であるので、説明は省略する。
【０１０７】
なお、図１４の撮影装置１３０は、動きベクトルを用いてカラー画像の特徴を抽出したが、動きベクトルを評価値の算出に用いるようにしてもよい。この場合、例えば、動きベクトルが大きく、視差値がより手前側の位置に対応する値である領域が、画面中央に近いほど小さくなるように評価値が算出される。
【０１０８】
また、図示は省略するが、図９のコンテンツ編集装置５０や図１０の表示制御装置７０においても、最適視点検出部１２の代わりに図１４の最適視点検出部１３２を設け、新たに動きベクトル検出部１３１を設けることができる。
【０１０９】
＜第６実施の形態＞
[画像処理装置の第６実施の形態の構成例]
図１６は、本技術を適用した画像処理装置の第６実施の形態としての撮影装置の構成例を示すブロック図である。
【０１１０】
図１６に示す構成のうち、図１、図１２、および図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１１】
図１６の撮影装置１５０は、最適視点検出部１２の代わりに最適視点検出部１５１が設けられ、図１２の記憶部１１２と図１４の動きベクトル検出部１３１が設けられている点が図１の構成と異なる。即ち、図１６の撮影装置１５０は、図１の撮影装置１０、図１２の撮影装置１１０、および図１４の撮影装置１３０を組み合わせたものである。
【０１１２】
具体的には、撮影装置１５０の最適視点検出部１５１は、撮影部１１からの多視点画像および視差画像、記憶部１１２からの最適視点事前情報、並びに動きベクトル検出部１３１からの動きベクトルを用いて、多視点画像の視点の中から最適視点を選択する。
【０１１３】
より詳細には、最適視点検出部１５１は、図１４の最適視点検出部１３２と同様に、多視点画像に対して、視点ごとに、動きベクトルを用いて、物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等を行い、特徴を抽出する。そして、最適視点検出部１５１は、図１２の最適視点検出部１１１と同様に、抽出された特徴と視差画像の関係と、最適視点事前情報が表す関係とを比較することにより、評価値を算出する。なお、この最適視点事前情報で視差画像との関係が表されるカラー画像の特徴は、最適視点検出部１５１で行われる、動きベクトルを用いた物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等と同様の処理により抽出されたものである。
【０１１４】
最適視点検出部１５１は、図１の最適視点検出部１２と同様に、多視点画像のうちの評価値が最小となるカラー画像に対応する視点を最適視点のうちの最適１視点とし、最適１視点と、最適１視点と所定の距離だけ離れた１視点の２視点を最適視点とする。最適視点検出部１５１は、最適視点検出部１２と同様に、最適視点を最適構図案内部１３に供給する。
【０１１５】
[撮影装置の処理の説明]
図１７は、図１６の撮影装置１５０の最適構図案内処理のフローチャートである。この最適構図案内処理は、例えば、撮影部１１から多視点画像が動きベクトル検出部１３１と最適視点検出部１５１に入力され、視差画像が最適視点検出部１５１に入力されたとき、開始される。
【０１１６】
図１７のステップＳ１６０乃至Ｓ１６４の処理は、図１５のステップＳ１４０乃至Ｓ１４４の処理と同様であるので、説明は省略する。
【０１１７】
ステップＳ１６５乃至Ｓ１７３の処理は、図１３のＳ１１５乃至Ｓ１２３の処理と同様であるので、説明は省略する。
【０１１８】
なお、図１６の撮影装置１５０は、動きベクトルを用いてセグメンテーションを行うことによりカラー画像の特徴として領域を抽出するのではなく、セグメンテーションにより抽出される各領域の代表の動きベクトルをカラー画像の特徴として抽出するようにしてもよい。この場合、最適視点事前情報で視差画像との関係が表されるカラー画像の特徴も、セグメンテーションにより抽出される各領域の代表の動きベクトルとなる。
【０１１９】
また、図示は省略するが、図９のコンテンツ編集装置５０や図１０の表示制御装置７０においても、最適視点検出部１２の代わりに図１６の最適視点検出部１５１を設け、新たに記憶部１１２と動きベクトル検出部１３１を設けることができる。
【０１２０】
＜第７実施の形態＞
[画像処理装置の第７実施の形態の構成例]
図１８は、本技術を適用した画像処理装置の第７実施の形態としての撮影装置の構成例を示すブロック図である。
【０１２１】
図１８に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１２２】
図１８の撮影装置１７０は、新たに時間方向安定化処理部１７１が設けられている点が図１の構成と異なる。撮影装置１７０は、検出された最適視点を時間方向に安定化させる。
【０１２３】
具体的には、撮影装置１７０の時間方向安定化処理部１７１は、最適視点検出部１２により選択された最適視点のうちの最適１視点に対して安定化処理を行う。より詳細には、時間方向安定化処理部１７１は、最適１視点に付与される視点に固有のＩＤの重み付け平均値を求める。なお、各視点に付与されるＩＤは、隣接する視点のＩＤが連続する整数となるように付与される。
【０１２４】
時間方向安定化処理部１７１は、求められた重み付け平均値に近似する整数がＩＤとして付与された最適１視点を、時間方向安定化処理後の最適１視点とする。そして、時間方向安定化処理部１７１は、時間方向安定化処理後の最適１視点と、その最適１視点と所定の距離だけ離れた１視点の２視点を、時間方向安定化処理後の最適視点とする。そして、時間方向安定化処理部１７１は、時間方向安定化処理後の最適視点を最適構図案内部１３に供給する。
【０１２５】
なお、ここでは、時間方向安定化処理部１７１が、最適視点のうちの最適１視点に対してのみ安定化処理を行うものとするが、最適視点の両視点に対して安定化処理を行うようにしてもよい。
【０１２６】
[撮影装置の処理の説明]
図１９は、図１８の撮影装置１７０の最適構図案内処理を説明するフローチャートである。この最適構図案内処理は、例えば、所定数フレームごとに行われる。
【０１２７】
図１９のステップＳ１８１において、撮影装置１７０の最適視点検出部１２は、撮影部１１から１フレーム分の多視点画像と視差画像を取得する。
【０１２８】
ステップＳ１８２において、最適視点検出部１２は、取得された１時刻分の多視点画像と視差画像を用いて最適視点を選択し、出力する。具体的には、最適視点検出部１２は、図２のステップＳ１１乃至Ｓ２１の処理を行う。
【０１２９】
ステップＳ１８３において、時間方向安定化処理部１７１は、ステップＳ１８２で出力された最適視点のうちの最適１視点のＩＤを所定の重み付け係数で重み付けする。
【０１３０】
ステップＳ１８４において、時間方向安定化処理部１７１は、ステップＳ１８３で重み付けされた最適１視点のＩＤと、前回のステップＳ１８５で保持された積算値と加算することにより、最適１視点のＩＤを積算し、積算値を求める。なお、まだステップＳ１８５の処理が行われておらず、積算値が保持されていない場合には、ステップＳ１８３で重み付けされた最適１視点のＩＤをそのまま積算値とする。
【０１３１】
ステップＳ１８５において、時間方向安定化処理部１７１は、ステップＳ１８４で求められた積算値を保持する。
【０１３２】
ステップＳ１８６において、時間方向安定化処理部１７１は、所定数フレーム分の重み付けされた最適１視点のＩＤを積算したかどうかを判定する。ステップＳ１８６でまだ所定数フレーム分の最適１視点を積算していないと判定された場合、処理はステップＳ１８１に戻り、所定数フレーム分の重み付けされた最適１視点のＩＤが積算されるまで、ステップＳ１８１乃至Ｓ１８６の処理が行われる。
【０１３３】
一方、ステップＳ１８６で所定数フレーム分の重み付けされた最適１視点のＩＤを積算したと判定された場合、処理はステップＳ１８７に進む。ステップＳ１８７において、時間方向安定化処理部１７１は、保持されている積算値の平均値に近似する整数がＩＤとして付与される視点と、その視点と所定の距離だけ離れた１視点の２視点を、時間方向安定化処理後の最適視点に決定する。時間方向安定化処理部１７１は、保持している積算値をクリアし、時間方向安定化処理後の最適視点を最適構図案内部１３に供給する。
【０１３４】
ステップＳ１８８において、最適構図案内部１３は、時間方向安定化処理部１７１から供給される最適視点と、撮影部１１から供給される視点位置情報とに基づいて、視点位置情報が表す２視点の位置から最適視点までの距離を移動量として算出する。そして、最適構図案内部１３は、算出された移動量に基づいて案内視点情報を生成し、表示部１４に供給する。
【０１３５】
ステップＳ１８９において、表示部１４は、図２のステップＳ２３の処理と同様に、最適構図案内部１３から供給される案内視点情報を表示し、処理を終了する。
【０１３６】
なお、図示は省略するが、図９のコンテンツ編集装置５０、図１０の表示制御装置７０、図１２の撮影装置１１０、図１４の撮影装置１３０、および図１６の撮影装置１５０においても、時間方向安定化処理部１７１を設けることができる。
【０１３７】
図２０は、図１２の撮影装置１１０に時間方向安定化処理部１７１が設けられた撮影装置１９０の構成例を示すブロック図であり、図２１は、図１４の撮影装置１３０に時間方向安定化処理部１７１が設けられた撮影装置２００の構成例を示すブロック図である。また、図２２は、図１６の撮影装置１５０に時間方向安定化処理部１７１が設けられた撮影装置２１０の構成例を示すブロック図である。
【０１３８】
＜第８実施の形態＞
[画像処理装置の第８実施の形態の構成例]
図２３は、本技術を適用した画像処理装置の第８実施の形態としての撮影装置の構成例を示すブロック図である。
【０１３９】
図２３に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１４０】
図２３の撮影装置２２０は、撮影部１１の代わりに撮影部２２１が設けられている点、および、新たに視差検出部２２２が設けられている点が図１の構成と異なる。撮影装置２２０は、多視点画像から視差画像を生成する。
【０１４１】
具体的には、撮影装置２２０の撮影部２２１は、図１の撮影部１１と同様に、３以上の視点である多視点のフレーム単位のカラー画像を２視点ずつ撮影し、多視点のカラー画像を多視点画像として最適視点検出部１２と視差検出部２２２に供給する。また、撮影部２２１は、撮影部１１と同様に、現在の撮影部１１の位置に対応する２視点の位置を表す視点位置情報を、最適構図案内部１３に供給する。
【０１４２】
視差検出部２２２は、撮影部２２１から供給される多視点画像から、所定の視点の視差画像を生成する。具体的には、視差検出部２２２は、多視点画像のうちの基点となる視点のカラー画像と、基点以外の所定の視点のカラー画像を用いて、視点ごとにブロックマッチング等を行う。これにより、視差検出部２２２は、基点以外の所定の視点のカラー画像の各画素に対応する基点となる視点のカラー画像の画素を検出する。そして、視差検出部２２２は、基点以外の所定の視点のカラー画像の各画素と、その画素に対応する基点となる視点のカラー画像の画素の画面上の位置の水平方向の距離を表す視差値を求め、その視差値から視差画像を生成する。視差検出部２２２は、生成された視差画像を最適視点検出部１２に供給する。
【０１４３】
なお、図示は省略するが、図９のコンテンツ編集装置５０、図１０の表示制御装置７０、図１２の撮影装置１１０、図１４の撮影装置１３０、および図１６の撮影装置１５０においても、撮影部１１の代わりに撮影部２２１を設け、新たに視差検出部２２２を設けることができる。
【０１４４】
図２４は、図１２の撮影装置１１０において、撮影部１１の代わりに撮影部２２１が設けられ、新たに視差検出部２２２が設けられた撮影装置２３０の構成例を示すブロック図である。図２５は、図１４の撮影装置１３０において、撮影部１１の代わりに撮影部２２１が設けられ、新たに視差検出部２２２が設けられた撮影装置２４０の構成例を示すブロック図である。また、図２６は、図１６の撮影装置１５０において、撮影部１１の代わりに撮影部２２１が設けられ、新たに視差検出部２２２が設けられた撮影装置２５０の構成例を示すブロック図である。
【０１４５】
また、図１８の撮影装置１７０、図２０の撮影装置１９０、図２１の撮影装置２００、図２２の撮影装置２１０においても、撮影部１１の代わりに撮影部２２１を設け、新たに視差検出部２２２を設けることができる。
【０１４６】
図２７は、図１８の撮影装置１７０において、撮影部１１の代わりに撮影部２２１が設けられ、新たに視差検出部２２２が設けられた撮影装置２６０の構成例を示すブロック図である。図２８は、図２０の撮影装置１９０において、撮影部１１の代わりに撮影部２２１が設けられ、新たに視差検出部２２２が設けられた撮影装置２７０の構成例を示すブロック図である。
【０１４７】
また、図２９は、図２１の撮影装置２００において、撮影部１１の代わりに撮影部２２１が設けられ、新たに視差検出部２２２が設けられた撮影装置２８０の構成例を示すブロック図である。さらに、図３０は、図２２の撮影装置２１０において、撮影部１１の代わりに撮影部２２１が設けられ、新たに視差検出部２２２が設けられた撮影装置２９０の構成例を示すブロック図である。
【０１４８】
＜第９実施の形態＞
[画像処理装置の第９実施の形態の構成例]
図３１は、本技術を適用した画像処理装置の第９実施の形態としての撮影装置の構成例を示すブロック図である。
【０１４９】
図３１に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１５０】
図３１の撮影装置３００は、撮影部１１、最適構図案内部１３の代わりに、撮影部３０１、最適構図案内部３０３が設けられている点、および、新たに画像変換部３０２が設けられている点が図１の構成と異なる。撮影装置３００は、所定の１視点のカラー画像を撮影し、その１視点のカラー画像から多視点画像を生成する。
【０１５１】
具体的には、撮影部３０１は、所定の１視点のフレーム単位のカラー画像を撮影する。また、撮影部３０１は、撮影時に、所定の１視点のカラー画像に対応する視差画像を取得する。撮影部３０１は、所定の１視点のカラー画像を１視点画像として画像変換部３０２に供給するとともに、所定の１視点の視差画像を最適視点検出部１２に供給する。また、撮影部３０１は、現在の撮影部３０１の位置に対応する１視点の位置を表す１視点位置情報を、最適構図案内部３０３に供給する。
【０１５２】
画像変換部３０２は、撮影部３０１から供給される１視点画像を、生成する多視点画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、多視点画像を生成する。画像変換部３０２は、生成された多視点画像を最適視点検出部１２に供給する。
【０１５３】
最適構図案内部３０３は、最適視点検出部１２から供給される最適視点と、撮影部３０１から供給される１視点位置情報とに基づいて、視点位置情報が表す１視点の位置から最適視点のそれぞれまでの移動量を算出する。最適構図案内部３０３は、算出された移動量に基づいて、最適視点のそれぞれの３Ｄ画像が撮影可能な位置に撮影部３０１を案内するための案内視点情報を生成し、表示部１４に供給する。
【０１５４】
なお、図示は省略するが、図９のコンテンツ編集装置５０、図１０の表示制御装置７０、図１２の撮影装置１１０、図１４の撮影装置１３０、図１６の撮影装置１５０、図１８の撮影装置１７０、図２０の撮影装置１９０、図２１の撮影装置２００、および図２２の撮影装置２１０においても、撮影部１１の代わりに撮影部３０１を設け、最適構図案内部１３の代わりに最適構図案内部３０３を設け、新たに画像変換部３０２を設けることができる。
【０１５５】
[画像変換部の第１の構成例]
図３２は、図３１の画像変換部３０２の第１の構成例を示すブロック図である。
【０１５６】
図３２の画像変換部３０２は、２Ｄ/３Ｄ変換部３１１と２視点/多視点変換部３１２により構成される。
【０１５７】
画像変換部３０２の２Ｄ/３Ｄ変換部３１１は、撮影部３０１から供給される１視点画像を、生成する２視点の３Ｄ画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、２視点の３Ｄ画像を生成する。２Ｄ/３Ｄ変換部３１１は、生成された２視点の３Ｄ画像を２視点画像として２視点/多視点変換部３１２に供給する。
【０１５８】
２視点/多視点変換部３１２は、２Ｄ/３Ｄ変換部３１１から供給される２視点画像のいずれか一方を、生成する多視点画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、多視点画像を生成する。２視点/多視点変換部３１２は、生成された多視点画像を最適視点検出部１２（図３１）に供給する。
【０１５９】
[画像変換部の第２の構成例]
図３３は、図３１の画像変換部３０２の第２の構成例を示すブロック図である。
【０１６０】
図３３の画像変換部３０２は、１視点/多視点変換部３２１により構成される。
【０１６１】
画像変換部３０２の１視点/多視点変換部３２１は、撮影部３０１から供給される１視点画像を、生成する多視点画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、多視点画像を生成する。１視点/多視点変換部３２１は、生成された多視点画像を最適視点検出部１２（図３１）に供給する。
【０１６２】
＜第１０実施の形態＞
[画像処理装置の第１０実施の形態の構成例]
図３４は、本技術を適用した画像処理装置の第１０実施の形態としての撮影装置の構成例を示すブロック図である。
【０１６３】
図３４に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１６４】
図３４の撮影装置３４０は、撮影部１１の代わりに撮影部３４１が設けられている点、および、新たに画像変換部３４２が設けられている点が図１の構成と異なる。撮影装置３４０は、所定の２視点のカラー画像を撮影し、その２視点のカラー画像から多視点画像を生成する。
【０１６５】
具体的には、撮影装置３４０の撮影部３４１は、所定の２視点のフレーム単位のカラー画像を撮影する。また、撮影部３４１は、撮影時に、所定の視点のカラー画像に対応する視差画像を取得する。撮影部３４１は、所定の２視点のカラー画像を２視点画像として画像変換部３４２に供給するとともに、所定の視点の視差画像を最適視点検出部１２に供給する。また、撮影部３４１は、図１の撮影部１１と同様に、視点位置情報を最適構図案内部１３に供給する。
【０１６６】
画像変換部３４２は、撮影部３４１から供給される２視点画像のうちのいずれか一方のカラー画像を、生成する多視点画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、多視点画像を生成する。画像変換部３４２は、生成された多視点画像を最適視点検出部１２に供給する。
【０１６７】
なお、図示は省略するが、図９のコンテンツ編集装置５０、図１０の表示制御装置７０、図１２の撮影装置１１０、図１４の撮影装置１３０、図１６の撮影装置１５０、図１８の撮影装置１７０、図２０の撮影装置１９０、図２１の撮影装置２００、および図２２の撮影装置２１０においても、撮影部１１の代わりに撮影部３４１を設け、新たに画像変換部３４２を設けることができる。
【０１６８】
＜第１１実施の形態＞
[画像処理装置の第１１実施の形態の構成例]
図３５は、本技術を適用した画像処理装置の第１１実施の形態としての撮影装置の構成例を示すブロック図である。
【０１６９】
図３５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１７０】
図３５の撮影装置３６０は、撮影部１１の代わりに撮影部３６１が設けられている点、および、新たに画像変換部３６２が設けられている点が図１の構成と異なる。撮影装置３６０は、多視点のカラー画像を撮影し、その多視点のカラー画像からより多い視点の多視点画像を生成する。
【０１７１】
具体的には、撮影装置３６０の撮影部３６１は、多視点のフレーム単位のカラー画像を撮影する。また、撮影部３６１は、撮影時に、所定の視点のカラー画像に対応する視差画像を取得する。撮影部３６１は、多視点のカラー画像を画像変換部３６２に供給するとともに、所定の視点の視差画像を最適視点検出部１２に供給する。また、撮影部３６１は、図１の撮影部１１と同様に、視点位置情報を最適構図案内部１３に供給する。
【０１７２】
画像変換部３６２は、撮影部３６１から供給される多視点のカラー画像のうちの１つのカラー画像を、生成する多視点画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトする。これにより、画像変換部３６２は、多視点のカラー画像より多い視点の多視点画像を生成する。画像変換部３６２は、生成された多視点画像を最適視点検出部１２に供給する。
【０１７３】
なお、図示は省略するが、図９のコンテンツ編集装置５０、図１０の表示制御装置７０、図１２の撮影装置１１０、図１４の撮影装置１３０、図１６の撮影装置１５０、図１８の撮影装置１７０、図２０の撮影装置１９０、図２１の撮影装置２００、および図２２の撮影装置２１０においても、撮影部１１の代わりに撮影部３６１を設け、新たに画像変換部３６２を設けることができる。
【０１７４】
＜第１２実施の形態＞
[画像処理装置の第１２実施の形態の構成例]
図３６は、本技術を適用した画像処理装置の第１２実施の形態としての撮影装置の構成例を示すブロック図である。
【０１７５】
図３６に示す構成のうち、図３１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１７６】
図３６の撮影装置３７０は、撮影部３０１の代わりに撮影部３７１が設けられている点、および、新たに視差検出部３７２が設けられている点が図３１の構成と異なる。撮影装置３７０は、１視点画像に対応する画像から視差画像を生成する。
【０１７７】
具体的には、撮影部３７１は、所定の１視点のカラー画像を撮影し、１視点画像として画像変換部３０２に供給する。また、撮影部３７１は、図３１の撮影部３０１と同様に、１視点位置情報を、最適構図案内部３０３に供給する。
【０１７８】
視差検出部３７２は、画像変換部３０２で得られる１視点画像に対応する画像から、所定の視点の視差画像を生成し、最適視点検出部１２に供給する。
【０１７９】
具体的には、画像変換部３０２の構成が、図３２で示した構成である場合、視差検出部３７２は、以下のようにして視差画像を生成することができる。
【０１８０】
例えば、視差検出部３７２は、図３７に示すように、画像変換部３０２に入力される１視点画像を取得し、その１視点画像の視点の視差画像を生成することができる。具体的には、視差検出部３７２は、１視点画像のボケ度合い、動き量の大きさ、被写体の大きさ等により、１視点画像の各画素の視差値を検出して視差画像を生成する。例えば、１視点画像のボケ度合いが大きい画素は、奥行方向の位置が奥側であると判断されて視差値が決定され、動き量が大きい画素は、奥行方向の位置が手前側であると判断されて視差値が決定される。
【０１８１】
また、視差検出部３７２は、図３８に示すように、２Ｄ/３Ｄ変換部３１１における各画素のシフト量を表す画像等の中間画像を取得し、１視点画像の視点または２視点画像の２視点のうちの一方の視点を基点とした所定の視点の視差画像を生成することができる。
【０１８２】
また、視差検出部３７２は、図３９に示すように、２Ｄ/３Ｄ変換部３１１から出力される２視点画像を取得し、２視点画像の２視点のうちの一方の視点を基準とした所定の視点の視差画像を生成することができる。また、視差検出部３７２は、図４０に示すように、２視点/多視点変換部３１２における各画素のシフト量を表す画像等の中間画像を取得し、２視点画像の２視点または多視点画像の多視点のうちの１つの視点を基点とした所定の視点の視差画像を生成することができる。
【０１８３】
また、視差検出部３７２は、図４１に示すように、２視点/多視点変換部３１２から出力される多視点画像を取得し、多視点画像の多視点のうちの１つの視点を基準とした所定の視点の視差画像を生成することができる。
【０１８４】
また、画像変換部３０２の構成が、図３３で示した構成である場合、視差検出部３７２は、以下のようにして視差画像を生成することができる。
【０１８５】
例えば、視差検出部３７２は、図４２に示すように、１視点/多視点変換部３２１に入力される１視点画像を取得し、その1視点画像の視点の視差画像を生成することができる。また、視差検出部３７２は、図４３に示すように、１視点/多視点変換部３２１における各画素のシフト量を表す画像等の中間画像を取得し、１視点画像の視点または多視点画像の多視点のうちの１つの視点を基点とした所定の視点の視差画像を生成することができる。さらに、視差検出部３７２は、図４４に示すように、１視点/多視点変換部３２１から出力される多視点画像を取得し、多視点画像の多視点のうちの１つの視点を基準とした所定の視点の視差画像を生成することができる。
【０１８６】
なお、図示は省略するが、図９のコンテンツ編集装置５０、図１０の表示制御装置７０、図１２の撮影装置１１０、図１４の撮影装置１３０、図１６の撮影装置１５０、図１８の撮影装置１７０、図２０の撮影装置１９０、図２１の撮影装置２００、および図２２の撮影装置２１０においても、撮影部１１の代わりに撮影部３７１を設け、新たに画像変換部３０２と視差検出部３７２を設けることができる。
【０１８７】
＜第１３実施の形態＞
[画像処理装置の第１３実施の形態の構成例]
図４５は、本技術を適用した画像処理装置の第１３実施の形態としての撮影装置の構成例を示すブロック図である。
【０１８８】
図４５に示す構成のうち、図３４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１８９】
図４５の撮影装置３９０は、撮影部３４１の代わりに撮影部３９１が設けられている点、および、新たに視差検出部３９２が設けられている点が図３４の構成と異なる。撮影装置３９０は、２視点画像に対応する画像から視差画像を生成する。
【０１９０】
具体的には、撮影部３９１は、所定の２視点のカラー画像を撮影し、２視点画像として画像変換部３４２に供給する。また、撮影部３９１は、視点位置情報を最適構図案内部１３に供給する。
【０１９１】
視差検出部３９２は、画像変換部３４２で得られる２視点画像に対応する画像から、所定の視点の視差画像を生成し、最適視点検出部１２に供給する。
【０１９２】
具体的には、視差検出部３９２は、画像変換部３４２に入力される２視点画像を取得し、その２視点画像の２視点のうちの一方の視点を基点とした所定の視点の視差画像を生成することができる。また、視差検出部３９２は、画像変換部３４２における各画素のシフト量を表す画像等の中間画像を取得し、２視点画像の２視点または多視点画像の多視点のうちの１つの視点を基点とした所定の視点の視差画像を生成することができる。さらに、視差検出部３９２は、画像変換部３４２から出力される多視点画像を取得し、その多視点画像の多視点のうちの１つの視点を基点とした所定の視点の視差画像を生成することができる。
【０１９３】
なお、図示は省略するが、図９のコンテンツ編集装置５０、図１０の表示制御装置７０、図１２の撮影装置１１０、図１４の撮影装置１３０、図１６の撮影装置１５０、図１８の撮影装置１７０、図２０の撮影装置１９０、図２１の撮影装置２００、および図２２の撮影装置２１０においても、撮影部１１の代わりに撮影部３９１を設け、新たに画像変換部３４２と視差検出部３９２を設けることができる。
【０１９４】
＜第１４実施の形態＞
[画像処理装置の第１４実施の形態の構成例]
図４６は、本技術を適用した画像処理装置の第１４実施の形態としての撮影装置の構成例を示すブロック図である。
【０１９５】
図４６に示す構成のうち、図３５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１９６】
図４６の撮影装置４１０は、撮影部３６１の代わりに撮影部４１１が設けられている点、および、新たに視差検出部４１２が設けられている点が図３５の構成と異なる。撮影装置４１０は、多視点のカラー画像に対応する画像から視差画像を生成する。
【０１９７】
具体的には、撮影部４１１は、多視点のカラー画像を撮影して画像変換部３６２に供給する。また、撮影部４１１は、視点位置情報を最適構図案内部１３に供給する。
【０１９８】
視差検出部４１２は、画像変換部３６２で得られる多視点のカラー画像に対応する画像から、所定の視点の視差画像を生成し、最適視点検出部１２に供給する。
【０１９９】
具体的には、視差検出部４１２は、画像変換部３６２に入力される多視点のカラー画像を取得し、その多視点のカラー画像の多視点のうちの１つの視点を基点とした所定の視点の視差画像を生成することができる。また、視差検出部４１２は、画像変換部３６２における各画素のシフト量を表す画像等の中間画像を取得し、多視点のカラー画像の多視点または多視点画像の多視点のうちの１つの視点を基点とした所定の視点の視差画像を生成することができる。さらに、視差検出部４１２は、画像変換部３６２から出力される多視点画像を取得し、その多視点画像の多視点のうちの１つの視点を基点とした所定の視点の視差画像を生成することができる。
【０２００】
なお、図示は省略するが、図９のコンテンツ編集装置５０、図１０の表示制御装置７０、図１２の撮影装置１１０、図１４の撮影装置１３０、図１６の撮影装置１５０、図１８の撮影装置１７０、図２０の撮影装置１９０、図２１の撮影装置２００、および図２２の撮影装置２１０においても、撮影部１１の代わりに撮影部４１１を設け、新たに画像変換部３６２と視差検出部４１２を設けることができる。
【０２０１】
なお、本技術を適用した画像処理装置の一実施の形態としての撮影装置は、デジタルカメラやカムコーダ、業務用ビデオカメラ、Webカメラ、携帯電話やゲーム機器、自動車等に搭載されたカメラ、レンズアレイとイメージセンサを組み合わせた装置等に適用することができる。
【０２０２】
また、本技術を適用した画像処理装置の一実施の形態としてのコンテンツ編集装置は、３Ｄ画像用の編集アプリケーションを実行するパーソナルコンピュータ、DVD(Digital Versatile Disc)レコーダ、BD（Blu-Ray（登録商標） Disc）レコーダ、DVDプレイヤ、BDプレイヤ、ゲーム機器、ポストプロダクション用のコンテンツ編集機等に適用することができる。
【０２０３】
さらに、本技術を適用した画像処理装置の一実施の形態としての表示制御装置は、テレビジョン受像機、パーソナルコンピュータ、デジタルカメラ、カムコーダ、携帯電話、音楽プレイヤ、電子ペーパ、車載用機器、ゲーム機器等に適用することができる。
【０２０４】
また、多視点画像の特徴は、多視点画像に対して、物体認識処理、セグメンテーション、および水平線や消失点等の幾何情報の検出処理のうちの２以上を行うことにより抽出されるようにしてもよい。
【０２０５】
さらに、上述した最適構図案内処理では、注目視点のカラー画像と視差画像に基づいて最適１視点が選択され、その最適１視点から最適視点が決定されたが、注目視点と、その注目視点と所定の距離だけ離れた視点のカラー画像により構成される３Ｄ画像に基づいて、最適視点を選択するようにしてもよい。この場合、注目視点と、その注目視点と所定の距離だけ離れた視点のカラー画像を用いて、注目視点に対応する３Ｄ画像のDepth Mapが生成され、注目視点の視差画像の代わりに用いられる。即ち、注目視点に対応する３Ｄ画像とDepth Mapを用いて最適視点が選択される。これにより、より最適な２視点を最適視点として選択することができる。
【０２０６】
また、上述した多視点は、水平方向に並ぶ３以上の視点であっても、垂直方向に並ぶ３以上の視点であってもよい。
【０２０７】
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理の少なくとも一部は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２０８】
そこで、図４７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２０９】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部５０８やROM（Read Only Memory）５０２に予め記録しておくことができる。
【０２１０】
あるいはまた、プログラムは、リムーバブルメディア５１１に格納（記録）しておくことができる。このようなリムーバブルメディア５１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア５１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２１１】
なお、プログラムは、上述したようなリムーバブルメディア５１１からドライブ５１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部５０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２１２】
コンピュータは、CPU(Central Processing Unit)５０１を内蔵しており、CPU５０１には、バス５０４を介して、入出力インタフェース５０５が接続されている。
【０２１３】
CPU５０１は、入出力インタフェース５０５を介して、ユーザによって、入力部５０６が操作等されることにより指令が入力されると、それに従って、ROM５０２に格納されているプログラムを実行する。あるいは、CPU５０１は、記憶部５０８に格納されたプログラムを、RAM(Random Access Memory)５０３にロードして実行する。
【０２１４】
これにより、CPU５０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU５０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース５０５を介して、出力部５０７から出力、あるいは、通信部５０９から送信、さらには、記憶部５０８に記録等させる。
【０２１５】
なお、入力部５０６は、キーボードや、マウス、マイク等で構成される。また、出力部５０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２１６】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２１７】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２１８】
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１９】
なお、本技術は、以下のような構成もとることができる。
（１）
３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点を最適な視点として検出する最適視点検出部
を備える画像処理装置。
（２）
前記最適視点検出部は、前記３以上の視点の視点ごとに、その視点の前記画像の特徴を抽出し、その特徴と前記３以上の視点の視差画像を用いて、前記最適な視点を検出する
前記（１）に記載の画像処理装置。
（３）
前記最適視点検出部は、前記画像に対して物体認識処理を行うことにより、前記画像の特徴として所定の物体の画像を抽出する
前記（２）に記載の画像処理装置。
（４）
前記最適視点検出部は、前記画像に対してセグメンテーションを行うことにより、前記画像の特徴として所定の領域を抽出する
前記（２）に記載の画像処理装置。
（５）
前記最適視点検出部は、前記視差画像内の前記所定の領域の視差値に基づいて、前記最適な視点を検出する
前記（４）に記載の画像処理装置。
（６）
前記最適視点検出部は、前記視差画像内の前記所定の領域の視差値、並びに、前記所定の領域の面積および位置に基づいて、前記最適な視点を検出する
前記（５）に記載の画像処理装置。
（７）
前記最適視点検出部は、前記画像に対して幾何情報の検出処理を行うことにより、前記画像の特徴として消失点を抽出する
前記（２）に記載の画像処理装置。
（８）
前記最適視点検出部は、前記視差画像内の前記消失点で分割される２つの領域の視差値に基づいて、前記最適な視点を検出する
前記（７）に記載の画像処理装置。
（９）
前記最適視点検出部は、前記３以上の視点の視点ごとの前記画像の特徴と前記視差画像の関係と、予め学習された所定の画像の特徴と視差画像の関係とを比較することにより、前記最適な視点を検出する
前記（２）に記載の画像処理装置。
（１０）
前記最適視点検出部は、前記３以上の視点の画像の動きベクトル、前記３以上の視点の画像、および前記３以上の視点の視差画像を用いて、前記最適な視点を検出する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記最適視点検出部は、前記３以上の視点の視点ごとに、その視点の前記画像の前記動きベクトルを用いて、その画像の特徴を抽出し、その特徴と前記３以上の視点の視差画像を用いて、前記最適な視点を検出する
前記（１０）に記載の画像処理装置。
（１２）
前記最適視点検出部により検出された前記最適な視点を時間方向に安定化させる時間方向安定化処理部
をさらに備える
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記画像を撮影する撮影部と、
前記最適視点検出部により検出された前記最適な視点の画像を撮影可能な位置に前記撮影部を案内するための案内視点情報を生成する案内部と
をさらに備える
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
前記最適視点検出部により検出された前記最適な視点を出力する出力部
をさらに備える
前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
前記最適視点検出部により検出された前記最適な視点の前記画像を表示させる表示制御部
をさらに備える
前記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）
ユーザの視聴状態を検出する視聴状態検出部
をさらに備え、
前記表示制御部は、前記視聴状態検出部により検出された前記視聴状態に基づいて、前記最適視点検出部により検出された前記最適な視点の前記画像を表示させる
前記（１５）に記載の画像処理装置。
（１７）
画像処理装置が、
３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点を最適な視点として検出する最適視点検出ステップ
を含む画像処理方法。
（１８）
画像処理を、コンピュータに行わせるプログラムにおいて、
３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点を最適な視点として検出する最適視点検出ステップ
を含むプログラム。
【符号の説明】
【０２２０】
１０ 撮影装置， １１ 撮影部， １２ 最適視点検出部， １３ 最適構図案内部， ５０ コンテンツ編集装置， ５３ 最適構図推薦部， ７０ 表示制御装置， ７２ 表示部， ９１ 視聴状態検出部
【特許請求の範囲】
【請求項１】
３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点を最適な視点として検出する最適視点検出部
を備える画像処理装置。
【請求項２】
前記最適視点検出部は、前記３以上の視点の視点ごとに、その視点の前記画像の特徴を抽出し、その特徴と前記３以上の視点の視差画像を用いて、前記最適な視点を検出する
請求項１に記載の画像処理装置。
【請求項３】
前記最適視点検出部は、前記画像に対して物体認識処理を行うことにより、前記画像の特徴として所定の物体の画像を抽出する
請求項２に記載の画像処理装置。
【請求項４】
前記最適視点検出部は、前記画像に対してセグメンテーションを行うことにより、前記画像の特徴として所定の領域を抽出する
請求項２に記載の画像処理装置。
【請求項５】
前記最適視点検出部は、前記視差画像内の前記所定の領域の視差値に基づいて、前記最適な視点を検出する
請求項４に記載の画像処理装置。
【請求項６】
前記最適視点検出部は、前記視差画像内の前記所定の領域の視差値、並びに、前記所定の領域の面積および位置に基づいて、前記最適な視点を検出する
請求項５に記載の画像処理装置。
【請求項７】
前記最適視点検出部は、前記画像に対して幾何情報の検出処理を行うことにより、前記画像の特徴として消失点を抽出する
請求項２に記載の画像処理装置。
【請求項８】
前記最適視点検出部は、前記視差画像内の前記消失点で分割される２つの領域の視差値に基づいて、前記最適な視点を検出する
請求項７に記載の画像処理装置。
【請求項９】
前記最適視点検出部は、前記３以上の視点の視点ごとの前記画像の特徴と前記視差画像の関係と、予め学習された所定の画像の特徴と視差画像の関係とを比較することにより、前記最適な視点を検出する
請求項２に記載の画像処理装置。
【請求項１０】
前記最適視点検出部は、前記３以上の視点の画像の動きベクトル、前記３以上の視点の画像、および前記３以上の視点の視差画像を用いて、前記最適な視点を検出する
請求項１に記載の画像処理装置。
【請求項１１】
前記最適視点検出部は、前記３以上の視点の視点ごとに、その視点の前記画像の前記動きベクトルを用いて、その画像の特徴を抽出し、その特徴と前記３以上の視点の視差画像を用いて、前記最適な視点を検出する
請求項１０に記載の画像処理装置。
【請求項１２】
前記最適視点検出部により検出された前記最適な視点を時間方向に安定化させる時間方向安定化処理部
をさらに備える
請求項１に記載の画像処理装置。
【請求項１３】
前記画像を撮影する撮影部と、
前記最適視点検出部により検出された前記最適な視点の画像を撮影可能な位置に前記撮影部を案内するための案内視点情報を生成する案内部と
をさらに備える
請求項１に記載の画像処理装置。
【請求項１４】
前記最適視点検出部により検出された前記最適な視点を出力する出力部
をさらに備える
請求項１に記載の画像処理装置。
【請求項１５】
前記最適視点検出部により検出された前記最適な視点の前記画像を表示させる表示制御部
をさらに備える
請求項１に記載の画像処理装置。
【請求項１６】
ユーザの視聴状態を検出する視聴状態検出部
をさらに備え、
前記表示制御部は、前記視聴状態検出部により検出された前記視聴状態に基づいて、前記最適視点検出部により検出された前記最適な視点の前記画像を表示させる
請求項１５に記載の画像処理装置。
【請求項１７】
画像処理装置が、
３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点を最適な視点として検出する最適視点検出ステップ
を含む画像処理方法。
【請求項１８】
画像処理を、コンピュータに行わせるプログラムにおいて、
３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点を最適な視点として検出する最適視点検出ステップ
を含むプログラム。
【請求項１】
３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点を最適な視点として検出する最適視点検出部
を備える画像処理装置。
【請求項２】
前記最適視点検出部は、前記３以上の視点の視点ごとに、その視点の前記画像の特徴を抽出し、その特徴と前記３以上の視点の視差画像を用いて、前記最適な視点を検出する
請求項１に記載の画像処理装置。
【請求項３】
前記最適視点検出部は、前記画像に対して物体認識処理を行うことにより、前記画像の特徴として所定の物体の画像を抽出する
請求項２に記載の画像処理装置。
【請求項４】
前記最適視点検出部は、前記画像に対してセグメンテーションを行うことにより、前記画像の特徴として所定の領域を抽出する
請求項２に記載の画像処理装置。
【請求項５】
前記最適視点検出部は、前記視差画像内の前記所定の領域の視差値に基づいて、前記最適な視点を検出する
請求項４に記載の画像処理装置。
【請求項６】
前記最適視点検出部は、前記視差画像内の前記所定の領域の視差値、並びに、前記所定の領域の面積および位置に基づいて、前記最適な視点を検出する
請求項５に記載の画像処理装置。
【請求項７】
前記最適視点検出部は、前記画像に対して幾何情報の検出処理を行うことにより、前記画像の特徴として消失点を抽出する
請求項２に記載の画像処理装置。
【請求項８】
前記最適視点検出部は、前記視差画像内の前記消失点で分割される２つの領域の視差値に基づいて、前記最適な視点を検出する
請求項７に記載の画像処理装置。
【請求項９】
前記最適視点検出部は、前記３以上の視点の視点ごとの前記画像の特徴と前記視差画像の関係と、予め学習された所定の画像の特徴と視差画像の関係とを比較することにより、前記最適な視点を検出する
請求項２に記載の画像処理装置。
【請求項１０】
前記最適視点検出部は、前記３以上の視点の画像の動きベクトル、前記３以上の視点の画像、および前記３以上の視点の視差画像を用いて、前記最適な視点を検出する
請求項１に記載の画像処理装置。
【請求項１１】
前記最適視点検出部は、前記３以上の視点の視点ごとに、その視点の前記画像の前記動きベクトルを用いて、その画像の特徴を抽出し、その特徴と前記３以上の視点の視差画像を用いて、前記最適な視点を検出する
請求項１０に記載の画像処理装置。
【請求項１２】
前記最適視点検出部により検出された前記最適な視点を時間方向に安定化させる時間方向安定化処理部
をさらに備える
請求項１に記載の画像処理装置。
【請求項１３】
前記画像を撮影する撮影部と、
前記最適視点検出部により検出された前記最適な視点の画像を撮影可能な位置に前記撮影部を案内するための案内視点情報を生成する案内部と
をさらに備える
請求項１に記載の画像処理装置。
【請求項１４】
前記最適視点検出部により検出された前記最適な視点を出力する出力部
をさらに備える
請求項１に記載の画像処理装置。
【請求項１５】
前記最適視点検出部により検出された前記最適な視点の前記画像を表示させる表示制御部
をさらに備える
請求項１に記載の画像処理装置。
【請求項１６】
ユーザの視聴状態を検出する視聴状態検出部
をさらに備え、
前記表示制御部は、前記視聴状態検出部により検出された前記視聴状態に基づいて、前記最適視点検出部により検出された前記最適な視点の前記画像を表示させる
請求項１５に記載の画像処理装置。
【請求項１７】
画像処理装置が、
３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点を最適な視点として検出する最適視点検出ステップ
を含む画像処理方法。
【請求項１８】
画像処理を、コンピュータに行わせるプログラムにおいて、
３以上の視点の画像と前記３以上の視点の視差画像を用いて、前記３以上の視点のうちの所定の２視点を最適な視点として検出する最適視点検出ステップ
を含むプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【公開番号】特開２０１２−２２２７３６（Ｐ２０１２−２２２７３６Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８９１７９（Ｐ２０１１−８９１７９）
【出願日】平成２３年４月１３日（２０１１．４．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月１３日（２０１１．４．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]