画像処理システム、画像処理装置、および画像処理方法
【課題】安価で多視点の画像を撮影することができるようにする。
【解決手段】主カメラ装置は、３Ｄ画像を構成する２視点の画像を撮影し、動作モードを決定し、その動作モードを送信する。副カメラ装置は、主カメラ装置から送信された動作モードを受信し、所定の１視点の画像を撮影し、動作モードに応じて所定の１視点の画像を撮影する撮影部を移動させる。本技術は、例えば、３Ｄ画像を撮影する画像処理システムに適用することができる。
【解決手段】主カメラ装置は、３Ｄ画像を構成する２視点の画像を撮影し、動作モードを決定し、その動作モードを送信する。副カメラ装置は、主カメラ装置から送信された動作モードを受信し、所定の１視点の画像を撮影し、動作モードに応じて所定の１視点の画像を撮影する撮影部を移動させる。本技術は、例えば、３Ｄ画像を撮影する画像処理システムに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理システム、画像処理装置、および画像処理方法に関し、特に、安価で多視点の画像を撮影することができるようにした画像処理システム、画像処理装置、および画像処理方法に関する。
【背景技術】
【０００２】
従来、多視点の画像を撮影する撮影システムでは、例えば、視点ごとに同一の機能を有するカメラが設けられていた（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２５６８９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、視点ごとに同一の機能を有するカメラが設けられる場合、視点数が多いと製造コストが高くなる。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、安価で多視点の画像を撮影することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の第１の側面の画像処理システムは、３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部と、動作モードを決定する動作モード決定部と、前記動作モード決定部により決定された前記動作モードを送信する送信部とを備える主の画像処理装置と、前記送信部により送信された前記動作モードを受信する受信部と、所定の１視点の画像を撮影する１視点撮影部と、前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部とを備える副の画像処理装置とを備える画像処理システムである。
【０００７】
本技術の第１の側面の画像処理方法は、本技術の第１の側面の画像処理システムに対応する。
【０００８】
本技術の第１の側面においては、主の画像処理装置により、３Ｄ画像を構成する２視点の画像が撮影され、動作モードが決定され、決定された前記動作モードが送信される。また、副の画像処理装置により、送信された前記動作モードが受信され、所定の１視点の画像が撮影され、受信された前記動作モードに応じて、前記所定の１視点の画像を撮影する１視点撮影部が移動される。
【０００９】
本技術の第２の側面の画像処理装置は、３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部と、動作モードを決定する動作モード決定部と、前記動作モード決定部により決定された前記動作モードを送信する送信部とを備える画像処理装置である。
【００１０】
本技術の第２の側面においては、３Ｄ画像を構成する２視点の画像が撮影され、動作モードが決定され、決定された前記動作モードが送信される。
【００１１】
本技術の第３の側面の画像処理装置は、動作モードを受信する受信部と、所定の１視点の画像を撮影する１視点撮影部と、前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部とを備える画像処理装置である。
【００１２】
本技術の第３の側面においては、動作モードが受信され、所定の１視点の画像が撮影され、前記動作モードに応じて前記所定の１視点の画像を撮影する１視点撮影部が移動される。
【００１３】
なお、第１の側面の画像処理システム並びに第２および第３の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
【００１４】
また、第１の側面の画像処理システム並びに第２および第３の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１５】
本技術の第１の側面によれば、安価で多視点の画像を撮影することができる。
【００１６】
本技術の第２の側面によれば、安価で多視点の画像を撮影することが可能であるように制御を行うことができる。
【００１７】
本技術の第３の側面によれば、安価で多視点の画像を撮影することが可能であるように、所定の１視点の画像を撮影することができる。
【図面の簡単な説明】
【００１８】
【図１】本技術を適用した画像処理システムの一実施の形態の外観構成例を示す図である。
【図２】図１の主カメラ装置の内部構成例を示すブロック図である。
【図３】図１の副カメラ装置の内部構成例を示すブロック図である。
【図４】図１の画像処理システムの動作モードの例を示す図である。
【図５】超広角画像モード時の副カメラ装置の移動を説明する図である。
【図６】注目点高解像度化モード時の副カメラ装置の移動を説明する図である。
【図７】超多視点画像モード時の副カメラ装置の移動の第１の例を説明する図である。
【図８】超多視点画像モード時の副カメラ装置の移動の第２の例を説明する図である。
【図９】図１の画像処理システムの撮影モードの例を示す図である。
【図１０】図２の主カメラ装置の撮影処理を説明するフローチャートである。
【図１１】図３の副カメラ装置の撮影処理を説明するフローチャートである。
【図１２】図３の画像処理部における画像処理の例を説明する図である。
【図１３】超多視点画像処理部の構成例を示すブロック図である
【図１４】超多視点画像処理を説明するフローチャートである。
【図１５】解像度補間処理部の構成例を示すブロック図である。
【図１６】図１５の解像度補間処理部の処理の概略を説明する図である。
【図１７】解像度補間処理を説明するフローチャートである。
【図１８】図２の画像処理部における画像処理の例を説明する図である。
【図１９】符号化処理部の構成例を示すブロック図である。
【図２０】図１９の符号化処理部の符号化処理の概略を説明する図である。
【図２１】図１９の符号化処理部による符号化処理を説明するフローチャートである。
【図２２】図１９の符号化処理部による符号化処理を説明するフローチャートである。
【図２３】符号化処理部の他の構成例を示すブロック図である。
【図２４】図２３の符号化処理部の符号化処理の概略を説明する図である。
【図２５】動き予測・補償処理の詳細を説明するフローチャートである。
【図２６】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００１９】
＜一実施の形態＞
［画像処理システムの一実施の形態の外観構成例］
図１は、本技術を適用した画像処理システムの一実施の形態の外観構成例を示す図である。
【００２０】
なお、図１は、通常の使用状態における画像処理システム１０を側面から見た図である。以下では、図１の上下方向を垂直方向といい、左右方向を水平方向という。
【００２１】
図１の画像処理システム１０は、主カメラ装置１１と、副カメラ装置１２−１乃至１２−４とにより構成される。
【００２２】
主カメラ装置１１は、主の画像処理装置として機能し、左目用の画像（以下、左目画像という）と右目用の画像（以下、右目画像という）からなる３Ｄ画像を撮影する装置である。主カメラ装置１１は、左目画像を撮影する左目カメラ１１−１、右目画像を撮影する右目カメラ１１−２などにより構成される。
【００２３】
副カメラ装置１２−１乃至１２−４は、副の画像処理装置として機能し、主カメラ装置１１に対して自由に移動可能な装置である。また、副カメラ装置１２−１乃至１２−４は、主カメラ装置１１に比べて低機能であり、安価な装置である。なお、以下では、副カメラ装置１２−１乃至１２−４を特に区別する必要がない場合、副カメラ装置１２という。
【００２４】
［主カメラ装置の内部構成例］
図２は、図１の主カメラ装置１１の内部構成例を示すブロック図である。
【００２５】
図２に示すように、主カメラ装置１１は、入力部２１、動作モード決定部２２、送信部２３、撮影モード決定部２４、撮影部２５、画像処理部２６、および受信部２７により構成される。
【００２６】
主カメラ装置１１の入力部２１は、ユーザからの指示を受け付け、その指示を動作モード決定部２２および撮影モード決定部２４に供給する。
【００２７】
動作モード決定部２２は、入力部２１から供給される指示に応じて、画像処理システム１０の動作モードを決定し、送信部２３に供給する。
【００２８】
送信部２３は、主カメラ装置１１の情報である主カメラ情報を、副カメラ装置１２に送信する。なお、主カメラ情報は、動作モード決定部２２からの動作モード、撮影モード決定部２４からの画像処理システム１０の撮影モード、撮影部２５からの主カメラ画像、画像処理部２６からの画像処理情報などにより構成される。
【００２９】
撮影モード決定部２４は、入力部２１から供給される指示に応じて、画像処理システム１０の撮影モードを決定し、送信部２３と撮影部２５に供給する。
【００３０】
撮影部２５は、左目カメラ１１−１と右目カメラ１１−２により構成され、２視点撮影部として機能する。左目カメラ１１−１は、撮影モード決定部２４から供給される撮影モードに応じて、焦点距離、被写界深度等の撮影に関するパラメータである撮影パラメータの値を決定する。左目カメラ１１−１は、その撮影パラメータの値に基づいて所定の１視点の画像を撮影し、その結果得られる画像を左目画像とする。
【００３１】
また、右目カメラ１１−２は、左目カメラ１１−１と同様に、撮影モードに応じて撮影パラメータの値を決定する。右目カメラ１１−２は、その撮影パラメータの値に基づいて、左目カメラ１１−１とは異なる所定の１視点の画像を撮影し、その結果得られる画像を右目画像とする。そして、撮影部２５は、左目画像と右目画像からなる３Ｄ画像を主カメラ画像として、送信部２３と画像処理部２６に供給する。
【００３２】
画像処理部２６は、２視点画像処理部として機能し、撮影部２５から供給される主カメラ画像に対して、各種の画像処理を行う。このとき、画像処理部２６は、必要に応じて、受信部２７から供給される副カメラ装置１２の情報である副カメラ情報を用いる。画像処理部２６は、画像処理の結果得られる情報である画像処理情報を送信部２３に供給する。
【００３３】
受信部２７は、副カメラ装置１２から送信されてくる副カメラ情報を受信し、画像処理部２６に供給する。
【００３４】
［副カメラ装置の内部構成例］
図３は、図１の副カメラ装置１２の内部構成例を示すブロック図である。
【００３５】
図３に示すように、副カメラ装置１２は、撮影部４１、送信部４２、受信部４３、移動制御部４４、および画像処理部４５により構成される。
【００３６】
副カメラ装置１２の撮影部４１は、受信部４３から供給される主カメラ情報に含まれる撮影モードに応じて撮影パラメータの値を決定する。撮影部４１は、１視点撮影部として機能し、撮影パラメータの値に基づいて所定の１視点の画像を撮影する。撮影部４１は、その結果得られる画像を副カメラ画像として送信部４２および画像処理部４５に供給する。
【００３７】
送信部４２は、撮影部４１から供給される副カメラ画像、画像処理部４５から供給される画像処理後の副カメラ画像などを、副カメラ情報として、主カメラ装置１１に送信する。
【００３８】
受信部４３は、主カメラ装置１１から送信されてくる主カメラ情報を受信する。受信部４３は、主カメラ情報に含まれる撮影モードを撮影部４１に供給し、動作モード、画像処理情報などを移動制御部４４に供給する。また、受信部４３は、主カメラ情報に含まれる主カメラ画像、画像処理情報、および動作モードを画像処理部４５に供給する。
【００３９】
移動制御部４４は、受信部４３から供給される動作モードに応じて、副カメラ装置１２の移動を制御する。このとき、移動制御部４４は、必要に応じて、受信部４３から供給される画像処理情報を用いる。
【００４０】
画像処理部４５は、１視点画像処理部として機能し、撮影部４１から供給される副カメラ画像に対して画像処理を行う。このとき、画像処理部４５は、必要に応じて、受信部４３から供給される主カメラ画像、画像処理情報、および動作モードを用いる。画像処理部４５は、画像処理後の副カメラ画像を送信部４２に供給する。
【００４１】
［動作モードの例］
図４は、図１の画像処理システム１０の動作モードの例を示す図である。
【００４２】
図４に示すように、画像処理システム１０の動作モードとしては、超広角画像モード、注目点高解像度化モード、超多視点画像モードなどがある。
【００４３】
超広角画像モードとは、水平方向に並ぶ多視点の画像を撮影し、各視点の画像を合成することにより広角の画像を生成するモードである。従って、超広角画像モード時には、副カメラ装置１２は、主カメラ装置１１と垂直方向の位置が略同一であり、水平方向の位置が所定の位置である位置を開始位置とし、その開始位置から副カメラ装置１２を水平方向に移動させる。これにより、画像処理システム１０自体を移動させずに、超広角画像を撮影することができる。
【００４４】
注目点高解像度化モードとは、主カメラ装置１１における画像処理で検出された注目点を高解像度で撮影し、３Ｄ画像の他に、注目点の複数視点の画像を生成するモードである。従って、注目点高解像度化モード時には、副カメラ装置１２は、画像処理情報としての注目点の位置に基づいて、その注目点を撮影可能な位置に副カメラ装置１２を移動させる。これにより、ユーザの所望の領域の複数視点の画像を高解像度で撮影することができる。
【００４５】
超多視点画像モードとは、左目画像の視点（以下、左視点という）および右目画像の視点（以下、右視点という）それぞれの上下の視点の画像を撮影し、水平方向および垂直方向の位置の異なる視点の画像からなる３Ｄ画像を生成するモードである。従って、超多視点画像モード時には、副カメラ装置１２は、副カメラ装置１２を水平方向および垂直方向に高速移動させる。
【００４６】
具体的には、副カメラ装置１２は、主カメラ装置１１と垂直方向の位置が略同一であり、水平方向の位置が所定の位置である位置を開始位置とし、その開始位置から副カメラ装置１２を水平方向に高速移動させることと、主カメラ装置１１と水平方向の位置が略同一であり、垂直方向の位置が所定の位置である位置を開始位置とし、その開始位置から副カメラ装置１２を垂直方向に高速移動させることを繰り返す。これにより、上下左右に首を移動しても裸眼で視認可能な自然な３Ｄ画像を撮影することができる。
【００４７】
［各動作モード時の副カメラ装置の移動の説明］
図５は、超広角画像モード時の副カメラ装置１２の移動を説明する図である。
【００４８】
図５に示すように、画像処理システム１０の動作モードが超広角画像モードである場合、まず、副カメラ装置１２は、主カメラ装置１１と垂直方向の位置が略同一であり、水平方向の位置が所定の位置である開始位置に副カメラ装置１２を移動させる。その結果、図５の例では、副カメラ装置１２−１および副カメラ装置１２−２が、主カメラ装置１１の左側の上下に位置し、副カメラ装置１２−３および副カメラ装置１２−４が、主カメラ装置１１の右側の上下に位置する。次に、副カメラ装置１２は、開始位置から水平方向に副カメラ装置１２を移動させる。即ち、副カメラ装置１２−１および１２−２の視点が、左視点の左で左右方向に移動し、副カメラ装置１２−３および１２−４の視点が、右視点の右で左右方向に移動する。
【００４９】
図６は、注目点高解像度化モード時の副カメラ装置１２の移動を説明する図である。
【００５０】
図６に示すように、画像処理システム１０の動作モードが注目点高解像度化モードである場合、副カメラ装置１２は、主カメラ装置１１における画像処理で検出された注目点を撮影可能な位置に副カメラ装置１２を移動させる。
【００５１】
図７は、超多視点画像モード時の副カメラ装置１２の移動の第１の例を説明する図である。
【００５２】
図７の例では、画像処理システム１０の動作モードが超多視点画像モードである場合、まず、副カメラ装置１２は、図５に示したように、開始位置から水平方向に副カメラ装置１２を移動させる。
【００５３】
次に、副カメラ装置１２は、主カメラ装置１１と水平方向の位置が略同一であり、垂直方向の位置が所定の位置である開始位置に副カメラ装置１２を移動させる。その結果、図７の例では、副カメラ装置１２−１および副カメラ装置１２−２の水平方向の位置が、主カメラ装置１１の左目カメラ１１−１の中心と同一になり、垂直方向の位置が左目カメラ１１−１の上または下になる。また、副カメラ装置１２−３および副カメラ装置１２−４の水平方向の位置が、右目カメラ１１−２の中心と同一になり、垂直方向の位置が右目カメラ１１−２の上または下になる。そして、副カメラ装置１２は、その開始位置から垂直方向に副カメラ装置１２を移動させる。即ち、副カメラ装置１２−１乃至１２−４の視点が、それぞれ、左視点の上、下、右視点の上、下で上下方向に移動する。
【００５４】
図８は、超多視点画像モード時の副カメラ装置１２の移動の第２の例を説明する図である。
【００５５】
図８の例では、画像処理システム１０の動作モードが超多視点画像モードである場合、まず、副カメラ装置１２は、図５に示した開始位置を水平方向の開始位置とし、その開始位置に副カメラ装置１２を移動させる。その後、図７に示した開始位置を垂直方向の開始位置とし、その開始位置に副カメラ装置１２を移動させる。次に、副カメラ装置１２は、水平方向の開始位置と水平方向の位置が異なる位置に副カメラ装置１２を移動させ、次に、垂直方向の開始位置と垂直方向の位置が異なる位置に副カメラ装置１２を移動させる。以降も同様にして、副カメラ装置１２は、主カメラ装置１１と垂直方向の位置が略同一である位置と、左目カメラ１１−１または右目カメラ１１−２と水平方向の位置が略同一である位置に交互に副カメラ装置１２を移動させる。
【００５６】
これにより、図７の場合のように、水平方向および垂直方向のいずれか一方の移動が行われている際に、他方の移動による副カメラ画像が長時間得られないことを防止することができる。即ち、図７の場合に比べて、連続して撮影される水平方向の撮影位置が異なる副カメラ画像どうしの時間間隔の最大値と、垂直方向の撮影位置が異なる副カメラ画像どうしの時間間隔の最大値を短くすることができる。その結果、例えば、副カメラ画像に対して、その副カメラ画像を用いた高精度のフレーム補間処理を行うことができる。
【００５７】
［撮影モードの例］
図９は、図１の画像処理システム１０の撮影モードの例を示す図である。
【００５８】
図９に示すように、画像処理システム１０の撮影モードとしては、動的被写界深度モードなどがある。
【００５９】
動的被写界深度モードとは、主カメラ装置１１および副カメラ装置１２それぞれの焦点距離および被写界深度が異なるように撮影するモードである。撮影モードが動的被写界深度モードである場合、例えば、主カメラ装置１１は、パンフォーカス撮影を行い、副カメラ装置１２は、テレ端やワイド端で撮影を行う。
【００６０】
動的被写界深度モード時、画像処理システム１０は、フォーカスや被写界深度の異なる画像を撮影することができる。例えば、１眼レフカメラで撮影したときのようなボケ味のある画像と、コンパクトデジタルカメラで撮影したときのような被写界深度の深い画像を撮影することができる。
【００６１】
［主カメラ装置の撮影処理の説明］
図１０は、図２の主カメラ装置１１の撮影処理を説明するフローチャートである。この撮影処理は、例えば、主カメラ装置１１の入力部２１が、ユーザからの撮影開始の指示を受け付けたとき、開始される。
【００６２】
図１０のステップＳ１１において、動作モード決定部２２は、入力部２１を介して供給されるユーザからの指示に応じて、超広角画像モード、注目点高解像度化モード、超多視点画像モード等のいずれかに動作モードを決定し、送信部２３に供給する。
【００６３】
ステップＳ１２において、撮影モード決定部２４は、入力部２１を介して供給されるユーザからの指示に応じて、動的被写界深度モード、通常モード等のいずれかに撮影モードを決定し、送信部２３に供給する。なお、通常モードとは、主カメラ装置１１および副カメラ装置１２の焦点距離と被写界深度が同一であるように撮影するモードである。
【００６４】
ステップＳ１３において、撮影部２５の左目カメラ１１−１および右目カメラ１１−２は、撮影モード決定部２４から供給される撮影モードに応じて撮影パラメータの値を設定する。
【００６５】
ステップＳ１４において、撮影部２５の左目カメラ１１−１および右目カメラ１１−２は、撮影パラメータに基づく撮影を開始する。左目カメラ１１−１および右目カメラ１１−２は、撮影の結果得られる左目画像と右目画像からなる３Ｄ画像を主カメラ画像として、送信部２３と画像処理部２６に供給する。
【００６６】
ステップＳ１５において、動作モード決定部２２は、動作モードが注目点高解像度化モードであるかどうかを判定する。
【００６７】
ステップＳ１５で動作モードが注目点高解像度化モードであると判定された場合、ステップＳ１６において、画像処理部２６は、撮影部２５から供給される主カメラ画像の注目点を検出し、注目点の位置を表す情報を画像処理情報として送信部２３に供給する。そして処理はステップＳ１７に進む。
【００６８】
一方、ステップＳ１５で動作モードが注目点高解像度化モードではないと判定された場合、処理はステップＳ１７に進む。
【００６９】
ステップＳ１７において、送信部２３は、動作モード決定部２２からの動作モード、撮影モード決定部２４からの撮影モード、および画像処理部２６からの画像処理情報などを、主カメラ情報として副カメラ装置１２に送信する。
【００７０】
ステップＳ１８において、入力部２１は、ユーザにより動作モードの変更が指示されたかどうかを判定する。入力部２１は、ユーザからの動作モードの変更指示を受け付けた場合、ステップＳ１８でユーザにより動作モードの変更が指示されたと判定して、その指示を動作モード決定部２２に供給し、処理をステップＳ１９に進める。
【００７１】
ステップＳ１９において、動作モード決定部２２は、入力部２１から供給される動作モードの変更指示に応じて、動作モードを変更し、処理をステップＳ１５に戻す。
【００７２】
一方、入力部２１は、ユーザからの動作モードの変更指示を受け付けていない場合、ステップＳ１９でユーザにより動作モードの変更が指示されていないと判定し、処理をステップＳ２０に進める。
【００７３】
ステップＳ２０において、入力部２１は、ユーザにより撮影モードの変更が指示されたかどうかを判定する。入力部２１は、ユーザからの撮影モードの変更指示を受け付けた場合、ステップＳ２０でユーザにより撮影モードの変更が指示されたと判定して、その指示を撮影モード決定部２４に供給し、処理をステップＳ２１に進める。
【００７４】
ステップＳ２１において、撮影モード決定部２４は、入力部２１から供給される撮影モードの変更の指示に応じて、撮影モードを変更し、送信部２３と撮影部２５に供給する。
【００７５】
ステップＳ２２において、撮影部２５の左目カメラ１１−１および右目カメラ１１−２は、ステップＳ２１で撮影モード決定部２４から供給される変更後の撮影モードに応じて撮影パラメータの値を変更する。そして、処理はステップＳ１５に戻り、以降の処理が繰り返される。
【００７６】
一方、入力部２１は、ユーザからの撮影モードの変更指示を受け付けていない場合、ステップＳ２０でユーザにより撮影モードの変更が指示されていないと判定し、処理をステップＳ２３に進める。
【００７７】
ステップＳ２３において、入力部２１は、撮影を終了するかどうか、即ちユーザからの撮影終了の指示を受け付けたかどうかを判定する。ステップＳ２４で撮影を終了しないと判定された場合、処理はステップＳ１５に戻り、撮影を終了すると判定されるまで、ステップＳ１５乃至Ｓ２３の処理が繰り返される。
【００７８】
ステップＳ２３で撮影を終了すると判定された場合、ステップＳ２４において、撮影部２５の左目カメラ１１−１と右目カメラ１１−２は、ステップＳ１４で開始された撮影を停止する。また、送信部２３は、撮影の終了指令を副カメラ装置１２に送信する。そして撮影処理は終了する。
【００７９】
［副カメラ装置の撮影処理の説明］
図１１は、図３の副カメラ装置１２の撮影処理を説明するフローチャートである。この撮影処理は、例えば、主カメラ装置１１から主カメラ情報が送信されてきたとき、開始される。
【００８０】
図１１のステップＳ３１において、副カメラ装置１２の受信部４３は、主カメラ装置１１から主カメラ情報を受信する。受信部４３は、受信された動作モード、画像処理情報などを移動制御部４４に供給し、撮影モードを撮影部４１に供給する。
【００８１】
ステップＳ３２において、移動制御部４４は、受信部４３から供給される動作モードに応じた副カメラ装置１２の移動制御を開始する。このとき、動作モードが注目点高解像度化モードである場合には、移動制御部４４は、受信部４３から供給される画像処理情報としての注目点の位置を表す情報に基づいて、副カメラ装置１２の移動制御を行う。
【００８２】
ステップＳ３３において、撮影部４１は、受信部４３から供給される撮影モードに応じて撮影パラメータの値を決定し、その撮影パラメータの値に基づく撮影を開始する。撮影の結果得られる副カメラ画像は、送信部４２を介して副カメラ情報として送信されるか、または、画像処理部４５と送信部４２を介して副カメラ情報として送信される。
【００８３】
ステップＳ３４において、移動制御部４４は、動作モードが変更されたかどうか、即ち、受信部４３により受信される動作モードが変更されたかどうかを判定する。ステップＳ３４で動作モードが変更されたと判定された場合、処理は、ステップＳ３５に進む。
【００８４】
ステップＳ３５において、移動制御部４４は、変更後の動作モードに応じて移動制御を変更し、処理をステップＳ３４に戻す。
【００８５】
一方、ステップＳ３４で動作モードが変更されていないと判定された場合、ステップＳ３６において、撮影モードが変更されたかどうか、即ち、受信部４３により受信される撮影モードが変更されたかどうかを判定する。
【００８６】
ステップＳ３６で撮影モードが変更されたと判定された場合、処理はステップＳ３７に進む。ステップＳ３７において、撮影部４１は、変更後の撮影モードに応じて撮影パラメータの値を変更し、処理をステップＳ３４に戻す。
【００８７】
一方、ステップＳ３６で撮影モードが変更されていないと判定された場合、ステップＳ３８において、撮影部４１は、撮影を終了するかどうか、即ち主カメラ装置１１から撮影の終了指令が送信されてきたかどうかを判定する。ステップＳ３８で撮影を終了すると判定されない場合、処理はステップＳ３４に戻り、撮影を終了すると判定されるまで、ステップＳ３４乃至Ｓ３８の処理が繰り返される。
【００８８】
ステップＳ３８で撮影を終了すると判定された場合、ステップＳ３９において、撮影部４１は、撮影を停止する。
【００８９】
ステップＳ４０において、移動制御部４４は、副カメラ装置１２の移動制御を停止すし、処理を終了する。
【００９０】
以上のように、画像処理システム１０では、主カメラ装置１１が動作モードを決定して送信し、副カメラ装置１２が主カメラ装置１１から送信されてくる動作モードに応じて１視点の画像を撮影する撮影部４１を移動させる。従って、撮影部４１において、動作モードに応じた複数視点の画像を撮影することができる。その結果、画像処理システム１０では、視点ごとにカメラが設けられる場合に比べて、安価で多視点の画像を撮影することができる。
【００９１】
[副カメラ装置の画像処理の例]
図１２は、図３の副カメラ装置１２の画像処理部４５における画像処理の例を説明する図である。
【００９２】
図１２に示すように、画像処理部４５における画像処理としては、例えば、フレームレート可変処理、第１のフレーム補間処理、第２のフレーム補間処理、動きボケ補償処理、解像度補間処理、色空間補間処理、符号化処理等がある。
【００９３】
フレームレート可変処理は、画像処理情報としての被写体や主カメラ装置１１の動き情報に基づいて、副カメラ画像のフレームレートを変更する処理である。例えば、フレームレート可変処理では、動き情報が比較的小さい場合、即ち被写体や主カメラ装置１１が略静止している場合、副カメラ画像のフレームレートが下げられる。また、動き情報が比較的大きい場合、即ち被写体や主カメラ装置１１に動きがある場合、副カメラ画像のフレームレートが上げられる。フレームレート可変処理により、副カメラ装置１２が、被写体や副カメラ装置１２の動き情報を検出する機能を有しない安価な装置である場合であっても、副カメラ画像のビットレートを削減することができる。
【００９４】
第１のフレーム補間処理は、画像処理情報としての主カメラ画像の動きベクトルや主カメラ画像そのものを利用して、副カメラ画像を補間する処理である。これにより、副カメラ装置１２が、フレームレートの低い安価な装置である場合であっても、滑らかな副カメラ画像を生成することができる。
【００９５】
第２のフレーム補間処理は、撮影時刻の異なる主カメラ画像を利用して、副カメラ画像を補間する処理である。これにより、副カメラ装置１２が、フレームレートの低い安価な装置である場合であっても、滑らかな副カメラ画像を生成することができる。
【００９６】
動きボケ補償処理は、画像処理情報としての主カメラ画像の動きボケ量に基づいて副カメラ画像の動きボケ補償を行う処理である。これにより、副カメラ装置１２のシャッタスピードが主カメラ装置１１に比べて遅い場合であっても、シャッタスピードの速い主カメラ装置１１の主カメラ画像から検出された動きボケ量に基づいて、副カメラ画像の動きボケを精度良く改善することができる。
【００９７】
解像度補間処理は、主カメラ画像と動作モードを利用して副カメラ画像を高解像度化する処理である。これにより、副カメラ装置１２の撮影時の解像度を所望の解像度より低くし、ビットレートを削減することができる。
【００９８】
色空間補間処理は、色空間の広い主カメラ画像を利用して副カメラ画像の色空間を補間する処理である。例えば、色空間補間処理では、YCbCr422の主カメラ画像を用いてYCbCr420の副カメラ画像の色空間が補間され、YCbCr422の副カメラ画像が生成される。
これにより、撮影時の色空間を所望の色空間より狭くし、ビットレートを削減することができる。
【００９９】
符号化処理は、主カメラ画像の符号化に関する特徴量を用いて副カメラ画像の符号化を行う処理である。なお、符号化に関する特徴量としては、例えば、フォーカス値や、画像処理情報としてのエッジ、シーンチェンジ、トランジション、注目領域などがある。この符号化処理により、副カメラ装置１２が符号化に関する特徴量を生成しなくて済むため、副カメラ装置１２の製造コストを削減することができる。
【０１００】
[超多視点画像処理部の構成例]
図１３は、動作モードが超多視点画像モードである場合に動作する、図３の画像処理部４５の一部を構成する超多視点画像処理部６０の構成例を示すブロック図である。
【０１０１】
図１３の超多視点画像処理部６０は、フレームメモリ６１、動きボケ補償部６２、補間部６３、フレームメモリ６４、補間フレームメモリ６５、および画像出力部６６により構成される。超多視点画像処理部６０は、超多視点画像モード時に動きボケ補償処理等を行う。
【０１０２】
具体的には、超多視点画像処理部６０のフレームメモリ６１には、撮影部４１からフレーム単位の副カメラ画像が供給され、保持される。
【０１０３】
動きボケ補償部６２は、フレームメモリ６１から副カメラ画像をフレーム単位で読み出す。動きボケ補償部６２は、受信部４３から供給される画像処理情報としての主カメラ画像の動きボケ量に基づいて、読み出された副カメラ画像に対して動きボケ補償処理を行う。動きボケ補償部６２は、動きボケ補償処理後のフレーム単位の副カメラ画像を補間部６３とフレームメモリ６４に供給する。
【０１０４】
補間部６３は、動きボケ補償部６２から供給されるフレーム単位の副カメラ画像に対してフレーム補間処理を行う。具体的には、補間部６３は、動きボケ補償部６２からのフレーム単位の副カメラ画像と、そのフレームより１つ前のフレームの、フレームメモリ６４に記憶されている副カメラ画像とを用いて、両フレームの間の時刻のフレーム単位の副カメラ画像を補間する。補間部６３は、補間された副カメラ画像を補間フレームメモリ６５に供給する。
【０１０５】
フレームメモリ６４は、動きボケ補償部６２から供給される動きボケ補償処理後のフレーム単位の副カメラ画像を保持する。補間フレームメモリ６５は、補間部６３から供給される、補間された副カメラ画像を保持する。
【０１０６】
画像出力部６６は、フレームメモリ６４に保持されているフレーム単位の副カメラ画像と、補間フレームメモリ６５に保持されているフレーム単位の副カメラ画像を交互に送信部４２に出力する。これにより、送信部４２に入力される副カメラ画像のフレームレートは、撮影時のフレームレートの２倍になる。
【０１０７】
[超多視点画像処理部の処理の説明]
図１４は、図１３の超多視点画像処理部６０の超多視点画像処理を説明するフローチャートである。この超多視点画像処理は、例えば、撮影部４１からフレーム単位の副カメラ画像が供給されるとき、開始される。
【０１０８】
図１４のステップＳ５１において、超多視点画像処理部６０のフレームメモリ６１は、撮影部４１から供給される副カメラ画像を保持する。
【０１０９】
ステップＳ５２において、動きボケ補償部６２は、受信部４３から供給される画像処理情報としての動きボケ量に基づいて、フレームメモリ６１に記憶されている副カメラ画像の動きボケ補償処理を行う。動きボケ補償部６２は、動きボケ補償処理後の副カメラ画像を補間部６３とフレームメモリ６４に供給する。
【０１１０】
ステップＳ５３において、フレームメモリ６４は、動きボケ補償部６２から供給される動きボケ補償処理後の副カメラ画像を保持する。
【０１１１】
ステップＳ５４において、補間部６３は、動きボケ補償部６２から供給される動きボケ補償処理後の副カメラ画像が先頭フレームの副カメラ画像であるかどうかを判定する。ステップＳ５４で動きボケ補償処理後の副カメラ画像が先頭フレームの副カメラ画像であると判定された場合、処理はステップＳ５５乃至Ｓ５７をスキップし、ステップＳ５８に進む。
【０１１２】
一方、ステップＳ５４で動きボケ補償処理後の副カメラ画像が先頭フレームの副カメラ画像ではないと判定された場合、処理はステップＳ５５に進む。
【０１１３】
ステップＳ５５において、補間部６３は、動きボケ補償部６２から供給されるフレーム単位の副カメラ画像と、そのフレームより１つ前のフレームの、フレームメモリ６４に記憶されている副カメラ画像とを用いて補間を行う。これにより、両フレームの間の時刻のフレーム単位の副カメラ画像が補間される。補間部６３は、補間された副カメラ画像を補間フレームメモリ６５に供給する。
【０１１４】
ステップＳ５６において、補間フレームメモリ６５は、補間部６３から供給される、補間された副カメラ画像を保持する。
【０１１５】
ステップＳ５７において、画像出力部６６は、補間フレームメモリ６５に保持されている補間された副カメラ画像を送信部４２に出力する。
【０１１６】
ステップＳ５８において、画像出力部６６は、フレームメモリ６４に保持されている副カメラ画像を送信部４２に出力し、処理を終了する。
【０１１７】
[解像度補間処理部の構成例]
図１５は、図３の画像処理部４５の一部を構成する解像度補間処理部８０の構成例を示すブロック図である。
【０１１８】
図１４の解像度補間処理部８０は、選択部８１および高解像度化部８２乃至８４により構成され、解像度補間処理を行う。
【０１１９】
具体的には、解像度補間処理部８０の選択部８１は、図３の受信部４３から供給される主カメラ画像と動作モードに基づいて、副カメラ画像に適した方法で解像度補間を行う高解像度化部８２乃至８４のいずれかを選択する。解像度補間処理部８０は、選択された高解像度化部８２乃至８４を示す選択情報を高解像度化部８２乃至８４に供給する。
【０１２０】
高解像度化部８２は、選択部８１から供給される選択情報が自分自身を示す場合、図３の撮影部４１から供給される副カメラ画像に対して、再構成型解像度補間を行う。再構成型解像度補間とは、前のフレームの処理結果を用いた数理的に最適なIIR（Infinite Impulse Response）処理により高解像度化する処理である。高解像度化部８２は、再構成型解像度補間後の副カメラ画像を図３の送信部４２に供給する。
【０１２１】
高解像度化部８３は、選択部８１から供給される選択情報が自分自身を示す場合、撮影部４１から供給される副カメラ画像に対して、学習型解像度補間を行う。学習型解像度補間とは、事前に学習により求められた係数を用いて高解像度化する処理である。なお、事前に行われる学習とは、学習型解像度補間前の副カメラ画像に対応する画像を生徒画像とし、学習型解像度補間後の副カメラ画像に対応する画像を教師画像とした学習であり、この学習により、生徒画像から教師画像を求めるための係数が求められる。高解像度化部８３は、学習型解像度補間後の副カメラ画像を送信部４２に供給する。
【０１２２】
高解像度化部８４は、選択部８１から供給される選択情報が自分自身を示す場合、撮影部４１から供給される副カメラ画像に対して、特徴モデル型解像度補間を行う。特徴モデル型解像度補間とは、処理対象の画像を、エッジ成分、テクスチャ成分等の成分に分解し、各成分を既知の特徴モデルに合わせて最適に高解像度化する処理である。高解像度化部８４は、特徴モデル型解像度補間後の副カメラ画像を送信部４２に供給する。
【０１２３】
[解像度補間処理部の処理の概略説明]
図１６は、図１５の解像度補間処理部８０の処理の概略を説明する図である。
【０１２４】
図１６に示すように、副カメラ画像１２の撮影部４１により撮影された低解像度の副カメラ画像は、高解像度化部８２による再構成型解像度補間、高解像度化部８３による学習型解像度補間、または高解像度化部８４による特徴モデル型解像度補間により高解像度化される。
【０１２５】
具体的には、例えば、動作モードが超多視点画像モードであり、副カメラ画像が３Ｄ画像を構成する所定の視点の画像である場合、副カメラ画像に対応する主カメラ画像が折り返し歪みを有する場合などには、再構成型解像度補間が行われる。
【０１２６】
また、例えば、主カメラ画像の特徴が、学習型解像度補間における学習時に用いられた教師画像の特徴に近似する場合には、学習型解像度補間が行われる。
【０１２７】
さらに、例えば、主カメラ画像が、アニメーション、ＣＧ（Computer Graphics）、ゲーム用画像等のエッジを多く含む画像である場合には、特徴モデル型解像度補間が行われる。
【０１２８】
[解像度補間処理部の説明]
図１７は、図１５の解像度補間処理部８０の解像度補間処理を説明するフローチャートである。この解像度補間処理は、例えば、解像度補間処理部８０に図３の撮影部４１から副カメラ画像が供給されたとき、開始される。
【０１２９】
図１７のステップＳ７１において、解像度補間処理部８０の選択部８１は、受信部４３から供給される主カメラ画像と動作モードに基づいて、副カメラ画像に適した解像度補間処理を行う高解像度化部８２乃至８４のいずれかを選択する。解像度補間処理部８０は、選択された高解像度化部８２乃至８４を示す選択情報を高解像度化部８２乃至８４に供給する。
【０１３０】
ステップＳ７２において、高解像度化部８２は、選択部８１から供給される選択情報が高解像度化部８２を示す情報であるかどうかを判定する。ステップＳ７２で選択情報が高解像度化部８２を示す情報であると判定された場合、高解像度化部８２は、撮影部４１から供給される副カメラ画像に対して、再構成型解像度補間を行う。そして、高解像度化部８２は、再構成型解像度補間後の副カメラ画像を図３の送信部４２に供給し、処理を終了する。
【０１３１】
一方、ステップＳ７２で選択情報が高解像度化部８２を示す情報ではないと判定された場合、ステップＳ７４において、高解像度化部８３は、選択情報が高解像度化部８３を示す情報であるかどうかを判定する。
【０１３２】
ステップＳ７４で選択情報が高解像度化部８３を示す情報であると判定された場合、ステップＳ７５において、高解像度化部８３は、撮影部４１から供給される副カメラ画像に対して、学習型解像度補間を行う。そして、高解像度化部８３は、学習型解像度補間後の副カメラ画像を送信部４２に供給し、処理を終了する。
【０１３３】
一方、ステップＳ７４で選択情報が高解像度化部８３を示す情報ではないと判定された場合、即ち選択情報が高解像度化部８４を示す情報である場合、処理はステップＳ７６に進む。
【０１３４】
ステップＳ７６において、高解像度化部８４は、撮影部４１から供給される副カメラ画像に対して、特徴モデル型解像度補間を行う。そして、高解像度化部８４は、特徴モデル型解像度補間後の副カメラ画像を送信部４２に供給し、処理を終了する。
【０１３５】
以上のように、解像度補間処理部８０では、主カメラ画像と動作モードに基づいて選択された、再構成型解像度補間、学習型解像度補間、または特徴モデル型解像度補間が、副カメラ画像に対して行われるので、精度良く高解像度化を行うことができる。
【０１３６】
[主カメラ装置の画像処理の例]
図１８は、図２の主カメラ装置１１の画像処理部２６における画像処理の例を説明する図である。
【０１３７】
図１８に示すように、画像処理部２６における画像処理としては、例えば、手ぶれ補正処理、符号化処理等がある。
【０１３８】
手ぶれ補正処理は、主カメラ画像の手振れ補正を行い、副カメラ情報としての副カメラ画像を用いて、手振れ補正後の主カメラ画像の画枠付近の存在しない画素を補間する処理である。これにより、手振れ補正後の主カメラ画像の画質を高画質にすることができる。
【０１３９】
符号化処理は、副カメラ画像と主カメラ画像のGOPの位相をずらすように、副カメラ画像と主カメラ画像を符号化する処理である。これにより、副カメラ画像や主カメラ画像のGOPフリッカを軽減することができる。
【０１４０】
[符号化処理部の構成例]
図１９は、図２の画像処理部２６の一部を構成する符号化処理部１００の構成例を示すブロック図である。
【０１４１】
図１９の符号化処理部１００は、A/D変換部１１１、画面並べ替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可逆符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、加算部１２０、デブロックフィルタ１２１、フレームメモリ１２２、イントラ予測部１２３、動き予測・補償部１２４、選択部１２５、およびレート制御部１２６により構成される。図１９の符号化処理部１００は、主カメラ画像の一方に対して、イントラ予測または時間方向のインター予測を行い、主カメラ画像の他方と副カメラ画像に対して、イントラ予測または時間方向と視差方向のインター予測を行うことにより、圧縮符号化を行う。なお、以下では、イントラ予測または時間方向のインター予測が行われる主カメラ画像の一方を、ベース主カメラ画像といい、イントラ予測または時間方向と視差方向のインター予測が行われる主カメラ画像の他方を、ノンベース主カメラ画像という。
【０１４２】
具体的には、符号化処理部１００のA/D変換部１１１は、入力信号として入力されたフレーム単位の主カメラ画像および副カメラ画像をA/D変換し、画面並べ替えバッファ１１２に出力して記憶させる。画面並べ替えバッファ１１２は、記憶した表示の順番のフレーム単位の主カメラ画像および副カメラ画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替える。なお、このとき、主カメラ画像および副カメラ画像それぞれのGOPの位相がずれるように、GOPが設定される。画面並べ替えバッファ１１２は、並べ替え後の主カメラ画像および副カメラ画像を時刻ごとに順に、符号化対象の画像として、演算部１１３、イントラ予測部１２３、および動き予測・補償部１２４に出力する。
【０１４３】
演算部１１３は、選択部１２５から供給される予測画像と、画面並べ替えバッファ１１２から出力された符号化対象の画像の差分を演算する。具体的には、演算部１１３は、画面並べ替えバッファ１１２から出力された符号化対象の画像から、選択部１２５から供給される予測画像を減算する。演算部１１３は、減算の結果得られる画像を、残差情報として直交変換部１１４に出力する。なお、選択部１２５から予測画像が供給されない場合、演算部１１３は、画面並べ替えバッファ１１２から読み出された画像をそのまま残差情報として直交変換部１１４に出力する。
【０１４４】
直交変換部１１４は、演算部１１３からの残差情報に対して離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その結果得られる係数を量子化部１１５に供給する。
【０１４５】
量子化部１１５は、直交変換部１１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１１６に入力される。
【０１４６】
可逆符号化部１１６は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）をイントラ予測部１２３から取得し、最適インター予測モードを示す情報（以下、インター予測モード情報という）、動きベクトル、参照画像を特定する情報などを動き予測・補償部１２４から取得する。
【０１４７】
可逆符号化部１１６は、量子化部１１５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行い、その結果得られる情報を圧縮画像とする。また、可逆符号化部１１６は、イントラ予測モード情報、または、インター予測モード情報および動きベクトルなどを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。可逆符号化部１１６は、可逆符号化の結果得られるヘッダ情報が付加された圧縮画像を画像圧縮情報として蓄積バッファ１１７に供給し、蓄積させる。
【０１４８】
蓄積バッファ１１７は、可逆符号化部１１６から供給される画像圧縮情報を、一時的に記憶し、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
【０１４９】
また、量子化部１１５より出力された、量子化された係数は、逆量子化部１１８にも入力され、逆量子化された後、逆直交変換部１１９に供給される。
【０１５０】
逆直交変換部１１９は、逆量子化部１１８から供給される係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部１２０に供給する。
【０１５１】
加算部１２０は、逆直交変換部１１９から供給される復号対象の画像としての残差情報と、選択部１２５から供給される予測画像を加算して、局部的に復号された画像を得る。なお、選択部１２５から予測画像が供給されない場合、加算部１２０は、逆直交変換部１１９から供給される残差情報を局部的に復号された画像とする。加算部１２０は、局部的に復号された画像をデブロックフィルタ１２１に供給するとともに、参照画像としてイントラ予測部１２３に供給する。
【０１５２】
デブロックフィルタ１２１は、加算部１２０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１２１は、その結果得られる画像をフレームメモリ１２２に供給し、蓄積させる。フレームメモリ１２２に蓄積された画像は、参照画像として動き予測・補償部１２４に出力される。
【０１５３】
イントラ予測部１２３は、画面並べ替えバッファ１１２から読み出された符号化対象の画像と、加算部１２０から供給された参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測を行い、予測画像を生成する。
【０１５４】
また、イントラ予測部１２３は、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部１２３は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部１２３は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部１２５に供給する。イントラ予測部１２３は、選択部１２５から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部１１６に供給する。
【０１５５】
なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウェアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。
【０１５６】
具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。
【０１５７】
Cost(Mode)=D＋λ・R ・・・（１）
【０１５８】
Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
【０１５９】
一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（２）で表わされるコスト関数が各予測モードに対して算出される。
【０１６０】
Cost(Mode)=D＋QPtoQuant(QP)・Header_Bit ・・・（２）
【０１６１】
Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
【０１６２】
Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。なお、ここでは、コスト関数値の算出手法としてHigh Complexity モードが採用されるものとする。
【０１６３】
動き予測・補償部１２４は、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部１２４は、例えば、符号化対象がベース主カメラ画像のGOPの先頭以外の画像である場合、フレームメモリ１２２から、符号化対象と時刻の異なるベース主カメラ画像を参照画像として読み出す。一方、動き予測・補償部１２４は、例えば、符号化対象がノンベース主カメラ画像と副カメラ画像のGOPの先頭の画像である場合、フレームメモリ１２２から、符号化対象と同一の時刻のベース主カメラ画像を参照画像として読み出す。また、動き予測・補償部１２４は、例えば、符号化対象がノンベース主カメラ画像と副カメラ画像のGOPの先頭以外の画像である場合、フレームメモリ１２２から符号化対象と同一の時刻のベース主カメラ画像、および、異なる時刻かつ同一の視点の副カメラ画像を参照画像として読み出す。
【０１６４】
そして、動き予測・補償部１２４は、画面並べ替えバッファ１１２から供給される符号化対象の画像と、フレームメモリ１２２から読み出される参照画像に基づいて、所定のブロックごとに、候補となる全てのインター予測モードの動きベクトルを検出する。動き予測・補償部１２４は、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。
【０１６５】
このとき、動き予測・補償部１２４は、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部１２４は、最適インター予測モードのコスト関数値と、対応する予測画像を選択部１２５に供給する。また、動き予測・補償部１２４は、選択部１２５から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトルや参照画像を特定する情報などを可逆符号化部１１６に出力する。
【０１６６】
選択部１２５は、イントラ予測部１２３および動き予測・補償部１２４から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのいずれかを、最適予測モードに決定する。そして、選択部１２５は、最適予測モードの予測画像を、演算部１１３および加算部１２０に供給する。また、選択部１２５は、最適予測モードの予測画像の選択をイントラ予測部１２３または動き予測・補償部１２４に通知する。
【０１６７】
レート制御部１２６は、蓄積バッファ１１７に蓄積された画像圧縮情報に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１１５の量子化動作のレートを制御する。
【０１６８】
[第１の符号化処理の概略の説明]
図２０は、図１９の符号化処理部１００の符号化処理の概略を説明する図である。
【０１６９】
図２０に示すように、図１９の符号化処理部１００の符号化処理では、主カメラ画像と副カメラ画像それぞれのGOPの位相がずらされる。従って、副カメラ画像が、時間方向のインター予測を行えないGOPの先頭の画像である場合、その副カメラ画像に対して、時間方向のインター予測を用いて符号化されるベース主カメラ画像のGOPの先頭以外の画像を参照画像として、動き予測・補償処理を行うことができる。即ち、GOPの先頭の副カメラ画像に対して、GOPの先頭ではないベース主カメラ画像を用いて視差方向の予測を行うことができる。その結果、GOPの先頭の副カメラ画像で発生するフリッカを軽減することができる。なお、図示は省略するが、ノンベース主カメラ画像についても、副カメラ画像と同様である。
【０１７０】
［第１の符号化部の処理の説明］
図２１および図２２は、図１９の符号化処理部１００による符号化処理を説明するフローチャートである。この符号化処理は、例えば、入力信号としてフレーム単位の主カメラ画像や副カメラ画像が符号化処理部１００に入力されるたびに行われる。
【０１７１】
図２１のステップＳ１１１において、符号化処理部１００のA/D変換部１１１は、入力信号として入力されたフレーム単位の主カメラ画像や副カメラ画像をA/D変換し、画面並べ替えバッファ１１２に出力して記憶させる。
【０１７２】
ステップＳ１１２において、画面並べ替えバッファ１１２は、記憶した表示の順番のフレーム単位の主カメラ画像や副カメラ画像を、GOP構造に応じて、符号化のための順番に並べ替える。なお、このとき、主カメラ画像および副カメラ画像それぞれのGOPの位相がずれるように、GOPが設定される。画面並べ替えバッファ１１２は、並べ替え後の主カメラ画像や副カメラ画像を、符号化対象の画像として、演算部１１３、イントラ予測部１２３、および動き予測・補償部１２４に出力する。
【０１７３】
なお、以下のステップＳ１１３乃至Ｓ１２９の処理は、例えばマクロブロック単位で行われる。但し、ベース主カメラ画像のGOPの先頭フレームの先頭マクロブロック等の処理時には、ステップＳ１１３乃至Ｓ１１９およびＳ１２７の処理は行われず、先頭フレームの画像が残差情報および局部的に復号された画像とされる。また、ベース主カメラ画像のGOPの先頭フレームの先頭以外のマクロブロック等の処理時には、ステップＳ１１４の処理が行われず、ステップＳ１１５において最適イントラ予測モードが最適予測モードに決定される。
【０１７４】
ステップＳ１１３において、画面並べ替えバッファ１１２から読み出された符号化対象の画像と、加算部１２０から供給された参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測を行い、予測画像を生成する。また、イントラ予測部１２３は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部１２３は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部１２３は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部１２５に供給する。
【０１７５】
ステップＳ１１４において、動き予測・補償部１２４は、画面並べ替えバッファ１１２から読み出された符号化対象の画像と、フレームメモリ１２２から読み出された参照画像とに基づいて、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部１２４は、候補となる全てのインター予測モードに対してコスト関数値を算出する。そして、動き予測・補償部１２４は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。動き予測・補償部１２４は、最適インター予測モードで生成された予測画像、および、対応するコスト関数値を、選択部１２５に供給する。
【０１７６】
ステップＳ１１５において、選択部１２５は、イントラ予測部１２３および動き予測・補償部１２４から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、選択部１２５は、最適予測モードの予測画像を、演算部１１３および加算部１２０に供給する。
【０１７７】
ステップＳ１１６において、選択部１２５は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ１１６で最適予測モードが最適インター予測モードであると判定された場合、選択部１２５は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部１２４に通知する。これにより、動き予測・補償部１２４は、インター予測モード情報、対応する動きベクトルや参照画像を特定する情報などを可逆符号化部１１６に出力する。
【０１７８】
そして、ステップＳ１１７において、可逆符号化部１１６は、動き予測・補償部１２４から供給されるインター予測モード情報、動きベクトル、参照画像を特定する情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。そして、処理はステップＳ１１９に進む。
【０１７９】
一方、ステップＳ１１６で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、選択部１２５は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部１２３に通知する。これにより、イントラ予測部１２３は、イントラ予測モード情報を可逆符号化部１１６に供給する。
【０１８０】
そして、ステップＳ１１８において、可逆符号化部１１６は、イントラ予測部１２３から供給されるイントラ予測モード情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。そして、処理はステップＳ１１９に進む。
【０１８１】
ステップＳ１１９において、演算部１１３は、画面並べ替えバッファ１１２から供給される画像から、選択部１２５から供給される予測画像を減算する。演算部１１３は、減算の結果得られる画像を、残差情報として直交変換部１１４に出力する。
【０１８２】
ステップＳ１２０において、直交変換部１１４は、演算部１１３からの残差情報に対して直交変換を施し、その結果得られる係数を量子化部１１５に供給する。
【０１８３】
ステップＳ１２１において、量子化部１１５は、直交変換部１１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１１６と逆量子化部１１８に入力される。
【０１８４】
ステップＳ１２２において、可逆符号化部１１６は、量子化部１１５から供給される量子化された係数を可逆符号化し、その結果得られる情報を圧縮画像とする。そして、可逆符号化部１１６は、ステップＳ１１７またはＳ１１８の処理で生成されたヘッダ情報を圧縮画像に付加し、画像圧縮情報を生成する。
【０１８５】
図２１のステップＳ１２３において、可逆符号化部１１６は、画像圧縮情報を蓄積バッファ１１７に供給し、蓄積させる。
【０１８６】
ステップＳ１２４において、蓄積バッファ１１７は、蓄積されている画像圧縮情報を、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
【０１８７】
ステップＳ１２５において、逆量子化部１１８は、量子化部１１５から供給される量子化された係数を逆量子化する。
【０１８８】
ステップＳ１２６において、逆直交変換部１１９は、逆量子化部１１８から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１２０に供給する。
【０１８９】
ステップＳ１２７において、加算部１２０は、逆直交変換部１１９から供給される残差情報と、選択部１２５から供給される予測画像を加算し、局部的に復号された画像を得る。加算部１２０は、得られた画像をデブロックフィルタ１２１に供給するとともに、参照画像としてイントラ予測部１２３に供給する。
【０１９０】
ステップＳ１２８において、デブロックフィルタ１２１は、加算部１２０から供給される局部的に復号された画像に対してフィルタリングを行うことにより、ブロック歪を除去する。
【０１９１】
ステップＳ１２９において、デブロックフィルタ１２１は、フィルタリング後の画像をフレームメモリ１２２に供給し、蓄積させる。フレームメモリ１２２に蓄積された画像は、参照画像として動き予測・補償部１２４に出力される。そして、処理は終了する。
【０１９２】
[符号化処理部の他の構成例]
図２３は、図２の画像処理部２６の一部を構成する符号化処理部１００の他の構成例を示すブロック図である。
【０１９３】
図２３に示す構成のうち、図１９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１９４】
図２３の符号化処理部１００の構成は、主に、動き予測・補償部１２４の代わりに動き予測・補償部１４１が設けられている点、および、フリッカ検出部１４２が新たに設けられている点が図１９の構成と異なる。図２３の符号化処理部１００は、GOPの先頭のノンベース主カメラ画像または副カメラ画像でフリッカの発生が予測される場合、そのノンベース主カメラ画像または副カメラ画像の1つ前のノンベース主カメラ画像または副カメラ画像に対して、ベース主カメラ画像を用いた視差方向の予測を行う。
【０１９５】
具体的には、図２３の符号化処理部１００の動き予測・補償部１４１は、フリッカ検出部１４２から供給される、フリッカの発生が予測されるかどうかを表すフリッカ情報に基づいて、候補となる全てのインター予測モードの動き予測・補償処理を行う。より詳細には、フリッカ情報が、フリッカの発生が予測されることを表す場合、動き予測・補償部１４１は、フレームメモリ１２２から、現在の符号化対象と同一時刻のベース主カメラ画像を参照画像として読み出す。一方、フリッカ情報が、フリッカの発生が予測されないことを表す場合、動き予測・補償部１４１は、フレームメモリ１２２から動き予測・補償部１２４と同様の参照画像を読み出す。
【０１９６】
そして、動き予測・補償部１４１は、動き予測・補償部１２４と同様に、画面並べ替えバッファ１１２から供給される符号化対象の画像と、フレームメモリ１２２から読み出される参照画像に基づいて、所定のブロックごとに、候補となる全てのインター予測モードの動きベクトルを検出する。動き予測・補償部１４１は、動き予測・補償部１２４と同様に、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。
【０１９７】
このとき、動き予測・補償部１４１は、動き予測・補償部１２４と同様に、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部１４１は、動き予測・補償部１２４と同様に、最適インター予測モードのコスト関数値と、対応する予測画像を選択部１２５に供給する。また、動き予測・補償部１４１は、動き予測・補償部１２４と同様に、選択部１２５から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトルや参照画像を特定する情報などを可逆符号化部１１６に出力する。
【０１９８】
フリッカ検出部１４２は、予測部として機能する。具体的には、フリッカ検出部１４２は、画面並べ替えバッファ１１２から供給される符号化対象の画像を保持する。フリッカ検出部１４２は、符号化対象の画像がGOPの終端の副カメラ画像である場合、保持されている、GOPの終端の副カメラ画像と、その副カメラ画像より前の同一視点の副カメラ画像を用いて、そのGOPの終端の副カメラ画像より１つ後のGOPの先頭の副カメラ画像におけるフリッカの発生を予測する。
【０１９９】
例えば、フリッカ検出部１４２は、GOPの終端の副カメラ画像と、その副カメラ画像より前の同一視点の副カメラ画像を用いて動きを検出する。そして、その動きが比較的少ない場合、フリッカ検出部１４２は、そのGOPの終端の副カメラ画像より１つ後のGOPの先頭の副カメラ画像におけるフリッカの発生を予測する。同様に、フリッカ検出部１４２は、符号化対象の画像がGOPの終端のノンベース主カメラ画像である場合、フリッカの発生を予測する。フリッカ検出部１４２は、予測結果を表すフリッカ情報を、動き予測・補償部１４１に供給する。
【０２００】
［第２の符号化処理の概略の説明］
図２４は、図２３の符号化処理部１００の符号化処理の概略を説明する図である。
【０２０１】
図２４に示すように、図２３の符号化処理部１００の符号化処理では、図１９の符号化処理部１００の符号化処理と同様に、主カメラ画像と副カメラ画像それぞれのGOPの位相がずらされる。従って、GOPの先頭の副カメラ画像に対して、GOPの先頭ではないベース主カメラ画像を用いて視差方向の予測を行うことができる。
【０２０２】
また、図２３の符号化処理部１００の符号化処理では、GOPの先頭の副カメラ画像においてフリッカの発生が予測される。そして、フリッカの発生が予測される場合、GOPの先頭の副カメラ画像より1つ前の副カメラ画像に対して、視差方向の予測が行われる。
【０２０３】
以上により、GOPの先頭の副カメラ画像、および、その副カメラ画像より1つ前の副カメラ画像の両方において、視差方向の予測による歪みが発生するので、GOPの先頭の副カメラ画像におけるフリッカをより軽減することができる。なお、図示は省略するが、ノンベース主カメラ画像についても、副カメラ画像と同様である。
【０２０４】
［第２の符号化部の処理の説明］
図２３の符号化処理部１００の符号化処理は、動き予測・補償処理を除いて図２１および図２２の符号化処理と同様であるので、動き予測・補償処理についてのみ説明する。
【０２０５】
図２５は、図２３の符号化処理部１００の動き予測・補償処理の詳細を説明するフローチャートである。
【０２０６】
図２５のステップＳ１６１において、フリッカ検出部１４２は、符号化対象の画像がノンベース主カメラ画像または副カメラ画像であるかどうかを判定する。ステップＳ１６１で符号化対象の画像がノンベース主カメラ画像または副カメラ画像であると判定された場合、フリッカ検出部１４２は、画面並べ替えバッファ１１２から供給される符号化対象の画像を保持する。
【０２０７】
そして、ステップＳ１６２において、フリッカ検出部１４２は、符号化対象の画像がGOPの先頭のノンベース主カメラ画像または副カメラ画像であるかどうかを判定する。ステップＳ１６２で符号化対象の画像がGOPの先頭のノンベース主カメラ画像および副カメラ画像ではないと判定された場合、ステップＳ１６３において、フリッカ検出部１４２は、符号化対象の画像がGOPの終端のノンベース主カメラ画像または副カメラ画像であるかどうかを判定する。
【０２０８】
ステップＳ１６３で符号化対象の画像がGOPの終端のノンベース主カメラ画像または副カメラ画像であると判定された場合、フリッカ検出部１４２は、画面並べ替えバッファ１１２から供給される符号化対象の画像を保持し、処理をステップＳ１６４に進める。
【０２０９】
ステップＳ１６４において、フリッカ検出部１４２は、保持している符号化対象の画像と、その画像より１つ前の同一視点のノンベース主カメラ画像または副カメラ画像を用いて、符号化対象の画像より１つ後のGOPの先頭のノンベース主カメラ画像または副カメラ画像でフリッカが発生するかどうかを判定する。
【０２１０】
ステップＳ１６４でフリッカが発生すると判定された場合、フリッカ検出部１４２は、フリッカの発生が予測されることを表すフリッカ情報を動き予測・補償部１４１に供給し、処理をステップＳ１６５に進める。
【０２１１】
一方、ステップＳ１６２で符号化対象の画像がGOPの先頭のノンベース主カメラ画像または副カメラ画像であると判定された場合、処理はステップＳ１６５に進む。
【０２１２】
ステップＳ１６５において、動き予測・補償部１４１は、フレームメモリ１２２から符号化対象の画像と同一時刻のベース主カメラ画像を参照画像として読み出し、処理をステップＳ１６９に進める。
【０２１３】
一方、ステップＳ１６３で符号化対象の画像がGOPの終端のノンベース主カメラ画像または副カメラ画像ではないと判定された場合、即ち、符号化対象の画像がGOPの先頭および終端以外のノンベース主カメラ画像または副カメラ画像である場合、処理はステップＳ１６６に進む。
【０２１４】
ステップＳ１６６において、動き予測・補償部１４１は、フレームメモリ１２２から符号化対象の画像と同一時刻のベース主カメラ画像および異なる時刻の同一視点のノンベース主カメラ画像または副カメラ画像を読み出し、処理をステップＳ１６９に進める。
【０２１５】
また、ステップＳ１６１で符号化対象の画像がノンベース主カメラ画像または副カメラ画像ではないと判定された場合、即ち符号化対象の画像がベース主カメラ画像である場合、処理はステップＳ１６７に進む。ステップＳ１６７において、動き予測・補償部１４１は、符号化対象の画像がGOPの先頭のベース主カメラ画像であるかどうかを判定する。
【０２１６】
ステップＳ１６７で符号化対象の画像がGOPの先頭のベース主カメラ画像ではないと判定された場合、即ち、符号化対象の画像がGOPの先頭以外のベース主カメラ画像である場合、処理はステップＳ１６８に進む。ステップＳ１６８において、動き予測・補償部１４１は、異なる時刻のベース主カメラ画像を参照画像として読み出し、処理をステップＳ１６９に進める。
【０２１７】
ステップＳ１６９において、動き予測・補償部１４１は、画面並べ替えバッファ１１２から供給される符号化対象の画像と、フレームメモリ１２２から読み出される参照画像に基づいて、候補となる全てのインター予測モードの予測画像を生成する。このとき、動き予測・補償部１４１は、候補となる全てのインター予測モードに対してコスト関数値を算出する。
【０２１８】
ステップＳ１７０において、動き予測・補償部１４１は、候補となる全てのインター予測モードに対するコスト関数値の最小値に対応するインター予測モードを最適インター予測モードに決定し、処理を終了する。
【０２１９】
一方、ステップＳ１６７で符号化対象の画像がGOPの先頭のベース主カメラ画像であると判定された場合、処理は終了する。
【０２２０】
なお、図２３の符号化処理部１００は、フリッカを軽減するように符号化処理を行ったが、通常の符号化処理を行い、フリッカ情報を復号装置に伝送するようにしてもよい。この場合、復号装置において、フリッカ情報に基づいてフリッカを軽減する処理が行われる。
【０２２１】
また、図２３の符号化処理部１００は、マクロブロック単位でフリッカの発生を予測するようにしてもよい。この場合、図２５のステップＳ１６４乃至Ｓ１６６の処理がマクロブロック単位で行われる。
【０２２２】
さらに、図２３の符号化処理部１００は、各副カメラ画像を用いて各副カメラ画像のフリッカの発生を予測したが、主カメラ画像を用いて各副カメラ画像のフリッカの発生を予測してもよい。また、図２３の符号化処理部１００は、フリッカの発生を予測した場合、GOPの先頭のノンベース主カメラ画像または副カメラ画像より1つ前のノンベース主カメラ画像または副カメラ画像に対して、視差方向の予測を行ったが、GOPの先頭のノンベース主カメラ画像または副カメラ画像より前の複数のノンベース主カメラ画像または副カメラ画像に対して、視差方向の予測を行うようにしてもよい。
【０２２３】
また、上述した図１９や図２３符号化処理部１００では、主カメラ画像と副カメラ画像の解像度が同一であるものとしたが、主カメラ画像と副カメラ画像の解像度は異なるようにしてもよい。また、時間方向のインター予測のみを行う画像を可変にし、副カメラ画像を用いて主カメラ画像の両方のフリッカも軽減するようにしてもよい。
【０２２４】
[本技術を適用したコンピュータの説明]
次に、上述した一連の少なくとも一部の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２２５】
そこで、図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２２６】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０９やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０２２７】
あるいはまた、プログラムは、リムーバブルメディア２１２に格納（記録）しておくことができる。このようなリムーバブルメディア２１２は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１２としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２２８】
なお、プログラムは、上述したようなリムーバブルメディア２１２からドライブ２１１を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０９にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２２９】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０２３０】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０９に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０２３１】
これにより、CPU２０１は、撮影部２０６により撮影された画像等に対する上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０８から出力、あるいは、通信部２１０から送信、さらには、記憶部２０９に記録等させる。
【０２３２】
なお、入力部２０７は、キーボードや、マウス、マイク等で構成される。また、出力部２０８は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２３３】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２３４】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２３５】
本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２３６】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２３７】
なお、本技術は、以下のような構成もとることができる。
（１）
３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部と、
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える
主の画像処理装置と、
前記送信部により送信された前記動作モードを受信する受信部と、
所定の１視点の画像を撮影する１視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部と
を備える
副の画像処理装置と
を備える画像処理システム。
（２）
４個の前記副の画像処理装置を備え、
４個の前記副の画像処理装置の前記移動制御部は、前記所定の１視点が、それぞれ、前記２視点の一方の視点の上、下、他方の視点の上、下で上下方向に移動するように、前記副の画像処理装置を移動させる
前記（１）に記載の画像処理システム。
（３）
前記１視点撮影部により撮影された前記所定の１視点の画像に対して画像処理を行う１視点画像処理部と、
前記２視点撮影部により撮影された前記２視点の画像に対して画像処理を行う２視点画像処理部と
をさらに備え、
前記１視点画像処理部は、前記２視点画像処理部により検出された前記２視点の画像の動きボケ量に基づいて、前記所定の１視点の画像に対して動きボケ補償処理を行う
前記（１）または（２）に記載の画像処理システム。
（４）
前記１視点画像処理部は、動きボケ補償処理後の前記所定の１視点の画像に対してフレーム補間処理を行う
前記（３）に記載の画像処理システム。
（５）
前記２視点撮影部により撮影された前記２視点の画像に対して画像処理を行う２視点画像処理部
をさらに備え、
前記移動制御部は、前記第１視点撮影部が、前記２視点画像処理部による画像処理の結果検出された注目点を撮影可能な位置に移動させる
前記（１）または（２）に記載の画像処理システム。
（６）
２個以上の前記副の画像処理装置を備え、
２個の前記副の画像処理装置の前記移動制御部は、前記所定の１視点が、それぞれ、前記２視点のうちの左側の視点の左、右側の視点の右で左右方向に移動するように、前記副の画像処理装置を移動させる
前記（１）、（２）、または（５）に記載の画像処理システム。
（７）
前記主の画像処理装置は、
前記画像処理システムの撮影モードを決定する撮影モード決定部
をさらに備え、
前記２視点撮影部は、前記撮影モードに対応する撮影に関するパラメータの値に基づいて、前記２視点の画像を撮影し、
前記送信部は、前記動作モードと前記撮影モードを送信し、
前記受信部は、前記動作モードと前記撮影モードを受信し、
前記第１視点撮影部は、前記受信部により受信された前記撮影モードに対応する、前記２視点撮影部における値とは異なる、前記撮影に関するパラメータの値に基づいて、前記所定の１視点の画像を撮影する
前記（１）乃至（６）のいずれかに記載の画像処理システム。
（８）
前記２視点撮影部により撮影された前記２視点の画像と、前記１視点撮影部により撮影された前記所定の１視点の画像とを、前記２視点の画像と前記所定の１視点の画像のGOP（Group Of Pictures）の位相がずれるように符号化する符号化部
をさらに備える
前記（１）乃至（７）のいずれかに記載の画像処理システム。
（９）
前記１視点撮影部により撮影された前記所定の１視点の画像において、フリッカの発生を予測する予測部
をさらに備え、
前記符号化部は、前記予測部によりフリッカの発生が予測された場合、フリッカの発生が予測された画像に対応するGOPの先頭より前の所定数の画像に対するインター予測において、視差方向の予測を行う
前記（８）に記載の画像処理システム。
（１０）
前記１視点撮影部により撮影された前記所定の１視点の画像に対して画像処理を行う１視点画像処理部
をさらに備え、
前記送信部は、さらに、前記第２視点撮影部により撮影された前記２視点の画像を送信し、
前記受信部は、さらに、前記送信部により送信された前記２視点の画像を受信し、
前記１視点画像処理部は、前記受信部により受信された前記２視点の画像に基づいて選択された方法で、前記所定の１視点の画像を高解像度化する
前記（１）、（２）、または（５）乃至（９）のいずれかに記載の画像処理システム。
（１１）
前記１視点画像処理部は、前記２視点の画像および前記動作モードに基づいて選択された方法で、前記所定の１視点の画像を高解像度化する
前記（１０）に記載の画像処理システム。
（１２）
画像処理システムの３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部を備える主の画像処理装置が、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含み、
所定の１視点の画像を撮影する１視点撮影部を備える副の画像処理装置が、
前記送信ステップの処理により送信された前記動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御ステップと
を含む
画像処理方法。
（１３）
３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部と、
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える画像処理装置。
（１４）
画像処理装置が、
３Ｄ画像を構成する２視点の画像を撮影する２視点撮影ステップと、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含む画像処理方法。
（１５）
動作モードを受信する受信部と、
所定の１視点の画像を撮影する１視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部と
を備える画像処理装置。
（１６）
所定の１視点の画像を撮影する１視点撮影部を備える画像処理装置が、
動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御ステップと
を含む画像処理方法。
【符号の説明】
【０２３８】
１０ 画像処理システム， １１ 主カメラ装置， １２ 副カメラ装置， ２２ 動作モード決定部， ２３ 送信部， ２４ 撮影モード決定部， ２５ 撮影部， ２６ 画像処理部， ４１ 撮影部， ４３ 受信部， ４４ 移動制御部， ４５ 画像処理部， ６２ 動きボケ補償部， ６３ 補間部， ８０ 解像度補間処理部， ８２乃至８４ 高解像度化部， １００ 符号化処理部， １４２ フリッカ検出部
【技術分野】
【０００１】
本技術は、画像処理システム、画像処理装置、および画像処理方法に関し、特に、安価で多視点の画像を撮影することができるようにした画像処理システム、画像処理装置、および画像処理方法に関する。
【背景技術】
【０００２】
従来、多視点の画像を撮影する撮影システムでは、例えば、視点ごとに同一の機能を有するカメラが設けられていた（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２５６８９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、視点ごとに同一の機能を有するカメラが設けられる場合、視点数が多いと製造コストが高くなる。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、安価で多視点の画像を撮影することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の第１の側面の画像処理システムは、３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部と、動作モードを決定する動作モード決定部と、前記動作モード決定部により決定された前記動作モードを送信する送信部とを備える主の画像処理装置と、前記送信部により送信された前記動作モードを受信する受信部と、所定の１視点の画像を撮影する１視点撮影部と、前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部とを備える副の画像処理装置とを備える画像処理システムである。
【０００７】
本技術の第１の側面の画像処理方法は、本技術の第１の側面の画像処理システムに対応する。
【０００８】
本技術の第１の側面においては、主の画像処理装置により、３Ｄ画像を構成する２視点の画像が撮影され、動作モードが決定され、決定された前記動作モードが送信される。また、副の画像処理装置により、送信された前記動作モードが受信され、所定の１視点の画像が撮影され、受信された前記動作モードに応じて、前記所定の１視点の画像を撮影する１視点撮影部が移動される。
【０００９】
本技術の第２の側面の画像処理装置は、３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部と、動作モードを決定する動作モード決定部と、前記動作モード決定部により決定された前記動作モードを送信する送信部とを備える画像処理装置である。
【００１０】
本技術の第２の側面においては、３Ｄ画像を構成する２視点の画像が撮影され、動作モードが決定され、決定された前記動作モードが送信される。
【００１１】
本技術の第３の側面の画像処理装置は、動作モードを受信する受信部と、所定の１視点の画像を撮影する１視点撮影部と、前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部とを備える画像処理装置である。
【００１２】
本技術の第３の側面においては、動作モードが受信され、所定の１視点の画像が撮影され、前記動作モードに応じて前記所定の１視点の画像を撮影する１視点撮影部が移動される。
【００１３】
なお、第１の側面の画像処理システム並びに第２および第３の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
【００１４】
また、第１の側面の画像処理システム並びに第２および第３の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１５】
本技術の第１の側面によれば、安価で多視点の画像を撮影することができる。
【００１６】
本技術の第２の側面によれば、安価で多視点の画像を撮影することが可能であるように制御を行うことができる。
【００１７】
本技術の第３の側面によれば、安価で多視点の画像を撮影することが可能であるように、所定の１視点の画像を撮影することができる。
【図面の簡単な説明】
【００１８】
【図１】本技術を適用した画像処理システムの一実施の形態の外観構成例を示す図である。
【図２】図１の主カメラ装置の内部構成例を示すブロック図である。
【図３】図１の副カメラ装置の内部構成例を示すブロック図である。
【図４】図１の画像処理システムの動作モードの例を示す図である。
【図５】超広角画像モード時の副カメラ装置の移動を説明する図である。
【図６】注目点高解像度化モード時の副カメラ装置の移動を説明する図である。
【図７】超多視点画像モード時の副カメラ装置の移動の第１の例を説明する図である。
【図８】超多視点画像モード時の副カメラ装置の移動の第２の例を説明する図である。
【図９】図１の画像処理システムの撮影モードの例を示す図である。
【図１０】図２の主カメラ装置の撮影処理を説明するフローチャートである。
【図１１】図３の副カメラ装置の撮影処理を説明するフローチャートである。
【図１２】図３の画像処理部における画像処理の例を説明する図である。
【図１３】超多視点画像処理部の構成例を示すブロック図である
【図１４】超多視点画像処理を説明するフローチャートである。
【図１５】解像度補間処理部の構成例を示すブロック図である。
【図１６】図１５の解像度補間処理部の処理の概略を説明する図である。
【図１７】解像度補間処理を説明するフローチャートである。
【図１８】図２の画像処理部における画像処理の例を説明する図である。
【図１９】符号化処理部の構成例を示すブロック図である。
【図２０】図１９の符号化処理部の符号化処理の概略を説明する図である。
【図２１】図１９の符号化処理部による符号化処理を説明するフローチャートである。
【図２２】図１９の符号化処理部による符号化処理を説明するフローチャートである。
【図２３】符号化処理部の他の構成例を示すブロック図である。
【図２４】図２３の符号化処理部の符号化処理の概略を説明する図である。
【図２５】動き予測・補償処理の詳細を説明するフローチャートである。
【図２６】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００１９】
＜一実施の形態＞
［画像処理システムの一実施の形態の外観構成例］
図１は、本技術を適用した画像処理システムの一実施の形態の外観構成例を示す図である。
【００２０】
なお、図１は、通常の使用状態における画像処理システム１０を側面から見た図である。以下では、図１の上下方向を垂直方向といい、左右方向を水平方向という。
【００２１】
図１の画像処理システム１０は、主カメラ装置１１と、副カメラ装置１２−１乃至１２−４とにより構成される。
【００２２】
主カメラ装置１１は、主の画像処理装置として機能し、左目用の画像（以下、左目画像という）と右目用の画像（以下、右目画像という）からなる３Ｄ画像を撮影する装置である。主カメラ装置１１は、左目画像を撮影する左目カメラ１１−１、右目画像を撮影する右目カメラ１１−２などにより構成される。
【００２３】
副カメラ装置１２−１乃至１２−４は、副の画像処理装置として機能し、主カメラ装置１１に対して自由に移動可能な装置である。また、副カメラ装置１２−１乃至１２−４は、主カメラ装置１１に比べて低機能であり、安価な装置である。なお、以下では、副カメラ装置１２−１乃至１２−４を特に区別する必要がない場合、副カメラ装置１２という。
【００２４】
［主カメラ装置の内部構成例］
図２は、図１の主カメラ装置１１の内部構成例を示すブロック図である。
【００２５】
図２に示すように、主カメラ装置１１は、入力部２１、動作モード決定部２２、送信部２３、撮影モード決定部２４、撮影部２５、画像処理部２６、および受信部２７により構成される。
【００２６】
主カメラ装置１１の入力部２１は、ユーザからの指示を受け付け、その指示を動作モード決定部２２および撮影モード決定部２４に供給する。
【００２７】
動作モード決定部２２は、入力部２１から供給される指示に応じて、画像処理システム１０の動作モードを決定し、送信部２３に供給する。
【００２８】
送信部２３は、主カメラ装置１１の情報である主カメラ情報を、副カメラ装置１２に送信する。なお、主カメラ情報は、動作モード決定部２２からの動作モード、撮影モード決定部２４からの画像処理システム１０の撮影モード、撮影部２５からの主カメラ画像、画像処理部２６からの画像処理情報などにより構成される。
【００２９】
撮影モード決定部２４は、入力部２１から供給される指示に応じて、画像処理システム１０の撮影モードを決定し、送信部２３と撮影部２５に供給する。
【００３０】
撮影部２５は、左目カメラ１１−１と右目カメラ１１−２により構成され、２視点撮影部として機能する。左目カメラ１１−１は、撮影モード決定部２４から供給される撮影モードに応じて、焦点距離、被写界深度等の撮影に関するパラメータである撮影パラメータの値を決定する。左目カメラ１１−１は、その撮影パラメータの値に基づいて所定の１視点の画像を撮影し、その結果得られる画像を左目画像とする。
【００３１】
また、右目カメラ１１−２は、左目カメラ１１−１と同様に、撮影モードに応じて撮影パラメータの値を決定する。右目カメラ１１−２は、その撮影パラメータの値に基づいて、左目カメラ１１−１とは異なる所定の１視点の画像を撮影し、その結果得られる画像を右目画像とする。そして、撮影部２５は、左目画像と右目画像からなる３Ｄ画像を主カメラ画像として、送信部２３と画像処理部２６に供給する。
【００３２】
画像処理部２６は、２視点画像処理部として機能し、撮影部２５から供給される主カメラ画像に対して、各種の画像処理を行う。このとき、画像処理部２６は、必要に応じて、受信部２７から供給される副カメラ装置１２の情報である副カメラ情報を用いる。画像処理部２６は、画像処理の結果得られる情報である画像処理情報を送信部２３に供給する。
【００３３】
受信部２７は、副カメラ装置１２から送信されてくる副カメラ情報を受信し、画像処理部２６に供給する。
【００３４】
［副カメラ装置の内部構成例］
図３は、図１の副カメラ装置１２の内部構成例を示すブロック図である。
【００３５】
図３に示すように、副カメラ装置１２は、撮影部４１、送信部４２、受信部４３、移動制御部４４、および画像処理部４５により構成される。
【００３６】
副カメラ装置１２の撮影部４１は、受信部４３から供給される主カメラ情報に含まれる撮影モードに応じて撮影パラメータの値を決定する。撮影部４１は、１視点撮影部として機能し、撮影パラメータの値に基づいて所定の１視点の画像を撮影する。撮影部４１は、その結果得られる画像を副カメラ画像として送信部４２および画像処理部４５に供給する。
【００３７】
送信部４２は、撮影部４１から供給される副カメラ画像、画像処理部４５から供給される画像処理後の副カメラ画像などを、副カメラ情報として、主カメラ装置１１に送信する。
【００３８】
受信部４３は、主カメラ装置１１から送信されてくる主カメラ情報を受信する。受信部４３は、主カメラ情報に含まれる撮影モードを撮影部４１に供給し、動作モード、画像処理情報などを移動制御部４４に供給する。また、受信部４３は、主カメラ情報に含まれる主カメラ画像、画像処理情報、および動作モードを画像処理部４５に供給する。
【００３９】
移動制御部４４は、受信部４３から供給される動作モードに応じて、副カメラ装置１２の移動を制御する。このとき、移動制御部４４は、必要に応じて、受信部４３から供給される画像処理情報を用いる。
【００４０】
画像処理部４５は、１視点画像処理部として機能し、撮影部４１から供給される副カメラ画像に対して画像処理を行う。このとき、画像処理部４５は、必要に応じて、受信部４３から供給される主カメラ画像、画像処理情報、および動作モードを用いる。画像処理部４５は、画像処理後の副カメラ画像を送信部４２に供給する。
【００４１】
［動作モードの例］
図４は、図１の画像処理システム１０の動作モードの例を示す図である。
【００４２】
図４に示すように、画像処理システム１０の動作モードとしては、超広角画像モード、注目点高解像度化モード、超多視点画像モードなどがある。
【００４３】
超広角画像モードとは、水平方向に並ぶ多視点の画像を撮影し、各視点の画像を合成することにより広角の画像を生成するモードである。従って、超広角画像モード時には、副カメラ装置１２は、主カメラ装置１１と垂直方向の位置が略同一であり、水平方向の位置が所定の位置である位置を開始位置とし、その開始位置から副カメラ装置１２を水平方向に移動させる。これにより、画像処理システム１０自体を移動させずに、超広角画像を撮影することができる。
【００４４】
注目点高解像度化モードとは、主カメラ装置１１における画像処理で検出された注目点を高解像度で撮影し、３Ｄ画像の他に、注目点の複数視点の画像を生成するモードである。従って、注目点高解像度化モード時には、副カメラ装置１２は、画像処理情報としての注目点の位置に基づいて、その注目点を撮影可能な位置に副カメラ装置１２を移動させる。これにより、ユーザの所望の領域の複数視点の画像を高解像度で撮影することができる。
【００４５】
超多視点画像モードとは、左目画像の視点（以下、左視点という）および右目画像の視点（以下、右視点という）それぞれの上下の視点の画像を撮影し、水平方向および垂直方向の位置の異なる視点の画像からなる３Ｄ画像を生成するモードである。従って、超多視点画像モード時には、副カメラ装置１２は、副カメラ装置１２を水平方向および垂直方向に高速移動させる。
【００４６】
具体的には、副カメラ装置１２は、主カメラ装置１１と垂直方向の位置が略同一であり、水平方向の位置が所定の位置である位置を開始位置とし、その開始位置から副カメラ装置１２を水平方向に高速移動させることと、主カメラ装置１１と水平方向の位置が略同一であり、垂直方向の位置が所定の位置である位置を開始位置とし、その開始位置から副カメラ装置１２を垂直方向に高速移動させることを繰り返す。これにより、上下左右に首を移動しても裸眼で視認可能な自然な３Ｄ画像を撮影することができる。
【００４７】
［各動作モード時の副カメラ装置の移動の説明］
図５は、超広角画像モード時の副カメラ装置１２の移動を説明する図である。
【００４８】
図５に示すように、画像処理システム１０の動作モードが超広角画像モードである場合、まず、副カメラ装置１２は、主カメラ装置１１と垂直方向の位置が略同一であり、水平方向の位置が所定の位置である開始位置に副カメラ装置１２を移動させる。その結果、図５の例では、副カメラ装置１２−１および副カメラ装置１２−２が、主カメラ装置１１の左側の上下に位置し、副カメラ装置１２−３および副カメラ装置１２−４が、主カメラ装置１１の右側の上下に位置する。次に、副カメラ装置１２は、開始位置から水平方向に副カメラ装置１２を移動させる。即ち、副カメラ装置１２−１および１２−２の視点が、左視点の左で左右方向に移動し、副カメラ装置１２−３および１２−４の視点が、右視点の右で左右方向に移動する。
【００４９】
図６は、注目点高解像度化モード時の副カメラ装置１２の移動を説明する図である。
【００５０】
図６に示すように、画像処理システム１０の動作モードが注目点高解像度化モードである場合、副カメラ装置１２は、主カメラ装置１１における画像処理で検出された注目点を撮影可能な位置に副カメラ装置１２を移動させる。
【００５１】
図７は、超多視点画像モード時の副カメラ装置１２の移動の第１の例を説明する図である。
【００５２】
図７の例では、画像処理システム１０の動作モードが超多視点画像モードである場合、まず、副カメラ装置１２は、図５に示したように、開始位置から水平方向に副カメラ装置１２を移動させる。
【００５３】
次に、副カメラ装置１２は、主カメラ装置１１と水平方向の位置が略同一であり、垂直方向の位置が所定の位置である開始位置に副カメラ装置１２を移動させる。その結果、図７の例では、副カメラ装置１２−１および副カメラ装置１２−２の水平方向の位置が、主カメラ装置１１の左目カメラ１１−１の中心と同一になり、垂直方向の位置が左目カメラ１１−１の上または下になる。また、副カメラ装置１２−３および副カメラ装置１２−４の水平方向の位置が、右目カメラ１１−２の中心と同一になり、垂直方向の位置が右目カメラ１１−２の上または下になる。そして、副カメラ装置１２は、その開始位置から垂直方向に副カメラ装置１２を移動させる。即ち、副カメラ装置１２−１乃至１２−４の視点が、それぞれ、左視点の上、下、右視点の上、下で上下方向に移動する。
【００５４】
図８は、超多視点画像モード時の副カメラ装置１２の移動の第２の例を説明する図である。
【００５５】
図８の例では、画像処理システム１０の動作モードが超多視点画像モードである場合、まず、副カメラ装置１２は、図５に示した開始位置を水平方向の開始位置とし、その開始位置に副カメラ装置１２を移動させる。その後、図７に示した開始位置を垂直方向の開始位置とし、その開始位置に副カメラ装置１２を移動させる。次に、副カメラ装置１２は、水平方向の開始位置と水平方向の位置が異なる位置に副カメラ装置１２を移動させ、次に、垂直方向の開始位置と垂直方向の位置が異なる位置に副カメラ装置１２を移動させる。以降も同様にして、副カメラ装置１２は、主カメラ装置１１と垂直方向の位置が略同一である位置と、左目カメラ１１−１または右目カメラ１１−２と水平方向の位置が略同一である位置に交互に副カメラ装置１２を移動させる。
【００５６】
これにより、図７の場合のように、水平方向および垂直方向のいずれか一方の移動が行われている際に、他方の移動による副カメラ画像が長時間得られないことを防止することができる。即ち、図７の場合に比べて、連続して撮影される水平方向の撮影位置が異なる副カメラ画像どうしの時間間隔の最大値と、垂直方向の撮影位置が異なる副カメラ画像どうしの時間間隔の最大値を短くすることができる。その結果、例えば、副カメラ画像に対して、その副カメラ画像を用いた高精度のフレーム補間処理を行うことができる。
【００５７】
［撮影モードの例］
図９は、図１の画像処理システム１０の撮影モードの例を示す図である。
【００５８】
図９に示すように、画像処理システム１０の撮影モードとしては、動的被写界深度モードなどがある。
【００５９】
動的被写界深度モードとは、主カメラ装置１１および副カメラ装置１２それぞれの焦点距離および被写界深度が異なるように撮影するモードである。撮影モードが動的被写界深度モードである場合、例えば、主カメラ装置１１は、パンフォーカス撮影を行い、副カメラ装置１２は、テレ端やワイド端で撮影を行う。
【００６０】
動的被写界深度モード時、画像処理システム１０は、フォーカスや被写界深度の異なる画像を撮影することができる。例えば、１眼レフカメラで撮影したときのようなボケ味のある画像と、コンパクトデジタルカメラで撮影したときのような被写界深度の深い画像を撮影することができる。
【００６１】
［主カメラ装置の撮影処理の説明］
図１０は、図２の主カメラ装置１１の撮影処理を説明するフローチャートである。この撮影処理は、例えば、主カメラ装置１１の入力部２１が、ユーザからの撮影開始の指示を受け付けたとき、開始される。
【００６２】
図１０のステップＳ１１において、動作モード決定部２２は、入力部２１を介して供給されるユーザからの指示に応じて、超広角画像モード、注目点高解像度化モード、超多視点画像モード等のいずれかに動作モードを決定し、送信部２３に供給する。
【００６３】
ステップＳ１２において、撮影モード決定部２４は、入力部２１を介して供給されるユーザからの指示に応じて、動的被写界深度モード、通常モード等のいずれかに撮影モードを決定し、送信部２３に供給する。なお、通常モードとは、主カメラ装置１１および副カメラ装置１２の焦点距離と被写界深度が同一であるように撮影するモードである。
【００６４】
ステップＳ１３において、撮影部２５の左目カメラ１１−１および右目カメラ１１−２は、撮影モード決定部２４から供給される撮影モードに応じて撮影パラメータの値を設定する。
【００６５】
ステップＳ１４において、撮影部２５の左目カメラ１１−１および右目カメラ１１−２は、撮影パラメータに基づく撮影を開始する。左目カメラ１１−１および右目カメラ１１−２は、撮影の結果得られる左目画像と右目画像からなる３Ｄ画像を主カメラ画像として、送信部２３と画像処理部２６に供給する。
【００６６】
ステップＳ１５において、動作モード決定部２２は、動作モードが注目点高解像度化モードであるかどうかを判定する。
【００６７】
ステップＳ１５で動作モードが注目点高解像度化モードであると判定された場合、ステップＳ１６において、画像処理部２６は、撮影部２５から供給される主カメラ画像の注目点を検出し、注目点の位置を表す情報を画像処理情報として送信部２３に供給する。そして処理はステップＳ１７に進む。
【００６８】
一方、ステップＳ１５で動作モードが注目点高解像度化モードではないと判定された場合、処理はステップＳ１７に進む。
【００６９】
ステップＳ１７において、送信部２３は、動作モード決定部２２からの動作モード、撮影モード決定部２４からの撮影モード、および画像処理部２６からの画像処理情報などを、主カメラ情報として副カメラ装置１２に送信する。
【００７０】
ステップＳ１８において、入力部２１は、ユーザにより動作モードの変更が指示されたかどうかを判定する。入力部２１は、ユーザからの動作モードの変更指示を受け付けた場合、ステップＳ１８でユーザにより動作モードの変更が指示されたと判定して、その指示を動作モード決定部２２に供給し、処理をステップＳ１９に進める。
【００７１】
ステップＳ１９において、動作モード決定部２２は、入力部２１から供給される動作モードの変更指示に応じて、動作モードを変更し、処理をステップＳ１５に戻す。
【００７２】
一方、入力部２１は、ユーザからの動作モードの変更指示を受け付けていない場合、ステップＳ１９でユーザにより動作モードの変更が指示されていないと判定し、処理をステップＳ２０に進める。
【００７３】
ステップＳ２０において、入力部２１は、ユーザにより撮影モードの変更が指示されたかどうかを判定する。入力部２１は、ユーザからの撮影モードの変更指示を受け付けた場合、ステップＳ２０でユーザにより撮影モードの変更が指示されたと判定して、その指示を撮影モード決定部２４に供給し、処理をステップＳ２１に進める。
【００７４】
ステップＳ２１において、撮影モード決定部２４は、入力部２１から供給される撮影モードの変更の指示に応じて、撮影モードを変更し、送信部２３と撮影部２５に供給する。
【００７５】
ステップＳ２２において、撮影部２５の左目カメラ１１−１および右目カメラ１１−２は、ステップＳ２１で撮影モード決定部２４から供給される変更後の撮影モードに応じて撮影パラメータの値を変更する。そして、処理はステップＳ１５に戻り、以降の処理が繰り返される。
【００７６】
一方、入力部２１は、ユーザからの撮影モードの変更指示を受け付けていない場合、ステップＳ２０でユーザにより撮影モードの変更が指示されていないと判定し、処理をステップＳ２３に進める。
【００７７】
ステップＳ２３において、入力部２１は、撮影を終了するかどうか、即ちユーザからの撮影終了の指示を受け付けたかどうかを判定する。ステップＳ２４で撮影を終了しないと判定された場合、処理はステップＳ１５に戻り、撮影を終了すると判定されるまで、ステップＳ１５乃至Ｓ２３の処理が繰り返される。
【００７８】
ステップＳ２３で撮影を終了すると判定された場合、ステップＳ２４において、撮影部２５の左目カメラ１１−１と右目カメラ１１−２は、ステップＳ１４で開始された撮影を停止する。また、送信部２３は、撮影の終了指令を副カメラ装置１２に送信する。そして撮影処理は終了する。
【００７９】
［副カメラ装置の撮影処理の説明］
図１１は、図３の副カメラ装置１２の撮影処理を説明するフローチャートである。この撮影処理は、例えば、主カメラ装置１１から主カメラ情報が送信されてきたとき、開始される。
【００８０】
図１１のステップＳ３１において、副カメラ装置１２の受信部４３は、主カメラ装置１１から主カメラ情報を受信する。受信部４３は、受信された動作モード、画像処理情報などを移動制御部４４に供給し、撮影モードを撮影部４１に供給する。
【００８１】
ステップＳ３２において、移動制御部４４は、受信部４３から供給される動作モードに応じた副カメラ装置１２の移動制御を開始する。このとき、動作モードが注目点高解像度化モードである場合には、移動制御部４４は、受信部４３から供給される画像処理情報としての注目点の位置を表す情報に基づいて、副カメラ装置１２の移動制御を行う。
【００８２】
ステップＳ３３において、撮影部４１は、受信部４３から供給される撮影モードに応じて撮影パラメータの値を決定し、その撮影パラメータの値に基づく撮影を開始する。撮影の結果得られる副カメラ画像は、送信部４２を介して副カメラ情報として送信されるか、または、画像処理部４５と送信部４２を介して副カメラ情報として送信される。
【００８３】
ステップＳ３４において、移動制御部４４は、動作モードが変更されたかどうか、即ち、受信部４３により受信される動作モードが変更されたかどうかを判定する。ステップＳ３４で動作モードが変更されたと判定された場合、処理は、ステップＳ３５に進む。
【００８４】
ステップＳ３５において、移動制御部４４は、変更後の動作モードに応じて移動制御を変更し、処理をステップＳ３４に戻す。
【００８５】
一方、ステップＳ３４で動作モードが変更されていないと判定された場合、ステップＳ３６において、撮影モードが変更されたかどうか、即ち、受信部４３により受信される撮影モードが変更されたかどうかを判定する。
【００８６】
ステップＳ３６で撮影モードが変更されたと判定された場合、処理はステップＳ３７に進む。ステップＳ３７において、撮影部４１は、変更後の撮影モードに応じて撮影パラメータの値を変更し、処理をステップＳ３４に戻す。
【００８７】
一方、ステップＳ３６で撮影モードが変更されていないと判定された場合、ステップＳ３８において、撮影部４１は、撮影を終了するかどうか、即ち主カメラ装置１１から撮影の終了指令が送信されてきたかどうかを判定する。ステップＳ３８で撮影を終了すると判定されない場合、処理はステップＳ３４に戻り、撮影を終了すると判定されるまで、ステップＳ３４乃至Ｓ３８の処理が繰り返される。
【００８８】
ステップＳ３８で撮影を終了すると判定された場合、ステップＳ３９において、撮影部４１は、撮影を停止する。
【００８９】
ステップＳ４０において、移動制御部４４は、副カメラ装置１２の移動制御を停止すし、処理を終了する。
【００９０】
以上のように、画像処理システム１０では、主カメラ装置１１が動作モードを決定して送信し、副カメラ装置１２が主カメラ装置１１から送信されてくる動作モードに応じて１視点の画像を撮影する撮影部４１を移動させる。従って、撮影部４１において、動作モードに応じた複数視点の画像を撮影することができる。その結果、画像処理システム１０では、視点ごとにカメラが設けられる場合に比べて、安価で多視点の画像を撮影することができる。
【００９１】
[副カメラ装置の画像処理の例]
図１２は、図３の副カメラ装置１２の画像処理部４５における画像処理の例を説明する図である。
【００９２】
図１２に示すように、画像処理部４５における画像処理としては、例えば、フレームレート可変処理、第１のフレーム補間処理、第２のフレーム補間処理、動きボケ補償処理、解像度補間処理、色空間補間処理、符号化処理等がある。
【００９３】
フレームレート可変処理は、画像処理情報としての被写体や主カメラ装置１１の動き情報に基づいて、副カメラ画像のフレームレートを変更する処理である。例えば、フレームレート可変処理では、動き情報が比較的小さい場合、即ち被写体や主カメラ装置１１が略静止している場合、副カメラ画像のフレームレートが下げられる。また、動き情報が比較的大きい場合、即ち被写体や主カメラ装置１１に動きがある場合、副カメラ画像のフレームレートが上げられる。フレームレート可変処理により、副カメラ装置１２が、被写体や副カメラ装置１２の動き情報を検出する機能を有しない安価な装置である場合であっても、副カメラ画像のビットレートを削減することができる。
【００９４】
第１のフレーム補間処理は、画像処理情報としての主カメラ画像の動きベクトルや主カメラ画像そのものを利用して、副カメラ画像を補間する処理である。これにより、副カメラ装置１２が、フレームレートの低い安価な装置である場合であっても、滑らかな副カメラ画像を生成することができる。
【００９５】
第２のフレーム補間処理は、撮影時刻の異なる主カメラ画像を利用して、副カメラ画像を補間する処理である。これにより、副カメラ装置１２が、フレームレートの低い安価な装置である場合であっても、滑らかな副カメラ画像を生成することができる。
【００９６】
動きボケ補償処理は、画像処理情報としての主カメラ画像の動きボケ量に基づいて副カメラ画像の動きボケ補償を行う処理である。これにより、副カメラ装置１２のシャッタスピードが主カメラ装置１１に比べて遅い場合であっても、シャッタスピードの速い主カメラ装置１１の主カメラ画像から検出された動きボケ量に基づいて、副カメラ画像の動きボケを精度良く改善することができる。
【００９７】
解像度補間処理は、主カメラ画像と動作モードを利用して副カメラ画像を高解像度化する処理である。これにより、副カメラ装置１２の撮影時の解像度を所望の解像度より低くし、ビットレートを削減することができる。
【００９８】
色空間補間処理は、色空間の広い主カメラ画像を利用して副カメラ画像の色空間を補間する処理である。例えば、色空間補間処理では、YCbCr422の主カメラ画像を用いてYCbCr420の副カメラ画像の色空間が補間され、YCbCr422の副カメラ画像が生成される。
これにより、撮影時の色空間を所望の色空間より狭くし、ビットレートを削減することができる。
【００９９】
符号化処理は、主カメラ画像の符号化に関する特徴量を用いて副カメラ画像の符号化を行う処理である。なお、符号化に関する特徴量としては、例えば、フォーカス値や、画像処理情報としてのエッジ、シーンチェンジ、トランジション、注目領域などがある。この符号化処理により、副カメラ装置１２が符号化に関する特徴量を生成しなくて済むため、副カメラ装置１２の製造コストを削減することができる。
【０１００】
[超多視点画像処理部の構成例]
図１３は、動作モードが超多視点画像モードである場合に動作する、図３の画像処理部４５の一部を構成する超多視点画像処理部６０の構成例を示すブロック図である。
【０１０１】
図１３の超多視点画像処理部６０は、フレームメモリ６１、動きボケ補償部６２、補間部６３、フレームメモリ６４、補間フレームメモリ６５、および画像出力部６６により構成される。超多視点画像処理部６０は、超多視点画像モード時に動きボケ補償処理等を行う。
【０１０２】
具体的には、超多視点画像処理部６０のフレームメモリ６１には、撮影部４１からフレーム単位の副カメラ画像が供給され、保持される。
【０１０３】
動きボケ補償部６２は、フレームメモリ６１から副カメラ画像をフレーム単位で読み出す。動きボケ補償部６２は、受信部４３から供給される画像処理情報としての主カメラ画像の動きボケ量に基づいて、読み出された副カメラ画像に対して動きボケ補償処理を行う。動きボケ補償部６２は、動きボケ補償処理後のフレーム単位の副カメラ画像を補間部６３とフレームメモリ６４に供給する。
【０１０４】
補間部６３は、動きボケ補償部６２から供給されるフレーム単位の副カメラ画像に対してフレーム補間処理を行う。具体的には、補間部６３は、動きボケ補償部６２からのフレーム単位の副カメラ画像と、そのフレームより１つ前のフレームの、フレームメモリ６４に記憶されている副カメラ画像とを用いて、両フレームの間の時刻のフレーム単位の副カメラ画像を補間する。補間部６３は、補間された副カメラ画像を補間フレームメモリ６５に供給する。
【０１０５】
フレームメモリ６４は、動きボケ補償部６２から供給される動きボケ補償処理後のフレーム単位の副カメラ画像を保持する。補間フレームメモリ６５は、補間部６３から供給される、補間された副カメラ画像を保持する。
【０１０６】
画像出力部６６は、フレームメモリ６４に保持されているフレーム単位の副カメラ画像と、補間フレームメモリ６５に保持されているフレーム単位の副カメラ画像を交互に送信部４２に出力する。これにより、送信部４２に入力される副カメラ画像のフレームレートは、撮影時のフレームレートの２倍になる。
【０１０７】
[超多視点画像処理部の処理の説明]
図１４は、図１３の超多視点画像処理部６０の超多視点画像処理を説明するフローチャートである。この超多視点画像処理は、例えば、撮影部４１からフレーム単位の副カメラ画像が供給されるとき、開始される。
【０１０８】
図１４のステップＳ５１において、超多視点画像処理部６０のフレームメモリ６１は、撮影部４１から供給される副カメラ画像を保持する。
【０１０９】
ステップＳ５２において、動きボケ補償部６２は、受信部４３から供給される画像処理情報としての動きボケ量に基づいて、フレームメモリ６１に記憶されている副カメラ画像の動きボケ補償処理を行う。動きボケ補償部６２は、動きボケ補償処理後の副カメラ画像を補間部６３とフレームメモリ６４に供給する。
【０１１０】
ステップＳ５３において、フレームメモリ６４は、動きボケ補償部６２から供給される動きボケ補償処理後の副カメラ画像を保持する。
【０１１１】
ステップＳ５４において、補間部６３は、動きボケ補償部６２から供給される動きボケ補償処理後の副カメラ画像が先頭フレームの副カメラ画像であるかどうかを判定する。ステップＳ５４で動きボケ補償処理後の副カメラ画像が先頭フレームの副カメラ画像であると判定された場合、処理はステップＳ５５乃至Ｓ５７をスキップし、ステップＳ５８に進む。
【０１１２】
一方、ステップＳ５４で動きボケ補償処理後の副カメラ画像が先頭フレームの副カメラ画像ではないと判定された場合、処理はステップＳ５５に進む。
【０１１３】
ステップＳ５５において、補間部６３は、動きボケ補償部６２から供給されるフレーム単位の副カメラ画像と、そのフレームより１つ前のフレームの、フレームメモリ６４に記憶されている副カメラ画像とを用いて補間を行う。これにより、両フレームの間の時刻のフレーム単位の副カメラ画像が補間される。補間部６３は、補間された副カメラ画像を補間フレームメモリ６５に供給する。
【０１１４】
ステップＳ５６において、補間フレームメモリ６５は、補間部６３から供給される、補間された副カメラ画像を保持する。
【０１１５】
ステップＳ５７において、画像出力部６６は、補間フレームメモリ６５に保持されている補間された副カメラ画像を送信部４２に出力する。
【０１１６】
ステップＳ５８において、画像出力部６６は、フレームメモリ６４に保持されている副カメラ画像を送信部４２に出力し、処理を終了する。
【０１１７】
[解像度補間処理部の構成例]
図１５は、図３の画像処理部４５の一部を構成する解像度補間処理部８０の構成例を示すブロック図である。
【０１１８】
図１４の解像度補間処理部８０は、選択部８１および高解像度化部８２乃至８４により構成され、解像度補間処理を行う。
【０１１９】
具体的には、解像度補間処理部８０の選択部８１は、図３の受信部４３から供給される主カメラ画像と動作モードに基づいて、副カメラ画像に適した方法で解像度補間を行う高解像度化部８２乃至８４のいずれかを選択する。解像度補間処理部８０は、選択された高解像度化部８２乃至８４を示す選択情報を高解像度化部８２乃至８４に供給する。
【０１２０】
高解像度化部８２は、選択部８１から供給される選択情報が自分自身を示す場合、図３の撮影部４１から供給される副カメラ画像に対して、再構成型解像度補間を行う。再構成型解像度補間とは、前のフレームの処理結果を用いた数理的に最適なIIR（Infinite Impulse Response）処理により高解像度化する処理である。高解像度化部８２は、再構成型解像度補間後の副カメラ画像を図３の送信部４２に供給する。
【０１２１】
高解像度化部８３は、選択部８１から供給される選択情報が自分自身を示す場合、撮影部４１から供給される副カメラ画像に対して、学習型解像度補間を行う。学習型解像度補間とは、事前に学習により求められた係数を用いて高解像度化する処理である。なお、事前に行われる学習とは、学習型解像度補間前の副カメラ画像に対応する画像を生徒画像とし、学習型解像度補間後の副カメラ画像に対応する画像を教師画像とした学習であり、この学習により、生徒画像から教師画像を求めるための係数が求められる。高解像度化部８３は、学習型解像度補間後の副カメラ画像を送信部４２に供給する。
【０１２２】
高解像度化部８４は、選択部８１から供給される選択情報が自分自身を示す場合、撮影部４１から供給される副カメラ画像に対して、特徴モデル型解像度補間を行う。特徴モデル型解像度補間とは、処理対象の画像を、エッジ成分、テクスチャ成分等の成分に分解し、各成分を既知の特徴モデルに合わせて最適に高解像度化する処理である。高解像度化部８４は、特徴モデル型解像度補間後の副カメラ画像を送信部４２に供給する。
【０１２３】
[解像度補間処理部の処理の概略説明]
図１６は、図１５の解像度補間処理部８０の処理の概略を説明する図である。
【０１２４】
図１６に示すように、副カメラ画像１２の撮影部４１により撮影された低解像度の副カメラ画像は、高解像度化部８２による再構成型解像度補間、高解像度化部８３による学習型解像度補間、または高解像度化部８４による特徴モデル型解像度補間により高解像度化される。
【０１２５】
具体的には、例えば、動作モードが超多視点画像モードであり、副カメラ画像が３Ｄ画像を構成する所定の視点の画像である場合、副カメラ画像に対応する主カメラ画像が折り返し歪みを有する場合などには、再構成型解像度補間が行われる。
【０１２６】
また、例えば、主カメラ画像の特徴が、学習型解像度補間における学習時に用いられた教師画像の特徴に近似する場合には、学習型解像度補間が行われる。
【０１２７】
さらに、例えば、主カメラ画像が、アニメーション、ＣＧ（Computer Graphics）、ゲーム用画像等のエッジを多く含む画像である場合には、特徴モデル型解像度補間が行われる。
【０１２８】
[解像度補間処理部の説明]
図１７は、図１５の解像度補間処理部８０の解像度補間処理を説明するフローチャートである。この解像度補間処理は、例えば、解像度補間処理部８０に図３の撮影部４１から副カメラ画像が供給されたとき、開始される。
【０１２９】
図１７のステップＳ７１において、解像度補間処理部８０の選択部８１は、受信部４３から供給される主カメラ画像と動作モードに基づいて、副カメラ画像に適した解像度補間処理を行う高解像度化部８２乃至８４のいずれかを選択する。解像度補間処理部８０は、選択された高解像度化部８２乃至８４を示す選択情報を高解像度化部８２乃至８４に供給する。
【０１３０】
ステップＳ７２において、高解像度化部８２は、選択部８１から供給される選択情報が高解像度化部８２を示す情報であるかどうかを判定する。ステップＳ７２で選択情報が高解像度化部８２を示す情報であると判定された場合、高解像度化部８２は、撮影部４１から供給される副カメラ画像に対して、再構成型解像度補間を行う。そして、高解像度化部８２は、再構成型解像度補間後の副カメラ画像を図３の送信部４２に供給し、処理を終了する。
【０１３１】
一方、ステップＳ７２で選択情報が高解像度化部８２を示す情報ではないと判定された場合、ステップＳ７４において、高解像度化部８３は、選択情報が高解像度化部８３を示す情報であるかどうかを判定する。
【０１３２】
ステップＳ７４で選択情報が高解像度化部８３を示す情報であると判定された場合、ステップＳ７５において、高解像度化部８３は、撮影部４１から供給される副カメラ画像に対して、学習型解像度補間を行う。そして、高解像度化部８３は、学習型解像度補間後の副カメラ画像を送信部４２に供給し、処理を終了する。
【０１３３】
一方、ステップＳ７４で選択情報が高解像度化部８３を示す情報ではないと判定された場合、即ち選択情報が高解像度化部８４を示す情報である場合、処理はステップＳ７６に進む。
【０１３４】
ステップＳ７６において、高解像度化部８４は、撮影部４１から供給される副カメラ画像に対して、特徴モデル型解像度補間を行う。そして、高解像度化部８４は、特徴モデル型解像度補間後の副カメラ画像を送信部４２に供給し、処理を終了する。
【０１３５】
以上のように、解像度補間処理部８０では、主カメラ画像と動作モードに基づいて選択された、再構成型解像度補間、学習型解像度補間、または特徴モデル型解像度補間が、副カメラ画像に対して行われるので、精度良く高解像度化を行うことができる。
【０１３６】
[主カメラ装置の画像処理の例]
図１８は、図２の主カメラ装置１１の画像処理部２６における画像処理の例を説明する図である。
【０１３７】
図１８に示すように、画像処理部２６における画像処理としては、例えば、手ぶれ補正処理、符号化処理等がある。
【０１３８】
手ぶれ補正処理は、主カメラ画像の手振れ補正を行い、副カメラ情報としての副カメラ画像を用いて、手振れ補正後の主カメラ画像の画枠付近の存在しない画素を補間する処理である。これにより、手振れ補正後の主カメラ画像の画質を高画質にすることができる。
【０１３９】
符号化処理は、副カメラ画像と主カメラ画像のGOPの位相をずらすように、副カメラ画像と主カメラ画像を符号化する処理である。これにより、副カメラ画像や主カメラ画像のGOPフリッカを軽減することができる。
【０１４０】
[符号化処理部の構成例]
図１９は、図２の画像処理部２６の一部を構成する符号化処理部１００の構成例を示すブロック図である。
【０１４１】
図１９の符号化処理部１００は、A/D変換部１１１、画面並べ替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可逆符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、加算部１２０、デブロックフィルタ１２１、フレームメモリ１２２、イントラ予測部１２３、動き予測・補償部１２４、選択部１２５、およびレート制御部１２６により構成される。図１９の符号化処理部１００は、主カメラ画像の一方に対して、イントラ予測または時間方向のインター予測を行い、主カメラ画像の他方と副カメラ画像に対して、イントラ予測または時間方向と視差方向のインター予測を行うことにより、圧縮符号化を行う。なお、以下では、イントラ予測または時間方向のインター予測が行われる主カメラ画像の一方を、ベース主カメラ画像といい、イントラ予測または時間方向と視差方向のインター予測が行われる主カメラ画像の他方を、ノンベース主カメラ画像という。
【０１４２】
具体的には、符号化処理部１００のA/D変換部１１１は、入力信号として入力されたフレーム単位の主カメラ画像および副カメラ画像をA/D変換し、画面並べ替えバッファ１１２に出力して記憶させる。画面並べ替えバッファ１１２は、記憶した表示の順番のフレーム単位の主カメラ画像および副カメラ画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替える。なお、このとき、主カメラ画像および副カメラ画像それぞれのGOPの位相がずれるように、GOPが設定される。画面並べ替えバッファ１１２は、並べ替え後の主カメラ画像および副カメラ画像を時刻ごとに順に、符号化対象の画像として、演算部１１３、イントラ予測部１２３、および動き予測・補償部１２４に出力する。
【０１４３】
演算部１１３は、選択部１２５から供給される予測画像と、画面並べ替えバッファ１１２から出力された符号化対象の画像の差分を演算する。具体的には、演算部１１３は、画面並べ替えバッファ１１２から出力された符号化対象の画像から、選択部１２５から供給される予測画像を減算する。演算部１１３は、減算の結果得られる画像を、残差情報として直交変換部１１４に出力する。なお、選択部１２５から予測画像が供給されない場合、演算部１１３は、画面並べ替えバッファ１１２から読み出された画像をそのまま残差情報として直交変換部１１４に出力する。
【０１４４】
直交変換部１１４は、演算部１１３からの残差情報に対して離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その結果得られる係数を量子化部１１５に供給する。
【０１４５】
量子化部１１５は、直交変換部１１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１１６に入力される。
【０１４６】
可逆符号化部１１６は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）をイントラ予測部１２３から取得し、最適インター予測モードを示す情報（以下、インター予測モード情報という）、動きベクトル、参照画像を特定する情報などを動き予測・補償部１２４から取得する。
【０１４７】
可逆符号化部１１６は、量子化部１１５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行い、その結果得られる情報を圧縮画像とする。また、可逆符号化部１１６は、イントラ予測モード情報、または、インター予測モード情報および動きベクトルなどを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。可逆符号化部１１６は、可逆符号化の結果得られるヘッダ情報が付加された圧縮画像を画像圧縮情報として蓄積バッファ１１７に供給し、蓄積させる。
【０１４８】
蓄積バッファ１１７は、可逆符号化部１１６から供給される画像圧縮情報を、一時的に記憶し、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
【０１４９】
また、量子化部１１５より出力された、量子化された係数は、逆量子化部１１８にも入力され、逆量子化された後、逆直交変換部１１９に供給される。
【０１５０】
逆直交変換部１１９は、逆量子化部１１８から供給される係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部１２０に供給する。
【０１５１】
加算部１２０は、逆直交変換部１１９から供給される復号対象の画像としての残差情報と、選択部１２５から供給される予測画像を加算して、局部的に復号された画像を得る。なお、選択部１２５から予測画像が供給されない場合、加算部１２０は、逆直交変換部１１９から供給される残差情報を局部的に復号された画像とする。加算部１２０は、局部的に復号された画像をデブロックフィルタ１２１に供給するとともに、参照画像としてイントラ予測部１２３に供給する。
【０１５２】
デブロックフィルタ１２１は、加算部１２０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１２１は、その結果得られる画像をフレームメモリ１２２に供給し、蓄積させる。フレームメモリ１２２に蓄積された画像は、参照画像として動き予測・補償部１２４に出力される。
【０１５３】
イントラ予測部１２３は、画面並べ替えバッファ１１２から読み出された符号化対象の画像と、加算部１２０から供給された参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測を行い、予測画像を生成する。
【０１５４】
また、イントラ予測部１２３は、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部１２３は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部１２３は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部１２５に供給する。イントラ予測部１２３は、選択部１２５から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部１１６に供給する。
【０１５５】
なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウェアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。
【０１５６】
具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。
【０１５７】
Cost(Mode)=D＋λ・R ・・・（１）
【０１５８】
Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
【０１５９】
一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（２）で表わされるコスト関数が各予測モードに対して算出される。
【０１６０】
Cost(Mode)=D＋QPtoQuant(QP)・Header_Bit ・・・（２）
【０１６１】
Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
【０１６２】
Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。なお、ここでは、コスト関数値の算出手法としてHigh Complexity モードが採用されるものとする。
【０１６３】
動き予測・補償部１２４は、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部１２４は、例えば、符号化対象がベース主カメラ画像のGOPの先頭以外の画像である場合、フレームメモリ１２２から、符号化対象と時刻の異なるベース主カメラ画像を参照画像として読み出す。一方、動き予測・補償部１２４は、例えば、符号化対象がノンベース主カメラ画像と副カメラ画像のGOPの先頭の画像である場合、フレームメモリ１２２から、符号化対象と同一の時刻のベース主カメラ画像を参照画像として読み出す。また、動き予測・補償部１２４は、例えば、符号化対象がノンベース主カメラ画像と副カメラ画像のGOPの先頭以外の画像である場合、フレームメモリ１２２から符号化対象と同一の時刻のベース主カメラ画像、および、異なる時刻かつ同一の視点の副カメラ画像を参照画像として読み出す。
【０１６４】
そして、動き予測・補償部１２４は、画面並べ替えバッファ１１２から供給される符号化対象の画像と、フレームメモリ１２２から読み出される参照画像に基づいて、所定のブロックごとに、候補となる全てのインター予測モードの動きベクトルを検出する。動き予測・補償部１２４は、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。
【０１６５】
このとき、動き予測・補償部１２４は、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部１２４は、最適インター予測モードのコスト関数値と、対応する予測画像を選択部１２５に供給する。また、動き予測・補償部１２４は、選択部１２５から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトルや参照画像を特定する情報などを可逆符号化部１１６に出力する。
【０１６６】
選択部１２５は、イントラ予測部１２３および動き予測・補償部１２４から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのいずれかを、最適予測モードに決定する。そして、選択部１２５は、最適予測モードの予測画像を、演算部１１３および加算部１２０に供給する。また、選択部１２５は、最適予測モードの予測画像の選択をイントラ予測部１２３または動き予測・補償部１２４に通知する。
【０１６７】
レート制御部１２６は、蓄積バッファ１１７に蓄積された画像圧縮情報に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１１５の量子化動作のレートを制御する。
【０１６８】
[第１の符号化処理の概略の説明]
図２０は、図１９の符号化処理部１００の符号化処理の概略を説明する図である。
【０１６９】
図２０に示すように、図１９の符号化処理部１００の符号化処理では、主カメラ画像と副カメラ画像それぞれのGOPの位相がずらされる。従って、副カメラ画像が、時間方向のインター予測を行えないGOPの先頭の画像である場合、その副カメラ画像に対して、時間方向のインター予測を用いて符号化されるベース主カメラ画像のGOPの先頭以外の画像を参照画像として、動き予測・補償処理を行うことができる。即ち、GOPの先頭の副カメラ画像に対して、GOPの先頭ではないベース主カメラ画像を用いて視差方向の予測を行うことができる。その結果、GOPの先頭の副カメラ画像で発生するフリッカを軽減することができる。なお、図示は省略するが、ノンベース主カメラ画像についても、副カメラ画像と同様である。
【０１７０】
［第１の符号化部の処理の説明］
図２１および図２２は、図１９の符号化処理部１００による符号化処理を説明するフローチャートである。この符号化処理は、例えば、入力信号としてフレーム単位の主カメラ画像や副カメラ画像が符号化処理部１００に入力されるたびに行われる。
【０１７１】
図２１のステップＳ１１１において、符号化処理部１００のA/D変換部１１１は、入力信号として入力されたフレーム単位の主カメラ画像や副カメラ画像をA/D変換し、画面並べ替えバッファ１１２に出力して記憶させる。
【０１７２】
ステップＳ１１２において、画面並べ替えバッファ１１２は、記憶した表示の順番のフレーム単位の主カメラ画像や副カメラ画像を、GOP構造に応じて、符号化のための順番に並べ替える。なお、このとき、主カメラ画像および副カメラ画像それぞれのGOPの位相がずれるように、GOPが設定される。画面並べ替えバッファ１１２は、並べ替え後の主カメラ画像や副カメラ画像を、符号化対象の画像として、演算部１１３、イントラ予測部１２３、および動き予測・補償部１２４に出力する。
【０１７３】
なお、以下のステップＳ１１３乃至Ｓ１２９の処理は、例えばマクロブロック単位で行われる。但し、ベース主カメラ画像のGOPの先頭フレームの先頭マクロブロック等の処理時には、ステップＳ１１３乃至Ｓ１１９およびＳ１２７の処理は行われず、先頭フレームの画像が残差情報および局部的に復号された画像とされる。また、ベース主カメラ画像のGOPの先頭フレームの先頭以外のマクロブロック等の処理時には、ステップＳ１１４の処理が行われず、ステップＳ１１５において最適イントラ予測モードが最適予測モードに決定される。
【０１７４】
ステップＳ１１３において、画面並べ替えバッファ１１２から読み出された符号化対象の画像と、加算部１２０から供給された参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測を行い、予測画像を生成する。また、イントラ予測部１２３は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部１２３は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部１２３は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部１２５に供給する。
【０１７５】
ステップＳ１１４において、動き予測・補償部１２４は、画面並べ替えバッファ１１２から読み出された符号化対象の画像と、フレームメモリ１２２から読み出された参照画像とに基づいて、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部１２４は、候補となる全てのインター予測モードに対してコスト関数値を算出する。そして、動き予測・補償部１２４は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。動き予測・補償部１２４は、最適インター予測モードで生成された予測画像、および、対応するコスト関数値を、選択部１２５に供給する。
【０１７６】
ステップＳ１１５において、選択部１２５は、イントラ予測部１２３および動き予測・補償部１２４から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、選択部１２５は、最適予測モードの予測画像を、演算部１１３および加算部１２０に供給する。
【０１７７】
ステップＳ１１６において、選択部１２５は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ１１６で最適予測モードが最適インター予測モードであると判定された場合、選択部１２５は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部１２４に通知する。これにより、動き予測・補償部１２４は、インター予測モード情報、対応する動きベクトルや参照画像を特定する情報などを可逆符号化部１１６に出力する。
【０１７８】
そして、ステップＳ１１７において、可逆符号化部１１６は、動き予測・補償部１２４から供給されるインター予測モード情報、動きベクトル、参照画像を特定する情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。そして、処理はステップＳ１１９に進む。
【０１７９】
一方、ステップＳ１１６で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、選択部１２５は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部１２３に通知する。これにより、イントラ予測部１２３は、イントラ予測モード情報を可逆符号化部１１６に供給する。
【０１８０】
そして、ステップＳ１１８において、可逆符号化部１１６は、イントラ予測部１２３から供給されるイントラ予測モード情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。そして、処理はステップＳ１１９に進む。
【０１８１】
ステップＳ１１９において、演算部１１３は、画面並べ替えバッファ１１２から供給される画像から、選択部１２５から供給される予測画像を減算する。演算部１１３は、減算の結果得られる画像を、残差情報として直交変換部１１４に出力する。
【０１８２】
ステップＳ１２０において、直交変換部１１４は、演算部１１３からの残差情報に対して直交変換を施し、その結果得られる係数を量子化部１１５に供給する。
【０１８３】
ステップＳ１２１において、量子化部１１５は、直交変換部１１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１１６と逆量子化部１１８に入力される。
【０１８４】
ステップＳ１２２において、可逆符号化部１１６は、量子化部１１５から供給される量子化された係数を可逆符号化し、その結果得られる情報を圧縮画像とする。そして、可逆符号化部１１６は、ステップＳ１１７またはＳ１１８の処理で生成されたヘッダ情報を圧縮画像に付加し、画像圧縮情報を生成する。
【０１８５】
図２１のステップＳ１２３において、可逆符号化部１１６は、画像圧縮情報を蓄積バッファ１１７に供給し、蓄積させる。
【０１８６】
ステップＳ１２４において、蓄積バッファ１１７は、蓄積されている画像圧縮情報を、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
【０１８７】
ステップＳ１２５において、逆量子化部１１８は、量子化部１１５から供給される量子化された係数を逆量子化する。
【０１８８】
ステップＳ１２６において、逆直交変換部１１９は、逆量子化部１１８から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１２０に供給する。
【０１８９】
ステップＳ１２７において、加算部１２０は、逆直交変換部１１９から供給される残差情報と、選択部１２５から供給される予測画像を加算し、局部的に復号された画像を得る。加算部１２０は、得られた画像をデブロックフィルタ１２１に供給するとともに、参照画像としてイントラ予測部１２３に供給する。
【０１９０】
ステップＳ１２８において、デブロックフィルタ１２１は、加算部１２０から供給される局部的に復号された画像に対してフィルタリングを行うことにより、ブロック歪を除去する。
【０１９１】
ステップＳ１２９において、デブロックフィルタ１２１は、フィルタリング後の画像をフレームメモリ１２２に供給し、蓄積させる。フレームメモリ１２２に蓄積された画像は、参照画像として動き予測・補償部１２４に出力される。そして、処理は終了する。
【０１９２】
[符号化処理部の他の構成例]
図２３は、図２の画像処理部２６の一部を構成する符号化処理部１００の他の構成例を示すブロック図である。
【０１９３】
図２３に示す構成のうち、図１９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１９４】
図２３の符号化処理部１００の構成は、主に、動き予測・補償部１２４の代わりに動き予測・補償部１４１が設けられている点、および、フリッカ検出部１４２が新たに設けられている点が図１９の構成と異なる。図２３の符号化処理部１００は、GOPの先頭のノンベース主カメラ画像または副カメラ画像でフリッカの発生が予測される場合、そのノンベース主カメラ画像または副カメラ画像の1つ前のノンベース主カメラ画像または副カメラ画像に対して、ベース主カメラ画像を用いた視差方向の予測を行う。
【０１９５】
具体的には、図２３の符号化処理部１００の動き予測・補償部１４１は、フリッカ検出部１４２から供給される、フリッカの発生が予測されるかどうかを表すフリッカ情報に基づいて、候補となる全てのインター予測モードの動き予測・補償処理を行う。より詳細には、フリッカ情報が、フリッカの発生が予測されることを表す場合、動き予測・補償部１４１は、フレームメモリ１２２から、現在の符号化対象と同一時刻のベース主カメラ画像を参照画像として読み出す。一方、フリッカ情報が、フリッカの発生が予測されないことを表す場合、動き予測・補償部１４１は、フレームメモリ１２２から動き予測・補償部１２４と同様の参照画像を読み出す。
【０１９６】
そして、動き予測・補償部１４１は、動き予測・補償部１２４と同様に、画面並べ替えバッファ１１２から供給される符号化対象の画像と、フレームメモリ１２２から読み出される参照画像に基づいて、所定のブロックごとに、候補となる全てのインター予測モードの動きベクトルを検出する。動き予測・補償部１４１は、動き予測・補償部１２４と同様に、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。
【０１９７】
このとき、動き予測・補償部１４１は、動き予測・補償部１２４と同様に、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部１４１は、動き予測・補償部１２４と同様に、最適インター予測モードのコスト関数値と、対応する予測画像を選択部１２５に供給する。また、動き予測・補償部１４１は、動き予測・補償部１２４と同様に、選択部１２５から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトルや参照画像を特定する情報などを可逆符号化部１１６に出力する。
【０１９８】
フリッカ検出部１４２は、予測部として機能する。具体的には、フリッカ検出部１４２は、画面並べ替えバッファ１１２から供給される符号化対象の画像を保持する。フリッカ検出部１４２は、符号化対象の画像がGOPの終端の副カメラ画像である場合、保持されている、GOPの終端の副カメラ画像と、その副カメラ画像より前の同一視点の副カメラ画像を用いて、そのGOPの終端の副カメラ画像より１つ後のGOPの先頭の副カメラ画像におけるフリッカの発生を予測する。
【０１９９】
例えば、フリッカ検出部１４２は、GOPの終端の副カメラ画像と、その副カメラ画像より前の同一視点の副カメラ画像を用いて動きを検出する。そして、その動きが比較的少ない場合、フリッカ検出部１４２は、そのGOPの終端の副カメラ画像より１つ後のGOPの先頭の副カメラ画像におけるフリッカの発生を予測する。同様に、フリッカ検出部１４２は、符号化対象の画像がGOPの終端のノンベース主カメラ画像である場合、フリッカの発生を予測する。フリッカ検出部１４２は、予測結果を表すフリッカ情報を、動き予測・補償部１４１に供給する。
【０２００】
［第２の符号化処理の概略の説明］
図２４は、図２３の符号化処理部１００の符号化処理の概略を説明する図である。
【０２０１】
図２４に示すように、図２３の符号化処理部１００の符号化処理では、図１９の符号化処理部１００の符号化処理と同様に、主カメラ画像と副カメラ画像それぞれのGOPの位相がずらされる。従って、GOPの先頭の副カメラ画像に対して、GOPの先頭ではないベース主カメラ画像を用いて視差方向の予測を行うことができる。
【０２０２】
また、図２３の符号化処理部１００の符号化処理では、GOPの先頭の副カメラ画像においてフリッカの発生が予測される。そして、フリッカの発生が予測される場合、GOPの先頭の副カメラ画像より1つ前の副カメラ画像に対して、視差方向の予測が行われる。
【０２０３】
以上により、GOPの先頭の副カメラ画像、および、その副カメラ画像より1つ前の副カメラ画像の両方において、視差方向の予測による歪みが発生するので、GOPの先頭の副カメラ画像におけるフリッカをより軽減することができる。なお、図示は省略するが、ノンベース主カメラ画像についても、副カメラ画像と同様である。
【０２０４】
［第２の符号化部の処理の説明］
図２３の符号化処理部１００の符号化処理は、動き予測・補償処理を除いて図２１および図２２の符号化処理と同様であるので、動き予測・補償処理についてのみ説明する。
【０２０５】
図２５は、図２３の符号化処理部１００の動き予測・補償処理の詳細を説明するフローチャートである。
【０２０６】
図２５のステップＳ１６１において、フリッカ検出部１４２は、符号化対象の画像がノンベース主カメラ画像または副カメラ画像であるかどうかを判定する。ステップＳ１６１で符号化対象の画像がノンベース主カメラ画像または副カメラ画像であると判定された場合、フリッカ検出部１４２は、画面並べ替えバッファ１１２から供給される符号化対象の画像を保持する。
【０２０７】
そして、ステップＳ１６２において、フリッカ検出部１４２は、符号化対象の画像がGOPの先頭のノンベース主カメラ画像または副カメラ画像であるかどうかを判定する。ステップＳ１６２で符号化対象の画像がGOPの先頭のノンベース主カメラ画像および副カメラ画像ではないと判定された場合、ステップＳ１６３において、フリッカ検出部１４２は、符号化対象の画像がGOPの終端のノンベース主カメラ画像または副カメラ画像であるかどうかを判定する。
【０２０８】
ステップＳ１６３で符号化対象の画像がGOPの終端のノンベース主カメラ画像または副カメラ画像であると判定された場合、フリッカ検出部１４２は、画面並べ替えバッファ１１２から供給される符号化対象の画像を保持し、処理をステップＳ１６４に進める。
【０２０９】
ステップＳ１６４において、フリッカ検出部１４２は、保持している符号化対象の画像と、その画像より１つ前の同一視点のノンベース主カメラ画像または副カメラ画像を用いて、符号化対象の画像より１つ後のGOPの先頭のノンベース主カメラ画像または副カメラ画像でフリッカが発生するかどうかを判定する。
【０２１０】
ステップＳ１６４でフリッカが発生すると判定された場合、フリッカ検出部１４２は、フリッカの発生が予測されることを表すフリッカ情報を動き予測・補償部１４１に供給し、処理をステップＳ１６５に進める。
【０２１１】
一方、ステップＳ１６２で符号化対象の画像がGOPの先頭のノンベース主カメラ画像または副カメラ画像であると判定された場合、処理はステップＳ１６５に進む。
【０２１２】
ステップＳ１６５において、動き予測・補償部１４１は、フレームメモリ１２２から符号化対象の画像と同一時刻のベース主カメラ画像を参照画像として読み出し、処理をステップＳ１６９に進める。
【０２１３】
一方、ステップＳ１６３で符号化対象の画像がGOPの終端のノンベース主カメラ画像または副カメラ画像ではないと判定された場合、即ち、符号化対象の画像がGOPの先頭および終端以外のノンベース主カメラ画像または副カメラ画像である場合、処理はステップＳ１６６に進む。
【０２１４】
ステップＳ１６６において、動き予測・補償部１４１は、フレームメモリ１２２から符号化対象の画像と同一時刻のベース主カメラ画像および異なる時刻の同一視点のノンベース主カメラ画像または副カメラ画像を読み出し、処理をステップＳ１６９に進める。
【０２１５】
また、ステップＳ１６１で符号化対象の画像がノンベース主カメラ画像または副カメラ画像ではないと判定された場合、即ち符号化対象の画像がベース主カメラ画像である場合、処理はステップＳ１６７に進む。ステップＳ１６７において、動き予測・補償部１４１は、符号化対象の画像がGOPの先頭のベース主カメラ画像であるかどうかを判定する。
【０２１６】
ステップＳ１６７で符号化対象の画像がGOPの先頭のベース主カメラ画像ではないと判定された場合、即ち、符号化対象の画像がGOPの先頭以外のベース主カメラ画像である場合、処理はステップＳ１６８に進む。ステップＳ１６８において、動き予測・補償部１４１は、異なる時刻のベース主カメラ画像を参照画像として読み出し、処理をステップＳ１６９に進める。
【０２１７】
ステップＳ１６９において、動き予測・補償部１４１は、画面並べ替えバッファ１１２から供給される符号化対象の画像と、フレームメモリ１２２から読み出される参照画像に基づいて、候補となる全てのインター予測モードの予測画像を生成する。このとき、動き予測・補償部１４１は、候補となる全てのインター予測モードに対してコスト関数値を算出する。
【０２１８】
ステップＳ１７０において、動き予測・補償部１４１は、候補となる全てのインター予測モードに対するコスト関数値の最小値に対応するインター予測モードを最適インター予測モードに決定し、処理を終了する。
【０２１９】
一方、ステップＳ１６７で符号化対象の画像がGOPの先頭のベース主カメラ画像であると判定された場合、処理は終了する。
【０２２０】
なお、図２３の符号化処理部１００は、フリッカを軽減するように符号化処理を行ったが、通常の符号化処理を行い、フリッカ情報を復号装置に伝送するようにしてもよい。この場合、復号装置において、フリッカ情報に基づいてフリッカを軽減する処理が行われる。
【０２２１】
また、図２３の符号化処理部１００は、マクロブロック単位でフリッカの発生を予測するようにしてもよい。この場合、図２５のステップＳ１６４乃至Ｓ１６６の処理がマクロブロック単位で行われる。
【０２２２】
さらに、図２３の符号化処理部１００は、各副カメラ画像を用いて各副カメラ画像のフリッカの発生を予測したが、主カメラ画像を用いて各副カメラ画像のフリッカの発生を予測してもよい。また、図２３の符号化処理部１００は、フリッカの発生を予測した場合、GOPの先頭のノンベース主カメラ画像または副カメラ画像より1つ前のノンベース主カメラ画像または副カメラ画像に対して、視差方向の予測を行ったが、GOPの先頭のノンベース主カメラ画像または副カメラ画像より前の複数のノンベース主カメラ画像または副カメラ画像に対して、視差方向の予測を行うようにしてもよい。
【０２２３】
また、上述した図１９や図２３符号化処理部１００では、主カメラ画像と副カメラ画像の解像度が同一であるものとしたが、主カメラ画像と副カメラ画像の解像度は異なるようにしてもよい。また、時間方向のインター予測のみを行う画像を可変にし、副カメラ画像を用いて主カメラ画像の両方のフリッカも軽減するようにしてもよい。
【０２２４】
[本技術を適用したコンピュータの説明]
次に、上述した一連の少なくとも一部の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２２５】
そこで、図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２２６】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０９やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０２２７】
あるいはまた、プログラムは、リムーバブルメディア２１２に格納（記録）しておくことができる。このようなリムーバブルメディア２１２は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１２としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２２８】
なお、プログラムは、上述したようなリムーバブルメディア２１２からドライブ２１１を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０９にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２２９】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０２３０】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０９に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０２３１】
これにより、CPU２０１は、撮影部２０６により撮影された画像等に対する上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０８から出力、あるいは、通信部２１０から送信、さらには、記憶部２０９に記録等させる。
【０２３２】
なお、入力部２０７は、キーボードや、マウス、マイク等で構成される。また、出力部２０８は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２３３】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２３４】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２３５】
本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２３６】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２３７】
なお、本技術は、以下のような構成もとることができる。
（１）
３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部と、
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える
主の画像処理装置と、
前記送信部により送信された前記動作モードを受信する受信部と、
所定の１視点の画像を撮影する１視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部と
を備える
副の画像処理装置と
を備える画像処理システム。
（２）
４個の前記副の画像処理装置を備え、
４個の前記副の画像処理装置の前記移動制御部は、前記所定の１視点が、それぞれ、前記２視点の一方の視点の上、下、他方の視点の上、下で上下方向に移動するように、前記副の画像処理装置を移動させる
前記（１）に記載の画像処理システム。
（３）
前記１視点撮影部により撮影された前記所定の１視点の画像に対して画像処理を行う１視点画像処理部と、
前記２視点撮影部により撮影された前記２視点の画像に対して画像処理を行う２視点画像処理部と
をさらに備え、
前記１視点画像処理部は、前記２視点画像処理部により検出された前記２視点の画像の動きボケ量に基づいて、前記所定の１視点の画像に対して動きボケ補償処理を行う
前記（１）または（２）に記載の画像処理システム。
（４）
前記１視点画像処理部は、動きボケ補償処理後の前記所定の１視点の画像に対してフレーム補間処理を行う
前記（３）に記載の画像処理システム。
（５）
前記２視点撮影部により撮影された前記２視点の画像に対して画像処理を行う２視点画像処理部
をさらに備え、
前記移動制御部は、前記第１視点撮影部が、前記２視点画像処理部による画像処理の結果検出された注目点を撮影可能な位置に移動させる
前記（１）または（２）に記載の画像処理システム。
（６）
２個以上の前記副の画像処理装置を備え、
２個の前記副の画像処理装置の前記移動制御部は、前記所定の１視点が、それぞれ、前記２視点のうちの左側の視点の左、右側の視点の右で左右方向に移動するように、前記副の画像処理装置を移動させる
前記（１）、（２）、または（５）に記載の画像処理システム。
（７）
前記主の画像処理装置は、
前記画像処理システムの撮影モードを決定する撮影モード決定部
をさらに備え、
前記２視点撮影部は、前記撮影モードに対応する撮影に関するパラメータの値に基づいて、前記２視点の画像を撮影し、
前記送信部は、前記動作モードと前記撮影モードを送信し、
前記受信部は、前記動作モードと前記撮影モードを受信し、
前記第１視点撮影部は、前記受信部により受信された前記撮影モードに対応する、前記２視点撮影部における値とは異なる、前記撮影に関するパラメータの値に基づいて、前記所定の１視点の画像を撮影する
前記（１）乃至（６）のいずれかに記載の画像処理システム。
（８）
前記２視点撮影部により撮影された前記２視点の画像と、前記１視点撮影部により撮影された前記所定の１視点の画像とを、前記２視点の画像と前記所定の１視点の画像のGOP（Group Of Pictures）の位相がずれるように符号化する符号化部
をさらに備える
前記（１）乃至（７）のいずれかに記載の画像処理システム。
（９）
前記１視点撮影部により撮影された前記所定の１視点の画像において、フリッカの発生を予測する予測部
をさらに備え、
前記符号化部は、前記予測部によりフリッカの発生が予測された場合、フリッカの発生が予測された画像に対応するGOPの先頭より前の所定数の画像に対するインター予測において、視差方向の予測を行う
前記（８）に記載の画像処理システム。
（１０）
前記１視点撮影部により撮影された前記所定の１視点の画像に対して画像処理を行う１視点画像処理部
をさらに備え、
前記送信部は、さらに、前記第２視点撮影部により撮影された前記２視点の画像を送信し、
前記受信部は、さらに、前記送信部により送信された前記２視点の画像を受信し、
前記１視点画像処理部は、前記受信部により受信された前記２視点の画像に基づいて選択された方法で、前記所定の１視点の画像を高解像度化する
前記（１）、（２）、または（５）乃至（９）のいずれかに記載の画像処理システム。
（１１）
前記１視点画像処理部は、前記２視点の画像および前記動作モードに基づいて選択された方法で、前記所定の１視点の画像を高解像度化する
前記（１０）に記載の画像処理システム。
（１２）
画像処理システムの３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部を備える主の画像処理装置が、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含み、
所定の１視点の画像を撮影する１視点撮影部を備える副の画像処理装置が、
前記送信ステップの処理により送信された前記動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御ステップと
を含む
画像処理方法。
（１３）
３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部と、
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える画像処理装置。
（１４）
画像処理装置が、
３Ｄ画像を構成する２視点の画像を撮影する２視点撮影ステップと、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含む画像処理方法。
（１５）
動作モードを受信する受信部と、
所定の１視点の画像を撮影する１視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部と
を備える画像処理装置。
（１６）
所定の１視点の画像を撮影する１視点撮影部を備える画像処理装置が、
動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御ステップと
を含む画像処理方法。
【符号の説明】
【０２３８】
１０ 画像処理システム， １１ 主カメラ装置， １２ 副カメラ装置， ２２ 動作モード決定部， ２３ 送信部， ２４ 撮影モード決定部， ２５ 撮影部， ２６ 画像処理部， ４１ 撮影部， ４３ 受信部， ４４ 移動制御部， ４５ 画像処理部， ６２ 動きボケ補償部， ６３ 補間部， ８０ 解像度補間処理部， ８２乃至８４ 高解像度化部， １００ 符号化処理部， １４２ フリッカ検出部
【特許請求の範囲】
【請求項１】
３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部と、
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える
主の画像処理装置と、
前記送信部により送信された前記動作モードを受信する受信部と、
所定の１視点の画像を撮影する１視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部と
を備える
副の画像処理装置と
を備える画像処理システム。
【請求項２】
４個の前記副の画像処理装置を備え、
４個の前記副の画像処理装置の前記移動制御部は、前記所定の１視点が、それぞれ、前記２視点の一方の視点の上、下、他方の視点の上、下で上下方向に移動するように、前記副の画像処理装置を移動させる
請求項１に記載の画像処理システム。
【請求項３】
前記１視点撮影部により撮影された前記所定の１視点の画像に対して画像処理を行う１視点画像処理部と、
前記２視点撮影部により撮影された前記２視点の画像に対して画像処理を行う２視点画像処理部と
をさらに備え、
前記１視点画像処理部は、前記２視点画像処理部により検出された前記２視点の画像の動きボケ量に基づいて、前記所定の１視点の画像に対して動きボケ補償処理を行う
請求項１に記載の画像処理システム。
【請求項４】
前記１視点画像処理部は、動きボケ補償処理後の前記所定の１視点の画像に対してフレーム補間処理を行う
請求項３に記載の画像処理システム。
【請求項５】
前記２視点撮影部により撮影された前記２視点の画像に対して画像処理を行う２視点画像処理部
をさらに備え、
前記移動制御部は、前記第１視点撮影部が、前記２視点画像処理部による画像処理の結果検出された注目点を撮影可能な位置に移動させる
請求項１に記載の画像処理システム。
【請求項６】
２個以上の前記副の画像処理装置を備え、
２個の前記副の画像処理装置の前記移動制御部は、前記所定の１視点が、それぞれ、前記２視点のうちの左側の視点の左、右側の視点の右で左右方向に移動するように、前記副の画像処理装置を移動させる
請求項１に記載の画像処理システム。
【請求項７】
前記主の画像処理装置は、
前記画像処理システムの撮影モードを決定する撮影モード決定部
をさらに備え、
前記２視点撮影部は、前記撮影モードに対応する撮影に関するパラメータの値に基づいて、前記２視点の画像を撮影し、
前記送信部は、前記動作モードと前記撮影モードを送信し、
前記受信部は、前記動作モードと前記撮影モードを受信し、
前記第１視点撮影部は、前記受信部により受信された前記撮影モードに対応する、前記２視点撮影部における値とは異なる、前記撮影に関するパラメータの値に基づいて、前記所定の１視点の画像を撮影する
請求項１に記載の画像処理システム。
【請求項８】
前記２視点撮影部により撮影された前記２視点の画像と、前記１視点撮影部により撮影された前記所定の１視点の画像とを、前記２視点の画像と前記所定の１視点の画像のGOP（Group Of Pictures）の位相がずれるように符号化する符号化部
をさらに備える
請求項１に記載の画像処理システム。
【請求項９】
前記１視点撮影部により撮影された前記所定の１視点の画像におけるフリッカの発生を予測する予測部
をさらに備え、
前記符号化部は、前記予測部によりフリッカの発生が予測された場合、フリッカの発生が予測された画像に対応するGOPの先頭より前の所定数の画像に対するインター予測において、視差方向の予測を行う
請求項８に記載の画像処理システム。
【請求項１０】
前記１視点撮影部により撮影された前記所定の１視点の画像に対して画像処理を行う１視点画像処理部
をさらに備え、
前記送信部は、さらに、前記第２視点撮影部により撮影された前記２視点の画像を送信し、
前記受信部は、さらに、前記送信部により送信された前記２視点の画像を受信し、
前記１視点画像処理部は、前記受信部により受信された前記２視点の画像に基づいて選択された方法で、前記所定の１視点の画像を高解像度化する
請求項１に記載の画像処理システム。
【請求項１１】
前記１視点画像処理部は、前記２視点の画像および前記動作モードに基づいて選択された方法で、前記所定の１視点の画像を高解像度化する
請求項１０に記載の画像処理システム。
【請求項１２】
画像処理システムの３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部を備える主の画像処理装置が、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含み、
所定の１視点の画像を撮影する１視点撮影部を備える副の画像処理装置が、
前記送信ステップの処理により送信された前記動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御ステップと
を含む
画像処理方法。
【請求項１３】
３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部と、
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える画像処理装置。
【請求項１４】
画像処理装置が、
３Ｄ画像を構成する２視点の画像を撮影する２視点撮影ステップと、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含む画像処理方法。
【請求項１５】
動作モードを受信する受信部と、
所定の１視点の画像を撮影する１視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部と
を備える画像処理装置。
【請求項１６】
所定の１視点の画像を撮影する１視点撮影部を備える画像処理装置が、
動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御ステップと
を含む画像処理方法。
【請求項１】
３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部と、
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える
主の画像処理装置と、
前記送信部により送信された前記動作モードを受信する受信部と、
所定の１視点の画像を撮影する１視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部と
を備える
副の画像処理装置と
を備える画像処理システム。
【請求項２】
４個の前記副の画像処理装置を備え、
４個の前記副の画像処理装置の前記移動制御部は、前記所定の１視点が、それぞれ、前記２視点の一方の視点の上、下、他方の視点の上、下で上下方向に移動するように、前記副の画像処理装置を移動させる
請求項１に記載の画像処理システム。
【請求項３】
前記１視点撮影部により撮影された前記所定の１視点の画像に対して画像処理を行う１視点画像処理部と、
前記２視点撮影部により撮影された前記２視点の画像に対して画像処理を行う２視点画像処理部と
をさらに備え、
前記１視点画像処理部は、前記２視点画像処理部により検出された前記２視点の画像の動きボケ量に基づいて、前記所定の１視点の画像に対して動きボケ補償処理を行う
請求項１に記載の画像処理システム。
【請求項４】
前記１視点画像処理部は、動きボケ補償処理後の前記所定の１視点の画像に対してフレーム補間処理を行う
請求項３に記載の画像処理システム。
【請求項５】
前記２視点撮影部により撮影された前記２視点の画像に対して画像処理を行う２視点画像処理部
をさらに備え、
前記移動制御部は、前記第１視点撮影部が、前記２視点画像処理部による画像処理の結果検出された注目点を撮影可能な位置に移動させる
請求項１に記載の画像処理システム。
【請求項６】
２個以上の前記副の画像処理装置を備え、
２個の前記副の画像処理装置の前記移動制御部は、前記所定の１視点が、それぞれ、前記２視点のうちの左側の視点の左、右側の視点の右で左右方向に移動するように、前記副の画像処理装置を移動させる
請求項１に記載の画像処理システム。
【請求項７】
前記主の画像処理装置は、
前記画像処理システムの撮影モードを決定する撮影モード決定部
をさらに備え、
前記２視点撮影部は、前記撮影モードに対応する撮影に関するパラメータの値に基づいて、前記２視点の画像を撮影し、
前記送信部は、前記動作モードと前記撮影モードを送信し、
前記受信部は、前記動作モードと前記撮影モードを受信し、
前記第１視点撮影部は、前記受信部により受信された前記撮影モードに対応する、前記２視点撮影部における値とは異なる、前記撮影に関するパラメータの値に基づいて、前記所定の１視点の画像を撮影する
請求項１に記載の画像処理システム。
【請求項８】
前記２視点撮影部により撮影された前記２視点の画像と、前記１視点撮影部により撮影された前記所定の１視点の画像とを、前記２視点の画像と前記所定の１視点の画像のGOP（Group Of Pictures）の位相がずれるように符号化する符号化部
をさらに備える
請求項１に記載の画像処理システム。
【請求項９】
前記１視点撮影部により撮影された前記所定の１視点の画像におけるフリッカの発生を予測する予測部
をさらに備え、
前記符号化部は、前記予測部によりフリッカの発生が予測された場合、フリッカの発生が予測された画像に対応するGOPの先頭より前の所定数の画像に対するインター予測において、視差方向の予測を行う
請求項８に記載の画像処理システム。
【請求項１０】
前記１視点撮影部により撮影された前記所定の１視点の画像に対して画像処理を行う１視点画像処理部
をさらに備え、
前記送信部は、さらに、前記第２視点撮影部により撮影された前記２視点の画像を送信し、
前記受信部は、さらに、前記送信部により送信された前記２視点の画像を受信し、
前記１視点画像処理部は、前記受信部により受信された前記２視点の画像に基づいて選択された方法で、前記所定の１視点の画像を高解像度化する
請求項１に記載の画像処理システム。
【請求項１１】
前記１視点画像処理部は、前記２視点の画像および前記動作モードに基づいて選択された方法で、前記所定の１視点の画像を高解像度化する
請求項１０に記載の画像処理システム。
【請求項１２】
画像処理システムの３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部を備える主の画像処理装置が、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含み、
所定の１視点の画像を撮影する１視点撮影部を備える副の画像処理装置が、
前記送信ステップの処理により送信された前記動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御ステップと
を含む
画像処理方法。
【請求項１３】
３Ｄ画像を構成する２視点の画像を撮影する２視点撮影部と、
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える画像処理装置。
【請求項１４】
画像処理装置が、
３Ｄ画像を構成する２視点の画像を撮影する２視点撮影ステップと、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含む画像処理方法。
【請求項１５】
動作モードを受信する受信部と、
所定の１視点の画像を撮影する１視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御部と
を備える画像処理装置。
【請求項１６】
所定の１視点の画像を撮影する１視点撮影部を備える画像処理装置が、
動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記１視点撮影部を移動させる移動制御ステップと
を含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１２−２１２９５２（Ｐ２０１２−２１２９５２Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７６１９０（Ｐ２０１１−７６１９０）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]