画像処理装置および画像処理方法
【課題】安全かつ快適な視聴が可能な３Ｄ画像を生成することができるようにする。
【解決手段】通信部３４は、３Ｄ画像の符号化データと、その３Ｄ画像の視差を表す視差情報を少なくとも含む３Ｄ画像のビットストリームを取得する。ＣＰＵ３１は、３Ｄ画像の再生時刻を指定する。ＣＰＵ４１は、視差情報に基づいて、再生時刻が連続する３Ｄ画像どうしの視差の差分が所定の閾値以下となるために視差の調整が必要な前ストリームおよび後ストリームの範囲である再エンコード範囲を決定する。編集部４７は、再エンコード範囲の画像データの視差を調整する。本発明は、例えば、３Ｄ画像を編集する編集装置に適用することができる。
【解決手段】通信部３４は、３Ｄ画像の符号化データと、その３Ｄ画像の視差を表す視差情報を少なくとも含む３Ｄ画像のビットストリームを取得する。ＣＰＵ３１は、３Ｄ画像の再生時刻を指定する。ＣＰＵ４１は、視差情報に基づいて、再生時刻が連続する３Ｄ画像どうしの視差の差分が所定の閾値以下となるために視差の調整が必要な前ストリームおよび後ストリームの範囲である再エンコード範囲を決定する。編集部４７は、再エンコード範囲の画像データの視差を調整する。本発明は、例えば、３Ｄ画像を編集する編集装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に、安全かつ快適な視聴が可能な３Ｄ画像を生成することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
例えば、３Ｄ画像に、２Ｄ画像と３Ｄ画像を識別するための情報や、適切な表示を行うための撮影方法の情報を付加することが考案されている。また、３Ｄ画像のうちの、２Ｄ画像の表示に用いられる画像を示すフラグを３Ｄ画像に付加することも考案されている（例えば、特許文献１参照）。
【０００３】
ところで、３Ｄ画像が商用コンテンツである場合、その３Ｄ画像は、撮影時および編集時に、製作者により、視聴時の安全性や快適性が配慮されて作成される。
【０００４】
具体的には、製作者は、視聴環境として映画館を想定する場合、映画館のスクリーンのサイズ、座席の位置等を想定し、その映画館で視聴者が３Ｄ画像を快適に視聴できるように、３Ｄ画像を作成する。例えば、図１に示すように、製作者が、所定のスクリーン幅のスクリーンが設置された映画館を視聴環境として想定した場合、最大両眼視差量がスクリーン幅の1％となるように、３Ｄ映画が撮影される。
【０００５】
なお、このように、最大両眼視差量がスクリーン幅の1％であるように撮影された３Ｄ映画は、視聴者の両目の幅がスクリーン幅の1％以上となるスクリーン幅のスクリーンが設置された映画館で視聴されると、３Ｄ映画の両眼視差量が、視聴者が視認可能な視聴者の両目の幅以下となる。従って、このような映画館では、視聴者は、より快適に３Ｄ映画を視聴することができる。
【０００６】
例えば、視聴者の両目の幅が5cmであるとすると、スクリーン幅が226inch（500cm）以下であれば、より快適に視聴することができる。また、視聴者の両目の幅が6.5cmであるとすると、スクリーン幅が294inch（650cm）以下であれば、より快適に視聴することができる。
【０００７】
また、製作者は、商用コンテンツとしての３Ｄ画像を編集する場合、編集後の編集点の前後で両眼視差量の変化が急激にならないように、編集作業時に両眼視差量を調整する。
【０００８】
以上のように、３Ｄ画像が商用コンテンツである場合、その３Ｄ画像は、撮影時および編集時に、製作者により、視聴時の安全性や快適性が配慮されて作成されるので、制作者が想定した視聴環境では、３Ｄ画像を快適に視聴することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】国際公開第２０１０/０６７８１０号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、３Ｄ画像が商用コンテンツではない場合、３Ｄ画像の扱いに不慣れな素人が、視聴時の安全性や快適性を配慮して、３Ｄ画像を編集することは困難である。
【００１１】
また、３Ｄ画像が商用コンテンツである場合であっても、撮影時刻が不連続になる特殊再生（例えば、ハイライト再生、ダイジェスト再生、スキップ再生、リピート再生など）が行われる場合、両眼視差量の変化が急激になる。その結果、視聴者は不快感やストレスを覚える。また、視聴者の安全上の問題が発生する場合もある。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、安全かつ快適な視聴が可能な３Ｄ画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の第１の側面の画像処理装置は、３Ｄ画像データと前記３Ｄ画像データの視差を表す視差情報とを取得する取得手段と、前記視差情報に基づいて、前記３Ｄ画像データの再生タイミングが連続する３Ｄ画像データどうしの視差の差分が所定の閾値以下となるために前記３Ｄ画像データの視差の調整が必要な範囲である調整範囲を決定する決定手段と、前記決定手段により決定された前記調整範囲の前記３Ｄ画像データの視差を調整する調整手段とを備える画像処理装置である。
【００１４】
本発明の第１の側面の画像処理方法は、本発明の第１の側面の画像処理装置に対応する。
【００１５】
本発明の第１の側面においては、３Ｄ画像データと前記３Ｄ画像データの視差を表す視差情報とが取得され、前記視差情報に基づいて、前記３Ｄ画像データの再生タイミングが連続する３Ｄ画像データどうしの視差の差分が所定の閾値以下となるために前記３Ｄ画像データの視差の調整が必要な範囲である調整範囲が決定され、決定された前記調整範囲の前記３Ｄ画像データの視差が調整される。
【００１６】
本発明の第２の側面の画像処理装置は、３Ｄ画像データを用いて、前記３Ｄ画像データの視差を検出する検出手段と、前記３Ｄ画像データと、前記３Ｄ画像データの視差を表す視差情報とを伝送する伝送手段とを備える画像処理装置である。
【００１７】
本発明の第２の側面の画像処理方法は、本発明の第２の側面の画像処理装置に対応する。
【００１８】
本発明の第２の側面においては、３Ｄ画像データを用いて、前記３Ｄ画像データの視差が検出され、前記３Ｄ画像データと、前記３Ｄ画像データの視差を表す視差情報とが伝送される。
【００１９】
なお、第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
【００２０】
また、第１および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
【発明の効果】
【００２１】
本発明の第１の側面によれば、安全かつ快適な視聴が可能な３Ｄ画像を生成することができる。
【００２２】
本発明の第２の側面によれば、安全かつ快適な視聴が可能な３Ｄ画像を生成するための情報を伝送することができる。
【図面の簡単な説明】
【００２３】
【図１】スクリーン幅と最大両眼視差量の関係の一例を示す図である。
【図２】本発明を適用した画像処理装置としての撮影装置の一実施の形態の構成例を示すブロック図である。
【図３】付加情報の例を示す図である。
【図４】両眼視差量の上限値と下限値の設定について説明する図である。
【図５】両眼視差量の上限値と下限値の設定について説明する他の図である。
【図６】スクリーン幅と57画素に相当するスクリーン上の長さとの関係を示す図である。
【図７】両眼視差量の上限値と撮影条件の関係について説明する図である。
【図８】焦点距離と画角の関係を示す図である。
【図９】両眼視差量の上限値、両眼視差量の下限値、水平解像度、スクリーン幅、および両眼間隔の関係を示す図である。
【図１０】両眼視差量の関係を示す図である。
【図１１】図２の撮影装置による生成処理を説明するフローチャートである。
【図１２】本発明を適用した画像処理装置としての編集装置の一実施の形態の構成例を示すブロック図である。
【図１３】再エンコード範囲の決定方法を説明する図である。
【図１４】両眼視差量の第１の調整方法を説明する図である。
【図１５】両眼視差量の第２の調整方法を説明する図である。
【図１６】図１２の編集装置による編集処理を説明するフローチャートである。
【図１７】スクリーン幅と両眼視差量の上限値の関係の例を示す図である。
【図１８】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００２４】
＜一実施の形態＞
［撮影装置の一実施の形態の構成例］
図２は、本発明を適用した画像処理装置としての撮影装置の一実施の形態の構成例を示すブロック図である。
【００２５】
図２の撮影装置１０は、撮影部１１、エンコーダ１２、付加情報生成部１３、およびストリーム生成部１４により構成される。撮影装置１０は、３Ｄ画像を撮影して符号化し、その３Ｄ画像の両眼視差量を表す情報等を付加して、出力する。
【００２６】
具体的には、撮影装置１０の撮影部１１（撮影手段）は、カメラの光軸が平行になるように左右方向に並べて配置された２台のカメラ（図示せず）を備える。２台のカメラは、それぞれ、平行法で撮影を行う。撮影部１１は、その結果得られる２枚の画像のうちの一方の画像を左目用の画像とし、他方の画像を右目用の画像とする。撮影部１１は、左目用の画像と右目用の画像をシフトすることにより、奥行き方向の位置を無限遠から手前に移動させた３Ｄ画像を生成する。
【００２７】
なお、撮影部１１は、平行法で撮影された左目用の画像と右目用の画像をシフトするのではなく、２台のカメラのレンズとイメージャの位置関係にオフセットを与えて撮影（シフト撮影）を行わせることにより、３Ｄ画像を生成することもできる。
【００２８】
撮影部１１は、生成された３Ｄ画像をエンコーダ１２および付加情報生成部１３に供給する。また、撮影部１１は、３Ｄ画像の撮影条件、撮影時刻などを付加情報生成部１３に供給する。
【００２９】
エンコーダ１２（符号化手段）は、撮影部１１から供給される３Ｄ画像に対して、MVC（Multiview Video Coding）、AVC（Advanced Video Coding）、MPEG2（Moving Picture Experts Group phase 2）等の方式で符号化を行う。エンコーダ１２は、符号化の結果得られる符号化データをストリーム生成部１４に供給する。
【００３０】
付加情報生成部１３は、撮影部１１から供給される３Ｄ画像、３Ｄ画像の撮影条件、撮影時刻や、ユーザ入力等に基づいて、符号化データに付加する情報である付加情報を生成する。付加情報としては、例えば、３Ｄ画像の撮影条件を表す撮影条件情報、３Ｄ画像の両眼視差量を表す視差情報、３Ｄ画像の視聴環境として想定する視聴環境を表す想定視聴環境情報などがある。付加情報生成部１３は、生成された付加情報をストリーム生成部１４に供給する。
【００３１】
ストリーム生成部１４(出力手段)は、エンコーダ１２から供給される符号化データに、付加情報生成部１３から供給される付加情報を付加してビットストリームを生成する。このとき、ストリーム生成部１４は、付加情報を、対応する符号化データに多重化してビットストリームを生成してもよいし、対応する符号化データとは異なるファイルデータとしてビットストリームを生成するようにしてもよい。ストリーム生成部１４は、生成されたビットストリームを出力する。
【００３２】
［付加情報の説明］
図３は、付加情報の例を示す図である。
【００３３】
図３の例では、付加情報は、撮影条件情報、視差情報、および想定視聴環境情報により構成される。撮影条件情報は、両眼視差量の上限値とタイムスタンプにより構成される。両眼視差量の上限値とは、撮影部１１において撮影される３Ｄ画像の両眼視差量の上限値、即ち無限遠の点に対する両眼視差量である。
【００３４】
なお、両眼視差量とは、３Ｄ画像を構成する左目用の画像と右目用の画像の対応する点の左右方向の位置のずれ量を表す画素数である。ここでは、左目用の画像に対して右目用の画像が右側にある場合、即ち３Ｄ画像の奥行方向の位置が奥側にある場合、ずれ量は正の値となり、左目用の画像に対して右目用の画像が左側にある場合、即ち３Ｄ画像の奥行き方向の位置が手前側にある場合、ずれ量は負の値となるものとする。
【００３５】
両眼視差量の上限値は、例えば、撮影部１１により設定されて付加情報生成部１３に入力され、付加情報生成部１３において撮影条件情報として生成される。
【００３６】
なお、撮影条件情報には、両眼視差量の上限値そのものではなく、両眼視差量の上限値を算出可能な代替パラメータが含まれるようにしてもよい。
【００３７】
また、撮影条件情報には、両眼視差量の下限値が含まれるようにしてもよい。両眼視差量の下限値は、両眼視差量の上限値と同様に撮影部１１において設定され、撮影部１１は、最も手前側の位置に対応する３Ｄ画像の両眼視差量が両眼視差量の下限値になるように３Ｄ画像を撮影する。撮影条件情報に両眼視差量の下限値が含まれる場合には、撮影部１１が両眼視差量の下限値を付加情報生成部１３に入力し、付加情報生成部１３は、その両眼視差量の下限値を撮影条件情報として生成する。
【００３８】
タイムスタンプは、撮影条件情報が付加される３Ｄ画像の撮影時刻の、その撮影条件情報に対応する３Ｄ画像の撮影時刻に対するオフセットである。このタイムスタンプは、撮影部１１から入力される撮影時刻等に基づいて生成される。
【００３９】
視差情報は、最大両眼視差量、最小両眼視差量、および注視領域の両眼視差量により構成される。最大両眼視差量とは、３Ｄ画像の両眼視差量の最大値であり、最小両眼視差量とは、３Ｄ画像の両眼視差量の最小値である。また、注視領域とは、３Ｄ画像内において注目する領域である。
【００４０】
なお、視差情報には、最大両眼視差量、最小両眼視差量、および注視領域の両眼視差量だけでなく、それらの両眼視差量に対応する３Ｄ画像内の位置を表す情報が含まれるようにしてもよい。この位置を表す情報としては、両眼視差量に対応する３Ｄ画像内の点を含む矩形の対角および左上と右下の頂点の座標や、両眼視差量に対応する３Ｄ画像内の点を含む円の中心座標と半径などを用いることができる。
【００４１】
最大両眼視差量、最小両眼視差量、および注視領域の両眼視差量は、例えば、付加情報生成部１３（検出手段）により３Ｄ画像を用いてブロックマッチングや特徴点抽出等の手法を用いて検出され、視差情報として生成される。
【００４２】
なお、注視領域は、ユーザ入力に応じて決定されてもよいし、自動的に検出されてもよい。注視領域が自動的に検出される場合には、例えば、顔認識や人物認識等の組み合わせにより主要な人物の領域が注視領域として検出される。また、被写体抽出のための画像認識、画像の構造解析やシーン認識の組み合わせ等により、視聴者が注目すると推測される被写体の領域が注視領域として検出されたり、フォーカスがあっている被写体、面積の大きい被写体、両眼視差量の最頻値、即ち支配的な両眼視差量を有する被写体などの領域が注視領域として検出されてもよい。
【００４３】
また、視差情報には、最大両眼視差量、最小両眼視差量、および注視領域の両眼視差量が有効であるか無効であるかを表すフラグが含まれるようにしてもよい。この場合、付加情報生成部１３は、例えば、３Ｄ画像の撮影条件が所定の条件である場合、エンコーダ１２において符号化前に何等かの編集が行われた場合、または両眼視差量の検出にエラーが発生した場合、注視領域の両眼視差量が無効であることを表すフラグを生成する。
【００４４】
想定視聴環境情報としては、上限スクリーン幅および想定両眼間隔が生成される。上限スクリーン幅は、ユーザが想定する視聴環境におけるスクリーン幅の上限値であり、最大両眼視差量が必ず想定両眼間隔以下になるスクリーン幅の上限値である。この上限値は、付加情報生成部１３において両眼視差量の上限値が所定値（例えば、5cm）に仮定され、以下の式（１）の演算が行われることにより、生成される。
【００４５】
【数１】
【００４６】
なお、式（１）における両眼視差量の上限値として、実際の両眼視差量の上限値が設定される場合、両眼視差量の上限値の両眼視差量を有する被写体が存在すると、その被写体の両眼視差量を大きくすることができないため、実際に設定される両眼視差量の上限値より大きい値を仮定することが望ましい。
【００４７】
想定両眼間隔とは、ユーザが想定する視聴者の両眼間隔である。想定両眼間隔は、ユーザ入力に応じて生成される。なお、３ＤＣ安全ガイドラインなどでは、平均的な成人の両眼間隔は6.5cm、子供の両眼間隔は5cmであると言われており、子供の視聴を考慮すると、想定両眼間隔としては、5cmが設定されることが望ましい。また、規格等により想定両眼間隔が固定値にされる場合には、想定視聴環境情報として想定両眼間隔が生成されなくてもよい。
【００４８】
なお、想定視聴環境情報には、上限スクリーン幅ではなく、ユーザ入力に応じてユーザが想定する視聴環境におけるスクリーン幅そのものが含まれるようにしてもよい。
【００４９】
また、付加情報は、例えばフレーム単位の３Ｄ画像に対して生成される。なお、エンコーダ１２において３Ｄ画像がMPEG2等の方式で符号化される場合、付加情報は、GOP単位の３Ｄ画像に対して生成されてもよい。この場合、付加情報を用いる装置（例えば、後述する編集装置）は、タイムスタンプを参照して、GOP単位の３Ｄ画像に対して生成された付加情報を補間することによりフレーム単位の３Ｄ画像に対する付加情報を生成し、その付加情報を用いる。
【００５０】
図４および図５は、両眼視差量の上限値と下限値の設定について説明する図である。なお、図４では、説明の便宜上、左目用の画像と右目用の画像が合成されて表示されている。
【００５１】
図４Ａに示すように、人間の目は外側にはほとんど開かない。従って、安全かつ快適に視聴可能な３Ｄ画像の両眼視差量は、視聴者の両眼間隔以下である必要がある。但し、スクリーン幅が大きい場合には、そのスクリーン幅の1％乃至2％まで許容可能である。よって、両眼視差量の上限値としては、ユーザが想定する視聴者の両眼間隔、または、ユーザが想定する視聴環境におけるスクリーン幅の1％乃至2％の大きい方が設定される。
【００５２】
また、図４Ｂに示すように、３Ｄ安全ガイドライン等では、安全かつ快適に視聴可能な３Ｄ画像の両眼視差量は、輻輳角が、両眼視差量が0であるときの輻輳角＋1度となる両眼視差量以上であると言われている。具体的には、図５に示すように、両眼間隔が5cm乃至6.5cmであり、スクリーンから視聴者の目までの距離である視聴距離が、標準視聴距離、即ちスクリーンの高さの3倍であり、スクリーンの縦横比が16:9であり、水平解像度が1920画像である場合、両眼視差量が0であるときの輻輳角γ+1度である輻輳角βに対応する両眼視差量は、−約57画素である。従って、両眼視差量の下限値は、−約57画素が設定される。図６は、スクリーン幅と57画素に相当するスクリーン上の長さとの関係を示す図である。
【００５３】
次に、図７を参照して、両眼視差量の上限値と撮影部１１における撮影条件の関係について説明する。
【００５４】
両眼視差量の上限値は、図７に示すカメラ光軸間隔、輻輳点距離での撮影範囲、および３Ｄ画像の水平解像度を用いて、以下の式（２）で表される。
【００５５】
【数２】
【００５６】
なお、カメラ光軸間隔とは、２台のカメラの光軸の水平方向の間隔である。また、輻輳点距離での撮影範囲とは、両眼視差量が０である点である輻輳点を２台のカメラで撮影するときの撮影距離である輻輳点距離を撮影距離として撮影したときに、各カメラが撮影可能な水平方向の範囲である。
【００５７】
輻輳点距離は、以下の式（３）により求められ、輻輳点距離での撮影範囲は、以下の式（４）により求められる。
【００５８】
【数３】
【数４】
【００５９】
なお、輻輳角は、２台のカメラで輻輳点を撮影するときの２台のカメラの光軸のなす角である。また、式（４）における画角とは、輻輳点距離での撮影範囲の画角である。この画角は、輻輳点距離を35mmフィルムのSLR（Single Lens Reflex）カメラまたはDSLR（Digital Single Lens Reflex）カメラの焦点距離に換算することにより求めたり、焦点距離とイメージャのサイズから求めることができる。図８は、35mm判SLRカメラまたは35mmフルサイズDSLRカメラの焦点距離と画角の関係を示す図である。
【００６０】
以上のように、両眼視差量の上限値とカメラ光軸間隔の関係は、式（２）で表されるので、撮影部１１において、両眼視差量の上限値が設定される場合、その両眼視差量の上限値、輻輳点距離での撮影範囲、および水平解像度を用いて上述した式（２）が演算されることにより、カメラ光軸間隔が求められる。そして、撮影部１１において、カメラ光軸間隔が、求められたカメラ光軸間隔に調整される。
【００６１】
図９は、両眼視差量の上限値、両眼視差量の下限値、水平解像度、スクリーン幅、および両眼間隔の関係を示す図である。図１０は、両眼視差量の上限値、最大両眼視差量、注視領域の両眼視差量、最小両眼視差量、および両眼視差量の下限値の関係を示す図である。
【００６２】
［撮影装置の処理の説明］
図１１は、図２の撮影装置１０によるビットストリームを生成する生成処理を説明するフローチャートである。この生成処理は、例えば、ユーザが３Ｄ画像の撮影を指示したとき、開始される。
【００６３】
図１１のステップＳ１１において、撮影部１１は、３Ｄ画像を生成し、エンコーダ１２おおよび付加情報生成部１３に供給する。また、撮影部１１は、３Ｄ画像の撮影条件、撮影時刻などを付加情報生成部１３に供給する。
【００６４】
ステップＳ１２において、エンコーダ１２は、撮影部１１から供給される３Ｄ画像をMVC、AVC、MPEG2等の方式で符号化し、その結果得られる符号化データをストリーム生成部１４に供給する。
【００６５】
ステップＳ１３において、付加情報生成部１３は、撮影部１１から供給される３Ｄ画像、３Ｄ画像の撮影条件、撮影時刻や、ユーザ入力等に基づいて、付加情報を生成する。付加情報生成部１３は、生成された付加情報をストリーム生成部１４に供給する。
【００６６】
ステップＳ１４において、ストリーム生成部１４は、エンコーダ１２から供給される符号化データに、付加情報生成部１３から供給される付加情報を付加してビットストリームを生成し、出力する。そして、処理は終了する。
【００６７】
以上のように、撮影装置１０は、３Ｄ画像を用いて視差情報を検出し、その視差情報を符号化データとともに出力する。従って、符号化データの再生や編集を行う装置において、視差情報に基づいて、再生時刻が連続する３Ｄ画像の両眼視差量の差分が所定の閾値以下となる、安全かつ快適な視聴が可能な３Ｄ画像を生成することができる。
【００６８】
また、符号化データとともに視差情報が出力されるので、符号化データの再生や編集を行う装置において、符号化データを復号して視差情報を得る必要がない。従って、符号化データの再生や編集を行う装置は、再生や編集により両眼視差量の調整が必要な範囲を復号するだけで、再生時刻が連続する３Ｄ画像の両眼視差量の差分が所定の閾値以下となる、安全かつ快適な視聴が可能な３Ｄ画像を生成することができる。その結果、符号化データの再生や編集を行う装置は、少ない画像処理負荷で、安全かつ快適な３Ｄ画像を視聴者に提供することができる。
【００６９】
［編集装置の構成例］
図１２は、本発明を適用した画像処理装置としての編集装置の一実施の形態の構成例を示すブロック図である。
【００７０】
図１２の編集装置３０は、図２の撮影装置１０から出力された３Ｄ画像のビットストリームを、編集に必要な最小限の範囲だけ復号することにより、編集後の３Ｄ画像が安全かつ快適に視聴可能な３Ｄ画像となるように編集を行う。
【００７１】
具体的には、編集装置３０のＣＰＵ（Central Processing Unit）３１は、ノースブリッジ３２に接続される。ＣＰＵ３１は、例えば、ＨＤＤ（Hard disk Drive）３７に記憶されているデータの読み出しなどの処理を制御したり、ＣＰＵ４１が実行する編集処理を制御するためのコマンドを生成し、出力したりする。
【００７２】
ノースブリッジ３２は、ＰＣＩバス（Peripheral Component Interconnect/Interface）３５に接続される。ノースブリッジ３２は、例えば、ＣＰＵ３１の制御に基づいて、サウスブリッジ３６を介して、ＨＤＤ３７に記憶されているデータの供給を受け、ＰＣＩバス３５、ＰＣＩブリッジ３８を介して、メモリ３９に供給する。また、ノースブリッジ３２は、メモリ３３とも接続されており、ＣＰＵ３１の処理に必要なデータを授受する。さらに、ノースブリッジ３２は、通信部３４とも接続されており、他の装置と通信するデータを授受する。
【００７３】
メモリ３３は、ＣＰＵ３１が実行する処理に必要なデータを保存する。サウスブリッジ３６は、ＨＤＤ３７のデータの書き込みおよび読み出しを制御する。通信部３４は、ノースブリッジ３２から供給されるデータを他の装置に送信したり、他の装置から受信したデータをノースブリッジ３２に供給したりする。ＨＤＤ３７には、撮影装置１０から受信された３Ｄ画像のビットストリームが編集用素材として記憶される。
【００７４】
ＰＣＩブリッジ３８は、メモリ３９のデータの書き込みおよび読み出しを制御する。また、ＰＣＩブリッジ３８は、デコーダ４３乃至４５への符号化データの供給、ＣＰＵ４１への付加情報の供給、およびストリームスプライサ４６へのビットストリームの供給を制御する。さらに、ＰＣＩブリッジ３８は、ＰＣＩバス３５およびコントロールバス４０のデータの授受を制御する。
【００７５】
メモリ３９は、ＰＣＩブリッジ３８の制御に基づいて、ＨＤＤ３７より読み出された編集用素材であるビットストリームや、ストリームスプライサ４６から供給される編集後のビットストリームを記憶する。
【００７６】
ＣＰＵ４１は、ノースブリッジ３２、ＰＣＩバス３５、ＰＣＩブリッジ３８、および、コントロールバス４０を介して、ＣＰＵ３１から供給されたコマンドにしたがって、ＰＣＩブリッジ３８、デコーダ４３乃至４５、ストリームスプライサ４６、編集部４７、および、エンコーダ４８が実行する処理を制御する。メモリ４２は、ＣＰＵ４１の処理に必要なデータを記憶する。
【００７７】
デコーダ４３およびデコーダ４４（復号手段）は、ＣＰＵ４１の制御に基づいて、ＰＣＩブリッジ３８から供給される符号化データを、図２のエンコーダ１２の符号化方式に対応する方式で復号し、復号の結果得られる３Ｄ画像の画像データを編集部４７に供給する。デコーダ４５は、ストリームスプライサ４６から供給される編集後のビットストリームをエンコーダ１２やエンコーダ４８における符号化方式に対応する方式で復号し、出力する。
【００７８】
ストリームスプライサ４６は、ＣＰＵ４１の制御に基づいて、ＰＣＩブリッジ３８から供給されるビットストリームと、エンコーダ４８から供給される符号化データを含むビットストリームを結合し、編集後のビットストリームを生成する。ストリームスプライサ４６は、編集後のビットストリームをデコーダ４５に供給したり、ＰＣＩブリッジ３８を介して、メモリ３９に供給して保存させる。
【００７９】
編集部４７は、ＣＰＵ４１の制御に基づいて、デコーダ４３またはデコーダ４４から供給される３Ｄ画像の画像データを結合する。このとき、編集部４７（調整手段）は、再生時刻が連続する３Ｄ画像の画像データの注視領域の両眼視差量の差分が所定の閾値以下となるように、３Ｄ画像の画像データの注視領域の両眼視差量を調整する。編集部４７は、結合の結果得られる画像データを編集後データとしてエンコーダ４８に供給する。
【００８０】
エンコーダ４８は、ＣＰＵ４１の制御に基づいて、編集部４７から供給される編集後データを、エンコーダ１２における符号化方式と同様の方式で符号化し、その結果得られる符号化データを、ストリームスプライサ４６に出力する。
【００８１】
次に、編集装置３０の動作について説明する。
【００８２】
通信部３４（取得手段）は、撮影装置１０から出力されるビットストリームを取得し、ノースブリッジ３２に供給する。ノースブリッジ３２は、ＣＰＵ３１の制御に基づいて、通信部３４から供給されるビットストリームを、サウスブリッジ３６を介してＨＤＤ３７に供給し、記憶させる。
【００８３】
サウスブリッジ３６は、ＣＰＵ３１の制御により、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ３７から、編集により接続する２つのビットストリームのうちの前方のビットストリーム（以下、前ストリームという）および後方のビットストリーム（以下、後ストリームという）を読み出す。読み出された前ストリームと後ストリームは、ＣＰＵ３１の制御により、ノースブリッジ３２、ＰＣＩバス３５、および、ＰＣＩブリッジ３８を介してメモリ３９に供給され、記憶される。また、ＣＰＵ３１（指定手段）は、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ３２、ＰＣＩバス３５、ＰＣＩブリッジ３８、および、コントロールバス４０を介して、ＣＰＵ４１に供給する。
【００８４】
なお、編集点を示す情報は、前フレームおよび後フレームの一方における他方を接続する位置を示す情報であり、この情報により、編集後のビットストリームにおける３Ｄ画像の再生時刻が決定される。従って、編集点を示す情報は、編集後のビットストリームにおける３Ｄ画像の再生時刻を指定する情報である。
【００８５】
ＣＰＵ４１（決定手段）は、ＣＰＵ３１から供給された編集点を示す情報と、前ストリームおよび後ストリームに含まれる付加情報を基に、再生時刻が連続する３Ｄ画像どうしの注視領域の両眼視差量の差分が所定の閾値以下となるために両眼視差量の調整が必要な前ストリームおよび後ストリームの範囲を、再エンコード範囲として決定する。
【００８６】
そして、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている前ストリームのうち、再エンコード範囲の符号化データと、その符号化データの復号の際に必要となる符号化データをデコーダ４３に供給する。また、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている後ストリームのうち、再エンコード範囲の符号化データと、その符号化データの復号の際に必要となる符号化データをデコーダ４４に供給する。
【００８７】
また、このとき、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている編集点までの前ストリームのうちの再エンコード範囲ではない部分と、編集点以降の後ストリームのうちの再エンコード範囲ではない部分を、ストリームスプライサ４６に供給する。
【００８８】
デコーダ４３およびデコーダ４４は、ＣＰＵ４１の制御に基づいて、ＰＣＩブリッジ３８から供給される符号化データを、図２のエンコーダ１２の符号化方式に対応する方式で復号する。そして、デコーダ４３およびデコーダ４４は、復号されて得られた再エンコード範囲の３Ｄ画像の画像データを編集部４７に供給する。
【００８９】
編集部４７は、ＣＰＵ４１の制御に基づいて、デコーダ４３から供給される３Ｄ画像の画像データと、デコーダ４４から供給される３Ｄ画像の画像データを接続する。なお、このとき、編集部４７は、ＣＰＵ４１の制御に基づいて、再生時刻が連続する３Ｄ画像どうしの注視領域の両眼視差量の差分が所定の閾値以下となるように、３Ｄ画像の画像データの注視領域の両眼視差量を調整する。編集部４７は、接続された３Ｄ画像の画像データを編集後データとして、エンコーダ４８に供給する。
【００９０】
エンコーダ４８は、ＣＰＵ４１の制御に基づいて、編集部４７から供給された編集後データを、図２のエンコーダ１２と同様の方式で符号化する。エンコーダ４８は、その結果得られる符号化データをストリームスプライサ４６に供給する。
【００９１】
ストリームスプライサ４６は、ＣＰＵ４１の制御に基づいて、エンコーダ４８から供給された符号化データに、注視領域の両眼視差量が調整後の注視領域の両眼視差量に更新された付加情報を付加し、再エンコード範囲のビットストリームを生成する。ストリームスプライサ４６は、ＣＰＵ４１の制御に基づいて、生成された再エンコード範囲のビットストリームと、ＰＣＩブリッジ３８から供給されたビットストリームとを接続し、編集後のビットストリームを生成する。
【００９２】
そして、ストリームスプライサ４６は、ＣＰＵ４１の制御に基づいて、編集後のビットストリームをＰＣＩブリッジ３８に供給して、メモリ３９に保存させる。また、ストリームスプライサ４６は、ＣＰＵ４１の制御に基づいて、編集後のビットストリームをデコーダ４５に供給して復号させ、図示せぬディスプレイなどに出力させる。
【００９３】
図示しない操作入力部から、編集後のビットストリームの保存が指令された場合、ＰＣＩブリッジ３８は、ＣＰＵ３１の制御に基づいて、メモリ３９に保存されている編集後のビットストリームを読み出す。読み出された編集後のビットストリームは、ＣＰＵ３１の制御により、ＰＣＩバス３５およびノースブリッジ３２を介して、サウスブリッジ３６に供給され、ＨＤＤ３７に供給されて保存される。
【００９４】
［両眼視差量の調整の説明］
図１３は、再エンコード範囲の決定方法を説明する図である。
【００９５】
なお、図１３において、横軸は、３Ｄ画像の再生時刻を表し、縦軸は、両眼視差量を表している。
【００９６】
図１３に示すように、撮影時刻が不連続になる編集点における前ストリームの注視領域の両眼視差量と後ストリームの注視領域の両眼視差量の差（ギャップ）が所定の閾値より大きい場合、ＣＰＵ４１は、前ストリームの再生時刻が編集点より前の区間の注視領域の両眼視差量と、後ストリームの再生時刻が編集点より後の区間の注視領域の両眼視差量を取得する。そして、ＣＰＵ４１は、取得された前ストリームと後ストリームの注視領域の両眼視差量に基づいて、再エンコード範囲を決定する。
【００９７】
このように、再エンコード範囲の決定には、前ストリームと後ストリームの注視領域の両眼視差量を認識する必要があるが、撮影装置１０から出力されるビットストリームでは、符号化データに注視領域の両眼視差量が付加されているので、編集装置３０は、両眼視差量を検出するために符号化データを復号する必要がない。従って、編集装置３０は、再エンコード範囲の符号化データを復号するだけで、再生時刻が連続する３Ｄ画像どうしの注視領域の両眼視差量の差分が所定の閾値以下となるように、両眼視差量を調整することができる。
【００９８】
図１４は、両眼視差量の第１の調整方法を説明する図であり、図１５は、両眼視差量の第２の調整方法を説明する図である。なお、図１４において、図１４Ａは、視聴者が知覚する３Ｄ画像の奥行方向の位置を示しており、図１４Ｂは、３Ｄ画像を構成する左目用の画像と右目用の画像を合成した画像を示している。このことは、図１５においても同様である。
【００９９】
図１４に示すように、両眼視差量の第１の調整方法は、左目用の画像と右目用の画像を水平方向にシフトさせる方法である。図１４の例では、左目用の画像を右方向にシフトし、右目用の画像を左方向にシフトすることにより、両眼視差量が小さくされている。これにより、視聴者は、両眼視差量が調整される前に比べて、手前側にある家、木、および猫を知覚する。
【０１００】
なお、第１の調整方法では、左目用の画像と右目用の画像が水平方向にシフトされるので、左目用の画面と右目用の画面の左端部または右端部の画像がなくなる。従って、左目用の画像と右目用の画像が拡大されたり、所定の画像が挿入されたりすることにより、左端部または右端部の画像が補間される。なお、左目用の画像と右目用の画像が拡大される場合、両眼視差量が変化するため、その変化が考慮されて左目用の画像と右目用の画像がシフトされる。
【０１０１】
図１５に示すように、両眼視差量の第２の調整方法は、左目用の画像と右目用の画像に基づいて新たな左目用の画像と右目用の画像を生成する方法である。この方法では、３Ｄ画像の両眼視差量を変化させるだけでなく、３Ｄ画像の両眼視差量を圧縮することもできる。
【０１０２】
具体的には、図１５の例では、新たな左目用の画像において、家の位置が、元の左目用の画像内の家の位置より右方向に移動し、木の位置が、元の左目用の画像内の木の位置より右方向に家の移動量より大きく移動し、猫の位置が、元の左目用の画像内の家の位置より右方向に家の移動量より小さく移動している。また、新たな右目用の画像において、家の位置が、元の右目用の画像内の家の位置より左方向に移動し、木の位置が、元の右目用の画像内の木の位置より左方向に家の移動量より大きく移動し、猫の位置が、元の右目用の画像内の家の位置より左方向に家の移動量より小さく移動している。従って、３Ｄ画像の両眼視差量を小さくするとともに、圧縮することができる。その結果、視聴者は、両眼視差量が調整される前に比べて、木、家、猫の順に大きい距離だけ手前側にある木、家、および猫を知覚する。即ち、視聴者は、両眼視差量が調整される前に比べて、奥行方向の位置が圧縮され、手前側にある３Ｄ画像を知覚する。
【０１０３】
[編集装置の処理の説明]
図１６は、図１２の編集装置３０による編集処理を説明するフローチャートである。この編集処理は、例えば、ＨＤＤ３７に編集用素材として記録されたビットストリームの編集の開始がユーザにより指示されたとき、開始される。
【０１０４】
図１６のステップＳ３０において、サウスブリッジ３６は、ＣＰＵ４１の制御により、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ３７から前ストリームおよび後ストリームを読み出す。この前ストリームおよび後ストリームは、ノースブリッジ３２、ＰＣＩバス３５、および、ＰＣＩブリッジ３８を介して、メモリ３９に供給され、記憶される。また、ＣＰＵ３１は、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ３２、ＰＣＩバス３５、ＰＣＩブリッジ３８、および、コントロールバス４０を介して、ＣＰＵ４１に供給する。
【０１０５】
ステップＳ３１において、ＣＰＵ４１は、ＣＰＵ３１から供給された編集点を示す情報を基に、メモリ３９に記憶されている前ストリームおよび後ストリームに付加情報として含まれる視差情報のうちの注視領域の両眼視差量を読み出す。
【０１０６】
ステップＳ３２において、ＣＰＵ４１は、前ストリームの編集点の注視領域の両眼視差量と後ストリームの編集点の注視領域の両眼視差量を比較する。
【０１０７】
ステップＳ３３において、ＣＰＵ４１は、前ストリームの編集点の注視領域の両眼視差量と後ストリームの編集点の注視領域の両眼視差量の差分が所定の閾値以上であるかどうかを判定する。所定の閾値とは、例えば、輻輳角の１度に対応する両眼視差量である。
【０１０８】
ステップＳ３３で前ストリームの編集点の注視領域の両眼視差量と後ストリームの編集点の注視領域の両眼視差量の差分が所定の閾値以上であると判定された場合、処理はステップＳ３４に進む。ステップＳ３４において、ＣＰＵ４１は、前ストリームと後ストリームに付加情報として含まれる想定視聴環境情報のうちの上限スクリーン幅に基づいて、その上限スクリーン幅より小さい幅を、ユーザが想定するスクリーン幅として設定する。
【０１０９】
ステップＳ３５において、ＣＰＵ４１は、スクリーン幅に対応する両眼視差量の上限値を決定する。具体的には、ＣＰＵ４１は、上述した式（１）において、３Ｄ画像の水平解像度、想定視聴環境情報に含まれる想定両眼間隔、ステップＳ３３で設定されたスクリーン幅を代入して演算を行うことにより、スクリーン幅に対応する両眼視差量の上限値を決定する。
【０１１０】
ステップＳ３６において、ＣＰＵ４１は、ＣＰＵ３１から供給された編集点を示す情報と、前ストリームおよび後ストリームに含まれる視差情報を基に、再エンコード範囲と再エンコード範囲の調整後の両眼視差量を決定する。
【０１１１】
ステップＳ３７において、ＣＰＵ４１は、再エンコード範囲の調整後の両眼視差量が、-57画素以上ステップＳ３５で決定された両眼視差量の上限値以下である許容範囲内であるかどうかを判定する。
【０１１２】
ステップＳ３７で再エンコード範囲の調整後の両眼視差量が許容範囲内であると判定された場合、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている前ストリームのうち、再エンコード範囲の符号化データと、その符号化データの復号の際に必要となる符号化データをデコーダ４３に供給する。また、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている後ストリームのうち、再エンコード範囲の符号化データと、その符号化データの復号の際に必要となる符号化データをデコーダ４４に供給する。また、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている編集点までの前ストリームのうちの再エンコード範囲ではない部分と、編集点以降の後ストリームのうちの再エンコード範囲ではない部分を、ストリームスプライサ４６に供給する。そして、処理はステップＳ３９に進む。
【０１１３】
一方、ステップＳ３７で再エンコード範囲の調整後の両眼視差量が許容範囲内ではないと判定された場合、ステップＳ３８において、ＣＰＵ４１は、スクリーン幅を再設定する。
【０１１４】
具体的には、上述した式（１）で求められるスクリーン幅と両眼視差量の上限値の関係は、例えば、図１７に示すようになる。なお、図１７では、３Ｄ画像の水平解像度が1920画素であるものとしている。図１７に示すように、スクリーン幅が小さいほど、両眼視差量の上限値は大きくなる。従って、ＣＰＵ４１は、再エンコード範囲の調整後の両眼視差量が許容範囲内になるようにユーザが想定するスクリーン幅を小さくする。
【０１１５】
そして、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている前ストリームのうち、再エンコード範囲の符号化データと、その符号化データの復号の際に必要となる符号化データをデコーダ４３に供給する。また、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている後ストリームのうち、再エンコード範囲の符号化データと、その符号化データの復号の際に必要となる符号化データをデコーダ４４に供給する。また、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている編集点までの前ストリームのうちの再エンコード範囲ではない部分と、編集点以降の後ストリームのうちの再エンコード範囲ではない部分を、ストリームスプライサ４６に供給する。そして、処理はステップＳ３９に進む。
【０１１６】
ステップＳ３９において、デコーダ４３およびデコーダ４４は、ＣＰＵ４１の制御に基づいて、ＰＣＩブリッジ３８から供給される符号化データを、図２のエンコーダ１２の符号化方式に対応する方式で復号する。そして、デコーダ４３およびデコーダ４４は、復号の結果得られる３Ｄ画像の画像データを編集部４７に供給する。
【０１１７】
ステップＳ４０において、編集部４７は、ＣＰＵ４１の制御にしたがって、ステップＳ３６で決定された調整後の両眼視差量に基づいて、デコーダ４３およびデコーダ４４から供給される３Ｄ画像の画像データの注視領域の両眼視差量を調整し、調整後の画像データを接続する。編集部４７は、その結果得られる３Ｄ画像の画像データを編集後データとして、エンコーダ４８に供給する。
【０１１８】
ステップＳ４１において、エンコーダ４８は、ＣＰＵ４１の制御に基づいて、編集部４７から供給された編集後データを再エンコードする。エンコーダ４８は、その結果得られる符号化データをストリームスプライサ４６に供給する。
【０１１９】
ステップＳ４２において、ストリームスプライサ４６は、ＣＰＵ４１の制御に基づいて、エンコーダ４８から供給された符号化データに、注視領域の両眼視差量が調整後の注視領域の両眼視差量に更新された付加情報を付加し、再エンコード範囲のビットストリームを生成する。なお、ステップＳ３８の処理が行われた場合には、付加情報のうちの上限スクリーン幅も、ステップＳ３８で再設定されたスクリーン幅に更新される。
【０１２０】
ステップＳ４３において、ストリームスプライサ４６は、ＣＰＵ４１の制御に基づいて、生成された再エンコード範囲のビットストリームと、ＰＣＩブリッジ３８から供給されたビットストリームとを接続し、編集後のビットストリームを生成する。
【０１２１】
一方、ステップＳ３３で前ストリームの編集点の注視領域の両眼視差量と後ストリームの編集点の注視領域の両眼視差量の差分が所定の閾値以上ではないと判定された場合、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている編集点までの前ストリームと編集点以降の後ストリームをストリームスプライサ４６に供給する。そして、ステップＳ４４において、ストリームスプライサ４６は、ＣＰＵ４１の制御に基づいて、ＰＣＩブリッジ３８から供給される編集点までの前ストリームと編集点以降の後ストリームを接続し、編集後のビットストリームを生成する。
【０１２２】
編集後のビットストリームはメモリ３９に保存されたり、デコーダ４５で復号されたりする。メモリ３９に保存された編集後のビットストリームは、ユーザの指示に応じてＨＤＤ３７に供給され、保存される。また、デコーダ４５で復号された結果得られる画像データは、図示せぬディスプレイなどに出力され、その結果３Ｄ画像が表示される。
【０１２３】
以上のように、編集装置３０は、少なくとも視差情報と符号化データを含むビットストリームを取得し、その符号化データに対応する３Ｄ画像の再生時刻を指定し、視差情報に基づいて再エンコード範囲を決定し、再エンコード範囲の３Ｄ画像の両眼視差量を調整する。これにより、編集装置３０は、再生時刻が連続する３Ｄ画像の両眼視差量の差分が所定の閾値以下となる、安全かつ快適な視聴が可能な３Ｄ画像を生成することができる。
【０１２４】
また、ビットストリームに符号化データとともに視差情報が含まれているので、編集装置３０は、符号化データを復号して視差情報を得る必要がない。従って、編集装置３０は、再エンコード範囲を復号するだけで、再生時刻が連続する３Ｄ画像の両眼視差量の差分が所定の閾値以下となる、安全かつ快適な視聴が可能な３Ｄ画像を生成することができる。その結果、編集装置３０は、少ない画像処理負荷で、安全かつ快適な３Ｄ画像を視聴者に提供することができる。
【０１２５】
なお、図１６のステップＳ３７における許容範囲は、撮影条件情報に対応する範囲、即ち両眼視差量の下限値以上両眼視差量の上限値以下の範囲であってもよい。また、編集装置３０は、調整後の両眼視差量が許容範囲内ではない場合、前ストリームに対応する画像データにフェードアウトを施したり、後ストリームに対応する画像データにフェードインを施したりすることで、編集点の両眼視差量の差分が視聴者に知覚されにくくすることもできる。
【０１２６】
また、編集装置３０は、視差情報として注視領域の両眼視差量の位置情報が含まれる場合、その位置情報に基づいて、前ストリームの編集点の注視領域と後ストリームの編集点の注視領域の距離を求め、その距離が大きい場合には、両眼視差量の調整を行わないようにしてもよい。
【０１２７】
さらに、想定視聴環境情報として、上限スクリーン幅と想定両眼間隔の代わりに、ユーザが想定する視聴環境において安全かつ快適に視聴できる両眼視差量の範囲が付加するようにしてもよい。この場合、その両眼視差量の範囲が、ステップＳ３７における許容範囲とされる。
【０１２８】
また、上述した説明では、編集装置３０は、再生時刻が連続する３Ｄ画像の注視領域の両眼視差量が所定の閾値の範囲内になるように、両眼視差量の調整を行なったが、再生時刻が連続する３Ｄ画像の最大両眼視差量、最小両眼視差量、または最大両眼視差量と最小両眼視差量の中間値が所定の閾値の範囲内になるように、両眼視差量の調整を行うようにしてもよい。
【０１２９】
さらに、撮影装置１０から送信されるビットストリームに含まれる付加情報を用いる装置としては、ビットストリームを編集する編集装置３０のほか、ビットストリームに対して撮影時刻が不連続になる特殊再生（例えば、ハイライト再生、ダイジェスト再生、スキップ再生、リピート再生、不連続な時刻に撮影された３Ｄ画像の連続再生など）を行う再生装置がある。
【０１３０】
また、撮影装置１０から送信されるビットストリームに含まれる符号化データは、動画像の符号化データであっても静止画像の符号化データであってもよい。撮影装置１０から送信されるビットストリームに含まれる符号化データが静止画像の符号化データである場合、ビットストリームに含まれる付加情報を用いる装置としては、例えば、スライドショー表示を行う装置がある。
【０１３１】
また、本実施の形態では、付加情報が符号化データに付加(記述)されたが、付加情報は、画像データ(又はビットストリーム)と別に伝送(記録)されてもよい。また、付加情報は画像データ(又はビットストリーム)と連結されるようにしてもよい。
【０１３２】
なお、本実施の形態では、「連結」を以下のように定義する。「連結」とは、画像データ(又はビットストリーム)と付加情報とが互いにリンクされている状態を指す。連結対象の画像データと付加情報とは、別の伝送路で伝送されてもよい。また、連結対象の画像データ(又はビットストリーム)と付加情報とは、互いに別の記録媒体(又は同一の記録媒体内の別々の記録エリア)に記録されてもよい。なお、画像データ(又はビットストリーム)と付加情報とをリンクさせる単位は、例えば、符号化処理単位(１フレーム、複数フレーム等)にすることができる。
【０１３３】
[本発明を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１３４】
そこで、図１８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１３５】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０１３６】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１３７】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１３８】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１３９】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１４０】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１４１】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１４２】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１４３】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【符号の説明】
【０１４４】
１０ 撮影装置， １１ 撮影部， １２ エンコーダ， １３ 付加情報生成部， １４ ストリーム生成部， ３０ 編集装置， ３１ ＣＰＵ， ３４ 通信部， ４１ ＣＰＵ， ４３，４４ デコーダ， ４７ 編集部
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に、安全かつ快適な視聴が可能な３Ｄ画像を生成することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
例えば、３Ｄ画像に、２Ｄ画像と３Ｄ画像を識別するための情報や、適切な表示を行うための撮影方法の情報を付加することが考案されている。また、３Ｄ画像のうちの、２Ｄ画像の表示に用いられる画像を示すフラグを３Ｄ画像に付加することも考案されている（例えば、特許文献１参照）。
【０００３】
ところで、３Ｄ画像が商用コンテンツである場合、その３Ｄ画像は、撮影時および編集時に、製作者により、視聴時の安全性や快適性が配慮されて作成される。
【０００４】
具体的には、製作者は、視聴環境として映画館を想定する場合、映画館のスクリーンのサイズ、座席の位置等を想定し、その映画館で視聴者が３Ｄ画像を快適に視聴できるように、３Ｄ画像を作成する。例えば、図１に示すように、製作者が、所定のスクリーン幅のスクリーンが設置された映画館を視聴環境として想定した場合、最大両眼視差量がスクリーン幅の1％となるように、３Ｄ映画が撮影される。
【０００５】
なお、このように、最大両眼視差量がスクリーン幅の1％であるように撮影された３Ｄ映画は、視聴者の両目の幅がスクリーン幅の1％以上となるスクリーン幅のスクリーンが設置された映画館で視聴されると、３Ｄ映画の両眼視差量が、視聴者が視認可能な視聴者の両目の幅以下となる。従って、このような映画館では、視聴者は、より快適に３Ｄ映画を視聴することができる。
【０００６】
例えば、視聴者の両目の幅が5cmであるとすると、スクリーン幅が226inch（500cm）以下であれば、より快適に視聴することができる。また、視聴者の両目の幅が6.5cmであるとすると、スクリーン幅が294inch（650cm）以下であれば、より快適に視聴することができる。
【０００７】
また、製作者は、商用コンテンツとしての３Ｄ画像を編集する場合、編集後の編集点の前後で両眼視差量の変化が急激にならないように、編集作業時に両眼視差量を調整する。
【０００８】
以上のように、３Ｄ画像が商用コンテンツである場合、その３Ｄ画像は、撮影時および編集時に、製作者により、視聴時の安全性や快適性が配慮されて作成されるので、制作者が想定した視聴環境では、３Ｄ画像を快適に視聴することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】国際公開第２０１０/０６７８１０号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、３Ｄ画像が商用コンテンツではない場合、３Ｄ画像の扱いに不慣れな素人が、視聴時の安全性や快適性を配慮して、３Ｄ画像を編集することは困難である。
【００１１】
また、３Ｄ画像が商用コンテンツである場合であっても、撮影時刻が不連続になる特殊再生（例えば、ハイライト再生、ダイジェスト再生、スキップ再生、リピート再生など）が行われる場合、両眼視差量の変化が急激になる。その結果、視聴者は不快感やストレスを覚える。また、視聴者の安全上の問題が発生する場合もある。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、安全かつ快適な視聴が可能な３Ｄ画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の第１の側面の画像処理装置は、３Ｄ画像データと前記３Ｄ画像データの視差を表す視差情報とを取得する取得手段と、前記視差情報に基づいて、前記３Ｄ画像データの再生タイミングが連続する３Ｄ画像データどうしの視差の差分が所定の閾値以下となるために前記３Ｄ画像データの視差の調整が必要な範囲である調整範囲を決定する決定手段と、前記決定手段により決定された前記調整範囲の前記３Ｄ画像データの視差を調整する調整手段とを備える画像処理装置である。
【００１４】
本発明の第１の側面の画像処理方法は、本発明の第１の側面の画像処理装置に対応する。
【００１５】
本発明の第１の側面においては、３Ｄ画像データと前記３Ｄ画像データの視差を表す視差情報とが取得され、前記視差情報に基づいて、前記３Ｄ画像データの再生タイミングが連続する３Ｄ画像データどうしの視差の差分が所定の閾値以下となるために前記３Ｄ画像データの視差の調整が必要な範囲である調整範囲が決定され、決定された前記調整範囲の前記３Ｄ画像データの視差が調整される。
【００１６】
本発明の第２の側面の画像処理装置は、３Ｄ画像データを用いて、前記３Ｄ画像データの視差を検出する検出手段と、前記３Ｄ画像データと、前記３Ｄ画像データの視差を表す視差情報とを伝送する伝送手段とを備える画像処理装置である。
【００１７】
本発明の第２の側面の画像処理方法は、本発明の第２の側面の画像処理装置に対応する。
【００１８】
本発明の第２の側面においては、３Ｄ画像データを用いて、前記３Ｄ画像データの視差が検出され、前記３Ｄ画像データと、前記３Ｄ画像データの視差を表す視差情報とが伝送される。
【００１９】
なお、第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
【００２０】
また、第１および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
【発明の効果】
【００２１】
本発明の第１の側面によれば、安全かつ快適な視聴が可能な３Ｄ画像を生成することができる。
【００２２】
本発明の第２の側面によれば、安全かつ快適な視聴が可能な３Ｄ画像を生成するための情報を伝送することができる。
【図面の簡単な説明】
【００２３】
【図１】スクリーン幅と最大両眼視差量の関係の一例を示す図である。
【図２】本発明を適用した画像処理装置としての撮影装置の一実施の形態の構成例を示すブロック図である。
【図３】付加情報の例を示す図である。
【図４】両眼視差量の上限値と下限値の設定について説明する図である。
【図５】両眼視差量の上限値と下限値の設定について説明する他の図である。
【図６】スクリーン幅と57画素に相当するスクリーン上の長さとの関係を示す図である。
【図７】両眼視差量の上限値と撮影条件の関係について説明する図である。
【図８】焦点距離と画角の関係を示す図である。
【図９】両眼視差量の上限値、両眼視差量の下限値、水平解像度、スクリーン幅、および両眼間隔の関係を示す図である。
【図１０】両眼視差量の関係を示す図である。
【図１１】図２の撮影装置による生成処理を説明するフローチャートである。
【図１２】本発明を適用した画像処理装置としての編集装置の一実施の形態の構成例を示すブロック図である。
【図１３】再エンコード範囲の決定方法を説明する図である。
【図１４】両眼視差量の第１の調整方法を説明する図である。
【図１５】両眼視差量の第２の調整方法を説明する図である。
【図１６】図１２の編集装置による編集処理を説明するフローチャートである。
【図１７】スクリーン幅と両眼視差量の上限値の関係の例を示す図である。
【図１８】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００２４】
＜一実施の形態＞
［撮影装置の一実施の形態の構成例］
図２は、本発明を適用した画像処理装置としての撮影装置の一実施の形態の構成例を示すブロック図である。
【００２５】
図２の撮影装置１０は、撮影部１１、エンコーダ１２、付加情報生成部１３、およびストリーム生成部１４により構成される。撮影装置１０は、３Ｄ画像を撮影して符号化し、その３Ｄ画像の両眼視差量を表す情報等を付加して、出力する。
【００２６】
具体的には、撮影装置１０の撮影部１１（撮影手段）は、カメラの光軸が平行になるように左右方向に並べて配置された２台のカメラ（図示せず）を備える。２台のカメラは、それぞれ、平行法で撮影を行う。撮影部１１は、その結果得られる２枚の画像のうちの一方の画像を左目用の画像とし、他方の画像を右目用の画像とする。撮影部１１は、左目用の画像と右目用の画像をシフトすることにより、奥行き方向の位置を無限遠から手前に移動させた３Ｄ画像を生成する。
【００２７】
なお、撮影部１１は、平行法で撮影された左目用の画像と右目用の画像をシフトするのではなく、２台のカメラのレンズとイメージャの位置関係にオフセットを与えて撮影（シフト撮影）を行わせることにより、３Ｄ画像を生成することもできる。
【００２８】
撮影部１１は、生成された３Ｄ画像をエンコーダ１２および付加情報生成部１３に供給する。また、撮影部１１は、３Ｄ画像の撮影条件、撮影時刻などを付加情報生成部１３に供給する。
【００２９】
エンコーダ１２（符号化手段）は、撮影部１１から供給される３Ｄ画像に対して、MVC（Multiview Video Coding）、AVC（Advanced Video Coding）、MPEG2（Moving Picture Experts Group phase 2）等の方式で符号化を行う。エンコーダ１２は、符号化の結果得られる符号化データをストリーム生成部１４に供給する。
【００３０】
付加情報生成部１３は、撮影部１１から供給される３Ｄ画像、３Ｄ画像の撮影条件、撮影時刻や、ユーザ入力等に基づいて、符号化データに付加する情報である付加情報を生成する。付加情報としては、例えば、３Ｄ画像の撮影条件を表す撮影条件情報、３Ｄ画像の両眼視差量を表す視差情報、３Ｄ画像の視聴環境として想定する視聴環境を表す想定視聴環境情報などがある。付加情報生成部１３は、生成された付加情報をストリーム生成部１４に供給する。
【００３１】
ストリーム生成部１４(出力手段)は、エンコーダ１２から供給される符号化データに、付加情報生成部１３から供給される付加情報を付加してビットストリームを生成する。このとき、ストリーム生成部１４は、付加情報を、対応する符号化データに多重化してビットストリームを生成してもよいし、対応する符号化データとは異なるファイルデータとしてビットストリームを生成するようにしてもよい。ストリーム生成部１４は、生成されたビットストリームを出力する。
【００３２】
［付加情報の説明］
図３は、付加情報の例を示す図である。
【００３３】
図３の例では、付加情報は、撮影条件情報、視差情報、および想定視聴環境情報により構成される。撮影条件情報は、両眼視差量の上限値とタイムスタンプにより構成される。両眼視差量の上限値とは、撮影部１１において撮影される３Ｄ画像の両眼視差量の上限値、即ち無限遠の点に対する両眼視差量である。
【００３４】
なお、両眼視差量とは、３Ｄ画像を構成する左目用の画像と右目用の画像の対応する点の左右方向の位置のずれ量を表す画素数である。ここでは、左目用の画像に対して右目用の画像が右側にある場合、即ち３Ｄ画像の奥行方向の位置が奥側にある場合、ずれ量は正の値となり、左目用の画像に対して右目用の画像が左側にある場合、即ち３Ｄ画像の奥行き方向の位置が手前側にある場合、ずれ量は負の値となるものとする。
【００３５】
両眼視差量の上限値は、例えば、撮影部１１により設定されて付加情報生成部１３に入力され、付加情報生成部１３において撮影条件情報として生成される。
【００３６】
なお、撮影条件情報には、両眼視差量の上限値そのものではなく、両眼視差量の上限値を算出可能な代替パラメータが含まれるようにしてもよい。
【００３７】
また、撮影条件情報には、両眼視差量の下限値が含まれるようにしてもよい。両眼視差量の下限値は、両眼視差量の上限値と同様に撮影部１１において設定され、撮影部１１は、最も手前側の位置に対応する３Ｄ画像の両眼視差量が両眼視差量の下限値になるように３Ｄ画像を撮影する。撮影条件情報に両眼視差量の下限値が含まれる場合には、撮影部１１が両眼視差量の下限値を付加情報生成部１３に入力し、付加情報生成部１３は、その両眼視差量の下限値を撮影条件情報として生成する。
【００３８】
タイムスタンプは、撮影条件情報が付加される３Ｄ画像の撮影時刻の、その撮影条件情報に対応する３Ｄ画像の撮影時刻に対するオフセットである。このタイムスタンプは、撮影部１１から入力される撮影時刻等に基づいて生成される。
【００３９】
視差情報は、最大両眼視差量、最小両眼視差量、および注視領域の両眼視差量により構成される。最大両眼視差量とは、３Ｄ画像の両眼視差量の最大値であり、最小両眼視差量とは、３Ｄ画像の両眼視差量の最小値である。また、注視領域とは、３Ｄ画像内において注目する領域である。
【００４０】
なお、視差情報には、最大両眼視差量、最小両眼視差量、および注視領域の両眼視差量だけでなく、それらの両眼視差量に対応する３Ｄ画像内の位置を表す情報が含まれるようにしてもよい。この位置を表す情報としては、両眼視差量に対応する３Ｄ画像内の点を含む矩形の対角および左上と右下の頂点の座標や、両眼視差量に対応する３Ｄ画像内の点を含む円の中心座標と半径などを用いることができる。
【００４１】
最大両眼視差量、最小両眼視差量、および注視領域の両眼視差量は、例えば、付加情報生成部１３（検出手段）により３Ｄ画像を用いてブロックマッチングや特徴点抽出等の手法を用いて検出され、視差情報として生成される。
【００４２】
なお、注視領域は、ユーザ入力に応じて決定されてもよいし、自動的に検出されてもよい。注視領域が自動的に検出される場合には、例えば、顔認識や人物認識等の組み合わせにより主要な人物の領域が注視領域として検出される。また、被写体抽出のための画像認識、画像の構造解析やシーン認識の組み合わせ等により、視聴者が注目すると推測される被写体の領域が注視領域として検出されたり、フォーカスがあっている被写体、面積の大きい被写体、両眼視差量の最頻値、即ち支配的な両眼視差量を有する被写体などの領域が注視領域として検出されてもよい。
【００４３】
また、視差情報には、最大両眼視差量、最小両眼視差量、および注視領域の両眼視差量が有効であるか無効であるかを表すフラグが含まれるようにしてもよい。この場合、付加情報生成部１３は、例えば、３Ｄ画像の撮影条件が所定の条件である場合、エンコーダ１２において符号化前に何等かの編集が行われた場合、または両眼視差量の検出にエラーが発生した場合、注視領域の両眼視差量が無効であることを表すフラグを生成する。
【００４４】
想定視聴環境情報としては、上限スクリーン幅および想定両眼間隔が生成される。上限スクリーン幅は、ユーザが想定する視聴環境におけるスクリーン幅の上限値であり、最大両眼視差量が必ず想定両眼間隔以下になるスクリーン幅の上限値である。この上限値は、付加情報生成部１３において両眼視差量の上限値が所定値（例えば、5cm）に仮定され、以下の式（１）の演算が行われることにより、生成される。
【００４５】
【数１】
【００４６】
なお、式（１）における両眼視差量の上限値として、実際の両眼視差量の上限値が設定される場合、両眼視差量の上限値の両眼視差量を有する被写体が存在すると、その被写体の両眼視差量を大きくすることができないため、実際に設定される両眼視差量の上限値より大きい値を仮定することが望ましい。
【００４７】
想定両眼間隔とは、ユーザが想定する視聴者の両眼間隔である。想定両眼間隔は、ユーザ入力に応じて生成される。なお、３ＤＣ安全ガイドラインなどでは、平均的な成人の両眼間隔は6.5cm、子供の両眼間隔は5cmであると言われており、子供の視聴を考慮すると、想定両眼間隔としては、5cmが設定されることが望ましい。また、規格等により想定両眼間隔が固定値にされる場合には、想定視聴環境情報として想定両眼間隔が生成されなくてもよい。
【００４８】
なお、想定視聴環境情報には、上限スクリーン幅ではなく、ユーザ入力に応じてユーザが想定する視聴環境におけるスクリーン幅そのものが含まれるようにしてもよい。
【００４９】
また、付加情報は、例えばフレーム単位の３Ｄ画像に対して生成される。なお、エンコーダ１２において３Ｄ画像がMPEG2等の方式で符号化される場合、付加情報は、GOP単位の３Ｄ画像に対して生成されてもよい。この場合、付加情報を用いる装置（例えば、後述する編集装置）は、タイムスタンプを参照して、GOP単位の３Ｄ画像に対して生成された付加情報を補間することによりフレーム単位の３Ｄ画像に対する付加情報を生成し、その付加情報を用いる。
【００５０】
図４および図５は、両眼視差量の上限値と下限値の設定について説明する図である。なお、図４では、説明の便宜上、左目用の画像と右目用の画像が合成されて表示されている。
【００５１】
図４Ａに示すように、人間の目は外側にはほとんど開かない。従って、安全かつ快適に視聴可能な３Ｄ画像の両眼視差量は、視聴者の両眼間隔以下である必要がある。但し、スクリーン幅が大きい場合には、そのスクリーン幅の1％乃至2％まで許容可能である。よって、両眼視差量の上限値としては、ユーザが想定する視聴者の両眼間隔、または、ユーザが想定する視聴環境におけるスクリーン幅の1％乃至2％の大きい方が設定される。
【００５２】
また、図４Ｂに示すように、３Ｄ安全ガイドライン等では、安全かつ快適に視聴可能な３Ｄ画像の両眼視差量は、輻輳角が、両眼視差量が0であるときの輻輳角＋1度となる両眼視差量以上であると言われている。具体的には、図５に示すように、両眼間隔が5cm乃至6.5cmであり、スクリーンから視聴者の目までの距離である視聴距離が、標準視聴距離、即ちスクリーンの高さの3倍であり、スクリーンの縦横比が16:9であり、水平解像度が1920画像である場合、両眼視差量が0であるときの輻輳角γ+1度である輻輳角βに対応する両眼視差量は、−約57画素である。従って、両眼視差量の下限値は、−約57画素が設定される。図６は、スクリーン幅と57画素に相当するスクリーン上の長さとの関係を示す図である。
【００５３】
次に、図７を参照して、両眼視差量の上限値と撮影部１１における撮影条件の関係について説明する。
【００５４】
両眼視差量の上限値は、図７に示すカメラ光軸間隔、輻輳点距離での撮影範囲、および３Ｄ画像の水平解像度を用いて、以下の式（２）で表される。
【００５５】
【数２】
【００５６】
なお、カメラ光軸間隔とは、２台のカメラの光軸の水平方向の間隔である。また、輻輳点距離での撮影範囲とは、両眼視差量が０である点である輻輳点を２台のカメラで撮影するときの撮影距離である輻輳点距離を撮影距離として撮影したときに、各カメラが撮影可能な水平方向の範囲である。
【００５７】
輻輳点距離は、以下の式（３）により求められ、輻輳点距離での撮影範囲は、以下の式（４）により求められる。
【００５８】
【数３】
【数４】
【００５９】
なお、輻輳角は、２台のカメラで輻輳点を撮影するときの２台のカメラの光軸のなす角である。また、式（４）における画角とは、輻輳点距離での撮影範囲の画角である。この画角は、輻輳点距離を35mmフィルムのSLR（Single Lens Reflex）カメラまたはDSLR（Digital Single Lens Reflex）カメラの焦点距離に換算することにより求めたり、焦点距離とイメージャのサイズから求めることができる。図８は、35mm判SLRカメラまたは35mmフルサイズDSLRカメラの焦点距離と画角の関係を示す図である。
【００６０】
以上のように、両眼視差量の上限値とカメラ光軸間隔の関係は、式（２）で表されるので、撮影部１１において、両眼視差量の上限値が設定される場合、その両眼視差量の上限値、輻輳点距離での撮影範囲、および水平解像度を用いて上述した式（２）が演算されることにより、カメラ光軸間隔が求められる。そして、撮影部１１において、カメラ光軸間隔が、求められたカメラ光軸間隔に調整される。
【００６１】
図９は、両眼視差量の上限値、両眼視差量の下限値、水平解像度、スクリーン幅、および両眼間隔の関係を示す図である。図１０は、両眼視差量の上限値、最大両眼視差量、注視領域の両眼視差量、最小両眼視差量、および両眼視差量の下限値の関係を示す図である。
【００６２】
［撮影装置の処理の説明］
図１１は、図２の撮影装置１０によるビットストリームを生成する生成処理を説明するフローチャートである。この生成処理は、例えば、ユーザが３Ｄ画像の撮影を指示したとき、開始される。
【００６３】
図１１のステップＳ１１において、撮影部１１は、３Ｄ画像を生成し、エンコーダ１２おおよび付加情報生成部１３に供給する。また、撮影部１１は、３Ｄ画像の撮影条件、撮影時刻などを付加情報生成部１３に供給する。
【００６４】
ステップＳ１２において、エンコーダ１２は、撮影部１１から供給される３Ｄ画像をMVC、AVC、MPEG2等の方式で符号化し、その結果得られる符号化データをストリーム生成部１４に供給する。
【００６５】
ステップＳ１３において、付加情報生成部１３は、撮影部１１から供給される３Ｄ画像、３Ｄ画像の撮影条件、撮影時刻や、ユーザ入力等に基づいて、付加情報を生成する。付加情報生成部１３は、生成された付加情報をストリーム生成部１４に供給する。
【００６６】
ステップＳ１４において、ストリーム生成部１４は、エンコーダ１２から供給される符号化データに、付加情報生成部１３から供給される付加情報を付加してビットストリームを生成し、出力する。そして、処理は終了する。
【００６７】
以上のように、撮影装置１０は、３Ｄ画像を用いて視差情報を検出し、その視差情報を符号化データとともに出力する。従って、符号化データの再生や編集を行う装置において、視差情報に基づいて、再生時刻が連続する３Ｄ画像の両眼視差量の差分が所定の閾値以下となる、安全かつ快適な視聴が可能な３Ｄ画像を生成することができる。
【００６８】
また、符号化データとともに視差情報が出力されるので、符号化データの再生や編集を行う装置において、符号化データを復号して視差情報を得る必要がない。従って、符号化データの再生や編集を行う装置は、再生や編集により両眼視差量の調整が必要な範囲を復号するだけで、再生時刻が連続する３Ｄ画像の両眼視差量の差分が所定の閾値以下となる、安全かつ快適な視聴が可能な３Ｄ画像を生成することができる。その結果、符号化データの再生や編集を行う装置は、少ない画像処理負荷で、安全かつ快適な３Ｄ画像を視聴者に提供することができる。
【００６９】
［編集装置の構成例］
図１２は、本発明を適用した画像処理装置としての編集装置の一実施の形態の構成例を示すブロック図である。
【００７０】
図１２の編集装置３０は、図２の撮影装置１０から出力された３Ｄ画像のビットストリームを、編集に必要な最小限の範囲だけ復号することにより、編集後の３Ｄ画像が安全かつ快適に視聴可能な３Ｄ画像となるように編集を行う。
【００７１】
具体的には、編集装置３０のＣＰＵ（Central Processing Unit）３１は、ノースブリッジ３２に接続される。ＣＰＵ３１は、例えば、ＨＤＤ（Hard disk Drive）３７に記憶されているデータの読み出しなどの処理を制御したり、ＣＰＵ４１が実行する編集処理を制御するためのコマンドを生成し、出力したりする。
【００７２】
ノースブリッジ３２は、ＰＣＩバス（Peripheral Component Interconnect/Interface）３５に接続される。ノースブリッジ３２は、例えば、ＣＰＵ３１の制御に基づいて、サウスブリッジ３６を介して、ＨＤＤ３７に記憶されているデータの供給を受け、ＰＣＩバス３５、ＰＣＩブリッジ３８を介して、メモリ３９に供給する。また、ノースブリッジ３２は、メモリ３３とも接続されており、ＣＰＵ３１の処理に必要なデータを授受する。さらに、ノースブリッジ３２は、通信部３４とも接続されており、他の装置と通信するデータを授受する。
【００７３】
メモリ３３は、ＣＰＵ３１が実行する処理に必要なデータを保存する。サウスブリッジ３６は、ＨＤＤ３７のデータの書き込みおよび読み出しを制御する。通信部３４は、ノースブリッジ３２から供給されるデータを他の装置に送信したり、他の装置から受信したデータをノースブリッジ３２に供給したりする。ＨＤＤ３７には、撮影装置１０から受信された３Ｄ画像のビットストリームが編集用素材として記憶される。
【００７４】
ＰＣＩブリッジ３８は、メモリ３９のデータの書き込みおよび読み出しを制御する。また、ＰＣＩブリッジ３８は、デコーダ４３乃至４５への符号化データの供給、ＣＰＵ４１への付加情報の供給、およびストリームスプライサ４６へのビットストリームの供給を制御する。さらに、ＰＣＩブリッジ３８は、ＰＣＩバス３５およびコントロールバス４０のデータの授受を制御する。
【００７５】
メモリ３９は、ＰＣＩブリッジ３８の制御に基づいて、ＨＤＤ３７より読み出された編集用素材であるビットストリームや、ストリームスプライサ４６から供給される編集後のビットストリームを記憶する。
【００７６】
ＣＰＵ４１は、ノースブリッジ３２、ＰＣＩバス３５、ＰＣＩブリッジ３８、および、コントロールバス４０を介して、ＣＰＵ３１から供給されたコマンドにしたがって、ＰＣＩブリッジ３８、デコーダ４３乃至４５、ストリームスプライサ４６、編集部４７、および、エンコーダ４８が実行する処理を制御する。メモリ４２は、ＣＰＵ４１の処理に必要なデータを記憶する。
【００７７】
デコーダ４３およびデコーダ４４（復号手段）は、ＣＰＵ４１の制御に基づいて、ＰＣＩブリッジ３８から供給される符号化データを、図２のエンコーダ１２の符号化方式に対応する方式で復号し、復号の結果得られる３Ｄ画像の画像データを編集部４７に供給する。デコーダ４５は、ストリームスプライサ４６から供給される編集後のビットストリームをエンコーダ１２やエンコーダ４８における符号化方式に対応する方式で復号し、出力する。
【００７８】
ストリームスプライサ４６は、ＣＰＵ４１の制御に基づいて、ＰＣＩブリッジ３８から供給されるビットストリームと、エンコーダ４８から供給される符号化データを含むビットストリームを結合し、編集後のビットストリームを生成する。ストリームスプライサ４６は、編集後のビットストリームをデコーダ４５に供給したり、ＰＣＩブリッジ３８を介して、メモリ３９に供給して保存させる。
【００７９】
編集部４７は、ＣＰＵ４１の制御に基づいて、デコーダ４３またはデコーダ４４から供給される３Ｄ画像の画像データを結合する。このとき、編集部４７（調整手段）は、再生時刻が連続する３Ｄ画像の画像データの注視領域の両眼視差量の差分が所定の閾値以下となるように、３Ｄ画像の画像データの注視領域の両眼視差量を調整する。編集部４７は、結合の結果得られる画像データを編集後データとしてエンコーダ４８に供給する。
【００８０】
エンコーダ４８は、ＣＰＵ４１の制御に基づいて、編集部４７から供給される編集後データを、エンコーダ１２における符号化方式と同様の方式で符号化し、その結果得られる符号化データを、ストリームスプライサ４６に出力する。
【００８１】
次に、編集装置３０の動作について説明する。
【００８２】
通信部３４（取得手段）は、撮影装置１０から出力されるビットストリームを取得し、ノースブリッジ３２に供給する。ノースブリッジ３２は、ＣＰＵ３１の制御に基づいて、通信部３４から供給されるビットストリームを、サウスブリッジ３６を介してＨＤＤ３７に供給し、記憶させる。
【００８３】
サウスブリッジ３６は、ＣＰＵ３１の制御により、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ３７から、編集により接続する２つのビットストリームのうちの前方のビットストリーム（以下、前ストリームという）および後方のビットストリーム（以下、後ストリームという）を読み出す。読み出された前ストリームと後ストリームは、ＣＰＵ３１の制御により、ノースブリッジ３２、ＰＣＩバス３５、および、ＰＣＩブリッジ３８を介してメモリ３９に供給され、記憶される。また、ＣＰＵ３１（指定手段）は、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ３２、ＰＣＩバス３５、ＰＣＩブリッジ３８、および、コントロールバス４０を介して、ＣＰＵ４１に供給する。
【００８４】
なお、編集点を示す情報は、前フレームおよび後フレームの一方における他方を接続する位置を示す情報であり、この情報により、編集後のビットストリームにおける３Ｄ画像の再生時刻が決定される。従って、編集点を示す情報は、編集後のビットストリームにおける３Ｄ画像の再生時刻を指定する情報である。
【００８５】
ＣＰＵ４１（決定手段）は、ＣＰＵ３１から供給された編集点を示す情報と、前ストリームおよび後ストリームに含まれる付加情報を基に、再生時刻が連続する３Ｄ画像どうしの注視領域の両眼視差量の差分が所定の閾値以下となるために両眼視差量の調整が必要な前ストリームおよび後ストリームの範囲を、再エンコード範囲として決定する。
【００８６】
そして、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている前ストリームのうち、再エンコード範囲の符号化データと、その符号化データの復号の際に必要となる符号化データをデコーダ４３に供給する。また、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている後ストリームのうち、再エンコード範囲の符号化データと、その符号化データの復号の際に必要となる符号化データをデコーダ４４に供給する。
【００８７】
また、このとき、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている編集点までの前ストリームのうちの再エンコード範囲ではない部分と、編集点以降の後ストリームのうちの再エンコード範囲ではない部分を、ストリームスプライサ４６に供給する。
【００８８】
デコーダ４３およびデコーダ４４は、ＣＰＵ４１の制御に基づいて、ＰＣＩブリッジ３８から供給される符号化データを、図２のエンコーダ１２の符号化方式に対応する方式で復号する。そして、デコーダ４３およびデコーダ４４は、復号されて得られた再エンコード範囲の３Ｄ画像の画像データを編集部４７に供給する。
【００８９】
編集部４７は、ＣＰＵ４１の制御に基づいて、デコーダ４３から供給される３Ｄ画像の画像データと、デコーダ４４から供給される３Ｄ画像の画像データを接続する。なお、このとき、編集部４７は、ＣＰＵ４１の制御に基づいて、再生時刻が連続する３Ｄ画像どうしの注視領域の両眼視差量の差分が所定の閾値以下となるように、３Ｄ画像の画像データの注視領域の両眼視差量を調整する。編集部４７は、接続された３Ｄ画像の画像データを編集後データとして、エンコーダ４８に供給する。
【００９０】
エンコーダ４８は、ＣＰＵ４１の制御に基づいて、編集部４７から供給された編集後データを、図２のエンコーダ１２と同様の方式で符号化する。エンコーダ４８は、その結果得られる符号化データをストリームスプライサ４６に供給する。
【００９１】
ストリームスプライサ４６は、ＣＰＵ４１の制御に基づいて、エンコーダ４８から供給された符号化データに、注視領域の両眼視差量が調整後の注視領域の両眼視差量に更新された付加情報を付加し、再エンコード範囲のビットストリームを生成する。ストリームスプライサ４６は、ＣＰＵ４１の制御に基づいて、生成された再エンコード範囲のビットストリームと、ＰＣＩブリッジ３８から供給されたビットストリームとを接続し、編集後のビットストリームを生成する。
【００９２】
そして、ストリームスプライサ４６は、ＣＰＵ４１の制御に基づいて、編集後のビットストリームをＰＣＩブリッジ３８に供給して、メモリ３９に保存させる。また、ストリームスプライサ４６は、ＣＰＵ４１の制御に基づいて、編集後のビットストリームをデコーダ４５に供給して復号させ、図示せぬディスプレイなどに出力させる。
【００９３】
図示しない操作入力部から、編集後のビットストリームの保存が指令された場合、ＰＣＩブリッジ３８は、ＣＰＵ３１の制御に基づいて、メモリ３９に保存されている編集後のビットストリームを読み出す。読み出された編集後のビットストリームは、ＣＰＵ３１の制御により、ＰＣＩバス３５およびノースブリッジ３２を介して、サウスブリッジ３６に供給され、ＨＤＤ３７に供給されて保存される。
【００９４】
［両眼視差量の調整の説明］
図１３は、再エンコード範囲の決定方法を説明する図である。
【００９５】
なお、図１３において、横軸は、３Ｄ画像の再生時刻を表し、縦軸は、両眼視差量を表している。
【００９６】
図１３に示すように、撮影時刻が不連続になる編集点における前ストリームの注視領域の両眼視差量と後ストリームの注視領域の両眼視差量の差（ギャップ）が所定の閾値より大きい場合、ＣＰＵ４１は、前ストリームの再生時刻が編集点より前の区間の注視領域の両眼視差量と、後ストリームの再生時刻が編集点より後の区間の注視領域の両眼視差量を取得する。そして、ＣＰＵ４１は、取得された前ストリームと後ストリームの注視領域の両眼視差量に基づいて、再エンコード範囲を決定する。
【００９７】
このように、再エンコード範囲の決定には、前ストリームと後ストリームの注視領域の両眼視差量を認識する必要があるが、撮影装置１０から出力されるビットストリームでは、符号化データに注視領域の両眼視差量が付加されているので、編集装置３０は、両眼視差量を検出するために符号化データを復号する必要がない。従って、編集装置３０は、再エンコード範囲の符号化データを復号するだけで、再生時刻が連続する３Ｄ画像どうしの注視領域の両眼視差量の差分が所定の閾値以下となるように、両眼視差量を調整することができる。
【００９８】
図１４は、両眼視差量の第１の調整方法を説明する図であり、図１５は、両眼視差量の第２の調整方法を説明する図である。なお、図１４において、図１４Ａは、視聴者が知覚する３Ｄ画像の奥行方向の位置を示しており、図１４Ｂは、３Ｄ画像を構成する左目用の画像と右目用の画像を合成した画像を示している。このことは、図１５においても同様である。
【００９９】
図１４に示すように、両眼視差量の第１の調整方法は、左目用の画像と右目用の画像を水平方向にシフトさせる方法である。図１４の例では、左目用の画像を右方向にシフトし、右目用の画像を左方向にシフトすることにより、両眼視差量が小さくされている。これにより、視聴者は、両眼視差量が調整される前に比べて、手前側にある家、木、および猫を知覚する。
【０１００】
なお、第１の調整方法では、左目用の画像と右目用の画像が水平方向にシフトされるので、左目用の画面と右目用の画面の左端部または右端部の画像がなくなる。従って、左目用の画像と右目用の画像が拡大されたり、所定の画像が挿入されたりすることにより、左端部または右端部の画像が補間される。なお、左目用の画像と右目用の画像が拡大される場合、両眼視差量が変化するため、その変化が考慮されて左目用の画像と右目用の画像がシフトされる。
【０１０１】
図１５に示すように、両眼視差量の第２の調整方法は、左目用の画像と右目用の画像に基づいて新たな左目用の画像と右目用の画像を生成する方法である。この方法では、３Ｄ画像の両眼視差量を変化させるだけでなく、３Ｄ画像の両眼視差量を圧縮することもできる。
【０１０２】
具体的には、図１５の例では、新たな左目用の画像において、家の位置が、元の左目用の画像内の家の位置より右方向に移動し、木の位置が、元の左目用の画像内の木の位置より右方向に家の移動量より大きく移動し、猫の位置が、元の左目用の画像内の家の位置より右方向に家の移動量より小さく移動している。また、新たな右目用の画像において、家の位置が、元の右目用の画像内の家の位置より左方向に移動し、木の位置が、元の右目用の画像内の木の位置より左方向に家の移動量より大きく移動し、猫の位置が、元の右目用の画像内の家の位置より左方向に家の移動量より小さく移動している。従って、３Ｄ画像の両眼視差量を小さくするとともに、圧縮することができる。その結果、視聴者は、両眼視差量が調整される前に比べて、木、家、猫の順に大きい距離だけ手前側にある木、家、および猫を知覚する。即ち、視聴者は、両眼視差量が調整される前に比べて、奥行方向の位置が圧縮され、手前側にある３Ｄ画像を知覚する。
【０１０３】
[編集装置の処理の説明]
図１６は、図１２の編集装置３０による編集処理を説明するフローチャートである。この編集処理は、例えば、ＨＤＤ３７に編集用素材として記録されたビットストリームの編集の開始がユーザにより指示されたとき、開始される。
【０１０４】
図１６のステップＳ３０において、サウスブリッジ３６は、ＣＰＵ４１の制御により、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ３７から前ストリームおよび後ストリームを読み出す。この前ストリームおよび後ストリームは、ノースブリッジ３２、ＰＣＩバス３５、および、ＰＣＩブリッジ３８を介して、メモリ３９に供給され、記憶される。また、ＣＰＵ３１は、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ３２、ＰＣＩバス３５、ＰＣＩブリッジ３８、および、コントロールバス４０を介して、ＣＰＵ４１に供給する。
【０１０５】
ステップＳ３１において、ＣＰＵ４１は、ＣＰＵ３１から供給された編集点を示す情報を基に、メモリ３９に記憶されている前ストリームおよび後ストリームに付加情報として含まれる視差情報のうちの注視領域の両眼視差量を読み出す。
【０１０６】
ステップＳ３２において、ＣＰＵ４１は、前ストリームの編集点の注視領域の両眼視差量と後ストリームの編集点の注視領域の両眼視差量を比較する。
【０１０７】
ステップＳ３３において、ＣＰＵ４１は、前ストリームの編集点の注視領域の両眼視差量と後ストリームの編集点の注視領域の両眼視差量の差分が所定の閾値以上であるかどうかを判定する。所定の閾値とは、例えば、輻輳角の１度に対応する両眼視差量である。
【０１０８】
ステップＳ３３で前ストリームの編集点の注視領域の両眼視差量と後ストリームの編集点の注視領域の両眼視差量の差分が所定の閾値以上であると判定された場合、処理はステップＳ３４に進む。ステップＳ３４において、ＣＰＵ４１は、前ストリームと後ストリームに付加情報として含まれる想定視聴環境情報のうちの上限スクリーン幅に基づいて、その上限スクリーン幅より小さい幅を、ユーザが想定するスクリーン幅として設定する。
【０１０９】
ステップＳ３５において、ＣＰＵ４１は、スクリーン幅に対応する両眼視差量の上限値を決定する。具体的には、ＣＰＵ４１は、上述した式（１）において、３Ｄ画像の水平解像度、想定視聴環境情報に含まれる想定両眼間隔、ステップＳ３３で設定されたスクリーン幅を代入して演算を行うことにより、スクリーン幅に対応する両眼視差量の上限値を決定する。
【０１１０】
ステップＳ３６において、ＣＰＵ４１は、ＣＰＵ３１から供給された編集点を示す情報と、前ストリームおよび後ストリームに含まれる視差情報を基に、再エンコード範囲と再エンコード範囲の調整後の両眼視差量を決定する。
【０１１１】
ステップＳ３７において、ＣＰＵ４１は、再エンコード範囲の調整後の両眼視差量が、-57画素以上ステップＳ３５で決定された両眼視差量の上限値以下である許容範囲内であるかどうかを判定する。
【０１１２】
ステップＳ３７で再エンコード範囲の調整後の両眼視差量が許容範囲内であると判定された場合、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている前ストリームのうち、再エンコード範囲の符号化データと、その符号化データの復号の際に必要となる符号化データをデコーダ４３に供給する。また、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている後ストリームのうち、再エンコード範囲の符号化データと、その符号化データの復号の際に必要となる符号化データをデコーダ４４に供給する。また、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている編集点までの前ストリームのうちの再エンコード範囲ではない部分と、編集点以降の後ストリームのうちの再エンコード範囲ではない部分を、ストリームスプライサ４６に供給する。そして、処理はステップＳ３９に進む。
【０１１３】
一方、ステップＳ３７で再エンコード範囲の調整後の両眼視差量が許容範囲内ではないと判定された場合、ステップＳ３８において、ＣＰＵ４１は、スクリーン幅を再設定する。
【０１１４】
具体的には、上述した式（１）で求められるスクリーン幅と両眼視差量の上限値の関係は、例えば、図１７に示すようになる。なお、図１７では、３Ｄ画像の水平解像度が1920画素であるものとしている。図１７に示すように、スクリーン幅が小さいほど、両眼視差量の上限値は大きくなる。従って、ＣＰＵ４１は、再エンコード範囲の調整後の両眼視差量が許容範囲内になるようにユーザが想定するスクリーン幅を小さくする。
【０１１５】
そして、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている前ストリームのうち、再エンコード範囲の符号化データと、その符号化データの復号の際に必要となる符号化データをデコーダ４３に供給する。また、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている後ストリームのうち、再エンコード範囲の符号化データと、その符号化データの復号の際に必要となる符号化データをデコーダ４４に供給する。また、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている編集点までの前ストリームのうちの再エンコード範囲ではない部分と、編集点以降の後ストリームのうちの再エンコード範囲ではない部分を、ストリームスプライサ４６に供給する。そして、処理はステップＳ３９に進む。
【０１１６】
ステップＳ３９において、デコーダ４３およびデコーダ４４は、ＣＰＵ４１の制御に基づいて、ＰＣＩブリッジ３８から供給される符号化データを、図２のエンコーダ１２の符号化方式に対応する方式で復号する。そして、デコーダ４３およびデコーダ４４は、復号の結果得られる３Ｄ画像の画像データを編集部４７に供給する。
【０１１７】
ステップＳ４０において、編集部４７は、ＣＰＵ４１の制御にしたがって、ステップＳ３６で決定された調整後の両眼視差量に基づいて、デコーダ４３およびデコーダ４４から供給される３Ｄ画像の画像データの注視領域の両眼視差量を調整し、調整後の画像データを接続する。編集部４７は、その結果得られる３Ｄ画像の画像データを編集後データとして、エンコーダ４８に供給する。
【０１１８】
ステップＳ４１において、エンコーダ４８は、ＣＰＵ４１の制御に基づいて、編集部４７から供給された編集後データを再エンコードする。エンコーダ４８は、その結果得られる符号化データをストリームスプライサ４６に供給する。
【０１１９】
ステップＳ４２において、ストリームスプライサ４６は、ＣＰＵ４１の制御に基づいて、エンコーダ４８から供給された符号化データに、注視領域の両眼視差量が調整後の注視領域の両眼視差量に更新された付加情報を付加し、再エンコード範囲のビットストリームを生成する。なお、ステップＳ３８の処理が行われた場合には、付加情報のうちの上限スクリーン幅も、ステップＳ３８で再設定されたスクリーン幅に更新される。
【０１２０】
ステップＳ４３において、ストリームスプライサ４６は、ＣＰＵ４１の制御に基づいて、生成された再エンコード範囲のビットストリームと、ＰＣＩブリッジ３８から供給されたビットストリームとを接続し、編集後のビットストリームを生成する。
【０１２１】
一方、ステップＳ３３で前ストリームの編集点の注視領域の両眼視差量と後ストリームの編集点の注視領域の両眼視差量の差分が所定の閾値以上ではないと判定された場合、ＰＣＩブリッジ３８は、ＣＰＵ４１の制御に基づいて、メモリ３９に記憶されている編集点までの前ストリームと編集点以降の後ストリームをストリームスプライサ４６に供給する。そして、ステップＳ４４において、ストリームスプライサ４６は、ＣＰＵ４１の制御に基づいて、ＰＣＩブリッジ３８から供給される編集点までの前ストリームと編集点以降の後ストリームを接続し、編集後のビットストリームを生成する。
【０１２２】
編集後のビットストリームはメモリ３９に保存されたり、デコーダ４５で復号されたりする。メモリ３９に保存された編集後のビットストリームは、ユーザの指示に応じてＨＤＤ３７に供給され、保存される。また、デコーダ４５で復号された結果得られる画像データは、図示せぬディスプレイなどに出力され、その結果３Ｄ画像が表示される。
【０１２３】
以上のように、編集装置３０は、少なくとも視差情報と符号化データを含むビットストリームを取得し、その符号化データに対応する３Ｄ画像の再生時刻を指定し、視差情報に基づいて再エンコード範囲を決定し、再エンコード範囲の３Ｄ画像の両眼視差量を調整する。これにより、編集装置３０は、再生時刻が連続する３Ｄ画像の両眼視差量の差分が所定の閾値以下となる、安全かつ快適な視聴が可能な３Ｄ画像を生成することができる。
【０１２４】
また、ビットストリームに符号化データとともに視差情報が含まれているので、編集装置３０は、符号化データを復号して視差情報を得る必要がない。従って、編集装置３０は、再エンコード範囲を復号するだけで、再生時刻が連続する３Ｄ画像の両眼視差量の差分が所定の閾値以下となる、安全かつ快適な視聴が可能な３Ｄ画像を生成することができる。その結果、編集装置３０は、少ない画像処理負荷で、安全かつ快適な３Ｄ画像を視聴者に提供することができる。
【０１２５】
なお、図１６のステップＳ３７における許容範囲は、撮影条件情報に対応する範囲、即ち両眼視差量の下限値以上両眼視差量の上限値以下の範囲であってもよい。また、編集装置３０は、調整後の両眼視差量が許容範囲内ではない場合、前ストリームに対応する画像データにフェードアウトを施したり、後ストリームに対応する画像データにフェードインを施したりすることで、編集点の両眼視差量の差分が視聴者に知覚されにくくすることもできる。
【０１２６】
また、編集装置３０は、視差情報として注視領域の両眼視差量の位置情報が含まれる場合、その位置情報に基づいて、前ストリームの編集点の注視領域と後ストリームの編集点の注視領域の距離を求め、その距離が大きい場合には、両眼視差量の調整を行わないようにしてもよい。
【０１２７】
さらに、想定視聴環境情報として、上限スクリーン幅と想定両眼間隔の代わりに、ユーザが想定する視聴環境において安全かつ快適に視聴できる両眼視差量の範囲が付加するようにしてもよい。この場合、その両眼視差量の範囲が、ステップＳ３７における許容範囲とされる。
【０１２８】
また、上述した説明では、編集装置３０は、再生時刻が連続する３Ｄ画像の注視領域の両眼視差量が所定の閾値の範囲内になるように、両眼視差量の調整を行なったが、再生時刻が連続する３Ｄ画像の最大両眼視差量、最小両眼視差量、または最大両眼視差量と最小両眼視差量の中間値が所定の閾値の範囲内になるように、両眼視差量の調整を行うようにしてもよい。
【０１２９】
さらに、撮影装置１０から送信されるビットストリームに含まれる付加情報を用いる装置としては、ビットストリームを編集する編集装置３０のほか、ビットストリームに対して撮影時刻が不連続になる特殊再生（例えば、ハイライト再生、ダイジェスト再生、スキップ再生、リピート再生、不連続な時刻に撮影された３Ｄ画像の連続再生など）を行う再生装置がある。
【０１３０】
また、撮影装置１０から送信されるビットストリームに含まれる符号化データは、動画像の符号化データであっても静止画像の符号化データであってもよい。撮影装置１０から送信されるビットストリームに含まれる符号化データが静止画像の符号化データである場合、ビットストリームに含まれる付加情報を用いる装置としては、例えば、スライドショー表示を行う装置がある。
【０１３１】
また、本実施の形態では、付加情報が符号化データに付加(記述)されたが、付加情報は、画像データ(又はビットストリーム)と別に伝送(記録)されてもよい。また、付加情報は画像データ(又はビットストリーム)と連結されるようにしてもよい。
【０１３２】
なお、本実施の形態では、「連結」を以下のように定義する。「連結」とは、画像データ(又はビットストリーム)と付加情報とが互いにリンクされている状態を指す。連結対象の画像データと付加情報とは、別の伝送路で伝送されてもよい。また、連結対象の画像データ(又はビットストリーム)と付加情報とは、互いに別の記録媒体(又は同一の記録媒体内の別々の記録エリア)に記録されてもよい。なお、画像データ(又はビットストリーム)と付加情報とをリンクさせる単位は、例えば、符号化処理単位(１フレーム、複数フレーム等)にすることができる。
【０１３３】
[本発明を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１３４】
そこで、図１８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１３５】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０１３６】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１３７】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１３８】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１３９】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１４０】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１４１】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１４２】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１４３】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【符号の説明】
【０１４４】
１０ 撮影装置， １１ 撮影部， １２ エンコーダ， １３ 付加情報生成部， １４ ストリーム生成部， ３０ 編集装置， ３１ ＣＰＵ， ３４ 通信部， ４１ ＣＰＵ， ４３，４４ デコーダ， ４７ 編集部
【特許請求の範囲】
【請求項１】
３Ｄ画像データと前記３Ｄ画像データの視差を表す視差情報とを取得する取得手段と、
前記視差情報に基づいて、前記３Ｄ画像データの再生タイミングが連続する３Ｄ画像データどうしの視差の差分が所定の閾値以下となるために前記３Ｄ画像データの視差の調整が必要な範囲である調整範囲を決定する決定手段と、
前記決定手段により決定された前記調整範囲の前記３Ｄ画像データの視差を調整する調整手段と
を備える画像処理装置。
【請求項２】
符号化された前記３Ｄ画像データを復号する復号手段
をさらに備え、
前記取得手段は、符号化された前記３Ｄ画像データと前記視差情報を取得し、
前記復号手段は、前記調整範囲の符号化された前記３Ｄ画像データを復号し、
前記調整手段は、前記復号手段による復号の結果得られる前記調整範囲の前記３Ｄ画像データの視差を調整する
請求項１に記載の画像処理装置。
【請求項３】
前記取得手段は、前記３Ｄ画像データ、前記視差情報、および前記３Ｄ画像データの視聴環境として想定する視聴環境を表す想定視聴環境情報を取得し、
前記決定手段は、前記想定視聴環境情報に基づいて、前記３Ｄ画像データの視差が、前記３Ｄ画像データの視聴環境として想定する視聴環境に対応する所定の範囲内になるように、前記調整範囲を決定する
請求項１に記載の画像処理装置。
【請求項４】
前記取得手段は、前記３Ｄ画像データ、前記視差情報、および前記３Ｄ画像データの撮影条件を表す撮影条件情報を取得し、
前記決定手段は、前記撮影条件情報に基づいて、前記３Ｄ画像データの視差が、前記撮影条件に対応する所定の範囲内になるように、前記調整範囲を決定する
請求項１に記載の画像処理装置。
【請求項５】
前記再生タイミングを指定する指定手段
をさらに備える
請求項１に記載の画像処理装置。
【請求項６】
画像処理装置が、
３Ｄ画像データと前記３Ｄ画像データの視差を表す視差情報とを取得する取得ステップと、
前記視差情報に基づいて、前記３Ｄ画像データの再生タイミングが連続する３Ｄ画像データどうしの視差の差分が所定の閾値以下となるために前記３Ｄ画像データの視差の調整が必要な範囲である調整範囲を決定する決定ステップと、
前記決定ステップの処理により決定された前記調整範囲の前記３Ｄ画像データの視差を調整する調整ステップと
を含む画像処理方法。
【請求項７】
３Ｄ画像データを用いて、前記３Ｄ画像データの視差を検出する検出手段と、
前記３Ｄ画像データと、前記３Ｄ画像データの視差を表す視差情報とを伝送する伝送手段と
を備える画像処理装置。
【請求項８】
前記３Ｄ画像データを符号化する符号化手段
をさらに備え、
前記伝送手段は、前記符号化手段により符号化された前記３Ｄ画像データと、前記視差情報とを伝送する
請求項７に記載の画像処理装置。
【請求項９】
前記伝送手段は、前記３Ｄ画像データと、前記視差情報と、前記３Ｄ画像データの視聴環境として想定する視聴環境を表す想定視聴環境情報とを伝送する
請求項７に記載の画像処理装置。
【請求項１０】
撮影を行うことにより、前記３Ｄ画像データを取得する撮影手段
をさらに備え、
前記伝送手段は、前記３Ｄ画像データと、前記視差情報と、前記３Ｄ画像データの撮影条件を表す撮影条件情報とを伝送する
請求項７に記載の画像処理装置。
【請求項１１】
画像処理装置が、
３Ｄ画像データを用いて、前記３Ｄ画像データの視差を検出する検出ステップと、
前記３Ｄ画像データと、前記３Ｄ画像データの視差を表す視差情報とを伝送する伝送ステップと
を含む画像処理方法。
【請求項１】
３Ｄ画像データと前記３Ｄ画像データの視差を表す視差情報とを取得する取得手段と、
前記視差情報に基づいて、前記３Ｄ画像データの再生タイミングが連続する３Ｄ画像データどうしの視差の差分が所定の閾値以下となるために前記３Ｄ画像データの視差の調整が必要な範囲である調整範囲を決定する決定手段と、
前記決定手段により決定された前記調整範囲の前記３Ｄ画像データの視差を調整する調整手段と
を備える画像処理装置。
【請求項２】
符号化された前記３Ｄ画像データを復号する復号手段
をさらに備え、
前記取得手段は、符号化された前記３Ｄ画像データと前記視差情報を取得し、
前記復号手段は、前記調整範囲の符号化された前記３Ｄ画像データを復号し、
前記調整手段は、前記復号手段による復号の結果得られる前記調整範囲の前記３Ｄ画像データの視差を調整する
請求項１に記載の画像処理装置。
【請求項３】
前記取得手段は、前記３Ｄ画像データ、前記視差情報、および前記３Ｄ画像データの視聴環境として想定する視聴環境を表す想定視聴環境情報を取得し、
前記決定手段は、前記想定視聴環境情報に基づいて、前記３Ｄ画像データの視差が、前記３Ｄ画像データの視聴環境として想定する視聴環境に対応する所定の範囲内になるように、前記調整範囲を決定する
請求項１に記載の画像処理装置。
【請求項４】
前記取得手段は、前記３Ｄ画像データ、前記視差情報、および前記３Ｄ画像データの撮影条件を表す撮影条件情報を取得し、
前記決定手段は、前記撮影条件情報に基づいて、前記３Ｄ画像データの視差が、前記撮影条件に対応する所定の範囲内になるように、前記調整範囲を決定する
請求項１に記載の画像処理装置。
【請求項５】
前記再生タイミングを指定する指定手段
をさらに備える
請求項１に記載の画像処理装置。
【請求項６】
画像処理装置が、
３Ｄ画像データと前記３Ｄ画像データの視差を表す視差情報とを取得する取得ステップと、
前記視差情報に基づいて、前記３Ｄ画像データの再生タイミングが連続する３Ｄ画像データどうしの視差の差分が所定の閾値以下となるために前記３Ｄ画像データの視差の調整が必要な範囲である調整範囲を決定する決定ステップと、
前記決定ステップの処理により決定された前記調整範囲の前記３Ｄ画像データの視差を調整する調整ステップと
を含む画像処理方法。
【請求項７】
３Ｄ画像データを用いて、前記３Ｄ画像データの視差を検出する検出手段と、
前記３Ｄ画像データと、前記３Ｄ画像データの視差を表す視差情報とを伝送する伝送手段と
を備える画像処理装置。
【請求項８】
前記３Ｄ画像データを符号化する符号化手段
をさらに備え、
前記伝送手段は、前記符号化手段により符号化された前記３Ｄ画像データと、前記視差情報とを伝送する
請求項７に記載の画像処理装置。
【請求項９】
前記伝送手段は、前記３Ｄ画像データと、前記視差情報と、前記３Ｄ画像データの視聴環境として想定する視聴環境を表す想定視聴環境情報とを伝送する
請求項７に記載の画像処理装置。
【請求項１０】
撮影を行うことにより、前記３Ｄ画像データを取得する撮影手段
をさらに備え、
前記伝送手段は、前記３Ｄ画像データと、前記視差情報と、前記３Ｄ画像データの撮影条件を表す撮影条件情報とを伝送する
請求項７に記載の画像処理装置。
【請求項１１】
画像処理装置が、
３Ｄ画像データを用いて、前記３Ｄ画像データの視差を検出する検出ステップと、
前記３Ｄ画像データと、前記３Ｄ画像データの視差を表す視差情報とを伝送する伝送ステップと
を含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−５４８６２（Ｐ２０１２−５４８６２Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１０−１９７５５６（Ｐ２０１０−１９７５５６）
【出願日】平成２２年９月３日（２０１０．９．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２２年９月３日（２０１０．９．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]