画像処理装置、画像処理方法、およびプログラム
【課題】ユーザの視聴状況に応じて、コンテンツを保存することができるようにする。
【解決手段】コンテンツデータ記憶部５３は、３Dコンテンツのコンテンツデータを記憶する。視聴状況解析部５１は、コンテンツデータ記憶部５３に記憶されている３Dコンテンツに対するユーザの視聴状況を表す情報を取得し、予め設定された３Dコンテンツの視聴状況に応じた保存基準に基づいて、コンテンツデータ記憶部５３に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定する。視聴条件反映部５２は、決定されたデータ削減レベルに従って、コンテンツデータ記憶部５３に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮を行う。本発明は、例えば、３Dコンテンツのコンテンツデータを処理する画像処理装置に適用できる。
【解決手段】コンテンツデータ記憶部５３は、３Dコンテンツのコンテンツデータを記憶する。視聴状況解析部５１は、コンテンツデータ記憶部５３に記憶されている３Dコンテンツに対するユーザの視聴状況を表す情報を取得し、予め設定された３Dコンテンツの視聴状況に応じた保存基準に基づいて、コンテンツデータ記憶部５３に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定する。視聴条件反映部５２は、決定されたデータ削減レベルに従って、コンテンツデータ記憶部５３に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮を行う。本発明は、例えば、３Dコンテンツのコンテンツデータを処理する画像処理装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、ユーザの視聴状況に応じて、コンテンツを保存することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、画像を立体的に視認できる３次元立体画像コンテンツ（以下、３Dコンテンツという。）が注目されてきており、３Dコンテンツの表示技術も多数提案されている。例えば、特許文献１では、多視点画像のクロストークを抑制することで高画質化する立体表示装置が提案されている。
【０００３】
３次元立体画像の鑑賞方式としては、視差を設けた左眼用画像（以下、L画像と称する。）と右眼用画像（以下、R画像と称する。）を鑑賞者に鑑賞させる両眼視差方式が普及しつつある。
【０００４】
L画像とR画像は、例えば、左右交互に開閉するシャッタ機能を有するシャッタメガネを鑑賞者が装着することにより、右眼と左眼それぞれで独立に視認される。また、メガネを装着しない方式には、かまぼこ型の細かなレンズ（レンチキュラーレンズ）を配列させることによってL画像とR画像の光路を分離し、右眼と左眼それぞれで独立に視認させる方式などがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−００８３０７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上のように、３Dコンテンツでは、L画像とR画像が必要であるため、データ量が従来の２次元画像コンテンツ（以下、２Dコンテンツという。）よりも多くなる。
【０００７】
従来、HDDレコーダ等の記録再生装置において、ユーザが録画したコンテンツの整理、例えば、視聴しないコンテンツの削除やコンテンツのデータ圧縮などは、ユーザ自身が行っている。３Dコンテンツは、上述したように２Dコンテンツに比べてデータ量が多いため、記録再生装置等において、コンテンツの整理が必要となる回数も増えることが予想される。従って、ユーザを煩わせないコンテンツの保存方法が望まれる。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、ユーザの視聴状況に応じて、コンテンツを保存することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の画像処理装置は、所定の記憶手段に記憶されている３Dコンテンツに対するユーザの視聴状況を表す情報を取得し、予め設定された３Dコンテンツの視聴状況に応じた保存基準に基づいて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定する視聴状況解析手段と、決定された前記データ削減レベルに従って、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮を行うデータ変換手段とを備える。
【００１０】
本発明の一側面の画像処理方法は、画像データを処理する画像処理装置が、所定の記憶手段に記憶されている３Dコンテンツに対するユーザの視聴状況を表す情報を取得し、予め設定された３Dコンテンツの視聴状況に応じた保存基準に基づいて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定し、決定された前記データ削減レベルに従って、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮を行う。
【００１１】
本発明の一側面のプログラムは、コンピュータに、所定の記憶手段に記憶されている３Dコンテンツに対するユーザの視聴状況を表す情報を取得し、予め設定された３Dコンテンツの視聴状況に応じた保存基準に基づいて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定する視聴状況解析手段と、決定された前記データ削減レベルに従って、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮を行うデータ変換手段として機能させる。
【００１２】
本発明の一側面においては、所定の記憶手段に記憶されている３Dコンテンツに対するユーザの視聴状況を表す情報が取得され、予め設定された３Dコンテンツの視聴状況に応じた保存基準に基づいて、記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルが決定される。そして、決定されたデータ削減レベルに従って、記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮が行われる。
【００１３】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１４】
本発明の一側面によれば、ユーザの視聴状況に応じて、コンテンツを保存することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明を適用した記録再生装置の一実施の形態の構成例を示すブロック図である。
【図２】視聴状況適応保存処理を実行する場合の機能的構成例を示すブロック図である。
【図３】データ削減レベルの決定方法について説明する図である。
【図４】視聴条件反映部の詳細構成例を示すブロック図である。
【図５】３Dコンテンツデータの各フォーマットとデータ容量との関係を示す図である。
【図６】データ削減レベルに応じたデータ変換をまとめた図である。
【図７】視差制御部の詳細構成例を示すブロック図である。
【図８】３Dコンテンツに対する視聴状況適応保存処理を説明するフローチャートである。
【図９】コンテンツデータ記憶部に記憶されている３Dコンテンツに対する視聴状況適応保存処理を説明するフローチャートである。
【図１０】高画質化処理にクラス分類適応処理を採用した場合の概念図である。
【図１１】図１１のクラス分類適応処理部の構成例を示すブロック図である。
【図１２】図１１のクラス分類適応処理部による高画質化処理について説明するフローチャートである。
【図１３】図１１の予測学習部の構成例を示すブロック図である。
【図１４】図１３の学習部の構成例を示すブロック図である。
【図１５】図１１の予測学習部の学習処理について説明するフローチャートである。
【図１６】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
［本発明を適用した記録再生装置の構成例］
図１は、本発明を適用した記録再生装置の一実施の形態の構成例を示している。
【００１７】
記録再生装置１は、２Dコンテンツおよび３Dコンテンツのデータを記録または再生する装置である。なお、以下では、２Dコンテンツおよび３Dコンテンツのデータを、それぞれ、２Dコンテンツデータおよび３Dコンテンツデータということにし、特に区別する必要がない場合には単にコンテンツおよびコンテンツデータという。
【００１８】
チューナ１１は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信して、復調する。また、チューナ１１は、復調した信号から、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをデコーダ１２に供給する。
【００１９】
デコーダ１２は、チューナ１１から供給されたMPEG-TSに施されているスクランブルを解除し、視聴対象（記録対象）になっている番組のデータを含むストリームを抽出する。デコーダ１２は、抽出したストリームを構成する音声パケットと映像パケットをデコードし、得られた音声データと映像データを出力部１６などに供給する。また、デコーダ１２は、MPEG-TSからEPG（Electronic Program Guide)データ等も抽出し、コントローラ１３に供給する。
【００２０】
デコーダ１２において、デコードにより得られる音声データと映像データは、２Dコンテンツまたは３Dコンテンツの音声データと映像データである。
【００２１】
３Dコンテンツのデータは、L画像とR画像のデータがそれぞれ異なるMPEG-TSとして供給されてもよいし、１つのMPEG-TSとして供給されてもよい。また、L画像とR画像のデータは、L画像またはR画像のいずれか一方のデータと、奥行き情報（Depth情報）という形で供給されてもよい。
【００２２】
なお、チューナ１１で受信される放送波信号における符号化方式と、後述するエンコーダ１４の符号化方式が異なる場合には、デコーダ１２は、両方の符号化方式に対応するデコードが可能である。
【００２３】
コントローラ１３は、メモリ１９またはローカルストレージ２０に記録された制御プログラムにより、操作入力部１５からの動作命令に従って、記録再生装置１の記録再生動作を制御する。
【００２４】
例えば、コントローラ１３は、チューナ１１で受信したコンテンツデータを記録する場合、デコードされたコンテンツデータを、デコーダ１２から、ディスクドライブ１８またはローカルストレージ２０に供給させる。
【００２５】
また例えば、コントローラ１３は、コンテンツデータを再生する場合、光ディスク１７が装着されているディスクドライブ１８またはローカルストレージ２０にコンテンツデータを読み出させ、出力部１６に供給させる。
【００２６】
エンコーダ１４は、コントローラ１３の制御にしたがい、デコーダ１２や光ディスク１７等から供給されるコンテンツデータをMPEG方式でエンコードする。
【００２７】
エンコーダ１４は、３Dコンテンツのデータを、データ容量を少なくして保存することができるようにするため、H.264 AVC(Advanced Video Coding)/MVC(Multi-view Video coding)による符号化を行うことができる。
【００２８】
H.264 AVC/MVCでは、Base view videoと呼ばれる画像ストリームと、Dependent view videoと呼ばれる画像ストリームとが定義されている。以下、適宜、H.264 AVC/MVCを単にMVCという。
【００２９】
MVCは、時間方向の画像間の予測だけでなく、ストリーム（view）間の予測も用いた符号化を行う。
【００３０】
即ち、MVCにおいては、Base view videoには、他のストリームを参照画像とする予測符号化が許されていないが、Dependent view videoには、Base view videoを参照画像とする予測符号化が許されている。従って、例えば、エンコーダ１４は、L画像をBase view videoとし、R画像をDependent view videoとする符号化を行う。この場合、R画像についてはL画像を基に予測符号化を行うので、Dependent view videoストリームのデータ量を、Base view videoストリームのデータ量に比較して少なくすることができる。また、L画像とR画像の視差が小さくなるほど、view間の予測における予測誤差が小さくなるので、符号化後の３Dコンテンツデータのデータ量は少なくなる。
【００３１】
なお、H.264/AVCでの符号化であるから、Base view videoについて時間方向の予測は行われている。また、Dependent view videoについても、view間の予測とともに、時間方向の予測が行われている。Dependent view videoをデコードするには、エンコード時に参照先とした、対応するBase view videoのデコードが先に終了している必要がある。
【００３２】
操作入力部１５は、ボタン、キー、タッチパネル、ジョグダイヤル、マウスなどの入力デバイスや、所定のリモートコマンダから送信される赤外線などの信号を受信する受信部により構成される。操作入力部１５はユーザの操作を検出し、検出した操作の内容を表す信号を動作命令としてコントローラ１３に供給する。
【００３３】
出力部１６は、D/Aコンバータを内蔵し、デコーダ１２等から供給されるコンテンツデータを、アナログまたはデジタルのAV信号として表示装置３１に出力する。出力部１６は、出力端子として、たとえば、AV信号をHDMI（High-Definition Multimedia Interface）信号により出力するHDMI出力端子や、AV信号をコンポーネント信号により出力する出力端子などを有する。
【００３４】
ディスクドライブ１８は、デコーダ１２やローカルストレージ２０等から供給されるコンテンツデータを、装着された光ディスク１７に記録する。また、ディスクドライブ１８は、光ディスク１７に記録されたコンテンツデータを読み出し、デコーダ１２等に供給する。光ディスク１７は、例えば、DVD(Digital Versatile Disc)やBlu-ray（登録商標） Disc等で構成される。
【００３５】
メモリ１９は、記録再生装置１の記録再生動作において一時的に記憶しておくことが必要なデータを記憶する。
【００３６】
ローカルストレージ２０は、たとえば、HDD(Hard Disk Drive)により構成される。ローカルストレージ２０は、記録再生動作を行うための制御プログラムや、チューナ１１、光ディスク１７等から取得されたデータ（コンテンツデータを含む）を記憶する。
【００３７】
ネットワークインタフェース２１は、コントローラ１３の制御に従ってネットワーク３２を介して図示せぬサーバと通信を行い、サーバからダウンロードしたデータをローカルストレージ２０に供給する。
【００３８】
以上のように構成される記録再生装置１は、ユーザの再生指示の操作に基づいて、ローカルストレージ２０等に記録された３Dのコンテンツデータを再生し、その結果得られるL画像とR画像を、表示装置３１に表示させる。ユーザは、例えば、シャッタ方式により時分割で表示されるL画像とR画像を視認することで、画像を立体的に知覚することができる。
【００３９】
記録再生装置１は、ローカルストレージ２０に記憶されている３Dコンテンツデータのデータ容量を、ユーザの視聴状況に応じて削減する機能（視聴状況適応保存機能）を有している。
【００４０】
図２は、視聴状況適応保存機能に関する記録再生装置１の機能的構成例を示すブロック図である。
【００４１】
記録再生装置１は、設定入力部５０、視聴状況解析部５１、視聴条件反映部５２、コンテンツデータ記憶部５３、およびコンテンツ再生部５４により構成される。
【００４２】
例えば、設定入力部５０は、図１の操作入力部１５に対応する。また、視聴状況解析部５１は図１のコントローラ１３に対応し、視聴条件反映部５２は図１のデコーダ１２、コントローラ１３、およびエンコーダ１４に対応する。コンテンツデータ記憶部５３は図１のローカルストレージ２０に対応し、コンテンツ再生部５４は図１のデコーダ１２およびディスクドライブ１８に対応する。
【００４３】
設定入力部５０は、ユーザによる入力を受け付ける。ユーザは、設定入力部５０において、視聴状況適応保存機能のオンまたはオフを設定することができる。また、ユーザは、設定入力部５０において、データ容量を削減する方法（データ削減方法）を設定することができる。データ削減方法には、ビットレート変換により低減する方法、解像度変換により低減する方法、データフォーマット変換により低減する方法、または、L画像とR画像の視差を小さくすることにより低減する方法がある。ユーザは、これらの４種類のデータ削減方法のなかから、所望のデータ削減方法を選択する。なお、勿論これ以外の方法によるデータの削減を排除するものではなく、任意のデータ削減方法を設定可能とすることができる。
【００４４】
ユーザによって設定された、視聴状況適応保存機能のオンオフ情報、および、データ削減方法を示す情報は、ユーザ設定情報として、設定入力部５０から視聴状況解析部５１に供給される。
【００４５】
視聴状況解析部５１は、ユーザ設定情報に基づき、コンテンツデータ記憶部５３に記憶されている３Dコンテンツデータのデータ容量を、ユーザの視聴状況に応じて削減するための制御を行う。
【００４６】
具体的には、視聴状況解析部５１は、コンテンツデータ記憶部５３に記憶されている各３Dコンテンツに対するユーザの視聴状況を解析する。即ち、視聴状況解析部５１は、コンテンツデータ記憶部５３に記憶されている各３Dコンテンツのなかで、例えば、経過時間が所定の基準を超えた３Dコンテンツや視聴回数が少ない３Dコンテンツなど、データ削減対象の３Dコンテンツを検索する。なお、コンテンツデータ記憶部５３には、後述するように、３Dコンテンツデータと対応付けて、その３Dコンテンツの視聴状況を表すデータも記憶されている。そして、視聴状況解析部５１は、データ削減対象として検索された３Dコンテンツに対し、データ削減レベルを決定する。
【００４７】
また、コンテンツ再生部５４において３Dコンテンツが再生された場合、３Dコンテンツの視聴状況が変わる。そのため、視聴状況解析部５１は、コンテンツ再生部５４において３Dコンテンツが再生された場合、再生中の３Dコンテンツの視聴状況をコンテンツ再生部５４から取得する。そして、視聴状況解析部５１は、再生中の３Dコンテンツの視聴状況を解析し、再生中の３Dコンテンツに対するデータ削減レベルを決定する。
【００４８】
決定されたデータ削減レベルに変更がある場合、即ち、コンテンツデータ記憶部５３内の３Dコンテンツデータをデータ圧縮する必要がある場合、視聴状況解析部５１は、決定された３Dコンテンツのデータ削減レベルを、ユーザにより設定されたデータ削減方法とともに、視聴条件反映部５２に供給する。
【００４９】
なお、本実施の形態において、データの削減レベルには、“データ削減なし”、“低”、“高”の３段階が用意されていることとする。
【００５０】
視聴条件反映部５２は、視聴状況解析部５１から供給されたデータ削減レベルとデータ削減方法に基づいて、コンテンツデータ記憶部５３に記憶されている３Dコンテンツデータのデータ変換（データ圧縮）を行う。
【００５１】
３Dコンテンツデータが視聴条件反映部５２によってデータ変換された場合、コンテンツ再生部５４は、データ変換後の３Dコンテンツデータを再生する。従って、視聴状況解析部５１から供給されるデータ削減レベルとデータ削減方法は、ユーザが３Dコンテンツを視聴するときの３Dコンテンツデータの条件（視聴条件）であるとも言える。
【００５２】
従って、視聴状況解析部５１は、３Dコンテンツに対するユーザの視聴状況に応じた視聴条件を視聴条件反映部５２に供給し、視聴条件反映部５２は、コンテンツデータ記憶部５３に記憶されている３Dコンテンツデータに視聴条件を反映させる。データ変換後の３Dコンテンツデータは、変換前の３Dコンテンツデータに代えて、コンテンツデータ記憶部５３に記憶される。
【００５３】
コンテンツデータ記憶部５３は、チューナ１１により受信されたり、光ディスク１７から読み出されるなどして取得された３Dコンテンツデータを記憶する。なお、３Dコンテンツデータは、最初にコンテンツデータ記憶部５３に記憶されるとき、ビットレートが８Mbps（Mega bit per second）、解像度１９２０×１０８０ｐ（Full HDサイズ）でL画像とR画像の２枚（Full HD×２）を有する形式で記憶される。
【００５４】
また、コンテンツデータ記憶部５３は、３Dコンテンツデータに関連するデータであるコンテンツ関連データを、３Dコンテンツデータと対応付けて記憶する。コンテンツ関連データは、その３Dコンテンツの視聴状況を表す情報であって、具体的には、これまでの視聴回数と、コンテンツデータ記憶部５３に保存されたときからの経過時間である。コンテンツ関連データは、視聴状況解析部５１によって作成され、３Dコンテンツデータと対応付けられる。
【００５５】
コンテンツ再生部５４は、コンテンツデータ記憶部５３から、再生対象の３Dコンテンツデータとコンテンツ関連データを取得し、３Dコンテンツの再生を行う。また、コンテンツ再生部５４は、取得したコンテンツ関連データに基づいて、再生した３Dコンテンツの視聴状況を視聴状況解析部５１に供給する。
【００５６】
［データ削減レベルの決定方法］
次に、図３を参照して、視聴状況解析部５１による、データ削減レベルの決定方法について説明する。
【００５７】
視聴状況解析部５１は、３Dコンテンツの視聴状況、即ち、視聴回数と経過時間に応じて、３Dコンテンツデータのデータ削減レベルを決定する。データ削減レベルは、上述したように、“データ削減なし”、“低”、または“高”の３段階に分類される。
【００５８】
視聴状況解析部５１は、図３に示すように、視聴回数が多く、経過時間が短い３Dコンテンツに対して、データ削減レベルとして、“データ削減なし”を選択する。
【００５９】
一方、視聴状況解析部５１は、視聴回数が多く経過時間が長い３Dコンテンツ、および、視聴回数が少なく経過時間が短い３Dコンテンツに対しては、データ削減レベルとして、“低”を選択する。
【００６０】
また、視聴状況解析部５１は、視聴回数が少なく経過時間が長い３Dコンテンツに対しては、データ削減レベルとして、“高”を設定する。
【００６１】
視聴状況解析部５１は、以上のように、ユーザの視聴状況に応じた保存基準に基づいてデータ削減レベルを決定し、ユーザが設定したデータ削減方法とともに、視聴条件として、視聴条件反映部５２に供給する。
【００６２】
なお、視聴回数がどのくらいであれば、視聴回数が「少ない」または「多い」とするか、および、経過時間がどのくらいであれば、経過時間が「短い」または「長い」とするかは、ユーザが設定入力部５０から設定することができる。さらに、図３のテーブルの視聴回数と経過時間との各組み合わせの４パターンに対し、どのようなデータ削減レベルを割り当てるかについてもユーザ自身が設定することができるようにしてもよい。
【００６３】
［視聴条件反映部５２の詳細構成例］
図４は、視聴条件反映部５２の詳細構成例を示すブロック図である。
【００６４】
視聴条件反映部５２は、視聴条件制御部７１、ビットレート変換部７２、解像度変換部７３、フォーマット変換部７４、および視差制御部７５により構成される。
【００６５】
視聴条件制御部７１は、視聴状況解析部５１から供給される視聴条件に基づいて、ビットレート変換部７２、解像度変換部７３、フォーマット変換部７４、または視差制御部７５のいずれかを動作させるように制御する。
【００６６】
すなわち、視聴条件制御部７１は、視聴条件として供給されるデータ削減方法がビットレート変換である場合には、ビットレート変換部７２に、コンテンツデータ記憶部５３から３Dコンテンツデータを取得させ、データ変換させる。一方、視聴条件として供給されるデータ削減方法が解像度変換である場合には、視聴条件制御部７１は、解像度変換部７３にデータ変換させる。また、視聴条件制御部７１は、視聴条件として供給されるデータ削減方法がフォーマット変換である場合には、フォーマット変換部７４にデータ変換させ、データ削減方法が視差制御部７５である場合には、視差制御部７５にデータ変換させる。
【００６７】
ビットレート変換部７２は、視聴条件制御部７１から供給されたデータ削減レベルに応じた３Dコンテンツデータのビットレート変換を行う。具体的には、視聴条件制御部７１から“低”レベルのビットレート変換が指示された場合、ビットレート変換部７２は、ビットレート８Mbpsの３Dコンテンツデータを、５Mbpsにビットレート変換する。また、ビットレート変換部７２は、視聴条件制御部７１から“高”レベルのビットレート変換が指示された場合、３Dコンテンツデータのビットレートを３Mbpsにビットレート変換する。
【００６８】
解像度変換部７３は、視聴条件制御部７１から供給されたデータ削減レベルに応じた３Dコンテンツデータの解像度変換を行う。具体的には、視聴条件制御部７１から“低”レベルの解像度変換が指示された場合、解像度変換部７３は、解像度１９２０×１０８０ｐの３Dコンテンツデータを、解像度１２８０×７２０ｐに解像度変換する。また、解像度変換部７３は、視聴条件制御部７１から“高”レベルの解像度変換が指示された場合、３Dコンテンツデータの解像度を７２０×４８０ｐに解像度変換する。
【００６９】
フォーマット変換部７４は、視聴条件制御部７１から供給されたデータ削減レベルに応じた３Dコンテンツデータのフォーマット変換を行う。
【００７０】
図５は、３Dコンテンツデータの各フォーマットとデータ容量との関係を示している。
【００７１】
なお、図５のL画像およびR画像は、実際にはカラー画像であるが、図５では線図で表している。また、図５では、奥行き情報が濃淡情報で概念的に表されている。
【００７２】
３Dコンテンツデータのフォーマットには、図５に示されるように、L画像とR画像をそれぞれ保持する第１の形式、L画像またはR画像のいずれか一方と奥行き情報とからなる第２の形式、L画像とR画像の２枚の画像を１枚のL画像（R画像）と同サイズに合成した第３の形式などがある。ここで、第１および第２の形式のL画像とR画像、第３の形式の合成画像のサイズは、Full HDサイズであるとする。この場合、保存する場合のデータ容量は、図５に示されるように、第１の形式、第２の形式、第３の形式の順に小さくなる。
【００７３】
フォーマット変換部７４は、視聴条件制御部７１から“低”レベルのフォーマット変換が指示された場合、Full HDサイズのL画像とR画像の２枚からなる第１の形式から、１枚のFull HDサイズの画像と奥行き情報とからなる第２の形式にフォーマット変換する。
【００７４】
一方、フォーマット変換部７４は、視聴条件制御部７１から“高”レベルのフォーマット変換が指示された場合、３Dコンテンツデータのフォーマットを、１枚のFull HDサイズの第３の形式にフォーマット変換する。なお、図５に示されるように、１枚のFull HDサイズとした場合に、L画像とR画像を左右に配置する形式（Side by Side）に合成するか、上下に配置する形式（Over/Under）に合成するかは任意に決定することができる。
【００７５】
図４に戻り、視差制御部７５は、視聴条件制御部７１から供給されたデータ削減レベルに応じた３Dコンテンツデータの視差制御を行う。具体的には、視聴条件制御部７１から“低”レベルの視差制御が指示された場合、視差制御部７５は、元のL画像とR画像に設定された視差に対して所定の比率で、視差を小さく変更する。また、視差制御部７５は、視聴条件制御部７１から“高”レベルの視差制御が指示された場合、視差をゼロに変更する。即ち、視差制御部７５は、元のL画像とR画像のいずれか一方のみを保持し、他方を削除する。
【００７６】
ビットレート変換部７２、解像度変換部７３、フォーマット変換部７４、または視差制御部７５による、視聴条件制御部７１から供給されたデータ削減レベルに応じたデータ変換をまとめると、図６に示すようになる。
【００７７】
なお、本実施の形態では、図６に示される４種類のデータ削減方法のいずれかを選択可能とするが、データ削減方法は４種類に限らず、少なくとも１種類あればよい。また、４種類のデータ削減方法のうちの複数を同時に選択、実行するようにしてもよい。
【００７８】
コンテンツデータ記憶部５３に記憶されている３Dコンテンツデータは、ビットレート変換部７２、解像度変換部７３、フォーマット変換部７４、または視差制御部７５のいずれかによってデータ変換が実行されることで、データ容量が削減される。
【００７９】
なお、ビットレート変換部７２、解像度変換部７３、フォーマット変換部７４、および視差制御部７５は、データ変換の前後に、必要に応じてMVCによる復号または符号化を行う。
【００８０】
［視差制御部７５の詳細構成例］
図７は、L画像とR画像の視差を小さくする制御を行う視差制御部７５の詳細構成例を示すブロック図である。
【００８１】
視差制御部７５は、視差検出部８１、視差制御部８２、および画像合成部８３により構成される。
【００８２】
視差制御部７５に供給されたL画像とR画像は、視差検出部８１と画像合成部８３に入力される。視差検出部８１は、L画像とR画像から、それらの視差を検出し、視差制御部８２に供給する。
【００８３】
視差制御部８２は、視差検出部８１で検出された視差に基づいて、変更後の視差をいくつにすればよいかを決定し、画像合成部８３に供給する。画像合成部８３は、視差制御部８２により決定された視差となるように、入力されたL画像とR画像から、視差変更後のL画像とR画像を生成し、出力する。
【００８４】
［再生コンテンツに対する視聴状況適応保存処理］
次に、図８のフローチャートを参照して、コンテンツ再生部５４で再生された３Dコンテンツに対する視聴状況適応保存処理を説明する。
【００８５】
初めに、ステップＳ１において、コンテンツ再生部５４は、ユーザにより再生が指示された３Dコンテンツ（以下、再生コンテンツと称する。）の３Dコンテンツデータと、そのコンテンツ関連データを取得する。
【００８６】
ステップＳ２において、コンテンツ再生部５４は、再生コンテンツの再生を開始する。
【００８７】
ステップＳ３において、コンテンツ再生部５４は、再生コンテンツの再生が終了したかを判定し、再生が終了したと判定されるまで待機する。
【００８８】
ステップＳ３で、再生が終了したと判定された場合、処理はステップＳ４に進み、コンテンツ再生部５４は、コンテンツ関連データを視聴状況解析部５１に供給する。
【００８９】
ステップＳ５において、視聴状況解析部５１は、コンテンツ再生部５４から供給された再生コンテンツの視聴状況を解析し、ユーザ設定情報に基づいて、再生コンテンツの視聴条件を決定する。即ち、視聴状況解析部５１は、再生コンテンツの視聴状況に基づいて、再生コンテンツをデータ削減するか、データ削減する場合にはどのデータ削減方法で、どのデータ削減レベルで行うかを決定する。
【００９０】
ステップＳ６において、視聴状況解析部５１は、解析の結果、再生コンテンツの視聴条件に変更があるかを判定する。ステップＳ６で、再生コンテンツの視聴条件に変更がないと判定された場合、視聴状況適応保存処理は終了する。
【００９１】
一方、ステップＳ６で、再生コンテンツの視聴条件に変更があると判定された場合、処理はステップＳ７に進み、視聴状況解析部５１は、視聴条件反映部５２に視聴条件を反映させる。即ち、視聴状況解析部５１は、再生コンテンツに対する視聴条件を視聴条件反映部５２に供給する。視聴条件反映部５２は、コンテンツデータ記憶部５３に記憶されている再生コンテンツの３Dコンテンツデータを、設定されたデータ削減方法およびデータ削減レベルでデータ圧縮し、処理を終了する。
【００９２】
図８の処理により、３Dコンテンツが再生された場合に、再生された３Dコンテンツの視聴状況が確認され、視聴状況に応じて、コンテンツデータ記憶部５３の３Dコンテンツデータが圧縮される。
【００９３】
［コンテンツデータ記憶部５３の３Dコンテンツに対する視聴状況適応保存処理］
次に、コンテンツデータ記憶部５３に記憶されている３Dコンテンツに対する視聴状況適応保存処理について説明する。
【００９４】
図９は、コンテンツデータ記憶部５３に記憶されている３Dコンテンツに対する視聴状況適応保存処理のフローチャートである。
【００９５】
はじめに、ステップＳ１１において、視聴状況解析部５１は、コンテンツデータ記憶部５３内に記憶されている３Dコンテンツのコンテンツ関連データを取得する。
【００９６】
ステップＳ１２において、視聴状況解析部５１は、ユーザ設定情報に基づいて、コンテンツの視聴条件に変更がある３Dコンテンツがあるかを判定する。
【００９７】
ステップＳ１２で、視聴条件に変更がある３Dコンテンツがないと判定された場合、視聴状況適応保存処理は終了する。
【００９８】
一方、ステップＳ１２で、視聴条件に変更がある３Dコンテンツがあると判定された場合、視聴状況解析部５１は、その３Dコンテンツの視聴条件を視聴条件反映部５２に反映させて、視聴状況適応保存処理を終了する。
【００９９】
図９の処理により、コンテンツデータ記憶部５３に記憶されている３Dコンテンツの視聴状況が確認され、視聴状況に応じて、コンテンツデータ記憶部５３の３Dコンテンツデータが圧縮される。
【０１００】
以上のように、記録再生装置１の視聴状況適応保存機能により、ユーザの視聴状況に応じて、コンテンツデータ記憶部５３の３Dコンテンツデータが整理される。即ち、ユーザの視聴回数が少ない３Dコンテンツや経過時間の長い３Dコンテンツのデータが、視聴状況適応保存処理により、データ圧縮される。これにより、コンテンツデータ記憶部５３に保存されている３Dコンテンツのデータ容量を削減することができる。３Dコンテンツは、２Dコンテンツと比べてデータ量が多いため、このようなデータ容量削減機能がより有効となる。
【０１０１】
［本実施の形態の変形例］
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０１０２】
たとえば、３Ｄコンテンツの視聴状況として、図３を参照して説明したように、視聴回数と経過時間を採用したが、視聴回数または経過時間のいずれか一方のみを採用してもよい。
【０１０３】
また、視聴回数と経過時間には、正規化したデータを利用することができる。具体的には、視聴回数が最も多い３Dコンテンツの視聴回数を１として、全ての３Dコンテンツの視聴回数を設定することができる。また、経過時間が最長の３Dコンテンツの経過時間を１として、全ての３Dコンテンツの経過時間を設定することができる。
【０１０４】
また、３Dコンテンツの視聴状況には、視聴回数と経過時間以外のデータを採用することができる。たとえば、視聴回数に代えて、３Dコンテンツの視聴時間を、３Dコンテンツの録画時間（番組の放送時間）で除算した値（視聴時間／録画時間）を採用することができる。
【０１０５】
３Dコンテンツ単位で視聴状況を設定するのではなく、３Dコンテンツのジャンル毎に視聴状況を設定してもよい。例えば、ジャンルが「映画」である３Dコンテンツに対して、コンテンツデータ記憶部５３に記憶されている全ての３Dコンテンツにおける「映画」コンテンツの割合を、各「映画」コンテンツの視聴状況とすることができる。これにより、ジャンル単位で、コンテンツデータ記憶部５３に記憶されている３Dコンテンツを整理することができる。
【０１０６】
上述した実施の形態では、整理対象の３Dコンテンツを保存する記憶媒体が、記録再生装置１内に存在する例について説明したが、整理対象の３Dコンテンツを保存する記憶媒体は、装置の外部に設けられていてもよい。この場合、記憶媒体に保存されている３Dコンテンツを制御する制御部は、コンテンツの視聴状況を通信により授受し、所定のデータ削減方法による３Dコンテンツデータのデータ圧縮を制御する。
【０１０７】
また、整理対象の３Dコンテンツが保存される記憶媒体は、HDD以外の磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどでもよい。
【０１０８】
さらに、上述した実施の形態では、記録再生装置１が視聴状況適応保存処理を実行する例を説明したが、本発明は、記録再生装置以外にも、テレビジョン受像機、携帯端末、撮像装置など、コンテンツの保存機能を有する装置に対して適用可能である。
【０１０９】
［その他の実施の形態］
上述した実施の形態では、ユーザの視聴状況に応じて、３Dコンテンツデータをデータ圧縮し、再生が指示された場合には、データ圧縮された３Dコンテンツデータがそのまま再生に利用される。
【０１１０】
従って、コンテンツデータ記憶部５３のデータ容量は削減することができるが、再生する場合に表示装置３１に表示される画像の画質は、記録再生装置１が最初に取得したときの３Dコンテンツデータを再生したものより劣ってしまう。
【０１１１】
そこで、再生対象の３Dコンテンツデータがデータ圧縮されている場合に、画像処理装置１には、データ圧縮された３Dコンテンツデータに高画質化処理を施し、処理後の３Dコンテンツデータを再生させることができる。
【０１１２】
データ圧縮された３Dコンテンツデータの高画質化処理には、例えば、クラス分類適応処理を採用することができる。
【０１１３】
図１０は、データ圧縮された３Dコンテンツデータの高画質化処理にクラス分類適応処理を採用した場合の、概念図を示している。
【０１１４】
クラス分類適応処理では、入力画像を基に出力画像を生成するための学習係数が、学習の教師となる教師データと学習の生徒となる生徒データを用いた学習により予め求められる。そして、学習により得られた学習係数を用いて、入力された画像を変換する処理が実行される。
【０１１５】
クラス分類適応処理により、データ圧縮された３Dコンテンツデータの高画質化処理を実行する場合には、データ圧縮前の３Dコンテンツデータが教師データ、データ圧縮後の３Dコンテンツデータが生徒データとされる。例えば、図１０に示されるように、２枚のFull HDサイズのL画像とR画像からなる第１の形式の３Dコンテンツデータが教師データ、１枚のFull HDサイズの第３の形式にフォーマット変換された３Dコンテンツデータが生徒データとされる。そして、予測学習部１０１により学習係数が求められ、学習係数記憶部１０２に記憶される。
【０１１６】
そして、高画質化処理実行時には、学習係数記憶部１０２に記憶された学習係数を用いて、クラス分類適応処理部１０３が、入力画像を高画質化した画像に変換する画像変換処理を実行し、変換後の画像を出力する。
【０１１７】
例えば、クラス分類適応処理部１０３は、コンテンツデータ記憶部５３に記憶されている、１枚のFull HDサイズの３Dコンテンツデータを、学習係数記憶部１０２に記憶された学習係数を用いて、２枚のFull HDサイズのL画像とR画像からなる３Dコンテンツデータに変換する。これにより、データ削減前と同様の画質に高画質化された３Dコンテンツデータを再生することができる。
【０１１８】
図１１乃至図１５を参照して、学習係数を求める予測学習部１０１と、学習により得られた学習係数を用いて高画質化処理を行うクラス分類適応処理部１０３の詳細について説明する。
【０１１９】
［クラス分類適応処理部１０３の詳細構成例］
図１１は、クラス分類適応処理部１０３の構成例を示している。
【０１２０】
クラス分類適応処理部１０３では、データ圧縮後の３Dコンテンツデータが第１の画像データとして入力され、データ削減前と同様の画質に高画質化された３Dコンテンツデータが第２の画像として、出力される。
【０１２１】
クラス分類適応処理部１０３では、第２の画像データのうちの注目している注目画素（の画素値）を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスの学習係数と、注目画素に対して選択される第１の画像データの画素（の画素値）とを用いた演算により、注目画素（の画素値）が求められる。
【０１２２】
第１の画像データとしての、データ圧縮前の３Dコンテンツデータが、タップ選択部１１２および１１３に供給される。
【０１２３】
注目画素選択部１１１は、第２の画像データを構成する画素を、順次、注目画素とし、その注目画素を表す情報を、必要なブロックに供給する。
【０１２４】
タップ選択部１１２は、注目画素（の画素値）を予測するのに用いる第１の画像データを構成する画素（の画素値）の幾つかを、予測タップとして選択する。
【０１２５】
具体的には、タップ選択部１１２は、注目画素の時空間の位置から空間的または時間的に近い位置にある第１の画像データの複数の画素を、予測タップとして選択する。
【０１２６】
タップ選択部１１３は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データを構成する画素の幾つかを、クラスタップとして選択する。即ち、タップ選択部１１３は、タップ選択部１１２が予測タップを選択するのと同様にして、クラスタップを選択する。
【０１２７】
なお、予測タップとクラスタップは、同一のタップ構造を有するものであっても良いし、異なるタップ構造を有するものであっても良い。
【０１２８】
タップ選択部１１２で得られた予測タップは、予測演算部１１６に供給され、タップ選択部１１３で得られたクラスタップは、クラス分類部１１４に供給される。
【０１２９】
クラス分類部１１４は、タップ選択部１３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数出力部１１５に供給する。
【０１３０】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【０１３１】
ADRCを用いる方法では、クラスタップを構成する画素（の画素値）が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【０１３２】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素の画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（再量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【０１３３】
なお、クラス分類部１１４には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラス分類部１４が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
【０１３４】
従って、クラス分類部１１４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
【０１３５】
係数出力部１１５は、後述する学習によって求められたクラスごとの学習係数を記憶し、さらに、その記憶した学習係数のうちの、クラス分類部１１４から供給されるクラスコードに対応するアドレスに記憶されている学習係数（クラス分類部１１４から供給されるクラスコードが表すクラスの学習係数）を出力する。この学習係数は、予測演算部１１６に供給される。
【０１３６】
予測演算部１１６は、タップ選択部１１２が出力する予測タップと、係数出力部１１５が出力する学習係数とを取得し、その予測タップと学習係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部１１６は、注目画素の画素値（の予測値）、即ち、第２の画像データを構成する画素の画素値を求めて出力する。
【０１３７】
次に、図１２のフローチャートを参照して、図１１のクラス分類適応処理部１０３による高画質化処理について説明する。
【０１３８】
ステップＳ４１において、注目画素選択部１１１は、クラス分類適応処理部１０３に入力される第１の画像データに対する第２の画像データを構成する画素のうち、まだ、注目画素とされていないものの１つを、注目画素として選択する。例えば、第２の画像データを構成する画素のうち、ラスタスキャン順で、まだ、注目画素とされていないものが、注目画素として選択される。
【０１３９】
ステップＳ４２において、タップ選択部１１２とタップ選択部１１３が、そこに供給される第１の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。そして、予測タップは、タップ選択部１１２から予測演算部１１６に供給され、クラスタップは、タップ選択部１１３からクラス分類部１１４に供給される。
【０１４０】
クラス分類部１１４は、タップ選択部１１３から、注目画素についてのクラスタップを受信し、ステップＳ４３において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部１１４は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数出力部１１５に出力する。
【０１４１】
ステップＳ４４では、係数出力部１１５が、クラス分類部１１４から供給されるクラスコードに対応するアドレスに記憶されている学習係数を取得して出力する。さらに、ステップＳ４４では、予測演算部１１６が、係数出力部１１５が出力する学習係数を取得する。
【０１４２】
ステップＳ４５では、予測演算部１１６が、タップ選択部１１２が出力する予測タップと、係数出力部１１５から取得した学習係数とを用いて、所定の予測演算を行う。これにより、予測演算部１１６は、注目画素の画素値を求めて出力する。
【０１４３】
ステップＳ４６では、注目画素選択部１１１が、まだ、注目画素としていない第２の画像データがあるかどうかを判定する。ステップＳ４６において、まだ、注目画素としていない第２の画像データがあると判定された場合、処理はステップＳ４１に戻り、以下、同様の処理が繰り返される。
【０１４４】
また、ステップＳ４６において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理は終了する。
【０１４５】
次に、図１１の予測演算部１１６における予測演算と、係数出力部１１５に記憶された学習係数の学習について説明する。
【０１４６】
いま、第１の画像データの画素（低画質画素）から予測タップを選択し、その予測タップと学習係数を用いて、第２の画像データの画素（高画質画素）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【０１４７】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【０１４８】
【数１】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目の学習係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１４９】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１５０】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
【０１５１】
【数２】
【０１５２】
いま、式（２）の予測値ｙk'は、式（１）にしたがって求められるため、式（２）のｙk'を、式（１）にしたがって置き換えると、次式が得られる。
【０１５３】
【数３】
【０１５４】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１５５】
式（３）（または式（２））の予測誤差ｅkを０とする学習係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような学習係数ｗnを求めることは、一般には困難である。
【０１５６】
そこで、学習係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な学習係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１５７】
【数４】
【０１５８】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１５９】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅを学習係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１６０】
【数５】
【０１６１】
そこで、上述の式（３）を学習係数ｗnで偏微分すると、次式が得られる。
【０１６２】
【数６】
【０１６３】
式（５）と（６）から、次式が得られる。
【０１６４】
【数７】
【０１６５】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１６６】
【数８】
【０１６７】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、学習係数ｗnについて解くことができる。
【０１６８】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適な学習係数（ここでは、自乗誤差の総和Ｅを最小にする学習係数）ｗnを、クラスごとに求めることができる。
【０１６９】
図１３は、式（８）の正規方程式をたてて解くことにより学習係数ｗnを求める学習を行う予測学習部１０１の構成例を示している。
【０１７０】
学習用画像記憶部１３１は、学習係数ｗnの学習に用いられる学習用画像データを記憶している。ここで、学習用画像データとしては、例えば、第１の形式の３Dコンテンツデータを用いることができる。
【０１７１】
教師データ生成部１３２は、学習用画像記憶部１３１から学習用画像データを読み出す。さらに、教師データ生成部１３２は、学習用画像データから、学習係数の学習の教師（真値）、即ち、式（１）による予測演算としての写像の写像先の画素値となる教師データを生成し、教師データ記憶部１３３に供給する。ここでは、教師データ生成部１３２は、例えば、学習用画像データとしての３Dコンテンツデータを、そのまま教師データとして、教師データ記憶部１３３に供給する。
【０１７２】
教師データ記憶部１３３は、教師データ生成部１３２から供給される教師データとしての３Dコンテンツデータを記憶する。
【０１７３】
生徒データ生成部１３４は、学習用画像記憶部１３１から学習用画像データを読み出す。さらに、生徒データ生成部１３４は、学習用画像データから、学習係数の学習の生徒、即ち、式（１）による予測演算としての写像による変換対象の画素値となる生徒データを生成し、生徒データ記憶部１３５に供給する。ここでは、生徒データ生成部１３４は、例えば、学習用画像データとしての第１の形式の３Dコンテンツデータを、フォーマット変換して第３の形式の３Dコンテンツデータを生成し、生徒データとして、生徒データ記憶部１３５に供給する。
【０１７４】
生徒データ記憶部１３５は、生徒データ生成部１３４から供給される生徒データを記憶する。
【０１７５】
学習部１３６は、教師データ記憶部１３３に記憶された教師データとしての第１の形式の３Dコンテンツデータを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部１３５に記憶された生徒データとしての第３の形式の３Dコンテンツデータを構成する低画質画素のうちの、図１１のタップ選択部１１２が選択するのと同一のタップ構造の低画質画素を、予測タップとして選択する。さらに、学習部１３６は、教師データを構成する各画素と、その画素が注目画素とされたときに選択された予測タップとを用い、クラスごとに、式（８）の正規方程式をたてて解くことにより、クラスごとの学習係数を求める。
【０１７６】
即ち、図１４は、図１３の学習部１３６の構成例を示している。
【０１７７】
注目画素選択部１４１は、教師データ記憶部１３３に記憶されている教師データを構成する画素を、順次、注目画素として選択し、その注目画素を表す情報を、必要なブロックに供給する。
【０１７８】
タップ選択部１４２は、注目画素について、生徒データ記憶部１３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図１１のタップ選択部１１２が選択するのと同一の画素を選択する。これにより、タップ選択部１４２は、タップ選択部１１２で得られるのと同一のタップ構造の予測タップを得て、足し込み部１４５に供給する。
【０１７９】
タップ選択部１４３は、注目画素について、生徒データ記憶部１３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図１１のタップ選択部１１３が選択するのと同一の画素を選択する。これにより、タップ選択部１４３は、タップ選択部１１３で得られるのと同一のタップ構造のクラスタップを得て、クラス分類部１４４に供給する。
【０１８０】
クラス分類部１４４は、タップ選択部１４３が出力するクラスタップに基づき、図１１のクラス分類部１１４と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１４５に出力する。
【０１８１】
足し込み部１４５は、教師データ記憶部１３３から、注目画素となっている教師データ（画素）を読み出し、その注目画素と、タップ選択部１４２から供給される注目画素についての予測タップを構成する生徒データ（画素）とを対象とした足し込みを、クラス分類部１４４から供給されるクラスコードごとに行う。
【０１８２】
即ち、足し込み部１４５には、教師データ記憶部１３３に記憶された教師データｙk、タップ選択部１４２が出力する予測タップｘn,k、クラス分類部１４４が出力するクラスコードが供給される。
【０１８３】
そして、足し込み部１４５は、クラス分類部１４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１８４】
さらに、足し込み部１４５は、やはり、クラス分類部１４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１８５】
即ち、足し込み部１４５は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１８６】
そして、足し込み部１４５は、教師データ記憶部１３３（図１３）に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、学習係数算出部１４６に供給する。
【０１８７】
学習係数算出部１４６は、足し込み部１４５から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適な学習係数ｗnを求めて出力する。
【０１８８】
図１１のクラス分類適応処理部１０３における係数出力部１１５には、以上のようにして求められたクラスごとの学習係数ｗnが記憶されている。即ち、図１１のクラス分類適応処理部１０３における係数出力部１１５が、図１０の学習係数記憶部１０２に対応する。
【０１８９】
次に、図１５のフローチャートを参照して、図１３の予測学習部１０１の処理（学習処理）について説明する。
【０１９０】
最初に、ステップＳ６１において、教師データ生成部１３２と生徒データ生成部１３４が、学習用画像記憶部１３１に記憶された学習用画像データから、教師データと生徒データを生成し、教師データ記憶部１３３と生徒データ生成部１３４にそれぞれ供給して記憶させる。
【０１９１】
なお、教師データ生成部１３２と生徒データ生成部１３４において、それぞれ、どのような生徒データと教師データを生成するかは、データ変換後の３Dコンテンツデータを、どのデータ変換前の３Dコンテンツデータに高画質化するかによって異なる。
【０１９２】
その後、処理はステップＳ６２に進み、学習部１３６（図１４）において、注目画素選択部１４１は、教師データ記憶部１３３に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として選択する。
【０１９３】
ステップＳ６３では、タップ選択部１４２が、注目画素について、生徒データ記憶部１３５に記憶された生徒データから予測タップとする生徒データとしての画素を選択し、足し込み部１４５に供給する。また、ステップＳ６３では、タップ選択部１４３が、やはり、注目画素について、生徒データ記憶部１３５に記憶された生徒データからクラスタップとする生徒データを選択し、クラス分類部１４４に供給する。
【０１９４】
ステップＳ６４において、クラス分類部１４４は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１４５に出力する。
【０１９５】
ステップＳ６５では、足し込み部１４５は、教師データ記憶部１３３から、注目画素を読み出す。そして、足し込み部１４５は、その注目画素と、タップ選択部１４２から供給される注目画素について選択された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラス分類部１４４から供給されるクラスコードごとに行う。
【０１９６】
ステップＳ６６では、注目画素選択部１４１が、教師データ記憶部１３３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ６６において、注目画素としていない教師データが、まだ、教師データ記憶部１３３に記憶されていると判定された場合、処理はステップＳ６２に戻り、以下、同様の処理が繰り返される。
【０１９７】
また、ステップＳ６６において、注目画素としていない教師データが、教師データ記憶部１３３に記憶されていないと判定された場合、処理はステップＳ６７に進み、足し込み部１４５は、いままでのステップＳ６２乃至Ｓ６６の処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、学習係数算出部１４６に供給する。
【０１９８】
さらに、ステップＳ６７では、学習係数算出部１４６は、足し込み部１４５から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、クラスごとに、学習係数ｗnを求めて出力し、処理を終了する。
【０１９９】
なお、学習用画像データの数が十分でないこと等に起因して、学習係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、学習係数算出部１４６は、例えば、デフォルトの学習係数を出力するようになっている。
【０２００】
以上のように、記録再生装置１は、クラス分類適応処理を採用した高画質化処理を、データ圧縮された３Dコンテンツデータに対して行うことにより、データ圧縮された３Dコンテンツデータを高画質化した後で、再生することができる。
【０２０１】
なお、ビットレート変換によりデータ圧縮された３Dコンテンツデータに対しては、学習処理において、教師データをビットレート８Mbpsの３Dコンテンツデータ、生徒データをビットレート５Mbpsまたは３Mbpsの３Dコンテンツデータとすることができる。
【０２０２】
また、解像度変換によりデータ圧縮された３Dコンテンツデータに対しては、学習処理において、教師データを解像度１９２０×１０８０ｐの３Dコンテンツデータ、生徒データを解像度１２８０×７２０ｐまたは１２８０×７２０ｐの３Dコンテンツデータとすることができる。
【０２０３】
さらに、視差制御によりデータ圧縮された３Dコンテンツデータに対しては、学習処理において、教師データを視差を変更していない３Dコンテンツデータ、生徒データを、視差が縮小された（視差ゼロも含む）３Dコンテンツデータとすることができる。
【０２０４】
なお、上述したクラス分類適応処理による高画質化処理は、それを実行する新たなブロックを設けてもよいし、視聴条件反映部５２またはコンテンツ再生部５４に行わせることも可能である。
【０２０５】
また、高画質化処理には、クラス分類適応処理以外の処理を採用することもできる。例えば、ビットレート変換によりデータ圧縮された３Dコンテンツデータの高画質化処理として、ノイズ低減（Noise Reduction）処理を実行させることができる。この場合、ビットレート３Mbpsの３Dコンテンツデータに対しては、ビットレート５Mbpsの３Dコンテンツデータよりも、ノイズ低減効果のより高いノイズ低減処理が施される。
【０２０６】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２０７】
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２０８】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０２０９】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０２１０】
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体２１１を駆動する。
【０２１１】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２１２】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２１３】
コンピュータでは、プログラムは、リムーバブル記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０２１４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【符号の説明】
【０２１５】
１ 記録再生装置， １２ デコーダ， １３ コントローラ， １４ エンコーダ， １５ 操作入力部， １８ ディスクドライブ， ２０ ローカルストレージ， ５０ 設定入力部， ５１ 視聴状況解析部， ５２ 視聴条件反映部， ５３ コンテンツデータ記憶部， ５４ コンテンツ再生部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、ユーザの視聴状況に応じて、コンテンツを保存することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、画像を立体的に視認できる３次元立体画像コンテンツ（以下、３Dコンテンツという。）が注目されてきており、３Dコンテンツの表示技術も多数提案されている。例えば、特許文献１では、多視点画像のクロストークを抑制することで高画質化する立体表示装置が提案されている。
【０００３】
３次元立体画像の鑑賞方式としては、視差を設けた左眼用画像（以下、L画像と称する。）と右眼用画像（以下、R画像と称する。）を鑑賞者に鑑賞させる両眼視差方式が普及しつつある。
【０００４】
L画像とR画像は、例えば、左右交互に開閉するシャッタ機能を有するシャッタメガネを鑑賞者が装着することにより、右眼と左眼それぞれで独立に視認される。また、メガネを装着しない方式には、かまぼこ型の細かなレンズ（レンチキュラーレンズ）を配列させることによってL画像とR画像の光路を分離し、右眼と左眼それぞれで独立に視認させる方式などがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−００８３０７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上のように、３Dコンテンツでは、L画像とR画像が必要であるため、データ量が従来の２次元画像コンテンツ（以下、２Dコンテンツという。）よりも多くなる。
【０００７】
従来、HDDレコーダ等の記録再生装置において、ユーザが録画したコンテンツの整理、例えば、視聴しないコンテンツの削除やコンテンツのデータ圧縮などは、ユーザ自身が行っている。３Dコンテンツは、上述したように２Dコンテンツに比べてデータ量が多いため、記録再生装置等において、コンテンツの整理が必要となる回数も増えることが予想される。従って、ユーザを煩わせないコンテンツの保存方法が望まれる。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、ユーザの視聴状況に応じて、コンテンツを保存することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の画像処理装置は、所定の記憶手段に記憶されている３Dコンテンツに対するユーザの視聴状況を表す情報を取得し、予め設定された３Dコンテンツの視聴状況に応じた保存基準に基づいて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定する視聴状況解析手段と、決定された前記データ削減レベルに従って、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮を行うデータ変換手段とを備える。
【００１０】
本発明の一側面の画像処理方法は、画像データを処理する画像処理装置が、所定の記憶手段に記憶されている３Dコンテンツに対するユーザの視聴状況を表す情報を取得し、予め設定された３Dコンテンツの視聴状況に応じた保存基準に基づいて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定し、決定された前記データ削減レベルに従って、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮を行う。
【００１１】
本発明の一側面のプログラムは、コンピュータに、所定の記憶手段に記憶されている３Dコンテンツに対するユーザの視聴状況を表す情報を取得し、予め設定された３Dコンテンツの視聴状況に応じた保存基準に基づいて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定する視聴状況解析手段と、決定された前記データ削減レベルに従って、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮を行うデータ変換手段として機能させる。
【００１２】
本発明の一側面においては、所定の記憶手段に記憶されている３Dコンテンツに対するユーザの視聴状況を表す情報が取得され、予め設定された３Dコンテンツの視聴状況に応じた保存基準に基づいて、記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルが決定される。そして、決定されたデータ削減レベルに従って、記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮が行われる。
【００１３】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１４】
本発明の一側面によれば、ユーザの視聴状況に応じて、コンテンツを保存することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明を適用した記録再生装置の一実施の形態の構成例を示すブロック図である。
【図２】視聴状況適応保存処理を実行する場合の機能的構成例を示すブロック図である。
【図３】データ削減レベルの決定方法について説明する図である。
【図４】視聴条件反映部の詳細構成例を示すブロック図である。
【図５】３Dコンテンツデータの各フォーマットとデータ容量との関係を示す図である。
【図６】データ削減レベルに応じたデータ変換をまとめた図である。
【図７】視差制御部の詳細構成例を示すブロック図である。
【図８】３Dコンテンツに対する視聴状況適応保存処理を説明するフローチャートである。
【図９】コンテンツデータ記憶部に記憶されている３Dコンテンツに対する視聴状況適応保存処理を説明するフローチャートである。
【図１０】高画質化処理にクラス分類適応処理を採用した場合の概念図である。
【図１１】図１１のクラス分類適応処理部の構成例を示すブロック図である。
【図１２】図１１のクラス分類適応処理部による高画質化処理について説明するフローチャートである。
【図１３】図１１の予測学習部の構成例を示すブロック図である。
【図１４】図１３の学習部の構成例を示すブロック図である。
【図１５】図１１の予測学習部の学習処理について説明するフローチャートである。
【図１６】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
［本発明を適用した記録再生装置の構成例］
図１は、本発明を適用した記録再生装置の一実施の形態の構成例を示している。
【００１７】
記録再生装置１は、２Dコンテンツおよび３Dコンテンツのデータを記録または再生する装置である。なお、以下では、２Dコンテンツおよび３Dコンテンツのデータを、それぞれ、２Dコンテンツデータおよび３Dコンテンツデータということにし、特に区別する必要がない場合には単にコンテンツおよびコンテンツデータという。
【００１８】
チューナ１１は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信して、復調する。また、チューナ１１は、復調した信号から、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをデコーダ１２に供給する。
【００１９】
デコーダ１２は、チューナ１１から供給されたMPEG-TSに施されているスクランブルを解除し、視聴対象（記録対象）になっている番組のデータを含むストリームを抽出する。デコーダ１２は、抽出したストリームを構成する音声パケットと映像パケットをデコードし、得られた音声データと映像データを出力部１６などに供給する。また、デコーダ１２は、MPEG-TSからEPG（Electronic Program Guide)データ等も抽出し、コントローラ１３に供給する。
【００２０】
デコーダ１２において、デコードにより得られる音声データと映像データは、２Dコンテンツまたは３Dコンテンツの音声データと映像データである。
【００２１】
３Dコンテンツのデータは、L画像とR画像のデータがそれぞれ異なるMPEG-TSとして供給されてもよいし、１つのMPEG-TSとして供給されてもよい。また、L画像とR画像のデータは、L画像またはR画像のいずれか一方のデータと、奥行き情報（Depth情報）という形で供給されてもよい。
【００２２】
なお、チューナ１１で受信される放送波信号における符号化方式と、後述するエンコーダ１４の符号化方式が異なる場合には、デコーダ１２は、両方の符号化方式に対応するデコードが可能である。
【００２３】
コントローラ１３は、メモリ１９またはローカルストレージ２０に記録された制御プログラムにより、操作入力部１５からの動作命令に従って、記録再生装置１の記録再生動作を制御する。
【００２４】
例えば、コントローラ１３は、チューナ１１で受信したコンテンツデータを記録する場合、デコードされたコンテンツデータを、デコーダ１２から、ディスクドライブ１８またはローカルストレージ２０に供給させる。
【００２５】
また例えば、コントローラ１３は、コンテンツデータを再生する場合、光ディスク１７が装着されているディスクドライブ１８またはローカルストレージ２０にコンテンツデータを読み出させ、出力部１６に供給させる。
【００２６】
エンコーダ１４は、コントローラ１３の制御にしたがい、デコーダ１２や光ディスク１７等から供給されるコンテンツデータをMPEG方式でエンコードする。
【００２７】
エンコーダ１４は、３Dコンテンツのデータを、データ容量を少なくして保存することができるようにするため、H.264 AVC(Advanced Video Coding)/MVC(Multi-view Video coding)による符号化を行うことができる。
【００２８】
H.264 AVC/MVCでは、Base view videoと呼ばれる画像ストリームと、Dependent view videoと呼ばれる画像ストリームとが定義されている。以下、適宜、H.264 AVC/MVCを単にMVCという。
【００２９】
MVCは、時間方向の画像間の予測だけでなく、ストリーム（view）間の予測も用いた符号化を行う。
【００３０】
即ち、MVCにおいては、Base view videoには、他のストリームを参照画像とする予測符号化が許されていないが、Dependent view videoには、Base view videoを参照画像とする予測符号化が許されている。従って、例えば、エンコーダ１４は、L画像をBase view videoとし、R画像をDependent view videoとする符号化を行う。この場合、R画像についてはL画像を基に予測符号化を行うので、Dependent view videoストリームのデータ量を、Base view videoストリームのデータ量に比較して少なくすることができる。また、L画像とR画像の視差が小さくなるほど、view間の予測における予測誤差が小さくなるので、符号化後の３Dコンテンツデータのデータ量は少なくなる。
【００３１】
なお、H.264/AVCでの符号化であるから、Base view videoについて時間方向の予測は行われている。また、Dependent view videoについても、view間の予測とともに、時間方向の予測が行われている。Dependent view videoをデコードするには、エンコード時に参照先とした、対応するBase view videoのデコードが先に終了している必要がある。
【００３２】
操作入力部１５は、ボタン、キー、タッチパネル、ジョグダイヤル、マウスなどの入力デバイスや、所定のリモートコマンダから送信される赤外線などの信号を受信する受信部により構成される。操作入力部１５はユーザの操作を検出し、検出した操作の内容を表す信号を動作命令としてコントローラ１３に供給する。
【００３３】
出力部１６は、D/Aコンバータを内蔵し、デコーダ１２等から供給されるコンテンツデータを、アナログまたはデジタルのAV信号として表示装置３１に出力する。出力部１６は、出力端子として、たとえば、AV信号をHDMI（High-Definition Multimedia Interface）信号により出力するHDMI出力端子や、AV信号をコンポーネント信号により出力する出力端子などを有する。
【００３４】
ディスクドライブ１８は、デコーダ１２やローカルストレージ２０等から供給されるコンテンツデータを、装着された光ディスク１７に記録する。また、ディスクドライブ１８は、光ディスク１７に記録されたコンテンツデータを読み出し、デコーダ１２等に供給する。光ディスク１７は、例えば、DVD(Digital Versatile Disc)やBlu-ray（登録商標） Disc等で構成される。
【００３５】
メモリ１９は、記録再生装置１の記録再生動作において一時的に記憶しておくことが必要なデータを記憶する。
【００３６】
ローカルストレージ２０は、たとえば、HDD(Hard Disk Drive)により構成される。ローカルストレージ２０は、記録再生動作を行うための制御プログラムや、チューナ１１、光ディスク１７等から取得されたデータ（コンテンツデータを含む）を記憶する。
【００３７】
ネットワークインタフェース２１は、コントローラ１３の制御に従ってネットワーク３２を介して図示せぬサーバと通信を行い、サーバからダウンロードしたデータをローカルストレージ２０に供給する。
【００３８】
以上のように構成される記録再生装置１は、ユーザの再生指示の操作に基づいて、ローカルストレージ２０等に記録された３Dのコンテンツデータを再生し、その結果得られるL画像とR画像を、表示装置３１に表示させる。ユーザは、例えば、シャッタ方式により時分割で表示されるL画像とR画像を視認することで、画像を立体的に知覚することができる。
【００３９】
記録再生装置１は、ローカルストレージ２０に記憶されている３Dコンテンツデータのデータ容量を、ユーザの視聴状況に応じて削減する機能（視聴状況適応保存機能）を有している。
【００４０】
図２は、視聴状況適応保存機能に関する記録再生装置１の機能的構成例を示すブロック図である。
【００４１】
記録再生装置１は、設定入力部５０、視聴状況解析部５１、視聴条件反映部５２、コンテンツデータ記憶部５３、およびコンテンツ再生部５４により構成される。
【００４２】
例えば、設定入力部５０は、図１の操作入力部１５に対応する。また、視聴状況解析部５１は図１のコントローラ１３に対応し、視聴条件反映部５２は図１のデコーダ１２、コントローラ１３、およびエンコーダ１４に対応する。コンテンツデータ記憶部５３は図１のローカルストレージ２０に対応し、コンテンツ再生部５４は図１のデコーダ１２およびディスクドライブ１８に対応する。
【００４３】
設定入力部５０は、ユーザによる入力を受け付ける。ユーザは、設定入力部５０において、視聴状況適応保存機能のオンまたはオフを設定することができる。また、ユーザは、設定入力部５０において、データ容量を削減する方法（データ削減方法）を設定することができる。データ削減方法には、ビットレート変換により低減する方法、解像度変換により低減する方法、データフォーマット変換により低減する方法、または、L画像とR画像の視差を小さくすることにより低減する方法がある。ユーザは、これらの４種類のデータ削減方法のなかから、所望のデータ削減方法を選択する。なお、勿論これ以外の方法によるデータの削減を排除するものではなく、任意のデータ削減方法を設定可能とすることができる。
【００４４】
ユーザによって設定された、視聴状況適応保存機能のオンオフ情報、および、データ削減方法を示す情報は、ユーザ設定情報として、設定入力部５０から視聴状況解析部５１に供給される。
【００４５】
視聴状況解析部５１は、ユーザ設定情報に基づき、コンテンツデータ記憶部５３に記憶されている３Dコンテンツデータのデータ容量を、ユーザの視聴状況に応じて削減するための制御を行う。
【００４６】
具体的には、視聴状況解析部５１は、コンテンツデータ記憶部５３に記憶されている各３Dコンテンツに対するユーザの視聴状況を解析する。即ち、視聴状況解析部５１は、コンテンツデータ記憶部５３に記憶されている各３Dコンテンツのなかで、例えば、経過時間が所定の基準を超えた３Dコンテンツや視聴回数が少ない３Dコンテンツなど、データ削減対象の３Dコンテンツを検索する。なお、コンテンツデータ記憶部５３には、後述するように、３Dコンテンツデータと対応付けて、その３Dコンテンツの視聴状況を表すデータも記憶されている。そして、視聴状況解析部５１は、データ削減対象として検索された３Dコンテンツに対し、データ削減レベルを決定する。
【００４７】
また、コンテンツ再生部５４において３Dコンテンツが再生された場合、３Dコンテンツの視聴状況が変わる。そのため、視聴状況解析部５１は、コンテンツ再生部５４において３Dコンテンツが再生された場合、再生中の３Dコンテンツの視聴状況をコンテンツ再生部５４から取得する。そして、視聴状況解析部５１は、再生中の３Dコンテンツの視聴状況を解析し、再生中の３Dコンテンツに対するデータ削減レベルを決定する。
【００４８】
決定されたデータ削減レベルに変更がある場合、即ち、コンテンツデータ記憶部５３内の３Dコンテンツデータをデータ圧縮する必要がある場合、視聴状況解析部５１は、決定された３Dコンテンツのデータ削減レベルを、ユーザにより設定されたデータ削減方法とともに、視聴条件反映部５２に供給する。
【００４９】
なお、本実施の形態において、データの削減レベルには、“データ削減なし”、“低”、“高”の３段階が用意されていることとする。
【００５０】
視聴条件反映部５２は、視聴状況解析部５１から供給されたデータ削減レベルとデータ削減方法に基づいて、コンテンツデータ記憶部５３に記憶されている３Dコンテンツデータのデータ変換（データ圧縮）を行う。
【００５１】
３Dコンテンツデータが視聴条件反映部５２によってデータ変換された場合、コンテンツ再生部５４は、データ変換後の３Dコンテンツデータを再生する。従って、視聴状況解析部５１から供給されるデータ削減レベルとデータ削減方法は、ユーザが３Dコンテンツを視聴するときの３Dコンテンツデータの条件（視聴条件）であるとも言える。
【００５２】
従って、視聴状況解析部５１は、３Dコンテンツに対するユーザの視聴状況に応じた視聴条件を視聴条件反映部５２に供給し、視聴条件反映部５２は、コンテンツデータ記憶部５３に記憶されている３Dコンテンツデータに視聴条件を反映させる。データ変換後の３Dコンテンツデータは、変換前の３Dコンテンツデータに代えて、コンテンツデータ記憶部５３に記憶される。
【００５３】
コンテンツデータ記憶部５３は、チューナ１１により受信されたり、光ディスク１７から読み出されるなどして取得された３Dコンテンツデータを記憶する。なお、３Dコンテンツデータは、最初にコンテンツデータ記憶部５３に記憶されるとき、ビットレートが８Mbps（Mega bit per second）、解像度１９２０×１０８０ｐ（Full HDサイズ）でL画像とR画像の２枚（Full HD×２）を有する形式で記憶される。
【００５４】
また、コンテンツデータ記憶部５３は、３Dコンテンツデータに関連するデータであるコンテンツ関連データを、３Dコンテンツデータと対応付けて記憶する。コンテンツ関連データは、その３Dコンテンツの視聴状況を表す情報であって、具体的には、これまでの視聴回数と、コンテンツデータ記憶部５３に保存されたときからの経過時間である。コンテンツ関連データは、視聴状況解析部５１によって作成され、３Dコンテンツデータと対応付けられる。
【００５５】
コンテンツ再生部５４は、コンテンツデータ記憶部５３から、再生対象の３Dコンテンツデータとコンテンツ関連データを取得し、３Dコンテンツの再生を行う。また、コンテンツ再生部５４は、取得したコンテンツ関連データに基づいて、再生した３Dコンテンツの視聴状況を視聴状況解析部５１に供給する。
【００５６】
［データ削減レベルの決定方法］
次に、図３を参照して、視聴状況解析部５１による、データ削減レベルの決定方法について説明する。
【００５７】
視聴状況解析部５１は、３Dコンテンツの視聴状況、即ち、視聴回数と経過時間に応じて、３Dコンテンツデータのデータ削減レベルを決定する。データ削減レベルは、上述したように、“データ削減なし”、“低”、または“高”の３段階に分類される。
【００５８】
視聴状況解析部５１は、図３に示すように、視聴回数が多く、経過時間が短い３Dコンテンツに対して、データ削減レベルとして、“データ削減なし”を選択する。
【００５９】
一方、視聴状況解析部５１は、視聴回数が多く経過時間が長い３Dコンテンツ、および、視聴回数が少なく経過時間が短い３Dコンテンツに対しては、データ削減レベルとして、“低”を選択する。
【００６０】
また、視聴状況解析部５１は、視聴回数が少なく経過時間が長い３Dコンテンツに対しては、データ削減レベルとして、“高”を設定する。
【００６１】
視聴状況解析部５１は、以上のように、ユーザの視聴状況に応じた保存基準に基づいてデータ削減レベルを決定し、ユーザが設定したデータ削減方法とともに、視聴条件として、視聴条件反映部５２に供給する。
【００６２】
なお、視聴回数がどのくらいであれば、視聴回数が「少ない」または「多い」とするか、および、経過時間がどのくらいであれば、経過時間が「短い」または「長い」とするかは、ユーザが設定入力部５０から設定することができる。さらに、図３のテーブルの視聴回数と経過時間との各組み合わせの４パターンに対し、どのようなデータ削減レベルを割り当てるかについてもユーザ自身が設定することができるようにしてもよい。
【００６３】
［視聴条件反映部５２の詳細構成例］
図４は、視聴条件反映部５２の詳細構成例を示すブロック図である。
【００６４】
視聴条件反映部５２は、視聴条件制御部７１、ビットレート変換部７２、解像度変換部７３、フォーマット変換部７４、および視差制御部７５により構成される。
【００６５】
視聴条件制御部７１は、視聴状況解析部５１から供給される視聴条件に基づいて、ビットレート変換部７２、解像度変換部７３、フォーマット変換部７４、または視差制御部７５のいずれかを動作させるように制御する。
【００６６】
すなわち、視聴条件制御部７１は、視聴条件として供給されるデータ削減方法がビットレート変換である場合には、ビットレート変換部７２に、コンテンツデータ記憶部５３から３Dコンテンツデータを取得させ、データ変換させる。一方、視聴条件として供給されるデータ削減方法が解像度変換である場合には、視聴条件制御部７１は、解像度変換部７３にデータ変換させる。また、視聴条件制御部７１は、視聴条件として供給されるデータ削減方法がフォーマット変換である場合には、フォーマット変換部７４にデータ変換させ、データ削減方法が視差制御部７５である場合には、視差制御部７５にデータ変換させる。
【００６７】
ビットレート変換部７２は、視聴条件制御部７１から供給されたデータ削減レベルに応じた３Dコンテンツデータのビットレート変換を行う。具体的には、視聴条件制御部７１から“低”レベルのビットレート変換が指示された場合、ビットレート変換部７２は、ビットレート８Mbpsの３Dコンテンツデータを、５Mbpsにビットレート変換する。また、ビットレート変換部７２は、視聴条件制御部７１から“高”レベルのビットレート変換が指示された場合、３Dコンテンツデータのビットレートを３Mbpsにビットレート変換する。
【００６８】
解像度変換部７３は、視聴条件制御部７１から供給されたデータ削減レベルに応じた３Dコンテンツデータの解像度変換を行う。具体的には、視聴条件制御部７１から“低”レベルの解像度変換が指示された場合、解像度変換部７３は、解像度１９２０×１０８０ｐの３Dコンテンツデータを、解像度１２８０×７２０ｐに解像度変換する。また、解像度変換部７３は、視聴条件制御部７１から“高”レベルの解像度変換が指示された場合、３Dコンテンツデータの解像度を７２０×４８０ｐに解像度変換する。
【００６９】
フォーマット変換部７４は、視聴条件制御部７１から供給されたデータ削減レベルに応じた３Dコンテンツデータのフォーマット変換を行う。
【００７０】
図５は、３Dコンテンツデータの各フォーマットとデータ容量との関係を示している。
【００７１】
なお、図５のL画像およびR画像は、実際にはカラー画像であるが、図５では線図で表している。また、図５では、奥行き情報が濃淡情報で概念的に表されている。
【００７２】
３Dコンテンツデータのフォーマットには、図５に示されるように、L画像とR画像をそれぞれ保持する第１の形式、L画像またはR画像のいずれか一方と奥行き情報とからなる第２の形式、L画像とR画像の２枚の画像を１枚のL画像（R画像）と同サイズに合成した第３の形式などがある。ここで、第１および第２の形式のL画像とR画像、第３の形式の合成画像のサイズは、Full HDサイズであるとする。この場合、保存する場合のデータ容量は、図５に示されるように、第１の形式、第２の形式、第３の形式の順に小さくなる。
【００７３】
フォーマット変換部７４は、視聴条件制御部７１から“低”レベルのフォーマット変換が指示された場合、Full HDサイズのL画像とR画像の２枚からなる第１の形式から、１枚のFull HDサイズの画像と奥行き情報とからなる第２の形式にフォーマット変換する。
【００７４】
一方、フォーマット変換部７４は、視聴条件制御部７１から“高”レベルのフォーマット変換が指示された場合、３Dコンテンツデータのフォーマットを、１枚のFull HDサイズの第３の形式にフォーマット変換する。なお、図５に示されるように、１枚のFull HDサイズとした場合に、L画像とR画像を左右に配置する形式（Side by Side）に合成するか、上下に配置する形式（Over/Under）に合成するかは任意に決定することができる。
【００７５】
図４に戻り、視差制御部７５は、視聴条件制御部７１から供給されたデータ削減レベルに応じた３Dコンテンツデータの視差制御を行う。具体的には、視聴条件制御部７１から“低”レベルの視差制御が指示された場合、視差制御部７５は、元のL画像とR画像に設定された視差に対して所定の比率で、視差を小さく変更する。また、視差制御部７５は、視聴条件制御部７１から“高”レベルの視差制御が指示された場合、視差をゼロに変更する。即ち、視差制御部７５は、元のL画像とR画像のいずれか一方のみを保持し、他方を削除する。
【００７６】
ビットレート変換部７２、解像度変換部７３、フォーマット変換部７４、または視差制御部７５による、視聴条件制御部７１から供給されたデータ削減レベルに応じたデータ変換をまとめると、図６に示すようになる。
【００７７】
なお、本実施の形態では、図６に示される４種類のデータ削減方法のいずれかを選択可能とするが、データ削減方法は４種類に限らず、少なくとも１種類あればよい。また、４種類のデータ削減方法のうちの複数を同時に選択、実行するようにしてもよい。
【００７８】
コンテンツデータ記憶部５３に記憶されている３Dコンテンツデータは、ビットレート変換部７２、解像度変換部７３、フォーマット変換部７４、または視差制御部７５のいずれかによってデータ変換が実行されることで、データ容量が削減される。
【００７９】
なお、ビットレート変換部７２、解像度変換部７３、フォーマット変換部７４、および視差制御部７５は、データ変換の前後に、必要に応じてMVCによる復号または符号化を行う。
【００８０】
［視差制御部７５の詳細構成例］
図７は、L画像とR画像の視差を小さくする制御を行う視差制御部７５の詳細構成例を示すブロック図である。
【００８１】
視差制御部７５は、視差検出部８１、視差制御部８２、および画像合成部８３により構成される。
【００８２】
視差制御部７５に供給されたL画像とR画像は、視差検出部８１と画像合成部８３に入力される。視差検出部８１は、L画像とR画像から、それらの視差を検出し、視差制御部８２に供給する。
【００８３】
視差制御部８２は、視差検出部８１で検出された視差に基づいて、変更後の視差をいくつにすればよいかを決定し、画像合成部８３に供給する。画像合成部８３は、視差制御部８２により決定された視差となるように、入力されたL画像とR画像から、視差変更後のL画像とR画像を生成し、出力する。
【００８４】
［再生コンテンツに対する視聴状況適応保存処理］
次に、図８のフローチャートを参照して、コンテンツ再生部５４で再生された３Dコンテンツに対する視聴状況適応保存処理を説明する。
【００８５】
初めに、ステップＳ１において、コンテンツ再生部５４は、ユーザにより再生が指示された３Dコンテンツ（以下、再生コンテンツと称する。）の３Dコンテンツデータと、そのコンテンツ関連データを取得する。
【００８６】
ステップＳ２において、コンテンツ再生部５４は、再生コンテンツの再生を開始する。
【００８７】
ステップＳ３において、コンテンツ再生部５４は、再生コンテンツの再生が終了したかを判定し、再生が終了したと判定されるまで待機する。
【００８８】
ステップＳ３で、再生が終了したと判定された場合、処理はステップＳ４に進み、コンテンツ再生部５４は、コンテンツ関連データを視聴状況解析部５１に供給する。
【００８９】
ステップＳ５において、視聴状況解析部５１は、コンテンツ再生部５４から供給された再生コンテンツの視聴状況を解析し、ユーザ設定情報に基づいて、再生コンテンツの視聴条件を決定する。即ち、視聴状況解析部５１は、再生コンテンツの視聴状況に基づいて、再生コンテンツをデータ削減するか、データ削減する場合にはどのデータ削減方法で、どのデータ削減レベルで行うかを決定する。
【００９０】
ステップＳ６において、視聴状況解析部５１は、解析の結果、再生コンテンツの視聴条件に変更があるかを判定する。ステップＳ６で、再生コンテンツの視聴条件に変更がないと判定された場合、視聴状況適応保存処理は終了する。
【００９１】
一方、ステップＳ６で、再生コンテンツの視聴条件に変更があると判定された場合、処理はステップＳ７に進み、視聴状況解析部５１は、視聴条件反映部５２に視聴条件を反映させる。即ち、視聴状況解析部５１は、再生コンテンツに対する視聴条件を視聴条件反映部５２に供給する。視聴条件反映部５２は、コンテンツデータ記憶部５３に記憶されている再生コンテンツの３Dコンテンツデータを、設定されたデータ削減方法およびデータ削減レベルでデータ圧縮し、処理を終了する。
【００９２】
図８の処理により、３Dコンテンツが再生された場合に、再生された３Dコンテンツの視聴状況が確認され、視聴状況に応じて、コンテンツデータ記憶部５３の３Dコンテンツデータが圧縮される。
【００９３】
［コンテンツデータ記憶部５３の３Dコンテンツに対する視聴状況適応保存処理］
次に、コンテンツデータ記憶部５３に記憶されている３Dコンテンツに対する視聴状況適応保存処理について説明する。
【００９４】
図９は、コンテンツデータ記憶部５３に記憶されている３Dコンテンツに対する視聴状況適応保存処理のフローチャートである。
【００９５】
はじめに、ステップＳ１１において、視聴状況解析部５１は、コンテンツデータ記憶部５３内に記憶されている３Dコンテンツのコンテンツ関連データを取得する。
【００９６】
ステップＳ１２において、視聴状況解析部５１は、ユーザ設定情報に基づいて、コンテンツの視聴条件に変更がある３Dコンテンツがあるかを判定する。
【００９７】
ステップＳ１２で、視聴条件に変更がある３Dコンテンツがないと判定された場合、視聴状況適応保存処理は終了する。
【００９８】
一方、ステップＳ１２で、視聴条件に変更がある３Dコンテンツがあると判定された場合、視聴状況解析部５１は、その３Dコンテンツの視聴条件を視聴条件反映部５２に反映させて、視聴状況適応保存処理を終了する。
【００９９】
図９の処理により、コンテンツデータ記憶部５３に記憶されている３Dコンテンツの視聴状況が確認され、視聴状況に応じて、コンテンツデータ記憶部５３の３Dコンテンツデータが圧縮される。
【０１００】
以上のように、記録再生装置１の視聴状況適応保存機能により、ユーザの視聴状況に応じて、コンテンツデータ記憶部５３の３Dコンテンツデータが整理される。即ち、ユーザの視聴回数が少ない３Dコンテンツや経過時間の長い３Dコンテンツのデータが、視聴状況適応保存処理により、データ圧縮される。これにより、コンテンツデータ記憶部５３に保存されている３Dコンテンツのデータ容量を削減することができる。３Dコンテンツは、２Dコンテンツと比べてデータ量が多いため、このようなデータ容量削減機能がより有効となる。
【０１０１】
［本実施の形態の変形例］
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０１０２】
たとえば、３Ｄコンテンツの視聴状況として、図３を参照して説明したように、視聴回数と経過時間を採用したが、視聴回数または経過時間のいずれか一方のみを採用してもよい。
【０１０３】
また、視聴回数と経過時間には、正規化したデータを利用することができる。具体的には、視聴回数が最も多い３Dコンテンツの視聴回数を１として、全ての３Dコンテンツの視聴回数を設定することができる。また、経過時間が最長の３Dコンテンツの経過時間を１として、全ての３Dコンテンツの経過時間を設定することができる。
【０１０４】
また、３Dコンテンツの視聴状況には、視聴回数と経過時間以外のデータを採用することができる。たとえば、視聴回数に代えて、３Dコンテンツの視聴時間を、３Dコンテンツの録画時間（番組の放送時間）で除算した値（視聴時間／録画時間）を採用することができる。
【０１０５】
３Dコンテンツ単位で視聴状況を設定するのではなく、３Dコンテンツのジャンル毎に視聴状況を設定してもよい。例えば、ジャンルが「映画」である３Dコンテンツに対して、コンテンツデータ記憶部５３に記憶されている全ての３Dコンテンツにおける「映画」コンテンツの割合を、各「映画」コンテンツの視聴状況とすることができる。これにより、ジャンル単位で、コンテンツデータ記憶部５３に記憶されている３Dコンテンツを整理することができる。
【０１０６】
上述した実施の形態では、整理対象の３Dコンテンツを保存する記憶媒体が、記録再生装置１内に存在する例について説明したが、整理対象の３Dコンテンツを保存する記憶媒体は、装置の外部に設けられていてもよい。この場合、記憶媒体に保存されている３Dコンテンツを制御する制御部は、コンテンツの視聴状況を通信により授受し、所定のデータ削減方法による３Dコンテンツデータのデータ圧縮を制御する。
【０１０７】
また、整理対象の３Dコンテンツが保存される記憶媒体は、HDD以外の磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどでもよい。
【０１０８】
さらに、上述した実施の形態では、記録再生装置１が視聴状況適応保存処理を実行する例を説明したが、本発明は、記録再生装置以外にも、テレビジョン受像機、携帯端末、撮像装置など、コンテンツの保存機能を有する装置に対して適用可能である。
【０１０９】
［その他の実施の形態］
上述した実施の形態では、ユーザの視聴状況に応じて、３Dコンテンツデータをデータ圧縮し、再生が指示された場合には、データ圧縮された３Dコンテンツデータがそのまま再生に利用される。
【０１１０】
従って、コンテンツデータ記憶部５３のデータ容量は削減することができるが、再生する場合に表示装置３１に表示される画像の画質は、記録再生装置１が最初に取得したときの３Dコンテンツデータを再生したものより劣ってしまう。
【０１１１】
そこで、再生対象の３Dコンテンツデータがデータ圧縮されている場合に、画像処理装置１には、データ圧縮された３Dコンテンツデータに高画質化処理を施し、処理後の３Dコンテンツデータを再生させることができる。
【０１１２】
データ圧縮された３Dコンテンツデータの高画質化処理には、例えば、クラス分類適応処理を採用することができる。
【０１１３】
図１０は、データ圧縮された３Dコンテンツデータの高画質化処理にクラス分類適応処理を採用した場合の、概念図を示している。
【０１１４】
クラス分類適応処理では、入力画像を基に出力画像を生成するための学習係数が、学習の教師となる教師データと学習の生徒となる生徒データを用いた学習により予め求められる。そして、学習により得られた学習係数を用いて、入力された画像を変換する処理が実行される。
【０１１５】
クラス分類適応処理により、データ圧縮された３Dコンテンツデータの高画質化処理を実行する場合には、データ圧縮前の３Dコンテンツデータが教師データ、データ圧縮後の３Dコンテンツデータが生徒データとされる。例えば、図１０に示されるように、２枚のFull HDサイズのL画像とR画像からなる第１の形式の３Dコンテンツデータが教師データ、１枚のFull HDサイズの第３の形式にフォーマット変換された３Dコンテンツデータが生徒データとされる。そして、予測学習部１０１により学習係数が求められ、学習係数記憶部１０２に記憶される。
【０１１６】
そして、高画質化処理実行時には、学習係数記憶部１０２に記憶された学習係数を用いて、クラス分類適応処理部１０３が、入力画像を高画質化した画像に変換する画像変換処理を実行し、変換後の画像を出力する。
【０１１７】
例えば、クラス分類適応処理部１０３は、コンテンツデータ記憶部５３に記憶されている、１枚のFull HDサイズの３Dコンテンツデータを、学習係数記憶部１０２に記憶された学習係数を用いて、２枚のFull HDサイズのL画像とR画像からなる３Dコンテンツデータに変換する。これにより、データ削減前と同様の画質に高画質化された３Dコンテンツデータを再生することができる。
【０１１８】
図１１乃至図１５を参照して、学習係数を求める予測学習部１０１と、学習により得られた学習係数を用いて高画質化処理を行うクラス分類適応処理部１０３の詳細について説明する。
【０１１９】
［クラス分類適応処理部１０３の詳細構成例］
図１１は、クラス分類適応処理部１０３の構成例を示している。
【０１２０】
クラス分類適応処理部１０３では、データ圧縮後の３Dコンテンツデータが第１の画像データとして入力され、データ削減前と同様の画質に高画質化された３Dコンテンツデータが第２の画像として、出力される。
【０１２１】
クラス分類適応処理部１０３では、第２の画像データのうちの注目している注目画素（の画素値）を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスの学習係数と、注目画素に対して選択される第１の画像データの画素（の画素値）とを用いた演算により、注目画素（の画素値）が求められる。
【０１２２】
第１の画像データとしての、データ圧縮前の３Dコンテンツデータが、タップ選択部１１２および１１３に供給される。
【０１２３】
注目画素選択部１１１は、第２の画像データを構成する画素を、順次、注目画素とし、その注目画素を表す情報を、必要なブロックに供給する。
【０１２４】
タップ選択部１１２は、注目画素（の画素値）を予測するのに用いる第１の画像データを構成する画素（の画素値）の幾つかを、予測タップとして選択する。
【０１２５】
具体的には、タップ選択部１１２は、注目画素の時空間の位置から空間的または時間的に近い位置にある第１の画像データの複数の画素を、予測タップとして選択する。
【０１２６】
タップ選択部１１３は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データを構成する画素の幾つかを、クラスタップとして選択する。即ち、タップ選択部１１３は、タップ選択部１１２が予測タップを選択するのと同様にして、クラスタップを選択する。
【０１２７】
なお、予測タップとクラスタップは、同一のタップ構造を有するものであっても良いし、異なるタップ構造を有するものであっても良い。
【０１２８】
タップ選択部１１２で得られた予測タップは、予測演算部１１６に供給され、タップ選択部１１３で得られたクラスタップは、クラス分類部１１４に供給される。
【０１２９】
クラス分類部１１４は、タップ選択部１３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数出力部１１５に供給する。
【０１３０】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【０１３１】
ADRCを用いる方法では、クラスタップを構成する画素（の画素値）が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【０１３２】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素の画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（再量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【０１３３】
なお、クラス分類部１１４には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラス分類部１４が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
【０１３４】
従って、クラス分類部１１４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
【０１３５】
係数出力部１１５は、後述する学習によって求められたクラスごとの学習係数を記憶し、さらに、その記憶した学習係数のうちの、クラス分類部１１４から供給されるクラスコードに対応するアドレスに記憶されている学習係数（クラス分類部１１４から供給されるクラスコードが表すクラスの学習係数）を出力する。この学習係数は、予測演算部１１６に供給される。
【０１３６】
予測演算部１１６は、タップ選択部１１２が出力する予測タップと、係数出力部１１５が出力する学習係数とを取得し、その予測タップと学習係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部１１６は、注目画素の画素値（の予測値）、即ち、第２の画像データを構成する画素の画素値を求めて出力する。
【０１３７】
次に、図１２のフローチャートを参照して、図１１のクラス分類適応処理部１０３による高画質化処理について説明する。
【０１３８】
ステップＳ４１において、注目画素選択部１１１は、クラス分類適応処理部１０３に入力される第１の画像データに対する第２の画像データを構成する画素のうち、まだ、注目画素とされていないものの１つを、注目画素として選択する。例えば、第２の画像データを構成する画素のうち、ラスタスキャン順で、まだ、注目画素とされていないものが、注目画素として選択される。
【０１３９】
ステップＳ４２において、タップ選択部１１２とタップ選択部１１３が、そこに供給される第１の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。そして、予測タップは、タップ選択部１１２から予測演算部１１６に供給され、クラスタップは、タップ選択部１１３からクラス分類部１１４に供給される。
【０１４０】
クラス分類部１１４は、タップ選択部１１３から、注目画素についてのクラスタップを受信し、ステップＳ４３において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部１１４は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数出力部１１５に出力する。
【０１４１】
ステップＳ４４では、係数出力部１１５が、クラス分類部１１４から供給されるクラスコードに対応するアドレスに記憶されている学習係数を取得して出力する。さらに、ステップＳ４４では、予測演算部１１６が、係数出力部１１５が出力する学習係数を取得する。
【０１４２】
ステップＳ４５では、予測演算部１１６が、タップ選択部１１２が出力する予測タップと、係数出力部１１５から取得した学習係数とを用いて、所定の予測演算を行う。これにより、予測演算部１１６は、注目画素の画素値を求めて出力する。
【０１４３】
ステップＳ４６では、注目画素選択部１１１が、まだ、注目画素としていない第２の画像データがあるかどうかを判定する。ステップＳ４６において、まだ、注目画素としていない第２の画像データがあると判定された場合、処理はステップＳ４１に戻り、以下、同様の処理が繰り返される。
【０１４４】
また、ステップＳ４６において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理は終了する。
【０１４５】
次に、図１１の予測演算部１１６における予測演算と、係数出力部１１５に記憶された学習係数の学習について説明する。
【０１４６】
いま、第１の画像データの画素（低画質画素）から予測タップを選択し、その予測タップと学習係数を用いて、第２の画像データの画素（高画質画素）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【０１４７】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【０１４８】
【数１】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目の学習係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１４９】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１５０】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
【０１５１】
【数２】
【０１５２】
いま、式（２）の予測値ｙk'は、式（１）にしたがって求められるため、式（２）のｙk'を、式（１）にしたがって置き換えると、次式が得られる。
【０１５３】
【数３】
【０１５４】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１５５】
式（３）（または式（２））の予測誤差ｅkを０とする学習係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような学習係数ｗnを求めることは、一般には困難である。
【０１５６】
そこで、学習係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な学習係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１５７】
【数４】
【０１５８】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１５９】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅを学習係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１６０】
【数５】
【０１６１】
そこで、上述の式（３）を学習係数ｗnで偏微分すると、次式が得られる。
【０１６２】
【数６】
【０１６３】
式（５）と（６）から、次式が得られる。
【０１６４】
【数７】
【０１６５】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１６６】
【数８】
【０１６７】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、学習係数ｗnについて解くことができる。
【０１６８】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適な学習係数（ここでは、自乗誤差の総和Ｅを最小にする学習係数）ｗnを、クラスごとに求めることができる。
【０１６９】
図１３は、式（８）の正規方程式をたてて解くことにより学習係数ｗnを求める学習を行う予測学習部１０１の構成例を示している。
【０１７０】
学習用画像記憶部１３１は、学習係数ｗnの学習に用いられる学習用画像データを記憶している。ここで、学習用画像データとしては、例えば、第１の形式の３Dコンテンツデータを用いることができる。
【０１７１】
教師データ生成部１３２は、学習用画像記憶部１３１から学習用画像データを読み出す。さらに、教師データ生成部１３２は、学習用画像データから、学習係数の学習の教師（真値）、即ち、式（１）による予測演算としての写像の写像先の画素値となる教師データを生成し、教師データ記憶部１３３に供給する。ここでは、教師データ生成部１３２は、例えば、学習用画像データとしての３Dコンテンツデータを、そのまま教師データとして、教師データ記憶部１３３に供給する。
【０１７２】
教師データ記憶部１３３は、教師データ生成部１３２から供給される教師データとしての３Dコンテンツデータを記憶する。
【０１７３】
生徒データ生成部１３４は、学習用画像記憶部１３１から学習用画像データを読み出す。さらに、生徒データ生成部１３４は、学習用画像データから、学習係数の学習の生徒、即ち、式（１）による予測演算としての写像による変換対象の画素値となる生徒データを生成し、生徒データ記憶部１３５に供給する。ここでは、生徒データ生成部１３４は、例えば、学習用画像データとしての第１の形式の３Dコンテンツデータを、フォーマット変換して第３の形式の３Dコンテンツデータを生成し、生徒データとして、生徒データ記憶部１３５に供給する。
【０１７４】
生徒データ記憶部１３５は、生徒データ生成部１３４から供給される生徒データを記憶する。
【０１７５】
学習部１３６は、教師データ記憶部１３３に記憶された教師データとしての第１の形式の３Dコンテンツデータを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部１３５に記憶された生徒データとしての第３の形式の３Dコンテンツデータを構成する低画質画素のうちの、図１１のタップ選択部１１２が選択するのと同一のタップ構造の低画質画素を、予測タップとして選択する。さらに、学習部１３６は、教師データを構成する各画素と、その画素が注目画素とされたときに選択された予測タップとを用い、クラスごとに、式（８）の正規方程式をたてて解くことにより、クラスごとの学習係数を求める。
【０１７６】
即ち、図１４は、図１３の学習部１３６の構成例を示している。
【０１７７】
注目画素選択部１４１は、教師データ記憶部１３３に記憶されている教師データを構成する画素を、順次、注目画素として選択し、その注目画素を表す情報を、必要なブロックに供給する。
【０１７８】
タップ選択部１４２は、注目画素について、生徒データ記憶部１３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図１１のタップ選択部１１２が選択するのと同一の画素を選択する。これにより、タップ選択部１４２は、タップ選択部１１２で得られるのと同一のタップ構造の予測タップを得て、足し込み部１４５に供給する。
【０１７９】
タップ選択部１４３は、注目画素について、生徒データ記憶部１３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図１１のタップ選択部１１３が選択するのと同一の画素を選択する。これにより、タップ選択部１４３は、タップ選択部１１３で得られるのと同一のタップ構造のクラスタップを得て、クラス分類部１４４に供給する。
【０１８０】
クラス分類部１４４は、タップ選択部１４３が出力するクラスタップに基づき、図１１のクラス分類部１１４と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１４５に出力する。
【０１８１】
足し込み部１４５は、教師データ記憶部１３３から、注目画素となっている教師データ（画素）を読み出し、その注目画素と、タップ選択部１４２から供給される注目画素についての予測タップを構成する生徒データ（画素）とを対象とした足し込みを、クラス分類部１４４から供給されるクラスコードごとに行う。
【０１８２】
即ち、足し込み部１４５には、教師データ記憶部１３３に記憶された教師データｙk、タップ選択部１４２が出力する予測タップｘn,k、クラス分類部１４４が出力するクラスコードが供給される。
【０１８３】
そして、足し込み部１４５は、クラス分類部１４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１８４】
さらに、足し込み部１４５は、やはり、クラス分類部１４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１８５】
即ち、足し込み部１４５は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１８６】
そして、足し込み部１４５は、教師データ記憶部１３３（図１３）に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、学習係数算出部１４６に供給する。
【０１８７】
学習係数算出部１４６は、足し込み部１４５から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適な学習係数ｗnを求めて出力する。
【０１８８】
図１１のクラス分類適応処理部１０３における係数出力部１１５には、以上のようにして求められたクラスごとの学習係数ｗnが記憶されている。即ち、図１１のクラス分類適応処理部１０３における係数出力部１１５が、図１０の学習係数記憶部１０２に対応する。
【０１８９】
次に、図１５のフローチャートを参照して、図１３の予測学習部１０１の処理（学習処理）について説明する。
【０１９０】
最初に、ステップＳ６１において、教師データ生成部１３２と生徒データ生成部１３４が、学習用画像記憶部１３１に記憶された学習用画像データから、教師データと生徒データを生成し、教師データ記憶部１３３と生徒データ生成部１３４にそれぞれ供給して記憶させる。
【０１９１】
なお、教師データ生成部１３２と生徒データ生成部１３４において、それぞれ、どのような生徒データと教師データを生成するかは、データ変換後の３Dコンテンツデータを、どのデータ変換前の３Dコンテンツデータに高画質化するかによって異なる。
【０１９２】
その後、処理はステップＳ６２に進み、学習部１３６（図１４）において、注目画素選択部１４１は、教師データ記憶部１３３に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として選択する。
【０１９３】
ステップＳ６３では、タップ選択部１４２が、注目画素について、生徒データ記憶部１３５に記憶された生徒データから予測タップとする生徒データとしての画素を選択し、足し込み部１４５に供給する。また、ステップＳ６３では、タップ選択部１４３が、やはり、注目画素について、生徒データ記憶部１３５に記憶された生徒データからクラスタップとする生徒データを選択し、クラス分類部１４４に供給する。
【０１９４】
ステップＳ６４において、クラス分類部１４４は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１４５に出力する。
【０１９５】
ステップＳ６５では、足し込み部１４５は、教師データ記憶部１３３から、注目画素を読み出す。そして、足し込み部１４５は、その注目画素と、タップ選択部１４２から供給される注目画素について選択された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラス分類部１４４から供給されるクラスコードごとに行う。
【０１９６】
ステップＳ６６では、注目画素選択部１４１が、教師データ記憶部１３３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ６６において、注目画素としていない教師データが、まだ、教師データ記憶部１３３に記憶されていると判定された場合、処理はステップＳ６２に戻り、以下、同様の処理が繰り返される。
【０１９７】
また、ステップＳ６６において、注目画素としていない教師データが、教師データ記憶部１３３に記憶されていないと判定された場合、処理はステップＳ６７に進み、足し込み部１４５は、いままでのステップＳ６２乃至Ｓ６６の処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、学習係数算出部１４６に供給する。
【０１９８】
さらに、ステップＳ６７では、学習係数算出部１４６は、足し込み部１４５から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、クラスごとに、学習係数ｗnを求めて出力し、処理を終了する。
【０１９９】
なお、学習用画像データの数が十分でないこと等に起因して、学習係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、学習係数算出部１４６は、例えば、デフォルトの学習係数を出力するようになっている。
【０２００】
以上のように、記録再生装置１は、クラス分類適応処理を採用した高画質化処理を、データ圧縮された３Dコンテンツデータに対して行うことにより、データ圧縮された３Dコンテンツデータを高画質化した後で、再生することができる。
【０２０１】
なお、ビットレート変換によりデータ圧縮された３Dコンテンツデータに対しては、学習処理において、教師データをビットレート８Mbpsの３Dコンテンツデータ、生徒データをビットレート５Mbpsまたは３Mbpsの３Dコンテンツデータとすることができる。
【０２０２】
また、解像度変換によりデータ圧縮された３Dコンテンツデータに対しては、学習処理において、教師データを解像度１９２０×１０８０ｐの３Dコンテンツデータ、生徒データを解像度１２８０×７２０ｐまたは１２８０×７２０ｐの３Dコンテンツデータとすることができる。
【０２０３】
さらに、視差制御によりデータ圧縮された３Dコンテンツデータに対しては、学習処理において、教師データを視差を変更していない３Dコンテンツデータ、生徒データを、視差が縮小された（視差ゼロも含む）３Dコンテンツデータとすることができる。
【０２０４】
なお、上述したクラス分類適応処理による高画質化処理は、それを実行する新たなブロックを設けてもよいし、視聴条件反映部５２またはコンテンツ再生部５４に行わせることも可能である。
【０２０５】
また、高画質化処理には、クラス分類適応処理以外の処理を採用することもできる。例えば、ビットレート変換によりデータ圧縮された３Dコンテンツデータの高画質化処理として、ノイズ低減（Noise Reduction）処理を実行させることができる。この場合、ビットレート３Mbpsの３Dコンテンツデータに対しては、ビットレート５Mbpsの３Dコンテンツデータよりも、ノイズ低減効果のより高いノイズ低減処理が施される。
【０２０６】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２０７】
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２０８】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０２０９】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０２１０】
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体２１１を駆動する。
【０２１１】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２１２】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２１３】
コンピュータでは、プログラムは、リムーバブル記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０２１４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【符号の説明】
【０２１５】
１ 記録再生装置， １２ デコーダ， １３ コントローラ， １４ エンコーダ， １５ 操作入力部， １８ ディスクドライブ， ２０ ローカルストレージ， ５０ 設定入力部， ５１ 視聴状況解析部， ５２ 視聴条件反映部， ５３ コンテンツデータ記憶部， ５４ コンテンツ再生部
【特許請求の範囲】
【請求項１】
所定の記憶手段に記憶されている３Dコンテンツに対するユーザの視聴状況を表す情報を取得し、予め設定された３Dコンテンツの視聴状況に応じた保存基準に基づいて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定する視聴状況解析手段と、
決定された前記データ削減レベルに従って、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮を行うデータ変換手段と
を備える画像処理装置。
【請求項２】
前記視聴状況を表す情報は、３Dコンテンツが前記記憶手段に保存されたときからの経過時間を含み、
前記視聴状況解析手段は、前記経過時間に応じて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定する
請求項１に記載の画像処理装置。
【請求項３】
前記視聴状況を表す情報は、３Dコンテンツの視聴回数をさらに含み、
前記視聴状況解析手段は、前記経過時間と前記視聴回数に応じて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定する
請求項２に記載の画像処理装置。
【請求項４】
前記視聴状況解析手段は、前記データ削減レベルに加えて、データ削減方法も決定し、
前記データ変換手段は、決定された前記データ削減レベルと前記データ削減方法に従って、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮を行う
請求項１に記載の画像処理装置。
【請求項５】
前記データ削減方法は、ビットレート変換、解像度変換、フォーマット変換、または視差制御のいずれかである
請求項４に記載の画像処理装置。
【請求項６】
前記記憶手段に記憶されている３Dコンテンツを再生する再生手段をさらに備え、
前記視聴状況解析手段は、前記再生手段により再生された前記３Dコンテンツの前記ユーザの視聴状況を表す情報を取得し、前記保存基準に基づいて、前記再生手段により再生された前記３Dコンテンツのコンテンツデータのデータ削減レベルを決定する
請求項１に記載の画像処理装置。
【請求項７】
前記データ変換手段により、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮が行われた場合、前記記憶手段は、データ圧縮後の３Dコンテンツのコンテンツデータを記憶し、
前記データ圧縮後の３Dコンテンツのコンテンツデータに高画質化処理を施す高画質化手段をさらに備え、
前記再生手段は、前記高画質化手段による処理後の前記３Dコンテンツのコンテンツデータを再生する
請求項６に記載の画像処理装置。
【請求項８】
ユーザによる、前記３Dコンテンツの視聴状況に応じた保存基準の設定を受け付ける設定入力手段をさらに備え、
前記視聴状況解析手段は、前記設定入力手段において前記ユーザにより設定された前記３Dコンテンツの視聴状況に応じた保存基準に基づいて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定する
請求項１に記載の画像処理装置。
【請求項９】
画像データを処理する画像処理装置が、
所定の記憶手段に記憶されている３Dコンテンツに対するユーザの視聴状況を表す情報を取得し、予め設定された３Dコンテンツの視聴状況に応じた保存基準に基づいて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定し、
決定された前記データ削減レベルに従って、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮を行う
画像処理方法。
【請求項１０】
コンピュータに、
所定の記憶手段に記憶されている３Dコンテンツに対するユーザの視聴状況を表す情報を取得し、予め設定された３Dコンテンツの視聴状況に応じた保存基準に基づいて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定する視聴状況解析手段と、
決定された前記データ削減レベルに従って、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮を行うデータ変換手段
として機能させるためのプログラム。
【請求項１】
所定の記憶手段に記憶されている３Dコンテンツに対するユーザの視聴状況を表す情報を取得し、予め設定された３Dコンテンツの視聴状況に応じた保存基準に基づいて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定する視聴状況解析手段と、
決定された前記データ削減レベルに従って、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮を行うデータ変換手段と
を備える画像処理装置。
【請求項２】
前記視聴状況を表す情報は、３Dコンテンツが前記記憶手段に保存されたときからの経過時間を含み、
前記視聴状況解析手段は、前記経過時間に応じて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定する
請求項１に記載の画像処理装置。
【請求項３】
前記視聴状況を表す情報は、３Dコンテンツの視聴回数をさらに含み、
前記視聴状況解析手段は、前記経過時間と前記視聴回数に応じて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定する
請求項２に記載の画像処理装置。
【請求項４】
前記視聴状況解析手段は、前記データ削減レベルに加えて、データ削減方法も決定し、
前記データ変換手段は、決定された前記データ削減レベルと前記データ削減方法に従って、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮を行う
請求項１に記載の画像処理装置。
【請求項５】
前記データ削減方法は、ビットレート変換、解像度変換、フォーマット変換、または視差制御のいずれかである
請求項４に記載の画像処理装置。
【請求項６】
前記記憶手段に記憶されている３Dコンテンツを再生する再生手段をさらに備え、
前記視聴状況解析手段は、前記再生手段により再生された前記３Dコンテンツの前記ユーザの視聴状況を表す情報を取得し、前記保存基準に基づいて、前記再生手段により再生された前記３Dコンテンツのコンテンツデータのデータ削減レベルを決定する
請求項１に記載の画像処理装置。
【請求項７】
前記データ変換手段により、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮が行われた場合、前記記憶手段は、データ圧縮後の３Dコンテンツのコンテンツデータを記憶し、
前記データ圧縮後の３Dコンテンツのコンテンツデータに高画質化処理を施す高画質化手段をさらに備え、
前記再生手段は、前記高画質化手段による処理後の前記３Dコンテンツのコンテンツデータを再生する
請求項６に記載の画像処理装置。
【請求項８】
ユーザによる、前記３Dコンテンツの視聴状況に応じた保存基準の設定を受け付ける設定入力手段をさらに備え、
前記視聴状況解析手段は、前記設定入力手段において前記ユーザにより設定された前記３Dコンテンツの視聴状況に応じた保存基準に基づいて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定する
請求項１に記載の画像処理装置。
【請求項９】
画像データを処理する画像処理装置が、
所定の記憶手段に記憶されている３Dコンテンツに対するユーザの視聴状況を表す情報を取得し、予め設定された３Dコンテンツの視聴状況に応じた保存基準に基づいて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定し、
決定された前記データ削減レベルに従って、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮を行う
画像処理方法。
【請求項１０】
コンピュータに、
所定の記憶手段に記憶されている３Dコンテンツに対するユーザの視聴状況を表す情報を取得し、予め設定された３Dコンテンツの視聴状況に応じた保存基準に基づいて、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ削減レベルを決定する視聴状況解析手段と、
決定された前記データ削減レベルに従って、前記記憶手段に記憶されている３Dコンテンツのコンテンツデータのデータ圧縮を行うデータ変換手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−１５１７２１（Ｐ２０１１−１５１７２１Ａ）
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願番号】特願２０１０−１３１３２（Ｐ２０１０−１３１３２）
【出願日】平成２２年１月２５日（２０１０．１．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願日】平成２２年１月２５日（２０１０．１．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]