画像処理装置、画像処理方法、およびプログラム
【課題】裸眼式表示装置で表示される画像の表示方法をユーザに応じて変更することができるようにする。
【解決手段】生成部は、ユーザからの入力に基づいて、所定の視点の画像を、２以上の視点の画像を視点ごとに異なる方向に向けて表示する３Ｄ画像表示部における２以上の視点に割り当てる。駆動処理部は、その割り当てに基づいて、所定の視点の画像を３Ｄ画像表示部に表示させる。本技術は、例えば、３Ｄ画像の画像処理装置に適用することができる。
【解決手段】生成部は、ユーザからの入力に基づいて、所定の視点の画像を、２以上の視点の画像を視点ごとに異なる方向に向けて表示する３Ｄ画像表示部における２以上の視点に割り当てる。駆動処理部は、その割り当てに基づいて、所定の視点の画像を３Ｄ画像表示部に表示させる。本技術は、例えば、３Ｄ画像の画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置で表示される画像の表示方法をユーザに応じて変更することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
３Ｄ鑑賞用のメガネを使用せずに３Ｄ画像を鑑賞可能な表示装置（以下、裸眼式表示装置という）は、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置である。裸眼式表示装置では、表示する３Ｄ画像の視点数を増加させることが視聴位置の拡大に有効である。
【０００３】
このような裸眼式表示装置では、鑑賞者に対して、Ｎ視点の画像をＭ通りの異なる方向に独立に提示することが考案されている（例えば、特許文献１参照）。また、裸眼式表示装置では、入力される画像の視点数が、裸眼式表示装置における視点（以下、表示視点という）の数に満たない場合、入力される画像に対して新たな視点の画像を生成する視点画像生成処理を行う必要がある。視点画像生成処理に関しては、生成画像の品位を向上する方法や、処理コストを削減する方法などが提案されている（特許文献２乃至４参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０１４８９１号公報
【特許文献２】特開２００５−１５１５３４号公報
【特許文献３】特開２００５−２５２４５９号公報
【特許文献４】特開２００９−２５８７２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来の裸眼式表示装置では、表示視点に対応する画像の視点が固定されている。即ち、従来の裸眼式表示装置では、３Ｄ画像の表示方法が予め決められている。従って、ユーザに応じて、３Ｄ画像の表示方法を変化させることはできなかった。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、裸眼式表示装置で表示される画像の表示方法をユーザに応じて変更することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の画像処理装置は、ユーザからの入力に基づいて、所定の視点の画像を、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置における前記２以上の視点に割り当てる割り当て部と、前記割り当て部による割り当てに基づいて、前記所定の視点の画像を前記表示装置に表示させる表示制御部とを備える画像処理装置である。
【０００８】
本技術の一側面の画像処理方法およびプログラムは、本技術の一側面の画像処理装置に対応する。
【０００９】
本技術の一側面においては、ユーザからの入力に基づいて、所定の視点の画像が、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置における前記２以上の視点に割り当てられ、その割り当てに基づいて、前記所定の視点の画像が前記表示装置に表示される。
【発明の効果】
【００１０】
本技術の一側面によれば、裸眼式表示装置で表示される画像の表示方法をユーザに応じて変更することができる。
【図面の簡単な説明】
【００１１】
【図１】本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の画像信号処理部の第１の詳細構成例を示すブロック図である。
【図３】Ｍ視点画像生成部の第１の詳細構成例を示すブロック図である。
【図４】Ｍ視点画像生成部の第２の詳細構成例を示すブロック図である。
【図５】Ｍ視点画像生成部の第３の詳細構成例を示すブロック図である。
【図６】Ｍ視点画像生成部の第４の詳細構成例を示すブロック図である。
【図７】Ｍ視点画像の例を示す図である。
【図８】表示視点情報の構成例を示す図である。
【図９】表示視点情報の記述例を示す図である。
【図１０】表示視点情報の記述例を示す図である。
【図１１】表示視点情報の記述例を示す図である。
【図１２】表示視点情報の記述例を示す図である。
【図１３】図９の表示視点情報に基づいて表示された表示画像と視聴位置の関係を説明する図である。
【図１４】図１１の表示視点情報に基づいて表示された表示画像と視聴位置の関係を説明する図である。
【図１５】図１の画像処理装置の画像処理を説明するフローチャートである。
【図１６】図２の画像信号処理部の表示視点情報生成処理を説明するフローチャートである。
【図１７】図１の画像信号処理部の第２の詳細構成例を示すブロック図である。
【図１８】図１の画像信号処理部の第３の詳細構成例を示すブロック図である。
【図１９】図１８の画像信号処理部の表示視点情報生成処理を説明するフローチャートである。
【図２０】図１の画像信号処理部の第４の詳細構成例を示すブロック図である。
【図２１】図１の画像信号処理部の第５の詳細構成例を示すブロック図である。
【図２２】図２１の画像処理部を備える画像処理装置の画像処理を説明するフローチャートである。
【図２３】図２１の画像信号処理部の表示視点情報生成処理を説明するフローチャートである。
【図２４】図１の画像信号処理部の第６の詳細構成例を示すブロック図である。
【図２５】図２４の画像信号処理部の表示視点情報生成処理を説明するフローチャートである。
【図２６】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００１２】
＜一実施の形態＞
［画像処理装置の一実施の形態の構成例］
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００１３】
図１の画像処理装置１０は、画像受像部１１、画像信号処理部１２、および３Ｄ画像表示部１３により構成され、画像を表示する。
【００１４】
画像処理装置１０の画像受像部１１は、外部から入力された入力画像のアナログ信号を受け取る。画像受像部１１は、受け取られた入力画像に対してA/D変換を行い、その結果得られる入力画像のデジタル信号を画像信号処理部１２に供給する。以下では、適宜、入力画像のデジタル信号を、単に入力画像という。
【００１５】
画像信号処理部１２は、画像受像部１１から供給される入力画像に対して所定の画像処理等を行い、３Ｄ画像表示部１３の表示視点であるＭ視点（Ｍは２以上の自然数）の画像を表示画像として生成する。画像信号処理部１２は、生成された表示画像を３Ｄ画像表示部１３に供給する。
【００１６】
３Ｄ画像表示部１３は、パララックスバリア方式やレンチキュラー方式に代表される、Ｍ視点の３Ｄ画像を表示することが可能な裸眼式表示装置である。３Ｄ画像表示部１３は、画像信号処理部１２から供給される表示画像を表示する。
【００１７】
［画像信号処理部の第１の詳細構成例］
図２は、図１の画像信号処理部１２の第１の詳細構成例を示すブロック図である。
【００１８】
図２の画像信号処理部１２は、画像変換部２１、Ｍ視点画像生成部２２、表示視点選択部２３、駆動処理部２４、入力部２５、および生成部２６により構成される。
【００１９】
画像信号処理部１２の画像変換部２１は、図１の画像受像部１１から供給される入力画像に対して、解凍処理、３Ｄ画像表示部１３に対応する解像度への解像度変換処理、色変換処理、ノイズリダクション処理等の所定の画像処理を行う。画像変換部２１は、画像処理後の入力画像をＭ視点画像生成部２２に供給する。
【００２０】
Ｍ視点画像生成部２２は、画像変換部２１から供給される入力画像の視点数がＭより少ない場合、入力画像に対して補間処理などを行うことによりＭ視点の画像を生成する。Ｍ視点画像生成部２２は、生成されたＭ視点の画像、または、Ｍ視点の入力画像を、Ｍ視点画像として表示視点選択部２３に供給する。
【００２１】
表示視点選択部２３は、生成部２６から供給される表示視点情報に基づいて、各表示視点の画像を、その表示視点に対応する、Ｍ視点画像生成部２２から供給されるＭ視点画像のうちの所定の視点の画像とした表示画像を生成し、駆動処理部２４に供給する。なお、表示視点情報とは、３Ｄ画像表示部１３の各表示視点に割り当てる、Ｍ視点画像のうちの所定の視点の画像を表す情報である。
【００２２】
駆動処理部２４は、表示視点選択部２３から供給される表示画像に対して、３Ｄ画像表示部１３のインタフェースに対応するフォーマットへの変換等を行う。駆動処理部２４は、表示制御部として機能し、その結果得られる表示画像を３Ｄ画像表示部１３に供給して表示させる。
【００２３】
入力部２５は、コントローラなどにより構成される。入力部２５は、ユーザによる操作の入力を受け付け、その操作に対応する情報を生成部２６に供給する。
【００２４】
生成部２６は、割り当て部として機能し、入力部２５から供給される情報に基づいて、表示視点情報を生成することにより、Ｍ視点画像のうちの所定の視点の画像を、３Ｄ画像表示部１３の各表示視点に割り当てる。生成部２６は、生成された表示視点情報を保持する。生成部２６は、保持している表示視点情報を表示視点選択部２３に供給する。
【００２５】
［Ｍ視点画像生成部の詳細構成例］
図３は、入力画像が１視点の画像である場合のＭ視点画像生成部２２の第１の詳細構成例を示すブロック図である。
【００２６】
図３のＭ視点画像生成部２２は、２Ｄ/３Ｄ変換部４１と２視点/Ｍ視点変換部４２により構成される。
【００２７】
Ｍ視点画像生成部２２の２Ｄ/３Ｄ変換部４１は、図２の画像変換部２１から供給される入力画像に対して、所定の距離だけ水平方向にシフトすることにより、新たな１視点の画像を生成する補間処理を行う。２Ｄ/３Ｄ変換部４１は、生成された１視点の画像と入力画像を２視点画像として２視点/Ｍ視点変換部４２に供給する。
【００２８】
２視点/Ｍ視点変換部４２は、２Ｄ/３Ｄ変換部４１から供給される２視点画像のうちのいずれか一方に対して、生成する（Ｍ−２）視点の画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、（Ｍ−２）視点の画像を生成する補間処理を行う。２視点/Ｍ視点変換部４２は、生成された（Ｍ−２）視点の画像と２視点画像を図２の表示視点選択部２３に供給する。
【００２９】
図４は、入力画像が１視点の画像である場合のＭ視点画像生成部２２の第２の詳細構成例を示すブロック図である。
【００３０】
図４のＭ視点画像生成部２２は、１視点/Ｍ視点変換部５１により構成される。
【００３１】
Ｍ視点画像生成部２２の１視点/Ｍ視点変換部５１は、図２の画像変換部２１から供給される入力画像に対して、生成する（Ｍ−１）視点の画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、（Ｍ−１）視点の画像を生成する補間処理を行う。１視点/Ｍ視点変換部５１は、生成された（Ｍ−１）視点の画像と入力画像をＭ視点画像として、図２の表示視点選択部２３に供給する。
【００３２】
図５は、入力画像が２視点の画像である場合のＭ視点画像生成部２２の詳細構成例を示すブロック図である。
【００３３】
図５のＭ視点画像生成部２２は、２視点/Ｍ視点変換部６１により構成される。
【００３４】
Ｍ視点画像生成部２２の２視点/Ｍ視点変換部６１は、図２の画像変換部２１から供給される入力画像である２視点の画像のうちのいずれか一方の視点の画像に対して、（Ｍ−２）視点の画像を生成する補間処理を行う。具体的には、２視点/Ｍ視点変換部６１は、入力画像である２視点の画像のうちのいずれか一方の視点の画像を、生成する（Ｍ−２）視点の画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトする。２視点/Ｍ視点変換部６１は、これにより生成された（Ｍ−２）視点の画像と入力画像をＭ視点画像として、図２の表示視点選択部２３に供給する。
【００３５】
図６は、入力画像がＮ視点（ＮはＭより小さい自然数）の画像である場合のＭ視点画像生成部２２の詳細構成例を示すブロック図である。
【００３６】
図６のＭ視点画像生成部２２は、Ｎ視点/Ｍ視点変換部７１により構成される。
【００３７】
Ｍ視点画像生成部２２のＮ視点/Ｍ視点変換部７１は、図２の画像変換部２１から供給される入力画像であるＮ視点の画像のいずれか１つの視点の画像に対して、（Ｍ−Ｎ）視点の画像を生成する補間処理を行う。具体的には、Ｎ視点/Ｍ視点変換部７１は、入力画像であるＮ視点の画像のいずれか１つの視点の画像を、生成する（Ｍ−Ｎ）視点の画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトする。Ｎ視点/Ｍ視点変換部７１は、これにより生成された（Ｍ−Ｎ）視点の画像と入力画像をＭ視点画像として、図２の表示視点選択部２３に供給する。
【００３８】
［Ｍ視点画像の例］
図７は、Ｍ視点画像生成部２２で生成されるＭ視点画像の例を示す図である。
【００３９】
なお、図７では、ｉ番目の視点の画像を視点画像＃ｉと表している。
【００４０】
図７に示すように、Ｍ視点画像は、視点の異なるＭ個の視点画像＃１乃至視点画像＃Ｍからなる。
【００４１】
［表示視点情報の構成例］
図８は、表示視点情報の構成例を示す図である。
【００４２】
図８に示すように、表示視点情報は、３Ｄ画像表示部１３の各表示視点と、その表示視点に割り当てる画像を指定する画像指定情報とを対応付けた情報である。なお、図８では、ｉ番目の表示視点を表示視点＃iと表している。
【００４３】
図９乃至図１２は、表示視点情報の記述例を示す図である。
【００４４】
なお、図９乃至図１２では、表示視点数Ｍが９である。また、画像視点＃ｉとは、９視点画像の９視点のうちのｉ番目の視点に付与されたＩＤである。なお、視点に付与されるＩＤは、隣り合う視点どうしのＩＤが連続するように設定されている。即ち、画像視点＃１乃至＃９の視点は、順に並んでいる。
【００４５】
図９の表示視点情報では、表示視点＃１乃至表示視点＃９のそれぞれに、画像視点情報として画像視点＃１乃画像視点＃９が対応付けられている。従って、図９の表示視点情報に基づいて表示画像が生成される場合、９視点画像の各視点の画像が、各表示視点の画像として表示される。これにより、ユーザは、９視点画像のうちの、視聴位置から鑑賞可能な２視点の画像により、３Ｄ鑑賞用のメガネを使用せずに３Ｄ画像を鑑賞することができる。また、ユーザが移動することにより視聴位置が変化する場合であっても、滑らかに３Ｄ画像の視点が切り替えられ、運動視差を得ることができる。
【００４６】
図１０の表示視点情報では、全ての表示視点＃１乃至表示視点＃９に、画像視点情報として画像視点＃５が対応付けられている。従って、図１０の表示視点情報に基づいて表示画像が生成される場合、９視点画像のうちの画像視点＃５の視点の画像が、全ての表示視点の画像として表示される。これにより、ユーザは、視差のない２Ｄ画像を鑑賞することができる。
【００４７】
図１１の表示視点情報では、連続する３つの表示視点である表示視点＃１乃至表示視点＃３、表示視点＃４乃至表示視点＃６、および表示視点＃７乃至表示視点＃９のそれぞれに、画像視点情報として画像視点＃２乃至画像視点＃４が対応付けられている。従って、図１１の表示視点情報に基づいて表示画像が生成される場合、９視点画像のうちの画像視点＃２乃至画像視点＃４の視点の画像が、表示視点＃１乃至表示視点＃３、表示視点＃４乃至表示視点＃６、および表示視点＃７乃至表示視点＃９の画像として表示される。
【００４８】
これにより、表示視点＃１乃至表示視点＃３、表示視点＃４乃至表示視点＃６、および表示視点＃７乃至表示視点＃９のそれぞれに対応する３つの視聴位置から、同一の指向性の３Ｄ画像を鑑賞することができる。例えば、表示視点＃１と表示視点＃２の画像を鑑賞可能な視聴位置、表示視点＃４と表示視点＃５の画像を鑑賞可能な視聴位置、および表示視点＃７と表示視点＃８の画像を鑑賞可能な視聴位置で、同一の３Ｄ画像を鑑賞することができる。
【００４９】
図１２の表示視点情報では、表示視点＃１と表示視点＃４に、画像指定情報として予め決められている所定の画像（例えば、黒画など）を指定するための「固定」が対応付けられている。また、ユーザの左右の目の間隔に対応する、例えば連続する２つの表示視点である表示視点＃２と表示視点＃３には、画像視点情報として、比較的間隔の長い視点どうしの画像視点＃１と画像視点＃９が対応付けられている。さらに、表示視点＃５乃至表示視点＃９のうちの連続する２つの表示視点どうしには、画像視点情報として、比較的間隔の短い、例えば１つおきの視点のＩＤが対応付けられている。具体的には、表示視点＃５乃至表示視点＃９には、それぞれ、画像視点情報として、画像視点＃１、画像視点＃３、画像視点＃５、画像視点＃７、画像視点＃９が対応付けられている。
【００５０】
これにより、ユーザは、視聴位置に応じて奥行き感の異なる３Ｄ画像を鑑賞することができる。例えば、ユーザは、表示視点＃２と表示視点＃３の画像を鑑賞可能な視聴位置において、表示視点＃５乃至表示視点＃９のうちの隣り合う視点どうしの画像を鑑賞可能な視聴位置で鑑賞する場合に比べて奥行き感の強い３Ｄ画像を鑑賞することができる。
【００５１】
また、Ｍ視点画像生成部２２が内挿によりＭ視点画像を生成し、Ｍが比較的大きい場合であっても、ユーザは、奥行き感の強い３Ｄ画像を鑑賞することができる。具体的には、Ｍ視点画像生成部２２が内挿によりＭ視点画像を生成する場合、外挿によりＭ視点画像を生成する場合に比べて、容易にＭ視点画像を生成することができるが、Ｍが大きいほど、視点間の距離が短くなる。従って、図８の表示視点情報のように、各表示視点に順にＭ視点画像の各視点が割り当てられる場合、ユーザの左右の目の間隔に対応する２つの表示視点に割り当てられる画像の視点間の距離が短くなり、ユーザが鑑賞する３Ｄ画像の奥行き感が弱くなる。しかしながら、図１２の表示視点情報では、隣り合う表示視点に割り当てられるＭ視点画像の視点が隣り合わないので、Ｍが大きい場合であっても、ユーザに鑑賞される３Ｄ画像の奥行き感を強くすることができる。
【００５２】
なお、表示視点に割り当てられる画像としては、Ｍ視点画像のうちのいずれか１つや予め決められている所定の画像だけでなく、Ｍ視点画像のうちの複数の視点の画像（例えば、近隣に表示される複数の視点の画像）をアルファブレンドした画像等であってもよい。
【００５３】
[表示画像と視聴位置の関係の説明]
図１３は、図９の表示視点情報に基づいて表示された表示画像と視聴位置の関係を説明する図である。
【００５４】
図１３に示すように、図９の表示視点情報に基づいて表示画像が表示される場合、所定の視聴位置Ａから鑑賞するユーザと、視聴位置Ａとは異なる視聴位置Ｂから鑑賞するユーザは、異なる２視点の画像からなる３Ｄ画像を鑑賞する。即ち、視聴位置Ａから鑑賞される表示画像と、視聴位置Ｂから鑑賞される表示画像の指向性は異なっている。
【００５５】
図１４は、図１１の表示視点情報に基づいて表示された表示画像と視聴位置の関係を説明する図である。
【００５６】
図１４に示すように、図１１の表示視点情報に基づいて表示画像が表示される場合、所定の視聴位置Ａから鑑賞するユーザと、視聴位置Ａとは異なる視聴位置Ｂから鑑賞するユーザは、同一の指向性を有する表示画像を鑑賞する。なお、図１４の例では、視聴位置Ａと視聴位置Ｂは、それぞれ、表示視点＃１乃至表示視点＃３、表示視点＃４乃至表示視点＃６、および表示視点＃７乃至表示視点＃９のいずれか１つに対応する位置である。
【００５７】
[画像処理装置の処理の説明]
図１５は、図１の画像処理装置１０の画像処理を説明するフローチャートである。この画像処理は、例えば、画像処理装置１０に入力画像のアナログ信号が入力されたとき開始される。
【００５８】
図１５のステップＳ１１において、画像処理装置１０の画像受像部１１は、外部から入力された入力画像のアナログ信号を受け取る。
【００５９】
ステップＳ１２において、画像受像部１１は、受け取られた入力画像のアナログ信号に対してA/D変換を行い、その結果得られる入力画像のデジタル信号を画像信号処理部１２に供給する。
【００６０】
ステップＳ１３において、画像信号処理部１２の画像変換部２１は、画像受像部１１から供給される入力画像に対して、解凍処理、３Ｄ画像表示部１３に対応する解像度への解像度変換処理、色変換処理、ノイズリダクション処理等の所定の画像処理を行う。画像変換部２１は、画像処理後の入力画像をＭ視点画像生成部２２に供給する。
【００６１】
ステップＳ１４において、Ｍ視点画像生成部２２は、画像変換部２１から供給される入力画像に対して補間処理等を行うことによりＭ視点画像を生成し、表示視点選択部２３に供給する。
【００６２】
ステップＳ１５において、表示視点選択部２３は、生成部２６から供給される表示視点情報に基づいて、各表示視点の画像を、その表示視点に対応する、Ｍ視点画像生成部２２から供給されるＭ視点画像のうちの所定の視点の画像とした表示画像を生成する。そして、表示視点選択部２３は、表示画像を駆動処理部２４に供給する。
【００６３】
ステップＳ１６において、駆動処理部２４は、表示視点選択部２３から供給される表示画像に対して、３Ｄ画像表示部１３のインタフェースに対応するフォーマットへの変換等を行う。
【００６４】
ステップＳ１７において、駆動処理部２４は、ステップＳ１６の処理の結果得られる表示画像を３Ｄ画像表示部１３に供給して表示させる。そして、処理は終了する。
【００６５】
図１６は、図２の画像信号処理部１２の表示視点情報生成処理を説明するフローチャートである。この表示視点情報生成処理は、例えば、ユーザが入力部２５を操作して表示視点情報の生成を指令したとき、開始される。
【００６６】
図１６のステップＳ３１において、入力部２５は、ユーザから３Ｄ画像表示部１３の表示視点であるＭ視点のいずれかに対応する画像指定情報が入力されたかどうかを判定する。具体的には、入力部２５は、ユーザによるＭ視点のいずれかに対応する画像指定情報を入力するための操作を受け付けたかどうかを判定する。
【００６７】
ステップＳ３１でユーザから表示視点であるＭ視点のいずれかに対応する画像指定情報がまだ入力されていないと判定された場合、入力部２５は、その画像指定情報が入力されるまで待機する。
【００６８】
一方、ステップＳ３１でユーザから表示視点であるＭ視点のいずれかに対応する画像指定情報が入力されたと判定された場合、入力部２５は、その表示視点と画像指定情報を生成部２６に供給する。
【００６９】
そして、ステップＳ３２において、生成部２６は、入力部２５から供給される表示視点と画像指定情報を対応付けて記述する。
【００７０】
ステップＳ３３において、生成部２６は、３Ｄ画像表示部１３の全ての表示視点に対応付けて画像指定情報が記述されたかどうかを判定する。ステップＳ３３でまだ３Ｄ画像表示部１３の全ての表示視点に対応付けて画像指定情報が記述されていないと判定された場合、処理はステップＳ３１に戻り、以降の処理が繰り返される。
【００７１】
一方、ステップＳ３３で３Ｄ画像表示部１３の全ての表示視点に対応付けて画像指定情報が記述されたと判定された場合、生成部２６は、全ての表示視点と、それに対応付けて記述された画像視点情報を表示視点情報として保持する。そして、生成部２６は、その表示視点情報を表示視点選択部２３に供給し、処理を終了する。
【００７２】
以上のように、画像処理装置１０は、ユーザからの入力に基づいて表示視点情報を生成し、その表示視点情報に基づいて表示画像を表示させるので、ユーザに応じて、表示画像の表示方法を変更することができる。
【００７３】
その結果、例えば、ユーザは、図９の表示視点情報を生成させるための操作を行うことにより、視聴位置に応じて指向性の異なる３Ｄ画像を鑑賞したり、図１０の表示視点情報を生成させるための操作を行うことにより、２Ｄ画像を鑑賞したりすることができる。また、ユーザは、図１１の表示視点情報を生成させるための操作を行うことにより、異なる視聴位置から同一の指向性の３Ｄ画像を鑑賞することができる。また、ユーザは、図１２の表示視点情報を生成させるための操作を行うことにより、視聴位置に応じて奥行き感の異なる３Ｄ画像を鑑賞することができる。即ち、ユーザは、視聴形態などを選択したり、視聴位置による３Ｄ画像の指向性や奥行き感の変化などを調整したりすることができる。
【００７４】
［画像信号処理部の第２の詳細構成例］
図１７は、図１の画像信号処理部１２の第２の詳細構成例を示すブロック図である。
【００７５】
図１７に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００７６】
図１７の画像信号処理部１２の構成は、主に、Ｍ視点画像生成部２２の代わりにＭ視点画像生成部９１が設けられている点が図２の構成と異なる。図１７の画像信号処理部１２は、Ｍ視点画像の代わりに、表示視点情報の画像指定情報で指定される視点の画像のみを生成する。
【００７７】
具体的には、図１７の画像信号処理部１２のＭ視点画像生成部９１は、生成部２６により生成される表示視点情報に基づいて、画像変換部２１から供給される入力画像に対して補間処理などを行い、表示視点情報の画像指定情報で指定される視点の画像を生成する。そして、Ｍ視点画像生成部９１は、生成された画像を表示視点選択部２３に供給する。但し、入力画像が表示視点情報の画像指定情報で指定される視点の画像である場合、Ｍ視点画像生成部９１は、入力画像をそのまま表示視点選択部２３に供給する。
【００７８】
以上のように、図１７の画像信号処理部１２は、表示画像に用いられる、表示視点情報の画像指定情報で指定される視点の画像だけを生成するので、図２の画像信号処理部１２に比べて、処理コストを削減することができる。
【００７９】
[画像信号処理部の第３の構成例]
図１８は、図１の画像信号処理部１２の第３の詳細構成例を示すブロック図である。
【００８０】
図１８に示す構成のうち、図１７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００８１】
図１８の画像信号処理部１２の構成は、主に、入力部２５、生成部２６の代わりに入力部１０１、生成部１０２が設けられている点が図１７の構成と異なる。図１８の画像信号処理部１２は、ユーザの視聴位置を表す視聴位置情報と、視聴形態の嗜好、視聴位置による３Ｄ画像の指向性や奥行き感の変化の嗜好などの視聴に関する嗜好を表す嗜好情報とに基づいて、表示画像を表示させる。
【００８２】
具体的には、図１８の画像信号処理部１２の入力部１０１は、入力部２５と同様に、コントローラなどにより構成される。入力部１０１は、ユーザによる視聴位置情報を入力するための操作、嗜好情報を入力するための操作などの入力を受け付ける。そして、入力部１０１は、その操作に対応する視聴位置情報と嗜好情報を生成部１０２に供給する。なお、視聴位置情報は、視聴位置そのものを表す情報ではなく、視聴位置から鑑賞可能な画像に対応する表示視点を表す情報であってもよい。
【００８３】
生成部１０２は、入力部１０１から供給される視聴位置情報と嗜好情報に基づいて、表示視点情報を生成し、保持する。具体的には、生成部１０２は、嗜好情報が視聴形態の嗜好として３Ｄ画像の通常の視聴形態を表す場合、図９に示したような表示視点情報を生成し、保持する。また、生成部１０２は、例えば、嗜好情報が視聴形態の嗜好として２Ｄ画像の視聴形態を表し、視聴位置情報に対応する表示視点が表示視点＃４および表示視点＃５である場合、図１０に示した表示視点情報を生成し、保持する。
【００８４】
また、生成部１０２は、例えば、嗜好情報が、視聴位置による３Ｄ画像の指向性の変化の無しを嗜好として表し、視聴位置情報に対応する表示視点が表示視点＃４および表示視点＃５である場合、図１１に示した表示視点情報を生成し、保持する。さらに、生成部１０２は、例えば、嗜好情報が、視聴位置による３Ｄ画像の奥行き感の変化の有りを嗜好として表し、視聴位置情報に対応する表示視点が表示視点＃２および表示視点＃３である場合、図１２に示した表示視点情報を生成し、保持する。
【００８５】
また、生成部１０２は、例えば、嗜好情報が視聴形態の嗜好として現在の視聴位置においてのみ３Ｄ画像を視聴可能な視聴形態を表す場合、以下のように表示視点情報を生成し、保持する。即ち、生成部１０２は、視聴位置情報に対応する表示視点に所定の２視点の画像の画像指定情報が対応付けられ、その表示視点以外の表示視点に画像指定情報として「固定」が対応付けられた表示視点情報を生成し、保持する。これにより、Ｍ視点画像生成部９１は、２視点の画像を生成するだけで済むので、Ｍ視点画像生成部９１の処理コストを削減することができる。
【００８６】
生成部１０２は、保持している表示視点情報をＭ視点画像生成部９１と表示視点選択部２３に供給する。
【００８７】
なお、入力部１０１は、複数のユーザによる操作を受け付けるようにしてもよい。この場合、全てのユーザの視聴位置情報と嗜好情報に対応する表示視点情報が生成できないときや、あるユーザの視聴位置情報と嗜好情報に対応する表示視点情報に基づく表示が他のユーザに害を与えるときには、例えば、図９の表示視点情報や図１０の表示視点情報が生成される。
【００８８】
[他の表示視点情報生成処理の説明]
図１９は、図１８の画像信号処理部１２の表示視点情報生成処理を説明するフローチャートである。この表示視点情報生成処理は、例えば、ユーザが入力部１０１を操作して表示視点情報の生成を指令したとき、開始される。
【００８９】
図１９のステップＳ５１において、画像信号処理部１２の入力部１０１は、ユーザにより視聴位置情報を入力するための操作が行われたかどうかを判定する。ステップＳ５１で視聴位置情報を入力するための操作が行われていないと判定された場合、入力部１０１は、視聴位置情報を入力するための操作が行われるまで待機する。
【００９０】
一方、ステップＳ５１で視聴位置情報を入力するための操作が行われたと判定された場合、入力部１０１は、その操作を受け付け、視聴位置情報を生成部１０２に供給する。そして、ステップＳ５２において、入力部１０１は、ユーザにより嗜好情報を入力するための操作が行われたかどうかを判定する。ステップＳ５２で嗜好情報を入力するための操作が行われていないと判定された場合、入力部１０１は、嗜好情報を入力するための操作が行われるまで待機する。
【００９１】
一方、ステップＳ５２で嗜好情報を入力するための操作が行われたと判定された場合、入力部１０１は、その操作を受け付け、嗜好情報を生成部１０２に供給する。
【００９２】
そして、ステップＳ５３において、生成部１０２は、入力部１０１から供給される視聴位置情報と嗜好情報に基づいて、表示視点情報を生成し、保持する。生成部１０２は、保持している表示視点情報をＭ視点画像生成部９１と表示視点選択部２３に供給し、処理を終了する。
【００９３】
[画像信号処理部の第４の構成例]
図２０は、図１の画像信号処理部１２の第４の詳細構成例を示すブロック図である。
【００９４】
図２０に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００９５】
図２０の画像信号処理部１２の構成は、主に、入力部１０１の代わりに入力部１１１が設けられている点、および、視聴位置検出部１１２が新たに設けられている点が図１８の構成と異なる。図２０の画像信号処理部１２は、視聴位置情報を検出する。
【００９６】
具体的には、画像信号処理部１２の入力部１１１は、入力部２５と同様に、コントローラなどにより構成される。入力部１１１は、ユーザによる嗜好情報を入力するための操作などの入力を受け付ける。そして、入力部１１１は、その操作に対応する嗜好情報を生成部１０２に供給する。
【００９７】
視聴位置検出部１１２は、例えば、ステレオカメラや赤外線センサなどにより構成される。視聴位置検出部１１２は、ユーザの視聴位置を検出し、その視聴位置を表す視聴位置情報を生成部１０２に供給する。
【００９８】
なお、図２０の画像信号処理部１２では、入力部１１１が、ユーザによる視聴位置情報を入力するための操作を受け付け、生成部１０２は、その視聴位置情報と視聴位置検出部１１２からの視聴位置情報のいずれかを表示視点情報の生成に用いるようにしてもよい。
【００９９】
[画像信号処理部の第５の構成例]
図２１は、図１の画像信号処理部１２の第５の詳細構成例を示すブロック図である。
【０１００】
図２１に示す構成のうち、図２０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０１】
図２１の画像信号処理部１２の構成は、主に、入力部１１１、生成部１０２の代わりに入力部１２１、生成部１２２が設けられている点が図２０の構成と異なる。図２１の画像信号処理部１２は、ユーザによる３Ｄメニュー画像などの３Ｄグラフィックス画像を表示するための操作に応じて、入力画像のみを表示視点に割り当てる。
【０１０２】
具体的には、画像信号処理部１２の入力部１２１は、入力部２５と同様に、コントローラなどにより構成される。入力部１２１は、ユーザによる嗜好情報を入力するための操作、３Ｄグラフィックス画像を表示するための操作などを受け付ける。
【０１０３】
入力部１２１は、入力部１１１と同様に、嗜好情報を入力するための操作に対応する嗜好情報を生成部１２２に供給する。また、入力部１２１は、３Ｄグラフィックス画像を表示するための操作に応じて、入力画像のみの表示視点への割り当てを生成部１２２に指令する。
【０１０４】
生成部１２２は、入力部１２１から供給される嗜好情報と、視聴位置検出部１１２から供給される視聴位置情報に基づいて、表示視点情報を生成し、保持する。また、生成部１２２は、入力部１２１から供給される入力画像のみの表示視点への割り当ての指令に応じて、入力画像の画像指定情報を各表示視点に対応付けた表示視点情報を生成し、保持する。生成部１２２は、保持されている表示視点情報を表示視点選択部２３とＭ視点画像生成部９１に供給する。これにより、ユーザにより３Ｄグラフィックス画像を表示するための操作が行われた場合、Ｍ視点画像生成部９１は、入力画像をそのまま表示視点選択部２３に供給する。
【０１０５】
[他の画像処理の説明]
図２２は、図２１の画像信号処理部１２を備える画像処理装置１０の画像処理を説明するフローチャートである。この画像処理は、例えば、画像処理装置１０に入力画像のアナログ信号が入力されたとき開始される。
【０１０６】
図２２のステップＳ７１乃至Ｓ７３の処理は、図１５のステップＳ１１乃至Ｓ１３の処理と同様であるので、説明は省略する。
【０１０７】
ステップＳ７４において、図２１のＭ視点画像生成部９１は、生成部１２２により生成される表示視点情報に基づいて、画像変換部２１から供給される入力画像に対して補間処理などを行い、表示視点情報の画像指定情報で指定される視点の画像を生成する。そして、Ｍ視点画像生成部９１は、生成された画像を表示視点選択部２３に供給する。
【０１０８】
なお、ユーザにより３Ｄグラフィックス画像を表示するための操作が行われた場合、表示視点情報の画像指定情報で指定される視点の画像は入力画像であるので、ステップＳ７４の処理では、入力画像がそのまま表示視点選択部２３に供給される。
【０１０９】
ステップＳ７５乃至Ｓ７７の処理は、図１５のＳ１５乃至Ｓ１７の処理と同様であるので、説明は省略する。
【０１１０】
図２３は、図２１の画像信号処理部１２の表示視点情報生成処理を説明するフローチャートである。
【０１１１】
図２３のステップＳ９１において、入力部１２１は、ユーザにより３Ｄグラフィックス画像を表示するための操作が行われたかどうかを判定する。ステップＳ９１でユーザにより３Ｄグラフィックス画像を表示するための操作が行われていないと判定された場合、処理はステップＳ９２に進む。
【０１１２】
ステップＳ９２において、入力部１２１は、ユーザにより嗜好情報を入力するための操作が行われたかどうかを判定する。ステップＳ９２で嗜好情報を入力するための操作が行われていないと判定された場合、処理はステップＳ９１に戻る。
【０１１３】
一方、ステップＳ９２で嗜好情報を入力するための操作が行われたと判定された場合、入力部１２１は、その操作を受け付け、嗜好情報を生成部１２２に供給する。そして、ステップＳ９３において、視聴位置検出部１１２は、ユーザの視聴位置を検出し、その視聴位置を表す視聴位置情報を生成部１２２に供給する。
【０１１４】
ステップＳ９４において、生成部１２２は、入力部１２１から供給される嗜好情報と、視聴位置検出部１１２から供給される視聴位置情報とに基づいて、表示視点情報を生成し、保持する。生成部１２２は、保持している表示視点情報をＭ視点画像生成部９１と表示視点選択部２３に供給し、処理を終了する。
【０１１５】
一方、ステップＳ９１でユーザにより３Ｄグラフィックス画像を表示するための操作が行われたと判定された場合、処理はステップＳ９５に進む。ステップＳ９５において、生成部１２２は、入力画像の画像指定情報を各表示視点に対応付けた表示視点情報を生成し、保持する。生成部１２２は、保持している表示視点情報をＭ視点画像生成部９１と表示視点選択部２３に供給し、処理を終了する。
【０１１６】
以上のように、図２１の画像信号処理部１２は、ユーザにより３Ｄグラフィックス画像を表示するための操作が行われた場合、即ち、入力画像が３Ｄグラフィックス画像である場合、入力画像のみを表示視点に割り当てるので、表示画像の画質を向上させることができる。
【０１１７】
具体的には、３Ｄグラフィックス画像は、パターンが幾何学的であり、輝度や色の変化が急峻である。従って、３Ｄグラフィックス画像の視点数が補間処理等により増加される場合、補間処理後の３Ｄグラフィックス画像において、補間処理時に発生するオクルージョン領域（詳細は後述する）などによる画質劣化が人に知覚されやすい。よって、図２１の画像信号処理部１２は、入力画像が３Ｄグラフィックス画像である場合、入力画像のみを表示視点に割り当て、補間処理後の入力画像を表示視点に割り当てないことにより、表示画像の画質を向上させる。なお、オクルージョン領域とは、視点が異なることによって生じる、ある視点の画像には存在するが、他の視点の画像には存在しない領域である。
【０１１８】
なお、図２１の画像信号処理部１２は、ユーザにより３Ｄグラフィックス画像を表示するための操作が行われた場合に、入力画像のみを表示視点に割り当てたが、Ｍ視点画像生成部９１で生成される画像の誤差値が所定値より大きい場合に、入力画像のみを表示視点に割り当てるようにしてもよい。
【０１１９】
[画像信号処理部の第６の構成例]
図２４は、図１の画像信号処理部１２の第６の詳細構成例を示すブロック図である。
【０１２０】
図２４に示す構成のうち、図２０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１２１】
図２４の画像信号処理部１２の構成は、主に、生成部１０２、Ｍ視点画像生成部９１の代わりに生成部１３１、Ｍ視点画像生成部１３２が設けられている点が図２０の構成と異なる。図２４の画像信号処理部１２は、視聴位置情報と嗜好情報だけでなく、Ｍ視点画像の視差画像にも基づいて、表示視点情報を生成する。なお、視差画像は、Disparity Mapとも呼ばれ、対応する視点の画像の各画素と、その画素に対応する、基点となる視点の画像の画素の画面上の位置の水平方向の距離を表す視差値からなる画像である。
【０１２２】
図２４の画像信号処理部１２の生成部１３１は、入力部１１１から供給される嗜好情報、視聴位置検出部１１２から供給される視聴位置情報、およびＭ視点画像生成部１３２から供給されるＭ視点画像の視差画像に基づいて、表示視点情報を生成し、保持する。
【０１２３】
具体的には、生成部１３１は、まず、例えば、嗜好情報と視聴位置情報に基づいて表示視点情報を生成する。そして、生成部１３１は、視聴位置に対応する２つの表示視点に割り当てられた画像の視差画像に基づいて、その画像から構成される３Ｄ画像の奥行き方向の位置の最小値と最大値の差分が所定値より小さいかどうかを判定する。その差分が所定値より小さいと判定された場合、生成部１３１は、Ｍ視点画像の視差画像に基づいて、その差分が所定値以上になるように、視聴位置に対応する２つの表示視点に割り当てる画像を変更する。生成部１３１は、保持されている表示視点情報を表示視点選択部２３に供給する。
【０１２４】
Ｍ視点画像生成部１３２は、画像変換部２１から供給される入力画像に対して補間処理等を行い、Ｍ視点画像を生成するとともに、Ｍ視点画像の視差画像を生成する。Ｍ視点画像生成部１３２は、Ｍ視点画像をＭ視点画像生成部１３２に供給し、Ｍ視点画像の視差画像を生成部１３１に供給する。
【０１２５】
[他の表示視点情報生成処理の説明]
図２５は、図２４の画像信号処理部１２の表示視点情報生成処理を説明するフローチャートである。この表示視点情報生成処理は、例えば、ユーザが入力部１１１を操作して表示視点情報の生成を指令したとき、開始される。
【０１２６】
図２５のステップＳ１１１において、入力部１１１は、ユーザにより嗜好情報を入力するための操作が行われたかどうかを判定する。ステップＳ１１１で嗜好情報を入力するための操作が行われていないと判定された場合、その操作が行われるまで待機する。
【０１２７】
一方、ステップＳ１１１で嗜好情報を入力するための操作が行われたと判定された場合、入力部１１１は、その操作を受け付け、嗜好情報を生成部１３１に供給する。そして、ステップＳ１１２において、視聴位置検出部１１２は、ユーザの視聴位置を検出し、その視聴位置を表す視聴位置情報を生成部１３１に供給する。
【０１２８】
ステップＳ１１３において、生成部１３１は、視聴位置検出部１１２から供給される視聴位置情報と入力部１２１から供給される嗜好情報とに基づいて、表示視点情報を生成し、保持する。生成部１３１は、保持している表示視点情報を表示視点選択部２３に供給する。これにより、Ｍ視点画像生成部１３２は、入力画像からＭ視点画像を生成して表示視点選択部２３に供給するとともに、Ｍ視点画像の視差画像を生成して生成部１３１に供給する。
【０１２９】
ステップＳ１１４において、生成部１３１は、表示視点情報に基づいて、視聴位置情報に対応する２つの表示視点に割り当てられた画像が２Ｄ画像であるかどうか、即ち、視聴位置情報に対応する画像指定情報が同一であるかどうかを判定する。ステップＳ１１４で視聴位置情報に対応する２つの表示視点に割り当てられた画像が２Ｄ画像であると判定された場合、処理は終了する。
【０１３０】
一方、ステップＳ１１４で視聴位置情報に対応する２つの表示視点に割り当てられた画像が２Ｄ画像ではないと判定された場合、処理はステップＳ１１５に進む。
【０１３１】
ステップＳ１１５において、生成部１３１は、Ｍ視点画像生成部１３２から供給されるＭ視点画像の視差画像と視聴位置情報に基づいて、視聴位置情報に対応する２つの表示視点に割り当てられた画像からなる３Ｄ画像の奥行き方向の位置の最小値と最大値の差分が所定値より小さいかどうかを判定する。
【０１３２】
ステップＳ１１５で３Ｄ画像の奥行き方向の位置の最小値と最大値の差分が所定値より小さいと判定された場合、ステップＳ１１６において、生成部１３１は、Ｍ視点画像の視差画像に基づいて、その差分が所定値以上になるように、表示視点情報を変更する。具体的には、生成部１３１は、Ｍ視点画像の視差画像に基づいて、視聴位置情報に対応する２つの表示視点に割り当てる画像を、その画像からなる３Ｄ画像の奥行方向の位置の最小値と最大値の差分が所定値以上になるように変更する。そして、生成部１３１は、変更後の画像の画像指定情報を、視聴位置情報に対応する２つの表示視点に対応付けた表示指定情報を生成し、保持する。生成部１３１は、保持されている表示視点情報を表示視点選択部２３に供給し、処理を終了する。
【０１３３】
一方、ステップＳ１１５で３Ｄ画像の奥行き方向の位置の最小値と最大値の差分が所定値より小さくはないと判定された場合、処理は終了する。
【０１３４】
なお、図１８、図２０、および図２１の画像信号処理部１２は、Ｍ視点画像生成部９１を備えたが、Ｍ視点画像生成部２２を備えるようにしてもよい。
【０１３５】
また、上述した説明では、画像受像部１１に、外部から入力画像のアナログ信号が入力されるようにしたが、入力画像のデジタル信号が入力されるようにしてもよい。
【０１３６】
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１３７】
そこで、図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１３８】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０１３９】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１４０】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１４１】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１４２】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１４３】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１４４】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１４５】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１４６】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１４７】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１４８】
なお、本技術は、以下のような構成もとることができる。
（１）
ユーザからの入力に基づいて、所定の視点の画像を、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置における前記２以上の視点に割り当てる割り当て部と、
前記割り当て部による割り当てに基づいて、前記所定の視点の画像を前記表示装置に表示させる表示制御部と
を備える画像処理装置。
（２）
前記割り当て部は、前記ユーザからの、前記ユーザの視聴の嗜好を表す嗜好情報の入力に基づいて、割り当てを行う
前記（１）に記載の画像処理装置。
（３）
前記割り当て部は、前記嗜好情報と前記ユーザの視聴位置に基づいて割り当てを行う
前記（２）に記載の画像処理装置。
（４）
前記割り当て部は、前記ユーザからの前記嗜好情報と前記ユーザの視聴位置の入力に基づいて、割り当てを行う
前記（３）に記載の画像処理装置。
（５）
前記ユーザの視聴位置を検出する視聴位置検出部
をさらに備え、
前記割り当て部は、前記嗜好情報と、前記視聴位置検出部により検出された前記ユーザの視聴位置に基づいて、割り当てを行う
前記（３）に記載の画像処理装置。
（６）
前記表示装置における前記２以上の視点の数より少ない数の視点の画像から、前記表示装置における前記２以上の視点の数の視点の画像を生成する画像生成部
をさらに備え、
前記所定の視点の画像は、前記画像生成部により生成される前記表示装置における前記２以上の視点の数の視点の画像のうちの少なくとも１つである
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記割り当て部は、前記ユーザからの、前記所定の視点の画像として３Ｄグラフィックス画像を表示するための入力に基づいて、前記表示装置における前記２以上の視点の数より少ない数の視点の画像を前記所定の視点の画像とする
前記（６）に記載の画像処理装置。
（８）
前記割り当て部は、前記画像生成部により生成される前記表示装置における前記２以上の視点の数の視点の画像の誤差に基づいて、前記表示装置における前記２以上の視点の数より少ない数の視点の画像を前記所定の視点の画像とする
前記（６）または（７）のいずれかに記載の画像処理装置。
（９）
前記割り当て部は、前記画像生成部により生成される前記表示装置における前記２以上の視点の数の視点の画像に対応する視差画像に基づいて、前記画像生成部により生成される前記表示装置における前記２以上の視点の数の視点の画像のうちの少なくとも１つを前記所定の視点の画像とする
前記（６）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記所定の視点の数より少ない数の視点の画像から、前記所定の視点の画像を生成する画像生成部
をさらに備える
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（１１）
前記所定の視点の画像は、１視点の画像である
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記所定の視点の画像は、２以上の視点の画像であり、
前記割り当て部は、前記ユーザからの入力に基づいて、前記表示装置における前記２以上の視点のうちの連続する２以上の視点ごとに、前記所定の視点の画像を割り当てる
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１３）
前記所定の視点の画像は、２以上の視点の画像であり、
前記割り当て部は、前記ユーザからの入力に基づいて、前記表示装置における前記２以上の視点のうちの、前記ユーザの左右の目の間隔に対応する所定の２視点に対して、前記所定の視点の画像のうちの間隔の短い２つの視点の画像を割り当て、前記ユーザの左右の目の間隔に対応する前記所定の２視点以外の２視点に対して、前記所定の視点の画像のうちの間隔の長い２つの視点の画像を割り当てる
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１４）
前記割り当て部は、前記ユーザからの入力に基づいて、前記所定の視点の画像と所定の画像を、前記表示装置における前記２以上の視点に割り当てる
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１５）
画像処理装置が、
ユーザからの入力に基づいて、所定の視点の画像を、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置における前記２以上の視点に割り当てる割り当てステップと、
前記割り当てステップの処理による割り当てに基づいて、前記所定の視点の画像を前記表示装置に表示させる表示制御ステップと
を含む画像処理方法。
（１６）
コンピュータに、
ユーザからの入力に基づいて、所定の視点の画像を、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置における前記２以上の視点に割り当てる割り当てステップと、
前記割り当てステップの処理による割り当てに基づいて、前記所定の視点の画像を前記表示装置に表示させる表示制御ステップと
を含む処理を実行させるためのプログラム。
【符号の説明】
【０１４９】
１０ 画像処理装置， ２２ Ｍ視点画像生成部， ２３ 表示視点選択部， ２４ 駆動処理部， ２６ 生成部， ９１ Ｍ視点画像生成部， １１２ 視聴位置検出部
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置で表示される画像の表示方法をユーザに応じて変更することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
３Ｄ鑑賞用のメガネを使用せずに３Ｄ画像を鑑賞可能な表示装置（以下、裸眼式表示装置という）は、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置である。裸眼式表示装置では、表示する３Ｄ画像の視点数を増加させることが視聴位置の拡大に有効である。
【０００３】
このような裸眼式表示装置では、鑑賞者に対して、Ｎ視点の画像をＭ通りの異なる方向に独立に提示することが考案されている（例えば、特許文献１参照）。また、裸眼式表示装置では、入力される画像の視点数が、裸眼式表示装置における視点（以下、表示視点という）の数に満たない場合、入力される画像に対して新たな視点の画像を生成する視点画像生成処理を行う必要がある。視点画像生成処理に関しては、生成画像の品位を向上する方法や、処理コストを削減する方法などが提案されている（特許文献２乃至４参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０１４８９１号公報
【特許文献２】特開２００５−１５１５３４号公報
【特許文献３】特開２００５−２５２４５９号公報
【特許文献４】特開２００９−２５８７２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来の裸眼式表示装置では、表示視点に対応する画像の視点が固定されている。即ち、従来の裸眼式表示装置では、３Ｄ画像の表示方法が予め決められている。従って、ユーザに応じて、３Ｄ画像の表示方法を変化させることはできなかった。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、裸眼式表示装置で表示される画像の表示方法をユーザに応じて変更することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の画像処理装置は、ユーザからの入力に基づいて、所定の視点の画像を、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置における前記２以上の視点に割り当てる割り当て部と、前記割り当て部による割り当てに基づいて、前記所定の視点の画像を前記表示装置に表示させる表示制御部とを備える画像処理装置である。
【０００８】
本技術の一側面の画像処理方法およびプログラムは、本技術の一側面の画像処理装置に対応する。
【０００９】
本技術の一側面においては、ユーザからの入力に基づいて、所定の視点の画像が、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置における前記２以上の視点に割り当てられ、その割り当てに基づいて、前記所定の視点の画像が前記表示装置に表示される。
【発明の効果】
【００１０】
本技術の一側面によれば、裸眼式表示装置で表示される画像の表示方法をユーザに応じて変更することができる。
【図面の簡単な説明】
【００１１】
【図１】本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の画像信号処理部の第１の詳細構成例を示すブロック図である。
【図３】Ｍ視点画像生成部の第１の詳細構成例を示すブロック図である。
【図４】Ｍ視点画像生成部の第２の詳細構成例を示すブロック図である。
【図５】Ｍ視点画像生成部の第３の詳細構成例を示すブロック図である。
【図６】Ｍ視点画像生成部の第４の詳細構成例を示すブロック図である。
【図７】Ｍ視点画像の例を示す図である。
【図８】表示視点情報の構成例を示す図である。
【図９】表示視点情報の記述例を示す図である。
【図１０】表示視点情報の記述例を示す図である。
【図１１】表示視点情報の記述例を示す図である。
【図１２】表示視点情報の記述例を示す図である。
【図１３】図９の表示視点情報に基づいて表示された表示画像と視聴位置の関係を説明する図である。
【図１４】図１１の表示視点情報に基づいて表示された表示画像と視聴位置の関係を説明する図である。
【図１５】図１の画像処理装置の画像処理を説明するフローチャートである。
【図１６】図２の画像信号処理部の表示視点情報生成処理を説明するフローチャートである。
【図１７】図１の画像信号処理部の第２の詳細構成例を示すブロック図である。
【図１８】図１の画像信号処理部の第３の詳細構成例を示すブロック図である。
【図１９】図１８の画像信号処理部の表示視点情報生成処理を説明するフローチャートである。
【図２０】図１の画像信号処理部の第４の詳細構成例を示すブロック図である。
【図２１】図１の画像信号処理部の第５の詳細構成例を示すブロック図である。
【図２２】図２１の画像処理部を備える画像処理装置の画像処理を説明するフローチャートである。
【図２３】図２１の画像信号処理部の表示視点情報生成処理を説明するフローチャートである。
【図２４】図１の画像信号処理部の第６の詳細構成例を示すブロック図である。
【図２５】図２４の画像信号処理部の表示視点情報生成処理を説明するフローチャートである。
【図２６】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００１２】
＜一実施の形態＞
［画像処理装置の一実施の形態の構成例］
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００１３】
図１の画像処理装置１０は、画像受像部１１、画像信号処理部１２、および３Ｄ画像表示部１３により構成され、画像を表示する。
【００１４】
画像処理装置１０の画像受像部１１は、外部から入力された入力画像のアナログ信号を受け取る。画像受像部１１は、受け取られた入力画像に対してA/D変換を行い、その結果得られる入力画像のデジタル信号を画像信号処理部１２に供給する。以下では、適宜、入力画像のデジタル信号を、単に入力画像という。
【００１５】
画像信号処理部１２は、画像受像部１１から供給される入力画像に対して所定の画像処理等を行い、３Ｄ画像表示部１３の表示視点であるＭ視点（Ｍは２以上の自然数）の画像を表示画像として生成する。画像信号処理部１２は、生成された表示画像を３Ｄ画像表示部１３に供給する。
【００１６】
３Ｄ画像表示部１３は、パララックスバリア方式やレンチキュラー方式に代表される、Ｍ視点の３Ｄ画像を表示することが可能な裸眼式表示装置である。３Ｄ画像表示部１３は、画像信号処理部１２から供給される表示画像を表示する。
【００１７】
［画像信号処理部の第１の詳細構成例］
図２は、図１の画像信号処理部１２の第１の詳細構成例を示すブロック図である。
【００１８】
図２の画像信号処理部１２は、画像変換部２１、Ｍ視点画像生成部２２、表示視点選択部２３、駆動処理部２４、入力部２５、および生成部２６により構成される。
【００１９】
画像信号処理部１２の画像変換部２１は、図１の画像受像部１１から供給される入力画像に対して、解凍処理、３Ｄ画像表示部１３に対応する解像度への解像度変換処理、色変換処理、ノイズリダクション処理等の所定の画像処理を行う。画像変換部２１は、画像処理後の入力画像をＭ視点画像生成部２２に供給する。
【００２０】
Ｍ視点画像生成部２２は、画像変換部２１から供給される入力画像の視点数がＭより少ない場合、入力画像に対して補間処理などを行うことによりＭ視点の画像を生成する。Ｍ視点画像生成部２２は、生成されたＭ視点の画像、または、Ｍ視点の入力画像を、Ｍ視点画像として表示視点選択部２３に供給する。
【００２１】
表示視点選択部２３は、生成部２６から供給される表示視点情報に基づいて、各表示視点の画像を、その表示視点に対応する、Ｍ視点画像生成部２２から供給されるＭ視点画像のうちの所定の視点の画像とした表示画像を生成し、駆動処理部２４に供給する。なお、表示視点情報とは、３Ｄ画像表示部１３の各表示視点に割り当てる、Ｍ視点画像のうちの所定の視点の画像を表す情報である。
【００２２】
駆動処理部２４は、表示視点選択部２３から供給される表示画像に対して、３Ｄ画像表示部１３のインタフェースに対応するフォーマットへの変換等を行う。駆動処理部２４は、表示制御部として機能し、その結果得られる表示画像を３Ｄ画像表示部１３に供給して表示させる。
【００２３】
入力部２５は、コントローラなどにより構成される。入力部２５は、ユーザによる操作の入力を受け付け、その操作に対応する情報を生成部２６に供給する。
【００２４】
生成部２６は、割り当て部として機能し、入力部２５から供給される情報に基づいて、表示視点情報を生成することにより、Ｍ視点画像のうちの所定の視点の画像を、３Ｄ画像表示部１３の各表示視点に割り当てる。生成部２６は、生成された表示視点情報を保持する。生成部２６は、保持している表示視点情報を表示視点選択部２３に供給する。
【００２５】
［Ｍ視点画像生成部の詳細構成例］
図３は、入力画像が１視点の画像である場合のＭ視点画像生成部２２の第１の詳細構成例を示すブロック図である。
【００２６】
図３のＭ視点画像生成部２２は、２Ｄ/３Ｄ変換部４１と２視点/Ｍ視点変換部４２により構成される。
【００２７】
Ｍ視点画像生成部２２の２Ｄ/３Ｄ変換部４１は、図２の画像変換部２１から供給される入力画像に対して、所定の距離だけ水平方向にシフトすることにより、新たな１視点の画像を生成する補間処理を行う。２Ｄ/３Ｄ変換部４１は、生成された１視点の画像と入力画像を２視点画像として２視点/Ｍ視点変換部４２に供給する。
【００２８】
２視点/Ｍ視点変換部４２は、２Ｄ/３Ｄ変換部４１から供給される２視点画像のうちのいずれか一方に対して、生成する（Ｍ−２）視点の画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、（Ｍ−２）視点の画像を生成する補間処理を行う。２視点/Ｍ視点変換部４２は、生成された（Ｍ−２）視点の画像と２視点画像を図２の表示視点選択部２３に供給する。
【００２９】
図４は、入力画像が１視点の画像である場合のＭ視点画像生成部２２の第２の詳細構成例を示すブロック図である。
【００３０】
図４のＭ視点画像生成部２２は、１視点/Ｍ視点変換部５１により構成される。
【００３１】
Ｍ視点画像生成部２２の１視点/Ｍ視点変換部５１は、図２の画像変換部２１から供給される入力画像に対して、生成する（Ｍ−１）視点の画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、（Ｍ−１）視点の画像を生成する補間処理を行う。１視点/Ｍ視点変換部５１は、生成された（Ｍ−１）視点の画像と入力画像をＭ視点画像として、図２の表示視点選択部２３に供給する。
【００３２】
図５は、入力画像が２視点の画像である場合のＭ視点画像生成部２２の詳細構成例を示すブロック図である。
【００３３】
図５のＭ視点画像生成部２２は、２視点/Ｍ視点変換部６１により構成される。
【００３４】
Ｍ視点画像生成部２２の２視点/Ｍ視点変換部６１は、図２の画像変換部２１から供給される入力画像である２視点の画像のうちのいずれか一方の視点の画像に対して、（Ｍ−２）視点の画像を生成する補間処理を行う。具体的には、２視点/Ｍ視点変換部６１は、入力画像である２視点の画像のうちのいずれか一方の視点の画像を、生成する（Ｍ−２）視点の画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトする。２視点/Ｍ視点変換部６１は、これにより生成された（Ｍ−２）視点の画像と入力画像をＭ視点画像として、図２の表示視点選択部２３に供給する。
【００３５】
図６は、入力画像がＮ視点（ＮはＭより小さい自然数）の画像である場合のＭ視点画像生成部２２の詳細構成例を示すブロック図である。
【００３６】
図６のＭ視点画像生成部２２は、Ｎ視点/Ｍ視点変換部７１により構成される。
【００３７】
Ｍ視点画像生成部２２のＮ視点/Ｍ視点変換部７１は、図２の画像変換部２１から供給される入力画像であるＮ視点の画像のいずれか１つの視点の画像に対して、（Ｍ−Ｎ）視点の画像を生成する補間処理を行う。具体的には、Ｎ視点/Ｍ視点変換部７１は、入力画像であるＮ視点の画像のいずれか１つの視点の画像を、生成する（Ｍ−Ｎ）視点の画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトする。Ｎ視点/Ｍ視点変換部７１は、これにより生成された（Ｍ−Ｎ）視点の画像と入力画像をＭ視点画像として、図２の表示視点選択部２３に供給する。
【００３８】
［Ｍ視点画像の例］
図７は、Ｍ視点画像生成部２２で生成されるＭ視点画像の例を示す図である。
【００３９】
なお、図７では、ｉ番目の視点の画像を視点画像＃ｉと表している。
【００４０】
図７に示すように、Ｍ視点画像は、視点の異なるＭ個の視点画像＃１乃至視点画像＃Ｍからなる。
【００４１】
［表示視点情報の構成例］
図８は、表示視点情報の構成例を示す図である。
【００４２】
図８に示すように、表示視点情報は、３Ｄ画像表示部１３の各表示視点と、その表示視点に割り当てる画像を指定する画像指定情報とを対応付けた情報である。なお、図８では、ｉ番目の表示視点を表示視点＃iと表している。
【００４３】
図９乃至図１２は、表示視点情報の記述例を示す図である。
【００４４】
なお、図９乃至図１２では、表示視点数Ｍが９である。また、画像視点＃ｉとは、９視点画像の９視点のうちのｉ番目の視点に付与されたＩＤである。なお、視点に付与されるＩＤは、隣り合う視点どうしのＩＤが連続するように設定されている。即ち、画像視点＃１乃至＃９の視点は、順に並んでいる。
【００４５】
図９の表示視点情報では、表示視点＃１乃至表示視点＃９のそれぞれに、画像視点情報として画像視点＃１乃画像視点＃９が対応付けられている。従って、図９の表示視点情報に基づいて表示画像が生成される場合、９視点画像の各視点の画像が、各表示視点の画像として表示される。これにより、ユーザは、９視点画像のうちの、視聴位置から鑑賞可能な２視点の画像により、３Ｄ鑑賞用のメガネを使用せずに３Ｄ画像を鑑賞することができる。また、ユーザが移動することにより視聴位置が変化する場合であっても、滑らかに３Ｄ画像の視点が切り替えられ、運動視差を得ることができる。
【００４６】
図１０の表示視点情報では、全ての表示視点＃１乃至表示視点＃９に、画像視点情報として画像視点＃５が対応付けられている。従って、図１０の表示視点情報に基づいて表示画像が生成される場合、９視点画像のうちの画像視点＃５の視点の画像が、全ての表示視点の画像として表示される。これにより、ユーザは、視差のない２Ｄ画像を鑑賞することができる。
【００４７】
図１１の表示視点情報では、連続する３つの表示視点である表示視点＃１乃至表示視点＃３、表示視点＃４乃至表示視点＃６、および表示視点＃７乃至表示視点＃９のそれぞれに、画像視点情報として画像視点＃２乃至画像視点＃４が対応付けられている。従って、図１１の表示視点情報に基づいて表示画像が生成される場合、９視点画像のうちの画像視点＃２乃至画像視点＃４の視点の画像が、表示視点＃１乃至表示視点＃３、表示視点＃４乃至表示視点＃６、および表示視点＃７乃至表示視点＃９の画像として表示される。
【００４８】
これにより、表示視点＃１乃至表示視点＃３、表示視点＃４乃至表示視点＃６、および表示視点＃７乃至表示視点＃９のそれぞれに対応する３つの視聴位置から、同一の指向性の３Ｄ画像を鑑賞することができる。例えば、表示視点＃１と表示視点＃２の画像を鑑賞可能な視聴位置、表示視点＃４と表示視点＃５の画像を鑑賞可能な視聴位置、および表示視点＃７と表示視点＃８の画像を鑑賞可能な視聴位置で、同一の３Ｄ画像を鑑賞することができる。
【００４９】
図１２の表示視点情報では、表示視点＃１と表示視点＃４に、画像指定情報として予め決められている所定の画像（例えば、黒画など）を指定するための「固定」が対応付けられている。また、ユーザの左右の目の間隔に対応する、例えば連続する２つの表示視点である表示視点＃２と表示視点＃３には、画像視点情報として、比較的間隔の長い視点どうしの画像視点＃１と画像視点＃９が対応付けられている。さらに、表示視点＃５乃至表示視点＃９のうちの連続する２つの表示視点どうしには、画像視点情報として、比較的間隔の短い、例えば１つおきの視点のＩＤが対応付けられている。具体的には、表示視点＃５乃至表示視点＃９には、それぞれ、画像視点情報として、画像視点＃１、画像視点＃３、画像視点＃５、画像視点＃７、画像視点＃９が対応付けられている。
【００５０】
これにより、ユーザは、視聴位置に応じて奥行き感の異なる３Ｄ画像を鑑賞することができる。例えば、ユーザは、表示視点＃２と表示視点＃３の画像を鑑賞可能な視聴位置において、表示視点＃５乃至表示視点＃９のうちの隣り合う視点どうしの画像を鑑賞可能な視聴位置で鑑賞する場合に比べて奥行き感の強い３Ｄ画像を鑑賞することができる。
【００５１】
また、Ｍ視点画像生成部２２が内挿によりＭ視点画像を生成し、Ｍが比較的大きい場合であっても、ユーザは、奥行き感の強い３Ｄ画像を鑑賞することができる。具体的には、Ｍ視点画像生成部２２が内挿によりＭ視点画像を生成する場合、外挿によりＭ視点画像を生成する場合に比べて、容易にＭ視点画像を生成することができるが、Ｍが大きいほど、視点間の距離が短くなる。従って、図８の表示視点情報のように、各表示視点に順にＭ視点画像の各視点が割り当てられる場合、ユーザの左右の目の間隔に対応する２つの表示視点に割り当てられる画像の視点間の距離が短くなり、ユーザが鑑賞する３Ｄ画像の奥行き感が弱くなる。しかしながら、図１２の表示視点情報では、隣り合う表示視点に割り当てられるＭ視点画像の視点が隣り合わないので、Ｍが大きい場合であっても、ユーザに鑑賞される３Ｄ画像の奥行き感を強くすることができる。
【００５２】
なお、表示視点に割り当てられる画像としては、Ｍ視点画像のうちのいずれか１つや予め決められている所定の画像だけでなく、Ｍ視点画像のうちの複数の視点の画像（例えば、近隣に表示される複数の視点の画像）をアルファブレンドした画像等であってもよい。
【００５３】
[表示画像と視聴位置の関係の説明]
図１３は、図９の表示視点情報に基づいて表示された表示画像と視聴位置の関係を説明する図である。
【００５４】
図１３に示すように、図９の表示視点情報に基づいて表示画像が表示される場合、所定の視聴位置Ａから鑑賞するユーザと、視聴位置Ａとは異なる視聴位置Ｂから鑑賞するユーザは、異なる２視点の画像からなる３Ｄ画像を鑑賞する。即ち、視聴位置Ａから鑑賞される表示画像と、視聴位置Ｂから鑑賞される表示画像の指向性は異なっている。
【００５５】
図１４は、図１１の表示視点情報に基づいて表示された表示画像と視聴位置の関係を説明する図である。
【００５６】
図１４に示すように、図１１の表示視点情報に基づいて表示画像が表示される場合、所定の視聴位置Ａから鑑賞するユーザと、視聴位置Ａとは異なる視聴位置Ｂから鑑賞するユーザは、同一の指向性を有する表示画像を鑑賞する。なお、図１４の例では、視聴位置Ａと視聴位置Ｂは、それぞれ、表示視点＃１乃至表示視点＃３、表示視点＃４乃至表示視点＃６、および表示視点＃７乃至表示視点＃９のいずれか１つに対応する位置である。
【００５７】
[画像処理装置の処理の説明]
図１５は、図１の画像処理装置１０の画像処理を説明するフローチャートである。この画像処理は、例えば、画像処理装置１０に入力画像のアナログ信号が入力されたとき開始される。
【００５８】
図１５のステップＳ１１において、画像処理装置１０の画像受像部１１は、外部から入力された入力画像のアナログ信号を受け取る。
【００５９】
ステップＳ１２において、画像受像部１１は、受け取られた入力画像のアナログ信号に対してA/D変換を行い、その結果得られる入力画像のデジタル信号を画像信号処理部１２に供給する。
【００６０】
ステップＳ１３において、画像信号処理部１２の画像変換部２１は、画像受像部１１から供給される入力画像に対して、解凍処理、３Ｄ画像表示部１３に対応する解像度への解像度変換処理、色変換処理、ノイズリダクション処理等の所定の画像処理を行う。画像変換部２１は、画像処理後の入力画像をＭ視点画像生成部２２に供給する。
【００６１】
ステップＳ１４において、Ｍ視点画像生成部２２は、画像変換部２１から供給される入力画像に対して補間処理等を行うことによりＭ視点画像を生成し、表示視点選択部２３に供給する。
【００６２】
ステップＳ１５において、表示視点選択部２３は、生成部２６から供給される表示視点情報に基づいて、各表示視点の画像を、その表示視点に対応する、Ｍ視点画像生成部２２から供給されるＭ視点画像のうちの所定の視点の画像とした表示画像を生成する。そして、表示視点選択部２３は、表示画像を駆動処理部２４に供給する。
【００６３】
ステップＳ１６において、駆動処理部２４は、表示視点選択部２３から供給される表示画像に対して、３Ｄ画像表示部１３のインタフェースに対応するフォーマットへの変換等を行う。
【００６４】
ステップＳ１７において、駆動処理部２４は、ステップＳ１６の処理の結果得られる表示画像を３Ｄ画像表示部１３に供給して表示させる。そして、処理は終了する。
【００６５】
図１６は、図２の画像信号処理部１２の表示視点情報生成処理を説明するフローチャートである。この表示視点情報生成処理は、例えば、ユーザが入力部２５を操作して表示視点情報の生成を指令したとき、開始される。
【００６６】
図１６のステップＳ３１において、入力部２５は、ユーザから３Ｄ画像表示部１３の表示視点であるＭ視点のいずれかに対応する画像指定情報が入力されたかどうかを判定する。具体的には、入力部２５は、ユーザによるＭ視点のいずれかに対応する画像指定情報を入力するための操作を受け付けたかどうかを判定する。
【００６７】
ステップＳ３１でユーザから表示視点であるＭ視点のいずれかに対応する画像指定情報がまだ入力されていないと判定された場合、入力部２５は、その画像指定情報が入力されるまで待機する。
【００６８】
一方、ステップＳ３１でユーザから表示視点であるＭ視点のいずれかに対応する画像指定情報が入力されたと判定された場合、入力部２５は、その表示視点と画像指定情報を生成部２６に供給する。
【００６９】
そして、ステップＳ３２において、生成部２６は、入力部２５から供給される表示視点と画像指定情報を対応付けて記述する。
【００７０】
ステップＳ３３において、生成部２６は、３Ｄ画像表示部１３の全ての表示視点に対応付けて画像指定情報が記述されたかどうかを判定する。ステップＳ３３でまだ３Ｄ画像表示部１３の全ての表示視点に対応付けて画像指定情報が記述されていないと判定された場合、処理はステップＳ３１に戻り、以降の処理が繰り返される。
【００７１】
一方、ステップＳ３３で３Ｄ画像表示部１３の全ての表示視点に対応付けて画像指定情報が記述されたと判定された場合、生成部２６は、全ての表示視点と、それに対応付けて記述された画像視点情報を表示視点情報として保持する。そして、生成部２６は、その表示視点情報を表示視点選択部２３に供給し、処理を終了する。
【００７２】
以上のように、画像処理装置１０は、ユーザからの入力に基づいて表示視点情報を生成し、その表示視点情報に基づいて表示画像を表示させるので、ユーザに応じて、表示画像の表示方法を変更することができる。
【００７３】
その結果、例えば、ユーザは、図９の表示視点情報を生成させるための操作を行うことにより、視聴位置に応じて指向性の異なる３Ｄ画像を鑑賞したり、図１０の表示視点情報を生成させるための操作を行うことにより、２Ｄ画像を鑑賞したりすることができる。また、ユーザは、図１１の表示視点情報を生成させるための操作を行うことにより、異なる視聴位置から同一の指向性の３Ｄ画像を鑑賞することができる。また、ユーザは、図１２の表示視点情報を生成させるための操作を行うことにより、視聴位置に応じて奥行き感の異なる３Ｄ画像を鑑賞することができる。即ち、ユーザは、視聴形態などを選択したり、視聴位置による３Ｄ画像の指向性や奥行き感の変化などを調整したりすることができる。
【００７４】
［画像信号処理部の第２の詳細構成例］
図１７は、図１の画像信号処理部１２の第２の詳細構成例を示すブロック図である。
【００７５】
図１７に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００７６】
図１７の画像信号処理部１２の構成は、主に、Ｍ視点画像生成部２２の代わりにＭ視点画像生成部９１が設けられている点が図２の構成と異なる。図１７の画像信号処理部１２は、Ｍ視点画像の代わりに、表示視点情報の画像指定情報で指定される視点の画像のみを生成する。
【００７７】
具体的には、図１７の画像信号処理部１２のＭ視点画像生成部９１は、生成部２６により生成される表示視点情報に基づいて、画像変換部２１から供給される入力画像に対して補間処理などを行い、表示視点情報の画像指定情報で指定される視点の画像を生成する。そして、Ｍ視点画像生成部９１は、生成された画像を表示視点選択部２３に供給する。但し、入力画像が表示視点情報の画像指定情報で指定される視点の画像である場合、Ｍ視点画像生成部９１は、入力画像をそのまま表示視点選択部２３に供給する。
【００７８】
以上のように、図１７の画像信号処理部１２は、表示画像に用いられる、表示視点情報の画像指定情報で指定される視点の画像だけを生成するので、図２の画像信号処理部１２に比べて、処理コストを削減することができる。
【００７９】
[画像信号処理部の第３の構成例]
図１８は、図１の画像信号処理部１２の第３の詳細構成例を示すブロック図である。
【００８０】
図１８に示す構成のうち、図１７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００８１】
図１８の画像信号処理部１２の構成は、主に、入力部２５、生成部２６の代わりに入力部１０１、生成部１０２が設けられている点が図１７の構成と異なる。図１８の画像信号処理部１２は、ユーザの視聴位置を表す視聴位置情報と、視聴形態の嗜好、視聴位置による３Ｄ画像の指向性や奥行き感の変化の嗜好などの視聴に関する嗜好を表す嗜好情報とに基づいて、表示画像を表示させる。
【００８２】
具体的には、図１８の画像信号処理部１２の入力部１０１は、入力部２５と同様に、コントローラなどにより構成される。入力部１０１は、ユーザによる視聴位置情報を入力するための操作、嗜好情報を入力するための操作などの入力を受け付ける。そして、入力部１０１は、その操作に対応する視聴位置情報と嗜好情報を生成部１０２に供給する。なお、視聴位置情報は、視聴位置そのものを表す情報ではなく、視聴位置から鑑賞可能な画像に対応する表示視点を表す情報であってもよい。
【００８３】
生成部１０２は、入力部１０１から供給される視聴位置情報と嗜好情報に基づいて、表示視点情報を生成し、保持する。具体的には、生成部１０２は、嗜好情報が視聴形態の嗜好として３Ｄ画像の通常の視聴形態を表す場合、図９に示したような表示視点情報を生成し、保持する。また、生成部１０２は、例えば、嗜好情報が視聴形態の嗜好として２Ｄ画像の視聴形態を表し、視聴位置情報に対応する表示視点が表示視点＃４および表示視点＃５である場合、図１０に示した表示視点情報を生成し、保持する。
【００８４】
また、生成部１０２は、例えば、嗜好情報が、視聴位置による３Ｄ画像の指向性の変化の無しを嗜好として表し、視聴位置情報に対応する表示視点が表示視点＃４および表示視点＃５である場合、図１１に示した表示視点情報を生成し、保持する。さらに、生成部１０２は、例えば、嗜好情報が、視聴位置による３Ｄ画像の奥行き感の変化の有りを嗜好として表し、視聴位置情報に対応する表示視点が表示視点＃２および表示視点＃３である場合、図１２に示した表示視点情報を生成し、保持する。
【００８５】
また、生成部１０２は、例えば、嗜好情報が視聴形態の嗜好として現在の視聴位置においてのみ３Ｄ画像を視聴可能な視聴形態を表す場合、以下のように表示視点情報を生成し、保持する。即ち、生成部１０２は、視聴位置情報に対応する表示視点に所定の２視点の画像の画像指定情報が対応付けられ、その表示視点以外の表示視点に画像指定情報として「固定」が対応付けられた表示視点情報を生成し、保持する。これにより、Ｍ視点画像生成部９１は、２視点の画像を生成するだけで済むので、Ｍ視点画像生成部９１の処理コストを削減することができる。
【００８６】
生成部１０２は、保持している表示視点情報をＭ視点画像生成部９１と表示視点選択部２３に供給する。
【００８７】
なお、入力部１０１は、複数のユーザによる操作を受け付けるようにしてもよい。この場合、全てのユーザの視聴位置情報と嗜好情報に対応する表示視点情報が生成できないときや、あるユーザの視聴位置情報と嗜好情報に対応する表示視点情報に基づく表示が他のユーザに害を与えるときには、例えば、図９の表示視点情報や図１０の表示視点情報が生成される。
【００８８】
[他の表示視点情報生成処理の説明]
図１９は、図１８の画像信号処理部１２の表示視点情報生成処理を説明するフローチャートである。この表示視点情報生成処理は、例えば、ユーザが入力部１０１を操作して表示視点情報の生成を指令したとき、開始される。
【００８９】
図１９のステップＳ５１において、画像信号処理部１２の入力部１０１は、ユーザにより視聴位置情報を入力するための操作が行われたかどうかを判定する。ステップＳ５１で視聴位置情報を入力するための操作が行われていないと判定された場合、入力部１０１は、視聴位置情報を入力するための操作が行われるまで待機する。
【００９０】
一方、ステップＳ５１で視聴位置情報を入力するための操作が行われたと判定された場合、入力部１０１は、その操作を受け付け、視聴位置情報を生成部１０２に供給する。そして、ステップＳ５２において、入力部１０１は、ユーザにより嗜好情報を入力するための操作が行われたかどうかを判定する。ステップＳ５２で嗜好情報を入力するための操作が行われていないと判定された場合、入力部１０１は、嗜好情報を入力するための操作が行われるまで待機する。
【００９１】
一方、ステップＳ５２で嗜好情報を入力するための操作が行われたと判定された場合、入力部１０１は、その操作を受け付け、嗜好情報を生成部１０２に供給する。
【００９２】
そして、ステップＳ５３において、生成部１０２は、入力部１０１から供給される視聴位置情報と嗜好情報に基づいて、表示視点情報を生成し、保持する。生成部１０２は、保持している表示視点情報をＭ視点画像生成部９１と表示視点選択部２３に供給し、処理を終了する。
【００９３】
[画像信号処理部の第４の構成例]
図２０は、図１の画像信号処理部１２の第４の詳細構成例を示すブロック図である。
【００９４】
図２０に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００９５】
図２０の画像信号処理部１２の構成は、主に、入力部１０１の代わりに入力部１１１が設けられている点、および、視聴位置検出部１１２が新たに設けられている点が図１８の構成と異なる。図２０の画像信号処理部１２は、視聴位置情報を検出する。
【００９６】
具体的には、画像信号処理部１２の入力部１１１は、入力部２５と同様に、コントローラなどにより構成される。入力部１１１は、ユーザによる嗜好情報を入力するための操作などの入力を受け付ける。そして、入力部１１１は、その操作に対応する嗜好情報を生成部１０２に供給する。
【００９７】
視聴位置検出部１１２は、例えば、ステレオカメラや赤外線センサなどにより構成される。視聴位置検出部１１２は、ユーザの視聴位置を検出し、その視聴位置を表す視聴位置情報を生成部１０２に供給する。
【００９８】
なお、図２０の画像信号処理部１２では、入力部１１１が、ユーザによる視聴位置情報を入力するための操作を受け付け、生成部１０２は、その視聴位置情報と視聴位置検出部１１２からの視聴位置情報のいずれかを表示視点情報の生成に用いるようにしてもよい。
【００９９】
[画像信号処理部の第５の構成例]
図２１は、図１の画像信号処理部１２の第５の詳細構成例を示すブロック図である。
【０１００】
図２１に示す構成のうち、図２０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０１】
図２１の画像信号処理部１２の構成は、主に、入力部１１１、生成部１０２の代わりに入力部１２１、生成部１２２が設けられている点が図２０の構成と異なる。図２１の画像信号処理部１２は、ユーザによる３Ｄメニュー画像などの３Ｄグラフィックス画像を表示するための操作に応じて、入力画像のみを表示視点に割り当てる。
【０１０２】
具体的には、画像信号処理部１２の入力部１２１は、入力部２５と同様に、コントローラなどにより構成される。入力部１２１は、ユーザによる嗜好情報を入力するための操作、３Ｄグラフィックス画像を表示するための操作などを受け付ける。
【０１０３】
入力部１２１は、入力部１１１と同様に、嗜好情報を入力するための操作に対応する嗜好情報を生成部１２２に供給する。また、入力部１２１は、３Ｄグラフィックス画像を表示するための操作に応じて、入力画像のみの表示視点への割り当てを生成部１２２に指令する。
【０１０４】
生成部１２２は、入力部１２１から供給される嗜好情報と、視聴位置検出部１１２から供給される視聴位置情報に基づいて、表示視点情報を生成し、保持する。また、生成部１２２は、入力部１２１から供給される入力画像のみの表示視点への割り当ての指令に応じて、入力画像の画像指定情報を各表示視点に対応付けた表示視点情報を生成し、保持する。生成部１２２は、保持されている表示視点情報を表示視点選択部２３とＭ視点画像生成部９１に供給する。これにより、ユーザにより３Ｄグラフィックス画像を表示するための操作が行われた場合、Ｍ視点画像生成部９１は、入力画像をそのまま表示視点選択部２３に供給する。
【０１０５】
[他の画像処理の説明]
図２２は、図２１の画像信号処理部１２を備える画像処理装置１０の画像処理を説明するフローチャートである。この画像処理は、例えば、画像処理装置１０に入力画像のアナログ信号が入力されたとき開始される。
【０１０６】
図２２のステップＳ７１乃至Ｓ７３の処理は、図１５のステップＳ１１乃至Ｓ１３の処理と同様であるので、説明は省略する。
【０１０７】
ステップＳ７４において、図２１のＭ視点画像生成部９１は、生成部１２２により生成される表示視点情報に基づいて、画像変換部２１から供給される入力画像に対して補間処理などを行い、表示視点情報の画像指定情報で指定される視点の画像を生成する。そして、Ｍ視点画像生成部９１は、生成された画像を表示視点選択部２３に供給する。
【０１０８】
なお、ユーザにより３Ｄグラフィックス画像を表示するための操作が行われた場合、表示視点情報の画像指定情報で指定される視点の画像は入力画像であるので、ステップＳ７４の処理では、入力画像がそのまま表示視点選択部２３に供給される。
【０１０９】
ステップＳ７５乃至Ｓ７７の処理は、図１５のＳ１５乃至Ｓ１７の処理と同様であるので、説明は省略する。
【０１１０】
図２３は、図２１の画像信号処理部１２の表示視点情報生成処理を説明するフローチャートである。
【０１１１】
図２３のステップＳ９１において、入力部１２１は、ユーザにより３Ｄグラフィックス画像を表示するための操作が行われたかどうかを判定する。ステップＳ９１でユーザにより３Ｄグラフィックス画像を表示するための操作が行われていないと判定された場合、処理はステップＳ９２に進む。
【０１１２】
ステップＳ９２において、入力部１２１は、ユーザにより嗜好情報を入力するための操作が行われたかどうかを判定する。ステップＳ９２で嗜好情報を入力するための操作が行われていないと判定された場合、処理はステップＳ９１に戻る。
【０１１３】
一方、ステップＳ９２で嗜好情報を入力するための操作が行われたと判定された場合、入力部１２１は、その操作を受け付け、嗜好情報を生成部１２２に供給する。そして、ステップＳ９３において、視聴位置検出部１１２は、ユーザの視聴位置を検出し、その視聴位置を表す視聴位置情報を生成部１２２に供給する。
【０１１４】
ステップＳ９４において、生成部１２２は、入力部１２１から供給される嗜好情報と、視聴位置検出部１１２から供給される視聴位置情報とに基づいて、表示視点情報を生成し、保持する。生成部１２２は、保持している表示視点情報をＭ視点画像生成部９１と表示視点選択部２３に供給し、処理を終了する。
【０１１５】
一方、ステップＳ９１でユーザにより３Ｄグラフィックス画像を表示するための操作が行われたと判定された場合、処理はステップＳ９５に進む。ステップＳ９５において、生成部１２２は、入力画像の画像指定情報を各表示視点に対応付けた表示視点情報を生成し、保持する。生成部１２２は、保持している表示視点情報をＭ視点画像生成部９１と表示視点選択部２３に供給し、処理を終了する。
【０１１６】
以上のように、図２１の画像信号処理部１２は、ユーザにより３Ｄグラフィックス画像を表示するための操作が行われた場合、即ち、入力画像が３Ｄグラフィックス画像である場合、入力画像のみを表示視点に割り当てるので、表示画像の画質を向上させることができる。
【０１１７】
具体的には、３Ｄグラフィックス画像は、パターンが幾何学的であり、輝度や色の変化が急峻である。従って、３Ｄグラフィックス画像の視点数が補間処理等により増加される場合、補間処理後の３Ｄグラフィックス画像において、補間処理時に発生するオクルージョン領域（詳細は後述する）などによる画質劣化が人に知覚されやすい。よって、図２１の画像信号処理部１２は、入力画像が３Ｄグラフィックス画像である場合、入力画像のみを表示視点に割り当て、補間処理後の入力画像を表示視点に割り当てないことにより、表示画像の画質を向上させる。なお、オクルージョン領域とは、視点が異なることによって生じる、ある視点の画像には存在するが、他の視点の画像には存在しない領域である。
【０１１８】
なお、図２１の画像信号処理部１２は、ユーザにより３Ｄグラフィックス画像を表示するための操作が行われた場合に、入力画像のみを表示視点に割り当てたが、Ｍ視点画像生成部９１で生成される画像の誤差値が所定値より大きい場合に、入力画像のみを表示視点に割り当てるようにしてもよい。
【０１１９】
[画像信号処理部の第６の構成例]
図２４は、図１の画像信号処理部１２の第６の詳細構成例を示すブロック図である。
【０１２０】
図２４に示す構成のうち、図２０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１２１】
図２４の画像信号処理部１２の構成は、主に、生成部１０２、Ｍ視点画像生成部９１の代わりに生成部１３１、Ｍ視点画像生成部１３２が設けられている点が図２０の構成と異なる。図２４の画像信号処理部１２は、視聴位置情報と嗜好情報だけでなく、Ｍ視点画像の視差画像にも基づいて、表示視点情報を生成する。なお、視差画像は、Disparity Mapとも呼ばれ、対応する視点の画像の各画素と、その画素に対応する、基点となる視点の画像の画素の画面上の位置の水平方向の距離を表す視差値からなる画像である。
【０１２２】
図２４の画像信号処理部１２の生成部１３１は、入力部１１１から供給される嗜好情報、視聴位置検出部１１２から供給される視聴位置情報、およびＭ視点画像生成部１３２から供給されるＭ視点画像の視差画像に基づいて、表示視点情報を生成し、保持する。
【０１２３】
具体的には、生成部１３１は、まず、例えば、嗜好情報と視聴位置情報に基づいて表示視点情報を生成する。そして、生成部１３１は、視聴位置に対応する２つの表示視点に割り当てられた画像の視差画像に基づいて、その画像から構成される３Ｄ画像の奥行き方向の位置の最小値と最大値の差分が所定値より小さいかどうかを判定する。その差分が所定値より小さいと判定された場合、生成部１３１は、Ｍ視点画像の視差画像に基づいて、その差分が所定値以上になるように、視聴位置に対応する２つの表示視点に割り当てる画像を変更する。生成部１３１は、保持されている表示視点情報を表示視点選択部２３に供給する。
【０１２４】
Ｍ視点画像生成部１３２は、画像変換部２１から供給される入力画像に対して補間処理等を行い、Ｍ視点画像を生成するとともに、Ｍ視点画像の視差画像を生成する。Ｍ視点画像生成部１３２は、Ｍ視点画像をＭ視点画像生成部１３２に供給し、Ｍ視点画像の視差画像を生成部１３１に供給する。
【０１２５】
[他の表示視点情報生成処理の説明]
図２５は、図２４の画像信号処理部１２の表示視点情報生成処理を説明するフローチャートである。この表示視点情報生成処理は、例えば、ユーザが入力部１１１を操作して表示視点情報の生成を指令したとき、開始される。
【０１２６】
図２５のステップＳ１１１において、入力部１１１は、ユーザにより嗜好情報を入力するための操作が行われたかどうかを判定する。ステップＳ１１１で嗜好情報を入力するための操作が行われていないと判定された場合、その操作が行われるまで待機する。
【０１２７】
一方、ステップＳ１１１で嗜好情報を入力するための操作が行われたと判定された場合、入力部１１１は、その操作を受け付け、嗜好情報を生成部１３１に供給する。そして、ステップＳ１１２において、視聴位置検出部１１２は、ユーザの視聴位置を検出し、その視聴位置を表す視聴位置情報を生成部１３１に供給する。
【０１２８】
ステップＳ１１３において、生成部１３１は、視聴位置検出部１１２から供給される視聴位置情報と入力部１２１から供給される嗜好情報とに基づいて、表示視点情報を生成し、保持する。生成部１３１は、保持している表示視点情報を表示視点選択部２３に供給する。これにより、Ｍ視点画像生成部１３２は、入力画像からＭ視点画像を生成して表示視点選択部２３に供給するとともに、Ｍ視点画像の視差画像を生成して生成部１３１に供給する。
【０１２９】
ステップＳ１１４において、生成部１３１は、表示視点情報に基づいて、視聴位置情報に対応する２つの表示視点に割り当てられた画像が２Ｄ画像であるかどうか、即ち、視聴位置情報に対応する画像指定情報が同一であるかどうかを判定する。ステップＳ１１４で視聴位置情報に対応する２つの表示視点に割り当てられた画像が２Ｄ画像であると判定された場合、処理は終了する。
【０１３０】
一方、ステップＳ１１４で視聴位置情報に対応する２つの表示視点に割り当てられた画像が２Ｄ画像ではないと判定された場合、処理はステップＳ１１５に進む。
【０１３１】
ステップＳ１１５において、生成部１３１は、Ｍ視点画像生成部１３２から供給されるＭ視点画像の視差画像と視聴位置情報に基づいて、視聴位置情報に対応する２つの表示視点に割り当てられた画像からなる３Ｄ画像の奥行き方向の位置の最小値と最大値の差分が所定値より小さいかどうかを判定する。
【０１３２】
ステップＳ１１５で３Ｄ画像の奥行き方向の位置の最小値と最大値の差分が所定値より小さいと判定された場合、ステップＳ１１６において、生成部１３１は、Ｍ視点画像の視差画像に基づいて、その差分が所定値以上になるように、表示視点情報を変更する。具体的には、生成部１３１は、Ｍ視点画像の視差画像に基づいて、視聴位置情報に対応する２つの表示視点に割り当てる画像を、その画像からなる３Ｄ画像の奥行方向の位置の最小値と最大値の差分が所定値以上になるように変更する。そして、生成部１３１は、変更後の画像の画像指定情報を、視聴位置情報に対応する２つの表示視点に対応付けた表示指定情報を生成し、保持する。生成部１３１は、保持されている表示視点情報を表示視点選択部２３に供給し、処理を終了する。
【０１３３】
一方、ステップＳ１１５で３Ｄ画像の奥行き方向の位置の最小値と最大値の差分が所定値より小さくはないと判定された場合、処理は終了する。
【０１３４】
なお、図１８、図２０、および図２１の画像信号処理部１２は、Ｍ視点画像生成部９１を備えたが、Ｍ視点画像生成部２２を備えるようにしてもよい。
【０１３５】
また、上述した説明では、画像受像部１１に、外部から入力画像のアナログ信号が入力されるようにしたが、入力画像のデジタル信号が入力されるようにしてもよい。
【０１３６】
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１３７】
そこで、図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１３８】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０１３９】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１４０】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１４１】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１４２】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１４３】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１４４】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１４５】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１４６】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１４７】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１４８】
なお、本技術は、以下のような構成もとることができる。
（１）
ユーザからの入力に基づいて、所定の視点の画像を、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置における前記２以上の視点に割り当てる割り当て部と、
前記割り当て部による割り当てに基づいて、前記所定の視点の画像を前記表示装置に表示させる表示制御部と
を備える画像処理装置。
（２）
前記割り当て部は、前記ユーザからの、前記ユーザの視聴の嗜好を表す嗜好情報の入力に基づいて、割り当てを行う
前記（１）に記載の画像処理装置。
（３）
前記割り当て部は、前記嗜好情報と前記ユーザの視聴位置に基づいて割り当てを行う
前記（２）に記載の画像処理装置。
（４）
前記割り当て部は、前記ユーザからの前記嗜好情報と前記ユーザの視聴位置の入力に基づいて、割り当てを行う
前記（３）に記載の画像処理装置。
（５）
前記ユーザの視聴位置を検出する視聴位置検出部
をさらに備え、
前記割り当て部は、前記嗜好情報と、前記視聴位置検出部により検出された前記ユーザの視聴位置に基づいて、割り当てを行う
前記（３）に記載の画像処理装置。
（６）
前記表示装置における前記２以上の視点の数より少ない数の視点の画像から、前記表示装置における前記２以上の視点の数の視点の画像を生成する画像生成部
をさらに備え、
前記所定の視点の画像は、前記画像生成部により生成される前記表示装置における前記２以上の視点の数の視点の画像のうちの少なくとも１つである
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記割り当て部は、前記ユーザからの、前記所定の視点の画像として３Ｄグラフィックス画像を表示するための入力に基づいて、前記表示装置における前記２以上の視点の数より少ない数の視点の画像を前記所定の視点の画像とする
前記（６）に記載の画像処理装置。
（８）
前記割り当て部は、前記画像生成部により生成される前記表示装置における前記２以上の視点の数の視点の画像の誤差に基づいて、前記表示装置における前記２以上の視点の数より少ない数の視点の画像を前記所定の視点の画像とする
前記（６）または（７）のいずれかに記載の画像処理装置。
（９）
前記割り当て部は、前記画像生成部により生成される前記表示装置における前記２以上の視点の数の視点の画像に対応する視差画像に基づいて、前記画像生成部により生成される前記表示装置における前記２以上の視点の数の視点の画像のうちの少なくとも１つを前記所定の視点の画像とする
前記（６）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記所定の視点の数より少ない数の視点の画像から、前記所定の視点の画像を生成する画像生成部
をさらに備える
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（１１）
前記所定の視点の画像は、１視点の画像である
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記所定の視点の画像は、２以上の視点の画像であり、
前記割り当て部は、前記ユーザからの入力に基づいて、前記表示装置における前記２以上の視点のうちの連続する２以上の視点ごとに、前記所定の視点の画像を割り当てる
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１３）
前記所定の視点の画像は、２以上の視点の画像であり、
前記割り当て部は、前記ユーザからの入力に基づいて、前記表示装置における前記２以上の視点のうちの、前記ユーザの左右の目の間隔に対応する所定の２視点に対して、前記所定の視点の画像のうちの間隔の短い２つの視点の画像を割り当て、前記ユーザの左右の目の間隔に対応する前記所定の２視点以外の２視点に対して、前記所定の視点の画像のうちの間隔の長い２つの視点の画像を割り当てる
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１４）
前記割り当て部は、前記ユーザからの入力に基づいて、前記所定の視点の画像と所定の画像を、前記表示装置における前記２以上の視点に割り当てる
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１５）
画像処理装置が、
ユーザからの入力に基づいて、所定の視点の画像を、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置における前記２以上の視点に割り当てる割り当てステップと、
前記割り当てステップの処理による割り当てに基づいて、前記所定の視点の画像を前記表示装置に表示させる表示制御ステップと
を含む画像処理方法。
（１６）
コンピュータに、
ユーザからの入力に基づいて、所定の視点の画像を、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置における前記２以上の視点に割り当てる割り当てステップと、
前記割り当てステップの処理による割り当てに基づいて、前記所定の視点の画像を前記表示装置に表示させる表示制御ステップと
を含む処理を実行させるためのプログラム。
【符号の説明】
【０１４９】
１０ 画像処理装置， ２２ Ｍ視点画像生成部， ２３ 表示視点選択部， ２４ 駆動処理部， ２６ 生成部， ９１ Ｍ視点画像生成部， １１２ 視聴位置検出部
【特許請求の範囲】
【請求項１】
ユーザからの入力に基づいて、所定の視点の画像を、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置における前記２以上の視点に割り当てる割り当て部と、
前記割り当て部による割り当てに基づいて、前記所定の視点の画像を前記表示装置に表示させる表示制御部と
を備える画像処理装置。
【請求項２】
前記割り当て部は、前記ユーザからの、前記ユーザの視聴の嗜好を表す嗜好情報の入力に基づいて、割り当てを行う
請求項１に記載の画像処理装置。
【請求項３】
前記割り当て部は、前記嗜好情報と前記ユーザの視聴位置に基づいて割り当てを行う
請求項２に記載の画像処理装置。
【請求項４】
前記割り当て部は、前記ユーザからの前記嗜好情報と前記ユーザの視聴位置の入力に基づいて、割り当てを行う
請求項３に記載の画像処理装置。
【請求項５】
前記ユーザの視聴位置を検出する視聴位置検出部
をさらに備え、
前記割り当て部は、前記嗜好情報と、前記視聴位置検出部により検出された前記ユーザの視聴位置に基づいて、割り当てを行う
請求項３に記載の画像処理装置。
【請求項６】
前記表示装置における前記２以上の視点の数より少ない数の視点の画像から、前記表示装置における前記２以上の視点の数の視点の画像を生成する画像生成部
をさらに備え、
前記所定の視点の画像は、前記画像生成部により生成される前記表示装置における前記２以上の視点の数の視点の画像のうちの少なくとも１つである
請求項１に記載の画像処理装置。
【請求項７】
前記割り当て部は、前記ユーザからの、前記所定の視点の画像として３Ｄグラフィックス画像を表示するための入力に基づいて、前記表示装置における前記２以上の視点の数より少ない数の視点の画像を前記所定の視点の画像とする
請求項６に記載の画像処理装置。
【請求項８】
前記割り当て部は、前記画像生成部により生成される前記表示装置における前記２以上の視点の数の視点の画像の誤差に基づいて、前記表示装置における前記２以上の視点の数より少ない数の視点の画像を前記所定の視点の画像とする
請求項６に記載の画像処理装置。
【請求項９】
前記割り当て部は、前記画像生成部により生成される前記表示装置における前記２以上の視点の数の視点の画像に対応する視差画像に基づいて、前記画像生成部により生成される前記表示装置における前記２以上の視点の数の視点の画像のうちの少なくとも１つを前記所定の視点の画像とする
請求項６に記載の画像処理装置。
【請求項１０】
前記所定の視点の数より少ない数の視点の画像から、前記所定の視点の画像を生成する画像生成部
をさらに備える
請求項１に記載の画像処理装置。
【請求項１１】
前記所定の視点の画像は、１視点の画像である
請求項１に記載の画像処理装置。
【請求項１２】
前記所定の視点の画像は、２以上の視点の画像であり、
前記割り当て部は、前記ユーザからの入力に基づいて、前記表示装置における前記２以上の視点のうちの連続する２以上の視点ごとに、前記所定の視点の画像を割り当てる
請求項１に記載の画像処理装置。
【請求項１３】
前記所定の視点の画像は、２以上の視点の画像であり、
前記割り当て部は、前記ユーザからの入力に基づいて、前記表示装置における前記２以上の視点のうちの、前記ユーザの左右の目の間隔に対応する所定の２視点に対して、前記所定の視点の画像のうちの間隔の短い２つの視点の画像を割り当て、前記ユーザの左右の目の間隔に対応する前記所定の２視点以外の２視点に対して、前記所定の視点の画像のうちの間隔の長い２つの視点の画像を割り当てる
請求項１に記載の画像処理装置。
【請求項１４】
前記割り当て部は、前記ユーザからの入力に基づいて、前記所定の視点の画像と所定の画像を、前記表示装置における前記２以上の視点に割り当てる
請求項１に記載の画像処理装置。
【請求項１５】
画像処理装置が、
ユーザからの入力に基づいて、所定の視点の画像を、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置における前記２以上の視点に割り当てる割り当てステップと、
前記割り当てステップの処理による割り当てに基づいて、前記所定の視点の画像を前記表示装置に表示させる表示制御ステップと
を含む画像処理方法。
【請求項１６】
コンピュータに、
ユーザからの入力に基づいて、所定の視点の画像を、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置における前記２以上の視点に割り当てる割り当てステップと、
前記割り当てステップの処理による割り当てに基づいて、前記所定の視点の画像を前記表示装置に表示させる表示制御ステップと
を含む処理を実行させるためのプログラム。
【請求項１】
ユーザからの入力に基づいて、所定の視点の画像を、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置における前記２以上の視点に割り当てる割り当て部と、
前記割り当て部による割り当てに基づいて、前記所定の視点の画像を前記表示装置に表示させる表示制御部と
を備える画像処理装置。
【請求項２】
前記割り当て部は、前記ユーザからの、前記ユーザの視聴の嗜好を表す嗜好情報の入力に基づいて、割り当てを行う
請求項１に記載の画像処理装置。
【請求項３】
前記割り当て部は、前記嗜好情報と前記ユーザの視聴位置に基づいて割り当てを行う
請求項２に記載の画像処理装置。
【請求項４】
前記割り当て部は、前記ユーザからの前記嗜好情報と前記ユーザの視聴位置の入力に基づいて、割り当てを行う
請求項３に記載の画像処理装置。
【請求項５】
前記ユーザの視聴位置を検出する視聴位置検出部
をさらに備え、
前記割り当て部は、前記嗜好情報と、前記視聴位置検出部により検出された前記ユーザの視聴位置に基づいて、割り当てを行う
請求項３に記載の画像処理装置。
【請求項６】
前記表示装置における前記２以上の視点の数より少ない数の視点の画像から、前記表示装置における前記２以上の視点の数の視点の画像を生成する画像生成部
をさらに備え、
前記所定の視点の画像は、前記画像生成部により生成される前記表示装置における前記２以上の視点の数の視点の画像のうちの少なくとも１つである
請求項１に記載の画像処理装置。
【請求項７】
前記割り当て部は、前記ユーザからの、前記所定の視点の画像として３Ｄグラフィックス画像を表示するための入力に基づいて、前記表示装置における前記２以上の視点の数より少ない数の視点の画像を前記所定の視点の画像とする
請求項６に記載の画像処理装置。
【請求項８】
前記割り当て部は、前記画像生成部により生成される前記表示装置における前記２以上の視点の数の視点の画像の誤差に基づいて、前記表示装置における前記２以上の視点の数より少ない数の視点の画像を前記所定の視点の画像とする
請求項６に記載の画像処理装置。
【請求項９】
前記割り当て部は、前記画像生成部により生成される前記表示装置における前記２以上の視点の数の視点の画像に対応する視差画像に基づいて、前記画像生成部により生成される前記表示装置における前記２以上の視点の数の視点の画像のうちの少なくとも１つを前記所定の視点の画像とする
請求項６に記載の画像処理装置。
【請求項１０】
前記所定の視点の数より少ない数の視点の画像から、前記所定の視点の画像を生成する画像生成部
をさらに備える
請求項１に記載の画像処理装置。
【請求項１１】
前記所定の視点の画像は、１視点の画像である
請求項１に記載の画像処理装置。
【請求項１２】
前記所定の視点の画像は、２以上の視点の画像であり、
前記割り当て部は、前記ユーザからの入力に基づいて、前記表示装置における前記２以上の視点のうちの連続する２以上の視点ごとに、前記所定の視点の画像を割り当てる
請求項１に記載の画像処理装置。
【請求項１３】
前記所定の視点の画像は、２以上の視点の画像であり、
前記割り当て部は、前記ユーザからの入力に基づいて、前記表示装置における前記２以上の視点のうちの、前記ユーザの左右の目の間隔に対応する所定の２視点に対して、前記所定の視点の画像のうちの間隔の短い２つの視点の画像を割り当て、前記ユーザの左右の目の間隔に対応する前記所定の２視点以外の２視点に対して、前記所定の視点の画像のうちの間隔の長い２つの視点の画像を割り当てる
請求項１に記載の画像処理装置。
【請求項１４】
前記割り当て部は、前記ユーザからの入力に基づいて、前記所定の視点の画像と所定の画像を、前記表示装置における前記２以上の視点に割り当てる
請求項１に記載の画像処理装置。
【請求項１５】
画像処理装置が、
ユーザからの入力に基づいて、所定の視点の画像を、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置における前記２以上の視点に割り当てる割り当てステップと、
前記割り当てステップの処理による割り当てに基づいて、前記所定の視点の画像を前記表示装置に表示させる表示制御ステップと
を含む画像処理方法。
【請求項１６】
コンピュータに、
ユーザからの入力に基づいて、所定の視点の画像を、２以上の視点の画像を視点ごとに異なる方向に向けて表示する表示装置における前記２以上の視点に割り当てる割り当てステップと、
前記割り当てステップの処理による割り当てに基づいて、前記所定の視点の画像を前記表示装置に表示させる表示制御ステップと
を含む処理を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１２−２２２６０５（Ｐ２０１２−２２２６０５Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８６３０７（Ｐ２０１１−８６３０７）
【出願日】平成２３年４月８日（２０１１．４．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月８日（２０１１．４．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]