画像処理装置、画像処理方法及びプログラム
【課題】ユーザによる画面の操作と複数視点画像とが重なった場合に、ユーザに違和感を生じさせないようにする。
【解決手段】本発明に係る画像処理装置１００は、複数視点画像による表示画像上で操作入力を行うことができる入力部１１８と、複数視点画像を構成する各画像の視差を検出する視差検出部１０６と、少なくとも入力部１１８により表示画像上での操作を行うことができる場合に、複数視点画像の視差を調整する視差制御部１０８と、を備える。これにより、ユーザによる画面の操作と複数視点画像とが重なった場合に、ユーザに違和感が生じてしまうことを確実に抑止することができる。
【解決手段】本発明に係る画像処理装置１００は、複数視点画像による表示画像上で操作入力を行うことができる入力部１１８と、複数視点画像を構成する各画像の視差を検出する視差検出部１０６と、少なくとも入力部１１８により表示画像上での操作を行うことができる場合に、複数視点画像の視差を調整する視差制御部１０８と、を備える。これにより、ユーザによる画面の操作と複数視点画像とが重なった場合に、ユーザに違和感が生じてしまうことを確実に抑止することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、左右の眼に異なる画像を表示することにより立体映像を提供するシステムが知られている。また、タッチパネル等を使用することにより表示画面上での操作を可能とした装置が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−９２６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
立体視画像の表示においては、物体を表示部より手前に（飛び出して）見えるようにすることができる。またタッチパネルなど表示部と入力部が一体となった入力装置では、ユーザは表示されたもの（オブジェクト）を直接操作している感覚が得られるので、操作感をより高めることができる。
【０００５】
しかしながら、立体視画像をタッチパネルで操作する場合、立体視画像とタッチパネルを操作する指（またはペンなど）とが重なると、ユーザに不自然な感覚を与えたり、不愉快感、違和感を生じさせる場合がある。例えば、立体視画像により表示面よりも手前（使用者側）に飛び出して表示されている部分がある画像を操作する場合、指やペンなどを表示部に近づけると、本来は表示部より手前に表示される部分が、表示部上に位置する指やペンなどによって隠されてしまい、両眼の視差としては表示面よりも手前に位置する物体が、指との相互の隠蔽関係では指の背後に隠れてしまい、使用者に不快感を与えてしまう問題があった。
【０００６】
また、タッチパネルの画面では、画面の拡大・縮小等を容易に行うことができるが、拡大時に、両眼の幅を超える視差が表示部で発生する可能性がある。この場合、本来は１つの物体である筈のものが、両目の幅を超える視差となったことにより、１つの物体として使用者が認識できず、２つの物体として認識されてしまい、使用者に不快感を与えてしまう問題があった。
【０００７】
上記の特許文献１に記載には、マウスカーソルがアイコンと重なり且つマウスを押したときはアイコン画像を通常状態よりも引っ込ませることを意図した技術が記載されている。しかしながら、アイコンの場合は、所定の位置に所定の形状に表示されるため、予め表示部より手前に表示されないように設定することは可能であるが、画像の場合は、他の機器で撮影された画像であったり、使用者の設定によりディスプレイより手前に表示されるように撮影された画像であったり、映像ソースは多種多様である。このため、ユーザによる画像の操作と立体画像とが重なり、ユーザに不自然さ、違和感を与えてしまう問題が生じる。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザによる画面の操作と複数視点画像とが重なった場合に、ユーザに違和感を生じさせないようにすることが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、複数視点画像による表示画像上で操作入力を行うことができる入力部と、前記複数視点画像を構成する各画像の視差を検出する視差検出部と、少なくとも前記入力部により前記表示画像上での操作を行うことができる場合に、前記複数視点画像の視差を調整する視差制御部と、備える、画像処理装置が提供される。
【００１０】
また、前記表示画像の光を出射して前記表示画像を表示する表示部を更に備えるものであってもよい。
【００１１】
また、前記視差制御部は、前記視差検出部で検出された視差に基づいて、前記表示画像の光を出射する表示面よりも手前に見える画像が前記表示面上に見えるように視差を調整するものであってもよい。
【００１２】
また、前記視差制御部は、前記表示面よりも手前に見える画像の視差を調整することに伴い、他の画像も前記表示面の奥側に移動するように視差を調整するものであってもよい。
【００１３】
また、前記視差制御部は、前記表示面よりも手前に見える画像のみが前記表示面上に見えるように視差を変更し、他の画像については視差を制御しないものであってもよい。
【００１４】
また、前記視差制御部は、前記視差検出部で検出された視差に基づいて、前記表示画像の光を出射する表示面よりも手前に見える画像が前記表示面よりも奥に見えるように調整するものであってもよい。
【００１５】
また、前記視差制御部は、少なくとも前記入力部により前記表示画像上での操作を行うことができる場合に、前記複数視点画像の視差を０に調整して２次元の画像とするものであってもよい。
【００１６】
また、前記表示画像の光を出射する表示面に操作者の指又は操作物が近接したことを検出する近接検出部を備え、前記視差制御部は、前記近接検出部により操作者の指又は操作物が近接したことが検出された場合に、前記複数視点画像の視差を調整するものであってもよい。
【００１７】
また、前記入力部は前記表示面に設けられた静電容量式のタッチセンサから構成され、
前記近接検出部は、前記タッチセンサから構成され、静電容量の変化に基づいて前記操作者の指又は操作物が近接したことを検出するものであってもよい。
【００１８】
また、前記視差検出部は、前記視差制御部による視差の調整の結果、正常な表示ができるか否かを判定し、前記視差検出部により正常な表示ができないと判定された場合に、前記表示画像を縮小する画像処理部を備えるものであってもよい。
【００１９】
また、前記画像処理部は、前記表示判定部により正常な表示ができないと判定された場合に、視差が人間の両目の間隔以下となるように画像を縮小するものであってもよい。
【００２０】
また、前記視差制御部は、前記入力部の操作により前記表示画像が拡大されることが検知された場合に、前記複数視点画像の視差を調整するものであってもよい。
【００２１】
また、前記視差検出部は、前記視差制御部による視差の調整の結果、正常な表示ができるか否かを判定し、前記視差検出部により正常な表示ができないと判定された場合に、前記表示画像を縮小する画像処理部を備えるものであってもよい。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、複数視点画像による表示画像上で操作入力を行うことができる入力部と、前記複数視点画像を構成する各画像の視差を検出する視差検出部と、前記表示画像の大きさが所定値以下の場合に、前記複数視点画像の視差を調整して、前記表示画像の光を出射する表示面よりも手前に見える画像が前記表示面上に見えるように視差を調整する視差制御部と、を備える、画像処理装置が提供される。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、複数視点画像による表示画像の周囲で操作入力を行うことができる入力部と、前記複数視点画像を構成する各画像の視差を検出する視差検出部と、少なくとも前記入力部により前記表示画像上での操作を行うことができる場合に、前記表示画像の周囲に２次元画像により前記入力部を表示する画像処理部と、を備える、画像処理装置が提供される。
【００２４】
また、上記課題を解決するために、本発明の別の観点によれば、表示部に表示された表示画像上で行われる操作入力を取得するステップと、前記複数視点画像を構成する各画像の視差を検出するステップと、少なくとも前記操作入力により前記表示画像上での操作を行うことができる場合に、前記複数視点画像の視差を調整するステップと、を備える、画像処理方法が提供される。
【００２５】
また、上記課題を解決するために、本発明の別の観点によれば、表示部に表示された表示画像上で行われる操作入力を取得する手段、前記複数視点画像を構成する各画像の視差を検出する手段、少なくとも前記操作入力により前記表示画像上での操作を行うことができる場合に、前記複数視点画像の視差を調整する手段、をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００２６】
本発明によれば、ユーザによる画面の操作と複数視点画像とが重なった場合に、ユーザに違和感を生じさせないようにすることが可能となる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態に係る画像処理装置の構成例を示す模式図である。
【図２】表示部に立体映像を表示し、表示部のタッチパネルをペンで操作した場合の理想的な表示状態を示す模式図である。
【図３】表示部に立体映像を表示し、表示部のタッチパネルをペンで操作した場合に、ユーザに実際に見える見え方を示す模式図である。
【図４】図３と同じ位置関係であるが、物体“Ｂ”とペンの位置関係について示す模式図である。
【図５】視差調整の例を示す模式図である。
【図６】図５と同様の方法で視差調整を行う場合であるが、ユーザに不自然さを与えてしまう例を示す模式図である。
【図７】図６の場合に、奥に見える物体Ｄの位置は調整せずに、手前に見える物体Ｃだけを視差調整する場合を示す模式図である。
【図８】手前に複数の物体が見えている場合を示す模式図である。
【図９】全ての物体をディスプレイ面上に表示して２次元画像を表示する場合を示す模式図である。
【図１０】２次元表示する場合に、１つの視点の画像を使って表示する例を示す模式図である。
【図１１】視差を調整した結果、視差が両眼の幅よりも広くなってしまう場合に、画像の縮小を行う例を示している。
【図１２】視差を調整した結果、視差が両眼の幅よりも広くなってしまう場合に、画像の縮小を行う例を示している。
【図１３】視差調整のための、視差量の検出方法の例を示す模式図である。
【図１４】表示部の表示画面に表示される画像にタッチパネル操作用の操作枠をつけた例を示す模式図である。
【図１５】図１４の表示部を縦に配置した例を示す模式図である。
【図１６】ペンがディスプレイ面に近接したことを検知する近接検知センサーを、タッチパネルで兼用する例を示す模式図である。
【図１７】画像操作時の動作を示すフローチャートである。
【図１８】タッチパネルを操作して画像の拡大する際の処理を示すフローチャートである。
【図１９】図１８の処理を行った場合に、拡大して３Ｄ表示ができなくなると、拡大できない旨の表示をして拡大率を制限する処理を示すフローチャートである。
【図２０】視差調整を行い手前に表示される部分をなくした上で、両眼の幅よりすべての部分の視差が小さくなるように縮小し表示を行う処理を示すフローチャートである。
【図２１】図１７と図２０の場合を切り替えて行う処理を示すフローチャートである。
【図２２】画像の横幅が両眼の幅より小さい場合を示すフローチャートである。
【図２３】タッチパネル等により画面を操作する表示となった場合に、視差変更を行うか、または２次元表示に切り換える処理を示すフローチャートである。
【図２４】タッチパネル等による画面の操作が予想される場合に、視差変更を行うか、または２次元表示に切り換える処理を示すフローチャートである。
【図２５】タッチパネル操作が可能な表示の場合に、画像が所定のサイズよりも小さい場合は、視差変更もしくは２次元表示にする処理を示すフローチャートである。
【図２６】図１４及び図１５で説明したような操作枠を設けた場合の処理を示すフローチャートである。
【発明を実施するための形態】
【００２８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２９】
なお、説明は以下の順序で行うものとする。
１．画像処理装置の構成例
２．本実施形態に係る画像処理装置の表示について
３．本実施形態の画像処理装置における処理
【００３０】
［１．画像処理装置の構成例］
図１は、本発明の一実施形態に係る画像処理装置１００の構成例を示す模式図である。画像処理装置１００は、例えば比較的小型のディスプレイを備える装置であって、立体映像（３Ｄ映像）を表示可能なデバイスである。画像処理装置１００に表示する画像としては、静止画、動画のいずれであっても良い。また、画像処理装置１００は、表示画面に応じてユーザが画面を操作することによって、各種の入力が可能とされたものである。この画像表示装置１００は、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータ（ＰＣ）、ゲーム機、テレビ受像機、電話、ＰＤＡ、画像再生装置、画像記録装置、カーナビ、携帯端末、プリンターなどで実現することができる。
【００３１】
なお、３Ｄの映像方式については特に限定されるものではない。例えば、左目用と右目用の映像を時系列的に交互に表示し、映像の表示と同期してユーザの左右の目に装着した眼鏡シャッターを開閉することにより、左目用と右目用の映像をユーザの左右の目にそれぞれ提供するシステムを用いることができる。また、眼鏡シャッターを用いることなく、偏光板の作用により左右の映像をユーザの左右の目にそれぞれ提供するシステムを用いてもよい。
【００３２】
図１に示すように、画像処理装置１００は、読み出し部１０２、画像処理部１０４、視差検出部１０６、視差制御部１０８、表示部１１０、制御部１１２、メモリ１１４、近接検出部１１６を備える。読み出し部１０２には、メディア２００から立体映像を構成する右眼用画像及び左目用画像のデータが送られる。メディア２００は、立体映像データを記録した記録媒体であり、一例として、画像処理装置１００の外部から装着される。また、入力部１１８は、表示部１１０上に設けられたタッチパネルである。画像処理装置１００には、入力部１１８を介してユーザによる操作情報が入力される。入力部１１８に入力された情報は、制御部１１２へ送られる。入力部１１８の操作に基づいて、現在のモードが画像自体を操作する画面（タッチパネル操作が可能な画面）であるか否かを制御部１１２で判断する。
【００３３】
図１に基づいて、画像処理装置１００における基本的な処理を説明すると、先ず、メディア２００から画像処理装置１００に送られた左右の映像データは、読み出し部１０２にて読み出され、画像処理部１０４にて画像処理が行われる。画像処理部１０４では、左右の画像データの大きさの適正化（リサイズ）、画質調整など、表示用の画像に加工する処理を行う。画像処理部１０４は、後述するように、視差を調整した結果、視差が両目の幅よりも大きくなる場合等において、画像を縮小する処理を行う。
【００３４】
視差検出部１０６では、左右の画像データを比較し、動きベクトルの検出、ブロックマッチング等の手法により、左右映像の視差を検出する。そして、視差検出部１０６では、表示面よりも手前に位置する画像があるか否か、視線が交差しない部分があるか否かなどを検出する。
【００３５】
視差制御部１０８は、表示部１１０のタッチパネル操作が行われる場合に、視差を変更する処理を行う。視差制御部１０８は、表示面よりも手前に位置する部分や視線が交差する部分がないように視差を調整する。
【００３６】
表示部１１０は、立体映像を表示するディスプレイであり、液晶表示ディスプレイ（ＬＣＤ）等から構成される。視線調整部１０８で視差が調整された画像は、表示部１１０に供給されて表示される。なお、表示部１１０は、画像処理装置１００と一体であっても別体であっても良い。また、表示部１１０は、入力部１１８であるタッチパネル（タッチセンサ）を一体に備えている。ユーザは、表示部１１０に表示された立体映像を視認しながら、タッチパネル操作（入力部１１８の操作）を行うことができる。なお、表示部１１０へユーザの指、ペンなどが近接したことを判断する場合は、近接検出部１１６により近接したことの検出を行い、制御部１１２で判断を行う。入力部１１８として、近接を検知可能な静電容量式のタッチセンサ等を用いた場合、近接検出部１１６は表示部１１０と同一面にある入力部１１８と兼用することができる。
【００３７】
制御部１１２は、画像処理装置１００の全体を制御する構成要素であって、中央演算処理装置（ＣＰＵ）等から構成される。メモリ１１４は、ハードディスク、ＲＡＭ、ＲＯＭ等から構成され、左右の映像データを格納する。また、メモリ１１４は、画像処理装置１００を機能させるためのプログラムを格納することができる。近接検出部１１６は、ユーザによるタッチパネル操作が行われる場合に、ユーザの指、ペン（スタイラス）などが表示部１１０へ近接したことを検出する。なお、タッチパネルが静電容量を検出する静電容量式のタッチセンサで構成される場合、静電容量の変化により指、ペン等の近接を検出することができるため、近接検出部１１６はタッチパネルにより構成することができる。
【００３８】
図１に示す各構成要素は、バス１２０によって接続されている。図１に示す各構成要素は、回路（ハードウェア）、または中央演算処理装置（ＣＰＵ）とこれを機能させるためのプログラム（ソフトウェア）によって構成することができる。
【００３９】
［２．本実施形態に係る画像処理装置の表示について］
図２は、表示部１１０に立体映像を表示し、表示部１１０のタッチパネルをペンで操作した場合の理想的な（自然な）表示状態を示す模式図である。図２（ａ）は、タッチパネルを操作するペンが表示部１１０の表示画面上に存在しない場合を示しており、表示部１１０の左側に３Ｄ表示物“Ａ”が表示され、右側に３Ｄ表示物“Ｂ”が表示されている様子を示している。また、図２（ｂ）は、図２（ａ）の立体映像を表示している際に、表示部１１０のタッチパネルをペンで操作している様子を示している。
【００４０】
図２（ａ）及び図２（ｂ）の場合、“Ｂ”の部分が表示部１１０の表示面（ディスプレイ面）よりも手前（飛び出して）に表示され、“Ａ”の部分が表示面よりも奥に表示される。図２（ｂ）は、表示面をペンで操作した場合に、本来の位置関係での理想的な見え方を示したもので、表示面を操作しているペンよりも“Ｂ”が手前に見えている。従って、ペンは“Ｂ”の背後に隠れている。一方、“Ａ”は表示面よりも奥にあるため、“Ａ”はペンの背後に隠れる。図２（Ｃ）は、図２（Ｂ）の“Ａ”、“Ｂ”、ディスプレイ面及びペンの奥行き方向の位置関係を示す図であって、図２（ｂ）を上側から見た状態を示す模式図である。図２（ｃ）に示すように、位置関係としては奥から、“Ａ”、ディスプレイ面、ペン、“Ｂ”の順になる。従って、本来の見え方は、図１（Ｂ）のようになるのが望ましい。
【００４１】
図３は、表示部に立体映像を表示し、表示部のタッチパネルをペンで操作した場合に、ユーザに実際に見える見え方を示している。図３（ａ）及び図３（ｃ）は、図２（ａ）及び図２（ｃ）とそれぞれ同一である。図３（ｂ）は、３Ｄ表示画面上にペンを置いた場合に、ユーザに実際に見える見え方を示している。図３（ｂ）に示すように、本来“Ｂ”よりも奥にあるペンが“Ｂ”の手前に見えており、ペンが“Ｂ”を隠している。ペンが存在しない場合、ユーザには３Ｄ表示により“Ｂ”が手前に見えているが、実際の光は表示部１１０のディスプレイ面から発光されており、ディスプレイ面はペンより奥にあるため、このような現象が発生する。この場合、使用者は２つの矛盾する奥行き情報を受け取るため、不自然さを感じ、不快な印象を持つことになる。
【００４２】
図４は、図３と同じ位置関係であるが、物体“Ｂ”とペンの位置関係について示す模式図である。図４（ａ）は、使用者からの見え方を示す模式図である。図４（ｂ）及び図４（ｃ）は、奥行き方向の位置関係を示す図であって、図４（ａ）を左側面から見た状態を示している。図４（ｂ）は、ペンが無い場合の位置関係を示しており、図４（ｃ）は、ペンがある場合の見え方の位置関係を示している。図４（ｃ）に示すように、ペンがある場合は、本来ペンよりも手前に見える筈の“Ｂ”の映像が表示面上でペンに遮られてしまうため、表示面よりも手前に見える筈の“Ｂ”は、ペンの領域だけ凹んだように見えてしまう。このように、実際の物体を立体視する場合には、物体の位置とその物体が発する光の発生源とは同じ位置であるが、立体画像の場合は、物体の見かけ上の位置と光の発生源の位置とが一致しないため、このような現象が起きてしまい、ユーザは映像の不自然さを感じてしまう。
【００４３】
本実施形態では、このような現象を解消するために、ユーザの指やペンが表示面上にある場合は、視差調整を行う。図５は、視差調整の例を示す模式図である。図５の上段の図は、図２（ｃ）と同様に、表示面を上から見たときの奥行き方向の位置を模式的に示している。また、図５の下段の図は、左目用画像と右目用画像のそれぞれにおける物体の表示状態を示している。また、図５の左側の図は視差調整前を示しており、右側の図は視差調整後を示している。
【００４４】
図５の左側の図は視差調整前の状態を示しており、手前と奥に１つずつ物体が見えている（物体Ｃ（●）、物体Ｄ（○））。これを視差調整して右図のようにして、手前に見える物体Ｃを表示部１１０の表示面と同じ位置か、もしくは表示面よりも奥になるようにする。これにより、表示面よりも手前に位置する物体が無くなるため、表示面上にペンを置いた場合であっても、ペンが映像よりも手前に位置するため、映像とペンとの位置関係で不自然さが生じることを回避できる。
【００４５】
より詳細に説明すると、図５の上段に示す図は、ユーザと表示部１１０を上方から見た状態を示しており、ディスプレイ面、ユーザの右目、左目、物体Ｃ、物体Ｄの位置を示している。また、下段に示す図は、表示部１１０に表示される左目用画像と右目用画像を示している。上段の図に示すように、右目用画像の物体Ｃと右目を直線で結び、左目用画像の物体Ｃと左目を直線で結ぶと、２つの直線の交点が物体Ｃの奥行き方向の位置となる。同様に、右目用画像の物体Ｄと右目を直線で結び、左目用画像の物体Ｄと左目を直線で結ぶと、２つの直線の交点が物体Ｄの奥行き方向の位置となる。なお、物体の奥行き方向の位置は、左目用画像と右目用画像における物体の位置と、右目、左目の位置に基づいて、他の図においても同様に定められる。
【００４６】
図５の右側の図では、物体Ｃについて、左目用画像と右目用画像の位置を同一とし、視差を０とすることで、物体Ｃが表示面上に表示される。また、これに伴い、物体Ｄについては左目用画像と右目用画像の視差が左側の図よりも大きくなるため、物体Ｄは表示面に対して左側の図より奥側に表示される。このように、図５に示す例では、物体Ｃ、物体Ｄの表示位置を共に奥側へ移動することで、物体Ｃは表示面上に表示され、物体Ｄは表示面に対してより奥の位置に表示される。従って、表示面上にペンが置かれた場合に、ペンよりも物体Ｃ、物体Ｄは奥に表示されるため、ユーザに不自然さや、違和感等が生じてしまうことを抑止できる。なお、物体Ｃについても、表示面よりも奥の位置に表示するようにしても良い。
【００４７】
図６は、図５と同様の方法で視差調整を行う場合であるが、ユーザに不自然さを与えてしまう例を示している。図６の左側の図の位置関係に見える画像（物体Ｃ、物体Ｄ）を視差調整して、図５と同様の方法により物体Ｃをディスプレイ面に表示し、表示面よりも手前に物体が表示されないようにした場合、右側の図のようになり、両眼の幅よりも広い視差が生じてしまう部分が発生する。
【００４８】
より詳細には、図６の右側の下段の図に示すように、物体Ｃの視差を０とするために、左目用画像の物体Ｃ、物体Ｄを左方向に移動すると、左目用画像と右目用画像における物体Ｄの視差が過度に大きくなり、両目の幅よりも大きな視差となってしまう。この場合、物体Ｄについては、左右の目の視線が交差しないため、ユーザは１つの物体として認識することができず、ユーザの目には物体Ｄが二重に見えてしまう。
【００４９】
図７は、図６の場合に、奥に見える物体Ｄの位置は調整せずに、手前に見える物体Ｃだけを視差調整する場合を示す模式図である。左側の図では、物体Ｃは手前に見えており、物体Ｄは奥に見えている。この状態から、右目用画像と左目用画像のそれぞれにおいて、物体Ｃの位置のみを調整して、物体Ｃの視差が０となるようにする。具体的には、左側の図に示す左目用画像の物体Ｃを左方向に移動し、右目用画像の物体Ｃを右方向に移動する。一方、左目用画像と右目用画像における物体Ｄの位置は変更しない。これにより、手前に見えていた物体Ｃは、表示面上に見えるようになる。一方、物体Ｄは元の視差のままであり、表示面の奥の同じ位置に見えている。このように、手前に見える物体が１つだけであり、そのほかの物体が奥行き方向に離れている場合は、手前に見えている物体のみの位置を調整しても良い。
【００５０】
図８は、手前に複数の物体が見えている場合を示している。図８の左側の図では、物体Ｃと物体Ｅが表示面よりも手前に見えており、物体Ｄが表示面よりも奥に見えている場合を示している。この場合、手前に見えている物体Ｃと物体Ｅのみの視差を調整して、物体Ｃと物体Ｅがディスプレイ面上に見えるようにすることで、ユーザの指やペンなどがディスプレイ面上に位置した場合にユーザに違和感が生じてしまうことを回避できる。ここで、全ての物体の視差を一律に調整することなく、手前に見えている物体の視差のみを調整することを、「視差変更」と称することとする。一方、図６などで既に説明した全ての物体の視差を調整することを、「視差調整」と称することとする。図８のような視差変更を行った場合、元々ディスプレイ面よりも手前の異なる奥行き位置に見えていた物体Ｃと物体Ｅがともにディスプレイ面上に位置するため、物体Ｃと物体Ｅの相互の奥行き感がなくなってしまう。
【００５１】
図９は、全ての物体をディスプレイ面上に表示して２次元画像を表示する場合を示している。図６で説明したように、ディスプレイ面よりも手前に物体を表示しないように視差調整した際に、両眼の幅より視差が大きくなってしまう部分が発生する場合は、視差調整を行い、２次元で映像を表示するようにする。図９の例では、物体Ｃ、物体Ｄ、物体Ｅのそれぞれの視差を０とすることで、物体Ｃ、物体Ｄ及び物体Ｅを２次元で表示している。この場合、図９の下段に示すように、物体Ｃ、物体Ｄ及び物体Ｅのそれぞれについて、左目用画像と右目用画像の位置を調整して視差を０にする。
【００５２】
図１０は、２次元表示する場合に、１つの視点の画像を使って表示する例を示す模式図である。図１０に示す例では、右側の図の下段に示すように、右目用画像として左目用画像と同一の画像を表示する。これにより、特に右目用画像と左目用画像の視差を調整することなく、２次元表示を行うことが可能である。従って、ブロックマッチング等により視差を検出する処理を行う必要がなく、図９の場合と比較すると、より簡素な処理で２次元画像を表示することが可能である。
【００５３】
図１１及び図１２は、図６で説明したように、視差を調整した結果、視差が両眼の幅よりも広くなってしまう場合に、画像の縮小を行う例を示している。図１１の右側は、左側に対して左右の画像をともに縮小した場合を示している。図１１に示すように、画像の大きさは一定値以下となると、視線が交差しない画像を作成することができない。従って、図６の右側の図で説明したような、両眼の幅よりも広い視差が生じてしまう部分は発生しない。
【００５４】
図１２の左側の図は、図６の右側の図に対応しており、両眼の幅よりも広い視差が生じてしまう部分が発生した状態を示している。図１２の右側の図は、図１１の原理を用いて、図１２の左側の図を縮小した状態を示している。図１２の左側の図（図６の右側の図）に示すように、視差を調整した結果、両眼の幅よりも視差が大きくなると、３Ｄ画像を表示することはできないため、図１２の右側の図に示すように、左右の画像を縮小して視差を両目の幅よりも狭くする。これにより、手前に表示されていた部分をディスプレイ面上に表示できるとともに、図６の右側の図のように視差が両眼の幅よりも大きくなってしまうことを回避できる。従って、縮小を行うことで、視差を両眼の幅よりも狭くすることができ、物体が二重に見えてしまうことを回避できる。
【００５５】
図１３は、視差調整のための、視差量の検出方法の例を示す模式図である。視差を求める２つの画像（左目用画像と右目用画像）の一方をブロックに分割して、各ブロックを他方の画像と比較した場合に、各ブロックが他方の画像のどの部分との間で誤差が最小になるかを求める。そして、他方の画像上での誤差が最小となる位置と、もともとのブロックの位置の差が視差量となる。図１３に示すように、視差量は、ブロック毎にベクトル値として求められる。図１３の例では、右目用画像をブロックに分割して、各ブロックを左目用画像と比較し、左目用画像と各ブロックとの間で誤差が最小になる位置を探索する。そして、誤差が最小となる位置とブロック抽出時の位置との差を動きベクトルとして、画面全体の各ブロックについての動きベクトルを算出する。
【００５６】
図１３に示す例では、右目用画像のブロックに対して、左目用画像の対応する位置が左側にずれている場合は、動きベクトルは右から左へ向かうベクトルとなる。図５の左側の図等に示すように、右目用画像のブロックに対して左目用画像の対応する位置が左側にずれている場合は、表示面よりも奥に物体が表示される（図５の左側の図に示す物体Ｄ）。一方、右目用画像のブロックに対して左目用画像の対応する位置が右側にずれている場合は、表示面よりも手前に物体が表示される（図５の左側の図に示す物体Ｃ）。従って、図１３に示すように、各ブロックの動きベクトルを算出した場合に、動きベクトルが右から左へ向かうベクトルの場合は、そのブロックに対応する物体が表示面の奥に表示され、動きベクトルが左から右へ向かうベクトルの場合は、そのブロックに対応する物体が表示面の手前に表示されることが判る。また、動きベクトルが右から左へ向かうベクトルの場合、ベクトルの絶対値が大きいほど、そのブロックに対応する物体が表示面のより奥に表示される。動きベクトルが左から右へ向かうベクトルの場合、ベクトルの絶対値が大きいほど、そのブロックに対応する物体が表示面のより手前に表示される。なお、図１３に示す処理は、図１に示す視差検出部１０６で行われる。
【００５７】
視差を調整する際には、動きベクトルが左から右へ向かうベクトルのブロックの中から、その絶対値（＝Ａ）が最大のブロック（ここでは、ブロック１とする）を抽出する。この抽出されたブロック１の画像は、最も手前に位置するので、このブロックの動きベクトルの大きさを“０”に調整する。そして、他のブロックについては、各ブロックの動きベクトルからブロック１の動きベクトルだけ減算する処理を行う。これにより、図６で説明したように、全ての物体の奥行き方向の位置を一律に奥側へ移動することができる。なお、図８で説明したような視差変更を行う場合は、動きベクトルが左から右へ向かう全てのブロックの動きベクトルの大きさを“０”に調整する。なお、このような視差の調整は、図１に示す視差制御部１０８で行われる。
【００５８】
図１４は、表示部１１０の表示画面１１１に表示される画像にタッチパネル操作用の操作枠１１２をつけた例を示す模式図である。ここで、操作枠１１２は２次元画像で表示する。操作枠１１２を画像の外側に設けることで、ペンが操作枠１１２を操作した場合に、３Ｄ表示が行われている画像の表示領域と重なることがないため、３Ｄ表示されている画像とペンが重なることによる不自然さ、違和感を抑止できる。ここで、図１４の上段は、表示画面１１１１内に複数の画像をサムネイルの状態で表示し、各画像の周囲に操作枠１１２を設けた例を示している。また、図１４の下段は、表示画面１１１内に１の画像を表示し、１の画像の周囲に操作枠１１２を設けた例を示している。
【００５９】
図１５は、図１４の表示部１１０を縦に配置した例を示す模式図である。図１５の例においても、タッチパネル操作の際に指やペンが３Ｄの画像に直接触れることがないため、不快感を無くすことが可能である。
【００６０】
図１６は、ペンがディスプレイ面に近接したことを検知する近接検知センサーを、タッチパネルで兼用する例を示す模式図である。例えば、静電容量式のタッチパネルを用いた場合、近接検知センサー（近接検出部１１６）をタッチパネルで兼用することが可能である。
【００６１】
図１６の上段の図は、ディスプレイ面と平行な方向から見た状態を示しており、ディスプレイ面にペンが接近または接触した場合を示している。また、図１６の中段の図は、ディスプレイ面の上側から状態を示しており、ディスプレイ面にペンが接近または接触した場合を示している。また、図１６の下段の図は、ディスプレイ面にペンが接近または接触した場合に、タッチセンサで検出される静電容量の変化を示しており、ドットを付した領域の静電容量が高くなった状態を示している。
【００６２】
図１６の下段の図に示すように、ペンが近づいてくる過程では、ペンと近接している場所の静電容量が変化し、ペンが表示画面に接触すると静電容量の変化がより大きくなる。従って、これを用いてペンがどの程度近接しているか、あるいは接触しているかを判断することができる。
【００６３】
［３．本実施形態の画像処理装置における処理について］
次に、本実施形態の画像処理装置１００による処理について説明する。なお、以下に示す各処理は、制御部１１２の制御によって図１の各構成要素の機能を制御することによって実現することができる。図１７は、画像操作時の動作を示すフローチャートである。先ず、ステップＳ１０１では、画像を読み出し、ステップＳ１０２で画像を操作可能な画面であるか否か判断する。すなわち、ステップＳ１０２では、タッチパネル操作により画面を操作できるモードであるか否かを判断する。この場合に、近接検出部１１６によりユーザの指またはペン等が表示面に近づいたことが検知された場合に、タッチパネル操作により画面を操作できるモードであると判断することができる。ステップＳ１０２において、操作可能な画面でない場合は、ステップＳ１０６へ進み、画面をそのまま表示する。
【００６４】
一方、タッチパネルによる操作が可能な画面の場合は、ステップＳ１０３へ進み、表示面より手前になる部分があるか否かを判断する。モードの切り換えの設定がユーザの操作によって行われる場合、タッチパネル操作が可能な画面に設定されたときはステップＳ１０２からステップＳ１０３へ進み、タッチパネル操作ができない画面に設定されたときはステップＳ１０２からステップＳ１０６へ進む。
【００６５】
ステップＳ１０３では、３Ｄ表示により表示面よりも手前に表示されている物があるか否かを判断する。そして、表示面よりも手前に表示される部分が存在しない場合は、ステップＳ１０６へ進み、画像をそのまま表示する。一方、表示面よりも手前に表示される物が存在する場合は、ステップＳ１０４へ進み、視差調整した場合に正しい表示になるか否かを判断する。すなわち、ステップＳ１０４では、視差調整をした場合に、図６の右側の図に示したように、両眼の幅より視差が大きくなる部分があるか否かを判断し、正しい表示になる場合、つまり、両目の幅よりも視差が大きくなる部分が無い場合は、ステップＳ１０５へ進む。ステップＳ１０５では、表示面よりも手前に位置する部分が表示面上に表示されるように視差調整を行う。これにより、ステップＳ１０６では、表示面よりも手前にある部分をなくした状態で画像が表示される。一方、ステップＳ１０４で正しい表示にならないと判断された場合は、ステップＳ１０７へ進み、視差変更を行うか、または、図１０で説明したように、片側の視点の画像のみを用いて二次元表示を行う。ここで、視差変更とは、図７で説明したように、手前に見える部分のみを表示面上に移動する処理をいう。これにより、表示面よりも手前になる部分を無くした状態で３Ｄ画像を表示することができる。
【００６６】
図１８は、タッチパネルを操作して画像を拡大する際の処理を示すフローチャートである。画像の拡大が行われると、拡大に伴って左右の画像の視差が大きくなり、視差が両目の幅よりも大きくなると、図６で説明したように物が二重に見えてしまう事態が発生する。このため、図１８の処理では、拡大操作が行われるたびに、正しい表示が行われるか否かを判定し（ステップＳ２０４）、正しい表示にならない場合は２次元画像で表示を行う。これにより、拡大操作が行われる場合に、正常な表示を維持するとともに、ユーザの指やペンが表示面の手間に表示される画像と重ならないようにすることができる。
【００６７】
図１７では、ステップＳ１０２で画像自体を操作する画面であるか否かを判定したが、図１８のステップＳ２０２では、ステップＳ１０２の代わりに、画像の拡大操作が行われたか否かを判定する。画像の拡大操作が行われた場合は、ステップＳ２０３へ進み、拡大する画像に表示される物体が表示面よりも手前になるか否かを判定する。一方、画像の拡大操作が行われない場合は、ステップＳ２０６へ進む。ステップＳ２０３〜Ｓ２０７の処理は、図１６のステップＳ１０３〜Ｓ１０７と同様である。そして、ステップＳ２０２からステップＳ２０６へ進んだ場合は、ステップＳ２０６にて拡大した画像を表示する。これにより、拡大された画像内で表示面よりも手前の位置に物体が表示されてしまうことを回避できる。
【００６８】
また、画像の拡大率が大きく、ステップＳ２０４において、視差調整しても正しい表示にならない場合は、ステップＳ２０７へ進み、視差変更もしくは２Ｄによる表示を行う。従って、拡大が行われる毎に正しい表示になるか否かがステップＳ２０４で判断され、正しい表示ができない場合は視差変更もしくは２Ｄによる表示を行うことで、ユーザが不自然さを感じてしまうことを抑止できる。なお、視差変更を行う場合は、上述したように、表示面の手前に位置する物体の視差のみを変更するため、表示面よりも奥に位置する物体の視差は変更されない。従って、図６の右側の図に示したような、物体が２重に見えてしまう事態を回避することが可能である。
【００６９】
また、図１８では、ステップＳ２０６の後、ステップＳ２０８へ進み、画像の拡大・縮小操作が行われたか否かを更に判断する。そして、画像の拡大・縮小操作が行われた場合は、ステップＳ２０９へ進み、画像の拡大・縮小を行う。ステップＳ２０９の後はステップＳ２０３以降の処理へ戻り、拡大・縮小が行われた後の画像について、表示面よりも手前に位置する画像があるか否かを判断する。
【００７０】
また、ステップＳ２０７の後はステップＳ２１１へ進み、画像の拡大・縮小操作が行われたか否かを判定する。そして、画像の拡大・縮小操作が行われた場合は、ステップＳ２１２へ進み、画像の拡大・縮小操作を行い、ステップＳ２１０で拡大・縮小後の画像を表示する。
【００７１】
以上のように、図１８の処理によれば、画像を拡大して３Ｄ表示ができなくなると、２Ｄ表示を行うことができる。従って、画像の拡大によって図６の右側の図に示すように３Ｄ表示ができなくなる場合は、２Ｄ表示に切り換えることができるため、拡大に起因して３Ｄ表示ができなくなることを回避できる。
【００７２】
図１９は、図１８の処理を行った場合に、拡大して３Ｄ表示ができなくなると、拡大できない旨の表示をして拡大率を制限する処理を示している。図１９では、図１８に対して、ステップＳ２０４で“ＮＯ”判定がされた場合の処理が異なっている。ステップＳ２０４において、視差調整した場合に正しい表示にならないことが判定されると、ステップＳ２１３へ進む。ステップＳ２１３では、直前の拡大前の画像に戻す処理を行う。ステップＳ２１３の後はステップＳ２１４へ進み、拡大できない旨の表示を行う。これにより、ユーザは、更なる拡大ができないことを認識することができる。
【００７３】
図２０は、正しい表示ができない場合に、図１７で説明した視差変更または二次元表示を行う代わりに、視差調整を行い手前に表示される部分をなくした上で、すべての部分の視差が両眼の幅より小さくなるように縮小し表示を行う処理を示すフローチャートである。この処理は、図１２の表示処理に対応する。図２０の処理は、ステップＳ３０７以外の処理は図１７と同様であり、図２０のステップＳ３０１〜Ｓ３０６は図１７のステップＳ１０１〜Ｓ１０６に対応する。ステップＳ３０４で、視差調整をした場合に正しい表示にならないと判断された場合、ステップＳ３０７へ進む。ステップＳ３０７では、視差調整をして表示面よりも手前になる部分をなくし、更に、図１２で説明したように、視差が交差しない部分がなくなるまで画像の表示部分を縮小する。そして、次のステップＳ３０６では、縮小した画像を表示する。この処理によれば、画像は縮小されるものの、多視点表示（立体映像表示）を維持することができる。
【００７４】
図２１は、図１７と図２０の場合を切り替えて行う処理を示すフローチャートである。ここでは、視差調整した場合に正しい表示にならない場合は、ステップＳ４０４に進み、表示サイズと３Ｄ表示のいずれが重要かを判断する。そして、３Ｄ表示の方が重要な場合は、ステップＳ４０５へ進み、視差調整を行うとともに、視線が交差しない部分がなくなる大きさへ縮小して表示を行う。つまり、この場合は図２０のステップＳ３０７の処理を行う。これにより、画面のサイズは小さくなるが、３Ｄ表示を行うことができる。
【００７５】
また、ステップＳ４０４において、３Ｄ表示よりも表示サイズの方が重要な場合は、ステップＳ４０８へ進み、視差を変更するか、もしくは片側の画像のみを抽出して２Ｄでの表示を行う。つまり、この場合は、図１７のステップＳ１０７の処理を行う。このように、図２１の処理によれば、３Ｄなどの多視点表示と、画像の大きさのどちらが重要か判断して、視差調整して縮小表示するか、２次元（または視差変更）で表示するかを決定する。この判断は使用者が入力部で設定してもよいし、画像処理装置１００側で表示の状態に応じて判断してもよい。
【００７６】
図２２は、画像の横幅が両眼の幅より小さい場合を示すフローチャートである。人間の両目の幅は、通常、５ｃｍ〜７ｃｍ程度であるため、図２２は、画像の横幅が５ｃｍ〜７ｃｍ程度以下の場合に該当する。この場合は、画像の幅が狭く、図６の右側の図に示したような状況が発生することがないため、視差調整により手前に表示する部分を表示面に移動するのみでよく、視差調整が可能である。換言すれば、図６の右側の図に示したような状況は発生しないため、図１７のステップＳ１０４の処理が不要となる。その他の処理は、図１７と同様である。なお、この場合、視差が交差しない部分は画像の横幅の外になるため、表示されることがない。
【００７７】
図２３は、タッチパネル等により画面を操作する表示となった場合に、視差変更を行うか、または２次元表示に切り換える処理を示すフローチャートである。ステップＳ６０２において、画面自体を操作する画面であることが判定されると、ステップＳ６０３へ進み、視差変更を行うか、または片側の画像のみを抽出して２次元での表示を行う。これにより、表示面よりも手前に表示される物体がなくなるため、タッチパネル操作の際にユーザに違和感が生じてしまうことを抑止できる。
【００７８】
図２４は、タッチパネル等による画面の操作が予想される場合に、視差変更を行うか、または２次元表示に切り換える処理を示すフローチャートである。ステップＳ７０２において、画面にペンや指が近づいたことが検出されると、ステップＳ７０３へ進み、視差変更を行うか、または片側の画像のみを抽出して２次元表示を行う。このように、実際に画面操作が行われていない場合においても、ユーザの指やペンなどの近接に応じて、画面の操作が予想される場合に視差変更または２次元での表示を行う。なお、上述したように、ペン、又は指などが近接したことは、近接検出部１１６や、静電容量式のタッチパネルにより検出する。
【００７９】
図２５は、タッチパネル操作が可能な表示の場合に、画像が所定のサイズよりも小さい場合は、視差変更もしくは２次元表示にする処理を示すフローチャートである。このように、例えばサムネイルなどの小さい画像の場合は立体感が弱くなり易いため、所定のサイズよりも小さい画像を表示することを条件として、視差変更または２次元表示にすることもできる。
【００８０】
図２６は、図１４及び図１５で説明したような操作枠１１２を設けた場合の処理を示すフローチャートである。ステップＳ９０２において、タッチパネルなどで画面自体を操作する画面であると判定された場合は、ステップＳ９０３にて画像と関連付けた２次元の操作枠１１２を表示する。これにより、ユーザは指やペンで操作枠１１２を操作し、３次元の画像上に指またはペンが位置することがないため、３Ｄ画像と指やペンなどが重なることにより違和感の発生を抑止できる。
【００８１】
以上説明したように本実施形態によれば、手前に表示されるものがなくなるので、画像の中に指やペンと不自然な関係をもつ部分を無くすことができ、使用者に不快感を与えてしまうことを抑止できる。また、両眼の幅より広い視差を有する画像が表示されることがないため、同一物体が二重に見えてしまうことを抑止でき、使用者が違和感を感じることを確実に抑えることが可能となる。
【００８２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８３】
１００ 画像処理装置
１０４ 画像処理部
１０６ 視差検出部
１０８ 視差制御部
１１０ 表示部
１１６ 近接検出部
１１８ 入力部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、左右の眼に異なる画像を表示することにより立体映像を提供するシステムが知られている。また、タッチパネル等を使用することにより表示画面上での操作を可能とした装置が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−９２６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
立体視画像の表示においては、物体を表示部より手前に（飛び出して）見えるようにすることができる。またタッチパネルなど表示部と入力部が一体となった入力装置では、ユーザは表示されたもの（オブジェクト）を直接操作している感覚が得られるので、操作感をより高めることができる。
【０００５】
しかしながら、立体視画像をタッチパネルで操作する場合、立体視画像とタッチパネルを操作する指（またはペンなど）とが重なると、ユーザに不自然な感覚を与えたり、不愉快感、違和感を生じさせる場合がある。例えば、立体視画像により表示面よりも手前（使用者側）に飛び出して表示されている部分がある画像を操作する場合、指やペンなどを表示部に近づけると、本来は表示部より手前に表示される部分が、表示部上に位置する指やペンなどによって隠されてしまい、両眼の視差としては表示面よりも手前に位置する物体が、指との相互の隠蔽関係では指の背後に隠れてしまい、使用者に不快感を与えてしまう問題があった。
【０００６】
また、タッチパネルの画面では、画面の拡大・縮小等を容易に行うことができるが、拡大時に、両眼の幅を超える視差が表示部で発生する可能性がある。この場合、本来は１つの物体である筈のものが、両目の幅を超える視差となったことにより、１つの物体として使用者が認識できず、２つの物体として認識されてしまい、使用者に不快感を与えてしまう問題があった。
【０００７】
上記の特許文献１に記載には、マウスカーソルがアイコンと重なり且つマウスを押したときはアイコン画像を通常状態よりも引っ込ませることを意図した技術が記載されている。しかしながら、アイコンの場合は、所定の位置に所定の形状に表示されるため、予め表示部より手前に表示されないように設定することは可能であるが、画像の場合は、他の機器で撮影された画像であったり、使用者の設定によりディスプレイより手前に表示されるように撮影された画像であったり、映像ソースは多種多様である。このため、ユーザによる画像の操作と立体画像とが重なり、ユーザに不自然さ、違和感を与えてしまう問題が生じる。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザによる画面の操作と複数視点画像とが重なった場合に、ユーザに違和感を生じさせないようにすることが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、複数視点画像による表示画像上で操作入力を行うことができる入力部と、前記複数視点画像を構成する各画像の視差を検出する視差検出部と、少なくとも前記入力部により前記表示画像上での操作を行うことができる場合に、前記複数視点画像の視差を調整する視差制御部と、備える、画像処理装置が提供される。
【００１０】
また、前記表示画像の光を出射して前記表示画像を表示する表示部を更に備えるものであってもよい。
【００１１】
また、前記視差制御部は、前記視差検出部で検出された視差に基づいて、前記表示画像の光を出射する表示面よりも手前に見える画像が前記表示面上に見えるように視差を調整するものであってもよい。
【００１２】
また、前記視差制御部は、前記表示面よりも手前に見える画像の視差を調整することに伴い、他の画像も前記表示面の奥側に移動するように視差を調整するものであってもよい。
【００１３】
また、前記視差制御部は、前記表示面よりも手前に見える画像のみが前記表示面上に見えるように視差を変更し、他の画像については視差を制御しないものであってもよい。
【００１４】
また、前記視差制御部は、前記視差検出部で検出された視差に基づいて、前記表示画像の光を出射する表示面よりも手前に見える画像が前記表示面よりも奥に見えるように調整するものであってもよい。
【００１５】
また、前記視差制御部は、少なくとも前記入力部により前記表示画像上での操作を行うことができる場合に、前記複数視点画像の視差を０に調整して２次元の画像とするものであってもよい。
【００１６】
また、前記表示画像の光を出射する表示面に操作者の指又は操作物が近接したことを検出する近接検出部を備え、前記視差制御部は、前記近接検出部により操作者の指又は操作物が近接したことが検出された場合に、前記複数視点画像の視差を調整するものであってもよい。
【００１７】
また、前記入力部は前記表示面に設けられた静電容量式のタッチセンサから構成され、
前記近接検出部は、前記タッチセンサから構成され、静電容量の変化に基づいて前記操作者の指又は操作物が近接したことを検出するものであってもよい。
【００１８】
また、前記視差検出部は、前記視差制御部による視差の調整の結果、正常な表示ができるか否かを判定し、前記視差検出部により正常な表示ができないと判定された場合に、前記表示画像を縮小する画像処理部を備えるものであってもよい。
【００１９】
また、前記画像処理部は、前記表示判定部により正常な表示ができないと判定された場合に、視差が人間の両目の間隔以下となるように画像を縮小するものであってもよい。
【００２０】
また、前記視差制御部は、前記入力部の操作により前記表示画像が拡大されることが検知された場合に、前記複数視点画像の視差を調整するものであってもよい。
【００２１】
また、前記視差検出部は、前記視差制御部による視差の調整の結果、正常な表示ができるか否かを判定し、前記視差検出部により正常な表示ができないと判定された場合に、前記表示画像を縮小する画像処理部を備えるものであってもよい。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、複数視点画像による表示画像上で操作入力を行うことができる入力部と、前記複数視点画像を構成する各画像の視差を検出する視差検出部と、前記表示画像の大きさが所定値以下の場合に、前記複数視点画像の視差を調整して、前記表示画像の光を出射する表示面よりも手前に見える画像が前記表示面上に見えるように視差を調整する視差制御部と、を備える、画像処理装置が提供される。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、複数視点画像による表示画像の周囲で操作入力を行うことができる入力部と、前記複数視点画像を構成する各画像の視差を検出する視差検出部と、少なくとも前記入力部により前記表示画像上での操作を行うことができる場合に、前記表示画像の周囲に２次元画像により前記入力部を表示する画像処理部と、を備える、画像処理装置が提供される。
【００２４】
また、上記課題を解決するために、本発明の別の観点によれば、表示部に表示された表示画像上で行われる操作入力を取得するステップと、前記複数視点画像を構成する各画像の視差を検出するステップと、少なくとも前記操作入力により前記表示画像上での操作を行うことができる場合に、前記複数視点画像の視差を調整するステップと、を備える、画像処理方法が提供される。
【００２５】
また、上記課題を解決するために、本発明の別の観点によれば、表示部に表示された表示画像上で行われる操作入力を取得する手段、前記複数視点画像を構成する各画像の視差を検出する手段、少なくとも前記操作入力により前記表示画像上での操作を行うことができる場合に、前記複数視点画像の視差を調整する手段、をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００２６】
本発明によれば、ユーザによる画面の操作と複数視点画像とが重なった場合に、ユーザに違和感を生じさせないようにすることが可能となる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態に係る画像処理装置の構成例を示す模式図である。
【図２】表示部に立体映像を表示し、表示部のタッチパネルをペンで操作した場合の理想的な表示状態を示す模式図である。
【図３】表示部に立体映像を表示し、表示部のタッチパネルをペンで操作した場合に、ユーザに実際に見える見え方を示す模式図である。
【図４】図３と同じ位置関係であるが、物体“Ｂ”とペンの位置関係について示す模式図である。
【図５】視差調整の例を示す模式図である。
【図６】図５と同様の方法で視差調整を行う場合であるが、ユーザに不自然さを与えてしまう例を示す模式図である。
【図７】図６の場合に、奥に見える物体Ｄの位置は調整せずに、手前に見える物体Ｃだけを視差調整する場合を示す模式図である。
【図８】手前に複数の物体が見えている場合を示す模式図である。
【図９】全ての物体をディスプレイ面上に表示して２次元画像を表示する場合を示す模式図である。
【図１０】２次元表示する場合に、１つの視点の画像を使って表示する例を示す模式図である。
【図１１】視差を調整した結果、視差が両眼の幅よりも広くなってしまう場合に、画像の縮小を行う例を示している。
【図１２】視差を調整した結果、視差が両眼の幅よりも広くなってしまう場合に、画像の縮小を行う例を示している。
【図１３】視差調整のための、視差量の検出方法の例を示す模式図である。
【図１４】表示部の表示画面に表示される画像にタッチパネル操作用の操作枠をつけた例を示す模式図である。
【図１５】図１４の表示部を縦に配置した例を示す模式図である。
【図１６】ペンがディスプレイ面に近接したことを検知する近接検知センサーを、タッチパネルで兼用する例を示す模式図である。
【図１７】画像操作時の動作を示すフローチャートである。
【図１８】タッチパネルを操作して画像の拡大する際の処理を示すフローチャートである。
【図１９】図１８の処理を行った場合に、拡大して３Ｄ表示ができなくなると、拡大できない旨の表示をして拡大率を制限する処理を示すフローチャートである。
【図２０】視差調整を行い手前に表示される部分をなくした上で、両眼の幅よりすべての部分の視差が小さくなるように縮小し表示を行う処理を示すフローチャートである。
【図２１】図１７と図２０の場合を切り替えて行う処理を示すフローチャートである。
【図２２】画像の横幅が両眼の幅より小さい場合を示すフローチャートである。
【図２３】タッチパネル等により画面を操作する表示となった場合に、視差変更を行うか、または２次元表示に切り換える処理を示すフローチャートである。
【図２４】タッチパネル等による画面の操作が予想される場合に、視差変更を行うか、または２次元表示に切り換える処理を示すフローチャートである。
【図２５】タッチパネル操作が可能な表示の場合に、画像が所定のサイズよりも小さい場合は、視差変更もしくは２次元表示にする処理を示すフローチャートである。
【図２６】図１４及び図１５で説明したような操作枠を設けた場合の処理を示すフローチャートである。
【発明を実施するための形態】
【００２８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２９】
なお、説明は以下の順序で行うものとする。
１．画像処理装置の構成例
２．本実施形態に係る画像処理装置の表示について
３．本実施形態の画像処理装置における処理
【００３０】
［１．画像処理装置の構成例］
図１は、本発明の一実施形態に係る画像処理装置１００の構成例を示す模式図である。画像処理装置１００は、例えば比較的小型のディスプレイを備える装置であって、立体映像（３Ｄ映像）を表示可能なデバイスである。画像処理装置１００に表示する画像としては、静止画、動画のいずれであっても良い。また、画像処理装置１００は、表示画面に応じてユーザが画面を操作することによって、各種の入力が可能とされたものである。この画像表示装置１００は、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータ（ＰＣ）、ゲーム機、テレビ受像機、電話、ＰＤＡ、画像再生装置、画像記録装置、カーナビ、携帯端末、プリンターなどで実現することができる。
【００３１】
なお、３Ｄの映像方式については特に限定されるものではない。例えば、左目用と右目用の映像を時系列的に交互に表示し、映像の表示と同期してユーザの左右の目に装着した眼鏡シャッターを開閉することにより、左目用と右目用の映像をユーザの左右の目にそれぞれ提供するシステムを用いることができる。また、眼鏡シャッターを用いることなく、偏光板の作用により左右の映像をユーザの左右の目にそれぞれ提供するシステムを用いてもよい。
【００３２】
図１に示すように、画像処理装置１００は、読み出し部１０２、画像処理部１０４、視差検出部１０６、視差制御部１０８、表示部１１０、制御部１１２、メモリ１１４、近接検出部１１６を備える。読み出し部１０２には、メディア２００から立体映像を構成する右眼用画像及び左目用画像のデータが送られる。メディア２００は、立体映像データを記録した記録媒体であり、一例として、画像処理装置１００の外部から装着される。また、入力部１１８は、表示部１１０上に設けられたタッチパネルである。画像処理装置１００には、入力部１１８を介してユーザによる操作情報が入力される。入力部１１８に入力された情報は、制御部１１２へ送られる。入力部１１８の操作に基づいて、現在のモードが画像自体を操作する画面（タッチパネル操作が可能な画面）であるか否かを制御部１１２で判断する。
【００３３】
図１に基づいて、画像処理装置１００における基本的な処理を説明すると、先ず、メディア２００から画像処理装置１００に送られた左右の映像データは、読み出し部１０２にて読み出され、画像処理部１０４にて画像処理が行われる。画像処理部１０４では、左右の画像データの大きさの適正化（リサイズ）、画質調整など、表示用の画像に加工する処理を行う。画像処理部１０４は、後述するように、視差を調整した結果、視差が両目の幅よりも大きくなる場合等において、画像を縮小する処理を行う。
【００３４】
視差検出部１０６では、左右の画像データを比較し、動きベクトルの検出、ブロックマッチング等の手法により、左右映像の視差を検出する。そして、視差検出部１０６では、表示面よりも手前に位置する画像があるか否か、視線が交差しない部分があるか否かなどを検出する。
【００３５】
視差制御部１０８は、表示部１１０のタッチパネル操作が行われる場合に、視差を変更する処理を行う。視差制御部１０８は、表示面よりも手前に位置する部分や視線が交差する部分がないように視差を調整する。
【００３６】
表示部１１０は、立体映像を表示するディスプレイであり、液晶表示ディスプレイ（ＬＣＤ）等から構成される。視線調整部１０８で視差が調整された画像は、表示部１１０に供給されて表示される。なお、表示部１１０は、画像処理装置１００と一体であっても別体であっても良い。また、表示部１１０は、入力部１１８であるタッチパネル（タッチセンサ）を一体に備えている。ユーザは、表示部１１０に表示された立体映像を視認しながら、タッチパネル操作（入力部１１８の操作）を行うことができる。なお、表示部１１０へユーザの指、ペンなどが近接したことを判断する場合は、近接検出部１１６により近接したことの検出を行い、制御部１１２で判断を行う。入力部１１８として、近接を検知可能な静電容量式のタッチセンサ等を用いた場合、近接検出部１１６は表示部１１０と同一面にある入力部１１８と兼用することができる。
【００３７】
制御部１１２は、画像処理装置１００の全体を制御する構成要素であって、中央演算処理装置（ＣＰＵ）等から構成される。メモリ１１４は、ハードディスク、ＲＡＭ、ＲＯＭ等から構成され、左右の映像データを格納する。また、メモリ１１４は、画像処理装置１００を機能させるためのプログラムを格納することができる。近接検出部１１６は、ユーザによるタッチパネル操作が行われる場合に、ユーザの指、ペン（スタイラス）などが表示部１１０へ近接したことを検出する。なお、タッチパネルが静電容量を検出する静電容量式のタッチセンサで構成される場合、静電容量の変化により指、ペン等の近接を検出することができるため、近接検出部１１６はタッチパネルにより構成することができる。
【００３８】
図１に示す各構成要素は、バス１２０によって接続されている。図１に示す各構成要素は、回路（ハードウェア）、または中央演算処理装置（ＣＰＵ）とこれを機能させるためのプログラム（ソフトウェア）によって構成することができる。
【００３９】
［２．本実施形態に係る画像処理装置の表示について］
図２は、表示部１１０に立体映像を表示し、表示部１１０のタッチパネルをペンで操作した場合の理想的な（自然な）表示状態を示す模式図である。図２（ａ）は、タッチパネルを操作するペンが表示部１１０の表示画面上に存在しない場合を示しており、表示部１１０の左側に３Ｄ表示物“Ａ”が表示され、右側に３Ｄ表示物“Ｂ”が表示されている様子を示している。また、図２（ｂ）は、図２（ａ）の立体映像を表示している際に、表示部１１０のタッチパネルをペンで操作している様子を示している。
【００４０】
図２（ａ）及び図２（ｂ）の場合、“Ｂ”の部分が表示部１１０の表示面（ディスプレイ面）よりも手前（飛び出して）に表示され、“Ａ”の部分が表示面よりも奥に表示される。図２（ｂ）は、表示面をペンで操作した場合に、本来の位置関係での理想的な見え方を示したもので、表示面を操作しているペンよりも“Ｂ”が手前に見えている。従って、ペンは“Ｂ”の背後に隠れている。一方、“Ａ”は表示面よりも奥にあるため、“Ａ”はペンの背後に隠れる。図２（Ｃ）は、図２（Ｂ）の“Ａ”、“Ｂ”、ディスプレイ面及びペンの奥行き方向の位置関係を示す図であって、図２（ｂ）を上側から見た状態を示す模式図である。図２（ｃ）に示すように、位置関係としては奥から、“Ａ”、ディスプレイ面、ペン、“Ｂ”の順になる。従って、本来の見え方は、図１（Ｂ）のようになるのが望ましい。
【００４１】
図３は、表示部に立体映像を表示し、表示部のタッチパネルをペンで操作した場合に、ユーザに実際に見える見え方を示している。図３（ａ）及び図３（ｃ）は、図２（ａ）及び図２（ｃ）とそれぞれ同一である。図３（ｂ）は、３Ｄ表示画面上にペンを置いた場合に、ユーザに実際に見える見え方を示している。図３（ｂ）に示すように、本来“Ｂ”よりも奥にあるペンが“Ｂ”の手前に見えており、ペンが“Ｂ”を隠している。ペンが存在しない場合、ユーザには３Ｄ表示により“Ｂ”が手前に見えているが、実際の光は表示部１１０のディスプレイ面から発光されており、ディスプレイ面はペンより奥にあるため、このような現象が発生する。この場合、使用者は２つの矛盾する奥行き情報を受け取るため、不自然さを感じ、不快な印象を持つことになる。
【００４２】
図４は、図３と同じ位置関係であるが、物体“Ｂ”とペンの位置関係について示す模式図である。図４（ａ）は、使用者からの見え方を示す模式図である。図４（ｂ）及び図４（ｃ）は、奥行き方向の位置関係を示す図であって、図４（ａ）を左側面から見た状態を示している。図４（ｂ）は、ペンが無い場合の位置関係を示しており、図４（ｃ）は、ペンがある場合の見え方の位置関係を示している。図４（ｃ）に示すように、ペンがある場合は、本来ペンよりも手前に見える筈の“Ｂ”の映像が表示面上でペンに遮られてしまうため、表示面よりも手前に見える筈の“Ｂ”は、ペンの領域だけ凹んだように見えてしまう。このように、実際の物体を立体視する場合には、物体の位置とその物体が発する光の発生源とは同じ位置であるが、立体画像の場合は、物体の見かけ上の位置と光の発生源の位置とが一致しないため、このような現象が起きてしまい、ユーザは映像の不自然さを感じてしまう。
【００４３】
本実施形態では、このような現象を解消するために、ユーザの指やペンが表示面上にある場合は、視差調整を行う。図５は、視差調整の例を示す模式図である。図５の上段の図は、図２（ｃ）と同様に、表示面を上から見たときの奥行き方向の位置を模式的に示している。また、図５の下段の図は、左目用画像と右目用画像のそれぞれにおける物体の表示状態を示している。また、図５の左側の図は視差調整前を示しており、右側の図は視差調整後を示している。
【００４４】
図５の左側の図は視差調整前の状態を示しており、手前と奥に１つずつ物体が見えている（物体Ｃ（●）、物体Ｄ（○））。これを視差調整して右図のようにして、手前に見える物体Ｃを表示部１１０の表示面と同じ位置か、もしくは表示面よりも奥になるようにする。これにより、表示面よりも手前に位置する物体が無くなるため、表示面上にペンを置いた場合であっても、ペンが映像よりも手前に位置するため、映像とペンとの位置関係で不自然さが生じることを回避できる。
【００４５】
より詳細に説明すると、図５の上段に示す図は、ユーザと表示部１１０を上方から見た状態を示しており、ディスプレイ面、ユーザの右目、左目、物体Ｃ、物体Ｄの位置を示している。また、下段に示す図は、表示部１１０に表示される左目用画像と右目用画像を示している。上段の図に示すように、右目用画像の物体Ｃと右目を直線で結び、左目用画像の物体Ｃと左目を直線で結ぶと、２つの直線の交点が物体Ｃの奥行き方向の位置となる。同様に、右目用画像の物体Ｄと右目を直線で結び、左目用画像の物体Ｄと左目を直線で結ぶと、２つの直線の交点が物体Ｄの奥行き方向の位置となる。なお、物体の奥行き方向の位置は、左目用画像と右目用画像における物体の位置と、右目、左目の位置に基づいて、他の図においても同様に定められる。
【００４６】
図５の右側の図では、物体Ｃについて、左目用画像と右目用画像の位置を同一とし、視差を０とすることで、物体Ｃが表示面上に表示される。また、これに伴い、物体Ｄについては左目用画像と右目用画像の視差が左側の図よりも大きくなるため、物体Ｄは表示面に対して左側の図より奥側に表示される。このように、図５に示す例では、物体Ｃ、物体Ｄの表示位置を共に奥側へ移動することで、物体Ｃは表示面上に表示され、物体Ｄは表示面に対してより奥の位置に表示される。従って、表示面上にペンが置かれた場合に、ペンよりも物体Ｃ、物体Ｄは奥に表示されるため、ユーザに不自然さや、違和感等が生じてしまうことを抑止できる。なお、物体Ｃについても、表示面よりも奥の位置に表示するようにしても良い。
【００４７】
図６は、図５と同様の方法で視差調整を行う場合であるが、ユーザに不自然さを与えてしまう例を示している。図６の左側の図の位置関係に見える画像（物体Ｃ、物体Ｄ）を視差調整して、図５と同様の方法により物体Ｃをディスプレイ面に表示し、表示面よりも手前に物体が表示されないようにした場合、右側の図のようになり、両眼の幅よりも広い視差が生じてしまう部分が発生する。
【００４８】
より詳細には、図６の右側の下段の図に示すように、物体Ｃの視差を０とするために、左目用画像の物体Ｃ、物体Ｄを左方向に移動すると、左目用画像と右目用画像における物体Ｄの視差が過度に大きくなり、両目の幅よりも大きな視差となってしまう。この場合、物体Ｄについては、左右の目の視線が交差しないため、ユーザは１つの物体として認識することができず、ユーザの目には物体Ｄが二重に見えてしまう。
【００４９】
図７は、図６の場合に、奥に見える物体Ｄの位置は調整せずに、手前に見える物体Ｃだけを視差調整する場合を示す模式図である。左側の図では、物体Ｃは手前に見えており、物体Ｄは奥に見えている。この状態から、右目用画像と左目用画像のそれぞれにおいて、物体Ｃの位置のみを調整して、物体Ｃの視差が０となるようにする。具体的には、左側の図に示す左目用画像の物体Ｃを左方向に移動し、右目用画像の物体Ｃを右方向に移動する。一方、左目用画像と右目用画像における物体Ｄの位置は変更しない。これにより、手前に見えていた物体Ｃは、表示面上に見えるようになる。一方、物体Ｄは元の視差のままであり、表示面の奥の同じ位置に見えている。このように、手前に見える物体が１つだけであり、そのほかの物体が奥行き方向に離れている場合は、手前に見えている物体のみの位置を調整しても良い。
【００５０】
図８は、手前に複数の物体が見えている場合を示している。図８の左側の図では、物体Ｃと物体Ｅが表示面よりも手前に見えており、物体Ｄが表示面よりも奥に見えている場合を示している。この場合、手前に見えている物体Ｃと物体Ｅのみの視差を調整して、物体Ｃと物体Ｅがディスプレイ面上に見えるようにすることで、ユーザの指やペンなどがディスプレイ面上に位置した場合にユーザに違和感が生じてしまうことを回避できる。ここで、全ての物体の視差を一律に調整することなく、手前に見えている物体の視差のみを調整することを、「視差変更」と称することとする。一方、図６などで既に説明した全ての物体の視差を調整することを、「視差調整」と称することとする。図８のような視差変更を行った場合、元々ディスプレイ面よりも手前の異なる奥行き位置に見えていた物体Ｃと物体Ｅがともにディスプレイ面上に位置するため、物体Ｃと物体Ｅの相互の奥行き感がなくなってしまう。
【００５１】
図９は、全ての物体をディスプレイ面上に表示して２次元画像を表示する場合を示している。図６で説明したように、ディスプレイ面よりも手前に物体を表示しないように視差調整した際に、両眼の幅より視差が大きくなってしまう部分が発生する場合は、視差調整を行い、２次元で映像を表示するようにする。図９の例では、物体Ｃ、物体Ｄ、物体Ｅのそれぞれの視差を０とすることで、物体Ｃ、物体Ｄ及び物体Ｅを２次元で表示している。この場合、図９の下段に示すように、物体Ｃ、物体Ｄ及び物体Ｅのそれぞれについて、左目用画像と右目用画像の位置を調整して視差を０にする。
【００５２】
図１０は、２次元表示する場合に、１つの視点の画像を使って表示する例を示す模式図である。図１０に示す例では、右側の図の下段に示すように、右目用画像として左目用画像と同一の画像を表示する。これにより、特に右目用画像と左目用画像の視差を調整することなく、２次元表示を行うことが可能である。従って、ブロックマッチング等により視差を検出する処理を行う必要がなく、図９の場合と比較すると、より簡素な処理で２次元画像を表示することが可能である。
【００５３】
図１１及び図１２は、図６で説明したように、視差を調整した結果、視差が両眼の幅よりも広くなってしまう場合に、画像の縮小を行う例を示している。図１１の右側は、左側に対して左右の画像をともに縮小した場合を示している。図１１に示すように、画像の大きさは一定値以下となると、視線が交差しない画像を作成することができない。従って、図６の右側の図で説明したような、両眼の幅よりも広い視差が生じてしまう部分は発生しない。
【００５４】
図１２の左側の図は、図６の右側の図に対応しており、両眼の幅よりも広い視差が生じてしまう部分が発生した状態を示している。図１２の右側の図は、図１１の原理を用いて、図１２の左側の図を縮小した状態を示している。図１２の左側の図（図６の右側の図）に示すように、視差を調整した結果、両眼の幅よりも視差が大きくなると、３Ｄ画像を表示することはできないため、図１２の右側の図に示すように、左右の画像を縮小して視差を両目の幅よりも狭くする。これにより、手前に表示されていた部分をディスプレイ面上に表示できるとともに、図６の右側の図のように視差が両眼の幅よりも大きくなってしまうことを回避できる。従って、縮小を行うことで、視差を両眼の幅よりも狭くすることができ、物体が二重に見えてしまうことを回避できる。
【００５５】
図１３は、視差調整のための、視差量の検出方法の例を示す模式図である。視差を求める２つの画像（左目用画像と右目用画像）の一方をブロックに分割して、各ブロックを他方の画像と比較した場合に、各ブロックが他方の画像のどの部分との間で誤差が最小になるかを求める。そして、他方の画像上での誤差が最小となる位置と、もともとのブロックの位置の差が視差量となる。図１３に示すように、視差量は、ブロック毎にベクトル値として求められる。図１３の例では、右目用画像をブロックに分割して、各ブロックを左目用画像と比較し、左目用画像と各ブロックとの間で誤差が最小になる位置を探索する。そして、誤差が最小となる位置とブロック抽出時の位置との差を動きベクトルとして、画面全体の各ブロックについての動きベクトルを算出する。
【００５６】
図１３に示す例では、右目用画像のブロックに対して、左目用画像の対応する位置が左側にずれている場合は、動きベクトルは右から左へ向かうベクトルとなる。図５の左側の図等に示すように、右目用画像のブロックに対して左目用画像の対応する位置が左側にずれている場合は、表示面よりも奥に物体が表示される（図５の左側の図に示す物体Ｄ）。一方、右目用画像のブロックに対して左目用画像の対応する位置が右側にずれている場合は、表示面よりも手前に物体が表示される（図５の左側の図に示す物体Ｃ）。従って、図１３に示すように、各ブロックの動きベクトルを算出した場合に、動きベクトルが右から左へ向かうベクトルの場合は、そのブロックに対応する物体が表示面の奥に表示され、動きベクトルが左から右へ向かうベクトルの場合は、そのブロックに対応する物体が表示面の手前に表示されることが判る。また、動きベクトルが右から左へ向かうベクトルの場合、ベクトルの絶対値が大きいほど、そのブロックに対応する物体が表示面のより奥に表示される。動きベクトルが左から右へ向かうベクトルの場合、ベクトルの絶対値が大きいほど、そのブロックに対応する物体が表示面のより手前に表示される。なお、図１３に示す処理は、図１に示す視差検出部１０６で行われる。
【００５７】
視差を調整する際には、動きベクトルが左から右へ向かうベクトルのブロックの中から、その絶対値（＝Ａ）が最大のブロック（ここでは、ブロック１とする）を抽出する。この抽出されたブロック１の画像は、最も手前に位置するので、このブロックの動きベクトルの大きさを“０”に調整する。そして、他のブロックについては、各ブロックの動きベクトルからブロック１の動きベクトルだけ減算する処理を行う。これにより、図６で説明したように、全ての物体の奥行き方向の位置を一律に奥側へ移動することができる。なお、図８で説明したような視差変更を行う場合は、動きベクトルが左から右へ向かう全てのブロックの動きベクトルの大きさを“０”に調整する。なお、このような視差の調整は、図１に示す視差制御部１０８で行われる。
【００５８】
図１４は、表示部１１０の表示画面１１１に表示される画像にタッチパネル操作用の操作枠１１２をつけた例を示す模式図である。ここで、操作枠１１２は２次元画像で表示する。操作枠１１２を画像の外側に設けることで、ペンが操作枠１１２を操作した場合に、３Ｄ表示が行われている画像の表示領域と重なることがないため、３Ｄ表示されている画像とペンが重なることによる不自然さ、違和感を抑止できる。ここで、図１４の上段は、表示画面１１１１内に複数の画像をサムネイルの状態で表示し、各画像の周囲に操作枠１１２を設けた例を示している。また、図１４の下段は、表示画面１１１内に１の画像を表示し、１の画像の周囲に操作枠１１２を設けた例を示している。
【００５９】
図１５は、図１４の表示部１１０を縦に配置した例を示す模式図である。図１５の例においても、タッチパネル操作の際に指やペンが３Ｄの画像に直接触れることがないため、不快感を無くすことが可能である。
【００６０】
図１６は、ペンがディスプレイ面に近接したことを検知する近接検知センサーを、タッチパネルで兼用する例を示す模式図である。例えば、静電容量式のタッチパネルを用いた場合、近接検知センサー（近接検出部１１６）をタッチパネルで兼用することが可能である。
【００６１】
図１６の上段の図は、ディスプレイ面と平行な方向から見た状態を示しており、ディスプレイ面にペンが接近または接触した場合を示している。また、図１６の中段の図は、ディスプレイ面の上側から状態を示しており、ディスプレイ面にペンが接近または接触した場合を示している。また、図１６の下段の図は、ディスプレイ面にペンが接近または接触した場合に、タッチセンサで検出される静電容量の変化を示しており、ドットを付した領域の静電容量が高くなった状態を示している。
【００６２】
図１６の下段の図に示すように、ペンが近づいてくる過程では、ペンと近接している場所の静電容量が変化し、ペンが表示画面に接触すると静電容量の変化がより大きくなる。従って、これを用いてペンがどの程度近接しているか、あるいは接触しているかを判断することができる。
【００６３】
［３．本実施形態の画像処理装置における処理について］
次に、本実施形態の画像処理装置１００による処理について説明する。なお、以下に示す各処理は、制御部１１２の制御によって図１の各構成要素の機能を制御することによって実現することができる。図１７は、画像操作時の動作を示すフローチャートである。先ず、ステップＳ１０１では、画像を読み出し、ステップＳ１０２で画像を操作可能な画面であるか否か判断する。すなわち、ステップＳ１０２では、タッチパネル操作により画面を操作できるモードであるか否かを判断する。この場合に、近接検出部１１６によりユーザの指またはペン等が表示面に近づいたことが検知された場合に、タッチパネル操作により画面を操作できるモードであると判断することができる。ステップＳ１０２において、操作可能な画面でない場合は、ステップＳ１０６へ進み、画面をそのまま表示する。
【００６４】
一方、タッチパネルによる操作が可能な画面の場合は、ステップＳ１０３へ進み、表示面より手前になる部分があるか否かを判断する。モードの切り換えの設定がユーザの操作によって行われる場合、タッチパネル操作が可能な画面に設定されたときはステップＳ１０２からステップＳ１０３へ進み、タッチパネル操作ができない画面に設定されたときはステップＳ１０２からステップＳ１０６へ進む。
【００６５】
ステップＳ１０３では、３Ｄ表示により表示面よりも手前に表示されている物があるか否かを判断する。そして、表示面よりも手前に表示される部分が存在しない場合は、ステップＳ１０６へ進み、画像をそのまま表示する。一方、表示面よりも手前に表示される物が存在する場合は、ステップＳ１０４へ進み、視差調整した場合に正しい表示になるか否かを判断する。すなわち、ステップＳ１０４では、視差調整をした場合に、図６の右側の図に示したように、両眼の幅より視差が大きくなる部分があるか否かを判断し、正しい表示になる場合、つまり、両目の幅よりも視差が大きくなる部分が無い場合は、ステップＳ１０５へ進む。ステップＳ１０５では、表示面よりも手前に位置する部分が表示面上に表示されるように視差調整を行う。これにより、ステップＳ１０６では、表示面よりも手前にある部分をなくした状態で画像が表示される。一方、ステップＳ１０４で正しい表示にならないと判断された場合は、ステップＳ１０７へ進み、視差変更を行うか、または、図１０で説明したように、片側の視点の画像のみを用いて二次元表示を行う。ここで、視差変更とは、図７で説明したように、手前に見える部分のみを表示面上に移動する処理をいう。これにより、表示面よりも手前になる部分を無くした状態で３Ｄ画像を表示することができる。
【００６６】
図１８は、タッチパネルを操作して画像を拡大する際の処理を示すフローチャートである。画像の拡大が行われると、拡大に伴って左右の画像の視差が大きくなり、視差が両目の幅よりも大きくなると、図６で説明したように物が二重に見えてしまう事態が発生する。このため、図１８の処理では、拡大操作が行われるたびに、正しい表示が行われるか否かを判定し（ステップＳ２０４）、正しい表示にならない場合は２次元画像で表示を行う。これにより、拡大操作が行われる場合に、正常な表示を維持するとともに、ユーザの指やペンが表示面の手間に表示される画像と重ならないようにすることができる。
【００６７】
図１７では、ステップＳ１０２で画像自体を操作する画面であるか否かを判定したが、図１８のステップＳ２０２では、ステップＳ１０２の代わりに、画像の拡大操作が行われたか否かを判定する。画像の拡大操作が行われた場合は、ステップＳ２０３へ進み、拡大する画像に表示される物体が表示面よりも手前になるか否かを判定する。一方、画像の拡大操作が行われない場合は、ステップＳ２０６へ進む。ステップＳ２０３〜Ｓ２０７の処理は、図１６のステップＳ１０３〜Ｓ１０７と同様である。そして、ステップＳ２０２からステップＳ２０６へ進んだ場合は、ステップＳ２０６にて拡大した画像を表示する。これにより、拡大された画像内で表示面よりも手前の位置に物体が表示されてしまうことを回避できる。
【００６８】
また、画像の拡大率が大きく、ステップＳ２０４において、視差調整しても正しい表示にならない場合は、ステップＳ２０７へ進み、視差変更もしくは２Ｄによる表示を行う。従って、拡大が行われる毎に正しい表示になるか否かがステップＳ２０４で判断され、正しい表示ができない場合は視差変更もしくは２Ｄによる表示を行うことで、ユーザが不自然さを感じてしまうことを抑止できる。なお、視差変更を行う場合は、上述したように、表示面の手前に位置する物体の視差のみを変更するため、表示面よりも奥に位置する物体の視差は変更されない。従って、図６の右側の図に示したような、物体が２重に見えてしまう事態を回避することが可能である。
【００６９】
また、図１８では、ステップＳ２０６の後、ステップＳ２０８へ進み、画像の拡大・縮小操作が行われたか否かを更に判断する。そして、画像の拡大・縮小操作が行われた場合は、ステップＳ２０９へ進み、画像の拡大・縮小を行う。ステップＳ２０９の後はステップＳ２０３以降の処理へ戻り、拡大・縮小が行われた後の画像について、表示面よりも手前に位置する画像があるか否かを判断する。
【００７０】
また、ステップＳ２０７の後はステップＳ２１１へ進み、画像の拡大・縮小操作が行われたか否かを判定する。そして、画像の拡大・縮小操作が行われた場合は、ステップＳ２１２へ進み、画像の拡大・縮小操作を行い、ステップＳ２１０で拡大・縮小後の画像を表示する。
【００７１】
以上のように、図１８の処理によれば、画像を拡大して３Ｄ表示ができなくなると、２Ｄ表示を行うことができる。従って、画像の拡大によって図６の右側の図に示すように３Ｄ表示ができなくなる場合は、２Ｄ表示に切り換えることができるため、拡大に起因して３Ｄ表示ができなくなることを回避できる。
【００７２】
図１９は、図１８の処理を行った場合に、拡大して３Ｄ表示ができなくなると、拡大できない旨の表示をして拡大率を制限する処理を示している。図１９では、図１８に対して、ステップＳ２０４で“ＮＯ”判定がされた場合の処理が異なっている。ステップＳ２０４において、視差調整した場合に正しい表示にならないことが判定されると、ステップＳ２１３へ進む。ステップＳ２１３では、直前の拡大前の画像に戻す処理を行う。ステップＳ２１３の後はステップＳ２１４へ進み、拡大できない旨の表示を行う。これにより、ユーザは、更なる拡大ができないことを認識することができる。
【００７３】
図２０は、正しい表示ができない場合に、図１７で説明した視差変更または二次元表示を行う代わりに、視差調整を行い手前に表示される部分をなくした上で、すべての部分の視差が両眼の幅より小さくなるように縮小し表示を行う処理を示すフローチャートである。この処理は、図１２の表示処理に対応する。図２０の処理は、ステップＳ３０７以外の処理は図１７と同様であり、図２０のステップＳ３０１〜Ｓ３０６は図１７のステップＳ１０１〜Ｓ１０６に対応する。ステップＳ３０４で、視差調整をした場合に正しい表示にならないと判断された場合、ステップＳ３０７へ進む。ステップＳ３０７では、視差調整をして表示面よりも手前になる部分をなくし、更に、図１２で説明したように、視差が交差しない部分がなくなるまで画像の表示部分を縮小する。そして、次のステップＳ３０６では、縮小した画像を表示する。この処理によれば、画像は縮小されるものの、多視点表示（立体映像表示）を維持することができる。
【００７４】
図２１は、図１７と図２０の場合を切り替えて行う処理を示すフローチャートである。ここでは、視差調整した場合に正しい表示にならない場合は、ステップＳ４０４に進み、表示サイズと３Ｄ表示のいずれが重要かを判断する。そして、３Ｄ表示の方が重要な場合は、ステップＳ４０５へ進み、視差調整を行うとともに、視線が交差しない部分がなくなる大きさへ縮小して表示を行う。つまり、この場合は図２０のステップＳ３０７の処理を行う。これにより、画面のサイズは小さくなるが、３Ｄ表示を行うことができる。
【００７５】
また、ステップＳ４０４において、３Ｄ表示よりも表示サイズの方が重要な場合は、ステップＳ４０８へ進み、視差を変更するか、もしくは片側の画像のみを抽出して２Ｄでの表示を行う。つまり、この場合は、図１７のステップＳ１０７の処理を行う。このように、図２１の処理によれば、３Ｄなどの多視点表示と、画像の大きさのどちらが重要か判断して、視差調整して縮小表示するか、２次元（または視差変更）で表示するかを決定する。この判断は使用者が入力部で設定してもよいし、画像処理装置１００側で表示の状態に応じて判断してもよい。
【００７６】
図２２は、画像の横幅が両眼の幅より小さい場合を示すフローチャートである。人間の両目の幅は、通常、５ｃｍ〜７ｃｍ程度であるため、図２２は、画像の横幅が５ｃｍ〜７ｃｍ程度以下の場合に該当する。この場合は、画像の幅が狭く、図６の右側の図に示したような状況が発生することがないため、視差調整により手前に表示する部分を表示面に移動するのみでよく、視差調整が可能である。換言すれば、図６の右側の図に示したような状況は発生しないため、図１７のステップＳ１０４の処理が不要となる。その他の処理は、図１７と同様である。なお、この場合、視差が交差しない部分は画像の横幅の外になるため、表示されることがない。
【００７７】
図２３は、タッチパネル等により画面を操作する表示となった場合に、視差変更を行うか、または２次元表示に切り換える処理を示すフローチャートである。ステップＳ６０２において、画面自体を操作する画面であることが判定されると、ステップＳ６０３へ進み、視差変更を行うか、または片側の画像のみを抽出して２次元での表示を行う。これにより、表示面よりも手前に表示される物体がなくなるため、タッチパネル操作の際にユーザに違和感が生じてしまうことを抑止できる。
【００７８】
図２４は、タッチパネル等による画面の操作が予想される場合に、視差変更を行うか、または２次元表示に切り換える処理を示すフローチャートである。ステップＳ７０２において、画面にペンや指が近づいたことが検出されると、ステップＳ７０３へ進み、視差変更を行うか、または片側の画像のみを抽出して２次元表示を行う。このように、実際に画面操作が行われていない場合においても、ユーザの指やペンなどの近接に応じて、画面の操作が予想される場合に視差変更または２次元での表示を行う。なお、上述したように、ペン、又は指などが近接したことは、近接検出部１１６や、静電容量式のタッチパネルにより検出する。
【００７９】
図２５は、タッチパネル操作が可能な表示の場合に、画像が所定のサイズよりも小さい場合は、視差変更もしくは２次元表示にする処理を示すフローチャートである。このように、例えばサムネイルなどの小さい画像の場合は立体感が弱くなり易いため、所定のサイズよりも小さい画像を表示することを条件として、視差変更または２次元表示にすることもできる。
【００８０】
図２６は、図１４及び図１５で説明したような操作枠１１２を設けた場合の処理を示すフローチャートである。ステップＳ９０２において、タッチパネルなどで画面自体を操作する画面であると判定された場合は、ステップＳ９０３にて画像と関連付けた２次元の操作枠１１２を表示する。これにより、ユーザは指やペンで操作枠１１２を操作し、３次元の画像上に指またはペンが位置することがないため、３Ｄ画像と指やペンなどが重なることにより違和感の発生を抑止できる。
【００８１】
以上説明したように本実施形態によれば、手前に表示されるものがなくなるので、画像の中に指やペンと不自然な関係をもつ部分を無くすことができ、使用者に不快感を与えてしまうことを抑止できる。また、両眼の幅より広い視差を有する画像が表示されることがないため、同一物体が二重に見えてしまうことを抑止でき、使用者が違和感を感じることを確実に抑えることが可能となる。
【００８２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８３】
１００ 画像処理装置
１０４ 画像処理部
１０６ 視差検出部
１０８ 視差制御部
１１０ 表示部
１１６ 近接検出部
１１８ 入力部
【特許請求の範囲】
【請求項１】
複数視点画像による表示画像上で操作入力を行うことができる入力部と、
前記複数視点画像を構成する各画像の視差を検出する視差検出部と、
少なくとも前記入力部により前記表示画像上での操作を行うことができる場合に、前記複数視点画像の視差を調整する視差制御部と、
を備える、画像処理装置。
【請求項２】
前記表示画像の光を出射して前記表示画像を表示する表示部を更に備える、請求項１に記載の画像処理装置。
【請求項３】
前記視差制御部は、前記視差検出部で検出された視差に基づいて、前記表示画像の光を出射する表示面よりも手前に見える画像が前記表示面上に見えるように視差を調整する、請求項１に記載の画像処理装置。
【請求項４】
前記視差制御部は、前記表示面よりも手前に見える画像の視差を調整することに伴い、他の画像も前記表示面の奥側に移動するように視差を調整する、請求項３に記載の画像処理装置。
【請求項５】
前記視差制御部は、前記表示面よりも手前に見える画像のみが前記表示面上に見えるように視差を変更し、他の画像については視差を制御しない、請求項３に記載の画像処理装置。
【請求項６】
前記視差制御部は、前記視差検出部で検出された視差に基づいて、前記表示画像の光を出射する表示面よりも手前に見える画像が前記表示面よりも奥に見えるように調整する、請求項１に記載の画像処理装置。
【請求項７】
前記視差制御部は、少なくとも前記入力部により前記表示画像上での操作を行うことができる場合に、前記複数視点画像の視差を０に調整して２次元の画像とする、請求項１に記載の画像処理装置。
【請求項８】
前記表示画像の光を出射する表示面に操作者の指又は操作物が近接したことを検出する近接検出部を備え、
前記視差制御部は、前記近接検出部により操作者の指又は操作物が近接したことが検出された場合に、前記複数視点画像の視差を調整する、請求項１に記載の画像処理装置。
【請求項９】
前記入力部は前記表示面に設けられた静電容量式のタッチセンサから構成され、
前記近接検出部は、前記タッチセンサから構成され、静電容量の変化に基づいて前記操作者の指又は操作物が近接したことを検出する、請求項８に記載の画像処理装置。
【請求項１０】
前記視差検出部は、前記視差制御部による視差の調整の結果、正常な表示ができるか否かを判定し、
前記視差検出部により正常な表示ができないと判定された場合に、前記表示画像を縮小する画像処理部を備える、請求項１に記載の画像処理装置。
【請求項１１】
前記画像処理部は、前記表示判定部により正常な表示ができないと判定された場合に、視差が人間の両目の間隔以下となるように画像を縮小する、請求項１０に記載の画像処理装置。
【請求項１２】
前記視差制御部は、前記入力部の操作により前記表示画像が拡大されることが検知された場合に、前記複数視点画像の視差を調整する、請求項１に記載の画像処理装置。
【請求項１３】
前記視差検出部は、前記視差制御部による視差の調整の結果、正常な表示ができるか否かを判定し、
前記視差検出部により正常な表示ができないと判定された場合に、前記表示画像を縮小する画像処理部を備える、請求項１２に記載の画像処理装置。
【請求項１４】
複数視点画像による表示画像上で操作入力を行うことができる入力部と、
前記複数視点画像を構成する各画像の視差を検出する視差検出部と、
前記表示画像の大きさが所定値以下の場合に、前記複数視点画像の視差を調整して、前記表示画像の光を出射する表示面よりも手前に見える画像が前記表示面上に見えるように視差を調整する視差制御部と、
を備える、画像処理装置。
【請求項１５】
複数視点画像による表示画像の周囲で操作入力を行うことができる入力部と、
前記複数視点画像を構成する各画像の視差を検出する視差検出部と、
少なくとも前記入力部により前記表示画像上での操作を行うことができる場合に、前記表示画像の周囲に２次元画像により前記入力部を表示する画像処理部と、
を備える、画像処理装置。
【請求項１６】
表示部に表示された表示画像上で行われる操作入力を取得するステップと、
前記複数視点画像を構成する各画像の視差を検出するステップと、
少なくとも前記操作入力により前記表示画像上での操作を行うことができる場合に、前記複数視点画像の視差を調整するステップと、
を備える、画像処理方法。
【請求項１７】
表示部に表示された表示画像上で行われる操作入力を取得する手段、
前記複数視点画像を構成する各画像の視差を検出する手段、
少なくとも前記操作入力により前記表示画像上での操作を行うことができる場合に、前記複数視点画像の視差を調整する手段、
をコンピュータに実行させるためのプログラム。
【請求項１】
複数視点画像による表示画像上で操作入力を行うことができる入力部と、
前記複数視点画像を構成する各画像の視差を検出する視差検出部と、
少なくとも前記入力部により前記表示画像上での操作を行うことができる場合に、前記複数視点画像の視差を調整する視差制御部と、
を備える、画像処理装置。
【請求項２】
前記表示画像の光を出射して前記表示画像を表示する表示部を更に備える、請求項１に記載の画像処理装置。
【請求項３】
前記視差制御部は、前記視差検出部で検出された視差に基づいて、前記表示画像の光を出射する表示面よりも手前に見える画像が前記表示面上に見えるように視差を調整する、請求項１に記載の画像処理装置。
【請求項４】
前記視差制御部は、前記表示面よりも手前に見える画像の視差を調整することに伴い、他の画像も前記表示面の奥側に移動するように視差を調整する、請求項３に記載の画像処理装置。
【請求項５】
前記視差制御部は、前記表示面よりも手前に見える画像のみが前記表示面上に見えるように視差を変更し、他の画像については視差を制御しない、請求項３に記載の画像処理装置。
【請求項６】
前記視差制御部は、前記視差検出部で検出された視差に基づいて、前記表示画像の光を出射する表示面よりも手前に見える画像が前記表示面よりも奥に見えるように調整する、請求項１に記載の画像処理装置。
【請求項７】
前記視差制御部は、少なくとも前記入力部により前記表示画像上での操作を行うことができる場合に、前記複数視点画像の視差を０に調整して２次元の画像とする、請求項１に記載の画像処理装置。
【請求項８】
前記表示画像の光を出射する表示面に操作者の指又は操作物が近接したことを検出する近接検出部を備え、
前記視差制御部は、前記近接検出部により操作者の指又は操作物が近接したことが検出された場合に、前記複数視点画像の視差を調整する、請求項１に記載の画像処理装置。
【請求項９】
前記入力部は前記表示面に設けられた静電容量式のタッチセンサから構成され、
前記近接検出部は、前記タッチセンサから構成され、静電容量の変化に基づいて前記操作者の指又は操作物が近接したことを検出する、請求項８に記載の画像処理装置。
【請求項１０】
前記視差検出部は、前記視差制御部による視差の調整の結果、正常な表示ができるか否かを判定し、
前記視差検出部により正常な表示ができないと判定された場合に、前記表示画像を縮小する画像処理部を備える、請求項１に記載の画像処理装置。
【請求項１１】
前記画像処理部は、前記表示判定部により正常な表示ができないと判定された場合に、視差が人間の両目の間隔以下となるように画像を縮小する、請求項１０に記載の画像処理装置。
【請求項１２】
前記視差制御部は、前記入力部の操作により前記表示画像が拡大されることが検知された場合に、前記複数視点画像の視差を調整する、請求項１に記載の画像処理装置。
【請求項１３】
前記視差検出部は、前記視差制御部による視差の調整の結果、正常な表示ができるか否かを判定し、
前記視差検出部により正常な表示ができないと判定された場合に、前記表示画像を縮小する画像処理部を備える、請求項１２に記載の画像処理装置。
【請求項１４】
複数視点画像による表示画像上で操作入力を行うことができる入力部と、
前記複数視点画像を構成する各画像の視差を検出する視差検出部と、
前記表示画像の大きさが所定値以下の場合に、前記複数視点画像の視差を調整して、前記表示画像の光を出射する表示面よりも手前に見える画像が前記表示面上に見えるように視差を調整する視差制御部と、
を備える、画像処理装置。
【請求項１５】
複数視点画像による表示画像の周囲で操作入力を行うことができる入力部と、
前記複数視点画像を構成する各画像の視差を検出する視差検出部と、
少なくとも前記入力部により前記表示画像上での操作を行うことができる場合に、前記表示画像の周囲に２次元画像により前記入力部を表示する画像処理部と、
を備える、画像処理装置。
【請求項１６】
表示部に表示された表示画像上で行われる操作入力を取得するステップと、
前記複数視点画像を構成する各画像の視差を検出するステップと、
少なくとも前記操作入力により前記表示画像上での操作を行うことができる場合に、前記複数視点画像の視差を調整するステップと、
を備える、画像処理方法。
【請求項１７】
表示部に表示された表示画像上で行われる操作入力を取得する手段、
前記複数視点画像を構成する各画像の視差を検出する手段、
少なくとも前記操作入力により前記表示画像上での操作を行うことができる場合に、前記複数視点画像の視差を調整する手段、
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１２−１０３９８０（Ｐ２０１２−１０３９８０Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２５３１４９（Ｐ２０１０−２５３１４９）
【出願日】平成２２年１１月１１日（２０１０．１１．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月１１日（２０１０．１１．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]