3Dポインタ生成装置及び3Dポインタ生成方法
【課題】3D画像中に特定の印などのポインタを表示させる際に、任意の立体空間に表示させることが容易にできるようにする。
【解決手段】ポインタ生成部で、画面上に特定の印を表示させるポインタ表示信号を生成させる。生成されたポインタ表示信号は、左チャンネル混合部で左チャンネル画像信号に混合し、右チャンネル混合部で右チャンネル画像信号に混合する。各チャンネルのポインタ表示信号は、立体表示されることで形成される仮想空間上のポインタの奥行き方向の位置を指示する操作入力に基づいて、ポインタの表示位置を設定する。その混合位置の設定処理としては、左チャンネルのポインタ表示信号による表示位置と、右チャンネルのポインタ表示信号による表示位置とを、指示された仮想空間上の位置の視差に対応してシフトした水平位置とする。
【解決手段】ポインタ生成部で、画面上に特定の印を表示させるポインタ表示信号を生成させる。生成されたポインタ表示信号は、左チャンネル混合部で左チャンネル画像信号に混合し、右チャンネル混合部で右チャンネル画像信号に混合する。各チャンネルのポインタ表示信号は、立体表示されることで形成される仮想空間上のポインタの奥行き方向の位置を指示する操作入力に基づいて、ポインタの表示位置を設定する。その混合位置の設定処理としては、左チャンネルのポインタ表示信号による表示位置と、右チャンネルのポインタ表示信号による表示位置とを、指示された仮想空間上の位置の視差に対応してシフトした水平位置とする。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、立体表示を行う3D画像中の任意の位置にポインタを表示させる3Dポインタ生成装置及び3Dポインタ生成方法に関する。
【背景技術】
【0002】
動画や静止画などの映像コンテンツの表示や編集などを行う際に、作業者の操作指示に基づいて、表示画像中の任意の位置にポインタを表示させることがある。例えば、ある被写体を撮影した動画像を表示させる際に、その被写体に対して目印などを付けるために、矢印などのマークによるポインタを、その目的とする被写体の近傍に表示させることがある。
【0003】
ところで、画像表示技術として、右目用画像と左目用画像の同時表示や交互表示を行うことで、立体画像を表示させる技術がある。立体画像を表示させる技術そのものは古くからあるが、近年の画像処理技術の向上により、立体画像の撮影や表示を行う映像機器が普及している。本明細書中での以下の説明では、立体表示を行う画像を3D画像と称する。
【0004】
3D画像を表示させる場合にも、矢印などのポインタを3D画像に重畳して表示させることで、3D画像中の任意の位置を、ポインタで指示することができる。
【0005】
特許文献1には、3D画像中に、画面上の二次元平面上のみならず、奥行き方向にも移動可能な、被写体を指すポインタを表示させる点についての記載がある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】国際公開第2004−114108号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1に記載された技術では、ポインタの飛び出し量又は沈み込み量を設定して、ポインタを3D画像中の奥行き方向の表示状態を調整するようにしてある。従って、特許文献1に記載された従来技術は、3D画像中で、右目用画像と左目用画像の視差が0になる空間座標位置を基準として、その空間座標位置より奥又は手前に調整されるものであり、左右の画像の視差が0となる空間座標が予め判っている必要がある。
【0008】
ところが、例えばコンピュータグラフィック処理で作成されたアニメーション画像のような3D画像では、空間座標のデータが存在するとしても、実際の風景などをカメラで撮影して得られた3D画像では、画面中の被写体の空間座標という様なデータは存在しない。従って、画面上に被写体を指すポインタを、座標指定という形で設定表示させることは、通常の3D画像では困難である。
【0009】
本開示の目的は、3D画像中に特定の印などのポインタを表示させる際に、任意の立体空間に表示させることが容易にできるようにすることにある。
【課題を解決するための手段】
【0010】
本開示は、画面上に特定の印を表示させるためのポインタ表示信号を生成するポインタ生成部を備える。また、ポインタ生成部で生成されたポインタ表示信号を、左チャンネル画像信号に混合する左チャンネル混合部と、ポインタ生成部で生成されたポインタ表示信号を、右チャンネル画像信号に混合する右チャンネル混合部とを備える。
そして、立体表示されることで形成される仮想空間上のポインタの奥行き方向の位置を指示する操作入力に基づいて、各チャンネルのポインタ表示位置を設定する。その表示位置の設定として、左チャンネルのポインタ表示信号のポインタ表示位置と、右チャンネルのポインタ表示信号のポインタ表示位置とを、指示された仮想空間上の奥行き方向の位置の視差に対応してシフトした水平位置とする。
【0011】
このようにして、左チャンネル画像信号と右チャンネル画像信号を表示装置に供給して立体表示を行うことで、指示された仮想空間上の奥行き方向の位置にポインタが立体表示されるようになる。
【発明の効果】
【0012】
本開示によると、立体表示される画像中に、操作入力に基づいた仮想空間上の任意の奥行き方向の位置で、特定の印を示すポインタを表示させることができるようになる。
【図面の簡単な説明】
【0013】
【図1】本開示の一実施の形態例による装置構成を示すブロック図である。
【図2】図1の装置の要部の例を示すブロック図である。
【図3】本開示の一実施の形態例によるポインタ表示処理例を示すフローチャートである。
【図4】本開示の一実施の形態例による水平・垂直方向のポインタ表示位置設定処理例を示すフローチャートである。
【図5】本開示の一実施の形態例による仮想位置による処理例(例1)を示すフローチャートである。
【図6】本開示の一実施の形態例による仮想位置による処理例(例2)を示すフローチャートである。
【図7】本開示の一実施の形態例によるポインタ表示例(a)と信号処理のタイミングチャート(b〜i)である。
【図8】仮想空間上での表示位置の設定状態を示す説明図である。
【図9】ポインタを基準となる空間座標位置より奥に表示させた例(a)及び手前に表示させた例(b)を示す説明図である。
【図10】本開示の一実施の形態例による字幕表示位置の設定処理を示すフローチャートである。
【図11】本開示の一実施の形態例による表示状態を示す説明図である。
【図12】本開示の一実施の形態例による表示状態の他の例を示す説明図である。
【図13】本開示の一実施の形態例による表示状態のさらに他の例を示す説明図である。
【発明を実施するための形態】
【0014】
本開示の一実施の形態例を、以下の順序で説明する。
1.装置の全体構成例(図1)
2.装置の信号処理構成の詳細の例(図2)
3.表示位置の設定処理の説明(図3−図6)
4.信号処理状態の例(図7)
5.立体方向の表示位置の設定状態の説明(図8,図9)
6.3Dポインタを字幕表示位置の設定に適用した例(図10)
7.3Dポインタの視差ドット数を表示させた例(図11,図12,図13)
8.変形例
【0015】
[1.装置の全体構成例]
図1は、本開示の一実施の形態例による3Dポインタ生成装置としての画像信号処理装置の全体構成を示した図である。
図1に示すように、操作者であるユーザからの操作uを受け付けるコントローラ11が用意してあり、そのコントローラ11から、制御部である中央制御ユニット(以下CPUと称する)13に、ポインタの表示位置を指示する。コントローラ11には、ユーザ操作uを受け付けるキーボードなどの入力部が接続してある。この例では、入力部の1つとして、ポインティングデバイスであるマウス12が取り付けてある。本実施の形態例で使用されるマウス12は、スクロールボタンを備えたものであり、マウス12を机の上などの平面上に沿って動かすことで、2次元上の位置の指示が行える。
マウス12のスクロールボタンは、操作を行うユーザから見て手前側に回す操作と、奥側に回す操作との2段階の操作が可能である。本実施の形態例の場合には、マウス12による2次元上の位置の指示で、画面上に表示されるポインタの、画面内の水平及び垂直方向の位置が指示されるようにしてある。また、スクロールボタンの操作指示で、3D表示される仮想空間上の奥行き方向のポインタの位置を指示するようにしてある。このポインタの位置を指示する具体例については後述する。
【0016】
本実施の形態例の場合には、画像信号処理装置が扱う画像信号(映像信号)は、立体表示(3D表示)用の画像信号であり、左目で見るための左チャンネル画像信号と、右目で見るための右チャンネル画像信号とで構成される。左チャンネル画像信号と右チャンネル画像信号は、図示しない別の再生装置,受信装置又はビデオカメラなどから供給され、入力される。但し、左チャンネルと右チャンネルの入力画像信号は、この画像信号処理装置内で生成された左チャンネル画像信号と右チャンネル画像信号でもよい。
【0017】
画像信号処理装置の信号処理系としては、左チャンネル画像信号を処理する系と、右チャンネル画像信号を処理する系の2系統が用意され、最終段階で左チャンネル画像信号と右チャンネル画像信号が合成処理されて出力され、表示装置に供給される。但し、表示装置で3D表示を行う処理については様々な方式があり、例えば、左チャンネル画像信号と右チャンネル画像信号とを、それぞれ別の画像信号として入力させる場合もある。なお、この場合には、左チャンネル画像信号と右チャンネル画像信号との合成処理は不要である。
【0018】
コントローラ11からCPU13に表示位置の指示が行われるポインタについても、表示装置で3D表示を行うためのポインタである。以下の説明では3D表示を行うためのポインタを3Dポインタと称する。
コントローラ11は、3Dポインタの位置として、表示画面中の水平方向(横方向)の位置と垂直方向(縦方向)の位置を、CPU13に指示すると共に、3D表示で形成される仮想空間上の奥行き方向の位置についてもCPU13に指示する。
例えば、ユーザがマウス12を使用した、2次元上の位置を指示する操作を行うことで、表示画面中の水平及び垂直方向の位置が指示され、同じマウス12のスクロールボタンのユーザ操作で、仮想空間上の奥行き方向の位置が指示される。具体的には、スクロールボタンを一方(手前側)に回すことで、仮想空間上の手前側の位置が指示され、スクロールボタンを他方(奥側)に回すことで、仮想空間上の奥側の位置が指示される。
【0019】
CPU13は、3Dポインタの位置のコントローラ11からの指示があると、各処理部に対して、その指示された位置に3Dポインタを表示させる制御処理を行う。
ポインタを表示させるためのポインタ表示信号を生成するポインタ生成処理を行うポインタ生成部として、左ポインタ発生部30Lと、右ポインタ発生部30Rとを備える。
左ポインタ発生部30Lは、CPU13から指示されたサイズと位置の左チャンネル用のポインタ表示信号を生成させる。生成された左チャンネル用のポインタ表示信号(ポインタ画像)は、左チャンネル混合処理を行う左チャンネル用の混合部20Lに供給され、左チャンネルの入力画像信号に混合される。
右ポインタ発生部30Rは、CPU13から指示されたサイズと位置の右チャンネル用のポインタ表示信号を生成させる。生成された右チャンネル用のポインタ表示信号(ポインタ画像)は、右チャンネル混合処理を行う左チャンネル用の混合部20Rに供給され、右チャンネルの入力画像信号に混合される。
【0020】
図1に示された具体的な制御信号と画像信号との例について説明する。
CPU13から左ポインタ発生部30Lには、左水平位置信号[left h pos]と、左垂直位置信号[left v pos]と、左水平サイズ信号[left h size]と、左垂直サイズ信号[left v size]を供給する。左水平位置信号[left h pos]と左垂直位置信号[left v pos]は、表示されるポインタの画像中の水平及び垂直の位置を指示する信号である。左水平サイズ信号[left h size]と、左垂直サイズ信号[left v size]とは、表示されるポインタとしての印の水平方向及び垂直方向のサイズ(表示幅)を示す信号である。
【0021】
CPU13から右ポインタ発生部30Rには、右水平位置信号[right h pos]と、右垂直位置信号[right v pos]と、右水平サイズ信号[right h size]と、右垂直サイズ信号[right v size]を供給する。右水平位置信号[right h pos]と右垂直位置信号[right v pos]は、表示されるポインタの画像中の水平及び垂直の位置を指示する信号である。右水平サイズ信号[right h size]と、右垂直サイズ信号[right v size]とは、表示されるポインタとしての印の水平方向及び垂直方向のサイズ(表示幅)を示す信号である。
【0022】
なお、左ポインタ発生部30Lには、左チャンネル画像信号の同期信号成分である、水平ドライブ信号[i left hd]と垂直ドライブ信号[i left vd]とフレーム信号[i left fd]とが供給される。そして、左ポインタ発生部30L内で、その左チャンネル画像信号の同期信号に同期して、指示された位置及びサイズのポインタを表示させるための、左チャンネルのポインタ表示信号[left pointer]が生成される。
同様に、右ポインタ発生部30Rには、右チャンネル画像信号の同期信号成分である、水平ドライブ信号[i right hd]と垂直ドライブ信号[i right vd]とフレーム信号[i right fd]とが供給される。そして、右ポインタ発生部30R内で、その右チャンネル画像信号の同期信号に同期して、指示された位置及びサイズのポインタを表示させるための、右チャンネルのポインタ表示信号[right pointer]が生成される。
【0023】
これらの各信号をCPU13から左ポインタ発生部30L及び右ポインタ発生部30Rに供給することで、それぞれのポインタ発生部30L,30Rで生成されるポインタ表示信号として、指示された通りのポインタの表示位置及びサイズの信号になる。ここで、左右のチャンネルのポインタの水平方向の位置については、CPU13に指示された仮想空間上の奥行き方向の位置の視差に対応して、CPU13が、シフトした水平位置に設定させるようにしてある。この指示された位置の視差に対応して、シフトした水平位置に設定させる詳細な処理状態については後述する。
【0024】
左チャンネル用の混合部20Lは、入力した左チャンネル画像信号に対して、左チャンネルのポインタ表示信号[left pointer]で指示された位置及びサイズで、ポインタ画像の混合処理を行う。
同様に、右チャンネル用の混合部20Rは、入力した左チャンネル画像信号に対して、右チャンネルのポインタ表示信号[right pointer]で指示された位置及びサイズで、ポインタ画像の混合処理を行う。
【0025】
本開示の実施の形態例では、混合部20L,20Rに供給される入力画像信号は、輝度とクロマとが分離された信号である。即ち、左チャンネル用の混合部20Lには、左チャンネルの入力輝度信号[i left y]と、入力第1色差信号[i left cb]と、入力第2色差信号[i left cr]とが供給される。その輝度とクロマとが分離された左チャンネルの画像信号に対して、ポインタ表示信号で指示された位置及びサイズのポインタ画像の混合処理が行われ、混合部20Lから混合処理された画像信号が出力される。つまり、図1に示すように、出力輝度信号[o left y]と、出力第1色差信号[o left cb]と、出力第2色差信号[o left cr])とが、混合部20Lから出力されて合成処理部40に供給される。
【0026】
同様に、右チャンネル用の混合部20Rには、右チャンネルの入力輝度信号[i right y]と、入力第1色差信号[i right cb]と、入力第2色差信号[i right cr]とが供給される。そして、輝度とクロマとが分離された右チャンネルの画像信号に対して、ポインタ表示信号で指示された位置及びサイズのポインタ画像の混合処理が行われ、混合処理された画像信号が混合部20Rから出力される。つまり、図1に示すように、出力輝度信号[o right y]と、出力第1色差信号[o right cb]と、出力第2色差信号[o right cr])とが混合部20Rから出力されて、合成処理部40に供給される。
【0027】
合成処理部40では、左チャンネル用の画像信号と右チャンネル用の画像信号との合成処理が行われる。例えば、左チャンネル用の画像信号と右チャンネル用の画像信号とを、1フレームごとに交互に配置した画像信号とする。合成処理部40で合成された画像信号を、図示しない表示装置に供給する。図1例では、合成された画像信号として、合成輝度信号[o y]と、合成第1色差信号[o cb]と、合成第2色差信号[o cr])とが合成処理部40から出力される。
なお、先に説明したように、3D表示を行う表示装置が、各チャンネルの画像信号を独立して入力する方式である場合には、合成処理部40での合成処理は必要ない。
【0028】
[2.装置の信号処理構成の詳細の例]
次に、各チャンネルの混合部20L,20Rとポインタ発生部30L,30Rの詳細な構成を、図2を参照して説明する。
左チャンネル用の混合部20L及び左ポインタ発生部30Lと、右チャンネル用の混合部20R及び右ポインタ発生部30Rは、基本的に同一構成であり、図2では一方のチャンネルの構成だけを示している。また、各信号の名称についても、図2では、左チャンネルの信号であることを示す記号[left]と、右チャンネルを示す記号[right]を、図1の各記号から除いてあり、各チャンネルで共通化した構成として図示している。
【0029】
ポインタ発生部30L,30Rに供給される水平ドライブ信号[i hd]は、バッファアンプ311を介して水平ドット数カウンタ312に供給し、画像信号の水平ドット数(水平画素数)をカウントしたドット数カウント信号[h count]を得る。水平ドット数カウンタ312で得られたドット数カウント信号[h count]は、演算部314の入力Aに供給する。
また、ポインタ発生部30L,30Rに供給される水平ドライブ信号[i hd]を、水平エッジ検出部313に供給し、水平エッジを検出する。水平エッジ検出部313での検出結果としての検出信号[hdn]は、ライン数カウンタ322に供給される。ポインタ発生部30L,30Rに供給される垂直ドライブ信号[i vd]についても、バッファアンプ321を介してライン数カウンタ322に供給される。ライン数カウンタ322では、垂直ドライブ信号でリセットを行いながら、水平エッジの検出信号に基づいて水平ライン数のカウントを行い、ライン数カウント信号[v count]を、演算部345の入力Aに供給する。
【0030】
また、ポインタ発生部30L,30Rに供給される垂直ドライブ信号[i vd]を、垂直エッジ検出部323に供給して、垂直エッジの立ち上がり及び立ち下がりの検出信号[v dp]、[v dn]を得る。そして、得られた検出信号をプログレッシブ判別部324に供給する。また、ポインタ発生部30L,30Rに供給されるフレーム信号[i fd]を、バッファアンプ325を介してプログレッシブ判別部324に供給する。
プログレッシブ判別部324では、垂直エッジの検出信号とフレーム信号とに基づいて、入力した画像信号がプログレッシブ信号か否かを判別し、その判別結果信号[prog]を出力する。判別結果信号[prog]は、スイッチ341,343の切り替え制御信号として使用される。
【0031】
そして、CPU13から供給される水平位置信号[i h pos]と、垂直位置信号[i v pos]と、水平サイズ信号[i h size]と、垂直サイズ信号[i v size]とを、それぞれバッファアンプ331,332,333,334に供給する。
バッファアンプ331が出力する水平位置信号[i h pos]を、演算部314の入力Bに供給する。
バッファアンプ332が出力する垂直位置信号[i v pos]を、直接スイッチ341の一方の接点に供給すると共に、1/2ライン遅延回路342を介してスイッチ341の他方の接点に供給する。このスイッチ341では、プログレッシブ判別部324が出力する判別結果信号[prog]に基づいて、適切な接点に得られる信号を選択して、その選択された垂直位置信号[i v pos]を、演算部345の入力Bに供給する。
【0032】
バッファアンプ333が出力する水平サイズ信号[i h size]は、演算部314の入力Cに供給される。
バッファアンプ334が出力する垂直サイズ信号[i v size]は、直接スイッチ343の一方の接点に供給されると共に、1/2ライン遅延回路344を介してスイッチ343の他方の接点に供給される。このスイッチ343では、プログレッシブ判別部324が出力する判別結果信号[prog]に基づいて、適切な接点に得られる信号を選択して、その選択された垂直サイズ信号[i v size]を、演算部345の入力Cに供給する。
【0033】
演算部314では、入力A,B,Cの演算処理で、ポインタを表示させる水平位置の信号[h area]を得る。演算部314での演算処理としては、入力A,B,Cについて、(A≧B)かつ(A<(B+C))となるとき、ハイレベルHとなる水平位置の信号[h area]を得る。
演算部345では、入力A,B,Cの演算処理で、ポインタを表示させる垂直位置の信号[v area]を得る。演算部345での演算処理としては、入力A,B,Cについて、(A≧B)かつ(A<(B+C))となるとき、ハイレベルHとなる垂直位置の信号[h area]を得る。
【0034】
演算部314が出力するポインタの水平位置の信号[h area]と、演算部345が出力するポインタの垂直位置の信号[h area]とを、演算部315に供給し、双方の信号がハイレベルであるとき、ハイレベルとなる出力信号を得る。この演算部315の出力信号を、ポインタの位置を示す信号[o pointer]として、各ポインタ発生部30L,30Rから出力させる。
【0035】
このポインタの位置を示す信号[o pointer]は、各チャンネルの混合部20L,20Rに、ポインタ選択信号[i pointer sel]として供給される。ポインタ選択信号[i pointer sel]により、入力画像信号とポインタの画像信号に切替えるスイッチ214,224,234の切替えを制御する。
混合部20L,20Rには、入力画像信号として、輝度信号[i y]と、入力第1色差信号[i cb]と、入力第2色差信号[i cr]とが供給される。各信号は、遅延調整回路211,222,231を介して、スイッチ214,224,234の一方の入力端と、加算部212,222,232の入力Bに供給する。
【0036】
加算部212,222,232は、ポインタを半透明で表示させるために、入力画像信号と加算する処理が行われる。
加算部212の入力Aには、ポインタの輝度レベル信号が供給される。そして、加算部212で、入力Aに得られるポインタの輝度レベル信号と、入力Bに得られる入力画像信号の輝度信号とを加算し、1/2のレベルとする。この加算処理がポインタを半透明で表示させる処理に相当する。加算部212で加算し1/2のレベルとされた信号は、スイッチ213の一方の入力端に供給される。スイッチ213の他方の入力端には、ポインタの輝度レベル信号が供給され、このスイッチ213の切替えで、ポインタを不透明で表示させる状態と、半透明で表示させる状態が選択される。スイッチ213は、後述する他のスイッチ223,233と共に、ポインタ表示設定信号[i mix sel]により連動して切替えが制御される。スイッチ213で選択された信号は、スイッチ214の他方の入力端に供給する。
スイッチ214では、ポインタ選択信号[i pointer sel]がハイレベルであるとき、スイッチ213が出力するポインタを表示させる信号を選択し、ポインタ選択信号がローレベルであるとき、入力した輝度信号を出力する。
【0037】
加算部222の入力Aには、ポインタの第1色差レベル信号が供給される。そして、加算部222で、入力Aに得られるポインタの第1色差レベル信号と、入力Bに得られる入力画像信号の第1色差信号とを加算し、1/2のレベルとする。加算部222で加算し1/2のレベルとされた信号は、スイッチ223の一方の入力端に供給される。スイッチ223の他方の入力端には、ポインタの第1色差レベル信号が供給され、このスイッチ223の切替えで、ポインタを不透明で表示させる状態と、半透明で表示させる状態が選択される。スイッチ223で選択された信号は、スイッチ224の他方の入力端に供給される。
スイッチ224では、ポインタ選択信号[i pointer sel]がハイレベルであるとき、スイッチ223が出力するポインタを表示させる信号を選択し、ポインタ選択信号がローレベルであるとき、入力した第1色差信号を出力する。
【0038】
加算部232の入力Aには、ポインタの第2色差レベル信号が供給される。そして、加算部232で、入力Aに得られるポインタの第2色差レベル信号と、入力Bに得られる入力画像信号の第2色差信号とを加算し、1/2のレベルとする。加算部232で加算し1/2のレベルとされた信号は、スイッチ233の一方の入力端に供給される。スイッチ233の他方の入力端には、ポインタの第2色差レベル信号が供給され、このスイッチ233の切替えで、ポインタを不透明で表示させる状態と、半透明で表示させる状態が選択される。スイッチ233で選択された信号は、スイッチ234の他方の入力端に供給される。
スイッチ234では、ポインタ選択信号[i pointer sel]がハイレベルであるとき、スイッチ233が出力するポインタを表示させる信号を選択し、ポインタ選択信号がローレベルであるとき、入力した第2色差信号を出力する。
【0039】
[3.表示位置の設定処理の説明]
次に、図3〜図6のフローチャートを参照して、ポインタを画面上に3D表示させる際の処理について説明する。図3〜図6のフローチャートに示したポインタの表示処理は、全て図1に示したCPU13の制御で実行されるものである。
まず、図3のフローチャートを参照して、ポインタを画面上に3D表示させる処理の流れの全体について説明する。CPU13は、ユーザ操作などによるポインタの表示指示がコントローラ11からあるか否かを判断する(ステップS11)。ステップS11で、ポインタの表示指示がない場合には、表示指示があるまで待機する。
そして、ステップS11でポインタの表示指示がある場合には、コントローラ11に接続されたポインティングデバイスであるマウス12の操作指示により、CPU13が、画面上の水平方向及び垂直方向のポインタの表示位置を決める(ステップS12)。ポインタの表示サイズや表示状態については、例えば、予め設定されたポインタ表示モードにより決まる。
【0040】
さらに、CPU13は、コントローラ11に接続されたマウス12のスクロールボタンの操作状況を判断し、ポインタを3D表示させる場合の、3D表示で形成される仮想空間上の奥行き方向の位置の指示を判断する(ステップS13)。具体的には、例えばスクロールボタンを手前側に回す操作があるときには、仮想空間上の奥行き方向のポインタの位置を、手前側の位置とする指示があると判断する。また、スクロールボタンを奥側に回す操作があるときには、奥側の位置とする指示があると判断する。
【0041】
そして、CPU13は、仮想空間上の奥行き方向の位置の指示の判断に基づいて、表示するポインタの左チャンネルの画像と右チャンネルの画像との水平方向のシフト量を設定する(ステップS14)。その水平方向のシフト量に基づいて、それぞれのチャンネルの画像中での、水平方向及び垂直方向のポインタの表示位置を確定させ、対応した表示位置とする制御処理が行われる。
なお、ステップS13の判断時にスクロールボタンの操作が何もない場合には、例えば、左チャンネルの画像でのポインタの表示位置と、右チャンネルの画像でのポインタの表示位置とが同じ位置となる位置ようにする。なお、以下の説明では、この左右のチャンネルの画像で画面上の表示位置が同じ位置を、基準位置又は基準面と称する。
【0042】
ここまでの処理が行われると、ステップS11の判断に戻り、マウス12の操作に基づいてポインタの表示位置が、マウス12の操作に基づいて随時変更される。
【0043】
次に、図4のフローチャートを参照して、マウス12の操作に基づいてポインタの表示位置を設定する場合の、画面上の水平及び垂直方向での位置の制限処理について説明する。
本実施の形態の場合には、基本的にポインタの画面上の水平及び垂直方向での表示位置は、画面内に制限されるが、さらに、3D表示が可能な範囲に制限される。
すなわち、左チャンネルの画像と右チャンネルの画像とを使用して3D表示を行う際には、それぞれの画像で物体が表示可能な範囲である必要があり、画面の左端及び右端では、一方のチャンネルの画像しか表示されないために物体が立体表示されない。
【0044】
このため、図4のフローチャートに示すように、CPU13は、ポインタの表示位置の変更操作指示があるか否かを判断する(ステップS21)。ポインタの表示位置の変更操作指示がない場合には、ポインタの表示位置の変更操作指示があるまで待機する。そして、ステップS21で、表示位置変更操作があると判断したとき、変更後の位置が、確実に立体表示される範囲であるか否かを判断する(ステップS22)。ここでの立体表示される範囲とは、上述したように、画面の左端及び右端を除いた範囲である。
【0045】
ステップS22の判断で、指示されたポインタの表示位置が、画面の左端及び右端を除いた範囲である場合、その指示された位置にポインタを表示させるように、先に説明した図3のフローチャートに示した処理で、表示位置を設定させる(ステップS23)。
また、ステップS22の判断で、指示されたポインタの表示位置が、画面の左端及び右端で3D表示ができない可能性がある位置である場合には、3D表示が可能な範囲内(すなわち左端及び右端よりも内側)の位置に制限させる(ステップS24)。
そして、ステップS23,S24の処理が行われた後、ステップS21の判断処理に戻る。
この図4のフローチャートの処理が行われることで、ポインタが常に設定された通りの仮想空間内の奥行きで表示されるようになる。なお、この図3のフローチャートに示す表示位置の制限を行うことは、例えば図2に示すバッファアンプ331に供給されるポインタ水平位置信号[i h pos]が、対応した位置の信号として生成されることである。この対応した位置の信号として生成させる処理は、例えばCPU13の制御で行われる。
【0046】
次に、CPU13の制御でポインタを画像中に表示させる際の、ポインタの表示色の設定処理について説明する。
ポインタの表示色については、例えばユーザ設定で自由に色を設定できるようにする。そして、3D表示処理で仮想空間内の奥行きを設定したときに、基準位置、つまり左右のチャンネルの画像で画面上の表示位置が同じ位置又はその近傍位置となった場合、そのときだけポインタの表示色を変えるようにしてもよい。
【0047】
図5のフローチャートは、この基準位置(基準面)のときだけポインタの表示色を変える処理例を示したフローチャートである。
まず、スクロールボタンのユーザ操作で指示された仮想空間上の位置が、基準位置又はその基準位置の近傍であるか否かを判断する(ステップS31)。ステップS31の判断で、基準位置又はその近傍の位置でない場合、つまり左右のポインタの表示位置に一定量以上のシフト量がある場合には、予めユーザが決めた色(又は予め設定された色)でポインタを表示させる(ステップS32)。そして、ステップS31の判断で、スクロールボタンのユーザ操作で指示された仮想空間上の位置が、基準位置又はその近傍の位置であると判断した場合には、ステップS32で表示させる色とは別の特定の色でポインタを表示させる(ステップS33)。ステップS32,S33の表示処理後、ステップS31の判断に戻り、このフローチャートの処理が繰り返される。
【0048】
なお、基準位置は、先に説明したように、左右のチャンネルの画像でポインタを表示させる位置が同一である場合であり、基準位置の近傍位置とは、例えば左右で±1画素程度や、あるいは左右で±数画素程度のわずかな表示位置の差がある場合である。
【0049】
この図5のフローチャートに示す処理を行うことで、操作を行うユーザは、表示されるポインタの図形そのものを見ながらマウス12のスクロールボタンを操作するだけで、ポインタの色の変化で、奥行き方向に基準位置になったか否か判るようになる。したがって、ポインタの3D画面上の仮想位置などを別途目盛りなどで表示させなくても、ユーザに基準位置であることを容易に告知できるようになる。
なお、この図4のフローチャートに示す表示位置の設定を行うことは、例えば図2に示す加算部222,232及びスイッチ223,233に供給される、ポインタの第1色差レベル信号及び第2色差レベル信号を、対応した色の信号に設定することである。この対応した色の信号とする処理は、例えばCPU13の制御で行われる。
【0050】
次に、CPU13の制御でポインタを画像中に表示させる際に、基準位置より手前か奥かで、ポインタの表示状態を変える処理例について、図6のフローチャートを参照して説明する。
まず、ポインタについて、仮想空間内の奥行きを設定した位置が、基準位置より手前か奥かを判断する(ステップS41)。このステップS41の判断で、基準位置より奥の位置である場合には、ポインタを設定された色で半透明の物体として表示させる(ステップS42)。この半透明の物体として表示させる処理としては、例えば図2の混合部20L,20R内の各スイッチ213,223,233として、加算部212,222,232の出力側を選択する処理に相当する。つまり、各加算部212,222,232で入力画像信号とポインタ表示用画像信号とを加算してレベルを調整した信号とすることで、ポインタが存在する位置の元々の画像がある程度、透けて見えた状態でポインタが表示されるようになる。
【0051】
また、ステップS41の判断で、基準位置より手前の位置である場合には、ポインタを設定された色の不透明の物体として表示させる(ステップS43)。この不透明の物体として表示させる処理としては、例えば図2の混合部20L,20R内の各スイッチ213,223,233として、入力ポインタレベルの信号を直接選択する処理に相当する。つまり、ポインタが表示される位置では、その位置に元々存在する画像が隠れた状態となる。
なお、ステップS41の判断時において、仮想空間内の奥行きを設定した位置が、基準位置である場合には、ステップS42とステップS43の予め決めたいずれかの処理を行うようにすればよい。あるいは、図5のフローチャートの処理と組み合わせて、基準位置(又はその近傍位置)である場合には、さらに別の特定色で表示させるようにしてもよい。
【0052】
この図6のフローチャートの処理が行われることで、仮想空間内の奥行きの設定状況に応じて、適切なポインタの表示状態となる。
すなわち、本実施の形態例においては、ポインタを混合する元の画像についても、3D表示される画像であり、画像中の各物体などが適切な奥行きを持つ。ここで、画像中の各物体の奥行き方向の配置状態を考えたとき、立体感を出すために特別に手前や奥に配置された物体は別として、画像中の大部分の物体は、基準位置に近い位置にある可能性が高い。ここで、もし、画像中の特定の物体が基準位置の近傍に配置された状態で、基準位置よりも奥の位置に設定したポインタを、その物体の表示位置に重ねて不透明で表示させたとする。このとき、奥の位置に設定されたポインタで、そのポインタの仮想位置よりも手前に存在している画像が隠れることになり、画像として矛盾を生じることになる。
これに対して、図6のフローチャートに示す処理を行うことで、ポインタが奥に表示された状態では、半透明で重なる位置の元の画像についても表示されて、矛盾を生じない画像表示が行われる可能性が高くなる。
【0053】
また、ポインタを手前の位置に設定した場合には、そのポインタ表示位置と重なる位置の画像は、そのポインタの設定位置よりも奥の位置になる可能性が高く、ポインタを不透明で表示させても、上述した矛盾が生じる可能性は少なくなる。
したがって、図6に示す表示処理を行うことで、どの仮想空間内のどの奥行きの位置ポインタを設定した場合でも、矛盾が生じる可能性が少ない良好な表示が行えるようになる。
なお、図5に示した基準位置時に、さらに別の色とする処理や、図4のフローチャートに示した左右の端での表示を制限する処理を組み合わせて、さらに良好に表示されるようにしてもよい。
また、図6のフローチャートの例では、基準位置より手前を特定の色、基準位置より奥を半透明としたが、例えば、基準位置より手前を第1の色、基準位置より奥を第2の色として、少なくとも2段階に色を変えるようにしてもよい。この場合には、例えば基準位置より奥にポインタを表示させる第2の色を、比較的薄い色として、余り強く表示されないようにしてもよい。
【0054】
[4.信号処理状態の例](図7)
次に、図2に示した信号処理構成で、ポインタが表示される例について、図7を参照して説明する。
図7(a)は、画像中にポインタP0が表示される状態を示している。この例では、カラーバーが画像として表示されている中に、四角形のポインタP0を表示させた例としてあり、ポインタP0は不透明(つまりポインタの部分は元の画像が見えない状態)で表示させてある。この例では、1フレームの画像が水平画素数1920画素×水平ライン数1080本の例としてある。
【0055】
図7(b)〜(d)は、水平方向のタイミング例を示したものである。
図7(b)は、水平ドライブ信号[i hd]を示し、図7(c)は、ドット数カウント信号[h count]を示す。1水平ラインの画素数1920画素であるので、水平ドライブ信号がHレベルである間はカウント値が0であり、水平ドライブ信号がLレベルに変化することで、1画素ごとのカウントが行われ、1920までカウントされる。
そして、図7(d)に示す、ポインタの水平位置の信号[h area]がHレベルの間が、ポインタの信号の出力に切り替わる期間となる。水平ドライブ信号[i hd]がHレベルからLレベルに変化した1水平ラインの始点から、ポインタの水平位置の信号[h area]が立ち上がるタイミングまでの期間が、ポインタの水平位置を示す信号[h position]となる。また、信号[h area]がHレベルになっている期間が、水平サイズ信号[h size]で示される期間である。
【0056】
図7(e)〜(i)は、水平方向のタイミング例を示したものである。
図7(e)は、垂直ドライブ信号[i vd]を示し、図7(f)は、水平ドライブ信号[i hd]を示し、図7(g)は、水平エッジの検出信号[hdn]を示す。図7(h)は、ライン数カウント信号[v count]を示す。水平ライン数1080であるので、垂直ドライブ信号がLレベルである間はカウント値が0であり、水平ドライブ信号がLレベルに変化することで、水平エッジの検出信号[hdn]に同期した1ラインごとのカウントが行われ、1080までカウントされる。
そして、図7(i)に示す、ポインタの垂直位置の信号[v area]がHレベルの間が、ポインタの信号の出力に切り替わる期間となる。ライン数カウント信号[v count]がカウント値1になったタイミングから、ポインタの垂直位置の信号[h area]が立ち上がるタイミングまでの期間が、ポインタの水平位置を示す信号[v position]となる。また、信号[v area]がHレベルになっている期間が、垂直サイズ信号[v size]で示される期間である。
このようにして、図2に示す処理構成でポインタを表示させる信号が元の画像信号に混合されて、ポインタが画面中に表示されるようになる。
【0057】
[5.立体方向の表示位置の設定状態の説明](図8,図9)
次に、図8及び図9を参照して、3D表示で設定される仮想空間上の表示位置の設定処理について説明する。
図8は、基準位置(基準面)Mと、その基準位置Mより手前及び奥の状態を示したものである。
先に説明したように、画像中のある表示物体m0についての、仮想空間上の表示位置の設定位置が、基準位置Mと一致しているときには、画面上では、その物体m0は、左チャンネルと右チャンネルとで同一位置に表示されている。この基準位置M上の物体を、画面を見ているユーザが観察したとき、左目ELからの視線と、右目ERからの視線とが交差することはない。
そして、図8に示したように、その基準位置Mよりも奥の位置に物体m1を配置させたとすると、左目ELからの視線と、右目ERからの視線とで成す角度は徐々に小さくなる。
【0058】
これに対して、基準位置Mよりも手前の位置に物体m2を配置させたとすると、このときには、左目ELからの視線と、右目ERからの視線とが交差するような画面上での2つのチャンネルの画像中の物体配置となる。
【0059】
したがって、基準位置Mよりも奥の位置にポインタを表示させる場合の左右の画像を1つの画面上に合成して示すと、図9(a)に示す状態となる。この図9(a)では、左チャンネル(左眼用)のポインタは、右上がりの斜線で示す範囲の四角であり、右チャンネルの(右眼用)のポインタは、右下がりの斜線で示す範囲の四角である。左チャンネルのポインタの方が、右チャンネルのポインタよりも左側に配置される。
【0060】
一方、基準位置Mよりも手前の位置にポインタを表示させる場合の左右の画像を1つの画面上に合成して示すと、図9(b)に示す状態となり、図9(a)とはポインタの左右の関係が逆になる。この図9(b)でも、左チャンネル(左眼用)のポインタは、右上がりの斜線で示す範囲の四角であり、右チャンネルの(右眼用)のポインタは、右下がりの斜線で示す範囲の四角である。この場合には、左チャンネルのポインタの方が、右チャンネルのポインタよりも右側に配置され、図8に示した視線が交差する配置に対応することになる。
【0061】
[6.3Dポインタを字幕表示位置の設定に適用した例]
次に、本実施の形態例の3Dポインタ表示処理を、画像中に字幕を表示させる場合の字幕の位置を設定する際の処理に適用した例を、図10のフローチャートを参照して説明する。
図10にしたがって説明すると、まず、ユーザ操作で動画像を再生して、字幕を挿入する画像部分で、その画像を停止させて、停止した位置で静止画像として表示させる(ステップS51)。
その後、3Dポインタを、字幕を挿入したい奥行き位置で表示させる(ステップS52)。例えば、当該画像中の最も視聴者が注目していると考えられる被写体と、同じ奥行き位置に3Dポインタの奥行き位置をセットする。
そして、セットした3Dポインタの視差ドット数(左右の画像のドット数)をCPU13などが読み出し、その視差ドット数を、その静止画像(及びその画像に連続した画像)に挿入させる字幕の視差ドット数を、読み出した値に設定する。
【0062】
このようにすることで、3Dポインタの表示状態から操作者が確かめた奥行き位置に、字幕が表示されることになり、適正な字幕の表示位置の設定が可能になる。
【0063】
[7.3Dポインタの視差ドット数を表示させた例]
図11は、3D眼鏡を掛けて表示される画像の範囲をF1としたとき、注目被写体Aに隣接して3DポインタP1を表示させた例を示したものである。例えば図10の例のように、注目被写体Aに隣接して、ほぼ同じ奥行き位置となるようにポインタP1を表示させることが考えられる。このとき、図11の例では、画面の左下に、ポインタP1の左右の視差度ドット数Bを、数値で表示させてある。図11の例では、視差度ドット数Bとして30ドットであることを表示させてある。視差度ドット数とは、3Dポインタの左右の位置のずれ量を、画素数(ドット数)で示したものである。なお、図8で説明したように、視線が交差する場合には、−の値として数値を示すようにしてもよい。
【0064】
また、視差度ドット数の表示を行う場合には、例えば図12に示すように、画像の横方向の全画素数を分母とし、視差度ドット数を分子とした、分数表記の視差度ドット数表示B′としてもよい。図12の例では、記号「/」を使用して1行で分数表記させた例を示してあるが、2行を使用した分数表記とし、下段を全画素数、上段を視差度ドット数とした表示形態でもよい。下段(分母)を全画素数、上段(分子)を視差度ドット数とするのは一例であり、逆であってもよい。このように画素数による数値が表示されることで、画面を見ているユーザ(操作者)が非常に判りやすい案内表示となる。なお、このような画素数の表示以外の表示形態で、画面全体の横幅に対する、左右のポインタのずれ量が定量的に判るような表示でもよい。
【0065】
さらに、例えば図13に示すように、画像の横方向の全画素数に対する、視差度ドット数の割合を示した、割合表示Cを画面中に表示させた表示形態としてもよい。図13の例では、割合表示Cとして、パーセント(%)で表示させた例としてある。図11又は図12に示した視差度ドット数表示B又はB′と、図13に示した割合表示Cとは、同時に並べて(又は2段で)表示させるようにしてもよい。
これらの画面中への視差度ドット数表示や全画素数表示は、例えば図1に示したCPU13の制御で、合成処理部40内で対応した数字や文字の画像の重畳処理を行うことで実現できる。
【0066】
[8.変形例]
なお、上述した実施の形態例で表示させる3Dポインタのサイズは、画面のサイズに応じて適切に設定するのが好ましい。例えば、画面全体の面積の1/200以上の面積となるサイズで、3Dポインタを表示させることで、良好に立体視できるサイズで3Dポインタが表示される。この画面全体の面積の1/200以上の面積とする例としては、例えば、画像の縦方向のサイズの1/10以上とし、画像の横方向のサイズの1/20以上とした大きさの四角形のポインタを表示させるのが好ましい。このようなサイズの四角形の3Dポインタ表示を行うことで、画面を見ているユーザは、表示されたポインタそのものの平面の立体的な位置を良好に感じることができ、3Dポインタを表示させる目的である、奥行き方向の位置の確認が良好に行えるようになる。
3Dポインタのサイズは、例えば図1に示したCPU13が制御する。即ち、CPU13から左右のポインタ発生部30L,30Rに供給する水平サイズ信号[left h size][right h size]及び垂直サイズ信号[left v size][right v size]で、対応したサイズとなるように指示する。このような水平サイズ信号及び垂直サイズ信号とすることで、左右のポインタ発生部30L,30Rで生成されるポインタ表示信号が、対応したサイズで表示される信号となる。
3Dポインタの表示サイズを、ユーザ操作で自由に調整できるようにした場合には、例えば図1に示したCPU13の制御で、3Dポインタの最小サイズを、画像の縦方向のサイズの1/10、画像の横方向のサイズの1/20に制限させるのが好ましい。
【0067】
また、上述した実施の形態例の各図では、3Dポインタは四角形で示すようにしたが、その他の形状の図形やマークを、3Dポインタとして表示させてもよい。例えば、円形の図形を3Dポインタとして表示させてもよく、あるいは矢印などの複雑な形状の図形を3Dポインタとして表示させてもよい。このような複雑な形状の図形を3Dポインタとして表示させる場合にも、上述したような画面全体の面積の1/200以上の面積で表示させるのが好ましい。
また、3Dポインタとして、四角形や円形の枠だけを表示させて、その四角形や円形の枠の内側は、元の画像をそのまま表示させるようにしてもよい。このような枠形状の表示を行う際にも、その表示位置の設定状況に応じて、図6のフローチャートに示した半透明表示を行うようにしてもよい。
また、図6のフローチャートに示した半透明表示は、基準位置より奥の位置の場合に半透明表示を行うようにしたが、ポインタをどの奥行き位置に設定した場合でも、常時半透明表示させるようにしてもよい。
【0068】
なお、本開示は以下のような構成も取ることができる。
(1) 画面上に特定の印を表示させるためのポインタ表示信号を生成するポインタ生成部と、
前記ポインタ生成部で生成されたポインタ表示信号を、左チャンネル画像信号に混合する左チャンネル混合部と、
前記ポインタ生成部で生成されたポインタ表示信号を、右チャンネル画像信号に混合する右チャンネル混合部と、
立体表示されることで形成される仮想空間上のポインタの奥行き方向の位置を指示する操作入力に基づいて、前記左チャンネル混合部で混合されるポインタ表示信号のポインタ表示位置と、前記右チャンネル混合部で混合されるポインタ表示信号のポインタ表示位置とを、指示された仮想空間上の奥行き方向の位置の視差に対応してシフトした水平位置に設定させる制御部とを備えた
3Dポインタ生成装置。
【0069】
(2) 前記左チャンネル混合部及び前記右チャンネル混合部でポインタ表示信号を混合する際に、ポインタが半透明に表示されるように混合させる
前記(1)記載の3Dポインタ生成装置。
【0070】
(3) 前記制御部は、指示された仮想空間上の奥行き方向の位置が、左右のチャンネルで画面上の表示位置に変化がない基準位置よりも手前の位置の場合と、前記基準位置よりも奥の位置の場合とで、ポインタ表示用画像信号の表示色を少なくとも2段階に変化させる
前記(1)又は(2)記載の3Dポインタ生成装置。
【0071】
(4) 前記制御部は、指示された仮想空間上の奥行き方向の位置が、左右のチャンネルで画面上の表示位置に変化がない基準位置よりも手前の位置の場合に、前記左チャンネル混合部及び前記右チャンネル混合部で、ポインタが不透明に表示されるように混合させ、前記基準位置よりも奥の位置の場合に、前記左チャンネル混合部及び前記右チャンネル混合部で、ポインタが半透明に表示されるように混合させる
前記(1)から(3)のいずれか1項に記載の3Dポインタ生成装置。
【0072】
(5) 前記制御部は、指示された仮想空間上の奥行き方向の位置が、左右のチャンネルで画面上の表示位置に変化がない基準位置、又はその基準位置の近傍であるとき、ポインタの表示色を変化させる
前記(1)から(4)のいずれか1項に記載の3Dポインタ生成装置。
【0073】
(6) 前記制御部は、前記ポインタ表示信号によるポインタの水平位置及び垂直位置を、前記左チャンネル画像信号及び右チャンネル画像信号で立体表示が可能な範囲内に制限させる
前記(1)から(5)のいずれか1項に記載の3Dポインタ生成装置。
【0074】
(7) 前記制御部は、左右のポインタ表示位置のずれ量に対応した画素数を示す画像を、前記左チャンネル画像信号及び右チャンネル画像信号に重畳させる
前記(1)から(6)のいずれか1項に記載の3Dポインタ生成装置。
【0075】
(8) 前記制御部は、左右のポインタ表示位置のずれ量に対応した画素数と、画像信号の横方向の全画素数とを、分数表記で表示させる画像を、前記左チャンネル画像信号及び右チャンネル画像信号に重畳させる
前記(1)から(6)のいずれか1項に記載の3Dポインタ生成装置。
【0076】
(9) 前記制御部は、左右のポインタ表示位置のずれ量に対応した画素数と、画像信号の横方向の全画素数との割合を表示させる画像を、前記左チャンネル画像信号及び右チャンネル画像信号に重畳させる
前記(1)から(8)のいずれか1項に3Dポインタ生成装置。
【0077】
(10) 前記ポインタ生成部で生成されるポインタ表示信号により画面に表示されるポインタの表示面積は、前記左チャンネル画像信号及び右チャンネル画像信号による画像の全表示面積の1/200以上とした
前記(1)から(9)のいずれか1項に3Dポインタ生成装置。
【符号の説明】
【0078】
11…コントローラ、12…マウス、13…中央制御ユニット(CPU)、20L,20R…混合部、30L…左ポインタ発生部、30R…右ポインタ発生部、40…合成処理部、211…遅延部、212…加算部、221…遅延部、222…加算部、231…遅延部、232…加算部、312…水平ドット数カウンタ、313…水平エッジ検出部、314…演算部、315…演算部、322…ライン数カウンタ、323…垂直エッジ検出部、324…プログレッシブ判別部、345…演算部
【技術分野】
【0001】
本開示は、立体表示を行う3D画像中の任意の位置にポインタを表示させる3Dポインタ生成装置及び3Dポインタ生成方法に関する。
【背景技術】
【0002】
動画や静止画などの映像コンテンツの表示や編集などを行う際に、作業者の操作指示に基づいて、表示画像中の任意の位置にポインタを表示させることがある。例えば、ある被写体を撮影した動画像を表示させる際に、その被写体に対して目印などを付けるために、矢印などのマークによるポインタを、その目的とする被写体の近傍に表示させることがある。
【0003】
ところで、画像表示技術として、右目用画像と左目用画像の同時表示や交互表示を行うことで、立体画像を表示させる技術がある。立体画像を表示させる技術そのものは古くからあるが、近年の画像処理技術の向上により、立体画像の撮影や表示を行う映像機器が普及している。本明細書中での以下の説明では、立体表示を行う画像を3D画像と称する。
【0004】
3D画像を表示させる場合にも、矢印などのポインタを3D画像に重畳して表示させることで、3D画像中の任意の位置を、ポインタで指示することができる。
【0005】
特許文献1には、3D画像中に、画面上の二次元平面上のみならず、奥行き方向にも移動可能な、被写体を指すポインタを表示させる点についての記載がある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】国際公開第2004−114108号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1に記載された技術では、ポインタの飛び出し量又は沈み込み量を設定して、ポインタを3D画像中の奥行き方向の表示状態を調整するようにしてある。従って、特許文献1に記載された従来技術は、3D画像中で、右目用画像と左目用画像の視差が0になる空間座標位置を基準として、その空間座標位置より奥又は手前に調整されるものであり、左右の画像の視差が0となる空間座標が予め判っている必要がある。
【0008】
ところが、例えばコンピュータグラフィック処理で作成されたアニメーション画像のような3D画像では、空間座標のデータが存在するとしても、実際の風景などをカメラで撮影して得られた3D画像では、画面中の被写体の空間座標という様なデータは存在しない。従って、画面上に被写体を指すポインタを、座標指定という形で設定表示させることは、通常の3D画像では困難である。
【0009】
本開示の目的は、3D画像中に特定の印などのポインタを表示させる際に、任意の立体空間に表示させることが容易にできるようにすることにある。
【課題を解決するための手段】
【0010】
本開示は、画面上に特定の印を表示させるためのポインタ表示信号を生成するポインタ生成部を備える。また、ポインタ生成部で生成されたポインタ表示信号を、左チャンネル画像信号に混合する左チャンネル混合部と、ポインタ生成部で生成されたポインタ表示信号を、右チャンネル画像信号に混合する右チャンネル混合部とを備える。
そして、立体表示されることで形成される仮想空間上のポインタの奥行き方向の位置を指示する操作入力に基づいて、各チャンネルのポインタ表示位置を設定する。その表示位置の設定として、左チャンネルのポインタ表示信号のポインタ表示位置と、右チャンネルのポインタ表示信号のポインタ表示位置とを、指示された仮想空間上の奥行き方向の位置の視差に対応してシフトした水平位置とする。
【0011】
このようにして、左チャンネル画像信号と右チャンネル画像信号を表示装置に供給して立体表示を行うことで、指示された仮想空間上の奥行き方向の位置にポインタが立体表示されるようになる。
【発明の効果】
【0012】
本開示によると、立体表示される画像中に、操作入力に基づいた仮想空間上の任意の奥行き方向の位置で、特定の印を示すポインタを表示させることができるようになる。
【図面の簡単な説明】
【0013】
【図1】本開示の一実施の形態例による装置構成を示すブロック図である。
【図2】図1の装置の要部の例を示すブロック図である。
【図3】本開示の一実施の形態例によるポインタ表示処理例を示すフローチャートである。
【図4】本開示の一実施の形態例による水平・垂直方向のポインタ表示位置設定処理例を示すフローチャートである。
【図5】本開示の一実施の形態例による仮想位置による処理例(例1)を示すフローチャートである。
【図6】本開示の一実施の形態例による仮想位置による処理例(例2)を示すフローチャートである。
【図7】本開示の一実施の形態例によるポインタ表示例(a)と信号処理のタイミングチャート(b〜i)である。
【図8】仮想空間上での表示位置の設定状態を示す説明図である。
【図9】ポインタを基準となる空間座標位置より奥に表示させた例(a)及び手前に表示させた例(b)を示す説明図である。
【図10】本開示の一実施の形態例による字幕表示位置の設定処理を示すフローチャートである。
【図11】本開示の一実施の形態例による表示状態を示す説明図である。
【図12】本開示の一実施の形態例による表示状態の他の例を示す説明図である。
【図13】本開示の一実施の形態例による表示状態のさらに他の例を示す説明図である。
【発明を実施するための形態】
【0014】
本開示の一実施の形態例を、以下の順序で説明する。
1.装置の全体構成例(図1)
2.装置の信号処理構成の詳細の例(図2)
3.表示位置の設定処理の説明(図3−図6)
4.信号処理状態の例(図7)
5.立体方向の表示位置の設定状態の説明(図8,図9)
6.3Dポインタを字幕表示位置の設定に適用した例(図10)
7.3Dポインタの視差ドット数を表示させた例(図11,図12,図13)
8.変形例
【0015】
[1.装置の全体構成例]
図1は、本開示の一実施の形態例による3Dポインタ生成装置としての画像信号処理装置の全体構成を示した図である。
図1に示すように、操作者であるユーザからの操作uを受け付けるコントローラ11が用意してあり、そのコントローラ11から、制御部である中央制御ユニット(以下CPUと称する)13に、ポインタの表示位置を指示する。コントローラ11には、ユーザ操作uを受け付けるキーボードなどの入力部が接続してある。この例では、入力部の1つとして、ポインティングデバイスであるマウス12が取り付けてある。本実施の形態例で使用されるマウス12は、スクロールボタンを備えたものであり、マウス12を机の上などの平面上に沿って動かすことで、2次元上の位置の指示が行える。
マウス12のスクロールボタンは、操作を行うユーザから見て手前側に回す操作と、奥側に回す操作との2段階の操作が可能である。本実施の形態例の場合には、マウス12による2次元上の位置の指示で、画面上に表示されるポインタの、画面内の水平及び垂直方向の位置が指示されるようにしてある。また、スクロールボタンの操作指示で、3D表示される仮想空間上の奥行き方向のポインタの位置を指示するようにしてある。このポインタの位置を指示する具体例については後述する。
【0016】
本実施の形態例の場合には、画像信号処理装置が扱う画像信号(映像信号)は、立体表示(3D表示)用の画像信号であり、左目で見るための左チャンネル画像信号と、右目で見るための右チャンネル画像信号とで構成される。左チャンネル画像信号と右チャンネル画像信号は、図示しない別の再生装置,受信装置又はビデオカメラなどから供給され、入力される。但し、左チャンネルと右チャンネルの入力画像信号は、この画像信号処理装置内で生成された左チャンネル画像信号と右チャンネル画像信号でもよい。
【0017】
画像信号処理装置の信号処理系としては、左チャンネル画像信号を処理する系と、右チャンネル画像信号を処理する系の2系統が用意され、最終段階で左チャンネル画像信号と右チャンネル画像信号が合成処理されて出力され、表示装置に供給される。但し、表示装置で3D表示を行う処理については様々な方式があり、例えば、左チャンネル画像信号と右チャンネル画像信号とを、それぞれ別の画像信号として入力させる場合もある。なお、この場合には、左チャンネル画像信号と右チャンネル画像信号との合成処理は不要である。
【0018】
コントローラ11からCPU13に表示位置の指示が行われるポインタについても、表示装置で3D表示を行うためのポインタである。以下の説明では3D表示を行うためのポインタを3Dポインタと称する。
コントローラ11は、3Dポインタの位置として、表示画面中の水平方向(横方向)の位置と垂直方向(縦方向)の位置を、CPU13に指示すると共に、3D表示で形成される仮想空間上の奥行き方向の位置についてもCPU13に指示する。
例えば、ユーザがマウス12を使用した、2次元上の位置を指示する操作を行うことで、表示画面中の水平及び垂直方向の位置が指示され、同じマウス12のスクロールボタンのユーザ操作で、仮想空間上の奥行き方向の位置が指示される。具体的には、スクロールボタンを一方(手前側)に回すことで、仮想空間上の手前側の位置が指示され、スクロールボタンを他方(奥側)に回すことで、仮想空間上の奥側の位置が指示される。
【0019】
CPU13は、3Dポインタの位置のコントローラ11からの指示があると、各処理部に対して、その指示された位置に3Dポインタを表示させる制御処理を行う。
ポインタを表示させるためのポインタ表示信号を生成するポインタ生成処理を行うポインタ生成部として、左ポインタ発生部30Lと、右ポインタ発生部30Rとを備える。
左ポインタ発生部30Lは、CPU13から指示されたサイズと位置の左チャンネル用のポインタ表示信号を生成させる。生成された左チャンネル用のポインタ表示信号(ポインタ画像)は、左チャンネル混合処理を行う左チャンネル用の混合部20Lに供給され、左チャンネルの入力画像信号に混合される。
右ポインタ発生部30Rは、CPU13から指示されたサイズと位置の右チャンネル用のポインタ表示信号を生成させる。生成された右チャンネル用のポインタ表示信号(ポインタ画像)は、右チャンネル混合処理を行う左チャンネル用の混合部20Rに供給され、右チャンネルの入力画像信号に混合される。
【0020】
図1に示された具体的な制御信号と画像信号との例について説明する。
CPU13から左ポインタ発生部30Lには、左水平位置信号[left h pos]と、左垂直位置信号[left v pos]と、左水平サイズ信号[left h size]と、左垂直サイズ信号[left v size]を供給する。左水平位置信号[left h pos]と左垂直位置信号[left v pos]は、表示されるポインタの画像中の水平及び垂直の位置を指示する信号である。左水平サイズ信号[left h size]と、左垂直サイズ信号[left v size]とは、表示されるポインタとしての印の水平方向及び垂直方向のサイズ(表示幅)を示す信号である。
【0021】
CPU13から右ポインタ発生部30Rには、右水平位置信号[right h pos]と、右垂直位置信号[right v pos]と、右水平サイズ信号[right h size]と、右垂直サイズ信号[right v size]を供給する。右水平位置信号[right h pos]と右垂直位置信号[right v pos]は、表示されるポインタの画像中の水平及び垂直の位置を指示する信号である。右水平サイズ信号[right h size]と、右垂直サイズ信号[right v size]とは、表示されるポインタとしての印の水平方向及び垂直方向のサイズ(表示幅)を示す信号である。
【0022】
なお、左ポインタ発生部30Lには、左チャンネル画像信号の同期信号成分である、水平ドライブ信号[i left hd]と垂直ドライブ信号[i left vd]とフレーム信号[i left fd]とが供給される。そして、左ポインタ発生部30L内で、その左チャンネル画像信号の同期信号に同期して、指示された位置及びサイズのポインタを表示させるための、左チャンネルのポインタ表示信号[left pointer]が生成される。
同様に、右ポインタ発生部30Rには、右チャンネル画像信号の同期信号成分である、水平ドライブ信号[i right hd]と垂直ドライブ信号[i right vd]とフレーム信号[i right fd]とが供給される。そして、右ポインタ発生部30R内で、その右チャンネル画像信号の同期信号に同期して、指示された位置及びサイズのポインタを表示させるための、右チャンネルのポインタ表示信号[right pointer]が生成される。
【0023】
これらの各信号をCPU13から左ポインタ発生部30L及び右ポインタ発生部30Rに供給することで、それぞれのポインタ発生部30L,30Rで生成されるポインタ表示信号として、指示された通りのポインタの表示位置及びサイズの信号になる。ここで、左右のチャンネルのポインタの水平方向の位置については、CPU13に指示された仮想空間上の奥行き方向の位置の視差に対応して、CPU13が、シフトした水平位置に設定させるようにしてある。この指示された位置の視差に対応して、シフトした水平位置に設定させる詳細な処理状態については後述する。
【0024】
左チャンネル用の混合部20Lは、入力した左チャンネル画像信号に対して、左チャンネルのポインタ表示信号[left pointer]で指示された位置及びサイズで、ポインタ画像の混合処理を行う。
同様に、右チャンネル用の混合部20Rは、入力した左チャンネル画像信号に対して、右チャンネルのポインタ表示信号[right pointer]で指示された位置及びサイズで、ポインタ画像の混合処理を行う。
【0025】
本開示の実施の形態例では、混合部20L,20Rに供給される入力画像信号は、輝度とクロマとが分離された信号である。即ち、左チャンネル用の混合部20Lには、左チャンネルの入力輝度信号[i left y]と、入力第1色差信号[i left cb]と、入力第2色差信号[i left cr]とが供給される。その輝度とクロマとが分離された左チャンネルの画像信号に対して、ポインタ表示信号で指示された位置及びサイズのポインタ画像の混合処理が行われ、混合部20Lから混合処理された画像信号が出力される。つまり、図1に示すように、出力輝度信号[o left y]と、出力第1色差信号[o left cb]と、出力第2色差信号[o left cr])とが、混合部20Lから出力されて合成処理部40に供給される。
【0026】
同様に、右チャンネル用の混合部20Rには、右チャンネルの入力輝度信号[i right y]と、入力第1色差信号[i right cb]と、入力第2色差信号[i right cr]とが供給される。そして、輝度とクロマとが分離された右チャンネルの画像信号に対して、ポインタ表示信号で指示された位置及びサイズのポインタ画像の混合処理が行われ、混合処理された画像信号が混合部20Rから出力される。つまり、図1に示すように、出力輝度信号[o right y]と、出力第1色差信号[o right cb]と、出力第2色差信号[o right cr])とが混合部20Rから出力されて、合成処理部40に供給される。
【0027】
合成処理部40では、左チャンネル用の画像信号と右チャンネル用の画像信号との合成処理が行われる。例えば、左チャンネル用の画像信号と右チャンネル用の画像信号とを、1フレームごとに交互に配置した画像信号とする。合成処理部40で合成された画像信号を、図示しない表示装置に供給する。図1例では、合成された画像信号として、合成輝度信号[o y]と、合成第1色差信号[o cb]と、合成第2色差信号[o cr])とが合成処理部40から出力される。
なお、先に説明したように、3D表示を行う表示装置が、各チャンネルの画像信号を独立して入力する方式である場合には、合成処理部40での合成処理は必要ない。
【0028】
[2.装置の信号処理構成の詳細の例]
次に、各チャンネルの混合部20L,20Rとポインタ発生部30L,30Rの詳細な構成を、図2を参照して説明する。
左チャンネル用の混合部20L及び左ポインタ発生部30Lと、右チャンネル用の混合部20R及び右ポインタ発生部30Rは、基本的に同一構成であり、図2では一方のチャンネルの構成だけを示している。また、各信号の名称についても、図2では、左チャンネルの信号であることを示す記号[left]と、右チャンネルを示す記号[right]を、図1の各記号から除いてあり、各チャンネルで共通化した構成として図示している。
【0029】
ポインタ発生部30L,30Rに供給される水平ドライブ信号[i hd]は、バッファアンプ311を介して水平ドット数カウンタ312に供給し、画像信号の水平ドット数(水平画素数)をカウントしたドット数カウント信号[h count]を得る。水平ドット数カウンタ312で得られたドット数カウント信号[h count]は、演算部314の入力Aに供給する。
また、ポインタ発生部30L,30Rに供給される水平ドライブ信号[i hd]を、水平エッジ検出部313に供給し、水平エッジを検出する。水平エッジ検出部313での検出結果としての検出信号[hdn]は、ライン数カウンタ322に供給される。ポインタ発生部30L,30Rに供給される垂直ドライブ信号[i vd]についても、バッファアンプ321を介してライン数カウンタ322に供給される。ライン数カウンタ322では、垂直ドライブ信号でリセットを行いながら、水平エッジの検出信号に基づいて水平ライン数のカウントを行い、ライン数カウント信号[v count]を、演算部345の入力Aに供給する。
【0030】
また、ポインタ発生部30L,30Rに供給される垂直ドライブ信号[i vd]を、垂直エッジ検出部323に供給して、垂直エッジの立ち上がり及び立ち下がりの検出信号[v dp]、[v dn]を得る。そして、得られた検出信号をプログレッシブ判別部324に供給する。また、ポインタ発生部30L,30Rに供給されるフレーム信号[i fd]を、バッファアンプ325を介してプログレッシブ判別部324に供給する。
プログレッシブ判別部324では、垂直エッジの検出信号とフレーム信号とに基づいて、入力した画像信号がプログレッシブ信号か否かを判別し、その判別結果信号[prog]を出力する。判別結果信号[prog]は、スイッチ341,343の切り替え制御信号として使用される。
【0031】
そして、CPU13から供給される水平位置信号[i h pos]と、垂直位置信号[i v pos]と、水平サイズ信号[i h size]と、垂直サイズ信号[i v size]とを、それぞれバッファアンプ331,332,333,334に供給する。
バッファアンプ331が出力する水平位置信号[i h pos]を、演算部314の入力Bに供給する。
バッファアンプ332が出力する垂直位置信号[i v pos]を、直接スイッチ341の一方の接点に供給すると共に、1/2ライン遅延回路342を介してスイッチ341の他方の接点に供給する。このスイッチ341では、プログレッシブ判別部324が出力する判別結果信号[prog]に基づいて、適切な接点に得られる信号を選択して、その選択された垂直位置信号[i v pos]を、演算部345の入力Bに供給する。
【0032】
バッファアンプ333が出力する水平サイズ信号[i h size]は、演算部314の入力Cに供給される。
バッファアンプ334が出力する垂直サイズ信号[i v size]は、直接スイッチ343の一方の接点に供給されると共に、1/2ライン遅延回路344を介してスイッチ343の他方の接点に供給される。このスイッチ343では、プログレッシブ判別部324が出力する判別結果信号[prog]に基づいて、適切な接点に得られる信号を選択して、その選択された垂直サイズ信号[i v size]を、演算部345の入力Cに供給する。
【0033】
演算部314では、入力A,B,Cの演算処理で、ポインタを表示させる水平位置の信号[h area]を得る。演算部314での演算処理としては、入力A,B,Cについて、(A≧B)かつ(A<(B+C))となるとき、ハイレベルHとなる水平位置の信号[h area]を得る。
演算部345では、入力A,B,Cの演算処理で、ポインタを表示させる垂直位置の信号[v area]を得る。演算部345での演算処理としては、入力A,B,Cについて、(A≧B)かつ(A<(B+C))となるとき、ハイレベルHとなる垂直位置の信号[h area]を得る。
【0034】
演算部314が出力するポインタの水平位置の信号[h area]と、演算部345が出力するポインタの垂直位置の信号[h area]とを、演算部315に供給し、双方の信号がハイレベルであるとき、ハイレベルとなる出力信号を得る。この演算部315の出力信号を、ポインタの位置を示す信号[o pointer]として、各ポインタ発生部30L,30Rから出力させる。
【0035】
このポインタの位置を示す信号[o pointer]は、各チャンネルの混合部20L,20Rに、ポインタ選択信号[i pointer sel]として供給される。ポインタ選択信号[i pointer sel]により、入力画像信号とポインタの画像信号に切替えるスイッチ214,224,234の切替えを制御する。
混合部20L,20Rには、入力画像信号として、輝度信号[i y]と、入力第1色差信号[i cb]と、入力第2色差信号[i cr]とが供給される。各信号は、遅延調整回路211,222,231を介して、スイッチ214,224,234の一方の入力端と、加算部212,222,232の入力Bに供給する。
【0036】
加算部212,222,232は、ポインタを半透明で表示させるために、入力画像信号と加算する処理が行われる。
加算部212の入力Aには、ポインタの輝度レベル信号が供給される。そして、加算部212で、入力Aに得られるポインタの輝度レベル信号と、入力Bに得られる入力画像信号の輝度信号とを加算し、1/2のレベルとする。この加算処理がポインタを半透明で表示させる処理に相当する。加算部212で加算し1/2のレベルとされた信号は、スイッチ213の一方の入力端に供給される。スイッチ213の他方の入力端には、ポインタの輝度レベル信号が供給され、このスイッチ213の切替えで、ポインタを不透明で表示させる状態と、半透明で表示させる状態が選択される。スイッチ213は、後述する他のスイッチ223,233と共に、ポインタ表示設定信号[i mix sel]により連動して切替えが制御される。スイッチ213で選択された信号は、スイッチ214の他方の入力端に供給する。
スイッチ214では、ポインタ選択信号[i pointer sel]がハイレベルであるとき、スイッチ213が出力するポインタを表示させる信号を選択し、ポインタ選択信号がローレベルであるとき、入力した輝度信号を出力する。
【0037】
加算部222の入力Aには、ポインタの第1色差レベル信号が供給される。そして、加算部222で、入力Aに得られるポインタの第1色差レベル信号と、入力Bに得られる入力画像信号の第1色差信号とを加算し、1/2のレベルとする。加算部222で加算し1/2のレベルとされた信号は、スイッチ223の一方の入力端に供給される。スイッチ223の他方の入力端には、ポインタの第1色差レベル信号が供給され、このスイッチ223の切替えで、ポインタを不透明で表示させる状態と、半透明で表示させる状態が選択される。スイッチ223で選択された信号は、スイッチ224の他方の入力端に供給される。
スイッチ224では、ポインタ選択信号[i pointer sel]がハイレベルであるとき、スイッチ223が出力するポインタを表示させる信号を選択し、ポインタ選択信号がローレベルであるとき、入力した第1色差信号を出力する。
【0038】
加算部232の入力Aには、ポインタの第2色差レベル信号が供給される。そして、加算部232で、入力Aに得られるポインタの第2色差レベル信号と、入力Bに得られる入力画像信号の第2色差信号とを加算し、1/2のレベルとする。加算部232で加算し1/2のレベルとされた信号は、スイッチ233の一方の入力端に供給される。スイッチ233の他方の入力端には、ポインタの第2色差レベル信号が供給され、このスイッチ233の切替えで、ポインタを不透明で表示させる状態と、半透明で表示させる状態が選択される。スイッチ233で選択された信号は、スイッチ234の他方の入力端に供給される。
スイッチ234では、ポインタ選択信号[i pointer sel]がハイレベルであるとき、スイッチ233が出力するポインタを表示させる信号を選択し、ポインタ選択信号がローレベルであるとき、入力した第2色差信号を出力する。
【0039】
[3.表示位置の設定処理の説明]
次に、図3〜図6のフローチャートを参照して、ポインタを画面上に3D表示させる際の処理について説明する。図3〜図6のフローチャートに示したポインタの表示処理は、全て図1に示したCPU13の制御で実行されるものである。
まず、図3のフローチャートを参照して、ポインタを画面上に3D表示させる処理の流れの全体について説明する。CPU13は、ユーザ操作などによるポインタの表示指示がコントローラ11からあるか否かを判断する(ステップS11)。ステップS11で、ポインタの表示指示がない場合には、表示指示があるまで待機する。
そして、ステップS11でポインタの表示指示がある場合には、コントローラ11に接続されたポインティングデバイスであるマウス12の操作指示により、CPU13が、画面上の水平方向及び垂直方向のポインタの表示位置を決める(ステップS12)。ポインタの表示サイズや表示状態については、例えば、予め設定されたポインタ表示モードにより決まる。
【0040】
さらに、CPU13は、コントローラ11に接続されたマウス12のスクロールボタンの操作状況を判断し、ポインタを3D表示させる場合の、3D表示で形成される仮想空間上の奥行き方向の位置の指示を判断する(ステップS13)。具体的には、例えばスクロールボタンを手前側に回す操作があるときには、仮想空間上の奥行き方向のポインタの位置を、手前側の位置とする指示があると判断する。また、スクロールボタンを奥側に回す操作があるときには、奥側の位置とする指示があると判断する。
【0041】
そして、CPU13は、仮想空間上の奥行き方向の位置の指示の判断に基づいて、表示するポインタの左チャンネルの画像と右チャンネルの画像との水平方向のシフト量を設定する(ステップS14)。その水平方向のシフト量に基づいて、それぞれのチャンネルの画像中での、水平方向及び垂直方向のポインタの表示位置を確定させ、対応した表示位置とする制御処理が行われる。
なお、ステップS13の判断時にスクロールボタンの操作が何もない場合には、例えば、左チャンネルの画像でのポインタの表示位置と、右チャンネルの画像でのポインタの表示位置とが同じ位置となる位置ようにする。なお、以下の説明では、この左右のチャンネルの画像で画面上の表示位置が同じ位置を、基準位置又は基準面と称する。
【0042】
ここまでの処理が行われると、ステップS11の判断に戻り、マウス12の操作に基づいてポインタの表示位置が、マウス12の操作に基づいて随時変更される。
【0043】
次に、図4のフローチャートを参照して、マウス12の操作に基づいてポインタの表示位置を設定する場合の、画面上の水平及び垂直方向での位置の制限処理について説明する。
本実施の形態の場合には、基本的にポインタの画面上の水平及び垂直方向での表示位置は、画面内に制限されるが、さらに、3D表示が可能な範囲に制限される。
すなわち、左チャンネルの画像と右チャンネルの画像とを使用して3D表示を行う際には、それぞれの画像で物体が表示可能な範囲である必要があり、画面の左端及び右端では、一方のチャンネルの画像しか表示されないために物体が立体表示されない。
【0044】
このため、図4のフローチャートに示すように、CPU13は、ポインタの表示位置の変更操作指示があるか否かを判断する(ステップS21)。ポインタの表示位置の変更操作指示がない場合には、ポインタの表示位置の変更操作指示があるまで待機する。そして、ステップS21で、表示位置変更操作があると判断したとき、変更後の位置が、確実に立体表示される範囲であるか否かを判断する(ステップS22)。ここでの立体表示される範囲とは、上述したように、画面の左端及び右端を除いた範囲である。
【0045】
ステップS22の判断で、指示されたポインタの表示位置が、画面の左端及び右端を除いた範囲である場合、その指示された位置にポインタを表示させるように、先に説明した図3のフローチャートに示した処理で、表示位置を設定させる(ステップS23)。
また、ステップS22の判断で、指示されたポインタの表示位置が、画面の左端及び右端で3D表示ができない可能性がある位置である場合には、3D表示が可能な範囲内(すなわち左端及び右端よりも内側)の位置に制限させる(ステップS24)。
そして、ステップS23,S24の処理が行われた後、ステップS21の判断処理に戻る。
この図4のフローチャートの処理が行われることで、ポインタが常に設定された通りの仮想空間内の奥行きで表示されるようになる。なお、この図3のフローチャートに示す表示位置の制限を行うことは、例えば図2に示すバッファアンプ331に供給されるポインタ水平位置信号[i h pos]が、対応した位置の信号として生成されることである。この対応した位置の信号として生成させる処理は、例えばCPU13の制御で行われる。
【0046】
次に、CPU13の制御でポインタを画像中に表示させる際の、ポインタの表示色の設定処理について説明する。
ポインタの表示色については、例えばユーザ設定で自由に色を設定できるようにする。そして、3D表示処理で仮想空間内の奥行きを設定したときに、基準位置、つまり左右のチャンネルの画像で画面上の表示位置が同じ位置又はその近傍位置となった場合、そのときだけポインタの表示色を変えるようにしてもよい。
【0047】
図5のフローチャートは、この基準位置(基準面)のときだけポインタの表示色を変える処理例を示したフローチャートである。
まず、スクロールボタンのユーザ操作で指示された仮想空間上の位置が、基準位置又はその基準位置の近傍であるか否かを判断する(ステップS31)。ステップS31の判断で、基準位置又はその近傍の位置でない場合、つまり左右のポインタの表示位置に一定量以上のシフト量がある場合には、予めユーザが決めた色(又は予め設定された色)でポインタを表示させる(ステップS32)。そして、ステップS31の判断で、スクロールボタンのユーザ操作で指示された仮想空間上の位置が、基準位置又はその近傍の位置であると判断した場合には、ステップS32で表示させる色とは別の特定の色でポインタを表示させる(ステップS33)。ステップS32,S33の表示処理後、ステップS31の判断に戻り、このフローチャートの処理が繰り返される。
【0048】
なお、基準位置は、先に説明したように、左右のチャンネルの画像でポインタを表示させる位置が同一である場合であり、基準位置の近傍位置とは、例えば左右で±1画素程度や、あるいは左右で±数画素程度のわずかな表示位置の差がある場合である。
【0049】
この図5のフローチャートに示す処理を行うことで、操作を行うユーザは、表示されるポインタの図形そのものを見ながらマウス12のスクロールボタンを操作するだけで、ポインタの色の変化で、奥行き方向に基準位置になったか否か判るようになる。したがって、ポインタの3D画面上の仮想位置などを別途目盛りなどで表示させなくても、ユーザに基準位置であることを容易に告知できるようになる。
なお、この図4のフローチャートに示す表示位置の設定を行うことは、例えば図2に示す加算部222,232及びスイッチ223,233に供給される、ポインタの第1色差レベル信号及び第2色差レベル信号を、対応した色の信号に設定することである。この対応した色の信号とする処理は、例えばCPU13の制御で行われる。
【0050】
次に、CPU13の制御でポインタを画像中に表示させる際に、基準位置より手前か奥かで、ポインタの表示状態を変える処理例について、図6のフローチャートを参照して説明する。
まず、ポインタについて、仮想空間内の奥行きを設定した位置が、基準位置より手前か奥かを判断する(ステップS41)。このステップS41の判断で、基準位置より奥の位置である場合には、ポインタを設定された色で半透明の物体として表示させる(ステップS42)。この半透明の物体として表示させる処理としては、例えば図2の混合部20L,20R内の各スイッチ213,223,233として、加算部212,222,232の出力側を選択する処理に相当する。つまり、各加算部212,222,232で入力画像信号とポインタ表示用画像信号とを加算してレベルを調整した信号とすることで、ポインタが存在する位置の元々の画像がある程度、透けて見えた状態でポインタが表示されるようになる。
【0051】
また、ステップS41の判断で、基準位置より手前の位置である場合には、ポインタを設定された色の不透明の物体として表示させる(ステップS43)。この不透明の物体として表示させる処理としては、例えば図2の混合部20L,20R内の各スイッチ213,223,233として、入力ポインタレベルの信号を直接選択する処理に相当する。つまり、ポインタが表示される位置では、その位置に元々存在する画像が隠れた状態となる。
なお、ステップS41の判断時において、仮想空間内の奥行きを設定した位置が、基準位置である場合には、ステップS42とステップS43の予め決めたいずれかの処理を行うようにすればよい。あるいは、図5のフローチャートの処理と組み合わせて、基準位置(又はその近傍位置)である場合には、さらに別の特定色で表示させるようにしてもよい。
【0052】
この図6のフローチャートの処理が行われることで、仮想空間内の奥行きの設定状況に応じて、適切なポインタの表示状態となる。
すなわち、本実施の形態例においては、ポインタを混合する元の画像についても、3D表示される画像であり、画像中の各物体などが適切な奥行きを持つ。ここで、画像中の各物体の奥行き方向の配置状態を考えたとき、立体感を出すために特別に手前や奥に配置された物体は別として、画像中の大部分の物体は、基準位置に近い位置にある可能性が高い。ここで、もし、画像中の特定の物体が基準位置の近傍に配置された状態で、基準位置よりも奥の位置に設定したポインタを、その物体の表示位置に重ねて不透明で表示させたとする。このとき、奥の位置に設定されたポインタで、そのポインタの仮想位置よりも手前に存在している画像が隠れることになり、画像として矛盾を生じることになる。
これに対して、図6のフローチャートに示す処理を行うことで、ポインタが奥に表示された状態では、半透明で重なる位置の元の画像についても表示されて、矛盾を生じない画像表示が行われる可能性が高くなる。
【0053】
また、ポインタを手前の位置に設定した場合には、そのポインタ表示位置と重なる位置の画像は、そのポインタの設定位置よりも奥の位置になる可能性が高く、ポインタを不透明で表示させても、上述した矛盾が生じる可能性は少なくなる。
したがって、図6に示す表示処理を行うことで、どの仮想空間内のどの奥行きの位置ポインタを設定した場合でも、矛盾が生じる可能性が少ない良好な表示が行えるようになる。
なお、図5に示した基準位置時に、さらに別の色とする処理や、図4のフローチャートに示した左右の端での表示を制限する処理を組み合わせて、さらに良好に表示されるようにしてもよい。
また、図6のフローチャートの例では、基準位置より手前を特定の色、基準位置より奥を半透明としたが、例えば、基準位置より手前を第1の色、基準位置より奥を第2の色として、少なくとも2段階に色を変えるようにしてもよい。この場合には、例えば基準位置より奥にポインタを表示させる第2の色を、比較的薄い色として、余り強く表示されないようにしてもよい。
【0054】
[4.信号処理状態の例](図7)
次に、図2に示した信号処理構成で、ポインタが表示される例について、図7を参照して説明する。
図7(a)は、画像中にポインタP0が表示される状態を示している。この例では、カラーバーが画像として表示されている中に、四角形のポインタP0を表示させた例としてあり、ポインタP0は不透明(つまりポインタの部分は元の画像が見えない状態)で表示させてある。この例では、1フレームの画像が水平画素数1920画素×水平ライン数1080本の例としてある。
【0055】
図7(b)〜(d)は、水平方向のタイミング例を示したものである。
図7(b)は、水平ドライブ信号[i hd]を示し、図7(c)は、ドット数カウント信号[h count]を示す。1水平ラインの画素数1920画素であるので、水平ドライブ信号がHレベルである間はカウント値が0であり、水平ドライブ信号がLレベルに変化することで、1画素ごとのカウントが行われ、1920までカウントされる。
そして、図7(d)に示す、ポインタの水平位置の信号[h area]がHレベルの間が、ポインタの信号の出力に切り替わる期間となる。水平ドライブ信号[i hd]がHレベルからLレベルに変化した1水平ラインの始点から、ポインタの水平位置の信号[h area]が立ち上がるタイミングまでの期間が、ポインタの水平位置を示す信号[h position]となる。また、信号[h area]がHレベルになっている期間が、水平サイズ信号[h size]で示される期間である。
【0056】
図7(e)〜(i)は、水平方向のタイミング例を示したものである。
図7(e)は、垂直ドライブ信号[i vd]を示し、図7(f)は、水平ドライブ信号[i hd]を示し、図7(g)は、水平エッジの検出信号[hdn]を示す。図7(h)は、ライン数カウント信号[v count]を示す。水平ライン数1080であるので、垂直ドライブ信号がLレベルである間はカウント値が0であり、水平ドライブ信号がLレベルに変化することで、水平エッジの検出信号[hdn]に同期した1ラインごとのカウントが行われ、1080までカウントされる。
そして、図7(i)に示す、ポインタの垂直位置の信号[v area]がHレベルの間が、ポインタの信号の出力に切り替わる期間となる。ライン数カウント信号[v count]がカウント値1になったタイミングから、ポインタの垂直位置の信号[h area]が立ち上がるタイミングまでの期間が、ポインタの水平位置を示す信号[v position]となる。また、信号[v area]がHレベルになっている期間が、垂直サイズ信号[v size]で示される期間である。
このようにして、図2に示す処理構成でポインタを表示させる信号が元の画像信号に混合されて、ポインタが画面中に表示されるようになる。
【0057】
[5.立体方向の表示位置の設定状態の説明](図8,図9)
次に、図8及び図9を参照して、3D表示で設定される仮想空間上の表示位置の設定処理について説明する。
図8は、基準位置(基準面)Mと、その基準位置Mより手前及び奥の状態を示したものである。
先に説明したように、画像中のある表示物体m0についての、仮想空間上の表示位置の設定位置が、基準位置Mと一致しているときには、画面上では、その物体m0は、左チャンネルと右チャンネルとで同一位置に表示されている。この基準位置M上の物体を、画面を見ているユーザが観察したとき、左目ELからの視線と、右目ERからの視線とが交差することはない。
そして、図8に示したように、その基準位置Mよりも奥の位置に物体m1を配置させたとすると、左目ELからの視線と、右目ERからの視線とで成す角度は徐々に小さくなる。
【0058】
これに対して、基準位置Mよりも手前の位置に物体m2を配置させたとすると、このときには、左目ELからの視線と、右目ERからの視線とが交差するような画面上での2つのチャンネルの画像中の物体配置となる。
【0059】
したがって、基準位置Mよりも奥の位置にポインタを表示させる場合の左右の画像を1つの画面上に合成して示すと、図9(a)に示す状態となる。この図9(a)では、左チャンネル(左眼用)のポインタは、右上がりの斜線で示す範囲の四角であり、右チャンネルの(右眼用)のポインタは、右下がりの斜線で示す範囲の四角である。左チャンネルのポインタの方が、右チャンネルのポインタよりも左側に配置される。
【0060】
一方、基準位置Mよりも手前の位置にポインタを表示させる場合の左右の画像を1つの画面上に合成して示すと、図9(b)に示す状態となり、図9(a)とはポインタの左右の関係が逆になる。この図9(b)でも、左チャンネル(左眼用)のポインタは、右上がりの斜線で示す範囲の四角であり、右チャンネルの(右眼用)のポインタは、右下がりの斜線で示す範囲の四角である。この場合には、左チャンネルのポインタの方が、右チャンネルのポインタよりも右側に配置され、図8に示した視線が交差する配置に対応することになる。
【0061】
[6.3Dポインタを字幕表示位置の設定に適用した例]
次に、本実施の形態例の3Dポインタ表示処理を、画像中に字幕を表示させる場合の字幕の位置を設定する際の処理に適用した例を、図10のフローチャートを参照して説明する。
図10にしたがって説明すると、まず、ユーザ操作で動画像を再生して、字幕を挿入する画像部分で、その画像を停止させて、停止した位置で静止画像として表示させる(ステップS51)。
その後、3Dポインタを、字幕を挿入したい奥行き位置で表示させる(ステップS52)。例えば、当該画像中の最も視聴者が注目していると考えられる被写体と、同じ奥行き位置に3Dポインタの奥行き位置をセットする。
そして、セットした3Dポインタの視差ドット数(左右の画像のドット数)をCPU13などが読み出し、その視差ドット数を、その静止画像(及びその画像に連続した画像)に挿入させる字幕の視差ドット数を、読み出した値に設定する。
【0062】
このようにすることで、3Dポインタの表示状態から操作者が確かめた奥行き位置に、字幕が表示されることになり、適正な字幕の表示位置の設定が可能になる。
【0063】
[7.3Dポインタの視差ドット数を表示させた例]
図11は、3D眼鏡を掛けて表示される画像の範囲をF1としたとき、注目被写体Aに隣接して3DポインタP1を表示させた例を示したものである。例えば図10の例のように、注目被写体Aに隣接して、ほぼ同じ奥行き位置となるようにポインタP1を表示させることが考えられる。このとき、図11の例では、画面の左下に、ポインタP1の左右の視差度ドット数Bを、数値で表示させてある。図11の例では、視差度ドット数Bとして30ドットであることを表示させてある。視差度ドット数とは、3Dポインタの左右の位置のずれ量を、画素数(ドット数)で示したものである。なお、図8で説明したように、視線が交差する場合には、−の値として数値を示すようにしてもよい。
【0064】
また、視差度ドット数の表示を行う場合には、例えば図12に示すように、画像の横方向の全画素数を分母とし、視差度ドット数を分子とした、分数表記の視差度ドット数表示B′としてもよい。図12の例では、記号「/」を使用して1行で分数表記させた例を示してあるが、2行を使用した分数表記とし、下段を全画素数、上段を視差度ドット数とした表示形態でもよい。下段(分母)を全画素数、上段(分子)を視差度ドット数とするのは一例であり、逆であってもよい。このように画素数による数値が表示されることで、画面を見ているユーザ(操作者)が非常に判りやすい案内表示となる。なお、このような画素数の表示以外の表示形態で、画面全体の横幅に対する、左右のポインタのずれ量が定量的に判るような表示でもよい。
【0065】
さらに、例えば図13に示すように、画像の横方向の全画素数に対する、視差度ドット数の割合を示した、割合表示Cを画面中に表示させた表示形態としてもよい。図13の例では、割合表示Cとして、パーセント(%)で表示させた例としてある。図11又は図12に示した視差度ドット数表示B又はB′と、図13に示した割合表示Cとは、同時に並べて(又は2段で)表示させるようにしてもよい。
これらの画面中への視差度ドット数表示や全画素数表示は、例えば図1に示したCPU13の制御で、合成処理部40内で対応した数字や文字の画像の重畳処理を行うことで実現できる。
【0066】
[8.変形例]
なお、上述した実施の形態例で表示させる3Dポインタのサイズは、画面のサイズに応じて適切に設定するのが好ましい。例えば、画面全体の面積の1/200以上の面積となるサイズで、3Dポインタを表示させることで、良好に立体視できるサイズで3Dポインタが表示される。この画面全体の面積の1/200以上の面積とする例としては、例えば、画像の縦方向のサイズの1/10以上とし、画像の横方向のサイズの1/20以上とした大きさの四角形のポインタを表示させるのが好ましい。このようなサイズの四角形の3Dポインタ表示を行うことで、画面を見ているユーザは、表示されたポインタそのものの平面の立体的な位置を良好に感じることができ、3Dポインタを表示させる目的である、奥行き方向の位置の確認が良好に行えるようになる。
3Dポインタのサイズは、例えば図1に示したCPU13が制御する。即ち、CPU13から左右のポインタ発生部30L,30Rに供給する水平サイズ信号[left h size][right h size]及び垂直サイズ信号[left v size][right v size]で、対応したサイズとなるように指示する。このような水平サイズ信号及び垂直サイズ信号とすることで、左右のポインタ発生部30L,30Rで生成されるポインタ表示信号が、対応したサイズで表示される信号となる。
3Dポインタの表示サイズを、ユーザ操作で自由に調整できるようにした場合には、例えば図1に示したCPU13の制御で、3Dポインタの最小サイズを、画像の縦方向のサイズの1/10、画像の横方向のサイズの1/20に制限させるのが好ましい。
【0067】
また、上述した実施の形態例の各図では、3Dポインタは四角形で示すようにしたが、その他の形状の図形やマークを、3Dポインタとして表示させてもよい。例えば、円形の図形を3Dポインタとして表示させてもよく、あるいは矢印などの複雑な形状の図形を3Dポインタとして表示させてもよい。このような複雑な形状の図形を3Dポインタとして表示させる場合にも、上述したような画面全体の面積の1/200以上の面積で表示させるのが好ましい。
また、3Dポインタとして、四角形や円形の枠だけを表示させて、その四角形や円形の枠の内側は、元の画像をそのまま表示させるようにしてもよい。このような枠形状の表示を行う際にも、その表示位置の設定状況に応じて、図6のフローチャートに示した半透明表示を行うようにしてもよい。
また、図6のフローチャートに示した半透明表示は、基準位置より奥の位置の場合に半透明表示を行うようにしたが、ポインタをどの奥行き位置に設定した場合でも、常時半透明表示させるようにしてもよい。
【0068】
なお、本開示は以下のような構成も取ることができる。
(1) 画面上に特定の印を表示させるためのポインタ表示信号を生成するポインタ生成部と、
前記ポインタ生成部で生成されたポインタ表示信号を、左チャンネル画像信号に混合する左チャンネル混合部と、
前記ポインタ生成部で生成されたポインタ表示信号を、右チャンネル画像信号に混合する右チャンネル混合部と、
立体表示されることで形成される仮想空間上のポインタの奥行き方向の位置を指示する操作入力に基づいて、前記左チャンネル混合部で混合されるポインタ表示信号のポインタ表示位置と、前記右チャンネル混合部で混合されるポインタ表示信号のポインタ表示位置とを、指示された仮想空間上の奥行き方向の位置の視差に対応してシフトした水平位置に設定させる制御部とを備えた
3Dポインタ生成装置。
【0069】
(2) 前記左チャンネル混合部及び前記右チャンネル混合部でポインタ表示信号を混合する際に、ポインタが半透明に表示されるように混合させる
前記(1)記載の3Dポインタ生成装置。
【0070】
(3) 前記制御部は、指示された仮想空間上の奥行き方向の位置が、左右のチャンネルで画面上の表示位置に変化がない基準位置よりも手前の位置の場合と、前記基準位置よりも奥の位置の場合とで、ポインタ表示用画像信号の表示色を少なくとも2段階に変化させる
前記(1)又は(2)記載の3Dポインタ生成装置。
【0071】
(4) 前記制御部は、指示された仮想空間上の奥行き方向の位置が、左右のチャンネルで画面上の表示位置に変化がない基準位置よりも手前の位置の場合に、前記左チャンネル混合部及び前記右チャンネル混合部で、ポインタが不透明に表示されるように混合させ、前記基準位置よりも奥の位置の場合に、前記左チャンネル混合部及び前記右チャンネル混合部で、ポインタが半透明に表示されるように混合させる
前記(1)から(3)のいずれか1項に記載の3Dポインタ生成装置。
【0072】
(5) 前記制御部は、指示された仮想空間上の奥行き方向の位置が、左右のチャンネルで画面上の表示位置に変化がない基準位置、又はその基準位置の近傍であるとき、ポインタの表示色を変化させる
前記(1)から(4)のいずれか1項に記載の3Dポインタ生成装置。
【0073】
(6) 前記制御部は、前記ポインタ表示信号によるポインタの水平位置及び垂直位置を、前記左チャンネル画像信号及び右チャンネル画像信号で立体表示が可能な範囲内に制限させる
前記(1)から(5)のいずれか1項に記載の3Dポインタ生成装置。
【0074】
(7) 前記制御部は、左右のポインタ表示位置のずれ量に対応した画素数を示す画像を、前記左チャンネル画像信号及び右チャンネル画像信号に重畳させる
前記(1)から(6)のいずれか1項に記載の3Dポインタ生成装置。
【0075】
(8) 前記制御部は、左右のポインタ表示位置のずれ量に対応した画素数と、画像信号の横方向の全画素数とを、分数表記で表示させる画像を、前記左チャンネル画像信号及び右チャンネル画像信号に重畳させる
前記(1)から(6)のいずれか1項に記載の3Dポインタ生成装置。
【0076】
(9) 前記制御部は、左右のポインタ表示位置のずれ量に対応した画素数と、画像信号の横方向の全画素数との割合を表示させる画像を、前記左チャンネル画像信号及び右チャンネル画像信号に重畳させる
前記(1)から(8)のいずれか1項に3Dポインタ生成装置。
【0077】
(10) 前記ポインタ生成部で生成されるポインタ表示信号により画面に表示されるポインタの表示面積は、前記左チャンネル画像信号及び右チャンネル画像信号による画像の全表示面積の1/200以上とした
前記(1)から(9)のいずれか1項に3Dポインタ生成装置。
【符号の説明】
【0078】
11…コントローラ、12…マウス、13…中央制御ユニット(CPU)、20L,20R…混合部、30L…左ポインタ発生部、30R…右ポインタ発生部、40…合成処理部、211…遅延部、212…加算部、221…遅延部、222…加算部、231…遅延部、232…加算部、312…水平ドット数カウンタ、313…水平エッジ検出部、314…演算部、315…演算部、322…ライン数カウンタ、323…垂直エッジ検出部、324…プログレッシブ判別部、345…演算部
【特許請求の範囲】
【請求項1】
画面上に特定の印を表示させるためのポインタ表示信号を生成するポインタ生成部と、
前記ポインタ生成部で生成されたポインタ表示信号を、左チャンネル画像信号に混合する左チャンネル混合部と、
前記ポインタ生成部で生成されたポインタ表示信号を、右チャンネル画像信号に混合する右チャンネル混合部と、
立体表示されることで形成される仮想空間上のポインタの奥行き方向の位置を指示する操作入力に基づいて、前記左チャンネル混合部で混合されるポインタ表示信号のポインタ表示位置と、前記右チャンネル混合部で混合されるポインタ表示信号のポインタ表示位置とを、指示された仮想空間上の奥行き方向の位置の視差に対応してシフトした水平位置に設定させる制御部とを備えた
3Dポインタ生成装置。
【請求項2】
前記左チャンネル混合部及び前記右チャンネル混合部でポインタ表示信号を混合する際に、ポインタが半透明に表示されるように混合させる
請求項1記載の3Dポインタ生成装置。
【請求項3】
前記制御部は、指示された仮想空間上の奥行き方向の位置が、左右のチャンネルで画面上の表示位置に変化がない基準位置よりも手前の位置の場合と、前記基準位置よりも奥の位置の場合とで、ポインタ表示用画像信号の表示色を少なくとも2段階に変化させる
請求項1記載の3Dポインタ生成装置。
【請求項4】
前記制御部は、指示された仮想空間上の奥行き方向の位置が、左右のチャンネルで画面上の表示位置に変化がない基準位置よりも手前の位置の場合に、前記左チャンネル混合部及び前記右チャンネル混合部で、ポインタが不透明に表示されるように混合させ、前記基準位置よりも奥の位置の場合に、前記左チャンネル混合部及び前記右チャンネル混合部で、ポインタが半透明に表示されるように混合させる
請求項1記載の3Dポインタ生成装置。
【請求項5】
前記制御部は、指示された仮想空間上の奥行き方向の位置が、左右のチャンネルで画面上の表示位置に変化がない基準位置、又はその基準位置の近傍であるとき、ポインタの表示色を変化させる
請求項1記載の3Dポインタ生成装置。
【請求項6】
前記制御部は、前記ポインタ表示信号によるポインタの水平位置及び垂直位置を、前記左チャンネル画像信号及び右チャンネル画像信号で立体表示が可能な範囲内に制限させる
請求項1記載の3Dポインタ生成装置。
【請求項7】
前記制御部は、左右のポインタ表示位置のずれ量に対応した画素数を示す画像を、前記左チャンネル画像信号及び右チャンネル画像信号に重畳させる
請求項1記載の3Dポインタ生成装置。
【請求項8】
前記制御部は、左右のポインタ表示位置のずれ量に対応した画素数と、画像信号の横方向の全画素数とを、分数表記で表示させる画像を、前記左チャンネル画像信号及び右チャンネル画像信号に重畳させる
請求項1記載の3Dポインタ生成装置。
【請求項9】
前記制御部は、左右のポインタ表示位置のずれ量に対応した画素数と、画像信号の横方向の全画素数との割合を表示させる画像を、前記左チャンネル画像信号及び右チャンネル画像信号に重畳させる
請求項1記載の3Dポインタ生成装置。
【請求項10】
前記ポインタ生成部で生成されるポインタ表示信号により画面に表示されるポインタの表示面積は、前記左チャンネル画像信号及び右チャンネル画像信号による画像の全表示面積の1/200以上とした
請求項1記載の3Dポインタ生成装置。
【請求項11】
画面上に特定の印を表示させるためのポインタ表示信号を生成するポインタ生成処理と、
前記ポインタ生成処理で生成されたポインタ表示信号を、左チャンネル画像信号に混合する左チャンネル混合処理と、
前記ポインタ生成処理で生成されたポインタ表示信号を、右チャンネル画像信号に混合する右チャンネル混合処理と、
立体表示されることで形成される仮想空間上のポインタの奥行き方向の位置を指示する操作入力に基づいて、左チャンネル画像信号に混合されるポインタ表示信号のポインタ表示位置と、右チャンネル画像信号に混合されるポインタ表示信号のポインタ表示位置とを、指示された仮想空間上の奥行き方向の位置の視差に対応してシフトした水平位置に設定させる制御処理とを行う
3Dポインタ生成方法。
【請求項1】
画面上に特定の印を表示させるためのポインタ表示信号を生成するポインタ生成部と、
前記ポインタ生成部で生成されたポインタ表示信号を、左チャンネル画像信号に混合する左チャンネル混合部と、
前記ポインタ生成部で生成されたポインタ表示信号を、右チャンネル画像信号に混合する右チャンネル混合部と、
立体表示されることで形成される仮想空間上のポインタの奥行き方向の位置を指示する操作入力に基づいて、前記左チャンネル混合部で混合されるポインタ表示信号のポインタ表示位置と、前記右チャンネル混合部で混合されるポインタ表示信号のポインタ表示位置とを、指示された仮想空間上の奥行き方向の位置の視差に対応してシフトした水平位置に設定させる制御部とを備えた
3Dポインタ生成装置。
【請求項2】
前記左チャンネル混合部及び前記右チャンネル混合部でポインタ表示信号を混合する際に、ポインタが半透明に表示されるように混合させる
請求項1記載の3Dポインタ生成装置。
【請求項3】
前記制御部は、指示された仮想空間上の奥行き方向の位置が、左右のチャンネルで画面上の表示位置に変化がない基準位置よりも手前の位置の場合と、前記基準位置よりも奥の位置の場合とで、ポインタ表示用画像信号の表示色を少なくとも2段階に変化させる
請求項1記載の3Dポインタ生成装置。
【請求項4】
前記制御部は、指示された仮想空間上の奥行き方向の位置が、左右のチャンネルで画面上の表示位置に変化がない基準位置よりも手前の位置の場合に、前記左チャンネル混合部及び前記右チャンネル混合部で、ポインタが不透明に表示されるように混合させ、前記基準位置よりも奥の位置の場合に、前記左チャンネル混合部及び前記右チャンネル混合部で、ポインタが半透明に表示されるように混合させる
請求項1記載の3Dポインタ生成装置。
【請求項5】
前記制御部は、指示された仮想空間上の奥行き方向の位置が、左右のチャンネルで画面上の表示位置に変化がない基準位置、又はその基準位置の近傍であるとき、ポインタの表示色を変化させる
請求項1記載の3Dポインタ生成装置。
【請求項6】
前記制御部は、前記ポインタ表示信号によるポインタの水平位置及び垂直位置を、前記左チャンネル画像信号及び右チャンネル画像信号で立体表示が可能な範囲内に制限させる
請求項1記載の3Dポインタ生成装置。
【請求項7】
前記制御部は、左右のポインタ表示位置のずれ量に対応した画素数を示す画像を、前記左チャンネル画像信号及び右チャンネル画像信号に重畳させる
請求項1記載の3Dポインタ生成装置。
【請求項8】
前記制御部は、左右のポインタ表示位置のずれ量に対応した画素数と、画像信号の横方向の全画素数とを、分数表記で表示させる画像を、前記左チャンネル画像信号及び右チャンネル画像信号に重畳させる
請求項1記載の3Dポインタ生成装置。
【請求項9】
前記制御部は、左右のポインタ表示位置のずれ量に対応した画素数と、画像信号の横方向の全画素数との割合を表示させる画像を、前記左チャンネル画像信号及び右チャンネル画像信号に重畳させる
請求項1記載の3Dポインタ生成装置。
【請求項10】
前記ポインタ生成部で生成されるポインタ表示信号により画面に表示されるポインタの表示面積は、前記左チャンネル画像信号及び右チャンネル画像信号による画像の全表示面積の1/200以上とした
請求項1記載の3Dポインタ生成装置。
【請求項11】
画面上に特定の印を表示させるためのポインタ表示信号を生成するポインタ生成処理と、
前記ポインタ生成処理で生成されたポインタ表示信号を、左チャンネル画像信号に混合する左チャンネル混合処理と、
前記ポインタ生成処理で生成されたポインタ表示信号を、右チャンネル画像信号に混合する右チャンネル混合処理と、
立体表示されることで形成される仮想空間上のポインタの奥行き方向の位置を指示する操作入力に基づいて、左チャンネル画像信号に混合されるポインタ表示信号のポインタ表示位置と、右チャンネル画像信号に混合されるポインタ表示信号のポインタ表示位置とを、指示された仮想空間上の奥行き方向の位置の視差に対応してシフトした水平位置に設定させる制御処理とを行う
3Dポインタ生成方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図8】
【図10】
【図11】
【図12】
【図13】
【図7】
【図9】
【図2】
【図3】
【図4】
【図5】
【図6】
【図8】
【図10】
【図11】
【図12】
【図13】
【図7】
【図9】
【公開番号】特開2012−173865(P2012−173865A)
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願番号】特願2011−33640(P2011−33640)
【出願日】平成23年2月18日(2011.2.18)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願日】平成23年2月18日(2011.2.18)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]