立体画像処理装置、立体画像処理方法、及び立体画像処理プログラム
【課題】画像が表す各物体までの距離を視聴者に容易に把握させることができる。
【解決手段】物体情報抽出部は、立体画像を表す立体画像信号から物体毎の画像を表す物体情報を抽出し、案内画像生成部は、前記抽出された物体情報が表す物体の視点からの距離を視聴者が把握しやすくするための案内画像を表す案内画像信号を生成し、画像信号合成部は、前記生成した案内画像信号が表す案内画像を前記物体の少なくとも一部を占める領域に前記立体画像信号が表す画像と合成する。
【解決手段】物体情報抽出部は、立体画像を表す立体画像信号から物体毎の画像を表す物体情報を抽出し、案内画像生成部は、前記抽出された物体情報が表す物体の視点からの距離を視聴者が把握しやすくするための案内画像を表す案内画像信号を生成し、画像信号合成部は、前記生成した案内画像信号が表す案内画像を前記物体の少なくとも一部を占める領域に前記立体画像信号が表す画像と合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像処理装置、立体画像処理方法、及び立体画像処理プログラムに関する。
【背景技術】
【０００２】
従来から、視聴者に立体画像を表示する立体画像表示装置が提案されてきた。立体画像表示装置は、視聴者の左右各眼に対応した２次元画像を表示することで立体視を実現する。ここで、表示された画像が表す物体の距離に応じて、左右の画像間において表示される位置のずれがある。このずれを視差量といい、一般的に、メートルなどの長さの単位や、画素、表示画面の水平サイズに対するパーセンテージなどの単位で表される。言い換えれば、視差量を調節することによって、その物体が知覚される距離を調節する。
例えば、特許文献１に記載の立体映像処理装置は、左眼用画像と右眼用画像とを立体表示制御部に供給し、スクリーン上に視差量を持って表示させ、立体視できるようにした立体映像処理装置において、視差量を調整する調整手段と、調整手段によつ調整動作のときに、スクリーンの前後に延在するように映し出すための調整用に参照する参照用立体画像信号を発生し、立体表示制御部に供給する参照用立体画像信号生成手段とを具備する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１５５１５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の立体画像表示装置は、参照用立体画像信号をスクリーンの前後に延在するように映し出すため、画像が表す物体との距離関係を視聴者が容易に把握できないことがあった。また、複数の物体の画像が表示されているとき、各物体までの距離が異なるため、表示されている参照用立体画像信号が、どの物体との距離を比較するか視聴者が容易に把握できないことがあった。
【０００５】
本発明は上記の点に鑑みてなされたものであり、画像が表す各物体までの距離を視聴者に容易に把握させることができる立体画像処理装置、立体画像処理方法、及び立体画像処理プログラムを提供する。
【課題を解決するための手段】
【０００６】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、立体画像を表す立体画像信号から物体毎の画像を表す物体情報を抽出する物体情報抽出部と、前記抽出された物体情報が表す物体の視点からの距離に案内画像を表す案内画像信号を生成する案内画像生成部と、前記生成した案内画像信号が表す案内画像を前記物体の少なくとも一部を占める領域に前記立体画像信号が表す画像と合成する画像信号合成部と、を備えることを特徴とする立体画像処理装置である。
【０００７】
（２）本発明のその他の態様は、上述の立体画像処理装置において、前記案内画像生成部は、前記案内画像として前記距離が一定の画像を表す案内画像信号を生成することを特徴とする。
【０００８】
（３）本発明のその他の態様は、上述の立体画像処理装置において、前記案内画像生成部は、前記物体の視点からの距離が最大となる最大距離に前記案内画像を表す案内画像信号を生成することを特徴とする。
【０００９】
（４）本発明のその他の態様は、上述の立体画像処理装置において、前記案内画像生成部は、前記物体の視点からの距離が最小となる最小距離に前記案内画像を表す案内画像信号を生成することを特徴とする。
【００１０】
（５）本発明のその他の態様は、上述の立体画像処理装置において、前記案内画像生成部は、前記物体の視点からの距離が最大となる最大距離と前記物体の視点からの距離が最小となる最小距離の中間である中心距離に前記案内画像を表す案内画像信号を生成することを特徴とする。
【００１１】
（６）本発明のその他の態様は、上述の立体画像処理装置において、前記案内画像生成部は、前記物体の視点からの距離の平均である平均距離に前記案内画像を表す案内画像信号を生成することを特徴とする。
【００１２】
（７）本発明のその他の態様は、上述の立体画像処理装置において、前記案内画像生成部は、前記物体の視点からの距離が最頻となる最頻距離に前記案内画像を表す案内画像信号を生成することを特徴とする。
【００１３】
（８）本発明のその他の態様は、上述の立体画像処理装置において、操作入力を受け付けて、前記物体の視点からの距離を表す距離情報を入力する操作入力部を備え、
前記案内画像生成部は、前記入力された距離情報が表す距離に前記案内画像を表す案内画像信号を生成することを特徴とする。
【００１４】
（９）本発明のその他の態様は、上述の立体画像処理装置において、前記案内画像生成部は、前記物体情報に対応する物体の形状を有する案内画像を表す前記案内画像信号を生成することを特徴とする。
【００１５】
（１０）本発明のその他の態様は、上述の立体画像処理装置において、前記画像信号合成部は、前記生成した案内画像信号を、前記物体を占める領域に前記立体画像信号よりも優先して前記立体画像信号と合成することを特徴とする。
【００１６】
（１１）本発明のその他の態様は、上述の立体画像処理装置において、前記案内画像生成部は、前記物体情報に対応する物体のうち少なくとも２以上の物体のいずれかの距離に表わされる案内画像を表す案内画像信号を生成し、前記画像信号合成部は、前記案内画像信号が表す案内画像を、前記少なくとも2以上の物体の各々について少なくとも一部を占める領域に前記立体画像信号が表す画像と合成することを特徴とする。
【００１７】
（１２）本発明のその他の態様は、立体画像処理装置における立体画像処理方法において、前記立体画像処理装置が、立体画像を表す立体画像信号から物体毎の画像を表す物体情報を抽出する過程と、前記立体画像処理装置が、前記抽出された物体情報が表す物体の視点からの距離に案内画像を表す案内画像信号を生成する過程と、前記立体画像処理装置が、前記生成した案内画像信号が表す案内画像を前記物体の少なくとも一部を占める領域に前記立体画像信号が表す画像と合成する過程とを有することを特徴とする立体画像処理方法である。
【００１８】
（１３）本発明のその他の態様は、立体画像処理装置のコンピュータに、立体画像を表す立体画像信号から物体毎の画像を表す物体情報を抽出する手順、前記抽出された物体情報が表す物体の視点からの距離に案内画像を表す案内画像信号を生成する手順、前記生成した案内画像信号が表す案内画像を前記物体の少なくとも一部を占める領域に前記立体画像信号が表す画像と合成する手順を実行させるための立体画像処理プログラムである。
【発明の効果】
【００１９】
本発明によれば、画像が表す各物体までの距離を視聴者に容易に把握させることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る立体画像処理装置の構成を示す概略図である。
【図２】視聴者とディスプレイの位置関係の一例を表す概念図である。
【図３】視聴者とディスプレイの位置関係のその他の例を表す概念図である。
【図４】視聴者とディスプレイの位置関係のその他の例を表す概念図である。
【図５】本実施形態に係る立体画像処理を表すフローチャートである。
【図６】立体画像の一例を表す図である。
【図７】立体画像のその他の例を表す図である。
【図８】物体間の位置関係の一例を表す表面図である。
【図９】表示画像の一例を表す図である。
【図１０】案内画像と物体の位置関係の一例を表す表面図である。
【図１１】表示画像のその他の例を表す図である。
【図１２】案内画像と物体の位置関係のその他の例を表す表面図である。
【図１３】表示画像のその他の例を表す図である。
【図１４】案内画像と物体の位置関係のその他の例を表す表面図である。
【図１５】表示画像のその他の例を表す図である。
【図１６】案内画像と物体の位置関係のその他の例を表す表面図である。
【図１７】表示画像のその他の例を表す図である。
【図１８】案内画像と物体の位置関係のその他の例を表す表面図である。
【図１９】表示画像のその他の例を表す図である。
【図２０】案内画像と物体の位置関係のその他の例を表す表面図である。
【図２１】表示画像のその他の例を表す図である。
【図２２】案内画像と物体の位置関係のその他の例を表す表面図である。
【図２３】表示画像のその他の例を表す図である。
【図２４】案内画像と物体の位置関係のその他の例を表す表面図である。
【図２５】表示画像のその他の例を表す図である。
【図２６】案内画像と物体の位置関係のその他の例を表す表面図である。
【図２７】表示画像のその他の例を表す図である。
【図２８】表示画像のその他の例を表す図である。
【図２９】案内画像と物体の位置関係のその他の例を表す表面図である。
【図３０】表示画像のその他の例を表す図である。
【図３１】サイドバイサイド形式で多重化した立体画像信号を表す概念図である。
【図３２】トップアンドボトム形式で多重化した立体画像信号を表す概念図である。
【図３３】フレームシーケンシャル形式で多重化した立体画像信号を表す概念図である。
【図３４】本実施形態に係る画像信号入力部の構成を表す概略図である。
【図３５】本実施形態に係る画像信号入力処理を表すフローチャートである。
【図３６】本実施形態に係る案内画像生成部の構成を表す概略図である。
【図３７】本実施形態に係る案内画像生成処理を表すフローチャートである。
【図３８】本実施形態に係る案内画像設定情報を決定する処理を表すフローチャートである。
【図３９】本実施形態に係る表示設定画面の一例を表す図である。
【図４０】本実施形態に係る表示設定画面のその他の例を表す図である。
【図４１】本実施形態に係る表示設定画面のその他の例を表す図である。
【図４２】本実施形態に係る表示設定画面のその他の例を表す図である。
【図４３】本実施形態に係る表示設定画面のその他の例を表す図である。
【図４４】本実施形態に係る表示設定画面のその他の例を表す図である。
【図４５】本実施形態に係る表示設定画面のその他の例を表す図である。
【図４６】本実施形態に係る表示画像生成部の構成を表す概略図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照しながら本発明の実施形態について説明する。
【００２２】
図１は、本発明の実施形態に係る立体画像処理装置１の構成を示す概略図である。
立体画像処理装置１は、画像信号入力部１０１、データ入力部１０２、物体情報抽出部１０３、操作入力部１０４、案内画像生成部１０５、表示画像生成部（画像信号合成部）１０６、及び画像表示部１０７を含んで構成される。
【００２３】
画像信号入力部１０１は、外部から立体画像信号を入力される。外部とは、例えば、画像を撮影する撮影装置、録画された画像を再生する録画装置、放送波又は通信回線により伝送された画像信号を受信する受信装置、等がある。
入力される立体画像信号は、被写体である物体表面の画像を立体的に表す信号である。入力される立体画像信号は、例えば、左右方向及び上下方向の２次元平面上の各座標における画像の輝度値と、視点から当該物体表面までの奥行方向の距離を表す信号を含む。入力される立体画像信号は、例えば平面画像信号と距離画像信号を含む。平面画像信号は、２次元平面上の各座標における輝度値を含む画像信号（「２次元画像信号」、「テクスチャ画像信号」ともいう。）である。距離画像信号は、例えば、当該各座標における、視点からの奥行方向の距離を表す奥行値（「デプス値」、「距離値」ともいう。）を含むデプスマップである。
以下の説明では、デプス値が小さいほど、視点からの距離が短くなるように定義されている場合を例にとって説明する。本実施形態では、これには限られず、デプス値と視点からの距離が一意に対応付けられていればよい。例えば、デプス値が大きいほど視点からの距離が長くなるように定義されていてもよい。
距離画像信号は、その他、各座標における視差量を含む視差マップでもよい。
入力される立体画像信号は、その他ある物体に対して左側の視点からの画像を表す左画像信号と、当該物体に対して右側の視点からの画像を表す右画像信号とを含むステレオ画像信号であってもよい。左画像信号は、左眼に表示する左画像を表す画像信号であり、右画像信号は、右眼に表示する右画像を表す画像信号である。
画像信号入力部１０１は、入力された立体画像信号を物体情報抽出部１０３及び表示画像生成部１０６に出力する。
【００２４】
データ入力部１０２には、画像信号入力部１０１に入力される立体画像信号に関連する関連データが、外部から入力される。関連データは、例えば、画像の左右方向・上下方向の画素数を表すサイズ情報、１秒間に画像を取得もしくは再生するフレーム数であるフレームレート、等、画像信号入力部１０１に入力される立体画像信号の属性を表すデータである、メタデータを含む。
データ入力部１０２は、入力された関連データを物体情報抽出部１０３に出力する。
【００２５】
物体情報抽出部１０３には、画像信号入力部１０１から立体画像信号が、データ入力部１０２から関連データが、それぞれ入力される。物体情報抽出部１０３は、入力された立体画像信号から、入力された関連データを参照して物体毎の画像を表す物体情報を抽出する。即ち、抽出した物体情報は、物体（被写体）毎に表される画像を占める領域を表す情報である。この物体情報は、例えば各物体が占める座標に対して物体毎に異なる識別値を含む。
物体情報抽出部１０３は、入力された立体画像信号が表す距離画像信号と、抽出した物体情報を、案内画像生成部１０５及び表示画像生成部１０６に出力する。
【００２６】
ここで、物体情報抽出部１０３は、入力された立体画像信号がステレオ画像信号である場合には、左右画像信号が各々表す画像の視差量を求め、求めた視差量を視聴位置からのデプス値に変換し、距離画像信号を生成する。視差量とデプス値との対応関係については後述する。物体情報抽出部１０３は、視差量を求めるために、例えば左画像信号と右画像信号との間でブロックマッチングを行って左画像信号が表す画像に対応する領域を右画像信号からブロック毎に探索する。
【００２７】
物体情報抽出部１０３は、例えば、距離画像信号に基づいて物体情報を抽出する。ここで、物体情報抽出部１０３は、距離画像信号が表すデプス値が予め定めた値よりも少ない範囲で分布している各１つの領域を１つの物体を表す画像を占める領域と判断する。物体情報抽出部１０３は、判断された領域を表す情報を物体情報として生成する。これにより、物体情報抽出部１０３は、デプス値によって異なる物体の画像を表す物体情報を抽出することができる。
【００２８】
物体情報抽出部１０３は、その他、エッジ抽出法を用いて物体情報を抽出してもよい。ここで、物体情報抽出部１０３は、入力された平面画像信号に対して急激に輝度値が変化する領域であるエッジを抽出する。
物体情報抽出部１０３は、例えば、平面画像信号のある座標における輝度値と、左右方向又は上下方向に隣接する座標の輝度値との差分値を算出する。物体情報抽出部１０３は、算出した差分値の絶対値が予め定めた閾値よりも大きい場合、その座標がエッジであると判断する。物体情報抽出部１０３は、外縁がエッジで囲まれる各１つの閉じた領域を占める１つの物体を表す物体情報として生成する。
物体情報抽出部１０３は、その１つの閉じた領域に他の閉じた領域を含む場合や、他の閉じた領域が接触する場合には、距離画像信号を参照して、それが、この他の閉じた領域を占める他の物体であると判断してもよい。ここで、物体情報抽出部１０３は、他の閉じた領域の内外におけるデプス値の差分の絶対値が予め設定された閾値よりも大きい場合に、他の物体であると判断する。また、物体情報抽出部１０３は、過去のエッジを表す情報を記憶し、１つの閉じた領域の動き量と他の閉じた領域の位置の動き量の差分の絶対値が予め設定された値よりも大きい場合に他の物体であると判断してもよい。
これにより、物体情報抽出部１０３は、輝度によって異なる物体の画像を表す物体情報を抽出することができる。
【００２９】
操作入力部１０４は、利用者に対して案内画像に係る変数に対する設定を促す表示設定画面情報を記憶する記憶部を備える。
操作入力部１０４は、利用者による操作入力を検知し、表示設定画面情報を操作入力部１０４に内在する記憶部（図示せず）から読み出し、読み出した表示設定画面情報を画像表示部１０７に出力する。
また、操作入力部１０４は、画像表示部１０７が表示設定画面を表示しているとき、利用者による操作入力を検知し、検知した操作入力に基づいて案内画像に係る変数の設定値を決定する。操作入力部１０４は、決定した設定値を表す案内画像設定情報を、案内画像生成部１０５に出力する。表示設定画面情報、案内画像設定情報の具体例については後述する。
【００３０】
案内画像生成部１０５には、物体情報抽出部１０３から距離画像信号と物体情報とが入力される。
案内画像とは、その画像自体を表示する、視点からの奥行方向の距離を表す画像であり、奥行き感ガイドとも呼ぶ。
案内画像生成部１０５は、既定の案内画像の形状を表す案内画像パターン信号と、案内画像に係る既定の変数を予め記憶した案内画像データ記憶部１０５２（後述の図３６）を備える。
案内画像パターン信号は、例えば格子の画像を表す画像信号である。格子の画像は、長方形の外縁と、外縁に囲まれる領域の一部を左右方向又は上下方向に細長い躯体を表し、躯体が表されない領域が中空である画像である。
案内画像が格子の画像である場合、中空となる領域に立体画像信号が表す画像（元の画像）が表示される。これにより、案内画像の距離が、元の画像の距離と対比されるため、より視聴者に把握しやすくなるという効果がある。
【００３１】
案内画像生成部１０５は、案内画像データ記憶部１０５２から案内画像パターン信号を読み出す。
なお、案内画像生成部１０５は、操作入力部１０４から入力された案内画像設定情報に応じた態様で案内画像パターン信号を生成してもよい。案内画像パターン信号の例については後述する。
案内画像生成部１０５は、読み出した案内画像パターン信号の左右方向及び上下方向の幅を、入力された物体情報が表す物体が占める領域の幅と同一又はこれよりも大きくなるように変更し、リサイズ案内画像信号を生成する。
【００３２】
案内画像生成部１０５は、入力された物体情報が表す物体毎の平面座標において、その平面座標に対する距離画像信号が表すデプス値が示す位置（視点からの奥行方向の距離）に、案内画像が視聴者に知覚されるようにリサイズ案内画像信号を割り当てることによって、案内画像信号を生成する。
案内画像信号は、左眼に表示する左案内画像信号と右眼に表示する右案内画像信号を含む。案内画像生成部１０５は、そのデプス値が示す位置に、知覚される案内画像信号を生成するために、リサイズ案内画像信号を左案内画像信号と定める。案内画像生成部１０５は、そのデプス値に対応する視差量分だけ左右方向の座標がずれた位置にリサイズ案内画像信号を割り当てて右案内画像信号を生成する。このとき、左案内画像信号と右案内画像信号との間の視差量は一定である。視聴者が案内画像を視聴するとき、案内画像は、視点から距離が一定の平面として知覚される。そのため、案内画像の奥行方向の位置を、より把握しやすくなるという効果がある。
案内画像生成部１０５は、１つの物体に対する案内画像について一定の視差量を与えてもよい。その場合、案内画像生成部１０５は、各物体に対する案内画像の視差量に対応するデプス値を表す案内距離画像信号を生成してもよい。
案内画像生成部１０５が生成した左案内画像信号と右案内画像信号を案内画像信号と総称する。
案内画像生成部１０５は、生成した案内画像信号と案内距離画像信号を表示画像生成部１０６に出力する。
【００３３】
表示画像生成部１０６は、画像信号入力部１０１から立体画像信号が入力され、物体情報抽出部１０３から物体情報及び距離画像信号が入力される。表示画像生成部１０６は、案内画像生成部１０５から案内画像信号と案内距離画像信号が入力される。
ここで、表示画像生成部１０６は、入力された立体画像信号が平面画像信号と距離画像信号である場合には、その平面画像信号と距離画像信号に基づいて左画像信号及び右画像信号を生成する。表示画像生成部１０６は、例えば、平面画像信号を左画像信号と定める。表示画像生成部１０６は、各座標における平面画像信号の輝度値を、その座標における距離画像信号が表す視差量分ずれた座標に割り当てて右画像信号を生成する。
【００３４】
表示画像生成部１０６は、距離画像信号と案内距離画像信号を参照して、よりデプス値の小さいほうが優先されるように立体画像信号と案内画像信号を座標毎に合成して表示画像信号を生成する。なお、表示画像信号は、後述する左表示画像信号と右表示画像信号の総称である。
即ち、ある座標における立体画像信号に係る距離画像信号のデプス値が、案内距離画像信号のデプス値よりも小さい場合、表示画像生成部１０６は、その座標における左画像信号の輝度値を左表示画像信号の輝度値と定める。このとき、表示画像生成部１０６は、その座標における右画像信号の輝度値を右表示画像信号の輝度値と定める。
ある座標における立体画像信号に係る距離画像信号のデプス値が、案内距離画像信号のデプス値と等しいか、より大きい場合、表示画像生成部１０６は、その座標における左案内画像信号の輝度値を左表示画像信号の輝度値と定める。このとき、表示画像生成部１０６は、その座標における右案内画像信号の輝度値を、右表示画像信号の輝度値と定める。
表示画像生成部１０６は、生成した表示画像信号を画像表示部１０７に出力する。
【００３５】
画像表示部１０７は、表示画像生成部１０６から入力された表示画像信号が表す画像をディスプレイに表示する。画像表示部１０７は、表示画像信号に含まれる左表示画像信号が表す画像と右表示画像信号が表す画像を表示する。左表示画像信号が表す画像の原点と右表示画像信号が表す画像の原点の座標は、同一である。表示画像信号が表す画像を表示するディスプレイは、画像表示部１０７に内蔵されるものであっても画像表示部１０７から離れた場所に設置されたものであってもよい。
【００３６】
画像表示部１０７は、例えば、左表示画像信号が表す画像と右表示画像信号が表す画像を予め定めた時間間隔で（例えば、１／６０秒）交互にスクリーンに表示するプロジェクタである。視聴者は、この時間間隔に同期させて視聴者の左右各眼に光線を透過するか否かを制御することができるシャッター（例えば、液晶シャッター）を備えた立体視用眼鏡を用いて立体画像を視聴する。
画像表示部１０７は、その他左表示画像信号が表す画像と右表示画像信号が表す画像を互いに異なる偏光特性でスクリーンに表示するプロジェクタであってもよい。視聴者は、左表示画像信号に対する偏光特性に対応した偏光フィルタを左眼レンズに備え、右表示画像信号に対する偏光特性に対応した偏光フィルタを右眼レンズに備えた立体視用眼鏡を用いて立体画像を視聴する。
画像表示部１０７は、その他、左表示画像信号が表す画像と右表示画像信号が表す画像の上下方向に長い画像帯を交互に表示する表示面と、その前面を上下方向に延伸されたスリットを備えた視差バリア方式のディスプレイであってもよい。また、画像表示部１０７は、その表示面と、その前面を上下方向に延伸された凸レンズ（レンティキュラレンズ）を備えたレンティキュラ方式のディスプレイであってもよい。
【００３７】
ここで、視聴者がディスプレイに表された画像を視聴する場合を例にとって、視差量とデプス値との対応関係について説明する。
図２は、視聴者とディスプレイの位置関係の一例を表す概念図である。
図２において、左右方向は視聴者にとり左右方向を表し、上下方向は視聴者にとり奥深・手前方向を表す。
図２の上方に示された台形は、ディスプレイ１７３を表す。ディスプレイの中央部に示された黒丸は、ディスプレイに現された画像の一点１７４であり、後述する中点１７７から奥行方向に距離Ｌだけ離れた点である。
図２の左下に表された黒丸は、視聴者の左眼１７５を表す。図２の右下に表された黒丸は、視聴者の右眼１７６を表す。左眼１７５と右眼１７６の中間に表された黒丸は、両眼の中点１７７を表す。左眼１７５と右眼１７６との間の距離Ｔを両眼間距離と呼ぶ。点１７４から中点１７７までの距離Ｌが視聴者とディスプレイとの間の距離（「視聴距離」ともいう。）。視聴距離は、例えば、ディスプレイの垂直方向の幅（高さ方向の長さ）の３倍、又は視野角が３０°となる点からディスプレイまでの距離である。左眼１７５から点１７４を結ぶ線分と右眼１７６から点１７４を結ぶ線分がなす角αを輻輳角と呼ぶ。
図２において、左眼１７５から点１７４を結ぶ線分と右眼１７６から点１７４を結ぶ線分がディスプレイ１７３上で交わっていることは、点１７４と点１７７までの距離が、視聴距離Ｌで表されることを示す。これより、輻輳角αは、両眼幅Ｔと視聴距離Ｌと、式（１）に示される関係がある。
【００３８】
【数１】
【００３９】
図３は、視聴者とディスプレイの位置関係のその他の例を表す概念図である。
図３において、左右方向、上下方向が示す方向、ディスプレイ１７３、点１７４、左眼１７５、右眼１７６、及び中点１７７の位置関係は図２と同様である。
点１７４の右側に示されている点１８１は、左表示画像信号が表す画像の一点を表す。
点１７４の左側に示されている点１８２は、右表示画像信号が表す画像の一点であって、点１８１に対応する左表示画像信号が表す画像の一点を表す。点１８１と点１８２との間の距離が視差量ｄ１である。
点１８３は、左眼１７５から点１８１を結ぶ線分と右眼１７６から点１８２を結ぶ線分との交点である。ｍは、中点１７７から交点１８３までの距離を表す。視聴者は、交点１８３の位置（距離ｍ）に点１８１又は点１８２における画像を知覚する。
ここで、左眼１７５から交点１８３を結ぶ線分と右眼１７６から交点１８３を結ぶ線分がなす輻輳角β１は、距離ｍ及び両眼幅Ｔと式（２）で表される関係がある。
【００４０】
【数２】
【００４１】
距離ｍは、視聴者から、視聴者が知覚する点１８３の位置までの距離を示し、その値は、視差量と視聴距離に対して一意に決まる。
例えば、ここで、視差量ｄ１と交点１８３から点１７４までの距離Ｌ−ｍとの比が、両眼幅Ｔと距離ｍとの比と等しいことから、距離ｍは、視聴距離Ｌ、両眼幅Ｔ及び視差量ｄ１との間において式（３）で表される関係がある。
【００４２】
【数３】
【００４３】
式（３）より、画像がディスプレイ１７３よりも手前に知覚される場合の視差量の値と、視聴者から画像が知覚される位置までの距離の値であるデプス値とは、相互に変換可能である。
また、式（３）を式（２）に代入すると、輻輳角β１は、視聴距離Ｌ、両眼幅Ｔ及び視差量ｄ１との間において式（４）で表される関係がある。
【００４４】
【数４】
【００４５】
なお、距離ｍに対応する輻輳角β１から視聴距離Ｌに対応する輻輳角αを引いた差分値β１−αを視差角γ１と呼ぶ。視差角γ１がゼロより小さいときは、画像がディスプレイ１７３よりも遠方に知覚される。視差角γ１がゼロのときは、画像がディスプレイ上に知覚される。視差角γ１がゼロより大きいときは、画像がディスプレイ１７３よりも近傍に知覚される。
従って、図３に示す例は、距離ｍの値が視聴距離Ｌの値よりも小さい場合、輻輳角β１が輻輳角αよりも大きくなり（視差角γ１がゼロより大きい）、視聴者はディスプレイより手前に画像を知覚することを表す。
【００４６】
図４は、視聴者とディスプレイの位置関係のその他の例を表す概念図である。
図４において、左右方向、上下方向が示す方向、ディスプレイ１７３、点１７４、左眼１７５、右眼１７６、及び中点１７７の位置関係は図２と同様である。
点１７４の左に示されている点１９１は、左表示画像信号が表す画像の一点を表す。
点１７４の右側に示されている点１９２は、右表示画像信号が表す画像の一点であって、点１９１に対応する左表示画像信号が表す画像の一点を表す。点１９１と点１９２との間の距離が視差量ｄ２である。
点１９３は、左眼１７５から点１９１を結ぶ線分と右眼１７６から点１９２を結ぶ線分との交点である。ｎは、点１７４から交点１９３までの距離を表す。視聴者は、交点１９３の位置（距離（Ｌ＋ｎ））に点１９１又は点１９２における画像を知覚する。
ここで、左眼１７５から交点１９３を結ぶ線分と右眼１７６から交点１９３を結ぶ線分がなす輻輳角β２は、距離Ｌ＋ｎ及び両眼間距離Ｔと式（５）で表される関係がある。
【００４７】
【数５】
【００４８】
距離Ｌ＋ｎは、視聴者から画像が知覚される位置までの距離を示す。その値は、視差量と視聴距離に対して一意に決まる。
ここで、視差量ｄ２と交点１９３から点１７４までの距離ｎとの比が、両眼間距離Ｔと距離Ｌ＋ｎとの比と等しいことから、距離Ｌ＋ｎは、視聴距離Ｌ、両眼幅Ｔ及び視差量ｄ２との間において式（６）で表される関係がある。
【００４９】
【数６】
【００５０】
式（６）より、画像がディスプレイ１７３よりも奥に知覚される場合の視差量と、視聴者から画像が知覚される位置までの距離とは、相互に変換可能である。
また、式（６）を式（５）に代入すると、輻輳角β２は、視聴距離Ｌ、両眼幅Ｔ及び視差量ｄ２との間において式（７）で表される関係がある。
【００５１】
【数７】
【００５２】
なお、距離ｎに対応する輻輳角β２から視聴距離Ｌに対応する輻輳角αを引いた差分値β２−αを視差角γ２と呼ぶ。
従って、図４に示す例は、距離Ｌ＋ｎの値が視聴距離Ｌの値よりも大きい場合、輻輳角β２が輻輳角αよりも小さくなり（視差角γ２がゼロより小さい）、視聴者はディスプレイより奥に画像を知覚することを表す。
【００５３】
上述の実施形態において、案内画像生成部１０５は、例えば、式（３）が表す距離ｍと視差量ｄ１の関係及び、式（６）が示す距離ｎ＋Ｌと視差量ｄ２の関係を用いて、案内画像信号を生成してもよい。そのために、案内画像データ記憶部１０５２には、両眼幅Ｔ及び視聴距離Ｌに設置されたディスプレイの画素間間隔を上述の既定の変数として予め記憶させておいてもよい。
【００５４】
次に、本実施形態に係る立体画像処理について説明する。
図５は、本実施形態に係る立体画像処理を表すフローチャートである。
（ステップＳ１０１）画像信号入力部１０１は、外部から立体画像信号を入力される。
画像信号入力部１０１は、入力された立体画像信号を物体情報抽出部１０３及び表示画像生成部１０６に出力する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）データ入力部１０２は、外部から関連データを入力される。データ入力部１０２は、入力された関連データを物体情報抽出部１０３に出力する。その後、ステップＳ１０３に進む。
【００５５】
（ステップＳ１０３）物体情報抽出部１０３は、画像信号入力部１０１から立体画像信号を入力され、データ入力部１０２から関連データを入力される。物体情報抽出部１０３は、入力された立体画像信号から、関連データを算出して物体毎の画像を表す物体情報を抽出する。入力された立体画像信号がステレオ画像信号である場合には、左右画像信号が各々表す画像の視差量を求め、求めた視差量をデプス値に変換し、距離画像信号を生成する。
物体情報抽出部１０３は、入力された立体画像信号が表す距離画像信号と抽出した物体情報を案内画像生成部１０５及び表示画像生成部１０６に出力する。その後、ステップＳ１０４に進む。
【００５６】
（ステップＳ１０４）案内画像生成部１０５は、物体情報抽出部１０３から距離画像信号と物体情報が入力される。
案内画像生成部１０５は、その内部に設けられた案内画像データ記憶部１０５２（図３６）から案内画像パターン信号を読み出す。案内画像生成部１０５は、読み出した案内画像パターン信号の左右方向及び上下方向の幅を、入力された物体情報が表す物体が占める領域の幅と同一又はこれよりも大きくなるように変更し、リサイズ案内画像信号を生成する。
案内画像生成部１０５は、入力された物体情報が表す物体毎の平面座標において、その平面座標に対する距離画像信号に含まれるデプス値が表す距離に知覚されるように、リサイズ案内画像信号を割り当てて案内画像信号を生成する。
案内画像生成部１０５は、各物体に対する案内画像の視差量に対応する一定のデプス値を表す案内距離画像信号を生成する。案内画像生成部１０５は、生成した案内画像信号と案内距離画像信号を表示画像生成部１０６に出力する。その後、ステップＳ１０５に進む。
【００５７】
（ステップＳ１０５）表示画像生成部１０６は、画像信号入力部１０１から立体画像信号が入力され、物体情報抽出部１０３から距離画像信号と物体情報が入力される。表示画像生成部１０６は、案内画像生成部１０５から案内画像信号と案内距離画像信号が入力される。
表示画像生成部１０６は、距離画像信号と案内距離画像信号を参照して、よりデプス値の小さいほうが優先されるように立体画像信号と案内画像信号を座標毎に合成して表示画像信号を生成する。
表示画像生成部１０６は、生成した表示画像信号を画像表示部１０７に出力する。その後、ステップＳ１０６に進む。
（ステップＳ１０６）画像表示部１０７は、表示画像生成部１０６から入力された表示画像信号が表す画像をディスプレイに表示する。その後、処理を終了する。
【００５８】
次に立体画像処理装置１に入力された立体画像の一例について説明する。
図６は、立体画像の一例を表す図である。
図６上方の矩形の枠で囲まれた部分は、左画像Ｉ１０Ｌを表す。図６下方の矩形の枠で囲まれた部分は、右画像Ｉ１０Ｒを表す。左画像Ｉ１０Ｌ、右画像Ｉ１０Ｒの白抜きの部分は物体を表す画像を示す。左画像Ｉ１０Ｌ、右画像Ｉ１０Ｒの塗りつぶし部分は、背景を表す画像を示す。
左画像Ｉ１０Ｌの中央に示された破線の円で囲まれる部分Ｎ１０Ｌは、物体のデプス値のうち最も小さい、即ち視聴者からの距離が最も短い距離（最小距離）を与える点（最近景）を表す。左画像Ｉ１０Ｌの矩形の枠の左辺と最小距離の部分Ｎ１０Ｌとの間の距離ｄｎＬ１は、部分Ｎ１０Ｌの左右方向の座標を表す。左画像Ｉ１０Ｌにおいて、左画像Ｉ１０Ｌの左下に示された破線の円で囲まれる部分Ｆ１０Ｌは、物体のデプス値のうち最も大きい、即ち視聴者からの距離が最も長い距離（最大距離）を与える点（最遠景）を表す。左画像Ｉ１０Ｌの矩形の枠の左辺と部分Ｆ１０Ｌとの間の距離ｄｆＬ１は、部分Ｆ１０Ｌの左右方向の座標を表す。
右画像Ｉ１０Ｒの中央からやや左に示された破線の円で囲まれる部分Ｎ１０Ｒは、最小距離を与える点を表す。右画像Ｉ１０Ｒの左辺と部分Ｎ１０Ｒとの間の距離ｄｎＲ１は、部分Ｎ１０Ｒの左右方向の座標を表す。右画像Ｉ１０Ｒにおいて、右画像Ｉ１０Ｒの左下に示された破線の円で囲まれる部分Ｆ１０Ｒは、最大距離を与える部分を表す。右画像Ｉ１０Ｒの矩形の枠の左辺と部分Ｆ１０Ｒとの間の距離ｄｆＲ１は、Ｆ１０Ｒの左右方向の座標を表す。
従って、図６は、最大距離を与える部分の視差量がｄｆＲ１−ｄｆＬ１であることを示し、また、最小距離を与える部分の視差量がｄｎＲ１−ｄｎＬ１であることを示す。
案内画像生成部１０５は、物体に対応する案内画像信号に一定の視差量として最大距離又は最小距離に対応する視差量を与えて案内画像信号を生成してもよい。
【００５９】
次に立体画像処理装置１に入力された立体画像のその他の例について説明する。
図７は、立体画像のその他の例を表す図である。
図７の左側において、矩形の枠で囲まれた部分は、左画像Ｐ８Ｌを表す。図７の右側において、矩形の枠で囲まれた部分は、右画像Ｐ８Ｒを表す。
左画像Ｐ８Ｌの左側に示された画像は、物体Ｏ１を表す画像である。左画像Ｐ８Ｌの右下に示された画像は、物体Ｏ２を表す画像である。右画像Ｐ８Ｒの左側に示された画像は、物体Ｏ１を表す画像である。右画像Ｐ８Ｒの右下に示された画像は、物体Ｏ２を表す画像である。右画像Ｐ８Ｒにおいて物体Ｏ１及びＯ２は、ともに左画像Ｐ８Ｌよりも右側にずれた位置に表示されている。但し、物体Ｏ１のほうが物体Ｏ２よりもずれ（視差量）が大きい。
【００６０】
図８は、図７の物体間の位置関係の一例を表す表面図である。
図８において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥深・手前方向を表す。
図８は、図７に示される物体Ｏ１が物体Ｏ２よりも視聴者からの距離が長い位置（奥）に設置されていることを表す。従って、図８は、物体Ｏ２よりも視差量が大きい物体Ｏ１の画像が、距離がより長い位置に表されることを表す。
【００６１】
次に立体画像処理装置１が表示する表示画像の一例について説明する。
図９は、表示画像の一例を表す図である。
図９の左側において、矩形の枠で囲まれた部分は、左表示画像Ｐ９Ｌを表す。図９の右側において、矩形の枠で囲まれた部分は、右表示画像Ｐ９Ｒを表す。左表示画像Ｐ９Ｌ、右表示画像Ｐ９Ｒ各々において、物体Ｏ１を囲む格子状の画像は、案内画像Ｇ９１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ９１が重複する部分については、より距離が短い（手前）物体Ｏ１の画像が表されている。物体Ｏ２を囲む格子状の画像は、案内画像Ｇ９２を表す。ここで、物体Ｏ２の画像と案内画像Ｇ９２が重複する部分については、より距離が短い物体Ｏ２の画像が表されている。
【００６２】
図１０は、案内画像と物体の位置関係の一例を表す表面図である。
図１０において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥深・手前方向を表す。図１０は、案内画像Ｇ９１が、物体Ｏ１の最大距離に知覚されることを表す。案内画像Ｇ９２が、物体Ｏ２の最大距離に知覚されることを表す。
従って、図９、１０は、案内画像生成部１０５が、各物体に対応する案内画像信号に一定の視差量として最大距離に対応する視差量を与えて案内画像信号を生成することを表す。また、表示画像生成部１０６は、より距離が短いほうが優先されるように立体画像信号と案内画像信号を座標毎に合成して表示画像信号を生成することを表す。これにより、視聴者は案内画像Ｇ９１と物体Ｏ１を表す画像との対応関係や、案内画像Ｇ９１が表す距離と物体Ｏ１が表す距離との関係を明確に把握することができる。案内画像Ｇ９２と物体Ｏ２を表す画像についても同様である。
【００６３】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図１１は、表示画像のその他の例を表す図である。
図１１の左側において、枠で囲まれた画像は、左表示画像Ｉ１１Ｌを表す。図１１の右側において、枠で囲まれた画像は、右表示画像Ｉ１１Ｒを表す。左表示画像Ｉ１１Ｌ、右表示画像Ｉ１１Ｒ各々において、物体Ｏ１を囲む矩形の塗りつぶされた画像は、案内画像Ｇ１１１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ１１１が重複する部分については、物体Ｏ１の画像が表されている。物体Ｏ２を囲む矩形の塗りつぶされた画像は、案内画像Ｇ１１２を表す。ここで、物体Ｏ２の画像と案内画像Ｇ１１２が重複する部分については、物体Ｏ２の画像が表されている。
図１１は、案内画像生成部１０５が、案内画像データ記憶部１０５２から読み出した案内画像パターン信号が、図９とは異なり、矩形の塗りつぶしの案内画像パターンを用いることを示す。案内画像Ｇ１１１、Ｇ１１２は、内部が塗りつぶされているため、それぞれ物体Ｏ１、Ｏ２との境界が連続した線で表される。そのため、視聴者は、物体Ｏ１、Ｏ２と案内画像Ｇ１１１、Ｇ１１２の間の相対的な距離感を容易に把握することができる。
また、上述では案内画像パターンが、矩形の塗りつぶし画像である場合について説明した。このような画像では、矩形の内部の領域の輝度値に変化がないため、視聴者が左右の画像間の視差を知覚できず、ひいては距離を知覚できないことがある。そのため、矩形の塗りつぶし画像の代わりに、模様や、写真、などの輝度値が変化するテクスチャ画像を案内画像パターンとして用いてもよい。このようにして、視聴者が、案内画像の視差を容易に知覚できるようにして距離をより明確に把握しやすくなる。
【００６４】
図１２は、案内画像と物体の位置関係のその他の例を表す表面図である。
図１２において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。図１２は、案内画像Ｇ１１１が、物体Ｏ１の最大距離に知覚されることを表す。案内画像Ｇ１１２が、物体Ｏ２の最大距離に知覚されることを表す。
【００６５】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図１３は、表示画像のその他の例を表す図である。
図１３の左側において、矩形の枠で囲まれた部分は、左表示画像Ｉ１２Ｌを表す。図１１の右側において、矩形の枠で囲まれた部分は、右表示画像Ｉ１２Ｒを表す。左表示画像Ｉ１２Ｌ、右表示画像Ｉ１２Ｒ各々において、物体Ｏ１を囲む物体Ｏ１と相似形の画像は、案内画像Ｇ１２１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ１２１が重複する部分については、物体Ｏ１の画像が表されている。物体Ｏ２を囲む物体Ｏ２と相似形の画像は、案内画像Ｇ１２２を表す。ここで、物体Ｏ２の画像と案内画像Ｇ１２２が重複する部分については、物体Ｏ２の画像が表されている。
【００６６】
図１３は、案内画像生成部１０５が、物体情報抽出部１０３から入力された物体情報が表す物体Ｏ１、Ｏ２を占める領域を抽出して、各々案内画像パターン信号として生成することを示す。案内画像生成部１０５は、生成した案内画像パターン信号に対して各物体が占める領域を予め設定された拡大率情報（例えば、１．１倍）で拡大してリサイズ案内画像信号を生成する。案内画像生成部１０５は、生成した案内画像パターン信号に対して各物体が占める領域の左端と右端のうち少なくとも一方、及び上端と下端のうち少なくとも一方について、予め定めた径だけ拡大してリサイズ案内画像信号を生成してもよい。
案内画像Ｇ１２１、Ｇ１２２の形状は、それぞれ物体Ｏ１、Ｏ２の形状と相似形である。そのため、物体Ｏ１、Ｏ２と案内画像Ｇ１２１、Ｇ１２２の間の対応関係を容易に把握することができる。また、案内画像Ｇ１２１、Ｇ１２２は、水平方向及び垂直方向の幅が等しい矩形の案内画像Ｇ１１１、Ｇ１２２よりも占める面積が少なくて済む。
【００６７】
図１４は、案内画像と物体の位置関係のその他の例を表す表面図である。
図１４において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。図１４は、案内画像Ｇ１２１が、物体Ｏ１の最大距離に知覚されることを表す。案内画像Ｇ１２２が、物体Ｏ２の最大距離に知覚されることを表す。
【００６８】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図１５は、表示画像のその他の例を表す図である。
図１５の左側において、枠で囲まれた画像は、左表示画像Ｉ１４Ｌを表す。図１１の右側において、枠で囲まれた画像は、右表示画像Ｉ１４Ｒを表す。左表示画像Ｉ１４Ｌ、右表示画像Ｉ１４Ｒ各々において、物体Ｏ１を囲む格子状の画像は、案内画像Ｇ１４１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ１４１が重複する部分については、案内画像Ｇ１４１が表されている。但し、案内画像Ｇ１４１の画像において中空の部分については、物体Ｏ１の画像が表されている。
物体Ｏ２を囲む格子状の画像は、案内画像Ｇ１４２を表す。ここで、物体Ｏ２の画像と案内画像Ｇ１４２が重複する部分については、案内画像Ｇ１４２が表されている。但し、案内画像Ｇ１４２の画像において中空の部分については、物体Ｏ２の画像が表されている。
図１５は、案内画像生成部１０５が、案内画像データ記憶部１０５２から読み出した案内画像パターン信号が、図９と同様に、格子状の案内画像パターンを用いることを示す。
【００６９】
図１６は、案内画像と物体の位置関係のその他の例を表す表面図である。
図１６において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。図１６は、案内画像Ｇ１４１が、物体Ｏ１の最小距離に知覚されることを表す。案内画像Ｇ１４２が、物体Ｏ２の最小距離に知覚されることを表す。
従って、図１５、１６は、案内画像生成部１０５が、各物体に対応する案内画像信号に一定の視差量として最小距離に対応する視差量を与えて案内画像信号を生成することを表す。
また、案内画像生成部１０５は、図９と同様に格子状の案内画像パターンを用いて物体全体を覆わないような案内画像を表す案内画像信号を生成する。さらに、表示画像生成部１０６は、より距離が短いほうが優先されるように立体画像信号と案内画像信号を座標毎に合成して表示画像信号を生成することを表す。
これにより、視聴者は案内画像Ｇ１４１と物体Ｏ１を表す画像との対応関係や、案内画像Ｇ１４１が表す距離と物体Ｏ１が表す距離との関係を明確に把握することができる。案内画像Ｇ１４２と物体Ｏ２を表す画像についても同様である。
【００７０】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図１７は、表示画像のその他の例を表す図である。
図１７の左側において、枠で囲まれた画像は、左表示画像Ｉ１５Ｌを表す。図１７の右側において、枠で囲まれた画像は、右表示画像Ｉ１５Ｒを表す。左表示画像Ｉ１５Ｌ、右表示画像Ｉ１５Ｒ各々において、物体Ｏ１を囲む格子状の画像は、案内画像Ｇ１５１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ１５１が重複する部分のうち、物体Ｏ１の前面と、物体Ｏ１の側面のうち手前側の部分に物体Ｏ１の画像が表され、その他の部分に案内画像Ｇ１５１が表されている。物体Ｏ２を囲む格子状の画像は、案内画像Ｇ１５２を表す。ここで、物体Ｏ２の画像と案内画像Ｇ１５２が重複する部分のうち、物体Ｏ２の前面と、物体Ｏ２の側面のうち手前側の部分に物体Ｏ２の画像が表され、その他の部分に案内画像Ｇ１５２が表されている。
【００７１】
図１８は、案内画像と物体の位置関係のその他の例を表す表面図である。
図１８において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。図１８は、案内画像Ｇ１５１が、物体Ｏ１の最小距離に対応する距離と最大距離に対応する距離の平均である中心距離（中央値）に知覚されることを表す。案内画像Ｇ１５２が、物体Ｏ２の中心距離に知覚されることを表す。
従って、図１８、１９は、案内画像生成部１０５が、各物体に対応する案内画像信号に一定の視差量として中心距離に対応する視差量を与えて案内画像信号を生成することを表す。また、案内画像生成部１０５は、図９と同様に格子状の案内画像パターンを用いて物体全体を覆わない案内画像を表す案内画像信号を生成する。
さらに、表示画像生成部１０６は、より距離が短いほうが優先されるように立体画像信号と案内画像信号を座標毎に合成して表示画像信号を生成することを表す。これにより、視聴者は案内画像Ｇ１５１と物体Ｏ１を表す画像との対応関係や、案内画像Ｇ１５１が表す距離と物体Ｏ１が表す距離との関係を明確に把握することができる。案内画像Ｇ１５２と物体Ｏ２を表す画像についても同様である。
なお、案内画像生成部１０５は、中心距離の代わりに各物体の前面までの距離の平均である平均距離（平均値）を用いてもよい。
【００７２】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図１９は、表示画像のその他の例を表す図である。
図１９の左側において、枠で囲まれた画像は、左表示画像Ｉ２４Ｌを表す。図１９の右側において、枠で囲まれた画像は、右表示画像Ｉ２４Ｒを表す。左表示画像Ｉ２４Ｌ、右表示画像Ｉ２４Ｒ各々において、物体Ｏ１を囲む格子状の画像は、案内画像Ｇ２４１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ２４１が重複する部分には、案内画像Ｇ２４１が表されている。
但し、案内画像Ｇ２４１の画像において中空の部分については、物体Ｏ１の画像が表されている。物体Ｏ３の前面中心部には、他の物体Ｏ３の前面部分よりも凸な部分が示されている。物体Ｏ３を囲む格子状の画像は、案内画像Ｇ２４２を表す。ここで、物体Ｏ３の画像と案内画像Ｇ２４２が重複する部分のうち、物体Ｏ３の前面部と、物体Ｏ３の側面に案内画像Ｇ１５２が表され、物体Ｏ３の凸部に物体Ｏ３の画像が表されている。
【００７３】
図２０は、案内画像と物体の位置関係のその他の例を表す表面図である。
図２０において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。図２０は、案内画像Ｇ２４１が、物体Ｏ１の前面に対応する距離に知覚されることを表す。物体Ｏ１の前面は、物体Ｏ１表面までの距離のうち最も頻度が高い最頻距離であることを示す。また、図２０は、物体Ｏ３の凸部を除いた前面部に案内画像Ｇ２４２が知覚されることも表す。物体Ｏ３の凸部を除いた前面部は、物体Ｏ３の凸部を含んだ表面までの距離のうち最も頻度が高い最頻距離であることを示す。
従って、案内画像生成部１０５が、各物体に対応する案内画像信号に一定の視差量として最頻距離（最頻値）に対応する視差量を与えて案内画像信号を生成することを、図１９、２０は表す。
【００７４】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図２１は、表示画像のその他の例を表す図である。
図２１の左側において、枠で囲まれた画像は、左表示画像Ｉ１６Ｌを表す。図２１の右側において、枠で囲まれた画像は、右表示画像Ｉ１６Ｒを表す。左表示画像Ｉ１６Ｌ、右表示画像Ｉ１６Ｒ各々において、物体Ｏ１を囲む格子状の画像は、案内画像Ｇ１６１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ１６１が重複する部分には、案内画像Ｇ１６１が表されている。但し、案内画像Ｇ１６１の画像において中空の部分については、物体Ｏ１の画像が表されている。物体Ｏ２を囲む格子状の画像は、案内画像Ｇ１６２を表す。ここで、物体Ｏ２の画像と案内画像Ｇ１６２が重複する部分のうち、物体Ｏ２の周縁部に案内画像Ｇ１６２が表され、物体Ｏ２の中央部に物体Ｏ２の画像が表されている。
【００７５】
図２２は、案内画像と物体の位置関係のその他の例を表す表面図である。
図２２において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。図２２において、左右方向に延びる線分Ｄ０は、視差角がゼロ、つまり視聴者からディスプレイまでの距離（視聴距離）であることを表す線分である。
図２２は、案内画像Ｇ１６１、Ｇ１６２が、ともに視聴距離に知覚されることを表す。図２２は、物体Ｏ１全体の距離が視聴距離よりも長く、物体Ｏ２の中心部の距離が視聴距離よりも短く、物体Ｏ２の周縁部の距離が視聴距離よりも長いことを表す。
【００７６】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図２３は、表示画像のその他の例を表す図である。
図２３の左側において、枠で囲まれた画像は、左表示画像Ｉ２０Ｌを表す。図２３の右側において、枠で囲まれた画像は、右表示画像Ｉ２０Ｒを表す。左表示画像Ｉ２０Ｌ、右表示画像Ｉ２０Ｒ各々において、物体Ｏ１を囲む格子状の画像は、案内画像Ｇ２０１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ２０１が重複する部分には、物体Ｏ１の画像が表されている。物体Ｏ２を囲む格子状の画像は、案内画像Ｇ２０２を表す。ここで、物体Ｏ２の画像と案内画像Ｇ２０２が重複する部分には、物体Ｏ２の画像が表されている。
【００７７】
図２４は、案内画像と物体の位置関係のその他の例を表す表面図である。
図２４において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。図２４において、左右方向に延びる線分Ｄ０は、視聴者からの距離が視聴距離であることを表す線分である。
図２４は、案内画像Ｇ２０１、Ｇ２０２が、ともに物体Ｏ１及び物体Ｏ２よりも視聴者からの距離が長い距離（例えば、視聴距離より奥で、かつ視差角１°に対応する距離）に知覚されることを表す。
【００７８】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図２５は、表示画像のその他の例を表す図である。
図２５の左側において、枠で囲まれた画像は、左表示画像Ｉ２１Ｌを表す。図２５の右側において、枠で囲まれた画像は、右表示画像Ｉ２１Ｒを表す。左表示画像Ｉ２１Ｌ、右表示画像Ｉ２１Ｒ各々において、物体Ｏ１を囲む格子状の画像は、案内画像Ｇ２１１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ２１１が重複する部分には、案内画像Ｇ２１１が表されている。物体Ｏ２を囲む格子状の画像は、案内画像Ｇ２１２を表す。ここで、物体Ｏ２の画像と案内画像Ｇ２１２が重複する部分には、案内画像Ｇ２１２が表されている。
【００７９】
図２６は、案内画像と物体の位置関係のその他の例を表す表面図である。
図２６において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。図２６において、左右方向に延びる線分Ｄ０は、視聴者からの距離が視聴距離であることを表す線分である。
図２６は、案内画像Ｇ２０１、Ｇ２０２が、ともに物体Ｏ１及び物体Ｏ２よりも視聴者からの距離が短い距離（例えば、視聴距離より手前で、かつ視差角１°に対応する距離）に知覚されることを表す。
【００８０】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図２７は、表示画像のその他の例を表す図である。
図２７の左側において、枠で囲まれた画像は、左表示画像Ｉ２３Ｌを表す。図２７の右側において、枠で囲まれた画像は、右表示画像Ｉ２３Ｒを表す。左表示画像Ｉ２３Ｌ、右表示画像Ｉ２３Ｒ各々において、物体Ｏ１及び物体Ｏ２を囲む格子状の画像は、案内画像Ｇ２３１を表す。このように、案内画像生成部１０５は、２以上の物体もしくは全ての物体を表す画像の領域を占める案内画像を生成してもよい。
例えば、案内画像生成部１０５は、物体情報と距離画像信号を参照して、ある物体の距離から予め設定された距離に対応する物体が属する物体のグループを表す物体グループ情報を生成する。その他、操作入力部１０４は、操作入力により物体グループ毎の物体を表す情報を含む案内画像設定情報を生成するようにしてもよい。案内画像生成部１０５は、操作入力部１０４から入力された案内画像設定情報が表す物体グループ情報を抽出する。そして、案内画像生成部１０５は、物体グループ毎の物体を表す画像の領域を占める案内画像を生成する。
これにより、複数の物体を表す画像相互間、当該物体を表す画像と案内画像との間で、利用者は距離感を比較することができ、より容易に各物体の距離感を把握することができる。
【００８１】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図２８は、表示画像のその他の例を表す図である。
図２８の左側において、枠で囲まれた画像は、左表示画像Ｉ２５Ｌを表す。図２８の右側において、枠で囲まれた画像は、右表示画像Ｉ２５Ｒを表す。左表示画像Ｉ２５Ｌ、右表示画像Ｉ２５Ｒ各々において、物体Ｏ１を囲む２つの格子状の画像のうち破線で示す方が案内画像Ｇ２５１を表し、実線で示す方が案内画像Ｇ２５２を表す。物体Ｏ２を囲む２つの格子状の画像のうち、破線で示す方が案内画像Ｇ２５３を表し、実線で示す方が案内画像Ｇ２５４を表す。図２８は、各物体について複数の案内画像を表す。但し、互いの表示位置が重複しないように、案内画像生成部１０５は、例えば、複数の案内画像を予め定めた水平方向及び垂直方向のずれ量でずれた位置に表示する。これにより、視聴者が各案内画像を容易に区別できるようになる。
また、案内画像生成部１０５は、複数個の案内画像を表示する場合、各案内画像をそれぞれ異なる色彩で表示しても構わない。これにより、視聴者は各案内画像の判別が容易となる。
【００８２】
図２９は、案内画像と物体の位置関係のその他の例を表す表面図である。
図２９において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。
図２９は、案内画像Ｇ２５１が物体Ｏ１の最小距離に知覚され、案内画像Ｇ２５２が物体Ｏ１の最大距離に知覚されることを表す。案内画像Ｇ２５３が物体Ｏ２の最小距離に知覚され、案内画像Ｇ２５４が物体Ｏ２の最大距離に知覚されることを表す。
これにより、視聴者は、複数の案内画像を区別して把握でき、各案内画像と各物体との距離をより精密に比較することができ、物体毎の距離感を容易に把握することができる。
【００８３】
次に、立体画像処理装置１が表示する表示画像のその他の例について説明する。
図３０は、表示画像のその他の例を表す図である。
図３０の左側において、矩形の枠で囲まれた部分は、左表示画像Ｉ１３Ｌを表す。図３０の右側において、矩形の枠で囲まれた部分は、右表示画像Ｉ１３Ｒを表す。左表示画像Ｉ１３Ｌ、右表示画像Ｉ１３Ｒ各々において、左側の濃い塗りつぶし部分は、案内画像Ｇ１２１を表す。右側の濃い塗りつぶし部分は、案内画像Ｇ１２２を表す。
即ち、表示画像生成部１０６は、物体Ｏ１、Ｏ２を表す画像よりも案内画像Ｇ１２１、Ｇ１２２が優先されるように立体画像信号と案内画像信号を座標毎に合成して表示画像信号を生成することを表す。これにより、表示画像生成部１０６は、物体Ｏ１、Ｏ２を表す画像を非表示として、案内画像Ｇ１２１、Ｇ１２２が表す距離を視聴者に把握させることができる。そのため、視聴者は、各物体の最大距離又は最小距離について視差量の調整を容易に行うことができる。
なお、表示画像生成部１０６は、立体画像信号において、ある物体が占める領域の輝度値をゼロとして、案内画像信号と合成して表示画像信号を生成してもよい。これにより、その物体を非表示としてもよい。
【００８４】
次に、画像信号入力部１０１の構成例について説明する。
以下に説明する構成例は、画像信号入力部１０１が立体画像信号としてステレオ画像信号を入力し、ステレオ画像信号に含まれる左画像信号と右画像信号を多重化した形式を判断する構成を表す。
左画像信号と右画像信号を多重化する形式は、主に（ａ）サイドバイサイド形式、（ｂ）トップアンドボトム形式、（ｃ）フレームシーケンシャル形式の３つがある。
【００８５】
図３１は、サイドバイサイド形式で多重化した立体画像信号を表す概念図である。
図３１は、あるフレーム時刻における立体画像信号Ｉ１が表す画像を表す。立体画像信号Ｉ１の左半分には、左画像信号Ｉ１Ｌが配置され、立体画像信号Ｉ１の右半分には、右画像信号Ｉ１Ｒが配置されている。
図３２は、トップアンドボトム形式で多重化した立体画像信号を表す概念図である。
図３２は、あるフレーム時刻における立体画像信号Ｉ２が表す画像を表す。立体画像信号Ｉ２の上半分には、左画像信号Ｉ２Ｌが配置され、立体画像信号Ｉ２の下半分には、右画像信号Ｉ２Ｒが配置されている。
図３３は、フレームシーケンシャル形式で多重化した立体画像信号を表す概念図である。図３３は、予め定めた時間間隔（フレーム時間間隔の半分）毎に左画像信号Ｉ３１Ｌ、右画像信号Ｉ３１Ｒ、左画像信号Ｉ３２Ｌ、右画像信号Ｉ３２Ｒ等と、各フレームの左画像信号と右画像信号を交互に順列されている。
【００８６】
図３４は、本実施形態に係る画像信号入力部１０１の構成を表す概略図である。
画像信号入力部１０１は、データ形式記憶部１０１１、画像形式判断部１０１２、画像形式変換部１０１３、画像信号出力部１０１４、及び画像形式出力部１０１５を含んで構成される。
データ形式記憶部１０１１には、立体画像信号を多重化する多重化形式を表す形式情報を予め記憶させておく。
画像形式判断部１０１２は、データ形式記憶部１０１１に形式情報が記憶されているか否か判断する。記憶されていると判断されたとき、画像形式判断部１０１２は、データ形式記憶部１０１１から形式情報を読み出し、外部から入力された立体画像信号が多重化された多重化方式が、読み出された形式情報が表す多重化形式と異なるか否か判断する。異なると判断された場合、画像形式判断部１０１２は、立体画像信号の多重化形式を読み出した形式情報が表す多重化形式に変換することを表す変換要求信号を画像形式変換部１０１３に出力する。また、画像形式判断部１０１２は、入力された立体画像信号を画像形式変換部１０１３に出力する。
【００８７】
画像形式変換部１０１３は、画像形式判断部１０１２から入力された変換要求信号が表す多重化形式に入力された立体画像信号の多重化形式を変換する。画像形式変換部１０１３は、多重化形式を変換した場合には、多重化形式が変換された立体画像信号を画像信号出力部１０１４に出力する。画像形式変換部１０１３は、多重化形式を変換しなかった場合には、入力された立体画像信号を画像信号出力部１０１４に出力する。
画像形式変換部１０１３は、変換した多重化形式を表す形式情報を画像形式出力部１０１５に出力する。
【００８８】
画像信号出力部１０１４は、画像形式変換部１０１３から入力された立体画像信号を物体情報抽出部１０３及び表示画像生成部１０６に出力する。
画像形式出力部１０１５は、画像形式変換部１０１３から入力された形式情報を案内画像生成部１０５及び表示画像生成部１０６に出力する。従って、案内画像生成部１０５は、画像形式出力部１０１５から形式情報が入力されたとき、その形式情報が表す形式で案内画像信号を多重化する。表示画像生成部１０６は、画像形式出力部１０１５から形式情報が入力されたとき、その形式情報が表す形式で表示画像信号を多重化する。
【００８９】
図３５は、本実施形態に係る画像信号入力部１０１が行う画像信号入力処理を表すフローチャートである。
（ステップＳ２０１）画像形式判断部１０１２は、データ形式記憶部１０１１に形式情報が記憶されているか否か判断する。記憶されていると判断されたとき（ステップＳ２０１ Ｙ）、ステップＳ２０２に進む。記憶されていないと判断されたとき（ステップＳ２０１ Ｎ）、ステップＳ２０４に進む。
【００９０】
（ステップＳ２０２）画像形式判断部１０１２は、画像形式判断部１０１２は、入力された立体画像信号を画像形式変換部１０１３に出力する。画像形式判断部１０１２は、データ形式記憶部１０１１から読み出した形式情報が表す多重化形式と、外部から入力された立体画像信号が多重化された多重化方式が異なるか否か判断する。異なると判断された場合（ステップＳ２０２ Ｙ）、画像形式判断部１０１２は読み出した形式情報が表す多重化形式に変換することを表す変換要求信号を画像形式変換部１０１３に出力し、ステップＳ２０３に進む。異なっていないと判断された場合（ステップＳ２０２ Ｎ）、画像形式変換部１０１３は、画像形式判断部１０１２から入力された立体画像信号を画像信号出力部１０１４に出力し、ステップＳ２０４に進む。
【００９１】
（ステップＳ２０３）画像形式変換部１０１３は、画像形式判断部１０１２から入力された変換要求信号が表す多重化形式に入力された立体画像信号の多重化形式を変換する。画像形式変換部１０１３は、多重化形式を変換した場合には、多重化形式が変換された立体画像信号を画像信号出力部１０１４に出力する。その後、ステップＳ２０４に進む。
（ステップＳ２０４）画像信号出力部１０１４は、画像形式変換部１０１３から入力された立体画像信号を物体情報抽出部１０３及び表示画像生成部１０６に出力する。
画像形式出力部１０１５は、画像形式変換部１０１３から入力された形式情報を案内画像生成部１０５及び表示画像生成部１０６に出力する。その後、処理を終了する。
【００９２】
次に、案内画像生成部１０５の構成例について説明する。
以下に説明する構成例は、操作入力部１０４が利用者による操作入力によって案内画像設定情報を設定し、案内画像生成部１０５が設定された案内画像設定情報に基づいて案内画像信号を生成する構成である。
図３６は、本実施形態に係る案内画像生成部１０５の構成を表す概略図である。
案内画像生成部１０５は、案内画像設定情報決定部１０５１、案内画像データ記憶部１０５２、案内画像パターン生成部１０５３、サイズ調整部１０５４、視差付与部１０５５、画像形式入力部１０５６、及び多重化部１０５７を含んで構成される。
案内画像設定情報決定部１０５１は、操作入力部１０４から入力された案内画像設定情報を案内画像パターン生成部１０５２、及び視差付与部１０５５に出力する。また、案内画像設定情報決定部１０５１は、入力された案内画像設定情報から対象物体情報が表す物体に対する透明度情報を抽出し、抽出した透明度情報を表示画像生成部１０６に出力する。案内画像設定情報決定部１０５１は、操作入力部１０４から入力された案内画像消去信号を表示画像生成部１０６に出力する。案内画像設定情報の例、及び案内画像消去信号については後述する。
【００９３】
案内画像データ記憶部１０５２は、予め形状情報と対応付けて案内画像パターン信号が記憶されている。例えば、格子を表す形状情報と格子状の案内画像パターンを表す案内画像パターン信号が対応付けられて記憶されている。
案内画像パターン生成部１０５３は、案内画像設定情報決定部１０５１から案内画像設定情報が入力され、物体情報抽出部１０３から物体情報が入力される。
案内画像パターン生成部１０５３は、案内画像設定情報に含まれる形状情報に対応する案内画像パターン信号を読み出す。但し、その形状情報が対象物体の形状を表す場合には、案内画像パターン生成部１０５３は、案内画像を生成する対象として対象物体情報が表す物体が占める領域を入力された物体情報から抽出して、案内画像パターン信号として生成する。この対象物体情報は、案内画像設定情報に含まれる情報であって、案内画像を生成する対象とする物体を表す情報である。
案内画像パターン生成部１０５３は、案内画像設定情報に含まれる色彩情報が表す色信号値を、案内画像パターン信号が占める領域に割り当て、色彩付与案内画像パターン信号を生成する。案内画像パターン生成部１０５３は、生成した色彩付与案内画像パターン信号をサイズ調整部１０５４に出力する。
【００９４】
サイズ調整部１０５４は、案内画像パターン生成部１０５３から入力された色彩付与案内画像パターン信号の左右方向及び上下方向のサイズを変更して、リサイズ案内画像信号を生成する。変更後の径は、物体情報抽出部１０３から入力された物体情報が表す物体が占める領域の径と同一又は、予め設定された大きさだけ大きい径である。大きさ調整部１０５４は、生成したリサイズ案内画像信号を視差付与部１０５５に出力する。
【００９５】
視差付与部１０５５は、サイズ調整部１０５４からリサイズ案内画像信号を入力され、物体情報抽出部１０３から物体情報と距離画像信号を入力され、案内画像設定情報決定部１０５１から案内画像設定情報が入力される。
視差付与部１０５５は、リサイズ案内画像信号を左案内画像信号と定める。視差付与部１０５５は、対象物体情報が表す物体が占める領域を入力された物体情報から抽出し、抽出した領域に対応する距離の代表値を入力された距離画像信号から定める。
視差付与部１０５５は、この距離の代表値を、案内画像設定情報に含まれる視差情報に基づいて定める。例えば、視差情報が最大距離を表す場合、視差付与部１０５５は、抽出した領域に対応する距離の最大距離を距離の代表値と定める。視差情報が最小距離を表す場合、視差付与部１０５５は、抽出した領域に対応する距離の最小距離を距離の代表値と定める。視差情報が中心距離を表す場合、視差付与部１０５５は、抽出した領域に対応する距離の最小距離と最大距離の平均値である中心距離を距離の代表値と定める。視差情報が最頻距離を表す場合、視差付与部１０５５は、抽出した領域に対応する距離のうち最も頻度が高い頻度で現れる最頻距離を距離の代表値と定める。視差情報が視差角で与えられている場合、その視差角に対応する距離を距離の代表値と定める。
【００９６】
視差付与部１０５５は、定めた距離の代表値に対応する視差量を算出し、算出したその距離に対応する視差量分だけ左右方向の座標がずれた位置にリサイズ案内画像信号を割り当てて右案内画像信号を生成する。視差付与部１０５５は、生成した左案内画像信号と右案内画像信号を多重化部１０５７に出力する。
視差付与部１０５５は、対象物体毎に定めた距離の代表値をデプス値として、その物体が占める領域に割り当てた案内距離画像信号を生成する。視差付与部１０５５は、生成した案内距離画像信号を表示画像生成部１０６に出力する。
【００９７】
画像形式入力部１０５６は、画像形式出力部１０１５から入力された形式情報を多重化部１０５７に出力する。
多重化部１０５７は、画像形式入力部１０５６から入力された形式情報が表す多重化形式で、視差付与部１０５５から入力された左案内画像信号と右案内画像信号を多重化して案内画像信号を生成する。多重化部１０５７は、多重化した案内画像信号を表示画像生成部１０６に出力する。
【００９８】
次に案内画像生成部１０５が行う案内画像生成処理について説明する。
図３７は、本実施形態に係る案内画像生成処理を表すフローチャートである。
（ステップＳ３０１）案内画像パターン生成部１０５３は、案内画像設定情報決定部１０５１から案内画像設定情報が入力され、物体情報抽出部１０３から物体情報が入力される。
案内画像パターン生成部１０５３は、案内画像設定情報に含まれる形状情報に対応する案内画像パターン信号を読み出す。但し、その形状情報が対象物体の形状を表す場合には、案内画像パターン生成部１０５３は、案内画像を生成する対象として対象物体情報が表す物体が占める領域を入力された物体情報から抽出して、案内画像パターン信号として生成する。その後、ステップＳ３０２に進む。
【００９９】
（ステップＳ３０２）案内画像パターン生成部１０５３は、案内画像設定情報に含まれる色彩情報が表す色信号値を、案内画像パターン信号が占める領域に割り当て、色彩付与案内画像パターン信号を生成する。案内画像パターン生成部１０５３は、生成した色彩付与案内画像パターン信号をサイズ調整部１０５４に出力する。その後、ステップＳ３０３に進む。
【０１００】
（ステップＳ３０３）サイズ調整部１０５４は、案内画像パターン生成部１０５３から入力された色彩付与案内画像パターン信号の左右方向及び上下方向のサイズを変更して、リサイズ案内画像信号を生成する。変更後の径は、物体情報抽出部１０３から入力された物体情報が表す物体が占める領域の径と同一又は、予め設定された大きさだけ大きい径である。大きさ調整部１０５４は、生成したリサイズ案内画像信号を視差付与部１０５５に出力する。その後、ステップＳ３０４に進む。
【０１０１】
（ステップＳ３０４）視差付与部１０５５は、サイズ調整部１０５４からリサイズ案内画像信号を入力され、物体情報抽出部１０３から物体情報と距離画像信号を入力され、案内画像設定情報決定部１０５１から案内画像設定情報が入力される。
視差付与部１０５５は、リサイズ案内画像信号を左案内画像信号と定める。視差付与部１０５５は、対象物体情報が表す物体が占める領域を入力された物体情報から抽出し、抽出した領域に対応する距離の代表値を入力された距離画像信号から定める。
視差付与部１０５５は、この距離の代表値を、案内画像設定情報に含まれる視差情報に基づいて定める。視差付与部１０５５は、定めた距離の代表値に対応する視差量を算出し、算出したその距離に対応する視差量分だけ左右方向の座標がずれた位置にリサイズ案内画像信号を割り当てて右案内画像信号を生成する。視差付与部１０５５は、生成した左案内画像信号と右案内画像信号を多重化部１０５７に出力する。その後、ステップＳ３０５に進む。
【０１０２】
（ステップＳ３０５）視差付与部１０５５は、対象物体毎に定めた距離の代表値をデプス値として、その物体が占める領域に割り当てた案内距離画像信号を生成する。視差付与部１０５５は、生成した案内距離画像信号を表示画像生成部１０６に出力する。その後、ステップＳ３０６に進む。
（ステップＳ３０６）多重化部１０５７は、画像形式入力部１０５６から入力された形式情報が表す多重化形式で、視差付与部１０５５から入力された左案内画像信号と右案内画像信号を多重化して案内画像信号を生成する。多重化部１０５７は、多重化した案内画像信号を表示画像生成部１０６に出力する。その後、処理を終了する。
【０１０３】
次に、案内画像設定情報を決定する処理の一例について説明する。
図３８は、本実施形態に係る案内画像設定情報を決定する処理を表すフローチャートである。
（ステップＳ４０１）操作入力部１０４は、記憶部から表示設定画面情報を読み出し、読み出した表示設定画面情報を画像表示部１０７に出力する。画像表示部１０７は、操作入力部１０４から入力された表示設定画面情報が表す表示設定画面を表示する。表示設定画面の例については後述する。その後、ステップＳ４０２に進む。
（ステップＳ４０２）操作入力部１０４は、新たな案内画像を表示することを表す新規追加入力が検知されたか否か判断する。新規追加入力は、例えば、表示設定画面に表示された新規追加ボタンを示す操作入力である。新規追加入力が検知された場合（ステップＳ４０２ Ｙ）、ステップＳ４０３に進む。新規追加入力が検知されなかった場合（ステップＳ４０２ Ｎ）、ステップＳ４０９に進む。
【０１０４】
（ステップＳ４０３）操作入力部１０４は、後述する対象物体情報等の操作入力を受け付ける操作窓を追加表示した表示設定画面情報を生成し、生成した表示設定画面情報を画像表示部１０７に出力する。画像表示部１０７は、操作入力部１０４から入力された表示設定画面情報に基づく表示設定画面を表示する。
操作入力部１０４は、案内画像を表示する対象となる物体を表す対象物体情報の入力を検知する。その後、ステップＳ４０４に進む。
（ステップＳ４０４）操作入力部１０４は、視差情報の種別又は視差量の値を表す視差情報の入力を検知する。視差情報の種別は、例えば、上述の最大距離、最小距離、中心距離、平均距離、又は最頻距離である。視差量の値は、例えば、視差角０°、０．６°、１°、−０．６°、−１°、その他任意に入力された実数値である。上述のように視差量と距離は一意に対応することから、視差量の値を表す視差情報は、距離を表す距離情報の一形態である。その後、ステップＳ４０５に進む。
（ステップＳ４０５）操作入力部１０４は、案内画像パターンの形状を表す形状情報の入力を検知する。形状情報は、例えば、上述の格子、矩形、又は物体の形状である。その後、ステップＳ４０６に進む。
（ステップＳ４０６）操作入力部１０４は、案内画像の色彩を表す色彩情報の入力を検知する。色彩情報は、例えば、ＲＧＢ表色系で示される色空間値である。本実施形態では、その他の表色系、例えばＨＳＶ表色系で示される色空間値であってもよい。その後、ステップＳ４０７に進む。
（ステップＳ４０７）操作入力部１０４は、透明度情報の入力を検知する。透明度とは、案内画像が背後に表示される立体画像を透過して表示する度合いを表す指標値である。具体的には、透明度とは、案内画像信号と立体画像信号を合成して表示画像信号を生成する際、立体画像信号に対する比率を表す。透明度の最小値は０％であり、その場合には案内画像信号の輝度値が表示画像信号の輝度値として用いられる。透明度の最大値は１００％であり、その場合には立体画像信号の輝度値が表示画像信号の輝度値として用いられる。 但し、対象となる立体画像信号が表す立体画像は、案内画像よりも奥に知覚される立体画像である。その後、ステップＳ４０８に進む。
【０１０５】
（ステップＳ４０８）操作入力部１０４は、設定反映ボタンを追加表示した表示設定画面情報を画像表示部１０７に出力する。操作入力部１０４は、設定反映ボタンを示す操作入力が検知されると、入力された対象物体情報、視差情報、形状情報、色彩情報、又は透明度情報を含む一式の案内画像設定情報を生成する。操作入力部１０４は、生成した案内画像設定情報を案内画像設定情報決定部１０５１に出力する。その後、ステップＳ４０９に進む。
（ステップＳ４０９）操作入力部１０４は、削除ボタンを追加表示した表示設定画面を表す表示設定画面情報を画像表示部１０７に出力する。削除ボタンが表示される位置は、例えば、対象物体情報等の操作入力を受け付ける操作窓の近傍である。
操作入力部１０４は、案内画像を削除することを表す削除入力が検知されたか否か判断する。削除入力は、例えば、表示設定画面に表示された削除ボタンを示す操作入力である。削除入力が検知された場合（ステップＳ４０９ Ｙ）、ステップＳ４１０に進む。削除入力が検知されなかった場合（ステップＳ４０９ Ｎ）、ステップＳ４１１に進む。
【０１０６】
（ステップＳ４１０）操作入力部１０４は、削除入力に対応する案内画像設定情報を消去した表示設定画面情報を生成し、生成した表示設定画面情報を画像表示部１０７に出力する。これにより、表示設定画面に表示された表示設定画面情報が消去される。操作入力部１０４は、削除入力に対応する案内画像設定情報に対応する案内画像を消去することを表す案内画像消去信号を生成し、生成した案内画像消去信号を案内画像設定情報決定部１０５１に出力する。これにより、指示された案内画像が消去される。その後、ステップＳ４０２に進む。
【０１０７】
（ステップＳ４１１）操作入力部１０４は、新たに設定入力が検知されたか否か判断する。設定入力は、例えば、表示設定画面に表示された操作窓への操作入力である。設定入力が検知された場合（ステップＳ４１１ Ｙ）、ステップＳ４０３に進む。設定入力が検知されなかった場合（ステップＳ４１１ Ｎ）、ステップＳ４１２に進む。
（ステップＳ４１２）操作入力部１０４は、表示設定画面に対する消去入力が検知されたか否か判断する。消去入力は、例えば、表示設定画面の右上端に×印で示された消去ボタンへの操作入力である。消去入力が検知された場合（ステップＳ４１２ Ｙ）、ステップＳ４０２に進む。消去入力が検知された場合、処理を終了する。
【０１０８】
次に、本実施形態に係る表示設定画面の一例について説明する。
図３９は、本実施形態に係る表示設定画面の一例を表す図である。
表示設定画面Ｇ２８１は、ステップＳ４０２で表示される表示設定画面である。図３９の最上行の中央部の「奥行き感ガイド表示設定」という文字は表示設定画面であることを示す表題である。図３９の最上行の右端の×印は、削除ボタンである。図３９の最上行から２行目のオブジェクトＩＤ、視差、形状、透明度は、それぞれ対象物体情報、視差情報、形状情報、透明度情報を設定入力する項目を表す文字である。同行のＲ、Ｇ、Ｂは、色彩情報としてＲＧＢ表色系で示される赤色、緑色、青色の各成分の色空間値を設定入力する項目を表す文字である。
図３９の左下の「奥行き感ガイド新規追加」という文字が表されたボタンＧ２８２は、新規追加ボタンである。
【０１０９】
次に、本実施形態に係る表示設定画面のその他の例について説明する。
図４０は、本実施形態に係る表示設定画面のその他の例を表す図である。
表示設定画面Ｇ２８１は、ステップＳ４０３で表示される表示設定画面である。この表示設定画面Ｇ２８１には、図３９の表示設定画面Ｇ２８１に対して操作入力を受け付ける入力窓Ｇ２９１〜Ｇ２９７が、設定入力項目を表す文字の直下に追加されている。入力窓Ｇ２９１〜Ｇ２９３及びＧ２９７は、それぞれ対象物体情報、視差情報、形状情報、透明度情報に対する操作入力を受け付ける入力窓である。Ｇ２９４〜Ｇ２９６は、色彩情報としてＲＧＢ表色系で示される赤色、緑色、青色の各成分の色空間値に対する操作入力を受け付ける入力窓である。ここで入力窓Ｇ２９１には、対象物体情報として物体毎の識別値（オブジェクトＩＤ）１の操作入力が受け付けられ、その値１が表示されている。
【０１１０】
次に、本実施形態に係る表示設定画面のその他の例について説明する。
図４１は、本実施形態に係る表示設定画面のその他の例を表す図である。
表示設定画面Ｇ２８１は、ステップＳ４０４で表示される表示設定画面である。この表示設定画面Ｇ２８１には、図４０の表示設定画面Ｇ２８１に対して入力窓Ｇ２９２に、視差情報として最大距離（最遠景）の操作入力が受け付けられ、受け付けられた情報として最大距離が表示されている。入力窓Ｇ２９２の直下には、プルダウンメニューＧ３０１が表示されている。プルダウンメニューＧ３０１は、入力窓Ｇ２９２を指示する操作入力が受け付けられると表示される。プルダウンメニューＧ３０１には、予め設定された視差情報の候補を表す文字が示される。図４１では、視差情報の候補を表す文字として、最大距離（最遠景）、最小距離（最近景）、中心距離（中央値）、最頻距離（最頻値）、視差角０°、視差角−１°、視差角１°、視差角−０．６°、視差角＋０．６°、視差角(任意)、奥行５ｃｍが示されている。ここで、示された文字の何れかについて操作入力が受け付けられると、操作入力が受け付けられた文字に対応した視差情報の候補の何れかが選択される。
【０１１１】
図４１に示す例では、視差情報として視差量の種別の一つである最大距離（最遠景）が選択され、選択された視差情報を表す文字である最遠景が入力窓Ｇ２９２に示されている。
奥行５ｃｍとは、ディスプレイ面よりも奥に知覚され、かつ視差量の大きさ、つまり、画面上での左右画像のずれの量が５ｃｍとなる立体画像の視差角を表す視差情報の一例を表す。ここで、視差量が、視聴者の両眼幅よりも大きくなると、瞳孔が正面よりも外側に向いてしまい、斜位や斜視等の症状を発するおそれがある。そのため、視差量が、視聴者の両眼幅を超えないことが望ましい。即ち、上述の奥行５ｃｍとは、両眼幅が成人（例えば、６．３ｃｍ）に比べて小さい小児（例えば、５ｃｍ）に対して、両眼幅よりも大きな視差量を与える立体画像を視聴させることを禁止させるための目安である。利用者がこの項目を選択することで、ディスプレイ面よりも奥に知覚され、かつ視差量が５ｃｍとなる案内画像を表示させることができる。この案内画像を用いることによって、立体視の機能が未成熟な小児を保護する手がかりが与えられる。
なお、視差角（任意）が選択された場合には、視差角を表す任意の実数値に対する操作入力を受け付けるための追加入力窓Ｇ３１１が入力窓Ｇ２９２の直下にさらに表示される。
【０１１２】
次に、本実施形態に係る表示設定画面のその他の例について説明する。
図４２は、本実施形態に係る表示設定画面のその他の例を表す図である。
表示設定画面Ｇ２８１は、図４１の表示設定画面Ｇ２８１に対して追加入力窓Ｇ３１１が表示されている。追加入力窓Ｇ３１１には視差角を表す値＋０．５°について操作入力が受け付けられ、この値を表す＋０．５°を表す文字が示されている。
【０１１３】
次に、本実施形態に係る表示設定画面のその他の例について説明する。
図４３は、本実施形態に係る表示設定画面のその他の例を表す図である。
表示設定画面Ｇ２８１は、ステップＳ４０５で表示される表示設定画面である。この表示設定画面Ｇ２８１には、図４１の表示設定画面Ｇ２８１に対して入力窓Ｇ２９３に、形状情報として格子の操作入力が受け付けられ、受け付けられた情報として格子が表示されている。入力窓Ｇ２９３の直下には、プルダウンメニューＧ３２１が表示されている。プルダウンメニューＧ３２１は、入力窓Ｇ２９３を指示する操作入力が受け付けられると表示される。プルダウンメニューには、予め設定された形状情報の候補を表す文字が示される。図４３では、形状情報の候補を表す文字として、格子、矩形、物体の形状のいずれかが示されている。ここで、示された文字の何れかについて操作入力が受け付けられると、操作入力が受け付けられた文字に対応した形状情報の候補の何れかが選択される。図４３に示す例では、形状情報として格子状の案内画像パターン信号を表す格子が選択され、選択された形状情報を表す文字である格子が入力窓Ｇ２９３に示されている。
【０１１４】
次に、本実施形態に係る表示設定画面のその他の例について説明する。
図４４は、本実施形態に係る表示設定画面のその他の例を表す図である。
表示設定画面Ｇ２８１は、ステップＳ４０８で表示される表示設定画面である。この表示設定画面Ｇ２８１には、図４３の表示設定画面Ｇ２８１に対して入力窓Ｇ２９４〜Ｇ２９６には、操作入力が受け付けられた赤色、緑色、青色の各成分の色空間値として、２５５、０、０が表示されている。入力窓Ｇ２０７には、操作入力が受け付けられた透明度の値として０が表示されている。表示設定画面Ｇ２８１の右下の設定の反映という文字が表されたボタンは設定反映ボタンＧ２９９を表す。
【０１１５】
次に、本実施形態に係る表示設定画面のその他の例について説明する。
図４５は、本実施形態に係る表示設定画面のその他の例を表す図である。
表示設定画面Ｇ２８１は、ステップＳ４０９で表示される表示設定画面である。この表示設定画面Ｇ２８１には、図４４の表示設定画面Ｇ２８１に対して設定反映ボタンＧ２９９が削除されている。入力窓Ｇ２９７の右横に削除という文字が表されたボタンは、削除ボタンＧ２９８を表す。
【０１１６】
次に、本実施形態に係る表示画像生成部１０６の構成例について説明する。
図４６は、本実施形態に係る表示画像生成部１０６の構成を表す概略図である。
表示画像生成部１０６は、表示画像合成部１０６１及び表示画像多重化部１０６２を含んで構成される。
表示画像合成部１０６１は、画像信号出力部１０１４から立体画像信号が入力され、物体情報抽出部１０３から距離画像信号と物体情報が入力される。表示画像合成部１０６１は、視差付与部１０５５から案内距離画像信号が入力され、多重化部１０５７から案内画像信号が入力される。表示画像合成部１０６１は、案内画像設定情報決定部１０５１から透明度情報及び案内画像消去情報が入力される。
【０１１７】
表示画像合成部１０６１は、入力された立体画像信号から左画像信号と右画像信号を分離する。表示画像合成部１０６１は、入力された立体画像信号が平面画像信号と距離画像信号である場合には、その平面画像信号と距離画像信号に基づいて左画像信号と右画像信号を生成する。
また、表示画像合成部１０６１は、入力された案内画像信号から左案内画像信号と右案内画像信号を分離する。
【０１１８】
表示画像合成部１０６１は、入力された距離画像信号と案内距離画像信号を参照して、
より距離が短いほうが優先されるように立体画像信号と案内画像信号を座標毎に合成して表示画像信号を生成する。但し、案内画像信号を表示する場合には透明度情報を考慮して両画像信号の輝度値を重み付け加算して表示画像信号の輝度値を算出する。そこで、表示画像合成部１０６１は、透明度情報を考慮する座標を、物体情報を参照して透明度情報が表す物体が占める領域に含まれる座標と定める。なお、以下では、１から透明度情報が表す透明度を減じて得られる値を寄与度と呼ぶ。
【０１１９】
具体的には、ある座標における立体画像信号に係る距離画像信号のデプス値が、案内距離画像信号のデプス値よりも小さい場合、表示画像合成部１０６１は、その座標における左画像信号の輝度値を左表示画像信号の輝度値と定める。この場合、表示画像合成部１０６１は、その座標における右画像信号の輝度値を右表示画像信号の輝度値と定める。
ある座標における立体画像信号に係る距離画像信号のデプス値が、案内距離画像信号のデプス値と等しいか、より大きい場合、表示画像合成部１０６１は、その座標における左案内画像信号の輝度値に寄与度を乗じ、左画像信号の輝度値に透明度を乗じて重み付け加算した値を左表示画像信号の輝度値と定める。この場合、表示画像合成部１０６１は、その座標における右案内画像信号の輝度値に寄与度を乗じ、右画像信号の輝度値に透明度を乗じて重み付け加算した値を右表示画像信号の輝度値と定める。
【０１２０】
ある座標における立体画像信号に係る距離画像信号のデプス値が、案内距離画像信号のデプス値と等しいか、より大きい場合であって、透明度情報を考慮しない場合には、表示画像合成部１０６１は、その座標における左案内画像信号の輝度値を左表示画像信号の輝度値と定める。この場合、表示画像合成部１０６１は、その座標における右案内画像信号の輝度値を右表示画像信号の輝度値と定める。
【０１２１】
案内画像消去情報が入力された場合には、表示画像合成部１０６１は、案内画像信号との合成を停止し、立体画像信号を表示画像信号として表示画像多重化部１０６２に出力する。
但し、表示画像合成部１０６１は、物体情報を参照して案内画像消去情報が表す物体が占める領域に含まれる座標を案内画像信号との合成を静止する座標と定める。これにより、その物体についての案内画像が消去される。
表示画像合成部１０６１は、上述のように各座標における輝度値を定めることによって左表示画像信号と右表示画像信号を生成する。表示画像合成部１０６１は、生成した左表示画像信号と右表示画像信号を表示画像多重化部１０６２に出力する。
【０１２２】
表示画像多重化部１０６２は、表示画像合成部１０６１から入力された左表示画像信号と右表示画像信号を画像形式出力部から入力された形式情報が表す多重化形式で多重化して、表示画像信号を生成する。表示画像多重化部１０６２は、生成した表示画像信号を画像表示部１０７に出力する。なお、この形式情報が表す多重化方式を、画像表示部１０７が処理可能な多重化方式と予め設定し、予めこの形式情報をデータ形式記憶部１０１１に記憶しておく。これにより、画像表示部１０７は、表示画像多重化部１０６２から入力された表示画像信号に基づく画像を表示することができる。
【０１２３】
このように、本実施形態によれば、立体画像を表す立体画像信号から物体毎の画像を表す物体情報を抽出し、抽出された物体情報が表す物体の視点からの距離に案内画像を表す案内画像信号を生成し、生成した案内画像信号が表す案内画像を前記物体の少なくとも一部を占める領域に立体画像信号が表す画像と合成する。これにより、利用者にとって案内画像と物体を表す画像との対応関係が明らかになり、案内画像が表す距離と物体の距離を比較できるため物体の距離感を容易に把握することができる。
【０１２４】
上述では、立体画像信号、案内画像信号、表示画像信号がともに２視点の２視点画像信号である場合を例にとって説明したが、本実施形態では、これには限られない。本実施形態では、２視点よりも視点数が多い多視点画像信号であってもよい。多視点画像信号は、少ないとも1つの視点の基準画像信号と、その1つの視点と他の視点との関係を表す視点情報（例えば、距離画像信号）を用いて生成することができる。本実施形態では、視点毎に立体画像信号と案内画像信号を合成することによって多視点の表示画像信号を生成することができる。
【０１２５】
上述では、案内画像生成部１０５が案内画像信号を生成し、表示画像生成部１０６が表示画像信号を生成する際に、左側の画像信号（左案内画像信号、左表示画像信号、等）を基準に視差量を付与した右側の画像信号を生成する場合を例にとって説明した。本実施形態では、これには限られず、例えば、右側の画像信号を基準に視差量を付与した左側の画像信号を生成してもよい。また、本実施形態では、その他、基準となる画像信号に、各々その視差量の値の半分の値の視差量を左右各方向に付与して左側の画像信号と右側の画像信号を生成してもよい。
【０１２６】
上述では、表示設定画面を表示画像と同一の画像表示手段である画像表示部１０７に表示する場合を例にとって説明したが、本実施形態では、これには限られない。本実施形態では、表示画像と表示設定画面を異なる画像表示手段に表示してもよい。
【０１２７】
上述では、操作入力部１０４が設定反映ボタンを示す操作入力を検知してから案内画像設定情報を案内画像設定情報決定部１０５１に出力する場合を例にとって説明したが、本実施形態ではこれには限られない。本実施形態では、操作入力部１０４は、案内設定情報一部について操作入力が検知されたら、操作入力が検知された情報を即座に案内画像設定情報決定部１０５１に出力してもよい。これにより、視聴者が操作入力した案内設定情報に応じて案内画像の表示形態を実時間で変更することができる。例えば、視聴者は案内画像が知覚される距離を逐次に変更することができる。これにより、視聴者は各物体の画像の距離をより的確に把握することができる。
【０１２８】
なお、上述した実施形態における立体画像処理装置１の一部、例えば、物体情報抽出部１０３、案内画像生成部１０５、及び表示画像生成部１０６をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、立体画像処理装置１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における立体画像処理装置１装置の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。立体画像処理装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【０１２９】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【０１３０】
１…立体画像処理装置、
１０１…画像信号入力部、１０１１…データ形式記憶部、１０１２…画像形式判断部、
１０１３…画像形式変換部、１０１４…画像信号出力部、１０１５…画像形式出力部、
１０２…データ入力部、１０３…物体情報抽出部、１０４…操作入力部、
１０５…案内画像生成部、１０５１…案内画像設定情報決定部、
１０５２…案内画像データ記憶部、１０５３…案内画像パターン生成部、
１０５４…サイズ調整部、１０５５…視差付与部、１０５６…画像形式入力部、
１０５７…多重化部
１０６…表示画像生成部、１０６１…表示画像合成部、１０６２…表示画像多重化部
１０７…画像表示部
【技術分野】
【０００１】
本発明は、立体画像処理装置、立体画像処理方法、及び立体画像処理プログラムに関する。
【背景技術】
【０００２】
従来から、視聴者に立体画像を表示する立体画像表示装置が提案されてきた。立体画像表示装置は、視聴者の左右各眼に対応した２次元画像を表示することで立体視を実現する。ここで、表示された画像が表す物体の距離に応じて、左右の画像間において表示される位置のずれがある。このずれを視差量といい、一般的に、メートルなどの長さの単位や、画素、表示画面の水平サイズに対するパーセンテージなどの単位で表される。言い換えれば、視差量を調節することによって、その物体が知覚される距離を調節する。
例えば、特許文献１に記載の立体映像処理装置は、左眼用画像と右眼用画像とを立体表示制御部に供給し、スクリーン上に視差量を持って表示させ、立体視できるようにした立体映像処理装置において、視差量を調整する調整手段と、調整手段によつ調整動作のときに、スクリーンの前後に延在するように映し出すための調整用に参照する参照用立体画像信号を発生し、立体表示制御部に供給する参照用立体画像信号生成手段とを具備する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１５５１５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の立体画像表示装置は、参照用立体画像信号をスクリーンの前後に延在するように映し出すため、画像が表す物体との距離関係を視聴者が容易に把握できないことがあった。また、複数の物体の画像が表示されているとき、各物体までの距離が異なるため、表示されている参照用立体画像信号が、どの物体との距離を比較するか視聴者が容易に把握できないことがあった。
【０００５】
本発明は上記の点に鑑みてなされたものであり、画像が表す各物体までの距離を視聴者に容易に把握させることができる立体画像処理装置、立体画像処理方法、及び立体画像処理プログラムを提供する。
【課題を解決するための手段】
【０００６】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、立体画像を表す立体画像信号から物体毎の画像を表す物体情報を抽出する物体情報抽出部と、前記抽出された物体情報が表す物体の視点からの距離に案内画像を表す案内画像信号を生成する案内画像生成部と、前記生成した案内画像信号が表す案内画像を前記物体の少なくとも一部を占める領域に前記立体画像信号が表す画像と合成する画像信号合成部と、を備えることを特徴とする立体画像処理装置である。
【０００７】
（２）本発明のその他の態様は、上述の立体画像処理装置において、前記案内画像生成部は、前記案内画像として前記距離が一定の画像を表す案内画像信号を生成することを特徴とする。
【０００８】
（３）本発明のその他の態様は、上述の立体画像処理装置において、前記案内画像生成部は、前記物体の視点からの距離が最大となる最大距離に前記案内画像を表す案内画像信号を生成することを特徴とする。
【０００９】
（４）本発明のその他の態様は、上述の立体画像処理装置において、前記案内画像生成部は、前記物体の視点からの距離が最小となる最小距離に前記案内画像を表す案内画像信号を生成することを特徴とする。
【００１０】
（５）本発明のその他の態様は、上述の立体画像処理装置において、前記案内画像生成部は、前記物体の視点からの距離が最大となる最大距離と前記物体の視点からの距離が最小となる最小距離の中間である中心距離に前記案内画像を表す案内画像信号を生成することを特徴とする。
【００１１】
（６）本発明のその他の態様は、上述の立体画像処理装置において、前記案内画像生成部は、前記物体の視点からの距離の平均である平均距離に前記案内画像を表す案内画像信号を生成することを特徴とする。
【００１２】
（７）本発明のその他の態様は、上述の立体画像処理装置において、前記案内画像生成部は、前記物体の視点からの距離が最頻となる最頻距離に前記案内画像を表す案内画像信号を生成することを特徴とする。
【００１３】
（８）本発明のその他の態様は、上述の立体画像処理装置において、操作入力を受け付けて、前記物体の視点からの距離を表す距離情報を入力する操作入力部を備え、
前記案内画像生成部は、前記入力された距離情報が表す距離に前記案内画像を表す案内画像信号を生成することを特徴とする。
【００１４】
（９）本発明のその他の態様は、上述の立体画像処理装置において、前記案内画像生成部は、前記物体情報に対応する物体の形状を有する案内画像を表す前記案内画像信号を生成することを特徴とする。
【００１５】
（１０）本発明のその他の態様は、上述の立体画像処理装置において、前記画像信号合成部は、前記生成した案内画像信号を、前記物体を占める領域に前記立体画像信号よりも優先して前記立体画像信号と合成することを特徴とする。
【００１６】
（１１）本発明のその他の態様は、上述の立体画像処理装置において、前記案内画像生成部は、前記物体情報に対応する物体のうち少なくとも２以上の物体のいずれかの距離に表わされる案内画像を表す案内画像信号を生成し、前記画像信号合成部は、前記案内画像信号が表す案内画像を、前記少なくとも2以上の物体の各々について少なくとも一部を占める領域に前記立体画像信号が表す画像と合成することを特徴とする。
【００１７】
（１２）本発明のその他の態様は、立体画像処理装置における立体画像処理方法において、前記立体画像処理装置が、立体画像を表す立体画像信号から物体毎の画像を表す物体情報を抽出する過程と、前記立体画像処理装置が、前記抽出された物体情報が表す物体の視点からの距離に案内画像を表す案内画像信号を生成する過程と、前記立体画像処理装置が、前記生成した案内画像信号が表す案内画像を前記物体の少なくとも一部を占める領域に前記立体画像信号が表す画像と合成する過程とを有することを特徴とする立体画像処理方法である。
【００１８】
（１３）本発明のその他の態様は、立体画像処理装置のコンピュータに、立体画像を表す立体画像信号から物体毎の画像を表す物体情報を抽出する手順、前記抽出された物体情報が表す物体の視点からの距離に案内画像を表す案内画像信号を生成する手順、前記生成した案内画像信号が表す案内画像を前記物体の少なくとも一部を占める領域に前記立体画像信号が表す画像と合成する手順を実行させるための立体画像処理プログラムである。
【発明の効果】
【００１９】
本発明によれば、画像が表す各物体までの距離を視聴者に容易に把握させることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る立体画像処理装置の構成を示す概略図である。
【図２】視聴者とディスプレイの位置関係の一例を表す概念図である。
【図３】視聴者とディスプレイの位置関係のその他の例を表す概念図である。
【図４】視聴者とディスプレイの位置関係のその他の例を表す概念図である。
【図５】本実施形態に係る立体画像処理を表すフローチャートである。
【図６】立体画像の一例を表す図である。
【図７】立体画像のその他の例を表す図である。
【図８】物体間の位置関係の一例を表す表面図である。
【図９】表示画像の一例を表す図である。
【図１０】案内画像と物体の位置関係の一例を表す表面図である。
【図１１】表示画像のその他の例を表す図である。
【図１２】案内画像と物体の位置関係のその他の例を表す表面図である。
【図１３】表示画像のその他の例を表す図である。
【図１４】案内画像と物体の位置関係のその他の例を表す表面図である。
【図１５】表示画像のその他の例を表す図である。
【図１６】案内画像と物体の位置関係のその他の例を表す表面図である。
【図１７】表示画像のその他の例を表す図である。
【図１８】案内画像と物体の位置関係のその他の例を表す表面図である。
【図１９】表示画像のその他の例を表す図である。
【図２０】案内画像と物体の位置関係のその他の例を表す表面図である。
【図２１】表示画像のその他の例を表す図である。
【図２２】案内画像と物体の位置関係のその他の例を表す表面図である。
【図２３】表示画像のその他の例を表す図である。
【図２４】案内画像と物体の位置関係のその他の例を表す表面図である。
【図２５】表示画像のその他の例を表す図である。
【図２６】案内画像と物体の位置関係のその他の例を表す表面図である。
【図２７】表示画像のその他の例を表す図である。
【図２８】表示画像のその他の例を表す図である。
【図２９】案内画像と物体の位置関係のその他の例を表す表面図である。
【図３０】表示画像のその他の例を表す図である。
【図３１】サイドバイサイド形式で多重化した立体画像信号を表す概念図である。
【図３２】トップアンドボトム形式で多重化した立体画像信号を表す概念図である。
【図３３】フレームシーケンシャル形式で多重化した立体画像信号を表す概念図である。
【図３４】本実施形態に係る画像信号入力部の構成を表す概略図である。
【図３５】本実施形態に係る画像信号入力処理を表すフローチャートである。
【図３６】本実施形態に係る案内画像生成部の構成を表す概略図である。
【図３７】本実施形態に係る案内画像生成処理を表すフローチャートである。
【図３８】本実施形態に係る案内画像設定情報を決定する処理を表すフローチャートである。
【図３９】本実施形態に係る表示設定画面の一例を表す図である。
【図４０】本実施形態に係る表示設定画面のその他の例を表す図である。
【図４１】本実施形態に係る表示設定画面のその他の例を表す図である。
【図４２】本実施形態に係る表示設定画面のその他の例を表す図である。
【図４３】本実施形態に係る表示設定画面のその他の例を表す図である。
【図４４】本実施形態に係る表示設定画面のその他の例を表す図である。
【図４５】本実施形態に係る表示設定画面のその他の例を表す図である。
【図４６】本実施形態に係る表示画像生成部の構成を表す概略図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照しながら本発明の実施形態について説明する。
【００２２】
図１は、本発明の実施形態に係る立体画像処理装置１の構成を示す概略図である。
立体画像処理装置１は、画像信号入力部１０１、データ入力部１０２、物体情報抽出部１０３、操作入力部１０４、案内画像生成部１０５、表示画像生成部（画像信号合成部）１０６、及び画像表示部１０７を含んで構成される。
【００２３】
画像信号入力部１０１は、外部から立体画像信号を入力される。外部とは、例えば、画像を撮影する撮影装置、録画された画像を再生する録画装置、放送波又は通信回線により伝送された画像信号を受信する受信装置、等がある。
入力される立体画像信号は、被写体である物体表面の画像を立体的に表す信号である。入力される立体画像信号は、例えば、左右方向及び上下方向の２次元平面上の各座標における画像の輝度値と、視点から当該物体表面までの奥行方向の距離を表す信号を含む。入力される立体画像信号は、例えば平面画像信号と距離画像信号を含む。平面画像信号は、２次元平面上の各座標における輝度値を含む画像信号（「２次元画像信号」、「テクスチャ画像信号」ともいう。）である。距離画像信号は、例えば、当該各座標における、視点からの奥行方向の距離を表す奥行値（「デプス値」、「距離値」ともいう。）を含むデプスマップである。
以下の説明では、デプス値が小さいほど、視点からの距離が短くなるように定義されている場合を例にとって説明する。本実施形態では、これには限られず、デプス値と視点からの距離が一意に対応付けられていればよい。例えば、デプス値が大きいほど視点からの距離が長くなるように定義されていてもよい。
距離画像信号は、その他、各座標における視差量を含む視差マップでもよい。
入力される立体画像信号は、その他ある物体に対して左側の視点からの画像を表す左画像信号と、当該物体に対して右側の視点からの画像を表す右画像信号とを含むステレオ画像信号であってもよい。左画像信号は、左眼に表示する左画像を表す画像信号であり、右画像信号は、右眼に表示する右画像を表す画像信号である。
画像信号入力部１０１は、入力された立体画像信号を物体情報抽出部１０３及び表示画像生成部１０６に出力する。
【００２４】
データ入力部１０２には、画像信号入力部１０１に入力される立体画像信号に関連する関連データが、外部から入力される。関連データは、例えば、画像の左右方向・上下方向の画素数を表すサイズ情報、１秒間に画像を取得もしくは再生するフレーム数であるフレームレート、等、画像信号入力部１０１に入力される立体画像信号の属性を表すデータである、メタデータを含む。
データ入力部１０２は、入力された関連データを物体情報抽出部１０３に出力する。
【００２５】
物体情報抽出部１０３には、画像信号入力部１０１から立体画像信号が、データ入力部１０２から関連データが、それぞれ入力される。物体情報抽出部１０３は、入力された立体画像信号から、入力された関連データを参照して物体毎の画像を表す物体情報を抽出する。即ち、抽出した物体情報は、物体（被写体）毎に表される画像を占める領域を表す情報である。この物体情報は、例えば各物体が占める座標に対して物体毎に異なる識別値を含む。
物体情報抽出部１０３は、入力された立体画像信号が表す距離画像信号と、抽出した物体情報を、案内画像生成部１０５及び表示画像生成部１０６に出力する。
【００２６】
ここで、物体情報抽出部１０３は、入力された立体画像信号がステレオ画像信号である場合には、左右画像信号が各々表す画像の視差量を求め、求めた視差量を視聴位置からのデプス値に変換し、距離画像信号を生成する。視差量とデプス値との対応関係については後述する。物体情報抽出部１０３は、視差量を求めるために、例えば左画像信号と右画像信号との間でブロックマッチングを行って左画像信号が表す画像に対応する領域を右画像信号からブロック毎に探索する。
【００２７】
物体情報抽出部１０３は、例えば、距離画像信号に基づいて物体情報を抽出する。ここで、物体情報抽出部１０３は、距離画像信号が表すデプス値が予め定めた値よりも少ない範囲で分布している各１つの領域を１つの物体を表す画像を占める領域と判断する。物体情報抽出部１０３は、判断された領域を表す情報を物体情報として生成する。これにより、物体情報抽出部１０３は、デプス値によって異なる物体の画像を表す物体情報を抽出することができる。
【００２８】
物体情報抽出部１０３は、その他、エッジ抽出法を用いて物体情報を抽出してもよい。ここで、物体情報抽出部１０３は、入力された平面画像信号に対して急激に輝度値が変化する領域であるエッジを抽出する。
物体情報抽出部１０３は、例えば、平面画像信号のある座標における輝度値と、左右方向又は上下方向に隣接する座標の輝度値との差分値を算出する。物体情報抽出部１０３は、算出した差分値の絶対値が予め定めた閾値よりも大きい場合、その座標がエッジであると判断する。物体情報抽出部１０３は、外縁がエッジで囲まれる各１つの閉じた領域を占める１つの物体を表す物体情報として生成する。
物体情報抽出部１０３は、その１つの閉じた領域に他の閉じた領域を含む場合や、他の閉じた領域が接触する場合には、距離画像信号を参照して、それが、この他の閉じた領域を占める他の物体であると判断してもよい。ここで、物体情報抽出部１０３は、他の閉じた領域の内外におけるデプス値の差分の絶対値が予め設定された閾値よりも大きい場合に、他の物体であると判断する。また、物体情報抽出部１０３は、過去のエッジを表す情報を記憶し、１つの閉じた領域の動き量と他の閉じた領域の位置の動き量の差分の絶対値が予め設定された値よりも大きい場合に他の物体であると判断してもよい。
これにより、物体情報抽出部１０３は、輝度によって異なる物体の画像を表す物体情報を抽出することができる。
【００２９】
操作入力部１０４は、利用者に対して案内画像に係る変数に対する設定を促す表示設定画面情報を記憶する記憶部を備える。
操作入力部１０４は、利用者による操作入力を検知し、表示設定画面情報を操作入力部１０４に内在する記憶部（図示せず）から読み出し、読み出した表示設定画面情報を画像表示部１０７に出力する。
また、操作入力部１０４は、画像表示部１０７が表示設定画面を表示しているとき、利用者による操作入力を検知し、検知した操作入力に基づいて案内画像に係る変数の設定値を決定する。操作入力部１０４は、決定した設定値を表す案内画像設定情報を、案内画像生成部１０５に出力する。表示設定画面情報、案内画像設定情報の具体例については後述する。
【００３０】
案内画像生成部１０５には、物体情報抽出部１０３から距離画像信号と物体情報とが入力される。
案内画像とは、その画像自体を表示する、視点からの奥行方向の距離を表す画像であり、奥行き感ガイドとも呼ぶ。
案内画像生成部１０５は、既定の案内画像の形状を表す案内画像パターン信号と、案内画像に係る既定の変数を予め記憶した案内画像データ記憶部１０５２（後述の図３６）を備える。
案内画像パターン信号は、例えば格子の画像を表す画像信号である。格子の画像は、長方形の外縁と、外縁に囲まれる領域の一部を左右方向又は上下方向に細長い躯体を表し、躯体が表されない領域が中空である画像である。
案内画像が格子の画像である場合、中空となる領域に立体画像信号が表す画像（元の画像）が表示される。これにより、案内画像の距離が、元の画像の距離と対比されるため、より視聴者に把握しやすくなるという効果がある。
【００３１】
案内画像生成部１０５は、案内画像データ記憶部１０５２から案内画像パターン信号を読み出す。
なお、案内画像生成部１０５は、操作入力部１０４から入力された案内画像設定情報に応じた態様で案内画像パターン信号を生成してもよい。案内画像パターン信号の例については後述する。
案内画像生成部１０５は、読み出した案内画像パターン信号の左右方向及び上下方向の幅を、入力された物体情報が表す物体が占める領域の幅と同一又はこれよりも大きくなるように変更し、リサイズ案内画像信号を生成する。
【００３２】
案内画像生成部１０５は、入力された物体情報が表す物体毎の平面座標において、その平面座標に対する距離画像信号が表すデプス値が示す位置（視点からの奥行方向の距離）に、案内画像が視聴者に知覚されるようにリサイズ案内画像信号を割り当てることによって、案内画像信号を生成する。
案内画像信号は、左眼に表示する左案内画像信号と右眼に表示する右案内画像信号を含む。案内画像生成部１０５は、そのデプス値が示す位置に、知覚される案内画像信号を生成するために、リサイズ案内画像信号を左案内画像信号と定める。案内画像生成部１０５は、そのデプス値に対応する視差量分だけ左右方向の座標がずれた位置にリサイズ案内画像信号を割り当てて右案内画像信号を生成する。このとき、左案内画像信号と右案内画像信号との間の視差量は一定である。視聴者が案内画像を視聴するとき、案内画像は、視点から距離が一定の平面として知覚される。そのため、案内画像の奥行方向の位置を、より把握しやすくなるという効果がある。
案内画像生成部１０５は、１つの物体に対する案内画像について一定の視差量を与えてもよい。その場合、案内画像生成部１０５は、各物体に対する案内画像の視差量に対応するデプス値を表す案内距離画像信号を生成してもよい。
案内画像生成部１０５が生成した左案内画像信号と右案内画像信号を案内画像信号と総称する。
案内画像生成部１０５は、生成した案内画像信号と案内距離画像信号を表示画像生成部１０６に出力する。
【００３３】
表示画像生成部１０６は、画像信号入力部１０１から立体画像信号が入力され、物体情報抽出部１０３から物体情報及び距離画像信号が入力される。表示画像生成部１０６は、案内画像生成部１０５から案内画像信号と案内距離画像信号が入力される。
ここで、表示画像生成部１０６は、入力された立体画像信号が平面画像信号と距離画像信号である場合には、その平面画像信号と距離画像信号に基づいて左画像信号及び右画像信号を生成する。表示画像生成部１０６は、例えば、平面画像信号を左画像信号と定める。表示画像生成部１０６は、各座標における平面画像信号の輝度値を、その座標における距離画像信号が表す視差量分ずれた座標に割り当てて右画像信号を生成する。
【００３４】
表示画像生成部１０６は、距離画像信号と案内距離画像信号を参照して、よりデプス値の小さいほうが優先されるように立体画像信号と案内画像信号を座標毎に合成して表示画像信号を生成する。なお、表示画像信号は、後述する左表示画像信号と右表示画像信号の総称である。
即ち、ある座標における立体画像信号に係る距離画像信号のデプス値が、案内距離画像信号のデプス値よりも小さい場合、表示画像生成部１０６は、その座標における左画像信号の輝度値を左表示画像信号の輝度値と定める。このとき、表示画像生成部１０６は、その座標における右画像信号の輝度値を右表示画像信号の輝度値と定める。
ある座標における立体画像信号に係る距離画像信号のデプス値が、案内距離画像信号のデプス値と等しいか、より大きい場合、表示画像生成部１０６は、その座標における左案内画像信号の輝度値を左表示画像信号の輝度値と定める。このとき、表示画像生成部１０６は、その座標における右案内画像信号の輝度値を、右表示画像信号の輝度値と定める。
表示画像生成部１０６は、生成した表示画像信号を画像表示部１０７に出力する。
【００３５】
画像表示部１０７は、表示画像生成部１０６から入力された表示画像信号が表す画像をディスプレイに表示する。画像表示部１０７は、表示画像信号に含まれる左表示画像信号が表す画像と右表示画像信号が表す画像を表示する。左表示画像信号が表す画像の原点と右表示画像信号が表す画像の原点の座標は、同一である。表示画像信号が表す画像を表示するディスプレイは、画像表示部１０７に内蔵されるものであっても画像表示部１０７から離れた場所に設置されたものであってもよい。
【００３６】
画像表示部１０７は、例えば、左表示画像信号が表す画像と右表示画像信号が表す画像を予め定めた時間間隔で（例えば、１／６０秒）交互にスクリーンに表示するプロジェクタである。視聴者は、この時間間隔に同期させて視聴者の左右各眼に光線を透過するか否かを制御することができるシャッター（例えば、液晶シャッター）を備えた立体視用眼鏡を用いて立体画像を視聴する。
画像表示部１０７は、その他左表示画像信号が表す画像と右表示画像信号が表す画像を互いに異なる偏光特性でスクリーンに表示するプロジェクタであってもよい。視聴者は、左表示画像信号に対する偏光特性に対応した偏光フィルタを左眼レンズに備え、右表示画像信号に対する偏光特性に対応した偏光フィルタを右眼レンズに備えた立体視用眼鏡を用いて立体画像を視聴する。
画像表示部１０７は、その他、左表示画像信号が表す画像と右表示画像信号が表す画像の上下方向に長い画像帯を交互に表示する表示面と、その前面を上下方向に延伸されたスリットを備えた視差バリア方式のディスプレイであってもよい。また、画像表示部１０７は、その表示面と、その前面を上下方向に延伸された凸レンズ（レンティキュラレンズ）を備えたレンティキュラ方式のディスプレイであってもよい。
【００３７】
ここで、視聴者がディスプレイに表された画像を視聴する場合を例にとって、視差量とデプス値との対応関係について説明する。
図２は、視聴者とディスプレイの位置関係の一例を表す概念図である。
図２において、左右方向は視聴者にとり左右方向を表し、上下方向は視聴者にとり奥深・手前方向を表す。
図２の上方に示された台形は、ディスプレイ１７３を表す。ディスプレイの中央部に示された黒丸は、ディスプレイに現された画像の一点１７４であり、後述する中点１７７から奥行方向に距離Ｌだけ離れた点である。
図２の左下に表された黒丸は、視聴者の左眼１７５を表す。図２の右下に表された黒丸は、視聴者の右眼１７６を表す。左眼１７５と右眼１７６の中間に表された黒丸は、両眼の中点１７７を表す。左眼１７５と右眼１７６との間の距離Ｔを両眼間距離と呼ぶ。点１７４から中点１７７までの距離Ｌが視聴者とディスプレイとの間の距離（「視聴距離」ともいう。）。視聴距離は、例えば、ディスプレイの垂直方向の幅（高さ方向の長さ）の３倍、又は視野角が３０°となる点からディスプレイまでの距離である。左眼１７５から点１７４を結ぶ線分と右眼１７６から点１７４を結ぶ線分がなす角αを輻輳角と呼ぶ。
図２において、左眼１７５から点１７４を結ぶ線分と右眼１７６から点１７４を結ぶ線分がディスプレイ１７３上で交わっていることは、点１７４と点１７７までの距離が、視聴距離Ｌで表されることを示す。これより、輻輳角αは、両眼幅Ｔと視聴距離Ｌと、式（１）に示される関係がある。
【００３８】
【数１】
【００３９】
図３は、視聴者とディスプレイの位置関係のその他の例を表す概念図である。
図３において、左右方向、上下方向が示す方向、ディスプレイ１７３、点１７４、左眼１７５、右眼１７６、及び中点１７７の位置関係は図２と同様である。
点１７４の右側に示されている点１８１は、左表示画像信号が表す画像の一点を表す。
点１７４の左側に示されている点１８２は、右表示画像信号が表す画像の一点であって、点１８１に対応する左表示画像信号が表す画像の一点を表す。点１８１と点１８２との間の距離が視差量ｄ１である。
点１８３は、左眼１７５から点１８１を結ぶ線分と右眼１７６から点１８２を結ぶ線分との交点である。ｍは、中点１７７から交点１８３までの距離を表す。視聴者は、交点１８３の位置（距離ｍ）に点１８１又は点１８２における画像を知覚する。
ここで、左眼１７５から交点１８３を結ぶ線分と右眼１７６から交点１８３を結ぶ線分がなす輻輳角β１は、距離ｍ及び両眼幅Ｔと式（２）で表される関係がある。
【００４０】
【数２】
【００４１】
距離ｍは、視聴者から、視聴者が知覚する点１８３の位置までの距離を示し、その値は、視差量と視聴距離に対して一意に決まる。
例えば、ここで、視差量ｄ１と交点１８３から点１７４までの距離Ｌ−ｍとの比が、両眼幅Ｔと距離ｍとの比と等しいことから、距離ｍは、視聴距離Ｌ、両眼幅Ｔ及び視差量ｄ１との間において式（３）で表される関係がある。
【００４２】
【数３】
【００４３】
式（３）より、画像がディスプレイ１７３よりも手前に知覚される場合の視差量の値と、視聴者から画像が知覚される位置までの距離の値であるデプス値とは、相互に変換可能である。
また、式（３）を式（２）に代入すると、輻輳角β１は、視聴距離Ｌ、両眼幅Ｔ及び視差量ｄ１との間において式（４）で表される関係がある。
【００４４】
【数４】
【００４５】
なお、距離ｍに対応する輻輳角β１から視聴距離Ｌに対応する輻輳角αを引いた差分値β１−αを視差角γ１と呼ぶ。視差角γ１がゼロより小さいときは、画像がディスプレイ１７３よりも遠方に知覚される。視差角γ１がゼロのときは、画像がディスプレイ上に知覚される。視差角γ１がゼロより大きいときは、画像がディスプレイ１７３よりも近傍に知覚される。
従って、図３に示す例は、距離ｍの値が視聴距離Ｌの値よりも小さい場合、輻輳角β１が輻輳角αよりも大きくなり（視差角γ１がゼロより大きい）、視聴者はディスプレイより手前に画像を知覚することを表す。
【００４６】
図４は、視聴者とディスプレイの位置関係のその他の例を表す概念図である。
図４において、左右方向、上下方向が示す方向、ディスプレイ１７３、点１７４、左眼１７５、右眼１７６、及び中点１７７の位置関係は図２と同様である。
点１７４の左に示されている点１９１は、左表示画像信号が表す画像の一点を表す。
点１７４の右側に示されている点１９２は、右表示画像信号が表す画像の一点であって、点１９１に対応する左表示画像信号が表す画像の一点を表す。点１９１と点１９２との間の距離が視差量ｄ２である。
点１９３は、左眼１７５から点１９１を結ぶ線分と右眼１７６から点１９２を結ぶ線分との交点である。ｎは、点１７４から交点１９３までの距離を表す。視聴者は、交点１９３の位置（距離（Ｌ＋ｎ））に点１９１又は点１９２における画像を知覚する。
ここで、左眼１７５から交点１９３を結ぶ線分と右眼１７６から交点１９３を結ぶ線分がなす輻輳角β２は、距離Ｌ＋ｎ及び両眼間距離Ｔと式（５）で表される関係がある。
【００４７】
【数５】
【００４８】
距離Ｌ＋ｎは、視聴者から画像が知覚される位置までの距離を示す。その値は、視差量と視聴距離に対して一意に決まる。
ここで、視差量ｄ２と交点１９３から点１７４までの距離ｎとの比が、両眼間距離Ｔと距離Ｌ＋ｎとの比と等しいことから、距離Ｌ＋ｎは、視聴距離Ｌ、両眼幅Ｔ及び視差量ｄ２との間において式（６）で表される関係がある。
【００４９】
【数６】
【００５０】
式（６）より、画像がディスプレイ１７３よりも奥に知覚される場合の視差量と、視聴者から画像が知覚される位置までの距離とは、相互に変換可能である。
また、式（６）を式（５）に代入すると、輻輳角β２は、視聴距離Ｌ、両眼幅Ｔ及び視差量ｄ２との間において式（７）で表される関係がある。
【００５１】
【数７】
【００５２】
なお、距離ｎに対応する輻輳角β２から視聴距離Ｌに対応する輻輳角αを引いた差分値β２−αを視差角γ２と呼ぶ。
従って、図４に示す例は、距離Ｌ＋ｎの値が視聴距離Ｌの値よりも大きい場合、輻輳角β２が輻輳角αよりも小さくなり（視差角γ２がゼロより小さい）、視聴者はディスプレイより奥に画像を知覚することを表す。
【００５３】
上述の実施形態において、案内画像生成部１０５は、例えば、式（３）が表す距離ｍと視差量ｄ１の関係及び、式（６）が示す距離ｎ＋Ｌと視差量ｄ２の関係を用いて、案内画像信号を生成してもよい。そのために、案内画像データ記憶部１０５２には、両眼幅Ｔ及び視聴距離Ｌに設置されたディスプレイの画素間間隔を上述の既定の変数として予め記憶させておいてもよい。
【００５４】
次に、本実施形態に係る立体画像処理について説明する。
図５は、本実施形態に係る立体画像処理を表すフローチャートである。
（ステップＳ１０１）画像信号入力部１０１は、外部から立体画像信号を入力される。
画像信号入力部１０１は、入力された立体画像信号を物体情報抽出部１０３及び表示画像生成部１０６に出力する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）データ入力部１０２は、外部から関連データを入力される。データ入力部１０２は、入力された関連データを物体情報抽出部１０３に出力する。その後、ステップＳ１０３に進む。
【００５５】
（ステップＳ１０３）物体情報抽出部１０３は、画像信号入力部１０１から立体画像信号を入力され、データ入力部１０２から関連データを入力される。物体情報抽出部１０３は、入力された立体画像信号から、関連データを算出して物体毎の画像を表す物体情報を抽出する。入力された立体画像信号がステレオ画像信号である場合には、左右画像信号が各々表す画像の視差量を求め、求めた視差量をデプス値に変換し、距離画像信号を生成する。
物体情報抽出部１０３は、入力された立体画像信号が表す距離画像信号と抽出した物体情報を案内画像生成部１０５及び表示画像生成部１０６に出力する。その後、ステップＳ１０４に進む。
【００５６】
（ステップＳ１０４）案内画像生成部１０５は、物体情報抽出部１０３から距離画像信号と物体情報が入力される。
案内画像生成部１０５は、その内部に設けられた案内画像データ記憶部１０５２（図３６）から案内画像パターン信号を読み出す。案内画像生成部１０５は、読み出した案内画像パターン信号の左右方向及び上下方向の幅を、入力された物体情報が表す物体が占める領域の幅と同一又はこれよりも大きくなるように変更し、リサイズ案内画像信号を生成する。
案内画像生成部１０５は、入力された物体情報が表す物体毎の平面座標において、その平面座標に対する距離画像信号に含まれるデプス値が表す距離に知覚されるように、リサイズ案内画像信号を割り当てて案内画像信号を生成する。
案内画像生成部１０５は、各物体に対する案内画像の視差量に対応する一定のデプス値を表す案内距離画像信号を生成する。案内画像生成部１０５は、生成した案内画像信号と案内距離画像信号を表示画像生成部１０６に出力する。その後、ステップＳ１０５に進む。
【００５７】
（ステップＳ１０５）表示画像生成部１０６は、画像信号入力部１０１から立体画像信号が入力され、物体情報抽出部１０３から距離画像信号と物体情報が入力される。表示画像生成部１０６は、案内画像生成部１０５から案内画像信号と案内距離画像信号が入力される。
表示画像生成部１０６は、距離画像信号と案内距離画像信号を参照して、よりデプス値の小さいほうが優先されるように立体画像信号と案内画像信号を座標毎に合成して表示画像信号を生成する。
表示画像生成部１０６は、生成した表示画像信号を画像表示部１０７に出力する。その後、ステップＳ１０６に進む。
（ステップＳ１０６）画像表示部１０７は、表示画像生成部１０６から入力された表示画像信号が表す画像をディスプレイに表示する。その後、処理を終了する。
【００５８】
次に立体画像処理装置１に入力された立体画像の一例について説明する。
図６は、立体画像の一例を表す図である。
図６上方の矩形の枠で囲まれた部分は、左画像Ｉ１０Ｌを表す。図６下方の矩形の枠で囲まれた部分は、右画像Ｉ１０Ｒを表す。左画像Ｉ１０Ｌ、右画像Ｉ１０Ｒの白抜きの部分は物体を表す画像を示す。左画像Ｉ１０Ｌ、右画像Ｉ１０Ｒの塗りつぶし部分は、背景を表す画像を示す。
左画像Ｉ１０Ｌの中央に示された破線の円で囲まれる部分Ｎ１０Ｌは、物体のデプス値のうち最も小さい、即ち視聴者からの距離が最も短い距離（最小距離）を与える点（最近景）を表す。左画像Ｉ１０Ｌの矩形の枠の左辺と最小距離の部分Ｎ１０Ｌとの間の距離ｄｎＬ１は、部分Ｎ１０Ｌの左右方向の座標を表す。左画像Ｉ１０Ｌにおいて、左画像Ｉ１０Ｌの左下に示された破線の円で囲まれる部分Ｆ１０Ｌは、物体のデプス値のうち最も大きい、即ち視聴者からの距離が最も長い距離（最大距離）を与える点（最遠景）を表す。左画像Ｉ１０Ｌの矩形の枠の左辺と部分Ｆ１０Ｌとの間の距離ｄｆＬ１は、部分Ｆ１０Ｌの左右方向の座標を表す。
右画像Ｉ１０Ｒの中央からやや左に示された破線の円で囲まれる部分Ｎ１０Ｒは、最小距離を与える点を表す。右画像Ｉ１０Ｒの左辺と部分Ｎ１０Ｒとの間の距離ｄｎＲ１は、部分Ｎ１０Ｒの左右方向の座標を表す。右画像Ｉ１０Ｒにおいて、右画像Ｉ１０Ｒの左下に示された破線の円で囲まれる部分Ｆ１０Ｒは、最大距離を与える部分を表す。右画像Ｉ１０Ｒの矩形の枠の左辺と部分Ｆ１０Ｒとの間の距離ｄｆＲ１は、Ｆ１０Ｒの左右方向の座標を表す。
従って、図６は、最大距離を与える部分の視差量がｄｆＲ１−ｄｆＬ１であることを示し、また、最小距離を与える部分の視差量がｄｎＲ１−ｄｎＬ１であることを示す。
案内画像生成部１０５は、物体に対応する案内画像信号に一定の視差量として最大距離又は最小距離に対応する視差量を与えて案内画像信号を生成してもよい。
【００５９】
次に立体画像処理装置１に入力された立体画像のその他の例について説明する。
図７は、立体画像のその他の例を表す図である。
図７の左側において、矩形の枠で囲まれた部分は、左画像Ｐ８Ｌを表す。図７の右側において、矩形の枠で囲まれた部分は、右画像Ｐ８Ｒを表す。
左画像Ｐ８Ｌの左側に示された画像は、物体Ｏ１を表す画像である。左画像Ｐ８Ｌの右下に示された画像は、物体Ｏ２を表す画像である。右画像Ｐ８Ｒの左側に示された画像は、物体Ｏ１を表す画像である。右画像Ｐ８Ｒの右下に示された画像は、物体Ｏ２を表す画像である。右画像Ｐ８Ｒにおいて物体Ｏ１及びＯ２は、ともに左画像Ｐ８Ｌよりも右側にずれた位置に表示されている。但し、物体Ｏ１のほうが物体Ｏ２よりもずれ（視差量）が大きい。
【００６０】
図８は、図７の物体間の位置関係の一例を表す表面図である。
図８において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥深・手前方向を表す。
図８は、図７に示される物体Ｏ１が物体Ｏ２よりも視聴者からの距離が長い位置（奥）に設置されていることを表す。従って、図８は、物体Ｏ２よりも視差量が大きい物体Ｏ１の画像が、距離がより長い位置に表されることを表す。
【００６１】
次に立体画像処理装置１が表示する表示画像の一例について説明する。
図９は、表示画像の一例を表す図である。
図９の左側において、矩形の枠で囲まれた部分は、左表示画像Ｐ９Ｌを表す。図９の右側において、矩形の枠で囲まれた部分は、右表示画像Ｐ９Ｒを表す。左表示画像Ｐ９Ｌ、右表示画像Ｐ９Ｒ各々において、物体Ｏ１を囲む格子状の画像は、案内画像Ｇ９１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ９１が重複する部分については、より距離が短い（手前）物体Ｏ１の画像が表されている。物体Ｏ２を囲む格子状の画像は、案内画像Ｇ９２を表す。ここで、物体Ｏ２の画像と案内画像Ｇ９２が重複する部分については、より距離が短い物体Ｏ２の画像が表されている。
【００６２】
図１０は、案内画像と物体の位置関係の一例を表す表面図である。
図１０において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥深・手前方向を表す。図１０は、案内画像Ｇ９１が、物体Ｏ１の最大距離に知覚されることを表す。案内画像Ｇ９２が、物体Ｏ２の最大距離に知覚されることを表す。
従って、図９、１０は、案内画像生成部１０５が、各物体に対応する案内画像信号に一定の視差量として最大距離に対応する視差量を与えて案内画像信号を生成することを表す。また、表示画像生成部１０６は、より距離が短いほうが優先されるように立体画像信号と案内画像信号を座標毎に合成して表示画像信号を生成することを表す。これにより、視聴者は案内画像Ｇ９１と物体Ｏ１を表す画像との対応関係や、案内画像Ｇ９１が表す距離と物体Ｏ１が表す距離との関係を明確に把握することができる。案内画像Ｇ９２と物体Ｏ２を表す画像についても同様である。
【００６３】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図１１は、表示画像のその他の例を表す図である。
図１１の左側において、枠で囲まれた画像は、左表示画像Ｉ１１Ｌを表す。図１１の右側において、枠で囲まれた画像は、右表示画像Ｉ１１Ｒを表す。左表示画像Ｉ１１Ｌ、右表示画像Ｉ１１Ｒ各々において、物体Ｏ１を囲む矩形の塗りつぶされた画像は、案内画像Ｇ１１１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ１１１が重複する部分については、物体Ｏ１の画像が表されている。物体Ｏ２を囲む矩形の塗りつぶされた画像は、案内画像Ｇ１１２を表す。ここで、物体Ｏ２の画像と案内画像Ｇ１１２が重複する部分については、物体Ｏ２の画像が表されている。
図１１は、案内画像生成部１０５が、案内画像データ記憶部１０５２から読み出した案内画像パターン信号が、図９とは異なり、矩形の塗りつぶしの案内画像パターンを用いることを示す。案内画像Ｇ１１１、Ｇ１１２は、内部が塗りつぶされているため、それぞれ物体Ｏ１、Ｏ２との境界が連続した線で表される。そのため、視聴者は、物体Ｏ１、Ｏ２と案内画像Ｇ１１１、Ｇ１１２の間の相対的な距離感を容易に把握することができる。
また、上述では案内画像パターンが、矩形の塗りつぶし画像である場合について説明した。このような画像では、矩形の内部の領域の輝度値に変化がないため、視聴者が左右の画像間の視差を知覚できず、ひいては距離を知覚できないことがある。そのため、矩形の塗りつぶし画像の代わりに、模様や、写真、などの輝度値が変化するテクスチャ画像を案内画像パターンとして用いてもよい。このようにして、視聴者が、案内画像の視差を容易に知覚できるようにして距離をより明確に把握しやすくなる。
【００６４】
図１２は、案内画像と物体の位置関係のその他の例を表す表面図である。
図１２において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。図１２は、案内画像Ｇ１１１が、物体Ｏ１の最大距離に知覚されることを表す。案内画像Ｇ１１２が、物体Ｏ２の最大距離に知覚されることを表す。
【００６５】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図１３は、表示画像のその他の例を表す図である。
図１３の左側において、矩形の枠で囲まれた部分は、左表示画像Ｉ１２Ｌを表す。図１１の右側において、矩形の枠で囲まれた部分は、右表示画像Ｉ１２Ｒを表す。左表示画像Ｉ１２Ｌ、右表示画像Ｉ１２Ｒ各々において、物体Ｏ１を囲む物体Ｏ１と相似形の画像は、案内画像Ｇ１２１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ１２１が重複する部分については、物体Ｏ１の画像が表されている。物体Ｏ２を囲む物体Ｏ２と相似形の画像は、案内画像Ｇ１２２を表す。ここで、物体Ｏ２の画像と案内画像Ｇ１２２が重複する部分については、物体Ｏ２の画像が表されている。
【００６６】
図１３は、案内画像生成部１０５が、物体情報抽出部１０３から入力された物体情報が表す物体Ｏ１、Ｏ２を占める領域を抽出して、各々案内画像パターン信号として生成することを示す。案内画像生成部１０５は、生成した案内画像パターン信号に対して各物体が占める領域を予め設定された拡大率情報（例えば、１．１倍）で拡大してリサイズ案内画像信号を生成する。案内画像生成部１０５は、生成した案内画像パターン信号に対して各物体が占める領域の左端と右端のうち少なくとも一方、及び上端と下端のうち少なくとも一方について、予め定めた径だけ拡大してリサイズ案内画像信号を生成してもよい。
案内画像Ｇ１２１、Ｇ１２２の形状は、それぞれ物体Ｏ１、Ｏ２の形状と相似形である。そのため、物体Ｏ１、Ｏ２と案内画像Ｇ１２１、Ｇ１２２の間の対応関係を容易に把握することができる。また、案内画像Ｇ１２１、Ｇ１２２は、水平方向及び垂直方向の幅が等しい矩形の案内画像Ｇ１１１、Ｇ１２２よりも占める面積が少なくて済む。
【００６７】
図１４は、案内画像と物体の位置関係のその他の例を表す表面図である。
図１４において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。図１４は、案内画像Ｇ１２１が、物体Ｏ１の最大距離に知覚されることを表す。案内画像Ｇ１２２が、物体Ｏ２の最大距離に知覚されることを表す。
【００６８】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図１５は、表示画像のその他の例を表す図である。
図１５の左側において、枠で囲まれた画像は、左表示画像Ｉ１４Ｌを表す。図１１の右側において、枠で囲まれた画像は、右表示画像Ｉ１４Ｒを表す。左表示画像Ｉ１４Ｌ、右表示画像Ｉ１４Ｒ各々において、物体Ｏ１を囲む格子状の画像は、案内画像Ｇ１４１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ１４１が重複する部分については、案内画像Ｇ１４１が表されている。但し、案内画像Ｇ１４１の画像において中空の部分については、物体Ｏ１の画像が表されている。
物体Ｏ２を囲む格子状の画像は、案内画像Ｇ１４２を表す。ここで、物体Ｏ２の画像と案内画像Ｇ１４２が重複する部分については、案内画像Ｇ１４２が表されている。但し、案内画像Ｇ１４２の画像において中空の部分については、物体Ｏ２の画像が表されている。
図１５は、案内画像生成部１０５が、案内画像データ記憶部１０５２から読み出した案内画像パターン信号が、図９と同様に、格子状の案内画像パターンを用いることを示す。
【００６９】
図１６は、案内画像と物体の位置関係のその他の例を表す表面図である。
図１６において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。図１６は、案内画像Ｇ１４１が、物体Ｏ１の最小距離に知覚されることを表す。案内画像Ｇ１４２が、物体Ｏ２の最小距離に知覚されることを表す。
従って、図１５、１６は、案内画像生成部１０５が、各物体に対応する案内画像信号に一定の視差量として最小距離に対応する視差量を与えて案内画像信号を生成することを表す。
また、案内画像生成部１０５は、図９と同様に格子状の案内画像パターンを用いて物体全体を覆わないような案内画像を表す案内画像信号を生成する。さらに、表示画像生成部１０６は、より距離が短いほうが優先されるように立体画像信号と案内画像信号を座標毎に合成して表示画像信号を生成することを表す。
これにより、視聴者は案内画像Ｇ１４１と物体Ｏ１を表す画像との対応関係や、案内画像Ｇ１４１が表す距離と物体Ｏ１が表す距離との関係を明確に把握することができる。案内画像Ｇ１４２と物体Ｏ２を表す画像についても同様である。
【００７０】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図１７は、表示画像のその他の例を表す図である。
図１７の左側において、枠で囲まれた画像は、左表示画像Ｉ１５Ｌを表す。図１７の右側において、枠で囲まれた画像は、右表示画像Ｉ１５Ｒを表す。左表示画像Ｉ１５Ｌ、右表示画像Ｉ１５Ｒ各々において、物体Ｏ１を囲む格子状の画像は、案内画像Ｇ１５１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ１５１が重複する部分のうち、物体Ｏ１の前面と、物体Ｏ１の側面のうち手前側の部分に物体Ｏ１の画像が表され、その他の部分に案内画像Ｇ１５１が表されている。物体Ｏ２を囲む格子状の画像は、案内画像Ｇ１５２を表す。ここで、物体Ｏ２の画像と案内画像Ｇ１５２が重複する部分のうち、物体Ｏ２の前面と、物体Ｏ２の側面のうち手前側の部分に物体Ｏ２の画像が表され、その他の部分に案内画像Ｇ１５２が表されている。
【００７１】
図１８は、案内画像と物体の位置関係のその他の例を表す表面図である。
図１８において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。図１８は、案内画像Ｇ１５１が、物体Ｏ１の最小距離に対応する距離と最大距離に対応する距離の平均である中心距離（中央値）に知覚されることを表す。案内画像Ｇ１５２が、物体Ｏ２の中心距離に知覚されることを表す。
従って、図１８、１９は、案内画像生成部１０５が、各物体に対応する案内画像信号に一定の視差量として中心距離に対応する視差量を与えて案内画像信号を生成することを表す。また、案内画像生成部１０５は、図９と同様に格子状の案内画像パターンを用いて物体全体を覆わない案内画像を表す案内画像信号を生成する。
さらに、表示画像生成部１０６は、より距離が短いほうが優先されるように立体画像信号と案内画像信号を座標毎に合成して表示画像信号を生成することを表す。これにより、視聴者は案内画像Ｇ１５１と物体Ｏ１を表す画像との対応関係や、案内画像Ｇ１５１が表す距離と物体Ｏ１が表す距離との関係を明確に把握することができる。案内画像Ｇ１５２と物体Ｏ２を表す画像についても同様である。
なお、案内画像生成部１０５は、中心距離の代わりに各物体の前面までの距離の平均である平均距離（平均値）を用いてもよい。
【００７２】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図１９は、表示画像のその他の例を表す図である。
図１９の左側において、枠で囲まれた画像は、左表示画像Ｉ２４Ｌを表す。図１９の右側において、枠で囲まれた画像は、右表示画像Ｉ２４Ｒを表す。左表示画像Ｉ２４Ｌ、右表示画像Ｉ２４Ｒ各々において、物体Ｏ１を囲む格子状の画像は、案内画像Ｇ２４１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ２４１が重複する部分には、案内画像Ｇ２４１が表されている。
但し、案内画像Ｇ２４１の画像において中空の部分については、物体Ｏ１の画像が表されている。物体Ｏ３の前面中心部には、他の物体Ｏ３の前面部分よりも凸な部分が示されている。物体Ｏ３を囲む格子状の画像は、案内画像Ｇ２４２を表す。ここで、物体Ｏ３の画像と案内画像Ｇ２４２が重複する部分のうち、物体Ｏ３の前面部と、物体Ｏ３の側面に案内画像Ｇ１５２が表され、物体Ｏ３の凸部に物体Ｏ３の画像が表されている。
【００７３】
図２０は、案内画像と物体の位置関係のその他の例を表す表面図である。
図２０において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。図２０は、案内画像Ｇ２４１が、物体Ｏ１の前面に対応する距離に知覚されることを表す。物体Ｏ１の前面は、物体Ｏ１表面までの距離のうち最も頻度が高い最頻距離であることを示す。また、図２０は、物体Ｏ３の凸部を除いた前面部に案内画像Ｇ２４２が知覚されることも表す。物体Ｏ３の凸部を除いた前面部は、物体Ｏ３の凸部を含んだ表面までの距離のうち最も頻度が高い最頻距離であることを示す。
従って、案内画像生成部１０５が、各物体に対応する案内画像信号に一定の視差量として最頻距離（最頻値）に対応する視差量を与えて案内画像信号を生成することを、図１９、２０は表す。
【００７４】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図２１は、表示画像のその他の例を表す図である。
図２１の左側において、枠で囲まれた画像は、左表示画像Ｉ１６Ｌを表す。図２１の右側において、枠で囲まれた画像は、右表示画像Ｉ１６Ｒを表す。左表示画像Ｉ１６Ｌ、右表示画像Ｉ１６Ｒ各々において、物体Ｏ１を囲む格子状の画像は、案内画像Ｇ１６１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ１６１が重複する部分には、案内画像Ｇ１６１が表されている。但し、案内画像Ｇ１６１の画像において中空の部分については、物体Ｏ１の画像が表されている。物体Ｏ２を囲む格子状の画像は、案内画像Ｇ１６２を表す。ここで、物体Ｏ２の画像と案内画像Ｇ１６２が重複する部分のうち、物体Ｏ２の周縁部に案内画像Ｇ１６２が表され、物体Ｏ２の中央部に物体Ｏ２の画像が表されている。
【００７５】
図２２は、案内画像と物体の位置関係のその他の例を表す表面図である。
図２２において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。図２２において、左右方向に延びる線分Ｄ０は、視差角がゼロ、つまり視聴者からディスプレイまでの距離（視聴距離）であることを表す線分である。
図２２は、案内画像Ｇ１６１、Ｇ１６２が、ともに視聴距離に知覚されることを表す。図２２は、物体Ｏ１全体の距離が視聴距離よりも長く、物体Ｏ２の中心部の距離が視聴距離よりも短く、物体Ｏ２の周縁部の距離が視聴距離よりも長いことを表す。
【００７６】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図２３は、表示画像のその他の例を表す図である。
図２３の左側において、枠で囲まれた画像は、左表示画像Ｉ２０Ｌを表す。図２３の右側において、枠で囲まれた画像は、右表示画像Ｉ２０Ｒを表す。左表示画像Ｉ２０Ｌ、右表示画像Ｉ２０Ｒ各々において、物体Ｏ１を囲む格子状の画像は、案内画像Ｇ２０１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ２０１が重複する部分には、物体Ｏ１の画像が表されている。物体Ｏ２を囲む格子状の画像は、案内画像Ｇ２０２を表す。ここで、物体Ｏ２の画像と案内画像Ｇ２０２が重複する部分には、物体Ｏ２の画像が表されている。
【００７７】
図２４は、案内画像と物体の位置関係のその他の例を表す表面図である。
図２４において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。図２４において、左右方向に延びる線分Ｄ０は、視聴者からの距離が視聴距離であることを表す線分である。
図２４は、案内画像Ｇ２０１、Ｇ２０２が、ともに物体Ｏ１及び物体Ｏ２よりも視聴者からの距離が長い距離（例えば、視聴距離より奥で、かつ視差角１°に対応する距離）に知覚されることを表す。
【００７８】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図２５は、表示画像のその他の例を表す図である。
図２５の左側において、枠で囲まれた画像は、左表示画像Ｉ２１Ｌを表す。図２５の右側において、枠で囲まれた画像は、右表示画像Ｉ２１Ｒを表す。左表示画像Ｉ２１Ｌ、右表示画像Ｉ２１Ｒ各々において、物体Ｏ１を囲む格子状の画像は、案内画像Ｇ２１１を表す。ここで、物体Ｏ１の画像と案内画像Ｇ２１１が重複する部分には、案内画像Ｇ２１１が表されている。物体Ｏ２を囲む格子状の画像は、案内画像Ｇ２１２を表す。ここで、物体Ｏ２の画像と案内画像Ｇ２１２が重複する部分には、案内画像Ｇ２１２が表されている。
【００７９】
図２６は、案内画像と物体の位置関係のその他の例を表す表面図である。
図２６において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。図２６において、左右方向に延びる線分Ｄ０は、視聴者からの距離が視聴距離であることを表す線分である。
図２６は、案内画像Ｇ２０１、Ｇ２０２が、ともに物体Ｏ１及び物体Ｏ２よりも視聴者からの距離が短い距離（例えば、視聴距離より手前で、かつ視差角１°に対応する距離）に知覚されることを表す。
【００８０】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図２７は、表示画像のその他の例を表す図である。
図２７の左側において、枠で囲まれた画像は、左表示画像Ｉ２３Ｌを表す。図２７の右側において、枠で囲まれた画像は、右表示画像Ｉ２３Ｒを表す。左表示画像Ｉ２３Ｌ、右表示画像Ｉ２３Ｒ各々において、物体Ｏ１及び物体Ｏ２を囲む格子状の画像は、案内画像Ｇ２３１を表す。このように、案内画像生成部１０５は、２以上の物体もしくは全ての物体を表す画像の領域を占める案内画像を生成してもよい。
例えば、案内画像生成部１０５は、物体情報と距離画像信号を参照して、ある物体の距離から予め設定された距離に対応する物体が属する物体のグループを表す物体グループ情報を生成する。その他、操作入力部１０４は、操作入力により物体グループ毎の物体を表す情報を含む案内画像設定情報を生成するようにしてもよい。案内画像生成部１０５は、操作入力部１０４から入力された案内画像設定情報が表す物体グループ情報を抽出する。そして、案内画像生成部１０５は、物体グループ毎の物体を表す画像の領域を占める案内画像を生成する。
これにより、複数の物体を表す画像相互間、当該物体を表す画像と案内画像との間で、利用者は距離感を比較することができ、より容易に各物体の距離感を把握することができる。
【００８１】
次に立体画像処理装置１が表示する表示画像のその他の例について説明する。
図２８は、表示画像のその他の例を表す図である。
図２８の左側において、枠で囲まれた画像は、左表示画像Ｉ２５Ｌを表す。図２８の右側において、枠で囲まれた画像は、右表示画像Ｉ２５Ｒを表す。左表示画像Ｉ２５Ｌ、右表示画像Ｉ２５Ｒ各々において、物体Ｏ１を囲む２つの格子状の画像のうち破線で示す方が案内画像Ｇ２５１を表し、実線で示す方が案内画像Ｇ２５２を表す。物体Ｏ２を囲む２つの格子状の画像のうち、破線で示す方が案内画像Ｇ２５３を表し、実線で示す方が案内画像Ｇ２５４を表す。図２８は、各物体について複数の案内画像を表す。但し、互いの表示位置が重複しないように、案内画像生成部１０５は、例えば、複数の案内画像を予め定めた水平方向及び垂直方向のずれ量でずれた位置に表示する。これにより、視聴者が各案内画像を容易に区別できるようになる。
また、案内画像生成部１０５は、複数個の案内画像を表示する場合、各案内画像をそれぞれ異なる色彩で表示しても構わない。これにより、視聴者は各案内画像の判別が容易となる。
【００８２】
図２９は、案内画像と物体の位置関係のその他の例を表す表面図である。
図２９において、左右方向は視聴者に対して左右方向を示し、上下方向は視聴者に対して奥行・手前方向を表す。
図２９は、案内画像Ｇ２５１が物体Ｏ１の最小距離に知覚され、案内画像Ｇ２５２が物体Ｏ１の最大距離に知覚されることを表す。案内画像Ｇ２５３が物体Ｏ２の最小距離に知覚され、案内画像Ｇ２５４が物体Ｏ２の最大距離に知覚されることを表す。
これにより、視聴者は、複数の案内画像を区別して把握でき、各案内画像と各物体との距離をより精密に比較することができ、物体毎の距離感を容易に把握することができる。
【００８３】
次に、立体画像処理装置１が表示する表示画像のその他の例について説明する。
図３０は、表示画像のその他の例を表す図である。
図３０の左側において、矩形の枠で囲まれた部分は、左表示画像Ｉ１３Ｌを表す。図３０の右側において、矩形の枠で囲まれた部分は、右表示画像Ｉ１３Ｒを表す。左表示画像Ｉ１３Ｌ、右表示画像Ｉ１３Ｒ各々において、左側の濃い塗りつぶし部分は、案内画像Ｇ１２１を表す。右側の濃い塗りつぶし部分は、案内画像Ｇ１２２を表す。
即ち、表示画像生成部１０６は、物体Ｏ１、Ｏ２を表す画像よりも案内画像Ｇ１２１、Ｇ１２２が優先されるように立体画像信号と案内画像信号を座標毎に合成して表示画像信号を生成することを表す。これにより、表示画像生成部１０６は、物体Ｏ１、Ｏ２を表す画像を非表示として、案内画像Ｇ１２１、Ｇ１２２が表す距離を視聴者に把握させることができる。そのため、視聴者は、各物体の最大距離又は最小距離について視差量の調整を容易に行うことができる。
なお、表示画像生成部１０６は、立体画像信号において、ある物体が占める領域の輝度値をゼロとして、案内画像信号と合成して表示画像信号を生成してもよい。これにより、その物体を非表示としてもよい。
【００８４】
次に、画像信号入力部１０１の構成例について説明する。
以下に説明する構成例は、画像信号入力部１０１が立体画像信号としてステレオ画像信号を入力し、ステレオ画像信号に含まれる左画像信号と右画像信号を多重化した形式を判断する構成を表す。
左画像信号と右画像信号を多重化する形式は、主に（ａ）サイドバイサイド形式、（ｂ）トップアンドボトム形式、（ｃ）フレームシーケンシャル形式の３つがある。
【００８５】
図３１は、サイドバイサイド形式で多重化した立体画像信号を表す概念図である。
図３１は、あるフレーム時刻における立体画像信号Ｉ１が表す画像を表す。立体画像信号Ｉ１の左半分には、左画像信号Ｉ１Ｌが配置され、立体画像信号Ｉ１の右半分には、右画像信号Ｉ１Ｒが配置されている。
図３２は、トップアンドボトム形式で多重化した立体画像信号を表す概念図である。
図３２は、あるフレーム時刻における立体画像信号Ｉ２が表す画像を表す。立体画像信号Ｉ２の上半分には、左画像信号Ｉ２Ｌが配置され、立体画像信号Ｉ２の下半分には、右画像信号Ｉ２Ｒが配置されている。
図３３は、フレームシーケンシャル形式で多重化した立体画像信号を表す概念図である。図３３は、予め定めた時間間隔（フレーム時間間隔の半分）毎に左画像信号Ｉ３１Ｌ、右画像信号Ｉ３１Ｒ、左画像信号Ｉ３２Ｌ、右画像信号Ｉ３２Ｒ等と、各フレームの左画像信号と右画像信号を交互に順列されている。
【００８６】
図３４は、本実施形態に係る画像信号入力部１０１の構成を表す概略図である。
画像信号入力部１０１は、データ形式記憶部１０１１、画像形式判断部１０１２、画像形式変換部１０１３、画像信号出力部１０１４、及び画像形式出力部１０１５を含んで構成される。
データ形式記憶部１０１１には、立体画像信号を多重化する多重化形式を表す形式情報を予め記憶させておく。
画像形式判断部１０１２は、データ形式記憶部１０１１に形式情報が記憶されているか否か判断する。記憶されていると判断されたとき、画像形式判断部１０１２は、データ形式記憶部１０１１から形式情報を読み出し、外部から入力された立体画像信号が多重化された多重化方式が、読み出された形式情報が表す多重化形式と異なるか否か判断する。異なると判断された場合、画像形式判断部１０１２は、立体画像信号の多重化形式を読み出した形式情報が表す多重化形式に変換することを表す変換要求信号を画像形式変換部１０１３に出力する。また、画像形式判断部１０１２は、入力された立体画像信号を画像形式変換部１０１３に出力する。
【００８７】
画像形式変換部１０１３は、画像形式判断部１０１２から入力された変換要求信号が表す多重化形式に入力された立体画像信号の多重化形式を変換する。画像形式変換部１０１３は、多重化形式を変換した場合には、多重化形式が変換された立体画像信号を画像信号出力部１０１４に出力する。画像形式変換部１０１３は、多重化形式を変換しなかった場合には、入力された立体画像信号を画像信号出力部１０１４に出力する。
画像形式変換部１０１３は、変換した多重化形式を表す形式情報を画像形式出力部１０１５に出力する。
【００８８】
画像信号出力部１０１４は、画像形式変換部１０１３から入力された立体画像信号を物体情報抽出部１０３及び表示画像生成部１０６に出力する。
画像形式出力部１０１５は、画像形式変換部１０１３から入力された形式情報を案内画像生成部１０５及び表示画像生成部１０６に出力する。従って、案内画像生成部１０５は、画像形式出力部１０１５から形式情報が入力されたとき、その形式情報が表す形式で案内画像信号を多重化する。表示画像生成部１０６は、画像形式出力部１０１５から形式情報が入力されたとき、その形式情報が表す形式で表示画像信号を多重化する。
【００８９】
図３５は、本実施形態に係る画像信号入力部１０１が行う画像信号入力処理を表すフローチャートである。
（ステップＳ２０１）画像形式判断部１０１２は、データ形式記憶部１０１１に形式情報が記憶されているか否か判断する。記憶されていると判断されたとき（ステップＳ２０１ Ｙ）、ステップＳ２０２に進む。記憶されていないと判断されたとき（ステップＳ２０１ Ｎ）、ステップＳ２０４に進む。
【００９０】
（ステップＳ２０２）画像形式判断部１０１２は、画像形式判断部１０１２は、入力された立体画像信号を画像形式変換部１０１３に出力する。画像形式判断部１０１２は、データ形式記憶部１０１１から読み出した形式情報が表す多重化形式と、外部から入力された立体画像信号が多重化された多重化方式が異なるか否か判断する。異なると判断された場合（ステップＳ２０２ Ｙ）、画像形式判断部１０１２は読み出した形式情報が表す多重化形式に変換することを表す変換要求信号を画像形式変換部１０１３に出力し、ステップＳ２０３に進む。異なっていないと判断された場合（ステップＳ２０２ Ｎ）、画像形式変換部１０１３は、画像形式判断部１０１２から入力された立体画像信号を画像信号出力部１０１４に出力し、ステップＳ２０４に進む。
【００９１】
（ステップＳ２０３）画像形式変換部１０１３は、画像形式判断部１０１２から入力された変換要求信号が表す多重化形式に入力された立体画像信号の多重化形式を変換する。画像形式変換部１０１３は、多重化形式を変換した場合には、多重化形式が変換された立体画像信号を画像信号出力部１０１４に出力する。その後、ステップＳ２０４に進む。
（ステップＳ２０４）画像信号出力部１０１４は、画像形式変換部１０１３から入力された立体画像信号を物体情報抽出部１０３及び表示画像生成部１０６に出力する。
画像形式出力部１０１５は、画像形式変換部１０１３から入力された形式情報を案内画像生成部１０５及び表示画像生成部１０６に出力する。その後、処理を終了する。
【００９２】
次に、案内画像生成部１０５の構成例について説明する。
以下に説明する構成例は、操作入力部１０４が利用者による操作入力によって案内画像設定情報を設定し、案内画像生成部１０５が設定された案内画像設定情報に基づいて案内画像信号を生成する構成である。
図３６は、本実施形態に係る案内画像生成部１０５の構成を表す概略図である。
案内画像生成部１０５は、案内画像設定情報決定部１０５１、案内画像データ記憶部１０５２、案内画像パターン生成部１０５３、サイズ調整部１０５４、視差付与部１０５５、画像形式入力部１０５６、及び多重化部１０５７を含んで構成される。
案内画像設定情報決定部１０５１は、操作入力部１０４から入力された案内画像設定情報を案内画像パターン生成部１０５２、及び視差付与部１０５５に出力する。また、案内画像設定情報決定部１０５１は、入力された案内画像設定情報から対象物体情報が表す物体に対する透明度情報を抽出し、抽出した透明度情報を表示画像生成部１０６に出力する。案内画像設定情報決定部１０５１は、操作入力部１０４から入力された案内画像消去信号を表示画像生成部１０６に出力する。案内画像設定情報の例、及び案内画像消去信号については後述する。
【００９３】
案内画像データ記憶部１０５２は、予め形状情報と対応付けて案内画像パターン信号が記憶されている。例えば、格子を表す形状情報と格子状の案内画像パターンを表す案内画像パターン信号が対応付けられて記憶されている。
案内画像パターン生成部１０５３は、案内画像設定情報決定部１０５１から案内画像設定情報が入力され、物体情報抽出部１０３から物体情報が入力される。
案内画像パターン生成部１０５３は、案内画像設定情報に含まれる形状情報に対応する案内画像パターン信号を読み出す。但し、その形状情報が対象物体の形状を表す場合には、案内画像パターン生成部１０５３は、案内画像を生成する対象として対象物体情報が表す物体が占める領域を入力された物体情報から抽出して、案内画像パターン信号として生成する。この対象物体情報は、案内画像設定情報に含まれる情報であって、案内画像を生成する対象とする物体を表す情報である。
案内画像パターン生成部１０５３は、案内画像設定情報に含まれる色彩情報が表す色信号値を、案内画像パターン信号が占める領域に割り当て、色彩付与案内画像パターン信号を生成する。案内画像パターン生成部１０５３は、生成した色彩付与案内画像パターン信号をサイズ調整部１０５４に出力する。
【００９４】
サイズ調整部１０５４は、案内画像パターン生成部１０５３から入力された色彩付与案内画像パターン信号の左右方向及び上下方向のサイズを変更して、リサイズ案内画像信号を生成する。変更後の径は、物体情報抽出部１０３から入力された物体情報が表す物体が占める領域の径と同一又は、予め設定された大きさだけ大きい径である。大きさ調整部１０５４は、生成したリサイズ案内画像信号を視差付与部１０５５に出力する。
【００９５】
視差付与部１０５５は、サイズ調整部１０５４からリサイズ案内画像信号を入力され、物体情報抽出部１０３から物体情報と距離画像信号を入力され、案内画像設定情報決定部１０５１から案内画像設定情報が入力される。
視差付与部１０５５は、リサイズ案内画像信号を左案内画像信号と定める。視差付与部１０５５は、対象物体情報が表す物体が占める領域を入力された物体情報から抽出し、抽出した領域に対応する距離の代表値を入力された距離画像信号から定める。
視差付与部１０５５は、この距離の代表値を、案内画像設定情報に含まれる視差情報に基づいて定める。例えば、視差情報が最大距離を表す場合、視差付与部１０５５は、抽出した領域に対応する距離の最大距離を距離の代表値と定める。視差情報が最小距離を表す場合、視差付与部１０５５は、抽出した領域に対応する距離の最小距離を距離の代表値と定める。視差情報が中心距離を表す場合、視差付与部１０５５は、抽出した領域に対応する距離の最小距離と最大距離の平均値である中心距離を距離の代表値と定める。視差情報が最頻距離を表す場合、視差付与部１０５５は、抽出した領域に対応する距離のうち最も頻度が高い頻度で現れる最頻距離を距離の代表値と定める。視差情報が視差角で与えられている場合、その視差角に対応する距離を距離の代表値と定める。
【００９６】
視差付与部１０５５は、定めた距離の代表値に対応する視差量を算出し、算出したその距離に対応する視差量分だけ左右方向の座標がずれた位置にリサイズ案内画像信号を割り当てて右案内画像信号を生成する。視差付与部１０５５は、生成した左案内画像信号と右案内画像信号を多重化部１０５７に出力する。
視差付与部１０５５は、対象物体毎に定めた距離の代表値をデプス値として、その物体が占める領域に割り当てた案内距離画像信号を生成する。視差付与部１０５５は、生成した案内距離画像信号を表示画像生成部１０６に出力する。
【００９７】
画像形式入力部１０５６は、画像形式出力部１０１５から入力された形式情報を多重化部１０５７に出力する。
多重化部１０５７は、画像形式入力部１０５６から入力された形式情報が表す多重化形式で、視差付与部１０５５から入力された左案内画像信号と右案内画像信号を多重化して案内画像信号を生成する。多重化部１０５７は、多重化した案内画像信号を表示画像生成部１０６に出力する。
【００９８】
次に案内画像生成部１０５が行う案内画像生成処理について説明する。
図３７は、本実施形態に係る案内画像生成処理を表すフローチャートである。
（ステップＳ３０１）案内画像パターン生成部１０５３は、案内画像設定情報決定部１０５１から案内画像設定情報が入力され、物体情報抽出部１０３から物体情報が入力される。
案内画像パターン生成部１０５３は、案内画像設定情報に含まれる形状情報に対応する案内画像パターン信号を読み出す。但し、その形状情報が対象物体の形状を表す場合には、案内画像パターン生成部１０５３は、案内画像を生成する対象として対象物体情報が表す物体が占める領域を入力された物体情報から抽出して、案内画像パターン信号として生成する。その後、ステップＳ３０２に進む。
【００９９】
（ステップＳ３０２）案内画像パターン生成部１０５３は、案内画像設定情報に含まれる色彩情報が表す色信号値を、案内画像パターン信号が占める領域に割り当て、色彩付与案内画像パターン信号を生成する。案内画像パターン生成部１０５３は、生成した色彩付与案内画像パターン信号をサイズ調整部１０５４に出力する。その後、ステップＳ３０３に進む。
【０１００】
（ステップＳ３０３）サイズ調整部１０５４は、案内画像パターン生成部１０５３から入力された色彩付与案内画像パターン信号の左右方向及び上下方向のサイズを変更して、リサイズ案内画像信号を生成する。変更後の径は、物体情報抽出部１０３から入力された物体情報が表す物体が占める領域の径と同一又は、予め設定された大きさだけ大きい径である。大きさ調整部１０５４は、生成したリサイズ案内画像信号を視差付与部１０５５に出力する。その後、ステップＳ３０４に進む。
【０１０１】
（ステップＳ３０４）視差付与部１０５５は、サイズ調整部１０５４からリサイズ案内画像信号を入力され、物体情報抽出部１０３から物体情報と距離画像信号を入力され、案内画像設定情報決定部１０５１から案内画像設定情報が入力される。
視差付与部１０５５は、リサイズ案内画像信号を左案内画像信号と定める。視差付与部１０５５は、対象物体情報が表す物体が占める領域を入力された物体情報から抽出し、抽出した領域に対応する距離の代表値を入力された距離画像信号から定める。
視差付与部１０５５は、この距離の代表値を、案内画像設定情報に含まれる視差情報に基づいて定める。視差付与部１０５５は、定めた距離の代表値に対応する視差量を算出し、算出したその距離に対応する視差量分だけ左右方向の座標がずれた位置にリサイズ案内画像信号を割り当てて右案内画像信号を生成する。視差付与部１０５５は、生成した左案内画像信号と右案内画像信号を多重化部１０５７に出力する。その後、ステップＳ３０５に進む。
【０１０２】
（ステップＳ３０５）視差付与部１０５５は、対象物体毎に定めた距離の代表値をデプス値として、その物体が占める領域に割り当てた案内距離画像信号を生成する。視差付与部１０５５は、生成した案内距離画像信号を表示画像生成部１０６に出力する。その後、ステップＳ３０６に進む。
（ステップＳ３０６）多重化部１０５７は、画像形式入力部１０５６から入力された形式情報が表す多重化形式で、視差付与部１０５５から入力された左案内画像信号と右案内画像信号を多重化して案内画像信号を生成する。多重化部１０５７は、多重化した案内画像信号を表示画像生成部１０６に出力する。その後、処理を終了する。
【０１０３】
次に、案内画像設定情報を決定する処理の一例について説明する。
図３８は、本実施形態に係る案内画像設定情報を決定する処理を表すフローチャートである。
（ステップＳ４０１）操作入力部１０４は、記憶部から表示設定画面情報を読み出し、読み出した表示設定画面情報を画像表示部１０７に出力する。画像表示部１０７は、操作入力部１０４から入力された表示設定画面情報が表す表示設定画面を表示する。表示設定画面の例については後述する。その後、ステップＳ４０２に進む。
（ステップＳ４０２）操作入力部１０４は、新たな案内画像を表示することを表す新規追加入力が検知されたか否か判断する。新規追加入力は、例えば、表示設定画面に表示された新規追加ボタンを示す操作入力である。新規追加入力が検知された場合（ステップＳ４０２ Ｙ）、ステップＳ４０３に進む。新規追加入力が検知されなかった場合（ステップＳ４０２ Ｎ）、ステップＳ４０９に進む。
【０１０４】
（ステップＳ４０３）操作入力部１０４は、後述する対象物体情報等の操作入力を受け付ける操作窓を追加表示した表示設定画面情報を生成し、生成した表示設定画面情報を画像表示部１０７に出力する。画像表示部１０７は、操作入力部１０４から入力された表示設定画面情報に基づく表示設定画面を表示する。
操作入力部１０４は、案内画像を表示する対象となる物体を表す対象物体情報の入力を検知する。その後、ステップＳ４０４に進む。
（ステップＳ４０４）操作入力部１０４は、視差情報の種別又は視差量の値を表す視差情報の入力を検知する。視差情報の種別は、例えば、上述の最大距離、最小距離、中心距離、平均距離、又は最頻距離である。視差量の値は、例えば、視差角０°、０．６°、１°、−０．６°、−１°、その他任意に入力された実数値である。上述のように視差量と距離は一意に対応することから、視差量の値を表す視差情報は、距離を表す距離情報の一形態である。その後、ステップＳ４０５に進む。
（ステップＳ４０５）操作入力部１０４は、案内画像パターンの形状を表す形状情報の入力を検知する。形状情報は、例えば、上述の格子、矩形、又は物体の形状である。その後、ステップＳ４０６に進む。
（ステップＳ４０６）操作入力部１０４は、案内画像の色彩を表す色彩情報の入力を検知する。色彩情報は、例えば、ＲＧＢ表色系で示される色空間値である。本実施形態では、その他の表色系、例えばＨＳＶ表色系で示される色空間値であってもよい。その後、ステップＳ４０７に進む。
（ステップＳ４０７）操作入力部１０４は、透明度情報の入力を検知する。透明度とは、案内画像が背後に表示される立体画像を透過して表示する度合いを表す指標値である。具体的には、透明度とは、案内画像信号と立体画像信号を合成して表示画像信号を生成する際、立体画像信号に対する比率を表す。透明度の最小値は０％であり、その場合には案内画像信号の輝度値が表示画像信号の輝度値として用いられる。透明度の最大値は１００％であり、その場合には立体画像信号の輝度値が表示画像信号の輝度値として用いられる。 但し、対象となる立体画像信号が表す立体画像は、案内画像よりも奥に知覚される立体画像である。その後、ステップＳ４０８に進む。
【０１０５】
（ステップＳ４０８）操作入力部１０４は、設定反映ボタンを追加表示した表示設定画面情報を画像表示部１０７に出力する。操作入力部１０４は、設定反映ボタンを示す操作入力が検知されると、入力された対象物体情報、視差情報、形状情報、色彩情報、又は透明度情報を含む一式の案内画像設定情報を生成する。操作入力部１０４は、生成した案内画像設定情報を案内画像設定情報決定部１０５１に出力する。その後、ステップＳ４０９に進む。
（ステップＳ４０９）操作入力部１０４は、削除ボタンを追加表示した表示設定画面を表す表示設定画面情報を画像表示部１０７に出力する。削除ボタンが表示される位置は、例えば、対象物体情報等の操作入力を受け付ける操作窓の近傍である。
操作入力部１０４は、案内画像を削除することを表す削除入力が検知されたか否か判断する。削除入力は、例えば、表示設定画面に表示された削除ボタンを示す操作入力である。削除入力が検知された場合（ステップＳ４０９ Ｙ）、ステップＳ４１０に進む。削除入力が検知されなかった場合（ステップＳ４０９ Ｎ）、ステップＳ４１１に進む。
【０１０６】
（ステップＳ４１０）操作入力部１０４は、削除入力に対応する案内画像設定情報を消去した表示設定画面情報を生成し、生成した表示設定画面情報を画像表示部１０７に出力する。これにより、表示設定画面に表示された表示設定画面情報が消去される。操作入力部１０４は、削除入力に対応する案内画像設定情報に対応する案内画像を消去することを表す案内画像消去信号を生成し、生成した案内画像消去信号を案内画像設定情報決定部１０５１に出力する。これにより、指示された案内画像が消去される。その後、ステップＳ４０２に進む。
【０１０７】
（ステップＳ４１１）操作入力部１０４は、新たに設定入力が検知されたか否か判断する。設定入力は、例えば、表示設定画面に表示された操作窓への操作入力である。設定入力が検知された場合（ステップＳ４１１ Ｙ）、ステップＳ４０３に進む。設定入力が検知されなかった場合（ステップＳ４１１ Ｎ）、ステップＳ４１２に進む。
（ステップＳ４１２）操作入力部１０４は、表示設定画面に対する消去入力が検知されたか否か判断する。消去入力は、例えば、表示設定画面の右上端に×印で示された消去ボタンへの操作入力である。消去入力が検知された場合（ステップＳ４１２ Ｙ）、ステップＳ４０２に進む。消去入力が検知された場合、処理を終了する。
【０１０８】
次に、本実施形態に係る表示設定画面の一例について説明する。
図３９は、本実施形態に係る表示設定画面の一例を表す図である。
表示設定画面Ｇ２８１は、ステップＳ４０２で表示される表示設定画面である。図３９の最上行の中央部の「奥行き感ガイド表示設定」という文字は表示設定画面であることを示す表題である。図３９の最上行の右端の×印は、削除ボタンである。図３９の最上行から２行目のオブジェクトＩＤ、視差、形状、透明度は、それぞれ対象物体情報、視差情報、形状情報、透明度情報を設定入力する項目を表す文字である。同行のＲ、Ｇ、Ｂは、色彩情報としてＲＧＢ表色系で示される赤色、緑色、青色の各成分の色空間値を設定入力する項目を表す文字である。
図３９の左下の「奥行き感ガイド新規追加」という文字が表されたボタンＧ２８２は、新規追加ボタンである。
【０１０９】
次に、本実施形態に係る表示設定画面のその他の例について説明する。
図４０は、本実施形態に係る表示設定画面のその他の例を表す図である。
表示設定画面Ｇ２８１は、ステップＳ４０３で表示される表示設定画面である。この表示設定画面Ｇ２８１には、図３９の表示設定画面Ｇ２８１に対して操作入力を受け付ける入力窓Ｇ２９１〜Ｇ２９７が、設定入力項目を表す文字の直下に追加されている。入力窓Ｇ２９１〜Ｇ２９３及びＧ２９７は、それぞれ対象物体情報、視差情報、形状情報、透明度情報に対する操作入力を受け付ける入力窓である。Ｇ２９４〜Ｇ２９６は、色彩情報としてＲＧＢ表色系で示される赤色、緑色、青色の各成分の色空間値に対する操作入力を受け付ける入力窓である。ここで入力窓Ｇ２９１には、対象物体情報として物体毎の識別値（オブジェクトＩＤ）１の操作入力が受け付けられ、その値１が表示されている。
【０１１０】
次に、本実施形態に係る表示設定画面のその他の例について説明する。
図４１は、本実施形態に係る表示設定画面のその他の例を表す図である。
表示設定画面Ｇ２８１は、ステップＳ４０４で表示される表示設定画面である。この表示設定画面Ｇ２８１には、図４０の表示設定画面Ｇ２８１に対して入力窓Ｇ２９２に、視差情報として最大距離（最遠景）の操作入力が受け付けられ、受け付けられた情報として最大距離が表示されている。入力窓Ｇ２９２の直下には、プルダウンメニューＧ３０１が表示されている。プルダウンメニューＧ３０１は、入力窓Ｇ２９２を指示する操作入力が受け付けられると表示される。プルダウンメニューＧ３０１には、予め設定された視差情報の候補を表す文字が示される。図４１では、視差情報の候補を表す文字として、最大距離（最遠景）、最小距離（最近景）、中心距離（中央値）、最頻距離（最頻値）、視差角０°、視差角−１°、視差角１°、視差角−０．６°、視差角＋０．６°、視差角(任意)、奥行５ｃｍが示されている。ここで、示された文字の何れかについて操作入力が受け付けられると、操作入力が受け付けられた文字に対応した視差情報の候補の何れかが選択される。
【０１１１】
図４１に示す例では、視差情報として視差量の種別の一つである最大距離（最遠景）が選択され、選択された視差情報を表す文字である最遠景が入力窓Ｇ２９２に示されている。
奥行５ｃｍとは、ディスプレイ面よりも奥に知覚され、かつ視差量の大きさ、つまり、画面上での左右画像のずれの量が５ｃｍとなる立体画像の視差角を表す視差情報の一例を表す。ここで、視差量が、視聴者の両眼幅よりも大きくなると、瞳孔が正面よりも外側に向いてしまい、斜位や斜視等の症状を発するおそれがある。そのため、視差量が、視聴者の両眼幅を超えないことが望ましい。即ち、上述の奥行５ｃｍとは、両眼幅が成人（例えば、６．３ｃｍ）に比べて小さい小児（例えば、５ｃｍ）に対して、両眼幅よりも大きな視差量を与える立体画像を視聴させることを禁止させるための目安である。利用者がこの項目を選択することで、ディスプレイ面よりも奥に知覚され、かつ視差量が５ｃｍとなる案内画像を表示させることができる。この案内画像を用いることによって、立体視の機能が未成熟な小児を保護する手がかりが与えられる。
なお、視差角（任意）が選択された場合には、視差角を表す任意の実数値に対する操作入力を受け付けるための追加入力窓Ｇ３１１が入力窓Ｇ２９２の直下にさらに表示される。
【０１１２】
次に、本実施形態に係る表示設定画面のその他の例について説明する。
図４２は、本実施形態に係る表示設定画面のその他の例を表す図である。
表示設定画面Ｇ２８１は、図４１の表示設定画面Ｇ２８１に対して追加入力窓Ｇ３１１が表示されている。追加入力窓Ｇ３１１には視差角を表す値＋０．５°について操作入力が受け付けられ、この値を表す＋０．５°を表す文字が示されている。
【０１１３】
次に、本実施形態に係る表示設定画面のその他の例について説明する。
図４３は、本実施形態に係る表示設定画面のその他の例を表す図である。
表示設定画面Ｇ２８１は、ステップＳ４０５で表示される表示設定画面である。この表示設定画面Ｇ２８１には、図４１の表示設定画面Ｇ２８１に対して入力窓Ｇ２９３に、形状情報として格子の操作入力が受け付けられ、受け付けられた情報として格子が表示されている。入力窓Ｇ２９３の直下には、プルダウンメニューＧ３２１が表示されている。プルダウンメニューＧ３２１は、入力窓Ｇ２９３を指示する操作入力が受け付けられると表示される。プルダウンメニューには、予め設定された形状情報の候補を表す文字が示される。図４３では、形状情報の候補を表す文字として、格子、矩形、物体の形状のいずれかが示されている。ここで、示された文字の何れかについて操作入力が受け付けられると、操作入力が受け付けられた文字に対応した形状情報の候補の何れかが選択される。図４３に示す例では、形状情報として格子状の案内画像パターン信号を表す格子が選択され、選択された形状情報を表す文字である格子が入力窓Ｇ２９３に示されている。
【０１１４】
次に、本実施形態に係る表示設定画面のその他の例について説明する。
図４４は、本実施形態に係る表示設定画面のその他の例を表す図である。
表示設定画面Ｇ２８１は、ステップＳ４０８で表示される表示設定画面である。この表示設定画面Ｇ２８１には、図４３の表示設定画面Ｇ２８１に対して入力窓Ｇ２９４〜Ｇ２９６には、操作入力が受け付けられた赤色、緑色、青色の各成分の色空間値として、２５５、０、０が表示されている。入力窓Ｇ２０７には、操作入力が受け付けられた透明度の値として０が表示されている。表示設定画面Ｇ２８１の右下の設定の反映という文字が表されたボタンは設定反映ボタンＧ２９９を表す。
【０１１５】
次に、本実施形態に係る表示設定画面のその他の例について説明する。
図４５は、本実施形態に係る表示設定画面のその他の例を表す図である。
表示設定画面Ｇ２８１は、ステップＳ４０９で表示される表示設定画面である。この表示設定画面Ｇ２８１には、図４４の表示設定画面Ｇ２８１に対して設定反映ボタンＧ２９９が削除されている。入力窓Ｇ２９７の右横に削除という文字が表されたボタンは、削除ボタンＧ２９８を表す。
【０１１６】
次に、本実施形態に係る表示画像生成部１０６の構成例について説明する。
図４６は、本実施形態に係る表示画像生成部１０６の構成を表す概略図である。
表示画像生成部１０６は、表示画像合成部１０６１及び表示画像多重化部１０６２を含んで構成される。
表示画像合成部１０６１は、画像信号出力部１０１４から立体画像信号が入力され、物体情報抽出部１０３から距離画像信号と物体情報が入力される。表示画像合成部１０６１は、視差付与部１０５５から案内距離画像信号が入力され、多重化部１０５７から案内画像信号が入力される。表示画像合成部１０６１は、案内画像設定情報決定部１０５１から透明度情報及び案内画像消去情報が入力される。
【０１１７】
表示画像合成部１０６１は、入力された立体画像信号から左画像信号と右画像信号を分離する。表示画像合成部１０６１は、入力された立体画像信号が平面画像信号と距離画像信号である場合には、その平面画像信号と距離画像信号に基づいて左画像信号と右画像信号を生成する。
また、表示画像合成部１０６１は、入力された案内画像信号から左案内画像信号と右案内画像信号を分離する。
【０１１８】
表示画像合成部１０６１は、入力された距離画像信号と案内距離画像信号を参照して、
より距離が短いほうが優先されるように立体画像信号と案内画像信号を座標毎に合成して表示画像信号を生成する。但し、案内画像信号を表示する場合には透明度情報を考慮して両画像信号の輝度値を重み付け加算して表示画像信号の輝度値を算出する。そこで、表示画像合成部１０６１は、透明度情報を考慮する座標を、物体情報を参照して透明度情報が表す物体が占める領域に含まれる座標と定める。なお、以下では、１から透明度情報が表す透明度を減じて得られる値を寄与度と呼ぶ。
【０１１９】
具体的には、ある座標における立体画像信号に係る距離画像信号のデプス値が、案内距離画像信号のデプス値よりも小さい場合、表示画像合成部１０６１は、その座標における左画像信号の輝度値を左表示画像信号の輝度値と定める。この場合、表示画像合成部１０６１は、その座標における右画像信号の輝度値を右表示画像信号の輝度値と定める。
ある座標における立体画像信号に係る距離画像信号のデプス値が、案内距離画像信号のデプス値と等しいか、より大きい場合、表示画像合成部１０６１は、その座標における左案内画像信号の輝度値に寄与度を乗じ、左画像信号の輝度値に透明度を乗じて重み付け加算した値を左表示画像信号の輝度値と定める。この場合、表示画像合成部１０６１は、その座標における右案内画像信号の輝度値に寄与度を乗じ、右画像信号の輝度値に透明度を乗じて重み付け加算した値を右表示画像信号の輝度値と定める。
【０１２０】
ある座標における立体画像信号に係る距離画像信号のデプス値が、案内距離画像信号のデプス値と等しいか、より大きい場合であって、透明度情報を考慮しない場合には、表示画像合成部１０６１は、その座標における左案内画像信号の輝度値を左表示画像信号の輝度値と定める。この場合、表示画像合成部１０６１は、その座標における右案内画像信号の輝度値を右表示画像信号の輝度値と定める。
【０１２１】
案内画像消去情報が入力された場合には、表示画像合成部１０６１は、案内画像信号との合成を停止し、立体画像信号を表示画像信号として表示画像多重化部１０６２に出力する。
但し、表示画像合成部１０６１は、物体情報を参照して案内画像消去情報が表す物体が占める領域に含まれる座標を案内画像信号との合成を静止する座標と定める。これにより、その物体についての案内画像が消去される。
表示画像合成部１０６１は、上述のように各座標における輝度値を定めることによって左表示画像信号と右表示画像信号を生成する。表示画像合成部１０６１は、生成した左表示画像信号と右表示画像信号を表示画像多重化部１０６２に出力する。
【０１２２】
表示画像多重化部１０６２は、表示画像合成部１０６１から入力された左表示画像信号と右表示画像信号を画像形式出力部から入力された形式情報が表す多重化形式で多重化して、表示画像信号を生成する。表示画像多重化部１０６２は、生成した表示画像信号を画像表示部１０７に出力する。なお、この形式情報が表す多重化方式を、画像表示部１０７が処理可能な多重化方式と予め設定し、予めこの形式情報をデータ形式記憶部１０１１に記憶しておく。これにより、画像表示部１０７は、表示画像多重化部１０６２から入力された表示画像信号に基づく画像を表示することができる。
【０１２３】
このように、本実施形態によれば、立体画像を表す立体画像信号から物体毎の画像を表す物体情報を抽出し、抽出された物体情報が表す物体の視点からの距離に案内画像を表す案内画像信号を生成し、生成した案内画像信号が表す案内画像を前記物体の少なくとも一部を占める領域に立体画像信号が表す画像と合成する。これにより、利用者にとって案内画像と物体を表す画像との対応関係が明らかになり、案内画像が表す距離と物体の距離を比較できるため物体の距離感を容易に把握することができる。
【０１２４】
上述では、立体画像信号、案内画像信号、表示画像信号がともに２視点の２視点画像信号である場合を例にとって説明したが、本実施形態では、これには限られない。本実施形態では、２視点よりも視点数が多い多視点画像信号であってもよい。多視点画像信号は、少ないとも1つの視点の基準画像信号と、その1つの視点と他の視点との関係を表す視点情報（例えば、距離画像信号）を用いて生成することができる。本実施形態では、視点毎に立体画像信号と案内画像信号を合成することによって多視点の表示画像信号を生成することができる。
【０１２５】
上述では、案内画像生成部１０５が案内画像信号を生成し、表示画像生成部１０６が表示画像信号を生成する際に、左側の画像信号（左案内画像信号、左表示画像信号、等）を基準に視差量を付与した右側の画像信号を生成する場合を例にとって説明した。本実施形態では、これには限られず、例えば、右側の画像信号を基準に視差量を付与した左側の画像信号を生成してもよい。また、本実施形態では、その他、基準となる画像信号に、各々その視差量の値の半分の値の視差量を左右各方向に付与して左側の画像信号と右側の画像信号を生成してもよい。
【０１２６】
上述では、表示設定画面を表示画像と同一の画像表示手段である画像表示部１０７に表示する場合を例にとって説明したが、本実施形態では、これには限られない。本実施形態では、表示画像と表示設定画面を異なる画像表示手段に表示してもよい。
【０１２７】
上述では、操作入力部１０４が設定反映ボタンを示す操作入力を検知してから案内画像設定情報を案内画像設定情報決定部１０５１に出力する場合を例にとって説明したが、本実施形態ではこれには限られない。本実施形態では、操作入力部１０４は、案内設定情報一部について操作入力が検知されたら、操作入力が検知された情報を即座に案内画像設定情報決定部１０５１に出力してもよい。これにより、視聴者が操作入力した案内設定情報に応じて案内画像の表示形態を実時間で変更することができる。例えば、視聴者は案内画像が知覚される距離を逐次に変更することができる。これにより、視聴者は各物体の画像の距離をより的確に把握することができる。
【０１２８】
なお、上述した実施形態における立体画像処理装置１の一部、例えば、物体情報抽出部１０３、案内画像生成部１０５、及び表示画像生成部１０６をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、立体画像処理装置１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における立体画像処理装置１装置の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。立体画像処理装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【０１２９】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【０１３０】
１…立体画像処理装置、
１０１…画像信号入力部、１０１１…データ形式記憶部、１０１２…画像形式判断部、
１０１３…画像形式変換部、１０１４…画像信号出力部、１０１５…画像形式出力部、
１０２…データ入力部、１０３…物体情報抽出部、１０４…操作入力部、
１０５…案内画像生成部、１０５１…案内画像設定情報決定部、
１０５２…案内画像データ記憶部、１０５３…案内画像パターン生成部、
１０５４…サイズ調整部、１０５５…視差付与部、１０５６…画像形式入力部、
１０５７…多重化部
１０６…表示画像生成部、１０６１…表示画像合成部、１０６２…表示画像多重化部
１０７…画像表示部
【特許請求の範囲】
【請求項１】
立体画像を表す立体画像信号から物体毎の画像を表す物体情報を抽出する物体情報抽出部と、
前記抽出された物体情報が表す物体の視点からの距離に案内画像を表す案内画像信号を生成する案内画像生成部と、
前記生成した案内画像信号が表す案内画像を前記物体の少なくとも一部を占める領域に前記立体画像信号が表す画像と合成する画像信号合成部と、
を備えることを特徴とする立体画像処理装置。
【請求項２】
前記案内画像生成部は、前記案内画像として前記距離が一定の画像を表す案内画像信号を生成することを特徴とする請求項１に記載の立体画像処理装置。
【請求項３】
前記案内画像生成部は、前記物体の視点からの距離が最大となる最大距離に前記案内画像を表す案内画像信号を生成することを特徴とする請求項２に記載の立体画像処理装置。
【請求項４】
前記案内画像生成部は、前記物体の視点からの距離が最小となる最小距離に前記案内画像を表す案内画像信号を生成することを特徴とする請求項２に記載の立体画像処理装置。
【請求項５】
前記案内画像生成部は、前記物体の視点からの距離が最大となる最大距離と前記物体の視点からの距離が最小となる最小距離の中間である中心距離に前記案内画像を表す案内画像信号を生成することを特徴とする請求項２に記載の立体画像処理装置。
【請求項６】
前記案内画像生成部は、前記物体の視点からの距離の平均である平均距離に前記案内画像を表す案内画像信号を生成することを特徴とする請求項２に記載の立体画像処理装置。
【請求項７】
前記案内画像生成部は、前記物体の視点からの距離が最頻となる最頻距離に前記案内画像を表す案内画像信号を生成することを特徴とする請求項２に記載の立体画像処理装置。
【請求項８】
操作入力を受け付けて、前記物体の視点からの距離を表す距離情報を入力する操作入力部を備え、
前記案内画像生成部は、前記入力された距離情報が表す距離に前記案内画像を表す案内画像信号を生成することを特徴とする請求項１に記載の立体画像処理装置。
【請求項９】
前記案内画像生成部は、前記物体情報に対応する物体の形状を有する案内画像を表す前記案内画像信号を生成することを特徴とする請求項１に記載の立体画像処理装置。
【請求項１０】
前記画像信号合成部は、前記生成した案内画像信号を、前記物体を占める領域に前記立体画像信号よりも優先して前記立体画像信号と合成することを特徴とする請求項１に記載の立体画像処理装置。
【請求項１１】
前記案内画像生成部は、前記物体情報に対応する物体のうち少なくとも２以上の物体のいずれかの距離に表わされる案内画像を表す案内画像信号を生成し、
前記画像信号合成部は、前記案内画像信号が表す案内画像を、前記少なくとも2以上の物体の各々について少なくとも一部を占める領域に前記立体画像信号が表す画像と合成することを特徴とする請求項１に記載の立体画像処理装置。
【請求項１２】
立体画像処理装置における立体画像処理方法において、
前記立体画像処理装置が、立体画像を表す立体画像信号から物体毎の画像を表す物体情報を抽出する過程と、
前記立体画像処理装置が、前記抽出された物体情報が表す物体の視点からの距離に案内画像を表す案内画像信号を生成する過程と、
前記立体画像処理装置が、前記生成した案内画像信号が表す案内画像を前記物体の少なくとも一部を占める領域に前記立体画像信号が表す画像と合成する過程とを有すること
を特徴とする立体画像処理方法。
【請求項１３】
立体画像処理装置のコンピュータに、
立体画像を表す立体画像信号から物体毎の画像を表す物体情報を抽出する手順、
前記抽出された物体情報が表す物体の視点からの距離に案内画像を表す案内画像信号を生成する手順、
前記生成した案内画像信号が表す案内画像を前記物体の少なくとも一部を占める領域に前記立体画像信号が表す画像と合成する手順
を実行させるための立体画像処理プログラム。
【請求項１】
立体画像を表す立体画像信号から物体毎の画像を表す物体情報を抽出する物体情報抽出部と、
前記抽出された物体情報が表す物体の視点からの距離に案内画像を表す案内画像信号を生成する案内画像生成部と、
前記生成した案内画像信号が表す案内画像を前記物体の少なくとも一部を占める領域に前記立体画像信号が表す画像と合成する画像信号合成部と、
を備えることを特徴とする立体画像処理装置。
【請求項２】
前記案内画像生成部は、前記案内画像として前記距離が一定の画像を表す案内画像信号を生成することを特徴とする請求項１に記載の立体画像処理装置。
【請求項３】
前記案内画像生成部は、前記物体の視点からの距離が最大となる最大距離に前記案内画像を表す案内画像信号を生成することを特徴とする請求項２に記載の立体画像処理装置。
【請求項４】
前記案内画像生成部は、前記物体の視点からの距離が最小となる最小距離に前記案内画像を表す案内画像信号を生成することを特徴とする請求項２に記載の立体画像処理装置。
【請求項５】
前記案内画像生成部は、前記物体の視点からの距離が最大となる最大距離と前記物体の視点からの距離が最小となる最小距離の中間である中心距離に前記案内画像を表す案内画像信号を生成することを特徴とする請求項２に記載の立体画像処理装置。
【請求項６】
前記案内画像生成部は、前記物体の視点からの距離の平均である平均距離に前記案内画像を表す案内画像信号を生成することを特徴とする請求項２に記載の立体画像処理装置。
【請求項７】
前記案内画像生成部は、前記物体の視点からの距離が最頻となる最頻距離に前記案内画像を表す案内画像信号を生成することを特徴とする請求項２に記載の立体画像処理装置。
【請求項８】
操作入力を受け付けて、前記物体の視点からの距離を表す距離情報を入力する操作入力部を備え、
前記案内画像生成部は、前記入力された距離情報が表す距離に前記案内画像を表す案内画像信号を生成することを特徴とする請求項１に記載の立体画像処理装置。
【請求項９】
前記案内画像生成部は、前記物体情報に対応する物体の形状を有する案内画像を表す前記案内画像信号を生成することを特徴とする請求項１に記載の立体画像処理装置。
【請求項１０】
前記画像信号合成部は、前記生成した案内画像信号を、前記物体を占める領域に前記立体画像信号よりも優先して前記立体画像信号と合成することを特徴とする請求項１に記載の立体画像処理装置。
【請求項１１】
前記案内画像生成部は、前記物体情報に対応する物体のうち少なくとも２以上の物体のいずれかの距離に表わされる案内画像を表す案内画像信号を生成し、
前記画像信号合成部は、前記案内画像信号が表す案内画像を、前記少なくとも2以上の物体の各々について少なくとも一部を占める領域に前記立体画像信号が表す画像と合成することを特徴とする請求項１に記載の立体画像処理装置。
【請求項１２】
立体画像処理装置における立体画像処理方法において、
前記立体画像処理装置が、立体画像を表す立体画像信号から物体毎の画像を表す物体情報を抽出する過程と、
前記立体画像処理装置が、前記抽出された物体情報が表す物体の視点からの距離に案内画像を表す案内画像信号を生成する過程と、
前記立体画像処理装置が、前記生成した案内画像信号が表す案内画像を前記物体の少なくとも一部を占める領域に前記立体画像信号が表す画像と合成する過程とを有すること
を特徴とする立体画像処理方法。
【請求項１３】
立体画像処理装置のコンピュータに、
立体画像を表す立体画像信号から物体毎の画像を表す物体情報を抽出する手順、
前記抽出された物体情報が表す物体の視点からの距離に案内画像を表す案内画像信号を生成する手順、
前記生成した案内画像信号が表す案内画像を前記物体の少なくとも一部を占める領域に前記立体画像信号が表す画像と合成する手順
を実行させるための立体画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【公開番号】特開２０１３−１０６２５３（Ｐ２０１３−１０６２５３Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４９７６１（Ｐ２０１１−２４９７６１）
【出願日】平成２３年１１月１５日（２０１１．１１．１５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１５日（２０１１．１１．１５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]