立体画像表示装置
【課題】従来の方式では、最前面と最背面の視差の値の単純な差分や、その時間的な累積値のみで立体映像の安全性や快適性を判定しているため、現実的に快適に視聴できるにもかかわらず、快適でないという誤った評価結果が出力される場合があった。
【解決手段】本発明は、立体画像を構成する左眼用画像と右眼用画像とを取得し、立体画像の視差角分布を取得し、当該視差角分布に基づいて立体画像の見やすさを評価する構成を有するものである。当該構成を有することによって、立体画像の安全性や快適性に関してより適切な評価結果を出力することが可能になる。
【解決手段】本発明は、立体画像を構成する左眼用画像と右眼用画像とを取得し、立体画像の視差角分布を取得し、当該視差角分布に基づいて立体画像の見やすさを評価する構成を有するものである。当該構成を有することによって、立体画像の安全性や快適性に関してより適切な評価結果を出力することが可能になる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像の見やすさを評価する立体画像評価装置に関する。
【背景技術】
【０００２】
従来、３次元画像を表示するための様々な方法が提案されてきた。その中でも一般的に用いられているのは、両眼視差を利用する「２眼式」と呼ばれるものである。この方式は、両眼視差を持った左眼用の画像と右眼用の画像（以下、それぞれ左眼用画像、右眼用画像という）を用意し、それぞれ独立に左右の目に投影することにより立体視を行うことができる。
【０００３】
非特許文献１においては、両眼視差を用いた３次元画像（以下、３Ｄ画像という）を作成するための３ＤＣ安全ガイドラインが記載されている。両眼視差を用いた３Ｄ画像では、立体の飛び出し感、奥行き感は視差の調整で制御できるが、瞳孔間間隔の狭い人や子供は立体感を強く感じやすい。また、３Ｄ画像をディスプレイ面の後方に表示する場合、ディスプレイ上で両眼瞳孔間間隔を超える視差があると、眼精疲労や、斜位や斜視などの症状を引き起こす可能性があり、このような大きな視差をつけることは可能な限り避ける必要がある。
【０００４】
３ＤＣ安全ガイドラインでは、安全を考慮して、６歳児の瞳孔間間隔（５ｃｍ程度）を子供の代表値としている。また、３ＤＣ安全ガイドラインにおいては、３Ｄ画像を快適に視聴するための条件として、１画面内の奥行範囲を視差角で１度以内とし、時間的・空間的な視差角の変化を１度以内とする必要があることが述べられている。また、安全に視聴する条件として、立体視の融合限界を２度程度とする必要があることが述べられている。
【０００５】
ここで、２眼式の代表的な方式としてフレームシーケンシャル方式や視差バリア方式等が提案されている。以下、各方式についてその概念図を用いて詳述する。図１は、フレームシーケンシャル方式を説明するための概念図である。フレームシーケンシャル方式のシステムは、高速に画像フレームを切り替えて表示するディスプレイと、ディスプレイの表示に同期して左右のレンズを交互に開閉するアクティブ・シャッターメガネとから構成される。図１の例においては、左眼用画像０１００と右眼用画像０１０１が短い時間間隔で交互にディスプレイに表示される。そのタイミングに合わせて、アクティブ・シャッターメガネ０１０２は、左眼用画像０１００がディスプレイに表示される際には、左眼用のレンズシャッター０１０３が光を透過するように制御し、右眼用のレンズシャッター０１０４が光を遮断するように制御する。逆に、右眼用画像０１０１がディスプレイに表示される際には、右眼用のレンズシャッター０１０４が光を透過するように制御し、左眼用のレンズシャッター０１０３が光を遮断するように制御する。このように、左右それぞれの目に合わせた映像を時分割で表示することにより、視聴者は立体映像を観察することができる。
【０００６】
また、図２は、視差バリア方式を説明するための概念図である。図２（ａ）は、視差が生じる原理を示す図である。一方、図２（ｂ）は、パララクスバリア方式で表示される画面の例を示す図である。図２（ｂ）においては、左眼用画像と右眼用画像とが水平方向において１画素おきに交互に並んだ配置構成の画像が示されている。また、図２（ａ）においては、図２（ｂ）の画像を画像表示パネル０２００に表示する構成が示されている。図２（ａ）の構成においては、同一視点の画素の間隔よりも狭い間隔のスリットを持つパララクスバリア０２０１を画像表示パネル０２００の前面（視点側）に設置する。このようにすることにより、左眼用画像は左眼０２０２のみで観察し、右眼用画像は右眼０２０３のみで観察することができ、立体視することが可能となる。
【０００７】
なお、特許文献１には、オプティカルフローを求める画像処理を用いて、同時刻に表示される左眼用画像と右眼用画像との対応点間の視差量を求め、最前面に立体表示される被写体の視差や、最背面に立体表示される被写体の視差、最前面と最背面の視差の差や、それらの時系列の変化や、累積値などを抽出し、時間的な視差の累積値から、立体映像の安全性に関する限界値として定めたしきい値を比較し、立体映像の安全性を判断し、視差の差から立体映像の快適性に関する限界値として定めたしきい値を比較し、立体映像の快適性を判断する立体映像評価装置や立体映像チューナが開示されている。
【０００８】
また、特許文献２には、立体映像から所定値以上の値を持つ視差角の変化量と、視差角の変化に要する変化時間と、視差角が変化した変化回数とを把握し、変化量、変化時間及び変化回数に基づき目の疲労度に相当する評価値を算出して、評価値が所定の範囲となるように、視差調整を行った立体映像を作成し、エンコードして記録媒体に記録する立体映像記録方法が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許第４４６９１５９号公報
【特許文献２】特開２００９−１３５６８６号公報
【非特許文献】
【００１０】
【非特許文献１】"３ＤＣ安全ガイドライン"、［online］、平成２２年４月２０日、３Ｄコンソーシアム安全ガイドライン部会、［平成２２年９月１５日検索］、インターネット〈URL:http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guideJ_20100420.pdf〉
【発明の概要】
【発明が解決しようとする課題】
【００１１】
一方、立体映像には特有の現象として、「枠張り付き効果」や、「ぼけによる快適な視差角のしきい値の変化」という現象が知られている。「枠張り付き効果」とは、ディスプレイ面より手前に表示される被写体がディスプレイの上下左右のフレームにかかるような場合、被写体がフレームより手前の位置に見えなければならないのが、被写体がフレームに張り付いて見えてしまう現象である。また、「ぼけによる快適な視差角のしきい値の変化」とは、画像にボケがある場合とそうでない場合とで被写界深度（ピントが合う範囲）が異なり、輻輳と調節の一致する視差角の範囲が変化するという現象である。
【００１２】
特許文献１の方式では、最前面と最背面の視差の値を求め、それらの差や時間的な累積値のみで立体映像の安全性や快適性を判定している。このため、上記の枠張り付き効果により視聴者が感じる違和感については考慮されていないという問題がある。また、特許文献１の方式では、快適性の判断の際に最前面と最背面の画面上の位置を考慮していないため、最前面の領域と最背面の領域が画面上にて隣接しない場合（例えば、最背面が空であり、最前面の地面である場合）には妥当でない判断が出される可能性がある。つまり、最前面と最背面の画面上の位置が離れているような場合には快適に視聴できるにもかかわらず、快適でないと誤って判断される可能性があった。
【００１３】
また、視聴者はピントの合った領域を注視する可能性が高いが、上記特許文献１の方式では画面全体の視差の時間的な累積値のみから立体映像の安全性を判定しているため、ボケのある領域を含むような立体画像を見る場合には適さないという問題がある。また、上記特許文献２の方式においても、枠張り付き効果やボケによる被写界深度の変化が考慮されておらず、目の疲労度に相当する評価が実際とは異なる場合があった。
【００１４】
本発明は、以上のような問題点を解決するためになされたものであって、その目的は、３次元表示のための画像データの特徴量から、３次元表示した画像を視聴する際の視聴者の目に対する疲労に関する安全性や快適性を表現する情報を算出し、立体映像の安全性や快適性を視聴者にわかりやすく示すことによって、安全で快適な視聴を行うことを可能にすることにある。
【課題を解決するための手段】
【００１５】
以上の課題を解決するために、本発明は、立体画像を構成する左眼用画像と右眼用画像とを取得する立体画像取得部と、取得した左眼用画像と右眼用画像とから立体画像の視差角分布を取得する視差角分布取得部と、取得した視差角分布に基づいて立体画像の見やすさを評価する評価部と、を有する立体画像評価装置を提案する。
【発明の効果】
【００１６】
以上のような構成をとる本発明は、視差角の値のみならず視差角の値の分布も考慮しているため、立体画像の安全性や快適性に関してより適切な評価結果を出力することが可能になる。
【図面の簡単な説明】
【００１７】
【図１】フレームシーケンシャル方式を説明するための概念図
【図２】視差バリア方式を説明するための概念図
【図３】立体画像の視差を説明する図
【図４】画面を見た場合の輻輳角について説明する図
【図５】立体映像が画面より手前に表示される場合の視差による輻輳角を説明する図
【図６】立体映像が画面より奥に表示される場合の視差による輻輳角を説明する図
【図７】実施形態１の立体画像評価装置の機能ブロック図
【図８】実施形態１の立体画像評価装置のハードウェア構成の一例を示す図
【図９】実施形態１の立体画像評価装置の動作についてのフローチャート図
【図１０】最も手前に位置する被写体の視差角をもつブロックと最も奥に位置する被写体の視差角をもつブロックが、離れた位置にある場合の画像例について説明するための図
【図１１】水平方向に隣接するブロックの視差角の例を示す図
【図１２】垂直方向に隣接するブロックの視差角の例を示す図
【図１３】実施形態２の立体画像評価装置の機能ブロック図
【図１４】実施形態２の立体画像評価装置の動作についてのフローチャート図
【図１５】実施形態３の立体画像評価装置の機能ブロック図
【図１６】実施形態３の項目別評価値を算出するためのテーブルの一例を示す図
【図１７】実施形態３の立体画像評価装置の動作についてのフローチャート図
【図１８】実施形態４の立体画像評価装置の機能ブロック図
【図１９】飛び出した被写体が画面の左右端に位置する場合の立体画像の例を示す図
【図２０】飛び出した被写体が画面の上下端に位置する場合の立体画像の例を示す図
【図２１】実施形態４の項目別評価値を算出するためのテーブルの一例を示す図
【図２２】実施形態４の立体画像評価装置の動作についてのフローチャート図
【図２３】実施形態５の立体画像評価装置の機能ブロック図
【図２４】背景領域がぼけている画像の一例を示す図
【図２５】実施形態５の立体画像評価装置の動作についてのフローチャート図
【図２６】実施形態６の立体画像評価装置の機能ブロック図
【図２７】実施形態６の立体画像評価装置の動作についてのフローチャート図
【図２８】本発明の立体画像評価装置を立体テレビに搭載した例を示す図
【図２９】表示用立体画像データの一例（１）を示す図
【図３０】表示用立体画像データの一例（２）を示す図
【００１８】
以下、各実施形態の立体画像評価装置の説明に入る前に、発明のポイントとなる視差と視差角について説明する。なお、以下の説明では、立体映像がディスプレイの画面より飛び出して見えることを飛び出し、立体映像がディスプレイの画面より奥に引っ込んで見えることを奥行という。
【００１９】
図３は、立体画像の視差を説明する図である。図３（ａ）は左眼用画像データ０３００を示す。ここで、立体表示をした際に最も遠くに見える領域が最遠点０３０１、最も近くに見える領域が最近点０３０２としている。図３（ｂ）は右眼用画像データ０３０３を示す。ここで、最遠点０３０４は、立体表示をした際の左眼用画像データ９の最遠点１０の対応点である。また、最近点０３０５は、立体表示をした際の左眼用画像データ０３００の最近点０３０２の対応点である。このとき、左眼用画像データ９の左端から最遠点０３０１までの距離を「ｄｆＬ１」とし、最近点０３０２までの距離を「ｄｎＬ１」とする。また、右眼用画像データ０３０３の左端から、最遠点０３０４までの距離を「ｄｆＲ１」とし、左最近点０３０５までの距離を「ｄｎＲ１」とする。
【００２０】
この場合、左眼用画像データ０３００と右眼用画像データ０３０３を用いて立体表示をした際に、視聴者から最も遠くに見える部分の視差を最遠景視差とすると、その値は「ｄｆＬ１−ｄｆＲ１」となる。同じく左眼用画像データ０３００と右眼用画像データ０３０３を用いて立体表示をした際に、視聴者から最も近くに見える部分の視差を最近景視差とすると、その値は「ｄｎＬ１−ｄｎＲ１」となる。
【００２１】
上記の最遠景視差と最近景視差は画素単位で求まるが、表示画面サイズ情報を用いて、実際に画面上で表示される際の距離情報に変換することも可能である。表示画面サイズ情報としては、具体的には、立体画像を表示する際の表示エリアの水平方向の画素サイズと、水平方向の分解能の情報が挙げられる。また、視差を画面水平方向の大きさに対する割合で表す場合は、表示画面サイズ情報として立体画像を表示する際の表示エリアの水平方向の実際の大きさを用いる。なお、視差の値がマイナスの場合は、表示される領域の位置がディスプレイ面よりも奥にあることを示し、視差の値がプラスの場合は、表示される領域の位置がディスプレイ面よりも手前にあることを示す。
【００２２】
次に、視差角について説明する。視差角とは、立体ディスプレイに表示された立体映像を視聴する際に視聴者がディスプレイ面を見るときの輻輳角と、ディスプレイ面から離れた空間に提示された立体像を観察する際の輻輳角と、の差分の絶対値である。図４は、画面を見た場合の輻輳角について説明する図である。ここで、視聴者が左眼０４００と右眼０４０１を通じて画面０４０２の１点である点０４０３を見た場合、点０４０３から左眼０４００に降ろした点を点０４０４とし、点０４０３から右眼０４０１に降ろした点を点０４０５とする。また、点０４０４と点０４０５を結んだ線分に直行するように点０４０３から降ろした点を点０４０６とする。このとき、点０４０６の位置は、点０４０４と点０４０５で結ばれた線分の中央に位置する。また、点０４０４と点０４０５を結んだ線分は左眼と右眼の間の距離である両眼間隔を表し、その長さをＴとする。また、点０４０３と点０４０６を結んだ線分は視聴者から画面までの視聴距離を表し、その長さをＬとする。また、点０４０３と点０４０４を結んだ線分と点０４０３と点０４０５を結んだ線分がなす角を、輻輳角αとする。
【００２３】
以上のように定義すると、三角形の相似関係から、（数１）のような関係が導かれる。
【数１】
（数１）より、輻輳角αは、（数２）のように表される。
【数２】
【００２４】
図５は、立体映像が画面よりも手前に表示される場合の視差による輻輳角について説明する図である。図５において、視聴者が、左眼０５００で画面０５０２にある左眼用画像の１点である点０５０７を見て、右眼０５０１で点０５０７に対応する右眼用画像の１点である点０５０８を見た場合、画面より手前の位置に点０５０９が立体像として提示される。また、点０５０５と点０５０９を結んだ線分は視聴者から立体映像が提示される位置までの距離を表し、その値をｍとする。また、点０５０７と点０５０８の間隔は視差を表し、その長さをｄ１とする。
【００２５】
このとき、点０５０３と点０５０９を結んだ線分と点０５０４と点０５０９を結んだ線分がなす角を輻輳角β１とすると、三角形の相似関係から、（数３）のような関係が導かれる。
【数３】
（数３）より、輻輳角β１は、（数４）のように表される。
【数４】
また同様に、三角形の相似関係から、（数５）のような関係が導かれる。
【数５】
（数４）、（数５）より、輻輳角β１は、（数６）のように表される。
【００２６】
【数６】
ここで、視聴者が画面を見た際の輻輳角αと、画面より手前に飛出す方向の視差をもつ立体映像を見た際の輻輳角β１の差分の絶対値を、画面より手前に飛出す方向の視差に対する視差角γ１と定義する。この場合、画面より手前に飛出す方向の視差に対する視差角γ１は、（数７）のように表される。
【数７】
【００２７】
図６は、立体映像が画面よりも奥に表示される場合の視差による輻輳角について説明する図である。図６において、視聴者が、左眼０６００で画面０６０２にある左眼用画像の１点である点０６０７を見て、右眼０６０１で点０６０７に対応する右眼用画像の１点である点０６０８を見た場合、画面より奥の位置に点０６０９が立体像として提示される。また、点０６０５と点０６０９を結んだ線分は視聴者から立体映像の距離を表し、その長さを（Ｌ＋ｎ）とする。また、点０６０７と点０６０８の間隔は視差を表し、その長さをｄ２とする。
【００２８】
このとき、点０６０３と点０６０９を結んだ線分と点０６０４と点０６０９を結んだ線分がなす角を輻輳角β２とする。三角形の相似関係から、（数８）のような関係が導かれる。
【数８】
（数８）より、輻輳角β２は、（数９）のように表される。
【数９】
また同様に、三角形の相似関係から、（数１０）のような関係が導かれる。
【数１０】
（数９）、（数１０）より、輻輳角β２は、（数１１）のように表される。
【数１１】
【００２９】
ここで、視聴者が画面を見た際の輻輳角αと、画面より手前に飛出す方向の視差をもつ立体映像を見た際の輻輳角β２の差分の絶対値と画面より奥に飛出す方向の視差に対する視差角γ２と定義する。この場合、画面より奥に飛出す方向の視差に対する視差角γ２は、（数１２）のように表される。
【数１２】
【００３０】
なお、視差角は通常絶対値で表現されるが、以下では、画面より手前に飛出す方向の視差に対する視差角と、画面より奥に飛出す方向の視差に対する視差角とを区別するために、画面より奥に飛出す方向の視差に対する視差角はマイナスの値とし、画面より手前に飛び出す方向の視差に対する視差角をプラスの値とする。
【発明を実施するための形態】
【００３１】
以下に、本発明にかかる立体画像評価装置の実施形態を説明する。実施形態と請求項の相互の関係は、以下のとおりである。実施形態１では主に請求項１について説明し、実施形態２では主に請求項２について説明し、実施形態３では主に請求項３について説明し、実施形態４では主に請求項４、５について説明し、実施形態５では主に請求項６、７、８について説明し、実施形態６では主に請求項９について説明する。なお、本発明はこれらの実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲内において、種々なる態様で実施しうる。
【００３２】
<<実施形態１>>
【００３３】
<概要>
本実施形態の立体画像評価装置は、立体画像を構成する左眼用画像と右眼用画像とを取得して、立体画像の視差角分布に基づいて立体画像の見やすさを評価する評価する構成を有する。当該構成を有することにより、立体画像の安全性や快適性に関してより適切な評価を出力することが可能になる。
【００３４】
<構成>
図７は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」０７００は、「立体画像取得部」０７０１と、「視差角分布取得部」０７０２と、「評価部」０７０３と、を有する。
【００３５】
「立体画像取得部」は、立体画像を構成する左眼用画像と右眼用画像とを取得する機能を有する。ここで、立体画像取得部は、左眼用画像と右眼用画像が一体となった立体画像データを取得する場合は、デコード処理を行って左眼用画像と右眼用画像に分離する。ただし、テレビなどの視聴装置において当該デコード処理が実行されている場合は、左眼用画像と右眼用画像をそのまま取得すればよい。なお、立体画像は、視聴装置から取得する他に、通信Ｉ／Ｆを介して外部サーバ等から取得してもよいし、内部記憶装置から取得してもよい。
【００３６】
「視差角分布取得部」は、取得した左眼用画像と右眼用画像とから立体画像の視差角分布を取得する機能を有する。なお、視差と視差角の関係は、上記（数６）で示したように、表示画面のサイズや視聴距離、両眼間隔の長さから一意に定まるものであるため、視差角分布に代えて視差分布を用いることも可能である。以下では、説明の簡略化のために、視差角分布を用いて説明する。
【００３７】
視差角を算出するために、まず左眼用画像と右眼用画像の対応点同士の視差を算出する。具体的には、左眼用画像と右眼用画像を複数のブロックに分け、ブロック単位で左眼用画像と右眼用画像の対応点検索を行い、対応点間の画素数（視差）を算出する。ここでは、視差を求める際に、左眼用画像に対して右眼用画像の対応点を検索することによって視差を算出しているが、右眼用画像に対して左眼用画像の対応点の検索をすることによって視差を算出してもよい。また、視差を算出する際の対応点検索の方法はどのような方法であってもよい。例えば、左眼用画像データと右眼用画像データに対して、画素単位でステレオマッチングを行い、画素単位で視差を算出することも可能であるし、その他の公知の方法を用いることも可能である。
【００３８】
また、上記のように視差を画素単位で算出することも可能であるが、実際に表示される際の画面上の距離に変換して算出してもよいし、画面の水平方向の大きさに対する割合に変換して算出してもよい。また、左眼用画像及び右眼用画像を分割する単位となるブロックの大きさには特に規定はなく、各画像を画素単位のブロックで分割してもよいし、所定の画素数（例えば、１０画素）を縦横の長さとするブロックで分割してもよい。また、画面全体を一つのブロックとみなすことも可能である。
【００３９】
次に、視差角分布（視差角マップ）を求めるために、上記（数６）と、画像データを表示する際の画面サイズの情報と視聴者からディスプレイ面までの距離の情報に基づいて各ブロックの視差を視差角に変換する。なお、画面サイズの情報などは、予め内部記憶装置に保持されていてもよいし、操作入力機器を介してユーザからの操作入力を受け付けてもよい。
【００４０】
「評価部」は、取得した視差角分布に基づいて立体画像の見やすさを評価する機能を有する。つまり、視差角の値の情報だけでなく、その視差角の値が生じている画面上の位置の情報を考慮して、立体画像の見やすさを示す評価を出力する。
【００４１】
例えば、取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分を算出し、当該視差角差分を利用して立体画像の見やすさを評価する構成とすることが考えられる。具体的には、各視差角差分の大きさと項目別評価値を関連付けたテーブルに基づいて、その項目別評価値を出力することが考えられる（実施形態２にて詳述する）。
【００４２】
また、取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値である視差角差分ピーク値を算出し、当該視差角差分ピーク値を利用して立体画像の見やすさを評価する構成とすることも可能である。具体的には、立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値を算出し、当該視差角差分のピーク値と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する（実施形態３にて詳述する）。
【００４３】
また、取得した視差角分布から立体画像内端部の画像ブロックの視差角である端部視差角を取得し、当該端部視差角を利用して立体画像の見やすさを評価する構成とすることも可能である。具体的には、立体画像内の端部の視差角を利用して端部の画像ブロックの像が表示画面より手前に結像する割合を算出し、当該割合と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する（実施形態４にて詳述する）。
【００４４】
また、立体画像の画像内位置に応じた画像品質（例えば、鮮鋭度）の情報を取得して、立体画像の画像内位置に応じた画像品質の情報をさらに利用して立体画像の見やすさを評価する構成も可能である。具体的には、立体画像の見やすさの評価結果について、前記取得する立体画像内の画像品質の高い画像ブロックであるほどその評価の重みづけをより重くして評価結果を得る（実施形態５にて詳述する）。
【００４５】
また、良い評価とできる視差角の許容値を保持し、立体画像内の画像ブロックが当該視差角の許容値を満たす割合に応じて立体画像の見やすさを評価する構成も可能である。具体的には、立体画像内の画像ブロックの視差角が許容値を満たす割合を算出し、当該割合と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する（実施形態６にて詳述する）。
【００４６】
また、動き予測を用いて時間の異なるフレーム間で対応するブロックを求め、対応ブロック間における時間方向の視差角差分の最大値である視差角時間差分ピーク値を算出し、当該視差角時間差分ピーク値を利用して立体画像の見やすさを評価する構成とすることも可能である。具体的には、視差角時間差分ピーク値と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する。
【００４７】
以上のような処理によって得られた各項目別評価値に基づいて、最終的な評価値を算出する。例えば、各項目別評価値に対して、以下の（数１３）で示すように所定の重みづけを行い、総和を取ることによって最終評価値を算出する。（数１３）において、Ｅｉは各項目別評価値を表し、Ｗｉは、重みづけの値を表す。なお、各項目別評価値は、最大値が１００、最小値が０となるように正規化を行ってもよい。
【数１３】
【００４８】
最終評価値は、表示装置を介して表示してもよいし、内部記憶装置に保存したり、通信装置を介して他の装置に対して送信したりすることも考えられる。これらの態様については特に限定されるものではなく、種々なる態様が可能である。また、３次元表示した画像を視聴する際の視聴者の目に対する疲労に関する安全性や快適性を表現する情報をリアルタイムで算出して、表示装置や通信装置などを介して現在表示されている立体映像の安全性や快適性を視聴者に通知することによって、常に安全で快適な視聴を行うことが可能になる。
【００４９】
上記では、本発明の立体画像評価装置１の取り扱う対象の立体画像データとして、右眼用画像と、左眼用画像という２視点の画像データに対してのみ、説明を行ったが、３視点以上の視点画像データであっても構わない。その際、視差を求める対象として、２視点を選択すれば、後は同じようにして、最終評価値を算出することができる。
【００５０】
また、複数の２視点の画像の組み合わせで視差を求め、複数の最終評価値を算出する場合は、すべての最終評価値に対して、平均をとったものを改めて最終評価値としてもよいし、中央値を改めて最終評価値としても構わない。
【００５１】
上記で説明した本実施形態の立体画像評価装置は、立体画像データを取り扱う装置であれば、どのような装置にでも搭載することが可能である。例えば、テレビなどの一般的な視聴装置やパーソナルコンピュータ、携帯端末、携帯ゲーム機器、カーナビゲーション機能を搭載した車載表示装置など種々のものに対して搭載することが可能である。
【００５２】
<具体的な構成>
図８は、本実施形態の立体画像評価装置の具体的なハードウェア構成の一例を示す図である。この図にあるように、立体画像評価装置は、「ＣＰＵ」０８０１、「ＲＡＭ」０８０２、「長期記憶装置（ＲＯＭ、ハードディスク、不揮発性メモリ等）」０８０３、「通信Ｉ／Ｆ」０８０４、「操作Ｉ／Ｆ」０８０５、「表示装置」０８０６、等から構成される。各ハードウェアは、システムバスによって連結され、相互に信号のやり取りを行うことが可能である。
【００５３】
長期記憶装置には、立体画像取得部、視差角分布取得部、評価部の機能を実現する立体画像取得プログラム、視差角分布取得プログラム、評価プログラムなどが保持されており、必要に応じてＲＡＭに読み出され、ＣＰＵにてその処理が実行される。また、通信Ｉ／Ｆは、立体画像取得部の機能を実現するものであり、外部装置から立体画像のデータ入力を受け付けたり、その他、処理に必要な情報の入力を受け付けたりする。また、操作Ｉ／Ｆは、必要に応じてユーザからの操作の入力を受け付ける。例えば、視聴者の両眼の間隔の情報や、視聴者から画面までの距離の情報を数値の入力又は選択操作によって受け付けることが考えられる。また、表示装置は、立体画像を表示したり、立体画像評価装置によって出力される評価の情報を表示したりすることが可能である。なお、上記の構成は必須の構成ではなく、操作Ｉ／Ｆや表示装置を省略することも可能である。
【００５４】
図９は、立体画像評価装置の動作についてのフローチャートの一例を示す図であり、これに沿って動作の説明をする。まず、図のステップＳ０９０１において、立体画像評価装置の電源がＯＮにされ、ステップＳ０９０２に進む。次に、ステップＳ０９０２において、ＣＰＵは、視聴情報取得プログラムを実行して、表示画面サイズ情報と視聴距離、両眼間隔の長さの情報を取得してＲＡＭに格納する。ここで、視聴者情報は、長期記憶装置から取得してもよいし、通信Ｉ／Ｆや操作Ｉ／Ｆを介して取得してもよい。
【００５５】
次に、ステップＳ０９０３において、ＣＰＵは、立体画像取得プログラムを実行して、立体画像データを取得し、左眼用画像データと右眼用画像データに分離してＲＡＭに格納する。ここで、立体画像データの取得は、長期記憶装置から取得してもよいし、通信Ｉ／Ｆを介して取得してもよい。
【００５６】
次に、ステップＳ０９０４において、ＣＰＵは、視差角分布取得プログラム内の視差算出処理を実行して、入力された左眼用画像データと右眼用画像データを所定のブロックに分け、左眼用画像データ内の各ブロックと右眼用画像データ内の各ブロックとのステレオマッチングを行い、対応するブロック間の視差を算出する。当該視差の算出は、全てのブロックについて行うことが主として考えられるが、一部のブロックについてのみ行ってもよい。
【００５７】
次に、ステップＳ０９０５において、ＣＰＵは、視差角分布取得プログラム内の変換処理を実行して、視聴者情報（視差距離、両眼間隔の長さ等）を用いて、ステップＳ０９０４にて求めた視差分布を視差角分布に変換する。なお、当該変換処理は必ずしも行う必要はなく、視差分布に基づいて以下の処理を行うことも可能である。
【００５８】
ステップＳ０９０６において、ＣＰＵは、評価プログラム内の項目別評価値算出処理を実行して、視差角分布のデータに基づいて、立体画像の見やすさを示す一又は複数の項目別評価値を算出する。
【００５９】
ステップＳ０９０７において、ＣＰＵは、評価プログラム内の最終評価値算出処理を実行し、ステップＳ０９０６にて算出した項目別評価値に対して、（数１３）で示したように所定の重みづけを行って最終評価値を算出する。
【００６０】
ステップＳ０９０７において、ＣＰＵは、評価値出力プログラムを実行し、算出した最終評価値の情報を出力して、処理を終了する。ここで、最終評価値の情報は、ディスプレイ機器を介して表示出力してもよいし、長期記憶装置に格納したり、通信機器を介して他の装置に対して送信したりしてもよい。
【００６１】
<効果>
以上のような構成をとる本発明は、視差角の値のみならず視差角の値の分布も考慮しているため、立体画像の安全性や快適性に関してより適切な評価結果を出力することが可能になる。
【００６２】
<<実施形態２>>
【００６３】
<概要>
本実施形態の立体画像評価装置は、視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分を算出し、当該視差角差分を利用して立体画像の見やすさを評価する構成を有する。
【００６４】
<着想点>
本実施形態の構成を具体的に説明する前に、着想点について説明する。図１０は、最も手前に位置する被写体が含まれるブロックと、最も奥に位置する被写体が含まれるブロックが、それぞれ離れた位置にある場合の画像の例を示す。図１０（ａ）では、左眼用画像１０００内に、背景領域１００１と塀１００２と塀１００３と地面１００４がある。この場合、左眼用画像１０００のうち、下に位置する領域ほど手前に提示され、背景領域１００１が最も奥に提示される。また、図１０（ｂ）では、左眼用画像１００５内に、背景領域１００６と地面１００７がある。この場合も、左眼用画像１００５のうち、下に位置する領域ほど手前に提示され、背景領域１００６が最も奥に提示される。
【００６５】
図１０（ａ）及び（ｂ）のような場合は、最も手前に位置する被写体と、最も奥に位置する被写体は画面内にて離れた位置にあり、表示する画像のサイズや個人の目の画角の大きさによっては、両方の被写体が同時に目の注視範囲に入らない場合もある。このため、最も手前に位置する被写体の視差角と最も奥に位置する被写体の視差角の差分を単純に取るだけでは、立体視の見やすさや安全性を評価するには不十分である。
【００６６】
図１１は、水平方向に隣接するブロックの視差角の例を示す図である。図１１（ａ）において、例えば、左眼用画像１１００内に、最も手前に位置する被写体１１０１と、最も奥に位置する被写体１１０２があり、ブロック１１０３に被写体１１０１の一部が含まれ、ブロック１１０３に隣接するブロック１１０４に被写体１１０２の一部が含まれる。ここで、ブロック１１０３は画面左端から「ｄｎＬ２」の位置にあり、ブロック１１０４は画面左端から「ｄｆＬ２」の位置にある。一方、図１１（ｂ）の右眼画像１１０５において、ブロック１１０３に対応するブロック１１０６は画面左端から「ｄｎＲ２」の位置にあり、ブロック１１０４に対応するブロック１１０７は画面左端から「ｄｆＲ２」の位置にある。
【００６７】
この場合、ブロック１１０３の視差は「ｄｎＬ２−ｄｎＲ２」で表され、ブロック１１０４の視差は「ｄｆＬ２−ｄｆＲ２」と表される。ブロック１１０３の視差角とブロック１１０４の視差角の差分は、上記各ブロックの視差を視差角に変換した後に差分することによって、求めることが可能である。
【００６８】
図１１のように、画面より手前に飛び出す被写体と、画面より奥に提示される被写体とが水平方向に隣接する場合、手前の被写体の視差角と奥にある被写体の視差角との差が大きくなる。この場合、目の調節範囲である被写界深度を超えてしまい、非常に見づらくなる可能性がある。
【００６９】
また、画面より手前に飛び出す被写体と、画面より奥に提示される被写体とが水平方向に隣接する場合、片方の目では奥の被写体が見えても、もう一方の目では、奥の被写体の一部が手前の被写体によって見えなくなってしまうことがある（対応点の消滅）。これによって、視野闘争と呼ばれる現象が発生し、立体映像として見づらくなってしまう。また、見えなくなってしまう領域の大きさによっては、被写体が２重に見えて立体視ができないことがある。
【００７０】
図１２は、上下方向に隣接するブロックの視差角の例を示す図である。図１２において、左眼用画像１２００内において最も手前に位置する被写体１２０１と、最も奥に位置する背景領域１２０２（点線で囲まれた領域）が垂直方向に隣接している。この場合、被写体１２０１は飛出し方向に提示され、背景領域１２０２は奥行方向に提示されて、被写体１２０１と背景領域１２０２の境界付近に視差角差が発生する。当該視差角差が大きくなれば、水平方向の場合と同様に、目の調節範囲である被写界深度を超えてしまい、非常に見づらくなる。
【００７１】
以上のような点を鑑みて、本実施形態の立体画像評価装置の構成の着想に至ったものである。以下、本実施形態の立体画像評価装置の構成について説明する。
【００７２】
<構成>
図１３は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」１３００は、「立体画像取得部」１３０１と、「視差角分布取得部」１３０２と、「評価部」１３０３と、「視差角差分算出部」１３０４とを有し、「評価部」は「視差角差分評価手段」１３０５を有する。以下、「視差角差分算出部」と「視差角差分評価手段」について説明する。
【００７３】
「視差角差分算出部」は、取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分を算出する機能を有する。ここで、画像ブロック同士が立体画像内にて互いに近隣にあるとは、画像ブロック同士が左眼用画像又は右眼用画像のいずれかにおいて隣接する又は所定の範囲内にあることを意味する。また、画像ブロック同士は、水平方向や垂直方向に位置する場合の他に、斜め方向に位置する場合も含む。
【００７４】
「視差角差分評価手段」は、前記視差角差分を利用して立体画像の見やすさを評価する機能を有する。具体的には、各視差角差分の大きさと項目別評価値を関連付けたテーブルに基づいて、その項目別評価値を出力することが考えられる。一般的に視差角差分は、最も手前に位置する被写体の視差角と、最も奥に位置する被写体の視差角の差分とされるが、上記のように、視差角の相対的な位置関係を考慮することによって、目の注視範囲を考慮に入れつつ、より正確、かつ適切に立体画像の見やすさや安全性を評価することができる。特に、水平方向に近接する視差角の差を最終評価値に反映することもできるため、オクルージョンを考慮した、より正確な立体画像の評価を行うことができる。
【００７５】
<具体的な構成>
【００７６】
本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。なお、本実施形態の立体画像評価装置においては、長期記憶装置に、視差角差分算出部の機能を実現する視差角差分算出プログラムが保持されていることを特徴とする。
【００７７】
図１４は、上記立体画像評価装置の動作についてのフローチャートの一例を示す図である。以下、実施形態１にて説明した事項については説明を省略する。
【００７８】
ステップＳ１４０５において、ＣＰＵは、視差角差分算出プログラムを実行し、左眼用画像の各ブロックの視差角について水平方向又は垂直方向において所定のブロック数（例えば、２ブロック）以内の距離にある他のブロックとの視差角との差分（視差角差分）を算出する。
【００７９】
ステップＳ１４０６において、ＣＰＵは、評価プログラム内の視差角差分評価処理を実行し、近隣のブロックとの視差角差分の絶対値が所定の閾値未満であるブロックの数と所定の閾値以上であるブロックの数の比率を算出し、当該比率の値を項目別評価値として算出する。なお、全ての視差角差分の絶対値の総和を算出する処理を行い、当該総和を項目別評価値として算出することも可能であるし、以下の実施形態３で示すように、視差角差分の最大値や最小値を項目別評価値として算出することも可能である。
【００８０】
また、上記では、水平方向又は垂直方向において所定の範囲内にあるブロック間で視差角差分を算出したが、斜め方向において所定の範囲内にあるブロック間で視差角差分を算出して、項目別評価値の算出に用いてもよい。また、所定の範囲内にあるブロック間として、隣接するブロック間の視差角差のみを算出する構成も可能である。
【００８１】
<効果>
本実施形態の立体画像評価装置は、近隣の視差角の差を最終評価値に反映することができるため、より正確な立体画像の評価を行うことができる。
【００８２】
<<実施形態３>>
【００８３】
<概要>
本実施形態の立体画像評価装置は、基本的に実施形態１、２と同様であるが、視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値である視差角差分ピーク値を算出し、当該視差角差分ピーク値を利用して立体画像の見やすさを評価することを特徴とする。
【００８４】
<構成>
図１５は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」１５００は、「立体画像取得部」１５０１と、「視差角分布取得部」１５０２と、「評価部」１５０３と、「視差角差分ピーク値算出部」１５０４と、を有し、「評価部」は「視差角差分ピーク値評価手段」１５０５を有する。以下、「視差角差分ピーク値算出部」と「視差角差分ピーク値評価手段」について説明する。
【００８５】
「視差角差分ピーク値算出部」は、取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値である視差角差分ピーク値を算出する機能を有する。
【００８６】
「視差角差分ピーク値評価手段」は、前記視差角差分ピーク値を利用して立体画像の見やすさを評価する機能を有する。具体的には、立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値を算出し、当該視差角差分のピーク値と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する
【００８７】
図１６は、視差角差分のピーク値（絶対値）と項目別評価値を関連付けたテーブルの一例を示す図である。図１６（ａ）は、水平方向に隣接するブロック同士の視差角差のピーク値（絶対値）に対する項目別評価値の一例を示す。また、図１６（ｂ）は、垂直方向に隣接するブロック同士の視差角差のピーク値Ｈ（絶対値）に対する項目別評価値の一例を示す。この図の例では、視差角差分ピーク値評価手段は、図１６（ａ）に示すテーブルを参照して、水平視差角差のピーク値Ｖ（絶対値）に対する項目別評価値を算出し、また、図１６（ｂ）に示すテーブルを参照して、垂直視差角差のピーク値（絶対値）に対する項目別評価値を算出する。なお、図１６は、項目別評価値が高い程見にくい立体画像である場合を示しているが、その逆とすることも可能である（以下、同様である）。
【００８８】
<具体的な構成>
本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。しかしながら、本実施形態の立体画像評価装置においては、長期記憶装置に、視差角差分ピーク値算出部の機能を実現する視差角差分ピーク値算出プログラムや視差角差分の最大値と項目別評価値を関連付けたテーブル、視差角差分の最小値と項目別評価値を関連付けたテーブルが保持されていることを特徴とする。
【００８９】
<処理の流れ>
図１７は、本実施形態による立体画像評価装置の動作についてのフローチャートの一例を示す図である。以下、実施形態１、２との相違点となる処理について説明する。
【００９０】
ステップＳ１７０５において、ＣＰＵは、視差角差分ピーク値算出プログラムを実行し、左眼用画像の各ブロックの視差角について水平方向又は垂直方向において所定のブロック数（例えば、２ブロック）以内の距離にある他の全てのブロックの視差角との差分（視差角差分）を算出し、水平方向と垂直方向について視差角差分の最大値と最小値を取得する。
【００９１】
ここで、水平方向と垂直方向の視差角差分の最大値と最小値の取得処理は、各視差角差分を算出しながら、バッファ内に保持される視差角差分の最大値と最小値を随時更新していくことも可能であるし、全ての視差角差分を算出した後に、バッファ内に保持された複数の視差角差分を比較して視差角の最大値と最小値を取得することも可能である。
【００９２】
ステップＳ１７０６において、ＣＰＵは、評価プログラム内の視差角差分ピーク値評価処理を実行し、視差角差分の最大値と項目別評価値を関連付けたテーブルと、視差角差分の最小値と項目別評価値を関連付けたテーブルに基づいて、視差角差分の最大値と最小値にそれぞれ対応する項目別評価値を取得する。
【００９３】
上記では、水平方向と垂直方向を分けずに視差角差分の最大値と最小値を取得したが、それぞれの方向について最大値と最小値を取得して、それぞれに対応する項目別評価値を算出してもよい。
【００９４】
また、水平方向又は垂直方向において所定の範囲内にあるブロック間で視差角差を算出したが、斜め方向において所定の範囲内にあるブロック間で視差角差を算出して、項目別評価値の算出に用いてもよい。また、所定の範囲内にあるブロック間として、隣接するブロック間の視差角差のみを算出する構成も可能である。
【００９５】
<効果>
本実施形態の立体画像評価装置は、近隣の視差角の差のピーク値を最終評価値に反映することができるため、より正確な立体画像の評価を行うことができる。
【００９６】
<<実施形態４>>
【００９７】
<概要>
本実施形態の立体画像評価装置は、基本的に実施形態１から３と同様であるが、視差角分布から立体画像内端部の画像ブロックの視差角である端部視差角を取得し、当該端部視差角を利用して立体画像の見やすさを評価することを特徴とする。
【００９８】
<構成>
図１８は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」１８００は、「立体画像取得部」１８０１と、「視差角分布取得部」１８０２と、「評価部」１８０３と、「端部視差角取得部」１８０４と、を有し、「評価部」は「端部視差角評価手段」１８０５を有する。以下、「端部視差角取得部」と、「端部視差角評価手段」について説明する。
【００９９】
「端部視差角取得部」は、取得した視差角分布から立体画像内端部の画像ブロックの視差角である端部視差角を取得する機能を有する。ここで、立体画像内端部とは、立体画像のフレームの左右端や上下端をいうものである。
【０１００】
図１９は、飛び出した被写体が画面の左右端に位置する場合の立体画像の例を示す。例えば、図１９（ａ）において、左眼用画像１９００の右側に、飛び出し方向に位置する被写体１９０１が、図１９（ｂ）において、右眼用画像１９０２の右側に、被写体１９０１に対応する飛び出し方向に位置する被写体１９０３が、それぞれある場合、被写体が画像の右端にかかる領域１９０４が、フレームの左右端の領域となる。
【０１０１】
図２０は、飛び出した被写体が画面の上下端に位置する場合の立体画像の例を示す。例えば、図２０（ａ）において、左眼用画像２０００の下端にかかる領域２００２に、飛び出し方向に位置する被写体２００１が、図２０（ｂ）において、右眼用画像２００３の上端にかかる領域２００５に、被写体２００１に対応する飛び出し方向に位置する被写体２００４が、それぞれある場合、被写体の画像の上端・下端にかかる領域２００２、２００５が、フレームの上下端の領域となる。
【０１０２】
「端部視差角評価手段」は、前記端部視差角を利用して立体画像の見やすさを評価する機能を有する。例えば、端部視差角の値に応じて立体画像の見やすさを評価することが考えられる。具体的には、立体画像内の端部の視差角の値を取得して、当該端部視差角の値と項目別評価基準値を関連付けたテーブルに基づいてその項目別評価基準値を算出する。
【０１０３】
図２１は、立体画像内の端部視差角の値と項目別評価基準値を関連付けたテーブルの一例を示す図である。なお、項目別評価基準値の総和を取ったものが項目別評価値になるものとする。図２１（ａ）は、フレームの左右端のブロックの視差角の値ＲＬに対する項目別評価基準値の一例を示す。また、図２１（ｂ）は、フレームの上下端のブロックの視差角の値ＴＢに対する項目別評価基準値の一例を示す。
【０１０４】
図２１（ａ）の例では、端部視差角評価手段は、当該テーブルを参照することによって、フレームの左右端に位置するブロックの全てについて項目別評価基準値を取得し、当該基準値を総和した値を項目別評価値とする。また、図２１（ｂ）の例では、端部視差角評価手段は、当該テーブルを参照することによって、フレームの上下端に位置するブロックの全てについて項目別評価基準値を取得し、当該基準値を総和した値を項目別評価値とする。
【０１０５】
なお、前記端部視差角評価手段は、前記立体画像内端部の画像ブロックの像が表示画面より手前に結像する割合に応じて立体画像の見やすさを評価することも可能である。具体的には、立体画像内の端部の視差角を利用して端部の画像ブロックの像が表示画面より手前に結像する割合を算出し、当該割合と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する。
【０１０６】
<具体的な構成>
本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。しかしながら、本実施形態の立体画像評価装置においては、長期記憶装置に、端部視差角取得部の機能を実現する端部視差角取得プログラムや立体画像内端部の画像ブロックの像が表示画面より手前に結像する割合と項目別評価値を関連付けたテーブルが保持されていることを特徴とする。
【０１０７】
<処理の流れ>
図２２は、端部視差角取得プログラム及び項目別評価値ステップ評価プログラム内の項目別評価値算出処理の具体例を示した図である。まず、ステップＳ２２０１において、ＣＰＵは左眼画像データ又は右眼用画像データの左右端部にあるブロックの視差角を取得する。次に、ステップＳ２２０２において、ＣＰＵは左右端部にあるブロック全てについて、各ブロックの視差角の値が飛び出し方向の値であるか否か判定し、左右端部にある画像ブロックの像が表示画面より手前に結像する割合を算出する。次に、ステップＳ２２０３において、ＣＰＵは左右端部にある画像ブロックの像が表示画面より手前に結像する割合と項目別評価値を関連付けたテーブルを参照して、対応する項目別評価値を取得する。次に、ステップＳ２２０４において、ＣＰＵは左眼画像データ又は右眼用画像データ内の上下端部にあるブロックの視差角を取得する。次に、ステップＳ２２０５において、ＣＰＵは上下端部にあるブロック全てについて、各ブロックの視差角の値が飛び出し方向の値であるか否か判定し、上下端部にある画像ブロックの像が表示画面より手前に結像する割合を算出する。次に、ステップＳ２２０６において、ＣＰＵは上下端部にある画像ブロックの像が表示画面より手前に結像する割合と項目別評価値を関連付けたテーブルを参照して、対応する項目別評価値を取得する。なお、上記において画像ブロックの像が表示画面より手前に結像する場合として、視差角が０となる場合（視差か発生しない場合）を含んでいてもよい。
【０１０８】
<効果>
本実施形態の立体画像評価装置は、枠張り付き効果という立体映像特有の現象により視聴者が感じる違和感を立体画像の評価に反映することができ、より正確な立体画像の評価を行うことができる。
【０１０９】
<<実施形態５>>
【０１１０】
<概要>
本実施形態の立体画像評価装置は、左眼用画像又は／及び右眼用画像の画像内位置に応じた平面画像としての画像品質の情報を取得し、当該情報をさらに利用して立体画像の見やすさを評価することを特徴とする。
【０１１１】
<構成>
図２３は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」２３００は、「立体画像取得部」２３０１と、「視差角分布取得部」２３０２と、「評価部」２３０３と、「画像品質取得部」２３０４と、を有し、「評価部」は「画像品質評価手段」２３０５を有する。
【０１１２】
「画像品質取得部」は、前記取得する左眼用画像又は右眼用画像の画像内位置に応じた平面画像としての画像品質の情報を取得する機能を有する。ここで、画像品質取得部は、例えば前記取得する左眼用画像又は右眼用画像の画像内位置に応じた鮮鋭度の情報を取得することが考えられる。なお、鮮鋭度とはいわゆるピントの度合いを示す指標であり、鮮鋭度が高い程ピントがあっており、鮮鋭度が低い程画像がぼけているといえる。
【０１１３】
ここで、画像内位置に応じた鮮鋭度の情報（合焦領域の位置の情報など）は、例えばオートフォーカス等の機能を備えるデジタルカメラなどから取得することも可能である。デジタルカメラで撮影されたＥＸＩＦの画像データ内にはメタデータとして合焦点位置情報が記載されるため、当該情報を取得するものである。なお、立体画像評価装置の内部処理によって左眼用画像又は右眼用画像の画像内位置に応じた鮮鋭度の情報を抽出することも可能であるし、操作入力機器を介してユーザからピントがあっている領域とそうでない領域を指定する操作入力を受け付けてもよい。
【０１１４】
「画像品質評価手段」は、前記平面画像としての画像品質の情報をさらに利用して立体画像の見やすさを評価する機能を有する。画像品質評価手段は、例えば前記立体画像の見やすさの評価結果について、前記平面画像として画像品質の高い画像ブロックであるほどその評価の重みづけをより重くして評価結果を得ることが考えられる。
【０１１５】
視聴者がボケのある領域を含む立体画像を見る場合、ピントの合った領域を注視する可能性が高く、ボケによる被写界深度の変化を考慮に入れることが重要になる。図２４は、背景領域がぼけている画像の一例を示す図である。この図において、左眼用画像データ２４００内の前景の被写体２４０１以外の背景領域はぼけている。このように画像内にぼけがある場合、視聴者はぼけのない領域（合焦点領域）を注視するため、当該領域にあるブロックの視差角は、立体画像の見やすさや安全性を評価するに当たり、他のブロックの視差角よりも重要性が高くなる。
【０１１６】
平面画像として画像品質の高い画像ブロックであるほどその評価の重みづけをより重くして評価結果を得る方法としては、種々考えられる。例えば、合焦点領域のブロックの視差角の値と項目別評価値を関連付けたテーブルに基づいて、合焦点領域の視差角の値に対応する項目別評価値を取得することが考えられる。また、非合焦点領域の視差角の値に対応する項目別評価値の全体評価値に対する重みづけを小さくすることも可能である。
【０１１７】
<具体的な構成>
本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。しかしながら、本実施形態の立体画像評価装置の長期記憶装置には、画像品質取得部の機能を実現する画像品質取得プログラムや合焦点位置の視差角と項目別評価値を関連付けたテーブルが保持されていることを特徴とする。
【０１１８】
<処理の流れ>
図２５は、画像品質取得プログラムと項目別評価値ステップ評価プログラム内の項目別評価値算出処理の具体例を示した図である。まず、ステップＳ２５０１において、ＣＰＵは、左眼用画像（又は右眼用画像、以下同様）の画像内における合焦点領域の情報を取得する。当該情報は、通信Ｉ／Ｆや操作Ｉ／Ｆを介して取得してもよいし、長期記憶装置から取得してもよい。次にステップＳ２５０２において、ＣＰＵは、合焦点領域の情報に基づいて、左眼用画像の画像内の合焦点領域の視差角の値を取得する。このとき、合焦点領域にあるブロックが複数存在する場合は、各ブロックの視差角の値を取得する。次に、ステップＳ２５０３において、ＣＰＵは、合焦点領域のブロックの視差角の値と項目別評価値を関連付けたテーブルに基づいて、合焦点領域の視差角の値に対応する項目別評価値を取得する。なお、合焦点領域にあるブロックが複数ある場合は、各ブロックの視差角の値の平均値を利用してもよいし、最も絶対値が大きい視差角の値を利用してもよいし、最も頻度が高い視差角の区分を利用してもよい。
【０１１９】
<効果>
本実施形態の立体画像評価装置は、視聴者が注視する可能性の高い合焦点領域など情報をさらに利用することによって、さらに的確な立体画像の評価を出力することが可能になる。
【０１２０】
<<実施形態６>>
【０１２１】
<概要>
本実施形態の立体画像評価装置は、基本的に実施形態１から４に記載の立体画像評価装置と同様であるが、良い評価とできる視差角の許容値を保持し、立体画像内の画像ブロックが視差角の許容値を満たす割合に応じて立体画像の見やすさを評価することを特徴とする。
【０１２２】
<構成>
図２６は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」２６００は、「立体画像取得部」２６０１と、「視差角分布取得部」２６０２と、「評価部」２６０３と、を有し、「評価部」は「許容値保持部手段」２６０４と「許容値評価手段」２６０５を有する。
【０１２３】
「許容値保持手段」は、良い評価とできる視差角の許容値を保持する機能を有する。ここで、良い評価とできる視差角の許容値としては、飛び出し方向の視差角に対する許容値や奥行方向の視差角に対する許容値、立体画像内端部の画像ブロックの視差角に対する許容値、合焦点領域にある画像ブロックの視差角に対する許容値など種々のものが考えられる。
【０１２４】
「許容値評価手段」は、前記立体画像内の画像ブロックが前記視差角の許容値を満たす割合に応じて立体画像の見やすさを評価する機能を有する。具体的には、立体画像内の画像ブロックが視差角の許容値を満たす割合を算出し、当該割合と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する。
【０１２５】
また、立体画像内の画像ブロックの視差角の値が第一の閾値より小さい割合（例えば、奥行方向の視差角の値が許容値より小さい割合など）を算出し、さらに立体画像内の画像ブロックの視差角の値が第二の閾値より大きい割合（飛び出し方向の視差角の値が許容値より大きい割合など）を算出し、それぞれの割合と項目別評価値を関連付けたテーブルに基づいて、それぞれ項目別評価値を出力することも考えられる。
【０１２６】
また、許容値を満たす（又は満たさない）立体画像内の画像ブロックの視差角の値を取得し、許容値を満たす（又は満たさない）画像ブロックの全てに対して、視差角の値と項目別評価基準値を関連付けたテーブルを参照して項目別評価基準値を取得し、当該項目別評価基準値を全て加算した値を項目別評価値として出力することが考えられる。
【０１２７】
また、前記視差角の許容値を満たす（又は満たさない）画像ブロックの立体画像内の分布状況に応じて、立体画像の見やすさを評価することも可能である。例えば、視差角の許容値を満たす（又は満たさない）画像ブロックが立体画像内のピントの合った領域においてどれくらいの割合で存在するかに応じて項目別評価値を算出する構成も可能であるし、立体画像内の被写体が存在する領域や立体画像内の中心領域においてどれくらいの割合で存在するかに応じて項目別評価値を算出する構成も可能である。
【０１２８】
<具体的な構成>
本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。しかしながら、本実施形態の立体画像評価装置の長期記憶装置には、許容値を満たす（又は満たさない）立体画像内の画像ブロックの視差角の値と項目別評価基準値を関連付けたテーブルが保持されていることを特徴とする。
【０１２９】
<処理の流れ>
図２７は、項目別評価値ステップ評価プログラム内の項目別評価値算出処理の具体例を示した図である。まず、ステップＳ２７０１において、ＣＰＵは長期記憶装置に保持されている良い評価とできる視差角の許容値（第一の閾値、第二の閾値）の情報をＲＡＭに読み出す。次に、ステップＳ２７０２において、ＣＰＵは視差角の値が第一の閾値より小さな値となる画像ブロックを抽出する。次に、ステップＳ２７０３において、ＣＰＵは第一の閾値より小さな視差角の値をもつ画像ブロックの全てに対して、第一の閾値より小さな視差角の値と項目別評価基準値を関連付けたテーブルを参照して項目別評価基準値を取得する。次に、ステップＳ２７０４において、ＣＰＵは、ステップＳ２７０３にて取得された項目別評価基準値を全て加算した値を奥行方向の視差角に関する項目別評価値とする。次に、ステップＳ２７０５において、ＣＰＵは第二の閾値より大きな視差角の値をもつ画像ブロックを抽出する。次に、ステップＳ２７０６において、ＣＰＵは、第二の閾値より大きな視差角の値をもつ画像ブロックの全てに対して、第二の閾値より大きな視差角の値と項目別評価基準値を関連付けたテーブルを参照して項目別評価基準値を取得する。次に、ステップＳ２７０７において、ＣＰＵは、ステップＳ２７０６にて取得された項目別評価基準値を全て加算した値を飛び出し方向の視差角に関する項目別評価値とする。
【０１３０】
<効果>
本実施形態の立体画像評価装置は、立体画像内の画像ブロックが視差角の許容値を満たす割合を最終評価値に反映することができるため、より正確な立体画像の評価を行うことができる。
【実施例１】
【０１３１】
図２８は、本発明の立体画像評価装置２８００を、立体テレビに搭載した例を示す。図２８において、圧縮立体画像データは立体テレビ２８０１に入力される。また、テレビの表示画面サイズ、想定される視聴距離、想定される両眼間隔の情報は視聴情報手段２８０２により保持されており、立体画像評価装置２８００はこれらの情報を入力する。なお、想定される両眼間隔は、日本人の平均である６３ｍｍ〜６５ｍｍ等としてもよいし、子供を考慮した値である５０ｍｍとしてもよい。
【０１３２】
立体テレビ２８０１に入力された圧縮立体画像データは、デコード手段２８０３によりデコードされ、左眼用画像データ及び右眼用画像データとして出力される。左眼用画像データ及び右眼用画像データは、視差調整手段２８０４を介して立体画像評価装置２８００に入力される。
【０１３３】
立体画像評価装置２８００は、入力された表示画面サイズ・視聴距離・両眼間隔などの情報と、左眼用画像データ及び右眼用画像データから、最終評価値データを作成して出力する。
【０１３４】
左眼用画像データ及び右眼用画像データと最終評価値データが画像重畳手段２８０５に入力され、画像重畳手段２８０５は、左眼用画像データと右眼用画像データから表示用立体画像データを生成し、当該表示用立体画像データに対して最終評価値の情報を重畳表示した表示用立体画像データを生成し、表示手段２８０６に対して出力する。
【０１３５】
図２９は、表示用立体画像データの一例を示す図である。図２９において、表示用立体画像データ２９００は、視差のない背景部分と、視差のある前景部分と、最終評価値を表示する領域２９０１とから構成される。また、前景部分には、右眼にのみ表示される被写体像２９０２と左眼にのみ表示される被写体像２９０３が含まれる。
【０１３６】
表示手段２８０６は、入力された表示用立体画像データを用いて立体表示を行う。ここで、視差調整手段２８０４は、自動または手動で視差調整を行う手段である。このとき、自動で視差調整を行う場合には立体画像評価装置２８００で算出された最終評価値が小さくなるように視差調整を行うようにしても構わない。また、手動で視差調整を行う場合、立体画像評価装置２８００で算出された最終評価値を画面上に表示して、視聴者が最終評価値を見ながら値が小さくなるように視差調整を行うようにしても構わない。
【０１３７】
このとき、視差調整は画面全体を左右にずらすことにより行うが、どちらにずらしたら最終評価値が小さくなるかを予測して、当該値が小さくなる方向にずらすよう視聴者に通知してもよい。具体的には、画面全体をずらす方向を画面上に矢印などで指示することが考えられる。図３０は、表示用立体画像データの一例を示す図である。この図の例では、最終評価値を表示する領域３００１の上部に、ずらすべき方向を矢印３００２によって明示している。ここで、視差ずらしの操作を行うリモコン等のボタンの位置に、矢印の方向を合わせて表示してもよい。
【０１３８】
このように、立体視に固有のパラメータを考慮に入れて算出された立体画像の最終評価値を画面上に表示することによって、視聴者は現在立体表示されている映像の評価値を直感的に把握することが可能になる。また、視聴者は簡易に視差の調整を行うことが可能になる。
【０１３９】
また、立体画像内の各画像ブロックの視差角の符号の情報から、提示される立体映像が、飛び出して提示される立体映像なのか、又は画面より奥に提示される立体映像なのか、あるいは飛出し方向にも奥行方向にも提示される立体映像なのかを判別し、その判別結果に応じて表示する最終評価値の色を変えてもよい。例えば、立体映像が全て飛び出して提示される場合は赤色で最終評価値を表示し、全て画面より奥に提示される場合は青色で表示し、飛び出し方向にも奥行方向にも提示される場合は黒色に表示する。
【０１４０】
また、上記判別結果に応じて最終評価値に符号を付けて表示してもよい。例えば、立体映像が全て飛び出して提示される場合は最終評価値にプラス符号を付けて表示し、全て画面より奥に提示される場合は最終評価値にマイナス符号を付けて表示し、飛び出し方向にも奥行方向にも提示される場合は符号なしで評価値を表示する。
【０１４１】
また、最終評価値の近傍に、追加メッセージを表示してもよい。例えば、立体映像が全て飛び出して提示される場合は最終評価値の近傍に「飛び出し映像」と表示し、全て画面より奥に提示される場合は最終評価値の近傍に「奥行映像」と表示を行い、飛び出し方向にも奥行方向にも提示される場合は追加メッセージを表示しない。
【０１４２】
また、視聴距離と両眼間隔から、視差分布（視差マップ）を視聴者から立体映像が立体で提示される位置までの距離であるデプスマップに変換してもよい。生成されたデプスマップは、縦軸に発生頻度、横軸にデプスを取って、グラフ化して表示してもよい。このとき、画面の位置がグラフの横軸上のどの点に対応するのかわかるように、対応する点に印をつけるなどして表示してもよい。
【０１４３】
また、奥行方向の視差角の最小値や飛び出し方向の視差角の最大値、ピントの合った領域（合焦領域）の視差角、視差角の許容値（第一の閾値、第二の閾値など）をそれぞれデプスに変換して、グラフ上に印をつけて表示してもよい。
【０１４４】
また、本発明は、上記で説明した立体テレビのような立体画像データ表示装置だけでなく、立体デジタルカメラ、立体デジタルムービー、立体デジタルビデオレコーダー、立体携帯型ムービープレイヤー、立体携帯電話、立体カーナビゲーションシステム、立体携帯型ＤＶＤプレイヤー、立体ＰＣ等の立体映像信号を出力又は表示可能な機器についても広く適用でき、そこで取り扱われる画像データに対して、最終評価値を算出し、表示することができる。
【符号の説明】
【０１４５】
０７００…立体画像評価装置、０７０１…立体画像取得部、０７０２…視差角分布取得部、０７０３…評価部、０８０１…ＣＰＵ、０８０２…ＲＡＭ、０８０３…長期記憶装置、０８０４…通信Ｉ／Ｆ、０８０５…操作Ｉ／Ｆ、０８０６…表示装置、１３０４…視差角差分算出部、１３０５…視差角差分評価手段、１５０４…視差角差分ピーク値算出部、１５０５…視差角差分ピーク値評価手段、１８０４…端部視差角取得部、１８０５…端部視差角評価手段、２３０４…画像品質取得部、２３０５…画像品質評価手段、２６０４…許容値保持手段、２６０５…許容値評価手段、２８００…立体画像評価装置、２８０１…立体テレビ、２８０２…視差情報手段、２８０３…デコード手段、２８０４…視差調整手段、２８０５…画像重畳手段、２８０６…表示手段
【技術分野】
【０００１】
本発明は、立体画像の見やすさを評価する立体画像評価装置に関する。
【背景技術】
【０００２】
従来、３次元画像を表示するための様々な方法が提案されてきた。その中でも一般的に用いられているのは、両眼視差を利用する「２眼式」と呼ばれるものである。この方式は、両眼視差を持った左眼用の画像と右眼用の画像（以下、それぞれ左眼用画像、右眼用画像という）を用意し、それぞれ独立に左右の目に投影することにより立体視を行うことができる。
【０００３】
非特許文献１においては、両眼視差を用いた３次元画像（以下、３Ｄ画像という）を作成するための３ＤＣ安全ガイドラインが記載されている。両眼視差を用いた３Ｄ画像では、立体の飛び出し感、奥行き感は視差の調整で制御できるが、瞳孔間間隔の狭い人や子供は立体感を強く感じやすい。また、３Ｄ画像をディスプレイ面の後方に表示する場合、ディスプレイ上で両眼瞳孔間間隔を超える視差があると、眼精疲労や、斜位や斜視などの症状を引き起こす可能性があり、このような大きな視差をつけることは可能な限り避ける必要がある。
【０００４】
３ＤＣ安全ガイドラインでは、安全を考慮して、６歳児の瞳孔間間隔（５ｃｍ程度）を子供の代表値としている。また、３ＤＣ安全ガイドラインにおいては、３Ｄ画像を快適に視聴するための条件として、１画面内の奥行範囲を視差角で１度以内とし、時間的・空間的な視差角の変化を１度以内とする必要があることが述べられている。また、安全に視聴する条件として、立体視の融合限界を２度程度とする必要があることが述べられている。
【０００５】
ここで、２眼式の代表的な方式としてフレームシーケンシャル方式や視差バリア方式等が提案されている。以下、各方式についてその概念図を用いて詳述する。図１は、フレームシーケンシャル方式を説明するための概念図である。フレームシーケンシャル方式のシステムは、高速に画像フレームを切り替えて表示するディスプレイと、ディスプレイの表示に同期して左右のレンズを交互に開閉するアクティブ・シャッターメガネとから構成される。図１の例においては、左眼用画像０１００と右眼用画像０１０１が短い時間間隔で交互にディスプレイに表示される。そのタイミングに合わせて、アクティブ・シャッターメガネ０１０２は、左眼用画像０１００がディスプレイに表示される際には、左眼用のレンズシャッター０１０３が光を透過するように制御し、右眼用のレンズシャッター０１０４が光を遮断するように制御する。逆に、右眼用画像０１０１がディスプレイに表示される際には、右眼用のレンズシャッター０１０４が光を透過するように制御し、左眼用のレンズシャッター０１０３が光を遮断するように制御する。このように、左右それぞれの目に合わせた映像を時分割で表示することにより、視聴者は立体映像を観察することができる。
【０００６】
また、図２は、視差バリア方式を説明するための概念図である。図２（ａ）は、視差が生じる原理を示す図である。一方、図２（ｂ）は、パララクスバリア方式で表示される画面の例を示す図である。図２（ｂ）においては、左眼用画像と右眼用画像とが水平方向において１画素おきに交互に並んだ配置構成の画像が示されている。また、図２（ａ）においては、図２（ｂ）の画像を画像表示パネル０２００に表示する構成が示されている。図２（ａ）の構成においては、同一視点の画素の間隔よりも狭い間隔のスリットを持つパララクスバリア０２０１を画像表示パネル０２００の前面（視点側）に設置する。このようにすることにより、左眼用画像は左眼０２０２のみで観察し、右眼用画像は右眼０２０３のみで観察することができ、立体視することが可能となる。
【０００７】
なお、特許文献１には、オプティカルフローを求める画像処理を用いて、同時刻に表示される左眼用画像と右眼用画像との対応点間の視差量を求め、最前面に立体表示される被写体の視差や、最背面に立体表示される被写体の視差、最前面と最背面の視差の差や、それらの時系列の変化や、累積値などを抽出し、時間的な視差の累積値から、立体映像の安全性に関する限界値として定めたしきい値を比較し、立体映像の安全性を判断し、視差の差から立体映像の快適性に関する限界値として定めたしきい値を比較し、立体映像の快適性を判断する立体映像評価装置や立体映像チューナが開示されている。
【０００８】
また、特許文献２には、立体映像から所定値以上の値を持つ視差角の変化量と、視差角の変化に要する変化時間と、視差角が変化した変化回数とを把握し、変化量、変化時間及び変化回数に基づき目の疲労度に相当する評価値を算出して、評価値が所定の範囲となるように、視差調整を行った立体映像を作成し、エンコードして記録媒体に記録する立体映像記録方法が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許第４４６９１５９号公報
【特許文献２】特開２００９−１３５６８６号公報
【非特許文献】
【００１０】
【非特許文献１】"３ＤＣ安全ガイドライン"、［online］、平成２２年４月２０日、３Ｄコンソーシアム安全ガイドライン部会、［平成２２年９月１５日検索］、インターネット〈URL:http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guideJ_20100420.pdf〉
【発明の概要】
【発明が解決しようとする課題】
【００１１】
一方、立体映像には特有の現象として、「枠張り付き効果」や、「ぼけによる快適な視差角のしきい値の変化」という現象が知られている。「枠張り付き効果」とは、ディスプレイ面より手前に表示される被写体がディスプレイの上下左右のフレームにかかるような場合、被写体がフレームより手前の位置に見えなければならないのが、被写体がフレームに張り付いて見えてしまう現象である。また、「ぼけによる快適な視差角のしきい値の変化」とは、画像にボケがある場合とそうでない場合とで被写界深度（ピントが合う範囲）が異なり、輻輳と調節の一致する視差角の範囲が変化するという現象である。
【００１２】
特許文献１の方式では、最前面と最背面の視差の値を求め、それらの差や時間的な累積値のみで立体映像の安全性や快適性を判定している。このため、上記の枠張り付き効果により視聴者が感じる違和感については考慮されていないという問題がある。また、特許文献１の方式では、快適性の判断の際に最前面と最背面の画面上の位置を考慮していないため、最前面の領域と最背面の領域が画面上にて隣接しない場合（例えば、最背面が空であり、最前面の地面である場合）には妥当でない判断が出される可能性がある。つまり、最前面と最背面の画面上の位置が離れているような場合には快適に視聴できるにもかかわらず、快適でないと誤って判断される可能性があった。
【００１３】
また、視聴者はピントの合った領域を注視する可能性が高いが、上記特許文献１の方式では画面全体の視差の時間的な累積値のみから立体映像の安全性を判定しているため、ボケのある領域を含むような立体画像を見る場合には適さないという問題がある。また、上記特許文献２の方式においても、枠張り付き効果やボケによる被写界深度の変化が考慮されておらず、目の疲労度に相当する評価が実際とは異なる場合があった。
【００１４】
本発明は、以上のような問題点を解決するためになされたものであって、その目的は、３次元表示のための画像データの特徴量から、３次元表示した画像を視聴する際の視聴者の目に対する疲労に関する安全性や快適性を表現する情報を算出し、立体映像の安全性や快適性を視聴者にわかりやすく示すことによって、安全で快適な視聴を行うことを可能にすることにある。
【課題を解決するための手段】
【００１５】
以上の課題を解決するために、本発明は、立体画像を構成する左眼用画像と右眼用画像とを取得する立体画像取得部と、取得した左眼用画像と右眼用画像とから立体画像の視差角分布を取得する視差角分布取得部と、取得した視差角分布に基づいて立体画像の見やすさを評価する評価部と、を有する立体画像評価装置を提案する。
【発明の効果】
【００１６】
以上のような構成をとる本発明は、視差角の値のみならず視差角の値の分布も考慮しているため、立体画像の安全性や快適性に関してより適切な評価結果を出力することが可能になる。
【図面の簡単な説明】
【００１７】
【図１】フレームシーケンシャル方式を説明するための概念図
【図２】視差バリア方式を説明するための概念図
【図３】立体画像の視差を説明する図
【図４】画面を見た場合の輻輳角について説明する図
【図５】立体映像が画面より手前に表示される場合の視差による輻輳角を説明する図
【図６】立体映像が画面より奥に表示される場合の視差による輻輳角を説明する図
【図７】実施形態１の立体画像評価装置の機能ブロック図
【図８】実施形態１の立体画像評価装置のハードウェア構成の一例を示す図
【図９】実施形態１の立体画像評価装置の動作についてのフローチャート図
【図１０】最も手前に位置する被写体の視差角をもつブロックと最も奥に位置する被写体の視差角をもつブロックが、離れた位置にある場合の画像例について説明するための図
【図１１】水平方向に隣接するブロックの視差角の例を示す図
【図１２】垂直方向に隣接するブロックの視差角の例を示す図
【図１３】実施形態２の立体画像評価装置の機能ブロック図
【図１４】実施形態２の立体画像評価装置の動作についてのフローチャート図
【図１５】実施形態３の立体画像評価装置の機能ブロック図
【図１６】実施形態３の項目別評価値を算出するためのテーブルの一例を示す図
【図１７】実施形態３の立体画像評価装置の動作についてのフローチャート図
【図１８】実施形態４の立体画像評価装置の機能ブロック図
【図１９】飛び出した被写体が画面の左右端に位置する場合の立体画像の例を示す図
【図２０】飛び出した被写体が画面の上下端に位置する場合の立体画像の例を示す図
【図２１】実施形態４の項目別評価値を算出するためのテーブルの一例を示す図
【図２２】実施形態４の立体画像評価装置の動作についてのフローチャート図
【図２３】実施形態５の立体画像評価装置の機能ブロック図
【図２４】背景領域がぼけている画像の一例を示す図
【図２５】実施形態５の立体画像評価装置の動作についてのフローチャート図
【図２６】実施形態６の立体画像評価装置の機能ブロック図
【図２７】実施形態６の立体画像評価装置の動作についてのフローチャート図
【図２８】本発明の立体画像評価装置を立体テレビに搭載した例を示す図
【図２９】表示用立体画像データの一例（１）を示す図
【図３０】表示用立体画像データの一例（２）を示す図
【００１８】
以下、各実施形態の立体画像評価装置の説明に入る前に、発明のポイントとなる視差と視差角について説明する。なお、以下の説明では、立体映像がディスプレイの画面より飛び出して見えることを飛び出し、立体映像がディスプレイの画面より奥に引っ込んで見えることを奥行という。
【００１９】
図３は、立体画像の視差を説明する図である。図３（ａ）は左眼用画像データ０３００を示す。ここで、立体表示をした際に最も遠くに見える領域が最遠点０３０１、最も近くに見える領域が最近点０３０２としている。図３（ｂ）は右眼用画像データ０３０３を示す。ここで、最遠点０３０４は、立体表示をした際の左眼用画像データ９の最遠点１０の対応点である。また、最近点０３０５は、立体表示をした際の左眼用画像データ０３００の最近点０３０２の対応点である。このとき、左眼用画像データ９の左端から最遠点０３０１までの距離を「ｄｆＬ１」とし、最近点０３０２までの距離を「ｄｎＬ１」とする。また、右眼用画像データ０３０３の左端から、最遠点０３０４までの距離を「ｄｆＲ１」とし、左最近点０３０５までの距離を「ｄｎＲ１」とする。
【００２０】
この場合、左眼用画像データ０３００と右眼用画像データ０３０３を用いて立体表示をした際に、視聴者から最も遠くに見える部分の視差を最遠景視差とすると、その値は「ｄｆＬ１−ｄｆＲ１」となる。同じく左眼用画像データ０３００と右眼用画像データ０３０３を用いて立体表示をした際に、視聴者から最も近くに見える部分の視差を最近景視差とすると、その値は「ｄｎＬ１−ｄｎＲ１」となる。
【００２１】
上記の最遠景視差と最近景視差は画素単位で求まるが、表示画面サイズ情報を用いて、実際に画面上で表示される際の距離情報に変換することも可能である。表示画面サイズ情報としては、具体的には、立体画像を表示する際の表示エリアの水平方向の画素サイズと、水平方向の分解能の情報が挙げられる。また、視差を画面水平方向の大きさに対する割合で表す場合は、表示画面サイズ情報として立体画像を表示する際の表示エリアの水平方向の実際の大きさを用いる。なお、視差の値がマイナスの場合は、表示される領域の位置がディスプレイ面よりも奥にあることを示し、視差の値がプラスの場合は、表示される領域の位置がディスプレイ面よりも手前にあることを示す。
【００２２】
次に、視差角について説明する。視差角とは、立体ディスプレイに表示された立体映像を視聴する際に視聴者がディスプレイ面を見るときの輻輳角と、ディスプレイ面から離れた空間に提示された立体像を観察する際の輻輳角と、の差分の絶対値である。図４は、画面を見た場合の輻輳角について説明する図である。ここで、視聴者が左眼０４００と右眼０４０１を通じて画面０４０２の１点である点０４０３を見た場合、点０４０３から左眼０４００に降ろした点を点０４０４とし、点０４０３から右眼０４０１に降ろした点を点０４０５とする。また、点０４０４と点０４０５を結んだ線分に直行するように点０４０３から降ろした点を点０４０６とする。このとき、点０４０６の位置は、点０４０４と点０４０５で結ばれた線分の中央に位置する。また、点０４０４と点０４０５を結んだ線分は左眼と右眼の間の距離である両眼間隔を表し、その長さをＴとする。また、点０４０３と点０４０６を結んだ線分は視聴者から画面までの視聴距離を表し、その長さをＬとする。また、点０４０３と点０４０４を結んだ線分と点０４０３と点０４０５を結んだ線分がなす角を、輻輳角αとする。
【００２３】
以上のように定義すると、三角形の相似関係から、（数１）のような関係が導かれる。
【数１】
（数１）より、輻輳角αは、（数２）のように表される。
【数２】
【００２４】
図５は、立体映像が画面よりも手前に表示される場合の視差による輻輳角について説明する図である。図５において、視聴者が、左眼０５００で画面０５０２にある左眼用画像の１点である点０５０７を見て、右眼０５０１で点０５０７に対応する右眼用画像の１点である点０５０８を見た場合、画面より手前の位置に点０５０９が立体像として提示される。また、点０５０５と点０５０９を結んだ線分は視聴者から立体映像が提示される位置までの距離を表し、その値をｍとする。また、点０５０７と点０５０８の間隔は視差を表し、その長さをｄ１とする。
【００２５】
このとき、点０５０３と点０５０９を結んだ線分と点０５０４と点０５０９を結んだ線分がなす角を輻輳角β１とすると、三角形の相似関係から、（数３）のような関係が導かれる。
【数３】
（数３）より、輻輳角β１は、（数４）のように表される。
【数４】
また同様に、三角形の相似関係から、（数５）のような関係が導かれる。
【数５】
（数４）、（数５）より、輻輳角β１は、（数６）のように表される。
【００２６】
【数６】
ここで、視聴者が画面を見た際の輻輳角αと、画面より手前に飛出す方向の視差をもつ立体映像を見た際の輻輳角β１の差分の絶対値を、画面より手前に飛出す方向の視差に対する視差角γ１と定義する。この場合、画面より手前に飛出す方向の視差に対する視差角γ１は、（数７）のように表される。
【数７】
【００２７】
図６は、立体映像が画面よりも奥に表示される場合の視差による輻輳角について説明する図である。図６において、視聴者が、左眼０６００で画面０６０２にある左眼用画像の１点である点０６０７を見て、右眼０６０１で点０６０７に対応する右眼用画像の１点である点０６０８を見た場合、画面より奥の位置に点０６０９が立体像として提示される。また、点０６０５と点０６０９を結んだ線分は視聴者から立体映像の距離を表し、その長さを（Ｌ＋ｎ）とする。また、点０６０７と点０６０８の間隔は視差を表し、その長さをｄ２とする。
【００２８】
このとき、点０６０３と点０６０９を結んだ線分と点０６０４と点０６０９を結んだ線分がなす角を輻輳角β２とする。三角形の相似関係から、（数８）のような関係が導かれる。
【数８】
（数８）より、輻輳角β２は、（数９）のように表される。
【数９】
また同様に、三角形の相似関係から、（数１０）のような関係が導かれる。
【数１０】
（数９）、（数１０）より、輻輳角β２は、（数１１）のように表される。
【数１１】
【００２９】
ここで、視聴者が画面を見た際の輻輳角αと、画面より手前に飛出す方向の視差をもつ立体映像を見た際の輻輳角β２の差分の絶対値と画面より奥に飛出す方向の視差に対する視差角γ２と定義する。この場合、画面より奥に飛出す方向の視差に対する視差角γ２は、（数１２）のように表される。
【数１２】
【００３０】
なお、視差角は通常絶対値で表現されるが、以下では、画面より手前に飛出す方向の視差に対する視差角と、画面より奥に飛出す方向の視差に対する視差角とを区別するために、画面より奥に飛出す方向の視差に対する視差角はマイナスの値とし、画面より手前に飛び出す方向の視差に対する視差角をプラスの値とする。
【発明を実施するための形態】
【００３１】
以下に、本発明にかかる立体画像評価装置の実施形態を説明する。実施形態と請求項の相互の関係は、以下のとおりである。実施形態１では主に請求項１について説明し、実施形態２では主に請求項２について説明し、実施形態３では主に請求項３について説明し、実施形態４では主に請求項４、５について説明し、実施形態５では主に請求項６、７、８について説明し、実施形態６では主に請求項９について説明する。なお、本発明はこれらの実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲内において、種々なる態様で実施しうる。
【００３２】
<<実施形態１>>
【００３３】
<概要>
本実施形態の立体画像評価装置は、立体画像を構成する左眼用画像と右眼用画像とを取得して、立体画像の視差角分布に基づいて立体画像の見やすさを評価する評価する構成を有する。当該構成を有することにより、立体画像の安全性や快適性に関してより適切な評価を出力することが可能になる。
【００３４】
<構成>
図７は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」０７００は、「立体画像取得部」０７０１と、「視差角分布取得部」０７０２と、「評価部」０７０３と、を有する。
【００３５】
「立体画像取得部」は、立体画像を構成する左眼用画像と右眼用画像とを取得する機能を有する。ここで、立体画像取得部は、左眼用画像と右眼用画像が一体となった立体画像データを取得する場合は、デコード処理を行って左眼用画像と右眼用画像に分離する。ただし、テレビなどの視聴装置において当該デコード処理が実行されている場合は、左眼用画像と右眼用画像をそのまま取得すればよい。なお、立体画像は、視聴装置から取得する他に、通信Ｉ／Ｆを介して外部サーバ等から取得してもよいし、内部記憶装置から取得してもよい。
【００３６】
「視差角分布取得部」は、取得した左眼用画像と右眼用画像とから立体画像の視差角分布を取得する機能を有する。なお、視差と視差角の関係は、上記（数６）で示したように、表示画面のサイズや視聴距離、両眼間隔の長さから一意に定まるものであるため、視差角分布に代えて視差分布を用いることも可能である。以下では、説明の簡略化のために、視差角分布を用いて説明する。
【００３７】
視差角を算出するために、まず左眼用画像と右眼用画像の対応点同士の視差を算出する。具体的には、左眼用画像と右眼用画像を複数のブロックに分け、ブロック単位で左眼用画像と右眼用画像の対応点検索を行い、対応点間の画素数（視差）を算出する。ここでは、視差を求める際に、左眼用画像に対して右眼用画像の対応点を検索することによって視差を算出しているが、右眼用画像に対して左眼用画像の対応点の検索をすることによって視差を算出してもよい。また、視差を算出する際の対応点検索の方法はどのような方法であってもよい。例えば、左眼用画像データと右眼用画像データに対して、画素単位でステレオマッチングを行い、画素単位で視差を算出することも可能であるし、その他の公知の方法を用いることも可能である。
【００３８】
また、上記のように視差を画素単位で算出することも可能であるが、実際に表示される際の画面上の距離に変換して算出してもよいし、画面の水平方向の大きさに対する割合に変換して算出してもよい。また、左眼用画像及び右眼用画像を分割する単位となるブロックの大きさには特に規定はなく、各画像を画素単位のブロックで分割してもよいし、所定の画素数（例えば、１０画素）を縦横の長さとするブロックで分割してもよい。また、画面全体を一つのブロックとみなすことも可能である。
【００３９】
次に、視差角分布（視差角マップ）を求めるために、上記（数６）と、画像データを表示する際の画面サイズの情報と視聴者からディスプレイ面までの距離の情報に基づいて各ブロックの視差を視差角に変換する。なお、画面サイズの情報などは、予め内部記憶装置に保持されていてもよいし、操作入力機器を介してユーザからの操作入力を受け付けてもよい。
【００４０】
「評価部」は、取得した視差角分布に基づいて立体画像の見やすさを評価する機能を有する。つまり、視差角の値の情報だけでなく、その視差角の値が生じている画面上の位置の情報を考慮して、立体画像の見やすさを示す評価を出力する。
【００４１】
例えば、取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分を算出し、当該視差角差分を利用して立体画像の見やすさを評価する構成とすることが考えられる。具体的には、各視差角差分の大きさと項目別評価値を関連付けたテーブルに基づいて、その項目別評価値を出力することが考えられる（実施形態２にて詳述する）。
【００４２】
また、取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値である視差角差分ピーク値を算出し、当該視差角差分ピーク値を利用して立体画像の見やすさを評価する構成とすることも可能である。具体的には、立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値を算出し、当該視差角差分のピーク値と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する（実施形態３にて詳述する）。
【００４３】
また、取得した視差角分布から立体画像内端部の画像ブロックの視差角である端部視差角を取得し、当該端部視差角を利用して立体画像の見やすさを評価する構成とすることも可能である。具体的には、立体画像内の端部の視差角を利用して端部の画像ブロックの像が表示画面より手前に結像する割合を算出し、当該割合と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する（実施形態４にて詳述する）。
【００４４】
また、立体画像の画像内位置に応じた画像品質（例えば、鮮鋭度）の情報を取得して、立体画像の画像内位置に応じた画像品質の情報をさらに利用して立体画像の見やすさを評価する構成も可能である。具体的には、立体画像の見やすさの評価結果について、前記取得する立体画像内の画像品質の高い画像ブロックであるほどその評価の重みづけをより重くして評価結果を得る（実施形態５にて詳述する）。
【００４５】
また、良い評価とできる視差角の許容値を保持し、立体画像内の画像ブロックが当該視差角の許容値を満たす割合に応じて立体画像の見やすさを評価する構成も可能である。具体的には、立体画像内の画像ブロックの視差角が許容値を満たす割合を算出し、当該割合と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する（実施形態６にて詳述する）。
【００４６】
また、動き予測を用いて時間の異なるフレーム間で対応するブロックを求め、対応ブロック間における時間方向の視差角差分の最大値である視差角時間差分ピーク値を算出し、当該視差角時間差分ピーク値を利用して立体画像の見やすさを評価する構成とすることも可能である。具体的には、視差角時間差分ピーク値と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する。
【００４７】
以上のような処理によって得られた各項目別評価値に基づいて、最終的な評価値を算出する。例えば、各項目別評価値に対して、以下の（数１３）で示すように所定の重みづけを行い、総和を取ることによって最終評価値を算出する。（数１３）において、Ｅｉは各項目別評価値を表し、Ｗｉは、重みづけの値を表す。なお、各項目別評価値は、最大値が１００、最小値が０となるように正規化を行ってもよい。
【数１３】
【００４８】
最終評価値は、表示装置を介して表示してもよいし、内部記憶装置に保存したり、通信装置を介して他の装置に対して送信したりすることも考えられる。これらの態様については特に限定されるものではなく、種々なる態様が可能である。また、３次元表示した画像を視聴する際の視聴者の目に対する疲労に関する安全性や快適性を表現する情報をリアルタイムで算出して、表示装置や通信装置などを介して現在表示されている立体映像の安全性や快適性を視聴者に通知することによって、常に安全で快適な視聴を行うことが可能になる。
【００４９】
上記では、本発明の立体画像評価装置１の取り扱う対象の立体画像データとして、右眼用画像と、左眼用画像という２視点の画像データに対してのみ、説明を行ったが、３視点以上の視点画像データであっても構わない。その際、視差を求める対象として、２視点を選択すれば、後は同じようにして、最終評価値を算出することができる。
【００５０】
また、複数の２視点の画像の組み合わせで視差を求め、複数の最終評価値を算出する場合は、すべての最終評価値に対して、平均をとったものを改めて最終評価値としてもよいし、中央値を改めて最終評価値としても構わない。
【００５１】
上記で説明した本実施形態の立体画像評価装置は、立体画像データを取り扱う装置であれば、どのような装置にでも搭載することが可能である。例えば、テレビなどの一般的な視聴装置やパーソナルコンピュータ、携帯端末、携帯ゲーム機器、カーナビゲーション機能を搭載した車載表示装置など種々のものに対して搭載することが可能である。
【００５２】
<具体的な構成>
図８は、本実施形態の立体画像評価装置の具体的なハードウェア構成の一例を示す図である。この図にあるように、立体画像評価装置は、「ＣＰＵ」０８０１、「ＲＡＭ」０８０２、「長期記憶装置（ＲＯＭ、ハードディスク、不揮発性メモリ等）」０８０３、「通信Ｉ／Ｆ」０８０４、「操作Ｉ／Ｆ」０８０５、「表示装置」０８０６、等から構成される。各ハードウェアは、システムバスによって連結され、相互に信号のやり取りを行うことが可能である。
【００５３】
長期記憶装置には、立体画像取得部、視差角分布取得部、評価部の機能を実現する立体画像取得プログラム、視差角分布取得プログラム、評価プログラムなどが保持されており、必要に応じてＲＡＭに読み出され、ＣＰＵにてその処理が実行される。また、通信Ｉ／Ｆは、立体画像取得部の機能を実現するものであり、外部装置から立体画像のデータ入力を受け付けたり、その他、処理に必要な情報の入力を受け付けたりする。また、操作Ｉ／Ｆは、必要に応じてユーザからの操作の入力を受け付ける。例えば、視聴者の両眼の間隔の情報や、視聴者から画面までの距離の情報を数値の入力又は選択操作によって受け付けることが考えられる。また、表示装置は、立体画像を表示したり、立体画像評価装置によって出力される評価の情報を表示したりすることが可能である。なお、上記の構成は必須の構成ではなく、操作Ｉ／Ｆや表示装置を省略することも可能である。
【００５４】
図９は、立体画像評価装置の動作についてのフローチャートの一例を示す図であり、これに沿って動作の説明をする。まず、図のステップＳ０９０１において、立体画像評価装置の電源がＯＮにされ、ステップＳ０９０２に進む。次に、ステップＳ０９０２において、ＣＰＵは、視聴情報取得プログラムを実行して、表示画面サイズ情報と視聴距離、両眼間隔の長さの情報を取得してＲＡＭに格納する。ここで、視聴者情報は、長期記憶装置から取得してもよいし、通信Ｉ／Ｆや操作Ｉ／Ｆを介して取得してもよい。
【００５５】
次に、ステップＳ０９０３において、ＣＰＵは、立体画像取得プログラムを実行して、立体画像データを取得し、左眼用画像データと右眼用画像データに分離してＲＡＭに格納する。ここで、立体画像データの取得は、長期記憶装置から取得してもよいし、通信Ｉ／Ｆを介して取得してもよい。
【００５６】
次に、ステップＳ０９０４において、ＣＰＵは、視差角分布取得プログラム内の視差算出処理を実行して、入力された左眼用画像データと右眼用画像データを所定のブロックに分け、左眼用画像データ内の各ブロックと右眼用画像データ内の各ブロックとのステレオマッチングを行い、対応するブロック間の視差を算出する。当該視差の算出は、全てのブロックについて行うことが主として考えられるが、一部のブロックについてのみ行ってもよい。
【００５７】
次に、ステップＳ０９０５において、ＣＰＵは、視差角分布取得プログラム内の変換処理を実行して、視聴者情報（視差距離、両眼間隔の長さ等）を用いて、ステップＳ０９０４にて求めた視差分布を視差角分布に変換する。なお、当該変換処理は必ずしも行う必要はなく、視差分布に基づいて以下の処理を行うことも可能である。
【００５８】
ステップＳ０９０６において、ＣＰＵは、評価プログラム内の項目別評価値算出処理を実行して、視差角分布のデータに基づいて、立体画像の見やすさを示す一又は複数の項目別評価値を算出する。
【００５９】
ステップＳ０９０７において、ＣＰＵは、評価プログラム内の最終評価値算出処理を実行し、ステップＳ０９０６にて算出した項目別評価値に対して、（数１３）で示したように所定の重みづけを行って最終評価値を算出する。
【００６０】
ステップＳ０９０７において、ＣＰＵは、評価値出力プログラムを実行し、算出した最終評価値の情報を出力して、処理を終了する。ここで、最終評価値の情報は、ディスプレイ機器を介して表示出力してもよいし、長期記憶装置に格納したり、通信機器を介して他の装置に対して送信したりしてもよい。
【００６１】
<効果>
以上のような構成をとる本発明は、視差角の値のみならず視差角の値の分布も考慮しているため、立体画像の安全性や快適性に関してより適切な評価結果を出力することが可能になる。
【００６２】
<<実施形態２>>
【００６３】
<概要>
本実施形態の立体画像評価装置は、視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分を算出し、当該視差角差分を利用して立体画像の見やすさを評価する構成を有する。
【００６４】
<着想点>
本実施形態の構成を具体的に説明する前に、着想点について説明する。図１０は、最も手前に位置する被写体が含まれるブロックと、最も奥に位置する被写体が含まれるブロックが、それぞれ離れた位置にある場合の画像の例を示す。図１０（ａ）では、左眼用画像１０００内に、背景領域１００１と塀１００２と塀１００３と地面１００４がある。この場合、左眼用画像１０００のうち、下に位置する領域ほど手前に提示され、背景領域１００１が最も奥に提示される。また、図１０（ｂ）では、左眼用画像１００５内に、背景領域１００６と地面１００７がある。この場合も、左眼用画像１００５のうち、下に位置する領域ほど手前に提示され、背景領域１００６が最も奥に提示される。
【００６５】
図１０（ａ）及び（ｂ）のような場合は、最も手前に位置する被写体と、最も奥に位置する被写体は画面内にて離れた位置にあり、表示する画像のサイズや個人の目の画角の大きさによっては、両方の被写体が同時に目の注視範囲に入らない場合もある。このため、最も手前に位置する被写体の視差角と最も奥に位置する被写体の視差角の差分を単純に取るだけでは、立体視の見やすさや安全性を評価するには不十分である。
【００６６】
図１１は、水平方向に隣接するブロックの視差角の例を示す図である。図１１（ａ）において、例えば、左眼用画像１１００内に、最も手前に位置する被写体１１０１と、最も奥に位置する被写体１１０２があり、ブロック１１０３に被写体１１０１の一部が含まれ、ブロック１１０３に隣接するブロック１１０４に被写体１１０２の一部が含まれる。ここで、ブロック１１０３は画面左端から「ｄｎＬ２」の位置にあり、ブロック１１０４は画面左端から「ｄｆＬ２」の位置にある。一方、図１１（ｂ）の右眼画像１１０５において、ブロック１１０３に対応するブロック１１０６は画面左端から「ｄｎＲ２」の位置にあり、ブロック１１０４に対応するブロック１１０７は画面左端から「ｄｆＲ２」の位置にある。
【００６７】
この場合、ブロック１１０３の視差は「ｄｎＬ２−ｄｎＲ２」で表され、ブロック１１０４の視差は「ｄｆＬ２−ｄｆＲ２」と表される。ブロック１１０３の視差角とブロック１１０４の視差角の差分は、上記各ブロックの視差を視差角に変換した後に差分することによって、求めることが可能である。
【００６８】
図１１のように、画面より手前に飛び出す被写体と、画面より奥に提示される被写体とが水平方向に隣接する場合、手前の被写体の視差角と奥にある被写体の視差角との差が大きくなる。この場合、目の調節範囲である被写界深度を超えてしまい、非常に見づらくなる可能性がある。
【００６９】
また、画面より手前に飛び出す被写体と、画面より奥に提示される被写体とが水平方向に隣接する場合、片方の目では奥の被写体が見えても、もう一方の目では、奥の被写体の一部が手前の被写体によって見えなくなってしまうことがある（対応点の消滅）。これによって、視野闘争と呼ばれる現象が発生し、立体映像として見づらくなってしまう。また、見えなくなってしまう領域の大きさによっては、被写体が２重に見えて立体視ができないことがある。
【００７０】
図１２は、上下方向に隣接するブロックの視差角の例を示す図である。図１２において、左眼用画像１２００内において最も手前に位置する被写体１２０１と、最も奥に位置する背景領域１２０２（点線で囲まれた領域）が垂直方向に隣接している。この場合、被写体１２０１は飛出し方向に提示され、背景領域１２０２は奥行方向に提示されて、被写体１２０１と背景領域１２０２の境界付近に視差角差が発生する。当該視差角差が大きくなれば、水平方向の場合と同様に、目の調節範囲である被写界深度を超えてしまい、非常に見づらくなる。
【００７１】
以上のような点を鑑みて、本実施形態の立体画像評価装置の構成の着想に至ったものである。以下、本実施形態の立体画像評価装置の構成について説明する。
【００７２】
<構成>
図１３は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」１３００は、「立体画像取得部」１３０１と、「視差角分布取得部」１３０２と、「評価部」１３０３と、「視差角差分算出部」１３０４とを有し、「評価部」は「視差角差分評価手段」１３０５を有する。以下、「視差角差分算出部」と「視差角差分評価手段」について説明する。
【００７３】
「視差角差分算出部」は、取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分を算出する機能を有する。ここで、画像ブロック同士が立体画像内にて互いに近隣にあるとは、画像ブロック同士が左眼用画像又は右眼用画像のいずれかにおいて隣接する又は所定の範囲内にあることを意味する。また、画像ブロック同士は、水平方向や垂直方向に位置する場合の他に、斜め方向に位置する場合も含む。
【００７４】
「視差角差分評価手段」は、前記視差角差分を利用して立体画像の見やすさを評価する機能を有する。具体的には、各視差角差分の大きさと項目別評価値を関連付けたテーブルに基づいて、その項目別評価値を出力することが考えられる。一般的に視差角差分は、最も手前に位置する被写体の視差角と、最も奥に位置する被写体の視差角の差分とされるが、上記のように、視差角の相対的な位置関係を考慮することによって、目の注視範囲を考慮に入れつつ、より正確、かつ適切に立体画像の見やすさや安全性を評価することができる。特に、水平方向に近接する視差角の差を最終評価値に反映することもできるため、オクルージョンを考慮した、より正確な立体画像の評価を行うことができる。
【００７５】
<具体的な構成>
【００７６】
本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。なお、本実施形態の立体画像評価装置においては、長期記憶装置に、視差角差分算出部の機能を実現する視差角差分算出プログラムが保持されていることを特徴とする。
【００７７】
図１４は、上記立体画像評価装置の動作についてのフローチャートの一例を示す図である。以下、実施形態１にて説明した事項については説明を省略する。
【００７８】
ステップＳ１４０５において、ＣＰＵは、視差角差分算出プログラムを実行し、左眼用画像の各ブロックの視差角について水平方向又は垂直方向において所定のブロック数（例えば、２ブロック）以内の距離にある他のブロックとの視差角との差分（視差角差分）を算出する。
【００７９】
ステップＳ１４０６において、ＣＰＵは、評価プログラム内の視差角差分評価処理を実行し、近隣のブロックとの視差角差分の絶対値が所定の閾値未満であるブロックの数と所定の閾値以上であるブロックの数の比率を算出し、当該比率の値を項目別評価値として算出する。なお、全ての視差角差分の絶対値の総和を算出する処理を行い、当該総和を項目別評価値として算出することも可能であるし、以下の実施形態３で示すように、視差角差分の最大値や最小値を項目別評価値として算出することも可能である。
【００８０】
また、上記では、水平方向又は垂直方向において所定の範囲内にあるブロック間で視差角差分を算出したが、斜め方向において所定の範囲内にあるブロック間で視差角差分を算出して、項目別評価値の算出に用いてもよい。また、所定の範囲内にあるブロック間として、隣接するブロック間の視差角差のみを算出する構成も可能である。
【００８１】
<効果>
本実施形態の立体画像評価装置は、近隣の視差角の差を最終評価値に反映することができるため、より正確な立体画像の評価を行うことができる。
【００８２】
<<実施形態３>>
【００８３】
<概要>
本実施形態の立体画像評価装置は、基本的に実施形態１、２と同様であるが、視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値である視差角差分ピーク値を算出し、当該視差角差分ピーク値を利用して立体画像の見やすさを評価することを特徴とする。
【００８４】
<構成>
図１５は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」１５００は、「立体画像取得部」１５０１と、「視差角分布取得部」１５０２と、「評価部」１５０３と、「視差角差分ピーク値算出部」１５０４と、を有し、「評価部」は「視差角差分ピーク値評価手段」１５０５を有する。以下、「視差角差分ピーク値算出部」と「視差角差分ピーク値評価手段」について説明する。
【００８５】
「視差角差分ピーク値算出部」は、取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値である視差角差分ピーク値を算出する機能を有する。
【００８６】
「視差角差分ピーク値評価手段」は、前記視差角差分ピーク値を利用して立体画像の見やすさを評価する機能を有する。具体的には、立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値を算出し、当該視差角差分のピーク値と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する
【００８７】
図１６は、視差角差分のピーク値（絶対値）と項目別評価値を関連付けたテーブルの一例を示す図である。図１６（ａ）は、水平方向に隣接するブロック同士の視差角差のピーク値（絶対値）に対する項目別評価値の一例を示す。また、図１６（ｂ）は、垂直方向に隣接するブロック同士の視差角差のピーク値Ｈ（絶対値）に対する項目別評価値の一例を示す。この図の例では、視差角差分ピーク値評価手段は、図１６（ａ）に示すテーブルを参照して、水平視差角差のピーク値Ｖ（絶対値）に対する項目別評価値を算出し、また、図１６（ｂ）に示すテーブルを参照して、垂直視差角差のピーク値（絶対値）に対する項目別評価値を算出する。なお、図１６は、項目別評価値が高い程見にくい立体画像である場合を示しているが、その逆とすることも可能である（以下、同様である）。
【００８８】
<具体的な構成>
本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。しかしながら、本実施形態の立体画像評価装置においては、長期記憶装置に、視差角差分ピーク値算出部の機能を実現する視差角差分ピーク値算出プログラムや視差角差分の最大値と項目別評価値を関連付けたテーブル、視差角差分の最小値と項目別評価値を関連付けたテーブルが保持されていることを特徴とする。
【００８９】
<処理の流れ>
図１７は、本実施形態による立体画像評価装置の動作についてのフローチャートの一例を示す図である。以下、実施形態１、２との相違点となる処理について説明する。
【００９０】
ステップＳ１７０５において、ＣＰＵは、視差角差分ピーク値算出プログラムを実行し、左眼用画像の各ブロックの視差角について水平方向又は垂直方向において所定のブロック数（例えば、２ブロック）以内の距離にある他の全てのブロックの視差角との差分（視差角差分）を算出し、水平方向と垂直方向について視差角差分の最大値と最小値を取得する。
【００９１】
ここで、水平方向と垂直方向の視差角差分の最大値と最小値の取得処理は、各視差角差分を算出しながら、バッファ内に保持される視差角差分の最大値と最小値を随時更新していくことも可能であるし、全ての視差角差分を算出した後に、バッファ内に保持された複数の視差角差分を比較して視差角の最大値と最小値を取得することも可能である。
【００９２】
ステップＳ１７０６において、ＣＰＵは、評価プログラム内の視差角差分ピーク値評価処理を実行し、視差角差分の最大値と項目別評価値を関連付けたテーブルと、視差角差分の最小値と項目別評価値を関連付けたテーブルに基づいて、視差角差分の最大値と最小値にそれぞれ対応する項目別評価値を取得する。
【００９３】
上記では、水平方向と垂直方向を分けずに視差角差分の最大値と最小値を取得したが、それぞれの方向について最大値と最小値を取得して、それぞれに対応する項目別評価値を算出してもよい。
【００９４】
また、水平方向又は垂直方向において所定の範囲内にあるブロック間で視差角差を算出したが、斜め方向において所定の範囲内にあるブロック間で視差角差を算出して、項目別評価値の算出に用いてもよい。また、所定の範囲内にあるブロック間として、隣接するブロック間の視差角差のみを算出する構成も可能である。
【００９５】
<効果>
本実施形態の立体画像評価装置は、近隣の視差角の差のピーク値を最終評価値に反映することができるため、より正確な立体画像の評価を行うことができる。
【００９６】
<<実施形態４>>
【００９７】
<概要>
本実施形態の立体画像評価装置は、基本的に実施形態１から３と同様であるが、視差角分布から立体画像内端部の画像ブロックの視差角である端部視差角を取得し、当該端部視差角を利用して立体画像の見やすさを評価することを特徴とする。
【００９８】
<構成>
図１８は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」１８００は、「立体画像取得部」１８０１と、「視差角分布取得部」１８０２と、「評価部」１８０３と、「端部視差角取得部」１８０４と、を有し、「評価部」は「端部視差角評価手段」１８０５を有する。以下、「端部視差角取得部」と、「端部視差角評価手段」について説明する。
【００９９】
「端部視差角取得部」は、取得した視差角分布から立体画像内端部の画像ブロックの視差角である端部視差角を取得する機能を有する。ここで、立体画像内端部とは、立体画像のフレームの左右端や上下端をいうものである。
【０１００】
図１９は、飛び出した被写体が画面の左右端に位置する場合の立体画像の例を示す。例えば、図１９（ａ）において、左眼用画像１９００の右側に、飛び出し方向に位置する被写体１９０１が、図１９（ｂ）において、右眼用画像１９０２の右側に、被写体１９０１に対応する飛び出し方向に位置する被写体１９０３が、それぞれある場合、被写体が画像の右端にかかる領域１９０４が、フレームの左右端の領域となる。
【０１０１】
図２０は、飛び出した被写体が画面の上下端に位置する場合の立体画像の例を示す。例えば、図２０（ａ）において、左眼用画像２０００の下端にかかる領域２００２に、飛び出し方向に位置する被写体２００１が、図２０（ｂ）において、右眼用画像２００３の上端にかかる領域２００５に、被写体２００１に対応する飛び出し方向に位置する被写体２００４が、それぞれある場合、被写体の画像の上端・下端にかかる領域２００２、２００５が、フレームの上下端の領域となる。
【０１０２】
「端部視差角評価手段」は、前記端部視差角を利用して立体画像の見やすさを評価する機能を有する。例えば、端部視差角の値に応じて立体画像の見やすさを評価することが考えられる。具体的には、立体画像内の端部の視差角の値を取得して、当該端部視差角の値と項目別評価基準値を関連付けたテーブルに基づいてその項目別評価基準値を算出する。
【０１０３】
図２１は、立体画像内の端部視差角の値と項目別評価基準値を関連付けたテーブルの一例を示す図である。なお、項目別評価基準値の総和を取ったものが項目別評価値になるものとする。図２１（ａ）は、フレームの左右端のブロックの視差角の値ＲＬに対する項目別評価基準値の一例を示す。また、図２１（ｂ）は、フレームの上下端のブロックの視差角の値ＴＢに対する項目別評価基準値の一例を示す。
【０１０４】
図２１（ａ）の例では、端部視差角評価手段は、当該テーブルを参照することによって、フレームの左右端に位置するブロックの全てについて項目別評価基準値を取得し、当該基準値を総和した値を項目別評価値とする。また、図２１（ｂ）の例では、端部視差角評価手段は、当該テーブルを参照することによって、フレームの上下端に位置するブロックの全てについて項目別評価基準値を取得し、当該基準値を総和した値を項目別評価値とする。
【０１０５】
なお、前記端部視差角評価手段は、前記立体画像内端部の画像ブロックの像が表示画面より手前に結像する割合に応じて立体画像の見やすさを評価することも可能である。具体的には、立体画像内の端部の視差角を利用して端部の画像ブロックの像が表示画面より手前に結像する割合を算出し、当該割合と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する。
【０１０６】
<具体的な構成>
本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。しかしながら、本実施形態の立体画像評価装置においては、長期記憶装置に、端部視差角取得部の機能を実現する端部視差角取得プログラムや立体画像内端部の画像ブロックの像が表示画面より手前に結像する割合と項目別評価値を関連付けたテーブルが保持されていることを特徴とする。
【０１０７】
<処理の流れ>
図２２は、端部視差角取得プログラム及び項目別評価値ステップ評価プログラム内の項目別評価値算出処理の具体例を示した図である。まず、ステップＳ２２０１において、ＣＰＵは左眼画像データ又は右眼用画像データの左右端部にあるブロックの視差角を取得する。次に、ステップＳ２２０２において、ＣＰＵは左右端部にあるブロック全てについて、各ブロックの視差角の値が飛び出し方向の値であるか否か判定し、左右端部にある画像ブロックの像が表示画面より手前に結像する割合を算出する。次に、ステップＳ２２０３において、ＣＰＵは左右端部にある画像ブロックの像が表示画面より手前に結像する割合と項目別評価値を関連付けたテーブルを参照して、対応する項目別評価値を取得する。次に、ステップＳ２２０４において、ＣＰＵは左眼画像データ又は右眼用画像データ内の上下端部にあるブロックの視差角を取得する。次に、ステップＳ２２０５において、ＣＰＵは上下端部にあるブロック全てについて、各ブロックの視差角の値が飛び出し方向の値であるか否か判定し、上下端部にある画像ブロックの像が表示画面より手前に結像する割合を算出する。次に、ステップＳ２２０６において、ＣＰＵは上下端部にある画像ブロックの像が表示画面より手前に結像する割合と項目別評価値を関連付けたテーブルを参照して、対応する項目別評価値を取得する。なお、上記において画像ブロックの像が表示画面より手前に結像する場合として、視差角が０となる場合（視差か発生しない場合）を含んでいてもよい。
【０１０８】
<効果>
本実施形態の立体画像評価装置は、枠張り付き効果という立体映像特有の現象により視聴者が感じる違和感を立体画像の評価に反映することができ、より正確な立体画像の評価を行うことができる。
【０１０９】
<<実施形態５>>
【０１１０】
<概要>
本実施形態の立体画像評価装置は、左眼用画像又は／及び右眼用画像の画像内位置に応じた平面画像としての画像品質の情報を取得し、当該情報をさらに利用して立体画像の見やすさを評価することを特徴とする。
【０１１１】
<構成>
図２３は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」２３００は、「立体画像取得部」２３０１と、「視差角分布取得部」２３０２と、「評価部」２３０３と、「画像品質取得部」２３０４と、を有し、「評価部」は「画像品質評価手段」２３０５を有する。
【０１１２】
「画像品質取得部」は、前記取得する左眼用画像又は右眼用画像の画像内位置に応じた平面画像としての画像品質の情報を取得する機能を有する。ここで、画像品質取得部は、例えば前記取得する左眼用画像又は右眼用画像の画像内位置に応じた鮮鋭度の情報を取得することが考えられる。なお、鮮鋭度とはいわゆるピントの度合いを示す指標であり、鮮鋭度が高い程ピントがあっており、鮮鋭度が低い程画像がぼけているといえる。
【０１１３】
ここで、画像内位置に応じた鮮鋭度の情報（合焦領域の位置の情報など）は、例えばオートフォーカス等の機能を備えるデジタルカメラなどから取得することも可能である。デジタルカメラで撮影されたＥＸＩＦの画像データ内にはメタデータとして合焦点位置情報が記載されるため、当該情報を取得するものである。なお、立体画像評価装置の内部処理によって左眼用画像又は右眼用画像の画像内位置に応じた鮮鋭度の情報を抽出することも可能であるし、操作入力機器を介してユーザからピントがあっている領域とそうでない領域を指定する操作入力を受け付けてもよい。
【０１１４】
「画像品質評価手段」は、前記平面画像としての画像品質の情報をさらに利用して立体画像の見やすさを評価する機能を有する。画像品質評価手段は、例えば前記立体画像の見やすさの評価結果について、前記平面画像として画像品質の高い画像ブロックであるほどその評価の重みづけをより重くして評価結果を得ることが考えられる。
【０１１５】
視聴者がボケのある領域を含む立体画像を見る場合、ピントの合った領域を注視する可能性が高く、ボケによる被写界深度の変化を考慮に入れることが重要になる。図２４は、背景領域がぼけている画像の一例を示す図である。この図において、左眼用画像データ２４００内の前景の被写体２４０１以外の背景領域はぼけている。このように画像内にぼけがある場合、視聴者はぼけのない領域（合焦点領域）を注視するため、当該領域にあるブロックの視差角は、立体画像の見やすさや安全性を評価するに当たり、他のブロックの視差角よりも重要性が高くなる。
【０１１６】
平面画像として画像品質の高い画像ブロックであるほどその評価の重みづけをより重くして評価結果を得る方法としては、種々考えられる。例えば、合焦点領域のブロックの視差角の値と項目別評価値を関連付けたテーブルに基づいて、合焦点領域の視差角の値に対応する項目別評価値を取得することが考えられる。また、非合焦点領域の視差角の値に対応する項目別評価値の全体評価値に対する重みづけを小さくすることも可能である。
【０１１７】
<具体的な構成>
本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。しかしながら、本実施形態の立体画像評価装置の長期記憶装置には、画像品質取得部の機能を実現する画像品質取得プログラムや合焦点位置の視差角と項目別評価値を関連付けたテーブルが保持されていることを特徴とする。
【０１１８】
<処理の流れ>
図２５は、画像品質取得プログラムと項目別評価値ステップ評価プログラム内の項目別評価値算出処理の具体例を示した図である。まず、ステップＳ２５０１において、ＣＰＵは、左眼用画像（又は右眼用画像、以下同様）の画像内における合焦点領域の情報を取得する。当該情報は、通信Ｉ／Ｆや操作Ｉ／Ｆを介して取得してもよいし、長期記憶装置から取得してもよい。次にステップＳ２５０２において、ＣＰＵは、合焦点領域の情報に基づいて、左眼用画像の画像内の合焦点領域の視差角の値を取得する。このとき、合焦点領域にあるブロックが複数存在する場合は、各ブロックの視差角の値を取得する。次に、ステップＳ２５０３において、ＣＰＵは、合焦点領域のブロックの視差角の値と項目別評価値を関連付けたテーブルに基づいて、合焦点領域の視差角の値に対応する項目別評価値を取得する。なお、合焦点領域にあるブロックが複数ある場合は、各ブロックの視差角の値の平均値を利用してもよいし、最も絶対値が大きい視差角の値を利用してもよいし、最も頻度が高い視差角の区分を利用してもよい。
【０１１９】
<効果>
本実施形態の立体画像評価装置は、視聴者が注視する可能性の高い合焦点領域など情報をさらに利用することによって、さらに的確な立体画像の評価を出力することが可能になる。
【０１２０】
<<実施形態６>>
【０１２１】
<概要>
本実施形態の立体画像評価装置は、基本的に実施形態１から４に記載の立体画像評価装置と同様であるが、良い評価とできる視差角の許容値を保持し、立体画像内の画像ブロックが視差角の許容値を満たす割合に応じて立体画像の見やすさを評価することを特徴とする。
【０１２２】
<構成>
図２６は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」２６００は、「立体画像取得部」２６０１と、「視差角分布取得部」２６０２と、「評価部」２６０３と、を有し、「評価部」は「許容値保持部手段」２６０４と「許容値評価手段」２６０５を有する。
【０１２３】
「許容値保持手段」は、良い評価とできる視差角の許容値を保持する機能を有する。ここで、良い評価とできる視差角の許容値としては、飛び出し方向の視差角に対する許容値や奥行方向の視差角に対する許容値、立体画像内端部の画像ブロックの視差角に対する許容値、合焦点領域にある画像ブロックの視差角に対する許容値など種々のものが考えられる。
【０１２４】
「許容値評価手段」は、前記立体画像内の画像ブロックが前記視差角の許容値を満たす割合に応じて立体画像の見やすさを評価する機能を有する。具体的には、立体画像内の画像ブロックが視差角の許容値を満たす割合を算出し、当該割合と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する。
【０１２５】
また、立体画像内の画像ブロックの視差角の値が第一の閾値より小さい割合（例えば、奥行方向の視差角の値が許容値より小さい割合など）を算出し、さらに立体画像内の画像ブロックの視差角の値が第二の閾値より大きい割合（飛び出し方向の視差角の値が許容値より大きい割合など）を算出し、それぞれの割合と項目別評価値を関連付けたテーブルに基づいて、それぞれ項目別評価値を出力することも考えられる。
【０１２６】
また、許容値を満たす（又は満たさない）立体画像内の画像ブロックの視差角の値を取得し、許容値を満たす（又は満たさない）画像ブロックの全てに対して、視差角の値と項目別評価基準値を関連付けたテーブルを参照して項目別評価基準値を取得し、当該項目別評価基準値を全て加算した値を項目別評価値として出力することが考えられる。
【０１２７】
また、前記視差角の許容値を満たす（又は満たさない）画像ブロックの立体画像内の分布状況に応じて、立体画像の見やすさを評価することも可能である。例えば、視差角の許容値を満たす（又は満たさない）画像ブロックが立体画像内のピントの合った領域においてどれくらいの割合で存在するかに応じて項目別評価値を算出する構成も可能であるし、立体画像内の被写体が存在する領域や立体画像内の中心領域においてどれくらいの割合で存在するかに応じて項目別評価値を算出する構成も可能である。
【０１２８】
<具体的な構成>
本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。しかしながら、本実施形態の立体画像評価装置の長期記憶装置には、許容値を満たす（又は満たさない）立体画像内の画像ブロックの視差角の値と項目別評価基準値を関連付けたテーブルが保持されていることを特徴とする。
【０１２９】
<処理の流れ>
図２７は、項目別評価値ステップ評価プログラム内の項目別評価値算出処理の具体例を示した図である。まず、ステップＳ２７０１において、ＣＰＵは長期記憶装置に保持されている良い評価とできる視差角の許容値（第一の閾値、第二の閾値）の情報をＲＡＭに読み出す。次に、ステップＳ２７０２において、ＣＰＵは視差角の値が第一の閾値より小さな値となる画像ブロックを抽出する。次に、ステップＳ２７０３において、ＣＰＵは第一の閾値より小さな視差角の値をもつ画像ブロックの全てに対して、第一の閾値より小さな視差角の値と項目別評価基準値を関連付けたテーブルを参照して項目別評価基準値を取得する。次に、ステップＳ２７０４において、ＣＰＵは、ステップＳ２７０３にて取得された項目別評価基準値を全て加算した値を奥行方向の視差角に関する項目別評価値とする。次に、ステップＳ２７０５において、ＣＰＵは第二の閾値より大きな視差角の値をもつ画像ブロックを抽出する。次に、ステップＳ２７０６において、ＣＰＵは、第二の閾値より大きな視差角の値をもつ画像ブロックの全てに対して、第二の閾値より大きな視差角の値と項目別評価基準値を関連付けたテーブルを参照して項目別評価基準値を取得する。次に、ステップＳ２７０７において、ＣＰＵは、ステップＳ２７０６にて取得された項目別評価基準値を全て加算した値を飛び出し方向の視差角に関する項目別評価値とする。
【０１３０】
<効果>
本実施形態の立体画像評価装置は、立体画像内の画像ブロックが視差角の許容値を満たす割合を最終評価値に反映することができるため、より正確な立体画像の評価を行うことができる。
【実施例１】
【０１３１】
図２８は、本発明の立体画像評価装置２８００を、立体テレビに搭載した例を示す。図２８において、圧縮立体画像データは立体テレビ２８０１に入力される。また、テレビの表示画面サイズ、想定される視聴距離、想定される両眼間隔の情報は視聴情報手段２８０２により保持されており、立体画像評価装置２８００はこれらの情報を入力する。なお、想定される両眼間隔は、日本人の平均である６３ｍｍ〜６５ｍｍ等としてもよいし、子供を考慮した値である５０ｍｍとしてもよい。
【０１３２】
立体テレビ２８０１に入力された圧縮立体画像データは、デコード手段２８０３によりデコードされ、左眼用画像データ及び右眼用画像データとして出力される。左眼用画像データ及び右眼用画像データは、視差調整手段２８０４を介して立体画像評価装置２８００に入力される。
【０１３３】
立体画像評価装置２８００は、入力された表示画面サイズ・視聴距離・両眼間隔などの情報と、左眼用画像データ及び右眼用画像データから、最終評価値データを作成して出力する。
【０１３４】
左眼用画像データ及び右眼用画像データと最終評価値データが画像重畳手段２８０５に入力され、画像重畳手段２８０５は、左眼用画像データと右眼用画像データから表示用立体画像データを生成し、当該表示用立体画像データに対して最終評価値の情報を重畳表示した表示用立体画像データを生成し、表示手段２８０６に対して出力する。
【０１３５】
図２９は、表示用立体画像データの一例を示す図である。図２９において、表示用立体画像データ２９００は、視差のない背景部分と、視差のある前景部分と、最終評価値を表示する領域２９０１とから構成される。また、前景部分には、右眼にのみ表示される被写体像２９０２と左眼にのみ表示される被写体像２９０３が含まれる。
【０１３６】
表示手段２８０６は、入力された表示用立体画像データを用いて立体表示を行う。ここで、視差調整手段２８０４は、自動または手動で視差調整を行う手段である。このとき、自動で視差調整を行う場合には立体画像評価装置２８００で算出された最終評価値が小さくなるように視差調整を行うようにしても構わない。また、手動で視差調整を行う場合、立体画像評価装置２８００で算出された最終評価値を画面上に表示して、視聴者が最終評価値を見ながら値が小さくなるように視差調整を行うようにしても構わない。
【０１３７】
このとき、視差調整は画面全体を左右にずらすことにより行うが、どちらにずらしたら最終評価値が小さくなるかを予測して、当該値が小さくなる方向にずらすよう視聴者に通知してもよい。具体的には、画面全体をずらす方向を画面上に矢印などで指示することが考えられる。図３０は、表示用立体画像データの一例を示す図である。この図の例では、最終評価値を表示する領域３００１の上部に、ずらすべき方向を矢印３００２によって明示している。ここで、視差ずらしの操作を行うリモコン等のボタンの位置に、矢印の方向を合わせて表示してもよい。
【０１３８】
このように、立体視に固有のパラメータを考慮に入れて算出された立体画像の最終評価値を画面上に表示することによって、視聴者は現在立体表示されている映像の評価値を直感的に把握することが可能になる。また、視聴者は簡易に視差の調整を行うことが可能になる。
【０１３９】
また、立体画像内の各画像ブロックの視差角の符号の情報から、提示される立体映像が、飛び出して提示される立体映像なのか、又は画面より奥に提示される立体映像なのか、あるいは飛出し方向にも奥行方向にも提示される立体映像なのかを判別し、その判別結果に応じて表示する最終評価値の色を変えてもよい。例えば、立体映像が全て飛び出して提示される場合は赤色で最終評価値を表示し、全て画面より奥に提示される場合は青色で表示し、飛び出し方向にも奥行方向にも提示される場合は黒色に表示する。
【０１４０】
また、上記判別結果に応じて最終評価値に符号を付けて表示してもよい。例えば、立体映像が全て飛び出して提示される場合は最終評価値にプラス符号を付けて表示し、全て画面より奥に提示される場合は最終評価値にマイナス符号を付けて表示し、飛び出し方向にも奥行方向にも提示される場合は符号なしで評価値を表示する。
【０１４１】
また、最終評価値の近傍に、追加メッセージを表示してもよい。例えば、立体映像が全て飛び出して提示される場合は最終評価値の近傍に「飛び出し映像」と表示し、全て画面より奥に提示される場合は最終評価値の近傍に「奥行映像」と表示を行い、飛び出し方向にも奥行方向にも提示される場合は追加メッセージを表示しない。
【０１４２】
また、視聴距離と両眼間隔から、視差分布（視差マップ）を視聴者から立体映像が立体で提示される位置までの距離であるデプスマップに変換してもよい。生成されたデプスマップは、縦軸に発生頻度、横軸にデプスを取って、グラフ化して表示してもよい。このとき、画面の位置がグラフの横軸上のどの点に対応するのかわかるように、対応する点に印をつけるなどして表示してもよい。
【０１４３】
また、奥行方向の視差角の最小値や飛び出し方向の視差角の最大値、ピントの合った領域（合焦領域）の視差角、視差角の許容値（第一の閾値、第二の閾値など）をそれぞれデプスに変換して、グラフ上に印をつけて表示してもよい。
【０１４４】
また、本発明は、上記で説明した立体テレビのような立体画像データ表示装置だけでなく、立体デジタルカメラ、立体デジタルムービー、立体デジタルビデオレコーダー、立体携帯型ムービープレイヤー、立体携帯電話、立体カーナビゲーションシステム、立体携帯型ＤＶＤプレイヤー、立体ＰＣ等の立体映像信号を出力又は表示可能な機器についても広く適用でき、そこで取り扱われる画像データに対して、最終評価値を算出し、表示することができる。
【符号の説明】
【０１４５】
０７００…立体画像評価装置、０７０１…立体画像取得部、０７０２…視差角分布取得部、０７０３…評価部、０８０１…ＣＰＵ、０８０２…ＲＡＭ、０８０３…長期記憶装置、０８０４…通信Ｉ／Ｆ、０８０５…操作Ｉ／Ｆ、０８０６…表示装置、１３０４…視差角差分算出部、１３０５…視差角差分評価手段、１５０４…視差角差分ピーク値算出部、１５０５…視差角差分ピーク値評価手段、１８０４…端部視差角取得部、１８０５…端部視差角評価手段、２３０４…画像品質取得部、２３０５…画像品質評価手段、２６０４…許容値保持手段、２６０５…許容値評価手段、２８００…立体画像評価装置、２８０１…立体テレビ、２８０２…視差情報手段、２８０３…デコード手段、２８０４…視差調整手段、２８０５…画像重畳手段、２８０６…表示手段
【特許請求の範囲】
【請求項１】
立体画像を構成する左眼用画像と右眼用画像とを取得する立体画像取得部と、
取得した左眼用画像と右眼用画像とから立体画像の視差角分布を取得する視差角分布取得部と、
取得した視差角分布に基づいて立体画像の見やすさを評価する評価部と、
を有する立体画像評価装置。
【請求項２】
取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分を算出する視差角差分算出部をさらに有し、
前記評価部は、
前記視差角差分を利用して立体画像の見やすさを評価する視差角差分評価手段を有する請求項１に記載の立体画像評価装置。
【請求項３】
取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値である視差角差分ピーク値を算出する視差角差分ピーク値算出部をさらに有し、
前記評価部は、
前記視差角差分ピーク値を利用して立体画像の見やすさを評価する視差角差分ピーク値評価手段を有する請求項１又は２に記載の立体画像評価装置。
【請求項４】
取得した視差角分布から立体画像内端部の画像ブロックの視差角である端部視差角を取得する端部視差角取得部をさらに有し、
前記評価部は、
前記端部視差角を利用して立体画像の見やすさを評価する端部視差角評価手段を有する請求項１から３のいずれか一に記載の立体画像評価装置。
【請求項５】
前記端部視差角評価手段は、前記立体画像内端部の画像ブロックの像が表示画面より手前に結像する像の割合に応じて立体画像の見やすさを評価することを特徴とする請求項４に記載の立体画像評価装置。
【請求項６】
前記取得する左眼用画像又は右眼用画像の画像内位置に応じた平面画像としての画像品質の情報を取得する画像品質取得部をさらに有し、
前記評価部は、
前記平面画像としての画像品質の情報をさらに利用して立体画像の見やすさを評価する画像品質評価手段を有する請求項１から５のいずれか一に記載の立体画像評価装置。
【請求項７】
画像品質取得部は、前記取得する左眼用画像又は右眼用画像の画像内位置に応じた鮮鋭度の情報を取得することを特徴とする請求項６に記載の立体画像評価装置。
【請求項８】
前記画像品質評価手段は、
前記立体画像の見やすさの評価結果について、前記平面画像として画像品質の高い画像ブロックであるほどその評価の重みづけをより重くして評価結果を得ることを特徴とする請求項６又は７に記載の立体画像評価装置。
【請求項９】
前記評価部は、
良い評価とできる視差角の許容値を保持する許容値保持手段と、
前記立体画像内の画像ブロックが前記視差角の許容値を満たす割合に応じて立体画像の見やすさを評価する許容値評価手段を有する請求項１から８のいずれか一に記載の立体画像評価装置。
【請求項１】
立体画像を構成する左眼用画像と右眼用画像とを取得する立体画像取得部と、
取得した左眼用画像と右眼用画像とから立体画像の視差角分布を取得する視差角分布取得部と、
取得した視差角分布に基づいて立体画像の見やすさを評価する評価部と、
を有する立体画像評価装置。
【請求項２】
取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分を算出する視差角差分算出部をさらに有し、
前記評価部は、
前記視差角差分を利用して立体画像の見やすさを評価する視差角差分評価手段を有する請求項１に記載の立体画像評価装置。
【請求項３】
取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値である視差角差分ピーク値を算出する視差角差分ピーク値算出部をさらに有し、
前記評価部は、
前記視差角差分ピーク値を利用して立体画像の見やすさを評価する視差角差分ピーク値評価手段を有する請求項１又は２に記載の立体画像評価装置。
【請求項４】
取得した視差角分布から立体画像内端部の画像ブロックの視差角である端部視差角を取得する端部視差角取得部をさらに有し、
前記評価部は、
前記端部視差角を利用して立体画像の見やすさを評価する端部視差角評価手段を有する請求項１から３のいずれか一に記載の立体画像評価装置。
【請求項５】
前記端部視差角評価手段は、前記立体画像内端部の画像ブロックの像が表示画面より手前に結像する像の割合に応じて立体画像の見やすさを評価することを特徴とする請求項４に記載の立体画像評価装置。
【請求項６】
前記取得する左眼用画像又は右眼用画像の画像内位置に応じた平面画像としての画像品質の情報を取得する画像品質取得部をさらに有し、
前記評価部は、
前記平面画像としての画像品質の情報をさらに利用して立体画像の見やすさを評価する画像品質評価手段を有する請求項１から５のいずれか一に記載の立体画像評価装置。
【請求項７】
画像品質取得部は、前記取得する左眼用画像又は右眼用画像の画像内位置に応じた鮮鋭度の情報を取得することを特徴とする請求項６に記載の立体画像評価装置。
【請求項８】
前記画像品質評価手段は、
前記立体画像の見やすさの評価結果について、前記平面画像として画像品質の高い画像ブロックであるほどその評価の重みづけをより重くして評価結果を得ることを特徴とする請求項６又は７に記載の立体画像評価装置。
【請求項９】
前記評価部は、
良い評価とできる視差角の許容値を保持する許容値保持手段と、
前記立体画像内の画像ブロックが前記視差角の許容値を満たす割合に応じて立体画像の見やすさを評価する許容値評価手段を有する請求項１から８のいずれか一に記載の立体画像評価装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１３−７０１２７（Ｐ２０１３−７０１２７Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０５５１１（Ｐ２０１１−２０５５１１）
【出願日】平成２３年９月２１日（２０１１．９．２１）
【特許番号】特許第５１２１０８１号（Ｐ５１２１０８１）
【特許公報発行日】平成２５年１月１６日（２０１３．１．１６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２１日（２０１１．９．２１）
【特許番号】特許第５１２１０８１号（Ｐ５１２１０８１）
【特許公報発行日】平成２５年１月１６日（２０１３．１．１６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]