３次元映像処理装置および３次元映像処理方法
【課題】立体視用の映像の視差量が大きい場合でも、立体感を損なうことなく、立体視し易い映像を出力することができる３次元映像処理装置および３次元映像処理方法を提供する。
【解決手段】３次元映像処理装置１は、少なくとも２視点における映像を含む立体視用の映像を取得する入出力ＩＦ１０２と、取得した立体視用の映像の上端を含む上部領域および下端を含む下部領域のうち少なくとも一方の領域の視差量に関する視差情報を取得する視差情報検出部２０２と、視差情報を取得した領域における映像の表示方法を、当該領域の視差情報に基づいて設定する表示方法設定部２０３と、設定した表示方法に基づいて、立体視用の映像における視差情報を取得した領域の映像を処理する信号処理部２０４と、処理結果に基づいて得られる新たな立体視用の映像を出力する信号処理部２０４と、を備える。
【解決手段】３次元映像処理装置１は、少なくとも２視点における映像を含む立体視用の映像を取得する入出力ＩＦ１０２と、取得した立体視用の映像の上端を含む上部領域および下端を含む下部領域のうち少なくとも一方の領域の視差量に関する視差情報を取得する視差情報検出部２０２と、視差情報を取得した領域における映像の表示方法を、当該領域の視差情報に基づいて設定する表示方法設定部２０３と、設定した表示方法に基づいて、立体視用の映像における視差情報を取得した領域の映像を処理する信号処理部２０４と、処理結果に基づいて得られる新たな立体視用の映像を出力する信号処理部２０４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視用の映像を処理する３次元映像処理装置および３次元映像処理方法に関する。
【背景技術】
【０００２】
視差を有する左右の映像（立体視用の映像）を含む立体視用の映像は、立体表示可能な立体表示装置により表示される。
【０００３】
立体表示装置で表示する左右の映像間の視差が極端に大きくなると、ユーザが立体視しづらくなる。このような問題に対処可能な技術として、特許文献１や特許文献２に記載の技術がある。特許文献１に記載の技術では、左右の映像の表示位置を左右にずらすことにより左右の映像間の視差を小さくして、立体視しやすくする。特許文献２に記載の技術では、左右の映像の表示サイズを縮小することにより画面全体の視差を小さくして、立体視しやすくする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２２１７７５号公報
【特許文献２】特開２００５−７３０１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１のように、左右の映像を左右にずらして視差調整を行う方法では、飛び出し方向の最大視差量と引っ込み方向の最大視差量の両方がともに許容範囲を超えているような場合に、一方の方向の最大視差量を小さくすると、他方の方向の最大視差量が大きくなる。つまり、立体視しやすくできない。
【０００６】
また、特許文献２のように、左右の映像の表示サイズを縮小する技術では、画像全体が縮小されるため被写体が視認しづらくなる。また、画像の縮小により、画面全体にわたって視差が小さくなり、立体感が損なわれる。
【０００７】
本発明はかかる問題を解決するためになされたものであり、立体視用の映像の視差量が大きい場合でも、立体感を損なうことなく、立体視し易い映像を出力することができる３次元映像処理装置および３次元映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の３次元映像処理装置は、少なくとも２視点における映像を含む立体視用の映像を取得する映像取得部と、取得した立体視用の映像の上端を含む上部領域および下端を含む下部領域のうち少なくとも一方の領域の視差量に関する視差情報を取得する視差情報取得部と、視差情報を取得した領域における映像の表示方法を、当該領域の視差情報に基づいて設定する表示方法設定部と、設定した表示方法に基づいて、立体視用の映像における視差情報を取得した領域の映像を処理する映像処理部と、処理結果に基づいて得られる新たな立体視用の映像を出力する映像出力部と、を備える。
【０００９】
本発明の３次元映像処理方法は、少なくとも２視点における映像を含む立体視用の映像を取得し、取得した立体視用の映像の上端を含む上部領域および下端を含む下部領域のうち少なくとも一方の領域の視差量に関する視差情報を取得し、視差情報を取得した領域における映像の表示方法を、当該領域の視差情報に基づいて設定し、設定した表示方法に基づいて、立体視用の映像における視差情報を取得した領域の映像を処理し、処理結果に基づいて得られる新たな立体視用の映像を出力する。
【発明の効果】
【００１０】
本発明の３次元映像処理装置または３次元映像処理方法によれば、立体視用の映像を再生する際、部分的に表示方法を変更できる。このとき、表示方法は視差情報に基づいて設定できる。これにより、例えば立体視用の映像において、視差情報が所定値よりも大きい処理領域に対する表示方法と視差情報が所定値よりも小さい処理領域に対する表示方法を異なるものに設定できる。よって、立体視用の映像の視差量が大きい場合でも、立体感を損なうことなく、立体視し易い映像を出力することが出来る。
【００１１】
ここで、特に映像の下部領域は近接物体が撮影されて飛び出しの視差量が大きくなりやすく、映像の上部領域は遠方が撮影されて引っ込みの視差量が大きくなりやすいという課題がある。これに対処するため、本発明では、立体視用の映像の上端を含む上部領域および下端を含む下部領域のうち少なくとも一方の領域に関し、当該領域の視差情報に基づいて当該領域の映像の表示方法を設定し、当該映像を処理する。これにより、上部領域や下部領域の視差量が大きい映像であっても、立体感を損なうことなく、見やすい立体視用の映像として出力することが出来る。
【図面の簡単な説明】
【００１２】
【図１】本実施形態における３次元映像処理装置１を含む３次元映像システムの構成を示す図。
【図２】本実施形態における信号処理部１０３の構成を示す図。
【図３】本実施形態における視差情報検出部２０２が取得する立体視用の映像のヘッダ部に記載される情報の一部を示す図。
【図４】本実施形態における視差情報検出部２０２が視差情報を取得する領域を説明するための図。
【図５】本実施形態における表示画面の上端および下端においてそれぞれ１つの領域を設定し、当該領域の視差情報を取得する構成を説明するための図。
【図６】本実施形態における表示画面の上端側および下端側においてそれぞれ複数の領域を設定し、当該各領域の視差情報を取得する構成を説明するための図。
【図７】本実施形態における表示画面の下端を視認しづらくする表示方法を説明するための図。
【図８】本実施形態における表示画面の下端に近づくにつれ徐々に視認しづらくなる映像を重ねる表示方法を説明するための図。
【図９】本実施形態における表示画面の下端を視認できなくする表示方法を説明するための図。
【図１０】本実施形態における表示方法設定部２０３における具体的な動作を説明するためのフローチャート。
【発明を実施するための最良の形態】
【００１３】
以下、本実施形態における３次元映像処理装置について図面を参照しながら説明する。
【００１４】
１−１.３次元映像処理装置の構成
図１は、３次元映像処理装置１を含む３次元映像システムの構成を示す図である。
【００１５】
３次元映像処理装置１は、ディスプレイ２、ハードディスク装置４（以下、「ＨＤＤ４」という）、および記録媒体５と接続される。３次元映像処理装置１は、光ディスク３、ＨＤＤ４、記録媒体５から映像信号を入力し、この入力した映像信号を処理し、ディスプレイ２に出力する。ディスプレイ２は、入力された映像信号に基づく映像を表示する。
【００１６】
光ディスク３、ＨＤＤ４、記録媒体５には、立体視用の映像に関する信号（データ）（以下、適宜「立体視用映像信号」という）が記録されている。立体視用映像信号は、少なくとも第１視点信号および第２視点信号を含む。第１視点信号は、被写体を第１の視点から捉えた映像の映像信号である。第２視点信号は、当該被写体を第２の視点から捉えた映像の映像信号である。第１の視点と第２の視点は異なる位置に設けられる。３Ｄ映像方式は、サイドバイサイド方式やトップアンドボトム方式等、どのような映像方式でも構わない。また、立体視用の映像は、第１視点信号および第２視点信号がＭＶＣ規格を用いて符号化された映像であっても構わない。
【００１７】
ディスプレイ２は、例えば、液晶ディスプレイまたはプラズマパネルディスプレイで実現可能である。ディスプレイ２は、第１視点信号および第２視点信号に基づく立体視用の映像を表示可能である。
【００１８】
光ディスク３は、立体視用の映像の映像信号（映像データ）を蓄積する。光ディスク３は、例えばＢｌｕ−ｒａｙディスクである。
【００１９】
ＨＤＤ４は、立体視用の映像の映像信号（映像データ）を蓄積する。
【００２０】
記録媒体５は、立体視用の映像の映像信号（映像データ）を蓄積する。記録媒体５は、例えば、ＳＤカード、メモリカード等の半導体記録素子で実現可能である。
【００２１】
このような構成により、３次元映像処理装置１は、上述の光ディスク３、ＨＤＤ４、記録媒体５等様々な記録媒体から立体視用の映像の映像信号（映像データ）を取得できる。
【００２２】
１−２．３次元映像処理装置の具体的構成
３次元映像処理装置１の具体的な構成について図面を参照しながら説明する。
【００２３】
３次元映像処理装置１は、図１に示すようにドライブ装置１０１、入出力インターフェース１０２（以下、「入出力ＩＦ１０２」という）、信号処理部１０３、バッファメモリ１０４およびフラッシュメモリ１０５を有する。
【００２４】
ドライブ装置１０１は、ディスクトレイを備え、このディスクトレイによって収納された光ディスク３から映像信号を読み出すことができる。また、ドライブ装置１０１は、ディスクトレイに収納された光ディスク３に、信号処理部１０３から入力された映像信号の書込みを行なうことができる。
【００２５】
入出力ＩＦ１０２は、信号処理部１０３と、ＨＤＤ４および記録媒体５との接続を可能にする。入出力ＩＦ１０２は、信号処理部１０３との間で、コントロール信号や映像信号のやり取りを可能にする。入出力ＩＦ１０２は、ＨＤＤ４および記録媒体５から入力された立体視用映像信号を、信号処理部１０３に送信する。また、入出力ＩＦ１０２は、信号処理部１０３から入力された立体視用映像信号を、ＨＤＤ４または記録媒体５に送信する。立体視用映像信号は、圧縮映像信号および非圧縮映像信号のいずれでもよい。なお、入出力ＩＦ１０２には、ＨＤＤ４や記録媒体５以外に、放送受信用チューナやインターネットストリーム受信装置等の外部信号受信装置も接続可能である。入出力ＩＦ１０２は、ＨＤＭＩコネクタ、ＳＤカードスロット、ＵＳＢコネクタ等で実現できる。要するに、入出力ＩＦ１０２は、外部の記録装置（媒体）や外部信号の受信装置とのインターフェースを実現するものであればよい。
【００２６】
信号処理部１０３は、３次元映像処理装置１の各部を制御する。また、信号処理部１０３は、入出力ＩＦ１０２から出力された立体視用映像信号に対して復号化および信号処理を行う。例えば、信号処理部１０３は、ＪＰＥＧ符号化規格で符号化された立体視用映像信号に対して復号化を行う。
【００２７】
また、信号処理部１０３は、立体視用の映像を構成する第１視点映像と第２視点映像との視差に関する情報（以下、「視差情報」という）を取得する。
【００２８】
例えば、信号処理部１０３は、第１視点信号および第２視点信号に基づいて、第１視点映像と第２視点映像との視差量を算出し、この算出した視差量に基づいて視差情報を取得する。この際、信号処理部１０３はブロックマッチング等どのような方法を用いても構わない。なお、信号処理部１０３は、立体視用映像信号のヘッダ部に付加されている視差情報を取得してもよい。また、視差情報が付加情報として映像信号に挿入されている場合、信号処理部１０３は、当該視差情報を取得してもよい。信号処理部１０３は、立体視用の映像（第１視点映像および第２視点映像）を複数の領域に分割し、分割した各領域毎に視差情報を取得する。なお、信号処理部１０３における視差情報の取得動作、および視差情報を取得する領域については後述する。
【００２９】
さらに、信号処理部１０３は、取得した視差情報に基づいて、当該視差情報を取得した領域における映像の表示方法を設定する。表示方法の設定動作については後述する。
【００３０】
信号処理部１０３は、マイクロコンピュータで構成してもよいし、ハードワイヤードな回路で構成してもよい。
【００３１】
バッファメモリ１０４は、信号処理部１０３で信号処理を施す際のワークメモリとして用いられる。バッファメモリ１０４は、例えば、ＤＲＡＭで実現可能である。
【００３２】
フラッシュメモリ１０５は、信号処理部１０３が実行するプログラム等を記憶している。
【００３３】
１−３．信号処理部の具体的な構成
信号処理部１０３における具体的な動作について説明する。
【００３４】
図２は、信号処理部１０３の構成を示す図である。
【００３５】
信号処理部１０３は、画像再生部２０１、視差情報検出部２０２、表示方法設定部２０３および信号処理部２０４を有する。
【００３６】
画像再生部２０１は、ドライブ装置１０１または入出力ＩＦ１０２が取得した立体視用映像信号を復号化する。画像再生部２０１は、復号化して得られた立体視用映像信号を視差情報検出部２０２および信号処理部２０４に出力する。
【００３７】
視差情報検出部２０２は、画像再生部２０１から入力された立体視用映像信号に基づいて、当該立体視用の映像の所定の領域毎に視差情報を取得する。所定の領域は、例えば立体視用の映像を複数の領域に分割した場合、分割した各領域に対応する。なお、視差情報検出部２０２は、立体視用映像信号のヘッダ部に記載された立体感に関する情報に基づいて、所定の領域毎の視差情報を取得しても構わない。
【００３８】
図３は、立体視用映像信号のヘッダ部に記載された立体感に関する情報の一部を示す図である。
【００３９】
立体視用映像信号のヘッダ部には、立体感に関する情報として、領域分割数、および領域毎の視差情報が記載されている。視差情報検出部２０２は、この領域分割数および視差情報を取得する。
【００４０】
領域分割数は、立体視用の映像における水平方向の領域数および垂直方向の領域数を示す。図３における（Ｈ，Ｖ）は水平方向の分割数と垂直方向の分割数を示す。例えば、（Ｈ，Ｖ）＝（３，１）である場合、立体視用の映像は水平方向において３分割され、垂直方向において１分割されている（分割されていない）ことを示す。この場合、立体視用の映像が有する領域数は３となる。
【００４１】
視差情報は、分割後の各領域における視差情報を示す。ここで、図３に示すＤ１およびＤ２は１つの領域内における最大飛び出し視差量および最大引っ込み視差量を示す。また、（０，０）、（１，０）および（２，０）は、分割後の複数の領域のうちのどの領域かを示す値である。例えば（０，０）は、０行０列目に位置する領域を示す。さらに、（１，０）は、１行０列目に位置する領域を示す。図３は、各領域の視差情報としてＤ１およびＤ２の２つの視差量が含まれている場合を示す。
【００４２】
なお、視差情報検出部２０２は、領域毎の視差情報を下記の動作によって取得してもよい。すなわち、視差情報検出部２０２は、画像再生部２０１から入力された立体視用映像信号が示す立体視用の映像を複数の領域に分割し、分割後の各領域毎に複数の視差量を算出する。さらに、視差情報検出部２０２は、算出した視差量に基づいて、各領域を代表する視差量を視差情報として設定する。なお、視差情報検出部２０２は、領域を代表する視差量として、当該領域内で算出される複数の視差量のうち、最大飛び出し視差量と最大引っ込み視差量のうち少なくとも一方を設定しても構わない。また、視差情報検出部２０２は、領域を代表する視差量として、当該領域内で算出される複数の視差量の平均値または中央値を設定しても構わない。
【００４３】
図４〜図６は、視差情報検出部２０２が視差情報を取得する領域を説明するための図である。
【００４４】
図４に示す例では、視差情報検出部２０２は、立体視用の映像を垂直方向において複数の領域Ｒに分割する。そして、視差情報検出部２０２は、分割して得られる各領域の視差情報を取得する。ここで、分割して得られる各領域の水平方向の映像サイズは、立体視用の映像における水平方向の映像サイズと同一である。
【００４５】
図５に示す例では、視差情報検出部２０２は、視差情報を取得する際、立体視用の映像のうちの上端側の領域（上端を含む所定の領域）Ｒｔおよび下端側の領域（下端を含む所定の領域）Ｒｂの視差情報を取得する。上端側領域Ｒｔと下端側領域Ｒｂの間の領域（網掛した領域）Ｒｃは、視差情報を取得しない領域である。
【００４６】
図６に示す例では、視差情報検出部２０２は、上端側領域Ｒｔを複数の小領域Ｒｔｓに分割するとともに、下端側領域Ｒｂを複数の小領域Ｒｂｓに分割し、これらの分割した各領域Ｒｔｓ、Ｒｂｓの視差情報を取得する。
【００４７】
なお、図４〜図６では、視差情報を取得する各領域の水平方向の映像サイズが立体視用の映像における水平方向の映像サイズと同一の場合について説明したが、視差情報を取得する領域の水平方向の映像サイズは、立体視用の映像における水平方向の映像サイズと異ならせてもよい。また、垂直方向において分割した例を説明したが、水平方向において分割してもよい。この場合、視差情報を取得する領域の垂直方向の映像サイズは、立体視用の映像における垂直方向の映像サイズと同じとしても、異ならせてもよい。
【００４８】
視差情報検出部２０２は、取得した視差情報を表示方法設定部２０３に出力する。このとき、視差情報検出部２０２は、立体視用の映像における分割領域と、当該分割領域において取得した視差情報とが対応付けられた状態で表示方法設定部２０３に視差情報を出力するのが好ましい。
【００４９】
表示方法設定部２０３は、視差情報検出部２０２から入力された各分割領域毎の視差情報に基づいて各分割領域における映像の表示方法を設定し、設定した表示方法を各分割領域と対応づけて信号処理部２０４に出力する。
【００５０】
信号処理部２０４は、表示方法設定部２０３で設定された表示方法にしたがって、各分割領域の立体視用映像信号（映像データ）を処理する。そして、信号処理部２０４は、処理の結果生成される新たな立体視用映像信号をディスプレイ２に出力する。
【００５１】
１−４．表示方法設定部によって設定される表示方法の例
表示方法設定部２０３によって設定される表示方法の例について説明する。
【００５２】
表示方法設定部２０３は、視差情報検出部２０２から入力された視差情報に基づいて、各分割領域において以下の３つの表示方法のうちのいずれかの方法を設定する。
表示方法１：当該領域における映像をそのまま表示する表示方法。
表示方法２：当該領域における映像を視認しづらくまたは視認できなくする表示方法。
表示方法３：当該領域における映像の視差を調整した後に表示する表示方法。
【００５３】
表示方法２のうち視認しづらくする表示方法としては、例えば該当領域における映像に対して所定の映像を重ねて表示することにより、当該領域における映像を視認しづらくする方法がある。図７、図８は、当該方法の例を説明するための図である。
【００５４】
図７に示す例では、表示方法設定部２０３は、立体視用の映像の下端側の領域Ｒｂについて、黒色の映像を重ねて表示することにより、当該領域Ｒｂにおける映像を視認しづらくする。なお、重ねて表示する映像は、黒色の映像でなく白色など単色の映像でもよい。
【００５５】
図８に示す例では、表示方法設定部２０３は、立体視用の映像の下端側の領域Ｒｂについて、下端に近づくにつれて徐々に黒の濃度が濃くなるグラデーションの映像を重ねて表示することにより、当該領域Ｒｂにおける映像を視認しづらくする。なお、図８の例では、不透過のグラデーションの映像を重ねているが、これに限られない。例えば、元画像の下端側の領域Ｒｂの画像そのものを、下端側ほど黒の濃度が濃くなる（暗くなる）ようにグラデーション処理することにより、当該領域Ｒｂにおける映像を視認しづらくしてもよい。
【００５６】
図示しないが、表示方法設定部２０３は、立体視用の映像の下端側の領域に対して、図７における単色の映像や図８におけるグラデーションの映像でなく、全く図柄等の異なる映像を重ねて表示することにより、当該領域における映像を視認しづらくしてもよい。
【００５７】
上記２における方法２のうち視認できない表示方法としては、例えば、該当領域における映像の画像データを削除することにより、当該領域における映像を視認できなくする方法がある。図９は、当該方法の例を説明するための図である。
【００５８】
図９に示す例では、表示方法設定部２０３は、立体視用の映像のうち下端側の領域Ｒｂにおける映像を削除することにより、当該領域における映像を視認できなくする。
【００５９】
なお、図７〜図９の例では、下端側の領域Ｒｂを視認しづらくまたは視認できなくなる場合について説明したが、上端側の領域の場合にも同様の思想を適用可能である。上端においてグラデーションの映像を重ねる場合には、上端に近づくにつれて徐々に黒の濃度が濃くなるグラデーションの映像を重ねて表示すればよい。
【００６０】
１−５．表示方法設定部における動作の具体例
表示方法設定部２０３における具体的な動作について説明する。
【００６１】
図１０は、表示方法設定部２０３における具体的な動作を説明するためのフローチャートである。
【００６２】
表示方法設定部２０３は、視差情報および領域の情報を取得する（Ｓ２０１）。
【００６３】
表示方法設定部２０３は、処理する領域の初期化を行なう（Ｓ２０２）。
【００６４】
表示方法設定部２０３は、現在の処理対象の領域の視差情報を取得する（Ｓ２０３）。
【００６５】
表示方法設定部２０３は、取得した視差情報が所定の条件を満たすか否かを判定する（Ｓ２０４）。所定の条件は、例えば３Ｄコンソーシアム等において定められている安全視差条件に基づいて設定してもよいし、任意に設定してもよい。例えば、各領域毎に視差情報として視差量Ｄ１およびＤ２が算出されている場合、当該Ｄ１およびＤ２が所定値よりも小さいか否かを判断する。ここで、所定値は、立体視しづらいと感じる視差を示す値であり、設計者または使用者が任意に決定できる。具体的には、例えば、最も飛び出して視認される部分の視差角と最も引っ込んで視認される部分の視差角との視差が±１度となるときの値に設定すればよい。なお、±１度という値は一例である。
【００６６】
なお、表示方法設定部２０３は、立体視用の映像のうち上端側については、Ｄ２のみを利用して所定の条件を満たすか否かを判断してもよい。また、表示方法設定部２０３は、立体視用の映像のうち下端側については、Ｄ１のみを利用して所定の条件を満たすか否かを判断してもよい。表示方法設定部２０３は、処理対象の領域における視差情報が所定の条件を満たす場合、処理対象の領域に表示方法１を設定する（Ｓ２０５）。つまり、表示方法設定部２０３は、該当領域における映像をそのまま表示する表示方法を設定する。ここで、表示方法設定部２０３は、当該領域に表示方法１を設定したことを示す制御信号を信号処理部２０４に出力する。
【００６７】
一方、処理対象の領域における視差情報が所定の条件を満たさない場合、表示方法設定部２０３は、処理対象の領域が立体視用の映像における上端または下端のいずれかを含む領域かを判定する（Ｓ２０６）。処理対象の領域が立体視用の映像における上端または下端のいずれかを含む場合、表示方法設定部２０３は、処理対象の領域に表示方法２を設定する（Ｓ２０７）。つまり、表示方法設定部２０３は、当該領域における映像を視認しづらくまたは視認できなくする表示方法を設定する。ここで、表示方法設定部２０３は当該領域に表示方法２を設定したことを示す制御信号を信号処理部２０４に出力する。
【００６８】
これに対し、処理対象の領域が立体視用の映像における上端を含む領域および下端を含む領域のいずれをも含まない場合、表示方法設定部２０３は、処理対象の領域に隣接する領域が所定の条件を満たしているかを判断する（Ｓ２０８）。所定の条件を満たしていると判断した場合、表示方法設定部２０３は、処理対象の領域に方法３を設定する（Ｓ２０９）。つまり、表示方法設定部２０３は、当該領域における映像に対して視差の調整を行った後に表示する表示方法を設定する。ここで、表示方法設定部２０３は当該領域に方法３が設定されたことを示す制御信号を信号処理部２０４に出力する。
【００６９】
一方、表示方法設定部２０３は、所定の条件を満たしていないと判断した場合、上記ステップＳ２０７に移行する。
【００７０】
表示方法設定部２０３は、立体視用の映像における全ての領域の処理が完了したか否かを判断する（Ｓ２１０）。全ての処理が完了している場合、このフローチャートにおける処理を終了する。一方、全ての領域における処理がまだ完了していない場合、表示方法設定部２０３は、処理対象の領域として次の領域を設定し（Ｓ２１１）、上記ステップＳ２０４に移行する。
【００７１】
１−６．まとめ
本実施形態における３次元映像処理装置１は、少なくとも２視点における映像を含む立体視用の映像を取得する入出力ＩＦ１０２と、取得した立体視用の映像の上端を含む上部領域および下端を含む下部領域のうち少なくとも一方の領域の視差量に関する視差情報を取得する視差情報検出部２０２と、視差情報を取得した領域における映像の表示方法を、当該領域の視差情報に基づいて設定する表示方法設定部２０３と、設定した表示方法に基づいて、立体視用の映像における視差情報を取得した領域の映像を処理する信号処理部２０４と、処理結果に基づいて得られる新たな立体視用の映像を出力する信号処理部２０４と、を備える。
【００７２】
上記のように構成することで、立体視用の映像を再生する際、部分的に表示方法を変更することができる。さらに、この表示方法は視差情報に基づいて設定することができる。これにより、例えば立体視用の映像において、視差情報が所定値よりも大きい領域に対する表示方法と視差情報が所定値よりも小さい処理領域に対する表示方法とを異なるものに設定することができる。よって、立体視用の映像の視差量が大きい場合でも、立体感を損なうことなく、立体視し易い映像を出力することが出来る。
【００７３】
ここで、特に映像の下部領域は近接物体が撮影されて飛び出しの視差量が大きくなりやすく、映像の上部領域は遠方が撮影されて引っ込みの視差量が大きくなりやすいという課題がある。これに対処するため、本実施形態では、立体視用の映像の上端を含む上部領域および下端を含む下部領域のうち少なくとも一方の領域に関し、当該領域の視差情報に基づいて当該領域の映像の表示方法を設定し、当該映像を処理する。これにより、上部領域や下部領域の視差量が大きい映像であっても、立体感を損なうことなく、見やすい立体視用の映像として出力することが出来る。
【００７４】
また、表示方法設定部２０３は、取得した視差情報が示す視差量が所定の値よりも大きい領域に対して、当該領域の映像が視認しづらくなる表示方法を設定する。
【００７５】
上記のように構成することで、例えば視差情報が示す視差量が所定値よりも大きい領域を表示する際、当該領域の映像を視認しづらくすることが出来る。これにより、立体視用の映像を視聴するユーザは、当該領域の映像から注意がそらされ、当該領域の映像を直接的に視認しなくなる。そのため、視差量が大きい立体視用の映像を視聴する際の立体視のしづらさを緩和することができる。
【００７６】
また、信号処理部２０４は、表示方法設定部２０３が視認しづらくなる表示方法を設定した領域に対して、当該領域の映像に所定の映像を重ねて表示させる処理を行う。
【００７７】
この場合、所定の映像は、視差情報を取得した領域が上部領域であるときは、立体視用の映像の上端に近づくにつれて上部領域の映像が視認しづらくなるグラデーション処理された映像であり、視差情報を取得した領域が下部領域であるときは、立体視用の映像の下端に近づくにつれて下部領域の映像が視認しづらくなるグラデーション処理された映像である。
【００７８】
上記のように構成することで、例えば視差情報が示す視差量が所定値よりも大きい領域を表示した際、立体視用の映像の上端または下端に近づくにつれて当該領域の映像を徐々に視認しづらくすることが出来る。これにより、立体視用の映像を視聴するユーザは、当該領域の映像から注意がそらされ、当該領域の映像を直接的に視認しなくなる。特に、立体視用の映像の上部領域または下部領域の映像が上端または下端に近づくにつれて視認しづらくなるようにグラデーション処理されているので、ユーザに対して与える違和感を少なくできるとともに、立体視用の映像を視聴する際に感じる立体視のしづらさをより緩和することができる。
【００７９】
また、表示方法設定部２０３は、取得した視差情報が示す視差量が所定の値よりも大きい場合、当該視差量が所定の値よりも大きい領域に対して、当該領域の映像が視認できなくなる表示方法を設定する。
【００８０】
上記のように構成することで、例えば視差情報が所定値よりも大きい領域を表示した際に、当該領域における映像を視認できなくすることが出来る。これにより、当該領域の映像を直接的に視認しないようにできるため、視差量の大きい立体視用の映像を視聴する際の立体視のしづらさを緩和することができる。
【００８１】
また、信号処理部２０４は、表示方法設定部２０３が視認できない表示方法を設定した領域に対して、当該領域の映像を削除する処理を行う。
【００８２】
このとき、前記領域における水平方向の領域サイズは、立体視用の映像における水平方向の映像サイズと同一である。
【００８３】
上記のように構成することにより、例えば一般的なシーン／風景では、上端が遠、下端が近になる傾向があることを利用し、視差が大きくなる可能性の高い、上端、下端を切り取りやすくすることができる。
【００８４】
また、本実施形態では、取得した映像の上部領域および下部領域はそれぞれ複数の領域で構成されており、視差情報検出部２０２が視差情報を取得する領域における水平方向の映像サイズは、立体視用の映像における水平方向の映像サイズと同一である。視差情報検出部２０２は、上部領域と下部領域のうちの少なくとも一方の領域について各領域を構成する複数の領域の視差量に関する視差情報をそれぞれ取得する。表示方法設定部２０３は、上部領域については、上端側の領域から順番に各領域の視差量が所定の値よりも大きいか否かを判定し、判定した領域の視差量が所定の値よりも大きい場合は、当該領域に対して当該領域の映像が視認しづらくなる表示方法または当該領域の映像が視認できなくなる表示方法を設定するとともに、当該領域の下方で隣接する領域についてその視差量が所定の値よりも大きいか否かの判定を続行し、当該領域の視差量が所定の値よりも大きくない場合は、当該領域の映像が視認しづらくなる表示方法または当該領域の映像が視認できなくなる表示方法のいずれをも設定せず、かつ当該領域の下方の領域における前記判定を中止する。これに対し、下部領域については、下端側の領域から順番に各領域の視差量が所定の値よりも大きいか否かを判定し、判定した領域の視差量が所定の値よりも大きい場合は、当該領域に対して当該領域の映像が視認しづらくなる表示方法または当該領域の映像が視認できなくなる表示方法を設定するとともに、当該領域の上方で隣接する領域についてその視差量が所定の値よりも大きいか否かの判定を続行し、当該領域の視差量が所定の値よりも大きくない場合は、当該領域の映像が視認しづらくなる表示方法または当該領域の映像が視認できなくなる表示方法のいずれをも設定せず、かつ当該領域の上方の領域における前記判定を中止する。
【００８５】
上記のように構成することで、立体視用の映像の上部領域と下部領域のうちの少なくとも一方の領域を複数の領域に分割して視差情報を取得することが出来る。また、視差情報を取得する領域を立体視用の映像における水平方向の映像サイズと合わせることができる。また、視差情報を取得する領域毎に所定値よりも大きいかを判断することができる。さらに、判断結果に基づいて処理領域を設定することができる。これにより、映像の下部は近接物体が撮影されて飛び出し視差情報が大きく、映像の上部は遠方が撮影されて奥行き視差が大きくなる映像であっても、立体感を損なうことなく、見やすい立体視用の映像として出力することが出来る。さらに、例えば、映像の下部または映像の上部のうち、真に必要な部分に対して表示方法を変更することが出来る。
【００８６】
２．その他の実施形態
なお、本実施形態においては静止画に対する処理を中心に記載した。しかし、動画に対する処理にも適用可能である。
【００８７】
また、上記実施形態で説明したデジタルカメラにおいて、図１、図２に示す各機能ブロック（各部）は、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
【００８８】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８９】
また、集積回路はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサでも実現可能である。
【００９０】
さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて上記各機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【００９１】
また、上記実施形態の各処理はハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係るデジタルカメラをハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要がある。上記実施形態においては、説明の便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【００９２】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で入れ替えることができる。
【００９３】
また、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【００９４】
本発明にかかる３Ｄ映像信号処理装置および３Ｄ映像処理方法によれば、立体視用の映像の視差量が大きい場合でも、立体感を損なうことなく、立体視し易い映像を出力することができる。そのため、３Ｄ映像を撮影するデジタルカメラ、放送用カメラおよび、３Ｄ映像の記録再生を行うレコーダー若しくは、プレーヤー等にも応用可能である。
【符号の説明】
【００９５】
１ ３次元映像処理装置
２ ディスプレイ
３ 光ディスク
４ ハードディスク装置（ＨＤＤ）
５ 記録媒体
１０１ ドライブ装置
１０２ 入出力インターフェース（入出力ＩＦ）
１０３ 信号処理部
１０４ バッファメモリ
１０５ フラッシュメモリ
２０１ 画像再生部
２０２ 視差情報検出部
２０３ 表示方法設定部
２０４ 信号処理部
【技術分野】
【０００１】
本発明は、立体視用の映像を処理する３次元映像処理装置および３次元映像処理方法に関する。
【背景技術】
【０００２】
視差を有する左右の映像（立体視用の映像）を含む立体視用の映像は、立体表示可能な立体表示装置により表示される。
【０００３】
立体表示装置で表示する左右の映像間の視差が極端に大きくなると、ユーザが立体視しづらくなる。このような問題に対処可能な技術として、特許文献１や特許文献２に記載の技術がある。特許文献１に記載の技術では、左右の映像の表示位置を左右にずらすことにより左右の映像間の視差を小さくして、立体視しやすくする。特許文献２に記載の技術では、左右の映像の表示サイズを縮小することにより画面全体の視差を小さくして、立体視しやすくする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２２１７７５号公報
【特許文献２】特開２００５−７３０１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１のように、左右の映像を左右にずらして視差調整を行う方法では、飛び出し方向の最大視差量と引っ込み方向の最大視差量の両方がともに許容範囲を超えているような場合に、一方の方向の最大視差量を小さくすると、他方の方向の最大視差量が大きくなる。つまり、立体視しやすくできない。
【０００６】
また、特許文献２のように、左右の映像の表示サイズを縮小する技術では、画像全体が縮小されるため被写体が視認しづらくなる。また、画像の縮小により、画面全体にわたって視差が小さくなり、立体感が損なわれる。
【０００７】
本発明はかかる問題を解決するためになされたものであり、立体視用の映像の視差量が大きい場合でも、立体感を損なうことなく、立体視し易い映像を出力することができる３次元映像処理装置および３次元映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の３次元映像処理装置は、少なくとも２視点における映像を含む立体視用の映像を取得する映像取得部と、取得した立体視用の映像の上端を含む上部領域および下端を含む下部領域のうち少なくとも一方の領域の視差量に関する視差情報を取得する視差情報取得部と、視差情報を取得した領域における映像の表示方法を、当該領域の視差情報に基づいて設定する表示方法設定部と、設定した表示方法に基づいて、立体視用の映像における視差情報を取得した領域の映像を処理する映像処理部と、処理結果に基づいて得られる新たな立体視用の映像を出力する映像出力部と、を備える。
【０００９】
本発明の３次元映像処理方法は、少なくとも２視点における映像を含む立体視用の映像を取得し、取得した立体視用の映像の上端を含む上部領域および下端を含む下部領域のうち少なくとも一方の領域の視差量に関する視差情報を取得し、視差情報を取得した領域における映像の表示方法を、当該領域の視差情報に基づいて設定し、設定した表示方法に基づいて、立体視用の映像における視差情報を取得した領域の映像を処理し、処理結果に基づいて得られる新たな立体視用の映像を出力する。
【発明の効果】
【００１０】
本発明の３次元映像処理装置または３次元映像処理方法によれば、立体視用の映像を再生する際、部分的に表示方法を変更できる。このとき、表示方法は視差情報に基づいて設定できる。これにより、例えば立体視用の映像において、視差情報が所定値よりも大きい処理領域に対する表示方法と視差情報が所定値よりも小さい処理領域に対する表示方法を異なるものに設定できる。よって、立体視用の映像の視差量が大きい場合でも、立体感を損なうことなく、立体視し易い映像を出力することが出来る。
【００１１】
ここで、特に映像の下部領域は近接物体が撮影されて飛び出しの視差量が大きくなりやすく、映像の上部領域は遠方が撮影されて引っ込みの視差量が大きくなりやすいという課題がある。これに対処するため、本発明では、立体視用の映像の上端を含む上部領域および下端を含む下部領域のうち少なくとも一方の領域に関し、当該領域の視差情報に基づいて当該領域の映像の表示方法を設定し、当該映像を処理する。これにより、上部領域や下部領域の視差量が大きい映像であっても、立体感を損なうことなく、見やすい立体視用の映像として出力することが出来る。
【図面の簡単な説明】
【００１２】
【図１】本実施形態における３次元映像処理装置１を含む３次元映像システムの構成を示す図。
【図２】本実施形態における信号処理部１０３の構成を示す図。
【図３】本実施形態における視差情報検出部２０２が取得する立体視用の映像のヘッダ部に記載される情報の一部を示す図。
【図４】本実施形態における視差情報検出部２０２が視差情報を取得する領域を説明するための図。
【図５】本実施形態における表示画面の上端および下端においてそれぞれ１つの領域を設定し、当該領域の視差情報を取得する構成を説明するための図。
【図６】本実施形態における表示画面の上端側および下端側においてそれぞれ複数の領域を設定し、当該各領域の視差情報を取得する構成を説明するための図。
【図７】本実施形態における表示画面の下端を視認しづらくする表示方法を説明するための図。
【図８】本実施形態における表示画面の下端に近づくにつれ徐々に視認しづらくなる映像を重ねる表示方法を説明するための図。
【図９】本実施形態における表示画面の下端を視認できなくする表示方法を説明するための図。
【図１０】本実施形態における表示方法設定部２０３における具体的な動作を説明するためのフローチャート。
【発明を実施するための最良の形態】
【００１３】
以下、本実施形態における３次元映像処理装置について図面を参照しながら説明する。
【００１４】
１−１.３次元映像処理装置の構成
図１は、３次元映像処理装置１を含む３次元映像システムの構成を示す図である。
【００１５】
３次元映像処理装置１は、ディスプレイ２、ハードディスク装置４（以下、「ＨＤＤ４」という）、および記録媒体５と接続される。３次元映像処理装置１は、光ディスク３、ＨＤＤ４、記録媒体５から映像信号を入力し、この入力した映像信号を処理し、ディスプレイ２に出力する。ディスプレイ２は、入力された映像信号に基づく映像を表示する。
【００１６】
光ディスク３、ＨＤＤ４、記録媒体５には、立体視用の映像に関する信号（データ）（以下、適宜「立体視用映像信号」という）が記録されている。立体視用映像信号は、少なくとも第１視点信号および第２視点信号を含む。第１視点信号は、被写体を第１の視点から捉えた映像の映像信号である。第２視点信号は、当該被写体を第２の視点から捉えた映像の映像信号である。第１の視点と第２の視点は異なる位置に設けられる。３Ｄ映像方式は、サイドバイサイド方式やトップアンドボトム方式等、どのような映像方式でも構わない。また、立体視用の映像は、第１視点信号および第２視点信号がＭＶＣ規格を用いて符号化された映像であっても構わない。
【００１７】
ディスプレイ２は、例えば、液晶ディスプレイまたはプラズマパネルディスプレイで実現可能である。ディスプレイ２は、第１視点信号および第２視点信号に基づく立体視用の映像を表示可能である。
【００１８】
光ディスク３は、立体視用の映像の映像信号（映像データ）を蓄積する。光ディスク３は、例えばＢｌｕ−ｒａｙディスクである。
【００１９】
ＨＤＤ４は、立体視用の映像の映像信号（映像データ）を蓄積する。
【００２０】
記録媒体５は、立体視用の映像の映像信号（映像データ）を蓄積する。記録媒体５は、例えば、ＳＤカード、メモリカード等の半導体記録素子で実現可能である。
【００２１】
このような構成により、３次元映像処理装置１は、上述の光ディスク３、ＨＤＤ４、記録媒体５等様々な記録媒体から立体視用の映像の映像信号（映像データ）を取得できる。
【００２２】
１−２．３次元映像処理装置の具体的構成
３次元映像処理装置１の具体的な構成について図面を参照しながら説明する。
【００２３】
３次元映像処理装置１は、図１に示すようにドライブ装置１０１、入出力インターフェース１０２（以下、「入出力ＩＦ１０２」という）、信号処理部１０３、バッファメモリ１０４およびフラッシュメモリ１０５を有する。
【００２４】
ドライブ装置１０１は、ディスクトレイを備え、このディスクトレイによって収納された光ディスク３から映像信号を読み出すことができる。また、ドライブ装置１０１は、ディスクトレイに収納された光ディスク３に、信号処理部１０３から入力された映像信号の書込みを行なうことができる。
【００２５】
入出力ＩＦ１０２は、信号処理部１０３と、ＨＤＤ４および記録媒体５との接続を可能にする。入出力ＩＦ１０２は、信号処理部１０３との間で、コントロール信号や映像信号のやり取りを可能にする。入出力ＩＦ１０２は、ＨＤＤ４および記録媒体５から入力された立体視用映像信号を、信号処理部１０３に送信する。また、入出力ＩＦ１０２は、信号処理部１０３から入力された立体視用映像信号を、ＨＤＤ４または記録媒体５に送信する。立体視用映像信号は、圧縮映像信号および非圧縮映像信号のいずれでもよい。なお、入出力ＩＦ１０２には、ＨＤＤ４や記録媒体５以外に、放送受信用チューナやインターネットストリーム受信装置等の外部信号受信装置も接続可能である。入出力ＩＦ１０２は、ＨＤＭＩコネクタ、ＳＤカードスロット、ＵＳＢコネクタ等で実現できる。要するに、入出力ＩＦ１０２は、外部の記録装置（媒体）や外部信号の受信装置とのインターフェースを実現するものであればよい。
【００２６】
信号処理部１０３は、３次元映像処理装置１の各部を制御する。また、信号処理部１０３は、入出力ＩＦ１０２から出力された立体視用映像信号に対して復号化および信号処理を行う。例えば、信号処理部１０３は、ＪＰＥＧ符号化規格で符号化された立体視用映像信号に対して復号化を行う。
【００２７】
また、信号処理部１０３は、立体視用の映像を構成する第１視点映像と第２視点映像との視差に関する情報（以下、「視差情報」という）を取得する。
【００２８】
例えば、信号処理部１０３は、第１視点信号および第２視点信号に基づいて、第１視点映像と第２視点映像との視差量を算出し、この算出した視差量に基づいて視差情報を取得する。この際、信号処理部１０３はブロックマッチング等どのような方法を用いても構わない。なお、信号処理部１０３は、立体視用映像信号のヘッダ部に付加されている視差情報を取得してもよい。また、視差情報が付加情報として映像信号に挿入されている場合、信号処理部１０３は、当該視差情報を取得してもよい。信号処理部１０３は、立体視用の映像（第１視点映像および第２視点映像）を複数の領域に分割し、分割した各領域毎に視差情報を取得する。なお、信号処理部１０３における視差情報の取得動作、および視差情報を取得する領域については後述する。
【００２９】
さらに、信号処理部１０３は、取得した視差情報に基づいて、当該視差情報を取得した領域における映像の表示方法を設定する。表示方法の設定動作については後述する。
【００３０】
信号処理部１０３は、マイクロコンピュータで構成してもよいし、ハードワイヤードな回路で構成してもよい。
【００３１】
バッファメモリ１０４は、信号処理部１０３で信号処理を施す際のワークメモリとして用いられる。バッファメモリ１０４は、例えば、ＤＲＡＭで実現可能である。
【００３２】
フラッシュメモリ１０５は、信号処理部１０３が実行するプログラム等を記憶している。
【００３３】
１−３．信号処理部の具体的な構成
信号処理部１０３における具体的な動作について説明する。
【００３４】
図２は、信号処理部１０３の構成を示す図である。
【００３５】
信号処理部１０３は、画像再生部２０１、視差情報検出部２０２、表示方法設定部２０３および信号処理部２０４を有する。
【００３６】
画像再生部２０１は、ドライブ装置１０１または入出力ＩＦ１０２が取得した立体視用映像信号を復号化する。画像再生部２０１は、復号化して得られた立体視用映像信号を視差情報検出部２０２および信号処理部２０４に出力する。
【００３７】
視差情報検出部２０２は、画像再生部２０１から入力された立体視用映像信号に基づいて、当該立体視用の映像の所定の領域毎に視差情報を取得する。所定の領域は、例えば立体視用の映像を複数の領域に分割した場合、分割した各領域に対応する。なお、視差情報検出部２０２は、立体視用映像信号のヘッダ部に記載された立体感に関する情報に基づいて、所定の領域毎の視差情報を取得しても構わない。
【００３８】
図３は、立体視用映像信号のヘッダ部に記載された立体感に関する情報の一部を示す図である。
【００３９】
立体視用映像信号のヘッダ部には、立体感に関する情報として、領域分割数、および領域毎の視差情報が記載されている。視差情報検出部２０２は、この領域分割数および視差情報を取得する。
【００４０】
領域分割数は、立体視用の映像における水平方向の領域数および垂直方向の領域数を示す。図３における（Ｈ，Ｖ）は水平方向の分割数と垂直方向の分割数を示す。例えば、（Ｈ，Ｖ）＝（３，１）である場合、立体視用の映像は水平方向において３分割され、垂直方向において１分割されている（分割されていない）ことを示す。この場合、立体視用の映像が有する領域数は３となる。
【００４１】
視差情報は、分割後の各領域における視差情報を示す。ここで、図３に示すＤ１およびＤ２は１つの領域内における最大飛び出し視差量および最大引っ込み視差量を示す。また、（０，０）、（１，０）および（２，０）は、分割後の複数の領域のうちのどの領域かを示す値である。例えば（０，０）は、０行０列目に位置する領域を示す。さらに、（１，０）は、１行０列目に位置する領域を示す。図３は、各領域の視差情報としてＤ１およびＤ２の２つの視差量が含まれている場合を示す。
【００４２】
なお、視差情報検出部２０２は、領域毎の視差情報を下記の動作によって取得してもよい。すなわち、視差情報検出部２０２は、画像再生部２０１から入力された立体視用映像信号が示す立体視用の映像を複数の領域に分割し、分割後の各領域毎に複数の視差量を算出する。さらに、視差情報検出部２０２は、算出した視差量に基づいて、各領域を代表する視差量を視差情報として設定する。なお、視差情報検出部２０２は、領域を代表する視差量として、当該領域内で算出される複数の視差量のうち、最大飛び出し視差量と最大引っ込み視差量のうち少なくとも一方を設定しても構わない。また、視差情報検出部２０２は、領域を代表する視差量として、当該領域内で算出される複数の視差量の平均値または中央値を設定しても構わない。
【００４３】
図４〜図６は、視差情報検出部２０２が視差情報を取得する領域を説明するための図である。
【００４４】
図４に示す例では、視差情報検出部２０２は、立体視用の映像を垂直方向において複数の領域Ｒに分割する。そして、視差情報検出部２０２は、分割して得られる各領域の視差情報を取得する。ここで、分割して得られる各領域の水平方向の映像サイズは、立体視用の映像における水平方向の映像サイズと同一である。
【００４５】
図５に示す例では、視差情報検出部２０２は、視差情報を取得する際、立体視用の映像のうちの上端側の領域（上端を含む所定の領域）Ｒｔおよび下端側の領域（下端を含む所定の領域）Ｒｂの視差情報を取得する。上端側領域Ｒｔと下端側領域Ｒｂの間の領域（網掛した領域）Ｒｃは、視差情報を取得しない領域である。
【００４６】
図６に示す例では、視差情報検出部２０２は、上端側領域Ｒｔを複数の小領域Ｒｔｓに分割するとともに、下端側領域Ｒｂを複数の小領域Ｒｂｓに分割し、これらの分割した各領域Ｒｔｓ、Ｒｂｓの視差情報を取得する。
【００４７】
なお、図４〜図６では、視差情報を取得する各領域の水平方向の映像サイズが立体視用の映像における水平方向の映像サイズと同一の場合について説明したが、視差情報を取得する領域の水平方向の映像サイズは、立体視用の映像における水平方向の映像サイズと異ならせてもよい。また、垂直方向において分割した例を説明したが、水平方向において分割してもよい。この場合、視差情報を取得する領域の垂直方向の映像サイズは、立体視用の映像における垂直方向の映像サイズと同じとしても、異ならせてもよい。
【００４８】
視差情報検出部２０２は、取得した視差情報を表示方法設定部２０３に出力する。このとき、視差情報検出部２０２は、立体視用の映像における分割領域と、当該分割領域において取得した視差情報とが対応付けられた状態で表示方法設定部２０３に視差情報を出力するのが好ましい。
【００４９】
表示方法設定部２０３は、視差情報検出部２０２から入力された各分割領域毎の視差情報に基づいて各分割領域における映像の表示方法を設定し、設定した表示方法を各分割領域と対応づけて信号処理部２０４に出力する。
【００５０】
信号処理部２０４は、表示方法設定部２０３で設定された表示方法にしたがって、各分割領域の立体視用映像信号（映像データ）を処理する。そして、信号処理部２０４は、処理の結果生成される新たな立体視用映像信号をディスプレイ２に出力する。
【００５１】
１−４．表示方法設定部によって設定される表示方法の例
表示方法設定部２０３によって設定される表示方法の例について説明する。
【００５２】
表示方法設定部２０３は、視差情報検出部２０２から入力された視差情報に基づいて、各分割領域において以下の３つの表示方法のうちのいずれかの方法を設定する。
表示方法１：当該領域における映像をそのまま表示する表示方法。
表示方法２：当該領域における映像を視認しづらくまたは視認できなくする表示方法。
表示方法３：当該領域における映像の視差を調整した後に表示する表示方法。
【００５３】
表示方法２のうち視認しづらくする表示方法としては、例えば該当領域における映像に対して所定の映像を重ねて表示することにより、当該領域における映像を視認しづらくする方法がある。図７、図８は、当該方法の例を説明するための図である。
【００５４】
図７に示す例では、表示方法設定部２０３は、立体視用の映像の下端側の領域Ｒｂについて、黒色の映像を重ねて表示することにより、当該領域Ｒｂにおける映像を視認しづらくする。なお、重ねて表示する映像は、黒色の映像でなく白色など単色の映像でもよい。
【００５５】
図８に示す例では、表示方法設定部２０３は、立体視用の映像の下端側の領域Ｒｂについて、下端に近づくにつれて徐々に黒の濃度が濃くなるグラデーションの映像を重ねて表示することにより、当該領域Ｒｂにおける映像を視認しづらくする。なお、図８の例では、不透過のグラデーションの映像を重ねているが、これに限られない。例えば、元画像の下端側の領域Ｒｂの画像そのものを、下端側ほど黒の濃度が濃くなる（暗くなる）ようにグラデーション処理することにより、当該領域Ｒｂにおける映像を視認しづらくしてもよい。
【００５６】
図示しないが、表示方法設定部２０３は、立体視用の映像の下端側の領域に対して、図７における単色の映像や図８におけるグラデーションの映像でなく、全く図柄等の異なる映像を重ねて表示することにより、当該領域における映像を視認しづらくしてもよい。
【００５７】
上記２における方法２のうち視認できない表示方法としては、例えば、該当領域における映像の画像データを削除することにより、当該領域における映像を視認できなくする方法がある。図９は、当該方法の例を説明するための図である。
【００５８】
図９に示す例では、表示方法設定部２０３は、立体視用の映像のうち下端側の領域Ｒｂにおける映像を削除することにより、当該領域における映像を視認できなくする。
【００５９】
なお、図７〜図９の例では、下端側の領域Ｒｂを視認しづらくまたは視認できなくなる場合について説明したが、上端側の領域の場合にも同様の思想を適用可能である。上端においてグラデーションの映像を重ねる場合には、上端に近づくにつれて徐々に黒の濃度が濃くなるグラデーションの映像を重ねて表示すればよい。
【００６０】
１−５．表示方法設定部における動作の具体例
表示方法設定部２０３における具体的な動作について説明する。
【００６１】
図１０は、表示方法設定部２０３における具体的な動作を説明するためのフローチャートである。
【００６２】
表示方法設定部２０３は、視差情報および領域の情報を取得する（Ｓ２０１）。
【００６３】
表示方法設定部２０３は、処理する領域の初期化を行なう（Ｓ２０２）。
【００６４】
表示方法設定部２０３は、現在の処理対象の領域の視差情報を取得する（Ｓ２０３）。
【００６５】
表示方法設定部２０３は、取得した視差情報が所定の条件を満たすか否かを判定する（Ｓ２０４）。所定の条件は、例えば３Ｄコンソーシアム等において定められている安全視差条件に基づいて設定してもよいし、任意に設定してもよい。例えば、各領域毎に視差情報として視差量Ｄ１およびＤ２が算出されている場合、当該Ｄ１およびＤ２が所定値よりも小さいか否かを判断する。ここで、所定値は、立体視しづらいと感じる視差を示す値であり、設計者または使用者が任意に決定できる。具体的には、例えば、最も飛び出して視認される部分の視差角と最も引っ込んで視認される部分の視差角との視差が±１度となるときの値に設定すればよい。なお、±１度という値は一例である。
【００６６】
なお、表示方法設定部２０３は、立体視用の映像のうち上端側については、Ｄ２のみを利用して所定の条件を満たすか否かを判断してもよい。また、表示方法設定部２０３は、立体視用の映像のうち下端側については、Ｄ１のみを利用して所定の条件を満たすか否かを判断してもよい。表示方法設定部２０３は、処理対象の領域における視差情報が所定の条件を満たす場合、処理対象の領域に表示方法１を設定する（Ｓ２０５）。つまり、表示方法設定部２０３は、該当領域における映像をそのまま表示する表示方法を設定する。ここで、表示方法設定部２０３は、当該領域に表示方法１を設定したことを示す制御信号を信号処理部２０４に出力する。
【００６７】
一方、処理対象の領域における視差情報が所定の条件を満たさない場合、表示方法設定部２０３は、処理対象の領域が立体視用の映像における上端または下端のいずれかを含む領域かを判定する（Ｓ２０６）。処理対象の領域が立体視用の映像における上端または下端のいずれかを含む場合、表示方法設定部２０３は、処理対象の領域に表示方法２を設定する（Ｓ２０７）。つまり、表示方法設定部２０３は、当該領域における映像を視認しづらくまたは視認できなくする表示方法を設定する。ここで、表示方法設定部２０３は当該領域に表示方法２を設定したことを示す制御信号を信号処理部２０４に出力する。
【００６８】
これに対し、処理対象の領域が立体視用の映像における上端を含む領域および下端を含む領域のいずれをも含まない場合、表示方法設定部２０３は、処理対象の領域に隣接する領域が所定の条件を満たしているかを判断する（Ｓ２０８）。所定の条件を満たしていると判断した場合、表示方法設定部２０３は、処理対象の領域に方法３を設定する（Ｓ２０９）。つまり、表示方法設定部２０３は、当該領域における映像に対して視差の調整を行った後に表示する表示方法を設定する。ここで、表示方法設定部２０３は当該領域に方法３が設定されたことを示す制御信号を信号処理部２０４に出力する。
【００６９】
一方、表示方法設定部２０３は、所定の条件を満たしていないと判断した場合、上記ステップＳ２０７に移行する。
【００７０】
表示方法設定部２０３は、立体視用の映像における全ての領域の処理が完了したか否かを判断する（Ｓ２１０）。全ての処理が完了している場合、このフローチャートにおける処理を終了する。一方、全ての領域における処理がまだ完了していない場合、表示方法設定部２０３は、処理対象の領域として次の領域を設定し（Ｓ２１１）、上記ステップＳ２０４に移行する。
【００７１】
１−６．まとめ
本実施形態における３次元映像処理装置１は、少なくとも２視点における映像を含む立体視用の映像を取得する入出力ＩＦ１０２と、取得した立体視用の映像の上端を含む上部領域および下端を含む下部領域のうち少なくとも一方の領域の視差量に関する視差情報を取得する視差情報検出部２０２と、視差情報を取得した領域における映像の表示方法を、当該領域の視差情報に基づいて設定する表示方法設定部２０３と、設定した表示方法に基づいて、立体視用の映像における視差情報を取得した領域の映像を処理する信号処理部２０４と、処理結果に基づいて得られる新たな立体視用の映像を出力する信号処理部２０４と、を備える。
【００７２】
上記のように構成することで、立体視用の映像を再生する際、部分的に表示方法を変更することができる。さらに、この表示方法は視差情報に基づいて設定することができる。これにより、例えば立体視用の映像において、視差情報が所定値よりも大きい領域に対する表示方法と視差情報が所定値よりも小さい処理領域に対する表示方法とを異なるものに設定することができる。よって、立体視用の映像の視差量が大きい場合でも、立体感を損なうことなく、立体視し易い映像を出力することが出来る。
【００７３】
ここで、特に映像の下部領域は近接物体が撮影されて飛び出しの視差量が大きくなりやすく、映像の上部領域は遠方が撮影されて引っ込みの視差量が大きくなりやすいという課題がある。これに対処するため、本実施形態では、立体視用の映像の上端を含む上部領域および下端を含む下部領域のうち少なくとも一方の領域に関し、当該領域の視差情報に基づいて当該領域の映像の表示方法を設定し、当該映像を処理する。これにより、上部領域や下部領域の視差量が大きい映像であっても、立体感を損なうことなく、見やすい立体視用の映像として出力することが出来る。
【００７４】
また、表示方法設定部２０３は、取得した視差情報が示す視差量が所定の値よりも大きい領域に対して、当該領域の映像が視認しづらくなる表示方法を設定する。
【００７５】
上記のように構成することで、例えば視差情報が示す視差量が所定値よりも大きい領域を表示する際、当該領域の映像を視認しづらくすることが出来る。これにより、立体視用の映像を視聴するユーザは、当該領域の映像から注意がそらされ、当該領域の映像を直接的に視認しなくなる。そのため、視差量が大きい立体視用の映像を視聴する際の立体視のしづらさを緩和することができる。
【００７６】
また、信号処理部２０４は、表示方法設定部２０３が視認しづらくなる表示方法を設定した領域に対して、当該領域の映像に所定の映像を重ねて表示させる処理を行う。
【００７７】
この場合、所定の映像は、視差情報を取得した領域が上部領域であるときは、立体視用の映像の上端に近づくにつれて上部領域の映像が視認しづらくなるグラデーション処理された映像であり、視差情報を取得した領域が下部領域であるときは、立体視用の映像の下端に近づくにつれて下部領域の映像が視認しづらくなるグラデーション処理された映像である。
【００７８】
上記のように構成することで、例えば視差情報が示す視差量が所定値よりも大きい領域を表示した際、立体視用の映像の上端または下端に近づくにつれて当該領域の映像を徐々に視認しづらくすることが出来る。これにより、立体視用の映像を視聴するユーザは、当該領域の映像から注意がそらされ、当該領域の映像を直接的に視認しなくなる。特に、立体視用の映像の上部領域または下部領域の映像が上端または下端に近づくにつれて視認しづらくなるようにグラデーション処理されているので、ユーザに対して与える違和感を少なくできるとともに、立体視用の映像を視聴する際に感じる立体視のしづらさをより緩和することができる。
【００７９】
また、表示方法設定部２０３は、取得した視差情報が示す視差量が所定の値よりも大きい場合、当該視差量が所定の値よりも大きい領域に対して、当該領域の映像が視認できなくなる表示方法を設定する。
【００８０】
上記のように構成することで、例えば視差情報が所定値よりも大きい領域を表示した際に、当該領域における映像を視認できなくすることが出来る。これにより、当該領域の映像を直接的に視認しないようにできるため、視差量の大きい立体視用の映像を視聴する際の立体視のしづらさを緩和することができる。
【００８１】
また、信号処理部２０４は、表示方法設定部２０３が視認できない表示方法を設定した領域に対して、当該領域の映像を削除する処理を行う。
【００８２】
このとき、前記領域における水平方向の領域サイズは、立体視用の映像における水平方向の映像サイズと同一である。
【００８３】
上記のように構成することにより、例えば一般的なシーン／風景では、上端が遠、下端が近になる傾向があることを利用し、視差が大きくなる可能性の高い、上端、下端を切り取りやすくすることができる。
【００８４】
また、本実施形態では、取得した映像の上部領域および下部領域はそれぞれ複数の領域で構成されており、視差情報検出部２０２が視差情報を取得する領域における水平方向の映像サイズは、立体視用の映像における水平方向の映像サイズと同一である。視差情報検出部２０２は、上部領域と下部領域のうちの少なくとも一方の領域について各領域を構成する複数の領域の視差量に関する視差情報をそれぞれ取得する。表示方法設定部２０３は、上部領域については、上端側の領域から順番に各領域の視差量が所定の値よりも大きいか否かを判定し、判定した領域の視差量が所定の値よりも大きい場合は、当該領域に対して当該領域の映像が視認しづらくなる表示方法または当該領域の映像が視認できなくなる表示方法を設定するとともに、当該領域の下方で隣接する領域についてその視差量が所定の値よりも大きいか否かの判定を続行し、当該領域の視差量が所定の値よりも大きくない場合は、当該領域の映像が視認しづらくなる表示方法または当該領域の映像が視認できなくなる表示方法のいずれをも設定せず、かつ当該領域の下方の領域における前記判定を中止する。これに対し、下部領域については、下端側の領域から順番に各領域の視差量が所定の値よりも大きいか否かを判定し、判定した領域の視差量が所定の値よりも大きい場合は、当該領域に対して当該領域の映像が視認しづらくなる表示方法または当該領域の映像が視認できなくなる表示方法を設定するとともに、当該領域の上方で隣接する領域についてその視差量が所定の値よりも大きいか否かの判定を続行し、当該領域の視差量が所定の値よりも大きくない場合は、当該領域の映像が視認しづらくなる表示方法または当該領域の映像が視認できなくなる表示方法のいずれをも設定せず、かつ当該領域の上方の領域における前記判定を中止する。
【００８５】
上記のように構成することで、立体視用の映像の上部領域と下部領域のうちの少なくとも一方の領域を複数の領域に分割して視差情報を取得することが出来る。また、視差情報を取得する領域を立体視用の映像における水平方向の映像サイズと合わせることができる。また、視差情報を取得する領域毎に所定値よりも大きいかを判断することができる。さらに、判断結果に基づいて処理領域を設定することができる。これにより、映像の下部は近接物体が撮影されて飛び出し視差情報が大きく、映像の上部は遠方が撮影されて奥行き視差が大きくなる映像であっても、立体感を損なうことなく、見やすい立体視用の映像として出力することが出来る。さらに、例えば、映像の下部または映像の上部のうち、真に必要な部分に対して表示方法を変更することが出来る。
【００８６】
２．その他の実施形態
なお、本実施形態においては静止画に対する処理を中心に記載した。しかし、動画に対する処理にも適用可能である。
【００８７】
また、上記実施形態で説明したデジタルカメラにおいて、図１、図２に示す各機能ブロック（各部）は、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
【００８８】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８９】
また、集積回路はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサでも実現可能である。
【００９０】
さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて上記各機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【００９１】
また、上記実施形態の各処理はハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係るデジタルカメラをハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要がある。上記実施形態においては、説明の便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【００９２】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で入れ替えることができる。
【００９３】
また、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【００９４】
本発明にかかる３Ｄ映像信号処理装置および３Ｄ映像処理方法によれば、立体視用の映像の視差量が大きい場合でも、立体感を損なうことなく、立体視し易い映像を出力することができる。そのため、３Ｄ映像を撮影するデジタルカメラ、放送用カメラおよび、３Ｄ映像の記録再生を行うレコーダー若しくは、プレーヤー等にも応用可能である。
【符号の説明】
【００９５】
１ ３次元映像処理装置
２ ディスプレイ
３ 光ディスク
４ ハードディスク装置（ＨＤＤ）
５ 記録媒体
１０１ ドライブ装置
１０２ 入出力インターフェース（入出力ＩＦ）
１０３ 信号処理部
１０４ バッファメモリ
１０５ フラッシュメモリ
２０１ 画像再生部
２０２ 視差情報検出部
２０３ 表示方法設定部
２０４ 信号処理部
【特許請求の範囲】
【請求項１】
少なくとも２視点における映像を含む立体視用の映像を取得する映像取得部と、
前記取得した立体視用の映像の上端を含む上部領域および下端を含む下部領域のうち少なくとも一方の領域の視差量に関する視差情報を取得する視差情報取得部と、
前記視差情報を取得した領域における映像の表示方法を、当該領域の視差情報に基づいて設定する表示方法設定部と、
前記設定した表示方法に基づいて、前記立体視用の映像における前記視差情報を取得した領域の映像を処理する映像処理部と、
前記処理結果に基づいて得られる新たな立体視用の映像を出力する映像出力部と、を備える、
３次元映像処理装置。
【請求項２】
前記表示方法設定部は、前記取得した視差情報が示す視差量が所定の値よりも大きい場合、当該視差量が所定の値よりも大きい領域に対して、当該領域の映像が視認しづらくなる表示方法を設定する、
請求項１に記載の３次元映像処理装置。
【請求項３】
前記映像処理部は、前記表示方法設定部が視認しづらくなる表示方法を設定した領域に対して、当該領域の映像に所定の映像を重ねて表示させる処理を行う、
請求項２に記載の３次元映像処理装置。
【請求項４】
前記所定の映像は、前記視差情報を取得した領域が前記上部領域であるときは、前記立体視用の映像の上端に近づくにつれて前記上部領域の映像が視認しづらくなるグラデーション処理された映像であり、前記視差情報を取得した領域が前記下部領域であるときは、前記立体視用の映像の下端に近づくにつれて前記下部領域の映像が視認しづらくなるグラデーション処理された映像である、
請求項３に記載の３次元映像処理装置。
【請求項５】
前記表示方法設定部は、前記取得した視差情報が示す視差量が所定の値よりも大きい場合、当該視差量が所定の値よりも大きい領域に対して、当該領域の映像が視認できなくなる表示方法を設定する、
請求項１に記載の３次元映像処理装置。
【請求項６】
前記映像処理部は、前記表示方法設定部が視認できなくなる表示方法を設定した領域に対して、当該領域の映像を削除する処理を行う、
請求項５に記載の３次元映像処理装置。
【請求項７】
前記視差情報を取得する領域の水平方向の映像サイズは、前記立体視用の映像の水平方向の映像サイズと同一である請求項１に記載の３次元映像処理装置。
【請求項８】
前記上部領域および前記下部領域はそれぞれ複数の領域で構成され、
前記視差情報取得部が視差情報を取得する領域における水平方向の領域の映像サイズは、前記立体視用の映像における水平方向の映像サイズと同一であり、
前記視差情報取得部は、前記上部領域と前記下部領域のうちの少なくとも一方の領域について各領域を構成する前記複数の領域の視差量に関する視差情報をそれぞれ取得し、
前記表示方法設定部は、前記上部領域については、上端側の領域から順番に各領域の視差量が所定の値よりも大きいか否かを判定し、判定した領域の視差量が所定の値よりも大きい場合は、当該領域に対して当該領域の映像が視認しづらくなる表示方法または当該領域の映像が視認できなくなる表示方法を設定するとともに、当該領域の下方で隣接する領域についてその視差量が所定の値よりも大きいか否かの判定を続行し、当該領域の視差量が所定の値よりも大きくない場合は、当該領域の映像が視認しづらくなる表示方法または当該領域の映像が視認できなくなる表示方法のいずれをも設定せず、かつ当該領域の下方の領域における前記判定を中止し、
前記下部領域については、下端側の領域から順番に各領域の視差量が所定の値よりも大きいか否かを判定し、判定した領域の視差量が所定の値よりも大きい場合は、当該領域に対して当該領域の映像が視認しづらくなる表示方法または当該領域の映像が視認できなくなる表示方法を設定するとともに、当該領域の上方で隣接する領域についてその視差量が所定の値よりも大きいか否かの判定を続行し、当該領域の視差量が所定の値よりも大きくない場合は、当該領域の映像が視認しづらくなる表示方法または当該領域の映像が視認できなくなる表示方法のいずれをも設定せず、かつ当該領域の上方の領域における前記判定を中止する、
請求項１に記載の３次元映像処理装置。
【請求項９】
少なくとも２視点における映像を含む立体視用の映像を取得し、
前記取得した立体視用の映像の上端を含む上部領域および下端を含む下部領域のうち少なくとも一方の領域の視差量に関する視差情報を取得し、
前記視差情報を取得した領域における映像の表示方法を、当該領域の視差情報に基づいて設定し、
前記設定した表示方法に基づいて、前記立体視用の映像における前記視差情報を取得した領域の映像を処理し、
前記処理結果に基づいて得られる新たな立体視用の映像を出力する、
３次元映像処理方法。
【請求項１】
少なくとも２視点における映像を含む立体視用の映像を取得する映像取得部と、
前記取得した立体視用の映像の上端を含む上部領域および下端を含む下部領域のうち少なくとも一方の領域の視差量に関する視差情報を取得する視差情報取得部と、
前記視差情報を取得した領域における映像の表示方法を、当該領域の視差情報に基づいて設定する表示方法設定部と、
前記設定した表示方法に基づいて、前記立体視用の映像における前記視差情報を取得した領域の映像を処理する映像処理部と、
前記処理結果に基づいて得られる新たな立体視用の映像を出力する映像出力部と、を備える、
３次元映像処理装置。
【請求項２】
前記表示方法設定部は、前記取得した視差情報が示す視差量が所定の値よりも大きい場合、当該視差量が所定の値よりも大きい領域に対して、当該領域の映像が視認しづらくなる表示方法を設定する、
請求項１に記載の３次元映像処理装置。
【請求項３】
前記映像処理部は、前記表示方法設定部が視認しづらくなる表示方法を設定した領域に対して、当該領域の映像に所定の映像を重ねて表示させる処理を行う、
請求項２に記載の３次元映像処理装置。
【請求項４】
前記所定の映像は、前記視差情報を取得した領域が前記上部領域であるときは、前記立体視用の映像の上端に近づくにつれて前記上部領域の映像が視認しづらくなるグラデーション処理された映像であり、前記視差情報を取得した領域が前記下部領域であるときは、前記立体視用の映像の下端に近づくにつれて前記下部領域の映像が視認しづらくなるグラデーション処理された映像である、
請求項３に記載の３次元映像処理装置。
【請求項５】
前記表示方法設定部は、前記取得した視差情報が示す視差量が所定の値よりも大きい場合、当該視差量が所定の値よりも大きい領域に対して、当該領域の映像が視認できなくなる表示方法を設定する、
請求項１に記載の３次元映像処理装置。
【請求項６】
前記映像処理部は、前記表示方法設定部が視認できなくなる表示方法を設定した領域に対して、当該領域の映像を削除する処理を行う、
請求項５に記載の３次元映像処理装置。
【請求項７】
前記視差情報を取得する領域の水平方向の映像サイズは、前記立体視用の映像の水平方向の映像サイズと同一である請求項１に記載の３次元映像処理装置。
【請求項８】
前記上部領域および前記下部領域はそれぞれ複数の領域で構成され、
前記視差情報取得部が視差情報を取得する領域における水平方向の領域の映像サイズは、前記立体視用の映像における水平方向の映像サイズと同一であり、
前記視差情報取得部は、前記上部領域と前記下部領域のうちの少なくとも一方の領域について各領域を構成する前記複数の領域の視差量に関する視差情報をそれぞれ取得し、
前記表示方法設定部は、前記上部領域については、上端側の領域から順番に各領域の視差量が所定の値よりも大きいか否かを判定し、判定した領域の視差量が所定の値よりも大きい場合は、当該領域に対して当該領域の映像が視認しづらくなる表示方法または当該領域の映像が視認できなくなる表示方法を設定するとともに、当該領域の下方で隣接する領域についてその視差量が所定の値よりも大きいか否かの判定を続行し、当該領域の視差量が所定の値よりも大きくない場合は、当該領域の映像が視認しづらくなる表示方法または当該領域の映像が視認できなくなる表示方法のいずれをも設定せず、かつ当該領域の下方の領域における前記判定を中止し、
前記下部領域については、下端側の領域から順番に各領域の視差量が所定の値よりも大きいか否かを判定し、判定した領域の視差量が所定の値よりも大きい場合は、当該領域に対して当該領域の映像が視認しづらくなる表示方法または当該領域の映像が視認できなくなる表示方法を設定するとともに、当該領域の上方で隣接する領域についてその視差量が所定の値よりも大きいか否かの判定を続行し、当該領域の視差量が所定の値よりも大きくない場合は、当該領域の映像が視認しづらくなる表示方法または当該領域の映像が視認できなくなる表示方法のいずれをも設定せず、かつ当該領域の上方の領域における前記判定を中止する、
請求項１に記載の３次元映像処理装置。
【請求項９】
少なくとも２視点における映像を含む立体視用の映像を取得し、
前記取得した立体視用の映像の上端を含む上部領域および下端を含む下部領域のうち少なくとも一方の領域の視差量に関する視差情報を取得し、
前記視差情報を取得した領域における映像の表示方法を、当該領域の視差情報に基づいて設定し、
前記設定した表示方法に基づいて、前記立体視用の映像における前記視差情報を取得した領域の映像を処理し、
前記処理結果に基づいて得られる新たな立体視用の映像を出力する、
３次元映像処理方法。
【図１】
【図２】
【図３】
【図１０】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図１０】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２０９９４２（Ｐ２０１２−２０９９４２Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１２−５６１１４（Ｐ２０１２−５６１１４）
【出願日】平成２４年３月１３日（２０１２．３．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２４年３月１３日（２０１２．３．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]