立体視画像生成方法および立体視画像生成システム
【課題】看者に自然な立体感を知覚させる立体視画像を原画像から生成することが可能な立体視画像生成方法および立体視画像生成システムを提供する。
【解決手段】原画像に複数の領域を設定する領域設定ステップと、原画像を構成する各画素の特徴情報を取得する特徴情報取得ステップと、複数の領域ごとに、特徴情報に基づいて各画素に奥行き情報を生成する奥行き情報生成ステップと、奥行き情報に基づいて、各画素の位置を変更した立体視画像を生成する立体視画像生成ステップと、を有するようにした。
【解決手段】原画像に複数の領域を設定する領域設定ステップと、原画像を構成する各画素の特徴情報を取得する特徴情報取得ステップと、複数の領域ごとに、特徴情報に基づいて各画素に奥行き情報を生成する奥行き情報生成ステップと、奥行き情報に基づいて、各画素の位置を変更した立体視画像を生成する立体視画像生成ステップと、を有するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視差によって画像を見る者に立体感を知覚させる立体視画像を生成する立体視画像生成方法および立体視画像生成システムに関する。
【背景技術】
【０００２】
近年、右眼と左眼にそれぞれ異なる画像を視認させることで観察者に立体感を知覚させる２眼視差式の立体視画像が、映画やテレビ放送等の分野で広く用いられるようになってきている。また、見る角度によって観察者が視認する画像を変化させる多眼（多視点）式の立体視画像によって観察者に立体感を知覚させる技術も、例えば裸眼立体視デバイスで用いられている。更に、これらの２眼視差式と多眼式を組み合わせた多眼視差式の立体視画像も用いられつつある。視差式の立体視画像の場合、右眼に視認させる右眼用画像および左眼に視認させる左眼用画像から構成され、両画像中の被写体の位置を人間の両眼視差に合わせてそれぞれ水平方向にシフトする（ずらす）ことにより、画像を見る者（看者）に立体感を知覚させるようにしている。
【０００３】
従来、視差式の立体視画像は、２台のカメラを左右に並べて、右眼用画像および左眼用画像を同時に撮影することによって生成されるのが一般的であった。この場合、人間の両眼視差と略同様の視差を有する右眼用画像および左眼用画像を直接得ることができるため、看者に違和感を持たせることのない自然な立体視画像を生成することができる。
【０００４】
しかしながら、このように２台のカメラによって右眼用画像および左眼用画像を撮影する手法では、全く同仕様の２台のカメラを正確に位置決めして配置すると共に、両者を完全に同期させた状態で撮影を行う必要がある。このため、撮影の際には専門スタッフと共に特殊な専用機器を多数揃える必要があり、撮影コストが増大するだけではなく、カメラその他の各種機器の設定や調整に多大な時間を要するという問題があった。
【０００５】
また従来の多眼式の立体視画像は、多くの視点にカメラを並べて、多視点の画像を同時に撮影することによって生成されるのが一般的であった。しかしながら、このように複数台のカメラによって多視点の画像を撮影する手法では、全く同仕様の複数台のカメラを正確に位置決めして配置すると共に、すべてを完全に同期させた状態で撮影を行う必要があるという問題があった。
【０００６】
ましてや、多眼視差式の立体視映像となると、様々な視点に対して、２台ずつカメラを配置して、視差を含んだ映像を撮影する必要がある。従って、極めて特異な目的が無い限り、一般的に普及するにはほど遠い状況となっている。
【０００７】
これに対し、１台のカメラによって通常どおりに撮影された画像に画像処理を施すことで、２眼視差式の右眼用画像および左眼用画像を生成する手法が提案されている（例えば、特許文献１参照）。この手法では、まず原画像を構成する各画素に奥行き情報（奥行き値）を設定し、この奥行き情報に応じて各画素の水平方向の位置を変更することにより、両画像中の被写体の位置を両眼視差に合わせてシフトした右眼用画像および左眼用画像を生成するようになっている。
【０００８】
この手法によれば、一般的なカメラによって撮影した通常の原画像から立体視画像を生成することが可能であるため、撮影コストを低減し、撮影時間を短縮することができる。また、既存の映画等のコンテンツから立体視画像を生成したり、一般的なテレビ放送を立体視画像に変換してテレビ画面に表示させたりすることもできる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００２−１２３８４２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、通常の原画像から立体視画像を生成する従来の手法では、例えば被写体である人物等と背景の境界においては奥行き情報の値が変化することとなり、奥行きの断絶（不連続）が生じるという問題があった。
【００１１】
このような奥行きの断絶が生じている場合、人物等と背景の間の遠近のみが強調されて人物等が平面的に感じられる、いわゆる描き割り効果等の不自然な立体感として知覚されることとなる。また、右眼用画像および左眼用画像において各画素の位置を変更する際に、人物等に含まれる画素と背景に含まれる画素の移動量が大きく異なることから、原画像において人物等に遮蔽されていた背景に大きなギャップ（欠損）が生じることとなる。
【００１２】
従来の手法においては、このようなギャップを回避するために、境界部分に対するぼかし処理や、人物等または背景の画像を拡大または変形させる処理を施すようにしたものもあるが、このような境界処理を行うと境界部分には視差が付与されないため、境界部分に関してかえって看者に違和感を与える場合があった。また、この種の境界処理は、立体視画像の画質を劣化させるという問題もあった。また、これらのぼかし処理や、拡大変形処理には、ソフトウエア上で立体視画像を加工するオペレータの作業負担を増大させる。従って、多眼式や多眼視差式の立体視画像を、原画像から立体視画像を生成しようとすると、オペレータの加工作業が膨大となってしまうという問題があった。
【００１３】
また、従来の手法では、一般的に原画像を構成する各画素の色相、彩度または明度（上記特許文献１では、彩度）の値をそのまま各画素の奥行き情報としているため、例えば被写体である人物等と背景の境界で奥行き情報が大きく変化する。結果、奥行きの断絶が強調されやすいという問題があった。
【００１４】
更に、原画像には、制作者の意図（意志）やストーリー性などの要素も含まれる。この場合、看者にしっかりと見て欲しい重要な被写体を強調したり、原画像中でフォーカスが当たっている場所を強調したり、反対に、重要でない部分やぼけている部分を強調させないように調整したりすることが重要になる。しかし、従来の手法では、原画像の全体から奥行き情報を機械的に算出して、そのまま利用するため、制作者の意図を立体感に反映させることが困難であるという問題があった。
【００１５】
本発明は、斯かる実情に鑑み、看者に自然な立体感を知覚させる立体視画像を原画像から生成することが可能な立体視画像生成方法および立体視画像生成システムを提供しようとするものである。
【課題を解決するための手段】
【００１６】
上記目的を達成する本発明は、原画像に複数の領域を設定する領域設定ステップと、前記原画像を構成する各画素の特徴情報を取得する特徴情報取得ステップと、前記複数の領域ごとに、前記特徴情報に基づいて前記各画素に奥行き情報を生成する奥行き情報生成ステップと、前記奥行き情報に基づいて、前記各画素の位置を変更した立体視画像を生成する立体視画像生成ステップと、を有することを特徴とする、立体視画像生成方法である。
【００１７】
上記目的を達成する立体視画像生成方法において、上記発明の前記領域設定ステップでは、前記原画像に含まれる被写体ごとに前記領域を設定することを特徴とする。
【００１８】
上記目的を達成する立体視画像生成方法において、上記発明の前記立体視画像生成ステップは、前記複数の領域ごとに、前記画素の位置を変更した個別立体視画像を生成する個別画像生成ステップと、前記複数の領域ごとに生成された複数の前記個別立体視画像を合成して前記立体視画像を生成する立体視画像合成ステップと、を有することを特徴とする。
【００１９】
上記目的を達成する立体視画像生成方法において、上記発明の前記立体視画像合成ステップでは、複数の前記個別立体視画像の前後関係に基づいて、前面側の前記個別立体視画像に対して、背面側の前記個別立体視画像が透過するように合成することを特徴とする。
【００２０】
上記目的を達成する立体視画像生成方法において、上記発明の前記立体視画像合成ステップは、前記複数の領域ごとに生成された前記奥行き情報を合成する奥行き情報合成ステップを有しており、前記合成された前記奥行き情報から前記立体視画像を生成することを特徴とする。
【００２１】
上記目的を達成する立体視画像生成方法において、上記発明の前記領域設定ステップは、前面側の前記領域と背面側の前記領域が重なり合う前記画素に対して、背面側の前記領域の前記画素の色値を推測する背面色値推測ステップを有することを特徴とする。
【００２２】
上記目的を達成する立体視画像生成方法において、上記発明の前記奥行き情報生成ステップは、前記領域ごとに生成した奥行き情報を、複数の前記領域の相対的な前後関係に基づいて調整する奥行き相関調整ステップを有することを特徴とする。
【００２３】
上記目的を達成する立体視画像生成方法において、上記発明の前記奥行き情報生成ステップは、前記原画像から抽出された一対の前記画素の間にエッジを設定するエッジ設定ステップと、前記特徴情報に基づいて前記エッジに重み情報を設定する重み情報設定ステップと、前記各画素の中からスタート画素を選択するスタート画素選択ステップと、前記スタート画素から前記各画素までの前記重み情報についての経路を算出し、前記各画素に経路情報を設定する経路情報設定ステップと、前記経路情報に基づいて前記各画素に前記奥行き情報を設定する奥行き確定ステップと、を有することを特徴とする。
【００２４】
上記目的を達成する立体視画像生成方法において、上記発明の前記スタート画素選択ステップでは、前記複数の領域のそれぞれにおける最奥部を示す領域、または最前部を示す領域に含まれる前記画素を前記スタート画素に選択することを特徴とする。
【００２５】
上記目的を達成する立体視画像生成方法において、上記発明の前記スタート画素選択ステップでは、前記スタート画素を複数選択することを特徴とする。
【００２６】
上記目的を達成する本発明は、電子計算機によって構成され、原画像に複数の領域を設定する領域設定手段と、前記原画像を構成する各画素の特徴情報を取得する特徴情報取得手段と、前記複数の領域ごとに、前記特徴情報に基づいて前記各画素に奥行き情報を生成する奥行き情報生成手段と、前記奥行き情報に基づいて、前記各画素の位置を変更した立体視画像を生成する立体視画像生成手段と、を有することを特徴とする立体視画像生成システムである。
【発明の効果】
【００２７】
本発明によれば、看者に自然な立体感を知覚させる立体視画像を原画像から生成することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１実施形態に係る立体視画像生成システムのハードウエア構成を示すブロック図である。
【図２】同立体視画像生成システムのプログラム構成及び機能構成を示すブロック図である。
【図３】同立体視画像生成システムによる原画像の領域選択を示すブロック図である。
【図４】同立体視画像生成システムによる個別原画像の修正手法を示すブロック図である。
【図５】同立体視画像生成システムによる個別原画像の修正手法を示すブロック図である。
【図６】同立体視画像生成システムにおける個別デプスマップの生成概念を示す図である。
【図７】同立体視画像生成システムにおけるデプスマップの生成概念を示す図である。
【図８】同立体視画像生成システムにおける最短経路情報を算出する手順を示す図である。
【図９】同立体視画像生成システムにおける最短経路情報を算出する例を示す図である。
【図１０】同立体視画像生成システムにおける（Ａ）調整前の奥行き情報の状態、（Ｂ）調整後の奥行き情報の状態を示す図である。
【図１１】同立体視画像生成システムにおける（Ａ）調整前の奥行き情報の状態、（Ｂ）調整後の奥行き情報の状態を示す図である。
【図１２】同立体視画像生成システムにおける奥行き情報の相関調整を行う為の入力画面の状態を示す図である。
【図１３】同立体視画像生成システムによる個別立体視画像生成手順を示す図である。
【図１４】同立体視画像生成システムによる立体視画像生成手順を示す図である。
【図１５】同立体視画像生成システムによる立体視画像の合成手法を示す図である。
【図１６】同立体視画像生成システムによる立体視画像生成手順を示すフローチャートである。
【図１７】同立体視画像生成システムの他の例による機能構成を示すブロック図である。
【図１８】同立体視画像生成システムの他の例による立体視画像生成の流れを示すブロック図である。
【図１９】同立体視画像生成システムの他の例による立体視画像生成の流れを示すブロック図である。
【図２０】同立体視画像生成システムの他の例による立体視画像生成の流れを示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照しながら本発明の実施の形態について詳細に説明する。
【００３０】
図１には、第１実施形態に係る立体視画像生成システム１を構成するコンピュータ１０の内部構成が示されている。このコンピュータ１０は、ＣＰＵ１２、第１記憶媒体１４、第２記憶媒体１６、第３記憶媒体１８、入力装置２０、表示装置２２、入出力インタフェース２４、バス２６を備えて構成される。ＣＰＵ１２はいわゆる中央演算処理装置であり、各種プログラムが実行されてこの立体視画像生成システム１の各種機能を実現する。第１記憶媒体１４はいわゆるＲＡＭ（ランダム・アクセス・メモリ）であり、ＣＰＵ１２の作業領域として使用されるメモリである。第２記憶媒体１６はいわゆるＲＯＭ（リード・オンリー・メモリ）であり、ＣＰＵ１２で実行される基本的なプログラムを記憶するためのメモリである。第３記憶媒体１８は、磁気ディスクを内蔵したハードディスク装置、ＣＤやＤＶＤやＢＤを収容するディスク装置、不揮発性の半導体フラッシュメモリ装置などで構成されており、この立体視画像生成システム１の全体的な基本動作を実現するＯＳ（オペレーティングシステム）プログラムや、立体視画像を生成する際にＣＰＵ１２で実行される立体視画像生成プログラムや、この立体視画像生成プログラムで利用されるデプスマップや立体視画像などの各種データなどを記憶する。入力装置２０はキーボードやマウスであり、作業者によって立体視画像生成システム１に適宜情報を入力する装置である。表示装置２２はディスプレイであって、作業者に対して視覚的なインタフェースを提供する。入出力インタフェース２４は、立体視画像生成プログラムで必要となる原画像データを入力したり、同立体視画像生成プログラムで生成されたデプスマップや立体視画像を外部に出力したりするためのインタフェースである。バス２６は、ＣＰＵ１２、第１記憶媒体１４、第２記憶媒体１６、第３記憶媒体１８、入力装置２０、表示装置２２、入出力インタフェース２４などを一体的に接続して通信を行うための配線となる。
【００３１】
図２には、第３記憶媒体１８に記憶されている立体視画像生成プログラムのプログラム構成と、この立体視画像生成プログラムがＣＰＵ１２で実行されることにより実現されることによって立体視画像生成システム１が実現する機能構成が示されている。また、図３〜図５には、この立体視画像生成システム１によって実行される立体視画像生成手法が概念的に示されている。なお、この立体視画像生成システム１では、立体視画像生成プログラムの構成とその機能構成は対応関係にあることから、ここでは立体視画像生成システム１の機能構成の説明を行うことで、プログラムの説明は省略する。
【００３２】
この立体視画像生成システム１は、領域選択プログラムによって実現される領域選択部１１０、特徴情報取得プログラムによって実現される特徴情報取得部１４０、奥行き情報生成プログラムによって実現される奥行き情報生成部１６０、立体視画像生成プログラムによって実現される立体視画像生成部１８０を備えて構成される。
【００３３】
領域選択部１１０は、原画像２００に複数の領域を選択する。特に本実施形態では、領域選択部１１０が、原画像２００に含まれる被写体を主要単位として複数の領域２０２Ａ〜２０２Ｅを選択しており、更に、その領域２０２Ａ〜２０２Ｅ同士は互いに重なり合うようになっている。具体的に図３に示されるように、第１領域２０２Ａは、原画像２０２の上側を占めており、山を含んだ最も背面側に位置する。第２領域２０２Ｂ及び第３領域２０２Ｃは、第１領域２０２Ａよりも前面側に位置しており、中央の道の両脇に沿って左右両脇を占めている。第４領域２０２Ｄは、原画像２０２の下側を占める中央の道路であって、この第２、第３領域２０２Ｂ、２０２Ｃと同程度の奥行きに位置している。第５領域２０２Ｅは、第３領域２０２Ｃ及び第４領域２０２Ｄと重なった状態で最も前面側に位置しており、女性の輪郭と一致している。従って、図４（Ａ）に示されるように、原画像２００から、領域２０２Ａ〜２０２Ｅ毎に分離させた個別原画像２０１Ａ〜２０１Ｅを得る際、第３領域２０２Ｃ及び第４領域２０２Ｄの個別原画像２０１Ｃ、２０１Ｄにおいて、第５領域２０２Ｅの個別原画像２０１Ｅと重なり合う重複領域Ｘは、その画素の色値が欠落した状態となっている。
【００３４】
この色値の欠落を補うために、本実施形態では、領域選択部１１０が背面色値推測部１１２を備える。この背面色値推測部１１２は、前面側の領域と背面側の領域が重なり合う重複領域Ｘの画素に対して、背面側の領域の画素の色値を推測する。図５に示されるように、例えば、この原画像２００が、他のフレームの原画像２０１Ａ〜２０１Ｃを含む動画である場合、第３領域２０２Ｃの個別原画像２０１Ｃにおける重複領域Ｘの画素Ｔの色値は、他の原画像２００Ａ〜２００Ｃにおける同じ位置の画素ＴＡ〜ＴＣを参照して推測する。ここでは、原画像２００Ｃにおける画素ＴＣは、前面側の女性が左側に移動しているので、並木の色値を認識することができる。この原画像２００Ｃの画素ＴＣの色値を、原画像２００の画素Ｔの色値に適用する。このようにして、重複領域Ｘに含まれる全画素２０４の色値、即ち領域全体の被写体の映像を完成させていく。以上の結果、図４（Ｂ）に示されるように、原画像２００に対して、重複領域Ｘにおける色値の欠落が解消された修正後個別原画像２０３Ａ〜２０３Ｅが得られる。
【００３５】
なお、本実施形態では、動画における他のフレームの原画像２００Ａ〜２００Ｃから色値を推測する場合を例示したが、本発明はこれに限定されない。例えば原画像２００における重複領域Ｘの色値を、その周囲の画素２０４の色値から推測することも可能である。また、重複領域Ｘの全ての画素２０４の推測を行う必要は無く、特に重複領域Ｘの輪郭（周縁）近傍の画素２０４を中心に推測を行うようにしても良い。
【００３６】
特徴情報取得部１４０は、図６及び図７に示されるように、原画像２００を構成する各画素２０４の特徴情報２４０を取得する。特に本実施形態では修正後個別原画像２０３Ａ〜２０３Ｅの各画素２０４に対して特徴情報２４０を取得する。この特徴情報２４０は、例えば、各画素２０４の色相、明度、彩度、色空間などのように、各画素２０４が単独で有している特徴的な情報の他、対象画素２０４の周囲の画素２０４の関係から導かれる特徴的な情報や、複数フレームを有する動画の場合は、各画素２０４の時間的な変化（前後のフレームの同じ位置の画素との関係）から導かれる特徴的な情報などを利用することも可能である。
【００３７】
奥行き情報生成部１６０は、各画素２０４で取得される特徴情報２４０に基づいて、領域２０２Ａ〜２０２Ｅを単位として、各画素２０４に奥行き情報２７０を設定する。ここでは具体的に、修正後個別原画像２０３Ａ〜２０３Ｅの各画素２０４に対して奥行き情報２７０を設定する。結果、修正後個別原画像２０３Ａ〜２０３Ｅに対応した奥行き情報２７０の集合として、個別デプスマップ２６５Ａ〜２６５Ｅが生成される。
【００３８】
図２に戻って、この奥行き情報生成部１６０は、更に詳細に、エッジ設定部１６２、重み情報設定部１６４、スタート画素選択部１６６、経路情報設定部１６８、奥行き確定部１７０、奥行き相関調整部１７２を備える。
【００３９】
図８に示されるように、エッジ設定部１６２は、原画像２００から抽出される一対の画素２０４間にエッジ２６２を設定する。このエッジ２６２とは、概念として、一対の画素２０４間を結ぶ線又は両者を結ぶ経路を意味している。グラフ理論で考えると、一対の画素２０４が節点又は頂点となり、エッジ２６２が枝又は辺となる。本実施形態は、各画素２０４に対して、上下左右に隣接する合計４つの画素２０４に対するエッジ２６２を設定する。なお、本発明は、各画素２０４から上下左右に隣接する画素２０４に対してエッジ２６２を設定する場合に限定されるものではなく、右斜め上、左斜め上、右斜め下、左斜め下の隣接する画素２０４に対してエッジ２６２を設定したり、これらと上下左右を組み合わせた合計８画素２０４に対してエッジ２６２を設定することもできる。また、必ずしも隣り合う画素２０４間にエッジ２６２を設定する場合に限られず、途中の画素を飛ばすことで一定の距離を有する一対の画素２０４、即ち、間引き作業を行った画素２０４に対してエッジ２６２を設定することも可能である。勿論、飛び地のように遠く離れた場所にある一対の画素２０４の間にエッジ２６２を設定することも可能である。
【００４０】
重み情報設定部１６４は、エッジ２６２を結ぶ一対の特徴情報２４０に基づいて、このエッジ２６２に重み情報２６４を設定する。この重み情報２６４は、本実施形態ではエッジ２６２間を結ぶ一対の画素２０４の特徴情報２４０の差を利用する。差が大きいほど重み情報２６４が大きくなり、差が小さい程、重み情報２６４が小さくなる。なお、この重み情報２６４は、エッジ２６２両端の一対の特徴情報２４０の「差」に限定されるものではなく、この一対の特徴情報２４０を利用して重み情報を算出する各種関数などを利用して、重み情報２６４を設定することも可能である。
【００４１】
スタート画素選択部１６６は、原画像２００における各画素２０４の中から、スタート画素２６６を選択する。このスタート画素２６６は、後述する最短経路情報２６８を設定する際のスタート地点となる。ここでは、領域選択部１１０によって、原画像２００が複数の修正後個別原画像２０３Ａ〜２０３Ｅに分離されているので、スタート画素選択部１６６では、修正後個別原画像２０３Ａ〜２０３Ｅごとにスタート画素２６６Ａ〜２６６Ｅを選択する。
【００４２】
なおこのスタート画素２６６Ａ〜２６６Ｅは、修正後個別原画像２０３Ａ〜２０３Ｅの中の画素２０４から自由に選択することが可能であるが、例えば図７に示されるように、各修正後個別原画像２０３Ａ〜２０３Ｅにおいて最も奥側に位置する最奥エリア２００Ａの中に存在する画素群、又は、最も前側に位置する最前エリア２００Ｂの中に存在する画素群から選択することが好ましい。また更に、図７の修正後個別原画像２０３Ａに示されるように、所定のエリア２００Ｃに含まれる全ての複数画素２０４を、まとめて一つのスタート画素２６６として領域選択することも可能である。
【００４３】
なお本実施形態では、修正後個別原画像２０３Ａ〜２０３Ｅにおける奥側エリア２００Ａの中から一つの画素をスタート画素２６６Ａ〜２６６Ｅとして選択する。
【００４４】
経路情報設定部１６８は、複数の領域２０２Ａ〜２０２Ｅごと、即ち、修正後個別原画像２０３Ａ〜２０３Ｅごとに、スタート画素２６６Ａ〜２６６Ｅから各画素２０４までの経路（エッジ２６２）の重み情報２６４を利用して、その最短経路を算出し、修正後個別原画像２０３Ａ〜２０３Ｅ内の各画素２０４に最短経路情報２６８を設定する。この具体的な例を図９を利用して説明する。
【００４５】
説明を簡略化するために、ここでは原画像２００が３行×３列の９つの画素２０４Ａ〜２０４Ｉから構成されると仮定し、左上の画素２０４Ａが、最も奥側に位置する画素であることから、スタート画素２６６として設定する場合を考える。画素２０４Ａ〜２０４Ｉ間を結合する１２個のエッジ２６２（１）〜２６２（１２）には、各画素２０４Ａ〜２０４Ｉが保有する特徴情報（図示省略）の相対差を利用して、１〜１０までの重み情報２６４が予め設定されている。ここで中央上段の画素２０４Ｄの経路を考えると、スタート画素２０４Ａと画素２０４Ｄを結ぶ経路として、例えば、スタート画素２０４Ａと画素２０４Ｄを直接結ぶエッジ２６２（３）のみの第１経路Ｒ１と、スタート画素２０４Ａ、画素２０４Ｂ、画素２０４Ｅ、画素２０４Ｄを結ぶ３つのエッジ２６２（１）、２６２（４）、２６２（６）からなる第２経路Ｒ２を有している。第１経路Ｒ１の重み情報２６４の総和は「１」、第２経路Ｒ２の重み情報２６４の総和は、３＋２＋５の「１０」となる。このように、スタート画素２０４Ａと画素２０４Ｄの間において取り得る全経路について同様に重み情報２６４の総和を算出し、最も小さい値となるのが最短経路である。ここでは、上記第１経路Ｒ１が最短経路となり、結果、この画素２０４Ｄには、最短経路情報２６８として、最短経路上の重み情報２６４の総和である「１」が設定される。
【００４６】
経路情報設定部１６８は、各画素２０４Ａ〜２０４Ｉまでの全てに対して、上記手法によって最短経路情報２６８を設定する。結果として、画素２０４Ａは「０」、画素２０４Ｂは「３」、画素２０４Ｃは「１１」、画素２０４Ｄは「１」、画素２０４Ｅは「５」、画素２０４Ｆは「１０」、画素２０４Ｇは「５」、画素２０４Ｈは「１２」、画素２０４Ｉは「１２」の最短経路情報２６８が設定される。
【００４７】
奥行き確定部１７０は、最短経路情報２６８に基づいて各画素２０４に奥行き情報２７０を設定する。なお、本実施形態では、奥行き確定部１７０は、この最短経路情報２６８を奥行き情報２７０としてそのまま用いる。
【００４８】
特にここでは、原画像２００に設定された領域２０２Ａ〜２０２Ｅ毎に独立して奥行き情報２７０を確定できる。例えば、本実施形態のように、原画像２００において、中央の女性や、左右の並木、中央の道路、背景側の空が部分的に存在しており、これらの被写体の間で明らかに立体的な連続性を確保すべきでない場合、このように各被写体を領域２０２Ａ〜２０２Ｅで選択することで、奥行き情報２７０を独自に設定することが可能となっている。結果、領域２０２Ａ〜２０２Ｅ内では、最適なスタート画素２６６Ａ〜２６６Ｅを選定して最短経路手法によって奥行き情報２７０が算出されるので、奥行き情報２７０が連続的且つ極めて繊細化される。なお、各画素２０４に設定される奥行き情報２７０を視覚的にマップ化したものが個別デプスマップ２６５Ａ〜２６５Ｅとなる。
【００４９】
なお、必要に応じてこの最短経路情報２６８を補正した値を、奥行き情報２７０として用いることも可能である。例えば、原画像２００が野外の風景を写した画像であるか、屋内空間を写した画像であるかによって異なる補正用関数を用意しておき、この最短経路情報２６８に対して、原画像２００の内容に応じて選択された補正関数を適用して、奥行き情報２７０を算出することも可能である。また、修正後個別原画像２０３Ａ〜２０３Ｅごとに、被写体の種類に合わせて異なる補正関数を適用して、奥行き情報２７０を算出することも可能である。
【００５０】
特に、本実施形態のように領域２０２Ａ〜２０２Ｅ毎にスタート画素２６６Ａ〜２６６Ｅを設定する場合、各スタート画素２６６Ａ〜２６６Ｅは、最短経路情報２６８が「ゼロ」となる。従って、これをそのまま奥行き情報２７０として採用すると、複数の個別デプスマップ２６５Ａ〜２６５Ｅ間で相対的な奥行き感がずれてしまう可能性がある。従って、奥行き確定部１７０では、個別デプスマップ２６５Ａ〜２６５Ｅ毎に、最短経路情報２６８を全体的に補正してから奥行き情報２７０を確定することが好ましい。例えば、背景側の第１領域２０２Ａの第１個別デプスマップ２６５Ａと比較して、前面側の第５領域２０２Ｅの第５個別デプスマップ２６５Ｅの全画素２０４には、最短経路情報２６８に対して一定の前側シフト用の補正値を付加してから、これを奥行き情報２７０とする。このように、個別デプスマップ２６５Ａ〜２６５Ｅ単位で奥行き感を補正することで、領域２０２Ａ〜２０２Ｅ内では繊細且つ滑らかな立体感を出しつつ、複数の個別デプスマップ２６５Ａ〜２６５Ｅ同士では、最適な距離差でクッキリとした鮮明な立体感を付与することができる。
【００５１】
最も遠い距離を０とし、最も近い距離を１と定義した場合の個別デプスマップ２６５Ａ〜２６５Ｅの奥行き情報２７０の例を説明する。図１０は、この原画像２００をカメラＣで撮影した実際の場面を、上方から眺めた場合を模式的に示している。図１０（Ａ）及び図１１（Ａ）に示されるように、原画像２００における第１領域２０２Ａは空Ｓと山Ｍが被写体となっており、この第１領域２０２Ａに対応する個別デプスマップ２６５Ａの奥行き情報２７０は、最も遠い０から最も近い１まで設定される。また、第２領域２０２Ｂ及び第３領域２０２Ｃは並木Ｔが被写体となっており、これらに対応する個別デプスマップ２６５Ｂ、２６５Ｃの奥行き情報２７０は最も遠い０から最も近い１まで設定される。第４領域２０２Ｄは道路Ｌが被写体となっており、この第４領域２０２Ｄに対応する個別デプスマップ２６５Ｄの奥行き情報２７０は最も遠い０から最も近い１まで設定されている。第５領域２０２Ｅは女性Ｈが被写体となっており、この第５領域２０２Ｅに対応する個別デプスマップ２６５Ｅの奥行き情報２７０は最も遠い０から最も近い１まで設定されている。
【００５２】
即ち、奥行き確定部１７０では、領域２０２Ａ〜２０２Ｅ毎に独立して奥行き情報２７０を確定していることから、相対的な尺度が異なっている。結果、この個別デプスマップ２６５Ａ〜２６５Ｅをそのまま用いると、領域２０２Ａ〜２０２Ｅ同士の相対的な奥行き関係に誤差が生じる可能性がある。
【００５３】
そこで奥行き相関調整部１７２は、領域２０２Ａ〜２０２Ｅ毎に確定した奥行き情報２７０を、これらの領域２０２Ａ〜２０２Ｅの相対的な前後関係に基づいて調整（補正）する。奥行き相関調整部１７２における具体的な補正事例を図１０（Ｂ）及び図１１（Ｂ）に示す。第１領域２０２Ａに対応する個別デプスマップ２６５Ａの奥行き情報２７０は、最も遠い場所を０とし、最も近い場所を０．１と補正する。即ち、第１領域２０２Ａは最も奥側に位置しながらも、その奥行き感（奥行きの幅）は０．１に設定され、殆ど立体感を感じさせないように設定する。実際に人間の目でも、極めて遠くにある山や雲は、３次元的な立体感を認識できない。第２領域２０２Ｂ及び第３領域２０２Ｃに対応する個別デプスマップ２６５Ｂ、２６５Ｃの奥行き情報２７０は、最も遠い場所を０．３とし、最も近い場所を０．７と補正する。
【００５４】
第４領域２０２Ｄに対応する個別デプスマップ２６５Ｄの奥行き情報２７０は、最も遠い場所を０とし、最も近い場所を１と補正する。本来の位置関係であれば、被写体の道路Ｌは全体的な奥行きの一部であることから、０〜１のように全体の奥行きを占めることは無い。しかしここでは、原画像２００における制作者の意図から、この道路Ｌの奥行き感を強調することが重要であると判断して、奥行き幅を強調している。なお、第５領域２０２Ｅに対応する個別デプスマップ２６５Ｅの奥行き情報２７０は、最も遠い場所を０．７とし、最も近い場所を０．９としている。
【００５５】
なお、この奥行き相関調整部１７２による相関調整は、表示装置２２に図１１（Ａ）で示した個別デプスマップ２６５Ａ〜２６５Ｅを表示させ、その最も奥の値と最も手前の値に対して、補正すべき数値や尺度の入力を促すようにすることが好ましい。また例えば、図１２で示されるように、個別デプスマップ２６５Ａ〜２６５Ｅ毎の奥行き情報２７０を意味するバーチャートを表示装置２２に表示させ、そのバーチャートの設定範囲を画面上で移動させることで、相関調整を行うようにしても良い。以降は、この調整後の個別デプスマップ２６５Ａ〜２６５Ｅを利用して立体視画像を生成する。
【００５６】
立体視画像生成部１８０は、複数の領域２０２Ａ〜２０２Ｅごとに生成された複数の個別デプスマップ２６５Ａ〜２６５Ｅに基づいて、各画素２０４の位置を変更した右眼用画像２８０Ａおよび左眼用画像２８０Ｂから構成される立体視画像２８０を生成する。
【００５７】
より詳細に、本実施形態の立体視画像生成部１８０は、個別画像生成部１８２と立体視画像合成部１８４を備える。この個別画像生成部１８２は、図１３に示されるように、個別デプスマップ２６５Ａ〜２６５Ｅに基づいて、修正後個別原画像２０３Ａ〜２０３Ｅの各画素２０４の位置を変更した個別立体視画像２８２Ａ〜２８２Ｅ（右眼用個別画像および左眼用個別画像）を生成する。個別立体視画像２８２Ａ〜２８２Ｅの生成を、全ての原画像２００（動画における全フレーム）に適用していくことで、個別立体視画像２８２Ａ〜２８２Ｅの完成具合をオペレータが領域２０２Ａ〜２０２Ｅ単位で確認する。
【００５８】
更に詳細に、個別立体視画像２８２Ａ〜２８２Ｅは、個別デプスマップ２６５Ａ〜２６５Ｅの奥行き情報２７０を利用して、修正後個別原画像２０３Ａ〜２０３Ｅにおける奥側に位置する画素２０４に関しては水平方向の変位量（シフト量）を小さくし、手前側に位置する画素２０４に関しては水平方向の変位量を大きくする。結果、個別立体視画像２８２Ａ〜２８２Ｅに視差を含めることができる。
【００５９】
その後、立体視画像合成部１８４は、図１４に示されるように、これら個別立体視画像２８２Ａ〜２８２Ｅを合成して立体視画像２８０（右眼用画像２８０Ａ及び左眼用画像２８０Ｂ）を生成する。この合成は、各個別立体視画像２８２Ａ〜２８２Ｅにおける右眼用個別画像を合成して、右眼用画像２８０Ａを生成し、各個別立体視画像２８２Ａ〜２８２Ｅにおける左眼用個別画像を合成して、左眼用画像２８０Ｂを生成する。
【００６０】
また本実施形態では、立体視画像合成部１８４は、複数の個別立体視画像２８２Ａ〜２８２Ｅの前後関係に基づいて、前面側の個別立体視画像２８２Ａ〜２８２Ｅに対して、背面側の個別立体視画像２８２Ａ〜２８２Ｅを透過させる。例えば図１５に誇張して示されるように、第３個別立体視画像２８２Ｃと第５個別立体視画像２８２Ｅを合成する際に、透過合成（例えばアルファチャンネル合成）を用いることによって、本来、背面側に位置して隠れることになる第３個別立体視画像２８２Ｃの並木が、第５個別立体視画像２８２Ｅの女性を透過して視認できるようにする。なお、ここでは説明の便宜上、背面側の並木（被写体）の全部を透過させているが、この透過合成処理は、前面側の第５個別立体視画像２８２Ｅの領域２０２Ｅの一部となる輪郭周縁を強調的に透過させる。
【００６１】
このようにすると、合成された立体視画像２８０において、前面側の第５個別立体視画像２８２Ｅの立体感と、背面側の第３個別立体視画像２８２Ｃの立体感が、重なり合う境界近辺でそのまま重なり合って残存する。結果、前後に離れた被写体の境界において、奥行きの断絶やギャップが自動的に抑制されることになる。
【００６２】
以上の工程を経て生成された立体視画像２８０に関して、画像を見る者（看者）の右眼に、右眼用画像２８０Ａを見せると共に、左眼に左眼用画像２８０Ｂを見せることで、これに含まれる視差が脳内で処理されて立体感を知覚させる。
【００６３】
次に図１６を参照して、立体視画像生成システム１による立体視画像の生成手順を説明する。
【００６４】
まず、ステップ３００において、立体視画像生成システム１の入出力インタフェース２４を介して、複数の原画像（フレーム）２００によって構成される動画像を第３記憶媒体１８に登録する。次にステップ３０１では、この原画像２００に複数の領域２０２を設定し、更に、この領域２０２単位で構成される個別原画像２０１に対して、重複領域Ｘに色値の修正を加えて修正後個別原画像２０３を取得する（領域設定ステップ）。その後、ステップ３０２では、特徴情報処理部１４０が、この動画像から最初の原画像（フレーム）２００を抽出し、これを構成する修正後個別原画像２０３の各画素２０４の特徴情報２４０を取得する（特徴情報取得ステップ）。
【００６５】
次いで、ステップ３１０では、この特徴情報２４０に基づいて各画素２０４に奥行き情報２７０を設定した個別デプスマップ２６５を生成する（奥行き情報生成ステップ）。この奥行き情報生成ステップ３１０は、詳細にステップ３１２〜ステップ３２０に分かれる。
【００６６】
まず、ステップ３１２では、接近する２つの画素２０４間にエッジ２６２を設定する（エッジ設定ステップ）。その後、ステップ３１４では、各画素２０４に設定済みの特徴情報２４０に基づいて、エッジ２６２に重み情報２６４を設定する（重み情報設定ステップ）。次に、ステップ３１６では、修正後個別原画像２０３の各画素２０４の中からスタート画素２６６を選択し（スタート画素選択ステップ）、更に、ステップ３１８に進んで、スタート画素２６６から各画素２０４までの経路上の重み情報２６４の累積値が最小となるような最短経路を算出し、最短経路が算出された各画素２０４に対して、重み情報２６４の最小の累積値となる最短経路情報２６８を設定する（経路情報設定ステップ）。その後、ステップ３２０では、最短経路情報２６８を利用して、各画素２０４に奥行き情報２７０を設定し、この奥行き情報２７０を集合化して画素群に対する個別デプスマップ２６５を生成する（奥行き確定ステップ）。最後に、ステップ３２２において、領域２０２毎に生成される個別デプスマップ２６５の奥行き情報２７０を、複数の領域の相対的な前後関係に基づいて調整を行う（奥行き相関調整ステップ）。
【００６７】
以上の奥行き情報生成ステップ３１０が完了したら、次に、ステップ３３０に進んで、確定した奥行き情報２７０（個別デプスマップ２６５）に基づいて、各画素２０４の位置をシフトさせた右眼用画像２８０Ａおよび左眼用画像２８０Ｂからなる立体視画像を生成する（立体視画像生成ステップ）。この立体視画像生成ステップ３３０は、詳細に個別画像生成ステップ３３２と立体視画像合成ステップ３３４に分かれる。個別画像生成ステップ３３２では、領域２０２ごとに設定される修正後個別原画像２０３及び個別デプスマップ２６５を利用して、画素２０４の位置を変更した個別立体視画像２８２を生成する。次に、立体視画像合成ステップ３３４では、これらの個別立体視画像２８２を透過合成して、立体視画像２８０を生成する。
【００６８】
なお、ここでは奥行き情報２７０を集合化して個別デプスマップ２６５を生成し、この個別デプスマップ２６５を利用して個別立体視画像２８２を生成する場合を例示しているが、本発明はこれに限定されない。デプスマップ化することなく、奥行き情報２７０をそのまま利用して個別立体視画像２８２を生成することが可能である。また、修正後個別原画像２０３単位で全ての奥行き情報２７０が生成されるまで、立体視画像生成ステップ３３０を待機させる必要は無く、画素２０４単位で設定される奥行き情報２７０を、逐次、立体視画像生成ステップ３３０に適用していき、画素２０４単位で個別立体視画像２８２及び立体視画像２８０を順次生成していくことも可能である。勿論、本実施形態で示すように、必要に応じて奥行き情報２７０を個別デプスマップ２６５によって画像化又は可視化することも好ましく、本立体視画像生成システム１のオペレータが奥行き情報２７０の設定状況を視覚的に確認する際に便利である。
【００６９】
以上の手順で原画像２００から立体視画像２８０の生成が完了したら、ステップ３４０に進んで、今回の原画像２００が動画像の中で最後のフレームか否かを判断し、最後のフレームで無い場合は、ステップ３０２に戻って、次の原画像（フレーム）２００を抽出して、上記と同じステップを繰り返す。一方、立体視画像２８０を生成した原画像２００が動画中の最後のフレームとなる場合は、この立体視画像生成手順を終了させる。
【００７０】
以上、本実施形態の立体視画像生成システム１によれば、原画像２００に対して複数の領域２０２を設定し、この領域２０２単位で奥行き情報２７０を確定するようにしている。結果、領域２０２内で奥行き情報２７０をきめ細かく設定することが可能となるので、立体視画像２８０の立体感を高精度に設定できる。特に本実施形態では、領域２０２ごとに個別立体視画像２８２を生成してから、これらを合成して立体視画像２８０を完成させている。このようにすると、領域２０２Ａ〜２０２Ｅ単位で立体感を詳細に調整・確認し、個別立体視画像２８２Ａ〜２８２Ｅの完成度を高めてから、その立体感を損なわせることなく、そのまま合成して最終的な立体視画像２８０（右眼用画像２８０Ａ、左眼用画像２８０Ｂ）を生成できる。結果、より違和感の少ない立体視画像２８０を得ることが出来る。また、個別立体視画像２８２の生成時間は、全体の立体視画像２８０をまとめて生成する時間と比較して大幅に短縮できる。従って、オペレータは、領域２０２単位で立体感を効率的に確認しながら作業を進めることができる。
【００７１】
特に本立体視画像生成システム１によれば、領域２０２毎に設定された奥行き情報２７０を、これらの複数の領域２０２間の前後関係に基づいて調整する。結果、全体的な立体感を自在に調整することが可能となり、原画像２００の制作者の意図（意志）を、その立体感に反映させることができる。例えば、原画像２００において、フォーカスがあたっている被写体を含む領域２０２については、奥行き差を大きく設定することで、実際よりも強い立体感を生じさせることができる。また、フォーカスがずれている被写体を含む領域２０２については、奥行き差を小さく設定して立体感を弱めたりすることが可能である。同様に、強調したい領域２０２は、実際よりも前面側に配置したり、強調したくない領域２０２は実際よりも奥側に配置したりして、奥行き情報を調整することも可能となる。
【００７２】
更に本立体視画像生成システム１では、個別立体視画像２８２を合成する際に、複数の領域２０２同士が重なり合う部分については、前面側の個別立体視画像２８２に対して背面側の個別立体視画像２８２を透過させている。このようにすると、立体感も重なって表現されるので、あたかも背面側の被写体の一部が、前面側の被写体の背面側に回り込んでいるような自然な奥行き感を演出できる。特にここでは、前面側の領域２０２と背面側の領域２０２が重なり合う画素２０４に対して、本来は隠れている背面側の色値を推測できるので、一つの画素２０４の色値を、奥行き方向に多重化することができる。結果、多重化した色値に対して、個々に立体感を付与して透過させることで、上述の回り込み効果をより強調することができる。
【００７３】
更に本実施形態によれば、立体視画像２８０を生成する際の立体感の根拠となる奥行き情報２７０を、複数の画素２０４間の最短経路に沿った重み情報２６４の累積値から算出される最短経路情報２６８を利用して生成する。この結果、エッジ２６２によって結ばれている画素２０４の集合に関して、この奥行き情報２７０に連続性を持たせることが可能となる。この奥行き情報２７０を利用して生成される立体視画像２８０に対して、自然な奥行き感を付与されることになる。とりわけ、従来のように、前面側の人物と奥側の背景の境界において、奥行き情報が極端に変化することで生じる立体視画像内の断絶（不連続）現象を抑制することが可能となり、看者にとって違和感の少ない立体感を立体視画像２８０に付与出来る。更に、この断絶現象が抑制されることに伴って、生成後の立体視画像２８０に対してギャップの発生を抑えることが可能となり、ギャップを埋めるための画像補整（ぼかしや画像変形）も低減され、画像品質の劣化が抑制される。
【００７４】
更にこの立体視画像生成システム１では、原画像２００（修正後個別原画像２０３）における最奥部を示す領域２００Ａ、または最前部を示す領域２００Ｂの中からスタート画素２６６を選択している。このスタート画素２６６は、他の画素２０４の最短経路情報２６８を算出する際の基準点（ゼロ点）となる。このスタート画素２６６を最奥又は最前の画素２０４から選択することで、違和感のない奥行き情報２７０を生成することができる。なお、このスタート画素２６６の選択は、表示装置（ディスプレイ）２２に原画像２００を表示させて、立体視画像生成システム１のオペレータに対して最奥又は最前と考えられるスタート画素２６６の選択を促すようにしても良い。また、立体視画像生成システム１が原画像２００を解析することによって、最奥又は最前であろう領域２００Ａ、２００Ｂを推測し、その中から自動的にスタート画素２６６を選択するようにしても良い。
【００７５】
以上の結果、殆ど自動的に全ての奥行き情報２７０を算出することができるので、立体視画像生成システム１のオペレータの作業負担が大幅に軽減される。なお、従来のシステムでは、立体視画像を確認しながら、奥行き情報２７０に補正を加えるような複雑な作業が要求されている。
【００７６】
更に本実施形態によれば、奥行き感を算出する基準値となるスタート画素２６６を、領域２０２毎に複数選択しているので、これらを自由に組み合わせて用いることにより、領域２０２単位でより柔軟に奥行き情報２７０を確定することが可能となる。即ち、原画像２００のシーンや、各領域２０２に含まれる被写体を考慮して、各領域２０２にとって最適なスタート画素２６６を選択できるので、より自然な立体感を演出することが可能となる。
【００７７】
なお、本実施形態では、スタート画素選択ステップ３１６において、スタート画素２６６として１つの画素を選択する場合を例示したが、本発明はこれに限定されない。例えば、図７で例示したように、原画像２００中の所定の領域２００Ｃに含まれる複数の画素２０４を、一つのスタート画素２６６として選択することもできる。これを最短経路手法で考えると、これらの領域２００Ｃに含まれる全画素２０４のエッジの重み情報と最短経路情報を予めゼロ又は固定値（基準値）に設定することを意味している。このようにすることで、この領域内に映像的なノイズが含まれている場合であっても、ノイズの影響をカットすることが可能となる。また、雲一つ無い晴天の空のように、奥行き感に差を付ける必要が無い領域の計算を省略することができるので、最短経路を算出する情報処理時間を大幅に削減することができる。また、ここではスタート画素２６６を一定の領域で指定する場合に限られず、スタート画素以外の他の画素についても、一定の領域として一体化することが可能である。例えばこの領域設定は、複数の隣接する画素で構成される一定の面積範囲の奥行き情報を共通化しても良いようなシンプルな被写体に好適である。この場合、一体化される領域では、これらの画素群を仮想的に１画素と見なすようにオペレータが領域指示を加える。結果、最短経路を算出する情報処理時間を大幅に削減することができる。
【００７８】
更に本実施形態では、立体視画像生成ステップ３３０において、個別デプスマップ２６５を利用して個別立体視画像２８２を生成し、この個別立体視画像２８２を透過合成して立体視画像２８０を生成する場合を例示したが、本発明はこれに限定されない。例えば図１７及び図１８に示されるように、立体視画像生成部１８０は、個別画像生成部１８２及び立体視画像合成部１８４に代えて、奥行き情報合成部１８６を備えることも好ましい。この奥行き情報合成部１８６は、奥行き情報生成部１６０によって領域２０２Ａ〜２０２Ｅ毎に生成される複数の個別デプスマップ２６５Ａ〜２６５Ｅを合成して、一つの奥行き情報（結合デプスマップ２６７）を生成する。結果、オペレータは、この結合デプスマップ２６７を利用して全体的な立体感を視覚的に確認することができる。立体視画像生成部１８０は、この結合デプスマップ２６７を利用して、右眼用画像２８０Ａおよび左眼用画像２８０Ｂを生成する。なお、オペレータが結合デプスマップ２６７を必要としない場合は、この奥行き情報合成部１８６を用いなくても良い。即ち、奥行き情報生成部１６０において領域２０２Ａ〜２０２Ｅ毎に設定される奥行き情報２７０を、立体視画像生成部１８０が画素２０４単位で適用すれば、結果として、立体視映像２８０を生成することが可能となる。
【００７９】
なお、本実施形態では、選定された領域２０２Ａ〜２０２Ｅの範囲内の画素２０４から、スタート画素２６６Ａ〜２６６Ｅを選択する場合を例示したが、本発明はこれに限定されない。
【００８０】
例えば図１９に示されるように、スタート画素選択部１６６では、原画像２００を領域２０２に依存することなく、原画像２００の全体からスタート画素２６６Ａ〜２６６Ｃを複数選択し、経路情報設定部１６８では、原画像２００の全画素２０４を対象に、この複数のスタート画素２６６Ａ〜２６６Ｃごとに最短経路を算出して、各画素に複数の最短経路情報２６８Ａ〜２６８Ｃを設定することができる。
【００８１】
奥行き確定部１７０では、領域２０２を単位として、各画素２０４に設定される複数の最短経路情報２６８Ａ〜２６８Ｃの中から、いずれか一つの最短経路情報を選択して、奥行き情報２７０を確定する。この際、奥行き確定部１７０は、各画素２０４に設定される複数の最短経路情報２６８Ａ〜２６８Ｃを利用して奥行き情報２７０を確定することもできる。この複数の最短経路情報２６８Ａ〜２６８Ｃから一つの最短経路情報を選択したり、複数の最短経路情報２６８Ａ〜２６８Ｃを利用したりする判断は、領域２０２単位で共通化させることが好ましい。
【００８２】
この手法を図２０を参照して別の観点から説明する。奥行き情報生成部１６０は、各スタート画素２６６Ａ〜２６６Ｃに対応した仮デプスマップ２６３Ａ〜２６３Ｃを複数生成する。そして、奥行き確定部１７０は、スタート画素２６６単位で複数生成された仮デプスマップ２６３Ａ〜２６３Ｃの中からどれか一つを用いるか、又は、仮デプスマップ２６３Ａ〜２６３Ｃからいずれか複数を重ねて用いるかを判定する。この際、原画像２００から選択される複数の領域２０２Ａ〜２０２Ｅ単位で判断すれば、領域２０２Ａ〜２０２Ｅに対応した個別デプスマップ２６５Ａ〜２６５Ｅが生成される。
【００８３】
以上のようにすると、奥行き情報２７０を確定する際の選択肢を増やすことができる。この選択肢とは、スタート画素２６６Ａ〜２６６Ｃを意味している。このように領域２０２Ａ〜２０２Ｅの範囲の外側を含めた広範囲からスタート画素２６６Ａ〜２６６Ｃを選択することで、より望ましいスタート画素２６６を選定できる。なお、ここでは３つのスタート画素を選択する場合を例示したが、このスタート画素２６６の数を増やすほど、より柔軟に奥行き情報２７０を確定できるようになる。
【００８４】
既に説明したように、これらの最短経路情報２６８Ａ〜２６８Ｃ（仮デプスマップ２６３Ａ〜２６３Ｃ）から複数を選択し、これらを利用して、奥行き情報２７０を確定することも好ましい。このようにすると、最短経路情報２６８Ａ〜２６８Ｃ（仮デプスマップ２６３Ａ〜２６３Ｃ）中の一つでは、正確な奥行き情報が得られないエラー部分を含有していても、残りの他の最短経路情報２６８Ａ〜２６８Ｃ（仮デプスマップ２６３Ａ〜２６３Ｃ）で正確な奥行き情報が得られていれば、一緒に利用することで、そのエラー部分を自動的に補うことが可能となる。結果、ノイズがキャンセルされた一層滑らかな奥行き情報２７０を得ることが可能となる。なお、複数の最短経路情報２６８Ａ〜２６８Ｃを利用して奥行き情報２７０を確定する際は、これらの総和や平均値など、各種計算手法を適用することができる。
【００８５】
更に本実施形態では、経路情報設定ステップ３１８において、スタート画素２６６から各画素２０４までの経路上の重み情報２６４の累積値が最小となるような最短経路を算出する場合を例示したが、本発明はこれに限定されない。例えば、プリム法などを利用して、全画素２０４を含む辺の部分集合で構成される経路のうち、その辺の集合の重みの総和が最小となるような経路を求めるようにしてもよい。即ち、本発明では、画素間の各種経路を利用して何らかの重み値を特定できれば、そのアルゴリズムの種類は問わない。
【００８６】
なお、上記実施形態では、右眼用画像と左眼用画像の２眼視差式の立体視画像を生成する場合に限って例示したが、本発明はこれに限定されない。例えば、この奥行き情報を利用して多眼式の立体視映像を生成するようにしても良く、更には、多眼視差式の立体視映像を生成することも可能である。即ち、本発明では、奥行き情報を利用した立体視映像であれば、その種類は問わない。
【産業上の利用可能性】
【００８７】
本発明の立体視画像生成方法および立体視画像生成システムは、映画やテレビ番組等の製作の分野以外にも、通常画像を立体視画像に変換して表示するテレビやゲーム機等の各種機器の分野において利用することができる。
【符号の説明】
【００８８】
１ 立体視画像生成システム
１１０ 領域選択部
１４０ 特徴情報取得部
１６０ 奥行き情報生成部
１６２ エッジ設定部
１６４ 重み情報設定部
１６６ スタート画素選択部
１６８ 経路情報設定部
１７０ 奥行き確定部
１７２ 奥行き相関調整部
１８０ 立体視画像生成部
２００ 原画像
２０４ 画素
２６５ 個別デプスマップ
２８０ 立体視画像
【技術分野】
【０００１】
本発明は、視差によって画像を見る者に立体感を知覚させる立体視画像を生成する立体視画像生成方法および立体視画像生成システムに関する。
【背景技術】
【０００２】
近年、右眼と左眼にそれぞれ異なる画像を視認させることで観察者に立体感を知覚させる２眼視差式の立体視画像が、映画やテレビ放送等の分野で広く用いられるようになってきている。また、見る角度によって観察者が視認する画像を変化させる多眼（多視点）式の立体視画像によって観察者に立体感を知覚させる技術も、例えば裸眼立体視デバイスで用いられている。更に、これらの２眼視差式と多眼式を組み合わせた多眼視差式の立体視画像も用いられつつある。視差式の立体視画像の場合、右眼に視認させる右眼用画像および左眼に視認させる左眼用画像から構成され、両画像中の被写体の位置を人間の両眼視差に合わせてそれぞれ水平方向にシフトする（ずらす）ことにより、画像を見る者（看者）に立体感を知覚させるようにしている。
【０００３】
従来、視差式の立体視画像は、２台のカメラを左右に並べて、右眼用画像および左眼用画像を同時に撮影することによって生成されるのが一般的であった。この場合、人間の両眼視差と略同様の視差を有する右眼用画像および左眼用画像を直接得ることができるため、看者に違和感を持たせることのない自然な立体視画像を生成することができる。
【０００４】
しかしながら、このように２台のカメラによって右眼用画像および左眼用画像を撮影する手法では、全く同仕様の２台のカメラを正確に位置決めして配置すると共に、両者を完全に同期させた状態で撮影を行う必要がある。このため、撮影の際には専門スタッフと共に特殊な専用機器を多数揃える必要があり、撮影コストが増大するだけではなく、カメラその他の各種機器の設定や調整に多大な時間を要するという問題があった。
【０００５】
また従来の多眼式の立体視画像は、多くの視点にカメラを並べて、多視点の画像を同時に撮影することによって生成されるのが一般的であった。しかしながら、このように複数台のカメラによって多視点の画像を撮影する手法では、全く同仕様の複数台のカメラを正確に位置決めして配置すると共に、すべてを完全に同期させた状態で撮影を行う必要があるという問題があった。
【０００６】
ましてや、多眼視差式の立体視映像となると、様々な視点に対して、２台ずつカメラを配置して、視差を含んだ映像を撮影する必要がある。従って、極めて特異な目的が無い限り、一般的に普及するにはほど遠い状況となっている。
【０００７】
これに対し、１台のカメラによって通常どおりに撮影された画像に画像処理を施すことで、２眼視差式の右眼用画像および左眼用画像を生成する手法が提案されている（例えば、特許文献１参照）。この手法では、まず原画像を構成する各画素に奥行き情報（奥行き値）を設定し、この奥行き情報に応じて各画素の水平方向の位置を変更することにより、両画像中の被写体の位置を両眼視差に合わせてシフトした右眼用画像および左眼用画像を生成するようになっている。
【０００８】
この手法によれば、一般的なカメラによって撮影した通常の原画像から立体視画像を生成することが可能であるため、撮影コストを低減し、撮影時間を短縮することができる。また、既存の映画等のコンテンツから立体視画像を生成したり、一般的なテレビ放送を立体視画像に変換してテレビ画面に表示させたりすることもできる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００２−１２３８４２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、通常の原画像から立体視画像を生成する従来の手法では、例えば被写体である人物等と背景の境界においては奥行き情報の値が変化することとなり、奥行きの断絶（不連続）が生じるという問題があった。
【００１１】
このような奥行きの断絶が生じている場合、人物等と背景の間の遠近のみが強調されて人物等が平面的に感じられる、いわゆる描き割り効果等の不自然な立体感として知覚されることとなる。また、右眼用画像および左眼用画像において各画素の位置を変更する際に、人物等に含まれる画素と背景に含まれる画素の移動量が大きく異なることから、原画像において人物等に遮蔽されていた背景に大きなギャップ（欠損）が生じることとなる。
【００１２】
従来の手法においては、このようなギャップを回避するために、境界部分に対するぼかし処理や、人物等または背景の画像を拡大または変形させる処理を施すようにしたものもあるが、このような境界処理を行うと境界部分には視差が付与されないため、境界部分に関してかえって看者に違和感を与える場合があった。また、この種の境界処理は、立体視画像の画質を劣化させるという問題もあった。また、これらのぼかし処理や、拡大変形処理には、ソフトウエア上で立体視画像を加工するオペレータの作業負担を増大させる。従って、多眼式や多眼視差式の立体視画像を、原画像から立体視画像を生成しようとすると、オペレータの加工作業が膨大となってしまうという問題があった。
【００１３】
また、従来の手法では、一般的に原画像を構成する各画素の色相、彩度または明度（上記特許文献１では、彩度）の値をそのまま各画素の奥行き情報としているため、例えば被写体である人物等と背景の境界で奥行き情報が大きく変化する。結果、奥行きの断絶が強調されやすいという問題があった。
【００１４】
更に、原画像には、制作者の意図（意志）やストーリー性などの要素も含まれる。この場合、看者にしっかりと見て欲しい重要な被写体を強調したり、原画像中でフォーカスが当たっている場所を強調したり、反対に、重要でない部分やぼけている部分を強調させないように調整したりすることが重要になる。しかし、従来の手法では、原画像の全体から奥行き情報を機械的に算出して、そのまま利用するため、制作者の意図を立体感に反映させることが困難であるという問題があった。
【００１５】
本発明は、斯かる実情に鑑み、看者に自然な立体感を知覚させる立体視画像を原画像から生成することが可能な立体視画像生成方法および立体視画像生成システムを提供しようとするものである。
【課題を解決するための手段】
【００１６】
上記目的を達成する本発明は、原画像に複数の領域を設定する領域設定ステップと、前記原画像を構成する各画素の特徴情報を取得する特徴情報取得ステップと、前記複数の領域ごとに、前記特徴情報に基づいて前記各画素に奥行き情報を生成する奥行き情報生成ステップと、前記奥行き情報に基づいて、前記各画素の位置を変更した立体視画像を生成する立体視画像生成ステップと、を有することを特徴とする、立体視画像生成方法である。
【００１７】
上記目的を達成する立体視画像生成方法において、上記発明の前記領域設定ステップでは、前記原画像に含まれる被写体ごとに前記領域を設定することを特徴とする。
【００１８】
上記目的を達成する立体視画像生成方法において、上記発明の前記立体視画像生成ステップは、前記複数の領域ごとに、前記画素の位置を変更した個別立体視画像を生成する個別画像生成ステップと、前記複数の領域ごとに生成された複数の前記個別立体視画像を合成して前記立体視画像を生成する立体視画像合成ステップと、を有することを特徴とする。
【００１９】
上記目的を達成する立体視画像生成方法において、上記発明の前記立体視画像合成ステップでは、複数の前記個別立体視画像の前後関係に基づいて、前面側の前記個別立体視画像に対して、背面側の前記個別立体視画像が透過するように合成することを特徴とする。
【００２０】
上記目的を達成する立体視画像生成方法において、上記発明の前記立体視画像合成ステップは、前記複数の領域ごとに生成された前記奥行き情報を合成する奥行き情報合成ステップを有しており、前記合成された前記奥行き情報から前記立体視画像を生成することを特徴とする。
【００２１】
上記目的を達成する立体視画像生成方法において、上記発明の前記領域設定ステップは、前面側の前記領域と背面側の前記領域が重なり合う前記画素に対して、背面側の前記領域の前記画素の色値を推測する背面色値推測ステップを有することを特徴とする。
【００２２】
上記目的を達成する立体視画像生成方法において、上記発明の前記奥行き情報生成ステップは、前記領域ごとに生成した奥行き情報を、複数の前記領域の相対的な前後関係に基づいて調整する奥行き相関調整ステップを有することを特徴とする。
【００２３】
上記目的を達成する立体視画像生成方法において、上記発明の前記奥行き情報生成ステップは、前記原画像から抽出された一対の前記画素の間にエッジを設定するエッジ設定ステップと、前記特徴情報に基づいて前記エッジに重み情報を設定する重み情報設定ステップと、前記各画素の中からスタート画素を選択するスタート画素選択ステップと、前記スタート画素から前記各画素までの前記重み情報についての経路を算出し、前記各画素に経路情報を設定する経路情報設定ステップと、前記経路情報に基づいて前記各画素に前記奥行き情報を設定する奥行き確定ステップと、を有することを特徴とする。
【００２４】
上記目的を達成する立体視画像生成方法において、上記発明の前記スタート画素選択ステップでは、前記複数の領域のそれぞれにおける最奥部を示す領域、または最前部を示す領域に含まれる前記画素を前記スタート画素に選択することを特徴とする。
【００２５】
上記目的を達成する立体視画像生成方法において、上記発明の前記スタート画素選択ステップでは、前記スタート画素を複数選択することを特徴とする。
【００２６】
上記目的を達成する本発明は、電子計算機によって構成され、原画像に複数の領域を設定する領域設定手段と、前記原画像を構成する各画素の特徴情報を取得する特徴情報取得手段と、前記複数の領域ごとに、前記特徴情報に基づいて前記各画素に奥行き情報を生成する奥行き情報生成手段と、前記奥行き情報に基づいて、前記各画素の位置を変更した立体視画像を生成する立体視画像生成手段と、を有することを特徴とする立体視画像生成システムである。
【発明の効果】
【００２７】
本発明によれば、看者に自然な立体感を知覚させる立体視画像を原画像から生成することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１実施形態に係る立体視画像生成システムのハードウエア構成を示すブロック図である。
【図２】同立体視画像生成システムのプログラム構成及び機能構成を示すブロック図である。
【図３】同立体視画像生成システムによる原画像の領域選択を示すブロック図である。
【図４】同立体視画像生成システムによる個別原画像の修正手法を示すブロック図である。
【図５】同立体視画像生成システムによる個別原画像の修正手法を示すブロック図である。
【図６】同立体視画像生成システムにおける個別デプスマップの生成概念を示す図である。
【図７】同立体視画像生成システムにおけるデプスマップの生成概念を示す図である。
【図８】同立体視画像生成システムにおける最短経路情報を算出する手順を示す図である。
【図９】同立体視画像生成システムにおける最短経路情報を算出する例を示す図である。
【図１０】同立体視画像生成システムにおける（Ａ）調整前の奥行き情報の状態、（Ｂ）調整後の奥行き情報の状態を示す図である。
【図１１】同立体視画像生成システムにおける（Ａ）調整前の奥行き情報の状態、（Ｂ）調整後の奥行き情報の状態を示す図である。
【図１２】同立体視画像生成システムにおける奥行き情報の相関調整を行う為の入力画面の状態を示す図である。
【図１３】同立体視画像生成システムによる個別立体視画像生成手順を示す図である。
【図１４】同立体視画像生成システムによる立体視画像生成手順を示す図である。
【図１５】同立体視画像生成システムによる立体視画像の合成手法を示す図である。
【図１６】同立体視画像生成システムによる立体視画像生成手順を示すフローチャートである。
【図１７】同立体視画像生成システムの他の例による機能構成を示すブロック図である。
【図１８】同立体視画像生成システムの他の例による立体視画像生成の流れを示すブロック図である。
【図１９】同立体視画像生成システムの他の例による立体視画像生成の流れを示すブロック図である。
【図２０】同立体視画像生成システムの他の例による立体視画像生成の流れを示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照しながら本発明の実施の形態について詳細に説明する。
【００３０】
図１には、第１実施形態に係る立体視画像生成システム１を構成するコンピュータ１０の内部構成が示されている。このコンピュータ１０は、ＣＰＵ１２、第１記憶媒体１４、第２記憶媒体１６、第３記憶媒体１８、入力装置２０、表示装置２２、入出力インタフェース２４、バス２６を備えて構成される。ＣＰＵ１２はいわゆる中央演算処理装置であり、各種プログラムが実行されてこの立体視画像生成システム１の各種機能を実現する。第１記憶媒体１４はいわゆるＲＡＭ（ランダム・アクセス・メモリ）であり、ＣＰＵ１２の作業領域として使用されるメモリである。第２記憶媒体１６はいわゆるＲＯＭ（リード・オンリー・メモリ）であり、ＣＰＵ１２で実行される基本的なプログラムを記憶するためのメモリである。第３記憶媒体１８は、磁気ディスクを内蔵したハードディスク装置、ＣＤやＤＶＤやＢＤを収容するディスク装置、不揮発性の半導体フラッシュメモリ装置などで構成されており、この立体視画像生成システム１の全体的な基本動作を実現するＯＳ（オペレーティングシステム）プログラムや、立体視画像を生成する際にＣＰＵ１２で実行される立体視画像生成プログラムや、この立体視画像生成プログラムで利用されるデプスマップや立体視画像などの各種データなどを記憶する。入力装置２０はキーボードやマウスであり、作業者によって立体視画像生成システム１に適宜情報を入力する装置である。表示装置２２はディスプレイであって、作業者に対して視覚的なインタフェースを提供する。入出力インタフェース２４は、立体視画像生成プログラムで必要となる原画像データを入力したり、同立体視画像生成プログラムで生成されたデプスマップや立体視画像を外部に出力したりするためのインタフェースである。バス２６は、ＣＰＵ１２、第１記憶媒体１４、第２記憶媒体１６、第３記憶媒体１８、入力装置２０、表示装置２２、入出力インタフェース２４などを一体的に接続して通信を行うための配線となる。
【００３１】
図２には、第３記憶媒体１８に記憶されている立体視画像生成プログラムのプログラム構成と、この立体視画像生成プログラムがＣＰＵ１２で実行されることにより実現されることによって立体視画像生成システム１が実現する機能構成が示されている。また、図３〜図５には、この立体視画像生成システム１によって実行される立体視画像生成手法が概念的に示されている。なお、この立体視画像生成システム１では、立体視画像生成プログラムの構成とその機能構成は対応関係にあることから、ここでは立体視画像生成システム１の機能構成の説明を行うことで、プログラムの説明は省略する。
【００３２】
この立体視画像生成システム１は、領域選択プログラムによって実現される領域選択部１１０、特徴情報取得プログラムによって実現される特徴情報取得部１４０、奥行き情報生成プログラムによって実現される奥行き情報生成部１６０、立体視画像生成プログラムによって実現される立体視画像生成部１８０を備えて構成される。
【００３３】
領域選択部１１０は、原画像２００に複数の領域を選択する。特に本実施形態では、領域選択部１１０が、原画像２００に含まれる被写体を主要単位として複数の領域２０２Ａ〜２０２Ｅを選択しており、更に、その領域２０２Ａ〜２０２Ｅ同士は互いに重なり合うようになっている。具体的に図３に示されるように、第１領域２０２Ａは、原画像２０２の上側を占めており、山を含んだ最も背面側に位置する。第２領域２０２Ｂ及び第３領域２０２Ｃは、第１領域２０２Ａよりも前面側に位置しており、中央の道の両脇に沿って左右両脇を占めている。第４領域２０２Ｄは、原画像２０２の下側を占める中央の道路であって、この第２、第３領域２０２Ｂ、２０２Ｃと同程度の奥行きに位置している。第５領域２０２Ｅは、第３領域２０２Ｃ及び第４領域２０２Ｄと重なった状態で最も前面側に位置しており、女性の輪郭と一致している。従って、図４（Ａ）に示されるように、原画像２００から、領域２０２Ａ〜２０２Ｅ毎に分離させた個別原画像２０１Ａ〜２０１Ｅを得る際、第３領域２０２Ｃ及び第４領域２０２Ｄの個別原画像２０１Ｃ、２０１Ｄにおいて、第５領域２０２Ｅの個別原画像２０１Ｅと重なり合う重複領域Ｘは、その画素の色値が欠落した状態となっている。
【００３４】
この色値の欠落を補うために、本実施形態では、領域選択部１１０が背面色値推測部１１２を備える。この背面色値推測部１１２は、前面側の領域と背面側の領域が重なり合う重複領域Ｘの画素に対して、背面側の領域の画素の色値を推測する。図５に示されるように、例えば、この原画像２００が、他のフレームの原画像２０１Ａ〜２０１Ｃを含む動画である場合、第３領域２０２Ｃの個別原画像２０１Ｃにおける重複領域Ｘの画素Ｔの色値は、他の原画像２００Ａ〜２００Ｃにおける同じ位置の画素ＴＡ〜ＴＣを参照して推測する。ここでは、原画像２００Ｃにおける画素ＴＣは、前面側の女性が左側に移動しているので、並木の色値を認識することができる。この原画像２００Ｃの画素ＴＣの色値を、原画像２００の画素Ｔの色値に適用する。このようにして、重複領域Ｘに含まれる全画素２０４の色値、即ち領域全体の被写体の映像を完成させていく。以上の結果、図４（Ｂ）に示されるように、原画像２００に対して、重複領域Ｘにおける色値の欠落が解消された修正後個別原画像２０３Ａ〜２０３Ｅが得られる。
【００３５】
なお、本実施形態では、動画における他のフレームの原画像２００Ａ〜２００Ｃから色値を推測する場合を例示したが、本発明はこれに限定されない。例えば原画像２００における重複領域Ｘの色値を、その周囲の画素２０４の色値から推測することも可能である。また、重複領域Ｘの全ての画素２０４の推測を行う必要は無く、特に重複領域Ｘの輪郭（周縁）近傍の画素２０４を中心に推測を行うようにしても良い。
【００３６】
特徴情報取得部１４０は、図６及び図７に示されるように、原画像２００を構成する各画素２０４の特徴情報２４０を取得する。特に本実施形態では修正後個別原画像２０３Ａ〜２０３Ｅの各画素２０４に対して特徴情報２４０を取得する。この特徴情報２４０は、例えば、各画素２０４の色相、明度、彩度、色空間などのように、各画素２０４が単独で有している特徴的な情報の他、対象画素２０４の周囲の画素２０４の関係から導かれる特徴的な情報や、複数フレームを有する動画の場合は、各画素２０４の時間的な変化（前後のフレームの同じ位置の画素との関係）から導かれる特徴的な情報などを利用することも可能である。
【００３７】
奥行き情報生成部１６０は、各画素２０４で取得される特徴情報２４０に基づいて、領域２０２Ａ〜２０２Ｅを単位として、各画素２０４に奥行き情報２７０を設定する。ここでは具体的に、修正後個別原画像２０３Ａ〜２０３Ｅの各画素２０４に対して奥行き情報２７０を設定する。結果、修正後個別原画像２０３Ａ〜２０３Ｅに対応した奥行き情報２７０の集合として、個別デプスマップ２６５Ａ〜２６５Ｅが生成される。
【００３８】
図２に戻って、この奥行き情報生成部１６０は、更に詳細に、エッジ設定部１６２、重み情報設定部１６４、スタート画素選択部１６６、経路情報設定部１６８、奥行き確定部１７０、奥行き相関調整部１７２を備える。
【００３９】
図８に示されるように、エッジ設定部１６２は、原画像２００から抽出される一対の画素２０４間にエッジ２６２を設定する。このエッジ２６２とは、概念として、一対の画素２０４間を結ぶ線又は両者を結ぶ経路を意味している。グラフ理論で考えると、一対の画素２０４が節点又は頂点となり、エッジ２６２が枝又は辺となる。本実施形態は、各画素２０４に対して、上下左右に隣接する合計４つの画素２０４に対するエッジ２６２を設定する。なお、本発明は、各画素２０４から上下左右に隣接する画素２０４に対してエッジ２６２を設定する場合に限定されるものではなく、右斜め上、左斜め上、右斜め下、左斜め下の隣接する画素２０４に対してエッジ２６２を設定したり、これらと上下左右を組み合わせた合計８画素２０４に対してエッジ２６２を設定することもできる。また、必ずしも隣り合う画素２０４間にエッジ２６２を設定する場合に限られず、途中の画素を飛ばすことで一定の距離を有する一対の画素２０４、即ち、間引き作業を行った画素２０４に対してエッジ２６２を設定することも可能である。勿論、飛び地のように遠く離れた場所にある一対の画素２０４の間にエッジ２６２を設定することも可能である。
【００４０】
重み情報設定部１６４は、エッジ２６２を結ぶ一対の特徴情報２４０に基づいて、このエッジ２６２に重み情報２６４を設定する。この重み情報２６４は、本実施形態ではエッジ２６２間を結ぶ一対の画素２０４の特徴情報２４０の差を利用する。差が大きいほど重み情報２６４が大きくなり、差が小さい程、重み情報２６４が小さくなる。なお、この重み情報２６４は、エッジ２６２両端の一対の特徴情報２４０の「差」に限定されるものではなく、この一対の特徴情報２４０を利用して重み情報を算出する各種関数などを利用して、重み情報２６４を設定することも可能である。
【００４１】
スタート画素選択部１６６は、原画像２００における各画素２０４の中から、スタート画素２６６を選択する。このスタート画素２６６は、後述する最短経路情報２６８を設定する際のスタート地点となる。ここでは、領域選択部１１０によって、原画像２００が複数の修正後個別原画像２０３Ａ〜２０３Ｅに分離されているので、スタート画素選択部１６６では、修正後個別原画像２０３Ａ〜２０３Ｅごとにスタート画素２６６Ａ〜２６６Ｅを選択する。
【００４２】
なおこのスタート画素２６６Ａ〜２６６Ｅは、修正後個別原画像２０３Ａ〜２０３Ｅの中の画素２０４から自由に選択することが可能であるが、例えば図７に示されるように、各修正後個別原画像２０３Ａ〜２０３Ｅにおいて最も奥側に位置する最奥エリア２００Ａの中に存在する画素群、又は、最も前側に位置する最前エリア２００Ｂの中に存在する画素群から選択することが好ましい。また更に、図７の修正後個別原画像２０３Ａに示されるように、所定のエリア２００Ｃに含まれる全ての複数画素２０４を、まとめて一つのスタート画素２６６として領域選択することも可能である。
【００４３】
なお本実施形態では、修正後個別原画像２０３Ａ〜２０３Ｅにおける奥側エリア２００Ａの中から一つの画素をスタート画素２６６Ａ〜２６６Ｅとして選択する。
【００４４】
経路情報設定部１６８は、複数の領域２０２Ａ〜２０２Ｅごと、即ち、修正後個別原画像２０３Ａ〜２０３Ｅごとに、スタート画素２６６Ａ〜２６６Ｅから各画素２０４までの経路（エッジ２６２）の重み情報２６４を利用して、その最短経路を算出し、修正後個別原画像２０３Ａ〜２０３Ｅ内の各画素２０４に最短経路情報２６８を設定する。この具体的な例を図９を利用して説明する。
【００４５】
説明を簡略化するために、ここでは原画像２００が３行×３列の９つの画素２０４Ａ〜２０４Ｉから構成されると仮定し、左上の画素２０４Ａが、最も奥側に位置する画素であることから、スタート画素２６６として設定する場合を考える。画素２０４Ａ〜２０４Ｉ間を結合する１２個のエッジ２６２（１）〜２６２（１２）には、各画素２０４Ａ〜２０４Ｉが保有する特徴情報（図示省略）の相対差を利用して、１〜１０までの重み情報２６４が予め設定されている。ここで中央上段の画素２０４Ｄの経路を考えると、スタート画素２０４Ａと画素２０４Ｄを結ぶ経路として、例えば、スタート画素２０４Ａと画素２０４Ｄを直接結ぶエッジ２６２（３）のみの第１経路Ｒ１と、スタート画素２０４Ａ、画素２０４Ｂ、画素２０４Ｅ、画素２０４Ｄを結ぶ３つのエッジ２６２（１）、２６２（４）、２６２（６）からなる第２経路Ｒ２を有している。第１経路Ｒ１の重み情報２６４の総和は「１」、第２経路Ｒ２の重み情報２６４の総和は、３＋２＋５の「１０」となる。このように、スタート画素２０４Ａと画素２０４Ｄの間において取り得る全経路について同様に重み情報２６４の総和を算出し、最も小さい値となるのが最短経路である。ここでは、上記第１経路Ｒ１が最短経路となり、結果、この画素２０４Ｄには、最短経路情報２６８として、最短経路上の重み情報２６４の総和である「１」が設定される。
【００４６】
経路情報設定部１６８は、各画素２０４Ａ〜２０４Ｉまでの全てに対して、上記手法によって最短経路情報２６８を設定する。結果として、画素２０４Ａは「０」、画素２０４Ｂは「３」、画素２０４Ｃは「１１」、画素２０４Ｄは「１」、画素２０４Ｅは「５」、画素２０４Ｆは「１０」、画素２０４Ｇは「５」、画素２０４Ｈは「１２」、画素２０４Ｉは「１２」の最短経路情報２６８が設定される。
【００４７】
奥行き確定部１７０は、最短経路情報２６８に基づいて各画素２０４に奥行き情報２７０を設定する。なお、本実施形態では、奥行き確定部１７０は、この最短経路情報２６８を奥行き情報２７０としてそのまま用いる。
【００４８】
特にここでは、原画像２００に設定された領域２０２Ａ〜２０２Ｅ毎に独立して奥行き情報２７０を確定できる。例えば、本実施形態のように、原画像２００において、中央の女性や、左右の並木、中央の道路、背景側の空が部分的に存在しており、これらの被写体の間で明らかに立体的な連続性を確保すべきでない場合、このように各被写体を領域２０２Ａ〜２０２Ｅで選択することで、奥行き情報２７０を独自に設定することが可能となっている。結果、領域２０２Ａ〜２０２Ｅ内では、最適なスタート画素２６６Ａ〜２６６Ｅを選定して最短経路手法によって奥行き情報２７０が算出されるので、奥行き情報２７０が連続的且つ極めて繊細化される。なお、各画素２０４に設定される奥行き情報２７０を視覚的にマップ化したものが個別デプスマップ２６５Ａ〜２６５Ｅとなる。
【００４９】
なお、必要に応じてこの最短経路情報２６８を補正した値を、奥行き情報２７０として用いることも可能である。例えば、原画像２００が野外の風景を写した画像であるか、屋内空間を写した画像であるかによって異なる補正用関数を用意しておき、この最短経路情報２６８に対して、原画像２００の内容に応じて選択された補正関数を適用して、奥行き情報２７０を算出することも可能である。また、修正後個別原画像２０３Ａ〜２０３Ｅごとに、被写体の種類に合わせて異なる補正関数を適用して、奥行き情報２７０を算出することも可能である。
【００５０】
特に、本実施形態のように領域２０２Ａ〜２０２Ｅ毎にスタート画素２６６Ａ〜２６６Ｅを設定する場合、各スタート画素２６６Ａ〜２６６Ｅは、最短経路情報２６８が「ゼロ」となる。従って、これをそのまま奥行き情報２７０として採用すると、複数の個別デプスマップ２６５Ａ〜２６５Ｅ間で相対的な奥行き感がずれてしまう可能性がある。従って、奥行き確定部１７０では、個別デプスマップ２６５Ａ〜２６５Ｅ毎に、最短経路情報２６８を全体的に補正してから奥行き情報２７０を確定することが好ましい。例えば、背景側の第１領域２０２Ａの第１個別デプスマップ２６５Ａと比較して、前面側の第５領域２０２Ｅの第５個別デプスマップ２６５Ｅの全画素２０４には、最短経路情報２６８に対して一定の前側シフト用の補正値を付加してから、これを奥行き情報２７０とする。このように、個別デプスマップ２６５Ａ〜２６５Ｅ単位で奥行き感を補正することで、領域２０２Ａ〜２０２Ｅ内では繊細且つ滑らかな立体感を出しつつ、複数の個別デプスマップ２６５Ａ〜２６５Ｅ同士では、最適な距離差でクッキリとした鮮明な立体感を付与することができる。
【００５１】
最も遠い距離を０とし、最も近い距離を１と定義した場合の個別デプスマップ２６５Ａ〜２６５Ｅの奥行き情報２７０の例を説明する。図１０は、この原画像２００をカメラＣで撮影した実際の場面を、上方から眺めた場合を模式的に示している。図１０（Ａ）及び図１１（Ａ）に示されるように、原画像２００における第１領域２０２Ａは空Ｓと山Ｍが被写体となっており、この第１領域２０２Ａに対応する個別デプスマップ２６５Ａの奥行き情報２７０は、最も遠い０から最も近い１まで設定される。また、第２領域２０２Ｂ及び第３領域２０２Ｃは並木Ｔが被写体となっており、これらに対応する個別デプスマップ２６５Ｂ、２６５Ｃの奥行き情報２７０は最も遠い０から最も近い１まで設定される。第４領域２０２Ｄは道路Ｌが被写体となっており、この第４領域２０２Ｄに対応する個別デプスマップ２６５Ｄの奥行き情報２７０は最も遠い０から最も近い１まで設定されている。第５領域２０２Ｅは女性Ｈが被写体となっており、この第５領域２０２Ｅに対応する個別デプスマップ２６５Ｅの奥行き情報２７０は最も遠い０から最も近い１まで設定されている。
【００５２】
即ち、奥行き確定部１７０では、領域２０２Ａ〜２０２Ｅ毎に独立して奥行き情報２７０を確定していることから、相対的な尺度が異なっている。結果、この個別デプスマップ２６５Ａ〜２６５Ｅをそのまま用いると、領域２０２Ａ〜２０２Ｅ同士の相対的な奥行き関係に誤差が生じる可能性がある。
【００５３】
そこで奥行き相関調整部１７２は、領域２０２Ａ〜２０２Ｅ毎に確定した奥行き情報２７０を、これらの領域２０２Ａ〜２０２Ｅの相対的な前後関係に基づいて調整（補正）する。奥行き相関調整部１７２における具体的な補正事例を図１０（Ｂ）及び図１１（Ｂ）に示す。第１領域２０２Ａに対応する個別デプスマップ２６５Ａの奥行き情報２７０は、最も遠い場所を０とし、最も近い場所を０．１と補正する。即ち、第１領域２０２Ａは最も奥側に位置しながらも、その奥行き感（奥行きの幅）は０．１に設定され、殆ど立体感を感じさせないように設定する。実際に人間の目でも、極めて遠くにある山や雲は、３次元的な立体感を認識できない。第２領域２０２Ｂ及び第３領域２０２Ｃに対応する個別デプスマップ２６５Ｂ、２６５Ｃの奥行き情報２７０は、最も遠い場所を０．３とし、最も近い場所を０．７と補正する。
【００５４】
第４領域２０２Ｄに対応する個別デプスマップ２６５Ｄの奥行き情報２７０は、最も遠い場所を０とし、最も近い場所を１と補正する。本来の位置関係であれば、被写体の道路Ｌは全体的な奥行きの一部であることから、０〜１のように全体の奥行きを占めることは無い。しかしここでは、原画像２００における制作者の意図から、この道路Ｌの奥行き感を強調することが重要であると判断して、奥行き幅を強調している。なお、第５領域２０２Ｅに対応する個別デプスマップ２６５Ｅの奥行き情報２７０は、最も遠い場所を０．７とし、最も近い場所を０．９としている。
【００５５】
なお、この奥行き相関調整部１７２による相関調整は、表示装置２２に図１１（Ａ）で示した個別デプスマップ２６５Ａ〜２６５Ｅを表示させ、その最も奥の値と最も手前の値に対して、補正すべき数値や尺度の入力を促すようにすることが好ましい。また例えば、図１２で示されるように、個別デプスマップ２６５Ａ〜２６５Ｅ毎の奥行き情報２７０を意味するバーチャートを表示装置２２に表示させ、そのバーチャートの設定範囲を画面上で移動させることで、相関調整を行うようにしても良い。以降は、この調整後の個別デプスマップ２６５Ａ〜２６５Ｅを利用して立体視画像を生成する。
【００５６】
立体視画像生成部１８０は、複数の領域２０２Ａ〜２０２Ｅごとに生成された複数の個別デプスマップ２６５Ａ〜２６５Ｅに基づいて、各画素２０４の位置を変更した右眼用画像２８０Ａおよび左眼用画像２８０Ｂから構成される立体視画像２８０を生成する。
【００５７】
より詳細に、本実施形態の立体視画像生成部１８０は、個別画像生成部１８２と立体視画像合成部１８４を備える。この個別画像生成部１８２は、図１３に示されるように、個別デプスマップ２６５Ａ〜２６５Ｅに基づいて、修正後個別原画像２０３Ａ〜２０３Ｅの各画素２０４の位置を変更した個別立体視画像２８２Ａ〜２８２Ｅ（右眼用個別画像および左眼用個別画像）を生成する。個別立体視画像２８２Ａ〜２８２Ｅの生成を、全ての原画像２００（動画における全フレーム）に適用していくことで、個別立体視画像２８２Ａ〜２８２Ｅの完成具合をオペレータが領域２０２Ａ〜２０２Ｅ単位で確認する。
【００５８】
更に詳細に、個別立体視画像２８２Ａ〜２８２Ｅは、個別デプスマップ２６５Ａ〜２６５Ｅの奥行き情報２７０を利用して、修正後個別原画像２０３Ａ〜２０３Ｅにおける奥側に位置する画素２０４に関しては水平方向の変位量（シフト量）を小さくし、手前側に位置する画素２０４に関しては水平方向の変位量を大きくする。結果、個別立体視画像２８２Ａ〜２８２Ｅに視差を含めることができる。
【００５９】
その後、立体視画像合成部１８４は、図１４に示されるように、これら個別立体視画像２８２Ａ〜２８２Ｅを合成して立体視画像２８０（右眼用画像２８０Ａ及び左眼用画像２８０Ｂ）を生成する。この合成は、各個別立体視画像２８２Ａ〜２８２Ｅにおける右眼用個別画像を合成して、右眼用画像２８０Ａを生成し、各個別立体視画像２８２Ａ〜２８２Ｅにおける左眼用個別画像を合成して、左眼用画像２８０Ｂを生成する。
【００６０】
また本実施形態では、立体視画像合成部１８４は、複数の個別立体視画像２８２Ａ〜２８２Ｅの前後関係に基づいて、前面側の個別立体視画像２８２Ａ〜２８２Ｅに対して、背面側の個別立体視画像２８２Ａ〜２８２Ｅを透過させる。例えば図１５に誇張して示されるように、第３個別立体視画像２８２Ｃと第５個別立体視画像２８２Ｅを合成する際に、透過合成（例えばアルファチャンネル合成）を用いることによって、本来、背面側に位置して隠れることになる第３個別立体視画像２８２Ｃの並木が、第５個別立体視画像２８２Ｅの女性を透過して視認できるようにする。なお、ここでは説明の便宜上、背面側の並木（被写体）の全部を透過させているが、この透過合成処理は、前面側の第５個別立体視画像２８２Ｅの領域２０２Ｅの一部となる輪郭周縁を強調的に透過させる。
【００６１】
このようにすると、合成された立体視画像２８０において、前面側の第５個別立体視画像２８２Ｅの立体感と、背面側の第３個別立体視画像２８２Ｃの立体感が、重なり合う境界近辺でそのまま重なり合って残存する。結果、前後に離れた被写体の境界において、奥行きの断絶やギャップが自動的に抑制されることになる。
【００６２】
以上の工程を経て生成された立体視画像２８０に関して、画像を見る者（看者）の右眼に、右眼用画像２８０Ａを見せると共に、左眼に左眼用画像２８０Ｂを見せることで、これに含まれる視差が脳内で処理されて立体感を知覚させる。
【００６３】
次に図１６を参照して、立体視画像生成システム１による立体視画像の生成手順を説明する。
【００６４】
まず、ステップ３００において、立体視画像生成システム１の入出力インタフェース２４を介して、複数の原画像（フレーム）２００によって構成される動画像を第３記憶媒体１８に登録する。次にステップ３０１では、この原画像２００に複数の領域２０２を設定し、更に、この領域２０２単位で構成される個別原画像２０１に対して、重複領域Ｘに色値の修正を加えて修正後個別原画像２０３を取得する（領域設定ステップ）。その後、ステップ３０２では、特徴情報処理部１４０が、この動画像から最初の原画像（フレーム）２００を抽出し、これを構成する修正後個別原画像２０３の各画素２０４の特徴情報２４０を取得する（特徴情報取得ステップ）。
【００６５】
次いで、ステップ３１０では、この特徴情報２４０に基づいて各画素２０４に奥行き情報２７０を設定した個別デプスマップ２６５を生成する（奥行き情報生成ステップ）。この奥行き情報生成ステップ３１０は、詳細にステップ３１２〜ステップ３２０に分かれる。
【００６６】
まず、ステップ３１２では、接近する２つの画素２０４間にエッジ２６２を設定する（エッジ設定ステップ）。その後、ステップ３１４では、各画素２０４に設定済みの特徴情報２４０に基づいて、エッジ２６２に重み情報２６４を設定する（重み情報設定ステップ）。次に、ステップ３１６では、修正後個別原画像２０３の各画素２０４の中からスタート画素２６６を選択し（スタート画素選択ステップ）、更に、ステップ３１８に進んで、スタート画素２６６から各画素２０４までの経路上の重み情報２６４の累積値が最小となるような最短経路を算出し、最短経路が算出された各画素２０４に対して、重み情報２６４の最小の累積値となる最短経路情報２６８を設定する（経路情報設定ステップ）。その後、ステップ３２０では、最短経路情報２６８を利用して、各画素２０４に奥行き情報２７０を設定し、この奥行き情報２７０を集合化して画素群に対する個別デプスマップ２６５を生成する（奥行き確定ステップ）。最後に、ステップ３２２において、領域２０２毎に生成される個別デプスマップ２６５の奥行き情報２７０を、複数の領域の相対的な前後関係に基づいて調整を行う（奥行き相関調整ステップ）。
【００６７】
以上の奥行き情報生成ステップ３１０が完了したら、次に、ステップ３３０に進んで、確定した奥行き情報２７０（個別デプスマップ２６５）に基づいて、各画素２０４の位置をシフトさせた右眼用画像２８０Ａおよび左眼用画像２８０Ｂからなる立体視画像を生成する（立体視画像生成ステップ）。この立体視画像生成ステップ３３０は、詳細に個別画像生成ステップ３３２と立体視画像合成ステップ３３４に分かれる。個別画像生成ステップ３３２では、領域２０２ごとに設定される修正後個別原画像２０３及び個別デプスマップ２６５を利用して、画素２０４の位置を変更した個別立体視画像２８２を生成する。次に、立体視画像合成ステップ３３４では、これらの個別立体視画像２８２を透過合成して、立体視画像２８０を生成する。
【００６８】
なお、ここでは奥行き情報２７０を集合化して個別デプスマップ２６５を生成し、この個別デプスマップ２６５を利用して個別立体視画像２８２を生成する場合を例示しているが、本発明はこれに限定されない。デプスマップ化することなく、奥行き情報２７０をそのまま利用して個別立体視画像２８２を生成することが可能である。また、修正後個別原画像２０３単位で全ての奥行き情報２７０が生成されるまで、立体視画像生成ステップ３３０を待機させる必要は無く、画素２０４単位で設定される奥行き情報２７０を、逐次、立体視画像生成ステップ３３０に適用していき、画素２０４単位で個別立体視画像２８２及び立体視画像２８０を順次生成していくことも可能である。勿論、本実施形態で示すように、必要に応じて奥行き情報２７０を個別デプスマップ２６５によって画像化又は可視化することも好ましく、本立体視画像生成システム１のオペレータが奥行き情報２７０の設定状況を視覚的に確認する際に便利である。
【００６９】
以上の手順で原画像２００から立体視画像２８０の生成が完了したら、ステップ３４０に進んで、今回の原画像２００が動画像の中で最後のフレームか否かを判断し、最後のフレームで無い場合は、ステップ３０２に戻って、次の原画像（フレーム）２００を抽出して、上記と同じステップを繰り返す。一方、立体視画像２８０を生成した原画像２００が動画中の最後のフレームとなる場合は、この立体視画像生成手順を終了させる。
【００７０】
以上、本実施形態の立体視画像生成システム１によれば、原画像２００に対して複数の領域２０２を設定し、この領域２０２単位で奥行き情報２７０を確定するようにしている。結果、領域２０２内で奥行き情報２７０をきめ細かく設定することが可能となるので、立体視画像２８０の立体感を高精度に設定できる。特に本実施形態では、領域２０２ごとに個別立体視画像２８２を生成してから、これらを合成して立体視画像２８０を完成させている。このようにすると、領域２０２Ａ〜２０２Ｅ単位で立体感を詳細に調整・確認し、個別立体視画像２８２Ａ〜２８２Ｅの完成度を高めてから、その立体感を損なわせることなく、そのまま合成して最終的な立体視画像２８０（右眼用画像２８０Ａ、左眼用画像２８０Ｂ）を生成できる。結果、より違和感の少ない立体視画像２８０を得ることが出来る。また、個別立体視画像２８２の生成時間は、全体の立体視画像２８０をまとめて生成する時間と比較して大幅に短縮できる。従って、オペレータは、領域２０２単位で立体感を効率的に確認しながら作業を進めることができる。
【００７１】
特に本立体視画像生成システム１によれば、領域２０２毎に設定された奥行き情報２７０を、これらの複数の領域２０２間の前後関係に基づいて調整する。結果、全体的な立体感を自在に調整することが可能となり、原画像２００の制作者の意図（意志）を、その立体感に反映させることができる。例えば、原画像２００において、フォーカスがあたっている被写体を含む領域２０２については、奥行き差を大きく設定することで、実際よりも強い立体感を生じさせることができる。また、フォーカスがずれている被写体を含む領域２０２については、奥行き差を小さく設定して立体感を弱めたりすることが可能である。同様に、強調したい領域２０２は、実際よりも前面側に配置したり、強調したくない領域２０２は実際よりも奥側に配置したりして、奥行き情報を調整することも可能となる。
【００７２】
更に本立体視画像生成システム１では、個別立体視画像２８２を合成する際に、複数の領域２０２同士が重なり合う部分については、前面側の個別立体視画像２８２に対して背面側の個別立体視画像２８２を透過させている。このようにすると、立体感も重なって表現されるので、あたかも背面側の被写体の一部が、前面側の被写体の背面側に回り込んでいるような自然な奥行き感を演出できる。特にここでは、前面側の領域２０２と背面側の領域２０２が重なり合う画素２０４に対して、本来は隠れている背面側の色値を推測できるので、一つの画素２０４の色値を、奥行き方向に多重化することができる。結果、多重化した色値に対して、個々に立体感を付与して透過させることで、上述の回り込み効果をより強調することができる。
【００７３】
更に本実施形態によれば、立体視画像２８０を生成する際の立体感の根拠となる奥行き情報２７０を、複数の画素２０４間の最短経路に沿った重み情報２６４の累積値から算出される最短経路情報２６８を利用して生成する。この結果、エッジ２６２によって結ばれている画素２０４の集合に関して、この奥行き情報２７０に連続性を持たせることが可能となる。この奥行き情報２７０を利用して生成される立体視画像２８０に対して、自然な奥行き感を付与されることになる。とりわけ、従来のように、前面側の人物と奥側の背景の境界において、奥行き情報が極端に変化することで生じる立体視画像内の断絶（不連続）現象を抑制することが可能となり、看者にとって違和感の少ない立体感を立体視画像２８０に付与出来る。更に、この断絶現象が抑制されることに伴って、生成後の立体視画像２８０に対してギャップの発生を抑えることが可能となり、ギャップを埋めるための画像補整（ぼかしや画像変形）も低減され、画像品質の劣化が抑制される。
【００７４】
更にこの立体視画像生成システム１では、原画像２００（修正後個別原画像２０３）における最奥部を示す領域２００Ａ、または最前部を示す領域２００Ｂの中からスタート画素２６６を選択している。このスタート画素２６６は、他の画素２０４の最短経路情報２６８を算出する際の基準点（ゼロ点）となる。このスタート画素２６６を最奥又は最前の画素２０４から選択することで、違和感のない奥行き情報２７０を生成することができる。なお、このスタート画素２６６の選択は、表示装置（ディスプレイ）２２に原画像２００を表示させて、立体視画像生成システム１のオペレータに対して最奥又は最前と考えられるスタート画素２６６の選択を促すようにしても良い。また、立体視画像生成システム１が原画像２００を解析することによって、最奥又は最前であろう領域２００Ａ、２００Ｂを推測し、その中から自動的にスタート画素２６６を選択するようにしても良い。
【００７５】
以上の結果、殆ど自動的に全ての奥行き情報２７０を算出することができるので、立体視画像生成システム１のオペレータの作業負担が大幅に軽減される。なお、従来のシステムでは、立体視画像を確認しながら、奥行き情報２７０に補正を加えるような複雑な作業が要求されている。
【００７６】
更に本実施形態によれば、奥行き感を算出する基準値となるスタート画素２６６を、領域２０２毎に複数選択しているので、これらを自由に組み合わせて用いることにより、領域２０２単位でより柔軟に奥行き情報２７０を確定することが可能となる。即ち、原画像２００のシーンや、各領域２０２に含まれる被写体を考慮して、各領域２０２にとって最適なスタート画素２６６を選択できるので、より自然な立体感を演出することが可能となる。
【００７７】
なお、本実施形態では、スタート画素選択ステップ３１６において、スタート画素２６６として１つの画素を選択する場合を例示したが、本発明はこれに限定されない。例えば、図７で例示したように、原画像２００中の所定の領域２００Ｃに含まれる複数の画素２０４を、一つのスタート画素２６６として選択することもできる。これを最短経路手法で考えると、これらの領域２００Ｃに含まれる全画素２０４のエッジの重み情報と最短経路情報を予めゼロ又は固定値（基準値）に設定することを意味している。このようにすることで、この領域内に映像的なノイズが含まれている場合であっても、ノイズの影響をカットすることが可能となる。また、雲一つ無い晴天の空のように、奥行き感に差を付ける必要が無い領域の計算を省略することができるので、最短経路を算出する情報処理時間を大幅に削減することができる。また、ここではスタート画素２６６を一定の領域で指定する場合に限られず、スタート画素以外の他の画素についても、一定の領域として一体化することが可能である。例えばこの領域設定は、複数の隣接する画素で構成される一定の面積範囲の奥行き情報を共通化しても良いようなシンプルな被写体に好適である。この場合、一体化される領域では、これらの画素群を仮想的に１画素と見なすようにオペレータが領域指示を加える。結果、最短経路を算出する情報処理時間を大幅に削減することができる。
【００７８】
更に本実施形態では、立体視画像生成ステップ３３０において、個別デプスマップ２６５を利用して個別立体視画像２８２を生成し、この個別立体視画像２８２を透過合成して立体視画像２８０を生成する場合を例示したが、本発明はこれに限定されない。例えば図１７及び図１８に示されるように、立体視画像生成部１８０は、個別画像生成部１８２及び立体視画像合成部１８４に代えて、奥行き情報合成部１８６を備えることも好ましい。この奥行き情報合成部１８６は、奥行き情報生成部１６０によって領域２０２Ａ〜２０２Ｅ毎に生成される複数の個別デプスマップ２６５Ａ〜２６５Ｅを合成して、一つの奥行き情報（結合デプスマップ２６７）を生成する。結果、オペレータは、この結合デプスマップ２６７を利用して全体的な立体感を視覚的に確認することができる。立体視画像生成部１８０は、この結合デプスマップ２６７を利用して、右眼用画像２８０Ａおよび左眼用画像２８０Ｂを生成する。なお、オペレータが結合デプスマップ２６７を必要としない場合は、この奥行き情報合成部１８６を用いなくても良い。即ち、奥行き情報生成部１６０において領域２０２Ａ〜２０２Ｅ毎に設定される奥行き情報２７０を、立体視画像生成部１８０が画素２０４単位で適用すれば、結果として、立体視映像２８０を生成することが可能となる。
【００７９】
なお、本実施形態では、選定された領域２０２Ａ〜２０２Ｅの範囲内の画素２０４から、スタート画素２６６Ａ〜２６６Ｅを選択する場合を例示したが、本発明はこれに限定されない。
【００８０】
例えば図１９に示されるように、スタート画素選択部１６６では、原画像２００を領域２０２に依存することなく、原画像２００の全体からスタート画素２６６Ａ〜２６６Ｃを複数選択し、経路情報設定部１６８では、原画像２００の全画素２０４を対象に、この複数のスタート画素２６６Ａ〜２６６Ｃごとに最短経路を算出して、各画素に複数の最短経路情報２６８Ａ〜２６８Ｃを設定することができる。
【００８１】
奥行き確定部１７０では、領域２０２を単位として、各画素２０４に設定される複数の最短経路情報２６８Ａ〜２６８Ｃの中から、いずれか一つの最短経路情報を選択して、奥行き情報２７０を確定する。この際、奥行き確定部１７０は、各画素２０４に設定される複数の最短経路情報２６８Ａ〜２６８Ｃを利用して奥行き情報２７０を確定することもできる。この複数の最短経路情報２６８Ａ〜２６８Ｃから一つの最短経路情報を選択したり、複数の最短経路情報２６８Ａ〜２６８Ｃを利用したりする判断は、領域２０２単位で共通化させることが好ましい。
【００８２】
この手法を図２０を参照して別の観点から説明する。奥行き情報生成部１６０は、各スタート画素２６６Ａ〜２６６Ｃに対応した仮デプスマップ２６３Ａ〜２６３Ｃを複数生成する。そして、奥行き確定部１７０は、スタート画素２６６単位で複数生成された仮デプスマップ２６３Ａ〜２６３Ｃの中からどれか一つを用いるか、又は、仮デプスマップ２６３Ａ〜２６３Ｃからいずれか複数を重ねて用いるかを判定する。この際、原画像２００から選択される複数の領域２０２Ａ〜２０２Ｅ単位で判断すれば、領域２０２Ａ〜２０２Ｅに対応した個別デプスマップ２６５Ａ〜２６５Ｅが生成される。
【００８３】
以上のようにすると、奥行き情報２７０を確定する際の選択肢を増やすことができる。この選択肢とは、スタート画素２６６Ａ〜２６６Ｃを意味している。このように領域２０２Ａ〜２０２Ｅの範囲の外側を含めた広範囲からスタート画素２６６Ａ〜２６６Ｃを選択することで、より望ましいスタート画素２６６を選定できる。なお、ここでは３つのスタート画素を選択する場合を例示したが、このスタート画素２６６の数を増やすほど、より柔軟に奥行き情報２７０を確定できるようになる。
【００８４】
既に説明したように、これらの最短経路情報２６８Ａ〜２６８Ｃ（仮デプスマップ２６３Ａ〜２６３Ｃ）から複数を選択し、これらを利用して、奥行き情報２７０を確定することも好ましい。このようにすると、最短経路情報２６８Ａ〜２６８Ｃ（仮デプスマップ２６３Ａ〜２６３Ｃ）中の一つでは、正確な奥行き情報が得られないエラー部分を含有していても、残りの他の最短経路情報２６８Ａ〜２６８Ｃ（仮デプスマップ２６３Ａ〜２６３Ｃ）で正確な奥行き情報が得られていれば、一緒に利用することで、そのエラー部分を自動的に補うことが可能となる。結果、ノイズがキャンセルされた一層滑らかな奥行き情報２７０を得ることが可能となる。なお、複数の最短経路情報２６８Ａ〜２６８Ｃを利用して奥行き情報２７０を確定する際は、これらの総和や平均値など、各種計算手法を適用することができる。
【００８５】
更に本実施形態では、経路情報設定ステップ３１８において、スタート画素２６６から各画素２０４までの経路上の重み情報２６４の累積値が最小となるような最短経路を算出する場合を例示したが、本発明はこれに限定されない。例えば、プリム法などを利用して、全画素２０４を含む辺の部分集合で構成される経路のうち、その辺の集合の重みの総和が最小となるような経路を求めるようにしてもよい。即ち、本発明では、画素間の各種経路を利用して何らかの重み値を特定できれば、そのアルゴリズムの種類は問わない。
【００８６】
なお、上記実施形態では、右眼用画像と左眼用画像の２眼視差式の立体視画像を生成する場合に限って例示したが、本発明はこれに限定されない。例えば、この奥行き情報を利用して多眼式の立体視映像を生成するようにしても良く、更には、多眼視差式の立体視映像を生成することも可能である。即ち、本発明では、奥行き情報を利用した立体視映像であれば、その種類は問わない。
【産業上の利用可能性】
【００８７】
本発明の立体視画像生成方法および立体視画像生成システムは、映画やテレビ番組等の製作の分野以外にも、通常画像を立体視画像に変換して表示するテレビやゲーム機等の各種機器の分野において利用することができる。
【符号の説明】
【００８８】
１ 立体視画像生成システム
１１０ 領域選択部
１４０ 特徴情報取得部
１６０ 奥行き情報生成部
１６２ エッジ設定部
１６４ 重み情報設定部
１６６ スタート画素選択部
１６８ 経路情報設定部
１７０ 奥行き確定部
１７２ 奥行き相関調整部
１８０ 立体視画像生成部
２００ 原画像
２０４ 画素
２６５ 個別デプスマップ
２８０ 立体視画像
【特許請求の範囲】
【請求項１】
原画像に複数の領域を設定する領域設定ステップと、
前記原画像を構成する各画素の特徴情報を取得する特徴情報取得ステップと、
前記複数の領域ごとに、前記特徴情報に基づいて前記各画素に奥行き情報を生成する奥行き情報生成ステップと、
前記奥行き情報に基づいて、前記各画素の位置を変更した立体視画像を生成する立体視画像生成ステップと、を有することを特徴とする、
立体視画像生成方法。
【請求項２】
前記領域設定ステップでは、前記原画像に含まれる被写体ごとに前記領域を設定することを特徴とする、
請求項１に記載の立体視画像生成方法。
【請求項３】
前記立体視画像生成ステップは、
前記複数の領域ごとに、前記画素の位置を変更した個別立体視画像を生成する個別画像生成ステップと、
前記複数の領域ごとに生成された複数の前記個別立体視画像を合成して前記立体視画像を生成する立体視画像合成ステップと、を有することを特徴とする、
請求項１又は２に記載の立体視画像生成方法。
【請求項４】
前記立体視画像合成ステップでは、複数の前記個別立体視画像の前後関係に基づいて、前面側の前記個別立体視画像に対して、背面側の前記個別立体視画像が透過するように合成することを特徴とする、
請求項３に記載の立体視画像生成方法。
【請求項５】
前記立体視画像合成ステップは、
前記複数の領域ごとに生成された前記奥行き情報を合成する奥行き情報合成ステップを有しており、
前記合成された前記奥行き情報から前記立体視画像を生成することを特徴とする、
請求項１又は２に記載の立体視画像生成方法。
【請求項６】
前記領域設定ステップは、
前面側の前記領域と背面側の前記領域が重なり合う前記画素に対して、背面側の前記領域の前記画素の色値を推測する背面色値推測ステップを有することを特徴とする、
請求項１乃至５のいずれかに記載の立体視画像生成方法。
【請求項７】
（新設）
前記奥行き情報生成ステップは、
前記領域ごとに生成した奥行き情報を、複数の前記領域の相対的な前後関係に基づいて調整する奥行き相関調整ステップを有することを特徴とする、
請求項１乃至６のいずれかに記載の立体視画像生成方法。
【請求項８】
前記奥行き情報生成ステップは、
前記原画像から抽出された一対の前記画素の間にエッジを設定するエッジ設定ステップと、
前記特徴情報に基づいて前記エッジに重み情報を設定する重み情報設定ステップと、
前記各画素の中からスタート画素を選択するスタート画素選択ステップと、
前記スタート画素から前記各画素までの前記重み情報についての経路を算出し、前記各画素に経路情報を設定する経路情報設定ステップと、
前記経路情報に基づいて前記各画素に前記奥行き情報を設定する奥行き確定ステップと、を有することを特徴とする、
請求項１乃至７のいずれかに記載の立体視画像生成方法。
【請求項９】
前記スタート画素選択ステップでは、前記複数の領域のそれぞれにおける最奥部を示す領域、または最前部を示す領域に含まれる前記画素を前記スタート画素に選択することを特徴とする、
請求項８に記載の立体視画像生成方法。
【請求項１０】
前記スタート画素選択ステップでは、前記スタート画素を複数選択することを特徴とする、
請求項８または９に記載の立体視画像生成方法。
【請求項１１】
電子計算機によって構成され、
原画像に複数の領域を設定する領域設定手段と、
前記原画像を構成する各画素の特徴情報を取得する特徴情報取得手段と、
前記複数の領域ごとに、前記特徴情報に基づいて前記各画素に奥行き情報を生成する奥行き情報生成手段と、
前記奥行き情報に基づいて、前記各画素の位置を変更した立体視画像を生成する立体視画像生成手段と、を有することを特徴とする、
立体視画像生成システム。
【請求項１】
原画像に複数の領域を設定する領域設定ステップと、
前記原画像を構成する各画素の特徴情報を取得する特徴情報取得ステップと、
前記複数の領域ごとに、前記特徴情報に基づいて前記各画素に奥行き情報を生成する奥行き情報生成ステップと、
前記奥行き情報に基づいて、前記各画素の位置を変更した立体視画像を生成する立体視画像生成ステップと、を有することを特徴とする、
立体視画像生成方法。
【請求項２】
前記領域設定ステップでは、前記原画像に含まれる被写体ごとに前記領域を設定することを特徴とする、
請求項１に記載の立体視画像生成方法。
【請求項３】
前記立体視画像生成ステップは、
前記複数の領域ごとに、前記画素の位置を変更した個別立体視画像を生成する個別画像生成ステップと、
前記複数の領域ごとに生成された複数の前記個別立体視画像を合成して前記立体視画像を生成する立体視画像合成ステップと、を有することを特徴とする、
請求項１又は２に記載の立体視画像生成方法。
【請求項４】
前記立体視画像合成ステップでは、複数の前記個別立体視画像の前後関係に基づいて、前面側の前記個別立体視画像に対して、背面側の前記個別立体視画像が透過するように合成することを特徴とする、
請求項３に記載の立体視画像生成方法。
【請求項５】
前記立体視画像合成ステップは、
前記複数の領域ごとに生成された前記奥行き情報を合成する奥行き情報合成ステップを有しており、
前記合成された前記奥行き情報から前記立体視画像を生成することを特徴とする、
請求項１又は２に記載の立体視画像生成方法。
【請求項６】
前記領域設定ステップは、
前面側の前記領域と背面側の前記領域が重なり合う前記画素に対して、背面側の前記領域の前記画素の色値を推測する背面色値推測ステップを有することを特徴とする、
請求項１乃至５のいずれかに記載の立体視画像生成方法。
【請求項７】
（新設）
前記奥行き情報生成ステップは、
前記領域ごとに生成した奥行き情報を、複数の前記領域の相対的な前後関係に基づいて調整する奥行き相関調整ステップを有することを特徴とする、
請求項１乃至６のいずれかに記載の立体視画像生成方法。
【請求項８】
前記奥行き情報生成ステップは、
前記原画像から抽出された一対の前記画素の間にエッジを設定するエッジ設定ステップと、
前記特徴情報に基づいて前記エッジに重み情報を設定する重み情報設定ステップと、
前記各画素の中からスタート画素を選択するスタート画素選択ステップと、
前記スタート画素から前記各画素までの前記重み情報についての経路を算出し、前記各画素に経路情報を設定する経路情報設定ステップと、
前記経路情報に基づいて前記各画素に前記奥行き情報を設定する奥行き確定ステップと、を有することを特徴とする、
請求項１乃至７のいずれかに記載の立体視画像生成方法。
【請求項９】
前記スタート画素選択ステップでは、前記複数の領域のそれぞれにおける最奥部を示す領域、または最前部を示す領域に含まれる前記画素を前記スタート画素に選択することを特徴とする、
請求項８に記載の立体視画像生成方法。
【請求項１０】
前記スタート画素選択ステップでは、前記スタート画素を複数選択することを特徴とする、
請求項８または９に記載の立体視画像生成方法。
【請求項１１】
電子計算機によって構成され、
原画像に複数の領域を設定する領域設定手段と、
前記原画像を構成する各画素の特徴情報を取得する特徴情報取得手段と、
前記複数の領域ごとに、前記特徴情報に基づいて前記各画素に奥行き情報を生成する奥行き情報生成手段と、
前記奥行き情報に基づいて、前記各画素の位置を変更した立体視画像を生成する立体視画像生成手段と、を有することを特徴とする、
立体視画像生成システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−２２７７９８（Ｐ２０１２−２２７７９８Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９４７１１（Ｐ２０１１−９４７１１）
【出願日】平成２３年４月２１日（２０１１．４．２１）
【出願人】（５０１３３５８４１）株式会社エム・ソフト (8)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月２１日（２０１１．４．２１）
【出願人】（５０１３３５８４１）株式会社エム・ソフト (8)
【Ｆターム（参考）】
[ Back to top ]