画像処理装置及び画像処理方法
【課題】オクルージョン領域等の視差推定ができない領域の視差を適切に設定する。
【解決手段】視差を有する複数の画像を入力する画像入力手段と、前記入力された複数の画像のうちの１つの画像を基準画像とし、前記複数の画像に基づいて前記基準画像の画素毎の視差を算出する視差算出手段と、前記視差算出手段により視差が算出できない視差不明領域を抽出する抽出手段と、前記視差不明領域を表示手段に表示させる表示制御手段と、前記視差不明領域の視差に関する情報をユーザに入力させる入力手段と、前記入力された視差に関する情報に基づいて、前記視差不明領域の視差を設定する視差設定手段とを備えた画像処理装置を用いて上記課題を解決する。
【解決手段】視差を有する複数の画像を入力する画像入力手段と、前記入力された複数の画像のうちの１つの画像を基準画像とし、前記複数の画像に基づいて前記基準画像の画素毎の視差を算出する視差算出手段と、前記視差算出手段により視差が算出できない視差不明領域を抽出する抽出手段と、前記視差不明領域を表示手段に表示させる表示制御手段と、前記視差不明領域の視差に関する情報をユーザに入力させる入力手段と、前記入力された視差に関する情報に基づいて、前記視差不明領域の視差を設定する視差設定手段とを備えた画像処理装置を用いて上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に係り、特にステレオ画像の視差推定ができない領域の視差を適切に設定する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
ステレオ画像として撮影された視点の異なる２つの画像から任意の中間視点の画像を生成する技術は、レンチキュラーレンズシートが表面に貼付されている立体写真プリント、その他、各種の立体画像表示手段に適正な立体画像を表示させる上で重要である。
【０００３】
上記中間視点の画像を生成するためには、視点の異なる２つの画像のうちの一方の画像を基準にして、基準の画像の各画素毎にその画素に対応する他方の画像の画素との画素ずれ（視差）を算出し、１画面分の視差のマップ（視差マップ）を作成する必要がある。
【０００４】
視差マップを作成する場合に、視点の異なる２つの画像間には、一方の画像には存在するが、他方の画像には存在しない死角になる領域（オクルージョン領域）があり、このオクルージョン領域では視差を算出することができないという問題がある。
【０００５】
従来、この問題を解決するために特許文献１に記載の発明は、オクルージョン領域において、物体の輪郭を挟んで左右に探索ウインドウを設定し、左右の探索ウインドウ内の視差の分散を求め、分散の大きい方の探索ウインドウ側にオクルージョン領域が存在するとみなし、そのオクルージョン領域の視差を、分散の大きい方の探索ウインドウの視差内の遠くを示す視差で補正するようにしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−２７９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の発明は、オクルージョン領域は、左右の画像の同一画素での対応が異なるということを利用して、オクルージョン領域を判別して視差を仮想的に代入した上で、物体の輪郭を挟んで左右に設定した探索ウインドウ内の視差の分散から、分散の大きい方の探索ウインドウ側にオクルージョン領域が存在するとしている。しかしながら、オクルージョン領域が左右の画像の同一画素での対応が異なるとは限らず、オクルージョン領域の視差（視差が検出できないために仮想的に代入した視差）も分散の算出に使用するため、算出される分散値に信頼性がないという問題がある。
【０００８】
本発明はこのような事情に鑑みてなされたもので、オクルージョン領域等の視差推定ができない領域の視差を適切に設定することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するために請求項１に記載の画像処理装置は、視差を有する複数の画像を入力する画像入力手段と、前記入力された複数の画像のうちの１つの画像を基準画像とし、前記複数の画像に基づいて前記基準画像の画素毎の視差を算出する視差算出手段と、前記視差算出手段により視差が算出できない視差不明領域を抽出する抽出手段と、前記視差不明領域を表示手段に表示させる表示制御手段と、前記視差不明領域の視差に関する情報をユーザに入力させる入力手段と、前記入力された視差に関する情報に基づいて、前記視差不明領域の視差を設定する視差設定手段とを備えたことを特徴とする。
【００１０】
請求項１に記載の発明によれば、入力された視差を有する複数の画像の画素毎の視差を算出し、視差が算出できない視差不明領域を表示手段に表示させ、視差不明領域の視差に関する情報をユーザに入力させ、入力された視差に関する情報に基づいて前記視差不明領域の視差を設定するようにしたので、オクルージョン領域等の視差推定ができない領域の視差を適切に設定することができる。
【００１１】
請求項２に示すように請求項１に記載の画像処理装置において、前記入力手段は、ユーザに前記複数の画像内の任意の１つの領域を指定させる手段と、前記指定された領域について前記視差算出手段が算出した視差を取得する取得手段とを備え、前記視差設定手段は、前記取得手段が取得した視差を前記視差不明領域の視差に設定することを特徴とする。
【００１２】
これにより、適切に視差不明領域の視差を設定することができる。
【００１３】
請求項３に示すように請求項１に記載の画像処理装置において、前記入力手段は、ユーザに前記複数の画像内の任意の２つの領域を指定させる手段と、前記指定された２つの領域について前記視差算出手段がそれぞれ算出した２つの視差を取得する取得手段と、前記取得手段が取得した２つの視差の中間の視差を算出する中間視差算出手段とを備え、前記視差設定手段は、前記中間視差算出手段が算出した視差を前記抽出した部分の視差に設定することを特徴とする。
【００１４】
これにより、適切に視差不明領域の視差を設定することができる。
【００１５】
請求項４に示すように請求項１に記載の画像処理装置において、ユーザに前記複数の画像内の任意の１つの領域を指定させ、前記指定された領域について前記視差算出手段が算出した視差を取得する取得手段と、ユーザに前記複数の画像内の任意の２つの領域を指定させ、前記指定された２つの領域について前記視差算出手段がそれぞれ算出した２つの視差を取得し、前記取得した２つの視差の中間の視差を算出する中間視差算出手段と、前記視差設定手段が、前記第１の取得手段が取得した視差を前記視差不明領域の視差に設定するか、又は前記中間視差算出手段が算出した視差を前記視差不明領域の視差に設定するかを選択する選択手段とを備えたことを特徴とする。
【００１６】
これにより、ユーザは、好みの方法を用いて視差不明領域の視差を設定することができる。
【００１７】
請求項５に示すように請求項１から４のいずれかに記載の画像処理装置において、前記視差不明領域を複数の領域に分割する手段を備え、前記入力手段は、前記視差不明領域の視差に関する情報を前記分割した領域毎にユーザに入力させることを特徴とする。
【００１８】
これにより、視差不明領域が複数の視差にまたがっている場合であっても、適切に視差を設定することができる。
【００１９】
請求項６に示すように請求項１から５のいずれかに記載の画像処理装置において、前記表示制御手段は、前記視差不明領域を前記複数の画像のうちの少なくとも１つの画像に重ねて表示手段に表示させることを特徴とする。
【００２０】
これにより、適切に視差不明領域をユーザに認識させることができる。
【００２１】
請求項７に示すように請求項１から５のいずれかに記載の画像処理装置において、前記視差算出手段が算出した画素毎の視差に基づいて、前記基準画像を所定の範囲の距離毎に分割する手段を備え、前記表示制御手段は、前記距離を分割した際の分割線を前記基準画像に重ねて表示させることを特徴とする。
【００２２】
これにより、視差に関する情報の入力を容易にすることができる。
【００２３】
請求項８に示すように請求項１から５のいずれかに記載の画像処理装置において、前記視差算出手段が算出した画素毎の視差に基づいて前記基準画像の視差画像を生成する手段を備え、前記表示制御手段は、前記視差不明領域を前記視差画像に重ねて表示手段に表示させることを特徴とする。
【００２４】
これにより、視差に関する情報の入力を容易にすることができる。
【００２５】
請求項９に示すように請求項８に記載の画像処理装置において、前記基準画像から色の輪郭を抽出する手段を備え、前記表示制御手段は、前記色の輪郭を前記視差画像に重ねて表示手段に表示させることを特徴とする。
【００２６】
これにより、視差に関する情報の入力を容易にすることができる。
【００２７】
請求項１０に示すように請求項１から５のいずれかに記載の画像処理装置において、前記視差算出手段が算出した画素毎の視差に基づいて、前記基準画像を視差毎に分割し、複数の視差別画像を生成する手段を備え、前記表示制御手段は、前記視差別画像を視差順に表示手段に表示させ、前記入力手段は、前記視差順に表示された前記視差別画像の位置と関連して前記視差不明領域の視差に関する情報をユーザに入力させることを特徴とする。
【００２８】
これにより、視差に関する情報の入力を容易にすることができる。
【００２９】
請求項１１に示すように請求項１から５のいずれかに記載の画像処理装置において、前記入力手段は、前記表示手段に表示された視差不明領域に対する基準線を前記視差不明領域の視差に関する情報としてユーザに入力させ、前記視差設定手段は、前記基準線に基づいて視差の近似線を生成する手段と、前記視差の近似線に基づいて、前記視差不明領域の視差を設定する手段とを備えたことを特徴とする。
【００３０】
これにより、視差に関する情報の入力を容易にすることができる。
【００３１】
前記目的を達成するために請求項１２に記載の画像処理方法は、視差を有する複数の画像を入力させる画像入力工程と、前記入力された複数の画像のうちの１つの画像を基準画像とし、前記複数の画像に基づいて前記基準画像の画素毎の視差を算出する視差算出工程と、前記視差算出工程により視差が算出できない視差不明領域を抽出する抽出工程と、前記視差不明領域を表示手段に表示させる表示制御工程と、前記視差不明領域の視差に関する情報をユーザに入力させる入力工程と、前記入力された視差に関する情報に基づいて、前記視差不明領域の視差を設定する視差設定工程とを備えたことを特徴とする。
【発明の効果】
【００３２】
本発明によれば、オクルージョン領域等の視差推定ができない領域の視差を適切に設定することができる。
【図面の簡単な説明】
【００３３】
【図１】第１の実施形態の画像処理装置を示すブロック図
【図２】ステレオ画像として撮影された左画像及び右画像の一例を示す図
【図３】視差不明領域を画像上に重ねて表示した図
【図４】分割線により不明領域が分割された図
【図５】不明領域の分割を促す表示の図
【図６】分割した不明領域の距離の指示を促す表示の図
【図７】分割した不明領域と同じ距離の箇所の指示を促す表示の図
【図８】第２の実施形態の画像処理装置を示すブロック図
【図９】分割した不明領域と同じ距離の箇所の指示を促す表示の図
【図１０】第３の実施形態の画像処理装置を示すブロック図
【図１１】基準線の入力を促す表示の図
【発明を実施するための形態】
【００３４】
以下、添付図面に従って本発明に係る画像処理装置及び画像処理方法の好ましい実施の形態について説明する。
【００３５】
＜第１の実施形態＞
図１は、本発明に係る第１の実施形態の画像処理装置１０を示すブロック図である。同図に示すように、この画像処理装置１０は、例えばパーソナル・コンピュータ、ワークステーション等により構成されており、主として画像入力部１１、操作部１２、画像処理部１３、及び画像表示部１４から構成されている。
【００３６】
画像入力部１１は、ステレオ画像として撮影された左画像及び右画像が入力されるもので、例えば、立体画像用の多視点の画像が連結されたマルチ画像ファイル（ＭＰファイル）が記録された記録媒体からＭＰファイルを読み取る画像読取手段やネットワークを通じてＭＰファイルを取得する手段が対応する。
【００３７】
操作部１２は、一般的なコンピュータの入力装置、例えば、キーボード、ポインティングデバイス等により構成される。
【００３８】
画像処理部１３は、画像入力部１１が取得した画像ファイルに基づく画像データに対して画像処理を行うものであり、視差設定部２１、視差演算部２２、視差不明領域抽出部２３、及び視差不明領域分割部２４等から構成される。
【００３９】
視差設定部２１は、後述する視差不明領域に対して、操作部１２により設定された視差を設定する。視差演算部２２は、画像入力部１１から入力されたステレオ画像データに基づいて、各画素の視差を演算し、視差マップを作成する。視差不明領域抽出部２３は、視差演算部２２が視差を演算できなかった領域を抽出する。視差不明領域分割部２４は、視差不明領域抽出部２３が抽出した領域を、後述する操作部１２からの入力に基づいて分割する。
【００４０】
画像表示部１４は、画像入力部１１から入力された画像や、ユーザインターフェース画面を表示する表示部であり、例えば、液晶パネル、プラズマディスプレイパネル等で構成される。また、画像処理部１３から入力された左右画像を立体表示することが可能な３Ｄモニタであることが好ましく、例えばパララックスバリア方式やレンチキュラーレンズ方式のモニタが考えられる。なお、画像表示部１４をタッチパネル構成とし、このタッチパネルを操作部１２として用いてもよい。
【００４１】
図２は、ステレオ画像として撮影された左画像及び右画像の一例を示す図であり、図１（ａ）が左画像、図１（ｂ）が右画像を示している。この例では、図１（ａ）に示す左画像内に、右画像には存在しないオクルージョン領域１０１´が存在している。
【００４２】
図２に示す左画像及び右画像が画像入力部１１から入力されると、視差演算部２２は、本実施形態では左画像を基準にして、左画像の各画素に対する右画像の対応する画素を求める。対応する画素の探索は、例えばブロックマッチング法を用いて行う。そして、左画像上の画素の位置と、探索した対応する右画像上の画素との画素間の視差を算出し、１画面分の視差を示す視差マップを作成する。
【００４３】
視差不明領域抽出部２３は、視差演算部２２が作成した視差マップから、視差が不明の領域を抽出する。前述のように、オクルージョン領域では視差を算出することができないため、図２に示すステレオ画像の例では、視差が不明の領域はオクルージョン領域１０１´を含むことになる。
【００４４】
図３は、視差不明領域抽出部２３が抽出した視差不明領域１０１を、基準とした左画像上に明示して画像表示部１４に表示した例を示した図であり、ここでは視差不明領域１０１を破線枠で囲んで表示している。また、ユーザに不明領域１０１を視差に応じて分割させるために、「不明領域を分割してください」という表示を同時に行っている。
【００４５】
ユーザは、ポインティングデバイス等を用いて、不明領域１０１を視差（距離）に応じて分割する。図４（ａ）は、分割線１１１により不明領域１０１が分割された様子を示す図であり、図４（ｂ）は、不明領域１０１の拡大図である。同図に示すように、不明領域１０１が、分割線１１１により不明領域１０１ａ及び１０１ｂに分割されている。この分割線１１１は、画像内の被写体上では、地面の領域と噴水の領域との境に相当する部分に引かれている。なお、ここでは分割線１１１は直線であるが、任意の曲線の分割線で不明領域を分割可能に構成することが好ましい。
【００４６】
不明領域１０１を分割する際には、表示される画像内に距離の情報があることが望ましい。図５（ａ）は、距離を複数の範囲に分割し、分割した距離の境界線１０２を画像上に重ねて画像表示部１４に表示した例を示している。ユーザは、この距離の境界線１０２を確認することで、不明領域１０１を距離に応じて適切に分割することができる。
【００４７】
また、ユーザに不明領域１０１を分割させる際に、画像表示部１４に、視差画像（視差マップ）、あるいは距離画像を表示することも考えられる。図５（ｂ）は、距離画像上に不明領域１０１を重ねて画像表示部１４に表示した例を示しており、ここでは、距離が近い部分ほど色が濃く表示された距離画像を用いている。ユーザは、この距離画像を確認することで、不明領域１０１を距離に応じて適切に分割することができる。
【００４８】
ここで、図５（ｂ）に示す距離画像は、基の画像の絵の情報（色情報）が失われており、ユーザにとってわかりにくい場合があるので、図５（ｃ）に示すように、距離画像の上から基の画像の色の輪郭線１０４を重ねて表示させ、ユーザへの視認性を上げてもよい。
【００４９】
さらに、ユーザが不明領域１０１の分割を行いやすいように、不明領域１０１を拡大表示させてもよい。また、ユーザが、これらの表示の中から所望の表示を選択可能に構成してもよい。
【００５０】
なお、不明領域の分割は、ユーザに行わせるのではなく、視差不明領域分割部２４が基画像の色情報に基づいて色の輪郭に沿って自動的に分割を行い、この分割に基づく分割線１１１を表示してもよい。この場合、分割線１１１をユーザが修正可能に構成することが好ましい。
【００５１】
次に、分割した各不明領域１０１ａ、１０１ｂについて、視差を設定する。ここでは、各不明領域１０１ａ、１０１ｂと同じ距離の領域をユーザに指定させ、指定された領域の視差をそれぞれの不明領域の視差として割り当てる。
【００５２】
図６（ａ）は、不明領域１０１ａ及び１０１ｂを、基準とした左画像上に明示して画像表示部１４に表示した例を示した図であり、ここでは視差不明領域１０１を破線枠で囲んで表示するとともに、分割線１１１を表示している。また、ユーザに不明領域１０１ａ、１０１ｂと同じ距離の領域を指示させるために、「各領域と同じ距離の箇所を指示してください」という表示を同時に行っている。
【００５３】
ユーザは、ポインティングデバイス等を用いて、それぞれの不明領域と同じ距離の箇所を指示する。視差設定部２１は、指示された箇所の視差を視差マップから読み出し、読み出した視差を不明領域の視差に設定する。
【００５４】
例えば、ポインティングデバイスにより不明領域１０１ａ上にカーソルを合わせてクリックした後、不明領域１０１ａと同じ距離である領域１２１上にカーソルを合わせてクリックすることで、領域１２１の視差が、不明領域１０１ａの視差として設定される。
【００５５】
視差が設定された後は、視差の不明な領域ではなくなるので、不明領域としての表示をやめてもよい。例えば、不明領域１０１ａの視差が設定された後は、不明領域１０１ｂだけを破線枠で囲んで表示することが考えられる。
【００５６】
また、ユーザに各不明領域１０１ａ、１０１ｂと同じ距離を指示させる際には、表示される画像内に距離の情報があることが望ましい。図７（ａ）は、距離を複数の範囲に分割し、分割した距離の境界線１０２を画像上に重ねて画像表示部１４に表示した例を示している。ユーザは、この距離の境界線１０２を確認することで、各不明領域１０１ａ、１０１ｂと同じ距離の領域を、適切に指示することができる。
【００５７】
また、画像表示部１４に、視差画像（視差マップ）、あるいは距離画像を表示することも考えられる。図７（ｂ）は、距離画像上に各不明領域１０１ａ、１０１ｂを重ねて画像表示部１４に表示した例を示している。ユーザは、この距離画像を確認することで、各不明領域１０１ａ、１０１ｂと同じ距離の領域を、適切に指示することができる。
【００５８】
この場合、視差が設定された後は、設定後の視差に応じた色の濃さで表示を行うことが好ましい。ユーザは、この距離画像を用いて、設定された視差が正しいか否かを確認することができる。また、画像の色情報等に基づいて不明領域の視差を予め予測し、予測した初期値としての視差に応じた色の濃さで表示を行なってもよい。ユーザがこの初期値の視差が正しいことを確認できれば、視差設定の操作が不要になるという利点がある。
【００５９】
さらに、図７（ｂ）に示す距離画像は、基の画像の絵の情報（色情報）が失われており、ユーザにとってわかりにくい場合があるので、図７（ｃ）に示すように、距離画像の上から基の画像の色の輪郭線１０４を重ねて表示させ、ユーザへの視認性を上げてもよい。
【００６０】
その他の不明領域の視差の設定方法として、画像上の２つの領域を指定し、指定された２つの領域の中間の距離の視差を割り当ててもよい。
【００６１】
図６（ｂ）は、図６（ａ）と同様の画像を表示するとともに、ユーザに不明領域１０１ａ、１０１ｂの距離を指示させるために、「各領域の距離を指示してください」という表示を同時に行っている例を示す図である。
【００６２】
ユーザは、ポインティングデバイス等を用いて、不明領域の前後に同じだけ距離が離れる２つの箇所を指示する。視差設定部２１は、指示された２つの箇所の視差を視差マップから読み出し、その平均の視差を不明領域の視差に設定する。
【００６３】
例えば、ポインティングデバイスにより不明領域１０１ｂ上にカーソルを合わせてクリックした後、不明領域１０１ｂより所定の距離だけ手前側の領域１２２ａ上にカーソルを合わせてクリックし、さらに不明領域１０１ｂより所定の距離だけ奥側の領域１２２ｂ上にカーソルを合わせてクリックすることで、領域１２２ａ及び領域１２２ｂの視差の中間の視差が、不明領域１０１ａの視差として設定される。
【００６４】
この距離の指定方法は、同一の距離の被写体が画像上に存在しない場合に、特に有効である。
【００６５】
なお、図６（ｃ）に示すように、図６（ａ）に示す距離の指定方法（同一点指示）と、図６（ｂ）に示す距離の指定方法（２点指示）を、ユーザが選択可能に構成してもよい。このように構成することで、ユーザは、不明領域の距離を適切に指示することが可能となる。
【００６６】
以上のように、入力されたステレオ画像から視差マップを作成し、視差が演算できない領域については、基準画像上に明示し、その領域についてユーザに視差毎の分割、及び距離の設定を行わせることで、オクルージョン領域等の視差演算が行えない領域の視差を適切に設定することができる。
【００６７】
＜第２の実施形態＞
図８は、第２の実施形態の画像処理装置１０を示すブロック図である。なお、図１に示す第１の実施形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。第１の実施形態とは、視差別画像作成部２５を備えたところが異なっている。
【００６８】
視差別画像作成部２５は、視差演算部２２が作成した視差マップに基づいて、基準画像を所定の範囲の視差毎に分割し、複数の視差別画像を作成する。
【００６９】
図９は、第２の実施形態における、ユーザに不明領域１０１ａ、１０１ｂと同じ距離の領域を指示させるための画像表示部１４の表示を示す図である。同図に示すように、不明領域１０１ａ、１０１ｂを、基準とした左画像上に明示して表示すると共に、ユーザに不明領域１０１ａ、１０１ｂの距離を設定させるための、「各領域と同じ距離の箇所を指示してください」という表示を同時に行っている。
【００７０】
さらに、画像表示部１４には、視差別画像作成部２５が作成した各視差別画像１３１〜１３３が距離に応じて（距離が近いものほど左側に）配置され、その下にスクロールバー１４２ａ、１４２ｂを有するスクロールエリア１４１が表示されている。
【００７１】
スクロールバー１４２ａ、１４２ｂは、それぞれ不明領域１０１ａ、１０１ｂの距離を表しており、またスクロールバー１４２ａ、１４２ｂの位置は、その上部に配置された各視差別画像１３１〜１３３の距離と対応している。このスクロールバー１４２ａ、１４２ｂは、ポインティングデバイス等の操作により移動可能に構成されている。
【００７２】
ユーザは、例えば不明領域１０１ａが視差別画像１３３と同様の距離であるとして、ポインティングデバイスを操作してスクロールバー１４２ａを視差別画像１３３の下部へ移動させる。同様に、不明領域１０１ｂが視差別画像１３２と同様の距離であるであるとして、スクロールバー１４２ｂを視差別画像１３２の下部へ移動させる。
【００７３】
スクロールバー１４２ａ、１４２ｂの位置を確定すると、視差設定部２１は、スクロールバー１４２ａ、１４２ｂの位置に応じた視差を、各不明領域１０１ａ及び１０１ｂの視差として設定する。
【００７４】
なお、スクロールバー１４２ａ、１４２ｂが最初に配置される位置は、どの位置でも構わないが、画像の色情報等に基づいて不明領域の距離を予め予測し、予測した距離の位置に配置することが好ましい。
【００７５】
このように構成することで、ユーザは、各不明領域と同じ距離の箇所を簡単に指示することができる。
【００７６】
＜第３の実施形態＞
図１０は、第３の実施形態の画像処理装置１０を示すブロック図である。なお、図１に示す第１の実施形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。第１の実施形態とは、視差近似線作成部２６を備えたところが異なっている。
【００７７】
視差近似線作成部２６は、ユーザが操作部１２により入力した基準線に基づいて、視差の近似線を作成する。視差の近似線とは、画像上の連続する位置とその各位置の視差を近似した線を指す。視差設定部２１は、視差近似線作成部２６が作成した視差の近似線に基づいて、不明領域の視差を設定する。
【００７８】
図１１（ａ）は、不明領域１０１ａ、１０１ｂを、基準とした左画像上に破線枠及び分割線を用いて画像表示部１４に表示した例を示した図であり、ユーザに不明領域１０１ａ、１０１ｂの視差を推定するための基準線を入力させるために、「各領域について、補正を行う基準線を指示してください」という表示を同時に行っている。
【００７９】
ユーザは、例えばポインティングデバイスにより不明領域１０１ｂ上にカーソルを合わせてクリックした後、基準線をドラッグ入力することにより、不明領域１０１ｂの視差を設定するための基準線を入力することができる。図１１（ａ）の例では、不明領域１０１ｂの視差を設定するための基準線１５１が、不明領域１０１ｂの下部に引かれている。
【００８０】
図１１（ｂ）は、視差近似線作成部２６の処理を説明するための図である。
【００８１】
視差近似線作成部２６は、入力された基準線１５１上の任意の点１５２の画素から不明領域の直前の画素まで、視差マップにより基準線１５１から垂直方向（矢印１５３）に各画素の視差情報を取得し、この視差情報から視差の近似線を作成する。この視差の近似線を不明領域１０１ｂ内に延長（矢印１５４）して、延長して得られた視差を不明領域１０１ｂにおける視差として設定する。この処理を基準線１５１の方向に走査して行い、不明領域１０１ｂ内のすべての画素について視差を設定する。
【００８２】
なお、図１１の例では基準線１５１は水平方向に引かれているが、任意の向きに入力することが可能である。
【００８３】
このように、ユーザは、基準線を入力するだけで、各不明領域の視差を設定することができる。また、近似線により画素単位で精度の高い視差を設定することができる。
【符号の説明】
【００８４】
１０…画像処理装置、１１…画像入力部、１２…操作部、１３…画像処理部、１４…画像表示部、２１…視差設定部、２２…視差演算部、２３…視差不明領域抽出部、２４…視差不明領域分割部、２５…視差別画像作成部、１０１、１０１ａ、１０１ｂ…不明領域、１０１´…オクルージョン領域、１０２…境界線、１１１…分割線、１３１〜１３３…被写体、１４１…スクロールエリア、１４２ａ、１４２ｂ…スクロールバー、１５１…基準線
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に係り、特にステレオ画像の視差推定ができない領域の視差を適切に設定する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
ステレオ画像として撮影された視点の異なる２つの画像から任意の中間視点の画像を生成する技術は、レンチキュラーレンズシートが表面に貼付されている立体写真プリント、その他、各種の立体画像表示手段に適正な立体画像を表示させる上で重要である。
【０００３】
上記中間視点の画像を生成するためには、視点の異なる２つの画像のうちの一方の画像を基準にして、基準の画像の各画素毎にその画素に対応する他方の画像の画素との画素ずれ（視差）を算出し、１画面分の視差のマップ（視差マップ）を作成する必要がある。
【０００４】
視差マップを作成する場合に、視点の異なる２つの画像間には、一方の画像には存在するが、他方の画像には存在しない死角になる領域（オクルージョン領域）があり、このオクルージョン領域では視差を算出することができないという問題がある。
【０００５】
従来、この問題を解決するために特許文献１に記載の発明は、オクルージョン領域において、物体の輪郭を挟んで左右に探索ウインドウを設定し、左右の探索ウインドウ内の視差の分散を求め、分散の大きい方の探索ウインドウ側にオクルージョン領域が存在するとみなし、そのオクルージョン領域の視差を、分散の大きい方の探索ウインドウの視差内の遠くを示す視差で補正するようにしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−２７９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の発明は、オクルージョン領域は、左右の画像の同一画素での対応が異なるということを利用して、オクルージョン領域を判別して視差を仮想的に代入した上で、物体の輪郭を挟んで左右に設定した探索ウインドウ内の視差の分散から、分散の大きい方の探索ウインドウ側にオクルージョン領域が存在するとしている。しかしながら、オクルージョン領域が左右の画像の同一画素での対応が異なるとは限らず、オクルージョン領域の視差（視差が検出できないために仮想的に代入した視差）も分散の算出に使用するため、算出される分散値に信頼性がないという問題がある。
【０００８】
本発明はこのような事情に鑑みてなされたもので、オクルージョン領域等の視差推定ができない領域の視差を適切に設定することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するために請求項１に記載の画像処理装置は、視差を有する複数の画像を入力する画像入力手段と、前記入力された複数の画像のうちの１つの画像を基準画像とし、前記複数の画像に基づいて前記基準画像の画素毎の視差を算出する視差算出手段と、前記視差算出手段により視差が算出できない視差不明領域を抽出する抽出手段と、前記視差不明領域を表示手段に表示させる表示制御手段と、前記視差不明領域の視差に関する情報をユーザに入力させる入力手段と、前記入力された視差に関する情報に基づいて、前記視差不明領域の視差を設定する視差設定手段とを備えたことを特徴とする。
【００１０】
請求項１に記載の発明によれば、入力された視差を有する複数の画像の画素毎の視差を算出し、視差が算出できない視差不明領域を表示手段に表示させ、視差不明領域の視差に関する情報をユーザに入力させ、入力された視差に関する情報に基づいて前記視差不明領域の視差を設定するようにしたので、オクルージョン領域等の視差推定ができない領域の視差を適切に設定することができる。
【００１１】
請求項２に示すように請求項１に記載の画像処理装置において、前記入力手段は、ユーザに前記複数の画像内の任意の１つの領域を指定させる手段と、前記指定された領域について前記視差算出手段が算出した視差を取得する取得手段とを備え、前記視差設定手段は、前記取得手段が取得した視差を前記視差不明領域の視差に設定することを特徴とする。
【００１２】
これにより、適切に視差不明領域の視差を設定することができる。
【００１３】
請求項３に示すように請求項１に記載の画像処理装置において、前記入力手段は、ユーザに前記複数の画像内の任意の２つの領域を指定させる手段と、前記指定された２つの領域について前記視差算出手段がそれぞれ算出した２つの視差を取得する取得手段と、前記取得手段が取得した２つの視差の中間の視差を算出する中間視差算出手段とを備え、前記視差設定手段は、前記中間視差算出手段が算出した視差を前記抽出した部分の視差に設定することを特徴とする。
【００１４】
これにより、適切に視差不明領域の視差を設定することができる。
【００１５】
請求項４に示すように請求項１に記載の画像処理装置において、ユーザに前記複数の画像内の任意の１つの領域を指定させ、前記指定された領域について前記視差算出手段が算出した視差を取得する取得手段と、ユーザに前記複数の画像内の任意の２つの領域を指定させ、前記指定された２つの領域について前記視差算出手段がそれぞれ算出した２つの視差を取得し、前記取得した２つの視差の中間の視差を算出する中間視差算出手段と、前記視差設定手段が、前記第１の取得手段が取得した視差を前記視差不明領域の視差に設定するか、又は前記中間視差算出手段が算出した視差を前記視差不明領域の視差に設定するかを選択する選択手段とを備えたことを特徴とする。
【００１６】
これにより、ユーザは、好みの方法を用いて視差不明領域の視差を設定することができる。
【００１７】
請求項５に示すように請求項１から４のいずれかに記載の画像処理装置において、前記視差不明領域を複数の領域に分割する手段を備え、前記入力手段は、前記視差不明領域の視差に関する情報を前記分割した領域毎にユーザに入力させることを特徴とする。
【００１８】
これにより、視差不明領域が複数の視差にまたがっている場合であっても、適切に視差を設定することができる。
【００１９】
請求項６に示すように請求項１から５のいずれかに記載の画像処理装置において、前記表示制御手段は、前記視差不明領域を前記複数の画像のうちの少なくとも１つの画像に重ねて表示手段に表示させることを特徴とする。
【００２０】
これにより、適切に視差不明領域をユーザに認識させることができる。
【００２１】
請求項７に示すように請求項１から５のいずれかに記載の画像処理装置において、前記視差算出手段が算出した画素毎の視差に基づいて、前記基準画像を所定の範囲の距離毎に分割する手段を備え、前記表示制御手段は、前記距離を分割した際の分割線を前記基準画像に重ねて表示させることを特徴とする。
【００２２】
これにより、視差に関する情報の入力を容易にすることができる。
【００２３】
請求項８に示すように請求項１から５のいずれかに記載の画像処理装置において、前記視差算出手段が算出した画素毎の視差に基づいて前記基準画像の視差画像を生成する手段を備え、前記表示制御手段は、前記視差不明領域を前記視差画像に重ねて表示手段に表示させることを特徴とする。
【００２４】
これにより、視差に関する情報の入力を容易にすることができる。
【００２５】
請求項９に示すように請求項８に記載の画像処理装置において、前記基準画像から色の輪郭を抽出する手段を備え、前記表示制御手段は、前記色の輪郭を前記視差画像に重ねて表示手段に表示させることを特徴とする。
【００２６】
これにより、視差に関する情報の入力を容易にすることができる。
【００２７】
請求項１０に示すように請求項１から５のいずれかに記載の画像処理装置において、前記視差算出手段が算出した画素毎の視差に基づいて、前記基準画像を視差毎に分割し、複数の視差別画像を生成する手段を備え、前記表示制御手段は、前記視差別画像を視差順に表示手段に表示させ、前記入力手段は、前記視差順に表示された前記視差別画像の位置と関連して前記視差不明領域の視差に関する情報をユーザに入力させることを特徴とする。
【００２８】
これにより、視差に関する情報の入力を容易にすることができる。
【００２９】
請求項１１に示すように請求項１から５のいずれかに記載の画像処理装置において、前記入力手段は、前記表示手段に表示された視差不明領域に対する基準線を前記視差不明領域の視差に関する情報としてユーザに入力させ、前記視差設定手段は、前記基準線に基づいて視差の近似線を生成する手段と、前記視差の近似線に基づいて、前記視差不明領域の視差を設定する手段とを備えたことを特徴とする。
【００３０】
これにより、視差に関する情報の入力を容易にすることができる。
【００３１】
前記目的を達成するために請求項１２に記載の画像処理方法は、視差を有する複数の画像を入力させる画像入力工程と、前記入力された複数の画像のうちの１つの画像を基準画像とし、前記複数の画像に基づいて前記基準画像の画素毎の視差を算出する視差算出工程と、前記視差算出工程により視差が算出できない視差不明領域を抽出する抽出工程と、前記視差不明領域を表示手段に表示させる表示制御工程と、前記視差不明領域の視差に関する情報をユーザに入力させる入力工程と、前記入力された視差に関する情報に基づいて、前記視差不明領域の視差を設定する視差設定工程とを備えたことを特徴とする。
【発明の効果】
【００３２】
本発明によれば、オクルージョン領域等の視差推定ができない領域の視差を適切に設定することができる。
【図面の簡単な説明】
【００３３】
【図１】第１の実施形態の画像処理装置を示すブロック図
【図２】ステレオ画像として撮影された左画像及び右画像の一例を示す図
【図３】視差不明領域を画像上に重ねて表示した図
【図４】分割線により不明領域が分割された図
【図５】不明領域の分割を促す表示の図
【図６】分割した不明領域の距離の指示を促す表示の図
【図７】分割した不明領域と同じ距離の箇所の指示を促す表示の図
【図８】第２の実施形態の画像処理装置を示すブロック図
【図９】分割した不明領域と同じ距離の箇所の指示を促す表示の図
【図１０】第３の実施形態の画像処理装置を示すブロック図
【図１１】基準線の入力を促す表示の図
【発明を実施するための形態】
【００３４】
以下、添付図面に従って本発明に係る画像処理装置及び画像処理方法の好ましい実施の形態について説明する。
【００３５】
＜第１の実施形態＞
図１は、本発明に係る第１の実施形態の画像処理装置１０を示すブロック図である。同図に示すように、この画像処理装置１０は、例えばパーソナル・コンピュータ、ワークステーション等により構成されており、主として画像入力部１１、操作部１２、画像処理部１３、及び画像表示部１４から構成されている。
【００３６】
画像入力部１１は、ステレオ画像として撮影された左画像及び右画像が入力されるもので、例えば、立体画像用の多視点の画像が連結されたマルチ画像ファイル（ＭＰファイル）が記録された記録媒体からＭＰファイルを読み取る画像読取手段やネットワークを通じてＭＰファイルを取得する手段が対応する。
【００３７】
操作部１２は、一般的なコンピュータの入力装置、例えば、キーボード、ポインティングデバイス等により構成される。
【００３８】
画像処理部１３は、画像入力部１１が取得した画像ファイルに基づく画像データに対して画像処理を行うものであり、視差設定部２１、視差演算部２２、視差不明領域抽出部２３、及び視差不明領域分割部２４等から構成される。
【００３９】
視差設定部２１は、後述する視差不明領域に対して、操作部１２により設定された視差を設定する。視差演算部２２は、画像入力部１１から入力されたステレオ画像データに基づいて、各画素の視差を演算し、視差マップを作成する。視差不明領域抽出部２３は、視差演算部２２が視差を演算できなかった領域を抽出する。視差不明領域分割部２４は、視差不明領域抽出部２３が抽出した領域を、後述する操作部１２からの入力に基づいて分割する。
【００４０】
画像表示部１４は、画像入力部１１から入力された画像や、ユーザインターフェース画面を表示する表示部であり、例えば、液晶パネル、プラズマディスプレイパネル等で構成される。また、画像処理部１３から入力された左右画像を立体表示することが可能な３Ｄモニタであることが好ましく、例えばパララックスバリア方式やレンチキュラーレンズ方式のモニタが考えられる。なお、画像表示部１４をタッチパネル構成とし、このタッチパネルを操作部１２として用いてもよい。
【００４１】
図２は、ステレオ画像として撮影された左画像及び右画像の一例を示す図であり、図１（ａ）が左画像、図１（ｂ）が右画像を示している。この例では、図１（ａ）に示す左画像内に、右画像には存在しないオクルージョン領域１０１´が存在している。
【００４２】
図２に示す左画像及び右画像が画像入力部１１から入力されると、視差演算部２２は、本実施形態では左画像を基準にして、左画像の各画素に対する右画像の対応する画素を求める。対応する画素の探索は、例えばブロックマッチング法を用いて行う。そして、左画像上の画素の位置と、探索した対応する右画像上の画素との画素間の視差を算出し、１画面分の視差を示す視差マップを作成する。
【００４３】
視差不明領域抽出部２３は、視差演算部２２が作成した視差マップから、視差が不明の領域を抽出する。前述のように、オクルージョン領域では視差を算出することができないため、図２に示すステレオ画像の例では、視差が不明の領域はオクルージョン領域１０１´を含むことになる。
【００４４】
図３は、視差不明領域抽出部２３が抽出した視差不明領域１０１を、基準とした左画像上に明示して画像表示部１４に表示した例を示した図であり、ここでは視差不明領域１０１を破線枠で囲んで表示している。また、ユーザに不明領域１０１を視差に応じて分割させるために、「不明領域を分割してください」という表示を同時に行っている。
【００４５】
ユーザは、ポインティングデバイス等を用いて、不明領域１０１を視差（距離）に応じて分割する。図４（ａ）は、分割線１１１により不明領域１０１が分割された様子を示す図であり、図４（ｂ）は、不明領域１０１の拡大図である。同図に示すように、不明領域１０１が、分割線１１１により不明領域１０１ａ及び１０１ｂに分割されている。この分割線１１１は、画像内の被写体上では、地面の領域と噴水の領域との境に相当する部分に引かれている。なお、ここでは分割線１１１は直線であるが、任意の曲線の分割線で不明領域を分割可能に構成することが好ましい。
【００４６】
不明領域１０１を分割する際には、表示される画像内に距離の情報があることが望ましい。図５（ａ）は、距離を複数の範囲に分割し、分割した距離の境界線１０２を画像上に重ねて画像表示部１４に表示した例を示している。ユーザは、この距離の境界線１０２を確認することで、不明領域１０１を距離に応じて適切に分割することができる。
【００４７】
また、ユーザに不明領域１０１を分割させる際に、画像表示部１４に、視差画像（視差マップ）、あるいは距離画像を表示することも考えられる。図５（ｂ）は、距離画像上に不明領域１０１を重ねて画像表示部１４に表示した例を示しており、ここでは、距離が近い部分ほど色が濃く表示された距離画像を用いている。ユーザは、この距離画像を確認することで、不明領域１０１を距離に応じて適切に分割することができる。
【００４８】
ここで、図５（ｂ）に示す距離画像は、基の画像の絵の情報（色情報）が失われており、ユーザにとってわかりにくい場合があるので、図５（ｃ）に示すように、距離画像の上から基の画像の色の輪郭線１０４を重ねて表示させ、ユーザへの視認性を上げてもよい。
【００４９】
さらに、ユーザが不明領域１０１の分割を行いやすいように、不明領域１０１を拡大表示させてもよい。また、ユーザが、これらの表示の中から所望の表示を選択可能に構成してもよい。
【００５０】
なお、不明領域の分割は、ユーザに行わせるのではなく、視差不明領域分割部２４が基画像の色情報に基づいて色の輪郭に沿って自動的に分割を行い、この分割に基づく分割線１１１を表示してもよい。この場合、分割線１１１をユーザが修正可能に構成することが好ましい。
【００５１】
次に、分割した各不明領域１０１ａ、１０１ｂについて、視差を設定する。ここでは、各不明領域１０１ａ、１０１ｂと同じ距離の領域をユーザに指定させ、指定された領域の視差をそれぞれの不明領域の視差として割り当てる。
【００５２】
図６（ａ）は、不明領域１０１ａ及び１０１ｂを、基準とした左画像上に明示して画像表示部１４に表示した例を示した図であり、ここでは視差不明領域１０１を破線枠で囲んで表示するとともに、分割線１１１を表示している。また、ユーザに不明領域１０１ａ、１０１ｂと同じ距離の領域を指示させるために、「各領域と同じ距離の箇所を指示してください」という表示を同時に行っている。
【００５３】
ユーザは、ポインティングデバイス等を用いて、それぞれの不明領域と同じ距離の箇所を指示する。視差設定部２１は、指示された箇所の視差を視差マップから読み出し、読み出した視差を不明領域の視差に設定する。
【００５４】
例えば、ポインティングデバイスにより不明領域１０１ａ上にカーソルを合わせてクリックした後、不明領域１０１ａと同じ距離である領域１２１上にカーソルを合わせてクリックすることで、領域１２１の視差が、不明領域１０１ａの視差として設定される。
【００５５】
視差が設定された後は、視差の不明な領域ではなくなるので、不明領域としての表示をやめてもよい。例えば、不明領域１０１ａの視差が設定された後は、不明領域１０１ｂだけを破線枠で囲んで表示することが考えられる。
【００５６】
また、ユーザに各不明領域１０１ａ、１０１ｂと同じ距離を指示させる際には、表示される画像内に距離の情報があることが望ましい。図７（ａ）は、距離を複数の範囲に分割し、分割した距離の境界線１０２を画像上に重ねて画像表示部１４に表示した例を示している。ユーザは、この距離の境界線１０２を確認することで、各不明領域１０１ａ、１０１ｂと同じ距離の領域を、適切に指示することができる。
【００５７】
また、画像表示部１４に、視差画像（視差マップ）、あるいは距離画像を表示することも考えられる。図７（ｂ）は、距離画像上に各不明領域１０１ａ、１０１ｂを重ねて画像表示部１４に表示した例を示している。ユーザは、この距離画像を確認することで、各不明領域１０１ａ、１０１ｂと同じ距離の領域を、適切に指示することができる。
【００５８】
この場合、視差が設定された後は、設定後の視差に応じた色の濃さで表示を行うことが好ましい。ユーザは、この距離画像を用いて、設定された視差が正しいか否かを確認することができる。また、画像の色情報等に基づいて不明領域の視差を予め予測し、予測した初期値としての視差に応じた色の濃さで表示を行なってもよい。ユーザがこの初期値の視差が正しいことを確認できれば、視差設定の操作が不要になるという利点がある。
【００５９】
さらに、図７（ｂ）に示す距離画像は、基の画像の絵の情報（色情報）が失われており、ユーザにとってわかりにくい場合があるので、図７（ｃ）に示すように、距離画像の上から基の画像の色の輪郭線１０４を重ねて表示させ、ユーザへの視認性を上げてもよい。
【００６０】
その他の不明領域の視差の設定方法として、画像上の２つの領域を指定し、指定された２つの領域の中間の距離の視差を割り当ててもよい。
【００６１】
図６（ｂ）は、図６（ａ）と同様の画像を表示するとともに、ユーザに不明領域１０１ａ、１０１ｂの距離を指示させるために、「各領域の距離を指示してください」という表示を同時に行っている例を示す図である。
【００６２】
ユーザは、ポインティングデバイス等を用いて、不明領域の前後に同じだけ距離が離れる２つの箇所を指示する。視差設定部２１は、指示された２つの箇所の視差を視差マップから読み出し、その平均の視差を不明領域の視差に設定する。
【００６３】
例えば、ポインティングデバイスにより不明領域１０１ｂ上にカーソルを合わせてクリックした後、不明領域１０１ｂより所定の距離だけ手前側の領域１２２ａ上にカーソルを合わせてクリックし、さらに不明領域１０１ｂより所定の距離だけ奥側の領域１２２ｂ上にカーソルを合わせてクリックすることで、領域１２２ａ及び領域１２２ｂの視差の中間の視差が、不明領域１０１ａの視差として設定される。
【００６４】
この距離の指定方法は、同一の距離の被写体が画像上に存在しない場合に、特に有効である。
【００６５】
なお、図６（ｃ）に示すように、図６（ａ）に示す距離の指定方法（同一点指示）と、図６（ｂ）に示す距離の指定方法（２点指示）を、ユーザが選択可能に構成してもよい。このように構成することで、ユーザは、不明領域の距離を適切に指示することが可能となる。
【００６６】
以上のように、入力されたステレオ画像から視差マップを作成し、視差が演算できない領域については、基準画像上に明示し、その領域についてユーザに視差毎の分割、及び距離の設定を行わせることで、オクルージョン領域等の視差演算が行えない領域の視差を適切に設定することができる。
【００６７】
＜第２の実施形態＞
図８は、第２の実施形態の画像処理装置１０を示すブロック図である。なお、図１に示す第１の実施形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。第１の実施形態とは、視差別画像作成部２５を備えたところが異なっている。
【００６８】
視差別画像作成部２５は、視差演算部２２が作成した視差マップに基づいて、基準画像を所定の範囲の視差毎に分割し、複数の視差別画像を作成する。
【００６９】
図９は、第２の実施形態における、ユーザに不明領域１０１ａ、１０１ｂと同じ距離の領域を指示させるための画像表示部１４の表示を示す図である。同図に示すように、不明領域１０１ａ、１０１ｂを、基準とした左画像上に明示して表示すると共に、ユーザに不明領域１０１ａ、１０１ｂの距離を設定させるための、「各領域と同じ距離の箇所を指示してください」という表示を同時に行っている。
【００７０】
さらに、画像表示部１４には、視差別画像作成部２５が作成した各視差別画像１３１〜１３３が距離に応じて（距離が近いものほど左側に）配置され、その下にスクロールバー１４２ａ、１４２ｂを有するスクロールエリア１４１が表示されている。
【００７１】
スクロールバー１４２ａ、１４２ｂは、それぞれ不明領域１０１ａ、１０１ｂの距離を表しており、またスクロールバー１４２ａ、１４２ｂの位置は、その上部に配置された各視差別画像１３１〜１３３の距離と対応している。このスクロールバー１４２ａ、１４２ｂは、ポインティングデバイス等の操作により移動可能に構成されている。
【００７２】
ユーザは、例えば不明領域１０１ａが視差別画像１３３と同様の距離であるとして、ポインティングデバイスを操作してスクロールバー１４２ａを視差別画像１３３の下部へ移動させる。同様に、不明領域１０１ｂが視差別画像１３２と同様の距離であるであるとして、スクロールバー１４２ｂを視差別画像１３２の下部へ移動させる。
【００７３】
スクロールバー１４２ａ、１４２ｂの位置を確定すると、視差設定部２１は、スクロールバー１４２ａ、１４２ｂの位置に応じた視差を、各不明領域１０１ａ及び１０１ｂの視差として設定する。
【００７４】
なお、スクロールバー１４２ａ、１４２ｂが最初に配置される位置は、どの位置でも構わないが、画像の色情報等に基づいて不明領域の距離を予め予測し、予測した距離の位置に配置することが好ましい。
【００７５】
このように構成することで、ユーザは、各不明領域と同じ距離の箇所を簡単に指示することができる。
【００７６】
＜第３の実施形態＞
図１０は、第３の実施形態の画像処理装置１０を示すブロック図である。なお、図１に示す第１の実施形態のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。第１の実施形態とは、視差近似線作成部２６を備えたところが異なっている。
【００７７】
視差近似線作成部２６は、ユーザが操作部１２により入力した基準線に基づいて、視差の近似線を作成する。視差の近似線とは、画像上の連続する位置とその各位置の視差を近似した線を指す。視差設定部２１は、視差近似線作成部２６が作成した視差の近似線に基づいて、不明領域の視差を設定する。
【００７８】
図１１（ａ）は、不明領域１０１ａ、１０１ｂを、基準とした左画像上に破線枠及び分割線を用いて画像表示部１４に表示した例を示した図であり、ユーザに不明領域１０１ａ、１０１ｂの視差を推定するための基準線を入力させるために、「各領域について、補正を行う基準線を指示してください」という表示を同時に行っている。
【００７９】
ユーザは、例えばポインティングデバイスにより不明領域１０１ｂ上にカーソルを合わせてクリックした後、基準線をドラッグ入力することにより、不明領域１０１ｂの視差を設定するための基準線を入力することができる。図１１（ａ）の例では、不明領域１０１ｂの視差を設定するための基準線１５１が、不明領域１０１ｂの下部に引かれている。
【００８０】
図１１（ｂ）は、視差近似線作成部２６の処理を説明するための図である。
【００８１】
視差近似線作成部２６は、入力された基準線１５１上の任意の点１５２の画素から不明領域の直前の画素まで、視差マップにより基準線１５１から垂直方向（矢印１５３）に各画素の視差情報を取得し、この視差情報から視差の近似線を作成する。この視差の近似線を不明領域１０１ｂ内に延長（矢印１５４）して、延長して得られた視差を不明領域１０１ｂにおける視差として設定する。この処理を基準線１５１の方向に走査して行い、不明領域１０１ｂ内のすべての画素について視差を設定する。
【００８２】
なお、図１１の例では基準線１５１は水平方向に引かれているが、任意の向きに入力することが可能である。
【００８３】
このように、ユーザは、基準線を入力するだけで、各不明領域の視差を設定することができる。また、近似線により画素単位で精度の高い視差を設定することができる。
【符号の説明】
【００８４】
１０…画像処理装置、１１…画像入力部、１２…操作部、１３…画像処理部、１４…画像表示部、２１…視差設定部、２２…視差演算部、２３…視差不明領域抽出部、２４…視差不明領域分割部、２５…視差別画像作成部、１０１、１０１ａ、１０１ｂ…不明領域、１０１´…オクルージョン領域、１０２…境界線、１１１…分割線、１３１〜１３３…被写体、１４１…スクロールエリア、１４２ａ、１４２ｂ…スクロールバー、１５１…基準線
【特許請求の範囲】
【請求項１】
視差を有する複数の画像を入力する画像入力手段と、
前記入力された複数の画像のうちの１つの画像を基準画像とし、前記複数の画像に基づいて前記基準画像の画素毎の視差を算出する視差算出手段と、
前記視差算出手段により視差が算出できない視差不明領域を抽出する抽出手段と、
前記視差不明領域を表示手段に表示させる表示制御手段と、
前記視差不明領域の視差に関する情報をユーザに入力させる入力手段と、
前記入力された視差に関する情報に基づいて、前記視差不明領域の視差を設定する視差設定手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記入力手段は、
ユーザに前記複数の画像内の任意の１つの領域を指定させる手段と、
前記指定された領域について前記視差算出手段が算出した視差を取得する取得手段と、を備え、
前記視差設定手段は、前記取得手段が取得した視差を前記視差不明領域の視差に設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力手段は、
ユーザに前記複数の画像内の任意の２つの領域を指定させる手段と、
前記指定された２つの領域について前記視差算出手段がそれぞれ算出した２つの視差を取得する取得手段と、
前記取得手段が取得した２つの視差の中間の視差を算出する中間視差算出手段と、
を備え、
前記視差設定手段は、前記中間視差算出手段が算出した視差を前記抽出した部分の視差に設定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
ユーザに前記複数の画像内の任意の１つの領域を指定させ、前記指定された領域について前記視差算出手段が算出した視差を取得する取得手段と、
ユーザに前記複数の画像内の任意の２つの領域を指定させ、前記指定された２つの領域について前記視差算出手段がそれぞれ算出した２つの視差を取得し、前記取得した２つの視差の中間の視差を算出する中間視差算出手段と、
前記視差設定手段が、前記第１の取得手段が取得した視差を前記視差不明領域の視差に設定するか、又は前記中間視差算出手段が算出した視差を前記視差不明領域の視差に設定するかを選択する選択手段と、
を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記視差不明領域を複数の領域に分割する手段を備え、
前記入力手段は、前記視差不明領域の視差に関する情報を前記分割した領域毎にユーザに入力させることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記表示制御手段は、前記視差不明領域を前記複数の画像のうちの少なくとも１つの画像に重ねて表示手段に表示させることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
前記視差算出手段が算出した画素毎の視差に基づいて、前記基準画像を所定の範囲の距離毎に分割する手段を備え、
前記表示制御手段は、前記距離を分割した際の分割線を前記基準画像に重ねて表示させることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項８】
前記視差算出手段が算出した画素毎の視差に基づいて前記基準画像の視差画像を生成する手段を備え、
前記表示制御手段は、前記視差不明領域を前記視差画像に重ねて表示手段に表示させることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項９】
前記基準画像から色の輪郭を抽出する手段を備え、
前記表示制御手段は、前記色の輪郭を前記視差画像に重ねて表示手段に表示させることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記視差算出手段が算出した画素毎の視差に基づいて、前記基準画像を視差毎に分割し、複数の視差別画像を生成する手段を備え、
前記表示制御手段は、前記視差別画像を視差順に表示手段に表示させ、
前記入力手段は、前記視差順に表示された前記視差別画像の位置と関連して前記視差不明領域の視差に関する情報をユーザに入力させることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項１１】
前記入力手段は、前記表示手段に表示された視差不明領域に対する基準線を前記視差不明領域の視差に関する情報としてユーザに入力させ、
前記視差設定手段は、
前記基準線に基づいて視差の近似線を生成する手段と、
前記視差の近似線に基づいて、前記視差不明領域の視差を設定する手段と、
を備えたことを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項１２】
視差を有する複数の画像を入力させる画像入力工程と、
前記入力された複数の画像のうちの１つの画像を基準画像とし、前記複数の画像に基づいて前記基準画像の画素毎の視差を算出する視差算出工程と、
前記視差算出工程により視差が算出できない視差不明領域を抽出する抽出工程と、
前記視差不明領域を表示手段に表示させる表示制御工程と、
前記視差不明領域の視差に関する情報をユーザに入力させる入力工程と、
前記入力された視差に関する情報に基づいて、前記視差不明領域の視差を設定する視差設定工程と、
を備えたことを特徴とする画像処理方法。
【請求項１】
視差を有する複数の画像を入力する画像入力手段と、
前記入力された複数の画像のうちの１つの画像を基準画像とし、前記複数の画像に基づいて前記基準画像の画素毎の視差を算出する視差算出手段と、
前記視差算出手段により視差が算出できない視差不明領域を抽出する抽出手段と、
前記視差不明領域を表示手段に表示させる表示制御手段と、
前記視差不明領域の視差に関する情報をユーザに入力させる入力手段と、
前記入力された視差に関する情報に基づいて、前記視差不明領域の視差を設定する視差設定手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記入力手段は、
ユーザに前記複数の画像内の任意の１つの領域を指定させる手段と、
前記指定された領域について前記視差算出手段が算出した視差を取得する取得手段と、を備え、
前記視差設定手段は、前記取得手段が取得した視差を前記視差不明領域の視差に設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力手段は、
ユーザに前記複数の画像内の任意の２つの領域を指定させる手段と、
前記指定された２つの領域について前記視差算出手段がそれぞれ算出した２つの視差を取得する取得手段と、
前記取得手段が取得した２つの視差の中間の視差を算出する中間視差算出手段と、
を備え、
前記視差設定手段は、前記中間視差算出手段が算出した視差を前記抽出した部分の視差に設定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
ユーザに前記複数の画像内の任意の１つの領域を指定させ、前記指定された領域について前記視差算出手段が算出した視差を取得する取得手段と、
ユーザに前記複数の画像内の任意の２つの領域を指定させ、前記指定された２つの領域について前記視差算出手段がそれぞれ算出した２つの視差を取得し、前記取得した２つの視差の中間の視差を算出する中間視差算出手段と、
前記視差設定手段が、前記第１の取得手段が取得した視差を前記視差不明領域の視差に設定するか、又は前記中間視差算出手段が算出した視差を前記視差不明領域の視差に設定するかを選択する選択手段と、
を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記視差不明領域を複数の領域に分割する手段を備え、
前記入力手段は、前記視差不明領域の視差に関する情報を前記分割した領域毎にユーザに入力させることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記表示制御手段は、前記視差不明領域を前記複数の画像のうちの少なくとも１つの画像に重ねて表示手段に表示させることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
前記視差算出手段が算出した画素毎の視差に基づいて、前記基準画像を所定の範囲の距離毎に分割する手段を備え、
前記表示制御手段は、前記距離を分割した際の分割線を前記基準画像に重ねて表示させることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項８】
前記視差算出手段が算出した画素毎の視差に基づいて前記基準画像の視差画像を生成する手段を備え、
前記表示制御手段は、前記視差不明領域を前記視差画像に重ねて表示手段に表示させることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項９】
前記基準画像から色の輪郭を抽出する手段を備え、
前記表示制御手段は、前記色の輪郭を前記視差画像に重ねて表示手段に表示させることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記視差算出手段が算出した画素毎の視差に基づいて、前記基準画像を視差毎に分割し、複数の視差別画像を生成する手段を備え、
前記表示制御手段は、前記視差別画像を視差順に表示手段に表示させ、
前記入力手段は、前記視差順に表示された前記視差別画像の位置と関連して前記視差不明領域の視差に関する情報をユーザに入力させることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項１１】
前記入力手段は、前記表示手段に表示された視差不明領域に対する基準線を前記視差不明領域の視差に関する情報としてユーザに入力させ、
前記視差設定手段は、
前記基準線に基づいて視差の近似線を生成する手段と、
前記視差の近似線に基づいて、前記視差不明領域の視差を設定する手段と、
を備えたことを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項１２】
視差を有する複数の画像を入力させる画像入力工程と、
前記入力された複数の画像のうちの１つの画像を基準画像とし、前記複数の画像に基づいて前記基準画像の画素毎の視差を算出する視差算出工程と、
前記視差算出工程により視差が算出できない視差不明領域を抽出する抽出工程と、
前記視差不明領域を表示手段に表示させる表示制御工程と、
前記視差不明領域の視差に関する情報をユーザに入力させる入力工程と、
前記入力された視差に関する情報に基づいて、前記視差不明領域の視差を設定する視差設定工程と、
を備えたことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−７０４１５（Ｐ２０１１−７０４１５Ａ）
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願番号】特願２００９−２２１１６８（Ｐ２００９−２２１１６８）
【出願日】平成２１年９月２５日（２００９．９．２５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願日】平成２１年９月２５日（２００９．９．２５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]