画像処理装置、画像処理方法およびプログラム
【課題】左眼用画像および右眼用画像に存在する光学的なノイズにより立体画像を知覚する視聴者に違和感を生じさせることを回避する。
【解決手段】2眼式の立体画像撮影用カメラによって撮影された左眼用画像および右眼用画像に対して、光条などの光学的なノイズの幾何学的な不一致を修正する。左眼用画像および右眼用画像のそれぞれを複数の領域に分割して対応付ける。左眼用画像および右眼用画像のそれぞれの分割領域から、光源および光条を含む光条領域と、この光条領域に隣接する光条背景領域を検出する。左眼用画像および右眼用画像の一方の光条領域および光条背景領域を、分割領域対応付けの結果に基づいて、他方の対応領域で置換する。あるいは、左眼用画像および右眼用画像から光条領域に含まれる光源および光条を除去し、双方の画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条の効果を付与する。
【解決手段】2眼式の立体画像撮影用カメラによって撮影された左眼用画像および右眼用画像に対して、光条などの光学的なノイズの幾何学的な不一致を修正する。左眼用画像および右眼用画像のそれぞれを複数の領域に分割して対応付ける。左眼用画像および右眼用画像のそれぞれの分割領域から、光源および光条を含む光条領域と、この光条領域に隣接する光条背景領域を検出する。左眼用画像および右眼用画像の一方の光条領域および光条背景領域を、分割領域対応付けの結果に基づいて、他方の対応領域で置換する。あるいは、左眼用画像および右眼用画像から光条領域に含まれる光源および光条を除去し、双方の画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条の効果を付与する。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、画像処理装置、画像処理方法およびプログラムに関する。詳しくは、この本技術は、2眼式の立体画像撮像用カメラによって撮影された左眼用画像および右眼用画像を処理する画像処理装置等に関する。
【背景技術】
【0002】
実写で立体(3D)画像を構成する左眼用画像および右眼用画像を取得する方法として、1本のレンズで受けた光を光学系内部で左右画像に光学的に分割する単眼式の取得方法と、左右別々のカメラシステムで同期をとり同時刻の画像を取得する2眼式の取得方法とがある。
【0003】
カメラシステムでは、一般的に、構図の上方に空・太陽が映り、下方に景色が広がるシーンや、夜間に撮影した夜空の下強い照明で照らされたスポーツフィールドのシーンなどで、光条の発生がみられる。2眼式の画像取得方法では、左眼用画像および右眼用画像のそれぞれに発生する光条形状は、立体(3D)の知覚を生じさせる幾何学的な相関はなく、また光源・光条と背景のコントラストによって強調され、画像コンテンツの視聴者に違和感を生じさせる原因となる。
【0004】
例えば、特許文献1には、カメラで撮影した画像に含まれるフレアを補正する発明が記載されている。この発明においては、カメラのフレア特性を予め測定し、このフレア特性を用いて撮影画像のフレアを補正するものである。なお、フレアは、光条・光芒を含む概念である。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2003−69896号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本技術の目的は、左眼用画像および右眼用画像に存在する光学的なノイズにより立体画像を知覚する視聴者に違和感を生じさせることを回避することにある。
【課題を解決するための手段】
【0007】
本技術の概念は、
2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光学的なノイズを除去するノイズ除去処理を施し、左眼用画像および右眼用画像の幾何学的な不一致を修正するノイズ除去部を備える
画像処理装置にある。
【0008】
本技術において、ノイズ除去部により、2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光学的なノイズを除去するノイズ除去処理が施され、左眼用画像および右眼用画像の幾何学的な不一致が修正される。ここで、光学的なノイズには、撮像レンズから鏡筒を通って撮像素子までの間で生じる光の反射で生じるフレアが含まれる。そして、このフレアの1つとして、光条・光芒がある。
【0009】
このように本技術においては、左眼用画像および右眼用画像の幾何学的な不一致が修正される。そのため、左眼用画像および右眼用画像に存在する光学的なノイズにより立体画像を知覚する視聴者に違和感を生じさせることを回避することが可能となる。
【0010】
本技術において、例えば、ノイズ除去部は、左眼用画像および右眼用画像のそれぞれから光源および光条・光芒を含む光条領域と、この光条領域に隣接する光条背景領域を検出し、一方の画像の光条領域および光条背景領域を他方の画像の光条領域および光条背景領域で置換する、ようにされる。これにより、左眼用画像および右眼用画像の幾何学的な不一致が修正される。
【0011】
この場合、例えば、ノイズ除去部は、左眼用画像および上記右眼用画像のそれぞれを複数の領域に分割する領域分割部と、左眼用画像および右眼用画像のそれぞれの領域分割部で分割された各分割領域のうち、同一被写体を撮影した領域同士および光学的に同一原因で生じた像による領域同士を対応付けする分割領域対応付け部と、左眼用画像および右眼用画像のそれぞれの領域分割部で分割された分割領域から、光源および光条・光芒を含む光条領域と、この光条領域に隣接する光条背景領域を検出する光条検索部と、左眼用画像および右眼用画像の一方の光条領域および光条背景領域を、分割領域対応付け部の対応付けの結果に基づいて、他方の光条領域および光条背景領域で置換する画像置換部を有する、ようにされる。
【0012】
また、本技術において、例えば、ノイズ除去部は、左眼用画像および右眼用画像のそれぞれから光源および光条・光芒を含む光条領域と、この光条領域に隣接する光条背景領域を検出し、左眼用画像および右眼用画像から光条領域に含まれる光源および光条・光芒を除去し、左眼用画像および右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条・光芒の効果を付与する、ようにされる。これにより、左眼用画像および右眼用画像の幾何学的な不一致が修正される。
【0013】
この場合、例えば、ノイズ除去部は、左眼用画像および右眼用画像のそれぞれを複数の領域に分割する領域分割部と、左眼用画像および右眼用画像のそれぞれの領域分割部で分割された分割領域から、光源および光条・光芒を含む光条領域を検出する光条検索部と、左眼用画像および右眼用画像から光条領域に含まれる光源および光条・光芒を除去し、左眼用画像および右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条・光芒の効果を付与する画像置換部を有する、ようにされる。
【0014】
また、本技術において、例えば、ノイズ除去部でノイズ除去処理を実行するか否かを決定するノイズ除去処理決定部をさらに備える、ようにされる。これにより、左眼用画像および右眼用画像に対してノイズ除去処理が不必要に行われることを回避できる。この場合、例えば、CPU(中央演算装置)の計算量を削減でき、その負荷を低減できる。
【0015】
この場合、例えば、カメラシステムから伝送される左眼用画像および右眼用画像を入力すると共に、カメラシステムから送付される撮影設定情報を入力する入力端子部をさらに備え、ノイズ除去処理決定部は、カメラシステムから送付される撮影設定情報に含まれる絞り値に基づいて、ノイズ除去処理を実行するか否かを決定する、ようにされる。
【0016】
また、この場合、例えば、光学的なノイズは光条・光芒であり、ノイズ除去処理決定部は、左眼用画像および右眼用画像に生じる光条・光芒の半径に基づいて、ノイズ除去処理を実行するか否かを決定する、ようにされる。また、この場合、例えば、光学的なノイズは光条であり、ノイズ除去処理決定部は、左眼用画像および右眼用画像に生じる光条の本数に基づいて、ノイズ除去処理を実行するか否かを決定する、ようにされる。
【0017】
また、この場合、例えば、光学的なノイズは光条であり、ノイズ除去処理決定部は、左眼用画像および右眼用画像を得るためのカメラにおけるカメラレンズの絞り羽根の枚数情報に基づいて、ノイズ除去処理を実行するか否かを決定する、ようにされる。また、この場合、例えば、光学的なノイズは光条であり、ノイズ除去処理決定部は、左眼用画像および右眼用画像に生じる光条・光芒の存続期間に基づいて、ノイズ除去処理を実行するか否かを決定する、ようにされる。
【発明の効果】
【0018】
本技術によれば、左眼用画像および右眼用画像の幾何学的な不一致を修正でき、立体画像を知覚する視聴者に違和感を生じさせることを回避できる。
【図面の簡単な説明】
【0019】
【図1】本技術の第1の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図2】中央演算装置におけるノイズ除去処理の処理手順の一例を示すフローチャートである。
【図3】夜間のサッカー場全景をとらえる原画像(左眼用画像L、右眼用画像R)とラベリング結果を示す図である。
【図4】領域分割結果と各分割領域へのラベリング結果を示す図である。
【図5】左眼用画像L、右眼用画像Rの各分割領域の分割領域対応付けの一例を示す図である。
【図6】光源位置を検出するためのアルゴリズム例を説明するための図である。
【図7】中央演算装置におけるノイズ除去処理の処理手順の一例を示すフローチャートである。
【図8】本技術の第2の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図9】光条本数の算出方法の一例を説明するための図である。
【図10】「絞り:F10」であるときの画像例と「絞り:F2」であるときの画像例とを比較して示す図である。
【発明を実施するための形態】
【0020】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.変形例
【0021】
<1.第1の実施の形態>
[画像処理装置の構成例]
図1は、第1の実施の形態としての画像処理装置100の構成例を示している。この画像処理装置100は、2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対する処理を行う。
【0022】
すなわち、この画像処理装置100は、これら左眼用画像および右眼用画像に対して、別個に生じた光学的なノイズを除去するノイズ除去処理を施し、光学的なノイズの幾何学的な不一致を修正する。ここで、光学的なノイズには、撮像レンズから鏡筒を通って撮像素子までの間で生じる光の反射で生じるフレアが含まれ、このフレアの1つとして光条・光芒がある。光条と光芒は同様のものであるが、一般的には、光条は輪郭がはっきりした状態にあるものを意味し、それに対して、光芒は輪郭がぼやけた状態にあるものを意味する。以下の説明では、説明を簡単にするため、光学的なノイズが光条であるとして説明する。
【0023】
画像処理装置100は、中央演算装置(CPU:Central Processing Unit)101と、主記憶装置102と、ユーザ指示入力装置103と、ユーザ情報出力装置104と、画像データ蓄積部105と、プログラム蓄積装置106を有している。これら各部は、内部バス107に接続されている。
【0024】
画像データ蓄積装置105は、2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像のデータを蓄積する。なお、この画像データ蓄積装置105は、ノイズ除去処理後の左眼用画像および右眼用画像のデータも蓄積する。プログラム蓄積装置106は、中央演算装置101の処理プログラムを蓄積する。中央演算装置101は、画像処理装置100の各部の動作を制御し、また、画像データ蓄積装置105に蓄積されている左眼用画像および右眼用画像に対して、上述の光学的なノイズを除去するノイズ除去処理を施す。
【0025】
主記憶装置102は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)等から構成されている。中央演算装置101は、例えば、プログラム蓄積装置106から処理プログラムを読み出し、主記憶装置102の例えばRAM上に展開することで、上述の制御処理およびノイズ除去処理を実行する。ユーザ指示入力装置103は、ユーザ指示を入力するキーボード、マウス等である。ユーザ情報出力装置104は、ユーザ操作情報、処理進捗情報などを提示してユーザの便宜をはかるディスプレイ等である。
【0026】
[ノイズ除去処理の詳細]
中央演算装置101が行うノイズ除去処理について説明する。プログラム蓄積装置106には、(1)領域分割アルゴリズム、(2)分割領域対応付けアルゴリズム、(3)光条検索アルゴリズム、(4)画像置換アルゴリズムを搭載したプログラムが実行可能形式で保存されている。プログラムは主記憶装置102に読みだされ、中央演算装置101は、画像データ蓄積装置105から読みだされた画像データに対して各アルゴリズムを適用する。
【0027】
領域分割アルゴリズムは、各画素の色相・輝度・位置座標を利用したカテゴライズによって画像データを複数の領域に分割するアルゴリズムである。分割領域対応付けアルゴリズムは、左眼画像および右眼画像の分割領域のうち、同一被写体を撮影した領域どうし、あるいは光学的に同一原因で生じた像による領域どうしを対応付けるアルゴリズムである。
【0028】
光条検索アルゴリズムは、光条の領域を検出するアルゴリズムである。すなわち、光条検索アルゴリズムは、例えば、光源の中心位置を画像X軸・Y軸方向の輝度ヒストグラムから特定し、その中心から等間隔にある円半径上に複数点をサンプリングし、サンプリングした輝度の分布と先の領域分割結果とを合わせて光条の領域を決める。
【0029】
また、光条検索アルゴリズムは、光条背景領域を検出するアルゴリズムである。すなわち、光条検索アルゴリズムは、光条の領域に隣接していて、構成画素の色度情報や輝度情報が、所望の分散内に収まるような一様な色の点で構成される領域を、光条背景領域として検出する。例えば、分割領域のうち、全点の輝度が0に近い部分を光条背景領域とし、「LBACK」、「RBACK」とする。輝度が記録ビット幅の飽和値に近い点から構成されている部分を光条領域とし、「Lray」、「Rray」とする。
【0030】
画像置換アルゴリズムは、領域分割の結果を利用して、一方の画像の光条領域および光条背景領域を他方の画像の光条領域および光条背景領域で置換するアルゴリズムである。あるいは、画像置換アルゴリズムは、左眼用画像および右眼用画像から光条領域に含まれる光源および光条を除去し、双方の画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条の効果を付与するアルゴリズムである。
【0031】
図2のフローチャートは、中央演算装置101におけるノイズ除去処理の処理手順の一例を示している。この例は、画像置換アルゴリズムが、領域分割の結果を利用して、一方の画像の光条領域および光条背景領域を他方の画像の光条領域および光条背景領域で置換する場合の処理手順である。
【0032】
中央演算装置101は、ステップST1において、処理を開始し、その後に、ステップST2の処理に移る。このステップST2において、中央演算装置101は、画像データ蓄積部105より、処理すべき左眼用画像データおよび右眼用画像データを、主記憶装置102に取得する。
【0033】
次に、中央演算装置101は、ステップST3において、左眼用画像および右眼用画像のそれぞれを複数の領域に分割する。そして、中央演算装置101は、ステップST4において、左眼用画像および右眼用画像のそれぞれの各分割領域のうち、同一被写体を撮影した領域同士および光学的に同一原因で生じた像による領域同士を対応付けする。
【0034】
次に、中央演算装置101は、ステップST5において、左眼用画像および右眼用画像のそれぞれの分割領域から、光源および光条を含む光条領域と、この光条領域に隣接する光条背景領域を検出する。そして、中央演算装置101は、ステップST6において、左眼用画像および右眼用画像の一方の光条領域および光条背景領域を、分割領域対応付けの結果に基づいて、他方の対応領域(光条領域および光条背景領域)で置換する。この場合、中央演算装置101は、単に置換するのではなく、一方の光条領域および光条背景領域に視差を付与する変形を施した後に、置換するようにしてもよい。
【0035】
次に、中央演算装置101は、ステップST7において、置換後の画像データ、つまり上述の他方の画像の画像データを、画像データ蓄積部105に保存する。その後に、中央演算装置101は、ステップST8において、処理を終了する。
【0036】
上述の図2のフローチャートの各ステップの処理についてさらに詳細に説明する。中央演算装置101は、ステップST2において、画像データ蓄積装置105から、主記憶装置102に、同一の時刻情報をもつ左眼用画像Lおよび右眼画像Rを読み出す。そして、中央演算装置101は、ステップST3において、それぞれの画像に領域分割アルゴリズムを適用して、領域分割処理を行う。この場合、中央演算装置101は、領域分割を、例えば、L*a*b 色空間でのクラスタリング等、既知の手法を適用して行う。
【0037】
また、中央演算装置101は、ステップST4において、分割領域対応付けアルゴリズムを適用して、左右画像間で、分割領域の対応付けを行う。ここで、分割後のサブ領域を、左眼画像AL,BL,CL,…,右眼画像AR、BR,CR,…,とする。
【0038】
例えば、図3に示すような、夜間のサッカー場全景をとらえる構図例を考える。この構図例における左眼用画像L、右眼用画像Rについて、空の部位をAL,AR、光源および光条の部位をBL,BR、中央右に位置するスタンドおよび人物の部位をCL,CR、サッカーフィールドの領域をDL,DRとする。図4は、領域分割結果と各分割領域へのラベリング名を示す。中央演算装置101は、L*a*b 空間におけるクラスタリング結果での、各クラスタ中心座標とクラスタ内の画素数・クラスタを構成する画素の座標より、各領域の左右対応付けを行う。図5は、各領域の左右対応付け結果を示している。
【0039】
また、中央演算装置101は、ステップST5において、光条検索アルゴリズム(光源・光条検出アルゴリズム)を適用し、領域分割の結果を用いて、光条領域および光条背景領域を検出する。光条検索アルゴリズムの例を説明する。
【0040】
「光源の検出」
L*a*b空間上において光源を含むと予想される明度の高い領域(例・白色)を中心に持つクラスタを構成する画像領域を光源領域であると仮定する。また、L*a*b空間上でほぼ一様な背景色(例・黒〜紺)を中心に持つクラスタを構成する画像領域を、空などの背景領域であると仮定する。図3、図4、図5の例では、背景/空がおおよそ領域1(AL,AR)、光源がおおよそ領域2(BL,BR)に相当する。
【0041】
左眼用画像Lでは、図6に示すように、AL,BLを結合した画像領域をスキャンの全体範囲とし、X方向、Y方向それぞれ1ライン上の画素の合計輝度情報を取得する。XY両方向でピーク値をとる画素位置Px(Xp, Yp)を光源の座標位置とする。図示しないが、同様に、左眼用画像Lでは、AR,BRを結合した画像領域をスキャンの全体範囲とし、X方向、Y方向それぞれ1ライン上の画素の合計輝度情報を取得する。XY両方向でピーク値をとる画素位置Px(Xp, Yp)を、光源の座標位置とする。
【0042】
[光条領域、光条背景領域の検出]
また、光源の座標からの距離に応じて明度が単純に減少し、かつ画素の明度が所望の規定値Vth以上である画像領域を光条領域に再決定する。また、この再決定された光条領域を除く領域を光条背景領域とする。再決定した領域(光条領域、光条背景領域)をAL’,BL’,AR’,BR’とする。なお、ここでは、再決定された結果と初回の領域分割結果とでALとAL’、BLとBL’,AR’とAR,BR’とBRがすべて等しくなったか、重複する画素数がたとえば99%以上であった、等の条件から等しいとみなしてよいものとし、もとの記号を使用する。
【0043】
また、中央演算装置101は、ステップST6において、画像置換アルゴリズムを適用し、例えば、右眼用画像の背景領域ARおよび光条領域BRから構成される領域を、右眼用画像の背景領域ALおよび光条領域BLから構成される画像で置換する。そして、中央演算装置101は、置換後の右眼用画像の画像データを画像データ蓄積部105に保存する。なお、この場合、右眼用画像の背景領域ARおよび光条領域BRから構成される領域を、右眼用画像の背景領域ALおよび光条領域BLから構成される画像で置換する際に、単に置換するのではなく、視差が付くように変形した後に置換するようにしてもよい。
【0044】
中央演算装置101は、以降、画像処理装置100がステレオ表示のための2視点画像を、別途端子や通信ネットワーク等を経由して他のシステムに配信するときには、オリジナルの左眼画像および置換処理後の右眼画像を提供する。
【0045】
図7のフローチャートは、中央演算装置101におけるノイズ除去処理の処理手順の一例を示している。この例は、画像置換アルゴリズムが、左眼用画像および右眼用画像から光条領域に含まれる光源および光条を除去し、双方の画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条の効果を付与する場合の処理手順である。
【0046】
中央演算装置101は、ステップST11において、処理を開始し、その後に、ステップST12の処理に移る。このステップST12において、中央演算装置101は、画像データ蓄積部105より、処理すべき左眼用画像データおよび右眼用画像データを、主記憶装置102に取得する。
【0047】
次に、中央演算装置101は、ステップST13において、左眼用画像および右眼用画像のそれぞれを複数の領域に分割する。そして、中央演算装置101は、ステップST14において、左眼用画像および右眼用画像のそれぞれの各分割領域のうち、同一被写体を撮影した領域同士および光学的に同一原因で生じた像による領域同士を対応付けする。
【0048】
次に、中央演算装置101は、ステップST15において、左眼用画像および右眼用画像のそれぞれの分割領域から、光源および光条を含む光条領域と、この光条領域に隣接する光条背景領域を検出する。
【0049】
次に、中央演算装置101は、ステップST16において、光源情報と仮想光源系に基づき、光条画像Fを作成する。そして、中央演算装置101は、ステップST17において、光条画像Fを右眼用画像に合成し、さらに、ステップST18において、光条画像Fを左眼用画像に合成する。そして、中央演算装置101は、ステップST19において、合成後の左眼用画像および右眼用画像の画像データを画像データ蓄積装置104に保存する。
【0050】
上述の図7のフローチャートの各ステップの処理についてさらに詳細に説明する。なお、図7のフローチャートのステップST12〜ステップST15の処理は、上述の図2のフローチャートのステップST2〜ステップST5の処理と同じであるので、その詳細説明は省略する。つまり、ここでは、ステップST16移行の処理について説明する。
【0051】
中央演算装置101は、ステップST16〜ステップST18において、画像置換アルゴリズムを適用する。すなわち、中央演算装置101は、左眼用画像Lおよび右眼用画像Rから光条領域に含まれる光源および光条を除去し、双方の画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条の効果を付与する。
【0052】
すなわち、中央演算装置101は、左眼用画像Lおよび右眼用画像Rの両方において、光条背景領域Axの色情報とテクスチャ情報を利用して、あたかも光源および光条が存在しないかのように、光条領域を補正する。そして、中央演算装置101は、ステップST15において検出した原画像上の光源位置Pxに投影されるような、三次元位置情報をもつ光源位置に設置した、所望の光強度特性をもつ仮想光源を設定する。このとき、光源の放射指向性も仮想光源の特性に加えてもよい。
【0053】
中央演算装置101は、光源の位置・光強度・放射指向性等をあわせて、光源情報とする。そして、中央演算装置101は、この光源情報の特性をもつ仮想光源から仮想光学系を通過した光線によって生じる虚像の光条画像Fを作成し、補正後の左眼用画像および右眼用画像に合成する。
【0054】
具体的には、上述の仮想光源からの入射光が、原画像を撮影した右画像用光学系と相対的に同じ位置に設置した仮想光学系を通過して生じる光の回折現象をレンダリングしたものが光条画像Fである。中央演算装置101は、この光条画像Fを、補正後の右眼画像に所望のブレンディング比率で重ね合わせる。中央演算装置101は、左眼画像にも、光条画像Fを視差補正して合成する。そして、中央演算装置101は、光条画像Fを合成した後の左眼用画像および右眼用画像の画像データを画像データ蓄積部105に保存する。
【0055】
中央演算装置101は、以降、ステレオ表示のための2視点画像を、別途端子や通信ネットワーク等を経由して他のシステムに配信するときには、光条画像Fが合成された左眼用画像および右眼用画像を提供する。
【0056】
なお、中央演算装置101は、上述したようにレンダリングで作成される光条画像Fの代わりに、縮小バッファ技法等既知の手法で別途CG作成したフィルタ画像(光条画像)を作成して用いることもできる。この場合、中央演算装置101は、例えば、このフィルタ画像を補正後の右眼用画像に所望のブレンディング比率で重ね合わせて、光条・光茫効果をもたらす処理を施し、同様に、左眼用画像にもフィルタ画像Fを視差補正して合成する。
【0057】
上述したように、図1に示す画像処理装置100においては、2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光学的なノイズを除去するノイズ除去処理が施される。そして、左眼用画像および右眼用画像の幾何学的な不一致が修正される。
【0058】
例えば、左眼用画像および右眼用画像のそれぞれから光源および光条を含む光条領域と、この光条領域に隣接する光条背景領域が検出され、一方の画像の光条領域および光条背景領域が他方の画像の光条領域および光条背景領域で置換される。また、例えば、左眼用画像および右眼用画像のそれぞれから光源および光条を含む光条領域と、この光条領域に隣接する光条背景領域が検出され、左眼用画像および右眼用画像から光条領域に含まれる光源および光条が除去される。そして、左眼用画像および右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条の効果が付与される。
【0059】
そのため、図1に示す画像処理装置100においては、左眼用画像および右眼用画像に存在する光学的なノイズ、例えば光条により立体画像を知覚する視聴者に違和感を生じさせることを良好に回避できる。
【0060】
<2.第2の実施の形態>
[画像処理装置の構成例]
図8は、第2の実施の形態としての画像処理装置100Aの構成例を示している。この画像処理装置100Aも、上述の図1に示す画像処理装置100と同様に、2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対する処理を行う。この図8において、図1と対応する部分には同一符号を付し、その詳細説明は省略する。
【0061】
この画像処理装置100Aは、中央演算装置101と、主記憶装置102と、ユーザ指示入力装置103と、ユーザ情報出力装置104と、プログラム蓄積装置106と、画像データ入力端子111L,111Rと、画像データ出力端子112を有している。これら各部は、内部バス107に接続されている。
【0062】
画像データ入力端子111Lは、カメラシステム200Lによって撮影された左眼用画像の画像データ、さらにはカメラシステム200Lにおける絞り値などの撮影設定情報を入力するための端子である。また、画像データ入力端子111Rは、カメラシステム200Rによって撮影された右眼用画像の画像データ、さらにはカメラシステム200Rにおける絞り値などの撮影設定情報を入力するための端子である。画像データ出力端子112は、処理後の左眼用画像データおよび右眼用画像データを、画像データ出力モニタ300に出力するための端子である。
【0063】
中央演算装置101は、詳細説明は省略するが、上述の図1に示す画像処理装置100と同様に、プログラム蓄積装置106から処理プログラムを読み出し、主記憶装置102の例えばRAM上に展開することで、ノイズ除去処理を実行する。すなわち、中央演算装置101は、カメラシステム200L,200Rから入力される左眼用画像および右眼用画像の画像データに対して光学的なノイズを除去する処理を行い、処理後の画像データを画像データ出力端子112からモニタ300に出力する。
【0064】
また、中央演算装置101は、カメラシステム200L,200Rから画像データと共に入力される撮影設定情報を利用した処理を行う。中央演算装置101は、例えば、絞り値を用いて、ノイズ除去処理を行うか否かを決定し、無駄にノイズ除去処理が行われることを防止する。このノイズ除去処理を行うか否かの決定については、さらに、後述する。
【0065】
図8に示す画像処理装置100Aのその他は、上述の図1に示す画像処理装置100と同様に構成される。したがって、この図8に示す画像処理装置100Aにおいても、上述の図1に示す画像処理装置100と同様の効果を得ることができる。
【0066】
なお、図8に示す画像処理装置100Aにおいては、左眼用画像データはカメラシステム200Lから入力され、右眼用画像データはカメラシステム200Rから入力されている。しかし、左眼用画像データおよび右眼用画像データを2台のカメラシステムから入力する必要はない。例えば、2台のカメラシステム200L,200Rの部分は、2つ以上の光学系を備える等して、別視野から撮影された複数の画像を出力可能な1台のカメラシステムであってもよい。
【0067】
<3.変形例>
なお、上述実施の形態においては、画像データ蓄積装置105に蓄積されている、あるいはカメラシステムから入力される左眼用画像および右眼用画像の光学的なノイズの幾何学的な不一致を修正するために、ノイズ除去処理を行う例を示した。中央演算装置101は、このノイズ除去処理を実行するか否かを決定し、ノイズ除去処理が不必要に行われることを回避することも考えられる。これにより、例えば、中央演算装置(CPU)101の計算量を削減でき、その負荷を低減できる。以下に、ノイズ除去処理を行わない場合の条件を述べる。
【0068】
(1)光条の最大半径が所望の半径よりも小さい場合
中央演算装置101は、光条の半径が所望の閾値、例えば、画像のX方向画素数に対して1/30より小さいときは、その光源を中心として発生した光条に対して、ノイズ除去処理を行わないこととする。
【0069】
(2)光源から発生している光条の本数が所望本数よりも多く、光条の筋の間隔が狭い場合
中央演算装置101は、1つの光源から発生している光条の本数が、別途設定した閾値の本数よりも多いときには、全てまたは一部の光条に対して、ノイズ除去処理を行わないこととする。この場合、視覚の弁別限界を上回る、すなわち本数が多くそれらの間隔の狭さによって、ある光条と隣接する光条とを見分けることができないからである。
【0070】
ここで、図9を参照して、光条本数の算出方法の一例を説明する。中央演算装置101は、光条領域BRおよび光源位置Pxが確定されたとき、光源位置(Xp,Yp)を中心点とした距離rの点の輝度を、rを変化させながら角度Θ(範囲:0<Θ<2π)でプロットする。そして、中央演算装置101は、プロットされた曲線Lrkについて、例えば、任意の2つLr1とLr2を選び、その相関「L(Θ)=Lr1(Θ) x Lr2(Θ)」を算出する。次いで、中央演算装置101は、式L(Θ)のΘに関する一次微分を算出するなどして極大値をとる毎に光条の本数を1増やし、0<Θ<2πのうちの極大値の個数(ここでは6)を光条の本数とする。
【0071】
(3)カメラレンズの絞り羽根の枚数の偶奇および枚数
カメラレンズの絞り羽根の枚数Wと発生する光条の本数には法則があり、Wが偶数ならばW本の、Wが奇数ならば2W本の光条が生じる。すなわち、上述の光源から発生している光条の本数と所望の本数との比較は、レンズの絞りが偶数羽であるか奇数羽であるかと、その枚数とに置き換えることもできる。よって、カメラ設定情報よりレンズの絞り羽枚数を得て、その値が例えば奇数で7枚以上あれば、ノイズ除去処理を行わないこととする。
【0072】
(4)光条の存続時間が所望の閾値よりも短い場合
カメラのフラッシュ等に起因するような、任意の光源から光条が発生している時間(動画像で同一光源から光条が発生している連続フレーム数)が所望の閾値よりも短いときは、ノイズ除去処理を行わないこととする。この場合、その光条が長時間の視聴体験において注意を喚起するものではないからである。
【0073】
(5)カメラの絞り値が設定値より小さい場合
カメラレンズの絞り値が大きくなれば、一般に光条の筋の長さは長くなる。例えば、図10(a)は「絞り:F10」であるときの画像例であり、図10(b)は「絞り:F2」であるときの画像例である。従って、設定された閾値(例:F8)よりも絞りの値が小さいときには、光条の筋の長さは許容できるほど短いとして、ノイズ除去処理を行わないこととする。
【0074】
以上、処理を行わないための条件を述べたが、閾値との大小関係を逆にして、処理を絶対に行うための条件を設定してもよい。また、複数の条件を組み合わせて、処理を行うための条件や、処理を行わないための条件を設定してもよい。
【符号の説明】
【0075】
100,100A・・・画像処理装置
101・・・中央演算装置
102・・・主記憶装置
103・・・ユーザ指示入力装置
104・・・ユーザ情報出力装置
105・・・画像データ蓄積装置
106・・・プログラム蓄積装置
107・・・内部バス
111L,111R・・・画像データ入力端子
112・・・画像データ出力端子
200L,200R・・・カメラシステム
300・・・画像データ出力モニタ
【技術分野】
【0001】
本技術は、画像処理装置、画像処理方法およびプログラムに関する。詳しくは、この本技術は、2眼式の立体画像撮像用カメラによって撮影された左眼用画像および右眼用画像を処理する画像処理装置等に関する。
【背景技術】
【0002】
実写で立体(3D)画像を構成する左眼用画像および右眼用画像を取得する方法として、1本のレンズで受けた光を光学系内部で左右画像に光学的に分割する単眼式の取得方法と、左右別々のカメラシステムで同期をとり同時刻の画像を取得する2眼式の取得方法とがある。
【0003】
カメラシステムでは、一般的に、構図の上方に空・太陽が映り、下方に景色が広がるシーンや、夜間に撮影した夜空の下強い照明で照らされたスポーツフィールドのシーンなどで、光条の発生がみられる。2眼式の画像取得方法では、左眼用画像および右眼用画像のそれぞれに発生する光条形状は、立体(3D)の知覚を生じさせる幾何学的な相関はなく、また光源・光条と背景のコントラストによって強調され、画像コンテンツの視聴者に違和感を生じさせる原因となる。
【0004】
例えば、特許文献1には、カメラで撮影した画像に含まれるフレアを補正する発明が記載されている。この発明においては、カメラのフレア特性を予め測定し、このフレア特性を用いて撮影画像のフレアを補正するものである。なお、フレアは、光条・光芒を含む概念である。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2003−69896号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本技術の目的は、左眼用画像および右眼用画像に存在する光学的なノイズにより立体画像を知覚する視聴者に違和感を生じさせることを回避することにある。
【課題を解決するための手段】
【0007】
本技術の概念は、
2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光学的なノイズを除去するノイズ除去処理を施し、左眼用画像および右眼用画像の幾何学的な不一致を修正するノイズ除去部を備える
画像処理装置にある。
【0008】
本技術において、ノイズ除去部により、2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光学的なノイズを除去するノイズ除去処理が施され、左眼用画像および右眼用画像の幾何学的な不一致が修正される。ここで、光学的なノイズには、撮像レンズから鏡筒を通って撮像素子までの間で生じる光の反射で生じるフレアが含まれる。そして、このフレアの1つとして、光条・光芒がある。
【0009】
このように本技術においては、左眼用画像および右眼用画像の幾何学的な不一致が修正される。そのため、左眼用画像および右眼用画像に存在する光学的なノイズにより立体画像を知覚する視聴者に違和感を生じさせることを回避することが可能となる。
【0010】
本技術において、例えば、ノイズ除去部は、左眼用画像および右眼用画像のそれぞれから光源および光条・光芒を含む光条領域と、この光条領域に隣接する光条背景領域を検出し、一方の画像の光条領域および光条背景領域を他方の画像の光条領域および光条背景領域で置換する、ようにされる。これにより、左眼用画像および右眼用画像の幾何学的な不一致が修正される。
【0011】
この場合、例えば、ノイズ除去部は、左眼用画像および上記右眼用画像のそれぞれを複数の領域に分割する領域分割部と、左眼用画像および右眼用画像のそれぞれの領域分割部で分割された各分割領域のうち、同一被写体を撮影した領域同士および光学的に同一原因で生じた像による領域同士を対応付けする分割領域対応付け部と、左眼用画像および右眼用画像のそれぞれの領域分割部で分割された分割領域から、光源および光条・光芒を含む光条領域と、この光条領域に隣接する光条背景領域を検出する光条検索部と、左眼用画像および右眼用画像の一方の光条領域および光条背景領域を、分割領域対応付け部の対応付けの結果に基づいて、他方の光条領域および光条背景領域で置換する画像置換部を有する、ようにされる。
【0012】
また、本技術において、例えば、ノイズ除去部は、左眼用画像および右眼用画像のそれぞれから光源および光条・光芒を含む光条領域と、この光条領域に隣接する光条背景領域を検出し、左眼用画像および右眼用画像から光条領域に含まれる光源および光条・光芒を除去し、左眼用画像および右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条・光芒の効果を付与する、ようにされる。これにより、左眼用画像および右眼用画像の幾何学的な不一致が修正される。
【0013】
この場合、例えば、ノイズ除去部は、左眼用画像および右眼用画像のそれぞれを複数の領域に分割する領域分割部と、左眼用画像および右眼用画像のそれぞれの領域分割部で分割された分割領域から、光源および光条・光芒を含む光条領域を検出する光条検索部と、左眼用画像および右眼用画像から光条領域に含まれる光源および光条・光芒を除去し、左眼用画像および右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条・光芒の効果を付与する画像置換部を有する、ようにされる。
【0014】
また、本技術において、例えば、ノイズ除去部でノイズ除去処理を実行するか否かを決定するノイズ除去処理決定部をさらに備える、ようにされる。これにより、左眼用画像および右眼用画像に対してノイズ除去処理が不必要に行われることを回避できる。この場合、例えば、CPU(中央演算装置)の計算量を削減でき、その負荷を低減できる。
【0015】
この場合、例えば、カメラシステムから伝送される左眼用画像および右眼用画像を入力すると共に、カメラシステムから送付される撮影設定情報を入力する入力端子部をさらに備え、ノイズ除去処理決定部は、カメラシステムから送付される撮影設定情報に含まれる絞り値に基づいて、ノイズ除去処理を実行するか否かを決定する、ようにされる。
【0016】
また、この場合、例えば、光学的なノイズは光条・光芒であり、ノイズ除去処理決定部は、左眼用画像および右眼用画像に生じる光条・光芒の半径に基づいて、ノイズ除去処理を実行するか否かを決定する、ようにされる。また、この場合、例えば、光学的なノイズは光条であり、ノイズ除去処理決定部は、左眼用画像および右眼用画像に生じる光条の本数に基づいて、ノイズ除去処理を実行するか否かを決定する、ようにされる。
【0017】
また、この場合、例えば、光学的なノイズは光条であり、ノイズ除去処理決定部は、左眼用画像および右眼用画像を得るためのカメラにおけるカメラレンズの絞り羽根の枚数情報に基づいて、ノイズ除去処理を実行するか否かを決定する、ようにされる。また、この場合、例えば、光学的なノイズは光条であり、ノイズ除去処理決定部は、左眼用画像および右眼用画像に生じる光条・光芒の存続期間に基づいて、ノイズ除去処理を実行するか否かを決定する、ようにされる。
【発明の効果】
【0018】
本技術によれば、左眼用画像および右眼用画像の幾何学的な不一致を修正でき、立体画像を知覚する視聴者に違和感を生じさせることを回避できる。
【図面の簡単な説明】
【0019】
【図1】本技術の第1の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図2】中央演算装置におけるノイズ除去処理の処理手順の一例を示すフローチャートである。
【図3】夜間のサッカー場全景をとらえる原画像(左眼用画像L、右眼用画像R)とラベリング結果を示す図である。
【図4】領域分割結果と各分割領域へのラベリング結果を示す図である。
【図5】左眼用画像L、右眼用画像Rの各分割領域の分割領域対応付けの一例を示す図である。
【図6】光源位置を検出するためのアルゴリズム例を説明するための図である。
【図7】中央演算装置におけるノイズ除去処理の処理手順の一例を示すフローチャートである。
【図8】本技術の第2の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図9】光条本数の算出方法の一例を説明するための図である。
【図10】「絞り:F10」であるときの画像例と「絞り:F2」であるときの画像例とを比較して示す図である。
【発明を実施するための形態】
【0020】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.変形例
【0021】
<1.第1の実施の形態>
[画像処理装置の構成例]
図1は、第1の実施の形態としての画像処理装置100の構成例を示している。この画像処理装置100は、2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対する処理を行う。
【0022】
すなわち、この画像処理装置100は、これら左眼用画像および右眼用画像に対して、別個に生じた光学的なノイズを除去するノイズ除去処理を施し、光学的なノイズの幾何学的な不一致を修正する。ここで、光学的なノイズには、撮像レンズから鏡筒を通って撮像素子までの間で生じる光の反射で生じるフレアが含まれ、このフレアの1つとして光条・光芒がある。光条と光芒は同様のものであるが、一般的には、光条は輪郭がはっきりした状態にあるものを意味し、それに対して、光芒は輪郭がぼやけた状態にあるものを意味する。以下の説明では、説明を簡単にするため、光学的なノイズが光条であるとして説明する。
【0023】
画像処理装置100は、中央演算装置(CPU:Central Processing Unit)101と、主記憶装置102と、ユーザ指示入力装置103と、ユーザ情報出力装置104と、画像データ蓄積部105と、プログラム蓄積装置106を有している。これら各部は、内部バス107に接続されている。
【0024】
画像データ蓄積装置105は、2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像のデータを蓄積する。なお、この画像データ蓄積装置105は、ノイズ除去処理後の左眼用画像および右眼用画像のデータも蓄積する。プログラム蓄積装置106は、中央演算装置101の処理プログラムを蓄積する。中央演算装置101は、画像処理装置100の各部の動作を制御し、また、画像データ蓄積装置105に蓄積されている左眼用画像および右眼用画像に対して、上述の光学的なノイズを除去するノイズ除去処理を施す。
【0025】
主記憶装置102は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)等から構成されている。中央演算装置101は、例えば、プログラム蓄積装置106から処理プログラムを読み出し、主記憶装置102の例えばRAM上に展開することで、上述の制御処理およびノイズ除去処理を実行する。ユーザ指示入力装置103は、ユーザ指示を入力するキーボード、マウス等である。ユーザ情報出力装置104は、ユーザ操作情報、処理進捗情報などを提示してユーザの便宜をはかるディスプレイ等である。
【0026】
[ノイズ除去処理の詳細]
中央演算装置101が行うノイズ除去処理について説明する。プログラム蓄積装置106には、(1)領域分割アルゴリズム、(2)分割領域対応付けアルゴリズム、(3)光条検索アルゴリズム、(4)画像置換アルゴリズムを搭載したプログラムが実行可能形式で保存されている。プログラムは主記憶装置102に読みだされ、中央演算装置101は、画像データ蓄積装置105から読みだされた画像データに対して各アルゴリズムを適用する。
【0027】
領域分割アルゴリズムは、各画素の色相・輝度・位置座標を利用したカテゴライズによって画像データを複数の領域に分割するアルゴリズムである。分割領域対応付けアルゴリズムは、左眼画像および右眼画像の分割領域のうち、同一被写体を撮影した領域どうし、あるいは光学的に同一原因で生じた像による領域どうしを対応付けるアルゴリズムである。
【0028】
光条検索アルゴリズムは、光条の領域を検出するアルゴリズムである。すなわち、光条検索アルゴリズムは、例えば、光源の中心位置を画像X軸・Y軸方向の輝度ヒストグラムから特定し、その中心から等間隔にある円半径上に複数点をサンプリングし、サンプリングした輝度の分布と先の領域分割結果とを合わせて光条の領域を決める。
【0029】
また、光条検索アルゴリズムは、光条背景領域を検出するアルゴリズムである。すなわち、光条検索アルゴリズムは、光条の領域に隣接していて、構成画素の色度情報や輝度情報が、所望の分散内に収まるような一様な色の点で構成される領域を、光条背景領域として検出する。例えば、分割領域のうち、全点の輝度が0に近い部分を光条背景領域とし、「LBACK」、「RBACK」とする。輝度が記録ビット幅の飽和値に近い点から構成されている部分を光条領域とし、「Lray」、「Rray」とする。
【0030】
画像置換アルゴリズムは、領域分割の結果を利用して、一方の画像の光条領域および光条背景領域を他方の画像の光条領域および光条背景領域で置換するアルゴリズムである。あるいは、画像置換アルゴリズムは、左眼用画像および右眼用画像から光条領域に含まれる光源および光条を除去し、双方の画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条の効果を付与するアルゴリズムである。
【0031】
図2のフローチャートは、中央演算装置101におけるノイズ除去処理の処理手順の一例を示している。この例は、画像置換アルゴリズムが、領域分割の結果を利用して、一方の画像の光条領域および光条背景領域を他方の画像の光条領域および光条背景領域で置換する場合の処理手順である。
【0032】
中央演算装置101は、ステップST1において、処理を開始し、その後に、ステップST2の処理に移る。このステップST2において、中央演算装置101は、画像データ蓄積部105より、処理すべき左眼用画像データおよび右眼用画像データを、主記憶装置102に取得する。
【0033】
次に、中央演算装置101は、ステップST3において、左眼用画像および右眼用画像のそれぞれを複数の領域に分割する。そして、中央演算装置101は、ステップST4において、左眼用画像および右眼用画像のそれぞれの各分割領域のうち、同一被写体を撮影した領域同士および光学的に同一原因で生じた像による領域同士を対応付けする。
【0034】
次に、中央演算装置101は、ステップST5において、左眼用画像および右眼用画像のそれぞれの分割領域から、光源および光条を含む光条領域と、この光条領域に隣接する光条背景領域を検出する。そして、中央演算装置101は、ステップST6において、左眼用画像および右眼用画像の一方の光条領域および光条背景領域を、分割領域対応付けの結果に基づいて、他方の対応領域(光条領域および光条背景領域)で置換する。この場合、中央演算装置101は、単に置換するのではなく、一方の光条領域および光条背景領域に視差を付与する変形を施した後に、置換するようにしてもよい。
【0035】
次に、中央演算装置101は、ステップST7において、置換後の画像データ、つまり上述の他方の画像の画像データを、画像データ蓄積部105に保存する。その後に、中央演算装置101は、ステップST8において、処理を終了する。
【0036】
上述の図2のフローチャートの各ステップの処理についてさらに詳細に説明する。中央演算装置101は、ステップST2において、画像データ蓄積装置105から、主記憶装置102に、同一の時刻情報をもつ左眼用画像Lおよび右眼画像Rを読み出す。そして、中央演算装置101は、ステップST3において、それぞれの画像に領域分割アルゴリズムを適用して、領域分割処理を行う。この場合、中央演算装置101は、領域分割を、例えば、L*a*b 色空間でのクラスタリング等、既知の手法を適用して行う。
【0037】
また、中央演算装置101は、ステップST4において、分割領域対応付けアルゴリズムを適用して、左右画像間で、分割領域の対応付けを行う。ここで、分割後のサブ領域を、左眼画像AL,BL,CL,…,右眼画像AR、BR,CR,…,とする。
【0038】
例えば、図3に示すような、夜間のサッカー場全景をとらえる構図例を考える。この構図例における左眼用画像L、右眼用画像Rについて、空の部位をAL,AR、光源および光条の部位をBL,BR、中央右に位置するスタンドおよび人物の部位をCL,CR、サッカーフィールドの領域をDL,DRとする。図4は、領域分割結果と各分割領域へのラベリング名を示す。中央演算装置101は、L*a*b 空間におけるクラスタリング結果での、各クラスタ中心座標とクラスタ内の画素数・クラスタを構成する画素の座標より、各領域の左右対応付けを行う。図5は、各領域の左右対応付け結果を示している。
【0039】
また、中央演算装置101は、ステップST5において、光条検索アルゴリズム(光源・光条検出アルゴリズム)を適用し、領域分割の結果を用いて、光条領域および光条背景領域を検出する。光条検索アルゴリズムの例を説明する。
【0040】
「光源の検出」
L*a*b空間上において光源を含むと予想される明度の高い領域(例・白色)を中心に持つクラスタを構成する画像領域を光源領域であると仮定する。また、L*a*b空間上でほぼ一様な背景色(例・黒〜紺)を中心に持つクラスタを構成する画像領域を、空などの背景領域であると仮定する。図3、図4、図5の例では、背景/空がおおよそ領域1(AL,AR)、光源がおおよそ領域2(BL,BR)に相当する。
【0041】
左眼用画像Lでは、図6に示すように、AL,BLを結合した画像領域をスキャンの全体範囲とし、X方向、Y方向それぞれ1ライン上の画素の合計輝度情報を取得する。XY両方向でピーク値をとる画素位置Px(Xp, Yp)を光源の座標位置とする。図示しないが、同様に、左眼用画像Lでは、AR,BRを結合した画像領域をスキャンの全体範囲とし、X方向、Y方向それぞれ1ライン上の画素の合計輝度情報を取得する。XY両方向でピーク値をとる画素位置Px(Xp, Yp)を、光源の座標位置とする。
【0042】
[光条領域、光条背景領域の検出]
また、光源の座標からの距離に応じて明度が単純に減少し、かつ画素の明度が所望の規定値Vth以上である画像領域を光条領域に再決定する。また、この再決定された光条領域を除く領域を光条背景領域とする。再決定した領域(光条領域、光条背景領域)をAL’,BL’,AR’,BR’とする。なお、ここでは、再決定された結果と初回の領域分割結果とでALとAL’、BLとBL’,AR’とAR,BR’とBRがすべて等しくなったか、重複する画素数がたとえば99%以上であった、等の条件から等しいとみなしてよいものとし、もとの記号を使用する。
【0043】
また、中央演算装置101は、ステップST6において、画像置換アルゴリズムを適用し、例えば、右眼用画像の背景領域ARおよび光条領域BRから構成される領域を、右眼用画像の背景領域ALおよび光条領域BLから構成される画像で置換する。そして、中央演算装置101は、置換後の右眼用画像の画像データを画像データ蓄積部105に保存する。なお、この場合、右眼用画像の背景領域ARおよび光条領域BRから構成される領域を、右眼用画像の背景領域ALおよび光条領域BLから構成される画像で置換する際に、単に置換するのではなく、視差が付くように変形した後に置換するようにしてもよい。
【0044】
中央演算装置101は、以降、画像処理装置100がステレオ表示のための2視点画像を、別途端子や通信ネットワーク等を経由して他のシステムに配信するときには、オリジナルの左眼画像および置換処理後の右眼画像を提供する。
【0045】
図7のフローチャートは、中央演算装置101におけるノイズ除去処理の処理手順の一例を示している。この例は、画像置換アルゴリズムが、左眼用画像および右眼用画像から光条領域に含まれる光源および光条を除去し、双方の画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条の効果を付与する場合の処理手順である。
【0046】
中央演算装置101は、ステップST11において、処理を開始し、その後に、ステップST12の処理に移る。このステップST12において、中央演算装置101は、画像データ蓄積部105より、処理すべき左眼用画像データおよび右眼用画像データを、主記憶装置102に取得する。
【0047】
次に、中央演算装置101は、ステップST13において、左眼用画像および右眼用画像のそれぞれを複数の領域に分割する。そして、中央演算装置101は、ステップST14において、左眼用画像および右眼用画像のそれぞれの各分割領域のうち、同一被写体を撮影した領域同士および光学的に同一原因で生じた像による領域同士を対応付けする。
【0048】
次に、中央演算装置101は、ステップST15において、左眼用画像および右眼用画像のそれぞれの分割領域から、光源および光条を含む光条領域と、この光条領域に隣接する光条背景領域を検出する。
【0049】
次に、中央演算装置101は、ステップST16において、光源情報と仮想光源系に基づき、光条画像Fを作成する。そして、中央演算装置101は、ステップST17において、光条画像Fを右眼用画像に合成し、さらに、ステップST18において、光条画像Fを左眼用画像に合成する。そして、中央演算装置101は、ステップST19において、合成後の左眼用画像および右眼用画像の画像データを画像データ蓄積装置104に保存する。
【0050】
上述の図7のフローチャートの各ステップの処理についてさらに詳細に説明する。なお、図7のフローチャートのステップST12〜ステップST15の処理は、上述の図2のフローチャートのステップST2〜ステップST5の処理と同じであるので、その詳細説明は省略する。つまり、ここでは、ステップST16移行の処理について説明する。
【0051】
中央演算装置101は、ステップST16〜ステップST18において、画像置換アルゴリズムを適用する。すなわち、中央演算装置101は、左眼用画像Lおよび右眼用画像Rから光条領域に含まれる光源および光条を除去し、双方の画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条の効果を付与する。
【0052】
すなわち、中央演算装置101は、左眼用画像Lおよび右眼用画像Rの両方において、光条背景領域Axの色情報とテクスチャ情報を利用して、あたかも光源および光条が存在しないかのように、光条領域を補正する。そして、中央演算装置101は、ステップST15において検出した原画像上の光源位置Pxに投影されるような、三次元位置情報をもつ光源位置に設置した、所望の光強度特性をもつ仮想光源を設定する。このとき、光源の放射指向性も仮想光源の特性に加えてもよい。
【0053】
中央演算装置101は、光源の位置・光強度・放射指向性等をあわせて、光源情報とする。そして、中央演算装置101は、この光源情報の特性をもつ仮想光源から仮想光学系を通過した光線によって生じる虚像の光条画像Fを作成し、補正後の左眼用画像および右眼用画像に合成する。
【0054】
具体的には、上述の仮想光源からの入射光が、原画像を撮影した右画像用光学系と相対的に同じ位置に設置した仮想光学系を通過して生じる光の回折現象をレンダリングしたものが光条画像Fである。中央演算装置101は、この光条画像Fを、補正後の右眼画像に所望のブレンディング比率で重ね合わせる。中央演算装置101は、左眼画像にも、光条画像Fを視差補正して合成する。そして、中央演算装置101は、光条画像Fを合成した後の左眼用画像および右眼用画像の画像データを画像データ蓄積部105に保存する。
【0055】
中央演算装置101は、以降、ステレオ表示のための2視点画像を、別途端子や通信ネットワーク等を経由して他のシステムに配信するときには、光条画像Fが合成された左眼用画像および右眼用画像を提供する。
【0056】
なお、中央演算装置101は、上述したようにレンダリングで作成される光条画像Fの代わりに、縮小バッファ技法等既知の手法で別途CG作成したフィルタ画像(光条画像)を作成して用いることもできる。この場合、中央演算装置101は、例えば、このフィルタ画像を補正後の右眼用画像に所望のブレンディング比率で重ね合わせて、光条・光茫効果をもたらす処理を施し、同様に、左眼用画像にもフィルタ画像Fを視差補正して合成する。
【0057】
上述したように、図1に示す画像処理装置100においては、2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光学的なノイズを除去するノイズ除去処理が施される。そして、左眼用画像および右眼用画像の幾何学的な不一致が修正される。
【0058】
例えば、左眼用画像および右眼用画像のそれぞれから光源および光条を含む光条領域と、この光条領域に隣接する光条背景領域が検出され、一方の画像の光条領域および光条背景領域が他方の画像の光条領域および光条背景領域で置換される。また、例えば、左眼用画像および右眼用画像のそれぞれから光源および光条を含む光条領域と、この光条領域に隣接する光条背景領域が検出され、左眼用画像および右眼用画像から光条領域に含まれる光源および光条が除去される。そして、左眼用画像および右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条の効果が付与される。
【0059】
そのため、図1に示す画像処理装置100においては、左眼用画像および右眼用画像に存在する光学的なノイズ、例えば光条により立体画像を知覚する視聴者に違和感を生じさせることを良好に回避できる。
【0060】
<2.第2の実施の形態>
[画像処理装置の構成例]
図8は、第2の実施の形態としての画像処理装置100Aの構成例を示している。この画像処理装置100Aも、上述の図1に示す画像処理装置100と同様に、2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対する処理を行う。この図8において、図1と対応する部分には同一符号を付し、その詳細説明は省略する。
【0061】
この画像処理装置100Aは、中央演算装置101と、主記憶装置102と、ユーザ指示入力装置103と、ユーザ情報出力装置104と、プログラム蓄積装置106と、画像データ入力端子111L,111Rと、画像データ出力端子112を有している。これら各部は、内部バス107に接続されている。
【0062】
画像データ入力端子111Lは、カメラシステム200Lによって撮影された左眼用画像の画像データ、さらにはカメラシステム200Lにおける絞り値などの撮影設定情報を入力するための端子である。また、画像データ入力端子111Rは、カメラシステム200Rによって撮影された右眼用画像の画像データ、さらにはカメラシステム200Rにおける絞り値などの撮影設定情報を入力するための端子である。画像データ出力端子112は、処理後の左眼用画像データおよび右眼用画像データを、画像データ出力モニタ300に出力するための端子である。
【0063】
中央演算装置101は、詳細説明は省略するが、上述の図1に示す画像処理装置100と同様に、プログラム蓄積装置106から処理プログラムを読み出し、主記憶装置102の例えばRAM上に展開することで、ノイズ除去処理を実行する。すなわち、中央演算装置101は、カメラシステム200L,200Rから入力される左眼用画像および右眼用画像の画像データに対して光学的なノイズを除去する処理を行い、処理後の画像データを画像データ出力端子112からモニタ300に出力する。
【0064】
また、中央演算装置101は、カメラシステム200L,200Rから画像データと共に入力される撮影設定情報を利用した処理を行う。中央演算装置101は、例えば、絞り値を用いて、ノイズ除去処理を行うか否かを決定し、無駄にノイズ除去処理が行われることを防止する。このノイズ除去処理を行うか否かの決定については、さらに、後述する。
【0065】
図8に示す画像処理装置100Aのその他は、上述の図1に示す画像処理装置100と同様に構成される。したがって、この図8に示す画像処理装置100Aにおいても、上述の図1に示す画像処理装置100と同様の効果を得ることができる。
【0066】
なお、図8に示す画像処理装置100Aにおいては、左眼用画像データはカメラシステム200Lから入力され、右眼用画像データはカメラシステム200Rから入力されている。しかし、左眼用画像データおよび右眼用画像データを2台のカメラシステムから入力する必要はない。例えば、2台のカメラシステム200L,200Rの部分は、2つ以上の光学系を備える等して、別視野から撮影された複数の画像を出力可能な1台のカメラシステムであってもよい。
【0067】
<3.変形例>
なお、上述実施の形態においては、画像データ蓄積装置105に蓄積されている、あるいはカメラシステムから入力される左眼用画像および右眼用画像の光学的なノイズの幾何学的な不一致を修正するために、ノイズ除去処理を行う例を示した。中央演算装置101は、このノイズ除去処理を実行するか否かを決定し、ノイズ除去処理が不必要に行われることを回避することも考えられる。これにより、例えば、中央演算装置(CPU)101の計算量を削減でき、その負荷を低減できる。以下に、ノイズ除去処理を行わない場合の条件を述べる。
【0068】
(1)光条の最大半径が所望の半径よりも小さい場合
中央演算装置101は、光条の半径が所望の閾値、例えば、画像のX方向画素数に対して1/30より小さいときは、その光源を中心として発生した光条に対して、ノイズ除去処理を行わないこととする。
【0069】
(2)光源から発生している光条の本数が所望本数よりも多く、光条の筋の間隔が狭い場合
中央演算装置101は、1つの光源から発生している光条の本数が、別途設定した閾値の本数よりも多いときには、全てまたは一部の光条に対して、ノイズ除去処理を行わないこととする。この場合、視覚の弁別限界を上回る、すなわち本数が多くそれらの間隔の狭さによって、ある光条と隣接する光条とを見分けることができないからである。
【0070】
ここで、図9を参照して、光条本数の算出方法の一例を説明する。中央演算装置101は、光条領域BRおよび光源位置Pxが確定されたとき、光源位置(Xp,Yp)を中心点とした距離rの点の輝度を、rを変化させながら角度Θ(範囲:0<Θ<2π)でプロットする。そして、中央演算装置101は、プロットされた曲線Lrkについて、例えば、任意の2つLr1とLr2を選び、その相関「L(Θ)=Lr1(Θ) x Lr2(Θ)」を算出する。次いで、中央演算装置101は、式L(Θ)のΘに関する一次微分を算出するなどして極大値をとる毎に光条の本数を1増やし、0<Θ<2πのうちの極大値の個数(ここでは6)を光条の本数とする。
【0071】
(3)カメラレンズの絞り羽根の枚数の偶奇および枚数
カメラレンズの絞り羽根の枚数Wと発生する光条の本数には法則があり、Wが偶数ならばW本の、Wが奇数ならば2W本の光条が生じる。すなわち、上述の光源から発生している光条の本数と所望の本数との比較は、レンズの絞りが偶数羽であるか奇数羽であるかと、その枚数とに置き換えることもできる。よって、カメラ設定情報よりレンズの絞り羽枚数を得て、その値が例えば奇数で7枚以上あれば、ノイズ除去処理を行わないこととする。
【0072】
(4)光条の存続時間が所望の閾値よりも短い場合
カメラのフラッシュ等に起因するような、任意の光源から光条が発生している時間(動画像で同一光源から光条が発生している連続フレーム数)が所望の閾値よりも短いときは、ノイズ除去処理を行わないこととする。この場合、その光条が長時間の視聴体験において注意を喚起するものではないからである。
【0073】
(5)カメラの絞り値が設定値より小さい場合
カメラレンズの絞り値が大きくなれば、一般に光条の筋の長さは長くなる。例えば、図10(a)は「絞り:F10」であるときの画像例であり、図10(b)は「絞り:F2」であるときの画像例である。従って、設定された閾値(例:F8)よりも絞りの値が小さいときには、光条の筋の長さは許容できるほど短いとして、ノイズ除去処理を行わないこととする。
【0074】
以上、処理を行わないための条件を述べたが、閾値との大小関係を逆にして、処理を絶対に行うための条件を設定してもよい。また、複数の条件を組み合わせて、処理を行うための条件や、処理を行わないための条件を設定してもよい。
【符号の説明】
【0075】
100,100A・・・画像処理装置
101・・・中央演算装置
102・・・主記憶装置
103・・・ユーザ指示入力装置
104・・・ユーザ情報出力装置
105・・・画像データ蓄積装置
106・・・プログラム蓄積装置
107・・・内部バス
111L,111R・・・画像データ入力端子
112・・・画像データ出力端子
200L,200R・・・カメラシステム
300・・・画像データ出力モニタ
【特許請求の範囲】
【請求項1】
2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光学的なノイズを除去するノイズ除去処理を施し、左眼用画像および右眼用画像の上記光学的なノイズの幾何学的な不一致を修正するノイズ除去部を備える
画像処理装置。
【請求項2】
上記光学的なノイズは光条・光芒であり、
上記ノイズ除去部は、上記左眼用画像に生じる光条・光芒と上記右眼用画像に生じる光条・光芒の幾何学的な不一致を修正する
請求項1に記載の画像処理装置。
【請求項3】
上記ノイズ除去部は、
上記左眼用画像および上記右眼用画像のそれぞれから光源および光条・光芒を含む光条領域と、該光条領域に隣接する光条背景領域を検出し、一方の画像の光条領域および光条背景領域を他方の画像の光条領域および光条背景領域で置換する
請求項2に記載の画像処理装置。
【請求項4】
上記ノイズ除去部は、
上記左眼用画像および上記右眼用画像のそれぞれを複数の領域に分割する領域分割部と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割部で分割された各分割領域のうち、同一被写体を撮影した領域同士および光学的に同一原因で生じた像による領域同士を対応付けする分割領域対応付け部と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割部で分割された分割領域から、光源および光条・光芒を含む光条領域と、該光条領域に隣接する光条背景領域を検出する光条検索部と、
上記左眼用画像および上記右眼用画像の一方の光条領域および光条背景領域を、上記分割領域対応付け部の対応付けの結果に基づいて、他方の光条領域および光条背景領域で置換する画像置換部を有する
請求項3に記載の画像処理装置。
【請求項5】
上記ノイズ除去部は、
上記左眼用画像および上記右眼用画像のそれぞれから光源および光条・光芒を含む光条領域と、該光条領域に隣接する光条背景領域を検出し、上記左眼用画像および上記右眼用画像から上記光条領域に含まれる光源および光条・光芒を除去し、上記左眼用画像および上記右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条・光芒の効果を付与する
請求項2に記載の画像処理装置。
【請求項6】
上記ノイズ除去部は、
上記左眼用画像および上記右眼用画像のそれぞれを複数の領域に分割する領域分割部と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割部で分割された分割領域から、光源および光条・光芒を含む光条領域を検出する光条検索部と、
上記左眼用画像および上記右眼用画像から上記光条領域に含まれる光源および光条・光芒を除去し、上記左眼用画像および上記右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条・光芒の効果を付与する画像置換部を有する
請求項5に記載の画像処理装置。
【請求項7】
上記ノイズ除去部で上記ノイズ除去処理を実行するか否かを決定するノイズ除去処理決定部をさらに備える
請求項1に記載の画像処理装置。
【請求項8】
カメラシステムから伝送される上記左眼用画像および上記右眼用画像を入力すると共に、上記カメラシステムから送付される撮影設定情報を入力する入力端子部をさらに備え、
上記ノイズ除去処理決定部は、上記カメラシステムから送付される撮影設定情報に含まれる絞り値に基づいて、上記ノイズ除去処理を実行するか否かを決定する
請求項7に記載の画像処理装置。
【請求項9】
上記光学的なノイズは光条・光芒であり、
上記ノイズ除去処理決定部は、上記左眼用画像および上記右眼用画像に生じる上記光条・光芒の半径に基づいて、上記ノイズ除去処理を実行するか否かを決定する
請求項7に記載の画像処理装置。
【請求項10】
上記光学的なノイズは光条であり、
上記ノイズ除去処理決定部は、上記左眼用画像および上記右眼用画像に生じる上記光条の本数に基づいて、上記ノイズ除去処理を実行するか否かを決定する
請求項7に記載の画像処理装置。
【請求項11】
上記光学的なノイズは光条であり、
上記ノイズ除去処理決定部は、上記左眼用画像および上記右眼用画像を得るためのカメラにおけるカメラレンズの絞り羽根の枚数情報に基づいて、上記ノイズ除去処理を実行するか否かを決定する
請求項7に記載の画像処理装置。
【請求項12】
上記光学的なノイズは光条であり、
上記ノイズ除去処理決定部は、上記左眼用画像および上記右眼用画像に生じる上記光条・光芒の存続期間に基づいて、上記ノイズ除去処理を実行するか否かを決定する
請求項7に記載の画像処理装置。
【請求項13】
2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光学的なノイズを除去する処理を施し、左眼用画像および右眼用画像の幾何学的な不一致を修正する
画像処理方法。
【請求項14】
2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像を処理するコンピュータを、
上記左眼用画像および上記右眼用画像のそれぞれを複数の領域に分割する領域分割手段と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割手段で分割された各分割領域のうち、同一被写体を撮影した領域同士および光学的に同一原因で生じた像による領域同士を対応付けする分割領域対応付け手段と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割手段で分割された分割領域から、光源および光条・光芒を含む光条領域と、該光条領域に隣接する光条背景領域を検出する光条検索手段と、
上記左眼用画像および上記右眼用画像の一方の光条領域および光条背景領域を、上記分割領域対応付け部の対応付けの結果に基づいて、他方の光条領域および光条背景領域で置換する画像置換手段
として機能させるプログラム。
【請求項15】
2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像を処理するコンピュータを、
上記左眼用画像および上記右眼用画像のそれぞれを複数の領域に分割する領域分割手段と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割手段で分割された分割領域から、光源および光条・光芒を含む光条領域を検出する光条検索手段と、
上記左眼用画像および上記右眼用画像から上記光条領域に含まれる光源および光条・光芒を除去し、上記左眼用画像および上記右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条・光芒の効果を付与する画像置換手段
として機能させるプログラム。
【請求項1】
2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光学的なノイズを除去するノイズ除去処理を施し、左眼用画像および右眼用画像の上記光学的なノイズの幾何学的な不一致を修正するノイズ除去部を備える
画像処理装置。
【請求項2】
上記光学的なノイズは光条・光芒であり、
上記ノイズ除去部は、上記左眼用画像に生じる光条・光芒と上記右眼用画像に生じる光条・光芒の幾何学的な不一致を修正する
請求項1に記載の画像処理装置。
【請求項3】
上記ノイズ除去部は、
上記左眼用画像および上記右眼用画像のそれぞれから光源および光条・光芒を含む光条領域と、該光条領域に隣接する光条背景領域を検出し、一方の画像の光条領域および光条背景領域を他方の画像の光条領域および光条背景領域で置換する
請求項2に記載の画像処理装置。
【請求項4】
上記ノイズ除去部は、
上記左眼用画像および上記右眼用画像のそれぞれを複数の領域に分割する領域分割部と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割部で分割された各分割領域のうち、同一被写体を撮影した領域同士および光学的に同一原因で生じた像による領域同士を対応付けする分割領域対応付け部と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割部で分割された分割領域から、光源および光条・光芒を含む光条領域と、該光条領域に隣接する光条背景領域を検出する光条検索部と、
上記左眼用画像および上記右眼用画像の一方の光条領域および光条背景領域を、上記分割領域対応付け部の対応付けの結果に基づいて、他方の光条領域および光条背景領域で置換する画像置換部を有する
請求項3に記載の画像処理装置。
【請求項5】
上記ノイズ除去部は、
上記左眼用画像および上記右眼用画像のそれぞれから光源および光条・光芒を含む光条領域と、該光条領域に隣接する光条背景領域を検出し、上記左眼用画像および上記右眼用画像から上記光条領域に含まれる光源および光条・光芒を除去し、上記左眼用画像および上記右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条・光芒の効果を付与する
請求項2に記載の画像処理装置。
【請求項6】
上記ノイズ除去部は、
上記左眼用画像および上記右眼用画像のそれぞれを複数の領域に分割する領域分割部と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割部で分割された分割領域から、光源および光条・光芒を含む光条領域を検出する光条検索部と、
上記左眼用画像および上記右眼用画像から上記光条領域に含まれる光源および光条・光芒を除去し、上記左眼用画像および上記右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条・光芒の効果を付与する画像置換部を有する
請求項5に記載の画像処理装置。
【請求項7】
上記ノイズ除去部で上記ノイズ除去処理を実行するか否かを決定するノイズ除去処理決定部をさらに備える
請求項1に記載の画像処理装置。
【請求項8】
カメラシステムから伝送される上記左眼用画像および上記右眼用画像を入力すると共に、上記カメラシステムから送付される撮影設定情報を入力する入力端子部をさらに備え、
上記ノイズ除去処理決定部は、上記カメラシステムから送付される撮影設定情報に含まれる絞り値に基づいて、上記ノイズ除去処理を実行するか否かを決定する
請求項7に記載の画像処理装置。
【請求項9】
上記光学的なノイズは光条・光芒であり、
上記ノイズ除去処理決定部は、上記左眼用画像および上記右眼用画像に生じる上記光条・光芒の半径に基づいて、上記ノイズ除去処理を実行するか否かを決定する
請求項7に記載の画像処理装置。
【請求項10】
上記光学的なノイズは光条であり、
上記ノイズ除去処理決定部は、上記左眼用画像および上記右眼用画像に生じる上記光条の本数に基づいて、上記ノイズ除去処理を実行するか否かを決定する
請求項7に記載の画像処理装置。
【請求項11】
上記光学的なノイズは光条であり、
上記ノイズ除去処理決定部は、上記左眼用画像および上記右眼用画像を得るためのカメラにおけるカメラレンズの絞り羽根の枚数情報に基づいて、上記ノイズ除去処理を実行するか否かを決定する
請求項7に記載の画像処理装置。
【請求項12】
上記光学的なノイズは光条であり、
上記ノイズ除去処理決定部は、上記左眼用画像および上記右眼用画像に生じる上記光条・光芒の存続期間に基づいて、上記ノイズ除去処理を実行するか否かを決定する
請求項7に記載の画像処理装置。
【請求項13】
2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光学的なノイズを除去する処理を施し、左眼用画像および右眼用画像の幾何学的な不一致を修正する
画像処理方法。
【請求項14】
2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像を処理するコンピュータを、
上記左眼用画像および上記右眼用画像のそれぞれを複数の領域に分割する領域分割手段と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割手段で分割された各分割領域のうち、同一被写体を撮影した領域同士および光学的に同一原因で生じた像による領域同士を対応付けする分割領域対応付け手段と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割手段で分割された分割領域から、光源および光条・光芒を含む光条領域と、該光条領域に隣接する光条背景領域を検出する光条検索手段と、
上記左眼用画像および上記右眼用画像の一方の光条領域および光条背景領域を、上記分割領域対応付け部の対応付けの結果に基づいて、他方の光条領域および光条背景領域で置換する画像置換手段
として機能させるプログラム。
【請求項15】
2眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像を処理するコンピュータを、
上記左眼用画像および上記右眼用画像のそれぞれを複数の領域に分割する領域分割手段と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割手段で分割された分割領域から、光源および光条・光芒を含む光条領域を検出する光条検索手段と、
上記左眼用画像および上記右眼用画像から上記光条領域に含まれる光源および光条・光芒を除去し、上記左眼用画像および上記右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条・光芒の効果を付与する画像置換手段
として機能させるプログラム。
【図1】
【図2】
【図4】
【図5】
【図7】
【図8】
【図9】
【図3】
【図6】
【図10】
【図2】
【図4】
【図5】
【図7】
【図8】
【図9】
【図3】
【図6】
【図10】
【公開番号】特開2012−199736(P2012−199736A)
【公開日】平成24年10月18日(2012.10.18)
【国際特許分類】
【出願番号】特願2011−62020(P2011−62020)
【出願日】平成23年3月22日(2011.3.22)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成24年10月18日(2012.10.18)
【国際特許分類】
【出願日】平成23年3月22日(2011.3.22)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]