映像信号処理装置および映像信号処理方法
【課題】極端な３Ｄ効果がつきそうな箇所を、ユーザが直感的に把握しやすいユーザ・インタフェースで、ユーザに提供する。
【解決手段】左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成する。次に、左眼用の映像信号と右眼用の映像信号に基づいて、左眼用の映像信号よりなる左眼用の撮影画像と、右眼用の映像信号よりなる右眼用の撮影画像との視差を算出する。次に、算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告色画像を生成する。次に、エッジ抽出情報に基づいて、注目画素がエッジ部分である場合には警告色画像を出力し、注目画素がエッジ部分でない場合には、左眼用の映像信号または右眼用の映像信号を出力する。
【解決手段】左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成する。次に、左眼用の映像信号と右眼用の映像信号に基づいて、左眼用の映像信号よりなる左眼用の撮影画像と、右眼用の映像信号よりなる右眼用の撮影画像との視差を算出する。次に、算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告色画像を生成する。次に、エッジ抽出情報に基づいて、注目画素がエッジ部分である場合には警告色画像を出力し、注目画素がエッジ部分でない場合には、左眼用の映像信号または右眼用の映像信号を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、立体画像を撮影する立体画像撮像装置に適用して好適な映像信号処理装置およびその映像信号処理方法に関する。
【背景技術】
【０００２】
従来、左眼用の画像と右眼用の画像を撮影する立体画像撮像装置が知られている。立体画像の立体感は、左右の画像のズレ量である視差によって表現され、視差をゼロにした場合には、立体画像の再生位置はディスプレイ等の表示面と一致する。右眼用の画像に対して左眼用の画像が右方向に視差を有する場合は、立体像はディスプレイの手前側で再生される。反対に、右眼用の画像に対して左眼用の画像が左方向に視差を有する場合には、立体像は奥行きを持った像として再生される。
【０００３】
このような立体像の手前方向への飛び出し量や奥行き方向への奥まり量は、視差の量を変化させることにより調整することができる。ただし、過度の視差は、視聴者が立体画像の融像をできなくなったり、視覚疲労や不快感をおぼえる原因となる。このため、立体画像撮像装置や、立体画像撮像装置から左右の視差画像を入力して画像処理を行う映像信号処理装置等においては、視聴者に不快感を与えるような映像が撮像および／または記録されてしまうことを防ぐための様々な工夫がされている。例えば特許文献１には、左撮像系と右撮像系とにおける合焦位置のズレを防ぐことによって、立体視し易く眼が疲れにくい立体視画像を得ることができることが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２８０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
また、左右の視差画像の視差が過大となり、極端な３Ｄ効果がついてしまいそうな場合に、そのことをユーザに表示画面上で喚起（警告）する技術も知られている。ある箇所に極端な３Ｄ効果が付きそうか否かの判断は、例えば、左右の視差画像において抽出された特徴点間の距離の大きさに基づいて行われる。そして、特徴点間の距離が大きすぎる場合に、立体画像の飛び出し量や奥まり量が過度に付いてしまう危険があると判断する。表示画面上での警告は、抽出された特徴点上に、左右の特徴点間の距離によって異ならせた警告色を重畳して表示すること等により行われる。または、横軸で特徴点間の距離を表し、縦軸でその距離を持つ画素の総数を示したヒストグラム等によっても表現される。
【０００６】
ところが、この手法では、左右の視差画像間の視差の大きさの測定が、画面上の特定の箇所にしか行われないため、警告色の表示も、視差の測定が行われた特定の箇所に対してしか行われない。ヒストグラムで表示される場合には、警告色の表示は画像とは関係のないグラフ上で行われる。このため、極端な３Ｄ効果がつきそうな箇所を、ユーザが表示画面上で直感的に把握することが難しいという問題があった。
【０００７】
本開示はかかる点に鑑みてなされたものであり、極端な３Ｄ効果がつきそうな箇所を、ユーザが直感的に把握しやすいユーザ・インタフェースで、ユーザに提供することを眼的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本開示の映像信号処理装置は、エッジ抽出情報生成部と、警告色画像生成部と、出力信号制御部とを備える構成とし、各部の構成及び機能を次のようにする。エッジ抽出情報生成部は、左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成する。警告色画像生成部は、左眼用の映像信号と右眼用の映像信号に基づいて、左眼用の映像信号よりなる左眼用の撮影画像と、右眼用の映像信号よりなる右眼用の撮影画像との視差を算出する。さらに、算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告色画像を生成する。出力信号制御部は、エッジ抽出情報生成部で生成されたエッジ抽出情報に基づいて、注目画素がエッジ部分である場合には、警告色画像生成部で生成された警告色画像を出力する。注目画素がエッジ部分でない場合には、左眼用の映像信号または右眼用の映像信号を出力する。
【０００９】
また、上記課題を解決するために、本開示の映像信号処理方法は、次の手順で行う。まず、左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成する。次に、左眼用の映像信号と右眼用の映像信号に基づいて、左眼用の映像信号よりなる左眼用の撮影画像と、右眼用の映像信号よりなる右眼用の撮影画像との視差を算出する。次に、算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告色画像を生成する。次に、エッジ抽出情報に基づいて、注目画素がエッジ部分である場合には警告色画像を出力し、注目画素がエッジ部分でない場合には、左眼用の映像信号または右眼用の映像信号を出力する。
【００１０】
このように構成および処理することで、左右の視差画像間の視差の大きさ、すなわち立体画像の表示面に対する奥行き方向の深度が、異なる警告色によって、エッジ抽出情報が検知された画素に重畳して表示されるようになる。つまり、極端な３Ｄ効果がつく恐れのある箇所のエッジ部分に、深度に応じて色を異ならせた警告色が重畳して表示される。
【発明の効果】
【００１１】
本開示の映像信号処理装置および映像信号処理方法によれば、極端な３Ｄ効果がつく恐れのある箇所が、ユーザにとって直感的に分かりやすいユーザ・インタフェースで、ユーザに提供されるようになる。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態による立体画像撮像装置の構成例を示すブロック図である。
【図２】本開示の一実施形態による警告画像生成処理部の構成例を示すブロック図である。
【図３】本開示の一実施形態によるエッジ抽出処理の例を示す説明図であり、（ａ）は垂直方向のエッジを抽出するフィルタの例を示し、（ｂ）は水平方向のエッジを抽出するフィルタの例を示す。
【図４】本開示の一実施形態によるエッジ抽出処理および２値化処理の例を示す説明図であり、（ａ）はエッジ抽出処理が行われる前の元画像の例を示し、（ｂ）はエッジ抽出処理後の画像の例を示し、（ｃ）は２値化された画像の例を示す。
【図５】本開示の一実施形態による遅延回路の構成例を示すブロック図である。
【図６】本開示の一実施形態による低解像度化処理の例を示す説明図であり、（ａ）は低解像度化される前の元画像の例を示し、（ｂ）は、低解像度化された画像の例を示す。
【図７】本開示の一実施形態による視差算出処理の例を示す説明図であり、（ａ）は視差算出処理の対象となる左眼用画像の例を示し、（ｂ）は視差算出処理の対象となる右眼用画像の例を示す。
【図８】本開示の一実施形態による色分け処理の例を示す説明図である。
【図９】本開示の一実施形態によるスイッチの切り替え処理の例を示すフローチャートである。
【図１０】本開示の一実施形態による警告画像が重畳された画像の例を示す図である。
【図１１】本開示の変形例による映像信号処理装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下に、本開示の実施形態に係る映像信号処理装置の具体例を、図面を参照しながら下記の順で説明する。
１．映像信号処理装置を立体画像撮像装置に適用した場合の構成例
２．警告色画像生成処理部の構成および処理の例
３．各種変形例
【００１４】
＜１．映像信号処理装置の構成例＞
まず、続いて本開示の実施形態に係る映像信号処理装置の構成例を説明する。本実施の形態では、映像信号処理装置を、左眼用画像の撮像系と右眼用画像の撮像系とを有する立体画像撮像装置に適用して説明する。図１は、立体画像撮像装置１００の内部構成例を示すブロック図である。
【００１５】
立体画像撮像装置１００は、右眼用画像の処理系統として、レンズ１０Ｒと、撮像素子２０Ｒと、信号処理部４０Ｒと、記録再生処理部５０Ｒとを備える。また、左眼用の処理系統として、レンズ１０Ｌと、撮像素子２０Ｌと、信号処理部４０Ｌと、記録再生処理部５０Ｌとを備える。右眼用画像の処理系等を構成する各部と、左眼用画像の処理系等を構成する各部は、それぞれが有する機能は同一であるため、各部の機能の説明は、右眼用画像の処理系等についてのみ行う。
【００１６】
レンズ１０Ｒは、右眼用画像を撮影するレンズであり、多数枚・多群のレンズやフィルタ、絞り、レンズ駆動機構などから構成されているものとする。さらに、これらの機構に加えて、ズーム機能や焦点調節機能、その他の機能があってもよい。撮像素子２０Ｒは、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の素子で構成される。撮像素子２０Ｒには、その受光面上に複数の光電変換素子が二次元的に配置されている。各光電変換素子は画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。各光電変換素子は、受光面に結像された被写体光の光量に応じた信号電荷を蓄積する。各光電変換素子に蓄積された信号電荷は、ＣＰＵ（Central Processing Unit）等よりなる制御部３０の制御によって読み出され、信号処理部４０Ｒに出力される。
【００１７】
信号処理部４０Ｒは、撮像素子２０Ｒから読み出された信号電荷に含まれるノイズを除去するＣＤＳ（相関二重サンプリング）回路や、ノイズが除去された信号のレベルを一定のレベルにコントロールするＡＧＣ（Automatic Gain Control）回路を含む。また、これらの処理が行われたアナログの映像信号をデジタルの映像信号に変換するＡ／Ｄコンバータも含む。なお、撮像素子２０ＲをＣＭＯＳ素子で構成した場合には、これらの各処理は撮像素子２０Ｒ内で行われる。
【００１８】
記録再生処理部５０Ｒは、制御部３０の制御に基づいて、信号処理部４０Ｒで信号処理された映像信号を所定の形式で圧縮したり、入力された圧縮画像を伸張したりする処理を行う。圧縮した映像信号は、ビデオテープやＨＤＤ（Hard Disc Drive）、メモリカード等よりなる記録部６０に記録し、記録部６０から読み出して圧縮した映像信号は、表示処理部７０に出力する。表示処理部７０は、ＬＣＤ（Liquid Crystal Display）等よりなる表示部８０に映像信号を表示させるための処理を行う。表示部８０は、ビューファインダとして構成される。
【００１９】
警告画像生成処理部９０は、信号処理部４０Ｒから入力される右眼用の映像信号と、信号処理部４０Ｌから入力される左眼用の映像信号に基づいて左右の視差画像間の視差を算出し、視差の大きさに応じて異ならせた警告色を被写体のエッジ部分に重畳して出力する。警告色が重畳された警告画像は、表示処理部７０に供給され、表示処理部７０によって表示部８０に表示される。
【００２０】
なお、図１では図示を省略しているが、立体画像撮像装置１００は、コンバージェンス（輻輳角）を、レンズの向き等の制御によって光学的に調整する機構もしくは、レンズ全体の回転または移動によって機械的に調整する輻輳角制御部を備える。ユーザが、画面上に表示された警告色が表示されなくなるようにコンバージェンスやズームを調整することで、撮影画像における視差が適正な範囲内に収まるようになる。つまり、立体画像に極端な３Ｄ効果がついてしまうことを防ぐことができる。
【００２１】
＜２．警告画像生成処理部の構成および処理の例＞
［２−１．警告画像生成処理部の構成例］
図２は、警告画像生成処理部９０の構成例を示すブロック図である。警告画像生成処理部９０は、エッジ抽出情報生成部９１０と、低解像度化部９２０Ｌおよび９２０Ｒと、警告画像生成部９３０と、解像度復元部９４０と、遅延回路９５０と、出力信号制御部としてのスイッチ９６０とを備える。
【００２２】
エッジ抽出情報生成部９１０は、エッジ検出部９１１と、２値化処理部９１２と、遅延回路９１３とを含む。エッジ検出部９１１は、信号処理部４０Ｒ（図１参照）から出力される左眼用画像に基づいて、画像中で画素の濃淡が急激に変化するエッジ部分を抽出する。エッジの抽出には、例えばソーベルフィルタ等のフィルタを使用する。
【００２３】
図３は、ソーベルフィルタの構成例を示したものである。図３（ａ）は垂直方向のエッジを抽出するフィルタであり、図３（ｂ）は水平方向のエッジを抽出するフィルタである。図３（ａ）の垂直エッジ抽出用フィルタは、注目画素とその左側の一列および右側の一列の各画素との差分を抽出し、図３（ｂ）の水平エッジ抽出用フィルタは、注目画素とその上側の一列および下側の一列の各画素との差分を抽出する。これらのフィルタの抽出結果を加算することにより、画像における縦横両方向のエッジを抽出することができる。
【００２４】
なお、本実施の形態ではソーベルフィルタを用いた例をあげたが、微分フィルタやハイパスフィルタ等の他の手段を用いてエッジ抽出を行うようにしてもよい。
【００２５】
図２に戻って説明を続けると、２値化処理部９１２は、エッジ抽出情報生成部９１０から出力された画像に対して閾値処理を行うことにより、画像内の領域をエッジ部と非エッジ部とに分ける。つまり、エッジ部分として検出された画素に対して、予め定めた閾値を超えたものに対しては例えば“１”を出力し、閾値以下のものに対しては“０”を出力する。閾値の大きさは、例えば設計者が経験則に基づいて算出される値をヒューリスティックに設定する。
【００２６】
もしくは、ある一定の範囲を持たせた閾値の中から、ユーザが任意の値を選択できるように構成してもよい。閾値の大きさによって抽出されるエッジの太さが異なるため、エッジに重畳される警告色の見え方も閾値の大きさによって変化する。このため、閾値をユーザに選択させる構成とすることで、警告色が重畳される線（エッジ）の太さを、ユーザの好みの太さに調整させることも可能となる。
【００２７】
図４（ａ）は、エッジ抽出情報生成部９１０に入力される元画像を示したものであり、エッジ抽出情報生成部９１０がエッジの抽出を行うことにより、図４（ｂ）に示すようなエッジ部分が抽出された画像が生成される。この図４（ｂ）に示す画像を、２値化処理部９１２がさらに閾値処理することにより、図４（ｂ）に示すように白黒の２色で絵柄が表現されるようになる。すなわち、各画素が、エッジ部分であるかそれ以外の部分であるかの２値で表現される。２値化処理部９１２は、閾値処理によって求められた２値の情報との組を、エッジ抽出情報として垂直同期信号および水平同期信号とともに遅延回路９１３に出力する。
【００２８】
再び図２に戻って説明を続けると、遅延回路９１３は、２値化処理部９１２から出力されたエッジ抽出情報を、所定の時間だけ遅延させて出力する。遅延回路９１３によって加えられる遅延の量は、後述する低解像度化部９２０Ｌと９２０Ｒに左右の画像が入力されてから警告色画像が生成されるまでの時間と、エッジ抽出情報が生成される時間との差分によって求められる。エッジ抽出情報が生成される時間よりも、警告色画像が生成される時間のほうが長いため、警告色画像が出力されるタイミングとエッジ抽出情報が出力されるタイミングとを一致させる目的で、エッジ抽出情報に遅延を加えている。
【００２９】
遅延回路９１３の構成例を図５に示す。遅延回路９１３は、書き込みアドレス管理部９１３ａと、デュアルポートＲＡＭ（Random Access Memory）等よりなるデータ保持部９１３ｂと、読み出しアドレス管理部９１３ｃとで構成される。書き込みアドレス管理部９１３ａは、制御部３０（図１参照）の制御に基づいて、データ保持部９１３ｂのアドレス空間内でサイクリックにアドレスをカウントアップする。そして、カウントアップしたアドレスを、ライトアドレスとしてデータ保持部９１３ｂに印加する。読み出しアドレス管理部９１３ｃは、制御部３０の制御に基づいて、データ保持部９１３ｂのアドレス空間内でサイクリックにアドレスをカウントアップする。そして、カウントアップしたアドレスを、リードアドレスとしてデータ保持部９１３ｂに印加する。
【００３０】
つまり、データ保持部９１３ｂには、書き込みアドレス管理部９１３ａによって印加されたライトアドレスに、ライトアドレスが印加されたタイミングでデータが書き込まれる。また、データ保持部９１３ｂに書き込まれているデータは、読み出しアドレス管理部９１３ｃによって印加されたリードアドレスから、リードアドレスが印加されたタイミングで読み出される。このリードアドレスとライトアドレスとの番地の差が大きいほど、データ保持部９１３ｂにデータが書き込まれてから読み出されるまでの時間が長くなる。つまり、この差分が、エッジ抽出情報に加えられる遅延量となる。
【００３１】
再び図２に戻って説明を続ける。低解像度化部９２０Ｌは、信号処理部４０Ｌ（図１参照）から入力される左眼用画像の解像度を、より低い解像度に変換して出力する。低解像度化部９２０Ｒは、信号処理部４０Ｒから入力される右眼用画像の解像度を、より低い解像度に変換して出力する。入力された画像の低解像度化は、例えば、画素間引きや平均化等の手法で行う。縦横の各画素を１／４画素ずつ間引けば、解像度を１／１６に落とすことができる。低解像度化部９２０Ｌと低解像度化部９２０Ｒによってこのような処理が行われることにより、図６（ａ）に示す元画像が、図６（ｂ）に示すような低解像度の画像に変換される。これにより、後段の警告画像生成部９３０（図２参照）に入力される画像のデータ量が大幅に削減される。
【００３２】
警告画像生成部９３０は、視差算出部９３１と、色分け処理部９３２と、フィルタ処理部９３３とを含む。視差算出部９３１は、低解像度化部９２０Ｌと低解像度化部９２０Ｒによって低解像度化された左右の入力画像を用いて、各画素における左右の画素間の視差を算出する。図７は、視差算出部９３１による視差算出処理の例を示す図である。図７（ａ）は右眼用画像を示し、図７（ｂ）は左眼用画像を示す。いずれの画像とも、横方向ｎ画素×縦方向ｍ画素の（ｍ×ｎ）画素よりなるものとする。
【００３３】
視差の算出は、左右の画像に対して画素単位でマッチングをかけ、マッチングのとれた両画素の画素値の差分を算出することにより行う。図７（ａ）に示す左眼用画像のＰｘＬ１を注目画素とした場合、まず、図７（ｂ）に示す右眼用画像における、この画素ＰｘＬ１と同じ１８０列目にあるすべての画素を、左端から右方向に順に走査する。続いて、画素毎に類似度をスコアに換算して記録する。１８０列目にあるすべての画素の走査が終了した時点で、一番スコアの高かった箇所の画素を抽出する。そして、抽出した画素の水平方向における座標と、比較元の左眼用画像の注目画素ＰｘＬ１の水平方向の座標との差分を算出する。
【００３４】
図７に示した例では、注目画素ＰｘＬ１ともっとも類似している右眼用画像の画素は、画素ＰｘＲ１である。注目画素ＰｘＬ１の水平方向における座標は“２５０”であり、対応画素ＰｘＲ１の水平方向における座標は“２５３”であるため、その差は“３”となる。この差分“３”は、左右の画像の水平方向におけるずれ量を示す値、つまり視差である。
【００３５】
視差の大きさは、被写体の立体画像撮像装置１００からの距離を表している。撮影時にコンバージェンスが大きく設定され、輻輳点が立体画像撮像装置１００側（手前側）に形成される場合には、算出される視差は小さくなる。逆に、輻輳点が被写体側（奥側）に形成される場合には、視差は大きくなる。すなわち、視差量が、被写体の立体画像撮像装置１００に対する奥行き方向の深度を示しているといえる。視差算出部９３１は、左右の画像を入力画像として視差を算出し、算出した視差の大きさを深度情報として、画素の情報とともに色分け処理部９３２（図２参照）に出力する。
【００３６】
なお、本実施の形態では、左右の画像に対して画素単位でマッチングをかけた例をあげたが、これに限定されるものではない。特徴点を抽出し、その特徴点同士をマッチングさせてもよい。ただし、特徴点同士をマッチングさせる場合は、特徴点周辺以外の画素の深度情報を得ることができないため、低解像度化された画面全域にわたる深度情報を得る目的で、深度の測定を行った特徴点以外の画素に対する塗りつぶし等の処理を別途行う必要がある。
【００３７】
色分け処理部９３２は、視差算出部９３１から入力された深度情報に対して、まず閾値処理を行う。図８は、色分け処理部９３２による色分け処理の例を示す図である。縦軸は深度を示し、横軸は画素の座標を示す。閾値としては、値の異なる２つの閾値Ｔｈ１、閾値Ｔｈ２を設けている。これらの閾値によって、深度が、深度０以上閾値Ｔｈ１未満の第１の領域Ｄａ１と、閾値Ｔｈ１以上閾値Ｔｈ２未満の第２の領域Ｄａ２と、閾値Ｔｈ２以上の第３の領域Ｄａ３に分割される。
【００３８】
各領域Ｄａには、予め対応する警告色を割り振ってある。図８に示す例では、第１の領域Ｄａ１には警告色Ｗｃ１が割り当てられ、第２の領域Ｄａ２には警告色の割り当てなし、第３の領域Ｄａ３には警告色Ｗｃ２が割り当てられている。色分け処理部９３２は、視差算出部９３１から入力された画素の深度が、上述した領域Ｄａのうちのどの領域に区分されるかを判断し、区分された領域Ｄａと対応づけられた警告色を、入力された画素に重畳して出力する。
【００３９】
入力された画素の深度が第２の領域Ｄａ２に区分された場合には、警告色の重畳は行われない。つまり、第２の領域Ｄａ２は、警告色を表示する必要のない領域として設定してある。第２の領域Ｄａ２を決定づける閾値Ｔｈ１と閾値Ｔｈ２の値は、予め固定的な値を設定してもよく、表示部８０（図１参照）上に表示したメニュー画面等から、ユーザに任意の値を選択できるようにしてもよい。
【００４０】
ユーザに選択させる場合には、閾値Ｔｈ１と閾値Ｔｈ２を選択させるのではなく、例えば、画像の水平方向の幅において視差が占める割合を百分率で示した値を選択させる等の手法が考えられる。画像の横幅に対する視差の割合が指定されることによって、第２の領域Ｄａ２の範囲も定まる。この場合の「画像の横幅に対する視差の割合」は、立体映像撮影用のガイドライン等の中で「快適な視聴を行える視差範囲」等として示される情報に基づいて設定することができる。
【００４１】
もしくは、閾値Ｔｈ１と閾値Ｔｈ２とを、画像が最終的に出力される表示画面（図示略）のサイズ毎に複数種類用意しておき、ユーザに画面のサイズを選択させることにより、閾値Ｔｈ１と閾値Ｔｈ２とが一意に定まるように構成してもよい。
【００４２】
なお、本実施の形態では、閾値Ｔｈを２つ設けて深度を３つの領域に分割した例をあげたが、これに限定されるものではない。深度の領域をより細かく分割することにより、警告の度合いにも段階性を持たせるようにしてもよい。例えば、破綻する（極端な３Ｄ効果が付きすぎる）可能性が高い領域に区分された画素には赤い警告色を重畳し、破綻する可能性がある画素には黄色い警告色を重畳する。さらに、破綻する可能性がややある画素には、緑色の警告色を重畳する、等の手法が考えられる。あるいは、閾値Ｔｈを１つのみ設けて、深度が浅い側（もしくは深い側）の領域に区分された画素に対してのみ、警告色を重畳するようにしてもよい。
【００４３】
また、上述した実施の形態では、深度が深すぎる、あるいは浅すぎる画素に警告色を重畳することで、ユーザに対して警告を行う例をあげたが、これに限定されるものではない。深度が分割されてなる各領域Ｄａに対して、色ではなく異なるテクスチャを割り当ててもよい。もしくは、パターンの点滅周期を異ならせたものを各領域Ｄａに割り当ててもよい。
【００４４】
再び図２に戻って説明を続ける。フィルタ処理部９３３は、色分け処理部９３２から入力された警告色画像を所定のフレーム数分蓄積してその積をとることにより、同一画素における時間軸方向のフィルタリングを行う。例えば、入力された画素を数フレーム分蓄積して積をとり、数フレーム連続で同一の警告色が出力された場合にそれを採用する。同一の警告色が、積がとられた数フレームにおいて連続で出力されなかった場合には、警告色は重畳せずに画素を出力する。このような処理を行うことにより、出力画像にノイズが混入する可能性をより低くすることができる。画素を蓄積するフレーム数は、ノイズ除去効果をどの程度に設定したいか等の情報に基づいて、任意の値に設定可能であるものとする。
【００４５】
フィルタ処理部９３３でフィルタリングされた警告色画像は、解像度復元部９４０に出力される。解像度復元部９４０は、入力された警告色画像の解像度を、元の解像度に復元する処理を行う。元の解像度への復元は、例えば、低解像度化部９２０Ｌと９２０Ｒによって解像度が１／１６に落とされた場合には、同じ画素を１６個並べて単純に拡大することによって行う。もしくは、他の方法を用いて解像度を復元してもよい。解像度復元部９４０で解像度が復元された警告色画像は、スイッチ９６０に供給される。
【００４６】
遅延回路９５０は、信号処理部４０Ｌ（図１参照）から出力された左眼用画像を、所定の時間だけ遅延させて出力する。つまり、スイッチ９６０に供給される警告色画像の位相と、信号処理部４０Ｌから出力された左眼用画像の位相の差をなくすための遅延量が、元画像として出力される左眼用画像に付加される。遅延回路９５０の構成は、図５を参照して説明した遅延回路９１３と同一であるため、説明は省略する。
【００４７】
スイッチ９６０には、解像度が復元された高解像度の警告色画像と、遅延回路９５０によってその位相が警告色画像の位相と同相に調整された元画像とが供給され、いずれかの画像が選択されて出力される。スイッチ９６０の接続先の切り替えは、エッジ抽出情報生成部９１０から供給されるエッジ抽出情報に基づいて行われる。
【００４８】
［２−２．警告画像生成処理部の処理の例］
図９は、スイッチ９６０による切り替え処理の例を示すフローチャートである。まず、エッジ抽出情報生成部９１０から供給されたエッジ抽出情報に基づいて、エッジが検出されたか否かが判断される（ステップＳ１１）。すなわち、注目画素が、エッジ部分の画素であるか否かが判断される。エッジが検出された場合には、スイッチ９６０の接続先が解像度復元部９４０側に切り替えられ、警告色画像が出力される（ステップＳ１２）。エッジが検出されなかった場合には、スイッチ９６０の接続先が遅延回路９５０側に切り替えられ、元画像が出力される（ステップＳ１３）。続いて、入力信号があるか否かが判断され、ある場合にはステップＳ１１に戻って処理が続けられる。ない場合には、処理は終了となる。
【００４９】
このような処理が行われることにより、図１０に示すように、被写体のエッジ部分であり、かつ視差が大きくついている部分、つまり飛び出し量や奥まり量が大きくなりすぎている部分に、警告色が重畳して表示される。図１０には、領域Ｄａ１に分類された、飛び出し量がつきすぎる画素に対しては警告色Ｗｃ１が重畳され、領域Ｄａ３に分類された、奥まり量がつきすぎる画素に対しては警告色Ｗｃ２が重畳されている。
【００５０】
上述した本実施の形態によれば、撮影画像に極端な３Ｄ効果がつきそうな場合に、そのエッジ部分全体に警告色が重畳して表示されるため、極端な３Ｄ効果が付きそうな箇所を、ユーザが直感的に把握することが可能となる。そして、警告色がついたエッジとして示される警告表示を見たユーザが、警告色が表示されないようにコンバージェンスおよび／またはズームを調整することにより、左右の視差画像間の視差が適正な範囲内に収まるようになる。
【００５１】
また、エッジ抽出情報生成部９１０では、元の高解像度のままの画像に基づいてエッジの抽出を行っており、かつ、高解像度の画像から抽出されたエッジ部分に、警告色が重畳される。つまり、警告色画像が高解像度で表示されるようになる。このような仕組みによって高解像度による警告色画像の表示が担保されるため、警告画像の生成を、低解像度化した画像に基づいて行うことができるようになる。
【００５２】
そして、警告画像生成の元となる深度情報の算出を、低解像度化部９２０Ｌと９２０Ｒとが低解像度化された画像を用いて行っているため、深度情報の算出を行う視差算出処理の処理量が大幅に軽減される。これにより、視差算出部９３１を構成するＣＰＵやＦＰＧＡ（Field-Programmable Gate Array）等のリソースを大幅に削減することが可能となる。したがって、バッテリーにより駆動するビデオカメラレコーダー等においても、本開示の映像信号処理方法による高解像度での警告画像の生成が可能となる。つまり、立体画像撮影における収録素材の安全性の確保および、ユーザが直感的に把握しやすい方法での警告画像の表示を、単体の商品のみによって実現できるようになる。
【００５３】
また、上述した実施の形態では、低解像度化部９２０Ｌと９２０Ｒによって低解像度化された画像を用いて視差を算出しているため、視差算出処理にかかる時間が短くて済む。これにより、映像信号のフレームレートと同一のレートで警告色の表示を行うことができるようになる。また、警告色の表示がフレーム毎に行われるため、警告色の重畳箇所の視認性もよくなる。
【００５４】
さらに、上述した実施の形態では、警告色の重畳がエッジ部分に対して行われるため、警告色表示によって、もとの被写体の形状が壊されてしまうことがなくなる。すなわち、極端な３Ｄ効果がつきそうな箇所が、より正確に表現されるようになる。
【００５５】
＜２．各種変形例＞
なお、上述した実施の形態では、色分け処理部９３２（図２参照）によって警告画像を生成してから解像度復元部９４０で解像度を復元しているが、最初に解像度を復元してから警告画像の生成を行うように、順序を逆にしてもよい。
【００５６】
また、上述した実施の形態では、フィルタ処理部９３３によるフィルタ処理を行っているが、フィルタ処理を行わないようにしてもよい。
【００５７】
また、上述した実施の形態では、左眼用画像に基づいてエッジを抽出する例をあげたが、右眼用画像を用いてエッジ抽出を行うようにしてもよい。この場合は、図２に示した警告画像生成部９３０への入力である左眼用画像と右眼用画像とを入れ替えるとともに、遅延回路９５０に対して右眼用画像を入力するようにする。もしくは、左眼用画像に基づいて警告画像を生成するブロックと、右眼用画像に基づいて警告画像を生成するブロックを並列で設けるようにしてもよい。
【００５８】
また、上述した実施の形態では、信号処理部４０Ｒおよび４０Ｌ（図１参照）から出力された映像信号に基づいて、警告画像生成処理部９０が警告画像を生成する例をあげたが、これに限定されるものではない。記録再生処理部５０Ｒおよび５０Ｌから出力された映像信号に基づいて、警告画像生成処理部９０が警告画像を生成するように構成してもよい。
【００５９】
また、上述した実施の形態では、本開示の映像信号処理装置を、左右の撮像系が１つの筐体に格納された立体画像撮像装置に適用した例をあげたが、これに限定されるものではない。右眼用画像を撮影する撮像装置と、左眼用画像を撮影する撮像装置との２台の撮像装置で立体画像を撮影する立体画像撮像装置に適用してもよい。この場合は、警告画像生成処理部９０は左右のいずれかの撮像装置内に設け、もう一方の撮像装置から映像信号を引き込んで警告画像生成処理部９０に入力するようにする。もしくは、左右の両方の撮像装置に警告画像生成処理部９０を設け、互いの映像信号を入力するように構成してもよい。
【００６０】
もしくは、本開示の映像信号処理装置を、撮像系を有さない映像信号処理装置に適用してもよい。図１１は、このような映像信号処理装置２００の構成例を示す図である。映像信号処理装置２００は、例えば制御部２１０と、出力信号制御部２２０とを備える。制御部２１０は、右眼用画像撮影用の撮像装置１００Ｒと、左眼用画像撮影用の撮像装置１００Ｌから入力される各映像信号に基づいて、アライメントずれや色ずれを補正する処理等を行う。制御部２１０には、警告画像生成処理部９０も含まれる。出力信号制御部２２０は、映像信号を、出力端子（図示略）に接続されるモニタに合わせた形式に変換して出力する。
【００６１】
本開示の映像信号処理装置を、このような立体画像撮像装置または映像信号処理装置に適用した場合にも、上述した実施の形態により得られる効果と同様の効果を得ることができる。
【００６２】
なお、本開示は以下のような構成も取ることができる。
（１）左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成するエッジ抽出情報生成部と、
前記左眼用の映像信号と前記右眼用の映像信号に基づいて、前記左眼用の映像信号よりなる左眼用の撮影画像と、前記右眼用の映像信号よりなる右眼用の撮影画像との視差を算出し、前記算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告色画像を生成する警告色画像生成部と、
前記エッジ抽出情報生成部で生成されたエッジ抽出情報に基づいて、前記注目画素がエッジ部分である場合には、前記警告色画像生成部で生成された前記警告色画像を出力し、前記注目画素がエッジ部分でない場合には、前記左眼用の映像信号または前記右眼用の映像信号を出力する出力信号制御部とを備えた
映像信号処理装置。
（２）前記左眼用映像信号と前記右眼用映像信号の解像度を所定の低い解像度に変換して、前記視差算出部に出力する低解像度化部と、
前記警告色画像または、前記視差が算出された段階での映像信号の解像度を、前記低解像度化部による低解像度化が行われる前の解像度に復元する解像度復元部とを備えた（１）に記載の映像信号処理装置。
（３）前記警告画像生成部は、前記算出された視差の大きさとして示される、撮像装置に対する被写体の奥行き方向の距離である深度を、少なくとも第１の閾値によって２つの領域に分割し、前記第１の閾値以上である領域または、前記第１の閾値未満の領域に対しては、前記警告色を対応付けない（１）または（２）に記載の映像信号処理装置。
（４）前記警告画像を所定のフレーム数分蓄積してその積分をとることによって、前記警告画像に対して時間軸方向のフィルタリングをかけるフィルタ処理部をさらに備える（１）〜（３）のいずれかに記載の映像信号処理装置。
（５）被写体光を光電変換して映像信号を生成する、右眼用の撮像素子および左眼用の撮像素子をさらに備える（１）〜（４）のいずれかに記載の映像信号処理装置。
（６）前記第１の閾値および前記第２の閾値の値は、前記出力信号制御部から出力される映像信号が入力される表示装置の大きさに対応して複数種類設けられる（１）〜（５）のいずれかに記載の映像信号処理装置。
（７）左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成することと、
前記左眼用の映像信号と前記右眼用の映像信号に基づいて、前記左眼用の映像信号よりなる左眼用の撮影画像と、前記右眼用の映像信号よりなる右眼用の撮影画像との視差を算出し、前記算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告色画像を生成することと、
前記エッジ抽出情報に基づいて、前記注目画素がエッジ部分である場合には、前記警告色画像を出力し、前記注目画素がエッジ部分でない場合には、前記左眼用の映像信号または前記右眼用の映像信号を出力することとを含む映像信号処理方法。
（８）エッジ部分であると判断された画素であり、かつ、右眼用の撮影画像と左眼用の撮影画像の表示画面上での距離である視差が、予め定められた所定の範囲を超えている画素に、前記視差の量に応じて色を異ならせた警告色が重なって表示される映像信号を生成する映像信号処理装置。
【符号の説明】
【００６３】
１０Ｌ…レンズ、１０Ｒ…レンズ、２０Ｌ…撮像素子、２０Ｒ…撮像素子、３０…制御部、４０Ｌ…信号処理部、４０Ｒ…信号処理部、５０Ｌ…記録再生処理部、５０Ｒ…記録再生処理部、６０…記録部、７０…表示処理部、８０…表示部、９０…警告画像生成処理部、１００…立体画像撮像装置、１００Ｌ…撮像装置、１００Ｒ…撮像装置、２００…映像信号処理装置、２１０…制御部、２２０…出力信号制御部、９１０…エッジ抽出情報生成部、９１１…エッジ検出部、９１２…２値化処理部、９１３…遅延回路、９１３ａ…書き込みアドレス管理部、９１３ｂ…データ保持部、９１３ｃ…読み出しアドレス管理部、９２０Ｌ…低解像度化部、９２０Ｒ…低解像度化部、９３０…警告画像生成部、９３１…視差算出部、９３２…処理部、９３３…フィルタ処理部、９４０…解像度復元部、９５０…遅延回路、９６０…スイッチ、Ｄａ１…第１の領域、Ｄａ２…第２の領域、Ｄａ３…第３の領域、Ｔｈ１，Ｔｈ２…閾値、Ｗｃ１，Ｗｃ２…警告色
【技術分野】
【０００１】
本開示は、立体画像を撮影する立体画像撮像装置に適用して好適な映像信号処理装置およびその映像信号処理方法に関する。
【背景技術】
【０００２】
従来、左眼用の画像と右眼用の画像を撮影する立体画像撮像装置が知られている。立体画像の立体感は、左右の画像のズレ量である視差によって表現され、視差をゼロにした場合には、立体画像の再生位置はディスプレイ等の表示面と一致する。右眼用の画像に対して左眼用の画像が右方向に視差を有する場合は、立体像はディスプレイの手前側で再生される。反対に、右眼用の画像に対して左眼用の画像が左方向に視差を有する場合には、立体像は奥行きを持った像として再生される。
【０００３】
このような立体像の手前方向への飛び出し量や奥行き方向への奥まり量は、視差の量を変化させることにより調整することができる。ただし、過度の視差は、視聴者が立体画像の融像をできなくなったり、視覚疲労や不快感をおぼえる原因となる。このため、立体画像撮像装置や、立体画像撮像装置から左右の視差画像を入力して画像処理を行う映像信号処理装置等においては、視聴者に不快感を与えるような映像が撮像および／または記録されてしまうことを防ぐための様々な工夫がされている。例えば特許文献１には、左撮像系と右撮像系とにおける合焦位置のズレを防ぐことによって、立体視し易く眼が疲れにくい立体視画像を得ることができることが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２８０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
また、左右の視差画像の視差が過大となり、極端な３Ｄ効果がついてしまいそうな場合に、そのことをユーザに表示画面上で喚起（警告）する技術も知られている。ある箇所に極端な３Ｄ効果が付きそうか否かの判断は、例えば、左右の視差画像において抽出された特徴点間の距離の大きさに基づいて行われる。そして、特徴点間の距離が大きすぎる場合に、立体画像の飛び出し量や奥まり量が過度に付いてしまう危険があると判断する。表示画面上での警告は、抽出された特徴点上に、左右の特徴点間の距離によって異ならせた警告色を重畳して表示すること等により行われる。または、横軸で特徴点間の距離を表し、縦軸でその距離を持つ画素の総数を示したヒストグラム等によっても表現される。
【０００６】
ところが、この手法では、左右の視差画像間の視差の大きさの測定が、画面上の特定の箇所にしか行われないため、警告色の表示も、視差の測定が行われた特定の箇所に対してしか行われない。ヒストグラムで表示される場合には、警告色の表示は画像とは関係のないグラフ上で行われる。このため、極端な３Ｄ効果がつきそうな箇所を、ユーザが表示画面上で直感的に把握することが難しいという問題があった。
【０００７】
本開示はかかる点に鑑みてなされたものであり、極端な３Ｄ効果がつきそうな箇所を、ユーザが直感的に把握しやすいユーザ・インタフェースで、ユーザに提供することを眼的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本開示の映像信号処理装置は、エッジ抽出情報生成部と、警告色画像生成部と、出力信号制御部とを備える構成とし、各部の構成及び機能を次のようにする。エッジ抽出情報生成部は、左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成する。警告色画像生成部は、左眼用の映像信号と右眼用の映像信号に基づいて、左眼用の映像信号よりなる左眼用の撮影画像と、右眼用の映像信号よりなる右眼用の撮影画像との視差を算出する。さらに、算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告色画像を生成する。出力信号制御部は、エッジ抽出情報生成部で生成されたエッジ抽出情報に基づいて、注目画素がエッジ部分である場合には、警告色画像生成部で生成された警告色画像を出力する。注目画素がエッジ部分でない場合には、左眼用の映像信号または右眼用の映像信号を出力する。
【０００９】
また、上記課題を解決するために、本開示の映像信号処理方法は、次の手順で行う。まず、左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成する。次に、左眼用の映像信号と右眼用の映像信号に基づいて、左眼用の映像信号よりなる左眼用の撮影画像と、右眼用の映像信号よりなる右眼用の撮影画像との視差を算出する。次に、算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告色画像を生成する。次に、エッジ抽出情報に基づいて、注目画素がエッジ部分である場合には警告色画像を出力し、注目画素がエッジ部分でない場合には、左眼用の映像信号または右眼用の映像信号を出力する。
【００１０】
このように構成および処理することで、左右の視差画像間の視差の大きさ、すなわち立体画像の表示面に対する奥行き方向の深度が、異なる警告色によって、エッジ抽出情報が検知された画素に重畳して表示されるようになる。つまり、極端な３Ｄ効果がつく恐れのある箇所のエッジ部分に、深度に応じて色を異ならせた警告色が重畳して表示される。
【発明の効果】
【００１１】
本開示の映像信号処理装置および映像信号処理方法によれば、極端な３Ｄ効果がつく恐れのある箇所が、ユーザにとって直感的に分かりやすいユーザ・インタフェースで、ユーザに提供されるようになる。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態による立体画像撮像装置の構成例を示すブロック図である。
【図２】本開示の一実施形態による警告画像生成処理部の構成例を示すブロック図である。
【図３】本開示の一実施形態によるエッジ抽出処理の例を示す説明図であり、（ａ）は垂直方向のエッジを抽出するフィルタの例を示し、（ｂ）は水平方向のエッジを抽出するフィルタの例を示す。
【図４】本開示の一実施形態によるエッジ抽出処理および２値化処理の例を示す説明図であり、（ａ）はエッジ抽出処理が行われる前の元画像の例を示し、（ｂ）はエッジ抽出処理後の画像の例を示し、（ｃ）は２値化された画像の例を示す。
【図５】本開示の一実施形態による遅延回路の構成例を示すブロック図である。
【図６】本開示の一実施形態による低解像度化処理の例を示す説明図であり、（ａ）は低解像度化される前の元画像の例を示し、（ｂ）は、低解像度化された画像の例を示す。
【図７】本開示の一実施形態による視差算出処理の例を示す説明図であり、（ａ）は視差算出処理の対象となる左眼用画像の例を示し、（ｂ）は視差算出処理の対象となる右眼用画像の例を示す。
【図８】本開示の一実施形態による色分け処理の例を示す説明図である。
【図９】本開示の一実施形態によるスイッチの切り替え処理の例を示すフローチャートである。
【図１０】本開示の一実施形態による警告画像が重畳された画像の例を示す図である。
【図１１】本開示の変形例による映像信号処理装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下に、本開示の実施形態に係る映像信号処理装置の具体例を、図面を参照しながら下記の順で説明する。
１．映像信号処理装置を立体画像撮像装置に適用した場合の構成例
２．警告色画像生成処理部の構成および処理の例
３．各種変形例
【００１４】
＜１．映像信号処理装置の構成例＞
まず、続いて本開示の実施形態に係る映像信号処理装置の構成例を説明する。本実施の形態では、映像信号処理装置を、左眼用画像の撮像系と右眼用画像の撮像系とを有する立体画像撮像装置に適用して説明する。図１は、立体画像撮像装置１００の内部構成例を示すブロック図である。
【００１５】
立体画像撮像装置１００は、右眼用画像の処理系統として、レンズ１０Ｒと、撮像素子２０Ｒと、信号処理部４０Ｒと、記録再生処理部５０Ｒとを備える。また、左眼用の処理系統として、レンズ１０Ｌと、撮像素子２０Ｌと、信号処理部４０Ｌと、記録再生処理部５０Ｌとを備える。右眼用画像の処理系等を構成する各部と、左眼用画像の処理系等を構成する各部は、それぞれが有する機能は同一であるため、各部の機能の説明は、右眼用画像の処理系等についてのみ行う。
【００１６】
レンズ１０Ｒは、右眼用画像を撮影するレンズであり、多数枚・多群のレンズやフィルタ、絞り、レンズ駆動機構などから構成されているものとする。さらに、これらの機構に加えて、ズーム機能や焦点調節機能、その他の機能があってもよい。撮像素子２０Ｒは、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の素子で構成される。撮像素子２０Ｒには、その受光面上に複数の光電変換素子が二次元的に配置されている。各光電変換素子は画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。各光電変換素子は、受光面に結像された被写体光の光量に応じた信号電荷を蓄積する。各光電変換素子に蓄積された信号電荷は、ＣＰＵ（Central Processing Unit）等よりなる制御部３０の制御によって読み出され、信号処理部４０Ｒに出力される。
【００１７】
信号処理部４０Ｒは、撮像素子２０Ｒから読み出された信号電荷に含まれるノイズを除去するＣＤＳ（相関二重サンプリング）回路や、ノイズが除去された信号のレベルを一定のレベルにコントロールするＡＧＣ（Automatic Gain Control）回路を含む。また、これらの処理が行われたアナログの映像信号をデジタルの映像信号に変換するＡ／Ｄコンバータも含む。なお、撮像素子２０ＲをＣＭＯＳ素子で構成した場合には、これらの各処理は撮像素子２０Ｒ内で行われる。
【００１８】
記録再生処理部５０Ｒは、制御部３０の制御に基づいて、信号処理部４０Ｒで信号処理された映像信号を所定の形式で圧縮したり、入力された圧縮画像を伸張したりする処理を行う。圧縮した映像信号は、ビデオテープやＨＤＤ（Hard Disc Drive）、メモリカード等よりなる記録部６０に記録し、記録部６０から読み出して圧縮した映像信号は、表示処理部７０に出力する。表示処理部７０は、ＬＣＤ（Liquid Crystal Display）等よりなる表示部８０に映像信号を表示させるための処理を行う。表示部８０は、ビューファインダとして構成される。
【００１９】
警告画像生成処理部９０は、信号処理部４０Ｒから入力される右眼用の映像信号と、信号処理部４０Ｌから入力される左眼用の映像信号に基づいて左右の視差画像間の視差を算出し、視差の大きさに応じて異ならせた警告色を被写体のエッジ部分に重畳して出力する。警告色が重畳された警告画像は、表示処理部７０に供給され、表示処理部７０によって表示部８０に表示される。
【００２０】
なお、図１では図示を省略しているが、立体画像撮像装置１００は、コンバージェンス（輻輳角）を、レンズの向き等の制御によって光学的に調整する機構もしくは、レンズ全体の回転または移動によって機械的に調整する輻輳角制御部を備える。ユーザが、画面上に表示された警告色が表示されなくなるようにコンバージェンスやズームを調整することで、撮影画像における視差が適正な範囲内に収まるようになる。つまり、立体画像に極端な３Ｄ効果がついてしまうことを防ぐことができる。
【００２１】
＜２．警告画像生成処理部の構成および処理の例＞
［２−１．警告画像生成処理部の構成例］
図２は、警告画像生成処理部９０の構成例を示すブロック図である。警告画像生成処理部９０は、エッジ抽出情報生成部９１０と、低解像度化部９２０Ｌおよび９２０Ｒと、警告画像生成部９３０と、解像度復元部９４０と、遅延回路９５０と、出力信号制御部としてのスイッチ９６０とを備える。
【００２２】
エッジ抽出情報生成部９１０は、エッジ検出部９１１と、２値化処理部９１２と、遅延回路９１３とを含む。エッジ検出部９１１は、信号処理部４０Ｒ（図１参照）から出力される左眼用画像に基づいて、画像中で画素の濃淡が急激に変化するエッジ部分を抽出する。エッジの抽出には、例えばソーベルフィルタ等のフィルタを使用する。
【００２３】
図３は、ソーベルフィルタの構成例を示したものである。図３（ａ）は垂直方向のエッジを抽出するフィルタであり、図３（ｂ）は水平方向のエッジを抽出するフィルタである。図３（ａ）の垂直エッジ抽出用フィルタは、注目画素とその左側の一列および右側の一列の各画素との差分を抽出し、図３（ｂ）の水平エッジ抽出用フィルタは、注目画素とその上側の一列および下側の一列の各画素との差分を抽出する。これらのフィルタの抽出結果を加算することにより、画像における縦横両方向のエッジを抽出することができる。
【００２４】
なお、本実施の形態ではソーベルフィルタを用いた例をあげたが、微分フィルタやハイパスフィルタ等の他の手段を用いてエッジ抽出を行うようにしてもよい。
【００２５】
図２に戻って説明を続けると、２値化処理部９１２は、エッジ抽出情報生成部９１０から出力された画像に対して閾値処理を行うことにより、画像内の領域をエッジ部と非エッジ部とに分ける。つまり、エッジ部分として検出された画素に対して、予め定めた閾値を超えたものに対しては例えば“１”を出力し、閾値以下のものに対しては“０”を出力する。閾値の大きさは、例えば設計者が経験則に基づいて算出される値をヒューリスティックに設定する。
【００２６】
もしくは、ある一定の範囲を持たせた閾値の中から、ユーザが任意の値を選択できるように構成してもよい。閾値の大きさによって抽出されるエッジの太さが異なるため、エッジに重畳される警告色の見え方も閾値の大きさによって変化する。このため、閾値をユーザに選択させる構成とすることで、警告色が重畳される線（エッジ）の太さを、ユーザの好みの太さに調整させることも可能となる。
【００２７】
図４（ａ）は、エッジ抽出情報生成部９１０に入力される元画像を示したものであり、エッジ抽出情報生成部９１０がエッジの抽出を行うことにより、図４（ｂ）に示すようなエッジ部分が抽出された画像が生成される。この図４（ｂ）に示す画像を、２値化処理部９１２がさらに閾値処理することにより、図４（ｂ）に示すように白黒の２色で絵柄が表現されるようになる。すなわち、各画素が、エッジ部分であるかそれ以外の部分であるかの２値で表現される。２値化処理部９１２は、閾値処理によって求められた２値の情報との組を、エッジ抽出情報として垂直同期信号および水平同期信号とともに遅延回路９１３に出力する。
【００２８】
再び図２に戻って説明を続けると、遅延回路９１３は、２値化処理部９１２から出力されたエッジ抽出情報を、所定の時間だけ遅延させて出力する。遅延回路９１３によって加えられる遅延の量は、後述する低解像度化部９２０Ｌと９２０Ｒに左右の画像が入力されてから警告色画像が生成されるまでの時間と、エッジ抽出情報が生成される時間との差分によって求められる。エッジ抽出情報が生成される時間よりも、警告色画像が生成される時間のほうが長いため、警告色画像が出力されるタイミングとエッジ抽出情報が出力されるタイミングとを一致させる目的で、エッジ抽出情報に遅延を加えている。
【００２９】
遅延回路９１３の構成例を図５に示す。遅延回路９１３は、書き込みアドレス管理部９１３ａと、デュアルポートＲＡＭ（Random Access Memory）等よりなるデータ保持部９１３ｂと、読み出しアドレス管理部９１３ｃとで構成される。書き込みアドレス管理部９１３ａは、制御部３０（図１参照）の制御に基づいて、データ保持部９１３ｂのアドレス空間内でサイクリックにアドレスをカウントアップする。そして、カウントアップしたアドレスを、ライトアドレスとしてデータ保持部９１３ｂに印加する。読み出しアドレス管理部９１３ｃは、制御部３０の制御に基づいて、データ保持部９１３ｂのアドレス空間内でサイクリックにアドレスをカウントアップする。そして、カウントアップしたアドレスを、リードアドレスとしてデータ保持部９１３ｂに印加する。
【００３０】
つまり、データ保持部９１３ｂには、書き込みアドレス管理部９１３ａによって印加されたライトアドレスに、ライトアドレスが印加されたタイミングでデータが書き込まれる。また、データ保持部９１３ｂに書き込まれているデータは、読み出しアドレス管理部９１３ｃによって印加されたリードアドレスから、リードアドレスが印加されたタイミングで読み出される。このリードアドレスとライトアドレスとの番地の差が大きいほど、データ保持部９１３ｂにデータが書き込まれてから読み出されるまでの時間が長くなる。つまり、この差分が、エッジ抽出情報に加えられる遅延量となる。
【００３１】
再び図２に戻って説明を続ける。低解像度化部９２０Ｌは、信号処理部４０Ｌ（図１参照）から入力される左眼用画像の解像度を、より低い解像度に変換して出力する。低解像度化部９２０Ｒは、信号処理部４０Ｒから入力される右眼用画像の解像度を、より低い解像度に変換して出力する。入力された画像の低解像度化は、例えば、画素間引きや平均化等の手法で行う。縦横の各画素を１／４画素ずつ間引けば、解像度を１／１６に落とすことができる。低解像度化部９２０Ｌと低解像度化部９２０Ｒによってこのような処理が行われることにより、図６（ａ）に示す元画像が、図６（ｂ）に示すような低解像度の画像に変換される。これにより、後段の警告画像生成部９３０（図２参照）に入力される画像のデータ量が大幅に削減される。
【００３２】
警告画像生成部９３０は、視差算出部９３１と、色分け処理部９３２と、フィルタ処理部９３３とを含む。視差算出部９３１は、低解像度化部９２０Ｌと低解像度化部９２０Ｒによって低解像度化された左右の入力画像を用いて、各画素における左右の画素間の視差を算出する。図７は、視差算出部９３１による視差算出処理の例を示す図である。図７（ａ）は右眼用画像を示し、図７（ｂ）は左眼用画像を示す。いずれの画像とも、横方向ｎ画素×縦方向ｍ画素の（ｍ×ｎ）画素よりなるものとする。
【００３３】
視差の算出は、左右の画像に対して画素単位でマッチングをかけ、マッチングのとれた両画素の画素値の差分を算出することにより行う。図７（ａ）に示す左眼用画像のＰｘＬ１を注目画素とした場合、まず、図７（ｂ）に示す右眼用画像における、この画素ＰｘＬ１と同じ１８０列目にあるすべての画素を、左端から右方向に順に走査する。続いて、画素毎に類似度をスコアに換算して記録する。１８０列目にあるすべての画素の走査が終了した時点で、一番スコアの高かった箇所の画素を抽出する。そして、抽出した画素の水平方向における座標と、比較元の左眼用画像の注目画素ＰｘＬ１の水平方向の座標との差分を算出する。
【００３４】
図７に示した例では、注目画素ＰｘＬ１ともっとも類似している右眼用画像の画素は、画素ＰｘＲ１である。注目画素ＰｘＬ１の水平方向における座標は“２５０”であり、対応画素ＰｘＲ１の水平方向における座標は“２５３”であるため、その差は“３”となる。この差分“３”は、左右の画像の水平方向におけるずれ量を示す値、つまり視差である。
【００３５】
視差の大きさは、被写体の立体画像撮像装置１００からの距離を表している。撮影時にコンバージェンスが大きく設定され、輻輳点が立体画像撮像装置１００側（手前側）に形成される場合には、算出される視差は小さくなる。逆に、輻輳点が被写体側（奥側）に形成される場合には、視差は大きくなる。すなわち、視差量が、被写体の立体画像撮像装置１００に対する奥行き方向の深度を示しているといえる。視差算出部９３１は、左右の画像を入力画像として視差を算出し、算出した視差の大きさを深度情報として、画素の情報とともに色分け処理部９３２（図２参照）に出力する。
【００３６】
なお、本実施の形態では、左右の画像に対して画素単位でマッチングをかけた例をあげたが、これに限定されるものではない。特徴点を抽出し、その特徴点同士をマッチングさせてもよい。ただし、特徴点同士をマッチングさせる場合は、特徴点周辺以外の画素の深度情報を得ることができないため、低解像度化された画面全域にわたる深度情報を得る目的で、深度の測定を行った特徴点以外の画素に対する塗りつぶし等の処理を別途行う必要がある。
【００３７】
色分け処理部９３２は、視差算出部９３１から入力された深度情報に対して、まず閾値処理を行う。図８は、色分け処理部９３２による色分け処理の例を示す図である。縦軸は深度を示し、横軸は画素の座標を示す。閾値としては、値の異なる２つの閾値Ｔｈ１、閾値Ｔｈ２を設けている。これらの閾値によって、深度が、深度０以上閾値Ｔｈ１未満の第１の領域Ｄａ１と、閾値Ｔｈ１以上閾値Ｔｈ２未満の第２の領域Ｄａ２と、閾値Ｔｈ２以上の第３の領域Ｄａ３に分割される。
【００３８】
各領域Ｄａには、予め対応する警告色を割り振ってある。図８に示す例では、第１の領域Ｄａ１には警告色Ｗｃ１が割り当てられ、第２の領域Ｄａ２には警告色の割り当てなし、第３の領域Ｄａ３には警告色Ｗｃ２が割り当てられている。色分け処理部９３２は、視差算出部９３１から入力された画素の深度が、上述した領域Ｄａのうちのどの領域に区分されるかを判断し、区分された領域Ｄａと対応づけられた警告色を、入力された画素に重畳して出力する。
【００３９】
入力された画素の深度が第２の領域Ｄａ２に区分された場合には、警告色の重畳は行われない。つまり、第２の領域Ｄａ２は、警告色を表示する必要のない領域として設定してある。第２の領域Ｄａ２を決定づける閾値Ｔｈ１と閾値Ｔｈ２の値は、予め固定的な値を設定してもよく、表示部８０（図１参照）上に表示したメニュー画面等から、ユーザに任意の値を選択できるようにしてもよい。
【００４０】
ユーザに選択させる場合には、閾値Ｔｈ１と閾値Ｔｈ２を選択させるのではなく、例えば、画像の水平方向の幅において視差が占める割合を百分率で示した値を選択させる等の手法が考えられる。画像の横幅に対する視差の割合が指定されることによって、第２の領域Ｄａ２の範囲も定まる。この場合の「画像の横幅に対する視差の割合」は、立体映像撮影用のガイドライン等の中で「快適な視聴を行える視差範囲」等として示される情報に基づいて設定することができる。
【００４１】
もしくは、閾値Ｔｈ１と閾値Ｔｈ２とを、画像が最終的に出力される表示画面（図示略）のサイズ毎に複数種類用意しておき、ユーザに画面のサイズを選択させることにより、閾値Ｔｈ１と閾値Ｔｈ２とが一意に定まるように構成してもよい。
【００４２】
なお、本実施の形態では、閾値Ｔｈを２つ設けて深度を３つの領域に分割した例をあげたが、これに限定されるものではない。深度の領域をより細かく分割することにより、警告の度合いにも段階性を持たせるようにしてもよい。例えば、破綻する（極端な３Ｄ効果が付きすぎる）可能性が高い領域に区分された画素には赤い警告色を重畳し、破綻する可能性がある画素には黄色い警告色を重畳する。さらに、破綻する可能性がややある画素には、緑色の警告色を重畳する、等の手法が考えられる。あるいは、閾値Ｔｈを１つのみ設けて、深度が浅い側（もしくは深い側）の領域に区分された画素に対してのみ、警告色を重畳するようにしてもよい。
【００４３】
また、上述した実施の形態では、深度が深すぎる、あるいは浅すぎる画素に警告色を重畳することで、ユーザに対して警告を行う例をあげたが、これに限定されるものではない。深度が分割されてなる各領域Ｄａに対して、色ではなく異なるテクスチャを割り当ててもよい。もしくは、パターンの点滅周期を異ならせたものを各領域Ｄａに割り当ててもよい。
【００４４】
再び図２に戻って説明を続ける。フィルタ処理部９３３は、色分け処理部９３２から入力された警告色画像を所定のフレーム数分蓄積してその積をとることにより、同一画素における時間軸方向のフィルタリングを行う。例えば、入力された画素を数フレーム分蓄積して積をとり、数フレーム連続で同一の警告色が出力された場合にそれを採用する。同一の警告色が、積がとられた数フレームにおいて連続で出力されなかった場合には、警告色は重畳せずに画素を出力する。このような処理を行うことにより、出力画像にノイズが混入する可能性をより低くすることができる。画素を蓄積するフレーム数は、ノイズ除去効果をどの程度に設定したいか等の情報に基づいて、任意の値に設定可能であるものとする。
【００４５】
フィルタ処理部９３３でフィルタリングされた警告色画像は、解像度復元部９４０に出力される。解像度復元部９４０は、入力された警告色画像の解像度を、元の解像度に復元する処理を行う。元の解像度への復元は、例えば、低解像度化部９２０Ｌと９２０Ｒによって解像度が１／１６に落とされた場合には、同じ画素を１６個並べて単純に拡大することによって行う。もしくは、他の方法を用いて解像度を復元してもよい。解像度復元部９４０で解像度が復元された警告色画像は、スイッチ９６０に供給される。
【００４６】
遅延回路９５０は、信号処理部４０Ｌ（図１参照）から出力された左眼用画像を、所定の時間だけ遅延させて出力する。つまり、スイッチ９６０に供給される警告色画像の位相と、信号処理部４０Ｌから出力された左眼用画像の位相の差をなくすための遅延量が、元画像として出力される左眼用画像に付加される。遅延回路９５０の構成は、図５を参照して説明した遅延回路９１３と同一であるため、説明は省略する。
【００４７】
スイッチ９６０には、解像度が復元された高解像度の警告色画像と、遅延回路９５０によってその位相が警告色画像の位相と同相に調整された元画像とが供給され、いずれかの画像が選択されて出力される。スイッチ９６０の接続先の切り替えは、エッジ抽出情報生成部９１０から供給されるエッジ抽出情報に基づいて行われる。
【００４８】
［２−２．警告画像生成処理部の処理の例］
図９は、スイッチ９６０による切り替え処理の例を示すフローチャートである。まず、エッジ抽出情報生成部９１０から供給されたエッジ抽出情報に基づいて、エッジが検出されたか否かが判断される（ステップＳ１１）。すなわち、注目画素が、エッジ部分の画素であるか否かが判断される。エッジが検出された場合には、スイッチ９６０の接続先が解像度復元部９４０側に切り替えられ、警告色画像が出力される（ステップＳ１２）。エッジが検出されなかった場合には、スイッチ９６０の接続先が遅延回路９５０側に切り替えられ、元画像が出力される（ステップＳ１３）。続いて、入力信号があるか否かが判断され、ある場合にはステップＳ１１に戻って処理が続けられる。ない場合には、処理は終了となる。
【００４９】
このような処理が行われることにより、図１０に示すように、被写体のエッジ部分であり、かつ視差が大きくついている部分、つまり飛び出し量や奥まり量が大きくなりすぎている部分に、警告色が重畳して表示される。図１０には、領域Ｄａ１に分類された、飛び出し量がつきすぎる画素に対しては警告色Ｗｃ１が重畳され、領域Ｄａ３に分類された、奥まり量がつきすぎる画素に対しては警告色Ｗｃ２が重畳されている。
【００５０】
上述した本実施の形態によれば、撮影画像に極端な３Ｄ効果がつきそうな場合に、そのエッジ部分全体に警告色が重畳して表示されるため、極端な３Ｄ効果が付きそうな箇所を、ユーザが直感的に把握することが可能となる。そして、警告色がついたエッジとして示される警告表示を見たユーザが、警告色が表示されないようにコンバージェンスおよび／またはズームを調整することにより、左右の視差画像間の視差が適正な範囲内に収まるようになる。
【００５１】
また、エッジ抽出情報生成部９１０では、元の高解像度のままの画像に基づいてエッジの抽出を行っており、かつ、高解像度の画像から抽出されたエッジ部分に、警告色が重畳される。つまり、警告色画像が高解像度で表示されるようになる。このような仕組みによって高解像度による警告色画像の表示が担保されるため、警告画像の生成を、低解像度化した画像に基づいて行うことができるようになる。
【００５２】
そして、警告画像生成の元となる深度情報の算出を、低解像度化部９２０Ｌと９２０Ｒとが低解像度化された画像を用いて行っているため、深度情報の算出を行う視差算出処理の処理量が大幅に軽減される。これにより、視差算出部９３１を構成するＣＰＵやＦＰＧＡ（Field-Programmable Gate Array）等のリソースを大幅に削減することが可能となる。したがって、バッテリーにより駆動するビデオカメラレコーダー等においても、本開示の映像信号処理方法による高解像度での警告画像の生成が可能となる。つまり、立体画像撮影における収録素材の安全性の確保および、ユーザが直感的に把握しやすい方法での警告画像の表示を、単体の商品のみによって実現できるようになる。
【００５３】
また、上述した実施の形態では、低解像度化部９２０Ｌと９２０Ｒによって低解像度化された画像を用いて視差を算出しているため、視差算出処理にかかる時間が短くて済む。これにより、映像信号のフレームレートと同一のレートで警告色の表示を行うことができるようになる。また、警告色の表示がフレーム毎に行われるため、警告色の重畳箇所の視認性もよくなる。
【００５４】
さらに、上述した実施の形態では、警告色の重畳がエッジ部分に対して行われるため、警告色表示によって、もとの被写体の形状が壊されてしまうことがなくなる。すなわち、極端な３Ｄ効果がつきそうな箇所が、より正確に表現されるようになる。
【００５５】
＜２．各種変形例＞
なお、上述した実施の形態では、色分け処理部９３２（図２参照）によって警告画像を生成してから解像度復元部９４０で解像度を復元しているが、最初に解像度を復元してから警告画像の生成を行うように、順序を逆にしてもよい。
【００５６】
また、上述した実施の形態では、フィルタ処理部９３３によるフィルタ処理を行っているが、フィルタ処理を行わないようにしてもよい。
【００５７】
また、上述した実施の形態では、左眼用画像に基づいてエッジを抽出する例をあげたが、右眼用画像を用いてエッジ抽出を行うようにしてもよい。この場合は、図２に示した警告画像生成部９３０への入力である左眼用画像と右眼用画像とを入れ替えるとともに、遅延回路９５０に対して右眼用画像を入力するようにする。もしくは、左眼用画像に基づいて警告画像を生成するブロックと、右眼用画像に基づいて警告画像を生成するブロックを並列で設けるようにしてもよい。
【００５８】
また、上述した実施の形態では、信号処理部４０Ｒおよび４０Ｌ（図１参照）から出力された映像信号に基づいて、警告画像生成処理部９０が警告画像を生成する例をあげたが、これに限定されるものではない。記録再生処理部５０Ｒおよび５０Ｌから出力された映像信号に基づいて、警告画像生成処理部９０が警告画像を生成するように構成してもよい。
【００５９】
また、上述した実施の形態では、本開示の映像信号処理装置を、左右の撮像系が１つの筐体に格納された立体画像撮像装置に適用した例をあげたが、これに限定されるものではない。右眼用画像を撮影する撮像装置と、左眼用画像を撮影する撮像装置との２台の撮像装置で立体画像を撮影する立体画像撮像装置に適用してもよい。この場合は、警告画像生成処理部９０は左右のいずれかの撮像装置内に設け、もう一方の撮像装置から映像信号を引き込んで警告画像生成処理部９０に入力するようにする。もしくは、左右の両方の撮像装置に警告画像生成処理部９０を設け、互いの映像信号を入力するように構成してもよい。
【００６０】
もしくは、本開示の映像信号処理装置を、撮像系を有さない映像信号処理装置に適用してもよい。図１１は、このような映像信号処理装置２００の構成例を示す図である。映像信号処理装置２００は、例えば制御部２１０と、出力信号制御部２２０とを備える。制御部２１０は、右眼用画像撮影用の撮像装置１００Ｒと、左眼用画像撮影用の撮像装置１００Ｌから入力される各映像信号に基づいて、アライメントずれや色ずれを補正する処理等を行う。制御部２１０には、警告画像生成処理部９０も含まれる。出力信号制御部２２０は、映像信号を、出力端子（図示略）に接続されるモニタに合わせた形式に変換して出力する。
【００６１】
本開示の映像信号処理装置を、このような立体画像撮像装置または映像信号処理装置に適用した場合にも、上述した実施の形態により得られる効果と同様の効果を得ることができる。
【００６２】
なお、本開示は以下のような構成も取ることができる。
（１）左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成するエッジ抽出情報生成部と、
前記左眼用の映像信号と前記右眼用の映像信号に基づいて、前記左眼用の映像信号よりなる左眼用の撮影画像と、前記右眼用の映像信号よりなる右眼用の撮影画像との視差を算出し、前記算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告色画像を生成する警告色画像生成部と、
前記エッジ抽出情報生成部で生成されたエッジ抽出情報に基づいて、前記注目画素がエッジ部分である場合には、前記警告色画像生成部で生成された前記警告色画像を出力し、前記注目画素がエッジ部分でない場合には、前記左眼用の映像信号または前記右眼用の映像信号を出力する出力信号制御部とを備えた
映像信号処理装置。
（２）前記左眼用映像信号と前記右眼用映像信号の解像度を所定の低い解像度に変換して、前記視差算出部に出力する低解像度化部と、
前記警告色画像または、前記視差が算出された段階での映像信号の解像度を、前記低解像度化部による低解像度化が行われる前の解像度に復元する解像度復元部とを備えた（１）に記載の映像信号処理装置。
（３）前記警告画像生成部は、前記算出された視差の大きさとして示される、撮像装置に対する被写体の奥行き方向の距離である深度を、少なくとも第１の閾値によって２つの領域に分割し、前記第１の閾値以上である領域または、前記第１の閾値未満の領域に対しては、前記警告色を対応付けない（１）または（２）に記載の映像信号処理装置。
（４）前記警告画像を所定のフレーム数分蓄積してその積分をとることによって、前記警告画像に対して時間軸方向のフィルタリングをかけるフィルタ処理部をさらに備える（１）〜（３）のいずれかに記載の映像信号処理装置。
（５）被写体光を光電変換して映像信号を生成する、右眼用の撮像素子および左眼用の撮像素子をさらに備える（１）〜（４）のいずれかに記載の映像信号処理装置。
（６）前記第１の閾値および前記第２の閾値の値は、前記出力信号制御部から出力される映像信号が入力される表示装置の大きさに対応して複数種類設けられる（１）〜（５）のいずれかに記載の映像信号処理装置。
（７）左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成することと、
前記左眼用の映像信号と前記右眼用の映像信号に基づいて、前記左眼用の映像信号よりなる左眼用の撮影画像と、前記右眼用の映像信号よりなる右眼用の撮影画像との視差を算出し、前記算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告色画像を生成することと、
前記エッジ抽出情報に基づいて、前記注目画素がエッジ部分である場合には、前記警告色画像を出力し、前記注目画素がエッジ部分でない場合には、前記左眼用の映像信号または前記右眼用の映像信号を出力することとを含む映像信号処理方法。
（８）エッジ部分であると判断された画素であり、かつ、右眼用の撮影画像と左眼用の撮影画像の表示画面上での距離である視差が、予め定められた所定の範囲を超えている画素に、前記視差の量に応じて色を異ならせた警告色が重なって表示される映像信号を生成する映像信号処理装置。
【符号の説明】
【００６３】
１０Ｌ…レンズ、１０Ｒ…レンズ、２０Ｌ…撮像素子、２０Ｒ…撮像素子、３０…制御部、４０Ｌ…信号処理部、４０Ｒ…信号処理部、５０Ｌ…記録再生処理部、５０Ｒ…記録再生処理部、６０…記録部、７０…表示処理部、８０…表示部、９０…警告画像生成処理部、１００…立体画像撮像装置、１００Ｌ…撮像装置、１００Ｒ…撮像装置、２００…映像信号処理装置、２１０…制御部、２２０…出力信号制御部、９１０…エッジ抽出情報生成部、９１１…エッジ検出部、９１２…２値化処理部、９１３…遅延回路、９１３ａ…書き込みアドレス管理部、９１３ｂ…データ保持部、９１３ｃ…読み出しアドレス管理部、９２０Ｌ…低解像度化部、９２０Ｒ…低解像度化部、９３０…警告画像生成部、９３１…視差算出部、９３２…処理部、９３３…フィルタ処理部、９４０…解像度復元部、９５０…遅延回路、９６０…スイッチ、Ｄａ１…第１の領域、Ｄａ２…第２の領域、Ｄａ３…第３の領域、Ｔｈ１，Ｔｈ２…閾値、Ｗｃ１，Ｗｃ２…警告色
【特許請求の範囲】
【請求項１】
左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成するエッジ抽出情報生成部と、
前記左眼用の映像信号と前記右眼用の映像信号に基づいて、前記左眼用の映像信号よりなる左眼用の撮影画像と、前記右眼用の映像信号よりなる右眼用の撮影画像との視差を算出し、前記算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告色画像を生成する警告色画像生成部と、
前記エッジ抽出情報生成部で生成されたエッジ抽出情報に基づいて、前記注目画素がエッジ部分である場合には、前記警告色画像生成部で生成された前記警告色画像を出力し、前記注目画素がエッジ部分でない場合には、前記左眼用の映像信号または前記右眼用の映像信号を出力する出力信号制御部とを備えた
映像信号処理装置。
【請求項２】
前記左眼用映像信号と前記右眼用映像信号の解像度を所定の低い解像度に変換して、前記視差算出部に出力する低解像度化部と、
前記警告色画像または、前記視差が算出された段階での映像信号の解像度を、前記低解像度化部による低解像度化が行われる前の解像度に復元する解像度復元部とを備えた
請求項１に記載の映像信号処理装置。
【請求項３】
前記警告画像生成部は、前記算出された視差の大きさとして示される、撮像装置に対する被写体の奥行き方向の距離である深度を、少なくとも第１の閾値よって２つの領域に分割し、前記第１の閾値以上である領域もしくは前記第１の閾値未満の領域に対しては、前記警告色を対応付けない
請求項２に記載の映像信号処理装置。
【請求項４】
前記警告画像を所定のフレーム数分蓄積してその積分をとることによって、前記警告画像に対して時間軸方向のフィルタリングをかけるフィルタ処理部をさらに備える
請求項３に記載の映像信号処理装置。
【請求項５】
被写体光を光電変換して映像信号を生成する、右眼用の撮像素子および左眼用の撮像素子をさらに備える
請求項３に記載の映像信号処理装置。
【請求項６】
前記第１の閾値および前記第２の閾値の値は、前記出力信号制御部から出力される映像信号が入力される表示装置の大きさに対応して複数種類設けられる
請求項３に記載の映像信号処理装置。
【請求項７】
左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成することと、
前記左眼用の映像信号と前記右眼用の映像信号に基づいて、前記左眼用の映像信号よりなる左眼用の撮影画像と、前記右眼用の映像信号よりなる右眼用の撮影画像との視差を算出し、前記算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告色画像を生成することと、
前記エッジ抽出情報に基づいて、前記注目画素がエッジ部分である場合には、前記警告色画像を出力し、前記注目画素がエッジ部分でない場合には、前記左眼用の映像信号または前記右眼用の映像信号を出力することとを含む
映像信号処理方法。
【請求項８】
エッジ部分であると判断された画素であり、かつ、右眼用の撮影画像と左眼用の撮影画像の表示画面上での距離である視差が、予め定められた所定の範囲を超えている画素に、前記視差の量に応じて色を異ならせた警告色が重なって表示される映像信号を生成する
映像信号処理装置。
【請求項１】
左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成するエッジ抽出情報生成部と、
前記左眼用の映像信号と前記右眼用の映像信号に基づいて、前記左眼用の映像信号よりなる左眼用の撮影画像と、前記右眼用の映像信号よりなる右眼用の撮影画像との視差を算出し、前記算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告色画像を生成する警告色画像生成部と、
前記エッジ抽出情報生成部で生成されたエッジ抽出情報に基づいて、前記注目画素がエッジ部分である場合には、前記警告色画像生成部で生成された前記警告色画像を出力し、前記注目画素がエッジ部分でない場合には、前記左眼用の映像信号または前記右眼用の映像信号を出力する出力信号制御部とを備えた
映像信号処理装置。
【請求項２】
前記左眼用映像信号と前記右眼用映像信号の解像度を所定の低い解像度に変換して、前記視差算出部に出力する低解像度化部と、
前記警告色画像または、前記視差が算出された段階での映像信号の解像度を、前記低解像度化部による低解像度化が行われる前の解像度に復元する解像度復元部とを備えた
請求項１に記載の映像信号処理装置。
【請求項３】
前記警告画像生成部は、前記算出された視差の大きさとして示される、撮像装置に対する被写体の奥行き方向の距離である深度を、少なくとも第１の閾値よって２つの領域に分割し、前記第１の閾値以上である領域もしくは前記第１の閾値未満の領域に対しては、前記警告色を対応付けない
請求項２に記載の映像信号処理装置。
【請求項４】
前記警告画像を所定のフレーム数分蓄積してその積分をとることによって、前記警告画像に対して時間軸方向のフィルタリングをかけるフィルタ処理部をさらに備える
請求項３に記載の映像信号処理装置。
【請求項５】
被写体光を光電変換して映像信号を生成する、右眼用の撮像素子および左眼用の撮像素子をさらに備える
請求項３に記載の映像信号処理装置。
【請求項６】
前記第１の閾値および前記第２の閾値の値は、前記出力信号制御部から出力される映像信号が入力される表示装置の大きさに対応して複数種類設けられる
請求項３に記載の映像信号処理装置。
【請求項７】
左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成することと、
前記左眼用の映像信号と前記右眼用の映像信号に基づいて、前記左眼用の映像信号よりなる左眼用の撮影画像と、前記右眼用の映像信号よりなる右眼用の撮影画像との視差を算出し、前記算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告色画像を生成することと、
前記エッジ抽出情報に基づいて、前記注目画素がエッジ部分である場合には、前記警告色画像を出力し、前記注目画素がエッジ部分でない場合には、前記左眼用の映像信号または前記右眼用の映像信号を出力することとを含む
映像信号処理方法。
【請求項８】
エッジ部分であると判断された画素であり、かつ、右眼用の撮影画像と左眼用の撮影画像の表示画面上での距離である視差が、予め定められた所定の範囲を超えている画素に、前記視差の量に応じて色を異ならせた警告色が重なって表示される映像信号を生成する
映像信号処理装置。
【図１】
【図２】
【図３】
【図５】
【図８】
【図９】
【図１１】
【図４】
【図６】
【図７】
【図１０】
【図２】
【図３】
【図５】
【図８】
【図９】
【図１１】
【図４】
【図６】
【図７】
【図１０】
【公開番号】特開２０１３−５５５６５（Ｐ２０１３−５５５６５Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９３４９３（Ｐ２０１１−１９３４９３）
【出願日】平成２３年９月６日（２０１１．９．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月６日（２０１１．９．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]