説明

立体映像調整装置、立体映像調整システム、及びプログラム

【課題】立体撮像装置から出力される映像のずれを自動調整する。
【解決手段】立体映像調整装置は、立体撮像装置から出力される撮像画像を取り込む画像取込部111と、撮像画像の向きを判定する方向判定部113と、方向判定結果に基づき方向反転のない画像を生成する画像取込部111と、右眼用撮像画像及び前記左眼用撮像画像の間の回転方向及び垂直方向のずれ量を算出するずれ量算出部114と、算出したずれ量に基づいてずれを調整するずれ量調整部115〜118と、立体映像調整装置から出力する右眼用調整済み画像及び左眼用調整済み画像の同期を取って遅延が生じないように制御する制御部120とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体撮像装置から出力される映像のずれを自動調整する、立体映像調整装置、立体映像調整システム、及びプログラムに関する。
【背景技術】
【0002】
従来、人間の両眼視差による立体知覚を利用して立体映像を再現する技法が知られている。立体映像を再現するには、視差を含む画像、すなわち、水平方向に所定の量だけずれた画像を撮像装置によって取得する必要がある。しかし、左右の映像が垂直方向、回転方向にわずかでもずれていると、生成された立体映像を視る者に不快感を与えることになる。また、立体撮像装置のカメラ位置、レンズ位置によって、左眼用映像と右眼用映像が左右又は上下に反転していることがある。そこで、左右の映像を調整するために、撮像装置によって取得した画像を、ユーザからの指示に基づいて移動、回転する技法が知られている(例えば、特許文献1参照)。また、映像番組製作において映像を調整する装置として、ディジタルビデオエフェクターが知られている(例えば、非特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005―130312号公報
【非特許文献】
【0004】
【非特許文献1】特許庁総務部企画調査課技術動向班、“ディジタルビデオエフェクター”、[online]、2003年3月28日、特許庁、[平成21年3月6日検索]、インターネット<URL: http://www.jpo.go.jp/shiryou/s−sonota/hyoujun−gijutsu/nle/nle-2-3.html>
【発明の概要】
【発明が解決しようとする課題】
【0005】
ディジタルビデオエフェクターは高価かつ重量・サイズが大きく、複数台のディジタルビデオエフェクターを撮影現場に持ち込むことが困難であるため、後処理でスタジオにてディジタルビデオエフェクターを使用し、手動で左眼用映像及び右眼用映像の調整をしていた。しかし、手動による調整は手間と時間がかかるうえ、熟練の技術を要するという問題があった。
【0006】
また、左眼用映像と右眼用映像のうちの一方のみの調整で済ませた場合には、両映像間で映像遅延が発生し、立体映像を正確に再現できないという問題があった。
【0007】
さらに、内視鏡などの広角レンズを用いたカメラで撮像すると、レンズ歪みが発生し、平面ディスプレイ上では湾曲した映像となる。そのため、立体映像を再現するには、球面ディスプレイに投影する等により歪みをとる必要があるという問題があった。
【0008】
本発明の目的は、上記問題を解決するため、左眼用映像と右眼用映像の調整を自動で行い、後処理時間、番組制作費の大幅な軽減を実現し、かつ軽量でコンパクトな立体映像調整装置を提供することにある。
【課題を解決するための手段】
【0009】
上記課題を解決するため、本発明に係る立体映像調整装置は、被写体を撮像した立体撮像装置から出力される右眼用撮像画像及び左眼用撮像画像の間のずれを自動調整する立体映像調整装置であって、前記右眼用撮像画像及び前記左眼用撮像画像を取り込む画像取込手段と、前記右眼用撮像画像及び前記左眼用撮像画像の各々の左右方向及び上下方向の向きを判定する方向判定手段と、前記方向判定手段による判定結果に基づき、前記被写体と同じ方向を向いた右眼用方向調整済み画像及び左眼用方向調整済み画像を生成する方向調整手段と、前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の間の回転方向及び垂直方向のずれ量を算出するずれ量算出手段と、前記ずれ量算出手段によって算出したずれ量に基づいて、前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の回転及び垂直方向の移動を行い、右眼用調整済み画像及び左眼用調整済み画像を生成するずれ量調整手段と、前記右眼用調整済み画像及び前記左眼用調整済み画像の同期をとって遅延が生じないように制御する制御手段とを備えることを特徴とする。
【0010】
また、本発明に係る立体映像調整装置は、被写体として上下及び左右方向に非対称の調整用画像を用いる場合には、前記立体映像調整装置は、さらに、前記調整用画像を生成する調整用画像生成手段を備え、前記方向判定手段は、前記右眼用撮像画像及び前記左眼用撮像画像と、前記調整用画像とを比較することによって判定することを特徴とする。
【0011】
また、本発明に係る立体映像調整装置において、被写体として前記調整用画像を用いない場合には、前記制御部は、被写体を撮像した前記立体撮像装置から出力される右眼用撮像画像及び左眼用撮像画像を立体映像調整装置に接続されるモニタに出力するように制御し、前記画像取込手段は、さらに、前記モニタに表示される画像に対して特徴点がマーキングされた特徴画像を取り込む手段を有し、前記方向判定手段は、さらに外部からの指示に基づいて判定する手段を有し、前記ずれ量算出手段は、前記特徴画像に対して生成された前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の間の回転方向及び垂直方向のずれ量を算出することを特徴とする。
【0012】
また、本発明に係る立体映像調整装置は、さらに、前記ずれ量調整手段による回転後の画像に対し、画像の見切れを防止するために有効画像領域を抽出し、前記有効画像領域以外の画像表示領域をマスクするマスク手段、又は前記有効画像領域を拡大する拡大手段を備えることを特徴とする。
【0013】
また、本発明に係る立体映像調整装置は、さらに、視差量の演算に必要となる撮像情報を外部から入力するする撮像情報入力部を備えることを特徴とする。
【0014】
また、本発明に係る立体映像調整装置において、前記調整用画像生成手段は、さらに、視差が織り込まれた画像を生成することを特徴とする。
【0015】
また、本発明に係る立体映像調整装置において、前記ずれ量算出手段は、さらに、撮像情報から水平方向のずれを算出する手段を有し、前記ずれ量調整手段は、さらに、該ずれ量算出手段によって算出したずれ量に基づいて、前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の水平方向の移動を行う手段を有することを特徴とする。
【0016】
また、本発明に係る立体映像調整装置は、さらに、前記ずれ量調整手段による水平方向の移動後の画像に対し、画像の見切れを防止するために縮小する縮小手段を備えることを特徴とする。
【0017】
また、本発明に係る立体映像調整装置は、さらに、前記立体撮像装置に用いられるレンズが広角レンズである場合に生じるレンズ歪みを防止するために、前記右眼用撮像画像及び前記左眼用撮像画像を記憶部に書き込む際のアドレスを、予め設定された補正テーブルに従って変換した後のアドレスとするレンズ歪み補正手段を備えることを特徴とする。
【0018】
また、本発明に係る立体映像調整装置において、前記制御手段は、前記立体撮像装置が空から被写体を撮像する場合には、前記右眼用調整済み画像及び前記左眼用調整済み画像の間に同期をとって遅延が生じないように制御する代わりに、前記右眼用調整済み画像及び左眼用調整済み画像の間に、予め設定したフレーム数分の遅延が生じるように制御する手段を有することを特徴とする。
【0019】
さらに、上述の課題を解決するために、本発明に係る立体映像調整システムは、一つの被写体を複数の立体撮像装置で撮像し、前記複数の立体撮像装置から出力される複数の右眼用撮像画像及び左眼用撮像画像の間のずれを請求項1から10のいずれか一項に記載の立体映像調整装置を複数用いて自動調整する立体映像調整システムであって、前記立体撮像装置をn個(ただし、n>1)備え、前記立体撮像装置は右眼用立体撮像装置及び左眼用立体撮像装置を有し、隣接する前記右眼用立体撮像装置及び前記左眼用立体撮像装置の間のずれを自動調整するために、前記立体映像調整装置を(2n−1)個備え、前記画像取込手段は、さらに、撮像画像を取り込む代わりに、他の立体映像調整装置から出力される調整済み画像を取り込む手段を有することを特徴とする。
【0020】
さらに、上述の課題を解決するために、本発明に係るプログラムは、立体撮像装置から出力される撮像画像を取り込み、右眼用撮像画像と左眼用撮像画像との間のずれを自動調整する立体映像調整装置として機能するコンピュータに、(a)前記撮像画像の左右方向及び上下方向の向きを判定するステップと、(b)前記ステップ(a)による判定結果に基づき、反転のない画像生成するステップと、(c)前記右眼用撮像画像及び前記左眼用撮像画像との間の回転方向及び垂直方向のずれ量を算出するステップと、(d)前記ステップ(c)により算出したずれ量に基づいて、画像の回転及び画像の垂直方向の移動を行うステップと、(e)右眼用撮像画像に対する処理と左眼用撮像画像に対する処理との間の同期をとり、立体映像調整装置から出力する右眼用調整済み画像と左眼用調整済み画像との間に遅延が生じないように制御するステップとを実行させる。
【発明の効果】
【0021】
本発明によれば、立体撮像装置から出力される映像の調整を自動で行うことができるようになる。そのため、後処理でディジタルビデオエフェクターを使用する必要がなくなり、後処理時間、番組制作費の大幅な軽減を実現することができるようになる。
【0022】
また、左眼用画像と右眼用画像を同時に調整するため、両画像間の遅延が発生せず、立体映像を正確に再現できるようになる。
【0023】
さらに、広角レンズを用いたカメラで撮像した場合に、レンズ歪みを自動で補正することができるようになる。
【図面の簡単な説明】
【0024】
【図1】本発明による立体映像調整装置を用いたシステムの構成図である。
【図2】本発明による実施例1の立体映像調整装置の構成図である。
【図3】本発明による実施例2の立体映像調整装置の構成図である。
【図4】本発明による実施例3の立体映像調整装置の構成図である。
【図5】本発明による立体映像調整装置による、調整用画像を用いた調整について説明する図である。
【図6】本発明による立体映像調整装置による、既存の物体を用いた調整について説明する図である。
【図7】立体撮像装置が2台以上の場合における、本発明による立体映像調整装置を複数用いて調整を行う際の構成図である。
【図8】本発明による立体映像調整装置で用いる調整用画像の例を示す図である。
【図9】本発明による立体映像調整装置におけるずれ量の算出を説明する図である。
【図10】画像を回転した場合の画像の見切れについて説明する図である。
【図11】画像を水平方向にシフトした場合の画像の見切れについて説明する図である。
【図12】本発明による立体映像調整装置の動作を説明する図である。
【図13】広角レンズを用いたカメラで撮像した場合のレンズ歪みについて説明する図である。
【図14】立体撮像装置の構成図である。
【発明を実施するための形態】
【0025】
以下、本発明の各実施例について図面を参照して説明する。以下の説明において、撮像画像とは、立体撮像装置から出力される画像のことをいう。
【実施例1】
【0026】
まず、本発明による立体映像調整装置を用いたシステムの構成について、図1を参照して説明する。
【0027】
[立体映像調整装置を用いたシステムの構成]
本システムは、立体撮像装置10と、本発明による立体映像調整装置11と、送信装置12と、受信装置13と、立体映像再生装置14(右眼用立体映像再生装置14−1と左眼用立体映像再生装置14−2)とを備える。
【0028】
立体撮像装置10は、被写体からの撮像光を、ミラーを用いて左眼用撮像装置と右眼用撮像装置に導くものである。ミラーと撮像装置の構成については、いくつかのパターンがあるが、ここでは代表的な3つの構成例について、図14を参照して説明する。
【0029】
図14(a)は、立体撮像装置10を上から見た図である。立体撮像装置10は、右眼用撮像装置101と、左眼用撮像装置102と、ハーフミラー103と、ミラー104とを備える。右眼用撮像装置101と左眼用撮像装置102は、平行に配置される。被写体からの撮像光aは、ハーフミラー103に入射され、撮像光bとcとに分離される。分離された撮像光bは左眼用撮像装置102に入射される。また、分離された撮像光cは、ミラー104で反射し、右眼用撮像装置101に入射される。そして、左眼用撮像装置102に入射された撮像光bは、左眼用撮像装置102の固体撮像素子(CCD等)によって、光電変換され、右眼用撮像装置101に入射された撮像光cは、右眼用撮像装置101の固体撮像素子(CCD等)によって、光電変換される。右眼用撮像装置101で撮像した画像と左眼用撮像装置102は、ともに、左右及び上下方向に反転のない画像である。
【0030】
図14(b)は、立体撮像装置10を上から見た図である。立体撮像装置10は、右眼用撮像装置101と、左眼用撮像装置102と、ハーフミラー103とを備える。左眼用撮像装置102は、右眼用撮像装置101に対して、水平方向に90度回転した位置に配置される。被写体からの撮像光aは、ハーフミラー103に入射され、撮像光bとcとに分離される。分離された撮像光bは左眼用撮像装置102に入射され、分離された撮像光cは右眼用撮像装置101に入射される。右眼用撮像装置101で撮像した画像は、左右方向に反転した画像となる。
【0031】
図14(c)は、立体撮像装置10を横から見た図である。立体撮像装置10は、右眼用撮像装置101と、左眼用撮像装置102と、ハーフミラー103とを備える。左眼用撮像装置102は、右眼用撮像装置101に対して、垂直方向に90度回転した位置に配置される。被写体からの撮像光aは、ハーフミラー103に入射され、撮像光bとcとに分離される。分離された撮像光bは右眼用撮像装置101に入射され、分離された撮像光cは左眼用撮像装置102に入射される。左眼用撮像装置102で撮像した画像は、左右方向の反転はないが、左眼用撮像装置102の配置方向によっては、上下方向に反転した画像となる。
【0032】
立体映像調整装置11は、右眼用立体撮像装置101から出力される右眼用映像と、左眼用立体撮像装置102から出力される左眼用映像と間のずれを自動調整する。詳細な説明は後述する。
【0033】
送信装置12は、立体映像調整装置11から出力される左眼用画像と右眼用画像をサイドバイサイド方式により、フレームごとに、左眼用フレームと右眼用フレームとを水平方向又は垂直方向に並置して合成する。続いて、合成後の画像をMPEG2方式又はH.264方式に基づいて圧縮する。そして、圧縮画像を変調し、受信装置13に送信する。
【0034】
受信装置13は、送信装置12から送信される画像を受信し、復調する。続いて、圧縮画像を復号する。そして、フレームごとに左眼用フレームと右眼用フレームとを分離し、左眼用画像を左眼用の立体映像再生装置14−1に、右眼用画像を右眼用の立体映像再生装置14−2に出力する。
【0035】
立体映像再生装置14は、ディスプレイに映像を再生する。立体映像の再生方法としては、眼鏡を用いるアナグリフ方式、偏光フィルタ方式、時分割方式、裸眼視するパララックスバリア方式、レンティキュラ方式などがある。
【0036】
次に、本発明による立体映像調整装置11による調整について、図5を参照して説明する。
【0037】
[立体映像調整装置による調整]
立体映像調整装置11を用いて映像調整を行う場合には、最初に被写体として調整用画像50を用意する。調整用画像50は、ディスプレイ上に表示された画像でも、紙面上に表示された画像でもよい。
【0038】
立体撮像装置10は、調整用画像50を撮像し、立体映像調整装置11に出力する。立体映像調整装置11は、立体撮像装置10から出力される撮像画像を取り込み、右眼用撮像装置101からの撮像画像と左眼用撮像装置102からの撮像画像とを比較し、ずれ量を算出する。ずれ量を算出した後に、立体映像再現用の被写体を撮像することにより、その後の撮像画像に対して、所定の画像処理を施し、自動調整を行うことができるようになる。
【0039】
図8に、調整用画像50の例を示す。調整用画像50は、画像の方向を判別できるように、上下、左右方向に非対称の画像が用いられる。
【0040】
また、水平方向のずれ量を自動調整可能とするために、図8(c)に示すような、視差織り込み済み調整用画像を用いることもできる。ここで、視差織り込み済み画像とは、平行な2本の線81と線82が描かれており、線81と線82の間隔を視差量と一致させた画像のことをいう。ここで、視差量とは、同一物を、理想的な(位置調整が完全になされた)右眼用立体撮像装置と左眼用立体撮像装置とで撮像した場合の、撮像画像の水平方向のずれ量のことであり、演算により求めることができる。
【0041】
図8(d)は、視差織り込み済み調整用画像を立体撮像装置10で撮像した場合の撮像画像を重ねて表示したものである。右眼用立体撮像装置101からの撮像画像には線81−Rと線82−Rが描かれ、左眼用立体撮像装置102からの撮像画像には線81−Lと線82−Lが描かれる。理想的な立体撮像装置10で視差織り込み済み調整用画像を撮像した場合、視差織り込み済み調整用画像には視差が織り込まれているため、線81−Lと線82−Rとが同じ位置に描かれるようになる。なお、調整用画像50をスクリーン面(右眼用立体撮像装置101と左眼用立体撮像装置102との光軸が交わるコンバージェンスポイントを含み、立体撮像装置10に正対する面)51より近いに配置した場合には、線81−R・線82−Rは線81−L・線82−Lに対して左側に描かれ、調整用画像50をスクリーン面51より遠い位置に配置した場合には、線81−R・線82−Rは線81−L・線82−Lに対して右側に描かれるようになる。
【0042】
また、被写体として調整用画像を用いず、既存の物体を用いることもできる。この場合について、図6を参照して説明する。既存の物体として、図6では一例として家61を用いている。調整用画像を撮像した場合には、撮像後に立体映像調整装置11により自動調整が可能であるが、調整用画像を用いなかった場合には、撮像画像のずれ量を算出するために、画像の特徴点を2点以上抽出する必要がある。
【0043】
そこで、図6(a)に示すように、立体撮像装置10により家61を撮像し、撮像画像を立体映像調整装置11で取り込んだ後に、右眼用撮像装置101からの撮像画像を右眼用モニタ15−1に、左眼用撮像装置102からの撮像画像を左眼用モニタ15−2に表示し、2点以上の特徴点をマーキングする。特徴点は、ユーザが手動で、画像のエッジ部分などのマーキングしやすい点を選択する。図6(b)は、モニタ15上に表示される撮像画像を示しており、4箇所の特徴点62〜65がマーキングされている。
【0044】
ずれ量は、特徴点62−1〜65−1を線で結んだ右眼用特徴画像と、特徴点62−2〜65−2を線で結んだ左眼用特徴画像を立体映像調整装置11に取り込み、両特徴画像を比較することにより、算出する。
【0045】
また、被写体として平面な壁を使用することもできる。この場合には、複数のレーザポインタを用いて2箇所以上の点を指し示し、レーザポインタによって複数点が示された壁を撮像する。立体映像調整装置11は、フレームメモリに格納された撮像画像を読み出し、レーザポインタによって示された点を線で結び、右眼用撮像画像と左眼用撮像画像を比較することにより、ずれ量を算出する。
【0046】
次に、本発明による実施例1の立体映像調整装置11−aの構成について、図2を参照して説明する。
【0047】
[立体映像調整装置の構成]
立体映像調整装置11は、画像取込部111と、フレームメモリ112(右眼用フレームメモリ112−1と左眼用フレームメモリ112−2)と、方向判定部113(右眼用方向判定部113−1と左眼用方向判定部113−2)と、ずれ量算出部114と、回転・Vシフト部115(右眼用回転・Vシフト部115−1と左眼用回転・Vシフト部115−2)と、拡大/マスク部116(右眼用拡大/マスク部116−1と左眼用拡大/マスク部116−2)と、Hシフト部117(右眼用Hシフト部117−1と左眼用Hシフト部117−2)と、縮小部118(右眼用縮小部118−1と左眼用縮小部118−2)と、調整用画像生成部119とを備える。なお、右眼用と左眼用とに分けて記載しているブロックは説明の便宜上のためであり、1つのブロックに統合することもできる。
【0048】
画像取込部111は、立体撮像装置10から出力される撮像画像を取り込み、フレームメモリ112に書き込む。
【0049】
フレームメモリ112は、撮像画像及び画像処理に必要となるフレーム数分の画像を記憶する。
【0050】
方向判定部113は、フレームメモリ112から撮像画像を読み出し、撮像画像の左右方向及び上下方向の向きを判別する。向きの種類は、立体撮像装置10の構成により、反転なし、左右方向の反転あり、上下方向の反転あり、左右及び上下方向の反転あり、の4種類がある。方向判定部113は、判定が終了すると、2bitの判定結果(例えば、00:反転なし、01:左右方向の反転あり、10:上下方向の反転あり、11:左右及び上下方向の反転あり)を画像取込部111に出力する。画像取込部111は、方向判定信号に基づいたアドレス制御を行い、被写体と同じ方向を向いた反転のない方向調整済み画像をフレームメモリ112に書き込む。
【0051】
被写体として調整用画像を用いる場合には、調整用画像生成部119にて調整用画像を生成し、方向判定部113は、撮像画像と調整用画像とを比較することによって判定する。例えば、調整用画像を生成する段階で調整用画像のパターン、濃度、ヒストグラム等の情報を得ることができるので、これらの情報を比較することで判定する。一方、被写体として調整用画像を用いない場合には、上述したように撮像画像をモニタ15に表示させることによって、ユーザは撮像画像の方向を判定でき、ユーザが方向判定部113に判定結果を指示する。
【0052】
ずれ量算出部114は、左眼用フレームメモリ112−1から読み出した方向調整済み画像と、右眼用フレームメモリ112−2から読み出した方向調整済み画像とを比較し、ずれ量を算出する。ずれには、垂直方向のずれ、回転方向のずれ、及び視差を含んだ水平方向のずれが存在する。
【0053】
調整用画像として図8(a)に示す画像を用いた場合、右眼用撮像画像の斜線の傾きをベクトルR、左眼用撮像画像の斜線の傾きをベクトルLとすると、両撮像画像の回転方向の傾きΔTは、図9(a)に示すように、ΔT=ベクトルR−ベクトルLで表される。ずれ量判定部114は、このΔTが最小となるような回転角を算出する。また、被写体として調整用画像を用いずに既存の物体を用いた場合には、上述した撮像画像の特徴点を結んだ図形の傾きΔT、又はレーザポインタで指し示した点を結んだ図形の傾きΔTが、最小となるような回転角を算出する。
【0054】
ずれ量算出部114は、撮像画像をΔTが最小となるように回転させた後に、垂直シフト量ΔVを算出する。例えば、図9(b)に示すように、左眼用撮像画像の斜線の始点を(XL0,YL0)、終点を(XL1,YL1)とし、図9(c)に示すように、右眼用撮像画像の斜線の始点を(XR0,YR0)、終点を(XR1,YR1)としたとき、ΔVは、YL0とYR0の差分、YL1とYR1の差分、又は両差分の平均値とする。
【0055】
水平方向のずれ量には、視差量が含まれるため、右眼用撮像画像と左眼用撮像画像の水平方向のずれ量から視差量を減じた値を水平シフト量とする必要がある。そこで、立体映像調整装置11に撮像情報を与え、撮像情報から視差量を求める必要がある。また、図8(c)に示す視差織り込み済み調整用画像を用いた場合には、ずれがない場合には図8(d)に示すように、線81−Lと線82−Rが重なるため、線81−Lと線82−Rの水平方向のずれ量が水平シフト量となる。なお、視差情報を立体映像調整装置11に与えていない場合には、自動で水平シフト量を算出することはできず、撮像画像をモニタに表示させた後に、手動で調整する必要がある。
【0056】
回転・Vシフト部115は、フレームメモリ112から画像を読み出し、ずれ量判定部114で算出した回転角及び垂直シフト量に基づき、回転処理及び垂直シフト処理を行い、フレームメモリ112に書き込む。
【0057】
拡大/マスク部116は、見切れ画像が発生しないようにするため、フレームメモリ112から回転後の画像を読み出し、拡大処理又はマスク処理を行い、フレームメモリ112に書き込む。なお、拡大処理をするかマスク処理をするかは、予め設定された処理モードに従う。
【0058】
図10は、画像を回転した場合の画像の見切れについて説明する図である。回転後の画像は、画像表示領域からはみ出る見切れ画像(図の斜線部分)が存在する。そこで、拡大/マスク部116は、見切れ画像が存在しない有効領域を抽出する。有効画像領域の水平方向の幅をa、有効画像領域の垂直方向の高さをb、画像表示領域の垂直方向の高さをv、回転角をα、画像表示領域の対角線と中心点から水平方向に引いた線との間のなす角度を2φ、有効画像領域の対角線の長さを2rとしたとき、a=2rcosφ、b=2rsinφとなる。ここで、v=2rsin(φ+α)であるため、式を変形すると、a=vcosφ/sin(φ+α)、b=vsinφ/sin(φ+α)となる。拡大処理をする場合、拡大率K=h/a=v/bとなる。
【0059】
回転後の画像を垂直方向にcだけシフトさせた場合には、有効画像領域の垂直方向の高さはb−cとなり、拡大率K=v/(b−c)となる。
【0060】
また、拡大/マスク部116は、無効画像領域と有効画像領域とを区別するために1bitのキー信号(例えば、0:無効画像領域、1:有効画像領域)を生成する。回転・Vシフト部115で回転処理のみを行い、その後拡大/マスク部116で拡大処理を選択した場合には、図10(b)に示すように、画像表示領域全体が有効画像領域となる。拡大/マスク部116でマスク処理を選択した場合には、図10(c)に示す見切れ画像(無効画像領域)を0、有効画像領域を1とするキー信号を生成する。
【0061】
Hシフト部117は、フレームメモリ112から画像を読み出し、例えば、水平シフト量がnであった場合、右眼用Hシフト部117−1と、左眼用Hシフト部117−2は、それぞれn/2ずつ、左右反対方向にシフトする。
【0062】
縮小部118は、見切れ画像が存在しないようにするため、フレームメモリ112から画像を読み出し、縮小処理を行い、フレームメモリ112に書き込む、又は調整済み画像を画像出力部121に出力する。図11は、画像を水平方向にシフトした場合の画像の見切れについて説明する図である。シフト後の画像は、画像表示領域からはみ出る見切れ画像(図の斜線部分)が存在する。
【0063】
見切れ画像が存在しないようにするために必要な縮小率Sは、画像表示領域の水平方向の幅をh、シフト幅をdとしたとき、S=h/(h+2d)で表される。
【0064】
縮小した場合は、図11(b)に示す無効画像領域をマスクするために、キー信号を新たに生成する。
【0065】
調整用画像生成部119は、図8(a)〜(c)に例示した調整用画像を生成する。図8(c)に示した視差織り込み済み調整用画像を生成する場合には、線81と線82の間隔(視差量)を、外部から入力される撮像情報を用いて演算することにより決定する。撮像情報とは、立体撮像装置10の位置、右眼用立体撮像装置101と左眼用立体撮像装置102の間隔、立体撮像装置10から被写体までの距離、立体撮像装置のパラメータ(広角レンズか否か)等の情報である。
【0066】
制御部120は、上述した各部と接続され(配線は省略)、各部の動作を制御するとともに、通常モード設定時には、左眼用画像に対する処理と右眼用画像に対する処理とが完全に同期するように制御し、立体映像調整装置11−1出力される左眼用調整済み画像(左眼用調整済み映像信号)と、立体映像調整装置11−1出力される右眼用調整済み画像(右眼用調整済み映像信号)との間に遅延が生じないように制御する。
【0067】
また、制御部120は、空撮した映像を立体映像として再生する場合に設定される、空撮モード設定時には、右眼用調整済み画像と左眼用調整済み画像の間にあらかじめ設定したフレーム数分の遅延が生じるように制御する。空撮モード設定時には、右眼用調整済み画像と左眼用調整済み画像とは同一の画像(視差のない画像)とする。そのために、空撮モードが設定されると、制御部120は、一方の(ここでは右眼用とする)画像取込部111−1のみから撮像画像を取り込み、方向判定部113−1で方向判定をし、方向調整済み画像を、右眼用調整済み画像及び左眼用調整済み画像として出力するように制御する。
【0068】
画像出力部121は、調整済み映像信号を、被写体として調整用画像を用いた場合は、送信装置12に出力し、被写体として調整用画像を用いずに既存の物体を用いた場合には、モニタ15に出力する。
【0069】
次に、本発明による実施例1の立体映像調整装置11−aの動作について、図12を参照して説明する。
【0070】
[立体映像調整装置の動作]
ステップS121にて、立体映像調整装置11は、調整用画像生成部119によって、調整用画像を生成する。
【0071】
ステップS122にて、立体撮像装置10は、被写体として調整用画像を撮像する。なお、調整用画像を用いない場合には、ステップS121による処理は実行されず、ステップS122では被写体として既存の物体を撮像する。
【0072】
ステップS123にて、立体映像調整装置11は、画像取込部111によって、立体撮像装置10から出力される撮像画像を取り込み、フレームメモリ112に書き込む。
【0073】
ステップS124にて、立体映像調整装置11は、方向判定部113によって、フレームメモリ112から撮像画像を読み出し、撮像画像の左右方向及び上下方向の向きを判別する。方向判定部113による判定が終了すると、立体映像調整装置11は、画像取込部111によって、方向判定信号に基づいたアドレス制御を行い、反転のない反転処理済み画像をフレームメモリ112に書き込む。
【0074】
ステップS125にて、立体映像調整装置11は、ずれ量算出部114によって、左眼用フレームメモリ112−1から読み出した反転処理済み画像と、右眼用フレームメモリ112−2から読み出した反転処理済み画像とを比較し、回転方向、垂直方向、水平方向のずれ量を算出する。
【0075】
ステップS126にて、立体撮像装置10は、被写体として立体映像の再生に用いる映像を撮像する。ステップS124で方向が判定され、ステップS125でずれ量が算出されているので、ステップS127以降では、ステップS124で判定した方向とS125で算出したずれ量に基づき、立体映像の再生に用いる映像について画像処理を施す。
【0076】
ステップS127にて、立体映像調整装置11は、画像取込部111によって、立体撮像装置10から出力される撮像画像を取り込み、方向判定信号に基づいたアドレス制御を行い、反転のない反転処理済み画像をフレームメモリ112に書き込む。
【0077】
ステップS128にて、立体映像調整装置11は、回転・Vシフト部115によって、フレームメモリ112から反転処理済み画像を読み出し、ずれ量判定部114で算出した回転角及び垂直シフト量に基づき、回転処理及び垂直シフト処理を行い、回転・垂直シフト処理済み画像をフレームメモリ112に書き込む。
【0078】
ステップS129にて、立体映像調整装置11は、拡大/マスク部116によって、フレームメモリ112から回転・垂直シフト処理済み画像を読み出し、拡大処理又はマスク処理を行い、拡大/マスク処理済み画像をフレームメモリ112に書き込む。
【0079】
ステップS130にて、立体映像調整装置11は、Hシフト部117によって、フレームメモリ112から拡大/マスク処理済み画像を読み出し、ずれ量判定部114で算出した水平シフト量に基づき、水平シフト処理を行い、水平シフト処理済み画像をフレームメモリ112に書き込む。
【0080】
ステップS131にて、立体映像調整装置11は、縮小部118によって、フレームメモリ112から水平シフト処理済み画像を読み出し、縮小処理を行い、調整済み画像を送信装置12に出力する。
【0081】
実施例1の立体映像調整装置11−aによれば、映像調整を自動で行うことができ、後処理時間、番組制作費の大幅な軽減を実現することができるようになる。
【0082】
次に、本発明による実施例2の立体映像調整装置11−bの構成について、図3を参照して説明する。
【実施例2】
【0083】
実施例2の立体映像調整装置11−bは、図2に示した実施例1の立体映像調整装置11−aに対して、さらに補正テーブル119及びレンズ歪み補正部120を備える。内視鏡などの広角レンズを用いたカメラで撮像すると、図13(a)に示すようなレンズ歪み(歪曲収差)が生じる。補正テーブル119及びレンズ歪み補正部120は、このレンズ歪みを補正するためのものである。
【0084】
補正テーブル119は、フレームメモリ112に書き込む際のアドレスを変換するためのテーブルである。レンズ歪み補正部120は、補正テーブル119に従ってアドレスを変換し、フレームメモリ112に対して、変換後のアドレスにデータを書き込む。
【0085】
図13(b)に示す画像は、図13(a)に示す画像に対して歪み補正をした画像である。歪み補正後の画像には、画像の周囲に無効画像領域が存在する。そこで、図13(c)に示すように、無効画像領域と有効画像領域を区別するために、キー信号を生成する。
【0086】
実施例2の立体映像調整装置11−bによれば、レンズ歪みを自動で補正することができるため、広角レンズを用いたカメラで撮像した場合であっても、立体映像を再現することができるようになる。
【0087】
次に、本発明による実施例3の立体映像調整装置の構成について、図4を参照して説明する。
【実施例3】
【0088】
実施例3の立体映像調整装置11−cは、図2に示した実施例1の立体映像調整装置11−1に対して、さらに2つの参照メモリ122(右眼用参照メモリ122−1と左眼用参照メモリ122−2)を備え、ずれ量算出部114を2つ(右眼用ずれ量算出部114−1と左眼用ずれ量算出部114−2)備える。
【0089】
調整用画像生成部119は、調整用画像を生成するとともに、外部から入力される撮像情報を基に、理想的な立体撮像装置10で調整用画像を撮像した場合の右眼用参照用撮像画像及び左眼用参照用撮像画像を生成する。
【0090】
右眼用参照メモリ122−1は右眼用参照用撮像画像を記憶し、左眼用参照メモリ122−2は左眼用参照用撮像画像を記憶する。
【0091】
実施例1の立体映像調整装置11−a又は実施例2の立体映像調整装置11−bにおけるずれ量算出部114は、フレームメモリ112−1から読み出した反転処理済み画像と、フレームメモリ112−2から読み出した反転処理済み画像とを比較してずれ量を算出する。一方、実施例3の立体映像調整装置11−cにおける右眼用ずれ量算出部114は、フレームメモリ112から読み出した反転処理済み画像と、参照メモリ124から読み出した参照用撮像画像とを比較して、右眼用撮像画像と左眼用撮像画像のずれ量をそれぞれ独立して算出する。
【0092】
実施例3の立体映像調整装置11−cによれば、参照用画像を基にし、右眼用撮像画像と左眼用撮像画像のずれを独立して算出するため、より精密な調整をすることができるようになる。
【0093】
次に、裸眼で立体映像を再生するために、複数の立体撮像装置10−1〜10−nを用いて撮像する場合ついて、実施例4として、図7を参照して説明する。
【実施例4】
【0094】
本実施例では、立体映像調整装置11−1は、他の実施例と同様に右眼用立体撮像装置101−1と左眼用立体撮像装置102−1との間のずれを調整する。しかし、立体映像調整装置11−2は、右眼用立体撮像装置101−2と左眼用立体撮像装置102−2との間のずれではなく、左眼用立体撮像装置102−1と右眼用立体撮像装置101−2との間のずれを調整する。すなわち、複数の立体撮像装置10を用いて撮像する場合、立体映像調整装置11は、隣接する右眼用立体撮像装置101と左眼用立体撮像装置102との間のずれを調整する。このため、立体撮像装置10の台数をn(右眼用立体撮像装置101の台数をn、左眼用立体撮像装置102の台数をn)とすると、立体映像調整装置11の台数は2n−1必要となる。
【0095】
また、立体映像調整装置11−n(n≧2)の右眼用の入力信号には、立体映像調整装置11−(n−1)の左眼用の出力画像を用いる。このため、本実施例の画像取込部111は、他の立体映像調整装置から出力される調整済み画像を取り込むことができる。
【0096】
立体映像調整装置11−1は、調整用画像生成部119により、図8(d)に示す視差織り込み済み調整用画像を生成する。そして、立体撮像装置10ごとに視差織り込み済み調整用画像を交換して撮像する手間を省くために、他の立体撮像装置10−n(n≧2)も、立体映像調整装置11−1で生成した同一の視差織り込み済み調整用画像を被写体として撮像する。しかし、立体撮像装置10の位置によって視差が異なるため、立体映像調整装置11−1用に調整された視差織り込み済み調整用画像を被写体とした場合、このままでは立体映像調整装置11−n(n≧2)において、水平シフト量を自動で算出することができない。
【0097】
そこで、実施例4の立体映像調整装置11は、立体映像調整装置11間で視差量の演算に必要となる撮像情報を共有する。立体映像調整装置11−n(n≧2)は、撮像情報に基づいて、理想的な立体撮像装置10で視差織り込み済み調整用画像を撮像した場合の、線81−Lと線82−Rとの間隔を算出する。このようにすることで、全ての立体映像調整装置11において自動調整が可能となる。
【0098】
なお、本実施例では、立体映像調整装置11−n(n≧2)の右眼用の調整済み映像信号は不要となる。図7の例では、調整済み映像信号として信号1〜6が用いられる。
【0099】
実施例4の立体映像調整装置11の構成によれば、複数の立体撮像装置10を用いて撮像する場合にも、ずれ量を自動調整することができるようになる。
【0100】
ここで、立体映像調整装置11として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、画像取込部111と、フレームメモリ112と、方向判定部113と、ずれ量算出部114と、回転・Vシフト部115と、拡大/マスク部116と、Hシフト部117と、縮小部118と、調整用画像生成部119とを機能させるための制御部120を、中央演算処理装置(CPU)と少なくとも1つのメモリで構成される記憶部で実現できる。
【0101】
さらに、そのようなコンピュータに、CPUによって所定のプログラムを実行させることにより、画像取込部111と、フレームメモリ112と、方向判定部113と、ずれ量算出部114と、回転・Vシフト部115と、拡大/マスク部116と、Hシフト部117と、縮小部118と、調整用画像生成部119の有する機能を実現させることができる。更に、画像取込部111と、フレームメモリ112と、方向判定部113と、ずれ量算出部114と、回転・Vシフト部115と、拡大/マスク部116と、Hシフト部117と、縮小部118と、調整用画像生成部119の有する機能を実現させるためのプログラムを、前述の記憶部(メモリ)の所定の領域に格納することができる。そのような記憶部は、コンピュータ内部のRAMなどで構成させることができ、或いは又、外部記憶装置(例えば、ハードディスク)で構成させることもできる。また、そのようなプログラムは、立体映像調整装置11としてのコンピュータで利用されるOS上のソフトウェア(ROM又は外部記憶装置に格納される)の一部で構成させることができる。
【0102】
さらに、立体映像調整装置11として機能させるコンピュータを、本発明の各構成要素としての手段として機能させるためのプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。
【0103】
上述の実施例は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができ、更に、各実施例を組み合わせて別の実施例を実現することができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【産業上の利用可能性】
【0104】
このように、本発明によれば、左眼用映像と右眼用映像の調整を自動で行う立体映像調整装置を提供することができるので、立体映像を生成する任意の用途に有用である。
【符号の説明】
【0105】
11 立体映像調整装置
111 画像取込部
112 フレームメモリ
113 方向判定部
114 ずれ量算出部
115 回転・Vシフト部
116 拡大/マスク部
117 Hシフト部
118 縮小部
119 調整用画像生成部
120 制御部
121 画像出力部
122 補正テーブル
123 レンズ歪み補正部
124 参照メモリ

【特許請求の範囲】
【請求項1】
被写体を撮像した立体撮像装置から出力される右眼用撮像画像及び左眼用撮像画像の間のずれを自動調整する立体映像調整装置であって、
前記右眼用撮像画像及び前記左眼用撮像画像を取り込む画像取込手段と、
前記右眼用撮像画像及び前記左眼用撮像画像の各々の左右方向及び上下方向の向きを判定する方向判定手段と、
前記方向判定手段による判定結果に基づき、前記被写体と同じ方向を向いた右眼用方向調整済み画像及び左眼用方向調整済み画像を生成する方向調整手段と、
前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の間の回転方向及び垂直方向のずれ量を算出するずれ量算出手段と、
前記ずれ量算出手段によって算出したずれ量に基づいて、前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の回転及び垂直方向の移動を行い、右眼用調整済み画像及び左眼用調整済み画像を生成するずれ量調整手段と、
前記右眼用調整済み画像及び前記左眼用調整済み画像の同期をとって遅延が生じないように制御する制御手段と、
を備えることを特徴とする立体映像調整装置。
【請求項2】
被写体として上下及び左右方向に非対称の調整用画像を用いる場合には、
前記立体映像調整装置は、さらに、前記調整用画像を生成する調整用画像生成手段を備え、
前記方向判定手段は、前記右眼用撮像画像及び前記左眼用撮像画像と、前記調整用画像とを比較することによって判定することを特徴とする、請求項1に記載の立体映像調整装置。
【請求項3】
被写体として前記調整用画像を用いない場合には、
前記制御部は、被写体を撮像した前記立体撮像装置から出力される右眼用撮像画像及び左眼用撮像画像を立体映像調整装置に接続されるモニタに出力するように制御し、
前記画像取込手段は、さらに、前記モニタに表示される画像に対して特徴点がマーキングされた特徴画像を取り込む手段を有し、
前記方向判定手段は、さらに外部からの指示に基づいて判定する手段を有し、
前記ずれ量算出手段は、前記特徴画像に対して生成された前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の間の回転方向及び垂直方向のずれ量を算出することを特徴とする、請求項1に記載の立体映像調整装置。
【請求項4】
前記立体映像調整装置は、さらに、前記ずれ量調整手段による回転後の画像に対し、画像の見切れを防止するために有効画像領域を抽出し、前記有効画像領域以外の画像表示領域をマスクするマスク手段、又は前記有効画像領域を拡大する拡大手段を備えることを特徴とする、請求項1から3のいずれか一項に記載の立体映像調整装置。
【請求項5】
前記立体映像調整装置は、さらに、視差量の演算に必要となる撮像情報を外部から入力するする撮像情報入力部を備えることを特徴とする、請求項1から4のいずれか一項に記載の立体映像調整装置。
【請求項6】
前記調整用画像生成手段は、さらに、視差が織り込まれた画像を生成することを特徴とする、請求項5に記載の立体映像調整装置。
【請求項7】
前記ずれ量算出手段は、さらに、撮像情報から水平方向のずれを算出する手段を有し、
前記ずれ量調整手段は、さらに、該ずれ量算出手段によって算出したずれ量に基づいて、前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の水平方向の移動を行う手段を有することを特徴とする、請求項1から6のいずれか一項に記載の立体映像調整装置。
【請求項8】
前記立体映像調整装置は、さらに、前記ずれ量調整手段による水平方向の移動後の画像に対し、画像の見切れを防止するために縮小する縮小手段を備えることを特徴とする、請求項7に記載の立体映像調整装置。
【請求項9】
前記立体映像調整装置は、さらに、前記立体撮像装置に用いられるレンズが広角レンズである場合に生じるレンズ歪みを防止するために、前記右眼用撮像画像及び前記左眼用撮像画像を記憶部に書き込む際のアドレスを、予め設定された補正テーブルに従って変換した後のアドレスとするレンズ歪み補正手段を備えることを特徴とする、請求項1から8のいずれか一項に記載の立体映像調整装置。
【請求項10】
前記制御手段は、前記立体撮像装置が空から被写体を撮像する場合には、前記右眼用調整済み画像及び前記左眼用調整済み画像の間に同期をとって遅延が生じないように制御する代わりに、前記右眼用調整済み画像及び左眼用調整済み画像の間に、予め設定したフレーム数分の遅延が生じるように制御する手段を有することを特徴とする、請求項1から9のいずれか一項に記載の立体映像調整装置。
【請求項11】
一つの被写体を複数の立体撮像装置で撮像し、前記複数の立体撮像装置から出力される複数の右眼用撮像画像及び左眼用撮像画像の間のずれを請求項1から10のいずれか一項に記載の立体映像調整装置を複数用いて自動調整する立体映像調整システムであって、
前記立体撮像装置をn個(ただし、n>1)備え、
前記立体撮像装置は右眼用立体撮像装置及び左眼用立体撮像装置を有し、
隣接する前記右眼用立体撮像装置及び前記左眼用立体撮像装置の間のずれを自動調整するために、前記立体映像調整装置を(2n−1)個備え、
前記画像取込手段は、さらに、撮像画像を取り込む代わりに、他の立体映像調整装置から出力される調整済み画像を取り込む手段を有することを特徴とする立体映像調整システム。
【請求項12】
被写体を撮像した立体撮像装置から出力される右眼用撮像画像及び左眼用撮像画像の間のずれを自動調整する立体映像調整装置として機能するコンピュータに、
(a)前記右眼用撮像画像及び前記左眼用撮像画像を取り込むステップと、
(b)前記右眼用撮像画像及び前記左眼用撮像画像の各々の左右方向及び上下方向の向きを判定するステップと、
(c)前記ステップ(b)による判定結果に基づき、前記被写体と同じ方向を向いた右眼用方向調整済み画像及び左眼用調方向整済み画像を生成するステップと、
(d)前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の間の回転方向及び垂直方向のずれ量を算出するステップと、
(e)前記ステップ(d)により算出したずれ量に基づいて、前記右眼用方向調整済み画像及び前記左眼用方向調整済み画像の回転及び垂直方向の移動を行い、右眼用調整済み画像及び左眼用調整済み画像を生成するステップと、
(f)前記右眼用調整済み画像及び前記左眼用調整済み画像の同期をとって遅延が生じないように制御するステップと、
を実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2010−278979(P2010−278979A)
【公開日】平成22年12月9日(2010.12.9)
【国際特許分類】
【出願番号】特願2009−132292(P2009−132292)
【出願日】平成21年6月1日(2009.6.1)
【出願人】(594044646)株式会社エヌエイチケイメディアテクノロジー (20)
【Fターム(参考)】