立体画像処理システム、立体画像処理装置および立体画像処理方法
【課題】３Ｄカメラから出力されるデータは機器の精度の問題によりエラーデータが含まれ、そのまま使用した場合、綺麗な３次元データとならない。
【解決手段】第１の位置と前記第１の位置とは異なる第２の位置において、同じタイミングで取得した、被写体との間の距離データを含む第１及び第２の３次元データと被写体との間の距離データを含まない第１及び第２の２次元データとを画像入力部からの入力とし、入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理部を有することを特徴とする立体画像処理装置。
【解決手段】第１の位置と前記第１の位置とは異なる第２の位置において、同じタイミングで取得した、被写体との間の距離データを含む第１及び第２の３次元データと被写体との間の距離データを含まない第１及び第２の２次元データとを画像入力部からの入力とし、入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理部を有することを特徴とする立体画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像処理技術に関し、特に、取得したデータをもとに立体画像をモニタに効果的に表示するための立体画像処理技術に関する。
【背景技術】
【０００２】
近年、立体画像表示装置の普及が進み、立体画像を生成したり加工したりする立体画像処理技術の開発も盛んになってきている。
【０００３】
特許文献１に記載の技術では、コンピュータの演算処理により、被写体の陰影パターンもしくは輪郭パターンを示す左右のテンプレート画像を記憶手段に記憶しておくテンプレート画像記憶ステップと、２台のカメラにより元の被写体を２視点もしくは２方向から撮影して得られた左右の投影画像をコンピュータに入力し、コンピュータの演算処理により、上記記憶手段から左右のテンプレート画像を読み出し、左の投影画像に左のテンプレート画像を合成して、左の投影画像を修正もしくは補足し、この被写体を一方の視点もしくは方向から見たときの左の合成画像を形成すると共に、右の投影画像に右のテンプレート画像を合成して、右の投影画像を修正もしくは補足し、該被写体を他方の視点もしくは方向から見たときの右の合成画像を形成し、陰影もしくは輪郭を付与された左右の合成画像を形成するものである。すなわち、左右の画像の上に他の画像を合成して修正、補正する画像合成について開示するものである。
【０００４】
また、一般的に、２次元映像信号から抽出された奥行き情報と２次元映像信号とに基づいて立体映像を生成する実写の２次元映像から視差情報を持たせた立体視用映像を生成することができる。しかしながら、上記従来の技術では大きく回り込んで見た映像を視聴することができない。
【０００５】
下記特許文献２に記載の技術は、２次元映像とその立体視用情報とに基づいて立体映像を生成する方法において、観者の頭部位置又は観者が入力した操作情報に基づいて仮想カメラ位置を判定し、所定間隔で複数配置されたカメラで撮影したものに相当する複数の２次元映像のなかで仮想カメラ位置に最も近い位置の２次元映像とその立体視用情報とに基づいて立体映像を生成する。より具体的には、複数の角度から２次元写真を撮影し、これにより、左右の合成画像を形成し、３次元ディスプレイを用いて、左右の合成画像を左右の目で略同時に見ると、修整もしくは補足された被写体を立体的に見せることができる。
【０００６】
上記の構成であれば、所定間隔で複数配置されたカメラで撮影したものに相当する複数の２次元映像（複数のカメラ）を利用するので、大きく回り込んで見た映像を視聴することができる。そして、複数の２次元映像のなかで仮想カメラ位置に最も近い位置の２次元映像とその立体視用情報とに基づいて立体映像を生成するので、映像の切り替わりが滑らかに行なわれる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２１０４０５号公報
【特許文献２】特開２００４−２００８１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１の技術は、前後から撮影するものではなく３６０度全ての立体像を作成することができない。また、テンプレートとして記憶されている画像を、上からの合成に用いるものであり、撮影したそのままのデータに基づいて３次元映像を生成するものではない。
【０００９】
また、特許文献２の技術では、複数の角度から２次元写真を撮影して立体的に見せるものであり、２次元映像と３次元映像とに基づいて、立体映像を作成するものではない。
【００１０】
本発明は、取得した実際の２次元映像と３次元映像とに基づいて、立体画像を精度良く、かつ、簡単な処理により生成することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一観点によれば、第１の位置と前記第１の位置とは異なる第２の位置において、同じタイミングで取得した、被写体との間の距離データを含む第１及び第２の３次元データと被写体との間の距離データを含まない第１及び第２の２次元データとを画像入力部からの入力とし、入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理部を有することを特徴とする立体画像処理装置が提供される。
【００１２】
また、本発明は、第１の位置に設けられた第１の撮影装置と前記第１の位置とは異なる第２の位置に設けられた第２の撮影装置の少なくとも２以上の撮影装置により同じタイミングで取得した、被写体との間の距離データを含む第１及び第２の３次元データと被写体との間の距離データを含まない第１及び第２の２次元（装飾用画像）データとを画像入力部からの入力とし、入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理部を有することを特徴とする立体画像処理装置である。第１の位置に設けられた第１の撮影装置と前記第１の位置とは異なる第２の位置に設けられた第２の撮影装置の少なくとも２以上の撮影装置により同じタイミングで取得した、被写体との間の距離データを含む第１及び第２の３次元データと被写体との間の距離データを含まない第１及び第２の２次元（装飾用画像）データとを画像入力部からの入力とすることで、立体画像データの生成処理の負担を軽減することができる。
【００１３】
また、本発明は、第１の位置と前記第１の位置とは異なる第２の位置において、同じタイミングで取得した、被写体との間の距離データを含む第１及び第２の３次元データと被写体との間の距離データを含まない第１及び第２の２次元（装飾用画像）データとを画像入力部からの入力とし、入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理部を有する立体画像処理装置と、前記第１及び第２の撮影装置と、を有し、前記第１及び第２の撮影装置は、それぞれ、２Ｄデータと３Ｄデータとを取得する２Ｄカメラと３Ｄカメラとを有することを特徴とする立体画像処理システムである。
【００１４】
本発明の他の観点によれば、第１の位置と前記第１の位置とは異なる第２の位置において、同じタイミングで被写体との間の距離データを含む第１及び第２の３次元データを取得するとともに、被写体との間の距離データを含まない第１及び第２の２次元データと取得するステップと、入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理ステップとを有することを特徴とする立体画像処理方法が提供される。
【００１５】
本発明は、上記の方法をコンピュータに実行させるためのプログラム、当該プログラムを記録するコンピュータ読みとり可能な記憶媒体であっても良い。
【発明の効果】
【００１６】
本発明の立体画像処理技術によれば、３次元立体画像を作成する処理の負担を軽減することができる。また、実際の２次元映像と３次元映像とにより立体画像を作成するため、きれいな立体画像を作成することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施の形態による立体画像処理システムの一構成例を示す機能ブロック図である。
【図２】本実施の形態による立体画像処理システムにおける撮影装置の一構成例を示す外観図である。
【図３】本実施の形態による立体画像処理システムにおける画像処理装置の一構成例を示す機能ブロック図である。
【図４】本実施の形態による立体画像処理システムにおける２Ｄデータと３Ｄデータの一例と、２Ｄデータと３Ｄデータの対応付けの例を示す図である。
【図５】本実施の形態による立体画像処理の流れを示すフローチャート図である。
【図６】本実施の形態による立体画像処理のうち、複数画像の合成処理の流れを示すフローチャート図である。
【図７】本実施の形態による立体画像処理のうち、画像の補完処理の流れを示すフローチャート図である。
【図８】本実施の形態による立体画像処理の様子を示す図である。
【図９】本実施の形態による画像補完処理の様子を示す図である。
【発明を実施するための形態】
【００１８】
本明細書において、３Ｄカメラとは、例えば、被写体に赤外線を照射し、その反射データを取得することで、深度を計測し、３Ｄデータを取得するものであり、例えば、Mesa Imaging社のSwissRanger（登録商標）SR4000を用いることができる。この３Ｄカメラについては、http://www.mesa-imaging.ch/prodview4k.phpを参照することができる。この３Ｄカメラは、３Ｄ画像生成に必要な。被写体との間の距離のデータ（３Ｄデータ）を取得するためのカメラ（撮影装置）である。
【００１９】
一方、２Ｄカメラとは、一般的な平面（２次元）画像（２Ｄ画像）を撮影するためのデジタルカメラ等を指す。
【００２０】
但し、３Ｄカメラから出力される３Ｄデータは、機器の精度の問題等によりエラーデータが含まれる場合が多く、そのまま使用した場合には、綺麗な３Ｄデータとならないという問題がある。
【００２１】
また、３Ｄカメラの解像度と２Ｄカメラの装飾用２Ｄ画像データの解像度とが一致していない場合も多く、３Ｄデータと２Ｄデータとを合成する際に、立体画像表示に必要のない部分の画像が立体に表示されてしまうという問題もある。
【００２２】
以下に、本実施の形態による、高い視覚効果で３Ｄ表示が可能な立体画像処理技術について説明する。
【００２３】
図１（ａ）は、本発明の一実施の形態による立体画像処理システムの一構成例を示す機能ブロック図である。図１（ｂ）は、図１（ａ）のシステムを上から見た位置関係の例を示す図である。
【００２４】
図１（ａ）に示すように、立体画像処理システムＡは、第１の撮影装置（１）１０１と、第２の撮影装置（２）１０２と、画像処理装置１０７と、表示装置１０８と、を有している。尚、表示装置１０８は、立体画像処理システムＡにおいては任意に設けられる装置である。
【００２５】
第１の撮影装置（１）１０１は、２Ｄカメラ（Ｗｅｂカメラ等）１０３と、３Ｄカメラ１０４とを備えており、第２の撮影装置１０２も同様に、２Ｄカメラ１０５と３Ｄカメラ１０６とを備えている。３Ｄカメラ１０４、１０６は、３Ｄカメラ１０４、１０６から撮影対象Ｈ（ここでは、人間を対象としている例を示す。）までの距離を計測し、撮影対象の立体形状を作成するためのデータを取得する機器である。２Ｄカメラ１０３、１０５は、撮影対象Ｈの２次元の写真を撮影する機器であり、デジタル画像が撮影できる機器であれば一般的なデジタルカメラを用いることができる。
【００２６】
撮影対象となる人物Ｈが、第１の撮影装置（１）１０１と第２の撮影装置（２）１０２とに挟まれるように立つことにより、第１の撮影装置（１）１０１は背面からの画像、第２の撮影装置（２）１０２は正面からの画像を、前後から撮影する（図１（ｂ）参照）。
【００２７】
なお、本実施の形態では、第１の撮影装置（１）１０１、第２の撮影装置（２）１０２は、２Ｄカメラと３Ｄカメラとを別々に設ける構成を例としたが、２Ｄカメラ機能と３Ｄカメラ機能とを一体化したカメラＤ１、Ｄ２を用いても良い。また、１台の撮影装置１０１を前後に移動させながら正面画像と背面画像とを順次撮影しても良く、さらに、撮影装置の数を増やして３以上の複数の角度から被写体を撮影する構成としても良い。撮影装置を回転させる等により異なる位置における映像を撮影するようにしても良い。
【００２８】
第１の撮影装置（１）１０１、第２の撮影装置（２）１０２は、それぞれ、インターフェイス部１１１、１１２を介して画像処理装置１０７のインターフェイス部１１３と接続されており（有線又は無線接続のいずれでも良い）、画像処理装置１０７は、第１の撮影装置（１）１０１、第２の撮影装置（２）１０２から送られた画像データに対し、補正、補完及び合成処理を行う。画像処理装置１０７による画像処理の結果、３Ｄカメラ１０４、１０６で撮影した撮影対象の立体形状に、２Ｄカメラ１０３、１０５で撮影した撮影対象の表面画像のデータ（色など）が合成された、３次元画像データが完成する。
【００２９】
この３次元画像データに基づいて、画像処理装置１０７にインターフェイス部１１４、１１５を介して接続された（画像処理装置１０７と一体型でも良い）表示装置１０８（例えばＬＣＤディスプレイ等）に立体画像が表示される。他の表示手段として、ネットワーク接続された図示しない携帯端末に３次元画像データを送り、携帯端末の表示画面上で３次元画像を確認できるようにしても良く、表示装置を限定するものではない。
【００３０】
図２は、第１の撮影装置（１）１０１および第２の撮影装置（２）１０２の外観構成例を示す図である。カメラの三脚２０１の上に、３Ｄカメラ１０４もしくは３Ｄカメラ１０６が設けられ、その上に２Ｄカメラ１０３もしくは２Ｄカメラ１０５が取り付けられた簡単な構成である（上下は逆でも良く、左右に並べても良い。要するに近い位置に２Ｄカメラと３Ｄカメラが設けられている）。符号Ｄ１、Ｄ２で示すように、２Ｄカメラ、３Ｄカメラが一体であっても良い。要するに、２Ｄカメラ１０３、１０５と３Ｄカメラ１０４、１０６とが、同じカメラであっても良いし、異なるカメラであっても良いが、両者の位置がほぼ同じであることが好ましい。
【００３１】
図３は、本実施の形態による画像処理装置１０７を中心としたシステムの一構成例を示す機能ブロック図である。図４は、第１の撮影装置（１）１０１と第２の撮影装置（２）１０２とによる撮影画像データ及び画像情報の一例を示す図である。図３に示すように、画像処理装置１０７は、画像入力部３０１と、画像出力部３０２と、各画像補正部３０３と、複数画像合成部３０４と、画像補完処理部３０５と、合成後画像補正処理部３０６と、データ記憶部３０７と、を有している。各画像補正部３０３と、複数画像合成部３０４と、画像補完処理部３０５と、合成後画像補正処理部３０６と、により、画像処理部３０８を構成する。各処理部３０１〜３０７に付されている符号５０１〜５０７までは、図５の各処理と対応したものである。
【００３２】
画像入力部３０１は、第２の撮影装置（２）１０２から３Ｄカメラ１０６（図１、２）によって撮影された正面立体（データ）４０１（図４）及び２Ｄカメラ１０５によって撮影された正面写真（データ）４０３（図４）を受け取り、第１の撮影装置（１）１０１から３Ｄカメラ１０４によって撮影された背面立体（データ）４０２（図４）及び２Ｄカメラ１０３によって撮影された背面写真（データ）４０４（図４）を受け取る。
【００３３】
各画像補正部３０３は、画像入力部３０１から受け取った画像データに対し、ノイズやデータ誤差を除去し、正面立体（Ｈ１１）４０１及び背面立体（Ｈ１３）４０２において、カメラから撮影対象までの距離が取れていない部分を周辺の距離データに基づいて補完する処理を行う。
【００３４】
複数画像合成部３０４は、各画像補正部３０３で処理された画像データを用い、正面立体４０１と正面写真４０３を貼り合わせて正面像の３次元画像データを作成し、背面立体４０２と背面写真４０４を張り合わせて背面像の３次元画像データを作成する。
【００３５】
図４（ａ）は３Ｄデータ、図４（ｂ）は２Ｄデータの一例を示す図である。図４（ａ）に示すように、正面立体データ４０１は、被写体Ｈの正面に置かれた第２の撮影装置（２）１０２の３Ｄカメラ１０６によって撮影された結果として得られる画像データであり、画像入力部３０１から入力される。３Ｄカメラ１０６によって撮影された正面立体データ４０１は立体的形状のデータのみを有し、撮影対象Ｈの衣装などの色彩的な要素は有さない。撮影対象Ｈの正面像（Ｈ１１）４０７を９０度回転させて側面（横）から見ると、側面像（Ｈ１２）４０８のような形態を有する。
【００３６】
図４（ｂ）に示すように、第２の撮影装置（２）１０２からは、２Ｄカメラ１０５によって撮影された正面写真データ４０３も得られる。正面写真データ４０３は、被写体の顔や衣装などの表面的な色彩を有する２次元の写真画像である。
【００３７】
同様に、被写体Ｈの背面に置かれた第１の撮影装置（１）１０１の３Ｄカメラ１０４からは背面立体データ（Ｈ１３）４０２が得られ、２Ｄカメラ１０３からは背面写真データ（Ｈ２）４０４を得ることができる。
【００３８】
【表１】
【００３９】
表１は、写真の位置合わせ用パラメータの一例を示す表であり、実際には、正面のデータの他に背面のデータを保持している。図４に示す正面立体データ４０１と背面立体データ４０２とは、それぞれ、表１に示すような写真の位置合わせ用パラメータを有している。
【００４０】
例えば、図４（ｂ）に示す四角形の頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４のそれぞれの座標の位置を示すパラメータを有している。この２Ｄ画像（正面写真）データ４０３から上記頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４によって画定される四角形の領域の正面画像Ｈ１を抜き出し、これを図４（ａ）に示す正面立体データ４０１に、被写体Ｈ１が被写体Ｈ１１に合うように位置合わせする。正面立体データ４０１の矩形の領域Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’によって画定される四角形の領域にそれぞれに当てはめる。同様に背面立体データ４０２についても、２Ｄ画像（背面写真データ）４０４に、被写体Ｈ２がＨ１３に合うように位置合わせされる。これらの位置合わせデータは、データ記憶部３０７に保持される。
【００４１】
画像補完処理部３０５は、複数画像合成部３０４で作成した正面像の３次元画像データ８０１（図８）と、背面像の３次元画像データ８０２（図８）を、左右の側面で縫い合わせて撮影対象全体の３次元画像データを作成し、縫い合わせ部分を滑らかにする補完処理を行う。
【００４２】
合成後画像補正処理部３０６は、画像補完処理部３０５で作成した撮影対象全体の３次元画像データに対し、全体的な立体的形状に不整合がないか否かを確認して、不整合があれば整形する処理を行う。
【００４３】
合成後画像補正処理部３０６が作成した３次元画像データは、画像出力部３０２から表示装置１０８に出力される。表示装置１０８では、３６０度全ての方向から立体的に見ることができる３次元画像が表示される。画像データや画像パラメータ情報、各種処理に用いるパラメータ値等はデータ記憶部３０７に格納されている。
【００４４】
図５は、本実施の形態による立体画像処理の流れを示すフローチャート図である。まずステップ５０１で、第２の撮影装置（２）１０２で撮影した画像は、図４（ａ）の正面立体データ４０１として画像入力部３０１に取り込まれる。立体データが取り込まれるタイミングと同じタイミングで（図示しない同期手段により同期させて）、第２の撮影装置（２）１０２で撮影した画像は、図４（ｂ）の正面写真４０３として画像入力部３０１に取り込まれる。さらに、第１の撮影装置（１）１０１で撮影した画像は、図４（ａ）の背面立体データ４０２として画像入力部３０１に取り込まれる。立体データが取り込まれるタイミングと同じタイミングで（図示しない同期手段により同期させて）、第１の撮影装置（１）１０１で撮影した画像は、図４（ｂ）の背面写真４０４として画像入力部３０１に取り込まれる。
【００４５】
ステップ５０２では、図３の各画像補正部３０３における各画像の補正処理が行われる。ステップ５０１で取得された正面立体データ４０１と背面立体データ４０２に、異常値や想定されていない値が含まれている場合には、それらの値の除去する処理を行う。データの一部が欠落している場合には、周囲のデータを元に補完処理を行う。例えば、被写体との間の距離を測定し、その平均値を採用し、この平均値から外れたデータは、背景として除去する。また、背景を除去した後の被写体のデータについて、平均値から突出したデータ（凸凹したデータ）は、ノイズとして除去する。これにより、３Ｄデータから背景を除去して被写体の３Ｄデータを抽出するとともに、抽出された被写体の３Ｄデータにおける細かな凹凸として検出されるノイズも除去し、ノイズが除去された被写体の３Ｄデータのみを残す。すなわち、３Ｄデータにおける閾値との比較、中央値との比較、平均値との比較、隣接する領域（周辺）との間の差分の大小比較などの標準値との比較に基づいて、ノイズと考えられる３Ｄデータを除去する。
【００４６】
【数１】
【００４７】
処理の具体的な一例について説明する。まず、式（１）に基づく閾値カットフィルタ処理を行う。この処理により、背景部分など被写体以外の対象外の部分をカットすることができる。次いで、式（２）に基づくＭｅｄｉａｎフィルタ処理を行う。対象となる被写体でも、３Ｄカメラによる例えば赤外線の反射に基づいて取得した距離データは、必ずしもきれいなデータではなく、部分的に中間値としての距離よりも大きく外れた値が得られることが多い。そこで、式（２）により、中間値の距離（被写体と３Ｄカメラとの距離Ｚ）を大きく外れた部分は、被写体部分であっても用いないフィルタ処理を行う。式（３）に基づく信頼性フィルタ処理は任意の処理であるが、カメラ固有の信頼性に起因する無効な値を取り除く処理である。次いで、式（４）に示すように、平均値フィルタを用いて、細かな凹凸を付近の値で平均する処理を行うことで、平滑な３Ｄデータを得ることができる。この際、全体をスキャンして、凹凸があればその凹凸を消す処理を行う。最後に、２Ｄデータを３Ｄデータに張り付けて、例えば色付きの３Ｄデータとする。すなわち、前述した表１のパラメータ４０５を元に、図４に示すように、正面立体データ４０１に正面写真データ４０３を位置合わせして貼り付ける処理を行う。
【００４８】
図８は、本実施の形態による立体画像処理に沿って形成される立体画像の遷移の様子を示す図である。図８の立体（３Ｄ）データ４０１・４０２、写真（２Ｄ）データ４０３・４０４を作成するまでの様子は、図４に示す処理と同様である。上記正面立体データ４０１に正面写真データ４０３を位置合わせして貼り付ける処理により、立体画像に色等の施された立体画像合成データ（正面）８０１が作成される。同じように、背面立体データ４０２に背面写真データ４０４を貼り付ける処理により、立体画像に色等の施された立体画像合成データ（背面）８０２が作成される。
【００４９】
【表２】
【００５０】
【表３】
【００５１】
表２は、複数データの位置合わせパラメータ４０６ａを正面について保持した表であり、複数データの位置あわせパラメータの画像情報を有する。実際には、表３のように正面のデータの他に背面のデータ４０６ｂを保持している。
【００５２】
ステップ５０３では、複数画像合成部３０４において、複数画像の合成処理を行う。表２・表３に示すパラメータは、立体画像合成データ（正面）８０１、立体画像合成データ（背面）８０２でそれぞれ保持しており、複数画像の合成処理の際に使用する。複数画像の合成処理は、図６のフローチャート図で示す処理に沿って行われる。図６は、図５のステップ５０３の複数画像の合成処理の詳細な処理の流れを示す図である。
【００５３】
まずステップ６０１では、表２、表３のパラメータ４０６・４０７の空間座標Ｘ、空間座標Ｙ、空間座標Ｚを元に、立体画像合成データ（正面）８０１、立体画像合成データ（背面）８０２の位置をそれぞれ調整する。尚（Ｘ，Ｙ）は、２次元平面内の位置座標であり、Ｚは、２次元平面と垂直な方向の位置（距離）である。ステップ６０２では、パラメータ４０６・４０７の回転角度を元に、立体画像合成データ（正面）８０１、立体画像合成データ（背面）８０２の向きを調整する。ステップ６０３では、立体画像合成データ（正面）８０１と立体画像合成データ（背面）８０２のデータを解析し、合成箇所を検出する。ステップ６０４ではステップ６０３で検出された合成箇所を元に、立体画像合成データ（正面）８０１と立体画像合成データ（背面）８０２との合成処理（この場合は側面を繋げることで合成する。）を行い、側面で関連付けされた立体画像合成データ８０３を作成する。
【００５４】
ステップ５０３の処理後においても、合成箇所（側面等）にデータが不足している場合があるため、ステップ５０４では、画像補完処理部３０５において、この例では側面部の立体画像の補完を行う。画像の補完処理の詳細については図７のフローチャート図に示された処理に基づいて行われる。
【００５５】
図７に示すように、まず、ステップ７０１で、立体画像合成データ（正面）８０１、立体画像合成データ（背面）８０２の合成時にデータを補完する必要がある箇所（この場合には側面部）を検出する。補完箇所が検出された場合は、ステップ７０２で、まず立体部分の補完処理を行う。立体部分の補完処理は、立体画像合成データ（正面）８０１、立体画像合成データ（背面）８０２（正面立体データ４０１と背面立体データ４０２）との立体形状から推測する。
【００５６】
この補完処理について具体的に例示して説明する。
１）Ｚ値がＩＮＶＡＬＩＤでない点について、輪郭追跡処理を行う（例えば、http://homepage2.nifty.com/tsugu/sotuken/binedge/参照）。この処理により、輪郭の位置が複数検出される。
２）正面と背面とのそれぞれ複数検出された輪郭の位置から、正面と背面との間（前後）で距離の近い輪郭同士を関連付けする（図８の８０３参照）。
３）２）で関連付けした輪郭同士に含まれる全ての（Ｘ、Ｙ）座標に対して正面と背面との対応点を算出する。
４）３）で関連付けした（Ｘ、Ｙ）座標について、Ｚデータを含めて、対応する３Ｄデータの点を結合する。（以上ステップ７０２）
５）上記４）までで補完した３Ｄデータに貼り付ける、２Ｄデータ（写真部分）の補完処理を行う（ステップ７０３）。すなわち、ステップ７０２で立体部分を補完した場合において、補完箇所に貼り付ける写真データは存在しないため、ステップ７０３で写真部分の補完処理を行う。写真部分の補完処理は、正面写真データ４０３と背面写真データ４０４とから補完部分の色等を推測する。例えば、正面写真データ４０３の色と背面写真データ４０４の色が同じであれば、その同じ色を側面の補完部分にも適用する。前後の色が異なる場合には、前の色から後ろの色に徐々に変化するようにしても良い。
【００５７】
ステップ７０４では、ステップ７０２で補完された立体部分のデータにステップ７０３で補完された写真部分のデータを貼り付ける処理を行い、立体画像合成データ８０１、立体画像合成データ８０２を合成することで、側面部の補完処理が終了する。
【００５８】
尚、ステップ５０４の後、ステップ５０５では、合成後画像補正処理部３０６で立体画像合成データ８０３の補正処理を行う。立体画像合成データ８０３に異常値や想定しない値がある場合は、それらの値の除去を行う。また立体画像合成データ（正面）８０１と立体画像合成データ（背面）８０２との色調や形状の差が大きく、立体画像合成データ８０３において、期待していたデータと乖離した場合には、色調補正や形状補正等を行う。
【００５９】
【数２】
【００６０】
式（５）は、４点ベジェ曲線に沿って、輪郭部分を丸める処理を行うための式の具体例である。図９は、４点ベジェ曲線に沿って、輪郭部分を丸める処理の概要を示す図である。９つの点Ｐ１１からＰ１９までからなる正方格子において、４点を結ぶ四角形の輪郭を丸める処理について説明する。Ｖ１は結合する点（正面）、Ｖ４は結合する点（背面）のベクトルであり、Ｖ２、Ｖ３は、それぞれ正面と背面の補正ベクトルであり、Ｖｔは出力３次元ベクトルである。式（５）に基づいて、Ｖ１１、Ｖ１２、Ｖ１３、Ｖ１４の合成ベクトル（ベクトル平均）の逆ベクトルを求めると、これが、Ｖ２又はＶ３となる。このＶ２又はＶ３に基づいて、側部の輪郭を丸めることができる。
【００６１】
尚、ステップ５０４の補完処理は、被写体の種類によって異なるようにしても良い。例えば、冷蔵庫のような直方体では、側面を平面で補完することができ、人間であれば、有る程度丸みを帯びた側面になる。第３の撮影装置によって、側面に関する処理を行っても良いし、２台のカメラのうち第２の撮影装置を、背面ではなく側面を撮影できる位置に設置して側面を測定できるようにしても良い。
【００６２】
ステップ５０６では、以上の処理を行った点集合のデータをデータ記憶部３０７に出力し、記憶部３０７でこれらのデータ群を記憶する。
【００６３】
例えば、ステップ５０７において、データ記憶部３０７から立体画像８０３のデータを読み込み表示装置１０８に出力することにより、立体画像を表示装置１０８に表示させることができる。
【００６４】
以上の処理により生成されたデータに基づいて、立体画像合成８０３を３６０°立体視可能な最終立体画像８０４として、表示装置１０８に表示することができる。
【００６５】
例えば、本実施の形態による画像処理により得られた最終立体画像データ８０４の背景として、例えば教会の画像を適用することにより、その教会に被写体（自分など）が立っているような演出がインタラクティブに出来るようになり、魅力的な商品（ビデオなど）を提供することができる。
【００６６】
尚、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【００６７】
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。
【産業上の利用可能性】
【００６８】
本発明は、３次元立体画像処理装置として利用可能である。
【符号の説明】
【００６９】
１０１ 撮影装置
１０２ 撮影装置
１０３ ２Ｄ（Ｗｅｂ）カメラ
１０４ ３Ｄカメラ
１０５ ２Ｄ（Ｗｅｂ）カメラ
１０６ ３Ｄカメラ
１０７ 画像処理装置
１０８ 表示装置
２０１ 三脚
３０１ 画像入力部
３０２ 画像出力部
３０３ 各画像補正部
３０４ 複数画像合成部
３０５ 画像補完処理部
３０６ 合成後画像補正処理部
３０７ データ記憶部
３０８ ＣＰＵ
４０１ 正面立体データ
４０２ 背面立体データ
４０３ 正面写真
４０４ 背面写真
４０５ 写真の位置合わせ用パラメータ
４０６ 複数データの位置合わせパラメータ
５０１ 撮影装置での撮影処理
５０２ 各画像の合成処理
５０３ 複数画像の合成処理
５０４ 画像の補完処理
５０５ 合成後画像の補正処理
５０６ 結果データの保存処理
５０７ 結果データの表示処理
６０１ 各画像の位置を調整処理
６０２ 各画像の向きを調整処理
６０３ 各画像の合成箇所を検出する処理
６０４ 各画像を合成する処理
７０１ 合成画像の補完箇所の検出処理
７０２ 立体部分の補完処理
７０３ 写真部分の補完処理
７０４ 補完部分の合成処理
【技術分野】
【０００１】
本発明は、立体画像処理技術に関し、特に、取得したデータをもとに立体画像をモニタに効果的に表示するための立体画像処理技術に関する。
【背景技術】
【０００２】
近年、立体画像表示装置の普及が進み、立体画像を生成したり加工したりする立体画像処理技術の開発も盛んになってきている。
【０００３】
特許文献１に記載の技術では、コンピュータの演算処理により、被写体の陰影パターンもしくは輪郭パターンを示す左右のテンプレート画像を記憶手段に記憶しておくテンプレート画像記憶ステップと、２台のカメラにより元の被写体を２視点もしくは２方向から撮影して得られた左右の投影画像をコンピュータに入力し、コンピュータの演算処理により、上記記憶手段から左右のテンプレート画像を読み出し、左の投影画像に左のテンプレート画像を合成して、左の投影画像を修正もしくは補足し、この被写体を一方の視点もしくは方向から見たときの左の合成画像を形成すると共に、右の投影画像に右のテンプレート画像を合成して、右の投影画像を修正もしくは補足し、該被写体を他方の視点もしくは方向から見たときの右の合成画像を形成し、陰影もしくは輪郭を付与された左右の合成画像を形成するものである。すなわち、左右の画像の上に他の画像を合成して修正、補正する画像合成について開示するものである。
【０００４】
また、一般的に、２次元映像信号から抽出された奥行き情報と２次元映像信号とに基づいて立体映像を生成する実写の２次元映像から視差情報を持たせた立体視用映像を生成することができる。しかしながら、上記従来の技術では大きく回り込んで見た映像を視聴することができない。
【０００５】
下記特許文献２に記載の技術は、２次元映像とその立体視用情報とに基づいて立体映像を生成する方法において、観者の頭部位置又は観者が入力した操作情報に基づいて仮想カメラ位置を判定し、所定間隔で複数配置されたカメラで撮影したものに相当する複数の２次元映像のなかで仮想カメラ位置に最も近い位置の２次元映像とその立体視用情報とに基づいて立体映像を生成する。より具体的には、複数の角度から２次元写真を撮影し、これにより、左右の合成画像を形成し、３次元ディスプレイを用いて、左右の合成画像を左右の目で略同時に見ると、修整もしくは補足された被写体を立体的に見せることができる。
【０００６】
上記の構成であれば、所定間隔で複数配置されたカメラで撮影したものに相当する複数の２次元映像（複数のカメラ）を利用するので、大きく回り込んで見た映像を視聴することができる。そして、複数の２次元映像のなかで仮想カメラ位置に最も近い位置の２次元映像とその立体視用情報とに基づいて立体映像を生成するので、映像の切り替わりが滑らかに行なわれる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２１０４０５号公報
【特許文献２】特開２００４−２００８１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１の技術は、前後から撮影するものではなく３６０度全ての立体像を作成することができない。また、テンプレートとして記憶されている画像を、上からの合成に用いるものであり、撮影したそのままのデータに基づいて３次元映像を生成するものではない。
【０００９】
また、特許文献２の技術では、複数の角度から２次元写真を撮影して立体的に見せるものであり、２次元映像と３次元映像とに基づいて、立体映像を作成するものではない。
【００１０】
本発明は、取得した実際の２次元映像と３次元映像とに基づいて、立体画像を精度良く、かつ、簡単な処理により生成することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一観点によれば、第１の位置と前記第１の位置とは異なる第２の位置において、同じタイミングで取得した、被写体との間の距離データを含む第１及び第２の３次元データと被写体との間の距離データを含まない第１及び第２の２次元データとを画像入力部からの入力とし、入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理部を有することを特徴とする立体画像処理装置が提供される。
【００１２】
また、本発明は、第１の位置に設けられた第１の撮影装置と前記第１の位置とは異なる第２の位置に設けられた第２の撮影装置の少なくとも２以上の撮影装置により同じタイミングで取得した、被写体との間の距離データを含む第１及び第２の３次元データと被写体との間の距離データを含まない第１及び第２の２次元（装飾用画像）データとを画像入力部からの入力とし、入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理部を有することを特徴とする立体画像処理装置である。第１の位置に設けられた第１の撮影装置と前記第１の位置とは異なる第２の位置に設けられた第２の撮影装置の少なくとも２以上の撮影装置により同じタイミングで取得した、被写体との間の距離データを含む第１及び第２の３次元データと被写体との間の距離データを含まない第１及び第２の２次元（装飾用画像）データとを画像入力部からの入力とすることで、立体画像データの生成処理の負担を軽減することができる。
【００１３】
また、本発明は、第１の位置と前記第１の位置とは異なる第２の位置において、同じタイミングで取得した、被写体との間の距離データを含む第１及び第２の３次元データと被写体との間の距離データを含まない第１及び第２の２次元（装飾用画像）データとを画像入力部からの入力とし、入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理部を有する立体画像処理装置と、前記第１及び第２の撮影装置と、を有し、前記第１及び第２の撮影装置は、それぞれ、２Ｄデータと３Ｄデータとを取得する２Ｄカメラと３Ｄカメラとを有することを特徴とする立体画像処理システムである。
【００１４】
本発明の他の観点によれば、第１の位置と前記第１の位置とは異なる第２の位置において、同じタイミングで被写体との間の距離データを含む第１及び第２の３次元データを取得するとともに、被写体との間の距離データを含まない第１及び第２の２次元データと取得するステップと、入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理ステップとを有することを特徴とする立体画像処理方法が提供される。
【００１５】
本発明は、上記の方法をコンピュータに実行させるためのプログラム、当該プログラムを記録するコンピュータ読みとり可能な記憶媒体であっても良い。
【発明の効果】
【００１６】
本発明の立体画像処理技術によれば、３次元立体画像を作成する処理の負担を軽減することができる。また、実際の２次元映像と３次元映像とにより立体画像を作成するため、きれいな立体画像を作成することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施の形態による立体画像処理システムの一構成例を示す機能ブロック図である。
【図２】本実施の形態による立体画像処理システムにおける撮影装置の一構成例を示す外観図である。
【図３】本実施の形態による立体画像処理システムにおける画像処理装置の一構成例を示す機能ブロック図である。
【図４】本実施の形態による立体画像処理システムにおける２Ｄデータと３Ｄデータの一例と、２Ｄデータと３Ｄデータの対応付けの例を示す図である。
【図５】本実施の形態による立体画像処理の流れを示すフローチャート図である。
【図６】本実施の形態による立体画像処理のうち、複数画像の合成処理の流れを示すフローチャート図である。
【図７】本実施の形態による立体画像処理のうち、画像の補完処理の流れを示すフローチャート図である。
【図８】本実施の形態による立体画像処理の様子を示す図である。
【図９】本実施の形態による画像補完処理の様子を示す図である。
【発明を実施するための形態】
【００１８】
本明細書において、３Ｄカメラとは、例えば、被写体に赤外線を照射し、その反射データを取得することで、深度を計測し、３Ｄデータを取得するものであり、例えば、Mesa Imaging社のSwissRanger（登録商標）SR4000を用いることができる。この３Ｄカメラについては、http://www.mesa-imaging.ch/prodview4k.phpを参照することができる。この３Ｄカメラは、３Ｄ画像生成に必要な。被写体との間の距離のデータ（３Ｄデータ）を取得するためのカメラ（撮影装置）である。
【００１９】
一方、２Ｄカメラとは、一般的な平面（２次元）画像（２Ｄ画像）を撮影するためのデジタルカメラ等を指す。
【００２０】
但し、３Ｄカメラから出力される３Ｄデータは、機器の精度の問題等によりエラーデータが含まれる場合が多く、そのまま使用した場合には、綺麗な３Ｄデータとならないという問題がある。
【００２１】
また、３Ｄカメラの解像度と２Ｄカメラの装飾用２Ｄ画像データの解像度とが一致していない場合も多く、３Ｄデータと２Ｄデータとを合成する際に、立体画像表示に必要のない部分の画像が立体に表示されてしまうという問題もある。
【００２２】
以下に、本実施の形態による、高い視覚効果で３Ｄ表示が可能な立体画像処理技術について説明する。
【００２３】
図１（ａ）は、本発明の一実施の形態による立体画像処理システムの一構成例を示す機能ブロック図である。図１（ｂ）は、図１（ａ）のシステムを上から見た位置関係の例を示す図である。
【００２４】
図１（ａ）に示すように、立体画像処理システムＡは、第１の撮影装置（１）１０１と、第２の撮影装置（２）１０２と、画像処理装置１０７と、表示装置１０８と、を有している。尚、表示装置１０８は、立体画像処理システムＡにおいては任意に設けられる装置である。
【００２５】
第１の撮影装置（１）１０１は、２Ｄカメラ（Ｗｅｂカメラ等）１０３と、３Ｄカメラ１０４とを備えており、第２の撮影装置１０２も同様に、２Ｄカメラ１０５と３Ｄカメラ１０６とを備えている。３Ｄカメラ１０４、１０６は、３Ｄカメラ１０４、１０６から撮影対象Ｈ（ここでは、人間を対象としている例を示す。）までの距離を計測し、撮影対象の立体形状を作成するためのデータを取得する機器である。２Ｄカメラ１０３、１０５は、撮影対象Ｈの２次元の写真を撮影する機器であり、デジタル画像が撮影できる機器であれば一般的なデジタルカメラを用いることができる。
【００２６】
撮影対象となる人物Ｈが、第１の撮影装置（１）１０１と第２の撮影装置（２）１０２とに挟まれるように立つことにより、第１の撮影装置（１）１０１は背面からの画像、第２の撮影装置（２）１０２は正面からの画像を、前後から撮影する（図１（ｂ）参照）。
【００２７】
なお、本実施の形態では、第１の撮影装置（１）１０１、第２の撮影装置（２）１０２は、２Ｄカメラと３Ｄカメラとを別々に設ける構成を例としたが、２Ｄカメラ機能と３Ｄカメラ機能とを一体化したカメラＤ１、Ｄ２を用いても良い。また、１台の撮影装置１０１を前後に移動させながら正面画像と背面画像とを順次撮影しても良く、さらに、撮影装置の数を増やして３以上の複数の角度から被写体を撮影する構成としても良い。撮影装置を回転させる等により異なる位置における映像を撮影するようにしても良い。
【００２８】
第１の撮影装置（１）１０１、第２の撮影装置（２）１０２は、それぞれ、インターフェイス部１１１、１１２を介して画像処理装置１０７のインターフェイス部１１３と接続されており（有線又は無線接続のいずれでも良い）、画像処理装置１０７は、第１の撮影装置（１）１０１、第２の撮影装置（２）１０２から送られた画像データに対し、補正、補完及び合成処理を行う。画像処理装置１０７による画像処理の結果、３Ｄカメラ１０４、１０６で撮影した撮影対象の立体形状に、２Ｄカメラ１０３、１０５で撮影した撮影対象の表面画像のデータ（色など）が合成された、３次元画像データが完成する。
【００２９】
この３次元画像データに基づいて、画像処理装置１０７にインターフェイス部１１４、１１５を介して接続された（画像処理装置１０７と一体型でも良い）表示装置１０８（例えばＬＣＤディスプレイ等）に立体画像が表示される。他の表示手段として、ネットワーク接続された図示しない携帯端末に３次元画像データを送り、携帯端末の表示画面上で３次元画像を確認できるようにしても良く、表示装置を限定するものではない。
【００３０】
図２は、第１の撮影装置（１）１０１および第２の撮影装置（２）１０２の外観構成例を示す図である。カメラの三脚２０１の上に、３Ｄカメラ１０４もしくは３Ｄカメラ１０６が設けられ、その上に２Ｄカメラ１０３もしくは２Ｄカメラ１０５が取り付けられた簡単な構成である（上下は逆でも良く、左右に並べても良い。要するに近い位置に２Ｄカメラと３Ｄカメラが設けられている）。符号Ｄ１、Ｄ２で示すように、２Ｄカメラ、３Ｄカメラが一体であっても良い。要するに、２Ｄカメラ１０３、１０５と３Ｄカメラ１０４、１０６とが、同じカメラであっても良いし、異なるカメラであっても良いが、両者の位置がほぼ同じであることが好ましい。
【００３１】
図３は、本実施の形態による画像処理装置１０７を中心としたシステムの一構成例を示す機能ブロック図である。図４は、第１の撮影装置（１）１０１と第２の撮影装置（２）１０２とによる撮影画像データ及び画像情報の一例を示す図である。図３に示すように、画像処理装置１０７は、画像入力部３０１と、画像出力部３０２と、各画像補正部３０３と、複数画像合成部３０４と、画像補完処理部３０５と、合成後画像補正処理部３０６と、データ記憶部３０７と、を有している。各画像補正部３０３と、複数画像合成部３０４と、画像補完処理部３０５と、合成後画像補正処理部３０６と、により、画像処理部３０８を構成する。各処理部３０１〜３０７に付されている符号５０１〜５０７までは、図５の各処理と対応したものである。
【００３２】
画像入力部３０１は、第２の撮影装置（２）１０２から３Ｄカメラ１０６（図１、２）によって撮影された正面立体（データ）４０１（図４）及び２Ｄカメラ１０５によって撮影された正面写真（データ）４０３（図４）を受け取り、第１の撮影装置（１）１０１から３Ｄカメラ１０４によって撮影された背面立体（データ）４０２（図４）及び２Ｄカメラ１０３によって撮影された背面写真（データ）４０４（図４）を受け取る。
【００３３】
各画像補正部３０３は、画像入力部３０１から受け取った画像データに対し、ノイズやデータ誤差を除去し、正面立体（Ｈ１１）４０１及び背面立体（Ｈ１３）４０２において、カメラから撮影対象までの距離が取れていない部分を周辺の距離データに基づいて補完する処理を行う。
【００３４】
複数画像合成部３０４は、各画像補正部３０３で処理された画像データを用い、正面立体４０１と正面写真４０３を貼り合わせて正面像の３次元画像データを作成し、背面立体４０２と背面写真４０４を張り合わせて背面像の３次元画像データを作成する。
【００３５】
図４（ａ）は３Ｄデータ、図４（ｂ）は２Ｄデータの一例を示す図である。図４（ａ）に示すように、正面立体データ４０１は、被写体Ｈの正面に置かれた第２の撮影装置（２）１０２の３Ｄカメラ１０６によって撮影された結果として得られる画像データであり、画像入力部３０１から入力される。３Ｄカメラ１０６によって撮影された正面立体データ４０１は立体的形状のデータのみを有し、撮影対象Ｈの衣装などの色彩的な要素は有さない。撮影対象Ｈの正面像（Ｈ１１）４０７を９０度回転させて側面（横）から見ると、側面像（Ｈ１２）４０８のような形態を有する。
【００３６】
図４（ｂ）に示すように、第２の撮影装置（２）１０２からは、２Ｄカメラ１０５によって撮影された正面写真データ４０３も得られる。正面写真データ４０３は、被写体の顔や衣装などの表面的な色彩を有する２次元の写真画像である。
【００３７】
同様に、被写体Ｈの背面に置かれた第１の撮影装置（１）１０１の３Ｄカメラ１０４からは背面立体データ（Ｈ１３）４０２が得られ、２Ｄカメラ１０３からは背面写真データ（Ｈ２）４０４を得ることができる。
【００３８】
【表１】
【００３９】
表１は、写真の位置合わせ用パラメータの一例を示す表であり、実際には、正面のデータの他に背面のデータを保持している。図４に示す正面立体データ４０１と背面立体データ４０２とは、それぞれ、表１に示すような写真の位置合わせ用パラメータを有している。
【００４０】
例えば、図４（ｂ）に示す四角形の頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４のそれぞれの座標の位置を示すパラメータを有している。この２Ｄ画像（正面写真）データ４０３から上記頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４によって画定される四角形の領域の正面画像Ｈ１を抜き出し、これを図４（ａ）に示す正面立体データ４０１に、被写体Ｈ１が被写体Ｈ１１に合うように位置合わせする。正面立体データ４０１の矩形の領域Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’によって画定される四角形の領域にそれぞれに当てはめる。同様に背面立体データ４０２についても、２Ｄ画像（背面写真データ）４０４に、被写体Ｈ２がＨ１３に合うように位置合わせされる。これらの位置合わせデータは、データ記憶部３０７に保持される。
【００４１】
画像補完処理部３０５は、複数画像合成部３０４で作成した正面像の３次元画像データ８０１（図８）と、背面像の３次元画像データ８０２（図８）を、左右の側面で縫い合わせて撮影対象全体の３次元画像データを作成し、縫い合わせ部分を滑らかにする補完処理を行う。
【００４２】
合成後画像補正処理部３０６は、画像補完処理部３０５で作成した撮影対象全体の３次元画像データに対し、全体的な立体的形状に不整合がないか否かを確認して、不整合があれば整形する処理を行う。
【００４３】
合成後画像補正処理部３０６が作成した３次元画像データは、画像出力部３０２から表示装置１０８に出力される。表示装置１０８では、３６０度全ての方向から立体的に見ることができる３次元画像が表示される。画像データや画像パラメータ情報、各種処理に用いるパラメータ値等はデータ記憶部３０７に格納されている。
【００４４】
図５は、本実施の形態による立体画像処理の流れを示すフローチャート図である。まずステップ５０１で、第２の撮影装置（２）１０２で撮影した画像は、図４（ａ）の正面立体データ４０１として画像入力部３０１に取り込まれる。立体データが取り込まれるタイミングと同じタイミングで（図示しない同期手段により同期させて）、第２の撮影装置（２）１０２で撮影した画像は、図４（ｂ）の正面写真４０３として画像入力部３０１に取り込まれる。さらに、第１の撮影装置（１）１０１で撮影した画像は、図４（ａ）の背面立体データ４０２として画像入力部３０１に取り込まれる。立体データが取り込まれるタイミングと同じタイミングで（図示しない同期手段により同期させて）、第１の撮影装置（１）１０１で撮影した画像は、図４（ｂ）の背面写真４０４として画像入力部３０１に取り込まれる。
【００４５】
ステップ５０２では、図３の各画像補正部３０３における各画像の補正処理が行われる。ステップ５０１で取得された正面立体データ４０１と背面立体データ４０２に、異常値や想定されていない値が含まれている場合には、それらの値の除去する処理を行う。データの一部が欠落している場合には、周囲のデータを元に補完処理を行う。例えば、被写体との間の距離を測定し、その平均値を採用し、この平均値から外れたデータは、背景として除去する。また、背景を除去した後の被写体のデータについて、平均値から突出したデータ（凸凹したデータ）は、ノイズとして除去する。これにより、３Ｄデータから背景を除去して被写体の３Ｄデータを抽出するとともに、抽出された被写体の３Ｄデータにおける細かな凹凸として検出されるノイズも除去し、ノイズが除去された被写体の３Ｄデータのみを残す。すなわち、３Ｄデータにおける閾値との比較、中央値との比較、平均値との比較、隣接する領域（周辺）との間の差分の大小比較などの標準値との比較に基づいて、ノイズと考えられる３Ｄデータを除去する。
【００４６】
【数１】
【００４７】
処理の具体的な一例について説明する。まず、式（１）に基づく閾値カットフィルタ処理を行う。この処理により、背景部分など被写体以外の対象外の部分をカットすることができる。次いで、式（２）に基づくＭｅｄｉａｎフィルタ処理を行う。対象となる被写体でも、３Ｄカメラによる例えば赤外線の反射に基づいて取得した距離データは、必ずしもきれいなデータではなく、部分的に中間値としての距離よりも大きく外れた値が得られることが多い。そこで、式（２）により、中間値の距離（被写体と３Ｄカメラとの距離Ｚ）を大きく外れた部分は、被写体部分であっても用いないフィルタ処理を行う。式（３）に基づく信頼性フィルタ処理は任意の処理であるが、カメラ固有の信頼性に起因する無効な値を取り除く処理である。次いで、式（４）に示すように、平均値フィルタを用いて、細かな凹凸を付近の値で平均する処理を行うことで、平滑な３Ｄデータを得ることができる。この際、全体をスキャンして、凹凸があればその凹凸を消す処理を行う。最後に、２Ｄデータを３Ｄデータに張り付けて、例えば色付きの３Ｄデータとする。すなわち、前述した表１のパラメータ４０５を元に、図４に示すように、正面立体データ４０１に正面写真データ４０３を位置合わせして貼り付ける処理を行う。
【００４８】
図８は、本実施の形態による立体画像処理に沿って形成される立体画像の遷移の様子を示す図である。図８の立体（３Ｄ）データ４０１・４０２、写真（２Ｄ）データ４０３・４０４を作成するまでの様子は、図４に示す処理と同様である。上記正面立体データ４０１に正面写真データ４０３を位置合わせして貼り付ける処理により、立体画像に色等の施された立体画像合成データ（正面）８０１が作成される。同じように、背面立体データ４０２に背面写真データ４０４を貼り付ける処理により、立体画像に色等の施された立体画像合成データ（背面）８０２が作成される。
【００４９】
【表２】
【００５０】
【表３】
【００５１】
表２は、複数データの位置合わせパラメータ４０６ａを正面について保持した表であり、複数データの位置あわせパラメータの画像情報を有する。実際には、表３のように正面のデータの他に背面のデータ４０６ｂを保持している。
【００５２】
ステップ５０３では、複数画像合成部３０４において、複数画像の合成処理を行う。表２・表３に示すパラメータは、立体画像合成データ（正面）８０１、立体画像合成データ（背面）８０２でそれぞれ保持しており、複数画像の合成処理の際に使用する。複数画像の合成処理は、図６のフローチャート図で示す処理に沿って行われる。図６は、図５のステップ５０３の複数画像の合成処理の詳細な処理の流れを示す図である。
【００５３】
まずステップ６０１では、表２、表３のパラメータ４０６・４０７の空間座標Ｘ、空間座標Ｙ、空間座標Ｚを元に、立体画像合成データ（正面）８０１、立体画像合成データ（背面）８０２の位置をそれぞれ調整する。尚（Ｘ，Ｙ）は、２次元平面内の位置座標であり、Ｚは、２次元平面と垂直な方向の位置（距離）である。ステップ６０２では、パラメータ４０６・４０７の回転角度を元に、立体画像合成データ（正面）８０１、立体画像合成データ（背面）８０２の向きを調整する。ステップ６０３では、立体画像合成データ（正面）８０１と立体画像合成データ（背面）８０２のデータを解析し、合成箇所を検出する。ステップ６０４ではステップ６０３で検出された合成箇所を元に、立体画像合成データ（正面）８０１と立体画像合成データ（背面）８０２との合成処理（この場合は側面を繋げることで合成する。）を行い、側面で関連付けされた立体画像合成データ８０３を作成する。
【００５４】
ステップ５０３の処理後においても、合成箇所（側面等）にデータが不足している場合があるため、ステップ５０４では、画像補完処理部３０５において、この例では側面部の立体画像の補完を行う。画像の補完処理の詳細については図７のフローチャート図に示された処理に基づいて行われる。
【００５５】
図７に示すように、まず、ステップ７０１で、立体画像合成データ（正面）８０１、立体画像合成データ（背面）８０２の合成時にデータを補完する必要がある箇所（この場合には側面部）を検出する。補完箇所が検出された場合は、ステップ７０２で、まず立体部分の補完処理を行う。立体部分の補完処理は、立体画像合成データ（正面）８０１、立体画像合成データ（背面）８０２（正面立体データ４０１と背面立体データ４０２）との立体形状から推測する。
【００５６】
この補完処理について具体的に例示して説明する。
１）Ｚ値がＩＮＶＡＬＩＤでない点について、輪郭追跡処理を行う（例えば、http://homepage2.nifty.com/tsugu/sotuken/binedge/参照）。この処理により、輪郭の位置が複数検出される。
２）正面と背面とのそれぞれ複数検出された輪郭の位置から、正面と背面との間（前後）で距離の近い輪郭同士を関連付けする（図８の８０３参照）。
３）２）で関連付けした輪郭同士に含まれる全ての（Ｘ、Ｙ）座標に対して正面と背面との対応点を算出する。
４）３）で関連付けした（Ｘ、Ｙ）座標について、Ｚデータを含めて、対応する３Ｄデータの点を結合する。（以上ステップ７０２）
５）上記４）までで補完した３Ｄデータに貼り付ける、２Ｄデータ（写真部分）の補完処理を行う（ステップ７０３）。すなわち、ステップ７０２で立体部分を補完した場合において、補完箇所に貼り付ける写真データは存在しないため、ステップ７０３で写真部分の補完処理を行う。写真部分の補完処理は、正面写真データ４０３と背面写真データ４０４とから補完部分の色等を推測する。例えば、正面写真データ４０３の色と背面写真データ４０４の色が同じであれば、その同じ色を側面の補完部分にも適用する。前後の色が異なる場合には、前の色から後ろの色に徐々に変化するようにしても良い。
【００５７】
ステップ７０４では、ステップ７０２で補完された立体部分のデータにステップ７０３で補完された写真部分のデータを貼り付ける処理を行い、立体画像合成データ８０１、立体画像合成データ８０２を合成することで、側面部の補完処理が終了する。
【００５８】
尚、ステップ５０４の後、ステップ５０５では、合成後画像補正処理部３０６で立体画像合成データ８０３の補正処理を行う。立体画像合成データ８０３に異常値や想定しない値がある場合は、それらの値の除去を行う。また立体画像合成データ（正面）８０１と立体画像合成データ（背面）８０２との色調や形状の差が大きく、立体画像合成データ８０３において、期待していたデータと乖離した場合には、色調補正や形状補正等を行う。
【００５９】
【数２】
【００６０】
式（５）は、４点ベジェ曲線に沿って、輪郭部分を丸める処理を行うための式の具体例である。図９は、４点ベジェ曲線に沿って、輪郭部分を丸める処理の概要を示す図である。９つの点Ｐ１１からＰ１９までからなる正方格子において、４点を結ぶ四角形の輪郭を丸める処理について説明する。Ｖ１は結合する点（正面）、Ｖ４は結合する点（背面）のベクトルであり、Ｖ２、Ｖ３は、それぞれ正面と背面の補正ベクトルであり、Ｖｔは出力３次元ベクトルである。式（５）に基づいて、Ｖ１１、Ｖ１２、Ｖ１３、Ｖ１４の合成ベクトル（ベクトル平均）の逆ベクトルを求めると、これが、Ｖ２又はＶ３となる。このＶ２又はＶ３に基づいて、側部の輪郭を丸めることができる。
【００６１】
尚、ステップ５０４の補完処理は、被写体の種類によって異なるようにしても良い。例えば、冷蔵庫のような直方体では、側面を平面で補完することができ、人間であれば、有る程度丸みを帯びた側面になる。第３の撮影装置によって、側面に関する処理を行っても良いし、２台のカメラのうち第２の撮影装置を、背面ではなく側面を撮影できる位置に設置して側面を測定できるようにしても良い。
【００６２】
ステップ５０６では、以上の処理を行った点集合のデータをデータ記憶部３０７に出力し、記憶部３０７でこれらのデータ群を記憶する。
【００６３】
例えば、ステップ５０７において、データ記憶部３０７から立体画像８０３のデータを読み込み表示装置１０８に出力することにより、立体画像を表示装置１０８に表示させることができる。
【００６４】
以上の処理により生成されたデータに基づいて、立体画像合成８０３を３６０°立体視可能な最終立体画像８０４として、表示装置１０８に表示することができる。
【００６５】
例えば、本実施の形態による画像処理により得られた最終立体画像データ８０４の背景として、例えば教会の画像を適用することにより、その教会に被写体（自分など）が立っているような演出がインタラクティブに出来るようになり、魅力的な商品（ビデオなど）を提供することができる。
【００６６】
尚、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【００６７】
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。
【産業上の利用可能性】
【００６８】
本発明は、３次元立体画像処理装置として利用可能である。
【符号の説明】
【００６９】
１０１ 撮影装置
１０２ 撮影装置
１０３ ２Ｄ（Ｗｅｂ）カメラ
１０４ ３Ｄカメラ
１０５ ２Ｄ（Ｗｅｂ）カメラ
１０６ ３Ｄカメラ
１０７ 画像処理装置
１０８ 表示装置
２０１ 三脚
３０１ 画像入力部
３０２ 画像出力部
３０３ 各画像補正部
３０４ 複数画像合成部
３０５ 画像補完処理部
３０６ 合成後画像補正処理部
３０７ データ記憶部
３０８ ＣＰＵ
４０１ 正面立体データ
４０２ 背面立体データ
４０３ 正面写真
４０４ 背面写真
４０５ 写真の位置合わせ用パラメータ
４０６ 複数データの位置合わせパラメータ
５０１ 撮影装置での撮影処理
５０２ 各画像の合成処理
５０３ 複数画像の合成処理
５０４ 画像の補完処理
５０５ 合成後画像の補正処理
５０６ 結果データの保存処理
５０７ 結果データの表示処理
６０１ 各画像の位置を調整処理
６０２ 各画像の向きを調整処理
６０３ 各画像の合成箇所を検出する処理
６０４ 各画像を合成する処理
７０１ 合成画像の補完箇所の検出処理
７０２ 立体部分の補完処理
７０３ 写真部分の補完処理
７０４ 補完部分の合成処理
【特許請求の範囲】
【請求項１】
第１の位置と前記第１の位置とは異なる第２の位置において、同じタイミングで取得した、被写体との間の距離データを含む第１及び第２の３次元データと被写体との間の距離データを含まない第１及び第２の２次元データとを画像入力部からの入力とし、入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理部を有することを特徴とする立体画像処理装置。
【請求項２】
第１の位置に設けられた第１の撮影装置と前記第１の位置とは異なる第２の位置に設けられた第２の撮影装置の少なくとも２以上の撮影装置により同じタイミングで取得した、被写体との間の距離データを含む第１及び第２の３次元データと被写体との間の距離データを含まない第１及び第２の２次元データとを画像入力部からの入力とし、入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理部を有することを特徴とする立体画像処理装置。
【請求項３】
前記画像処理部は、
入力された前記第１及び第２の３次元データの前記撮影装置と前記被写体との間の距離に関するエラーデータを、距離に関する標準値と比較することにより除去する各画像補正部を有することを特徴とする請求項２に記載の立体画像処理装置。
【請求項４】
前記画像処理部は、
前記各画像補正部により補正された前記第１及び第２の３次元データと、前記第１及び第２の２次元データとを、写真位置合わせ用の２次元パラメータを一致させるように２次元平面上で合成することで第１及び第２の立体画像合成データを作成することを特徴とする請求項３に記載の立体画像処理装置。
【請求項５】
前記画像処理部は、
前記第１及び第２の３次元データのそれぞれの空間座標Ｘ、空間座標Ｙ、空間座標Ｚを元に、第１及び第２の立体画像合成データの位置をそれぞれ調整し、前記第１及び第２の３次元データのそれぞれの回転角度を元に、第１及び第２の立体画像合成データの向きを調整し、位置と向きとを調整した前記第１及び第２の３次元データの合成箇所を検出し、検出された合成箇所で前記第１及び第２の３次元データを合成する処理を行うことで、前記合成箇所で関連付けされた立体画像合成データを作成することを特徴とする請求項４に記載の立体画像処理装置。
【請求項６】
前記画像処理部は、
前記第１及び第２の３次元データの合成処理において、前記合成箇所を、前記第１及び第２の３次元データにおける距離が近い位置の輪郭同士を関連付けし、関連付けした輪郭同士に含まれる前記空間座標（Ｘ，Ｙ）に対して、前記第１及び第２の３次元データにおける対応点を算出し、前記空間座標Ｚを用いて前記第１及び第２の３次元データを結合することを特徴とする請求項５に記載の立体画像処理装置。
【請求項７】
前記画像処理部は、
前記第１及び第２の３次元データを合成する際に、立体的な補完が必要な箇所を検出し、前記第１の３次元データと第２の３次元データとの立体形状から検出された前記立体的な補完が必要な箇所の３次元形状を推測して補完部分とする立体画像の補完処理を行う立体画像補完処理部を有することを特徴とする請求項６に記載の立体画像処理装置。
【請求項８】
前記立体画像補完処理部は、
さらに、補完された前記前記第１及び第２の３次元データに対して、前記補完が必要な箇所における前記第１及び第２の２次元データを補完して、前記補完部分に貼り付ける処理を行うことを特徴とする請求項７に記載の立体画像処理装置。
【請求項９】
前記画像処理部は、
前記画像補完処理部により補完された前記立体画像合成データのうち、補完処理を行った部分について、輪郭部分を丸める処理を行う合成後画像補正処理部を有することを特徴とする請求項７又は８に記載の立体画像処理装置。
【請求項１０】
第１の位置と前記第１の位置とは異なる第２の位置において、同じタイミングで取得した、被写体との間の距離データを含む第１及び第２の３次元データと被写体との間の距離データを含まない第１及び第２の２次元データとを画像入力部からの入力とし、入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理部を有する立体画像処理装置と、
前記第１及び第２の撮影装置と、を有し、
前記第１及び第２の撮影装置は、それぞれ、２Ｄデータと３Ｄデータとを取得する２Ｄカメラと３Ｄカメラとを有することを特徴とする立体画像処理システム。
【請求項１１】
前記第１又は第２の３次元データと前記第１又は第２の２次元データとのそれぞれを同じタイミングで取得する同期手段が設けられていることを特徴とする請求項９に記載の立体画像処理システム。
【請求項１２】
第１の位置と前記第１の位置とは異なる第２の位置において、同じタイミングで被写体との間の距離データを含む第１及び第２の３次元データを取得するとともに、被写体との間の距離データを含まない第１及び第２の２次元データと取得するステップと、
入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理ステップとを有することを特徴とする立体画像処理方法。
【請求項１３】
入力された前記第１及び第２の３次元データの取得位置と前記被写体の位置との間の距離に関するエラーデータを、標準値と比較することにより除去する各画像補正ステップの後に、前記第１及び第２の３次元データと前記第１及び第２の２次元データを合成することを特徴とする請求項１２に記載の立体画像処理方法。
【請求項１】
第１の位置と前記第１の位置とは異なる第２の位置において、同じタイミングで取得した、被写体との間の距離データを含む第１及び第２の３次元データと被写体との間の距離データを含まない第１及び第２の２次元データとを画像入力部からの入力とし、入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理部を有することを特徴とする立体画像処理装置。
【請求項２】
第１の位置に設けられた第１の撮影装置と前記第１の位置とは異なる第２の位置に設けられた第２の撮影装置の少なくとも２以上の撮影装置により同じタイミングで取得した、被写体との間の距離データを含む第１及び第２の３次元データと被写体との間の距離データを含まない第１及び第２の２次元データとを画像入力部からの入力とし、入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理部を有することを特徴とする立体画像処理装置。
【請求項３】
前記画像処理部は、
入力された前記第１及び第２の３次元データの前記撮影装置と前記被写体との間の距離に関するエラーデータを、距離に関する標準値と比較することにより除去する各画像補正部を有することを特徴とする請求項２に記載の立体画像処理装置。
【請求項４】
前記画像処理部は、
前記各画像補正部により補正された前記第１及び第２の３次元データと、前記第１及び第２の２次元データとを、写真位置合わせ用の２次元パラメータを一致させるように２次元平面上で合成することで第１及び第２の立体画像合成データを作成することを特徴とする請求項３に記載の立体画像処理装置。
【請求項５】
前記画像処理部は、
前記第１及び第２の３次元データのそれぞれの空間座標Ｘ、空間座標Ｙ、空間座標Ｚを元に、第１及び第２の立体画像合成データの位置をそれぞれ調整し、前記第１及び第２の３次元データのそれぞれの回転角度を元に、第１及び第２の立体画像合成データの向きを調整し、位置と向きとを調整した前記第１及び第２の３次元データの合成箇所を検出し、検出された合成箇所で前記第１及び第２の３次元データを合成する処理を行うことで、前記合成箇所で関連付けされた立体画像合成データを作成することを特徴とする請求項４に記載の立体画像処理装置。
【請求項６】
前記画像処理部は、
前記第１及び第２の３次元データの合成処理において、前記合成箇所を、前記第１及び第２の３次元データにおける距離が近い位置の輪郭同士を関連付けし、関連付けした輪郭同士に含まれる前記空間座標（Ｘ，Ｙ）に対して、前記第１及び第２の３次元データにおける対応点を算出し、前記空間座標Ｚを用いて前記第１及び第２の３次元データを結合することを特徴とする請求項５に記載の立体画像処理装置。
【請求項７】
前記画像処理部は、
前記第１及び第２の３次元データを合成する際に、立体的な補完が必要な箇所を検出し、前記第１の３次元データと第２の３次元データとの立体形状から検出された前記立体的な補完が必要な箇所の３次元形状を推測して補完部分とする立体画像の補完処理を行う立体画像補完処理部を有することを特徴とする請求項６に記載の立体画像処理装置。
【請求項８】
前記立体画像補完処理部は、
さらに、補完された前記前記第１及び第２の３次元データに対して、前記補完が必要な箇所における前記第１及び第２の２次元データを補完して、前記補完部分に貼り付ける処理を行うことを特徴とする請求項７に記載の立体画像処理装置。
【請求項９】
前記画像処理部は、
前記画像補完処理部により補完された前記立体画像合成データのうち、補完処理を行った部分について、輪郭部分を丸める処理を行う合成後画像補正処理部を有することを特徴とする請求項７又は８に記載の立体画像処理装置。
【請求項１０】
第１の位置と前記第１の位置とは異なる第２の位置において、同じタイミングで取得した、被写体との間の距離データを含む第１及び第２の３次元データと被写体との間の距離データを含まない第１及び第２の２次元データとを画像入力部からの入力とし、入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理部を有する立体画像処理装置と、
前記第１及び第２の撮影装置と、を有し、
前記第１及び第２の撮影装置は、それぞれ、２Ｄデータと３Ｄデータとを取得する２Ｄカメラと３Ｄカメラとを有することを特徴とする立体画像処理システム。
【請求項１１】
前記第１又は第２の３次元データと前記第１又は第２の２次元データとのそれぞれを同じタイミングで取得する同期手段が設けられていることを特徴とする請求項９に記載の立体画像処理システム。
【請求項１２】
第１の位置と前記第１の位置とは異なる第２の位置において、同じタイミングで被写体との間の距離データを含む第１及び第２の３次元データを取得するとともに、被写体との間の距離データを含まない第１及び第２の２次元データと取得するステップと、
入力された前記第１及び第２の３次元データと前記第１及び第２の２次元データとを合成して立体画像データを生成する画像処理ステップとを有することを特徴とする立体画像処理方法。
【請求項１３】
入力された前記第１及び第２の３次元データの取得位置と前記被写体の位置との間の距離に関するエラーデータを、標準値と比較することにより除去する各画像補正ステップの後に、前記第１及び第２の３次元データと前記第１及び第２の２次元データを合成することを特徴とする請求項１２に記載の立体画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１５６９６１（Ｐ２０１２−１５６９６１Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１６７６０（Ｐ２０１１−１６７６０）
【出願日】平成２３年１月２８日（２０１１．１．２８）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２８日（２０１１．１．２８）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
[ Back to top ]