三次元画像処理装置及び方法
【課題】複雑な演算処理を行う必要がなく、立体的なマスク画像を生成することができ、自然な立体画像を得ることができる三次元画像処理装置を提供する。
【解決手段】マスク領域設定部３１，３２は、左目用の画像データに対してマスクする対象の画像を囲む第１のマスク領域を設定し、右目用の画像データに対してマスクする対象の画像を囲む第２のマスク領域を設定する。マスク領域伸張部３３，３４は、第１のマスク領域を右方向に伸張して第１の伸張マスク領域とし、第２のマスク領域を左方向に伸張して第２の伸張マスク領域とする。マスク画像貼り付け部３７，３８は、左目用の画像データにおける第１の伸張マスク領域と右目用の画像データにおける第２の伸張マスク領域に対して、共通のマスク画像を貼り付ける。
【解決手段】マスク領域設定部３１，３２は、左目用の画像データに対してマスクする対象の画像を囲む第１のマスク領域を設定し、右目用の画像データに対してマスクする対象の画像を囲む第２のマスク領域を設定する。マスク領域伸張部３３，３４は、第１のマスク領域を右方向に伸張して第１の伸張マスク領域とし、第２のマスク領域を左方向に伸張して第２の伸張マスク領域とする。マスク画像貼り付け部３７，３８は、左目用の画像データにおける第１の伸張マスク領域と右目用の画像データにおける第２の伸張マスク領域に対して、共通のマスク画像を貼り付ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元画像における所定の領域にモザイク加工等のマスク処理を施すマスク機能を有する三次元画像処理装置及び方法に関する。
【背景技術】
【０００２】
監視カメラを用いた監視システムは、通常、監視対象ではない被写体のプライバシーの侵害を回避するため、監視対象ではない所定の領域にモザイク加工等のマスク処理を施すマスク機能を備えている。この種のマスク機能は、監視システム以外にも、放送局におけるニュース映像の放映の際や、その他種々の分野で用いられている。モザイク加工によって画像をぼかす以外に、黒塗りにして画像を非表示にする等、種々の処理方法がある。
【０００３】
ところで、近年、三次元画像による立体画像を表示するようにした、いわゆる３Ｄの映画やテレビジョン受像機が普及し始めている。３Ｄ表示を行わせるための眼鏡を用いる方式の他、眼鏡を用いない裸眼３Ｄの方式も登場している。監視システムにおいても、三次元画像を取り扱うことが増えると予想される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２７１８１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一例として、三次元画像を撮影する監視カメラを用いた監視システムにおいて、所定の領域にマスク処理を施すためには、マスク画像も立体的に生成することが必要となる。立体的なマスク画像を厳密に生成するには、マスク処理を施す画像が奥行き方向のどの距離に位置しているのかを計測する距離計測や空間把握が必要となる。距離計測や空間把握を行うには、三次元画像における左右の画像の画素がどのように対応しているかを探索するアルゴリズムが必要となる。この探索アルゴリズムを実現するには高速のプロセッサが必要となり、高速のプロセッサを用いたとしても探索するのにかなりの時間がかかってしまう。従って、監視対象ではない所定の領域に即座にマスク処理を施さなければならない監視システム等において、探索アルゴリズムを用いて立体的にマスク画像を生成する生成方法を採用することは現実的ではない。
【０００６】
三次元画像のコンテンツをオーサリングする場合、左右の画像を別々に二次元でオーサリングするのが一般的である。マスク処理を施した三次元画像を二次元でオーサリングすると、マスク画像は秘匿対象に対して平面的に貼り付いたように見えてしまう。マスク画像が立体的に見えないため、不自然な立体画像となってしまう。
【０００７】
本発明はこのような問題点に鑑み、複雑な演算処理を行う必要がなく、二次元でオーサリングを行っても立体的なマスク画像を生成することができ、自然な立体画像を得ることができる三次元画像処理装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上述した従来の技術の課題を解決するため、三次元画像における左目用の画像データに対してマスクする対象の画像を囲む第１のマスク領域を設定し、三次元画像における右目用の画像データに対してマスクする対象の画像を囲む第２のマスク領域を設定するマスク領域設定部（３１，３２）と、前記第１のマスク領域を右方向に伸張して第１の伸張マスク領域とし、前記第２のマスク領域を左方向に伸張して第２の伸張マスク領域とするマスク領域伸張部（３３，３４）と、前記左目用の画像データにおける前記第１の伸張マスク領域と前記右目用の画像データにおける前記第２の伸張マスク領域に対して、共通のマスク画像を貼り付けるマスク画像貼り付け部（３７，３８）とを備えることを特徴とする三次元画像処理装置を提供する。
【０００９】
上記の三次元画像処理装置において、前記左目用の画像データと前記右目用の画像データとの一方を加工することによって、前記第１及び第２の伸張マスク領域に貼り付ける拡張マスク画像を生成する拡張マスク画像生成部（３５６）を備えることが好ましい。
【００１０】
上記の三次元画像処理装置において、前記左目用の画像データにおける前記第１のマスク領域内の画像または前記右目用の画像データにおける前記第２のマスク領域内の画像を加工することによってマスク画像を生成するマスク画像生成部（３５）と、前記マスク画像を前記第１または第２の伸張マスク領域に合わせて拡張することにより、前記拡張マスク画像を生成するマスク画像拡張部（３６）とを備えることが好ましい。
【００１１】
上記の三次元画像処理装置において、前記左目用及び右目用の画像データとは無関係に、前記第１及び第２の伸張マスク領域に貼り付ける所定のパターンの拡張マスク画像を生成する拡張マスク画像生成部を備えるように構成してもよい。
【００１２】
この場合、前記拡張マスク画像生成部は、所定の文字列または模様を含む拡張マスク画像を生成することが好ましい。
【００１３】
また、本発明は、上述した従来の技術の課題を解決するため、三次元画像における左目用の画像データに対してマスクする対象の画像を囲む第１のマスク領域を設定し、三次元画像における右目用の画像データに対してマスクする対象の画像を囲む第２のマスク領域を設定するマスク領域設定ステップ（Ｓ２，Ｓ３）と、前記第１のマスク領域を右方向に伸張して第１の伸張マスク領域とし、前記第２のマスク領域を左方向に伸張して第２の伸張マスク領域とするマスク領域伸張ステップ（Ｓ４）と、前記左目用の画像データにおける前記第１の伸張マスク領域と前記右目用の画像データにおける前記第２の伸張マスク領域に対して、共通のマスク画像を貼り付けるマスク画像貼り付けステップ（Ｓ５）とを含むことを特徴とする三次元画像処理方法を提供する。
【発明の効果】
【００１４】
本発明の三次元画像処理装置及び方法によれば、複雑な演算処理を行う必要がなく、二次元でオーサリングを行っても立体的なマスク画像を生成することができ、自然な立体画像を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態をオーサリング装置に適用した構成例を示すブロック図である。
【図２】本発明の一実施形態を監視システムに適用した構成例を示すブロック図である。
【図３】図１，図２中のマスク処理部１２，２３の具体的構成例を示すブロック図である。
【図４】図３中のマスク領域伸張部３３，３４の動作を説明するための図である。
【図５】図３中のマスク領域伸張部３３，３４の動作を説明するための図であり、秘匿画像及びマスク領域を上から見た状態を示す図である。
【図６】図３中のマスク領域伸張部３３，３４の動作を説明するための図である。
【図７】図３中のマスク領域伸張部３３，３４の動作を説明するための図であり、秘匿画像及びマスク領域を上から見た状態を示す図である。
【図８】左右の画像データで異なるマスク画像を採用した場合に発生する問題点を説明するための図である。
【図９】図３中のマスク画像生成部３５及びマスク画像拡張部３６の動作を説明するための図である。
【図１０】マスク画像の他の例を示す図である。
【図１１】一実施形態の動作の全体的な流れを説明するための図である。
【図１２】一実施形態の動作を説明するためのフローチャートである。
【図１３】図１２におけるステップＳ５の第１の具体例を示すフローチャートである。
【図１４】図１２におけるステップＳ５の第２の具体例を示すフローチャートである。
【図１５】一実施形態によって表示される立体画像を概念的に示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の三次元画像処理装置及び方法の一実施形態について、添付図面を参照して説明する。まず、図１を用いて一実施形態をオーサリング装置に適用した構成例について説明する。図１において、画像入力部１１は、オーサリングの対象となっている三次元画像における左目用の画像データ及び右目用の画像データ（以下、左右の画像データ）を入力する。左右の画像データは、マスク処理部１２及びマスク領域生成部１４に供給される。記憶部１５には、操作部１６の操作によってマスクする対象の画像データが予め記憶されている。マスクする対象は例えば車両のナンバープレート等である。記憶部１５に、マスクする対象の画像を特定するための特徴情報を記憶しておいてもよい。
【００１７】
マスク領域生成部１４には、記憶部１５からマスクする対象の画像データが入力される。マスク領域生成部１４は、例えばパターンマッチングを用いることによって、左右それぞれの画像データからマスクする対象の画像データを抽出し、対象の画像データの位置と大きさを示すマスク領域データを生成する。マスク領域生成部１４は、マスク領域データを記憶部１５へと出力する。マスク領域生成部１４は、マスクする対象の画像を特定するための特徴情報に基づいてマスク領域データを生成してもよい。
【００１８】
マスク領域生成部１４は、一例として、まず、記憶部１５に記憶された画像データを基準として左の１フレームの画像データからマスクする対象の画像データを抽出し、対象の画像データの位置と大きさを示すマスク領域データを生成する。次に、マスク領域生成部１４は、左の画像データから抽出した画像データに基づいたパターンマッチングによって、同じフレームの右の画像データからマスクする対象の画像データを抽出して、マスク領域データを生成する。そして、マスク領域生成部１４は、次のフレームでは、前のフレームの画像データから抽出した画像データに基づいたパターンマッチングによって対象の画像データを抽出して、同様の動作を繰り返す。これによって、それぞれのフレームにおける左右の画像データからマスクする対象の画像データのマスク領域データが順次生成される。
【００１９】
なお、マスク対象が動かない場合、記憶部１５にマスクする対象の画像データを記憶させておく代わりに、マスクの位置と大きさを示すマスク領域データを片目、例えば左目用のマスク領域データのみ記憶させておいてもよい。その場合、記憶部１５から読み出したマスク領域データと左目用の画像データとから、最初にマスクする対象の画像データを作成し、この画像データと右目用の画像データとからパターンマッチングを用いて右目用のマスク領域データを生成する。このような方法をとることにより、マスク領域の手前に物体が横切って画像が変化した場合などでも、マスク領域データを確実に生成することができる。
【００２０】
マスク領域生成部１４が順次生成するマスク領域データは、記憶部１５に一旦記憶されて読み出されて、マスク処理部１２へと入力される。マスク処理部１２は、入力されたマスク領域データに基づいて、左右の画像データにマスク処理を施して、画像出力部１３へと出力する。画像出力部１３はマスク処理が施された左右の画像データを出力する。マスク処理部１２の具体的構成及びマスク処理の具体的な動作については後述する。
【００２１】
次に、図２を用いて一実施形態を監視システムに適用した構成例について説明する。図２において、左目撮像部２１ａは、被写体を撮影して左目用の画像信号を出力し、右目撮像部２１ｂは、被写体を撮影して右目用の画像信号を出力する。Ａ／Ｄ変換部２２ａは、左目撮像部２１ａより出力された画像信号をデジタルデータに変換して、左目用の画像データとしてマスク処理部２３に供給する。Ａ／Ｄ変換部２２ｂは、右目撮像部２１ｂより出力された画像信号をデジタルデータに変換して、右目用の画像データとしてマスク処理部２３に供給する。
【００２２】
マスク処理部２３には、記憶部２４から左右の画像データそれぞれのマスクする対象の画像データの位置と大きさを示すマスク領域データが入力される。図２に示す例は、マスクする対象を固定とした場合を示している。図２においても、図１と同様、それぞれのフレームでマスクする対象の位置や大きさが変化する場合に、変化に追従するようにマスク領域データを生成してもよい。マスク処理部２３は、マスク領域データに基づいて、Ａ／Ｄ変換部２２ａ，２２ｂより入力された左右の画像データにマスク処理を施して出力する。マスク処理部２３の具体的構成及びマスク処理の具体的な動作については後述する。
【００２３】
Ｄ／Ａ変換部２５は、マスク処理が施された左右の画像データをアナログデータに変換して、画像出力部２６へと出力する。画像出力部２６は、アナログデータを出力する。画像圧縮部２７は、マスク処理が施された左右の画像データをJPEG，MPEG等の任意のフォーマットで圧縮して、通信部２８へと出力する。通信部２８は、画像圧縮部２７より入力された圧縮データをインターネット等の通信網によって外部へと送出する。記録部２９は、画像圧縮部２７より入力された圧縮データを記録する。図２に示す例では、Ｄ／Ａ変換部２５及び画像出力部２６と、通信部２８と、記録部２９とを設けているが、それらの全てを設けなくてもよい。
【００２４】
図３にマスク処理部１２，２３の具体的構成例を示し、マスク処理部１２，２３の具体的な動作を、図４〜図９を参照しながら説明する。図３において、マスク領域設定部３１は、左の画像データのマスク領域データを用いてマスク領域を設定し、マスク領域設定部３２は、右の画像データのマスク領域データを用いてマスク領域を設定する。図４（Ａ）は、左右の画像データの投射面４０よりも奥側に秘匿対象４１を表示する３Ｄ表示の例を示している。投射面４０に、左目ＥＬで見る秘匿対象４１の左目画像４１Ｌと、右目ＥＲで見る秘匿対象４１の右目画像４１Ｒとを図示のように投射することによって、人は、秘匿対象４１が投射面４０よりも奥側に位置すると認識する。
【００２５】
秘匿対象４１をマスクするため、左目画像４１Ｌをちょうどマスクするマスク領域４２Ｌを設定し、右目画像４１Ｒをちょうどマスクするマスク領域４２Ｒを定したとする。すると、マスク領域４２Ｌとマスク領域４２Ｒとが合成されたマスク領域４２は、秘匿対象４１をちょうどマスクするように配置される。しかしながら、図４（Ａ）に示すようにマスク領域４２を設定し、マスク領域４２内に例えばモザイク加工等のマスク処理を施した場合には、マスク画像は秘匿対象４１に対して平面的に貼り付いたように見えてしまい、立体的に見えない。
【００２６】
図５（Ａ）は、図４（Ａ）を上から見た状態を示している。図５においては、都合上、投射面４０を所定の幅を有するように図示している。図５（Ａ）に示すように、マスク領域４２は見かけ上、投射面４０よりも奥側に位置しているように見える秘匿対象４１とほぼ同一位置にあり、マスク領域４２に対応させて設けるマスク画像は秘匿対象４１に貼り付いたような状態となる。マスク処理部１２，２３は、マスク領域伸張部３３，３４とマスク画像生成部３５とマスク画像拡張部３６を備えることによって、マスク画像が秘匿対象４１に貼り付いたような状態となることを解消する。
【００２７】
図３において、マスク領域伸張部３３は、マスク領域設定部３１より入力される図４（Ａ）に示すマスク領域４２Ｌを右方向に伸張して、図４（Ｂ）に示す伸張マスク領域４２Ｌexとする。マスク領域伸張部３４は、マスク領域設定部３２より入力される図４（Ａ）に示すマスク領域４２Ｒを左方向に伸張して、図４（Ｃ）に示す伸張マスク領域４２Ｒexとする。伸張マスク領域４２Ｌex，４２Ｒexとすることによって、図４（Ｂ），（Ｃ）に示すように、マスク領域４２は、見かけ上、秘匿対象４１よりも手前側に位置する。
【００２８】
図５（Ｂ）は、図４（Ｂ），（Ｃ）を上から見て、両者を合わせた状態を示している。図５（Ａ）と図５（Ｂ）とを比較すれば明らかなように、伸張マスク領域４２Ｌexはマスク領域４２Ｌと比較して右方向に伸びており、伸張マスク領域４２Ｒexはマスク領域４２Ｒと比較して左方向に伸びている。図５（Ａ）において、左目ＥＬがマスク領域４２Ｌに対応させて設けるマスク画像の右側端部を見る直線で示す視線と、右目ＥＲがマスク領域４２Ｒに対応させて設けるマスク画像の右側端部を見る直線で示す視線との交点は点ＰＲ０に位置している。左目ＥＬがマスク領域４２Ｌに対応させて設けるマスク画像の左側端部を見る直線で示す視線と、右目ＥＲがマスク領域４２Ｒに対応させて設けるマスク画像の左側端部を見る直線で示す視線との交点は点ＰＬ０に位置している。
【００２９】
図５（Ｂ）においては、伸張マスク領域４２Ｌex，４２Ｒexとなったことにより、左目ＥＬが伸張マスク領域４２Ｌexに対応させて設けるマスク画像の右側端部を見る破線で示す視線と、右目ＥＲが伸張マスク領域４２Ｒexに対応させて設けるマスク画像の右側端部を見る直線で示す視線との交点は点ＰＲ１に位置することになる。また、左目ＥＬが伸張マスク領域４２Ｌexに対応させて設けるマスク画像の左側端部を見る直線で示す視線と、右目ＥＲが伸張マスク領域４２Ｒexに対応させて設けるマスク画像の左側端部を見る破線で示す視線との交点は点ＰＬ１に位置することになる。
【００３０】
従って、図５（Ｂ）に示すように、伸張マスク領域４２Ｌex，４２Ｒexが合成されたマスク領域４２は、見かけ上、秘匿対象４１よりも手前側に位置する。マスク領域４２に対応させて設けるマスク画像は秘匿対象４１に貼り付いたような状態となることはなく、立体的に見えて自然な立体画像とすることができる。
【００３１】
図６（Ａ）〜（Ｃ）及び図７（Ａ），（Ｂ）は、投射面４０よりも手前側に秘匿対象４１を表示する３Ｄ表示の例を示している。この場合も同様に、マスク領域伸張部３３によってマスク領域４２Ｌを右方向に伸張して伸張マスク領域４２Ｌexとし、マスク領域伸張部３４によってマスク領域４２Ｒを左方向に伸張して伸張マスク領域４２Ｒexとすることによって、図６（Ｂ），（Ｃ）及び図７（Ｂ）に示すように、マスク領域４２を、見かけ上、秘匿対象４１よりも手前側に位置させることができる。
【００３２】
図３に戻り、マスク画像生成部３５には、マスク領域設定部３１より出力されたマスク領域４２Ｌを示すデータが入力される。マスク画像生成部３５に、マスク領域設定部３２より出力されたマスク領域４２Ｒを示すデータを入力してもよい。マスク画像生成部３５には、一例として、左の画像データが入力される。マスク画像生成部３５は、マスク領域４２Ｌ内の左の画像データを例えばモザイク加工することによってマスク画像を生成する。マスク画像生成部３５は、右の画像データに基づいてマスク画像を生成してもよい。
【００３３】
マスク画像生成部３５が生成するマスク画像は、左右の画像データ双方をマスクするために共通に用いられる。仮に、伸張マスク領域４２Ｌex内の左の画像データに基づいて左の画像データをマスクするための左用マスク画像を生成し、伸張マスク領域４２Ｒex内の右の画像データに基づいて右の画像データをマスクするための右用マスク画像を生成した場合を考える。図８（Ａ），（Ｄ）は、伸張マスク領域４２Ｌex，４２Ｒex内の秘匿対象４１の前に人物４３がいる状態を示している。図８（Ｂ），（Ｃ）は、伸張マスク領域４２Ｌex，４２Ｒex内の画像データをモザイク加工して生成したマスク画像４４Ｌ，４４Ｒを示している。
【００３４】
伸張マスク領域４２Ｌex，４２Ｒex内の画像データをそれぞれモザイク加工すると、図８（Ｂ），（Ｃ）における例えば矩形領域Ａｒ０は、本来であれば同一の輝度や色となるべきところ、輝度や色が異なってしまう。従って、伸張マスク領域４２Ｌex，４２Ｒex内の画像データを個別にモザイク加工して生成したマスク画像４４Ｌ，４４Ｒを用いると、人の目は適切に距離感を認識することができない。そこで、上記のように、本実施形態においては、マスク画像生成部３５が生成するマスク画像を、左右の画像データ双方をマスクするために共通に用いる。
【００３５】
図３において、マスク画像生成部３５は、マスク領域４２Ｌを示すデータを用いることにより、マスク領域４２Ｌ内の左の画像データに基づいてマスク画像を生成する。図９（Ａ）は、マスク領域４２Ｌ内の秘匿対象４１の前に人物４３がいる状態を示している。図９（Ｂ）は、マスク画像生成部３５によってマスク領域４２Ｌ内の画像データをモザイク加工して生成したマスク画像４５を示している。マスク画像生成部３５が生成したマスク画像４５はマスク画像拡張部３６に入力される。マスク画像拡張部３６は、図９（Ｃ）に示すように、マスク画像４５をアフィン変換することによって、マスク画像４５を伸張マスク領域４２Ｌexの大きさに拡張した拡張マスク画像４５Ｌexを生成する。また、マスク画像４５をアフィン変換することによって、マスク画像４５を伸張マスク領域４２Ｒexの大きさに拡張した拡張マスク画像４５Ｒexを生成する。
【００３６】
マスク画像生成部３５及びマスク画像拡張部３６は、拡張マスク画像４５Ｌex，４５Ｒexを生成する拡張マスク画像生成部３５６となっている。拡張マスク画像生成部３５６は、左右の画像データを加工するのではなく、左右の画像データとは無関係に所定の文字列や模様を含むパターンによってマスク画像（拡張マスク画像）を生成してもよい。マスク画像の生成に左右の画像データを用いない場合には、拡張マスク画像生成部３５６に左右の画像データを入力する必要はない。
【００３７】
左右の画像データを用いない場合には、マスク画像生成部３５によってマスク領域４２Ｌまたは４２Ｒに対応したマスク画像を生成し、マスク画像拡張部３６によって伸張マスク領域４２Ｌexまたは４２Ｒexに合わせるようにマスク画像を拡張するという２段階で行う必要はない。拡張マスク画像生成部３５６によって、伸張マスク領域４２Ｌexまたは４２Ｒexに合わせた所定のパターンの拡張マスク画像を生成すればよい。
【００３８】
マスク画像貼り付け部３７には、左の画像データと、マスク画像拡張部３６によって生成された拡張マスク画像４５Ｌexと、伸張マスク領域４２Ｌexを示すデータが入力される。マスク画像貼り付け部３８には、右の画像データと、マスク画像拡張部３６によって生成された拡張マスク画像４５Ｒexと、伸張マスク領域４２Ｒexを示すデータが入力される。マスク画像貼り付け部３７，３８は、伸張マスク領域４２Ｌex，４２Ｒexの範囲に拡張マスク画像４５Ｌex，４５Ｒexをそれぞれ貼り付ける。具体的には、マスク画像貼り付け部３７，３８は、伸張マスク領域４２Ｌex，４２Ｒex内の元の画像データを拡張マスク画像４５Ｌex，４５Ｒexのデータに置換する。これによって、マスク画像貼り付け部３７，３８から、秘匿対象４１に対してマスク処理が施され、マスク画像が立体的に見える左右の画像データが出力されることになる。
【００３９】
図５（Ｂ）に、マスク領域伸張部３３，３４によってマスク領域４２Ｌ，４２Ｒを左右に伸ばす伸張量Δｐを示している。図５（Ｂ）では、マスク領域４２Ｒの伸張量Δｐを図示している。本実施形態においては、マスク領域伸張部３３，３４に対して伸張量Δｐを定数として与えればよい。本実施形態においては、図５（Ｂ）に示す投射面４０上での視差ｐ、秘匿対象４１の奥行き量（または手前側への突出量）ｄ、秘匿対象４１からのマスク画像の距離Ｄ等を用いた演算を行う必要はない。従って、複雑な演算処理を行う必要はなく、極めて簡単にマスク画像を立体的に表示させることが可能となる。マスク領域伸張部３３，３４で設定する伸張量Δｐを可変にし、３Ｄ表示を目視しながら最適な伸張量Δｐを設定できるようにしてもよい。
【００４０】
図１０は、マスク画像（拡張マスク画像）の他の例を示している。図１０に示すマスク画像４６は、黒の背景にPrivacy Maskingなる文字列を表示した例である。マスク画像４６は、伸張マスク領域４２Ｌex，４２Ｒexに対応した大きさを有する。なお、例えば黒一色のような単調な画像をマスク画像とした場合にはマスク画像が立体的に見えない場合がある。そこで、上述したモザイク加工の画像、所定の文字列、所定の模様等、マスク画像が立体的に見えるパターンを採用すればよい。
【００４１】
図１１〜図１５を用いて、本実施形態における動作について改めて説明する。ここでは、図１に示す構成例の動作を説明する。図１１において、（Ａ）〜（Ｄ）は左の画像データにおけるフレームＦＬを、（Ｅ）〜（Ｈ）は右の画像データにおけるフレームＦＲを示している。なお、図１１（Ａ）〜（Ｄ），（Ｅ）〜（Ｈ）は必ずしもそれぞれ異なるフレームを示しているわけではない。
【００４２】
図１２において、マスク領域生成部１４は、ステップＳ１にて、マスクする対象の画像データを記憶部１５から読み出す。マスク領域生成部１４は、ステップＳ２にて、左の画像データからマスクする対象の画像データを抽出し、対象の画像データの位置と大きさを示すマスク領域データを生成する。これによって、図１１（Ａ）に示すように、マスクする対象の画像データである秘匿対象４１を囲むマスク領域４２Ｌが設定される。マスク領域生成部１４は、ステップＳ３にて、パターンマッチングによって右の画像データからマスクする対象の画像データを抽出し、対象の画像データの位置と大きさを示すマスク領域データを生成する。これによって、図１１（Ｆ）に示すように、マスクする対象の画像データである秘匿対象４１を囲むマスク領域４２Ｒが設定される。
【００４３】
特に図示していないが、マスク領域生成部１４は、左右の画像データにおけるそれぞれのフレームで、マスク領域データを順次生成する。
【００４４】
マスク処理部１２は、ステップＳ４にて、図１１（Ｃ），（Ｇ）に示すように、左の画像データのマスク領域４２Ｌを右方向にΔｐだけ伸張して伸張マスク領域４２Ｌexを生成し、右の画像データのマスク領域４２Ｒを左方向にΔｐだけ伸張して伸張マスク領域４２Ｒexを生成する。マスク処理部１２は、ステップＳ５にて、左の画像データの伸張マスク領域４２Ｌexと右の画像データの伸張マスク領域４２Ｒexとの双方に共通のマスク画像を貼り付けて終了する。
【００４５】
図１３は、ステップＳ５の第１の具体例を示している。図１３において、マスク処理部１２は、ステップＳ５１にて、図１１（Ｉ）に示すように、一例として左の画像データにおけるマスク領域４２Ｌ内の画像をモザイク加工して、マスク画像４５を生成する。図１１（Ｉ）では、図示の簡略化のため、マスク画像４５のモザイク画像を破線にて表
現している。マスク処理部１２は、ステップＳ５２にて、図１１（Ｉ）に示すように、Δｐだけ伸張した伸張マスク領域４２Ｌex，４２Ｒexに合わせてマスク画像４５をアフィン変換し、拡張マスク画像４５Ｌex，４５Ｒexを生成する。そして、マスク処理部１２は、ステップＳ５３にて、図１１（Ｄ），（Ｈ）に示すように、生成した拡張マスク画像４５Ｌexを左の画像データの伸張マスク領域４２Ｌexに貼り付け、拡張マスク画像４５Ｒexを右の画像データの伸張マスク領域４２Ｒexに貼り付けて終了する。
【００４６】
図１４は、ステップＳ５の第２の具体例を示している。図１４において、マスク処理部１２は、ステップＳ５４にて、Δｐだけ伸張した伸張マスク領域４２Ｌex，４２Ｒexに合わせて、所定のパターンのマスク画像を生成する。所定のパターンのマスク画像の一例は、図１０に示すマスク画像４６である。マスク処理部１２は、ステップＳ５５にて、生成したマスク画像を左の画像データの伸張マスク領域４２Ｌexと右の画像データの伸張マスク領域４２Ｒexとの双方に貼り付けて終了する。
【００４７】
本実施形態によれば、図１５に概念的に示すように、見かけ上、秘匿対象４１の手前側に拡張マスク画像４５Ｌex，４５Ｒexが表示されて、秘匿対象４１が拡張マスク画像４５Ｌex，４５Ｒexによってマスクされる。拡張マスク画像４５Ｌex，４５Ｒexは立体的に見え、自然な３Ｄ画像とすることができる。図１５では、図１３に示す第１の具体例による表示状態を示しているが、図１４に示す第２の具体例でも同様にマスク画像が立体的に見え、自然な３Ｄ画像とすることができる。
【００４８】
本発明は以上説明した本実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図１２〜図１３の各動作をソフトウェア（コンピュータプログラム）によって実現してもよく、ハードウェアとソフトウェアとを適宜に組み合わせてもよい。
【符号の説明】
【００４９】
１１ 画像入力部
１２，２３ マスク処理部
１３，２６ 画像出力部
１４ マスク領域生成部
１５，２４ 記憶部
１６ 操作部
２１ａ 左目撮像部
２１ｂ 右目撮像部
２２ａ，２２ｂ Ａ／Ｄ変換部
２５ Ｄ／Ａ変換部
２７ 画像圧縮部
２８ 通信部
２９ 記録部
３１，３２ マスク領域設定部
３３，３４ マスク領域伸張部
３５ マスク画像生成部
３６ マスク画像拡張部
３７，３８ マスク画像貼り付け部
３５６ 拡張マスク画像生成部
【技術分野】
【０００１】
本発明は、三次元画像における所定の領域にモザイク加工等のマスク処理を施すマスク機能を有する三次元画像処理装置及び方法に関する。
【背景技術】
【０００２】
監視カメラを用いた監視システムは、通常、監視対象ではない被写体のプライバシーの侵害を回避するため、監視対象ではない所定の領域にモザイク加工等のマスク処理を施すマスク機能を備えている。この種のマスク機能は、監視システム以外にも、放送局におけるニュース映像の放映の際や、その他種々の分野で用いられている。モザイク加工によって画像をぼかす以外に、黒塗りにして画像を非表示にする等、種々の処理方法がある。
【０００３】
ところで、近年、三次元画像による立体画像を表示するようにした、いわゆる３Ｄの映画やテレビジョン受像機が普及し始めている。３Ｄ表示を行わせるための眼鏡を用いる方式の他、眼鏡を用いない裸眼３Ｄの方式も登場している。監視システムにおいても、三次元画像を取り扱うことが増えると予想される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２７１８１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一例として、三次元画像を撮影する監視カメラを用いた監視システムにおいて、所定の領域にマスク処理を施すためには、マスク画像も立体的に生成することが必要となる。立体的なマスク画像を厳密に生成するには、マスク処理を施す画像が奥行き方向のどの距離に位置しているのかを計測する距離計測や空間把握が必要となる。距離計測や空間把握を行うには、三次元画像における左右の画像の画素がどのように対応しているかを探索するアルゴリズムが必要となる。この探索アルゴリズムを実現するには高速のプロセッサが必要となり、高速のプロセッサを用いたとしても探索するのにかなりの時間がかかってしまう。従って、監視対象ではない所定の領域に即座にマスク処理を施さなければならない監視システム等において、探索アルゴリズムを用いて立体的にマスク画像を生成する生成方法を採用することは現実的ではない。
【０００６】
三次元画像のコンテンツをオーサリングする場合、左右の画像を別々に二次元でオーサリングするのが一般的である。マスク処理を施した三次元画像を二次元でオーサリングすると、マスク画像は秘匿対象に対して平面的に貼り付いたように見えてしまう。マスク画像が立体的に見えないため、不自然な立体画像となってしまう。
【０００７】
本発明はこのような問題点に鑑み、複雑な演算処理を行う必要がなく、二次元でオーサリングを行っても立体的なマスク画像を生成することができ、自然な立体画像を得ることができる三次元画像処理装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上述した従来の技術の課題を解決するため、三次元画像における左目用の画像データに対してマスクする対象の画像を囲む第１のマスク領域を設定し、三次元画像における右目用の画像データに対してマスクする対象の画像を囲む第２のマスク領域を設定するマスク領域設定部（３１，３２）と、前記第１のマスク領域を右方向に伸張して第１の伸張マスク領域とし、前記第２のマスク領域を左方向に伸張して第２の伸張マスク領域とするマスク領域伸張部（３３，３４）と、前記左目用の画像データにおける前記第１の伸張マスク領域と前記右目用の画像データにおける前記第２の伸張マスク領域に対して、共通のマスク画像を貼り付けるマスク画像貼り付け部（３７，３８）とを備えることを特徴とする三次元画像処理装置を提供する。
【０００９】
上記の三次元画像処理装置において、前記左目用の画像データと前記右目用の画像データとの一方を加工することによって、前記第１及び第２の伸張マスク領域に貼り付ける拡張マスク画像を生成する拡張マスク画像生成部（３５６）を備えることが好ましい。
【００１０】
上記の三次元画像処理装置において、前記左目用の画像データにおける前記第１のマスク領域内の画像または前記右目用の画像データにおける前記第２のマスク領域内の画像を加工することによってマスク画像を生成するマスク画像生成部（３５）と、前記マスク画像を前記第１または第２の伸張マスク領域に合わせて拡張することにより、前記拡張マスク画像を生成するマスク画像拡張部（３６）とを備えることが好ましい。
【００１１】
上記の三次元画像処理装置において、前記左目用及び右目用の画像データとは無関係に、前記第１及び第２の伸張マスク領域に貼り付ける所定のパターンの拡張マスク画像を生成する拡張マスク画像生成部を備えるように構成してもよい。
【００１２】
この場合、前記拡張マスク画像生成部は、所定の文字列または模様を含む拡張マスク画像を生成することが好ましい。
【００１３】
また、本発明は、上述した従来の技術の課題を解決するため、三次元画像における左目用の画像データに対してマスクする対象の画像を囲む第１のマスク領域を設定し、三次元画像における右目用の画像データに対してマスクする対象の画像を囲む第２のマスク領域を設定するマスク領域設定ステップ（Ｓ２，Ｓ３）と、前記第１のマスク領域を右方向に伸張して第１の伸張マスク領域とし、前記第２のマスク領域を左方向に伸張して第２の伸張マスク領域とするマスク領域伸張ステップ（Ｓ４）と、前記左目用の画像データにおける前記第１の伸張マスク領域と前記右目用の画像データにおける前記第２の伸張マスク領域に対して、共通のマスク画像を貼り付けるマスク画像貼り付けステップ（Ｓ５）とを含むことを特徴とする三次元画像処理方法を提供する。
【発明の効果】
【００１４】
本発明の三次元画像処理装置及び方法によれば、複雑な演算処理を行う必要がなく、二次元でオーサリングを行っても立体的なマスク画像を生成することができ、自然な立体画像を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態をオーサリング装置に適用した構成例を示すブロック図である。
【図２】本発明の一実施形態を監視システムに適用した構成例を示すブロック図である。
【図３】図１，図２中のマスク処理部１２，２３の具体的構成例を示すブロック図である。
【図４】図３中のマスク領域伸張部３３，３４の動作を説明するための図である。
【図５】図３中のマスク領域伸張部３３，３４の動作を説明するための図であり、秘匿画像及びマスク領域を上から見た状態を示す図である。
【図６】図３中のマスク領域伸張部３３，３４の動作を説明するための図である。
【図７】図３中のマスク領域伸張部３３，３４の動作を説明するための図であり、秘匿画像及びマスク領域を上から見た状態を示す図である。
【図８】左右の画像データで異なるマスク画像を採用した場合に発生する問題点を説明するための図である。
【図９】図３中のマスク画像生成部３５及びマスク画像拡張部３６の動作を説明するための図である。
【図１０】マスク画像の他の例を示す図である。
【図１１】一実施形態の動作の全体的な流れを説明するための図である。
【図１２】一実施形態の動作を説明するためのフローチャートである。
【図１３】図１２におけるステップＳ５の第１の具体例を示すフローチャートである。
【図１４】図１２におけるステップＳ５の第２の具体例を示すフローチャートである。
【図１５】一実施形態によって表示される立体画像を概念的に示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の三次元画像処理装置及び方法の一実施形態について、添付図面を参照して説明する。まず、図１を用いて一実施形態をオーサリング装置に適用した構成例について説明する。図１において、画像入力部１１は、オーサリングの対象となっている三次元画像における左目用の画像データ及び右目用の画像データ（以下、左右の画像データ）を入力する。左右の画像データは、マスク処理部１２及びマスク領域生成部１４に供給される。記憶部１５には、操作部１６の操作によってマスクする対象の画像データが予め記憶されている。マスクする対象は例えば車両のナンバープレート等である。記憶部１５に、マスクする対象の画像を特定するための特徴情報を記憶しておいてもよい。
【００１７】
マスク領域生成部１４には、記憶部１５からマスクする対象の画像データが入力される。マスク領域生成部１４は、例えばパターンマッチングを用いることによって、左右それぞれの画像データからマスクする対象の画像データを抽出し、対象の画像データの位置と大きさを示すマスク領域データを生成する。マスク領域生成部１４は、マスク領域データを記憶部１５へと出力する。マスク領域生成部１４は、マスクする対象の画像を特定するための特徴情報に基づいてマスク領域データを生成してもよい。
【００１８】
マスク領域生成部１４は、一例として、まず、記憶部１５に記憶された画像データを基準として左の１フレームの画像データからマスクする対象の画像データを抽出し、対象の画像データの位置と大きさを示すマスク領域データを生成する。次に、マスク領域生成部１４は、左の画像データから抽出した画像データに基づいたパターンマッチングによって、同じフレームの右の画像データからマスクする対象の画像データを抽出して、マスク領域データを生成する。そして、マスク領域生成部１４は、次のフレームでは、前のフレームの画像データから抽出した画像データに基づいたパターンマッチングによって対象の画像データを抽出して、同様の動作を繰り返す。これによって、それぞれのフレームにおける左右の画像データからマスクする対象の画像データのマスク領域データが順次生成される。
【００１９】
なお、マスク対象が動かない場合、記憶部１５にマスクする対象の画像データを記憶させておく代わりに、マスクの位置と大きさを示すマスク領域データを片目、例えば左目用のマスク領域データのみ記憶させておいてもよい。その場合、記憶部１５から読み出したマスク領域データと左目用の画像データとから、最初にマスクする対象の画像データを作成し、この画像データと右目用の画像データとからパターンマッチングを用いて右目用のマスク領域データを生成する。このような方法をとることにより、マスク領域の手前に物体が横切って画像が変化した場合などでも、マスク領域データを確実に生成することができる。
【００２０】
マスク領域生成部１４が順次生成するマスク領域データは、記憶部１５に一旦記憶されて読み出されて、マスク処理部１２へと入力される。マスク処理部１２は、入力されたマスク領域データに基づいて、左右の画像データにマスク処理を施して、画像出力部１３へと出力する。画像出力部１３はマスク処理が施された左右の画像データを出力する。マスク処理部１２の具体的構成及びマスク処理の具体的な動作については後述する。
【００２１】
次に、図２を用いて一実施形態を監視システムに適用した構成例について説明する。図２において、左目撮像部２１ａは、被写体を撮影して左目用の画像信号を出力し、右目撮像部２１ｂは、被写体を撮影して右目用の画像信号を出力する。Ａ／Ｄ変換部２２ａは、左目撮像部２１ａより出力された画像信号をデジタルデータに変換して、左目用の画像データとしてマスク処理部２３に供給する。Ａ／Ｄ変換部２２ｂは、右目撮像部２１ｂより出力された画像信号をデジタルデータに変換して、右目用の画像データとしてマスク処理部２３に供給する。
【００２２】
マスク処理部２３には、記憶部２４から左右の画像データそれぞれのマスクする対象の画像データの位置と大きさを示すマスク領域データが入力される。図２に示す例は、マスクする対象を固定とした場合を示している。図２においても、図１と同様、それぞれのフレームでマスクする対象の位置や大きさが変化する場合に、変化に追従するようにマスク領域データを生成してもよい。マスク処理部２３は、マスク領域データに基づいて、Ａ／Ｄ変換部２２ａ，２２ｂより入力された左右の画像データにマスク処理を施して出力する。マスク処理部２３の具体的構成及びマスク処理の具体的な動作については後述する。
【００２３】
Ｄ／Ａ変換部２５は、マスク処理が施された左右の画像データをアナログデータに変換して、画像出力部２６へと出力する。画像出力部２６は、アナログデータを出力する。画像圧縮部２７は、マスク処理が施された左右の画像データをJPEG，MPEG等の任意のフォーマットで圧縮して、通信部２８へと出力する。通信部２８は、画像圧縮部２７より入力された圧縮データをインターネット等の通信網によって外部へと送出する。記録部２９は、画像圧縮部２７より入力された圧縮データを記録する。図２に示す例では、Ｄ／Ａ変換部２５及び画像出力部２６と、通信部２８と、記録部２９とを設けているが、それらの全てを設けなくてもよい。
【００２４】
図３にマスク処理部１２，２３の具体的構成例を示し、マスク処理部１２，２３の具体的な動作を、図４〜図９を参照しながら説明する。図３において、マスク領域設定部３１は、左の画像データのマスク領域データを用いてマスク領域を設定し、マスク領域設定部３２は、右の画像データのマスク領域データを用いてマスク領域を設定する。図４（Ａ）は、左右の画像データの投射面４０よりも奥側に秘匿対象４１を表示する３Ｄ表示の例を示している。投射面４０に、左目ＥＬで見る秘匿対象４１の左目画像４１Ｌと、右目ＥＲで見る秘匿対象４１の右目画像４１Ｒとを図示のように投射することによって、人は、秘匿対象４１が投射面４０よりも奥側に位置すると認識する。
【００２５】
秘匿対象４１をマスクするため、左目画像４１Ｌをちょうどマスクするマスク領域４２Ｌを設定し、右目画像４１Ｒをちょうどマスクするマスク領域４２Ｒを定したとする。すると、マスク領域４２Ｌとマスク領域４２Ｒとが合成されたマスク領域４２は、秘匿対象４１をちょうどマスクするように配置される。しかしながら、図４（Ａ）に示すようにマスク領域４２を設定し、マスク領域４２内に例えばモザイク加工等のマスク処理を施した場合には、マスク画像は秘匿対象４１に対して平面的に貼り付いたように見えてしまい、立体的に見えない。
【００２６】
図５（Ａ）は、図４（Ａ）を上から見た状態を示している。図５においては、都合上、投射面４０を所定の幅を有するように図示している。図５（Ａ）に示すように、マスク領域４２は見かけ上、投射面４０よりも奥側に位置しているように見える秘匿対象４１とほぼ同一位置にあり、マスク領域４２に対応させて設けるマスク画像は秘匿対象４１に貼り付いたような状態となる。マスク処理部１２，２３は、マスク領域伸張部３３，３４とマスク画像生成部３５とマスク画像拡張部３６を備えることによって、マスク画像が秘匿対象４１に貼り付いたような状態となることを解消する。
【００２７】
図３において、マスク領域伸張部３３は、マスク領域設定部３１より入力される図４（Ａ）に示すマスク領域４２Ｌを右方向に伸張して、図４（Ｂ）に示す伸張マスク領域４２Ｌexとする。マスク領域伸張部３４は、マスク領域設定部３２より入力される図４（Ａ）に示すマスク領域４２Ｒを左方向に伸張して、図４（Ｃ）に示す伸張マスク領域４２Ｒexとする。伸張マスク領域４２Ｌex，４２Ｒexとすることによって、図４（Ｂ），（Ｃ）に示すように、マスク領域４２は、見かけ上、秘匿対象４１よりも手前側に位置する。
【００２８】
図５（Ｂ）は、図４（Ｂ），（Ｃ）を上から見て、両者を合わせた状態を示している。図５（Ａ）と図５（Ｂ）とを比較すれば明らかなように、伸張マスク領域４２Ｌexはマスク領域４２Ｌと比較して右方向に伸びており、伸張マスク領域４２Ｒexはマスク領域４２Ｒと比較して左方向に伸びている。図５（Ａ）において、左目ＥＬがマスク領域４２Ｌに対応させて設けるマスク画像の右側端部を見る直線で示す視線と、右目ＥＲがマスク領域４２Ｒに対応させて設けるマスク画像の右側端部を見る直線で示す視線との交点は点ＰＲ０に位置している。左目ＥＬがマスク領域４２Ｌに対応させて設けるマスク画像の左側端部を見る直線で示す視線と、右目ＥＲがマスク領域４２Ｒに対応させて設けるマスク画像の左側端部を見る直線で示す視線との交点は点ＰＬ０に位置している。
【００２９】
図５（Ｂ）においては、伸張マスク領域４２Ｌex，４２Ｒexとなったことにより、左目ＥＬが伸張マスク領域４２Ｌexに対応させて設けるマスク画像の右側端部を見る破線で示す視線と、右目ＥＲが伸張マスク領域４２Ｒexに対応させて設けるマスク画像の右側端部を見る直線で示す視線との交点は点ＰＲ１に位置することになる。また、左目ＥＬが伸張マスク領域４２Ｌexに対応させて設けるマスク画像の左側端部を見る直線で示す視線と、右目ＥＲが伸張マスク領域４２Ｒexに対応させて設けるマスク画像の左側端部を見る破線で示す視線との交点は点ＰＬ１に位置することになる。
【００３０】
従って、図５（Ｂ）に示すように、伸張マスク領域４２Ｌex，４２Ｒexが合成されたマスク領域４２は、見かけ上、秘匿対象４１よりも手前側に位置する。マスク領域４２に対応させて設けるマスク画像は秘匿対象４１に貼り付いたような状態となることはなく、立体的に見えて自然な立体画像とすることができる。
【００３１】
図６（Ａ）〜（Ｃ）及び図７（Ａ），（Ｂ）は、投射面４０よりも手前側に秘匿対象４１を表示する３Ｄ表示の例を示している。この場合も同様に、マスク領域伸張部３３によってマスク領域４２Ｌを右方向に伸張して伸張マスク領域４２Ｌexとし、マスク領域伸張部３４によってマスク領域４２Ｒを左方向に伸張して伸張マスク領域４２Ｒexとすることによって、図６（Ｂ），（Ｃ）及び図７（Ｂ）に示すように、マスク領域４２を、見かけ上、秘匿対象４１よりも手前側に位置させることができる。
【００３２】
図３に戻り、マスク画像生成部３５には、マスク領域設定部３１より出力されたマスク領域４２Ｌを示すデータが入力される。マスク画像生成部３５に、マスク領域設定部３２より出力されたマスク領域４２Ｒを示すデータを入力してもよい。マスク画像生成部３５には、一例として、左の画像データが入力される。マスク画像生成部３５は、マスク領域４２Ｌ内の左の画像データを例えばモザイク加工することによってマスク画像を生成する。マスク画像生成部３５は、右の画像データに基づいてマスク画像を生成してもよい。
【００３３】
マスク画像生成部３５が生成するマスク画像は、左右の画像データ双方をマスクするために共通に用いられる。仮に、伸張マスク領域４２Ｌex内の左の画像データに基づいて左の画像データをマスクするための左用マスク画像を生成し、伸張マスク領域４２Ｒex内の右の画像データに基づいて右の画像データをマスクするための右用マスク画像を生成した場合を考える。図８（Ａ），（Ｄ）は、伸張マスク領域４２Ｌex，４２Ｒex内の秘匿対象４１の前に人物４３がいる状態を示している。図８（Ｂ），（Ｃ）は、伸張マスク領域４２Ｌex，４２Ｒex内の画像データをモザイク加工して生成したマスク画像４４Ｌ，４４Ｒを示している。
【００３４】
伸張マスク領域４２Ｌex，４２Ｒex内の画像データをそれぞれモザイク加工すると、図８（Ｂ），（Ｃ）における例えば矩形領域Ａｒ０は、本来であれば同一の輝度や色となるべきところ、輝度や色が異なってしまう。従って、伸張マスク領域４２Ｌex，４２Ｒex内の画像データを個別にモザイク加工して生成したマスク画像４４Ｌ，４４Ｒを用いると、人の目は適切に距離感を認識することができない。そこで、上記のように、本実施形態においては、マスク画像生成部３５が生成するマスク画像を、左右の画像データ双方をマスクするために共通に用いる。
【００３５】
図３において、マスク画像生成部３５は、マスク領域４２Ｌを示すデータを用いることにより、マスク領域４２Ｌ内の左の画像データに基づいてマスク画像を生成する。図９（Ａ）は、マスク領域４２Ｌ内の秘匿対象４１の前に人物４３がいる状態を示している。図９（Ｂ）は、マスク画像生成部３５によってマスク領域４２Ｌ内の画像データをモザイク加工して生成したマスク画像４５を示している。マスク画像生成部３５が生成したマスク画像４５はマスク画像拡張部３６に入力される。マスク画像拡張部３６は、図９（Ｃ）に示すように、マスク画像４５をアフィン変換することによって、マスク画像４５を伸張マスク領域４２Ｌexの大きさに拡張した拡張マスク画像４５Ｌexを生成する。また、マスク画像４５をアフィン変換することによって、マスク画像４５を伸張マスク領域４２Ｒexの大きさに拡張した拡張マスク画像４５Ｒexを生成する。
【００３６】
マスク画像生成部３５及びマスク画像拡張部３６は、拡張マスク画像４５Ｌex，４５Ｒexを生成する拡張マスク画像生成部３５６となっている。拡張マスク画像生成部３５６は、左右の画像データを加工するのではなく、左右の画像データとは無関係に所定の文字列や模様を含むパターンによってマスク画像（拡張マスク画像）を生成してもよい。マスク画像の生成に左右の画像データを用いない場合には、拡張マスク画像生成部３５６に左右の画像データを入力する必要はない。
【００３７】
左右の画像データを用いない場合には、マスク画像生成部３５によってマスク領域４２Ｌまたは４２Ｒに対応したマスク画像を生成し、マスク画像拡張部３６によって伸張マスク領域４２Ｌexまたは４２Ｒexに合わせるようにマスク画像を拡張するという２段階で行う必要はない。拡張マスク画像生成部３５６によって、伸張マスク領域４２Ｌexまたは４２Ｒexに合わせた所定のパターンの拡張マスク画像を生成すればよい。
【００３８】
マスク画像貼り付け部３７には、左の画像データと、マスク画像拡張部３６によって生成された拡張マスク画像４５Ｌexと、伸張マスク領域４２Ｌexを示すデータが入力される。マスク画像貼り付け部３８には、右の画像データと、マスク画像拡張部３６によって生成された拡張マスク画像４５Ｒexと、伸張マスク領域４２Ｒexを示すデータが入力される。マスク画像貼り付け部３７，３８は、伸張マスク領域４２Ｌex，４２Ｒexの範囲に拡張マスク画像４５Ｌex，４５Ｒexをそれぞれ貼り付ける。具体的には、マスク画像貼り付け部３７，３８は、伸張マスク領域４２Ｌex，４２Ｒex内の元の画像データを拡張マスク画像４５Ｌex，４５Ｒexのデータに置換する。これによって、マスク画像貼り付け部３７，３８から、秘匿対象４１に対してマスク処理が施され、マスク画像が立体的に見える左右の画像データが出力されることになる。
【００３９】
図５（Ｂ）に、マスク領域伸張部３３，３４によってマスク領域４２Ｌ，４２Ｒを左右に伸ばす伸張量Δｐを示している。図５（Ｂ）では、マスク領域４２Ｒの伸張量Δｐを図示している。本実施形態においては、マスク領域伸張部３３，３４に対して伸張量Δｐを定数として与えればよい。本実施形態においては、図５（Ｂ）に示す投射面４０上での視差ｐ、秘匿対象４１の奥行き量（または手前側への突出量）ｄ、秘匿対象４１からのマスク画像の距離Ｄ等を用いた演算を行う必要はない。従って、複雑な演算処理を行う必要はなく、極めて簡単にマスク画像を立体的に表示させることが可能となる。マスク領域伸張部３３，３４で設定する伸張量Δｐを可変にし、３Ｄ表示を目視しながら最適な伸張量Δｐを設定できるようにしてもよい。
【００４０】
図１０は、マスク画像（拡張マスク画像）の他の例を示している。図１０に示すマスク画像４６は、黒の背景にPrivacy Maskingなる文字列を表示した例である。マスク画像４６は、伸張マスク領域４２Ｌex，４２Ｒexに対応した大きさを有する。なお、例えば黒一色のような単調な画像をマスク画像とした場合にはマスク画像が立体的に見えない場合がある。そこで、上述したモザイク加工の画像、所定の文字列、所定の模様等、マスク画像が立体的に見えるパターンを採用すればよい。
【００４１】
図１１〜図１５を用いて、本実施形態における動作について改めて説明する。ここでは、図１に示す構成例の動作を説明する。図１１において、（Ａ）〜（Ｄ）は左の画像データにおけるフレームＦＬを、（Ｅ）〜（Ｈ）は右の画像データにおけるフレームＦＲを示している。なお、図１１（Ａ）〜（Ｄ），（Ｅ）〜（Ｈ）は必ずしもそれぞれ異なるフレームを示しているわけではない。
【００４２】
図１２において、マスク領域生成部１４は、ステップＳ１にて、マスクする対象の画像データを記憶部１５から読み出す。マスク領域生成部１４は、ステップＳ２にて、左の画像データからマスクする対象の画像データを抽出し、対象の画像データの位置と大きさを示すマスク領域データを生成する。これによって、図１１（Ａ）に示すように、マスクする対象の画像データである秘匿対象４１を囲むマスク領域４２Ｌが設定される。マスク領域生成部１４は、ステップＳ３にて、パターンマッチングによって右の画像データからマスクする対象の画像データを抽出し、対象の画像データの位置と大きさを示すマスク領域データを生成する。これによって、図１１（Ｆ）に示すように、マスクする対象の画像データである秘匿対象４１を囲むマスク領域４２Ｒが設定される。
【００４３】
特に図示していないが、マスク領域生成部１４は、左右の画像データにおけるそれぞれのフレームで、マスク領域データを順次生成する。
【００４４】
マスク処理部１２は、ステップＳ４にて、図１１（Ｃ），（Ｇ）に示すように、左の画像データのマスク領域４２Ｌを右方向にΔｐだけ伸張して伸張マスク領域４２Ｌexを生成し、右の画像データのマスク領域４２Ｒを左方向にΔｐだけ伸張して伸張マスク領域４２Ｒexを生成する。マスク処理部１２は、ステップＳ５にて、左の画像データの伸張マスク領域４２Ｌexと右の画像データの伸張マスク領域４２Ｒexとの双方に共通のマスク画像を貼り付けて終了する。
【００４５】
図１３は、ステップＳ５の第１の具体例を示している。図１３において、マスク処理部１２は、ステップＳ５１にて、図１１（Ｉ）に示すように、一例として左の画像データにおけるマスク領域４２Ｌ内の画像をモザイク加工して、マスク画像４５を生成する。図１１（Ｉ）では、図示の簡略化のため、マスク画像４５のモザイク画像を破線にて表
現している。マスク処理部１２は、ステップＳ５２にて、図１１（Ｉ）に示すように、Δｐだけ伸張した伸張マスク領域４２Ｌex，４２Ｒexに合わせてマスク画像４５をアフィン変換し、拡張マスク画像４５Ｌex，４５Ｒexを生成する。そして、マスク処理部１２は、ステップＳ５３にて、図１１（Ｄ），（Ｈ）に示すように、生成した拡張マスク画像４５Ｌexを左の画像データの伸張マスク領域４２Ｌexに貼り付け、拡張マスク画像４５Ｒexを右の画像データの伸張マスク領域４２Ｒexに貼り付けて終了する。
【００４６】
図１４は、ステップＳ５の第２の具体例を示している。図１４において、マスク処理部１２は、ステップＳ５４にて、Δｐだけ伸張した伸張マスク領域４２Ｌex，４２Ｒexに合わせて、所定のパターンのマスク画像を生成する。所定のパターンのマスク画像の一例は、図１０に示すマスク画像４６である。マスク処理部１２は、ステップＳ５５にて、生成したマスク画像を左の画像データの伸張マスク領域４２Ｌexと右の画像データの伸張マスク領域４２Ｒexとの双方に貼り付けて終了する。
【００４７】
本実施形態によれば、図１５に概念的に示すように、見かけ上、秘匿対象４１の手前側に拡張マスク画像４５Ｌex，４５Ｒexが表示されて、秘匿対象４１が拡張マスク画像４５Ｌex，４５Ｒexによってマスクされる。拡張マスク画像４５Ｌex，４５Ｒexは立体的に見え、自然な３Ｄ画像とすることができる。図１５では、図１３に示す第１の具体例による表示状態を示しているが、図１４に示す第２の具体例でも同様にマスク画像が立体的に見え、自然な３Ｄ画像とすることができる。
【００４８】
本発明は以上説明した本実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図１２〜図１３の各動作をソフトウェア（コンピュータプログラム）によって実現してもよく、ハードウェアとソフトウェアとを適宜に組み合わせてもよい。
【符号の説明】
【００４９】
１１ 画像入力部
１２，２３ マスク処理部
１３，２６ 画像出力部
１４ マスク領域生成部
１５，２４ 記憶部
１６ 操作部
２１ａ 左目撮像部
２１ｂ 右目撮像部
２２ａ，２２ｂ Ａ／Ｄ変換部
２５ Ｄ／Ａ変換部
２７ 画像圧縮部
２８ 通信部
２９ 記録部
３１，３２ マスク領域設定部
３３，３４ マスク領域伸張部
３５ マスク画像生成部
３６ マスク画像拡張部
３７，３８ マスク画像貼り付け部
３５６ 拡張マスク画像生成部
【特許請求の範囲】
【請求項１】
三次元画像における左目用の画像データに対してマスクする対象の画像を囲む第１のマスク領域を設定し、三次元画像における右目用の画像データに対してマスクする対象の画像を囲む第２のマスク領域を設定するマスク領域設定部と、
前記第１のマスク領域を右方向に伸張して第１の伸張マスク領域とし、前記第２のマスク領域を左方向に伸張して第２の伸張マスク領域とするマスク領域伸張部と、
前記左目用の画像データにおける前記第１の伸張マスク領域と前記右目用の画像データにおける前記第２の伸張マスク領域に対して、共通のマスク画像を貼り付けるマスク画像貼り付け部と、
を備えることを特徴とする三次元画像処理装置。
【請求項２】
前記左目用の画像データと前記右目用の画像データとの一方を加工することによって、前記第１及び第２の伸張マスク領域に貼り付ける拡張マスク画像を生成する拡張マスク画像生成部を備えることを特徴とする請求項１記載の三次元画像処理装置。
【請求項３】
前記左目用の画像データにおける前記第１のマスク領域内の画像または前記右目用の画像データにおける前記第２のマスク領域内の画像を加工することによってマスク画像を生成するマスク画像生成部と、
前記マスク画像を前記第１または第２の伸張マスク領域に合わせて拡張することにより、前記拡張マスク画像を生成するマスク画像拡張部と、
を備えることを特徴とする請求項２記載の三次元画像処理装置。
【請求項４】
前記左目用及び右目用の画像データとは無関係に、前記第１及び第２の伸張マスク領域に貼り付ける所定のパターンの拡張マスク画像を生成する拡張マスク画像生成部を備えることを特徴とする請求項１記載の三次元画像処理装置。
【請求項５】
前記拡張マスク画像生成部は、所定の文字列または模様を含む拡張マスク画像を生成することを特徴とする請求項４記載の三次元画像処理装置。
【請求項６】
三次元画像における左目用の画像データに対してマスクする対象の画像を囲む第１のマスク領域を設定し、三次元画像における右目用の画像データに対してマスクする対象の画像を囲む第２のマスク領域を設定するマスク領域設定ステップと、
前記第１のマスク領域を右方向に伸張して第１の伸張マスク領域とし、前記第２のマスク領域を左方向に伸張して第２の伸張マスク領域とするマスク領域伸張ステップと、
前記左目用の画像データにおける前記第１の伸張マスク領域と前記右目用の画像データにおける前記第２の伸張マスク領域に対して、共通のマスク画像を貼り付けるマスク画像貼り付けステップと、
を含むことを特徴とする三次元画像処理方法。
【請求項１】
三次元画像における左目用の画像データに対してマスクする対象の画像を囲む第１のマスク領域を設定し、三次元画像における右目用の画像データに対してマスクする対象の画像を囲む第２のマスク領域を設定するマスク領域設定部と、
前記第１のマスク領域を右方向に伸張して第１の伸張マスク領域とし、前記第２のマスク領域を左方向に伸張して第２の伸張マスク領域とするマスク領域伸張部と、
前記左目用の画像データにおける前記第１の伸張マスク領域と前記右目用の画像データにおける前記第２の伸張マスク領域に対して、共通のマスク画像を貼り付けるマスク画像貼り付け部と、
を備えることを特徴とする三次元画像処理装置。
【請求項２】
前記左目用の画像データと前記右目用の画像データとの一方を加工することによって、前記第１及び第２の伸張マスク領域に貼り付ける拡張マスク画像を生成する拡張マスク画像生成部を備えることを特徴とする請求項１記載の三次元画像処理装置。
【請求項３】
前記左目用の画像データにおける前記第１のマスク領域内の画像または前記右目用の画像データにおける前記第２のマスク領域内の画像を加工することによってマスク画像を生成するマスク画像生成部と、
前記マスク画像を前記第１または第２の伸張マスク領域に合わせて拡張することにより、前記拡張マスク画像を生成するマスク画像拡張部と、
を備えることを特徴とする請求項２記載の三次元画像処理装置。
【請求項４】
前記左目用及び右目用の画像データとは無関係に、前記第１及び第２の伸張マスク領域に貼り付ける所定のパターンの拡張マスク画像を生成する拡張マスク画像生成部を備えることを特徴とする請求項１記載の三次元画像処理装置。
【請求項５】
前記拡張マスク画像生成部は、所定の文字列または模様を含む拡張マスク画像を生成することを特徴とする請求項４記載の三次元画像処理装置。
【請求項６】
三次元画像における左目用の画像データに対してマスクする対象の画像を囲む第１のマスク領域を設定し、三次元画像における右目用の画像データに対してマスクする対象の画像を囲む第２のマスク領域を設定するマスク領域設定ステップと、
前記第１のマスク領域を右方向に伸張して第１の伸張マスク領域とし、前記第２のマスク領域を左方向に伸張して第２の伸張マスク領域とするマスク領域伸張ステップと、
前記左目用の画像データにおける前記第１の伸張マスク領域と前記右目用の画像データにおける前記第２の伸張マスク領域に対して、共通のマスク画像を貼り付けるマスク画像貼り付けステップと、
を含むことを特徴とする三次元画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−４２２２７（Ｐ２０１３−４２２２７Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７６１６０（Ｐ２０１１−１７６１６０）
【出願日】平成２３年８月１１日（２０１１．８．１１）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１１日（２０１１．８．１１）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]