３Ｄ画像処理装置、３Ｄ画像撮像装置、及びプログラム
【課題】観察者の目に負担をかけるような視差を有する被写体画像が検出された場合に、３Ｄ画像にぼかし加工を施すことで、観察者の目の負担等を軽減し、健全で品質の高い３Ｄ画像の出力を行うことができる３Ｄ画像処理装置、３Ｄ画像撮像装置、及びプログラムを提供する
【解決手段】左眼用画像データと右眼用画像データの視差を算出する視差算出部１３１と、前記視差算出部１３１が算出した視差から、所定の大きさの視差を有する画像データの領域を視差過剰領域として検出する視差過剰領域検出部１３２と、前記視差過剰領域検出部１３２が前記視差過剰領域を検出した場合に、前記左眼用画像データ及び前記右眼用画像データにぼかし加工を施す画像ぼかし部１４０とを備えるものである。
【解決手段】左眼用画像データと右眼用画像データの視差を算出する視差算出部１３１と、前記視差算出部１３１が算出した視差から、所定の大きさの視差を有する画像データの領域を視差過剰領域として検出する視差過剰領域検出部１３２と、前記視差過剰領域検出部１３２が前記視差過剰領域を検出した場合に、前記左眼用画像データ及び前記右眼用画像データにぼかし加工を施す画像ぼかし部１４０とを備えるものである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は３Ｄ画像処理装置、３Ｄ画像撮像装置、及びプログラムに関し、より詳細には、左眼用画像と右眼用画像との視差を算出し、算出された視差が所定の大きさを上回る被写体画像を検出した場合は、３Ｄ画像をぼかして出力し観察者の負担を軽減することができる３Ｄ画像処理装置、３Ｄ画像撮像装置、及びプログラムに関する。
【背景技術】
【０００２】
近年、水平方向に視差を有する２つの画像が左眼用画像及び右眼用画像として同一ディスプレイ上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された画像があたかも立体的に存在するかのように知覚できる３Ｄ画像に関する技術の開発が盛んに行われている。
【０００３】
３Ｄ画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像が同一ディスプレイ上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式がよく知られている。
【０００４】
また、左眼用画像及び右眼用画像それぞれが交互にディスプレイ上に表示され、観察者が左右の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式等もよく知られている。
【０００５】
これらの３Ｄ画像に関する技術では、被写体画像が観察者から見てディスプレイ面に対しどの程度前方に飛び出しているかのように知覚されるか、又は被写体画像が観察者から見てディスプレイ面に対しどの程度後方に引き込んでいるかのように知覚されるかは、左眼用画像と右眼用画像との間の水平方向の視差によって決定される。
【０００６】
ここで、左眼用画像と右眼用画像の水平方向の視差が大きすぎると、観察対象である被写体画像が過剰に飛び出している、又は過剰に引き込んでいるかのように知覚され、観察者の目に負担を掛けたり、観察者が不快感を感じたりするという問題を誘発しやすい。
【０００７】
そこで、上記問題を解決し、健全で品質の高い３Ｄ画像の生成や表示を行うための開発が従来から積極的に行われている。例えば、特許文献１には、左眼用画像及び右眼用画像のそれぞれから、検出マークとなる代表座標を取得し、検出された左眼用画像の代表座標と右眼用画像の代表座標の差分ベクトルを算出し、その差分ベクトルから左眼用画像と右眼用画像の視差を調整する立体画像処理装置が記載されている。
【０００８】
また、特許文献２には、左眼用画像及び右眼用画像を複数の領域に分割し、ユーザが選択した領域毎に視差を調整することで、ユーザが調整を期待しない領域の視差が変更されるのを防止することができる立体画像生成方法が記載されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−１４７９４０号公報
【特許文献２】特開２００３−２０９８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、３Ｄ画像では各被写体画像は、被写体画像毎にそれぞれ異なった水平方向の視差を有している。従って、上記特許文献１に記載の画像処理装置のように、代表座標を有する特定の被写体画像を中心に左眼用画像全体と右眼用画像全体との間の視差を調整した場合には、調整の対象となった被写体画像の視差は好ましいものに変更されるものの、その調整によって別の被写体画像の視差が好ましくないものに変更されてしまうことがあり得る。そして、結果として、左眼用画像と右眼用画像との間の視差調整をしたにも関わらず、調整後の３Ｄ画像は依然として観察者の目に負担をかける画像のままになるという問題が残ってしまうことが推察される。
【００１１】
また、上記特許文献２に記載の立体画像生成方法のように、左眼用画像及び右眼用画像中の特定の領域の視差のみを変更した場合、視差を変更しなかった領域との関係で不自然な画像とならないように、各領域間で画像を補間する処理を行わなければならないが、この補間処理には大きな計算コスト等が掛かってしまうという問題がある。
【００１２】
例えば、デジタルビデオカメラ等の撮像装置では、撮像部が取得した撮影画像を、ユーザが、搭載された液晶モニタやビューファインダ等で確認しながら撮像することが多い。一方で、撮像対象となる被写体は撮像の最中に自由に動き回るため、不意に、液晶モニタ等で確認される撮像画像上で撮像者の目に負担等をかける被写体画像として撮像されてしまうことがありうる。
【００１３】
このような場合、液晶モニタ等に表示される３Ｄ画像の左眼用画像と右眼用画像との間の視差の調整を素早く実施して、健全な３Ｄ画像となる調整を施す処理は大きな計算コスト等により装置に大きな負担をかけ、速やかな表示ができない等の問題を誘発する可能性がある。
【００１４】
一方で、観察者の目に負担をかけるような大きな視差を有する被写体画像がディスプレイ等に表示される際に、その被写体画像がぼかして表示されれば、観察者の視覚が受け取る画像の情報量が軽減されることから、観察者の目にかかる負担等を軽減することができると考えられる。また、画像をぼかす処理であれば、視差を変更した領域と視差を変更しなかった領域との間の画像を補完する処理と比べて低い計算コスト等で実現可能である。
【００１５】
そこで、本発明は、３Ｄ画像を表示する際に、左眼用画像の被写体画像と右眼用画像の被写体画像との間の視差を算出し、観察者の目に負担をかけるような視差を有する被写体画像が検出された場合は、３Ｄ画像にぼかし加工を施すことで、観察者の目の負担等を軽減し、健全で品質の高い３Ｄ画像の出力を行うことができる３Ｄ画像処理装置、３Ｄ画像撮像装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記課題を解決するため、本発明は、第１の画像データと第２の画像データとにおける同一の被写体画像データの視差を算出する視差算出部（１３１）と、前記視差算出部（１３１）が算出した前記視差から、所定の大きさの視差を有する画像データの領域を視差過剰領域として、前記第１の画像データと前記第２の画像データのそれぞれから検出する視差過剰領域検出部（１３２）と、前記視差過剰領域検出部（１３２）が前記視差過剰領域を検出した場合に、前記第１の画像データ及び前記第２の画像データにぼかし加工を施す画像ぼかし部（１４０）と、前記画像ぼかし部（１４０）がぼかし加工を施した前記第１の画像データ及び前記第２の画像データを出力する出力部（１５０）とを備えることを特徴とする３Ｄ画像処理装置（１００）を提供する。
【００１７】
本発明に係る３Ｄ画像処理装置（１００）によれば、観察者の目に負担をかけるような視差を有する被写体画像が検出された場合は、３Ｄ画像にぼかし加工を施すことができる。従って、観察者の目の負担等を軽減し、健全で品質の高い３Ｄ画像の出力を行うことができる。
【００１８】
上記３Ｄ画像処理装置（１００）の前記画像ぼかし部（１４０）は、前記視差過剰領域検出部が検出した前記過剰視差領域にぼかし加工を施すようにしても良い。
【００１９】
これにより、観察者の目に負担をかけるような視差を有する被写体画像を表示する際、その情報量を減らすことができ、観察者の目の負担等を軽減し、健全で品質の高い３Ｄ画像の出力を行うことができる。
【００２０】
上記３Ｄ画像処理装置（１００）はさらに注目領域特定部（１３３）を備え、前記注目領域特定部（１３３）は、前記第１の画像データ及び前記第２の画像データから観察者の注目を集める画像データの領域を注目領域として特定し、前記画像ぼかし部（１４０）は、前記注目領域特定部（１３３）が特定した前記注目領域からの画像内における距離が大きくなるにつれてぼかし加工の度合いが大きくなるように前記第１の画像データ及び前記第２の画像データにぼかし加工を施すようにしても良い。
【００２１】
これにより、観察者の目に負担をかけるような視差を有する被写体画像が検出された場合に、観察者が注目する被写体画像をある程度鮮明にしたまま、３Ｄ画像全体にぼかし加工を施すことができる。従って、観察者の目の負担等を軽減し、健全で品質の高い３Ｄ画像の出力を行うことができる。
【００２２】
上記３Ｄ画像処理装置（１００）はさらに注目領域特定部（１３３）を備え、前記注目領域特定部（１３３）は、前記第１の画像データ及び前記第２の画像データから観察者の注目を集める画像データの領域を注目領域として特定し、前記画像ぼかし部（１４０）は、前記注目領域特定部（１３３）が特定した前記注目領域と前記視差過剰領域検出部が検出した視差過剰領域との画像内における距離が大きくなるにつれてぼかし加工の度合いが小さくなるように前記過剰視差領域にぼかし加工を施すようにしても良い。
【００２３】
これにより、観察者の目に負担をかけるような視差を有する被写体画像が検出された場合に、観察者が注目する被写体画像との画像内における距離に応じて、その観察者の目に負担をかける被写体画像に施すぼかし加工の度合いを変更することができる。従って、観察者が注目している被写体画像に近い位置に表示される観察者の目に負担をかける被写体画像は、観察者の注意を引きやすいためぼかし加工の度合いを大きくし、逆に、観察者が注目している被写体画像から遠い位置に表示される観察者の目に負担をかける被写体画像は、観察者の注意を引きにくいことからぼかし加工の度合いを小さくすることができる。以上により、品位を保ったまま、観察者の目の負担を軽減する３Ｄ画像を出力することができる。
【００２４】
上記３Ｄ画像処理装置（１００）はさらに顔領域検出部（１６０）を備え、前記顔領域検出部（１６０）は、前記第１の画像データ及び前記第２の画像データのそれぞれから顔画像データを含む画像データの領域を顔領域として検出し、前記注目領域特定部（１３３）は、少なくとも前記顔領域検出部が検出した前記顔領域に基づいて注目領域を特定するようにしても良い。
【００２５】
人物が被写体として画像中に含まれている場合、観察者はその人物画像に注目することが多い。以上のようにすることで、注目領域特定部（１３３）は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める人物の顔画像データの領域を特定することができる。
【００２６】
上記３Ｄ画像処理装置（１００）はさらに合焦領域検出部（１７０）を備え、前記合焦領域検出部（１７０）は、前記第１の画像データ及び前記第２の画像データのそれぞれから合焦している画像データの領域を合焦領域として検出し、前記注目領域特定部（１３３）は、少なくとも前記合焦領域検出部（１７０）が検出した前記合焦領域に基づいて注目領域を特定するようにしてもよい。
【００２７】
観察者は、左眼用画像データ及び右眼用画像データが取得（撮影）される際に、ピントがあっている被写体画像を注目することも多い。以上のようにすることで、注目領域特定部（１３３）は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める合焦領域を特定することができる。
【００２８】
前記注目領域特定部（１３３）は、前記視差算出部（１３１）が算出した前記視差から、前記第１の画像データと前記第２の画像データの視差がゼロとなっている画像データの領域を、前記第１の画像データと前記第２の画像データのそれぞれから特定し、それらの領域を注目領域として特定するようにしても良い。
【００２９】
観察者は３Ｄ画像を観察する際に、左眼用画像と右眼用画像の視差がゼロとなっている、いわゆる輻輳領域にある画像に注目することもある。以上のようにすることで、注目領域特定部（１３３）は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める輻輳領域にある画像データを特定することができる。
【００３０】
さらに、上述の課題を解決するために、本発明は、第１の撮像部（Ｌ２００）が取得した第１の画像データと、第２の撮像部（Ｒ２００）が取得した第２の画像データとにおける同一の被写体画像データの視差を算出する視差算出部（１３１）と、前記視差算出部（１３１）が算出した前記視差から、所定の大きさの視差を有する画像データの領域を視差過剰領域として、前記第１の画像データと前記第２の画像データのそれぞれから検出する視差過剰領域検出部（１３２）と、前記視差過剰領域検出部（１３２）が前記視差過剰領域を検出した場合に、前記記憶部が記憶した前記第１の画像データ及び前記第２の画像データにぼかし加工を施す画像ぼかし部（１４０）と、前記画像ぼかし部（１４０）がぼかし加工を施した前記第１の画像データ及び前記第２の画像データを表示する表示部（２１６）とを備えることを特徴とする３Ｄ画像撮像装置（２００）を提供する。
【００３１】
本発明に係る３Ｄ画像撮像装置によれば、観察者の目に負担をかけるような視差を有する被写体画像が撮像された場合は、３Ｄ画像にぼかし加工を施して、その３Ｄ画像を表示することができる。従って、撮像者が撮像の際に撮像画像を表示部（２００）を確認しているような場合でも、処理負担を抑え、速やかに観察者の目の負担等を軽減し、健全で品質の高い３Ｄ画像を生成し表示することができる。
【００３２】
上記３Ｄ画像撮像装置（２００）の備える前記画像ぼかし部（１４０）は、前記視差過剰領域検出部（１３２）が検出した前記過剰視差領域にぼかし加工を施すようにしても良い。
【００３３】
これにより、観察者の目に負担をかけるような視差を有する被写体画像を表示する際の情報量を減らすことができ、撮像者が撮像の際に撮像画像を表示部（２００）を確認しているような場合でも、速やかに観察者の目の負担等を軽減し、健全で品質の高い３Ｄ画像の表示を行うことができる。
【００３４】
上記３Ｄ画像撮像装置（２００）はさらに注目領域特定部（１３３）を備え、前記注目領域特定部（１３３）は、前記第１の画像データ及び前記第２の画像データから観察者の注目を集める画像データの領域を注目領域として特定し、前記画像ぼかし部（１４０）は、前記注目領域特定部（１３３）が特定した前記注目領域からの画像内での距離が大きくなるにつれてぼかし加工の度合いが大きくなるように前記第１の画像データ及び前記第２の画像データにぼかし加工を施すようにしても良い。
【００３５】
これにより、観察者の目に負担をかけるような視差を有する被写体画像が撮像された場合に、観察者が注目する被写体画像をある程度鮮明としたまま、３Ｄ画像全体にぼかし加工を施すことができる。従って、撮像者が撮像の際に撮像画像を表示部（２００）を確認しているような場合でも、処理負担を抑え、速やかに観察者の目の負担等を軽減し、健全で品質の高い３Ｄ画像を生成し表示することができる。
【００３６】
上記３Ｄ画像撮像装置（２００）はさらに注目領域特定部（１３３）を備え、前記注目領域特定部（１３３）は、前記第１の画像データ及び前記第２の画像データから観察者の注目を集める画像データの領域を注目領域として特定し、前記画像ぼかし部（１４０）は、前記注目領域特定部（１３３）が特定した前記注目領域と前記視差過剰領域検出部（１３２）が検出した視差過剰領域との画像内における距離が大きくなるにつれてぼかし加工の度合いが小さくなるように前記過剰視差領域にぼかし加工を施すようにしても良い。
【００３７】
これにより、観察者の目に負担をかけるような視差を有する被写体画像が撮像された場合に、観察者が注目する被写体画像との画像内における距離に応じて、その観察者の目に負担をかける被写体画像に施すぼかし加工の度合いを変更することができる。従って、観察者が注目している被写体画像に近い位置に表示される観察者の目に負担をかける被写体画像は、観察者の注意を引きやすいためぼかし加工の度合いを大きくし、逆に、観察者が注目している被写体画像から遠い位置に表示される観察者の目に負担をかける被写体画像は、観察者の注意を引きにくいことからぼかし加工の度合いを小さくすることができる。以上により、撮像者が撮像の際に撮像画像を表示部（２００）を確認しているような場合でも、速やかに品位を保ったまま、観察者の目の負担を軽減する３Ｄ画像を出力することができる。
【００３８】
上記３Ｄ画像撮像装置（２００）はさらに顔領域検出部（１６０）を備え、前記顔領域検出部（１６０）は、前記第１の画像データ及び前記第２の画像データのそれぞれから顔画像データを含む画像データの領域を顔領域として検出し、前記注目領域特定部（１３３）は、少なくとも前記顔領域検出部（１６０）が検出した前記顔領域に基づいて注目領域を特定するようにしても良い。
【００３９】
人物を被写体として撮像を行った場合、撮像画像の観察者はその人物画像に注目することが多い。以上のようにすることで、注目領域特定部（１３３）は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める人物の顔画像データの領域を特定することができる。
【００４０】
上記３Ｄ画像撮像装置（２００）はさらに合焦領域検出部（１７０）を備え、前記合焦領域検出部（１７０）は、前記第１の画像データ及び前記第２の画像データのそれぞれから合焦している画像データの領域を合焦領域として検出し、前記注目領域特定部（１３３）は、少なくとも前記合焦領域検出部（１７０）が検出した前記合焦領域に基づいて注目領域を特定するようにしても良い。
【００４１】
観察者は、左眼用画像データ及び右眼用画像データが撮像される際に、ピントがあっている被写体画像を注目することも多い。以上のようにすることで、注目領域特定部（１３３）は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める合焦領域を特定することができる。
【００４２】
上記３Ｄ画像撮像装置の備える前記注目領域特定部（１３３）は、前記視差算出部（１３１）が算出した前記視差から、前記第１の画像データと前記第２の画像データの視差がゼロとなっている画像データの領域を、前記第１の画像データと前記第２の画像データのそれぞれから特定し、それらの領域を注目領域として特定するようにしてもよい。
【００４３】
観察者は３Ｄ画像を観察する際に、左眼用画像と右眼用画像の視差がゼロとなっている、いわゆる輻輳点周辺にある画像に注目することもある。以上のようにすることで、注目領域特定部（１３３）は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める輻輳点周辺にある画像データを特定することができる。
【００４４】
さらに上述の課題を解決するため、本発明は、第１の画像データと第２の画像データの視差を算出させ、算出された前記視差から、所定の大きさの視差を有する画像データの領域を視差過剰領域として、前記第１の画像データと前記第２の画像データのそれぞれから検出させ、前記視差過剰領域が検出された場合に、前記第１の画像データ及び前記第２の画像データにぼかし加工を施させ、ぼかし加工が施された前記第１の画像データ及び前記第２の画像データを出力させる処理をコンピュータに実行させるプログラムを提供する。
【図面の簡単な説明】
【００４５】
【図１】本発明の実施形態に係る３Ｄ画像処理装置１００の内部構成の例を示すブロック図である。
【図２】図２は、互いに視差を有する２つの画像を撮影している様子を模式的に示した図である。
【図３】撮像装置Ｌ２０が取得した左眼用画像データＰＬ２０及び撮像装置Ｌ２０が取得した右眼用画像データＰＲ２０の概念図である。
【図４】被写体画像の視差と、その被写体画像の表示面に対する前方への飛び出し又は後方への引き込み等の関係を示す概念図である。
【図５】３Ｄ画像処理装置１００又は３Ｄ画像撮像装置２００による第１のぼかし加工処理のフローチャートである。
【図６】平均化フィルタによるぼかし加工について説明するための図である。
【図７】３Ｄ画像処理装置１００又は３Ｄ画像撮像装置２００による第２のぼかし加工処理のフローチャートである。
【図８】注目領域特定部１３３による観察者が注目すると推測される画像領域である注目領域の特定処理のフローチャートである。
【図９】距離算出部１３４による注目領域と過剰視差領域との間の距離の算出を説明するための概念図である。
【図１０】３Ｄ画像処理装置１００又は３Ｄ画像撮像装置２００による第３のぼかし加工処理のフローチャートである。
【図１１】本発明の第２の実施形態に係る３Ｄ画像撮像装置の内部構成の例を示すブロック図である。
【図１２】液晶モニタ２１６の水平方向の切断面図である。
【図１３】観察者が液晶モニタ２１６に表示される左眼用画像及び右眼用画像を３Ｄ画像として認識する模様を説明するための概念図である。
【００４６】
図２は、左眼用画像データを取得（撮像）する撮像装置Ｌ２０及び右眼用画像データを取得（撮像）する撮像装置Ｒ２０が、被写体２０、被写体２１、及び被写体２２を撮像している様子を模式的に示した図である。
【発明を実施するための形態】
【００４７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００４８】
（第１の実施形態：３Ｄ画像処理装置）
図１は、本発明の実施形態に係る３Ｄ画像処理装置１００の内部構成の例を示すブロック図である。図１では、処理信号が実線で、データの流れが破線で示されている。
【００４９】
図１に示すように、３Ｄ画像処理装置１００は、画像入力部１１０、記憶部１２０、中央制御部１３０、画像ぼかし部１４０、画像出力部１５０、顔領域検出部１６０、及び合焦領域検出部１７０を含んで構成される。中央制御部１３０はＣＰＵ、各種プログラムが格納されたＲＯＭ（Read Only Memory）、及びワークエリアとしてのＲＡＭ（Random Access Memory）等を含む半導体集積回路により構成され、各部を統括的に制御する。さらに、中央制御部１３０は後述する左眼用画像データ及び右眼用画像データへのぼかし加工処理において、視差算出部１３１、視差過剰領域検出部１３２、注目領域特定部１３３、距離算出部１３４としても機能する。
【００５０】
図１を参照して、３Ｄ画像データを構成する左眼用画像データ及び右眼用画像データの流れについて、以下に説明する。
【００５１】
図示しないＤＶＤ、ＢＤ（Blu-ray Disc）、若しくはフラッシュメモリ等の各種記録媒体、又は外部の撮像装置や撮像部等から、左眼用画像データ及び右眼用画像データが画像入力部１１０に入力される。画像入力部１１０としては、例えばＨＤＭＩ（High-Definition Multimedia Interface）端子、ＵＳＢ（Universal Serial Bus）端子、ＩＥＥＥ １３９４規格に準拠した各種入力端子等で構成される。
【００５２】
画像入力部１１０を介して入力された左眼用画像データ及び右眼用画像データは、記憶部１２０に引き渡され、その記憶部１２０内で一時的に記憶される。記憶部１２０は、例えばＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable PROM）、不揮発性ＲＡＭ、フラッシュメモリ、又はＨＤＤ（Hard Disk Drive）等の記憶媒体で構成される。
【００５３】
画像ぼかし部１４０は、記憶部１２０に一時記憶された左眼用画像データ及び右眼用画像データ中に、観察者の目に負担をかけるような視差を有する被写体画像が検出された場合は、ぼかし加工を左眼用画像データ及び右眼用画像データに施す。ぼかし加工を施す方法としては、既知のさまざまなものが適用されうるが、例えば平均化フィルタを利用した方法が適用される。
【００５４】
画像ぼかし部１４０がぼかし加工を施した左眼用画像データ及び右眼用画像データは、画像出力部１５０を介して、図示しない外部のディスプレイ装置や、３Ｄ画像処理装置１００が備える図示しないモニタ部等に出力される。画像出力部１４０は、画像入力部１１０と同様に、ＨＤＭＩ（High-Definition Multimedia Interface）端子、ＵＳＢ（Universal Serial Bus）端子、ＩＥＥＥ １３９４規格に準拠した各種出力端子等で構成される。なお、画像入力部１１０と画像出力部１５０を、同一のＨＤＭＩ端子で構成する等、物理的に一つの入出力端子としてよいことは言うまでもない。
【００５５】
次に、中央制御部１３０等による、左眼用画像データ及び右眼用画像データにぼかし加工が施される際の各構成部材の処理について説明する。
【００５６】
視差算出部１３１は、記憶部１２０に一時記憶された左眼用画像データ及び右眼用画像データから、両画像データにおける各被写体画像データ間の水平方向の視差（以下、単に「視差」ということもある。）を算出する。視差算出部１３１による視差の算出は既知の様々な方法で行うことができるが、例えばＭＰＥＧにおける同一の被写体がフレーム間でどれだけ動いたかを特定する、いわゆる動きベクトルを算出するアルゴリズムを応用した方法により、左眼用撮影画像データの各被写体画像データと右眼用撮影画像データの各被写体画像データの差分ベクトルを算出する方法を使用する。
【００５７】
動画圧縮技術であるＭＰＥＧにおいては、ブロックマッチングに基づいて動きベクトルを検出するアルゴリズムが用いられる。ここで、動きベクトルとは２つのフレームデータ間における同一被写体の変位をベクトルで表したものである。現在のフレームデータと過去のフレームデータとを比較し、同一の大きさで最も類似したブロックをそれぞれから抽出し、両者の位置関係から動きベクトルを算出する。
【００５８】
視差算出部１３１は、上記動きベクトル算出のアルゴリズムを利用して、左眼用撮影画像データ及び右眼用撮影画像データにおける同一被写体画像データを特定し、その同一被写体画像データについて、対応する画素を左眼用撮影画像データ及び右眼用撮影画像データから抽出し、それらの差分ベクトルを左眼用撮影画像データ及び右眼用撮影画像データにおける被写体画像データの視差として算出する。
【００５９】
視差算出部１３１による左眼用画像データと右眼用画像データとの間の視差の算出、すなわち差分ベクトルの算出について、図２及び図３を参照して詳細に説明する。図２は、左眼用画像及び右眼用画像として、互いに視差を有する２つの画像を撮影している様子を模式的に示した図であり、図３は図２で撮影された左眼用画像データ及び右眼用画像データを概念的に示した図である。
【００６０】
図２は、左眼用画像データを取得（撮像）する撮像装置Ｌ２０及び右眼用画像データを取得（撮像）する撮像装置Ｒ２０が、被写体２０、被写体２１、及び被写体２２を撮像している様子を模式的に示した図である。図２において、被写体２０は、撮像装置Ｌ２０に対しては画角ＶＬ２０で決定される撮像領域のほぼ右端に位置しており、撮像装置Ｒ２０に対しては光軸ＡＲ２０のやや右に位置している。被写体画像２１は、撮像装置Ｌ２０の光軸ＡＬ２０と撮像装置Ｒ２０の光軸ＡＲ２０の交わる点、いわゆる輻輳点に位置している。被写体２２は、撮像装置Ｌ２０に対しては画角ＶＬ２０で決定される撮像領域のほぼ左端に位置しており、撮像装置Ｒ２０に対しては光軸ＡＲ２０と、画角ＶＲ２０で決定される撮像領域の左端とのほぼ中央に位置している。
【００６１】
図２において、撮像装置Ｌ２０が取得した左眼用画像データＰＬ２０及び撮像装置Ｌ２０が取得した右眼用画像データＰＲ２０の概念図を図３に示す。左眼用画像ＰＬ２０中の被写体画像ＯＰＬ２０の画素ＰＢＬ２０と、対応する右眼用画像ＰＲ２０中の被写体画像ＯＰＬ２０中の画素ＰＢＲ２０との差分ベクトルＶ２０の大きさが、視差として算出されることになる。同様に、被写体画像ＯＰＬ２２の画素ＰＢＬ２２と、対応する被写体画像ＯＰＬ２２中の画素ＰＢＲ２２との差分ベクトルＶ２２の大きさが、視差として算出されることになる。なお、被写体画像ＯＰＬ２１の画素ＰＢＬ２１と、対応する被写体画像ＯＰＬ２１中の画素ＰＢＲ２１とは、水平方向の位置が一致していることから、差分ベクトルＶ２１がゼロ、つまり視差がゼロとして算出される。
【００６２】
視差過剰領域検出部１３２は、視差算出部１３１が算出した視差から所定の閾値を上回る領域を、観察者の目に負担をかけるような視差を有する領域、つまり過剰視差を有する領域として検出する。
【００６３】
ここで、図４を参照して、ディスプレイ等の表示面に表示される左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の飛び出し又は引き込みの度合い等を説明する。図４は左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の表示面に対する前方への飛び出し又は後方への引き込み等の関係を示す概念図である。
【００６４】
図４において、３Ｄ画像処理装置１００の画像出力部１５０から出力された、左眼用画像データ及び右眼用画像データを表示する外部ディスプレイ装置等の表示面をＤＰ４０、観察者の左眼をＬＥ４０、観察者の右眼をＲＥ４０、及び観察者と表示面ＤＰ４０との間の距離をＤとする。
【００６５】
（前方へ飛び出しているかのように知覚される場合）
図４（ａ）において、表示面ＤＰ４０上の左眼用画像中の被写体画像の位置をＬf、右眼用画像中の被写体画像の位置をＲfとすると、観察者が左眼ＬＥ４０でＬf、右眼ＲＥ４０でＲfを観察した場合、被写体画像はＰfの位置で結像する。これにより観察者からは被写体画像が表示面ＤＰ４０に対して前方に飛び出しているかのように知覚されることになる。
【００６６】
ここで、観察者の左眼ＬＥ４０と右眼ＲＥ４０の距離をＥ、像ＬfとＲfの視差をＶfとすると、表示面ＤＰ４０から結像位置までの距離Ｚfは以下の式（１）の通りとなる。
【００６７】
【数１】
・・・（１）
【００６８】
ここで、観察者は被写体画像を表示面Ｄ４０とは異なる位置Ｐfで知覚することになる。一方で、観察者の目のピントは表示面ＤＰ４０にあっている。従って、この両者の乖離が大きいと、観察者の目に負担を与えたり、観察者に不快感を引き起こしたりするおそれがある。
【００６９】
上記観察者の左眼ＬＥ４０と右眼ＲＥ４０の距離Ｅを一般的な人の瞳孔間隔である６．５ｃｍとし、上記観察者から表示面ＤＰ４０までの視聴距離Ｄを標準観視距離である表示面の長辺の３倍距離とした場合に、観察者の眼に負担をかけず、快適に３Ｄ画像として認識できる左眼用画像と右眼用画像との間の視差量として、表示面の短辺（幅）の２．９％（視差角にして約１度）以下とすることが望ましい旨が報告されている（「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」 ３Ｄコンソーシアム安全ガイドライン部会発行 ２０１０年４月２０日改訂版）。
【００７０】
そこで、視差過剰領域検出部１３２は、Ｖfが以下の式（２）で表される閾値ＶＳfを上回る場合に、視差が過剰であると判断する。
【００７１】
【数２】
・・・（２）
【００７２】
そして、視差過剰領域検出部１３２は、閾値ＶＳfを上回る画素群を、過剰視差を有する領域として検出する。
【００７３】
例えば、図３における左眼用画像データＰＬ２０中の画素ＰＢＬ２０と右眼用画像データＰＲ２０中の画素ＰＢＲ２０との差分ベクトルＶ２０の大きさ、及び被写体画像ＯＰＬ２０及びＯＰＲ２０を構成する他の画素間の差分ベクトルが、上記式（２）で導き出される閾値ＶＳfを上回る場合は、被写体画像ＯＰＬ２０及びＯＯＲ２０を構成する領域は過剰視差を有する領域であると判断される。すなわち、図２の被写体２０の３Ｄ画像は前方に飛び出しすぎている画像として判断されることになる。
【００７４】
ここで、上記表示面の幅ＤＷには、３Ｄ画像処理装置１００の図示しない操作部からユーザが所有しているＴＶディスプレイ等の外部モニタの幅の大きさが入力され、その大きさの値を採用する。また、ユーザが３Ｄ画像処理装置１００の図示しない操作部を使用して、事前にその値や閾値ＶＳfを調整することでさらに好みの値として変更することができるようにしてもよい。
【００７５】
（表示面上にあるかのように知覚される場合）
図４（ｂ）において、表示面ＤＰ４０上の左眼用画像中の被写体の位置と、右眼用画像中の被写体の位置が同一となった場合、被写体画像は表示面Ｄ４０上のＰcの位置で結像する。これにより観察者からは被写体画像が表示面ＤＰ４０上にあるかのように知覚されることになる。
【００７６】
例えば、図３の左眼用画像データＰＬ２０中の画素ＰＢＬ２１と右眼用画像データＰＲ２０中の画素ＰＢＲ２１との差分ベクトルＶ２１はゼロとなり、表示面上では同じ位置に表示されることになる。従って、図２の被写体２１は、３Ｄ画像では丁度表示上にあるかのように知覚されることになる。
【００７７】
（後方へ引き込んでいるかのように知覚される場合）
図４（ｃ）において、表示面ＤＰ４０上の左眼用画像中の被写体画像の位置をＬb、右眼用画像中の被写体画像の位置をＲbとすると、観察者が左眼ＬＥ４０でＬb、右眼ＲＥ４０でＲbを観察した場合、被写体はＰbの位置で結像する。これにより観察者からは被写体画像が表示面ＤＰ４０に対して後方に引き込んでいるかのように知覚されることになる。
【００７８】
ここで、観察者の左眼ＬＥ４０と右眼ＲＥ４０の距離をＥ、像ＬbとＲbの視差をＶbとすると、表示面ＤＰ４０から結像位置までの距離Ｚbは以下の式（３）の通りとなる。
【００７９】
【数３】
・・・（３）
【００８０】
ここで、被写体画像が後方に引き込んでいるかのように知覚される場合においても、観察者が被写体画像を表示面Ｄ４０とは異なる位置Ｐbで知覚することになるのは、前方に飛び出しているかのように知覚される場合と同様である。従って、前方に飛び出しているかのように知覚される場合と同様に、観察者の目に負担を与えたり、観察者に不快感を引き起こしたりするおそれがある。
【００８１】
そこで、視差過剰領域検出部１３２は、Ｖbが以下の式（４）で表される閾値ＶＳbを上回る場合に、視差が過剰になっていると判断する。
【００８２】
【数４】
・・・（４）
【００８３】
そして、視差過剰領域検出部１３２は、閾値ＶＳbを上回る画素群を、過剰視差を有する領域として検出する。
【００８４】
例えば、図３の左眼用画像データＰＬ２０中の画素ＰＢＬ２２と右眼用画像データＰＲ２０中の画素ＰＢＲ２２との差分ベクトルＶ２２の大きさ、及び被写体画像ＯＰＬ２２及びＯＰＲ２２を構成する他の画素間の差分ベクトルが、上記式（４）で導き出される閾値ＶＳbを上回る場合は、図２の被写体２２の３Ｄ画像は後方に引き込みすぎている画像として判断されることになる。
【００８５】
ここで、上記表示面の幅ＤＷには、３Ｄ画像処理装置１００の図示しない操作部からユーザが所有しているＴＶディスプレイ等の外部モニタの幅の大きさが入力され、その大きさの値を採用するのは、上記前方に飛び出しているかのように知覚される場合と同様である。また、ユーザが３Ｄ画像処理装置１００の図示しない操作部を使用して、事前にその値や閾値ＶＳbを調整することでさらに好みの値として変更することができるようにしてもよく、その値を前方に飛び出しているかのように知覚される場合と異なる値に設定してもよい。
【００８６】
また、表示面から後方に引き込んでいるかのように知覚される３Ｄ画像では、表示面上における水平方向の視差が５ｃｍを超えないようにすることが望ましい旨が方向されている（「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」 ３Ｄコンソーシアム安全ガイドライン部会発行 ２０１０年４月２０日改訂版）。人の両眼は外側には開かないことから、両眼の瞳孔間隔以上に離れた被写体を左眼及び右眼でそれぞれ独立して観察することは、観察者の目により大きな負担をかけるおそれがあるためである。
【００８７】
そこで、上記式（４）で導き出されるＶＳbを５ｃｍに設定しても良い。ＶＳbが５ｃｍ以上かどうかの判定及び、５ｃｍとする設定は、予め設定又は入力されているＤＷの値から５ｃｍ相当のピクセル数を算出することで行われる。
【００８８】
以上のようにして、視差過剰領域検出部１３２が、閾値ＶＳf又はＶＳbを上回る画素群を、過剰視差を有する領域として検出すると、画像ぼかし部１４０は、平均化フィルタに基づく処理により、ぼかし加工を左眼用画像データ及び右眼用画像データに施す。
【００８９】
画像ぼかし部１４０は、ぼかし加工を施す際に、表示画面上における観察者が注目している被写体画像（領域）と過剰視差を有する領域との画像内における距離を考慮して、施されるぼかし加工の度合いを変更することもできる。例えば、観察者が注目している被写体画像に近い位置に表示される過剰視差を有する画像は、観察者の注意を引きやすいためぼかし加工の度合いを大きくする。逆に、観察者が注目している被写体画像から遠い位置に表示される過剰視差を有する画像は、観察者の注意を引きにくいことからぼかし加工の度合いを小さくする。以上により、３Ｄ画像処理装置１００は、過剰なぼかしを避けて、品位を保ったまま、観察者の目の負担を軽減する３Ｄ画像を表示することができる。
【００９０】
上述のように画像ぼかし部１４０がぼかし加工の度合いを変更する場合、中央制御部１３０は、観察者が注目する被写体画像が表示される領域（以下、「注目領域」という。）を特定する注目領域特定部１３３、及び注目領域と過剰視差を有する領域との画像内における距離を算出する距離算出部１３４として機能する。
【００９１】
注目領域特定部１３３は、注目領域を特定する。この注目領域の特定は、顔検出の対象となっている領域、合焦している領域、左眼用画像と右眼用画像との間の視差がゼロとなっている領域、及び表示画面の中央に位置する領域等を特定することで行われる。
【００９２】
顔領域検出部１６０は中央制御部１３０からの指示に応じて、記憶部１２０に一時記憶されている左眼用画像データ及び右眼用画像データから、顔画像データの領域を検出する。顔画像データの領域の検出は、顔画像データ全体の輪郭または目、口、鼻、耳等の顔の構成要素のデータから特徴量を算出し、その特徴量に基づくテンプレートマッチングによって行われる。または、肌の色に近い領域データを検出し、その領域を顔画像データの領域として検出してもよい。
【００９３】
顔領域検出部１６０は、顔画像データの領域を検出すると、その結果を中央制御部１３０に引き渡す。そして、注目領域特定部１３３は、その結果を注目領域の特定に使用する。人物が被写体として画像中に含まれている場合、観察者はその人物画像に注目することが多い。以上のようにすることで、注目領域特定部１３３は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める人物の顔画像データの領域を特定することができる。
【００９４】
合焦領域検出部１７０は中央制御部１３０からの指示に応じて、記憶部１２０に一時記憶されている左眼用画像データ及び右眼用画像データから、既知のコントラストを利用した手法により焦点の合っているデータの領域（以下、「合焦領域」という。）を検出する。すなわち、取得された画像データ中において、合焦している画像は、そのコントラストが最大となる。そして、コントラストは、画像データの高周波成分のエネルギーの大きさから評価することができる。従って、合焦領域検出部１７０は、左眼用画像データ及び右眼用画像データの高周波成分のエネルギーを評価し、各画像データ中の合焦領域の検出を行う。
【００９５】
合焦領域検出部１７０は、合焦領域を検出すると、その結果を中央制御部１３０に引き渡す。そして、注目領域特定部１３３は、その結果を注目領域の特定に使用する。観察者は、左眼用画像データ及び右眼用画像データが取得（撮影）される際に、ピントがあっている被写体画像を注目することも多い。以上のようにすることで、注目領域特定部１３３は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める合焦領域を特定することができる。
【００９６】
また、上述の視差算出部１３１は、左眼用画像データと右眼用画像データとの間の視差を算出し、その視差がゼロとなっている領域を検出することもできる。この場合、注目領域特定部１３３は、視差算出部１３１が検出した左眼用画像データと右眼用画像データの視差がゼロとなる領域を、注目領域の特定に使用する。観察者は３Ｄ画像を観察する際に、左眼用画像と右眼用画像の視差がゼロとなっている、いわゆる輻輳点周辺にある画像に注目することもある。以上のようにすることで、注目領域特定部１３３は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める輻輳点周辺にある画像データを特定することができる。
【００９７】
さらに、注目領域特定部１３３は、左眼用画像データの中央、及び右眼用画像データの中央の領域を、注目領域の特定に利用することもできる。左眼用画像データ及び右眼用画像データが取得（撮影）される際に、中心となる被写体を画像の中央になるように配置することも多い。従って、以上のようにすることで、注目領域特定部１３３は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集めるとして、各画像の中央に配置されている被写体画像データを特定することもできる。
【００９８】
距離算出部１３４は、注目領域と過剰視差を有する領域との画像内における距離を算出する。この距離の算出は、注目領域の所定の画素の座標から代表座標を特定し、過剰視差を有する領域を構成する各画素の座標との距離を算出することで行われる。
【００９９】
（３Ｄ画像のぼかし加工処理）
続いて、本発明に係る３Ｄ画像にぼかし加工を施す３Ｄ画像処理（方法）について、観察者の目に負担をかける画像領域にぼかし加工を施す処理、注目領域との画像内における距離を考慮して観察者の目に負担をかける画像領域にぼかし加工を施す処理、及び注目領域を特定し３Ｄ画像全体にぼかし加工を施す処理とを、それぞれ第１乃至第３のぼかし加工処理として、３Ｄ画像処理装置１００の動作例をもとに、以下に順に詳述する。なお、３Ｄ画像処理装置１００が第１乃至第３のぼかし加工処理の何れを行うかは、ユーザが選択して決定することができる。
【０１００】
（第１のぼかし加工処理）
まず、図５のフローチャートを参照し、第１のぼかし加工処理として、観察者の目に負担とかける画像領域にぼかし加工を施す処理について説明する。
【０１０１】
左眼用画像データ及び右眼用画像データが画像入力部１１０に入力されると、３Ｄ画像処理装置１００は、この処理を開始する。左眼用画像データ及び右眼用画像データが、画像入力部１１０を介して、記憶部１２０に一時記憶される（ステップＳ１０１）。ステップＳ１０１で左眼用画像データ及び右眼用画像データが一時記憶されると、視差算出部１３１が左眼用画像データと右眼用画像データとの間の差分ベクトルを視差として算出する（ステップＳ１０２）。
【０１０２】
ステップＳ１０２で左眼用画像データと右眼用画像データとの間の視差が算出されると、視差過剰領域検出部１３２が上述の方法により、過剰視差を有する領域の検出を行う（ステップＳ１０３）。
【０１０３】
過剰視差を有する領域が検出された場合（ステップＳ１０３でＹＥＳ）、画像ぼかし部１４０が検出された過剰視差を有する領域にぼかし加工を施す（ステップＳ１０４）。このぼかし加工は具体的には、以下のようにして施される。
【０１０４】
図６に、平均化フィルタによるぼかし加工について説明するための図を示す。視差過剰領域検出部１３２が、左眼用画像データ中及び右眼用画像データ中のそれぞれから、互いに過剰な視差を有する画素を検出する。図６では、左眼用画像データ（又は右眼用画像データ）中で特定された画素の値をｆ（ｘ，ｙ）とする。
【０１０５】
画像ぼかし部１４０は、そのｆ（ｘ，ｙ）を中心として、Ｎ×Ｎの近傍画素領域を特定する。図６では、Ｎを３として近傍画素領域ＰＡ６を例に説明する。近傍画素領域ＰＡ６が特定されると、近傍画素領域に含まれる全画素の値の平均をとる平均化フィルタＡＦ６を適用した画素の値ｆ’（ｘ，ｙ）を以下の式（５）から算出し、上記特定された画素の値として採用する。
【０１０６】
【数５】
・・・（５）
【０１０７】
以上のようにして、画像ぼかし部１４０は、視差過剰領域検出部１３２が検出した過剰視差を有する領域の各画素について、以下の式（６）で表されるＮ×Ｎの平均化フィルタ処理を適用する。
【０１０８】
【数６】
・・・（６）
【０１０９】
なお、上記式（６）のＮの値は、予め設定されており中央制御部１３０のＲＯＭに記録されているようにしても良いし、ユーザが図示しない操作部を使用して好みの値を設定し、好みのぼけ具合に設定できるようにしてもよい。なお、Ｎの値が大きくなるほど、ぼかしの度合いが大きくなる。
【０１１０】
ステップＳ１０４で、過剰視差を有する領域にぼかし加工が施されると、画像出力部１５０は、そのぼかし加工が施された左眼用画像データ及び右眼用画像データを図示しない外部のディスプレイ装置や３Ｄ画像処理装置１００が備える図示しないモニタ部等に出力し（ステップＳ１０５）、この処理を完了する。また、過剰視差を有する領域が検出されなかった場合（ステップＳ１０３でＮＯ）、ぼかし加工を施さずに左眼用画像データ及び右眼用画像データを図示しない外部のディスプレイ装置や３Ｄ画像処理装置１００が備える図示しないモニタ部等に出力し（ステップＳ１０５）、３Ｄ画像処理装置１００はこの処理を完了する。
【０１１１】
以上のように、３Ｄ画像処理装置１００によれば、３Ｄ画像に観察者の目に負担をかける画像領域が含まれる場合は、その画像領域にぼかし加工を施して出力することで、その画像領域に存在する被写体画像をぼかして表示することができる。これにより、観察者の目に負担をかける被写体画像の表示情報量が抑えられ、観察者の負担を軽減することが可能となる。
【０１１２】
（第２のぼかし加工処理）
次に、図７のフローチャートを参照し、注目領域との画像内における距離を考慮して観察者の目に負担をかける画像領域にぼかし加工を施す、第２のぼかし加工処理について説明する。
【０１１３】
左眼用画像データ及び右眼用画像データが画像入力部１１０に入力されると、３Ｄ画像処理装置１００は、この処理を開始する。左眼用画像データ及び右眼用画像データが、画像入力部１１０を介して、記憶部１２０に一時記憶される（ステップＳ２０１）。ステップＳ１０１で左眼用画像データ及び右眼用画像データが一時記憶されると、視差算出部１３１が左眼用画像データと右眼用画像データとの間の差分ベクトルを視差として算出する（ステップＳ２０２）。
【０１１４】
ステップＳ２０２で左眼用画像データと右眼用画像データとの間の視差が算出されると、視差過剰領域検出部１３２が上述の方法により、過剰視差を有する領域の検出を行う（ステップＳ２０３）。
【０１１５】
過剰視差を有する領域が検出された場合（ステップＳ２０３でＹＥＳ）、注目領域特定部１３３は、観察者が注目すると推測される画像領域である注目領域を左眼用画像データ及び右眼用画像データから特定する（ステップＳ２０４）。この注目領域の特定は、例えば図８に示したフローチャートの順に行われる。
【０１１６】
注目領域特定部１３３は、まず左眼用画像データ及び右眼用画像データ中に所定の大きさを有する顔画像データの領域が検出されるかどうかを判定する（ステップＳ３０１）。顔領域検出部１６０が左眼用画像データ及び右眼用画像データから同一の人物の顔画像データの領域を検出し、その検出された顔画像データの領域が所定の大きさを有する旨の判定がなされた場合（ステップＳ３０１でＹＥＳ）、注目領域特定部１３３はそれら顔画像データの領域を注目領域として特定する（ステップＳ３０２）。所定の大きさ以上で撮影されている人物画像は、その画像中の主な被写体画像として撮影されていると推測されるためである。
【０１１７】
顔領域検出部１６０が左眼用画像データ及び右眼用画像データから同一の人物の顔画像データの領域を検出せず、または検出された顔画像データの領域が所定の大きさを有する旨の判定がなされなかった場合（ステップＳ３０１でＮＯ）、注目領域特定部１３３は、次に左眼用画像データ及び右眼用画像データ中に所定の大きさを有する合焦領域が検出されるかどうかを判定する（ステップＳ３０３）。
【０１１８】
合焦領域検出部１７０が左眼用画像データ及び右眼用画像データから合焦領域を検出し、その検出された合焦領域が所定の大きさを有する旨の判定がなされた場合（ステップＳ３０３でＹＥＳ）、注目領域特定部１３３はそれら合焦領域を注目領域として特定する（ステップＳ３０４）。所定の大きさ以上で撮影等された合焦画像は、観察者の注意を引きやすいと推測されるためである。
【０１１９】
合焦領域検出部１７０が左眼用画像データ及び右眼用画像データから合焦領域を検出せず、または検出された合焦領域が所定の大きさを有する旨の判定がなされなかった場合（ステップＳ３０３でＮＯ）、注目領域特定部１３３は、次に左眼用画像データ及び右眼用画像データ中に所定の大きさを有する、視差がゼロとなる領域が検出されるかどうかを判定する（ステップＳ３０５）。
【０１２０】
視差算出部１３１が左眼用画像データと右眼用画像データとの間の視差がゼロとなる領域を検出し、その検出された視差がゼロとなる領域が所定の大きさを有する旨の判定がなされた場合（ステップＳ３０５でＹＥＳ）、注目領域特定部１３３はそれら視差がゼロとなる領域を注目領域として特定する（ステップＳ３０６）。３Ｄ画像中において丁度表示画面上にあるかのように認識される被写体画像が所定の大きさを有し、他の被写体画像が過剰な視差を有する画像である場合等は、その表示画面上にあるかのように認識される被写体画像が注目されるとも推測できるためである。
【０１２１】
視差算出部１３１が視差がゼロとなる領域を検出せず、または検出された領域が所定の大きさを有していない旨の判定がなされた場合（ステップＳ３０５でＮＯ）、注目領域特定部１３３は、左眼用画像及び右眼用画像の中央の所定の大きさの領域を、観察者が注目する領域として特定する（ステップＳ３０７）
【０１２２】
以上のようにして、注目領域特定部１３３は、観察者が注目すると推測される画像領域を左眼用画像データ及び右眼用画像データから特定する。なお、上述の特定方法は一例であり、顔検出の対象となっている領域、合焦している領域、及び左眼用画像と右眼用画像との間の視差がゼロとなっている領域の判定の順序を変更する、又はユーザが判定対象となる各領域のなかから選択した少なくとも一つを選択し、選択されたものを注目領域の特定に使用することができるようにしてもよい。また、上記は例示であり、観察者が注目すると推定できる領域であれば、上述した各領域以外の領域も注目領域の特定に用いることができる。
【０１２３】
また、判定に使用される各領域の所定の大きさは、例えば左眼用画像データ又は右眼用画像データそれぞれの２５％の大きさを予め設定された大きさとして中央制御部１３０のＲＯＭに設定し、使用することができる。また、ユーザが好みにあわせた大きさを各領域に別途設定することもできる。
【０１２４】
図７に戻り、ステップＳ２０４で注目領域特定部１３３が注目領域を特定すると、距離算出部１３４は特定された注目領域と、ステップＳ２０３で検出された過剰視差を有する領域との画像内における距離を算出する（ステップＳ２０５）。この距離の算出について、図９を参照して具体的に説明する。
【０１２５】
図９は、距離算出部１３４による注目領域と過剰視差領域との間の画像内における距離の算出を説明するための概念図である。図９では、左眼用画像データＰＬ２０中の被写体画像ＯＰＲ２０及び右眼用画像データＰＲ２０中の被写体画像ＯＰＲ２０が過剰な視差を有する画像領域として検出されている。また、左眼用画像データＰＬ２０中の画像領域ＧＡＬ９０及び右眼用画像データＰＲ２０中の画像領域ＧＡＲ９０が、顔画像の検出された注目領域としてそれぞれ特定されているものとする。
【０１２６】
距離算出部１３３は、注目領域特定部１３３が特定した注目領域から当該領域を代表する座標を特定する。例えば図９に示すように顔画像が検出された注目領域を矩形領域ＧＡＬ９０及びＧＡＲ９０としてそれぞれ特定し、それぞれの矩形領域の中心座標ＣＬ９０及びＣＲ９０を特定する。
【０１２７】
そして、距離算出部１３３は、左眼用画像データＰＬ２０においては、中心座標ＣＬ９０と画素ＰＢＬ２０との画像内における距離ＤＬを算出する。同様にして、視差過剰領域検出部１３２が検出した過剰視差を有する領域に含まれる各画素と中心座標ＣＬ２０との距離が算出される。
【０１２８】
左眼用画像データＰＲ２０においても同様に、中心座標ＣＲ９０と画素ＰＢＲ２０との画像内における距離ＤＲを算出する。同様にして、視差過剰領域検出部１３２が検出した過剰視差領域に含まれる各画素と中心座標ＣＲ２０との距離が算出される。
【０１２９】
以上のようにして、過剰な視差を有する被写体画像ＯＰＬ２０及びＯＰＲ２０のそれぞれを含む過剰視差を有する領域内の各画素と、注目領域との画像内における距離が算出される。
【０１３０】
図７に戻り、ステップＳ２０５で注目領域と過剰視差領域との画像内における距離が算出されると、画像ぼかし部１４０は算出された距離に応じて、過剰視差領域の画像にぼかし加工を施す（ステップＳ２０６）。
【０１３１】
施されるぼかし加工は、上述の図５におけるステップＳ１０４で述べたものと同様に、式（６）に基づく平均化フィルタにより実施されるが、この式（６）のＮを以下の式（７）に基づいて決定する。ここで、ＤMAXは、左眼用画像データ又は右眼用画像データの全領域の対角の距離であり、Ｄは左眼用画像データにおいては算出されたＤＬ、右眼用画像データにおいては算出されたＤＲである。
【０１３２】
【数７】
・・・（７）
【０１３３】
以上のようにすれば、過剰視差領域が注目領域に近いほどぼかしの度合いを大きくし、過剰視差領域が注目領域から遠いほどぼかしの度合いを小さくする加工を施すことができる。なお、式（７）のａの値は中央制御部１３０のＲＯＭに予め設定されている。またユーザはその値を変更することで、さらに好みのぼかし度合いとすることができる。
【０１３４】
ステップＳ２０６で、過剰視差領域にぼかし加工が施されると、画像出力部１５０は、そのぼかし加工が施された左眼用画像データ及び右眼用画像データを図示しない外部のディスプレイ装置や３Ｄ画像処理装置１００が備える図示しないモニタ部等に出力し（ステップＳ２０７）、この処理を完了する。また、過剰視差領域が検出されなかった場合（ステップＳ２０３でＮＯ）、ぼかし加工を施さずに左眼用画像データ及び右眼用画像データを図示しない外部のディスプレイ装置や３Ｄ画像処理装置１００が備える図示しないモニタ部等に出力し（ステップＳ２０７）、３Ｄ画像処理装置１００はこの処理を完了する。
【０１３５】
以上のように、３Ｄ画像処理装置１００によれば、３Ｄ画像に観察者の目に負担をかける画像領域が含まれる場合は、注目領域との画像内における距離に応じたぼかし加工をその画像領域に施して出力することができる。すなわち、観察者が注目している被写体画像に近い位置に表示される観察者の目に負担をかける被写体画像は、観察者の注意を引きやすいためぼかし加工の度合いを大きくし、逆に、観察者が注目している被写体画像から遠い位置に表示される観察者の目に負担をかける被写体画像は、観察者の注意を引きにくいことからぼかし加工の度合いを小さくすることができる。以上により、３Ｄ画像処理装置１００は、品位を保ったまま、観察者の目の負担を軽減する３Ｄ画像を出力することができる。
【０１３６】
（第３のぼかし加工処理）
次に、図１０のフローチャートを参照し、注目領域からの画像内における距離を考慮し３Ｄ画像全体にぼかし加工を施す第３のぼかし加工処理について説明する。
【０１３７】
左眼用画像データ及び右眼用画像データが画像入力部１１０に入力されると、３Ｄ画像処理装置１００は、この処理を開始する。左眼用画像データ及び右眼用画像データが、画像入力部１１０を介して、記憶部１２０に一時記憶される（ステップＳ４０１）。ステップＳ１０１で左眼用画像データ及び右眼用画像データが一時記憶されると、視差算出部１３１が左眼用画像データと右眼用画像データとの間の差分ベクトルを視差として算出する（ステップＳ４０２）。
【０１３８】
ステップＳ４０２で左眼用画像データと右眼用画像データとの間の視差が算出されると、視差過剰領域検出部１３２が上述の方法により、過剰視差を有する領域の検出を行う（ステップＳ４０３）。
【０１３９】
過剰視差領域が検出された場合（ステップＳ４０３でＹＥＳ）、注目領域特定部Ｓ２０４は、観察者が注目すると推測される画像領域を左眼用画像データ及び右眼用画像データから特定する（ステップＳ４０４）。この注目領域の特定は、上述の図７におけるステップＳ２０４で説明したものと同様の方法により行われる。
【０１４０】
ステップＳ４０４で注目領域特定部１３３が注目領域を特定すると、画像ぼかし部は、特定された注目領域との画像内における距離に応じて左眼用画像データ及び右眼用画像データの全体にぼかし加工を施す（ステップＳ２０５）。
【０１４１】
施されるぼかし加工は、上述の図５におけるステップＳ１０４で述べたものと同様に、式（６）に基づく平均化フィルタにより実施されるが、この式（６）のＮを以下の式（８）に基づいて決定する。
【０１４２】
【数８】
・・・（８）
【０１４３】
ここで式（８）におけるＤは、ステップＳ４０４で特定された注目領域の代表座標と、左眼用画像データ内又は右眼用画像データ内の各画素との距離である。また、式（８）のｂの値は中央制御部１３０のＲＯＭに予め設定されており、またユーザはその値を変更することで、さらに好みのぼかし度合いとすることができる。
【０１４４】
以上のようにすることで、画像ぼかし部１４０が注目領域を中心に、その注目画像領域からの画像内における距離に応じて徐々にぼかし加工の度合いを大きくしていくぼかし加工を施すことができる。
【０１４５】
ステップＳ４０５で、左眼用画像データ及び右眼用画像データの全体にぼかし加工が施されると、画像出力部１５０は、そのぼかし加工が施された左眼用画像データ及び右眼用画像データを図示しない外部のディスプレイ装置や３Ｄ画像処理装置１００が備える図示しないモニタ部等に出力し（ステップＳ４０６）、この処理を完了する。また、過剰視差領域が検出されなかった場合（ステップＳ４０３でＮＯ）、ぼかし加工の施されていない左眼用画像データ及び右眼用画像データを図示しない外部のディスプレイ装置や３Ｄ画像処理装置１００が備える図示しないモニタ部等に出力し（ステップＳ４０６）、３Ｄ画像処理装置１００はこの処理を完了する。
【０１４６】
以上のように、３Ｄ画像処理装置１００によれば、左眼用画像データと右眼用画像データとの間に過剰な視差を有する被写体画像データが含まれる場合は、注目されている被写体画像からの画像内における距離に応じてぼかし加工の度合いを変化させて、左眼用画像データ及び右眼用画像データの全体にぼかし加工を施すことができる。すなわち、観察者が注目している被写体画像に近い位置に表示される画像は、ぼかし加工の度合いを小さくし、逆に、観察者が注目している被写体画像から遠い位置に表示される画像は、ぼかし加工の度合いを大きくすることができる。以上により、３Ｄ画像処理装置１００は、観察者が注目する被写体画像やその付近の画像の鮮明さはある程度保しつつ、観察者の目の負担を軽減する３Ｄ画像を表示することができる。
【０１４７】
（第２の実施形態：３Ｄ画像撮像装置）
次に、本発明の第２の実施形態である３Ｄ画像撮像装置について説明する。デジタルビデオカメラ等の撮像装置では、撮像部が取得した撮影画像を、ユーザが、搭載された液晶モニタやビューファインダ等で確認しながら撮像することが多い。一方で、撮像対象となる被写体は撮像の最中に自由に動き回るため、不意に、液晶モニタ等で確認される撮像画像上で撮像者の目に負担等をかける被写体画像として撮像されてしまうことがありうる。
【０１４８】
このような場合、液晶モニタ等に表示される３Ｄ画像の左眼用画像と右眼用画像との間の視差の調整を素早く実施して、健全な３Ｄ画像となる調整を施す処理は大きな計算コスト等により装置に大きな負担をかける。
【０１４９】
そこで、第２の実施形態に係る撮像装置は、液晶モニタ上に表示される３Ｄ画像にぼかし加工を施すことで、処理コストを軽減し、撮像者の目に負担を掛けない３Ｄ画像を表示することができる。以下に、図１１を参照しながら、本実施形態に係る３Ｄ画像撮像装置について説明する。
【０１５０】
なお、本実施形態に係る撮像装置では二つの撮像部を有し、それぞれの光軸のなす輻輳角を調整できる構成としているが、両光軸が平行となるように固定され輻輳角を調整できない撮像装置においても本発明は採用できる。また、本発明は、撮像系を複数備えているものであれば、デジタルスチルカメラをはじめ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、撮影が可能なその他の電子機器においても採用することができる。また、複数のカメラを使用して３Ｄ画像を撮影する場合においても採用することができる。
【０１５１】
図１１は、本発明の第２の実施形態に係る３Ｄ画像撮像装置の内部構成の例を示すブロック図である。図１１では、処理信号が実線で、データの流れが破線で示されている。
【０１５２】
図１１に示すように、左眼用撮像部Ｌ２００、右眼用撮像部Ｒ２００、アナログ信号処理部Ｌ２０５及びＲ２０５、Ａ／Ｄ変換部Ｌ２０６及びＲ２０６、画像入力コントローラＬ２０７及びＲ２０７を含んでいる。また、それらの部材はバス２１０を解して、フラッシュＲＯＭ２１１、メディア制御部２１２、カードＩ／Ｆ２１３、及び入出力Ｉ／Ｆ２１５と相互に接続されている。
【０１５３】
中央制御部２３０は、ＣＰＵ、各種プログラムが格納されたＲＯＭ、及びワークエリアとしてのＲＡＭ等を含む半導体集積回路により構成され、撮像装置２００の撮像処理や画像表示等の各種処理を統括的に制御する。さらに中央制御部２３０は左眼用撮像部Ｌ２００が取得した左眼用撮像データ及び右眼用撮像部Ｒ２００が取得した右眼用撮像データへのぼかし加工処理において、視差算出部１３１、視差過剰領域検出部１３２、注目領域特定部１３３、距離算出部１３４としても機能する。なお、フラッシュＲＯＭ２１１は、ユーザの設定情報等、撮像装置２００の動作に関する各種設定情報を格納している。
【０１５４】
図１１を参照して、３Ｄ画像撮像装置２００により取得された左眼用画像データ及び右眼用画像データの流れについて、以下に説明する。
【０１５５】
撮像装置２００には、左右一対の左眼用画像撮像部Ｌ２００及び右眼用画像撮像部Ｒ２００が、人の眼の間隔より少し短い所定の間隔（例えば５ｃｍ）離れて設置されている。左眼用画像撮像部Ｌ２００及び右眼用画像撮像部Ｒ２００は、それぞれズームレンズＬ２０１及びＲ２０１、フォーカスレンズＬ２０２及びＲ２０２、絞りＬ２０３及びＲ２０３、並びに固体撮像素子Ｌ２０４及びＲ２０４を備える。
【０１５６】
ズームレンズＬ２０１及びＲ２０１は、図示しないズームアクチュエータによって光軸ＡＬ２００及びＡＲ２００に沿って移動する。フォーカスレンズＬ２０２及びＲ２０２は、図示しないフォーカスアクチュエータによって光軸ＡＬ２００及びＡＲ２００に沿って移動する。絞りＬ２０３及びＲ２０３は、図示しない絞りアクチュエータに駆動されて動作する。
【０１５７】
左眼用画像撮像部Ｌ２００及び右眼用撮像部Ｒ２００は図示しない輻輳角アクチュエータとそれぞれ接続されており、その輻輳角アクチュエータはＣＰＵ２３０から指令を受けて、両撮像部を駆動し、光軸ＡＬ２００とＡＲ２００とのなす輻輳角を調整する。
【０１５８】
左眼用の固体撮像素子Ｌ２０４及び右眼用の固体撮像素子Ｒ２０４がそれぞれ、左眼用画像撮像部Ｌ２００と右眼用撮像部Ｒ２００とを通過した光を光電変換して、左右それぞれの被写体のアナログ撮像信号を生成する。アナログ信号処理部Ｌ２０５及びＲ２０５が両アナログ撮像信号を増幅した後、Ａ／Ｄ変換器Ｌ２０６及びＲ２０６がその増幅された信号をデジタルの画像データに変換する。画像入力コントローラＬ２０７及びＲ２０７は、Ａ／Ｄ変換機Ｌ２０６及びＲ２０６から出力されたデジタルの画像データを取り込んで、それら画像データはバス２１０に入力され、バス２１０を介して記憶部１２０に一時記憶される。
【０１５９】
記憶部１２０は、３Ｄ画像処理装置と同様に、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、又はＨＤＤ等の記憶媒体で構成される。
【０１６０】
画像ぼかし部１４０は、記憶部１２０に一時記憶された左眼用画像データ及び右眼用画像データ中に、例えば、液晶モニタ２１６を通して撮像画像を確認する撮像者といった観察者の目に負担をかけるような視差を有する被写体画像が検出された場合は、ぼかし加工を左眼用画像データ及び右眼用画像データに施す。ぼかし加工を施す方法は、上述の３Ｄ画像処理装置１００と同様に、例えば平均化フィルタを利用した方法が使用される。
【０１６１】
画像ぼかし部１４０がぼかし加工を施した左眼用画像データ及び右眼用画像データは、バス２１０を介してカードＩ／Ｆ２１３に入力され、カードＩ／Ｆ２１３はそれらの画像データをカード型記録媒体２１４に出力する。カード型記録媒体２１４としては、撮像装置２００に着脱可能なＳＤ（Secure Digital）メモリカード等が使用される。但し、カード型記録媒体の替りに、ＤＶＤ、ＢＤ、若しくはフラッシュメモリ等の他の記録媒体を使用する、又は撮像装置２００に内臓されたＨＤＤ（Hard Disc Drive）等で構成することができることはいうまでもない。
【０１６２】
なお、メディア制御部２１２は、ＣＰＵ２３０からの指令に従い、カードＩ／Ｆ２１３を通じてカード型記録媒体２１４へのデータの書き込みやそれらからのデータの読み出しを制御する。
【０１６３】
また画像ぼかし部１４０がぼかし加工を施した左眼用画像データ及び右眼用画像データは、バス２１０を介して入出力Ｉ／Ｆ２１５に入力され、入出力Ｉ／Ｆはそれら画像データを液晶モニタ２１６又は入出力端子２１９に出力する。ここで、液晶モニタ２１６、スピーカ２１７、操作部２１８及び入出力端子２１９は入出力Ｉ／Ｆ２１５に接続されている。
【０１６４】
ここで、液晶モニタ２１６は３Ｄ画像を表示できる態様となっている。図１２は、液晶モニタ２１６の水平方向の切断面を示している。液晶モニタ２１６は、表示パネルの一例としての液晶パネルＭ１２と、液晶パネル１２の表示面に対向して配置された視差分割部の一例としての液晶バリアＭ１３とを備える。液晶パネルＭ１２と液晶バリアＭ１３は、粘着シートＭ１１により接着されている。
【０１６５】
液晶パネルＭ１２において、液晶層Ｍ１２２の両面は液晶ガラス基板Ｍ１２１、Ｍ１２３で挟まれ、表示面側の液晶ガラス基板Ｍ１２３にはカラーフィルタ（図示せず）が形成されている。カラーフィルタの主表面には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の異なる色の着色層がマトリックス状に配置されている。この着色層の配置が液晶パネル１２の色画素の配置に対応している。液晶ガラス基板Ｍ１２３の表示面側には液晶偏光板Ｍ１２４が積層されている。液晶ガラス基板Ｍ１２１の裏面側にはバックライト（図示せず）が配置されている。
【０１６６】
液晶バリアＭ１３は、視差バリア（パララックスバリア）の一例であって、パッシブ方式液晶やアクティブマトリックス方式液晶によって光を遮断するバリア部のパターンを形成することができる。液晶バリアＭ１３において、バリア液晶層Ｍ１３２の両面は液晶バリアガラス基板Ｍ１３１、Ｍ１３３で挟まれている。液晶バリアガラス基板Ｍ１３３の表示面側には液晶バリア偏光板Ｍ１３４が積層されている。バリア液晶層Ｍ１３２には、光を遮断するバリア部Ｍ１３２ａと光を透過するスリット部Ｍ１３２ｂとが交互に形成されている。
【０１６７】
図１３に示すように、観察者の右眼ＲＥ１２からスリット部Ｍ１３２ｂを通じて視認される液晶パネルＭ１２の右眼用色画素領域ＲＧは、観察者の左眼ＬＥ１２からはバリア部Ｍ１３２ａによって遮蔽されて視認することができない。一方、観察者の左眼ＬＥ１２からスリット部Ｍ１３２ｂを通じて視認される液晶パネルＭ１２の左眼用色画素領域ＬＧは、観察者の右眼ＲＥ１２からはバリア部Ｍ１３２ａによって遮蔽されて視認することができない。このように、液晶バリアＭ１３は、液晶パネルＭ１２の色画素領域を、右眼ＲＥ１２の視線が届き、左眼ＬＥ１２の視線が届かない右眼用色画素領域ＲＧと、左眼ＬＥ１２の視線が届き、右眼ＲＥ１２の視線が届かない左眼用色画素領域ＬＧとに分ける。これにより、水平方向に並ぶ観察者の右眼ＲＥ１２及び左眼ＬＥ１２の位置から異なる画像を見ることができる。すなわち、液晶パネルＭ１２の画像を複数の視点方向に分割し、視認される画像を視聴位置によって変化させることにより、観察者は液晶モニタ２１６に表示される左眼用画像及び右眼用画像を３Ｄ画像として認識することができる。
【０１６８】
なお、３Ｄ画像の表示のための液晶モニタ１２６の構造として、上述の通り視差バリア方式を用いた例を説明したが、他の方式、例えばレンチキュラ方式や光方向制御方式等を採用することもできる。
【０１６９】
図１０に戻り、入出力端子２１９は、ＨＤＭＩ（High-Definition Multimedia Interface）端子、ＵＳＢ（Universal Serial Bus）端子、ＩＥＥＥ １３９４規格に準拠した各種出力端子等で構成され、図示しない外部のディスプレイ装置等に画像データを出力する。
【０１７０】
操作部２１８は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ２１６上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置２００への操作入力を受け付ける。
【０１７１】
次に、中央制御部２３０等による、左眼用画像データ及び右眼用画像データにぼかし加工が施される際の各構成部材の処理について説明する。
【０１７２】
視差算出部１３１は、記憶部１２０に一時記憶された左眼用画像データ及び右眼用画像データから、両画像データにおける各被写体画像データ間の水平方向の視差を算出する。この視差の算出の処理は、３Ｄ画像処理装置１００において説明したものと同様に、動きベクトル算出のアルゴリズムを利用して、左眼用撮影画像データ及び右眼用撮影画像データにおける同一被写体画像データを特定し、その同一被写体画像データについて、対応する画素を左眼用撮影画像データ及び右眼用撮影画像データから抽出し、それらの差分ベクトルを左眼用撮影画像データ及び右眼用撮影画像データにおける被写体画像データの視差として算出する。
【０１７３】
そして、視差過剰領域検出部１３２は、視差算出部１３１が算出した視差から所定の閾値を上回る領域を、観察者の目に負担をかけるような視差を有する領域、つまり過剰視差を有する領域として検出する。この検出の処理には、３Ｄ画像処理装置１００において説明したものと同様の方法が用いられる。
【０１７４】
視差過剰領域検出部１３２が過剰視差を有する領域として検出すると、画像ぼかし部１４０は、平均化フィルタに基づく処理により、ぼかし加工を左眼用画像データ及び右眼用画像データに施す。ここで、注目領域特定部１３３により注目領域を特定し、距離算出部が注目領域と過剰な視差を有する領域との画像内における距離を算出して、画像ぼかし部１４０が施されるぼかし加工の度合いを変更することもできる点もまた、３Ｄ画像処理装置１００と同様である。
【０１７５】
注目領域特定部１３３は、注目領域を特定する。この注目領域の特定は、顔検出の対象となっている領域、合焦している領域、左眼用画像と右眼用画像との間の視差がゼロとなっている領域、及び表示画面の中央に位置する領域等を特定することで行われるのは３Ｄ画像処理装置１００と同様である。
【０１７６】
さらに、撮像装置２００では、操作部２１８の図示しないタッチパネル等を使用して、撮像中の左眼用画像及び右眼用画像に対し、所定の領域を注目領域として指定することができる。このような構成とすることで、注目領域特定部１３３は、撮像者の意図に沿った被写体画像を注目すべき被写体画像、つまり注目画像領域として特定することができる。
【０１７７】
そして、撮像装置２００は、図５を参照して説明した観察者の目に負担をかける画像領域にぼかし加工を施す処理、図７で説明した注目領域との画像内における距離を考慮して観察者の目に負担をかける画像領域にぼかし加工を施す処理、及び図１０を参照して説明した注目領域を特定し３Ｄ画像全体にぼかし加工を施す処理とを、それぞれ上述のものと同様にして実施する。
【０１７８】
本実施形態に係る３Ｄ画像撮像装置２００によれば、ユーザが撮像している際に撮像画像を液晶モニタ２１６で確認する場合のように、取得された３Ｄ画像データを速やかに出力し表示する場合においても、３Ｄ画像にぼかし加工を施すことで、処理コストを軽減し、撮像者の目に負担を掛けない３Ｄ画像を表示することができる。
【０１７９】
上述の第１の実施形態に係る３Ｄ画像処理装置１００及び第２の実施形態に係る３Ｄ画像撮像装置２００の説明において、説明の煩雑を避け理解を容易にするために、左眼画像と右眼用画像との垂直方向の視差の調整についての説明を省略したが、左眼用画像データ及び右眼用画像データの各画像データの切出し範囲を調整する、或は左眼用撮像部及び右眼用撮像部の垂直方向の光軸を調整する等の既知の処理により、垂直方向の視差を調整することで本発明を適用しても構わない。
【０１８０】
また、上述の説明では、３Ｄ画像処理装置１００及び３Ｄ画像撮像装置２００を例に挙げたが、本発明に係る画像処理装置の実施形態としてこれらの形態に限定されるわけではなく、ＤＶＤ、ＨＤＤ、又はＨＤＤに対応した各種記録／再生装置のような据置き型の装置であっても、本発明を適用可能なことは言うまでもない。
【符号の説明】
【０１８１】
１００ ３Ｄ画像処理装置
１１０ 画像入力部
１２０ 記憶部
１３０、２３０ 中央制御部
１３１ 視差算出部１３１
１３２ 視差過剰領域検出部
１３３ 注目領域特定部
１３４ 距離算出部１３４
１４０ 画像ぼかし部
１５０ 画像出力部
１６０ 顔領域検出部
１７０ 合焦領域検出部
２００ ３Ｄ画像撮像装置
Ｌ２００ 左眼用撮像部
Ｒ２００ 右眼用撮像部
２１０ バス
２１２ メディア制御部
２１３ カードＩ／Ｆ
２１４ カード型記録媒体
２１５ 入出力Ｉ／Ｆ
２１６ 液晶モニタ
２１８ スピーカ
２１９ 入出力端子
【技術分野】
【０００１】
本発明は３Ｄ画像処理装置、３Ｄ画像撮像装置、及びプログラムに関し、より詳細には、左眼用画像と右眼用画像との視差を算出し、算出された視差が所定の大きさを上回る被写体画像を検出した場合は、３Ｄ画像をぼかして出力し観察者の負担を軽減することができる３Ｄ画像処理装置、３Ｄ画像撮像装置、及びプログラムに関する。
【背景技術】
【０００２】
近年、水平方向に視差を有する２つの画像が左眼用画像及び右眼用画像として同一ディスプレイ上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された画像があたかも立体的に存在するかのように知覚できる３Ｄ画像に関する技術の開発が盛んに行われている。
【０００３】
３Ｄ画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像が同一ディスプレイ上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式がよく知られている。
【０００４】
また、左眼用画像及び右眼用画像それぞれが交互にディスプレイ上に表示され、観察者が左右の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式等もよく知られている。
【０００５】
これらの３Ｄ画像に関する技術では、被写体画像が観察者から見てディスプレイ面に対しどの程度前方に飛び出しているかのように知覚されるか、又は被写体画像が観察者から見てディスプレイ面に対しどの程度後方に引き込んでいるかのように知覚されるかは、左眼用画像と右眼用画像との間の水平方向の視差によって決定される。
【０００６】
ここで、左眼用画像と右眼用画像の水平方向の視差が大きすぎると、観察対象である被写体画像が過剰に飛び出している、又は過剰に引き込んでいるかのように知覚され、観察者の目に負担を掛けたり、観察者が不快感を感じたりするという問題を誘発しやすい。
【０００７】
そこで、上記問題を解決し、健全で品質の高い３Ｄ画像の生成や表示を行うための開発が従来から積極的に行われている。例えば、特許文献１には、左眼用画像及び右眼用画像のそれぞれから、検出マークとなる代表座標を取得し、検出された左眼用画像の代表座標と右眼用画像の代表座標の差分ベクトルを算出し、その差分ベクトルから左眼用画像と右眼用画像の視差を調整する立体画像処理装置が記載されている。
【０００８】
また、特許文献２には、左眼用画像及び右眼用画像を複数の領域に分割し、ユーザが選択した領域毎に視差を調整することで、ユーザが調整を期待しない領域の視差が変更されるのを防止することができる立体画像生成方法が記載されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−１４７９４０号公報
【特許文献２】特開２００３−２０９８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、３Ｄ画像では各被写体画像は、被写体画像毎にそれぞれ異なった水平方向の視差を有している。従って、上記特許文献１に記載の画像処理装置のように、代表座標を有する特定の被写体画像を中心に左眼用画像全体と右眼用画像全体との間の視差を調整した場合には、調整の対象となった被写体画像の視差は好ましいものに変更されるものの、その調整によって別の被写体画像の視差が好ましくないものに変更されてしまうことがあり得る。そして、結果として、左眼用画像と右眼用画像との間の視差調整をしたにも関わらず、調整後の３Ｄ画像は依然として観察者の目に負担をかける画像のままになるという問題が残ってしまうことが推察される。
【００１１】
また、上記特許文献２に記載の立体画像生成方法のように、左眼用画像及び右眼用画像中の特定の領域の視差のみを変更した場合、視差を変更しなかった領域との関係で不自然な画像とならないように、各領域間で画像を補間する処理を行わなければならないが、この補間処理には大きな計算コスト等が掛かってしまうという問題がある。
【００１２】
例えば、デジタルビデオカメラ等の撮像装置では、撮像部が取得した撮影画像を、ユーザが、搭載された液晶モニタやビューファインダ等で確認しながら撮像することが多い。一方で、撮像対象となる被写体は撮像の最中に自由に動き回るため、不意に、液晶モニタ等で確認される撮像画像上で撮像者の目に負担等をかける被写体画像として撮像されてしまうことがありうる。
【００１３】
このような場合、液晶モニタ等に表示される３Ｄ画像の左眼用画像と右眼用画像との間の視差の調整を素早く実施して、健全な３Ｄ画像となる調整を施す処理は大きな計算コスト等により装置に大きな負担をかけ、速やかな表示ができない等の問題を誘発する可能性がある。
【００１４】
一方で、観察者の目に負担をかけるような大きな視差を有する被写体画像がディスプレイ等に表示される際に、その被写体画像がぼかして表示されれば、観察者の視覚が受け取る画像の情報量が軽減されることから、観察者の目にかかる負担等を軽減することができると考えられる。また、画像をぼかす処理であれば、視差を変更した領域と視差を変更しなかった領域との間の画像を補完する処理と比べて低い計算コスト等で実現可能である。
【００１５】
そこで、本発明は、３Ｄ画像を表示する際に、左眼用画像の被写体画像と右眼用画像の被写体画像との間の視差を算出し、観察者の目に負担をかけるような視差を有する被写体画像が検出された場合は、３Ｄ画像にぼかし加工を施すことで、観察者の目の負担等を軽減し、健全で品質の高い３Ｄ画像の出力を行うことができる３Ｄ画像処理装置、３Ｄ画像撮像装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記課題を解決するため、本発明は、第１の画像データと第２の画像データとにおける同一の被写体画像データの視差を算出する視差算出部（１３１）と、前記視差算出部（１３１）が算出した前記視差から、所定の大きさの視差を有する画像データの領域を視差過剰領域として、前記第１の画像データと前記第２の画像データのそれぞれから検出する視差過剰領域検出部（１３２）と、前記視差過剰領域検出部（１３２）が前記視差過剰領域を検出した場合に、前記第１の画像データ及び前記第２の画像データにぼかし加工を施す画像ぼかし部（１４０）と、前記画像ぼかし部（１４０）がぼかし加工を施した前記第１の画像データ及び前記第２の画像データを出力する出力部（１５０）とを備えることを特徴とする３Ｄ画像処理装置（１００）を提供する。
【００１７】
本発明に係る３Ｄ画像処理装置（１００）によれば、観察者の目に負担をかけるような視差を有する被写体画像が検出された場合は、３Ｄ画像にぼかし加工を施すことができる。従って、観察者の目の負担等を軽減し、健全で品質の高い３Ｄ画像の出力を行うことができる。
【００１８】
上記３Ｄ画像処理装置（１００）の前記画像ぼかし部（１４０）は、前記視差過剰領域検出部が検出した前記過剰視差領域にぼかし加工を施すようにしても良い。
【００１９】
これにより、観察者の目に負担をかけるような視差を有する被写体画像を表示する際、その情報量を減らすことができ、観察者の目の負担等を軽減し、健全で品質の高い３Ｄ画像の出力を行うことができる。
【００２０】
上記３Ｄ画像処理装置（１００）はさらに注目領域特定部（１３３）を備え、前記注目領域特定部（１３３）は、前記第１の画像データ及び前記第２の画像データから観察者の注目を集める画像データの領域を注目領域として特定し、前記画像ぼかし部（１４０）は、前記注目領域特定部（１３３）が特定した前記注目領域からの画像内における距離が大きくなるにつれてぼかし加工の度合いが大きくなるように前記第１の画像データ及び前記第２の画像データにぼかし加工を施すようにしても良い。
【００２１】
これにより、観察者の目に負担をかけるような視差を有する被写体画像が検出された場合に、観察者が注目する被写体画像をある程度鮮明にしたまま、３Ｄ画像全体にぼかし加工を施すことができる。従って、観察者の目の負担等を軽減し、健全で品質の高い３Ｄ画像の出力を行うことができる。
【００２２】
上記３Ｄ画像処理装置（１００）はさらに注目領域特定部（１３３）を備え、前記注目領域特定部（１３３）は、前記第１の画像データ及び前記第２の画像データから観察者の注目を集める画像データの領域を注目領域として特定し、前記画像ぼかし部（１４０）は、前記注目領域特定部（１３３）が特定した前記注目領域と前記視差過剰領域検出部が検出した視差過剰領域との画像内における距離が大きくなるにつれてぼかし加工の度合いが小さくなるように前記過剰視差領域にぼかし加工を施すようにしても良い。
【００２３】
これにより、観察者の目に負担をかけるような視差を有する被写体画像が検出された場合に、観察者が注目する被写体画像との画像内における距離に応じて、その観察者の目に負担をかける被写体画像に施すぼかし加工の度合いを変更することができる。従って、観察者が注目している被写体画像に近い位置に表示される観察者の目に負担をかける被写体画像は、観察者の注意を引きやすいためぼかし加工の度合いを大きくし、逆に、観察者が注目している被写体画像から遠い位置に表示される観察者の目に負担をかける被写体画像は、観察者の注意を引きにくいことからぼかし加工の度合いを小さくすることができる。以上により、品位を保ったまま、観察者の目の負担を軽減する３Ｄ画像を出力することができる。
【００２４】
上記３Ｄ画像処理装置（１００）はさらに顔領域検出部（１６０）を備え、前記顔領域検出部（１６０）は、前記第１の画像データ及び前記第２の画像データのそれぞれから顔画像データを含む画像データの領域を顔領域として検出し、前記注目領域特定部（１３３）は、少なくとも前記顔領域検出部が検出した前記顔領域に基づいて注目領域を特定するようにしても良い。
【００２５】
人物が被写体として画像中に含まれている場合、観察者はその人物画像に注目することが多い。以上のようにすることで、注目領域特定部（１３３）は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める人物の顔画像データの領域を特定することができる。
【００２６】
上記３Ｄ画像処理装置（１００）はさらに合焦領域検出部（１７０）を備え、前記合焦領域検出部（１７０）は、前記第１の画像データ及び前記第２の画像データのそれぞれから合焦している画像データの領域を合焦領域として検出し、前記注目領域特定部（１３３）は、少なくとも前記合焦領域検出部（１７０）が検出した前記合焦領域に基づいて注目領域を特定するようにしてもよい。
【００２７】
観察者は、左眼用画像データ及び右眼用画像データが取得（撮影）される際に、ピントがあっている被写体画像を注目することも多い。以上のようにすることで、注目領域特定部（１３３）は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める合焦領域を特定することができる。
【００２８】
前記注目領域特定部（１３３）は、前記視差算出部（１３１）が算出した前記視差から、前記第１の画像データと前記第２の画像データの視差がゼロとなっている画像データの領域を、前記第１の画像データと前記第２の画像データのそれぞれから特定し、それらの領域を注目領域として特定するようにしても良い。
【００２９】
観察者は３Ｄ画像を観察する際に、左眼用画像と右眼用画像の視差がゼロとなっている、いわゆる輻輳領域にある画像に注目することもある。以上のようにすることで、注目領域特定部（１３３）は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める輻輳領域にある画像データを特定することができる。
【００３０】
さらに、上述の課題を解決するために、本発明は、第１の撮像部（Ｌ２００）が取得した第１の画像データと、第２の撮像部（Ｒ２００）が取得した第２の画像データとにおける同一の被写体画像データの視差を算出する視差算出部（１３１）と、前記視差算出部（１３１）が算出した前記視差から、所定の大きさの視差を有する画像データの領域を視差過剰領域として、前記第１の画像データと前記第２の画像データのそれぞれから検出する視差過剰領域検出部（１３２）と、前記視差過剰領域検出部（１３２）が前記視差過剰領域を検出した場合に、前記記憶部が記憶した前記第１の画像データ及び前記第２の画像データにぼかし加工を施す画像ぼかし部（１４０）と、前記画像ぼかし部（１４０）がぼかし加工を施した前記第１の画像データ及び前記第２の画像データを表示する表示部（２１６）とを備えることを特徴とする３Ｄ画像撮像装置（２００）を提供する。
【００３１】
本発明に係る３Ｄ画像撮像装置によれば、観察者の目に負担をかけるような視差を有する被写体画像が撮像された場合は、３Ｄ画像にぼかし加工を施して、その３Ｄ画像を表示することができる。従って、撮像者が撮像の際に撮像画像を表示部（２００）を確認しているような場合でも、処理負担を抑え、速やかに観察者の目の負担等を軽減し、健全で品質の高い３Ｄ画像を生成し表示することができる。
【００３２】
上記３Ｄ画像撮像装置（２００）の備える前記画像ぼかし部（１４０）は、前記視差過剰領域検出部（１３２）が検出した前記過剰視差領域にぼかし加工を施すようにしても良い。
【００３３】
これにより、観察者の目に負担をかけるような視差を有する被写体画像を表示する際の情報量を減らすことができ、撮像者が撮像の際に撮像画像を表示部（２００）を確認しているような場合でも、速やかに観察者の目の負担等を軽減し、健全で品質の高い３Ｄ画像の表示を行うことができる。
【００３４】
上記３Ｄ画像撮像装置（２００）はさらに注目領域特定部（１３３）を備え、前記注目領域特定部（１３３）は、前記第１の画像データ及び前記第２の画像データから観察者の注目を集める画像データの領域を注目領域として特定し、前記画像ぼかし部（１４０）は、前記注目領域特定部（１３３）が特定した前記注目領域からの画像内での距離が大きくなるにつれてぼかし加工の度合いが大きくなるように前記第１の画像データ及び前記第２の画像データにぼかし加工を施すようにしても良い。
【００３５】
これにより、観察者の目に負担をかけるような視差を有する被写体画像が撮像された場合に、観察者が注目する被写体画像をある程度鮮明としたまま、３Ｄ画像全体にぼかし加工を施すことができる。従って、撮像者が撮像の際に撮像画像を表示部（２００）を確認しているような場合でも、処理負担を抑え、速やかに観察者の目の負担等を軽減し、健全で品質の高い３Ｄ画像を生成し表示することができる。
【００３６】
上記３Ｄ画像撮像装置（２００）はさらに注目領域特定部（１３３）を備え、前記注目領域特定部（１３３）は、前記第１の画像データ及び前記第２の画像データから観察者の注目を集める画像データの領域を注目領域として特定し、前記画像ぼかし部（１４０）は、前記注目領域特定部（１３３）が特定した前記注目領域と前記視差過剰領域検出部（１３２）が検出した視差過剰領域との画像内における距離が大きくなるにつれてぼかし加工の度合いが小さくなるように前記過剰視差領域にぼかし加工を施すようにしても良い。
【００３７】
これにより、観察者の目に負担をかけるような視差を有する被写体画像が撮像された場合に、観察者が注目する被写体画像との画像内における距離に応じて、その観察者の目に負担をかける被写体画像に施すぼかし加工の度合いを変更することができる。従って、観察者が注目している被写体画像に近い位置に表示される観察者の目に負担をかける被写体画像は、観察者の注意を引きやすいためぼかし加工の度合いを大きくし、逆に、観察者が注目している被写体画像から遠い位置に表示される観察者の目に負担をかける被写体画像は、観察者の注意を引きにくいことからぼかし加工の度合いを小さくすることができる。以上により、撮像者が撮像の際に撮像画像を表示部（２００）を確認しているような場合でも、速やかに品位を保ったまま、観察者の目の負担を軽減する３Ｄ画像を出力することができる。
【００３８】
上記３Ｄ画像撮像装置（２００）はさらに顔領域検出部（１６０）を備え、前記顔領域検出部（１６０）は、前記第１の画像データ及び前記第２の画像データのそれぞれから顔画像データを含む画像データの領域を顔領域として検出し、前記注目領域特定部（１３３）は、少なくとも前記顔領域検出部（１６０）が検出した前記顔領域に基づいて注目領域を特定するようにしても良い。
【００３９】
人物を被写体として撮像を行った場合、撮像画像の観察者はその人物画像に注目することが多い。以上のようにすることで、注目領域特定部（１３３）は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める人物の顔画像データの領域を特定することができる。
【００４０】
上記３Ｄ画像撮像装置（２００）はさらに合焦領域検出部（１７０）を備え、前記合焦領域検出部（１７０）は、前記第１の画像データ及び前記第２の画像データのそれぞれから合焦している画像データの領域を合焦領域として検出し、前記注目領域特定部（１３３）は、少なくとも前記合焦領域検出部（１７０）が検出した前記合焦領域に基づいて注目領域を特定するようにしても良い。
【００４１】
観察者は、左眼用画像データ及び右眼用画像データが撮像される際に、ピントがあっている被写体画像を注目することも多い。以上のようにすることで、注目領域特定部（１３３）は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める合焦領域を特定することができる。
【００４２】
上記３Ｄ画像撮像装置の備える前記注目領域特定部（１３３）は、前記視差算出部（１３１）が算出した前記視差から、前記第１の画像データと前記第２の画像データの視差がゼロとなっている画像データの領域を、前記第１の画像データと前記第２の画像データのそれぞれから特定し、それらの領域を注目領域として特定するようにしてもよい。
【００４３】
観察者は３Ｄ画像を観察する際に、左眼用画像と右眼用画像の視差がゼロとなっている、いわゆる輻輳点周辺にある画像に注目することもある。以上のようにすることで、注目領域特定部（１３３）は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める輻輳点周辺にある画像データを特定することができる。
【００４４】
さらに上述の課題を解決するため、本発明は、第１の画像データと第２の画像データの視差を算出させ、算出された前記視差から、所定の大きさの視差を有する画像データの領域を視差過剰領域として、前記第１の画像データと前記第２の画像データのそれぞれから検出させ、前記視差過剰領域が検出された場合に、前記第１の画像データ及び前記第２の画像データにぼかし加工を施させ、ぼかし加工が施された前記第１の画像データ及び前記第２の画像データを出力させる処理をコンピュータに実行させるプログラムを提供する。
【図面の簡単な説明】
【００４５】
【図１】本発明の実施形態に係る３Ｄ画像処理装置１００の内部構成の例を示すブロック図である。
【図２】図２は、互いに視差を有する２つの画像を撮影している様子を模式的に示した図である。
【図３】撮像装置Ｌ２０が取得した左眼用画像データＰＬ２０及び撮像装置Ｌ２０が取得した右眼用画像データＰＲ２０の概念図である。
【図４】被写体画像の視差と、その被写体画像の表示面に対する前方への飛び出し又は後方への引き込み等の関係を示す概念図である。
【図５】３Ｄ画像処理装置１００又は３Ｄ画像撮像装置２００による第１のぼかし加工処理のフローチャートである。
【図６】平均化フィルタによるぼかし加工について説明するための図である。
【図７】３Ｄ画像処理装置１００又は３Ｄ画像撮像装置２００による第２のぼかし加工処理のフローチャートである。
【図８】注目領域特定部１３３による観察者が注目すると推測される画像領域である注目領域の特定処理のフローチャートである。
【図９】距離算出部１３４による注目領域と過剰視差領域との間の距離の算出を説明するための概念図である。
【図１０】３Ｄ画像処理装置１００又は３Ｄ画像撮像装置２００による第３のぼかし加工処理のフローチャートである。
【図１１】本発明の第２の実施形態に係る３Ｄ画像撮像装置の内部構成の例を示すブロック図である。
【図１２】液晶モニタ２１６の水平方向の切断面図である。
【図１３】観察者が液晶モニタ２１６に表示される左眼用画像及び右眼用画像を３Ｄ画像として認識する模様を説明するための概念図である。
【００４６】
図２は、左眼用画像データを取得（撮像）する撮像装置Ｌ２０及び右眼用画像データを取得（撮像）する撮像装置Ｒ２０が、被写体２０、被写体２１、及び被写体２２を撮像している様子を模式的に示した図である。
【発明を実施するための形態】
【００４７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００４８】
（第１の実施形態：３Ｄ画像処理装置）
図１は、本発明の実施形態に係る３Ｄ画像処理装置１００の内部構成の例を示すブロック図である。図１では、処理信号が実線で、データの流れが破線で示されている。
【００４９】
図１に示すように、３Ｄ画像処理装置１００は、画像入力部１１０、記憶部１２０、中央制御部１３０、画像ぼかし部１４０、画像出力部１５０、顔領域検出部１６０、及び合焦領域検出部１７０を含んで構成される。中央制御部１３０はＣＰＵ、各種プログラムが格納されたＲＯＭ（Read Only Memory）、及びワークエリアとしてのＲＡＭ（Random Access Memory）等を含む半導体集積回路により構成され、各部を統括的に制御する。さらに、中央制御部１３０は後述する左眼用画像データ及び右眼用画像データへのぼかし加工処理において、視差算出部１３１、視差過剰領域検出部１３２、注目領域特定部１３３、距離算出部１３４としても機能する。
【００５０】
図１を参照して、３Ｄ画像データを構成する左眼用画像データ及び右眼用画像データの流れについて、以下に説明する。
【００５１】
図示しないＤＶＤ、ＢＤ（Blu-ray Disc）、若しくはフラッシュメモリ等の各種記録媒体、又は外部の撮像装置や撮像部等から、左眼用画像データ及び右眼用画像データが画像入力部１１０に入力される。画像入力部１１０としては、例えばＨＤＭＩ（High-Definition Multimedia Interface）端子、ＵＳＢ（Universal Serial Bus）端子、ＩＥＥＥ １３９４規格に準拠した各種入力端子等で構成される。
【００５２】
画像入力部１１０を介して入力された左眼用画像データ及び右眼用画像データは、記憶部１２０に引き渡され、その記憶部１２０内で一時的に記憶される。記憶部１２０は、例えばＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable PROM）、不揮発性ＲＡＭ、フラッシュメモリ、又はＨＤＤ（Hard Disk Drive）等の記憶媒体で構成される。
【００５３】
画像ぼかし部１４０は、記憶部１２０に一時記憶された左眼用画像データ及び右眼用画像データ中に、観察者の目に負担をかけるような視差を有する被写体画像が検出された場合は、ぼかし加工を左眼用画像データ及び右眼用画像データに施す。ぼかし加工を施す方法としては、既知のさまざまなものが適用されうるが、例えば平均化フィルタを利用した方法が適用される。
【００５４】
画像ぼかし部１４０がぼかし加工を施した左眼用画像データ及び右眼用画像データは、画像出力部１５０を介して、図示しない外部のディスプレイ装置や、３Ｄ画像処理装置１００が備える図示しないモニタ部等に出力される。画像出力部１４０は、画像入力部１１０と同様に、ＨＤＭＩ（High-Definition Multimedia Interface）端子、ＵＳＢ（Universal Serial Bus）端子、ＩＥＥＥ １３９４規格に準拠した各種出力端子等で構成される。なお、画像入力部１１０と画像出力部１５０を、同一のＨＤＭＩ端子で構成する等、物理的に一つの入出力端子としてよいことは言うまでもない。
【００５５】
次に、中央制御部１３０等による、左眼用画像データ及び右眼用画像データにぼかし加工が施される際の各構成部材の処理について説明する。
【００５６】
視差算出部１３１は、記憶部１２０に一時記憶された左眼用画像データ及び右眼用画像データから、両画像データにおける各被写体画像データ間の水平方向の視差（以下、単に「視差」ということもある。）を算出する。視差算出部１３１による視差の算出は既知の様々な方法で行うことができるが、例えばＭＰＥＧにおける同一の被写体がフレーム間でどれだけ動いたかを特定する、いわゆる動きベクトルを算出するアルゴリズムを応用した方法により、左眼用撮影画像データの各被写体画像データと右眼用撮影画像データの各被写体画像データの差分ベクトルを算出する方法を使用する。
【００５７】
動画圧縮技術であるＭＰＥＧにおいては、ブロックマッチングに基づいて動きベクトルを検出するアルゴリズムが用いられる。ここで、動きベクトルとは２つのフレームデータ間における同一被写体の変位をベクトルで表したものである。現在のフレームデータと過去のフレームデータとを比較し、同一の大きさで最も類似したブロックをそれぞれから抽出し、両者の位置関係から動きベクトルを算出する。
【００５８】
視差算出部１３１は、上記動きベクトル算出のアルゴリズムを利用して、左眼用撮影画像データ及び右眼用撮影画像データにおける同一被写体画像データを特定し、その同一被写体画像データについて、対応する画素を左眼用撮影画像データ及び右眼用撮影画像データから抽出し、それらの差分ベクトルを左眼用撮影画像データ及び右眼用撮影画像データにおける被写体画像データの視差として算出する。
【００５９】
視差算出部１３１による左眼用画像データと右眼用画像データとの間の視差の算出、すなわち差分ベクトルの算出について、図２及び図３を参照して詳細に説明する。図２は、左眼用画像及び右眼用画像として、互いに視差を有する２つの画像を撮影している様子を模式的に示した図であり、図３は図２で撮影された左眼用画像データ及び右眼用画像データを概念的に示した図である。
【００６０】
図２は、左眼用画像データを取得（撮像）する撮像装置Ｌ２０及び右眼用画像データを取得（撮像）する撮像装置Ｒ２０が、被写体２０、被写体２１、及び被写体２２を撮像している様子を模式的に示した図である。図２において、被写体２０は、撮像装置Ｌ２０に対しては画角ＶＬ２０で決定される撮像領域のほぼ右端に位置しており、撮像装置Ｒ２０に対しては光軸ＡＲ２０のやや右に位置している。被写体画像２１は、撮像装置Ｌ２０の光軸ＡＬ２０と撮像装置Ｒ２０の光軸ＡＲ２０の交わる点、いわゆる輻輳点に位置している。被写体２２は、撮像装置Ｌ２０に対しては画角ＶＬ２０で決定される撮像領域のほぼ左端に位置しており、撮像装置Ｒ２０に対しては光軸ＡＲ２０と、画角ＶＲ２０で決定される撮像領域の左端とのほぼ中央に位置している。
【００６１】
図２において、撮像装置Ｌ２０が取得した左眼用画像データＰＬ２０及び撮像装置Ｌ２０が取得した右眼用画像データＰＲ２０の概念図を図３に示す。左眼用画像ＰＬ２０中の被写体画像ＯＰＬ２０の画素ＰＢＬ２０と、対応する右眼用画像ＰＲ２０中の被写体画像ＯＰＬ２０中の画素ＰＢＲ２０との差分ベクトルＶ２０の大きさが、視差として算出されることになる。同様に、被写体画像ＯＰＬ２２の画素ＰＢＬ２２と、対応する被写体画像ＯＰＬ２２中の画素ＰＢＲ２２との差分ベクトルＶ２２の大きさが、視差として算出されることになる。なお、被写体画像ＯＰＬ２１の画素ＰＢＬ２１と、対応する被写体画像ＯＰＬ２１中の画素ＰＢＲ２１とは、水平方向の位置が一致していることから、差分ベクトルＶ２１がゼロ、つまり視差がゼロとして算出される。
【００６２】
視差過剰領域検出部１３２は、視差算出部１３１が算出した視差から所定の閾値を上回る領域を、観察者の目に負担をかけるような視差を有する領域、つまり過剰視差を有する領域として検出する。
【００６３】
ここで、図４を参照して、ディスプレイ等の表示面に表示される左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の飛び出し又は引き込みの度合い等を説明する。図４は左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の表示面に対する前方への飛び出し又は後方への引き込み等の関係を示す概念図である。
【００６４】
図４において、３Ｄ画像処理装置１００の画像出力部１５０から出力された、左眼用画像データ及び右眼用画像データを表示する外部ディスプレイ装置等の表示面をＤＰ４０、観察者の左眼をＬＥ４０、観察者の右眼をＲＥ４０、及び観察者と表示面ＤＰ４０との間の距離をＤとする。
【００６５】
（前方へ飛び出しているかのように知覚される場合）
図４（ａ）において、表示面ＤＰ４０上の左眼用画像中の被写体画像の位置をＬf、右眼用画像中の被写体画像の位置をＲfとすると、観察者が左眼ＬＥ４０でＬf、右眼ＲＥ４０でＲfを観察した場合、被写体画像はＰfの位置で結像する。これにより観察者からは被写体画像が表示面ＤＰ４０に対して前方に飛び出しているかのように知覚されることになる。
【００６６】
ここで、観察者の左眼ＬＥ４０と右眼ＲＥ４０の距離をＥ、像ＬfとＲfの視差をＶfとすると、表示面ＤＰ４０から結像位置までの距離Ｚfは以下の式（１）の通りとなる。
【００６７】
【数１】
・・・（１）
【００６８】
ここで、観察者は被写体画像を表示面Ｄ４０とは異なる位置Ｐfで知覚することになる。一方で、観察者の目のピントは表示面ＤＰ４０にあっている。従って、この両者の乖離が大きいと、観察者の目に負担を与えたり、観察者に不快感を引き起こしたりするおそれがある。
【００６９】
上記観察者の左眼ＬＥ４０と右眼ＲＥ４０の距離Ｅを一般的な人の瞳孔間隔である６．５ｃｍとし、上記観察者から表示面ＤＰ４０までの視聴距離Ｄを標準観視距離である表示面の長辺の３倍距離とした場合に、観察者の眼に負担をかけず、快適に３Ｄ画像として認識できる左眼用画像と右眼用画像との間の視差量として、表示面の短辺（幅）の２．９％（視差角にして約１度）以下とすることが望ましい旨が報告されている（「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」 ３Ｄコンソーシアム安全ガイドライン部会発行 ２０１０年４月２０日改訂版）。
【００７０】
そこで、視差過剰領域検出部１３２は、Ｖfが以下の式（２）で表される閾値ＶＳfを上回る場合に、視差が過剰であると判断する。
【００７１】
【数２】
・・・（２）
【００７２】
そして、視差過剰領域検出部１３２は、閾値ＶＳfを上回る画素群を、過剰視差を有する領域として検出する。
【００７３】
例えば、図３における左眼用画像データＰＬ２０中の画素ＰＢＬ２０と右眼用画像データＰＲ２０中の画素ＰＢＲ２０との差分ベクトルＶ２０の大きさ、及び被写体画像ＯＰＬ２０及びＯＰＲ２０を構成する他の画素間の差分ベクトルが、上記式（２）で導き出される閾値ＶＳfを上回る場合は、被写体画像ＯＰＬ２０及びＯＯＲ２０を構成する領域は過剰視差を有する領域であると判断される。すなわち、図２の被写体２０の３Ｄ画像は前方に飛び出しすぎている画像として判断されることになる。
【００７４】
ここで、上記表示面の幅ＤＷには、３Ｄ画像処理装置１００の図示しない操作部からユーザが所有しているＴＶディスプレイ等の外部モニタの幅の大きさが入力され、その大きさの値を採用する。また、ユーザが３Ｄ画像処理装置１００の図示しない操作部を使用して、事前にその値や閾値ＶＳfを調整することでさらに好みの値として変更することができるようにしてもよい。
【００７５】
（表示面上にあるかのように知覚される場合）
図４（ｂ）において、表示面ＤＰ４０上の左眼用画像中の被写体の位置と、右眼用画像中の被写体の位置が同一となった場合、被写体画像は表示面Ｄ４０上のＰcの位置で結像する。これにより観察者からは被写体画像が表示面ＤＰ４０上にあるかのように知覚されることになる。
【００７６】
例えば、図３の左眼用画像データＰＬ２０中の画素ＰＢＬ２１と右眼用画像データＰＲ２０中の画素ＰＢＲ２１との差分ベクトルＶ２１はゼロとなり、表示面上では同じ位置に表示されることになる。従って、図２の被写体２１は、３Ｄ画像では丁度表示上にあるかのように知覚されることになる。
【００７７】
（後方へ引き込んでいるかのように知覚される場合）
図４（ｃ）において、表示面ＤＰ４０上の左眼用画像中の被写体画像の位置をＬb、右眼用画像中の被写体画像の位置をＲbとすると、観察者が左眼ＬＥ４０でＬb、右眼ＲＥ４０でＲbを観察した場合、被写体はＰbの位置で結像する。これにより観察者からは被写体画像が表示面ＤＰ４０に対して後方に引き込んでいるかのように知覚されることになる。
【００７８】
ここで、観察者の左眼ＬＥ４０と右眼ＲＥ４０の距離をＥ、像ＬbとＲbの視差をＶbとすると、表示面ＤＰ４０から結像位置までの距離Ｚbは以下の式（３）の通りとなる。
【００７９】
【数３】
・・・（３）
【００８０】
ここで、被写体画像が後方に引き込んでいるかのように知覚される場合においても、観察者が被写体画像を表示面Ｄ４０とは異なる位置Ｐbで知覚することになるのは、前方に飛び出しているかのように知覚される場合と同様である。従って、前方に飛び出しているかのように知覚される場合と同様に、観察者の目に負担を与えたり、観察者に不快感を引き起こしたりするおそれがある。
【００８１】
そこで、視差過剰領域検出部１３２は、Ｖbが以下の式（４）で表される閾値ＶＳbを上回る場合に、視差が過剰になっていると判断する。
【００８２】
【数４】
・・・（４）
【００８３】
そして、視差過剰領域検出部１３２は、閾値ＶＳbを上回る画素群を、過剰視差を有する領域として検出する。
【００８４】
例えば、図３の左眼用画像データＰＬ２０中の画素ＰＢＬ２２と右眼用画像データＰＲ２０中の画素ＰＢＲ２２との差分ベクトルＶ２２の大きさ、及び被写体画像ＯＰＬ２２及びＯＰＲ２２を構成する他の画素間の差分ベクトルが、上記式（４）で導き出される閾値ＶＳbを上回る場合は、図２の被写体２２の３Ｄ画像は後方に引き込みすぎている画像として判断されることになる。
【００８５】
ここで、上記表示面の幅ＤＷには、３Ｄ画像処理装置１００の図示しない操作部からユーザが所有しているＴＶディスプレイ等の外部モニタの幅の大きさが入力され、その大きさの値を採用するのは、上記前方に飛び出しているかのように知覚される場合と同様である。また、ユーザが３Ｄ画像処理装置１００の図示しない操作部を使用して、事前にその値や閾値ＶＳbを調整することでさらに好みの値として変更することができるようにしてもよく、その値を前方に飛び出しているかのように知覚される場合と異なる値に設定してもよい。
【００８６】
また、表示面から後方に引き込んでいるかのように知覚される３Ｄ画像では、表示面上における水平方向の視差が５ｃｍを超えないようにすることが望ましい旨が方向されている（「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」 ３Ｄコンソーシアム安全ガイドライン部会発行 ２０１０年４月２０日改訂版）。人の両眼は外側には開かないことから、両眼の瞳孔間隔以上に離れた被写体を左眼及び右眼でそれぞれ独立して観察することは、観察者の目により大きな負担をかけるおそれがあるためである。
【００８７】
そこで、上記式（４）で導き出されるＶＳbを５ｃｍに設定しても良い。ＶＳbが５ｃｍ以上かどうかの判定及び、５ｃｍとする設定は、予め設定又は入力されているＤＷの値から５ｃｍ相当のピクセル数を算出することで行われる。
【００８８】
以上のようにして、視差過剰領域検出部１３２が、閾値ＶＳf又はＶＳbを上回る画素群を、過剰視差を有する領域として検出すると、画像ぼかし部１４０は、平均化フィルタに基づく処理により、ぼかし加工を左眼用画像データ及び右眼用画像データに施す。
【００８９】
画像ぼかし部１４０は、ぼかし加工を施す際に、表示画面上における観察者が注目している被写体画像（領域）と過剰視差を有する領域との画像内における距離を考慮して、施されるぼかし加工の度合いを変更することもできる。例えば、観察者が注目している被写体画像に近い位置に表示される過剰視差を有する画像は、観察者の注意を引きやすいためぼかし加工の度合いを大きくする。逆に、観察者が注目している被写体画像から遠い位置に表示される過剰視差を有する画像は、観察者の注意を引きにくいことからぼかし加工の度合いを小さくする。以上により、３Ｄ画像処理装置１００は、過剰なぼかしを避けて、品位を保ったまま、観察者の目の負担を軽減する３Ｄ画像を表示することができる。
【００９０】
上述のように画像ぼかし部１４０がぼかし加工の度合いを変更する場合、中央制御部１３０は、観察者が注目する被写体画像が表示される領域（以下、「注目領域」という。）を特定する注目領域特定部１３３、及び注目領域と過剰視差を有する領域との画像内における距離を算出する距離算出部１３４として機能する。
【００９１】
注目領域特定部１３３は、注目領域を特定する。この注目領域の特定は、顔検出の対象となっている領域、合焦している領域、左眼用画像と右眼用画像との間の視差がゼロとなっている領域、及び表示画面の中央に位置する領域等を特定することで行われる。
【００９２】
顔領域検出部１６０は中央制御部１３０からの指示に応じて、記憶部１２０に一時記憶されている左眼用画像データ及び右眼用画像データから、顔画像データの領域を検出する。顔画像データの領域の検出は、顔画像データ全体の輪郭または目、口、鼻、耳等の顔の構成要素のデータから特徴量を算出し、その特徴量に基づくテンプレートマッチングによって行われる。または、肌の色に近い領域データを検出し、その領域を顔画像データの領域として検出してもよい。
【００９３】
顔領域検出部１６０は、顔画像データの領域を検出すると、その結果を中央制御部１３０に引き渡す。そして、注目領域特定部１３３は、その結果を注目領域の特定に使用する。人物が被写体として画像中に含まれている場合、観察者はその人物画像に注目することが多い。以上のようにすることで、注目領域特定部１３３は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める人物の顔画像データの領域を特定することができる。
【００９４】
合焦領域検出部１７０は中央制御部１３０からの指示に応じて、記憶部１２０に一時記憶されている左眼用画像データ及び右眼用画像データから、既知のコントラストを利用した手法により焦点の合っているデータの領域（以下、「合焦領域」という。）を検出する。すなわち、取得された画像データ中において、合焦している画像は、そのコントラストが最大となる。そして、コントラストは、画像データの高周波成分のエネルギーの大きさから評価することができる。従って、合焦領域検出部１７０は、左眼用画像データ及び右眼用画像データの高周波成分のエネルギーを評価し、各画像データ中の合焦領域の検出を行う。
【００９５】
合焦領域検出部１７０は、合焦領域を検出すると、その結果を中央制御部１３０に引き渡す。そして、注目領域特定部１３３は、その結果を注目領域の特定に使用する。観察者は、左眼用画像データ及び右眼用画像データが取得（撮影）される際に、ピントがあっている被写体画像を注目することも多い。以上のようにすることで、注目領域特定部１３３は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める合焦領域を特定することができる。
【００９６】
また、上述の視差算出部１３１は、左眼用画像データと右眼用画像データとの間の視差を算出し、その視差がゼロとなっている領域を検出することもできる。この場合、注目領域特定部１３３は、視差算出部１３１が検出した左眼用画像データと右眼用画像データの視差がゼロとなる領域を、注目領域の特定に使用する。観察者は３Ｄ画像を観察する際に、左眼用画像と右眼用画像の視差がゼロとなっている、いわゆる輻輳点周辺にある画像に注目することもある。以上のようにすることで、注目領域特定部１３３は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集める輻輳点周辺にある画像データを特定することができる。
【００９７】
さらに、注目領域特定部１３３は、左眼用画像データの中央、及び右眼用画像データの中央の領域を、注目領域の特定に利用することもできる。左眼用画像データ及び右眼用画像データが取得（撮影）される際に、中心となる被写体を画像の中央になるように配置することも多い。従って、以上のようにすることで、注目領域特定部１３３は、左眼用画像データ及び右眼用画像データ中から、観察者の注目を集めるとして、各画像の中央に配置されている被写体画像データを特定することもできる。
【００９８】
距離算出部１３４は、注目領域と過剰視差を有する領域との画像内における距離を算出する。この距離の算出は、注目領域の所定の画素の座標から代表座標を特定し、過剰視差を有する領域を構成する各画素の座標との距離を算出することで行われる。
【００９９】
（３Ｄ画像のぼかし加工処理）
続いて、本発明に係る３Ｄ画像にぼかし加工を施す３Ｄ画像処理（方法）について、観察者の目に負担をかける画像領域にぼかし加工を施す処理、注目領域との画像内における距離を考慮して観察者の目に負担をかける画像領域にぼかし加工を施す処理、及び注目領域を特定し３Ｄ画像全体にぼかし加工を施す処理とを、それぞれ第１乃至第３のぼかし加工処理として、３Ｄ画像処理装置１００の動作例をもとに、以下に順に詳述する。なお、３Ｄ画像処理装置１００が第１乃至第３のぼかし加工処理の何れを行うかは、ユーザが選択して決定することができる。
【０１００】
（第１のぼかし加工処理）
まず、図５のフローチャートを参照し、第１のぼかし加工処理として、観察者の目に負担とかける画像領域にぼかし加工を施す処理について説明する。
【０１０１】
左眼用画像データ及び右眼用画像データが画像入力部１１０に入力されると、３Ｄ画像処理装置１００は、この処理を開始する。左眼用画像データ及び右眼用画像データが、画像入力部１１０を介して、記憶部１２０に一時記憶される（ステップＳ１０１）。ステップＳ１０１で左眼用画像データ及び右眼用画像データが一時記憶されると、視差算出部１３１が左眼用画像データと右眼用画像データとの間の差分ベクトルを視差として算出する（ステップＳ１０２）。
【０１０２】
ステップＳ１０２で左眼用画像データと右眼用画像データとの間の視差が算出されると、視差過剰領域検出部１３２が上述の方法により、過剰視差を有する領域の検出を行う（ステップＳ１０３）。
【０１０３】
過剰視差を有する領域が検出された場合（ステップＳ１０３でＹＥＳ）、画像ぼかし部１４０が検出された過剰視差を有する領域にぼかし加工を施す（ステップＳ１０４）。このぼかし加工は具体的には、以下のようにして施される。
【０１０４】
図６に、平均化フィルタによるぼかし加工について説明するための図を示す。視差過剰領域検出部１３２が、左眼用画像データ中及び右眼用画像データ中のそれぞれから、互いに過剰な視差を有する画素を検出する。図６では、左眼用画像データ（又は右眼用画像データ）中で特定された画素の値をｆ（ｘ，ｙ）とする。
【０１０５】
画像ぼかし部１４０は、そのｆ（ｘ，ｙ）を中心として、Ｎ×Ｎの近傍画素領域を特定する。図６では、Ｎを３として近傍画素領域ＰＡ６を例に説明する。近傍画素領域ＰＡ６が特定されると、近傍画素領域に含まれる全画素の値の平均をとる平均化フィルタＡＦ６を適用した画素の値ｆ’（ｘ，ｙ）を以下の式（５）から算出し、上記特定された画素の値として採用する。
【０１０６】
【数５】
・・・（５）
【０１０７】
以上のようにして、画像ぼかし部１４０は、視差過剰領域検出部１３２が検出した過剰視差を有する領域の各画素について、以下の式（６）で表されるＮ×Ｎの平均化フィルタ処理を適用する。
【０１０８】
【数６】
・・・（６）
【０１０９】
なお、上記式（６）のＮの値は、予め設定されており中央制御部１３０のＲＯＭに記録されているようにしても良いし、ユーザが図示しない操作部を使用して好みの値を設定し、好みのぼけ具合に設定できるようにしてもよい。なお、Ｎの値が大きくなるほど、ぼかしの度合いが大きくなる。
【０１１０】
ステップＳ１０４で、過剰視差を有する領域にぼかし加工が施されると、画像出力部１５０は、そのぼかし加工が施された左眼用画像データ及び右眼用画像データを図示しない外部のディスプレイ装置や３Ｄ画像処理装置１００が備える図示しないモニタ部等に出力し（ステップＳ１０５）、この処理を完了する。また、過剰視差を有する領域が検出されなかった場合（ステップＳ１０３でＮＯ）、ぼかし加工を施さずに左眼用画像データ及び右眼用画像データを図示しない外部のディスプレイ装置や３Ｄ画像処理装置１００が備える図示しないモニタ部等に出力し（ステップＳ１０５）、３Ｄ画像処理装置１００はこの処理を完了する。
【０１１１】
以上のように、３Ｄ画像処理装置１００によれば、３Ｄ画像に観察者の目に負担をかける画像領域が含まれる場合は、その画像領域にぼかし加工を施して出力することで、その画像領域に存在する被写体画像をぼかして表示することができる。これにより、観察者の目に負担をかける被写体画像の表示情報量が抑えられ、観察者の負担を軽減することが可能となる。
【０１１２】
（第２のぼかし加工処理）
次に、図７のフローチャートを参照し、注目領域との画像内における距離を考慮して観察者の目に負担をかける画像領域にぼかし加工を施す、第２のぼかし加工処理について説明する。
【０１１３】
左眼用画像データ及び右眼用画像データが画像入力部１１０に入力されると、３Ｄ画像処理装置１００は、この処理を開始する。左眼用画像データ及び右眼用画像データが、画像入力部１１０を介して、記憶部１２０に一時記憶される（ステップＳ２０１）。ステップＳ１０１で左眼用画像データ及び右眼用画像データが一時記憶されると、視差算出部１３１が左眼用画像データと右眼用画像データとの間の差分ベクトルを視差として算出する（ステップＳ２０２）。
【０１１４】
ステップＳ２０２で左眼用画像データと右眼用画像データとの間の視差が算出されると、視差過剰領域検出部１３２が上述の方法により、過剰視差を有する領域の検出を行う（ステップＳ２０３）。
【０１１５】
過剰視差を有する領域が検出された場合（ステップＳ２０３でＹＥＳ）、注目領域特定部１３３は、観察者が注目すると推測される画像領域である注目領域を左眼用画像データ及び右眼用画像データから特定する（ステップＳ２０４）。この注目領域の特定は、例えば図８に示したフローチャートの順に行われる。
【０１１６】
注目領域特定部１３３は、まず左眼用画像データ及び右眼用画像データ中に所定の大きさを有する顔画像データの領域が検出されるかどうかを判定する（ステップＳ３０１）。顔領域検出部１６０が左眼用画像データ及び右眼用画像データから同一の人物の顔画像データの領域を検出し、その検出された顔画像データの領域が所定の大きさを有する旨の判定がなされた場合（ステップＳ３０１でＹＥＳ）、注目領域特定部１３３はそれら顔画像データの領域を注目領域として特定する（ステップＳ３０２）。所定の大きさ以上で撮影されている人物画像は、その画像中の主な被写体画像として撮影されていると推測されるためである。
【０１１７】
顔領域検出部１６０が左眼用画像データ及び右眼用画像データから同一の人物の顔画像データの領域を検出せず、または検出された顔画像データの領域が所定の大きさを有する旨の判定がなされなかった場合（ステップＳ３０１でＮＯ）、注目領域特定部１３３は、次に左眼用画像データ及び右眼用画像データ中に所定の大きさを有する合焦領域が検出されるかどうかを判定する（ステップＳ３０３）。
【０１１８】
合焦領域検出部１７０が左眼用画像データ及び右眼用画像データから合焦領域を検出し、その検出された合焦領域が所定の大きさを有する旨の判定がなされた場合（ステップＳ３０３でＹＥＳ）、注目領域特定部１３３はそれら合焦領域を注目領域として特定する（ステップＳ３０４）。所定の大きさ以上で撮影等された合焦画像は、観察者の注意を引きやすいと推測されるためである。
【０１１９】
合焦領域検出部１７０が左眼用画像データ及び右眼用画像データから合焦領域を検出せず、または検出された合焦領域が所定の大きさを有する旨の判定がなされなかった場合（ステップＳ３０３でＮＯ）、注目領域特定部１３３は、次に左眼用画像データ及び右眼用画像データ中に所定の大きさを有する、視差がゼロとなる領域が検出されるかどうかを判定する（ステップＳ３０５）。
【０１２０】
視差算出部１３１が左眼用画像データと右眼用画像データとの間の視差がゼロとなる領域を検出し、その検出された視差がゼロとなる領域が所定の大きさを有する旨の判定がなされた場合（ステップＳ３０５でＹＥＳ）、注目領域特定部１３３はそれら視差がゼロとなる領域を注目領域として特定する（ステップＳ３０６）。３Ｄ画像中において丁度表示画面上にあるかのように認識される被写体画像が所定の大きさを有し、他の被写体画像が過剰な視差を有する画像である場合等は、その表示画面上にあるかのように認識される被写体画像が注目されるとも推測できるためである。
【０１２１】
視差算出部１３１が視差がゼロとなる領域を検出せず、または検出された領域が所定の大きさを有していない旨の判定がなされた場合（ステップＳ３０５でＮＯ）、注目領域特定部１３３は、左眼用画像及び右眼用画像の中央の所定の大きさの領域を、観察者が注目する領域として特定する（ステップＳ３０７）
【０１２２】
以上のようにして、注目領域特定部１３３は、観察者が注目すると推測される画像領域を左眼用画像データ及び右眼用画像データから特定する。なお、上述の特定方法は一例であり、顔検出の対象となっている領域、合焦している領域、及び左眼用画像と右眼用画像との間の視差がゼロとなっている領域の判定の順序を変更する、又はユーザが判定対象となる各領域のなかから選択した少なくとも一つを選択し、選択されたものを注目領域の特定に使用することができるようにしてもよい。また、上記は例示であり、観察者が注目すると推定できる領域であれば、上述した各領域以外の領域も注目領域の特定に用いることができる。
【０１２３】
また、判定に使用される各領域の所定の大きさは、例えば左眼用画像データ又は右眼用画像データそれぞれの２５％の大きさを予め設定された大きさとして中央制御部１３０のＲＯＭに設定し、使用することができる。また、ユーザが好みにあわせた大きさを各領域に別途設定することもできる。
【０１２４】
図７に戻り、ステップＳ２０４で注目領域特定部１３３が注目領域を特定すると、距離算出部１３４は特定された注目領域と、ステップＳ２０３で検出された過剰視差を有する領域との画像内における距離を算出する（ステップＳ２０５）。この距離の算出について、図９を参照して具体的に説明する。
【０１２５】
図９は、距離算出部１３４による注目領域と過剰視差領域との間の画像内における距離の算出を説明するための概念図である。図９では、左眼用画像データＰＬ２０中の被写体画像ＯＰＲ２０及び右眼用画像データＰＲ２０中の被写体画像ＯＰＲ２０が過剰な視差を有する画像領域として検出されている。また、左眼用画像データＰＬ２０中の画像領域ＧＡＬ９０及び右眼用画像データＰＲ２０中の画像領域ＧＡＲ９０が、顔画像の検出された注目領域としてそれぞれ特定されているものとする。
【０１２６】
距離算出部１３３は、注目領域特定部１３３が特定した注目領域から当該領域を代表する座標を特定する。例えば図９に示すように顔画像が検出された注目領域を矩形領域ＧＡＬ９０及びＧＡＲ９０としてそれぞれ特定し、それぞれの矩形領域の中心座標ＣＬ９０及びＣＲ９０を特定する。
【０１２７】
そして、距離算出部１３３は、左眼用画像データＰＬ２０においては、中心座標ＣＬ９０と画素ＰＢＬ２０との画像内における距離ＤＬを算出する。同様にして、視差過剰領域検出部１３２が検出した過剰視差を有する領域に含まれる各画素と中心座標ＣＬ２０との距離が算出される。
【０１２８】
左眼用画像データＰＲ２０においても同様に、中心座標ＣＲ９０と画素ＰＢＲ２０との画像内における距離ＤＲを算出する。同様にして、視差過剰領域検出部１３２が検出した過剰視差領域に含まれる各画素と中心座標ＣＲ２０との距離が算出される。
【０１２９】
以上のようにして、過剰な視差を有する被写体画像ＯＰＬ２０及びＯＰＲ２０のそれぞれを含む過剰視差を有する領域内の各画素と、注目領域との画像内における距離が算出される。
【０１３０】
図７に戻り、ステップＳ２０５で注目領域と過剰視差領域との画像内における距離が算出されると、画像ぼかし部１４０は算出された距離に応じて、過剰視差領域の画像にぼかし加工を施す（ステップＳ２０６）。
【０１３１】
施されるぼかし加工は、上述の図５におけるステップＳ１０４で述べたものと同様に、式（６）に基づく平均化フィルタにより実施されるが、この式（６）のＮを以下の式（７）に基づいて決定する。ここで、ＤMAXは、左眼用画像データ又は右眼用画像データの全領域の対角の距離であり、Ｄは左眼用画像データにおいては算出されたＤＬ、右眼用画像データにおいては算出されたＤＲである。
【０１３２】
【数７】
・・・（７）
【０１３３】
以上のようにすれば、過剰視差領域が注目領域に近いほどぼかしの度合いを大きくし、過剰視差領域が注目領域から遠いほどぼかしの度合いを小さくする加工を施すことができる。なお、式（７）のａの値は中央制御部１３０のＲＯＭに予め設定されている。またユーザはその値を変更することで、さらに好みのぼかし度合いとすることができる。
【０１３４】
ステップＳ２０６で、過剰視差領域にぼかし加工が施されると、画像出力部１５０は、そのぼかし加工が施された左眼用画像データ及び右眼用画像データを図示しない外部のディスプレイ装置や３Ｄ画像処理装置１００が備える図示しないモニタ部等に出力し（ステップＳ２０７）、この処理を完了する。また、過剰視差領域が検出されなかった場合（ステップＳ２０３でＮＯ）、ぼかし加工を施さずに左眼用画像データ及び右眼用画像データを図示しない外部のディスプレイ装置や３Ｄ画像処理装置１００が備える図示しないモニタ部等に出力し（ステップＳ２０７）、３Ｄ画像処理装置１００はこの処理を完了する。
【０１３５】
以上のように、３Ｄ画像処理装置１００によれば、３Ｄ画像に観察者の目に負担をかける画像領域が含まれる場合は、注目領域との画像内における距離に応じたぼかし加工をその画像領域に施して出力することができる。すなわち、観察者が注目している被写体画像に近い位置に表示される観察者の目に負担をかける被写体画像は、観察者の注意を引きやすいためぼかし加工の度合いを大きくし、逆に、観察者が注目している被写体画像から遠い位置に表示される観察者の目に負担をかける被写体画像は、観察者の注意を引きにくいことからぼかし加工の度合いを小さくすることができる。以上により、３Ｄ画像処理装置１００は、品位を保ったまま、観察者の目の負担を軽減する３Ｄ画像を出力することができる。
【０１３６】
（第３のぼかし加工処理）
次に、図１０のフローチャートを参照し、注目領域からの画像内における距離を考慮し３Ｄ画像全体にぼかし加工を施す第３のぼかし加工処理について説明する。
【０１３７】
左眼用画像データ及び右眼用画像データが画像入力部１１０に入力されると、３Ｄ画像処理装置１００は、この処理を開始する。左眼用画像データ及び右眼用画像データが、画像入力部１１０を介して、記憶部１２０に一時記憶される（ステップＳ４０１）。ステップＳ１０１で左眼用画像データ及び右眼用画像データが一時記憶されると、視差算出部１３１が左眼用画像データと右眼用画像データとの間の差分ベクトルを視差として算出する（ステップＳ４０２）。
【０１３８】
ステップＳ４０２で左眼用画像データと右眼用画像データとの間の視差が算出されると、視差過剰領域検出部１３２が上述の方法により、過剰視差を有する領域の検出を行う（ステップＳ４０３）。
【０１３９】
過剰視差領域が検出された場合（ステップＳ４０３でＹＥＳ）、注目領域特定部Ｓ２０４は、観察者が注目すると推測される画像領域を左眼用画像データ及び右眼用画像データから特定する（ステップＳ４０４）。この注目領域の特定は、上述の図７におけるステップＳ２０４で説明したものと同様の方法により行われる。
【０１４０】
ステップＳ４０４で注目領域特定部１３３が注目領域を特定すると、画像ぼかし部は、特定された注目領域との画像内における距離に応じて左眼用画像データ及び右眼用画像データの全体にぼかし加工を施す（ステップＳ２０５）。
【０１４１】
施されるぼかし加工は、上述の図５におけるステップＳ１０４で述べたものと同様に、式（６）に基づく平均化フィルタにより実施されるが、この式（６）のＮを以下の式（８）に基づいて決定する。
【０１４２】
【数８】
・・・（８）
【０１４３】
ここで式（８）におけるＤは、ステップＳ４０４で特定された注目領域の代表座標と、左眼用画像データ内又は右眼用画像データ内の各画素との距離である。また、式（８）のｂの値は中央制御部１３０のＲＯＭに予め設定されており、またユーザはその値を変更することで、さらに好みのぼかし度合いとすることができる。
【０１４４】
以上のようにすることで、画像ぼかし部１４０が注目領域を中心に、その注目画像領域からの画像内における距離に応じて徐々にぼかし加工の度合いを大きくしていくぼかし加工を施すことができる。
【０１４５】
ステップＳ４０５で、左眼用画像データ及び右眼用画像データの全体にぼかし加工が施されると、画像出力部１５０は、そのぼかし加工が施された左眼用画像データ及び右眼用画像データを図示しない外部のディスプレイ装置や３Ｄ画像処理装置１００が備える図示しないモニタ部等に出力し（ステップＳ４０６）、この処理を完了する。また、過剰視差領域が検出されなかった場合（ステップＳ４０３でＮＯ）、ぼかし加工の施されていない左眼用画像データ及び右眼用画像データを図示しない外部のディスプレイ装置や３Ｄ画像処理装置１００が備える図示しないモニタ部等に出力し（ステップＳ４０６）、３Ｄ画像処理装置１００はこの処理を完了する。
【０１４６】
以上のように、３Ｄ画像処理装置１００によれば、左眼用画像データと右眼用画像データとの間に過剰な視差を有する被写体画像データが含まれる場合は、注目されている被写体画像からの画像内における距離に応じてぼかし加工の度合いを変化させて、左眼用画像データ及び右眼用画像データの全体にぼかし加工を施すことができる。すなわち、観察者が注目している被写体画像に近い位置に表示される画像は、ぼかし加工の度合いを小さくし、逆に、観察者が注目している被写体画像から遠い位置に表示される画像は、ぼかし加工の度合いを大きくすることができる。以上により、３Ｄ画像処理装置１００は、観察者が注目する被写体画像やその付近の画像の鮮明さはある程度保しつつ、観察者の目の負担を軽減する３Ｄ画像を表示することができる。
【０１４７】
（第２の実施形態：３Ｄ画像撮像装置）
次に、本発明の第２の実施形態である３Ｄ画像撮像装置について説明する。デジタルビデオカメラ等の撮像装置では、撮像部が取得した撮影画像を、ユーザが、搭載された液晶モニタやビューファインダ等で確認しながら撮像することが多い。一方で、撮像対象となる被写体は撮像の最中に自由に動き回るため、不意に、液晶モニタ等で確認される撮像画像上で撮像者の目に負担等をかける被写体画像として撮像されてしまうことがありうる。
【０１４８】
このような場合、液晶モニタ等に表示される３Ｄ画像の左眼用画像と右眼用画像との間の視差の調整を素早く実施して、健全な３Ｄ画像となる調整を施す処理は大きな計算コスト等により装置に大きな負担をかける。
【０１４９】
そこで、第２の実施形態に係る撮像装置は、液晶モニタ上に表示される３Ｄ画像にぼかし加工を施すことで、処理コストを軽減し、撮像者の目に負担を掛けない３Ｄ画像を表示することができる。以下に、図１１を参照しながら、本実施形態に係る３Ｄ画像撮像装置について説明する。
【０１５０】
なお、本実施形態に係る撮像装置では二つの撮像部を有し、それぞれの光軸のなす輻輳角を調整できる構成としているが、両光軸が平行となるように固定され輻輳角を調整できない撮像装置においても本発明は採用できる。また、本発明は、撮像系を複数備えているものであれば、デジタルスチルカメラをはじめ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、撮影が可能なその他の電子機器においても採用することができる。また、複数のカメラを使用して３Ｄ画像を撮影する場合においても採用することができる。
【０１５１】
図１１は、本発明の第２の実施形態に係る３Ｄ画像撮像装置の内部構成の例を示すブロック図である。図１１では、処理信号が実線で、データの流れが破線で示されている。
【０１５２】
図１１に示すように、左眼用撮像部Ｌ２００、右眼用撮像部Ｒ２００、アナログ信号処理部Ｌ２０５及びＲ２０５、Ａ／Ｄ変換部Ｌ２０６及びＲ２０６、画像入力コントローラＬ２０７及びＲ２０７を含んでいる。また、それらの部材はバス２１０を解して、フラッシュＲＯＭ２１１、メディア制御部２１２、カードＩ／Ｆ２１３、及び入出力Ｉ／Ｆ２１５と相互に接続されている。
【０１５３】
中央制御部２３０は、ＣＰＵ、各種プログラムが格納されたＲＯＭ、及びワークエリアとしてのＲＡＭ等を含む半導体集積回路により構成され、撮像装置２００の撮像処理や画像表示等の各種処理を統括的に制御する。さらに中央制御部２３０は左眼用撮像部Ｌ２００が取得した左眼用撮像データ及び右眼用撮像部Ｒ２００が取得した右眼用撮像データへのぼかし加工処理において、視差算出部１３１、視差過剰領域検出部１３２、注目領域特定部１３３、距離算出部１３４としても機能する。なお、フラッシュＲＯＭ２１１は、ユーザの設定情報等、撮像装置２００の動作に関する各種設定情報を格納している。
【０１５４】
図１１を参照して、３Ｄ画像撮像装置２００により取得された左眼用画像データ及び右眼用画像データの流れについて、以下に説明する。
【０１５５】
撮像装置２００には、左右一対の左眼用画像撮像部Ｌ２００及び右眼用画像撮像部Ｒ２００が、人の眼の間隔より少し短い所定の間隔（例えば５ｃｍ）離れて設置されている。左眼用画像撮像部Ｌ２００及び右眼用画像撮像部Ｒ２００は、それぞれズームレンズＬ２０１及びＲ２０１、フォーカスレンズＬ２０２及びＲ２０２、絞りＬ２０３及びＲ２０３、並びに固体撮像素子Ｌ２０４及びＲ２０４を備える。
【０１５６】
ズームレンズＬ２０１及びＲ２０１は、図示しないズームアクチュエータによって光軸ＡＬ２００及びＡＲ２００に沿って移動する。フォーカスレンズＬ２０２及びＲ２０２は、図示しないフォーカスアクチュエータによって光軸ＡＬ２００及びＡＲ２００に沿って移動する。絞りＬ２０３及びＲ２０３は、図示しない絞りアクチュエータに駆動されて動作する。
【０１５７】
左眼用画像撮像部Ｌ２００及び右眼用撮像部Ｒ２００は図示しない輻輳角アクチュエータとそれぞれ接続されており、その輻輳角アクチュエータはＣＰＵ２３０から指令を受けて、両撮像部を駆動し、光軸ＡＬ２００とＡＲ２００とのなす輻輳角を調整する。
【０１５８】
左眼用の固体撮像素子Ｌ２０４及び右眼用の固体撮像素子Ｒ２０４がそれぞれ、左眼用画像撮像部Ｌ２００と右眼用撮像部Ｒ２００とを通過した光を光電変換して、左右それぞれの被写体のアナログ撮像信号を生成する。アナログ信号処理部Ｌ２０５及びＲ２０５が両アナログ撮像信号を増幅した後、Ａ／Ｄ変換器Ｌ２０６及びＲ２０６がその増幅された信号をデジタルの画像データに変換する。画像入力コントローラＬ２０７及びＲ２０７は、Ａ／Ｄ変換機Ｌ２０６及びＲ２０６から出力されたデジタルの画像データを取り込んで、それら画像データはバス２１０に入力され、バス２１０を介して記憶部１２０に一時記憶される。
【０１５９】
記憶部１２０は、３Ｄ画像処理装置と同様に、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、又はＨＤＤ等の記憶媒体で構成される。
【０１６０】
画像ぼかし部１４０は、記憶部１２０に一時記憶された左眼用画像データ及び右眼用画像データ中に、例えば、液晶モニタ２１６を通して撮像画像を確認する撮像者といった観察者の目に負担をかけるような視差を有する被写体画像が検出された場合は、ぼかし加工を左眼用画像データ及び右眼用画像データに施す。ぼかし加工を施す方法は、上述の３Ｄ画像処理装置１００と同様に、例えば平均化フィルタを利用した方法が使用される。
【０１６１】
画像ぼかし部１４０がぼかし加工を施した左眼用画像データ及び右眼用画像データは、バス２１０を介してカードＩ／Ｆ２１３に入力され、カードＩ／Ｆ２１３はそれらの画像データをカード型記録媒体２１４に出力する。カード型記録媒体２１４としては、撮像装置２００に着脱可能なＳＤ（Secure Digital）メモリカード等が使用される。但し、カード型記録媒体の替りに、ＤＶＤ、ＢＤ、若しくはフラッシュメモリ等の他の記録媒体を使用する、又は撮像装置２００に内臓されたＨＤＤ（Hard Disc Drive）等で構成することができることはいうまでもない。
【０１６２】
なお、メディア制御部２１２は、ＣＰＵ２３０からの指令に従い、カードＩ／Ｆ２１３を通じてカード型記録媒体２１４へのデータの書き込みやそれらからのデータの読み出しを制御する。
【０１６３】
また画像ぼかし部１４０がぼかし加工を施した左眼用画像データ及び右眼用画像データは、バス２１０を介して入出力Ｉ／Ｆ２１５に入力され、入出力Ｉ／Ｆはそれら画像データを液晶モニタ２１６又は入出力端子２１９に出力する。ここで、液晶モニタ２１６、スピーカ２１７、操作部２１８及び入出力端子２１９は入出力Ｉ／Ｆ２１５に接続されている。
【０１６４】
ここで、液晶モニタ２１６は３Ｄ画像を表示できる態様となっている。図１２は、液晶モニタ２１６の水平方向の切断面を示している。液晶モニタ２１６は、表示パネルの一例としての液晶パネルＭ１２と、液晶パネル１２の表示面に対向して配置された視差分割部の一例としての液晶バリアＭ１３とを備える。液晶パネルＭ１２と液晶バリアＭ１３は、粘着シートＭ１１により接着されている。
【０１６５】
液晶パネルＭ１２において、液晶層Ｍ１２２の両面は液晶ガラス基板Ｍ１２１、Ｍ１２３で挟まれ、表示面側の液晶ガラス基板Ｍ１２３にはカラーフィルタ（図示せず）が形成されている。カラーフィルタの主表面には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の異なる色の着色層がマトリックス状に配置されている。この着色層の配置が液晶パネル１２の色画素の配置に対応している。液晶ガラス基板Ｍ１２３の表示面側には液晶偏光板Ｍ１２４が積層されている。液晶ガラス基板Ｍ１２１の裏面側にはバックライト（図示せず）が配置されている。
【０１６６】
液晶バリアＭ１３は、視差バリア（パララックスバリア）の一例であって、パッシブ方式液晶やアクティブマトリックス方式液晶によって光を遮断するバリア部のパターンを形成することができる。液晶バリアＭ１３において、バリア液晶層Ｍ１３２の両面は液晶バリアガラス基板Ｍ１３１、Ｍ１３３で挟まれている。液晶バリアガラス基板Ｍ１３３の表示面側には液晶バリア偏光板Ｍ１３４が積層されている。バリア液晶層Ｍ１３２には、光を遮断するバリア部Ｍ１３２ａと光を透過するスリット部Ｍ１３２ｂとが交互に形成されている。
【０１６７】
図１３に示すように、観察者の右眼ＲＥ１２からスリット部Ｍ１３２ｂを通じて視認される液晶パネルＭ１２の右眼用色画素領域ＲＧは、観察者の左眼ＬＥ１２からはバリア部Ｍ１３２ａによって遮蔽されて視認することができない。一方、観察者の左眼ＬＥ１２からスリット部Ｍ１３２ｂを通じて視認される液晶パネルＭ１２の左眼用色画素領域ＬＧは、観察者の右眼ＲＥ１２からはバリア部Ｍ１３２ａによって遮蔽されて視認することができない。このように、液晶バリアＭ１３は、液晶パネルＭ１２の色画素領域を、右眼ＲＥ１２の視線が届き、左眼ＬＥ１２の視線が届かない右眼用色画素領域ＲＧと、左眼ＬＥ１２の視線が届き、右眼ＲＥ１２の視線が届かない左眼用色画素領域ＬＧとに分ける。これにより、水平方向に並ぶ観察者の右眼ＲＥ１２及び左眼ＬＥ１２の位置から異なる画像を見ることができる。すなわち、液晶パネルＭ１２の画像を複数の視点方向に分割し、視認される画像を視聴位置によって変化させることにより、観察者は液晶モニタ２１６に表示される左眼用画像及び右眼用画像を３Ｄ画像として認識することができる。
【０１６８】
なお、３Ｄ画像の表示のための液晶モニタ１２６の構造として、上述の通り視差バリア方式を用いた例を説明したが、他の方式、例えばレンチキュラ方式や光方向制御方式等を採用することもできる。
【０１６９】
図１０に戻り、入出力端子２１９は、ＨＤＭＩ（High-Definition Multimedia Interface）端子、ＵＳＢ（Universal Serial Bus）端子、ＩＥＥＥ １３９４規格に準拠した各種出力端子等で構成され、図示しない外部のディスプレイ装置等に画像データを出力する。
【０１７０】
操作部２１８は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ２１６上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置２００への操作入力を受け付ける。
【０１７１】
次に、中央制御部２３０等による、左眼用画像データ及び右眼用画像データにぼかし加工が施される際の各構成部材の処理について説明する。
【０１７２】
視差算出部１３１は、記憶部１２０に一時記憶された左眼用画像データ及び右眼用画像データから、両画像データにおける各被写体画像データ間の水平方向の視差を算出する。この視差の算出の処理は、３Ｄ画像処理装置１００において説明したものと同様に、動きベクトル算出のアルゴリズムを利用して、左眼用撮影画像データ及び右眼用撮影画像データにおける同一被写体画像データを特定し、その同一被写体画像データについて、対応する画素を左眼用撮影画像データ及び右眼用撮影画像データから抽出し、それらの差分ベクトルを左眼用撮影画像データ及び右眼用撮影画像データにおける被写体画像データの視差として算出する。
【０１７３】
そして、視差過剰領域検出部１３２は、視差算出部１３１が算出した視差から所定の閾値を上回る領域を、観察者の目に負担をかけるような視差を有する領域、つまり過剰視差を有する領域として検出する。この検出の処理には、３Ｄ画像処理装置１００において説明したものと同様の方法が用いられる。
【０１７４】
視差過剰領域検出部１３２が過剰視差を有する領域として検出すると、画像ぼかし部１４０は、平均化フィルタに基づく処理により、ぼかし加工を左眼用画像データ及び右眼用画像データに施す。ここで、注目領域特定部１３３により注目領域を特定し、距離算出部が注目領域と過剰な視差を有する領域との画像内における距離を算出して、画像ぼかし部１４０が施されるぼかし加工の度合いを変更することもできる点もまた、３Ｄ画像処理装置１００と同様である。
【０１７５】
注目領域特定部１３３は、注目領域を特定する。この注目領域の特定は、顔検出の対象となっている領域、合焦している領域、左眼用画像と右眼用画像との間の視差がゼロとなっている領域、及び表示画面の中央に位置する領域等を特定することで行われるのは３Ｄ画像処理装置１００と同様である。
【０１７６】
さらに、撮像装置２００では、操作部２１８の図示しないタッチパネル等を使用して、撮像中の左眼用画像及び右眼用画像に対し、所定の領域を注目領域として指定することができる。このような構成とすることで、注目領域特定部１３３は、撮像者の意図に沿った被写体画像を注目すべき被写体画像、つまり注目画像領域として特定することができる。
【０１７７】
そして、撮像装置２００は、図５を参照して説明した観察者の目に負担をかける画像領域にぼかし加工を施す処理、図７で説明した注目領域との画像内における距離を考慮して観察者の目に負担をかける画像領域にぼかし加工を施す処理、及び図１０を参照して説明した注目領域を特定し３Ｄ画像全体にぼかし加工を施す処理とを、それぞれ上述のものと同様にして実施する。
【０１７８】
本実施形態に係る３Ｄ画像撮像装置２００によれば、ユーザが撮像している際に撮像画像を液晶モニタ２１６で確認する場合のように、取得された３Ｄ画像データを速やかに出力し表示する場合においても、３Ｄ画像にぼかし加工を施すことで、処理コストを軽減し、撮像者の目に負担を掛けない３Ｄ画像を表示することができる。
【０１７９】
上述の第１の実施形態に係る３Ｄ画像処理装置１００及び第２の実施形態に係る３Ｄ画像撮像装置２００の説明において、説明の煩雑を避け理解を容易にするために、左眼画像と右眼用画像との垂直方向の視差の調整についての説明を省略したが、左眼用画像データ及び右眼用画像データの各画像データの切出し範囲を調整する、或は左眼用撮像部及び右眼用撮像部の垂直方向の光軸を調整する等の既知の処理により、垂直方向の視差を調整することで本発明を適用しても構わない。
【０１８０】
また、上述の説明では、３Ｄ画像処理装置１００及び３Ｄ画像撮像装置２００を例に挙げたが、本発明に係る画像処理装置の実施形態としてこれらの形態に限定されるわけではなく、ＤＶＤ、ＨＤＤ、又はＨＤＤに対応した各種記録／再生装置のような据置き型の装置であっても、本発明を適用可能なことは言うまでもない。
【符号の説明】
【０１８１】
１００ ３Ｄ画像処理装置
１１０ 画像入力部
１２０ 記憶部
１３０、２３０ 中央制御部
１３１ 視差算出部１３１
１３２ 視差過剰領域検出部
１３３ 注目領域特定部
１３４ 距離算出部１３４
１４０ 画像ぼかし部
１５０ 画像出力部
１６０ 顔領域検出部
１７０ 合焦領域検出部
２００ ３Ｄ画像撮像装置
Ｌ２００ 左眼用撮像部
Ｒ２００ 右眼用撮像部
２１０ バス
２１２ メディア制御部
２１３ カードＩ／Ｆ
２１４ カード型記録媒体
２１５ 入出力Ｉ／Ｆ
２１６ 液晶モニタ
２１８ スピーカ
２１９ 入出力端子
【特許請求の範囲】
【請求項１】
第１の画像データと第２の画像データとにおける同一の被写体画像データの視差を算出する視差算出部と、
前記視差算出部が算出した前記視差から、所定の大きさの視差を有する画像データの領域を視差過剰領域として、前記第１の画像データと前記第２の画像データのそれぞれから検出する視差過剰領域検出部と、
前記視差過剰領域検出部が前記視差過剰領域を検出した場合に、前記第１の画像データ及び前記第２の画像データにぼかし加工を施す画像ぼかし部と、
前記画像ぼかし部がぼかし加工を施した前記第１の画像データ及び前記第２の画像データを出力する出力部と
を備えることを特徴とする３Ｄ画像処理装置。
【請求項２】
前記画像ぼかし部は、前記視差過剰領域検出部が検出した前記過剰視差領域にぼかし加工を施すことを特徴とする請求項１に記載の３Ｄ画像処理装置。
【請求項３】
前記３Ｄ画像処理装置はさらに注目領域特定部を備え、
前記注目領域特定部は、前記第１の画像データ及び前記第２の画像データから観察者の注目を集める画像データの領域を注目領域として特定し、
前記画像ぼかし部は、前記注目領域特定部が特定した前記注目領域からの画像内における距離が大きくなるにつれてぼかし加工の度合いが大きくなるように前記第１の画像データ及び前記第２の画像データにぼかし加工を施すことを特徴とする請求項１に記載の３Ｄ画像処理装置。
【請求項４】
前記３Ｄ画像処理装置はさらに注目領域特定部を備え、
前記注目領域特定部は、前記第１の画像データ及び前記第２の画像データから観察者の注目を集める画像データの領域を注目領域として特定し、
前記画像ぼかし部は、前記注目領域特定部が特定した前記注目領域と前記視差過剰領域検出部が検出した視差過剰領域との画像内における距離が大きくなるにつれてぼかし加工の度合いが小さくなるように前記過剰視差領域にぼかし加工を施すことを特徴とする請求項１に記載の３Ｄ画像処理装置。
【請求項５】
前記３Ｄ画像処理装置はさらに顔領域検出部を備え、
前記顔領域検出部は、前記第１の画像データ及び前記第２の画像データのそれぞれから顔画像データを含む画像データの領域を顔領域として検出し、
前記注目領域特定部は、少なくとも前記顔領域検出部が検出した前記顔領域に基づいて注目領域を特定することを特徴とする請求項３又は４のいずれかに記載の３Ｄ画像処理装置。
【請求項６】
前記３Ｄ画像処理装置はさらに合焦領域検出部を備え、
前記合焦領域検出部は、前記第１の画像データ及び前記第２の画像データのそれぞれから合焦している画像データの領域を合焦領域として検出し、
前記注目領域特定部は、少なくとも前記合焦領域検出部が検出した前記合焦領域に基づいて注目領域を特定することを特徴とする請求項３又は４のいずれかに記載の３Ｄ画像処理装置。
【請求項７】
前記注目領域特定部は、前記視差算出部が算出した前記視差から、前記第１の画像データと前記第２の画像データの視差がゼロとなっている画像データの領域を、前記第１の画像データと前記第２の画像データのそれぞれから特定し、それらの領域を注目領域として特定することを特徴とする請求項３又は４のいずれかに記載の３Ｄ画像処理装置。
【請求項８】
第１の撮像部が取得した第１の画像データと、第２の撮像部が取得した第２の画像データとにおける同一の被写体画像データの視差を算出する視差算出部と、
前記視差算出部が算出した前記視差から、所定の大きさの視差を有する画像データの領域を視差過剰領域として、前記第１の画像データと前記第２の画像データのそれぞれから検出する視差過剰領域検出部と、
前記視差過剰領域検出部が前記視差過剰領域を検出した場合に、前記記憶部が記憶した前記第１の画像データ及び前記第２の画像データにぼかし加工を施す画像ぼかし部と、
前記画像ぼかし部がぼかし加工を施した前記第１の画像データ及び前記第２の画像データを表示する表示部と
を備えることを特徴とする３Ｄ画像撮像装置
【請求項９】
前記画像ぼかし部は、前記視差過剰領域検出部が検出した前記過剰視差領域にぼかし加工を施すことを特徴とする請求項８に記載の３Ｄ画像撮像装置。
【請求項１０】
前記３Ｄ画像撮像装置はさらに注目領域特定部を備え、
前記注目領域特定部は、前記第１の画像データ及び前記第２の画像データから観察者の注目を集める画像データの領域を注目領域として特定し、
前記画像ぼかし部は、前記注目領域特定部が特定した前記注目領域からの画像内での距離が大きくなるにつれてぼかし加工の度合いが大きくなるように前記第１の画像データ及び前記第２の画像データにぼかし加工を施すことを特徴とする請求項８に記載の３Ｄ画像撮像装置
【請求項１１】
前記３Ｄ画像撮像装置はさらに注目領域特定部を備え、
前記注目領域特定部は、前記第１の画像データ及び前記第２の画像データから観察者の注目を集める画像データの領域を注目領域として特定し、
前記画像ぼかし部は、前記注目領域特定部が特定した前記注目領域と前記視差過剰領域検出部が検出した視差過剰領域との画像内における距離が大きくなるにつれてぼかし加工の度合いが小さくなるように前記過剰視差領域にぼかし加工を施すことを特徴とする請求項８に記載の３Ｄ画像撮像装置。
【請求項１２】
前記３Ｄ画像撮像装置はさらに顔領域検出部を備え、
前記顔領域検出部は、前記第１の画像データ及び前記第２の画像データのそれぞれから顔画像データを含む画像データの領域を顔領域として検出し、
前記注目領域特定部は、少なくとも前記顔領域検出部が検出した前記顔領域に基づいて注目領域を特定することを特徴とする請求項１０又は１１のいずれかに記載の３Ｄ画像撮像装置。
【請求項１３】
前記３Ｄ画像撮像装置はさらに合焦領域検出部を備え、
前記合焦領域検出部は、前記第１の画像データ及び前記第２の画像データのそれぞれから合焦している画像データの領域を合焦領域として検出し、
前記注目領域特定部は、少なくとも前記合焦領域検出部が検出した前記合焦領域に基づいて注目領域を特定することを特徴とする請求項１０又は１１のいずれかに記載の３Ｄ画像撮像装置。
【請求項１４】
前記注目領域特定部は、前記視差算出部が算出した前記視差から、前記第１の画像データと前記第２の画像データの視差がゼロとなっている画像データの領域を、前記第１の画像データと前記第２の画像データのそれぞれから特定し、それらの領域を注目領域として特定することを特徴とする請求項１０又は１１のいずれかに記載の３Ｄ画像撮像装置。
【請求項１５】
第１の画像データと第２の画像データの視差を算出させ、
算出された前記視差から、所定の大きさの視差を有する画像データの領域を視差過剰領域として、前記第１の画像データと前記第２の画像データのそれぞれから検出させ、
前記視差過剰領域が検出された場合に、前記第１の画像データ及び前記第２の画像データにぼかし加工を施させ、
ぼかし加工が施された前記第１の画像データ及び前記第２の画像データを出力させる処理をコンピュータに実行させるプログラム。
【請求項１】
第１の画像データと第２の画像データとにおける同一の被写体画像データの視差を算出する視差算出部と、
前記視差算出部が算出した前記視差から、所定の大きさの視差を有する画像データの領域を視差過剰領域として、前記第１の画像データと前記第２の画像データのそれぞれから検出する視差過剰領域検出部と、
前記視差過剰領域検出部が前記視差過剰領域を検出した場合に、前記第１の画像データ及び前記第２の画像データにぼかし加工を施す画像ぼかし部と、
前記画像ぼかし部がぼかし加工を施した前記第１の画像データ及び前記第２の画像データを出力する出力部と
を備えることを特徴とする３Ｄ画像処理装置。
【請求項２】
前記画像ぼかし部は、前記視差過剰領域検出部が検出した前記過剰視差領域にぼかし加工を施すことを特徴とする請求項１に記載の３Ｄ画像処理装置。
【請求項３】
前記３Ｄ画像処理装置はさらに注目領域特定部を備え、
前記注目領域特定部は、前記第１の画像データ及び前記第２の画像データから観察者の注目を集める画像データの領域を注目領域として特定し、
前記画像ぼかし部は、前記注目領域特定部が特定した前記注目領域からの画像内における距離が大きくなるにつれてぼかし加工の度合いが大きくなるように前記第１の画像データ及び前記第２の画像データにぼかし加工を施すことを特徴とする請求項１に記載の３Ｄ画像処理装置。
【請求項４】
前記３Ｄ画像処理装置はさらに注目領域特定部を備え、
前記注目領域特定部は、前記第１の画像データ及び前記第２の画像データから観察者の注目を集める画像データの領域を注目領域として特定し、
前記画像ぼかし部は、前記注目領域特定部が特定した前記注目領域と前記視差過剰領域検出部が検出した視差過剰領域との画像内における距離が大きくなるにつれてぼかし加工の度合いが小さくなるように前記過剰視差領域にぼかし加工を施すことを特徴とする請求項１に記載の３Ｄ画像処理装置。
【請求項５】
前記３Ｄ画像処理装置はさらに顔領域検出部を備え、
前記顔領域検出部は、前記第１の画像データ及び前記第２の画像データのそれぞれから顔画像データを含む画像データの領域を顔領域として検出し、
前記注目領域特定部は、少なくとも前記顔領域検出部が検出した前記顔領域に基づいて注目領域を特定することを特徴とする請求項３又は４のいずれかに記載の３Ｄ画像処理装置。
【請求項６】
前記３Ｄ画像処理装置はさらに合焦領域検出部を備え、
前記合焦領域検出部は、前記第１の画像データ及び前記第２の画像データのそれぞれから合焦している画像データの領域を合焦領域として検出し、
前記注目領域特定部は、少なくとも前記合焦領域検出部が検出した前記合焦領域に基づいて注目領域を特定することを特徴とする請求項３又は４のいずれかに記載の３Ｄ画像処理装置。
【請求項７】
前記注目領域特定部は、前記視差算出部が算出した前記視差から、前記第１の画像データと前記第２の画像データの視差がゼロとなっている画像データの領域を、前記第１の画像データと前記第２の画像データのそれぞれから特定し、それらの領域を注目領域として特定することを特徴とする請求項３又は４のいずれかに記載の３Ｄ画像処理装置。
【請求項８】
第１の撮像部が取得した第１の画像データと、第２の撮像部が取得した第２の画像データとにおける同一の被写体画像データの視差を算出する視差算出部と、
前記視差算出部が算出した前記視差から、所定の大きさの視差を有する画像データの領域を視差過剰領域として、前記第１の画像データと前記第２の画像データのそれぞれから検出する視差過剰領域検出部と、
前記視差過剰領域検出部が前記視差過剰領域を検出した場合に、前記記憶部が記憶した前記第１の画像データ及び前記第２の画像データにぼかし加工を施す画像ぼかし部と、
前記画像ぼかし部がぼかし加工を施した前記第１の画像データ及び前記第２の画像データを表示する表示部と
を備えることを特徴とする３Ｄ画像撮像装置
【請求項９】
前記画像ぼかし部は、前記視差過剰領域検出部が検出した前記過剰視差領域にぼかし加工を施すことを特徴とする請求項８に記載の３Ｄ画像撮像装置。
【請求項１０】
前記３Ｄ画像撮像装置はさらに注目領域特定部を備え、
前記注目領域特定部は、前記第１の画像データ及び前記第２の画像データから観察者の注目を集める画像データの領域を注目領域として特定し、
前記画像ぼかし部は、前記注目領域特定部が特定した前記注目領域からの画像内での距離が大きくなるにつれてぼかし加工の度合いが大きくなるように前記第１の画像データ及び前記第２の画像データにぼかし加工を施すことを特徴とする請求項８に記載の３Ｄ画像撮像装置
【請求項１１】
前記３Ｄ画像撮像装置はさらに注目領域特定部を備え、
前記注目領域特定部は、前記第１の画像データ及び前記第２の画像データから観察者の注目を集める画像データの領域を注目領域として特定し、
前記画像ぼかし部は、前記注目領域特定部が特定した前記注目領域と前記視差過剰領域検出部が検出した視差過剰領域との画像内における距離が大きくなるにつれてぼかし加工の度合いが小さくなるように前記過剰視差領域にぼかし加工を施すことを特徴とする請求項８に記載の３Ｄ画像撮像装置。
【請求項１２】
前記３Ｄ画像撮像装置はさらに顔領域検出部を備え、
前記顔領域検出部は、前記第１の画像データ及び前記第２の画像データのそれぞれから顔画像データを含む画像データの領域を顔領域として検出し、
前記注目領域特定部は、少なくとも前記顔領域検出部が検出した前記顔領域に基づいて注目領域を特定することを特徴とする請求項１０又は１１のいずれかに記載の３Ｄ画像撮像装置。
【請求項１３】
前記３Ｄ画像撮像装置はさらに合焦領域検出部を備え、
前記合焦領域検出部は、前記第１の画像データ及び前記第２の画像データのそれぞれから合焦している画像データの領域を合焦領域として検出し、
前記注目領域特定部は、少なくとも前記合焦領域検出部が検出した前記合焦領域に基づいて注目領域を特定することを特徴とする請求項１０又は１１のいずれかに記載の３Ｄ画像撮像装置。
【請求項１４】
前記注目領域特定部は、前記視差算出部が算出した前記視差から、前記第１の画像データと前記第２の画像データの視差がゼロとなっている画像データの領域を、前記第１の画像データと前記第２の画像データのそれぞれから特定し、それらの領域を注目領域として特定することを特徴とする請求項１０又は１１のいずれかに記載の３Ｄ画像撮像装置。
【請求項１５】
第１の画像データと第２の画像データの視差を算出させ、
算出された前記視差から、所定の大きさの視差を有する画像データの領域を視差過剰領域として、前記第１の画像データと前記第２の画像データのそれぞれから検出させ、
前記視差過剰領域が検出された場合に、前記第１の画像データ及び前記第２の画像データにぼかし加工を施させ、
ぼかし加工が施された前記第１の画像データ及び前記第２の画像データを出力させる処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２２７６８５（Ｐ２０１２−２２７６８５Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９２７６９（Ｐ２０１１−９２７６９）
【出願日】平成２３年４月１９日（２０１１．４．１９）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月１９日（２０１１．４．１９）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]