3D画像処理装置
【課題】3D画像にオブジェクト画像を重畳して表示する場合に、そのオブジェクト画像の前方への飛び出し度合いや後方への引っ込み度合いを、これらが重畳される3D画像の各エリア毎の視差に応じて調整する3D画像処理装置を提供する。
【解決手段】視差算出部121は、第一及び第二の画像中の被写体画像の視差を算出し、視差存在エリア特定部122は、出力される3D画像を複数のエリアに分割し、視差算出部121が算出した視差が、その分割された複数のエリアのうちのどのエリアに存在するのかを特定する。視差存在エリアが分割した前記エリアの少なくとも一つにオブジェクト画像を重畳する場合に、視差決定部123は、オブジェクト画像を重畳するエリアにあると特定された視差に基づいてそのオブジェクト画像の視差を決定し、オブジェクト画像重畳部124は、その決定された視差を有するように第一及び第二の画像にオブジェクト画像を重畳する。
【解決手段】視差算出部121は、第一及び第二の画像中の被写体画像の視差を算出し、視差存在エリア特定部122は、出力される3D画像を複数のエリアに分割し、視差算出部121が算出した視差が、その分割された複数のエリアのうちのどのエリアに存在するのかを特定する。視差存在エリアが分割した前記エリアの少なくとも一つにオブジェクト画像を重畳する場合に、視差決定部123は、オブジェクト画像を重畳するエリアにあると特定された視差に基づいてそのオブジェクト画像の視差を決定し、オブジェクト画像重畳部124は、その決定された視差を有するように第一及び第二の画像にオブジェクト画像を重畳する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は3D画像処理装置に関し、より詳細には、3D画像内のエリア毎の視差に応じて、その3D画像に重畳するオブジェクト画像を適切に表示する3D画像処理装置に関する。
【背景技術】
【0002】
近年、水平方向に視差を有する2つの画像が左眼用画像及び右眼用画像として同一ディスプレイ上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された被写体があたかも立体的に存在するかのように知覚できる3D画像に関する技術の開発が盛んに行われている。
【0003】
3D画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像がディスプレイ上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて左眼で左眼用画像を、右眼で右眼用画像をそれぞれ独立して観察する方式がよく知られている。
また、左眼用画像及び右眼用画像それぞれが交互にディスプレイ上に表示され、観察者が左右の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて左眼で左眼用画像を、右眼で右眼用画像をそれぞれ独立して観察する方式等もよく知られている。
【0004】
これらの3D画像に関する技術では、観察者から見て3D画像中の被写体画像が、表示面に対しどの程度前方に飛び出しているように知覚されるか、又は表示面に対しどの程度後方に引っ込んでいるように知覚されるかは、左眼用画像と右眼用画像との間の水平方向の視差によって決定される。
【0005】
ここで、3D画像においても通常の2D画像と同様に、例えば時刻を示す文字画像、機器の各種設定を視覚的に示す図形画像、或はその各種設定をユーザが選択するためのメニュー画像等を重畳して表示することがある。その際、3D画像中の被写体の前方への飛び出し度合い又は後方への引っ込み度合いと、上記文字画像等の前方への飛び出し度合い又は後方への引き込み度合いとの間に大きな差がある場合、その二つの画像の立体感の差は観察者に大きな負担をかけ、眼精疲労や画像酔いの原因となることが指摘されている。
例えば、一部の被写体画像は前方に大きく飛び出しているにもかかわらず、その被写体近辺に表示される文字画像が後方に大きく引っ込んで表示されるような場合である。
【0006】
そこで、3D画像の表示において、観察者に負担をかけずに文字画像等を重畳して表示する技術が盛んに開発されている。
例えば、特許文献1には、3D画像上に翻訳の字幕画像を重畳して表示する際に、その字幕画像が常に最大深度値を有するよう(最も後方に引っ込んだ位置で知覚されるよう)に調整する技術が開示されている。
また、特許文献2には、左眼用画像と右眼用画像の立体度を算出し、その算出された立体度に基づきメニュー画像の前方への飛び出し度合い、又は後方への引っ込み度合いを決定し、そのメニュー画像を決定された立体度を有するように重畳して表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特表2010−521738号公報
【特許文献2】特開2010−130495号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、特許文献1に記載の技術では、字幕画像は、常に後方に最も引っ込んだ状態で知覚されることから、3D画像中に、字幕画像と同じ引っ込み度合いを有する被写体画像の他に飛び出し度合いの大きな被写体が含まれていた場合に、字幕画像とその飛び出した被写体画像との間で知覚される立体感の差が大きく、観察者に大きな負担を掛ける可能性があることが推察される。
また、特許文献2に記載の技術では、メニュー画像を立体的に表示することはできるものの、表示する画像内における、そのメニュー画像を表示するエリアと立体度の算出に使用された被写体画像(或は字幕又はテロップ画像)を表示するエリアとの関係を考慮していない。従って、例えばメニュー画像が表示面に対し前方に大きく飛び出しているにもかかわらず、立体度の算出に使用されなかった被写体画像がメニュー画像の近辺で大きく後方に引っ込んでいる場合等は、上記特許文献1と同様に観察者に大きな負担を掛ける可能性があることが推察される。
【0009】
本発明はこのような問題に鑑みてなされたものであり、3D画像に文字画像、図形画像、或は文字と図形の組み合わされたメニュー画像等(以下、これらの画像を「オブジェクト画像」という)を重畳して表示する場合に、これらオブジェクト画像等の前方への飛び出し度合いや後方への引っ込み度合いを、これらが重畳される3D画像の各エリアの視差に応じて調整する3D画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
前記目的を達成するために、本発明は、第一の画像と第二の画像とを記録する記録部(133)と、前記第一の画像と前記第二の画像のそれぞれに重畳するオブジェクト画像を記録するオブジェクト画像記録部(125)と、前記第一の画像中の被写体画像と前記第二の画像中の被写体画像との間の視差を算出する視差算出部(121)と、前記第一の画像と前記第二の画像とで形成される3D画像を複数のエリアに分割し、前記視差算出部が算出した前記視差が、その分割された複数のエリアのうちのどのエリアに存在するのかを特定する視差存在エリア特定部(122)と、前記視差存在エリアが分割した前記エリアの少なくとも一つに前記オブジェクト画像を重畳する場合に、前記オブジェクト画像を重畳するエリアにあると特定された前記視差に基づいてその重畳するオブジェクト画像の視差を決定する視差決定部(123)と、前記視差決定部が決定した前記視差を有するように前記第一の画像及び前記第二の画像に前記オブジェクト画像を重畳するオブジェクト画像重畳部(124)と、前記オブジェクト画像が重畳された前記第一の画像及び前記第二の画像を3D画像として出力する出力部(139)と
を備えることを特徴とする3D画像処理装置を提供する。
【0011】
前記視差決定部(123)は、前記オブジェクト画像を重畳するエリアにあると特定された前記視差のうち、最も大きい視差と同一の視差を有するようにそのオブジェクト画像の視差を決定するようにしてもよい。
【0012】
前記視差決定部(123)は、前記オブジェクト画像を重畳するエリアにあると特定された前記視差のうち、最も大きい視差が前記被写体画像を前方に飛び出しているかのように知覚させるものである場合は、その算出された視差と同一の視差を有するようにそのオブジェするようにしてもよい。
【0013】
前記視差存在エリア特定部(122)は、前記3D画像を水平又は垂直方向に少なくとも2つのエリアに分割するようにしてもよい。
【発明の効果】
【0014】
本発明によれば、3D画像にオブジェクト画像を重畳して表示する場合に、そのオブジェクト画像の前方への飛び出し度合いや後方への引っ込み度合いを、これらが重畳される3D画像の各エリア毎の視差に応じて調整することができる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態に係る撮像装置1の構成を示す図である。
【図2】撮像装置1の液晶モニタ140の構成を示す図である。
【図3】撮像装置1が表示するオブジェクト画像の例を説明する図である。
【図4】左右眼画像それぞれにおける被写体画像又はオブジェクト画像の表示位置と立体感との関係を示す概念図である。
【図5】撮像装置1による3D画像へのオブジェクト画像の重畳処理について説明するフローチャートである。
【図6】撮像装置1の視差算出部121による左眼用画像及び右眼用画像の視差の算出を説明するための図である。
【図7】3D画像を垂直方向に2つのエリアに分割した場合の、差分ベクトルの含まれるエリアを特定する処理を説明するための図である。
【図8】3D画像を水平方向に2つのエリアに分割した場合の、差分ベクトルの含まれるエリアを特定する処理を説明するための図である。
【図9】3D画像を水平方向に2つのエリアに分割した場合に、左右両方のエリアに含まれる差分ベクトルを説明する概念図である。
【図10】3D画像を水平方向及び垂直方向に4つのエリアに分割した場合の、差分ベクトルの含まれるエリアを特定する処理を説明するための図である。
【図11】最大差分ベクトルの特定を説明するための概念図である。
【図12】最大差分ベクトルが飛び出しベクトルであった場合のオブジェクト画像の付与を説明するための図である。
【図13】最大差分ベクトルが引っ込みベクトルであった場合のオブジェクト画像の付与を説明するための図である。
【発明を実施するための形態】
【0016】
以下に図面を参照しながら、本発明に係る3D画像処理装置の好適な実施形態を説明する。
なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素に関し同一の符号を付すことにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。
【0017】
図1は、本発明の実施形態に係る撮像装置(デジタルビデオカメラ)1の内部構成の例を示すブロック図である。撮像装置1は動画及び静止画を撮影することができる。
なお、本実施形態に係る撮像装置では二つの撮像部を有し、それぞれの光軸のなす輻輳角を調整できる構成としているが、両光軸が平行となるように固定され輻輳角を調整できない撮像装置においても本発明は採用できる。また、本発明は、デジタルスチルカメラをはじめ、携帯電話、PHS(Personal Handyphone System)、PDA(Personal Digital Assistant)等、撮影が可能なその他の電子機器においても採用することができる。
【0018】
CPU120は、撮影、表示、記録等の撮像装置1全体の動作を統括制御する。また、CPU120は、操作部142からの入力に基づき所定の制御プログラムに従って各部を制御する。
【0019】
撮像装置1には、左右一対の左眼用画像撮像部L100及び右眼用画像撮像部R100が、人の眼の間隔より少し短い所定の間隔(例えば6.25cm)離れて設置されている。左眼用画像撮像部L100及び右眼用画像撮像部R100は、それぞれズームレンズL101及びR101、フォーカスレンズL102及びR102、絞りL103及びR103、並びに固体撮像素子L104及びR104を備える。
【0020】
ズームレンズL101及びR101は、図示しないズームアクチュエータによって光軸AL100及びAR100に沿って移動する。フォーカスレンズL102及びR102は、図示しないフォーカスアクチュエータによって光軸AL100及びAR100に沿って移動する。絞りL103及びR103は、図示しない絞りアクチュエータに駆動されて動作する。
【0021】
左眼用画像撮像部L100及び右眼用撮像部R100は輻輳角アクチュエータL109及びR109とそれぞれ接続されており、輻輳角アクチュエータL109及びR109はCPU120から指令を受けて、両撮像部を駆動し、光軸AL100とAR100とのなす輻輳角を調整する。
【0022】
ROM131はバス130を介してCPU120に接続されており、CPU120が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュROM132は、ユーザの設定情報等、撮像装置1の動作に関する各種設定情報を格納している。例えば、撮像装置1には静止画撮影のための静止画撮影モードと動画撮影のための動画撮影モードの2種類の撮影モードを備えており、フラッシュROM132はこれらのモードに関する各種設定情報を記録している。SDRAM133は、CPU120の演算作業領域として使用されるとともに、画像データの一時記憶領域としても使用される。VRAM134は、表示用の画像データの一時記憶領域として使用される。
【0023】
撮影装置1を用いた3D画像の撮影は以下の手順で行われる。左眼用の固体撮像素子L104及び右眼用の固体撮像素子R104がそれぞれ、左眼用画像撮像部L100と右眼用撮像部R100とを通過した光を光電変換して、左右それぞれの被写体のアナログ撮像信号を生成する。アナログ信号処理部L105及びR105が両アナログ撮像信号を増幅した後、A/D変換器L106及びR106がその増幅された信号をデジタルデータに変換する。画像入力コントローラL107及びR107は、A/D変換機L106及びR106から出力されたデジタルデータを取り込んで、SDRAM133に格納する。
【0024】
デジタル信号処理部L108及びR108は、CPU120からの指令に基づき、SDRAM133に格納されたデジタルデータを取り込み、所定の信号処理を施して輝度信号と色差信号とからなる信号を生成する。デジタル信号処理部L108及びR108はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、RGB補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
【0025】
圧縮・伸張処理部135、メディア制御部136、カードI/F137及び入出力I/F139はデータバス130に接続されている。
【0026】
圧縮・伸張処理部135は、CPU120からの指令に従い、SDRAM133に格納されたデータに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、CPU120からの指令に従い、カード型記録媒体138に入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮画像データを生成する。
なお、本実施の形態の撮像装置1では、静止画に対してはJPEG規格に準拠した圧縮方式が、動画に対してはMPEG2規格やAVC/H.264規格に準拠した圧縮方式が採用される。
【0027】
メディア制御部136は、CPU120からの指令に従い、カードI/F137を通じてカード型記録媒体138に対するデータの書き込み、またはカード型記録媒体138からのデータの読み出しを制御する。
【0028】
視差算出部121、視差存在エリア特定部122、視差決定部123、オブジェクト画像重畳部124、及びオブジェクト画像記録部125はそれぞれCPU120と接続されており、後述する3D画像へのオブジェクト画像の重畳処理を行う。
【0029】
オブジェクト画像記録部125には撮影画像等に重畳する各種オブジェクト画像データとその重畳位置が予め記録されている。例えば静止画撮影モード又は動画撮影モードを視覚的に示すための図形データや、撮像装置1の備える図示しない電池の残量を視覚的に示す図形データ等とそれらに関する2D表示又は3D表示の別に応じて予め定められた重畳位置に関する情報が記録されている。
【0030】
液晶モニタ140、スピーカ141、操作部142及び入出力端子143は入出力I/F139に接続されている。
【0031】
図2は、3D画像を表示可能な液晶モニタ140の構造の例を説明するための図である。図2においては、撮像装置1の通常の使用姿勢における液晶モニタ140に対して、水平方向をX軸、垂直方向をY軸、及び液晶モニタ140の直交
方向をZ軸として以下を説明する。
液晶モニタ140と観察者の左眼LE20及び右眼RE20の間には、レンチキュラ・レンズLL20が設置されている。このレンチキュラ・レンズLL20は、複数の円筒状凸レンズを図2のX軸方向に連ねることで構成されている。
【0032】
液晶モニタ140に表示される3D画像の表示領域は、左眼用短冊画像表示領域Lと右眼用短冊画像表示領域Rとから構成されている。左眼用短冊画像表示領域L及び右眼用短冊画像表示領域Rは、それぞれ図2のZ軸方向に細長い短冊形状をしており、X軸方向に交互に配置されている。
レンチキュラ・レンズLL20を構成する各凸レンズは、観察者の所定の観察点を基準として、それぞれ一組の左眼用短冊画像表示領域L及び右眼用短冊画像表示領域Rを含む各短冊集合画像領域に対応した位置に形成される。
【0033】
そして、レンチキュラ・レンズLL20を構成する各凸レンズは、観察者の左眼LE20には液晶モニタ140の左眼用短冊画像表示領域Lに表示された左眼用短冊画像が入射され、観察者の右眼RE20には液晶モニタ140の右眼用短冊画像表示領域Rに表示された右眼用短冊画像が入射されるように、その曲率等が設定される。
【0034】
従って、観察者の左眼は左眼用短冊画像のみを、右眼は右眼用短冊画像のみを観察することになり、撮像装置1によって撮影している画像を、液晶モニタ140を通じて3D画像として知覚することができる。
【0035】
なお、3D画像の表示のための液晶モニタ140の構造として、図2に基づきレンチキュラ方式を用いた場合の例を説明したが、本発明はレンチキュラ方式には限定されず、視差バリア方式や光方向制御方式等、3D画像表示のための別方式を採用することもできる。
液晶モニタ140は、撮影画像を3Dで表示するだけでなく、左眼用画像又は右眼用画像のいずれか一方を2Dで表示することもできる。また、左右眼画像の両方をいわゆるサイド・バイ・サイド方式で、二つ並べて2Dで表示することもできる。
【0036】
操作部142は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ140上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置1への操作入力を受け付ける。
入出力端子143は、図示しないテレビモニタやPC(Personal Computer)等に接続される。
【0037】
次に、図3に、撮像装置1が撮影画像PG30を、液晶モニタ140にスルー画像又は録画中の画像として表示する際に、この撮影画像P30に重畳して表示するオブジェクト画像の例を示す。
なお、図3では左眼用撮像系L100又は右眼用撮像系R100の何れか一方で取得された撮影画像PG30を2D画像として液晶モニタ141に表示する場合を例に挙げ、各オブジェクト画像について説明するが、3D画像を表示する際も同様の画像が使用される。
【0038】
撮像装置1は、上述した通り動画を撮影する動画モードと静止画を撮影する静止画モードを備えており、OG31は、撮影が動画モードで行われていることを示すオブジェクト画像である。OG32は、図1には図示しない電池の残量をユーザに知らせるオブジェクト画像である。また、OG33は、ユーザが操作部142の図示しない録画ボタンを押し、撮像装置1が撮影を開始している旨をユーザに知らせるオブジェクト画像である。そして、OG34は、録画が継続されている時間をユーザに知らせるためのオブジェクト画像である。
【0039】
これらのオブジェクト画像OG31〜OG34は、オブジェクト画像記録部125に記録されており、液晶モニタ140に表示される画像が2Dであるか、3Dであるかに応じて、2D又は3Dで表示されることになる。
なお、図3において示した各種オブジェクト画像OG31〜OG34及びその重畳位置は、撮像装置1が表示することができるオブジェクト画像の例示であり、その他の画像を任意の位置に表示することもできることは言うまでもない。
【0040】
次に図4を参照して、液晶モニタ140又は入出力端子を介して接続される外部モニタに表示される左眼用画像中及び右眼用画像中の被写体画像又はオブジェクト画像に関し、左眼用画像と右眼用画像との間の視差と、モニタの表示面に対する前方への飛び出し又は後方への引っ込み等の関係を説明する。
【0041】
図4において、液晶モニタ140又は入出力端子143を介して接続される外部モニタの表示面をDP40、観察者と表示面DP40の距離をDとし、観察者の左眼LE40と右眼RE40の距離をEとする。
【0042】
図4(a)において、表示面DP40上の左眼用画像中の被写体画像等の表示位置をLf、右眼用画像中の被写体画像等の表示位置をRfとすると、観察者が左眼LE40でLf、右眼RE40でRfを観察した場合、両被写体画像等はPfの位置で結像する。これにより3D画像では、観察者からは被写体画像等が表示面DP40に対して前方に飛び出しているかのように知覚されることになる。
【0043】
このとき、像LfとRfの視差をVfとすると、表示面DP40から結像位置Pfまでの距離Zfは以下の式(1)の通りとなる。
【0044】
(E+Vf)Zf=D・Vf ・・・(1)
【0045】
図4(b)において、表示面DP40上における被写体画像等の左眼画像中の表示位置と、右眼画像中の表示位置が同一となった場合、被写体画像等は表示面D40上のPcで結像する。これにより3D画像では、観察者は被写体等が表示面DP40上に表示されているかのように知覚することになる。
【0046】
図4(c)において、表示面DP40上の左眼用画像中の被写体画像等の表示位置をLb、右眼用画像中の被写体画像等の位置をRbとすると、観察者が左眼LE40でLb、右眼RE40でRbを観察した場合、被写体画像等はPbの位置で結像する。これにより3D画像では、観察者からは被写体画像等が表示面DP80に対して後方に引っ込んでいるかのように知覚されることになる。
【0047】
このとき、像LbとRbの視差をVfとすると、表示面DP40から結像位置までの距離Zfは以下の式(2)の通りとなる。
【0048】
(E−Vb)Zb=D・Vb ・・・(2)
【0049】
以上のように、3D画像表示においては、左眼用画像及び右眼用画像のそれぞれにおける被写体画像又はオブジェクト画像の間の視差が、その前方への飛び出し度合い又は後方への引っ込み度合いに影響を与えることがわかる。
【0050】
<オブジェクト画像の重畳処理>
次に、撮像装置1による3D画像へのオブジェクト画像の重畳処理について、フローチャートを参照して説明する。
図5は撮像装置1が、複数に分割された3D画像の各エリア毎に、被写体画像の前方への飛び出し又は後方への引っ込み等を特定し、その特定に基づいてオブジェクト画像を重畳する処理を説明するためのフローチャートである。
【0051】
本処理は、ユーザが操作部142の図示しない録画ボタンを押したとき、図1のCPU120の統括制御によりプログラムに従い実行される。また、ユーザが撮像装置1の電源を入れ、操作部142の図示しないボタン等を使用して撮影モードを選択したとき、或は録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【0052】
上述の通り、左眼用の固体撮像素子L104及び右眼用の固体撮像素子R104を介して、左眼用撮影画像データ及び右眼用撮影画像データがそれぞれSDRAM133に一時記録される(ステップS101)。
【0053】
次に視差算出部121が、ステップS101で一時記録された左眼用撮影画像データ及び右眼用撮影画像データの間の視差を算出する(ステップS102)。
この視差の算出には、様々な既存のアルゴリズムを適用することができるが、例えば、MPEGにおける同一の被写体がフレーム間でどれだけ動いたかを特定する、いわゆる動きベクトルを算出するアルゴリズムを応用した手法が考えられる。
【0054】
動画圧縮技術であるMPEGにおいては、ブロックマッチングに基づいて動きベクトルを検出するアルゴリズムが用いられる。ここで、動きベクトルとは2つのフレームデータ間における同一被写体の変位をベクトルで表したものである。
現在のフレームデータと過去のフレームデータとを比較し、同一の大きさで最も類似したブロックをそれぞれから抽出し、両者の位置関係から動きベクトルを算出する。
【0055】
視差算出部121は、上記動きベクトル算出のアルゴリズムを利用して、左眼用撮影画像データ及び右眼用撮影画像データにおける同一被写体画像データを特定し、その同一被写体画像データについて、点対点、画素対画素で対応する点を左眼用撮影画像データ及び右眼用撮影画像データから抽出し、それらの差分ベクトルを左眼用画像及び右眼用画像における被写体画像の視差として算出する。
【0056】
より詳細には、図6に示すように、視差算出部121は、左眼用撮影画像LP60中の被写体画像LS61及びLS62と同一の被写体として右眼用画像RP60中の被写体画像RS61及びRS62を特定する。次に、視差算出部121は、左眼用撮影画像中LP60中の被写体画像LS61から基準点LM61、被写体画像LP62から基準点LM62を抽出する。そして、視差算出部121は、右眼用撮影画像RP60から、基準点LM61に対応する対応点RM61、及び基準点LM62に対応する対応点RM62を抽出し、基準点LM61と対応点RM61との間の差分ベクトルV61、及び基準点LM62と対応点RM62との間の差分ベクトルV62をそれぞれの被写体画像の視差として算出する。
なお、視差算出部は右眼用撮影画像から基準点を、左眼用撮影画像から対応点を抽出し、差分ベクトルを算出することもできる。
【0057】
ステップS102で、左眼用撮影画像及び右眼用撮影画像中の被写体の差分ベクトルが算出されると、次に視差存在エリア特定部122が、その差分ベクトルが3D画像を分割した複数のエリアのうち、どのエリアに含まれるのかを特定する(ステップS103)。
ここで、3D画像の複数のエリアへの分割には、垂直方向に2つのエリアに分割する場合、水平方向に2つのエリアに分割する場合、又は水平方向及び垂直方向に分割し計4つのエリアに分割する場合が例として考えられる。撮像装置1では、表示するオブジェクト画像の数や位置に応じて、これら3種類のエリアの分割方法を切り換えて使用することになる。以下に、それぞれの場合において、差分ベクトルが含まれるエリアを特定する処理について述べる。
【0058】
<垂直方向に2つのエリアに分割して特定する処理>
視差存在エリア特定部122は、図7に示すように左眼用撮影画像LP60及び右眼用撮影画像RP60をそれぞれHL1及びHL2で垂直方向に仕切られる上下二つのエリアにそれぞれ分割する。
上下の各エリアの面積の比率は、予めROM131に記録されているものを用いることができる。例えば、上側のエリアと下側のエリアの比率が5:5、すなわちL1とL2、及びL3とL4の比率がともに5:5となるような比率を予め記録されているものとして使用する。一方で、この割合は、ユーザが操作部142の図示しないボタン等を使用して任意に変更できるようにしてもよいし、撮影状況に応じて予め設定されている各種撮影モード毎、或は表示するオブジェクト画像の数に応じて可変としてもよい。
【0059】
図7に示す例では、左眼用撮影画像LP60における被写体画像LS61の基準点LM61と、右眼用撮影画像RP60における被写体画像RS61の対応点RM61との間の差分ベクトルV61は3D画像中の下側のエリア内に存在すると特定される。また、左眼用撮影画像LP60の被写体画像LS62の基準点LM62と、右眼用撮影画像RP60の被写体画像RS62の対応点RM62との間の差分ベクトルV62は3D画像中の上側のエリア内に存在すると特定される。
【0060】
<水平方向に2つのエリアに分割して特定する処理>
視差存在エリア特定部122は、図8に示すように左眼用撮影画像LP60及び右眼用撮影画像RP60をそれぞれVL1及びVL2で水平方向に仕切られる左右二つのエリアにそれぞれ分割する。
左右の各エリアの面積の比率は、予めROM131に記録されているものを用いることができる。例えば、左側のエリアと右側のエリアの比率が5:5、すなわちL5とL6、及びL7とL8の比率がともに5:5となるような比率を予め記録されているものとして使用する。一方で、この割合は、ユーザが操作部142の図示しないボタン等を使用して任意に変更できるようにしてもよいし、撮影状況に応じて予め設定されている各種撮影モード毎等によって可変としてもよいのは上記垂直方向のエリアに分割する場合と同様である。
【0061】
図8に示す例では、左眼用撮影画像LP60における被写体画像LS61の基準点LM61と、右眼用撮影画像RP60における被写体画像RS61の対応点RM61との間の差分ベクトルV61は3D画像中の左側のエリア内に存在すると特定される。また、左眼用撮影画像LP60の被写体画像LS62の基準点LM62と、右眼用撮影画像RP60の被写体画像RS62の対応点RM62との間の差分ベクトルV62は3D画像中の右側のエリア内に存在すると特定される。
【0062】
なお、左眼用撮影画像と右眼用撮影画像との間の差分ベクトルは水平方向のベクトルであることから、水平方向にエリアを分割した場合は、差分ベクトルが左右両方のエリアに含まれることがある。この場合は、各エリアに含まれる差分ベクトルの大きさに応じて、その差分ベクトルが何れのエリアに含まれるものとするかが決定される。
【0063】
図9に、差分ベクトルが左右両方のエリアに含まれる場合について説明するための概念図を示す。3D画像P90は、VL3で水平方向に、左側エリアLA90及び右側エリアRA90の2つのエリアに分割される。
ここで、差分ベクトルV91の大きさをva91とし、そのうち左側エリアLA90に含まれる大きさをlva91、右側エリアRA90に含まれる大きさをrva91とすると、lva91とrva91は以下の関係となる。
【0064】
lva91>rva91
【0065】
この場合、視差存在エリア特定部122は、差分ベクトルV91は左側エリアLA90に含まれるものと特定する。
【0066】
差分ベクトルV92の大きさをva92とし、そのうち左側エリアLA90に含まれる大きさをlva92、右側エリアRA90に含まれる大きさをrva92とすると、lva92とrva92は以下の関係となる。
【0067】
lva92<rva92
【0068】
この場合、視差存在エリア特定部122は、差分ベクトルV92は右側エリアRA90に含まれるものと特定する。
【0069】
差分ベクトルV93の大きさをva93とし、そのうち左側エリアLA90に含まれる大きさをlva93、右側エリアRA90に含まれる大きさをrva93とすると、lva93とrva93が以下の関係となった場合は、差分ベクトルV93は、左側エリアLA90と右側エリアRA90の何れにも含まれるものとして、特定される。
【0070】
lva92=rva92
【0071】
なお、上記に限らず、操作部142によるユーザの設定、又は撮影モードや表示するオブジェクト画像の種類や数に応じて、左右の2つのエリアに含まれる差分ベクトルに関しては、その両方の領域に含まれているものと特定してもよい。
【0072】
<水平方向及び垂直方向の4つのエリアに分割して特定する処理>
視差存在エリア特定部122は、図10に示すように左眼用撮影画像LP60及び右眼用撮影画像RP60をそれぞれHL4及びHL5で水平方向に、VL3及びVL4で垂直方向に仕切り、上下左右の計4つのエリアにそれぞれ分割する。
このエリア分割の割合は、上述の水平方向のエリアの分割又は垂直方向のエリアの分割と同様に、予めROM131に記録されているものを用いる、或はユーザが操作部142の図示しないボタン等を使用して任意に変更できるようにする。
【0073】
図10に示す例では、左眼用撮影画像LP60における被写体画像LS61の基準点LM61と、右眼用撮影画像RP60における被写体画像RS61の対応点RM61との間の差分ベクトルV61は3D画像中の左下側のエリア内に存在すると特定される。また、左眼用撮影画像LP60の被写体画像LS62の基準点LM62と、右眼用撮影画像RP60の被写体画像RS62の対応点RM62との間の差分ベクトルV62は3D画像中の右上側のエリア内に存在すると特定される。
【0074】
なお、差分ベクトルが左右のエリアにまたがって含まれることがある点は、上述の左右のエリア分割で述べたのと同様である。従って、その場合は同様に、差分ベクトルの大きさに応じて、その差分ベクトルがどのエリアに含まれるのかを決定する。
【0075】
ステップS103で各差分ベクトルの存在するエリアが特定されると、視差決定部123が、左眼用画像及び右眼用画像のそれぞれに重畳するオブジェクト画像間の視差を決定する(ステップS104)。このオブジェクト画像間の視差の決定の処理は、具体的には以下のように行われる。
【0076】
視差決定部123は、まず、上記ステップS103で差分ベクトルが特定されたエリア毎に、そのエリアに含まれる差分ベクトルの大きさが最も大きい差分ベクトル(以下、「最大差分ベクトル」という。)を特定する。図11にこの最大差分ベクトルの特定を説明するための概念図を示す。
図11では、3D画像P110が水平方向及び垂直方向に4つのエリア、A101、A102、A103、及びA104に分割された場合の、左上側のエリアA101を例に説明するが、他の3つのエリアでも同様の処理が行われ、また3D画像が水平方向又は垂直方向の2つのエリアに分割された場合の各エリアについても同様の処理が行われる。
【0077】
図11に示すように、差分ベクトルV101、差分ベクトルV102、及び差分ベクトルV103の大きさは、以下の関係となっている。
【0078】
│V101│>│V102│>│V103│
【0079】
この場合、視差決定部123は、差分ベクトルV101を、エリアA100に含まれる最大差分ベクトルとして特定する。
【0080】
エリア内の最大差分ベクトルが特定されると、視差決定部123は特定された最大差分ベクトルの向きが、左眼用撮影画像中の基準点から右眼用撮影画像中の対応点への向きなのか、右眼用撮影画像中の対応点から左眼用撮影画像中の基準点への向きなのか、或はゼロなのかに応じて、以下に詳述する処理を行う。
【0081】
最大差分ベクトルの向きが、左眼用撮影画像中の基準点から右眼用撮影画像中の対応点への向きであった場合(以下、この場合の最大差分ベクトルを「飛び出しベクトル」という。)、表示面における基準点及び対応点の位置は、上述の図3(a)で説明した関係となる。すなわち、それら基準点及び対応点を有する被写体の像は、観察者からみて表示面に対し前方に飛び出しているかのように知覚される位置に結像する関係となる。
この場合、視差決定部123は重畳するオブジェクト画像の視差を、特定された最大差分ベクトルと同じ向き、同じ大きさの差分ベクトルとして決定する。
【0082】
以上のようにオブジェクト画像の視差を決定することで、3D画像中で前方に飛び出している被写体の近傍に表示されるオブジェクト画像は、その被写体と同程度前方に飛び出しているかのように知覚されることとなり、観察者の負担を軽減することができる。
【0083】
最大差分ベクトルの向きが、右眼用撮影画像中の対応点から左眼用撮影画像中の基準点への向きであった場合(以下、この場合の最大差分ベクトルを「引っ込みベクトル」という。)、上述の図4(c)で説明した関係となる。すなわち、それら基準点及び対応点を有する被写体の像は、観察者からみて表示面に対し後方に引っ込んでいるかのように知覚される位置に結像する関係となる。
この場合、視差決定部123は、ユーザの好みに応じて、重畳するオブジェクト画像の視差を、特定された最大差分ベクトルと同じ向き及び大きさの差分ベクトルとする、或は差分ベクトルをゼロとする。なお、このユーザの好みは、操作部142の図示しないボタン等を使用して、事前に設定されるものとする。
【0084】
3D画像において、表示面に対し後方に引っ込んでいるかのように知覚される像の観察は、前方に飛び出しているかのように知覚される像の観察よりも、観察者に与える付加が大きいとされている。人間の両目はある程度内側に寄せることはできるが、外側に開くことはできないためである(「人に優しい3D普及のための3DC安全ガイドライン」 3Dコンソーシアム安全ガイドライン部会発行 2010年4月20日改訂版)。
【0085】
以上のように、後方に引っ込んでいる被写体画像の近辺に表示されるオブジェクト画像については、同程度後方に引っ込ませるか、立体感をつけず表示面上に表示するかを、ユーザが任意に選択することができるようにすることで、後方に引っ込んだ画像に基づく観察者の負担を軽減することができる。
【0086】
最大差分ベクトルが、ゼロであった場合、表示面における基準点及び対応点の位置は、上述の図4(b)で説明した関係となる。すなわち、それら基準点及び対応点を有する被写体の像は、観察者からみて丁度表示面上に知覚される位置に結像する関係となる。
この場合、視差決定部123は重畳するオブジェクト画像の視差をゼロ、すなわち差分ベクトルがゼロとなるように決定する。
【0087】
以上のようにオブジェクト画像の視差を決定することで、3D画像中で丁度画面上で近くされる被写体の近傍に表示されるオブジェクト画像は、同じく丁度画面上にあるかのように知覚されることとなり、観察者の負担を軽減することができる。
【0088】
ステップS104で、各エリアにオブジェクト画像を重畳する際の、そのオブジェクト画像の視差が決定されると、オブジェクト画像重畳部124はオブジェクト画像記録部125に記録されたオブジェクト画像を、この算出された視差に基づいて左眼用撮影画像及び右眼用撮影画像それぞれに重畳する(ステップS105)。このオブジェクト画像の重畳は、ステップS104で特定された最大差分ベクトルが、飛び出しベクトルなのか、引っ込みベクトルなのか、又はゼロなのかに応じて、以下のように行われる。
【0089】
<特定された最大差分ベクトルが飛び出しベクトルであった場合>
図12に、ステップS104で特定された最大差分ベクトルが飛び出しベクトルであった場合のオブジェクト画像の付与を説明するための図を示す。
【0090】
図12(a)は、オブジェクト画像OG120を重畳する位置としてオブジェクト画像記録部125に予め記録された位置にオブジェクト画像OG120を重畳する場合の例を示す図である。なお、オブジェクト画像記録部125は、オブジェクト画像の重畳位置として、左眼用撮影画像及び右眼用撮影画像何れに対しても同じ位置を記録している。
図12(b)はオブジェクト画像重畳部124がオブジェクト画像LOG120を左眼用撮影画像LG120に付与する場合の例を示す図であり、図12(c)はオブジェクト画像重畳部124がオブジェクト画像ROG120を右眼用撮影画像RG120に付与する場合の例を示す図である。
【0091】
図12(b)に示すように、ステップS104で特定された最大差分ベクトルの大きさを│V120│とすると、オブジェクト画像重畳部124は、左眼用撮影画像LG120ではオブジェクト画像LOG120を│V120│/2の大きさだけ、右側にずらして重畳する。そして、図120(c)に示すように、オブジェクト画像重畳部124は、右眼用撮影画像RG120ではオブジェクト画像ROG120を│V120│/2の大きさだけ、左側にずらして重畳する。以上のようにすることで、オブジェクト画像LOG120とオブジェクト画像ROG120とは最大差分ベクトルと同じ大きさ│V120│を有する視差とすることができる。
【0092】
<特定された最大差分ベクトルが引っ込みベクトルであった場合>
図13に、ステップS104で特定された最大差分ベクトルが引っ込みベクトルであった場合のオブジェクト画像の付与を説明するための図を示す。
【0093】
図13(a)は、オブジェクト画像OG130を重畳する位置としてオブジェクト画像記録部125に予め記録された位置にオブジェクト画像OG130を重畳する場合の例を示す図である。なお、オブジェクト画像記録部125は、オブジェクト画像OG130の重畳位置として、左眼用撮影画像及び右眼用撮影画像何れに対しても同じ位置を記録しているのは上述の飛び出しベクトルの場合と同様である。
図13(b)はオブジェクト画像重畳部124がオブジェクト画像LOG130を左眼用撮影画像LG130に付与する場合の例を示す図であり、図13(c)はオブジェクト画像重畳部124がオブジェクト画像ROG130を右眼用撮影画像RG130に付与する場合の例を示す図である。
【0094】
ユーザが操作部142の図示しないボタン等により、オブジェクト画像の視差を最大差分ベクトルと同じにすることを選択していた場合、図13(b)に示すように、ステップS104で特定された最大差分ベクトルの大きさを│V130│とすると、オブジェクト画像重畳部124は、左眼用撮影画像LG130ではオブジェクト画像LOG130を│V130│/2の大きさだけ、左側にずらして重畳する。そして、図13(c)に示すように、右眼用撮影画像RG130ではオブジェクト画像重畳部124は、オブジェクト画像ROG130を│V130│/2の大きさだけ、右側にずらして重畳する。以上のようにすることで、オブジェクト画像LOG130とオブジェクト画像ROG130とは最大差分ベクトルと同じ大きさ│V130│を有する視差とすることができる。
【0095】
ユーザが操作部142の図示しないボタン等により、オブジェクト画像の視差をゼロとすることを選択していた場合は、オブジェクト画像重畳部124は、左眼用撮影画像及び右眼用撮影画像のそれぞれに対し、オブジェクト画像記録部126が予め記録している位置にオブジェクト画像LOG130及びROG130を付与する。これにより、オブジェクト画像は左眼用撮影画像及び右眼用撮影画像の同じ位置に付されることとなり、オブジェクト画像は丁度表示面上にあるかのように知覚されることとなる。
【0096】
<特定された最大差分ベクトルがゼロであった場合>
ステップS104で特定された最大差分ベクトルがゼロであった場合、オブジェクト画像重畳部124は、左眼用撮影画像及び右眼用撮影画像のそれぞれに対し、オブジェクト画像記録部125が予め記録している位置にオブジェクト画像を付与する。これにより、オブジェクト画像は左眼用撮影画像及び右眼用撮影画像の同じ位置に付されることとなり、オブジェクト画像は丁度表示面上にあるかのように知覚されることとなる。
【0097】
以上に述べたオブジェクト画像の付与が各エリア毎に行われるため、表示面に対して前方に飛び出しているかのように知覚される被写体画像の近辺に表示されるオブジェクト画像は、同じく表示面に対して前方に飛び出しているかのように知覚されることとなる。表示面に対して後方に引っ込んでいるかのように知覚される被写体画像又は丁度表示面上にあるかのように知覚される被写体画像の近辺にあるオブジェクト画像についても同様に、それぞれ表示面に対して後方に引っ込んでいるかのように、又は丁度表示面にあるかのように知覚されることとなる。
【0098】
図5に戻り、ユーザが操作部142の図示しない録画ボタンを離す、撮像装置1の電源を切る等すると本処理は終了する。
【0099】
以上の通り、撮像装置1によれば、3Dで表示される撮影画像等にオブジェクト画像を重畳して表示する場合に、そのオブジェクト画像の前方への飛び出し度合いや後方への引っ込み度合いを、これらが重畳される3D画像の各エリア毎の視差に応じて調整することができる。従って、オブジェクト画像とその近辺に表示される被写体画像との間で知覚される立体感の落差を抑制することができ、観察者に負担を掛けずにオブジェクト画像を3Dで表示することができる。
【0100】
なお、上記の例では最大差分ベクトルが飛び出しベクトルであった場合、引っ込みベクトルであった場合、及びゼロであった場合のそれぞれに応じて、重畳するオブジェクト画像の視差に異なる処理を施したが、撮像装置1は、各エリア内の飛び出しベクトルの中で最も大きな差分ベクトルと同じ視差を有するようにオブジェクト画像を重畳するようにしてもよい。このようにすることで、撮像装置1は、エリア毎の視差を考慮しつつ、常にオブジェクト画像を飛び出しているかのように知覚できるものとすることができる。
【0101】
以上の通り、図1に記載した撮像装置1を例として本発明の実施形態を説明したが、本発明に係る画像処理装置の実施形態として撮像装置に限定されるわけではなく、据置き型の記録装置のように撮像機能を有していない機器おいても撮像データの記録や再生の際に同様の処理が可能であることは言うまでもない。
【符号の説明】
【0102】
1 撮像装置
121 視差算出部
122 視差存在エリア特定部
123 視差決定部
124 オブジェクト画像重畳部
125 オブジェクト画像記録部
133 SDRAM
137 カードI/F
138 カード型記録媒体
139 入出力I/F
140 液晶モニタ
【技術分野】
【0001】
本発明は3D画像処理装置に関し、より詳細には、3D画像内のエリア毎の視差に応じて、その3D画像に重畳するオブジェクト画像を適切に表示する3D画像処理装置に関する。
【背景技術】
【0002】
近年、水平方向に視差を有する2つの画像が左眼用画像及び右眼用画像として同一ディスプレイ上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された被写体があたかも立体的に存在するかのように知覚できる3D画像に関する技術の開発が盛んに行われている。
【0003】
3D画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像がディスプレイ上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて左眼で左眼用画像を、右眼で右眼用画像をそれぞれ独立して観察する方式がよく知られている。
また、左眼用画像及び右眼用画像それぞれが交互にディスプレイ上に表示され、観察者が左右の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて左眼で左眼用画像を、右眼で右眼用画像をそれぞれ独立して観察する方式等もよく知られている。
【0004】
これらの3D画像に関する技術では、観察者から見て3D画像中の被写体画像が、表示面に対しどの程度前方に飛び出しているように知覚されるか、又は表示面に対しどの程度後方に引っ込んでいるように知覚されるかは、左眼用画像と右眼用画像との間の水平方向の視差によって決定される。
【0005】
ここで、3D画像においても通常の2D画像と同様に、例えば時刻を示す文字画像、機器の各種設定を視覚的に示す図形画像、或はその各種設定をユーザが選択するためのメニュー画像等を重畳して表示することがある。その際、3D画像中の被写体の前方への飛び出し度合い又は後方への引っ込み度合いと、上記文字画像等の前方への飛び出し度合い又は後方への引き込み度合いとの間に大きな差がある場合、その二つの画像の立体感の差は観察者に大きな負担をかけ、眼精疲労や画像酔いの原因となることが指摘されている。
例えば、一部の被写体画像は前方に大きく飛び出しているにもかかわらず、その被写体近辺に表示される文字画像が後方に大きく引っ込んで表示されるような場合である。
【0006】
そこで、3D画像の表示において、観察者に負担をかけずに文字画像等を重畳して表示する技術が盛んに開発されている。
例えば、特許文献1には、3D画像上に翻訳の字幕画像を重畳して表示する際に、その字幕画像が常に最大深度値を有するよう(最も後方に引っ込んだ位置で知覚されるよう)に調整する技術が開示されている。
また、特許文献2には、左眼用画像と右眼用画像の立体度を算出し、その算出された立体度に基づきメニュー画像の前方への飛び出し度合い、又は後方への引っ込み度合いを決定し、そのメニュー画像を決定された立体度を有するように重畳して表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特表2010−521738号公報
【特許文献2】特開2010−130495号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、特許文献1に記載の技術では、字幕画像は、常に後方に最も引っ込んだ状態で知覚されることから、3D画像中に、字幕画像と同じ引っ込み度合いを有する被写体画像の他に飛び出し度合いの大きな被写体が含まれていた場合に、字幕画像とその飛び出した被写体画像との間で知覚される立体感の差が大きく、観察者に大きな負担を掛ける可能性があることが推察される。
また、特許文献2に記載の技術では、メニュー画像を立体的に表示することはできるものの、表示する画像内における、そのメニュー画像を表示するエリアと立体度の算出に使用された被写体画像(或は字幕又はテロップ画像)を表示するエリアとの関係を考慮していない。従って、例えばメニュー画像が表示面に対し前方に大きく飛び出しているにもかかわらず、立体度の算出に使用されなかった被写体画像がメニュー画像の近辺で大きく後方に引っ込んでいる場合等は、上記特許文献1と同様に観察者に大きな負担を掛ける可能性があることが推察される。
【0009】
本発明はこのような問題に鑑みてなされたものであり、3D画像に文字画像、図形画像、或は文字と図形の組み合わされたメニュー画像等(以下、これらの画像を「オブジェクト画像」という)を重畳して表示する場合に、これらオブジェクト画像等の前方への飛び出し度合いや後方への引っ込み度合いを、これらが重畳される3D画像の各エリアの視差に応じて調整する3D画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
前記目的を達成するために、本発明は、第一の画像と第二の画像とを記録する記録部(133)と、前記第一の画像と前記第二の画像のそれぞれに重畳するオブジェクト画像を記録するオブジェクト画像記録部(125)と、前記第一の画像中の被写体画像と前記第二の画像中の被写体画像との間の視差を算出する視差算出部(121)と、前記第一の画像と前記第二の画像とで形成される3D画像を複数のエリアに分割し、前記視差算出部が算出した前記視差が、その分割された複数のエリアのうちのどのエリアに存在するのかを特定する視差存在エリア特定部(122)と、前記視差存在エリアが分割した前記エリアの少なくとも一つに前記オブジェクト画像を重畳する場合に、前記オブジェクト画像を重畳するエリアにあると特定された前記視差に基づいてその重畳するオブジェクト画像の視差を決定する視差決定部(123)と、前記視差決定部が決定した前記視差を有するように前記第一の画像及び前記第二の画像に前記オブジェクト画像を重畳するオブジェクト画像重畳部(124)と、前記オブジェクト画像が重畳された前記第一の画像及び前記第二の画像を3D画像として出力する出力部(139)と
を備えることを特徴とする3D画像処理装置を提供する。
【0011】
前記視差決定部(123)は、前記オブジェクト画像を重畳するエリアにあると特定された前記視差のうち、最も大きい視差と同一の視差を有するようにそのオブジェクト画像の視差を決定するようにしてもよい。
【0012】
前記視差決定部(123)は、前記オブジェクト画像を重畳するエリアにあると特定された前記視差のうち、最も大きい視差が前記被写体画像を前方に飛び出しているかのように知覚させるものである場合は、その算出された視差と同一の視差を有するようにそのオブジェするようにしてもよい。
【0013】
前記視差存在エリア特定部(122)は、前記3D画像を水平又は垂直方向に少なくとも2つのエリアに分割するようにしてもよい。
【発明の効果】
【0014】
本発明によれば、3D画像にオブジェクト画像を重畳して表示する場合に、そのオブジェクト画像の前方への飛び出し度合いや後方への引っ込み度合いを、これらが重畳される3D画像の各エリア毎の視差に応じて調整することができる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態に係る撮像装置1の構成を示す図である。
【図2】撮像装置1の液晶モニタ140の構成を示す図である。
【図3】撮像装置1が表示するオブジェクト画像の例を説明する図である。
【図4】左右眼画像それぞれにおける被写体画像又はオブジェクト画像の表示位置と立体感との関係を示す概念図である。
【図5】撮像装置1による3D画像へのオブジェクト画像の重畳処理について説明するフローチャートである。
【図6】撮像装置1の視差算出部121による左眼用画像及び右眼用画像の視差の算出を説明するための図である。
【図7】3D画像を垂直方向に2つのエリアに分割した場合の、差分ベクトルの含まれるエリアを特定する処理を説明するための図である。
【図8】3D画像を水平方向に2つのエリアに分割した場合の、差分ベクトルの含まれるエリアを特定する処理を説明するための図である。
【図9】3D画像を水平方向に2つのエリアに分割した場合に、左右両方のエリアに含まれる差分ベクトルを説明する概念図である。
【図10】3D画像を水平方向及び垂直方向に4つのエリアに分割した場合の、差分ベクトルの含まれるエリアを特定する処理を説明するための図である。
【図11】最大差分ベクトルの特定を説明するための概念図である。
【図12】最大差分ベクトルが飛び出しベクトルであった場合のオブジェクト画像の付与を説明するための図である。
【図13】最大差分ベクトルが引っ込みベクトルであった場合のオブジェクト画像の付与を説明するための図である。
【発明を実施するための形態】
【0016】
以下に図面を参照しながら、本発明に係る3D画像処理装置の好適な実施形態を説明する。
なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素に関し同一の符号を付すことにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。
【0017】
図1は、本発明の実施形態に係る撮像装置(デジタルビデオカメラ)1の内部構成の例を示すブロック図である。撮像装置1は動画及び静止画を撮影することができる。
なお、本実施形態に係る撮像装置では二つの撮像部を有し、それぞれの光軸のなす輻輳角を調整できる構成としているが、両光軸が平行となるように固定され輻輳角を調整できない撮像装置においても本発明は採用できる。また、本発明は、デジタルスチルカメラをはじめ、携帯電話、PHS(Personal Handyphone System)、PDA(Personal Digital Assistant)等、撮影が可能なその他の電子機器においても採用することができる。
【0018】
CPU120は、撮影、表示、記録等の撮像装置1全体の動作を統括制御する。また、CPU120は、操作部142からの入力に基づき所定の制御プログラムに従って各部を制御する。
【0019】
撮像装置1には、左右一対の左眼用画像撮像部L100及び右眼用画像撮像部R100が、人の眼の間隔より少し短い所定の間隔(例えば6.25cm)離れて設置されている。左眼用画像撮像部L100及び右眼用画像撮像部R100は、それぞれズームレンズL101及びR101、フォーカスレンズL102及びR102、絞りL103及びR103、並びに固体撮像素子L104及びR104を備える。
【0020】
ズームレンズL101及びR101は、図示しないズームアクチュエータによって光軸AL100及びAR100に沿って移動する。フォーカスレンズL102及びR102は、図示しないフォーカスアクチュエータによって光軸AL100及びAR100に沿って移動する。絞りL103及びR103は、図示しない絞りアクチュエータに駆動されて動作する。
【0021】
左眼用画像撮像部L100及び右眼用撮像部R100は輻輳角アクチュエータL109及びR109とそれぞれ接続されており、輻輳角アクチュエータL109及びR109はCPU120から指令を受けて、両撮像部を駆動し、光軸AL100とAR100とのなす輻輳角を調整する。
【0022】
ROM131はバス130を介してCPU120に接続されており、CPU120が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュROM132は、ユーザの設定情報等、撮像装置1の動作に関する各種設定情報を格納している。例えば、撮像装置1には静止画撮影のための静止画撮影モードと動画撮影のための動画撮影モードの2種類の撮影モードを備えており、フラッシュROM132はこれらのモードに関する各種設定情報を記録している。SDRAM133は、CPU120の演算作業領域として使用されるとともに、画像データの一時記憶領域としても使用される。VRAM134は、表示用の画像データの一時記憶領域として使用される。
【0023】
撮影装置1を用いた3D画像の撮影は以下の手順で行われる。左眼用の固体撮像素子L104及び右眼用の固体撮像素子R104がそれぞれ、左眼用画像撮像部L100と右眼用撮像部R100とを通過した光を光電変換して、左右それぞれの被写体のアナログ撮像信号を生成する。アナログ信号処理部L105及びR105が両アナログ撮像信号を増幅した後、A/D変換器L106及びR106がその増幅された信号をデジタルデータに変換する。画像入力コントローラL107及びR107は、A/D変換機L106及びR106から出力されたデジタルデータを取り込んで、SDRAM133に格納する。
【0024】
デジタル信号処理部L108及びR108は、CPU120からの指令に基づき、SDRAM133に格納されたデジタルデータを取り込み、所定の信号処理を施して輝度信号と色差信号とからなる信号を生成する。デジタル信号処理部L108及びR108はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、RGB補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
【0025】
圧縮・伸張処理部135、メディア制御部136、カードI/F137及び入出力I/F139はデータバス130に接続されている。
【0026】
圧縮・伸張処理部135は、CPU120からの指令に従い、SDRAM133に格納されたデータに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、CPU120からの指令に従い、カード型記録媒体138に入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮画像データを生成する。
なお、本実施の形態の撮像装置1では、静止画に対してはJPEG規格に準拠した圧縮方式が、動画に対してはMPEG2規格やAVC/H.264規格に準拠した圧縮方式が採用される。
【0027】
メディア制御部136は、CPU120からの指令に従い、カードI/F137を通じてカード型記録媒体138に対するデータの書き込み、またはカード型記録媒体138からのデータの読み出しを制御する。
【0028】
視差算出部121、視差存在エリア特定部122、視差決定部123、オブジェクト画像重畳部124、及びオブジェクト画像記録部125はそれぞれCPU120と接続されており、後述する3D画像へのオブジェクト画像の重畳処理を行う。
【0029】
オブジェクト画像記録部125には撮影画像等に重畳する各種オブジェクト画像データとその重畳位置が予め記録されている。例えば静止画撮影モード又は動画撮影モードを視覚的に示すための図形データや、撮像装置1の備える図示しない電池の残量を視覚的に示す図形データ等とそれらに関する2D表示又は3D表示の別に応じて予め定められた重畳位置に関する情報が記録されている。
【0030】
液晶モニタ140、スピーカ141、操作部142及び入出力端子143は入出力I/F139に接続されている。
【0031】
図2は、3D画像を表示可能な液晶モニタ140の構造の例を説明するための図である。図2においては、撮像装置1の通常の使用姿勢における液晶モニタ140に対して、水平方向をX軸、垂直方向をY軸、及び液晶モニタ140の直交
方向をZ軸として以下を説明する。
液晶モニタ140と観察者の左眼LE20及び右眼RE20の間には、レンチキュラ・レンズLL20が設置されている。このレンチキュラ・レンズLL20は、複数の円筒状凸レンズを図2のX軸方向に連ねることで構成されている。
【0032】
液晶モニタ140に表示される3D画像の表示領域は、左眼用短冊画像表示領域Lと右眼用短冊画像表示領域Rとから構成されている。左眼用短冊画像表示領域L及び右眼用短冊画像表示領域Rは、それぞれ図2のZ軸方向に細長い短冊形状をしており、X軸方向に交互に配置されている。
レンチキュラ・レンズLL20を構成する各凸レンズは、観察者の所定の観察点を基準として、それぞれ一組の左眼用短冊画像表示領域L及び右眼用短冊画像表示領域Rを含む各短冊集合画像領域に対応した位置に形成される。
【0033】
そして、レンチキュラ・レンズLL20を構成する各凸レンズは、観察者の左眼LE20には液晶モニタ140の左眼用短冊画像表示領域Lに表示された左眼用短冊画像が入射され、観察者の右眼RE20には液晶モニタ140の右眼用短冊画像表示領域Rに表示された右眼用短冊画像が入射されるように、その曲率等が設定される。
【0034】
従って、観察者の左眼は左眼用短冊画像のみを、右眼は右眼用短冊画像のみを観察することになり、撮像装置1によって撮影している画像を、液晶モニタ140を通じて3D画像として知覚することができる。
【0035】
なお、3D画像の表示のための液晶モニタ140の構造として、図2に基づきレンチキュラ方式を用いた場合の例を説明したが、本発明はレンチキュラ方式には限定されず、視差バリア方式や光方向制御方式等、3D画像表示のための別方式を採用することもできる。
液晶モニタ140は、撮影画像を3Dで表示するだけでなく、左眼用画像又は右眼用画像のいずれか一方を2Dで表示することもできる。また、左右眼画像の両方をいわゆるサイド・バイ・サイド方式で、二つ並べて2Dで表示することもできる。
【0036】
操作部142は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ140上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置1への操作入力を受け付ける。
入出力端子143は、図示しないテレビモニタやPC(Personal Computer)等に接続される。
【0037】
次に、図3に、撮像装置1が撮影画像PG30を、液晶モニタ140にスルー画像又は録画中の画像として表示する際に、この撮影画像P30に重畳して表示するオブジェクト画像の例を示す。
なお、図3では左眼用撮像系L100又は右眼用撮像系R100の何れか一方で取得された撮影画像PG30を2D画像として液晶モニタ141に表示する場合を例に挙げ、各オブジェクト画像について説明するが、3D画像を表示する際も同様の画像が使用される。
【0038】
撮像装置1は、上述した通り動画を撮影する動画モードと静止画を撮影する静止画モードを備えており、OG31は、撮影が動画モードで行われていることを示すオブジェクト画像である。OG32は、図1には図示しない電池の残量をユーザに知らせるオブジェクト画像である。また、OG33は、ユーザが操作部142の図示しない録画ボタンを押し、撮像装置1が撮影を開始している旨をユーザに知らせるオブジェクト画像である。そして、OG34は、録画が継続されている時間をユーザに知らせるためのオブジェクト画像である。
【0039】
これらのオブジェクト画像OG31〜OG34は、オブジェクト画像記録部125に記録されており、液晶モニタ140に表示される画像が2Dであるか、3Dであるかに応じて、2D又は3Dで表示されることになる。
なお、図3において示した各種オブジェクト画像OG31〜OG34及びその重畳位置は、撮像装置1が表示することができるオブジェクト画像の例示であり、その他の画像を任意の位置に表示することもできることは言うまでもない。
【0040】
次に図4を参照して、液晶モニタ140又は入出力端子を介して接続される外部モニタに表示される左眼用画像中及び右眼用画像中の被写体画像又はオブジェクト画像に関し、左眼用画像と右眼用画像との間の視差と、モニタの表示面に対する前方への飛び出し又は後方への引っ込み等の関係を説明する。
【0041】
図4において、液晶モニタ140又は入出力端子143を介して接続される外部モニタの表示面をDP40、観察者と表示面DP40の距離をDとし、観察者の左眼LE40と右眼RE40の距離をEとする。
【0042】
図4(a)において、表示面DP40上の左眼用画像中の被写体画像等の表示位置をLf、右眼用画像中の被写体画像等の表示位置をRfとすると、観察者が左眼LE40でLf、右眼RE40でRfを観察した場合、両被写体画像等はPfの位置で結像する。これにより3D画像では、観察者からは被写体画像等が表示面DP40に対して前方に飛び出しているかのように知覚されることになる。
【0043】
このとき、像LfとRfの視差をVfとすると、表示面DP40から結像位置Pfまでの距離Zfは以下の式(1)の通りとなる。
【0044】
(E+Vf)Zf=D・Vf ・・・(1)
【0045】
図4(b)において、表示面DP40上における被写体画像等の左眼画像中の表示位置と、右眼画像中の表示位置が同一となった場合、被写体画像等は表示面D40上のPcで結像する。これにより3D画像では、観察者は被写体等が表示面DP40上に表示されているかのように知覚することになる。
【0046】
図4(c)において、表示面DP40上の左眼用画像中の被写体画像等の表示位置をLb、右眼用画像中の被写体画像等の位置をRbとすると、観察者が左眼LE40でLb、右眼RE40でRbを観察した場合、被写体画像等はPbの位置で結像する。これにより3D画像では、観察者からは被写体画像等が表示面DP80に対して後方に引っ込んでいるかのように知覚されることになる。
【0047】
このとき、像LbとRbの視差をVfとすると、表示面DP40から結像位置までの距離Zfは以下の式(2)の通りとなる。
【0048】
(E−Vb)Zb=D・Vb ・・・(2)
【0049】
以上のように、3D画像表示においては、左眼用画像及び右眼用画像のそれぞれにおける被写体画像又はオブジェクト画像の間の視差が、その前方への飛び出し度合い又は後方への引っ込み度合いに影響を与えることがわかる。
【0050】
<オブジェクト画像の重畳処理>
次に、撮像装置1による3D画像へのオブジェクト画像の重畳処理について、フローチャートを参照して説明する。
図5は撮像装置1が、複数に分割された3D画像の各エリア毎に、被写体画像の前方への飛び出し又は後方への引っ込み等を特定し、その特定に基づいてオブジェクト画像を重畳する処理を説明するためのフローチャートである。
【0051】
本処理は、ユーザが操作部142の図示しない録画ボタンを押したとき、図1のCPU120の統括制御によりプログラムに従い実行される。また、ユーザが撮像装置1の電源を入れ、操作部142の図示しないボタン等を使用して撮影モードを選択したとき、或は録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【0052】
上述の通り、左眼用の固体撮像素子L104及び右眼用の固体撮像素子R104を介して、左眼用撮影画像データ及び右眼用撮影画像データがそれぞれSDRAM133に一時記録される(ステップS101)。
【0053】
次に視差算出部121が、ステップS101で一時記録された左眼用撮影画像データ及び右眼用撮影画像データの間の視差を算出する(ステップS102)。
この視差の算出には、様々な既存のアルゴリズムを適用することができるが、例えば、MPEGにおける同一の被写体がフレーム間でどれだけ動いたかを特定する、いわゆる動きベクトルを算出するアルゴリズムを応用した手法が考えられる。
【0054】
動画圧縮技術であるMPEGにおいては、ブロックマッチングに基づいて動きベクトルを検出するアルゴリズムが用いられる。ここで、動きベクトルとは2つのフレームデータ間における同一被写体の変位をベクトルで表したものである。
現在のフレームデータと過去のフレームデータとを比較し、同一の大きさで最も類似したブロックをそれぞれから抽出し、両者の位置関係から動きベクトルを算出する。
【0055】
視差算出部121は、上記動きベクトル算出のアルゴリズムを利用して、左眼用撮影画像データ及び右眼用撮影画像データにおける同一被写体画像データを特定し、その同一被写体画像データについて、点対点、画素対画素で対応する点を左眼用撮影画像データ及び右眼用撮影画像データから抽出し、それらの差分ベクトルを左眼用画像及び右眼用画像における被写体画像の視差として算出する。
【0056】
より詳細には、図6に示すように、視差算出部121は、左眼用撮影画像LP60中の被写体画像LS61及びLS62と同一の被写体として右眼用画像RP60中の被写体画像RS61及びRS62を特定する。次に、視差算出部121は、左眼用撮影画像中LP60中の被写体画像LS61から基準点LM61、被写体画像LP62から基準点LM62を抽出する。そして、視差算出部121は、右眼用撮影画像RP60から、基準点LM61に対応する対応点RM61、及び基準点LM62に対応する対応点RM62を抽出し、基準点LM61と対応点RM61との間の差分ベクトルV61、及び基準点LM62と対応点RM62との間の差分ベクトルV62をそれぞれの被写体画像の視差として算出する。
なお、視差算出部は右眼用撮影画像から基準点を、左眼用撮影画像から対応点を抽出し、差分ベクトルを算出することもできる。
【0057】
ステップS102で、左眼用撮影画像及び右眼用撮影画像中の被写体の差分ベクトルが算出されると、次に視差存在エリア特定部122が、その差分ベクトルが3D画像を分割した複数のエリアのうち、どのエリアに含まれるのかを特定する(ステップS103)。
ここで、3D画像の複数のエリアへの分割には、垂直方向に2つのエリアに分割する場合、水平方向に2つのエリアに分割する場合、又は水平方向及び垂直方向に分割し計4つのエリアに分割する場合が例として考えられる。撮像装置1では、表示するオブジェクト画像の数や位置に応じて、これら3種類のエリアの分割方法を切り換えて使用することになる。以下に、それぞれの場合において、差分ベクトルが含まれるエリアを特定する処理について述べる。
【0058】
<垂直方向に2つのエリアに分割して特定する処理>
視差存在エリア特定部122は、図7に示すように左眼用撮影画像LP60及び右眼用撮影画像RP60をそれぞれHL1及びHL2で垂直方向に仕切られる上下二つのエリアにそれぞれ分割する。
上下の各エリアの面積の比率は、予めROM131に記録されているものを用いることができる。例えば、上側のエリアと下側のエリアの比率が5:5、すなわちL1とL2、及びL3とL4の比率がともに5:5となるような比率を予め記録されているものとして使用する。一方で、この割合は、ユーザが操作部142の図示しないボタン等を使用して任意に変更できるようにしてもよいし、撮影状況に応じて予め設定されている各種撮影モード毎、或は表示するオブジェクト画像の数に応じて可変としてもよい。
【0059】
図7に示す例では、左眼用撮影画像LP60における被写体画像LS61の基準点LM61と、右眼用撮影画像RP60における被写体画像RS61の対応点RM61との間の差分ベクトルV61は3D画像中の下側のエリア内に存在すると特定される。また、左眼用撮影画像LP60の被写体画像LS62の基準点LM62と、右眼用撮影画像RP60の被写体画像RS62の対応点RM62との間の差分ベクトルV62は3D画像中の上側のエリア内に存在すると特定される。
【0060】
<水平方向に2つのエリアに分割して特定する処理>
視差存在エリア特定部122は、図8に示すように左眼用撮影画像LP60及び右眼用撮影画像RP60をそれぞれVL1及びVL2で水平方向に仕切られる左右二つのエリアにそれぞれ分割する。
左右の各エリアの面積の比率は、予めROM131に記録されているものを用いることができる。例えば、左側のエリアと右側のエリアの比率が5:5、すなわちL5とL6、及びL7とL8の比率がともに5:5となるような比率を予め記録されているものとして使用する。一方で、この割合は、ユーザが操作部142の図示しないボタン等を使用して任意に変更できるようにしてもよいし、撮影状況に応じて予め設定されている各種撮影モード毎等によって可変としてもよいのは上記垂直方向のエリアに分割する場合と同様である。
【0061】
図8に示す例では、左眼用撮影画像LP60における被写体画像LS61の基準点LM61と、右眼用撮影画像RP60における被写体画像RS61の対応点RM61との間の差分ベクトルV61は3D画像中の左側のエリア内に存在すると特定される。また、左眼用撮影画像LP60の被写体画像LS62の基準点LM62と、右眼用撮影画像RP60の被写体画像RS62の対応点RM62との間の差分ベクトルV62は3D画像中の右側のエリア内に存在すると特定される。
【0062】
なお、左眼用撮影画像と右眼用撮影画像との間の差分ベクトルは水平方向のベクトルであることから、水平方向にエリアを分割した場合は、差分ベクトルが左右両方のエリアに含まれることがある。この場合は、各エリアに含まれる差分ベクトルの大きさに応じて、その差分ベクトルが何れのエリアに含まれるものとするかが決定される。
【0063】
図9に、差分ベクトルが左右両方のエリアに含まれる場合について説明するための概念図を示す。3D画像P90は、VL3で水平方向に、左側エリアLA90及び右側エリアRA90の2つのエリアに分割される。
ここで、差分ベクトルV91の大きさをva91とし、そのうち左側エリアLA90に含まれる大きさをlva91、右側エリアRA90に含まれる大きさをrva91とすると、lva91とrva91は以下の関係となる。
【0064】
lva91>rva91
【0065】
この場合、視差存在エリア特定部122は、差分ベクトルV91は左側エリアLA90に含まれるものと特定する。
【0066】
差分ベクトルV92の大きさをva92とし、そのうち左側エリアLA90に含まれる大きさをlva92、右側エリアRA90に含まれる大きさをrva92とすると、lva92とrva92は以下の関係となる。
【0067】
lva92<rva92
【0068】
この場合、視差存在エリア特定部122は、差分ベクトルV92は右側エリアRA90に含まれるものと特定する。
【0069】
差分ベクトルV93の大きさをva93とし、そのうち左側エリアLA90に含まれる大きさをlva93、右側エリアRA90に含まれる大きさをrva93とすると、lva93とrva93が以下の関係となった場合は、差分ベクトルV93は、左側エリアLA90と右側エリアRA90の何れにも含まれるものとして、特定される。
【0070】
lva92=rva92
【0071】
なお、上記に限らず、操作部142によるユーザの設定、又は撮影モードや表示するオブジェクト画像の種類や数に応じて、左右の2つのエリアに含まれる差分ベクトルに関しては、その両方の領域に含まれているものと特定してもよい。
【0072】
<水平方向及び垂直方向の4つのエリアに分割して特定する処理>
視差存在エリア特定部122は、図10に示すように左眼用撮影画像LP60及び右眼用撮影画像RP60をそれぞれHL4及びHL5で水平方向に、VL3及びVL4で垂直方向に仕切り、上下左右の計4つのエリアにそれぞれ分割する。
このエリア分割の割合は、上述の水平方向のエリアの分割又は垂直方向のエリアの分割と同様に、予めROM131に記録されているものを用いる、或はユーザが操作部142の図示しないボタン等を使用して任意に変更できるようにする。
【0073】
図10に示す例では、左眼用撮影画像LP60における被写体画像LS61の基準点LM61と、右眼用撮影画像RP60における被写体画像RS61の対応点RM61との間の差分ベクトルV61は3D画像中の左下側のエリア内に存在すると特定される。また、左眼用撮影画像LP60の被写体画像LS62の基準点LM62と、右眼用撮影画像RP60の被写体画像RS62の対応点RM62との間の差分ベクトルV62は3D画像中の右上側のエリア内に存在すると特定される。
【0074】
なお、差分ベクトルが左右のエリアにまたがって含まれることがある点は、上述の左右のエリア分割で述べたのと同様である。従って、その場合は同様に、差分ベクトルの大きさに応じて、その差分ベクトルがどのエリアに含まれるのかを決定する。
【0075】
ステップS103で各差分ベクトルの存在するエリアが特定されると、視差決定部123が、左眼用画像及び右眼用画像のそれぞれに重畳するオブジェクト画像間の視差を決定する(ステップS104)。このオブジェクト画像間の視差の決定の処理は、具体的には以下のように行われる。
【0076】
視差決定部123は、まず、上記ステップS103で差分ベクトルが特定されたエリア毎に、そのエリアに含まれる差分ベクトルの大きさが最も大きい差分ベクトル(以下、「最大差分ベクトル」という。)を特定する。図11にこの最大差分ベクトルの特定を説明するための概念図を示す。
図11では、3D画像P110が水平方向及び垂直方向に4つのエリア、A101、A102、A103、及びA104に分割された場合の、左上側のエリアA101を例に説明するが、他の3つのエリアでも同様の処理が行われ、また3D画像が水平方向又は垂直方向の2つのエリアに分割された場合の各エリアについても同様の処理が行われる。
【0077】
図11に示すように、差分ベクトルV101、差分ベクトルV102、及び差分ベクトルV103の大きさは、以下の関係となっている。
【0078】
│V101│>│V102│>│V103│
【0079】
この場合、視差決定部123は、差分ベクトルV101を、エリアA100に含まれる最大差分ベクトルとして特定する。
【0080】
エリア内の最大差分ベクトルが特定されると、視差決定部123は特定された最大差分ベクトルの向きが、左眼用撮影画像中の基準点から右眼用撮影画像中の対応点への向きなのか、右眼用撮影画像中の対応点から左眼用撮影画像中の基準点への向きなのか、或はゼロなのかに応じて、以下に詳述する処理を行う。
【0081】
最大差分ベクトルの向きが、左眼用撮影画像中の基準点から右眼用撮影画像中の対応点への向きであった場合(以下、この場合の最大差分ベクトルを「飛び出しベクトル」という。)、表示面における基準点及び対応点の位置は、上述の図3(a)で説明した関係となる。すなわち、それら基準点及び対応点を有する被写体の像は、観察者からみて表示面に対し前方に飛び出しているかのように知覚される位置に結像する関係となる。
この場合、視差決定部123は重畳するオブジェクト画像の視差を、特定された最大差分ベクトルと同じ向き、同じ大きさの差分ベクトルとして決定する。
【0082】
以上のようにオブジェクト画像の視差を決定することで、3D画像中で前方に飛び出している被写体の近傍に表示されるオブジェクト画像は、その被写体と同程度前方に飛び出しているかのように知覚されることとなり、観察者の負担を軽減することができる。
【0083】
最大差分ベクトルの向きが、右眼用撮影画像中の対応点から左眼用撮影画像中の基準点への向きであった場合(以下、この場合の最大差分ベクトルを「引っ込みベクトル」という。)、上述の図4(c)で説明した関係となる。すなわち、それら基準点及び対応点を有する被写体の像は、観察者からみて表示面に対し後方に引っ込んでいるかのように知覚される位置に結像する関係となる。
この場合、視差決定部123は、ユーザの好みに応じて、重畳するオブジェクト画像の視差を、特定された最大差分ベクトルと同じ向き及び大きさの差分ベクトルとする、或は差分ベクトルをゼロとする。なお、このユーザの好みは、操作部142の図示しないボタン等を使用して、事前に設定されるものとする。
【0084】
3D画像において、表示面に対し後方に引っ込んでいるかのように知覚される像の観察は、前方に飛び出しているかのように知覚される像の観察よりも、観察者に与える付加が大きいとされている。人間の両目はある程度内側に寄せることはできるが、外側に開くことはできないためである(「人に優しい3D普及のための3DC安全ガイドライン」 3Dコンソーシアム安全ガイドライン部会発行 2010年4月20日改訂版)。
【0085】
以上のように、後方に引っ込んでいる被写体画像の近辺に表示されるオブジェクト画像については、同程度後方に引っ込ませるか、立体感をつけず表示面上に表示するかを、ユーザが任意に選択することができるようにすることで、後方に引っ込んだ画像に基づく観察者の負担を軽減することができる。
【0086】
最大差分ベクトルが、ゼロであった場合、表示面における基準点及び対応点の位置は、上述の図4(b)で説明した関係となる。すなわち、それら基準点及び対応点を有する被写体の像は、観察者からみて丁度表示面上に知覚される位置に結像する関係となる。
この場合、視差決定部123は重畳するオブジェクト画像の視差をゼロ、すなわち差分ベクトルがゼロとなるように決定する。
【0087】
以上のようにオブジェクト画像の視差を決定することで、3D画像中で丁度画面上で近くされる被写体の近傍に表示されるオブジェクト画像は、同じく丁度画面上にあるかのように知覚されることとなり、観察者の負担を軽減することができる。
【0088】
ステップS104で、各エリアにオブジェクト画像を重畳する際の、そのオブジェクト画像の視差が決定されると、オブジェクト画像重畳部124はオブジェクト画像記録部125に記録されたオブジェクト画像を、この算出された視差に基づいて左眼用撮影画像及び右眼用撮影画像それぞれに重畳する(ステップS105)。このオブジェクト画像の重畳は、ステップS104で特定された最大差分ベクトルが、飛び出しベクトルなのか、引っ込みベクトルなのか、又はゼロなのかに応じて、以下のように行われる。
【0089】
<特定された最大差分ベクトルが飛び出しベクトルであった場合>
図12に、ステップS104で特定された最大差分ベクトルが飛び出しベクトルであった場合のオブジェクト画像の付与を説明するための図を示す。
【0090】
図12(a)は、オブジェクト画像OG120を重畳する位置としてオブジェクト画像記録部125に予め記録された位置にオブジェクト画像OG120を重畳する場合の例を示す図である。なお、オブジェクト画像記録部125は、オブジェクト画像の重畳位置として、左眼用撮影画像及び右眼用撮影画像何れに対しても同じ位置を記録している。
図12(b)はオブジェクト画像重畳部124がオブジェクト画像LOG120を左眼用撮影画像LG120に付与する場合の例を示す図であり、図12(c)はオブジェクト画像重畳部124がオブジェクト画像ROG120を右眼用撮影画像RG120に付与する場合の例を示す図である。
【0091】
図12(b)に示すように、ステップS104で特定された最大差分ベクトルの大きさを│V120│とすると、オブジェクト画像重畳部124は、左眼用撮影画像LG120ではオブジェクト画像LOG120を│V120│/2の大きさだけ、右側にずらして重畳する。そして、図120(c)に示すように、オブジェクト画像重畳部124は、右眼用撮影画像RG120ではオブジェクト画像ROG120を│V120│/2の大きさだけ、左側にずらして重畳する。以上のようにすることで、オブジェクト画像LOG120とオブジェクト画像ROG120とは最大差分ベクトルと同じ大きさ│V120│を有する視差とすることができる。
【0092】
<特定された最大差分ベクトルが引っ込みベクトルであった場合>
図13に、ステップS104で特定された最大差分ベクトルが引っ込みベクトルであった場合のオブジェクト画像の付与を説明するための図を示す。
【0093】
図13(a)は、オブジェクト画像OG130を重畳する位置としてオブジェクト画像記録部125に予め記録された位置にオブジェクト画像OG130を重畳する場合の例を示す図である。なお、オブジェクト画像記録部125は、オブジェクト画像OG130の重畳位置として、左眼用撮影画像及び右眼用撮影画像何れに対しても同じ位置を記録しているのは上述の飛び出しベクトルの場合と同様である。
図13(b)はオブジェクト画像重畳部124がオブジェクト画像LOG130を左眼用撮影画像LG130に付与する場合の例を示す図であり、図13(c)はオブジェクト画像重畳部124がオブジェクト画像ROG130を右眼用撮影画像RG130に付与する場合の例を示す図である。
【0094】
ユーザが操作部142の図示しないボタン等により、オブジェクト画像の視差を最大差分ベクトルと同じにすることを選択していた場合、図13(b)に示すように、ステップS104で特定された最大差分ベクトルの大きさを│V130│とすると、オブジェクト画像重畳部124は、左眼用撮影画像LG130ではオブジェクト画像LOG130を│V130│/2の大きさだけ、左側にずらして重畳する。そして、図13(c)に示すように、右眼用撮影画像RG130ではオブジェクト画像重畳部124は、オブジェクト画像ROG130を│V130│/2の大きさだけ、右側にずらして重畳する。以上のようにすることで、オブジェクト画像LOG130とオブジェクト画像ROG130とは最大差分ベクトルと同じ大きさ│V130│を有する視差とすることができる。
【0095】
ユーザが操作部142の図示しないボタン等により、オブジェクト画像の視差をゼロとすることを選択していた場合は、オブジェクト画像重畳部124は、左眼用撮影画像及び右眼用撮影画像のそれぞれに対し、オブジェクト画像記録部126が予め記録している位置にオブジェクト画像LOG130及びROG130を付与する。これにより、オブジェクト画像は左眼用撮影画像及び右眼用撮影画像の同じ位置に付されることとなり、オブジェクト画像は丁度表示面上にあるかのように知覚されることとなる。
【0096】
<特定された最大差分ベクトルがゼロであった場合>
ステップS104で特定された最大差分ベクトルがゼロであった場合、オブジェクト画像重畳部124は、左眼用撮影画像及び右眼用撮影画像のそれぞれに対し、オブジェクト画像記録部125が予め記録している位置にオブジェクト画像を付与する。これにより、オブジェクト画像は左眼用撮影画像及び右眼用撮影画像の同じ位置に付されることとなり、オブジェクト画像は丁度表示面上にあるかのように知覚されることとなる。
【0097】
以上に述べたオブジェクト画像の付与が各エリア毎に行われるため、表示面に対して前方に飛び出しているかのように知覚される被写体画像の近辺に表示されるオブジェクト画像は、同じく表示面に対して前方に飛び出しているかのように知覚されることとなる。表示面に対して後方に引っ込んでいるかのように知覚される被写体画像又は丁度表示面上にあるかのように知覚される被写体画像の近辺にあるオブジェクト画像についても同様に、それぞれ表示面に対して後方に引っ込んでいるかのように、又は丁度表示面にあるかのように知覚されることとなる。
【0098】
図5に戻り、ユーザが操作部142の図示しない録画ボタンを離す、撮像装置1の電源を切る等すると本処理は終了する。
【0099】
以上の通り、撮像装置1によれば、3Dで表示される撮影画像等にオブジェクト画像を重畳して表示する場合に、そのオブジェクト画像の前方への飛び出し度合いや後方への引っ込み度合いを、これらが重畳される3D画像の各エリア毎の視差に応じて調整することができる。従って、オブジェクト画像とその近辺に表示される被写体画像との間で知覚される立体感の落差を抑制することができ、観察者に負担を掛けずにオブジェクト画像を3Dで表示することができる。
【0100】
なお、上記の例では最大差分ベクトルが飛び出しベクトルであった場合、引っ込みベクトルであった場合、及びゼロであった場合のそれぞれに応じて、重畳するオブジェクト画像の視差に異なる処理を施したが、撮像装置1は、各エリア内の飛び出しベクトルの中で最も大きな差分ベクトルと同じ視差を有するようにオブジェクト画像を重畳するようにしてもよい。このようにすることで、撮像装置1は、エリア毎の視差を考慮しつつ、常にオブジェクト画像を飛び出しているかのように知覚できるものとすることができる。
【0101】
以上の通り、図1に記載した撮像装置1を例として本発明の実施形態を説明したが、本発明に係る画像処理装置の実施形態として撮像装置に限定されるわけではなく、据置き型の記録装置のように撮像機能を有していない機器おいても撮像データの記録や再生の際に同様の処理が可能であることは言うまでもない。
【符号の説明】
【0102】
1 撮像装置
121 視差算出部
122 視差存在エリア特定部
123 視差決定部
124 オブジェクト画像重畳部
125 オブジェクト画像記録部
133 SDRAM
137 カードI/F
138 カード型記録媒体
139 入出力I/F
140 液晶モニタ
【特許請求の範囲】
【請求項1】
第一の画像と第二の画像とを記録する記録部と、
前記第一の画像と前記第二の画像のそれぞれに重畳するオブジェクト画像を記録するオブジェクト画像記録部と、
前記第一の画像中の被写体画像と前記第二の画像中の被写体画像との間の視差を算出する視差算出部と、
前記第一の画像と前記第二の画像とで形成される3D画像を複数のエリアに分割し、前記視差算出部が算出した前記視差が、その分割された複数のエリアのうちのどのエリアに存在するのかを特定する視差存在エリア特定部と、
前記視差存在エリアが分割した前記エリアの少なくとも一つに前記オブジェクト画像を重畳する場合に、前記オブジェクト画像を重畳するエリアにあると特定された前記視差に基づいてその重畳するオブジェクト画像の視差を決定する視差決定部と、
前記視差決定部が決定した前記視差を有するように前記第一の画像及び前記第二の画像に前記オブジェクト画像を重畳するオブジェクト画像重畳部と、
前記オブジェクト画像が重畳された前記第一の画像及び前記第二の画像を3D画像として出力する出力部と
を備えることを特徴とする3D画像処理装置。
【請求項2】
前記視差決定部は、前記オブジェクト画像を重畳するエリアにあると特定された前記視差のうち、最も大きい視差と同一の視差を有するようにそのオブジェクト画像の視差を決定することを特徴とする請求項1に記載の3D画像処理装置。
【請求項3】
前記視差決定部は、前記オブジェクト画像を重畳するエリアにあると特定された前記視差のうち、最も大きい視差が前記被写体画像を前方に飛び出しているかのように知覚させるものである場合は、その算出された視差と同一の視差を有するようにそのオブジェクト画像の視差を決定し、最も大きい視差が前記被写体画像を後方に引っ込んでいるかのように知覚させるものである場合は、その算出された視差と同一の視差を有するように、又は視差がゼロとなるようにそのオブジェクト画像の視差を決定することを特徴とする請求項1に記載の3D画像処理装置。
【請求項4】
前記視差存在エリア特定部は、前記3D画像を水平又は垂直方向に少なくとも2つのエリアに分割することを特徴とする請求項1〜3の何れか一項に記載の3D画像処理装置。
【請求項1】
第一の画像と第二の画像とを記録する記録部と、
前記第一の画像と前記第二の画像のそれぞれに重畳するオブジェクト画像を記録するオブジェクト画像記録部と、
前記第一の画像中の被写体画像と前記第二の画像中の被写体画像との間の視差を算出する視差算出部と、
前記第一の画像と前記第二の画像とで形成される3D画像を複数のエリアに分割し、前記視差算出部が算出した前記視差が、その分割された複数のエリアのうちのどのエリアに存在するのかを特定する視差存在エリア特定部と、
前記視差存在エリアが分割した前記エリアの少なくとも一つに前記オブジェクト画像を重畳する場合に、前記オブジェクト画像を重畳するエリアにあると特定された前記視差に基づいてその重畳するオブジェクト画像の視差を決定する視差決定部と、
前記視差決定部が決定した前記視差を有するように前記第一の画像及び前記第二の画像に前記オブジェクト画像を重畳するオブジェクト画像重畳部と、
前記オブジェクト画像が重畳された前記第一の画像及び前記第二の画像を3D画像として出力する出力部と
を備えることを特徴とする3D画像処理装置。
【請求項2】
前記視差決定部は、前記オブジェクト画像を重畳するエリアにあると特定された前記視差のうち、最も大きい視差と同一の視差を有するようにそのオブジェクト画像の視差を決定することを特徴とする請求項1に記載の3D画像処理装置。
【請求項3】
前記視差決定部は、前記オブジェクト画像を重畳するエリアにあると特定された前記視差のうち、最も大きい視差が前記被写体画像を前方に飛び出しているかのように知覚させるものである場合は、その算出された視差と同一の視差を有するようにそのオブジェクト画像の視差を決定し、最も大きい視差が前記被写体画像を後方に引っ込んでいるかのように知覚させるものである場合は、その算出された視差と同一の視差を有するように、又は視差がゼロとなるようにそのオブジェクト画像の視差を決定することを特徴とする請求項1に記載の3D画像処理装置。
【請求項4】
前記視差存在エリア特定部は、前記3D画像を水平又は垂直方向に少なくとも2つのエリアに分割することを特徴とする請求項1〜3の何れか一項に記載の3D画像処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2012−156680(P2012−156680A)
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願番号】特願2011−12813(P2011−12813)
【出願日】平成23年1月25日(2011.1.25)
【出願人】(308036402)株式会社JVCケンウッド (1,152)
【Fターム(参考)】
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願日】平成23年1月25日(2011.1.25)
【出願人】(308036402)株式会社JVCケンウッド (1,152)
【Fターム(参考)】
[ Back to top ]