説明

画像表示装置及び画像表示方法

【課題】画面までの観察者の距離と位置を限定せずに正確な立体画像を観察可能とする。
【解決手段】右目用画像と左目用画像とを左右方向に交互に配列して表示する画像表示用の表示部36及びその駆動部35と、表示部36上に配置され、表示部36に表示される画像が見える方向を規制するためのバリアを表示する視差バリア用の視差バリア部37及びその駆動部38と、表示部36を見る者の目までの距離を測定する測距部24と、表示部36を見る者の両目の位置を検出するユーザ撮影部23及び画像処理部34(顔認識部34a)と、測距部24で得た距離とユーザ撮影部23及び画像処理部34(顔認識部34a)で得た両目の各位置に基づいて視差バリア部37におけるバリアの表示位置を可変設定するCPU41とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視差バリア式の3次元画像表示を行なう画像表示装置及び画像表示方法に関する。
【背景技術】
【0002】
専用の眼鏡を不要とし、裸眼で立体画像を表示可能な、視差バリア方式と称される液晶表示パネルを用いた画像表示装置が実用化され、携帯ゲーム装置やカーナビゲーション装置等で実用化されている。特許文献においても、この種の立体画像を表示する装置が各種提案されている。(例えば、特許文献1)
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−011254号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
この視差バリア方式では、上記特許文献に記載された技術も含めて、表示画面に対する観察者の目の位置があるべき範囲が予め決まっている。そのため、見る側が定まった範囲を外れると、正確な立体感のある画像を見ることができず、結果として表示図面に対する観察者の目の位置が固定される。同様の理由から、例えば表示画面に対して観察者の顔が正対しておらず、斜めから画面を見るような場合にも、正確な立体感のある画像を見ることはできない。
【0005】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、表示画面に対する観察者までの距離と位置を限定することなく、常に正確な立体画像を観察することが可能な画像表示装置及び画像表示方法を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一態様は、右目用画像と左目用画像とを左右方向に交互に配列して表示する画像表示用の第1の表示パネルと、上記第1の表示パネル上に配置され、上記第1の表示パネルに表示される画像が見える方向を規制するためのバリアを表示する視差バリア用の第2の表示パネルと、上記第1の表示パネルを見る者の目までの距離を測定する測距手段と、上記第1の表示パネルを見る者の両目の位置を検出する検出手段と、上記測距手段で得た距離及び上記検出手段で得た両目の各位置に基づいて上記第2の表示パネルにおけるバリアの表示位置を可変設定する視差バリア制御手段とを具備したことを特徴とする。
【発明の効果】
【0007】
本発明によれば、表示画面に対する観察者までの距離と位置を限定することなく、常に正確な立体画像を観察することが可能となる。
【図面の簡単な説明】
【0008】
【図1】本発明の一実施形態に係るデジタルカメラの背面側からの外観構成を示す斜視図。
【図2】同実施形態に係るデジタルカメラの機能回路の構成を示すブロック図。
【図3】同実施形態に係る視差バリアの設定に関する一連の処理内容を示すフローチャート。
【図4】同実施形態に係るカラー液晶パネル上に位置する視差バリア部とユーザの両目との位置関係を示す図。
【図5】同実施形態に係るユーザの顔の向きと液晶モニタとの関係を示す図。
【図6】同実施形態に係る視差バリア部で表示するバリアのパターンを例示する図。
【発明を実施するための形態】
【0009】
以下、本発明をデジタルカメラに適用した場合の一実施形態について、図面を参照して詳細に説明する。
【0010】
図1は、本実施形態に係るデジタルカメラ10の背面側からの外観構成を示す斜視図である。同図で、本体ケーシング11の上面の右端側にシャッタレリーズキー12、ズームレバー13、電源キー14が設けられる。
【0011】
また、本体ケーシング11の背面側には、液晶モニタ15、ムービー(動画)キー16、ダイレクトオン撮影キー17、コントロールキー18、セットキー19、ダイレクトオン再生キー20、消去キー21、スピーカ部22が設けられると共に、液晶モニタ15の上側に、ユーザ撮影部23、及び測距部24が設けられる。
【0012】
液晶モニタ15は、後述する視差バリア方式の立体画像を表示可能な、2層構造の液晶表示パネルとバックライトを有する。
【0013】
ムービーキー16は、動画撮影の開始時と停止時に操作するキーである。ダイレクトオン撮影キー17は、電源オフ状態または電源オン状態の再生モード時から操作することで、電源オン状態の撮影モードに設定するキーである。
【0014】
コントロールキー18は、リング状のキーの上下左右任意の方向を操作することで各種設定変更やメニュー項目の選択等を行なうキーである。セットキー19は、コントロールキー18で選択した項目等の確定操作を行なうキーである。
【0015】
ダイレクトオン再生キー20は、電源オフ状態または電源オン状態の撮影モード時から操作することで、電源オン状態の再生モードに設定するキーである。消去キー21は、記録した画像の消去を指示するキーである。
【0016】
スピーカ部22は、上記シャッタレリーズキー12を始めとする各種キー操作に伴う操作音や記録した音声データの発生時に応じた音声を出力する。
【0017】
ユーザ撮影部23は、このデジタルカメラ10により撮影を行なうユーザの顔位置を撮影する。測距部24は、例えば位相差センサなどで構成され、このデジタルカメラ10により撮影を行なうユーザの顔位置までの距離を測定する。
【0018】
なお、ここでは図示しないが、本体ケーシング11の前面左右2つの撮影レンズ部、フラッシュ、マイクロホンが設けられる。
【0019】
次に図2により上記デジタルカメラ10の機能回路構成を説明する。
同図において、本体ケーシング11前面の左右両端に一対の撮影レンズ部31L,31Rが配置される。左端側に位置する撮影レンズ部31Lを介して、CMOSイメージセンサ(IS)32Lの撮像面上に被写体の光像を入射して結像させる。同様に、右端側に位置する撮影レンズ部31Rを介して、CMOSイメージセンサ(IS)32Rの撮像面上に被写体の光像を入射して結像させる。
【0020】
スルー画像表示、あるいはライブビュー画像表示とも称されるモニタ状態では、これらCMOSイメージセンサ32L,32Rでの撮像により得た画像信号をそれぞれAGC・A/D変換部33に送る。
【0021】
AGC・A/D変換部33は、アナログの左右各画像信号に対してそれぞれ相関二乗サンプリングや自動ゲイン調整、A/D変換処理を実行してデジタル化する。デジタル化された左右の各画像データは、システムバスSBを介して画像処理部34に送られる。
【0022】
画像処理部34は、各画像データに対して適宜必要な画像処理を施す。すなわち画像処理部34では、上記CMOSイメージセンサ32L,32Rが備えるベイヤー配列のカラーフィルタの構成に応じた画像データ(以下「RAW(生)データ」と称する)に対してデジタル現像処理、具体的には画素補間処理、ガンマ補正処理、マトリックス演算等のデモザイク処理を施すことで、輝度色差系(YUV)の画像データに変換する。
【0023】
画像処理部34は、現像後の左右各画像データから表示用に画素数及び階調ビットを大幅に減じた画像データを作成し、システムバスSBを介して表示駆動部35へ送る。
【0024】
表示駆動部35は、上記液晶モニタ15の一部を構成するカラー液晶パネル36により左目用の画像と右目用の画像とを左右方向に相互する縦縞の格子状に表示させることで、立体のスルー画像を表示する。
【0025】
カラー液晶パネル36上には、カラーフィルタを持たず、上記カラー液晶パネル36より高精細の透過型の液晶表示パネルが、適宜間隙を空けて視差バリア部37として一体に構成される。この視差バリア部37は、視差バリア駆動部38により駆動され、後述するようにこのデジタルカメラ10のユーザの両目の位置に対応した幅を持つ縦縞の格子の視差バリアを表示する。
【0026】
また、上記撮影レンズ部31L,31Rと同じく本体ケーシング11の前面には、マイクロホン39L,39Rが配設され、被写体方向のステレオ音声が入力される。マイクロホン39L,39Rはそれぞれ入力した音声を電気信号化し、音声処理部40へ出力する。
【0027】
音声処理部40は、音声単体での録音時、音声付き静止画像撮影時、及び動画像の撮影時にマイクロホン39L,39Rから入力する音声信号をそれぞれデジタルデータ化する。さらに音声処理部40は、デジタル化したステレオ音声データの音圧レベルを検出する一方で、該音声データを所定のデータファイル形式、例えばAAC(moving picture experts group−4 Advanced Audio Coding)形式でデータ圧縮して音声データファイルを作成し、後述する記録媒体へ送出する。
【0028】
加えて音声処理部40は、PCM音源等の音源回路を備え、音声の再生時に送られてくる音声データファイルの圧縮を解いてアナログ化し、上記スピーカ部22を駆動して、放音させる。
【0029】
以上の回路をシステムコントローラとしてのCPU41が統括して制御する。このCPU41は、メインメモリ42、プログラムメモリ43と直接接続される。メインメモリ42は、例えばSRAMで構成され、ワークメモリとして機能する。プログラムメモリ43は、例えばフラッシュメモリなどの電気的に書換可能な不揮発性メモリで構成され、後述する液晶モニタ15での立体画像表示の動作を含む各種動作プログラムやデータ等を固定的に記憶する。
【0030】
CPU41はプログラムメモリ43から必要なプログラムやデータ等を読出し、メインメモリ42に適宜一時的に展開して記憶させながら、このデジタルカメラ10全体の制御動作を実行する。
【0031】
さらに上記CPU41は、操作部44から直接入力される各種操作信号に対応して制御動作を実行する。
【0032】
操作部44は、上述したシャッタレリーズキー12、ズームレバー13、電源キー14、ムービーキー16、ダイレクトオン撮影キー17、コントロールキー18、セットキー19、ダイレクトオン再生キー20、及び消去キー21等を備える。
【0033】
CPU41は、システムバスSBを介して上記AGC・A/D変換部33、画像処理部34、表示駆動部35、視差バリア駆動部38、及び音声処理部40と接続される他、さらにフラッシュ駆動部45、上記測距部24、及びメモリカードコントローラ46とも接続される。
【0034】
フラッシュ駆動部45は、静止画像撮影時にCPU41からの制御信号を受けて、複数の白色高輝度LEDで構成されるフラッシュ部47を撮影タイミングに同期して点灯駆動する。
【0035】
上記画像処理部34は、上記操作部44のシャッタレリーズキー12操作に伴う画像撮影時に、AGC・A/D変換部33から送られてくる画像データをデモザイク処理し、さらに所定のデータファイル形式、例えばJPEG(Joint Photographic Experts Group)であればDCT(離散コサイン変換)やハフマン符号化等のデータ圧縮処理を施してデータ量を大幅に削減した画像データファイルを作成する。作成した画像データファイルは、システムバスSB、上記メモリカードコントローラ46を介してメモリカード48に転送され、ここで保存される。
【0036】
なお画像処理部34は、顔認識部34aを有し、画像中の顔領域を切出して両目部分の各位置と顔の向きの角度とを検出する。
【0037】
また画像処理部34は、再生モード時にメモリカード48からメモリカードコントローラ46を介して読出されてくる画像データをシステムバスSBを介して受取る。画像処理部34は、この受取った画像データを記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、得た画像データのデータ量を減じた後にシステムバスSBを介して表示駆動部35に送出し、カラー液晶パネル36で表示させる。
メモリカードコントローラ46は、カードコネクタ49に装着されたメモリカード48と接続される。メモリカード48は、このデジタルカメラ10に着脱自在に装着され、このデジタルカメラ10の記録媒体となる、画像ファイル等の記録用メモリであり、内部には不揮発性メモリであるフラッシュメモリと、その駆動回路とが設けられる。
【0038】
なお上記ユーザ撮影部23は、撮影レンズ部50とCMOSイメージセンサ51とで構成される。CMOSイメージセンサ51の出力は上記AGC・A/D変換部33へ送られる。
【0039】
次に上記実施形態の動作について説明する。
なお以下に示す動作は、撮影モード時にスルー画像を液晶モニタ15で表示する際、及び再生モード時にメモリカード48に記録した画像データを読出して表示部15で表示させる際のいずれにも実行する、立体画像表示のための視差バリアの設定処理を示す。同設定処理は、電源投入時、撮影モードと再生モードの切替時、及び例えば5[秒]毎の一定時間間隔で実行する。CPU41はプログラムメモリ43に記憶されている動作プログラムやデータを読出し、メインメモリ42に展開して記憶させた上で該動作プログラムを実行する。
【0040】
プログラムメモリ43に記憶されている動作プログラム等は、このデジタルカメラ10の製造工場出荷時にプログラムメモリ43に記憶されていたものに加え、例えばこのデジタルカメラ10のバージョンアップに際して、デジタルカメラ10を図示しないパーソナルコンピュータと接続し、あるいは更新プログラムを記憶したメモリカード48を一時的にカードコネクタ49に装着することにより外部から新たな動作プログラム、制御用のデータ、地図データ等をインストールするものも含む。
【0041】
図3は、立体画像表示のための視差バリアの設定処理を示すフローチャートである。同図において、CPU41はまず測距部24によりデジタルカメラ10の背面側に位置するユーザの顔までの距離を測定する(ステップS101)。
【0042】
次にCPU41は、ユーザ撮影部23によりユーザの顔を含む画像を撮影する(ステップSステップS102)。撮影によりCMOSイメージセンサ51から得た画像信号はAGC・A/D変換部33でデジタル化され、画像処理部34に保持される。
【0043】
画像処理部34では、顔認識部34aにより画像データ中のユーザの顔モデルのパターン認識を実行することで、デジタルカメラ10に対する両目の各位置を検出すると共に、顔平面の液晶モニタ15に対する角度θを算出する(ステップS103)。この角度θは、液晶モニタ15の平面と直交する正対方向と、ユーザの顔平面に直交する方向、すなわちユーザの顔が向いている方向とでなす角度となる。
【0044】
次いでCPU41は、ユーザの顔までの距離と、ユーザの両目の位置、及びユーザの顔平面の液晶モニタ15に対する角度θにより視差バリア部37で表示するバリア部分の位置を算出する(ステップS104)。
【0045】
図4は、カラー液晶パネル36上に位置する視差バリア部37とユーザの両目との位置関係を示す。同図でカラー液晶パネル36は、図中にハッチングで示す左目用の表示画素pxLと、ハッチングなしで示す右目用の表示画素pxRとが交互に配置されている。したがって、カラー液晶パネル36全体では、右目用の画素と左目用の画素とが左右方向に交互に配列した、縦縞格子状(実際に縞模様が見えるわけではない)の画面構成を有することとなる。
【0046】
これに対して、視差バリア部37は、カラー液晶パネル36に比して充分に高精細な画素構成を有する透過型のモノクロ液晶表示パネルで構成され、図示する如くユーザの両目の視差に応じた、縦縞格子状のバリア(非透過部分)を表示する。これら各バリアの位置は三角法により計算で求められる。
【0047】
図5は、ユーザの顔FCが液晶モニタ15に対して正対しておらず、角度θ分だけ斜めから液晶モニタ15を視認している状態を示す。このときの液晶モニタ15までの距離a、ユーザ左目EL及び右目ERの各位置と、上記角度θに応じて、視差バリア部37におけるバリアの配列をCPU41が算出する。
【0048】
図6は、視差バリア部37で表示するバリアの幅及び位置をいくつか示す図である。液晶モニタ15に対してユーザの顔FCの位置が正対し(θ=0°)、且つ標準的な距離、例えば400[mm]の位置にある場合の、左目ELまたは右目ERの最近位置にあるバリアの幅が図6(A)に示すような状態とする。
これに対して図6(B)は、同一の幅で位置を移動させたバリアを示す。
【0049】
図6(C)は、上記図6(A)に示したバリアと中心位置は同じながら、幅を伸長したバリアを示す。このように視差バリア部37で表示する非透過部分であるバリアの位置及び幅は、視差バリア部37を構成する液晶表示パネルの1ドットの幅を単位として任意に設定できる。
【0050】
図6(D)は、ユーザの目の位置との関係に対応したバリア密度の変更設定内容を示す。同図(D)で「中心」と記したバリアは、ユーザの目の直近位置、すなわち、視差バリア部37の面と直交する位置にユーザの目がある状態を示すもので、その位置から離れて周辺側となるのにしたがって、必要なバリアの幅は図示する如く広くなる。
【0051】
このように、液晶モニタ15に対するユーザの顔までの距離と位置、及び角度によりバリアの配列を算出した上で、CPU41はその算出した結果に基づいて視差バリア駆動部38により視差バリア部37で当該バリアを表示するように設定し(ステップS105)、以上で図3の視差バリアの設定処理一連の動作を終了する。
【0052】
以上詳述した如く本実施形態によれば、液晶モニタ15を見るユーザの目の位置や顔の角度等を限定することなく、常に正確な立体画像を観察することが可能となる。
【0053】
なお上記実施形態では、測距部24を用いてユーザの顔までの距離を測定するものとして説明したが、ユーザ撮影部23が自動合焦機能を有し、画像処理部34の顔認識部34aを用いてユーザの顔パターンを認識して両目の中間点に正確に合焦させるものとすれば、その合焦時点のフォーカスレンズの位置により距離を算出することができるため、測距部24の構成を省略できる。
【0054】
また上記実施形態は、本発明を立体画像を撮影可能なデジタルカメラに適用した場合について説明したが、このように撮影により得られる立体画像をモニタ表示することにより、立体感を確認しながら撮影を実行でき、撮影ミスを軽減できる。
【0055】
なお上記実施形態では示さなかったが、例えば「立体テストモード」とでも称する立体画像表示のテスト状態を設定可能とし、当該モード時には例えば操作部44のコントロールキー18の操作に応じて正確な立体感が得られるポイントを前後左右に微調整できるようにしてもよい。
【0056】
また上記実施形態は上述した如く立体画像を撮影可能なデジタルカメラに適用した場合について説明したものであるが、本発明はこれに限らず、撮影機能を有さずに、与えられる立体画像を表示するようなその他の電子機器、例えばデジタルフォトフレームや電子ブック装置などにも同様に適用可能となる。
【0057】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【0058】
以下に、本願出願の当所の特許請求の範囲に記載された発明を付記する。
請求項1記載の発明は、右目用画像と左目用画像とを左右方向に交互に配列して表示する画像表示用の第1の表示パネルと、上記第1の表示パネル上に配置され、上記第1の表示パネルに表示される画像が見える方向を規制するためのバリアを表示する視差バリア用の第2の表示パネルと、上記第1の表示パネルを見る者の目までの距離を測定する測距手段と、上記第1の表示パネルを見る者の両目の位置を検出する検出手段と、上記測距手段で得た距離及び上記検出手段で得た両目の各位置に基づいて上記第2の表示パネルにおけるバリアの表示位置を可変設定する視差バリア制御手段とを具備したことを特徴とする。
【0059】
請求項2記載の発明は、上記請求項1記載の発明において、上記検出手段は、上記第1の表示パネルを見る者の両目を含む画像を撮影する、自動合焦機能を有する撮像部、上記撮像部で撮影した画像中から画像認識処理により両目の各位置を検出する検出部を有し、上記測距手段は、上記撮像部の自動合焦機能により得た合焦位置から上記第1の表示パネルを見る者の目までの距離を測定することを特徴とする。
【0060】
請求項3記載の発明は、上記請求項1記載の発明において、右目用画像及び左目用画像を撮影する撮影手段をさらに具備し、上記第1の表示パネルは、上記撮影手段で得た右目用画像及び左目用画像を表示することを特徴とする。
【0061】
請求項4記載の発明は、右目用画像と左目用画像とを左右方向に交互に配列して表示する画像表示用の第1の表示パネルと、上記第1の表示パネル上に配置され、上記第1の表示パネルに表示される画像が見える方向を規制するためのバリアを表示する視差バリア用の第2の表示パネルを備えた装置での画像表示方法であって、上記第1の表示パネルを見る者の目までの距離を測定する測距工程と、上記第1の表示パネルを見る者の両目の位置を検出する検出工程と、上記測距工程で得た距離及び上記検出工程で得た両目の各位置に基づいて上記第2の表示パネルにおけるバリアの表示位置を可変設定する視差バリア制御工程とを有したことを特徴とする。
【符号の説明】
【0062】
10…デジタルカメラ、11…本体ケーシング、12…シャッタレリーズキー、13…ズームレバー、14…電源キー、15…液晶モニタ、16…ムービーキー、17…ダイレクトオン撮影キー、18…コントロールキー、19…セットキー、20…ダイレクトオン再生キー、21…消去キー、22…スピーカ部、23…ユーザ撮影部、24…測距部、31L,31R…撮影レンズ部、32L,32R…CMOSイメージセンサ、33…AGC・A/D変換部、34…画像処理部、34a…顔認識部、35…表示駆動部、36…カラー液晶パネル、37…視差バリア部、38…視差バリア駆動部、39L,39R…マイクロホン、40…音声処理部、41…CPU、42…メインメモリ、43…プログラムメモリ、44…操作部、45…フラッシュ駆動部、46…メモリカードコントローラ、47…フラッシュ部、48…メモリカード、49…カードコネクタ、50…撮影レンズ部、51…CMOSイメージセンサ、EL…左目、ER…右目、FC…ユーザの顔、pxL…左目用の表示画素、pxR…右目用の表示画素、SB…システムバス。

【特許請求の範囲】
【請求項1】
右目用画像と左目用画像とを左右方向に交互に配列して表示する画像表示用の第1の表示パネルと、
上記第1の表示パネル上に配置され、上記第1の表示パネルに表示される画像が見える方向を規制するためのバリアを表示する視差バリア用の第2の表示パネルと、
上記第1の表示パネルを見る者の目までの距離を測定する測距手段と、
上記第1の表示パネルを見る者の両目の位置を検出する検出手段と、
上記測距手段で得た距離及び上記検出手段で得た両目の各位置に基づいて上記第2の表示パネルにおけるバリアの表示位置を可変設定する視差バリア制御手段と
を具備したことを特徴とする画像表示装置。
【請求項2】
上記検出手段は、上記第1の表示パネルを見る者の両目を含む画像を撮影する、自動合焦機能を有する撮像部、上記撮像部で撮影した画像中から画像認識処理により両目の各位置を検出する検出部を有し、
上記測距手段は、上記撮像部の自動合焦機能により得た合焦位置から上記第1の表示パネルを見る者の目までの距離を測定する
ことを特徴とする請求項1記載の画像表示装置。
【請求項3】
右目用画像及び左目用画像を撮影する撮影手段をさらに具備し、
上記第1の表示パネルは、上記撮影手段で得た右目用画像及び左目用画像を表示する
ことを特徴とする請求項1記載の画像表示装置。
【請求項4】
右目用画像と左目用画像とを左右方向に交互に配列して表示する画像表示用の第1の表示パネルと、上記第1の表示パネル上に配置され、上記第1の表示パネルに表示される画像が見える方向を規制するためのバリアを表示する視差バリア用の第2の表示パネルを備えた装置での画像表示方法であって、
上記第1の表示パネルを見る者の目までの距離を測定する測距工程と、
上記第1の表示パネルを見る者の両目の位置を検出する検出工程と、
上記測距工程で得た距離及び上記検出工程で得た両目の各位置に基づいて上記第2の表示パネルにおけるバリアの表示位置を可変設定する視差バリア制御工程と
を有したことを特徴とする画像表示方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2012−185231(P2012−185231A)
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願番号】特願2011−46853(P2011−46853)
【出願日】平成23年3月3日(2011.3.3)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】