説明

撮像装置

【課題】立体撮像装置において、表示画像の確認を行うユーザの撮像装置の動きに伴う立体視および表示遅延による疲労感を軽減する。
【解決手段】立体画像の撮影機能を有する撮像装置1Aは、画像信号SD1,SD2を出力する第1および第2の撮像素子1,2と、画像信号SD1,SD2を動作モード選択部7からの動作モード選択信号SC1に基づいて選択する信号選択部3と、信号選択部3に接続され画像信号変換を行う第1および第2の画像処理部4,5と、表示デバイスに出力する表示処理部6とからなる。ここで、動作モード選択信号SC1が第1の動作モードMD1を示すとき、第1の画像信号SD1を第1の画像処理部4に出力し、第2の画像信号SD2を第2の画像処理部5に出力する一方、第2の動作モードMD2を示すとき、いずれか一方の画像信号SD1,SD2を選択し、第1および第2の画像処理部4,5に分配して出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体画像の撮影機能を有する撮像装置に関するものであり、特に、立体視および表示遅延によるユーザーの疲労感を軽減する技術に関するものである。
【背景技術】
【0002】
近年、右眼および左眼のそれぞれの役割を果たす撮像素子を搭載し、立体視が可能な画像の撮影ができる立体撮像装置が普及しはじめている。特に、3Dテレビジョンなどの立体視が可能な表示デバイスの需要が拡大しており、立体撮像市場も今後の成長が期待される。
【0003】
以下、従来の立体撮像装置について、図11を参照しながら説明する。図11に示す撮像素子10Aにおいて、立体画像を撮像するために設けられており、立体視において右眼の役割を果たす第1の撮像素子10、および、左眼の役割を果たす第2の撮像素子20は、第1および第2の画像信号SD10、SD20をそれぞれ出力する。第1の撮像素子10から出力された第1の画像信号SD10は、第1の画像処理部40において右眼視覚に係る表示用の第3の画像信号SD30に変換され、表示処理部60に出力される。一方、第2の撮像素子20から出力された第2の画像信号SD20は、第2の画像処理部50において左眼視覚に係る表示用の第4の画像信号SD40に変換され、表示処理部60に出力される。表示処理部60は、入力した第3および第4の画像信号SD30、SD40に基づいて、表示デバイス上に画像を表示させる。表示デバイスには、例えば、パララックスバリア方式およびレンチキュラー方式等の立体視を実現する3D液晶ディスプレイ等が用いられる。
【0004】
ここで、立体視はユーザの眼の自動焦点機能により画像の奥行き感を実現するものであるため、撮影条件によっては立体視を行うユーザに非常に疲労感(違和感、不快感)が残るものとなる。さらに、第1および第2の撮像素子が被写体からの光束を受信してから表示デバイスに画像が表示されるまでには、信号処理等により少なからず遅延が発生するため、実際の撮像装置の動きと表示デバイスに表示される画像の動きが一致せず、ユーザの疲労感が増加する。
【0005】
これらの問題に対して特許文献1では、撮像装置から被写体までの距離が近くなり、両眼視差が大きくなったとき、右眼の役割を果たす第1の撮像素子および左眼の役割を果たす第2の撮像素子によって撮像された画像信号のいずれか一方を2次元画像として表示デバイスに表示することによって、立体視におけるユーザの疲労感を軽減している。
【0006】
また、特許文献2では、ランダムアクセスによる画像信号の読み出しが可能な撮像素子を用いて、ユーザが注視する主要被写体や注視領域の画像信号を優先して読み出し、表示デバイスに表示される画像の遅延を部分的に軽減している。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開平9−9300号公報
【特許文献2】特開2006−60496号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1に記載された撮像装置は、両眼視差が大きな場合の立体視におけるユーザの疲労感を軽減する技術であるが、撮像装置の動きにより撮影シーンが大きく変化するとき、例えば、パン撮影やチルト撮影等をするときに発生するユーザー疲労感の増大に対する考慮はされていない。
【0009】
特許文献2に記載された撮像装置は、ユーザの注視領域の表示遅延を軽減しているが、撮影シーンによっては注視領域とそれ以外の領域の表示遅延のずれがかえってユーザの疲労感を増大させる可能性がある。
【0010】
前記の問題に鑑み、本発明は、立体画像の撮影機能を有する撮像装置において、表示デバイス上に表示された撮影画像を確認するユーザの疲労感を軽減することを目的とする。
【課題を解決するための手段】
【0011】
上記の課題を解決するために、本発明の第1の態様は、立体画像の撮影機能を有する撮像装置として、立体画像を撮像するために設けられており、第1および第2の画像信号をそれぞれ出力する第1および第2の撮像素子と、前記第1および第2の画像信号のいずれか一方が入力され、この入力された画像信号を表示用の第3の画像信号に変換する第1の画像処理部と、前記第1および第2の画像信号のいずれか一方が入力され、この入力された画像信号を表示用の第4の画像信号に変換する第2の画像処理部と、前記第1および第2の画像処理部から出力された前記第3および第4の画像信号を表示デバイスに出力する表示処理部と、立体画像を表示する第1の動作モードおよび2次元画像を表示する第2の動作モードのいずれかを示す動作モード選択信号を出力する動作モード選択部と、前記動作モード選択信号に基づいて、前記第1および第2の画像処理部の各々に対して、前記第1または第2の画像信号を選択し、出力する信号選択部とを備え、前記信号選択部は、前記動作モード選択信号が、前記第1の動作モードを示すときは、前記第1の画像信号を前記第1の画像処理部に出力するとともに、前記第2の画像信号を前記第2の画像処理部に出力する一方、前記第2の動作モードを示すときは、前記第1および第2の画像信号のうちいずれかを選択し、前記第1および第2の画像処理部に分配して出力するものである。
【0012】
第1の態様によると、前記動作モード選択信号が前記第2の動作モードを示すとき、前記第1および第2の画像信号のうち選択したいずれか一方の画像信号(すなわち、1系統の画像信号)について前記第3および第4の画像信号を生成すれば良いため、前記第1および第2の画像処理部において並列に画像信号の変換処理を実施することが可能となる。その結果、前記第1および第2の撮像素子が被写体からの光束を受信してから表示デバイス上に画像が表示されるまでの遅延時間を短縮することができ、表示遅延によるユーザの疲労感を軽減することができる。
【0013】
本発明の第2の態様は、立体画像の撮影機能を有する撮像装置として、立体画像を撮像するために設けられており、第1および第2の画像信号をそれぞれ出力する第1および第2の撮像素子と、前記第1および第2の画像信号のいずれか一方が入力され、この入力された画像信号を表示用の第3の画像信号に変換する第1の画像処理部と、前記第1および第2の画像信号のいずれか一方が入力され、この入力された画像信号を表示用の第4の画像信号に変換する第2の画像処理部と、前記第1および第2の画像処理部から出力された前記第3および第4の画像信号を表示デバイスに出力する表示処理部と、立体画像を表示する第1の動作モードおよび2次元画像を表示する第2の動作モードのいずれかを示す動作モード選択信号を出力する動作モード選択部と、前記動作モード選択信号に基づいて、前記第1および第2の画像処理部の各々に対して、前記第1または第2の画像信号を選択し、出力する信号選択部とを備え、前記信号選択部は、前記動作モード選択信号が、前記第1の動作モードを示すときは、前記第1の画像信号を前記第1の画像処理部に出力するとともに、前記第2の画像信号を前記第2の画像処理部に出力する一方、前記第2の動作モードを示すときは、前記第1および第2の画像信号のうちいずれか一方を選択し、前記第1および第2の画像処理部に出力するものであり、前記動作モード選択部は、当該撮像装置の動きを検出し、この動きを示す動き検出信号を出力する動き検出部と、前記動き検出部から出力される前記動き検出信号に基づいて、前記動作モード選択信号を設定し、出力する動作モード切換え部とを備えているものである。
【0014】
第2の態様によると、撮像素子の動きの速度(移動速度)に応じて、前記第1および第2の動作モードを選択することができる。例えば、撮像装置が所定速度未満の速度で動いている状態においては、表示デバイスに立体視が可能な画像を表示させる前記第1の動作モードを選択する一方、撮像装置が所定速度以上の速度で動いている状態においては、表示デバイスに2次元画像を表示させる前記第2の動作モードを選択する、といった撮像装置の動きの速度(移動速度)に応じた第1および第2の動作モード切換えができる。その結果、撮像装置が所定速度以上の速度で動いている状態、すなわち撮影シーンが大きく変化するときに増大するユーザの疲労感を軽減することができる。
【発明の効果】
【0015】
本発明によれば、前記動作モード選択信号が前記第2の動作モードを示したとき、立体視の解除に伴って余剰となる回路において並列に画像信号処理を実施させるため、表示遅延が緩和され、表示遅延に伴うユーザの疲労感を軽減させることができる。
【図面の簡単な説明】
【0016】
【図1】第1の実施形態に係る撮像装置の構成例を示す図である。
【図2】第1の実施形態における第1の動作モードのタイミングを示す図である。
【図3】第1の実施形態における第2の動作モードのタイミングを示す図である。
【図4】第1の実施形態に係る撮像装置の他の構成例を示す図である。
【図5】第2の実施形態に係る撮像装置の構成例を示す図である。
【図6】第2の実施形態における動作モード切換え手段の一例を示す図である。
【図7】第3の実施形態に係る撮像装置の構成例を示す図である。
【図8】第3の実施形態における撮像素子選択手段の一例を示す図である。
【図9】第4の実施形態に係る撮像装置の構成例を示す図である。
【図10】第4の実施形態における表示画像補正手段の一例を示す図である。
【図11】従来の一般的な撮像装置の構成例を示す図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の各実施形態では、立体画像を撮像するために設けられており、立体視において右眼の役割を果たす第1の撮像素子1と、立体視において左眼の役割を果たす第2の撮像素子2との計2個の撮像素子を有する撮像装置を想定し、右眼視覚に係る画像信号の変換処理を第1の画像処理部4が実施し、左眼視覚に係る画像信号の変換処理を第2の画像処理部5が実施するものとする。また、表示デバイスはインターレース方式の表示デバイスを想定し、撮像垂直同期信号および表示デバイス垂直同期信号の立下りエッジに同期して各処理を実施するものとする。なお、このような想定はあくまで実施形態の説明のために便宜上設定したものであり、他の構成であっても、本発明は同様に実現可能であることはいうまでもない。例えば、第1および第2の撮像素子1,2は各1個ずつとしたが、それぞれ2個以上あってもよい。また、左眼の役割を第1の撮像素子1が果たし、右眼の役割を第2の撮像素子2が果たすものとしてもよいし、あるいは左眼視覚に係る画像信号の変換処理を第1の画像処理部4が実施し、右眼視覚に係る画像信号の変換処理を第2の画像処理部5が実施するものとしてもよい。
【0018】
<第1の実施形態>
図1は第1の実施形態に係る撮像装置の構成例を示す図である。図1の撮像装置1Aにおいて、第1の撮像素子1および第2の撮像素子2は、撮像された第1の画像信号SD1および第2の画像信号SD2をそれぞれ出力する。ここで第1および第2の撮像素子1,2には、例えば、CMOS(Complementary Metal-Oxide Semiconductor)等のXYアドレス型撮像素子等の撮像素子が用いられる。
【0019】
信号選択部3は、動作モード選択部7から出力された動作モード選択信号SC1に基づいて、第1および第2の撮像素子1,2から出力された第1および第2の画像信号SD1,SD2の中から、第1および第2の画像処理部4,5に出力する画像信号SD5,SD6を選択する。例えば、動作モード選択信号SC1が第1の動作モードMD1を示すとき、右眼の役割を果たす第1の撮像素子1からの第1の画像信号SD1を右眼視覚に係る画像信号変換を実施する第1の画像処理部4に画像信号SD5として出力するとともに、左眼の役割を果たす第2の撮像素子2からの第2の画像信号SD2を左眼視覚に係る画像信号変換を実施する第2の画像処理部5に画像信号SD6として出力する。一方、動作モード選択信号SC1が第2の動作モードMD2を示すとき、第1の画像信号SD1または第2の画像信号SD2のうちいずれか一方を選択し、選択した画像信号を第1のおよび第2の画像処理部4,5に分配して画像信号SD5,SD6として出力する。
【0020】
第1および第2の画像処理部4,5は、入力された画像信号SD5,SD6を表示に適した形式に変換する処理を実施する。例えば、ノイズ除去、Y/C分離、リサイズ処理等の処理を実施し、表示用の第3および第4の画像信号SD3,SD4を出力する。
【0021】
表示処理部6は、第1および第2の画像処理部4,5から出力された第3および第4の画像信号SD3,SD4を表示デバイスに表示させる。ここで、表示デバイスには、例えば、パララックスバリア方式およびレンチキュラー方式等の立体視を実現する3D液晶ディスプレイ等が用いられる。また、表示デバイスは、撮像装置内に備えられている場合や、外部表示デバイスが撮像装置と接続されて使用される場合等がある。
【0022】
ここで、上記のように構成された本実施形態に係る撮像装置1Aの動作について図2,図3を用いて説明する。図2は、第1の動作モードMD1における撮像装置1A各部の処理のタイミングを図示したものであり、図3は、第2の動作モードMD2における撮像装置1A各部の処理のタイミングを図示したものである。ここで、図2,図3内下部は、同図内上部の区間Aを拡大表示したものである。また、SRi,SLi(iは撮像フレーム番号を示す自然数)はそれぞれ第1および第2の撮像素子1,2によって撮像され、出力された第1および第2の画像信号SD1,SD2に含まれる撮像フレームを示し、srim,slim(iは撮像フレーム番号を示す自然数,mは画素番号を示す自然数)は、それぞれ撮像フレームSRi,SLiに含まれる撮像画素を示している。また、PRj,PLj(jは表示フレーム番号を示す自然数)はそれぞれ第1および第2の画像処理部4,5において変換処理を実施した表示用の第3および第4の画像信号SD3,SD4に含まれる表示フレームを示し、prjn,pljn(jは表示フレーム番号を示す自然数,nは画素番号を示す自然数)は、それぞれ表示フレームPRj,PLjに含まれる表示画素を示している。また、Dk ODDおよびDk EVEN(kは表示フレーム番号を示す自然数)はインターレース表示における表示フレームを示し、ODDおよびEVENはそれぞれ奇数フィールド、偶数フィールドを示している。
【0023】
また、撮像周期を30フレーム/秒、表示周期を60フレーム/秒として説明する。また、2次元画像を表示する第2の動作モードMD2の際、第1および第2の撮像素子1,2は、立体画像を表示する第1の動作モードMD1の2倍の速度で第1および第2の画像信号SD1,SD2を出力するものとして説明する。
【0024】
まず、図2を用いて、第1の動作モードMD1における撮像装置1A各部の処理のタイミングについて具体的に説明する。
【0025】
まず、サイクルT1において、第1の撮像素子1は撮像素子垂直同期信号に同期して撮像フレームSR1を撮像する。同様に、第2の撮像素子2は撮像素子垂直同期信号に同期して撮像フレームSL1を撮像する。同図内下部は、撮像フレームSR1に含まれる撮像画素sr11,sr12,sr13,…が順次撮像され、同様に、撮像フレームSL1に含まれる撮像画素sl11,sl12,sl13,…が順次撮像されている様子を示している。
【0026】
第1および第2の撮像素子1,2によってそれぞれに撮像された撮像フレームSR1,SL1は、信号選択部3を通って、それぞれ第1および第2の画像処理部4,5において順次表示に適した形式へ変換処理され、時間Td経過後に表示フレームPR1,PL1として出力される。同図内下部は、第1の画像処理部4において変換処理された表示画素pr11,pr12,…が順次出力され、同様に、第2の画像処理部5において変換処理された表示画素pl11,pl12,…が順次出力される様子を示している。
【0027】
次に、サイクルT3において、第1の撮像素子1は撮像素子垂直同期信号に同期して次の撮像フレームSR2を撮像する。同様に、第2の撮像素子2は撮像素子垂直同期信号に同期して次の撮像フレームSL2を撮像する。第1および第2の撮像素子1,2によってそれぞれに撮像された撮像フレームSR2,SL2は、信号選択部3を通って、それぞれ第1および第2の画像処理部4,5において、順次表示に適した形式へ変換処理され、時間Td経過後に表示フレームPR2,PL2として出力される。また、表示処理部6は、第1および第2の画像処理部4,5での撮像フレームSR1、SL1に対する信号変換処理が終了したため、表示デバイス垂直同期信号に同期して、表示フレームPR1,PL1に基づいた奇数フィールド表示フレームD1 ODDを表示デバイスに出力する。このとき、表示デバイス上には奇数フィールドの画像表示が開始される。
【0028】
また、サイクルT4において、表示処理部6は、表示デバイス垂直同期信号に同期して、表示フレームPR1,PL1に基づいた偶数フィールド表示フレームD1 EVENを表示デバイスに出力する。このとき、表示デバイス上には偶数フィールドの画像表示が開始される。以後、T5,T6…と同様の動作が繰り返される。
【0029】
以上の動作により、第1の動作モードMD1のとき、第1および第2の撮像素子1,2が被写体からの光束を受光してから表示デバイスに画像表示が開始されるまでの遅延量はT3−T1となる。T1およびT3はともに撮像素子垂直同期信号の変化タイミングであるので、例えば、撮像周期が30フレーム/秒である場合の遅延量は1/30秒となる。
【0030】
次に、図3を用いて、第2の動作モードMD2における撮像装置1A各部の処理のタイミングについて具体的に説明する。第2の動作モードMD2のときは、第1の撮像素子1または第2の撮像素子2のいずれか一方が選択されるが、本実施形態では、第1の撮像素子1が選択されたものとして説明する。ここで、例えば第2の撮像素子2が選択された場合でも、同様の効果が得られることは言うまでもない。
【0031】
まず、サイクルT1において、第1の撮像素子1は撮像素子垂直同期信号に同期して撮像フレームSR1を撮像する。同図内下部は、撮像フレームSR1に含まれる撮像画素sr11,sr12,sr13,…が順次撮像されている様子を示している。ここで、第1の撮像素子1は第1の動作モードMD1の2倍の速度で第1の画像信号SD1を出力しているものとする。
【0032】
第1の撮像素子1によって撮像された撮像フレームSR1は、信号選択部3において第1および第2の画像処理部4,5に分配して出力され、第1および第2の画像処理部4,5においてそれぞれに表示に適した形式へ変換処理され、表示フレームPR1が時間Td経過後に出力される。例えば、同内下部を用いて詳細を説明すると、第1の撮像素子1から1番目に出力された撮像画素sr11は第1の画像処理部4に、2番目に出力された撮像画素sr12は第2の画像処理部5のそれぞれに出力される。そして、時間Td経過後に撮像画素sr11に信号変換処理を実施した表示画素pr11が第1の画像処理部4から出力され、撮像画素sr12に信号変換処理を実施した表示画素pr12が第2の画像処理部5から出力される。同様に、第1の撮像素子1から3番目に出力された撮像画素sr13は第1の画像処理部4に、4番目に出力された撮像画素sr14は第2の画像処理部5のそれぞれに出力される。そして、時間Td経過後に撮像画素sr13に信号変換処理を実施した表示画素pr13が第1の画像処理部4から出力され、撮像画素sr14に信号変換処理を実施した表示画素pr14が第2の画像処理部5から出力される。
【0033】
次に、サイクルT2において、表示処理部6は、第1および第2の画像処理部4,5での撮像フレームSR1に対する信号変換処理が終了したため、表示デバイス垂直同期信号に同期して、表示フレームPR1に基づいた奇数フィールド表示フレームD1 ODDを出力する。このとき、表示デバイス上では奇数フィールドの画像表示が開始される。
【0034】
次に、サイクルT3において、第1の撮像素子1で撮像された撮像フレームSR2は、信号選択部3において第1および第2の画像処理部4,5に分配して出力され、第1および第2の画像処理部4,5においてそれぞれに表示に適した形式へ変換処理され、時間Td経過後に表示フレームPR2が出力される。また、表示処理部6は、表示デバイス垂直同期信号に同期して、表示フレームPR1に基づいた偶数フィールド表示フレームD1 EVENを出力する。このとき、表示デバイス上では偶数フィールドの画像表示が開始される。
【0035】
なお、第2の動作モードMD2のとき、第1の画像信号SD1のみが画像表示に使用されるため、表示デバイスには2次元の画像が表示される。
【0036】
以上の動作により、第2の動作モードMD2のとき、第1の撮像素子1が被写体からの光束を受光してから表示デバイスに画像表示が開始されるまでの遅延量はT2−T1となる。T1およびT2はともに表示デバイス垂直同期信号の変化タイミングであるので、例えば、表示周期が60フレーム/秒の場合の遅延量は1/60秒となり、第1の動作モードMD1を選択したときの遅延量の半分に軽減される。
【0037】
以上のように本実施形態によると、第1および第2の動作モードMD1,MD2を動作モード選択部7により切換えることによって、適時立体視を解除しつつ、並列処理により表示遅延を軽減させ、表示遅延に伴うユーザの疲労感を軽減することができる。
【0038】
なお、説明の便宜上、図2、図3において表示処理部6は、第1および第2の画像処理部4,5の信号変換処理終了後に表示デバイスの垂直同期信号に同期して表示デバイスへの出力を開始しているが、第1および第2の画像処理部4,5における信号変換処理の途中においても表示デバイス垂直同期信号に同期して表示フレームDk ODDおよびDk EVEN(kは表示フレーム番号を示す自然数)を出力することができる。
【0039】
また、撮像周期を30フレーム/秒および表示周期を60フレーム/秒に設定したが、これに限定されるものではない。
【0040】
また、上述の実施形態の説明において、動作モード選択信号SC1が第2の動作モードMD2を示すとき、第1および第2の撮像素子1,2のそれぞれから入力された第1および第2の画像信号SD1,SD2のいずれかを信号選択部3において選択するものとして説明したが、これに限定されない。例えば、図4に示す撮像装置1Bは、信号選択部3から出力される撮像素子制御信号SC2,SC3に基づいて、第1および第2の撮像素子1,2を制御する例を示している。撮像装置1Bにおいて、動作モード選択信号SC1が第2の動作モードMD2を示すとき、第1および第2撮像素子1,2のうち、選択されていない方の撮像素子は、撮像素子制御信号SC2,SC3に基づいて、画像信号の出力を停止する一方、選択された方の撮像素子は、画像信号の速度を高める制御を行う。
【0041】
また、動作モード選択信号SC1が第2の動作モードMD2を示すとき、第1および第2の撮像素子1,2が第1および第2の画像信号SD1,SD2を出力する速度は、第1の動作モードMD1における第1および第2の画像信号SD1,SD2を出力する速度の2倍であるとしたが、これに限定されない。例えば、第1および第2の撮像素子1,2は、動作モード選択信号SC1が第2の動作モードMD2を示すとき、第1の動作モードMD1を超える速度で第1および第2の画像信号SD1,SD2を出力するのが好ましい。また、例えば第1および第2の撮像素子1,2は、動作モード選択信号SC1が第2の動作モードMD2を示すとき、第1の動作モードMD1の2倍以上の速度で第1および第2の画像信号SD1,SD2を出力するのが好ましい。
【0042】
また、表示方式としてインターレース表示方式を用いるものとしたが、表示方式はこれに限定されるものではない。例えば、プログレッシブ表示方式を用いても、同様の効果が得られる。
【0043】
また、動作モード選択部7は、動作モード選択信号SC1の出力を、撮像条件に応じて自動的に行う構成、例えば、検出した撮像条件にあわせて動作モード選択信号SC1を出力する構成をとってもよい。あるいは、動作モード選択信号SC1の出力をユーザの指示により行う構成をとってもよい。第2の実施形態では、検出した撮像条件にあわせて動作モード選択信号SC1を出力する構成の一例を説明する。
【0044】
<第2の実施形態>
図5は第2の実施形態に係る撮像装置の構成例を示す図である。図5の撮像装置1Cにおいて、図1と共通の構成要素には図1と同一の符号を付しており、ここではその詳細な説明を省略する。図5の構成において第1の実施形態(図1)と異なるのは、動作モード選択部7Aにおいて、撮像装置1Cの動きを検出する動き検出部71と、動き検出部71からの動き検出信号SC5に基づいて、第1および第2の動作モードMD1,MD2を示す動作モード選択信号SC1を出力する動作モード切換え部72が追加されている点である。
【0045】
本実施形態は、撮像装置の動きの速度(移動速度)に応じて第1および第2の動作モードMD1,MD2を選択し、ユーザ疲労感を軽減することを目的とするものである。例えば、撮像装置1Cが所定速度未満の速度で動いている状態においては、表示デバイスに立体視が可能な画像を表示させる第1の動作モードMD1を選択する一方、撮像装置1Cが所定速度以上の速度で動いている状態においては、表示デバイスに2次元画像を表示させる第2の動作モードMD2を選択し表示遅延を緩和させる。
【0046】
以下、本実施形態における動作を図5を用いて具体的に説明する。本実施形態では、説明の便宜上、動き検出部71は、第1の撮像素子1の動きを検出するものとして説明するがこれに限定されない。例えば、第2の撮像素子2の動きを検出してもよいし、あるいは、第1および第2の撮像素子1,2の両方の動きを検出してもよい。
【0047】
図5において、動き検出部71には、第1の撮像素子1から動き信号SC4が入力される。ここで、動きの検出手段は、例えば角速度センサ等のセンサを用いて第1の撮像素子1の物理的な動きの速度(移動速度)を測定する手段でもよいし、あるいは、例えば第1の画像信号SD1から撮像フレームごとの移動量(すなわち移動速度)を算出する手段でもよい。
【0048】
動作モード切換え部72は、動き検出部71から出力された動き検出信号SC5に基づいて、第1および第2の動作モードMD1,MD2のいずれかを示す動作モード選択信号SC1を出力する。
【0049】
次に、図6を用いて、動作モード切換え部72の動作を具体的に説明する。図6は撮像装置1Cにおける、撮像時間(横軸)に対する移動速度(縦軸)の変化の一例を図示したものである。ここで、撮像装置1Cすなわち第1の撮像素子1の移動速度に対し閾値Mがあらかじめ定義されており、閾値Mと移動速度の変化とが交わる時間をT1,T2としている。時間T1より前は、移動速度が閾値M未満であるため、第1の動作モードMD1が選択され、立体視が可能な画像が表示されている。時間T1において、移動速度が閾値Mになったため、第2の動作モードMD2が選択され、立体視が可能な画像の表示から2次元画像表示に切換えられる。時間T1からT2の期間において、移動速度が閾値Mを超えているため、2次元画像表示が継続される。時間T2において、移動速度が再度閾値Mとなったため、第1の動作モードMD1が選択され、2次元画像の表示から、立体視が可能な画像表示に切換えられる。時間T2より後は、移動速度が閾値M未満のため、立体視が可能な画像表示が継続される。
【0050】
以上の構成により、撮像装置1Cの動きの速度(移動速度)に応じた動作モード切換えを行うことができ、適時ユーザの疲労感を軽減することができる。
【0051】
なお、動作モード切換え部72から動き検出信号SC5に基づいて出力された動作モード選択信号SC1が第2の動作モードMD2を示したとき、信号選択部3は、第1および第2の画像信号SD1,SD2のうちいずれか一方を選択し、第1または第2の画像処理部4,5に画像信号SD5,SD6として出力する構成としてもよい。具体的には例えば、動作モード選択信号SC1が第2の動作モードMD2を示したとき、信号選択部3は、第1の画像信号SD1を選択し、第1の画像処理部4に画像信号SD5として出力する。このとき、第2の画像処理部5には画像信号SD6は出力されない。そして、例えばそのとき表示処理部6は、第1の画像処理部4で信号変換処理された表示用の第3の画像信号SD3を2次元画像の表示用の画像信号として表示デバイスに出力し、表示デバイスには2次元の画像が表示される。
【0052】
<第3の実施形態>
図7は第3の実施形態に係る撮像装置の構成例を示す図である。図7の撮像装置1Dにおいて、図5と共通の構成要素には図5と同一の符号を付しており、ここではその詳細な説明を省略する。図7の構成において第2の実施形態(図5)と異なるのは、信号選択部3Aにおいて、動き検出部71によって検出した動きの方向(移動方向)を示す移動方向信号SC6に基づいて、第2の動作モードMD2のときに第1および第2の画像信号SD1,SD2のうちいずれかを選択する撮像素子選択部31が追加されている点である。
【0053】
以下、本実施形態における動作を図7を用いて具体的に説明する。本実施形態では、第2の実施形態と同様に動き検出部71において第1の撮像素子1の動きを検出するものとして説明するが、これに限定されない。例えば、第2の撮像素子2の動きを検出してもよいし、あるいは、第1および第2の撮像素子1,2の両方の動きを検出してもよい。
【0054】
図7において、撮像素子選択部31には、動き検出部71から第1の撮像素子1の移動方向を示す移動方向信号SC6が入力されるとともに、動作モード切換え部72から動作モード選択信号SC1が入力される。撮像素子選択部31は、第1の動作モードMD1から第2の動作モードMD2に移行する際に、移動方向信号SC6に基づいて、第1および第2の撮像素子1,2のいずれか一方を選択する。信号選択部3Aは、第2の動作モードMD2のときに、第1および第2の画像信号SD1,SD2のうち撮像素子選択部31によって選択された方から出力された画像信号を第1および第2の画像処理部4,5に分配して画像信号SD5,SD6として出力する。例えば、動作モード選択信号SC1が第2の動作モードMD2を示した場合において、移動方向信号SC6が右方向を示したときは、移動方向と反対の左眼の役割を果たす前記第2の撮像素子2が選択され、第2の画像信号SD2が第1および第2の画像処理部4,5に分配して、画像信号SD5,SD6として出力される一方、動作モード選択信号SC1が第2の動作モードMD2を示した場合において、移動方向信号SC6が左方向を示したときは、移動方向と反対の右眼の役割を果たす第1の撮像素子1が選択され、第1の画像信号SD1が第1および第2の画像処理部4,5に分配して、画像信号SD5,SD6として出力される。これにより、撮像装置の動きに伴う表示遅延のユーザ知覚を緩和することができる。
【0055】
次に、図8を用いて、撮像素子選択部31の動作を具体的に説明する。同図内上部は、撮像装置1Dにおける、撮像時間(横軸)に対する移動速度および移動方向(縦軸)の変化の一例を図示したものである。また、同図内下部は、同図内上部の撮像時間(横軸)に対する第1および第2の撮像素子1,2の選択の一例を図示したものである。ここで、撮像装置1Dすなわち第1の撮像素子1の右方向への移動速度に対して閾値M、左方向への移動速度に対して閾値−Mがあらかじめ定義されており、閾値Mおよび閾値−Mと移動速度の変化とが交わる時間をT1,T2,T3,T4としている。ここで、左方向への移動に関して、右方向への速度と区別するために便宜上、移動速度にマイナスの符号を付している。また、閾値が−Mとは左方向への速度がMであることを示している。
【0056】
まず、時間T1より前は、右方向への移動をしており、その移動速度が閾値M未満であるため、第1の動作モードMD1が選択され、立体視が可能な画像が表示されている。このとき、撮像素子選択部31は第1および第2の撮像素子1,2の両方、すなわち第1および第2の画像信号SD1,SD2の両方を選択している。次に、時間T1において、移動速度が閾値Mになったため、第2の動作モードMD2が選択され、立体視が可能な画像の表示から2次元画像表示に切換えられる。このとき、動き検出部71は、移動方向が右であることを示す移動方向信号SC6を出力する。また、撮像素子選択部31は、移動方向信号SC6が示す移動方向と反対の左眼の役割を果たす第2の撮像素子2、すなわち第2の画像信号SD2を選択する。時間T1からT2の期間において、移動方向が右方向であり、かつ、移動速度が閾値Mを超えているため、第2の動作モードMD2すなわち2次元画像表示が継続され、撮像素子選択部31は第2の撮像素子2、すなわち第2の画像信号SD2の選択を継続する。
【0057】
次に、時間T2において、右方向への移動速度が再度閾値Mとなったため、第1の動作モードMD1が選択され、2次元画像の表示から、立体視が可能な画像表示に切換えられる。このとき、撮像素子選択部31は第1および第2の撮像素子1,2の両方、すなわち第1および第2の画像信号SD1,SD2の両方を選択する。次に、時間T2からT3の期間において、移動方向が右方向から左方向に変化するが、速度は閾値Mを超えず(すなわち右方向への速度が閾値Mを超えず)、閾値−Mを下回らない(すなわち左方向への速度が閾値Mを超えない)ため、第1の動作モードMD1すなわち立体視が可能な画像の表示が継続される。このとき、撮像素子選択部31は第1および第2の撮像素子1,2の両方、すなわち第1および第2の画像信号SD1,SD2の両方の選択を継続する。
【0058】
次に、時間T3において、移動速度が閾値−M(すなわち左方向への移動速度が閾値Mとなった)になったため、第2の動作モードMD2が選択され、立体視が可能な画像の表示から2次元画像表示に切換えられる。このとき、撮像素子選択部31には、動き検出部71から移動方向が左であることを示す移動方向信号SC6が入力され、移動方向と反対の右眼の役割を果たす第1の撮像素子1、すなわち第1の画像信号SD1が選択される。次に、時間T3からT4の期間において、移動方向が左方向であり、かつ、移動速度が閾値−Mを下回っている(すなわち左方向への移動速度が閾値Mを超えている)ため、第2の動作モードMD2すなわち2次元画像表示が継続され、撮像素子選択部31は第1撮像素子1、すなわち第1の画像信号SD1の選択を継続する。
【0059】
次に、時間T4において、左方向への移動速度が再度閾値−M(すなわち左方向への移動速度が閾値Mとなった)となったため、第1の動作モードMD1が選択され、2次元画像の表示から、立体視が可能な画像表示に切換えられる。このとき、撮像素子選択部31は第1および第2の撮像素子1,2の両方、すなわち第1および第2の画像信号SD1,SD2の両方を選択する。次に、時間T4より後は、左方向に移動し、かつ、左方向への移動速度が閾値−Mを下回らない(すなわち左方向への速度が閾値Mを超えない)ため、立体視が可能な画像表示すなわち第1の動作モードMD1が継続され、撮像素子選択部31は第1および第2の撮像素子1,2の両方、すなわち第1および第2の画像信号SD1,SD2の両方の選択を継続する。
【0060】
以上の構成により、撮像装置1Dの移動速度に応じた第1および第2の画像信号SD1,SD2(第1および第2の撮像素子1,2)の選択を行うことができ、かつ、第2の動作モードMD2の際に、撮像装置1Dの移動方向に応じて移動方向に先行した2次元画像が表示デバイスに表示されるため、表示遅延のユーザ知覚量を減少させることができる。
【0061】
<第4の実施形態>
図9は第4の実施形態に係る撮像装置の構成例を示す図である。図9の撮像装置1Eにおいて、図1と共通の構成要素には図1と同一の符号を付しており、ここではその詳細な説明を省略する。図9の構成において第1の実施形態(図1)と異なるのは、表示処理部6Aにおいて、第1の動作モードMD1から第2の動作モードMD2に移行する際、および第2の動作モードMD2から第1の動作モードMD1に移行する際、時系列で段階的に動作モードが移行するように画像を補正する表示画像補正部61が追加されている点である。
【0062】
以下、本実施形態における動作を図9を用いて具体的に説明する。図9において、表示画像補正部61には、動作モード選択信号SC1および動作モード移行期間を示す移行期間信号SC7が入力される。表示画像補正部61は、動作モードを移行する際に、移行期間信号SC7が動作モード移行期間中であることを示しているときは、第1および第2の画像処理部4,5から出力された第3および第4の画像信号SD3,SD4に対して補正を行う。補正後、表示デバイスに左眼視覚に係る表示用の画像信号SDL、および右眼視覚に係る表示用の画像信号SDRを出力する。
【0063】
次に、図10を用いて、表示画像補正部61の動作を具体的に説明する。図10は、撮像装置1Eにおける、撮像時間(横軸)に対する移動速度(縦軸)の変化の一例を図示したものである。
【0064】
なお、図10では、撮像装置1Eの移動速度に基づいて、動作モード選択信号SC1を出力する例について説明するが、これに限定されない。例えば、動作モード選択信号SC1の出力をユーザの指示により行う構成をとってもよい。
【0065】
ここで、撮像装置1Eの移動速度に対し閾値Mがあらかじめ定義されており、閾値Mと移動速度の変化とが交わる時間をT1,T2としている。また、動作モード移行期間の長さをΔTとしている。なお、図10では説明の便宜上、時間T1と時間T2とに係る動作モード移行期間の長さを同じ時間ΔTとしているが、これに限定されない。例えば、時間T1と時間T2とにおいて動作モード移行期間の長さが異なってもかまわない。
【0066】
また、移行期間信号SC7は、HIGHのとき動作モード移行期間中であることを示すものとする。
【0067】
まず、動作モード選択信号SC1が第2の動作モードMD2を示した場合において、第1の撮像素子1が選択されるとき(すなわち、第1の画像信号SD1が選択されるとき)について説明する。
【0068】
まず、時間T1より前は、移動速度が閾値M未満であるため、第1の動作モードMD1が選択され、立体視が可能な画像が表示されている。
【0069】
次に、時間T1において、移動速度が閾値Mになったため、移行期間信号SC7がHIGHとなり、第1の動作モードMD1から第2の動作モードMD2への移行期間であることを示している。なお、この期間、第1および第2の画像信号SD1,SD2は、それぞれ信号選択部3を介して第1および第2の画像処理部4、5に画像信号SD5,SD6として出力され、それぞれに信号変換処理される状態を継続している。また、第1の画像処理部4から出力された第3の画像信号SD3と第2の画像処理部5から出力された第4の画像信号SD4とを合成する比率を示す合成比率は0であり、第3および第4の画像信号SD3,SD4はそれぞれに表示画像補正部61から表示デバイスに画像信号SDR,SDLとして、補正をせずに出力されている。次に、時間T1から時間(T1+ΔT)の期間において、合成比率は一次関数に基づいて0から1まで単位時間ごとに一定量ずつ増加する。なお、本実施形態では、合成比率は一次関数に基づくものとするが、他の関数に基づいてもよい。このとき、左眼視覚に係る表示用の画像信号SDLとして、次式1によって表される補正が行われた信号が出力される。
【0070】
SDL = 第4の画像信号SD4 × (1−合成比率)
+ 第3の画像信号SD3 × 合成比率 ・・・ 式1
このとき、右眼視覚に係る表示用の画像信号SDRには補正は行われない。次に、時間(T1+ΔT)において、移行期間信号SC7がLOWとなり移行期間が終了するとともに、合成比率は1となる。ここで、動作モード選択信号SC1は、第2の動作モードMD2を示し(すなわち第1の画像信号SD1が選択され)、2次元画像表示への移行が完了する。次に、時間(T1+ΔT)からT2の期間において、移動速度が閾値Mを超えているため、2次元画像表示が継続される。
【0071】
次に、時間T2において、移動速度が再度閾値Mとなったため、移行期間信号SC7がHIGHとなり、第2の動作モードMD2から第1の動作モードMD1への移行期間であることを示している。次に、時間T2から時間(T2+ΔT)の期間において、合成比率は一次関数に基づいて1から0まで単位時間ごとに一定量ずつ減少する。このとき、第1および第2の画像信号SD1,SD2は、それぞれ信号選択部3を介して画像信号SD5、SD6として第1および第2の画像処理部4、5に出力され、信号変換処理されて第3および第4の画像信号SD3,SD4として表示画像補正部61に出力される。表示画像補正部61は、左眼視覚に係る表示用の画像信号SDLに上記式1で表される補正を行う。なお、このとき右眼視覚に係る表示用の画像信号SDRには補正は行わない。次に、時間(T2+ΔT)において、移行期間信号SC7がLOWとなり移行期間が終了するとともに、合成比率は0となる。ここで、動作モード選択信号SC1は、第1の動作モードMD1を示し、立体視が可能な画像表示への移行が完了する。
【0072】
次に、動作モード選択信号SC1が第2の動作モードMD2を示した場合において、第2の撮像素子2が選択されるとき(すなわち、第2の画像信号SD2が選択されるとき)について説明する。ここで、上述の第1の撮像素子1が選択される場合と基本的な動作は同じであり、ここでは詳細な説明を省略する。上述の第1の撮像素子1が選択される場合と異なるのは、動作モード移行期間における左眼視覚に係る表示用の画像信号SDLと右眼視覚に係る表示用の画像信号SDRの補正についてである。まず、左眼視覚に係る表示用の画像信号SDLについて、表示画像補正部61は、補正を行わない。一方、右眼視覚に係る表示用の画像信号SDRには、次式2に示される補正を行う。
【0073】
SDR = 第3の画像信号SD3 × (1−合成比率)
+ 第4の画像信号SD4 × 合成比率 ・・・ 式2
以上の構成により、第1の動作モードMD1から第2の動作モードMD2への移行期間においては、立体視が可能な画像から2次元画像へ徐々に表示が切換わり、および、第2の動作モードMD2から第1の動作モードMD1への移行期間においては、2次元画像から立体視が可能な画像へ徐々に表示が切換わる。これにより、動作モード切換え時の違和感を軽減することができる。
【0074】
なお、上述の第1から第4の実施形態は、それぞれを互いに組み合わせて実施してもかまわない。例えば、第3と第4の実施形態において説明した信号選択部3A,表示処理部6A,動作モード選択部7Aを組み合わせて使用することが可能であり、組み合わせてもそれぞれに同様の効果が得られる。また、例えば、撮像装置1C,1Dおよび1Eにおいて、撮像素子制御信号SC2,SC3を出力するような構成としてもよい。
【産業上の利用可能性】
【0075】
本発明では、表示遅延を緩和することで、表示遅延に伴うユーザの疲労感の軽減を可能とする立体画像の撮影機能を有する撮像装置を実現できるので、例えば電子カメラおよびカメラ機能を有する携帯電話などの電子機器において、表示画像を確認するユーザの疲労感を軽減させるために有用である。
【符号の説明】
【0076】
1 第1の撮像素子
2 第2の撮像素子
3,3A 信号選択部
4 第1の画像処理部
5 第2の画像処理部
6,6A 表示処理部
7,7A 動作モード選択部
31 撮像素子選択部
61 表示画像補正部
71 動き検出部
72 動作モード切換え部
SD1 第1の画像信号
SD2 第2の画像信号
SD3 第3の画像信号
SD4 第4の画像信号
SC1 動作モード選択信号
SC2,SC3 撮像素子制御信号
SC5 動き検出信号
SC6 移動方向信号
SC7 移行期間信号

【特許請求の範囲】
【請求項1】
立体画像の撮影機能を有する撮像装置であって、
立体画像を撮像するために設けられており、第1および第2の画像信号をそれぞれ出力する第1および第2の撮像素子と、
前記第1および第2の画像信号のいずれか一方が入力され、この入力された画像信号を表示用の第3の画像信号に変換する第1の画像処理部と、
前記第1および第2の画像信号のいずれか一方が入力され、この入力された画像信号を表示用の第4の画像信号に変換する第2の画像処理部と、
前記第1および第2の画像処理部から出力された前記第3および第4の画像信号を表示デバイスに出力する表示処理部と、
立体画像を表示する第1の動作モードおよび2次元画像を表示する第2の動作モードのいずれかを示す動作モード選択信号を出力する動作モード選択部と、
前記動作モード選択信号に基づいて、前記第1および第2の画像処理部の各々に対して、前記第1または第2の画像信号を選択し、出力する信号選択部とを備え、
前記信号選択部は、前記動作モード選択信号が、前記第1の動作モードを示すときは、前記第1の画像信号を前記第1の画像処理部に出力するとともに、前記第2の画像信号を前記第2の画像処理部に出力する一方、前記第2の動作モードを示すときは、前記第1および第2の画像信号のうちいずれか一方を選択し、前記第1および第2の画像処理部に分配して出力する
ことを特徴とする撮像装置。
【請求項2】
請求項1記載の撮像装置において、
前記信号選択部は、前記動作モード選択信号が前記第2の動作モードを示すとき、前記第1および第2の撮像素子のうち、選択した方に、画像信号の出力速度を高める撮像素子制御信号を出力する
ことを特徴とする撮像装置。
【請求項3】
請求項1記載の撮像装置において、
前記信号選択部は、前記動作モード選択信号が前記第2の動作モードを示すとき、前記第1および第2の撮像素子のうち、選択しなかった方に、画像信号の出力を停止させる撮像素子制御信号を出力する
ことを特徴とする撮像装置。
【請求項4】
請求項1記載の撮像装置において、
前記動作モード選択部は、
当該撮像装置の動きを検出し、この動きを示す動き検出信号を出力する動き検出部と、
前記動き検出部から出力される前記動き検出信号に基づいて、前記動作モード選択信号を設定し、出力する動作モード切換え部とを備えている
ことを特徴とする撮像装置。
【請求項5】
請求項4記載の撮像装置において、
前記動き検出部は、当該撮像装置の動きの方向を示す移動方向信号を出力するものであり、
前記信号選択部は、
前記動作モード選択信号が前記第2の動作モードを示すとき、前記動き検出部から出力された前記移動方向信号に基づいて、前記第1および第2の撮像素子のうち、前記第1および第2の画像処理部に出力する画像信号の出力元となる撮像素子を選択する撮像素子選択部を更に備えている
ことを特徴とする撮像装置。
【請求項6】
請求項1記載の撮像装置において、
前記表示処理部は、
前記第1の動作モードから前記第2の動作モードへの移行、および、前記第2の動作モードから前記第1の動作モードへの移行のうち少なくともいずれか一方の際に、時系列で段階的に動作モードの移行がなされるように前記第3および第4の画像信号を補正する表示画像補正部を備えている
ことを特徴とする撮像装置。
【請求項7】
立体画像の撮影機能を有する撮像装置であって、
立体画像を撮像するために設けられており、第1および第2の画像信号をそれぞれ出力する第1および第2の撮像素子と、
前記第1および第2の画像信号のいずれか一方が入力され、この入力された画像信号を表示用の第3の画像信号に変換する第1の画像処理部と、
前記第1および第2の画像信号のいずれか一方が入力され、この入力された画像信号を表示用の第4の画像信号に変換する第2の画像処理部と、
前記第1および第2の画像処理部から出力された前記第3および第4の画像信号を表示デバイスに出力する表示処理部と、
立体画像を表示する第1の動作モードおよび2次元画像を表示する第2の動作モードのいずれかを示す動作モード選択信号を出力する動作モード選択部と、
前記動作モード選択信号に基づいて、前記第1および第2の画像処理部の各々に対して、前記第1または第2の画像信号を選択し、出力する信号選択部とを備え、
前記信号選択部は、前記動作モード選択信号が、前記第1の動作モードを示すときは、前記第1の画像信号を前記第1の画像処理部に出力するとともに、前記第2の画像信号を前記第2の画像処理部に出力する一方、前記第2の動作モードを示すときは、前記第1および第2の画像信号のうちいずれか一方を選択し、前記第1または第2の画像処理部に出力するものであり、
前記動作モード選択部は、当該撮像装置の動きを検出し、この動きを示す動き検出信号を出力する動き検出部と、前記動き検出部から出力される前記動き検出信号に基づいて、前記動作モード選択信号を設定し、出力する動作モード切換え部とを備えている
ことを特徴とする撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2012−182653(P2012−182653A)
【公開日】平成24年9月20日(2012.9.20)
【国際特許分類】
【出願番号】特願2011−44222(P2011−44222)
【出願日】平成23年3月1日(2011.3.1)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】