撮影装置および撮影方法
【課題】一部を焦点検出用素子に兼用する撮像素子を有する場合であっても、十分な画質を得ることの可能な撮影装置および撮影方法を提供する。
【解決手段】撮像素子１０３は焦点検出用画素１０３ａを有し、被写体画像と撮像素子の相対的な移動量（ａ、ｂ）を算出し、撮像素子による１フレームの撮像の完了後であって、次のフレームの撮像開始前に算出された移動量に基づいて撮像素子を移動させ、移動量に応じた切り出し位置１０３ｂで画像を切り出す。
【解決手段】撮像素子１０３は焦点検出用画素１０３ａを有し、被写体画像と撮像素子の相対的な移動量（ａ、ｂ）を算出し、撮像素子による１フレームの撮像の完了後であって、次のフレームの撮像開始前に算出された移動量に基づいて撮像素子を移動させ、移動量に応じた切り出し位置１０３ｂで画像を切り出す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一部を焦点検出用素子に兼用する撮像素子を有し、連続して撮像を行うことで動画を撮影する撮影装置および撮影方法に関する。
【背景技術】
【０００２】
撮像素子の一部を焦点検出用フォトダイオードに兼用する撮像素子は従来から知られている（特許文献１参照）。この特許文献１に開示の撮像素子では、焦点検出用に兼用する領域の各画素は２つの画素に分割され、この２つの画素は、それぞれオンチップマイクロレンズを介して、撮影レンズの異なる射出瞳領域（以下「瞳領域」と記載する）を通過した被写体光束を受光する。そして、この異なる瞳領域を通過した２種類の画像信号によって表わされる２つの画像の位相差に基づいて焦点状態が検出される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５９２１４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の特許文献１に開示の撮像素子は、１つの撮像素子を撮像と焦点検出に兼用できる点で優れている。しかし、特許文献１に開示の撮像素子は、画像を構成する画素の一部を測距のための画素（ＡＦ画素）に置き換えることから、このＡＦ画素の部分の画像が欠損してしまい、画像が劣化してしまう。画像の劣化を防止するためには、ＡＦ画素を減らせばよいが、ＡＦ画素を減らすとＡＦの精度を維持することができない。
【０００５】
このような欠損画素があると、静止画や動画やライブビュー表示の際に、その部分がノイズのように見えてしまう。特に、ライブビュー表示の際に、画像の拡大表示を行ったり、動画撮影の際に拡大記録を行ったりすると、従来の欠陥画素数よりもはるかに多い画素がＡＦ画素となることから、欠損画素が目立ってしまう。欠損画素の部分を補間法等により補正する方法が考えられる。しかし、補間法等の補正を行った場合にはその位置の画質が常に劣化してしまう。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、一部を焦点検出用素子に兼用する撮像素子を有する場合であっても、十分な画質を得ることの可能な撮影装置および撮影方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる撮影装置は、動画を撮像可能な撮影装置において、焦点検出用画素を有し、被写体画像を画像データに変換し出力する撮像素子と、上記被写体画像と上記撮像素子の相対的な移動量を算出する移動量算出手段と、上記撮像素子による第１のフレームの撮像の完了後であって、上記第１のフレーム以後に撮像するフレームである第２のフレームの撮像開始前までの間に、上記移動量算出手段によって算出された上記移動量に基づいて、上記被写体画像と上記撮像素子の相対位置を変更させる変更手段と、を具備する。
【０００８】
第２の発明に係わる撮影装置は、上記第１の発明において、さらに、上記撮像素子から出力される上記画像データに基づいてライブビュー表示を行う表示手段と、上記ライブビュー表示を行うにあたって拡大表示を指示するための拡大画像操作手段と、上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更する画像切り出し手段と、を有し、上記拡大表示が指示された際に、上記移動量に基づいて上記被写体画像と上記撮像素子の相対位置を上記変更手段によって変更させ、上記移動量に応じて上記画像データの切り出し位置を上記画像切り出し手段によって変更させ、この切り出し位置を変更した画像データに基づいて上記表示手段にライブビュー表示させる。
第３の発明に係わる撮影装置は、上記第２の発明において、上記第２のフレームは、上記表示手段において、上記第１のフレームの画像の次に表示される画像である。
【０００９】
第４の発明に係わる撮影装置は、上記第１の発明において、さらに、上記撮像素子から出力される上記画像データに基づいて動画画像の記録を行う記録手段と、上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更する画像切り出し手段と、を有し、上記動画画像の記録が指示された際に、上記移動量に基づいて上記被写体画像と上記撮像素子の相対位置を上記変更手段によって変更させ、上記移動量に応じて上記画像データの切り出し位置を上記画像切り出し手段によって変更させ、この切り出し位置を変更した画像データを記録手段によって記録する。
第５の発明に係わる撮影装置は、上記第４の発明において、上記第２のフレームは、上記記録手段において、上記第１のフレームの画像の次に記録される画像である
【００１０】
第６の発明に係わる撮影装置は、上記第１の発明において、上記変更手段は、上記撮像素子を上記移動量に基づいて移動させるか、または上記被写体像を形成するためのレンズを上記移動量に基づいて移動させる。
第７の発明に係わる撮影装置は、上記第１の発明において、上記変更手段は、拡大表示を行う際に、または拡大表示が指示されたら、上記被写体画像と上記撮像素子の相対位置の変更を実行する。
【００１１】
第８の発明に係わる撮影装置は、上記第１の発明において、上記移動量算出手段は、上記被写体画像と上記撮像素子の相対位置を、ランダムに変更させるか、または規則的に変更させる。
第９の発明に係わる撮影装置は、上記第１の発明において、上記移動量算出手段は、上記撮像素子から出力される画像データの画像縮小率に応じて、上記移動量を算出する。
第１０の発明に係わる撮影装置は、上記第１の発明において、上記移動量算出手段は、所定の縮小率より大きく表示する場合または記録する場合のみ上記移動量を変更し、上記所定の縮小率よりも小さく表示または記録場合には上記移動量を０とする。
【００１２】
第１１の発明に係わる撮影装置は、上記第１の発明において、さらに、上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更する画像切り出し手段を有する。
【００１３】
第１２の発明に係わる撮影装置は、上記第１の発明において、さらに、上記画像データの補間処理を行う補間手段を有する。
第１３の発明に係わる撮影装置は、上記第１２の発明において、上記補間手段は、フレーム間の平滑処理による補間処理、または１フレームの画像内での補間処理を行う。
【００１４】
第１４の発明に係わる撮影方法は、イメージャーＡＦ画素を有する撮像素子を用い、連続して撮像を行うことで動画を撮影する撮影方法であって、画像の縮小率に応じて移動量を算出し、１フレームの撮像が完了してから次のフレームの撮像を開始する前に、被写体像と上記撮像素子の相対位置を、上記移動量に応じて変更する。
【発明の効果】
【００１５】
本発明によれば、一部を焦点検出用素子に兼用する撮像素子を有する場合であっても、フレーム間で被写体像と撮像素子の相対位置を変更するので、十分な画質を得ることの可能な撮影装置および撮影方法を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施形態に係わるデジタルカメラの電気系を主とする全体構成を示すブロック図である。
【図２】本発明の第１実施形態に係わるデジタルカメラの撮像素子のフィルタの配列を示す平面図である。
【図３】本発明の第１実施形態に係わるデジタルカメラの撮像素子の構造を示す図であり、（ａ）は撮像素子の平面図であり、（ｂ）は撮像素子のＢ−Ｂ断面図である。
【図４】本発明の第１実施形態に係わるデジタルカメラにおいて、撮像素子位置移動部の構成を示す平面図である。
【図５】本発明の第１実施形態に係わるデジタルカメラにおいて、交換レンズとカメラ本体の同期通信の一例を示すタイミングチャートである。
【図６】本発明の第１実施形態に係わるデジタルカメラのメインフローを示すフローチャートである。
【図７】本発明の第１実施形態に係わるデジタルカメラの動画・ライブビュー撮影を示すフローチャートである。
【図８】本発明の第１実施形態に係わるデジタルカメラにおいて、移動量の算出方法を説明する図である。
【図９】本発明の第１実施形態に係わるデジタルカメラの動画用画像処理を示すフローチャートである。
【図１０】本発明の第１実施形態に係わるデジタルカメラのフレーム間ＮＲの処理を示すフローチャートである。
【図１１】本発明の第２実施形態に係わるデジタルカメラの電気系を主とする全体構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、図面に従って本発明を適用したデジタルカメラを用いて好ましい実施形態について説明する。図１は、本発明の第１実施形態に係わるデジタルカメラの主として電気的構成を示すブロック図である。このデジタルカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。
【００１８】
交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フォトインタラプタ（以下、ＰＩと称す）２０８、フラッシュメモリ２０９、マニュアルフォーカス環（以下、ＭＦ環と称す）２１０から構成され、後述するカメラ本体１００との間にインターフェース（以下、Ｉ／Ｆと称す）３００を有する。
【００１９】
撮影レンズ２０１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。
【００２０】
ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ３００、ＰＩ２０８、およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。
【００２１】
フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ３００は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。Ｉ／Ｆ３００を介して行うマイクロコンピュータ２０７とマイクロコンピュータ１２１間の同期通信については、図５を用いて後述する。
【００２２】
交換式レンズ２００の外周には、ＭＦ環２１０が回転自在に設けられている。このＭＦ環２１０は、撮影者が手動でピント合わせを行う場合に操作する操作部材である。ＰＩ２０８は、ＭＦ環２１０の回転に応じてパルス信号を発生し、このパルス信号をマクロコンピュータ２０７に出力する。マクロコンピュータ２０７は、ＰＩ２０８からのパルス信号に基づいてＭＦ環２１０の回転方向、回転速度、回転量等を検出し、この検出結果に応じて、ドライバ２０５を駆動して、手動によるピント合わせを行う。
【００２３】
また、ＭＦ環２１０が操作され、マニュアルフォーカス操作中であることは、Ｉ／Ｆ３００を介して、カメラ本体１００内のマイクロコンピュータ１２１に伝達される。本実施形態においては、ＭＦ環２１０を操作すると、後述する液晶ディスプレイ（以下、ＬＣＤと称す）１３５には、ライブビュー表示が拡大表示されることから、ＭＦ環２１０は、ライブビュー表示を行うにあたって拡大表示を指示、または動画の記録時に画像の拡大を指示するための拡大画像操作手段として機能する。
【００２４】
カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。
【００２５】
撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤー配列のカラーフィルタが配置されている。ベイヤー配列は、水平方向にＲ画素とＧ画素が交互に配置されたラインと、Ｇ画素とＢ画素が交互に配置されたラインを有している。さらにそのＲ画素とＢ画素の一部は、焦点検出用画素（ＡＦ画素）に置き換えられている。この撮像素子１０３の詳しい構成について、図２および図３を用いて後述する。なお、本明細書においては、撮像素子１０３から出力される画像信号に基づく信号であれば、Ａ／Ｄ変換部１０７によってＡ／Ｄ変換された信号のみならず画像信号も含めて画像データと称する場合がある。
【００２６】
撮像素子１０３は、撮像素子位置移動部１１７によって、撮影レンズ２０１の光軸と直交する面内で、垂直方向および水平方向にシフトさせられる。この撮像素子位置移動部１１７は、圧電素子の駆動力によって撮像素子１０３を移動させるためのメカ機構と、圧電素子の駆動制御を行うための回路等から構成される。撮像素子移動部１１７の詳しい構成について、図４を用いて後述する。
【００２７】
撮像素子位置移動部１１７は、撮影レンズ２０１によって形成された被写体画像と、撮像素子１０３の相対位置を変更させる変更手段として機能する。後述するように、マイクロコンピュータ１２１は、撮像素子１０３の移動量を算出するので、撮像素子位置移動部１１７は、撮像素子１０３による１フレームの撮像の完了後であって、次のフレームの撮像開始前に、算出された移動量に基づいて、被写体画像と撮像素子の相対位置を変更させる（本実施形態においては、撮像素子１０３を移動させることにより、被写体画像と撮像素子の相対位置を変更させている）。また、この変更手段は、拡大表示を行う際に、または拡大表示が指示されたら、被写体画像と撮像素子の相対位置の変更を実行する。
【００２８】
撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１９に出力する。
【００２９】
バス１１９は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１９には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像圧縮伸張部１１５、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以下、メモリＩ／Ｆと称す）１２９、液晶ディスプレイドライバ（以下、ＬＣＤドライバと称す）１３３が接続されている。
【００３０】
画像処理部１０９は、ホワイトバランス補正（ＷＢ補正）、同時化処理、ガンマ・色再現処理、ノイズリダクション処理、オプティカルブラック減算処理（ＯＢ減算）、エッジ強調処理等を行い、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して種々の画像処理を施す。
【００３１】
また、画像処理部１０９による画像処理として、ライブビュー表示中または動画記録中に、ＭＦ環２１０が操作されると、撮像素子１０３からの画像の一部を切り出し、拡大画像を生成する。前述したように、撮像素子１０３の焦点検出用画素は画像を構成する画素でないことから、画素欠陥となってしまう。そこで、本実施形態においては、ライブビュー表示や動画撮影中のように動画の画像データを生成する際には、焦点検出用画素の位置がフレーム毎に変化するように、撮像素子位置移動部１１７が所定の移動量で撮像素子１０３を移動させ、画像処理部１０９が所定の移動量に応じて画像の切り出し位置を変化させ拡大画像を生成する。このように、画像処理部１０９は、撮像素子から出力される画像データを移動量に応じて切り出し位置を変更する画像切り出し手段として機能する。
【００３２】
また、画像処理部１０９は、補間手段としても機能し、画像データの補間処理、たとえば、複数のフレーム間における平滑処理、また１フレームの画像内での補間処理を行い、画像ノイズを低減させる。なお、フレーム間での平滑処理の一例としてのフレーム間ＮＲ（Noise Reduction）について、図１０を用いて後述する。
【００３３】
ＡＥ処理部１１１は、バス１１９を介して入力した画像データに基づいて被写体輝度測定し、この被写体輝度情報を、バス１１９を介してマイクロコンピュータ１１７に出力する。被写体輝度測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。
【００３４】
ＡＦ処理部１１３は、撮像素子１０３の焦点検出画素に設けられたＡＦフォトダイオード１１ｂ（図３参照）の出力に基づいて、いわゆる位相差法により、撮影レンズ２０１のデフォーカス方向およびデフォーカス量を算出し、バス１１９を介してマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、算出されたデフォーカス方向およびデフォーカス量を交換式レンズ２００内のマイクロコンピュータ２０７に出力し、ドライバ２０５によって、撮影レンズ２０１の自動焦点調節を行う。
【００３５】
画像圧縮伸張部１１５は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から画像データを読み出し、この読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮する。また、画像データの再生時に、記録媒体１３１からの読み出した画像データの伸張処理を行う。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、ＭＰＥＧ等、他の圧縮方式でも勿論かまわない。
【００３６】
マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ３００以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。
【００３７】
また、マイクロコンピュータ１２１は、前述した所定量の算出を行う移動量算出手段として機能する。すなわち、前述したように、ライブビュー表示や動画撮影中のように動画の画像データを生成する際には、焦点検出用画素の位置が、フレーム毎に変化するように、撮像素子１０３上の被写体画像と撮像素子１０３のいずれか一方（本実施形態においては、撮像素子１０３）を、所定の移動量で移動させており、マイクロコンピュータ１２１は、このときの移動量を算出する。この移動量は、ＭＦ環２１０が操作され拡大画像を生成する際等、撮像素子から出力される画像データの画像の縮小率に応じて異ならせている。具体的には、所定の縮小率より大きく表示・記録する場合のみに移動量を変更し、所定の縮小率より小さく表示・記録する場合には移動量は０としている。
【００３８】
操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。
【００３９】
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチを備える。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。
【００４０】
動画釦は、動画の撮影を開始させ、また終了させるための釦である。初期状態では動画未撮影状態であるので、この状態で動画釦を押すと動画の撮影を開始し、動画撮影中に動画釦を押すと、動画の撮影を終了する。従って、動画釦を押すたびに、動画の撮影開始と終了を交互に繰り返す。また、再生釦は、記録媒体１３１に記録されている撮影画像をＬＣＤ１３５に表示させる表示モードを実行させるための操作釦である。
【００４１】
メニュー釦はメニュー画面を表示させる。本実施形態においては、マニュアルフォーカス時のＭＦ環２１０の操作やボタン操作等により、ライブビュー表示を拡大表示するが、そのときの拡大率は、メニュー画面において設定する。勿論、倍率設定用の操作釦を設けても構わない。
【００４２】
フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいて当該デジタルカメラの制御を行う。また、フラッシュメモリ１２５は、被写体輝度に対して適正露光となる露出制御値（ＩＳＯ感度、絞り値、シャッタ速度）の組合せを示すテーブル（露出条件決定テーブル）、ホワイトバランス補正を行うためのホワイトバランスゲインや、カラーマトリックス係数を記憶している。フラッシュメモリ１２５は、当該デジタルカメラの動作に必要な各種パラメータやテーブルを記憶しており、マイクロコンピュータ１２１が前述のプログラムに従って、これらのパラメータを読み出し、各処理を実行する。
【００４３】
バス１１９に接続されたＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９や画像圧縮伸張部１１５等において処理された画像データを一時記憶する。
【００４４】
バス１１９に接続されたメモリＩ／Ｆ１２９は、記録媒体１３１に画像データ等を記録し、また記録媒体１３１から画像データ等を読出しの際のインターフェースである。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。メモリＩ／Ｆ１２９および記録媒体１３１によって、撮像素子１０３から出力される画像データに基づいて動画画像の記録を行う記録手段が構成される。
【００４５】
ＬＣＤドライバ１３３は、ＬＣＤ１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮伸張部１１５によって伸張された画像データに基づいて画像をＬＣＤ１３５において表示させる。ＬＣＤ１３５は、カメラ本体１００の背面等に配置された液晶ディスプレイを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、圧縮されている画像データを表示する場合には、前述したように、画像圧縮伸張部１１５によって伸張処理を施した後に表示する。また、表示部としては、液晶ディスプレイに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。
【００４６】
次に、本実施形態における撮像素子の詳細な構成について、図２および図３を用いて説明する。図２（ｂ）は、撮像素子１０３の平面図であり、図２（ａ）は、撮像素子１０３の一部分を拡大した図である。図２（ａ）において、横方向に画素ナンバとしてア〜タを割り当て、縦方向に画素ナンバとして１〜１６を割り当てる。この例では、画素（ア、１）がＲ画素であり、画素（イ、２）がＢ画素であり、画素（イ、１）および画素（ア、２）がＧ画素である。この４画素の組合せが、横方向および縦方向に繰り返され、撮像素子が構成される。なお、各画素内において丸で示した部分は、マイクロレンズを示す。
【００４７】
本実施形態における撮像素子の配置は、一部のＲまたはＢの画像生成用画素を焦点検出用画素に置き換えて配列されている。すなわち、図２（ａ）に示した例では、画素（エ、４）、画素（オ、５）、画素（シ、４）、画素（ス、５）、画素（エ、１２）、画素（オ、１３）、画素（シ、１２）、画素（ス、１３）の合計８個の焦点検出用画素を含んでいる。これらの焦点検出用画素によって、撮像素子１０３の画面において垂直方向（画素座標１〜１６の方向）の位相差を検出可能である。
【００４８】
なお、本実施形態においては、撮像素子１０３の垂直方向に沿っての位相差を検出するように焦点検出用画素を配置したが、これに限らず、水平方向や斜め方向に沿っての位相差を検出するように焦点検出用画素を配置するようにしてもよい。また、本実施形態においては、焦点検出用画素は、Ｒ画素やＢ画素にあたる位置に置き換えていたが、これに限らず、Ｇ画素にあたる位置に焦点検出用画素を置き換えるようにしても勿論かまわない。
【００４９】
次に、焦点検出用画素の詳しい構造について、図３を用いて、説明する。図３（ａ）は焦点検出用画素の平面図であり、図３（ｂ）はＢ−Ｂ断面図である。通常のマトリクス状に配置された撮影画像生成用画素ではフォトダイオード（不図示）が配置されているのに対して、焦点検出用画素では、図３（ａ）に示すように、ＡＦ検出用フォトダイオード１１ｂが配置される。このＡＦ検出用フォトダイオード１１ｂは、マイクロレンズ１７の光軸よりも、一側に偏って形成される。また、カラーフィルタは、焦点検出用画素では、輝度フィルタ１５ｂが配置される。なお、輝度フィルタ１５ｂは、ＮＤフィルタ、透明フィルタ、グレーフィルタ等で構成され、またフィルタがなく中空となっているものも含まれる。
【００５０】
輝度フィルタ１５ｂの上側は、マイクロレンズ１７によって覆われている。マイクロレンズ１７は、撮影レンズ２０１の射出瞳１９の位置と画素（ＡＦ検出用フォトダイオード１１ｂ）が略共役になるように、焦点距離とその位置が決められている。また、輝度フィルタ１５ｂの裏面側には遮光部材１３が設けられている。この遮光部材１３は、射出瞳１９の一側のみがＡＦ検出用フォトダイオード１１ｂに到達させ、それ以外の被写体光束を遮光する。なお、図３（ｂ）においては、ＡＦ検出用フォトダイオード１１ｂは、マイクロレンズ１７の光軸よりも、一側に偏って形成されているが、画像生成用画素と同じような大きさであっても構わない。
【００５１】
このように、本実施形態における焦点検出用画素は構成されている。このため、撮影レンズ２０１の射出瞳１９の一部を通過した被写体光束２５は、マイクロレンズ１７および輝度フィルタ１５ｂを通過し、ＡＦ検出用フォトダイオード１１ｂ上に投射される。また、被写体光束２５以外の光束は、遮光部材１３によって遮光され、ＡＦ検出用フォトダイオード１１ｂ上には投射されない。
【００５２】
本実施形態においては、撮像素子１０３の焦点検出用画素中にＡＦ検出用フォトダイオード１１ｂが配置されていることから、位相差検出による焦点検出が可能となる。すなわち、焦点検出用画素（ＡＦ用フォトダイオード１１ｂ）は、撮影光学系の異なる瞳領域を通過した被写体光束のうち、一方の瞳領域を通過した光束を受光する位置に配置された第１の焦点検出用画素と、他方の瞳領域を通過した光束を受光する位置に配置された第２の焦点検出用画素とを含んでいる。例えば、図２（ａ）において、焦点検出用画素（エ、４）は、一方の瞳領域を通過した光束を受光する位置にあり、一方、焦点検出用画素（オ、５）は、他方の瞳領域を通過した光束を受光する位置にある。したがって、所定方向に並んでいる焦点検出用画素の一方の出力と、他方の出力から位相差を求めることができる。
【００５３】
なお、焦点検出用画素のＡＦ検出用フォトダイオード１１ｂと遮光部材１３の形状は、長方形または正方形をしているが、この形状や大きさは適宜変更できる。ＡＦ検出用フォトダイオード１１ｂと遮光部材１３の位置を変えると、ＡＦ検出用フォトダイオード１１ｂの受光面と共役関係にある瞳の位置を制御することが可能となる。これらの形状は、撮像素子の製造過程において、露光時のマスクを適切に作成すればよい。また、本実施形態においては、遮光部材１３を設けているが、マイクロレンズ１７により、ＡＦ検出用フォトダイオード１１ｂの受光面と瞳領域の共役関係を正確に保持することができれば、遮光部材を設けなくても、ＡＦ検出用フォトダイオード１１ｂの形状のみで瞳分割を行うようにしてもよい。
【００５４】
次に、撮像素子位置移動部１１７の構成について、図４を用いて説明する。前述の撮像素子１０３は、ホルダ４０３上に配置され、このホルダ４０３は、固定枠４０１に保持されている。すなわち、固定枠４０１にネジ４１３によって固設された保持板４０９ｃと、固定枠４０１の間に、ボール４１１を介して、ホルダ４０３の突起部４０３ａが介挿され、板バネを形成する保持板４０９ｃにより押圧保持されている。保持板４０９ａ、４０９ｂにおいても、同様に、ホルダ４０３がボールを介して固定枠４０１に保持されている。
【００５５】
また、ホルダ４０３は、圧電体Ａ４０５ａおよび圧電体Ｂ４０５ｂによって、上方（図中のＹ方向）に圧接され、ホルダ４０３と固定枠４０１の間には、伸張性のバネＡ４０７ａ、バネＢ４０７ｂが介挿されている。圧電体Ａ４０５ａは、Ｙ方向に伸縮し、圧電体Ａ４０５ａが伸びた際には、ホルダ４０３をバネＡ４０７ａの弾性力に抗して上方に押し上げ、圧電体Ａ４０５ａが縮んだ際には、ホルダ４０３はバネＡ４０７ａの弾性力によって下方に押下げられる。
【００５６】
圧電体Ａ４０５ａには、フレキＡ４１５ａが接続されており、このフレキＡ４１５ａを介して給電される。図４に示すように、ホルダ４０３の左右に、圧電体Ａ４０５ａおよび圧電体Ｂ４０５ｂが配置され、またホルダ４０３は、保持板４０９ａ〜４０９ｃ、およびボール４１１によって保持され、上下方向（Ｙ方向）に沿って移動可能となっている。なお、圧電体Ｂ４０５ｂの構成と動作は、圧電体Ａ４０５ａと同様であるので、ここでは詳しい説明を省略する。図４には上下方向のみ移動機構のみを示したが、同様に、左右方向（Ｘ方向）に沿って移動させる移動機構（不図示）を設ける。
【００５７】
次に、カメラ本体１００と交換式レンズ２００の間でなされる同期通信の一例を、図５を用いて説明する。図５において、横軸は時間の流れを表し、縦軸にそれぞれの処理内容やタイミングを示す。カメラ本体処理において、処理Ｂ１では、前フレームで取得した画像データによりライブビュー画像の表示や、ＡＦ用のデフォーカス量の算出を行う。また処理Ｂ２では、レンズ状態通信により取得したレンズ状態データに基づいて、ＡＦ演算や各種設定変更等を行う。
【００５８】
垂直同期信号は、各フレームに対応して出力される信号である。撮像・読出しでは、撮像素子１０３において被写体像を撮像し、この撮像した画像データの読み出しを行う。なお、撮像・読出しが、図５において、菱形形状をしているのは、本実施形態においては、ライブビュー画像の取得時はローリングシャッタを採用しており、画素ラインごとに撮像と読出しを順次行うためである。
【００５９】
レンズ通信における通信ＢＬでは、カメラ本体１００から交換式レンズ２００にレンズ状態データ要求コマンドを送信し、このコマンドは交換式レンズ２００のレンズ状態を示すデータをカメラ本体１００に送信することを要求する。また通信ＬＢでは、レンズ状態データ要求コマンドに応じて、交換式レンズ２００がカメラ本体１００にレンズ状態を示すデータを送信する。
【００６０】
レンズ通信同期信号は、カメラ本体１００において垂直同期信号に応答して生成され、このレンズ通信同期信号はカメラ本体１００側のＩ／Ｆ３００の同期信号端子より交換式レンズ２００に出力される。レンズ位置取得信号は、所定のタイミング、例えば図５に示す例では、撮像素子１０３における電荷蓄積時間の略中央時点を経過した時点で状態が変化する。
【００６１】
また、交換式レンズ２００内における処理Ｌ１は、レンズ位置取得信号の状態変化タイミングでの撮影レンズ２０１の位置情報の取得、およびレンズ通信同期信号の受信タイミングでのＭＦ環２１０の操作状態の検出を行う処理である。また処理Ｌ２は、カメラ本体１００から受信したレンズ状態データ要求コマンドに応じて、撮影レンズ２０１の位置情報や、ＭＦ環２１０の操作状態等のレンズ状態データを送信する処理である。
【００６２】
図５のタイミングチャートに示すように、本実施形態における同期通信では、垂直同期信号に同期してカメラ本体１００内において処理Ｂ１を実行し、また、垂直同期信号に同期してレンズ通信同期信号を交換式レンズ２００に送信する。
【００６３】
カメラ本体１００内において処理Ｂ１を処理すると、交換式レンズ２００に対して通信ＢＬによって、レンズ状態データ要求コマンドを送信する。交換式レンズ２００はレンズ状態データ要求コマンドを受信すると、レンズ状態を検出し、通信ＬＢによってレンズ状態データを送信する。カメラ本体１００はレンズ状態データを受信すると、処理Ｂ２を実行する。
【００６４】
また、交換式レンズ２００内において、レンズ位置を取得する処理Ｌ１はレンズ位置取得信号に同期して実行する。このレンズ位置取得信号は所定のタイミング、前述したように、図５の例においては、撮像素子１０３の画面中央による電荷蓄積時間の１／２が経過した時点で発生する。交換式レンズ２００は、レンズ位置取得信号の状態変化のタイミングでレンズ位置検出回路（不図示）によって撮影レンズ２０１の位置情報を取得する。これらの同期通信は、全体としては、レンズ通信同期信号に同期して実行される。
【００６５】
このように、本実施形態においては、ＭＦ環２１０の回転操作がなされると、ＰＩ２０８からのパルス信号に基づいて、交換式レンズ２００内のマイクロコンピュータ２０７は、処理Ｌ２の処理終了時点で、ＭＦ環２１０の回転操作中であることを、カメラ本体１００内のマイクロコンピュータ１２１に送信する。
【００６６】
次に、図６ないし図１０を用いて、本実施形態におけるデジタルカメラの動作について説明する。図６、７、９、１０に示すフローチャートは、フラッシュメモリ１２５に記憶されたプログラムに従ってマイクロコンピュータ１２１が実行する。
【００６７】
まず、図６に示すフローチャートを用いてメイン動作を説明する。電源釦が操作され、電源オンとなると、図６に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を行う（Ｓ１）。ここでは、動画の記録中であるか否かを示す記録中フラグをオフにする。この記録中フラグは、オンの場合には動画を記録中であることを示し、オフの場合には動画の記録を行っていないことを示す。また、交換式レンズ２００とカメラ本体１００の間で、図５を用いて説明した同期通信を開始する。
【００６８】
初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３の内の再生釦の操作状態に基づいて判定する。この判定の結果、再生釦が押された場合には、次に、再生を行う（Ｓ１９）。ここでは、記録媒体１３１から画像データを読出し、ＬＣＤ１３５に表示させる。
【００６９】
ステップＳ１９において再生を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ５）。このステップでは、操作部１２３において、動画釦の操作状態を検知し、この検知結果に基づいて判定する。この判定の結果、動画釦が押された場合には、次に、記録中フラグの反転を行う（Ｓ２１）。前述したように、動画釦は押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。
【００７０】
ステップＳ２１において、記録中フラグの反転を行うと、次に、動画記録中か否かの判定を行う（Ｓ２３）。ここでは、記録中フラグがオンか否かに基づいて判定する。すなわち、記録中フラグがオンであれば、動画記録中と判定する。ステップＳ２３における判定の結果、動画記録中であった場合には、動画ファイルを生成する（Ｓ２５）。ここでは、動画記録が開始したことから、記録用に新しい動画ファイルを生成する。
【００７１】
ステップＳ２５において動画ファイルを生成すると、またはステップＳ２３における判定の結果、動画記録中でなかった場合には、またはステップＳ５における判定の結果、動画釦が押されていなかった場合には、次に、ステップＳ２３と同様に動画記録中であるか否かを判定する（Ｓ７）。
【００７２】
ステップＳ７判定の結果、動画記録中でなかった場合には、次に、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ９）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。なお、このステップでは、ファーストレリーズスイッチがオフからオンに変化したか否かを判定し、変化後にオン状態が維持されている場合には、判定結果はＮｏとなる。
【００７３】
ステップＳ９における判定の結果、ファーストレリーズが押された場合には、ＡＥを行う（Ｓ１１）。ここでは、ＡＥ処理部１１１によって、被写体輝度を測定し、絞り値やシャッタ速度等の露出制御値を決め、またＬＣＤ１３５に表示するライブビュー表示を適正露光で行うための制御値を決める。
【００７４】
ステップＳ１１においてＡＥを行うと、次に、撮影を行う（Ｓ１３）。ここでの撮影は、撮像素子１０３によって被写体画像の画像信号を取得する。なお、このステップでは、画像データを記録媒体１３１に記録することはない。
【００７５】
撮影を行うと、次に、ＡＦを行う（Ｓ１５）。ここでは、撮像素子１０３の焦点検出画素のＡＦ検出用フォトダイオード１１ｂからの画像データに基づいて、いわゆる位相差法による焦点検出を行う。すなわち、垂直方向に沿って配列されたＡＦ検出用フォトダイオード１１ｂの画像データのずれに基づいて、撮影レンズ１０１のデフォーカス方向およびデフォーカス量を求める。そして、この求めたデフォーカス方向およびデフォーカス量に基づいて、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を制御する。したがって、動画記録中ではない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを１回行う。
【００７６】
ステップＳ９における判定の結果、レリーズ釦がオフ→１ｓｔ遷移でなかった場合には、次に、セカンドレリーズ（２ｎｄ）が押されたか否か、言い換えると、レリーズ釦が全押しされセカンドレリーズスイッチがオンとなっているか否かの判定を行う（Ｓ２７）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。
【００７７】
ステップＳ２７における判定の結果、セカンドレリーズが押された場合には、静止画撮影を行う（Ｓ２９）。ここでは、撮像素子１０３において露光を行い、被写体像に応じた画像信号を取得する。
【００７８】
ステップＳ２９において、静止画撮影を行うと、次に画像処理を行う（Ｓ３１）。ここでは、撮像素子１０３から画像信号を読出し、画像処理部１０９が画像信号に基づく静止画の画像データについて画像処理を行い、画像圧縮伸張部１１５が画像圧縮処理を行う。前述したように、焦点検出用画素のある位置には、撮像用画素のフォトダイオード（不図示）が配置されていないことから、撮像画像生成用の画像信号を取得することができない。そこで、静止画撮影の場合には、焦点検出用画素の周辺の画素の画像データを用いて、補間処理を行うようにしてもよい。
【００７９】
静止画用画像処理を行うと、次に、画像処理の施された画像データの記録を行う（Ｓ３３）。ここでは、画像処理の施された画像データを記録媒体１３１に記録する。
【００８０】
ステップＳ７における判定の結果、動画記録中であった場合には、次にステップＳ１１と同様にＡＥを行う（Ｓ３５）。ここでは、ＡＥ処理部１１１によって、動画撮影やライブビュー表示のための露出制御を行う。
【００８１】
続いて、動画・ライブビュー撮影を行う（Ｓ３７）。ここでは、動画撮影やライブビュー表示用に、撮像素子１０３によって画像信号を取得する。また、焦点検出用画素による画素欠陥を目立たなくするために、撮像素子位置移動部１１７によってフレーム毎に撮像素子１０３を所定移動量だけ移動させる。なお、撮像素子１０３の移動は、マニュアルフォーカス時のＭＦ環２１０操作やボタン操作等による拡大ライブビュー表示を行う場合のみ実行するようにしてもよい。この動画・ライブビュー撮影の詳しい動作については、図７および図８を用いて後述する。
【００８２】
動画・ライブビュー撮影を行うと、次に、動画用画像処理を行う（Ｓ３９）。ここでは、動画記録用の画像処理や、ライブビュー表示用の画像処理を行う。また、ステップＳ３７において、撮像素子１０３を所定量移動させた場合に、安定した画像を表示・記録するために、ステップＳ３７において移動させた移動量に応じて、撮像素子１０３からの画像データの切り出し位置を変更する。この動画用画像処理の詳しい動作については、図９を用いて後述する。
【００８３】
動画用画像処理を行うと、次に、ライブビュー表示を行う（Ｓ４１）。ここでは、ステップＳ３９において処理された動画用画像データを用いて、ＬＣＤ１３５に表示を行う。動画記録中であれば、記録されている動画像を確認することができる。また、焦点検出用画素による画素の欠陥が目立たないように処理されたライブビュー画像を観察することができる。ＭＦ環２１０が操作されるとマニュアルフォーカスモードの場合には、ライブビュー表示を拡大表示するようにしてもよい。この場合、メニュー画面で設定された拡大率で拡大したライブビュー画像を表示する。
【００８４】
ライブビュー表示を行うと、次に、ステップＳ２３、Ｓ７と同様に、動画記録中か否かを判定する（Ｓ４３）。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ４５）。ここでは、ステップＳ３９において動画用画像処理された画像データを、ステップＳ２５に生成された動画ファイルを用いて、記録媒体１３１に記録する。この場合、撮像素子１０３を移動させ、この移動量に応じて画像の切り出しを行うことにより、画素の欠陥が目立たない画像を記録することができる。なお、ＭＦ環２１０が操作された場合の動画の記録は、通常サイズの画像を記録するようにしてもよいし、また拡大画像を記録するようにしてもよい。
【００８５】
ステップＳ３３において静止画記録を行うと、またはステップＳ４３における判定の結果、動画記録中でなかった場合、またはＳ４５において動画記録を行うと、またはステップＳ１５においてＡＦを実行すると、次に、電源オフか否かの判定を行う（Ｓ１７）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインフローの終了動作を行ったのち、メインフローを終了する。
【００８６】
ステップＳ３７の動画・ライブビュー撮影のサブルーチンを説明するに先だって、本実施形態における撮像素子１０３の移動量の算出について、図８を用いて説明する。図８（ａ）は前のフレームの撮影を示し、図８（ｂ）は今回のフレームの撮影を示す。撮像素子１０３中には、焦点検出用画素１０３ａが数〜数十画素毎に縦横方向に規則的に配列されている。図８には示してないが、隣接する焦点検出用画素１０３ａ間には、数〜数十画素の画像生成用画素が配設されている。
【００８７】
本実施形態においては、被写体像の光軸中心１０３ｃの位置は移動しないが、撮像素子１０３はフレーム毎に移動することから、図８の例では、前回のフレームの露光位置（図８（ａ））１０３ｄに対して、今回のフレームの露光位置は上方向にａ、左方向ｂだけ移動する。この移動にあたっては、図８（ａ）における焦点検出用画素１０３ｃの位置に、図８（ｂ）における焦点検出用画素１０３ｃの位置が重ならないように、撮像素子１０３をランダムに移動させる。ランダム移動するために、乱数を発生させて決めればよい。勿論、焦点検出用画素が重ならなければ、規則的な変更としてもよい。また、ベイヤーでの色（例えば光軸中心の色）が常に同じなるようにずらしてもよいし、また異なるようにしてもよい。
【００８８】
フレーム毎に撮像素子１０３を移動させると、フレーム毎に被写体像が移動してしまう。そこで、後述するステップＳ６１（図９参照）において、撮像素子１０３の移動量分、画像の切り出し位置１０３ｂを移動させている。これによって安定した画像を表示し、また記録することができる。
【００８９】
なお、カメラ本体１００に手振れセンサを設け、この手振れセンサによって検出された手振れを打ち消すように切り出し位置を移動させる所謂電子手振れ補正を行っている場合には、手振れに応じて切り出し位置が変化する。この場合には、切り出された画像における終点検出用画素の位置が、前のフレームと同じ場合にランダムにずらし、異なっている場合には移動量を０としてもよい。
【００９０】
次に、ステップＳ３７の動画・ライブビュー撮影の動作について、図７に示すフローチャートを用いて説明する。動画・ライブビュー撮影のフローに入ると、まず露光位置移動量の算出を行う（Ｓ５１）。ここでは、前のフレームの焦点検出用画素の位置と、今回撮影するフレームの焦点検出用画素の位置が重ならないように、移動量算出手段として機能するマイクロコンピュータ１２１が、撮像素子１０３の位置を水平および垂直方向で移動させるための移動量を算出する。ただし、所定の縮小率よりも縮小表示を行っている場合（例えば、縮小後の画素数が焦点検出用の画素数以下になるような縮小率、図２に示す例では４／１６の縮小表示）には、焦点検出用画素が目立たないために、移動量を０とする。拡大表示や拡大画像の記録を行う際には、撮像素子１０３を移動させることになる移動量とする。もちろん、縮小率や拡大率にかかわりなく、常に移動させるようにしてもよい。また、移動方向としては、水平のみでもよく、垂直のみでもよい。
【００９１】
ステップＳ５１において露光位置移動量の算出を行うと、次に、センサ移動を行う（Ｓ５３）。ここでは、ステップＳ５１において、演算した移動量に基づいて、撮像素子位置移動部１１７が撮像素子１０３を移動させる。
【００９２】
センサの移動を行うと、次に、露光を行う（Ｓ５５）。ここでは、撮像素子１０３の電荷をリセットした後、ステップ３５における直前のＡＥの結果から得られるＩＳＯ感度と絞り値、および算出した露光時間で露光を行う。露光が終わると、次に、画像データの読み出しを行う（Ｓ５７）。画像データを読み出すと、元のフローに戻る。
【００９３】
次に、ステップＳ３９（図６参照）の動画用画像処理の動作について、図９に示すフローチャートを用いて説明する。動画用画像処理のフローに入ると、まず切り出しを行う（Ｓ６１）。ここでは、画像処理部１０９が、ステップＳ５１において算出した露光位置の移動方向と移動量に応じた位置（図８の切り出し位置１０３ｂ参照）で画像の切り出しを行う。このとき、電子手振れ補正を行っている場合には、電子手振れ補正による切り出し位置の変更も含めて切り出しを行う。
【００９４】
切り出しを行うと、次に、現像処理を行う（Ｓ６３）。ここでは、画像処理部１０９が、ベイヤー配列の画像データに対し、ＯＢ減算、ＷＢ補正、同時化、カラーマトリックス乗算、ガンマ変換、エッジ強調、ノイズ低減（ＮＲ）などの画像処理を行う。
【００９５】
現像処理を行うと、次に、フレーム間ＮＲを行う（Ｓ６５）。ここでは、前のフレームの画像と、今回のフレームの画像を用いて、フレーム間で同じ座標の画像のちらつきが低減するように、既知のアルゴリズム等を使用してフレーム間のノイズ低減（ＮＲ）を行う。例えば、対応する座標の画素値の差が所定以下になるように平滑化する。このとき、あまり縮小していない場合や拡大している場合には、焦点検出用画素が目立つため、フレーム間ＮＲの強度（平滑化の程度、大きい程ちらつきが減る）を強め、縮小している程、強度を弱めるようにする。このフレーム間ＮＲの詳細については、図１０を用いて後述する。フレーム間ＮＲを行うと、元のフローに戻る。
【００９６】
次に、フレーム間ＮＲについて、図１０を用いて説明する。フレーム間ＮＲに入ると、まず画素番号ｉ＝０とする（Ｓ７１）。画素番号は、例えば、撮像素子１０３の左上の隅等から、順次、付与する。続いて、画素番号ｉが画素数よりも小さいか否かを判定する（Ｓ７３）。後述するステップＳ８１において、処理が終わるたびに１つずつ加算されており、このステップでは、全ての画素について処理がなされたか否かを判定する。
【００９７】
ステップＳ７３における判定の結果、画素番号ｉが画素数よりも小さかった場合には、次に、ｉ番目の画素が焦点検出用画素（ＡＦ画素）かつ拡大か否かの判定を行う（Ｓ７５）。焦点検出用画素の画素位置は焦点検出素子１０３によって決まっている。ここでは、ｉ番目の画素位置が焦点検出用画素の位置であるか否かを判定する。また、マニュアルフォーカス時等にＬＣＤ１３５に拡大表示を行うので、このステップでは、ＭＦ環２１０が操作され、拡大表示を行うか否かを判定する。
【００９８】
ステップＳ７５における判定の結果、ＡＦ画素かつ拡大であった場合には、強いフレーム間ＮＲを実行し（Ｓ７７）、一方、ＡＦ画素かつ拡大でなかった場合には、弱いフレーム間ＮＲを実行する（Ｓ７９）。フレーム間ＮＲを行うことにより画像の平滑化を図ることができる。特に、拡大表示する場合であって、ＡＦ画素（焦点検出用画素）の場合には、ＡＦ画素の位置から画像信号を取得することができないことから、強いフレーム間ＮＲを利用して画像の平滑化を図り、画素欠陥が目立たないようにしている。
【００９９】
ステップＳ７７またはＳ７９においてフレーム間ＮＲを行うと、次に、画素番号ｉに１を加算し（Ｓ８１）、ステップＳ７３に戻る。以後、画素番号に１を加算しながら、拡大表示でＡＦ画素の場合には、強いフレーム間ＮＲを施し、いずれでもない場合には弱いフレーム間ＮＲを施す。（ステップＳ７３においてＮｏと判定され、全ての画素についてフレーム間ＮＲが終わると、元のフローに戻る。
【０１００】
このように、本発明の第１実施形態においては、前回のフレームと今回のフレームで焦点検出用画素が重ならないように撮像素子１０３の位置を移動させるようにしている。このため、焦点検出用画素（ＡＦ画素）の部分の画像が欠損しても、この欠損部分がフレーム毎に移動することから、人間の眼には画像が欠けているようには見えない。特に、拡大画像のライブビュー表示や拡大画像の動画記録の場合には、画像の欠損が目立ちやすいが、本実施形態のように、撮像素子１０３を移動させることにより、十分な質の画像を得ることができる。
【０１０１】
また、本発明の第１実施形態においては、読出した画像データから切り出す際に、撮像素子１０３の移動量と移動方向に応じた位置で切り出しを行うようにしている。撮像素子１０３が移動すると、ライブビュー表示や記録された動画画像も動いてしまうが、切り出し処理によって安定した画像とすることができる。
【０１０２】
また、本発明の第１実施形態においては、フレーム間ＮＲを行って、画像のノイズ低減を行っている。焦点検出用画素の部分の画像が欠損しているが、フレーム間ＮＲを行うことにより、本実施形態においては、画像の欠損に基づくノイズを低減させて滑らかな画像を得ることができる。なお、ノイズ低減手段としては、フレーム間ＮＲに限らず、例えば、１フレーム内の画像データに基づいて、焦点検出用画素の部分を補間処理してもよく、また、焦点検出用画素の部分を前回の画像データによって置き換えるようにしてもよい。また、同時化の処理等により焦点検出用画素の周辺画素も焦点検出用画素の影響を受ける時には、それらの画素も焦点検出用画素と同様な処理を行うようにしてもよい。
【０１０３】
次に、図１１を用いて、本発明の第２実施形態を説明する。本発明の第１実施形態においては、変更手段によって被写体像と撮像素子の相対的な位置関係を変更するにあたって、撮像素子１０３を移動させていた。これに対して、第２実施形態においては、変更手段は光学系を移動させることにより、被写体像を移動させ、被写体像と撮像素子の相対的な位置関係を変更するようにしている。すなわち、第１実施形態においては、撮像素子位置移動部１１７によって撮像素子１０３を移動させていた。これに対して、第２実施形態においては、光軸移動レンズ２０２および光軸移動レンズ制御部２０６を設け、撮像素子１０３上に形成される被写体像を光軸移動レンズ２０２によって移動させるようにしている。
【０１０４】
図１１は、本発明の第２実施形態に係わるデジタルカメラの主として電気的構成を示すブロック図である。第１実施形態に係わる図１に示したブロック図と同様の部材については同一の符号を付し、詳しい説明は省略し、相違点を中心説明する。第１実施形態におけるカメラ本体１００には、撮像素子位置移動部１１７が設けてあったが、第２実施形態においては、撮像素子位置移動部１１７は省略されている。
【０１０５】
交換式レンズ２００内の撮影レンズ２０１の光軸上には、光軸移動レンズ２０２が配置されている。この光軸移動レンズ２０２は、撮影レンズ２０１の光軸に対して垂直な面内で上下左右方向に移動可能に構成されている。この光軸移動レンズ２０２は、光軸移動レンズ制御部２０６によって、移動される。光軸移動レンズ２０２が上方向に移動すると、撮像素子１０３上に形成される被写体像は上方向に移動する。一方、光軸移動レンズ２０２が下方向に移動すると、撮像素子１０３上に形成される被写体像は下方向に移動する。左右方向についても同様に被写体像は移動する。
【０１０６】
光軸移動レンズ制御部２０６は、マイクロコンピュータ２０７に接続されており、カメラ本体１００内のマイクロコンピュータ１２１からの指示に従って、光軸移動レンズ制御部２０６に対して制御命令を出力する。フラッシュメモリ２０９は、マイクロコンピュータ２０７のプログラムや各種調整値等を記憶する。各種調整値として、本実施形態においては、光軸移動レンズの２０２の移動量に応じて、撮像素子１０３上での被写体の移動量に関する光軸移動関連データが記憶されている。
【０１０７】
交換式レンズ２００内のマイクロコンピュータ２０７は、カメラ本体１００内のマイクロコンピュータから撮像素子１０３面上での必要移動量に関する情報を受け取ると、フラッシュメモリ２０９に記憶されている光軸移動関連データに基づいて、光軸移動レンズの移動量を算出し、光軸移動レンズ制御部２０６によって光軸移動レンズ２０２の移動を行う。
【０１０８】
本実施形態における動作は、図６、図７、図９、図１０に示したフローと同様の処理がなされる。ただし、図７のステップＳ５１における露光位置移動量の算出にあたっては、上述の光軸移動関連データを用いて、光軸移動レンズ２０２の移動量を算出する。また、ステップＳ５３においては、センサ移動ではなく、光軸移動レンズ２０２の移動を行う。
【０１０９】
このように、本発明の第２実施形態においては、前回のフレームと今回のフレームで焦点検出用画素が重ならないように光軸移動レンズ２０２を移動させるようにしている。このため、第１実施形態の場合と同様、焦点検出用画素（ＡＦ画素）の部分の画像が欠損しても、この欠損部分が移動することから、人間の眼には画像が欠けているようには見えない。本実施形態においては、カメラ本体１００側に撮像素子１０３の移動機構を有さない場合であっても、交換レンズ側で焦点検出用画素欠陥に基づく画像の劣化を防止することができる。
【０１１０】
以上説明したように、本発明の各実施形態においては、被写体画像と撮像素子の相対的な移動量を算出し、撮像素子による第１のフレームの撮像の完了後であって、第１のフレーム以後に撮像するフレームである第２のフレームの撮像開始前までの間に算出された移動量に基づいて、被写体画像と撮像素子の相対位置を変更させている。このため、焦点検出用画素（ＡＦ画素）の部分の画像が欠損していても、十分な質の画像を得ることができる。
【０１１１】
また、本発明の各実施形態においては、拡大表示がなされる際には、算出された移動量に基づいて被写体画像と撮像素子の相対位置を変更させ、移動量に応じて画像データの切り出し位置を変更させ、この切り出し位置を変更した画像データに基づいて表示手段にライブビュー表示させるようにしている。拡大画像のライブビュー表示の場合には、画像の欠損が目立ちやすいが、十分な質の画像を得ることができる。また、同様に、動画画像を記録する際には、算出された移動量に基づいて被写体画像と撮像素子の相対位置を変更させ、移動量に応じて画像データの切り出し位置を変更させ、この切り出し位置を変更した画像データを記録手段によって記録するようにしている。動画撮影の際に十分な質の画像を記録することができる。
【０１１２】
なお、本発明の各実施形態においては、ライブビュー表示および動画記録の両方で、焦点検出用画素の部分の画像の欠損による画質の劣化を防止するために、被写体画像と撮像素子の相対的位置を変更させていたが、これに限らず、ライブビュー表示の際のみ、また動画記録の際のみのいずれか一方のみとしてもよい。
【０１１３】
また、本発明の各実施形態においては、被写体画像を拡大する場合に、被写体画像と撮像素子の相対位置を変更させていたが、拡大（または縮小）かに係わらず、常に被写体画像と撮像素子の相対位置を変更するようにしてもよく、いずれかの場合のみ相対位置を変更するようにしてもよい。
【０１１４】
また、本発明の各実施形態においては、フレーム毎に毎回、被写体画像と撮像素子の相対位置を変更していたが、人間の目の特性を考慮して、数フレーム毎でもよく、被写体画像と撮像素子の相対位置の変更のタイミングを適宜変更してもよい。また、被写体画像と撮像素子の相対位置の変更にあたっては、フレーム毎にランダムでも規則的でもよい。いずれにしても人間の目の特性を考慮して、焦点検出用画素による画像の欠陥が目立たない範囲で適宜、変更してもよい。
【０１１５】
また、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラ、デジタル一眼カメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、焦点検出用画素を含む焦点検出素子を有する撮像可能な撮影のための装置であれば、本発明を適用することができる。
【０１１６】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【０１１７】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１１８】
１１ｂ・・・ＡＦ検出用フォトダイオード、１３・・・遮光部材、１５ｂ・・・輝度フィルタ、１７・・・マイクロレンズ、１９・・・射出瞳、２５・・・被写体光束、１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１１１・・・ＡＥ処理出部、１１３・・・ＡＦ処理部、１１５・・・画像圧縮伸張部、１１７・・・撮像素子位置移動部、１１９・・・バス、１２１・・・マイクロコンピュータ、１２１・・・クロックジェネレータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・液晶ディプレイドライバ（ＬＣＤドライバ）、１３５・・・液晶ディスプレイ（ＬＣＤ）、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０２・・・光軸移動レンズ、２０３・・・絞り、２０５・・・ドライバ、２０６・・・光軸移動レンズ制御部、２０７・・・マイクロコンピュータ、２０８・・・フォトインタラプタ（ＰＩ）、２０９・・・フラッシュメモリ、２１０・・・マニュアルフォーカス環（ＭＦ環）、３００・・・インターフェース（Ｉ／Ｆ）、４０１・・・固定枠、４０１ａ〜４０１ｂ・・・突起部、４０３・・・ホルダ、４０５ａ・・・圧電体Ａ、４０５ｂ・・・圧電体Ｂ、４０７ａ・・・バネＡ、４０７ｂ・・・バネＢ、４０９ａ〜４０９ｃ・・・保持板、４１１・・・ボール、４１３・・・ネジ、４１５ａ〜４１５ｂ・・・フレキ
【技術分野】
【０００１】
本発明は、一部を焦点検出用素子に兼用する撮像素子を有し、連続して撮像を行うことで動画を撮影する撮影装置および撮影方法に関する。
【背景技術】
【０００２】
撮像素子の一部を焦点検出用フォトダイオードに兼用する撮像素子は従来から知られている（特許文献１参照）。この特許文献１に開示の撮像素子では、焦点検出用に兼用する領域の各画素は２つの画素に分割され、この２つの画素は、それぞれオンチップマイクロレンズを介して、撮影レンズの異なる射出瞳領域（以下「瞳領域」と記載する）を通過した被写体光束を受光する。そして、この異なる瞳領域を通過した２種類の画像信号によって表わされる２つの画像の位相差に基づいて焦点状態が検出される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５９２１４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の特許文献１に開示の撮像素子は、１つの撮像素子を撮像と焦点検出に兼用できる点で優れている。しかし、特許文献１に開示の撮像素子は、画像を構成する画素の一部を測距のための画素（ＡＦ画素）に置き換えることから、このＡＦ画素の部分の画像が欠損してしまい、画像が劣化してしまう。画像の劣化を防止するためには、ＡＦ画素を減らせばよいが、ＡＦ画素を減らすとＡＦの精度を維持することができない。
【０００５】
このような欠損画素があると、静止画や動画やライブビュー表示の際に、その部分がノイズのように見えてしまう。特に、ライブビュー表示の際に、画像の拡大表示を行ったり、動画撮影の際に拡大記録を行ったりすると、従来の欠陥画素数よりもはるかに多い画素がＡＦ画素となることから、欠損画素が目立ってしまう。欠損画素の部分を補間法等により補正する方法が考えられる。しかし、補間法等の補正を行った場合にはその位置の画質が常に劣化してしまう。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、一部を焦点検出用素子に兼用する撮像素子を有する場合であっても、十分な画質を得ることの可能な撮影装置および撮影方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる撮影装置は、動画を撮像可能な撮影装置において、焦点検出用画素を有し、被写体画像を画像データに変換し出力する撮像素子と、上記被写体画像と上記撮像素子の相対的な移動量を算出する移動量算出手段と、上記撮像素子による第１のフレームの撮像の完了後であって、上記第１のフレーム以後に撮像するフレームである第２のフレームの撮像開始前までの間に、上記移動量算出手段によって算出された上記移動量に基づいて、上記被写体画像と上記撮像素子の相対位置を変更させる変更手段と、を具備する。
【０００８】
第２の発明に係わる撮影装置は、上記第１の発明において、さらに、上記撮像素子から出力される上記画像データに基づいてライブビュー表示を行う表示手段と、上記ライブビュー表示を行うにあたって拡大表示を指示するための拡大画像操作手段と、上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更する画像切り出し手段と、を有し、上記拡大表示が指示された際に、上記移動量に基づいて上記被写体画像と上記撮像素子の相対位置を上記変更手段によって変更させ、上記移動量に応じて上記画像データの切り出し位置を上記画像切り出し手段によって変更させ、この切り出し位置を変更した画像データに基づいて上記表示手段にライブビュー表示させる。
第３の発明に係わる撮影装置は、上記第２の発明において、上記第２のフレームは、上記表示手段において、上記第１のフレームの画像の次に表示される画像である。
【０００９】
第４の発明に係わる撮影装置は、上記第１の発明において、さらに、上記撮像素子から出力される上記画像データに基づいて動画画像の記録を行う記録手段と、上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更する画像切り出し手段と、を有し、上記動画画像の記録が指示された際に、上記移動量に基づいて上記被写体画像と上記撮像素子の相対位置を上記変更手段によって変更させ、上記移動量に応じて上記画像データの切り出し位置を上記画像切り出し手段によって変更させ、この切り出し位置を変更した画像データを記録手段によって記録する。
第５の発明に係わる撮影装置は、上記第４の発明において、上記第２のフレームは、上記記録手段において、上記第１のフレームの画像の次に記録される画像である
【００１０】
第６の発明に係わる撮影装置は、上記第１の発明において、上記変更手段は、上記撮像素子を上記移動量に基づいて移動させるか、または上記被写体像を形成するためのレンズを上記移動量に基づいて移動させる。
第７の発明に係わる撮影装置は、上記第１の発明において、上記変更手段は、拡大表示を行う際に、または拡大表示が指示されたら、上記被写体画像と上記撮像素子の相対位置の変更を実行する。
【００１１】
第８の発明に係わる撮影装置は、上記第１の発明において、上記移動量算出手段は、上記被写体画像と上記撮像素子の相対位置を、ランダムに変更させるか、または規則的に変更させる。
第９の発明に係わる撮影装置は、上記第１の発明において、上記移動量算出手段は、上記撮像素子から出力される画像データの画像縮小率に応じて、上記移動量を算出する。
第１０の発明に係わる撮影装置は、上記第１の発明において、上記移動量算出手段は、所定の縮小率より大きく表示する場合または記録する場合のみ上記移動量を変更し、上記所定の縮小率よりも小さく表示または記録場合には上記移動量を０とする。
【００１２】
第１１の発明に係わる撮影装置は、上記第１の発明において、さらに、上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更する画像切り出し手段を有する。
【００１３】
第１２の発明に係わる撮影装置は、上記第１の発明において、さらに、上記画像データの補間処理を行う補間手段を有する。
第１３の発明に係わる撮影装置は、上記第１２の発明において、上記補間手段は、フレーム間の平滑処理による補間処理、または１フレームの画像内での補間処理を行う。
【００１４】
第１４の発明に係わる撮影方法は、イメージャーＡＦ画素を有する撮像素子を用い、連続して撮像を行うことで動画を撮影する撮影方法であって、画像の縮小率に応じて移動量を算出し、１フレームの撮像が完了してから次のフレームの撮像を開始する前に、被写体像と上記撮像素子の相対位置を、上記移動量に応じて変更する。
【発明の効果】
【００１５】
本発明によれば、一部を焦点検出用素子に兼用する撮像素子を有する場合であっても、フレーム間で被写体像と撮像素子の相対位置を変更するので、十分な画質を得ることの可能な撮影装置および撮影方法を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施形態に係わるデジタルカメラの電気系を主とする全体構成を示すブロック図である。
【図２】本発明の第１実施形態に係わるデジタルカメラの撮像素子のフィルタの配列を示す平面図である。
【図３】本発明の第１実施形態に係わるデジタルカメラの撮像素子の構造を示す図であり、（ａ）は撮像素子の平面図であり、（ｂ）は撮像素子のＢ−Ｂ断面図である。
【図４】本発明の第１実施形態に係わるデジタルカメラにおいて、撮像素子位置移動部の構成を示す平面図である。
【図５】本発明の第１実施形態に係わるデジタルカメラにおいて、交換レンズとカメラ本体の同期通信の一例を示すタイミングチャートである。
【図６】本発明の第１実施形態に係わるデジタルカメラのメインフローを示すフローチャートである。
【図７】本発明の第１実施形態に係わるデジタルカメラの動画・ライブビュー撮影を示すフローチャートである。
【図８】本発明の第１実施形態に係わるデジタルカメラにおいて、移動量の算出方法を説明する図である。
【図９】本発明の第１実施形態に係わるデジタルカメラの動画用画像処理を示すフローチャートである。
【図１０】本発明の第１実施形態に係わるデジタルカメラのフレーム間ＮＲの処理を示すフローチャートである。
【図１１】本発明の第２実施形態に係わるデジタルカメラの電気系を主とする全体構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、図面に従って本発明を適用したデジタルカメラを用いて好ましい実施形態について説明する。図１は、本発明の第１実施形態に係わるデジタルカメラの主として電気的構成を示すブロック図である。このデジタルカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。
【００１８】
交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フォトインタラプタ（以下、ＰＩと称す）２０８、フラッシュメモリ２０９、マニュアルフォーカス環（以下、ＭＦ環と称す）２１０から構成され、後述するカメラ本体１００との間にインターフェース（以下、Ｉ／Ｆと称す）３００を有する。
【００１９】
撮影レンズ２０１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。
【００２０】
ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ３００、ＰＩ２０８、およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。
【００２１】
フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ３００は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。Ｉ／Ｆ３００を介して行うマイクロコンピュータ２０７とマイクロコンピュータ１２１間の同期通信については、図５を用いて後述する。
【００２２】
交換式レンズ２００の外周には、ＭＦ環２１０が回転自在に設けられている。このＭＦ環２１０は、撮影者が手動でピント合わせを行う場合に操作する操作部材である。ＰＩ２０８は、ＭＦ環２１０の回転に応じてパルス信号を発生し、このパルス信号をマクロコンピュータ２０７に出力する。マクロコンピュータ２０７は、ＰＩ２０８からのパルス信号に基づいてＭＦ環２１０の回転方向、回転速度、回転量等を検出し、この検出結果に応じて、ドライバ２０５を駆動して、手動によるピント合わせを行う。
【００２３】
また、ＭＦ環２１０が操作され、マニュアルフォーカス操作中であることは、Ｉ／Ｆ３００を介して、カメラ本体１００内のマイクロコンピュータ１２１に伝達される。本実施形態においては、ＭＦ環２１０を操作すると、後述する液晶ディスプレイ（以下、ＬＣＤと称す）１３５には、ライブビュー表示が拡大表示されることから、ＭＦ環２１０は、ライブビュー表示を行うにあたって拡大表示を指示、または動画の記録時に画像の拡大を指示するための拡大画像操作手段として機能する。
【００２４】
カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。
【００２５】
撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤー配列のカラーフィルタが配置されている。ベイヤー配列は、水平方向にＲ画素とＧ画素が交互に配置されたラインと、Ｇ画素とＢ画素が交互に配置されたラインを有している。さらにそのＲ画素とＢ画素の一部は、焦点検出用画素（ＡＦ画素）に置き換えられている。この撮像素子１０３の詳しい構成について、図２および図３を用いて後述する。なお、本明細書においては、撮像素子１０３から出力される画像信号に基づく信号であれば、Ａ／Ｄ変換部１０７によってＡ／Ｄ変換された信号のみならず画像信号も含めて画像データと称する場合がある。
【００２６】
撮像素子１０３は、撮像素子位置移動部１１７によって、撮影レンズ２０１の光軸と直交する面内で、垂直方向および水平方向にシフトさせられる。この撮像素子位置移動部１１７は、圧電素子の駆動力によって撮像素子１０３を移動させるためのメカ機構と、圧電素子の駆動制御を行うための回路等から構成される。撮像素子移動部１１７の詳しい構成について、図４を用いて後述する。
【００２７】
撮像素子位置移動部１１７は、撮影レンズ２０１によって形成された被写体画像と、撮像素子１０３の相対位置を変更させる変更手段として機能する。後述するように、マイクロコンピュータ１２１は、撮像素子１０３の移動量を算出するので、撮像素子位置移動部１１７は、撮像素子１０３による１フレームの撮像の完了後であって、次のフレームの撮像開始前に、算出された移動量に基づいて、被写体画像と撮像素子の相対位置を変更させる（本実施形態においては、撮像素子１０３を移動させることにより、被写体画像と撮像素子の相対位置を変更させている）。また、この変更手段は、拡大表示を行う際に、または拡大表示が指示されたら、被写体画像と撮像素子の相対位置の変更を実行する。
【００２８】
撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１９に出力する。
【００２９】
バス１１９は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１９には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像圧縮伸張部１１５、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以下、メモリＩ／Ｆと称す）１２９、液晶ディスプレイドライバ（以下、ＬＣＤドライバと称す）１３３が接続されている。
【００３０】
画像処理部１０９は、ホワイトバランス補正（ＷＢ補正）、同時化処理、ガンマ・色再現処理、ノイズリダクション処理、オプティカルブラック減算処理（ＯＢ減算）、エッジ強調処理等を行い、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して種々の画像処理を施す。
【００３１】
また、画像処理部１０９による画像処理として、ライブビュー表示中または動画記録中に、ＭＦ環２１０が操作されると、撮像素子１０３からの画像の一部を切り出し、拡大画像を生成する。前述したように、撮像素子１０３の焦点検出用画素は画像を構成する画素でないことから、画素欠陥となってしまう。そこで、本実施形態においては、ライブビュー表示や動画撮影中のように動画の画像データを生成する際には、焦点検出用画素の位置がフレーム毎に変化するように、撮像素子位置移動部１１７が所定の移動量で撮像素子１０３を移動させ、画像処理部１０９が所定の移動量に応じて画像の切り出し位置を変化させ拡大画像を生成する。このように、画像処理部１０９は、撮像素子から出力される画像データを移動量に応じて切り出し位置を変更する画像切り出し手段として機能する。
【００３２】
また、画像処理部１０９は、補間手段としても機能し、画像データの補間処理、たとえば、複数のフレーム間における平滑処理、また１フレームの画像内での補間処理を行い、画像ノイズを低減させる。なお、フレーム間での平滑処理の一例としてのフレーム間ＮＲ（Noise Reduction）について、図１０を用いて後述する。
【００３３】
ＡＥ処理部１１１は、バス１１９を介して入力した画像データに基づいて被写体輝度測定し、この被写体輝度情報を、バス１１９を介してマイクロコンピュータ１１７に出力する。被写体輝度測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。
【００３４】
ＡＦ処理部１１３は、撮像素子１０３の焦点検出画素に設けられたＡＦフォトダイオード１１ｂ（図３参照）の出力に基づいて、いわゆる位相差法により、撮影レンズ２０１のデフォーカス方向およびデフォーカス量を算出し、バス１１９を介してマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、算出されたデフォーカス方向およびデフォーカス量を交換式レンズ２００内のマイクロコンピュータ２０７に出力し、ドライバ２０５によって、撮影レンズ２０１の自動焦点調節を行う。
【００３５】
画像圧縮伸張部１１５は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から画像データを読み出し、この読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮する。また、画像データの再生時に、記録媒体１３１からの読み出した画像データの伸張処理を行う。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、ＭＰＥＧ等、他の圧縮方式でも勿論かまわない。
【００３６】
マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ３００以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。
【００３７】
また、マイクロコンピュータ１２１は、前述した所定量の算出を行う移動量算出手段として機能する。すなわち、前述したように、ライブビュー表示や動画撮影中のように動画の画像データを生成する際には、焦点検出用画素の位置が、フレーム毎に変化するように、撮像素子１０３上の被写体画像と撮像素子１０３のいずれか一方（本実施形態においては、撮像素子１０３）を、所定の移動量で移動させており、マイクロコンピュータ１２１は、このときの移動量を算出する。この移動量は、ＭＦ環２１０が操作され拡大画像を生成する際等、撮像素子から出力される画像データの画像の縮小率に応じて異ならせている。具体的には、所定の縮小率より大きく表示・記録する場合のみに移動量を変更し、所定の縮小率より小さく表示・記録する場合には移動量は０としている。
【００３８】
操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。
【００３９】
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチを備える。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。
【００４０】
動画釦は、動画の撮影を開始させ、また終了させるための釦である。初期状態では動画未撮影状態であるので、この状態で動画釦を押すと動画の撮影を開始し、動画撮影中に動画釦を押すと、動画の撮影を終了する。従って、動画釦を押すたびに、動画の撮影開始と終了を交互に繰り返す。また、再生釦は、記録媒体１３１に記録されている撮影画像をＬＣＤ１３５に表示させる表示モードを実行させるための操作釦である。
【００４１】
メニュー釦はメニュー画面を表示させる。本実施形態においては、マニュアルフォーカス時のＭＦ環２１０の操作やボタン操作等により、ライブビュー表示を拡大表示するが、そのときの拡大率は、メニュー画面において設定する。勿論、倍率設定用の操作釦を設けても構わない。
【００４２】
フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいて当該デジタルカメラの制御を行う。また、フラッシュメモリ１２５は、被写体輝度に対して適正露光となる露出制御値（ＩＳＯ感度、絞り値、シャッタ速度）の組合せを示すテーブル（露出条件決定テーブル）、ホワイトバランス補正を行うためのホワイトバランスゲインや、カラーマトリックス係数を記憶している。フラッシュメモリ１２５は、当該デジタルカメラの動作に必要な各種パラメータやテーブルを記憶しており、マイクロコンピュータ１２１が前述のプログラムに従って、これらのパラメータを読み出し、各処理を実行する。
【００４３】
バス１１９に接続されたＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９や画像圧縮伸張部１１５等において処理された画像データを一時記憶する。
【００４４】
バス１１９に接続されたメモリＩ／Ｆ１２９は、記録媒体１３１に画像データ等を記録し、また記録媒体１３１から画像データ等を読出しの際のインターフェースである。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。メモリＩ／Ｆ１２９および記録媒体１３１によって、撮像素子１０３から出力される画像データに基づいて動画画像の記録を行う記録手段が構成される。
【００４５】
ＬＣＤドライバ１３３は、ＬＣＤ１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮伸張部１１５によって伸張された画像データに基づいて画像をＬＣＤ１３５において表示させる。ＬＣＤ１３５は、カメラ本体１００の背面等に配置された液晶ディスプレイを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、圧縮されている画像データを表示する場合には、前述したように、画像圧縮伸張部１１５によって伸張処理を施した後に表示する。また、表示部としては、液晶ディスプレイに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。
【００４６】
次に、本実施形態における撮像素子の詳細な構成について、図２および図３を用いて説明する。図２（ｂ）は、撮像素子１０３の平面図であり、図２（ａ）は、撮像素子１０３の一部分を拡大した図である。図２（ａ）において、横方向に画素ナンバとしてア〜タを割り当て、縦方向に画素ナンバとして１〜１６を割り当てる。この例では、画素（ア、１）がＲ画素であり、画素（イ、２）がＢ画素であり、画素（イ、１）および画素（ア、２）がＧ画素である。この４画素の組合せが、横方向および縦方向に繰り返され、撮像素子が構成される。なお、各画素内において丸で示した部分は、マイクロレンズを示す。
【００４７】
本実施形態における撮像素子の配置は、一部のＲまたはＢの画像生成用画素を焦点検出用画素に置き換えて配列されている。すなわち、図２（ａ）に示した例では、画素（エ、４）、画素（オ、５）、画素（シ、４）、画素（ス、５）、画素（エ、１２）、画素（オ、１３）、画素（シ、１２）、画素（ス、１３）の合計８個の焦点検出用画素を含んでいる。これらの焦点検出用画素によって、撮像素子１０３の画面において垂直方向（画素座標１〜１６の方向）の位相差を検出可能である。
【００４８】
なお、本実施形態においては、撮像素子１０３の垂直方向に沿っての位相差を検出するように焦点検出用画素を配置したが、これに限らず、水平方向や斜め方向に沿っての位相差を検出するように焦点検出用画素を配置するようにしてもよい。また、本実施形態においては、焦点検出用画素は、Ｒ画素やＢ画素にあたる位置に置き換えていたが、これに限らず、Ｇ画素にあたる位置に焦点検出用画素を置き換えるようにしても勿論かまわない。
【００４９】
次に、焦点検出用画素の詳しい構造について、図３を用いて、説明する。図３（ａ）は焦点検出用画素の平面図であり、図３（ｂ）はＢ−Ｂ断面図である。通常のマトリクス状に配置された撮影画像生成用画素ではフォトダイオード（不図示）が配置されているのに対して、焦点検出用画素では、図３（ａ）に示すように、ＡＦ検出用フォトダイオード１１ｂが配置される。このＡＦ検出用フォトダイオード１１ｂは、マイクロレンズ１７の光軸よりも、一側に偏って形成される。また、カラーフィルタは、焦点検出用画素では、輝度フィルタ１５ｂが配置される。なお、輝度フィルタ１５ｂは、ＮＤフィルタ、透明フィルタ、グレーフィルタ等で構成され、またフィルタがなく中空となっているものも含まれる。
【００５０】
輝度フィルタ１５ｂの上側は、マイクロレンズ１７によって覆われている。マイクロレンズ１７は、撮影レンズ２０１の射出瞳１９の位置と画素（ＡＦ検出用フォトダイオード１１ｂ）が略共役になるように、焦点距離とその位置が決められている。また、輝度フィルタ１５ｂの裏面側には遮光部材１３が設けられている。この遮光部材１３は、射出瞳１９の一側のみがＡＦ検出用フォトダイオード１１ｂに到達させ、それ以外の被写体光束を遮光する。なお、図３（ｂ）においては、ＡＦ検出用フォトダイオード１１ｂは、マイクロレンズ１７の光軸よりも、一側に偏って形成されているが、画像生成用画素と同じような大きさであっても構わない。
【００５１】
このように、本実施形態における焦点検出用画素は構成されている。このため、撮影レンズ２０１の射出瞳１９の一部を通過した被写体光束２５は、マイクロレンズ１７および輝度フィルタ１５ｂを通過し、ＡＦ検出用フォトダイオード１１ｂ上に投射される。また、被写体光束２５以外の光束は、遮光部材１３によって遮光され、ＡＦ検出用フォトダイオード１１ｂ上には投射されない。
【００５２】
本実施形態においては、撮像素子１０３の焦点検出用画素中にＡＦ検出用フォトダイオード１１ｂが配置されていることから、位相差検出による焦点検出が可能となる。すなわち、焦点検出用画素（ＡＦ用フォトダイオード１１ｂ）は、撮影光学系の異なる瞳領域を通過した被写体光束のうち、一方の瞳領域を通過した光束を受光する位置に配置された第１の焦点検出用画素と、他方の瞳領域を通過した光束を受光する位置に配置された第２の焦点検出用画素とを含んでいる。例えば、図２（ａ）において、焦点検出用画素（エ、４）は、一方の瞳領域を通過した光束を受光する位置にあり、一方、焦点検出用画素（オ、５）は、他方の瞳領域を通過した光束を受光する位置にある。したがって、所定方向に並んでいる焦点検出用画素の一方の出力と、他方の出力から位相差を求めることができる。
【００５３】
なお、焦点検出用画素のＡＦ検出用フォトダイオード１１ｂと遮光部材１３の形状は、長方形または正方形をしているが、この形状や大きさは適宜変更できる。ＡＦ検出用フォトダイオード１１ｂと遮光部材１３の位置を変えると、ＡＦ検出用フォトダイオード１１ｂの受光面と共役関係にある瞳の位置を制御することが可能となる。これらの形状は、撮像素子の製造過程において、露光時のマスクを適切に作成すればよい。また、本実施形態においては、遮光部材１３を設けているが、マイクロレンズ１７により、ＡＦ検出用フォトダイオード１１ｂの受光面と瞳領域の共役関係を正確に保持することができれば、遮光部材を設けなくても、ＡＦ検出用フォトダイオード１１ｂの形状のみで瞳分割を行うようにしてもよい。
【００５４】
次に、撮像素子位置移動部１１７の構成について、図４を用いて説明する。前述の撮像素子１０３は、ホルダ４０３上に配置され、このホルダ４０３は、固定枠４０１に保持されている。すなわち、固定枠４０１にネジ４１３によって固設された保持板４０９ｃと、固定枠４０１の間に、ボール４１１を介して、ホルダ４０３の突起部４０３ａが介挿され、板バネを形成する保持板４０９ｃにより押圧保持されている。保持板４０９ａ、４０９ｂにおいても、同様に、ホルダ４０３がボールを介して固定枠４０１に保持されている。
【００５５】
また、ホルダ４０３は、圧電体Ａ４０５ａおよび圧電体Ｂ４０５ｂによって、上方（図中のＹ方向）に圧接され、ホルダ４０３と固定枠４０１の間には、伸張性のバネＡ４０７ａ、バネＢ４０７ｂが介挿されている。圧電体Ａ４０５ａは、Ｙ方向に伸縮し、圧電体Ａ４０５ａが伸びた際には、ホルダ４０３をバネＡ４０７ａの弾性力に抗して上方に押し上げ、圧電体Ａ４０５ａが縮んだ際には、ホルダ４０３はバネＡ４０７ａの弾性力によって下方に押下げられる。
【００５６】
圧電体Ａ４０５ａには、フレキＡ４１５ａが接続されており、このフレキＡ４１５ａを介して給電される。図４に示すように、ホルダ４０３の左右に、圧電体Ａ４０５ａおよび圧電体Ｂ４０５ｂが配置され、またホルダ４０３は、保持板４０９ａ〜４０９ｃ、およびボール４１１によって保持され、上下方向（Ｙ方向）に沿って移動可能となっている。なお、圧電体Ｂ４０５ｂの構成と動作は、圧電体Ａ４０５ａと同様であるので、ここでは詳しい説明を省略する。図４には上下方向のみ移動機構のみを示したが、同様に、左右方向（Ｘ方向）に沿って移動させる移動機構（不図示）を設ける。
【００５７】
次に、カメラ本体１００と交換式レンズ２００の間でなされる同期通信の一例を、図５を用いて説明する。図５において、横軸は時間の流れを表し、縦軸にそれぞれの処理内容やタイミングを示す。カメラ本体処理において、処理Ｂ１では、前フレームで取得した画像データによりライブビュー画像の表示や、ＡＦ用のデフォーカス量の算出を行う。また処理Ｂ２では、レンズ状態通信により取得したレンズ状態データに基づいて、ＡＦ演算や各種設定変更等を行う。
【００５８】
垂直同期信号は、各フレームに対応して出力される信号である。撮像・読出しでは、撮像素子１０３において被写体像を撮像し、この撮像した画像データの読み出しを行う。なお、撮像・読出しが、図５において、菱形形状をしているのは、本実施形態においては、ライブビュー画像の取得時はローリングシャッタを採用しており、画素ラインごとに撮像と読出しを順次行うためである。
【００５９】
レンズ通信における通信ＢＬでは、カメラ本体１００から交換式レンズ２００にレンズ状態データ要求コマンドを送信し、このコマンドは交換式レンズ２００のレンズ状態を示すデータをカメラ本体１００に送信することを要求する。また通信ＬＢでは、レンズ状態データ要求コマンドに応じて、交換式レンズ２００がカメラ本体１００にレンズ状態を示すデータを送信する。
【００６０】
レンズ通信同期信号は、カメラ本体１００において垂直同期信号に応答して生成され、このレンズ通信同期信号はカメラ本体１００側のＩ／Ｆ３００の同期信号端子より交換式レンズ２００に出力される。レンズ位置取得信号は、所定のタイミング、例えば図５に示す例では、撮像素子１０３における電荷蓄積時間の略中央時点を経過した時点で状態が変化する。
【００６１】
また、交換式レンズ２００内における処理Ｌ１は、レンズ位置取得信号の状態変化タイミングでの撮影レンズ２０１の位置情報の取得、およびレンズ通信同期信号の受信タイミングでのＭＦ環２１０の操作状態の検出を行う処理である。また処理Ｌ２は、カメラ本体１００から受信したレンズ状態データ要求コマンドに応じて、撮影レンズ２０１の位置情報や、ＭＦ環２１０の操作状態等のレンズ状態データを送信する処理である。
【００６２】
図５のタイミングチャートに示すように、本実施形態における同期通信では、垂直同期信号に同期してカメラ本体１００内において処理Ｂ１を実行し、また、垂直同期信号に同期してレンズ通信同期信号を交換式レンズ２００に送信する。
【００６３】
カメラ本体１００内において処理Ｂ１を処理すると、交換式レンズ２００に対して通信ＢＬによって、レンズ状態データ要求コマンドを送信する。交換式レンズ２００はレンズ状態データ要求コマンドを受信すると、レンズ状態を検出し、通信ＬＢによってレンズ状態データを送信する。カメラ本体１００はレンズ状態データを受信すると、処理Ｂ２を実行する。
【００６４】
また、交換式レンズ２００内において、レンズ位置を取得する処理Ｌ１はレンズ位置取得信号に同期して実行する。このレンズ位置取得信号は所定のタイミング、前述したように、図５の例においては、撮像素子１０３の画面中央による電荷蓄積時間の１／２が経過した時点で発生する。交換式レンズ２００は、レンズ位置取得信号の状態変化のタイミングでレンズ位置検出回路（不図示）によって撮影レンズ２０１の位置情報を取得する。これらの同期通信は、全体としては、レンズ通信同期信号に同期して実行される。
【００６５】
このように、本実施形態においては、ＭＦ環２１０の回転操作がなされると、ＰＩ２０８からのパルス信号に基づいて、交換式レンズ２００内のマイクロコンピュータ２０７は、処理Ｌ２の処理終了時点で、ＭＦ環２１０の回転操作中であることを、カメラ本体１００内のマイクロコンピュータ１２１に送信する。
【００６６】
次に、図６ないし図１０を用いて、本実施形態におけるデジタルカメラの動作について説明する。図６、７、９、１０に示すフローチャートは、フラッシュメモリ１２５に記憶されたプログラムに従ってマイクロコンピュータ１２１が実行する。
【００６７】
まず、図６に示すフローチャートを用いてメイン動作を説明する。電源釦が操作され、電源オンとなると、図６に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を行う（Ｓ１）。ここでは、動画の記録中であるか否かを示す記録中フラグをオフにする。この記録中フラグは、オンの場合には動画を記録中であることを示し、オフの場合には動画の記録を行っていないことを示す。また、交換式レンズ２００とカメラ本体１００の間で、図５を用いて説明した同期通信を開始する。
【００６８】
初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３の内の再生釦の操作状態に基づいて判定する。この判定の結果、再生釦が押された場合には、次に、再生を行う（Ｓ１９）。ここでは、記録媒体１３１から画像データを読出し、ＬＣＤ１３５に表示させる。
【００６９】
ステップＳ１９において再生を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ５）。このステップでは、操作部１２３において、動画釦の操作状態を検知し、この検知結果に基づいて判定する。この判定の結果、動画釦が押された場合には、次に、記録中フラグの反転を行う（Ｓ２１）。前述したように、動画釦は押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。
【００７０】
ステップＳ２１において、記録中フラグの反転を行うと、次に、動画記録中か否かの判定を行う（Ｓ２３）。ここでは、記録中フラグがオンか否かに基づいて判定する。すなわち、記録中フラグがオンであれば、動画記録中と判定する。ステップＳ２３における判定の結果、動画記録中であった場合には、動画ファイルを生成する（Ｓ２５）。ここでは、動画記録が開始したことから、記録用に新しい動画ファイルを生成する。
【００７１】
ステップＳ２５において動画ファイルを生成すると、またはステップＳ２３における判定の結果、動画記録中でなかった場合には、またはステップＳ５における判定の結果、動画釦が押されていなかった場合には、次に、ステップＳ２３と同様に動画記録中であるか否かを判定する（Ｓ７）。
【００７２】
ステップＳ７判定の結果、動画記録中でなかった場合には、次に、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ９）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。なお、このステップでは、ファーストレリーズスイッチがオフからオンに変化したか否かを判定し、変化後にオン状態が維持されている場合には、判定結果はＮｏとなる。
【００７３】
ステップＳ９における判定の結果、ファーストレリーズが押された場合には、ＡＥを行う（Ｓ１１）。ここでは、ＡＥ処理部１１１によって、被写体輝度を測定し、絞り値やシャッタ速度等の露出制御値を決め、またＬＣＤ１３５に表示するライブビュー表示を適正露光で行うための制御値を決める。
【００７４】
ステップＳ１１においてＡＥを行うと、次に、撮影を行う（Ｓ１３）。ここでの撮影は、撮像素子１０３によって被写体画像の画像信号を取得する。なお、このステップでは、画像データを記録媒体１３１に記録することはない。
【００７５】
撮影を行うと、次に、ＡＦを行う（Ｓ１５）。ここでは、撮像素子１０３の焦点検出画素のＡＦ検出用フォトダイオード１１ｂからの画像データに基づいて、いわゆる位相差法による焦点検出を行う。すなわち、垂直方向に沿って配列されたＡＦ検出用フォトダイオード１１ｂの画像データのずれに基づいて、撮影レンズ１０１のデフォーカス方向およびデフォーカス量を求める。そして、この求めたデフォーカス方向およびデフォーカス量に基づいて、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を制御する。したがって、動画記録中ではない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを１回行う。
【００７６】
ステップＳ９における判定の結果、レリーズ釦がオフ→１ｓｔ遷移でなかった場合には、次に、セカンドレリーズ（２ｎｄ）が押されたか否か、言い換えると、レリーズ釦が全押しされセカンドレリーズスイッチがオンとなっているか否かの判定を行う（Ｓ２７）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。
【００７７】
ステップＳ２７における判定の結果、セカンドレリーズが押された場合には、静止画撮影を行う（Ｓ２９）。ここでは、撮像素子１０３において露光を行い、被写体像に応じた画像信号を取得する。
【００７８】
ステップＳ２９において、静止画撮影を行うと、次に画像処理を行う（Ｓ３１）。ここでは、撮像素子１０３から画像信号を読出し、画像処理部１０９が画像信号に基づく静止画の画像データについて画像処理を行い、画像圧縮伸張部１１５が画像圧縮処理を行う。前述したように、焦点検出用画素のある位置には、撮像用画素のフォトダイオード（不図示）が配置されていないことから、撮像画像生成用の画像信号を取得することができない。そこで、静止画撮影の場合には、焦点検出用画素の周辺の画素の画像データを用いて、補間処理を行うようにしてもよい。
【００７９】
静止画用画像処理を行うと、次に、画像処理の施された画像データの記録を行う（Ｓ３３）。ここでは、画像処理の施された画像データを記録媒体１３１に記録する。
【００８０】
ステップＳ７における判定の結果、動画記録中であった場合には、次にステップＳ１１と同様にＡＥを行う（Ｓ３５）。ここでは、ＡＥ処理部１１１によって、動画撮影やライブビュー表示のための露出制御を行う。
【００８１】
続いて、動画・ライブビュー撮影を行う（Ｓ３７）。ここでは、動画撮影やライブビュー表示用に、撮像素子１０３によって画像信号を取得する。また、焦点検出用画素による画素欠陥を目立たなくするために、撮像素子位置移動部１１７によってフレーム毎に撮像素子１０３を所定移動量だけ移動させる。なお、撮像素子１０３の移動は、マニュアルフォーカス時のＭＦ環２１０操作やボタン操作等による拡大ライブビュー表示を行う場合のみ実行するようにしてもよい。この動画・ライブビュー撮影の詳しい動作については、図７および図８を用いて後述する。
【００８２】
動画・ライブビュー撮影を行うと、次に、動画用画像処理を行う（Ｓ３９）。ここでは、動画記録用の画像処理や、ライブビュー表示用の画像処理を行う。また、ステップＳ３７において、撮像素子１０３を所定量移動させた場合に、安定した画像を表示・記録するために、ステップＳ３７において移動させた移動量に応じて、撮像素子１０３からの画像データの切り出し位置を変更する。この動画用画像処理の詳しい動作については、図９を用いて後述する。
【００８３】
動画用画像処理を行うと、次に、ライブビュー表示を行う（Ｓ４１）。ここでは、ステップＳ３９において処理された動画用画像データを用いて、ＬＣＤ１３５に表示を行う。動画記録中であれば、記録されている動画像を確認することができる。また、焦点検出用画素による画素の欠陥が目立たないように処理されたライブビュー画像を観察することができる。ＭＦ環２１０が操作されるとマニュアルフォーカスモードの場合には、ライブビュー表示を拡大表示するようにしてもよい。この場合、メニュー画面で設定された拡大率で拡大したライブビュー画像を表示する。
【００８４】
ライブビュー表示を行うと、次に、ステップＳ２３、Ｓ７と同様に、動画記録中か否かを判定する（Ｓ４３）。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ４５）。ここでは、ステップＳ３９において動画用画像処理された画像データを、ステップＳ２５に生成された動画ファイルを用いて、記録媒体１３１に記録する。この場合、撮像素子１０３を移動させ、この移動量に応じて画像の切り出しを行うことにより、画素の欠陥が目立たない画像を記録することができる。なお、ＭＦ環２１０が操作された場合の動画の記録は、通常サイズの画像を記録するようにしてもよいし、また拡大画像を記録するようにしてもよい。
【００８５】
ステップＳ３３において静止画記録を行うと、またはステップＳ４３における判定の結果、動画記録中でなかった場合、またはＳ４５において動画記録を行うと、またはステップＳ１５においてＡＦを実行すると、次に、電源オフか否かの判定を行う（Ｓ１７）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインフローの終了動作を行ったのち、メインフローを終了する。
【００８６】
ステップＳ３７の動画・ライブビュー撮影のサブルーチンを説明するに先だって、本実施形態における撮像素子１０３の移動量の算出について、図８を用いて説明する。図８（ａ）は前のフレームの撮影を示し、図８（ｂ）は今回のフレームの撮影を示す。撮像素子１０３中には、焦点検出用画素１０３ａが数〜数十画素毎に縦横方向に規則的に配列されている。図８には示してないが、隣接する焦点検出用画素１０３ａ間には、数〜数十画素の画像生成用画素が配設されている。
【００８７】
本実施形態においては、被写体像の光軸中心１０３ｃの位置は移動しないが、撮像素子１０３はフレーム毎に移動することから、図８の例では、前回のフレームの露光位置（図８（ａ））１０３ｄに対して、今回のフレームの露光位置は上方向にａ、左方向ｂだけ移動する。この移動にあたっては、図８（ａ）における焦点検出用画素１０３ｃの位置に、図８（ｂ）における焦点検出用画素１０３ｃの位置が重ならないように、撮像素子１０３をランダムに移動させる。ランダム移動するために、乱数を発生させて決めればよい。勿論、焦点検出用画素が重ならなければ、規則的な変更としてもよい。また、ベイヤーでの色（例えば光軸中心の色）が常に同じなるようにずらしてもよいし、また異なるようにしてもよい。
【００８８】
フレーム毎に撮像素子１０３を移動させると、フレーム毎に被写体像が移動してしまう。そこで、後述するステップＳ６１（図９参照）において、撮像素子１０３の移動量分、画像の切り出し位置１０３ｂを移動させている。これによって安定した画像を表示し、また記録することができる。
【００８９】
なお、カメラ本体１００に手振れセンサを設け、この手振れセンサによって検出された手振れを打ち消すように切り出し位置を移動させる所謂電子手振れ補正を行っている場合には、手振れに応じて切り出し位置が変化する。この場合には、切り出された画像における終点検出用画素の位置が、前のフレームと同じ場合にランダムにずらし、異なっている場合には移動量を０としてもよい。
【００９０】
次に、ステップＳ３７の動画・ライブビュー撮影の動作について、図７に示すフローチャートを用いて説明する。動画・ライブビュー撮影のフローに入ると、まず露光位置移動量の算出を行う（Ｓ５１）。ここでは、前のフレームの焦点検出用画素の位置と、今回撮影するフレームの焦点検出用画素の位置が重ならないように、移動量算出手段として機能するマイクロコンピュータ１２１が、撮像素子１０３の位置を水平および垂直方向で移動させるための移動量を算出する。ただし、所定の縮小率よりも縮小表示を行っている場合（例えば、縮小後の画素数が焦点検出用の画素数以下になるような縮小率、図２に示す例では４／１６の縮小表示）には、焦点検出用画素が目立たないために、移動量を０とする。拡大表示や拡大画像の記録を行う際には、撮像素子１０３を移動させることになる移動量とする。もちろん、縮小率や拡大率にかかわりなく、常に移動させるようにしてもよい。また、移動方向としては、水平のみでもよく、垂直のみでもよい。
【００９１】
ステップＳ５１において露光位置移動量の算出を行うと、次に、センサ移動を行う（Ｓ５３）。ここでは、ステップＳ５１において、演算した移動量に基づいて、撮像素子位置移動部１１７が撮像素子１０３を移動させる。
【００９２】
センサの移動を行うと、次に、露光を行う（Ｓ５５）。ここでは、撮像素子１０３の電荷をリセットした後、ステップ３５における直前のＡＥの結果から得られるＩＳＯ感度と絞り値、および算出した露光時間で露光を行う。露光が終わると、次に、画像データの読み出しを行う（Ｓ５７）。画像データを読み出すと、元のフローに戻る。
【００９３】
次に、ステップＳ３９（図６参照）の動画用画像処理の動作について、図９に示すフローチャートを用いて説明する。動画用画像処理のフローに入ると、まず切り出しを行う（Ｓ６１）。ここでは、画像処理部１０９が、ステップＳ５１において算出した露光位置の移動方向と移動量に応じた位置（図８の切り出し位置１０３ｂ参照）で画像の切り出しを行う。このとき、電子手振れ補正を行っている場合には、電子手振れ補正による切り出し位置の変更も含めて切り出しを行う。
【００９４】
切り出しを行うと、次に、現像処理を行う（Ｓ６３）。ここでは、画像処理部１０９が、ベイヤー配列の画像データに対し、ＯＢ減算、ＷＢ補正、同時化、カラーマトリックス乗算、ガンマ変換、エッジ強調、ノイズ低減（ＮＲ）などの画像処理を行う。
【００９５】
現像処理を行うと、次に、フレーム間ＮＲを行う（Ｓ６５）。ここでは、前のフレームの画像と、今回のフレームの画像を用いて、フレーム間で同じ座標の画像のちらつきが低減するように、既知のアルゴリズム等を使用してフレーム間のノイズ低減（ＮＲ）を行う。例えば、対応する座標の画素値の差が所定以下になるように平滑化する。このとき、あまり縮小していない場合や拡大している場合には、焦点検出用画素が目立つため、フレーム間ＮＲの強度（平滑化の程度、大きい程ちらつきが減る）を強め、縮小している程、強度を弱めるようにする。このフレーム間ＮＲの詳細については、図１０を用いて後述する。フレーム間ＮＲを行うと、元のフローに戻る。
【００９６】
次に、フレーム間ＮＲについて、図１０を用いて説明する。フレーム間ＮＲに入ると、まず画素番号ｉ＝０とする（Ｓ７１）。画素番号は、例えば、撮像素子１０３の左上の隅等から、順次、付与する。続いて、画素番号ｉが画素数よりも小さいか否かを判定する（Ｓ７３）。後述するステップＳ８１において、処理が終わるたびに１つずつ加算されており、このステップでは、全ての画素について処理がなされたか否かを判定する。
【００９７】
ステップＳ７３における判定の結果、画素番号ｉが画素数よりも小さかった場合には、次に、ｉ番目の画素が焦点検出用画素（ＡＦ画素）かつ拡大か否かの判定を行う（Ｓ７５）。焦点検出用画素の画素位置は焦点検出素子１０３によって決まっている。ここでは、ｉ番目の画素位置が焦点検出用画素の位置であるか否かを判定する。また、マニュアルフォーカス時等にＬＣＤ１３５に拡大表示を行うので、このステップでは、ＭＦ環２１０が操作され、拡大表示を行うか否かを判定する。
【００９８】
ステップＳ７５における判定の結果、ＡＦ画素かつ拡大であった場合には、強いフレーム間ＮＲを実行し（Ｓ７７）、一方、ＡＦ画素かつ拡大でなかった場合には、弱いフレーム間ＮＲを実行する（Ｓ７９）。フレーム間ＮＲを行うことにより画像の平滑化を図ることができる。特に、拡大表示する場合であって、ＡＦ画素（焦点検出用画素）の場合には、ＡＦ画素の位置から画像信号を取得することができないことから、強いフレーム間ＮＲを利用して画像の平滑化を図り、画素欠陥が目立たないようにしている。
【００９９】
ステップＳ７７またはＳ７９においてフレーム間ＮＲを行うと、次に、画素番号ｉに１を加算し（Ｓ８１）、ステップＳ７３に戻る。以後、画素番号に１を加算しながら、拡大表示でＡＦ画素の場合には、強いフレーム間ＮＲを施し、いずれでもない場合には弱いフレーム間ＮＲを施す。（ステップＳ７３においてＮｏと判定され、全ての画素についてフレーム間ＮＲが終わると、元のフローに戻る。
【０１００】
このように、本発明の第１実施形態においては、前回のフレームと今回のフレームで焦点検出用画素が重ならないように撮像素子１０３の位置を移動させるようにしている。このため、焦点検出用画素（ＡＦ画素）の部分の画像が欠損しても、この欠損部分がフレーム毎に移動することから、人間の眼には画像が欠けているようには見えない。特に、拡大画像のライブビュー表示や拡大画像の動画記録の場合には、画像の欠損が目立ちやすいが、本実施形態のように、撮像素子１０３を移動させることにより、十分な質の画像を得ることができる。
【０１０１】
また、本発明の第１実施形態においては、読出した画像データから切り出す際に、撮像素子１０３の移動量と移動方向に応じた位置で切り出しを行うようにしている。撮像素子１０３が移動すると、ライブビュー表示や記録された動画画像も動いてしまうが、切り出し処理によって安定した画像とすることができる。
【０１０２】
また、本発明の第１実施形態においては、フレーム間ＮＲを行って、画像のノイズ低減を行っている。焦点検出用画素の部分の画像が欠損しているが、フレーム間ＮＲを行うことにより、本実施形態においては、画像の欠損に基づくノイズを低減させて滑らかな画像を得ることができる。なお、ノイズ低減手段としては、フレーム間ＮＲに限らず、例えば、１フレーム内の画像データに基づいて、焦点検出用画素の部分を補間処理してもよく、また、焦点検出用画素の部分を前回の画像データによって置き換えるようにしてもよい。また、同時化の処理等により焦点検出用画素の周辺画素も焦点検出用画素の影響を受ける時には、それらの画素も焦点検出用画素と同様な処理を行うようにしてもよい。
【０１０３】
次に、図１１を用いて、本発明の第２実施形態を説明する。本発明の第１実施形態においては、変更手段によって被写体像と撮像素子の相対的な位置関係を変更するにあたって、撮像素子１０３を移動させていた。これに対して、第２実施形態においては、変更手段は光学系を移動させることにより、被写体像を移動させ、被写体像と撮像素子の相対的な位置関係を変更するようにしている。すなわち、第１実施形態においては、撮像素子位置移動部１１７によって撮像素子１０３を移動させていた。これに対して、第２実施形態においては、光軸移動レンズ２０２および光軸移動レンズ制御部２０６を設け、撮像素子１０３上に形成される被写体像を光軸移動レンズ２０２によって移動させるようにしている。
【０１０４】
図１１は、本発明の第２実施形態に係わるデジタルカメラの主として電気的構成を示すブロック図である。第１実施形態に係わる図１に示したブロック図と同様の部材については同一の符号を付し、詳しい説明は省略し、相違点を中心説明する。第１実施形態におけるカメラ本体１００には、撮像素子位置移動部１１７が設けてあったが、第２実施形態においては、撮像素子位置移動部１１７は省略されている。
【０１０５】
交換式レンズ２００内の撮影レンズ２０１の光軸上には、光軸移動レンズ２０２が配置されている。この光軸移動レンズ２０２は、撮影レンズ２０１の光軸に対して垂直な面内で上下左右方向に移動可能に構成されている。この光軸移動レンズ２０２は、光軸移動レンズ制御部２０６によって、移動される。光軸移動レンズ２０２が上方向に移動すると、撮像素子１０３上に形成される被写体像は上方向に移動する。一方、光軸移動レンズ２０２が下方向に移動すると、撮像素子１０３上に形成される被写体像は下方向に移動する。左右方向についても同様に被写体像は移動する。
【０１０６】
光軸移動レンズ制御部２０６は、マイクロコンピュータ２０７に接続されており、カメラ本体１００内のマイクロコンピュータ１２１からの指示に従って、光軸移動レンズ制御部２０６に対して制御命令を出力する。フラッシュメモリ２０９は、マイクロコンピュータ２０７のプログラムや各種調整値等を記憶する。各種調整値として、本実施形態においては、光軸移動レンズの２０２の移動量に応じて、撮像素子１０３上での被写体の移動量に関する光軸移動関連データが記憶されている。
【０１０７】
交換式レンズ２００内のマイクロコンピュータ２０７は、カメラ本体１００内のマイクロコンピュータから撮像素子１０３面上での必要移動量に関する情報を受け取ると、フラッシュメモリ２０９に記憶されている光軸移動関連データに基づいて、光軸移動レンズの移動量を算出し、光軸移動レンズ制御部２０６によって光軸移動レンズ２０２の移動を行う。
【０１０８】
本実施形態における動作は、図６、図７、図９、図１０に示したフローと同様の処理がなされる。ただし、図７のステップＳ５１における露光位置移動量の算出にあたっては、上述の光軸移動関連データを用いて、光軸移動レンズ２０２の移動量を算出する。また、ステップＳ５３においては、センサ移動ではなく、光軸移動レンズ２０２の移動を行う。
【０１０９】
このように、本発明の第２実施形態においては、前回のフレームと今回のフレームで焦点検出用画素が重ならないように光軸移動レンズ２０２を移動させるようにしている。このため、第１実施形態の場合と同様、焦点検出用画素（ＡＦ画素）の部分の画像が欠損しても、この欠損部分が移動することから、人間の眼には画像が欠けているようには見えない。本実施形態においては、カメラ本体１００側に撮像素子１０３の移動機構を有さない場合であっても、交換レンズ側で焦点検出用画素欠陥に基づく画像の劣化を防止することができる。
【０１１０】
以上説明したように、本発明の各実施形態においては、被写体画像と撮像素子の相対的な移動量を算出し、撮像素子による第１のフレームの撮像の完了後であって、第１のフレーム以後に撮像するフレームである第２のフレームの撮像開始前までの間に算出された移動量に基づいて、被写体画像と撮像素子の相対位置を変更させている。このため、焦点検出用画素（ＡＦ画素）の部分の画像が欠損していても、十分な質の画像を得ることができる。
【０１１１】
また、本発明の各実施形態においては、拡大表示がなされる際には、算出された移動量に基づいて被写体画像と撮像素子の相対位置を変更させ、移動量に応じて画像データの切り出し位置を変更させ、この切り出し位置を変更した画像データに基づいて表示手段にライブビュー表示させるようにしている。拡大画像のライブビュー表示の場合には、画像の欠損が目立ちやすいが、十分な質の画像を得ることができる。また、同様に、動画画像を記録する際には、算出された移動量に基づいて被写体画像と撮像素子の相対位置を変更させ、移動量に応じて画像データの切り出し位置を変更させ、この切り出し位置を変更した画像データを記録手段によって記録するようにしている。動画撮影の際に十分な質の画像を記録することができる。
【０１１２】
なお、本発明の各実施形態においては、ライブビュー表示および動画記録の両方で、焦点検出用画素の部分の画像の欠損による画質の劣化を防止するために、被写体画像と撮像素子の相対的位置を変更させていたが、これに限らず、ライブビュー表示の際のみ、また動画記録の際のみのいずれか一方のみとしてもよい。
【０１１３】
また、本発明の各実施形態においては、被写体画像を拡大する場合に、被写体画像と撮像素子の相対位置を変更させていたが、拡大（または縮小）かに係わらず、常に被写体画像と撮像素子の相対位置を変更するようにしてもよく、いずれかの場合のみ相対位置を変更するようにしてもよい。
【０１１４】
また、本発明の各実施形態においては、フレーム毎に毎回、被写体画像と撮像素子の相対位置を変更していたが、人間の目の特性を考慮して、数フレーム毎でもよく、被写体画像と撮像素子の相対位置の変更のタイミングを適宜変更してもよい。また、被写体画像と撮像素子の相対位置の変更にあたっては、フレーム毎にランダムでも規則的でもよい。いずれにしても人間の目の特性を考慮して、焦点検出用画素による画像の欠陥が目立たない範囲で適宜、変更してもよい。
【０１１５】
また、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラ、デジタル一眼カメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、焦点検出用画素を含む焦点検出素子を有する撮像可能な撮影のための装置であれば、本発明を適用することができる。
【０１１６】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【０１１７】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１１８】
１１ｂ・・・ＡＦ検出用フォトダイオード、１３・・・遮光部材、１５ｂ・・・輝度フィルタ、１７・・・マイクロレンズ、１９・・・射出瞳、２５・・・被写体光束、１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１１１・・・ＡＥ処理出部、１１３・・・ＡＦ処理部、１１５・・・画像圧縮伸張部、１１７・・・撮像素子位置移動部、１１９・・・バス、１２１・・・マイクロコンピュータ、１２１・・・クロックジェネレータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・液晶ディプレイドライバ（ＬＣＤドライバ）、１３５・・・液晶ディスプレイ（ＬＣＤ）、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０２・・・光軸移動レンズ、２０３・・・絞り、２０５・・・ドライバ、２０６・・・光軸移動レンズ制御部、２０７・・・マイクロコンピュータ、２０８・・・フォトインタラプタ（ＰＩ）、２０９・・・フラッシュメモリ、２１０・・・マニュアルフォーカス環（ＭＦ環）、３００・・・インターフェース（Ｉ／Ｆ）、４０１・・・固定枠、４０１ａ〜４０１ｂ・・・突起部、４０３・・・ホルダ、４０５ａ・・・圧電体Ａ、４０５ｂ・・・圧電体Ｂ、４０７ａ・・・バネＡ、４０７ｂ・・・バネＢ、４０９ａ〜４０９ｃ・・・保持板、４１１・・・ボール、４１３・・・ネジ、４１５ａ〜４１５ｂ・・・フレキ
【特許請求の範囲】
【請求項１】
動画を撮像可能な撮影装置において、
焦点検出用画素を有し、被写体画像を画像データに変換し出力する撮像素子と、
上記被写体画像と上記撮像素子の相対的な移動量を算出する移動量算出手段と、
上記撮像素子による第１のフレームの撮像の完了後であって、上記第１のフレーム以後に撮像するフレームである第２のフレームの撮像開始前までの間に、上記移動量算出手段によって算出された上記移動量に基づいて、上記被写体画像と上記撮像素子の相対位置を変更させる変更手段と、
を具備することを特徴とする撮影装置。
【請求項２】
さらに、上記撮像素子から出力される上記画像データに基づいてライブビュー表示を行う表示手段と、
上記ライブビュー表示を行うにあたって拡大表示を指示するための拡大画像操作手段と、
上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更する画像切り出し手段と、
を有し、
上記拡大表示が指示された際に、上記移動量に基づいて上記被写体画像と上記撮像素子の相対位置を上記変更手段によって変更させ、上記移動量に応じて上記画像データの切り出し位置を上記画像切り出し手段によって変更させ、この切り出し位置を変更した画像データに基づいて上記表示手段にライブビュー表示させることを特徴とする請求項１に記載の撮影装置。
【請求項３】
上記第２のフレームは、上記表示手段において、上記第１のフレームの画像の次に表示される画像であることを特徴とする請求項２に記載の撮影装置。
【請求項４】
さらに、上記撮像素子から出力される上記画像データに基づいて動画画像の記録を行う記録手段と、
上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更する画像切り出し手段と、
を有し、
上記動画画像の記録が指示された際に、上記移動量に基づいて上記被写体画像と上記撮像素子の相対位置を上記変更手段によって変更させ、上記移動量に応じて上記画像データの切り出し位置を上記画像切り出し手段によって変更させ、この切り出し位置を変更した画像データを記録手段によって記録することを特徴とする請求項１に記載の撮影装置。
【請求項５】
上記第２のフレームは、上記記録手段において、上記第１のフレームの画像の次に記録される画像であることを特徴とする請求項４に記載の撮影装置。
【請求項６】
上記変更手段は、上記撮像素子を上記移動量に基づいて移動させるか、または上記被写体像を形成するためのレンズを上記移動量に基づいて移動させることを特徴とする請求項１に記載の撮影装置。
【請求項７】
上記変更手段は、拡大表示を行う際に、または拡大表示が指示されたら、上記被写体画像と上記撮像素子の相対位置の変更を実行することを特徴とする請求項１に記載の撮影装置。
【請求項８】
上記移動量算出手段は、上記被写体画像と上記撮像素子の相対位置を、ランダムに変更させるか、または規則的に変更させることを特徴とする請求項１に記載の撮影装置。
【請求項９】
上記移動量算出手段は、上記撮像素子から出力される画像データの画像縮小率に応じて、上記移動量を算出することを特徴とする請求項１に記載の撮影装置。
【請求項１０】
上記移動量算出手段は、所定の縮小率より大きく表示する場合または記録する場合のみ上記移動量を変更し、上記所定の縮小率よりも小さく表示または記録場合には上記移動量を０とすることを特徴とする請求項１に記載の撮影装置。
【請求項１１】
さらに、上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更する画像切り出し手段を有することを特徴とする請求項１に記載の撮影装置。
【請求項１２】
さらに、上記画像データの補間処理を行う補間手段を有することを特徴とする請求項１に記載の撮影装置。
【請求項１３】
上記補間手段は、フレーム間の平滑処理による補間処理、または１フレームの画像内での補間処理を行うことを特徴とする請求項１２に記載の撮影装置。
【請求項１４】
イメージャーＡＦ画素を有する撮像素子を用い、連続して撮像を行うことで動画を撮影する撮影方法において、
画像の縮小率に応じて移動量を算出し、
１フレームの撮像が完了してから次のフレームの撮像を開始する前に、被写体像と上記撮像素子の相対位置を、上記移動量に応じて変更する、
ことを特徴とする撮影方法。
【請求項１】
動画を撮像可能な撮影装置において、
焦点検出用画素を有し、被写体画像を画像データに変換し出力する撮像素子と、
上記被写体画像と上記撮像素子の相対的な移動量を算出する移動量算出手段と、
上記撮像素子による第１のフレームの撮像の完了後であって、上記第１のフレーム以後に撮像するフレームである第２のフレームの撮像開始前までの間に、上記移動量算出手段によって算出された上記移動量に基づいて、上記被写体画像と上記撮像素子の相対位置を変更させる変更手段と、
を具備することを特徴とする撮影装置。
【請求項２】
さらに、上記撮像素子から出力される上記画像データに基づいてライブビュー表示を行う表示手段と、
上記ライブビュー表示を行うにあたって拡大表示を指示するための拡大画像操作手段と、
上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更する画像切り出し手段と、
を有し、
上記拡大表示が指示された際に、上記移動量に基づいて上記被写体画像と上記撮像素子の相対位置を上記変更手段によって変更させ、上記移動量に応じて上記画像データの切り出し位置を上記画像切り出し手段によって変更させ、この切り出し位置を変更した画像データに基づいて上記表示手段にライブビュー表示させることを特徴とする請求項１に記載の撮影装置。
【請求項３】
上記第２のフレームは、上記表示手段において、上記第１のフレームの画像の次に表示される画像であることを特徴とする請求項２に記載の撮影装置。
【請求項４】
さらに、上記撮像素子から出力される上記画像データに基づいて動画画像の記録を行う記録手段と、
上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更する画像切り出し手段と、
を有し、
上記動画画像の記録が指示された際に、上記移動量に基づいて上記被写体画像と上記撮像素子の相対位置を上記変更手段によって変更させ、上記移動量に応じて上記画像データの切り出し位置を上記画像切り出し手段によって変更させ、この切り出し位置を変更した画像データを記録手段によって記録することを特徴とする請求項１に記載の撮影装置。
【請求項５】
上記第２のフレームは、上記記録手段において、上記第１のフレームの画像の次に記録される画像であることを特徴とする請求項４に記載の撮影装置。
【請求項６】
上記変更手段は、上記撮像素子を上記移動量に基づいて移動させるか、または上記被写体像を形成するためのレンズを上記移動量に基づいて移動させることを特徴とする請求項１に記載の撮影装置。
【請求項７】
上記変更手段は、拡大表示を行う際に、または拡大表示が指示されたら、上記被写体画像と上記撮像素子の相対位置の変更を実行することを特徴とする請求項１に記載の撮影装置。
【請求項８】
上記移動量算出手段は、上記被写体画像と上記撮像素子の相対位置を、ランダムに変更させるか、または規則的に変更させることを特徴とする請求項１に記載の撮影装置。
【請求項９】
上記移動量算出手段は、上記撮像素子から出力される画像データの画像縮小率に応じて、上記移動量を算出することを特徴とする請求項１に記載の撮影装置。
【請求項１０】
上記移動量算出手段は、所定の縮小率より大きく表示する場合または記録する場合のみ上記移動量を変更し、上記所定の縮小率よりも小さく表示または記録場合には上記移動量を０とすることを特徴とする請求項１に記載の撮影装置。
【請求項１１】
さらに、上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更する画像切り出し手段を有することを特徴とする請求項１に記載の撮影装置。
【請求項１２】
さらに、上記画像データの補間処理を行う補間手段を有することを特徴とする請求項１に記載の撮影装置。
【請求項１３】
上記補間手段は、フレーム間の平滑処理による補間処理、または１フレームの画像内での補間処理を行うことを特徴とする請求項１２に記載の撮影装置。
【請求項１４】
イメージャーＡＦ画素を有する撮像素子を用い、連続して撮像を行うことで動画を撮影する撮影方法において、
画像の縮小率に応じて移動量を算出し、
１フレームの撮像が完了してから次のフレームの撮像を開始する前に、被写体像と上記撮像素子の相対位置を、上記移動量に応じて変更する、
ことを特徴とする撮影方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−５１４６３（Ｐ２０１３−５１４６３Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８６８１５（Ｐ２０１１−１８６８１５）
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]