撮影装置
【課題】リアルタイムにぼけ量を確認しながら、主要被写体にピントが合い、背景部分をぼかした撮影が簡単な操作で行うことができる撮影装置を提供する。
【解決手段】撮影モードにおいて絞りを操作を選択して、絞り操作となる回転リングを開放限界の絞り値を超える操作量だけ回転する操作を行うと、開放限界の絞り値に相当するぼけ量を算出し、さらに開放限界の絞り値を超える操作量に対応したぼけ量を発生するためのレンズ5のピント位置からのシフト量を決定し、ピント位置と、シフト量だけシフトしたシフト位置でそれぞれ撮像した画像から主要被写体にピントが合い、背景部分をぼかした合成画像を合成処理で生成して、殆どリアルタイムに表示し、撮影操作がされた場合には合成画像を撮影画像として記録する。
【解決手段】撮影モードにおいて絞りを操作を選択して、絞り操作となる回転リングを開放限界の絞り値を超える操作量だけ回転する操作を行うと、開放限界の絞り値に相当するぼけ量を算出し、さらに開放限界の絞り値を超える操作量に対応したぼけ量を発生するためのレンズ5のピント位置からのシフト量を決定し、ピント位置と、シフト量だけシフトしたシフト位置でそれぞれ撮像した画像から主要被写体にピントが合い、背景部分をぼかした合成画像を合成処理で生成して、殆どリアルタイムに表示し、撮影操作がされた場合には合成画像を撮影画像として記録する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は主要被写体にピントが合った撮影を行う撮影装置に関する。
【背景技術】
【0002】
近年、光電変換する機能を備えた撮像素子を用いて、被写体を撮影する撮影装置としてのカメラが広く用いられるようになっている。このように撮像素子を用いた撮影装置においては、例えば35mmサイズの銀塩フィルムを用いた銀塩カメラの場合に比べて小さなサイズの撮像素子が用いられる場合が一般的である。
このため、同じFナンバの撮影レンズを用いて撮影した場合、主要被写体にピントを合わせて撮影すると、背景側を撮影者(ユーザ)が意図する程のぼけ量が得られないという問題があった。
【0003】
このため、特開2003−209727号公報の従来例は、被写体を撮影する場合、主要被写体と、その前景又は背景となるエリアを区分け手段により区分けし、前景又は背景のぼけ量の設定手段と、区分け手段により区分けされた各エリア毎に焦点位置を設定して複数コマの撮像を行い、複数コマの撮像画像から各エリアの画像を抽出して各エリアの画像を合成することを開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−209727号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、上記従来例は所望とするぼけ量の撮影画像を取得するまでに時間がかかると共に、通常の操作とは異なるぼけ量の設定が必要となる。また、上記従来例では、ぼけ量の程度(ぼけ味)を確認するのに時間がかかる欠点がある。このため、シャッターチャンスを逃してしまう可能性がある。
本発明は上述した点に鑑みてなされたもので、リアルタイムにぼけ量を確認しながら、主要被写体にピントが合い、背景部分をぼかした撮影が簡単な操作で行うことができる撮影装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る撮影装置は、撮影を行うための撮影レンズと、上記撮影レンズを介した被写体の光学像を電気信号に変換する撮像素子と、上記撮影レンズの絞りを制御する絞り制御部と、上記撮影レンズのピント位置を制御するピント位置制御部と、を具備する撮影装置において、上記撮影レンズの実際の絞り開放限界の値を超える絞り値に設定するための操作を行う絞り操作部と、上記絞り操作部の上記絞り開放限界の値を超える、該絞り開放限界の値からの操作量に応じて、上記ピント位置制御部により上記被写体における主要被写体部分にピント合わせしたピント位置で上記撮像素子により撮像した画像と共に、該ピント位置から上記撮影レンズを光軸方向に所定のシフト量だけシフトしたシフト位置で上記撮像素子により撮像した上記主要被写体部分に対して背景となる、上記所定のシフト量に対応したぼけ量だけぼけた背景画像をほぼリアルタイムに表示可能とする表示部と、を有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、リアルタイムにぼけ量を確認しながら、主要被写体にピントが合い、背景部分をぼかした撮影が簡単な操作で行うことができる撮影装置を提供することができる。
【図面の簡単な説明】
【0008】
【図1】図1は本発明の第1の実施形態の撮影装置としてのカメラの全体構成を示す図。
【図2】図2はFナンバが大きいレンズを用いて背景をぼかして撮影するための説明図。
【図3A】図3Aはユーザが撮影操作を行う様子の説明図。
【図3B】図3Bはユーザが撮影操作を行う場合、タッチパネルにより絞りの操作を選択する様子の説明図。
【図3C】図3Cは図3Bの操作により表示部の表示画面に絞りが選択された様子を示す説明図。
【図4】図4は第1の実施形態によるカメラ制御の処理内容を示すフローチャート。
【図5】図5は図4における絞り開放相当のぼけ量算出のステップの処理内容を示すフローチャート。
【図6】図6は図5における距離算出の変形例の説明図。
【図7】図7は図4におけるリング操作量に応じてピントシフト量を決定するステップの処理内容を示すフローチャート。
【図8】図8は図4におけるピントシフト振動&合成のステップの処理内容を示すフローチャート。
【図9】図9は図8の変形例の処理内容を示すフローチャート。
【図10】図10はカメラ本体側と撮影レンズ部側とが通信を行って背景をぼかした撮影画像を取得する動作の説明図。
【図11】図11は第1の実施形態の第1変形例のカメラにおける処理手順を示すフローチャート。
【図12】図12は図11により表示部に表示される2つの画像の表示例を示す図。
【図13】図13は合成画像を表示した場合の表示部による表示例を示す図。
【図14】図14は第1の実施形態の第2変形例のカメラにおける処理手順を示すフローチャート。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示すように本発明の撮影装置を構成する第1の実施形態のカメラ1は、撮影を行うための撮影レンズを構成するレンズ5を備えた撮影レンズ部2と、この撮影レンズ部2が着脱自在に装着(マウント)されるカメラ本体3と、このカメラ本体3の上面に着脱自在に装着される撮影補助アクセサリ(単にアクセサリと略記)4とを有する。
カメラ本体3には、撮影レンズ部2の光学系を構成するレンズ5の結像位置付近にCMOSセンサ等、撮像面に結像された光学像を電気信号に変換する光電変換機能を備えた撮像素子6が配置され、レンズ5と、撮像素子6により撮像部7が形成される。
カメラ本体3は、撮像素子6に対する信号処理やカメラ1の全体の制御等を行う信号処理&制御部8を有する。この信号処理&制御部8は、CPUにより構成される。
【0010】
また、このカメラ本体3は、撮像部7により撮像した画像を表示する表示部9と、撮像した画像及び撮影操作(レリーズ操作)で撮影画像を記録する記録部11と、タッチして絞り値やピント合わせの調整等、操作項目の選択等を行うタッチパネル12と、レリーズボタン3a(図3B参照)によるレリーズ操作等の操作を判定する操作判定部13を有する。
また、このカメラ本体3は、時間を計測して時間管理を行うための時計部14と、撮像素子6により撮像した画像から被写体が人物の場合の顔部分を検出する顔検出部15と、撮影レンズ部2と双方向の通信を行う通信部16と、アクセサリ4と双方向の通信を行う通信部17と、を有する。なお、アクセサリ4を有しない構成のカメラでも良い。
【0011】
撮影レンズ部2は、撮影レンズ部2の動作を制御する制御部21と、レンズ5の絞り値及びピント合わせの操作をするための例えば回転リングを有する操作部22と、レンズ5又はレンズ5を構成する移動可能なフォーカスレンズ等の可動レンズを、光軸方向に移動させるように駆動と、絞り40の絞り値を変えるように駆動する駆動部23a,23bと、レンズ5を構成する可動レンズ等の光軸方向における位置の検出と、操作部22の回転リングの操作位置の検出とを行う位置検出部24a,24bとを有する。
また、この撮影レンズ部2は、その撮影レンズ部2に搭載されたレンズ5の特性(焦点距離F、有効口径D0、開放限界の絞り値(絞り開放限界の値、又は絞り開放限界とも言う)としてのFナンバFno0)等の情報を記録した記録部25と、カメラ本体3の通信部16と双方向の通信を行う通信部26とを有する。
【0012】
また、制御部21は、操作部22により絞り開放限界の値を超える回転操作が行われた場合、位置検出部24bによる位置検出などを利用して、絞り開放限界の値を超えたか否かを判定すると共に、絞り開放限界の値を超える操作量を判定する操作量判定部21aを有する。なお、操作量判定部21aを制御部21以外に設ける構成でも良い。
また、レンズ5は、上記操作部22による絞り開放限界以内での絞り操作に対応した絞り制御を行う絞り制御部5aと、操作部22によるピント合わせの操作に対応したピント位置制御を行うピント位置制御部5bとを有する。
本実施形態においては、このピント位置制御部5bは、操作部22により絞り開放限界の値を超える回転操作が行われた場合には、ピント合わせしたピント位置から、レンズ5を光軸方向にシフトしたシフト位置に設定する制御も行う。
【0013】
なお、図1では、レンズ5内に絞り制御部5aと、ピント位置制御部5bとを設けた例で示しているが、例えば制御部21内に絞り制御部5aと、ピント位置制御部5bと形成する構成にしても良い。
また、本実施形態においては、タッチパネル12による選択操作により操作部22による操作項目として、絞りを可変する操作とピント合わせする操作とから選択できるようにしている(図3Bにて後述する)。
また、本実施形態においては、タッチパネル12により絞りの操作が選択された場合、操作部22としての回転リングは、絞り値を可変する絞り操作部22aとなる。
【0014】
そして、絞り操作部22aが選択された状態においてユーザが絞り操作部22aを操作した場合、操作量判定部21aは、上記のようにレンズ5の絞り開放限界を超えて操作されたか否かを判定する。タッチパネル12によりピントの操作が選択された場合、操作部22としての回転リングは、ピント操作部、又はピント合わせ操作部となる。
なお、タッチパネル12による選択により、操作部22で、図示しないズーム調整を行うことも可能である。
制御部21は、操作部22によるピント合わせの操作やズーム操作や絞り操作等に応じて、駆動部23a,23bを介してレンズ5を光軸方向に移動する制御や絞り値を変更する制御動作を行うと共に、位置検出部24a,24bによる位置検出結果を参照し、操作されたピント合わせに対応したピント位置への設定、ズーム状態、絞り値等に設定する制御動作を行う。
【0015】
なお、駆動部23a,23bによる駆動制御する際に図示しない位置判定部により判定し、目標とするピント位置、ズーム状態、絞り値等に、より円滑に設定し易い制御を行うようにしても良い。
また、制御部21は、撮影レンズ部2側での操作内容又は操作結果を通信部26、通信部16とを介してカメラ本体3の信号処理&制御部8に送り、カメラ本体3の信号処理&制御部8は対応した信号処理や制御を円滑に行うことができるようにしている。
カメラ本体3の信号処理&制御部8は、後述する図10に示すようにカメラ本体3内の撮像素子6の1フレーム分の画像に対するフレーム同期信号としての垂直同期信号に同期して、撮像素子6による撮像と、その撮像した画像に対する読出しの処理を行う。また、撮像と読出しを行う最中等において、カメラ本体3と撮影レンズ部2とは通信を行い、通信結果に対応した処理をそれぞれ行う。
【0016】
図1に示すようにアクセサリ4は、カメラ本体3の通信部17と双方向の通信を行う通信部31と、この通信部31により取得した例えば画像情報を接眼画像として表示する接眼表示部32とを有する。
カメラ本体3の信号処理&制御部8は、各フレームにおいて生成した撮像画像を間引く等した縮小画像を通信部17,31を介して接眼表示部32に送り、接眼表示部32は、リアルタイムに撮像部7により撮像している画像の縮小画像を動画状態で表示する。ユーザはこの接眼表示部32に表示される縮小画像を観察しながら、撮影操作を行うことができる。なお、アクセサリ4をカメラ本体3に装着しない場合には、表示部9で撮像部7により撮像している画像を表示する。
また、カメラ本体3の信号処理&制御部8は、各フレームの撮像画像に対して、表示部9等において撮像画像として表示できるように信号処理すると共に、表示する制御を行う。このため、信号処理&制御部8は、表示制御部8aの機能を有する。
【0017】
ユーザは、表示部9に表示される(接眼表示部32の表示サイズよりも大きい表示サイズの)撮像画像を観察することにより、撮影しようとする画像をより詳細に確認しながら撮影の操作を行うことができる。
また、信号処理&制御部8は、撮像素子6により撮像画像におけるコントラストのピークからピント位置(又はピント位置からのずれ)を検出したり、コントラストの平均値から(パラメータとしての)露出量を制御するパラメータ制御部8bの機能を持つ。
また、信号処理&制御部8は、タッチパネル12によるタッチ検出と共に、タッチされた位置から選択された操作を検出するタッチ検出部8cの機能を有する。なお、表示制御部8aは、タッチパネル12により選択できる操作項目(図3Bの図示例では絞りとピント合わせ)を表示部9にて表示する制御も行う。
【0018】
また、信号処理&制御部8は、上述した絞り操作部22aにより、レンズ5の絞り開放状態(換言するとレンズ5の絞りを最大に開いた絞り開放限界)の値を超えて操作された場合には、その絞り開放限界の値を超える操作量に応じて、ピントが合ったピント位置の主要被写体の画像に対して背景となる画像部分をぼかすぼかし処理を行うぼかし処理部8dを有する。なお、ユーザは、絞り操作部22aにより、絞り開放限界の値(絞り開放限界とも言う)以下での絞り値に可変設定する操作を行うこともできる。
また、信号処理&制御部8は、ピント位置の主要被写体の画像と、ぼかし処理部8dによりぼかした画像とを合成した合成画像を略リアルタイムで生成する合成画像生成部8eを有する。
【0019】
この場合、表示制御部8aは、合成画像を略リアルタイムで表示部9にて表示するように制御し、表示部9は、通常の撮像画像を表示する表示部の機能と共に、合成画像表示部9aの機能を持つ。
また、図示しないが、本実施形態のカメラ1は、オートフォーカス(AFと略記)と、オート露出(AE)の機能を備えている。
図2は、本実施形態における上述した背景となる画像部分をぼかすぼかし処理に関係した説明図を示す。図2(A)は、ぼかし処理を必要としない程度に明るいレンズ5C(小さいFナンバ(F値)Fno1のレンズ)を用いて光軸O上に設定した主要被写体41の像を結像する場合の説明図を示し、図2(B)は本実施形態における、図2(A)のレンズ5Cに比較して暗いレンズ5、つまり大きいFナンバFno0のレンズを用いて主要被写体41と無限遠の背景被写体の像を結像する場合の説明図を示す。
【0020】
図2(A)において、主要被写体41とレンズ5Cとの被写体距離(以下、単に距離)をL,レンズ5Cの焦点距離をFとすると、無遠遠の背景被写体に対しては、点線で示すようにレンズ5Cから焦点距離Fの距離の光軸O上の位置P1に結像し、主要被写体41に対しては実線で示すように位置P1からさらに距離Zだけ後方側となる位置P2に結像する。
また、このレンズ5Cの有効口径をD1とし、図2(A)ではその有効口径D1の状態、つまり絞り開放限界まで絞り40が開放されている状態を示す。
図1の状態におけるレンズ5Cに対して、写像公式などから以下の(1)式が成立する。
(L−F)・Z=F^2 (1)
つまり、(L−F)とZとの積は、焦点距離Fの2乗に等しい。
【0021】
また、上記有効口径D1として(その添え字1を削除し)一般化した有効口径Dを用い、同様に一般化した絞り開放(限界)FナンバFnoを用いると、以下の(2)式のようになる。
Fno=F/D=Z/φ (2)
ここで、φは、図2(A)に示すように有限の主要被写体41の結像位置P2の点のサイズが位置P1で円状に広がる直径φ1を(その添え字1を削除し)一般化して表している。
また、図2(A)の場合、直径φ1は、ピントが合った状態の主要被写体41に対して背景被写体のぼけ量の大きさを表していると見なすことができる。
【0022】
この直径φ1は、以下に説明する図2(B)の場合の直径φ0に比較してかなり大きい。
上記の式(1)、(2)から直径φを求めると、以下の(3)式のようになる。
φ=F^2/(Fno×(L−F)) (3)
なお、図2(A)の場合の直径φ1とした場合には(2)式は、以下の(4)式のようになる。
Fno1=Z/φ1 (4)
一方、図2(B)においては図2(A)と同じ距離Lの主要被写体41及び無限遠の背景被写体を同じ焦点距離Fのレンズ5にて結像する様子を示す。このレンズ5は、図2(A)のレンズ5Cに比較するとその有効口径D0が小さいものの、その絞り開放限界まで絞り40が開放されている状態を示す。
【0023】
なお、上述の(1)―(3)式は、図2(B)の場合のレンズ5の有効口径D1をD,その有効口径D1でのFナンバFno0をFnoとして、同様に適用できる。
また、図2(B)の場合の直径φ0とした場合には(2)式は、以下の(5)式のようになる。
Fno0=Z/φ0 (5)
(5)式における直径φ0は、(4)式における直径φ1より小さい。このため、レンズ5を主要被写体41にピントが合ったピント位置に設定して撮影した場合、背景被写体のぼけ量を、明るいレンズ5Cの場合程に大きくすることができない。
【0024】
そのため、本実施形態においては、図2(C)に示すように背景被写体に対してはレンズ5を、図2(B)に示す主要被写体41にピントが合ったピント位置から、光軸方向に沿って前方側(被写体側)にシフト量Zsiftだけシフトした位置に設定して、背景画像に対しては図2(A)で示した直径φ1の値に相当するぼけた画像を取得する。
図2(C)に示すレンズ5の設定状態においては、以下の(6)式を満たす。
Fno0=Z/φ0=(Z+Zsift)/φ1 (6)
この(6)式を変形すると、以下の(7)式のようになる。
【0025】
Zsift=φ1×Fno0−Z (7)
本実施形態においては、レンズ5の実際の絞り開放限界からさらに絞り40を仮想的に開く操作を行えるように絞り操作部22aを設け、この絞り操作部22aによりレンズ5の実際の絞り開放限界の値を超えて絞り40を開く操作が行われた場合には、例えばピント位置制御部5bは、その絞り開放限界の値を超えた操作量に対応した所定のシフト量Zsiftだけ主要被写体41にピントが合ったピント位置からシフトした位置にレンズ5を設定する。そして、そのシフトした位置で被写体を撮像して背景被写体が十分にぼけた画像を取得する。
図2(C)は、図2(B)の絞り開放限界の状態から、絞り操作部22aの操作によりこの絞り開放限界からより開放させる方向に所定量だけ開放させた場合のレンズ5の設定位置の1例に相当する。
【0026】
なお、後述するように本実施形態においては、絞り操作部22aの操作によりこの絞り開放限界からより開放させる方向にn目盛分(n=1,2)だけ開放させた場合には、そのn目盛分の開放に対応するシフト量だけレンズ5の設定位置をシフトする。
但し、図2(C)のようにレンズ5をシフトした位置に設定すると、主要被写体41の画像もぼけてしまうため、本実施形態においては高速にピント位置とシフトしたシフト位置とに交互に設定して(つまり振動的に設定して)、両画像を交互に高速に撮像して取得することができるようにしている。
このため、本実施形態においては、図1に示す例えば駆動部23aは、レンズ5をピント位置とシフト位置とに高速に振動的に設定する振動的駆動部23cの機能を有する。
【0027】
また、記録部11は、上記絞り操作部22aによる絞り40の絞り値を変化させた場合に撮像素子6により撮像した画像と、上記振動的駆動部23cによりレンズ5がピント位置とシフト位置とにそれぞれ設定して撮像素子6により撮像した画像とを記録する画像記録部11aを有する。なお、画像記録部11aを記録部11以外のメモリなどで形成しても良い。
図3Aは、ユーザ51が本実施形態のカメラ1により、被写体を撮影する様子を示す。図3Aは、本実施形態の主要な内容のみを説明するための説明図を示す。図3Aに示すようにユーザ51は、カメラ1を例えば右手52で把持し、左手53でピント合わせ及び絞りの調整を行う撮影レンズ部2の外周部分に設けられた操作部22としての回転リングを保持する。
【0028】
そして、ユーザ51は、アクセサリ4(の接眼表示部32)から、撮影しようとする被写体を視認する姿勢にすると、手振れを少なくしてシャッターチャンスを逃がさない撮影モードでの保持状態となる。図3Aのような基本的な保持状態に設定すると、極力指や手を動かさないで、撮影に必要な操作を迅速に行えるようになる。
この場合、右手52の把持状態を示すと、図3Bに示すように右手52の人差し指52aを、撮影操作を行うレリーズボタン3aにおいたままにし、左手53は図3Aのように手振れが発生しないように撮影レンズ部2の外周の回転リング部分に置いたまま操作ができるようにする。
また、この状態で絞りを操作する場合には、図3Aに示すように表示部9における例えば右側領域に形成されたタッチパネル12部分をタッチする。タッチパネル12にタッチ操作をすると、信号処理&制御部8のタッチ検出部8cによりそのタッチ操作が検出され、操作の選択画面を表示する。
【0029】
図3Bの表示例では、タッチパンル12の上側に絞り、その下側にピント(MFと略記)を選択する選択画面を表示する。ユーザ51は、例えば図3Bに示すように親指52bで絞りの選択画面部分をタッチすることにより、絞りの操作を選択することができる。
また、この選択操作に対応して、アクセサリ4の接眼表示部32には、図3Cに示すように絞りが選択されて、絞り値が調整されていることを示す表示32aを行う。
なお、図3Cにおける中央部分には、ユーザ51が撮影しようとする被写体における主要被写体となる人物54(図6参照)の画像54aが表示されている。
【0030】
このような構成の撮影装置としての第1の実施形態のカメラ1は、撮影を行うための撮影レンズとしてのレンズ5と、上記撮影レンズを介した被写体の光学像を電気信号に変換する撮像素子6と、上記撮影レンズの絞りを制御する絞り制御部5aと、上記撮影レンズのピント位置を制御するピント位置制御部5bと、を具備する撮影装置において、上記撮影レンズの実際の絞り開放限界の値を超える絞り値に設定するための操作を行う絞り操作部22aと、上記絞り操作部22aの上記絞り開放限界の値を超える、該絞り開放限界の値からの操作量に応じて、上記ピント位置制御部5bにより上記被写体における主要被写体部分にピント合わせしたピント位置で上記撮像素子6により撮像した画像と共に、該ピント位置から上記撮影レンズを光軸方向に所定のシフト量だけシフトしたシフト位置で上記撮像素子6により撮像した上記主要被写体部分に対して背景となる、上記所定のシフト量に対応したぼけ量だけぼけた背景画像をほぼリアルタイムに表示可能とする表示部9とを有することを特徴とする。
【0031】
次に図4を参照して本実施形態におけるカメラ制御の処理内容を説明する。
ユーザ51は、図3Aのようにカメラ1を保持し、カメラ1の図示しない電源をONする。カメラ1のカメラ本体3内の信号処理&制御部8は、ステップS1に示すように電源ONされたか否かを判定し、ONされていない場合にはステップS2に示すようにスタンバイの処理状態を保持する。
一方、ONされた場合には、ステップS3において信号処理&制御部8は、撮影モードの設定又は撮影モードが選択されているか否かの判定を行う。
撮影モードの場合には、ステップS4において信号処理&制御部8は、撮像素子6により撮像した画像に対し、動画表示を行うための画像処理を行う。
【0032】
そして生成した動画表示用の画像を表示部9と接眼表示部32に出力し、表示部9と接眼表示部32とでライブビュー表示を行う。なお、ユーザ51による選択設定により、表示部9と接眼表示部32との一方でライブビュー表示を行うようにしても良い。
ステップS4による画像処理が開始すると、ステップS5において撮影レンズ部2の制御部21は、通信部26,16を介して信号処理&制御部8と撮影レンズ部2のレンズ5のレンズ状態の情報に関する通信を行う。この通信によりカメラ本体3の信号処理&制御部8は、レンズ5のレンズ状態の情報を取得し、このレンズ状態に対応した処理を速やかに行うことが可能になる。
また、ステップS6において信号処理&制御部8は、タッチパネル12からの操作により絞りとピントのいずれの操作が選択されたかの判定を行う。
【0033】
タッチパネル12からピント操作が選択された場合には、操作部22の回転リングの回転操作に応じてピント位置制御部5bはピント位置制御を行い、ステップS8の処理に進む。
また、ステップS6において、タッチ操作が無い場合にもステップS8の処理に進む。
ステップS8において信号処理&制御部8は、レリーズボタン3aによる撮影操作が行われたか否かを操作判定部13により操作判定結果から判定する。撮影操作が行われない場合には、ステップS1の処理に戻る。一方、撮影操作が行われた場合には、ステップS9において撮像素子6により撮像され、信号処理&制御部8により画像処理した画像を撮影画像として記録部11に記録し、ステップS1の処理に戻る。
【0034】
また、ステップS3において、撮影モードでない場合には、ステップS10において信号処理&制御部8は、再生モードの設定(又は選択)であるか否かの判定を行う。再生モードの場合には、ステップS11において信号処理&制御部8は、記録部11に記録された撮影画像における例えば最後に記録した撮影画像を再生する処理を行う。
次のステップS12において信号処理&制御部8は、再生画像を更新する操作が行われたか否かを判定する。更新する操作が行われた場合には、ステップS13において信号処理&制御部8は、再生画像を更新する処理を行った後、ステップS1の処理に戻る。なお、ステップS12の処理において更新する操作が行われない場合には、ステップS1の処理に戻る。
【0035】
また、ステップS10の処理において、再生モードでないと、ステップS14において信号処理&制御部8は、撮影レンズ部2と画像通信を行った後、ステップS1の処理に戻る。
一方、ステップS6の処理において、タッチパネル12により絞りが選択された場合には、図1に示す操作部22は絞り操作部22aとして機能する。
そして、ステップS15において制御部21(の操作量判定部21a)は、絞り操作部22aとして機能する操作部22の回転リングが回転操作されたか否かを位置検出部24bの検出結果を介して判定する。操作部22の回転リングが回転操作されない場合にはステップS8の処理に進む。この場合には、ステップS15の操作前の絞りの設定状態で撮影が行われるか、撮影が行われることなくステップS1の処理に戻る。
【0036】
ステップS15の処理において、回転操作された場合には、ステップS16において回転操作による絞り毎(絞り値毎)に信号処理&制御部8は、撮像素子6による撮像画像を取得する。
また、ステップS17において制御部21(操作量判定部21a)は、絞り40がその開放限界(の値)を超える操作が行われたか否かを判定する。絞り40の開放限界(の値)を超える操作が行われない場合、つまり絞り開放限界以内である場合には、ステップS18において制御部21又は絞り制御部5aは、回転リングの回転操作(量)で絞り40の絞り値を制御し、ステップS8の処理に移る。
この場合には、絞り開放限界以内での通常の撮影を行う処理内容に該当する。
【0037】
一方、ステップS17の処理において、絞り40の開放限界(の値)を超える操作が行われた場合には、ステップS19において信号処理&制御部8は、制御部21との通信を利用して、絞り開放(限界)に相当するぼけ量を算出する処理を行う。このぼけ量は、ピント位置からシフト位置にピントシフトする場合のシフト量の基準値となる。そして、開放限界を超える操作量に応じた所定のシフト量が、このシフト量の基準値を用いて決定される。この処理は図5にてより詳細に後述する。なお、このぼけ量の算出処理を制御部21が行うようにしても良い。
次のステップS20において制御部21又は信号処理&制御部8は、回転リングの回転操作量(の値)からレンズ5によるぼけ量を増大させるピントシフト量を決定する処理を行う。この処理は図7にてより詳細に後述する。
次のステップS21において信号処理&制御部8又はピント位置制御部5bは、レンズ5をピント位置と、このピント位置からシフトしたシフト位置との間で振動させるように駆動させる制御を行い、両位置で撮像した画像から合成画像を生成する処理を行った後、ステップS1の処理に戻る。
【0038】
次に図5を参照して図4のステップS19の絞り開放(限界)に相当するぼけ量を算出する処理の詳細を説明する。この処理が開始すると、ステップS31において信号処理&制御部8は、撮影レンズ部2との通信を利用してレンズ5の絞り開放(限界)のFナンバFno0の値を取得する。
また、ステップS32において信号処理&制御部8は、撮影レンズ部2との通信を利用してレンズ5の焦点距離Fを取得する。
次のステップS33において信号処理&制御部8は、AF結果、又はピント合わせの調整により被写体(における主要被写体)にピントが合ったピント位置の状態での図2(B)の場合の(5)式中の距離Zの値を判定する。なお、この距離Zは、次のステップS34の処理の際に使用される。
【0039】
次のステップS34において信号処理&制御部8は、(1)式、つまり(L−F)・Z=F^2を用いて被写体距離Lを算出する。そして、次のステップS35において信号処理&制御部8は、絞り開放相当のぼけ量としての(3)式に相当するφ0=F^2/(Fno0×(L−F))を算出する。そして、図4の次のステップS20の処理に進む。
なお、上記のステップS34において被写体距離Lを算出する場合、(1)式を用いることなく、図6のように主要被写体となる人物54の顔検出を利用して被写体距離Lを算出しても良い。
【0040】
図6に示すように人物54にピント合わせした状態では、人物54の顔55の縦方向のサイズをHf0とし、撮像素子6の撮像面に結像された像上における顔55の縦方向のサイズをHf1とした場合には、以下の(8)式が近似的に成立する。
L=F×Hf0/Hf1 (8)
撮像面上でのサイズHf1は、撮像素子6のデータを用いて算出でき、また顔55のサイズHf0は通常の人物54の場合には既知の評価値で近似することにより、(8)式から被写体距離Lを算出できる。
次に図7を参照して図4のステップS20の回転操作量からピントシフト量(より具体的には回転操作量に対応したピントシフト量)を決定する処理の詳細を説明する。以下の説明では、制御部21が主に行う場合で説明するが、信号処理&制御部8がその制御動作を行うようにしても良い。従って、制御部21又は信号処理&制御部8は、ピントシフト量(又はシフト量)を決定するピントシフト量(又はシフト量)決定部の機能を持つ。
【0041】
この処理が開始すると、ステップS41において制御部21(の操作量判定部21a)は、回転リングが絞り開放限界(の絞り値)の次の目盛までの(回転)操作量であるか否かの判定を、位置検出部24bによる位置検出を利用して行う。
次の目盛までの(回転)操作量である判定結果の場合にはステップS42において制御部21は、絞り開放限界の場合のぼけ量に相当する直径φ0の場合の距離Zから、その√2倍(√2は2の平方根を表す)のぼけ量となる直径√2・φ0の場合の距離Zに相当するピントシフト量ZsをZ×√2として決定した後、図4の次のステップS21の処理に進む。
【0042】
絞り開放限界の場合には、(5)式から
φ0=Z/Fno0 (9)
となる。このため、この場合のぼけ量となる直径φ0を、絞り開放限界(の絞り値)を超える方向で、絞り開放の次の絞り値に対応する次の直径φnext1として
φnext1=√2×φ0 (10)
に相当するぼけ量を発生させるように、上記ピントシフト量ZsをZ×√2にする。なお、絞りを可変する操作においては通常、1目盛分毎の操作量により、Fナンバは√2倍変化し、本実施形態においては絞りの通常の操作に対応したぼけ量を生成するようにピントシフト量Zsを決定する。
【0043】
また、ステップS41の処理において、回転リングが次の目盛までの(回転)操作量でない場合にはステップS43において制御部21(の操作量判定部21a)は、回転リングが絞り開放限界(の絞り値)の次の次の目盛までの(回転)操作量であるか否かの判定を行う。
次の次の目盛までの(回転)操作量であるとの判定結果の場合には、ステップS44において制御部21は、直径φ0の場合の距離Zから、その√2・√2倍のぼけ量となる直径2・φ0の場合のピントシフト量Zsとなるように、ピントシフト量ZsをZ×2として決定した後、図4の次のステップS21の処理に進む。
なお、ここでのピントシフト量Zsは、図2(C)における距離Z+シフト量Zsiftを表わしている。このため、ピント位置からレンズ5を実際にシフトするシフト量Zsiftは、ピントシフト量Zsから距離Zを減算した値となる。
【0044】
このため、図4のステップS20の処理「回転操作量からピントシフト量を決定する」処理内容において、さらに「ピントシフト量Zsからシフト量を算出する」処理内容を含めるようにしても良い。
ステップS44の処理は、上述した(絞り開放の次の絞り値に対応する)次の直径φnext1の次の絞り値の場合に該当する次の次の直径φnext2の場合に該当する。この場合、
φnext2=√2×φnext1=2×φ0 (11)
となる。
一方、ステップS43の処理において、回転リングが次の次の目盛までの(回転)操作量でない場合にはステップS45において制御部21は、警告を行う信号を通信を利用して信号処理&制御部8に送り、信号処理&制御部8は規定された操作範囲を超える操作、又は規定されていない操作であると警告する旨を、例えば表示部9での表示で行う。
【0045】
図7では、簡略化して、開放限界から2目盛分のみ、ぼけ量を増大させる処理内容を示しているが、3目盛以上にぼけ量を増大させる処理内容にしても良い。また、図7においては、簡略的に1目盛単位の操作量の場合で説明しているが、より詳細に例えば1.5目盛のように1目盛よりも小さい目盛単位で(例えば0.1目盛単位で)回転操作量を設定できるようにしても良い。
次に図8を参照して図4のステップS21のピントシフト振動&合成の処理の詳細を説明する。
この処理が開始すると、ステップS51において信号処理&制御部8は、ピントシフト無し画像を取得する。つまり、レンズ5が主要被写体にピントが合ったピント位置の状態で撮像素子6により撮像した撮像画像を信号処理&制御部8は取得する。なお、ステップS21においては、ピント位置において撮像素子6により撮像される撮像画像は、レンズ5が絞り開放限界の値に固定された状態の画像となる。
【0046】
次のステップS52において信号処理&制御部8は、通信を利用して振動的駆動部23cによりレンズ5を、ステップS20で決定されたピントシフト量Zsとなるように振動的に駆動する。
例えばステップS20による回転操作量から、(10)式のφnext1が図2(C)に示すφ1に一致する場合には、振動的駆動部23cはレンズ5を図2(B)のピントシフト無しのピント位置と、図2(C)に示すピントシフト後の位置との間を往復するように高速に振動的に駆動する。
そして、次のステップS53において信号処理&制御部8は、ピントシフト後の画像を取得する。つまり、レンズ5によるピントがずれた位置の状態で撮像素子6により撮像した撮像画像を信号処理&制御部8は取得する。この場合においても、レンズ5は絞り開放限界の値に固定された状態となり、その状態で撮像素子6は撮像する。
【0047】
次のステップS54において信号処理&制御部8は、図4のステップS16の処理において絞り(を変化させた場合の絞り値)毎に取得した画像のコントラスト値、又は空間周波数の高域側成分値を比較してぼけ量の程度を評価する処理を行う。なお、絞り開放限界を超える絞り操作状態においては、レンズ5は常時開放状態に固定される。このステップS54は、各絞り値毎に行う場合に限らず、少なくとも絞り開放限界の場合を含む代表的な絞り値の場合のみで行うようにしても良い。
次のステップS55において信号処理&制御部8は、ピントシフト無し画像(つまりピント位置の状態で取得した画像)において、絞り開放限界においても十分に小さいぼけ量未満とみなすことができるぼけ量変化なし部の画像部分を切り取る(又は抽出する)処理を行う。具体的には、ピント位置の状態で取得した撮像画像における主要被写体の画像部分をぼけ量変化なし部の画像として切り取る。
【0048】
次のステップS56において信号処理&制御部8は、切り取った画像を、ピントシフト後の背景部分のぼけが大きいぼけた画像に、切り取った画像の位置合わせをして嵌め込み(又は置換し)、合成画像を生成する処理を行う。この合成画像を生成した後、ステップS57において表示部9は、合成画像を表示(例えば図13における符号Ic)し、この処理を行った後、図4のステップS1の処理に戻る。
なお、ステップS57の処理において、合成画像の表示を一定時間行った後、次の処理に移っても良いし、表示部9における表示画面を分けてその表示画面の一部に合成画像を表示するようにしても良い。
後者の場合には、ステップS1の処理に戻り、さらにステップS4の処理になった場合には、表示部9の表示画面には、ライブビュー表示と、その直前において生成された合成画像の表示とが殆ど同時に殆どリアルタイムに行われる。
【0049】
ユーザ51は、表示部9に表示される合成画像を観察することにより、ピントがあった主要被写体と共に、その背景部分のぼけ量の程度(ぼけ味)を確認しながら撮影を行うことができ、シャッターチャンスを逃すことを低減できる。
図8に示す処理の変形例として、図9に示す処理内容にしても良い。図9におけるステップS51−S54、S57に関しては図8と同じであり、図8におけるステップS55,S56の処理を、ステップS61,S62に変更している。
ステップS54の次のステップS61において信号処理&制御部8は、絞り開放限界においても十分に小さいぼけ量未満とみなすことができるぼけ量変化なし部の輪郭により、ぼけ量変化なし部の画像領域とそれ以外の画像領域との領域分けの処理を行う。
【0050】
具体的には、ピント位置の状態で取得した撮像画像における主要被写体の画像部分の輪郭から、ぼけ量変化なし部と、主要被写体の画像部分に比較してぼけが大きい背景部分との画像領域を分ける。このステップS61は、ぼけ量変化なし部とぼけが大きい背景部分との輪郭を検出する処理とみなすこともできる。
次のステップS62において信号処理&制御部8は、例えば上記領域分けを行った画像において輪郭を境界として、ぼけ量変化無し部となるピントが合った主要被写体の画像領域の外側の画像領域にステップS53で取得したぼけの大きい背景画像部分を置換し、合成画像を生成する。この処理の後、ステップS57の処理に移る。なお、このステップS62の合成画像を生成する処理を行う場合、ステップS53で取得した画像に対して、上記輪郭を境界としてその境界内側部分をぼけ量変化無し部となるピントが合った主要被写体の画像領域で置換して合成画像を生成しても良い。
図9の変形例による作用効果は、図8の場合とほぼ同様となる。また、図9の変形例によると、領域分けを行うので、図8の場合よりも主要被写体の画像部分と背景部分とをより確実に分離できる可能性が高い。
【0051】
図10は本実施形態における回転リングが絞り開放限界を超えて操作された場合におけるカメラ本体3と、撮影レンズ部2とが通信を行い、それぞれ対応した処理を行う様子の動作説明図を示す。
カメラ本体3の信号処理&制御部8は、菱形で示すCMOSセンサによる撮像素子6による撮像・(撮像された画像の)読出しする際の各フレームの画像に同期する垂直同期信号に同期して、カメラ本体内処理を行う。
カメラ本体3は、撮像・読出し中(のフレーム期間)においては、通信前のカメラ本体内処理(図中B1)を行い、この処理B1においてこのフレーム前における撮影レンズ部2側での回転リングの絞り開放限界を超える回転操作量等の情報からレンズ5のピント位置からのシフト量を算出する処理等を行う。
【0052】
この処理B1が終了すると、カメラ本体3から撮影レンズ部2へ通信(図中のBL)により、撮影レンズ部2に対してレンズ5をどれだけシフトさせるかのシフト量Zsiftの情報を送信する。
この送信に対して、撮影レンズ部2は対応する撮影レンズ内処理(図中のL1)を開始する。その際、返信信号を通信(図中のLB)によりカメラ本体3に返すと共に、前回以後に回転リングの操作の有無の情報と、現在における回転リングの絞り開放限界を超える回転操作量(前回からの変化分でも良い)等の情報を送信する。
また、撮影レンズ部2は、撮影レンズ内処理L1において、1フレーム分の撮像画像の撮像・読出しが終了したタイミングでレンズ5をピント位置から送信されたシフト量Zsiftだけシフトさせるように駆動部23a(振動的駆動部23c)を介して駆動させる動作を開始する。
【0053】
この動作の終了のタイミングにおいて次のフレームの撮像画像の撮像・読出しが開始する。
一方、カメラ本体3は、通信により上記絞り開放限界を超える回転操作量等の情報を受けると、通信後のカメラ本体内処理(図中B2)において、その情報を蓄積する。また、次の通信前のカメラ本体内処理B1を行い、その処理の終了が終了すると、カメラ本体3から撮影レンズ部2へ通信(図中のBL)により、撮影レンズ部2に対してレンズ5をピント位置に戻すように、シフト位置からどれだけ戻すかの情報を送信する。
この送信に対して、撮影レンズ部2は対応する撮影レンズ内処理(図中のL1)を開始する。その際、返信信号を通信(図中のLB)によりカメラ本体3に返すと共に、前回以後に回転リングの操作の有無の情報と、現在における回転リングの絞り開放限界を超える回転操作量(前回からの変化分でも良い)等の情報を送信する。
【0054】
また、撮影レンズ部2は、撮影レンズ内処理L1において、1フレーム分の撮像画像の撮像・読出しが終了したタイミングで、送信された情報に対応してレンズ5をピント位置に戻すように駆動部23a(振動的駆動部23c)を介して駆動させる動作を開始する。この動作の終了のタイミングにおいて次のフレームの撮像画像の撮像・読出しが開始する。そして、上述した動作が繰り返される。
このように動作する本実施形態においては、図4に示すように絞りを操作する(絞り操作部22aの)選択を行い、回転リングを絞り開放限界を超える操作を行った場合には、レンズ5を主要被写体にピントが合ったピント位置と、絞り開放限界の値を超える操作量に応じて背景部分に対する画像のぼけ量を大きくするシフト位置とに振動的(交互)に設定して、それぞれの画像を取得した後、ピントが合った主要被写体の画像部分と、ぼけの大きい背景部分の画像部分とから合成画像を生成し、その合成画像を表示する処理を巡回するように繰り返し行う。
【0055】
このため、ユーザ51は、撮影する操作を行う際に背景部分のぼけ量の程度を合成画像から殆どリアルタイムに確認しながら、絞りを開放限界の絞り値を超えて回転する簡単な操作を行うのみで、主要被写体にピントが合い、その背景部分を十分にぼかした画像を撮影することが容易にできる。
また、背景部分のぼけ量の程度を殆どリアルタイムに確認できるので、シャッターチャンスを逃すことが少ない撮影し易いカメラを提供できる。
また、通常の絞りを開放側に操作するのに対応させて、開放限界を超える操作量に対応した量だけ背景画像をぼけさせるようにピント位置からのシフト量を設定しているので、操作性の良い撮影装置としてのカメラを提供できる。
【0056】
次に第1の実施形態のカメラの第1変形例を説明する。第1の実施形態においては図4のカメラ制御の処理手順における特にステップS21の処理より、殆どリアルタイムに合成画像を生成し、その合成画像を殆どリアルタイムに表示することができるようにしている。
これに対して、本変形例においては、合成画像の表示と、合成画像を生成する前の画像(合成前画像と言う)としての2つの画像(具体的にはピントが合った主要被写体部分の画像と、背景部分がぼけたぼけ背景画像)の表示との一方を選択できるようにしている。この選択は、例えばタッチパネル12によるタッチ操作で選択できる。このため、タッチパネル12は、表示を選択する表示選択部の機能を持つ。
【0057】
また、信号処理&制御部8は、ユーザ51が上記選択により合成画像を選択した場合には上述した第1の実施形態と同様の処理となるが、合成前画像を選択した場合には、合成前画像を表示部9に出力する。
このため、信号処理&制御部8の表示制御部8aは、合成前画像を生成して表示部9に出力する合成前画像表示制御部の機能を持つ。また、表示部9は、合成前画像を表示する(図1において点線で示す)合成前画像表示部9bの機能を持つ。
次に本変形例における図4に示すカメラ制御におけるステップS21と異なる処理部分を図11を参照して説明する。図11は、本変形例におけるピントシフト振動&画像表示の処理を示す。
【0058】
図11におけるステップS51からステップSS61までの処理は、図9の場合と同様の処理を適用できる。
ステップS61において信号処理&制御部8は、ピントが合った状態のピントシフト無し画像において絞り開放限界における画像からぼけ変化無し部として、最もぼけ量が小さい輪郭を検出する。
次のステップS71において信号処理&制御部8(のタッチ検出部8c)は、ユーザ51が合成画像の表示と、合成前画像の表示とのいずれを選択したかを判定する。ユーザ51により合成画像の表示が選択された場合には、図9の場合と同様にステップS62,S57を順次行う。
【0059】
一方、合成前画像の表示が選択された場合には、ステップS72において信号処理&制御部8は、ピントが合った主要被写体を少なくとも含む絞り開放限界の値で撮像した画像(第1の画像)と、ピントシフトしたぼけた背景画像を少なくとも含む画像(第2の画像)とを表示部9に出力する。
また、この場合、第1の画像においては、ステップS61で検出した輪郭を付ける。そして、次のステップS73において表示部9は、第1の画像と第2の画像とを隣接して殆ど同時に殆どリアルタイムに表示する処理を行う。
次のステップS74において信号処理&制御部8は、合成前画像の表示から合成画像の表示への変更の操作が行われたか否かを判定する処理を行う。合成画像の表示を行う変更の操作がされた場合には、ステップS62の処理に移り、変更の操作がされない場合には、ステップS1の処理に戻る。なお、ステップS74の処理を行うことなく、ステップS73の処理後にステップS1に戻るように簡略化しても良い。
【0060】
なお、本変形例においては信号処理&制御部8は、絞り開放限界を超える操作が行われた場合には、図4のステップS4のライブビュー表示は、アクセサリ4の接眼表示部32で行うように制御する。ユーザ51の選択操作により表示部9の表示画面を分割して表示部9において、上記2つの画像又は合成画像と共に、ライブビュー表示も行うようにしても良い。
また、本変形例の場合には、図4におけるステップS8において撮影操作が行われた場合には、表示部9において合成画像を表示する選択がされた状態では、上述した第1の実施形態と同様の処理となるが、表示部9において2つの画像を表示する選択がされた状態の場合には、信号処理&制御部8は、2つの画像を記録部11に記録した後、ステップS62の処理を行い、合成画像を記録部11に記録する。
【0061】
なお、表示部9において2つの画像を表示する選択がされた状態において、撮影操作が行われた場合、信号処理&制御部8は、ステップS62の処理を行った後、合成画像を記録部11に記録するようにしても良い。
また、表示部9において表示された2つの画像を互いに関連付けて記録部11に記録し、記録後においてユーザ51による指示操作により、記録された画像から合成画像を生成して表示したり、記録部11に合成画像を記録するようにしても良い。
図11の処理は、巡回して繰り返し行われるため、上述した合成画像の表示の場合と同様にステップS73による2つの画像の表示は、殆どリアルタイムに行われる。
【0062】
図12は、表示部9による2つの画像の表示例を模式的に示す。表示部9の表示面には、第1の画像Iaとして主要被写体となる人物の画像54aがピントが合った状態で表示される。また、人物の画像54aの周囲には、背景となる山の画像61aが人物の画像54aよりは不鮮明に表示される。
また、ステップS61において検出された輪郭62が、人物の画像領域と山の画像領域とを分ける境界62として太い線で表示される。
第1の画像Iaに隣接して、第2の画像Ibが表示される。この第2の画像Ibは、ピント位置からシフトしたシフト位置で撮像された画像であるため、特に背景となる山の画像61bが、第1の画像における山の画像61aよりも大きくぼけた状態のものとなる。
【0063】
なお、第2の画像Ib中での点線で示す人物の画像54bは、第1の画像Ia中の人物の画像54aよりもぼけた不鮮明なものとなる。
また、ステップS73による2つの画像Ia,Ibの表示状態からステップS74により合成画像の表示に変更した場合における表示部9での合成画像の表示例を図13に示す。図13の表示例では、表示部9の表示面における例えば右側に合成画像Icを表示し、その左側にライブビュー(表示)画像Idを表示する例を示す。
合成画像Icにおいては、図12における第1の画像Ia中の人物の画像54aと、第2の画像Ib中のぼけた背景画像としての山の画像61bとが輪郭62を境界として位置合わせして合成される。
【0064】
本変形例によれば、第1の実施形態の効果を有すると共に、ユーザ51は、表示部9に表示される2つの画像Ia,Ibから背景となる山の画像61bのぼけ量の程度を殆どリアルタイムに確認できる。
このため、ユーザ51は、背景のぼけ量が適当であると確認した後に撮影操作を行うことにより、主要被写体にピントが合い、その背景部分が十分にぼけたユーザ51が望む画像を撮影又は取得することができる。
一方、ぼけ量が足りないと判断した場合には、さらに回転リングを絞り開放限界の値を超える方向に回転操作すれば良い。その回転操作量に対応して、ピント位置制御部5bは駆動部23a(振動的駆動部23c)を介してレンズ5を、ピント位置からのシフト量を増大したシフト位置に設定し、背景画像となる山の画像61bのぼけ量を増大できる。
【0065】
また、本変形例によれば、第1の画像Ia中において、輪郭62を表示するため、ユーザ51は、輪郭62の検出が適切に行われたか否かを確認できる。
なお、輪郭62の検出が適切に行われていない場合には、ユーザ51がタッチパネル12からの操作により輪郭62を内側或いは外側に移動して、移動方向に輪郭62を修正できるようにしても良い。
なお、上述した説明においては、背景は無限遠としてレンズ5のピント位置からのシフト量を設定する簡略化した場合で説明したが、ユーザ51がより精度良く背景となる背景被写体の概略の距離を指定又は入力し、指定された距離に応じてピント位置からのシフト量を決定するようにしても良い。また、背景部分にAFして、そのAFにより算出した距離を用いてピント位置からのシフト量を決定するようにしても良い。
【0066】
なお、上述した図4,図5,図7―図9,図11等において説明した各ステップの手順は、その機能に不都合が生じない限り、実行順序を変更しても良いし、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
また、絞り開放限界を超えて操作された場合、記録部11に記録した画像や撮像素子6により読み出した画像からフレーム間における画像の動きを検出する(図1において点線で示す)動き検出部8fを備える構成にし、検出される動き量が小さい場合にはピント位置とシフト位置間でレンズ5を振動的に駆動する回数を低減するように制御しても良い。
【0067】
この動き検出部8fは、例えば1つ前のフレームにおけるピント位置で撮像された画像と、次のフレームのピント位置で撮像された画像との相対的な動き量を検出する。検出された各部における動き量の最大値が、動き量が小さいか否かを判定基準となる閾値Vtと比較し、閾値以下となるか否かを判定する。その判定結果に応じて、ピント位置からシフト位置への移動動作を抑制する。
図14はこの動き検出を利用した場合のカメラ1におけるピントシフト振動&合成の処理手順を示す。
図14における処理手順は、図9の処理手順に類似しているので、図9を参照して説明する。図14におけるステップS51、S52a、S53は、図9のステップS51、S52,S53と殆ど同じである。但し、図9におけるステップS52ではレンズ5を振動的に駆動するが、図14におけるステップS52aは、レンズ5をピント位置からピントシフト位置に駆動する処理を表す。
【0068】
また、図14においてはステップS53の処理後のステップS52bにおいて、レンズ5をピント位置に駆動する。
次のステップS61において図9のステップS61と実施的に同じ処理、つまりボケ変化無し部の輪郭を検出する。
さらに次のステップS81において動き検出部8fは、例えば時間的に隣接して撮像された2つのピントシフト無し画像のフレーム間での対応する画像部分での動き検出を行う。この動き検出を行う場合、各画像を適宜の小領域に分割し、分割した各小領域においてフレーム間での動き方向及びその動き方向での動き量を検出する。
そして、次のステップS82において動き検出部8fは、検出した各小領域での動き量の絶対値(又は大きさ)の最大値が閾値Vt以下となるか否かを判定する。
【0069】
動き量の最大値が閾値Vt以下とならない判定結果の場合には、ステップS62,S57の処理を順次行う。この場合には、図9と実質的に同様の処理となる。
一方、動き量の最大値が閾値Vt以下となる判定結果の場合には、ステップS83において、次のピントシフト無し画像を取得する。また、次のステップS84において、(レンズ5をピントシフト駆動すること無く)次のピントシフト後の画像として、前回取得したピントシフト後の画像を兼用(流用)し、ステップS81の処理に戻る。
従って、動き量の最大値が閾値Vt以下となる判定結果の場合には、レンズ5をピント位置からシフト位置に移動する処理を行わない。換言すると、制御部21又は信号処理&制御部8は、駆動部23a又は振動的駆動部23cによるレンズ5をピント位置からシフト位置に移動する動作を抑制(規制)する制御を行う。
【0070】
このように動き量の最大値が小さい場合には、ピントシフト後の画像として前回のピントシフト後の画像を流用することになるが、この画像はぼけた背景画像であり、前回のフレームのものを流用しても支障ない。
本変形例によれば、レンズ5を振動的に駆動する回数を低減できる。その他、上述した実施形態とほぼ同様の効果を有する。
なお、上述した実施形態等を部分的に組み合わせて構成される実施形態も本発明に属する。
また、本発明は、上述した撮影装置としてのカメラ1として、撮影レンズ部2がカメラ本体3に着脱自在となる撮影レンズ交換式の場合に限定されるものでなく、撮影レンズ部2がカメラ本体3に一体化されたカメラの場合を含む。
撮影レンズ部2がカメラ本体3と一体化した構成の場合には、図1に示した撮影レンズ部2側の制御部21の機能を、信号処理&制御部8が兼ねる構成にしても良い。また、この場合は、通信部26、16を用いることなく、信号処理&制御部8が撮影レンズ部2の各部を制御するようにしても良い。なお、信号処理&制御部8が、絞り制御部5a、ピント位置制御部5b等の機能を持つ構成にしても良い。
また、本発明は、撮影機能を備えた携帯機器に搭載されたカメラや、そのカメラを搭載した携帯機器の場合も含む。
【符号の説明】
【0071】
1…カメラ、2…撮影レンズ部、3…カメラ本体、4…アクセサリ、5…レンズ、5a…絞り制御部、5b…ピント位置制御部、6…撮像素子、7…撮像部、8…信号処理&制御部、8a…表示制御部、8b…パラメータ制御部、8c…タッチ検出部、8d…ぼかし処理部、8e…合成画像生成部、9…表示部、9a…合成画像表示部、11,25…記録部、12…タッチパネル、13…操作判定部、15…顔検出部、16,17,26,31…通信部、21…制御部、21a…操作量判定部、22…操作部、22a…絞り操作部、23a,23b…駆動部、24a,24b…位置検出部、32…接眼表示部、
【技術分野】
【0001】
本発明は主要被写体にピントが合った撮影を行う撮影装置に関する。
【背景技術】
【0002】
近年、光電変換する機能を備えた撮像素子を用いて、被写体を撮影する撮影装置としてのカメラが広く用いられるようになっている。このように撮像素子を用いた撮影装置においては、例えば35mmサイズの銀塩フィルムを用いた銀塩カメラの場合に比べて小さなサイズの撮像素子が用いられる場合が一般的である。
このため、同じFナンバの撮影レンズを用いて撮影した場合、主要被写体にピントを合わせて撮影すると、背景側を撮影者(ユーザ)が意図する程のぼけ量が得られないという問題があった。
【0003】
このため、特開2003−209727号公報の従来例は、被写体を撮影する場合、主要被写体と、その前景又は背景となるエリアを区分け手段により区分けし、前景又は背景のぼけ量の設定手段と、区分け手段により区分けされた各エリア毎に焦点位置を設定して複数コマの撮像を行い、複数コマの撮像画像から各エリアの画像を抽出して各エリアの画像を合成することを開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−209727号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、上記従来例は所望とするぼけ量の撮影画像を取得するまでに時間がかかると共に、通常の操作とは異なるぼけ量の設定が必要となる。また、上記従来例では、ぼけ量の程度(ぼけ味)を確認するのに時間がかかる欠点がある。このため、シャッターチャンスを逃してしまう可能性がある。
本発明は上述した点に鑑みてなされたもので、リアルタイムにぼけ量を確認しながら、主要被写体にピントが合い、背景部分をぼかした撮影が簡単な操作で行うことができる撮影装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る撮影装置は、撮影を行うための撮影レンズと、上記撮影レンズを介した被写体の光学像を電気信号に変換する撮像素子と、上記撮影レンズの絞りを制御する絞り制御部と、上記撮影レンズのピント位置を制御するピント位置制御部と、を具備する撮影装置において、上記撮影レンズの実際の絞り開放限界の値を超える絞り値に設定するための操作を行う絞り操作部と、上記絞り操作部の上記絞り開放限界の値を超える、該絞り開放限界の値からの操作量に応じて、上記ピント位置制御部により上記被写体における主要被写体部分にピント合わせしたピント位置で上記撮像素子により撮像した画像と共に、該ピント位置から上記撮影レンズを光軸方向に所定のシフト量だけシフトしたシフト位置で上記撮像素子により撮像した上記主要被写体部分に対して背景となる、上記所定のシフト量に対応したぼけ量だけぼけた背景画像をほぼリアルタイムに表示可能とする表示部と、を有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、リアルタイムにぼけ量を確認しながら、主要被写体にピントが合い、背景部分をぼかした撮影が簡単な操作で行うことができる撮影装置を提供することができる。
【図面の簡単な説明】
【0008】
【図1】図1は本発明の第1の実施形態の撮影装置としてのカメラの全体構成を示す図。
【図2】図2はFナンバが大きいレンズを用いて背景をぼかして撮影するための説明図。
【図3A】図3Aはユーザが撮影操作を行う様子の説明図。
【図3B】図3Bはユーザが撮影操作を行う場合、タッチパネルにより絞りの操作を選択する様子の説明図。
【図3C】図3Cは図3Bの操作により表示部の表示画面に絞りが選択された様子を示す説明図。
【図4】図4は第1の実施形態によるカメラ制御の処理内容を示すフローチャート。
【図5】図5は図4における絞り開放相当のぼけ量算出のステップの処理内容を示すフローチャート。
【図6】図6は図5における距離算出の変形例の説明図。
【図7】図7は図4におけるリング操作量に応じてピントシフト量を決定するステップの処理内容を示すフローチャート。
【図8】図8は図4におけるピントシフト振動&合成のステップの処理内容を示すフローチャート。
【図9】図9は図8の変形例の処理内容を示すフローチャート。
【図10】図10はカメラ本体側と撮影レンズ部側とが通信を行って背景をぼかした撮影画像を取得する動作の説明図。
【図11】図11は第1の実施形態の第1変形例のカメラにおける処理手順を示すフローチャート。
【図12】図12は図11により表示部に表示される2つの画像の表示例を示す図。
【図13】図13は合成画像を表示した場合の表示部による表示例を示す図。
【図14】図14は第1の実施形態の第2変形例のカメラにおける処理手順を示すフローチャート。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示すように本発明の撮影装置を構成する第1の実施形態のカメラ1は、撮影を行うための撮影レンズを構成するレンズ5を備えた撮影レンズ部2と、この撮影レンズ部2が着脱自在に装着(マウント)されるカメラ本体3と、このカメラ本体3の上面に着脱自在に装着される撮影補助アクセサリ(単にアクセサリと略記)4とを有する。
カメラ本体3には、撮影レンズ部2の光学系を構成するレンズ5の結像位置付近にCMOSセンサ等、撮像面に結像された光学像を電気信号に変換する光電変換機能を備えた撮像素子6が配置され、レンズ5と、撮像素子6により撮像部7が形成される。
カメラ本体3は、撮像素子6に対する信号処理やカメラ1の全体の制御等を行う信号処理&制御部8を有する。この信号処理&制御部8は、CPUにより構成される。
【0010】
また、このカメラ本体3は、撮像部7により撮像した画像を表示する表示部9と、撮像した画像及び撮影操作(レリーズ操作)で撮影画像を記録する記録部11と、タッチして絞り値やピント合わせの調整等、操作項目の選択等を行うタッチパネル12と、レリーズボタン3a(図3B参照)によるレリーズ操作等の操作を判定する操作判定部13を有する。
また、このカメラ本体3は、時間を計測して時間管理を行うための時計部14と、撮像素子6により撮像した画像から被写体が人物の場合の顔部分を検出する顔検出部15と、撮影レンズ部2と双方向の通信を行う通信部16と、アクセサリ4と双方向の通信を行う通信部17と、を有する。なお、アクセサリ4を有しない構成のカメラでも良い。
【0011】
撮影レンズ部2は、撮影レンズ部2の動作を制御する制御部21と、レンズ5の絞り値及びピント合わせの操作をするための例えば回転リングを有する操作部22と、レンズ5又はレンズ5を構成する移動可能なフォーカスレンズ等の可動レンズを、光軸方向に移動させるように駆動と、絞り40の絞り値を変えるように駆動する駆動部23a,23bと、レンズ5を構成する可動レンズ等の光軸方向における位置の検出と、操作部22の回転リングの操作位置の検出とを行う位置検出部24a,24bとを有する。
また、この撮影レンズ部2は、その撮影レンズ部2に搭載されたレンズ5の特性(焦点距離F、有効口径D0、開放限界の絞り値(絞り開放限界の値、又は絞り開放限界とも言う)としてのFナンバFno0)等の情報を記録した記録部25と、カメラ本体3の通信部16と双方向の通信を行う通信部26とを有する。
【0012】
また、制御部21は、操作部22により絞り開放限界の値を超える回転操作が行われた場合、位置検出部24bによる位置検出などを利用して、絞り開放限界の値を超えたか否かを判定すると共に、絞り開放限界の値を超える操作量を判定する操作量判定部21aを有する。なお、操作量判定部21aを制御部21以外に設ける構成でも良い。
また、レンズ5は、上記操作部22による絞り開放限界以内での絞り操作に対応した絞り制御を行う絞り制御部5aと、操作部22によるピント合わせの操作に対応したピント位置制御を行うピント位置制御部5bとを有する。
本実施形態においては、このピント位置制御部5bは、操作部22により絞り開放限界の値を超える回転操作が行われた場合には、ピント合わせしたピント位置から、レンズ5を光軸方向にシフトしたシフト位置に設定する制御も行う。
【0013】
なお、図1では、レンズ5内に絞り制御部5aと、ピント位置制御部5bとを設けた例で示しているが、例えば制御部21内に絞り制御部5aと、ピント位置制御部5bと形成する構成にしても良い。
また、本実施形態においては、タッチパネル12による選択操作により操作部22による操作項目として、絞りを可変する操作とピント合わせする操作とから選択できるようにしている(図3Bにて後述する)。
また、本実施形態においては、タッチパネル12により絞りの操作が選択された場合、操作部22としての回転リングは、絞り値を可変する絞り操作部22aとなる。
【0014】
そして、絞り操作部22aが選択された状態においてユーザが絞り操作部22aを操作した場合、操作量判定部21aは、上記のようにレンズ5の絞り開放限界を超えて操作されたか否かを判定する。タッチパネル12によりピントの操作が選択された場合、操作部22としての回転リングは、ピント操作部、又はピント合わせ操作部となる。
なお、タッチパネル12による選択により、操作部22で、図示しないズーム調整を行うことも可能である。
制御部21は、操作部22によるピント合わせの操作やズーム操作や絞り操作等に応じて、駆動部23a,23bを介してレンズ5を光軸方向に移動する制御や絞り値を変更する制御動作を行うと共に、位置検出部24a,24bによる位置検出結果を参照し、操作されたピント合わせに対応したピント位置への設定、ズーム状態、絞り値等に設定する制御動作を行う。
【0015】
なお、駆動部23a,23bによる駆動制御する際に図示しない位置判定部により判定し、目標とするピント位置、ズーム状態、絞り値等に、より円滑に設定し易い制御を行うようにしても良い。
また、制御部21は、撮影レンズ部2側での操作内容又は操作結果を通信部26、通信部16とを介してカメラ本体3の信号処理&制御部8に送り、カメラ本体3の信号処理&制御部8は対応した信号処理や制御を円滑に行うことができるようにしている。
カメラ本体3の信号処理&制御部8は、後述する図10に示すようにカメラ本体3内の撮像素子6の1フレーム分の画像に対するフレーム同期信号としての垂直同期信号に同期して、撮像素子6による撮像と、その撮像した画像に対する読出しの処理を行う。また、撮像と読出しを行う最中等において、カメラ本体3と撮影レンズ部2とは通信を行い、通信結果に対応した処理をそれぞれ行う。
【0016】
図1に示すようにアクセサリ4は、カメラ本体3の通信部17と双方向の通信を行う通信部31と、この通信部31により取得した例えば画像情報を接眼画像として表示する接眼表示部32とを有する。
カメラ本体3の信号処理&制御部8は、各フレームにおいて生成した撮像画像を間引く等した縮小画像を通信部17,31を介して接眼表示部32に送り、接眼表示部32は、リアルタイムに撮像部7により撮像している画像の縮小画像を動画状態で表示する。ユーザはこの接眼表示部32に表示される縮小画像を観察しながら、撮影操作を行うことができる。なお、アクセサリ4をカメラ本体3に装着しない場合には、表示部9で撮像部7により撮像している画像を表示する。
また、カメラ本体3の信号処理&制御部8は、各フレームの撮像画像に対して、表示部9等において撮像画像として表示できるように信号処理すると共に、表示する制御を行う。このため、信号処理&制御部8は、表示制御部8aの機能を有する。
【0017】
ユーザは、表示部9に表示される(接眼表示部32の表示サイズよりも大きい表示サイズの)撮像画像を観察することにより、撮影しようとする画像をより詳細に確認しながら撮影の操作を行うことができる。
また、信号処理&制御部8は、撮像素子6により撮像画像におけるコントラストのピークからピント位置(又はピント位置からのずれ)を検出したり、コントラストの平均値から(パラメータとしての)露出量を制御するパラメータ制御部8bの機能を持つ。
また、信号処理&制御部8は、タッチパネル12によるタッチ検出と共に、タッチされた位置から選択された操作を検出するタッチ検出部8cの機能を有する。なお、表示制御部8aは、タッチパネル12により選択できる操作項目(図3Bの図示例では絞りとピント合わせ)を表示部9にて表示する制御も行う。
【0018】
また、信号処理&制御部8は、上述した絞り操作部22aにより、レンズ5の絞り開放状態(換言するとレンズ5の絞りを最大に開いた絞り開放限界)の値を超えて操作された場合には、その絞り開放限界の値を超える操作量に応じて、ピントが合ったピント位置の主要被写体の画像に対して背景となる画像部分をぼかすぼかし処理を行うぼかし処理部8dを有する。なお、ユーザは、絞り操作部22aにより、絞り開放限界の値(絞り開放限界とも言う)以下での絞り値に可変設定する操作を行うこともできる。
また、信号処理&制御部8は、ピント位置の主要被写体の画像と、ぼかし処理部8dによりぼかした画像とを合成した合成画像を略リアルタイムで生成する合成画像生成部8eを有する。
【0019】
この場合、表示制御部8aは、合成画像を略リアルタイムで表示部9にて表示するように制御し、表示部9は、通常の撮像画像を表示する表示部の機能と共に、合成画像表示部9aの機能を持つ。
また、図示しないが、本実施形態のカメラ1は、オートフォーカス(AFと略記)と、オート露出(AE)の機能を備えている。
図2は、本実施形態における上述した背景となる画像部分をぼかすぼかし処理に関係した説明図を示す。図2(A)は、ぼかし処理を必要としない程度に明るいレンズ5C(小さいFナンバ(F値)Fno1のレンズ)を用いて光軸O上に設定した主要被写体41の像を結像する場合の説明図を示し、図2(B)は本実施形態における、図2(A)のレンズ5Cに比較して暗いレンズ5、つまり大きいFナンバFno0のレンズを用いて主要被写体41と無限遠の背景被写体の像を結像する場合の説明図を示す。
【0020】
図2(A)において、主要被写体41とレンズ5Cとの被写体距離(以下、単に距離)をL,レンズ5Cの焦点距離をFとすると、無遠遠の背景被写体に対しては、点線で示すようにレンズ5Cから焦点距離Fの距離の光軸O上の位置P1に結像し、主要被写体41に対しては実線で示すように位置P1からさらに距離Zだけ後方側となる位置P2に結像する。
また、このレンズ5Cの有効口径をD1とし、図2(A)ではその有効口径D1の状態、つまり絞り開放限界まで絞り40が開放されている状態を示す。
図1の状態におけるレンズ5Cに対して、写像公式などから以下の(1)式が成立する。
(L−F)・Z=F^2 (1)
つまり、(L−F)とZとの積は、焦点距離Fの2乗に等しい。
【0021】
また、上記有効口径D1として(その添え字1を削除し)一般化した有効口径Dを用い、同様に一般化した絞り開放(限界)FナンバFnoを用いると、以下の(2)式のようになる。
Fno=F/D=Z/φ (2)
ここで、φは、図2(A)に示すように有限の主要被写体41の結像位置P2の点のサイズが位置P1で円状に広がる直径φ1を(その添え字1を削除し)一般化して表している。
また、図2(A)の場合、直径φ1は、ピントが合った状態の主要被写体41に対して背景被写体のぼけ量の大きさを表していると見なすことができる。
【0022】
この直径φ1は、以下に説明する図2(B)の場合の直径φ0に比較してかなり大きい。
上記の式(1)、(2)から直径φを求めると、以下の(3)式のようになる。
φ=F^2/(Fno×(L−F)) (3)
なお、図2(A)の場合の直径φ1とした場合には(2)式は、以下の(4)式のようになる。
Fno1=Z/φ1 (4)
一方、図2(B)においては図2(A)と同じ距離Lの主要被写体41及び無限遠の背景被写体を同じ焦点距離Fのレンズ5にて結像する様子を示す。このレンズ5は、図2(A)のレンズ5Cに比較するとその有効口径D0が小さいものの、その絞り開放限界まで絞り40が開放されている状態を示す。
【0023】
なお、上述の(1)―(3)式は、図2(B)の場合のレンズ5の有効口径D1をD,その有効口径D1でのFナンバFno0をFnoとして、同様に適用できる。
また、図2(B)の場合の直径φ0とした場合には(2)式は、以下の(5)式のようになる。
Fno0=Z/φ0 (5)
(5)式における直径φ0は、(4)式における直径φ1より小さい。このため、レンズ5を主要被写体41にピントが合ったピント位置に設定して撮影した場合、背景被写体のぼけ量を、明るいレンズ5Cの場合程に大きくすることができない。
【0024】
そのため、本実施形態においては、図2(C)に示すように背景被写体に対してはレンズ5を、図2(B)に示す主要被写体41にピントが合ったピント位置から、光軸方向に沿って前方側(被写体側)にシフト量Zsiftだけシフトした位置に設定して、背景画像に対しては図2(A)で示した直径φ1の値に相当するぼけた画像を取得する。
図2(C)に示すレンズ5の設定状態においては、以下の(6)式を満たす。
Fno0=Z/φ0=(Z+Zsift)/φ1 (6)
この(6)式を変形すると、以下の(7)式のようになる。
【0025】
Zsift=φ1×Fno0−Z (7)
本実施形態においては、レンズ5の実際の絞り開放限界からさらに絞り40を仮想的に開く操作を行えるように絞り操作部22aを設け、この絞り操作部22aによりレンズ5の実際の絞り開放限界の値を超えて絞り40を開く操作が行われた場合には、例えばピント位置制御部5bは、その絞り開放限界の値を超えた操作量に対応した所定のシフト量Zsiftだけ主要被写体41にピントが合ったピント位置からシフトした位置にレンズ5を設定する。そして、そのシフトした位置で被写体を撮像して背景被写体が十分にぼけた画像を取得する。
図2(C)は、図2(B)の絞り開放限界の状態から、絞り操作部22aの操作によりこの絞り開放限界からより開放させる方向に所定量だけ開放させた場合のレンズ5の設定位置の1例に相当する。
【0026】
なお、後述するように本実施形態においては、絞り操作部22aの操作によりこの絞り開放限界からより開放させる方向にn目盛分(n=1,2)だけ開放させた場合には、そのn目盛分の開放に対応するシフト量だけレンズ5の設定位置をシフトする。
但し、図2(C)のようにレンズ5をシフトした位置に設定すると、主要被写体41の画像もぼけてしまうため、本実施形態においては高速にピント位置とシフトしたシフト位置とに交互に設定して(つまり振動的に設定して)、両画像を交互に高速に撮像して取得することができるようにしている。
このため、本実施形態においては、図1に示す例えば駆動部23aは、レンズ5をピント位置とシフト位置とに高速に振動的に設定する振動的駆動部23cの機能を有する。
【0027】
また、記録部11は、上記絞り操作部22aによる絞り40の絞り値を変化させた場合に撮像素子6により撮像した画像と、上記振動的駆動部23cによりレンズ5がピント位置とシフト位置とにそれぞれ設定して撮像素子6により撮像した画像とを記録する画像記録部11aを有する。なお、画像記録部11aを記録部11以外のメモリなどで形成しても良い。
図3Aは、ユーザ51が本実施形態のカメラ1により、被写体を撮影する様子を示す。図3Aは、本実施形態の主要な内容のみを説明するための説明図を示す。図3Aに示すようにユーザ51は、カメラ1を例えば右手52で把持し、左手53でピント合わせ及び絞りの調整を行う撮影レンズ部2の外周部分に設けられた操作部22としての回転リングを保持する。
【0028】
そして、ユーザ51は、アクセサリ4(の接眼表示部32)から、撮影しようとする被写体を視認する姿勢にすると、手振れを少なくしてシャッターチャンスを逃がさない撮影モードでの保持状態となる。図3Aのような基本的な保持状態に設定すると、極力指や手を動かさないで、撮影に必要な操作を迅速に行えるようになる。
この場合、右手52の把持状態を示すと、図3Bに示すように右手52の人差し指52aを、撮影操作を行うレリーズボタン3aにおいたままにし、左手53は図3Aのように手振れが発生しないように撮影レンズ部2の外周の回転リング部分に置いたまま操作ができるようにする。
また、この状態で絞りを操作する場合には、図3Aに示すように表示部9における例えば右側領域に形成されたタッチパネル12部分をタッチする。タッチパネル12にタッチ操作をすると、信号処理&制御部8のタッチ検出部8cによりそのタッチ操作が検出され、操作の選択画面を表示する。
【0029】
図3Bの表示例では、タッチパンル12の上側に絞り、その下側にピント(MFと略記)を選択する選択画面を表示する。ユーザ51は、例えば図3Bに示すように親指52bで絞りの選択画面部分をタッチすることにより、絞りの操作を選択することができる。
また、この選択操作に対応して、アクセサリ4の接眼表示部32には、図3Cに示すように絞りが選択されて、絞り値が調整されていることを示す表示32aを行う。
なお、図3Cにおける中央部分には、ユーザ51が撮影しようとする被写体における主要被写体となる人物54(図6参照)の画像54aが表示されている。
【0030】
このような構成の撮影装置としての第1の実施形態のカメラ1は、撮影を行うための撮影レンズとしてのレンズ5と、上記撮影レンズを介した被写体の光学像を電気信号に変換する撮像素子6と、上記撮影レンズの絞りを制御する絞り制御部5aと、上記撮影レンズのピント位置を制御するピント位置制御部5bと、を具備する撮影装置において、上記撮影レンズの実際の絞り開放限界の値を超える絞り値に設定するための操作を行う絞り操作部22aと、上記絞り操作部22aの上記絞り開放限界の値を超える、該絞り開放限界の値からの操作量に応じて、上記ピント位置制御部5bにより上記被写体における主要被写体部分にピント合わせしたピント位置で上記撮像素子6により撮像した画像と共に、該ピント位置から上記撮影レンズを光軸方向に所定のシフト量だけシフトしたシフト位置で上記撮像素子6により撮像した上記主要被写体部分に対して背景となる、上記所定のシフト量に対応したぼけ量だけぼけた背景画像をほぼリアルタイムに表示可能とする表示部9とを有することを特徴とする。
【0031】
次に図4を参照して本実施形態におけるカメラ制御の処理内容を説明する。
ユーザ51は、図3Aのようにカメラ1を保持し、カメラ1の図示しない電源をONする。カメラ1のカメラ本体3内の信号処理&制御部8は、ステップS1に示すように電源ONされたか否かを判定し、ONされていない場合にはステップS2に示すようにスタンバイの処理状態を保持する。
一方、ONされた場合には、ステップS3において信号処理&制御部8は、撮影モードの設定又は撮影モードが選択されているか否かの判定を行う。
撮影モードの場合には、ステップS4において信号処理&制御部8は、撮像素子6により撮像した画像に対し、動画表示を行うための画像処理を行う。
【0032】
そして生成した動画表示用の画像を表示部9と接眼表示部32に出力し、表示部9と接眼表示部32とでライブビュー表示を行う。なお、ユーザ51による選択設定により、表示部9と接眼表示部32との一方でライブビュー表示を行うようにしても良い。
ステップS4による画像処理が開始すると、ステップS5において撮影レンズ部2の制御部21は、通信部26,16を介して信号処理&制御部8と撮影レンズ部2のレンズ5のレンズ状態の情報に関する通信を行う。この通信によりカメラ本体3の信号処理&制御部8は、レンズ5のレンズ状態の情報を取得し、このレンズ状態に対応した処理を速やかに行うことが可能になる。
また、ステップS6において信号処理&制御部8は、タッチパネル12からの操作により絞りとピントのいずれの操作が選択されたかの判定を行う。
【0033】
タッチパネル12からピント操作が選択された場合には、操作部22の回転リングの回転操作に応じてピント位置制御部5bはピント位置制御を行い、ステップS8の処理に進む。
また、ステップS6において、タッチ操作が無い場合にもステップS8の処理に進む。
ステップS8において信号処理&制御部8は、レリーズボタン3aによる撮影操作が行われたか否かを操作判定部13により操作判定結果から判定する。撮影操作が行われない場合には、ステップS1の処理に戻る。一方、撮影操作が行われた場合には、ステップS9において撮像素子6により撮像され、信号処理&制御部8により画像処理した画像を撮影画像として記録部11に記録し、ステップS1の処理に戻る。
【0034】
また、ステップS3において、撮影モードでない場合には、ステップS10において信号処理&制御部8は、再生モードの設定(又は選択)であるか否かの判定を行う。再生モードの場合には、ステップS11において信号処理&制御部8は、記録部11に記録された撮影画像における例えば最後に記録した撮影画像を再生する処理を行う。
次のステップS12において信号処理&制御部8は、再生画像を更新する操作が行われたか否かを判定する。更新する操作が行われた場合には、ステップS13において信号処理&制御部8は、再生画像を更新する処理を行った後、ステップS1の処理に戻る。なお、ステップS12の処理において更新する操作が行われない場合には、ステップS1の処理に戻る。
【0035】
また、ステップS10の処理において、再生モードでないと、ステップS14において信号処理&制御部8は、撮影レンズ部2と画像通信を行った後、ステップS1の処理に戻る。
一方、ステップS6の処理において、タッチパネル12により絞りが選択された場合には、図1に示す操作部22は絞り操作部22aとして機能する。
そして、ステップS15において制御部21(の操作量判定部21a)は、絞り操作部22aとして機能する操作部22の回転リングが回転操作されたか否かを位置検出部24bの検出結果を介して判定する。操作部22の回転リングが回転操作されない場合にはステップS8の処理に進む。この場合には、ステップS15の操作前の絞りの設定状態で撮影が行われるか、撮影が行われることなくステップS1の処理に戻る。
【0036】
ステップS15の処理において、回転操作された場合には、ステップS16において回転操作による絞り毎(絞り値毎)に信号処理&制御部8は、撮像素子6による撮像画像を取得する。
また、ステップS17において制御部21(操作量判定部21a)は、絞り40がその開放限界(の値)を超える操作が行われたか否かを判定する。絞り40の開放限界(の値)を超える操作が行われない場合、つまり絞り開放限界以内である場合には、ステップS18において制御部21又は絞り制御部5aは、回転リングの回転操作(量)で絞り40の絞り値を制御し、ステップS8の処理に移る。
この場合には、絞り開放限界以内での通常の撮影を行う処理内容に該当する。
【0037】
一方、ステップS17の処理において、絞り40の開放限界(の値)を超える操作が行われた場合には、ステップS19において信号処理&制御部8は、制御部21との通信を利用して、絞り開放(限界)に相当するぼけ量を算出する処理を行う。このぼけ量は、ピント位置からシフト位置にピントシフトする場合のシフト量の基準値となる。そして、開放限界を超える操作量に応じた所定のシフト量が、このシフト量の基準値を用いて決定される。この処理は図5にてより詳細に後述する。なお、このぼけ量の算出処理を制御部21が行うようにしても良い。
次のステップS20において制御部21又は信号処理&制御部8は、回転リングの回転操作量(の値)からレンズ5によるぼけ量を増大させるピントシフト量を決定する処理を行う。この処理は図7にてより詳細に後述する。
次のステップS21において信号処理&制御部8又はピント位置制御部5bは、レンズ5をピント位置と、このピント位置からシフトしたシフト位置との間で振動させるように駆動させる制御を行い、両位置で撮像した画像から合成画像を生成する処理を行った後、ステップS1の処理に戻る。
【0038】
次に図5を参照して図4のステップS19の絞り開放(限界)に相当するぼけ量を算出する処理の詳細を説明する。この処理が開始すると、ステップS31において信号処理&制御部8は、撮影レンズ部2との通信を利用してレンズ5の絞り開放(限界)のFナンバFno0の値を取得する。
また、ステップS32において信号処理&制御部8は、撮影レンズ部2との通信を利用してレンズ5の焦点距離Fを取得する。
次のステップS33において信号処理&制御部8は、AF結果、又はピント合わせの調整により被写体(における主要被写体)にピントが合ったピント位置の状態での図2(B)の場合の(5)式中の距離Zの値を判定する。なお、この距離Zは、次のステップS34の処理の際に使用される。
【0039】
次のステップS34において信号処理&制御部8は、(1)式、つまり(L−F)・Z=F^2を用いて被写体距離Lを算出する。そして、次のステップS35において信号処理&制御部8は、絞り開放相当のぼけ量としての(3)式に相当するφ0=F^2/(Fno0×(L−F))を算出する。そして、図4の次のステップS20の処理に進む。
なお、上記のステップS34において被写体距離Lを算出する場合、(1)式を用いることなく、図6のように主要被写体となる人物54の顔検出を利用して被写体距離Lを算出しても良い。
【0040】
図6に示すように人物54にピント合わせした状態では、人物54の顔55の縦方向のサイズをHf0とし、撮像素子6の撮像面に結像された像上における顔55の縦方向のサイズをHf1とした場合には、以下の(8)式が近似的に成立する。
L=F×Hf0/Hf1 (8)
撮像面上でのサイズHf1は、撮像素子6のデータを用いて算出でき、また顔55のサイズHf0は通常の人物54の場合には既知の評価値で近似することにより、(8)式から被写体距離Lを算出できる。
次に図7を参照して図4のステップS20の回転操作量からピントシフト量(より具体的には回転操作量に対応したピントシフト量)を決定する処理の詳細を説明する。以下の説明では、制御部21が主に行う場合で説明するが、信号処理&制御部8がその制御動作を行うようにしても良い。従って、制御部21又は信号処理&制御部8は、ピントシフト量(又はシフト量)を決定するピントシフト量(又はシフト量)決定部の機能を持つ。
【0041】
この処理が開始すると、ステップS41において制御部21(の操作量判定部21a)は、回転リングが絞り開放限界(の絞り値)の次の目盛までの(回転)操作量であるか否かの判定を、位置検出部24bによる位置検出を利用して行う。
次の目盛までの(回転)操作量である判定結果の場合にはステップS42において制御部21は、絞り開放限界の場合のぼけ量に相当する直径φ0の場合の距離Zから、その√2倍(√2は2の平方根を表す)のぼけ量となる直径√2・φ0の場合の距離Zに相当するピントシフト量ZsをZ×√2として決定した後、図4の次のステップS21の処理に進む。
【0042】
絞り開放限界の場合には、(5)式から
φ0=Z/Fno0 (9)
となる。このため、この場合のぼけ量となる直径φ0を、絞り開放限界(の絞り値)を超える方向で、絞り開放の次の絞り値に対応する次の直径φnext1として
φnext1=√2×φ0 (10)
に相当するぼけ量を発生させるように、上記ピントシフト量ZsをZ×√2にする。なお、絞りを可変する操作においては通常、1目盛分毎の操作量により、Fナンバは√2倍変化し、本実施形態においては絞りの通常の操作に対応したぼけ量を生成するようにピントシフト量Zsを決定する。
【0043】
また、ステップS41の処理において、回転リングが次の目盛までの(回転)操作量でない場合にはステップS43において制御部21(の操作量判定部21a)は、回転リングが絞り開放限界(の絞り値)の次の次の目盛までの(回転)操作量であるか否かの判定を行う。
次の次の目盛までの(回転)操作量であるとの判定結果の場合には、ステップS44において制御部21は、直径φ0の場合の距離Zから、その√2・√2倍のぼけ量となる直径2・φ0の場合のピントシフト量Zsとなるように、ピントシフト量ZsをZ×2として決定した後、図4の次のステップS21の処理に進む。
なお、ここでのピントシフト量Zsは、図2(C)における距離Z+シフト量Zsiftを表わしている。このため、ピント位置からレンズ5を実際にシフトするシフト量Zsiftは、ピントシフト量Zsから距離Zを減算した値となる。
【0044】
このため、図4のステップS20の処理「回転操作量からピントシフト量を決定する」処理内容において、さらに「ピントシフト量Zsからシフト量を算出する」処理内容を含めるようにしても良い。
ステップS44の処理は、上述した(絞り開放の次の絞り値に対応する)次の直径φnext1の次の絞り値の場合に該当する次の次の直径φnext2の場合に該当する。この場合、
φnext2=√2×φnext1=2×φ0 (11)
となる。
一方、ステップS43の処理において、回転リングが次の次の目盛までの(回転)操作量でない場合にはステップS45において制御部21は、警告を行う信号を通信を利用して信号処理&制御部8に送り、信号処理&制御部8は規定された操作範囲を超える操作、又は規定されていない操作であると警告する旨を、例えば表示部9での表示で行う。
【0045】
図7では、簡略化して、開放限界から2目盛分のみ、ぼけ量を増大させる処理内容を示しているが、3目盛以上にぼけ量を増大させる処理内容にしても良い。また、図7においては、簡略的に1目盛単位の操作量の場合で説明しているが、より詳細に例えば1.5目盛のように1目盛よりも小さい目盛単位で(例えば0.1目盛単位で)回転操作量を設定できるようにしても良い。
次に図8を参照して図4のステップS21のピントシフト振動&合成の処理の詳細を説明する。
この処理が開始すると、ステップS51において信号処理&制御部8は、ピントシフト無し画像を取得する。つまり、レンズ5が主要被写体にピントが合ったピント位置の状態で撮像素子6により撮像した撮像画像を信号処理&制御部8は取得する。なお、ステップS21においては、ピント位置において撮像素子6により撮像される撮像画像は、レンズ5が絞り開放限界の値に固定された状態の画像となる。
【0046】
次のステップS52において信号処理&制御部8は、通信を利用して振動的駆動部23cによりレンズ5を、ステップS20で決定されたピントシフト量Zsとなるように振動的に駆動する。
例えばステップS20による回転操作量から、(10)式のφnext1が図2(C)に示すφ1に一致する場合には、振動的駆動部23cはレンズ5を図2(B)のピントシフト無しのピント位置と、図2(C)に示すピントシフト後の位置との間を往復するように高速に振動的に駆動する。
そして、次のステップS53において信号処理&制御部8は、ピントシフト後の画像を取得する。つまり、レンズ5によるピントがずれた位置の状態で撮像素子6により撮像した撮像画像を信号処理&制御部8は取得する。この場合においても、レンズ5は絞り開放限界の値に固定された状態となり、その状態で撮像素子6は撮像する。
【0047】
次のステップS54において信号処理&制御部8は、図4のステップS16の処理において絞り(を変化させた場合の絞り値)毎に取得した画像のコントラスト値、又は空間周波数の高域側成分値を比較してぼけ量の程度を評価する処理を行う。なお、絞り開放限界を超える絞り操作状態においては、レンズ5は常時開放状態に固定される。このステップS54は、各絞り値毎に行う場合に限らず、少なくとも絞り開放限界の場合を含む代表的な絞り値の場合のみで行うようにしても良い。
次のステップS55において信号処理&制御部8は、ピントシフト無し画像(つまりピント位置の状態で取得した画像)において、絞り開放限界においても十分に小さいぼけ量未満とみなすことができるぼけ量変化なし部の画像部分を切り取る(又は抽出する)処理を行う。具体的には、ピント位置の状態で取得した撮像画像における主要被写体の画像部分をぼけ量変化なし部の画像として切り取る。
【0048】
次のステップS56において信号処理&制御部8は、切り取った画像を、ピントシフト後の背景部分のぼけが大きいぼけた画像に、切り取った画像の位置合わせをして嵌め込み(又は置換し)、合成画像を生成する処理を行う。この合成画像を生成した後、ステップS57において表示部9は、合成画像を表示(例えば図13における符号Ic)し、この処理を行った後、図4のステップS1の処理に戻る。
なお、ステップS57の処理において、合成画像の表示を一定時間行った後、次の処理に移っても良いし、表示部9における表示画面を分けてその表示画面の一部に合成画像を表示するようにしても良い。
後者の場合には、ステップS1の処理に戻り、さらにステップS4の処理になった場合には、表示部9の表示画面には、ライブビュー表示と、その直前において生成された合成画像の表示とが殆ど同時に殆どリアルタイムに行われる。
【0049】
ユーザ51は、表示部9に表示される合成画像を観察することにより、ピントがあった主要被写体と共に、その背景部分のぼけ量の程度(ぼけ味)を確認しながら撮影を行うことができ、シャッターチャンスを逃すことを低減できる。
図8に示す処理の変形例として、図9に示す処理内容にしても良い。図9におけるステップS51−S54、S57に関しては図8と同じであり、図8におけるステップS55,S56の処理を、ステップS61,S62に変更している。
ステップS54の次のステップS61において信号処理&制御部8は、絞り開放限界においても十分に小さいぼけ量未満とみなすことができるぼけ量変化なし部の輪郭により、ぼけ量変化なし部の画像領域とそれ以外の画像領域との領域分けの処理を行う。
【0050】
具体的には、ピント位置の状態で取得した撮像画像における主要被写体の画像部分の輪郭から、ぼけ量変化なし部と、主要被写体の画像部分に比較してぼけが大きい背景部分との画像領域を分ける。このステップS61は、ぼけ量変化なし部とぼけが大きい背景部分との輪郭を検出する処理とみなすこともできる。
次のステップS62において信号処理&制御部8は、例えば上記領域分けを行った画像において輪郭を境界として、ぼけ量変化無し部となるピントが合った主要被写体の画像領域の外側の画像領域にステップS53で取得したぼけの大きい背景画像部分を置換し、合成画像を生成する。この処理の後、ステップS57の処理に移る。なお、このステップS62の合成画像を生成する処理を行う場合、ステップS53で取得した画像に対して、上記輪郭を境界としてその境界内側部分をぼけ量変化無し部となるピントが合った主要被写体の画像領域で置換して合成画像を生成しても良い。
図9の変形例による作用効果は、図8の場合とほぼ同様となる。また、図9の変形例によると、領域分けを行うので、図8の場合よりも主要被写体の画像部分と背景部分とをより確実に分離できる可能性が高い。
【0051】
図10は本実施形態における回転リングが絞り開放限界を超えて操作された場合におけるカメラ本体3と、撮影レンズ部2とが通信を行い、それぞれ対応した処理を行う様子の動作説明図を示す。
カメラ本体3の信号処理&制御部8は、菱形で示すCMOSセンサによる撮像素子6による撮像・(撮像された画像の)読出しする際の各フレームの画像に同期する垂直同期信号に同期して、カメラ本体内処理を行う。
カメラ本体3は、撮像・読出し中(のフレーム期間)においては、通信前のカメラ本体内処理(図中B1)を行い、この処理B1においてこのフレーム前における撮影レンズ部2側での回転リングの絞り開放限界を超える回転操作量等の情報からレンズ5のピント位置からのシフト量を算出する処理等を行う。
【0052】
この処理B1が終了すると、カメラ本体3から撮影レンズ部2へ通信(図中のBL)により、撮影レンズ部2に対してレンズ5をどれだけシフトさせるかのシフト量Zsiftの情報を送信する。
この送信に対して、撮影レンズ部2は対応する撮影レンズ内処理(図中のL1)を開始する。その際、返信信号を通信(図中のLB)によりカメラ本体3に返すと共に、前回以後に回転リングの操作の有無の情報と、現在における回転リングの絞り開放限界を超える回転操作量(前回からの変化分でも良い)等の情報を送信する。
また、撮影レンズ部2は、撮影レンズ内処理L1において、1フレーム分の撮像画像の撮像・読出しが終了したタイミングでレンズ5をピント位置から送信されたシフト量Zsiftだけシフトさせるように駆動部23a(振動的駆動部23c)を介して駆動させる動作を開始する。
【0053】
この動作の終了のタイミングにおいて次のフレームの撮像画像の撮像・読出しが開始する。
一方、カメラ本体3は、通信により上記絞り開放限界を超える回転操作量等の情報を受けると、通信後のカメラ本体内処理(図中B2)において、その情報を蓄積する。また、次の通信前のカメラ本体内処理B1を行い、その処理の終了が終了すると、カメラ本体3から撮影レンズ部2へ通信(図中のBL)により、撮影レンズ部2に対してレンズ5をピント位置に戻すように、シフト位置からどれだけ戻すかの情報を送信する。
この送信に対して、撮影レンズ部2は対応する撮影レンズ内処理(図中のL1)を開始する。その際、返信信号を通信(図中のLB)によりカメラ本体3に返すと共に、前回以後に回転リングの操作の有無の情報と、現在における回転リングの絞り開放限界を超える回転操作量(前回からの変化分でも良い)等の情報を送信する。
【0054】
また、撮影レンズ部2は、撮影レンズ内処理L1において、1フレーム分の撮像画像の撮像・読出しが終了したタイミングで、送信された情報に対応してレンズ5をピント位置に戻すように駆動部23a(振動的駆動部23c)を介して駆動させる動作を開始する。この動作の終了のタイミングにおいて次のフレームの撮像画像の撮像・読出しが開始する。そして、上述した動作が繰り返される。
このように動作する本実施形態においては、図4に示すように絞りを操作する(絞り操作部22aの)選択を行い、回転リングを絞り開放限界を超える操作を行った場合には、レンズ5を主要被写体にピントが合ったピント位置と、絞り開放限界の値を超える操作量に応じて背景部分に対する画像のぼけ量を大きくするシフト位置とに振動的(交互)に設定して、それぞれの画像を取得した後、ピントが合った主要被写体の画像部分と、ぼけの大きい背景部分の画像部分とから合成画像を生成し、その合成画像を表示する処理を巡回するように繰り返し行う。
【0055】
このため、ユーザ51は、撮影する操作を行う際に背景部分のぼけ量の程度を合成画像から殆どリアルタイムに確認しながら、絞りを開放限界の絞り値を超えて回転する簡単な操作を行うのみで、主要被写体にピントが合い、その背景部分を十分にぼかした画像を撮影することが容易にできる。
また、背景部分のぼけ量の程度を殆どリアルタイムに確認できるので、シャッターチャンスを逃すことが少ない撮影し易いカメラを提供できる。
また、通常の絞りを開放側に操作するのに対応させて、開放限界を超える操作量に対応した量だけ背景画像をぼけさせるようにピント位置からのシフト量を設定しているので、操作性の良い撮影装置としてのカメラを提供できる。
【0056】
次に第1の実施形態のカメラの第1変形例を説明する。第1の実施形態においては図4のカメラ制御の処理手順における特にステップS21の処理より、殆どリアルタイムに合成画像を生成し、その合成画像を殆どリアルタイムに表示することができるようにしている。
これに対して、本変形例においては、合成画像の表示と、合成画像を生成する前の画像(合成前画像と言う)としての2つの画像(具体的にはピントが合った主要被写体部分の画像と、背景部分がぼけたぼけ背景画像)の表示との一方を選択できるようにしている。この選択は、例えばタッチパネル12によるタッチ操作で選択できる。このため、タッチパネル12は、表示を選択する表示選択部の機能を持つ。
【0057】
また、信号処理&制御部8は、ユーザ51が上記選択により合成画像を選択した場合には上述した第1の実施形態と同様の処理となるが、合成前画像を選択した場合には、合成前画像を表示部9に出力する。
このため、信号処理&制御部8の表示制御部8aは、合成前画像を生成して表示部9に出力する合成前画像表示制御部の機能を持つ。また、表示部9は、合成前画像を表示する(図1において点線で示す)合成前画像表示部9bの機能を持つ。
次に本変形例における図4に示すカメラ制御におけるステップS21と異なる処理部分を図11を参照して説明する。図11は、本変形例におけるピントシフト振動&画像表示の処理を示す。
【0058】
図11におけるステップS51からステップSS61までの処理は、図9の場合と同様の処理を適用できる。
ステップS61において信号処理&制御部8は、ピントが合った状態のピントシフト無し画像において絞り開放限界における画像からぼけ変化無し部として、最もぼけ量が小さい輪郭を検出する。
次のステップS71において信号処理&制御部8(のタッチ検出部8c)は、ユーザ51が合成画像の表示と、合成前画像の表示とのいずれを選択したかを判定する。ユーザ51により合成画像の表示が選択された場合には、図9の場合と同様にステップS62,S57を順次行う。
【0059】
一方、合成前画像の表示が選択された場合には、ステップS72において信号処理&制御部8は、ピントが合った主要被写体を少なくとも含む絞り開放限界の値で撮像した画像(第1の画像)と、ピントシフトしたぼけた背景画像を少なくとも含む画像(第2の画像)とを表示部9に出力する。
また、この場合、第1の画像においては、ステップS61で検出した輪郭を付ける。そして、次のステップS73において表示部9は、第1の画像と第2の画像とを隣接して殆ど同時に殆どリアルタイムに表示する処理を行う。
次のステップS74において信号処理&制御部8は、合成前画像の表示から合成画像の表示への変更の操作が行われたか否かを判定する処理を行う。合成画像の表示を行う変更の操作がされた場合には、ステップS62の処理に移り、変更の操作がされない場合には、ステップS1の処理に戻る。なお、ステップS74の処理を行うことなく、ステップS73の処理後にステップS1に戻るように簡略化しても良い。
【0060】
なお、本変形例においては信号処理&制御部8は、絞り開放限界を超える操作が行われた場合には、図4のステップS4のライブビュー表示は、アクセサリ4の接眼表示部32で行うように制御する。ユーザ51の選択操作により表示部9の表示画面を分割して表示部9において、上記2つの画像又は合成画像と共に、ライブビュー表示も行うようにしても良い。
また、本変形例の場合には、図4におけるステップS8において撮影操作が行われた場合には、表示部9において合成画像を表示する選択がされた状態では、上述した第1の実施形態と同様の処理となるが、表示部9において2つの画像を表示する選択がされた状態の場合には、信号処理&制御部8は、2つの画像を記録部11に記録した後、ステップS62の処理を行い、合成画像を記録部11に記録する。
【0061】
なお、表示部9において2つの画像を表示する選択がされた状態において、撮影操作が行われた場合、信号処理&制御部8は、ステップS62の処理を行った後、合成画像を記録部11に記録するようにしても良い。
また、表示部9において表示された2つの画像を互いに関連付けて記録部11に記録し、記録後においてユーザ51による指示操作により、記録された画像から合成画像を生成して表示したり、記録部11に合成画像を記録するようにしても良い。
図11の処理は、巡回して繰り返し行われるため、上述した合成画像の表示の場合と同様にステップS73による2つの画像の表示は、殆どリアルタイムに行われる。
【0062】
図12は、表示部9による2つの画像の表示例を模式的に示す。表示部9の表示面には、第1の画像Iaとして主要被写体となる人物の画像54aがピントが合った状態で表示される。また、人物の画像54aの周囲には、背景となる山の画像61aが人物の画像54aよりは不鮮明に表示される。
また、ステップS61において検出された輪郭62が、人物の画像領域と山の画像領域とを分ける境界62として太い線で表示される。
第1の画像Iaに隣接して、第2の画像Ibが表示される。この第2の画像Ibは、ピント位置からシフトしたシフト位置で撮像された画像であるため、特に背景となる山の画像61bが、第1の画像における山の画像61aよりも大きくぼけた状態のものとなる。
【0063】
なお、第2の画像Ib中での点線で示す人物の画像54bは、第1の画像Ia中の人物の画像54aよりもぼけた不鮮明なものとなる。
また、ステップS73による2つの画像Ia,Ibの表示状態からステップS74により合成画像の表示に変更した場合における表示部9での合成画像の表示例を図13に示す。図13の表示例では、表示部9の表示面における例えば右側に合成画像Icを表示し、その左側にライブビュー(表示)画像Idを表示する例を示す。
合成画像Icにおいては、図12における第1の画像Ia中の人物の画像54aと、第2の画像Ib中のぼけた背景画像としての山の画像61bとが輪郭62を境界として位置合わせして合成される。
【0064】
本変形例によれば、第1の実施形態の効果を有すると共に、ユーザ51は、表示部9に表示される2つの画像Ia,Ibから背景となる山の画像61bのぼけ量の程度を殆どリアルタイムに確認できる。
このため、ユーザ51は、背景のぼけ量が適当であると確認した後に撮影操作を行うことにより、主要被写体にピントが合い、その背景部分が十分にぼけたユーザ51が望む画像を撮影又は取得することができる。
一方、ぼけ量が足りないと判断した場合には、さらに回転リングを絞り開放限界の値を超える方向に回転操作すれば良い。その回転操作量に対応して、ピント位置制御部5bは駆動部23a(振動的駆動部23c)を介してレンズ5を、ピント位置からのシフト量を増大したシフト位置に設定し、背景画像となる山の画像61bのぼけ量を増大できる。
【0065】
また、本変形例によれば、第1の画像Ia中において、輪郭62を表示するため、ユーザ51は、輪郭62の検出が適切に行われたか否かを確認できる。
なお、輪郭62の検出が適切に行われていない場合には、ユーザ51がタッチパネル12からの操作により輪郭62を内側或いは外側に移動して、移動方向に輪郭62を修正できるようにしても良い。
なお、上述した説明においては、背景は無限遠としてレンズ5のピント位置からのシフト量を設定する簡略化した場合で説明したが、ユーザ51がより精度良く背景となる背景被写体の概略の距離を指定又は入力し、指定された距離に応じてピント位置からのシフト量を決定するようにしても良い。また、背景部分にAFして、そのAFにより算出した距離を用いてピント位置からのシフト量を決定するようにしても良い。
【0066】
なお、上述した図4,図5,図7―図9,図11等において説明した各ステップの手順は、その機能に不都合が生じない限り、実行順序を変更しても良いし、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
また、絞り開放限界を超えて操作された場合、記録部11に記録した画像や撮像素子6により読み出した画像からフレーム間における画像の動きを検出する(図1において点線で示す)動き検出部8fを備える構成にし、検出される動き量が小さい場合にはピント位置とシフト位置間でレンズ5を振動的に駆動する回数を低減するように制御しても良い。
【0067】
この動き検出部8fは、例えば1つ前のフレームにおけるピント位置で撮像された画像と、次のフレームのピント位置で撮像された画像との相対的な動き量を検出する。検出された各部における動き量の最大値が、動き量が小さいか否かを判定基準となる閾値Vtと比較し、閾値以下となるか否かを判定する。その判定結果に応じて、ピント位置からシフト位置への移動動作を抑制する。
図14はこの動き検出を利用した場合のカメラ1におけるピントシフト振動&合成の処理手順を示す。
図14における処理手順は、図9の処理手順に類似しているので、図9を参照して説明する。図14におけるステップS51、S52a、S53は、図9のステップS51、S52,S53と殆ど同じである。但し、図9におけるステップS52ではレンズ5を振動的に駆動するが、図14におけるステップS52aは、レンズ5をピント位置からピントシフト位置に駆動する処理を表す。
【0068】
また、図14においてはステップS53の処理後のステップS52bにおいて、レンズ5をピント位置に駆動する。
次のステップS61において図9のステップS61と実施的に同じ処理、つまりボケ変化無し部の輪郭を検出する。
さらに次のステップS81において動き検出部8fは、例えば時間的に隣接して撮像された2つのピントシフト無し画像のフレーム間での対応する画像部分での動き検出を行う。この動き検出を行う場合、各画像を適宜の小領域に分割し、分割した各小領域においてフレーム間での動き方向及びその動き方向での動き量を検出する。
そして、次のステップS82において動き検出部8fは、検出した各小領域での動き量の絶対値(又は大きさ)の最大値が閾値Vt以下となるか否かを判定する。
【0069】
動き量の最大値が閾値Vt以下とならない判定結果の場合には、ステップS62,S57の処理を順次行う。この場合には、図9と実質的に同様の処理となる。
一方、動き量の最大値が閾値Vt以下となる判定結果の場合には、ステップS83において、次のピントシフト無し画像を取得する。また、次のステップS84において、(レンズ5をピントシフト駆動すること無く)次のピントシフト後の画像として、前回取得したピントシフト後の画像を兼用(流用)し、ステップS81の処理に戻る。
従って、動き量の最大値が閾値Vt以下となる判定結果の場合には、レンズ5をピント位置からシフト位置に移動する処理を行わない。換言すると、制御部21又は信号処理&制御部8は、駆動部23a又は振動的駆動部23cによるレンズ5をピント位置からシフト位置に移動する動作を抑制(規制)する制御を行う。
【0070】
このように動き量の最大値が小さい場合には、ピントシフト後の画像として前回のピントシフト後の画像を流用することになるが、この画像はぼけた背景画像であり、前回のフレームのものを流用しても支障ない。
本変形例によれば、レンズ5を振動的に駆動する回数を低減できる。その他、上述した実施形態とほぼ同様の効果を有する。
なお、上述した実施形態等を部分的に組み合わせて構成される実施形態も本発明に属する。
また、本発明は、上述した撮影装置としてのカメラ1として、撮影レンズ部2がカメラ本体3に着脱自在となる撮影レンズ交換式の場合に限定されるものでなく、撮影レンズ部2がカメラ本体3に一体化されたカメラの場合を含む。
撮影レンズ部2がカメラ本体3と一体化した構成の場合には、図1に示した撮影レンズ部2側の制御部21の機能を、信号処理&制御部8が兼ねる構成にしても良い。また、この場合は、通信部26、16を用いることなく、信号処理&制御部8が撮影レンズ部2の各部を制御するようにしても良い。なお、信号処理&制御部8が、絞り制御部5a、ピント位置制御部5b等の機能を持つ構成にしても良い。
また、本発明は、撮影機能を備えた携帯機器に搭載されたカメラや、そのカメラを搭載した携帯機器の場合も含む。
【符号の説明】
【0071】
1…カメラ、2…撮影レンズ部、3…カメラ本体、4…アクセサリ、5…レンズ、5a…絞り制御部、5b…ピント位置制御部、6…撮像素子、7…撮像部、8…信号処理&制御部、8a…表示制御部、8b…パラメータ制御部、8c…タッチ検出部、8d…ぼかし処理部、8e…合成画像生成部、9…表示部、9a…合成画像表示部、11,25…記録部、12…タッチパネル、13…操作判定部、15…顔検出部、16,17,26,31…通信部、21…制御部、21a…操作量判定部、22…操作部、22a…絞り操作部、23a,23b…駆動部、24a,24b…位置検出部、32…接眼表示部、
【特許請求の範囲】
【請求項1】
撮影を行うための撮影レンズと、
上記撮影レンズを介した被写体の光学像を電気信号に変換する撮像素子と、
上記撮影レンズの絞りを制御する絞り制御部と、
上記撮影レンズのピント位置を制御するピント位置制御部と、
を具備する撮影装置において、
上記撮影レンズの実際の絞り開放限界の値を超える絞り値に設定するための操作を行う絞り操作部と、
上記絞り操作部の上記絞り開放限界の値を超える、該絞り開放限界の値からの操作量に応じて、上記ピント位置制御部により上記被写体における主要被写体部分にピント合わせしたピント位置で上記撮像素子により撮像した画像と共に、該ピント位置から上記撮影レンズを光軸方向に所定のシフト量だけシフトしたシフト位置で上記撮像素子により撮像した上記主要被写体部分に対して背景となる、上記所定のシフト量に対応したぼけ量だけぼけた背景画像をほぼリアルタイムに表示可能とする表示部と、
を有することを特徴とする撮影装置。
【請求項2】
上記表示部は、上記主要被写体にピント合わせしたピント位置で上記撮像素子により撮像した画像における上記主要被写体の画像部分を、上記シフト位置で上記撮像素子により撮像した上記ぼけた背景画像を含む画像に、上記主要被写体の画像部分を位置合わせして置換した合成画像をほぼリアルタイムに表示可能にする合成画像表示部を有することを特徴とする請求項1に記載の撮影装置。
【請求項3】
さらに、撮影操作により、上記合成画像を撮影画像として記録する記録部を有することを特徴とする請求項2に記載の撮影装置。
【請求項4】
上記絞り操作部による上記絞り開放限界の値を超える、該絞り開放限界の値からの操作量を判定する操作量判定部を有し、上記絞り開放限界の値からの操作量に応じて上記撮影レンズを上記ピント位置と上記シフト位置との間で振動的に移動設定する振動的駆動部を有することを特徴とする請求項2に記載の撮影装置。
【請求項5】
上記絞り操作部は、上記絞り開放限界の値以下の絞り値に設定する操作機能を含み、上記絞り操作部による絞り値を変化する操作毎に、上記撮像素子で撮像した画像を画像記録部に記録することを特徴とする請求項3に記載の撮影装置。
【請求項6】
上記振動的駆動部により上記撮影レンズが設定された上記ピント位置で撮像した画像からぼけ量が十分に小さい輪郭を検出して、該輪郭を境界としてピントが合った上記主要被写体の第1の画像領域と上記背景画像の第2の画像領域とに領域分けを行い、上記ピント位置で撮像した上記画像における上記第1の画像領域を、上記シフト位置で撮像した画像に位置合わせして置換することにより上記合成画像を生成する合成画像生成部を有することを特徴とする請求項4に記載の撮影装置。
【請求項7】
上記絞り操作部により上記絞り開放限界の値を超える絞り値に設定する操作が行われた場合、上記ピント位置において上記絞り開放限界の値の場合に、上記撮像素子で撮像される背景画像で発生するぼけ量の値を上記シフト量の基準値にして、上記絞り開放限界からの操作量に応じて、上記撮影レンズを上記ピント位置から上記シフト位置にシフトする上記所定のシフト量を決定することを特徴とする請求項4に記載の撮影装置。
【請求項8】
上記表示部は、上記合成画像の表示と、合成画像生成前における上記ピント位置で上記撮像素子により撮像した上記画像及び上記シフト位置において上記撮像素子により撮像した上記ぼけた背景画像からなる2つの画像の表示との一方を選択して表示可能とすることを特徴とする請求項7に記載の撮影装置。
【請求項9】
さらに、上記ピント位置において上記撮像素子により時間的に隣接して撮像した2つのフレーム間の画像における対応する小領域間での相対的な動き量を検出する動き量検出部を有し、
上記動き検出部が検出した動き量の最大値が閾値以下の場合には、上記撮影レンズを上記ピント位置から上記シフト位置への移動設定を抑制する制御を行うことを特徴とする請求項4に記載の撮影装置。
【請求項1】
撮影を行うための撮影レンズと、
上記撮影レンズを介した被写体の光学像を電気信号に変換する撮像素子と、
上記撮影レンズの絞りを制御する絞り制御部と、
上記撮影レンズのピント位置を制御するピント位置制御部と、
を具備する撮影装置において、
上記撮影レンズの実際の絞り開放限界の値を超える絞り値に設定するための操作を行う絞り操作部と、
上記絞り操作部の上記絞り開放限界の値を超える、該絞り開放限界の値からの操作量に応じて、上記ピント位置制御部により上記被写体における主要被写体部分にピント合わせしたピント位置で上記撮像素子により撮像した画像と共に、該ピント位置から上記撮影レンズを光軸方向に所定のシフト量だけシフトしたシフト位置で上記撮像素子により撮像した上記主要被写体部分に対して背景となる、上記所定のシフト量に対応したぼけ量だけぼけた背景画像をほぼリアルタイムに表示可能とする表示部と、
を有することを特徴とする撮影装置。
【請求項2】
上記表示部は、上記主要被写体にピント合わせしたピント位置で上記撮像素子により撮像した画像における上記主要被写体の画像部分を、上記シフト位置で上記撮像素子により撮像した上記ぼけた背景画像を含む画像に、上記主要被写体の画像部分を位置合わせして置換した合成画像をほぼリアルタイムに表示可能にする合成画像表示部を有することを特徴とする請求項1に記載の撮影装置。
【請求項3】
さらに、撮影操作により、上記合成画像を撮影画像として記録する記録部を有することを特徴とする請求項2に記載の撮影装置。
【請求項4】
上記絞り操作部による上記絞り開放限界の値を超える、該絞り開放限界の値からの操作量を判定する操作量判定部を有し、上記絞り開放限界の値からの操作量に応じて上記撮影レンズを上記ピント位置と上記シフト位置との間で振動的に移動設定する振動的駆動部を有することを特徴とする請求項2に記載の撮影装置。
【請求項5】
上記絞り操作部は、上記絞り開放限界の値以下の絞り値に設定する操作機能を含み、上記絞り操作部による絞り値を変化する操作毎に、上記撮像素子で撮像した画像を画像記録部に記録することを特徴とする請求項3に記載の撮影装置。
【請求項6】
上記振動的駆動部により上記撮影レンズが設定された上記ピント位置で撮像した画像からぼけ量が十分に小さい輪郭を検出して、該輪郭を境界としてピントが合った上記主要被写体の第1の画像領域と上記背景画像の第2の画像領域とに領域分けを行い、上記ピント位置で撮像した上記画像における上記第1の画像領域を、上記シフト位置で撮像した画像に位置合わせして置換することにより上記合成画像を生成する合成画像生成部を有することを特徴とする請求項4に記載の撮影装置。
【請求項7】
上記絞り操作部により上記絞り開放限界の値を超える絞り値に設定する操作が行われた場合、上記ピント位置において上記絞り開放限界の値の場合に、上記撮像素子で撮像される背景画像で発生するぼけ量の値を上記シフト量の基準値にして、上記絞り開放限界からの操作量に応じて、上記撮影レンズを上記ピント位置から上記シフト位置にシフトする上記所定のシフト量を決定することを特徴とする請求項4に記載の撮影装置。
【請求項8】
上記表示部は、上記合成画像の表示と、合成画像生成前における上記ピント位置で上記撮像素子により撮像した上記画像及び上記シフト位置において上記撮像素子により撮像した上記ぼけた背景画像からなる2つの画像の表示との一方を選択して表示可能とすることを特徴とする請求項7に記載の撮影装置。
【請求項9】
さらに、上記ピント位置において上記撮像素子により時間的に隣接して撮像した2つのフレーム間の画像における対応する小領域間での相対的な動き量を検出する動き量検出部を有し、
上記動き検出部が検出した動き量の最大値が閾値以下の場合には、上記撮影レンズを上記ピント位置から上記シフト位置への移動設定を抑制する制御を行うことを特徴とする請求項4に記載の撮影装置。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2013−90010(P2013−90010A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−226148(P2011−226148)
【出願日】平成23年10月13日(2011.10.13)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願日】平成23年10月13日(2011.10.13)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】
[ Back to top ]