電子カメラ
【課題】移動する被写体を見失うことなくリアルタイムでフレーミングを行う。
【解決手段】カメラボディ11の上には、外界の視野像が透視されるシースルー表示部16が設けられている。外界像は、光学系で結像されて撮像手段により撮像される。オートフォーカス手段は、撮像手段により撮像された撮像画像に含まれる顔検出枠21内の顔画像にピントが合うように光学系のフォーカス調整を行う。追尾手段は、顔画像の移動に合わせて顔検出枠21を移動させる。記録手段は、撮像手段の撮像範囲と同じ、又はこれよりも小さい記録範囲の画像をシャッタレリーズに応じて記録媒体に記録する。表示制御手段は、記録範囲の画像をスルー画像としてシースルー表示部16に表示し、追尾対象の顔画像が記録範囲からフレームアウトすることに応答してスルー画像の表示を停止する。
【解決手段】カメラボディ11の上には、外界の視野像が透視されるシースルー表示部16が設けられている。外界像は、光学系で結像されて撮像手段により撮像される。オートフォーカス手段は、撮像手段により撮像された撮像画像に含まれる顔検出枠21内の顔画像にピントが合うように光学系のフォーカス調整を行う。追尾手段は、顔画像の移動に合わせて顔検出枠21を移動させる。記録手段は、撮像手段の撮像範囲と同じ、又はこれよりも小さい記録範囲の画像をシャッタレリーズに応じて記録媒体に記録する。表示制御手段は、記録範囲の画像をスルー画像としてシースルー表示部16に表示し、追尾対象の顔画像が記録範囲からフレームアウトすることに応答してスルー画像の表示を停止する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光透過性を有するシースルー表示部を備える電子カメラに関する。
【背景技術】
【0002】
電子ビューファインダ(EVF)を採用する電子カメラの多くは、ファインダ内の観察視野が狭いため、例えば高速で移動している被写体をファインダ内から見失うことがよくある。また、カメラボディの背面に設けた大型の液晶表示部にスルー画像を表示させてフレーミングを行う電子カメラも多い。しかし、大型の背面表示部に表示されるスルー画像でもズーム操作をするとさらに観察視野が狭くなるため、背面表示部の画面から被写体を見失うおそれがある。このようになると、その被写体をファインダの視野内に再び捕えることは困難になる。そこで、撮影者は、いったんファインダから視線を外して肉眼でその被写体の位置を確認する等の手間がかかる。
【0003】
また、EVFや液晶表示部に表示される画像は、デジタル変換や画像処理等を経てから表示部に表示するため、実際の被写体の動きと画面表示との間で若干のズレ(タイムラグ)が生じる。このため、スポーツ等で動く被写体を撮る時は、ベストのタイミングでシャッタレリーズを行ったつもりでもほんの少し遅れて写ってしまうおそれがある。
【0004】
このような問題を解決するために、ホログラムの技術をスポーツファインダに応用したビデオカメラのファインダ装置が知られている(特許文献1)。このファインダ装置は、被写体像を透過させるスクリーンにホログラムにより撮影画像を投影することによって、外界の視野像と撮像素子で撮像している撮影画像とを重畳表示させている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平9−65183号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載のファインダ装置は、外界の視野像と撮像画像とをリアルタイムで重畳表示することで記録画像の確認が行える効果を有するものの、外界の視野像と撮像画像とを重畳表示しているため、外界の主要被写体が視認し難い。このため、主要被写体が撮像範囲から外れたことや、再び撮像範囲に入ってきたことを確認し難く、動きの速い被写体に対してフレーミングし難かった。
【0007】
本発明は、上記事情に鑑みてなされたものであり、外界の中の主要被写体を視認し易いシースルー表示部を備えた電子カメラを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明を例示する電子カメラの一態様は、光学系により結像される外界像を撮像する撮像手段と、外界の視野像が透けて見えるシースルー表示部と、撮像手段により撮像された撮像画像に含まれる被写体のうちの予め決めた特定被写体を検出する被写体検出手段と、特定被写体のうちの選択される主要被写体の画像にピントが合うように光学系のフォーカス調整を行うオートフォーカス手段と、撮像画像内で主要被写体の画像の移動を追尾する追尾手段と、撮像手段の撮像範囲と同じ、又はこれよりも小さい記録範囲の画像をシャッタレリーズに応じて媒体に記録する記録手段と、画像をスルー画像としてシースルー表示部に表示する表示制御手段と、を備え、表示制御手段は、主要被写体画像が撮像範囲、又は記録範囲からフレームアウトすることに応答してスルー画像の表示を停止するようにしたものである。
【0009】
シースルー表示部は、スルー画像を外界の視野像に重ねて表示する。しかし、像が二重表示になり、しかもスルー画像が少し遅れて表示されるため被写体を視認し難くなる。そこで、表示制御手段がスルー画像をシースルー表示部に表示することに応答して、シースルー表示部の透過率を下げ、また、表示制御手段がスルー画像の表示をシースルー表示部に停止することに応答してシースルー表示部の透過率を上げる透過率変更手段を備えるのが好適である。
【0010】
透過率変更手段としては、シースルー表示部の外界側である前面に設けられている液晶シャッタと、表示制御手段がスルー画像の表示をオンすることに応答してシースルー表示部を不透過状態にし、表示制御手段がスルー画像の表示をオフすることに応答してシースルー表示部が透過状態になるように液晶シャッタを制御する液晶シャッタ制御手段と、で構成するのが望ましい。
【0011】
シースルー表示部の画面から主要被写体がフレームアウトすることを視認し易くするために、追尾対象の主要被写体画像を取り囲むよう主要被写体検出枠をスルー画像に重ねて表示するのが好適である。そして、主要被写体画像の移動に応じて主要被写体検出枠を移動させるのが望ましい。なお、フレームアウトした主要被写体画像が所定時間内に再びフレームインした場合には、再び追尾するように構成してもよい。
【0012】
また、スルー画像の表示が停止している時に、撮像範囲を表すマークをシースルー表示部に表示するのが、撮像範囲、又は記録範囲を視認させることができるので望ましい。このとき、マークは、シースルー表示部に対する撮影者の顔の位置によって、視野範囲と実際の撮像範囲との間でずれが生じる。そこで、シースルー表示部と撮影者の顔の位置との相対位置を検出する顔位置検出手段と、検出した相対位置に応じてマークの表示位置、又はサイズを変えるマーク表示制御手段と、を備えるのが好適である。また、検出した相対位置に応じて主要被写体検出枠の表示位置、又はサイズを変える枠表示制御手段を備えても良い。
【発明の効果】
【0013】
本発明の電子カメラによれば、主要被写体画像が撮像範囲、又は記録範囲からフレームアウトすることに応答して表示制御手段がシースルー表示部に映るスルー画像の表示を停止するようにしたため、見失った外界の被写体像を、シースルー表示部を透して再び視認することができる。
【図面の簡単な説明】
【0014】
【図1】本実施形態の電子カメラを示す正面側斜視図である。
【図2】図1で説明した電子カメラを示す背面側斜視図であり、シースルー表示部を起立位置に回転した状態を示している。
【図3】図1で説明した電子カメラの電気的構成の概略を示すブロック図である。
【図4】図1で説明した電子カメラの動作手順を示すフローチャートである。
【図5】追尾動作の手順を示すフローチャートである。
【図6】撮像範囲を示すマークと顔検出枠とを視野像に重ねて表示した状態を示すシースルー画面の説明図である。
【図7】タッチフォーカスを行った状態を示すシースルー画面の説明図である。
【図8】タッチフォーカス後にスルー画像とAF枠とを表示した画面を示す説明図である。
【図9】AF枠で囲まれる顔画像を追尾している状態を示す画面の説明図である。
【図10】追尾対象の移動に伴いAF枠を移動した位置に更新表示した状態を示す画面の説明図である。
【図11】追尾対象が画面からフレームアウトした状態を示す画面の説明図である。
【図12】フレームアウト後に液晶シャッタをオフして外界の視野像にマークを重ねて表示した状態を示す画面の説明図である。
【図13】カメラボディの背面に撮影者の顔の位置を特定するサブカメラを設け、撮影者の位置に応じてマークと主要被写体検出枠とをずらす実施形態を示す電子カメラの背面側斜視図である。
【図14】図13で説明した電子カメラの電気的構成の要部を示すブロック図である。
【図15】(A)は撮影者の顔位置がシースルー表示部に正対したときの画面を示す説明図であり、(B)は正対位置から後方に撮影者の顔が移動したときの画面の表示を、また、(C)は前方に撮影者の顔が移動したときの画面の表示をそれぞれ示している。
【図16】(A)は正対位置から右方に撮影者の顔が移動したときの画面の表示を、(B)は正対位置から左方に撮影者の顔が移動したときの画面の表示を、(C)は正対位置から下方に撮影者の顔が移動したときの画面の表示を、(D)は正対位置から上方に撮影者の顔が移動したときの画面の表示をそれぞれ示す説明図である。
【発明を実施するための最良の形態】
【0015】
[第1実施形態]
本発明の一態様を例示する電子カメラ10には、図1及び図2に示すように、カメラボディ11の前面に撮影レンズ12を保持するレンズ鏡胴13が設けられている。上面には、レリーズボタン14、電源スイッチ15、及びシースルー表示部16が設けられている。シースルー表示部16は、表示面(画面)16aを背面に向けた姿勢になっている。カメラボディ11の右側面には、メモリカードが着脱自在に装填されるメモリカードスロットを覆う蓋17が設けられている。レリーズボタン14は、撮影(記録)のための操作の指示が行われたかを判断するボタンである。
【0016】
シースルー表示部16は、厚みの薄い透光性を有する自己発光型の有機EL(Electro Luminescence)パネルで構成されている。撮影者は、シースルー表示部16を透してフレーミングを行う。シースルー表示部16には、スルー画像、マーク20、及び顔検出枠21等の画像が表示される。マーク20は、撮像範囲又はこれよりも小さい記録範囲を表すものであり、矩形枠や括弧等、構図の範囲を表す形状で表示される。顔検出枠21は、外界の視野像の中の予め決めた被写体を取り囲むよう表示される。スルー画像の表示は、前記被写体のうちの特定した主要被写体の画像が少なくとも記録範囲からフレームアウトすることに応答して停止(オフ)される。なお、シースルー表示部16としては、透光性を有する透明液晶等でもよく、その種類は適宜変更可能である。
【0017】
シースルー表示部16の前側(被写体側)には、透過型の液晶シャッタ18が、また背面側(表示面側)には、透明なタッチパネル19がそれぞれ密着して設けられている。液晶シャッタ18は、シースルー表示部16の透過率を変えるためのものであり、スルー画像が表示されている時には透過率を下げてシースルー表示部16を不透過(遮光)状態にし、また、スルー画像の表示がオフしている時には透過率を高くしてシースルー表示部16を透過状態にする。タッチパネル19は、シースルー表示部16を透して視認される外界の視野像に含まれる被写体の中から一つの被写体(主要被写体)をタッチ操作により選択するためのものである。
【0018】
電子カメラ10の背面には、操作部23が設けられている。操作部23は、ズーム操作部24、メニューボタン25、及びメニュー画面内でカーソルなどを移動させる十字キー26等から構成される。なお、十字キー26には、選択内容を決定する際に操作する決定キーが中央に配されている。
【0019】
電子カメラ10は、図3に示すように、CPU30を備えている。CPU30には、不揮発性メモリ31、及びバッファメモリ32が接続されており、不揮発性メモリ31には、CPU30が種々の制御を行う際に参照される制御プログラムなどが格納されている。CPU30は、不揮発性メモリ31に格納されている制御プログラムに従い、バッファメモリ32を一時記憶作業領域として利用して各部の制御を行い、電子カメラ10を構成する各部(回路)機能を作動させる。
【0020】
撮影レンズ12から入射する被写体光は、CCDやCMOS等の撮像素子(撮像手段)33の撮像面に結像する。撮像素子駆動回路34は、CPU30からの制御信号に基づいて撮像素子33を駆動させる。これにより、撮像素子33の撮像面に結像した被写体像がアナログの撮像信号に変換されて、AFE(Analog Front End)回路を構成するCDS34、及びAMP35に順に出力される。変換された撮像信号は、AFE回路で所定のアナログ処理が施され、A/D(Analog/Digital変換器)36においてデジタル信号に変換される。
【0021】
ASIC(Application Specific Integrated Circuit)37は、画像処理回路を構成しており、A/D36でデジタル信号に変換された撮像信号を入力し、この撮像信号に対して、ホワイトバランス処理やガンマ補正等の画像処理を施す。なお、撮像範囲よりも記録範囲を小さく設定している場合には、ASIC37で記録範囲の画像に切り取るトリミング処理が行われる。
【0022】
画像処理を施した画像データは、SDRAM38にいったん記憶される。SDRAM38に記憶した画像データは、CPU30の制御により読み出されてYC変換回路39で輝度信号Yと色差信号Cr,Cbとに変換され、その後、VRAM40に格納される。なお、符号41はCPU30と各部(回路)とを繋ぐバスである。
【0023】
スルー画像をシースルー表示部16に表示する場合、VRAM40で展開された画像データは、バス41を介して表示制御部42に送られる。表示制御部42は、入力された画像データを表示用の所定方式の信号(例えば、NTSC方式のカラー複合映像信号)に変換してシースルー表示部16に出力する。
【0024】
また、YC変換回路39で輝度信号Yと色差信号Cr,Cbとに変換された画像データは、シャッタレリーズに応答して、圧縮伸長処理回路43で圧縮処理が施されてからメディアコントローラ44を介して記録媒体であるメモリカード45に記録される。
【0025】
AE・AWB検出回路46は、SDRAM38に取り込んだ1画面の画像データ(撮像画像)に基づいて1画面を複数のエリア(例えば、16×16)に分割したエリアごとにRGB信号を積算し、その積算値をCPU30に提供する。CPU30は、AE・AWB検出回路46から得た積算値に基づいて被写体の明るさ(被写体輝度)を決定し、決定した被写体輝度に基づいて適正な露出値(撮影EV値)を求める。そして、求めた露出値から所定のプログラム線図に従い、絞り値とシャッタスピードを決定し、これに従って撮像素子33の電子シャッタ、及び電子アイリスを制御して適正な露光量を得る。なお、メカシャッタを設けて、メカシャッタで絞りを可変してもよい。
【0026】
また、AE・AWB検出回路46は、自動ホワイトバランス調整時に、分割エリアごとにRGB信号の色別の平均積算値を算出し、その算出結果を、CPU30を介してASIC37に提供する。ASIC37は、Rの積算値、Bの積算値、Gの積算値を得ることで光源種判別を行い、判別された光源種に適したホワイトバランス調整値に従って各色チャンネルの信号に補正をかける。
【0027】
AF検出回路47は、撮像画像中に含まれる所定のエリア(AF枠)内の顔画像(主要被写体の画像)に基づいて明暗差(コントラスト)を検出し、検出結果をCPU30に送る。CPU30は、AF検出回路47から得られる明暗差(コントラスト)を確認しながらレンズ駆動部48を、明暗差が大きくなる合焦位置に撮影レンズ12が移動するように制御する。AF検出回路47及びCPU30が本発明のオートフォーカス手段を構成する。
【0028】
CPU30は、表示画像生成部49を備えている。表示画像生成部49は、シースルー表示部16に撮像素子33の撮像範囲又は記録範囲を表すマーク20を生成し、生成したマーク20の画像データを表示制御部42に送る。また、ズーム操作部24からの操作に応答して撮像範囲又は記録範囲の大きさが変化することに基づいて大きさを変えたマーク20を生成する。
【0029】
なお、CPU30は、シースルー表示部16の背面側の画面中央で、かつ予め決めた距離だけ離れた位置に撮影者の顔70が正対していると仮定し、この基準位置までの距離、シースルー表示部16の画面サイズ、及び撮影レンズ12の焦点距離(撮影画角)とに基づいてマーク20の表示位置を決めている。
【0030】
顔画像検出回路50は、撮像画像中に含まれる顔画像を検出し、その顔画像の位置や大きさ(範囲)の情報をCPU30に出力する。具体的には、顔画像検出回路50は、画像照合回路、及び顔画像テンプレートを有し、画像照合回路は、撮像画像の画面内で、検出窓を移動させながら、検出窓の画像と顔画像テンプレートとを照合し、両者の相関を調べる。そして、相関スコアが予め設定された閾値を越えると、その対象領域を顔領域として認定する。
【0031】
なお、顔画像検出回路としては、エッジ検出又は形状パターン検出による顔検出方法、色相検出又は肌色検出による顔検出方法等の公知の方法を利用することができる。また、顔以外に、例えば動物(ペット)や車、飛行機等を検出するようにしてもよい。この場合には、動物や車、飛行機等の特定被写体の画像テンプレートを設け、前述したように照合して特定被写体を検出する被写体検出回路を設ければよい。
【0032】
CPU30の表示画像生成部49は、顔画像検出回路50から顔画像の位置、及び大きさを表す情報を取得すると、スルー画像の表示をオフしている時に、顔画像の領域を囲む顔検出枠21の画像を外界の視野像に重ねてシースルー表示部16に表示するよう表示制御部42を制御する。具体的には、表示画像生成部49は、撮影レンズ12の合焦位置から割り出した被写体距離の情報と、予め決めた撮影者の顔までの距離情報とに基づいて、外界の視野像に含まれる顔画像に対応するシースルー表示部16の画面上での位置を決定し、決定した位置に顔検出枠21を表示するよう各部を制御する。顔画像を複数検出している場合には、複数の顔検出枠21を表示する。なお、顔検出枠21は、タッチパネル19によるタッチ操作(タッチフォーカス)により主要被写体を選択するための表示であり、スルー画像の表示がオフしている間、すなわちタッチパネル19によるタッチ操作(タッチフォーカス)が行われるまでは、マーク20の中央の被写体にフォーカスが合わせられる。
【0033】
CPU30は、タッチフォーカスによりフォーカス対象、及び追尾対象とする顔検出枠21が指定されると、これに応答してシースルー表示部16にスルー画像を表示するとともに、指定された顔検出枠21をフォーカス対象とするAF枠に設定し、設定したAF枠の位置、及び大きさを表す情報を追尾処理回路51に送出する。そして、表示画像生成部49は、AF枠の画像をスルー画像に重畳するよう表示制御部42を制御する。
【0034】
追尾処理回路51は、パターン登録手段、登録部、及び追尾対象検出手段で構成されている。パターン登録手段は、撮像画像に含まれる顔検出枠21の範囲よりも大きめの範囲から取り込んだ画像を基準パターンとして登録部に登録する。追尾対象検出手段は、新たに取り込んだ撮像画像に基づき、登録部に登録した基準パターンと最も合致する一部分画像を検出するパターンマッチング処理を行い、検出した一部分画像の位置を求めることによって追尾対象の顔画像の位置情報をCPU30に送る。CPU30は、得られた位置情報に基づいて顔画像を追尾するようにAF枠の表示位置を変更するよう表示制御部42を制御する。液晶シャッタ18は、ドライバ52を介してCPU30により透過率が制御される。
【0035】
なお、追尾処理回路51としては、フレーム間差分抽出による動体認識の技術を応用した構成のものを採用してもよい。この場合、その時点の撮像画像と前回(前フレーム)の撮像画像との差分を抽出することによって動体のみの画像を抽出し、これによって撮像範囲内での主要被写体の位置を検出する。
【0036】
次に、上記構成の作用を、図4及び図5を参照しながら説明する。CPU30は、電源スイッチ15のオン(S−1)に応答して、液晶シャッタ18をオフしてシースルー表示部16を透過にする(S−2)。そして、表示画像生成部49は、撮像範囲を表すマーク20をシースルー表示部16に表示する(S−3)。マーク20は、パララックスを補正する分ずらして表示するのが好適である。
【0037】
これにより、シースルー表示部16の画面には、図6に示すように、マーク20の画像が撮影者の外界53の視野像54に重なって表示される。なお、シースルー表示部の画面のうち、マーク20の外の領域に薄い色を表示して撮像範囲外を薄く遮光してもよい。また、液晶シャッタ18で撮像範囲外を不透過にしてもよい。
【0038】
ズーム操作部24でズーム操作がなされると、表示画像生成部49は、ズーム操作に応答して倍率が変化する撮像範囲又は記録範囲に基づいて大きさを変えたマーク20を生成する。例えば、テレ端のときには、ワイド端のときと比べて、シースルー表示部16を透して見られる視野像54に対してマーク20が小サイズで表示される。
【0039】
撮影レンズ12、及び撮像素子33を通じて画像信号が連続的に取り込まれる(S−4)。取り込んだ画像信号はデジタルの画像データに変換され、変換した画像データはASIC37で各種画像処理を施してからSDRAM38に格納される。
【0040】
SDRAM38に格納した画像データは、AF検出回路47、AE・AWB検出回路46、及び顔画像検出回路50等に送られる。AF検出回路47は、画面中央の画像のコントラストに応じて撮影レンズ12を大まかなピッチで移動させて画面中央の位置にある被写体にピントが合うように各部を制御する。また、AE・AWB検出回路46は、被写体輝度に応じた露出や光源の種類に応じたホワイトバランス値になるように各部を制御する。
【0041】
顔画像検出回路50は、撮像画像に含まれる顔画像を検出し(S−5)、検出した顔画像の大きさ、及びその位置の情報をCPU30に送る。CPU30の表示画像生成部49は、顔画像の大きさ、及びその位置の情報に基づいて視野像54に含まれる顔画像55,56を取り囲むように顔検出枠21a,21bをシースルー表示部16に表示する(S−6)。
【0042】
撮影者は、シースルー表示部16に表示される顔検出枠21a,21bのうちのフォーカス対象の顔検出枠21aをタッチ操作(タッチフォーカス)して選択する(S−7)。なお、図7では、選択した顔検出枠21aを点灯表示の形態で表している。CPU30は、タッチ操作に応答して、撮像画像又は記録画像をスルー画像としてシースルー表示部16の画面いっぱいに表示し、かつ液晶シャッタ18をオンしてシースルー表示部16を不透過にする(S−8)。
【0043】
これにより、シースルー表示部16には、スルー画像のみが視認され、外界53の視野像54は視認されなくなる。そして、CPU30は、タッチフォーカスにより選択した顔検出枠21をAF枠として主要被写体検出枠(追尾対象枠)60に設定し、図8に示すように、設定した主要被写体検出枠60の画像をスルー画像62に重畳して表示し(S−9)、主要被写体検出枠60内の顔画像にフォーカスを合わせる制御を行う。その後、主要被写体検出枠60内の顔画像に対して追尾動作が行われる(S−10)。なお、顔検出枠21や主要被写体検出枠60の画像は、丸形状に限らず、矩形でもよい。また、主要被写体検出枠60の画像は、顔検出枠21a,21bとは異なる色や形状で表示してもよい。
【0044】
追尾動作は、追尾処理回路51により行われる。追尾処理回路51は、詳しくは図5に示すように、主要被写体検出枠60よりも大きめの範囲から取り込んだ画像を基準パターン画像として登録部に登録する(S−11)。追尾対象検出手段は、新たに取り込んだ撮像画像に基づき、パターン登録手段で登録した基準パターン画像と最も合致する一部分画像を検出し(S−13)、検出した一部分画像の位置を求める。この顔画像の位置情報は、CPU30に送られる。
【0045】
CPU30は、顔画像の位置情報を取得することで、顔画像の位置が前回と比べて移動したか否かを判定し(S−14)、移動している場合、顔画像の位置情報に基づいて主要被写体検出枠60の表示位置を変更するように表示制御部42を制御する(S−15)。これにより、前回(一つ前)のスルー画像62に表示されていた主要被写体検出枠60(図9参照)は、次のスルー画像62上では、図10に示すように、追尾対象の顔画像が移動した位置に追従して表示される。
【0046】
追尾処理回路51は、図11に示すように、追尾対象の顔画像が撮像範囲又は記録範囲から外れる(フレームアウトする)と(S−16)、このフレームアウト情報をCPU30に送る。CPU30は、フレームアウト情報を受け取ることに応答してシースルー表示部16へのスルー画像62の表示を停止し、その後、液晶シャッタ18の透過率を高くして(オフして)、シースルー表示部16を透過にする。そして、これと同時にマーク20を表示する(S−18)。
【0047】
シースルー表示部16が透過になると、図12に示すように、外界53の視野像54が視認される。これにより、マーク20からフレームアウトした追尾対象の主要被写体64を瞬時に見つけることができる。見つけたら、その方向に電子カメラ10を振ることでシースルー表示部16を透して再び主要被写体64を撮像範囲又は記録範囲にフレームインすることができる。このように、主要被写体が撮像範囲又は記録範囲にフレームインする場合には、再び追尾するのが好適である。
【0048】
そこで、フレームアウトしてから所定時間が経過するまでに、追尾対象が再び撮像範囲又は記録範囲内にフレームインしたことを追尾処理回路51が検出すると、CPU30は、液晶シャッタ18をオンしてシースルー表示部16にスルー画像を表示するとともに、追尾対象の顔画像の領域にAF枠である主要被写体検出枠60を表示して、追尾処理回路51に追尾動作を開始させる(S−19)。
【0049】
このように、まずシースルー表示部16から視認される外界53の視野像54を見ながら撮影者にタッチフォーカスを行わせることで、フォーカスポイントをターゲットに合わせてもらう。これにより、撮像画像の中のどの部分が追尾対象のターゲットなのかを電子カメラ10が知る。撮像画像の構図が変わったときには、変更前後の画像の差分を取って追尾対象がどこに移動したかを算出し、移動した追尾対象に対して再度ピントを合わせるという手順を行う。なお、追尾処理回路51は、追尾対象の形が変わってしまったときでも追尾することができるよう追尾対象の画像の色も識別してパターン登録している。
【0050】
撮影は、スルー画像をシースルー表示部16に表示中に行われる。レリーズボタン14の操作により撮影指示がCPU30に入力されると(S−20)、CPU30は、これに応答して撮像動作を行い(S−21)、このとき取り込んだ画像データに対して圧縮伸長処理回路43で圧縮処理を施してからメディアコントローラ44を介してメモリカード45に記録する(S−22)。このとき、記録される画像データは、撮像範囲と同じか又はこれよりも小さい記録範囲に対応する画像データになっている。
【0051】
なお、主要被写体の画像がフレームアウトしてから所定時間経過した場合には(S−19のNO側)、追尾対象が変わったものとみなし、液晶シャッタ18をオフしてシースルー表示部16を透過状態にしてから(S−2)、シースルー表示部16にマーク20を表示するとともに(S−3)、AE・AF処理を施した後に顔画像領域の検出を行って(S−5)、特定被写体の画像に顔検出枠21を表示する(S−6)。
【0052】
また、上記各実施形態では、複数の特定被写体の画像(複数の顔検出枠21内の画像)のうちの一つの主要被写体の画像を主要被写体検出枠60の画像として選択するための選択手段として、タッチパネル19を利用したタッチ操作(タッチフォーカス)としているが、本発明でこれに限らず、十字キー26を用いた上下左右への操作で選択するようにしてもよい。
【0053】
[実施形態2]
ところで、シースルー表示部16を透して外界の視野像を視認しているときに、シースルー表示部16に対して撮影者の顔の位置が変わると、シースルー表示部16を透して視認される外界の視野像の構図が変わってしまう。このため、撮像範囲を表すマーク20と撮影者が見ている実際の視野範囲とがずれてしまう。
【0054】
そこで、図13に示すように、実施形態2の電子カメラ65は、図3で説明した位置検出部の代わりに、サブカメラ66を背面に設け、サブカメラ66で撮影者の顔を撮像して撮影者の位置を特定する。
【0055】
サブカメラ66は、図14に示すように、光学レンズ67、撮像素子68、CDS69、AMP70、A/D71、及びASIC72とで構成されており、光学レンズ67と絞りとでパンフォーカスを達成している。撮像素子68で撮像したデジタルのサブ画像データは、SDRAM38に保存され、SDRAM38から読み出されて顔位置検出回路73に取り込まれる。
【0056】
顔位置検出回路73は、前回取得したサブ画像データと、今回取得したサブ画像データとの差分を抽出することによって移動した撮影者の顔画像を抽出する。これによって撮像範囲内での撮影者の顔の位置を検出する。具体的には、撮影者の顔の水平及び垂直方向の位置、及び顔サイズとの情報をサブカメラ66の撮像範囲内で検出する。なお、顔サイズの情報は、シースルー表示部16と撮影者の顔との距離を決める時に用いる。これら情報は、CPU30に送られる。CPU30は、スルー画像の表示をオフしている時に、これら情報に基づいてマーク20、及び顔検出枠21の位置、及び大きさを決定し、決定した位置、及び大きさでマーク20、及び顔検出枠21をシースルー表示部16に表示するよう表示制御部42を制御する。
【0057】
以下、図15及び図16で説明する主要被写体は、顔ではなく、植物として説明している。図15(A)に示すように、スルー画像の表示をオフしている時には、マーク20と、主要被写体検出枠60とがシースルー表示部16に表示されている。ここで、図15(A)では、撮影者の顔が、シースルー表示部16の背面側の画面中央で、かつ予め決めた距離だけ離れた位置(正対する基準位置)になっている。この時のマーク20、主要被写体検出枠60の位置、及び大きさは、図15(A)に示すシースルー表示部16の画面に表示された位置、及び大きさになる。
【0058】
基準位置にある撮影者の顔70がシースルー表示部16から後ろに離れた場合、図15(B)に示すように、シースルー表示部16の画面に映るマーク20、及び主要被写体検出枠60は、顔70の移動方向、及び移動量、この場合は左右上下に移動しておらず、後方への移動のみであるので、後方への移動量に基づいて拡大して表示される。
【0059】
また、顔70がシースルー表示部16から前方に近づく場合、図15(C)に示すように、シースルー表示部16の画面に映るマーク20、及び主要被写体検出枠60は、前方への移動量に基づいて縮小して表示される。
【0060】
顔70がシースルー表示部16に対して右方向に移動した場合、図16(A)に示すように、シースルー表示部16の画面に映るマーク20、及び主要被写体検出枠60は、顔70が基準位置の時の表示位置(図15(A)のシースルー表示部16の表示位置)に対して右方に寄って表示される。
【0061】
逆に、顔70がシースルー表示部16に対して左方向に移動した場合、図16(B)に示すように、シースルー表示部16の画面に映るマーク20、及び主要被写体検出枠60は、顔70が基準位置の時の表示位置に対して左方に寄って表示される。
【0062】
顔70がシースルー表示部16に対して下方向に移動した場合、図16(C)に示すように、シースルー表示部16の画面に映るマーク20、及び主要被写体検出枠60は、顔70が基準位置の時の表示位置に対して下方に寄って表示される。
【0063】
逆に、顔70がシースルー表示部16に対して上方向に移動した場合、図16(D)に示すように、シースルー表示部16の画面に映るマーク20、及び主要被写体検出枠60は、顔70が基準位置の時の表示位置に対して上方に寄って表示される。
【0064】
なお、図15及び図16では、図中左上が電子カメラ65に対する顔70の位置を示した平面図、左下がその側面図、右側がシースルー表示部16の画面を示す。シースルー表示部16の画面には、外界の視野像71に重なってマーク20、及び主要被写体検出枠60が表示されている。
【0065】
第2実施形態の電子カメラ65に、別に測距手段を設け、測距手段で撮影者の顔までの距離を正確に検出するようにしてもよい。測距手段としては、周知のように、測距光、例えば赤外光を投光する投光器と、その反射光を受光する例えばPSD等の受光器とで構成したものでよい。
【0066】
上記各実施形態では、マーク20をシースルー表示部16の画面に表示するようにしているが、液晶シャッタ18に表示するように構成してもよい。
【0067】
また、上記各実施形態では、ユーザの顔がシースルー表示部16に対して一定量以上移動したことを、サブカメラ66から得られる出力信号に基づいてCPU30が検出した場合、CPU30は、マーク(構図枠)20、及び主要被写体検出枠(追尾対象枠)60を非表示に切替えるように制御してもよい。
【符号の説明】
【0068】
10,65 電子カメラ
12 撮影レンズ
16 シースルー表示部
18 液晶シャッタ
19 タッチパネル
20 マーク(構図枠)
21 顔検出枠
60 主要被写体検出枠(追尾対象枠)
【技術分野】
【0001】
本発明は、光透過性を有するシースルー表示部を備える電子カメラに関する。
【背景技術】
【0002】
電子ビューファインダ(EVF)を採用する電子カメラの多くは、ファインダ内の観察視野が狭いため、例えば高速で移動している被写体をファインダ内から見失うことがよくある。また、カメラボディの背面に設けた大型の液晶表示部にスルー画像を表示させてフレーミングを行う電子カメラも多い。しかし、大型の背面表示部に表示されるスルー画像でもズーム操作をするとさらに観察視野が狭くなるため、背面表示部の画面から被写体を見失うおそれがある。このようになると、その被写体をファインダの視野内に再び捕えることは困難になる。そこで、撮影者は、いったんファインダから視線を外して肉眼でその被写体の位置を確認する等の手間がかかる。
【0003】
また、EVFや液晶表示部に表示される画像は、デジタル変換や画像処理等を経てから表示部に表示するため、実際の被写体の動きと画面表示との間で若干のズレ(タイムラグ)が生じる。このため、スポーツ等で動く被写体を撮る時は、ベストのタイミングでシャッタレリーズを行ったつもりでもほんの少し遅れて写ってしまうおそれがある。
【0004】
このような問題を解決するために、ホログラムの技術をスポーツファインダに応用したビデオカメラのファインダ装置が知られている(特許文献1)。このファインダ装置は、被写体像を透過させるスクリーンにホログラムにより撮影画像を投影することによって、外界の視野像と撮像素子で撮像している撮影画像とを重畳表示させている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平9−65183号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載のファインダ装置は、外界の視野像と撮像画像とをリアルタイムで重畳表示することで記録画像の確認が行える効果を有するものの、外界の視野像と撮像画像とを重畳表示しているため、外界の主要被写体が視認し難い。このため、主要被写体が撮像範囲から外れたことや、再び撮像範囲に入ってきたことを確認し難く、動きの速い被写体に対してフレーミングし難かった。
【0007】
本発明は、上記事情に鑑みてなされたものであり、外界の中の主要被写体を視認し易いシースルー表示部を備えた電子カメラを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明を例示する電子カメラの一態様は、光学系により結像される外界像を撮像する撮像手段と、外界の視野像が透けて見えるシースルー表示部と、撮像手段により撮像された撮像画像に含まれる被写体のうちの予め決めた特定被写体を検出する被写体検出手段と、特定被写体のうちの選択される主要被写体の画像にピントが合うように光学系のフォーカス調整を行うオートフォーカス手段と、撮像画像内で主要被写体の画像の移動を追尾する追尾手段と、撮像手段の撮像範囲と同じ、又はこれよりも小さい記録範囲の画像をシャッタレリーズに応じて媒体に記録する記録手段と、画像をスルー画像としてシースルー表示部に表示する表示制御手段と、を備え、表示制御手段は、主要被写体画像が撮像範囲、又は記録範囲からフレームアウトすることに応答してスルー画像の表示を停止するようにしたものである。
【0009】
シースルー表示部は、スルー画像を外界の視野像に重ねて表示する。しかし、像が二重表示になり、しかもスルー画像が少し遅れて表示されるため被写体を視認し難くなる。そこで、表示制御手段がスルー画像をシースルー表示部に表示することに応答して、シースルー表示部の透過率を下げ、また、表示制御手段がスルー画像の表示をシースルー表示部に停止することに応答してシースルー表示部の透過率を上げる透過率変更手段を備えるのが好適である。
【0010】
透過率変更手段としては、シースルー表示部の外界側である前面に設けられている液晶シャッタと、表示制御手段がスルー画像の表示をオンすることに応答してシースルー表示部を不透過状態にし、表示制御手段がスルー画像の表示をオフすることに応答してシースルー表示部が透過状態になるように液晶シャッタを制御する液晶シャッタ制御手段と、で構成するのが望ましい。
【0011】
シースルー表示部の画面から主要被写体がフレームアウトすることを視認し易くするために、追尾対象の主要被写体画像を取り囲むよう主要被写体検出枠をスルー画像に重ねて表示するのが好適である。そして、主要被写体画像の移動に応じて主要被写体検出枠を移動させるのが望ましい。なお、フレームアウトした主要被写体画像が所定時間内に再びフレームインした場合には、再び追尾するように構成してもよい。
【0012】
また、スルー画像の表示が停止している時に、撮像範囲を表すマークをシースルー表示部に表示するのが、撮像範囲、又は記録範囲を視認させることができるので望ましい。このとき、マークは、シースルー表示部に対する撮影者の顔の位置によって、視野範囲と実際の撮像範囲との間でずれが生じる。そこで、シースルー表示部と撮影者の顔の位置との相対位置を検出する顔位置検出手段と、検出した相対位置に応じてマークの表示位置、又はサイズを変えるマーク表示制御手段と、を備えるのが好適である。また、検出した相対位置に応じて主要被写体検出枠の表示位置、又はサイズを変える枠表示制御手段を備えても良い。
【発明の効果】
【0013】
本発明の電子カメラによれば、主要被写体画像が撮像範囲、又は記録範囲からフレームアウトすることに応答して表示制御手段がシースルー表示部に映るスルー画像の表示を停止するようにしたため、見失った外界の被写体像を、シースルー表示部を透して再び視認することができる。
【図面の簡単な説明】
【0014】
【図1】本実施形態の電子カメラを示す正面側斜視図である。
【図2】図1で説明した電子カメラを示す背面側斜視図であり、シースルー表示部を起立位置に回転した状態を示している。
【図3】図1で説明した電子カメラの電気的構成の概略を示すブロック図である。
【図4】図1で説明した電子カメラの動作手順を示すフローチャートである。
【図5】追尾動作の手順を示すフローチャートである。
【図6】撮像範囲を示すマークと顔検出枠とを視野像に重ねて表示した状態を示すシースルー画面の説明図である。
【図7】タッチフォーカスを行った状態を示すシースルー画面の説明図である。
【図8】タッチフォーカス後にスルー画像とAF枠とを表示した画面を示す説明図である。
【図9】AF枠で囲まれる顔画像を追尾している状態を示す画面の説明図である。
【図10】追尾対象の移動に伴いAF枠を移動した位置に更新表示した状態を示す画面の説明図である。
【図11】追尾対象が画面からフレームアウトした状態を示す画面の説明図である。
【図12】フレームアウト後に液晶シャッタをオフして外界の視野像にマークを重ねて表示した状態を示す画面の説明図である。
【図13】カメラボディの背面に撮影者の顔の位置を特定するサブカメラを設け、撮影者の位置に応じてマークと主要被写体検出枠とをずらす実施形態を示す電子カメラの背面側斜視図である。
【図14】図13で説明した電子カメラの電気的構成の要部を示すブロック図である。
【図15】(A)は撮影者の顔位置がシースルー表示部に正対したときの画面を示す説明図であり、(B)は正対位置から後方に撮影者の顔が移動したときの画面の表示を、また、(C)は前方に撮影者の顔が移動したときの画面の表示をそれぞれ示している。
【図16】(A)は正対位置から右方に撮影者の顔が移動したときの画面の表示を、(B)は正対位置から左方に撮影者の顔が移動したときの画面の表示を、(C)は正対位置から下方に撮影者の顔が移動したときの画面の表示を、(D)は正対位置から上方に撮影者の顔が移動したときの画面の表示をそれぞれ示す説明図である。
【発明を実施するための最良の形態】
【0015】
[第1実施形態]
本発明の一態様を例示する電子カメラ10には、図1及び図2に示すように、カメラボディ11の前面に撮影レンズ12を保持するレンズ鏡胴13が設けられている。上面には、レリーズボタン14、電源スイッチ15、及びシースルー表示部16が設けられている。シースルー表示部16は、表示面(画面)16aを背面に向けた姿勢になっている。カメラボディ11の右側面には、メモリカードが着脱自在に装填されるメモリカードスロットを覆う蓋17が設けられている。レリーズボタン14は、撮影(記録)のための操作の指示が行われたかを判断するボタンである。
【0016】
シースルー表示部16は、厚みの薄い透光性を有する自己発光型の有機EL(Electro Luminescence)パネルで構成されている。撮影者は、シースルー表示部16を透してフレーミングを行う。シースルー表示部16には、スルー画像、マーク20、及び顔検出枠21等の画像が表示される。マーク20は、撮像範囲又はこれよりも小さい記録範囲を表すものであり、矩形枠や括弧等、構図の範囲を表す形状で表示される。顔検出枠21は、外界の視野像の中の予め決めた被写体を取り囲むよう表示される。スルー画像の表示は、前記被写体のうちの特定した主要被写体の画像が少なくとも記録範囲からフレームアウトすることに応答して停止(オフ)される。なお、シースルー表示部16としては、透光性を有する透明液晶等でもよく、その種類は適宜変更可能である。
【0017】
シースルー表示部16の前側(被写体側)には、透過型の液晶シャッタ18が、また背面側(表示面側)には、透明なタッチパネル19がそれぞれ密着して設けられている。液晶シャッタ18は、シースルー表示部16の透過率を変えるためのものであり、スルー画像が表示されている時には透過率を下げてシースルー表示部16を不透過(遮光)状態にし、また、スルー画像の表示がオフしている時には透過率を高くしてシースルー表示部16を透過状態にする。タッチパネル19は、シースルー表示部16を透して視認される外界の視野像に含まれる被写体の中から一つの被写体(主要被写体)をタッチ操作により選択するためのものである。
【0018】
電子カメラ10の背面には、操作部23が設けられている。操作部23は、ズーム操作部24、メニューボタン25、及びメニュー画面内でカーソルなどを移動させる十字キー26等から構成される。なお、十字キー26には、選択内容を決定する際に操作する決定キーが中央に配されている。
【0019】
電子カメラ10は、図3に示すように、CPU30を備えている。CPU30には、不揮発性メモリ31、及びバッファメモリ32が接続されており、不揮発性メモリ31には、CPU30が種々の制御を行う際に参照される制御プログラムなどが格納されている。CPU30は、不揮発性メモリ31に格納されている制御プログラムに従い、バッファメモリ32を一時記憶作業領域として利用して各部の制御を行い、電子カメラ10を構成する各部(回路)機能を作動させる。
【0020】
撮影レンズ12から入射する被写体光は、CCDやCMOS等の撮像素子(撮像手段)33の撮像面に結像する。撮像素子駆動回路34は、CPU30からの制御信号に基づいて撮像素子33を駆動させる。これにより、撮像素子33の撮像面に結像した被写体像がアナログの撮像信号に変換されて、AFE(Analog Front End)回路を構成するCDS34、及びAMP35に順に出力される。変換された撮像信号は、AFE回路で所定のアナログ処理が施され、A/D(Analog/Digital変換器)36においてデジタル信号に変換される。
【0021】
ASIC(Application Specific Integrated Circuit)37は、画像処理回路を構成しており、A/D36でデジタル信号に変換された撮像信号を入力し、この撮像信号に対して、ホワイトバランス処理やガンマ補正等の画像処理を施す。なお、撮像範囲よりも記録範囲を小さく設定している場合には、ASIC37で記録範囲の画像に切り取るトリミング処理が行われる。
【0022】
画像処理を施した画像データは、SDRAM38にいったん記憶される。SDRAM38に記憶した画像データは、CPU30の制御により読み出されてYC変換回路39で輝度信号Yと色差信号Cr,Cbとに変換され、その後、VRAM40に格納される。なお、符号41はCPU30と各部(回路)とを繋ぐバスである。
【0023】
スルー画像をシースルー表示部16に表示する場合、VRAM40で展開された画像データは、バス41を介して表示制御部42に送られる。表示制御部42は、入力された画像データを表示用の所定方式の信号(例えば、NTSC方式のカラー複合映像信号)に変換してシースルー表示部16に出力する。
【0024】
また、YC変換回路39で輝度信号Yと色差信号Cr,Cbとに変換された画像データは、シャッタレリーズに応答して、圧縮伸長処理回路43で圧縮処理が施されてからメディアコントローラ44を介して記録媒体であるメモリカード45に記録される。
【0025】
AE・AWB検出回路46は、SDRAM38に取り込んだ1画面の画像データ(撮像画像)に基づいて1画面を複数のエリア(例えば、16×16)に分割したエリアごとにRGB信号を積算し、その積算値をCPU30に提供する。CPU30は、AE・AWB検出回路46から得た積算値に基づいて被写体の明るさ(被写体輝度)を決定し、決定した被写体輝度に基づいて適正な露出値(撮影EV値)を求める。そして、求めた露出値から所定のプログラム線図に従い、絞り値とシャッタスピードを決定し、これに従って撮像素子33の電子シャッタ、及び電子アイリスを制御して適正な露光量を得る。なお、メカシャッタを設けて、メカシャッタで絞りを可変してもよい。
【0026】
また、AE・AWB検出回路46は、自動ホワイトバランス調整時に、分割エリアごとにRGB信号の色別の平均積算値を算出し、その算出結果を、CPU30を介してASIC37に提供する。ASIC37は、Rの積算値、Bの積算値、Gの積算値を得ることで光源種判別を行い、判別された光源種に適したホワイトバランス調整値に従って各色チャンネルの信号に補正をかける。
【0027】
AF検出回路47は、撮像画像中に含まれる所定のエリア(AF枠)内の顔画像(主要被写体の画像)に基づいて明暗差(コントラスト)を検出し、検出結果をCPU30に送る。CPU30は、AF検出回路47から得られる明暗差(コントラスト)を確認しながらレンズ駆動部48を、明暗差が大きくなる合焦位置に撮影レンズ12が移動するように制御する。AF検出回路47及びCPU30が本発明のオートフォーカス手段を構成する。
【0028】
CPU30は、表示画像生成部49を備えている。表示画像生成部49は、シースルー表示部16に撮像素子33の撮像範囲又は記録範囲を表すマーク20を生成し、生成したマーク20の画像データを表示制御部42に送る。また、ズーム操作部24からの操作に応答して撮像範囲又は記録範囲の大きさが変化することに基づいて大きさを変えたマーク20を生成する。
【0029】
なお、CPU30は、シースルー表示部16の背面側の画面中央で、かつ予め決めた距離だけ離れた位置に撮影者の顔70が正対していると仮定し、この基準位置までの距離、シースルー表示部16の画面サイズ、及び撮影レンズ12の焦点距離(撮影画角)とに基づいてマーク20の表示位置を決めている。
【0030】
顔画像検出回路50は、撮像画像中に含まれる顔画像を検出し、その顔画像の位置や大きさ(範囲)の情報をCPU30に出力する。具体的には、顔画像検出回路50は、画像照合回路、及び顔画像テンプレートを有し、画像照合回路は、撮像画像の画面内で、検出窓を移動させながら、検出窓の画像と顔画像テンプレートとを照合し、両者の相関を調べる。そして、相関スコアが予め設定された閾値を越えると、その対象領域を顔領域として認定する。
【0031】
なお、顔画像検出回路としては、エッジ検出又は形状パターン検出による顔検出方法、色相検出又は肌色検出による顔検出方法等の公知の方法を利用することができる。また、顔以外に、例えば動物(ペット)や車、飛行機等を検出するようにしてもよい。この場合には、動物や車、飛行機等の特定被写体の画像テンプレートを設け、前述したように照合して特定被写体を検出する被写体検出回路を設ければよい。
【0032】
CPU30の表示画像生成部49は、顔画像検出回路50から顔画像の位置、及び大きさを表す情報を取得すると、スルー画像の表示をオフしている時に、顔画像の領域を囲む顔検出枠21の画像を外界の視野像に重ねてシースルー表示部16に表示するよう表示制御部42を制御する。具体的には、表示画像生成部49は、撮影レンズ12の合焦位置から割り出した被写体距離の情報と、予め決めた撮影者の顔までの距離情報とに基づいて、外界の視野像に含まれる顔画像に対応するシースルー表示部16の画面上での位置を決定し、決定した位置に顔検出枠21を表示するよう各部を制御する。顔画像を複数検出している場合には、複数の顔検出枠21を表示する。なお、顔検出枠21は、タッチパネル19によるタッチ操作(タッチフォーカス)により主要被写体を選択するための表示であり、スルー画像の表示がオフしている間、すなわちタッチパネル19によるタッチ操作(タッチフォーカス)が行われるまでは、マーク20の中央の被写体にフォーカスが合わせられる。
【0033】
CPU30は、タッチフォーカスによりフォーカス対象、及び追尾対象とする顔検出枠21が指定されると、これに応答してシースルー表示部16にスルー画像を表示するとともに、指定された顔検出枠21をフォーカス対象とするAF枠に設定し、設定したAF枠の位置、及び大きさを表す情報を追尾処理回路51に送出する。そして、表示画像生成部49は、AF枠の画像をスルー画像に重畳するよう表示制御部42を制御する。
【0034】
追尾処理回路51は、パターン登録手段、登録部、及び追尾対象検出手段で構成されている。パターン登録手段は、撮像画像に含まれる顔検出枠21の範囲よりも大きめの範囲から取り込んだ画像を基準パターンとして登録部に登録する。追尾対象検出手段は、新たに取り込んだ撮像画像に基づき、登録部に登録した基準パターンと最も合致する一部分画像を検出するパターンマッチング処理を行い、検出した一部分画像の位置を求めることによって追尾対象の顔画像の位置情報をCPU30に送る。CPU30は、得られた位置情報に基づいて顔画像を追尾するようにAF枠の表示位置を変更するよう表示制御部42を制御する。液晶シャッタ18は、ドライバ52を介してCPU30により透過率が制御される。
【0035】
なお、追尾処理回路51としては、フレーム間差分抽出による動体認識の技術を応用した構成のものを採用してもよい。この場合、その時点の撮像画像と前回(前フレーム)の撮像画像との差分を抽出することによって動体のみの画像を抽出し、これによって撮像範囲内での主要被写体の位置を検出する。
【0036】
次に、上記構成の作用を、図4及び図5を参照しながら説明する。CPU30は、電源スイッチ15のオン(S−1)に応答して、液晶シャッタ18をオフしてシースルー表示部16を透過にする(S−2)。そして、表示画像生成部49は、撮像範囲を表すマーク20をシースルー表示部16に表示する(S−3)。マーク20は、パララックスを補正する分ずらして表示するのが好適である。
【0037】
これにより、シースルー表示部16の画面には、図6に示すように、マーク20の画像が撮影者の外界53の視野像54に重なって表示される。なお、シースルー表示部の画面のうち、マーク20の外の領域に薄い色を表示して撮像範囲外を薄く遮光してもよい。また、液晶シャッタ18で撮像範囲外を不透過にしてもよい。
【0038】
ズーム操作部24でズーム操作がなされると、表示画像生成部49は、ズーム操作に応答して倍率が変化する撮像範囲又は記録範囲に基づいて大きさを変えたマーク20を生成する。例えば、テレ端のときには、ワイド端のときと比べて、シースルー表示部16を透して見られる視野像54に対してマーク20が小サイズで表示される。
【0039】
撮影レンズ12、及び撮像素子33を通じて画像信号が連続的に取り込まれる(S−4)。取り込んだ画像信号はデジタルの画像データに変換され、変換した画像データはASIC37で各種画像処理を施してからSDRAM38に格納される。
【0040】
SDRAM38に格納した画像データは、AF検出回路47、AE・AWB検出回路46、及び顔画像検出回路50等に送られる。AF検出回路47は、画面中央の画像のコントラストに応じて撮影レンズ12を大まかなピッチで移動させて画面中央の位置にある被写体にピントが合うように各部を制御する。また、AE・AWB検出回路46は、被写体輝度に応じた露出や光源の種類に応じたホワイトバランス値になるように各部を制御する。
【0041】
顔画像検出回路50は、撮像画像に含まれる顔画像を検出し(S−5)、検出した顔画像の大きさ、及びその位置の情報をCPU30に送る。CPU30の表示画像生成部49は、顔画像の大きさ、及びその位置の情報に基づいて視野像54に含まれる顔画像55,56を取り囲むように顔検出枠21a,21bをシースルー表示部16に表示する(S−6)。
【0042】
撮影者は、シースルー表示部16に表示される顔検出枠21a,21bのうちのフォーカス対象の顔検出枠21aをタッチ操作(タッチフォーカス)して選択する(S−7)。なお、図7では、選択した顔検出枠21aを点灯表示の形態で表している。CPU30は、タッチ操作に応答して、撮像画像又は記録画像をスルー画像としてシースルー表示部16の画面いっぱいに表示し、かつ液晶シャッタ18をオンしてシースルー表示部16を不透過にする(S−8)。
【0043】
これにより、シースルー表示部16には、スルー画像のみが視認され、外界53の視野像54は視認されなくなる。そして、CPU30は、タッチフォーカスにより選択した顔検出枠21をAF枠として主要被写体検出枠(追尾対象枠)60に設定し、図8に示すように、設定した主要被写体検出枠60の画像をスルー画像62に重畳して表示し(S−9)、主要被写体検出枠60内の顔画像にフォーカスを合わせる制御を行う。その後、主要被写体検出枠60内の顔画像に対して追尾動作が行われる(S−10)。なお、顔検出枠21や主要被写体検出枠60の画像は、丸形状に限らず、矩形でもよい。また、主要被写体検出枠60の画像は、顔検出枠21a,21bとは異なる色や形状で表示してもよい。
【0044】
追尾動作は、追尾処理回路51により行われる。追尾処理回路51は、詳しくは図5に示すように、主要被写体検出枠60よりも大きめの範囲から取り込んだ画像を基準パターン画像として登録部に登録する(S−11)。追尾対象検出手段は、新たに取り込んだ撮像画像に基づき、パターン登録手段で登録した基準パターン画像と最も合致する一部分画像を検出し(S−13)、検出した一部分画像の位置を求める。この顔画像の位置情報は、CPU30に送られる。
【0045】
CPU30は、顔画像の位置情報を取得することで、顔画像の位置が前回と比べて移動したか否かを判定し(S−14)、移動している場合、顔画像の位置情報に基づいて主要被写体検出枠60の表示位置を変更するように表示制御部42を制御する(S−15)。これにより、前回(一つ前)のスルー画像62に表示されていた主要被写体検出枠60(図9参照)は、次のスルー画像62上では、図10に示すように、追尾対象の顔画像が移動した位置に追従して表示される。
【0046】
追尾処理回路51は、図11に示すように、追尾対象の顔画像が撮像範囲又は記録範囲から外れる(フレームアウトする)と(S−16)、このフレームアウト情報をCPU30に送る。CPU30は、フレームアウト情報を受け取ることに応答してシースルー表示部16へのスルー画像62の表示を停止し、その後、液晶シャッタ18の透過率を高くして(オフして)、シースルー表示部16を透過にする。そして、これと同時にマーク20を表示する(S−18)。
【0047】
シースルー表示部16が透過になると、図12に示すように、外界53の視野像54が視認される。これにより、マーク20からフレームアウトした追尾対象の主要被写体64を瞬時に見つけることができる。見つけたら、その方向に電子カメラ10を振ることでシースルー表示部16を透して再び主要被写体64を撮像範囲又は記録範囲にフレームインすることができる。このように、主要被写体が撮像範囲又は記録範囲にフレームインする場合には、再び追尾するのが好適である。
【0048】
そこで、フレームアウトしてから所定時間が経過するまでに、追尾対象が再び撮像範囲又は記録範囲内にフレームインしたことを追尾処理回路51が検出すると、CPU30は、液晶シャッタ18をオンしてシースルー表示部16にスルー画像を表示するとともに、追尾対象の顔画像の領域にAF枠である主要被写体検出枠60を表示して、追尾処理回路51に追尾動作を開始させる(S−19)。
【0049】
このように、まずシースルー表示部16から視認される外界53の視野像54を見ながら撮影者にタッチフォーカスを行わせることで、フォーカスポイントをターゲットに合わせてもらう。これにより、撮像画像の中のどの部分が追尾対象のターゲットなのかを電子カメラ10が知る。撮像画像の構図が変わったときには、変更前後の画像の差分を取って追尾対象がどこに移動したかを算出し、移動した追尾対象に対して再度ピントを合わせるという手順を行う。なお、追尾処理回路51は、追尾対象の形が変わってしまったときでも追尾することができるよう追尾対象の画像の色も識別してパターン登録している。
【0050】
撮影は、スルー画像をシースルー表示部16に表示中に行われる。レリーズボタン14の操作により撮影指示がCPU30に入力されると(S−20)、CPU30は、これに応答して撮像動作を行い(S−21)、このとき取り込んだ画像データに対して圧縮伸長処理回路43で圧縮処理を施してからメディアコントローラ44を介してメモリカード45に記録する(S−22)。このとき、記録される画像データは、撮像範囲と同じか又はこれよりも小さい記録範囲に対応する画像データになっている。
【0051】
なお、主要被写体の画像がフレームアウトしてから所定時間経過した場合には(S−19のNO側)、追尾対象が変わったものとみなし、液晶シャッタ18をオフしてシースルー表示部16を透過状態にしてから(S−2)、シースルー表示部16にマーク20を表示するとともに(S−3)、AE・AF処理を施した後に顔画像領域の検出を行って(S−5)、特定被写体の画像に顔検出枠21を表示する(S−6)。
【0052】
また、上記各実施形態では、複数の特定被写体の画像(複数の顔検出枠21内の画像)のうちの一つの主要被写体の画像を主要被写体検出枠60の画像として選択するための選択手段として、タッチパネル19を利用したタッチ操作(タッチフォーカス)としているが、本発明でこれに限らず、十字キー26を用いた上下左右への操作で選択するようにしてもよい。
【0053】
[実施形態2]
ところで、シースルー表示部16を透して外界の視野像を視認しているときに、シースルー表示部16に対して撮影者の顔の位置が変わると、シースルー表示部16を透して視認される外界の視野像の構図が変わってしまう。このため、撮像範囲を表すマーク20と撮影者が見ている実際の視野範囲とがずれてしまう。
【0054】
そこで、図13に示すように、実施形態2の電子カメラ65は、図3で説明した位置検出部の代わりに、サブカメラ66を背面に設け、サブカメラ66で撮影者の顔を撮像して撮影者の位置を特定する。
【0055】
サブカメラ66は、図14に示すように、光学レンズ67、撮像素子68、CDS69、AMP70、A/D71、及びASIC72とで構成されており、光学レンズ67と絞りとでパンフォーカスを達成している。撮像素子68で撮像したデジタルのサブ画像データは、SDRAM38に保存され、SDRAM38から読み出されて顔位置検出回路73に取り込まれる。
【0056】
顔位置検出回路73は、前回取得したサブ画像データと、今回取得したサブ画像データとの差分を抽出することによって移動した撮影者の顔画像を抽出する。これによって撮像範囲内での撮影者の顔の位置を検出する。具体的には、撮影者の顔の水平及び垂直方向の位置、及び顔サイズとの情報をサブカメラ66の撮像範囲内で検出する。なお、顔サイズの情報は、シースルー表示部16と撮影者の顔との距離を決める時に用いる。これら情報は、CPU30に送られる。CPU30は、スルー画像の表示をオフしている時に、これら情報に基づいてマーク20、及び顔検出枠21の位置、及び大きさを決定し、決定した位置、及び大きさでマーク20、及び顔検出枠21をシースルー表示部16に表示するよう表示制御部42を制御する。
【0057】
以下、図15及び図16で説明する主要被写体は、顔ではなく、植物として説明している。図15(A)に示すように、スルー画像の表示をオフしている時には、マーク20と、主要被写体検出枠60とがシースルー表示部16に表示されている。ここで、図15(A)では、撮影者の顔が、シースルー表示部16の背面側の画面中央で、かつ予め決めた距離だけ離れた位置(正対する基準位置)になっている。この時のマーク20、主要被写体検出枠60の位置、及び大きさは、図15(A)に示すシースルー表示部16の画面に表示された位置、及び大きさになる。
【0058】
基準位置にある撮影者の顔70がシースルー表示部16から後ろに離れた場合、図15(B)に示すように、シースルー表示部16の画面に映るマーク20、及び主要被写体検出枠60は、顔70の移動方向、及び移動量、この場合は左右上下に移動しておらず、後方への移動のみであるので、後方への移動量に基づいて拡大して表示される。
【0059】
また、顔70がシースルー表示部16から前方に近づく場合、図15(C)に示すように、シースルー表示部16の画面に映るマーク20、及び主要被写体検出枠60は、前方への移動量に基づいて縮小して表示される。
【0060】
顔70がシースルー表示部16に対して右方向に移動した場合、図16(A)に示すように、シースルー表示部16の画面に映るマーク20、及び主要被写体検出枠60は、顔70が基準位置の時の表示位置(図15(A)のシースルー表示部16の表示位置)に対して右方に寄って表示される。
【0061】
逆に、顔70がシースルー表示部16に対して左方向に移動した場合、図16(B)に示すように、シースルー表示部16の画面に映るマーク20、及び主要被写体検出枠60は、顔70が基準位置の時の表示位置に対して左方に寄って表示される。
【0062】
顔70がシースルー表示部16に対して下方向に移動した場合、図16(C)に示すように、シースルー表示部16の画面に映るマーク20、及び主要被写体検出枠60は、顔70が基準位置の時の表示位置に対して下方に寄って表示される。
【0063】
逆に、顔70がシースルー表示部16に対して上方向に移動した場合、図16(D)に示すように、シースルー表示部16の画面に映るマーク20、及び主要被写体検出枠60は、顔70が基準位置の時の表示位置に対して上方に寄って表示される。
【0064】
なお、図15及び図16では、図中左上が電子カメラ65に対する顔70の位置を示した平面図、左下がその側面図、右側がシースルー表示部16の画面を示す。シースルー表示部16の画面には、外界の視野像71に重なってマーク20、及び主要被写体検出枠60が表示されている。
【0065】
第2実施形態の電子カメラ65に、別に測距手段を設け、測距手段で撮影者の顔までの距離を正確に検出するようにしてもよい。測距手段としては、周知のように、測距光、例えば赤外光を投光する投光器と、その反射光を受光する例えばPSD等の受光器とで構成したものでよい。
【0066】
上記各実施形態では、マーク20をシースルー表示部16の画面に表示するようにしているが、液晶シャッタ18に表示するように構成してもよい。
【0067】
また、上記各実施形態では、ユーザの顔がシースルー表示部16に対して一定量以上移動したことを、サブカメラ66から得られる出力信号に基づいてCPU30が検出した場合、CPU30は、マーク(構図枠)20、及び主要被写体検出枠(追尾対象枠)60を非表示に切替えるように制御してもよい。
【符号の説明】
【0068】
10,65 電子カメラ
12 撮影レンズ
16 シースルー表示部
18 液晶シャッタ
19 タッチパネル
20 マーク(構図枠)
21 顔検出枠
60 主要被写体検出枠(追尾対象枠)
【特許請求の範囲】
【請求項1】
光学系により結像される外界像を撮像する撮像手段と、
前記外界の視野像が透けて見えるシースルー表示部と、
前記撮像手段により撮像された撮像画像に含まれる被写体のうちの予め決めた特定被写体を検出する被写体検出手段と、
前記特定被写体のうちの選択される主要被写体の領域にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、
前記撮像画像内で前記主要被写体の領域の移動を追尾する追尾手段と、
前記撮像手段の撮像範囲と同じ、又はこれよりも小さい記録範囲の画像をシャッタレリーズに応じて記録媒体に記録する記録手段と、
前記画像をスルー画像として前記シースルー表示部に表示する表示制御手段と、を備え、
前記表示制御手段は、前記主要被写体の画像が前記撮像範囲、又は前記記録範囲からフレームアウトすることに応答して前記スルー画像の表示を停止することを特徴とする電子カメラ。
【請求項2】
請求項1に記載の電子カメラにおいて、
前記特定被写体のうちの主要被写体を選択するための選択手段を備え、
前記表示制御手段は、前記選択手段での選択に応答して前記シースルー表示部に前記スルー画像を表示することを特徴とする電子カメラ。
【請求項3】
請求項1又は2に記載の電子カメラにおいて、
シースルー表示部の被写体側に透過率変更手段を設け、
前記透過率変更手段は、前記表示制御手段が前記スルー画像をシースルー表示部に表示することに応答して透過率を下げて前記シースルー表示部を不透明にし、また、前記表示制御手段が前記スルー画像の表示を停止することに応答して透過率を上げて前記シースルー表示部を透過させることを特徴とする電子カメラ。
【請求項4】
請求項3に記載の電子カメラにおいて、
前記透過率変更手段は、液晶シャッタになっていることを特徴とする電子カメラ。
【請求項5】
請求項1から4の何れか1項に記載の電子カメラにおいて、
前記追尾手段は、
前記撮像画像のうち追尾対象とすべき主要被写体画像を登録するパターン登録手段と、
前記撮像画像の中から前記パターン登録手段に登録された主要被写体画像を検出する追尾対象検出手段と、を備え、
前記追尾対象検出手段が、追尾対象の主要被写体画像が前記撮像画像、又は記録画像の範囲からフレームアウトしたことを検知することを特徴とする電子カメラ。
【請求項6】
請求項5項に記載の電子カメラにおいて、
前記主要被写体画像を取り囲む主要被写体検出枠を追尾対象のAF枠として設定する追尾設定手段と、
前記AF枠を追尾対象の主要被写体画像の移動に追従して表示する表示制御手段と、
を備えることを特徴とする電子カメラ。
【請求項7】
請求項5又は6に記載の電子カメラにおいて、
前記表示制御手段は、前記追尾対象検出手段で前回検出した主要被写体画像が再びフレームインすることに応答して、前記スルー画像を前記シースルー表示部に表示することを特徴とする電子カメラ。
【請求項8】
請求項1から7の何れか1項に記載の電子カメラにおいて、
前記スルー画像が表示中に、前記撮像範囲を表すマークを前記シースルー表示部に表示するマーク表示手段と、
前記シースルー表示部と撮影者の顔の位置との相対位置を検出する位置検出手段と、
前記相対位置に応じて前記マーク、又は前記主要被写体検出枠の表示位置、又はサイズを変えるマーク表示制御手段と、
を備えることを特徴とする電子カメラ。
【請求項1】
光学系により結像される外界像を撮像する撮像手段と、
前記外界の視野像が透けて見えるシースルー表示部と、
前記撮像手段により撮像された撮像画像に含まれる被写体のうちの予め決めた特定被写体を検出する被写体検出手段と、
前記特定被写体のうちの選択される主要被写体の領域にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、
前記撮像画像内で前記主要被写体の領域の移動を追尾する追尾手段と、
前記撮像手段の撮像範囲と同じ、又はこれよりも小さい記録範囲の画像をシャッタレリーズに応じて記録媒体に記録する記録手段と、
前記画像をスルー画像として前記シースルー表示部に表示する表示制御手段と、を備え、
前記表示制御手段は、前記主要被写体の画像が前記撮像範囲、又は前記記録範囲からフレームアウトすることに応答して前記スルー画像の表示を停止することを特徴とする電子カメラ。
【請求項2】
請求項1に記載の電子カメラにおいて、
前記特定被写体のうちの主要被写体を選択するための選択手段を備え、
前記表示制御手段は、前記選択手段での選択に応答して前記シースルー表示部に前記スルー画像を表示することを特徴とする電子カメラ。
【請求項3】
請求項1又は2に記載の電子カメラにおいて、
シースルー表示部の被写体側に透過率変更手段を設け、
前記透過率変更手段は、前記表示制御手段が前記スルー画像をシースルー表示部に表示することに応答して透過率を下げて前記シースルー表示部を不透明にし、また、前記表示制御手段が前記スルー画像の表示を停止することに応答して透過率を上げて前記シースルー表示部を透過させることを特徴とする電子カメラ。
【請求項4】
請求項3に記載の電子カメラにおいて、
前記透過率変更手段は、液晶シャッタになっていることを特徴とする電子カメラ。
【請求項5】
請求項1から4の何れか1項に記載の電子カメラにおいて、
前記追尾手段は、
前記撮像画像のうち追尾対象とすべき主要被写体画像を登録するパターン登録手段と、
前記撮像画像の中から前記パターン登録手段に登録された主要被写体画像を検出する追尾対象検出手段と、を備え、
前記追尾対象検出手段が、追尾対象の主要被写体画像が前記撮像画像、又は記録画像の範囲からフレームアウトしたことを検知することを特徴とする電子カメラ。
【請求項6】
請求項5項に記載の電子カメラにおいて、
前記主要被写体画像を取り囲む主要被写体検出枠を追尾対象のAF枠として設定する追尾設定手段と、
前記AF枠を追尾対象の主要被写体画像の移動に追従して表示する表示制御手段と、
を備えることを特徴とする電子カメラ。
【請求項7】
請求項5又は6に記載の電子カメラにおいて、
前記表示制御手段は、前記追尾対象検出手段で前回検出した主要被写体画像が再びフレームインすることに応答して、前記スルー画像を前記シースルー表示部に表示することを特徴とする電子カメラ。
【請求項8】
請求項1から7の何れか1項に記載の電子カメラにおいて、
前記スルー画像が表示中に、前記撮像範囲を表すマークを前記シースルー表示部に表示するマーク表示手段と、
前記シースルー表示部と撮影者の顔の位置との相対位置を検出する位置検出手段と、
前記相対位置に応じて前記マーク、又は前記主要被写体検出枠の表示位置、又はサイズを変えるマーク表示制御手段と、
を備えることを特徴とする電子カメラ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2012−257099(P2012−257099A)
【公開日】平成24年12月27日(2012.12.27)
【国際特許分類】
【出願番号】特願2011−129266(P2011−129266)
【出願日】平成23年6月9日(2011.6.9)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
【公開日】平成24年12月27日(2012.12.27)
【国際特許分類】
【出願日】平成23年6月9日(2011.6.9)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
[ Back to top ]