説明

撮影装置、被写体追尾ズーミング方法及び被写体追尾ズーミングプログラム

【課題】撮影範囲内に収めるように確実に被写体を捉える。
【解決手段】レンズユニット12、撮像素子13を介して撮影される撮影範囲内において、制御部22により、動きのある任意の被写体を特定し、特定された被写体を追尾し、追尾した被写体が、撮影範囲内の所定の領域内に収まっているかどうかを判断し、被写体が所定の領域内に収まっていないと判断された場合に、被写体を含む撮影範囲をズームアウトするよう制御することで実現する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体を撮影する撮影装置に関し、詳しくは、移動を伴う被写体を自動的に追尾して撮影する撮影装置、被写体追尾ズーミング方法及び被写体追尾ズーミングプログラムに関する。
【背景技術】
【0002】
被写体を撮影するカメラ装置である撮影装置は、確実に所望の被写体を撮影したいという撮影者の要求に応じて、撮影を支援する様々な機能を有している。このような撮影を支援する機能として、被写体の良好な撮影目的として被写体を自動的に追跡するように構成された装置が考案されている(例えば、特許文献1、特許文献2参照。)。
【0003】
特許文献1では、カメラを回転駆動させることで被写体を追跡し、回転範囲の限界に達した場合に、ズームレンズ、自動焦点レンズを自動的に調節することで被写体を追跡することができる技術が開示されている。
【0004】
また、特許文献2では、ズームカメラの撮影範囲が広角カメラの撮影範囲に含まれるようになっているため、ズームカメラの撮影範囲から被写体が外れてしまった場合に、広角カメラの撮影範囲の中央で被写体を捉えることが可能になることから被写体を追跡することができる技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平11−308517号公報
【特許文献2】特開2006−295294号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1で開示されている手法では、被写体の移動速度が比較的高速であった場合に、被写体の移動に応じた追跡が困難となってしまうといった問題がある。また、特許文献2で開示されている手法では、ズームカメラの撮影範囲から被写体が外れてしまった場合に、広角カメラの撮影範囲の中央でも被写体を捉えることができない際には、手動による操作を実行しなくてはいけないといった問題がある。
【0007】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、撮影範囲内に収めるように確実に被写体を捉えて良好に被写体を撮影することができる撮影装置、被写体追尾ズーミング方法及び被写体追尾ズーミングプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の撮影装置は、被写体を含む撮影範囲を撮影する撮影手段と、前記撮影手段によって撮影される撮影範囲内において、動きのある任意の被写体を特定する被写体特定手段と、前記被写体特定手段によって特定された被写体を追尾する被写体追尾手段と、前記撮影手段によって撮影される撮影範囲をズームインまたはズームアウトするズーミング手段と、前記被写体追尾手段によって追尾される被写体が、前記撮影手段によって撮影される撮影範囲内の所定の領域内に収まっているかどうかを判断する判断手段と、前記判断手段によって、被写体が前記所定の領域内に収まっていないと判断された場合に、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミング手段を制御する制御手段とを備える。
【0009】
また、本発明の撮影装置は、前記撮影手段によって撮影された撮影範囲内の画像を表示する表示手段を備え、前記所定の領域を、前記表示手段の画像を表示させる表示領域の中心を含む領域とする。
【0010】
また、本発明の撮影装置は、前記撮影手段によって撮影された撮影範囲内の画像の全てを前記表示手段の表示領域に表示させる場合、前記所定の領域の最大領域を前記表示手段の表示領域内に規定する。
【0011】
また、本発明の撮影装置は、前記撮影手段によって撮影された撮影範囲内の画像の一部を前記表示手段の表示領域に表示させる場合、前記所定の領域の最大領域を前記表示手段の表示領域内または表示領域外に規定する。
【0012】
また、本発明の撮影装置は、前記所定の領域を矩形状とする。
【0013】
また、本発明の撮影装置は、前記被写体追尾手段によって追尾される被写体の速度を検出する速度検出手段を備え、前記制御手段は、前記判断手段によって、被写体が前記所定の領域内に収まってないと判断された場合に、前記速度検出手段によって検出される被写体の速度に応じたズーム速度、または前記速度検出手段によって検出される被写体の速度に応じたズーム倍率で前記被写体を含む撮影範囲をズームアウトするよう前記ズーミング手段を制御する。
【0014】
また、本発明の撮影装置は、前記表示手段の表示領域内の所定の中央領域への侵入を検知する侵入検知手段を備え、前記制御手段は、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミング手段を制御した後、前記侵入検知手段によって前記所定の中央領域への侵入が検知された場合に、前記被写体を含む撮影範囲をズームインするよう前記ズーミング手段を制御する。
【0015】
本発明の被写体追尾ズーミング方法は、被写体を含む撮影範囲を撮影する撮影工程と、前記撮影工程によって撮影される撮影範囲内において、動きのある任意の被写体を特定する被写体特定工程と、前記被写体特定工程によって特定された被写体を追尾する被写体追尾工程と、ズームインまたはズームアウトにより前記撮影工程によって撮影される撮影範囲を調節するズーミング工程と、前記被写体追尾工程によって追尾される被写体が、前記撮影工程によって撮影される撮影範囲内の所定の領域内に収まっているかどうかを判断する判断工程と、前記判断工程によって、被写体が前記所定の領域内に収まっていないと判断された場合に、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミング工程を制御する制御工程とを備える。
【0016】
本発明の被写体追尾ズーミングプログラムは、被写体を撮影する撮影装置が備えるコンピュータに適用される被写体追尾ズーミングプログラムであって、被写体を含む撮影範囲を撮影する撮影ステップと、前記撮影ステップによって撮影される撮影範囲内において、動きのある任意の被写体を特定する被写体特定ステップと、前記被写体特定ステップによって特定された被写体を追尾する被写体追尾ステップと、ズームインまたはズームアウトにより前記撮影ステップによって撮影される撮影範囲を調節するズーミングステップと、前記被写体追尾ステップによって追尾される被写体が、前記撮影ステップによって撮影される撮影範囲内の所定の領域内に収まっているかどうかを判断する判断ステップと、前記判断ステップによって、被写体が前記所定の領域内に収まっていないと判断された場合に、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミングステップを制御する制御ステップとを実行させる。
【0017】
本発明の撮影装置は、被写体を含む撮影範囲を撮影する撮影手段と、前記撮影手段によって撮影される撮影範囲内において、動きのある任意の被写体を特定する被写体特定手段と、前記被写体特定手段によって特定された被写体を追尾する被写体追尾手段と、前記撮影手段によって撮影される撮影範囲をズームインまたはズームアウトするズーミング手段と、前記被写体追尾手段によって追尾される被写体の速度を検出する速度検出手段と、前記速度検出手段によって検出される被写体の速度が、所定の速度以上であるかどうかを判定する速度判定手段と、前記速度判定手段によって、被写体の速度が所定の速度以上であると判定されたことに応じて、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミング手段を制御する制御手段とを備える。
【0018】
また、本発明の撮影装置は、前記被写体追尾手段によって追尾される被写体の移動方向を検出する移動方向検出手段と、前記移動方向検出手段によって検出される前記被写体の移動方向が、撮影範囲である画角から外れる方向へ移動しているかどうか判定する移動方向判定手段とを備え、前記制御手段は、前記速度判定手段によって、被写体の速度が所定の速度以上であると判定され、さらに、前記移動方向判定手段によって、前記画角から外れる方向へ移動していると判定されたことに応じて、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミング手段を制御する。
【0019】
また、本発明の撮影装置は、前記撮影手段によって撮影された撮影範囲内の画像を表示する表示手段と、前記表示手段の表示領域内の所定の中央領域への侵入を検知する侵入検知手段とを備え、前記制御手段は、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミング手段を制御した後、前記侵入検知手段によって前記所定の中央領域への侵入が検知された場合に、前記被写体を含む撮影範囲をズームインするよう前記ズーミング手段を制御する。
【0020】
本発明の被写体追尾ズーミング方法は、被写体を含む撮影範囲を撮影する撮影工程と、前記撮影工程によって撮影される撮影範囲内において、動きのある任意の被写体を特定する被写体特定工程と、前記被写体特定工程によって特定された被写体を追尾する被写体追尾工程と、前記撮影工程によって撮影される撮影範囲をズームインまたはズームアウトするズーミング工程と、前記被写体追尾工程によって追尾される被写体の速度を検出する速度検出工程と、前記速度検出工程によって検出される被写体の速度が、所定の速度以上であるかどうかを判定する速度判定工程と、前記速度判定工程によって、被写体の速度が所定の速度以上であると判定されたことに応じて、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミング工程を制御する制御工程とを備える。
【0021】
本発明の被写体追尾ズーミングプログラムは、被写体を撮影する撮影装置が備えるコンピュータに適用される被写体追尾ズーミングプログラムであって、被写体を含む撮影範囲を撮影する撮影ステップと、前記撮影ステップによって撮影される撮影範囲内において、動きのある任意の被写体を特定する被写体特定ステップと、前記被写体特定ステップによって特定された被写体を追尾する被写体追尾ステップと、前記撮影ステップによって撮影される撮影範囲をズームインまたはズームアウトするズーミングステップと、前記被写体追尾ステップによって追尾される被写体の速度を検出する速度検出ステップと、前記速度検出ステップによって検出される被写体の速度が、所定の速度以上であるかどうかを判定する速度判定ステップと、前記速度判定ステップによって、被写体の速度が所定の速度以上であると判定されたことに応じて、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミングステップを制御する制御ステップとを実行させる。
【発明の効果】
【0022】
本発明によれば、撮影範囲内に収めるように確実に被写体を捉えて良好に被写体を撮影することを可能とする。
【図面の簡単な説明】
【0023】
【図1】本発明の実施の形態として示すデジタルスチルカメラの機能構成について説明するためのブロック図である。
【図2】前記デジタルスチルカメラで実行される自動ズームコントロールモードの処理動作について説明するためのフローチャートである。
【図3】表示部の表示領域に規定されるズームアウト検出枠の一例について説明するための図である。
【図4】表示部の表示領域に規定されるズームアウト検出枠の別な例について説明するための図である。
【図5】表示部の表示領域に規定されるズームアウト検出枠のさらに別な例について説明するための図である。
【図6】表示部の表示領域に規定されるズームアウト検出枠の形状を示した図である。
【図7】表示部の表示領域に規定されるズームアウト検出枠の別な形状を示した図である。
【図8】被写体の速度に応じてズームアウトされる様子を示した図である。
【図9】被写体の速度によらずズームアウトされる様子を示した図である。
【図10】前記自動ズームコントロールモードにおいて、ズームアウトされてからズームインされるまでの一連の流れを示した図である。
【図11】前記デジタルスチルカメラで実行される自動ズームコントロールモードの別な処理動作について説明するためのフローチャートである。
【図12】表示部の表示領域の中心を原点としたときに、第1象限に被写体が存在している様子を示した図である。
【図13】表示部の表示領域の中心を原点としたときに、第2象限に被写体が存在している様子を示した図である。
【図14】表示部の表示領域の中心を原点としたときに、第3象限に被写体が存在している様子を示した図である。
【図15】表示部の表示領域の中心を原点としたときに、第4象限に被写体が存在している様子を示した図である。
【図16】前記自動ズームコントロールモードにおいて、ズームアウトされてからズームインされるまでの一連の流れを示した図である。
【発明を実施するための形態】
【0024】
以下、本発明の実施の形態について図面を参照して説明する。まず、図1を用いて、本発明の実施の形態として示す撮影装置であるデジタルスチルカメラ1について説明をする。図1は、デジタルスチルカメラ1の機能構成を示したブロック図である。
【0025】
図1に示すように、デジタルスチルカメラ1は、モータ11と、レンズユニット12と、撮像素子13と、タイミング発生器(TG)14と、垂直ドライバ15と、サンプルホールド回路(S/H)16と、A/D変換器17と、カラープロセス回路18と、DMA(Direct Memory Access)コントローラ19と、DRAMインターフェース(I/F)20と、DRAM21と、制御部22と、VRAMコントローラ23と、VRAM24と、デジタルビデオエンコーダ25と、表示部26と、画像処理部27と、メモリ28と、キー入力部29と、音声処理部30と、マイクロフォン部(MIC)32と、スピーカ部(SP)33とを備えている。
【0026】
レンズユニット12は、複数のレンズ群からなり、所望の被写体を含む撮影領域を撮像素子13に結像するための光学系である。レンズユニット12は、図示しないシャッターユニット、絞りユニットを備えており、モータ11の駆動により合焦位置や絞り位置が移動される。このレンズユニット12は、制御部22の制御に応じてズームアウト、ズームインを自在に実行し、撮影範囲を変化させることができるズームレンズを備えている。
【0027】
撮像素子13は、例えばRGBの原色系のカラーフィルタを形成しており、タイミング発生器14、垂直ドライバ15によって走査駆動されるもので、一定周期毎に結像した光像に対応する光電変換出力を1画面分出力する。
【0028】
サンプルホールド回路16、A/D変換器17などからなる撮像系は、撮像素子13、から出力された光電変換出力に所望の処理を施す。具体的には、光電変換出力に対して、lアナログ値の信号の状態でRGBの各原色成分毎に適宜ゲイン調整した後、サンプルホールド回路16でサンプルホールドし、A/D変換器17でデジタルデータに変換し、カラープロセス回路18に出力する。
【0029】
カラープロセス回路18は、画素補間処理、γ補正処理、及びマトリックス演算を含むカラープロセス処理を行い、デジタル値での輝度信号Y及び色差信号Cb、Crを生成しDMAコントローラ19に出力する。
【0030】
DMAコントローラ19は、カラープロセス回路18の出力する輝度信号Y及び色差信号Cb、Crを、同じくカラープロセス回路18からの複合同期信号、メモリ書き込みイネーブル信号、及びクロック信号を用いて一度DMAコントローラ19内部のバッファに書き込み、DRAMインターフェース20を介してバッファメモリとして使用されるDRAM21にDMA転送を行う。
【0031】
制御部22は、CPUと、このCPUで実行される動作プログラムを固定的に記憶したROM、及びワークメモリとして使用されるRAMなどを有し、当該デジタルスチルカメラ1を統括的に制御する。
【0032】
制御部22は、輝度信号Y及び色差信号Cb、CrのDRAM21へのDMA転送終了後に、この輝度信号Y及び色差信号Cb、CrをDRAMインターフェース20を介してDRAM21より読み出し、VRAMコントローラ23を介してVRAM24に書き込む。
【0033】
デジタルビデオエンコーダ25は、輝度信号Y及び色差信号Cb、CrをVRAMコントローラ23を介してVRAM24より定期的に読み出し、これらのデータを元にビデオ信号を発生して表示部26に出力する。
【0034】
制御部22は、被写体を撮影する撮影モードとして、レンズユニット12を向けた所望の被写体を撮影する通常撮影モードと自動ズームコントロールモードとを制御する。
【0035】
自動ズームコントロールモードは、レンズユニット12を向けた撮影範囲内に存在する被写体の中から動きのある任意の被写体を特定し、特定した被写体を追尾しながら所定の領域内に収まっていないと判断された場合に、被写体を含む撮影範囲を自動的にズームインまたはズームアウトをすることで、撮影範囲内に収めるように確実に被写体を捉えて良好な被写体の撮影を実行するモード、つまり被写体追尾ズーミング撮影モードである。
【0036】
なお、制御部22によるズーム制御は、ズームレンズを備えるレンズユニット12などの光学系を制御することによる光学ズームであってもよいし、デジタル画像処理的にズームを実行するデジタルズームであってもよいし、両者を組み合わせたものであってもよい。この自動ズームコントロールモードについては、後で詳細に説明をする。
【0037】
表示部26は、図示しないが、例えば、デジタルスチルカメラ1の筐体の背面側に設けられており、撮影モード時にはモニタ表示部(電子ファインダ)として機能し、デジタルビデオエンコーダ25からのビデオ信号に基づいた表示を行うことで、その時点でVRAMコントローラ23から取り込んでいる画像情報に基づく画像をリアルタイムに表示する。
【0038】
このように、表示部26に、その時点での画像がモニタ画像としてリアルタイムに表示されている、いわゆるスルー画像の表示状態で、静止画撮影を行いたいタイミングで、キー入力部29のうちの一つであるシャッターキーを操作するとトリガ信号が発生される。
【0039】
制御部22は、このトリガ信号に応じて、その時点で撮像素子13から取り込んでいる1画面分の輝度信号Y及び色差信号Cb、CrをDRAMインターフェース20を介して輝度信号Y、色差信号Cb、色差信号Crの各コンポーネント毎に例えば、縦8画素×横8画素の基本ブロックと呼称される単位で読み出して画像処理部27に書き込む。
【0040】
画像処理部27は、制御部22の制御に応じて、書き込まれた画像に対してJPEG(Joint Photograph coding Experts Group)規格に従ったADCT(Adaptive Discrete Cosine Transform:適応離散コサイン変換)、エントロピ符号化方式であるハフマン符号化などの処理によりデータ圧縮する。
【0041】
メモリ28は、固定的に常設された記録媒体や、当該デジタルスチルカメラ1に対して着脱自在なメモリカードなどの記録媒体などである。メモリ28には、制御部22の制御により、画像処理部27の処理により得られた符号データが1画像のデータファイルとして読み出され書き込まれる。
【0042】
制御部22は、上述した、1フレーム文の輝度信号Y及び色差信号Cb、Crの圧縮処理、メモリ28への全圧縮データの書き込み処理が終了したことに応じて、撮像素子13、からDRAM21への経路を再び起動する。
【0043】
キー入力部29は、電源キー、シャッターキー、モード切替キー、メニューキー、十字キー及びセットキーなどを総称したユーザの操作を入力するためのキー群である。このキー入力部29は、制御部22に接続されており、各キーの操作に応じて操作された旨を指示する操作命令信号が制御部22へと出力される。
【0044】
音声処理部30は、PCM音源などの音源回路を備え、音声の録音時にはマイクロフォン部32より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばMP3(MPEG-1 audio layer 3)規格にしたがってデータ圧縮して音声データファイルを生成してメモリ28に送出する。また、音声処理部30は、音声の再生時には、メモリ28から送られてきた音声データファイルの圧縮を伸長してアナログ信号へと変換し、デジタルスチルカメラ1の図示しない筐体の背面に設けられたスピーカ部などを介して拡声放音させる。
【0045】
ストロボ駆動部31は、静止画像撮影時に図示しないストロボ用の大容量コンデンサを充電した上で、制御部22からの制御に応じてストロボ発光部34を閃光駆動させる。
【0046】
また、静止画像ではなく動画像の撮影時においては、1回目のシャッターキーが操作された時点で、上述した静止画データを画像処理部27でデータ圧縮した静止画データファイルのメモリ28への記録を開始する。以降、所定のフレームレート、例えば30(フレーム/秒)でこの処理を連続して実行し、2回目にシャッターキーが操作されるか、また所定の制限時間、例えば、30秒が経過した時点でそれら一連の静止画データファイルを一括してモーションJPEGのデータファイル(AVIファイル)として設定し直す。
【0047】
また、再生モード時には、制御部22が、メモリ28に記録されている画像データを選択的に読み出し、画像処理部27で撮影モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸長し、伸長した画像データをDRAMインターフェース20を介してDRAM21に保持させた上で、このDRAM21の保持内容をVRAMコントローラ23を介してVRAM24に記憶させ、このVRAM24より定期的に画像データを読み出してビデオ信号を発生し、表示部26に表示させる。
【0048】
選択した画像データが、静止画像ではなく動画像であった場合、選択した動画像ファイルを構成する個々の静止画データの再生を時間的に連続して実行し、全ての静止画データの再生を終了した時点で、次に再生の指示がなされるまで先頭に位置する静止画データのみを用いて再生表示する。
【0049】
続いて、図2に示すフローチャートを用いて、制御部22による自動ズームコントロールモードにおける処理動作について説明をする。
【0050】
ステップS1において、ユーザによりキー入力部29の操作により自動ズームコントロールモードがオン(ON)にされたことに応じて、制御部22は、自動ズームコントロールモードによる処理を開始する。
【0051】
ステップS2において、制御部22は、レンズユニット12、撮像素子13を介して撮影される撮影範囲内において、動きのある任意の被写体を追尾対象として特定する。具体的には、表示部26にスルー表示された画像を参照しながらユーザによってなされるシャッターキーの半押しによるピント合わせにより、制御部22は、ピント合わせされた被写体を追尾対象として特定する。また、制御部22は、レンズユニット12、撮像素子13を介して撮影される撮影範囲内において、例えば、動きベクトルなどを算出して動きのある任意の被写体を追尾対象として特定するようにしてもよい。
【0052】
ステップS3において、制御部22は、ステップS2で特定された被写体の追尾を開始する。
【0053】
ステップS4において、制御部22は、追尾している被写体がズームアウト検出枠にかかったかどうかを判断する。制御部22は、被写体が、ズームアウト検出枠にかかった場合には、ステップS5へと処理を進める一方、ズームアウト検出枠にかかっていない場合には、当該ステップS4での待機状態を継続する。
【0054】
ここでズームアウト検出枠について説明をする。ズームアウト検出枠とは、図1に示す表示部26上の表示領域に規定される所定の領域であり、被写体がこのズームアウト検出枠にかかった場合に、自動的にズームアウトを実行させるためのトリガとなる検出領域である。
【0055】
ズームアウト検出枠には、表示部26において画像を表示させる表示領域の定義に応じて、図3乃至図5に示すような領域を規定することができる。
【0056】
まず、図3に示すように、撮像素子13の最大画像撮像領域であるCCD撮像領域SAで撮像された画像を、表示部26の画像を表示する表示領域である表示領域DAに全て表示させるように構成されている場合、ズームアウト検出枠ZOは、矩形状の表示領域DAの四辺に沿うように所定の幅を保ちながら表示領域DA内に規定される。
【0057】
制御部22は、このズームアウト検出枠ZOに、追尾している被写体が侵入、つまりかかったかどうかを監視している。言い換えれば、制御部22は、図3に示すように、ズームアウト検出枠ZO以外の領域であり、表示領域DAの中心Cを含む矩形状の領域CA内に、追尾している被写体が収まっているかどうかを監視しているともいえる。つまり、追尾している被写体が、領域CA内に収まっていないと判断されれば、ズームアウト検出枠ZOにかかったと判断されたことと同義であるため、ズームアウトを実行する処理へと移行する。
【0058】
このように、ズームアウトを実行するトリガを規定すると、追尾している被写体が表示部26に表示されている状態でズームアウトが開始されるため、被写体を消失することなく違和感のない表示画像をユーザに提供することができる。したがって、確実な被写体の撮影を実現することができる。
【0059】
次に、図4に示すように、撮像素子13の最大画像領域であるCCD撮像領域SAで撮像された画像を、表示部26の表示領域DAに一部だけ表示させるように構成されている場合、ズームアウト検出枠ZOは、矩形状の表示領域DAの四辺に沿うように所定の幅を保ちながら表示領域DA内に規定される。
【0060】
制御部22は、このズームアウト検出枠ZOに、追尾している被写体が侵入、つまりかかったかどうかを監視している。言い換えれば、制御部22は、図4に示すように、ズームアウト検出枠ZO以外の領域であり、表示領域DAの中心Cを含む矩形状の領域CAの最大領域を表示部26の表示領域DA内に規定し、この領域CA内に、追尾している被写体が収まっているかどうかを監視しているともいえる。つまり、追尾している被写体が、領域CA内に収まっていないと判断されれば、ズームアウト検出枠ZOにかかったと判断されたことと同義であるため、ズームアウトを実行する処理へと移行する。
【0061】
このように、ズームアウトを実行するトリガを規定すると、追尾している被写体が表示部26に表示されている状態でズームアウトが開始されるため、被写体を消失することなく違和感のない表示画像をユーザに提供することができる。したがって、確実な被写体の撮影を実現することができる。
【0062】
また、図5に示すように、撮像素子13の最大画像領域であるCCD撮像領域SAで撮像された画像を、表示部26の表示領域DAに一部だけ表示させるように構成されている場合、ズームアウト検出枠ZOは、矩形状の表示領域DAの四辺に沿うように所定の幅を保ちながら表示領域DA外に規定することもできる。
【0063】
制御部22は、このズームアウト検出枠ZOに、追尾している被写体が侵入、つまりかかったかどうかを監視している。言い換えれば、制御部22は、図5に示すように、ズームアウト検出枠ZO以外の領域であり、表示領域DAの中心Cを含む矩形状の領域CAの最大領域を表示部26の表示領域DA外に規定し、この領域CA内に、追尾している被写体が収まっているかどうかを監視しているともいえる。つまり、追尾している被写体が、領域CA内に収まっていないと判断されれば、ズームアウト検出枠ZOにかかったと判断されたことと同義であるため、ズームアウトを実行する処理へと移行する。
【0064】
このように、ズームアウトを実行するトリガを規定すると、追尾している被写体を表示部26から一旦消失してしまった場合であってもズームアウトが開始されるため、被写体の撮影チャンスを再びユーザに提供することができる。したがって、確実な被写体の撮影を実現することができる。
【0065】
また、ズームアウト検出枠ZOは、上述した図3乃至図5や図6に示すように、矩形状の表示領域DAの四辺に沿うよう規定されるだけでなく、図7に示すように、表示領域DAの左右両端部に規定するようにしてもよい。いずれの場合も、制御部22によるズームアウトを実行するトリガの別な定義である、追尾している被写体が収まっているかどうかを監視する領域CAの形状は矩形状となる。このように領域CAを矩形状とすることで、被写体が領域CAに収まらなくなるまでの距離が延びることから、ズームアウトを実行するタイミングを限界まで引き延ばすことができるため、不必要にズームアウトが実行されてしまうことによる煩わしさを防止することができる。
【0066】
図6、図7に示すようなズームアウト検出枠ZOの形状の選択は、ユーザによるキー入力部29の操作によって実行することができる。
【0067】
再び、図2に示すフローチャートへと戻り、制御部22による自動ズームコントロールモードにおける処理動作について説明をする。
【0068】
ステップS5において、制御部22は、追尾している被写体が、ズームアウト検出枠にかかったことに応じて、このときの被写体の速度を検出する。具体的には、制御部22は、撮像素子13で撮像された画像を所定の画素数からなるマクロブロック単位でとらえ、ズームアウト検出枠に侵入する前に被写体が存在していたマクロブロックのズームアウト検出枠への被写体の侵入前後での画素数の変化から被写体の位置を動きベクトルとして算出する。制御部22は、算出した動きベクトルより、被写体の速度と移動方向とを把握することができる。
【0069】
ステップS6において、制御部22は、ステップS5で算出した被写体の速度に応じて、ズームアウトする際のズーム速度、またはズーム倍率のいずれかを決定する。
【0070】
制御部22は、被写体の速度に応じて、ズームアウトする際の単位時間あたりのズーム速度を決定する。つまり、被写体の速度が速ければ速いズーム速度でズームアウトするようにし、被写体の速度が遅ければ遅いズーム速度でズームアウトするようにする。
【0071】
また、制御部22は、被写体の速度に応じて、ズーム倍率を決定するようにしてもよい。つまり、被写体の速度が速ければ大きなズーム倍率でズームアウトするようにし、被写体の速度が遅ければ小さなズーム倍率でズームアウトするようにする。
【0072】
ステップS7において、制御部22は、決定したズーム速度、またはズーム倍率で、レンズユニット12、撮像素子13を介して撮影された追尾した被写体を含む撮影範囲をズームアウトするよう制御し、ズームアウト処理を実行する。
【0073】
このように、制御部22は、図8(a)、(b)に示すように、被写体の速度に応じて決定したズーム速度、またはズーム倍率でズームアウト処理を制御することで、極めて自然に、かつ表示部26に表示されている被写体を見失うことなく最適なサイズまで縮小させることができる。
【0074】
また、制御部22は、図9(a)、(b)に示すように、被写体の速度によらず、最大縮小倍率となるまで、ズームアウトするように制御するようにしてもよい。この場合、制御部22は、図2に示すフローチャートのステップS5、ステップS6の処理を経由せずにステップS4からステップS7へと処理を進めることになる。
【0075】
ステップS8において、制御部22は、現在の被写体の位置をチェックする。
【0076】
ステップS9において、制御部22は、追尾している被写体がズームイン検出枠にかかったかどうかを判断する。制御部22は、被写体が、ズームイン検出枠にかかった場合には、ステップS10へと処理を進める一方、ズームイン検出枠にかかっていない場合には、ステップS8へと処理を戻す。
【0077】
ここでズームイン検出枠について説明をする。ズームイン検出枠とは、図1に示す表示部26上の表示領域内の所定の中央領域に規定され、被写体がこのズームイン検出枠にかかった場合に、自動的にズームインを実行させるためのトリガとなる検出領域である。図8、9に、ズームイン検出枠の一例として、ズームイン検出枠ZIを示す。例えば、図8、9に示すように、ズームイン検出枠ZIは、表示領域DAの所定の中央領域に矩形状の領域として規定される。
【0078】
制御部22は、このズームイン検出枠ZIに、追尾している被写体が侵入、つまりかかったかどうかを監視している。つまり、追尾している被写体が、ズームイン検出枠ZIに侵入したと判断されれば、ズームインを実行する処理へと移行する。
【0079】
ステップS10において、制御部22は、レンズユニット12、撮像素子13を介して撮影された追尾した被写体を含む撮影範囲を適切なズーム倍率となるまでズームインするよう制御し、ズームイン処理を実行する。
【0080】
なお、上述したズームアウト処理は、ズームアウト後の被写体がズームイン検出枠ZIに侵入しない程度で実行されるものとし、ズームイン処理は、ズームイン後の被写体がズームアウト検出枠ZOに侵入しない程度で実行されるものとする。
【0081】
このように、制御部22は、図10(a)に示すように、所定の領域CAに収まらずズームアウト検出枠ZOにかかったことに応じて、図10(b)に示すように、ズームアウト処理を実行する。さらに、制御部22は、図10(c)に示すように、ズームイン検出枠ZIに侵入したことに応じて、図10(d)に示すように、ズームイン処理を実行する。
【0082】
つまり、制御部22は、ズームアウト検出枠ZOに、一旦かかることでズームアウトした被写体が、再び表示部26の所定の中央領域であるズームイン検出枠ZIへと侵入したことで、縮小した被写体を適切なサイズまで拡大することができる余地があると判断し、ズームイン処理を実行する。したがって、追尾していた被写体を適切なサイズで撮影することができる。
【0083】
このように、制御部22は、追尾している被写体が、領域CA内に収まっていないと判断したことに応じて、被写体を含む撮影範囲をズームアウトするよう制御するため、撮影範囲内に収めるように確実に被写体を捉えることができる。したがって、ユーザは、自動ズームコントロールモードに設定することで、良好に被写体を撮影することができる。
【0084】
また、領域CAを表示部26の表示領域の中心を含む領域とすることで、撮影範囲から外れようとしている被写体を確実に捉えることができる。
【0085】
続いて、図11に示すフローチャートを用いて、制御部22による自動ズームコントロールモードにおける別な処理動作について説明をする。
【0086】
上述した図2に示すフローチャートを用いて説明した処理動作では、制御部22は、被写体の速度に応じて決定したズーム速度、またはズーム倍率でズームアウト処理を制御していた。これに対し、図11に示すフローチャート用いて説明する処理動作では、制御部22は、被写体の速度が所定の速度以上となったことに応じて、最大縮小倍率となるまで、一気にズームアウトするように制御する。
【0087】
ステップS21において、ユーザによりキー入力部29の操作により自動ズームコントロールモードがオン(ON)にされたことに応じて、制御部22は、自動ズームコントロールモードによる処理を開始する。
【0088】
ステップS22において、制御部22は、レンズユニット12、撮像素子13を介して撮影される撮影範囲内において、動きのある任意の被写体を追尾対象として特定する。具体的には、表示部26にスルー表示された画像を参照しながらユーザによってなされるシャッターキーの半押しによるピント合わせにより、制御部22は、ピント合わせされた被写体を追尾対象として特定する。また、制御部22は、レンズユニット12、撮像素子13を介して撮影される撮影範囲内において、例えば、動きベクトルなどを算出して動きのある任意の被写体を追尾対象として特定するようにしてもよい。
【0089】
ステップS23において、制御部22は、ステップS22で特定された被写体の追尾を開始する。
【0090】
ステップS24において、制御部22は、追尾している被写体の速度を検出する。例えば、制御部22は、被写体の動きベクトルを算出し、算出した動きベクトルより被写体の速度と移動方向とを把握する。
【0091】
ステップS25において、制御部22は、検出した被写体の速度が所定の速度以上であるかどうかを判断する。制御部22は、被写体の速度が所定の速度以上である場合、ステップS26へと処理を進め、被写体の速度が所定の速度以上でない場合、ステップS24へ4と処理を戻す。
【0092】
ステップS26において、制御部22は、被写体の表示部26の表示領域上における現在の位置座標(X,Y)をチェックする。
【0093】
ステップS27において、制御部22は、位置座標(X,Y)から表示部26の表示領域上の象限をチェックする。具体的には、図12乃至図15に示すように、表示部26の表示領域DAの中心を原点としたXY座標を設ける。このとき、被写体の座標位置(X,Y)から、被写体が、現在、第何象限に存在しているかが分かる。図12乃至図15では、ぞれぞれ、被写体が第1乃至第4象限に存在しているのが分かる。
【0094】
ステップS28において、制御部22は、追尾している被写体の移動ベクトルをチェックし、被写体の移動方向を判定する。
【0095】
ステップS29において、制御部22は、X座標の絶対値、Y座標の絶対値のいずれかが大きくなる方向に移動しているかどうかを判断する。制御部22は、X座標の絶対値、Y座標の絶対位置のいずれかが大きくなる方向に移動している場合、ステップS30へと処理を進める一方、そうでない場合、ステップS24へと処理を戻す。
【0096】
これは、制御部22によって判定された移動方向により、追尾している被写体が、撮影範囲である画角から外れる方向へ移動しているかどうかを判定していることを意味している。つまり、X座標の絶対値、Y座標の絶対値のいずれかが大きくなる方向に被写体が移動している場合、2次元平面上において原点から遠ざかる方向、つまり画角から外れる方向へと被写体が移動していると判断される。
【0097】
例えば、図12では、第1象限に位置している被写体の移動ベクトルV1より、X座標の絶対値、Y座標の絶対値のいずれも大きくなる方向に移動していると判定され、被写体は、画角から外れる方向へ移動しようとしているのが分かる。
【0098】
また、図13では、第2象限に位置している被写体のベクトルV2より、X座標の絶対値が大きくなる方向に移動していると判定され、被写体は、画角から外れる方向へ移動しようとしているのが分かる。
【0099】
また、図14では、第3象限に位置している被写体のベクトルV3より、X座標の絶対値、Y座標の絶対値ともに小さくなる方向に移動していると判定され、被写体は、画角から外れない方向へ移動しようとしているのが分かる。
【0100】
さらに、図15では、第4象限に位置している被写体のベクトルV4より、Y座標の絶対値が大きくなる方向に移動していると判定され、被写体は、画角から外れる方向へ移動しようとしているのが分かる。
【0101】
ステップS30において、制御部22は、撮像素子13を介して撮影された追尾した被写体を含む撮影範囲を最小倍率となるまでズームアウトするよう制御し、ズームアウト処理を実行する。
【0102】
ステップS31において、制御部22は、現在の被写体の位置をチェックする。
【0103】
ステップS32において、制御部22は、追尾している被写体がズームイン検出枠にかかったかどうかを判断する。制御部22は、被写体が、ズームイン検出枠にかかった場合には、ステップS33へと処理を進める一方、ズームイン検出枠にかかっていない場合には、ステップS31へと処理を戻す。
【0104】
ステップS33において、制御部22は、レンズユニット12、撮像素子13を介して撮影された追尾した被写体を含む撮影範囲を適切なズーム倍率となるまでズームインするよう制御し、ズームイン処理を実行する。
【0105】
なお、上述したズームアウト処理は、ズームアウト後の被写体がズームイン検出枠ZIに侵入しない程度で実行されるものとし、ズームイン処理は、ズームイン後の被写体が画角から外れない程度で実行されるものとする。
【0106】
このように、制御部22は、図16(a)に示すように、被写体の速度が所定の速度以上で、画角から外れる方向へ移動したことに応じて、図16(b)に示すように、ズームアウト処理を実行する。さらに、制御部22は、図16(c)に示すように、ズームイン検出枠ZIに侵入したことに応じて、図16(d)に示すように、ズームイン処理を実行する。
【0107】
これにより、制御部22は、被写体の速度が所定の速度以上で、画角から外れる方向へ移動したことで、一気に最小倍率となるまでズームアウトをすることで、追尾している被写体を表示部26から消失させることなく撮影チャンスをユーザに提供することができる。したがって、確実な被写体の撮影を実現することができる。
【0108】
また、例えば、上述した図14に示すように、X座標、Y座標の絶対値がともに小さくなっていく方向に被写体が移動していく場合であっても、表示領域DAの原点である中心付近を通過した後には、画角から外れる方向に移動することになる。したがって、被写体が高速で移動している場合には、被写体の移動方向を考慮せず速度のみをトリガとしてズームアウトするように制御した方が、追尾している被写体を表示部26から消失させることなく撮影のチャンスを迅速にユーザに提供することができる場合もある。したがって、確実な被写体の撮影を実現することができる。
【0109】
このように、被写体の速度のみをズームアウトのトリガとする場合、制御部22は、図11に示すフローチャートにおいて、ステップS26乃至ステップS29の処理ステップを飛ばして、ステップS25からステップS30へと進むように制御する。
【0110】
さらに、制御部22は、ズームアウトされた被写体が、再び表示部26の所定の中央領域であるズームイン検出枠ZIへと侵入したことで、縮小した被写体を適切なサイズまで拡大することができる余地があると判断し、ズームイン処理を実行する。したがって、追尾していた被写体を適切なサイズで撮影することができる。
【0111】
なお、上述したズームアウト検出枠ZOの幅、ズームイン検出枠ZIの大きさは、ユーザによるキー入力部29の操作によりそれぞれ自在に変更することができる。
【0112】
さらに、本実施の形態ではデジタルスチルカメラ1を用いて説明したが、本発明はこれに限定されるものではなく、撮影機能付きの携帯電話機、PDA(Personal Data Assistance )や動画像を撮影するビデオカメラ装置などにも適用することができる。
【0113】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【符号の説明】
【0114】
1 デジタルスチルカメラ
12 レンズユニット
13 撮像素子
14 タイミング発生器
15 垂直ドライバ
16 サンプルホールド回路
17 変換器
18 カラープロセス回路
19 DMAコントローラ
20 DRAMインターフェース
21 DRAM
22 制御部
23 VRAMコントローラ
24 VRAM
25 デジタルビデオエンコーダ
26 表示部
27 画像処理部
28 メモリ
29 キー入力部

【特許請求の範囲】
【請求項1】
被写体を含む撮影範囲を撮影する撮影手段と、
前記撮影手段によって撮影される撮影範囲内において、動きのある任意の被写体を特定する被写体特定手段と、
前記被写体特定手段によって特定された被写体を追尾する被写体追尾手段と、
前記撮影手段によって撮影される撮影範囲をズームインまたはズームアウトするズーミング手段と、
前記被写体追尾手段によって追尾される被写体が、前記撮影手段によって撮影される撮影範囲内の所定の領域内に収まっているかどうかを判断する判断手段と、
前記判断手段によって、被写体が前記所定の領域内に収まっていないと判断された場合に、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミング手段を制御する制御手段とを備えること
を特徴とする撮影装置。
【請求項2】
前記撮影手段によって撮影された撮影範囲内の画像を表示する表示手段を備え、
前記所定の領域を、前記表示手段の画像を表示させる表示領域の中心を含む領域とすること
を特徴とする請求項1記載の撮影装置。
【請求項3】
前記撮影手段によって撮影された撮影範囲内の画像の全てを前記表示手段の表示領域に表示させる場合、
前記所定の領域の最大領域を前記表示手段の表示領域内に規定することを
を特徴とする請求項2記載の撮影装置。
【請求項4】
前記撮影手段によって撮影された撮影範囲内の画像の一部を前記表示手段の表示領域に表示させる場合、
前記所定の領域の最大領域を前記表示手段の表示領域内または表示領域外に規定すること
を特徴とする請求項2記載の撮影装置。
【請求項5】
前記所定の領域を矩形状とすること
を特徴とする請求項2乃至請求項4のいずれか1項に記載の撮影装置。
【請求項6】
前記被写体追尾手段によって追尾される被写体の速度を検出する速度検出手段を備え、
前記制御手段は、前記判断手段によって、被写体が前記所定の領域内に収まってないと判断された場合に、前記速度検出手段によって検出される被写体の速度に応じたズーム速度、または前記速度検出手段によって検出される被写体の速度に応じたズーム倍率で前記被写体を含む撮影範囲をズームアウトするよう前記ズーミング手段を制御すること
を特徴とする請求項1乃至請求項5のいずれか1項に記載の撮影装置。
【請求項7】
前記表示手段の表示領域内の所定の中央領域への侵入を検知する侵入検知手段を備え、
前記制御手段は、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミング手段を制御した後、
前記侵入検知手段によって前記所定の中央領域への侵入が検知された場合に、前記被写体を含む撮影範囲をズームインするよう前記ズーミング手段を制御すること
を特徴とする請求項2乃至請求項6のいずれか1項に記載の撮影装置。
【請求項8】
被写体を含む撮影範囲を撮影する撮影工程と、
前記撮影工程によって撮影される撮影範囲内において、動きのある任意の被写体を特定する被写体特定工程と、
前記被写体特定工程によって特定された被写体を追尾する被写体追尾工程と、
ズームインまたはズームアウトにより前記撮影工程によって撮影される撮影範囲を調節するズーミング工程と、
前記被写体追尾工程によって追尾される被写体が、前記撮影工程によって撮影される撮影範囲内の所定の領域内に収まっているかどうかを判断する判断工程と、
前記判断工程によって、被写体が前記所定の領域内に収まっていないと判断された場合に、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミング工程を制御する制御工程とを備えること
を特徴とする被写体追尾ズーミング方法。
【請求項9】
被写体を撮影する撮影装置が備えるコンピュータに適用される被写体追尾ズーミングプログラムであって、
被写体を含む撮影範囲を撮影する撮影ステップと、
前記撮影ステップによって撮影される撮影範囲内において、動きのある任意の被写体を特定する被写体特定ステップと、
前記被写体特定ステップによって特定された被写体を追尾する被写体追尾ステップと、
ズームインまたはズームアウトにより前記撮影ステップによって撮影される撮影範囲を調節するズーミングステップと、
前記被写体追尾ステップによって追尾される被写体が、前記撮影ステップによって撮影される撮影範囲内の所定の領域内に収まっているかどうかを判断する判断ステップと、
前記判断ステップによって、被写体が前記所定の領域内に収まっていないと判断された場合に、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミングステップを制御する制御ステップとを実行させること
を特徴とする被写体追尾ズーミングプログラム。
【請求項10】
被写体を含む撮影範囲を撮影する撮影手段と、
前記撮影手段によって撮影される撮影範囲内において、動きのある任意の被写体を特定する被写体特定手段と、
前記被写体特定手段によって特定された被写体を追尾する被写体追尾手段と、
前記撮影手段によって撮影される撮影範囲をズームインまたはズームアウトするズーミング手段と、
前記被写体追尾手段によって追尾される被写体の速度を検出する速度検出手段と、
前記速度検出手段によって検出される被写体の速度が、所定の速度以上であるかどうかを判定する速度判定手段と、
前記速度判定手段によって、被写体の速度が所定の速度以上であると判定されたことに応じて、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミング手段を制御する制御手段とを備えること
を特徴とする撮影装置。
【請求項11】
前記被写体追尾手段によって追尾される被写体の移動方向を検出する移動方向検出手段と、
前記移動方向検出手段によって検出される前記被写体の移動方向が、撮影範囲である画角から外れる方向へ移動しているかどうかを判定する移動方向判定手段とを備え、
前記制御手段は、前記速度判定手段によって、被写体の速度が所定の速度以上であると判定され、さらに、前記移動方向判定手段によって、前記画角から外れる方向へ移動していると判定されたことに応じて、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミング手段を制御すること
を特徴とする請求項10記載の撮影装置。
【請求項12】
前記撮影手段によって撮影された撮影範囲内の画像を表示する表示手段と、
前記表示手段の表示領域内の所定の中央領域への侵入を検知する侵入検知手段とを備え、
前記制御手段は、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミング手段を制御した後、
前記侵入検知手段によって前記所定の中央領域への侵入が検知された場合に、前記被写体を含む撮影範囲をズームインするよう前記ズーミング手段を制御すること
を特徴とする請求項10又は請求項11記載の撮影装置。
【請求項13】
被写体を含む撮影範囲を撮影する撮影工程と、
前記撮影工程によって撮影される撮影範囲内において、動きのある任意の被写体を特定する被写体特定工程と、
前記被写体特定工程によって特定された被写体を追尾する被写体追尾工程と、
前記撮影工程によって撮影される撮影範囲をズームインまたはズームアウトするズーミング工程と、
前記被写体追尾工程によって追尾される被写体の速度を検出する速度検出工程と、
前記速度検出工程によって検出される被写体の速度が、所定の速度以上であるかどうかを判定する速度判定工程と、
前記速度判定工程によって、被写体の速度が所定の速度以上であると判定されたことに応じて、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミング工程を制御する制御工程とを備えること
を特徴とする被写体追尾ズーミング方法。
【請求項14】
被写体を撮影する撮影装置が備えるコンピュータに適用される被写体追尾ズーミングプログラムであって、
被写体を含む撮影範囲を撮影する撮影ステップと、
前記撮影ステップによって撮影される撮影範囲内において、動きのある任意の被写体を特定する被写体特定ステップと、
前記被写体特定ステップによって特定された被写体を追尾する被写体追尾ステップと、
前記撮影ステップによって撮影される撮影範囲をズームインまたはズームアウトするズーミングステップと、
前記被写体追尾ステップによって追尾される被写体の速度を検出する速度検出ステップと、
前記速度検出ステップによって検出される被写体の速度が、所定の速度以上であるかどうかを判定する速度判定ステップと、
前記速度判定ステップによって、被写体の速度が所定の速度以上であると判定されたことに応じて、前記被写体を含む撮影範囲をズームアウトするよう前記ズーミングステップを制御する制御ステップとを実行させること
を特徴とする被写体追尾ズーミングプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2013−9435(P2013−9435A)
【公開日】平成25年1月10日(2013.1.10)
【国際特許分類】
【出願番号】特願2012−222944(P2012−222944)
【出願日】平成24年10月5日(2012.10.5)
【分割の表示】特願2007−194849(P2007−194849)の分割
【原出願日】平成19年7月26日(2007.7.26)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】