撮像装置および撮像方法
【課題】 低輝度または低照度の環境においても、記録契機を好適に検出するとともに、撮影画像から人物等を好適に認識しやすいような高品質の画像を取得する。
【解決手段】 記録契機を検出する際には、赤外除去フィルタを無効にすることで、低輝度または低照度の環境においても、記録契機を好適に検出できるようになる。一方で、画像の記録時には、赤外除去フィルタを有効にして、カラー画像を記録する
【解決手段】 記録契機を検出する際には、赤外除去フィルタを無効にすることで、低輝度または低照度の環境においても、記録契機を好適に検出できるようになる。一方で、画像の記録時には、赤外除去フィルタを有効にして、カラー画像を記録する
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動的に静止画や動画等の画像を撮影する技術に関する。
【背景技術】
【０００２】
従来、防犯などを目的として、自動的に静止画や動画等の画像を監視カメラにて撮影し、当該画像を記録媒体に記録する監視システムが知られている。撮影される画像は、できるだけ高品質であることが望ましいが、一方で、できるだけ長時間の記録を達成することも望ましい。しかし、画質と記録時間はトレードオフの関係にあるため、高画質と長時間記録とを両立させるのは一般に難しい。
【０００３】
そこで、重要と思われるシーンでは高解像度で記録を行い、一方で、重要と思われないシーンでは低解像度で記録を行う監視システムが提案されている（特許文献１）。この監視システムでは、重要なシーンか否かを、被写体の動きに基づいて判断している。
【０００４】
さらに長時間の監視を行うには、動きのない（平常）シーンでは画像を記録せず、一方で、動きのある（異常）シーンでは画像の記録を行えばよい。これにより、記録媒体の節約が可能なる。
【特許文献１】特開２００２−０１６８７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、異常を検出した時にだけ記録を行う監視システムでは、平常時には記録を行わないため、異常の検出に失敗すると、何も記録されなくなるおそれがある。
【０００６】
異常の検出に失敗しやすい監視環境は、主に、低輝度または低照度の環境である。特に、高解像度化のために撮像素子の画素数を増やすと、通常は、１画素あたりの有効受光面積が低下する。それにつれて感度も低下するため、益々、異常の検出に失敗しやすくなる。
【０００７】
そこで、本発明は、このような課題および他の課題の少なくとも１つを解決することを目的とする。なお、他の課題については明細書の全体を通して理解できよう。
【課題を解決するための手段】
【０００８】
本発明によれば、赤外除去フィルタを無効にすることで、低輝度または低照度の環境においても、記録契機を好適に検出できるようになる。一方で、記録時には、赤外除去フィルタを有効にして、カラー画像を記録する。よって、撮影画像から人物等を好適に認識しやすくなろう。
【発明の効果】
【０００９】
本発明によれば、赤外除去フィルタを無効にすることで、低輝度または低照度の環境においても、記録契機を好適に検出できるようになる。一方で、撮影時には、カラー撮影を実行することで、撮影画像から人物等を好適に認識しやすくなろう。
【発明を実施するための最良の形態】
【００１０】
［第１の実施形態］
図１は、実施形態に係る撮像装置の構成例を示すブロック図である。ここで言う撮像装置（以下、カメラと称す。）は、いわゆる監視カメラ、ビデオカメラ、およびデジタルスチルカメラなどを意味する。カメラは、例えば、動画や静止画等の画像を撮影し、ネットワークを介して外部に画像を送信するカメラであってもよい。あるいは、映像信号を外部に出力するカメラであってもよい。また、記録媒体（例：テープ、半導体メモリ、光ディスクや磁気ディスクなど）に画像を記録するカメラであってもよい。
【００１１】
図１において、カメラ内の各ユニットは、バス１５９を介して接続されている。また、各ユニットはメインＣＰＵ１５１によって統括的に制御される。レンズユニット１０１には、例えば、固定レンズ１０２、ズームレンズ１０３、絞り、固定レンズ１０４、フォーカスレンズ１０５が含まれる。これらの光学部材を通して、撮像素子１４１上に被写体の光学像が結像することで、被写体の撮像が行われる。ズーム制御ユニット１２５は、メインＣＰＵ１５１の指示に従いズームモータ１２１を介してズームレンズ１０３を駆動する。
【００１２】
赤外除去フィルタ１０６は、赤外領域の光成分を低減または遮断する光学フィルタである。赤外除去フィルタ１０６は、駆動モータ１２３により駆動されて、レンズユニット１０１の光路に配置されたり、当該光路から退避したりする。駆動モータ１２３は、赤外除去制御ユニット１２６により制御される。駆動モータ１２３および赤外除去ユニット１２６は、赤外除去フィルタ１０６を移動させるための手段である。なお、赤外除去フィルタ１０６が光路に配置された状態では、撮像素子１４１上に結像する被写体像には赤外領域の光は含まれない。赤外除去フィルタ１０６が光路から退避した状態では、撮像素子１４１上に結像する被写体像に赤外領域の光も含まれることになる。
【００１３】
照明装置１２４は、ＣＰＵ１５１の指示に従い、撮影タイミングに同期して発光または点灯する。これにより、被写体が照明され、低輝度時でも被写体の像を鮮明に記録することが可能となる。なお、静止画撮影用の照明装置としては、例えば、瞬間的に発光させるフラッシュライトがある。また、動画撮影用の照明装置としては、例えば、継続的に照明が可能なビデオライトがある。
【００１４】
撮像素子１４１に結像された画像は、光電変換され、画像信号として撮像信号処理ユニット１４２に入力される。撮像素子１４１は、ＣＣＤセンサやＣＭＯＳセンサなどを採用できる。撮像信号処理ユニット１４２は、入力された画像信号をＡＤ変換およびその他の画像処理を適用する。その後、画像信号は、焦点検出ユニット１３１に入力される。
【００１５】
撮像素子１４１は、撮像制御ユニット１４３により撮像解像度、画像信号の読み出し方法、およびフレームレート等が設定される。画像信号の読み出し方法には、例えば、後述する加算読み出しや全画素読み出しなどがある。撮像信号処理ユニット１４２も、撮像制御ユニット１４３から指示された、解像度、フレームレート、および赤外除去フィルタ１０６の無効／有効等の各条件に合わせた信号処理を実行する。
【００１６】
動き検出ユニット１５２は、被写体の変化を検出するユニットの一例である。被写体の変化など、記録契機を好適に検出できるのであれば、他の検出ユニットを採用してもよい。動き検出ユニット１５２は、撮像信号処理ユニット１４２で信号処理された画像を、撮影順にＲＡＭ１５４に何枚か蓄積する。動き検出ユニット１５２は、複数の画像の相関をとることで、動きがあるか無いかの判別を行う。
【００１７】
焦点検出ユニット１３１には、１以上の測距ゲート１３２、１以上のバンドパスフィルタ（ＢＰＦ）１３３および１以上の検波器１３４が含まれている。測距ゲート１３２は、画像を構成する一部の画像信号を抽出する。バンドパスフィルタ（ＢＰＦ）１３３は、当該画像信号に含まれる所定の高域成分を抽出する。この高域成分は、オートフォーカスの評価値を決定する際に有効な周波数成分である。ＢＰＦ１３３のカットオフ周波数については経験的に決定される。検波器１３４は、ピークホールドや積分等の検波処理を行い、ＡＦ評価値Ｓ１を出力する。ＡＦ評価値Ｓ１は、フォーカス制御ユニット１３５に入力される。なお、測距ゲート１３２、ＢＰＦ１３３、および検波器１３４が複数存在する場合、それに対応してＡＦ評価値Ｓ１も複数の信号となる。フォーカス制御ユニット１３５は、複数の評価値Ｓ１の一部または全部に基づいてオートフォーカス制御を実行する。フォーカス制御ユニット１３５は、ＡＦ評価値Ｓ１に基づいて、ＡＦ評価値Ｓ１が最大になる位置（合焦位置）を検出する。次に、フォーカス制御ユニット１３５は、フォーカスモータ１２２を駆動させてフォーカスレンズ１０５を合焦位置へと移動させる。このようにして、オートフォーカス（ＡＦ）が実現される。
【００１８】
撮像信号処理ユニット１４２で整えられた画像信号は、画像データとして一時的にＲＡＭ１５４に蓄積される。ＲＡＭ１５４に蓄積された画像データは、画像圧縮／解凍ユニット１５３にて圧縮処理される。ＣＰＵ１５１は、圧縮された画像データを記録メディア１５６に記録してもよい。また、ＣＰＵ１５１は、圧縮された画像データを、ネットワークインターフェース１５７を介してネットワーク信号Ｓ３として外部に送信してもよい。ＣＰＵ１５１は、記録処理と並行して、映像出力ユニット１５８から当該画像データを映像信号Ｓ２としてＴＶモニタやＰＣ用のモニタに出力してもよい。
【００１９】
なお、カメラが起動すると、フラッシュメモリ１５５に格納されていた制御プログラムがＲＡＭ１５４の一部にロードされる。ＣＰＵ１５１は、このＲＡＭ１５４にロードされたプログラムにしたがって、上記のように各ユニットを制御する。
【００２０】
図２Ａは、実施形態に係る赤外除去フィルタが光路上に配置されているときの撮像素子との関係を説明する図である。２０１は、原色フィルタが貼り付けられた撮像素子の有効領域全体を表している。通常の撮影動作時においてはこの有効領域全体が画像を取得するための撮像領域となる。ただし電子防振等、特別な撮影を行う際はこの中の一部が撮像領域となる場合もある。図中の各マスは、１つの光電変換素子を示している。２０２は、撮像素子の一部の領域を示している。２１１は、赤のフィルタが貼られた光電変換素子を示している。２１２および２１３は、緑のフィルタが貼られた光電変換素子を示している。２１４は、青のフィルタが貼られた光電変換素子である。撮像信号処理ユニット１４２は、各光電変換素子から画像信号を読み出し、各光電変換素子と原色フィルタとの関係を考慮して、高解像度のカラー画像を作成する。
【００２１】
図２Ｂは、実施形態に係る赤外除去フィルタが光路上から退避しているときの撮像素子を説明する図である。２０４は、２０２と同様で、撮像素子の有効領域全体を示している。２０５は，撮像素子の一部の領域を示している。とりわけ、図２Ｂでは、４つの光電変換素子２１１、２１２、２１３および２１４からの信号を加算し、Ｒ＋Ｂ＋２Ｇの信号として読み出すことを示している。２２１は、４つの光電変換素子２１１、２１２、２１３および２１４からなる光電変換素子グループを示している。図から明らかなように、光電変換素子グループの受光面積は、１つの光電変換素子あたりの受光面積の４倍となっている。これは、感度が改善されることを意味する。
【００２２】
そもそも、赤外除去フィルタ１０６が光路に配置されていないと、赤外領域の光が全て透過してしまう。そのため、Ｒ／Ｇ／Ｂの各フィルタで綺麗に色分離を実現できない。また、４つの光電変換素子からの信号を加算して読み出せば、カラー情報が打ち消しあうため、輝度信号しか得られないことになる。しかしながら、４倍の感度の画像信号を得られる利点がある。そこで、撮像信号処理ユニット１４２は、この４倍の感度で取得された画像信号を用いて、高感度な白黒画像を作成する。なお、図２Ｂに示す状態では、読み出す画像信号の数が４分の１になる、そのため、フレームレートを上げ易くなる利点もある。
【００２３】
図３は、実施形態に係る撮像方法の例示的なフローチャートである。ステップＳ３０１において、ＣＰＵ１５１は、赤外除去制御ユニット１２６に駆動モータ１２３を駆動するように命令を送信する。この命令は、赤外除去フィルタ１０６を光路から退避させるための命令である。赤外除去制御ユニット１２６は、命令に応じて、駆動モータ１２３を駆動する。これにより、赤外除去フィルタ１０６が光路から退避する。
【００２４】
ステップＳ３０２において、ＣＰＵ１５１は、撮像制御ユニット１４３に撮像命令を送出する。撮像制御ユニット１４３は、当該命令に応じて、撮像素子１４１から画像信号を読み出し、撮像信号処理１４２に出力する。なお、画像信号から画像データが作成されて、ＲＡＭ１５４に書き込まれる。
【００２５】
ステップＳ３０３において、ＣＰＵ１５１は、被写体に変化があったか否かを判定する。具体的には、動き検出ユニット１５２を用いて、複数の画像を比較することで、被写体の動きを検出する。被写体に変化がなければ、ステップＳ３０２に戻る。被写体に変化があれば、ステップＳ３０４に進む。
【００２６】
ステップＳ３０４において、ＣＰＵ１５１は、赤外除去制御ユニット１２６を介して駆動モータ１２３を駆動し、赤外除去フィルタ１０６を光路に配置させる。
【００２７】
ステップＳ３０５において、ＣＰＵ１５１は、撮像素子１４１により取得された画像信号に基づいて、カラー画像を記録する。カラー画像は、記録メディア１２６に記録されてもよいし、ネットワークインターフェース１５７を通じて所定のＰＣに送信されてもよい。
【００２８】
ステップＳ３０６において、ＣＰＵ１５１は、監視を終了すべきステータスか否かを判定する。監視を継続すべき場合は、ステップＳ３０１に戻る。そうでなければ、本撮影処理を終了する。
【００２９】
本実施形態によれば、赤外除去フィルタを無効にすることで、低輝度または低照度の環境においても、記録契機を好適に検出できるようになる。一方で、記録時には、赤外除去フィルタを有効にして、カラー画像を記録する。よって、撮影画像から人物等を好適に認識しやすくなろう。
【００３０】
図４は、実施形態に係る他の静止画撮像方法の例示的なフローチャートである。なお、本撮像方法は、図３で示した撮像方法の下位概念ともいえる。ステップＳ４０１において、ＣＰＵ１５１は、撮像素子１４１から読み出した画像信号から被写体の輝度を測定する。
【００３１】
ステップＳ４０２において、ＣＰＵ１５１は、被写体輝度が低輝度か否かを判定する。例えば、被写体の輝度と所定の閾値とを比較することで、低輝度か否かを判定する。閾値は、経験的に決定される。低輝度であれば、ステップＳ４０３に進む。そうでなければ、ステップＳ４０４に進み、ＣＰＵ１５１は、赤外除去フィルタ１０６が光路に配置されるよう制御する。ステップＳ４０３において、ＣＰＵ１５１は、赤外除去フィルタ１０６が光路から退避するように制御する。
【００３２】
ステップＳ４０５において、ＣＰＵ１５１は、撮像素子１４１を構成する全光電変換素子について、４つの光電変換素子を一組とし、該４つの光電変換素子からの画像信号を加算して読み出す。信号の加算ユニットは、撮像素子１４１に搭載してもよい。この場合、ＣＰＵ１５１からの制御信号により、各光電変換素子ごとに画像信号を読み出すか、加算された画像信号を読み出すかを切り替えられるものとする。また、ＣＰＵ１５１は、通常のフレームレートよりも高速のフレームレートで画像信号を読み出すよう撮像信号処理ユニット１４２を設定する。通常のフレームレートは、カラー画像を記録するときのフレームレートであり、相対的に低速のレームレートである。ステップＳ４０６において、ＣＰＵ１５１は、撮像信号処理ユニット１４２を制御して、高感度で白黒画像を撮像する。
【００３３】
ステップＳ４０７において、ＣＰＵ１５１は、この高感度で取得された画像信号を用いて動き検出ユニット１５２により動き検出を実行させる。動きがないと判断されたときは、Ｓ４０１に戻る。一方、動きがあると判断された場合は、ステップＳ４０９に進む。
【００３４】
ステップＳ４０９において、ＣＰＵ１５１は、フォーカス制御ユニット１３５に合焦位置を検出させる。ステップＳ４１０において、ＣＰＵ１５１は、赤外線撮影と可視光撮影との合焦位置補正を実行する。
【００３５】
ステップＳ４２０において、ＣＰＵ１５１は、カラー撮影を行うために、赤外除去フィルタ１０６を光路内に配置させる。ステップＳ４２１において、ＣＰＵ１５１は、全ての光電変換素子から画像信号を読み出すように撮像素子１４１を設定する。これにより、図２Ａで示したように、カラー画像を構成するための画像信号を取得できる。
【００３６】
ステップＳ４２２において、ＣＰＵ１５１は、画像信号から被写体の輝度を測定する。ステップＳ４２３において、ＣＰＵ１５１は、被写体の輝度が低輝度か否かを判定する。低輝度でなければ、ステップＳ４２５に進む。一方、低輝度であれば、ステップＳ４２４に進み、ＣＰＵ１５１は、照明装置であるフラッシュライト１２４をＯＮにする。フラッシュライト１２４は、撮影と同期して発光することはいうまでもない。
【００３７】
ステップＳ４２５において、ＣＰＵ１５１は、高解像度のカラー静止画を撮影する。ステップＳ４２６において、ＣＰＵ１５１は、撮影されたカラー静止画の画像データをＲＡＭ１５４に一時保存する。ステップＳ４２７において、ＣＰＵ１５１は、画像データをＲＡＭ１５４から読み出して、ネットワークインターフェース１５７を介して外部に送信する。その後、Ｓ４０１に戻る。なお、画像データをネットワーク配信する代わりに、記録メディア１５６に記録してもよい。また、映像出力ユニット１５８を通して、モニタに映像を写しても構わないことは言うまでもない。
【００３８】
以上説明したように、本実施形態によれば、被写体の変化を検出する時は、赤外除去フィルタ１０６を無効にすることで、低輝度または低照度の環境においても、好適に変化を検出できるようになる。一方で、記録時には、赤外除去フィルタ１０６を有効にして、カラー画像を記録するので、撮影画像から人物等を好適に認識しやすくなろう。
【００３９】
とりわけ、本実施形態によれば、被写体の変化を検出する際には、撮像素子１４１を構成する４つの光電変換素子ごとに、これらの光電変換素子から出力される画像信号を加算することで１画素の画像信号として読み出す。そのため、実質的な感度を向上させることができる。また、撮像装置１４１を構成する全素子の数よりも少ない数の画像信号を出力することになるので、フレームレートを上げやすくなる。すなわち、撮像装置１４１を構成する全光電変換素子を用いて撮像する時のフレームレートよりも、高速のフレームレートにより撮像を実行できるようになる。これは、画素数が減少すれば、データの転送速度に余裕が生じるからである。また、フレームレートが上昇すれば、ＡＦの動作速度を向上させることもできる。なお、上述の実施形態では、４つの光電変換素子を１グループとしてまとめたが、２以上であればよいことはいうまでもない。
【００４０】
また、上述の実施形態では、複数の光電変換素子からの画像信号を加算することで、画素数を減少させたが、複数の光電変換素子のうち一部の素子からのみ画像信号を読み出すようにしてもよい。これにより、フレームレートを向上させ、ＡＦの動作速度も向上させることができる。
【００４１】
なお、カラー画像を記録するときは、被写体の変化検出時よりも画素数が増えることになるので、高解像度のカラー画像を取得できる。したがって、人物等の特定に有利である。また、高解像度のカラー画像を取得する際は、撮像素子１４１が相対的に低速のフレームレートに設定される。これによりデータの転送速度の問題も解決できよう。
【００４２】
また、撮像装置１４１から出力される画像信号のうち高域成分をＢＰＦにより抽出して、撮像光学系の合焦位置を検出してもよい。高域成分を用いれば、低輝度環境下でも合焦位置を検出しやすくなるからである。
【００４３】
さらに、照明装置１２４は、被写体の変化を検出する際には照明をせず、画像を記録する際には照明を実行してもよい。これにより、照明装置１２４により消費される電力を節約することができよう。なお、カメラが、記録されたカラー画像を外部に送信するネットワークインターフェース１５７を備えていれば、ＲＡＭ１５４から画像データを消去できるため、長時間記録を実現しやすくなろう。また、着脱可能な記録メディア１５６に画像データを移すことでも、長時間記録を実現しやすくなろう。
【００４４】
［第２の実施形態］
第２実施形態では、動画撮影の事例を紹介する。図５Ａは、実施形態に係る赤外除去フィルタが光路上に配置されているときの撮像素子との関係を説明する図である。５０１は、補色フィルタが貼り付けられた撮像素子１４１の有効領域全体を表している。図中の各マスは、１つの光電変換素子を示している。５０２は、撮像素子１４１の一部の領域を示している。５１１は、シアンのフィルタが貼られた光電変換素子を示している。５１２は、緑のフィルタが貼られた光電変換素子を示している。５１３は、イエローのフィルタが貼られた光電変換素子を示している。２１４は、マゼンタのフィルタが貼られた光電変換素子である。撮像信号処理ユニット１４２は、各光電変換素子から画像信号を読み出し、各光電変換素子と原色フィルタとの関係を考慮して、高解像度のカラー画像を作成する。
【００４５】
図５Ｂは、実施形態に係る赤外除去フィルタが光路上から退避しているときの撮像素子を説明する図である。５０４は、５０２と同様で、撮像素子１４１の有効領域全体を示している。５０５は、撮像素子１４１の一部の領域を示している。とりわけ、図５Ｂでは、４つの光電変換素子５１１、５１２、５１３および５１４からの信号を加算し、Ｃｙ＋Ｙｅ＋Ｍｇ＋Ｇの信号として読み出すことを示している。５２１は、４つの光電変換素子５１１、５１２、５１３および５１４からなる光電変換素子グループを示している。図から明らかなように、光電変換素子グループの受光面積は、１つの光電変換素子あたりの受光面積の４倍となっている。これは、感度が改善されることを意味する。
【００４６】
そもそも、赤外除去フィルタ１０６が光路に入っていないと、赤外領域の光が全て透過するために、Ｃｙ／Ｙｅ／Ｍｇ／Ｇのフィルタで綺麗に色分離できない。さらに、４つの光電変換素子からの信号を加算して読み出すことで、輝度信号しか得られない。加算により、カラー情報が打ち消しあってしまうからである。しかしながら、４倍の感度の画像信号を得られる利点がある。そこで、撮像信号処理ユニット１４２は、この４倍の感度で取得された画像信号を用いて、高感度な白黒画像を作成する。なお、図５Ｂに示す状態では、読み出す画像信号の数が４分の１になる、そのため、フレームレートを上げ安くなる利点もある。
【００４７】
図６は、実施形態に係る動画撮影方法の例示的なフローチャートである。なお、本撮像方法は、図３で示した撮像方法の下位概念ともいえる。ステップＳ６０１において、ＣＰＵ１５１は、撮像素子１４１から読み出した画像信号から被写体の輝度を測定する。
【００４８】
ステップＳ６０２において、ＣＰＵ１５１は、被写体輝度が低輝度か否かを判定する。例えば、被写体の輝度と所定の閾値（通常輝度）とを比較することで、低輝度か否かを判定する。低輝度であれば、ステップＳ６０３に進む。そうでなければ、ステップＳ６０４に進み、ＣＰＵ１５１は、赤外除去フィルタ１０６が光路に配置されるよう制御する。ステップＳ６０３において、ＣＰＵ１５１は、赤外除去フィルタ１０６が光路から退避するように制御する。
【００４９】
ステップＳ６０５において、ＣＰＵ１５１は、撮像素子１４１を構成する全光電変換素子について、４つの光電変換素子を一組とし、該４つの光電変換素子からの画像信号を加算して読み出す。信号の加算ユニットは、撮像素子１４１に搭載してもよい。この場合、ＣＰＵ１５１からの制御信号により、各光電変換素子ごとに画像信号を読み出すか、加算された画像信号を読み出すかを切り替えられるものとする。また、ＣＰＵ１５１は、通常よりも高いフレームレートで画像信号を読み出すよう撮像信号処理ユニット１４２を設定する。
【００５０】
ステップＳ６０６において、ＣＰＵ１５１は、撮像信号処理ユニット１４２を制御して、高感度で白黒画像を撮像する。ステップＳ６０７において、ＣＰＵ１５１は、この高感度で取得された画像信号を用いて動き検出ユニット１５２により動き検出を実行させる。動きがないと判断されたときは、Ｓ６０１に戻る。一方、動きがあると判断された場合は、ステップＳ６０９に進む。ステップＳ６０９において、ＣＰＵ１５１は、フォーカス制御ユニット１３５に合焦位置を検出させる。ステップＳ６１０において、ＣＰＵ１５１は、赤外線撮影と可視光撮影との合焦位置補正を実行する。
【００５１】
ステップＳ６２０において、ＣＰＵ１５１は、カラー撮影を行うために、赤外除去フィルタ１０６を光路内に配置させる。ステップＳ６２１において、ＣＰＵ１５１は、全光電変換素子から画像信号を読み出すように撮像素子１４１を設定する。これにより、図２Ａで示したように、カラー画像を構成するための画像信号を取得できる。
【００５２】
ステップＳ６２２において、ＣＰＵ１５１は、画像信号から被写体の輝度を測定する。ステップＳ６２３において、ＣＰＵ１５１は、被写体の輝度が低輝度か否かを判定する。低輝度でなければ、ステップＳ６２５に進む。一方、低輝度であれば、ステップＳ６２４に進み、ＣＰＵ１５１は、照明装置であるビデオライト１２４をＯＮにする。
【００５３】
ステップＳ６２５において、ＣＰＵ１５１は、高解像度のカラー動画の撮影を開始する。ステップＳ６２６において、ＣＰＵ１５１は、撮影されたカラー動画像のデータ（動画データ）をＲＡＭ１５４に一時保存する。ステップＳ６２７において、ＣＰＵ１５１は、動画データをＲＡＭ１５４から読み出して、ネットワークインターフェース１５７を介して外部の装置（ファイルサーバなど）に送信する。
【００５４】
ステップＳ６２８において、ＣＰＵ１５１は、動き検出ユニット１５２を用いて被写体の動き検出を実行する。ステップＳ６２９で、ＣＰＵ１５１は、動き検出ユニット１５２が動きを検出したか否かを判定する。動きを検出した場合は、ステップＳ６２８に戻り、動画撮影を継続する。一方で、動きが検出されなくなれば、ステップＳ６３０に進み、ＣＰＵ１５１は、動画の送信を停止する。ステップＳ６３１において、ＣＰＵ１５１は、動画撮影を停止する。さらに、ステップＳ６３２で、ＣＰＵ１５１は、ビデオライトをＯＦＦに切り替える。その後、ステップＳ６０１に戻る。なお、動画データをネットワーク配信する代わりに、記録メディア１５６に記録してもよい。また、映像出力ユニット１５８を通して、モニタに映像を写しても構わないことは言うまでもない。
【００５５】
なお、図６によれば、合焦位置補正（Ｓ６１０）を実行した後で、オートフォーカスを実行するステップが記載されていないが、もちろん、継続的にオートフォーカスを実行してもよいことはいうまでもない。動画撮影では、被写体の距離が逐次変化する可能性もあるからである。この場合、フォーカス制御ユニット１３５は、Ｓ６１０で決定された合焦位置を開始点とし、動画撮影中も継続してオートフォーカス制御を実行する。
【００５６】
また、第１の実施形態では、原色フィルタを採用した撮像素子１４１を用いた静止画撮影について説明した。また、第２の実施形態では、補色フィルタを採用した撮像素子１４１を用いた動画撮影について説明した。もちろん、これらは一例に過ぎない。例えば、補色フィルタを用いて静止画撮影を行ってもよいし、原色フィルタを用いて動画撮影を行ってもよい。
【図面の簡単な説明】
【００５７】
【図１】実施形態に係る撮像装置の構成例を示すブロック図である。
【図２Ａ】実施形態に係る赤外除去フィルタが光路上に配置されているときの撮像素子との関係を説明する図である。
【図２Ｂ】実施形態に係る赤外除去フィルタが光路上から退避しているときの撮像素子を説明する図である。
【図３】実施形態に係る撮像方法の例示的なフローチャートである。
【図４】実施形態に係る他の静止画撮像方法の例示的なフローチャートである。
【図５Ａ】実施形態に係る赤外除去フィルタが光路上に配置されているときの撮像素子との関係を説明する図である。
【図５Ｂ】実施形態に係る赤外除去フィルタが光路上から退避しているときの撮像素子を説明する図である。
【図６】実施形態に係る動画撮影方法の例示的なフローチャートである。
【技術分野】
【０００１】
本発明は、自動的に静止画や動画等の画像を撮影する技術に関する。
【背景技術】
【０００２】
従来、防犯などを目的として、自動的に静止画や動画等の画像を監視カメラにて撮影し、当該画像を記録媒体に記録する監視システムが知られている。撮影される画像は、できるだけ高品質であることが望ましいが、一方で、できるだけ長時間の記録を達成することも望ましい。しかし、画質と記録時間はトレードオフの関係にあるため、高画質と長時間記録とを両立させるのは一般に難しい。
【０００３】
そこで、重要と思われるシーンでは高解像度で記録を行い、一方で、重要と思われないシーンでは低解像度で記録を行う監視システムが提案されている（特許文献１）。この監視システムでは、重要なシーンか否かを、被写体の動きに基づいて判断している。
【０００４】
さらに長時間の監視を行うには、動きのない（平常）シーンでは画像を記録せず、一方で、動きのある（異常）シーンでは画像の記録を行えばよい。これにより、記録媒体の節約が可能なる。
【特許文献１】特開２００２−０１６８７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、異常を検出した時にだけ記録を行う監視システムでは、平常時には記録を行わないため、異常の検出に失敗すると、何も記録されなくなるおそれがある。
【０００６】
異常の検出に失敗しやすい監視環境は、主に、低輝度または低照度の環境である。特に、高解像度化のために撮像素子の画素数を増やすと、通常は、１画素あたりの有効受光面積が低下する。それにつれて感度も低下するため、益々、異常の検出に失敗しやすくなる。
【０００７】
そこで、本発明は、このような課題および他の課題の少なくとも１つを解決することを目的とする。なお、他の課題については明細書の全体を通して理解できよう。
【課題を解決するための手段】
【０００８】
本発明によれば、赤外除去フィルタを無効にすることで、低輝度または低照度の環境においても、記録契機を好適に検出できるようになる。一方で、記録時には、赤外除去フィルタを有効にして、カラー画像を記録する。よって、撮影画像から人物等を好適に認識しやすくなろう。
【発明の効果】
【０００９】
本発明によれば、赤外除去フィルタを無効にすることで、低輝度または低照度の環境においても、記録契機を好適に検出できるようになる。一方で、撮影時には、カラー撮影を実行することで、撮影画像から人物等を好適に認識しやすくなろう。
【発明を実施するための最良の形態】
【００１０】
［第１の実施形態］
図１は、実施形態に係る撮像装置の構成例を示すブロック図である。ここで言う撮像装置（以下、カメラと称す。）は、いわゆる監視カメラ、ビデオカメラ、およびデジタルスチルカメラなどを意味する。カメラは、例えば、動画や静止画等の画像を撮影し、ネットワークを介して外部に画像を送信するカメラであってもよい。あるいは、映像信号を外部に出力するカメラであってもよい。また、記録媒体（例：テープ、半導体メモリ、光ディスクや磁気ディスクなど）に画像を記録するカメラであってもよい。
【００１１】
図１において、カメラ内の各ユニットは、バス１５９を介して接続されている。また、各ユニットはメインＣＰＵ１５１によって統括的に制御される。レンズユニット１０１には、例えば、固定レンズ１０２、ズームレンズ１０３、絞り、固定レンズ１０４、フォーカスレンズ１０５が含まれる。これらの光学部材を通して、撮像素子１４１上に被写体の光学像が結像することで、被写体の撮像が行われる。ズーム制御ユニット１２５は、メインＣＰＵ１５１の指示に従いズームモータ１２１を介してズームレンズ１０３を駆動する。
【００１２】
赤外除去フィルタ１０６は、赤外領域の光成分を低減または遮断する光学フィルタである。赤外除去フィルタ１０６は、駆動モータ１２３により駆動されて、レンズユニット１０１の光路に配置されたり、当該光路から退避したりする。駆動モータ１２３は、赤外除去制御ユニット１２６により制御される。駆動モータ１２３および赤外除去ユニット１２６は、赤外除去フィルタ１０６を移動させるための手段である。なお、赤外除去フィルタ１０６が光路に配置された状態では、撮像素子１４１上に結像する被写体像には赤外領域の光は含まれない。赤外除去フィルタ１０６が光路から退避した状態では、撮像素子１４１上に結像する被写体像に赤外領域の光も含まれることになる。
【００１３】
照明装置１２４は、ＣＰＵ１５１の指示に従い、撮影タイミングに同期して発光または点灯する。これにより、被写体が照明され、低輝度時でも被写体の像を鮮明に記録することが可能となる。なお、静止画撮影用の照明装置としては、例えば、瞬間的に発光させるフラッシュライトがある。また、動画撮影用の照明装置としては、例えば、継続的に照明が可能なビデオライトがある。
【００１４】
撮像素子１４１に結像された画像は、光電変換され、画像信号として撮像信号処理ユニット１４２に入力される。撮像素子１４１は、ＣＣＤセンサやＣＭＯＳセンサなどを採用できる。撮像信号処理ユニット１４２は、入力された画像信号をＡＤ変換およびその他の画像処理を適用する。その後、画像信号は、焦点検出ユニット１３１に入力される。
【００１５】
撮像素子１４１は、撮像制御ユニット１４３により撮像解像度、画像信号の読み出し方法、およびフレームレート等が設定される。画像信号の読み出し方法には、例えば、後述する加算読み出しや全画素読み出しなどがある。撮像信号処理ユニット１４２も、撮像制御ユニット１４３から指示された、解像度、フレームレート、および赤外除去フィルタ１０６の無効／有効等の各条件に合わせた信号処理を実行する。
【００１６】
動き検出ユニット１５２は、被写体の変化を検出するユニットの一例である。被写体の変化など、記録契機を好適に検出できるのであれば、他の検出ユニットを採用してもよい。動き検出ユニット１５２は、撮像信号処理ユニット１４２で信号処理された画像を、撮影順にＲＡＭ１５４に何枚か蓄積する。動き検出ユニット１５２は、複数の画像の相関をとることで、動きがあるか無いかの判別を行う。
【００１７】
焦点検出ユニット１３１には、１以上の測距ゲート１３２、１以上のバンドパスフィルタ（ＢＰＦ）１３３および１以上の検波器１３４が含まれている。測距ゲート１３２は、画像を構成する一部の画像信号を抽出する。バンドパスフィルタ（ＢＰＦ）１３３は、当該画像信号に含まれる所定の高域成分を抽出する。この高域成分は、オートフォーカスの評価値を決定する際に有効な周波数成分である。ＢＰＦ１３３のカットオフ周波数については経験的に決定される。検波器１３４は、ピークホールドや積分等の検波処理を行い、ＡＦ評価値Ｓ１を出力する。ＡＦ評価値Ｓ１は、フォーカス制御ユニット１３５に入力される。なお、測距ゲート１３２、ＢＰＦ１３３、および検波器１３４が複数存在する場合、それに対応してＡＦ評価値Ｓ１も複数の信号となる。フォーカス制御ユニット１３５は、複数の評価値Ｓ１の一部または全部に基づいてオートフォーカス制御を実行する。フォーカス制御ユニット１３５は、ＡＦ評価値Ｓ１に基づいて、ＡＦ評価値Ｓ１が最大になる位置（合焦位置）を検出する。次に、フォーカス制御ユニット１３５は、フォーカスモータ１２２を駆動させてフォーカスレンズ１０５を合焦位置へと移動させる。このようにして、オートフォーカス（ＡＦ）が実現される。
【００１８】
撮像信号処理ユニット１４２で整えられた画像信号は、画像データとして一時的にＲＡＭ１５４に蓄積される。ＲＡＭ１５４に蓄積された画像データは、画像圧縮／解凍ユニット１５３にて圧縮処理される。ＣＰＵ１５１は、圧縮された画像データを記録メディア１５６に記録してもよい。また、ＣＰＵ１５１は、圧縮された画像データを、ネットワークインターフェース１５７を介してネットワーク信号Ｓ３として外部に送信してもよい。ＣＰＵ１５１は、記録処理と並行して、映像出力ユニット１５８から当該画像データを映像信号Ｓ２としてＴＶモニタやＰＣ用のモニタに出力してもよい。
【００１９】
なお、カメラが起動すると、フラッシュメモリ１５５に格納されていた制御プログラムがＲＡＭ１５４の一部にロードされる。ＣＰＵ１５１は、このＲＡＭ１５４にロードされたプログラムにしたがって、上記のように各ユニットを制御する。
【００２０】
図２Ａは、実施形態に係る赤外除去フィルタが光路上に配置されているときの撮像素子との関係を説明する図である。２０１は、原色フィルタが貼り付けられた撮像素子の有効領域全体を表している。通常の撮影動作時においてはこの有効領域全体が画像を取得するための撮像領域となる。ただし電子防振等、特別な撮影を行う際はこの中の一部が撮像領域となる場合もある。図中の各マスは、１つの光電変換素子を示している。２０２は、撮像素子の一部の領域を示している。２１１は、赤のフィルタが貼られた光電変換素子を示している。２１２および２１３は、緑のフィルタが貼られた光電変換素子を示している。２１４は、青のフィルタが貼られた光電変換素子である。撮像信号処理ユニット１４２は、各光電変換素子から画像信号を読み出し、各光電変換素子と原色フィルタとの関係を考慮して、高解像度のカラー画像を作成する。
【００２１】
図２Ｂは、実施形態に係る赤外除去フィルタが光路上から退避しているときの撮像素子を説明する図である。２０４は、２０２と同様で、撮像素子の有効領域全体を示している。２０５は，撮像素子の一部の領域を示している。とりわけ、図２Ｂでは、４つの光電変換素子２１１、２１２、２１３および２１４からの信号を加算し、Ｒ＋Ｂ＋２Ｇの信号として読み出すことを示している。２２１は、４つの光電変換素子２１１、２１２、２１３および２１４からなる光電変換素子グループを示している。図から明らかなように、光電変換素子グループの受光面積は、１つの光電変換素子あたりの受光面積の４倍となっている。これは、感度が改善されることを意味する。
【００２２】
そもそも、赤外除去フィルタ１０６が光路に配置されていないと、赤外領域の光が全て透過してしまう。そのため、Ｒ／Ｇ／Ｂの各フィルタで綺麗に色分離を実現できない。また、４つの光電変換素子からの信号を加算して読み出せば、カラー情報が打ち消しあうため、輝度信号しか得られないことになる。しかしながら、４倍の感度の画像信号を得られる利点がある。そこで、撮像信号処理ユニット１４２は、この４倍の感度で取得された画像信号を用いて、高感度な白黒画像を作成する。なお、図２Ｂに示す状態では、読み出す画像信号の数が４分の１になる、そのため、フレームレートを上げ易くなる利点もある。
【００２３】
図３は、実施形態に係る撮像方法の例示的なフローチャートである。ステップＳ３０１において、ＣＰＵ１５１は、赤外除去制御ユニット１２６に駆動モータ１２３を駆動するように命令を送信する。この命令は、赤外除去フィルタ１０６を光路から退避させるための命令である。赤外除去制御ユニット１２６は、命令に応じて、駆動モータ１２３を駆動する。これにより、赤外除去フィルタ１０６が光路から退避する。
【００２４】
ステップＳ３０２において、ＣＰＵ１５１は、撮像制御ユニット１４３に撮像命令を送出する。撮像制御ユニット１４３は、当該命令に応じて、撮像素子１４１から画像信号を読み出し、撮像信号処理１４２に出力する。なお、画像信号から画像データが作成されて、ＲＡＭ１５４に書き込まれる。
【００２５】
ステップＳ３０３において、ＣＰＵ１５１は、被写体に変化があったか否かを判定する。具体的には、動き検出ユニット１５２を用いて、複数の画像を比較することで、被写体の動きを検出する。被写体に変化がなければ、ステップＳ３０２に戻る。被写体に変化があれば、ステップＳ３０４に進む。
【００２６】
ステップＳ３０４において、ＣＰＵ１５１は、赤外除去制御ユニット１２６を介して駆動モータ１２３を駆動し、赤外除去フィルタ１０６を光路に配置させる。
【００２７】
ステップＳ３０５において、ＣＰＵ１５１は、撮像素子１４１により取得された画像信号に基づいて、カラー画像を記録する。カラー画像は、記録メディア１２６に記録されてもよいし、ネットワークインターフェース１５７を通じて所定のＰＣに送信されてもよい。
【００２８】
ステップＳ３０６において、ＣＰＵ１５１は、監視を終了すべきステータスか否かを判定する。監視を継続すべき場合は、ステップＳ３０１に戻る。そうでなければ、本撮影処理を終了する。
【００２９】
本実施形態によれば、赤外除去フィルタを無効にすることで、低輝度または低照度の環境においても、記録契機を好適に検出できるようになる。一方で、記録時には、赤外除去フィルタを有効にして、カラー画像を記録する。よって、撮影画像から人物等を好適に認識しやすくなろう。
【００３０】
図４は、実施形態に係る他の静止画撮像方法の例示的なフローチャートである。なお、本撮像方法は、図３で示した撮像方法の下位概念ともいえる。ステップＳ４０１において、ＣＰＵ１５１は、撮像素子１４１から読み出した画像信号から被写体の輝度を測定する。
【００３１】
ステップＳ４０２において、ＣＰＵ１５１は、被写体輝度が低輝度か否かを判定する。例えば、被写体の輝度と所定の閾値とを比較することで、低輝度か否かを判定する。閾値は、経験的に決定される。低輝度であれば、ステップＳ４０３に進む。そうでなければ、ステップＳ４０４に進み、ＣＰＵ１５１は、赤外除去フィルタ１０６が光路に配置されるよう制御する。ステップＳ４０３において、ＣＰＵ１５１は、赤外除去フィルタ１０６が光路から退避するように制御する。
【００３２】
ステップＳ４０５において、ＣＰＵ１５１は、撮像素子１４１を構成する全光電変換素子について、４つの光電変換素子を一組とし、該４つの光電変換素子からの画像信号を加算して読み出す。信号の加算ユニットは、撮像素子１４１に搭載してもよい。この場合、ＣＰＵ１５１からの制御信号により、各光電変換素子ごとに画像信号を読み出すか、加算された画像信号を読み出すかを切り替えられるものとする。また、ＣＰＵ１５１は、通常のフレームレートよりも高速のフレームレートで画像信号を読み出すよう撮像信号処理ユニット１４２を設定する。通常のフレームレートは、カラー画像を記録するときのフレームレートであり、相対的に低速のレームレートである。ステップＳ４０６において、ＣＰＵ１５１は、撮像信号処理ユニット１４２を制御して、高感度で白黒画像を撮像する。
【００３３】
ステップＳ４０７において、ＣＰＵ１５１は、この高感度で取得された画像信号を用いて動き検出ユニット１５２により動き検出を実行させる。動きがないと判断されたときは、Ｓ４０１に戻る。一方、動きがあると判断された場合は、ステップＳ４０９に進む。
【００３４】
ステップＳ４０９において、ＣＰＵ１５１は、フォーカス制御ユニット１３５に合焦位置を検出させる。ステップＳ４１０において、ＣＰＵ１５１は、赤外線撮影と可視光撮影との合焦位置補正を実行する。
【００３５】
ステップＳ４２０において、ＣＰＵ１５１は、カラー撮影を行うために、赤外除去フィルタ１０６を光路内に配置させる。ステップＳ４２１において、ＣＰＵ１５１は、全ての光電変換素子から画像信号を読み出すように撮像素子１４１を設定する。これにより、図２Ａで示したように、カラー画像を構成するための画像信号を取得できる。
【００３６】
ステップＳ４２２において、ＣＰＵ１５１は、画像信号から被写体の輝度を測定する。ステップＳ４２３において、ＣＰＵ１５１は、被写体の輝度が低輝度か否かを判定する。低輝度でなければ、ステップＳ４２５に進む。一方、低輝度であれば、ステップＳ４２４に進み、ＣＰＵ１５１は、照明装置であるフラッシュライト１２４をＯＮにする。フラッシュライト１２４は、撮影と同期して発光することはいうまでもない。
【００３７】
ステップＳ４２５において、ＣＰＵ１５１は、高解像度のカラー静止画を撮影する。ステップＳ４２６において、ＣＰＵ１５１は、撮影されたカラー静止画の画像データをＲＡＭ１５４に一時保存する。ステップＳ４２７において、ＣＰＵ１５１は、画像データをＲＡＭ１５４から読み出して、ネットワークインターフェース１５７を介して外部に送信する。その後、Ｓ４０１に戻る。なお、画像データをネットワーク配信する代わりに、記録メディア１５６に記録してもよい。また、映像出力ユニット１５８を通して、モニタに映像を写しても構わないことは言うまでもない。
【００３８】
以上説明したように、本実施形態によれば、被写体の変化を検出する時は、赤外除去フィルタ１０６を無効にすることで、低輝度または低照度の環境においても、好適に変化を検出できるようになる。一方で、記録時には、赤外除去フィルタ１０６を有効にして、カラー画像を記録するので、撮影画像から人物等を好適に認識しやすくなろう。
【００３９】
とりわけ、本実施形態によれば、被写体の変化を検出する際には、撮像素子１４１を構成する４つの光電変換素子ごとに、これらの光電変換素子から出力される画像信号を加算することで１画素の画像信号として読み出す。そのため、実質的な感度を向上させることができる。また、撮像装置１４１を構成する全素子の数よりも少ない数の画像信号を出力することになるので、フレームレートを上げやすくなる。すなわち、撮像装置１４１を構成する全光電変換素子を用いて撮像する時のフレームレートよりも、高速のフレームレートにより撮像を実行できるようになる。これは、画素数が減少すれば、データの転送速度に余裕が生じるからである。また、フレームレートが上昇すれば、ＡＦの動作速度を向上させることもできる。なお、上述の実施形態では、４つの光電変換素子を１グループとしてまとめたが、２以上であればよいことはいうまでもない。
【００４０】
また、上述の実施形態では、複数の光電変換素子からの画像信号を加算することで、画素数を減少させたが、複数の光電変換素子のうち一部の素子からのみ画像信号を読み出すようにしてもよい。これにより、フレームレートを向上させ、ＡＦの動作速度も向上させることができる。
【００４１】
なお、カラー画像を記録するときは、被写体の変化検出時よりも画素数が増えることになるので、高解像度のカラー画像を取得できる。したがって、人物等の特定に有利である。また、高解像度のカラー画像を取得する際は、撮像素子１４１が相対的に低速のフレームレートに設定される。これによりデータの転送速度の問題も解決できよう。
【００４２】
また、撮像装置１４１から出力される画像信号のうち高域成分をＢＰＦにより抽出して、撮像光学系の合焦位置を検出してもよい。高域成分を用いれば、低輝度環境下でも合焦位置を検出しやすくなるからである。
【００４３】
さらに、照明装置１２４は、被写体の変化を検出する際には照明をせず、画像を記録する際には照明を実行してもよい。これにより、照明装置１２４により消費される電力を節約することができよう。なお、カメラが、記録されたカラー画像を外部に送信するネットワークインターフェース１５７を備えていれば、ＲＡＭ１５４から画像データを消去できるため、長時間記録を実現しやすくなろう。また、着脱可能な記録メディア１５６に画像データを移すことでも、長時間記録を実現しやすくなろう。
【００４４】
［第２の実施形態］
第２実施形態では、動画撮影の事例を紹介する。図５Ａは、実施形態に係る赤外除去フィルタが光路上に配置されているときの撮像素子との関係を説明する図である。５０１は、補色フィルタが貼り付けられた撮像素子１４１の有効領域全体を表している。図中の各マスは、１つの光電変換素子を示している。５０２は、撮像素子１４１の一部の領域を示している。５１１は、シアンのフィルタが貼られた光電変換素子を示している。５１２は、緑のフィルタが貼られた光電変換素子を示している。５１３は、イエローのフィルタが貼られた光電変換素子を示している。２１４は、マゼンタのフィルタが貼られた光電変換素子である。撮像信号処理ユニット１４２は、各光電変換素子から画像信号を読み出し、各光電変換素子と原色フィルタとの関係を考慮して、高解像度のカラー画像を作成する。
【００４５】
図５Ｂは、実施形態に係る赤外除去フィルタが光路上から退避しているときの撮像素子を説明する図である。５０４は、５０２と同様で、撮像素子１４１の有効領域全体を示している。５０５は、撮像素子１４１の一部の領域を示している。とりわけ、図５Ｂでは、４つの光電変換素子５１１、５１２、５１３および５１４からの信号を加算し、Ｃｙ＋Ｙｅ＋Ｍｇ＋Ｇの信号として読み出すことを示している。５２１は、４つの光電変換素子５１１、５１２、５１３および５１４からなる光電変換素子グループを示している。図から明らかなように、光電変換素子グループの受光面積は、１つの光電変換素子あたりの受光面積の４倍となっている。これは、感度が改善されることを意味する。
【００４６】
そもそも、赤外除去フィルタ１０６が光路に入っていないと、赤外領域の光が全て透過するために、Ｃｙ／Ｙｅ／Ｍｇ／Ｇのフィルタで綺麗に色分離できない。さらに、４つの光電変換素子からの信号を加算して読み出すことで、輝度信号しか得られない。加算により、カラー情報が打ち消しあってしまうからである。しかしながら、４倍の感度の画像信号を得られる利点がある。そこで、撮像信号処理ユニット１４２は、この４倍の感度で取得された画像信号を用いて、高感度な白黒画像を作成する。なお、図５Ｂに示す状態では、読み出す画像信号の数が４分の１になる、そのため、フレームレートを上げ安くなる利点もある。
【００４７】
図６は、実施形態に係る動画撮影方法の例示的なフローチャートである。なお、本撮像方法は、図３で示した撮像方法の下位概念ともいえる。ステップＳ６０１において、ＣＰＵ１５１は、撮像素子１４１から読み出した画像信号から被写体の輝度を測定する。
【００４８】
ステップＳ６０２において、ＣＰＵ１５１は、被写体輝度が低輝度か否かを判定する。例えば、被写体の輝度と所定の閾値（通常輝度）とを比較することで、低輝度か否かを判定する。低輝度であれば、ステップＳ６０３に進む。そうでなければ、ステップＳ６０４に進み、ＣＰＵ１５１は、赤外除去フィルタ１０６が光路に配置されるよう制御する。ステップＳ６０３において、ＣＰＵ１５１は、赤外除去フィルタ１０６が光路から退避するように制御する。
【００４９】
ステップＳ６０５において、ＣＰＵ１５１は、撮像素子１４１を構成する全光電変換素子について、４つの光電変換素子を一組とし、該４つの光電変換素子からの画像信号を加算して読み出す。信号の加算ユニットは、撮像素子１４１に搭載してもよい。この場合、ＣＰＵ１５１からの制御信号により、各光電変換素子ごとに画像信号を読み出すか、加算された画像信号を読み出すかを切り替えられるものとする。また、ＣＰＵ１５１は、通常よりも高いフレームレートで画像信号を読み出すよう撮像信号処理ユニット１４２を設定する。
【００５０】
ステップＳ６０６において、ＣＰＵ１５１は、撮像信号処理ユニット１４２を制御して、高感度で白黒画像を撮像する。ステップＳ６０７において、ＣＰＵ１５１は、この高感度で取得された画像信号を用いて動き検出ユニット１５２により動き検出を実行させる。動きがないと判断されたときは、Ｓ６０１に戻る。一方、動きがあると判断された場合は、ステップＳ６０９に進む。ステップＳ６０９において、ＣＰＵ１５１は、フォーカス制御ユニット１３５に合焦位置を検出させる。ステップＳ６１０において、ＣＰＵ１５１は、赤外線撮影と可視光撮影との合焦位置補正を実行する。
【００５１】
ステップＳ６２０において、ＣＰＵ１５１は、カラー撮影を行うために、赤外除去フィルタ１０６を光路内に配置させる。ステップＳ６２１において、ＣＰＵ１５１は、全光電変換素子から画像信号を読み出すように撮像素子１４１を設定する。これにより、図２Ａで示したように、カラー画像を構成するための画像信号を取得できる。
【００５２】
ステップＳ６２２において、ＣＰＵ１５１は、画像信号から被写体の輝度を測定する。ステップＳ６２３において、ＣＰＵ１５１は、被写体の輝度が低輝度か否かを判定する。低輝度でなければ、ステップＳ６２５に進む。一方、低輝度であれば、ステップＳ６２４に進み、ＣＰＵ１５１は、照明装置であるビデオライト１２４をＯＮにする。
【００５３】
ステップＳ６２５において、ＣＰＵ１５１は、高解像度のカラー動画の撮影を開始する。ステップＳ６２６において、ＣＰＵ１５１は、撮影されたカラー動画像のデータ（動画データ）をＲＡＭ１５４に一時保存する。ステップＳ６２７において、ＣＰＵ１５１は、動画データをＲＡＭ１５４から読み出して、ネットワークインターフェース１５７を介して外部の装置（ファイルサーバなど）に送信する。
【００５４】
ステップＳ６２８において、ＣＰＵ１５１は、動き検出ユニット１５２を用いて被写体の動き検出を実行する。ステップＳ６２９で、ＣＰＵ１５１は、動き検出ユニット１５２が動きを検出したか否かを判定する。動きを検出した場合は、ステップＳ６２８に戻り、動画撮影を継続する。一方で、動きが検出されなくなれば、ステップＳ６３０に進み、ＣＰＵ１５１は、動画の送信を停止する。ステップＳ６３１において、ＣＰＵ１５１は、動画撮影を停止する。さらに、ステップＳ６３２で、ＣＰＵ１５１は、ビデオライトをＯＦＦに切り替える。その後、ステップＳ６０１に戻る。なお、動画データをネットワーク配信する代わりに、記録メディア１５６に記録してもよい。また、映像出力ユニット１５８を通して、モニタに映像を写しても構わないことは言うまでもない。
【００５５】
なお、図６によれば、合焦位置補正（Ｓ６１０）を実行した後で、オートフォーカスを実行するステップが記載されていないが、もちろん、継続的にオートフォーカスを実行してもよいことはいうまでもない。動画撮影では、被写体の距離が逐次変化する可能性もあるからである。この場合、フォーカス制御ユニット１３５は、Ｓ６１０で決定された合焦位置を開始点とし、動画撮影中も継続してオートフォーカス制御を実行する。
【００５６】
また、第１の実施形態では、原色フィルタを採用した撮像素子１４１を用いた静止画撮影について説明した。また、第２の実施形態では、補色フィルタを採用した撮像素子１４１を用いた動画撮影について説明した。もちろん、これらは一例に過ぎない。例えば、補色フィルタを用いて静止画撮影を行ってもよいし、原色フィルタを用いて動画撮影を行ってもよい。
【図面の簡単な説明】
【００５７】
【図１】実施形態に係る撮像装置の構成例を示すブロック図である。
【図２Ａ】実施形態に係る赤外除去フィルタが光路上に配置されているときの撮像素子との関係を説明する図である。
【図２Ｂ】実施形態に係る赤外除去フィルタが光路上から退避しているときの撮像素子を説明する図である。
【図３】実施形態に係る撮像方法の例示的なフローチャートである。
【図４】実施形態に係る他の静止画撮像方法の例示的なフローチャートである。
【図５Ａ】実施形態に係る赤外除去フィルタが光路上に配置されているときの撮像素子との関係を説明する図である。
【図５Ｂ】実施形態に係る赤外除去フィルタが光路上から退避しているときの撮像素子を説明する図である。
【図６】実施形態に係る動画撮影方法の例示的なフローチャートである。
【特許請求の範囲】
【請求項１】
被写体の画像を撮像する撮像手段と、
前記撮像手段に対応して設けられた可動式の赤外除去フィルタと、
前記被写体の変化を検出する際には、前記赤外除去フィルタを前記撮像手段に関する光路上から退避させ、前記被写体の画像を記録する際には、前記赤外除去フィルタを前記光路上に移動させる移動手段と、
前記撮像手段により撮像された複数の画像に基づいて前記被写体の変化を検出する検出手段と、
前記被写体の変化が検出されると、前記移動手段により前記赤外除去フィルタを前記光路上に移動させ、前記被写体のカラー画像を記録する記録手段と
を含む、撮像装置。
【請求項２】
前記撮像手段は、前記被写体の変化を検出する際には、前記撮像手段を構成する全素子の数よりも少ない数の画像信号を出力する、請求項１に記載の撮像装置。
【請求項３】
前記撮像手段は、前記被写体の変化を検出する際には、前記撮像手段を構成する２以上の素子ごとに該素子から出力される信号を加算することで１画素の画像信号として出力する、請求項２に記載の撮像装置。
【請求項４】
前記撮像手段は、前記被写体の変化を検出する際には、前記撮像手段を構成する複数の素子のうち一部の素子からの画像信号だけを読み出す、請求項２に記載の撮像装置。
【請求項５】
前記撮像手段は、該撮像手段の撮像領域内の全素子を用いて撮像する時の第１のフレームレートよりも高速の第２のフレームレートにより前記画像を撮像する、請求項２ないし４の何れかに記載の撮像装置。
【請求項６】
前記撮像手段は、該撮像手段の撮像領域内の全素子を用いて前記カラー画像を撮像する、請求項１ないし５の何れかに記載の撮像装置。
【請求項７】
前記撮像手段は、前記第２のフレームレートよりも低速の第１のフレームレートにて前記カラー画像を撮像する、請求項６に記載の撮像装置。
【請求項８】
前記赤外除去フィルタが前記光路上から退避した状態で、前記撮像手段から出力される画像信号に含まれる信号成分のうち高域成分を用いて、撮像光学系の合焦位置を検出する焦点検出手段をさらに含み、
前記記録手段は、前記検出された合焦位置に応じて、前記撮像手段により撮像されたカラー画像を記録する、請求項１ないし７の何れかに記載の撮像装置。
【請求項９】
前記被写体の変化を検出する際には照明を無効とし、前記画像を記録する際には照明を有効とする照明手段をさらに含む、請求項１ないし８の何れかに記載の撮像装置。
【請求項１０】
前記記録されたカラー画像を外部に送信する送信手段をさらに含む、請求項１ないし９の何れかに記載の撮像装置。
【請求項１１】
前記記録されたカラー画像を、着脱可能な記録媒体に書き込む手段をさらに含む、請求項１ないし１０の何れかに記載の撮像装置。
【請求項１２】
撮像手段を用いて被写体の画像を撮像する撮像方法であって、
前記撮像手段に対応して設けられた可動式の赤外除去フィルタを前記撮像手段に関する光路上から退避させるステップと、
前記撮像手段により撮像された複数の画像に基づいて前記被写体の変化を検出するステップと、
前記被写体の変化が検出されると、前記赤外除去フィルタを前記光路上に移動させるステップと、
前記撮像手段により、前記被写体のカラー画像を記録するステップと
を含む、撮像方法。
【請求項１】
被写体の画像を撮像する撮像手段と、
前記撮像手段に対応して設けられた可動式の赤外除去フィルタと、
前記被写体の変化を検出する際には、前記赤外除去フィルタを前記撮像手段に関する光路上から退避させ、前記被写体の画像を記録する際には、前記赤外除去フィルタを前記光路上に移動させる移動手段と、
前記撮像手段により撮像された複数の画像に基づいて前記被写体の変化を検出する検出手段と、
前記被写体の変化が検出されると、前記移動手段により前記赤外除去フィルタを前記光路上に移動させ、前記被写体のカラー画像を記録する記録手段と
を含む、撮像装置。
【請求項２】
前記撮像手段は、前記被写体の変化を検出する際には、前記撮像手段を構成する全素子の数よりも少ない数の画像信号を出力する、請求項１に記載の撮像装置。
【請求項３】
前記撮像手段は、前記被写体の変化を検出する際には、前記撮像手段を構成する２以上の素子ごとに該素子から出力される信号を加算することで１画素の画像信号として出力する、請求項２に記載の撮像装置。
【請求項４】
前記撮像手段は、前記被写体の変化を検出する際には、前記撮像手段を構成する複数の素子のうち一部の素子からの画像信号だけを読み出す、請求項２に記載の撮像装置。
【請求項５】
前記撮像手段は、該撮像手段の撮像領域内の全素子を用いて撮像する時の第１のフレームレートよりも高速の第２のフレームレートにより前記画像を撮像する、請求項２ないし４の何れかに記載の撮像装置。
【請求項６】
前記撮像手段は、該撮像手段の撮像領域内の全素子を用いて前記カラー画像を撮像する、請求項１ないし５の何れかに記載の撮像装置。
【請求項７】
前記撮像手段は、前記第２のフレームレートよりも低速の第１のフレームレートにて前記カラー画像を撮像する、請求項６に記載の撮像装置。
【請求項８】
前記赤外除去フィルタが前記光路上から退避した状態で、前記撮像手段から出力される画像信号に含まれる信号成分のうち高域成分を用いて、撮像光学系の合焦位置を検出する焦点検出手段をさらに含み、
前記記録手段は、前記検出された合焦位置に応じて、前記撮像手段により撮像されたカラー画像を記録する、請求項１ないし７の何れかに記載の撮像装置。
【請求項９】
前記被写体の変化を検出する際には照明を無効とし、前記画像を記録する際には照明を有効とする照明手段をさらに含む、請求項１ないし８の何れかに記載の撮像装置。
【請求項１０】
前記記録されたカラー画像を外部に送信する送信手段をさらに含む、請求項１ないし９の何れかに記載の撮像装置。
【請求項１１】
前記記録されたカラー画像を、着脱可能な記録媒体に書き込む手段をさらに含む、請求項１ないし１０の何れかに記載の撮像装置。
【請求項１２】
撮像手段を用いて被写体の画像を撮像する撮像方法であって、
前記撮像手段に対応して設けられた可動式の赤外除去フィルタを前記撮像手段に関する光路上から退避させるステップと、
前記撮像手段により撮像された複数の画像に基づいて前記被写体の変化を検出するステップと、
前記被写体の変化が検出されると、前記赤外除去フィルタを前記光路上に移動させるステップと、
前記撮像手段により、前記被写体のカラー画像を記録するステップと
を含む、撮像方法。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【公開番号】特開２００７−４９２２２（Ｐ２００７−４９２２２Ａ）
【公開日】平成１９年２月２２日（２００７．２．２２）
【国際特許分類】
【出願番号】特願２００５−２２８４７２（Ｐ２００５−２２８４７２）
【出願日】平成１７年８月５日（２００５．８．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１９年２月２２日（２００７．２．２２）
【国際特許分類】
【出願日】平成１７年８月５日（２００５．８．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]