撮像装置
【課題】予め定められていない経路を移動する撮像対象を、追尾しながら撮像することができる撮像装置を提供する。
【解決手段】撮像装置１００が、光学系１１１による像を撮像して、当該像に応じた画像信号を出力する撮像部１１０と、画像信号に基づいて、撮像対象を認識する認識部１３１と、認識部１３１が認識した撮像対象の状態に応じて、移動体３００を制御して、移動体３００に備えられた撮像装置１００を移動させる移動体制御部１４２と、を備える。
【解決手段】撮像装置１００が、光学系１１１による像を撮像して、当該像に応じた画像信号を出力する撮像部１１０と、画像信号に基づいて、撮像対象を認識する認識部１３１と、認識部１３１が認識した撮像対象の状態に応じて、移動体３００を制御して、移動体３００に備えられた撮像装置１００を移動させる移動体制御部１４２と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像対象を認識する撮像装置に関する。
【背景技術】
【０００２】
地上を空中撮影（空撮）する場合、小型飛行機に搭載された撮像装置は、予め定められた経路を辿って、その経路を空撮していた（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１８６１４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された撮像装置は、予め定められた経路を辿って空撮するため、予め定められていない経路を移動する撮像対象を、追尾しながら撮像することができないという問題があった。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、予め定められていない経路を移動する撮像対象を、追尾しながら撮像することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、光学系による像を撮像して、当該像に応じた画像信号を出力する撮像部と、前記画像信号に基づいて、撮像対象を認識する認識部と、制御に応じて、自装置を移動させる移動部と、前記認識部が認識した前記撮像対象の状態に応じて、前記移動部を制御して前記移動部に自装置を移動させる制御部と、を備えることを特徴とする撮像装置である。
【発明の効果】
【０００７】
本発明によれば、撮像装置は、予め定められていない経路を移動する撮像対象を、追尾しながら撮像することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置１００と、インタフェース部２００と、移動体３００の外観の一例を示す図である。
【図２】撮像対象が複数存在する場合の例が示されている図である。
【図３】撮像装置１００と、インタフェース部２００と、移動体３００の構成を示すブロック図である。
【図４】画像フレーム内の所定の探索範囲５００から、撮像対象４００ａの画像５０３ａを、認識部１３１が検出する手順を説明するための図である。
【図５】認撮像装置１００と撮像対象４００ａとの相対距離の変化を、認識部１３１が認識する手順を説明するための図である。
【図６】撮像対象４００ａの顔の向きに応じた複数のテンプレート画像の例を示す図である。
【図７】撮像装置１００と、インタフェース部２００と、移動体３００の構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
［第１実施形態］
本発明の実施形態について図面を参照して詳細に説明する。図１には、撮像装置１００と、インタフェース部２００と、移動体３００の外観の一例が示されている。
【００１０】
撮像対象４００ａは、撮像装置１００が撮像する対象であり、かつ、撮像装置１００が追尾する対象である。また、撮像対象４００ａは、例えば、地上を歩行する人であってもよい。また、撮像対象４００ａは、予め定められていない経路を移動してもよい。
【００１１】
移動体３００は、推進器（例えば、プロペラ、スクリュー等を有する）と、舵（例えば、方向舵、昇降舵等）を備える。移動体３００の推進器と舵は、撮像装置１００により制御され、空中を３軸（次元）方向に移動可能である。以下、移動体３００は、一例として、小型の飛行船であるとして説明する。なお、移動体３００は、例えば、地上、地中、水上、又は水中を移動してもよい。
【００１２】
撮像装置１００は、移動体３００に備えられる。撮像装置１００は、光学系による像を撮像し、撮像した像に応じた画像信号を、撮像装置１００の外部にある通信装置（不図示）にインタフェース部２００を介して送信する。この通信装置は、画像を表示するディスプレイを備え、撮像装置１００が送信した画像信号に基づく画像を表示する。
【００１３】
また、撮像装置１００は、撮像した像の中から撮像対象４００ａを認識し、認識した撮像対象４００ａの状態に応じて、移動体３００と一体で撮像対象４００ａを追尾しながら撮像対象４００ａを撮像する。なお、撮像装置１００は、表示部を備えてもよく、例えば、撮像した像に応じた画像信号をスルー画として表示部に表示してもよい。
【００１４】
図２には、撮像対象が複数存在する場合の例が示されている。図２に示されているように、撮像対象４００ａ〜４００ｃは、例えば、水面を泳ぐ人であってもよい。そして、撮像対象４００ａ〜４００ｃは、息継ぎなどのために、移動方向とは別の方向に顔を向けることがあってもよい。なお、撮像対象４００ｂ及び４００ｃは、予め定められていない経路を移動してもよいが、撮像装置１００が追尾する対象でないものとして説明する。
【００１５】
次に、撮像装置１００の構成を説明する。
図３には、撮像装置１００と、インタフェース部２００と、移動体３００の構成が、ブロック図で示されている。撮像装置１００は、撮像部１１０と、記憶部１２０と、演算部１３０と、制御部１４０を備える。
【００１６】
撮像部１１０は、光学系１１１と、撮像素子１１２と、レンズ駆動部１１３と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１１４を備える。撮像部１１０は、制御部１４０により制御され、光学系１１１による像を撮像する。光学系１１１は、撮像素子１１２の受光面に、光学像を導く。ここで、光学系１１１は、レンズ駆動部１１３に駆動されることで、撮像する倍率及び画角を変更する。
【００１７】
撮像素子１１２は、光電変換面を備え、光学系１１１により光電変換面の受光面に結像した光学像を電気信号に変換する。Ａ／Ｄ変換部１１４は、撮像素子１１２によって変換された電気信号をデジタル化して、画像信号として記憶部１２０に出力する。
【００１８】
記憶部１２０は、Ａ／Ｄ変換部１１４が出力した画像信号を一時的に記憶（バッファリング）し、演算部１３０に出力する。また、記憶部１２０は、テンプレート画像を記憶する。ここで、テンプレート画像は、テンプレートマッチングに用いられる画像である。例えば、テンプレート画像は、撮像対象の外観を表す画像であってもよい。そして、この場合、テンプレート画像は、撮像部１１０によって撮像された「撮像対象の外観を表す画像」であってもよい。また、テンプレート画像は、撮像部１１０によって撮像される前から、記憶部１２０に予め記憶されていてもよい。テンプレート画像の詳細については、図４〜６を用いて後述する。
【００１９】
なお、記憶部１２０は、複数のテンプレート画像（例えば、撮像対象４００ａの顔の向き毎のテンプレート画像）を予め記憶してもよい。また、記憶部１２０は、画像処理条件（例えば、輪郭補正量など）を記憶してもよい。
【００２０】
演算部１３０は、記憶部１２０に一時的に記憶されている画像信号に対して、静止画又は動画の画像処理を実行し、画像フレームを生成する。ここで、演算部１３０が、いずれの画像処理を実行するかは、制御部１４０から制御される。また、演算部１３０は、画像処理条件（例えば、輪郭補正量など）が記憶部１２０に記憶されている場合、その画像処理条件を参照して、画像信号を画像処理してもよい。そして、画像信号は、制御部１４０を介して、インタフェース部２００に出力される。ここで、インタフェース部２００に出力される画像信号は、画像処理されている信号、又は画像処理されていない画像信号のいずれであってもよい。
【００２１】
また、演算部１３０は、認識部１３１を備える。認識部１３１は、記憶部１２０からテンプレート画像を取得する。ここで、撮像対象４００ａ〜４００ｃの画像は、画像フレームにおいて、予めラベリングされているものとする。
【００２２】
認識部１３１は、テンプレートマッチングにより、撮像対象４００ａの画像を検出する。具体的には、認識部１３１は、テンプレート画像と、撮像対象４００ａの画像との類似度の評価値（以下、「類似度評価値」という）を算出することにより、撮像対象４００ａの画像を検出する。この類似度評価値については、図４及び６を用いて後述する。
【００２３】
さらに、認識部１３１は、類似度評価値に基づいて、撮像対象４００ａの状態を認識する。ここで、撮像対象４００ａの状態とは、例えば、画像フレームにおける撮像対象４００ａの画像の位置、大きさ（サイズ）、移動方向、移動速度、撮像対象４００ａの画像に顔が検出された場合には、顔の向き、顔の表情、等である。なお、認識部１３１の認識処理は、繰り返し実行されてもよい。
【００２４】
認識部１３１は、類似度評価値により検出された撮像対象４００ａの画像に基づいて、画像フレームにおける撮像対象４００ａの画像の位置（以下、「撮像対象位置」という）を算出することで、撮像対象４００ａを認識する。撮像対象位置の認識については、図４を用いて後述する。
【００２５】
また、認識部１３１は、類似度評価値により検出された撮像対象４００ａの画像に基づいて、画像フレームにおける撮像対象４００ａの画像の大きさ（以下、「サイズ情報」という）を認識する。そして、認識部１３１は、サイズ情報の変化、すなわち、撮像装置１００と撮像対象４００ａとの相対距離の変化（例えば、近づいたか否か）を検出する。サイズ情報の変化の検出については、図５を用いて後述する。
【００２６】
制御部１４０は、演算部１３０を介して画像信号を取得し、取得した画像信号をインタフェース部２００に出力する。
【００２７】
また、制御部１４０は、光学系１１１による像を静止画として撮像するか、動画として撮像するかを決定する。制御部１４０は、例えば、インタフェース部２００を介してユーザの操作入力を取得し、その操作入力に基づいて、光学系１１１による像を静止画として撮像するか、動画として撮像するかを決定してもよい。
【００２８】
また、制御部１４０は、移動体制御部１４２を備える。移動体制御部１４２は、撮像対象４００ａの状態に応じて移動体３００を制御して、移動体３００に備えられた撮像装置１００を、移動体３００と一体で移動させる。
【００２９】
移動体制御部１４２は、サイズ情報又はサイズ情報の変化を、認識部１３１から取得する。そして、移動体制御部１４２は、撮像対象４００ａが画像フレームにおいて予め定められた大きさに撮像されるように、サイズ情報又はサイズ情報の変化に応じて移動体３００を制御し、移動体３００に備えられた撮像装置１００と、撮像対象４００ａとの距離を調節する。例えば、移動体制御部１４２は、移動体３００の推進器及び舵を制御することで、推進力と推進方向を制御して、画像フレームにおいて撮像対象４００ａが予め定められた大きさに撮像されるようにする。
【００３０】
また、移動体制御部１４２は、認識部１３１から撮像対象位置を取得する。そして、移動体制御部１４２は、画像フレームの中央に撮像対象４００ａが位置するように、移動体３００の移動方向と移動速度を調節し、移動体３００と一体で撮像装置１００を移動させる。例えば、移動体制御部１４２は、移動体３００の推進器と舵を制御することで、推進力と推進方向を制御して、画像フレームの中央に撮像対象４００ａが位置するようにする。
【００３１】
インタフェース部２００は、撮像装置１００から画像信号を取得し、取得した画像信号を、撮像装置１００の外部の通信装置（不図示）に送信する。このインタフェース部２００は、例えば、無線通信を実行する。なお、インタフェース部２００は、撮像装置１００に対する命令を受信して、その命令を撮像装置１００に出力してもよい。
【００３２】
次に、演算部１３０の認識部１３１の認識処理を説明する。以下の認識処理は、繰り返し実行されてもよい。
認識部１３１は、画像フレームにおける撮像対象４００ａの画像を、次のように検出する。
図４は、画像フレーム内の所定の探索範囲５００から、撮像対象４００ａの画像５０３ａを、認識部１３１が検出する手順を説明するための図である。図４（Ａ）には、テンプレート画像の一例として、テンプレート画像６００が示されている。ここで、テンプレート画像６００は、撮像対象４００ａの画像であるものとする。また、図４（Ｂ）には、撮像対象４００ａの画像５０３ａと、撮像対象４００ｂの画像５０１ａと、撮像対象４００ｃの画像５０２ａが、探索範囲５００に撮像された画像の一例として、それぞれ示されている。
【００３３】
認識部１３１は、探索範囲５００に撮像された各画像（図４（Ｂ）において、画像５０１ａ〜５０３ａ）と、テンプレート画像との類似度評価値を算出する。ここで、類似度評価値Ｒｉは、［式１］で表される。
【００３４】
Ｒｉ＝｜Ａｉ−Ｂ｜…［式１］
【００３５】
［式１］における「ｉ」は、探索範囲５００に撮像された各画像を識別する識別子である。そして、［式１］の右辺は、識別子「ｉ」に対応する画像「Ａ」の画像情報から、テンプレート画像６００「Ｂ」の画像情報を、画素ごとに減算した値の絶対値を示す。ここで、画像情報とは、例えば、色成分、輝度、彩度である。
【００３６】
まず、認識部１３１は、画像５０１ａを選択する。そして、認識部１３１は、［式１］に基づいて、選択した画像５０１ａの類似度評価値を算出する。例えば、認識部１３１は、画像５０１ａの色成分（白色を示す成分値の例「２５５」）と、テンプレート画像６００の色成分（黒色を示す成分値の例「０」）との差分を算出することで、画像５０１ａの類似度評価値を算出する。次に、認識部１３１は、画像５０２ａ及び５０３ａについても同様に、類似度評価値を算出する。
【００３７】
そして、認識部１３１は、類似度評価値が最も小さい画像を、探索範囲５００内から検出し、その画像がテンプレート画像６００に最も類似する画像である、と認識する。ここで、テンプレート画像６００が撮像対象４００ａの画像を表すので、認識部１３１は、テンプレート画像６００に最も類似する画像であると認識した画像を、撮像対象４００ａの画像である、と認識する。例えば、図４（Ｂ）において、画像５０３ａがテンプレート画像６００に最も類似する画像であると認識部１３１が認識した場合、認識部１３１は、画像５０３ａを、撮像対象４００ａの画像である、と認識する。
【００３８】
さらに、認識部１３１は、画像フレーム内（探索範囲５００内）における画像５０３ａの位置（座標）を、撮像対象位置と認識する。また、認識部１３１は、画像フレーム内（探索範囲５００内）における画像５０３ａの大きさ（サイズ）を、サイズ情報と認識する。
【００３９】
また、認識部１３１は、サイズ情報の変化、すなわち、撮像装置１００と撮像対象４００ａとの相対距離の変化を、テンプレート画像６００と、撮像対象４００ａの画像５０３ａとの相対的な大きさに基づいて、次のように検出する。
図５には、撮像装置１００と撮像対象４００ａとの相対距離の変化を、認識部１３１が検出する手順を説明するための図が示されている。図５（Ａ）及び（Ｂ）には、テンプレート画像６００と、撮像対象４００ａの画像５０３ａが示されている。図５（Ａ）に示されているように、撮像対象４００ａの画像５０３ａが、テンプレート画像６００よりも大きくなったことを検出した場合、認識部１３１は、撮像装置１００と撮像対象４００ａとの相対距離が短くなった（変化した）と認識する。
【００４０】
一方、図５（Ｂ）に示されているように、撮像対象４００ａの画像５０３ａが、テンプレート画像６００よりも小さくなったことを検出した場合、認識部１３１は、撮像装置１００と撮像対象４００ａとの相対距離が長くなった（変化した）と認識する。
【００４１】
さらに、認識部１３１は、画像フレーム内（探索範囲５００内）における画像５０３ａの大きさ（サイズ）を、新たなサイズ情報と認識する。
【００４２】
以上のようにして、撮像装置１００は、認識部１３１が認識した撮像対象４００ａの状態に応じて、移動体３００を制御して、移動体３００に備えられた撮像装置１００を移動させる。これにより、撮像装置１００は、予め定められていない経路を移動する撮像対象４００ａを追尾しながら、撮像対象４００ａの状態に応じて、撮像対象４００ａを撮像することができる。
【００４３】
また、演算部１３０の認識部１３１は、テンプレート画像と、撮像対象４００ａの画像５０３ａとの差分を算出し、差分に基づいて、移動体３００に備えられた撮像装置１００を移動させる。これにより、撮像装置１００は、画像フレームに撮像した複数の画像５０１ａ〜５０３ａから、撮像対象４００ａの画像５０３ａを選択（検出）し、予め定められていない経路を移動する撮像対象４００ａを追尾しながら、撮像対象４００ａの状態に応じて、撮像対象４００ａを撮像することができる。
【００４４】
また、認識部１３１は、画像フレームにおける撮像対象４００ａの大きさ及び撮像対象位置を算出する。そして、制御部１４０は、予め定められた大きさで、画像フレームの中央に撮像対象４００ａが撮像されるように、移動体３００を制御することで、移動体３００に備えられた撮像装置１００と、撮像対象４００ａと、の距離を調節する。これにより、撮像装置１００は、予め定められていない経路を移動する撮像対象４００ａを追尾しながら、予め定められた大きさで、画像フレームの中央に撮像対象４００ａを撮像することができる。
【００４５】
＜撮像対象の定め方について＞
演算部１３０の認識部１３１は、撮像対象を自ら定めてもよい。例えば、画像フレームに撮像された撮像対象の画像のうち、最も至近に撮像された撮像対象、又は画像フレームにおける最大の撮像対象の画像を、撮像装置１００が追尾する撮像対象の画像と定めてもよい。ここで、認識部１３１は、例えば、位相差検出方式、コントラスト検出方式、色収差検出方式によって、最も至近に撮像された撮像対象を検出してもよい。さらに、認識部１３１は、追尾する撮像対象と定めた撮像対象４００ａの画像を、新たなテンプレート画像６００として、記憶部１２０に記憶されたテンプレート画像６００を更新してもよい。
【００４６】
また、上記の通信装置は、例えば、ヘッドマウントディスプレイであってもよい。この通信装置としてのヘッドマウントディスプレイは、撮像装置１００から送信された画像信号を受信して、その画像を表示してもよい。
【００４７】
そして、ヘッドマウントディスプレイを装着したユーザは、そのディスプレイに表示された複数の撮像対象の画像から、撮像対象を視線で指定（視線入力）し、指定した撮像対象を示す情報を撮像装置１００に送信することで、撮像対象を指定可能としてもよい。また、上記の通信装置は、例えば、情報端末であってもよい。そして、情報端末のユーザは、マウス操作、又はタッチパネル操作等により、指定した撮像対象を示す情報を撮像装置１００に送信することで、撮像対象を指定可能としてもよい。
【００４８】
＜撮像対象４００ａに顔が検出された場合の処理について＞
演算部１３０の認識部１３１は、顔検出のアルゴリズムにより、撮像対象４００ａの画像に顔が検出された場合には、テンプレート画像と、検出された撮像対象４００ａの画像とに基づいて、画像フレームにおける撮像対象４００ａの画像５０３ａの顔の向きを認識する。認識部１３１は、画像フレーム内（探索範囲５００内）における画像５０３ａの顔の向きを、類似度評価値に基づいて検出する。
【００４９】
図６には、撮像対象４００ａの顔の向きに応じた複数のテンプレート画像の例が示されている。図６（Ａ）には、撮像装置１００から見て「左を向いた顔」のテンプレート画像６０１の例が示されている。また、図６（Ｂ）には、撮像装置１００から見て「正面を向いた顔」のテンプレート画像６０２の例と、図６（Ｃ）には、撮像装置１００から見て「右を向いた顔」のテンプレート画像６０３の例とが、それぞれ示されている。
【００５０】
まず、認識部１３１は、顔検出のアルゴリズムにより、撮像対象４００ａの画像５０３ａ（図４（Ｂ）を参照）に顔を検出したとする。そして、認識部１３１は、検出された顔を構成する画素についてのみ、上記の［式１］に基づいて類似度評価値を算出し、撮像対象４００ａの画像５０３ａの顔の向きを認識する。
【００５１】
具体的には、認識部１３１は、検出された顔の類似度評価値を、上記の［式１］に基づいて、テンプレート画像６０１〜６０３毎に算出し、算出した類似度評価値を比較する。例えば、各テンプレート画像のうち、テンプレート画像６０１（図６（Ａ）を参照）との類似度評価値が最も小さい値であった場合、認識部１３１は、画像５０３ａに検出された顔が、撮像装置１００から見て「左を向いた顔」であると認識する。
【００５２】
なお、認識部１３１は、テンプレート画像と、検出された撮像対象４００ａの画像５０３ａとに基づいて、撮像対象４００ａの画像５０３ａの顔の表情（例えば、笑顔か否か）を認識してもよい。
【００５３】
そして、制御部１４０の移動体制御部１４２は、撮像対象４００ａの顔の向きを示す情報を、演算部１３０の認識部１３１から取得する。さらに、移動体制御部１４２は、移動体３００の移動方向と移動速度を調節し、撮像対象４００ａの顔を正面から撮像可能な位置に、移動体３００と一体で撮像装置１００を移動させる。例えば、移動体制御部１４２は、推進器と舵を制御することで、推進力と推進方向を制御し、撮像対象４００ａの顔を正面から撮像可能な位置に、移動体３００と一体で撮像装置１００を移動させる。
【００５４】
このようにして、認識部１３１は、撮像した光学像における撮像対象４００ａに顔が検出された場合、顔の向きを認識する。そして、制御部１４０は、その顔の向きに応じて、移動体３００に備えられた撮像装置１００を移動させる。これにより、例えば、撮像装置１００から見て、画像５０３ａが「左を向いた顔」であると認識部１３１が認識した場合、撮像装置１００は、撮像対象４００ａの顔が正面に向く方向（例えば、図２において、撮像対象４００ａの移動方向の左側）に移動して、撮像対象４００ａの顔を正面から撮像することができる。
【００５５】
＜デフォーカス量に基づく合焦動作について＞
演算部１３０の認識部１３１は、画像信号に基づいて、検出された撮像対象４００ａの画像５０３ａ（図４（Ｂ）を参照）のデフォーカス量を算出してもよい。また、その算出アルゴリズムは、例えば、位相差検出方式、コントラスト検出方式、色収差検出方式に使用される公知のアルゴリズムであってよい。そして、認識部１３１は、デフォーカス量に基づいて、光学系１１１による像が撮像対象４００ａの前側に合焦しているか、又は撮像対象４００ａの後側に合焦しているかを検出する。
【００５６】
さらに、移動体制御部１４２は、デフォーカス量に応じて移動体３００を制御し、移動体３００と一体で撮像装置１００を移動させる。例えば、撮像された像が撮像対象４００ａの後側に合焦していることを、演算部１３０の認識部１３１が検出した場合、制御部１４０の移動体制御部１４２は、撮像対象４００ａから離れる方向に、撮像装置１００を移動させることで、撮像対象４００ａに合焦させる。一方、撮像された像が撮像対象４００ａの前側に合焦していることを、演算部１３０の認識部１３１が検出した場合、制御部１４０の移動体制御部１４２は、撮像対象４００ａに近づく方向に、撮像装置１００を移動させることで、撮像対象４００ａに合焦させる。これにより、撮像装置１００は、撮像部１１０の光学系１１１を駆動しなくても、デフォーカス量に応じて移動体３００を移動させることで、撮像対象４００ａに合焦させることができる。
【００５７】
＜撮像対象４００ａの画像が検出された画像信号のみを表示させる場合について＞
演算部１３０の認識部１３１は、撮像対象４００ａが撮像されているか否かを検出してもよい。そして、制御部１４０は、撮像対象４００ａの画像が検出されたか否かを示す情報を、画像信号に対応させて、インタフェース部２００を介して通信装置に送信する。これにより、通信装置は、受信した画像信号と、撮像対象４００ａが撮像されている否かを示す情報とから、撮像対象４００ａが撮像されている画像信号のみを選択し、選択した画像信号のみを画像処理して、撮像対象４００ａが撮像されている画像のみを表示することができる。
【００５８】
また、制御部１４０は、撮像部１１０が出力した画像信号を取得し、撮像対象４００ａの画像が検出されたか否かを示す情報に基づいて、撮像部１１０が出力した画像信号から、撮像対象４００ａが撮像されている画像信号のみを、インタフェース部２００を介して、通信装置に送信することができる。これにより、ユーザは、撮像対象４００ａが撮像されている画像のみを、通信装置のディスプレイに観ることができる。
【００５９】
＜複数の撮像対象が集合した画像を撮像する場合について＞
演算部１３０の認識部１３１は、撮像対象４００ａを認識する上述の手順と同様に、テンプレート画像によって、撮像対象４００ｂ及び４００ｃを認識する。そして、認識部１３１は、探索範囲５００に撮像された撮像対象の数を検出する。例えば、図４（Ｂ）では、撮像対象４００ａの画像５０３ａと、撮像対象４００ｂの画像５０１ａと、撮像対象４００ｃの画像５０２ａとが撮像されているので、この場合、探索範囲５００に撮像された撮像対象の数は３つとなる。そして、認識部１３１は、検出した撮像対象の数を、制御部１４０に出力する。
【００６０】
制御部１４０は、探索範囲５００に撮像された撮像対象の数が予め定められた閾値以上である場合、インタフェース部２００に画像信号を出力する。一方、撮像対象の数が予め定められた閾値未満である場合、制御部１４０は、インタフェース部２００に画像信号を出力しなくてもよい。また、予め定められた閾値は、記憶部１２０に記憶されていてもよい。
【００６１】
このようにして、撮像装置１００は、画像フレームにおける所定の探索範囲５００（図４（Ｂ）を参照）に撮像されている撮像対象の数が、予め定められた閾値以上となった場合のみ、通信装置に画像信号を送信する。これにより、撮像装置１００は、撮像対象が集合した画像を、通信装置に送信することができる。
【００６２】
＜撮像された像に予め定められた閾値以上の変化があった場合の撮像について＞
制御部１４０は、時間的に連続する複数の画像フレーム間の差分を、演算部１３０の認識部１３１から取得してもよい。そして、制御部１４０は、その差分が予め定められた閾値以上である場合、すなわち、撮像部１１０に撮像された像に予め定められた閾値以上の変化があった場合のみ、演算部１３０から画像信号を取得して、インタフェース部２００に出力してもよい。これにより、撮像装置１００は、撮像部１１０に撮像された像に予め定められた閾値以上の変化があった場合のみ、画像信号を通信装置に送信することができる。例えば、水面に浮上した鯨が潮を噴く前の画像と、潮を噴いている画像とで、大きな変化があれば、撮像装置１００は、水面に浮上した鯨が潮を噴いている画像を、通信装置に送信することができる。
【００６３】
＜撮像対象４００ａが撮像されていない場合の処理について＞
例えば、撮像装置１００が追尾していた撮像対象４００ａを見失ったとする。このような場合、演算部１３０の認識部１３１は、撮像対象４００ａを再び追尾して撮像するために、撮像対象４００ａが撮像されているか否かを検出してもよい。そして、認識部１３１は、撮像対象４００ａの画像が検出されたか否かを示す情報を、制御部１４０に出力する。そして、制御部１４０の移動体制御部１４２は、撮像対象４００ａが撮像されていない場合、撮像部１１０が撮像する範囲が広がるように、移動体３００を制御して、移動体３００に備えられた撮像装置１００を移動（例えば、地上又は水面から離れるように上昇）させる。このようにすれば、撮像装置１００は、より広い範囲を撮像することができるので、撮像対象４００ａの画像を再び検出して、撮像対象４００ａの追尾と撮像を再開することができる。
【００６４】
＜撮像対象４００ａの移動方向から、撮像対象４００ａを撮像する場合について＞
演算部１３０の認識部１３１は、撮像対象位置の変化に基づいて、画像フレームにおける撮像対象４００ａの画像５０３ａ（図４（Ｂ）を参照）の移動方向及び移動速度を認識する。例えば、認識部１３１は、時間的に連続する複数の画像フレームにおける撮像対象位置の変化（差分）に基づいて、画像フレーム内（探索範囲５００内）における画像５０３ａの「動きベクトル」を算出することで、撮像対象４００ａの画像の移動方向及び移動速度を認識してもよい。
【００６５】
そして、制御部１４０の移動体制御部１４２は、画像フレームにおける画像５０３ａの移動方向及び移動速度を、認識部１３１から取得する。そして、移動体制御部１４２は、撮像対象４００ａの移動方向に、撮像対象４００ａよりも先に位置するように、移動体３００を移動させる。このようにすれば、撮像装置１００は、撮像対象４００ａの移動方向から、撮像対象４００ａを撮像することができる。例えば、撮像装置１００は、撮像対象４００ａの移動方向から見える撮像対象４００ａの正面を、撮像することができる。
【００６６】
［第２実施形態］
本発明の第２実施形態について図面を参照して詳細に説明する。第２実施形態では、撮像部１１０の光学系１１１の倍率及び画角が変更される点が、第１実施形態と異なる。以下では、第１実施形態との相違点についてのみ説明する。
【００６７】
制御部１４０は、撮像制御部１４１を更に備える。撮像制御部１４１は、撮像対象４００ａの画像５０３ａが検出されたか否かを示す情報を、認識部１３１から取得する。そして、撮像制御部１４１は、撮像対象４００ａの画像５０３ａが画像フレームにおいて予め定められた大きさに撮像されるように、サイズ情報又はサイズ情報の変化に基づいて撮像部１１０を制御することで、光学系１１１の倍率を変更させる。
【００６８】
また、撮像制御部１４１は、撮像対象４００ａの画像が検出されていない場合、撮像範囲を広げるために、撮像部１１０を制御して、光学系１１１の倍率を低倍率に変更させる。
【００６９】
また、撮像制御部１４１は、撮像部１１０の光学系１１１の画角を制御する。例えば、撮像制御部１４１は、撮像対象４００ａの画像が検出されていない場合、撮像範囲を広げるために、撮像部１１０を制御して、光学系１１１の画角を広角に変更させる。
【００７０】
以上のようにして、制御部１４０の撮像制御部１４１は、撮像対象４００ａが画像フレームにおいて予め定められた大きさに撮像されるように、撮像部１１０に光学系１１１の倍率又は画角を変更させて、撮像対象４００ａを撮像させる。
【００７１】
光学系１１１が駆動した場合と、移動体３００が移動した場合とで、光学系１１１が駆動したほうが、撮像された画像の倍率又は画角が短い時間で変更される場合、撮像装置１００は、光学系１１１を駆動させることで、第１実施形態と対比して更に、倍率又は画角を短い時間で変更して、撮像対象４００ａを予め定められた大きさに撮像することができる。
【００７２】
＜優先処理について＞
撮像制御部１４１は、光学系１１１による像を撮像装置１００が静止画として撮像する場合、移動体制御部１４２が移動体３００を制御して、撮像装置１００と、撮像対象４００ａとの距離を調節するよりも、撮像制御部１４１が撮像部１１０に光学系１１１の倍率を変更させることを優先してもよい。
【００７３】
光学系１１１が駆動した場合と、移動体３００が移動した場合とで、光学系１１１が駆動したほうが、撮像された画像の倍率又は画角が短い時間で変更される場合、撮像装置１００は、優先処理として光学系１１１を駆動させることで、倍率又は画角を短い時間で変更して、撮像対象４００ａを予め定められた大きさに静止画として撮像することができる。
【００７４】
また、移動体制御部１４２は、光学系１１１による像を撮像装置１００が動画として撮像する場合、撮像制御部１４１が撮像部１１０に光学系１１１の倍率を変更させるよりも、移動体制御部１４２が移動体３００を制御して、撮像装置１００と、撮像対象４００ａとの距離を調節することを優先してもよい。
【００７５】
光学系１１１が駆動した場合と、移動体３００が移動した場合とで、移動体３００が移動したほうが、撮像された画像の倍率又は画角が長い時間で変更される場合、撮像装置１００は、優先処理として移動体３００を移動させることで、画像の構図を急に変化させることなく、撮像対象４００ａを予め定められた大きさに動画として撮像することができる。
【００７６】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００７７】
なお、インタフェース部２００は、有線通信を実行してもよい。また、インタフェース部２００は、制御部１４０から取得した画像信号及び音信号を記憶する記録媒体（フラッシュメモリ等）であってもよい。
【符号の説明】
【００７８】
１００…撮像装置、１１０…撮像部、１１１…光学系、１１２…撮像素子、１１３…レンズ駆動部、１１４…Ａ／Ｄ変換部、１２０…記憶部、１３０…演算部、１３１…認識部、１４０…制御部、１４１…撮像制御部、１４２…移動体制御部
【技術分野】
【０００１】
本発明は、撮像対象を認識する撮像装置に関する。
【背景技術】
【０００２】
地上を空中撮影（空撮）する場合、小型飛行機に搭載された撮像装置は、予め定められた経路を辿って、その経路を空撮していた（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１８６１４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された撮像装置は、予め定められた経路を辿って空撮するため、予め定められていない経路を移動する撮像対象を、追尾しながら撮像することができないという問題があった。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、予め定められていない経路を移動する撮像対象を、追尾しながら撮像することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、光学系による像を撮像して、当該像に応じた画像信号を出力する撮像部と、前記画像信号に基づいて、撮像対象を認識する認識部と、制御に応じて、自装置を移動させる移動部と、前記認識部が認識した前記撮像対象の状態に応じて、前記移動部を制御して前記移動部に自装置を移動させる制御部と、を備えることを特徴とする撮像装置である。
【発明の効果】
【０００７】
本発明によれば、撮像装置は、予め定められていない経路を移動する撮像対象を、追尾しながら撮像することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置１００と、インタフェース部２００と、移動体３００の外観の一例を示す図である。
【図２】撮像対象が複数存在する場合の例が示されている図である。
【図３】撮像装置１００と、インタフェース部２００と、移動体３００の構成を示すブロック図である。
【図４】画像フレーム内の所定の探索範囲５００から、撮像対象４００ａの画像５０３ａを、認識部１３１が検出する手順を説明するための図である。
【図５】認撮像装置１００と撮像対象４００ａとの相対距離の変化を、認識部１３１が認識する手順を説明するための図である。
【図６】撮像対象４００ａの顔の向きに応じた複数のテンプレート画像の例を示す図である。
【図７】撮像装置１００と、インタフェース部２００と、移動体３００の構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
［第１実施形態］
本発明の実施形態について図面を参照して詳細に説明する。図１には、撮像装置１００と、インタフェース部２００と、移動体３００の外観の一例が示されている。
【００１０】
撮像対象４００ａは、撮像装置１００が撮像する対象であり、かつ、撮像装置１００が追尾する対象である。また、撮像対象４００ａは、例えば、地上を歩行する人であってもよい。また、撮像対象４００ａは、予め定められていない経路を移動してもよい。
【００１１】
移動体３００は、推進器（例えば、プロペラ、スクリュー等を有する）と、舵（例えば、方向舵、昇降舵等）を備える。移動体３００の推進器と舵は、撮像装置１００により制御され、空中を３軸（次元）方向に移動可能である。以下、移動体３００は、一例として、小型の飛行船であるとして説明する。なお、移動体３００は、例えば、地上、地中、水上、又は水中を移動してもよい。
【００１２】
撮像装置１００は、移動体３００に備えられる。撮像装置１００は、光学系による像を撮像し、撮像した像に応じた画像信号を、撮像装置１００の外部にある通信装置（不図示）にインタフェース部２００を介して送信する。この通信装置は、画像を表示するディスプレイを備え、撮像装置１００が送信した画像信号に基づく画像を表示する。
【００１３】
また、撮像装置１００は、撮像した像の中から撮像対象４００ａを認識し、認識した撮像対象４００ａの状態に応じて、移動体３００と一体で撮像対象４００ａを追尾しながら撮像対象４００ａを撮像する。なお、撮像装置１００は、表示部を備えてもよく、例えば、撮像した像に応じた画像信号をスルー画として表示部に表示してもよい。
【００１４】
図２には、撮像対象が複数存在する場合の例が示されている。図２に示されているように、撮像対象４００ａ〜４００ｃは、例えば、水面を泳ぐ人であってもよい。そして、撮像対象４００ａ〜４００ｃは、息継ぎなどのために、移動方向とは別の方向に顔を向けることがあってもよい。なお、撮像対象４００ｂ及び４００ｃは、予め定められていない経路を移動してもよいが、撮像装置１００が追尾する対象でないものとして説明する。
【００１５】
次に、撮像装置１００の構成を説明する。
図３には、撮像装置１００と、インタフェース部２００と、移動体３００の構成が、ブロック図で示されている。撮像装置１００は、撮像部１１０と、記憶部１２０と、演算部１３０と、制御部１４０を備える。
【００１６】
撮像部１１０は、光学系１１１と、撮像素子１１２と、レンズ駆動部１１３と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１１４を備える。撮像部１１０は、制御部１４０により制御され、光学系１１１による像を撮像する。光学系１１１は、撮像素子１１２の受光面に、光学像を導く。ここで、光学系１１１は、レンズ駆動部１１３に駆動されることで、撮像する倍率及び画角を変更する。
【００１７】
撮像素子１１２は、光電変換面を備え、光学系１１１により光電変換面の受光面に結像した光学像を電気信号に変換する。Ａ／Ｄ変換部１１４は、撮像素子１１２によって変換された電気信号をデジタル化して、画像信号として記憶部１２０に出力する。
【００１８】
記憶部１２０は、Ａ／Ｄ変換部１１４が出力した画像信号を一時的に記憶（バッファリング）し、演算部１３０に出力する。また、記憶部１２０は、テンプレート画像を記憶する。ここで、テンプレート画像は、テンプレートマッチングに用いられる画像である。例えば、テンプレート画像は、撮像対象の外観を表す画像であってもよい。そして、この場合、テンプレート画像は、撮像部１１０によって撮像された「撮像対象の外観を表す画像」であってもよい。また、テンプレート画像は、撮像部１１０によって撮像される前から、記憶部１２０に予め記憶されていてもよい。テンプレート画像の詳細については、図４〜６を用いて後述する。
【００１９】
なお、記憶部１２０は、複数のテンプレート画像（例えば、撮像対象４００ａの顔の向き毎のテンプレート画像）を予め記憶してもよい。また、記憶部１２０は、画像処理条件（例えば、輪郭補正量など）を記憶してもよい。
【００２０】
演算部１３０は、記憶部１２０に一時的に記憶されている画像信号に対して、静止画又は動画の画像処理を実行し、画像フレームを生成する。ここで、演算部１３０が、いずれの画像処理を実行するかは、制御部１４０から制御される。また、演算部１３０は、画像処理条件（例えば、輪郭補正量など）が記憶部１２０に記憶されている場合、その画像処理条件を参照して、画像信号を画像処理してもよい。そして、画像信号は、制御部１４０を介して、インタフェース部２００に出力される。ここで、インタフェース部２００に出力される画像信号は、画像処理されている信号、又は画像処理されていない画像信号のいずれであってもよい。
【００２１】
また、演算部１３０は、認識部１３１を備える。認識部１３１は、記憶部１２０からテンプレート画像を取得する。ここで、撮像対象４００ａ〜４００ｃの画像は、画像フレームにおいて、予めラベリングされているものとする。
【００２２】
認識部１３１は、テンプレートマッチングにより、撮像対象４００ａの画像を検出する。具体的には、認識部１３１は、テンプレート画像と、撮像対象４００ａの画像との類似度の評価値（以下、「類似度評価値」という）を算出することにより、撮像対象４００ａの画像を検出する。この類似度評価値については、図４及び６を用いて後述する。
【００２３】
さらに、認識部１３１は、類似度評価値に基づいて、撮像対象４００ａの状態を認識する。ここで、撮像対象４００ａの状態とは、例えば、画像フレームにおける撮像対象４００ａの画像の位置、大きさ（サイズ）、移動方向、移動速度、撮像対象４００ａの画像に顔が検出された場合には、顔の向き、顔の表情、等である。なお、認識部１３１の認識処理は、繰り返し実行されてもよい。
【００２４】
認識部１３１は、類似度評価値により検出された撮像対象４００ａの画像に基づいて、画像フレームにおける撮像対象４００ａの画像の位置（以下、「撮像対象位置」という）を算出することで、撮像対象４００ａを認識する。撮像対象位置の認識については、図４を用いて後述する。
【００２５】
また、認識部１３１は、類似度評価値により検出された撮像対象４００ａの画像に基づいて、画像フレームにおける撮像対象４００ａの画像の大きさ（以下、「サイズ情報」という）を認識する。そして、認識部１３１は、サイズ情報の変化、すなわち、撮像装置１００と撮像対象４００ａとの相対距離の変化（例えば、近づいたか否か）を検出する。サイズ情報の変化の検出については、図５を用いて後述する。
【００２６】
制御部１４０は、演算部１３０を介して画像信号を取得し、取得した画像信号をインタフェース部２００に出力する。
【００２７】
また、制御部１４０は、光学系１１１による像を静止画として撮像するか、動画として撮像するかを決定する。制御部１４０は、例えば、インタフェース部２００を介してユーザの操作入力を取得し、その操作入力に基づいて、光学系１１１による像を静止画として撮像するか、動画として撮像するかを決定してもよい。
【００２８】
また、制御部１４０は、移動体制御部１４２を備える。移動体制御部１４２は、撮像対象４００ａの状態に応じて移動体３００を制御して、移動体３００に備えられた撮像装置１００を、移動体３００と一体で移動させる。
【００２９】
移動体制御部１４２は、サイズ情報又はサイズ情報の変化を、認識部１３１から取得する。そして、移動体制御部１４２は、撮像対象４００ａが画像フレームにおいて予め定められた大きさに撮像されるように、サイズ情報又はサイズ情報の変化に応じて移動体３００を制御し、移動体３００に備えられた撮像装置１００と、撮像対象４００ａとの距離を調節する。例えば、移動体制御部１４２は、移動体３００の推進器及び舵を制御することで、推進力と推進方向を制御して、画像フレームにおいて撮像対象４００ａが予め定められた大きさに撮像されるようにする。
【００３０】
また、移動体制御部１４２は、認識部１３１から撮像対象位置を取得する。そして、移動体制御部１４２は、画像フレームの中央に撮像対象４００ａが位置するように、移動体３００の移動方向と移動速度を調節し、移動体３００と一体で撮像装置１００を移動させる。例えば、移動体制御部１４２は、移動体３００の推進器と舵を制御することで、推進力と推進方向を制御して、画像フレームの中央に撮像対象４００ａが位置するようにする。
【００３１】
インタフェース部２００は、撮像装置１００から画像信号を取得し、取得した画像信号を、撮像装置１００の外部の通信装置（不図示）に送信する。このインタフェース部２００は、例えば、無線通信を実行する。なお、インタフェース部２００は、撮像装置１００に対する命令を受信して、その命令を撮像装置１００に出力してもよい。
【００３２】
次に、演算部１３０の認識部１３１の認識処理を説明する。以下の認識処理は、繰り返し実行されてもよい。
認識部１３１は、画像フレームにおける撮像対象４００ａの画像を、次のように検出する。
図４は、画像フレーム内の所定の探索範囲５００から、撮像対象４００ａの画像５０３ａを、認識部１３１が検出する手順を説明するための図である。図４（Ａ）には、テンプレート画像の一例として、テンプレート画像６００が示されている。ここで、テンプレート画像６００は、撮像対象４００ａの画像であるものとする。また、図４（Ｂ）には、撮像対象４００ａの画像５０３ａと、撮像対象４００ｂの画像５０１ａと、撮像対象４００ｃの画像５０２ａが、探索範囲５００に撮像された画像の一例として、それぞれ示されている。
【００３３】
認識部１３１は、探索範囲５００に撮像された各画像（図４（Ｂ）において、画像５０１ａ〜５０３ａ）と、テンプレート画像との類似度評価値を算出する。ここで、類似度評価値Ｒｉは、［式１］で表される。
【００３４】
Ｒｉ＝｜Ａｉ−Ｂ｜…［式１］
【００３５】
［式１］における「ｉ」は、探索範囲５００に撮像された各画像を識別する識別子である。そして、［式１］の右辺は、識別子「ｉ」に対応する画像「Ａ」の画像情報から、テンプレート画像６００「Ｂ」の画像情報を、画素ごとに減算した値の絶対値を示す。ここで、画像情報とは、例えば、色成分、輝度、彩度である。
【００３６】
まず、認識部１３１は、画像５０１ａを選択する。そして、認識部１３１は、［式１］に基づいて、選択した画像５０１ａの類似度評価値を算出する。例えば、認識部１３１は、画像５０１ａの色成分（白色を示す成分値の例「２５５」）と、テンプレート画像６００の色成分（黒色を示す成分値の例「０」）との差分を算出することで、画像５０１ａの類似度評価値を算出する。次に、認識部１３１は、画像５０２ａ及び５０３ａについても同様に、類似度評価値を算出する。
【００３７】
そして、認識部１３１は、類似度評価値が最も小さい画像を、探索範囲５００内から検出し、その画像がテンプレート画像６００に最も類似する画像である、と認識する。ここで、テンプレート画像６００が撮像対象４００ａの画像を表すので、認識部１３１は、テンプレート画像６００に最も類似する画像であると認識した画像を、撮像対象４００ａの画像である、と認識する。例えば、図４（Ｂ）において、画像５０３ａがテンプレート画像６００に最も類似する画像であると認識部１３１が認識した場合、認識部１３１は、画像５０３ａを、撮像対象４００ａの画像である、と認識する。
【００３８】
さらに、認識部１３１は、画像フレーム内（探索範囲５００内）における画像５０３ａの位置（座標）を、撮像対象位置と認識する。また、認識部１３１は、画像フレーム内（探索範囲５００内）における画像５０３ａの大きさ（サイズ）を、サイズ情報と認識する。
【００３９】
また、認識部１３１は、サイズ情報の変化、すなわち、撮像装置１００と撮像対象４００ａとの相対距離の変化を、テンプレート画像６００と、撮像対象４００ａの画像５０３ａとの相対的な大きさに基づいて、次のように検出する。
図５には、撮像装置１００と撮像対象４００ａとの相対距離の変化を、認識部１３１が検出する手順を説明するための図が示されている。図５（Ａ）及び（Ｂ）には、テンプレート画像６００と、撮像対象４００ａの画像５０３ａが示されている。図５（Ａ）に示されているように、撮像対象４００ａの画像５０３ａが、テンプレート画像６００よりも大きくなったことを検出した場合、認識部１３１は、撮像装置１００と撮像対象４００ａとの相対距離が短くなった（変化した）と認識する。
【００４０】
一方、図５（Ｂ）に示されているように、撮像対象４００ａの画像５０３ａが、テンプレート画像６００よりも小さくなったことを検出した場合、認識部１３１は、撮像装置１００と撮像対象４００ａとの相対距離が長くなった（変化した）と認識する。
【００４１】
さらに、認識部１３１は、画像フレーム内（探索範囲５００内）における画像５０３ａの大きさ（サイズ）を、新たなサイズ情報と認識する。
【００４２】
以上のようにして、撮像装置１００は、認識部１３１が認識した撮像対象４００ａの状態に応じて、移動体３００を制御して、移動体３００に備えられた撮像装置１００を移動させる。これにより、撮像装置１００は、予め定められていない経路を移動する撮像対象４００ａを追尾しながら、撮像対象４００ａの状態に応じて、撮像対象４００ａを撮像することができる。
【００４３】
また、演算部１３０の認識部１３１は、テンプレート画像と、撮像対象４００ａの画像５０３ａとの差分を算出し、差分に基づいて、移動体３００に備えられた撮像装置１００を移動させる。これにより、撮像装置１００は、画像フレームに撮像した複数の画像５０１ａ〜５０３ａから、撮像対象４００ａの画像５０３ａを選択（検出）し、予め定められていない経路を移動する撮像対象４００ａを追尾しながら、撮像対象４００ａの状態に応じて、撮像対象４００ａを撮像することができる。
【００４４】
また、認識部１３１は、画像フレームにおける撮像対象４００ａの大きさ及び撮像対象位置を算出する。そして、制御部１４０は、予め定められた大きさで、画像フレームの中央に撮像対象４００ａが撮像されるように、移動体３００を制御することで、移動体３００に備えられた撮像装置１００と、撮像対象４００ａと、の距離を調節する。これにより、撮像装置１００は、予め定められていない経路を移動する撮像対象４００ａを追尾しながら、予め定められた大きさで、画像フレームの中央に撮像対象４００ａを撮像することができる。
【００４５】
＜撮像対象の定め方について＞
演算部１３０の認識部１３１は、撮像対象を自ら定めてもよい。例えば、画像フレームに撮像された撮像対象の画像のうち、最も至近に撮像された撮像対象、又は画像フレームにおける最大の撮像対象の画像を、撮像装置１００が追尾する撮像対象の画像と定めてもよい。ここで、認識部１３１は、例えば、位相差検出方式、コントラスト検出方式、色収差検出方式によって、最も至近に撮像された撮像対象を検出してもよい。さらに、認識部１３１は、追尾する撮像対象と定めた撮像対象４００ａの画像を、新たなテンプレート画像６００として、記憶部１２０に記憶されたテンプレート画像６００を更新してもよい。
【００４６】
また、上記の通信装置は、例えば、ヘッドマウントディスプレイであってもよい。この通信装置としてのヘッドマウントディスプレイは、撮像装置１００から送信された画像信号を受信して、その画像を表示してもよい。
【００４７】
そして、ヘッドマウントディスプレイを装着したユーザは、そのディスプレイに表示された複数の撮像対象の画像から、撮像対象を視線で指定（視線入力）し、指定した撮像対象を示す情報を撮像装置１００に送信することで、撮像対象を指定可能としてもよい。また、上記の通信装置は、例えば、情報端末であってもよい。そして、情報端末のユーザは、マウス操作、又はタッチパネル操作等により、指定した撮像対象を示す情報を撮像装置１００に送信することで、撮像対象を指定可能としてもよい。
【００４８】
＜撮像対象４００ａに顔が検出された場合の処理について＞
演算部１３０の認識部１３１は、顔検出のアルゴリズムにより、撮像対象４００ａの画像に顔が検出された場合には、テンプレート画像と、検出された撮像対象４００ａの画像とに基づいて、画像フレームにおける撮像対象４００ａの画像５０３ａの顔の向きを認識する。認識部１３１は、画像フレーム内（探索範囲５００内）における画像５０３ａの顔の向きを、類似度評価値に基づいて検出する。
【００４９】
図６には、撮像対象４００ａの顔の向きに応じた複数のテンプレート画像の例が示されている。図６（Ａ）には、撮像装置１００から見て「左を向いた顔」のテンプレート画像６０１の例が示されている。また、図６（Ｂ）には、撮像装置１００から見て「正面を向いた顔」のテンプレート画像６０２の例と、図６（Ｃ）には、撮像装置１００から見て「右を向いた顔」のテンプレート画像６０３の例とが、それぞれ示されている。
【００５０】
まず、認識部１３１は、顔検出のアルゴリズムにより、撮像対象４００ａの画像５０３ａ（図４（Ｂ）を参照）に顔を検出したとする。そして、認識部１３１は、検出された顔を構成する画素についてのみ、上記の［式１］に基づいて類似度評価値を算出し、撮像対象４００ａの画像５０３ａの顔の向きを認識する。
【００５１】
具体的には、認識部１３１は、検出された顔の類似度評価値を、上記の［式１］に基づいて、テンプレート画像６０１〜６０３毎に算出し、算出した類似度評価値を比較する。例えば、各テンプレート画像のうち、テンプレート画像６０１（図６（Ａ）を参照）との類似度評価値が最も小さい値であった場合、認識部１３１は、画像５０３ａに検出された顔が、撮像装置１００から見て「左を向いた顔」であると認識する。
【００５２】
なお、認識部１３１は、テンプレート画像と、検出された撮像対象４００ａの画像５０３ａとに基づいて、撮像対象４００ａの画像５０３ａの顔の表情（例えば、笑顔か否か）を認識してもよい。
【００５３】
そして、制御部１４０の移動体制御部１４２は、撮像対象４００ａの顔の向きを示す情報を、演算部１３０の認識部１３１から取得する。さらに、移動体制御部１４２は、移動体３００の移動方向と移動速度を調節し、撮像対象４００ａの顔を正面から撮像可能な位置に、移動体３００と一体で撮像装置１００を移動させる。例えば、移動体制御部１４２は、推進器と舵を制御することで、推進力と推進方向を制御し、撮像対象４００ａの顔を正面から撮像可能な位置に、移動体３００と一体で撮像装置１００を移動させる。
【００５４】
このようにして、認識部１３１は、撮像した光学像における撮像対象４００ａに顔が検出された場合、顔の向きを認識する。そして、制御部１４０は、その顔の向きに応じて、移動体３００に備えられた撮像装置１００を移動させる。これにより、例えば、撮像装置１００から見て、画像５０３ａが「左を向いた顔」であると認識部１３１が認識した場合、撮像装置１００は、撮像対象４００ａの顔が正面に向く方向（例えば、図２において、撮像対象４００ａの移動方向の左側）に移動して、撮像対象４００ａの顔を正面から撮像することができる。
【００５５】
＜デフォーカス量に基づく合焦動作について＞
演算部１３０の認識部１３１は、画像信号に基づいて、検出された撮像対象４００ａの画像５０３ａ（図４（Ｂ）を参照）のデフォーカス量を算出してもよい。また、その算出アルゴリズムは、例えば、位相差検出方式、コントラスト検出方式、色収差検出方式に使用される公知のアルゴリズムであってよい。そして、認識部１３１は、デフォーカス量に基づいて、光学系１１１による像が撮像対象４００ａの前側に合焦しているか、又は撮像対象４００ａの後側に合焦しているかを検出する。
【００５６】
さらに、移動体制御部１４２は、デフォーカス量に応じて移動体３００を制御し、移動体３００と一体で撮像装置１００を移動させる。例えば、撮像された像が撮像対象４００ａの後側に合焦していることを、演算部１３０の認識部１３１が検出した場合、制御部１４０の移動体制御部１４２は、撮像対象４００ａから離れる方向に、撮像装置１００を移動させることで、撮像対象４００ａに合焦させる。一方、撮像された像が撮像対象４００ａの前側に合焦していることを、演算部１３０の認識部１３１が検出した場合、制御部１４０の移動体制御部１４２は、撮像対象４００ａに近づく方向に、撮像装置１００を移動させることで、撮像対象４００ａに合焦させる。これにより、撮像装置１００は、撮像部１１０の光学系１１１を駆動しなくても、デフォーカス量に応じて移動体３００を移動させることで、撮像対象４００ａに合焦させることができる。
【００５７】
＜撮像対象４００ａの画像が検出された画像信号のみを表示させる場合について＞
演算部１３０の認識部１３１は、撮像対象４００ａが撮像されているか否かを検出してもよい。そして、制御部１４０は、撮像対象４００ａの画像が検出されたか否かを示す情報を、画像信号に対応させて、インタフェース部２００を介して通信装置に送信する。これにより、通信装置は、受信した画像信号と、撮像対象４００ａが撮像されている否かを示す情報とから、撮像対象４００ａが撮像されている画像信号のみを選択し、選択した画像信号のみを画像処理して、撮像対象４００ａが撮像されている画像のみを表示することができる。
【００５８】
また、制御部１４０は、撮像部１１０が出力した画像信号を取得し、撮像対象４００ａの画像が検出されたか否かを示す情報に基づいて、撮像部１１０が出力した画像信号から、撮像対象４００ａが撮像されている画像信号のみを、インタフェース部２００を介して、通信装置に送信することができる。これにより、ユーザは、撮像対象４００ａが撮像されている画像のみを、通信装置のディスプレイに観ることができる。
【００５９】
＜複数の撮像対象が集合した画像を撮像する場合について＞
演算部１３０の認識部１３１は、撮像対象４００ａを認識する上述の手順と同様に、テンプレート画像によって、撮像対象４００ｂ及び４００ｃを認識する。そして、認識部１３１は、探索範囲５００に撮像された撮像対象の数を検出する。例えば、図４（Ｂ）では、撮像対象４００ａの画像５０３ａと、撮像対象４００ｂの画像５０１ａと、撮像対象４００ｃの画像５０２ａとが撮像されているので、この場合、探索範囲５００に撮像された撮像対象の数は３つとなる。そして、認識部１３１は、検出した撮像対象の数を、制御部１４０に出力する。
【００６０】
制御部１４０は、探索範囲５００に撮像された撮像対象の数が予め定められた閾値以上である場合、インタフェース部２００に画像信号を出力する。一方、撮像対象の数が予め定められた閾値未満である場合、制御部１４０は、インタフェース部２００に画像信号を出力しなくてもよい。また、予め定められた閾値は、記憶部１２０に記憶されていてもよい。
【００６１】
このようにして、撮像装置１００は、画像フレームにおける所定の探索範囲５００（図４（Ｂ）を参照）に撮像されている撮像対象の数が、予め定められた閾値以上となった場合のみ、通信装置に画像信号を送信する。これにより、撮像装置１００は、撮像対象が集合した画像を、通信装置に送信することができる。
【００６２】
＜撮像された像に予め定められた閾値以上の変化があった場合の撮像について＞
制御部１４０は、時間的に連続する複数の画像フレーム間の差分を、演算部１３０の認識部１３１から取得してもよい。そして、制御部１４０は、その差分が予め定められた閾値以上である場合、すなわち、撮像部１１０に撮像された像に予め定められた閾値以上の変化があった場合のみ、演算部１３０から画像信号を取得して、インタフェース部２００に出力してもよい。これにより、撮像装置１００は、撮像部１１０に撮像された像に予め定められた閾値以上の変化があった場合のみ、画像信号を通信装置に送信することができる。例えば、水面に浮上した鯨が潮を噴く前の画像と、潮を噴いている画像とで、大きな変化があれば、撮像装置１００は、水面に浮上した鯨が潮を噴いている画像を、通信装置に送信することができる。
【００６３】
＜撮像対象４００ａが撮像されていない場合の処理について＞
例えば、撮像装置１００が追尾していた撮像対象４００ａを見失ったとする。このような場合、演算部１３０の認識部１３１は、撮像対象４００ａを再び追尾して撮像するために、撮像対象４００ａが撮像されているか否かを検出してもよい。そして、認識部１３１は、撮像対象４００ａの画像が検出されたか否かを示す情報を、制御部１４０に出力する。そして、制御部１４０の移動体制御部１４２は、撮像対象４００ａが撮像されていない場合、撮像部１１０が撮像する範囲が広がるように、移動体３００を制御して、移動体３００に備えられた撮像装置１００を移動（例えば、地上又は水面から離れるように上昇）させる。このようにすれば、撮像装置１００は、より広い範囲を撮像することができるので、撮像対象４００ａの画像を再び検出して、撮像対象４００ａの追尾と撮像を再開することができる。
【００６４】
＜撮像対象４００ａの移動方向から、撮像対象４００ａを撮像する場合について＞
演算部１３０の認識部１３１は、撮像対象位置の変化に基づいて、画像フレームにおける撮像対象４００ａの画像５０３ａ（図４（Ｂ）を参照）の移動方向及び移動速度を認識する。例えば、認識部１３１は、時間的に連続する複数の画像フレームにおける撮像対象位置の変化（差分）に基づいて、画像フレーム内（探索範囲５００内）における画像５０３ａの「動きベクトル」を算出することで、撮像対象４００ａの画像の移動方向及び移動速度を認識してもよい。
【００６５】
そして、制御部１４０の移動体制御部１４２は、画像フレームにおける画像５０３ａの移動方向及び移動速度を、認識部１３１から取得する。そして、移動体制御部１４２は、撮像対象４００ａの移動方向に、撮像対象４００ａよりも先に位置するように、移動体３００を移動させる。このようにすれば、撮像装置１００は、撮像対象４００ａの移動方向から、撮像対象４００ａを撮像することができる。例えば、撮像装置１００は、撮像対象４００ａの移動方向から見える撮像対象４００ａの正面を、撮像することができる。
【００６６】
［第２実施形態］
本発明の第２実施形態について図面を参照して詳細に説明する。第２実施形態では、撮像部１１０の光学系１１１の倍率及び画角が変更される点が、第１実施形態と異なる。以下では、第１実施形態との相違点についてのみ説明する。
【００６７】
制御部１４０は、撮像制御部１４１を更に備える。撮像制御部１４１は、撮像対象４００ａの画像５０３ａが検出されたか否かを示す情報を、認識部１３１から取得する。そして、撮像制御部１４１は、撮像対象４００ａの画像５０３ａが画像フレームにおいて予め定められた大きさに撮像されるように、サイズ情報又はサイズ情報の変化に基づいて撮像部１１０を制御することで、光学系１１１の倍率を変更させる。
【００６８】
また、撮像制御部１４１は、撮像対象４００ａの画像が検出されていない場合、撮像範囲を広げるために、撮像部１１０を制御して、光学系１１１の倍率を低倍率に変更させる。
【００６９】
また、撮像制御部１４１は、撮像部１１０の光学系１１１の画角を制御する。例えば、撮像制御部１４１は、撮像対象４００ａの画像が検出されていない場合、撮像範囲を広げるために、撮像部１１０を制御して、光学系１１１の画角を広角に変更させる。
【００７０】
以上のようにして、制御部１４０の撮像制御部１４１は、撮像対象４００ａが画像フレームにおいて予め定められた大きさに撮像されるように、撮像部１１０に光学系１１１の倍率又は画角を変更させて、撮像対象４００ａを撮像させる。
【００７１】
光学系１１１が駆動した場合と、移動体３００が移動した場合とで、光学系１１１が駆動したほうが、撮像された画像の倍率又は画角が短い時間で変更される場合、撮像装置１００は、光学系１１１を駆動させることで、第１実施形態と対比して更に、倍率又は画角を短い時間で変更して、撮像対象４００ａを予め定められた大きさに撮像することができる。
【００７２】
＜優先処理について＞
撮像制御部１４１は、光学系１１１による像を撮像装置１００が静止画として撮像する場合、移動体制御部１４２が移動体３００を制御して、撮像装置１００と、撮像対象４００ａとの距離を調節するよりも、撮像制御部１４１が撮像部１１０に光学系１１１の倍率を変更させることを優先してもよい。
【００７３】
光学系１１１が駆動した場合と、移動体３００が移動した場合とで、光学系１１１が駆動したほうが、撮像された画像の倍率又は画角が短い時間で変更される場合、撮像装置１００は、優先処理として光学系１１１を駆動させることで、倍率又は画角を短い時間で変更して、撮像対象４００ａを予め定められた大きさに静止画として撮像することができる。
【００７４】
また、移動体制御部１４２は、光学系１１１による像を撮像装置１００が動画として撮像する場合、撮像制御部１４１が撮像部１１０に光学系１１１の倍率を変更させるよりも、移動体制御部１４２が移動体３００を制御して、撮像装置１００と、撮像対象４００ａとの距離を調節することを優先してもよい。
【００７５】
光学系１１１が駆動した場合と、移動体３００が移動した場合とで、移動体３００が移動したほうが、撮像された画像の倍率又は画角が長い時間で変更される場合、撮像装置１００は、優先処理として移動体３００を移動させることで、画像の構図を急に変化させることなく、撮像対象４００ａを予め定められた大きさに動画として撮像することができる。
【００７６】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００７７】
なお、インタフェース部２００は、有線通信を実行してもよい。また、インタフェース部２００は、制御部１４０から取得した画像信号及び音信号を記憶する記録媒体（フラッシュメモリ等）であってもよい。
【符号の説明】
【００７８】
１００…撮像装置、１１０…撮像部、１１１…光学系、１１２…撮像素子、１１３…レンズ駆動部、１１４…Ａ／Ｄ変換部、１２０…記憶部、１３０…演算部、１３１…認識部、１４０…制御部、１４１…撮像制御部、１４２…移動体制御部
【特許請求の範囲】
【請求項１】
光学系による像を撮像して、当該像に応じた画像信号を出力する撮像部と、
前記画像信号に基づいて、撮像対象を認識する認識部と、
前記認識部が認識した前記撮像対象の状態に応じて、移動体を制御して、当該移動体に備えられた自装置を移動させる制御部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記認識部は、前記像における前記撮像対象の大きさを算出し、
前記制御部は、前記撮像対象が前記像において予め定められた大きさに撮像されるように、前記移動体を制御して、当該移動体に備えられた自装置と、前記撮像対象と、の距離を調節することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記認識部は、前記像における前記撮像対象の大きさを算出し、
前記制御部は、前記撮像対象が前記画像において予め定められた大きさに撮像されるように、前記撮像部に前記光学系の倍率を変更させて、前記撮像対象を撮像させることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御部は、前記像が動画として撮像される場合、前記撮像部に前記光学系の倍率を変更させるよりも、前記移動体を制御して、当該移動体に備えられた自装置と、前記撮像対象と、の距離を調節することを優先することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御部は、前記像が静止画として撮像される場合、前記移動体を制御して、当該移動体に備えられた自装置と、前記撮像対象と、の距離を調節するよりも、前記撮像部に前記光学系の倍率を変更させることを優先することを特徴とする請求項３又は請求項４に記載の撮像装置。
【請求項６】
前記認識部は、前記撮像対象が撮像されているか否かを検出し、
前記制御部は、前記撮像対象が撮像されていない場合、前記撮像部が撮像する前記像の範囲を広げるように前記移動体を制御して、当該移動体に備えられた自装置を移動させることを特徴とする請求項１から請求項５のいずれか１つに記載の撮像装置。
【請求項７】
前記認識部は、前記撮像対象が撮像されているか否かを検出し、
前記制御部は、前記撮像対象が撮像されていない場合、前記撮像部に前記光学系を広角に変更させる、又は前記光学系の倍率を変更させることを特徴とする請求項１から請求項６のいずれか１つに記載の撮像装置。
【請求項８】
前記認識部は、前記撮像対象の移動方向を検出し、
前記制御部は、前記撮像対象の前記移動方向に位置するように、前記移動体に備えられた自装置を移動させることを特徴とする請求項１から請求項７のいずれか１つに記載の撮像装置。
【請求項９】
前記認識部は、前記像における前記撮像対象の顔の向きを認識し、
前記制御部は、前記顔の向きに基づいて、前記移動体に備えられた自装置を移動させることを特徴とする請求項１から請求項８のいずれか１つに記載の撮像装置。
【請求項１０】
前記認識部は、前記像における前記撮像対象の数を検出し、
前記制御部は、前記撮像部が出力した前記画像信号を取得し、当該数が予め定められた閾値以上である場合、前記画像信号を出力することを特徴とする請求項１から請求項９のいずれか１つに記載の撮像装置。
【請求項１】
光学系による像を撮像して、当該像に応じた画像信号を出力する撮像部と、
前記画像信号に基づいて、撮像対象を認識する認識部と、
前記認識部が認識した前記撮像対象の状態に応じて、移動体を制御して、当該移動体に備えられた自装置を移動させる制御部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記認識部は、前記像における前記撮像対象の大きさを算出し、
前記制御部は、前記撮像対象が前記像において予め定められた大きさに撮像されるように、前記移動体を制御して、当該移動体に備えられた自装置と、前記撮像対象と、の距離を調節することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記認識部は、前記像における前記撮像対象の大きさを算出し、
前記制御部は、前記撮像対象が前記画像において予め定められた大きさに撮像されるように、前記撮像部に前記光学系の倍率を変更させて、前記撮像対象を撮像させることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御部は、前記像が動画として撮像される場合、前記撮像部に前記光学系の倍率を変更させるよりも、前記移動体を制御して、当該移動体に備えられた自装置と、前記撮像対象と、の距離を調節することを優先することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御部は、前記像が静止画として撮像される場合、前記移動体を制御して、当該移動体に備えられた自装置と、前記撮像対象と、の距離を調節するよりも、前記撮像部に前記光学系の倍率を変更させることを優先することを特徴とする請求項３又は請求項４に記載の撮像装置。
【請求項６】
前記認識部は、前記撮像対象が撮像されているか否かを検出し、
前記制御部は、前記撮像対象が撮像されていない場合、前記撮像部が撮像する前記像の範囲を広げるように前記移動体を制御して、当該移動体に備えられた自装置を移動させることを特徴とする請求項１から請求項５のいずれか１つに記載の撮像装置。
【請求項７】
前記認識部は、前記撮像対象が撮像されているか否かを検出し、
前記制御部は、前記撮像対象が撮像されていない場合、前記撮像部に前記光学系を広角に変更させる、又は前記光学系の倍率を変更させることを特徴とする請求項１から請求項６のいずれか１つに記載の撮像装置。
【請求項８】
前記認識部は、前記撮像対象の移動方向を検出し、
前記制御部は、前記撮像対象の前記移動方向に位置するように、前記移動体に備えられた自装置を移動させることを特徴とする請求項１から請求項７のいずれか１つに記載の撮像装置。
【請求項９】
前記認識部は、前記像における前記撮像対象の顔の向きを認識し、
前記制御部は、前記顔の向きに基づいて、前記移動体に備えられた自装置を移動させることを特徴とする請求項１から請求項８のいずれか１つに記載の撮像装置。
【請求項１０】
前記認識部は、前記像における前記撮像対象の数を検出し、
前記制御部は、前記撮像部が出力した前記画像信号を取得し、当該数が予め定められた閾値以上である場合、前記画像信号を出力することを特徴とする請求項１から請求項９のいずれか１つに記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１３５２４７（Ｐ２０１１−１３５２４７Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９１８２８（Ｐ２００９−２９１８２８）
【出願日】平成２１年１２月２４日（２００９．１２．２４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２４日（２００９．１２．２４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]