撮像装置、方法
【課題】 カメラで被写体を撮影した際に、「何が撮影されているか」というデータは撮影者が手動で入力しなければならず、煩雑だった。また、顔認識技術も構図の影響を受けやすいものであった。
【解決手段】 複数の項目を被写体から検出し、特徴値を抽出する。それぞれの特徴値は独立して被写体認識の項目として用いることができる。
また、既に認識されている被写体から新たな特徴値を発見した場合には、その特徴値を既に認識されている特徴値と関連付けて登録するとともに、その新たな特徴値を独立して被写体認識に用いることができる。
【解決手段】 複数の項目を被写体から検出し、特徴値を抽出する。それぞれの特徴値は独立して被写体認識の項目として用いることができる。
また、既に認識されている被写体から新たな特徴値を発見した場合には、その特徴値を既に認識されている特徴値と関連付けて登録するとともに、その新たな特徴値を独立して被写体認識に用いることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像を効率よく分類・検索するための撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラの普及や、スキャナーの普及により、画像のデジタル化が進んでいる。特に新聞社などで用いる報道写真の場合、例えば野球の試合では、一つの試合で１０００枚以上の画像を撮ることもある。画像には、後日検索を容易にするために、その画像に付加された画像情報以外の領域のデータ（いわゆるタグデータ）である日付、撮影者などのタグデータが付加されている。しかしより検索を容易にするためには、このほかに、「何が写っているのか」という情報が画像に付加されていることが望ましい。そこで、「何が写っているのか」という情報を画像に付加する手段として、撮影者が手動で入力する手段が考えられる。しかし、写真の枚数が多くなると手動で情報を入力するのは手間がかかった。
【０００３】
この問題を解決すべく、カメラが自動的に「何が写っているのか」という情報を画像に付加する技術が知られている（特許文献１参照）。その技術はは、カメラが被写体の特徴的な部分、例えば画像の被写体の顔・身につけているゼッケン等を検出する。そしてカメラが検出した情報から被写体が誰であるか認識することにより、「何が写っているか」という情報を示すタグを作成する技術である。この技術を用いることにより、撮影者はタグを手動で付加する手間を省くことができ、本来の撮影に集中することができる。
【特許文献１】特開平５−８９２４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら従来の技術では、カメラが単独で被写体の認識に用いることができる部分は限られていた。例えば、顔、ゼッケンを検出できるカメラであっても、少なくとも顔を検出しなければ被写体を認識できないなど、被写体の認識ができるか否かは、被写体のある一部分が撮影画像の構図に含まれているか否かによるところが大きかった。従って、様々な構図で同一の被写体を撮影した場合に、被写体の認識精度が構図により大きく左右されるという課題があった。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は、被写体の特徴を示す第１の特徴量を記憶する記憶手段と、
撮影レンズによって結像される被写体像を光電変換して撮影画像を得る撮像手段と、
前記撮像手段により得られた撮影画像から、被写体の特徴量を抽出する抽出手段と、
前記抽出手段により、前記第１の特徴量の少なくとも１つが抽出された撮影画像から、或いは、前記第１の特徴量の少なくとも１つが抽出された撮影画像に関連付けられた他の情報から、抽出された新たな第２の特徴量を、該抽出された第１の特徴量に関連付けて前記記憶手段に記憶させる付加手段と
を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、カメラが検出技術を用いて被写体の特徴を自動で抽出し、データベースと照合することで被写体を認識できる。このため、撮影者が手動で被写体情報を入力する必要がない。また、複数の特徴から照合を行うため、認識の精度が構図の影響を受けにくくなる。
【発明を実施するための最良の形態】
【０００７】
以下に、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
【０００８】
（実施例１）
以下、１つめの実施例について説明する。
【０００９】
図１に、報道カメラマンがスタジアム１０１内で野球の試合を撮影する撮影システムの概要図を示す。
【００１０】
１０２は実際に試合を行うグラウンドであり、バッターボックス１１０、電光掲示板１０３が設けられている。電光掲示板１０３にはスピーカ１０４が備えられており、試合の情報が随時アナウンスされる。
【００１１】
スタジアム１０１にはカメラマン席１０５が設けられている。カメラマン席１０５はカメラマン１０６が試合を撮影するための席である。１０９はバッターであり、バッターボックス１１０に立つ。カメラマン１０６は自らのデジタルカメラ１０７を用いてバッター１０９を撮影する。
【００１２】
また、スタジアム１１０内には無線ＬＡＮのアクセスポイント１１１が設けられており、デジタルカメラ１０７はこのアクセスポイントを通じてインターネット１１２に接続することが可能である。１１３は放送局のサーバである。放送局サーバ１１３はＷｅｂサイトを運営し、インターネット１１２を介して試合の情報を随時配信している。デジタルカメラ１０７は、インターネット１１２を介して放送局サーバ１１３から配信される情報を取得することが可能である。
【００１３】
カメラマン１０６が撮影した画像はデジタルカメラ１０７からパーソナルコンピュータ（以下ＰＣと呼ぶ）１０８に転送される。ＰＣ１０８は新聞社１１４とネットワークを介して接続されている。デジタルカメラ１０７からＰＣ１０８に転送された画像は新聞社１１４に転送され、編集素材として用いられる。
【００１４】
デジタルカメラ１０７からＰＣ１０８へと画像を転送するために、種々の公知の技術を用いることができる。例えば、撮影後にカメラマン１０６が、デジタルカメラ１０７または画像を保存してある記録媒体（図示せず）をＰＣ１０８に接続し、デジタルカメラ１０７がＰＣ１０８に画像を転送してもよい。また、カメラマン１０６の指示により、無線通信を用いてデジタルカメラ１０７がＰＣ１０８に画像を転送してもよい。
【００１５】
図２に、図１に示すデジタルカメラ１０７のブロック図を示す。２１９は被写体像を結像するレンズである。２０９はレンズ２１９により結像された被写体像をアナログ画像として出力する光電変換機能を有するＣＣＤ等の撮像センサ２０９である。２１１は画像を表示するディスプレイである。２０８はメモリカード２０７の着脱を可能とするソケットである。２０４はフラッシュメモリ等のシステム記憶部である。システム記憶部２０４には、撮像装置の動作のプログラムや撮像動作に必要なプロパティデータや、外部機器との通信に必要な通信モジュール、さらにＷｅｂサイトを閲覧するためのＷｅｂブラウザが格納されている。２０６はＤＲＡＭであり、後述するＣＰＵ２０３がプログラムを実行する際のワークデータを保持する。また、デジタルカメラ１０７の撮影動作によって生成される画像やディスプレイ２１１に表示する画像を保持する。
【００１６】
また、デジタルカメラ１０７は、デジタルカメラ１０７の動作モード、即ち撮影モードか再生モードかをユーザが指定するためのモードスイッチ２２１を備える。また、ユーザがデジタルカメラに対する指示を入力するための十字キーやセットボタン、キャンセルボタン等複数のスイッチで構成される操作スイッチ２２２を備える。さらに、撮像時に撮像開始を指示するシャッターボタン２２３とを備える。
【００１７】
撮像センサ２０９はＡＤコンバータ２２８を介して撮像回路２１０に接続される。撮像回路２１０は撮像センサ２０９から出力された画像に基づいてデジタル画像を生成し、データバス２０２を介してＤＲＡＭ１０６に記録する。
【００１８】
デジタルカメラ１０７はＤＲＡＭ２０６が記憶したデジタル画像からディスプレイ２１１で表示すべきデジタル画像を生成する表示回路２１２を備える。また、生成されたデジタル画像をアナログ画像に変換して出力するＤＡコンバータ２２９とを備える。撮像回路２１０及び表示回路２１２は、互いにデータバス２０２を介して接続されている。
【００１９】
また、デジタルカメラ１０７は、データバス２０２に接続されたメモリカードコントローラ２１３及びシステム記憶部コントローラ２１５と、ＩＯ２２５、ＣＰＵ２０３とを備え、これらはデータバス２０２を介して互いに接続されている。
【００２０】
さらに、デジタルカメラは、ＤＲＡＭ２０６に接続されると共に、データバス２０２に接続するメモリコントローラ２０５を備える。
【００２１】
モードスイッチ２２１、操作スイッチ２２２、シャッターボタン２２３はＩＯ２２５に接続されている。
【００２２】
メモリカードコントローラ２１３は、メモリカード２０７にコマンド発行及びデータ転送をするように構成されている。
【００２３】
データバス２０２は、バスマスタとしての撮影回路２１０や表示回路２１２からの要求に応じて、撮影又は画像の再生時に画像を伝送する。
【００２４】
メモリコントローラ２０５は、データバス２０２からＤＲＡＭ２０６へのアクセス要求を受け、これを調停しながらＤＲＡＭ２０６へのアクセス信号を生成する。そしてＤＲＡＭ２０６へのデータの書き込みやＤＲＡＭ２０６からのデータの読み出しを実行する。
【００２５】
ＣＰＵ２０３は、システム記憶部２０４が記憶するプログラムに従ってカメラのシーケンスを制御する。このシステム記憶部２０４に格納されているプログラムに従って、後述する図３、図９、図１８に示す処理が実行される。
【００２６】
本装置は使用者がシャッターボタン２２３を押した場合、静止画撮影動作を行う。
【００２７】
これにより、撮像センサ２０９は像を電気信号に変換し、これをＡＤコンバータ２２８に出力する。ＡＤコンバータ２２８はこれをデジタル値に変換し撮像回路２１０に出力する。撮像回路２１０は露出、ホワイトバランスを調整し、さらにデータの圧縮処理を行い、生成した圧縮画像をデータバス２０２及びメモリコントローラ２０５を介して、一旦ＤＲＡＭ２０６に記録する。メモリカードコントローラ２１３はＤＲＡＭ２０６に生成された圧縮画像をメモリカード２０７に記録する。
【００２８】
さらにデジタルカメラ１０７は特徴検出回路２００及び特徴検出に必要なパラメータ値を保持するパラメータ保持部２０１を備える。パラメータ保持部２０１が保持するパラメータ値は書き換え可能で、人間の顔、数字、風景といった被写体の外見的な特徴を記録することが可能である。
【００２９】
また、パラメータ保持部には、外見的特徴だけでなく人間や機械の発する音声の特徴を記録することも可能である。
【００３０】
また本撮像装置は、特徴値を一時記憶する特徴値記憶回路２３０、及び特徴値の比較を行う特徴値比較回路２３１を備える。
【００３１】
システム記憶部２０４には、被写体の特徴を示す値が記録されている。例えば顔の輪郭、目、鼻、口の位置関係を数値化した値や、文字パターンの特徴を示す値、さらには人間や機械の発する音声の特徴が記録されている。文字パターンとは、画像中に含まれる文字を表わす部分のことをいい、例として背番号・看板の文字などがある。被写体から顔部分・背番号部分をサーチする場合は、この値をパラメータ保持部２０１にロードする。
【００３２】
特徴検出回路２００は、入力される画像又は音声データとパラメータ値に基づき所望の特徴を示す部分を検出する。さらにこれらの所望の特徴を示す部分の特徴値を演算する。ＣＰＵ２０３がこれらの値をデータバスを介して読み取ることが可能であるよう、デジタルカメラは構成されている。
【００３３】
特徴検出回路２００はパラメータ値を変更することによって、例えば画像の場合であれば人間の顔、動物の顔、アラビア数字、英語、平仮名といったものの特徴を、音声データの場合であれば人間の声や電子音といったものの特徴を抽出することが可能である。
【００３４】
また、本装置は過去の撮影によって生成した特徴値を、メモリカード２０７またはシステム記憶部２０４に保存しておくことが可能である。特徴値記憶回路２３０は保存されていた特徴値を記憶する回路で、ＣＰＵ２０３は特徴値を特徴値記憶回路２３０に転送することが可能である。
【００３５】
特徴値比較回路２３１は特徴値を比較する回路であり、特徴検出回路２００が出力する特徴値と特徴値記憶回路２３０が出力する特徴値を比較し、一致の度合いを演算する。ＣＰＵ２０３は特徴値比較回路が演算した結果を読み出すことが可能である。
【００３６】
マイクロフォン２３３は音声を読み取り、音声データとして電気信号に変換する装置であり、ＡＤコンバータ２３２でデジタル信号に変換される。
【００３７】
音声認識回路はＡＤコンバータ２３２から送られてきた音声データを認識し、テキストデータに変換する回路である。
【００３８】
ネットワークインタフェース２３４は、無線ＬＡＮのアクセスポイントに接続するためのインタフェースであり、アクセスポイントを介してインターネットと接続し、他の情報処理装置と通信を行うことができる。
【００３９】
なお、本実施例では特徴検出回路２００、パラメータ保持部２０１、特徴値記憶回路２３０、特徴値比較回路２３１が、それぞれ１つの回路で顔、文字パターン、音声の検出等を行っているように記載している。しかし、本実施例において、顔、文字パターン、音声の検出等のため物理的に別の回路を有していてもよい。
【００４０】
次に、デジタルカメラ１０７が放送局サーバ１１３から配信される試合情報を受け取る動作について、図３に示すフローチャートを用いながら説明する。
【００４１】
以下、デジタルカメラ１０７にインストールされたプログラムに従いＣＰＵ２０３が実行する処理を説明する。
【００４２】
メモリカード２０７には、試合前に予め放送局が提供する試合情報を配信するサイトのＵＲＬが記録されている。
【００４３】
ステップＳ３０１では、デジタルカメラ１０７は接続待機状態にあり、ユーザからの接続の指示を待つ。
【００４４】
カメラマン１０６が操作スイッチ２２２を用いてデジタルカメラ１０７に対しインターネット１１２への接続指示を行う。接続指示を受けたＣＰＵ２０３はネットワークインタフェース２３４を介してアクセスポイント１１１への接続を開始する（ステップＳ３０２，ステップＳ３０３）。
【００４５】
アクセスポイントへの接続が行われると、アクセスポイント１１１からインターネット１１２への接続が行われる。ＣＰＵ２０３はインターネットへの接続が完了したと判断すると（ステップＳ３０４）、メモリカード２０７に記録された、放送局が提供するサイトのＵＲＬを読み出す（ステップＳ３０５）。
【００４６】
そしてＣＰＵ２０３は読み出したＵＲＬに基づき放送局サーバ１１３にアクセスする（Ｓ３０６）。
【００４７】
ＣＰＵ２０３はデジタルカメラ１０７を受信待機状態とし、放送局サーバ１１３から試合情報が配信されるのを待つ（ステップＳ３０７）。
【００４８】
放送局サーバ１１３は、アクセスを行ったデジタルカメラ１０７に試合情報を送信する。
【００４９】
ＣＰＵ２０３はネットワークインタフェース２３４を介して、放送局サーバ１１３からデジタルカメラ１０７に送信された試合情報を受信し（ステップＳ３０８）、ＤＲＡＭ２０６に試合情報を記録する（ステップＳ３０９）。さらに、デジタルカメラ１０７内のデータベースに選手に関する情報を書き込んで処理を終了する（ステップＳ３１０）。この処理については後述する。
【００５０】
試合情報は試合の攻守が交代するたびに、放送局サーバ１１３が更新して配信する。すなわち、デジタルカメラ１０７が試合中インターネットに接続されていれば、カメラマン１０６は自動的に最新の試合情報を入手することができる。
【００５１】
ここで、試合情報のデータ構成について説明する。
【００５２】
図４に、デジタルカメラ１０７が受信する試合情報のデータ構成を示す。試合情報は試合の基本的な情報である基本情報４０１、試合の進行状況を示す進行情報４０２、出場選手の情報を示す選手情報４０３から構成される。これらのデータの内容はテキストデータである。
【００５３】
図５に基本情報４０１のデータ構成を示す。５０１は試合名である。５０２は試合の開始時刻を示す。５０３は試合が行われている球場を示す。
【００５４】
図６に進行情報４０２のデータ構成を示す。６０１は回数であり、現在の回数を示す。６０２は現在攻撃しているチーム名を示す。６０３は球場の天候を示す。６０４は球場の気温を示す。６０５は現時点での得点を示す。図６では、チームＡが４得点、チームＢが３得点という状況を示している。６０６は試合時間であり、試合開始から進行情報が更新された時までの経過時間である。
【００５５】
なお、進行情報は試合の経過によって変化する。従って、定期的に又は情報が変更された場合に、放送局サーバ１１３が更新する。
【００５６】
図７に選手情報４０３のデータ構造を示す。選手情報は打順、選手名、背番号の３つで構成される。７０１は打順であり、１から９まで存在する。７０２は選手名である。７０３は選手の背番号である。
【００５７】
なお、選手情報は選手の交代によって変化する。従って、定期的に又は情報が変更された場合に、放送局サーバ１１３が更新する。
【００５８】
なお、本実施例では基本情報４０１、進行情報４０２、選手情報４０３が試合情報という１つのデータにまとめられて配信される構成としたが、これら３つの情報を別個のデータとして配信される構成をとってもよい。
【００５９】
例えば、放送局サーバ１１３は、基本情報４０１と選手情報４０３のみ試合開始前に配信し、進行情報４０２は攻守が変わる毎に更新して配信し、選手情報４０３は選手交代があったときにのみ更新して配信する構成としてもよい。
【００６０】
以上、試合情報のデータ構成について説明した。以下、試合情報を受信した後のデジタルカメラ１０７の動作について説明する。
【００６１】
試合情報を受信し、ＤＲＡＭ２０６への記録を完了すると、ＣＰＵ２０３は選手情報のデータベースへの書き込みを開始する（図３のステップＳ３１０）。
【００６２】
図８に、システム記憶部２０４に保存されているデータベース８０１を示す。データベース８０１は４つの項目から構成されている。８０２は打順項目であり、選手の打順が登録される。８０３は選手名項目であり、選手の名前が登録される。８０４は背番号項目であり、選手の背番号が登録される。８０５は顔パターン項目であり、選手の顔の特徴値が登録される。顔の特徴値については後述する。
【００６３】
ＣＰＵ２０３はＤＲＡＭ２０６から試合情報を読み出す。そして選手情報内の打順７０１に入力されているデータをデータベース８０１の打順項目８０２に、選手名７０２のデータを選手名項目８０３に、背番号７０３のデータを背番号項目８０４に、各々の項目を対応付けて登録する。
【００６４】
この処理により、カメラ内のデータベース８０１に打順と選手名、背番号が対応付けられて登録される。選手情報を登録したデータベース８０１を図１０に示す。
【００６５】
次に、図９に示すフローチャートを用いて、本実施形態における撮影のフローを説明する。
【００６６】
以下、デジタルカメラ１０７にインストールされたプログラムに従いＣＰＵ２０３が実行する処理を説明する。
【００６７】
この時点で、データベースは図１０に示す状態になっている。ここでは、顔に関する情報が未だ登録されていない被写体を撮影した場合について説明する。
【００６８】
ここでは被写体から検出する対象を顔・背番号とし、パラメータ保持部２０１にはそれぞれの特徴を示す値をあらかじめ記録しておく。
【００６９】
ステップＳ９０１にて、デジタルカメラ１０７は撮影モードを開始する。
【００７０】
ステップＳ９０２にて、ＣＰＵ２０３は、ディスプレイ２１１の制御と撮影動作を開始するためのシャッターボタン２２３の待機を開始する。
【００７１】
ステップＳ９０３では、ＣＰＵ２０３はシャッターボタン２２３が押されたかどうかを確認する。シャッターボタン２２３が押されていない場合はステップＳ９０２に戻り処理を繰り返す。
【００７２】
ステップＳ９０３にてＣＰＵ２０３は、カメラマン１０６がシャッターボタン２２３を押したと判断すると、処理をステップＳ９０４に進め、撮影を開始する。
【００７３】
ステップＳ９０４では、撮像センサ２０９上に結像した像が電気信号に変換される。そして画像処理により露出、ホワイトバランス調整などが施された上で、メモリ上に記憶される。さらに圧縮画像がＤＲＡＭ１０６の異なる領域に生成される。ＣＰＵ２０３はこの画像を圧縮し、更に圧縮された画像はメモリカード２０７に転送される。
【００７４】
本実施例の具体的事例として、図１１に撮影した画像を示す。図１１に示す画像は、顔と背番号が確認できる構図となっている。
【００７５】
ステップＳ９０５にて、ＣＰＵ２０３は試合情報を撮影した画像に書き込む。このときＣＰＵ２０３はシステム記憶部２０４より図４に示す試合情報を読み出す。そしてＣＰＵ２０３は撮影した画像のヘッダ部に、図５に示す基本情報の内容と、図６に示す進行情報の内容を書き込む。
【００７６】
この処理により、画像には試合名５０１、撮影時のイニング数６０１、撮影時の天候６０３など、さまざまな情報が付加される。この情報は、後日カメラマン１０６が大量の画像から所望の画像を検索する際に有効な情報となる。
【００７７】
なお、撮影した画像すべてに試合情報を書き込むと、メモリカード２０７内の総データ量が増える可能性がある。そこで、試合情報を書き込む前に、ＣＰＵ２０３が後述する検出・認識処理（ステップＳ９０６〜ステップＳ９１４）を行い、被写体が認識できたと判断した場合にのみ、画像に試合情報を書き込む構成としてもよい。
【００７８】
ステップＳ９０６にて、ＣＰＵ２０３は顔検出処理を開始する。このときＣＰＵ２０３はＤＲＡＭ２０６内に記憶された画像を、データバス２０２を介して特徴検出回路２００に転送する。特徴検出回路２００は転送された画像に対して公知の顔検出技術を用いることにより、顔領域の検出を行い、画像中における顔の位置情報と特徴的な部位情報を抽出する。ＣＰＵ２０３はこの部位情報を特徴値としてＤＲＡＭ２０６に記憶する。なお、顔の特徴的な部位情報とは、例えば目、鼻、口等の画像情報等のことである。
【００７９】
被写体の顔部分は通常、レンズの合焦位置の付近にある。このことを利用し、ＣＰＵ２０３はいわゆるオートフォーカス枠の内側で顔検出処理を行うことにより、さらに精度よく被写体の顔領域を検出することができる。
【００８０】
公知の顔検出技術としては、例えば特開平１０−２３２９３４号公報や特開２０００−４８１８４号公報に開示されており、一般的にはこれらの文献に開示された方法を複数組み合わせて顔認識することが考えられる。
【００８１】
ステップＳ９０６にて、ＣＰＵ２０３は背番号検出処理を行う。背番号の検出も顔処理と同様、特徴検出回路２００が画像に対し公知のパターン検出技術を用いることにより行われる。
【００８２】
背番号を検出すると、ＣＰＵ２０３は検出したデータをＯＣＲ回路２３６に転送する。転送されたデータはＯＣＲ処理され、テキストデータに変換される。ＣＰＵ２０３は、このデータを背番号の特徴値としてＤＲＡＭ２０６に記憶する。
【００８３】
背番号を検出する際には、前述した顔検出の結果を用いることが可能である。通常、背番号は被写体の背中、すなわち顔の近傍に存在する。このことを用いて、顔の近傍にある文字列パターンが背番号であると判断することで、画像中にある他の文字列パターンと区別することが可能となる。この基準を用いることにより、背番号検出の精度を高めることができる。
【００８４】
図１１に示す画像では、図１２中、矩形領域１２０１が顔として、矩形領域１２０２が背番号として検出され、その領域における特徴値が抽出される。
【００８５】
また、図１１に示す画像では、背番号が検出された後、検出された背番号がＯＣＲ部１３６でＯＣＲ処理されることよってテキストデータ「５５」に変換される。このテキストデータが特徴値としてＤＲＡＭ２０６に記憶される。
【００８６】
本実施例では検出する対象を背番号としたが、胸ゼッケンや被写体の持っている番号札などを検出対象としてもよい。
【００８７】
ステップＳ９０８において、背番号、顔の少なくとも１つが検出されたとＣＰＵ２０３が判断した場合には、ステップＳ９０９にて、ＣＰＵ２０３は図１０のデータベース８０１に蓄積されたレコードをレコードナンバーの若い順に１レコードずつ読み出す。
【００８８】
背番号、顔ともに検出されなかった場合は、ＣＰＵ２０３は処理をステップＳ９０２に戻す。デジタルカメラ１０７はシャッター待機状態となる。
【００８９】
ステップＳ９１０では、ＣＰＵ２０３は図１０のデータベース８０１から読み出したレコードに記録された特徴値と、ステップＳ９０６、９０７にて検出された特徴値とを比較する。
【００９０】
ＣＰＵ２０３は、図１０のデータベース８０１から読み出したレコードに登録された特徴値の中に、ステップＳ９０６、９０７にて検出された特徴値と一致するものがないと判断した場合には、処理をステップＳ９０２に戻す。デジタルカメラ１０７はシャッター待機状態となる。
【００９１】
図１０のデータベース８０１から読み出した特徴値の中にステップＳ９０６、ステップＳ９０７にて検出された特徴値と一致するものがあると判断した場合について説明する。この場合には、ＣＰＵ２０３は、読み出したレコード中、選手名項目８０３に入力されているテキストデータを撮影した画像のヘッダ部に書き込み、ステップＳ９１３に処理を進める。
【００９２】
具体的に、図１０に示すデータベース８０１に登録されている特徴値と、図１１に示す画像から抽出された特徴値とを比較する場合について説明する。ＣＰＵ２０３は検出した背番号をＯＣＲ処理した文字列データ「５５」、そして抽出した顔の特徴値と一致するデータが、背番号項目８０４、顔パターン項目８０５に登録されているか検索する。ＣＰＵ２０３はレコードナンバー１から順に図１０のデータベース８０１に記録されているレコードを読み出し、背番号項目に文字列データ５５があるか否か判断する。また、顔パターン項目８０５に、検出した顔パターンと同じパターンがあるか否か判断する。
【００９３】
図１０のデータベース８０１において、背番号項目８０４に「５５」が存在する。従って、ＣＰＵ１０３はこのレコードと特徴値を比較した際に図１０のデータベース８０１に背番号５５が存在すると判断し、撮影した画像のヘッダ部に、読み出されたレコードの選手名項目８０３に登録されたデータである「ＳＵＺＵＫＩ」を書き込む。
【００９４】
図１０のデータベース８０１には顔の特徴値は登録されていない。従ってＣＰＵ２０３は、顔パターン項目８０５に、検出した顔パターンと同じパターンは存在しないと判断し、ヘッダには何も書き込まない。
【００９５】
ステップＳ９１３では、ＣＰＵ２０３はデータベースから読み出した特徴値に一致した特徴値（以下、一致特徴値と呼ぶ）の他に、別の特徴値（以下、新規特徴値と呼ぶ）が抽出されたか否かを判断する。新規特徴値が検出されたと判断した場合には、ＣＰＵ２０３は処理をステップＳ９１４に進める。ＣＰＵ２０３は、新規特徴値が検出されなかったと判断した場合には、処理をステップＳ９０２に戻し、デジタルカメラ１０７をシャッター待機状態にする。
【００９６】
図１１に示す画像からは、顔と背番号の特徴値が抽出されている。このうち、顔の特徴値が図１０のデータベース８０１には登録されていない。従って、顔の特徴値が新規特徴値と判断される。
【００９７】
ステップＳ９１４において、ＣＰＵ２０３は検出された新規特徴値を、一致特徴値と同じレコードナンバーに登録し、シャッター待機状態に戻る。
【００９８】
すなわち、図１１に示す画像から抽出された特徴値のうち、新規特徴値である顔の特徴値が一致特徴値である背番号「５５」と同じレコードナンバーのレコードの顔パターン項目に登録される。このときのデータベースを図１３に示す。
【００９９】
以上の処理が終了すると、ＣＰＵ２０３は処理をステップＳ９０２に戻し、デジタルカメラ１０７はシャッター待機状態となる。
【０１００】
次に、過去に顔が検出され顔パターンが登録されている被写体を撮影した場合について説明する。
【０１０１】
この時点でのデータベース８０１は図１３のようになっている。本来、顔の特徴値は種々のパラメータで記述されるものだが、ここでは便宜上、顔の特徴値を「ＸＸＸ」とする。
【０１０２】
ステップＳ９０１〜ステップＳ９０５までは一枚目の撮影と同様である。ステップＳ９０４で、図１４に示す画像が撮影されたものとする。
【０１０３】
この構図では、ＣＰＵ２０３がステップＳ９０６、ステップＳ９０７の検出処理を行った結果、図１５の領域１５０１に示される顔のみが検出され、特徴値が抽出される。図１４に示す画像の構図には背番号が含まれないため、背番号は検出されない。しかしながら、顔が検出されているため、ＣＰＵ２０３は処理をステップＳ９０８からステップＳ９０９に進める。ステップＳ９０９では図１３に示すデータベース８０１が読み出される。
【０１０４】
ステップＳ９１０では、ＣＰＵ２０３は抽出した顔の特徴値と一致するデータが、図１３のデータベース８０１の顔パターン項目８０５に登録されているか検索する。
【０１０５】
一枚目の撮影時に選手名「ＳＵＺＵＫＩ」の顔の特徴値「ＸＸＸ」を登録しているため、検出した顔から抽出した特徴値と一致する特徴値「ＸＸＸ」が図１３のデータベース８０１から検索される。従ってステップＳ９１１において、ＣＰＵ２０３は抽出した顔の特徴値が図１３のデータベース８０１に登録されていると判断する。
【０１０６】
ＣＰＵ２０３は、その画像が選手名「ＳＵＺＵＫＩ」なる被写体が撮影されているものと判断し、撮影した画像のヘッダに選手名項目の値「ＳＵＺＵＫＩ」を書き込む。
【０１０７】
ステップＳ９１３では、ＣＰＵ２０３は顔パターン以外に検出された特徴値、すなわち新規特徴値はないと判断し、カメラをシャッター待機モードにする。
【０１０８】
本実施例では、各種検出を撮影後に行っているが、検出のタイミングは撮影後には限定されない。例えば、電子ビューファインダ（以下、ＥＶＦとする）を行う際に検出をしてもよい。
【０１０９】
ＥＶＦは、撮像センサ２０９に結像したディスプレイ２１１に繰り返し表示することによって、ユーザに対して撮影しようとする被写体を示す機能である。
【０１１０】
ＥＶＦ時に検出を行う場合には、ＣＰＵ２０３は撮影前に随時検出処理を行っておく。そしてシャッターボタンが押されると、ＣＰＵ２０３はその時点で検出されている顔や背番号をカメラデジタルカメラ１０７内のデータベース８０１と比較する。
【０１１１】
本実施例では、サーバから被写体に関するデータを取得することで、撮影場所、日時、イベントに応じたデータを容易に取得することができる。また、Ｗｅｂサーバから取得するデータをテキストデータとすることでデジタルカメラの通信負荷を軽減することができる。さらに、新たに抽出された被写体の特徴値を一旦他の特徴値と関連づけすれば、新規に登録した特徴値を、被写体を識別する項目として独立に用いることが可能になる。よって、被写体認識の精度が構図の影響を受けにくくなる。
【０１１２】
（実施例２）
以下、２つめの実施例について説明する。なお、実施例１と同様の部分については説明を省略し、実施例２の特徴的な部分について詳細に説明する。
【０１１３】
図１、図２のシステムやデバイスの構成については実施例１と同様であるから、説明を省略する。
【０１１４】
図１６に、本実施例におけるデジタルカメラ１０７内のデータベース１６０１を示す。本実施例では、データベース１６０１の項目に打順項目１６０２選手名項目１６０３、背番号項目１６０４、顔パターン項目１６０５、そして音声パターン項目１６０６が設定されている。
【０１１５】
放送局サーバ１１３からインターネット１１２を介して図４に示す試合情報を受信し、デジタルカメラ１０７内のデータベース１６０１に登録する点は実施例１と同様である。試合情報受信時のデータベース１６０１の内容を図１７に示す。
【０１１６】
次に図１８に示すフローチャートを用いて、本実施形態における撮像装置の動作を説明する。ここでは、カメラマン１０６が、顔の特徴値、音声の特徴値ともにデータベースに登録されていない被写体を撮影した場合について考える。
【０１１７】
ステップＳ１８０１〜ステップＳ１８０４については、実施例１と同様であるため、ここでは割愛する。
【０１１８】
本実施例の具体的な事例として、ステップＳ１８０４において図１９に示す画像が撮影されたものとする。図１９に示す画像は、被写体の背番号は確認できるが、顔は確認できない構図となっている。
【０１１９】
ステップＳ１８０４で撮影が行われると、ＣＰＵ２０３は処理をステップＳ１８０５に進める。ステップＳ１８０５では、ＣＰＵ２０３はカメラを音声録音モードにする。音声録音モードとは、シャッターが押されてから一定時間、例えば５秒間マイクロフォン２３３から入力される音声を録音するモードである。
【０１２０】
この音声録音モードとなっている一定時間中に、カメラマン１０６はマイクロフォン２３３から被写体を識別するための音声を入力することができる。例えばカメラマン１０６が、被写体の選手名が「トム」であることを認識しているとする。かかる場合には、画像を撮影した直後にマイクロフォン２３３に向かって「トム」と発声することで、「トム」という音声データが入力される。
【０１２１】
入力された音声データはＡＤコンバータ２３２を介してデジタル信号に変換された後、画像と関連付けた上で別ファイルとしてＤＲＡＭ２０６に記憶される。
【０１２２】
なお、音声データは画像と別ファイルとせず、ＣＰＵ２０３が撮影した画像と音声データをまとめて１つの画像データとして記憶してもよい。
【０１２３】
一定時間経過後、ＣＰＵ２０３は音声録音モードを停止し、処理をステップＳ１８０６に進める。
【０１２４】
ステップＳ１８０６における試合情報の書き込み、ステップＳ１８０７における顔検出、ステップＳ１８０８における背番号検出については実施例１と同様である。
【０１２５】
ステップＳ１８０９においてＣＰＵ２０３は音声認識を行う。ＣＰＵ２０３はＤＲＡＭ２０６内に記憶された音声データを、データバス２０２を介して特徴検出回路２００に転送する。特徴検出回路２００は転送された音声データに対して公知の音声認識技術を用いることにより、音声データ中における特徴的な情報を抽出する。公知の音声認識技術の例として、特開平９−１３５４１７に開示された技術がある。
【０１２６】
ＣＰＵ２０３はこの特徴的な情報を特徴値としてＤＲＡＭ２０６に記憶する。音声認識が終了すると、ＣＰＵ２０３は処理をステップＳ１８１０に進める。
【０１２７】
ステップＳ１８１０では、背番号、顔、音声のいずれかがステップＳ１８０７〜ステップＳ１８０９の処理によって検出または認識されたか否か判断する。検出または認識されたと判断した場合には、ステップＳ１８１１において、ＣＰＵ２０３は図１７のデータベース１６０１に蓄積されたレコードをレコードナンバーの若い順に１レコードずつ読み出す。
【０１２８】
以下、ステップＳ１８１１からステップＳ１８１２は、実施例１と同様の処理を行う。以下、図１９に示す画像を撮影した場合を例として具体的に説明する。
【０１２９】
図１９に示す画像からは、背番号が検出され、音声パターンが認識される。検出された背番号から抽出された文字パターンはＯＣＲ部１３６での処理によって、テキストデータ「２０」に変換される。
【０１３０】
背番号、音声が検出されているため、そこから抽出された特徴値とデータベース内の特徴値とが比較される（ステップＳ１８１０〜ステップＳ１８１２）。
【０１３１】
図１７のデータベース１６０１には背番号パターン項目「２０」が登録されている。従って、画像のヘッダ部には選手名項目の値「ＴＯＭ」が書き込まれる（ステップＳ１８１３、ステップＳ１８１４）。
【０１３２】
また、検出された音声の特徴値は未だ図１７のデータベース１６０１に未登録、つまり新規特徴値である。従って、この新規特徴値を図１７のデータベース１６０１に登録する（ステップＳ１８１５、ステップＳ１８１６）。この時点でのデータベース１６０１の内容を図２０に示す。音声データは種々のパラメータで記述されるものだが、ここでは便宜上、音声の特徴値を「ＹＹＹ」とする。
【０１３３】
次に、データベース１６０１に顔の特徴値は登録されていないが、音声の特徴値は登録されている被写体を撮影した場合の処理について説明する。
【０１３４】
撮影前のデータベースは図２０に示す状態になっている。以下、図１８のフロー図を参照しながら説明する。
【０１３５】
ステップＳ１８０４で撮影した画像を図２１に示す。また、この画像を撮影した際に、「トム」という音声が入力され、音声データとして記憶されているものとする（ステップＳ１８０５）。図２１に示す画像は、顔は確認できるが、背番号は見えない構図となっている。
【０１３６】
検出処理によって、図２１の画像からは顔が検出され、特徴値が抽出される。（ステップＳ１８０７）。また、記憶された音声データ、すなわち音声データ「トム」から、「ＹＹＹ」という特徴値が抽出される。
【０１３７】
（ステップＳ１８０９）そして、検出された特徴値と図２０のデータベース１６０１内の特徴値との比較が行われる（ステップＳ１８１０〜ステップＳ１８１２）。
【０１３８】
図２０のデータベース１６０１の音声パターン項目１６０６には、既に特徴値「ＺＺＺ」が登録されている。従って、画像のヘッダ部には選手名項目の値「ＴＯＭ」が書き込まれる（ステップＳ１８１３、ステップＳ１８１４）。
【０１３９】
また、検出された顔から抽出された特徴値は未だデータベース１６１０に未登録の新規特徴値である。従って、ＣＰＵ２０３は検出された顔から抽出された特徴値をデータベースに登録し（ステップＳ１８１５、ステップＳ１８１６）、処理をステップＳ１８０２に戻す。
【０１４０】
この時点でのデータベースの内容を図２２に示す。選手名「ＴＯＭ」について、背番号、顔、音声の特徴値１６０４〜１６０６が登録されている。顔の特徴値は便宜上「ＺＺＺ」とした。このデータベースを用いることで、カメラマン１０６は背番号、顔、音声の少なくとも１つが含まれる構図で被写体を撮影すれば、被写体が何者か認識することが可能となる。すなわち、認識の精度が構図の影響を受けにくくなる。
【０１４１】
なお、本実施例ではカメラがマイクロフォン２３３からカメラマン１０６の音声を受信していたが、本発明はこの実施例に限定されるものではない。マイクロフォン２３３が外部の音声を受信することで、スピーカ１０４から流れる場内アナウンスによりコールされる選手名を認識することも可能である。
【０１４２】
例えば「６番、トム」という場内アナウンスがコールされた場合、マイクロフォン２３３にその音声が入力され、ＣＰＵ２０３は「トム」の音声データから特徴値「ＹＹＹ」を抽出してもよい。この場合ＣＰＵ２０３は、認識して以降に撮影した画像のヘッダに「ＴＯＭ」を書き込む。そしてＣＰＵ２０３は、次のバッターの名前をコールするアナウンスを認識したら、「ＴＯＭ」の書き込みを終了し、画像のヘッダには次のバッターの名前を書き込んでいく。
【０１４３】
このような構成の場合、カメラマン１０６は音声データを自分で入力する必要がなくなるため、さらに撮影のみに集中することが可能になる。
【０１４４】
（他の実施例）
本発明の目的は前述した実施例の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を用いても達成できることは言うまでもない。この場合にはシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することで、本発明の目的は達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１４５】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。
【０１４６】
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーションシステム）などが実際の処理の一部または全部を行ってもよい。かかる処理によって前述した実施例の機能が実現される場合本発明の範囲に含まれることは言うまでもない。
【０１４７】
さらに、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニット等の機能拡張デバイスを介してプログラムを実行してもよい。この場合には、記憶媒体から読み出されたプログラムコードが、機能拡張デバイスに備わるメモリに書きこまれる。そしてプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。かかる処理によって前述した実施形態の機能が実現される場合も本発明の範囲に含まれることは言うまでもない。
【図面の簡単な説明】
【０１４８】
【図１】撮影システムの概要を示す
【図２】デジタルカメラの構成を示す
【図３】サーバからのデータ受信フローを示す。
【図４】試合情報のデータ構成を示す。
【図５】基本情報のデータ構成を示す。
【図６】進行情報のデータ構成を示す。
【図７】選手情報のデータ構成を示す。
【図８】実施例１におけるデータベースを示す。
【図９】実施例１における撮影フローを示す。
【図１０】実施例１におけるデータベースを示す。
【図１１】実施例１おける撮影画像を示す。
【図１２】実施例１における検出の様子を示す。
【図１３】実施例１におけるデータベースを示す。
【図１４】実施例１における撮影画像を示す。
【図１５】実施例１における検出の様子を示す。
【図１６】実施例２におけるデータベースを示す。
【図１７】実施例２におけるデータベースを示す。
【図１８】実施例２における撮影フローを示す。
【図１９】実施例２における撮影画像を示す。
【図２０】実施例２におけるデータベースを示す。
【図２１】実施例２における撮影画像を示す。
【図２２】実施例２におけるデータベースを示す。
【技術分野】
【０００１】
本発明は、撮影画像を効率よく分類・検索するための撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラの普及や、スキャナーの普及により、画像のデジタル化が進んでいる。特に新聞社などで用いる報道写真の場合、例えば野球の試合では、一つの試合で１０００枚以上の画像を撮ることもある。画像には、後日検索を容易にするために、その画像に付加された画像情報以外の領域のデータ（いわゆるタグデータ）である日付、撮影者などのタグデータが付加されている。しかしより検索を容易にするためには、このほかに、「何が写っているのか」という情報が画像に付加されていることが望ましい。そこで、「何が写っているのか」という情報を画像に付加する手段として、撮影者が手動で入力する手段が考えられる。しかし、写真の枚数が多くなると手動で情報を入力するのは手間がかかった。
【０００３】
この問題を解決すべく、カメラが自動的に「何が写っているのか」という情報を画像に付加する技術が知られている（特許文献１参照）。その技術はは、カメラが被写体の特徴的な部分、例えば画像の被写体の顔・身につけているゼッケン等を検出する。そしてカメラが検出した情報から被写体が誰であるか認識することにより、「何が写っているか」という情報を示すタグを作成する技術である。この技術を用いることにより、撮影者はタグを手動で付加する手間を省くことができ、本来の撮影に集中することができる。
【特許文献１】特開平５−８９２４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら従来の技術では、カメラが単独で被写体の認識に用いることができる部分は限られていた。例えば、顔、ゼッケンを検出できるカメラであっても、少なくとも顔を検出しなければ被写体を認識できないなど、被写体の認識ができるか否かは、被写体のある一部分が撮影画像の構図に含まれているか否かによるところが大きかった。従って、様々な構図で同一の被写体を撮影した場合に、被写体の認識精度が構図により大きく左右されるという課題があった。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は、被写体の特徴を示す第１の特徴量を記憶する記憶手段と、
撮影レンズによって結像される被写体像を光電変換して撮影画像を得る撮像手段と、
前記撮像手段により得られた撮影画像から、被写体の特徴量を抽出する抽出手段と、
前記抽出手段により、前記第１の特徴量の少なくとも１つが抽出された撮影画像から、或いは、前記第１の特徴量の少なくとも１つが抽出された撮影画像に関連付けられた他の情報から、抽出された新たな第２の特徴量を、該抽出された第１の特徴量に関連付けて前記記憶手段に記憶させる付加手段と
を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、カメラが検出技術を用いて被写体の特徴を自動で抽出し、データベースと照合することで被写体を認識できる。このため、撮影者が手動で被写体情報を入力する必要がない。また、複数の特徴から照合を行うため、認識の精度が構図の影響を受けにくくなる。
【発明を実施するための最良の形態】
【０００７】
以下に、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
【０００８】
（実施例１）
以下、１つめの実施例について説明する。
【０００９】
図１に、報道カメラマンがスタジアム１０１内で野球の試合を撮影する撮影システムの概要図を示す。
【００１０】
１０２は実際に試合を行うグラウンドであり、バッターボックス１１０、電光掲示板１０３が設けられている。電光掲示板１０３にはスピーカ１０４が備えられており、試合の情報が随時アナウンスされる。
【００１１】
スタジアム１０１にはカメラマン席１０５が設けられている。カメラマン席１０５はカメラマン１０６が試合を撮影するための席である。１０９はバッターであり、バッターボックス１１０に立つ。カメラマン１０６は自らのデジタルカメラ１０７を用いてバッター１０９を撮影する。
【００１２】
また、スタジアム１１０内には無線ＬＡＮのアクセスポイント１１１が設けられており、デジタルカメラ１０７はこのアクセスポイントを通じてインターネット１１２に接続することが可能である。１１３は放送局のサーバである。放送局サーバ１１３はＷｅｂサイトを運営し、インターネット１１２を介して試合の情報を随時配信している。デジタルカメラ１０７は、インターネット１１２を介して放送局サーバ１１３から配信される情報を取得することが可能である。
【００１３】
カメラマン１０６が撮影した画像はデジタルカメラ１０７からパーソナルコンピュータ（以下ＰＣと呼ぶ）１０８に転送される。ＰＣ１０８は新聞社１１４とネットワークを介して接続されている。デジタルカメラ１０７からＰＣ１０８に転送された画像は新聞社１１４に転送され、編集素材として用いられる。
【００１４】
デジタルカメラ１０７からＰＣ１０８へと画像を転送するために、種々の公知の技術を用いることができる。例えば、撮影後にカメラマン１０６が、デジタルカメラ１０７または画像を保存してある記録媒体（図示せず）をＰＣ１０８に接続し、デジタルカメラ１０７がＰＣ１０８に画像を転送してもよい。また、カメラマン１０６の指示により、無線通信を用いてデジタルカメラ１０７がＰＣ１０８に画像を転送してもよい。
【００１５】
図２に、図１に示すデジタルカメラ１０７のブロック図を示す。２１９は被写体像を結像するレンズである。２０９はレンズ２１９により結像された被写体像をアナログ画像として出力する光電変換機能を有するＣＣＤ等の撮像センサ２０９である。２１１は画像を表示するディスプレイである。２０８はメモリカード２０７の着脱を可能とするソケットである。２０４はフラッシュメモリ等のシステム記憶部である。システム記憶部２０４には、撮像装置の動作のプログラムや撮像動作に必要なプロパティデータや、外部機器との通信に必要な通信モジュール、さらにＷｅｂサイトを閲覧するためのＷｅｂブラウザが格納されている。２０６はＤＲＡＭであり、後述するＣＰＵ２０３がプログラムを実行する際のワークデータを保持する。また、デジタルカメラ１０７の撮影動作によって生成される画像やディスプレイ２１１に表示する画像を保持する。
【００１６】
また、デジタルカメラ１０７は、デジタルカメラ１０７の動作モード、即ち撮影モードか再生モードかをユーザが指定するためのモードスイッチ２２１を備える。また、ユーザがデジタルカメラに対する指示を入力するための十字キーやセットボタン、キャンセルボタン等複数のスイッチで構成される操作スイッチ２２２を備える。さらに、撮像時に撮像開始を指示するシャッターボタン２２３とを備える。
【００１７】
撮像センサ２０９はＡＤコンバータ２２８を介して撮像回路２１０に接続される。撮像回路２１０は撮像センサ２０９から出力された画像に基づいてデジタル画像を生成し、データバス２０２を介してＤＲＡＭ１０６に記録する。
【００１８】
デジタルカメラ１０７はＤＲＡＭ２０６が記憶したデジタル画像からディスプレイ２１１で表示すべきデジタル画像を生成する表示回路２１２を備える。また、生成されたデジタル画像をアナログ画像に変換して出力するＤＡコンバータ２２９とを備える。撮像回路２１０及び表示回路２１２は、互いにデータバス２０２を介して接続されている。
【００１９】
また、デジタルカメラ１０７は、データバス２０２に接続されたメモリカードコントローラ２１３及びシステム記憶部コントローラ２１５と、ＩＯ２２５、ＣＰＵ２０３とを備え、これらはデータバス２０２を介して互いに接続されている。
【００２０】
さらに、デジタルカメラは、ＤＲＡＭ２０６に接続されると共に、データバス２０２に接続するメモリコントローラ２０５を備える。
【００２１】
モードスイッチ２２１、操作スイッチ２２２、シャッターボタン２２３はＩＯ２２５に接続されている。
【００２２】
メモリカードコントローラ２１３は、メモリカード２０７にコマンド発行及びデータ転送をするように構成されている。
【００２３】
データバス２０２は、バスマスタとしての撮影回路２１０や表示回路２１２からの要求に応じて、撮影又は画像の再生時に画像を伝送する。
【００２４】
メモリコントローラ２０５は、データバス２０２からＤＲＡＭ２０６へのアクセス要求を受け、これを調停しながらＤＲＡＭ２０６へのアクセス信号を生成する。そしてＤＲＡＭ２０６へのデータの書き込みやＤＲＡＭ２０６からのデータの読み出しを実行する。
【００２５】
ＣＰＵ２０３は、システム記憶部２０４が記憶するプログラムに従ってカメラのシーケンスを制御する。このシステム記憶部２０４に格納されているプログラムに従って、後述する図３、図９、図１８に示す処理が実行される。
【００２６】
本装置は使用者がシャッターボタン２２３を押した場合、静止画撮影動作を行う。
【００２７】
これにより、撮像センサ２０９は像を電気信号に変換し、これをＡＤコンバータ２２８に出力する。ＡＤコンバータ２２８はこれをデジタル値に変換し撮像回路２１０に出力する。撮像回路２１０は露出、ホワイトバランスを調整し、さらにデータの圧縮処理を行い、生成した圧縮画像をデータバス２０２及びメモリコントローラ２０５を介して、一旦ＤＲＡＭ２０６に記録する。メモリカードコントローラ２１３はＤＲＡＭ２０６に生成された圧縮画像をメモリカード２０７に記録する。
【００２８】
さらにデジタルカメラ１０７は特徴検出回路２００及び特徴検出に必要なパラメータ値を保持するパラメータ保持部２０１を備える。パラメータ保持部２０１が保持するパラメータ値は書き換え可能で、人間の顔、数字、風景といった被写体の外見的な特徴を記録することが可能である。
【００２９】
また、パラメータ保持部には、外見的特徴だけでなく人間や機械の発する音声の特徴を記録することも可能である。
【００３０】
また本撮像装置は、特徴値を一時記憶する特徴値記憶回路２３０、及び特徴値の比較を行う特徴値比較回路２３１を備える。
【００３１】
システム記憶部２０４には、被写体の特徴を示す値が記録されている。例えば顔の輪郭、目、鼻、口の位置関係を数値化した値や、文字パターンの特徴を示す値、さらには人間や機械の発する音声の特徴が記録されている。文字パターンとは、画像中に含まれる文字を表わす部分のことをいい、例として背番号・看板の文字などがある。被写体から顔部分・背番号部分をサーチする場合は、この値をパラメータ保持部２０１にロードする。
【００３２】
特徴検出回路２００は、入力される画像又は音声データとパラメータ値に基づき所望の特徴を示す部分を検出する。さらにこれらの所望の特徴を示す部分の特徴値を演算する。ＣＰＵ２０３がこれらの値をデータバスを介して読み取ることが可能であるよう、デジタルカメラは構成されている。
【００３３】
特徴検出回路２００はパラメータ値を変更することによって、例えば画像の場合であれば人間の顔、動物の顔、アラビア数字、英語、平仮名といったものの特徴を、音声データの場合であれば人間の声や電子音といったものの特徴を抽出することが可能である。
【００３４】
また、本装置は過去の撮影によって生成した特徴値を、メモリカード２０７またはシステム記憶部２０４に保存しておくことが可能である。特徴値記憶回路２３０は保存されていた特徴値を記憶する回路で、ＣＰＵ２０３は特徴値を特徴値記憶回路２３０に転送することが可能である。
【００３５】
特徴値比較回路２３１は特徴値を比較する回路であり、特徴検出回路２００が出力する特徴値と特徴値記憶回路２３０が出力する特徴値を比較し、一致の度合いを演算する。ＣＰＵ２０３は特徴値比較回路が演算した結果を読み出すことが可能である。
【００３６】
マイクロフォン２３３は音声を読み取り、音声データとして電気信号に変換する装置であり、ＡＤコンバータ２３２でデジタル信号に変換される。
【００３７】
音声認識回路はＡＤコンバータ２３２から送られてきた音声データを認識し、テキストデータに変換する回路である。
【００３８】
ネットワークインタフェース２３４は、無線ＬＡＮのアクセスポイントに接続するためのインタフェースであり、アクセスポイントを介してインターネットと接続し、他の情報処理装置と通信を行うことができる。
【００３９】
なお、本実施例では特徴検出回路２００、パラメータ保持部２０１、特徴値記憶回路２３０、特徴値比較回路２３１が、それぞれ１つの回路で顔、文字パターン、音声の検出等を行っているように記載している。しかし、本実施例において、顔、文字パターン、音声の検出等のため物理的に別の回路を有していてもよい。
【００４０】
次に、デジタルカメラ１０７が放送局サーバ１１３から配信される試合情報を受け取る動作について、図３に示すフローチャートを用いながら説明する。
【００４１】
以下、デジタルカメラ１０７にインストールされたプログラムに従いＣＰＵ２０３が実行する処理を説明する。
【００４２】
メモリカード２０７には、試合前に予め放送局が提供する試合情報を配信するサイトのＵＲＬが記録されている。
【００４３】
ステップＳ３０１では、デジタルカメラ１０７は接続待機状態にあり、ユーザからの接続の指示を待つ。
【００４４】
カメラマン１０６が操作スイッチ２２２を用いてデジタルカメラ１０７に対しインターネット１１２への接続指示を行う。接続指示を受けたＣＰＵ２０３はネットワークインタフェース２３４を介してアクセスポイント１１１への接続を開始する（ステップＳ３０２，ステップＳ３０３）。
【００４５】
アクセスポイントへの接続が行われると、アクセスポイント１１１からインターネット１１２への接続が行われる。ＣＰＵ２０３はインターネットへの接続が完了したと判断すると（ステップＳ３０４）、メモリカード２０７に記録された、放送局が提供するサイトのＵＲＬを読み出す（ステップＳ３０５）。
【００４６】
そしてＣＰＵ２０３は読み出したＵＲＬに基づき放送局サーバ１１３にアクセスする（Ｓ３０６）。
【００４７】
ＣＰＵ２０３はデジタルカメラ１０７を受信待機状態とし、放送局サーバ１１３から試合情報が配信されるのを待つ（ステップＳ３０７）。
【００４８】
放送局サーバ１１３は、アクセスを行ったデジタルカメラ１０７に試合情報を送信する。
【００４９】
ＣＰＵ２０３はネットワークインタフェース２３４を介して、放送局サーバ１１３からデジタルカメラ１０７に送信された試合情報を受信し（ステップＳ３０８）、ＤＲＡＭ２０６に試合情報を記録する（ステップＳ３０９）。さらに、デジタルカメラ１０７内のデータベースに選手に関する情報を書き込んで処理を終了する（ステップＳ３１０）。この処理については後述する。
【００５０】
試合情報は試合の攻守が交代するたびに、放送局サーバ１１３が更新して配信する。すなわち、デジタルカメラ１０７が試合中インターネットに接続されていれば、カメラマン１０６は自動的に最新の試合情報を入手することができる。
【００５１】
ここで、試合情報のデータ構成について説明する。
【００５２】
図４に、デジタルカメラ１０７が受信する試合情報のデータ構成を示す。試合情報は試合の基本的な情報である基本情報４０１、試合の進行状況を示す進行情報４０２、出場選手の情報を示す選手情報４０３から構成される。これらのデータの内容はテキストデータである。
【００５３】
図５に基本情報４０１のデータ構成を示す。５０１は試合名である。５０２は試合の開始時刻を示す。５０３は試合が行われている球場を示す。
【００５４】
図６に進行情報４０２のデータ構成を示す。６０１は回数であり、現在の回数を示す。６０２は現在攻撃しているチーム名を示す。６０３は球場の天候を示す。６０４は球場の気温を示す。６０５は現時点での得点を示す。図６では、チームＡが４得点、チームＢが３得点という状況を示している。６０６は試合時間であり、試合開始から進行情報が更新された時までの経過時間である。
【００５５】
なお、進行情報は試合の経過によって変化する。従って、定期的に又は情報が変更された場合に、放送局サーバ１１３が更新する。
【００５６】
図７に選手情報４０３のデータ構造を示す。選手情報は打順、選手名、背番号の３つで構成される。７０１は打順であり、１から９まで存在する。７０２は選手名である。７０３は選手の背番号である。
【００５７】
なお、選手情報は選手の交代によって変化する。従って、定期的に又は情報が変更された場合に、放送局サーバ１１３が更新する。
【００５８】
なお、本実施例では基本情報４０１、進行情報４０２、選手情報４０３が試合情報という１つのデータにまとめられて配信される構成としたが、これら３つの情報を別個のデータとして配信される構成をとってもよい。
【００５９】
例えば、放送局サーバ１１３は、基本情報４０１と選手情報４０３のみ試合開始前に配信し、進行情報４０２は攻守が変わる毎に更新して配信し、選手情報４０３は選手交代があったときにのみ更新して配信する構成としてもよい。
【００６０】
以上、試合情報のデータ構成について説明した。以下、試合情報を受信した後のデジタルカメラ１０７の動作について説明する。
【００６１】
試合情報を受信し、ＤＲＡＭ２０６への記録を完了すると、ＣＰＵ２０３は選手情報のデータベースへの書き込みを開始する（図３のステップＳ３１０）。
【００６２】
図８に、システム記憶部２０４に保存されているデータベース８０１を示す。データベース８０１は４つの項目から構成されている。８０２は打順項目であり、選手の打順が登録される。８０３は選手名項目であり、選手の名前が登録される。８０４は背番号項目であり、選手の背番号が登録される。８０５は顔パターン項目であり、選手の顔の特徴値が登録される。顔の特徴値については後述する。
【００６３】
ＣＰＵ２０３はＤＲＡＭ２０６から試合情報を読み出す。そして選手情報内の打順７０１に入力されているデータをデータベース８０１の打順項目８０２に、選手名７０２のデータを選手名項目８０３に、背番号７０３のデータを背番号項目８０４に、各々の項目を対応付けて登録する。
【００６４】
この処理により、カメラ内のデータベース８０１に打順と選手名、背番号が対応付けられて登録される。選手情報を登録したデータベース８０１を図１０に示す。
【００６５】
次に、図９に示すフローチャートを用いて、本実施形態における撮影のフローを説明する。
【００６６】
以下、デジタルカメラ１０７にインストールされたプログラムに従いＣＰＵ２０３が実行する処理を説明する。
【００６７】
この時点で、データベースは図１０に示す状態になっている。ここでは、顔に関する情報が未だ登録されていない被写体を撮影した場合について説明する。
【００６８】
ここでは被写体から検出する対象を顔・背番号とし、パラメータ保持部２０１にはそれぞれの特徴を示す値をあらかじめ記録しておく。
【００６９】
ステップＳ９０１にて、デジタルカメラ１０７は撮影モードを開始する。
【００７０】
ステップＳ９０２にて、ＣＰＵ２０３は、ディスプレイ２１１の制御と撮影動作を開始するためのシャッターボタン２２３の待機を開始する。
【００７１】
ステップＳ９０３では、ＣＰＵ２０３はシャッターボタン２２３が押されたかどうかを確認する。シャッターボタン２２３が押されていない場合はステップＳ９０２に戻り処理を繰り返す。
【００７２】
ステップＳ９０３にてＣＰＵ２０３は、カメラマン１０６がシャッターボタン２２３を押したと判断すると、処理をステップＳ９０４に進め、撮影を開始する。
【００７３】
ステップＳ９０４では、撮像センサ２０９上に結像した像が電気信号に変換される。そして画像処理により露出、ホワイトバランス調整などが施された上で、メモリ上に記憶される。さらに圧縮画像がＤＲＡＭ１０６の異なる領域に生成される。ＣＰＵ２０３はこの画像を圧縮し、更に圧縮された画像はメモリカード２０７に転送される。
【００７４】
本実施例の具体的事例として、図１１に撮影した画像を示す。図１１に示す画像は、顔と背番号が確認できる構図となっている。
【００７５】
ステップＳ９０５にて、ＣＰＵ２０３は試合情報を撮影した画像に書き込む。このときＣＰＵ２０３はシステム記憶部２０４より図４に示す試合情報を読み出す。そしてＣＰＵ２０３は撮影した画像のヘッダ部に、図５に示す基本情報の内容と、図６に示す進行情報の内容を書き込む。
【００７６】
この処理により、画像には試合名５０１、撮影時のイニング数６０１、撮影時の天候６０３など、さまざまな情報が付加される。この情報は、後日カメラマン１０６が大量の画像から所望の画像を検索する際に有効な情報となる。
【００７７】
なお、撮影した画像すべてに試合情報を書き込むと、メモリカード２０７内の総データ量が増える可能性がある。そこで、試合情報を書き込む前に、ＣＰＵ２０３が後述する検出・認識処理（ステップＳ９０６〜ステップＳ９１４）を行い、被写体が認識できたと判断した場合にのみ、画像に試合情報を書き込む構成としてもよい。
【００７８】
ステップＳ９０６にて、ＣＰＵ２０３は顔検出処理を開始する。このときＣＰＵ２０３はＤＲＡＭ２０６内に記憶された画像を、データバス２０２を介して特徴検出回路２００に転送する。特徴検出回路２００は転送された画像に対して公知の顔検出技術を用いることにより、顔領域の検出を行い、画像中における顔の位置情報と特徴的な部位情報を抽出する。ＣＰＵ２０３はこの部位情報を特徴値としてＤＲＡＭ２０６に記憶する。なお、顔の特徴的な部位情報とは、例えば目、鼻、口等の画像情報等のことである。
【００７９】
被写体の顔部分は通常、レンズの合焦位置の付近にある。このことを利用し、ＣＰＵ２０３はいわゆるオートフォーカス枠の内側で顔検出処理を行うことにより、さらに精度よく被写体の顔領域を検出することができる。
【００８０】
公知の顔検出技術としては、例えば特開平１０−２３２９３４号公報や特開２０００−４８１８４号公報に開示されており、一般的にはこれらの文献に開示された方法を複数組み合わせて顔認識することが考えられる。
【００８１】
ステップＳ９０６にて、ＣＰＵ２０３は背番号検出処理を行う。背番号の検出も顔処理と同様、特徴検出回路２００が画像に対し公知のパターン検出技術を用いることにより行われる。
【００８２】
背番号を検出すると、ＣＰＵ２０３は検出したデータをＯＣＲ回路２３６に転送する。転送されたデータはＯＣＲ処理され、テキストデータに変換される。ＣＰＵ２０３は、このデータを背番号の特徴値としてＤＲＡＭ２０６に記憶する。
【００８３】
背番号を検出する際には、前述した顔検出の結果を用いることが可能である。通常、背番号は被写体の背中、すなわち顔の近傍に存在する。このことを用いて、顔の近傍にある文字列パターンが背番号であると判断することで、画像中にある他の文字列パターンと区別することが可能となる。この基準を用いることにより、背番号検出の精度を高めることができる。
【００８４】
図１１に示す画像では、図１２中、矩形領域１２０１が顔として、矩形領域１２０２が背番号として検出され、その領域における特徴値が抽出される。
【００８５】
また、図１１に示す画像では、背番号が検出された後、検出された背番号がＯＣＲ部１３６でＯＣＲ処理されることよってテキストデータ「５５」に変換される。このテキストデータが特徴値としてＤＲＡＭ２０６に記憶される。
【００８６】
本実施例では検出する対象を背番号としたが、胸ゼッケンや被写体の持っている番号札などを検出対象としてもよい。
【００８７】
ステップＳ９０８において、背番号、顔の少なくとも１つが検出されたとＣＰＵ２０３が判断した場合には、ステップＳ９０９にて、ＣＰＵ２０３は図１０のデータベース８０１に蓄積されたレコードをレコードナンバーの若い順に１レコードずつ読み出す。
【００８８】
背番号、顔ともに検出されなかった場合は、ＣＰＵ２０３は処理をステップＳ９０２に戻す。デジタルカメラ１０７はシャッター待機状態となる。
【００８９】
ステップＳ９１０では、ＣＰＵ２０３は図１０のデータベース８０１から読み出したレコードに記録された特徴値と、ステップＳ９０６、９０７にて検出された特徴値とを比較する。
【００９０】
ＣＰＵ２０３は、図１０のデータベース８０１から読み出したレコードに登録された特徴値の中に、ステップＳ９０６、９０７にて検出された特徴値と一致するものがないと判断した場合には、処理をステップＳ９０２に戻す。デジタルカメラ１０７はシャッター待機状態となる。
【００９１】
図１０のデータベース８０１から読み出した特徴値の中にステップＳ９０６、ステップＳ９０７にて検出された特徴値と一致するものがあると判断した場合について説明する。この場合には、ＣＰＵ２０３は、読み出したレコード中、選手名項目８０３に入力されているテキストデータを撮影した画像のヘッダ部に書き込み、ステップＳ９１３に処理を進める。
【００９２】
具体的に、図１０に示すデータベース８０１に登録されている特徴値と、図１１に示す画像から抽出された特徴値とを比較する場合について説明する。ＣＰＵ２０３は検出した背番号をＯＣＲ処理した文字列データ「５５」、そして抽出した顔の特徴値と一致するデータが、背番号項目８０４、顔パターン項目８０５に登録されているか検索する。ＣＰＵ２０３はレコードナンバー１から順に図１０のデータベース８０１に記録されているレコードを読み出し、背番号項目に文字列データ５５があるか否か判断する。また、顔パターン項目８０５に、検出した顔パターンと同じパターンがあるか否か判断する。
【００９３】
図１０のデータベース８０１において、背番号項目８０４に「５５」が存在する。従って、ＣＰＵ１０３はこのレコードと特徴値を比較した際に図１０のデータベース８０１に背番号５５が存在すると判断し、撮影した画像のヘッダ部に、読み出されたレコードの選手名項目８０３に登録されたデータである「ＳＵＺＵＫＩ」を書き込む。
【００９４】
図１０のデータベース８０１には顔の特徴値は登録されていない。従ってＣＰＵ２０３は、顔パターン項目８０５に、検出した顔パターンと同じパターンは存在しないと判断し、ヘッダには何も書き込まない。
【００９５】
ステップＳ９１３では、ＣＰＵ２０３はデータベースから読み出した特徴値に一致した特徴値（以下、一致特徴値と呼ぶ）の他に、別の特徴値（以下、新規特徴値と呼ぶ）が抽出されたか否かを判断する。新規特徴値が検出されたと判断した場合には、ＣＰＵ２０３は処理をステップＳ９１４に進める。ＣＰＵ２０３は、新規特徴値が検出されなかったと判断した場合には、処理をステップＳ９０２に戻し、デジタルカメラ１０７をシャッター待機状態にする。
【００９６】
図１１に示す画像からは、顔と背番号の特徴値が抽出されている。このうち、顔の特徴値が図１０のデータベース８０１には登録されていない。従って、顔の特徴値が新規特徴値と判断される。
【００９７】
ステップＳ９１４において、ＣＰＵ２０３は検出された新規特徴値を、一致特徴値と同じレコードナンバーに登録し、シャッター待機状態に戻る。
【００９８】
すなわち、図１１に示す画像から抽出された特徴値のうち、新規特徴値である顔の特徴値が一致特徴値である背番号「５５」と同じレコードナンバーのレコードの顔パターン項目に登録される。このときのデータベースを図１３に示す。
【００９９】
以上の処理が終了すると、ＣＰＵ２０３は処理をステップＳ９０２に戻し、デジタルカメラ１０７はシャッター待機状態となる。
【０１００】
次に、過去に顔が検出され顔パターンが登録されている被写体を撮影した場合について説明する。
【０１０１】
この時点でのデータベース８０１は図１３のようになっている。本来、顔の特徴値は種々のパラメータで記述されるものだが、ここでは便宜上、顔の特徴値を「ＸＸＸ」とする。
【０１０２】
ステップＳ９０１〜ステップＳ９０５までは一枚目の撮影と同様である。ステップＳ９０４で、図１４に示す画像が撮影されたものとする。
【０１０３】
この構図では、ＣＰＵ２０３がステップＳ９０６、ステップＳ９０７の検出処理を行った結果、図１５の領域１５０１に示される顔のみが検出され、特徴値が抽出される。図１４に示す画像の構図には背番号が含まれないため、背番号は検出されない。しかしながら、顔が検出されているため、ＣＰＵ２０３は処理をステップＳ９０８からステップＳ９０９に進める。ステップＳ９０９では図１３に示すデータベース８０１が読み出される。
【０１０４】
ステップＳ９１０では、ＣＰＵ２０３は抽出した顔の特徴値と一致するデータが、図１３のデータベース８０１の顔パターン項目８０５に登録されているか検索する。
【０１０５】
一枚目の撮影時に選手名「ＳＵＺＵＫＩ」の顔の特徴値「ＸＸＸ」を登録しているため、検出した顔から抽出した特徴値と一致する特徴値「ＸＸＸ」が図１３のデータベース８０１から検索される。従ってステップＳ９１１において、ＣＰＵ２０３は抽出した顔の特徴値が図１３のデータベース８０１に登録されていると判断する。
【０１０６】
ＣＰＵ２０３は、その画像が選手名「ＳＵＺＵＫＩ」なる被写体が撮影されているものと判断し、撮影した画像のヘッダに選手名項目の値「ＳＵＺＵＫＩ」を書き込む。
【０１０７】
ステップＳ９１３では、ＣＰＵ２０３は顔パターン以外に検出された特徴値、すなわち新規特徴値はないと判断し、カメラをシャッター待機モードにする。
【０１０８】
本実施例では、各種検出を撮影後に行っているが、検出のタイミングは撮影後には限定されない。例えば、電子ビューファインダ（以下、ＥＶＦとする）を行う際に検出をしてもよい。
【０１０９】
ＥＶＦは、撮像センサ２０９に結像したディスプレイ２１１に繰り返し表示することによって、ユーザに対して撮影しようとする被写体を示す機能である。
【０１１０】
ＥＶＦ時に検出を行う場合には、ＣＰＵ２０３は撮影前に随時検出処理を行っておく。そしてシャッターボタンが押されると、ＣＰＵ２０３はその時点で検出されている顔や背番号をカメラデジタルカメラ１０７内のデータベース８０１と比較する。
【０１１１】
本実施例では、サーバから被写体に関するデータを取得することで、撮影場所、日時、イベントに応じたデータを容易に取得することができる。また、Ｗｅｂサーバから取得するデータをテキストデータとすることでデジタルカメラの通信負荷を軽減することができる。さらに、新たに抽出された被写体の特徴値を一旦他の特徴値と関連づけすれば、新規に登録した特徴値を、被写体を識別する項目として独立に用いることが可能になる。よって、被写体認識の精度が構図の影響を受けにくくなる。
【０１１２】
（実施例２）
以下、２つめの実施例について説明する。なお、実施例１と同様の部分については説明を省略し、実施例２の特徴的な部分について詳細に説明する。
【０１１３】
図１、図２のシステムやデバイスの構成については実施例１と同様であるから、説明を省略する。
【０１１４】
図１６に、本実施例におけるデジタルカメラ１０７内のデータベース１６０１を示す。本実施例では、データベース１６０１の項目に打順項目１６０２選手名項目１６０３、背番号項目１６０４、顔パターン項目１６０５、そして音声パターン項目１６０６が設定されている。
【０１１５】
放送局サーバ１１３からインターネット１１２を介して図４に示す試合情報を受信し、デジタルカメラ１０７内のデータベース１６０１に登録する点は実施例１と同様である。試合情報受信時のデータベース１６０１の内容を図１７に示す。
【０１１６】
次に図１８に示すフローチャートを用いて、本実施形態における撮像装置の動作を説明する。ここでは、カメラマン１０６が、顔の特徴値、音声の特徴値ともにデータベースに登録されていない被写体を撮影した場合について考える。
【０１１７】
ステップＳ１８０１〜ステップＳ１８０４については、実施例１と同様であるため、ここでは割愛する。
【０１１８】
本実施例の具体的な事例として、ステップＳ１８０４において図１９に示す画像が撮影されたものとする。図１９に示す画像は、被写体の背番号は確認できるが、顔は確認できない構図となっている。
【０１１９】
ステップＳ１８０４で撮影が行われると、ＣＰＵ２０３は処理をステップＳ１８０５に進める。ステップＳ１８０５では、ＣＰＵ２０３はカメラを音声録音モードにする。音声録音モードとは、シャッターが押されてから一定時間、例えば５秒間マイクロフォン２３３から入力される音声を録音するモードである。
【０１２０】
この音声録音モードとなっている一定時間中に、カメラマン１０６はマイクロフォン２３３から被写体を識別するための音声を入力することができる。例えばカメラマン１０６が、被写体の選手名が「トム」であることを認識しているとする。かかる場合には、画像を撮影した直後にマイクロフォン２３３に向かって「トム」と発声することで、「トム」という音声データが入力される。
【０１２１】
入力された音声データはＡＤコンバータ２３２を介してデジタル信号に変換された後、画像と関連付けた上で別ファイルとしてＤＲＡＭ２０６に記憶される。
【０１２２】
なお、音声データは画像と別ファイルとせず、ＣＰＵ２０３が撮影した画像と音声データをまとめて１つの画像データとして記憶してもよい。
【０１２３】
一定時間経過後、ＣＰＵ２０３は音声録音モードを停止し、処理をステップＳ１８０６に進める。
【０１２４】
ステップＳ１８０６における試合情報の書き込み、ステップＳ１８０７における顔検出、ステップＳ１８０８における背番号検出については実施例１と同様である。
【０１２５】
ステップＳ１８０９においてＣＰＵ２０３は音声認識を行う。ＣＰＵ２０３はＤＲＡＭ２０６内に記憶された音声データを、データバス２０２を介して特徴検出回路２００に転送する。特徴検出回路２００は転送された音声データに対して公知の音声認識技術を用いることにより、音声データ中における特徴的な情報を抽出する。公知の音声認識技術の例として、特開平９−１３５４１７に開示された技術がある。
【０１２６】
ＣＰＵ２０３はこの特徴的な情報を特徴値としてＤＲＡＭ２０６に記憶する。音声認識が終了すると、ＣＰＵ２０３は処理をステップＳ１８１０に進める。
【０１２７】
ステップＳ１８１０では、背番号、顔、音声のいずれかがステップＳ１８０７〜ステップＳ１８０９の処理によって検出または認識されたか否か判断する。検出または認識されたと判断した場合には、ステップＳ１８１１において、ＣＰＵ２０３は図１７のデータベース１６０１に蓄積されたレコードをレコードナンバーの若い順に１レコードずつ読み出す。
【０１２８】
以下、ステップＳ１８１１からステップＳ１８１２は、実施例１と同様の処理を行う。以下、図１９に示す画像を撮影した場合を例として具体的に説明する。
【０１２９】
図１９に示す画像からは、背番号が検出され、音声パターンが認識される。検出された背番号から抽出された文字パターンはＯＣＲ部１３６での処理によって、テキストデータ「２０」に変換される。
【０１３０】
背番号、音声が検出されているため、そこから抽出された特徴値とデータベース内の特徴値とが比較される（ステップＳ１８１０〜ステップＳ１８１２）。
【０１３１】
図１７のデータベース１６０１には背番号パターン項目「２０」が登録されている。従って、画像のヘッダ部には選手名項目の値「ＴＯＭ」が書き込まれる（ステップＳ１８１３、ステップＳ１８１４）。
【０１３２】
また、検出された音声の特徴値は未だ図１７のデータベース１６０１に未登録、つまり新規特徴値である。従って、この新規特徴値を図１７のデータベース１６０１に登録する（ステップＳ１８１５、ステップＳ１８１６）。この時点でのデータベース１６０１の内容を図２０に示す。音声データは種々のパラメータで記述されるものだが、ここでは便宜上、音声の特徴値を「ＹＹＹ」とする。
【０１３３】
次に、データベース１６０１に顔の特徴値は登録されていないが、音声の特徴値は登録されている被写体を撮影した場合の処理について説明する。
【０１３４】
撮影前のデータベースは図２０に示す状態になっている。以下、図１８のフロー図を参照しながら説明する。
【０１３５】
ステップＳ１８０４で撮影した画像を図２１に示す。また、この画像を撮影した際に、「トム」という音声が入力され、音声データとして記憶されているものとする（ステップＳ１８０５）。図２１に示す画像は、顔は確認できるが、背番号は見えない構図となっている。
【０１３６】
検出処理によって、図２１の画像からは顔が検出され、特徴値が抽出される。（ステップＳ１８０７）。また、記憶された音声データ、すなわち音声データ「トム」から、「ＹＹＹ」という特徴値が抽出される。
【０１３７】
（ステップＳ１８０９）そして、検出された特徴値と図２０のデータベース１６０１内の特徴値との比較が行われる（ステップＳ１８１０〜ステップＳ１８１２）。
【０１３８】
図２０のデータベース１６０１の音声パターン項目１６０６には、既に特徴値「ＺＺＺ」が登録されている。従って、画像のヘッダ部には選手名項目の値「ＴＯＭ」が書き込まれる（ステップＳ１８１３、ステップＳ１８１４）。
【０１３９】
また、検出された顔から抽出された特徴値は未だデータベース１６１０に未登録の新規特徴値である。従って、ＣＰＵ２０３は検出された顔から抽出された特徴値をデータベースに登録し（ステップＳ１８１５、ステップＳ１８１６）、処理をステップＳ１８０２に戻す。
【０１４０】
この時点でのデータベースの内容を図２２に示す。選手名「ＴＯＭ」について、背番号、顔、音声の特徴値１６０４〜１６０６が登録されている。顔の特徴値は便宜上「ＺＺＺ」とした。このデータベースを用いることで、カメラマン１０６は背番号、顔、音声の少なくとも１つが含まれる構図で被写体を撮影すれば、被写体が何者か認識することが可能となる。すなわち、認識の精度が構図の影響を受けにくくなる。
【０１４１】
なお、本実施例ではカメラがマイクロフォン２３３からカメラマン１０６の音声を受信していたが、本発明はこの実施例に限定されるものではない。マイクロフォン２３３が外部の音声を受信することで、スピーカ１０４から流れる場内アナウンスによりコールされる選手名を認識することも可能である。
【０１４２】
例えば「６番、トム」という場内アナウンスがコールされた場合、マイクロフォン２３３にその音声が入力され、ＣＰＵ２０３は「トム」の音声データから特徴値「ＹＹＹ」を抽出してもよい。この場合ＣＰＵ２０３は、認識して以降に撮影した画像のヘッダに「ＴＯＭ」を書き込む。そしてＣＰＵ２０３は、次のバッターの名前をコールするアナウンスを認識したら、「ＴＯＭ」の書き込みを終了し、画像のヘッダには次のバッターの名前を書き込んでいく。
【０１４３】
このような構成の場合、カメラマン１０６は音声データを自分で入力する必要がなくなるため、さらに撮影のみに集中することが可能になる。
【０１４４】
（他の実施例）
本発明の目的は前述した実施例の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を用いても達成できることは言うまでもない。この場合にはシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することで、本発明の目的は達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１４５】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。
【０１４６】
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーションシステム）などが実際の処理の一部または全部を行ってもよい。かかる処理によって前述した実施例の機能が実現される場合本発明の範囲に含まれることは言うまでもない。
【０１４７】
さらに、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニット等の機能拡張デバイスを介してプログラムを実行してもよい。この場合には、記憶媒体から読み出されたプログラムコードが、機能拡張デバイスに備わるメモリに書きこまれる。そしてプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。かかる処理によって前述した実施形態の機能が実現される場合も本発明の範囲に含まれることは言うまでもない。
【図面の簡単な説明】
【０１４８】
【図１】撮影システムの概要を示す
【図２】デジタルカメラの構成を示す
【図３】サーバからのデータ受信フローを示す。
【図４】試合情報のデータ構成を示す。
【図５】基本情報のデータ構成を示す。
【図６】進行情報のデータ構成を示す。
【図７】選手情報のデータ構成を示す。
【図８】実施例１におけるデータベースを示す。
【図９】実施例１における撮影フローを示す。
【図１０】実施例１におけるデータベースを示す。
【図１１】実施例１おける撮影画像を示す。
【図１２】実施例１における検出の様子を示す。
【図１３】実施例１におけるデータベースを示す。
【図１４】実施例１における撮影画像を示す。
【図１５】実施例１における検出の様子を示す。
【図１６】実施例２におけるデータベースを示す。
【図１７】実施例２におけるデータベースを示す。
【図１８】実施例２における撮影フローを示す。
【図１９】実施例２における撮影画像を示す。
【図２０】実施例２におけるデータベースを示す。
【図２１】実施例２における撮影画像を示す。
【図２２】実施例２におけるデータベースを示す。
【特許請求の範囲】
【請求項１】
被写体の特徴を示す第１の特徴量を記憶する記憶手段と、
撮影レンズによって結像される被写体像を光電変換して撮影画像を得る撮像手段と、
前記撮像手段により得られた撮影画像から、被写体の特徴量を抽出する抽出手段と、
前記抽出手段により、前記第１の特徴量の少なくとも１つが抽出された撮影画像から、或いは、前記第１の特徴量の少なくとも１つが抽出された撮影画像に関連付けられた他の情報から、抽出された新たな第２の特徴量を、該抽出された第１の特徴量に関連付けて前記記憶手段に記憶させる付加手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記付加手段は、前記抽出手段により、前記第１の特徴量の少なくとも１つが抽出されたときに、前記撮像手段により得られた撮影画像に前記第１の特徴量に応じた被写体に関する情報を付加することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記付加手段は、前記抽出手段により、前記記憶手段により記憶された第２の特徴量の少なくとも１つが抽出されたときに、前記第１の特徴量が抽出されなくとも、前記撮像手段により得られた撮影画像に前記第１の特徴量に応じた被写体に関する情報を付加することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記付加手段は、前記抽出手段により、前記第２の特徴量のうち少なくとも１つが抽出された撮影画像から、或いは、前記第２の特徴量の少なくとも１つが抽出された撮影画像に関連付けられた他の情報から、新たな第３の特徴量が抽出された場合に、前記第１の特徴量が抽出されなくとも、該第３の特徴量を該抽出された第１の特徴量に関連付けて前記記憶手段に記憶させることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮像手段により得られた画像から被写体の顔領域を検出する顔検出手段を備え、
前記抽出手段は、前記顔検出手段により検出された顔領域から被写体の特徴量を抽出することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記撮像手段により得られた画像から被写体の情報を示す文字パターンを検出する文字情報検出手段を備え、前記抽出手段は、前記顔検出手段により検出された文字パターンから被写体の特徴量を抽出することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記文字情報検出手段により検出された文字情報を、テキストデータに変換する変換手段を備え、
前記抽出手段は、前記変換手段により変換されたテキストデータを特徴量として抽出することを特徴とする請求項６に記載の撮像装置。
【請求項８】
音声を受信する音声受信手段を備え、
前記抽出手段は、前記音声受信手段により受信した音声から特徴量を抽出することを特徴とする請求項１乃至４記載の撮像装置。
【請求項９】
通信回線を通じて外部と通信する通信手段と、
被写体に関する情報を受信する被写体情報受信手段を備え、
前記第１の記憶手段は、前記被写体情報受信手段により受信した情報に基づき、特徴量を記憶することを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記被写体情報受信手段により受信される情報は、テキストデータであることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
撮像手段により得られた撮影画像から、被写体の特徴量を抽出する抽出工程と、
前記抽出工程により、被写体の特徴を示す第１の特徴量の少なくとも１つが抽出された撮影画像から、或いは、前記第１の特徴量の少なくとも１つが抽出された撮影画像に関連付けられた情報から、抽出された新たな第２の特徴量を、該抽出された第１の特徴量に関連付けて記憶手段に記憶させる付加工程
を備えることを特徴とする撮像方法。
【請求項１】
被写体の特徴を示す第１の特徴量を記憶する記憶手段と、
撮影レンズによって結像される被写体像を光電変換して撮影画像を得る撮像手段と、
前記撮像手段により得られた撮影画像から、被写体の特徴量を抽出する抽出手段と、
前記抽出手段により、前記第１の特徴量の少なくとも１つが抽出された撮影画像から、或いは、前記第１の特徴量の少なくとも１つが抽出された撮影画像に関連付けられた他の情報から、抽出された新たな第２の特徴量を、該抽出された第１の特徴量に関連付けて前記記憶手段に記憶させる付加手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記付加手段は、前記抽出手段により、前記第１の特徴量の少なくとも１つが抽出されたときに、前記撮像手段により得られた撮影画像に前記第１の特徴量に応じた被写体に関する情報を付加することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記付加手段は、前記抽出手段により、前記記憶手段により記憶された第２の特徴量の少なくとも１つが抽出されたときに、前記第１の特徴量が抽出されなくとも、前記撮像手段により得られた撮影画像に前記第１の特徴量に応じた被写体に関する情報を付加することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記付加手段は、前記抽出手段により、前記第２の特徴量のうち少なくとも１つが抽出された撮影画像から、或いは、前記第２の特徴量の少なくとも１つが抽出された撮影画像に関連付けられた他の情報から、新たな第３の特徴量が抽出された場合に、前記第１の特徴量が抽出されなくとも、該第３の特徴量を該抽出された第１の特徴量に関連付けて前記記憶手段に記憶させることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮像手段により得られた画像から被写体の顔領域を検出する顔検出手段を備え、
前記抽出手段は、前記顔検出手段により検出された顔領域から被写体の特徴量を抽出することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記撮像手段により得られた画像から被写体の情報を示す文字パターンを検出する文字情報検出手段を備え、前記抽出手段は、前記顔検出手段により検出された文字パターンから被写体の特徴量を抽出することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記文字情報検出手段により検出された文字情報を、テキストデータに変換する変換手段を備え、
前記抽出手段は、前記変換手段により変換されたテキストデータを特徴量として抽出することを特徴とする請求項６に記載の撮像装置。
【請求項８】
音声を受信する音声受信手段を備え、
前記抽出手段は、前記音声受信手段により受信した音声から特徴量を抽出することを特徴とする請求項１乃至４記載の撮像装置。
【請求項９】
通信回線を通じて外部と通信する通信手段と、
被写体に関する情報を受信する被写体情報受信手段を備え、
前記第１の記憶手段は、前記被写体情報受信手段により受信した情報に基づき、特徴量を記憶することを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記被写体情報受信手段により受信される情報は、テキストデータであることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
撮像手段により得られた撮影画像から、被写体の特徴量を抽出する抽出工程と、
前記抽出工程により、被写体の特徴を示す第１の特徴量の少なくとも１つが抽出された撮影画像から、或いは、前記第１の特徴量の少なくとも１つが抽出された撮影画像に関連付けられた情報から、抽出された新たな第２の特徴量を、該抽出された第１の特徴量に関連付けて記憶手段に記憶させる付加工程
を備えることを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００７−８１６８１（Ｐ２００７−８１６８１Ａ）
【公開日】平成１９年３月２９日（２００７．３．２９）
【国際特許分類】
【出願番号】特願２００５−２６５５１７（Ｐ２００５−２６５５１７）
【出願日】平成１７年９月１３日（２００５．９．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１９年３月２９日（２００７．３．２９）
【国際特許分類】
【出願日】平成１７年９月１３日（２００５．９．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]