画像処理システム、画像抽出装置および画像抽出方法
【課題】撮像前のグルーピング処理および撮像中の通信処理を要さず、複数の撮像装置で撮像された画像データに関し、相互に関連する画像データを容易に抽出できる。
【解決手段】静止画撮像装置１１０の画像選択部１９０は、第１の画像データを選択させる。時刻特定部１９２は、選択された第１の画像データが生成された時刻を特定する。動画撮像装置１２０の時刻取得部２１０は、時刻特定部に特定された時刻を示す時刻情報が付加された第１の画像データに基づく画像または画像選択装置から、時刻情報を取得する。画像保持部２０２は、第２の画像データと、第２の画像データが生成された時刻を示す時刻情報とが関連付けられて予め保持されている。画像抽出部２１２は、画像保持部から、取得された時刻情報に対応する第２の画像データを抽出する。
【解決手段】静止画撮像装置１１０の画像選択部１９０は、第１の画像データを選択させる。時刻特定部１９２は、選択された第１の画像データが生成された時刻を特定する。動画撮像装置１２０の時刻取得部２１０は、時刻特定部に特定された時刻を示す時刻情報が付加された第１の画像データに基づく画像または画像選択装置から、時刻情報を取得する。画像保持部２０２は、第２の画像データと、第２の画像データが生成された時刻を示す時刻情報とが関連付けられて予め保持されている。画像抽出部２１２は、画像保持部から、取得された時刻情報に対応する第２の画像データを抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時刻情報に基づいて画像データを抽出する画像処理システム、画像抽出装置および画像抽出方法に関する。
【背景技術】
【０００２】
例えば、運動会等において子供の両親のうちの一方が静止画撮像装置を用いて、他方が動画撮像装置を用いて、それぞれ並行して子供を撮像する場合がある。この場合、撮像した静止画を後で鑑賞しながら、鑑賞している静止画の生成時刻前後で生じたハプニング等も鑑賞すべく、静止画と同時に撮像された動画の場面を鑑賞したいといった要望がある。しかし、動画を先頭から視認しながら、所望する場面を探すのは手間がかかる。
【０００３】
そこで、無線通信等を通じて互いの時刻情報の同期を取った動画撮像装置と静止画撮像装置について、動画撮像装置が動画を撮像している間に静止画撮像装置が静止画を撮像すると、動画撮像装置が、生成した動画の、静止画を撮像した時刻に対応するフレームにマーキングや静止画の関連付けを行う技術が提案されている（特許文献1）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１９３３０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上述した特許文献１の技術を用いる場合、無線通信を通じて無関係な他の撮像装置同士で静止画と動画とが関連付けられるのを回避するため、ユーザは、撮像開始前に動画撮像装置と静止画撮像装置とで、識別子を交換する等のグルーピング処理をしておかなければならなかった。また、撮像中、常に、無線通信で相互にデータの送受信が行える状態を維持しなければならず、無線通信が困難な場所では特許文献１の技術を利用できなかった。
【０００６】
そこで本発明は、このような課題に鑑み、撮像前のグルーピング処理および撮像中の通信処理を要さず、複数の撮像装置で撮像された画像データに関し、相互に関連する画像データを容易に抽出することが可能な、画像処理システム、画像抽出装置および画像抽出方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の画像選択装置と画像抽出装置とを含む画像処理システムにおいて、前記画像選択装置は、第１の画像データをユーザに選択させる画像選択部（１９０）と、選択された前記第１の画像データが生成された時刻を特定する時刻特定部（１９２、４９２）と、を備え、前記画像抽出装置は、前記時刻特定部（１９２、４９２）が特定した前記時刻を示す時刻情報が付加された前記第１の画像データに基づく画像または前記画像選択装置から、前記時刻情報を取得する時刻取得部（２１０、４４０）と、第２の画像データと、前記第２の画像データが生成された時刻とが関連付けられて予め保持されている画像保持部（２０２）と、前記画像保持部（２０２）から、前記時刻取得部が取得した時刻情報に対応する第２の画像データを抽出する画像抽出部（２１２）と、を備えることを特徴とする。
【０００８】
上記課題を解決するために、本発明の画像抽出装置は、ユーザが選択した第１の画像データが生成された時刻を示す時刻情報が付加された前記第１の画像データに基づく画像を撮像して第２の画像データを生成する撮像部と、前記第２の画像データを解析し、前記画像に付加された前記時刻情報を取得する時刻取得部（２１０）と、第３の画像データと、前記第３の画像データが生成された時刻とが関連付けられて予め保持されている画像保持部（２０２）と、前記画像保持部（２０２）から、前記時刻取得部が取得した前記時刻情報に対応する前記第３の画像データを抽出する画像抽出部（２１２）と、を備えることを特徴とする。
【０００９】
上記課題を解決するために、本発明の他の画像抽出装置は、ユーザが選択した第１の画像データが生成された時刻を示す時刻情報を特定して提供する画像選択装置から、無線通信を通じて前記時刻情報を取得する時刻取得部（４４０）と、第２の画像データと、前記第２の画像データが生成された時刻を示す時刻情報とが関連付けられて予め保持されている画像保持部（２０２）と、前記画像保持部（２０２）から、前記時刻取得部が取得した前記時刻情報に対応する第２の画像データを抽出する画像抽出部（２１２）と、を備えることを特徴とする。
【００１０】
前記無線通信は、近距離無線通信であってもよい。
【００１１】
上記課題を解決するために、本発明の画像抽出方法は、第１の画像データと、前記第１の画像データが生成された時刻を示す時刻情報とを関連付けて予め保持し、ユーザが選択した第２の画像データが生成された時刻を示す時刻情報が付加された前記第２の画像データに基づく画像を撮像して第３の画像データを生成し、前記第３の画像データを解析し、前記画像に付加された前記時刻情報を取得し、取得した前記時刻情報に対応する前記第１の画像データを抽出することを特徴とする。
【００１２】
上記課題を解決するために、本発明の他の画像抽出方法は、第１の画像データと、前記第１の画像データが生成された時刻を示す時刻情報とを関連付けて予め保持し、ユーザが選択した第２の画像データが生成された時刻を示す時刻情報を特定して提供する画像選択装置から、無線通信を通じて前記時刻情報を取得し、取得した前記時刻情報に対応する第１の画像データを抽出することを特徴とする。
【発明の効果】
【００１３】
本発明は、複数の撮像装置で撮像された画像データに関し、相互に関連する画像データを容易に抽出可能となる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態における画像処理システムを構成する各装置の概略的な関係を示した説明図である。
【図２】第１の実施形態における静止画撮像装置の概略的な構成を示した機能ブロック図である。
【図３】第１の実施形態における動画撮像装置の概略的な構成を示した機能ブロック図である。
【図４】第１の実施形態における画像抽出方法の処理の流れを示すシーケンス図である。
【図５】現在時刻情報の同期を説明するための説明図である。
【図６】時刻情報が付加された静止画の一例を示す説明図である。
【図７】画像データのファイルのデータ構造の一例を示す説明図である。
【図８】撮像部による静止画の撮像と動画の抽出処理を説明するための説明図である。
【図９】第２の実施形態における静止画撮像装置の概略的な構成を示した機能ブロック図である。
【図１０】第２の実施形態における動画撮像装置の概略的な構成を示した機能ブロック図である。
【図１１】第２の実施形態における画像抽出方法の処理の流れを示すシーケンス図である。
【図１２】静止画撮像装置と動画撮像装置の位置関係を説明するための説明図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１６】
（第１の実施形態：画像処理システム１００）
図１は、第１の実施形態における画像処理システム１００を構成する各装置の概略的な関係を示した説明図である。画像処理システム１００は、静止画撮像装置１１０と、動画撮像装置１２０とを含んで構成される。図１において破線矢印は光軸を示す。
【００１７】
静止画撮像装置１１０は、画像選択装置として機能し、被写体を撮像して例えば静止画の画像データを生成し記憶する。また、動画撮像装置１２０は、画像抽出装置として機能し、被写体を撮像して例えば動画の画像データを生成して記憶する。
【００１８】
本実施形態において、画像選択装置として静止画撮像装置１１０を、画像抽出装置として動画撮像装置１２０を例に挙げて説明するが、画像選択装置が動画を撮像し、画像抽出装置が静止画を撮像してもよいし、画像選択装置および画像抽出装置のいずれも、静止画または動画を撮像してもよい。また、静止画撮像装置１１０および動画撮像装置１２０には、撮像部を備える、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話、ＰＨＳ（Personal Handyphone System）、およびＰＤＡ（Personal Digital Assistant）等の電子機器を採用することができる。
【００１９】
本実施形態の画像処理システム１００では、例えば、静止画撮像装置１１０で撮像した静止画を鑑賞しながら、鑑賞している静止画と同時に（並行して）動画撮像装置１２０で撮像した動画の場面を鑑賞しようとする場合、ユーザは、容易に所望する動画の場面を抽出することが可能となる。以下、このような静止画撮像装置１１０および動画撮像装置１２０について説明する。
【００２０】
（静止画撮像装置１１０）
図２は、第１の実施形態における静止画撮像装置１１０の概略的な構成を示した機能ブロック図である。図中、実線矢印はデータの流れを、破線矢印は制御信号の流れを示す。静止画撮像装置１１０は、操作部１４０と、撮像部１４２と、データ処理部１４４と、バッファ部１４６と、表示部１４８と、圧縮伸長部１５０と、画像保持部１５２と、画像出力部１５４と、無線通信部１５６と、中央制御部１５８とを含んで構成される。
【００２１】
操作部１４０は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック等で構成され、ユーザの操作入力を受け付ける。また、後述する表示部１４８の表示面にタッチパネルを配し、操作部１４０としてもよい。
【００２２】
撮像部１４２は、撮像レンズ１７０と、画角変更に用いられるズームレンズ１７２、焦点調整に用いられるフォーカスレンズ１７４と、露光調整に用いられるアイリス（絞り）１７６と、撮像レンズ１７０を通じて入射した光束を画像データに光電変換する撮像素子１７８と、中央制御部１５８の制御信号に応じて、ズームレンズ１７２、フォーカスレンズ１７４、およびアイリス１７６をそれぞれ駆動させる駆動部１８０とを含んで構成され、被写体を撮像して静止画の画像データを生成してデータ処理部１４４に出力する。
【００２３】
データ処理部１４４は、撮像部１４２から出力された画像データに所定の処理を施し、処理後の画像データをバッファ部１４６に出力する。バッファ部１４６は、ＳＲＡＭ（Static Random Access Memory）等で構成される。表示部１４８は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成される。
【００２４】
圧縮伸長部１５０は、バッファ部１４６に保持された画像データを所定の符号化方式で符号化し符号データを生成する。また、圧縮伸長部１５０は、画像保持部１５２から読み取った符号データを復号して画像データを生成し、バッファ部１４６に出力する。
【００２５】
画像保持部１５２は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され符号データを保持する。画像出力部１５４は、バッファ部１４６に保持された画像データを外部装置に出力する。無線通信部１５６は、動画撮像装置１２０と無線通信を行う。
【００２６】
中央制御部１５８は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、静止画撮像装置１１０全体を管理および制御する。また、中央制御部１５８は、画像選択部１９０、時刻特定部１９２として機能する。
【００２７】
画像選択部１９０は、画像保持部１５２に記憶された符号データに基づく画像を表示部１４８にサムネイル表示させ、その中からユーザに符号データ（第１の画像データ）を選択させる。
【００２８】
時刻特定部１９２は、画像選択部１９０を通じてユーザに選択された符号データ（第１の画像データ）が生成された時刻を、例えば、画像データのファイル情報を参照して特定する。そして、時刻特定部１９２は、画像データに、生成された時刻を示す時刻情報を付加する。本実施形態において、時刻特定部１９２は、予め、ユーザに選択される前の画像データが生成された時点で、画像データに、例えば、時刻情報を示す文字を、視認可能に重畳したり電子すかしで視認不可能な状態で付加したりしておく。
【００２９】
（動画撮像装置１２０）
図３は、第１の実施形態における動画撮像装置１２０の概略的な構成を示した機能ブロック図である。図中、実線矢印はデータの流れを、破線矢印は制御信号の流れを示す。動画撮像装置１２０は、操作部１４０と、撮像部２００と、データ処理部１４４と、バッファ部１４６と、表示部１４８と、圧縮伸長部１５０と、画像保持部２０２と、画像出力部１５４と、無線通信部２０４と、中央制御部２０６とを含んで構成される。動画撮像装置１２０における構成要素で静止画撮像装置１１０と実質的に等しい機能部は、静止画撮像装置１１０と同一の符号を付して詳細な説明は省略する。
【００３０】
撮像部２００は、静止画撮像装置１１０の撮像部１４２と同様、撮像レンズ１７０、ズームレンズ１７２、フォーカスレンズ１７４、アイリス１７６、撮像素子１７８、および駆動部１８０を含んで構成され、静止画撮像装置１１０における撮像時と同時刻の撮像において被写体を撮像して動画の画像データ（第２の画像データ）を生成してデータ処理部１４４に出力する。また、撮像部２００は、撮像後の鑑賞時において、ユーザが選択した画像データが生成された時刻が付加された画像データに基づく画像を撮像して、静止画の画像データ（第３の画像データ）を生成する。
【００３１】
画像保持部２０２は、ＥＥＰＲＯＭ、フラッシュメモリ、ＨＤＤ等で構成され、データ処理部１４４が第２の画像データを符号化した符号データと、符号データが生成された時刻を示す時刻情報とを関連付けて保持する。無線通信部２０４は、静止画撮像装置１１０の無線通信部１５６と無線通信を行う。
【００３２】
中央制御部２０６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、動画撮像装置１２０全体を管理および制御する。また、中央制御部２０６は、時刻取得部２１０、画像抽出部２１２として機能する。
【００３３】
時刻取得部２１０は、撮像後の鑑賞時において、撮像部２００が生成した静止画の画像データを解析し、ユーザが選択した静止画の画像データに基づく画像に付加された時刻情報を取得する。画像抽出部２１２は、画像保持部２０２から、取得された時刻情報に対応する動画の画像データを抽出する。
【００３４】
（画像抽出方法）
続いて、上述した静止画撮像装置１１０および動画撮像装置１２０を用いた画像抽出処理について説明する。図４は、第１の実施形態における画像抽出方法の処理の流れを示すシーケンス図である。
【００３５】
（撮像前における時刻同期処理Ｓ３００）
撮像を開始する前段階で、静止画撮像装置１１０と動画撮像装置１２０は、ユーザの操作入力に応じて、それぞれの無線通信部１５６、２０４を介し、いずれか一方に設定されている現在時刻情報に合わせて他方の現在時刻情報を調整する同期処理を予め行っておく。また、静止画撮像装置１１０と動画撮像装置１２０との両方を他の例えば標準時刻に合わせることでも同期させることができる。
【００３６】
図５は、現在時刻情報の同期を説明するための説明図である。図５に示すように、静止画撮像装置１１０の現在時刻情報が「2010/01/01 00:00:00」、動画撮像装置１２０の現在時刻情報が「2009/12/31 23:59:59」である場合、例えば、動画撮像装置１２０の現在時刻情報を静止画撮像装置１１０の現在時刻情報に同期させる。画像処理システム１００では、このように撮像前に同期処理を行うことで静止画と動画を時刻情報という観点で関連付けることができる。かかる同期処理は、撮像前に一度行われればよい。
【００３７】
（撮像処理Ｓ３０２）
撮像時、静止画撮像装置１１０において、撮像部１４２は、被写体を撮像して画像データを生成してデータ処理部１４４に出力する。データ処理部１４４は、撮像部１４２から出力された画像データに、ホワイトバランス調節、ノイズ軽減処理、レベル補正処理、Ａ／Ｄ変換処理および色彩補正処理（ガンマ補正処理、ニー処理）等の所定の処理を施し、処理後の画像データをバッファ部１４６に出力する。
【００３８】
（時刻情報付加処理Ｓ３０４）
そして、時刻特定部１９２は、バッファ部１４６に出力された画像データに、画像データが生成された時刻を示す時刻情報を付加する。
【００３９】
図６は、時刻情報が付加された静止画の一例を示す説明図である。本実施形態において、時刻特定部１９２は、ユーザに選択される前の画像データが生成された時点で、画像データに、例えば、時刻情報を示す文字を、図６（ａ）に示す画像２６０のように例えば右下に視認可能に重畳したり、図６（ｂ）に示す画像２６２のように電子すかしで視認不可能な状態で付加したりする。
【００４０】
（符号化処理Ｓ３０６）
静止画撮像装置１１０の圧縮伸長部１５０は、データ処理部１４４から出力されバッファ部１４６に保持された画像データを、所定の符号化方式で符号化し、符号データを生成する。ここで、静止画撮像装置１１０の圧縮伸長部１５０は、静止画の符号化方式であるＪＰＥＧ（Joint Photographic Experts Group）等を用いる。
【００４１】
（記憶処理Ｓ３０８）
そして、静止画撮像装置１１０の圧縮伸長部１５０は、符号データを画像保持部１５２に出力し、画像保持部１５２は、符号データと時刻情報とを関連付けて保持する。
【００４２】
図７は、画像データのファイルのデータ構造の一例を示す説明図である。図７に示すように、画像保持部１５２に保持される画像データのファイルは、少なくとも、ファイル名、時刻情報、時刻情報が付加された画像データを含んで構成される。
【００４３】
（画像データ特定処理Ｓ３１０）
撮像後、ユーザが撮像した静止画を鑑賞する際、画像選択部１９０は、画像保持部１５２に記憶された符号データに基づく画像を表示部１４８にサムネイル表示させ、その中からユーザに画像データを選択させる。
【００４４】
（撮像処理Ｓ３５０）
一方、撮像時、動画撮像装置１２０において、撮像部２００は、被写体を撮像し画像データを生成してデータ処理部１４４に出力する。データ処理部１４４は、撮像部１４２から出力された画像データに所定の処理を施し、処理後の画像データをバッファ部１４６に出力する。
【００４５】
（符号化処理Ｓ３５２）
動画撮像装置１２０の圧縮伸長部１５０は、データ処理部１４４から出力されバッファ部１４６に保持された画像データを、所定の符号化方式で符号化し、符号データを生成する。ここで、動画撮像装置１２０の圧縮伸長部１５０は、動画の圧縮方式であるＭ−ＪＰＥＧ（Motion-JPEG）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４等を用いる。
【００４６】
（記憶処理Ｓ３５４）
そして、動画撮像装置１２０の圧縮伸長部１５０は、符号データを画像保持部２０２に出力し、画像保持部２０２は、符号データと時刻情報とを関連付けて保持する。
【００４７】
（画像データ生成処理Ｓ３５６）
動画撮像装置１２０の撮像部２００は、ユーザが選択した画像データが生成された時刻が付加された画像データに基づく画像を撮像して、静止画の画像データを生成する。ここで、撮像部２００が撮像する画像は、例えば、静止画撮像装置１１０の表示部１４８に表示されていたり、プリンタで印刷された写真であったりする。
【００４８】
図８は、撮像部２００による静止画の撮像と動画の抽出処理を説明するための説明図である。例えば、静止画として写真２７０を例に挙げると、写真２７０と動画撮像装置１２０とは、図８（ａ）に示す位置関係となる。そして、図８（ｂ）のように、動画撮像装置１２０の表示部１４８は撮像中の写真２７０を表示する。ここでは、写真２７０に時刻情報「2010/01/01 00:00:00」の文字が電子すかしで重畳されているものとする。
【００４９】
（時刻情報取得処理Ｓ３５８）
動画撮像装置１２０の時刻取得部２１０は、撮像部２００が生成した静止画の画像データを例えば文字認識処理によって解析し、ユーザが選択した静止画の画像データに基づく画像に付加された時刻情報を取得する。
【００５０】
（時刻情報表示処理Ｓ３６０）
そして、時刻取得部２１０は、図８（ｃ）に示すように、取得した時刻情報を表示部１４８に表示している静止画に重畳して表示し、時刻情報を取得できたことをユーザに報知する。また、時刻取得部２１０は、時刻情報を取得できなかった場合には、その旨、表示部１４８に表示してユーザに報知する。
【００５１】
（画像データ抽出処理Ｓ３６２および動画表示処理Ｓ３６４）
動画撮像装置１２０の画像抽出部２１２は、画像保持部２０２から、取得された時刻情報「2010/01/01 00:00:00」に対応する動画の画像データを抽出する。そして、図８（ｄ）に示すように、画像抽出部２１２は、表示部１４８に抽出した画像データに基づく動画を表示させる。また、時刻情報に対応する動画の画像データがない場合、その旨、画像データに表示してユーザに報知する。
【００５２】
上述したように、本実施形態では、例えば、画像選択装置として、静止画撮像装置１１０を用い、画像抽出装置として動画撮像装置１２０を用い、運動会等で同一の、例えば子供を被写体として、静止画撮像装置１１０と動画撮像装置１２０それぞれで撮像し、事後的に静止画を鑑賞しながら、鑑賞している静止画と同時に（並行して）撮像された動画の場面を鑑賞する。
【００５３】
この場合、ユーザが、静止画撮像装置１１０で鑑賞している静止画を選択すると、その静止画に生成された時刻が付加されて、表示やプリントが為される。この静止画を動画撮像装置１２０で撮像すると、動画撮像装置１２０は、選択された画像データに基づく画像であると識別し、画像解析によって時刻情報を取得し、関連する動画の場面を頭出しする。そのため、静止画撮像装置１１０と動画撮像装置１２０とは、時刻さえ事前に同期が取れていれば、何ら事前のグルーピング等の処理を行う必要がなく、また、撮像中、両者が随時通信を行う必要もない。
【００５４】
このように、動画撮像装置１２０は、静止画の画像データが生成された時刻に対応する、動画の画像データを抽出できるため、ユーザは所望する場面を容易に頭出しして鑑賞することが可能となる。
【００５５】
以上、説明したように、本実施形態の画像処理システム１００によれば、静止画撮像装置１１０で選択された画像データが生成された時刻に基づいて、動画撮像装置１２０に保持された画像データから、関連する画像データを抽出するので、ユーザは所望する画像データを容易に取得することが可能となる。
【００５６】
（第２の実施形態）
上述した第１の実施形態において、静止画撮像装置１１０は、静止画に時刻情報を付加し、動画撮像装置１２０は、この静止画を撮像することで時刻情報を取得し、対応する動画の画像データを抽出していた。第２の実施形態では、静止画を介さずとも、所望する動画の画像データを抽出することが可能な静止画撮像装置４１０および動画撮像装置４２０について説明する。
【００５７】
（静止画撮像装置４１０）
図９は、第２の実施形態における静止画撮像装置４１０の概略的な構成を示した機能ブロック図である。図中、実線矢印はデータの流れを、破線矢印は制御信号の流れを示す。静止画撮像装置４１０は、操作部１４０と、撮像部１４２と、データ処理部１４４と、バッファ部１４６と、表示部１４８と、圧縮伸長部１５０と、画像保持部１５２と、画像出力部１５４と、無線通信部１５６と、中央制御部１５８とを含んで構成される。また、中央制御部１５８は、画像選択部１９０、時刻特定部４９２として機能する。第１の実施形態における構成要素として既に述べた、操作部１４０、撮像部１４２、データ処理部１４４、バッファ部１４６、表示部１４８、圧縮伸長部１５０、画像保持部１５２、画像出力部１５４、無線通信部１５６、中央制御部１５８、画像選択部１９０は実質的に機能が等しいので重複説明を省略する。構成が相違する時刻特定部４９２は、ユーザに選択された符号データ（第１の画像データ）が生成された時刻を示す時刻情報を、無線通信部１５６による無線通信を介して、動画撮像装置４２０に出力する。
【００５８】
（動画撮像装置４２０）
図１０は、第２の実施形態における動画撮像装置４２０の概略的な構成を示した機能ブロック図である。図中、実線矢印はデータの流れを、破線矢印は制御信号の流れを示す。動画撮像装置４２０は、操作部１４０と、撮像部２００と、データ処理部１４４と、バッファ部１４６と、表示部１４８と、圧縮伸長部１５０と、画像保持部２０２と、画像出力部１５４と、無線通信部２０４と、中央制御部２０６とを含んで構成される。また、中央制御部２０６は、時刻取得部４４０、画像抽出部２１２として機能する。第１の実施形態における構成要素として既に述べた、操作部１４０、撮像部２００、データ処理部１４４、バッファ部１４６、表示部１４８、圧縮伸長部１５０、画像保持部２０２、画像出力部１５４、無線通信部２０４、中央制御部２０６、画像抽出部２１２は実質的に機能が等しいので重複説明を省略する。構成が相違する時刻取得部４４０は、静止画撮像装置４１０から、無線通信部２０４による無線通信を通じて時刻情報を取得する。
【００５９】
（画像抽出方法）
続いて、上述した静止画撮像装置４１０および動画撮像装置４２０を用いた画像抽出処理について説明する。図１１は、第２の実施形態における画像抽出方法の処理の流れを示すシーケンス図である。同期処理ステップＳ３００から画像データ特定処理ステップＳ３１０までの処理は、第１の実施形態で説明した図４のシーケンス図と実質的に等しいので説明を省略する。
【００６０】
（時刻情報出力処理Ｓ５００）
画像データ特定処理ステップＳ３１０の後、時刻特定部４９２は、ユーザに選択された符号データ（第１の画像データ）が生成された時刻を示す時刻情報を、無線通信部１５６による無線通信を介して、動画撮像装置４２０に出力する。ここで、時刻特定部４９２は、ユーザが複数の符号データを選択した場合、選択された符号データそれぞれについて時刻情報を動画撮像装置４２０に出力する。ここで、時刻情報は、ユーザが符号データを選択した状態によって特定される。
【００６１】
（時刻情報取得処理Ｓ５０２）
動画撮像装置４２０の時刻取得部４４０は、静止画撮像装置４１０から、無線通信部２０４による無線通信を通じて時刻情報を取得する。以下、時刻情報表示処理ステップＳ３６０から動画表示処理ステップＳ３６４までの処理は、第１の実施形態で説明した図４のシーケンス図と実質的に等しいので説明を省略する。
【００６２】
例えば、ユーザが、動画撮像装置４２０を、時刻情報の受信の待機状態としておく。そして、ユーザが、静止画撮像装置４１０で画像データを選択し、無線通信で時刻情報を送信すると、動画撮像装置４２０が時刻情報を受信する。動画撮像装置４２０は、実際に画像をプリントアウトしたり、表示部１４８に表示した画像を撮像したりすることなく、簡易な操作で時刻情報を受信することが可能となる。
【００６３】
本実施形態の静止画撮像装置４１０および動画撮像装置４２０は、静止画や動画の撮像時に通信環境が悪く無線通信できない場合であっても、撮像後の鑑賞時において、静止画や動画の鑑賞時に無線通信することができればよい。
【００６４】
また、無線通信は、近距離無線通信であってもよい。かかる構成により、互いに近距離にある静止画撮像装置４１０と動画撮像装置４２０の無線通信に限定され、無関係な他の撮像装置の静止画と当該動画とが関連付けられるのを回避することが可能となる。また、近距離無線通信は、１ｍ以内といった非常に短距離でしか無線通信を行えないので、目視できる範囲で、その通信状態を確認でき、秘匿性を高めることが可能となる。
【００６５】
さらに、無線通信部１５６、２０４は、例えば、無線通信が可能となる静止画撮像装置４１０、動画撮像装置４２０の向き（位置関係）を限定してもよい。
【００６６】
図１２は、静止画撮像装置４１０と動画撮像装置４２０の位置関係を説明するための説明図である。静止画撮像装置４１０と動画撮像装置４２０は、例えば、図１２に示すように、動画撮像装置４２０が静止画撮像装置４１０の表示部１４８を撮像する位置関係となると、指向性のアンテナを通じて無線通信が可能となるとしてもよい。このように、無線通信が可能となる静止画撮像装置４１０、動画撮像装置４２０の向きを限定することで、無関係な他の撮像装置との無線通信を回避できる。
【００６７】
また、動画撮像装置は、第１の実施形態で説明したように、静止画撮像装置の表示部１４８に表示された画像データに付加された時刻情報を取得できるものとする。かつ、画像データから時刻情報が取得できなかった場合に限り、第２の実施形態で説明したように、無線通信によっても時刻情報を取得できるものとしてもよい。かかる構成により、ユーザは、静止画撮像装置の表示部１４８が表示する画像に時刻情報が付加されているか否かに関わらず、同じ操作手順で動画撮像装置に動画の抽出をさせることが可能となる。
【００６８】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００６９】
上述した実施形態では、静止画撮像装置１１０、４１０および動画撮像装置１２０、４２０は、画像データを画像保持部１５２、２０２に保持したが、例えば、装置外部の、記憶装置、記憶媒体、およびネットワーク上の記憶装置に保持してもよい。
【００７０】
また、１つの画像選択装置において選択された１つの静止画の画像データから、１つの画像抽出装置において１つの動画の画像データを抽出する例を説明した。しかし、画像データは静止画または動画に限定されず、ユーザが選択する画像データおよび抽出される画像データは１または複数であってよいし、画像データの選択や抽出に用いる装置（画像選択装置や画像抽出装置）は１または複数であってもよい。
【００７１】
さらに、静止画撮像装置１１０は、画像データに時刻情報以外に、例えば、静止画撮像装置１１０と動画撮像装置１２０の位置関係を示す情報、音声情報、予め設定されたグループを特定する情報、静止画撮像装置１１０や動画撮像装置１２０を特定する機器番号等を付加してもよい。
【００７２】
なお、本明細書の画像抽出方法における各工程は、必ずしもシーケンス図として記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００７３】
本発明は、時刻情報に基づいて画像データを抽出することが可能な画像処理システム、画像抽出装置および画像抽出方法に利用することができる。
【符号の説明】
【００７４】
１１０、４１０ …静止画撮像装置
１２０、４２０ …動画撮像装置
１９０ …画像選択部
１９２、４９２ …時刻特定部
１４２、２００ …撮像部
１５２、２０２ …画像保持部
２１０、４４０ …時刻取得部
２１２ …画像抽出部
【技術分野】
【０００１】
本発明は、時刻情報に基づいて画像データを抽出する画像処理システム、画像抽出装置および画像抽出方法に関する。
【背景技術】
【０００２】
例えば、運動会等において子供の両親のうちの一方が静止画撮像装置を用いて、他方が動画撮像装置を用いて、それぞれ並行して子供を撮像する場合がある。この場合、撮像した静止画を後で鑑賞しながら、鑑賞している静止画の生成時刻前後で生じたハプニング等も鑑賞すべく、静止画と同時に撮像された動画の場面を鑑賞したいといった要望がある。しかし、動画を先頭から視認しながら、所望する場面を探すのは手間がかかる。
【０００３】
そこで、無線通信等を通じて互いの時刻情報の同期を取った動画撮像装置と静止画撮像装置について、動画撮像装置が動画を撮像している間に静止画撮像装置が静止画を撮像すると、動画撮像装置が、生成した動画の、静止画を撮像した時刻に対応するフレームにマーキングや静止画の関連付けを行う技術が提案されている（特許文献1）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１９３３０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上述した特許文献１の技術を用いる場合、無線通信を通じて無関係な他の撮像装置同士で静止画と動画とが関連付けられるのを回避するため、ユーザは、撮像開始前に動画撮像装置と静止画撮像装置とで、識別子を交換する等のグルーピング処理をしておかなければならなかった。また、撮像中、常に、無線通信で相互にデータの送受信が行える状態を維持しなければならず、無線通信が困難な場所では特許文献１の技術を利用できなかった。
【０００６】
そこで本発明は、このような課題に鑑み、撮像前のグルーピング処理および撮像中の通信処理を要さず、複数の撮像装置で撮像された画像データに関し、相互に関連する画像データを容易に抽出することが可能な、画像処理システム、画像抽出装置および画像抽出方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の画像選択装置と画像抽出装置とを含む画像処理システムにおいて、前記画像選択装置は、第１の画像データをユーザに選択させる画像選択部（１９０）と、選択された前記第１の画像データが生成された時刻を特定する時刻特定部（１９２、４９２）と、を備え、前記画像抽出装置は、前記時刻特定部（１９２、４９２）が特定した前記時刻を示す時刻情報が付加された前記第１の画像データに基づく画像または前記画像選択装置から、前記時刻情報を取得する時刻取得部（２１０、４４０）と、第２の画像データと、前記第２の画像データが生成された時刻とが関連付けられて予め保持されている画像保持部（２０２）と、前記画像保持部（２０２）から、前記時刻取得部が取得した時刻情報に対応する第２の画像データを抽出する画像抽出部（２１２）と、を備えることを特徴とする。
【０００８】
上記課題を解決するために、本発明の画像抽出装置は、ユーザが選択した第１の画像データが生成された時刻を示す時刻情報が付加された前記第１の画像データに基づく画像を撮像して第２の画像データを生成する撮像部と、前記第２の画像データを解析し、前記画像に付加された前記時刻情報を取得する時刻取得部（２１０）と、第３の画像データと、前記第３の画像データが生成された時刻とが関連付けられて予め保持されている画像保持部（２０２）と、前記画像保持部（２０２）から、前記時刻取得部が取得した前記時刻情報に対応する前記第３の画像データを抽出する画像抽出部（２１２）と、を備えることを特徴とする。
【０００９】
上記課題を解決するために、本発明の他の画像抽出装置は、ユーザが選択した第１の画像データが生成された時刻を示す時刻情報を特定して提供する画像選択装置から、無線通信を通じて前記時刻情報を取得する時刻取得部（４４０）と、第２の画像データと、前記第２の画像データが生成された時刻を示す時刻情報とが関連付けられて予め保持されている画像保持部（２０２）と、前記画像保持部（２０２）から、前記時刻取得部が取得した前記時刻情報に対応する第２の画像データを抽出する画像抽出部（２１２）と、を備えることを特徴とする。
【００１０】
前記無線通信は、近距離無線通信であってもよい。
【００１１】
上記課題を解決するために、本発明の画像抽出方法は、第１の画像データと、前記第１の画像データが生成された時刻を示す時刻情報とを関連付けて予め保持し、ユーザが選択した第２の画像データが生成された時刻を示す時刻情報が付加された前記第２の画像データに基づく画像を撮像して第３の画像データを生成し、前記第３の画像データを解析し、前記画像に付加された前記時刻情報を取得し、取得した前記時刻情報に対応する前記第１の画像データを抽出することを特徴とする。
【００１２】
上記課題を解決するために、本発明の他の画像抽出方法は、第１の画像データと、前記第１の画像データが生成された時刻を示す時刻情報とを関連付けて予め保持し、ユーザが選択した第２の画像データが生成された時刻を示す時刻情報を特定して提供する画像選択装置から、無線通信を通じて前記時刻情報を取得し、取得した前記時刻情報に対応する第１の画像データを抽出することを特徴とする。
【発明の効果】
【００１３】
本発明は、複数の撮像装置で撮像された画像データに関し、相互に関連する画像データを容易に抽出可能となる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態における画像処理システムを構成する各装置の概略的な関係を示した説明図である。
【図２】第１の実施形態における静止画撮像装置の概略的な構成を示した機能ブロック図である。
【図３】第１の実施形態における動画撮像装置の概略的な構成を示した機能ブロック図である。
【図４】第１の実施形態における画像抽出方法の処理の流れを示すシーケンス図である。
【図５】現在時刻情報の同期を説明するための説明図である。
【図６】時刻情報が付加された静止画の一例を示す説明図である。
【図７】画像データのファイルのデータ構造の一例を示す説明図である。
【図８】撮像部による静止画の撮像と動画の抽出処理を説明するための説明図である。
【図９】第２の実施形態における静止画撮像装置の概略的な構成を示した機能ブロック図である。
【図１０】第２の実施形態における動画撮像装置の概略的な構成を示した機能ブロック図である。
【図１１】第２の実施形態における画像抽出方法の処理の流れを示すシーケンス図である。
【図１２】静止画撮像装置と動画撮像装置の位置関係を説明するための説明図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１６】
（第１の実施形態：画像処理システム１００）
図１は、第１の実施形態における画像処理システム１００を構成する各装置の概略的な関係を示した説明図である。画像処理システム１００は、静止画撮像装置１１０と、動画撮像装置１２０とを含んで構成される。図１において破線矢印は光軸を示す。
【００１７】
静止画撮像装置１１０は、画像選択装置として機能し、被写体を撮像して例えば静止画の画像データを生成し記憶する。また、動画撮像装置１２０は、画像抽出装置として機能し、被写体を撮像して例えば動画の画像データを生成して記憶する。
【００１８】
本実施形態において、画像選択装置として静止画撮像装置１１０を、画像抽出装置として動画撮像装置１２０を例に挙げて説明するが、画像選択装置が動画を撮像し、画像抽出装置が静止画を撮像してもよいし、画像選択装置および画像抽出装置のいずれも、静止画または動画を撮像してもよい。また、静止画撮像装置１１０および動画撮像装置１２０には、撮像部を備える、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話、ＰＨＳ（Personal Handyphone System）、およびＰＤＡ（Personal Digital Assistant）等の電子機器を採用することができる。
【００１９】
本実施形態の画像処理システム１００では、例えば、静止画撮像装置１１０で撮像した静止画を鑑賞しながら、鑑賞している静止画と同時に（並行して）動画撮像装置１２０で撮像した動画の場面を鑑賞しようとする場合、ユーザは、容易に所望する動画の場面を抽出することが可能となる。以下、このような静止画撮像装置１１０および動画撮像装置１２０について説明する。
【００２０】
（静止画撮像装置１１０）
図２は、第１の実施形態における静止画撮像装置１１０の概略的な構成を示した機能ブロック図である。図中、実線矢印はデータの流れを、破線矢印は制御信号の流れを示す。静止画撮像装置１１０は、操作部１４０と、撮像部１４２と、データ処理部１４４と、バッファ部１４６と、表示部１４８と、圧縮伸長部１５０と、画像保持部１５２と、画像出力部１５４と、無線通信部１５６と、中央制御部１５８とを含んで構成される。
【００２１】
操作部１４０は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック等で構成され、ユーザの操作入力を受け付ける。また、後述する表示部１４８の表示面にタッチパネルを配し、操作部１４０としてもよい。
【００２２】
撮像部１４２は、撮像レンズ１７０と、画角変更に用いられるズームレンズ１７２、焦点調整に用いられるフォーカスレンズ１７４と、露光調整に用いられるアイリス（絞り）１７６と、撮像レンズ１７０を通じて入射した光束を画像データに光電変換する撮像素子１７８と、中央制御部１５８の制御信号に応じて、ズームレンズ１７２、フォーカスレンズ１７４、およびアイリス１７６をそれぞれ駆動させる駆動部１８０とを含んで構成され、被写体を撮像して静止画の画像データを生成してデータ処理部１４４に出力する。
【００２３】
データ処理部１４４は、撮像部１４２から出力された画像データに所定の処理を施し、処理後の画像データをバッファ部１４６に出力する。バッファ部１４６は、ＳＲＡＭ（Static Random Access Memory）等で構成される。表示部１４８は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成される。
【００２４】
圧縮伸長部１５０は、バッファ部１４６に保持された画像データを所定の符号化方式で符号化し符号データを生成する。また、圧縮伸長部１５０は、画像保持部１５２から読み取った符号データを復号して画像データを生成し、バッファ部１４６に出力する。
【００２５】
画像保持部１５２は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され符号データを保持する。画像出力部１５４は、バッファ部１４６に保持された画像データを外部装置に出力する。無線通信部１５６は、動画撮像装置１２０と無線通信を行う。
【００２６】
中央制御部１５８は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、静止画撮像装置１１０全体を管理および制御する。また、中央制御部１５８は、画像選択部１９０、時刻特定部１９２として機能する。
【００２７】
画像選択部１９０は、画像保持部１５２に記憶された符号データに基づく画像を表示部１４８にサムネイル表示させ、その中からユーザに符号データ（第１の画像データ）を選択させる。
【００２８】
時刻特定部１９２は、画像選択部１９０を通じてユーザに選択された符号データ（第１の画像データ）が生成された時刻を、例えば、画像データのファイル情報を参照して特定する。そして、時刻特定部１９２は、画像データに、生成された時刻を示す時刻情報を付加する。本実施形態において、時刻特定部１９２は、予め、ユーザに選択される前の画像データが生成された時点で、画像データに、例えば、時刻情報を示す文字を、視認可能に重畳したり電子すかしで視認不可能な状態で付加したりしておく。
【００２９】
（動画撮像装置１２０）
図３は、第１の実施形態における動画撮像装置１２０の概略的な構成を示した機能ブロック図である。図中、実線矢印はデータの流れを、破線矢印は制御信号の流れを示す。動画撮像装置１２０は、操作部１４０と、撮像部２００と、データ処理部１４４と、バッファ部１４６と、表示部１４８と、圧縮伸長部１５０と、画像保持部２０２と、画像出力部１５４と、無線通信部２０４と、中央制御部２０６とを含んで構成される。動画撮像装置１２０における構成要素で静止画撮像装置１１０と実質的に等しい機能部は、静止画撮像装置１１０と同一の符号を付して詳細な説明は省略する。
【００３０】
撮像部２００は、静止画撮像装置１１０の撮像部１４２と同様、撮像レンズ１７０、ズームレンズ１７２、フォーカスレンズ１７４、アイリス１７６、撮像素子１７８、および駆動部１８０を含んで構成され、静止画撮像装置１１０における撮像時と同時刻の撮像において被写体を撮像して動画の画像データ（第２の画像データ）を生成してデータ処理部１４４に出力する。また、撮像部２００は、撮像後の鑑賞時において、ユーザが選択した画像データが生成された時刻が付加された画像データに基づく画像を撮像して、静止画の画像データ（第３の画像データ）を生成する。
【００３１】
画像保持部２０２は、ＥＥＰＲＯＭ、フラッシュメモリ、ＨＤＤ等で構成され、データ処理部１４４が第２の画像データを符号化した符号データと、符号データが生成された時刻を示す時刻情報とを関連付けて保持する。無線通信部２０４は、静止画撮像装置１１０の無線通信部１５６と無線通信を行う。
【００３２】
中央制御部２０６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、動画撮像装置１２０全体を管理および制御する。また、中央制御部２０６は、時刻取得部２１０、画像抽出部２１２として機能する。
【００３３】
時刻取得部２１０は、撮像後の鑑賞時において、撮像部２００が生成した静止画の画像データを解析し、ユーザが選択した静止画の画像データに基づく画像に付加された時刻情報を取得する。画像抽出部２１２は、画像保持部２０２から、取得された時刻情報に対応する動画の画像データを抽出する。
【００３４】
（画像抽出方法）
続いて、上述した静止画撮像装置１１０および動画撮像装置１２０を用いた画像抽出処理について説明する。図４は、第１の実施形態における画像抽出方法の処理の流れを示すシーケンス図である。
【００３５】
（撮像前における時刻同期処理Ｓ３００）
撮像を開始する前段階で、静止画撮像装置１１０と動画撮像装置１２０は、ユーザの操作入力に応じて、それぞれの無線通信部１５６、２０４を介し、いずれか一方に設定されている現在時刻情報に合わせて他方の現在時刻情報を調整する同期処理を予め行っておく。また、静止画撮像装置１１０と動画撮像装置１２０との両方を他の例えば標準時刻に合わせることでも同期させることができる。
【００３６】
図５は、現在時刻情報の同期を説明するための説明図である。図５に示すように、静止画撮像装置１１０の現在時刻情報が「2010/01/01 00:00:00」、動画撮像装置１２０の現在時刻情報が「2009/12/31 23:59:59」である場合、例えば、動画撮像装置１２０の現在時刻情報を静止画撮像装置１１０の現在時刻情報に同期させる。画像処理システム１００では、このように撮像前に同期処理を行うことで静止画と動画を時刻情報という観点で関連付けることができる。かかる同期処理は、撮像前に一度行われればよい。
【００３７】
（撮像処理Ｓ３０２）
撮像時、静止画撮像装置１１０において、撮像部１４２は、被写体を撮像して画像データを生成してデータ処理部１４４に出力する。データ処理部１４４は、撮像部１４２から出力された画像データに、ホワイトバランス調節、ノイズ軽減処理、レベル補正処理、Ａ／Ｄ変換処理および色彩補正処理（ガンマ補正処理、ニー処理）等の所定の処理を施し、処理後の画像データをバッファ部１４６に出力する。
【００３８】
（時刻情報付加処理Ｓ３０４）
そして、時刻特定部１９２は、バッファ部１４６に出力された画像データに、画像データが生成された時刻を示す時刻情報を付加する。
【００３９】
図６は、時刻情報が付加された静止画の一例を示す説明図である。本実施形態において、時刻特定部１９２は、ユーザに選択される前の画像データが生成された時点で、画像データに、例えば、時刻情報を示す文字を、図６（ａ）に示す画像２６０のように例えば右下に視認可能に重畳したり、図６（ｂ）に示す画像２６２のように電子すかしで視認不可能な状態で付加したりする。
【００４０】
（符号化処理Ｓ３０６）
静止画撮像装置１１０の圧縮伸長部１５０は、データ処理部１４４から出力されバッファ部１４６に保持された画像データを、所定の符号化方式で符号化し、符号データを生成する。ここで、静止画撮像装置１１０の圧縮伸長部１５０は、静止画の符号化方式であるＪＰＥＧ（Joint Photographic Experts Group）等を用いる。
【００４１】
（記憶処理Ｓ３０８）
そして、静止画撮像装置１１０の圧縮伸長部１５０は、符号データを画像保持部１５２に出力し、画像保持部１５２は、符号データと時刻情報とを関連付けて保持する。
【００４２】
図７は、画像データのファイルのデータ構造の一例を示す説明図である。図７に示すように、画像保持部１５２に保持される画像データのファイルは、少なくとも、ファイル名、時刻情報、時刻情報が付加された画像データを含んで構成される。
【００４３】
（画像データ特定処理Ｓ３１０）
撮像後、ユーザが撮像した静止画を鑑賞する際、画像選択部１９０は、画像保持部１５２に記憶された符号データに基づく画像を表示部１４８にサムネイル表示させ、その中からユーザに画像データを選択させる。
【００４４】
（撮像処理Ｓ３５０）
一方、撮像時、動画撮像装置１２０において、撮像部２００は、被写体を撮像し画像データを生成してデータ処理部１４４に出力する。データ処理部１４４は、撮像部１４２から出力された画像データに所定の処理を施し、処理後の画像データをバッファ部１４６に出力する。
【００４５】
（符号化処理Ｓ３５２）
動画撮像装置１２０の圧縮伸長部１５０は、データ処理部１４４から出力されバッファ部１４６に保持された画像データを、所定の符号化方式で符号化し、符号データを生成する。ここで、動画撮像装置１２０の圧縮伸長部１５０は、動画の圧縮方式であるＭ−ＪＰＥＧ（Motion-JPEG）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４等を用いる。
【００４６】
（記憶処理Ｓ３５４）
そして、動画撮像装置１２０の圧縮伸長部１５０は、符号データを画像保持部２０２に出力し、画像保持部２０２は、符号データと時刻情報とを関連付けて保持する。
【００４７】
（画像データ生成処理Ｓ３５６）
動画撮像装置１２０の撮像部２００は、ユーザが選択した画像データが生成された時刻が付加された画像データに基づく画像を撮像して、静止画の画像データを生成する。ここで、撮像部２００が撮像する画像は、例えば、静止画撮像装置１１０の表示部１４８に表示されていたり、プリンタで印刷された写真であったりする。
【００４８】
図８は、撮像部２００による静止画の撮像と動画の抽出処理を説明するための説明図である。例えば、静止画として写真２７０を例に挙げると、写真２７０と動画撮像装置１２０とは、図８（ａ）に示す位置関係となる。そして、図８（ｂ）のように、動画撮像装置１２０の表示部１４８は撮像中の写真２７０を表示する。ここでは、写真２７０に時刻情報「2010/01/01 00:00:00」の文字が電子すかしで重畳されているものとする。
【００４９】
（時刻情報取得処理Ｓ３５８）
動画撮像装置１２０の時刻取得部２１０は、撮像部２００が生成した静止画の画像データを例えば文字認識処理によって解析し、ユーザが選択した静止画の画像データに基づく画像に付加された時刻情報を取得する。
【００５０】
（時刻情報表示処理Ｓ３６０）
そして、時刻取得部２１０は、図８（ｃ）に示すように、取得した時刻情報を表示部１４８に表示している静止画に重畳して表示し、時刻情報を取得できたことをユーザに報知する。また、時刻取得部２１０は、時刻情報を取得できなかった場合には、その旨、表示部１４８に表示してユーザに報知する。
【００５１】
（画像データ抽出処理Ｓ３６２および動画表示処理Ｓ３６４）
動画撮像装置１２０の画像抽出部２１２は、画像保持部２０２から、取得された時刻情報「2010/01/01 00:00:00」に対応する動画の画像データを抽出する。そして、図８（ｄ）に示すように、画像抽出部２１２は、表示部１４８に抽出した画像データに基づく動画を表示させる。また、時刻情報に対応する動画の画像データがない場合、その旨、画像データに表示してユーザに報知する。
【００５２】
上述したように、本実施形態では、例えば、画像選択装置として、静止画撮像装置１１０を用い、画像抽出装置として動画撮像装置１２０を用い、運動会等で同一の、例えば子供を被写体として、静止画撮像装置１１０と動画撮像装置１２０それぞれで撮像し、事後的に静止画を鑑賞しながら、鑑賞している静止画と同時に（並行して）撮像された動画の場面を鑑賞する。
【００５３】
この場合、ユーザが、静止画撮像装置１１０で鑑賞している静止画を選択すると、その静止画に生成された時刻が付加されて、表示やプリントが為される。この静止画を動画撮像装置１２０で撮像すると、動画撮像装置１２０は、選択された画像データに基づく画像であると識別し、画像解析によって時刻情報を取得し、関連する動画の場面を頭出しする。そのため、静止画撮像装置１１０と動画撮像装置１２０とは、時刻さえ事前に同期が取れていれば、何ら事前のグルーピング等の処理を行う必要がなく、また、撮像中、両者が随時通信を行う必要もない。
【００５４】
このように、動画撮像装置１２０は、静止画の画像データが生成された時刻に対応する、動画の画像データを抽出できるため、ユーザは所望する場面を容易に頭出しして鑑賞することが可能となる。
【００５５】
以上、説明したように、本実施形態の画像処理システム１００によれば、静止画撮像装置１１０で選択された画像データが生成された時刻に基づいて、動画撮像装置１２０に保持された画像データから、関連する画像データを抽出するので、ユーザは所望する画像データを容易に取得することが可能となる。
【００５６】
（第２の実施形態）
上述した第１の実施形態において、静止画撮像装置１１０は、静止画に時刻情報を付加し、動画撮像装置１２０は、この静止画を撮像することで時刻情報を取得し、対応する動画の画像データを抽出していた。第２の実施形態では、静止画を介さずとも、所望する動画の画像データを抽出することが可能な静止画撮像装置４１０および動画撮像装置４２０について説明する。
【００５７】
（静止画撮像装置４１０）
図９は、第２の実施形態における静止画撮像装置４１０の概略的な構成を示した機能ブロック図である。図中、実線矢印はデータの流れを、破線矢印は制御信号の流れを示す。静止画撮像装置４１０は、操作部１４０と、撮像部１４２と、データ処理部１４４と、バッファ部１４６と、表示部１４８と、圧縮伸長部１５０と、画像保持部１５２と、画像出力部１５４と、無線通信部１５６と、中央制御部１５８とを含んで構成される。また、中央制御部１５８は、画像選択部１９０、時刻特定部４９２として機能する。第１の実施形態における構成要素として既に述べた、操作部１４０、撮像部１４２、データ処理部１４４、バッファ部１４６、表示部１４８、圧縮伸長部１５０、画像保持部１５２、画像出力部１５４、無線通信部１５６、中央制御部１５８、画像選択部１９０は実質的に機能が等しいので重複説明を省略する。構成が相違する時刻特定部４９２は、ユーザに選択された符号データ（第１の画像データ）が生成された時刻を示す時刻情報を、無線通信部１５６による無線通信を介して、動画撮像装置４２０に出力する。
【００５８】
（動画撮像装置４２０）
図１０は、第２の実施形態における動画撮像装置４２０の概略的な構成を示した機能ブロック図である。図中、実線矢印はデータの流れを、破線矢印は制御信号の流れを示す。動画撮像装置４２０は、操作部１４０と、撮像部２００と、データ処理部１４４と、バッファ部１４６と、表示部１４８と、圧縮伸長部１５０と、画像保持部２０２と、画像出力部１５４と、無線通信部２０４と、中央制御部２０６とを含んで構成される。また、中央制御部２０６は、時刻取得部４４０、画像抽出部２１２として機能する。第１の実施形態における構成要素として既に述べた、操作部１４０、撮像部２００、データ処理部１４４、バッファ部１４６、表示部１４８、圧縮伸長部１５０、画像保持部２０２、画像出力部１５４、無線通信部２０４、中央制御部２０６、画像抽出部２１２は実質的に機能が等しいので重複説明を省略する。構成が相違する時刻取得部４４０は、静止画撮像装置４１０から、無線通信部２０４による無線通信を通じて時刻情報を取得する。
【００５９】
（画像抽出方法）
続いて、上述した静止画撮像装置４１０および動画撮像装置４２０を用いた画像抽出処理について説明する。図１１は、第２の実施形態における画像抽出方法の処理の流れを示すシーケンス図である。同期処理ステップＳ３００から画像データ特定処理ステップＳ３１０までの処理は、第１の実施形態で説明した図４のシーケンス図と実質的に等しいので説明を省略する。
【００６０】
（時刻情報出力処理Ｓ５００）
画像データ特定処理ステップＳ３１０の後、時刻特定部４９２は、ユーザに選択された符号データ（第１の画像データ）が生成された時刻を示す時刻情報を、無線通信部１５６による無線通信を介して、動画撮像装置４２０に出力する。ここで、時刻特定部４９２は、ユーザが複数の符号データを選択した場合、選択された符号データそれぞれについて時刻情報を動画撮像装置４２０に出力する。ここで、時刻情報は、ユーザが符号データを選択した状態によって特定される。
【００６１】
（時刻情報取得処理Ｓ５０２）
動画撮像装置４２０の時刻取得部４４０は、静止画撮像装置４１０から、無線通信部２０４による無線通信を通じて時刻情報を取得する。以下、時刻情報表示処理ステップＳ３６０から動画表示処理ステップＳ３６４までの処理は、第１の実施形態で説明した図４のシーケンス図と実質的に等しいので説明を省略する。
【００６２】
例えば、ユーザが、動画撮像装置４２０を、時刻情報の受信の待機状態としておく。そして、ユーザが、静止画撮像装置４１０で画像データを選択し、無線通信で時刻情報を送信すると、動画撮像装置４２０が時刻情報を受信する。動画撮像装置４２０は、実際に画像をプリントアウトしたり、表示部１４８に表示した画像を撮像したりすることなく、簡易な操作で時刻情報を受信することが可能となる。
【００６３】
本実施形態の静止画撮像装置４１０および動画撮像装置４２０は、静止画や動画の撮像時に通信環境が悪く無線通信できない場合であっても、撮像後の鑑賞時において、静止画や動画の鑑賞時に無線通信することができればよい。
【００６４】
また、無線通信は、近距離無線通信であってもよい。かかる構成により、互いに近距離にある静止画撮像装置４１０と動画撮像装置４２０の無線通信に限定され、無関係な他の撮像装置の静止画と当該動画とが関連付けられるのを回避することが可能となる。また、近距離無線通信は、１ｍ以内といった非常に短距離でしか無線通信を行えないので、目視できる範囲で、その通信状態を確認でき、秘匿性を高めることが可能となる。
【００６５】
さらに、無線通信部１５６、２０４は、例えば、無線通信が可能となる静止画撮像装置４１０、動画撮像装置４２０の向き（位置関係）を限定してもよい。
【００６６】
図１２は、静止画撮像装置４１０と動画撮像装置４２０の位置関係を説明するための説明図である。静止画撮像装置４１０と動画撮像装置４２０は、例えば、図１２に示すように、動画撮像装置４２０が静止画撮像装置４１０の表示部１４８を撮像する位置関係となると、指向性のアンテナを通じて無線通信が可能となるとしてもよい。このように、無線通信が可能となる静止画撮像装置４１０、動画撮像装置４２０の向きを限定することで、無関係な他の撮像装置との無線通信を回避できる。
【００６７】
また、動画撮像装置は、第１の実施形態で説明したように、静止画撮像装置の表示部１４８に表示された画像データに付加された時刻情報を取得できるものとする。かつ、画像データから時刻情報が取得できなかった場合に限り、第２の実施形態で説明したように、無線通信によっても時刻情報を取得できるものとしてもよい。かかる構成により、ユーザは、静止画撮像装置の表示部１４８が表示する画像に時刻情報が付加されているか否かに関わらず、同じ操作手順で動画撮像装置に動画の抽出をさせることが可能となる。
【００６８】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００６９】
上述した実施形態では、静止画撮像装置１１０、４１０および動画撮像装置１２０、４２０は、画像データを画像保持部１５２、２０２に保持したが、例えば、装置外部の、記憶装置、記憶媒体、およびネットワーク上の記憶装置に保持してもよい。
【００７０】
また、１つの画像選択装置において選択された１つの静止画の画像データから、１つの画像抽出装置において１つの動画の画像データを抽出する例を説明した。しかし、画像データは静止画または動画に限定されず、ユーザが選択する画像データおよび抽出される画像データは１または複数であってよいし、画像データの選択や抽出に用いる装置（画像選択装置や画像抽出装置）は１または複数であってもよい。
【００７１】
さらに、静止画撮像装置１１０は、画像データに時刻情報以外に、例えば、静止画撮像装置１１０と動画撮像装置１２０の位置関係を示す情報、音声情報、予め設定されたグループを特定する情報、静止画撮像装置１１０や動画撮像装置１２０を特定する機器番号等を付加してもよい。
【００７２】
なお、本明細書の画像抽出方法における各工程は、必ずしもシーケンス図として記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００７３】
本発明は、時刻情報に基づいて画像データを抽出することが可能な画像処理システム、画像抽出装置および画像抽出方法に利用することができる。
【符号の説明】
【００７４】
１１０、４１０ …静止画撮像装置
１２０、４２０ …動画撮像装置
１９０ …画像選択部
１９２、４９２ …時刻特定部
１４２、２００ …撮像部
１５２、２０２ …画像保持部
２１０、４４０ …時刻取得部
２１２ …画像抽出部
【特許請求の範囲】
【請求項１】
画像選択装置と画像抽出装置とを含む画像処理システムであって、
前記画像選択装置は、
第１の画像データをユーザに選択させる画像選択部と、
選択された前記第１の画像データが生成された時刻を特定する時刻特定部と、
を備え、
前記画像抽出装置は、
前記時刻特定部が特定した前記時刻を示す時刻情報が付加された前記第１の画像データに基づく画像または前記画像選択装置から、前記時刻情報を取得する時刻取得部と、
第２の画像データと、前記第２の画像データが生成された時刻を示す時刻情報とが関連付けられて予め保持されている画像保持部と、
前記画像保持部から、前記時刻取得部が取得した時刻情報に対応する第２の画像データを抽出する画像抽出部と、
を備えることを特徴とする画像処理システム。
【請求項２】
ユーザが選択した第１の画像データが生成された時刻を示す時刻情報が付加された前記第１の画像データに基づく画像を撮像して第２の画像データを生成する撮像部と、
前記第２の画像データを解析し、前記画像に付加された前記時刻情報を取得する時刻取得部と、
第３の画像データと、前記第３の画像データが生成された時刻を示す時刻情報とが関連付けられて予め保持されている画像保持部と、
前記画像保持部から、前記時刻取得部が取得した前記時刻情報に対応する前記第３の画像データを抽出する画像抽出部と、
を備えることを特徴とする画像抽出装置。
【請求項３】
ユーザが選択した第１の画像データが生成された時刻を示す時刻情報を特定して提供する画像選択装置から、無線通信を通じて前記時刻情報を取得する時刻取得部と、
第２の画像データと、前記第２の画像データが生成された時刻を示す時刻情報とが関連付けられて予め保持されている画像保持部と、
前記画像保持部から、前記時刻取得部が取得した前記時刻情報に対応する第２の画像データを抽出する画像抽出部と、
を備えることを特徴とする画像抽出装置。
【請求項４】
前記無線通信は、近距離無線通信であることを特徴とする請求項３に記載の画像抽出装置。
【請求項５】
第１の画像データと、前記第１の画像データが生成された時刻を示す時刻情報とを関連付けて予め保持し、
ユーザが選択した第２の画像データが生成された時刻を示す時刻情報が付加された前記第２の画像データに基づく画像を撮像して第３の画像データを生成し、
前記第３の画像データを解析し、前記画像に付加された前記時刻情報を取得し、
取得した前記時刻情報に対応する前記第１の画像データを抽出することを特徴とする画像抽出方法。
【請求項６】
第１の画像データと、前記第１の画像データが生成された時刻を示す時刻情報とを関連付けて予め保持し、
ユーザが選択した第２の画像データが生成された時刻を示す時刻情報を特定して提供する画像選択装置から、無線通信を通じて前記時刻情報を取得し、
取得した前記時刻情報に対応する第１の画像データを抽出することを特徴とする画像抽出方法。
【請求項１】
画像選択装置と画像抽出装置とを含む画像処理システムであって、
前記画像選択装置は、
第１の画像データをユーザに選択させる画像選択部と、
選択された前記第１の画像データが生成された時刻を特定する時刻特定部と、
を備え、
前記画像抽出装置は、
前記時刻特定部が特定した前記時刻を示す時刻情報が付加された前記第１の画像データに基づく画像または前記画像選択装置から、前記時刻情報を取得する時刻取得部と、
第２の画像データと、前記第２の画像データが生成された時刻を示す時刻情報とが関連付けられて予め保持されている画像保持部と、
前記画像保持部から、前記時刻取得部が取得した時刻情報に対応する第２の画像データを抽出する画像抽出部と、
を備えることを特徴とする画像処理システム。
【請求項２】
ユーザが選択した第１の画像データが生成された時刻を示す時刻情報が付加された前記第１の画像データに基づく画像を撮像して第２の画像データを生成する撮像部と、
前記第２の画像データを解析し、前記画像に付加された前記時刻情報を取得する時刻取得部と、
第３の画像データと、前記第３の画像データが生成された時刻を示す時刻情報とが関連付けられて予め保持されている画像保持部と、
前記画像保持部から、前記時刻取得部が取得した前記時刻情報に対応する前記第３の画像データを抽出する画像抽出部と、
を備えることを特徴とする画像抽出装置。
【請求項３】
ユーザが選択した第１の画像データが生成された時刻を示す時刻情報を特定して提供する画像選択装置から、無線通信を通じて前記時刻情報を取得する時刻取得部と、
第２の画像データと、前記第２の画像データが生成された時刻を示す時刻情報とが関連付けられて予め保持されている画像保持部と、
前記画像保持部から、前記時刻取得部が取得した前記時刻情報に対応する第２の画像データを抽出する画像抽出部と、
を備えることを特徴とする画像抽出装置。
【請求項４】
前記無線通信は、近距離無線通信であることを特徴とする請求項３に記載の画像抽出装置。
【請求項５】
第１の画像データと、前記第１の画像データが生成された時刻を示す時刻情報とを関連付けて予め保持し、
ユーザが選択した第２の画像データが生成された時刻を示す時刻情報が付加された前記第２の画像データに基づく画像を撮像して第３の画像データを生成し、
前記第３の画像データを解析し、前記画像に付加された前記時刻情報を取得し、
取得した前記時刻情報に対応する前記第１の画像データを抽出することを特徴とする画像抽出方法。
【請求項６】
第１の画像データと、前記第１の画像データが生成された時刻を示す時刻情報とを関連付けて予め保持し、
ユーザが選択した第２の画像データが生成された時刻を示す時刻情報を特定して提供する画像選択装置から、無線通信を通じて前記時刻情報を取得し、
取得した前記時刻情報に対応する第１の画像データを抽出することを特徴とする画像抽出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図６】
【図８】
【図２】
【図３】
【図４】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図６】
【図８】
【公開番号】特開２０１２−２０９６６１（Ｐ２０１２−２０９６６１Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７２１８５（Ｐ２０１１−７２１８５）
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]