説明

画像再生装置及びその制御方法

【課題】
画像データに関する情報をオーバーレイ表示する。
【解決手段】
撮影画像をHDD20に格納する。サーバ50に画像データを送信し、画像の名前と詳細情報を示すメタデータをサーバ50から取得する。メタデータ管理装置18は、取得したメタデータをデータベース20bに格納する。データベース20bはサーバ50からの返信状況を示す返信フラグを含む。返信フラグは、メタデータ未要求、取得済み、及び、サーバ50からの未取得の何れかを示す。HDD20の記録画像をサムネイル表示する場合、メタデータを取得済みの画像には、取得した名前をオーバーレイ表示し、サーバ50からの未取得の画像には、未取得を示す文字又は記号をオーバーレイ表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像再生装置及びその制御方法に関する。
【背景技術】
【0002】
近年、撮影した動画像又は静止画像を外部機器に無線又は有線で送信する機能を具備するデジタルスチルカメラ及びデジタルビデオカメラが実現されている。例えば、デジタルカメラとデータ通信機能を内蔵した携帯電話がある。また、無線LANによるデータ通信のアクセスポイントが各所で利用可能になっている。
【0003】
動画像又は静止画に含まれるオブジェクトを認識し、その特徴を示す文字コードデータを生成することが知られている。これを利用することにより、希望のオブジェクトを含む画像を検索したり、画像を検索キーとして、類似の内容を有する画像を検索することが可能となる。
【0004】
多くの場合、画像に含まれるオブジェクトの抽出には高度のデータ処理能力を必要とするので、これをサーバ(特徴認識サーバ)に負担させる。特許文献1には、携帯端末のカメラで撮影した画像をサーバに送信し、サーバから当該画像に含まれるオブジェクトを説明する文字データ、即ち、オブジェクト情報を受信するシステムが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2003−323620号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1には、ユーザが携帯端末本体の表示パネルに画像データを表示させたい場合に、特徴認識サーバから受信したオブジェクト情報をユーザに効果的に表示する方法は記載されていない。また、特徴認識サーバが検索に失敗した場合の表示についても、考えられていない。
【0007】
そこで、本発明は、上記の問題点に鑑み、画像とこの画像に含まれるオブジェクトの情報とを効果的に表示部に表示させる画像再生装置およびその制御方法を提示することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る画像再生装置は、撮影画像に含まれるオブジェクトを説明するためのメタデータを表示部に表示させる画像再生装置であって、複数のサムネイル画像を前記表示部に一覧表示させる第1の表示制御手段と、前記一覧表示される複数のサムネイル画像の中からサムネイル画像を選択する選択手段と、前記選択されるサムネイル画像に対応する撮影画像を前記表示部に表示させる第2の表示制御手段と、を有し、前記第1の表示制御手段は、前記一覧表示させる複数のサムネイル画像に、該複数のサムネイル画像それぞれに対応する複数の撮影画像それぞれに対応する前記メタデータの一部をオーバーレイ表示させ、前記第2の表示制御手段は、該第2の表示制御手段が表示させる撮影画像に、該撮影画像に対応する前記メタデータの一部と該メタデータの残りのうち少なくとも一部とをオーバーレイ表示させることを特徴とする。
【0009】
本発明に係る画像再生装置の制御方法は、撮影画像に含まれるオブジェクトを説明するためのメタデータを表示部に表示させる画像再生装置の画像再生装置の制御方法であって、複数のサムネイル画像を前記表示部に一覧表示させる第1の表示制御ステップと、前記一覧表示される複数のサムネイル画像の中からサムネイル画像を選択する選択ステップと、前記選択されるサムネイル画像に対応する撮影画像を前記表示部に表示させる第2の表示制御ステップと、を有し、前記第1の表示制御ステップにて、前記一覧表示させる複数のサムネイル画像に、該複数のサムネイル画像それぞれに対応する複数の撮影画像それぞれに対応する前記メタデータの一部をオーバーレイ表示させ、前記第2の表示制御ステップにて、該第2の表示制御ステップで表示させる撮影画像に、該撮影画像に対応する前記メタデータの一部と該メタデータの残りのうち少なくとも一部とをオーバーレイ表示させることを特徴とする。
【発明の効果】
【0010】
本発明によれば、画像データに含まれるオブジェクトの情報を効果的に表示部に表示させることができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施例の概略構成ブロック図である。
【図2】本実施例に係るサーバの概略構成ブロック図である。
【図3】データベース20bの構造と内容の一例である。
【図4】サムネイル表示例である。
【図5】フル画面表示例である。
【図6】本実施例の動作フローチャートである。
【図7】メタデータ取得後のデータベース20bの内容例である。
【図8】サムネイル表示でメタデータをオーバーレイ表示する例である。
【図9】フル画面表示でメタデータをオーバーレイ表示する例である。
【図10】動画に対する本実施例の動作フローチャートである。
【図11】動画に対するデータベース20bの内容例である。
【図12】フル画面表示でのメタデータ表示例である。
【発明を実施するための形態】
【0012】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例1】
【0013】
図1は、本発明の一実施例であるデジタルビデオカメラ10の概略構成ブロック図であり、図2は、デジタルビデオカメラ10と連携する特徴認識サーバ50の概略構成ブロック図である。ただし、実線は画像データの流れを示し、破線は制御信号を示す。
【0014】
デジタルビデオカメラ10の構成を説明する。デジタルビデオカメラ10は、撮像ユニット12、圧縮装置14、記録再生装置16、メタデータ管理装置18、HDD(Hard Disk Drive)20、表示制御装置22、表示装置24、通信装置26、システム制御装置30、操作装置32及びメモリ34を具備する。
【0015】
撮像ユニット12は、光学レンズ、CCD(Charge Coupled Devices)又はCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子、オートフォーカス機構、ズーム機構、A/D変換器及び信号処理(例えば、ガンマ補正、色バランス調整、輝度/色分離)等からなり、被写体の光学像を電気信号に変換し、デジタル画像信号を出力する。
【0016】
記録再生装置16は、撮像ユニット12からの画像データをHDD20に記録再生する。記録再生装置16はまた、HDD20に記録される画像データのサムネイル画像も生成し、HDD20に記録する。なお、記録再生装置16は、必要により、画像データを圧縮伸長する。本実施例では、動画と静止画のどちらもHDD20に記録可能である。動画像に対する圧縮方式として、MPEG(Moving Picture Experts Group phase)2及びMotion JPEG等が知られており、静止画に対する圧縮方式として、JPEG2000等が知られている。
【0017】
HDD20には、記録される画像20aの特徴を示すメタデータを格納するオブジェクト情報データベース20bも、記録される。画像データがHDD20に記録される際に、メタデータ管理装置18が、その画像データに対応するメタデータのレコードをオブジェクト情報データベース20bに生成する。
【0018】
オブジェクト情報データベース20bは、基本的な要素として、固有の識別情報(ID)と、サーバ50から未受信、サーバ50から受信済み及びサーバ50での検索失敗を示す返信フラグ(Flag)と、対応する画像データへのファイルパス(FilePath)と、判明したオブジェクトの名称を示す名前(Name)と、詳細情報(MoreInfo)とからなる。
【0019】
図3は、オブジェクト情報データベース20bの構成と内容例を示す。返信フラグは、”0”がサーバ50から未受信を示し、”1”がサーバ50から受信済みを示し、”−1”がサーバ50での検索失敗を示す。HDD20に画像データが記録された段階では、返信フラグは”0”である。図3に示す例では、対応する画像が静止画であり、6枚の画像データがHDD20に記録されており、何れも、サーバ50から特徴データを受信していない状況を示す。詳細は後述するが、記録再生装置16のメタデータ管理装置18が、メタデータをサーバ50から受信して、HDD20のデータベース20bに格納し、受信状況により返信フラグを更新する。
【0020】
記録媒体としてHDD20を例示しているが、揮発性半導体メモリ又は記録可能光ディスク等の着脱可能な媒体であってもよい。
【0021】
表示制御装置22は、記録再生装置16からの画像データに従い、表示装置24にその画像を表示させる。また、表示制御装置22は、文字ベースのインターフェース、即ち、CUI(Character-based User Interface)又はグラフィックベースのインターフェース、即ちGUI(Graphical User Interface)のメニュー画像信号を生成し、表示装置24に印加する。特に、本実施例では、表示制御装置22は、メタデータの情報を表示装置24に印加する。表示装置24は、例えば、LCD(液晶表示パネル)である。
【0022】
通信装置26は、IEEE(Institute of Electrical and Electronic Engineers)1394、IEEE802.11又はUSB(Universal Serial Bus)等に従い、サーバ50との間でデータを送受信可能であり、本実施例では、HTTP(Hyper Text Transfer Protocol)又はFTP(File Transfer Protocol)等のインターネットプロトコルを用いる。
【0023】
システム制御装置30は、操作装置32の操作に従い、ビデオカメラ10の全体を制御する。操作装置32は、動画撮影スイッチ、レリーズスイッチ(SW1,SW2)、再生スイッチ及び停止スイッチを具備し、ユーザがこれらを操作することで、動画撮影、静止画撮影、再生並びに停止等をシステム制御装置30に指示する。また、操作装置32は、メニューキー、十字キー、決定キー及び拡大キーを具備し、ユーザはこれらを使って、メニュー画面の表示、選択、決定並びにサムネイル画像の拡大を、システム制御装置30に指示する。
【0024】
メモリ34は、システム制御装置30のプログラム及び固定パラメータを記憶するROM(Read Only Memory)と、一時データを記憶し、システム制御装置30のワークメモリとなるRAM(Random Access Memory)等で構成されている。
【0025】
図2を参照して、サーバ50の構成を説明する。通信装置52は、カメラ10と通信して、カメラ10から画像データ(動画像データ又は静止画データ)を受信する。記録再生装置54は、通信装置52が受信した画像データをハードディスク(HDD)56に記録再生する。記録再生装置58は、HDD56に記録された画像データの内で、カメラ10により特徴抽出を依頼された画像データを再生して画像分析装置58に供給する。受信画像データを永続的に保存する必要が無い場合、HDD56は単に、画像分析用の一時記憶として使用される。
【0026】
画像分析装置58は、HDD56から再生された画像データから、輝度又は色の分布又はパターン等を分析し、分析結果から特徴を抽出する。画像分析装置58は、換言すれば、特徴抽出装置である。照合装置60は、画像分析装置58で得られた特徴を特徴データベース62と照合し、画像分析した画像の名称と詳細説明のテキストを特徴データベース62から取得する。特徴データベース62には、種々の画像又はオブジェクトに対して、画像分析装置58の画像分析により抽出される特徴と、オブジェクトの名前と、詳細説明が格納されている。
【0027】
照合装置60は、特徴データベース62との照合結果をメタデータ生成装置64に供給する。メタデータ生成装置64は、照合装置60の照合結果を収容する所定形式のメタデータを生成する。生成されたメタデータは、通信装置52により要求元であるカメラ10に送信される。カメラ10のメタデータ管理装置18は、サーバ50から送信されたメタデータをHDD20に格納し、返信フラグを更新する。
【0028】
カメラ10の撮像、記録及び再生の基本動作を説明する。カメラモードでは、撮像ユニット12は、被写体の光学像に対応する画像データを出力する。撮像ユニット12から出力画像データは、図示しないビデオメモリ(VRAM)に書き込まれる。表示制御装置22は、ビデオメモリに記憶される画像データに従い表示装置24を駆動する。これにより、ユーザは、被写体と構図を確認できる。記録モードでは更に、記録再生装置16が、撮像ユニット12からの画像データをHDD20に記録する。このようにして、撮影される画像の画像データがHDD20に格納される。
【0029】
再生モードでは、記録再生装置16は、HDD20から指定の画像の画像データを読み出す。読み出された画像データは、表示制御装置22は、記録再生装置16によりHDD20から読み出された画像データに従い表示装置24を駆動する。これにより、再生画像が、表示装置24の画面に表示される。
【0030】
本実施例では、HDD20に記録される静止画像のサムネイル画像による一覧表示と、指定された一つの画像のフル画面表示を選択可能である。図4は、6つの画像のサムネイルを一覧表示する画面例を示し、図5は、指定された1つの画像を振る画面で表示する例を示す。例えば、図4に示すようなサムネイル表示で、所望の1つを選択して、操作装置32の拡大キーを操作すると、図5に示すように、指定された1つの画像がフル画面で表示される。
【0031】
次に、図6乃至図9を参照して、静止画に対する本実施例の特徴的な動作、即ちメタデータのオーバーレイ表示の動作を説明する。図6は動作フローチャートを示し、図7はHDD20に格納されるオブジェクト情報データベース20bの内容例を示し、図8はサムネイル表示例を示し、図9はフル画面表示例を示す。
【0032】
システム制御装置30は、撮影スイッチが押されたか否かを判別する(S10)。撮影スイッチが押されると(S10)、静止画を撮影し、撮影画像が記録再生装置16によりHDD20に記録される(S11)。同時に、上述したように、メタデータ管理装置18が、データベース20bに、この静止画像データに対するメタデータの新規レコードを生成する(S12)。メタデータの新規レコードは、この時点では、IDと、値”0”の更新フラグと、画像データへのファイルパスのみからなる。撮影画像データが、通信装置26を介してサーバ50にも送信される(S13)。
【0033】
サーバ50は、通信装置52で画像データを受信したか否かを判別する(S20)。画像データを受信すると(S20)、記録再生装置54が、受信した画像データをHDD56に記録する(S21)。画像データが記録順にHDD56から読み出され、画像分析装置58に送られる。画像分析装置58は、画像データの輝度又は色の分布又はパターン等を分析し、画像データの特徴を抽出する(S22)。
【0034】
抽出された特徴が画像分析装置58から照合装置60に送られ、照合装置60は、画像データの特徴を特徴データベース62と照合し、特徴に合致するレコードを特徴データベース62から検索する(S23)。メタデータ生成装置64は、検索結果から、カメラ10からの画像データに合致するメタデータを生成する(S24)。生成されたメタデータは、通信装置52を介してカメラ10に送信される(S25)。画像分析(S22)又は検索(S23)に失敗している場合には、失敗をカメラ10に送信する(S25)。
【0035】
カメラ10の通信装置26は、メタデータの受信を待機している(S30)。サーバ50からメタデータを受信すると(S30)、サーバ管理装置18が、受信したメタデータの各情報を、HDD20のオブジェクト情報データベース20bの対応するレコードの対応するフィールドに格納する(S31)。その際、返信フラグが受信済みを示す値”1”に更新される。
【0036】
図7は、このように更新されたオブジェクト情報データベース20bの内容例を示す。図6に示す例では、ID1,ID2,ID4の画像データに対して、メタデータが得られており、ID3の画像データに対して、メタデータの検索に失敗しており、ID5,ID6の画像データに対しては、メタデータの受信待ちになっている。名前フィールド(Name)及び詳細フィールド(MoreInfo)の内容が、サーバ50からの情報で補充されている。
【0037】
図6に示すようにメタデータを取得できた後、HDD20に記録される画像をそのサムネイルで一覧表示する場合、メタデータの名前フィールドの文字データが、図8に符号80,82,84,86で示すように、サムネイル画像に重畳して表示される。返信フラグが”−1”の画像に対しては、符号86で示すように不明を示す文字”???”がサムネイル画像に重畳して表示、即ちオーバーレイされる。文字”???”の代わりに特定の記号又は図形でもよいことは明らかである。
【0038】
図8に示すサムネイル画面でユーザが特定の画像を選択して、操作装置32の拡大キーを押すと、図9に示すようなフル画面表示になり、このフル画面表示では、名前フィールドと詳細フィールドの文字データが、図9に符号90で示すように、再生画像に重畳して表示、即ちオーバーレイ表示される。
【0039】
このように、本実施例では、サーバ50によるオブジェクト情報の検索結果の有無に応じて表示態様を変えるので、ユーザは、オブジェクト情報を取得済みか、検索に失敗しているかを画面上で確認できる。
【0040】
本実施例は、動画に適用可能である。図10は、動画に対する本実施例の動作フローチャートを示す。
【0041】
システム制御装置30は、動画撮影スイッチが押されたか否かを判別する(S110)。動画撮影スイッチが押されると(S110)、動画像の撮影が開始され、撮影された各フレーム画像が、順次、記録再生装置16によりHDD20に記録される(S111)。同時に、上述したように、メタデータ管理装置18が、この動画像データに対するメタデータの新規レコードをデータベース20b上に生成する(S112)。メタデータの新規レコードは、この時点では、IDと、値”0”の返信フラグと、画像データへのファイルパスのみからなる。
【0042】
動画撮影しながら、又は、動画撮影の終了後に、HDD20に記録される動画像データが、通信装置26を介してサーバ50にも送信される(S113)。
【0043】
サーバ50は、通信装置52で画像データを受信したか否かを判別する(S120)。画像データを受信すると(S120)、記録再生装置54が、受信した画像データをHDD56に記録する(S121)。画像データが記録順にHDD56から読み出され、画像分析装置58に送られる。画像分析装置58は、画像データの輝度又は色の分布又はパターン等を分析し、画像データの特徴を抽出する(S122)。
【0044】
抽出された特徴が画像分析装置58から照合装置60に送られ、照合装置60は、画像データの特徴を特徴データベース62と照合し、特徴に合致するレコードを特徴データベースか62ら検索する(S123)。メタデータ生成装置64は、検索結果から、カメラ10からの画像データに合致するメタデータを生成する(S124)。
【0045】
動画像の全てのフレームについて、ステップS121〜S124を実行する(S125)。画像分析に失敗するか、データベース62からの検索に失敗フレームに対しては、即座に、次のフレームの画像分析を実行する。動画の終端まで到達すると(S125)、生成されたメタデータが通信装置52を介してビデオカメラ10に送信される(S126)。最終的に有効なメタデータが得られない場合には、失敗をカメラ10に送信する(S126)。
【0046】
動画中で、メタデータを要求するフレームをカメラ10のユーザが指定している場合には、その指定されたフレームに対して、ステップS121〜S124の処理を実行する。
【0047】
カメラ10の通信装置26は、メタデータの受信を待機している(S130)。サーバ50からメタデータを受信すると(S130)、サーバ管理装置18が、受信したメタデータで、HDD20のオブジェクト情報データベース20bの対応するレコードに格納する(S131)。その際、返信フラグが受信済みを示す値”1”に更新される。
【0048】
図11は、動画の場合のオブジェクト情報データベース20bの内容例を示す。オブジェクト情報のフレーム位置を示すフィールド(Time)が追加されている。ID1に対するTimeフィールドの35:05:00は、当該レコードが、撮影開始から35分05秒00のフレームに対するメタデータであることを示す。番号を示すものでもよい。このメタデータに対して、フル画面表示では、図12に示すように、Timeフィールドのデータも画面上にオーバーレイ表示される。
【符号の説明】
【0049】
10 ビデオカメラ
12 撮像ユニット
16 記録再生装置
18 メタデータ管理装置
20 HDD
20a:画像データ
20b オブジェクト情報データベース
22 表示制御装置
24 表示装置
26 通信装置
50 サーバ
52 通信装置
54 記録再生装置
56 HDD
58 画像分析装置
60 照合装置
62 特徴データベース
64 メタデータ生成装置

【特許請求の範囲】
【請求項1】
撮影画像に含まれるオブジェクトを説明するためのメタデータを表示部に表示させる画像再生装置であって、
複数のサムネイル画像を前記表示部に一覧表示させる第1の表示制御手段と、
前記一覧表示される複数のサムネイル画像の中からサムネイル画像を選択する選択手段と、
前記選択されるサムネイル画像に対応する撮影画像を前記表示部に表示させる第2の表示制御手段と、
を有し、
前記第1の表示制御手段は、前記一覧表示させる複数のサムネイル画像に、該複数のサムネイル画像それぞれに対応する複数の撮影画像それぞれに対応する前記メタデータの一部をオーバーレイ表示させ、
前記第2の表示制御手段は、該第2の表示制御手段が表示させる撮影画像に、該撮影画像に対応する前記メタデータの一部と該メタデータの残りのうち少なくとも一部とをオーバーレイ表示させる
ことを特徴とする画像再生装置。
【請求項2】
前記第2の表示制御手段が表示させる撮影画像は、該撮影画像に対応するサムネイル画像よりも大きいことを特徴とする請求項1に記載の画像再生装置。
【請求項3】
前記メタデータの一部は、前記オブジェクトの名称であることを特徴とする請求項1また2に記載の画像再生装置。
【請求項4】
前記メタデータの残りのうち少なくとも一部は、前記オブジェクトを説明するための詳細説明情報であることを特徴とする請求項1乃至3のいずれか1項に記載の画像再生装置。
【請求項5】
被写体の光学像を電気信号に変換して撮影画像データを出力する撮像手段をさらに備え、
前記第2の表示制御手段が表示させる撮影画像は、前記出力された撮影画像データに従って表示され、
前記表示部は、前記画像再生装置に具備されている
ことを特徴とする請求項1乃至4のいずれか1項に記載の画像再生装置。
【請求項6】
前記第2の表示制御手段が表示させる撮影画像は、動画であり、
前記第2の表示制御手段は、該第2の表示制御手段が表示させる撮影画像に、該撮影画像に対応する前記メタデータの一部と該メタデータの残りのうち少なくとも一部とをオーバーレイ表示させるとともに、前記動画のフレームのうち該メタデータに対応するフレームを示す情報をオーバーレイ表示させる
ことを特徴とする請求項1乃至5のいずれか1項に記載の画像再生装置。
【請求項7】
前記選択手段により選択されるサムネイル画像は、1つであることを特徴とする請求項1乃至6のいずれか1項に記載の画像再生装置。
【請求項8】
前記メタデータは、外部のサーバから取得することを特徴とする請求項1乃至7のいずれか1項に記載の画像再生装置。
【請求項9】
前記出力された撮影画像データを記録部に記録させる記録制御手段をさらに備え、
前記記録制御手段は、前記記録させる際に、前記記録される撮影画像データが記録された位置を示す情報と該撮影画像データに対応する前記メタデータとを格納するためのレコードを、前記記録部に生成する
ことを特徴とする請求項4に記載の画像再生装置。
【請求項10】
前記記録制御手段は、前記記録される撮影画像データに対応するサムネイル画像を生成し、
前記一覧表示されるサムネイル画像は、前記生成されるサムネイル画像であることを特徴とする請求項9に記載の画像再生装置。
【請求項11】
撮影画像に含まれるオブジェクトを説明するためのメタデータを表示部に表示させる画像再生装置の画像再生装置の制御方法であって、
複数のサムネイル画像を前記表示部に一覧表示させる第1の表示制御ステップと、
前記一覧表示される複数のサムネイル画像の中からサムネイル画像を選択する選択ステップと、
前記選択されるサムネイル画像に対応する撮影画像を前記表示部に表示させる第2の表示制御ステップと、
を有し、
前記第1の表示制御ステップにて、前記一覧表示させる複数のサムネイル画像に、該複数のサムネイル画像それぞれに対応する複数の撮影画像それぞれに対応する前記メタデータの一部をオーバーレイ表示させ、
前記第2の表示制御ステップにて、該第2の表示制御ステップで表示させる撮影画像に、該撮影画像に対応する前記メタデータの一部と該メタデータの残りのうち少なくとも一部とをオーバーレイ表示させることを特徴とする画像再生装置の制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2012−44698(P2012−44698A)
【公開日】平成24年3月1日(2012.3.1)
【国際特許分類】
【出願番号】特願2011−227452(P2011−227452)
【出願日】平成23年10月14日(2011.10.14)
【分割の表示】特願2006−178505(P2006−178505)の分割
【原出願日】平成18年6月28日(2006.6.28)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】