情報処理装置、情報処理装置の制御方法および制御プログラム
【課題】動画像あるいは静止画像に対し、検索用メタデータを付与するに際し、個人情報を保護しつつ、有用な検索用メタデータを作成し、共有化する。
【解決手段】動画像あるいは静止画像に関連づけられた検索用メタデータに含まれる単語のうち個人情報のように共有を禁止する単語である非共有単語を予め記憶し、検索用メタデータから非共有単語を除去して検索用共有メタデータ(個人情報除去メタデータ46)を生成する。
【解決手段】動画像あるいは静止画像に関連づけられた検索用メタデータに含まれる単語のうち個人情報のように共有を禁止する単語である非共有単語を予め記憶し、検索用メタデータから非共有単語を除去して検索用共有メタデータ(個人情報除去メタデータ46)を生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理装置の制御方法および制御プログラムに係り、特に静止画像や動画像等の検索用メタデータの作成、共有化の容易化技術に関する。
【背景技術】
【0002】
近年、ディジタルカメラやデジタルビデオ、カメラ付携帯電話等の普及により、個人が保存している画像等のコンテンツは増加する一方である。代表的なコンテンツであるデジタル画像データには、ディジタルカメラの機能によって、撮影日時を示す情報等を含むメタデータが付加されることが多い。このメタデータに含まれる情報を利用すれば、例えば特定の日に撮影されたデジタル画像データを検索することができ、デジタル画像データの管理の一助となる。ところが、一般的なメタデータに含まれる情報は、撮影日時や撮影時の条件(ISO感度、シャッタースピードなど)を示す情報であり、コンテンツの内容に関連する情報は含まれない。このため、メタデータに含まれる情報を用いても、コンテンツの内容に基づく管理を行うことは困難であった。
ダブリンコアやMPEG−7など、メタデータの体系も整備されているが、これらの体系に基づいてメタデータを作成、入力する作業は専門家ではない人々には困難な作業であった。
【特許文献1】特開2005−196598号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
これを解決するため、特許文献1記載の技術においては、コンテンツ間を連携することによりメタデータを増加、更新する技術が開示されている。
しかしながら、特許文献1記載の技術では、連携対象のコンテンツとしては、属性の同一(同種)のコンテンツを使用することが前提であり、属性の異なるコンテンツを連携させた場合、無用なメタデータが増加してしまうという問題があった。
また、単純に連携対象のコンテンツに対応するメタデータの和集合を求めることによりメタデータを増加、更新するだけであり、場合によってはメタデータとして用いたくない個人情報に関連するメタデータまで共有されてしまうという不具合があった。
さらに個人情報の共有がある程度許される知人に関連するコンテンツだけでメタデータを増加、更新させようとすると、実際に活用可能なメタデータの総数が著しく減少し、実用的ではなくなってしまうという問題が生じる。
そこで、本発明の目的は、動画像あるいは静止画像に対し、検索用メタデータを付与するに際し、個人情報を保護しつつ、有用な検索用メタデータを作成し、共有化することが容易となる情報処理装置、情報処理装置の制御方法および制御プログラムを提供することにある。
【課題を解決するための手段】
【0004】
上記課題を解決するため、本発明の第1の態様は、動画像あるいは静止画像に関連づけられた検索用メタデータに含まれる単語のうち共有を禁止する単語である非共有単語を記憶する非共有単語記憶部と、
前記動画像あるいは前記静止画像を検索するのに用いるべく対応づけられた原検索用メタデータを前記検索用メタデータとして抽出する、又は、前記動画像あるいは前記静止画像に関連づけられた関連コンテンツから前記検索用メタデータを抽出するメタデータ抽出部と、
前記検索用メタデータから前記非共有単語を除去して検索用共有メタデータを生成するメタデータ生成部と、を備えたことを特徴とする情報処理装置である。
上記構成によれば、非共有単語記憶部は、動画像あるいは静止画像に関連づけられた検索用メタデータに含まれる単語のうち共有を禁止する単語である非共有単語を記憶する。
メタデータ抽出部は、前記動画像あるいは前記静止画像を検索するのに用いるべく対応づけられた原検索用メタデータを前記検索用メタデータとして抽出する、又は、前記動画像あるいは前記静止画像に関連づけられた関連コンテンツから前記検索用メタデータを抽出する。
これにより、メタデータ生成部は、検索用メタデータから前記非共有単語を除去して検索用共有メタデータを生成する。
【0005】
したがって、メタデータ生成部は、メタデータ生成対象の動画像あるいは静止画像に確実に関連づけられた検索用メタデータに基づいて検索用共有メタデータを生成することができ、氏名などを含む個人情報のように、不特定多数のユーザと共有したくないメタデータが検索用メタデータとして他のユーザと共有されることがなく、不特定多数のユーザとメタデータを共有して利用することができ、検索性を向上させて、ユーザの利便性を向上させることができる。
この場合において、関連コンテンツとしては、例えば、個人のホームページ、ブログ、個人が送受信した電子メール、新聞やイベントに関連したホームページなどが挙げられ、これらはいずれも、画像検索用メタデータの付与対象である動画像あるいは静止画像が撮影された日時、場所、イベントに関する情報を含むものである。
例えば、関連コンテンツがブログである場合には、旅行や家庭行事に関する記述が含まれる可能性が高いからである。また、関連コンテンツが電子メールの場合には、旅行や家庭行事に関する内容が送受信される可能性が高いからである。
【0006】
また、本発明の第2の態様は、本発明の第1の態様において、前記メタデータ生成部により生成された前記検索用共有メタデータを外部の情報処理装置と通信ネットワークを介して交換するメタデータ交換部を備えたことを特徴としている。
上記構成によれば、メタデータ交換部は、メタデータ生成部により生成された検索用共有メタデータを外部の情報処理装置と通信ネットワークを介して交換する。
したがって、外部の情報処理装置と検索用共有メタデータを共有でき、情報資源の有効利用を図れるとともに、より多くのメタデータを利用することができるので、ユーザの利便性および検索性の向上が図れる。
【0007】
また、本発明の第3の態様は、本発明の第2の態様において、前記メタデータ交換部は、当該情報処理装置に対応するデータに対してアクセス権を有する外部の情報処理装置とは、前記検索用メタデータを通信ネットワークを介して交換し、当該情報処理装置に対応するデータに対してアクセス権を有さない外部の情報処理装置とは、前記メタデータ生成部により生成された前記検索用共有メタデータを前記通信ネットワークを介して交換する、ことを特徴としている。
上記構成によれば、アクセス権を有する外部の情報処理装置と、アクセス権を有しない外部の情報処理装置とで、共有する検索用メタデータを異ならせることができ、多くの検索用メタデータの利用と、個人情報の保護という相反する目的を両立することができる。
【0008】
また、本発明の第4の態様は、本発明の第2の態様または第3の態様において、前記動画像あるいは前記静止画像には複数の前記検索用メタデータが関連づけられ、当該情報処理装置と前記外部の情報処理装置との間で、前記検索用共有メタデータの生成対象の前記動画像あるいは前記静止画像に対応するいずれかの前記検索用メタデータが合致する場合に、前記メタデータ交換部は前記検索用共有メタデータの交換を行うことを特徴としている。
上記構成によれば、当該情報処理装置と前記外部の情報処理装置との間で、検索用共有メタデータの生成対象の動画像あるいは静止画像に対応するいずれかの検索用メタデータが合致する場合に、メタデータ交換部は検索用共有メタデータの交換を行うので、自動的に検索用メタデータを収集することができ、ユーザの利便性を向上することができる。
【0009】
また、本発明の第5の態様は、本発明の第1ないし第4の態様において、前記非共有単語は、少なくとも個人情報として管理されるべき単語を含むことを特徴としている。
したがって、少なくとも個人情報として管理されるべき単語は、検索用共有データ野として不特定多数のユーザに共有されることがなく、個人情報の保護が図れる。
【0010】
また、本発明の第7の態様は、動画像あるいは静止画像に関連づけられた検索用メタデータに含まれる単語のうち共有を禁止する単語である非共有単語を記憶する非共有単語記憶部を備えた情報処理装置の制御方法であって、 前記動画像あるいは前記静止画像を検索するのに用いるべく予め対応づけられた原検索用メタデータを前記検索用メタデータとして抽出する、又は、前記動画像あるいは前記静止画像に関連づけられた関連コンテンツから前記検索用メタデータを抽出するメタデータ抽出過程と、前記検索用メタデータから前記非共有単語を除去して検索用共有メタデータを生成するメタデータ生成過程と、を備えたことを特徴とする情報処理装置の制御方法である。
したがって、上記構成によれば、メタデータ生成対象の動画像あるいは静止画像に確実に関連づけられた検索用メタデータに基づいて検索用共有メタデータを生成することができ、氏名などを含む個人情報のように、不特定多数のユーザと共有したくないメタデータが検索用メタデータとして他のユーザと共有されることがなく、不特定多数のユーザとメタデータを共有して利用することができ、検索性を向上させて、ユーザの利便性を向上させることができる。
【0011】
また、本発明の第8の態様は、動画像あるいは静止画像に関連づけられた検索用メタデータに含まれる単語のうち共有を禁止する単語である非共有単語を記憶する非共有単語記憶部を備えた情報処理装置をコンピュータにより制御するための制御プログラムであって、前記動画像あるいは前記静止画像を検索するのに用いるべく予め対応づけられた原検索用メタデータを前記検索用メタデータとして抽出させ、又は、前記動画像あるいは前記静止画像に関連づけられた関連コンテンツから前記検索用メタデータを抽出させ、前記検索用メタデータから前記非共有単語を除去して検索用共有メタデータを生成させる、ことを特徴とする制御プログラムである。
したがって、上記構成によれば、メタデータ生成対象の動画像あるいは静止画像に確実に関連づけられた検索用メタデータに基づいて検索用共有メタデータを生成することができ、氏名などを含む個人情報のように、不特定多数のユーザと共有したくないメタデータが検索用メタデータとして他のユーザと共有されることがなく、不特定多数のユーザとメタデータを共有して利用することができ、検索性を向上させて、ユーザの利便性を向上させることができる。
【発明を実施するための最良の形態】
【0012】
次に図面を参照して本発明の好適な実施形態について説明する。
図1は実施形態の画像情報処理システムの概要構成ブロック図である。
画像情報処理システム1は、ソーシャル・ネットワーキング・サービス(Social Networking Service:SNS)を構成しており、大別すると、SNSにおける各種サービスを提供するサービスサーバ2と、サービスサーバ2に接続され、各種サービスのための情報格納した情報データベース(DB)3と、サービスサーバ2が接続された通信ネットワーク4と、通信ネットワーク4に接続された複数の画像情報処理装置10と、を備えている。
この場合において、画像情報処理装置10は、SNSに参加している各ユーザが所有している。
【0013】
図2は、実施形態の画像情報処理装置の概要構成ブロック図である。
画像情報処理装置10は、パーソナルコンピュータとして構成されており、画像処理を行う画像情報処理装置本体11と、各種画像入力を行う画像入力装置12と、各種操作を行うためのキーボード、マウスなどの入力装置13と、各種表示を行う液晶ディスプレイなどの表示装置14と、印刷を行うプリンタなどの出力装置15と、各種データを記憶するハードディスク装置などの外部記憶装置16と、を備えている。
画像情報処理装置本体11は、当該画像情報処理装置本体11全体の制御を行うマイクロプロセッサユニット(MPU)21と、各種制御プログラムを含む各種データを記憶するROM22と、MPU21のワークエリアとして機能するRAM23と、LAN、インターネットなどの外部の通信ネットワークとの間のインタフェース動作を行う通信インタフェース部24と、を備えている。
【0014】
図3は、画像情報処理装置の機能ブロック図である。
画像情報処理装置10は、大別すると、映像・画像入力部31と、テキスト抽出部32と、形態素解析部33と、レイアウト解析部34と、重要語句抽出部35と、フィルタリング部36と、出現確率算出部37と、を備えている。
【0015】
映像・画像入力部31は、放送電波、通信ネットワークあるいはICメモリカードなどのデータ記憶媒体を介して動画像データ(動画[あるいは映像]に対応)あるいは静止画像データ(静止画に対応)を入力する。具体的には、様々な画像フォーマットの画像を、様々な圧縮形式、ファイル形式を有するファイルや、スキャナ、ディジタルカメラ、ディジタルビデオカメラなどの入力装置から抽出あるいは受け取ることとなる。この場合において、圧縮形式としては、JPEG、MPEG−4、H.264等が挙げられる。
【0016】
テキスト抽出部32は、XHTML(個人のホームページ、ブログなど)、送受信した電子メール、XML(楽曲の検索用メタデータなど)で記述されているハイパーテキストデータからタグ情報以外のテキストデータを抽出する。
形態素解析部33は、ブログなどのテキストデータあるいは音声認識部により音声認識したテキストデータに対応するテキストの形態素解析を行い、単語(語句)を抽出し、必要に応じてステミングを行う。
【0017】
レイアウト解析部34は、ブログやホームページなどのように、動画像あるいは静止画像と、テキストとが混在してレイアウトされている場合、動画像あるいは静止画像と、テキストとの位置関係を明らかにする。
【0018】
重要語句抽出部35は、複数の関連コンテンツから、最も関連が深い関連コンテンツ(コンテンツiと表記)、からメタデータとする語句を抽出する。
この場合において、関連コンテンツを代表する語句、すなわち、当該関連コンテンツの中で重要度の高い語句を、動画像あるいは静止画像を最も良く表現する語句とみなして、重要語句と表現する。
ここでは、TF/IDF(Term Frequency & Inverse Document Frequency)処理によって重要度を算出する。そして、重要語句抽出部35は、下記式(1)によって、形態素解析部33によりコンテンツiから抽出された各々の語句jの重要度tfidf(i,j)を求める。
W(t,d)=TF(t,d)×IDF(t) ……(1)
ここで、TF(t,d)は、テキストデータdにおける語句tの出現頻度である。
IDF(t)は、検索された全てのコンテンツのうち、語句tが出現するコンテンツのテキストデータの数を語句tの出現頻度として計算したものである。IDF(t)は、語句tが、関連コンテンツのテキストデータ中に特異的に出現する語であるかどうかを示す指標である。他のコンテンツにおける出現頻度が少なく、特定のコンテンツに多く出現する語句は、重要な語句とみなされる。
TF(t,d)は、関連コンテンツのテキストデータにおける出現頻度をもとに、語句の重要度を表す指標である。言い換えれば、コンテンツ中に多く出現する語句が、重要な語句とみなされる。
【0019】
フィルタリング部36は、動画像あるいは静止画像に付与される検索用メタデータの候補となるメタデータ候補を動画像あるいは静止画像に付与すべき検索用メタデータとするためのフィルタリングならびに形態素解析部33と共働して個人情報保護フィルタとしての機能を実現する。
【0020】
この場合において、メタデータ候補となる語句は、重要度の比較的高い語句あるいは出現確率が比較的高い語句が用いられる。
具体的には、重要度の高い語句をメタデータ候補としている場合には、フィルタリング後のtfidf(i,j)の値が一定値以上の場合、あるいは、後述する出現確率算出部37が算出した語句jの出現確率P(j)が一定値以上の場合に検索用メタデータとして使用するようにフィルタリングするようになっている。
【0021】
出現確率算出部37は、以下のいずれかを用いて出現確率を算出する。
第1の手法としては、メタデータが付与された映像画像データベース(コンテンツ)を参照し、付加されている検索用メタデータを使用する。
また、第2の手法として、動画像あるいは静止画像、およびテキストデータを含むコンテンツ(例えば、ブログ、ホームページを含むウェブページなど)を利用し、動画像あるいは静止画像に関連すると推定されるテキストデータに含まれる語句を検索用メタデータとして使用する。
【0022】
出現確率算出部37は、レイアウト解析部34の解析結果に基づいて、画像枠の近傍に配置されているテキストは、画像枠内に表示されている動画像あるいは静止画像と関連が高いと推定して、この領域のテキストに含まれる語句を検索用メタデータとして使用することとなる。
これに対し、出現確率算出部37は、画像枠から離れてレイアウトされているテキストは画像枠内に表示されている動画像あるいは静止画像と関連が低いと推定してこれらの領域に含まれる語句を検索用メタデータとして使用することはない。
【0023】
このように、出現確率算出部37が、ホームページあるいはブログに含まれるテキスト(データ)から出現確率を算出するのは、年月とともに新しく使われるようになる新規な語句(新語)を含めて検索用メタデータとして使用できるようにするためである。
そして、出現確率算出部37は、上記の各コンテンツから以下のように、語句jの出現確率P(j)を求める。
語句jの出現確率P(j)=語句jの出現数/Σ(語句jの出現数)
ここで、語句jの出現数とは、あるコンテンツに出現する語句jの数であり、Σ(語句jの出現数)とは、全コンテンツに出現する語句jの数である。
【0024】
次に、実施形態の動作説明に先立ち、SNSにおけるユーザデータの構成について説明する。
図4は、SNSにおけるユーザデータの構成説明図である。
サービスサーバに接続されたDBには、ブログのデータを格納したブログDB41と、メッセージのデータを格納したメッセージDB42と、写真データをメタデータ(原検索メタデータ)とともに記憶する写真DB43と、各ユーザのアクセス権に関する情報が格納されたアクセス権情報格納部44と、ブログのデータ、メッセージのデータあるいは写真データに対応するメタデータから個人情報を除去して個人情報除去メタデータ46を生成する個人情報保護フィルタ部45と、を備えている。
【0025】
ここで、個人情報保護フィルタ部について説明する。
図5は、個人情報保護フィルタ部の機能ブロック図である。
個人情報保護フィルタ部45は、実際には、上述した形態素解析部33およびフィルタリング部36により構成されている。
フィルタリング部36は、個人情報保護フィルタ部として機能する場合、大別すると、予め登録された非共有単語を記憶するデータベース(DB)である非共有単語DB51と、形態素解析部33により形態素解析処理後に得られる単語群と非共有単語DB51に記憶された非共有単語とを比較する非共有単語比較部52と、非共有単語比較部52の結果に基づいて形態素解析処理後に得られる単語群から非共有単語を除いて個人情報除去メタデータとして再構成するメタデータ再構成部53と、を備えている。
非共有単語DB51への非共有単語の登録は、ユーザが直接入力、登録しても良いし、当該ユーザに関連するコンテンツ(ホームページ、ブログ、メールなどの内容)を解析して自動的に抽出(テキストマイニング)し、自動的に登録するようにしても良い。
上記構成により、個人情報保護フィルタを構成する非共有単語比較部52は、形態素解析部33により形態素解析処理後に得られる単語群と非共有単語DB51に記憶された非共有単語とを比較し、一致する単語を抽出する。
【0026】
この結果、メタデータ再構成部53は、非共有単語比較部52の結果に基づいて形態素解析処理後に得られる単語群から非共有単語を除いて個人情報除去メタデータ46(検索用共有メタデータ)として再構成して出力する。
次に実施形態の動作について説明する。
図6は、実施形態の処理フローチャートである。
まず、ユーザは、画像情報処理装置10を介して、サービスサーバ2にアクセスし、SNSに写真データをアップロードする(ステップS11)。
次にアップロードされた写真データに付随するメタデータを解析する(ステップS12)。
つづいてサービスサーバ2は、個人情報フィルタを通した個人情報除去メタデータ46を作成する(ステップS13)。
【0027】
次に付与済みメタデータ数が既に上限数に達しているか否かを判別する(ステップS14)。
ステップS14の判別において、付与済みのメタデータ数が上限に達している場合には(ステップS14;Yes)、処理を終了する。
ステップS14の判別において、付与済みのメタデータ数が未だ上限に達していない場合には(ステップS14;No)、当該ユーザのメタデータをアクセス許可を受けている他のメンバーのメタデータと比較する(ステップS15)。
次に比較したメタデータに合致するものがあるか否かを判別する(ステップS16)。ここで、合致するとは、完全一致のみならず、所定の許容範囲内のものも含む。例えば、所定時間差範囲内、緯度、経度座標における所定距離範囲内などの場合である。
ステップS16の判別において、比較したメタデータに合致するものがある場合には(ステップS16;Yes)、合致するもの同士でメタデータを交換し、付与する(ステップS17)。
【0028】
ここで、具体的にメタデータの交換について説明する。
図7は、アクセス許可を有しているユーザ(ユーザA、ユーザB)同士のメタデータの交換の説明図である。
この場合において、ユーザAは、ユーザBに対するアクセス許可を受けており、同様にユーザBは、ユーザAに対するアクセス許可を受けている。
この場合には、図7に示すように、元々のメタデータをそのまま交換することとなる。
図8は、メタデータ交換前の各ユーザのメタデータの保有状態の説明図である。
図9は、メタデータ交換後の各ユーザのメタデータの保有状態の説明図である。
図8に示すように、ユーザAの保有するメタデータMAは、写真の撮影日付を表す日時データ61A、撮影場所を表すGPSデータ62A、写真の内容を表すイベント名データ63A、写真撮影日時の天気を表す天気データ64A、撮影場所を表す地名データ65Aなどが含まれる。
【0029】
同様にユーザBの保有するメタデータMBは、写真の撮影日付を表す日時データ61B、撮影場所を表すGPSデータ62B、写真の内容を表すイベント名データ63B、写真撮影日時の天気を表す天気データ64B、撮影場所を表す地名データ65Bなどが含まれる。
この場合において、図9に示すように、ユーザAの保有するメタデータMAおよびユーザBの保有するメタデータMBの日時データ61A、61BおよびGPSデータ62A、62Bが合致しているので、同一のイベントである可能性が高いため、イベント名データ63A、63Bの交換を行うこととなる。
この結果、交換前のユーザAの保有するメタデータMAのイベント名データ63Aは、「運動会」のみであったのに対し、交換後のイベント名データ63Aは、ユーザBの保有するメタデータMBのイベント名データ63Bに含まれている「○○の100m走」が追加されることとなる。
同様に、交換前のユーザBの保有するメタデータMBのイベント名データ63Bは、「○○の100m走」のみであったのに対し、交換後のイベント名データ63Bは、ユーザAの保有するメタデータMAのイベント名データ63Aに含まれている「運動会」が追加されることとなる。
【0030】
つづいて、付与済みメタデータ数が既に上限数に達しているか否かを判別する(ステップS18)。
ステップS18の判別において、付与済みのメタデータ数が上限に達している場合には(ステップS18;Yes)、処理を終了する。
ステップS18の判別において、付与済みのメタデータ数が上限に達していない場合には(ステップS18;No)、処理をステップS19に移行する。
ステップS16の判別において、比較したメタデータに合致するものが無い場合には(ステップS16;No)、他にアクセス許可を受けているメンバーが存在するか否かを判別する(ステップS19)。
ステップS19の判別において、他にアクセス許可を受けているメンバーが存在する場合には(ステップS19;Yes)、処理を再びステップS15に移行し、以下同様の処理を行う。
【0031】
ステップS19の判別において、他にアクセス許可を受けているメンバーが存在しない場合には(ステップS19;No)、アクセス許可を受けていないメンバー(アクセス不許可メンバー)と個人情報を除去した後のメタデータである個人情報除去メタデータ46同士を比較する(ステップS20)
次に比較した個人情報除去メタデータ46に合致するものがあるか否かを判別する(ステップS21。
ステップS21の判別において、比較した個人情報除去メタデータ46に合致するものがある場合には(ステップS21;Yes)、合致するもの同士で個人情報除去メタデータ46を交換し、付与する(ステップS22)。
【0032】
図10は、アクセス許可を有していないユーザ(ユーザA、ユーザC)同士のメタデータの交換の説明図である この場合において、ユーザAは、ユーザBに対するアクセス許可を受けているが、ユーザCに対するアクセス許可は受けておらず、同様にユーザCは、ユーザDに対するアクセス許可を受けているが、ユーザAに対するアクセス許可は受けていないものとする。
この場合には、図10に示すように、図7の場合とは異なり、元々のメタデータをそのまま交換するのではなく、個人情報除去メタデータ46を交換することとなる。
【0033】
図11は、メタデータ交換前の各ユーザのメタデータの保有状態の説明図である。
図12は、メタデータ交換後の各ユーザのメタデータの保有状態の説明図である。
図11に示すように、ユーザAの保有するメタデータMAは、写真の撮影日付を表す日時データ61A、撮影場所を表すGPSデータ62A、写真の内容を表すイベント名データ63A、写真撮影日時の天気を表す天気データ64A、撮影場所を表す地名データ65Aなどが含まれる。
同様にユーザCの保有するメタデータMCは、写真の撮影日付を表す日時データ61C、撮影場所を表すGPSデータ62C、写真の内容を表すイベント名データ63C、写真撮影日時の天気を表す天気データ64C、撮影場所を表す地名データ65Cなどが含まれる。
【0034】
この場合において、図12に示すように、ユーザAの保有するメタデータMAおよびユーザCの保有するメタデータMCの日時データ61A、61CおよびGPSデータ62A、62Cが合致しているので、同一のイベントである可能性が高いため、イベント名データ63A、63Cの交換を行うこととなる。
この結果、交換前のユーザAの保有するメタデータMAのイベント名データ63Aは、「運動会」のみであったのに対し、交換後のイベント名データ63Aは、ユーザCの保有するメタデータMCのイベント名データ63Cに含まれている「○○の100m走」から個人情報を除去した「100m走」が追加されることとなる。
同様に、交換前のユーザCの保有するメタデータMCのイベント名データ63Cは、「○○の100m走」のみであったのに対し、交換後のイベント名データ63Cは、ユーザAの保有するメタデータMAのイベント名データ63Aに含まれている「運動会」が追加されることとなる。この場合にメタデータMAのイベント名データ63Aに含まれている「運動会」には、個人情報は含まれていないので、そのまま交換されることとなる。
【0035】
つづいて、付与済みメタデータ数が既に上限数に達しているか否かを判別する(ステップS23)。
ステップS23の判別において、付与済みのメタデータ数が上限に達している場合には(ステップS23;Yes)、処理を終了する。
ステップS23の判別において、付与済みのメタデータ数が上限に達していない場合には(ステップS23;No)、処理をステップS24に移行する。
ステップS21の判別において、比較した個人情報除去メタデータ46に合致するものが無い場合には(ステップS21;No)、他にアクセス不許可メンバーが存在するか否かを判別する(ステップS24)。
ステップS24の判別において、他にアクセス許可を受けているメンバーが存在する場合には(ステップS24;Yes)、処理を再びステップS20に移行し、以下同様の処理を行う。
【0036】
以上の説明のように、本実施形態によれば、特定のユーザから見た場合、SNSのように自分以外のユーザは少数のアクセス権のあるユーザと圧倒的多数のアクセス権の無いユーザとから構成されているという状況においても、圧倒的多数のアクセス権の無いユーザから得られる検索用メタデータを自己のデータ(例えば、写真データ)のメタデータとして用いることができ、多数の他のユーザにより生成された多数のメタデータを有効に活用することができる。
すなわち、本実施形態によれば、原検索用メタデータから個人情報を削除し、除去することで、アクセス権の有無にかかわらず、全体で共有可能なメタデータ量が増大し、効率的なメタデータ増殖、利用が可能となる。
また、アクセス権を有するユーザに関しては、従来と同様に、個人情報も含んだメタデータ交換が可能になり、アクセス権の有無を把握することなく、メタデータを利用することができ、利便性の向上を実現できる。
【0037】
以上の説明においては、個人情報除去メタデータ46を自動的に作成、付与する場合の実施形態であり、ユーザが生成された個人情報除去メタデータ46を生成時に確認することはできなかったが、生成時に確認できるように構成することも可能である。以下、具体的に説明する。
図13は、個人情報除去メタデータの作成確認画面の一例の説明図である。
図13に示すように、表示画面70には、個人情報除去メタデータ46の作成対象の写真データ71、元メタデータ(原検索用メタデータ)を構成する日時データ72、GPSデータ73、天気データ74、地名データ75およびイベント名データ76のうち、イベント名データ76A=「○○の運動会」から固有名詞である「○○」および助詞「の」が個人情報として除去されることにより、個人情報除去メタデータ46(非検索用共有メタデータ)としてのイベント名データ76B=「運動会」が生成されていることが確認できるので、ユーザは確認ボタンをクリックすることにより、当該個人情報除去メタデータ46を登録させることとなる。
また、この場合において、アクセス権を有していないメンバーのメタデータを用いる場合に、個々の写真データに付随したメタデータを順々に調査するのではなく、合致するメタデータのうち、SNS全体で最も良く用いられているものから順番にメタデータとして採用することで、検索性のよいメタデータ付与が可能になる。
【0038】
以上の説明においては、付与済みのメタデータ数が上限に達している場合には、新たなメタデータの付与は行わない構成としていたが、SNS内における合致するメタデータのうち、SNS内における利用頻度がより高いメタデータが現れた場合には、利用頻度のより高いメタデータに置き換えるように構成することも可能である。
図14は、利用頻度を考慮したメタデータ置き換え処理の概念図である。
具体的には、図14に示すように、一つのGPSデータ81のデータ内容に対し、共有メタデータDB82に合致する地名が複数含まれている場合、すなわち、対応する地名として、「△△小学校」、「学校」、および「□□町△丁目」があり、利用頻度が「△△小学校」が最も高く、「□□町△丁目」が最も低い場合には、地名データ=「学校」を「△△小学校」に置き換えるようにすればよい。
【0039】
なお、上記実施形態において、図2に示した構成は、主としてハードウェア構成により、或いはハードウェアとソフトウェアとの協働により実現されるものであり、画像情報処理装置10を構成する各部の具体的形態や物理的態様については任意である。
【0040】
以上の説明においては、画像情報処理装置10は、具体的には、パーソナルコンピュータ、PDA、携帯型電話機等に適用可能であるが、デジタルスチルカメラ、ディジタルビデオカメラ、スキャナ、プロジェクタ、テレビ、プリンタおよびその他の画像データを処理する電子機器に実装または接続することが可能である。
以上の説明においては、上記各機能を実現するための制御プログラムが、予めROM22に格納されている場合について説明したが、制御プログラムを、コンピュータ(CPU)読取可能な記録媒体に記録するようにしてもよい。このような構成であれば、コンピュータによってプログラムが記憶媒体から読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、上記各実施形態と同等の作用および効果が得られる。
【0041】
ここで、記憶媒体とは、RAM、ROM等の半導体記憶媒体、FD、HD等の磁気記憶型記憶媒体、CD、CDV、LD、DVD等の光学的読取方式記憶媒体、MO等の磁気記憶型/光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、どのような記憶媒体であってもよい。
また、インターネット、LANなどの通信ネットワークおよび通信インタフェース部24を介して制御用プログラムをダウンロードし、インストールして実行するように構成することも可能である。
【図面の簡単な説明】
【0042】
【図1】実施形態の画像情報処理システムの概要構成ブロック図である。
【図2】実施形態の画像情報処理装置の概要構成ブロック図である。
【図3】画像情報処理装置の機能ブロック図である。
【図4】SNSにおけるユーザデータの構成説明図である。
【図5】個人情報保護フィルタ部の機能ブロック図である。
【図6】実施形態の処理フローチャートである。
【図7】アクセス許可を有しているユーザ同士のメタデータ交換の説明図である。
【図8】メタデータ交換前の各ユーザのメタデータの保有状態の説明図である。
【図9】メタデータ交換後の各ユーザのメタデータの保有状態の説明図である。
【図10】アクセス許可を有していないユーザ同士のメタデータ交換の説明図である。
【図11】メタデータ交換前の各ユーザのメタデータの保有状態の説明図である。
【図12】メタデータ交換後の各ユーザのメタデータの保有状態の説明図である。
【図13】個人情報除去メタデータの作成確認画面の一例の説明図である。
【図14】利用頻度を考慮したメタデータ置き換え処理の概念図である。
【符号の説明】
【0043】
1…画像情報処理システム、2…サービスサーバ、4…通信ネットワーク、10…画像情報処理装置、11…画像情報処理装置本体、12…画像入力装置、13…入力装置、14…表示装置、15…出力装置、16…外部記憶装置、21…MPU、22…ROM、23…RAM、24…通信インタフェース部、31…映像・画像入力部、32…テキスト抽出部、33…形態素解析部、34…レイアウト解析部、35…重要語句抽出部、36…フィルタリング部、37…出現確率算出部、41…ブログDB、42…メッセージDB、43…写真DB、44…アクセス権情報格納部、45…個人情報保護フィルタ部、46…個人情報除去メタデータ、51…非共有単語DB、52…非共有単語比較部、53…メタデータ再構成部、61A〜61C…日時データ、62A〜62C…GPSデータ、63A〜63C…イベント名データ、64A〜64C…天気データ、65A〜65C…地名データ、70…表示画面、71…写真データ、72…日時データ、73…GPSデータ、74…天気データ、75…地名データ、76…イベント名データ、76A〜76B…イベント名データ、81…GPSデータ、MA、MB、MC…メタデータ。
【技術分野】
【0001】
本発明は、情報処理装置、情報処理装置の制御方法および制御プログラムに係り、特に静止画像や動画像等の検索用メタデータの作成、共有化の容易化技術に関する。
【背景技術】
【0002】
近年、ディジタルカメラやデジタルビデオ、カメラ付携帯電話等の普及により、個人が保存している画像等のコンテンツは増加する一方である。代表的なコンテンツであるデジタル画像データには、ディジタルカメラの機能によって、撮影日時を示す情報等を含むメタデータが付加されることが多い。このメタデータに含まれる情報を利用すれば、例えば特定の日に撮影されたデジタル画像データを検索することができ、デジタル画像データの管理の一助となる。ところが、一般的なメタデータに含まれる情報は、撮影日時や撮影時の条件(ISO感度、シャッタースピードなど)を示す情報であり、コンテンツの内容に関連する情報は含まれない。このため、メタデータに含まれる情報を用いても、コンテンツの内容に基づく管理を行うことは困難であった。
ダブリンコアやMPEG−7など、メタデータの体系も整備されているが、これらの体系に基づいてメタデータを作成、入力する作業は専門家ではない人々には困難な作業であった。
【特許文献1】特開2005−196598号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
これを解決するため、特許文献1記載の技術においては、コンテンツ間を連携することによりメタデータを増加、更新する技術が開示されている。
しかしながら、特許文献1記載の技術では、連携対象のコンテンツとしては、属性の同一(同種)のコンテンツを使用することが前提であり、属性の異なるコンテンツを連携させた場合、無用なメタデータが増加してしまうという問題があった。
また、単純に連携対象のコンテンツに対応するメタデータの和集合を求めることによりメタデータを増加、更新するだけであり、場合によってはメタデータとして用いたくない個人情報に関連するメタデータまで共有されてしまうという不具合があった。
さらに個人情報の共有がある程度許される知人に関連するコンテンツだけでメタデータを増加、更新させようとすると、実際に活用可能なメタデータの総数が著しく減少し、実用的ではなくなってしまうという問題が生じる。
そこで、本発明の目的は、動画像あるいは静止画像に対し、検索用メタデータを付与するに際し、個人情報を保護しつつ、有用な検索用メタデータを作成し、共有化することが容易となる情報処理装置、情報処理装置の制御方法および制御プログラムを提供することにある。
【課題を解決するための手段】
【0004】
上記課題を解決するため、本発明の第1の態様は、動画像あるいは静止画像に関連づけられた検索用メタデータに含まれる単語のうち共有を禁止する単語である非共有単語を記憶する非共有単語記憶部と、
前記動画像あるいは前記静止画像を検索するのに用いるべく対応づけられた原検索用メタデータを前記検索用メタデータとして抽出する、又は、前記動画像あるいは前記静止画像に関連づけられた関連コンテンツから前記検索用メタデータを抽出するメタデータ抽出部と、
前記検索用メタデータから前記非共有単語を除去して検索用共有メタデータを生成するメタデータ生成部と、を備えたことを特徴とする情報処理装置である。
上記構成によれば、非共有単語記憶部は、動画像あるいは静止画像に関連づけられた検索用メタデータに含まれる単語のうち共有を禁止する単語である非共有単語を記憶する。
メタデータ抽出部は、前記動画像あるいは前記静止画像を検索するのに用いるべく対応づけられた原検索用メタデータを前記検索用メタデータとして抽出する、又は、前記動画像あるいは前記静止画像に関連づけられた関連コンテンツから前記検索用メタデータを抽出する。
これにより、メタデータ生成部は、検索用メタデータから前記非共有単語を除去して検索用共有メタデータを生成する。
【0005】
したがって、メタデータ生成部は、メタデータ生成対象の動画像あるいは静止画像に確実に関連づけられた検索用メタデータに基づいて検索用共有メタデータを生成することができ、氏名などを含む個人情報のように、不特定多数のユーザと共有したくないメタデータが検索用メタデータとして他のユーザと共有されることがなく、不特定多数のユーザとメタデータを共有して利用することができ、検索性を向上させて、ユーザの利便性を向上させることができる。
この場合において、関連コンテンツとしては、例えば、個人のホームページ、ブログ、個人が送受信した電子メール、新聞やイベントに関連したホームページなどが挙げられ、これらはいずれも、画像検索用メタデータの付与対象である動画像あるいは静止画像が撮影された日時、場所、イベントに関する情報を含むものである。
例えば、関連コンテンツがブログである場合には、旅行や家庭行事に関する記述が含まれる可能性が高いからである。また、関連コンテンツが電子メールの場合には、旅行や家庭行事に関する内容が送受信される可能性が高いからである。
【0006】
また、本発明の第2の態様は、本発明の第1の態様において、前記メタデータ生成部により生成された前記検索用共有メタデータを外部の情報処理装置と通信ネットワークを介して交換するメタデータ交換部を備えたことを特徴としている。
上記構成によれば、メタデータ交換部は、メタデータ生成部により生成された検索用共有メタデータを外部の情報処理装置と通信ネットワークを介して交換する。
したがって、外部の情報処理装置と検索用共有メタデータを共有でき、情報資源の有効利用を図れるとともに、より多くのメタデータを利用することができるので、ユーザの利便性および検索性の向上が図れる。
【0007】
また、本発明の第3の態様は、本発明の第2の態様において、前記メタデータ交換部は、当該情報処理装置に対応するデータに対してアクセス権を有する外部の情報処理装置とは、前記検索用メタデータを通信ネットワークを介して交換し、当該情報処理装置に対応するデータに対してアクセス権を有さない外部の情報処理装置とは、前記メタデータ生成部により生成された前記検索用共有メタデータを前記通信ネットワークを介して交換する、ことを特徴としている。
上記構成によれば、アクセス権を有する外部の情報処理装置と、アクセス権を有しない外部の情報処理装置とで、共有する検索用メタデータを異ならせることができ、多くの検索用メタデータの利用と、個人情報の保護という相反する目的を両立することができる。
【0008】
また、本発明の第4の態様は、本発明の第2の態様または第3の態様において、前記動画像あるいは前記静止画像には複数の前記検索用メタデータが関連づけられ、当該情報処理装置と前記外部の情報処理装置との間で、前記検索用共有メタデータの生成対象の前記動画像あるいは前記静止画像に対応するいずれかの前記検索用メタデータが合致する場合に、前記メタデータ交換部は前記検索用共有メタデータの交換を行うことを特徴としている。
上記構成によれば、当該情報処理装置と前記外部の情報処理装置との間で、検索用共有メタデータの生成対象の動画像あるいは静止画像に対応するいずれかの検索用メタデータが合致する場合に、メタデータ交換部は検索用共有メタデータの交換を行うので、自動的に検索用メタデータを収集することができ、ユーザの利便性を向上することができる。
【0009】
また、本発明の第5の態様は、本発明の第1ないし第4の態様において、前記非共有単語は、少なくとも個人情報として管理されるべき単語を含むことを特徴としている。
したがって、少なくとも個人情報として管理されるべき単語は、検索用共有データ野として不特定多数のユーザに共有されることがなく、個人情報の保護が図れる。
【0010】
また、本発明の第7の態様は、動画像あるいは静止画像に関連づけられた検索用メタデータに含まれる単語のうち共有を禁止する単語である非共有単語を記憶する非共有単語記憶部を備えた情報処理装置の制御方法であって、 前記動画像あるいは前記静止画像を検索するのに用いるべく予め対応づけられた原検索用メタデータを前記検索用メタデータとして抽出する、又は、前記動画像あるいは前記静止画像に関連づけられた関連コンテンツから前記検索用メタデータを抽出するメタデータ抽出過程と、前記検索用メタデータから前記非共有単語を除去して検索用共有メタデータを生成するメタデータ生成過程と、を備えたことを特徴とする情報処理装置の制御方法である。
したがって、上記構成によれば、メタデータ生成対象の動画像あるいは静止画像に確実に関連づけられた検索用メタデータに基づいて検索用共有メタデータを生成することができ、氏名などを含む個人情報のように、不特定多数のユーザと共有したくないメタデータが検索用メタデータとして他のユーザと共有されることがなく、不特定多数のユーザとメタデータを共有して利用することができ、検索性を向上させて、ユーザの利便性を向上させることができる。
【0011】
また、本発明の第8の態様は、動画像あるいは静止画像に関連づけられた検索用メタデータに含まれる単語のうち共有を禁止する単語である非共有単語を記憶する非共有単語記憶部を備えた情報処理装置をコンピュータにより制御するための制御プログラムであって、前記動画像あるいは前記静止画像を検索するのに用いるべく予め対応づけられた原検索用メタデータを前記検索用メタデータとして抽出させ、又は、前記動画像あるいは前記静止画像に関連づけられた関連コンテンツから前記検索用メタデータを抽出させ、前記検索用メタデータから前記非共有単語を除去して検索用共有メタデータを生成させる、ことを特徴とする制御プログラムである。
したがって、上記構成によれば、メタデータ生成対象の動画像あるいは静止画像に確実に関連づけられた検索用メタデータに基づいて検索用共有メタデータを生成することができ、氏名などを含む個人情報のように、不特定多数のユーザと共有したくないメタデータが検索用メタデータとして他のユーザと共有されることがなく、不特定多数のユーザとメタデータを共有して利用することができ、検索性を向上させて、ユーザの利便性を向上させることができる。
【発明を実施するための最良の形態】
【0012】
次に図面を参照して本発明の好適な実施形態について説明する。
図1は実施形態の画像情報処理システムの概要構成ブロック図である。
画像情報処理システム1は、ソーシャル・ネットワーキング・サービス(Social Networking Service:SNS)を構成しており、大別すると、SNSにおける各種サービスを提供するサービスサーバ2と、サービスサーバ2に接続され、各種サービスのための情報格納した情報データベース(DB)3と、サービスサーバ2が接続された通信ネットワーク4と、通信ネットワーク4に接続された複数の画像情報処理装置10と、を備えている。
この場合において、画像情報処理装置10は、SNSに参加している各ユーザが所有している。
【0013】
図2は、実施形態の画像情報処理装置の概要構成ブロック図である。
画像情報処理装置10は、パーソナルコンピュータとして構成されており、画像処理を行う画像情報処理装置本体11と、各種画像入力を行う画像入力装置12と、各種操作を行うためのキーボード、マウスなどの入力装置13と、各種表示を行う液晶ディスプレイなどの表示装置14と、印刷を行うプリンタなどの出力装置15と、各種データを記憶するハードディスク装置などの外部記憶装置16と、を備えている。
画像情報処理装置本体11は、当該画像情報処理装置本体11全体の制御を行うマイクロプロセッサユニット(MPU)21と、各種制御プログラムを含む各種データを記憶するROM22と、MPU21のワークエリアとして機能するRAM23と、LAN、インターネットなどの外部の通信ネットワークとの間のインタフェース動作を行う通信インタフェース部24と、を備えている。
【0014】
図3は、画像情報処理装置の機能ブロック図である。
画像情報処理装置10は、大別すると、映像・画像入力部31と、テキスト抽出部32と、形態素解析部33と、レイアウト解析部34と、重要語句抽出部35と、フィルタリング部36と、出現確率算出部37と、を備えている。
【0015】
映像・画像入力部31は、放送電波、通信ネットワークあるいはICメモリカードなどのデータ記憶媒体を介して動画像データ(動画[あるいは映像]に対応)あるいは静止画像データ(静止画に対応)を入力する。具体的には、様々な画像フォーマットの画像を、様々な圧縮形式、ファイル形式を有するファイルや、スキャナ、ディジタルカメラ、ディジタルビデオカメラなどの入力装置から抽出あるいは受け取ることとなる。この場合において、圧縮形式としては、JPEG、MPEG−4、H.264等が挙げられる。
【0016】
テキスト抽出部32は、XHTML(個人のホームページ、ブログなど)、送受信した電子メール、XML(楽曲の検索用メタデータなど)で記述されているハイパーテキストデータからタグ情報以外のテキストデータを抽出する。
形態素解析部33は、ブログなどのテキストデータあるいは音声認識部により音声認識したテキストデータに対応するテキストの形態素解析を行い、単語(語句)を抽出し、必要に応じてステミングを行う。
【0017】
レイアウト解析部34は、ブログやホームページなどのように、動画像あるいは静止画像と、テキストとが混在してレイアウトされている場合、動画像あるいは静止画像と、テキストとの位置関係を明らかにする。
【0018】
重要語句抽出部35は、複数の関連コンテンツから、最も関連が深い関連コンテンツ(コンテンツiと表記)、からメタデータとする語句を抽出する。
この場合において、関連コンテンツを代表する語句、すなわち、当該関連コンテンツの中で重要度の高い語句を、動画像あるいは静止画像を最も良く表現する語句とみなして、重要語句と表現する。
ここでは、TF/IDF(Term Frequency & Inverse Document Frequency)処理によって重要度を算出する。そして、重要語句抽出部35は、下記式(1)によって、形態素解析部33によりコンテンツiから抽出された各々の語句jの重要度tfidf(i,j)を求める。
W(t,d)=TF(t,d)×IDF(t) ……(1)
ここで、TF(t,d)は、テキストデータdにおける語句tの出現頻度である。
IDF(t)は、検索された全てのコンテンツのうち、語句tが出現するコンテンツのテキストデータの数を語句tの出現頻度として計算したものである。IDF(t)は、語句tが、関連コンテンツのテキストデータ中に特異的に出現する語であるかどうかを示す指標である。他のコンテンツにおける出現頻度が少なく、特定のコンテンツに多く出現する語句は、重要な語句とみなされる。
TF(t,d)は、関連コンテンツのテキストデータにおける出現頻度をもとに、語句の重要度を表す指標である。言い換えれば、コンテンツ中に多く出現する語句が、重要な語句とみなされる。
【0019】
フィルタリング部36は、動画像あるいは静止画像に付与される検索用メタデータの候補となるメタデータ候補を動画像あるいは静止画像に付与すべき検索用メタデータとするためのフィルタリングならびに形態素解析部33と共働して個人情報保護フィルタとしての機能を実現する。
【0020】
この場合において、メタデータ候補となる語句は、重要度の比較的高い語句あるいは出現確率が比較的高い語句が用いられる。
具体的には、重要度の高い語句をメタデータ候補としている場合には、フィルタリング後のtfidf(i,j)の値が一定値以上の場合、あるいは、後述する出現確率算出部37が算出した語句jの出現確率P(j)が一定値以上の場合に検索用メタデータとして使用するようにフィルタリングするようになっている。
【0021】
出現確率算出部37は、以下のいずれかを用いて出現確率を算出する。
第1の手法としては、メタデータが付与された映像画像データベース(コンテンツ)を参照し、付加されている検索用メタデータを使用する。
また、第2の手法として、動画像あるいは静止画像、およびテキストデータを含むコンテンツ(例えば、ブログ、ホームページを含むウェブページなど)を利用し、動画像あるいは静止画像に関連すると推定されるテキストデータに含まれる語句を検索用メタデータとして使用する。
【0022】
出現確率算出部37は、レイアウト解析部34の解析結果に基づいて、画像枠の近傍に配置されているテキストは、画像枠内に表示されている動画像あるいは静止画像と関連が高いと推定して、この領域のテキストに含まれる語句を検索用メタデータとして使用することとなる。
これに対し、出現確率算出部37は、画像枠から離れてレイアウトされているテキストは画像枠内に表示されている動画像あるいは静止画像と関連が低いと推定してこれらの領域に含まれる語句を検索用メタデータとして使用することはない。
【0023】
このように、出現確率算出部37が、ホームページあるいはブログに含まれるテキスト(データ)から出現確率を算出するのは、年月とともに新しく使われるようになる新規な語句(新語)を含めて検索用メタデータとして使用できるようにするためである。
そして、出現確率算出部37は、上記の各コンテンツから以下のように、語句jの出現確率P(j)を求める。
語句jの出現確率P(j)=語句jの出現数/Σ(語句jの出現数)
ここで、語句jの出現数とは、あるコンテンツに出現する語句jの数であり、Σ(語句jの出現数)とは、全コンテンツに出現する語句jの数である。
【0024】
次に、実施形態の動作説明に先立ち、SNSにおけるユーザデータの構成について説明する。
図4は、SNSにおけるユーザデータの構成説明図である。
サービスサーバに接続されたDBには、ブログのデータを格納したブログDB41と、メッセージのデータを格納したメッセージDB42と、写真データをメタデータ(原検索メタデータ)とともに記憶する写真DB43と、各ユーザのアクセス権に関する情報が格納されたアクセス権情報格納部44と、ブログのデータ、メッセージのデータあるいは写真データに対応するメタデータから個人情報を除去して個人情報除去メタデータ46を生成する個人情報保護フィルタ部45と、を備えている。
【0025】
ここで、個人情報保護フィルタ部について説明する。
図5は、個人情報保護フィルタ部の機能ブロック図である。
個人情報保護フィルタ部45は、実際には、上述した形態素解析部33およびフィルタリング部36により構成されている。
フィルタリング部36は、個人情報保護フィルタ部として機能する場合、大別すると、予め登録された非共有単語を記憶するデータベース(DB)である非共有単語DB51と、形態素解析部33により形態素解析処理後に得られる単語群と非共有単語DB51に記憶された非共有単語とを比較する非共有単語比較部52と、非共有単語比較部52の結果に基づいて形態素解析処理後に得られる単語群から非共有単語を除いて個人情報除去メタデータとして再構成するメタデータ再構成部53と、を備えている。
非共有単語DB51への非共有単語の登録は、ユーザが直接入力、登録しても良いし、当該ユーザに関連するコンテンツ(ホームページ、ブログ、メールなどの内容)を解析して自動的に抽出(テキストマイニング)し、自動的に登録するようにしても良い。
上記構成により、個人情報保護フィルタを構成する非共有単語比較部52は、形態素解析部33により形態素解析処理後に得られる単語群と非共有単語DB51に記憶された非共有単語とを比較し、一致する単語を抽出する。
【0026】
この結果、メタデータ再構成部53は、非共有単語比較部52の結果に基づいて形態素解析処理後に得られる単語群から非共有単語を除いて個人情報除去メタデータ46(検索用共有メタデータ)として再構成して出力する。
次に実施形態の動作について説明する。
図6は、実施形態の処理フローチャートである。
まず、ユーザは、画像情報処理装置10を介して、サービスサーバ2にアクセスし、SNSに写真データをアップロードする(ステップS11)。
次にアップロードされた写真データに付随するメタデータを解析する(ステップS12)。
つづいてサービスサーバ2は、個人情報フィルタを通した個人情報除去メタデータ46を作成する(ステップS13)。
【0027】
次に付与済みメタデータ数が既に上限数に達しているか否かを判別する(ステップS14)。
ステップS14の判別において、付与済みのメタデータ数が上限に達している場合には(ステップS14;Yes)、処理を終了する。
ステップS14の判別において、付与済みのメタデータ数が未だ上限に達していない場合には(ステップS14;No)、当該ユーザのメタデータをアクセス許可を受けている他のメンバーのメタデータと比較する(ステップS15)。
次に比較したメタデータに合致するものがあるか否かを判別する(ステップS16)。ここで、合致するとは、完全一致のみならず、所定の許容範囲内のものも含む。例えば、所定時間差範囲内、緯度、経度座標における所定距離範囲内などの場合である。
ステップS16の判別において、比較したメタデータに合致するものがある場合には(ステップS16;Yes)、合致するもの同士でメタデータを交換し、付与する(ステップS17)。
【0028】
ここで、具体的にメタデータの交換について説明する。
図7は、アクセス許可を有しているユーザ(ユーザA、ユーザB)同士のメタデータの交換の説明図である。
この場合において、ユーザAは、ユーザBに対するアクセス許可を受けており、同様にユーザBは、ユーザAに対するアクセス許可を受けている。
この場合には、図7に示すように、元々のメタデータをそのまま交換することとなる。
図8は、メタデータ交換前の各ユーザのメタデータの保有状態の説明図である。
図9は、メタデータ交換後の各ユーザのメタデータの保有状態の説明図である。
図8に示すように、ユーザAの保有するメタデータMAは、写真の撮影日付を表す日時データ61A、撮影場所を表すGPSデータ62A、写真の内容を表すイベント名データ63A、写真撮影日時の天気を表す天気データ64A、撮影場所を表す地名データ65Aなどが含まれる。
【0029】
同様にユーザBの保有するメタデータMBは、写真の撮影日付を表す日時データ61B、撮影場所を表すGPSデータ62B、写真の内容を表すイベント名データ63B、写真撮影日時の天気を表す天気データ64B、撮影場所を表す地名データ65Bなどが含まれる。
この場合において、図9に示すように、ユーザAの保有するメタデータMAおよびユーザBの保有するメタデータMBの日時データ61A、61BおよびGPSデータ62A、62Bが合致しているので、同一のイベントである可能性が高いため、イベント名データ63A、63Bの交換を行うこととなる。
この結果、交換前のユーザAの保有するメタデータMAのイベント名データ63Aは、「運動会」のみであったのに対し、交換後のイベント名データ63Aは、ユーザBの保有するメタデータMBのイベント名データ63Bに含まれている「○○の100m走」が追加されることとなる。
同様に、交換前のユーザBの保有するメタデータMBのイベント名データ63Bは、「○○の100m走」のみであったのに対し、交換後のイベント名データ63Bは、ユーザAの保有するメタデータMAのイベント名データ63Aに含まれている「運動会」が追加されることとなる。
【0030】
つづいて、付与済みメタデータ数が既に上限数に達しているか否かを判別する(ステップS18)。
ステップS18の判別において、付与済みのメタデータ数が上限に達している場合には(ステップS18;Yes)、処理を終了する。
ステップS18の判別において、付与済みのメタデータ数が上限に達していない場合には(ステップS18;No)、処理をステップS19に移行する。
ステップS16の判別において、比較したメタデータに合致するものが無い場合には(ステップS16;No)、他にアクセス許可を受けているメンバーが存在するか否かを判別する(ステップS19)。
ステップS19の判別において、他にアクセス許可を受けているメンバーが存在する場合には(ステップS19;Yes)、処理を再びステップS15に移行し、以下同様の処理を行う。
【0031】
ステップS19の判別において、他にアクセス許可を受けているメンバーが存在しない場合には(ステップS19;No)、アクセス許可を受けていないメンバー(アクセス不許可メンバー)と個人情報を除去した後のメタデータである個人情報除去メタデータ46同士を比較する(ステップS20)
次に比較した個人情報除去メタデータ46に合致するものがあるか否かを判別する(ステップS21。
ステップS21の判別において、比較した個人情報除去メタデータ46に合致するものがある場合には(ステップS21;Yes)、合致するもの同士で個人情報除去メタデータ46を交換し、付与する(ステップS22)。
【0032】
図10は、アクセス許可を有していないユーザ(ユーザA、ユーザC)同士のメタデータの交換の説明図である この場合において、ユーザAは、ユーザBに対するアクセス許可を受けているが、ユーザCに対するアクセス許可は受けておらず、同様にユーザCは、ユーザDに対するアクセス許可を受けているが、ユーザAに対するアクセス許可は受けていないものとする。
この場合には、図10に示すように、図7の場合とは異なり、元々のメタデータをそのまま交換するのではなく、個人情報除去メタデータ46を交換することとなる。
【0033】
図11は、メタデータ交換前の各ユーザのメタデータの保有状態の説明図である。
図12は、メタデータ交換後の各ユーザのメタデータの保有状態の説明図である。
図11に示すように、ユーザAの保有するメタデータMAは、写真の撮影日付を表す日時データ61A、撮影場所を表すGPSデータ62A、写真の内容を表すイベント名データ63A、写真撮影日時の天気を表す天気データ64A、撮影場所を表す地名データ65Aなどが含まれる。
同様にユーザCの保有するメタデータMCは、写真の撮影日付を表す日時データ61C、撮影場所を表すGPSデータ62C、写真の内容を表すイベント名データ63C、写真撮影日時の天気を表す天気データ64C、撮影場所を表す地名データ65Cなどが含まれる。
【0034】
この場合において、図12に示すように、ユーザAの保有するメタデータMAおよびユーザCの保有するメタデータMCの日時データ61A、61CおよびGPSデータ62A、62Cが合致しているので、同一のイベントである可能性が高いため、イベント名データ63A、63Cの交換を行うこととなる。
この結果、交換前のユーザAの保有するメタデータMAのイベント名データ63Aは、「運動会」のみであったのに対し、交換後のイベント名データ63Aは、ユーザCの保有するメタデータMCのイベント名データ63Cに含まれている「○○の100m走」から個人情報を除去した「100m走」が追加されることとなる。
同様に、交換前のユーザCの保有するメタデータMCのイベント名データ63Cは、「○○の100m走」のみであったのに対し、交換後のイベント名データ63Cは、ユーザAの保有するメタデータMAのイベント名データ63Aに含まれている「運動会」が追加されることとなる。この場合にメタデータMAのイベント名データ63Aに含まれている「運動会」には、個人情報は含まれていないので、そのまま交換されることとなる。
【0035】
つづいて、付与済みメタデータ数が既に上限数に達しているか否かを判別する(ステップS23)。
ステップS23の判別において、付与済みのメタデータ数が上限に達している場合には(ステップS23;Yes)、処理を終了する。
ステップS23の判別において、付与済みのメタデータ数が上限に達していない場合には(ステップS23;No)、処理をステップS24に移行する。
ステップS21の判別において、比較した個人情報除去メタデータ46に合致するものが無い場合には(ステップS21;No)、他にアクセス不許可メンバーが存在するか否かを判別する(ステップS24)。
ステップS24の判別において、他にアクセス許可を受けているメンバーが存在する場合には(ステップS24;Yes)、処理を再びステップS20に移行し、以下同様の処理を行う。
【0036】
以上の説明のように、本実施形態によれば、特定のユーザから見た場合、SNSのように自分以外のユーザは少数のアクセス権のあるユーザと圧倒的多数のアクセス権の無いユーザとから構成されているという状況においても、圧倒的多数のアクセス権の無いユーザから得られる検索用メタデータを自己のデータ(例えば、写真データ)のメタデータとして用いることができ、多数の他のユーザにより生成された多数のメタデータを有効に活用することができる。
すなわち、本実施形態によれば、原検索用メタデータから個人情報を削除し、除去することで、アクセス権の有無にかかわらず、全体で共有可能なメタデータ量が増大し、効率的なメタデータ増殖、利用が可能となる。
また、アクセス権を有するユーザに関しては、従来と同様に、個人情報も含んだメタデータ交換が可能になり、アクセス権の有無を把握することなく、メタデータを利用することができ、利便性の向上を実現できる。
【0037】
以上の説明においては、個人情報除去メタデータ46を自動的に作成、付与する場合の実施形態であり、ユーザが生成された個人情報除去メタデータ46を生成時に確認することはできなかったが、生成時に確認できるように構成することも可能である。以下、具体的に説明する。
図13は、個人情報除去メタデータの作成確認画面の一例の説明図である。
図13に示すように、表示画面70には、個人情報除去メタデータ46の作成対象の写真データ71、元メタデータ(原検索用メタデータ)を構成する日時データ72、GPSデータ73、天気データ74、地名データ75およびイベント名データ76のうち、イベント名データ76A=「○○の運動会」から固有名詞である「○○」および助詞「の」が個人情報として除去されることにより、個人情報除去メタデータ46(非検索用共有メタデータ)としてのイベント名データ76B=「運動会」が生成されていることが確認できるので、ユーザは確認ボタンをクリックすることにより、当該個人情報除去メタデータ46を登録させることとなる。
また、この場合において、アクセス権を有していないメンバーのメタデータを用いる場合に、個々の写真データに付随したメタデータを順々に調査するのではなく、合致するメタデータのうち、SNS全体で最も良く用いられているものから順番にメタデータとして採用することで、検索性のよいメタデータ付与が可能になる。
【0038】
以上の説明においては、付与済みのメタデータ数が上限に達している場合には、新たなメタデータの付与は行わない構成としていたが、SNS内における合致するメタデータのうち、SNS内における利用頻度がより高いメタデータが現れた場合には、利用頻度のより高いメタデータに置き換えるように構成することも可能である。
図14は、利用頻度を考慮したメタデータ置き換え処理の概念図である。
具体的には、図14に示すように、一つのGPSデータ81のデータ内容に対し、共有メタデータDB82に合致する地名が複数含まれている場合、すなわち、対応する地名として、「△△小学校」、「学校」、および「□□町△丁目」があり、利用頻度が「△△小学校」が最も高く、「□□町△丁目」が最も低い場合には、地名データ=「学校」を「△△小学校」に置き換えるようにすればよい。
【0039】
なお、上記実施形態において、図2に示した構成は、主としてハードウェア構成により、或いはハードウェアとソフトウェアとの協働により実現されるものであり、画像情報処理装置10を構成する各部の具体的形態や物理的態様については任意である。
【0040】
以上の説明においては、画像情報処理装置10は、具体的には、パーソナルコンピュータ、PDA、携帯型電話機等に適用可能であるが、デジタルスチルカメラ、ディジタルビデオカメラ、スキャナ、プロジェクタ、テレビ、プリンタおよびその他の画像データを処理する電子機器に実装または接続することが可能である。
以上の説明においては、上記各機能を実現するための制御プログラムが、予めROM22に格納されている場合について説明したが、制御プログラムを、コンピュータ(CPU)読取可能な記録媒体に記録するようにしてもよい。このような構成であれば、コンピュータによってプログラムが記憶媒体から読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、上記各実施形態と同等の作用および効果が得られる。
【0041】
ここで、記憶媒体とは、RAM、ROM等の半導体記憶媒体、FD、HD等の磁気記憶型記憶媒体、CD、CDV、LD、DVD等の光学的読取方式記憶媒体、MO等の磁気記憶型/光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、どのような記憶媒体であってもよい。
また、インターネット、LANなどの通信ネットワークおよび通信インタフェース部24を介して制御用プログラムをダウンロードし、インストールして実行するように構成することも可能である。
【図面の簡単な説明】
【0042】
【図1】実施形態の画像情報処理システムの概要構成ブロック図である。
【図2】実施形態の画像情報処理装置の概要構成ブロック図である。
【図3】画像情報処理装置の機能ブロック図である。
【図4】SNSにおけるユーザデータの構成説明図である。
【図5】個人情報保護フィルタ部の機能ブロック図である。
【図6】実施形態の処理フローチャートである。
【図7】アクセス許可を有しているユーザ同士のメタデータ交換の説明図である。
【図8】メタデータ交換前の各ユーザのメタデータの保有状態の説明図である。
【図9】メタデータ交換後の各ユーザのメタデータの保有状態の説明図である。
【図10】アクセス許可を有していないユーザ同士のメタデータ交換の説明図である。
【図11】メタデータ交換前の各ユーザのメタデータの保有状態の説明図である。
【図12】メタデータ交換後の各ユーザのメタデータの保有状態の説明図である。
【図13】個人情報除去メタデータの作成確認画面の一例の説明図である。
【図14】利用頻度を考慮したメタデータ置き換え処理の概念図である。
【符号の説明】
【0043】
1…画像情報処理システム、2…サービスサーバ、4…通信ネットワーク、10…画像情報処理装置、11…画像情報処理装置本体、12…画像入力装置、13…入力装置、14…表示装置、15…出力装置、16…外部記憶装置、21…MPU、22…ROM、23…RAM、24…通信インタフェース部、31…映像・画像入力部、32…テキスト抽出部、33…形態素解析部、34…レイアウト解析部、35…重要語句抽出部、36…フィルタリング部、37…出現確率算出部、41…ブログDB、42…メッセージDB、43…写真DB、44…アクセス権情報格納部、45…個人情報保護フィルタ部、46…個人情報除去メタデータ、51…非共有単語DB、52…非共有単語比較部、53…メタデータ再構成部、61A〜61C…日時データ、62A〜62C…GPSデータ、63A〜63C…イベント名データ、64A〜64C…天気データ、65A〜65C…地名データ、70…表示画面、71…写真データ、72…日時データ、73…GPSデータ、74…天気データ、75…地名データ、76…イベント名データ、76A〜76B…イベント名データ、81…GPSデータ、MA、MB、MC…メタデータ。
【特許請求の範囲】
【請求項1】
動画像あるいは静止画像に関連づけられた検索用メタデータに含まれる単語のうち共有を禁止する単語である非共有単語を記憶する非共有単語記憶部と、
前記動画像あるいは前記静止画像を検索するのに用いるべく対応づけられた原検索用メタデータを前記検索用メタデータとして抽出する、又は、前記動画像あるいは前記静止画像に関連づけられた関連コンテンツから前記検索用メタデータを抽出するメタデータ抽出部と、
前記検索用メタデータから前記非共有単語を除去して検索用共有メタデータを生成するメタデータ生成部と、
を備えたことを特徴とする情報処理装置。
【請求項2】
請求項1記載の情報処理装置において、
前記メタデータ生成部により生成された前記検索用共有メタデータを外部の情報処理装置と通信ネットワークを介して交換するメタデータ交換部を備えたことを特徴とする情報処理装置。
【請求項3】
請求項2記載の情報処理装置において、
前記メタデータ交換部は、当該情報処理装置に対応するデータに対してアクセス権を有する外部の情報処理装置とは、前記検索用メタデータを通信ネットワークを介して交換し、
当該情報処理装置に対応するデータに対してアクセス権を有さない外部の情報処理装置とは、前記メタデータ生成部により生成された前記検索用共有メタデータを前記通信ネットワークを介して交換する、
ことを特徴とする情報処理装置。
【請求項4】
請求項2または請求項3のいずれかに記載の情報処理装置において、
前記動画像あるいは前記静止画像には複数の前記検索用メタデータが関連づけられ、当該情報処理装置と前記外部の情報処理装置との間で、前記検索用共有メタデータの生成対象の前記動画像あるいは前記静止画像に対応するいずれかの前記検索用メタデータが合致する場合に、前記メタデータ交換部は前記検索用共有メタデータの交換を行う、
ことを特徴とする情報処理装置。
【請求項5】
請求項1ないし請求項4のいずれかに記載の情報処理装置において、
前記非共有単語は、少なくとも個人情報として管理されるべき単語を含むことを特徴とする情報処理装置。
【請求項6】
動画像あるいは静止画像に関連づけられた検索用メタデータに含まれる単語のうち共有を禁止する単語である非共有単語を記憶する非共有単語記憶部を備えた情報処理装置の制御方法であって、
前記動画像あるいは前記静止画像を検索するのに用いるべく予め対応づけられた原検索用メタデータを前記検索用メタデータとして抽出する、又は、前記動画像あるいは前記静止画像に関連づけられた関連コンテンツから前記検索用メタデータを抽出するメタデータ抽出過程と、
前記検索用メタデータから前記非共有単語を除去して検索用共有メタデータを生成するメタデータ生成過程と、
を備えたことを特徴とする情報処理装置の制御方法。
【請求項7】
動画像あるいは静止画像に関連づけられた検索用メタデータに含まれる単語のうち共有を禁止する単語である非共有単語を記憶する非共有単語記憶部を備えた情報処理装置をコンピュータにより制御するための制御プログラムであって、
前記動画像あるいは前記静止画像を検索するのに用いるべく予め対応づけられた原検索用メタデータを前記検索用メタデータとして抽出させ、又は、前記動画像あるいは前記静止画像に関連づけられた関連コンテンツから前記検索用メタデータを抽出させ、
前記検索用メタデータから前記非共有単語を除去して検索用共有メタデータを生成させる、
ことを特徴とする制御プログラム。
【請求項1】
動画像あるいは静止画像に関連づけられた検索用メタデータに含まれる単語のうち共有を禁止する単語である非共有単語を記憶する非共有単語記憶部と、
前記動画像あるいは前記静止画像を検索するのに用いるべく対応づけられた原検索用メタデータを前記検索用メタデータとして抽出する、又は、前記動画像あるいは前記静止画像に関連づけられた関連コンテンツから前記検索用メタデータを抽出するメタデータ抽出部と、
前記検索用メタデータから前記非共有単語を除去して検索用共有メタデータを生成するメタデータ生成部と、
を備えたことを特徴とする情報処理装置。
【請求項2】
請求項1記載の情報処理装置において、
前記メタデータ生成部により生成された前記検索用共有メタデータを外部の情報処理装置と通信ネットワークを介して交換するメタデータ交換部を備えたことを特徴とする情報処理装置。
【請求項3】
請求項2記載の情報処理装置において、
前記メタデータ交換部は、当該情報処理装置に対応するデータに対してアクセス権を有する外部の情報処理装置とは、前記検索用メタデータを通信ネットワークを介して交換し、
当該情報処理装置に対応するデータに対してアクセス権を有さない外部の情報処理装置とは、前記メタデータ生成部により生成された前記検索用共有メタデータを前記通信ネットワークを介して交換する、
ことを特徴とする情報処理装置。
【請求項4】
請求項2または請求項3のいずれかに記載の情報処理装置において、
前記動画像あるいは前記静止画像には複数の前記検索用メタデータが関連づけられ、当該情報処理装置と前記外部の情報処理装置との間で、前記検索用共有メタデータの生成対象の前記動画像あるいは前記静止画像に対応するいずれかの前記検索用メタデータが合致する場合に、前記メタデータ交換部は前記検索用共有メタデータの交換を行う、
ことを特徴とする情報処理装置。
【請求項5】
請求項1ないし請求項4のいずれかに記載の情報処理装置において、
前記非共有単語は、少なくとも個人情報として管理されるべき単語を含むことを特徴とする情報処理装置。
【請求項6】
動画像あるいは静止画像に関連づけられた検索用メタデータに含まれる単語のうち共有を禁止する単語である非共有単語を記憶する非共有単語記憶部を備えた情報処理装置の制御方法であって、
前記動画像あるいは前記静止画像を検索するのに用いるべく予め対応づけられた原検索用メタデータを前記検索用メタデータとして抽出する、又は、前記動画像あるいは前記静止画像に関連づけられた関連コンテンツから前記検索用メタデータを抽出するメタデータ抽出過程と、
前記検索用メタデータから前記非共有単語を除去して検索用共有メタデータを生成するメタデータ生成過程と、
を備えたことを特徴とする情報処理装置の制御方法。
【請求項7】
動画像あるいは静止画像に関連づけられた検索用メタデータに含まれる単語のうち共有を禁止する単語である非共有単語を記憶する非共有単語記憶部を備えた情報処理装置をコンピュータにより制御するための制御プログラムであって、
前記動画像あるいは前記静止画像を検索するのに用いるべく予め対応づけられた原検索用メタデータを前記検索用メタデータとして抽出させ、又は、前記動画像あるいは前記静止画像に関連づけられた関連コンテンツから前記検索用メタデータを抽出させ、
前記検索用メタデータから前記非共有単語を除去して検索用共有メタデータを生成させる、
ことを特徴とする制御プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2009−64148(P2009−64148A)
【公開日】平成21年3月26日(2009.3.26)
【国際特許分類】
【出願番号】特願2007−230075(P2007−230075)
【出願日】平成19年9月5日(2007.9.5)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
【公開日】平成21年3月26日(2009.3.26)
【国際特許分類】
【出願日】平成19年9月5日(2007.9.5)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
[ Back to top ]