情報処理装置、情報処理方法及びプログラム
【課題】画像データの共有に際し、利用者に対して発生するプライバシー問題を低減することが可能な情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】利用者の情報と関連付けられた利用者の顔画像データを保持する記憶部１０４と、顔画像データに基づいて、取得した画像データに利用者の顔が含まれているかを解析する解析部１１２，１１４と、取得した画像データに利用者の顔が含まれている場合、取得した画像データの共有の許可を利用者に確認する確認部１２４と、を備える。
【解決手段】利用者の情報と関連付けられた利用者の顔画像データを保持する記憶部１０４と、顔画像データに基づいて、取得した画像データに利用者の顔が含まれているかを解析する解析部１１２，１１４と、取得した画像データに利用者の顔が含まれている場合、取得した画像データの共有の許可を利用者に確認する確認部１２４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
通信ネットワークを介して、複数の利用者がサーバーに接続するシステムにおいて、サーバーが保持する各種データ、例えば写真や動画等の画像データ、楽曲等の音声データなどを複数の利用者が共有することがある。
【０００３】
例えば、特許文献１では、サーバーが受信した画像データをカテゴリー別に保存し、利用者が希望の画像データを効率的に利用できる技術が開示されている。また、特許文献２では、位置情報、時刻情報を利用して、共通のイベントに参画した複数の利用者間でコンテンツを共有する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３３４６９６号公報
【特許文献２】特開２００７−２４９８２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来の画像データ共有システムは、自分が写っている写真や動画を取得したり、あるいは自分の子供が写っている写真や動画を取得したりする場合に非常に便利である。しかし、画像データ共有システムでは、自分のプライバシーに関わる写真が、自己の意思に反して他人に共有される可能性がある。
【０００６】
例えば、共有を受ける利用者が共有を受けたい画像データの共有条件を設定し、設定された共有条件に合致する画像データが利用者に共有されるというシステムの場合について説明する。画像データはサーバーに保持されている。このシステムの場合、画像を取得したい利用者が共有条件として他人の顔画像を設定し、他人が写っている画像データの共有を要求した場合に問題となる。
【０００７】
一例として、利用者Ａが、共有条件として自分以外の利用者Ｂの顔画像を設定し、利用者Ｂが写っている画像データの共有を要求した場合を説明する。この場合、撮影者が誰であるか、誰が誰と一緒に写っているかによって状況が変わるため、代表的なケースを図２に図示した。
【０００８】
Ｃａｓｅ１：利用者Ｂが、自分（利用者Ｂ）と利用者Ｃが写っている写真を撮影した場合
この場合、利用者Ｂが写真の撮影者でありオーナである。そのため、利用者Ａが利用者Ｂに対して共有を要求することになる。そのため、利用者Ｂは、画像データが共有される被共有者であり、利用者Ｂは共有されることを認識できる。したがって、利用者Ｂに対するプライバシー問題は発生しない。一方、オーナである利用者Ｂが共有条件として設定されているが、利用者Ｂと利用者Ｃが写っている写真であるため、利用者Ｃの知らないところで利用者Ｃが写っている写真が利用者Ａに配信される。その結果、写真のオーナ以外の利用者Ｃのプライバシー問題が発生する可能性がある。
【０００９】
Ｃａｓｅ２：利用者Ｃが、自分（利用者Ｃ）と利用者Ｂが写っている写真を撮影した場合
この場合、利用者Ｃが写真の撮影者でありオーナである。そのため、利用者Ａが利用者Ｃに対して共有を要求することになる。そのため、利用者Ｃは、画像データが共有される被共有者であり、利用者Ｃは共有されることを認識できる。したがって、利用者Ｃに対するプライバシー問題は発生しない。一方、利用者Ｂが共有条件として設定されており、利用者Ｂと利用者Ｃが写っている写真であるため、利用者Ｂの知らないところで利用者Ｂが写っている写真が利用者Ａに配信される。その結果、共有条件として設定されている利用者Ｂのプライバシー問題が発生する可能性がある。
【００１０】
Ｃａｃｅ３：利用者Ｃが、利用者Ｂと利用者Ｄの写っている写真を撮影した場合
この場合、利用者Ｂが共有条件として設定されており、利用者Ｂと利用者Ｄが写っている写真であるため、利用者Ｂと利用者Ｄ両者の知らないところで利用者Ｂと利用者Ｄが写っている写真が利用者Ａに配信される。その結果、共有条件として設定されている利用者Ｂと、写真のオーナ以外の利用者Ｄのプライバシー問題が発生する可能性がある。
【００１１】
Ｃａｃｅ４：利用者Ｄが、利用者Ｂと利用者Ｃと利用者Ｄの写っている写真を撮影した場合
この場合のように、３人以上の人物が写っている場合も、Ｃａｓｅ１〜３と同様に考えることができ、利用者の顔画像が共有条件として設定されている場合、写真のオーナ以外の利用者のプライバシー問題が発生する可能性がある。
【００１２】
以上より、プライバシー問題は、共有条件として設定されている利用者と、共有条件として設定されている利用者と一緒に写真に写っていた他の利用者に対して発生する可能性があることが分かる。
【００１３】
ところで、利用者Ａが、共有条件として自分以外の利用者Ｂの顔画像を設定し、利用者Ｂが写っている画像データの共有を要求する場合には、利用者Ａが祖父母であり、利用者Ｂが孫である場合がある。このように、祖父母が、孫の顔画像を共有条件として設定し、孫が写っている画像データの共有を要求する場合など、画像データ共有システムは非常に有用である。しかし、上述の通り、プライバシー問題が発生するため、大きなリスクがあり十分な配慮が必要となる。
【００１４】
なお、今まで説明してきた例は、利用者Ａが他の利用者Ｂの顔画像が写っている写真の共有を共有条件として設定した場合であるが、利用者Ａが自分自身の顔を共有条件として設定した場合も、同じ様に共有条件として設定されている利用者Ａと一緒に写真に写っていた他の利用者プライバシー問題が発生する。
【００１５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像データの共有に際し、利用者に対して発生するプライバシー問題を低減することが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１６】
上記課題を解決するために、本発明のある観点によれば、利用者の情報と関連付けられた利用者の顔画像データを保持する記憶部と、顔画像データに基づいて、取得した画像データに利用者の顔が含まれているかを解析する解析部と、取得した画像データに利用者の顔が含まれている場合、取得した画像データの共有の許可を利用者に確認する確認部と、を備える、情報処理装置が提供される。
【００１７】
上記取得した画像データの利用者の顔部分に対してマスキング処理する、又はアバター画像を挿入する画像処理部を更に備えてもよい。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、第一の利用者の情報と関連付けられた第一の利用者の顔画像データと、第一の利用者の顔画像データに基づく第一の利用者の顔が含まれる画像データを第二の利用者に対して共有を許可するか否かに関する共有情報とを保持する記憶部と、顔画像データに基づいて、取得した画像データに第一の利用者の顔が含まれているかを解析する解析部と、取得した画像データに第一の利用者の顔が含まれている場合、共有情報に基づいて第二の利用者に対して取得した画像データを共有させるか否かを決定する共有決定部と、を備える、情報処理装置が提供される。
【００１９】
上記共有情報は、第二の利用者に対して共有を許可するか否かを第一の利用者に確認して得られた情報でもよい。
【００２０】
上記記憶部は、第三の利用者の情報と関連付けられた第三の利用者の顔画像データを保持し、解析部は、顔画像データに基づいて、取得した画像データに第三の利用者の顔が含まれているかを解析し、取得した画像データに第三の利用者の顔が含まれている場合、第三の利用者へ取得した画像データの共有の許可を確認する確認部を更に備えてもよい。
【００２１】
上記取得した画像データの所有者によって設定された、取得された画像の共有を許可する範囲又は共有を禁止する範囲に基づいて、取得した画像を共有させるか否かを決定する第二の共有決定部を更に備えてもよい。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、利用者の情報と関連付けられた利用者の顔画像データを記憶部に保持するステップと、顔画像データに基づいて、取得した画像データに利用者の顔が含まれているかを解析するステップと、取得した画像データに利用者の顔が含まれている場合、取得した画像データの共有の許可を利用者に確認するステップと、を備える、情報処理方法が提供される。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、第一の利用者の情報と関連付けられた第一の利用者の顔画像データと、第一の利用者の顔画像データに基づく第一の利用者の顔が含まれる画像データを第二の利用者に対して共有を許可するか否かに関する共有情報とを記憶部に保持するステップと、顔画像データに基づいて、取得した画像データに第一の利用者の顔が含まれているかを解析するステップと、取得した画像データに第一の利用者の顔が含まれている場合、共有情報に基づいて第二の利用者に対して取得した画像データを共有させるか否かを決定するステップと、を備える、情報処理方法が提供される。
【００２４】
また、上記課題を解決するために、本発明の別の観点によれば、利用者の情報と関連付けられた利用者の顔画像データを記憶部に保持する手段、顔画像データに基づいて、取得した画像データに利用者の顔が含まれているかを解析する手段、取得した画像データに利用者の顔が含まれている場合、取得した画像データの共有の許可を利用者に確認する手段、としてコンピュータを機能させるためのプログラムが提供される。
【００２５】
また、上記課題を解決するために、本発明の別の観点によれば、第一の利用者の情報と関連付けられた第一の利用者の顔画像データと、第一の利用者の顔画像データに基づく第一の利用者の顔が含まれる画像データを第二の利用者に対して共有を許可するか否かに関する共有情報とを記憶部に保持する手段、顔画像データに基づいて、取得した画像データに第一の利用者の顔が含まれているかを解析する手段、取得した画像データに第一の利用者の顔が含まれている場合、共有情報に基づいて第二の利用者に対して取得した画像データを共有させるか否かを決定する手段、としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００２６】
以上説明したように本発明によれば、画像データの共有に際し、利用者に対して発生するプライバシー問題を低減することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態に係る画像共有システムを示す概念図である。
【図２】プライバシー問題が発生する配信のケースを示す説明図である。
【図３】各利用者が誰の顔画像を共有したいか、更にその当事者から許可が得られているかを示すテーブルである。
【図４】誰に対して配信を許可するか又は許可しないかを示すテーブルである。
【図５】クライアント装置２００の構成要素を示すブロック図である。
【図６】サーバー装置１００の構成要素を示すブロック図である。
【図７】共有条件設定時の処理を示すフローチャートである。
【図８Ａ】画像データ配信時の処理を示すフローチャートである。
【図８Ｂ】画像データ配信時の処理を示すフローチャートである。
【発明を実施するための形態】
【００２８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２９】
なお、説明は以下の順序で行うものとする。
１．一実施形態の構成
２．一実施形態の動作
【００３０】
＜１．一実施形態の構成＞
図１に、本実施形態の画像共有システムの概念図を示す。ネットワーク１０を介して、サーバー装置１００と複数のクライアント装置２００を接続するシステムとなっている。回線に関しては、ＷｉＦｉ、Ｗ−ＣＤＭＡ、ＬＴＥ、ＷｉＭＡＸのような無線通信と、光ファイバー、ＡＤＳＬのような有線通信のどちらでもよい。無線通信では基地局２０などが利用される。
【００３１】
クライアント装置２００は、例えばＰＣ、ＰＤＡ、携帯端末などである。なお、クライアント装置２００は、画像データの取得や表示のうち利用者が必要とする機能と能力があればよく、形態は問わない。
【００３２】
サーバー装置１００は、全利用者のデータが保持されている。サーバー装置１００に保持されているデータには、例えば撮影場所や撮影時刻などのメタデータが付加されている。
【００３３】
利用者は、サーバー装置１００に、ＩＤや家族情報、自分の顔画像データ、共有条件として子供や孫の顔画像データ、友人情報、会社情報、趣味等の個人の属性、パスワード等の認証情報を予め必要に応じてサーバー装置１００に登録しておく。利用者は、サーバー装置１００に保持されたデータにアクセスする際は、ログインＩＤを用いて必要に応じて認証を受けながらログインする。
【００３４】
図５は、クライアント装置２００の構成要素を示すブロック図である。
このクライアント装置２００は撮像部２０４を備えており、撮像部２０４が撮影した画像データを内部のデータ記憶部２０６に取り込める仕組みとなっている。また、データ表示部２２６は、サーバー装置１００又はクライアント装置２００に保持された画像データに基づく写真や動画を画面に表示する。
【００３５】
また、クライアント装置２００は、利用者とのインターフェース機能や、サーバーとの送受信が可能なデータ送信部/データ受信部２０８、制御ブロック２０２などを持っている。クライアント装置２００は、プログラミングによりそれぞれの機能を自由に使うことが可能である。制御ブロック２０２は、例えばＣＰＵ等からなり、演算処理や各構成要素の制御をする。
【００３６】
クライアント装置２００は、インターフェース機能としては、配信承諾部２１２と、共有条件設定承諾部２１４と、共有範囲設定部２２２と、共有条件設定部２２４があり、次の様な機能を持っている。
【００３７】
配信承諾部２１２は、自分が一緒に写っている写真が、他の利用者への配信が要求されたとき、その要求を受け付け、要求に対する承諾又は拒否を送る。
【００３８】
他の利用者によって自分又は自分以外の顔画像が共有条件として設定され、その共有条件によれば、自分が一緒に写っている写真が他の利用者への配信される場合、自分のプライバシーが将来侵害される可能性がある。配信承諾部２１２が要求を受け付けて、その要求に対する承諾又は拒否を送ることで、自分写っている写真が自分の知らないところで配信されることを避けることができる。
【００３９】
共有条件設定承諾部２１４は、他の利用者によって自分の顔画像に対する共有が要求されたとき、その要求を受け付け、要求に対する承諾又は拒否を送る。
【００４０】
他の利用者によって自分の顔画像が共有条件として設定された場合、自分のプライバシーが将来侵害される可能性がある。そのため、サーバー装置１００が、共有条件として設定された利用者にその旨を通知し、その本人に共有条件として設定されることを確認する。クライアント装置２００は、その確認をサーバー装置１００から受け付け、回答をサーバー装置１００に返す。
【００４１】
図３は、複数の利用者がそれぞれ所有するクライアント装置２００によって、共有条件が設定され、共有条件設定に対して承諾又は拒否されるというプロセスを経て作られるテーブルである。図３のテーブルは、各利用者が誰の顔画像を条件に共有を希望したか、共有を希望してその当事者から許可が得られているかなどが分かる。例えば、利用者Ａは、利用者Ｂの顔画像Ｂの共有を希望し、利用者Ｂから許可が得られ、利用者Ｄの顔画像Ｄの共有を希望し、利用者Ｄから許可が得られなかったことを示している。
【００４２】
共有範囲設定部２２２は、自分が所有しサーバー装置１００に保持している画像をどの範囲で共有するか、または誰には共有したくないかを設定する。
【００４３】
図４は、共有範囲を設定するプロセスを経て作成されるテーブルである。図４のテーブルは、各利用者が誰に対して配信を許可するか、あるいは配信を許可しないかという共有範囲が分かる。例えば、利用者Ａは、利用者Ｂに対して配信を許可し、利用者Ｄに対して配信を許可していない。
【００４４】
共有条件設定部２２４は、他の利用者に共有してもらいたい自分の顔画像や条件を設定する。また、共有条件設定部２２４は、共有したい他の利用者の顔画像や条件を設定する。
【００４５】
図６は、サーバー装置１００の構成要素を示すブロック図である。
サーバー装置１００は、制御ブロック１０２と、画像データデータベース１０４と、共有条件データベース１０５と、データ記憶部１０６と、データ送信部/データ受信部１０８と、顔画像解析エンジン１１２と、相互相関値解析エンジン１１４と、配信者決定部１１６と、被共有者承諾確認部１２２と、被写体共有承諾確認部１２４と、配信許諾・ネガリスト確認部１２６等を有する。制御ブロック１０２は、例えばＣＰＵ等からなり、演算処理や各構成要素の制御をする。
【００４６】
画像データデータベース１０４は、利用者によってアップロードされた画像データや顔画像を保持する。共有条件データベース１０５は、クライアント装置２００によって設定された共有条件、顔画像の解析結果による認識ベクター、図３及び図４のテーブルなどを保持する。
【００４７】
データ送信部/データ受信部１０８は、クライアント装置２００との間で制御コマンドやデータの送受信を行う。
【００４８】
顔画像解析エンジン１１２は、顔画像を解析する。相互相関値解析エンジン１１４は、解析された顔画像に基づいて、特徴量同士の相関を算出し、複数の顔の相互の類似度を算出する。
【００４９】
配信者決定部１１６は、顔画像の相関値解析によって算出された、共有条件として設定された顔画像とサーバー装置１００に保持されている画像との類似度に基づいて、画像の配信先となる利用者や、共有によって影響を受ける者（写真に一緒に写っている者）を決定する。これによって、サーバー装置１００に保持されている画像が誰に共有されるべきか、サーバー装置１００に保持されている画像に関して誰が共有されることになるかが決定される。
【００５０】
被共有者承諾確認部１２２は、ある利用者の顔画像に基づく共有を要求するクライアント装置２００から、共有条件の設定を要求した旨を受け付ける。また、被共有者承諾確認部１２２は、共有条件に該当する利用者（被共有者）のクライアント装置２００へ、共有条件設定の要求がされたことを通知する。被共有者承諾確認部１２２は、共有条件設定の要求に対する承諾又は拒否を、共有条件に該当する利用者（被共有者）のクライアント装置２００から受け取る。その結果、図３に示したテーブルが作成される。被共有者承諾確認部１２２は、承諾又は拒否の結果を、共有条件の設定を要求したクライアント装置２００へ送る。
【００５１】
被写体共有承諾確認部１２４は、顔画像が共有条件として設定され、その共有条件によれば、利用者が一緒に写っている写真が配信されるとき、写真が配信される可能性がある旨を利用者のクライアント装置２００へ通知する。被写体共有承諾確認部１２４は、利用者が一緒に写っている写真の配信に対する承諾又は拒否を、利用者のクライアント装置２００から受け取る。
【００５２】
配信許諾・ネガリスト確認部１２６は、サーバー装置１００に保持している画像をどの範囲で共有するか、または誰には共有したくないかという設定を、画像を所有している利用者のクライアント装置２００から受け取る。その結果、図４に示すテーブルが作成される。
【００５３】
画像処理部１２８は、被写体共有承諾確認部１２４において写真の配信の許可が利用者から得られなかったとき、写真中の利用者の顔部分に対してぼかし等のマスキング処理をする。又は、画像処理部は写真中の利用者の顔部分に対してアバター画像を挿入してもよい。アバター画像とは、利用者の代わりとなるキャラクター等の画像である。なお、マスキング処理及びアバター画像の挿入処理は、写真の配信の許可が利用者から得られなかったときに処理する場合に限定されない。例えば、許可の有無に関わらず、写真中に所定の利用者の顔部分があるとき、その所定の利用者の顔部分に対してマスキング処理及びアバター画像の挿入処理をするようにしてもよい。
【００５４】
＜２．一実施形態の動作＞
次に、本実施形態に係る画像共有システムの動作について説明する。
【００５５】
本実施形態によれば、１）利用者のクライアント装置２００が、他の利用者（例えばある友人）の顔画像を共有条件として登録した場合、サーバー装置１００がその友人のクライアント装置２００に対して、顔画像を共有の条件として利用して良いかを確認する。その結果、共有条件として設定された利用者に対して、共有条件を設定した利用者の設定が妥当であるか否かを確認でき、プライバシー問題を回避できる。
【００５６】
また、２）画像データの所有者である利用者のクライアント装置２００が、共有の許可や禁止を設定することで共有範囲を設定できる。その結果、画像データの所有者が、画像の共有を許可するか否かを設定でき、不必要に画像が共有されることを防止できるため、プライバシー問題を回避できる。なお、共有範囲の設定は、利用者単位でも良いし、画像がある条件でまとめられたアルバム単位でも良いし、画像データ一枚一枚でも良い。共有範囲の設定は、必要に応じて実装すれば良い。
【００５７】
更に、３）サーバー装置１００に保持されており、共有条件に合致した画像データに、他の利用者（ある友人）の顔画像が写っている場合、その友人のクライアント装置２００に共有の許可を打診する。または、その友人の顔画像領域については、意図的にその領域をぼやかしたり、或は、アバターを挿入したりするなどして配信を行ってもよい。その結果、一つの画像に同時に複数の利用者が写っているとき、同時に画像に写っている利用者の許可が得られるため、プライバシー問題を回避できる。
【００５８】
図７は共有条件を設定する時のフローチャートである。
この例は、利用者Ａが利用者Ｂの顔画像を使って共有条件を設定するという例である。このフローチャートを用いて共有条件の設定フローを説明する。
【００５９】
クライアントＡ（利用者Ａのクライアント装置２００）は、共有条件を設定するか否かを判断し（ステップＳ１０１）、設定しない場合はそのまま終了する。一方、共有条件を設定する場合は、まず、利用者Ａによって、共有条件に設定する顔画像が撮影され選択されるか、共有条件の設定メニューが選択され、今までの画像から共有条件に設定する顔画像が選択される（ステップＳ１０２）。ここで選択される顔画像は、友人の顔画像や孫の顔画像等である。
【００６０】
その結果、選択された顔画像の画像データがサーバー装置１００へアップロードされる。また、利用者Ａが共有条件を設定したという登録メッセージがサーバーに通知される（ステップＳ１０３）。
【００６１】
サーバー装置１００は、顔画像をクライアント装置２００から受信し、受信した顔画像をデータ記憶部２０６へ格納する（ステップＳ１１１）。そして、受信した画像データは、顔画像解析エンジン１１２を用いて解析され、顔のメタ情報（例えば画像における顔の位置等）と、顔認識用のベクター情報が抽出される（ステップＳ１１２）。
【００６２】
次に、顔認識用のベクター情報を用いて、相互相関値解析エンジン１１４が、クライアントＡによって共有条件として選択された顔画像と、各利用者の登録画像との間で類似度を計算し、クライアントＡによって共有条件に設定された利用者を特定する（ステップＳ１１３）。各利用者の登録画像は、各利用者によって予めサーバー装置１００に登録された画像である。
【００６３】
そして、利用者Ｂが特定された場合、クライアントＢ（利用者Ｂのクライアント装置２００）へ、利用者Ａによって共有条件に設定されることを通知する。クライアントＢは、利用者Ｂに対して利用者Ａが利用者Ｂの顔画像を共有条件として設定しようとしていることを通知し許可を仰ぐ（ステップＳ１２１）。
【００６４】
クライアントＢは、サーバー装置１００からの打診に対して、利用者Ｂによる自分の顔画像が共有条件として設定されることに対する承認状況をサーバー装置１００やクライアントＡへ通知する。クライアントＡは、共有条件を設定しようとしたこと（利用者Ｂの顔画像の被共有）に対する結果を利用者Ａに通知する（ステップＳ１０４）。
【００６５】
なお、ステップＳ１１３によって、利用者Ｂではなく誤って他の利用者が特定された場合、他の利用者に利用者Ａによって共有条件に設定されることが通知されてしまう。しかし、画像データの所有者である利用者が、共有の許可や禁止を設定して共有範囲を設定しておけば、誤配信を回避できる。
【００６６】
サーバー装置１００は、共有条件（利用者Ｂの顔画像の被共有）の設定が利用者Ｂによって許可された場合、クライアントＡが設定した共有条件（被共有者情報）とクライアントＢによる承諾情報（許可）を共有条件データベース１０５に書き込む（ステップＳ１１５）。反対に利用者Ｂによって拒否された場合、被共有者情報とクライアントＢによる承諾情報（拒否）を共有条件データベース１０５に書き込む（ステップＳ１１６）。その結果、図３のようなテーブルが作成される。
【００６７】
利用者Ｂによって許可が得られた場合、利用者Ａは、サーバー装置１００に保持された利用者Ｂの顔画像が含まれる様々な画像を共有できる。一方、利用者Ｂによって、許可が得られなかった場合は、サーバー装置１００に保持された利用者Ｂの顔画像が含まれる画像を共有できない。また、利用者Ｂによって許可が得られていない場合は、共有条件は無視されることになる。
【００６８】
図８は画像配信時のフローチャートである。
この例は図２のＣａｓｅ３に相当するケースである。つまり、利用者Ｃが利用者Ｂと利用者Ｄが一緒に写っている画像データを撮影し、利用者Ｂの顔画像が利用者Ａによって共有条件として設定された場合の画像配信時のフローチャートとなっている。
【００６９】
このフローチャートを用いて画像データの配信フローを説明する。
【００７０】
まず、利用者Ｃによって画像データが撮影される。撮影された画像データには、利用者Ｂと利用者Ｄが写っているものとする。そして、画像データがクライアントＣによってサーバー装置１００にアップロードされる（ステップＳ２０１）。
【００７１】
サーバー装置１００は、撮影された画像データをクライアント装置２００から受信し、受信した画像をデータ記憶部２０６へ格納する（ステップＳ２１１）。そして、受信した画像データは、顔画像解析エンジン１１２を用いて解析され、顔のメタ情報（例えば画像における顔の位置等）と、顔認識用のベクター情報が抽出される（ステップＳ２１２）。
【００７２】
次に、画像内に顔が存在すると判断された場合（ステップＳ２１３）、顔認識用のベクター情報を用いて、相互相関値解析エンジン１１４が、共有条件データベース１０５に格納されており、共有条件として設定が許可されている各利用者の顔画像と、受信した撮影された画像との間で類似度を計算して照合を行う（ステップＳ２１４）。照合には、例えば図３に示したテーブルが用いられる。これによって、撮影された画像に、共有条件として設定されている顔画像が写っているかを確認できる。この例の場合、撮影された画像は、利用者Ａが設定した共有条件（利用者Ｂ）の顔とマッチングする。従って、撮影された画像は、利用者Ａによって共有される可能性がある。
【００７３】
次に、画像の所有者である利用者Ｃが、利用者Ａへの配信を予め許可しているかを、例えば図４のテーブルに基づいて確認する（ステップＳ２１５）。利用者Ｃが許可している場合は、ステップＳ２１６へ進む。
【００７４】
その後、撮影された画像に利用者Ｃ以外の利用者が一緒に写っているかを確認する。すなわち、サーバー装置１００は、複数の利用者の登録情報と比較して、利用者Ｃ以外の顔画像が撮影された画像に存在するかが確認される（ステップＳ２１６）。この例では利用者Ｄが一緒に写っているので、クライアントＤ（利用者Ｄのクライアント装置２００）に対して配信の許可を打診する（ステップＳ２２１）。
【００７５】
クライアントＤは、サーバー装置１００から問いかけを受けて、利用者Ｄに被共有を打診し、利用者Ｄから被共有の意向を取得する（ステップＳ２２１）。
【００７６】
サーバー装置１００は、利用者Ｄによって許可が得られた場合は（ステップＳ２１７）、撮影された画像をそのまま維持する。一方、利用者Ｄによって許可が得られなかった場合は（ステップＳ２１７）、利用者Ｄの顔画像データエリアをマスキングするか、利用者Ｄの顔画像データエリアにアバターを挿入する（ステップＳ２１８）。
【００７７】
その後、サーバー装置１００は、利用者Ｂを共有条件として設定しているクライアントＡ（利用者Ａのクライアント装置２００）に対して、撮影された画像を配信する。その結果、クライアントＡは、配信された利用者Ｃによって撮影された画像を表示することができる。
【００７８】
上述したフローチャートに基づき画像配信の確認を行うことで、プライバシーに配慮した画像データ共有が実現可能である。
【００７９】
以上、本実施形態によれば、通信ネットワーク１０を介して複数の利用者のクライアント装置２００がサーバー装置１００に接続するシステムにおいて、サーバー装置１００が保持する画像データに対して情報の共有の受け手となる利用者が共有条件を設定するときのプライバシー問題を低減できる。
【００８０】
例えば、画像データの共有に際してはプライバシーの問題が発生しないように、画像データの所有者が共有範囲を設定する。また、利用者に対して予め共有条件として設定されることの意思確認を行ったり、一緒に画像に写っている他の利用者に対して共有されることの意思確認を行ったりする。その結果、各利用者が他人に共有されることを前提としてアップロードした画像について、個人のプライバシーに配慮した画像データの共有が可能となる。更に、共有の許可が得られない場合は、その顔部分をマスキングしたり、顔部分にアバターを挿入したりすることで、プライバシーを保護できる。
【００８１】
なお、本実施形態のシステムは、いかなる画像データに対しても常に必要になるとは限らない。例えば結婚式会場等で撮影した写真を自分の友人範囲で配信する場合、通常プライバシー問題は発生しない。したがって、本実施形態のシステムは、必要に応じて実装するとか、又はオンオフできるようにしてもよい。
【００８２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８３】
１００ サーバー装置
１０２，２０２ 制御ブロック
１０４ 画像データデータベース
１０５ 共有条件データベース
１０６，２０６ データ記憶部
１０８，２０８ データ送信部/データ受信部
１１２ 顔画像解析エンジン
１１４ 相互相関値解析エンジン
１１６ 配信者決定部
１２２ 被共有者承諾確認部
１２４ 被写体共有承諾確認部
１２６ 配信許諾・ネガリスト確認部
１２８ 画像処理部
２００ クライアント装置
２０４ 撮像部
２１２ 配信承諾部
２１４ 共有条件設定承諾部
２２２ 共有範囲設定部
２２４ 共有条件設定部
２２６ データ表示部
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
通信ネットワークを介して、複数の利用者がサーバーに接続するシステムにおいて、サーバーが保持する各種データ、例えば写真や動画等の画像データ、楽曲等の音声データなどを複数の利用者が共有することがある。
【０００３】
例えば、特許文献１では、サーバーが受信した画像データをカテゴリー別に保存し、利用者が希望の画像データを効率的に利用できる技術が開示されている。また、特許文献２では、位置情報、時刻情報を利用して、共通のイベントに参画した複数の利用者間でコンテンツを共有する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３３４６９６号公報
【特許文献２】特開２００７−２４９８２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来の画像データ共有システムは、自分が写っている写真や動画を取得したり、あるいは自分の子供が写っている写真や動画を取得したりする場合に非常に便利である。しかし、画像データ共有システムでは、自分のプライバシーに関わる写真が、自己の意思に反して他人に共有される可能性がある。
【０００６】
例えば、共有を受ける利用者が共有を受けたい画像データの共有条件を設定し、設定された共有条件に合致する画像データが利用者に共有されるというシステムの場合について説明する。画像データはサーバーに保持されている。このシステムの場合、画像を取得したい利用者が共有条件として他人の顔画像を設定し、他人が写っている画像データの共有を要求した場合に問題となる。
【０００７】
一例として、利用者Ａが、共有条件として自分以外の利用者Ｂの顔画像を設定し、利用者Ｂが写っている画像データの共有を要求した場合を説明する。この場合、撮影者が誰であるか、誰が誰と一緒に写っているかによって状況が変わるため、代表的なケースを図２に図示した。
【０００８】
Ｃａｓｅ１：利用者Ｂが、自分（利用者Ｂ）と利用者Ｃが写っている写真を撮影した場合
この場合、利用者Ｂが写真の撮影者でありオーナである。そのため、利用者Ａが利用者Ｂに対して共有を要求することになる。そのため、利用者Ｂは、画像データが共有される被共有者であり、利用者Ｂは共有されることを認識できる。したがって、利用者Ｂに対するプライバシー問題は発生しない。一方、オーナである利用者Ｂが共有条件として設定されているが、利用者Ｂと利用者Ｃが写っている写真であるため、利用者Ｃの知らないところで利用者Ｃが写っている写真が利用者Ａに配信される。その結果、写真のオーナ以外の利用者Ｃのプライバシー問題が発生する可能性がある。
【０００９】
Ｃａｓｅ２：利用者Ｃが、自分（利用者Ｃ）と利用者Ｂが写っている写真を撮影した場合
この場合、利用者Ｃが写真の撮影者でありオーナである。そのため、利用者Ａが利用者Ｃに対して共有を要求することになる。そのため、利用者Ｃは、画像データが共有される被共有者であり、利用者Ｃは共有されることを認識できる。したがって、利用者Ｃに対するプライバシー問題は発生しない。一方、利用者Ｂが共有条件として設定されており、利用者Ｂと利用者Ｃが写っている写真であるため、利用者Ｂの知らないところで利用者Ｂが写っている写真が利用者Ａに配信される。その結果、共有条件として設定されている利用者Ｂのプライバシー問題が発生する可能性がある。
【００１０】
Ｃａｃｅ３：利用者Ｃが、利用者Ｂと利用者Ｄの写っている写真を撮影した場合
この場合、利用者Ｂが共有条件として設定されており、利用者Ｂと利用者Ｄが写っている写真であるため、利用者Ｂと利用者Ｄ両者の知らないところで利用者Ｂと利用者Ｄが写っている写真が利用者Ａに配信される。その結果、共有条件として設定されている利用者Ｂと、写真のオーナ以外の利用者Ｄのプライバシー問題が発生する可能性がある。
【００１１】
Ｃａｃｅ４：利用者Ｄが、利用者Ｂと利用者Ｃと利用者Ｄの写っている写真を撮影した場合
この場合のように、３人以上の人物が写っている場合も、Ｃａｓｅ１〜３と同様に考えることができ、利用者の顔画像が共有条件として設定されている場合、写真のオーナ以外の利用者のプライバシー問題が発生する可能性がある。
【００１２】
以上より、プライバシー問題は、共有条件として設定されている利用者と、共有条件として設定されている利用者と一緒に写真に写っていた他の利用者に対して発生する可能性があることが分かる。
【００１３】
ところで、利用者Ａが、共有条件として自分以外の利用者Ｂの顔画像を設定し、利用者Ｂが写っている画像データの共有を要求する場合には、利用者Ａが祖父母であり、利用者Ｂが孫である場合がある。このように、祖父母が、孫の顔画像を共有条件として設定し、孫が写っている画像データの共有を要求する場合など、画像データ共有システムは非常に有用である。しかし、上述の通り、プライバシー問題が発生するため、大きなリスクがあり十分な配慮が必要となる。
【００１４】
なお、今まで説明してきた例は、利用者Ａが他の利用者Ｂの顔画像が写っている写真の共有を共有条件として設定した場合であるが、利用者Ａが自分自身の顔を共有条件として設定した場合も、同じ様に共有条件として設定されている利用者Ａと一緒に写真に写っていた他の利用者プライバシー問題が発生する。
【００１５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像データの共有に際し、利用者に対して発生するプライバシー問題を低減することが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１６】
上記課題を解決するために、本発明のある観点によれば、利用者の情報と関連付けられた利用者の顔画像データを保持する記憶部と、顔画像データに基づいて、取得した画像データに利用者の顔が含まれているかを解析する解析部と、取得した画像データに利用者の顔が含まれている場合、取得した画像データの共有の許可を利用者に確認する確認部と、を備える、情報処理装置が提供される。
【００１７】
上記取得した画像データの利用者の顔部分に対してマスキング処理する、又はアバター画像を挿入する画像処理部を更に備えてもよい。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、第一の利用者の情報と関連付けられた第一の利用者の顔画像データと、第一の利用者の顔画像データに基づく第一の利用者の顔が含まれる画像データを第二の利用者に対して共有を許可するか否かに関する共有情報とを保持する記憶部と、顔画像データに基づいて、取得した画像データに第一の利用者の顔が含まれているかを解析する解析部と、取得した画像データに第一の利用者の顔が含まれている場合、共有情報に基づいて第二の利用者に対して取得した画像データを共有させるか否かを決定する共有決定部と、を備える、情報処理装置が提供される。
【００１９】
上記共有情報は、第二の利用者に対して共有を許可するか否かを第一の利用者に確認して得られた情報でもよい。
【００２０】
上記記憶部は、第三の利用者の情報と関連付けられた第三の利用者の顔画像データを保持し、解析部は、顔画像データに基づいて、取得した画像データに第三の利用者の顔が含まれているかを解析し、取得した画像データに第三の利用者の顔が含まれている場合、第三の利用者へ取得した画像データの共有の許可を確認する確認部を更に備えてもよい。
【００２１】
上記取得した画像データの所有者によって設定された、取得された画像の共有を許可する範囲又は共有を禁止する範囲に基づいて、取得した画像を共有させるか否かを決定する第二の共有決定部を更に備えてもよい。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、利用者の情報と関連付けられた利用者の顔画像データを記憶部に保持するステップと、顔画像データに基づいて、取得した画像データに利用者の顔が含まれているかを解析するステップと、取得した画像データに利用者の顔が含まれている場合、取得した画像データの共有の許可を利用者に確認するステップと、を備える、情報処理方法が提供される。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、第一の利用者の情報と関連付けられた第一の利用者の顔画像データと、第一の利用者の顔画像データに基づく第一の利用者の顔が含まれる画像データを第二の利用者に対して共有を許可するか否かに関する共有情報とを記憶部に保持するステップと、顔画像データに基づいて、取得した画像データに第一の利用者の顔が含まれているかを解析するステップと、取得した画像データに第一の利用者の顔が含まれている場合、共有情報に基づいて第二の利用者に対して取得した画像データを共有させるか否かを決定するステップと、を備える、情報処理方法が提供される。
【００２４】
また、上記課題を解決するために、本発明の別の観点によれば、利用者の情報と関連付けられた利用者の顔画像データを記憶部に保持する手段、顔画像データに基づいて、取得した画像データに利用者の顔が含まれているかを解析する手段、取得した画像データに利用者の顔が含まれている場合、取得した画像データの共有の許可を利用者に確認する手段、としてコンピュータを機能させるためのプログラムが提供される。
【００２５】
また、上記課題を解決するために、本発明の別の観点によれば、第一の利用者の情報と関連付けられた第一の利用者の顔画像データと、第一の利用者の顔画像データに基づく第一の利用者の顔が含まれる画像データを第二の利用者に対して共有を許可するか否かに関する共有情報とを記憶部に保持する手段、顔画像データに基づいて、取得した画像データに第一の利用者の顔が含まれているかを解析する手段、取得した画像データに第一の利用者の顔が含まれている場合、共有情報に基づいて第二の利用者に対して取得した画像データを共有させるか否かを決定する手段、としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００２６】
以上説明したように本発明によれば、画像データの共有に際し、利用者に対して発生するプライバシー問題を低減することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態に係る画像共有システムを示す概念図である。
【図２】プライバシー問題が発生する配信のケースを示す説明図である。
【図３】各利用者が誰の顔画像を共有したいか、更にその当事者から許可が得られているかを示すテーブルである。
【図４】誰に対して配信を許可するか又は許可しないかを示すテーブルである。
【図５】クライアント装置２００の構成要素を示すブロック図である。
【図６】サーバー装置１００の構成要素を示すブロック図である。
【図７】共有条件設定時の処理を示すフローチャートである。
【図８Ａ】画像データ配信時の処理を示すフローチャートである。
【図８Ｂ】画像データ配信時の処理を示すフローチャートである。
【発明を実施するための形態】
【００２８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２９】
なお、説明は以下の順序で行うものとする。
１．一実施形態の構成
２．一実施形態の動作
【００３０】
＜１．一実施形態の構成＞
図１に、本実施形態の画像共有システムの概念図を示す。ネットワーク１０を介して、サーバー装置１００と複数のクライアント装置２００を接続するシステムとなっている。回線に関しては、ＷｉＦｉ、Ｗ−ＣＤＭＡ、ＬＴＥ、ＷｉＭＡＸのような無線通信と、光ファイバー、ＡＤＳＬのような有線通信のどちらでもよい。無線通信では基地局２０などが利用される。
【００３１】
クライアント装置２００は、例えばＰＣ、ＰＤＡ、携帯端末などである。なお、クライアント装置２００は、画像データの取得や表示のうち利用者が必要とする機能と能力があればよく、形態は問わない。
【００３２】
サーバー装置１００は、全利用者のデータが保持されている。サーバー装置１００に保持されているデータには、例えば撮影場所や撮影時刻などのメタデータが付加されている。
【００３３】
利用者は、サーバー装置１００に、ＩＤや家族情報、自分の顔画像データ、共有条件として子供や孫の顔画像データ、友人情報、会社情報、趣味等の個人の属性、パスワード等の認証情報を予め必要に応じてサーバー装置１００に登録しておく。利用者は、サーバー装置１００に保持されたデータにアクセスする際は、ログインＩＤを用いて必要に応じて認証を受けながらログインする。
【００３４】
図５は、クライアント装置２００の構成要素を示すブロック図である。
このクライアント装置２００は撮像部２０４を備えており、撮像部２０４が撮影した画像データを内部のデータ記憶部２０６に取り込める仕組みとなっている。また、データ表示部２２６は、サーバー装置１００又はクライアント装置２００に保持された画像データに基づく写真や動画を画面に表示する。
【００３５】
また、クライアント装置２００は、利用者とのインターフェース機能や、サーバーとの送受信が可能なデータ送信部/データ受信部２０８、制御ブロック２０２などを持っている。クライアント装置２００は、プログラミングによりそれぞれの機能を自由に使うことが可能である。制御ブロック２０２は、例えばＣＰＵ等からなり、演算処理や各構成要素の制御をする。
【００３６】
クライアント装置２００は、インターフェース機能としては、配信承諾部２１２と、共有条件設定承諾部２１４と、共有範囲設定部２２２と、共有条件設定部２２４があり、次の様な機能を持っている。
【００３７】
配信承諾部２１２は、自分が一緒に写っている写真が、他の利用者への配信が要求されたとき、その要求を受け付け、要求に対する承諾又は拒否を送る。
【００３８】
他の利用者によって自分又は自分以外の顔画像が共有条件として設定され、その共有条件によれば、自分が一緒に写っている写真が他の利用者への配信される場合、自分のプライバシーが将来侵害される可能性がある。配信承諾部２１２が要求を受け付けて、その要求に対する承諾又は拒否を送ることで、自分写っている写真が自分の知らないところで配信されることを避けることができる。
【００３９】
共有条件設定承諾部２１４は、他の利用者によって自分の顔画像に対する共有が要求されたとき、その要求を受け付け、要求に対する承諾又は拒否を送る。
【００４０】
他の利用者によって自分の顔画像が共有条件として設定された場合、自分のプライバシーが将来侵害される可能性がある。そのため、サーバー装置１００が、共有条件として設定された利用者にその旨を通知し、その本人に共有条件として設定されることを確認する。クライアント装置２００は、その確認をサーバー装置１００から受け付け、回答をサーバー装置１００に返す。
【００４１】
図３は、複数の利用者がそれぞれ所有するクライアント装置２００によって、共有条件が設定され、共有条件設定に対して承諾又は拒否されるというプロセスを経て作られるテーブルである。図３のテーブルは、各利用者が誰の顔画像を条件に共有を希望したか、共有を希望してその当事者から許可が得られているかなどが分かる。例えば、利用者Ａは、利用者Ｂの顔画像Ｂの共有を希望し、利用者Ｂから許可が得られ、利用者Ｄの顔画像Ｄの共有を希望し、利用者Ｄから許可が得られなかったことを示している。
【００４２】
共有範囲設定部２２２は、自分が所有しサーバー装置１００に保持している画像をどの範囲で共有するか、または誰には共有したくないかを設定する。
【００４３】
図４は、共有範囲を設定するプロセスを経て作成されるテーブルである。図４のテーブルは、各利用者が誰に対して配信を許可するか、あるいは配信を許可しないかという共有範囲が分かる。例えば、利用者Ａは、利用者Ｂに対して配信を許可し、利用者Ｄに対して配信を許可していない。
【００４４】
共有条件設定部２２４は、他の利用者に共有してもらいたい自分の顔画像や条件を設定する。また、共有条件設定部２２４は、共有したい他の利用者の顔画像や条件を設定する。
【００４５】
図６は、サーバー装置１００の構成要素を示すブロック図である。
サーバー装置１００は、制御ブロック１０２と、画像データデータベース１０４と、共有条件データベース１０５と、データ記憶部１０６と、データ送信部/データ受信部１０８と、顔画像解析エンジン１１２と、相互相関値解析エンジン１１４と、配信者決定部１１６と、被共有者承諾確認部１２２と、被写体共有承諾確認部１２４と、配信許諾・ネガリスト確認部１２６等を有する。制御ブロック１０２は、例えばＣＰＵ等からなり、演算処理や各構成要素の制御をする。
【００４６】
画像データデータベース１０４は、利用者によってアップロードされた画像データや顔画像を保持する。共有条件データベース１０５は、クライアント装置２００によって設定された共有条件、顔画像の解析結果による認識ベクター、図３及び図４のテーブルなどを保持する。
【００４７】
データ送信部/データ受信部１０８は、クライアント装置２００との間で制御コマンドやデータの送受信を行う。
【００４８】
顔画像解析エンジン１１２は、顔画像を解析する。相互相関値解析エンジン１１４は、解析された顔画像に基づいて、特徴量同士の相関を算出し、複数の顔の相互の類似度を算出する。
【００４９】
配信者決定部１１６は、顔画像の相関値解析によって算出された、共有条件として設定された顔画像とサーバー装置１００に保持されている画像との類似度に基づいて、画像の配信先となる利用者や、共有によって影響を受ける者（写真に一緒に写っている者）を決定する。これによって、サーバー装置１００に保持されている画像が誰に共有されるべきか、サーバー装置１００に保持されている画像に関して誰が共有されることになるかが決定される。
【００５０】
被共有者承諾確認部１２２は、ある利用者の顔画像に基づく共有を要求するクライアント装置２００から、共有条件の設定を要求した旨を受け付ける。また、被共有者承諾確認部１２２は、共有条件に該当する利用者（被共有者）のクライアント装置２００へ、共有条件設定の要求がされたことを通知する。被共有者承諾確認部１２２は、共有条件設定の要求に対する承諾又は拒否を、共有条件に該当する利用者（被共有者）のクライアント装置２００から受け取る。その結果、図３に示したテーブルが作成される。被共有者承諾確認部１２２は、承諾又は拒否の結果を、共有条件の設定を要求したクライアント装置２００へ送る。
【００５１】
被写体共有承諾確認部１２４は、顔画像が共有条件として設定され、その共有条件によれば、利用者が一緒に写っている写真が配信されるとき、写真が配信される可能性がある旨を利用者のクライアント装置２００へ通知する。被写体共有承諾確認部１２４は、利用者が一緒に写っている写真の配信に対する承諾又は拒否を、利用者のクライアント装置２００から受け取る。
【００５２】
配信許諾・ネガリスト確認部１２６は、サーバー装置１００に保持している画像をどの範囲で共有するか、または誰には共有したくないかという設定を、画像を所有している利用者のクライアント装置２００から受け取る。その結果、図４に示すテーブルが作成される。
【００５３】
画像処理部１２８は、被写体共有承諾確認部１２４において写真の配信の許可が利用者から得られなかったとき、写真中の利用者の顔部分に対してぼかし等のマスキング処理をする。又は、画像処理部は写真中の利用者の顔部分に対してアバター画像を挿入してもよい。アバター画像とは、利用者の代わりとなるキャラクター等の画像である。なお、マスキング処理及びアバター画像の挿入処理は、写真の配信の許可が利用者から得られなかったときに処理する場合に限定されない。例えば、許可の有無に関わらず、写真中に所定の利用者の顔部分があるとき、その所定の利用者の顔部分に対してマスキング処理及びアバター画像の挿入処理をするようにしてもよい。
【００５４】
＜２．一実施形態の動作＞
次に、本実施形態に係る画像共有システムの動作について説明する。
【００５５】
本実施形態によれば、１）利用者のクライアント装置２００が、他の利用者（例えばある友人）の顔画像を共有条件として登録した場合、サーバー装置１００がその友人のクライアント装置２００に対して、顔画像を共有の条件として利用して良いかを確認する。その結果、共有条件として設定された利用者に対して、共有条件を設定した利用者の設定が妥当であるか否かを確認でき、プライバシー問題を回避できる。
【００５６】
また、２）画像データの所有者である利用者のクライアント装置２００が、共有の許可や禁止を設定することで共有範囲を設定できる。その結果、画像データの所有者が、画像の共有を許可するか否かを設定でき、不必要に画像が共有されることを防止できるため、プライバシー問題を回避できる。なお、共有範囲の設定は、利用者単位でも良いし、画像がある条件でまとめられたアルバム単位でも良いし、画像データ一枚一枚でも良い。共有範囲の設定は、必要に応じて実装すれば良い。
【００５７】
更に、３）サーバー装置１００に保持されており、共有条件に合致した画像データに、他の利用者（ある友人）の顔画像が写っている場合、その友人のクライアント装置２００に共有の許可を打診する。または、その友人の顔画像領域については、意図的にその領域をぼやかしたり、或は、アバターを挿入したりするなどして配信を行ってもよい。その結果、一つの画像に同時に複数の利用者が写っているとき、同時に画像に写っている利用者の許可が得られるため、プライバシー問題を回避できる。
【００５８】
図７は共有条件を設定する時のフローチャートである。
この例は、利用者Ａが利用者Ｂの顔画像を使って共有条件を設定するという例である。このフローチャートを用いて共有条件の設定フローを説明する。
【００５９】
クライアントＡ（利用者Ａのクライアント装置２００）は、共有条件を設定するか否かを判断し（ステップＳ１０１）、設定しない場合はそのまま終了する。一方、共有条件を設定する場合は、まず、利用者Ａによって、共有条件に設定する顔画像が撮影され選択されるか、共有条件の設定メニューが選択され、今までの画像から共有条件に設定する顔画像が選択される（ステップＳ１０２）。ここで選択される顔画像は、友人の顔画像や孫の顔画像等である。
【００６０】
その結果、選択された顔画像の画像データがサーバー装置１００へアップロードされる。また、利用者Ａが共有条件を設定したという登録メッセージがサーバーに通知される（ステップＳ１０３）。
【００６１】
サーバー装置１００は、顔画像をクライアント装置２００から受信し、受信した顔画像をデータ記憶部２０６へ格納する（ステップＳ１１１）。そして、受信した画像データは、顔画像解析エンジン１１２を用いて解析され、顔のメタ情報（例えば画像における顔の位置等）と、顔認識用のベクター情報が抽出される（ステップＳ１１２）。
【００６２】
次に、顔認識用のベクター情報を用いて、相互相関値解析エンジン１１４が、クライアントＡによって共有条件として選択された顔画像と、各利用者の登録画像との間で類似度を計算し、クライアントＡによって共有条件に設定された利用者を特定する（ステップＳ１１３）。各利用者の登録画像は、各利用者によって予めサーバー装置１００に登録された画像である。
【００６３】
そして、利用者Ｂが特定された場合、クライアントＢ（利用者Ｂのクライアント装置２００）へ、利用者Ａによって共有条件に設定されることを通知する。クライアントＢは、利用者Ｂに対して利用者Ａが利用者Ｂの顔画像を共有条件として設定しようとしていることを通知し許可を仰ぐ（ステップＳ１２１）。
【００６４】
クライアントＢは、サーバー装置１００からの打診に対して、利用者Ｂによる自分の顔画像が共有条件として設定されることに対する承認状況をサーバー装置１００やクライアントＡへ通知する。クライアントＡは、共有条件を設定しようとしたこと（利用者Ｂの顔画像の被共有）に対する結果を利用者Ａに通知する（ステップＳ１０４）。
【００６５】
なお、ステップＳ１１３によって、利用者Ｂではなく誤って他の利用者が特定された場合、他の利用者に利用者Ａによって共有条件に設定されることが通知されてしまう。しかし、画像データの所有者である利用者が、共有の許可や禁止を設定して共有範囲を設定しておけば、誤配信を回避できる。
【００６６】
サーバー装置１００は、共有条件（利用者Ｂの顔画像の被共有）の設定が利用者Ｂによって許可された場合、クライアントＡが設定した共有条件（被共有者情報）とクライアントＢによる承諾情報（許可）を共有条件データベース１０５に書き込む（ステップＳ１１５）。反対に利用者Ｂによって拒否された場合、被共有者情報とクライアントＢによる承諾情報（拒否）を共有条件データベース１０５に書き込む（ステップＳ１１６）。その結果、図３のようなテーブルが作成される。
【００６７】
利用者Ｂによって許可が得られた場合、利用者Ａは、サーバー装置１００に保持された利用者Ｂの顔画像が含まれる様々な画像を共有できる。一方、利用者Ｂによって、許可が得られなかった場合は、サーバー装置１００に保持された利用者Ｂの顔画像が含まれる画像を共有できない。また、利用者Ｂによって許可が得られていない場合は、共有条件は無視されることになる。
【００６８】
図８は画像配信時のフローチャートである。
この例は図２のＣａｓｅ３に相当するケースである。つまり、利用者Ｃが利用者Ｂと利用者Ｄが一緒に写っている画像データを撮影し、利用者Ｂの顔画像が利用者Ａによって共有条件として設定された場合の画像配信時のフローチャートとなっている。
【００６９】
このフローチャートを用いて画像データの配信フローを説明する。
【００７０】
まず、利用者Ｃによって画像データが撮影される。撮影された画像データには、利用者Ｂと利用者Ｄが写っているものとする。そして、画像データがクライアントＣによってサーバー装置１００にアップロードされる（ステップＳ２０１）。
【００７１】
サーバー装置１００は、撮影された画像データをクライアント装置２００から受信し、受信した画像をデータ記憶部２０６へ格納する（ステップＳ２１１）。そして、受信した画像データは、顔画像解析エンジン１１２を用いて解析され、顔のメタ情報（例えば画像における顔の位置等）と、顔認識用のベクター情報が抽出される（ステップＳ２１２）。
【００７２】
次に、画像内に顔が存在すると判断された場合（ステップＳ２１３）、顔認識用のベクター情報を用いて、相互相関値解析エンジン１１４が、共有条件データベース１０５に格納されており、共有条件として設定が許可されている各利用者の顔画像と、受信した撮影された画像との間で類似度を計算して照合を行う（ステップＳ２１４）。照合には、例えば図３に示したテーブルが用いられる。これによって、撮影された画像に、共有条件として設定されている顔画像が写っているかを確認できる。この例の場合、撮影された画像は、利用者Ａが設定した共有条件（利用者Ｂ）の顔とマッチングする。従って、撮影された画像は、利用者Ａによって共有される可能性がある。
【００７３】
次に、画像の所有者である利用者Ｃが、利用者Ａへの配信を予め許可しているかを、例えば図４のテーブルに基づいて確認する（ステップＳ２１５）。利用者Ｃが許可している場合は、ステップＳ２１６へ進む。
【００７４】
その後、撮影された画像に利用者Ｃ以外の利用者が一緒に写っているかを確認する。すなわち、サーバー装置１００は、複数の利用者の登録情報と比較して、利用者Ｃ以外の顔画像が撮影された画像に存在するかが確認される（ステップＳ２１６）。この例では利用者Ｄが一緒に写っているので、クライアントＤ（利用者Ｄのクライアント装置２００）に対して配信の許可を打診する（ステップＳ２２１）。
【００７５】
クライアントＤは、サーバー装置１００から問いかけを受けて、利用者Ｄに被共有を打診し、利用者Ｄから被共有の意向を取得する（ステップＳ２２１）。
【００７６】
サーバー装置１００は、利用者Ｄによって許可が得られた場合は（ステップＳ２１７）、撮影された画像をそのまま維持する。一方、利用者Ｄによって許可が得られなかった場合は（ステップＳ２１７）、利用者Ｄの顔画像データエリアをマスキングするか、利用者Ｄの顔画像データエリアにアバターを挿入する（ステップＳ２１８）。
【００７７】
その後、サーバー装置１００は、利用者Ｂを共有条件として設定しているクライアントＡ（利用者Ａのクライアント装置２００）に対して、撮影された画像を配信する。その結果、クライアントＡは、配信された利用者Ｃによって撮影された画像を表示することができる。
【００７８】
上述したフローチャートに基づき画像配信の確認を行うことで、プライバシーに配慮した画像データ共有が実現可能である。
【００７９】
以上、本実施形態によれば、通信ネットワーク１０を介して複数の利用者のクライアント装置２００がサーバー装置１００に接続するシステムにおいて、サーバー装置１００が保持する画像データに対して情報の共有の受け手となる利用者が共有条件を設定するときのプライバシー問題を低減できる。
【００８０】
例えば、画像データの共有に際してはプライバシーの問題が発生しないように、画像データの所有者が共有範囲を設定する。また、利用者に対して予め共有条件として設定されることの意思確認を行ったり、一緒に画像に写っている他の利用者に対して共有されることの意思確認を行ったりする。その結果、各利用者が他人に共有されることを前提としてアップロードした画像について、個人のプライバシーに配慮した画像データの共有が可能となる。更に、共有の許可が得られない場合は、その顔部分をマスキングしたり、顔部分にアバターを挿入したりすることで、プライバシーを保護できる。
【００８１】
なお、本実施形態のシステムは、いかなる画像データに対しても常に必要になるとは限らない。例えば結婚式会場等で撮影した写真を自分の友人範囲で配信する場合、通常プライバシー問題は発生しない。したがって、本実施形態のシステムは、必要に応じて実装するとか、又はオンオフできるようにしてもよい。
【００８２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８３】
１００ サーバー装置
１０２，２０２ 制御ブロック
１０４ 画像データデータベース
１０５ 共有条件データベース
１０６，２０６ データ記憶部
１０８，２０８ データ送信部/データ受信部
１１２ 顔画像解析エンジン
１１４ 相互相関値解析エンジン
１１６ 配信者決定部
１２２ 被共有者承諾確認部
１２４ 被写体共有承諾確認部
１２６ 配信許諾・ネガリスト確認部
１２８ 画像処理部
２００ クライアント装置
２０４ 撮像部
２１２ 配信承諾部
２１４ 共有条件設定承諾部
２２２ 共有範囲設定部
２２４ 共有条件設定部
２２６ データ表示部
【特許請求の範囲】
【請求項１】
利用者の情報と関連付けられた前記利用者の顔画像データを保持する記憶部と、
前記顔画像データに基づいて、取得した画像データに前記利用者の顔が含まれているかを解析する解析部と、
前記取得した画像データに前記利用者の顔が含まれている場合、前記取得した画像データの共有の許可を前記利用者に確認する確認部と、
を備える、情報処理装置。
【請求項２】
前記取得した画像データの前記利用者の顔部分に対してマスキング処理する、又はアバター画像を挿入する画像処理部を更に備える、請求項１に記載の情報処理装置。
【請求項３】
第一の利用者の情報と関連付けられた前記第一の利用者の顔画像データと、前記第一の利用者の顔画像データに基づく前記第一の利用者の顔が含まれる画像データを第二の利用者に対して共有を許可するか否かに関する共有情報とを保持する記憶部と、
前記顔画像データに基づいて、取得した画像データに第一の利用者の顔が含まれているかを解析する解析部と、
前記取得した画像データに前記第一の利用者の顔が含まれている場合、前記共有情報に基づいて前記第二の利用者に対して前記取得した画像データを共有させるか否かを決定する共有決定部と、
を備える、情報処理装置。
【請求項４】
前記共有情報は、前記第二の利用者に対して共有を許可するか否かを前記第一の利用者に確認して得られた情報である、請求項３に記載の情報処理装置。
【請求項５】
前記記憶部は、第三の利用者の情報と関連付けられた前記第三の利用者の顔画像データを保持し、
前記解析部は、前記顔画像データに基づいて、前記取得した画像データに前記第三の利用者の顔が含まれているかを解析し、
前記取得した画像データに前記第三の利用者の顔が含まれている場合、前記第三の利用者へ前記取得した画像データの共有の許可を確認する確認部を更に備える、請求項３又は４に記載の情報処理装置。
【請求項６】
前記取得した画像データの所有者によって設定された、前記取得された画像の共有を許可する範囲又は共有を禁止する範囲に基づいて、前記取得した画像を共有させるか否かを決定する第二の共有決定部を更に備える、請求項１〜５のいずれか１項に記載の情報処理装置。
【請求項７】
利用者の情報と関連付けられた前記利用者の顔画像データを記憶部に保持するステップと、
前記顔画像データに基づいて、取得した画像データに前記利用者の顔が含まれているかを解析するステップと、
前記取得した画像データに前記利用者の顔が含まれている場合、前記取得した画像データの共有の許可を前記利用者に確認するステップと、
を備える、情報処理方法。
【請求項８】
第一の利用者の情報と関連付けられた前記第一の利用者の顔画像データと、前記第一の利用者の顔画像データに基づく前記第一の利用者の顔が含まれる画像データを第二の利用者に対して共有を許可するか否かに関する共有情報とを記憶部に保持するステップと、
前記顔画像データに基づいて、取得した画像データに第一の利用者の顔が含まれているかを解析するステップと、
前記取得した画像データに前記第一の利用者の顔が含まれている場合、前記共有情報に基づいて前記第二の利用者に対して前記取得した画像データを共有させるか否かを決定するステップと、
を備える、情報処理方法。
【請求項９】
利用者の情報と関連付けられた前記利用者の顔画像データを記憶部に保持する手段、
前記顔画像データに基づいて、取得した画像データに前記利用者の顔が含まれているかを解析する手段、
前記取得した画像データに前記利用者の顔が含まれている場合、前記取得した画像データの共有の許可を前記利用者に確認する手段、
としてコンピュータを機能させるためのプログラム。
【請求項１０】
第一の利用者の情報と関連付けられた前記第一の利用者の顔画像データと、前記第一の利用者の顔画像データに基づく前記第一の利用者の顔が含まれる画像データを第二の利用者に対して共有を許可するか否かに関する共有情報とを記憶部に保持する手段、
前記顔画像データに基づいて、取得した画像データに第一の利用者の顔が含まれているかを解析する手段、
前記取得した画像データに前記第一の利用者の顔が含まれている場合、前記共有情報に基づいて前記第二の利用者に対して前記取得した画像データを共有させるか否かを決定する手段、
としてコンピュータを機能させるためのプログラム。
【請求項１】
利用者の情報と関連付けられた前記利用者の顔画像データを保持する記憶部と、
前記顔画像データに基づいて、取得した画像データに前記利用者の顔が含まれているかを解析する解析部と、
前記取得した画像データに前記利用者の顔が含まれている場合、前記取得した画像データの共有の許可を前記利用者に確認する確認部と、
を備える、情報処理装置。
【請求項２】
前記取得した画像データの前記利用者の顔部分に対してマスキング処理する、又はアバター画像を挿入する画像処理部を更に備える、請求項１に記載の情報処理装置。
【請求項３】
第一の利用者の情報と関連付けられた前記第一の利用者の顔画像データと、前記第一の利用者の顔画像データに基づく前記第一の利用者の顔が含まれる画像データを第二の利用者に対して共有を許可するか否かに関する共有情報とを保持する記憶部と、
前記顔画像データに基づいて、取得した画像データに第一の利用者の顔が含まれているかを解析する解析部と、
前記取得した画像データに前記第一の利用者の顔が含まれている場合、前記共有情報に基づいて前記第二の利用者に対して前記取得した画像データを共有させるか否かを決定する共有決定部と、
を備える、情報処理装置。
【請求項４】
前記共有情報は、前記第二の利用者に対して共有を許可するか否かを前記第一の利用者に確認して得られた情報である、請求項３に記載の情報処理装置。
【請求項５】
前記記憶部は、第三の利用者の情報と関連付けられた前記第三の利用者の顔画像データを保持し、
前記解析部は、前記顔画像データに基づいて、前記取得した画像データに前記第三の利用者の顔が含まれているかを解析し、
前記取得した画像データに前記第三の利用者の顔が含まれている場合、前記第三の利用者へ前記取得した画像データの共有の許可を確認する確認部を更に備える、請求項３又は４に記載の情報処理装置。
【請求項６】
前記取得した画像データの所有者によって設定された、前記取得された画像の共有を許可する範囲又は共有を禁止する範囲に基づいて、前記取得した画像を共有させるか否かを決定する第二の共有決定部を更に備える、請求項１〜５のいずれか１項に記載の情報処理装置。
【請求項７】
利用者の情報と関連付けられた前記利用者の顔画像データを記憶部に保持するステップと、
前記顔画像データに基づいて、取得した画像データに前記利用者の顔が含まれているかを解析するステップと、
前記取得した画像データに前記利用者の顔が含まれている場合、前記取得した画像データの共有の許可を前記利用者に確認するステップと、
を備える、情報処理方法。
【請求項８】
第一の利用者の情報と関連付けられた前記第一の利用者の顔画像データと、前記第一の利用者の顔画像データに基づく前記第一の利用者の顔が含まれる画像データを第二の利用者に対して共有を許可するか否かに関する共有情報とを記憶部に保持するステップと、
前記顔画像データに基づいて、取得した画像データに第一の利用者の顔が含まれているかを解析するステップと、
前記取得した画像データに前記第一の利用者の顔が含まれている場合、前記共有情報に基づいて前記第二の利用者に対して前記取得した画像データを共有させるか否かを決定するステップと、
を備える、情報処理方法。
【請求項９】
利用者の情報と関連付けられた前記利用者の顔画像データを記憶部に保持する手段、
前記顔画像データに基づいて、取得した画像データに前記利用者の顔が含まれているかを解析する手段、
前記取得した画像データに前記利用者の顔が含まれている場合、前記取得した画像データの共有の許可を前記利用者に確認する手段、
としてコンピュータを機能させるためのプログラム。
【請求項１０】
第一の利用者の情報と関連付けられた前記第一の利用者の顔画像データと、前記第一の利用者の顔画像データに基づく前記第一の利用者の顔が含まれる画像データを第二の利用者に対して共有を許可するか否かに関する共有情報とを記憶部に保持する手段、
前記顔画像データに基づいて、取得した画像データに第一の利用者の顔が含まれているかを解析する手段、
前記取得した画像データに前記第一の利用者の顔が含まれている場合、前記共有情報に基づいて前記第二の利用者に対して前記取得した画像データを共有させるか否かを決定する手段、
としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【公開番号】特開２０１２−１８５５７（Ｐ２０１２−１８５５７Ａ）
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願番号】特願２０１０−１５５５９８（Ｐ２０１０−１５５５９８）
【出願日】平成２２年７月８日（２０１０．７．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願日】平成２２年７月８日（２０１０．７．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]