画像処理システム、画像処理方法、情報処理装置およびプログラム
【課題】 ユーザと似た趣味、趣向を持つ他のユーザが構成した補正手順をユーザの画像データに適用することを容易にする。
【解決手段】 ユーザのネットワーク上での活動により構成された前記ユーザと他の人物との関連を示す情報に基づいて、前記ユーザと前記他の人物との関連を判定する第1の判定手段と、補正対象画像と前記他の人物に対応する補正済み画像との関連を判定する第2の判定手段と、前記第1の判定手段による判定結果と第2の判定手段による判定結果に応じて、前記補正済み画像に施された補正処理に対応する補正手順により前記補正対象画像を補正する補正手段とを有することを特徴とする画像処理システムを提供する。
【解決手段】 ユーザのネットワーク上での活動により構成された前記ユーザと他の人物との関連を示す情報に基づいて、前記ユーザと前記他の人物との関連を判定する第1の判定手段と、補正対象画像と前記他の人物に対応する補正済み画像との関連を判定する第2の判定手段と、前記第1の判定手段による判定結果と第2の判定手段による判定結果に応じて、前記補正済み画像に施された補正処理に対応する補正手順により前記補正対象画像を補正する補正手段とを有することを特徴とする画像処理システムを提供する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データに補正を施す画像処理システム及び方法に関する。
【背景技術】
【0002】
画像データを画面へ表示する際やプリントアウトを行う際に、見栄えをよくするなどの目的で、画像データに対して種々の補正処理を施すことが一般的に行われている。このような画像補正を行う場合、ユーザは、画像処理ソフトウェアやオンラインサービスを用いて補正処理の手順(以下、「補正手順」という。)を指示し、ユーザの嗜好に合致した画像へと変換することが一般的に行われている。
【0003】
画像データを補正してユーザの嗜好に合致した画像へと変換するには、補正手順を適切に構成する必要がある。しかし、補正手順の構成は高い習熟度と大きな労力を要する作業であり、補正手順の構成に習熟していないユーザにとって目的とする画像補正を施こすために必要な各パラメータ設定が煩雑であるという課題がある。この課題を解決するための従来技術として、補正対象画像と類似した特徴を有する画像(以下、「類似画像」という。)に対して過去に施した補正手順を、該補正対象画像に対して再び適用する技術が知られている。
【0004】
例えば、特許文献1には、画像データの特徴を画像データに施した補正手順と関連付けて記憶することで、補正対象画像データと類似する画像に適用された補正手順を補正対象画像データに処理を施す技術が開示されている。
【0005】
また、特許文献2には、予めサンプル画像ごとに最適な補正手順を蓄積することで、処理対象画像に最も類似するサンプル画像と対応付けられた補正手順を選択し、選択した補正手順に従い処理対象画像に対して補正を施す技術が開示されている。
【0006】
また、特許文献3には、あるユーザが補正対象画像に補正を施す際に、性別、年代等のユーザ情報により同じカテゴリに分けられた別のユーザが、処理対象画像と類似する画像に対して施した補正手順に基づいて、補正対象画像に補正を施す技術が開示されている。
【0007】
一方、ユーザがネットワーク上に蓄積されている情報を検索する際に、膨大な情報の中からユーザが求める情報をふるい分ける目的で、ユーザ同士の関係をグラフ構造として表現した情報であるソーシャルグラフを用いることが一般的に行われている。具体的には、該ソーシャルグラフを用いて該ユーザと嗜好の近いユーザを見つけ出し、該嗜好の近いユーザが情報に対して与えた評価を用いることで、ユーザ自身の嗜好に合致した情報の発見を容易にする。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2006−323580号公報
【特許文献2】特開2004−54751号公報
【特許文献3】特開2009−169620号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
各々のユーザは、画像の仕上がりに対して互いに異なった嗜好を持っている。しかしながら、上述の従来技術では必ずしも各々のユーザの嗜好に合致した画像へと変換することのできる補正手順を提示される訳はではない。
【0010】
例えば、特許文献1に記載の技術においては、画像処理システムに記憶させる補正処理の手順は、あらかじめユーザ自身が作成する必要がある。したがって、以前に類似した画像の補正手順を構成していない場合、ユーザ自身の嗜好に合致した画像へと変換することは難しい。
【0011】
また、特許文献2に記載の技術においては、処理対象画像に最も類似するサンプル画像に対応する、あらかじめ蓄積された補正手順を選択して画像処理を行う。このため、画像の仕上がりに対する嗜好の異なる複数のユーザが補正手順を蓄積する場合、各々のユーザの嗜好に合致した補正手順を必ずしも選択できないという不都合が生じる。
【0012】
また、特許文献3に記載の技術においては、画像処理システムを利用するユーザに対し、男女の性差や年代等の点で同様の特性を持つユーザが、処理対象画像と同様の特徴を持つ画像に対して施した補正手順を用いて画像処理を行う。しかし、ユーザと同じ特性を持つ他のユーザの嗜好と該ユーザ自身の嗜好が一致しない場合、良好な結果を得ることができないという問題がある。
【0013】
本技術は、このような従来技術の問題点を解消するべく案出されたものである。その主な目的は、ユーザと似た趣味、趣向を持つ他のユーザが構成した補正手順をユーザの画像データに適用することを容易にすることである。
【課題を解決するための手段】
【0014】
上記の解決するための手段、ユーザのネットワーク上での活動により構成された前記ユーザと他の人物との関連を示す情報に基づいて、前記ユーザと前記他の人物との関連を判定する第1の判定手段と、補正対象画像と前記他の人物に対応する補正済み画像との関連を判定する第2の判定手段と、前記第1の判定手段による判定結果と第2の判定手段による判定結果に応じて、前記補正済み画像に施された補正処理に対応する補正手順により前記補正対象画像を補正する補正手段とを有することを特徴とする画像処理システムを提供する。
【発明の効果】
【0015】
本発明によれば、ユ―ザと似た趣味、趣向を持つと思われる他のユーザが構成したユーザの画像と関連する画像に施された補正手順をユーザの画像にも適用することができる。
【図面の簡単な説明】
【0016】
【図1】ある画像データに施す際に構成した補正手順を、他の画像に対しても再度適用し、あるいは当該の補正手順に基づいて新たに派生補正手順を構成する例を示す図である。
【図2】本実施形態に係る画像処理システムの構成を示すブロック図である。
【図3】画像処理システム200を構成する各サーバの構成を示すブロック図である。
【図4】ユーザを表現するノードを含むソーシャルグラフの一例を示す図である。
【図5】ソーシャルグラフ記録手段205の具体例である。
【図6】ソーシャルグラフ記録処理のフローチャートである。
【図7】補正履歴記録手段211の具体例である。
【図8】補正手順記録処理のシーケンス図である。
【図9】補正手順提供処理のシーケンス図である。
【図10】画像データをノードとしてさらに含むソーシャルグラフの一例を示した図である。
【図11】補正手順をノードとしてさらに含むソーシャルグラフの一例を示した図である。
【発明を実施するための形態】
【0017】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【0018】
(第1の実施の形態)
図2は本発明の実施形態に係る画像処理システムの構成を示すブロック図である。
【0019】
図2において、画像処理システム200は、ソーシャルグラフサーバ201と、補正処理サーバ202と、補正履歴サーバ203とを備える。図3は、画像処理システム200を構成する各サーバの構成を示すブロック図である。各サーバは、後述する各サーバの動作を実現するプログラムが格納されるROM301と、ワークスペースや一時メモリとしてのRAM302と、永続的に保存されるデータを格納するストレージ303とを備える。また、各サーバは、プログラムを実行することにより各構成要素の動作を制御するCPU304と、他のサーバと通信するネットワーク・インタフェース305をさらに備える。また、各サーバにおいて、各々の構成要素はバス306を介して互いに通信可能に接続される。また、画像処理システム200において、各々のサーバはネットワーク204を介して互いに通信可能に接続される。また、各サーバは情報の演算や加工等を行うコンピュータ(情報処理装置)である。
【0020】
図2において、ソーシャルグラフサーバ201は、ネットワーク上で運営されるSocial Networking Service(SNS)での各ユーザの活動に基づいて形成されるソーシャルグラフを保持するサーバである。ここで、本実施形態に係るSNSとは、ユーザ夫々が画像やブログ(日記)等をSNS上にアップロードし、アップロードされた画像や他のユーザに対する評価やコメントを行うことが可能である。また、SNSは、上述のネットワーク上(SNS)での活動を通じてユーザ同士のコミュニケーションの場を提供するサービスである。また、各ユーザは自身の誕生日、職業などのプロフィール、スケジュール、日記を登録し、他のユーザに公開することができる。また、SNSのユーザは、他のユーザを「友人」または「お気に入り」として設定したり、ユーザ同士でメッセージのやり取りをしたりすることが可能である。また、ユーザが写真などのコンテンツを投稿して公開することが可能である。また、公開したコンテンツに対して他のユーザからコメントや評価が付与される。また、SNSにおいて、ユーザは共通の趣味、趣向、属性を有するユーザを募集する「グループ」を構築することができる。ユーザは、「グループ」を構築して、共通の趣味、趣向、属性を有する他のユーザを募集したり、他のユーザが構築した「グループ」に参加したりすることが可能である。また、ユーザ間のメッセージの送受信の回数などを記録可能である。
【0021】
これらのSNSでの各ユーザの活動に基づいて、各ユーザ間で関連が構築され、該関連をグラフとして表したものがソーシャルグラフである。本実施形態においてソーシャルグラフは、ユーザを表すノード同士をエッジで結んだグラフとして表現される。
【0022】
ソーシャルグラフサーバ201は、前述したソーシャルグラフを記録するソーシャルグラフ記録手段205を備える。また、ソーシャルグラフサーバ201は、ソーシャルグラフを構成する際に、ユーザ同士の互いへの関心の度合いに基づいて各ユーザに重みづけるユーザ重み付け手段206を備える。さらに、ユーザ同士のソーシャルグラフ上での関連の度合いの尺度である距離を算出する距離算出手段207をさらに備える。
【0023】
ここで、ソーシャルグラフサーバ201が管理するソーシャルグラフは、画像処理システム200のユーザを表現するノードを含み、該ユーザ間の一方向あるいは双方向の参照関係をエッジとして表現する重み付き有向グラフである。具体的には、ユーザ間の参照関係は、あるユーザが他のユーザに対して関心があることを表す。また、ユーザ重み付け手段206は、ユーザを表すノード間を結ぶエッジを、一方のユーザが他方のユーザに対して持っている関心の度合いに基づいて重み付ける。さらに、ユーザを表すノードを、他のユーザから持たれている関心の度合いに基づいて重み付ける。一例として、一方のユーザAから他方のユーザBへの関心は、ユーザAがユーザBを友達として登録していることによって表される。また、一方のユーザAから他方のユーザBへの関心は、ユーザBがSNSなどにアップロードした画像をユーザAが評価を行っていることにより表される。加えて、ユーザAとユーザBが同じ趣味に対して関心を持っており、また同じ画像やウェブページに対して評価を与えていることによっても表される。また、SNS上で同じ「グループ」に属している際に互いに関心が高いとされ、より重みづけのウェイトが高くなる。さらに、SNS上での「グループ」が画像に関する場合であればより重みづけのウェイトが高くなるよう構成しても良い。
【0024】
また、ユーザAからユーザBへの関心の度合いは、ユーザAがユーザBに対して付与したレーティング情報や、ユーザAからユーザBへのメッセージの送信頻度に基づいて決定する。さらに、前記関心の度合いは、ユーザAとユーザBの共通する趣味の個数や、共に評価を与えているウェブページの個数にさらに基づいて決定する。
【0025】
図4は、ソーシャルグラフサーバ201に記録される、画像処理システムのユーザを表現するノードを含むソーシャルグラフの一例を示す図である。図4において、ソーシャルグラフのエッジは、ユーザが他のユーザに対して持っている関心の度合いに基づいて、0〜1の範囲で重み付けされる。また、ユーザを表すノードは、ユーザを終点とするエッジの重み付けを合計した値で重み付けられる。ここで、エッジの重み付けは、数字が大きいほど始点のノードを表すユーザが終点のノードを表すユーザに強い関心を抱いていることを示し、「1」が最も関心の度合いが高く、「0」が最も関心の度合いが低い。また、ノードの重み付けは、数字が大きいほどソーシャルグラフ全体の中でノードを表すユーザが他のユーザから関心を持たれていることを示す。
【0026】
例えば、図4において、ユーザAは、ユーザCとユーザDを友達として登録しており、ユーザCとユーザDがSNSなどにアップロードした画像に基づいて、ユーザCに対して3点(10点満点)とユーザDに対して(10点満点)1点のレーティングを与えている。また、ユーザAは、ユーザBとユーザDから友達として登録されており、それぞれから2点ずつのレーティングを与えられている。
【0027】
これらの各ユーザのネットワーク上での活動を示す情報に基づいて、ソーシャルグラフサーバ201は、図4に示すソーシャルグラフを構成する。また、図4に示すソーシャルグラフにおいて、SNSでの友達登録に基づいて、ユーザAとユーザB、およびユーザAとユーザCの間に片方向のエッジが形成され、ユーザAとユーザDの間に両方向のエッジが形成される。また、夫々のユーザがアップロードした画像の他のユーザからのレーティングに基づいて、ユーザAからユーザCおよびユーザDへ張られたエッジは、それぞれ0.3と0.1で重み付けされている。そして、ユーザBとユーザDからユーザAへ張られたエッジは、それぞれ0.2で重み付けされる。さらに、ユーザAを表すノードを終端とするエッジの重みを全て合計すると0.4であるので、すなわち、ユーザAを表すノードは0.4で重み付けられる。図5は、ソーシャルグラフ記録手段205が保持するデータ構造の具体例である。
【0028】
図5において、テーブルの列方向には同一の属性(例えば、識別子)の情報が配列され、行方向には各属性に対応する情報が配列される。具体的には、テーブルa及びテーブルbの識別子の欄には、ソーシャルグラフに含まれるノードを表す識別子が配置される。また、テーブルaの種別の欄には、ノードが表現する対象の種類が配置され、重み付けの欄には、該ノードの重み付けが配置される。さらに、テーブルbの隣接点の欄には、エッジによって結ばれた他のノードの識別子が配置され、重み付けの欄には、該エッジの重み付けが配置される。図5のテーブルでは、行方向に配置された各種情報が互いに関連付けられている。例えば、テーブルaにおいて、識別子「1」と、種別「ユーザ」と、重み付け「0.3」とが互いに関連付けられ、また、テーブルbにおいて、識別子「1」と、隣接点「3」と、重み付け「0.3」とが互いに関連付けられている。
【0029】
図2に戻り、ソーシャルグラフサーバ201の構成の説明を続ける。ソーシャルグラフサーバ201の距離算出手段207は、ソーシャルグラフ記録手段205が記録したソーシャルグラフに基づいて、任意に選択したユーザ間のソーシャルグラフ上での距離であるユーザ間距離を算出する。具体的には、ソーシャルグラフ上において二人のユーザを表すノード間を結ぶ経路上にある各々のエッジについて、エッジに施された重み付けに基づいて長さを求め、算出した各エッジの長さに基づいてユーザ間距離を算出する。即ち、距離算出手段207は、ネットワーク上での活動により構成されたユーザと他の人物との関連を示す情報(ソーシャルグラフ)に基づいて、前記ユーザと前記他の人物との関連を判定する(第1の判定)。
【0030】
続いて、補正処理サーバ202の構成について説明する。補正処理サーバ202は、ユーザがアップロードした画像を、他の画像に既に施された補正手順に基づいて補正を施す画像データ補正手段208を備える。また、補正処理サーバ202は、画像データの特徴である画像特徴を検出する特徴検出手段209を備える。また、画像データに施された補正手順と、該画像データの画像特徴と、補正手順を構成したユーザとを関連付けて後述する補正履歴サーバ203に登録する補正履歴登録手段210をさらに備える。
【0031】
画像データ補正手段208は、ユーザが画像データに補正を施す際に指示した一連の処理手順である補正手順に基づいて、画像データに補正を施す。具体的には、画像データ補正手段208は、ユーザが補正を施す画像データに対して、γカーブ補正処理、空間フィルタ処理、肌色強調処理、赤目処理等の画像補正処理を、ユーザの指示した順序で補正処理を施す。画像データに対して施す画像処理は、ユーザが指定するγカーブ、空間フィルタ半径、肌色強調量、赤目処理範囲等の補正パラメータ等に従う。また、画像データ補正手段208は、補正履歴サーバ203が保持する補正手順に従い、画像データに補正処理を行う。
【0032】
特徴検出手段209は、補正処理サーバ202において補正を施した画像データまたは入力された画像データの特徴である画像特徴を検出する。具体的には、特徴検出手段209は、補正処理サーバ202において補正を施した画像データを解析する。そして、特徴検出手段209は、画像の特徴を定量的に表現した指標であるヒストグラム、エッジ量、人物の顔の位置や大きさ、赤目等の画像特徴量や、画像に写りこんでいる物体や人物の名前、撮影位置や撮影日時等のコンテキスト情報などを検出する。補正履歴登録手段210は、補正処理サーバ202において画像データに施した補正手順、補正手順を構成したユーザ、および特徴検出手段209により検出された画像データの画像特徴を、ネットワーク204を通じて後述する補正履歴記録手段211に通知する。なお、補正履歴登録手段210は、登録された補正手順と共に該補正手順にとより補正が施されている補正済み画像も併せて登録される。
【0033】
続いて、補正履歴サーバ203の構成について説明する。補正履歴サーバ203は、補正処理サーバ202からの登録要求に応じて、画像データに施した補正手順と、該画像データの画像特徴と、補正手順を構成したユーザの情報を関連付けて記録する補正履歴記録手段211を備える。また、補正履歴サーバ203は、補正履歴記録手段211に記録された補正手順に重み付け情報を付加する補正手順重み付け手段212と、補正履歴記録手段211に記録された複数の補正手順を順序付けする補正手順順序付け手段213とをさらに備える。また、補正履歴サーバ203は、補正手順に基づいて画像データに予め補正を施す予備補正手段214と、補正手順順序付け手段213により順序付けされた補正手順を外部装置に提供する補正手順提供手段215をさらに備える。また、補正履歴サーバ203は、補正手順提供手段215により提供された補正手順の中から任意のものをユーザ操作に基づいて選択する補正手順選択手段216をさらに備える。
【0034】
補正履歴記録手段211は、補正履歴登録手段210から通知された補正手順、画像特徴、及びユーザ情報を互いに関連付けて補正履歴として記憶する。補正履歴記録手段211が記録し、保持しているデータ構造の例を図7に示す。補正履歴記録手段211は、複数のテーブルと、入れ子構造を記述した文書を格納する書庫とを補正履歴サーバ203のストレージ303に記録する。図7において、テーブル2aは、補正された各画像に対応する補正履歴を表す識別子、補正手順を表す識別子、画像特徴を表す識別子、ユーザを表す識別子を夫々関連付けて管理するためのテーブルである。書庫2bは、補正手順の具体的な処理内容を示すテキストデータの集合である。各テキストデータには、補正手順識別子と、γカーブ補正処理、空間フィルタ処理、肌色強調処理、赤目処理が行われたか否か、行われた場合はその補正パラメータ等が補正処理を適用する順番に従って記述されている。
【0035】
テーブル2cは、補正された画像の画像特徴を示すテーブルデータである。テーブル2cは、テーブル2aで記された各画像特徴識別子に対応する画像特徴を詳細に記すテーブルデータである。具体的には、画像のヒストグラム、画像中のエッジ量、検出された顔領域の数、撮影位置や撮影日時等の情報がテーブル2cに画像特徴として保持される。テーブル2dは、補正された画像に登場する人物に関する情報を示すテーブルデータである。テーブル2dには、画像特徴識別子、画像特徴識別子に対応する画像に写りこんでいる人物の顔の位置と大きさ、赤目の有無、人物の名前が配置される。
【0036】
また、図7のテーブルでは、行方向に配置された各種情報が互いに関連付けられている。例えば、テーブル2aにおいて、履歴番号「1」と、補正手順識別子「1」と、画像特徴識別子「1」と、ユーザ識別子「1」とが互いに関連付けられている。また、図7の書庫では、文書に記述された各要素が互いに関連付けられている。例えば、書庫2bにおいて、補正手順要素は、識別子「1」と、入れ子になって順番に並べられている要素である空間フィルタ要素と、赤目処理要素と、γカーブ要素と、肌色強調要素とが、互いに関連付けられている。
【0037】
図2に戻り、補正履歴サーバ203の構成を続ける。補正手順重み付け手段212は、補正履歴記録手段211により記録された補正手順に関連付けられたユーザ情報と他のユーザとのユーザ間距離を、ネットワーク204を通じて距離算出手段207に問い合せる。補正手順重み付け手段212は、問い合わせの結果として得たユーザ間距離に基づいて補正手順に重み付ける。補正手順順序付け手段213は、補正手順重み付け手段212により重み付けされた複数の補正手順について、該重み付けおよび補正対象画像と補正手順に対応する画像との類似度に基づいて複数の補正手順の順序付けを行う。
【0038】
予備補正手段214は、ユーザの指示に先立って後述する補正手順提供手段215から通知された補正対象画像データに対し、同様に補正手順提供手段215から通知された補正手順に従って、予め補正を施した予備補正画像生成する。補正手順提供手段215は、ユーザからの問い合わせに対して、補正履歴記録手段211により記録された補正手順のうち補正手順順序付け手段213による順序付けに応じて、補正手順をユーザに提供する。
【0039】
以上の構成を有する画像処理システムの動作について以降詳細に説明を行う。図6は、ソーシャルグラフサーバ201により実行されるソーシャルグラフ記録処理のフローチャートである。図6において、ソーシャルグラフ記録手段205は、新たなユーザに関するネットワークにおける活動を示す情報を入力すると(ステップS101)、入力された情報に対応するユーザが既に記録済みであるかを判別する(ステップS102)。もし記録されていないなら、入力されたネットワークにおける活動を示す情報を解析し、対応するユーザをノードとしてソーシャルグラフに追加する(ステップS103)。次いで、ソーシャルグラフ記録手段205は、ネットワークにおける活動を示す情報を解析し、ソーシャルグラフ上の他のユーザとの関連を判定する。例えば、入力されたネットワークにおける活動を示す情報に含まれる「友達」として設定している他のユーザがソーシャルグラフ上にノードとして存在するかを判定する。そして、他のユーザとの関心の度合いをネットワークにおける活動を示す情報に含まれる他のユーザに対応する画像への評価、他のユーザと共通グループ、メッセージ交換頻度等に基づいて取得する(ステップS104)。そして、ソーシャルグラフ記録手段205は保持しているソーシャルグラフ上において入力されたユーザと他のユーザ間(ノード間)にエッジが存在するかを判別する(ステップS105)。もし存在しないなら、取得した他のユーザとの関心の度合いに基づいてエッジを追加する(ステップS106)。次いで、ソーシャルグラフ記録手段205は、入力された関心の度合いに基づいてエッジに重み付けを設定し(ステップS107)、追加されたエッジに施された重み付けに基づいてソーシャルグラフ上のノードの重み付けを更新する(ステップS108)。ユーザ重み付け手段206は、更新されたノードの関心の度合いに基づいて、対応するユーザの重み付けを更新する(ステップS109)。以上のようにして、ソーシャルグラフサーバ201はソーシャルグラフを作成し、記録する。
【0040】
続いて、補正処理サーバに202おいて実行された画像補正手順を補正履歴サーバ203が記録する補正手順記録処理について説明を行う。図8は、補正手順記録処理のシーケンス図である。図8において、ユーザが補正処理サーバに202にネットワークを介して画像データと補正手順を入力する。(ステップS201)。画像データを入力された補正処理サーバ202の画像データ補正手段208は画像データともに入力された補正手順に基づいて、該画像データに補正を施す(ステップS202)。次いで、画像データ補正手段208は特徴検出手段209に画像データを入力し(ステップS203)、特徴検出手段209は画像データから画像特徴を検出する(ステップS204)。画像データ補正手段208は、画像データに施した補正手順、補正手順を構成したユーザ情報、および特徴検出手段209により検出された画像データの画像特徴を補正履歴登録手段210に入力する(ステップS205)。補正履歴登録手段210は、入力された補正手順、画像特徴、及びユーザ情報夫々を関連付けて補正履歴サーバ203の補正履歴記録手段211にネットワークを介して送信する(ステップS206)。補正履歴サーバ203の補正履歴記録手段211は、補正処理サーバに202から通知された補正手順、画像特徴、及びユーザ情報を互いに関連付けて記憶する(ステップS207)。
【0041】
続いて、上述の図8を用いて説明を行った補正手順記録処理により記録された補正手順を他のユーザに対して提供する補正手順提供処理について説明を行う。図9は、補正手順提供処理のシーケンス図である。図9において、補正手順を要求しているユーザは補正対象画像データと該ユーザに関する情報と共に該画像データに対する補正手順を要求する旨の問合せを補正履歴サーバ203に行う(ステップS301)。ここで、ユーザに関する情報とぢては、例えば、SNSにおけるID等一意にユーザを識別できる情であるとする。補正履歴サーバ203の補正手順提供手段215は、問合せを受信すると、受信した画像データを、ネットワーク204を通じて補正処理サーバ202の特徴検出手段209に入力する(ステップS302)。補正処理サーバ202の特徴検出手段209は、入力された補正対象画像データから画像特徴を検出し、検出した画像特徴を補正履歴サーバ203に返送する(ステップS303)。さらに、補正手順提供手段215は、補正対象画像データの画像特徴と類似する画像特徴を有する他の画像に行われた補正手順を補正履歴記録手段211から取得する。また、補正手順提供手段215は、補正手順と共に補正手順に関連付けられたユーザ情報及び画像特徴も併せて補正履歴記録手段211から取得する(ステップS304)。ここで、補正対象画像データの画像特徴と対応する画像特徴を有する他の画像を判定するために、画像特徴同士の値の差を算出する。そして、補正履歴サーバ203は、画像特徴同士の値の差が一定値より小さい値となる画像の補正手順のみを補正履歴記録手段211から選択して取得する。
【0042】
次いで、補正手順提供手段215は問い合わせを行った補正手順を要求しているユーザ情報とS304において取得した補正手順に関連付けられたユーザ情報とを補正手順重み付け手段212に入力する(ステップS305)。補正手順重み付け手段212は、補正手順を要求しているユーザ情報と補正手順に関連付けられたユーザ情報とを、ネットワーク204を通じてソーシャルグラフサーバ201の距離算出手段207に入力する。そして、補正手順重み付け手段212は、該ユーザ同士間のユーザ間距離を取得する(ステップS306)。距離算出手段207により算出されるユーザ間距離は、下記の式(1)により求められる。
【0043】
【数1】
【0044】
式(1)において、wiはソーシャルグラフ上の距離を求める対象となるユーザ間に対応するノード間を結ぶ経路上にある各エッジの重みを表す。このとき、各エッジの重みの逆数を、そのエッジの長さとし、ノード間を結ぶ経路上にあるエッジの長さを総和したものを、その経路の距離(d)とし、これをユーザ間距離とする。なお、ソーシャルグラフ上のノード間を結ぶ経路は最短距離かつ最もエッジの重みが重い経路をたどるものとする。ユーザ間距離の値は、二人のユーザを表すノード間を結ぶ最短経路上にある各エッジの重み付けが大きいほど、小さくなる。即ち、ユーザ間距離が小さいほど、ユーザ同士の趣味や趣向が似通って互いに関心が高いと判断することができる。また、距離算出手段207は、ソーシャルグラフ上での補正手順に関連付けられたユーザに対応するノードの重みづけを併せて取得する。
【0045】
次いで、補正手順重み付け手段212は取得したユーザ間距離dと、該ユーザ間距離に対応する補正手順とを夫々対応付ける(ステップS307)。補正手順提供手段215は、補正対象画像データの画像特徴と、ユーザ間距離と対応付けられた補正手順と、各補正手順に対応する画像特徴と、各補正手順夫々に関連付けられたユーザに対応するノードの重みづけとを補正手順順序付け手段213に入力する。(ステップS308)。補正手順順序付け手段213は、補正対象画像データの画像特徴と補正手順に関連付けられた画像特徴とを用いて、画像間の類似度を算出する(ステップS309)。つまり、補正手順順序付け手段213は、画像間の類似性を求めることにより、該画像間の関連を判定する(第2の判定)。次いで、補正手順順序付け手段213は、補正手順に関連付けられたユーザのソーシャルグラフ上での重み付けと、前記算出された類似度と、補正手順に関連付けられたユーザ間距離に基づいて補正手順の順序付けを行う(ステップS310)。補正手順の順序付けは下記式(2)に基づいて決定する。
【0046】
【数2】
【0047】
式(2)おいて、rは補正手順に関連付けられたユーザのソーシャルグラフ上での重み付けを、fはユーザが入力した画像データの画像特徴と補正手順に関連付けられた画像特徴との差を値として算出したものを表す。また、dは補正手順を要求しているユーザと補正手順に関連付けられているユーザとのユーザ間距離を表す。ここで、a,b,cは任意の定数である。このとき、補正手順の順序付けは、補正手順に関連付けられたユーザのソーシャルグラフ上での重み付けが大きいほど(ソーシャルグラフ上で他のユーザからより多く参照される(関心を持たれている)ほど)、高い順位に順序付けされる。つまり、他のユーザからより興味を持たれているユーザが施した補正手順がより高く評価されることなる。即ち、他のユーザから興味を持たれるような画像補正を施している画像をSNS上にアップロードしているユーザの補正手順を積極的に推奨することができる。また、ユーザが入力した画像データの画像特徴と補正手順に関連付けられた画像特徴との差が小さいほど、高い順位に順序付けされる。つまり、補正対象画像と同様な構図、色彩、彩度、被写体を有する画像に施された補正手順を積極的に推奨することができる。さらに、問い合わせを行ったユーザ(補正手順を要求しているユーザ)と補正手順に関連付けられたユーザのユーザ間距離が小さいほど、高い順位に順序付けされる。つまり、補正手順を要求しているユーザと趣味趣向が類似していると考えられような、ユーザ間距離近い人物が施した補正手順を積極的に推奨することができる。
【0048】
次いで、補正手順提供手段215は、順序付けされた補正手順をユーザに提供する。このとき、補正手順提供手段215は、前記順序付けされた補正手順の全てあるいは一部について、予備補正手段214を用いて該補正手順に基づいてユーザから通知された画像データに予め補正を施した予備補正画像を生成してもよい。補正手順提供手段215は、該予備補正画像を補正手順と関連付けた上でユーザに提供してもよい。
【0049】
さらに、補正手順選択手段216は、順序付けされた上で提供された補正手順をユーザに提示し、操作画面等を用いてユーザが任意の補正手順を選択する手段を提供する。このとき、補正手順選択手段216は、順序付けされた上で提供された補正手順に関連付けられた予備補正画像をユーザに提示してもよい(第2の提示)。補正手順選択手段216は、操作画面等を用いてユーザが任意の予備補正画像を選択する手段を提供し、該選択された予備補正画像に関連付けられた補正手順を選択してもよい(第1の提示)。つまり、ユーザが任意の補正手順を選択する手段は、各補正手順に対応する画像を選択させる構成、各補正手順に基づいて補正対象画像を補正した予備補正画像を選択させる構成にしても構わない。画像データ補正手段208は、選択された補正手順を検出し、該補正手順に基づいて、補正対象画像データの補正を行い、該補正手順により補正された補正対画像をユーザに提供する。
【0050】
以上のように、ユーザは、補正履歴サーバ203にユーザ自身の情報及び画像データを入力して補正手順を問い合わせることで、順序付けされて補正手順の推奨を受けることができる。このとき、提供される補正手順は、補正手順に関連付けられたユーザのソーシャルグラフ上での重み付けが大きいほど、高い順位となるように順序付けされる。また、ユーザが入力した画像データの画像特徴と補正手順に関連付けられた画像特徴との差が小さいほど、高い順位となるように順序付けされる。また、問い合わせを行ったユーザと補正手順に関連付けられたユーザのユーザ間距離が小さいほど、高い順位となるように順序付けされる。このため、ユーザは、補正対象画像データに適していると共に、ユーザと嗜好の合致する他のユーザが構成した補正手順を選択できる。したがって、ユーザは、対象となる画像データを自身の嗜好に合致した画像へと変換することのできる補正手順を容易に選択できる。また、多くのユーザから関心を持たれているユーザが構成した補正手順ほど、高い順位となるように順序付けされるので、ユーザは、自身の嗜好に合致し、画像補正技術に精通していると思われるユーザが構成した補正手順で画像へと変換することができる
さらに、予備補正手段214を用いて順序付けされた補正手順に予備補正画像を関連付けた場合、ユーザは補正手順を施した際の仕上がりを予め視覚的に確認できるため、自身の嗜好に合致した画像へと変換することができる補正手順を、さらに容易に選択できる。本実施形態によれば、ユーザ間の関連を判定する第1の判定と画像間の関連を判定する第2の判定を行い、それらの判定結果に応じて、補正済み画像に施された画像補正処理を補正対象画像に施すことができる。
【0051】
なお、第1の実施の形態では、図8に示す補正手順記録処理において、補正された画像データの画像特徴を検出し、補正手順と関連付けて記録する構成を支援したが、画像データそのものや画像データのURL等の参照情報御記録する構成としてもよい。この場合、補正手順提供処理のステップS304において、補正手順提供手段215は補正手順に関連付けられた画像データまたは画像参照情報に基づいて取得した画像データの画像特徴を検出する構成とする。
【0052】
なお、複数の補正手順からユーザの指定に基づいて、実際に補正対象の補正に用いる補正手順を取得する構成を説明したが、例えば、最も高く順序づけされた補正手順により自動で補正された画像をユーザに提供する構成としても良い。
【0053】
以上説明した本実施形態によれば、画像特徴に代わって画像データそのものまたは画像データへの参照情報を補正履歴として記録することで、補正履歴を記録する前に画像特徴を検出する必要がなくなる。また、画像参照情報により特定される画像データからの画像特徴の検出処理は、ステップS308までの任意のタイミングで行う構成としてよい。このため、画像特徴の検出処理の負荷を、時間的に分散することができる。
【0054】
(第2の実施の形態)
本実施の形態では、画像処理システム200のユーザが保有若しくは関心がある画像にさらに基づいて、ユーザ間距離を算出する例について説明する。なお、本実施の形態の構成は、上述の第1の実施の形態の構成と略同一であり、第1の実施の形態と同一部分には同一符合を付して詳細な説明は省略する。第1の実施形態と異なる点について詳細に説明を行う。
【0055】
図10は、画像データをノードとしてさらに含むソーシャルグラフの一例を示した図である。本実施の形態では、ソーシャルグラフサーバ201は、ソーシャルグラフ記録手段205に画像処理システム200のユーザが保有している画像データの情報を入力すると、画像データの情報をノードとして加える。また、ソーシャルグラフサーバ201は、画像データを保有するユーザとの間にエッジを追加した新たなグラフを構成する。また、ソーシャルグラフ記録手段205にユーザが関心を持つ画像データの情報を入力すると、画像データの情報をノードとして加えると共に、ユーザと画像データの間に、関心の度合いに基づいて重み付けしたエッジを追加した新たなグラフを構成する。ユーザの画像への関心は、ユーザが画像に対して評価を与えていることによって表される。また、ユーザAからユーザBへの関心の度合いは、ユーザが画像に対して付与したレーティング情報に基づいて決定する。図10に示されるソーシャルグラフの例では、ユーザと画像データとの間を結ぶエッジは、ユーザが画像データに対して持っている関心の度合いに基づいて、0〜1の範囲で重み付けされる。また、ユーザを表すノードの重みづけは、ユーザ及びユーザが保有している画像データを終端とする、他のユーザとの間を結ぶエッジの重み付けを合計した値により表される。例えば、ユーザAが保有する画像Aは、ユーザBから1点のレーティングを与えられている。また、ユーザAが保有する画像Cは、ユーザBから1点のレーティングを与えられている。このとき、ユーザAとユーザAが保有する画像を表すノードを終端とする他のユーザとの間を結ぶエッジの重みを全て合計すると0.4であるので、すなわち、ユーザAを表すノードは0.4で重み付けられる。
【0056】
図10に示されるソーシャルグラフを用いてユーザ間距離を算出する場合、一例として、一方のユーザから他方のユーザが保有する画像に向かって張られたエッジを、当該のユーザ間で仮想的に結ばれたエッジとみなして、ユーザ間距離を算出することができる。また、一方のユーザが保有する複数の画像に対して、他方のユーザから複数のエッジが張られている場合、各エッジの重みを合算したものを逆数した値を長さとした双方向の仮想的なエッジで結ばれているとみなして、ユーザ間距離を算出することができる。また、画像に向かって二人のユーザからエッジが張られている場合、当該ユーザ間が、各エッジの重みを合算したものを反比例した値を長さとした双方向の仮想的なエッジで結ばれているとみなして、ユーザ間距離を算出することができる。また、もし、ソーシャルグラフ上に補正手順が記録されている画像があり、補正手順を要求したユーザが該画像に対して評価を行っている場合は、該画像の補正手順をより高く順序付ける構成とすることができる。
【0057】
このように、画像データをノードとして含むと共に、画像データを保有しあるいは関心があるユーザとの間にエッジを追加したソーシャルグラフを作成することで、ユーザ間距離を算出する際に、ユーザの画像に対する関心を反映することができる。また、ユーザと嗜好の合致する他のユーザをより正確に特定することができる。
【0058】
(第3の実施の形態)
本実施の形態では、画像処理システム200のユーザが画像データに対し補正を施す際に適用した補正手順をソーシャルグラフ上のノードに加え、ユーザ間距離を算出する例について説明する。なお、本実施の形態の構成は、上述の第1の実施の形態の構成と略同一であり、第1の実施の形態と同一部分には同一符合を付して詳細な説明は省略する。第1の実施形態と異なる点について詳細に説明を行う。
【0059】
図11は、補正手順をノードとしてさらに含むソーシャルグラフの一例を示した図である。本実施の形態では、ソーシャルグラフサーバ201のソーシャルグラフ記録手段205は、画像処理システム200においてユーザに提供した補正手順の情報を入力すると、補正手順の情報をノードとして加える。また、ソーシャルグラフサーバ201は、ノードとして追加した補正手順を適用したユーザとの間に、ユーザが当該補正手順を適用した回数に基づいて重み付けしたエッジを追加した新たなグラフを構成する。また、ソーシャルグラフ記録手段205は、ノードとして追加された補正手順と補正手順の間の類似度に基づいて重み付けしたエッジを追加した新たなグラフを構成する。
【0060】
図11に示されるソーシャルグラフの例では、ユーザと補正手順との間を結ぶエッジは、ユーザが補正手順を適用した回数に基づいて、0〜1の範囲で重み付けされる。また同様に、補正手順間を結ぶエッジは、補正手順同士の類似度に基づいて、0〜1の範囲で重み付けされる。例えば、図11において補正手順AはユーザBによって2回適用されており、ユ―ザBから補正手順Aに対して0.2で重み付けされたエッジが構成される。また、補正手順BはユーザAとユーザCによって、それぞれ3回および1回適用されており、補正手順BはユーザAとユーザCから補正手順Bに対して、それぞれ0.3と0.1で重み付けされたエッジが構成される。また、補正手順Aと補正手順Bの類似度は50%であり、補正手順Aと補正手順Bは、0.5で重み付けした双方向のエッジで結ばれる。
【0061】
図11に示されるソーシャルグラフを用いてユーザ間距離を算出する場合、補正手順に向かって二人のユーザからエッジが結ばれている場合のユーザ間距離の算出方法について問題となる。この場合、当該ユーザ間が、各エッジの重みを合算したものを反比例した値を長さとした双方向の仮想的なエッジで結ばれているとみなすとする。このようにみなすことで、ユーザ間距離を算出することができる。また、補正手順同士がエッジで結ばれている場合、二人のユーザを表すノード間を結ぶ経路の一部とみなすことができる。なお、ユーザ間を結ぶ仮想的なエッジの長さを算出する方法は、上記に示した方法に限定されるものではない。
【0062】
このように、本実施形態において補正手順をノードとして含むと共に、当該の補正手順と当該の補正手順を適用して画像データに対し補正を施したユーザとの間にエッジを追加する。したがて、ユーザ間距離を算出する際に、ユーザの補正手順に対する嗜好を反映することができ、ユーザと嗜好の合致する他のユーザをより正確に特定することができる。
【0063】
(第4の実施の形態)
本実施の形態では、画像処理システム200のユーザが画像データに対し補正を施す際に構成した補正手順を再度適用した履歴、あるいは既存の補正手順に基づいて生成された補正手順以下、「派生補正手順」という。)を構成した履歴にさらに基づいて、補正手順の順序付けを行う例について説明する。なお、本実施の形態の構成は、上述の第1の実施の形態の構成と略同一であり、第1の実施の形態と同一部分には同一符合を付して詳細な説明は省略する。第1の実施形態と異なる点について詳細に説明を行う。
【0064】
本実施の形態において、補正履歴記録手段211により記録された補正手順に基づいて画像データに補正を施した際に、その履歴を記録する。図1は、ある画像データに施す際に構成した補正手順を、他の画像に対しても再度適用し、あるいは当該の補正手順に基づいて新たに派生補正手順を構成した場合の例を示す図である。ここで、補正手順Aは、画像A、画像Bおよび画像Cに対して適用されている。このとき、補正履歴サーバ203は補正手順Aを画像A、画像Bおよび画像Cに対して適用したことを記録する。また、補正を施す際に補正手順Aに変更を加えて構成した補正手順Bを画像Dに適用し、同様に補正を施す際に補正手順Aに変更を加えて構成した補正手順Cを画像Eに適用している。このとき、補正履歴サーバ203は、補正手順Aに基づいて補正手順B及び補正手順Cが構成されたことを記録する。図1に示される補正手順の適用例に基づいて、補正手順重み付け手段212は、記録された補正手順が再適用された回数に基づいて、補正手順を順序付けることができる。また、補正手順から派生補正手順が新たに構成された場合、補正手順重み付け手段212は、記録された該補正手順から構成した派生補正手順の個数に基づいて、補正手順を順序付けること出来る。すなわち、補正手順の利用回数に基づいて、より多く利用されている補正手順を利用されていない補正手順に比べてより高い順序にすることができる。
【0065】
このように、画像データに対し補正を施す際に使用した履歴、あるいは既存の補正手順に基づく派生補正手順を構成した履歴にさらに基づいて、補正手順を順序付けることができる。したがって、画像データを補正する際に何度も適用あるいは派生元とされた補正手順をより重要なものとして評価できる。このため、ユーザは、他の多くのユーザから支持を受けている補正手順を容易に選択できる。
【0066】
以上、実施形態の例を詳述したが、画像処理システム200の構成は一例にすぎず、上述した構成に限られない。必要に応じて各構成要素を削除してもよく、また、その他の構成要素を追加してもよい。また、各サーバが有する機能構成の全て又は一部を単一の装置が備える構成であっても良い。
【0067】
以上、説明した各実施形態よると、補正対象画像データの特徴と、記憶された補正手順と関連付けられた画像データの特徴との類似度に基づいて複数の補正手順を順序付けできる。また、ユーザは前記補正対象画像データに適した補正手順を選択でき、したがって、ユーザが対象となる画像データに適した補正手順を容易に構成できる。
【0068】
また、画像データに施した補正手順が、前記画像データの特徴と、前記補正手順を構成したユーザと関連付けて記録される。また、ネットワークでの活動に基づいてユーザを表すノードを含むと共に、ユーザ間の参照関係をエッジとして含むソーシャルグラフが記録される。一例として、前記ソーシャルグラフのエッジはユーザ間の関心の度合いに基づいて重み付けされると共に、前記重み付けに基づいて前記ソーシャルグラフ上でのユーザを表すノード間の距離を算出できる。また、前記補正手順を構成したユーザと任意に選択したユーザとのユーザ間距離に基づいて前記補正手順が重み付けされる。このため、補正対象となる画像データの特徴と、前記補正手順と関連付けられた画像データの特徴との類似度及び前記補正手順の前記重み付けに基づいて複数の補正手順を順序付けできる。ユーザは前記補正対象画像データに適しておりかつ該ユーザと嗜好の合致するユーザが構成した補正手順を選択できる。したがって、ユーザは対象となる画像データを該ユーザの嗜好に合致した画像へと変換することができる補正手順を容易に構成できる。
【0069】
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【符号の説明】
【0070】
200 画像処理システム
201 ソーシャルグラフサーバ
202 補正処理サーバ
203 補正履歴サーバ
204 ネットワーク
【技術分野】
【0001】
本発明は、画像データに補正を施す画像処理システム及び方法に関する。
【背景技術】
【0002】
画像データを画面へ表示する際やプリントアウトを行う際に、見栄えをよくするなどの目的で、画像データに対して種々の補正処理を施すことが一般的に行われている。このような画像補正を行う場合、ユーザは、画像処理ソフトウェアやオンラインサービスを用いて補正処理の手順(以下、「補正手順」という。)を指示し、ユーザの嗜好に合致した画像へと変換することが一般的に行われている。
【0003】
画像データを補正してユーザの嗜好に合致した画像へと変換するには、補正手順を適切に構成する必要がある。しかし、補正手順の構成は高い習熟度と大きな労力を要する作業であり、補正手順の構成に習熟していないユーザにとって目的とする画像補正を施こすために必要な各パラメータ設定が煩雑であるという課題がある。この課題を解決するための従来技術として、補正対象画像と類似した特徴を有する画像(以下、「類似画像」という。)に対して過去に施した補正手順を、該補正対象画像に対して再び適用する技術が知られている。
【0004】
例えば、特許文献1には、画像データの特徴を画像データに施した補正手順と関連付けて記憶することで、補正対象画像データと類似する画像に適用された補正手順を補正対象画像データに処理を施す技術が開示されている。
【0005】
また、特許文献2には、予めサンプル画像ごとに最適な補正手順を蓄積することで、処理対象画像に最も類似するサンプル画像と対応付けられた補正手順を選択し、選択した補正手順に従い処理対象画像に対して補正を施す技術が開示されている。
【0006】
また、特許文献3には、あるユーザが補正対象画像に補正を施す際に、性別、年代等のユーザ情報により同じカテゴリに分けられた別のユーザが、処理対象画像と類似する画像に対して施した補正手順に基づいて、補正対象画像に補正を施す技術が開示されている。
【0007】
一方、ユーザがネットワーク上に蓄積されている情報を検索する際に、膨大な情報の中からユーザが求める情報をふるい分ける目的で、ユーザ同士の関係をグラフ構造として表現した情報であるソーシャルグラフを用いることが一般的に行われている。具体的には、該ソーシャルグラフを用いて該ユーザと嗜好の近いユーザを見つけ出し、該嗜好の近いユーザが情報に対して与えた評価を用いることで、ユーザ自身の嗜好に合致した情報の発見を容易にする。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2006−323580号公報
【特許文献2】特開2004−54751号公報
【特許文献3】特開2009−169620号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
各々のユーザは、画像の仕上がりに対して互いに異なった嗜好を持っている。しかしながら、上述の従来技術では必ずしも各々のユーザの嗜好に合致した画像へと変換することのできる補正手順を提示される訳はではない。
【0010】
例えば、特許文献1に記載の技術においては、画像処理システムに記憶させる補正処理の手順は、あらかじめユーザ自身が作成する必要がある。したがって、以前に類似した画像の補正手順を構成していない場合、ユーザ自身の嗜好に合致した画像へと変換することは難しい。
【0011】
また、特許文献2に記載の技術においては、処理対象画像に最も類似するサンプル画像に対応する、あらかじめ蓄積された補正手順を選択して画像処理を行う。このため、画像の仕上がりに対する嗜好の異なる複数のユーザが補正手順を蓄積する場合、各々のユーザの嗜好に合致した補正手順を必ずしも選択できないという不都合が生じる。
【0012】
また、特許文献3に記載の技術においては、画像処理システムを利用するユーザに対し、男女の性差や年代等の点で同様の特性を持つユーザが、処理対象画像と同様の特徴を持つ画像に対して施した補正手順を用いて画像処理を行う。しかし、ユーザと同じ特性を持つ他のユーザの嗜好と該ユーザ自身の嗜好が一致しない場合、良好な結果を得ることができないという問題がある。
【0013】
本技術は、このような従来技術の問題点を解消するべく案出されたものである。その主な目的は、ユーザと似た趣味、趣向を持つ他のユーザが構成した補正手順をユーザの画像データに適用することを容易にすることである。
【課題を解決するための手段】
【0014】
上記の解決するための手段、ユーザのネットワーク上での活動により構成された前記ユーザと他の人物との関連を示す情報に基づいて、前記ユーザと前記他の人物との関連を判定する第1の判定手段と、補正対象画像と前記他の人物に対応する補正済み画像との関連を判定する第2の判定手段と、前記第1の判定手段による判定結果と第2の判定手段による判定結果に応じて、前記補正済み画像に施された補正処理に対応する補正手順により前記補正対象画像を補正する補正手段とを有することを特徴とする画像処理システムを提供する。
【発明の効果】
【0015】
本発明によれば、ユ―ザと似た趣味、趣向を持つと思われる他のユーザが構成したユーザの画像と関連する画像に施された補正手順をユーザの画像にも適用することができる。
【図面の簡単な説明】
【0016】
【図1】ある画像データに施す際に構成した補正手順を、他の画像に対しても再度適用し、あるいは当該の補正手順に基づいて新たに派生補正手順を構成する例を示す図である。
【図2】本実施形態に係る画像処理システムの構成を示すブロック図である。
【図3】画像処理システム200を構成する各サーバの構成を示すブロック図である。
【図4】ユーザを表現するノードを含むソーシャルグラフの一例を示す図である。
【図5】ソーシャルグラフ記録手段205の具体例である。
【図6】ソーシャルグラフ記録処理のフローチャートである。
【図7】補正履歴記録手段211の具体例である。
【図8】補正手順記録処理のシーケンス図である。
【図9】補正手順提供処理のシーケンス図である。
【図10】画像データをノードとしてさらに含むソーシャルグラフの一例を示した図である。
【図11】補正手順をノードとしてさらに含むソーシャルグラフの一例を示した図である。
【発明を実施するための形態】
【0017】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【0018】
(第1の実施の形態)
図2は本発明の実施形態に係る画像処理システムの構成を示すブロック図である。
【0019】
図2において、画像処理システム200は、ソーシャルグラフサーバ201と、補正処理サーバ202と、補正履歴サーバ203とを備える。図3は、画像処理システム200を構成する各サーバの構成を示すブロック図である。各サーバは、後述する各サーバの動作を実現するプログラムが格納されるROM301と、ワークスペースや一時メモリとしてのRAM302と、永続的に保存されるデータを格納するストレージ303とを備える。また、各サーバは、プログラムを実行することにより各構成要素の動作を制御するCPU304と、他のサーバと通信するネットワーク・インタフェース305をさらに備える。また、各サーバにおいて、各々の構成要素はバス306を介して互いに通信可能に接続される。また、画像処理システム200において、各々のサーバはネットワーク204を介して互いに通信可能に接続される。また、各サーバは情報の演算や加工等を行うコンピュータ(情報処理装置)である。
【0020】
図2において、ソーシャルグラフサーバ201は、ネットワーク上で運営されるSocial Networking Service(SNS)での各ユーザの活動に基づいて形成されるソーシャルグラフを保持するサーバである。ここで、本実施形態に係るSNSとは、ユーザ夫々が画像やブログ(日記)等をSNS上にアップロードし、アップロードされた画像や他のユーザに対する評価やコメントを行うことが可能である。また、SNSは、上述のネットワーク上(SNS)での活動を通じてユーザ同士のコミュニケーションの場を提供するサービスである。また、各ユーザは自身の誕生日、職業などのプロフィール、スケジュール、日記を登録し、他のユーザに公開することができる。また、SNSのユーザは、他のユーザを「友人」または「お気に入り」として設定したり、ユーザ同士でメッセージのやり取りをしたりすることが可能である。また、ユーザが写真などのコンテンツを投稿して公開することが可能である。また、公開したコンテンツに対して他のユーザからコメントや評価が付与される。また、SNSにおいて、ユーザは共通の趣味、趣向、属性を有するユーザを募集する「グループ」を構築することができる。ユーザは、「グループ」を構築して、共通の趣味、趣向、属性を有する他のユーザを募集したり、他のユーザが構築した「グループ」に参加したりすることが可能である。また、ユーザ間のメッセージの送受信の回数などを記録可能である。
【0021】
これらのSNSでの各ユーザの活動に基づいて、各ユーザ間で関連が構築され、該関連をグラフとして表したものがソーシャルグラフである。本実施形態においてソーシャルグラフは、ユーザを表すノード同士をエッジで結んだグラフとして表現される。
【0022】
ソーシャルグラフサーバ201は、前述したソーシャルグラフを記録するソーシャルグラフ記録手段205を備える。また、ソーシャルグラフサーバ201は、ソーシャルグラフを構成する際に、ユーザ同士の互いへの関心の度合いに基づいて各ユーザに重みづけるユーザ重み付け手段206を備える。さらに、ユーザ同士のソーシャルグラフ上での関連の度合いの尺度である距離を算出する距離算出手段207をさらに備える。
【0023】
ここで、ソーシャルグラフサーバ201が管理するソーシャルグラフは、画像処理システム200のユーザを表現するノードを含み、該ユーザ間の一方向あるいは双方向の参照関係をエッジとして表現する重み付き有向グラフである。具体的には、ユーザ間の参照関係は、あるユーザが他のユーザに対して関心があることを表す。また、ユーザ重み付け手段206は、ユーザを表すノード間を結ぶエッジを、一方のユーザが他方のユーザに対して持っている関心の度合いに基づいて重み付ける。さらに、ユーザを表すノードを、他のユーザから持たれている関心の度合いに基づいて重み付ける。一例として、一方のユーザAから他方のユーザBへの関心は、ユーザAがユーザBを友達として登録していることによって表される。また、一方のユーザAから他方のユーザBへの関心は、ユーザBがSNSなどにアップロードした画像をユーザAが評価を行っていることにより表される。加えて、ユーザAとユーザBが同じ趣味に対して関心を持っており、また同じ画像やウェブページに対して評価を与えていることによっても表される。また、SNS上で同じ「グループ」に属している際に互いに関心が高いとされ、より重みづけのウェイトが高くなる。さらに、SNS上での「グループ」が画像に関する場合であればより重みづけのウェイトが高くなるよう構成しても良い。
【0024】
また、ユーザAからユーザBへの関心の度合いは、ユーザAがユーザBに対して付与したレーティング情報や、ユーザAからユーザBへのメッセージの送信頻度に基づいて決定する。さらに、前記関心の度合いは、ユーザAとユーザBの共通する趣味の個数や、共に評価を与えているウェブページの個数にさらに基づいて決定する。
【0025】
図4は、ソーシャルグラフサーバ201に記録される、画像処理システムのユーザを表現するノードを含むソーシャルグラフの一例を示す図である。図4において、ソーシャルグラフのエッジは、ユーザが他のユーザに対して持っている関心の度合いに基づいて、0〜1の範囲で重み付けされる。また、ユーザを表すノードは、ユーザを終点とするエッジの重み付けを合計した値で重み付けられる。ここで、エッジの重み付けは、数字が大きいほど始点のノードを表すユーザが終点のノードを表すユーザに強い関心を抱いていることを示し、「1」が最も関心の度合いが高く、「0」が最も関心の度合いが低い。また、ノードの重み付けは、数字が大きいほどソーシャルグラフ全体の中でノードを表すユーザが他のユーザから関心を持たれていることを示す。
【0026】
例えば、図4において、ユーザAは、ユーザCとユーザDを友達として登録しており、ユーザCとユーザDがSNSなどにアップロードした画像に基づいて、ユーザCに対して3点(10点満点)とユーザDに対して(10点満点)1点のレーティングを与えている。また、ユーザAは、ユーザBとユーザDから友達として登録されており、それぞれから2点ずつのレーティングを与えられている。
【0027】
これらの各ユーザのネットワーク上での活動を示す情報に基づいて、ソーシャルグラフサーバ201は、図4に示すソーシャルグラフを構成する。また、図4に示すソーシャルグラフにおいて、SNSでの友達登録に基づいて、ユーザAとユーザB、およびユーザAとユーザCの間に片方向のエッジが形成され、ユーザAとユーザDの間に両方向のエッジが形成される。また、夫々のユーザがアップロードした画像の他のユーザからのレーティングに基づいて、ユーザAからユーザCおよびユーザDへ張られたエッジは、それぞれ0.3と0.1で重み付けされている。そして、ユーザBとユーザDからユーザAへ張られたエッジは、それぞれ0.2で重み付けされる。さらに、ユーザAを表すノードを終端とするエッジの重みを全て合計すると0.4であるので、すなわち、ユーザAを表すノードは0.4で重み付けられる。図5は、ソーシャルグラフ記録手段205が保持するデータ構造の具体例である。
【0028】
図5において、テーブルの列方向には同一の属性(例えば、識別子)の情報が配列され、行方向には各属性に対応する情報が配列される。具体的には、テーブルa及びテーブルbの識別子の欄には、ソーシャルグラフに含まれるノードを表す識別子が配置される。また、テーブルaの種別の欄には、ノードが表現する対象の種類が配置され、重み付けの欄には、該ノードの重み付けが配置される。さらに、テーブルbの隣接点の欄には、エッジによって結ばれた他のノードの識別子が配置され、重み付けの欄には、該エッジの重み付けが配置される。図5のテーブルでは、行方向に配置された各種情報が互いに関連付けられている。例えば、テーブルaにおいて、識別子「1」と、種別「ユーザ」と、重み付け「0.3」とが互いに関連付けられ、また、テーブルbにおいて、識別子「1」と、隣接点「3」と、重み付け「0.3」とが互いに関連付けられている。
【0029】
図2に戻り、ソーシャルグラフサーバ201の構成の説明を続ける。ソーシャルグラフサーバ201の距離算出手段207は、ソーシャルグラフ記録手段205が記録したソーシャルグラフに基づいて、任意に選択したユーザ間のソーシャルグラフ上での距離であるユーザ間距離を算出する。具体的には、ソーシャルグラフ上において二人のユーザを表すノード間を結ぶ経路上にある各々のエッジについて、エッジに施された重み付けに基づいて長さを求め、算出した各エッジの長さに基づいてユーザ間距離を算出する。即ち、距離算出手段207は、ネットワーク上での活動により構成されたユーザと他の人物との関連を示す情報(ソーシャルグラフ)に基づいて、前記ユーザと前記他の人物との関連を判定する(第1の判定)。
【0030】
続いて、補正処理サーバ202の構成について説明する。補正処理サーバ202は、ユーザがアップロードした画像を、他の画像に既に施された補正手順に基づいて補正を施す画像データ補正手段208を備える。また、補正処理サーバ202は、画像データの特徴である画像特徴を検出する特徴検出手段209を備える。また、画像データに施された補正手順と、該画像データの画像特徴と、補正手順を構成したユーザとを関連付けて後述する補正履歴サーバ203に登録する補正履歴登録手段210をさらに備える。
【0031】
画像データ補正手段208は、ユーザが画像データに補正を施す際に指示した一連の処理手順である補正手順に基づいて、画像データに補正を施す。具体的には、画像データ補正手段208は、ユーザが補正を施す画像データに対して、γカーブ補正処理、空間フィルタ処理、肌色強調処理、赤目処理等の画像補正処理を、ユーザの指示した順序で補正処理を施す。画像データに対して施す画像処理は、ユーザが指定するγカーブ、空間フィルタ半径、肌色強調量、赤目処理範囲等の補正パラメータ等に従う。また、画像データ補正手段208は、補正履歴サーバ203が保持する補正手順に従い、画像データに補正処理を行う。
【0032】
特徴検出手段209は、補正処理サーバ202において補正を施した画像データまたは入力された画像データの特徴である画像特徴を検出する。具体的には、特徴検出手段209は、補正処理サーバ202において補正を施した画像データを解析する。そして、特徴検出手段209は、画像の特徴を定量的に表現した指標であるヒストグラム、エッジ量、人物の顔の位置や大きさ、赤目等の画像特徴量や、画像に写りこんでいる物体や人物の名前、撮影位置や撮影日時等のコンテキスト情報などを検出する。補正履歴登録手段210は、補正処理サーバ202において画像データに施した補正手順、補正手順を構成したユーザ、および特徴検出手段209により検出された画像データの画像特徴を、ネットワーク204を通じて後述する補正履歴記録手段211に通知する。なお、補正履歴登録手段210は、登録された補正手順と共に該補正手順にとより補正が施されている補正済み画像も併せて登録される。
【0033】
続いて、補正履歴サーバ203の構成について説明する。補正履歴サーバ203は、補正処理サーバ202からの登録要求に応じて、画像データに施した補正手順と、該画像データの画像特徴と、補正手順を構成したユーザの情報を関連付けて記録する補正履歴記録手段211を備える。また、補正履歴サーバ203は、補正履歴記録手段211に記録された補正手順に重み付け情報を付加する補正手順重み付け手段212と、補正履歴記録手段211に記録された複数の補正手順を順序付けする補正手順順序付け手段213とをさらに備える。また、補正履歴サーバ203は、補正手順に基づいて画像データに予め補正を施す予備補正手段214と、補正手順順序付け手段213により順序付けされた補正手順を外部装置に提供する補正手順提供手段215をさらに備える。また、補正履歴サーバ203は、補正手順提供手段215により提供された補正手順の中から任意のものをユーザ操作に基づいて選択する補正手順選択手段216をさらに備える。
【0034】
補正履歴記録手段211は、補正履歴登録手段210から通知された補正手順、画像特徴、及びユーザ情報を互いに関連付けて補正履歴として記憶する。補正履歴記録手段211が記録し、保持しているデータ構造の例を図7に示す。補正履歴記録手段211は、複数のテーブルと、入れ子構造を記述した文書を格納する書庫とを補正履歴サーバ203のストレージ303に記録する。図7において、テーブル2aは、補正された各画像に対応する補正履歴を表す識別子、補正手順を表す識別子、画像特徴を表す識別子、ユーザを表す識別子を夫々関連付けて管理するためのテーブルである。書庫2bは、補正手順の具体的な処理内容を示すテキストデータの集合である。各テキストデータには、補正手順識別子と、γカーブ補正処理、空間フィルタ処理、肌色強調処理、赤目処理が行われたか否か、行われた場合はその補正パラメータ等が補正処理を適用する順番に従って記述されている。
【0035】
テーブル2cは、補正された画像の画像特徴を示すテーブルデータである。テーブル2cは、テーブル2aで記された各画像特徴識別子に対応する画像特徴を詳細に記すテーブルデータである。具体的には、画像のヒストグラム、画像中のエッジ量、検出された顔領域の数、撮影位置や撮影日時等の情報がテーブル2cに画像特徴として保持される。テーブル2dは、補正された画像に登場する人物に関する情報を示すテーブルデータである。テーブル2dには、画像特徴識別子、画像特徴識別子に対応する画像に写りこんでいる人物の顔の位置と大きさ、赤目の有無、人物の名前が配置される。
【0036】
また、図7のテーブルでは、行方向に配置された各種情報が互いに関連付けられている。例えば、テーブル2aにおいて、履歴番号「1」と、補正手順識別子「1」と、画像特徴識別子「1」と、ユーザ識別子「1」とが互いに関連付けられている。また、図7の書庫では、文書に記述された各要素が互いに関連付けられている。例えば、書庫2bにおいて、補正手順要素は、識別子「1」と、入れ子になって順番に並べられている要素である空間フィルタ要素と、赤目処理要素と、γカーブ要素と、肌色強調要素とが、互いに関連付けられている。
【0037】
図2に戻り、補正履歴サーバ203の構成を続ける。補正手順重み付け手段212は、補正履歴記録手段211により記録された補正手順に関連付けられたユーザ情報と他のユーザとのユーザ間距離を、ネットワーク204を通じて距離算出手段207に問い合せる。補正手順重み付け手段212は、問い合わせの結果として得たユーザ間距離に基づいて補正手順に重み付ける。補正手順順序付け手段213は、補正手順重み付け手段212により重み付けされた複数の補正手順について、該重み付けおよび補正対象画像と補正手順に対応する画像との類似度に基づいて複数の補正手順の順序付けを行う。
【0038】
予備補正手段214は、ユーザの指示に先立って後述する補正手順提供手段215から通知された補正対象画像データに対し、同様に補正手順提供手段215から通知された補正手順に従って、予め補正を施した予備補正画像生成する。補正手順提供手段215は、ユーザからの問い合わせに対して、補正履歴記録手段211により記録された補正手順のうち補正手順順序付け手段213による順序付けに応じて、補正手順をユーザに提供する。
【0039】
以上の構成を有する画像処理システムの動作について以降詳細に説明を行う。図6は、ソーシャルグラフサーバ201により実行されるソーシャルグラフ記録処理のフローチャートである。図6において、ソーシャルグラフ記録手段205は、新たなユーザに関するネットワークにおける活動を示す情報を入力すると(ステップS101)、入力された情報に対応するユーザが既に記録済みであるかを判別する(ステップS102)。もし記録されていないなら、入力されたネットワークにおける活動を示す情報を解析し、対応するユーザをノードとしてソーシャルグラフに追加する(ステップS103)。次いで、ソーシャルグラフ記録手段205は、ネットワークにおける活動を示す情報を解析し、ソーシャルグラフ上の他のユーザとの関連を判定する。例えば、入力されたネットワークにおける活動を示す情報に含まれる「友達」として設定している他のユーザがソーシャルグラフ上にノードとして存在するかを判定する。そして、他のユーザとの関心の度合いをネットワークにおける活動を示す情報に含まれる他のユーザに対応する画像への評価、他のユーザと共通グループ、メッセージ交換頻度等に基づいて取得する(ステップS104)。そして、ソーシャルグラフ記録手段205は保持しているソーシャルグラフ上において入力されたユーザと他のユーザ間(ノード間)にエッジが存在するかを判別する(ステップS105)。もし存在しないなら、取得した他のユーザとの関心の度合いに基づいてエッジを追加する(ステップS106)。次いで、ソーシャルグラフ記録手段205は、入力された関心の度合いに基づいてエッジに重み付けを設定し(ステップS107)、追加されたエッジに施された重み付けに基づいてソーシャルグラフ上のノードの重み付けを更新する(ステップS108)。ユーザ重み付け手段206は、更新されたノードの関心の度合いに基づいて、対応するユーザの重み付けを更新する(ステップS109)。以上のようにして、ソーシャルグラフサーバ201はソーシャルグラフを作成し、記録する。
【0040】
続いて、補正処理サーバに202おいて実行された画像補正手順を補正履歴サーバ203が記録する補正手順記録処理について説明を行う。図8は、補正手順記録処理のシーケンス図である。図8において、ユーザが補正処理サーバに202にネットワークを介して画像データと補正手順を入力する。(ステップS201)。画像データを入力された補正処理サーバ202の画像データ補正手段208は画像データともに入力された補正手順に基づいて、該画像データに補正を施す(ステップS202)。次いで、画像データ補正手段208は特徴検出手段209に画像データを入力し(ステップS203)、特徴検出手段209は画像データから画像特徴を検出する(ステップS204)。画像データ補正手段208は、画像データに施した補正手順、補正手順を構成したユーザ情報、および特徴検出手段209により検出された画像データの画像特徴を補正履歴登録手段210に入力する(ステップS205)。補正履歴登録手段210は、入力された補正手順、画像特徴、及びユーザ情報夫々を関連付けて補正履歴サーバ203の補正履歴記録手段211にネットワークを介して送信する(ステップS206)。補正履歴サーバ203の補正履歴記録手段211は、補正処理サーバに202から通知された補正手順、画像特徴、及びユーザ情報を互いに関連付けて記憶する(ステップS207)。
【0041】
続いて、上述の図8を用いて説明を行った補正手順記録処理により記録された補正手順を他のユーザに対して提供する補正手順提供処理について説明を行う。図9は、補正手順提供処理のシーケンス図である。図9において、補正手順を要求しているユーザは補正対象画像データと該ユーザに関する情報と共に該画像データに対する補正手順を要求する旨の問合せを補正履歴サーバ203に行う(ステップS301)。ここで、ユーザに関する情報とぢては、例えば、SNSにおけるID等一意にユーザを識別できる情であるとする。補正履歴サーバ203の補正手順提供手段215は、問合せを受信すると、受信した画像データを、ネットワーク204を通じて補正処理サーバ202の特徴検出手段209に入力する(ステップS302)。補正処理サーバ202の特徴検出手段209は、入力された補正対象画像データから画像特徴を検出し、検出した画像特徴を補正履歴サーバ203に返送する(ステップS303)。さらに、補正手順提供手段215は、補正対象画像データの画像特徴と類似する画像特徴を有する他の画像に行われた補正手順を補正履歴記録手段211から取得する。また、補正手順提供手段215は、補正手順と共に補正手順に関連付けられたユーザ情報及び画像特徴も併せて補正履歴記録手段211から取得する(ステップS304)。ここで、補正対象画像データの画像特徴と対応する画像特徴を有する他の画像を判定するために、画像特徴同士の値の差を算出する。そして、補正履歴サーバ203は、画像特徴同士の値の差が一定値より小さい値となる画像の補正手順のみを補正履歴記録手段211から選択して取得する。
【0042】
次いで、補正手順提供手段215は問い合わせを行った補正手順を要求しているユーザ情報とS304において取得した補正手順に関連付けられたユーザ情報とを補正手順重み付け手段212に入力する(ステップS305)。補正手順重み付け手段212は、補正手順を要求しているユーザ情報と補正手順に関連付けられたユーザ情報とを、ネットワーク204を通じてソーシャルグラフサーバ201の距離算出手段207に入力する。そして、補正手順重み付け手段212は、該ユーザ同士間のユーザ間距離を取得する(ステップS306)。距離算出手段207により算出されるユーザ間距離は、下記の式(1)により求められる。
【0043】
【数1】
【0044】
式(1)において、wiはソーシャルグラフ上の距離を求める対象となるユーザ間に対応するノード間を結ぶ経路上にある各エッジの重みを表す。このとき、各エッジの重みの逆数を、そのエッジの長さとし、ノード間を結ぶ経路上にあるエッジの長さを総和したものを、その経路の距離(d)とし、これをユーザ間距離とする。なお、ソーシャルグラフ上のノード間を結ぶ経路は最短距離かつ最もエッジの重みが重い経路をたどるものとする。ユーザ間距離の値は、二人のユーザを表すノード間を結ぶ最短経路上にある各エッジの重み付けが大きいほど、小さくなる。即ち、ユーザ間距離が小さいほど、ユーザ同士の趣味や趣向が似通って互いに関心が高いと判断することができる。また、距離算出手段207は、ソーシャルグラフ上での補正手順に関連付けられたユーザに対応するノードの重みづけを併せて取得する。
【0045】
次いで、補正手順重み付け手段212は取得したユーザ間距離dと、該ユーザ間距離に対応する補正手順とを夫々対応付ける(ステップS307)。補正手順提供手段215は、補正対象画像データの画像特徴と、ユーザ間距離と対応付けられた補正手順と、各補正手順に対応する画像特徴と、各補正手順夫々に関連付けられたユーザに対応するノードの重みづけとを補正手順順序付け手段213に入力する。(ステップS308)。補正手順順序付け手段213は、補正対象画像データの画像特徴と補正手順に関連付けられた画像特徴とを用いて、画像間の類似度を算出する(ステップS309)。つまり、補正手順順序付け手段213は、画像間の類似性を求めることにより、該画像間の関連を判定する(第2の判定)。次いで、補正手順順序付け手段213は、補正手順に関連付けられたユーザのソーシャルグラフ上での重み付けと、前記算出された類似度と、補正手順に関連付けられたユーザ間距離に基づいて補正手順の順序付けを行う(ステップS310)。補正手順の順序付けは下記式(2)に基づいて決定する。
【0046】
【数2】
【0047】
式(2)おいて、rは補正手順に関連付けられたユーザのソーシャルグラフ上での重み付けを、fはユーザが入力した画像データの画像特徴と補正手順に関連付けられた画像特徴との差を値として算出したものを表す。また、dは補正手順を要求しているユーザと補正手順に関連付けられているユーザとのユーザ間距離を表す。ここで、a,b,cは任意の定数である。このとき、補正手順の順序付けは、補正手順に関連付けられたユーザのソーシャルグラフ上での重み付けが大きいほど(ソーシャルグラフ上で他のユーザからより多く参照される(関心を持たれている)ほど)、高い順位に順序付けされる。つまり、他のユーザからより興味を持たれているユーザが施した補正手順がより高く評価されることなる。即ち、他のユーザから興味を持たれるような画像補正を施している画像をSNS上にアップロードしているユーザの補正手順を積極的に推奨することができる。また、ユーザが入力した画像データの画像特徴と補正手順に関連付けられた画像特徴との差が小さいほど、高い順位に順序付けされる。つまり、補正対象画像と同様な構図、色彩、彩度、被写体を有する画像に施された補正手順を積極的に推奨することができる。さらに、問い合わせを行ったユーザ(補正手順を要求しているユーザ)と補正手順に関連付けられたユーザのユーザ間距離が小さいほど、高い順位に順序付けされる。つまり、補正手順を要求しているユーザと趣味趣向が類似していると考えられような、ユーザ間距離近い人物が施した補正手順を積極的に推奨することができる。
【0048】
次いで、補正手順提供手段215は、順序付けされた補正手順をユーザに提供する。このとき、補正手順提供手段215は、前記順序付けされた補正手順の全てあるいは一部について、予備補正手段214を用いて該補正手順に基づいてユーザから通知された画像データに予め補正を施した予備補正画像を生成してもよい。補正手順提供手段215は、該予備補正画像を補正手順と関連付けた上でユーザに提供してもよい。
【0049】
さらに、補正手順選択手段216は、順序付けされた上で提供された補正手順をユーザに提示し、操作画面等を用いてユーザが任意の補正手順を選択する手段を提供する。このとき、補正手順選択手段216は、順序付けされた上で提供された補正手順に関連付けられた予備補正画像をユーザに提示してもよい(第2の提示)。補正手順選択手段216は、操作画面等を用いてユーザが任意の予備補正画像を選択する手段を提供し、該選択された予備補正画像に関連付けられた補正手順を選択してもよい(第1の提示)。つまり、ユーザが任意の補正手順を選択する手段は、各補正手順に対応する画像を選択させる構成、各補正手順に基づいて補正対象画像を補正した予備補正画像を選択させる構成にしても構わない。画像データ補正手段208は、選択された補正手順を検出し、該補正手順に基づいて、補正対象画像データの補正を行い、該補正手順により補正された補正対画像をユーザに提供する。
【0050】
以上のように、ユーザは、補正履歴サーバ203にユーザ自身の情報及び画像データを入力して補正手順を問い合わせることで、順序付けされて補正手順の推奨を受けることができる。このとき、提供される補正手順は、補正手順に関連付けられたユーザのソーシャルグラフ上での重み付けが大きいほど、高い順位となるように順序付けされる。また、ユーザが入力した画像データの画像特徴と補正手順に関連付けられた画像特徴との差が小さいほど、高い順位となるように順序付けされる。また、問い合わせを行ったユーザと補正手順に関連付けられたユーザのユーザ間距離が小さいほど、高い順位となるように順序付けされる。このため、ユーザは、補正対象画像データに適していると共に、ユーザと嗜好の合致する他のユーザが構成した補正手順を選択できる。したがって、ユーザは、対象となる画像データを自身の嗜好に合致した画像へと変換することのできる補正手順を容易に選択できる。また、多くのユーザから関心を持たれているユーザが構成した補正手順ほど、高い順位となるように順序付けされるので、ユーザは、自身の嗜好に合致し、画像補正技術に精通していると思われるユーザが構成した補正手順で画像へと変換することができる
さらに、予備補正手段214を用いて順序付けされた補正手順に予備補正画像を関連付けた場合、ユーザは補正手順を施した際の仕上がりを予め視覚的に確認できるため、自身の嗜好に合致した画像へと変換することができる補正手順を、さらに容易に選択できる。本実施形態によれば、ユーザ間の関連を判定する第1の判定と画像間の関連を判定する第2の判定を行い、それらの判定結果に応じて、補正済み画像に施された画像補正処理を補正対象画像に施すことができる。
【0051】
なお、第1の実施の形態では、図8に示す補正手順記録処理において、補正された画像データの画像特徴を検出し、補正手順と関連付けて記録する構成を支援したが、画像データそのものや画像データのURL等の参照情報御記録する構成としてもよい。この場合、補正手順提供処理のステップS304において、補正手順提供手段215は補正手順に関連付けられた画像データまたは画像参照情報に基づいて取得した画像データの画像特徴を検出する構成とする。
【0052】
なお、複数の補正手順からユーザの指定に基づいて、実際に補正対象の補正に用いる補正手順を取得する構成を説明したが、例えば、最も高く順序づけされた補正手順により自動で補正された画像をユーザに提供する構成としても良い。
【0053】
以上説明した本実施形態によれば、画像特徴に代わって画像データそのものまたは画像データへの参照情報を補正履歴として記録することで、補正履歴を記録する前に画像特徴を検出する必要がなくなる。また、画像参照情報により特定される画像データからの画像特徴の検出処理は、ステップS308までの任意のタイミングで行う構成としてよい。このため、画像特徴の検出処理の負荷を、時間的に分散することができる。
【0054】
(第2の実施の形態)
本実施の形態では、画像処理システム200のユーザが保有若しくは関心がある画像にさらに基づいて、ユーザ間距離を算出する例について説明する。なお、本実施の形態の構成は、上述の第1の実施の形態の構成と略同一であり、第1の実施の形態と同一部分には同一符合を付して詳細な説明は省略する。第1の実施形態と異なる点について詳細に説明を行う。
【0055】
図10は、画像データをノードとしてさらに含むソーシャルグラフの一例を示した図である。本実施の形態では、ソーシャルグラフサーバ201は、ソーシャルグラフ記録手段205に画像処理システム200のユーザが保有している画像データの情報を入力すると、画像データの情報をノードとして加える。また、ソーシャルグラフサーバ201は、画像データを保有するユーザとの間にエッジを追加した新たなグラフを構成する。また、ソーシャルグラフ記録手段205にユーザが関心を持つ画像データの情報を入力すると、画像データの情報をノードとして加えると共に、ユーザと画像データの間に、関心の度合いに基づいて重み付けしたエッジを追加した新たなグラフを構成する。ユーザの画像への関心は、ユーザが画像に対して評価を与えていることによって表される。また、ユーザAからユーザBへの関心の度合いは、ユーザが画像に対して付与したレーティング情報に基づいて決定する。図10に示されるソーシャルグラフの例では、ユーザと画像データとの間を結ぶエッジは、ユーザが画像データに対して持っている関心の度合いに基づいて、0〜1の範囲で重み付けされる。また、ユーザを表すノードの重みづけは、ユーザ及びユーザが保有している画像データを終端とする、他のユーザとの間を結ぶエッジの重み付けを合計した値により表される。例えば、ユーザAが保有する画像Aは、ユーザBから1点のレーティングを与えられている。また、ユーザAが保有する画像Cは、ユーザBから1点のレーティングを与えられている。このとき、ユーザAとユーザAが保有する画像を表すノードを終端とする他のユーザとの間を結ぶエッジの重みを全て合計すると0.4であるので、すなわち、ユーザAを表すノードは0.4で重み付けられる。
【0056】
図10に示されるソーシャルグラフを用いてユーザ間距離を算出する場合、一例として、一方のユーザから他方のユーザが保有する画像に向かって張られたエッジを、当該のユーザ間で仮想的に結ばれたエッジとみなして、ユーザ間距離を算出することができる。また、一方のユーザが保有する複数の画像に対して、他方のユーザから複数のエッジが張られている場合、各エッジの重みを合算したものを逆数した値を長さとした双方向の仮想的なエッジで結ばれているとみなして、ユーザ間距離を算出することができる。また、画像に向かって二人のユーザからエッジが張られている場合、当該ユーザ間が、各エッジの重みを合算したものを反比例した値を長さとした双方向の仮想的なエッジで結ばれているとみなして、ユーザ間距離を算出することができる。また、もし、ソーシャルグラフ上に補正手順が記録されている画像があり、補正手順を要求したユーザが該画像に対して評価を行っている場合は、該画像の補正手順をより高く順序付ける構成とすることができる。
【0057】
このように、画像データをノードとして含むと共に、画像データを保有しあるいは関心があるユーザとの間にエッジを追加したソーシャルグラフを作成することで、ユーザ間距離を算出する際に、ユーザの画像に対する関心を反映することができる。また、ユーザと嗜好の合致する他のユーザをより正確に特定することができる。
【0058】
(第3の実施の形態)
本実施の形態では、画像処理システム200のユーザが画像データに対し補正を施す際に適用した補正手順をソーシャルグラフ上のノードに加え、ユーザ間距離を算出する例について説明する。なお、本実施の形態の構成は、上述の第1の実施の形態の構成と略同一であり、第1の実施の形態と同一部分には同一符合を付して詳細な説明は省略する。第1の実施形態と異なる点について詳細に説明を行う。
【0059】
図11は、補正手順をノードとしてさらに含むソーシャルグラフの一例を示した図である。本実施の形態では、ソーシャルグラフサーバ201のソーシャルグラフ記録手段205は、画像処理システム200においてユーザに提供した補正手順の情報を入力すると、補正手順の情報をノードとして加える。また、ソーシャルグラフサーバ201は、ノードとして追加した補正手順を適用したユーザとの間に、ユーザが当該補正手順を適用した回数に基づいて重み付けしたエッジを追加した新たなグラフを構成する。また、ソーシャルグラフ記録手段205は、ノードとして追加された補正手順と補正手順の間の類似度に基づいて重み付けしたエッジを追加した新たなグラフを構成する。
【0060】
図11に示されるソーシャルグラフの例では、ユーザと補正手順との間を結ぶエッジは、ユーザが補正手順を適用した回数に基づいて、0〜1の範囲で重み付けされる。また同様に、補正手順間を結ぶエッジは、補正手順同士の類似度に基づいて、0〜1の範囲で重み付けされる。例えば、図11において補正手順AはユーザBによって2回適用されており、ユ―ザBから補正手順Aに対して0.2で重み付けされたエッジが構成される。また、補正手順BはユーザAとユーザCによって、それぞれ3回および1回適用されており、補正手順BはユーザAとユーザCから補正手順Bに対して、それぞれ0.3と0.1で重み付けされたエッジが構成される。また、補正手順Aと補正手順Bの類似度は50%であり、補正手順Aと補正手順Bは、0.5で重み付けした双方向のエッジで結ばれる。
【0061】
図11に示されるソーシャルグラフを用いてユーザ間距離を算出する場合、補正手順に向かって二人のユーザからエッジが結ばれている場合のユーザ間距離の算出方法について問題となる。この場合、当該ユーザ間が、各エッジの重みを合算したものを反比例した値を長さとした双方向の仮想的なエッジで結ばれているとみなすとする。このようにみなすことで、ユーザ間距離を算出することができる。また、補正手順同士がエッジで結ばれている場合、二人のユーザを表すノード間を結ぶ経路の一部とみなすことができる。なお、ユーザ間を結ぶ仮想的なエッジの長さを算出する方法は、上記に示した方法に限定されるものではない。
【0062】
このように、本実施形態において補正手順をノードとして含むと共に、当該の補正手順と当該の補正手順を適用して画像データに対し補正を施したユーザとの間にエッジを追加する。したがて、ユーザ間距離を算出する際に、ユーザの補正手順に対する嗜好を反映することができ、ユーザと嗜好の合致する他のユーザをより正確に特定することができる。
【0063】
(第4の実施の形態)
本実施の形態では、画像処理システム200のユーザが画像データに対し補正を施す際に構成した補正手順を再度適用した履歴、あるいは既存の補正手順に基づいて生成された補正手順以下、「派生補正手順」という。)を構成した履歴にさらに基づいて、補正手順の順序付けを行う例について説明する。なお、本実施の形態の構成は、上述の第1の実施の形態の構成と略同一であり、第1の実施の形態と同一部分には同一符合を付して詳細な説明は省略する。第1の実施形態と異なる点について詳細に説明を行う。
【0064】
本実施の形態において、補正履歴記録手段211により記録された補正手順に基づいて画像データに補正を施した際に、その履歴を記録する。図1は、ある画像データに施す際に構成した補正手順を、他の画像に対しても再度適用し、あるいは当該の補正手順に基づいて新たに派生補正手順を構成した場合の例を示す図である。ここで、補正手順Aは、画像A、画像Bおよび画像Cに対して適用されている。このとき、補正履歴サーバ203は補正手順Aを画像A、画像Bおよび画像Cに対して適用したことを記録する。また、補正を施す際に補正手順Aに変更を加えて構成した補正手順Bを画像Dに適用し、同様に補正を施す際に補正手順Aに変更を加えて構成した補正手順Cを画像Eに適用している。このとき、補正履歴サーバ203は、補正手順Aに基づいて補正手順B及び補正手順Cが構成されたことを記録する。図1に示される補正手順の適用例に基づいて、補正手順重み付け手段212は、記録された補正手順が再適用された回数に基づいて、補正手順を順序付けることができる。また、補正手順から派生補正手順が新たに構成された場合、補正手順重み付け手段212は、記録された該補正手順から構成した派生補正手順の個数に基づいて、補正手順を順序付けること出来る。すなわち、補正手順の利用回数に基づいて、より多く利用されている補正手順を利用されていない補正手順に比べてより高い順序にすることができる。
【0065】
このように、画像データに対し補正を施す際に使用した履歴、あるいは既存の補正手順に基づく派生補正手順を構成した履歴にさらに基づいて、補正手順を順序付けることができる。したがって、画像データを補正する際に何度も適用あるいは派生元とされた補正手順をより重要なものとして評価できる。このため、ユーザは、他の多くのユーザから支持を受けている補正手順を容易に選択できる。
【0066】
以上、実施形態の例を詳述したが、画像処理システム200の構成は一例にすぎず、上述した構成に限られない。必要に応じて各構成要素を削除してもよく、また、その他の構成要素を追加してもよい。また、各サーバが有する機能構成の全て又は一部を単一の装置が備える構成であっても良い。
【0067】
以上、説明した各実施形態よると、補正対象画像データの特徴と、記憶された補正手順と関連付けられた画像データの特徴との類似度に基づいて複数の補正手順を順序付けできる。また、ユーザは前記補正対象画像データに適した補正手順を選択でき、したがって、ユーザが対象となる画像データに適した補正手順を容易に構成できる。
【0068】
また、画像データに施した補正手順が、前記画像データの特徴と、前記補正手順を構成したユーザと関連付けて記録される。また、ネットワークでの活動に基づいてユーザを表すノードを含むと共に、ユーザ間の参照関係をエッジとして含むソーシャルグラフが記録される。一例として、前記ソーシャルグラフのエッジはユーザ間の関心の度合いに基づいて重み付けされると共に、前記重み付けに基づいて前記ソーシャルグラフ上でのユーザを表すノード間の距離を算出できる。また、前記補正手順を構成したユーザと任意に選択したユーザとのユーザ間距離に基づいて前記補正手順が重み付けされる。このため、補正対象となる画像データの特徴と、前記補正手順と関連付けられた画像データの特徴との類似度及び前記補正手順の前記重み付けに基づいて複数の補正手順を順序付けできる。ユーザは前記補正対象画像データに適しておりかつ該ユーザと嗜好の合致するユーザが構成した補正手順を選択できる。したがって、ユーザは対象となる画像データを該ユーザの嗜好に合致した画像へと変換することができる補正手順を容易に構成できる。
【0069】
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【符号の説明】
【0070】
200 画像処理システム
201 ソーシャルグラフサーバ
202 補正処理サーバ
203 補正履歴サーバ
204 ネットワーク
【特許請求の範囲】
【請求項1】
画像に補正処理を施す画像処理システムであって、
ユーザのネットワーク上での活動により構成された前記ユーザと他の人物との関連を示す情報に基づいて、前記ユーザと前記他の人物との関連を判定する第1の判定手段と、
補正対象画像と前記他の人物に対応する補正済み画像との関連を判定する第2の判定手段と、
前記第1の判定手段による判定結果と第2の判定手段による判定結果に応じて、前記補正済み画像に施された補正処理に対応する補正手順により前記補正対象画像を補正する補正手段とを有することを特徴とする画像処理システム。
【請求項2】
前記第1の判定手段による判定結果と第2の判定手段による判定結果に応じて、複数の補正済み画像に施された前記補正手順を評価する評価手段と、
前記ユーザ操作に応じて選択された前記複数の補正済み画像に施された前記補正手順の何れかを検出する検出手段とを更に有し、
前記補正手段は、前記検出手段により検出された前記補正手順により前記補正対象画像を補正することを特徴とする請求項1記載の画像処理システム。
【請求項3】
前記評価手段による評価に基づいて、前記複数の補正済み画像を前記ユーザに提示する第1の提示手段を有することを特徴とする請求項2に記載の画像処理システム。
【請求項4】
前記複数の補正済み画像に施された夫々の前記補正手順により前記補正対象画像を補正した結果をユーザに提示する第2の提示手段を更に有することを特徴とする請求項2に記載の画像処理システム。
【請求項5】
前記ネットワーク上での活動とは、画像の評価、メッセージの送受信、前記ユーザの属するグループ、前記ユーザの他のユーザの友人としての設定の少なくとも何れか一つに基づいた活動であることを特徴とする請求項1乃至4何れか1項に記載の画像処理システム。
【請求項6】
前記第2の判定手段は、前記補正対象画像と前記補正済み画像との類似性に基づいて、前記補正対象画像と前記補正済み画像との関連を判定することを特徴とする請求項1乃至5何れか1項に記載の画像処理システム。
【請求項7】
前記ユーザと他の人物との関連を示す情報はソーシャルグラフであることを特徴とする請求項1乃至6何れか1項に記載の画像処理システム。
【請求項8】
前記補正手段が他の補正対象画像を補正する際に使用した前記補正手順の履歴を記録する記録手段とを更に有し、
前記評価手段は、前記記録手段が記録した前記履歴にも応じて、前記複数の補正済み画像を評価することを特徴とする請求項2に記載の画像処理システム。
【請求項9】
第1の判定手段は、前記ユーザが使用した前記補正手順と前記他の人物が使用した前記補正手順とにも基づいて、前記ユーザと前記他の人物との関連を判定することを特徴とする請求項1乃至7何れか1項に記載の画像処理システム。
【請求項10】
前記評価手段は、前記ユーザと前記他の人物との関連が深いほど、当該他の人物に対応する補正済み画像を高く評価し、前記補正対象画像と前記補正済み画像が関連が深いほど当該補正済み画像を高く評価することを特徴とする請求項2に記載の画像処理システム。
【請求項11】
前記第1の判定手段による判定結果と第2の判定手段による判定結果に応じて、複数の補正済み画像を評価する評価手段と、
前記補正手段は、前記評価手段による評価が最も高い前記補正済み画像に施された前記補正手順により前記補正対象画像を補正することを特徴とする請求項1記載の画像処理システム。
【請求項12】
画像に補正処理を施す情報処理装置であって、
ユーザのネットワーク上での活動により構成された前記ユーザと他の人物との関連を示す情報に基づいて、前記ユーザと前記他の人物との関連を判定する第1の判定手段と、
補正対象画像と前記他の人物に対応する補正済み画像との関連を判定する第2の判定手段と、
前記第1の判定手段による判定結果と第2の判定手段による判定結果に応じて、前記補正済み画像に施された補正処理に対応する補正手順により前記補正対象画像を補正する補正手段とを有することを特徴とする情報処理装置。
【請求項13】
画像に補正処理を施す画像処理方法であって、
ユーザのネットワーク上での活動により構成された前記ユーザと他の人物との関連を示す情報に基づいて、前記ユーザと前記他の人物との関連を判定する第1の判定工程と、
補正対象画像と前記他の人物に対応する補正済み画像との関連を判定する第2の判定工程と、
前記第1の判定工程における判定結果と第2の判定工程における判定結果に応じて、前記補正済み画像に施された補正処理に対応する補正手順により前記補正対象画像を補正する補正工程とを有することを特徴とする画像処理方法。
【請求項14】
請求項13に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項1】
画像に補正処理を施す画像処理システムであって、
ユーザのネットワーク上での活動により構成された前記ユーザと他の人物との関連を示す情報に基づいて、前記ユーザと前記他の人物との関連を判定する第1の判定手段と、
補正対象画像と前記他の人物に対応する補正済み画像との関連を判定する第2の判定手段と、
前記第1の判定手段による判定結果と第2の判定手段による判定結果に応じて、前記補正済み画像に施された補正処理に対応する補正手順により前記補正対象画像を補正する補正手段とを有することを特徴とする画像処理システム。
【請求項2】
前記第1の判定手段による判定結果と第2の判定手段による判定結果に応じて、複数の補正済み画像に施された前記補正手順を評価する評価手段と、
前記ユーザ操作に応じて選択された前記複数の補正済み画像に施された前記補正手順の何れかを検出する検出手段とを更に有し、
前記補正手段は、前記検出手段により検出された前記補正手順により前記補正対象画像を補正することを特徴とする請求項1記載の画像処理システム。
【請求項3】
前記評価手段による評価に基づいて、前記複数の補正済み画像を前記ユーザに提示する第1の提示手段を有することを特徴とする請求項2に記載の画像処理システム。
【請求項4】
前記複数の補正済み画像に施された夫々の前記補正手順により前記補正対象画像を補正した結果をユーザに提示する第2の提示手段を更に有することを特徴とする請求項2に記載の画像処理システム。
【請求項5】
前記ネットワーク上での活動とは、画像の評価、メッセージの送受信、前記ユーザの属するグループ、前記ユーザの他のユーザの友人としての設定の少なくとも何れか一つに基づいた活動であることを特徴とする請求項1乃至4何れか1項に記載の画像処理システム。
【請求項6】
前記第2の判定手段は、前記補正対象画像と前記補正済み画像との類似性に基づいて、前記補正対象画像と前記補正済み画像との関連を判定することを特徴とする請求項1乃至5何れか1項に記載の画像処理システム。
【請求項7】
前記ユーザと他の人物との関連を示す情報はソーシャルグラフであることを特徴とする請求項1乃至6何れか1項に記載の画像処理システム。
【請求項8】
前記補正手段が他の補正対象画像を補正する際に使用した前記補正手順の履歴を記録する記録手段とを更に有し、
前記評価手段は、前記記録手段が記録した前記履歴にも応じて、前記複数の補正済み画像を評価することを特徴とする請求項2に記載の画像処理システム。
【請求項9】
第1の判定手段は、前記ユーザが使用した前記補正手順と前記他の人物が使用した前記補正手順とにも基づいて、前記ユーザと前記他の人物との関連を判定することを特徴とする請求項1乃至7何れか1項に記載の画像処理システム。
【請求項10】
前記評価手段は、前記ユーザと前記他の人物との関連が深いほど、当該他の人物に対応する補正済み画像を高く評価し、前記補正対象画像と前記補正済み画像が関連が深いほど当該補正済み画像を高く評価することを特徴とする請求項2に記載の画像処理システム。
【請求項11】
前記第1の判定手段による判定結果と第2の判定手段による判定結果に応じて、複数の補正済み画像を評価する評価手段と、
前記補正手段は、前記評価手段による評価が最も高い前記補正済み画像に施された前記補正手順により前記補正対象画像を補正することを特徴とする請求項1記載の画像処理システム。
【請求項12】
画像に補正処理を施す情報処理装置であって、
ユーザのネットワーク上での活動により構成された前記ユーザと他の人物との関連を示す情報に基づいて、前記ユーザと前記他の人物との関連を判定する第1の判定手段と、
補正対象画像と前記他の人物に対応する補正済み画像との関連を判定する第2の判定手段と、
前記第1の判定手段による判定結果と第2の判定手段による判定結果に応じて、前記補正済み画像に施された補正処理に対応する補正手順により前記補正対象画像を補正する補正手段とを有することを特徴とする情報処理装置。
【請求項13】
画像に補正処理を施す画像処理方法であって、
ユーザのネットワーク上での活動により構成された前記ユーザと他の人物との関連を示す情報に基づいて、前記ユーザと前記他の人物との関連を判定する第1の判定工程と、
補正対象画像と前記他の人物に対応する補正済み画像との関連を判定する第2の判定工程と、
前記第1の判定工程における判定結果と第2の判定工程における判定結果に応じて、前記補正済み画像に施された補正処理に対応する補正手順により前記補正対象画像を補正する補正工程とを有することを特徴とする画像処理方法。
【請求項14】
請求項13に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−84214(P2013−84214A)
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願番号】特願2011−225103(P2011−225103)
【出願日】平成23年10月12日(2011.10.12)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願日】平成23年10月12日(2011.10.12)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]