画像に関する処理支援システム、情報処理装置、及び画像に関する処理影支援方法
【課題】 ユーザの好みの画像に基づいて、画像ハンドリング支援を行う。
【解決手段】 ユーザのＳＮＳでの活動により構築されたユーザと画像との関連情報を用いて、ユーザと関連する画像から支援対象画像に対応する画像を抽出する。そして、抽出した画像から支援対象画像をハンドリングするための支援を行う。様々な画像条件に適合し、事前に複雑な操作を要求することなく、ユーザの嗜好に応じた出力画像を得るための支援を行う。
【解決手段】 ユーザのＳＮＳでの活動により構築されたユーザと画像との関連情報を用いて、ユーザと関連する画像から支援対象画像に対応する画像を抽出する。そして、抽出した画像から支援対象画像をハンドリングするための支援を行う。様々な画像条件に適合し、事前に複雑な操作を要求することなく、ユーザの嗜好に応じた出力画像を得るための支援を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に関する処理を支援する技術に関する。
【背景技術】
【０００２】
撮影者に撮影を支援する技術として、特許文献１では、撮影者が撮影したいと思う構図（撮影ガイド）を手書きにより作成し、撮影時にプレビュー画像と重畳して表示する技術が提案されている。撮影ガイドにより撮影時に意図した構図に近くなるように支援を行うことができる。
また、撮影装置上での入力やＧＰＳなどのセンサー出力に基づいた撮影条件に対応する参照画像を撮影装置に表示し、構図の手本とさせる支援を行う技術が特許文献２で提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２３６０１１号公報
【特許文献２】特開２００７−２７９４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１に記載の方法においては、例えば風景、動物、植物など様々な撮影条件にて撮影を行う場合には、条件ごとに応じた撮影ガイドを事前に作成しておく必要がある。また、今現在の撮影条件に適合する撮影ガイドを選択し、設定するという煩雑な操作が必要となる。
また、特許文献２に記載の方法は、今現在の撮影条件に適合する参照画像を提示することができるものの、参照画像は予めシステム提供者が用意する画像であった。そのため、同一の撮影条件ではどのユーザに対しても同一の参照画像を一律に提示するため、ユーザの好みや趣向に応じた参照画像を提示することは実現されていない。
本発明は上述の問題を解決するためになされたものであり、様々な条件に適合し、かつ、ユーザと関連がある画像に基づいた支援を行うことを目的とする。
【課題を解決するための手段】
【０００５】
上述の課題を解決するための手段として、
画像に関する処理を支援する支援システムであって、
ユーザと画像との関連を示す情報に基づいて、少なくとも、前記ユーザが評価した画像を評価した他の人物に対応する画像、前記ユーザが評価した他の人物が評価した別の他の人物に対応する画像、前記ユーザが評価した画像に対応する他の人物が評価した画像、または、前記ユーザに対応する画像を評価した他の人物に対応する画像の何れかから、支援対象画像と対応する画像を抽出する抽出手段と、
前記抽出手段により抽出した画像に基づいて前記支援対象画像に関する処理を支援する支援手段とを有することを特徴とする支援システムを提供する。
【発明の効果】
【０００６】
本発明によれば、ユーザと関連がある画像に基づいた画像に関する処理の支援を行うことができる。
【図面の簡単な説明】
【０００７】
【図１】サーバ装置の構成の一例を示す図である。
【図２】撮影装置の構成の一例を示す図である。
【図３】システム構成の一例を示す図である。
【図４】サーバ装置の機能構成の一例を示す図である。
【図５】撮影装置の機能構成の一例を示す図である。
【図６】撮影支援処理のフローチャートである。
【図７】関連グラフの一例を示す図である。
【図８】本実施形態による推奨画像を選択するＵＩの一例を示す図である。
【図９】本実施形態による撮影支援の一例を示す図である。
【図１０】関連情報更新処理のフローチャートである。
【図１１】関連情報更新後の関連グラフの一例を示す図である。
【図１２】重み付有向関連グラフの一例を示す図である。
【図１３】関連情報更新後の重み付有向関連グラフの一例を示す図である。
【図１４】画像のメタデータの一例を示す図である。
【図１５】関連情報の一例を示す図である。
【図１６】実施形態３におけるシステム構成の一例を示す図である。
【図１７】実施形態３におけるサーバ装置の構成の一例を示す図である
【図１８】実施形態３におけるクライアント装置の構成の一例を示す図である。
【図１９】実施形態３における支援処理のフローチャートである。
【図２０】実施形態３における関連グラフの一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【０００９】
＜実施形態１＞
本実施形態では、今現在撮影装置に設定されている撮影条件に適合し、かつ、ユーザの好みや趣向に基づいてユーザと関連づいた画像を用いて撮影支援を行う。以下、本実施形態について、図面を用いて説明する。
【００１０】
本実施形態に係る撮影支援システムの構成について図３を用いて説明する。本実施形態に係る撮影支援システム３００はサーバ装置１００と撮影装置２００から構成される。サーバ装置１００はインターネット３０１等のネットワークに接続され情報の送受信が可能な情報処理装置である。また、インターネット３０１にはＳＮＳサーバ３０２が接続されており、サーバ装置１００はインターネット３０１を介してＳＮＳサーバ３０２から情報の送受信を行うことができる。なお、図３に示すシステム構成は一例に過ぎず、それぞれの装置を物理的に同一のまたは複数の装置で構成してもよい。
【００１１】
続いて、サーバ装置１００の構成について、図１のブロック図を参照して説明する。本実施形態におけるサーバ装置１００は単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）などで接続される。
【００１２】
図１において、１０１はサーバ装置１００全体の制御を行う制御部である。制御部１０１は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）１０２と、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）１０３と、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）１０４から構成される。ＣＰＵ１０２は、後述するＲＯＭ１０４や記憶部１０５に記憶されているプログラムを実行することにより、各ハードの制御、情報の演算により後述する処理や機能部を実現する。ＲＡＭ１０３は、ＣＰＵ１０２のワークメモリである。ＲＯＭ１０４は、後述する処理や各機能部を実現させるプログラムやパラメータを格納する。１０５はサーバ装置１００に設置されたハードディスクやメモリカードなどの記憶装置で、データを記憶する記憶部である。なお、記憶部１０５は、サーバ装置１００に内蔵されていても良いし、着脱可能に構成されてもよい。例えば、フレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなども含む。１０６はユーザの操作を受け、ユーザからの指示の入力を受付けるポインティングデバイスやキーボードなどの入力デバイス１１０とのインターフェイスである。１０７はサーバ装置１００が出力すると映像信号を表示するためのモニタ１１１等の外部装置との情報の入出力を制御する出力デバイスインターフェイスである。１０８はネットワーク回線や撮影装置２００と通信するためのネットワークインターフェイスである。１０９は１０１〜１０８の各ユニットを通信可能に接続するシステムバスである。
【００１３】
続いて、撮影装置２００の構成について、図２のブロック図を参照して説明する。図２において、２０１は撮影装置２００全体の制御を行う制御部である。制御部２０１は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）２０２と、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）２０３と、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）２０４から構成される。ＣＰＵ２０２は、後述するＲＯＭ２０４や記憶部２０５に記憶されているプログラムを実行することにより、各ハードの制御、情報の演算を行い後述する処理や機能部を実現する。ＲＡＭ２０３は、ＣＰＵ２０２のワークメモリである。ＲＯＭ２０４は、後述する処理や各機能部を実現させるプログラムやパラメータを格納する。２０５は撮影装置２００に設置されたハードディスクやメモリカードなどの記憶装置であり、データを記憶する記憶部である。なお、記憶部２０５は、撮影装置２００に内蔵されていても良いし、着脱可能に構成されてもよい。例えば、ＩＣカード、メモリカードなども含む。２１２はユーザの操作を受け、データを入力するポインティングデバイスやコントロールキーなどの入力部である。２１３は撮影装置２００の保持するデータやＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する液晶ディスプレイ等の表示部である。なお、タッチパネルとして入力部２１２と表示部２１３とが同一に構成されていても構わない。２１４は無線ＬＡＮ等の外部機器と通信するための通信インターフェイス（Ｉ／Ｆ）である。撮影装置２００は、通信Ｉ／Ｆ２１４を介してサーバ装置１００と通信を行う。２１５は、レンズ、撮像素子、Ａ／Ｄ変換部等から構成される撮像部である。撮像部２１５はレンズから介して取得した被写体光を撮像素子により電気信号として出力し、該電気信号をディジタルデータに変換して画像データを生成する。２１６は、撮影装置２００の各ユニットを通信可能に接続するシステムバスである。
【００１４】
続いて、上述した撮影支援システム３００とインターネット３０１を介して接続して通信可能なＳＮＳサーバ３０２について説明を行う。ＳＮＳサーバ３０２は、撮影支援に用いる複数の画像と撮影支援システムのユーザの画像の絵作りや構図等の好みや趣向に基づいて形成された画像との関連を示す情報を保持している。
【００１５】
ＳＮＳサーバ３０２はＳｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ（ＳＮＳ）をインターネット３０１上で提供するためのＷｅｂサーバ機能を有する情報処理装置である。ここで、本実施形態に係るＳＮＳとは、ユーザ夫々が画像やブログ等をＳＮＳ上にアップロードし、アップロードされた画像や他のユーザに対する評価やコメントを行うことが可能である。それらを通じてユーザ同士のコミュニケーションの場を提供するサービスである。また、同じ趣味や嗜好を持つ他のユーザが所属する「コミュニティ」等に参加することで同じ趣味や嗜好を持つ他のユーザの画像を検索、閲覧することができる。
【００１６】
ユーザがＳＮＳに登録すると、ユーザを一意に表すＩＤが提供される。本ＩＤによりユーザはＳＮＳ上では一意に識別される。ユーザは他ユーザがアップロードした画像を閲覧し、画像の絵作り、構図等に関する好みや趣向に基づいて閲覧した画像に対しての評価を行う。また、他のユーザがＳＮＳ上にアップロードした画像に基づいて他ユーザを「お気に入り（フォロー）」に追加し動向を追うことが出来る。このようなＳＮＳ上での活動によりユーザ間またはユーザと画像の間に好みや趣向に基づいた関係性が構築される。また、同一の画像の好みに関する「コミュニティ」に所属することでユーザ間に画像の趣味や趣向に基づいた関連性が構築される。画像やユーザに対する評価の一例として、好き／好きではない（ライク／ノットライク）、の２通りを閲覧した他のユーザがアップロードした画像に付することができる。なお、画像やユーザに対する評価は、複数の値により段階的に嗜好を表現してもよい。また、ＳＮＳサーバ３０２は上述したＳＮＳにおける活動を通じて構成されたユーザと他のユーザとの関連性に関する情報、ユーザと画像の関連性に関する情報、ユーザと関連がある画像を外部装置に提供することができる。
【００１７】
本実施形態に係る撮影支援システム３００はＳＮＳ上構築された画像の評価やコメントに基づいたユーザと他のユーザ、または、ユーザと画像との関連を示す関連情報をＳＮＳサーバ３０２から取得する。ユーザと画像との関連を示す関連情報により、ユーザと関連があるＳＮＳ上の画像に基づいて撮影支援を行う。なお、ユーザとの関連を示す関連情報をＳＮＳサーバ３０２から取得するのではなくサーバ装置１００が予め記憶部１０５に保持していても良い。また、サーバ装置１００自身がＳＮＳをインターネット上に提供する構成としても構わない。
【００１８】
続いて、サーバ装置１００の機能構成について図４を用いて説明する。サーバ装置１００は撮影者に撮影支援を提供するための装置である。サーバ装置１００は、図４に示すように、通信部４０１、取得部４０２、解析部４０３、判別部４０４、生成部４０５、更新部４０６の機能構成を有する。各機能構成は、制御プログラムに基づいて、制御部１０１が情報の演算や加工を行うことおよび各ハードウェアを制御することで実現される。なお、図４に示す各機能構成の一部乃至全てがハードウェアにより構成されても良い。
【００１９】
通信部４０１は撮影装置２００と情報の送受信、インターネット３０１と通信を行う。取得部４０２はインターネット３０１上のＳＮＳサーバ３０２からユーザと画像との関連を示す関連情報を取得する。解析部４０３は取得部４０２にて取得した関連情報を解析する。そして、解析部４０３は解析結果に基づいて、ユーザの好み、趣味、趣向が反映をするユーザと画像間の関連度を算出する。関連度は、ユーザと画像の関連の程度を示す値である。判別部４０４では、撮影支援に用いる画像に付与されたメタデータや画像中の特徴から、画像が特定の撮影条件に適合しているか否かを判別する。なお、本実施形態において撮影条件とは撮影者が撮影を行う際の被写体、撮影装置の各種パラメータ、撮影場所等に関する撮影を行う条件である。生成部４０５は、判別部４０４にて判別を行った結果と解析部４０３にて関連情報を解析した結果とをもとに、撮影条件に適合する画像を用いて撮影支援情報を生成する。撮影支援情報には、撮影時の撮影装置の各種パラメータの設定、撮影構図を支援するための情報が含まれる。更新部４０６は、作成した撮影支援情報を用いて実施の撮影を行ったかを示す撮影支援履歴をもとにＳＮＳサーバ３０２上での関連情報を更新する。
【００２０】
続いて、撮影装置２００の機能構成について図５を用いて説明する。撮影装置２００はサーバ装置１００から取得した撮影支援情報をもとにユーザの撮影支援を行うことが可能である。撮影装置２００は、図５に示すようにＵＩ部５０１、通信部５０２、撮影条件取得部５０３、要求部５０４、撮影支援部５０５、履歴生成部５０６の機能構成を有する。各機能構成は、制御プログラムに基づいて、制御部２０１が情報の演算や加工を行うことおよび各ハードウェアを制御することで実現される。なお、図５に示す各機能構成の一部乃至全てがハードウェアにより構成されても良い。
【００２１】
ＵＩ部５０１はユーザとの情報のやりとりするためのインターフェイスである。通信部５０２は、サーバ装置１００等の外部装置との通信を行う。撮影条件取得部５０３は、撮影条件を取得する。要求部５０４は、撮影条件取得部５０３により取得された撮影条件と撮影者を一意に表すユーザ情報とを含む情報を生成する。そして、要求部５０４は、サーバ装置１００に対して撮影支援を要求する。撮影支援部５０５では、要求部５０４の要求に応じて、サーバ装置１００が生成した撮影支援情報を撮影者に対して提示する。撮影支援部５０５は、撮影支援情報を提示することで撮影者の撮影を支援する。履歴生成部５０６では、撮影支援情報を撮影者が実際に利用したか否かの情報を示す撮影支援情報の使用履歴を生成する。
【００２２】
以上の構成を有する撮影支援システム３００の動作を説明する。撮影支援システム３００の特徴的な主な処理は、撮影者の撮影支援処理と、関連情報の更新処理である。これらの処理について図６、図１０に示すフローチャートを用いて以下に説明する。
【００２３】
先ず、撮影支援処理について図６を用いて説明する。撮影支援処理が開始されると、撮影装置２００の撮影条件取得部５０３はまずＵＩ部５０１へのユーザ入力を検出し、撮影条件を取得する（Ｓ６０１）。この時、ＵＩ部５０１を介して、撮影者は撮影条件を入力する。なお、本実施形態において撮影条件は撮影モードとする。撮影モードの一例としては、人物写真を撮影するための「ポートレートモード」、風景画像を撮影するための「風景モード」、夜景をするための「夜景モード」、近くの被写体を撮影するための「マクロモード」等が考えられる。ユーザは、ＵＩ部５０１を介して撮影したい被写体に対応する撮得モードを選択する。なお、撮影条件として撮影モードを設定する場合を例にして説明を行うがこれに限られるものではない。例えば、予備撮影により撮影した画像の色彩判定、被写体識別等の画像解析を行い、解析結果に基づいて、撮影条件を自動で設定する構成としても良い。また、撮影装置２００に搭載されているＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等のセンサの出力である位置情報を撮影条件として取得してもよい。
【００２４】
次に撮影装置２００の要求部５０４は、Ｓ６０１の出力として得られた撮影条件に関する情報とＵＩ部５０１へのユーザからの入力により取得した撮影者を一意に表す情報とを含む撮影支援要求を生成する。ここで、撮影者を一意に表す情報としてＳＮＳサーバ３０２のユーザＩＤとする。撮影装置２００の要求部５０４は撮影支援要求を生成し、該情報を通信部５０２を介してサーバ装置１００に送信する（Ｓ６０２）。サーバ装置１００が撮影支援要求を受信する（Ｓ６０３）。次に、サーバ装置１００の取得部４０２がインターネットを通じてＳＮＳサーバ３０２にアクセスする。そして、取得部４０２は、Ｓ６０３にて受信した撮影支援要求に含まれるユーザＩＤを用いて、撮影者の関連情報を取得する（Ｓ６０４）。なお、ＳＮＳサーバ３０２は、入力されたユーザＩＤに対応するユーザの関連情報を入力元に対して出力する機能を有する。
【００２５】
関連情報の一例を図１５に示す。図１５（ａ）は、撮影支援システムのユーザ（撮影者）のＳＮＳ上での活動において生成されたユーザと画像との関連を示す関連情報の一例である。１５０１は撮影者がＳＮＳ上にアップロードされた画像について好意的なコメント、好意的な評価をした画像である。１５０２は、撮影者が好意的なコメント、好意的な評価をした画像のＩＤを示す。１５０３は、ＳＮＳ上にアップロードされた画像に基づいて、該画像をアップロードした他のユーザについて撮影者が好意的なコメント、好意的な評価をした人物である。１５０４は、ＳＮＳ上で評価した人物のユーザＩＤを示す。また、ユーザＩＤ１５０４は、当該ユーザの関連情報を他のユーザに公開可能か否かの情報も含まれている。公開可能に設定されているユーザＩＤ１５０４に基づいてＳＮＳサーバ３０２に要求を行うことでユーザＩＤ１５０４の関連情報を更に取得することができる。図１５（ｂ）は、撮影者に評価された「ユーザＡ」に関する関連情報である。１５０５は、ユーザＡがＳＮＳ上にアップロードした画像を示す。１５０６は、ユーザＡがＳＮＳ上にアップロードした画像のＩＤである。また、１５０７は、ユーザＡがＳＮＳ上にアップロードされた画像に基づいて、該画像をアップロードした他のユーザについてユーザＡが好意的なコメント、好意的な評価をした人物である。１５０８は、ＳＮＳ上でユーザＡが評価した人物のユーザＩＤを示す。なお、図１５に示す関連情報は、一例に過ぎず、評価した画像１５０１をアップロードしたユーザのＩＤやユーザが参加しているコミュニティに関する情報を取得する構成としても構わない。また、撮影者がアップロードした画像を評価した他のユーザに関する情報を含む構成としても構わない。
【００２６】
このように、関連情報は撮影者がＳＮＳ上にアップロードされた画像や人物の評価に基づいているので、撮影者の画像の好みや趣味、趣向を反映していると考えられる。例えば、撮影者が評価した画像は、ユーザ自身が直接好意的な評価を行っているためユーザの好みに合致する。また、撮影者が評価した他のユーザが保持している画像のように撮影者の画像の好みや趣味、趣向が似通った人物がアップロード、評価した画像の情報を取得することができる。また、撮影者が評価した他のユーザが評価した他のユーザ、撮影者が評価した画像を評価した他のユーザのように撮影者の画像の好みや趣味、趣向が似通った人物がアップロードや評価した画像の情報を取得することができる。
【００２７】
図７では、取得した関連情報に基づいた撮影者と他のユーザや画像との関連度を示すための関連グラフである。関連グラフ７００は、撮影者７０１、ＳＮＳで活動する他のユーザ、ＳＮＳにアップロードされた画像をノードとし、各ノード間を結ぶエッジを用いたグラフとして表現される。エッジにて結ばれたノード間には関連性が存在することを表す。ＳＮＳ上の活動で他のユーザをフォローする、アップロードされた画像にライクの評価を付けるといった活動によりノード間の関係性が構築される。
【００２８】
次に、サーバ装置１００の解析部４０３が、取得した関連情報に基づいてＳＮＳ上の画像との関連度を算出し、判別部４０４は関連があるＳＮＳ上の画像からＳ６０１で取得した撮影条件と一致する画像を抽出する（Ｓ６０５）。まず、撮影者とＳＮＳ上の画像との関連度の算出に関して説明する。取得した関連情報に基づいた関連グラフ７００において、任意の画像ノードと撮影者ノードとの間のホップ数をｎとすると、撮影者ノードと、撮影者ノードからｎホップ離れた画像の間の距離Ｓｎは以下の式であらわされる。
【００２９】
【数１】
【００３０】
本距離を撮影者と画像との関連度とし、値が小さい画像程、撮影者との関連が高いものとする。例えば、関連グラフ７００において「画像１」、「画像２」は撮影者がＳＮＳ上で直接評価を行っているため、撮影者と関連がより高いので関連度は１となる。また、撮影者が人物そのものを評価した「ユーザＡ」がアップロードした画像である「画像Ａ−１」、「画像Ａ−２」は関連度２となる。また、撮影者が評価した「ユーザＡ」が評価した「ユーザＢ」がアップロードした「画像Ｂ−１」の関連度は３となる。「画像Ｂ−１」は撮影者が好意的な評価を行った画像をアップロードしている「ユーザＡ」が評価している人物「ユーザＢ」がアップロードした画像である。したがって、「画像Ｂ−１」も撮影者好みの画像である可能性が高いため関連があると判断する。
【００３１】
続いて、判別部４０４は、撮影者と関連があるとされるＳＮＳ上の画像から、Ｓ６０１で取得した撮影条件と一致する画像を抽出する。判別部４０４は予め設定された所定の関連度内にある画像に対して、関連度が高い画像から順に、撮影支援要求に含まれる撮影条件に合致するか否かの判断を行う。なお、撮影条件に合致した画像を、推奨画像とする。なお、画像と撮影条件が一致するか否かの判定は、画像が有するメタデータに基づいて撮影条件に対応する属性を有するか否かを判定することによって行う。画像に付されたメタデータ記述の一例について、図１４に示す。図１４に記載された情報が画像と同一のデータとして構成されていてもよいし、画像と対応付けられた別のデータとして管理されていてもよい。画像のメタデータとしては、撮影対象を表すＯｂｊｅｃｔ情報、撮影時間を表すＤａｔｅ情報、撮影位置を表すＧＰＳ情報、撮影時の撮影装置の設定を表すＣａｍｅｒａＳｅｔｔｉｎｇ情報等がある。また、ＣａｍｅｒａＳｅｔｔｉｎｇ情報には撮影時の撮影モードが併せて付加される。これらのメタデータの少なくとも一部がＳＮＳ上にアップロードされた画像には予め付されているものとする。このメタデータは撮影時に撮影装置により自動で付されてもよいし、ＳＮＳ上等でユーザが付与する構成としても良い。
【００３２】
本実施例においては、判別部４０４は、撮影条件として設定された撮影モードと対応する属性を画像が有しているかで撮影条件に一致するか否かを判定する。判別部４０４は、画像のメタデータのＣａｍｅｒａＳｅｔｔｉｎｇ情報の撮影時の撮影モードを参照し、撮影条件として設定されているモードと対応するかを判定する。なお、画像のＣａｍｅｒａＳｅｔｔｉｎｇ情報以外の属性により撮影条件と一致するかを判定しても良い。例えば、撮影条件として撮影モードの「ポートレート」が設定されていた場合、被写体に関するＯｂｊｅｃｔ情報を参照して、「人物」、「顔」等が設定されている画像を撮影条件が一致する画像とする。なお、判別部４０４は、予め撮影条件と対応する画像の属性をテーブルとして保持し、テーブルを参照することで撮影条件と画像が対応するかを判定する。
【００３３】
また、画像の属性をメタデータにより取得する構成を示したがこれに限られるものではない。例えば、画像解析処理を行うことで画像の属性を取得する構成としてもよい。画像解析により撮影条件に一致する色彩、または、被写体を画像が有しているかによって判定する。例えば、撮影条件として「風景モード」が設定されていた場合、画像解析により、画像上部の色彩を解析し、空に該当する色彩を有している場合、撮影条件が一致すると判定する。また、撮影条件として撮影モードを例として説明を行ったが、これに限られるものではない。例えば、撮影位置を撮影条件とした場合、画像のＧＰＳ情報を利用して撮影条件が一致するかを判定しても良い。以上説明したように、判別部４０４は、画像が撮影条件に対応しているかの判別を行う。
【００３４】
続いて、判別部４０４はＳ６０５において予め設定された任意の関連度内にある画像のうち、撮影条件に合致した画像があるかないかを判定する（Ｓ６１４）。撮影条件が一致する画像がない場合には、サーバ装置１００が撮影装置２００に撮影支援情報を返せないことを伝えるメッセージを送信し（Ｓ６１２）、撮影装置２００はメッセージをＵＩ部５０１に表示する。そして、再びＳ６０１に戻り、新たに撮影条件を設定させ以降の処理を再度行う。なお、より関連が低い画像を含め、再度判定を行う構成としてもよいし、サーバ装置１００に予め保持している画像を用いて撮影支援を行う構成としてもよい。一方、Ｓ６１４においてに撮影条件が一致する画像がある場合は、Ｓ６０６に処理を進める。サーバ装置１００の生成部４０５は、撮影条件が一致する画像（推奨画像）がある場合、推奨画像に基づいて撮影支援情報を生成する（Ｓ６０６）。ここで、撮影支援情報の一例として、推奨画像の属性である画像のメタデータに記述される各種パラメータ値の情報、画像の構図に関する情報、推奨画像から抽出される画像特徴情報等の情報に基づいて生成される。また、撮影支援情報には推奨画像そのものも含まれる。
【００３５】
撮影支援情報として、例えば、推奨画像の撮影時のレンズのズーム値や露出情報などを自動で撮影装置２００に設定するための情報であってよい。または、推奨画像の撮影位置情報や撮影方向であってもよい。または、推奨画像の絵作り情報、構図に関する情報であってよい。また、推奨画像群自体も撮影支援情報としてよい。上述の撮影支援情報は一例に過ぎず、本形態に限定されるものではない。
【００３６】
次に、サーバ装置１００の通信部４０１がＳ６０６にて生成された撮影支援情報を撮影装置２００に送信し（Ｓ６０７）、撮影装置２００がそれを受信する（Ｓ６０８）。次に、撮影装置２００はＳ６０８にて受信した撮影支援情報に含まれる推奨画像をＵＩ部５０１上に提示する（Ｓ６０９）。ＵＩ部５０１上への提示例について、図８に示す。図８は撮影装置２００のＵＩ部５０１の一例であり、表示画面８０１、物理キー８０２、決定ボタン８０３を有する。表示画面８０１には撮影プレビューと推奨画像一覧８０４と重畳して表示される。なお、推奨画像一覧８０４は推奨画像と撮影者の関連度が高い順にソートして表示する。推奨画像一覧８０４を関連度に基づいて関連度が高い順にソートして表示することで、関連度の高い推奨画像を優先的に推奨することが可能となる。
【００３７】
撮影者は物理キー８０２を用いて選択カーソル８０５を任意の推奨画像に移動し、決定ボタン８０３を押下することで推奨画像を選択することが可能である（Ｓ６１０）。本実施例では物理キーを用いて画像の選択を行っているが、タッチパネル機能のついたＵＩなどを用いて選択操作を行っても構わない。ＵＩ部５０１は、使用する撮影支援情報を推奨画像から選択されたがの判定を行う（Ｓ６１０）。撮影者が利用したい画像が存在しない場合、撮影者はＵＩ部５０１によりその旨を示す操作を行う。撮影装置２００がサーバ装置１００に、利用したい撮影支援情報が無いことを伝えるメッセージを送信する（Ｓ６１３）。メッセージを受信したサーバ装置１００は、撮影条件との一致を判定した予め設定された所定の関連度の値をより関連が低い画像を含めるように再設定し、Ｓ６０５からの処理を再び行う。
【００３８】
一方、Ｓ６１０において撮影者がＵＩ部５０１上に提示された推奨画像の中から任意の画像を選択すると、撮影装置２００の撮影支援部５０５は、選択された推奨画像に対応する撮影支援情報を用いて撮影支援を行う（Ｓ６１１）。撮影支援の一例を図９を用いて説明を行う。撮影支援形態９００は推奨画像の輪郭成分を抽出した構図９０１と撮影プレビューとをＵＩ部５０１上の表示画面８０１に重畳して表示する。撮影者は推奨画像の構図９０１と撮影プレビュー上の被写体が重なるように撮影することで、推奨画像の構図に基づいた好適な出力を得る撮影支援が可能である。また、推奨画像の輪郭成分ではなくオリジナル画像を透過させて撮影プレビューと重畳して表示する構成としても良い。撮影支援形態９０２は撮影装置２００のＵＩ部５０１上の表示画面８０１の隅に推奨画像９０３を配置する。撮影者は推奨画像を参照しながら撮影者が撮影を行うことで、推奨画像に近い好適な出力を得る撮影支援が可能である。撮影支援形態９０４は撮影装置２００のＵＩ部５０１上の表示画面８０１にグリッドを配置し、物理キー８０２にて推奨画像と撮影プレビューを切り替えて表示することが可能である。撮影者は撮影プレビューと推奨画像を切替えながら表示することで、推奨画像に近い好適な出力を得る撮影支援が可能である。
【００３９】
なお、撮影支援情報の形態は、上記形態に限定されるものではなく、例えば、推奨画像が撮影された際の撮影位置情報や撮影した端末の方向や傾きの情報を用いて撮影場所まで誘導するナビゲーションを行うなどしてもよい。例えば、ＵＩ部５０１に地図を表示し、撮影装置２００の現在位置と推奨画像が撮影された位置、撮影方向とを表示することで、推奨画像が撮影された撮影位置により撮影を行わせる支援が可能となる。また、推奨画像撮影時の撮影装置の設定や、推奨画像の絵作りの情報を用いて、推奨画像と近い画像を生成するように撮影装置の設定を変更する構成として良い。図６に戻り、Ｓ６１１において撮影装置２００の撮影支援部５０５による撮影支援を行った後に、実際の撮影を行った場合は、使用した撮影支援情報に関する情報を記憶し、処理を終了する（Ｓ６１５、Ｓ６１６）。
【００４０】
続いて、関連情報の更新処理について説明する。撮影者が実際に撮影支援に用いた推奨画像はより撮影者の嗜好や好みに適合する画像と考えられる。本情報を用いて、ＳＮＳ上の関連情報をより撮影者の好みや嗜好を反映した形に更新する。
【００４１】
関連情報の更新について図１０のフローチャートを用いて説明する。先ず、撮影装置２００はサーバ装置１００から受信した撮影支援情報を記憶する（Ｓ１００１）。また、その撮影支援情報を用いて撮影者が撮影を行ったか否かの情報を記憶する（Ｓ１００２、図６のＳ６１６）。撮影装置２００の履歴生成部５０６では、複数の推奨画像それぞれに基づいた撮影支援情報毎に、撮影者が撮影を行ったか否かの情報を設定し、撮影支援履歴を生成する（Ｓ１００３）。撮影装置２００の通信部５０２は、Ｓ１００３にて生成した撮影支援履歴をサーバ装置１００に送信し（Ｓ１００４）、サーバ装置１００の通信部４０１がそれを受信する（Ｓ１００５）。次にサーバ装置の更新部４０６は通信部４０１を介してＳＮＳサーバ３０２に通信し、撮影支援履歴情報をもとに、撮影支援時におけるユーザ嗜好を反映した形に関連情報を更新する（Ｓ１００６）。関連情報の更新について図１１を用いて説明する。撮影者７０１が撮影支援において、画像１１０２（画像Ａ−１）に紐づいた撮影支援情報を使用した場合、撮影者７０１と画像１１０２の関連度を上げる処理をＳＮＳサーバ３０２に更新部４０６が要求する。例えば、撮影者は画像１１０２にＳＮＳ上で直接評価を行ったとするようＳＮＳサーバ３０２に要求する。関連情報更新処理により撮影者７０１と画像１１０２の間に直接エッジ１１０１が結ばれ、撮影前の関連度Ｓｎ＝２からＳｎ＝１となり、撮影者７０１と画像１１０２の関連度はより高くなる。
【００４２】
以上、本実施例によれば撮影者のＳＮＳ上での活動により構築されたＳＮＳ上にアップロードされた画像と撮影者の関連に基づいて、より関連が高い画像を用いて撮影支援を行うことができる。また、関連情報は撮影者の画像の好み、趣味趣向に基づいた画像または他のユーザの評価により形成されるので、影者の画像の好み、趣味趣向に合う画像を用いて撮影支援を行うことができる。さらに、実際に撮影に用いた撮影支援情報に含まれる画像との関連度を上げるように、関連情報を更新するので撮影者の好み、趣味趣向をより反映する関連情報に更新することが可能である。
【００４３】
＜実施形態２＞
実施形態１では、ＳＮＳ上での他のユーザや画像に対する評価は、「評価をした」、「評価をしてない」の２通りであるとして説明を行った。本実施形態では、ＳＮＳ上での評価のレベルが、複数段階ある場合の撮影支援処理と、関連情報の更新処理について以下に記述する。
【００４４】
本実形態における関連度算出に用いる関連グラフを図１２に示す。関連グラフ１２００は、各ノード間を結ぶエッジ１２０２が重みと方向を持つ、重み付有向グラフとして表現される。エッジの方向は、ノード間においてどちらのノードから関連性を構築したかを示すものである。例えば撮影者１２０１と画像１２０３（画像１）との関係において、矢印の起点である「撮影者１２０１が」矢印の終点である「画像１２０３を」評価したことを示す。エッジの方向は、一方向または双方向の方向性があり、双方向はノード間が互いに評価し合っていることを示す。エッジの重みには、１から５までの５段階の重みが設定され、値が大きいほどあるノードから有向エッジで結ばれるノードとの関連が高いことを表す。本重みは、撮影者がＳＮＳ上で他のユーザやアップロードした画像に対して５段階の評価を付けることにより値が決定される。ノード間を結ぶエッジが双方向のエッジの場合には、各方向それぞれについて重みが設定される。
【００４５】
本実施形態での撮影支援処理について実施形態１と異なる関連度算出について詳細に説明を行う。図６のＳ６０５においてサーバ装置１００の解析部４０３による関連度算出は、関連グラフ１２００を用いて算出される。関連グラフ１２００において任意の画像ノードと撮影者ノードとの間のホップ数をｎ、各経由エッジｉ（０＜ｉ＜ｎ）における重みをｘｉとすると、撮影者ノードと画像ノードと間の関連度Ｓｎは以下の式により算出される。
【００４６】
【数２】
【００４７】
（２）式により算出された値が小さい画像ノード程、撮影者との関連が高いものとする。
【００４８】
次に、本実施形態での関連情報更新について実施形態１と異なる点について詳細に説明を行う。本実施形態における関連情報の更新について図１３を用いて説明する。撮影者１３０１が撮影支援において、推奨画像１３０２に紐づいた撮影支援情報を利用した場合、撮影者１３０１と画像１３０２がより近い関係にあるものとして関連情報を更新する（Ｓ１００６）。撮影者１３０１と画像１３０２の関係はユーザ１３０４を介した繋がりであるところ、関連情報更新処理により撮影者１３０１と画像１３０２の間に直接エッジ１３０３が結ばれる。この時、直接結ばれるエッジ１３０３は撮影者ノード１３０１から画像１３０２への方向を持ったエッジであり、エッジの重み１３０３には標準で５が設定される。この時、更新前の撮影者ノード１３０１から画像１３０２ノードへの距離はＳｎ＝９／２０であるところ、更新後の撮影者ノード１３０１から画像１３０２ノードへの距離はＳｎ＝１／５＜９／２０となり、より両ノード間の距離が近くなる。新規に結ばれるエッジ１３０３の重みは標準で５を設定するが、撮影者が撮影装置２００上で任意の値に重みづけを行っても構わない。
【００４９】
以上、本実施形態によれば、撮影者の画像に対する評価の重みを反映することにより、より撮影者の好みや、趣味趣向を反映した関連情報に基づいた画像により撮影支援を行うことが可能となる。
【００５０】
＜実施形態３＞
本実施形態では、ユーザの画像の条件に適合し、かつ、ユーザの好みや趣向に基づいてユーザと関連づいた画像を用いて、画像補正処理に関する支援を行う。以下、本実施形態について、図面を用いて説明する。なお、本実施形態において、ＳＮＳにアップロードされた画像には、γカーブ補正処理、空間フィルタ処理、肌色強調処理、赤目処理、色調補正等の画像補正処理が施されているものとする。本実施形態では、ユーザがどのような補正を画像にすべきかを判断するための支援する。
【００５１】
本実施形態に係る画像ハンドリング支援システムの構成について図１６を用いて説明する。本実施形態に係る画像ハンドリング支援システムはサーバ装置１６００、クライアント装置１６０１、ＳＮＳサーバ３０２から構成される。なお、ＳＮＳサーバ３０２は実施形態１、２と同様の構成であるため詳細な説明については省略する。
【００５２】
サーバ装置１６００はインターネット３０１等のネットワークに接続され情報の送受信が可能な情報処理装置である。また、インターネット３０１にはＳＮＳサーバ３０２が接続されており、サーバ装置１６００はインターネット３０１を介してＳＮＳサーバ３０２から情報の送受信を行うことができる。なお、図３に示すシステム構成は一例に過ぎず、それぞれの装置を物理的に同一のまたは複数の装置で構成してもよい。
【００５３】
サーバ装置１６００、クライアント装置１６０１のハードウェア構成について、図１のブロック図と同様である。なお、本実施形態におけるサーバ装置１６００は単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）などで接続される。
０自身がＳＮＳをインターネット上に提供する構成としても構わない。
【００５４】
続いて、サーバ装置１６００の機能構成について図１７を用いて説明する。サーバ装置１６００の各機能構成は記憶媒体に記憶されている制御プログラムに基づいて、制御部１０１が情報の演算や加工を行うことおよび各ハードウェアを制御することで実現される。なお、後述する各機能構成の一部乃至全てがハードウェアにより実現されても良い。
サーバ装置１６００は、図１７に示すように、通信部１７０１、取得部１７０２、解析部１７０３、判別部１７０４、生成部１７０５、更新部１７０６の機能構成を有する。また、サーバ装置１６００は、抽出部１７０７、支援部１７０８、を有する。
【００５５】
通信部１７０１はクライアント装置１６０１と情報の送受信、インターネット３０１と通信を行う。取得部１７０２はインターネット３０１上のＳＮＳサーバ３０２からユーザと画像との関連を示す関連情報を取得する。解析部１７０３は取得部１７０２にて取得した関連情報を解析し、ユーザの好み、趣味、趣向が反映されているであろう度合いであるユーザと画像との関連度を算出する。判別部１７０４では、画像ハンドリング支援に用いる画像に付与されたメタデータや画像中の特徴から、画像が所定の条件に適合しているか否かを判別する。なお、本実施形態において所定の条件とはユーザの画像とＳＮＳサーバ３０２にアップロードされている画像との画像間の関連に基づく。例えば、判別部１７０４は、画像間の被写体の類似、画像間の撮影場所等の類似、画像間の色調や類似に基づいて所定の条件が画像間で満たされるかを判別する。
【００５６】
抽出部１７０７は、ユーザと画像との関連を示す情報に基づいて、ＳＮＳサーバ３０２にアップロードされている画像からユーザの趣味、趣向に合うと思われる画像を抽出する。例えば、ユーザがＳＮＳにおいて評価した画像を同様に評価した他の人物がアップロードした画像を抽出する、また、抽出部１７０７はユーザが評価した他の人物が評価した別の他の人物がアップロードした画像を抽出する。そして、抽出部１７０７は更に判別部１７０４により、ユーザの画像とＳＮＳサーバ３０２にアップロードされている画像との画像間の関連があると判定される画像を抽出する。
【００５７】
生成部１７０５は、判別部１７０４にて判別を行った結果と解析部１７０３にて関連情報を解析した結果とをもとに、抽出部１７０７が抽出した所定の条件に適合する画像を用いて、支援情報を生成する。支援情報は、例えば、抽出部１７０７が抽出した画像の加工（画像処理）を行った際の各種パラメータを有している。更新部１７０６は、作成した支援情報を用いて実施の画像処理を行ったかを示す支援履歴をもとにＳＮＳサーバ３０２上での関連情報を更新する。支援部１７０８は、生成部１７０５が生成した支援情報に基づいてユーザの画像ハンドリング処理を支援するための処理を行う。
【００５８】
続いて、クライアント装置１６０１の機能構成について図１８を用いて説明する。クライアント装置１６０１はサーバ装置１６００から取得した支援情報をもとにユーザの支援を行うことが可能である。クライアント装置１６０１は、図５に示すようにＵＩ部１８０１、通信部１８０２、画像条件取得部１８０３、要求部１８０４、支援部１８０５、履歴生成部１８０６の機能構成を有する。各機能構成は記憶媒体に記憶されている制御プログラムに基づいて、制御部２０１が情報の演算や加工を行うことおよび各ハードウェアを制御することで実現される。なお、後述する各機能構成の一部乃至全てがハードウェアにより実現されても良い。
【００５９】
ＵＩ部１８０１はユーザとの情報のやりとりするためのインターフェイスである。通信部１８０２は、サーバ装置１６００等の外部装置との通信を行う。画像条件取得部１８０３は、ユーザがハンドリングする画像（支援対象画像）の画像情報やメタデータなどを取得する。支援部１８０５では、要求部１８０４の要求に応じて、サーバ装置１６００が生成した支援情報をクライアント装置１６０１のユーザに対して提示し、画像ハンドリング処理を支援する。要求部１８０４は、ユーザが所持する画像と該ユーザを一意に表すユーザ情報とを含む情報を生成し、サーバ装置１６００に対して支援を要求する。履歴生成部１８０５では、支援情報をユーザが実際に利用したか否かの情報を示す支援情報の使用履歴を生成する。
【００６０】
以上の構成を有する画像ハンドリング支援システムの動作を説明する。画像ハンドリング支援システムの特徴的な主な処理は、支援処理と、関連情報の更新処理である。
これらの処理について、各装置が制御プログラムを実行することにより実現される図１９
に示すフローチャートを用いて以下に説明する。
【００６１】
先ず、支援処理について図１９を用いて説明する。支援処理が開始されると、クライアント装置１６０１の画像条件取得部１８０３はまずＵＩ部１８０１へのユーザの支援対象画像指定を検出し、指定された画像の画像条件を取得する（Ｓ１９０１）。本実施形態において画像条件は、画像に写りこんでいるオブジェクトを検出するものとする。検出するオブジェクトの一例としては、人物、風景、夜景、動物、建物等が考えられる。
【００６２】
なお、画像条件として被写体（オブジェクト）を例にして説明を行うがこれに限られるものではない。例えば、画像の特徴を定量的に表現した指標であるヒストグラム、エッジ量、人物の顔の位置や大きさ、赤目等の画像特徴量などを画像条件としてもよい。また、支援対象画像に付されているＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等のセンサの出力である位置情報や撮影日時を画像条件として取得してもよい。
【００６３】
次にクライアント装置１６０１の要求部１８０４は、Ｓ１９０１の出力として得られた画像条件に関する情報とＵＩ部１８０１へのユーザからの入力により取得したユーザを一意に表す情報とを含む支援要求を生成する。ここで、ユーザを一意に表す情報としてＳＮＳサーバ３０２のユーザＩＤとする。クライアント装置１６０１の要求部１８０４は支援要求を生成し、該情報を通信部１８０２を介してサーバ装置１６００に送信する（Ｓ１９０２）。サーバ装置１６００は支援要求を受信する（Ｓ１９０３）。次に、サーバ装置１６００の取得部１７０２がインターネットを通じてＳＮＳサーバ３０２にアクセスし、Ｓ１９０３にて受信した支援要求に含まれるユーザＩＤを用いて、ユーザの関連情報を取得する（Ｓ１９０４）。なお、ＳＮＳサーバ３０２は、入力されたユーザＩＤに対応するユーザの関連情報を入力元に対して出力する機能を有する。
【００６４】
図２０は、取得した関連情報に基づいたユーザと他のユーザや画像との関連度を示すための関連グラフである。関連グラフは、本システムのユーザ２００１、ＳＮＳで活動する他のユーザ、ＳＮＳにアップロードされた画像をノードとし、各ノード間を結ぶエッジを用いたグラフとして表現される。エッジにて結ばれたノード間には関連性が存在することを表す。ＳＮＳ上の活動で他のユーザをフォローする、アップロードされた画像にライクの評価を付ける、他のユーザにライクの評価を付けるといった活動によりノード間の関係性が構築される。
【００６５】
図２０に示す関連グラフにおいて「画像１」はユーザ２００１（画像ハンドリング支援システムのユーザ）がアップロードした画像である。「他のユーザＤ」（ＳＮＳのユーザ）は、ユーザ２００１がアップロードした画像１をＳＮＳ上で好意的に評価した人物である。「画像Ｘ−３」は他のユーザＤがＳＮＳ上で好意的に評価した画像である。また、「画像Ｄ−１」は、他のユーザＤがアップロードした画像である。このような、画像１、画像Ｄ−１および画像Ｘ−３は、ユーザ２００１好みの画像である可能性が高いため、ユーザ２００１との関連が構築される。
【００６６】
「画像Ｘ−１」は、ユーザ２００１が直接ＳＮＳ上で好意的に評価を行った画像である。「他のユーザＢ」は、ＳＮＳ上でユーザ２００１が評価した画像Ｘ−１を同様にＳＮＳ上で好意的に評価した人物である。また、「画像Ｂ−１」は他のユーザＢがＳＮＳにアップロードした画像である。「画像Ｘ−２」は、他のユーザＢがＳＮＳ上で好意的に評価した画像である。このような、画像Ｘ−１、画像Ｂ−１および画像Ｘ−２は、ユーザ２００１好みの画像である可能性が高いため、ユーザ２００１との関連が構築される。
【００６７】
「他のユーザＡ」は、他のユーザＡがアップロードした画像やＳＮＳ上の活動に基づいて、ユーザ２００１が好意的に評価した人物である。また、「画像Ａ−１」は他のユーザＡがＳＮＳにアップロードした画像である。「画像Ｘ−５」は、他のユーザＡがＳＮＳ上で好意的に評価した画像である。「他のユーザＣ」は、ユーザ２００１が直接ＳＮＳ上で好意的に評価を行った他のユーザＡが直接ＳＮＳ上で好意的に評価した人物である。「画像Ｘ−６」は、他のユーザＡがＳＮＳ上で好意的に評価した画像である。「画像Ｃ−１」は他のユーザＣがＳＮＳにアップロードした画像である。このような、画像Ａ−１、画像Ｘ−５、画像Ｘ−６および画像Ｃ−１は、ユーザ２００１好みの画像である可能性が高いため、ユーザ２００１との関連が構築される。
【００６８】
「画像Ｅ−１」は、ユーザ２００１が直接ＳＮＳ上で好意的に評価を行った画像である。
また、画像Ｅ−１は、「他のユーザＥ」（ＳＮＳのユーザ）がＳＮＳにアップロードした画像である。同様に「画像Ｅ−２」は、他のユーザＥがＳＮＳにアップロードした画像である。「画像Ｘ−４」は、他のユーザＥがＳＮＳ上で好意的に評価した画像である。このような、画像Ｅ−１、画像Ｅ−２および画像Ｘ−４は、ユーザ２００１好みの画像である可能性が高いため、ユーザ２００１との関連が構築される。
【００６９】
次に、サーバ装置１６００の解析部１７０３が、取得した関連情報に基づいてＳＮＳ上の画像との関連度を算出する。また、判別部１７０４は関連があるＳＮＳ上の画像からＳ１９０１で取得した画像条件と一致するかを判別する。そして、抽出部１７０７は支援対象画像と画像条件が一致する画像を抽出する（Ｓ１９０５）。
【００７０】
本実施例も上述の（１）式を用いて関連度を算出する。図２０に示すユーザ２００１とＳＮＳの他ユーザに対応する画像ノードとの夫々の関連度は、画像Ｄ−１：関連度３、画像Ｘ−３：関連度３、画像Ｘ−１：関連度１、画像Ｂ−１：関連度３、画像Ｘ−２：関連度３となる。同様に画像Ａ−１：関連度２、画像Ｘ−５：関連度２、画像Ｘ−６：関連度３、画像Ｃ−１：関連度３、画像Ｅ−１：関連度１、画像Ｅ−２：関連度３、画像Ｘ−４：関連度３となる。
【００７１】
判別部１７０４は、ユーザと関連があるとされるＳＮＳ上の画像をＳ１９０１で取得した画像条件と一致するかを判別する。判別部１７０４は予め設定された所定の関連度内にある画像に対して、関連度が高い画像から順に、支援要求に含まれる画像条件に合致するか否かの判断を行う。なお、支援対象画像とＳＮＳ上の画像間において画像条件が一致するか否かの判定は、画像が有するオブジェクト（被写体）が同様か否かにより判定する。
【００７２】
判別部１７０４は、公知のオブジェクト判別処理を画像情報に基づいて行い、画像上のオブジェクトを検出する。そして、支援対象画像とＳＮＳ上の画像間に対応するオブジェクトが共通して存在するかを判定する。
【００７３】
例えば、画像条件として支援対象画像から人物が検出された場合、ＳＮＳにアップロードされた画像からも同等に人物が検出されたら画像間は画像条件が一致すると判定する。
【００７４】
画像のＧＰＳ情報を利用して画像条件が一致するかを判定しても良い。また、画像条件は撮影場所、撮影時間、撮影パラメータ等に基づいて設定される構成であってよい。抽出部は１７０７は、任意の関連度内にある画像のうち、画像条件が一致するＳＮＳにアップロードされた画像を抽出する。そして、抽出部１７０７は、画像条件に合致し、抽出した画像があるかないかを判定する（Ｓ１９１４）。画像条件が一致する画像がない場合には、サーバ装置１６００がクライアント装置１６０１に支援情報を返せないことを伝えるメッセージを送信し（Ｓ１９１２）、クライアント装置１６０１はメッセージをＵＩ部１８０１に表示する。そして、再びＳ１９０１に戻り、新たに画像条件を設定させ以降の処理を再度行う。なお、より関連が低い画像を含め、再度判定を行う構成としてもよいし、サーバ装置１６００に予め保持している画像を用いて支援を行う構成としてもよい。一方、Ｓ１９１４においてに画像条件が一致する画像がある場合は、Ｓ１９０６に処理を進める。サーバ装置１６００の生成部１７０５は、画像条件が一致する画像（推奨画像）がある場合、推奨画像に基づいて支援情報を生成する（Ｓ１９０６）。ここで、支援情報の一例として、
支援情報として、例えば、推奨画像に施された画像処理の順序や各処理に関わるパラメータにより、支援対象画像を補正するための情報であってよい。または、推奨画像の画像補正を施す前と後の画像データを支援情報としてよい。また、推奨画像群自体も支援情報としてよい。上述の支援情報は一例に過ぎず、本形態に限定されるものではない。
【００７５】
次に、サーバ装置１６００の支援部１７０８が、通信部１７０１を介してＳ１９０６にて生成された支援情報をクライアント装置１６０１に送信する（Ｓ１９０７）。クライアント装置１６０１がそれを受信する（Ｓ１９０８）。次に、クライアント装置１６０１はＳ１９０８にて受信した支援情報に含まれる推奨画像をＵＩ部１８０１上に提示する（Ｓ１９０９）。なお、推奨画像に施された画像補正手順により支援対象画像を補正した結果画像の一覧８０４を表示する構成としてよい。
【００７６】
ここで、推奨画像は、ユーザとの関連度が高い順にソートして表示する。ユーザ指示に基づいて、実施の補正処理に用いる推奨画像選択が検出されるかを判定する（１７１０）。ＵＩ部１８０１は、使用する支援情報を推奨画像から選択されたがの判定を行う（Ｓ１９１０）。ユーザが利用したい画像が存在しない場合、ユーザはＵＩ部１８０１によりその旨を示す操作を行う。クライアント装置１６０１がサーバ装置１６００に、利用したい支援情報が無いことを伝えるメッセージを送信する（Ｓ１９１３）。メッセージを受信したサーバ装置１６００は、画像条件との一致を判定した予め設定された所定の関連度の値をより関連が低い画像を含めるように再設定し、Ｓ１９０５からの処理を再び行う。
【００７７】
一方、Ｓ１９１０においてユーザがＵＩ部１８０１上に提示された推奨画像の中から任意の画像を選択すると、クライアント装置１６０１の支援部１８０５は、選択された推奨画像に施されている画像補正を支援対象画像に対しても施し、そのプレビュー画像をＵＩ部１８０１を介してユーザに提示する（Ｓ１９１１）。そして、クライアント装置１６０１の支援部１８０５による支援を行った後に、画像補正を行った支援対象画像を記憶した場合は、使用した支援情報に関する情報を記憶し、処理を終了する（Ｓ１９１５、Ｓ１９１６）。
【００７８】
続いて、関連情報の更新処理について説明する。ユーザが実際に支援に用いた推奨画像はよりユーザの嗜好や好みに適合する画像と考えられる。本情報を用いて、ＳＮＳ上の関連情報をよりユーザの好みや嗜好を反映した形に更新する。関連情報の更新については、実施形態１で説明したので詳細は割愛する。
【００７９】
以上、本実施形態によればユーザのＳＮＳ上での活動により構築されたＳＮＳ上にアップロードされた画像とユーザの関連に基づいて、より関連が高い画像を用いて支援を行うことができる。また、関連情報はユーザの画像の好み、趣味趣向に基づいた画像または他のユーザの評価により形成されるので、ユーザの画像の好み、趣味趣向に合う画像を用いて支援を行うことができる
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８０】
１００ サーバ装置
２００ 撮影装置
３００ 撮影支援システム
３０１ インターネット
３０２ ＳＮＳサーバ
【技術分野】
【０００１】
本発明は、画像に関する処理を支援する技術に関する。
【背景技術】
【０００２】
撮影者に撮影を支援する技術として、特許文献１では、撮影者が撮影したいと思う構図（撮影ガイド）を手書きにより作成し、撮影時にプレビュー画像と重畳して表示する技術が提案されている。撮影ガイドにより撮影時に意図した構図に近くなるように支援を行うことができる。
また、撮影装置上での入力やＧＰＳなどのセンサー出力に基づいた撮影条件に対応する参照画像を撮影装置に表示し、構図の手本とさせる支援を行う技術が特許文献２で提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２３６０１１号公報
【特許文献２】特開２００７−２７９４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１に記載の方法においては、例えば風景、動物、植物など様々な撮影条件にて撮影を行う場合には、条件ごとに応じた撮影ガイドを事前に作成しておく必要がある。また、今現在の撮影条件に適合する撮影ガイドを選択し、設定するという煩雑な操作が必要となる。
また、特許文献２に記載の方法は、今現在の撮影条件に適合する参照画像を提示することができるものの、参照画像は予めシステム提供者が用意する画像であった。そのため、同一の撮影条件ではどのユーザに対しても同一の参照画像を一律に提示するため、ユーザの好みや趣向に応じた参照画像を提示することは実現されていない。
本発明は上述の問題を解決するためになされたものであり、様々な条件に適合し、かつ、ユーザと関連がある画像に基づいた支援を行うことを目的とする。
【課題を解決するための手段】
【０００５】
上述の課題を解決するための手段として、
画像に関する処理を支援する支援システムであって、
ユーザと画像との関連を示す情報に基づいて、少なくとも、前記ユーザが評価した画像を評価した他の人物に対応する画像、前記ユーザが評価した他の人物が評価した別の他の人物に対応する画像、前記ユーザが評価した画像に対応する他の人物が評価した画像、または、前記ユーザに対応する画像を評価した他の人物に対応する画像の何れかから、支援対象画像と対応する画像を抽出する抽出手段と、
前記抽出手段により抽出した画像に基づいて前記支援対象画像に関する処理を支援する支援手段とを有することを特徴とする支援システムを提供する。
【発明の効果】
【０００６】
本発明によれば、ユーザと関連がある画像に基づいた画像に関する処理の支援を行うことができる。
【図面の簡単な説明】
【０００７】
【図１】サーバ装置の構成の一例を示す図である。
【図２】撮影装置の構成の一例を示す図である。
【図３】システム構成の一例を示す図である。
【図４】サーバ装置の機能構成の一例を示す図である。
【図５】撮影装置の機能構成の一例を示す図である。
【図６】撮影支援処理のフローチャートである。
【図７】関連グラフの一例を示す図である。
【図８】本実施形態による推奨画像を選択するＵＩの一例を示す図である。
【図９】本実施形態による撮影支援の一例を示す図である。
【図１０】関連情報更新処理のフローチャートである。
【図１１】関連情報更新後の関連グラフの一例を示す図である。
【図１２】重み付有向関連グラフの一例を示す図である。
【図１３】関連情報更新後の重み付有向関連グラフの一例を示す図である。
【図１４】画像のメタデータの一例を示す図である。
【図１５】関連情報の一例を示す図である。
【図１６】実施形態３におけるシステム構成の一例を示す図である。
【図１７】実施形態３におけるサーバ装置の構成の一例を示す図である
【図１８】実施形態３におけるクライアント装置の構成の一例を示す図である。
【図１９】実施形態３における支援処理のフローチャートである。
【図２０】実施形態３における関連グラフの一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【０００９】
＜実施形態１＞
本実施形態では、今現在撮影装置に設定されている撮影条件に適合し、かつ、ユーザの好みや趣向に基づいてユーザと関連づいた画像を用いて撮影支援を行う。以下、本実施形態について、図面を用いて説明する。
【００１０】
本実施形態に係る撮影支援システムの構成について図３を用いて説明する。本実施形態に係る撮影支援システム３００はサーバ装置１００と撮影装置２００から構成される。サーバ装置１００はインターネット３０１等のネットワークに接続され情報の送受信が可能な情報処理装置である。また、インターネット３０１にはＳＮＳサーバ３０２が接続されており、サーバ装置１００はインターネット３０１を介してＳＮＳサーバ３０２から情報の送受信を行うことができる。なお、図３に示すシステム構成は一例に過ぎず、それぞれの装置を物理的に同一のまたは複数の装置で構成してもよい。
【００１１】
続いて、サーバ装置１００の構成について、図１のブロック図を参照して説明する。本実施形態におけるサーバ装置１００は単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）などで接続される。
【００１２】
図１において、１０１はサーバ装置１００全体の制御を行う制御部である。制御部１０１は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）１０２と、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）１０３と、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）１０４から構成される。ＣＰＵ１０２は、後述するＲＯＭ１０４や記憶部１０５に記憶されているプログラムを実行することにより、各ハードの制御、情報の演算により後述する処理や機能部を実現する。ＲＡＭ１０３は、ＣＰＵ１０２のワークメモリである。ＲＯＭ１０４は、後述する処理や各機能部を実現させるプログラムやパラメータを格納する。１０５はサーバ装置１００に設置されたハードディスクやメモリカードなどの記憶装置で、データを記憶する記憶部である。なお、記憶部１０５は、サーバ装置１００に内蔵されていても良いし、着脱可能に構成されてもよい。例えば、フレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなども含む。１０６はユーザの操作を受け、ユーザからの指示の入力を受付けるポインティングデバイスやキーボードなどの入力デバイス１１０とのインターフェイスである。１０７はサーバ装置１００が出力すると映像信号を表示するためのモニタ１１１等の外部装置との情報の入出力を制御する出力デバイスインターフェイスである。１０８はネットワーク回線や撮影装置２００と通信するためのネットワークインターフェイスである。１０９は１０１〜１０８の各ユニットを通信可能に接続するシステムバスである。
【００１３】
続いて、撮影装置２００の構成について、図２のブロック図を参照して説明する。図２において、２０１は撮影装置２００全体の制御を行う制御部である。制御部２０１は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）２０２と、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）２０３と、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）２０４から構成される。ＣＰＵ２０２は、後述するＲＯＭ２０４や記憶部２０５に記憶されているプログラムを実行することにより、各ハードの制御、情報の演算を行い後述する処理や機能部を実現する。ＲＡＭ２０３は、ＣＰＵ２０２のワークメモリである。ＲＯＭ２０４は、後述する処理や各機能部を実現させるプログラムやパラメータを格納する。２０５は撮影装置２００に設置されたハードディスクやメモリカードなどの記憶装置であり、データを記憶する記憶部である。なお、記憶部２０５は、撮影装置２００に内蔵されていても良いし、着脱可能に構成されてもよい。例えば、ＩＣカード、メモリカードなども含む。２１２はユーザの操作を受け、データを入力するポインティングデバイスやコントロールキーなどの入力部である。２１３は撮影装置２００の保持するデータやＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する液晶ディスプレイ等の表示部である。なお、タッチパネルとして入力部２１２と表示部２１３とが同一に構成されていても構わない。２１４は無線ＬＡＮ等の外部機器と通信するための通信インターフェイス（Ｉ／Ｆ）である。撮影装置２００は、通信Ｉ／Ｆ２１４を介してサーバ装置１００と通信を行う。２１５は、レンズ、撮像素子、Ａ／Ｄ変換部等から構成される撮像部である。撮像部２１５はレンズから介して取得した被写体光を撮像素子により電気信号として出力し、該電気信号をディジタルデータに変換して画像データを生成する。２１６は、撮影装置２００の各ユニットを通信可能に接続するシステムバスである。
【００１４】
続いて、上述した撮影支援システム３００とインターネット３０１を介して接続して通信可能なＳＮＳサーバ３０２について説明を行う。ＳＮＳサーバ３０２は、撮影支援に用いる複数の画像と撮影支援システムのユーザの画像の絵作りや構図等の好みや趣向に基づいて形成された画像との関連を示す情報を保持している。
【００１５】
ＳＮＳサーバ３０２はＳｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ（ＳＮＳ）をインターネット３０１上で提供するためのＷｅｂサーバ機能を有する情報処理装置である。ここで、本実施形態に係るＳＮＳとは、ユーザ夫々が画像やブログ等をＳＮＳ上にアップロードし、アップロードされた画像や他のユーザに対する評価やコメントを行うことが可能である。それらを通じてユーザ同士のコミュニケーションの場を提供するサービスである。また、同じ趣味や嗜好を持つ他のユーザが所属する「コミュニティ」等に参加することで同じ趣味や嗜好を持つ他のユーザの画像を検索、閲覧することができる。
【００１６】
ユーザがＳＮＳに登録すると、ユーザを一意に表すＩＤが提供される。本ＩＤによりユーザはＳＮＳ上では一意に識別される。ユーザは他ユーザがアップロードした画像を閲覧し、画像の絵作り、構図等に関する好みや趣向に基づいて閲覧した画像に対しての評価を行う。また、他のユーザがＳＮＳ上にアップロードした画像に基づいて他ユーザを「お気に入り（フォロー）」に追加し動向を追うことが出来る。このようなＳＮＳ上での活動によりユーザ間またはユーザと画像の間に好みや趣向に基づいた関係性が構築される。また、同一の画像の好みに関する「コミュニティ」に所属することでユーザ間に画像の趣味や趣向に基づいた関連性が構築される。画像やユーザに対する評価の一例として、好き／好きではない（ライク／ノットライク）、の２通りを閲覧した他のユーザがアップロードした画像に付することができる。なお、画像やユーザに対する評価は、複数の値により段階的に嗜好を表現してもよい。また、ＳＮＳサーバ３０２は上述したＳＮＳにおける活動を通じて構成されたユーザと他のユーザとの関連性に関する情報、ユーザと画像の関連性に関する情報、ユーザと関連がある画像を外部装置に提供することができる。
【００１７】
本実施形態に係る撮影支援システム３００はＳＮＳ上構築された画像の評価やコメントに基づいたユーザと他のユーザ、または、ユーザと画像との関連を示す関連情報をＳＮＳサーバ３０２から取得する。ユーザと画像との関連を示す関連情報により、ユーザと関連があるＳＮＳ上の画像に基づいて撮影支援を行う。なお、ユーザとの関連を示す関連情報をＳＮＳサーバ３０２から取得するのではなくサーバ装置１００が予め記憶部１０５に保持していても良い。また、サーバ装置１００自身がＳＮＳをインターネット上に提供する構成としても構わない。
【００１８】
続いて、サーバ装置１００の機能構成について図４を用いて説明する。サーバ装置１００は撮影者に撮影支援を提供するための装置である。サーバ装置１００は、図４に示すように、通信部４０１、取得部４０２、解析部４０３、判別部４０４、生成部４０５、更新部４０６の機能構成を有する。各機能構成は、制御プログラムに基づいて、制御部１０１が情報の演算や加工を行うことおよび各ハードウェアを制御することで実現される。なお、図４に示す各機能構成の一部乃至全てがハードウェアにより構成されても良い。
【００１９】
通信部４０１は撮影装置２００と情報の送受信、インターネット３０１と通信を行う。取得部４０２はインターネット３０１上のＳＮＳサーバ３０２からユーザと画像との関連を示す関連情報を取得する。解析部４０３は取得部４０２にて取得した関連情報を解析する。そして、解析部４０３は解析結果に基づいて、ユーザの好み、趣味、趣向が反映をするユーザと画像間の関連度を算出する。関連度は、ユーザと画像の関連の程度を示す値である。判別部４０４では、撮影支援に用いる画像に付与されたメタデータや画像中の特徴から、画像が特定の撮影条件に適合しているか否かを判別する。なお、本実施形態において撮影条件とは撮影者が撮影を行う際の被写体、撮影装置の各種パラメータ、撮影場所等に関する撮影を行う条件である。生成部４０５は、判別部４０４にて判別を行った結果と解析部４０３にて関連情報を解析した結果とをもとに、撮影条件に適合する画像を用いて撮影支援情報を生成する。撮影支援情報には、撮影時の撮影装置の各種パラメータの設定、撮影構図を支援するための情報が含まれる。更新部４０６は、作成した撮影支援情報を用いて実施の撮影を行ったかを示す撮影支援履歴をもとにＳＮＳサーバ３０２上での関連情報を更新する。
【００２０】
続いて、撮影装置２００の機能構成について図５を用いて説明する。撮影装置２００はサーバ装置１００から取得した撮影支援情報をもとにユーザの撮影支援を行うことが可能である。撮影装置２００は、図５に示すようにＵＩ部５０１、通信部５０２、撮影条件取得部５０３、要求部５０４、撮影支援部５０５、履歴生成部５０６の機能構成を有する。各機能構成は、制御プログラムに基づいて、制御部２０１が情報の演算や加工を行うことおよび各ハードウェアを制御することで実現される。なお、図５に示す各機能構成の一部乃至全てがハードウェアにより構成されても良い。
【００２１】
ＵＩ部５０１はユーザとの情報のやりとりするためのインターフェイスである。通信部５０２は、サーバ装置１００等の外部装置との通信を行う。撮影条件取得部５０３は、撮影条件を取得する。要求部５０４は、撮影条件取得部５０３により取得された撮影条件と撮影者を一意に表すユーザ情報とを含む情報を生成する。そして、要求部５０４は、サーバ装置１００に対して撮影支援を要求する。撮影支援部５０５では、要求部５０４の要求に応じて、サーバ装置１００が生成した撮影支援情報を撮影者に対して提示する。撮影支援部５０５は、撮影支援情報を提示することで撮影者の撮影を支援する。履歴生成部５０６では、撮影支援情報を撮影者が実際に利用したか否かの情報を示す撮影支援情報の使用履歴を生成する。
【００２２】
以上の構成を有する撮影支援システム３００の動作を説明する。撮影支援システム３００の特徴的な主な処理は、撮影者の撮影支援処理と、関連情報の更新処理である。これらの処理について図６、図１０に示すフローチャートを用いて以下に説明する。
【００２３】
先ず、撮影支援処理について図６を用いて説明する。撮影支援処理が開始されると、撮影装置２００の撮影条件取得部５０３はまずＵＩ部５０１へのユーザ入力を検出し、撮影条件を取得する（Ｓ６０１）。この時、ＵＩ部５０１を介して、撮影者は撮影条件を入力する。なお、本実施形態において撮影条件は撮影モードとする。撮影モードの一例としては、人物写真を撮影するための「ポートレートモード」、風景画像を撮影するための「風景モード」、夜景をするための「夜景モード」、近くの被写体を撮影するための「マクロモード」等が考えられる。ユーザは、ＵＩ部５０１を介して撮影したい被写体に対応する撮得モードを選択する。なお、撮影条件として撮影モードを設定する場合を例にして説明を行うがこれに限られるものではない。例えば、予備撮影により撮影した画像の色彩判定、被写体識別等の画像解析を行い、解析結果に基づいて、撮影条件を自動で設定する構成としても良い。また、撮影装置２００に搭載されているＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等のセンサの出力である位置情報を撮影条件として取得してもよい。
【００２４】
次に撮影装置２００の要求部５０４は、Ｓ６０１の出力として得られた撮影条件に関する情報とＵＩ部５０１へのユーザからの入力により取得した撮影者を一意に表す情報とを含む撮影支援要求を生成する。ここで、撮影者を一意に表す情報としてＳＮＳサーバ３０２のユーザＩＤとする。撮影装置２００の要求部５０４は撮影支援要求を生成し、該情報を通信部５０２を介してサーバ装置１００に送信する（Ｓ６０２）。サーバ装置１００が撮影支援要求を受信する（Ｓ６０３）。次に、サーバ装置１００の取得部４０２がインターネットを通じてＳＮＳサーバ３０２にアクセスする。そして、取得部４０２は、Ｓ６０３にて受信した撮影支援要求に含まれるユーザＩＤを用いて、撮影者の関連情報を取得する（Ｓ６０４）。なお、ＳＮＳサーバ３０２は、入力されたユーザＩＤに対応するユーザの関連情報を入力元に対して出力する機能を有する。
【００２５】
関連情報の一例を図１５に示す。図１５（ａ）は、撮影支援システムのユーザ（撮影者）のＳＮＳ上での活動において生成されたユーザと画像との関連を示す関連情報の一例である。１５０１は撮影者がＳＮＳ上にアップロードされた画像について好意的なコメント、好意的な評価をした画像である。１５０２は、撮影者が好意的なコメント、好意的な評価をした画像のＩＤを示す。１５０３は、ＳＮＳ上にアップロードされた画像に基づいて、該画像をアップロードした他のユーザについて撮影者が好意的なコメント、好意的な評価をした人物である。１５０４は、ＳＮＳ上で評価した人物のユーザＩＤを示す。また、ユーザＩＤ１５０４は、当該ユーザの関連情報を他のユーザに公開可能か否かの情報も含まれている。公開可能に設定されているユーザＩＤ１５０４に基づいてＳＮＳサーバ３０２に要求を行うことでユーザＩＤ１５０４の関連情報を更に取得することができる。図１５（ｂ）は、撮影者に評価された「ユーザＡ」に関する関連情報である。１５０５は、ユーザＡがＳＮＳ上にアップロードした画像を示す。１５０６は、ユーザＡがＳＮＳ上にアップロードした画像のＩＤである。また、１５０７は、ユーザＡがＳＮＳ上にアップロードされた画像に基づいて、該画像をアップロードした他のユーザについてユーザＡが好意的なコメント、好意的な評価をした人物である。１５０８は、ＳＮＳ上でユーザＡが評価した人物のユーザＩＤを示す。なお、図１５に示す関連情報は、一例に過ぎず、評価した画像１５０１をアップロードしたユーザのＩＤやユーザが参加しているコミュニティに関する情報を取得する構成としても構わない。また、撮影者がアップロードした画像を評価した他のユーザに関する情報を含む構成としても構わない。
【００２６】
このように、関連情報は撮影者がＳＮＳ上にアップロードされた画像や人物の評価に基づいているので、撮影者の画像の好みや趣味、趣向を反映していると考えられる。例えば、撮影者が評価した画像は、ユーザ自身が直接好意的な評価を行っているためユーザの好みに合致する。また、撮影者が評価した他のユーザが保持している画像のように撮影者の画像の好みや趣味、趣向が似通った人物がアップロード、評価した画像の情報を取得することができる。また、撮影者が評価した他のユーザが評価した他のユーザ、撮影者が評価した画像を評価した他のユーザのように撮影者の画像の好みや趣味、趣向が似通った人物がアップロードや評価した画像の情報を取得することができる。
【００２７】
図７では、取得した関連情報に基づいた撮影者と他のユーザや画像との関連度を示すための関連グラフである。関連グラフ７００は、撮影者７０１、ＳＮＳで活動する他のユーザ、ＳＮＳにアップロードされた画像をノードとし、各ノード間を結ぶエッジを用いたグラフとして表現される。エッジにて結ばれたノード間には関連性が存在することを表す。ＳＮＳ上の活動で他のユーザをフォローする、アップロードされた画像にライクの評価を付けるといった活動によりノード間の関係性が構築される。
【００２８】
次に、サーバ装置１００の解析部４０３が、取得した関連情報に基づいてＳＮＳ上の画像との関連度を算出し、判別部４０４は関連があるＳＮＳ上の画像からＳ６０１で取得した撮影条件と一致する画像を抽出する（Ｓ６０５）。まず、撮影者とＳＮＳ上の画像との関連度の算出に関して説明する。取得した関連情報に基づいた関連グラフ７００において、任意の画像ノードと撮影者ノードとの間のホップ数をｎとすると、撮影者ノードと、撮影者ノードからｎホップ離れた画像の間の距離Ｓｎは以下の式であらわされる。
【００２９】
【数１】
【００３０】
本距離を撮影者と画像との関連度とし、値が小さい画像程、撮影者との関連が高いものとする。例えば、関連グラフ７００において「画像１」、「画像２」は撮影者がＳＮＳ上で直接評価を行っているため、撮影者と関連がより高いので関連度は１となる。また、撮影者が人物そのものを評価した「ユーザＡ」がアップロードした画像である「画像Ａ−１」、「画像Ａ−２」は関連度２となる。また、撮影者が評価した「ユーザＡ」が評価した「ユーザＢ」がアップロードした「画像Ｂ−１」の関連度は３となる。「画像Ｂ−１」は撮影者が好意的な評価を行った画像をアップロードしている「ユーザＡ」が評価している人物「ユーザＢ」がアップロードした画像である。したがって、「画像Ｂ−１」も撮影者好みの画像である可能性が高いため関連があると判断する。
【００３１】
続いて、判別部４０４は、撮影者と関連があるとされるＳＮＳ上の画像から、Ｓ６０１で取得した撮影条件と一致する画像を抽出する。判別部４０４は予め設定された所定の関連度内にある画像に対して、関連度が高い画像から順に、撮影支援要求に含まれる撮影条件に合致するか否かの判断を行う。なお、撮影条件に合致した画像を、推奨画像とする。なお、画像と撮影条件が一致するか否かの判定は、画像が有するメタデータに基づいて撮影条件に対応する属性を有するか否かを判定することによって行う。画像に付されたメタデータ記述の一例について、図１４に示す。図１４に記載された情報が画像と同一のデータとして構成されていてもよいし、画像と対応付けられた別のデータとして管理されていてもよい。画像のメタデータとしては、撮影対象を表すＯｂｊｅｃｔ情報、撮影時間を表すＤａｔｅ情報、撮影位置を表すＧＰＳ情報、撮影時の撮影装置の設定を表すＣａｍｅｒａＳｅｔｔｉｎｇ情報等がある。また、ＣａｍｅｒａＳｅｔｔｉｎｇ情報には撮影時の撮影モードが併せて付加される。これらのメタデータの少なくとも一部がＳＮＳ上にアップロードされた画像には予め付されているものとする。このメタデータは撮影時に撮影装置により自動で付されてもよいし、ＳＮＳ上等でユーザが付与する構成としても良い。
【００３２】
本実施例においては、判別部４０４は、撮影条件として設定された撮影モードと対応する属性を画像が有しているかで撮影条件に一致するか否かを判定する。判別部４０４は、画像のメタデータのＣａｍｅｒａＳｅｔｔｉｎｇ情報の撮影時の撮影モードを参照し、撮影条件として設定されているモードと対応するかを判定する。なお、画像のＣａｍｅｒａＳｅｔｔｉｎｇ情報以外の属性により撮影条件と一致するかを判定しても良い。例えば、撮影条件として撮影モードの「ポートレート」が設定されていた場合、被写体に関するＯｂｊｅｃｔ情報を参照して、「人物」、「顔」等が設定されている画像を撮影条件が一致する画像とする。なお、判別部４０４は、予め撮影条件と対応する画像の属性をテーブルとして保持し、テーブルを参照することで撮影条件と画像が対応するかを判定する。
【００３３】
また、画像の属性をメタデータにより取得する構成を示したがこれに限られるものではない。例えば、画像解析処理を行うことで画像の属性を取得する構成としてもよい。画像解析により撮影条件に一致する色彩、または、被写体を画像が有しているかによって判定する。例えば、撮影条件として「風景モード」が設定されていた場合、画像解析により、画像上部の色彩を解析し、空に該当する色彩を有している場合、撮影条件が一致すると判定する。また、撮影条件として撮影モードを例として説明を行ったが、これに限られるものではない。例えば、撮影位置を撮影条件とした場合、画像のＧＰＳ情報を利用して撮影条件が一致するかを判定しても良い。以上説明したように、判別部４０４は、画像が撮影条件に対応しているかの判別を行う。
【００３４】
続いて、判別部４０４はＳ６０５において予め設定された任意の関連度内にある画像のうち、撮影条件に合致した画像があるかないかを判定する（Ｓ６１４）。撮影条件が一致する画像がない場合には、サーバ装置１００が撮影装置２００に撮影支援情報を返せないことを伝えるメッセージを送信し（Ｓ６１２）、撮影装置２００はメッセージをＵＩ部５０１に表示する。そして、再びＳ６０１に戻り、新たに撮影条件を設定させ以降の処理を再度行う。なお、より関連が低い画像を含め、再度判定を行う構成としてもよいし、サーバ装置１００に予め保持している画像を用いて撮影支援を行う構成としてもよい。一方、Ｓ６１４においてに撮影条件が一致する画像がある場合は、Ｓ６０６に処理を進める。サーバ装置１００の生成部４０５は、撮影条件が一致する画像（推奨画像）がある場合、推奨画像に基づいて撮影支援情報を生成する（Ｓ６０６）。ここで、撮影支援情報の一例として、推奨画像の属性である画像のメタデータに記述される各種パラメータ値の情報、画像の構図に関する情報、推奨画像から抽出される画像特徴情報等の情報に基づいて生成される。また、撮影支援情報には推奨画像そのものも含まれる。
【００３５】
撮影支援情報として、例えば、推奨画像の撮影時のレンズのズーム値や露出情報などを自動で撮影装置２００に設定するための情報であってよい。または、推奨画像の撮影位置情報や撮影方向であってもよい。または、推奨画像の絵作り情報、構図に関する情報であってよい。また、推奨画像群自体も撮影支援情報としてよい。上述の撮影支援情報は一例に過ぎず、本形態に限定されるものではない。
【００３６】
次に、サーバ装置１００の通信部４０１がＳ６０６にて生成された撮影支援情報を撮影装置２００に送信し（Ｓ６０７）、撮影装置２００がそれを受信する（Ｓ６０８）。次に、撮影装置２００はＳ６０８にて受信した撮影支援情報に含まれる推奨画像をＵＩ部５０１上に提示する（Ｓ６０９）。ＵＩ部５０１上への提示例について、図８に示す。図８は撮影装置２００のＵＩ部５０１の一例であり、表示画面８０１、物理キー８０２、決定ボタン８０３を有する。表示画面８０１には撮影プレビューと推奨画像一覧８０４と重畳して表示される。なお、推奨画像一覧８０４は推奨画像と撮影者の関連度が高い順にソートして表示する。推奨画像一覧８０４を関連度に基づいて関連度が高い順にソートして表示することで、関連度の高い推奨画像を優先的に推奨することが可能となる。
【００３７】
撮影者は物理キー８０２を用いて選択カーソル８０５を任意の推奨画像に移動し、決定ボタン８０３を押下することで推奨画像を選択することが可能である（Ｓ６１０）。本実施例では物理キーを用いて画像の選択を行っているが、タッチパネル機能のついたＵＩなどを用いて選択操作を行っても構わない。ＵＩ部５０１は、使用する撮影支援情報を推奨画像から選択されたがの判定を行う（Ｓ６１０）。撮影者が利用したい画像が存在しない場合、撮影者はＵＩ部５０１によりその旨を示す操作を行う。撮影装置２００がサーバ装置１００に、利用したい撮影支援情報が無いことを伝えるメッセージを送信する（Ｓ６１３）。メッセージを受信したサーバ装置１００は、撮影条件との一致を判定した予め設定された所定の関連度の値をより関連が低い画像を含めるように再設定し、Ｓ６０５からの処理を再び行う。
【００３８】
一方、Ｓ６１０において撮影者がＵＩ部５０１上に提示された推奨画像の中から任意の画像を選択すると、撮影装置２００の撮影支援部５０５は、選択された推奨画像に対応する撮影支援情報を用いて撮影支援を行う（Ｓ６１１）。撮影支援の一例を図９を用いて説明を行う。撮影支援形態９００は推奨画像の輪郭成分を抽出した構図９０１と撮影プレビューとをＵＩ部５０１上の表示画面８０１に重畳して表示する。撮影者は推奨画像の構図９０１と撮影プレビュー上の被写体が重なるように撮影することで、推奨画像の構図に基づいた好適な出力を得る撮影支援が可能である。また、推奨画像の輪郭成分ではなくオリジナル画像を透過させて撮影プレビューと重畳して表示する構成としても良い。撮影支援形態９０２は撮影装置２００のＵＩ部５０１上の表示画面８０１の隅に推奨画像９０３を配置する。撮影者は推奨画像を参照しながら撮影者が撮影を行うことで、推奨画像に近い好適な出力を得る撮影支援が可能である。撮影支援形態９０４は撮影装置２００のＵＩ部５０１上の表示画面８０１にグリッドを配置し、物理キー８０２にて推奨画像と撮影プレビューを切り替えて表示することが可能である。撮影者は撮影プレビューと推奨画像を切替えながら表示することで、推奨画像に近い好適な出力を得る撮影支援が可能である。
【００３９】
なお、撮影支援情報の形態は、上記形態に限定されるものではなく、例えば、推奨画像が撮影された際の撮影位置情報や撮影した端末の方向や傾きの情報を用いて撮影場所まで誘導するナビゲーションを行うなどしてもよい。例えば、ＵＩ部５０１に地図を表示し、撮影装置２００の現在位置と推奨画像が撮影された位置、撮影方向とを表示することで、推奨画像が撮影された撮影位置により撮影を行わせる支援が可能となる。また、推奨画像撮影時の撮影装置の設定や、推奨画像の絵作りの情報を用いて、推奨画像と近い画像を生成するように撮影装置の設定を変更する構成として良い。図６に戻り、Ｓ６１１において撮影装置２００の撮影支援部５０５による撮影支援を行った後に、実際の撮影を行った場合は、使用した撮影支援情報に関する情報を記憶し、処理を終了する（Ｓ６１５、Ｓ６１６）。
【００４０】
続いて、関連情報の更新処理について説明する。撮影者が実際に撮影支援に用いた推奨画像はより撮影者の嗜好や好みに適合する画像と考えられる。本情報を用いて、ＳＮＳ上の関連情報をより撮影者の好みや嗜好を反映した形に更新する。
【００４１】
関連情報の更新について図１０のフローチャートを用いて説明する。先ず、撮影装置２００はサーバ装置１００から受信した撮影支援情報を記憶する（Ｓ１００１）。また、その撮影支援情報を用いて撮影者が撮影を行ったか否かの情報を記憶する（Ｓ１００２、図６のＳ６１６）。撮影装置２００の履歴生成部５０６では、複数の推奨画像それぞれに基づいた撮影支援情報毎に、撮影者が撮影を行ったか否かの情報を設定し、撮影支援履歴を生成する（Ｓ１００３）。撮影装置２００の通信部５０２は、Ｓ１００３にて生成した撮影支援履歴をサーバ装置１００に送信し（Ｓ１００４）、サーバ装置１００の通信部４０１がそれを受信する（Ｓ１００５）。次にサーバ装置の更新部４０６は通信部４０１を介してＳＮＳサーバ３０２に通信し、撮影支援履歴情報をもとに、撮影支援時におけるユーザ嗜好を反映した形に関連情報を更新する（Ｓ１００６）。関連情報の更新について図１１を用いて説明する。撮影者７０１が撮影支援において、画像１１０２（画像Ａ−１）に紐づいた撮影支援情報を使用した場合、撮影者７０１と画像１１０２の関連度を上げる処理をＳＮＳサーバ３０２に更新部４０６が要求する。例えば、撮影者は画像１１０２にＳＮＳ上で直接評価を行ったとするようＳＮＳサーバ３０２に要求する。関連情報更新処理により撮影者７０１と画像１１０２の間に直接エッジ１１０１が結ばれ、撮影前の関連度Ｓｎ＝２からＳｎ＝１となり、撮影者７０１と画像１１０２の関連度はより高くなる。
【００４２】
以上、本実施例によれば撮影者のＳＮＳ上での活動により構築されたＳＮＳ上にアップロードされた画像と撮影者の関連に基づいて、より関連が高い画像を用いて撮影支援を行うことができる。また、関連情報は撮影者の画像の好み、趣味趣向に基づいた画像または他のユーザの評価により形成されるので、影者の画像の好み、趣味趣向に合う画像を用いて撮影支援を行うことができる。さらに、実際に撮影に用いた撮影支援情報に含まれる画像との関連度を上げるように、関連情報を更新するので撮影者の好み、趣味趣向をより反映する関連情報に更新することが可能である。
【００４３】
＜実施形態２＞
実施形態１では、ＳＮＳ上での他のユーザや画像に対する評価は、「評価をした」、「評価をしてない」の２通りであるとして説明を行った。本実施形態では、ＳＮＳ上での評価のレベルが、複数段階ある場合の撮影支援処理と、関連情報の更新処理について以下に記述する。
【００４４】
本実形態における関連度算出に用いる関連グラフを図１２に示す。関連グラフ１２００は、各ノード間を結ぶエッジ１２０２が重みと方向を持つ、重み付有向グラフとして表現される。エッジの方向は、ノード間においてどちらのノードから関連性を構築したかを示すものである。例えば撮影者１２０１と画像１２０３（画像１）との関係において、矢印の起点である「撮影者１２０１が」矢印の終点である「画像１２０３を」評価したことを示す。エッジの方向は、一方向または双方向の方向性があり、双方向はノード間が互いに評価し合っていることを示す。エッジの重みには、１から５までの５段階の重みが設定され、値が大きいほどあるノードから有向エッジで結ばれるノードとの関連が高いことを表す。本重みは、撮影者がＳＮＳ上で他のユーザやアップロードした画像に対して５段階の評価を付けることにより値が決定される。ノード間を結ぶエッジが双方向のエッジの場合には、各方向それぞれについて重みが設定される。
【００４５】
本実施形態での撮影支援処理について実施形態１と異なる関連度算出について詳細に説明を行う。図６のＳ６０５においてサーバ装置１００の解析部４０３による関連度算出は、関連グラフ１２００を用いて算出される。関連グラフ１２００において任意の画像ノードと撮影者ノードとの間のホップ数をｎ、各経由エッジｉ（０＜ｉ＜ｎ）における重みをｘｉとすると、撮影者ノードと画像ノードと間の関連度Ｓｎは以下の式により算出される。
【００４６】
【数２】
【００４７】
（２）式により算出された値が小さい画像ノード程、撮影者との関連が高いものとする。
【００４８】
次に、本実施形態での関連情報更新について実施形態１と異なる点について詳細に説明を行う。本実施形態における関連情報の更新について図１３を用いて説明する。撮影者１３０１が撮影支援において、推奨画像１３０２に紐づいた撮影支援情報を利用した場合、撮影者１３０１と画像１３０２がより近い関係にあるものとして関連情報を更新する（Ｓ１００６）。撮影者１３０１と画像１３０２の関係はユーザ１３０４を介した繋がりであるところ、関連情報更新処理により撮影者１３０１と画像１３０２の間に直接エッジ１３０３が結ばれる。この時、直接結ばれるエッジ１３０３は撮影者ノード１３０１から画像１３０２への方向を持ったエッジであり、エッジの重み１３０３には標準で５が設定される。この時、更新前の撮影者ノード１３０１から画像１３０２ノードへの距離はＳｎ＝９／２０であるところ、更新後の撮影者ノード１３０１から画像１３０２ノードへの距離はＳｎ＝１／５＜９／２０となり、より両ノード間の距離が近くなる。新規に結ばれるエッジ１３０３の重みは標準で５を設定するが、撮影者が撮影装置２００上で任意の値に重みづけを行っても構わない。
【００４９】
以上、本実施形態によれば、撮影者の画像に対する評価の重みを反映することにより、より撮影者の好みや、趣味趣向を反映した関連情報に基づいた画像により撮影支援を行うことが可能となる。
【００５０】
＜実施形態３＞
本実施形態では、ユーザの画像の条件に適合し、かつ、ユーザの好みや趣向に基づいてユーザと関連づいた画像を用いて、画像補正処理に関する支援を行う。以下、本実施形態について、図面を用いて説明する。なお、本実施形態において、ＳＮＳにアップロードされた画像には、γカーブ補正処理、空間フィルタ処理、肌色強調処理、赤目処理、色調補正等の画像補正処理が施されているものとする。本実施形態では、ユーザがどのような補正を画像にすべきかを判断するための支援する。
【００５１】
本実施形態に係る画像ハンドリング支援システムの構成について図１６を用いて説明する。本実施形態に係る画像ハンドリング支援システムはサーバ装置１６００、クライアント装置１６０１、ＳＮＳサーバ３０２から構成される。なお、ＳＮＳサーバ３０２は実施形態１、２と同様の構成であるため詳細な説明については省略する。
【００５２】
サーバ装置１６００はインターネット３０１等のネットワークに接続され情報の送受信が可能な情報処理装置である。また、インターネット３０１にはＳＮＳサーバ３０２が接続されており、サーバ装置１６００はインターネット３０１を介してＳＮＳサーバ３０２から情報の送受信を行うことができる。なお、図３に示すシステム構成は一例に過ぎず、それぞれの装置を物理的に同一のまたは複数の装置で構成してもよい。
【００５３】
サーバ装置１６００、クライアント装置１６０１のハードウェア構成について、図１のブロック図と同様である。なお、本実施形態におけるサーバ装置１６００は単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）などで接続される。
０自身がＳＮＳをインターネット上に提供する構成としても構わない。
【００５４】
続いて、サーバ装置１６００の機能構成について図１７を用いて説明する。サーバ装置１６００の各機能構成は記憶媒体に記憶されている制御プログラムに基づいて、制御部１０１が情報の演算や加工を行うことおよび各ハードウェアを制御することで実現される。なお、後述する各機能構成の一部乃至全てがハードウェアにより実現されても良い。
サーバ装置１６００は、図１７に示すように、通信部１７０１、取得部１７０２、解析部１７０３、判別部１７０４、生成部１７０５、更新部１７０６の機能構成を有する。また、サーバ装置１６００は、抽出部１７０７、支援部１７０８、を有する。
【００５５】
通信部１７０１はクライアント装置１６０１と情報の送受信、インターネット３０１と通信を行う。取得部１７０２はインターネット３０１上のＳＮＳサーバ３０２からユーザと画像との関連を示す関連情報を取得する。解析部１７０３は取得部１７０２にて取得した関連情報を解析し、ユーザの好み、趣味、趣向が反映されているであろう度合いであるユーザと画像との関連度を算出する。判別部１７０４では、画像ハンドリング支援に用いる画像に付与されたメタデータや画像中の特徴から、画像が所定の条件に適合しているか否かを判別する。なお、本実施形態において所定の条件とはユーザの画像とＳＮＳサーバ３０２にアップロードされている画像との画像間の関連に基づく。例えば、判別部１７０４は、画像間の被写体の類似、画像間の撮影場所等の類似、画像間の色調や類似に基づいて所定の条件が画像間で満たされるかを判別する。
【００５６】
抽出部１７０７は、ユーザと画像との関連を示す情報に基づいて、ＳＮＳサーバ３０２にアップロードされている画像からユーザの趣味、趣向に合うと思われる画像を抽出する。例えば、ユーザがＳＮＳにおいて評価した画像を同様に評価した他の人物がアップロードした画像を抽出する、また、抽出部１７０７はユーザが評価した他の人物が評価した別の他の人物がアップロードした画像を抽出する。そして、抽出部１７０７は更に判別部１７０４により、ユーザの画像とＳＮＳサーバ３０２にアップロードされている画像との画像間の関連があると判定される画像を抽出する。
【００５７】
生成部１７０５は、判別部１７０４にて判別を行った結果と解析部１７０３にて関連情報を解析した結果とをもとに、抽出部１７０７が抽出した所定の条件に適合する画像を用いて、支援情報を生成する。支援情報は、例えば、抽出部１７０７が抽出した画像の加工（画像処理）を行った際の各種パラメータを有している。更新部１７０６は、作成した支援情報を用いて実施の画像処理を行ったかを示す支援履歴をもとにＳＮＳサーバ３０２上での関連情報を更新する。支援部１７０８は、生成部１７０５が生成した支援情報に基づいてユーザの画像ハンドリング処理を支援するための処理を行う。
【００５８】
続いて、クライアント装置１６０１の機能構成について図１８を用いて説明する。クライアント装置１６０１はサーバ装置１６００から取得した支援情報をもとにユーザの支援を行うことが可能である。クライアント装置１６０１は、図５に示すようにＵＩ部１８０１、通信部１８０２、画像条件取得部１８０３、要求部１８０４、支援部１８０５、履歴生成部１８０６の機能構成を有する。各機能構成は記憶媒体に記憶されている制御プログラムに基づいて、制御部２０１が情報の演算や加工を行うことおよび各ハードウェアを制御することで実現される。なお、後述する各機能構成の一部乃至全てがハードウェアにより実現されても良い。
【００５９】
ＵＩ部１８０１はユーザとの情報のやりとりするためのインターフェイスである。通信部１８０２は、サーバ装置１６００等の外部装置との通信を行う。画像条件取得部１８０３は、ユーザがハンドリングする画像（支援対象画像）の画像情報やメタデータなどを取得する。支援部１８０５では、要求部１８０４の要求に応じて、サーバ装置１６００が生成した支援情報をクライアント装置１６０１のユーザに対して提示し、画像ハンドリング処理を支援する。要求部１８０４は、ユーザが所持する画像と該ユーザを一意に表すユーザ情報とを含む情報を生成し、サーバ装置１６００に対して支援を要求する。履歴生成部１８０５では、支援情報をユーザが実際に利用したか否かの情報を示す支援情報の使用履歴を生成する。
【００６０】
以上の構成を有する画像ハンドリング支援システムの動作を説明する。画像ハンドリング支援システムの特徴的な主な処理は、支援処理と、関連情報の更新処理である。
これらの処理について、各装置が制御プログラムを実行することにより実現される図１９
に示すフローチャートを用いて以下に説明する。
【００６１】
先ず、支援処理について図１９を用いて説明する。支援処理が開始されると、クライアント装置１６０１の画像条件取得部１８０３はまずＵＩ部１８０１へのユーザの支援対象画像指定を検出し、指定された画像の画像条件を取得する（Ｓ１９０１）。本実施形態において画像条件は、画像に写りこんでいるオブジェクトを検出するものとする。検出するオブジェクトの一例としては、人物、風景、夜景、動物、建物等が考えられる。
【００６２】
なお、画像条件として被写体（オブジェクト）を例にして説明を行うがこれに限られるものではない。例えば、画像の特徴を定量的に表現した指標であるヒストグラム、エッジ量、人物の顔の位置や大きさ、赤目等の画像特徴量などを画像条件としてもよい。また、支援対象画像に付されているＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等のセンサの出力である位置情報や撮影日時を画像条件として取得してもよい。
【００６３】
次にクライアント装置１６０１の要求部１８０４は、Ｓ１９０１の出力として得られた画像条件に関する情報とＵＩ部１８０１へのユーザからの入力により取得したユーザを一意に表す情報とを含む支援要求を生成する。ここで、ユーザを一意に表す情報としてＳＮＳサーバ３０２のユーザＩＤとする。クライアント装置１６０１の要求部１８０４は支援要求を生成し、該情報を通信部１８０２を介してサーバ装置１６００に送信する（Ｓ１９０２）。サーバ装置１６００は支援要求を受信する（Ｓ１９０３）。次に、サーバ装置１６００の取得部１７０２がインターネットを通じてＳＮＳサーバ３０２にアクセスし、Ｓ１９０３にて受信した支援要求に含まれるユーザＩＤを用いて、ユーザの関連情報を取得する（Ｓ１９０４）。なお、ＳＮＳサーバ３０２は、入力されたユーザＩＤに対応するユーザの関連情報を入力元に対して出力する機能を有する。
【００６４】
図２０は、取得した関連情報に基づいたユーザと他のユーザや画像との関連度を示すための関連グラフである。関連グラフは、本システムのユーザ２００１、ＳＮＳで活動する他のユーザ、ＳＮＳにアップロードされた画像をノードとし、各ノード間を結ぶエッジを用いたグラフとして表現される。エッジにて結ばれたノード間には関連性が存在することを表す。ＳＮＳ上の活動で他のユーザをフォローする、アップロードされた画像にライクの評価を付ける、他のユーザにライクの評価を付けるといった活動によりノード間の関係性が構築される。
【００６５】
図２０に示す関連グラフにおいて「画像１」はユーザ２００１（画像ハンドリング支援システムのユーザ）がアップロードした画像である。「他のユーザＤ」（ＳＮＳのユーザ）は、ユーザ２００１がアップロードした画像１をＳＮＳ上で好意的に評価した人物である。「画像Ｘ−３」は他のユーザＤがＳＮＳ上で好意的に評価した画像である。また、「画像Ｄ−１」は、他のユーザＤがアップロードした画像である。このような、画像１、画像Ｄ−１および画像Ｘ−３は、ユーザ２００１好みの画像である可能性が高いため、ユーザ２００１との関連が構築される。
【００６６】
「画像Ｘ−１」は、ユーザ２００１が直接ＳＮＳ上で好意的に評価を行った画像である。「他のユーザＢ」は、ＳＮＳ上でユーザ２００１が評価した画像Ｘ−１を同様にＳＮＳ上で好意的に評価した人物である。また、「画像Ｂ−１」は他のユーザＢがＳＮＳにアップロードした画像である。「画像Ｘ−２」は、他のユーザＢがＳＮＳ上で好意的に評価した画像である。このような、画像Ｘ−１、画像Ｂ−１および画像Ｘ−２は、ユーザ２００１好みの画像である可能性が高いため、ユーザ２００１との関連が構築される。
【００６７】
「他のユーザＡ」は、他のユーザＡがアップロードした画像やＳＮＳ上の活動に基づいて、ユーザ２００１が好意的に評価した人物である。また、「画像Ａ−１」は他のユーザＡがＳＮＳにアップロードした画像である。「画像Ｘ−５」は、他のユーザＡがＳＮＳ上で好意的に評価した画像である。「他のユーザＣ」は、ユーザ２００１が直接ＳＮＳ上で好意的に評価を行った他のユーザＡが直接ＳＮＳ上で好意的に評価した人物である。「画像Ｘ−６」は、他のユーザＡがＳＮＳ上で好意的に評価した画像である。「画像Ｃ−１」は他のユーザＣがＳＮＳにアップロードした画像である。このような、画像Ａ−１、画像Ｘ−５、画像Ｘ−６および画像Ｃ−１は、ユーザ２００１好みの画像である可能性が高いため、ユーザ２００１との関連が構築される。
【００６８】
「画像Ｅ−１」は、ユーザ２００１が直接ＳＮＳ上で好意的に評価を行った画像である。
また、画像Ｅ−１は、「他のユーザＥ」（ＳＮＳのユーザ）がＳＮＳにアップロードした画像である。同様に「画像Ｅ−２」は、他のユーザＥがＳＮＳにアップロードした画像である。「画像Ｘ−４」は、他のユーザＥがＳＮＳ上で好意的に評価した画像である。このような、画像Ｅ−１、画像Ｅ−２および画像Ｘ−４は、ユーザ２００１好みの画像である可能性が高いため、ユーザ２００１との関連が構築される。
【００６９】
次に、サーバ装置１６００の解析部１７０３が、取得した関連情報に基づいてＳＮＳ上の画像との関連度を算出する。また、判別部１７０４は関連があるＳＮＳ上の画像からＳ１９０１で取得した画像条件と一致するかを判別する。そして、抽出部１７０７は支援対象画像と画像条件が一致する画像を抽出する（Ｓ１９０５）。
【００７０】
本実施例も上述の（１）式を用いて関連度を算出する。図２０に示すユーザ２００１とＳＮＳの他ユーザに対応する画像ノードとの夫々の関連度は、画像Ｄ−１：関連度３、画像Ｘ−３：関連度３、画像Ｘ−１：関連度１、画像Ｂ−１：関連度３、画像Ｘ−２：関連度３となる。同様に画像Ａ−１：関連度２、画像Ｘ−５：関連度２、画像Ｘ−６：関連度３、画像Ｃ−１：関連度３、画像Ｅ−１：関連度１、画像Ｅ−２：関連度３、画像Ｘ−４：関連度３となる。
【００７１】
判別部１７０４は、ユーザと関連があるとされるＳＮＳ上の画像をＳ１９０１で取得した画像条件と一致するかを判別する。判別部１７０４は予め設定された所定の関連度内にある画像に対して、関連度が高い画像から順に、支援要求に含まれる画像条件に合致するか否かの判断を行う。なお、支援対象画像とＳＮＳ上の画像間において画像条件が一致するか否かの判定は、画像が有するオブジェクト（被写体）が同様か否かにより判定する。
【００７２】
判別部１７０４は、公知のオブジェクト判別処理を画像情報に基づいて行い、画像上のオブジェクトを検出する。そして、支援対象画像とＳＮＳ上の画像間に対応するオブジェクトが共通して存在するかを判定する。
【００７３】
例えば、画像条件として支援対象画像から人物が検出された場合、ＳＮＳにアップロードされた画像からも同等に人物が検出されたら画像間は画像条件が一致すると判定する。
【００７４】
画像のＧＰＳ情報を利用して画像条件が一致するかを判定しても良い。また、画像条件は撮影場所、撮影時間、撮影パラメータ等に基づいて設定される構成であってよい。抽出部は１７０７は、任意の関連度内にある画像のうち、画像条件が一致するＳＮＳにアップロードされた画像を抽出する。そして、抽出部１７０７は、画像条件に合致し、抽出した画像があるかないかを判定する（Ｓ１９１４）。画像条件が一致する画像がない場合には、サーバ装置１６００がクライアント装置１６０１に支援情報を返せないことを伝えるメッセージを送信し（Ｓ１９１２）、クライアント装置１６０１はメッセージをＵＩ部１８０１に表示する。そして、再びＳ１９０１に戻り、新たに画像条件を設定させ以降の処理を再度行う。なお、より関連が低い画像を含め、再度判定を行う構成としてもよいし、サーバ装置１６００に予め保持している画像を用いて支援を行う構成としてもよい。一方、Ｓ１９１４においてに画像条件が一致する画像がある場合は、Ｓ１９０６に処理を進める。サーバ装置１６００の生成部１７０５は、画像条件が一致する画像（推奨画像）がある場合、推奨画像に基づいて支援情報を生成する（Ｓ１９０６）。ここで、支援情報の一例として、
支援情報として、例えば、推奨画像に施された画像処理の順序や各処理に関わるパラメータにより、支援対象画像を補正するための情報であってよい。または、推奨画像の画像補正を施す前と後の画像データを支援情報としてよい。また、推奨画像群自体も支援情報としてよい。上述の支援情報は一例に過ぎず、本形態に限定されるものではない。
【００７５】
次に、サーバ装置１６００の支援部１７０８が、通信部１７０１を介してＳ１９０６にて生成された支援情報をクライアント装置１６０１に送信する（Ｓ１９０７）。クライアント装置１６０１がそれを受信する（Ｓ１９０８）。次に、クライアント装置１６０１はＳ１９０８にて受信した支援情報に含まれる推奨画像をＵＩ部１８０１上に提示する（Ｓ１９０９）。なお、推奨画像に施された画像補正手順により支援対象画像を補正した結果画像の一覧８０４を表示する構成としてよい。
【００７６】
ここで、推奨画像は、ユーザとの関連度が高い順にソートして表示する。ユーザ指示に基づいて、実施の補正処理に用いる推奨画像選択が検出されるかを判定する（１７１０）。ＵＩ部１８０１は、使用する支援情報を推奨画像から選択されたがの判定を行う（Ｓ１９１０）。ユーザが利用したい画像が存在しない場合、ユーザはＵＩ部１８０１によりその旨を示す操作を行う。クライアント装置１６０１がサーバ装置１６００に、利用したい支援情報が無いことを伝えるメッセージを送信する（Ｓ１９１３）。メッセージを受信したサーバ装置１６００は、画像条件との一致を判定した予め設定された所定の関連度の値をより関連が低い画像を含めるように再設定し、Ｓ１９０５からの処理を再び行う。
【００７７】
一方、Ｓ１９１０においてユーザがＵＩ部１８０１上に提示された推奨画像の中から任意の画像を選択すると、クライアント装置１６０１の支援部１８０５は、選択された推奨画像に施されている画像補正を支援対象画像に対しても施し、そのプレビュー画像をＵＩ部１８０１を介してユーザに提示する（Ｓ１９１１）。そして、クライアント装置１６０１の支援部１８０５による支援を行った後に、画像補正を行った支援対象画像を記憶した場合は、使用した支援情報に関する情報を記憶し、処理を終了する（Ｓ１９１５、Ｓ１９１６）。
【００７８】
続いて、関連情報の更新処理について説明する。ユーザが実際に支援に用いた推奨画像はよりユーザの嗜好や好みに適合する画像と考えられる。本情報を用いて、ＳＮＳ上の関連情報をよりユーザの好みや嗜好を反映した形に更新する。関連情報の更新については、実施形態１で説明したので詳細は割愛する。
【００７９】
以上、本実施形態によればユーザのＳＮＳ上での活動により構築されたＳＮＳ上にアップロードされた画像とユーザの関連に基づいて、より関連が高い画像を用いて支援を行うことができる。また、関連情報はユーザの画像の好み、趣味趣向に基づいた画像または他のユーザの評価により形成されるので、ユーザの画像の好み、趣味趣向に合う画像を用いて支援を行うことができる
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８０】
１００ サーバ装置
２００ 撮影装置
３００ 撮影支援システム
３０１ インターネット
３０２ ＳＮＳサーバ
【特許請求の範囲】
【請求項１】
画像に関する処理を支援する支援システムであって、
ユーザと画像との関連を示す情報に基づいて、少なくとも、前記ユーザが評価した画像を評価した他の人物に対応する画像、前記ユーザが評価した他の人物が評価した別の他の人物に対応する画像、前記ユーザが評価した画像に対応する他の人物が評価した画像、または、前記ユーザに対応する画像を評価した他の人物に対応する画像の何れかから、支援対象画像と対応する画像を抽出する抽出手段と、
前記抽出手段により抽出した画像に基づいて前記支援対象画像に関する処理を支援する支援手段とを有することを特徴とする支援システム。
【請求項２】
前記ユーザと画像との関連を示す情報は、前記ユーザの画像に対する評価に基づいていることを特徴とする請求項１記載の支援システム。
【請求項３】
前記ユーザと画像との関連を示す情報は、前記ユーザの前記画像に対応する人物に対する評価に基づいていることを特徴とする請求項１または２に記載の支援システム。
【請求項４】
前記支援手段は、前記抽出手段により抽出された画像を提示することを特徴とする請求項１乃至３何れか１項に記載の支援システム。
【請求項５】
前記抽出手段により抽出された複数の画像の何れかを選択する選択手段と、
前記支援手段は、前記選択手段により選択された画像に基づいて前記支援対象画像に関する処理を支援することを特徴とする請求項１乃至４何れか１項に記載の支援システム。
【請求項６】
前記ユーザと画像との関連を示す情報に基づいて、当該ユーザと前記画像との関連度を算出する算出手段と、
前記抽出手段により抽出された複数の画像を前記算出手段により算出された関連度に基づいて、ソートするソート手段と、
前記ソート手段によりソートした順に前記抽出手段により抽出された画像を表示する表示手段とを更に有し、
前記選択手段は前記表示手段により表示された画像の何れかを選択することを特徴とする請求項５に記載の支援システム。
【請求項７】
前記選択手段による支援に用いる画像の選択がない場合に、前記抽出手段が抽出する画像より前記ユーザと関連が低い画像から、前記支援対象画像に対応する画像を抽出する再抽出手段を更に有し、
前記支援手段は、前記再抽出手段により抽出された画像に基づいて前記支援対象画像に関する処理を支援することを特徴とする請求項５または６に記載の支援システム。
【請求項８】
前記ユーザが前記支援手段による支援に基づいて、前記支援対象画像に関する処理を実行した場合、前記支援手段が支援に用いた画像に基づいて、前記ユーザと画像との関連を示す情報を更新する更新手段とを有すること特徴とする請求項１乃至７項何れか１項に記載の支援システム。
【請求項９】
前記抽出手段は、撮影装置における撮影条件に対応する画像を抽出し、
前記支援手段は、前記撮影装置において前記支援対象画像を撮影するための支援を行うことを特徴とする請求項１乃至８何れか１項に記載の支援システム。
【請求項１０】
前記抽出手段は、前記支援対象画像上のオブジェクトと対応するオブジェクトを有する画像を抽出し、
前記支援手段は、前記支援対象画像を補正するための支援を行うことを特徴とする請求項１乃至８何れか１項に記載の支援システム。
【請求項１１】
前記支援手段は、前記他の人物または前記別の他の人物が外部装置にアップロードした画像に基づいて前記支援対象画像に関する処理を支援することを特徴とする請求項１乃至１０何れか１項に記載の支援システム。
【請求項１２】
情報処理装置であって、
ユーザと画像との関連を示す情報に基づいて、少なくとも、前記ユーザが評価した画像を評価した他の人物に対応する画像、前記ユーザが評価した他の人物が評価した別の他の人物に対応する画像、前記ユーザが評価した画像に対応する他の人物が評価した画像、または、前記ユーザに対応する画像を評価した他の人物に対応する画像の何れかから、支援対象画像と対応する画像を抽出する抽出手段と、
前記抽出手段により抽出した画像に基づいて前記支援対象画像に関する処理を支援するための支援手段とを有することを特徴とする情報処理装置。
【請求項１３】
情報処理装置の制御方法であって、
ユーザと画像との関連を示す情報に基づいて、少なくとも、前記ユーザが評価した画像を評価した他の人物に対応する画像、前記ユーザが評価した他の人物が評価した別の他の人物に対応する画像、前記ユーザが評価した画像に対応する他の人物が評価した画像、または、前記ユーザに対応する画像を評価した他の人物に対応する画像の何れかから、支援対象画像と対応する画像を抽出する抽出工程と、
前記抽出工程において抽出した画像に基づいて前記支援対象画像に関する処理を支援する支援工程とを有することを特徴とする情報処理装置の制御方法
【請求項１４】
請求項１３に記載の画像処理支援方法をコンピュータに実行させるためのプログラム。
【請求項１】
画像に関する処理を支援する支援システムであって、
ユーザと画像との関連を示す情報に基づいて、少なくとも、前記ユーザが評価した画像を評価した他の人物に対応する画像、前記ユーザが評価した他の人物が評価した別の他の人物に対応する画像、前記ユーザが評価した画像に対応する他の人物が評価した画像、または、前記ユーザに対応する画像を評価した他の人物に対応する画像の何れかから、支援対象画像と対応する画像を抽出する抽出手段と、
前記抽出手段により抽出した画像に基づいて前記支援対象画像に関する処理を支援する支援手段とを有することを特徴とする支援システム。
【請求項２】
前記ユーザと画像との関連を示す情報は、前記ユーザの画像に対する評価に基づいていることを特徴とする請求項１記載の支援システム。
【請求項３】
前記ユーザと画像との関連を示す情報は、前記ユーザの前記画像に対応する人物に対する評価に基づいていることを特徴とする請求項１または２に記載の支援システム。
【請求項４】
前記支援手段は、前記抽出手段により抽出された画像を提示することを特徴とする請求項１乃至３何れか１項に記載の支援システム。
【請求項５】
前記抽出手段により抽出された複数の画像の何れかを選択する選択手段と、
前記支援手段は、前記選択手段により選択された画像に基づいて前記支援対象画像に関する処理を支援することを特徴とする請求項１乃至４何れか１項に記載の支援システム。
【請求項６】
前記ユーザと画像との関連を示す情報に基づいて、当該ユーザと前記画像との関連度を算出する算出手段と、
前記抽出手段により抽出された複数の画像を前記算出手段により算出された関連度に基づいて、ソートするソート手段と、
前記ソート手段によりソートした順に前記抽出手段により抽出された画像を表示する表示手段とを更に有し、
前記選択手段は前記表示手段により表示された画像の何れかを選択することを特徴とする請求項５に記載の支援システム。
【請求項７】
前記選択手段による支援に用いる画像の選択がない場合に、前記抽出手段が抽出する画像より前記ユーザと関連が低い画像から、前記支援対象画像に対応する画像を抽出する再抽出手段を更に有し、
前記支援手段は、前記再抽出手段により抽出された画像に基づいて前記支援対象画像に関する処理を支援することを特徴とする請求項５または６に記載の支援システム。
【請求項８】
前記ユーザが前記支援手段による支援に基づいて、前記支援対象画像に関する処理を実行した場合、前記支援手段が支援に用いた画像に基づいて、前記ユーザと画像との関連を示す情報を更新する更新手段とを有すること特徴とする請求項１乃至７項何れか１項に記載の支援システム。
【請求項９】
前記抽出手段は、撮影装置における撮影条件に対応する画像を抽出し、
前記支援手段は、前記撮影装置において前記支援対象画像を撮影するための支援を行うことを特徴とする請求項１乃至８何れか１項に記載の支援システム。
【請求項１０】
前記抽出手段は、前記支援対象画像上のオブジェクトと対応するオブジェクトを有する画像を抽出し、
前記支援手段は、前記支援対象画像を補正するための支援を行うことを特徴とする請求項１乃至８何れか１項に記載の支援システム。
【請求項１１】
前記支援手段は、前記他の人物または前記別の他の人物が外部装置にアップロードした画像に基づいて前記支援対象画像に関する処理を支援することを特徴とする請求項１乃至１０何れか１項に記載の支援システム。
【請求項１２】
情報処理装置であって、
ユーザと画像との関連を示す情報に基づいて、少なくとも、前記ユーザが評価した画像を評価した他の人物に対応する画像、前記ユーザが評価した他の人物が評価した別の他の人物に対応する画像、前記ユーザが評価した画像に対応する他の人物が評価した画像、または、前記ユーザに対応する画像を評価した他の人物に対応する画像の何れかから、支援対象画像と対応する画像を抽出する抽出手段と、
前記抽出手段により抽出した画像に基づいて前記支援対象画像に関する処理を支援するための支援手段とを有することを特徴とする情報処理装置。
【請求項１３】
情報処理装置の制御方法であって、
ユーザと画像との関連を示す情報に基づいて、少なくとも、前記ユーザが評価した画像を評価した他の人物に対応する画像、前記ユーザが評価した他の人物が評価した別の他の人物に対応する画像、前記ユーザが評価した画像に対応する他の人物が評価した画像、または、前記ユーザに対応する画像を評価した他の人物に対応する画像の何れかから、支援対象画像と対応する画像を抽出する抽出工程と、
前記抽出工程において抽出した画像に基づいて前記支援対象画像に関する処理を支援する支援工程とを有することを特徴とする情報処理装置の制御方法
【請求項１４】
請求項１３に記載の画像処理支援方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−２１６８０（Ｐ２０１３−２１６８０Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１２−１１３４７３（Ｐ２０１２−１１３４７３）
【出願日】平成２４年５月１７日（２０１２．５．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２４年５月１７日（２０１２．５．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]