撮影支援システム及び撮像装置
【課題】画像データベースに記憶されている画像が多くても、撮影者の撮影を支援するために適した画像を撮影者に提示する。
【解決手段】撮像装置１００は、参考構図画像を用いて撮影支援画面を作成し、その撮影支援画面を表示する。画像処理サーバ２００は、画像データ及び撮影位置情報からなる画像情報を複数記憶する記憶部２０２と、記憶部２０２に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出部２０４と、各特徴量に基づいて、記憶部２０２に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類部２０５と、複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出部２０６と、撮像装置１００の位置情報に近い撮影位置情報に対応する画像データを参考構図画像として複数の代表画像情報から抽出する参考構図画像抽出部２０６とを備える。
【解決手段】撮像装置１００は、参考構図画像を用いて撮影支援画面を作成し、その撮影支援画面を表示する。画像処理サーバ２００は、画像データ及び撮影位置情報からなる画像情報を複数記憶する記憶部２０２と、記憶部２０２に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出部２０４と、各特徴量に基づいて、記憶部２０２に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類部２０５と、複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出部２０６と、撮像装置１００の位置情報に近い撮影位置情報に対応する画像データを参考構図画像として複数の代表画像情報から抽出する参考構図画像抽出部２０６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影者の撮影を支援する撮影支援システム及び撮像装置に関する。
【背景技術】
【０００２】
撮影支援システムとして、例えば、撮影場所や撮影日時などの撮影情報が撮像装置から画像処理サーバへ送信され、その画像処理サーバにおいて画像データベースから撮影情報の条件に近い画像が参考構図画像として複数抽出され、その抽出された複数の参考構図画像が画像処理サーバから撮像装置へ送信され撮像者に提示されるものがある（例えば、特許文献１参照）。撮影者は、それら参考構図画像を参考にして撮影を行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２７９４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の撮影支援システムでは、画像データベースに記憶されている画像が多いと、互いに似たような画像も多くなるため、画像データベースから撮影情報に近い画像が参考構図画像として複数抽出される際、互いに似たような画像ばかりが抽出されて撮影の支援にあまり適していない参考構図画像が撮像者に提示されてしまうおそれがある。
【０００５】
そこで、本発明は、画像データベースに記憶されている画像が多くても、撮影者の撮影を支援するために適した画像を撮影者に提示することが可能な撮影支援システム及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮影支援システムは、撮像装置と画像処理サーバとが互いにデータを送受信するシステムである。
【０００７】
前記撮像装置は、前記撮像装置の位置情報を取得する位置取得手段と、前記撮像装置の位置情報を前記画像処理サーバへ送信し、前記画像処理サーバから送信される参考構図画像を受信する第１の通信手段と、前記参考構図画像を用いて撮影支援画面を作成する撮影支援画面作成手段と、前記撮影支援画面を表示する表示手段とを備える。
【０００８】
前記画像処理サーバは、少なくとも画像データ及びその画像データの撮影位置情報からなる画像情報を複数記憶する記憶手段と、前記記憶手段に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出手段と、前記特徴量に基づいて、前記記憶手段に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類手段と、前記複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出手段と、前記撮像装置の位置情報に近い撮影位置情報に対応する画像データを前記参考構図画像として前記複数の代表画像情報から抽出する参考構図画像抽出手段と、前記参考構図画像抽出手段により抽出される参考構図画像を前記撮像装置へ送信し、前記撮像装置から送信される前記撮像装置の位置情報を受信する第２の通信手段とを備える。
【０００９】
また、本発明の撮像装置は、当該撮像装置の位置情報を取得する位置取得手段と、少なくとも画像データ及びその画像データの撮影位置情報からなる画像情報を複数記憶する記憶手段と、前記記憶手段に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出手段と、前記特徴量に基づいて、前記記憶手段に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類手段と、前記複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出手段と、当該撮像装置の位置情報に近い撮影位置情報に対応する画像データを参考構図画像として前記複数の代表画像情報から抽出する参考構図画像抽出手段と、前記参考構図画像抽出手段により抽出された参考構図画像を用いて撮影支援画面を作成する撮影支援画面作成手段と、前記撮影支援画面を表示する表示手段とを備える。
【発明の効果】
【００１０】
本発明によれば、撮影者の撮影を支援する撮影支援システム及び撮像装置において、画像データベースに記憶されている画像が多くても、撮影者の撮影を支援するために適した画像を撮影者に提示することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態の撮影支援システムの一例を示す図である。
【図２】画像データベースの一例を示す図である。
【図３】撮像装置における演算部の動作を説明するためのフローチャートである。
【図４】撮像装置と画像処理サーバとの間で送受信されるデータや表示部に表示される撮影支援画面の一例を示す図である。
【図５】画像処理サーバにおける演算部の動作を説明するためのフローチャートである。
【図６Ａ】特徴量算出部の動作を説明するための図である。
【図６Ｂ】類似画像分類部の動作を説明するための図である。
【図６Ｃ】代表画像抽出部及び参考構図画像抽出部の動作を説明するための図である。
【図７】参考構図画像抽出処理のさらに詳細な動作の一例を示すフローチャートである。
【図８】本発明の第１実施形態の撮影支援システムの変形例を示す図である。
【図９】参考構図画像抽出処理のさらに詳細な動作の他の例を示すフローチャートである。
【図１０】本発明の第２実施形態の撮影支援システムの一例を示す図である。
【図１１】撮像装置における演算部の動作を説明するためのフローチャートである。
【図１２】撮影支援画面の一例を示す図である。
【図１３】撮影支援画面の他の例を示す図である。
【図１４】画像処理サーバにおける演算部の動作を説明するためのフローチャートである。
【図１５】本発明の第２実施形態の撮影支援システムの変形例を示す図である。
【図１６】優先度設定部の動作を説明するためのフローチャートである。
【図１７】本発明の実施形態の撮像装置の一例を示す図である。
【図１８】本発明の第３実施形態の撮影支援システムを示す図である。
【発明を実施するための形態】
【００１２】
図１は、本発明の第１実施形態の撮影支援システムの一例を示す図である。
【００１３】
図１に示す第１実施形態の撮影支援システムは、撮像装置１００と、その撮像装置１００とデータの送受信を行う画像処理サーバ２００とを備える。
【００１４】
撮像装置１００は、例えば、デジタルカメラ、カメラ付き携帯電話、又はスマートフォンなどの持ち運び可能な装置であって、撮像部１０１と、表示部１０２（表示手段）と、撮影位置取得部１０３（位置取得手段）と、通信部１０４（第１の通信手段）と、記憶部１０５と、演算部１０６とを備える。本実施形態において、撮像装置１００は、デジタルカメラとする。
【００１５】
撮像部１０１は、デジタルカメラなどに通常備えられているものであって、例えば、鏡胴内のレンズによってＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子に結像される被写体像をその撮像素子において電気信号に変換し画像データとする。また、撮像部１０１は、例えば、シャープネス補正回路、コントラスト補正回路、輝度・色差信号生成回路、及びホワイトバランス補正回路などを備え、画像データに対して各種画像処理を行う。
【００１６】
表示部１０２は、例えば、液晶や有機ＥＬなどで構成されるディスプレイ（例えば、タッチパネルディスプレイなど）であって、撮像部１０１で取得される画像データ、撮像装置１００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）、又は撮影者の撮影を支援するための撮影支援画面などを表示する。例えば、表示部１０２に表示される撮影支援モードの開始ボタンが撮影者によりタッチされると、撮像装置１００において「撮影支援処理」が実行されるものとする。
【００１７】
撮影位置取得部１０３は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）や無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを使用して撮像装置１００の現在の位置情報を取得する。
【００１８】
通信部１０４は、後述する画像処理サーバ２００の通信部２０１とインターネットなどのネットワークを介してデータの送受信を行う。
【００１９】
記憶部１０５は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成され、演算部１０６で実行されるオペレーションシステムのプログラム及び各種アプリケーションソフトなどや撮像部１０１で取得される画像データや画像処理サーバ２００から送信される複数の参考構図画像などを記憶する。
【００２０】
演算部１０６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やマイクロコンピュータなどにより構成され、記憶部１０５に記憶されているオペレーションシステムのプログラムや各種アプリケーションソフトを実行することにより撮像装置１００全体の動作制御を行う。また、演算部１０６は、撮影支援画面作成部１０７（撮影支援画像作成手段）を備える。例えば、記憶部１０５に記憶される各種アプリケーションソフトの１つである「撮影支援処理」が演算部１０６により実行されると、撮影支援画面作成部１０７が構成されるものとする。
【００２１】
撮影支援画面作成部１０７は、撮像部１０１で取得される画像データや画像処理サーバ２００から送信される複数の参考構図画像などを用いて、表示部１０２に表示させる撮影支援画面を作成する。
【００２２】
画像処理サーバ２００は、通信部２０１（第２の通信手段）と、記憶部２０２（記憶手段）と、演算部２０３とを備える。なお、画像処理サーバ２００は、物理的に１台のサーバであるとは限らず、互いにネットワークに接続された複数のパーソナルコンピュータやクラウドサーバなどにより構成されてもよい。本実施形態において、画像処理サーバ２００は、ネットワークに接続された計算サーバとする。
【００２３】
記憶部２０２は、例えば、ＲＯＭ、ＲＡＭ、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などにより構成され、演算部２０３で実行されるオペレーションシステムのプログラム及び各種アプリケーションソフトなどや複数の画像情報（レコード）を有する画像データベース（画像ＤＢ）を記憶する。
【００２４】
図２は、画像データベースの一例を示す図である。
【００２５】
図２に示す画像データベースは、画像情報名が格納される画像情報名領域５０と、画像データが格納される画像データ領域５１と、位置情報が格納される位置情報領域５２と、画像情報が後述する代表画像情報であるか否かを示すフラグ情報が格納されるフラグ領域５３とからなる画像情報５４を複数有している。例えば、図２において、画像情報５４−１００の画像情報名領域５０には、画像情報名として「ｉｍｇ１００」が格納され、画像データ領域５１には画像データ（例えば、ＪＰＥＧファイルなど）として「ｄａｔａ０」が格納され、位置情報領域５２には「ｄａｔａ０」の撮影位置を示す撮影位置情報（例えば、緯度、経度）として「Ｘ０、Ｙ０」が格納され、フラグ領域５３には「ｉｍｇ１００」が代表画像情報であることを示す「Ｔ」が格納されている。なお、画像情報が代表画像情報でないことを示す場合、フラグ領域５３には、「Ｆ」が格納されているものとする。また、画像データベースに有する複数の画像情報は、例えば、インターネット上に存在する画像群などに基づいて作成されるものとする。
【００２６】
また、図１において、演算部２０３は、例えば、ＣＰＵやマイクロコンピュータなどにより構成され、記憶部２０２に記憶されているオペレーションシステムのプログラムや各種アプリケーションソフトを実行することにより画像処理サーバ２００全体の動作制御を行う。また、演算部２０３は、特徴量算出部２０４（特徴量算出手段）、類似画像分類部２０５（類似画像分類手段）、代表画像抽出部２０６（代表画像抽出手段）、及び参考構図画像抽出部２０７（参考構図画像抽出手段）を備える。例えば、記憶部２０２に記憶される各種アプリケーションソフトの１つである「撮影支援処理」が演算部２０３により実行されると、特徴量算出部２０４、類似画像分類部２０５、代表画像抽出部２０６、及び参考構図画像抽出部２０７が構成されるものとする。
【００２７】
特徴量算出部２０４は、記憶部２０２の画像データベースから複数の画像情報を読み出し、それら画像情報の各画像データのそれぞれの特徴量を算出する。
【００２８】
類似画像分類部２０５は、特徴量算出部２０４で算出された各特徴量に基づいて、特徴量算出部２０４で読み出された複数の画像情報を複数の類似画像群１〜ｍに分類する。
【００２９】
代表画像抽出部２０６は、類似画像分類部２０５で分類された複数の類似画像群１〜ｍにおいて、それぞれ、代表画像を抽出する。
【００３０】
参考構図画像抽出部２０７は、代表画像抽出部２０６で抽出された代表画像１〜ｍから所定数ｎの参考構図画像を抽出し、通信部２０１により撮像装置１００へ送信させる。
【００３１】
図３は、撮像装置１００における演算部１０６の動作を説明するためのフローチャートである。
【００３２】
まず、演算部１０６は、表示部１０２に表示される撮影支援モードの開始ボタンが撮影者によりタッチされるなどして、撮影支援モードを開始する旨の指示があると（Ｓ１００がＹｅｓ）、「撮影支援処理」を実行するとともに、撮影位置取得部１０３により現在の撮像装置１００の位置情報を取得させ、その撮像装置１００の位置情報を画像処理サーバ２００へ送信する（Ｓ１０１）。例えば、図４に示すように、撮像装置１００が金閣寺周辺のある場所に位置している場合、撮像装置１００は、撮影位置取得部１０３により取得される位置情報として「金閣寺周辺のある場所の緯度・経度」を画像処理サーバ２００へ送信する。
【００３３】
次に、演算部１０６は、画像処理サーバ２００から送信される所定数ｎの参考構図画像を受信したか否かを判断する（Ｓ１０２）。なお、所定数ｎは、撮像装置１００と画像処理サーバ２００との間で予め設定されていてもよいし、撮像装置１００から画像処理サーバ２００へ撮像装置１００の位置情報とともに送信されてもよい。
【００３４】
次に、演算部１０６の撮影支援画面作成部１０７は、所定数ｎの参考構図画像を受信したと判断すると（Ｓ１０２がＹｅｓ）、その所定数ｎの参考構図画像などを用いて撮影支援画面を作成し（Ｓ１０３）、その作成した撮影支援画面を表示部１０２に表示させる（Ｓ１０４）。例えば、図４に示すように、画像処理サーバ２００から撮像装置１００へ４枚の参考構図画像１〜４が送信されると、撮影支援画面作成部１０７は、それら参考構図画像１〜４と、そのときに撮像装置１００により撮像されている画像データ（スルー画）とを用いて撮影支援画面を作成し、表示部１０２に表示させる。
【００３５】
なお、図３に示すフローチャートのＳ１０１及びＳ１０２は、撮影支援モードの開始する旨の指示がなくても、バックグランドで行われていてもよい。
【００３６】
また、スルー画のみからなる画面と、参考構図画像のみからなる撮影支援画面とを切り替えて表示部１０２に表示させてもよい。
【００３７】
また、スルー画と複数の参考構図画像のうちの何れかの参考構図画像とが類似したとき、その旨を撮影者に知らせるように構成してもよい。
【００３８】
また、撮像装置１００に受信される複数の参考構図画像のうちの一部の参考構図画像を用いた撮影支援画像を表示部１０２に表示させているとき、撮影者から他の参考構図画像を見たい旨の要求（例えば、撮影者による右送りの操作）があると、その他の参考構図画像を用いた撮影支援画像を表示部１０２に表示させるように構成してもよい。
【００３９】
図５は、画像処理サーバ２００の演算部２０３の動作を説明するためのフローチャートである。
【００４０】
まず、演算部２０３は、記憶部２０２に記憶される画像データベースから複数の画像情報を抽出する（Ｓ２００）。例えば、演算部２０３は、図６Ａに示すように、撮影位置情報が「地域Ａ」に属する全ての画像情報（例えば、図２に示す画像データベースの「ｉｍｇ１００」〜「ｉｍｇ１２２」）を画像データベースから取り出す。
【００４１】
次に、演算部２０３の特徴量算出部２０４は、取り出した複数の画像情報の各画像データの特徴量をそれぞれ算出する（Ｓ２０１）。特徴量としては、例えば、色ヒストグラム等の色情報やＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）等により求められる形状情報、又、撮影位置情報が考えられる。
【００４２】
次に、演算部２０３の類似画像分類部２０５は、算出した各画像データの特徴量に基づいて、Ｓ２００で取り出した複数の画像情報を複数の類似画像群１〜ｍに分類する（Ｓ２０２）。例えば、類似画像分類部２０５は、図６Ｂに示すように、Ｓ２００で読み出した複数の画像情報（ｉｍｇ１００〜ｉｍｇ１２２）を５つの類似画像群１〜５に分類する。なお、このとき利用される分類法（パターン認識手法）は、特に限定されない。例えば、類似画像分類部２０５は、Ｓ２０１で算出した各画像データの特徴量（上記色情報、形状情報、及び撮影位置情報など）に基づいて、特徴空間における各特徴量間のユークリッド距離を求め、それらユークリッド距離のうち、閾値以下のユークリッド距離同士で構成される画像情報の複数の集まりを類似画像群１〜ｍとしてもよい。
【００４３】
次に、演算部２０３の代表画像抽出部２０６は、各類似画像群１〜ｍにおいて、それぞれ、代表画像情報を抽出する（Ｓ２０３）。例えば、代表画像抽出部２０６は、各類似画像群１〜ｍにおいて、類似画像群に含まれる複数の画像情報のそれぞれの画像データの特徴量の平均を求め、その平均に最も近い特徴量の画像データに対応する画像情報を代表画像情報とする。このとき、例えば、図２に示す画像データベースのフラグ領域５３に格納されるフラグ情報を「Ｆ」から「Ｔ」に変更する。
【００４４】
次に、演算部２０３の参考構図画像抽出部２０７は、撮像装置１００の位置情報を受信すると（Ｓ２０４がＹｅｓ）、撮像装置１００の位置情報に近い撮影位置情報に対応する画像データを参考構図画像として代表画像情報１〜ｍから抽出し（Ｓ２０５）、その抽出した参考構図画像を撮像装置１００へ送信する（Ｓ２０６）。例えば、参考構図画像抽出部２０７は、図６Ｃに示すように、撮像装置１００の位置情報に近い撮影位置情報に対応する画像データを参考構図画像として代表画像情報１〜４（所定数ｎ：４）からそれぞれ抽出し、その抽出した参考構図画像１〜４を撮像装置１００へ送信する。
【００４５】
なお、図５に示すフローチャートにおいて、Ｓ２０１とＳ２０２とを次の様に行ってもよい。すなわち、撮影位置情報に基づいて、Ｓ２００で取り出した複数の画像情報を複数の類似画像群１〜ｍに分類し、それら類似画像群１〜ｍにおいて、複数の画像情報の各画像データのそれぞれの特徴量に基づいて、各画像データ間の類似度を算出し、類似度が低い画像データに対応する画像情報を類似画像群から除外するように構成してもよい。
【００４６】
また、図５に示すフローチャートでは、Ｓ２００〜Ｓ２０３を、位置情報を受信する前に行う構成であり、撮像装置１００における位置情報の送信から画像処理サーバ２００における参考構図画像の送信までにかかる時間の短縮化を図っているが、位置情報を受信した後にＳ２００〜Ｓ２０３及びＳ２０５〜Ｓ２０６を行うように構成してもよい。
【００４７】
また、図５に示すフローチャートでは、Ｓ２０６において、所定数ｎの参考構図画像がまとめて画像処理サーバ２００から撮像装置１００へ送信される構成であるが、Ｓ２０６において、代表画像情報１〜ｍから参考構図画像が抽出される毎に順次、参考構図画像が画像処理サーバ２００から撮像装置１００へ送信されるように構成してもよい。
【００４８】
図７は、参考構図画像の抽出処理（Ｓ２０５）のさらに詳細な動作の一例を示すフローチャートである。
【００４９】
まず、参考構図画像抽出部２０７は、撮像装置１００から送信される要求画像枚数ｎ（所定数ｎでもよい）及び撮像装置１００の位置情報を受信する（Ｓ２０５１）。
【００５０】
次に、参考構図画像抽出部２０７は、撮像装置１００の位置情報と代表画像情報の撮影位置情報との間のユークリッド距離を、Ｓ２０３で抽出した代表画像情報１〜ｍについてそれぞれ算出する（Ｓ２０５２）。例えば、撮像装置１００の位置情報を（ｄｃａ＿ｘ，ｄｃａ＿ｙ）とし、代表画像情報ｉ（ｉ：１〜ｍ）の撮影位置情報を（ｄｉｘ，ｄｉｙ）とすると、撮像装置１００の位置情報と代表画像情報ｉの撮影位置情報との間のユークリッド距離ｄｉｓ１は、下記式１により求めることができる。
【００５１】
【数１】
【００５２】
次に、参考構図画像抽出部２０７は、Ｓ２０５２で算出した各ユークリッド距離を昇順に並び替え、その並び替えた複数のユークリッド距離において最も小さいものから順に要求画像枚数ｎ分選択し、その選択した各ユークリッド距離に対応する代表画像情報をＳ２０３で抽出した代表画像情報１〜ｍから抽出する（Ｓ２０５３）。
【００５３】
そして、参考構図画像抽出部２０７は、Ｓ２０５３で抽出した要求画像枚数ｎの代表画像情報のそれぞれの画像データを参考構図画像とする（Ｓ２０５４）。
【００５４】
このように、第１実施形態の撮影支援システムでは、撮像装置１００の位置情報に基づく参考構図画像が画像処理サーバ２００から撮像装置１００へ送信され、その参考構図画像が撮像装置１００の表示部１０２に表示される構成であるため、撮影者が表示部１０２に表示される参考構図画像を参考にしながら撮影を行うことができる
【００５５】
また、第１実施形態の撮影支援システムでは、画像データベースから参考構図画像を抽出する際、画像データベースの複数の画像データを互いに類似している画像データ同士でまとめて複数の類似画像群をつくり、それら複数の類似画像群のそれぞれの代表画像から参考構図画像を抽出する構成であるため、参考構図画像として互いに類似しているものばかりが抽出されることを低減することができる。これにより、撮影者の撮影を支援する際、撮影者へ提示される複数の参考構図画像をできるだけ互いに類似させないようにすることができる。そのため、互いに類似した参考構図画像が撮影者へ提示される場合に比べて、撮影者に新たな「気付き」を与える機会を減らしてしまうことを低減することができる。
【００５６】
また、第１実施形態の撮影支援システムでは、画像処理サーバ２００において参考構図画像の抽出処理が行なわれる構成であるため、画像データベースから参考構図画像を抽出するために撮像装置１００にかかる負担を軽減することができる。
【００５７】
図８は、第１実施形態の撮影支援システムの変形例を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付している。
【００５８】
図８に示す撮影支援システムにおいて、図１に示す第１実施形態の撮影支援システムと異なる点は、撮像装置１００にさらに姿勢取得部１０８を備えている点である。
【００５９】
姿勢取得部１０８は、例えば、ジャイロセンサなどにより構成され、撮像装置１００の姿勢情報（例えば、横角（ｙａｗ）、縦角（ｐｉｔｃｈ）、回転（ｒｏｌｌ））を取得する。姿勢取得部１０８により取得された姿勢情報は、通信部１０４により画像処理サーバ２００へ送信される。
【００６０】
図９は、参考構図画像の抽出処理（図５のＳ２０５）のさらに詳細な動作の他の例を示すフローチャートである。
【００６１】
まず、参考構図画像抽出部２０７は、撮像装置１００から送信される要求画像枚数ｎ、姿勢情報、及び撮像装置１００の位置情報を受信する（Ｓ２０６１）。
【００６２】
次に、参考構図画像抽出部２０７は、撮像装置１００の位置情報と、代表画像情報の撮影位置情報と、撮像装置１００の姿勢情報と、代表画像情報の撮影姿勢情報との間のユークリッド距離を、Ｓ２０３で抽出した代表画像情報１〜ｍについてそれぞれ算出する（Ｓ２０６２）。例えば、撮像装置１００の位置情報を（ｄｃａ＿ｘ，ｄｃａ＿ｙ，ｄｃａ＿ｚ）とし、代表画像情報ｉ（ｉ：１〜ｍ）の撮影位置情報を（ｄｉｘ，ｄｉｙ，ｄｉｚ）とし、撮像装置１００の姿勢情報を（ｄｃａ＿ｙａｗ，ｄｃａ＿ｐｉｔｃｈ，ｄｃａ＿ｒｏｌｌ）とし、代表画像情報ｉの姿勢情報を（ｄｉｙａｗ，ｄｉｐｉｔｃｈ，ｄｉｒｏｌｌ）とすると、撮像装置１００の位置情報と、代表画像情報ｉの撮影位置情報と、撮像装置１００の姿勢情報と、代表画像情報ｉの撮影姿勢情報との間のユークリッド距離ｄｉｓ２は、下記式２により求めることができる。なお、代表画像情報ｉの撮影姿勢情報は、例えば、図２に示す画像データベースの各画像情報の姿勢領域に格納されているものとする。
【００６３】
【数２】
【００６４】
次に、参考構図画像抽出部２０７は、Ｓ２０６２で算出した各ユークリッド距離を昇順に並び替え、その並び替えた複数のユークリッド距離において最も小さいものから順に要求画像枚数ｎ分選択し、その選択した各ユークリッド距離に対応する代表画像情報をＳ２０３で抽出した代表画像情報１〜ｍから抽出する（Ｓ２０６３）。
【００６５】
そして、参考構図画像抽出部２０７は、Ｓ２０６３で抽出した要求画像枚数ｎの代表画像情報のそれぞれの画像データを参考構図画像とする（Ｓ２０６４）。
【００６６】
このように、第１実施形態の撮影支援システムの変形例の撮影支援システムでは、代表画像情報１〜ｍから参考構図画像を抽出する際、撮像装置１００の位置情報の他にさらに撮像装置１００の姿勢情報も考慮することにより、撮像装置１００が現在取得している画像データの構図により近い構図の参考構図画像を代表画像情報１〜ｍから抽出することができる。
【００６７】
図１０は、第２実施形態の撮影支援システムの一例を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付している。
【００６８】
図１０に示す撮影支援システムにおいて、図１に示す撮影支援システムと異なる点は、画像処理サーバ２００の演算部２０３がさらに優先度設定部２０８（優先度設定手段）を備えている点である。なお、優先度設定部２０８は、記憶部２０２に記憶される各種アプリケーションソフトの１つである「撮影支援処理」が演算部２０３により実行されることにより構成されてもよい。
【００６９】
優先度設定部２０８は、代表画像抽出部２０６で抽出された各代表画像情報にそれぞれ優先度を設定する。
【００７０】
図１１は、第２実施形態の撮影支援システムにおける撮像装置１００の演算部１０６の動作を説明するためのフローチャートである。なお、図１１に示すＳ１００〜Ｓ１０２の処理は、図３に示すＳ１００〜Ｓ１０２の処理と同様であるため、説明を省略する。
【００７１】
演算部１０６の撮影支援画面作成部１０７は、所定数ｎの参考構図画像を受信したと判断すると（Ｓ１０２がＹｅｓ）、それら参考構図画像の優先度を考慮しつつ、それら参考構図画像を用いて撮影支援画面を作成し（Ｓ１０３１）、その作成した撮影支援画面を表示部１０２に表示させる（Ｓ１０４）。例えば、撮影支援画面作成部１０７は、図１２に示すように、右から左へ優先度の高い順に参考構図画像１〜４を並べることにより撮影支援画面を作成してもよい。また、例えば、撮影支援画面作成部１０７は、図１３に示すように、参考構図画像１〜４にそれぞれ優先度を示す優先度メータ１３０を重ねて表示してもよい。なお、優先度メータ１３０の斜線部分が大きい程、優先度が高いことを示しているものとする。また、他にも、優先度に応じて各参考構図画像のそれぞれの表示サイズを変更したり、優先度メータ１３０以外の優先度を示すエフェクトを撮影支援画面に表示したりしてもよい。
【００７２】
図１４は、第２実施形態の撮影支援システムにおける画像処理サーバ２００の演算部２０３の動作を説明するためのフローチャートである。なお、図１４に示すＳ２００〜Ｓ２０３の処理は、図５に示すＳ２００〜Ｓ２０３の処理と同様であるため、説明を省略する。
【００７３】
優先度設定部２０８は、Ｓ２０３で抽出した代表画像情報１〜ｍにそれぞれ優先度を設定する（Ｓ２０３１）。例えば、優先度設定部２０８は、類似画像分類部２０５で分類される類似画像群に含まれる画像情報（画像データ）が多い程、その類似画像群から抽出された代表画像情報の優先度を高くする。すなわち、例えば、類似画像群ｉ（ｉ：１〜ｍ）に含まれる画像情報の数をｘとすると、代表画像情報ｉ（ｉ：１〜ｍ）の優先度ｐｉは、下記式３により求めることができる。なお、Ｃ１は所定の係数とする。また、代表画像情報ｉの優先度ｐｉは、例えば、図２に示す画像データベースの各画像情報の優先度領域に格納されているものとする。
【００７４】
ｐｉ＝Ｃ１ｘ ・・・式３
【００７５】
次に、参考構図画像抽出部２０７は、撮像装置１００の位置情報を受信すると（Ｓ２０４がＹｅｓ）、その位置情報に基づいて参考構図画像を代表画像情報１〜ｍから抽出し（Ｓ２０５）、その抽出した参考構図画像を優先度とともに撮像装置１００へ送信する（Ｓ２０６）。
【００７６】
このように、第２実施形態の撮影支援システムでは、類似画像群に含まれる画像情報が多い程、その類似画像群から抽出される代表画像情報の優先度を高くする構成であるため、人気がありネットワーク上などにたくさん存在する定番の構図の画像データを参考構図画像として撮影者に提示することができる。
【００７７】
なお、優先度設定部２０８は、Ｓ２０５で抽出した参考構図画像の撮影位置情報が撮像装置１００の位置情報に近い程、その参考構図画像に対応する代表画像情報の優先度をさらに高くしてもよい。すなわち、例えば、撮像装置１００の位置ベクトルをｄｃａ、代表画像情報ｉの位置ベクトルをｄｉ、更新前の代表画像情報ｉの優先度をｐｉｏｌｄとすると、更新後の代表画像ｉの優先度ｐｉは、下記式４により求めることができる。なお、Ｃ２は（ｄｃａ−ｄｉ）が小さくなる程、値が大きくなるような所定の係数ベクトルとする。
【００７８】
ｐｉ＝Ｃ２（ｄｃａ−ｄｉ）Ｐｉｏｌｄ ・・・式４
【００７９】
このように、撮像装置１００の位置情報に近い程、代表画像情報の優先度を高くすることで、より高精度に撮影者が所望とする参考構図画像を撮影者に提示することができる。
【００８０】
図１５は、第２実施形態の撮影支援システムの変形例を示す図である。なお、図１０に示す構成と同じ構成には同じ符号を付している。
【００８１】
図１５に示す撮影支援システムにおいて、図１０に示す撮影支援システムと異なる点は、撮像装置１００で現在撮像されている画像データ（スルー画）を画像処理サーバ２００へ送信し、その画像データを用いて優先度設定部２０８が優先度を設定する点である。
【００８２】
図１６は、図１０に示す撮影支援システムにおける優先度設定部２０８の動作を説明するためのフローチャートである。なお、図１６に示すフローチャートは、例えば、図１４のＳ２０３１において行われるものとする。
【００８３】
まず、優先度設定部２０８は、撮像装置１００から送信されるスルー画を受信し（Ｓ１６０１）、そのスルー画の特徴量を算出する（Ｓ１６０２）。
【００８４】
次に、優先度設定部２０８は、その算出した特徴量に基づいて、スルー画と代表画像情報の画像データとの類似度を、代表画像情報１〜ｍそれぞれにおいて算出し（Ｓ１６０３）、その算出した各類似度に基づいて、代表画像情報１〜ｍのそれぞれの優先度を設定する（Ｓ１６０４）。
【００８５】
例えば、撮像装置１００の位置ベクトルｄｃａと代表画像情報ｉの位置ベクトルｄｉとにより撮像装置１００と代表画像情報との距離を算出するための関数をＦ１、スルー画の特徴量ｆｃａと代表画像情報ｉの画像データの特徴量ｆｉとによりスルー画と代表画像情報ｉの画像データとの類似度を算出するための関数をＦ２、類似画像群ｉに含まれる画像情報の数をｘｉとすると、代表画像情報ｉ（ｉ：１〜ｍ）の優先度ｐｉは、下記式５により求めることができる。なお、Ｃ１は所定の係数とし、Ｃ２及びＣ３は所定の係数ベクトルとする。
【００８６】
ｐｉ＝Ｃ１ｘｉ・Ｃ２Ｆ１（ｄｃａ，ｄｉ）・Ｃ３Ｆ２（ｆｃａ，ｆｉ） ・・・式５
【００８７】
このように、図１０に示す第２実施形態の撮影支援システムでは、撮像装置１００の位置情報と代表画像情報の撮影位置情報とが近い程、かつ、スルー画と代表画像情報の画像データとの類似度が高い程、その代表画像情報の優先度を高くする構成であるため、人気がありネットワーク上などにたくさん存在する定番の構図で、かつ、撮影者が所望する構図に近い画像データを参考構図画像として撮影者に提示することができる。
【００８８】
図１７は、本発明の実施形態の撮像装置を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付している。
【００８９】
図１７に示す撮像装置１００は、図１に示す画像処理サーバ２００の演算部２０３の構成（特徴量算出部２０４、類似画像分類部２０５、代表画像抽出部２０６、参考構図画像抽出部２０７）を撮像装置１００の演算部１０６に含めていることを特徴とする。なお、記憶部２０２は、撮像装置１００が外部のコンピュータに接続された場合、そのコンピュータに備えられる記憶部としてもよい。
【００９０】
このように構成することにより、撮像装置１００に通信機能を備える必要がなくなる。
【００９１】
なお、図１７に示す撮像装置１００は、演算部１０６に特徴量算出部２０４、類似画像分類部２０５、代表画像抽出部２０６、参考構図画像抽出部２０７を備える構成であるが、特徴量算出部２０４、類似画像分類部２０５、代表画像抽出部２０６を画像処理サーバ２００の演算部２０３に備え、参考構図画像抽出部２０７のみを演算部１０６に備えるように構成してもよい。この場合、記憶部２０２には、代表画像抽出部２０６で抽出された代表画像情報が記憶されていてもよい。これにより、記憶部２０２の容量を抑えることができる。
【００９２】
また、図１７に示す撮像装置１００は、図１に示す画像処理サーバ２００の演算部２０３の構成を図１に示す撮像装置１００の演算部１０６に含めているが、図８に示す画像処理サーバ２００の演算部２０３の構成を図８に示す撮像装置１００の演算部１０６に含めてもよいし、図１０に示す画像処理サーバ２００の演算部２０３の構成を図１０に示す撮像装置１００の演算部１０６に含めてもよいし、図１５に示す画像処理サーバ２００の演算部２０３の構成を図１５に示す撮像装置１００の演算部１０６に含めてもよい。
【００９３】
図１８は、本発明の第３実施形態の撮影支援システムを示す図である。図１に示す構成と同じ構成には同じ符号を付している。
【００９４】
図１８に示す撮影支援システムは、撮像装置１００や画像処理サーバ２００の他に、撮像装置１００や画像処理サーバ２００とデータの送受信を行う画像管理サーバ３００を備えていることを特徴とする。
【００９５】
撮像装置１００は、撮像部１０１と、表示部１０２（表示手段）と、撮影位置取得部１０３（位置取得手段）と、通信部１０４（第１の通信手段）と、記憶部１０５と、演算部１０６とを備える。また、画像処理サーバ２００は、通信部２０１（第２の通信手段）と、記憶部２０２（第１の記憶手段）と、演算部２０３とを備える。また、画像管理サーバ３００は、通信部３０１（第３の通信手段）と、記憶部３０２（第２の記憶手段）と、演算部３０３とを備える。
【００９６】
画像管理サーバ３００の演算部３０３は、例えば、ＣＰＵやマイクロコンピュータなどにより構成され、記憶部３０２に記憶されているオペレーションシステムのプログラムや各種アプリケーションソフトを実行することにより画像管理サーバ３００全体の動作制御を行う。また、演算部３０３は、特徴量算出部２０４（特徴量算出手段）、類似画像分類部２０５（類似画像分類手段）、及び代表画像抽出部２０６（代表画像抽出手段）を備える。例えば、記憶部３０２に記憶される各種アプリケーションソフトの１つである「撮影支援処理」が演算部３０３により実行されると、特徴量算出部２０４、類似画像分類部２０５、及び代表画像抽出部２０６が構成されるものとする。すなわち、特徴量算出部２０４は、記憶部３０２に記憶されている画像データベース（例えば、図２に示す画像データベース）から複数の画像情報を読み出し、それら画像情報の各画像データのそれぞれの特徴量を算出する。次に、類似画像分類部２０５は、それら各特徴量に基づいて、読み出した複数の画像情報を複数の類似画像群１〜ｍに分類する。そして、代表画像抽出部２０６は、それら類似画像群１〜ｍにおいて、それぞれ、代表画像を抽出する。
【００９７】
通信部３０１は、代表画像抽出部２０６で抽出された代表画像１〜ｍを画像処理サーバ２００へ送信する。画像処理サーバ２００の通信部２０１は、画像管理サーバ３００から送信される代表画像１〜ｍを受信する。画像処理サーバ２００の演算部２０３は、通信部２０１で受信された代表画像１〜ｍを記憶部３０２に記憶する。また、画像処理サーバ２００の参考構図画像抽出部２０７は、記憶部２０２に記憶されている代表画像１〜ｍから所定数ｎの参考構図画像を抽出し、通信部２０１により撮像装置１００へ送信させる。
【００９８】
このように、記憶部３０２に記憶されている複数の画像情報から代表画像１〜ｍを抽出するまでの処理を画像管理サーバ３００で行い、その代表画像１〜ｍを画像処理サーバ２００の記憶部２０２に記憶しておき、画像処理サーバ２００において参考構図画像の抽出処理のみを行うようにしている。これにより、「撮影支援処理」を行う際に画像処理サーバ２００にかかる負担を軽減することができる。また、画像処理サーバ２００の記憶部２０２の記憶容量を低減することができる。
【００９９】
なお、参考構図画像抽出部２０７は、図８に示す撮像装置１００の姿勢取得部１０８で取得される姿勢情報も考慮して、代表画像１〜ｍから所定数ｎの参考構図画像を抽出してもよい。また、画像管理サーバ３００の演算部３０３は、図１０や図１５に示す優先度設定部２０８も備えるように構成してもよい。
【符号の説明】
【０１００】
１００ 撮像装置
１０１ 撮像部
１０２ 表示部
１０３ 撮影位置取得部
１０４ 通信部
１０５ 記憶部
１０６ 演算部
１０７ 撮影支援画面作成部
１０８ 姿勢取得部
２００ 画像処理サーバ
２０１ 通信部
２０２ 記憶部
２０３ 演算部
２０４ 特徴量算出部
２０５ 類似画像分類部
２０６ 代表画像抽出部
２０７ 参考構図画像抽出部
２０８ 優先度設定部
【技術分野】
【０００１】
本発明は、撮影者の撮影を支援する撮影支援システム及び撮像装置に関する。
【背景技術】
【０００２】
撮影支援システムとして、例えば、撮影場所や撮影日時などの撮影情報が撮像装置から画像処理サーバへ送信され、その画像処理サーバにおいて画像データベースから撮影情報の条件に近い画像が参考構図画像として複数抽出され、その抽出された複数の参考構図画像が画像処理サーバから撮像装置へ送信され撮像者に提示されるものがある（例えば、特許文献１参照）。撮影者は、それら参考構図画像を参考にして撮影を行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２７９４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の撮影支援システムでは、画像データベースに記憶されている画像が多いと、互いに似たような画像も多くなるため、画像データベースから撮影情報に近い画像が参考構図画像として複数抽出される際、互いに似たような画像ばかりが抽出されて撮影の支援にあまり適していない参考構図画像が撮像者に提示されてしまうおそれがある。
【０００５】
そこで、本発明は、画像データベースに記憶されている画像が多くても、撮影者の撮影を支援するために適した画像を撮影者に提示することが可能な撮影支援システム及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮影支援システムは、撮像装置と画像処理サーバとが互いにデータを送受信するシステムである。
【０００７】
前記撮像装置は、前記撮像装置の位置情報を取得する位置取得手段と、前記撮像装置の位置情報を前記画像処理サーバへ送信し、前記画像処理サーバから送信される参考構図画像を受信する第１の通信手段と、前記参考構図画像を用いて撮影支援画面を作成する撮影支援画面作成手段と、前記撮影支援画面を表示する表示手段とを備える。
【０００８】
前記画像処理サーバは、少なくとも画像データ及びその画像データの撮影位置情報からなる画像情報を複数記憶する記憶手段と、前記記憶手段に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出手段と、前記特徴量に基づいて、前記記憶手段に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類手段と、前記複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出手段と、前記撮像装置の位置情報に近い撮影位置情報に対応する画像データを前記参考構図画像として前記複数の代表画像情報から抽出する参考構図画像抽出手段と、前記参考構図画像抽出手段により抽出される参考構図画像を前記撮像装置へ送信し、前記撮像装置から送信される前記撮像装置の位置情報を受信する第２の通信手段とを備える。
【０００９】
また、本発明の撮像装置は、当該撮像装置の位置情報を取得する位置取得手段と、少なくとも画像データ及びその画像データの撮影位置情報からなる画像情報を複数記憶する記憶手段と、前記記憶手段に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出手段と、前記特徴量に基づいて、前記記憶手段に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類手段と、前記複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出手段と、当該撮像装置の位置情報に近い撮影位置情報に対応する画像データを参考構図画像として前記複数の代表画像情報から抽出する参考構図画像抽出手段と、前記参考構図画像抽出手段により抽出された参考構図画像を用いて撮影支援画面を作成する撮影支援画面作成手段と、前記撮影支援画面を表示する表示手段とを備える。
【発明の効果】
【００１０】
本発明によれば、撮影者の撮影を支援する撮影支援システム及び撮像装置において、画像データベースに記憶されている画像が多くても、撮影者の撮影を支援するために適した画像を撮影者に提示することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態の撮影支援システムの一例を示す図である。
【図２】画像データベースの一例を示す図である。
【図３】撮像装置における演算部の動作を説明するためのフローチャートである。
【図４】撮像装置と画像処理サーバとの間で送受信されるデータや表示部に表示される撮影支援画面の一例を示す図である。
【図５】画像処理サーバにおける演算部の動作を説明するためのフローチャートである。
【図６Ａ】特徴量算出部の動作を説明するための図である。
【図６Ｂ】類似画像分類部の動作を説明するための図である。
【図６Ｃ】代表画像抽出部及び参考構図画像抽出部の動作を説明するための図である。
【図７】参考構図画像抽出処理のさらに詳細な動作の一例を示すフローチャートである。
【図８】本発明の第１実施形態の撮影支援システムの変形例を示す図である。
【図９】参考構図画像抽出処理のさらに詳細な動作の他の例を示すフローチャートである。
【図１０】本発明の第２実施形態の撮影支援システムの一例を示す図である。
【図１１】撮像装置における演算部の動作を説明するためのフローチャートである。
【図１２】撮影支援画面の一例を示す図である。
【図１３】撮影支援画面の他の例を示す図である。
【図１４】画像処理サーバにおける演算部の動作を説明するためのフローチャートである。
【図１５】本発明の第２実施形態の撮影支援システムの変形例を示す図である。
【図１６】優先度設定部の動作を説明するためのフローチャートである。
【図１７】本発明の実施形態の撮像装置の一例を示す図である。
【図１８】本発明の第３実施形態の撮影支援システムを示す図である。
【発明を実施するための形態】
【００１２】
図１は、本発明の第１実施形態の撮影支援システムの一例を示す図である。
【００１３】
図１に示す第１実施形態の撮影支援システムは、撮像装置１００と、その撮像装置１００とデータの送受信を行う画像処理サーバ２００とを備える。
【００１４】
撮像装置１００は、例えば、デジタルカメラ、カメラ付き携帯電話、又はスマートフォンなどの持ち運び可能な装置であって、撮像部１０１と、表示部１０２（表示手段）と、撮影位置取得部１０３（位置取得手段）と、通信部１０４（第１の通信手段）と、記憶部１０５と、演算部１０６とを備える。本実施形態において、撮像装置１００は、デジタルカメラとする。
【００１５】
撮像部１０１は、デジタルカメラなどに通常備えられているものであって、例えば、鏡胴内のレンズによってＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子に結像される被写体像をその撮像素子において電気信号に変換し画像データとする。また、撮像部１０１は、例えば、シャープネス補正回路、コントラスト補正回路、輝度・色差信号生成回路、及びホワイトバランス補正回路などを備え、画像データに対して各種画像処理を行う。
【００１６】
表示部１０２は、例えば、液晶や有機ＥＬなどで構成されるディスプレイ（例えば、タッチパネルディスプレイなど）であって、撮像部１０１で取得される画像データ、撮像装置１００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）、又は撮影者の撮影を支援するための撮影支援画面などを表示する。例えば、表示部１０２に表示される撮影支援モードの開始ボタンが撮影者によりタッチされると、撮像装置１００において「撮影支援処理」が実行されるものとする。
【００１７】
撮影位置取得部１０３は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）や無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを使用して撮像装置１００の現在の位置情報を取得する。
【００１８】
通信部１０４は、後述する画像処理サーバ２００の通信部２０１とインターネットなどのネットワークを介してデータの送受信を行う。
【００１９】
記憶部１０５は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成され、演算部１０６で実行されるオペレーションシステムのプログラム及び各種アプリケーションソフトなどや撮像部１０１で取得される画像データや画像処理サーバ２００から送信される複数の参考構図画像などを記憶する。
【００２０】
演算部１０６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やマイクロコンピュータなどにより構成され、記憶部１０５に記憶されているオペレーションシステムのプログラムや各種アプリケーションソフトを実行することにより撮像装置１００全体の動作制御を行う。また、演算部１０６は、撮影支援画面作成部１０７（撮影支援画像作成手段）を備える。例えば、記憶部１０５に記憶される各種アプリケーションソフトの１つである「撮影支援処理」が演算部１０６により実行されると、撮影支援画面作成部１０７が構成されるものとする。
【００２１】
撮影支援画面作成部１０７は、撮像部１０１で取得される画像データや画像処理サーバ２００から送信される複数の参考構図画像などを用いて、表示部１０２に表示させる撮影支援画面を作成する。
【００２２】
画像処理サーバ２００は、通信部２０１（第２の通信手段）と、記憶部２０２（記憶手段）と、演算部２０３とを備える。なお、画像処理サーバ２００は、物理的に１台のサーバであるとは限らず、互いにネットワークに接続された複数のパーソナルコンピュータやクラウドサーバなどにより構成されてもよい。本実施形態において、画像処理サーバ２００は、ネットワークに接続された計算サーバとする。
【００２３】
記憶部２０２は、例えば、ＲＯＭ、ＲＡＭ、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などにより構成され、演算部２０３で実行されるオペレーションシステムのプログラム及び各種アプリケーションソフトなどや複数の画像情報（レコード）を有する画像データベース（画像ＤＢ）を記憶する。
【００２４】
図２は、画像データベースの一例を示す図である。
【００２５】
図２に示す画像データベースは、画像情報名が格納される画像情報名領域５０と、画像データが格納される画像データ領域５１と、位置情報が格納される位置情報領域５２と、画像情報が後述する代表画像情報であるか否かを示すフラグ情報が格納されるフラグ領域５３とからなる画像情報５４を複数有している。例えば、図２において、画像情報５４−１００の画像情報名領域５０には、画像情報名として「ｉｍｇ１００」が格納され、画像データ領域５１には画像データ（例えば、ＪＰＥＧファイルなど）として「ｄａｔａ０」が格納され、位置情報領域５２には「ｄａｔａ０」の撮影位置を示す撮影位置情報（例えば、緯度、経度）として「Ｘ０、Ｙ０」が格納され、フラグ領域５３には「ｉｍｇ１００」が代表画像情報であることを示す「Ｔ」が格納されている。なお、画像情報が代表画像情報でないことを示す場合、フラグ領域５３には、「Ｆ」が格納されているものとする。また、画像データベースに有する複数の画像情報は、例えば、インターネット上に存在する画像群などに基づいて作成されるものとする。
【００２６】
また、図１において、演算部２０３は、例えば、ＣＰＵやマイクロコンピュータなどにより構成され、記憶部２０２に記憶されているオペレーションシステムのプログラムや各種アプリケーションソフトを実行することにより画像処理サーバ２００全体の動作制御を行う。また、演算部２０３は、特徴量算出部２０４（特徴量算出手段）、類似画像分類部２０５（類似画像分類手段）、代表画像抽出部２０６（代表画像抽出手段）、及び参考構図画像抽出部２０７（参考構図画像抽出手段）を備える。例えば、記憶部２０２に記憶される各種アプリケーションソフトの１つである「撮影支援処理」が演算部２０３により実行されると、特徴量算出部２０４、類似画像分類部２０５、代表画像抽出部２０６、及び参考構図画像抽出部２０７が構成されるものとする。
【００２７】
特徴量算出部２０４は、記憶部２０２の画像データベースから複数の画像情報を読み出し、それら画像情報の各画像データのそれぞれの特徴量を算出する。
【００２８】
類似画像分類部２０５は、特徴量算出部２０４で算出された各特徴量に基づいて、特徴量算出部２０４で読み出された複数の画像情報を複数の類似画像群１〜ｍに分類する。
【００２９】
代表画像抽出部２０６は、類似画像分類部２０５で分類された複数の類似画像群１〜ｍにおいて、それぞれ、代表画像を抽出する。
【００３０】
参考構図画像抽出部２０７は、代表画像抽出部２０６で抽出された代表画像１〜ｍから所定数ｎの参考構図画像を抽出し、通信部２０１により撮像装置１００へ送信させる。
【００３１】
図３は、撮像装置１００における演算部１０６の動作を説明するためのフローチャートである。
【００３２】
まず、演算部１０６は、表示部１０２に表示される撮影支援モードの開始ボタンが撮影者によりタッチされるなどして、撮影支援モードを開始する旨の指示があると（Ｓ１００がＹｅｓ）、「撮影支援処理」を実行するとともに、撮影位置取得部１０３により現在の撮像装置１００の位置情報を取得させ、その撮像装置１００の位置情報を画像処理サーバ２００へ送信する（Ｓ１０１）。例えば、図４に示すように、撮像装置１００が金閣寺周辺のある場所に位置している場合、撮像装置１００は、撮影位置取得部１０３により取得される位置情報として「金閣寺周辺のある場所の緯度・経度」を画像処理サーバ２００へ送信する。
【００３３】
次に、演算部１０６は、画像処理サーバ２００から送信される所定数ｎの参考構図画像を受信したか否かを判断する（Ｓ１０２）。なお、所定数ｎは、撮像装置１００と画像処理サーバ２００との間で予め設定されていてもよいし、撮像装置１００から画像処理サーバ２００へ撮像装置１００の位置情報とともに送信されてもよい。
【００３４】
次に、演算部１０６の撮影支援画面作成部１０７は、所定数ｎの参考構図画像を受信したと判断すると（Ｓ１０２がＹｅｓ）、その所定数ｎの参考構図画像などを用いて撮影支援画面を作成し（Ｓ１０３）、その作成した撮影支援画面を表示部１０２に表示させる（Ｓ１０４）。例えば、図４に示すように、画像処理サーバ２００から撮像装置１００へ４枚の参考構図画像１〜４が送信されると、撮影支援画面作成部１０７は、それら参考構図画像１〜４と、そのときに撮像装置１００により撮像されている画像データ（スルー画）とを用いて撮影支援画面を作成し、表示部１０２に表示させる。
【００３５】
なお、図３に示すフローチャートのＳ１０１及びＳ１０２は、撮影支援モードの開始する旨の指示がなくても、バックグランドで行われていてもよい。
【００３６】
また、スルー画のみからなる画面と、参考構図画像のみからなる撮影支援画面とを切り替えて表示部１０２に表示させてもよい。
【００３７】
また、スルー画と複数の参考構図画像のうちの何れかの参考構図画像とが類似したとき、その旨を撮影者に知らせるように構成してもよい。
【００３８】
また、撮像装置１００に受信される複数の参考構図画像のうちの一部の参考構図画像を用いた撮影支援画像を表示部１０２に表示させているとき、撮影者から他の参考構図画像を見たい旨の要求（例えば、撮影者による右送りの操作）があると、その他の参考構図画像を用いた撮影支援画像を表示部１０２に表示させるように構成してもよい。
【００３９】
図５は、画像処理サーバ２００の演算部２０３の動作を説明するためのフローチャートである。
【００４０】
まず、演算部２０３は、記憶部２０２に記憶される画像データベースから複数の画像情報を抽出する（Ｓ２００）。例えば、演算部２０３は、図６Ａに示すように、撮影位置情報が「地域Ａ」に属する全ての画像情報（例えば、図２に示す画像データベースの「ｉｍｇ１００」〜「ｉｍｇ１２２」）を画像データベースから取り出す。
【００４１】
次に、演算部２０３の特徴量算出部２０４は、取り出した複数の画像情報の各画像データの特徴量をそれぞれ算出する（Ｓ２０１）。特徴量としては、例えば、色ヒストグラム等の色情報やＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）等により求められる形状情報、又、撮影位置情報が考えられる。
【００４２】
次に、演算部２０３の類似画像分類部２０５は、算出した各画像データの特徴量に基づいて、Ｓ２００で取り出した複数の画像情報を複数の類似画像群１〜ｍに分類する（Ｓ２０２）。例えば、類似画像分類部２０５は、図６Ｂに示すように、Ｓ２００で読み出した複数の画像情報（ｉｍｇ１００〜ｉｍｇ１２２）を５つの類似画像群１〜５に分類する。なお、このとき利用される分類法（パターン認識手法）は、特に限定されない。例えば、類似画像分類部２０５は、Ｓ２０１で算出した各画像データの特徴量（上記色情報、形状情報、及び撮影位置情報など）に基づいて、特徴空間における各特徴量間のユークリッド距離を求め、それらユークリッド距離のうち、閾値以下のユークリッド距離同士で構成される画像情報の複数の集まりを類似画像群１〜ｍとしてもよい。
【００４３】
次に、演算部２０３の代表画像抽出部２０６は、各類似画像群１〜ｍにおいて、それぞれ、代表画像情報を抽出する（Ｓ２０３）。例えば、代表画像抽出部２０６は、各類似画像群１〜ｍにおいて、類似画像群に含まれる複数の画像情報のそれぞれの画像データの特徴量の平均を求め、その平均に最も近い特徴量の画像データに対応する画像情報を代表画像情報とする。このとき、例えば、図２に示す画像データベースのフラグ領域５３に格納されるフラグ情報を「Ｆ」から「Ｔ」に変更する。
【００４４】
次に、演算部２０３の参考構図画像抽出部２０７は、撮像装置１００の位置情報を受信すると（Ｓ２０４がＹｅｓ）、撮像装置１００の位置情報に近い撮影位置情報に対応する画像データを参考構図画像として代表画像情報１〜ｍから抽出し（Ｓ２０５）、その抽出した参考構図画像を撮像装置１００へ送信する（Ｓ２０６）。例えば、参考構図画像抽出部２０７は、図６Ｃに示すように、撮像装置１００の位置情報に近い撮影位置情報に対応する画像データを参考構図画像として代表画像情報１〜４（所定数ｎ：４）からそれぞれ抽出し、その抽出した参考構図画像１〜４を撮像装置１００へ送信する。
【００４５】
なお、図５に示すフローチャートにおいて、Ｓ２０１とＳ２０２とを次の様に行ってもよい。すなわち、撮影位置情報に基づいて、Ｓ２００で取り出した複数の画像情報を複数の類似画像群１〜ｍに分類し、それら類似画像群１〜ｍにおいて、複数の画像情報の各画像データのそれぞれの特徴量に基づいて、各画像データ間の類似度を算出し、類似度が低い画像データに対応する画像情報を類似画像群から除外するように構成してもよい。
【００４６】
また、図５に示すフローチャートでは、Ｓ２００〜Ｓ２０３を、位置情報を受信する前に行う構成であり、撮像装置１００における位置情報の送信から画像処理サーバ２００における参考構図画像の送信までにかかる時間の短縮化を図っているが、位置情報を受信した後にＳ２００〜Ｓ２０３及びＳ２０５〜Ｓ２０６を行うように構成してもよい。
【００４７】
また、図５に示すフローチャートでは、Ｓ２０６において、所定数ｎの参考構図画像がまとめて画像処理サーバ２００から撮像装置１００へ送信される構成であるが、Ｓ２０６において、代表画像情報１〜ｍから参考構図画像が抽出される毎に順次、参考構図画像が画像処理サーバ２００から撮像装置１００へ送信されるように構成してもよい。
【００４８】
図７は、参考構図画像の抽出処理（Ｓ２０５）のさらに詳細な動作の一例を示すフローチャートである。
【００４９】
まず、参考構図画像抽出部２０７は、撮像装置１００から送信される要求画像枚数ｎ（所定数ｎでもよい）及び撮像装置１００の位置情報を受信する（Ｓ２０５１）。
【００５０】
次に、参考構図画像抽出部２０７は、撮像装置１００の位置情報と代表画像情報の撮影位置情報との間のユークリッド距離を、Ｓ２０３で抽出した代表画像情報１〜ｍについてそれぞれ算出する（Ｓ２０５２）。例えば、撮像装置１００の位置情報を（ｄｃａ＿ｘ，ｄｃａ＿ｙ）とし、代表画像情報ｉ（ｉ：１〜ｍ）の撮影位置情報を（ｄｉｘ，ｄｉｙ）とすると、撮像装置１００の位置情報と代表画像情報ｉの撮影位置情報との間のユークリッド距離ｄｉｓ１は、下記式１により求めることができる。
【００５１】
【数１】
【００５２】
次に、参考構図画像抽出部２０７は、Ｓ２０５２で算出した各ユークリッド距離を昇順に並び替え、その並び替えた複数のユークリッド距離において最も小さいものから順に要求画像枚数ｎ分選択し、その選択した各ユークリッド距離に対応する代表画像情報をＳ２０３で抽出した代表画像情報１〜ｍから抽出する（Ｓ２０５３）。
【００５３】
そして、参考構図画像抽出部２０７は、Ｓ２０５３で抽出した要求画像枚数ｎの代表画像情報のそれぞれの画像データを参考構図画像とする（Ｓ２０５４）。
【００５４】
このように、第１実施形態の撮影支援システムでは、撮像装置１００の位置情報に基づく参考構図画像が画像処理サーバ２００から撮像装置１００へ送信され、その参考構図画像が撮像装置１００の表示部１０２に表示される構成であるため、撮影者が表示部１０２に表示される参考構図画像を参考にしながら撮影を行うことができる
【００５５】
また、第１実施形態の撮影支援システムでは、画像データベースから参考構図画像を抽出する際、画像データベースの複数の画像データを互いに類似している画像データ同士でまとめて複数の類似画像群をつくり、それら複数の類似画像群のそれぞれの代表画像から参考構図画像を抽出する構成であるため、参考構図画像として互いに類似しているものばかりが抽出されることを低減することができる。これにより、撮影者の撮影を支援する際、撮影者へ提示される複数の参考構図画像をできるだけ互いに類似させないようにすることができる。そのため、互いに類似した参考構図画像が撮影者へ提示される場合に比べて、撮影者に新たな「気付き」を与える機会を減らしてしまうことを低減することができる。
【００５６】
また、第１実施形態の撮影支援システムでは、画像処理サーバ２００において参考構図画像の抽出処理が行なわれる構成であるため、画像データベースから参考構図画像を抽出するために撮像装置１００にかかる負担を軽減することができる。
【００５７】
図８は、第１実施形態の撮影支援システムの変形例を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付している。
【００５８】
図８に示す撮影支援システムにおいて、図１に示す第１実施形態の撮影支援システムと異なる点は、撮像装置１００にさらに姿勢取得部１０８を備えている点である。
【００５９】
姿勢取得部１０８は、例えば、ジャイロセンサなどにより構成され、撮像装置１００の姿勢情報（例えば、横角（ｙａｗ）、縦角（ｐｉｔｃｈ）、回転（ｒｏｌｌ））を取得する。姿勢取得部１０８により取得された姿勢情報は、通信部１０４により画像処理サーバ２００へ送信される。
【００６０】
図９は、参考構図画像の抽出処理（図５のＳ２０５）のさらに詳細な動作の他の例を示すフローチャートである。
【００６１】
まず、参考構図画像抽出部２０７は、撮像装置１００から送信される要求画像枚数ｎ、姿勢情報、及び撮像装置１００の位置情報を受信する（Ｓ２０６１）。
【００６２】
次に、参考構図画像抽出部２０７は、撮像装置１００の位置情報と、代表画像情報の撮影位置情報と、撮像装置１００の姿勢情報と、代表画像情報の撮影姿勢情報との間のユークリッド距離を、Ｓ２０３で抽出した代表画像情報１〜ｍについてそれぞれ算出する（Ｓ２０６２）。例えば、撮像装置１００の位置情報を（ｄｃａ＿ｘ，ｄｃａ＿ｙ，ｄｃａ＿ｚ）とし、代表画像情報ｉ（ｉ：１〜ｍ）の撮影位置情報を（ｄｉｘ，ｄｉｙ，ｄｉｚ）とし、撮像装置１００の姿勢情報を（ｄｃａ＿ｙａｗ，ｄｃａ＿ｐｉｔｃｈ，ｄｃａ＿ｒｏｌｌ）とし、代表画像情報ｉの姿勢情報を（ｄｉｙａｗ，ｄｉｐｉｔｃｈ，ｄｉｒｏｌｌ）とすると、撮像装置１００の位置情報と、代表画像情報ｉの撮影位置情報と、撮像装置１００の姿勢情報と、代表画像情報ｉの撮影姿勢情報との間のユークリッド距離ｄｉｓ２は、下記式２により求めることができる。なお、代表画像情報ｉの撮影姿勢情報は、例えば、図２に示す画像データベースの各画像情報の姿勢領域に格納されているものとする。
【００６３】
【数２】
【００６４】
次に、参考構図画像抽出部２０７は、Ｓ２０６２で算出した各ユークリッド距離を昇順に並び替え、その並び替えた複数のユークリッド距離において最も小さいものから順に要求画像枚数ｎ分選択し、その選択した各ユークリッド距離に対応する代表画像情報をＳ２０３で抽出した代表画像情報１〜ｍから抽出する（Ｓ２０６３）。
【００６５】
そして、参考構図画像抽出部２０７は、Ｓ２０６３で抽出した要求画像枚数ｎの代表画像情報のそれぞれの画像データを参考構図画像とする（Ｓ２０６４）。
【００６６】
このように、第１実施形態の撮影支援システムの変形例の撮影支援システムでは、代表画像情報１〜ｍから参考構図画像を抽出する際、撮像装置１００の位置情報の他にさらに撮像装置１００の姿勢情報も考慮することにより、撮像装置１００が現在取得している画像データの構図により近い構図の参考構図画像を代表画像情報１〜ｍから抽出することができる。
【００６７】
図１０は、第２実施形態の撮影支援システムの一例を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付している。
【００６８】
図１０に示す撮影支援システムにおいて、図１に示す撮影支援システムと異なる点は、画像処理サーバ２００の演算部２０３がさらに優先度設定部２０８（優先度設定手段）を備えている点である。なお、優先度設定部２０８は、記憶部２０２に記憶される各種アプリケーションソフトの１つである「撮影支援処理」が演算部２０３により実行されることにより構成されてもよい。
【００６９】
優先度設定部２０８は、代表画像抽出部２０６で抽出された各代表画像情報にそれぞれ優先度を設定する。
【００７０】
図１１は、第２実施形態の撮影支援システムにおける撮像装置１００の演算部１０６の動作を説明するためのフローチャートである。なお、図１１に示すＳ１００〜Ｓ１０２の処理は、図３に示すＳ１００〜Ｓ１０２の処理と同様であるため、説明を省略する。
【００７１】
演算部１０６の撮影支援画面作成部１０７は、所定数ｎの参考構図画像を受信したと判断すると（Ｓ１０２がＹｅｓ）、それら参考構図画像の優先度を考慮しつつ、それら参考構図画像を用いて撮影支援画面を作成し（Ｓ１０３１）、その作成した撮影支援画面を表示部１０２に表示させる（Ｓ１０４）。例えば、撮影支援画面作成部１０７は、図１２に示すように、右から左へ優先度の高い順に参考構図画像１〜４を並べることにより撮影支援画面を作成してもよい。また、例えば、撮影支援画面作成部１０７は、図１３に示すように、参考構図画像１〜４にそれぞれ優先度を示す優先度メータ１３０を重ねて表示してもよい。なお、優先度メータ１３０の斜線部分が大きい程、優先度が高いことを示しているものとする。また、他にも、優先度に応じて各参考構図画像のそれぞれの表示サイズを変更したり、優先度メータ１３０以外の優先度を示すエフェクトを撮影支援画面に表示したりしてもよい。
【００７２】
図１４は、第２実施形態の撮影支援システムにおける画像処理サーバ２００の演算部２０３の動作を説明するためのフローチャートである。なお、図１４に示すＳ２００〜Ｓ２０３の処理は、図５に示すＳ２００〜Ｓ２０３の処理と同様であるため、説明を省略する。
【００７３】
優先度設定部２０８は、Ｓ２０３で抽出した代表画像情報１〜ｍにそれぞれ優先度を設定する（Ｓ２０３１）。例えば、優先度設定部２０８は、類似画像分類部２０５で分類される類似画像群に含まれる画像情報（画像データ）が多い程、その類似画像群から抽出された代表画像情報の優先度を高くする。すなわち、例えば、類似画像群ｉ（ｉ：１〜ｍ）に含まれる画像情報の数をｘとすると、代表画像情報ｉ（ｉ：１〜ｍ）の優先度ｐｉは、下記式３により求めることができる。なお、Ｃ１は所定の係数とする。また、代表画像情報ｉの優先度ｐｉは、例えば、図２に示す画像データベースの各画像情報の優先度領域に格納されているものとする。
【００７４】
ｐｉ＝Ｃ１ｘ ・・・式３
【００７５】
次に、参考構図画像抽出部２０７は、撮像装置１００の位置情報を受信すると（Ｓ２０４がＹｅｓ）、その位置情報に基づいて参考構図画像を代表画像情報１〜ｍから抽出し（Ｓ２０５）、その抽出した参考構図画像を優先度とともに撮像装置１００へ送信する（Ｓ２０６）。
【００７６】
このように、第２実施形態の撮影支援システムでは、類似画像群に含まれる画像情報が多い程、その類似画像群から抽出される代表画像情報の優先度を高くする構成であるため、人気がありネットワーク上などにたくさん存在する定番の構図の画像データを参考構図画像として撮影者に提示することができる。
【００７７】
なお、優先度設定部２０８は、Ｓ２０５で抽出した参考構図画像の撮影位置情報が撮像装置１００の位置情報に近い程、その参考構図画像に対応する代表画像情報の優先度をさらに高くしてもよい。すなわち、例えば、撮像装置１００の位置ベクトルをｄｃａ、代表画像情報ｉの位置ベクトルをｄｉ、更新前の代表画像情報ｉの優先度をｐｉｏｌｄとすると、更新後の代表画像ｉの優先度ｐｉは、下記式４により求めることができる。なお、Ｃ２は（ｄｃａ−ｄｉ）が小さくなる程、値が大きくなるような所定の係数ベクトルとする。
【００７８】
ｐｉ＝Ｃ２（ｄｃａ−ｄｉ）Ｐｉｏｌｄ ・・・式４
【００７９】
このように、撮像装置１００の位置情報に近い程、代表画像情報の優先度を高くすることで、より高精度に撮影者が所望とする参考構図画像を撮影者に提示することができる。
【００８０】
図１５は、第２実施形態の撮影支援システムの変形例を示す図である。なお、図１０に示す構成と同じ構成には同じ符号を付している。
【００８１】
図１５に示す撮影支援システムにおいて、図１０に示す撮影支援システムと異なる点は、撮像装置１００で現在撮像されている画像データ（スルー画）を画像処理サーバ２００へ送信し、その画像データを用いて優先度設定部２０８が優先度を設定する点である。
【００８２】
図１６は、図１０に示す撮影支援システムにおける優先度設定部２０８の動作を説明するためのフローチャートである。なお、図１６に示すフローチャートは、例えば、図１４のＳ２０３１において行われるものとする。
【００８３】
まず、優先度設定部２０８は、撮像装置１００から送信されるスルー画を受信し（Ｓ１６０１）、そのスルー画の特徴量を算出する（Ｓ１６０２）。
【００８４】
次に、優先度設定部２０８は、その算出した特徴量に基づいて、スルー画と代表画像情報の画像データとの類似度を、代表画像情報１〜ｍそれぞれにおいて算出し（Ｓ１６０３）、その算出した各類似度に基づいて、代表画像情報１〜ｍのそれぞれの優先度を設定する（Ｓ１６０４）。
【００８５】
例えば、撮像装置１００の位置ベクトルｄｃａと代表画像情報ｉの位置ベクトルｄｉとにより撮像装置１００と代表画像情報との距離を算出するための関数をＦ１、スルー画の特徴量ｆｃａと代表画像情報ｉの画像データの特徴量ｆｉとによりスルー画と代表画像情報ｉの画像データとの類似度を算出するための関数をＦ２、類似画像群ｉに含まれる画像情報の数をｘｉとすると、代表画像情報ｉ（ｉ：１〜ｍ）の優先度ｐｉは、下記式５により求めることができる。なお、Ｃ１は所定の係数とし、Ｃ２及びＣ３は所定の係数ベクトルとする。
【００８６】
ｐｉ＝Ｃ１ｘｉ・Ｃ２Ｆ１（ｄｃａ，ｄｉ）・Ｃ３Ｆ２（ｆｃａ，ｆｉ） ・・・式５
【００８７】
このように、図１０に示す第２実施形態の撮影支援システムでは、撮像装置１００の位置情報と代表画像情報の撮影位置情報とが近い程、かつ、スルー画と代表画像情報の画像データとの類似度が高い程、その代表画像情報の優先度を高くする構成であるため、人気がありネットワーク上などにたくさん存在する定番の構図で、かつ、撮影者が所望する構図に近い画像データを参考構図画像として撮影者に提示することができる。
【００８８】
図１７は、本発明の実施形態の撮像装置を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付している。
【００８９】
図１７に示す撮像装置１００は、図１に示す画像処理サーバ２００の演算部２０３の構成（特徴量算出部２０４、類似画像分類部２０５、代表画像抽出部２０６、参考構図画像抽出部２０７）を撮像装置１００の演算部１０６に含めていることを特徴とする。なお、記憶部２０２は、撮像装置１００が外部のコンピュータに接続された場合、そのコンピュータに備えられる記憶部としてもよい。
【００９０】
このように構成することにより、撮像装置１００に通信機能を備える必要がなくなる。
【００９１】
なお、図１７に示す撮像装置１００は、演算部１０６に特徴量算出部２０４、類似画像分類部２０５、代表画像抽出部２０６、参考構図画像抽出部２０７を備える構成であるが、特徴量算出部２０４、類似画像分類部２０５、代表画像抽出部２０６を画像処理サーバ２００の演算部２０３に備え、参考構図画像抽出部２０７のみを演算部１０６に備えるように構成してもよい。この場合、記憶部２０２には、代表画像抽出部２０６で抽出された代表画像情報が記憶されていてもよい。これにより、記憶部２０２の容量を抑えることができる。
【００９２】
また、図１７に示す撮像装置１００は、図１に示す画像処理サーバ２００の演算部２０３の構成を図１に示す撮像装置１００の演算部１０６に含めているが、図８に示す画像処理サーバ２００の演算部２０３の構成を図８に示す撮像装置１００の演算部１０６に含めてもよいし、図１０に示す画像処理サーバ２００の演算部２０３の構成を図１０に示す撮像装置１００の演算部１０６に含めてもよいし、図１５に示す画像処理サーバ２００の演算部２０３の構成を図１５に示す撮像装置１００の演算部１０６に含めてもよい。
【００９３】
図１８は、本発明の第３実施形態の撮影支援システムを示す図である。図１に示す構成と同じ構成には同じ符号を付している。
【００９４】
図１８に示す撮影支援システムは、撮像装置１００や画像処理サーバ２００の他に、撮像装置１００や画像処理サーバ２００とデータの送受信を行う画像管理サーバ３００を備えていることを特徴とする。
【００９５】
撮像装置１００は、撮像部１０１と、表示部１０２（表示手段）と、撮影位置取得部１０３（位置取得手段）と、通信部１０４（第１の通信手段）と、記憶部１０５と、演算部１０６とを備える。また、画像処理サーバ２００は、通信部２０１（第２の通信手段）と、記憶部２０２（第１の記憶手段）と、演算部２０３とを備える。また、画像管理サーバ３００は、通信部３０１（第３の通信手段）と、記憶部３０２（第２の記憶手段）と、演算部３０３とを備える。
【００９６】
画像管理サーバ３００の演算部３０３は、例えば、ＣＰＵやマイクロコンピュータなどにより構成され、記憶部３０２に記憶されているオペレーションシステムのプログラムや各種アプリケーションソフトを実行することにより画像管理サーバ３００全体の動作制御を行う。また、演算部３０３は、特徴量算出部２０４（特徴量算出手段）、類似画像分類部２０５（類似画像分類手段）、及び代表画像抽出部２０６（代表画像抽出手段）を備える。例えば、記憶部３０２に記憶される各種アプリケーションソフトの１つである「撮影支援処理」が演算部３０３により実行されると、特徴量算出部２０４、類似画像分類部２０５、及び代表画像抽出部２０６が構成されるものとする。すなわち、特徴量算出部２０４は、記憶部３０２に記憶されている画像データベース（例えば、図２に示す画像データベース）から複数の画像情報を読み出し、それら画像情報の各画像データのそれぞれの特徴量を算出する。次に、類似画像分類部２０５は、それら各特徴量に基づいて、読み出した複数の画像情報を複数の類似画像群１〜ｍに分類する。そして、代表画像抽出部２０６は、それら類似画像群１〜ｍにおいて、それぞれ、代表画像を抽出する。
【００９７】
通信部３０１は、代表画像抽出部２０６で抽出された代表画像１〜ｍを画像処理サーバ２００へ送信する。画像処理サーバ２００の通信部２０１は、画像管理サーバ３００から送信される代表画像１〜ｍを受信する。画像処理サーバ２００の演算部２０３は、通信部２０１で受信された代表画像１〜ｍを記憶部３０２に記憶する。また、画像処理サーバ２００の参考構図画像抽出部２０７は、記憶部２０２に記憶されている代表画像１〜ｍから所定数ｎの参考構図画像を抽出し、通信部２０１により撮像装置１００へ送信させる。
【００９８】
このように、記憶部３０２に記憶されている複数の画像情報から代表画像１〜ｍを抽出するまでの処理を画像管理サーバ３００で行い、その代表画像１〜ｍを画像処理サーバ２００の記憶部２０２に記憶しておき、画像処理サーバ２００において参考構図画像の抽出処理のみを行うようにしている。これにより、「撮影支援処理」を行う際に画像処理サーバ２００にかかる負担を軽減することができる。また、画像処理サーバ２００の記憶部２０２の記憶容量を低減することができる。
【００９９】
なお、参考構図画像抽出部２０７は、図８に示す撮像装置１００の姿勢取得部１０８で取得される姿勢情報も考慮して、代表画像１〜ｍから所定数ｎの参考構図画像を抽出してもよい。また、画像管理サーバ３００の演算部３０３は、図１０や図１５に示す優先度設定部２０８も備えるように構成してもよい。
【符号の説明】
【０１００】
１００ 撮像装置
１０１ 撮像部
１０２ 表示部
１０３ 撮影位置取得部
１０４ 通信部
１０５ 記憶部
１０６ 演算部
１０７ 撮影支援画面作成部
１０８ 姿勢取得部
２００ 画像処理サーバ
２０１ 通信部
２０２ 記憶部
２０３ 演算部
２０４ 特徴量算出部
２０５ 類似画像分類部
２０６ 代表画像抽出部
２０７ 参考構図画像抽出部
２０８ 優先度設定部
【特許請求の範囲】
【請求項１】
撮像装置と画像処理サーバとが互いにデータを送受信する撮影支援システムであって、
前記撮像装置は、
前記撮像装置の位置情報を取得する位置取得手段と、
前記撮像装置の位置情報を前記画像処理サーバへ送信し、前記画像処理サーバから送信される参考構図画像を受信する第１の通信手段と、
前記参考構図画像を用いて撮影支援画面を作成する撮影支援画面作成手段と、
前記撮影支援画面を表示する表示手段と、
を備え、
前記画像処理サーバは、
少なくとも画像データ及びその画像データの撮影位置情報からなる画像情報を複数記憶する記憶手段と、
前記記憶手段に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出手段と、
前記各特徴量に基づいて、前記記憶手段に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類手段と、
前記複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出手段と、
前記撮像装置の位置情報に近い撮影位置情報に対応する画像データを前記参考構図画像として前記複数の代表画像情報から抽出する参考構図画像抽出手段と、
前記参考構図画像抽出手段により抽出される参考構図画像を前記撮像装置へ送信し、前記撮像装置から送信される前記撮像装置の位置情報を受信する第２の通信手段と、
を備える撮影支援システム。
【請求項２】
請求項１に記載の撮影支援システムであって、
前記撮像装置は、前記撮像装置の姿勢情報を取得する姿勢取得手段を備え、
前記第１の通信手段は、前記姿勢情報を前記画像処理サーバへ送信し、
前記第２の通信手段は、前記撮像装置から送信される前記姿勢情報を受信し、
前記記憶手段は、前記画像データ、前記撮影位置情報、及び前記画像データの撮影姿勢情報からなる画像情報を複数記憶し、
前記参考構図画像抽出手段は、前記撮像装置の位置情報に近い撮影位置情報で、かつ、前記撮像装置の姿勢情報に近い撮影姿勢情報に対応する画像データを前記参考構図画像として前記複数の代表画像情報から抽出する
ことを特徴とする撮影支援システム。
【請求項３】
請求項１に記載の撮影支援システムであって、
前記画像処理サーバは、前記類似画像群に含まれる画像情報が多い程、その類似画像群から抽出された代表画像情報の優先度を高く設定する優先度設定手段を備え、
前記撮影支援画面作成手段は、２以上の前記参考構図画像及びそれら前記参考構図画像にそれぞれ対応する優先度を用いて前記撮影支援画面を作成する
ことを特徴とする撮影支援システム。
【請求項４】
請求項３に記載の撮影支援システムであって、
前記優先度設定手段は、前記代表画像情報の撮影位置情報が前記撮像装置の位置情報に近い程、その代表画像情報の優先度をさらに高くする
ことを特徴とする撮影支援システム。
【請求項５】
請求項４に記載の撮影支援システムであって、
前記優先度設定手段は、前記撮像装置から送信される画像データと前記代表画像情報の画像データとの類似度が高い程、その代表画像情報の優先度をさらに高くする
ことを特徴とする撮影支援システム。
【請求項６】
当該撮像装置の位置情報を取得する位置取得手段と、
少なくとも画像データ及びその画像データの撮影位置情報からなる画像情報を複数記憶する記憶手段と、
前記記憶手段に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出手段と、
前記各特徴量に基づいて、前記記憶手段に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類手段と、
前記複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出手段と、
当該撮像装置の位置情報に近い撮影位置情報に対応する画像データを参考構図画像として前記複数の代表画像情報から抽出する参考構図画像抽出手段と、
前記参考構図画像抽出手段により抽出された参考構図画像を用いて撮影支援画面を作成する撮影支援画面作成手段と、
前記撮影支援画面を表示する表示手段と、
を備える撮像装置。
【請求項７】
撮像装置と画像処理サーバと画像管理サーバとが互いにデータを送受信する撮影支援システムであって、
前記撮像装置は、
前記撮像装置の位置情報を取得する位置取得手段と、
前記撮像装置の位置情報を前記画像処理サーバへ送信し、前記画像処理サーバから送信される参考構図画像を受信する第１の通信手段と、
前記参考構図画像を用いて撮影支援画面を作成する撮影支援画面作成手段と、
前記撮影支援画面を表示する表示手段と、
を備え、
前記画像処理サーバは、
前記参考構図画像を前記撮像装置へ送信し、前記撮像装置から送信される前記撮像装置の位置情報及び前記画像管理サーバから送信される複数の代表画像情報を受信する第２の通信手段と、
前記複数の代表画像情報を記憶する第１の記憶手段と、
前記撮像装置の位置情報に近い撮影位置情報に対応する画像データを前記参考構図画像として前記第１の記憶手段に記憶されている複数の代表画像情報から抽出する参考構図画像抽出手段と、
を備え、
前記画像管理サーバは、
少なくとも画像データ及びその画像データの撮影位置情報からなる画像情報を複数記憶する第２の記憶手段と、
前記第２の記憶手段に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出手段と、
前記各特徴量に基づいて、前記第２の記憶手段に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類手段と、
前記複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出手段と、
前記代表画像抽出手段により抽出される複数の代表画像情報を前記画像処理サーバへ送信する第３の通信手段と、
を備える撮影支援システム。
【請求項１】
撮像装置と画像処理サーバとが互いにデータを送受信する撮影支援システムであって、
前記撮像装置は、
前記撮像装置の位置情報を取得する位置取得手段と、
前記撮像装置の位置情報を前記画像処理サーバへ送信し、前記画像処理サーバから送信される参考構図画像を受信する第１の通信手段と、
前記参考構図画像を用いて撮影支援画面を作成する撮影支援画面作成手段と、
前記撮影支援画面を表示する表示手段と、
を備え、
前記画像処理サーバは、
少なくとも画像データ及びその画像データの撮影位置情報からなる画像情報を複数記憶する記憶手段と、
前記記憶手段に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出手段と、
前記各特徴量に基づいて、前記記憶手段に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類手段と、
前記複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出手段と、
前記撮像装置の位置情報に近い撮影位置情報に対応する画像データを前記参考構図画像として前記複数の代表画像情報から抽出する参考構図画像抽出手段と、
前記参考構図画像抽出手段により抽出される参考構図画像を前記撮像装置へ送信し、前記撮像装置から送信される前記撮像装置の位置情報を受信する第２の通信手段と、
を備える撮影支援システム。
【請求項２】
請求項１に記載の撮影支援システムであって、
前記撮像装置は、前記撮像装置の姿勢情報を取得する姿勢取得手段を備え、
前記第１の通信手段は、前記姿勢情報を前記画像処理サーバへ送信し、
前記第２の通信手段は、前記撮像装置から送信される前記姿勢情報を受信し、
前記記憶手段は、前記画像データ、前記撮影位置情報、及び前記画像データの撮影姿勢情報からなる画像情報を複数記憶し、
前記参考構図画像抽出手段は、前記撮像装置の位置情報に近い撮影位置情報で、かつ、前記撮像装置の姿勢情報に近い撮影姿勢情報に対応する画像データを前記参考構図画像として前記複数の代表画像情報から抽出する
ことを特徴とする撮影支援システム。
【請求項３】
請求項１に記載の撮影支援システムであって、
前記画像処理サーバは、前記類似画像群に含まれる画像情報が多い程、その類似画像群から抽出された代表画像情報の優先度を高く設定する優先度設定手段を備え、
前記撮影支援画面作成手段は、２以上の前記参考構図画像及びそれら前記参考構図画像にそれぞれ対応する優先度を用いて前記撮影支援画面を作成する
ことを特徴とする撮影支援システム。
【請求項４】
請求項３に記載の撮影支援システムであって、
前記優先度設定手段は、前記代表画像情報の撮影位置情報が前記撮像装置の位置情報に近い程、その代表画像情報の優先度をさらに高くする
ことを特徴とする撮影支援システム。
【請求項５】
請求項４に記載の撮影支援システムであって、
前記優先度設定手段は、前記撮像装置から送信される画像データと前記代表画像情報の画像データとの類似度が高い程、その代表画像情報の優先度をさらに高くする
ことを特徴とする撮影支援システム。
【請求項６】
当該撮像装置の位置情報を取得する位置取得手段と、
少なくとも画像データ及びその画像データの撮影位置情報からなる画像情報を複数記憶する記憶手段と、
前記記憶手段に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出手段と、
前記各特徴量に基づいて、前記記憶手段に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類手段と、
前記複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出手段と、
当該撮像装置の位置情報に近い撮影位置情報に対応する画像データを参考構図画像として前記複数の代表画像情報から抽出する参考構図画像抽出手段と、
前記参考構図画像抽出手段により抽出された参考構図画像を用いて撮影支援画面を作成する撮影支援画面作成手段と、
前記撮影支援画面を表示する表示手段と、
を備える撮像装置。
【請求項７】
撮像装置と画像処理サーバと画像管理サーバとが互いにデータを送受信する撮影支援システムであって、
前記撮像装置は、
前記撮像装置の位置情報を取得する位置取得手段と、
前記撮像装置の位置情報を前記画像処理サーバへ送信し、前記画像処理サーバから送信される参考構図画像を受信する第１の通信手段と、
前記参考構図画像を用いて撮影支援画面を作成する撮影支援画面作成手段と、
前記撮影支援画面を表示する表示手段と、
を備え、
前記画像処理サーバは、
前記参考構図画像を前記撮像装置へ送信し、前記撮像装置から送信される前記撮像装置の位置情報及び前記画像管理サーバから送信される複数の代表画像情報を受信する第２の通信手段と、
前記複数の代表画像情報を記憶する第１の記憶手段と、
前記撮像装置の位置情報に近い撮影位置情報に対応する画像データを前記参考構図画像として前記第１の記憶手段に記憶されている複数の代表画像情報から抽出する参考構図画像抽出手段と、
を備え、
前記画像管理サーバは、
少なくとも画像データ及びその画像データの撮影位置情報からなる画像情報を複数記憶する第２の記憶手段と、
前記第２の記憶手段に記憶される複数の画像情報の各画像データのそれぞれの特徴量を算出する特徴量算出手段と、
前記各特徴量に基づいて、前記第２の記憶手段に記憶される複数の画像情報を複数の類似画像群に分類する類似画像分類手段と、
前記複数の類似画像群からそれぞれ代表画像情報を抽出する代表画像抽出手段と、
前記代表画像抽出手段により抽出される複数の代表画像情報を前記画像処理サーバへ送信する第３の通信手段と、
を備える撮影支援システム。
【図１】
【図２】
【図３】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図４】
【図２】
【図３】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図４】
【公開番号】特開２０１２−２５３６６９（Ｐ２０１２−２５３６６９Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２６４５１（Ｐ２０１１−１２６４５１）
【出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]