画像処理装置、画像処理方法及び画像処理プログラム
【課題】特定の前提条件を必要とせずに合成処理に用いる写真を選別することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的としている。
【解決手段】付加情報に含まれる所定の情報に基づき、前記画像データが撮像された位置が所定範囲内である画像データを選択し、第一の所定の記憶領域に格納する格納手段と、前記第一の所定の記憶領域に複数の前記画像データが格納されているとき、前記複数の前記画像データ間でデータ比較領域が存在するか否かを判断し、前記複数の前記画像データ間でデータ比較領域が存在する際には当該データ比較領域を算出するデータ比較領域算出手段と、前記データ比較領域において前記複数の前記画像データが一致するか否かを比較する画像データ比較手段と、前記画像データ比較手段による比較結果に基づき前記複数の前記画像データを分類する分類手段と、を有する。
【解決手段】付加情報に含まれる所定の情報に基づき、前記画像データが撮像された位置が所定範囲内である画像データを選択し、第一の所定の記憶領域に格納する格納手段と、前記第一の所定の記憶領域に複数の前記画像データが格納されているとき、前記複数の前記画像データ間でデータ比較領域が存在するか否かを判断し、前記複数の前記画像データ間でデータ比較領域が存在する際には当該データ比較領域を算出するデータ比較領域算出手段と、前記データ比較領域において前記複数の前記画像データが一致するか否かを比較する画像データ比較手段と、前記画像データ比較手段による比較結果に基づき前記複数の前記画像データを分類する分類手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置により撮像された画像データに係る付加情報に基づき、合成が可能な前記画像データを選別する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラとコンピュータとを接続し、デジタルカメラで撮像した画像データをコンピュータに読み込んで様々な処理を行う画像処理システムが知られている（特許文献１）。この画像処理システムには、デジタルカメラを用いて複数枚の写真を撮影し、コンピュータにおいて、複数の写真を表す画像データの重複する領域を重ね合わせるように合成し、連続する１つの画像データを生成する写真合成処理を行うものがある（特許文献２）。
【０００３】
従来、このような写真合成処理では、自動で合成処理用の写真を選別する技術が考えられ既に知られている。例えば撮影時の地理的位置が相互に所定の距離以下であると決定された複数の画像ファイルを、前記パノラマ画像の生成に利用可能な画像ファイルとして選別するファイル選別装置等が知られている（特許文献３）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の技術において画像ファイルを自動で選別させるには、写真を撮影する際に、地表からの高さを一定に保ってカメラを水平方向に移動させつつ写真を撮影することと、垂直方向のカメラの傾きを一定に保つことが前提条件として必要であった。
【０００５】
すなわち上記従来の技術では、この２つの前提条件を満たさない場合は、合成処理用の写真を選別する精度が下がり、合成できない写真を選別する可能性が高くなる。
【０００６】
本発明は、上記事情を鑑みてこれを解決すべく成されたものであり、特定の前提条件を必要とせずに合成処理に用いる写真を選別することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明は、上記目的を達成すべく、以下の如き構成を採用した。
【０００８】
本発明は、撮像装置により撮像された画像データに係る付加情報に基づき、合成が可能な前記画像データを選別する画像処理装置であって、前記付加情報に含まれる所定の情報に基づき、前記画像データが撮像された位置が所定範囲内である画像データを選択し、第一の所定の記憶領域に格納する格納手段と、前記第一の所定の記憶領域に複数の前記画像データが格納されているとき、前記複数の前記画像データ間でデータ比較領域が存在するか否かを判断し、前記複数の前記画像データ間でデータ比較領域が存在する際には当該データ比較領域を算出するデータ比較領域算出手段と、前記データ比較領域において前記複数の前記画像データが一致するか否かを比較する画像データ比較手段と、前記画像データ比較手段による比較結果に基づき前記複数の前記画像データを分類する分類手段と、を有する。
【０００９】
尚本発明は、上記各処理を実行する方法、上記各処理をコンピュータに実行させるためのプログラムとすることもできる。
【発明の効果】
【００１０】
本発明によれば、特定の前提条件を必要とせずに合成処理に用いる写真を選別することができる。
【図面の簡単な説明】
【００１１】
【図１】第一の実施形態の画像処理システムを説明する図である。
【図２】第一の実施形態の画像処理システムを構成する各装置の機能構成を説明する図である。
【図３】画像情報解析部の機能構成を説明する図である。
【図４】画像データ比較部の機能構成を説明する図である。
【図５】画像データ分類部の機能構成を説明する図である。
【図６】第一の実施形態の画像データ選別部の動作を説明するフローチャートである。
【図７】第一の実施形態におけるデータ比較領域の算出を説明する図である。
【図８】第一の実施形態のデータ比較部によるデータ比較領域の比較を説明する図である。
【図９】第二の実施形態におけるデータ比較領域の算出を説明する図である。
【図１０】第二の実施形態のデータ比較部によるデータ比較領域の比較を説明する図である。
【発明を実施するための形態】
【００１２】
本実施形態では、複数の画像データの撮影場所を示す位置情報が所定範囲内の画像データを１つのフォルダに格納し、フォルダ内において重複する可能性がある領域がある画像データについては重複する領域を切り出して別のフォルダに格納する。
（第一の実施形態）
以下に図面を参照して本発明の第一の実施形態について説明する。図１は、第一の実施形態の画像処理システムを説明する図である。
【００１３】
本実施形態の画像処理システム１００は、デジタルカメラ１１０と、画像処理装置１２０とがケーブル１３０により接続されて構成されている。本実施形態のデジタルカメラ１１０は、画像ファイルを生成する入力装置である。画像処理装置１２０は、画像データの表示制御及び画像処理を行うコンピュータである。また本実施形態の画像処理装置１２０は、デジタルカメラ１１０で生成された画像ファイルが保存されているメモリカードが挿入されるメモリカード挿入口１２１を備えている。
【００１４】
本実施形態の画像処理システム１００では、ケーブル１３０及びメモリカード挿入口１２１からデジタルカメラ１１０で生成された画像ファイルを画像処理装置１２０に転送することができる。尚デジタルカメラ１１０により生成された画像ファイルは、メモリカード以外の可搬型の記録媒体に保存されても良い。またこの記録媒体には、画像処理装置１２０における後述する画像処理を実行するための画像処理プログラムが格納されていても良い。画像処理プログラムが記録媒体に格納されていた場合、画像処理装置１２０は、記録媒体から画像処理プログラムを読み出して、後述するメモリへ展開し、ＣＰＵにより画像処理プログラムを実行しても良い。
【００１５】
図２は、第一の実施形態の画像処理システムを構成する各装置の機能構成を説明する図である。
【００１６】
本実施形態のデジタルカメラ１１０は、転送ドライバ１１１を有する。本実施形態の画像処理装置１２０は、メモリカード挿入部１２１、ＣＰＵ（Central Processing Unit）１２２、メモリユニット１２３、ハードディスク１２４、画像データ選別部２００を有する。
【００１７】
デジタルカメラ１１０は、画像処理装置１２０に接続されて画像処理装置１２０から画像ファイルの転送指示を受けると、転送ドライバ１１１を介して画像ファイルをビットマップに展開した画像データとして出力する。出力された画像データは、画像データ選別部２００に転送される。画像処理装置１２０からの転送指示は、例えば画像処理装置１２０にインストールされた画像ファイル転送用アプリケーション等から行われる。
【００１８】
画像処理装置１２０において、メモリカード挿入口１２１は、転送ドライバ１２７を有する。本実施形態では、メモリカードにデジタルカメラ１１０で生成した画像ファイルが記憶されていた場合、転送ドライバ１２７を介して画像データに展開し、画像データ選別部２００へ転送する。ＣＰＵ１２２は、画像処理装置１２０の全体の制御を司る。メモリユニット１２３は、メモリ１２５、１２６を含み、ＣＰＵ１２２や画像データ選別部２００での処理結果や画像処理装置１２０の各種設定値等が格納されている。ハードディスク１２４は、例えばデジタルカメラ１１０が生成した画像データや、各種アプリケーションプログラム等が格納されている。
【００１９】
画像データ選別部２００は、画像データが転送されてくると、この画像データから合成可能な画像データを選別する。以下に画像データ選別部２００の詳細を説明する。
【００２０】
画像データ選別部２００は、画像情報解析部２１０、画像データ比較部２２０、画像データ分類部２３０を有する。
【００２１】
本実施形態の画像データ選別部２００では、画像情報解析部２１０により、入力された複数の画像データを解析する。そして解析結果を画像データ比較部２２０により比較し、合成可能な複数の画像データがあった場合、画像データ分類部２３０により合成可能な画像データを分類する。
【００２２】
以下に、画像データ選別部２００の有する各部の詳細について説明する。尚以下の本実施形態の説明では、説明の便宜上画像データ選別部２００に２つの画像データが入力された場合を説明するが、画像データ選別部２００には、３つ以上の画像データが入力されて良い。
【００２３】
図３は、画像情報解析部の機能構成を説明する図である。本実施形態の画像情報解析部２１０は、付加情報解析部２１１、情報抽出部２１２、フォルダ作成部２１３、データ比較領域設定部２１４を有する。
【００２４】
付加情報解析部２１１は、デジタルカメラ１１０又はメモリカードから画像データが入力されると、電子情報技術産業協会（ＪＥＩＴＡ）によって制定されたデジタルスチルカメラ用画像ファイルフォーマット規格（Ｅｘｉｆ）等を含む付加情報を解析する。
【００２５】
情報抽出部２１２は、解析された付加情報から所定の情報を抽出する。本実施形態の所定の情報とは、写真を撮影した位置情報、目的地の位置情報（被写体がある場所の位置情報）、写真の被写体と撮影地点との距離、撮影された写真の方向を示す角度、撮影したときの水平方向とカメラの底面との傾き、焦点距離、画像の幅及び画像の高さである。情報抽出部２１２は、抽出した所定の情報を画像データに付加し、フォルダ作成部２１３へ出力する。尚以下の説明では、所定の情報を属性情報と呼ぶ。
【００２６】
フォルダ作成部２１３は、入力された属性情報のうち、写真を撮影した位置情報に応じてハードディスク１２４にフォルダを作成する。本実施形態では、例えば撮影場所の位置情報が所定範囲内の画像データが格納されるフォルダが作成される。ここでの所定範囲は予め設定された範囲であり、任意に設定されても良い。また本実施形態のフォルダ作成部２１３は、フォルダ作成時に位置情報と関連したフォルダ名を作成する。フォルダ作成部２１３は、フォルダを作成すると、各画像データの属性情報に含まれる位置情報と対応したフォルダへ画像データを格納する。
【００２７】
例えばフォルダ作成部２１３は、同一の建物内を示す位置情報を有する画像データを格納するフォルダの名前を建物の名前とし、この建物内で撮影された画像データを建物名がつけられたフォルダへ格納しても良い。またフォルダ作成部２１３は、例えば同一の町内を示す位置情報を有する画像データを格納するフォルダの名前を町の名前とし、この町内で撮影された画像データを町の名前がつけられたフォルダへ格納しても良い。
【００２８】
フォルダ作成部２１３は、画像データをフォルダへ格納すると、画像データと画像データが格納されるフォルダ名との対応付けたフォルダ対応情報を属性情報に含める。
【００２９】
データ比較領域設定部２１４は、フォルダに複数の画像データが存在する場合に、そのフォルダ内の画像データ毎に重複する可能性のある領域を後述する方法で算出する。尚本実施形態における画像データの重複とは、例えば複数の画像データにおいて同一の被写体が写るっていることを示してもよい。尚本実施形態の被写体とは、特に、固定された被写体、例えば景色等である。また以下の本実施形態の説明では、画像データ毎に重複する可能性のある領域をデータ比較領域と呼ぶ。
【００３０】
そしてデータ比較領域設定部２１４は、各々の画像データに対して算出された領域をデータ比較領域として設定し、その設定値を属性情報に含める。データ比較領域設定部２１４は、この処理を複数の画像データが存在するフォルダの数だけ繰り返す。
【００３１】
次に、図４を参照して本実施形態の画像データ比較部２２０について説明する。図４は、画像データ比較部の機能構成を説明する図である。
【００３２】
画像データ比較部２２０は、領域切り出し部２２１、データ比較部２２２を有する。領域切り出し部２２１は、画像情報解析部２１０から出力された属性情報に含まれるデータ比較領域の設定値に基づき、２つの画像データからデータ比較領域内の画像データを切り出す。領域切り出し部２２１は、切り出した一方の画像データをメモリ１２５に格納し、切り出した他方の画像データをメモリ１２６に格納する。
【００３３】
データ比較部２２２は、メモリ１２５、１２６にそれぞれ格納された画像データを読み出し、画像データ同士が重複するか否かを判定する。
【００３４】
判定手法は、例えばデータ比較領域全面の画素を比較する手法であっても良い。尚本実施形態の画像処理装置１２０は、一般的なコンピュータにより実現するものとしたが、画像処理装置１２０は、例えば画像形成を行うプリンタ等によって実現しても良い。この場合、上記判定の手法は、プリンタのメモリ容量等を考慮し、ハイパスフィルタを用いて部分的にエッジを比較するようなパターンマッチング処理とすることが好ましい。
【００３５】
データ比較部２２２は、２つの画像データに一致する部分があると判定したとき、画像面内の座標情報を属性情報に含め、画像データ分類部２３０へ出力する。同時にデータ比較部２２２はそれぞれのメモリ１２５，１２６から読み出した２つの画像データ（データ比較領域）を属性情報と共に画像データ分類部２３０へ出力する。画像面内の座標情報とは、領域切り出し部２２１により切り出された領域のうち、一致すると判断された画素群の座標情報である。本実施形態では、画像データが一致する複数の画素を画素群とし、この画素群の座標情報を属性情報に含める。具体的には例えば、画像データが一致する画素群の座標をｘ＝６４〜１００，ｙ＝３２〜５０とすると、ｘ＝６４，ｙ＝３２，ｘ＿ｃｏｕｎｔ＝１００−６４＋１＝３７,ｙ＿ｃｏｕｎｔ＝５０−３２＋１＝１９というように４つの値だけを保持すれば良く、属性情報の情報量を削減できる。
【００３６】
次に、図５を参照して本実施形態の画像データ分類部２３０について説明する。図５は、画像データ分類部の機能構成を説明する図である。
【００３７】
本実施形態の画像データ分類部２３０は、フォルダ追加部２３１、ファイル選別部２３２を有する。
【００３８】
フォルダ追加部２３１は、画像データ比較部２２０から画像データと属性情報が入力されると、画像データを格納するフォルダを新たに作成する。フォルダ追加部２３１は、例えば属性情報に含まれるフォルダ対応情報のフォルダ名に「（合成可）」を追加し、新たなフォルダを作成する。
【００３９】
フォルダ追加部２３１により新たに追加されたフォルダは、ハードディスク１２４に作成される。またフォルダ追加部２３１は、新たに追加されたフォルダ名をフォルダ対応情報に含め、画像データと属性情報をファイル選別部２３２へ出力する。
【００４０】
ファイル選別部２３２では、フォルダ追加部２３１で新たに追加されたフォルダに画像データと属性情報を格納する。このとき属性情報は、情報抽出部２１２により抽出された所定の情報と、画像データが格納されたフォルダ名を含むフォルダ対応情報と、データ比較領域の設定値と、画像面内の座標情報と、が含まれる。
【００４１】
以下に、図６を参照して本実施形態の画像データ選別部２００の動作を説明する。図６は、第一の実施形態の画像データ選別部の動作を説明するフローチャートである。
【００４２】
画像データ選別部２００は、付加情報解析部２１１に入力された画像データの付加情報の有無を判断する（ステップＳ６０１）。尚付加情報は、電子情報技術産業協会（ＪＥＩＴＡ）によって制定されたデジタルスチルカメラ用画像ファイルフォーマット規格（Ｅｘｉｆ）で定められた場所に情報が格納されている。
【００４３】
ステップＳ６０１において付加情報無しと判断された場合、画像データ選別部２００は処理を終了する。ステップＳ６０１で付加情報有りと判断された場合、情報抽出部２１２は、付加情報から所定の情報（属性情報）を抽出する（ステップＳ６０２）。
【００４４】
続いてフォルダ作成部２１３は、属性情報に含まれる「写真を撮影した位置情報」に応じて、画像データを格納するフォルダを作成する（ステップＳ６０３）。続いてフォルダ作成部２１３は、作成したフォルダに対応する画像データを格納する（ステップＳ６０４）。このときフォルダ作成部２１３は、フォルダ対応情報を属性情報に含め、画像データと共にこの属性情報もフォルダへ格納する。
【００４５】
続いてデータ比較領域設定部２１４は、複数の画像データが格納されているフォルダが存在するか否かを判断する（ステップＳ６０５）。尚複数の画像データとは、複数の写真に対応する複数の画像データである。ステップＳ６０５において該当するフォルダが存在しない場合、画像データ選別部２００は処理を終了する。ステップＳ６０５において該当するフォルダが存在する場合、データ比較領域設定部２１４は、複数の画像データが格納されたフォルダを選択する（ステップＳ６０６）。尚ステップＳ６０５において、該当するフォルダが複数存在した場合、画像データの属性情報が抽出された順にフォルダを選択しても良い。
【００４６】
データ比較領域設定部２１４は、データ比較領域設定対象の２つの画像データを選択する（ステップＳ６０７）。２つの画像データとは、２つの写真に対応する画像データである。尚１つのフォルダに３つ以上の画像データが格納されている場合、格納された順番の早い２つの画像データを選出しても良い。
【００４７】
画像データを選択すると、データ比較領域設定部２１４は、後述する式３、式４を用いてデータ比較領域の算出に用いるパラメータを算出する（ステップＳ６０８）。続いてデータ比較領域設定部２１４は、後述する判定式１を用いて選択された２つの画像データが重複する可能性があるか否かを判断する（ステップＳ６０９）。ステップＳ６０９において重複する可能性がないと判断された場合、データ比較領域設定部２１４は後述するステップＳ６１５へ進む。尚本実施形態では、画像データの比較は、ハードディスク１２４に格納された画像データの複製を用いて行うものとした。
【００４８】
ステップＳ６０９において重複する可能性があると判断された場合、データ比較領域設定部２１４は、後述する式１、式２を用いてデータ比較領域の幅方向の設定値と高さ方向の設定値を決定し、この設定値を属性情報に含めて画像データと共に領域切り出し部２２１へ出力する（ステップＳ６１０）。
【００４９】
以下に図７を参照して本実施形態のデータ比較領域設定部２１４によるデータ比較領域の算出について説明する。図７は、第一の実施形態におけるデータ比較領域の算出を説明する図である。
【００５０】
図７では、撮影地点Ｐから撮影した２つの画像７１、７２を例として説明する。本実施形態のデータ比較領域設定部２１４は、以下の判定式に基づき画像７１と画像７２とに重複する部分があるか否かを、以下の判定式１に基づき判定する。
判定式１
α１／２＋α２／２≦θ ならば重複する部分あり
α１／２＋α２／２＞θ ならば重複する部分なし
この判定式により重複する部分ありと判定される。
【００５１】
画像７１と画像７２とにおいて重複する可能性のある部分があると判定されると、データ比較領域設定部２１４は、以下の式１により重複する可能性のある部分の画像の幅を算出する。尚Ａ１は画像７１の幅であり、Ａ２は画像７２の幅である。Ａ１′は画像７１における画像７２と重複する部分の幅であり、Ａ２′は画像７２における画像７１と重複する部分の幅である。
【００５２】
【数１】
算出結果は、Ａ１′≒Ａ２′となるはずだが、デジタルカメラ１１０に設けられているＧＰＳ（Global Positioning System）の受信感度によっては、誤差が大きくなることも考えられる。そのときには、どちらか一方の画像データにおけるデータ比較領域の幅を基準値とし、もう一方の画像データにおけるデータ比較領域の幅を基準値と同じにするとよい。例えば、Ａ１′とＡ２′の値を比較して大きいほうの値を基準値とすればよい。
【００５３】
次にデータ比較領域設定部２１４は、以下の式２により、重複する部分の画像の高さ（図８参照）を算出する。尚Ｂ１は画像７１の高さであり、Ｂ２は画像７２の高さである。
【００５４】
【数２】
データ比較領域設定部２１４は、以上により、算出されたＡ１′、Ａ２′、Ｂ１′及びＢ２′の値をデータ比較領域の設定値として属性情報に含め、画像データと共に領域切り出し部２２１へ送る。
【００５５】
尚画像７１、画像７２が左右どちらに位置するかについては、以下に述べるパラメータγ１：画像７１を撮影した方向、γ２：画像７２を撮影した方向から決定できる。尚画像を撮影した方向を示すパラメータであるγ１、γ２は、付加情報に含まれるものであり、属性情報として情報抽出部２１２により付加情報から抽出される。尚本実施形態における画像の撮影した方向は、「単位」と「数値」で表されても良い。単位は、方位の表し方を示すものであり、真方位又は磁気方位の何れか一方が選択されても良い。数値は、０〜３５９．９９までの範囲で表される。
【００５６】
以下に図７に示すパラメータについて説明する。
α１は画像７１の画像幅方向の画角であり、α２は画像７２の画像幅方向画角であり、θは撮影地点から見た画像７１、画像７２間の角度である。Ｘ１は画像７１の被写体と撮影地点Ｐと間の距離、Ｘ２は画像７２の被写体と撮影地点Ｐと間の距離である。Ａ１は画像７１の幅（カメラのフレームサイズ）であり、Ａ２は画像７２の幅（カメラのフレームサイズ）である。Ｂ１は画像７１の高さ（カメラのフレームサイズ）であり、Ｂ２は画像７２の高さ（カメラのフレームサイズ）である。
【００５７】
尚これらのパラメータのうち属性情報として取得できるパラメータは、Ｘ１、Ｘ２、Ａ１、Ａ２、Ｂ１及びＢ２である。
【００５８】
その他のパラメータについては以下の数式により算出される。
【００５９】
角度θは以下の式３より算出できる。尚、以下の式３に用いた全てのパラメータについては属性情報として取得できる。
【００６０】
【数３】
ここでγ１は画像７１を撮影した方向であり、γ２は画像７２を撮影した方向である。
【００６１】
画角α１、α２は以下の式４により算出できる。尚、以下の式４に用いた全てのパラメータは付加情報として取得できる。尚式４では、ｘがＡ１の場合α＝α１、ｘがＡ２の場合α＝α２である。
【００６２】
【数４】
尚式３、式４により算出されるパラメータは、データ比較領域設定部２１４において２つ画像データが重複するか否かを判定する前に、予め算出されているものとした。
【００６３】
図６に戻って、領域切り出し部２２１は、属性情報に含まれる設定値に基づき、２つの画像データからデータ比較領域を切り出し、それぞれをメモリ１２５、１２６に格納する（ステップＳ６１１）。
【００６４】
続いてデータ比較部２２２は、メモリ１２５、１２６に格納された画像データに一致する部分があるかどうかを判定する（ステップＳ６１２）。
【００６５】
以下に図８を参照してデータ比較部２２２による比較について説明する。図８は、第一の実施形態のデータ比較部によるデータ比較領域の比較を説明する図である。
【００６６】
図８において、画像７１と画像７２とが重複する。本実施形態のデータ比較部２２２は、画像７１のデータ比較領域（Ａ'×Ｂ１）を示す画像データの画素と、画像７２のデータ比較領域（Ａ'×Ｂ２）を示す画像データの画素とを比較し、画像７１，７２間で画素が一致する部分があるか否かを判断する。この点に関し、それぞれの部分は実際には同一の被写体に対応するものではないが画像７１，７２間でいくつかの画素が偶然一致するというような事態を考慮し、画像７１，７２間で画素が一致する部分があるか否かの判断は、当該部分の各々が所定の閾値以上である際に限ってなされることが望ましい。当該閾値は例えば実験等によって決定することができる。
【００６７】
ステップＳ６１２において、画像データに一致する部分がある場合、フォルダ追加部２３１は、新たなフォルダを作成する（ステップＳ６１３）。ここで作成する新規フォルダはいずれもステップＳ６１２で一致する部分があると判定され、合成可能であると判断された画像データが格納されるものである。ステップＳ６１２において、一致する部分がない場合、ステップＳ６１５へ進む。
【００６８】
続いてファイル選別部２３２は、ステップＳ６１２で一致する部分ありと判定された画像データをステップＳ６１３で作成したフォルダに格納する（ステップＳ６１４）。
【００６９】
続いて画像データ選別部２００は、ステップＳ６０６で選択したフォルダ内に、ステップＳ６０７以降の処理を施していない画像データが存在するか否かを判断する（ステップＳ６１５）。ステップＳ６１５において該当する画像データが存在する場合、ステップＳ６０７へ戻る。ステップＳ６１５において該当する画像データが存在しない場合、画像データ選別部２００は、ハードディスク１２４に複数の画像データが格納された未処理のフォルダが存在するか否かを判断する（ステップＳ６１６）。ステップＳ６１６において該当するフォルダが存在する場合、ステップＳ６０６に戻る。ステップＳ６１６において該当するフォルダが存在しない場合、画像データ選別部２００は処理を終了する。
【００７０】
以上に説明したように、本実施形態では、属性情報に基づき、撮像した位置が所定範囲内の複数の画像データにおいて、重複する可能性がある領域が存在するか否かを判定する。そして重複する可能性のある領域が存在する場合は、重複する領域を算出してデータ比較領域とする。そしてデータ比較領域において一致する画素が存在する場合、データ比較領域として切り出された画像データを、合成可能な画像データとしてまとめて保存しておく。よって本実施形態では、前提条件を設けることなく合成可能な画像データを選別することができる。
【００７１】
また本実施形態では、通常の画像データを格納するフォルダとは別に、複数の画像データにおいて一致する部分のある領域を格納するフォルダを設けることで、例えばモニタに表示する場合にも速やかに合成処理を行うことができる。
【００７２】
（第二の実施形態）
以下に図面を参照して本発明の第二の実施形態について説明する。本発明の第二の実施形態では、データ比較領域の算出方法のみが第一の実施形態と相違する。よって以下の本発明の第二の実施形態では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには第一の実施形態の説明で用いた符号を付与し、その説明を省略する。
【００７３】
図９は、第二の実施形態におけるデータ比較領域の算出を説明する図である。図９では、画像が傾いている場合を示している。図９（ａ）は、データ比較領域の算出を説明する図であり、図９（ｂ）は画像の傾きを示す図である。
【００７４】
図９では、撮影地点Ｐから撮影した２つの画像９１、９２を例として説明する。本実施形態のデータ比較領域設定部２１４は、以下の判定式２に基づき画像９１と画像９２とに重複する部分があるか否かを判定する。
判定式２
α１／２＋α２／２＋Ｃ２≦θ ならば重複する部分なし
α１／２＋α２／２＋Ｃ２＞θ ならば重複する部分あり
ここで、判定式２における係数Ｃ２は、以下の式５にて算出される。
【００７５】
【数５】
この判定式２により、画像９１と画像９２とが重複する部分があると判定されると、データ比較領域設定部２１４は、以下の式６により重複している部分の画像の幅を算出する。
【００７６】
【数６】
次にデータ比較領域設定部２１４は、以下の式７により、重複する部分の画像の高さ（図８参照）を算出する。
【００７７】
【数７】
本実施形態では、以上により、算出されたＡ１′、Ａ２′、Ｂ１′及びＢ２′の値をデータデータ比較領域の設定値として属性情報に含め、画像データと共に領域切り出し部２２１へ送る。
【００７８】
以下に図１０を参照してデータ比較部２２２による比較について説明する。図１０は、第二の実施形態のデータ比較部によるデータ比較領域の比較を説明する図である。
【００７９】
図１０（ａ），（ｂ），（ｃ）において、画像９１と画像９２とが重複する。本実施形態のデータ比較部２２２は、画像９１のデータ比較領域（Ａ'×Ｂ１）を示す画像データの画素と、画像９２のデータ比較領域（Ａ'×Ｂ２'）を示す画像データの画素とを比較し、画像９１，９２間で画素が一致する部分があるか否かを判断する。なお図１０（ｃ）中のＡ'は、Ａ'＝Ａ１'＝Ａ２'である。又、上述の第一の実施形態同様、それぞれの部分は実際には同一の被写体に対応するものではないが、画像９１，９２間でいくつかの画素が偶然一致するというような事態を考慮し、画像９１，９２間で画素が一致する部分があるか否か判断は当該部分の各々が所定の閾値以上である際に限ってなされることが望ましい。当該閾値は例えば実験等によって決定することができる。
【００８０】
本実施形態では、上記構成により、第一の実施形態と同様の効果を奏することができる。
【００８１】
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。
【符号の説明】
【００８２】
１００ 画像処理システム
１１０ デジタルカメラ
１２０ ＣＰＵ
２００ 画像処理部
２１０ 画像情報解析部
２２０ 画像データ比較部
２３０ 画像データ分類部
【先行技術文献】
【特許文献】
【００８３】
【特許文献１】特開２００６−０８０７３１号公報
【特許文献２】特開２０００−２２９３４号公報
【特許文献３】特開２００８−１０４１７９号公報
【技術分野】
【０００１】
本発明は、撮像装置により撮像された画像データに係る付加情報に基づき、合成が可能な前記画像データを選別する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラとコンピュータとを接続し、デジタルカメラで撮像した画像データをコンピュータに読み込んで様々な処理を行う画像処理システムが知られている（特許文献１）。この画像処理システムには、デジタルカメラを用いて複数枚の写真を撮影し、コンピュータにおいて、複数の写真を表す画像データの重複する領域を重ね合わせるように合成し、連続する１つの画像データを生成する写真合成処理を行うものがある（特許文献２）。
【０００３】
従来、このような写真合成処理では、自動で合成処理用の写真を選別する技術が考えられ既に知られている。例えば撮影時の地理的位置が相互に所定の距離以下であると決定された複数の画像ファイルを、前記パノラマ画像の生成に利用可能な画像ファイルとして選別するファイル選別装置等が知られている（特許文献３）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の技術において画像ファイルを自動で選別させるには、写真を撮影する際に、地表からの高さを一定に保ってカメラを水平方向に移動させつつ写真を撮影することと、垂直方向のカメラの傾きを一定に保つことが前提条件として必要であった。
【０００５】
すなわち上記従来の技術では、この２つの前提条件を満たさない場合は、合成処理用の写真を選別する精度が下がり、合成できない写真を選別する可能性が高くなる。
【０００６】
本発明は、上記事情を鑑みてこれを解決すべく成されたものであり、特定の前提条件を必要とせずに合成処理に用いる写真を選別することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明は、上記目的を達成すべく、以下の如き構成を採用した。
【０００８】
本発明は、撮像装置により撮像された画像データに係る付加情報に基づき、合成が可能な前記画像データを選別する画像処理装置であって、前記付加情報に含まれる所定の情報に基づき、前記画像データが撮像された位置が所定範囲内である画像データを選択し、第一の所定の記憶領域に格納する格納手段と、前記第一の所定の記憶領域に複数の前記画像データが格納されているとき、前記複数の前記画像データ間でデータ比較領域が存在するか否かを判断し、前記複数の前記画像データ間でデータ比較領域が存在する際には当該データ比較領域を算出するデータ比較領域算出手段と、前記データ比較領域において前記複数の前記画像データが一致するか否かを比較する画像データ比較手段と、前記画像データ比較手段による比較結果に基づき前記複数の前記画像データを分類する分類手段と、を有する。
【０００９】
尚本発明は、上記各処理を実行する方法、上記各処理をコンピュータに実行させるためのプログラムとすることもできる。
【発明の効果】
【００１０】
本発明によれば、特定の前提条件を必要とせずに合成処理に用いる写真を選別することができる。
【図面の簡単な説明】
【００１１】
【図１】第一の実施形態の画像処理システムを説明する図である。
【図２】第一の実施形態の画像処理システムを構成する各装置の機能構成を説明する図である。
【図３】画像情報解析部の機能構成を説明する図である。
【図４】画像データ比較部の機能構成を説明する図である。
【図５】画像データ分類部の機能構成を説明する図である。
【図６】第一の実施形態の画像データ選別部の動作を説明するフローチャートである。
【図７】第一の実施形態におけるデータ比較領域の算出を説明する図である。
【図８】第一の実施形態のデータ比較部によるデータ比較領域の比較を説明する図である。
【図９】第二の実施形態におけるデータ比較領域の算出を説明する図である。
【図１０】第二の実施形態のデータ比較部によるデータ比較領域の比較を説明する図である。
【発明を実施するための形態】
【００１２】
本実施形態では、複数の画像データの撮影場所を示す位置情報が所定範囲内の画像データを１つのフォルダに格納し、フォルダ内において重複する可能性がある領域がある画像データについては重複する領域を切り出して別のフォルダに格納する。
（第一の実施形態）
以下に図面を参照して本発明の第一の実施形態について説明する。図１は、第一の実施形態の画像処理システムを説明する図である。
【００１３】
本実施形態の画像処理システム１００は、デジタルカメラ１１０と、画像処理装置１２０とがケーブル１３０により接続されて構成されている。本実施形態のデジタルカメラ１１０は、画像ファイルを生成する入力装置である。画像処理装置１２０は、画像データの表示制御及び画像処理を行うコンピュータである。また本実施形態の画像処理装置１２０は、デジタルカメラ１１０で生成された画像ファイルが保存されているメモリカードが挿入されるメモリカード挿入口１２１を備えている。
【００１４】
本実施形態の画像処理システム１００では、ケーブル１３０及びメモリカード挿入口１２１からデジタルカメラ１１０で生成された画像ファイルを画像処理装置１２０に転送することができる。尚デジタルカメラ１１０により生成された画像ファイルは、メモリカード以外の可搬型の記録媒体に保存されても良い。またこの記録媒体には、画像処理装置１２０における後述する画像処理を実行するための画像処理プログラムが格納されていても良い。画像処理プログラムが記録媒体に格納されていた場合、画像処理装置１２０は、記録媒体から画像処理プログラムを読み出して、後述するメモリへ展開し、ＣＰＵにより画像処理プログラムを実行しても良い。
【００１５】
図２は、第一の実施形態の画像処理システムを構成する各装置の機能構成を説明する図である。
【００１６】
本実施形態のデジタルカメラ１１０は、転送ドライバ１１１を有する。本実施形態の画像処理装置１２０は、メモリカード挿入部１２１、ＣＰＵ（Central Processing Unit）１２２、メモリユニット１２３、ハードディスク１２４、画像データ選別部２００を有する。
【００１７】
デジタルカメラ１１０は、画像処理装置１２０に接続されて画像処理装置１２０から画像ファイルの転送指示を受けると、転送ドライバ１１１を介して画像ファイルをビットマップに展開した画像データとして出力する。出力された画像データは、画像データ選別部２００に転送される。画像処理装置１２０からの転送指示は、例えば画像処理装置１２０にインストールされた画像ファイル転送用アプリケーション等から行われる。
【００１８】
画像処理装置１２０において、メモリカード挿入口１２１は、転送ドライバ１２７を有する。本実施形態では、メモリカードにデジタルカメラ１１０で生成した画像ファイルが記憶されていた場合、転送ドライバ１２７を介して画像データに展開し、画像データ選別部２００へ転送する。ＣＰＵ１２２は、画像処理装置１２０の全体の制御を司る。メモリユニット１２３は、メモリ１２５、１２６を含み、ＣＰＵ１２２や画像データ選別部２００での処理結果や画像処理装置１２０の各種設定値等が格納されている。ハードディスク１２４は、例えばデジタルカメラ１１０が生成した画像データや、各種アプリケーションプログラム等が格納されている。
【００１９】
画像データ選別部２００は、画像データが転送されてくると、この画像データから合成可能な画像データを選別する。以下に画像データ選別部２００の詳細を説明する。
【００２０】
画像データ選別部２００は、画像情報解析部２１０、画像データ比較部２２０、画像データ分類部２３０を有する。
【００２１】
本実施形態の画像データ選別部２００では、画像情報解析部２１０により、入力された複数の画像データを解析する。そして解析結果を画像データ比較部２２０により比較し、合成可能な複数の画像データがあった場合、画像データ分類部２３０により合成可能な画像データを分類する。
【００２２】
以下に、画像データ選別部２００の有する各部の詳細について説明する。尚以下の本実施形態の説明では、説明の便宜上画像データ選別部２００に２つの画像データが入力された場合を説明するが、画像データ選別部２００には、３つ以上の画像データが入力されて良い。
【００２３】
図３は、画像情報解析部の機能構成を説明する図である。本実施形態の画像情報解析部２１０は、付加情報解析部２１１、情報抽出部２１２、フォルダ作成部２１３、データ比較領域設定部２１４を有する。
【００２４】
付加情報解析部２１１は、デジタルカメラ１１０又はメモリカードから画像データが入力されると、電子情報技術産業協会（ＪＥＩＴＡ）によって制定されたデジタルスチルカメラ用画像ファイルフォーマット規格（Ｅｘｉｆ）等を含む付加情報を解析する。
【００２５】
情報抽出部２１２は、解析された付加情報から所定の情報を抽出する。本実施形態の所定の情報とは、写真を撮影した位置情報、目的地の位置情報（被写体がある場所の位置情報）、写真の被写体と撮影地点との距離、撮影された写真の方向を示す角度、撮影したときの水平方向とカメラの底面との傾き、焦点距離、画像の幅及び画像の高さである。情報抽出部２１２は、抽出した所定の情報を画像データに付加し、フォルダ作成部２１３へ出力する。尚以下の説明では、所定の情報を属性情報と呼ぶ。
【００２６】
フォルダ作成部２１３は、入力された属性情報のうち、写真を撮影した位置情報に応じてハードディスク１２４にフォルダを作成する。本実施形態では、例えば撮影場所の位置情報が所定範囲内の画像データが格納されるフォルダが作成される。ここでの所定範囲は予め設定された範囲であり、任意に設定されても良い。また本実施形態のフォルダ作成部２１３は、フォルダ作成時に位置情報と関連したフォルダ名を作成する。フォルダ作成部２１３は、フォルダを作成すると、各画像データの属性情報に含まれる位置情報と対応したフォルダへ画像データを格納する。
【００２７】
例えばフォルダ作成部２１３は、同一の建物内を示す位置情報を有する画像データを格納するフォルダの名前を建物の名前とし、この建物内で撮影された画像データを建物名がつけられたフォルダへ格納しても良い。またフォルダ作成部２１３は、例えば同一の町内を示す位置情報を有する画像データを格納するフォルダの名前を町の名前とし、この町内で撮影された画像データを町の名前がつけられたフォルダへ格納しても良い。
【００２８】
フォルダ作成部２１３は、画像データをフォルダへ格納すると、画像データと画像データが格納されるフォルダ名との対応付けたフォルダ対応情報を属性情報に含める。
【００２９】
データ比較領域設定部２１４は、フォルダに複数の画像データが存在する場合に、そのフォルダ内の画像データ毎に重複する可能性のある領域を後述する方法で算出する。尚本実施形態における画像データの重複とは、例えば複数の画像データにおいて同一の被写体が写るっていることを示してもよい。尚本実施形態の被写体とは、特に、固定された被写体、例えば景色等である。また以下の本実施形態の説明では、画像データ毎に重複する可能性のある領域をデータ比較領域と呼ぶ。
【００３０】
そしてデータ比較領域設定部２１４は、各々の画像データに対して算出された領域をデータ比較領域として設定し、その設定値を属性情報に含める。データ比較領域設定部２１４は、この処理を複数の画像データが存在するフォルダの数だけ繰り返す。
【００３１】
次に、図４を参照して本実施形態の画像データ比較部２２０について説明する。図４は、画像データ比較部の機能構成を説明する図である。
【００３２】
画像データ比較部２２０は、領域切り出し部２２１、データ比較部２２２を有する。領域切り出し部２２１は、画像情報解析部２１０から出力された属性情報に含まれるデータ比較領域の設定値に基づき、２つの画像データからデータ比較領域内の画像データを切り出す。領域切り出し部２２１は、切り出した一方の画像データをメモリ１２５に格納し、切り出した他方の画像データをメモリ１２６に格納する。
【００３３】
データ比較部２２２は、メモリ１２５、１２６にそれぞれ格納された画像データを読み出し、画像データ同士が重複するか否かを判定する。
【００３４】
判定手法は、例えばデータ比較領域全面の画素を比較する手法であっても良い。尚本実施形態の画像処理装置１２０は、一般的なコンピュータにより実現するものとしたが、画像処理装置１２０は、例えば画像形成を行うプリンタ等によって実現しても良い。この場合、上記判定の手法は、プリンタのメモリ容量等を考慮し、ハイパスフィルタを用いて部分的にエッジを比較するようなパターンマッチング処理とすることが好ましい。
【００３５】
データ比較部２２２は、２つの画像データに一致する部分があると判定したとき、画像面内の座標情報を属性情報に含め、画像データ分類部２３０へ出力する。同時にデータ比較部２２２はそれぞれのメモリ１２５，１２６から読み出した２つの画像データ（データ比較領域）を属性情報と共に画像データ分類部２３０へ出力する。画像面内の座標情報とは、領域切り出し部２２１により切り出された領域のうち、一致すると判断された画素群の座標情報である。本実施形態では、画像データが一致する複数の画素を画素群とし、この画素群の座標情報を属性情報に含める。具体的には例えば、画像データが一致する画素群の座標をｘ＝６４〜１００，ｙ＝３２〜５０とすると、ｘ＝６４，ｙ＝３２，ｘ＿ｃｏｕｎｔ＝１００−６４＋１＝３７,ｙ＿ｃｏｕｎｔ＝５０−３２＋１＝１９というように４つの値だけを保持すれば良く、属性情報の情報量を削減できる。
【００３６】
次に、図５を参照して本実施形態の画像データ分類部２３０について説明する。図５は、画像データ分類部の機能構成を説明する図である。
【００３７】
本実施形態の画像データ分類部２３０は、フォルダ追加部２３１、ファイル選別部２３２を有する。
【００３８】
フォルダ追加部２３１は、画像データ比較部２２０から画像データと属性情報が入力されると、画像データを格納するフォルダを新たに作成する。フォルダ追加部２３１は、例えば属性情報に含まれるフォルダ対応情報のフォルダ名に「（合成可）」を追加し、新たなフォルダを作成する。
【００３９】
フォルダ追加部２３１により新たに追加されたフォルダは、ハードディスク１２４に作成される。またフォルダ追加部２３１は、新たに追加されたフォルダ名をフォルダ対応情報に含め、画像データと属性情報をファイル選別部２３２へ出力する。
【００４０】
ファイル選別部２３２では、フォルダ追加部２３１で新たに追加されたフォルダに画像データと属性情報を格納する。このとき属性情報は、情報抽出部２１２により抽出された所定の情報と、画像データが格納されたフォルダ名を含むフォルダ対応情報と、データ比較領域の設定値と、画像面内の座標情報と、が含まれる。
【００４１】
以下に、図６を参照して本実施形態の画像データ選別部２００の動作を説明する。図６は、第一の実施形態の画像データ選別部の動作を説明するフローチャートである。
【００４２】
画像データ選別部２００は、付加情報解析部２１１に入力された画像データの付加情報の有無を判断する（ステップＳ６０１）。尚付加情報は、電子情報技術産業協会（ＪＥＩＴＡ）によって制定されたデジタルスチルカメラ用画像ファイルフォーマット規格（Ｅｘｉｆ）で定められた場所に情報が格納されている。
【００４３】
ステップＳ６０１において付加情報無しと判断された場合、画像データ選別部２００は処理を終了する。ステップＳ６０１で付加情報有りと判断された場合、情報抽出部２１２は、付加情報から所定の情報（属性情報）を抽出する（ステップＳ６０２）。
【００４４】
続いてフォルダ作成部２１３は、属性情報に含まれる「写真を撮影した位置情報」に応じて、画像データを格納するフォルダを作成する（ステップＳ６０３）。続いてフォルダ作成部２１３は、作成したフォルダに対応する画像データを格納する（ステップＳ６０４）。このときフォルダ作成部２１３は、フォルダ対応情報を属性情報に含め、画像データと共にこの属性情報もフォルダへ格納する。
【００４５】
続いてデータ比較領域設定部２１４は、複数の画像データが格納されているフォルダが存在するか否かを判断する（ステップＳ６０５）。尚複数の画像データとは、複数の写真に対応する複数の画像データである。ステップＳ６０５において該当するフォルダが存在しない場合、画像データ選別部２００は処理を終了する。ステップＳ６０５において該当するフォルダが存在する場合、データ比較領域設定部２１４は、複数の画像データが格納されたフォルダを選択する（ステップＳ６０６）。尚ステップＳ６０５において、該当するフォルダが複数存在した場合、画像データの属性情報が抽出された順にフォルダを選択しても良い。
【００４６】
データ比較領域設定部２１４は、データ比較領域設定対象の２つの画像データを選択する（ステップＳ６０７）。２つの画像データとは、２つの写真に対応する画像データである。尚１つのフォルダに３つ以上の画像データが格納されている場合、格納された順番の早い２つの画像データを選出しても良い。
【００４７】
画像データを選択すると、データ比較領域設定部２１４は、後述する式３、式４を用いてデータ比較領域の算出に用いるパラメータを算出する（ステップＳ６０８）。続いてデータ比較領域設定部２１４は、後述する判定式１を用いて選択された２つの画像データが重複する可能性があるか否かを判断する（ステップＳ６０９）。ステップＳ６０９において重複する可能性がないと判断された場合、データ比較領域設定部２１４は後述するステップＳ６１５へ進む。尚本実施形態では、画像データの比較は、ハードディスク１２４に格納された画像データの複製を用いて行うものとした。
【００４８】
ステップＳ６０９において重複する可能性があると判断された場合、データ比較領域設定部２１４は、後述する式１、式２を用いてデータ比較領域の幅方向の設定値と高さ方向の設定値を決定し、この設定値を属性情報に含めて画像データと共に領域切り出し部２２１へ出力する（ステップＳ６１０）。
【００４９】
以下に図７を参照して本実施形態のデータ比較領域設定部２１４によるデータ比較領域の算出について説明する。図７は、第一の実施形態におけるデータ比較領域の算出を説明する図である。
【００５０】
図７では、撮影地点Ｐから撮影した２つの画像７１、７２を例として説明する。本実施形態のデータ比較領域設定部２１４は、以下の判定式に基づき画像７１と画像７２とに重複する部分があるか否かを、以下の判定式１に基づき判定する。
判定式１
α１／２＋α２／２≦θ ならば重複する部分あり
α１／２＋α２／２＞θ ならば重複する部分なし
この判定式により重複する部分ありと判定される。
【００５１】
画像７１と画像７２とにおいて重複する可能性のある部分があると判定されると、データ比較領域設定部２１４は、以下の式１により重複する可能性のある部分の画像の幅を算出する。尚Ａ１は画像７１の幅であり、Ａ２は画像７２の幅である。Ａ１′は画像７１における画像７２と重複する部分の幅であり、Ａ２′は画像７２における画像７１と重複する部分の幅である。
【００５２】
【数１】
算出結果は、Ａ１′≒Ａ２′となるはずだが、デジタルカメラ１１０に設けられているＧＰＳ（Global Positioning System）の受信感度によっては、誤差が大きくなることも考えられる。そのときには、どちらか一方の画像データにおけるデータ比較領域の幅を基準値とし、もう一方の画像データにおけるデータ比較領域の幅を基準値と同じにするとよい。例えば、Ａ１′とＡ２′の値を比較して大きいほうの値を基準値とすればよい。
【００５３】
次にデータ比較領域設定部２１４は、以下の式２により、重複する部分の画像の高さ（図８参照）を算出する。尚Ｂ１は画像７１の高さであり、Ｂ２は画像７２の高さである。
【００５４】
【数２】
データ比較領域設定部２１４は、以上により、算出されたＡ１′、Ａ２′、Ｂ１′及びＢ２′の値をデータ比較領域の設定値として属性情報に含め、画像データと共に領域切り出し部２２１へ送る。
【００５５】
尚画像７１、画像７２が左右どちらに位置するかについては、以下に述べるパラメータγ１：画像７１を撮影した方向、γ２：画像７２を撮影した方向から決定できる。尚画像を撮影した方向を示すパラメータであるγ１、γ２は、付加情報に含まれるものであり、属性情報として情報抽出部２１２により付加情報から抽出される。尚本実施形態における画像の撮影した方向は、「単位」と「数値」で表されても良い。単位は、方位の表し方を示すものであり、真方位又は磁気方位の何れか一方が選択されても良い。数値は、０〜３５９．９９までの範囲で表される。
【００５６】
以下に図７に示すパラメータについて説明する。
α１は画像７１の画像幅方向の画角であり、α２は画像７２の画像幅方向画角であり、θは撮影地点から見た画像７１、画像７２間の角度である。Ｘ１は画像７１の被写体と撮影地点Ｐと間の距離、Ｘ２は画像７２の被写体と撮影地点Ｐと間の距離である。Ａ１は画像７１の幅（カメラのフレームサイズ）であり、Ａ２は画像７２の幅（カメラのフレームサイズ）である。Ｂ１は画像７１の高さ（カメラのフレームサイズ）であり、Ｂ２は画像７２の高さ（カメラのフレームサイズ）である。
【００５７】
尚これらのパラメータのうち属性情報として取得できるパラメータは、Ｘ１、Ｘ２、Ａ１、Ａ２、Ｂ１及びＢ２である。
【００５８】
その他のパラメータについては以下の数式により算出される。
【００５９】
角度θは以下の式３より算出できる。尚、以下の式３に用いた全てのパラメータについては属性情報として取得できる。
【００６０】
【数３】
ここでγ１は画像７１を撮影した方向であり、γ２は画像７２を撮影した方向である。
【００６１】
画角α１、α２は以下の式４により算出できる。尚、以下の式４に用いた全てのパラメータは付加情報として取得できる。尚式４では、ｘがＡ１の場合α＝α１、ｘがＡ２の場合α＝α２である。
【００６２】
【数４】
尚式３、式４により算出されるパラメータは、データ比較領域設定部２１４において２つ画像データが重複するか否かを判定する前に、予め算出されているものとした。
【００６３】
図６に戻って、領域切り出し部２２１は、属性情報に含まれる設定値に基づき、２つの画像データからデータ比較領域を切り出し、それぞれをメモリ１２５、１２６に格納する（ステップＳ６１１）。
【００６４】
続いてデータ比較部２２２は、メモリ１２５、１２６に格納された画像データに一致する部分があるかどうかを判定する（ステップＳ６１２）。
【００６５】
以下に図８を参照してデータ比較部２２２による比較について説明する。図８は、第一の実施形態のデータ比較部によるデータ比較領域の比較を説明する図である。
【００６６】
図８において、画像７１と画像７２とが重複する。本実施形態のデータ比較部２２２は、画像７１のデータ比較領域（Ａ'×Ｂ１）を示す画像データの画素と、画像７２のデータ比較領域（Ａ'×Ｂ２）を示す画像データの画素とを比較し、画像７１，７２間で画素が一致する部分があるか否かを判断する。この点に関し、それぞれの部分は実際には同一の被写体に対応するものではないが画像７１，７２間でいくつかの画素が偶然一致するというような事態を考慮し、画像７１，７２間で画素が一致する部分があるか否かの判断は、当該部分の各々が所定の閾値以上である際に限ってなされることが望ましい。当該閾値は例えば実験等によって決定することができる。
【００６７】
ステップＳ６１２において、画像データに一致する部分がある場合、フォルダ追加部２３１は、新たなフォルダを作成する（ステップＳ６１３）。ここで作成する新規フォルダはいずれもステップＳ６１２で一致する部分があると判定され、合成可能であると判断された画像データが格納されるものである。ステップＳ６１２において、一致する部分がない場合、ステップＳ６１５へ進む。
【００６８】
続いてファイル選別部２３２は、ステップＳ６１２で一致する部分ありと判定された画像データをステップＳ６１３で作成したフォルダに格納する（ステップＳ６１４）。
【００６９】
続いて画像データ選別部２００は、ステップＳ６０６で選択したフォルダ内に、ステップＳ６０７以降の処理を施していない画像データが存在するか否かを判断する（ステップＳ６１５）。ステップＳ６１５において該当する画像データが存在する場合、ステップＳ６０７へ戻る。ステップＳ６１５において該当する画像データが存在しない場合、画像データ選別部２００は、ハードディスク１２４に複数の画像データが格納された未処理のフォルダが存在するか否かを判断する（ステップＳ６１６）。ステップＳ６１６において該当するフォルダが存在する場合、ステップＳ６０６に戻る。ステップＳ６１６において該当するフォルダが存在しない場合、画像データ選別部２００は処理を終了する。
【００７０】
以上に説明したように、本実施形態では、属性情報に基づき、撮像した位置が所定範囲内の複数の画像データにおいて、重複する可能性がある領域が存在するか否かを判定する。そして重複する可能性のある領域が存在する場合は、重複する領域を算出してデータ比較領域とする。そしてデータ比較領域において一致する画素が存在する場合、データ比較領域として切り出された画像データを、合成可能な画像データとしてまとめて保存しておく。よって本実施形態では、前提条件を設けることなく合成可能な画像データを選別することができる。
【００７１】
また本実施形態では、通常の画像データを格納するフォルダとは別に、複数の画像データにおいて一致する部分のある領域を格納するフォルダを設けることで、例えばモニタに表示する場合にも速やかに合成処理を行うことができる。
【００７２】
（第二の実施形態）
以下に図面を参照して本発明の第二の実施形態について説明する。本発明の第二の実施形態では、データ比較領域の算出方法のみが第一の実施形態と相違する。よって以下の本発明の第二の実施形態では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには第一の実施形態の説明で用いた符号を付与し、その説明を省略する。
【００７３】
図９は、第二の実施形態におけるデータ比較領域の算出を説明する図である。図９では、画像が傾いている場合を示している。図９（ａ）は、データ比較領域の算出を説明する図であり、図９（ｂ）は画像の傾きを示す図である。
【００７４】
図９では、撮影地点Ｐから撮影した２つの画像９１、９２を例として説明する。本実施形態のデータ比較領域設定部２１４は、以下の判定式２に基づき画像９１と画像９２とに重複する部分があるか否かを判定する。
判定式２
α１／２＋α２／２＋Ｃ２≦θ ならば重複する部分なし
α１／２＋α２／２＋Ｃ２＞θ ならば重複する部分あり
ここで、判定式２における係数Ｃ２は、以下の式５にて算出される。
【００７５】
【数５】
この判定式２により、画像９１と画像９２とが重複する部分があると判定されると、データ比較領域設定部２１４は、以下の式６により重複している部分の画像の幅を算出する。
【００７６】
【数６】
次にデータ比較領域設定部２１４は、以下の式７により、重複する部分の画像の高さ（図８参照）を算出する。
【００７７】
【数７】
本実施形態では、以上により、算出されたＡ１′、Ａ２′、Ｂ１′及びＢ２′の値をデータデータ比較領域の設定値として属性情報に含め、画像データと共に領域切り出し部２２１へ送る。
【００７８】
以下に図１０を参照してデータ比較部２２２による比較について説明する。図１０は、第二の実施形態のデータ比較部によるデータ比較領域の比較を説明する図である。
【００７９】
図１０（ａ），（ｂ），（ｃ）において、画像９１と画像９２とが重複する。本実施形態のデータ比較部２２２は、画像９１のデータ比較領域（Ａ'×Ｂ１）を示す画像データの画素と、画像９２のデータ比較領域（Ａ'×Ｂ２'）を示す画像データの画素とを比較し、画像９１，９２間で画素が一致する部分があるか否かを判断する。なお図１０（ｃ）中のＡ'は、Ａ'＝Ａ１'＝Ａ２'である。又、上述の第一の実施形態同様、それぞれの部分は実際には同一の被写体に対応するものではないが、画像９１，９２間でいくつかの画素が偶然一致するというような事態を考慮し、画像９１，９２間で画素が一致する部分があるか否か判断は当該部分の各々が所定の閾値以上である際に限ってなされることが望ましい。当該閾値は例えば実験等によって決定することができる。
【００８０】
本実施形態では、上記構成により、第一の実施形態と同様の効果を奏することができる。
【００８１】
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。
【符号の説明】
【００８２】
１００ 画像処理システム
１１０ デジタルカメラ
１２０ ＣＰＵ
２００ 画像処理部
２１０ 画像情報解析部
２２０ 画像データ比較部
２３０ 画像データ分類部
【先行技術文献】
【特許文献】
【００８３】
【特許文献１】特開２００６−０８０７３１号公報
【特許文献２】特開２０００−２２９３４号公報
【特許文献３】特開２００８−１０４１７９号公報
【特許請求の範囲】
【請求項１】
撮像装置により撮像された画像データに係る付加情報に基づき、合成が可能な前記画像データを選別する画像処理装置であって、
前記付加情報に含まれる所定の情報に基づき、前記画像データが撮像された位置が所定範囲内である画像データを選択し、第一の所定の記憶領域に格納する格納手段と、
前記第一の所定の記憶領域に複数の前記画像データが格納されているとき、前記複数の前記画像データ間でデータ比較領域が存在するか否かを判断し、前記複数の前記画像データ間でデータ比較領域が存在する際には当該データ比較領域を算出するデータ比較領域算出手段と、
前記データ比較領域において前記複数の前記画像データが一致するか否かを比較する画像データ比較手段と、
前記画像データ比較手段による比較結果に基づき前記複数の前記画像データを分類する分類手段と、を有する画像処理装置。
【請求項２】
前記データ比較領域算出手段は、
前記複数の前記画像データにおける前記データ比較領域の幅と高さとを算出し、前記幅と高さとを前記データ比較領域の設定値として前記画像データ比較手段へ設定する請求項１記載の画像処理装置。
【請求項３】
前記画像データ比較手段は、
前記複数の前記画像データから前記設定値に基づく前記データ比較領域の画像データをそれぞれ切り出す切り出し手段と、
前記切り出された画像データにおいて一致する画素が存在するか否かを比較する比較手段と、を有する請求項１又は２記載の画像処理装置。
【請求項４】
前記分類手段は、
前記画像データ比較手段において一致する画素が存在する場合、前記切り出し手段により前記複数の前記画像データからそれぞれ切り出された前記画像データを第二の所定の記憶領域に記憶させる請求項３記載の画像処理装置。
【請求項５】
前記所定の情報は、
前記画像データを撮影した撮影地点の位置情報、被写体の位置情報、前記被写体と前記撮影地点との距離、撮影したときの水平方向と前記撮像装置の底面との傾き、焦点距離、前記画像データにより示される画像の幅及び前記画像の高さ、前記画像の撮影方向を含む請求項１ないし４の何れか一項に記載の画像処理装置。
【請求項６】
前記データ比較領域算出手段は、
前記所定の情報に含まれる前記画像の前記撮影方向に基づき、前記複数の前記画像の間の角度を算出し、
前記所定の情報に含まれる前記焦点距離と前記画像の幅に基づき前記画像の画像幅方向の画角を算出し、
前記複数の前記画像の間の角度と、前記複数の前記画像それぞれの前記画角とを用いて前記データ比較領域を算出する請求項５記載の画像処理装置。
【請求項７】
前記データ比較領域算出手段は、
前記複数の前記画像の間の角度と、前記複数の前記画像それぞれの前記画角とに基づき、
前記複数の前記画像データにおいて重複した領域が存在するか否かを判定する請求項６記載の画像処理装置。
【請求項８】
撮像装置により撮像された画像データに係る付加情報に基づき、合成が可能な前記画像データを選別する画像処理装置による画像処理方法であって、
前記付加情報に含まれる所定の情報に基づき、前記画像データが撮像された位置が所定範囲内である画像データを選択し、第一の所定の記憶領域に格納する格納手順と、
前記第一の所定の記憶領域に複数の前記画像データが格納されているとき、前記複数の前記画像データ間でデータ比較領域が存在するか否かを判断し、前記複数の前記画像データ間でデータ比較領域が存在する際には当該データ比較領域を算出するデータ比較領域算出手順と、
前記データ比較領域において前記複数の前記画像データが一致するか否かを比較する画像データ比較手順と、
前記画像データ比較手順における比較結果に基づき前記複数の前記画像データを分類する分類手順と、を有する画像処理方法。
【請求項９】
撮像装置により撮像された画像データに係る付加情報に基づき、合成が可能な前記画像データを選別する画像処理装置において実行される画像処理プログラムであって、
前記画像処理装置に、
前記付加情報に含まれる所定の情報に基づき、前記画像データが撮像された位置が所定範囲内である画像データを選択し、第一の所定の記憶領域に格納する格納ステップと、
前記第一の所定の記憶領域に複数の前記画像データが格納されているとき、前記複数の前記画像データ間でデータ比較領域が存在するか否かを判断し、前記複数の前記画像データ間でデータ比較領域が存在する際には当該データ比較領域を算出するデータ比較領域算出ステップと、
前記データ比較領域において前記複数の前記画像データが一致するか否かを比較する画像データ比較ステップと、
前記画像データ比較ステップにおける比較結果に基づき前記複数の前記画像データを分類する分類ステップと、を実行させる画像処理プログラム。
【請求項１】
撮像装置により撮像された画像データに係る付加情報に基づき、合成が可能な前記画像データを選別する画像処理装置であって、
前記付加情報に含まれる所定の情報に基づき、前記画像データが撮像された位置が所定範囲内である画像データを選択し、第一の所定の記憶領域に格納する格納手段と、
前記第一の所定の記憶領域に複数の前記画像データが格納されているとき、前記複数の前記画像データ間でデータ比較領域が存在するか否かを判断し、前記複数の前記画像データ間でデータ比較領域が存在する際には当該データ比較領域を算出するデータ比較領域算出手段と、
前記データ比較領域において前記複数の前記画像データが一致するか否かを比較する画像データ比較手段と、
前記画像データ比較手段による比較結果に基づき前記複数の前記画像データを分類する分類手段と、を有する画像処理装置。
【請求項２】
前記データ比較領域算出手段は、
前記複数の前記画像データにおける前記データ比較領域の幅と高さとを算出し、前記幅と高さとを前記データ比較領域の設定値として前記画像データ比較手段へ設定する請求項１記載の画像処理装置。
【請求項３】
前記画像データ比較手段は、
前記複数の前記画像データから前記設定値に基づく前記データ比較領域の画像データをそれぞれ切り出す切り出し手段と、
前記切り出された画像データにおいて一致する画素が存在するか否かを比較する比較手段と、を有する請求項１又は２記載の画像処理装置。
【請求項４】
前記分類手段は、
前記画像データ比較手段において一致する画素が存在する場合、前記切り出し手段により前記複数の前記画像データからそれぞれ切り出された前記画像データを第二の所定の記憶領域に記憶させる請求項３記載の画像処理装置。
【請求項５】
前記所定の情報は、
前記画像データを撮影した撮影地点の位置情報、被写体の位置情報、前記被写体と前記撮影地点との距離、撮影したときの水平方向と前記撮像装置の底面との傾き、焦点距離、前記画像データにより示される画像の幅及び前記画像の高さ、前記画像の撮影方向を含む請求項１ないし４の何れか一項に記載の画像処理装置。
【請求項６】
前記データ比較領域算出手段は、
前記所定の情報に含まれる前記画像の前記撮影方向に基づき、前記複数の前記画像の間の角度を算出し、
前記所定の情報に含まれる前記焦点距離と前記画像の幅に基づき前記画像の画像幅方向の画角を算出し、
前記複数の前記画像の間の角度と、前記複数の前記画像それぞれの前記画角とを用いて前記データ比較領域を算出する請求項５記載の画像処理装置。
【請求項７】
前記データ比較領域算出手段は、
前記複数の前記画像の間の角度と、前記複数の前記画像それぞれの前記画角とに基づき、
前記複数の前記画像データにおいて重複した領域が存在するか否かを判定する請求項６記載の画像処理装置。
【請求項８】
撮像装置により撮像された画像データに係る付加情報に基づき、合成が可能な前記画像データを選別する画像処理装置による画像処理方法であって、
前記付加情報に含まれる所定の情報に基づき、前記画像データが撮像された位置が所定範囲内である画像データを選択し、第一の所定の記憶領域に格納する格納手順と、
前記第一の所定の記憶領域に複数の前記画像データが格納されているとき、前記複数の前記画像データ間でデータ比較領域が存在するか否かを判断し、前記複数の前記画像データ間でデータ比較領域が存在する際には当該データ比較領域を算出するデータ比較領域算出手順と、
前記データ比較領域において前記複数の前記画像データが一致するか否かを比較する画像データ比較手順と、
前記画像データ比較手順における比較結果に基づき前記複数の前記画像データを分類する分類手順と、を有する画像処理方法。
【請求項９】
撮像装置により撮像された画像データに係る付加情報に基づき、合成が可能な前記画像データを選別する画像処理装置において実行される画像処理プログラムであって、
前記画像処理装置に、
前記付加情報に含まれる所定の情報に基づき、前記画像データが撮像された位置が所定範囲内である画像データを選択し、第一の所定の記憶領域に格納する格納ステップと、
前記第一の所定の記憶領域に複数の前記画像データが格納されているとき、前記複数の前記画像データ間でデータ比較領域が存在するか否かを判断し、前記複数の前記画像データ間でデータ比較領域が存在する際には当該データ比較領域を算出するデータ比較領域算出ステップと、
前記データ比較領域において前記複数の前記画像データが一致するか否かを比較する画像データ比較ステップと、
前記画像データ比較ステップにおける比較結果に基づき前記複数の前記画像データを分類する分類ステップと、を実行させる画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１３０６５（Ｐ２０１３−１３０６５Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１２−１００５７９（Ｐ２０１２−１００５７９）
【出願日】平成２４年４月２６日（２０１２．４．２６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２４年４月２６日（２０１２．４．２６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]