画像処理装置、画像処理方法及びプログラム
【課題】装置単独で複数画像を各取得地点に従い配置したインデックス画像を出力する。
【解決手段】撮影位置の地点情報を含む画像を複数記憶するメモリカード23と、カード23で記憶する画像中から、背景画像、背景画像中に合成する複数の画像、及びこれら複数の画像中、背景画像に対する基準となる少なくとも2つの画像の各選択を受付けると共に、表示部20で表示する背景画像中で基準となる画像の位置の指定を受付けるキー入力部16及びタッチ入力部21と、背景画像の地点情報、選択された基準となる画像の地点情報、及び指定された背景画像中の位置に基づき、基準として選択しなかった残る画像夫々の地点情報から背景画像中での位置を設定し、指定された背景画像中での位置、及び設定した背景画像中での位置により、背景画像中に他の画像の縮小画像を配置したインデックス画像を生成するCPU11と、生成したインデックス画像を印刷する印刷部24とを備える。
【解決手段】撮影位置の地点情報を含む画像を複数記憶するメモリカード23と、カード23で記憶する画像中から、背景画像、背景画像中に合成する複数の画像、及びこれら複数の画像中、背景画像に対する基準となる少なくとも2つの画像の各選択を受付けると共に、表示部20で表示する背景画像中で基準となる画像の位置の指定を受付けるキー入力部16及びタッチ入力部21と、背景画像の地点情報、選択された基準となる画像の地点情報、及び指定された背景画像中の位置に基づき、基準として選択しなかった残る画像夫々の地点情報から背景画像中での位置を設定し、指定された背景画像中での位置、及び設定した背景画像中での位置により、背景画像中に他の画像の縮小画像を配置したインデックス画像を生成するCPU11と、生成したインデックス画像を印刷する印刷部24とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えばデジタルカメラや携帯型の画像プリンタなど、撮影により得た画像データを取扱う装置に好適な画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
従来より、複数の画像データを記憶した装置、例えばデジタルカメラや画像用のメモリカードを装着したプリンタでは、多数記憶している画像中から1つを選択するために、1枚当たりの画像サイズを大幅に縮小して多数の画像を一覧出力する、インデックス表示、あるいはインデックスプリントと称する機能がある。
【0003】
この種のインデックス出力では、複数の画像を例えば1画面内にm行n列(m,nはそれぞれ2以上の整数)に羅列した状態で出力される。
【0004】
ところで、デジタルカメラ用画像フォーマットの事実上の標準規格であるExif(Exchangeable image file format)の現在のバージョンでは、画像データに付加する撮影データの一部に、GPS(Global Positioning System:全地球測位システム)の測定情報を格納するタグが定義されている。
【0005】
上記Exif規格に従って撮影地点の情報を利用する技術として、撮影画像と撮影場所の地図とを合成表示したインデックスプリントを作成する技術(特許文献1)が考えられている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2008−197739号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
一般的なインデックスプリントでは、単純に画像を羅列したものしか得られない。また、上記特許文献1に記載された技術は、サムネイル画像を地図画像に合成するものであるために、インターネット環境のような地図データベースを提供可能な環境が必要となる。
【0008】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、装置単独で複数の画像を各画像の取得地点に対応した配置としたインデックス画像を出力することが可能な画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
請求項1記載の発明は、撮影位置の地点情報を含む画像を複数記憶する記憶手段と、上記記憶手段で記憶する画像中から、背景とする画像(以下「背景画像」)の選択を受付ける第1の選択手段と、上記記憶手段で記憶する画像中から、上記背景画像中に合成する複数の画像の選択を受付ける第2の選択手段と、上記第2の選択手段で選択された複数の画像中から、上記背景画像に対する基準となる少なくとも2つの画像の選択を受付ける第3の選択手段と、上記第1の選択手段で選択された背景画像を表示する表示手段と、上記表示手段で表示する背景画像中で上記第3の選択手段で選択された画像の位置の指定を受付ける指定手段と、上記背景画像の地点情報、上記第3の選択手段で選択された画像の地点情報、及び上記指定手段で指定された背景画像中での位置に基づき、上記第2の選択手段で選択された画像中、上記第3の選択手段で選択されなかった残る画像に対して、それぞれの地点情報から上記背景画像中での位置を設定する設定手段と、上記指定手段で指定された背景画像中での位置、及び上記設定手段で設定した背景画像中での位置により、上記背景画像中に上記第2の選択手段で選択された画像の縮小画像を配置したインデックス画像を生成するインデックス画像生成手段と、上記インデックス画像生成手段で生成したインデックス画像を出力する出力手段とを具備したことを特徴とする。
【0010】
請求項2記載の発明は、上記請求項1記載の発明において、上記第1の選択手段で選択された背景画像は撮影方向の情報を含み、上記設定手段は、上記背景画像の撮影方向の情報をさらに用いて、上記第2の選択手段で選択された画像中、上記第3の選択手段で選択されなかった残る画像に対して、上記背景画像中での位置を設定することを特徴とする。
【0011】
請求項3記載の発明は、上記請求項1記載の発明において、上記インデックス画像生成手段は、上記背景画像中に配置する上記第2の選択手段で選択した画像の縮小画像の少なくとも2つが重なり合う場合に、一部の縮小画像の縮小率を上げて重なり合いを回避したインデックス画像を生成することを特徴とする。
【0012】
請求項4記載の発明は、上記請求項1記載の発明において、上記インデックス画像生成手段は、上記背景画像中に配置する上記第2の選択手段で選択した画像の縮小画像の少なくとも2つが重なり合う場合に、一部の縮小画像の位置を移動して重なり合いを回避したインデックス画像を生成することを特徴とする。
【0013】
請求項5記載の発明は、上記請求項3または4記載の発明において、上記第2の選択手段で選択した画像の評価値を算出する評価手段をさらに具備し、上記インデックス画像生成手段は、上記背景画像中に配置する上記第2の選択手段で選択した画像の縮小画像の少なくとも2つが重なり合う場合に、上記評価手段により算出した評価値が低い縮小画像の位置を縮小、または移動して重なり合いを回避したインデックス画像を生成することを特徴とする。
【0014】
請求項6記載の発明は、撮影位置の地点情報を含む画像を複数記憶する記憶部、画像を表示する表示部、及び上記記憶部で記憶する画像を出力する出力部を備えた装置での画像処理方法であって、上記記憶部で記憶する画像中から、背景とする画像の選択を受付ける第1の選択工程と、上記記憶部で記憶する画像中から、上記背景画像中に合成する複数の画像の選択を受付ける第2の選択工程と、上記第2の選択工程で選択された複数の画像中から、上記背景画像に対する基準となる少なくとも2つの画像の選択を受付ける第3の選択手段と、上記第1の選択手段で選択された背景画像を上記表示部で表示させる表示工程と、上記表示工程で表示する背景画像中で上記第3の選択工程で選択された画像の位置の指定を受付ける指定工程と、上記背景画像の地点情報、上記第3の選択工程で選択された画像の地点情報、及び上記指定工程で指定された背景画像中での位置に基づき、上記第2の選択工程で選択された画像中、上記第3の選択工程で選択されなかった残る画像に対して、それぞれの地点情報から上記背景画像中での位置を設定する設定工程と、上記指定工程で指定された背景画像中での位置、及び上記設定工程で設定した背景画像中での位置により、上記背景画像中に上記第2の選択工程で選択された画像の縮小画像を配置したインデックス画像を生成するインデックス画像生成工程と、上記インデックス画像生成工程で生成したインデックス画像を上記出力部で出力させる出力制御工程とを有したことを特徴とする。
【0015】
請求項7記載の発明は、撮影位置の地点情報を含む画像を複数記憶する記憶部、画像を表示する表示部、及び上記記憶部で記憶する画像を出力する出力部を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記プログラムを、上記記憶部で記憶する画像中から、背景とする画像の選択を受付ける第1の選択手段、上記記憶部で記憶する画像中から、上記背景画像中に合成する複数の画像の選択を受付ける第2の選択手段、上記第2の選択手段で選択された複数の画像中から、上記背景画像に対する基準となる少なくとも2つの画像の選択を受付ける第3の選択手段、上記第1の選択手段で選択された背景画像を上記表示部で表示させる表示手段、上記表示手段で表示する背景画像中で上記第3の選択手段で選択された画像の位置の指定を受付ける指定手段、上記背景画像の地点情報、上記第3の選択手段で選択された画像の地点情報、及び上記指定手段で指定された背景画像中での位置に基づき、上記第2の選択手段で選択された画像中、上記第3の選択手段で選択されなかった残る画像に対して、それぞれの地点情報から上記背景画像中での位置を設定する設定手段、上記指定手段で指定された背景画像中での位置、及び上記設定手段で設定した背景画像中での位置により、上記背景画像中に上記第2の選択手段で選択された画像の縮小画像を配置したインデックス画像を生成するインデックス画像生成手段、及び上記インデックス画像生成手段で生成したインデックス画像を上記出力部で出力させる出力制御手段として機能させることを特徴とする。
【発明の効果】
【0016】
本発明によれば、装置単独で複数の画像を各画像の取得地点に対応した配置としたインデックス画像を出力することが可能となる。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施形態に係るプリンタ装置の電子回路の機能構成を示すブロック図。
【図2】同実施形態に係るインデックスプリントの一連の処理内容を示すフローチャート。
【図3】同実施形態に係るインデックスプリントの処理過程における画面の遷移状態を示す図。
【図4】同実施形態に係る画像データに添付されるGPS情報の内容を示す図。
【図5】同実施形態に係るインデックスプリントの処理過程における画面の遷移状態を示す図。
【図6】同実施形態に係る背景画像及びインデックス画像として選択された各画像の内容を例示する図。
【図7】同実施形態に係るインデックスプリントの処理過程における画面の遷移状態を示す図。
【図8】同実施形態に係る印刷出力されたインデックスプリントの画像を例示する図。
【図9】同実施形態に係る他の背景画像及びインデックス画像として選択された各画像の内容を例示する図。
【図10】同実施形態に係る他の印刷出力されたインデックスプリントの画像を例示する図。
【発明を実施するための形態】
【0018】
以下本発明をプリンタ装置に適用した場合の一実施形態について図面を参照して説明する。
図1は、本実施形態に係るプリンタ装置10が備える電子回路の機能構成を示すブロック図である。CPU11、メインメモリ12、及びプログラムメモリ13がバスBを介して接続される。
【0019】
上記CPU11は、プログラムメモリ13に記憶される動作プログラムや固定データ等を読出し、読出した内容をメインメモリ12に展開して記憶させた上で、その内容に従ってこのプリンタ装置10内の各種処理動作を実行する。
【0020】
メインメモリ12は、例えばSRAMで構成され、CPU11のワークメモリとして使用される。プログラムメモリ13は、不揮発性のメモリ、例えばフラッシュメモリで構成され、CPU11の動作プログラムや各種固定データ等を記憶する。
【0021】
上記バスBに対して、出力用の画像データを記憶する出力バッファ14、周辺回路との入出力を制御する入出力インターフェイス15が接続される。この入出力インターフェイス15に、ユーザの指示や選択等の操作を受付けるキー入力部16、USB(Universal Serial Bus)インターフェイス(I/F)17、赤外線送受光部18、メモリカードインターフェイス(I/F)19、表示部20、タッチ入力部21、及び印刷駆動部22が接続される。
【0022】
上記キー入力部16は、例えば電源キー、メニューキー、カーソルキー、決定/プリントキー、キャンセルキーとそれらキーのキーサンプリングを行なうキーコントローラから構成され、操作されたキーの情報を入出力インターフェイス15へ出力する。
【0023】
上記USBインターフェイス17は、USB端子を介して接続される外部機器との間でデータの送受を管理する。
【0024】
上記赤外線送受光部18は、例えば赤外線通信機能を有する携帯電話端末等とIr−TranP規格に則った赤外光の無線接続により、デジタルカメラや携帯端末装置で撮影した画像データ等のデータファイルを取込む。
上記メモリカードインターフェイス19は、このプリンタ装置10が備えるメモリカードスロットに装着されたメモリカード23から各種データを読出して入出力インターフェイス15へ送出する。
【0025】
上記表示部20は、例えばバックライト付きのカラー液晶表示パネルで構成され、選択した画像や後述するインデックス画像と、あるいはガイドメッセージ等を表示する。
【0026】
タッチ入力部21は、上記表示部20上に一体にして構成された透明パネルとその駆動回路とで構成され、表示部20での表示に合わせてユーザによりタッチされると、その操作位置に応じた座標信号を発生して入出力インターフェイス15へ出力する。
【0027】
印刷駆動部22は、上記出力バッファ14から送られてくる印刷データに基づいて印刷部24を駆動し、画像のプリントを実行させる。印刷部24は、例えばインクジェット方式の印刷機構を有する。
【0028】
次に上記実施形態の動作について説明する。
なお、以下に示す動作は、CPU11がプログラムメモリ13に記憶されている動作プログラムやデータを読出し、メインメモリ12に展開して記憶させた上で実行する、インデックスプリント作成の一連の動作を示すものである。
【0029】
プログラムメモリ13に記憶されている動作プログラム等は、このプリンタ装置10の製造工場出荷時にプログラムメモリ13に記憶されていたものに加え、例えばこのプリンタ装置10のバージョンアップに際して、USBインターフェイス17経由でUSB端子に、インターネット環境にあるパーソナルコンピュータを接続することにより、あるいはメモリカードインターフェイス19経由で更新プログラムを記憶したメモリカードをメモリカードスロットに装着することにより、外部から新たな動作プログラム、データ等をダウンロードして記憶するものも含む。
【0030】
図2は、メニュー項目からインデックスプリントの処理を指定した後の処理内容を示すものである。その処理当初にCPU11は、ワークメモリであるメインメモリ12に対する初期化を実行する(ステップS101)。
【0031】
その後、まず背景となる画像を選択する(ステップS102)。
図3(1)は、この背景画像の選択時に表示部20で表示される、メモリカード23に記憶された画像の一覧表示状態を例示する。なお、同図(1)では説明のために各画像をアルファベットで代用して表記しているが、実際の画面上では撮影により得た静止画像を縮小した画像が表示される。
【0032】
同図(1)では、2行×4列の計8枚の画像「X」「A」〜「G」が縮小された状態で一覧表示されると共に、三角マークM1により、表示されている画像がメモリカード23に記憶されている全てでなく、右方向への画面スクロールで表示されていない他の画像も選択可能であることが表示されている。
【0033】
同図(1)では、先頭に位置する画像「X」に対して選択フレームカーソルCSが表示され、画像「X」が仮の選択状態であることを示している。この表示状態から例えばキー入力部16の決定/プリントキーを操作することで、背景画像として画像「X」が選択される。
【0034】
なお、画像「X」を含めてメモリカード23に記憶されるいずれの画像データも、Exif規格に則ったGPSの測定情報を格納するタグが設定されており、撮影データの一部として地点情報が付帯されているものとする。
【0035】
図4は、Exifで規定されるGPS情報である「GPS Info IFD」におけるタグの番号とGPSの測定情報の内容との対応を示す。上記背景画像として選択した画像と、後述するインデックス画像として選択する画像のいずれも、タグ番号「1」〜「6」に該当する撮影地点の緯度、経度、及び高度の情報を使用する。
さらに、上記背景画像として選択した画像に関しては、加えてタグ番号「16」,「17」に該当する撮影方向(方位:単位[°])の情報を使用する。
【0036】
上記ステップS102の背景画像の選択を終えると、続いて背景となる画像部分に施す変換種類を選択する(ステップS103)。
【0037】
図3(2)にこのときの表示部20での選択画面を示す。これら変換の種類は、インデックス画像を重畳して合成する背景部分の画像描写を、インデックス画像とはっきり区別するためにエフェクト処理を施すべくその内容を選択するもので、ここでは「薄印刷」「セピア」「白黒」及び「絵画」の4種類の中から「絵画」を仮に選択している状態を示す。
【0038】
この表示状態から例えばキー入力部16の決定/プリントキーを操作することで、変換種類が選択される。その選択処理後、インデックスプリント用に上記背景画像上に縮小して添付する画像を選択する(ステップS104)。ここでは、少なくとも2枚以上の画像を選択することが必要となる。
図3(3)は、インデックス画像の選択を行なう表示部20での表示画面を示す。同図では、既に背景画像として選択した画像「X」が選択不可となっている以外、まだ画像「A」〜「G」のいずれも選択されておらず、画像「A」に対して選択フレームカーソルCSが表示され、画像「A」が仮の選択状態であることを示している。この表示状態から例えばキー入力部16の決定/プリントキーを操作するか、あるいはユーザが手指で画像「A」の位置を直接タッチすることにより、インデックス画像として画像「A」が選択され、同画像「A」にチェックのマークが重ねて表示される。
【0039】
図5(1)は、上記図3(3)の状態から、画像「A」〜「G」が全て選択されている状態を示す。画像「G」を選択した後、さらにカーソルキーで画面を右方向にスクロールさせ、さらに画像「H」を選択するものとする。
【0040】
図6は、背景画像として選択された画像「X」と、インデックス画像として選択された画像「A」〜「H」の内容を例示する。なお、同図では、背景画像となる画像「X」を他のインデックス画像よりも大きく記載しているが、それは合成後のイメージを理解し易くするためであり、上記図3、図5で示したように選択時点では同一の大きさで取扱うことは勿論である。
【0041】
画像の選択を終えると、次いでそれまでに選択した全画像からそれぞれ上記図4で示したGPSの情報である「GPS Info IFD」を読出し、必要なタグについての解析を行なう(ステップS105)。
【0042】
このとき合わせて、上述した如く背景となる画像として選択した画像「X」の画像データからはタグ番号「1」〜「6」の緯度、経度、及び高度の情報と、タグ番号「16」,「17」の撮影方向の情報とを抽出してメインメモリ12に保持する。
【0043】
一方、インデックス画像として選択した画像「A」〜「H」の各画像データからは、タグ番号「1」〜「6」の緯度、経度、及び高度の情報を抽出してメインメモリ12に保持する(ステップS106)。
【0044】
次いで、選択したインデックス画像中から、基準となる第1の画像の選択と背景画像中への配置を促すガイドメッセージを表示部20で表示し、それに対応して画像が選択され、位置が指定されるのを受付ける。
【0045】
図5(2)は、上記インデックス画像として選択した画像「E」を選択フレームカーソルCSにより仮に選択している状態を示す。この画像「E」を仮に選択した状態で、例えばキー入力部16の決定/プリントキーを操作することで、画像「E」が第1の基準位置を示す画像として選択されたこととなり、図5(3)に示すように、背景画像中の所定位置、例えば右上部に基準となる番号「1」を付したフラッグマークF1を表示させる。
【0046】
ユーザはキー入力部16のカーソルキー操作により、このフラッグマークF1を、画像を撮影した地点に基づいて背景画像中の正しい位置に移動させる。
図7(1)は、ユーザの操作により番号「1」を付したフラッグを移動させ、画像「E」を撮影した地点を背景画像中で特定した状態を示す。
【0047】
こうして第1の基準となる画像の選択及び配置を終えると、同様にして第2の画像の選択及び配置を実行する(ステップS108)。
【0048】
図7(2)は、画像「C」を選択フレームカーソルCSにより仮に選択している状態を示す。この画像「C」を仮に選択した状態で、例えばキー入力部16の決定/プリントキーを操作することで、画像「C」が第2の基準位置を示す画像として選択されたこととなり、図7(3)に示すように、背景画像中の所定位置、例えば右上部に基準となる番号「2」を付したフラッグマークF2を表示させる。
【0049】
ユーザはキー入力部16のカーソルキー操作により、このフラッグマークF2を、画像を撮影した地点に基づいて背景画像中の正しい位置に移動させる。
こうして基準となる画像2枚をそれぞれ背景画像中に配置すると、2つの画像データに付加されている撮影場所の地点情報を基準点1,2の印刷位置としてメインメモリ12に保存する(ステップS109)。
【0050】
なお、上記基準点1,2を選択するにあたっては、できる限り背景画像中のより広い矩形範囲を定義するような対角線上の2点に該当する位置の画像を選択することが、位置精度を高める上で望ましい。
【0051】
次いで上記基準点1−2間の画面方向における距離と画像中のピクセル数を算出する(ステップS110)。この場合、基準点1−2間の「画面方向における」距離は、基準点1,2の各3次元座標値(緯度、経度、高度)から単純に線分の長さとして算出するのではなく、背景画像の撮影光軸と垂直な画面平面に沿った2次元平面上での距離となる。
【0052】
より詳細には、背景画像の撮影場所の3次元座標値と撮影方向(方位)の情報、及び撮影データ中の焦点距離から換算される画角とにより、仮に撮影光軸を水平とした場合の基準点1,2の各地点情報から、撮影地点−基準点1までの水平距離、撮影地点−基準点2までの水平距離、及び撮影画像中に映り込む筈の基準点1,2の各高さ(高度)方向の位置が算出できる。
【0053】
この算出した基準点1,2の各高さ(高度)方向の位置と、実際の画像の基準点1,2の各高さ(高度)方向の位置との差により、撮影光軸が水平方向から上下いずれの方向にどの程度ずれているかを示す、仰角または俯角の値が算出できる。この撮影光軸の仰角または俯角の値に関しては、基準点1から算出した値と基準点2から算出した値との中間値を用いる。
【0054】
なお、電子水準器の機能を有する、3軸加速度センサ等を内蔵したデジタルカメラで撮影した背景画像であれば、撮影時の撮影データの一部に撮影光軸の仰角または俯角の値を示す情報を含めて予め記憶しておくことも可能となる。
【0055】
したがって、上記基準点1−2間の画面上の距離算出に際しては、背景画面の奥行き方向に該当する、撮影光軸方向の座標成分を排除して、撮影光軸と垂直となる画面平面に沿った2次元平面上での距離を算出する。
【0056】
合わせて、上述した如く背景画像中における基準点1−2間のピクセル数を合わせて算出する。
【0057】
次いで、上記ステップS110で算出した基準点1−2間の、撮影光軸と垂直となる画面平面に沿った2次元平面上での距離と、画面のピクセル数とから、ピクセル数に対応する距離値を縮小率として算出する(ステップS111)。
【0058】
次に、上記ステップS103で選択した背景画像に対するエフェクト処理の変換種類、例えば「絵画」、に応じて背景画像を変換する(ステップS112)。
【0059】
こうしてインデックス画像とは異なる画質表現とした背景画像に対して、上記選択した基準画像1,2に加えて、他のインデックス画像を1つ選択し、その撮影場所の地点情報から、上記縮小率を用いて背景画像上での位置、具体的にはインデックス画像の中心となる点位置を算出する(ステップS113)。
【0060】
このインデックス画像の地点情報に基づいた背景画像上の位置の算出に際しても、背景と画面の奥行き方向に該当する、撮影光軸方向の座標成分を排除し、撮影光軸と垂直となる画面平面に沿った2次元平面上での位置を算出する。
【0061】
次いで、直前のステップS113で位置を算出したインデックス画像が、選択したインデックス画像中の最後のものであるか否かにより、全インデックス画像に対する位置の算出を終了したか否かを判断する(ステップS114)。
【0062】
ここでまだ全インデックス画像に対する位置の算出を終了しておらず、位置を算出すべきインデックス画像がまだあると判断した場合には、再び上記ステップS113に戻る。
【0063】
こうして、ステップS113,S114の処理を繰返し実行し、全てのインデックス画像の位置の算出を終えると、上記ステップS114でそれを判断し、続いてインデックスプリント用画像の縦横デフォルトサイズを設定する(ステップS115)。
【0064】
これは、例えば表示部20で印刷用紙のサイズに応じたデフォルト表記、例えば「L」「はがき」「2L」「A5」を表示部20で表示した上で、そのうちのいずれか1つが選択されるのを受付け、受付けた内容を設定する(ステップS115)。
【0065】
次に、上記設定した印刷用紙で画像の印刷を実行した場合に、背景画像上のインデックス画像で互いに重なりが生じているものがあるか否かを判断する(ステップS116)。
【0066】
これは、設定された印刷用紙サイズに合わせて上記背景画像を展開し、且つ当該背景画像上の上記ステップS113でそれぞれ設定された位置に所定の画像サイズ、例えば縦120ドット×横160ドットのインデックス画像を配置した場合に、互いのインデックス画像で重複する領域が生じるか否かで判断する。
【0067】
ここで少なくとも一部のインデックス画像で重なりが生じると判断した場合には、次にその重なりを生じている一部のインデックス画像の双方を評価値を算出する(ステップS117)。
【0068】
この評価値の算出に関しては、例えばヒストグラムによる輝度の分布から、一般に「白トビ」「黒ツブレ」と称される露出過多または露出不足を生じている割合を算出する方法、輪郭抽出処理により主被写体と思われる被写体の位置が画像の中央、あるいは3分割線上に位置しているか否かで構図を評価する方法、画像全体のコントラスト値により画面全体の鮮鋭度をそのまま評価値とする方法、あるいはそれらを組み合わせる方法などが考えられる。
【0069】
上記した各方法は、本質的に画像の優劣を評価する必要はなく、あくまでも擬似的に画像処理技術を用いて一定の「まとまり」のある画像を一律に自動で選択するものであればよい。
【0070】
上記評価値の検出結果に従い、評価値が低かった側のインデックス画像の縦横サイズを、評価値が高かった側のインデックス画像と重ならないように移動させるべく、背景画像上の位置を設定し直す(ステップS118)。
【0071】
その後、上記ステップS116に戻り、まだ他にも一部のインデックス画像で重なりが生じているか否かを判断する。
【0072】
こうして重なりを生じているインデックス画像に関してはそれぞれ評価値を算出し、評価値がより低いものを移動させることで、画像の重なりを解消する。
【0073】
そして、重なりを生じているインデックス画像がないことを上記ステップS116で確認すると、次に背景画像上にインデックス画像をそれぞれ配置したインデックスプリント用の画像データをあらためて合成して生成する(ステップS119)。
【0074】
そして、生成した画像データを出力バッファ14にコピーした上で(ステップS120)、この出力バッファ14の保持内容に基づいて印刷駆動部22が印刷部24でプリントアウトを実行させ、以上で一連のインデックスプリントの処理を終了する。
【0075】
図8は、上記のようにして印刷出力されたインデックスプリントの画像P1を例示する図である。同図で、背景画像「X」の左下側に位置する画像「D」と画像「E」の各インデックス画像は、実際には重なりを生じたものの、一方を移動させることで重なりを解消して一部が隣接した状態に配置されている。
【0076】
図9は、他のインデックスプリントの画像例を示す。同図では、背景画像として選択された画像「Y」と、インデックス画像として選択された画像「a」〜「h」の内容を例示する。なお、同図では、背景画像となる画像「Y」を他のインデックス画像よりも大きく記載しているが、それは合成後のイメージを理解し易くするためであり、選択時点では同一の大きさで取扱うものとする。
【0077】
上記のような画像に対して上記実施形態と同様に2枚の画像を基準として配置した後、その他の画像を各画像が付帯している地点情報に基づいて自動配置した例を図10に示す。
【0078】
図10は、上記図9の各素材となる画像から印刷出力されたインデックスプリントの画像P2を例示する図である。同図で、背景画像「Y」の中央、やや下側に位置する画像「c」と画像「b」の各インデックス画像は、実際には重なりを生じたものの、一方を移動させることで重なりを解消して一部が隣接した状態に配置されていることを示す。
【0079】
以上詳記した如く本実施形態によれば、地図データ等を用いることなしに、装置単独で複数の画像を各画像の取得地点に対応した配置としたインデックス画像を印刷することが可能となる。
【0080】
この場合、一部の基準となる画像以外はその画像が有している地点情報に応じて自動配置するため、ユーザの負担を大幅に軽減しながら、正しい配置のインデックス画像が得られる。
【0081】
なお上記実施形態では、背景とする画像として選択したものに関しては撮影方向の情報も合わせて使用し、背景画像の撮影位置及び撮影方向と、基準となる画像の各撮影位置とに応じて残る画像を配置するための位置座標の算出を行なうものとしたため、2次元で表現される背景画像中の各インデックス画像の位置をきわめて正確に算出し、配置させることが可能となる。
【0082】
また上記実施形態では、配置結果として重なりを生じた画像に関しては、少なくとも一方を移動させることで、画像の重なりを解消したので、撮影した画像の内容が隠れてしまうことなく、有効に活用したインデックス画像にできる。
【0083】
さらに上記実施形態では、重なりを生じた複数画像が合った場合にそれらの各画像の評価値を算出し、算出された評価値の低い方の画像に対して緯度等の処理を行なうものとしたので、画像処理演算上は、より写りが良いと判断できる画像をできるだけ撮影位置を変えることなく配置して、撮影地点を反映したインデックスプリントとしての正確度を高く維持できる。
【0084】
また上記実施例とは異なり、配置結果として重なりを生じた画像に関しては、少なくとも一方を縮小させることで画像の重なりを解消するものとしても良い。この場合、画像を縮小することで、正確な撮影地点に基づいた配置関係を壊すことなく、且つ画像の重なりを解消できる。
【0085】
なお、本実施形態はプリンタ装置に適し、インデックス画像をプリントアウトする場合について説明したが、本発明はこれに限らず、撮影により得た画像データを取扱って出力、例えば表示、あるいは電子データの状態で出力するような各種電子機器、例えばカメラ機能を有する携帯電話端末やモバイルコンピュータ、電子ブック等、その他の電子機器あるいは当該電子機器が内蔵するコンピュータにインストールされたプログラムでも同様の機能が実現できる。
【0086】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【0087】
10…プリンタ装置、11…CPU、12…メインメモリ、13…プログラムメモリ、14…出力バッファ、15…入出力インターフェイス、16…キー入力部、17…USBインターフェイス(I/F)、18…赤外線(Ir)送受光部、19…メモリカードインターフェイス(I/F)、20…表示部、21…タッチ入力部、22…印刷駆動部、23…メモリカード、24…印刷部、B…バス。
【技術分野】
【0001】
本発明は、例えばデジタルカメラや携帯型の画像プリンタなど、撮影により得た画像データを取扱う装置に好適な画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
従来より、複数の画像データを記憶した装置、例えばデジタルカメラや画像用のメモリカードを装着したプリンタでは、多数記憶している画像中から1つを選択するために、1枚当たりの画像サイズを大幅に縮小して多数の画像を一覧出力する、インデックス表示、あるいはインデックスプリントと称する機能がある。
【0003】
この種のインデックス出力では、複数の画像を例えば1画面内にm行n列(m,nはそれぞれ2以上の整数)に羅列した状態で出力される。
【0004】
ところで、デジタルカメラ用画像フォーマットの事実上の標準規格であるExif(Exchangeable image file format)の現在のバージョンでは、画像データに付加する撮影データの一部に、GPS(Global Positioning System:全地球測位システム)の測定情報を格納するタグが定義されている。
【0005】
上記Exif規格に従って撮影地点の情報を利用する技術として、撮影画像と撮影場所の地図とを合成表示したインデックスプリントを作成する技術(特許文献1)が考えられている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2008−197739号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
一般的なインデックスプリントでは、単純に画像を羅列したものしか得られない。また、上記特許文献1に記載された技術は、サムネイル画像を地図画像に合成するものであるために、インターネット環境のような地図データベースを提供可能な環境が必要となる。
【0008】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、装置単独で複数の画像を各画像の取得地点に対応した配置としたインデックス画像を出力することが可能な画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
請求項1記載の発明は、撮影位置の地点情報を含む画像を複数記憶する記憶手段と、上記記憶手段で記憶する画像中から、背景とする画像(以下「背景画像」)の選択を受付ける第1の選択手段と、上記記憶手段で記憶する画像中から、上記背景画像中に合成する複数の画像の選択を受付ける第2の選択手段と、上記第2の選択手段で選択された複数の画像中から、上記背景画像に対する基準となる少なくとも2つの画像の選択を受付ける第3の選択手段と、上記第1の選択手段で選択された背景画像を表示する表示手段と、上記表示手段で表示する背景画像中で上記第3の選択手段で選択された画像の位置の指定を受付ける指定手段と、上記背景画像の地点情報、上記第3の選択手段で選択された画像の地点情報、及び上記指定手段で指定された背景画像中での位置に基づき、上記第2の選択手段で選択された画像中、上記第3の選択手段で選択されなかった残る画像に対して、それぞれの地点情報から上記背景画像中での位置を設定する設定手段と、上記指定手段で指定された背景画像中での位置、及び上記設定手段で設定した背景画像中での位置により、上記背景画像中に上記第2の選択手段で選択された画像の縮小画像を配置したインデックス画像を生成するインデックス画像生成手段と、上記インデックス画像生成手段で生成したインデックス画像を出力する出力手段とを具備したことを特徴とする。
【0010】
請求項2記載の発明は、上記請求項1記載の発明において、上記第1の選択手段で選択された背景画像は撮影方向の情報を含み、上記設定手段は、上記背景画像の撮影方向の情報をさらに用いて、上記第2の選択手段で選択された画像中、上記第3の選択手段で選択されなかった残る画像に対して、上記背景画像中での位置を設定することを特徴とする。
【0011】
請求項3記載の発明は、上記請求項1記載の発明において、上記インデックス画像生成手段は、上記背景画像中に配置する上記第2の選択手段で選択した画像の縮小画像の少なくとも2つが重なり合う場合に、一部の縮小画像の縮小率を上げて重なり合いを回避したインデックス画像を生成することを特徴とする。
【0012】
請求項4記載の発明は、上記請求項1記載の発明において、上記インデックス画像生成手段は、上記背景画像中に配置する上記第2の選択手段で選択した画像の縮小画像の少なくとも2つが重なり合う場合に、一部の縮小画像の位置を移動して重なり合いを回避したインデックス画像を生成することを特徴とする。
【0013】
請求項5記載の発明は、上記請求項3または4記載の発明において、上記第2の選択手段で選択した画像の評価値を算出する評価手段をさらに具備し、上記インデックス画像生成手段は、上記背景画像中に配置する上記第2の選択手段で選択した画像の縮小画像の少なくとも2つが重なり合う場合に、上記評価手段により算出した評価値が低い縮小画像の位置を縮小、または移動して重なり合いを回避したインデックス画像を生成することを特徴とする。
【0014】
請求項6記載の発明は、撮影位置の地点情報を含む画像を複数記憶する記憶部、画像を表示する表示部、及び上記記憶部で記憶する画像を出力する出力部を備えた装置での画像処理方法であって、上記記憶部で記憶する画像中から、背景とする画像の選択を受付ける第1の選択工程と、上記記憶部で記憶する画像中から、上記背景画像中に合成する複数の画像の選択を受付ける第2の選択工程と、上記第2の選択工程で選択された複数の画像中から、上記背景画像に対する基準となる少なくとも2つの画像の選択を受付ける第3の選択手段と、上記第1の選択手段で選択された背景画像を上記表示部で表示させる表示工程と、上記表示工程で表示する背景画像中で上記第3の選択工程で選択された画像の位置の指定を受付ける指定工程と、上記背景画像の地点情報、上記第3の選択工程で選択された画像の地点情報、及び上記指定工程で指定された背景画像中での位置に基づき、上記第2の選択工程で選択された画像中、上記第3の選択工程で選択されなかった残る画像に対して、それぞれの地点情報から上記背景画像中での位置を設定する設定工程と、上記指定工程で指定された背景画像中での位置、及び上記設定工程で設定した背景画像中での位置により、上記背景画像中に上記第2の選択工程で選択された画像の縮小画像を配置したインデックス画像を生成するインデックス画像生成工程と、上記インデックス画像生成工程で生成したインデックス画像を上記出力部で出力させる出力制御工程とを有したことを特徴とする。
【0015】
請求項7記載の発明は、撮影位置の地点情報を含む画像を複数記憶する記憶部、画像を表示する表示部、及び上記記憶部で記憶する画像を出力する出力部を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記プログラムを、上記記憶部で記憶する画像中から、背景とする画像の選択を受付ける第1の選択手段、上記記憶部で記憶する画像中から、上記背景画像中に合成する複数の画像の選択を受付ける第2の選択手段、上記第2の選択手段で選択された複数の画像中から、上記背景画像に対する基準となる少なくとも2つの画像の選択を受付ける第3の選択手段、上記第1の選択手段で選択された背景画像を上記表示部で表示させる表示手段、上記表示手段で表示する背景画像中で上記第3の選択手段で選択された画像の位置の指定を受付ける指定手段、上記背景画像の地点情報、上記第3の選択手段で選択された画像の地点情報、及び上記指定手段で指定された背景画像中での位置に基づき、上記第2の選択手段で選択された画像中、上記第3の選択手段で選択されなかった残る画像に対して、それぞれの地点情報から上記背景画像中での位置を設定する設定手段、上記指定手段で指定された背景画像中での位置、及び上記設定手段で設定した背景画像中での位置により、上記背景画像中に上記第2の選択手段で選択された画像の縮小画像を配置したインデックス画像を生成するインデックス画像生成手段、及び上記インデックス画像生成手段で生成したインデックス画像を上記出力部で出力させる出力制御手段として機能させることを特徴とする。
【発明の効果】
【0016】
本発明によれば、装置単独で複数の画像を各画像の取得地点に対応した配置としたインデックス画像を出力することが可能となる。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施形態に係るプリンタ装置の電子回路の機能構成を示すブロック図。
【図2】同実施形態に係るインデックスプリントの一連の処理内容を示すフローチャート。
【図3】同実施形態に係るインデックスプリントの処理過程における画面の遷移状態を示す図。
【図4】同実施形態に係る画像データに添付されるGPS情報の内容を示す図。
【図5】同実施形態に係るインデックスプリントの処理過程における画面の遷移状態を示す図。
【図6】同実施形態に係る背景画像及びインデックス画像として選択された各画像の内容を例示する図。
【図7】同実施形態に係るインデックスプリントの処理過程における画面の遷移状態を示す図。
【図8】同実施形態に係る印刷出力されたインデックスプリントの画像を例示する図。
【図9】同実施形態に係る他の背景画像及びインデックス画像として選択された各画像の内容を例示する図。
【図10】同実施形態に係る他の印刷出力されたインデックスプリントの画像を例示する図。
【発明を実施するための形態】
【0018】
以下本発明をプリンタ装置に適用した場合の一実施形態について図面を参照して説明する。
図1は、本実施形態に係るプリンタ装置10が備える電子回路の機能構成を示すブロック図である。CPU11、メインメモリ12、及びプログラムメモリ13がバスBを介して接続される。
【0019】
上記CPU11は、プログラムメモリ13に記憶される動作プログラムや固定データ等を読出し、読出した内容をメインメモリ12に展開して記憶させた上で、その内容に従ってこのプリンタ装置10内の各種処理動作を実行する。
【0020】
メインメモリ12は、例えばSRAMで構成され、CPU11のワークメモリとして使用される。プログラムメモリ13は、不揮発性のメモリ、例えばフラッシュメモリで構成され、CPU11の動作プログラムや各種固定データ等を記憶する。
【0021】
上記バスBに対して、出力用の画像データを記憶する出力バッファ14、周辺回路との入出力を制御する入出力インターフェイス15が接続される。この入出力インターフェイス15に、ユーザの指示や選択等の操作を受付けるキー入力部16、USB(Universal Serial Bus)インターフェイス(I/F)17、赤外線送受光部18、メモリカードインターフェイス(I/F)19、表示部20、タッチ入力部21、及び印刷駆動部22が接続される。
【0022】
上記キー入力部16は、例えば電源キー、メニューキー、カーソルキー、決定/プリントキー、キャンセルキーとそれらキーのキーサンプリングを行なうキーコントローラから構成され、操作されたキーの情報を入出力インターフェイス15へ出力する。
【0023】
上記USBインターフェイス17は、USB端子を介して接続される外部機器との間でデータの送受を管理する。
【0024】
上記赤外線送受光部18は、例えば赤外線通信機能を有する携帯電話端末等とIr−TranP規格に則った赤外光の無線接続により、デジタルカメラや携帯端末装置で撮影した画像データ等のデータファイルを取込む。
上記メモリカードインターフェイス19は、このプリンタ装置10が備えるメモリカードスロットに装着されたメモリカード23から各種データを読出して入出力インターフェイス15へ送出する。
【0025】
上記表示部20は、例えばバックライト付きのカラー液晶表示パネルで構成され、選択した画像や後述するインデックス画像と、あるいはガイドメッセージ等を表示する。
【0026】
タッチ入力部21は、上記表示部20上に一体にして構成された透明パネルとその駆動回路とで構成され、表示部20での表示に合わせてユーザによりタッチされると、その操作位置に応じた座標信号を発生して入出力インターフェイス15へ出力する。
【0027】
印刷駆動部22は、上記出力バッファ14から送られてくる印刷データに基づいて印刷部24を駆動し、画像のプリントを実行させる。印刷部24は、例えばインクジェット方式の印刷機構を有する。
【0028】
次に上記実施形態の動作について説明する。
なお、以下に示す動作は、CPU11がプログラムメモリ13に記憶されている動作プログラムやデータを読出し、メインメモリ12に展開して記憶させた上で実行する、インデックスプリント作成の一連の動作を示すものである。
【0029】
プログラムメモリ13に記憶されている動作プログラム等は、このプリンタ装置10の製造工場出荷時にプログラムメモリ13に記憶されていたものに加え、例えばこのプリンタ装置10のバージョンアップに際して、USBインターフェイス17経由でUSB端子に、インターネット環境にあるパーソナルコンピュータを接続することにより、あるいはメモリカードインターフェイス19経由で更新プログラムを記憶したメモリカードをメモリカードスロットに装着することにより、外部から新たな動作プログラム、データ等をダウンロードして記憶するものも含む。
【0030】
図2は、メニュー項目からインデックスプリントの処理を指定した後の処理内容を示すものである。その処理当初にCPU11は、ワークメモリであるメインメモリ12に対する初期化を実行する(ステップS101)。
【0031】
その後、まず背景となる画像を選択する(ステップS102)。
図3(1)は、この背景画像の選択時に表示部20で表示される、メモリカード23に記憶された画像の一覧表示状態を例示する。なお、同図(1)では説明のために各画像をアルファベットで代用して表記しているが、実際の画面上では撮影により得た静止画像を縮小した画像が表示される。
【0032】
同図(1)では、2行×4列の計8枚の画像「X」「A」〜「G」が縮小された状態で一覧表示されると共に、三角マークM1により、表示されている画像がメモリカード23に記憶されている全てでなく、右方向への画面スクロールで表示されていない他の画像も選択可能であることが表示されている。
【0033】
同図(1)では、先頭に位置する画像「X」に対して選択フレームカーソルCSが表示され、画像「X」が仮の選択状態であることを示している。この表示状態から例えばキー入力部16の決定/プリントキーを操作することで、背景画像として画像「X」が選択される。
【0034】
なお、画像「X」を含めてメモリカード23に記憶されるいずれの画像データも、Exif規格に則ったGPSの測定情報を格納するタグが設定されており、撮影データの一部として地点情報が付帯されているものとする。
【0035】
図4は、Exifで規定されるGPS情報である「GPS Info IFD」におけるタグの番号とGPSの測定情報の内容との対応を示す。上記背景画像として選択した画像と、後述するインデックス画像として選択する画像のいずれも、タグ番号「1」〜「6」に該当する撮影地点の緯度、経度、及び高度の情報を使用する。
さらに、上記背景画像として選択した画像に関しては、加えてタグ番号「16」,「17」に該当する撮影方向(方位:単位[°])の情報を使用する。
【0036】
上記ステップS102の背景画像の選択を終えると、続いて背景となる画像部分に施す変換種類を選択する(ステップS103)。
【0037】
図3(2)にこのときの表示部20での選択画面を示す。これら変換の種類は、インデックス画像を重畳して合成する背景部分の画像描写を、インデックス画像とはっきり区別するためにエフェクト処理を施すべくその内容を選択するもので、ここでは「薄印刷」「セピア」「白黒」及び「絵画」の4種類の中から「絵画」を仮に選択している状態を示す。
【0038】
この表示状態から例えばキー入力部16の決定/プリントキーを操作することで、変換種類が選択される。その選択処理後、インデックスプリント用に上記背景画像上に縮小して添付する画像を選択する(ステップS104)。ここでは、少なくとも2枚以上の画像を選択することが必要となる。
図3(3)は、インデックス画像の選択を行なう表示部20での表示画面を示す。同図では、既に背景画像として選択した画像「X」が選択不可となっている以外、まだ画像「A」〜「G」のいずれも選択されておらず、画像「A」に対して選択フレームカーソルCSが表示され、画像「A」が仮の選択状態であることを示している。この表示状態から例えばキー入力部16の決定/プリントキーを操作するか、あるいはユーザが手指で画像「A」の位置を直接タッチすることにより、インデックス画像として画像「A」が選択され、同画像「A」にチェックのマークが重ねて表示される。
【0039】
図5(1)は、上記図3(3)の状態から、画像「A」〜「G」が全て選択されている状態を示す。画像「G」を選択した後、さらにカーソルキーで画面を右方向にスクロールさせ、さらに画像「H」を選択するものとする。
【0040】
図6は、背景画像として選択された画像「X」と、インデックス画像として選択された画像「A」〜「H」の内容を例示する。なお、同図では、背景画像となる画像「X」を他のインデックス画像よりも大きく記載しているが、それは合成後のイメージを理解し易くするためであり、上記図3、図5で示したように選択時点では同一の大きさで取扱うことは勿論である。
【0041】
画像の選択を終えると、次いでそれまでに選択した全画像からそれぞれ上記図4で示したGPSの情報である「GPS Info IFD」を読出し、必要なタグについての解析を行なう(ステップS105)。
【0042】
このとき合わせて、上述した如く背景となる画像として選択した画像「X」の画像データからはタグ番号「1」〜「6」の緯度、経度、及び高度の情報と、タグ番号「16」,「17」の撮影方向の情報とを抽出してメインメモリ12に保持する。
【0043】
一方、インデックス画像として選択した画像「A」〜「H」の各画像データからは、タグ番号「1」〜「6」の緯度、経度、及び高度の情報を抽出してメインメモリ12に保持する(ステップS106)。
【0044】
次いで、選択したインデックス画像中から、基準となる第1の画像の選択と背景画像中への配置を促すガイドメッセージを表示部20で表示し、それに対応して画像が選択され、位置が指定されるのを受付ける。
【0045】
図5(2)は、上記インデックス画像として選択した画像「E」を選択フレームカーソルCSにより仮に選択している状態を示す。この画像「E」を仮に選択した状態で、例えばキー入力部16の決定/プリントキーを操作することで、画像「E」が第1の基準位置を示す画像として選択されたこととなり、図5(3)に示すように、背景画像中の所定位置、例えば右上部に基準となる番号「1」を付したフラッグマークF1を表示させる。
【0046】
ユーザはキー入力部16のカーソルキー操作により、このフラッグマークF1を、画像を撮影した地点に基づいて背景画像中の正しい位置に移動させる。
図7(1)は、ユーザの操作により番号「1」を付したフラッグを移動させ、画像「E」を撮影した地点を背景画像中で特定した状態を示す。
【0047】
こうして第1の基準となる画像の選択及び配置を終えると、同様にして第2の画像の選択及び配置を実行する(ステップS108)。
【0048】
図7(2)は、画像「C」を選択フレームカーソルCSにより仮に選択している状態を示す。この画像「C」を仮に選択した状態で、例えばキー入力部16の決定/プリントキーを操作することで、画像「C」が第2の基準位置を示す画像として選択されたこととなり、図7(3)に示すように、背景画像中の所定位置、例えば右上部に基準となる番号「2」を付したフラッグマークF2を表示させる。
【0049】
ユーザはキー入力部16のカーソルキー操作により、このフラッグマークF2を、画像を撮影した地点に基づいて背景画像中の正しい位置に移動させる。
こうして基準となる画像2枚をそれぞれ背景画像中に配置すると、2つの画像データに付加されている撮影場所の地点情報を基準点1,2の印刷位置としてメインメモリ12に保存する(ステップS109)。
【0050】
なお、上記基準点1,2を選択するにあたっては、できる限り背景画像中のより広い矩形範囲を定義するような対角線上の2点に該当する位置の画像を選択することが、位置精度を高める上で望ましい。
【0051】
次いで上記基準点1−2間の画面方向における距離と画像中のピクセル数を算出する(ステップS110)。この場合、基準点1−2間の「画面方向における」距離は、基準点1,2の各3次元座標値(緯度、経度、高度)から単純に線分の長さとして算出するのではなく、背景画像の撮影光軸と垂直な画面平面に沿った2次元平面上での距離となる。
【0052】
より詳細には、背景画像の撮影場所の3次元座標値と撮影方向(方位)の情報、及び撮影データ中の焦点距離から換算される画角とにより、仮に撮影光軸を水平とした場合の基準点1,2の各地点情報から、撮影地点−基準点1までの水平距離、撮影地点−基準点2までの水平距離、及び撮影画像中に映り込む筈の基準点1,2の各高さ(高度)方向の位置が算出できる。
【0053】
この算出した基準点1,2の各高さ(高度)方向の位置と、実際の画像の基準点1,2の各高さ(高度)方向の位置との差により、撮影光軸が水平方向から上下いずれの方向にどの程度ずれているかを示す、仰角または俯角の値が算出できる。この撮影光軸の仰角または俯角の値に関しては、基準点1から算出した値と基準点2から算出した値との中間値を用いる。
【0054】
なお、電子水準器の機能を有する、3軸加速度センサ等を内蔵したデジタルカメラで撮影した背景画像であれば、撮影時の撮影データの一部に撮影光軸の仰角または俯角の値を示す情報を含めて予め記憶しておくことも可能となる。
【0055】
したがって、上記基準点1−2間の画面上の距離算出に際しては、背景画面の奥行き方向に該当する、撮影光軸方向の座標成分を排除して、撮影光軸と垂直となる画面平面に沿った2次元平面上での距離を算出する。
【0056】
合わせて、上述した如く背景画像中における基準点1−2間のピクセル数を合わせて算出する。
【0057】
次いで、上記ステップS110で算出した基準点1−2間の、撮影光軸と垂直となる画面平面に沿った2次元平面上での距離と、画面のピクセル数とから、ピクセル数に対応する距離値を縮小率として算出する(ステップS111)。
【0058】
次に、上記ステップS103で選択した背景画像に対するエフェクト処理の変換種類、例えば「絵画」、に応じて背景画像を変換する(ステップS112)。
【0059】
こうしてインデックス画像とは異なる画質表現とした背景画像に対して、上記選択した基準画像1,2に加えて、他のインデックス画像を1つ選択し、その撮影場所の地点情報から、上記縮小率を用いて背景画像上での位置、具体的にはインデックス画像の中心となる点位置を算出する(ステップS113)。
【0060】
このインデックス画像の地点情報に基づいた背景画像上の位置の算出に際しても、背景と画面の奥行き方向に該当する、撮影光軸方向の座標成分を排除し、撮影光軸と垂直となる画面平面に沿った2次元平面上での位置を算出する。
【0061】
次いで、直前のステップS113で位置を算出したインデックス画像が、選択したインデックス画像中の最後のものであるか否かにより、全インデックス画像に対する位置の算出を終了したか否かを判断する(ステップS114)。
【0062】
ここでまだ全インデックス画像に対する位置の算出を終了しておらず、位置を算出すべきインデックス画像がまだあると判断した場合には、再び上記ステップS113に戻る。
【0063】
こうして、ステップS113,S114の処理を繰返し実行し、全てのインデックス画像の位置の算出を終えると、上記ステップS114でそれを判断し、続いてインデックスプリント用画像の縦横デフォルトサイズを設定する(ステップS115)。
【0064】
これは、例えば表示部20で印刷用紙のサイズに応じたデフォルト表記、例えば「L」「はがき」「2L」「A5」を表示部20で表示した上で、そのうちのいずれか1つが選択されるのを受付け、受付けた内容を設定する(ステップS115)。
【0065】
次に、上記設定した印刷用紙で画像の印刷を実行した場合に、背景画像上のインデックス画像で互いに重なりが生じているものがあるか否かを判断する(ステップS116)。
【0066】
これは、設定された印刷用紙サイズに合わせて上記背景画像を展開し、且つ当該背景画像上の上記ステップS113でそれぞれ設定された位置に所定の画像サイズ、例えば縦120ドット×横160ドットのインデックス画像を配置した場合に、互いのインデックス画像で重複する領域が生じるか否かで判断する。
【0067】
ここで少なくとも一部のインデックス画像で重なりが生じると判断した場合には、次にその重なりを生じている一部のインデックス画像の双方を評価値を算出する(ステップS117)。
【0068】
この評価値の算出に関しては、例えばヒストグラムによる輝度の分布から、一般に「白トビ」「黒ツブレ」と称される露出過多または露出不足を生じている割合を算出する方法、輪郭抽出処理により主被写体と思われる被写体の位置が画像の中央、あるいは3分割線上に位置しているか否かで構図を評価する方法、画像全体のコントラスト値により画面全体の鮮鋭度をそのまま評価値とする方法、あるいはそれらを組み合わせる方法などが考えられる。
【0069】
上記した各方法は、本質的に画像の優劣を評価する必要はなく、あくまでも擬似的に画像処理技術を用いて一定の「まとまり」のある画像を一律に自動で選択するものであればよい。
【0070】
上記評価値の検出結果に従い、評価値が低かった側のインデックス画像の縦横サイズを、評価値が高かった側のインデックス画像と重ならないように移動させるべく、背景画像上の位置を設定し直す(ステップS118)。
【0071】
その後、上記ステップS116に戻り、まだ他にも一部のインデックス画像で重なりが生じているか否かを判断する。
【0072】
こうして重なりを生じているインデックス画像に関してはそれぞれ評価値を算出し、評価値がより低いものを移動させることで、画像の重なりを解消する。
【0073】
そして、重なりを生じているインデックス画像がないことを上記ステップS116で確認すると、次に背景画像上にインデックス画像をそれぞれ配置したインデックスプリント用の画像データをあらためて合成して生成する(ステップS119)。
【0074】
そして、生成した画像データを出力バッファ14にコピーした上で(ステップS120)、この出力バッファ14の保持内容に基づいて印刷駆動部22が印刷部24でプリントアウトを実行させ、以上で一連のインデックスプリントの処理を終了する。
【0075】
図8は、上記のようにして印刷出力されたインデックスプリントの画像P1を例示する図である。同図で、背景画像「X」の左下側に位置する画像「D」と画像「E」の各インデックス画像は、実際には重なりを生じたものの、一方を移動させることで重なりを解消して一部が隣接した状態に配置されている。
【0076】
図9は、他のインデックスプリントの画像例を示す。同図では、背景画像として選択された画像「Y」と、インデックス画像として選択された画像「a」〜「h」の内容を例示する。なお、同図では、背景画像となる画像「Y」を他のインデックス画像よりも大きく記載しているが、それは合成後のイメージを理解し易くするためであり、選択時点では同一の大きさで取扱うものとする。
【0077】
上記のような画像に対して上記実施形態と同様に2枚の画像を基準として配置した後、その他の画像を各画像が付帯している地点情報に基づいて自動配置した例を図10に示す。
【0078】
図10は、上記図9の各素材となる画像から印刷出力されたインデックスプリントの画像P2を例示する図である。同図で、背景画像「Y」の中央、やや下側に位置する画像「c」と画像「b」の各インデックス画像は、実際には重なりを生じたものの、一方を移動させることで重なりを解消して一部が隣接した状態に配置されていることを示す。
【0079】
以上詳記した如く本実施形態によれば、地図データ等を用いることなしに、装置単独で複数の画像を各画像の取得地点に対応した配置としたインデックス画像を印刷することが可能となる。
【0080】
この場合、一部の基準となる画像以外はその画像が有している地点情報に応じて自動配置するため、ユーザの負担を大幅に軽減しながら、正しい配置のインデックス画像が得られる。
【0081】
なお上記実施形態では、背景とする画像として選択したものに関しては撮影方向の情報も合わせて使用し、背景画像の撮影位置及び撮影方向と、基準となる画像の各撮影位置とに応じて残る画像を配置するための位置座標の算出を行なうものとしたため、2次元で表現される背景画像中の各インデックス画像の位置をきわめて正確に算出し、配置させることが可能となる。
【0082】
また上記実施形態では、配置結果として重なりを生じた画像に関しては、少なくとも一方を移動させることで、画像の重なりを解消したので、撮影した画像の内容が隠れてしまうことなく、有効に活用したインデックス画像にできる。
【0083】
さらに上記実施形態では、重なりを生じた複数画像が合った場合にそれらの各画像の評価値を算出し、算出された評価値の低い方の画像に対して緯度等の処理を行なうものとしたので、画像処理演算上は、より写りが良いと判断できる画像をできるだけ撮影位置を変えることなく配置して、撮影地点を反映したインデックスプリントとしての正確度を高く維持できる。
【0084】
また上記実施例とは異なり、配置結果として重なりを生じた画像に関しては、少なくとも一方を縮小させることで画像の重なりを解消するものとしても良い。この場合、画像を縮小することで、正確な撮影地点に基づいた配置関係を壊すことなく、且つ画像の重なりを解消できる。
【0085】
なお、本実施形態はプリンタ装置に適し、インデックス画像をプリントアウトする場合について説明したが、本発明はこれに限らず、撮影により得た画像データを取扱って出力、例えば表示、あるいは電子データの状態で出力するような各種電子機器、例えばカメラ機能を有する携帯電話端末やモバイルコンピュータ、電子ブック等、その他の電子機器あるいは当該電子機器が内蔵するコンピュータにインストールされたプログラムでも同様の機能が実現できる。
【0086】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【0087】
10…プリンタ装置、11…CPU、12…メインメモリ、13…プログラムメモリ、14…出力バッファ、15…入出力インターフェイス、16…キー入力部、17…USBインターフェイス(I/F)、18…赤外線(Ir)送受光部、19…メモリカードインターフェイス(I/F)、20…表示部、21…タッチ入力部、22…印刷駆動部、23…メモリカード、24…印刷部、B…バス。
【特許請求の範囲】
【請求項1】
撮影位置の地点情報を含む画像を複数記憶する記憶手段と、
上記記憶手段で記憶する画像中から、背景とする画像(以下「背景画像」)の選択を受付ける第1の選択手段と、
上記記憶手段で記憶する画像中から、上記背景画像中に合成する複数の画像の選択を受付ける第2の選択手段と、
上記第2の選択手段で選択された複数の画像中から、上記背景画像に対する基準となる少なくとも2つの画像の選択を受付ける第3の選択手段と、
上記第1の選択手段で選択された背景画像を表示する表示手段と、
上記表示手段で表示する背景画像中で上記第3の選択手段で選択された画像の位置の指定を受付ける指定手段と、
上記背景画像の地点情報、上記第3の選択手段で選択された画像の地点情報、及び上記指定手段で指定された背景画像中での位置に基づき、上記第2の選択手段で選択された画像中、上記第3の選択手段で選択されなかった残る画像に対して、それぞれの地点情報から上記背景画像中での位置を設定する設定手段と、
上記指定手段で指定された背景画像中での位置、及び上記設定手段で設定した背景画像中での位置により、上記背景画像中に上記第2の選択手段で選択された画像の縮小画像を配置したインデックス画像を生成するインデックス画像生成手段と、
上記インデックス画像生成手段で生成したインデックス画像を出力する出力手段と
を具備したことを特徴とする画像処理装置。
【請求項2】
上記第1の選択手段で選択された背景画像は撮影方向の情報を含み、
上記設定手段は、上記背景画像の撮影方向の情報をさらに用いて、上記第2の選択手段で選択された画像中、上記第3の選択手段で選択されなかった残る画像に対して、上記背景画像中での位置を設定する
ことを特徴とする請求項1記載の画像処理装置。
【請求項3】
上記インデックス画像生成手段は、上記背景画像中に配置する上記第2の選択手段で選択した画像の縮小画像の少なくとも2つが重なり合う場合に、一部の縮小画像の縮小率を上げて重なり合いを回避したインデックス画像を生成することを特徴とする請求項1記載の画像処理装置。
【請求項4】
上記インデックス画像生成手段は、上記背景画像中に配置する上記第2の選択手段で選択した画像の縮小画像の少なくとも2つが重なり合う場合に、一部の縮小画像の位置を移動して重なり合いを回避したインデックス画像を生成することを特徴とする請求項1記載の画像処理装置。
【請求項5】
上記第2の選択手段で選択した画像の評価値を算出する評価手段をさらに具備し、
上記インデックス画像生成手段は、上記背景画像中に配置する上記第2の選択手段で選択した画像の縮小画像の少なくとも2つが重なり合う場合に、上記評価手段により算出した評価値が低い縮小画像の位置を縮小、または移動して重なり合いを回避したインデックス画像を生成する
ことを特徴とする請求項3または4記載の画像処理装置。
【請求項6】
撮影位置の地点情報を含む画像を複数記憶する記憶部、画像を表示する表示部、及び上記記憶部で記憶する画像を出力する出力部を備えた装置での画像処理方法であって、
上記記憶部で記憶する画像中から、背景とする画像の選択を受付ける第1の選択工程と、
上記記憶部で記憶する画像中から、上記背景画像中に合成する複数の画像の選択を受付ける第2の選択工程と、
上記第2の選択工程で選択された複数の画像中から、上記背景画像に対する基準となる少なくとも2つの画像の選択を受付ける第3の選択手段と、
上記第1の選択手段で選択された背景画像を上記表示部で表示させる表示工程と、
上記表示工程で表示する背景画像中で上記第3の選択工程で選択された画像の位置の指定を受付ける指定工程と、
上記背景画像の地点情報、上記第3の選択工程で選択された画像の地点情報、及び上記指定工程で指定された背景画像中での位置に基づき、上記第2の選択工程で選択された画像中、上記第3の選択工程で選択されなかった残る画像に対して、それぞれの地点情報から上記背景画像中での位置を設定する設定工程と、
上記指定工程で指定された背景画像中での位置、及び上記設定工程で設定した背景画像中での位置により、上記背景画像中に上記第2の選択工程で選択された画像の縮小画像を配置したインデックス画像を生成するインデックス画像生成工程と、
上記インデックス画像生成工程で生成したインデックス画像を上記出力部で出力させる出力制御工程と
を有したことを特徴とする画像処理方法。
【請求項7】
撮影位置の地点情報を含む画像を複数記憶する記憶部、画像を表示する表示部、及び上記記憶部で記憶する画像を出力する出力部を備えた装置が内蔵するコンピュータが実行するプログラムであって、
上記プログラムを、
上記記憶部で記憶する画像中から、背景とする画像の選択を受付ける第1の選択手段、
上記記憶部で記憶する画像中から、上記背景画像中に合成する複数の画像の選択を受付ける第2の選択手段、
上記第2の選択手段で選択された複数の画像中から、上記背景画像に対する基準となる少なくとも2つの画像の選択を受付ける第3の選択手段、
上記第1の選択手段で選択された背景画像を上記表示部で表示させる表示手段、
上記表示手段で表示する背景画像中で上記第3の選択手段で選択された画像の位置の指定を受付ける指定手段、
上記背景画像の地点情報、上記第3の選択手段で選択された画像の地点情報、及び上記指定手段で指定された背景画像中での位置に基づき、上記第2の選択手段で選択された画像中、上記第3の選択手段で選択されなかった残る画像に対して、それぞれの地点情報から上記背景画像中での位置を設定する設定手段、
上記指定手段で指定された背景画像中での位置、及び上記設定手段で設定した背景画像中での位置により、上記背景画像中に上記第2の選択手段で選択された画像の縮小画像を配置したインデックス画像を生成するインデックス画像生成手段、及び
上記インデックス画像生成手段で生成したインデックス画像を上記出力部で出力させる出力制御手段
として機能させることを特徴とするプログラム。
【請求項1】
撮影位置の地点情報を含む画像を複数記憶する記憶手段と、
上記記憶手段で記憶する画像中から、背景とする画像(以下「背景画像」)の選択を受付ける第1の選択手段と、
上記記憶手段で記憶する画像中から、上記背景画像中に合成する複数の画像の選択を受付ける第2の選択手段と、
上記第2の選択手段で選択された複数の画像中から、上記背景画像に対する基準となる少なくとも2つの画像の選択を受付ける第3の選択手段と、
上記第1の選択手段で選択された背景画像を表示する表示手段と、
上記表示手段で表示する背景画像中で上記第3の選択手段で選択された画像の位置の指定を受付ける指定手段と、
上記背景画像の地点情報、上記第3の選択手段で選択された画像の地点情報、及び上記指定手段で指定された背景画像中での位置に基づき、上記第2の選択手段で選択された画像中、上記第3の選択手段で選択されなかった残る画像に対して、それぞれの地点情報から上記背景画像中での位置を設定する設定手段と、
上記指定手段で指定された背景画像中での位置、及び上記設定手段で設定した背景画像中での位置により、上記背景画像中に上記第2の選択手段で選択された画像の縮小画像を配置したインデックス画像を生成するインデックス画像生成手段と、
上記インデックス画像生成手段で生成したインデックス画像を出力する出力手段と
を具備したことを特徴とする画像処理装置。
【請求項2】
上記第1の選択手段で選択された背景画像は撮影方向の情報を含み、
上記設定手段は、上記背景画像の撮影方向の情報をさらに用いて、上記第2の選択手段で選択された画像中、上記第3の選択手段で選択されなかった残る画像に対して、上記背景画像中での位置を設定する
ことを特徴とする請求項1記載の画像処理装置。
【請求項3】
上記インデックス画像生成手段は、上記背景画像中に配置する上記第2の選択手段で選択した画像の縮小画像の少なくとも2つが重なり合う場合に、一部の縮小画像の縮小率を上げて重なり合いを回避したインデックス画像を生成することを特徴とする請求項1記載の画像処理装置。
【請求項4】
上記インデックス画像生成手段は、上記背景画像中に配置する上記第2の選択手段で選択した画像の縮小画像の少なくとも2つが重なり合う場合に、一部の縮小画像の位置を移動して重なり合いを回避したインデックス画像を生成することを特徴とする請求項1記載の画像処理装置。
【請求項5】
上記第2の選択手段で選択した画像の評価値を算出する評価手段をさらに具備し、
上記インデックス画像生成手段は、上記背景画像中に配置する上記第2の選択手段で選択した画像の縮小画像の少なくとも2つが重なり合う場合に、上記評価手段により算出した評価値が低い縮小画像の位置を縮小、または移動して重なり合いを回避したインデックス画像を生成する
ことを特徴とする請求項3または4記載の画像処理装置。
【請求項6】
撮影位置の地点情報を含む画像を複数記憶する記憶部、画像を表示する表示部、及び上記記憶部で記憶する画像を出力する出力部を備えた装置での画像処理方法であって、
上記記憶部で記憶する画像中から、背景とする画像の選択を受付ける第1の選択工程と、
上記記憶部で記憶する画像中から、上記背景画像中に合成する複数の画像の選択を受付ける第2の選択工程と、
上記第2の選択工程で選択された複数の画像中から、上記背景画像に対する基準となる少なくとも2つの画像の選択を受付ける第3の選択手段と、
上記第1の選択手段で選択された背景画像を上記表示部で表示させる表示工程と、
上記表示工程で表示する背景画像中で上記第3の選択工程で選択された画像の位置の指定を受付ける指定工程と、
上記背景画像の地点情報、上記第3の選択工程で選択された画像の地点情報、及び上記指定工程で指定された背景画像中での位置に基づき、上記第2の選択工程で選択された画像中、上記第3の選択工程で選択されなかった残る画像に対して、それぞれの地点情報から上記背景画像中での位置を設定する設定工程と、
上記指定工程で指定された背景画像中での位置、及び上記設定工程で設定した背景画像中での位置により、上記背景画像中に上記第2の選択工程で選択された画像の縮小画像を配置したインデックス画像を生成するインデックス画像生成工程と、
上記インデックス画像生成工程で生成したインデックス画像を上記出力部で出力させる出力制御工程と
を有したことを特徴とする画像処理方法。
【請求項7】
撮影位置の地点情報を含む画像を複数記憶する記憶部、画像を表示する表示部、及び上記記憶部で記憶する画像を出力する出力部を備えた装置が内蔵するコンピュータが実行するプログラムであって、
上記プログラムを、
上記記憶部で記憶する画像中から、背景とする画像の選択を受付ける第1の選択手段、
上記記憶部で記憶する画像中から、上記背景画像中に合成する複数の画像の選択を受付ける第2の選択手段、
上記第2の選択手段で選択された複数の画像中から、上記背景画像に対する基準となる少なくとも2つの画像の選択を受付ける第3の選択手段、
上記第1の選択手段で選択された背景画像を上記表示部で表示させる表示手段、
上記表示手段で表示する背景画像中で上記第3の選択手段で選択された画像の位置の指定を受付ける指定手段、
上記背景画像の地点情報、上記第3の選択手段で選択された画像の地点情報、及び上記指定手段で指定された背景画像中での位置に基づき、上記第2の選択手段で選択された画像中、上記第3の選択手段で選択されなかった残る画像に対して、それぞれの地点情報から上記背景画像中での位置を設定する設定手段、
上記指定手段で指定された背景画像中での位置、及び上記設定手段で設定した背景画像中での位置により、上記背景画像中に上記第2の選択手段で選択された画像の縮小画像を配置したインデックス画像を生成するインデックス画像生成手段、及び
上記インデックス画像生成手段で生成したインデックス画像を上記出力部で出力させる出力制御手段
として機能させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2012−98860(P2012−98860A)
【公開日】平成24年5月24日(2012.5.24)
【国際特許分類】
【出願番号】特願2010−245128(P2010−245128)
【出願日】平成22年11月1日(2010.11.1)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成24年5月24日(2012.5.24)
【国際特許分類】
【出願日】平成22年11月1日(2010.11.1)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]