画像処理装置、画像処理方法、及び、プログラム
【課題】本発明は、1つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを、適切かつ容易に決定することができる画像処理装置を提供する。
【解決手段】複数の画像のうちの第1の画像と第2の画像とに基づき、当該第1の画像における第1の領域と当該第2の画像における第2の領域であって、当該第2の画像における当該第2の領域と相関性がある、当該第1の画像における当該第1の領域と、当該第1の画像における当該第1の領域と相関性がある、当該第2の画像における当該第2の領域とを特定する。そして特定された領域に基づき第1の画像と第2の画像を表示させて、その表示に基づくユーザの指示に応じて、第1の画像と第2の画像を配置するためのレイアウトを決定する。
【解決手段】複数の画像のうちの第1の画像と第2の画像とに基づき、当該第1の画像における第1の領域と当該第2の画像における第2の領域であって、当該第2の画像における当該第2の領域と相関性がある、当該第1の画像における当該第1の領域と、当該第1の画像における当該第1の領域と相関性がある、当該第2の画像における当該第2の領域とを特定する。そして特定された領域に基づき第1の画像と第2の画像を表示させて、その表示に基づくユーザの指示に応じて、第1の画像と第2の画像を配置するためのレイアウトを決定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の画像のレイアウトを決定する画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
複数の画像のレイアウトを決定し、決定されたレイアウトに従って複数の画像を配置して出力する技術が知られている。
【0003】
例えば、特許文献1には、複数の画像間で画像に含まれる内容が重複する部分を判定し、判定された重複部分が重なるように複数の画像を結合して一つの画像として出力することが開示されている(特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平01−230184号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献1のように、複数の画像の重複部分が重なるように複数の画像のレイアウトを決定したとしても、決定されたレイアウトが、ユーザが所望のものではない場合がある。例えば、2つの画像の位置合わせを行う場合に、一方の画像に含まれる文字が、もう一方の画像に複数含まれる場合には、いずれの文字に合わせて位置合わせを行うか判断できないことが起こり得る。そこで、複数の画像を表示画面に表示させて、ユーザが指示を行って表示画面上で画像を移動させることで、複数の画像の位置を決定することができる。
【0006】
しかしながら、表示画面に表示された画像が、レイアウトの決定のために適しているとは限らない。例えば複数の画像間で相関の無い情報しか表示されなかった場合、ユーザは表示画面を見たとしても、画像を移動すべき方向や距離を把握することはできない場合がある。
【0007】
上記の点に鑑み本発明は、複数の画像のレイアウトを、適切かつ容易に決定することができる画像処理装置、画像処理方法、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本発明に係る画像処理装置は、1つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを決定する画像処理装置であって、
前記複数の画像のうちの第1の画像と第2の画像とに基づき、当該第1の画像における第1の領域と当該第2の画像における第2の領域であって、当該第2の画像における当該第2の領域と相関性がある、当該第1の画像における当該第1の領域と、当該第1の画像における当該第1の領域と相関性がある、当該第2の画像における当該第2の領域とを特定する特定手段と、
前記第1の画像と前記第2の画像のそれぞれにおける一部の表示領域であって、当該第1の画像と当該第2の画像のそれぞれにおいて前記特定手段により特定された領域を含む表示領域を、当該第1の画像と当該第2の画像との全体が表示されるときよりも大きく表示されるように、表示画面に表示させる表示制御手段と、
前記表示制御手段による表示に基づくユーザの指示に応じて、前記第1の画像と前記第2の画像を配置するときのレイアウトを決定する決定手段とを備えることを特徴とする。
【発明の効果】
【0009】
本発明によるとユーザは、複数の画像のレイアウトを、適切かつ容易に決定することができる。
【図面の簡単な説明】
【0010】
【図1】本発明に係る実施例において用いられる画像処理装置の構成を示す図である。
【図2】画像を読み取り、合成するための画面の一例を示す図である。
【図3】画像を貼り合わせるための画面の一例を示す図である。
【図4】実施例1における類似領域の検出について説明するための図である。
【図5】類似領域の検出について説明するための他の図である。
【図6】ユーザインタフェースにおける操作の手順を説明するための第1の図である。
【図7】ユーザインタフェースにおける操作の手順を説明するための第2の図である。
【図8】ユーザインタフェースにおける操作の手順を説明するための第3の図である。
【図9】画像の貼り合わせ処理の手順を示すフローチャートである。
【図10】実施例2における類似領域の検出について説明する図である。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して本発明の好適な実施例を詳しく説明する。尚、以下の実施例は特許請求の範囲に係る本発明を限定するものでなく、また本実施例で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。
【0012】
[実施例1]
図1は、本発明に係る実施例において用いられる画像処理装置の構成を示す図である。画像処理装置100として、例えばPCが用いられる。CPU101は、以下に述べる各ブロックを制御し、例えば、ハードディスク102や不図示のROM等から読み込まれたプログラムをRAM103に展開して実行する。HDD102は、後述するフローチャートに示される処理を実行するプログラムや画像データを格納する。ディスプレイ104は、本実施例におけるユーザインタフェースを表示し、ディスプレイドライバ105は、ディスプレイ104を制御する。ユーザは、ポインティングデバイス106やキーボード107を用いてユーザインタフェース上で操作を行なうことができる。インタフェース108は、スキャナ109を制御し、スキャナ109は、原稿台に置かれた画像を読み取って画像データを取得する。
【0013】
本実施例においては、スキャナの原稿台よりも大きな1枚の原稿を部分的に読み取り、それを複数回繰り返すことにより取得された複数の画像を組み合わせて、原稿に対応する画像を取得する例を示す。なお、本実施例においては、複数回の読み取りを行った場合に、1枚の原稿の一部領域を重複して読み取るものとする。
【0014】
以下、本実施例における、ディスプレイ104に表示されるユーザインタフェースについて説明する。図2(a)は、スキャナ109から画像を読み取るための画面の一例を示す図である。表示201は、スキャナ109により画像を読み取るための解像度等の設定を行なう際に用いられる。表示202は、スキャナ109により読み取られた画像データに対応するサムネイル画像を表示する。表示203は、表示202に表示されたサムネイル画像から選択された画像を表示する。カーソル204は、表示202に表示されたサムネイル画像を選択することができる。表示205は、カーソル204による選択を解除するためのボタンである。表示206は、カーソル204により選択されたサムネイル画像に対応する画像を画像処理装置100内に保存するためのボタンである。表示207は、図2(b)に示す、画像の選択画面に遷移するためのボタンである。
【0015】
図2(b)は、複数の画像を組み合わせて合成するための画面の一例を示す図である。表示211は、スキャナ109により読み取られた画像が保存されているフォルダを指定するためのツリービューを表示する。表示212は、表示211において指定されたフォルダ内に保存されている画像データに対応するサムネイル画像を表示する。表示213は、表示212に表示されたサムネイル画像から選択された画像を表示する。カーソル214は、表示212に表示されたサムネイル画像を選択することができる。表示215は、カーソル214による選択を解除するためのボタンである。表示216は、図3に示す、カーソル214により選択された画像を組み合わせて合成するための画面に遷移するためのボタンである。以下、本実施例において、画像を組み合わせて合成することを「貼り合わせ」ともいう。
【0016】
図3(a)は、画像を貼り合わせるための画面の一例を示す図である。図には、2つの画像(第1の画像301と第2の画像302)を貼り合わせる例を示している。一般的には、図3(a)に示すように、画像301及び302は四角形であるが、外縁部が多角形の形状を有するものであれば良い。画像301と画像302は、図3(a)に示すように、一辺を共有するように重複を許さずに並べて表示されている。表示300は、画像301及び302を表示する。カーソル303は、画像302をドラッグして位置合わせを行い、画像301と画像302とを貼り合わせることができる(移動制御の一例)。表示304は、画像301と画像302の位置を入れ替えて表示するためのボタンである。また、表示305は、画像302を180度回転させて表示するためのボタンである。表示306は、表示300に表示された画像を拡大して表示するためのボタンであり、表示307は、表示300に表示された画像を縮小して表示するためのボタンであり、いずれとも一般的に用いられるボタンである。
【0017】
表示308は、本実施例における拡大表示のためのボタンである。表示308が押下され、さらに、ポインティングデバイス106を画像301もしくは302上の一箇所で押下した状態にすると、画像301と画像302との貼り合わせ近傍の所定の領域において類似の形状とサイズを検出することによって、複数の類似領域が特定される。さらに、カーソル303により指示された一箇所と、検出され識別可能に表示された類似領域とを含むように、表示300に表示された画像を最大に拡大表示する。類似領域の検出方法と画像の拡大については後述する。
【0018】
表示309は、本実施例における貼り合わせの操作をキャンセルして、図3(a)の画面を閉じる。表示311は、本実施例における貼り合わせの操作が終了した際に、図3(b)に示す、クロップ領域を指定するための画面に遷移するためのボタンである。
【0019】
図3(b)は、クロップ位置を指定するための画面の一例を示す図である。画像320は、本実施例における貼り合わせの操作が終了した後の画像を示す。表示321は、画像320におけるクロップ領域(切り取り領域)を示す。カーソル322は、クロップ領域を示す表示321の角をドラッグすることにより、クロップ領域の大きさを変更することができる。また、表示321の側面をドラッグすることによりクロップ領域の位置を変更することができる。表示323は、本実施例における貼り合わせが行なわれ、また表示321に従ってクロップされる画像320を確定するためのボタンである。
【0020】
図4は、画像301と画像302とにおいて類似領域の検出について説明する図である。まず、画像処理装置100は、図3(a)に示す表示308を押下した際に、画像301と画像302とを組み合わせて合成する一辺から離れる向き(図4(a)に示す矢印)に、周囲の画素と比較して濃度の変化量の大きい画素(特異点)を抽出する。従って、抽出された特異点群は、例えば文字の輪郭(エッジ)を示すことができる。抽出された特異点群のうち、画像301と画像302とにおいて、X方向(画像の横方向)の特異点群の並びとY方向(画像の縦方向)の特異点群の並びが概ね一致する領域を類似領域として検出する。ここで、特異点群の並びが概ね一致するか判定する場合、まず複数の画像のそれぞれにおいて、特異点群のX方向、Y方向の位置を取得する。そして、複数の画像のそれぞれに含まれる特異点群のX方向、Y方向の位置を比較して、複数の画像に含まれる特異点群の位置関係が近似している場合に、特異点群の並びが概ね一致しているものとする。
【0021】
そして、複数の画像のそれぞれに含まれる、特異点群の位置関係に応じて、複数の画像における類似度を決定する。そして、決定された類似度に応じて、類似領域を特定する。なお、複数の類似領域を検出した場合に、例えば類似度が所定の閾値よりも高いものを類似領域としてもよいし、類似度が一番高いものを類似領域としてもよい。
【0022】
また、特異点群の類似度を判定する場合に、複数の画像の一方に含まれる特異点群を回転させた状態で、他方の画像に含まれる特異点群と比較するようにしてもよい。これにより、例えばユーザが原稿を読取装置に読み取らせるときに原稿を原稿台に対して斜めに置いてしまっていたとしても、より精度良く類似領域を検出することができる。
【0023】
図4(b)は、類似領域の一例を示す図である。図4(b)においては、画像301及び302内に表現された類似領域(第1の領域と第2の領域の一例)が、四角で囲まれて示されている。つまり、四角を含む文字自体はそれぞれ異なるが、四角で囲まれた領域(文字の一部分)はいずれも、十字形に近い形で類似している。例えば、「や」という文字ならば、「や」中の交点2つの部分の形状(十字形)が類似する。また、図5(a)には、「あ」という文字中の類似領域が示されている。図5(a)に示すように、「あ」中の4つの交点近傍が類似領域として検出される。
【0024】
ユーザは、類似領域を示すように表示画面に表示されている四角で囲まれた領域が重なるように画像を移動させることによって、類似領域が重なるレイアウトを容易に決定することができる。
【0025】
なお、上記のように、特異点群を回転させることによって、類似領域を検出した場合に、複数の画像における類似領域の傾きが異なる場合がある。この場合、特異点群を囲む四角の表示も、表示画面上で回転させて表示させる。これによりユーザは、複数の画像のそれぞれにおける類似領域の傾きが異なることを認識することができる。そして、複数の画像を出力する場合には、類似領域同士の傾きを合わせるように複数の画像の少なくとも一方を回転させて出力する。
【0026】
または、複数の画像における類似領域の傾きが異なる場合に、類似領域が重なるように、複数の画像の少なくとも一方を回転させてから、類似領域を含むように拡大表示してもよい。この場合、ユーザは複数の画像の角度が整合されている状態で、複数の画像のレイアウトを確認することができる。そして、複数の画像を出力する際には、複数の画像の傾きを整合させるために、画像を回転させる必要がないため、複数の画像のレイアウトを決定してから、画像を出力するまでの処理負荷を抑えることができる。
【0027】
ここで、図5(b)に示すような画像301と画像302とにおいて類似領域の検出を行なったとすると、例えば、画像301の左上に位置する「あ」の文字も図5(a)に示すように、類似領域の検出の対象となる。しかし、本実施例では、図5(b)の斜線部のように、画像301と画像302とを組み合わせて合成する一辺から図4(a)に示す矢印の向きに予め定められた長さで決定される領域においてのみ類似領域の検出が行なわれる。本実施例では、合成対象の画像である画像301と画像302は、1枚の原稿を読取装置が複数回読み取って得られた画像である。ところで、ユーザは読み取り回数が少なくなるように、原稿台の大きさに応じて原稿を分割して読み取ることが考えられる。この場合、読み取られた画像の端の領域に、他方の画像と類似する領域が存在することが考えられる。そこで本実施例では、画像における類似の領域を検出する範囲を、画像全体ではなく、画像における端の領域に限定することで、類似領域を誤って検出してしまうことを防ぐ。また、類似領域を検出する領域を限定することにより、検出のための処理負荷を軽減することもできる。
【0028】
本実施例では、類似の領域を検出するための領域として、画像のうち、他方の画像と結合される端から画像の横幅の3分の1の長さの領域を設定するものとする。そのため、図3(b)に示した例では、画像301の左上に位置する「あ」の文字は、類似領域の検出の対象とはされず、さらに、画像処理装置100のCPU101による処理を軽減することができる。また、画像の横幅の3分の1の長さで定められた領域では、類似領域を検出できなかった場合に、類似領域を検出する領域を拡大し、例えば横幅の2分の1の長さに変更して、類似領域の検出を行なうようにしても良い。
【0029】
また、画像における類似領域を検出するときに、1つでも類似領域が検出された場合には類似領域の検出処理を中止して、表示のための処理を行ってもよい。従って、画像の辺の全体に対して類似領域を検出するための処理を行わなくとも、表示処理に進むことができるので、類似領域を表示させるための処理負荷を抑えることができる。
【0030】
次に、図6、図7、図8を参照して、本実施例における画像処理装置100のユーザインタフェース表示制御の操作の一例について説明する。
【0031】
図6(a)は、図3(a)に示す状態と同じである。つまり、本実施例における貼り合わせの操作を行なう前の状態である。図6(a)には、カーソル303が示されているが、ユーザはまだポインティングデバイス106のボタンを押下していない(カーソル303が「開いた手」として表示)。ユーザが図6(a)に示すように、画像302上にカーソル303を位置した状態でポインティングデバイス106のボタンを押下すると、上述したような、複数の画像における類似領域を検出する処理が実行される。そして、ここでは「や」に含まれる類似領域が検出されて、ユーザインタフェースは図6(b)に示す状態となる。図6(b)では、カーソル303が「握った手」として表示されている。このときに、平仮名の「や」に含まれる類似領域とカーソル303とを含むように、画像が自動的に最大に拡大されて表示される。また、このときに、「や」に含まれる類似領域は、先に検出された複数の類似領域うち「や」に含まれる類似領域以外の他の類似領域と識別可能に、例えば四角で囲まれて表示される。このように、図6(a)に示す状態でポインティングデバイス106のボタンが押下されて複数の類似領域が検出された場合に、図6(b)においては検出された複数の類似領域のうちの一部の類似領域を、他の類似領域と区別して強調表示する。複数の類似領域のうち強調表示を行う類似領域として、例えば、各類似領域のうち、最も大きな類似領域を選択する。そして、その類似領域とカーソル303とを含むように最大に拡大するようにしても良い。
【0032】
また、複数の類似領域が検出された場合に、複数の類似領域を示すように表示させて、複数の類似領域のいずれかをユーザに選択させてもよい。そして、ユーザが選択した類似領域を含むように、拡大表示を行ってもよい。
【0033】
図7(a)は、図6(b)に示す状態においてユーザがポインティングデバイス106のボタンの押下を中止し、位置合わせの操作のためにカーソル303を画面中央付近に移動させた際のユーザインタフェースの状態を示す図である。図7(a)に示すように、カーソル303が「開いた手」として表示されている。図7(a)に示す状態でポインティングデバイス106のボタンが押下されると、ユーザインタフェースは、図7(a)に示す状態から更に拡大されて図7(b)に示す状態となる。図7(b)では、カーソル303が「握った手」として表示されている。このときに、「や」に含まれる類似領域とカーソル303とを含むように、画像が自動的にさらに拡大されて表示される。図7(b)においても、図6(b)と同様に、類似領域が識別可能に四角で囲まれて表示される。
【0034】
図8は、図7(b)に示す状態から、ポインティングデバイス106のボタンを押下した状態を保持して(カーソル303は「握った手」の状態を維持)、画像302をドラッグして画像301に重ねていった状態を示す図である。図8に示す状態から、さらに、カーソル303を中央付近に移動し、ポインティングデバイス106のボタンを押下すると、図6(b)及び図7(b)と同様に、画像の拡大と類似領域の表示を繰り返す。
【0035】
このように、ユーザは、ポインティングデバイス106のボタンの操作のみで、ユーザインタフェースに表示された画像301と画像302の貼り合わせの操作を行なうことができる。その結果、ユーザが従来の拡大縮小ボタンの操作とカーソルによる位置合わせの操作とを別個に繰り返す必要がなく、複数の画像の位置合わせを容易に行うことができる。
【0036】
図9は、図6〜図8において説明した処理を含む、本実施例における画像の貼り合わせ処理の手順を示すフローチャートである。なお、本実施例では、図9に示す処理に対応するプログラムが例えばROMに記憶されており、このプログラムをCPU101が読み出して実行することにより、図9に示す処理が実行される。
【0037】
ユーザインタフェースが図3(a)に示す状態である場合、カーソル303を画像301又は302上に位置した状態でポインティングデバイス106のボタンを押下すると、所定領域内の類似領域を検出する(S901)。ここで、所定領域とは、図5(b)に斜線で示された領域である。S902においては、類似領域が検出されたか否かが判定される。ここで、類似領域が検出されたと判定された場合には、S903に進む。一方、類似領域が検出されなかったと判定された場合には、S905に進む。類似領域の検出については、図4及び図5における説明のとおりである。S903において、類似領域とカーソル303とを含む領域を決定し、S904において、その決定された領域を拡大表示する。S903とS904における処理は、図6(b)及び図7(b)における説明のとおりである。図9に示されるように、類似領域が検出されなかった場合(S902のNO)、拡大表示は行なわれない。
【0038】
S905において、カーソル303がドラッグされたか否かを判定する。これは、図8において説明したドラッグ操作である。カーソル303がドラッグされたと判定された場合には、S906に進み、ドラッグされなかったと判定された場合には、S907に進む。S906においては、図8において説明したように画像を移動し、S901からの処理を繰り返す。S907においては、ポインティングデバイス106のボタンの押下が解除されたか否かが判定される。例えば、ユーザが所望の貼り合わせを実現できたと判断してポインティングデバイス106のボタンの押下を解除した場合には、本処理を終了する。一方、ポインティングデバイス106のボタンの押下が解除されていない場合には、ドラッグによる画像の移動が継続しているので、S905の判定処理を繰り返す。
【0039】
このように、S901では図3(a)に示すように、複数の画像が表示されて、ユーザが指示を行うことによって、S904において、類似領域を含むように拡大されて表示される。ただし、ユーザが拡大表示の指示を行うときには、図3(a)に示すように複数の画像が表示される必要がなく、ユーザが拡大表示を指示したときに、S904において初めて画像が表示されるようにしてもよい。
【0040】
また、S901において類似領域を検出するタイミングは、ユーザの指示を入力した場合に限らず、複数の画像を読み込んだことに応じて、類似領域の検出や拡大表示を行ってもよい。
【0041】
<実施例2>
本実施例における画像処理装置100は、図1に示すHDD102内に文字認識(OCR)用の辞書を備える。そのため、貼り合わせを行う画像301及び302に含まれる文字を認識することができる。
【0042】
図10は、本実施例における類似領域の検出について説明する図である。ユーザが画像301又は302上にカーソル303を位置し、ポインティングデバイス106のボタンを押下すると、以下のように処理を行う。まず、画像処理装置100は、図10(a)に示すように、合成する一辺から画像幅の3分の1離れた所定領域において、OCR処理を行う。この領域については、図5(b)における説明と同じである。
【0043】
OCR処理により認識された文字のうち、画像301及び302上で一致する文字があれば、図10(b)に示すように四角で囲んで表示する。図10(b)においては、例えば、「6」と「6」とが類似領域として検出され、「か」と「か」とが類似領域として検出される。この際に、図10(a)に示す所定領域以外については、OCR処理による類似領域の検出は行なわれない。
【0044】
以上のように、本実施例は、文字単位で類似領域の検出を行なう点で実施例1と異なる。実施例1と実施例2において、画像301と画像302の2つの画像を例として説明したが、3つの画像の場合にも適用できる。3つの画像の場合には、2つの画像の組み合わせそれぞれについて合成する一辺を基準とした所定領域を求め、全体としてそれらの所定領域の論理和をとり、論理和がとられた領域内において類似領域の検出を行なえば良い。拡大表示と、ドラッグ操作による画像の移動については、実施例1における説明と同じである。
【0045】
以上の実施例のように複数の画像を表示画面上で移動させることによって複数の画像のレイアウトを決定した後、決定されたレイアウトに従って複数の画像を出力する。
【0046】
例えば、上記のように複数の画像を拡大表示して複数の画像の相対位置(レイアウト)を決定した後に、拡大表示を解除して、複数の画像の全体を表示してもよい。そのとき複数の画像が、決定されたレイアウトに従った位置に配置されて表示される。
【0047】
さらに、複数の画像のレイアウトを決定した後に、複数の画像を印刷装置に出力して印刷を行わせてもよい。このとき、複数の画像を決定されたレイアウトに配置して1つの画像とし、この1つの画像を印刷装置に出力することで印刷させる(出力制御の一例)。他にも、例えば複数の画像と、複数の画像に対して決定されたレイアウトを示す情報を印刷装置に送信し、印刷装置において、受信した情報が示すレイアウトに従って複数の画像を配置し、印刷を行ってもよい。
【0048】
なお、以上の実施例のように、表示画面上に表示されている複数の画像を移動させる場合、複数の画像の両方を移動できるようにしてもよいし、または、複数の画像のどちらか一方のみを移動させるようにしてもよい。複数の画像の一方のみを移動させる場合であっても、複数の画像の相対位置を指定することができる。
【0049】
また、以上の実施例では、2つの画像を表示させる例を示したが、本発明はこれに限らず、3つ以上の複数の画像を表示画面に表示させて、それら3つ以上の画像のレイアウトを決定する場合であってもよい。
【0050】
さらに、以上の実施例では、一枚の原稿を複数回読み取ることで得られた複数の画像を入力する例を示した。しかし、本発明はこれに限らず、1つのオブジェクトを複数回に分割して撮像することで得られた複数の画像を入力すればよい。例えば、1つの被写体を複数回に分割して撮像して、撮像された複数の写真画像を結合してパノラマ画像を作成する場合であってもよい。この場合、複数の写真画像における類似の領域を特定して、例えばその特定した部分を拡大して表示することで、ユーザは複数の写真画像の配置を変更するか容易に判断することができる。
【0051】
なお、以上の実施例においては、PC100が外部のディスプレイ104に画像を表示させて、ポインティングデバイス106やキーボード107によりユーザの指示を入力することで処理を行っていた。しかし、これに限らず、プリンタやデジタルカメラ等において、それらの装置が有するディスプレイに画像を表示させて、プリンタやデジタルカメラ等に設けられた操作部をユーザが操作することによって、処理を行う場合であってもよい。
【0052】
また、以上の実施例では、複数の画像を表示画面に表示させた後、ユーザの指示に応じて画像を表示画面上で移動させる例を示した。しかし、画像を移動させる場合に限らず、複数の画像が配置される位置をユーザに確認させるための画面を表示させる場合であってもよい。そして、その画面に基づきユーザが指示を行うことで、表示されている画面が示すレイアウトに従って、複数の画像を出力か否かを決定する。本発明によれば、複数の画像において類似の領域が拡大されて表示されるため、ユーザは複数の画像が出力されるときのレイアウトを正確に把握することができる。
【0053】
さらに、以上の実施例では、ユーザの指示に応じて画像を移動させることによりレイアウトを決定して結合を行っていたが、本発明はこれに限らず、類似領域が重なるように、自動で画像の結合を行ってもよい。
【0054】
例えば、画像における類似領域を検出した後に、ユーザが指示を行うことで、類似領域が重なるように自動で複数の画像を結合してもよい。このとき、自動で結合させた場合に重なる類似領域を、他の類似領域と区別して強調表示してもよい。この強調表示により、多数の類似領域が検出された場合であったとしても、ユーザは、複数の画像を結合するときに重なる類似領域を確認した上で、画像の自動結合を指示することができる。
【0055】
また、自動で画像の結合する場合の他の例として、例えば類似領域を重ねるように結合された画像を表示させて、表示されているレイアウトで決定してよいかユーザに問い合わせるようにしてもよい。そして、ユーザがレイアウトの決定を指示した場合には、決定されたレイアウトに従って、画像が出力される。また、ユーザが自動で決定されたレイアウトを解除するための指示を行った場合には、レイアウトの決定処理をキャンセルするようにしてもよいし、図6〜図8に示したように画像を移動させるための画面を表示させてもよい。そして、上記の実施例のように、ユーザの指示に応じて画像を表示画面上で移動させることによって、レイアウトを決定する。
【0056】
なお、以上の実施例では、複数の画像から特定された類似領域に応じて画像を拡大し、また類似領域を示す情報を付加して表示を行っていたが、画像の拡大と情報の付加のいずれか一方の処理を行う場合であってもよい。即ち、画像の拡大をせずに、類似領域を示すように表示してもよいし、または類似領域を示さなくとも、類似領域を含むように画像を拡大して表示してもよい。いずれにしても、ユーザは、複数の画像のそれぞれにおける類似領域を判断できるように表示される。
【0057】
また、以上の実施例では、複数の画像で重複する部分があるものとして、複数の画像において類似の類似領域を検出し、検出された類似領域を含む表示領域を表示していた。しかし、本発明は類似領域を特定する場合に限らず、複数の画像の内容を取得して比較することにより、複数の画像のそれぞれにおける領域であって、互いに相関性のある領域を特定できればよい。ここで、相関性があるとは、類似領域のように、複数の画像において共有される領域であってもよいし、複数の画像に跨って連続する領域であってもよい。
【0058】
複数の画像に跨って連続する領域として、例えば、テキストを含む複数の画像を結合する場合に、画像に含まれるテキストの行間を特定するようにしてもよい。一般的に、テキストを含むドキュメントでは、行間の位置が一致するようにテキストが配置されていることが多い。そこで、複数の画像のそれぞれに含まれるテキストの行間を特定し、特定された行間を示す表示を行うことによって、ユーザは、複数の画像の配置を容易に把握して、画像の配置を変更するか判断することができる。また、表示画面に表示されている複数の画像のそれぞれに含まれるテキストの行間の位置に従って、行間を一致させるように画像を移動させることで、複数の画像のレイアウトを適切かつ容易に決定することができる。
【0059】
他にも、複数の写真画像を結合する場合に、それぞれの写真画像における、写真画像で連続する直線を示す領域を検出してもよい。この場合、ユーザは、表示画面において複数の写真画像のそれぞれにおける直線を示す領域を確認することにより、複数の写真画像の位置関係を把握することができる。
【0060】
このように、複数の画像で相関性のある領域に基づいて表示を行うことにより、ユーザは、画像の配置を正確かつ容易に把握することができる。
【0061】
さらに、以上の実施例では、複数の画像を結合する場合に、画像の一部を重ね合わせる例を用いて説明した。しかし、本発明はこれに限らず、画像の重ね合わせは行わずに、複数の画像を1つの画像として結合する場合であってもよい。例えば、複数の画像が接するように配置して、1つの画像として結合してもよいし、または複数の画像を離れるように配置して、複数の画像の間に所定の画像データを割り当てることにより、1つの画像として結合してもよい。
【0062】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。また、本発明は、1つのプロセッサにより処理が実行されるものに限らず、複数のプロセッサが連携して処理を行う場合であってもよい。
【技術分野】
【0001】
本発明は、複数の画像のレイアウトを決定する画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
複数の画像のレイアウトを決定し、決定されたレイアウトに従って複数の画像を配置して出力する技術が知られている。
【0003】
例えば、特許文献1には、複数の画像間で画像に含まれる内容が重複する部分を判定し、判定された重複部分が重なるように複数の画像を結合して一つの画像として出力することが開示されている(特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平01−230184号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献1のように、複数の画像の重複部分が重なるように複数の画像のレイアウトを決定したとしても、決定されたレイアウトが、ユーザが所望のものではない場合がある。例えば、2つの画像の位置合わせを行う場合に、一方の画像に含まれる文字が、もう一方の画像に複数含まれる場合には、いずれの文字に合わせて位置合わせを行うか判断できないことが起こり得る。そこで、複数の画像を表示画面に表示させて、ユーザが指示を行って表示画面上で画像を移動させることで、複数の画像の位置を決定することができる。
【0006】
しかしながら、表示画面に表示された画像が、レイアウトの決定のために適しているとは限らない。例えば複数の画像間で相関の無い情報しか表示されなかった場合、ユーザは表示画面を見たとしても、画像を移動すべき方向や距離を把握することはできない場合がある。
【0007】
上記の点に鑑み本発明は、複数の画像のレイアウトを、適切かつ容易に決定することができる画像処理装置、画像処理方法、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本発明に係る画像処理装置は、1つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを決定する画像処理装置であって、
前記複数の画像のうちの第1の画像と第2の画像とに基づき、当該第1の画像における第1の領域と当該第2の画像における第2の領域であって、当該第2の画像における当該第2の領域と相関性がある、当該第1の画像における当該第1の領域と、当該第1の画像における当該第1の領域と相関性がある、当該第2の画像における当該第2の領域とを特定する特定手段と、
前記第1の画像と前記第2の画像のそれぞれにおける一部の表示領域であって、当該第1の画像と当該第2の画像のそれぞれにおいて前記特定手段により特定された領域を含む表示領域を、当該第1の画像と当該第2の画像との全体が表示されるときよりも大きく表示されるように、表示画面に表示させる表示制御手段と、
前記表示制御手段による表示に基づくユーザの指示に応じて、前記第1の画像と前記第2の画像を配置するときのレイアウトを決定する決定手段とを備えることを特徴とする。
【発明の効果】
【0009】
本発明によるとユーザは、複数の画像のレイアウトを、適切かつ容易に決定することができる。
【図面の簡単な説明】
【0010】
【図1】本発明に係る実施例において用いられる画像処理装置の構成を示す図である。
【図2】画像を読み取り、合成するための画面の一例を示す図である。
【図3】画像を貼り合わせるための画面の一例を示す図である。
【図4】実施例1における類似領域の検出について説明するための図である。
【図5】類似領域の検出について説明するための他の図である。
【図6】ユーザインタフェースにおける操作の手順を説明するための第1の図である。
【図7】ユーザインタフェースにおける操作の手順を説明するための第2の図である。
【図8】ユーザインタフェースにおける操作の手順を説明するための第3の図である。
【図9】画像の貼り合わせ処理の手順を示すフローチャートである。
【図10】実施例2における類似領域の検出について説明する図である。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して本発明の好適な実施例を詳しく説明する。尚、以下の実施例は特許請求の範囲に係る本発明を限定するものでなく、また本実施例で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。
【0012】
[実施例1]
図1は、本発明に係る実施例において用いられる画像処理装置の構成を示す図である。画像処理装置100として、例えばPCが用いられる。CPU101は、以下に述べる各ブロックを制御し、例えば、ハードディスク102や不図示のROM等から読み込まれたプログラムをRAM103に展開して実行する。HDD102は、後述するフローチャートに示される処理を実行するプログラムや画像データを格納する。ディスプレイ104は、本実施例におけるユーザインタフェースを表示し、ディスプレイドライバ105は、ディスプレイ104を制御する。ユーザは、ポインティングデバイス106やキーボード107を用いてユーザインタフェース上で操作を行なうことができる。インタフェース108は、スキャナ109を制御し、スキャナ109は、原稿台に置かれた画像を読み取って画像データを取得する。
【0013】
本実施例においては、スキャナの原稿台よりも大きな1枚の原稿を部分的に読み取り、それを複数回繰り返すことにより取得された複数の画像を組み合わせて、原稿に対応する画像を取得する例を示す。なお、本実施例においては、複数回の読み取りを行った場合に、1枚の原稿の一部領域を重複して読み取るものとする。
【0014】
以下、本実施例における、ディスプレイ104に表示されるユーザインタフェースについて説明する。図2(a)は、スキャナ109から画像を読み取るための画面の一例を示す図である。表示201は、スキャナ109により画像を読み取るための解像度等の設定を行なう際に用いられる。表示202は、スキャナ109により読み取られた画像データに対応するサムネイル画像を表示する。表示203は、表示202に表示されたサムネイル画像から選択された画像を表示する。カーソル204は、表示202に表示されたサムネイル画像を選択することができる。表示205は、カーソル204による選択を解除するためのボタンである。表示206は、カーソル204により選択されたサムネイル画像に対応する画像を画像処理装置100内に保存するためのボタンである。表示207は、図2(b)に示す、画像の選択画面に遷移するためのボタンである。
【0015】
図2(b)は、複数の画像を組み合わせて合成するための画面の一例を示す図である。表示211は、スキャナ109により読み取られた画像が保存されているフォルダを指定するためのツリービューを表示する。表示212は、表示211において指定されたフォルダ内に保存されている画像データに対応するサムネイル画像を表示する。表示213は、表示212に表示されたサムネイル画像から選択された画像を表示する。カーソル214は、表示212に表示されたサムネイル画像を選択することができる。表示215は、カーソル214による選択を解除するためのボタンである。表示216は、図3に示す、カーソル214により選択された画像を組み合わせて合成するための画面に遷移するためのボタンである。以下、本実施例において、画像を組み合わせて合成することを「貼り合わせ」ともいう。
【0016】
図3(a)は、画像を貼り合わせるための画面の一例を示す図である。図には、2つの画像(第1の画像301と第2の画像302)を貼り合わせる例を示している。一般的には、図3(a)に示すように、画像301及び302は四角形であるが、外縁部が多角形の形状を有するものであれば良い。画像301と画像302は、図3(a)に示すように、一辺を共有するように重複を許さずに並べて表示されている。表示300は、画像301及び302を表示する。カーソル303は、画像302をドラッグして位置合わせを行い、画像301と画像302とを貼り合わせることができる(移動制御の一例)。表示304は、画像301と画像302の位置を入れ替えて表示するためのボタンである。また、表示305は、画像302を180度回転させて表示するためのボタンである。表示306は、表示300に表示された画像を拡大して表示するためのボタンであり、表示307は、表示300に表示された画像を縮小して表示するためのボタンであり、いずれとも一般的に用いられるボタンである。
【0017】
表示308は、本実施例における拡大表示のためのボタンである。表示308が押下され、さらに、ポインティングデバイス106を画像301もしくは302上の一箇所で押下した状態にすると、画像301と画像302との貼り合わせ近傍の所定の領域において類似の形状とサイズを検出することによって、複数の類似領域が特定される。さらに、カーソル303により指示された一箇所と、検出され識別可能に表示された類似領域とを含むように、表示300に表示された画像を最大に拡大表示する。類似領域の検出方法と画像の拡大については後述する。
【0018】
表示309は、本実施例における貼り合わせの操作をキャンセルして、図3(a)の画面を閉じる。表示311は、本実施例における貼り合わせの操作が終了した際に、図3(b)に示す、クロップ領域を指定するための画面に遷移するためのボタンである。
【0019】
図3(b)は、クロップ位置を指定するための画面の一例を示す図である。画像320は、本実施例における貼り合わせの操作が終了した後の画像を示す。表示321は、画像320におけるクロップ領域(切り取り領域)を示す。カーソル322は、クロップ領域を示す表示321の角をドラッグすることにより、クロップ領域の大きさを変更することができる。また、表示321の側面をドラッグすることによりクロップ領域の位置を変更することができる。表示323は、本実施例における貼り合わせが行なわれ、また表示321に従ってクロップされる画像320を確定するためのボタンである。
【0020】
図4は、画像301と画像302とにおいて類似領域の検出について説明する図である。まず、画像処理装置100は、図3(a)に示す表示308を押下した際に、画像301と画像302とを組み合わせて合成する一辺から離れる向き(図4(a)に示す矢印)に、周囲の画素と比較して濃度の変化量の大きい画素(特異点)を抽出する。従って、抽出された特異点群は、例えば文字の輪郭(エッジ)を示すことができる。抽出された特異点群のうち、画像301と画像302とにおいて、X方向(画像の横方向)の特異点群の並びとY方向(画像の縦方向)の特異点群の並びが概ね一致する領域を類似領域として検出する。ここで、特異点群の並びが概ね一致するか判定する場合、まず複数の画像のそれぞれにおいて、特異点群のX方向、Y方向の位置を取得する。そして、複数の画像のそれぞれに含まれる特異点群のX方向、Y方向の位置を比較して、複数の画像に含まれる特異点群の位置関係が近似している場合に、特異点群の並びが概ね一致しているものとする。
【0021】
そして、複数の画像のそれぞれに含まれる、特異点群の位置関係に応じて、複数の画像における類似度を決定する。そして、決定された類似度に応じて、類似領域を特定する。なお、複数の類似領域を検出した場合に、例えば類似度が所定の閾値よりも高いものを類似領域としてもよいし、類似度が一番高いものを類似領域としてもよい。
【0022】
また、特異点群の類似度を判定する場合に、複数の画像の一方に含まれる特異点群を回転させた状態で、他方の画像に含まれる特異点群と比較するようにしてもよい。これにより、例えばユーザが原稿を読取装置に読み取らせるときに原稿を原稿台に対して斜めに置いてしまっていたとしても、より精度良く類似領域を検出することができる。
【0023】
図4(b)は、類似領域の一例を示す図である。図4(b)においては、画像301及び302内に表現された類似領域(第1の領域と第2の領域の一例)が、四角で囲まれて示されている。つまり、四角を含む文字自体はそれぞれ異なるが、四角で囲まれた領域(文字の一部分)はいずれも、十字形に近い形で類似している。例えば、「や」という文字ならば、「や」中の交点2つの部分の形状(十字形)が類似する。また、図5(a)には、「あ」という文字中の類似領域が示されている。図5(a)に示すように、「あ」中の4つの交点近傍が類似領域として検出される。
【0024】
ユーザは、類似領域を示すように表示画面に表示されている四角で囲まれた領域が重なるように画像を移動させることによって、類似領域が重なるレイアウトを容易に決定することができる。
【0025】
なお、上記のように、特異点群を回転させることによって、類似領域を検出した場合に、複数の画像における類似領域の傾きが異なる場合がある。この場合、特異点群を囲む四角の表示も、表示画面上で回転させて表示させる。これによりユーザは、複数の画像のそれぞれにおける類似領域の傾きが異なることを認識することができる。そして、複数の画像を出力する場合には、類似領域同士の傾きを合わせるように複数の画像の少なくとも一方を回転させて出力する。
【0026】
または、複数の画像における類似領域の傾きが異なる場合に、類似領域が重なるように、複数の画像の少なくとも一方を回転させてから、類似領域を含むように拡大表示してもよい。この場合、ユーザは複数の画像の角度が整合されている状態で、複数の画像のレイアウトを確認することができる。そして、複数の画像を出力する際には、複数の画像の傾きを整合させるために、画像を回転させる必要がないため、複数の画像のレイアウトを決定してから、画像を出力するまでの処理負荷を抑えることができる。
【0027】
ここで、図5(b)に示すような画像301と画像302とにおいて類似領域の検出を行なったとすると、例えば、画像301の左上に位置する「あ」の文字も図5(a)に示すように、類似領域の検出の対象となる。しかし、本実施例では、図5(b)の斜線部のように、画像301と画像302とを組み合わせて合成する一辺から図4(a)に示す矢印の向きに予め定められた長さで決定される領域においてのみ類似領域の検出が行なわれる。本実施例では、合成対象の画像である画像301と画像302は、1枚の原稿を読取装置が複数回読み取って得られた画像である。ところで、ユーザは読み取り回数が少なくなるように、原稿台の大きさに応じて原稿を分割して読み取ることが考えられる。この場合、読み取られた画像の端の領域に、他方の画像と類似する領域が存在することが考えられる。そこで本実施例では、画像における類似の領域を検出する範囲を、画像全体ではなく、画像における端の領域に限定することで、類似領域を誤って検出してしまうことを防ぐ。また、類似領域を検出する領域を限定することにより、検出のための処理負荷を軽減することもできる。
【0028】
本実施例では、類似の領域を検出するための領域として、画像のうち、他方の画像と結合される端から画像の横幅の3分の1の長さの領域を設定するものとする。そのため、図3(b)に示した例では、画像301の左上に位置する「あ」の文字は、類似領域の検出の対象とはされず、さらに、画像処理装置100のCPU101による処理を軽減することができる。また、画像の横幅の3分の1の長さで定められた領域では、類似領域を検出できなかった場合に、類似領域を検出する領域を拡大し、例えば横幅の2分の1の長さに変更して、類似領域の検出を行なうようにしても良い。
【0029】
また、画像における類似領域を検出するときに、1つでも類似領域が検出された場合には類似領域の検出処理を中止して、表示のための処理を行ってもよい。従って、画像の辺の全体に対して類似領域を検出するための処理を行わなくとも、表示処理に進むことができるので、類似領域を表示させるための処理負荷を抑えることができる。
【0030】
次に、図6、図7、図8を参照して、本実施例における画像処理装置100のユーザインタフェース表示制御の操作の一例について説明する。
【0031】
図6(a)は、図3(a)に示す状態と同じである。つまり、本実施例における貼り合わせの操作を行なう前の状態である。図6(a)には、カーソル303が示されているが、ユーザはまだポインティングデバイス106のボタンを押下していない(カーソル303が「開いた手」として表示)。ユーザが図6(a)に示すように、画像302上にカーソル303を位置した状態でポインティングデバイス106のボタンを押下すると、上述したような、複数の画像における類似領域を検出する処理が実行される。そして、ここでは「や」に含まれる類似領域が検出されて、ユーザインタフェースは図6(b)に示す状態となる。図6(b)では、カーソル303が「握った手」として表示されている。このときに、平仮名の「や」に含まれる類似領域とカーソル303とを含むように、画像が自動的に最大に拡大されて表示される。また、このときに、「や」に含まれる類似領域は、先に検出された複数の類似領域うち「や」に含まれる類似領域以外の他の類似領域と識別可能に、例えば四角で囲まれて表示される。このように、図6(a)に示す状態でポインティングデバイス106のボタンが押下されて複数の類似領域が検出された場合に、図6(b)においては検出された複数の類似領域のうちの一部の類似領域を、他の類似領域と区別して強調表示する。複数の類似領域のうち強調表示を行う類似領域として、例えば、各類似領域のうち、最も大きな類似領域を選択する。そして、その類似領域とカーソル303とを含むように最大に拡大するようにしても良い。
【0032】
また、複数の類似領域が検出された場合に、複数の類似領域を示すように表示させて、複数の類似領域のいずれかをユーザに選択させてもよい。そして、ユーザが選択した類似領域を含むように、拡大表示を行ってもよい。
【0033】
図7(a)は、図6(b)に示す状態においてユーザがポインティングデバイス106のボタンの押下を中止し、位置合わせの操作のためにカーソル303を画面中央付近に移動させた際のユーザインタフェースの状態を示す図である。図7(a)に示すように、カーソル303が「開いた手」として表示されている。図7(a)に示す状態でポインティングデバイス106のボタンが押下されると、ユーザインタフェースは、図7(a)に示す状態から更に拡大されて図7(b)に示す状態となる。図7(b)では、カーソル303が「握った手」として表示されている。このときに、「や」に含まれる類似領域とカーソル303とを含むように、画像が自動的にさらに拡大されて表示される。図7(b)においても、図6(b)と同様に、類似領域が識別可能に四角で囲まれて表示される。
【0034】
図8は、図7(b)に示す状態から、ポインティングデバイス106のボタンを押下した状態を保持して(カーソル303は「握った手」の状態を維持)、画像302をドラッグして画像301に重ねていった状態を示す図である。図8に示す状態から、さらに、カーソル303を中央付近に移動し、ポインティングデバイス106のボタンを押下すると、図6(b)及び図7(b)と同様に、画像の拡大と類似領域の表示を繰り返す。
【0035】
このように、ユーザは、ポインティングデバイス106のボタンの操作のみで、ユーザインタフェースに表示された画像301と画像302の貼り合わせの操作を行なうことができる。その結果、ユーザが従来の拡大縮小ボタンの操作とカーソルによる位置合わせの操作とを別個に繰り返す必要がなく、複数の画像の位置合わせを容易に行うことができる。
【0036】
図9は、図6〜図8において説明した処理を含む、本実施例における画像の貼り合わせ処理の手順を示すフローチャートである。なお、本実施例では、図9に示す処理に対応するプログラムが例えばROMに記憶されており、このプログラムをCPU101が読み出して実行することにより、図9に示す処理が実行される。
【0037】
ユーザインタフェースが図3(a)に示す状態である場合、カーソル303を画像301又は302上に位置した状態でポインティングデバイス106のボタンを押下すると、所定領域内の類似領域を検出する(S901)。ここで、所定領域とは、図5(b)に斜線で示された領域である。S902においては、類似領域が検出されたか否かが判定される。ここで、類似領域が検出されたと判定された場合には、S903に進む。一方、類似領域が検出されなかったと判定された場合には、S905に進む。類似領域の検出については、図4及び図5における説明のとおりである。S903において、類似領域とカーソル303とを含む領域を決定し、S904において、その決定された領域を拡大表示する。S903とS904における処理は、図6(b)及び図7(b)における説明のとおりである。図9に示されるように、類似領域が検出されなかった場合(S902のNO)、拡大表示は行なわれない。
【0038】
S905において、カーソル303がドラッグされたか否かを判定する。これは、図8において説明したドラッグ操作である。カーソル303がドラッグされたと判定された場合には、S906に進み、ドラッグされなかったと判定された場合には、S907に進む。S906においては、図8において説明したように画像を移動し、S901からの処理を繰り返す。S907においては、ポインティングデバイス106のボタンの押下が解除されたか否かが判定される。例えば、ユーザが所望の貼り合わせを実現できたと判断してポインティングデバイス106のボタンの押下を解除した場合には、本処理を終了する。一方、ポインティングデバイス106のボタンの押下が解除されていない場合には、ドラッグによる画像の移動が継続しているので、S905の判定処理を繰り返す。
【0039】
このように、S901では図3(a)に示すように、複数の画像が表示されて、ユーザが指示を行うことによって、S904において、類似領域を含むように拡大されて表示される。ただし、ユーザが拡大表示の指示を行うときには、図3(a)に示すように複数の画像が表示される必要がなく、ユーザが拡大表示を指示したときに、S904において初めて画像が表示されるようにしてもよい。
【0040】
また、S901において類似領域を検出するタイミングは、ユーザの指示を入力した場合に限らず、複数の画像を読み込んだことに応じて、類似領域の検出や拡大表示を行ってもよい。
【0041】
<実施例2>
本実施例における画像処理装置100は、図1に示すHDD102内に文字認識(OCR)用の辞書を備える。そのため、貼り合わせを行う画像301及び302に含まれる文字を認識することができる。
【0042】
図10は、本実施例における類似領域の検出について説明する図である。ユーザが画像301又は302上にカーソル303を位置し、ポインティングデバイス106のボタンを押下すると、以下のように処理を行う。まず、画像処理装置100は、図10(a)に示すように、合成する一辺から画像幅の3分の1離れた所定領域において、OCR処理を行う。この領域については、図5(b)における説明と同じである。
【0043】
OCR処理により認識された文字のうち、画像301及び302上で一致する文字があれば、図10(b)に示すように四角で囲んで表示する。図10(b)においては、例えば、「6」と「6」とが類似領域として検出され、「か」と「か」とが類似領域として検出される。この際に、図10(a)に示す所定領域以外については、OCR処理による類似領域の検出は行なわれない。
【0044】
以上のように、本実施例は、文字単位で類似領域の検出を行なう点で実施例1と異なる。実施例1と実施例2において、画像301と画像302の2つの画像を例として説明したが、3つの画像の場合にも適用できる。3つの画像の場合には、2つの画像の組み合わせそれぞれについて合成する一辺を基準とした所定領域を求め、全体としてそれらの所定領域の論理和をとり、論理和がとられた領域内において類似領域の検出を行なえば良い。拡大表示と、ドラッグ操作による画像の移動については、実施例1における説明と同じである。
【0045】
以上の実施例のように複数の画像を表示画面上で移動させることによって複数の画像のレイアウトを決定した後、決定されたレイアウトに従って複数の画像を出力する。
【0046】
例えば、上記のように複数の画像を拡大表示して複数の画像の相対位置(レイアウト)を決定した後に、拡大表示を解除して、複数の画像の全体を表示してもよい。そのとき複数の画像が、決定されたレイアウトに従った位置に配置されて表示される。
【0047】
さらに、複数の画像のレイアウトを決定した後に、複数の画像を印刷装置に出力して印刷を行わせてもよい。このとき、複数の画像を決定されたレイアウトに配置して1つの画像とし、この1つの画像を印刷装置に出力することで印刷させる(出力制御の一例)。他にも、例えば複数の画像と、複数の画像に対して決定されたレイアウトを示す情報を印刷装置に送信し、印刷装置において、受信した情報が示すレイアウトに従って複数の画像を配置し、印刷を行ってもよい。
【0048】
なお、以上の実施例のように、表示画面上に表示されている複数の画像を移動させる場合、複数の画像の両方を移動できるようにしてもよいし、または、複数の画像のどちらか一方のみを移動させるようにしてもよい。複数の画像の一方のみを移動させる場合であっても、複数の画像の相対位置を指定することができる。
【0049】
また、以上の実施例では、2つの画像を表示させる例を示したが、本発明はこれに限らず、3つ以上の複数の画像を表示画面に表示させて、それら3つ以上の画像のレイアウトを決定する場合であってもよい。
【0050】
さらに、以上の実施例では、一枚の原稿を複数回読み取ることで得られた複数の画像を入力する例を示した。しかし、本発明はこれに限らず、1つのオブジェクトを複数回に分割して撮像することで得られた複数の画像を入力すればよい。例えば、1つの被写体を複数回に分割して撮像して、撮像された複数の写真画像を結合してパノラマ画像を作成する場合であってもよい。この場合、複数の写真画像における類似の領域を特定して、例えばその特定した部分を拡大して表示することで、ユーザは複数の写真画像の配置を変更するか容易に判断することができる。
【0051】
なお、以上の実施例においては、PC100が外部のディスプレイ104に画像を表示させて、ポインティングデバイス106やキーボード107によりユーザの指示を入力することで処理を行っていた。しかし、これに限らず、プリンタやデジタルカメラ等において、それらの装置が有するディスプレイに画像を表示させて、プリンタやデジタルカメラ等に設けられた操作部をユーザが操作することによって、処理を行う場合であってもよい。
【0052】
また、以上の実施例では、複数の画像を表示画面に表示させた後、ユーザの指示に応じて画像を表示画面上で移動させる例を示した。しかし、画像を移動させる場合に限らず、複数の画像が配置される位置をユーザに確認させるための画面を表示させる場合であってもよい。そして、その画面に基づきユーザが指示を行うことで、表示されている画面が示すレイアウトに従って、複数の画像を出力か否かを決定する。本発明によれば、複数の画像において類似の領域が拡大されて表示されるため、ユーザは複数の画像が出力されるときのレイアウトを正確に把握することができる。
【0053】
さらに、以上の実施例では、ユーザの指示に応じて画像を移動させることによりレイアウトを決定して結合を行っていたが、本発明はこれに限らず、類似領域が重なるように、自動で画像の結合を行ってもよい。
【0054】
例えば、画像における類似領域を検出した後に、ユーザが指示を行うことで、類似領域が重なるように自動で複数の画像を結合してもよい。このとき、自動で結合させた場合に重なる類似領域を、他の類似領域と区別して強調表示してもよい。この強調表示により、多数の類似領域が検出された場合であったとしても、ユーザは、複数の画像を結合するときに重なる類似領域を確認した上で、画像の自動結合を指示することができる。
【0055】
また、自動で画像の結合する場合の他の例として、例えば類似領域を重ねるように結合された画像を表示させて、表示されているレイアウトで決定してよいかユーザに問い合わせるようにしてもよい。そして、ユーザがレイアウトの決定を指示した場合には、決定されたレイアウトに従って、画像が出力される。また、ユーザが自動で決定されたレイアウトを解除するための指示を行った場合には、レイアウトの決定処理をキャンセルするようにしてもよいし、図6〜図8に示したように画像を移動させるための画面を表示させてもよい。そして、上記の実施例のように、ユーザの指示に応じて画像を表示画面上で移動させることによって、レイアウトを決定する。
【0056】
なお、以上の実施例では、複数の画像から特定された類似領域に応じて画像を拡大し、また類似領域を示す情報を付加して表示を行っていたが、画像の拡大と情報の付加のいずれか一方の処理を行う場合であってもよい。即ち、画像の拡大をせずに、類似領域を示すように表示してもよいし、または類似領域を示さなくとも、類似領域を含むように画像を拡大して表示してもよい。いずれにしても、ユーザは、複数の画像のそれぞれにおける類似領域を判断できるように表示される。
【0057】
また、以上の実施例では、複数の画像で重複する部分があるものとして、複数の画像において類似の類似領域を検出し、検出された類似領域を含む表示領域を表示していた。しかし、本発明は類似領域を特定する場合に限らず、複数の画像の内容を取得して比較することにより、複数の画像のそれぞれにおける領域であって、互いに相関性のある領域を特定できればよい。ここで、相関性があるとは、類似領域のように、複数の画像において共有される領域であってもよいし、複数の画像に跨って連続する領域であってもよい。
【0058】
複数の画像に跨って連続する領域として、例えば、テキストを含む複数の画像を結合する場合に、画像に含まれるテキストの行間を特定するようにしてもよい。一般的に、テキストを含むドキュメントでは、行間の位置が一致するようにテキストが配置されていることが多い。そこで、複数の画像のそれぞれに含まれるテキストの行間を特定し、特定された行間を示す表示を行うことによって、ユーザは、複数の画像の配置を容易に把握して、画像の配置を変更するか判断することができる。また、表示画面に表示されている複数の画像のそれぞれに含まれるテキストの行間の位置に従って、行間を一致させるように画像を移動させることで、複数の画像のレイアウトを適切かつ容易に決定することができる。
【0059】
他にも、複数の写真画像を結合する場合に、それぞれの写真画像における、写真画像で連続する直線を示す領域を検出してもよい。この場合、ユーザは、表示画面において複数の写真画像のそれぞれにおける直線を示す領域を確認することにより、複数の写真画像の位置関係を把握することができる。
【0060】
このように、複数の画像で相関性のある領域に基づいて表示を行うことにより、ユーザは、画像の配置を正確かつ容易に把握することができる。
【0061】
さらに、以上の実施例では、複数の画像を結合する場合に、画像の一部を重ね合わせる例を用いて説明した。しかし、本発明はこれに限らず、画像の重ね合わせは行わずに、複数の画像を1つの画像として結合する場合であってもよい。例えば、複数の画像が接するように配置して、1つの画像として結合してもよいし、または複数の画像を離れるように配置して、複数の画像の間に所定の画像データを割り当てることにより、1つの画像として結合してもよい。
【0062】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。また、本発明は、1つのプロセッサにより処理が実行されるものに限らず、複数のプロセッサが連携して処理を行う場合であってもよい。
【特許請求の範囲】
【請求項1】
1つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを決定する画像処理装置であって、
前記複数の画像のうちの第1の画像と第2の画像とに基づき、当該第1の画像における第1の領域と当該第2の画像における第2の領域であって、当該第2の画像における当該第2の領域と相関性がある、当該第1の画像における当該第1の領域と、当該第1の画像における当該第1の領域と相関性がある、当該第2の画像における当該第2の領域とを特定する特定手段と、
前記第1の画像と前記第2の画像のそれぞれにおける一部の表示領域であって、当該第1の画像と当該第2の画像のそれぞれにおいて前記特定手段により特定された領域を含む表示領域を、当該第1の画像と当該第2の画像との全体が表示されるときよりも大きく表示されるように、表示画面に表示させる表示制御手段と、
前記表示制御手段による表示に基づくユーザの指示に応じて、前記第1の画像と前記第2の画像を配置するときのレイアウトを決定する決定手段と
を備えることを特徴とする画像処理装置。
【請求項2】
1つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを決定する画像処理装置であって、
前記複数の画像のうちの第1の画像と第2の画像とに基づき、当該第1の画像における第1の領域と当該第2の画像における第2の領域であって、当該第2の画像における当該第2の領域と相関性がある、当該第1の画像における当該第1の領域と、当該第1の画像における当該第1の領域と相関性がある、当該第2の画像における当該第2の領域とを特定する特定手段と、
前記第1の画像と前記第2の画像に、当該第1の画像と第2の画像とのそれぞれにおいて前記特定手段により特定された領域を示す情報を付加して、表示画面に表示させる表示制御手段と、
前記表示制御手段による表示に基づくユーザの指示に応じて、前記第1の画像と前記第2の画像を配置するときのレイアウトを決定する決定手段と
を備えることを特徴とする画像処理装置。
【請求項3】
ユーザの指示に応じて、前記表示制御手段により表示画面に表示されている前記第1の画像または前記第2の画像を、当該表示画面上で移動させる移動制御手段をさらに備え、
前記決定手段は、前記移動制御手段により移動された画像の前記表示画面における配置に応じて、当該複数の画像のうちの前記第1の画像と前記第2の画像を配置するときのレイアウトを決定することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記特定手段は、前記複数の画像のうちの前記第1の画像と前記第2の画像において類似の、当該複数の画像のそれぞれにおける類似領域を特定することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
【請求項5】
前記表示制御手段は、前記特定手段により特定された領域が重なるように、当該複数の画像のうちの前記第1の画像と前記第2の画像とを重ねて表示画面に表示し、
前記決定手段は、ユーザによる指示に応じて、当該表示画面における当該複数の画像のうちの前記第1の画像と前記第2の画像を配置するときのレイアウトを決定することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
【請求項6】
前記第1の画像と前記第2の画像とを、前記決定手段により決定されたレイアウトに従って出力するように制御する出力制御手段をさらに備えることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
【請求項7】
前記出力制御手段は、前記第1の画像と前記第2の画像とが前記決定手段により決定されたレイアウトに従って表示されるように、当該第1の画像と当該第2の画像とを前記表示画面に出力して表示するように制御することを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記出力制御手段は、前記第1の画像と前記第2の画像とが前記決定手段により決定されたレイアウトに従って印刷されるように、当該第1の画像と当該第2の画像とを印刷装置に出力して印刷するように制御することを特徴とする請求項6に記載の画像処理装置。
【請求項9】
1つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを決定する画像処理装置において実行される画像処理方法であって、
前記画像処理装置の特定手段が、前記複数の画像のうちの第1の画像と第2の画像とに基づき、当該第1の画像における第1の領域と当該第2の画像における第2の領域であって、当該第2の画像における当該第2の領域と相関性がある、当該第1の画像における当該第1の領域と、当該第1の画像における当該第1の領域と相関性がある、当該第2の画像における当該第2の領域とを特定する特定工程と、
前記画像処理装置の表示制御手段が、前記第1の画像と前記第2の画像のそれぞれにおける一部の表示領域であって、当該第1の画像と当該第2の画像のそれぞれにおいて前記特定工程において特定された領域を含む表示領域を、当該第1の画像と当該第2の画像との全体が表示されるときよりも大きく表示されるように、表示画面に表示させる表示制御工程と、
前記画像処理装置の決定手段が、前記表示制御工程における表示に基づくユーザの指示に応じて、前記第1の画像と前記第2の画像を配置するときのレイアウトを決定する決定工程と
を有することを特徴とする画像処理方法。
【請求項10】
1つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを決定する画像処理装置において実行される画像処理方法であって、
前記画像処理装置の特定手段が、前記複数の画像のうちの第1の画像と第2の画像とに基づき、当該第1の画像における第1の領域と当該第2の画像における第2の領域であって、当該第2の画像における当該第2の領域と相関性がある、当該第1の画像における当該第1の領域と、当該第1の画像における当該第1の領域と相関性がある、当該第2の画像における当該第2の領域とを特定する特定工程と、
前記画像処理装置の表示制御手段が、前記第1の画像と前記第2の画像に、当該第1の画像と第2の画像とのそれぞれにおいて前記特定工程において特定された領域を示す情報を付加して、表示画面に表示させる表示制御工程と、
前記画像処理装置の決定手段が、前記表示制御工程における表示に基づくユーザの指示に応じて、前記第1の画像と前記第2の画像を配置するときのレイアウトを決定する決定工程と
を有することを特徴とする画像処理方法。
【請求項11】
請求項9又は10に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【請求項1】
1つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを決定する画像処理装置であって、
前記複数の画像のうちの第1の画像と第2の画像とに基づき、当該第1の画像における第1の領域と当該第2の画像における第2の領域であって、当該第2の画像における当該第2の領域と相関性がある、当該第1の画像における当該第1の領域と、当該第1の画像における当該第1の領域と相関性がある、当該第2の画像における当該第2の領域とを特定する特定手段と、
前記第1の画像と前記第2の画像のそれぞれにおける一部の表示領域であって、当該第1の画像と当該第2の画像のそれぞれにおいて前記特定手段により特定された領域を含む表示領域を、当該第1の画像と当該第2の画像との全体が表示されるときよりも大きく表示されるように、表示画面に表示させる表示制御手段と、
前記表示制御手段による表示に基づくユーザの指示に応じて、前記第1の画像と前記第2の画像を配置するときのレイアウトを決定する決定手段と
を備えることを特徴とする画像処理装置。
【請求項2】
1つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを決定する画像処理装置であって、
前記複数の画像のうちの第1の画像と第2の画像とに基づき、当該第1の画像における第1の領域と当該第2の画像における第2の領域であって、当該第2の画像における当該第2の領域と相関性がある、当該第1の画像における当該第1の領域と、当該第1の画像における当該第1の領域と相関性がある、当該第2の画像における当該第2の領域とを特定する特定手段と、
前記第1の画像と前記第2の画像に、当該第1の画像と第2の画像とのそれぞれにおいて前記特定手段により特定された領域を示す情報を付加して、表示画面に表示させる表示制御手段と、
前記表示制御手段による表示に基づくユーザの指示に応じて、前記第1の画像と前記第2の画像を配置するときのレイアウトを決定する決定手段と
を備えることを特徴とする画像処理装置。
【請求項3】
ユーザの指示に応じて、前記表示制御手段により表示画面に表示されている前記第1の画像または前記第2の画像を、当該表示画面上で移動させる移動制御手段をさらに備え、
前記決定手段は、前記移動制御手段により移動された画像の前記表示画面における配置に応じて、当該複数の画像のうちの前記第1の画像と前記第2の画像を配置するときのレイアウトを決定することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記特定手段は、前記複数の画像のうちの前記第1の画像と前記第2の画像において類似の、当該複数の画像のそれぞれにおける類似領域を特定することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
【請求項5】
前記表示制御手段は、前記特定手段により特定された領域が重なるように、当該複数の画像のうちの前記第1の画像と前記第2の画像とを重ねて表示画面に表示し、
前記決定手段は、ユーザによる指示に応じて、当該表示画面における当該複数の画像のうちの前記第1の画像と前記第2の画像を配置するときのレイアウトを決定することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
【請求項6】
前記第1の画像と前記第2の画像とを、前記決定手段により決定されたレイアウトに従って出力するように制御する出力制御手段をさらに備えることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
【請求項7】
前記出力制御手段は、前記第1の画像と前記第2の画像とが前記決定手段により決定されたレイアウトに従って表示されるように、当該第1の画像と当該第2の画像とを前記表示画面に出力して表示するように制御することを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記出力制御手段は、前記第1の画像と前記第2の画像とが前記決定手段により決定されたレイアウトに従って印刷されるように、当該第1の画像と当該第2の画像とを印刷装置に出力して印刷するように制御することを特徴とする請求項6に記載の画像処理装置。
【請求項9】
1つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを決定する画像処理装置において実行される画像処理方法であって、
前記画像処理装置の特定手段が、前記複数の画像のうちの第1の画像と第2の画像とに基づき、当該第1の画像における第1の領域と当該第2の画像における第2の領域であって、当該第2の画像における当該第2の領域と相関性がある、当該第1の画像における当該第1の領域と、当該第1の画像における当該第1の領域と相関性がある、当該第2の画像における当該第2の領域とを特定する特定工程と、
前記画像処理装置の表示制御手段が、前記第1の画像と前記第2の画像のそれぞれにおける一部の表示領域であって、当該第1の画像と当該第2の画像のそれぞれにおいて前記特定工程において特定された領域を含む表示領域を、当該第1の画像と当該第2の画像との全体が表示されるときよりも大きく表示されるように、表示画面に表示させる表示制御工程と、
前記画像処理装置の決定手段が、前記表示制御工程における表示に基づくユーザの指示に応じて、前記第1の画像と前記第2の画像を配置するときのレイアウトを決定する決定工程と
を有することを特徴とする画像処理方法。
【請求項10】
1つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを決定する画像処理装置において実行される画像処理方法であって、
前記画像処理装置の特定手段が、前記複数の画像のうちの第1の画像と第2の画像とに基づき、当該第1の画像における第1の領域と当該第2の画像における第2の領域であって、当該第2の画像における当該第2の領域と相関性がある、当該第1の画像における当該第1の領域と、当該第1の画像における当該第1の領域と相関性がある、当該第2の画像における当該第2の領域とを特定する特定工程と、
前記画像処理装置の表示制御手段が、前記第1の画像と前記第2の画像に、当該第1の画像と第2の画像とのそれぞれにおいて前記特定工程において特定された領域を示す情報を付加して、表示画面に表示させる表示制御工程と、
前記画像処理装置の決定手段が、前記表示制御工程における表示に基づくユーザの指示に応じて、前記第1の画像と前記第2の画像を配置するときのレイアウトを決定する決定工程と
を有することを特徴とする画像処理方法。
【請求項11】
請求項9又は10に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2012−105145(P2012−105145A)
【公開日】平成24年5月31日(2012.5.31)
【国際特許分類】
【出願番号】特願2010−252954(P2010−252954)
【出願日】平成22年11月11日(2010.11.11)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成24年5月31日(2012.5.31)
【国際特許分類】
【出願日】平成22年11月11日(2010.11.11)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]