画像処理装置および印刷装置
【課題】複数のクエリ画像を組み合わせ、容易に所望画像を検索する装置の提供。
【解決手段】表示画面に指定画像Sが配置可能な領域A1を表示させ、該領域A1に配置された指定画像Sの重心位置と反転指定s2、近傍範囲指定s1、重視ボタンs3の指示に応じて論理式の指定を受け付け、特徴量空間において特定される指定画像Sの特徴量を算出し、指定画像Sの特徴量と論理式に基づいて、特徴量空間における検索領域を特定する。特徴量が前記検索領域に属する画像を検索し、結果を領域A3に一覧表示する。
【解決手段】表示画面に指定画像Sが配置可能な領域A1を表示させ、該領域A1に配置された指定画像Sの重心位置と反転指定s2、近傍範囲指定s1、重視ボタンs3の指示に応じて論理式の指定を受け付け、特徴量空間において特定される指定画像Sの特徴量を算出し、指定画像Sの特徴量と論理式に基づいて、特徴量空間における検索領域を特定する。特徴量が前記検索領域に属する画像を検索し、結果を領域A3に一覧表示する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、画像処理装置および印刷装置に関し、特に、画像を検索する画像処理装置および印刷装置に関する。
【背景技術】
【0002】
クエリー画像を入力し、該クエリー画像の特徴量に最も類似する特徴量を有する画像を検索する技術が提案されている(特許文献1、参照。)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−85298号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年のデジタルスチルカメラの普及にともなって、各ユーザーが管理する画像データの数が急速に増加している。このような状況の中で。上記文献のように単一のクエリー画像の特徴量に基づいて検索しても、ユーザーが真に所望するものを検索することは困難であるという問題があった。また、複数のクエリー画像を組み合わせて検索を行う場合、論理式を用いることとなるが、論理式は一般のユーザーには馴染みが薄く、扱いづらいという問題もあった。
本発明は、上記課題の少なくとも一つにかんがみてなされたもので、容易に所望する画像の検索結果を得ることが可能な画像処理装置および印刷装置の提供を目的とする。
【課題を解決するための手段】
【0005】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
本発明の適用例の一つでは、表示画面において指定画像が配置可能な領域を表示させ、該領域に配置された前記指定画像の位置に応じて論理式の指定を受け付ける。そして、特徴量算出手段が特徴量空間において特定される前記指定画像の特徴量を算出する。領域特定手段は、前記特徴量空間において、指定画像の特徴量と前記論理式に基づき検索領域を特定する。検索手段は、特徴量が前記検索領域に属する画像を検索する。前記指定画像について論理式を指定することができるため、ユーザーが所望する検索結果を得ることができる。また、論理式を直接入力する必要がなく、感覚的な操作で論理式を指定することができる。
【0006】
また、前記指定画像について前記特徴量空間における近傍範囲の大きさの指定を受け付け、該指定された大きさの前記近傍範囲に基づき前記検索領域を特定するようにしてもよい。このようにすることにより、前記検索領域の大きさを調整することができ、ユーザーが所望する検索結果を得ることができる。
【0007】
また、前記検索手段が検索した画像を表示しつつ、前記指定画像または前記論理式の再指定を受け付けるようにするのが望ましい。すなわち、最初に指定した前記指定画像と前記論理式によって満足のいく検索結果が得られない場合もあるため、所望の検索結果が得られるまで前記指定画像と前記論理式の再指定を受け付けるのが望ましい。前記指定画像と前記論理式を再指定するにあたって、前記検索手段が検索した画像が表示されるため、検索結果がどのように変動するかを容易に確認することができる。
【0008】
また、前記指定画像を直接指定するものに限られず、前記指定画像を間接的に指定するようにしてもよい。例えば、キーワードの指定を受け付け、該指定されたキーワードに対応付けられた画像を前記指定画像として取得するようにしてもよい。このようにすれば、キーワードによっても検索条件を指定することができ、ユーザーの使い勝手を向上させることができる。
【0009】
また、前記条件受付手段の別の好適な例として、前記領域において複数の前記指定画像が重なって配置された場合、これらの指定画像の前記近傍範囲の論理積が指定されたとしてもよい。前記指定画像の重なりにより、感覚的に論理積を指定することができる。さらに、前記領域において複数の前記指定画像が重なることなく配置された場合、これらの指定画像の前記近傍範囲の論理和が指定されたとしてもよい。前記指定画像が重ならないことにより、感覚的に論理和を指定することができる。
【0010】
さらに、前記条件受付手段の別の好適な例として、前記領域において前記指定画像が天地反転した状態で配置された場合、該指定画像の前記近傍範囲の論理否定が指定されたとしてもよい。前記指定画像が反転することにより、感覚的に論理否定を指定することができる。
【0011】
なお、本発明は、画像処理装置のみならず、画像処理装置を構成する各手段が実行する各行程を備える画像処理方法においても実現することができる。さらに、前記手段に相当する機能をコンピューターに実行させる画像処理プログラムにおいても本発明が実現できる。また、本発明の画像処理装置によって検索された画像を印刷する印刷装置においても本発明が実現できる。
【図面の簡単な説明】
【0012】
【図1】コンピューターのハードウェア構成を示すブロック図である。
【図2】コンピューターのソフトウェア構成を示すブロック図である。
【図3】画像検索処理の流れを示すフローチャートである。
【図4】検索条件を受け付けるためのUI画面を示す図である。
【図5】クエリーテーブルおよび特徴量空間を示す図である。
【図6】変形例におけるUI画面を示す図である。
【図7】変形例におけるUI画面を示す図である。
【図8】変形例におけるUI画面を示す図である。
【図9】変形例におけるUI画面を示す図である。
【発明を実施するための形態】
【0013】
1.画像処理装置の構成
2.画像検索処理の流れ
3.変形例
【0014】
1.画像処理装置の構成
図1は、本発明の画像処理装置を具体的に実現するコンピューターの一例の構成を示している。同図において、コンピューター10はCPU11とRAM12とROM13とハードディスクドライブ(HDD)14と汎用インターフェイス(GIF)15とビデオインターフェイス(VIF)16と入力インターフェイス(IIF)17とバス18とから構成されている。バス18は、コンピューター10を構成する各要素11〜17の間でのデータ通信を実現するものであり、図示しないチップセット等によって通信が制御されている。HDD14には、オペレーティングシステム(OS)を含む各種プログラムを実行するためのプログラムデータ14aが記憶されており、当該プログラムデータ14aをRAM12に展開しながらCPU11が当該プログラムデータ14aに準じた演算を実行する。
【0015】
また、HDD14には、デジタルスチルカメラやスキャナによって画像入力された多数の画像データIDと、画像検索の際に生成される特徴量テーブルT1とクエリーテーブルT2が記憶されている。GIF15は、例えばUSB規格に準じたインターフェイスを提供するものであり、外部のプリンター20をコンピューター10に接続させている。VIF16はコンピューター10を外部のディスプレイ40に接続し、ディスプレイ40に画像を表示するためのインターフェイスを提供する。IIF17はコンピューター10を外部のキーボード50aとマウス50bに接続し、キーボード50aとマウス50bからの入力信号をコンピューター10が取得するためのインターフェイスを提供する。
【0016】
図2は、コンピューター10において実行されるプログラムのソフトウェア構成を示している。同図において、オペレーティングシステム(OS)と画像検索アプリケーションP1とプリンタードライバーP2が実行されている。OSは各プログラム間のインターフェイスを提供し、プリンタードライバーP2はプリンター20を制御するための処理を実行する。画像検索アプリケーションP1は、条件受付部P1aと特徴量算出部P1bと領域特定部P1cと検索部P1dとから構成されている。画像検索アプリケーションP1を構成する各モジュールP1a〜P1dが実行する処理の詳細については後述する画像検索処理の流れとともに説明する。
【0017】
2.画像検索処理の流れ
図3は、画像検索処理の流れを示している。ステップS100においては、検索条件を受け付けるためのUI画面をディスプレイ40に表示させる。条件受付部P1aは、UI画面に対応する画像データを生成し、該画像データをVIF16に出力する。
【0018】
図4は、検索条件を受け付けるためのUI画面を示している。UI画面においては、検索範囲エクスプローラーE1とクエリー指定領域A1と一覧領域A2と検索結果表示領域A3と印刷実行ボタンB1と検索条件保存ボタンB2と検索条件読込ボタンB3とが設けられている。検索範囲エクスプローラーE1においては、HDD14に形成されたフォルダを一覧化されるとともに、各フォルダに対応するチェックボックスが設けられている。このチェックボックスがチェックされたフォルダに属する画像データIDが検索の対象とされる。クエリー指定領域A1は矩形状の領域であり、初期において所定色のベタ画像とされる。一覧領域A2は、検索範囲エクスプローラーE1に隣接して設けられており、検索範囲エクスプローラーE1においてチェックされたフォルダに属する画像データIDのサムネイルSを並べて表示する。検索結果表示領域A3も矩形状の領域であり、初期において所定色のベタ画像とされる。
【0019】
ステップS110において、条件受付部P1aは、UI画面に対するマウス50bの操作を検出し、いずれかの操作が検出されるまで待機する。ステップS110において、いずれかの操作が検出されると、該操作が検索範囲エクスプローラーE1に対する操作であるか否かを判定する(ステップS120)。検索範囲エクスプローラーE1に対する操作であれば、ステップS130において、チェックボックスがチェックされているフォルダに属する画像データIDのサムネイルSを取得し、該取得したサムネイルSを一覧領域A2において並べて表示する。これにより、ユーザーは、検索範囲として指定したフォルダに属する画像データIDが示す画像の概要を把握することができる。
【0020】
ステップS140において、特徴量算出部P1bは検索範囲として指定したフォルダに属する各画像データIDについての複数の特徴量を算出する。特徴量は、数値化することが可能な指標であればよく、例えば、各画像データIDが示す画像の明るさやコントラストやエッジ量や色数等の基本的な特徴量を算出しもよい。また、画像全体についての基本的な特徴量を算出するのに限らず、例えば画像の特定領域に関する特徴量を算出するようにしてもよい。さらに、各画像データIDについて顔検出を行い、その結果に基づく特徴量を算出するようにしてもよい。さらに、画像から得られる特徴量に限られず、画像データIDに添付された撮影時刻等の添付情報を特徴量としてもよい。本実施例では、3種類以上の特徴量を算出し、3次元以上の特徴量空間が形成できるようにする。また、各特徴量のレンジが0〜100となるように、各特徴量が正規化されるものとする。ステップS145においては、検索範囲内の各画像データIDのファイル名と、各画像データIDの各特徴量を特徴量テーブルT1に対応付けて記憶する。
【0021】
検索範囲エクスプローラーE1に対する操作は、複数回受け付けられる場合も考えられるが、2回目以降の操作は、フォルダのチェックを追加したり取り消したりする操作となる。検索範囲のフォルダのチェックが追加された場合には、追加されたフォルダに属する画像データIDについてのみステップS140を実行し、特徴量テーブルT1に追記すれば足りる。一方、検索範囲のフォルダのチェックが取り消された場合には、取り消されたフォルダに属する画像データIDについての情報を特徴量テーブルT1から削除すればよい。UI画面に対するマウス50bの操作が検索範囲エクスプローラーE1に対する操作でなかった場合には、該操作がサムネイルSのいずれかを一覧領域A2からドラッグし、クエリー指定領域A1のいずれかの位置にドロップ(配置)したものであるか否かを判定する(ステップS150)。
【0022】
すなわち、一覧領域A2に表示されたいずれかのサムネイルSをクエリー指定領域A1に移動させる操作が行われたか否かが判定される。ここで、位置とは、ドロップされたときのサムネイルSの重心位置とする。クエリー指定領域A1にドロップされているサムネイルSに対応する画像データIDをクエリー画像SCと表記する。なお、クエリー画像は本発明の指定画像に相当する。ステップS160では、クエリー指定領域A1にドロップされたサムネイルSに対応するクエリー画像SCについての反転指定値aと順序指定値bと近傍範囲指定値cをそれぞれデフォルト値に設定する。反転指定値aは、非反転を示す“0”、または、反転を示す“1”のいずれかの値をとり、デフォルト値は“0”とされる。順序指定値bのデフォルト値は、クエリーテーブルT2にすでに登録され、かつ、反転指定値aが“0”となっているサムネイルSの数に1を加えた自然数とされる。すなわち、順序指定値bは、クエリーテーブルT2において反転指定値aが“0”となっている画像データIDに順次割り振られる連番である。
【0023】
近傍範囲指定値cは、0〜80までの値をとり、デフォルト値は“40”とされる。ステップS170においては、ドロップされたサムネイルSに対応するクエリー画像SCのファイル名とドロップされた位置を取得し、該画像データIDについての情報(ファイル名、位置、反転指定値aと順序指定値bと近傍範囲指定値c)をクエリーテーブルT2に登録させる。ステップS175においては、ドラッグ&ドロップされたサムネイルSに対応するクエリー画像SCについての順序指定値bをクエリーテーブルT2に登録する。
【0024】
ステップS180においては、ステップS110にて検出した操作がサムネイルSのいずれかをクエリー指定領域A1内においてドラッグ&ドロップしたものであるか否かを判定する。すなわち、いずれかのサムネイルSをクエリー指定領域A1内において移動させる操作が行われたか否かが判定される。ステップS190では、クエリー指定領域A1内において移動させられたサムネイルSに対応するクエリー画像SCの位置をクエリーテーブルT2にて更新する。すでにクエリー指定領域A1内に存在しているサムネイルSをドラッグしているため、当該サムネイルSに対応するクエリー画像SCについての情報は予めクエリーテーブルT2に登録されている(ステップS170)こととなる。そのため、すでにクエリーテーブルT2に登録されている画像データIDの位置を、ドロップの位置で更新する。
【0025】
ステップS200においては、ステップS110にて検出した操作がサムネイルSのいずれかをクエリー指定領域A1からドラッグし、一覧領域A2にドロップしたものであるか否かを判定する。すなわち、クエリー指定領域A1に表示されたいずれかのサムネイルSを一覧領域A2に移動させる操作が行われたか否かが判定される。ステップS210では、クエリー画像SCから除外されたとして、一覧領域A2にドロップされたサムネイルSに対応するクエリー画像SCについての情報をクエリーテーブルT2から削除する。削除された画像データIDの反転指定値aが“0”であった場合には、いずれかの順序指定値bが割り振られているため、該順序指定値bよりも大きい順序指定値bを有する画像データIDについては順序指定値bを1ずつデクリメントする。
【0026】
ステップS220においては、ステップS110にて検出した操作がクエリー指定領域A1内のサムネイルSに付随して表示された近傍範囲スライダーs1のポインタpに対するドラッグ&ドロップであるか否かを判定する。近傍範囲スライダーs1のポインタpに対するドラッグ&ドロップである場合には、ステップS230においてポインタpがドロップされた位置を取得し、当該位置によってサムネイルSに対応するクエリー画像SCの近傍範囲指定値cを更新する。図4に示すように、近傍範囲スライダーs1は、左端が近傍範囲指定値cの0に対応付けられ、中央が近傍範囲指定値cの40に対応付けられ、右端が近傍範囲指定値cの80に対応付けられたスライダーである。ユーザーは、近傍範囲スライダーs1の任意の位置においてポインタpをドロップすることにより、所望の近傍範囲指定値cを指定することができる。
【0027】
ステップS240においては、ステップS110にて検出した操作がクエリー指定領域A1内のサムネイルSに付随して表示された反転ボタンs2に対するクリック操作であるか否かを判定する。反転ボタンs2に対するクリック操作である場合には、クエリーテーブルT2において、クリック操作された反転ボタンs2が付随するサムネイルSに対応するクエリー画像SCの反転指定値aを更新する(ステップS250)。ここでは、現在の反転指定値aが“0”であれば“1”に更新し、“1”であれば“0”に更新する。“1”に更新した場合には、該クエリー画像SCについて順序指定値bを新たに割り振る。すなわち、クエリーテーブルT2にすでに登録され、かつ、反転指定値aが“0”となっているクエリー画像SCの数に1を加えた順序指定値bが付与される。一方、“0”に更新した場合には、該画像データIDについての順序指定値bを削除するとともに、該順序指定値bよりも大きい順序指定値bを有する画像データIDについては順序指定値bを1ずつデクリメントする。
【0028】
ステップS260においては、ステップS110にて検出した操作がクエリー指定領域A1内のサムネイルSに付随して表示された重視ボタンs3または非重視ボタンs4に対するクリック操作であるか否かを判定する。重視ボタンs3に対するクリック操作である場合には、クエリーテーブルT2において、操作された重視ボタンs3が付随するサムネイルSに対応するクエリー画像SCの順序指定値bを1だけデクリメントする(ステップS270)。すなわち、もとの順序指定値bがnであった場合、順序指定値bを(n−1)とする。同時に、順序指定値bが(n−1)であったサムネイルSに対応するクエリー画像SCについては順序指定値bをnにインクリメントする。一方、非重視ボタンs4に対するクリック操作である場合には、クエリーテーブルT2において、操作された非重視ボタンs4が付随するサムネイルSに対応するクエリー画像SCの順序指定値bを1だけインクリメントする(ステップS280)。もとの順序指定値bがnであった場合、順序指定値bを(n+1)とし、同時に、順序指定値bが(n+1)であったサムネイルSについては順序指定値bをnにデクリメントする。なお、図4に示すように順序指定値bは各サムネイルSに付随して(左上隅に重畳して)表示されている。
【0029】
以上説明したように、ステップS110〜S280においては、各操作を検出し、各操作に応じて特徴量テーブルT1またはクエリーテーブルT2が更新される。特徴量テーブルT1またはクエリーテーブルT2が更新されると、ステップS290において、領域特定部P1cが特徴量空間において検索領域を特定する。
【0030】
図5AはクエリーテーブルT2の例を示し、図5B,5Cは特徴量空間において検索領域が特定される様子を模式的に示している。図示の簡略化のため図5Bは、2次の特徴量平面を示している。クエリーテーブルT2においては、クエリー要素として3個の画像データID(クエリー画像SC1,SC2,SC3)が登録されている。まず、特徴量テーブルT1を参照して、クエリー画像SC1,SC2,SC3の特徴量を取得し、該特徴量が示す特徴座標C1,C2,C3を特徴量空間にプロットする。次に、クエリーテーブルT2を参照して、クエリー画像SC1,SC2,SC3の近傍範囲指定値cを取得し、特徴座標C1,C2,C3からの距離がそれぞれ近傍範囲指定値c以内となる領域を特定する。距離は特徴量空間におけるユークリッド距離を使用すればよい。図5Bでは、特徴座標(●で図示)を中心とし、直径が近傍範囲指定値cとなる円の内側の領域が特定されることとなる。これらの円によって確定される集合を集合G1,G2,G3と表記するものとする。
【0031】
次に、クエリー画像SC1,SC2,SC3のうち反転指定値aが“1”となっているものをクエリーテーブルT2から特定する。そして、反転指定値aが“1”となっているクエリー画像SC1,SC2,SC3についての集合G1,G2,G3について論理否定が指定されたものとする。図4,5Aの例では、クエリー画像SC1についての反転指定値aが“1”となっており、集合G1に論理否定が指定されたものとされる。次に、クエリー画像SC1,SC2,SC3に対応するサムネイルSが重なっているか否かを特定する。クエリー画像SC1,SC2,SC3に対応するサムネイルSのクエリー指定領域A1における位置関係は、図4に示すものとする。サムネイルSが重なっている場合には、重なったサムネイルSに対応する画像データIDに関する検索領域同士の論理積が指定されているものとする。一方、サムネイルSが重なっていない場合には、重なっていないサムネイルSに対応する画像データIDに関する検索領域同士の論理和が指定されているものとする。なお、本実施例では、サムネイルSが重なっていなければ論理和が指定されることとしたが、サムネイルS同士が重なることなく接している場合に論理和が指定されるようにしてもよい。以上により、図4に示す位置関係および図5AのクエリーテーブルT2に基づいて下記の(1)式の論理式を得ることができる。
【0032】
【数1】
前記(1)式に示すように、集合G1は、論理否定となっている。クエリー画像SC1,SC2のサムネイルS同士が重なっているため、集合G1と集合G2との間で論理積がとられている。さらに、クエリー画像SC3のサムネイルSはいずれのサムネイルSとも重なっていないため、集合G3については論理和がとられている。論理式は、クエリー指定領域A1において左側に配置されたサムネイルSから順に作成されることとする。以上のようにして論理式が作成できると、該論理式に基づいて検索領域を特定する。この検索領域の特定は、通常の計算規則に則った計算順序で行えばよい。すなわち、まず論理否定に基づく領域を特定し、その後、論理積に基づく領域を特定し、最後に論理和に基づく領域を特定すればよい。同一の論理記号が複数ある場合には、左側から順に特定すればよい。
【0033】
図5Cは、最終的に特定された検索領域をハッチングによって示している。本例では、クエリー画像SC2,SC3に類似する特徴を有し、かつ、クエリー画像SC1とは類似しないような領域が検索領域として特定されることとなる。以上のように領域特定部P1cが検索領域を特定すると、検索部P1dは、ステップS300において特徴量テーブルT1を参照しつつ特徴量空間において該検索領域に属する画像データIDを検索する。特徴量テーブルT1においては、検索範囲の画像データIDのすべてについて特徴量が記憶されているため、該特徴量が検索領域に属するか否かを判定していくことができる。ステップS310においては、検索された各画像データIDについて適合指数Xを算出する。適合指数Xは、値が小さければ小さいほどユーザーの指定した検索条件にマッチした画像データIDであることを表す指数であり、下記の(2)式によって算出される。
【数2】
【0034】
前記の(2)式において、Ubは、クエリーテーブルT2において反転指定値aが“0”となっている画像データIDと、検索された画像データIDとの特徴量空間における距離を示している。クエリーテーブルT2において反転指定値aが“0”となっている画像データIDのそれぞれに対して順序指定値bが割り振られているため、順序指定値bの下付文字によって距離Ubを識別する。前記の(2)式において、検索されたある画像データIDについての適合指数Xは、クエリーテーブルT2において反転指定値aが“0”となっている各画像データIDとの距離Ubを、順序指定値bの逆数によって重み付け、線形結合した値とされている。順序指定値bが小さいほど距離Ubの重みが大きくなり、順序指定値bが小さいほど適合指数Xへの寄与が大きくなる。検索された各画像データIDについて適合指数Xが算出できると、検索された各画像データIDを適合指数Xの昇順にソートする(ステップS320)。
【0035】
ステップS330において、条件受付部P1aは、検索結果表示領域A3において、検索された各画像データIDのサムネイルSをソートした順序で並べて表示するようにUI画面を更新し、クエリー指定領域A1におけるサムネイルSの表示状態も更新する。具体的には、図4に示すように、反転指定値aが“0”の画像データIDを示すサムネイルSについてはクエリー画像SCの本来の方向で表示させ、反転指定値aが“1”の画像データIDを示すサムネイルSについてはクエリー画像SCの本来の方向から180°天地反転させて表示させる。従って、反転指定値aに変動があった場合には、クエリー指定領域A1におけるサムネイルSの表示方向が反転することとなる。また、順序指定値bに変動があった場合には、サムネイルSに付随する順序指定値bの表示も更新させる。以上のようにUI画面を更新すると、リターンする。すなわち、更新したUI画面を表示させ、さらなる操作を受け付ける。
【0036】
以上説明したループ処理(ステップS110〜S330)を実行することにより、ユーザーのマウスの操作を監視し、該操作に応じてUI画面の検索結果表示領域A3に検索結果として表示されるサムネイルSを更新することができる。従って、ユーザーはUI画面において各指定項目を再指定しながら、より好ましい検索結果を得ることができる。また、上述したUI画面によれば直感的な操作で画像の検索を行うことができる。まず、ユーザーが一覧領域A2から検索したいと思う画像に類似する画像データIDのサムネイルSを選び、クエリー指定領域A1にドラッグ&ドロップすることができる。例えば、花の写真を検索したい場合、花が撮影されたいずれかの写真をクエリー指定領域A1にドロップすればよい。サムネイルSをドロップした段階で、該ドロップが検出され、サムネイルSに特徴量が類似する画像データIDのサムネイルSが検索結果として検索結果表示領域A3に表示されることとなる。検索結果として表示されるサムネイルSが多すぎたり、あまり似ていない画像データIDが検索された感じられた場合には、ユーザーは近傍範囲スライダーs1のポインタpをドラッグ&ドロップして検索範囲を狭めることができる。逆に、検索結果として表示されるサムネイルSが少なすぎた場合には、ユーザーは近傍範囲スライダーs1のポインタpをドラッグ&ドロップして検索範囲を広げることができる。
【0037】
また、クエリー指定領域A1にドロップし、該サムネイルSに付随する反転ボタンs2をクリックすることにより、該サムネイルSが示すクエリー画像SCの近傍範囲について論理否定を指定することができる。従って、ユーザーが検索したくない系統の画像を容易に指定することができる。付随する反転ボタンs2がクリックされたサムネイルSに対応するクエリー画像SCについては、反転指定値aが“1”となり、UI画面の表示を更新する際に、天地反転させられることなる。従って、ユーザーは、論理否定を指定したことを感覚的に認知することができる。さらに、単一のサムネイルSだけでなく複数のサムネイルSを一覧領域A2からクエリー指定領域A1にドラッグ&ドロップすることができる。複数のサムネイルSをクエリー指定領域A1にドロップした場合、サムネイルS同士を重ねるか重ねないかによって、論理積か論理和を指定することができる。従って、より複雑な検索を行うことができるとともに、論理積と論理和を感覚的に指定することができる。さらに、各画像データIDについて近傍範囲指定値cを指定することができるため、満足度の高い検索結果を得ることができる。
【0038】
検索された画像データIDのサムネイルSは、適合指数Xの小さい順にソートされて表示されることとなる。すなわち、指定した検索条件にマッチする度合いが高い順にソートされて表示されることとなる。この適合指数Xは、クエリー指定領域A1において論理否定が指定された以外のサムネイルSに対応するクエリー画像SCに類似するほど小さくなる傾向を示す。そして、論理否定が指定された以外のサムネイルSが複数存在する場合には、順序指定値bが小さい画像データIDに対する類似度(距離Ub)が重視される。この順序指定値bは、基本的にクエリー指定領域A1にドロップされたのが早いサムネイルSほど小さい傾向を有する。最も重要視するサムネイルSを早期にドラッグ&ドロップすると考えられ、そのようなサムネイルSが示す画像データIDに対する類似度(距離Ub)を重視することができる。また、前記基本的な傾向を維持しつつも、順序指定値bは重視ボタンs3と重視ボタンs4のクリックによって任意に調整することができるため、後発的に重要なサムネイルSが指定された場合でも対応することができる。
【0039】
最終的にユーザーが満足できる検索結果が得られれば、ユーザーは印刷実行ボタンB1をクリックし、検索された画像データIDを印刷させることができる(ステップS340,S345)。ステップS345では、プリンタードライバーP2が検索された画像データIDに対して色変換処理やハーフトーン処理やラスタライズ処理を順次実行し、処理後のデータをプリンター20に出力する。これにより、検索された画像データIDをプリンター20にて印刷させることができる。適合指数Xはユーザーが希望した検索条件にマッチする度合いであるため、各画像データIDの適合指数Xに応じて各画像データIDの印刷条件を設定してもよい。例えば、適合指数Xが小さいほど、画質重視の印刷条件を設定してもよい。また、検索条件保存ボタンB2のクリックが検出されると、検索に使用した検索条件(クエリーテーブルT2)をHDD14に記憶する(ステップS350,S360)。これにより、ユーザーは、好ましい検索結果が得ることが可能な検索条件を登録しておくことができる。残る操作は検索条件読込ボタンB3のクリックのみであるため、検索条件読込ボタンB3がクリックされたと認識する(ステップS370)。そして、検索に使用した検索条件(クエリーテーブルT2)をHDD14から読み出し、該クエリーテーブルT2に準じて検索を行い、UI画面を更新させることができる(ステップS380,S290〜S330)。
【0040】
3.変形例
3−1.変形例1
前記実施例では、検索範囲が指定された段階で、該検索範囲に属する画像データIDについて特徴量を算出し、特徴量テーブルT1に格納するようにしたが、予め各画像データIDの特徴量を格納したデータベースを用意しておき、画像検索処理の際に該データベースを参照するようにしてもよい。例えば、HDD14に画像データIDが記憶された段階で、画像データIDの特徴量を算出し、データベースに格納しておくようにしてもよい。このようにすることにより、画像検索処理を高速に行うことができる。なお、所定の操作がなされた場合にクエリー指定領域A1が示す画像を印刷するようにしてもよい、クエリー指定領域A1におけるサムネイルSの配置は検索条件を表しているため、検索条件の記録として活用することができる。
【0041】
3−2.変形例2
図6は、変形例にかかるUI画面を示している。本変形例でも、クエリー指定領域A1にサムネイルSが表示されるが、近傍範囲スライダーs1が設けられていない。その代わりに、各サムネイルS隅部をドラッグ&ドロップすることにより、サムネイルSの表示サイズを調整することが可能となっている。近傍範囲指定値cは、サムネイルSの表示サイズに対応しており、サムネイルSを拡大するほど近傍範囲指定値cを広く指定することができる。さらに、本変形例では、反転指定値aが“1”の画像データIDを示すサムネイルSを天地反転させるのではなく、グレーアウトさせるようにしている。このような手法によっても、論理否定を指定したことを感覚的に認知させることができる。
【0042】
3−3.変形例3
図7は、変形例にかかるUI画面を示している。同図においては、一覧領域A2の中に、検索範囲に属する画像データIDのサムネイルSと、テキストボックスTが表示されている。ユーザーは、テキストボックスTをクリックし、キーボード50aを操作することにより、テキストボックスTにキーワードを入力することができる。テキストを入力し、クエリー追加ボタンB4をクリックすると、テキストを表示したテキストサムネイルSTが生成され、該テキストサムネイルSTがクエリー指定領域A1に配置される。テキストサムネイルSTは、他のサムネイルSと同様にクエリー指定領域A1の内外へドラッグ&ドロップすることができる。また、テキストサムネイルSTを他のサムネイルSやテキストボックスTと重ねる/重ねないことにより、論理積/論理和を指定することができる。このようにすることにより、キーワードによっても検索条件を指定することができる。本発明では、特徴量空間における特徴量に基づいて検索を行うため、テキストボックスTについての特徴量も必要となる。
【0043】
そこで、本変形例では、典型画像データベースをHDD14に予め用意しておく。典型画像データベースは、キーワードと、該キーワードが示す典型的な画像から得られた特徴量との対応関係が記憶されており、検索部P1dは典型画像データベースを参照してテキストボックスTに入力されたキーワードに対応する特徴量を使用する。これにより、他のサムネイルSと同様に、特徴量に基づく検索を行うことができる。
【0044】
3−4.変形例4
図8は、変形例にかかるUI画面を示している。本変形例でも、クエリー指定領域A1にサムネイルSが表示されるが、近傍範囲スライダーs1が設けられていない。一方、特徴量空間表示領域A4が追加されている。特徴量空間表示領域A4においては、クエリー指定領域A1のサムネイルSに対応するクエリー画像SCの特徴量がプロットされるとともに、その周囲に近傍範囲の外縁eが図示されている。ユーザーは、外縁eをドラッグ&ドロップすることにより、近傍範囲指定値cを調整することができる。このようにすることにより、視覚的に複数の近傍範囲が重なるか否かを判断することができる。
【0045】
3−5.変形例5
図9は、変形例にかかるUI画面を示している。本変形例では、クエリー指定領域A1において、上部にタブT1〜T3を有するフォルダFが表示されている。タブT1をクリックするとフォルダFに論理積記号が表示され、タブT2をクリックするとフォルダFに論理和記号が表示され、タブT3をクリックするとフォルダFに論理否定記号が表示される。フォルダFにおいて論理積記号および論理和記号が表示された状態において、一対のサムネイルSを一覧領域A2からフォルダF上にドラッグ&ドロップすることが可能となっている。これにより、一対のサムネイルSに対応するクエリー画像SC同士の間で、論理積および論理和を指定することができる。さらに、フォルダFにおいて論理否定記号が表示された状態において、1個のサムネイルSを一覧領域A2からフォルダF上にドラッグ&ドロップすることが可能となっている。これにより、サムネイルSに対応するクエリー画像SCについて、論理否定を指定することができる。
【0046】
3−6.変形例6
上述した実施例では、コンピューター上において本発明の画像処理を実行することとしたが、本発明の画像処理をプリンター(印刷装置)上で実行するようにしてもよい。すなわち、プリンターが備えるCPU上にて本発明の画像処理が実行されてもよい。
【符号の説明】
【0047】
10…コンピューター、11…CPU、12…RAM、13…ROM、14…HDD、15…GIF、16…VIF、17…IIF、18…バス、P1a…条件受付部、P1b…特徴量算出部、P1c…領域特定部、P1d…検索部、P2…プリンタードライバー。
【技術分野】
【0001】
この発明は、画像処理装置および印刷装置に関し、特に、画像を検索する画像処理装置および印刷装置に関する。
【背景技術】
【0002】
クエリー画像を入力し、該クエリー画像の特徴量に最も類似する特徴量を有する画像を検索する技術が提案されている(特許文献1、参照。)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−85298号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年のデジタルスチルカメラの普及にともなって、各ユーザーが管理する画像データの数が急速に増加している。このような状況の中で。上記文献のように単一のクエリー画像の特徴量に基づいて検索しても、ユーザーが真に所望するものを検索することは困難であるという問題があった。また、複数のクエリー画像を組み合わせて検索を行う場合、論理式を用いることとなるが、論理式は一般のユーザーには馴染みが薄く、扱いづらいという問題もあった。
本発明は、上記課題の少なくとも一つにかんがみてなされたもので、容易に所望する画像の検索結果を得ることが可能な画像処理装置および印刷装置の提供を目的とする。
【課題を解決するための手段】
【0005】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
本発明の適用例の一つでは、表示画面において指定画像が配置可能な領域を表示させ、該領域に配置された前記指定画像の位置に応じて論理式の指定を受け付ける。そして、特徴量算出手段が特徴量空間において特定される前記指定画像の特徴量を算出する。領域特定手段は、前記特徴量空間において、指定画像の特徴量と前記論理式に基づき検索領域を特定する。検索手段は、特徴量が前記検索領域に属する画像を検索する。前記指定画像について論理式を指定することができるため、ユーザーが所望する検索結果を得ることができる。また、論理式を直接入力する必要がなく、感覚的な操作で論理式を指定することができる。
【0006】
また、前記指定画像について前記特徴量空間における近傍範囲の大きさの指定を受け付け、該指定された大きさの前記近傍範囲に基づき前記検索領域を特定するようにしてもよい。このようにすることにより、前記検索領域の大きさを調整することができ、ユーザーが所望する検索結果を得ることができる。
【0007】
また、前記検索手段が検索した画像を表示しつつ、前記指定画像または前記論理式の再指定を受け付けるようにするのが望ましい。すなわち、最初に指定した前記指定画像と前記論理式によって満足のいく検索結果が得られない場合もあるため、所望の検索結果が得られるまで前記指定画像と前記論理式の再指定を受け付けるのが望ましい。前記指定画像と前記論理式を再指定するにあたって、前記検索手段が検索した画像が表示されるため、検索結果がどのように変動するかを容易に確認することができる。
【0008】
また、前記指定画像を直接指定するものに限られず、前記指定画像を間接的に指定するようにしてもよい。例えば、キーワードの指定を受け付け、該指定されたキーワードに対応付けられた画像を前記指定画像として取得するようにしてもよい。このようにすれば、キーワードによっても検索条件を指定することができ、ユーザーの使い勝手を向上させることができる。
【0009】
また、前記条件受付手段の別の好適な例として、前記領域において複数の前記指定画像が重なって配置された場合、これらの指定画像の前記近傍範囲の論理積が指定されたとしてもよい。前記指定画像の重なりにより、感覚的に論理積を指定することができる。さらに、前記領域において複数の前記指定画像が重なることなく配置された場合、これらの指定画像の前記近傍範囲の論理和が指定されたとしてもよい。前記指定画像が重ならないことにより、感覚的に論理和を指定することができる。
【0010】
さらに、前記条件受付手段の別の好適な例として、前記領域において前記指定画像が天地反転した状態で配置された場合、該指定画像の前記近傍範囲の論理否定が指定されたとしてもよい。前記指定画像が反転することにより、感覚的に論理否定を指定することができる。
【0011】
なお、本発明は、画像処理装置のみならず、画像処理装置を構成する各手段が実行する各行程を備える画像処理方法においても実現することができる。さらに、前記手段に相当する機能をコンピューターに実行させる画像処理プログラムにおいても本発明が実現できる。また、本発明の画像処理装置によって検索された画像を印刷する印刷装置においても本発明が実現できる。
【図面の簡単な説明】
【0012】
【図1】コンピューターのハードウェア構成を示すブロック図である。
【図2】コンピューターのソフトウェア構成を示すブロック図である。
【図3】画像検索処理の流れを示すフローチャートである。
【図4】検索条件を受け付けるためのUI画面を示す図である。
【図5】クエリーテーブルおよび特徴量空間を示す図である。
【図6】変形例におけるUI画面を示す図である。
【図7】変形例におけるUI画面を示す図である。
【図8】変形例におけるUI画面を示す図である。
【図9】変形例におけるUI画面を示す図である。
【発明を実施するための形態】
【0013】
1.画像処理装置の構成
2.画像検索処理の流れ
3.変形例
【0014】
1.画像処理装置の構成
図1は、本発明の画像処理装置を具体的に実現するコンピューターの一例の構成を示している。同図において、コンピューター10はCPU11とRAM12とROM13とハードディスクドライブ(HDD)14と汎用インターフェイス(GIF)15とビデオインターフェイス(VIF)16と入力インターフェイス(IIF)17とバス18とから構成されている。バス18は、コンピューター10を構成する各要素11〜17の間でのデータ通信を実現するものであり、図示しないチップセット等によって通信が制御されている。HDD14には、オペレーティングシステム(OS)を含む各種プログラムを実行するためのプログラムデータ14aが記憶されており、当該プログラムデータ14aをRAM12に展開しながらCPU11が当該プログラムデータ14aに準じた演算を実行する。
【0015】
また、HDD14には、デジタルスチルカメラやスキャナによって画像入力された多数の画像データIDと、画像検索の際に生成される特徴量テーブルT1とクエリーテーブルT2が記憶されている。GIF15は、例えばUSB規格に準じたインターフェイスを提供するものであり、外部のプリンター20をコンピューター10に接続させている。VIF16はコンピューター10を外部のディスプレイ40に接続し、ディスプレイ40に画像を表示するためのインターフェイスを提供する。IIF17はコンピューター10を外部のキーボード50aとマウス50bに接続し、キーボード50aとマウス50bからの入力信号をコンピューター10が取得するためのインターフェイスを提供する。
【0016】
図2は、コンピューター10において実行されるプログラムのソフトウェア構成を示している。同図において、オペレーティングシステム(OS)と画像検索アプリケーションP1とプリンタードライバーP2が実行されている。OSは各プログラム間のインターフェイスを提供し、プリンタードライバーP2はプリンター20を制御するための処理を実行する。画像検索アプリケーションP1は、条件受付部P1aと特徴量算出部P1bと領域特定部P1cと検索部P1dとから構成されている。画像検索アプリケーションP1を構成する各モジュールP1a〜P1dが実行する処理の詳細については後述する画像検索処理の流れとともに説明する。
【0017】
2.画像検索処理の流れ
図3は、画像検索処理の流れを示している。ステップS100においては、検索条件を受け付けるためのUI画面をディスプレイ40に表示させる。条件受付部P1aは、UI画面に対応する画像データを生成し、該画像データをVIF16に出力する。
【0018】
図4は、検索条件を受け付けるためのUI画面を示している。UI画面においては、検索範囲エクスプローラーE1とクエリー指定領域A1と一覧領域A2と検索結果表示領域A3と印刷実行ボタンB1と検索条件保存ボタンB2と検索条件読込ボタンB3とが設けられている。検索範囲エクスプローラーE1においては、HDD14に形成されたフォルダを一覧化されるとともに、各フォルダに対応するチェックボックスが設けられている。このチェックボックスがチェックされたフォルダに属する画像データIDが検索の対象とされる。クエリー指定領域A1は矩形状の領域であり、初期において所定色のベタ画像とされる。一覧領域A2は、検索範囲エクスプローラーE1に隣接して設けられており、検索範囲エクスプローラーE1においてチェックされたフォルダに属する画像データIDのサムネイルSを並べて表示する。検索結果表示領域A3も矩形状の領域であり、初期において所定色のベタ画像とされる。
【0019】
ステップS110において、条件受付部P1aは、UI画面に対するマウス50bの操作を検出し、いずれかの操作が検出されるまで待機する。ステップS110において、いずれかの操作が検出されると、該操作が検索範囲エクスプローラーE1に対する操作であるか否かを判定する(ステップS120)。検索範囲エクスプローラーE1に対する操作であれば、ステップS130において、チェックボックスがチェックされているフォルダに属する画像データIDのサムネイルSを取得し、該取得したサムネイルSを一覧領域A2において並べて表示する。これにより、ユーザーは、検索範囲として指定したフォルダに属する画像データIDが示す画像の概要を把握することができる。
【0020】
ステップS140において、特徴量算出部P1bは検索範囲として指定したフォルダに属する各画像データIDについての複数の特徴量を算出する。特徴量は、数値化することが可能な指標であればよく、例えば、各画像データIDが示す画像の明るさやコントラストやエッジ量や色数等の基本的な特徴量を算出しもよい。また、画像全体についての基本的な特徴量を算出するのに限らず、例えば画像の特定領域に関する特徴量を算出するようにしてもよい。さらに、各画像データIDについて顔検出を行い、その結果に基づく特徴量を算出するようにしてもよい。さらに、画像から得られる特徴量に限られず、画像データIDに添付された撮影時刻等の添付情報を特徴量としてもよい。本実施例では、3種類以上の特徴量を算出し、3次元以上の特徴量空間が形成できるようにする。また、各特徴量のレンジが0〜100となるように、各特徴量が正規化されるものとする。ステップS145においては、検索範囲内の各画像データIDのファイル名と、各画像データIDの各特徴量を特徴量テーブルT1に対応付けて記憶する。
【0021】
検索範囲エクスプローラーE1に対する操作は、複数回受け付けられる場合も考えられるが、2回目以降の操作は、フォルダのチェックを追加したり取り消したりする操作となる。検索範囲のフォルダのチェックが追加された場合には、追加されたフォルダに属する画像データIDについてのみステップS140を実行し、特徴量テーブルT1に追記すれば足りる。一方、検索範囲のフォルダのチェックが取り消された場合には、取り消されたフォルダに属する画像データIDについての情報を特徴量テーブルT1から削除すればよい。UI画面に対するマウス50bの操作が検索範囲エクスプローラーE1に対する操作でなかった場合には、該操作がサムネイルSのいずれかを一覧領域A2からドラッグし、クエリー指定領域A1のいずれかの位置にドロップ(配置)したものであるか否かを判定する(ステップS150)。
【0022】
すなわち、一覧領域A2に表示されたいずれかのサムネイルSをクエリー指定領域A1に移動させる操作が行われたか否かが判定される。ここで、位置とは、ドロップされたときのサムネイルSの重心位置とする。クエリー指定領域A1にドロップされているサムネイルSに対応する画像データIDをクエリー画像SCと表記する。なお、クエリー画像は本発明の指定画像に相当する。ステップS160では、クエリー指定領域A1にドロップされたサムネイルSに対応するクエリー画像SCについての反転指定値aと順序指定値bと近傍範囲指定値cをそれぞれデフォルト値に設定する。反転指定値aは、非反転を示す“0”、または、反転を示す“1”のいずれかの値をとり、デフォルト値は“0”とされる。順序指定値bのデフォルト値は、クエリーテーブルT2にすでに登録され、かつ、反転指定値aが“0”となっているサムネイルSの数に1を加えた自然数とされる。すなわち、順序指定値bは、クエリーテーブルT2において反転指定値aが“0”となっている画像データIDに順次割り振られる連番である。
【0023】
近傍範囲指定値cは、0〜80までの値をとり、デフォルト値は“40”とされる。ステップS170においては、ドロップされたサムネイルSに対応するクエリー画像SCのファイル名とドロップされた位置を取得し、該画像データIDについての情報(ファイル名、位置、反転指定値aと順序指定値bと近傍範囲指定値c)をクエリーテーブルT2に登録させる。ステップS175においては、ドラッグ&ドロップされたサムネイルSに対応するクエリー画像SCについての順序指定値bをクエリーテーブルT2に登録する。
【0024】
ステップS180においては、ステップS110にて検出した操作がサムネイルSのいずれかをクエリー指定領域A1内においてドラッグ&ドロップしたものであるか否かを判定する。すなわち、いずれかのサムネイルSをクエリー指定領域A1内において移動させる操作が行われたか否かが判定される。ステップS190では、クエリー指定領域A1内において移動させられたサムネイルSに対応するクエリー画像SCの位置をクエリーテーブルT2にて更新する。すでにクエリー指定領域A1内に存在しているサムネイルSをドラッグしているため、当該サムネイルSに対応するクエリー画像SCについての情報は予めクエリーテーブルT2に登録されている(ステップS170)こととなる。そのため、すでにクエリーテーブルT2に登録されている画像データIDの位置を、ドロップの位置で更新する。
【0025】
ステップS200においては、ステップS110にて検出した操作がサムネイルSのいずれかをクエリー指定領域A1からドラッグし、一覧領域A2にドロップしたものであるか否かを判定する。すなわち、クエリー指定領域A1に表示されたいずれかのサムネイルSを一覧領域A2に移動させる操作が行われたか否かが判定される。ステップS210では、クエリー画像SCから除外されたとして、一覧領域A2にドロップされたサムネイルSに対応するクエリー画像SCについての情報をクエリーテーブルT2から削除する。削除された画像データIDの反転指定値aが“0”であった場合には、いずれかの順序指定値bが割り振られているため、該順序指定値bよりも大きい順序指定値bを有する画像データIDについては順序指定値bを1ずつデクリメントする。
【0026】
ステップS220においては、ステップS110にて検出した操作がクエリー指定領域A1内のサムネイルSに付随して表示された近傍範囲スライダーs1のポインタpに対するドラッグ&ドロップであるか否かを判定する。近傍範囲スライダーs1のポインタpに対するドラッグ&ドロップである場合には、ステップS230においてポインタpがドロップされた位置を取得し、当該位置によってサムネイルSに対応するクエリー画像SCの近傍範囲指定値cを更新する。図4に示すように、近傍範囲スライダーs1は、左端が近傍範囲指定値cの0に対応付けられ、中央が近傍範囲指定値cの40に対応付けられ、右端が近傍範囲指定値cの80に対応付けられたスライダーである。ユーザーは、近傍範囲スライダーs1の任意の位置においてポインタpをドロップすることにより、所望の近傍範囲指定値cを指定することができる。
【0027】
ステップS240においては、ステップS110にて検出した操作がクエリー指定領域A1内のサムネイルSに付随して表示された反転ボタンs2に対するクリック操作であるか否かを判定する。反転ボタンs2に対するクリック操作である場合には、クエリーテーブルT2において、クリック操作された反転ボタンs2が付随するサムネイルSに対応するクエリー画像SCの反転指定値aを更新する(ステップS250)。ここでは、現在の反転指定値aが“0”であれば“1”に更新し、“1”であれば“0”に更新する。“1”に更新した場合には、該クエリー画像SCについて順序指定値bを新たに割り振る。すなわち、クエリーテーブルT2にすでに登録され、かつ、反転指定値aが“0”となっているクエリー画像SCの数に1を加えた順序指定値bが付与される。一方、“0”に更新した場合には、該画像データIDについての順序指定値bを削除するとともに、該順序指定値bよりも大きい順序指定値bを有する画像データIDについては順序指定値bを1ずつデクリメントする。
【0028】
ステップS260においては、ステップS110にて検出した操作がクエリー指定領域A1内のサムネイルSに付随して表示された重視ボタンs3または非重視ボタンs4に対するクリック操作であるか否かを判定する。重視ボタンs3に対するクリック操作である場合には、クエリーテーブルT2において、操作された重視ボタンs3が付随するサムネイルSに対応するクエリー画像SCの順序指定値bを1だけデクリメントする(ステップS270)。すなわち、もとの順序指定値bがnであった場合、順序指定値bを(n−1)とする。同時に、順序指定値bが(n−1)であったサムネイルSに対応するクエリー画像SCについては順序指定値bをnにインクリメントする。一方、非重視ボタンs4に対するクリック操作である場合には、クエリーテーブルT2において、操作された非重視ボタンs4が付随するサムネイルSに対応するクエリー画像SCの順序指定値bを1だけインクリメントする(ステップS280)。もとの順序指定値bがnであった場合、順序指定値bを(n+1)とし、同時に、順序指定値bが(n+1)であったサムネイルSについては順序指定値bをnにデクリメントする。なお、図4に示すように順序指定値bは各サムネイルSに付随して(左上隅に重畳して)表示されている。
【0029】
以上説明したように、ステップS110〜S280においては、各操作を検出し、各操作に応じて特徴量テーブルT1またはクエリーテーブルT2が更新される。特徴量テーブルT1またはクエリーテーブルT2が更新されると、ステップS290において、領域特定部P1cが特徴量空間において検索領域を特定する。
【0030】
図5AはクエリーテーブルT2の例を示し、図5B,5Cは特徴量空間において検索領域が特定される様子を模式的に示している。図示の簡略化のため図5Bは、2次の特徴量平面を示している。クエリーテーブルT2においては、クエリー要素として3個の画像データID(クエリー画像SC1,SC2,SC3)が登録されている。まず、特徴量テーブルT1を参照して、クエリー画像SC1,SC2,SC3の特徴量を取得し、該特徴量が示す特徴座標C1,C2,C3を特徴量空間にプロットする。次に、クエリーテーブルT2を参照して、クエリー画像SC1,SC2,SC3の近傍範囲指定値cを取得し、特徴座標C1,C2,C3からの距離がそれぞれ近傍範囲指定値c以内となる領域を特定する。距離は特徴量空間におけるユークリッド距離を使用すればよい。図5Bでは、特徴座標(●で図示)を中心とし、直径が近傍範囲指定値cとなる円の内側の領域が特定されることとなる。これらの円によって確定される集合を集合G1,G2,G3と表記するものとする。
【0031】
次に、クエリー画像SC1,SC2,SC3のうち反転指定値aが“1”となっているものをクエリーテーブルT2から特定する。そして、反転指定値aが“1”となっているクエリー画像SC1,SC2,SC3についての集合G1,G2,G3について論理否定が指定されたものとする。図4,5Aの例では、クエリー画像SC1についての反転指定値aが“1”となっており、集合G1に論理否定が指定されたものとされる。次に、クエリー画像SC1,SC2,SC3に対応するサムネイルSが重なっているか否かを特定する。クエリー画像SC1,SC2,SC3に対応するサムネイルSのクエリー指定領域A1における位置関係は、図4に示すものとする。サムネイルSが重なっている場合には、重なったサムネイルSに対応する画像データIDに関する検索領域同士の論理積が指定されているものとする。一方、サムネイルSが重なっていない場合には、重なっていないサムネイルSに対応する画像データIDに関する検索領域同士の論理和が指定されているものとする。なお、本実施例では、サムネイルSが重なっていなければ論理和が指定されることとしたが、サムネイルS同士が重なることなく接している場合に論理和が指定されるようにしてもよい。以上により、図4に示す位置関係および図5AのクエリーテーブルT2に基づいて下記の(1)式の論理式を得ることができる。
【0032】
【数1】
前記(1)式に示すように、集合G1は、論理否定となっている。クエリー画像SC1,SC2のサムネイルS同士が重なっているため、集合G1と集合G2との間で論理積がとられている。さらに、クエリー画像SC3のサムネイルSはいずれのサムネイルSとも重なっていないため、集合G3については論理和がとられている。論理式は、クエリー指定領域A1において左側に配置されたサムネイルSから順に作成されることとする。以上のようにして論理式が作成できると、該論理式に基づいて検索領域を特定する。この検索領域の特定は、通常の計算規則に則った計算順序で行えばよい。すなわち、まず論理否定に基づく領域を特定し、その後、論理積に基づく領域を特定し、最後に論理和に基づく領域を特定すればよい。同一の論理記号が複数ある場合には、左側から順に特定すればよい。
【0033】
図5Cは、最終的に特定された検索領域をハッチングによって示している。本例では、クエリー画像SC2,SC3に類似する特徴を有し、かつ、クエリー画像SC1とは類似しないような領域が検索領域として特定されることとなる。以上のように領域特定部P1cが検索領域を特定すると、検索部P1dは、ステップS300において特徴量テーブルT1を参照しつつ特徴量空間において該検索領域に属する画像データIDを検索する。特徴量テーブルT1においては、検索範囲の画像データIDのすべてについて特徴量が記憶されているため、該特徴量が検索領域に属するか否かを判定していくことができる。ステップS310においては、検索された各画像データIDについて適合指数Xを算出する。適合指数Xは、値が小さければ小さいほどユーザーの指定した検索条件にマッチした画像データIDであることを表す指数であり、下記の(2)式によって算出される。
【数2】
【0034】
前記の(2)式において、Ubは、クエリーテーブルT2において反転指定値aが“0”となっている画像データIDと、検索された画像データIDとの特徴量空間における距離を示している。クエリーテーブルT2において反転指定値aが“0”となっている画像データIDのそれぞれに対して順序指定値bが割り振られているため、順序指定値bの下付文字によって距離Ubを識別する。前記の(2)式において、検索されたある画像データIDについての適合指数Xは、クエリーテーブルT2において反転指定値aが“0”となっている各画像データIDとの距離Ubを、順序指定値bの逆数によって重み付け、線形結合した値とされている。順序指定値bが小さいほど距離Ubの重みが大きくなり、順序指定値bが小さいほど適合指数Xへの寄与が大きくなる。検索された各画像データIDについて適合指数Xが算出できると、検索された各画像データIDを適合指数Xの昇順にソートする(ステップS320)。
【0035】
ステップS330において、条件受付部P1aは、検索結果表示領域A3において、検索された各画像データIDのサムネイルSをソートした順序で並べて表示するようにUI画面を更新し、クエリー指定領域A1におけるサムネイルSの表示状態も更新する。具体的には、図4に示すように、反転指定値aが“0”の画像データIDを示すサムネイルSについてはクエリー画像SCの本来の方向で表示させ、反転指定値aが“1”の画像データIDを示すサムネイルSについてはクエリー画像SCの本来の方向から180°天地反転させて表示させる。従って、反転指定値aに変動があった場合には、クエリー指定領域A1におけるサムネイルSの表示方向が反転することとなる。また、順序指定値bに変動があった場合には、サムネイルSに付随する順序指定値bの表示も更新させる。以上のようにUI画面を更新すると、リターンする。すなわち、更新したUI画面を表示させ、さらなる操作を受け付ける。
【0036】
以上説明したループ処理(ステップS110〜S330)を実行することにより、ユーザーのマウスの操作を監視し、該操作に応じてUI画面の検索結果表示領域A3に検索結果として表示されるサムネイルSを更新することができる。従って、ユーザーはUI画面において各指定項目を再指定しながら、より好ましい検索結果を得ることができる。また、上述したUI画面によれば直感的な操作で画像の検索を行うことができる。まず、ユーザーが一覧領域A2から検索したいと思う画像に類似する画像データIDのサムネイルSを選び、クエリー指定領域A1にドラッグ&ドロップすることができる。例えば、花の写真を検索したい場合、花が撮影されたいずれかの写真をクエリー指定領域A1にドロップすればよい。サムネイルSをドロップした段階で、該ドロップが検出され、サムネイルSに特徴量が類似する画像データIDのサムネイルSが検索結果として検索結果表示領域A3に表示されることとなる。検索結果として表示されるサムネイルSが多すぎたり、あまり似ていない画像データIDが検索された感じられた場合には、ユーザーは近傍範囲スライダーs1のポインタpをドラッグ&ドロップして検索範囲を狭めることができる。逆に、検索結果として表示されるサムネイルSが少なすぎた場合には、ユーザーは近傍範囲スライダーs1のポインタpをドラッグ&ドロップして検索範囲を広げることができる。
【0037】
また、クエリー指定領域A1にドロップし、該サムネイルSに付随する反転ボタンs2をクリックすることにより、該サムネイルSが示すクエリー画像SCの近傍範囲について論理否定を指定することができる。従って、ユーザーが検索したくない系統の画像を容易に指定することができる。付随する反転ボタンs2がクリックされたサムネイルSに対応するクエリー画像SCについては、反転指定値aが“1”となり、UI画面の表示を更新する際に、天地反転させられることなる。従って、ユーザーは、論理否定を指定したことを感覚的に認知することができる。さらに、単一のサムネイルSだけでなく複数のサムネイルSを一覧領域A2からクエリー指定領域A1にドラッグ&ドロップすることができる。複数のサムネイルSをクエリー指定領域A1にドロップした場合、サムネイルS同士を重ねるか重ねないかによって、論理積か論理和を指定することができる。従って、より複雑な検索を行うことができるとともに、論理積と論理和を感覚的に指定することができる。さらに、各画像データIDについて近傍範囲指定値cを指定することができるため、満足度の高い検索結果を得ることができる。
【0038】
検索された画像データIDのサムネイルSは、適合指数Xの小さい順にソートされて表示されることとなる。すなわち、指定した検索条件にマッチする度合いが高い順にソートされて表示されることとなる。この適合指数Xは、クエリー指定領域A1において論理否定が指定された以外のサムネイルSに対応するクエリー画像SCに類似するほど小さくなる傾向を示す。そして、論理否定が指定された以外のサムネイルSが複数存在する場合には、順序指定値bが小さい画像データIDに対する類似度(距離Ub)が重視される。この順序指定値bは、基本的にクエリー指定領域A1にドロップされたのが早いサムネイルSほど小さい傾向を有する。最も重要視するサムネイルSを早期にドラッグ&ドロップすると考えられ、そのようなサムネイルSが示す画像データIDに対する類似度(距離Ub)を重視することができる。また、前記基本的な傾向を維持しつつも、順序指定値bは重視ボタンs3と重視ボタンs4のクリックによって任意に調整することができるため、後発的に重要なサムネイルSが指定された場合でも対応することができる。
【0039】
最終的にユーザーが満足できる検索結果が得られれば、ユーザーは印刷実行ボタンB1をクリックし、検索された画像データIDを印刷させることができる(ステップS340,S345)。ステップS345では、プリンタードライバーP2が検索された画像データIDに対して色変換処理やハーフトーン処理やラスタライズ処理を順次実行し、処理後のデータをプリンター20に出力する。これにより、検索された画像データIDをプリンター20にて印刷させることができる。適合指数Xはユーザーが希望した検索条件にマッチする度合いであるため、各画像データIDの適合指数Xに応じて各画像データIDの印刷条件を設定してもよい。例えば、適合指数Xが小さいほど、画質重視の印刷条件を設定してもよい。また、検索条件保存ボタンB2のクリックが検出されると、検索に使用した検索条件(クエリーテーブルT2)をHDD14に記憶する(ステップS350,S360)。これにより、ユーザーは、好ましい検索結果が得ることが可能な検索条件を登録しておくことができる。残る操作は検索条件読込ボタンB3のクリックのみであるため、検索条件読込ボタンB3がクリックされたと認識する(ステップS370)。そして、検索に使用した検索条件(クエリーテーブルT2)をHDD14から読み出し、該クエリーテーブルT2に準じて検索を行い、UI画面を更新させることができる(ステップS380,S290〜S330)。
【0040】
3.変形例
3−1.変形例1
前記実施例では、検索範囲が指定された段階で、該検索範囲に属する画像データIDについて特徴量を算出し、特徴量テーブルT1に格納するようにしたが、予め各画像データIDの特徴量を格納したデータベースを用意しておき、画像検索処理の際に該データベースを参照するようにしてもよい。例えば、HDD14に画像データIDが記憶された段階で、画像データIDの特徴量を算出し、データベースに格納しておくようにしてもよい。このようにすることにより、画像検索処理を高速に行うことができる。なお、所定の操作がなされた場合にクエリー指定領域A1が示す画像を印刷するようにしてもよい、クエリー指定領域A1におけるサムネイルSの配置は検索条件を表しているため、検索条件の記録として活用することができる。
【0041】
3−2.変形例2
図6は、変形例にかかるUI画面を示している。本変形例でも、クエリー指定領域A1にサムネイルSが表示されるが、近傍範囲スライダーs1が設けられていない。その代わりに、各サムネイルS隅部をドラッグ&ドロップすることにより、サムネイルSの表示サイズを調整することが可能となっている。近傍範囲指定値cは、サムネイルSの表示サイズに対応しており、サムネイルSを拡大するほど近傍範囲指定値cを広く指定することができる。さらに、本変形例では、反転指定値aが“1”の画像データIDを示すサムネイルSを天地反転させるのではなく、グレーアウトさせるようにしている。このような手法によっても、論理否定を指定したことを感覚的に認知させることができる。
【0042】
3−3.変形例3
図7は、変形例にかかるUI画面を示している。同図においては、一覧領域A2の中に、検索範囲に属する画像データIDのサムネイルSと、テキストボックスTが表示されている。ユーザーは、テキストボックスTをクリックし、キーボード50aを操作することにより、テキストボックスTにキーワードを入力することができる。テキストを入力し、クエリー追加ボタンB4をクリックすると、テキストを表示したテキストサムネイルSTが生成され、該テキストサムネイルSTがクエリー指定領域A1に配置される。テキストサムネイルSTは、他のサムネイルSと同様にクエリー指定領域A1の内外へドラッグ&ドロップすることができる。また、テキストサムネイルSTを他のサムネイルSやテキストボックスTと重ねる/重ねないことにより、論理積/論理和を指定することができる。このようにすることにより、キーワードによっても検索条件を指定することができる。本発明では、特徴量空間における特徴量に基づいて検索を行うため、テキストボックスTについての特徴量も必要となる。
【0043】
そこで、本変形例では、典型画像データベースをHDD14に予め用意しておく。典型画像データベースは、キーワードと、該キーワードが示す典型的な画像から得られた特徴量との対応関係が記憶されており、検索部P1dは典型画像データベースを参照してテキストボックスTに入力されたキーワードに対応する特徴量を使用する。これにより、他のサムネイルSと同様に、特徴量に基づく検索を行うことができる。
【0044】
3−4.変形例4
図8は、変形例にかかるUI画面を示している。本変形例でも、クエリー指定領域A1にサムネイルSが表示されるが、近傍範囲スライダーs1が設けられていない。一方、特徴量空間表示領域A4が追加されている。特徴量空間表示領域A4においては、クエリー指定領域A1のサムネイルSに対応するクエリー画像SCの特徴量がプロットされるとともに、その周囲に近傍範囲の外縁eが図示されている。ユーザーは、外縁eをドラッグ&ドロップすることにより、近傍範囲指定値cを調整することができる。このようにすることにより、視覚的に複数の近傍範囲が重なるか否かを判断することができる。
【0045】
3−5.変形例5
図9は、変形例にかかるUI画面を示している。本変形例では、クエリー指定領域A1において、上部にタブT1〜T3を有するフォルダFが表示されている。タブT1をクリックするとフォルダFに論理積記号が表示され、タブT2をクリックするとフォルダFに論理和記号が表示され、タブT3をクリックするとフォルダFに論理否定記号が表示される。フォルダFにおいて論理積記号および論理和記号が表示された状態において、一対のサムネイルSを一覧領域A2からフォルダF上にドラッグ&ドロップすることが可能となっている。これにより、一対のサムネイルSに対応するクエリー画像SC同士の間で、論理積および論理和を指定することができる。さらに、フォルダFにおいて論理否定記号が表示された状態において、1個のサムネイルSを一覧領域A2からフォルダF上にドラッグ&ドロップすることが可能となっている。これにより、サムネイルSに対応するクエリー画像SCについて、論理否定を指定することができる。
【0046】
3−6.変形例6
上述した実施例では、コンピューター上において本発明の画像処理を実行することとしたが、本発明の画像処理をプリンター(印刷装置)上で実行するようにしてもよい。すなわち、プリンターが備えるCPU上にて本発明の画像処理が実行されてもよい。
【符号の説明】
【0047】
10…コンピューター、11…CPU、12…RAM、13…ROM、14…HDD、15…GIF、16…VIF、17…IIF、18…バス、P1a…条件受付部、P1b…特徴量算出部、P1c…領域特定部、P1d…検索部、P2…プリンタードライバー。
【特許請求の範囲】
【請求項1】
表示画面において指定画像が配置可能な領域を表示させ、該領域に配置された前記指定画像の位置に応じて論理式の指定を受け付ける条件受付手段と、
特徴量空間において特定される前記指定画像の特徴量を算出する特徴量算出手段と、
前記指定画像の特徴量と前記論理式に基づいて、前記特徴量空間における検索領域を特定する領域特定手段と、
特徴量が前記検索領域に属する画像を検索する検索手段とを具備することを特徴とする画像処理装置。
【請求項2】
前記条件受付手段は、前記指定画像について前記特徴量空間における近傍範囲の大きさの指定を受け付け、
前記領域特定手段は、指定された大きさの前記近傍範囲に基づき前記検索領域を特定することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記条件受付手段は、前記検索手段が検索した画像を表示しつつ、前記指定画像と前記論理式の再指定を受け付けることを特徴とする請求項1または請求項2のいずれかに記載の画像処理装置。
【請求項4】
前記条件取得手段は、キーワードの指定を受け付け、該指定されたキーワードに対応付けられた画像を前記指定画像として取得することを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記条件受付手段は、
前記領域において複数の前記指定画像が重なって配置された場合、これらの指定画像についての論理積が指定されたとし、
前記領域において、複数の前記指定画像が重なることなく配置された場合、これらの指定画像についての論理和が指定されたとすることを特徴とする請求項1から請求項4のいずれか一項に記載の画像処理装置。
【請求項6】
前記条件受付手段は、
前記領域において前記指定画像が天地反転した状態で配置された場合、該指定画像についての論理否定が指定されたとすることを特徴とする請求項4または請求項5のいずれかに記載の画像処理装置。
【請求項7】
表示画面において指定画像が配置可能な領域を表示させ、該領域に配置された前記指定画像の位置に応じて論理式の指定を受け付ける条件受付手段と、
特徴量空間において特定される前記指定画像の特徴量を算出する特徴量算出手段と、
前記指定画像の特徴量と前記論理式に基づいて、前記特徴量空間における検索領域を特定する領域特定手段と
特徴量が前記検索領域に属する画像を検索する検索手段と、
前記検索された画像を印刷する印刷手段とを具備することを特徴とする印刷装置。
【請求項1】
表示画面において指定画像が配置可能な領域を表示させ、該領域に配置された前記指定画像の位置に応じて論理式の指定を受け付ける条件受付手段と、
特徴量空間において特定される前記指定画像の特徴量を算出する特徴量算出手段と、
前記指定画像の特徴量と前記論理式に基づいて、前記特徴量空間における検索領域を特定する領域特定手段と、
特徴量が前記検索領域に属する画像を検索する検索手段とを具備することを特徴とする画像処理装置。
【請求項2】
前記条件受付手段は、前記指定画像について前記特徴量空間における近傍範囲の大きさの指定を受け付け、
前記領域特定手段は、指定された大きさの前記近傍範囲に基づき前記検索領域を特定することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記条件受付手段は、前記検索手段が検索した画像を表示しつつ、前記指定画像と前記論理式の再指定を受け付けることを特徴とする請求項1または請求項2のいずれかに記載の画像処理装置。
【請求項4】
前記条件取得手段は、キーワードの指定を受け付け、該指定されたキーワードに対応付けられた画像を前記指定画像として取得することを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記条件受付手段は、
前記領域において複数の前記指定画像が重なって配置された場合、これらの指定画像についての論理積が指定されたとし、
前記領域において、複数の前記指定画像が重なることなく配置された場合、これらの指定画像についての論理和が指定されたとすることを特徴とする請求項1から請求項4のいずれか一項に記載の画像処理装置。
【請求項6】
前記条件受付手段は、
前記領域において前記指定画像が天地反転した状態で配置された場合、該指定画像についての論理否定が指定されたとすることを特徴とする請求項4または請求項5のいずれかに記載の画像処理装置。
【請求項7】
表示画面において指定画像が配置可能な領域を表示させ、該領域に配置された前記指定画像の位置に応じて論理式の指定を受け付ける条件受付手段と、
特徴量空間において特定される前記指定画像の特徴量を算出する特徴量算出手段と、
前記指定画像の特徴量と前記論理式に基づいて、前記特徴量空間における検索領域を特定する領域特定手段と
特徴量が前記検索領域に属する画像を検索する検索手段と、
前記検索された画像を印刷する印刷手段とを具備することを特徴とする印刷装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【公開番号】特開2010−250426(P2010−250426A)
【公開日】平成22年11月4日(2010.11.4)
【国際特許分類】
【出願番号】特願2009−96981(P2009−96981)
【出願日】平成21年4月13日(2009.4.13)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
【公開日】平成22年11月4日(2010.11.4)
【国際特許分類】
【出願日】平成21年4月13日(2009.4.13)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
[ Back to top ]