画像検索装置および画像検索方法
【課題】画像表示中に容易な操作を行うことで画像検索を容易にできるようにする。
【解決手段】入力された画像を表示する表示手段と、前記表示手段をユーザがタッチすることにより、前記画像中の領域を選択する選択手段と、前記選択手段により選択された領域に含まれる人物または物に基づいて画像の検索を行う検索手段とを設け、前記検索手段は、前記選択手段により領域が選択された後のユーザのタッチ操作に応じて、画像の検索の条件を決定するようにする。
【解決手段】入力された画像を表示する表示手段と、前記表示手段をユーザがタッチすることにより、前記画像中の領域を選択する選択手段と、前記選択手段により選択された領域に含まれる人物または物に基づいて画像の検索を行う検索手段とを設け、前記検索手段は、前記選択手段により領域が選択された後のユーザのタッチ操作に応じて、画像の検索の条件を決定するようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像検索装置および画像検索方法に関し、特に、画像表示装置に表示中の画像とは異なる画像を表示させるために用いて好適な技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等で撮影した画像を保存するメモリカードの大容量化に伴い、ユーザは撮影した画像をメモリカードから削除せずに、そのままにしておくことがよくある。これらの結果、メモリカード内には、大量の画像ファイルが存在することとなり、プリンタ等で任意の画像を印刷したい場合などには、所望の画像を見つけるのに時間がかかってしまうという問題があった。
【０００３】
前述のような理由により、従来例として、プリンタに画像検索機能を搭載し、手書き入力された情報に基づいて、画像を検索する画像入力装置が提案されている（特許文献１参照）。
【０００４】
特許文献１にて提案されている画像入力装置の場合は、例えば、太陽、山、川などのシンボルからなる画像情報を、検索画像としてペンで入力する。そして、各シンボルのうち、検索上最も重要なシンボル（例えば、山）を太い線にする。この場合、太い線で指定したシンボル図形を基準にして画像の検索が行われる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−０３９３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１の画像入力装置の場合は、ユーザは画像の検索を行うために、検索条件をあらかじめ登録したり、検索釦等などを押したりする面倒な操作を行う必要があり、ユーザを煩わせていた。
本発明は前述の問題点に鑑み、画像表示中に容易な操作を行うことで画像検索を容易にできるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像検索装置は、入力された画像を表示する表示手段と、前記表示手段をユーザがタッチすることにより、前記画像中の領域を選択する選択手段と、前記選択手段により選択された領域に含まれる人物または物に基づいて画像の検索を行う検索手段と、を有し、前記検索手段は、前記選択手段により領域が選択された後のユーザのタッチ操作に応じて、画像の検索の条件を決定することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像検索を行う条件を、表示中の画像内で指定した任意領域より抽出し、画像送りを行った場合に該当する情報が含まれる画像のみを表示するようにしたので、対象となる画像のみを検索して表示させることができる。
また、本発明の他の特徴によれば、表示中の画像内の検索条件画像指定手順にて画像検索条件の抽出と決定とを行い、画像検索条件に該当する情報が含まれる画像のみを検索し表示させることができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像検索装置の構成例を説明するブロック図である。
【図２】印刷する画像を選択する際の画像選択処理を示したフローチャートである。
【図３】画像送り等の画像選択に関する操作の一例を説明する図である。
【図４】画像情報解析処理および画像検索処理を説明するフローチャートである。
【図５】画像検索結果表示について説明するフローチャートである。
【図６】画像表示装置に表示する例を示す図である。
【図７】第２の実施形態を示し、画像選択処理を示したフローチャートである。
【図８】第２の実施形態を示し、操作の一例を説明する図である。
【図９】第２の実施形態を示し、操作の一例を説明する図である。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
以下に、図１を参照して本発明を実施するための最良の形態について詳細に説明する。尚、以下に説明する画像検索装置をプリンタに適用した例は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、本実施形態では取り扱う画像データの一例としてＪＰＥＧ形式としているが画像データフォーマットについても実施の形態に限定されるものではない。
【００１１】
図１において、１０１は電源装置であって、本実施形態のプリンタ（印刷装置１１７）全体に電源の供給を行う。１０２は各種メモリカードをセットするカードリーダであって、メモリカードに記録された画像データを読み出すことができる。１０３は通信部であって、デジタルカメラと接続を行うことによってデジタルカメラから送信される画像データの受信を行うことができる。なお、本実施形態では取り扱う画像データはＪＰＥＧ形式であるものとする。
【００１２】
１０４はＩＯ制御部であって、通信部１０３とカードリーダ１０２のどちらを有効にするか判断する。また、同時に有効にならないように排他制御を行う。１０５は不揮発性メモリ（ＲＯＭ）であって、プリンタを制御するプログラムや、プリンタを操作するためのメニュー画像データなどが収められている。
【００１３】
１０６はプリンタ全体を制御するシステム制御部であって、ＲＯＭ１０５に収められているプログラムに沿ってプリンタ全体の制御を行う。また、後述するタッチパネル操作部１１２に描かれた図形とプリンタの操作処理の対応付けも行う。１０７は揮発性メモリ(ＲＡＭ)であって、ＩＯ制御部１０４を通して通信部１０３またはカードリーダ１０２から読み出した画像データの保持を行ったりする。
【００１４】
１０８は画像処理部であって、ＲＡＭ１０７やＲＯＭ１０５から読み出されたＪＰＥＧ画像の伸張処理やリサイズ、レイアウトの配置などを行う。尚、本実施形態では、伸張処理はＪＰＥＧ形式からＹＵＶ形式への変換とする。１０９は画像表示装置１１０に表示する画像を保持しておくＶＲＡＭ領域であって、画像処理部１０８によってＲＡＭ１０７やＲＯＭ１０５に保持された画像の伸張とリサイズを行う。ＶＲＡＭ領域１０９に保持することにより、入力された任意の画像を画像表示装置１１０に表示することが可能となる。
【００１５】
画像表示装置１１０は、ＶＲＡＭ領域１０９に保持された画像データの読み出しを行って印刷画像の表示や、メニュー画像の表示を行う。また、表示面には後述のタッチパネル操作部１１２が覆われている。１１１は、ＵＩ操作部であって、電源釦や印刷釦が備わっており、釦を操作することにより電源のＯＮ、ＯＦＦや、印刷処理が行える。
【００１６】
１１２は、タッチパネル操作部であって、タッチパネルにタッチペン等で図形を描くことにより、画像送り等の画像選択に関する操作が行える。例えば、図３の３０２のように、描かれた図形がＸ軸方向へ進んだ場合は画像送り操作として扱われる。１１３は、画像検索装置であり、ＵＩ操作部の操作に従って、カードリーダに保存されている画像の各種検索が行われる。
【００１７】
１１４は被写体認証装置であり、システム制御部１０６の命令に従って、画像検索や画像処理を行う際に使用される。１１５は画像補正部であって、ユーザが決めた印刷条件によって画像処理部１０８で作成されたＹＵＶ画像の明るさ、コントラスト、特定近似色パターンなどの各種補正処理を行う。
【００１８】
１１６は印刷画像生成部である。本実施形態での印刷装置１１７は昇華型の熱転写記録方式で、インクシートと用紙が一体になったインクカートリッジを採用する。インクシートは、用紙の印画領域を覆ってそのサイズとほぼ等しいサイズでイエロー(Ｙ)、マゼンタ(Ｍ)、シアン(Ｃ)の各インク層とオーバーコート(ＯＰ)層が並べて設けられたものである。各層ずつ熱転写しては、用紙を記録開始位置に戻し、用紙上に、順次重ねて転写される。
【００１９】
印刷画像生成部１１６では、画像補正部１１５によって補正されたＹＵＶ形式からＹＭＣ形式への変換を行う。また、ここでは、ＹＭＣ変換された画像へ、スタンプや吹き出し、文字列などの合成処理が行われる。印刷装置１１７は、印刷画像生成部１１６において生成されたＹ・Ｍ・Ｃ各色のデータを用いてＹ・Ｍ・Ｃ各インク層を用紙に順次熱転写しては用紙を記録開始位置に戻して全色の印刷を行う。
【００２０】
続いて、第１の実施形態の動作について、図２〜図４を用いて、本実施形態のプリンタの全体動作について説明を行う。この処理は、メモリカードから画像を読み込み、画像表示装置１１０に印刷する画像が表示された場合の動作を示している。
【００２１】
図２は、カードリーダ１０２に挿入されているメモリカードから印刷する画像中の領域を選択する際の画像選択処理を示したフローチャートである。その時の画像表示装置１１０を示したのが図３の３０１であり、選択中の画像が表示される。また、画像表示装置１１０にはタッチパネル操作部１１２が覆われており、ユーザがタッチパネルを操作するタッチ操作を行うことにより、プリンタの操作を行うことが可能となっている。
【００２２】
まず、カードリーダ１０２に挿入されたメモリカードから任意の画像を読み出し、ＲＡＭ１０７へ画像の読み込みを行う（Ｓ２０１）。メモリカードから読み出された画像は画像処理部１０８で画像表示に適したサイズにリサイズされＶＲＡＭ領域１０９に送られる。
【００２３】
次に、画像表示装置１１０の再読み込みを行い、画像表示装置１１０に読み込まれた画像を表示する（Ｓ２０２）。
次に、ＵＩ操作部１１１にある電源ボタンが押されたか否かの判断を、システム制御部１０６で行う（Ｓ２０３）。押されていればプリンタの電源を切る。また、押されていなければ、タッチパネル操作部１１２にて、画像表示装置１１０に描かれた図形の識別をシステム制御部１０６で行う（Ｓ２０４）。
【００２４】
次に、Ｓ２０４で描かれた図形が図３の３０２のような画像送りの操作に対応するものであるか否かを判断する（Ｓ２０５）。画像送り操作であるとＳ２０６へと進み、メモリカードから現在表示されている画像とは別の画像をメモリカードから読み込みを行い、リサイズし、それをＶＲＡＭ領域１０９に送って保持する。その後、Ｓ２０２へ戻り新しい画像の表示が行われる。
【００２５】
Ｓ２０５の判断で、画像送りの操作が行われていないと判断された場合は、システム制御部１０６にて、Ｓ２０４で描かれた図形が、画像表示装置１１０に表示された任意の画像領域を指定する画像領域指定であるか否かを判断する（Ｓ２０７）。ここで、「任意の画像領域指定」とは、例えば、図３の３０３のように円を描いた場合である。
【００２６】
任意の画像領域が指定されていないと判断された場合は、Ｓ２０３へと戻る。Ｓ２０４で描かれた図形を元に被写体認証領域を決定する（Ｓ２０８）。領域の決定方法は、図３の３０４のように、描かれた円を外接する四角形を被写体認証領域とする。次に、Ｓ２０８で決定された被写体認証領域に対応する枠が、図３の３０５のように点線にて画像表示装置１１０に描写される（Ｓ２０９）。
【００２７】
次に、現在時刻の取得がシステム制御部１０６にて行われる（Ｓ２１０）。
次に、再度、現在時刻の取得が行われ、Ｓ２０９で取得された時刻との差分を取ることによりＳ２０４にて任意の領域が指定されてからの経過時間取得を行うための経過時間:Ｔが計測される（Ｓ２１１）。
【００２８】
次に、経過時間：Ｔが予め決められている閾値Ｔｈ＿Ｔよりも所定時間以上経過しているか判断する（Ｓ２１２）。経過していると判断された場合は、Ｓ２０９で画像表示装置１１０に描写された被写体認証領域を消去し（Ｓ２１３）、その後に、Ｓ２０３へと戻る。一方、Ｔｈ＿Ｔよりも時間が経過していないと判断された場合は、再度、タッチパネル操作部１１２にて、画像表示装置１１０に描かれた図形の識別を行う（Ｓ２１４）。
【００２９】
次に、Ｓ２１４で識別された図形が画像送りの操作に対応するものであるか判別をシステム制御部１０６にて行う（Ｓ２１５）。画像送りの図形であると判断された場合は、後述する画像情報解析処理および画像検索（人物検索）処理が行われる（Ｓ２１６）。その後、後述する画像検索結果の表示制御が行われ、処理を終える（Ｓ２１７）。
【００３０】
一方、Ｓ２１５の判断で、画像送りの図形ではないと判断された場合、再度任意の領域が選択されたか否かをシステム制御部１０６にて判断を行う（Ｓ２１８）。選択されたら、画像表示装置１１０に描かれている被写体認証領域３０５を、Ｓ２１４で選択された被写体認証領域に変更し（Ｓ２１９）、その後、Ｓ２２０へと進む。
【００３１】
一方、Ｓ２１８の判断で選択されていなければ、Ｓ２１４で識別された図形が、被写体認識領域指定キャンセル処理であるか否かを判断する（Ｓ２２１）。キャンセル処理であった場合はＳ２１３へ戻り、そうでなかった場合はＳ２２０へと進む。ここで、キャンセル処理とは、例えば図３の３０６のように、描写されている被写体認証領域の上に×印の図形が描かれた場合をキャンセル処理とする。電源ボタンが押されたかの判断を行い（Ｓ２２０）、押されたと判断された場合は、処理を終え、そうでない場合はＳ２１０へと戻る。
【００３２】
次に、図４のフローチャートを用いて、図２のＳ２１６で行なわれる画像情報解析処理および画像検索処理について詳細に説明する。
まず、検索した画像の枚数を示す変数ｎと、後述する検索条件に一致する画像の枚数を示す変数Ｋに０を代入して初期化する（Ｓ４０１）。
次に、Ｓ２０８またはＳ２１９で設定された図３の３０５の被写体認識領域について被写体認識（物体認識）処理を行う（Ｓ４０２）。
【００３３】
次に、Ｓ４０２にて行われた被写体認識処理において、被写体が認識されたか否かを判断する（Ｓ４０３）。被写体が認識されなかった場合は、Ｓ４１２へ進み処理を終了する。認識された場合は、Ｓ４０４へと進む。ここで、Ｓ４０２にて人物Ａが認識（人物認証）されたとする。
次に、カードリーダ１０２に接続されているメモリカードに含まれる枚数：Ｎの取得を行う（Ｓ４０４）。
【００３４】
次に、検索した画像の枚数を示す変数ｎに１が加えられる（Ｓ４０５）。
次に、ｎ枚目の画像がメモリカードからＲＡＭ１０７へと読み込まれる（Ｓ４０６）。次に、ＲＡＭ１０７に読み込まれた画像に対して、被写体認証装置１１４が被写体認証を行う（Ｓ４０７）。
【００３５】
次に、Ｓ４０２で認証された人物ＡがＳ４０６で認識された複数の人物に含まれているか判断する（Ｓ４０８）。含まれている場合はｎ枚目の画像のメモリー内での位置を示すアドレスがＲＡＭ１０７などに保存される（Ｓ４０９）。次に、Ｋに１が加えられ（Ｓ４１０）、ｎ＝Ｎであるか判断する（Ｓ４１１）。ｎ＝Ｎであると判断された場合は、Ｓ４０６へ戻り、そうでない場合はＳ４１２へ進んで処理を終える。
【００３６】
次に、図５のフローチャートを用いて、図２のＳ２１７の画像検索結果表示について説明する。
まず、図４のフローチャートでの変数ｎの値が０であるか判断する（Ｓ５０１）。ここでｎ＝０とは、図４のフローチャートより、Ｓ４０３にて被写体が認識されなかったことを意味する。
【００３７】
ｎ＝０であった場合は、Ｓ５０２へ進み、そうでない場合はＳ５０３へと進む。図６の６０１のように被写体が認識されなかった旨を画像表示装置１１０に表示し、図２のＳ２１３へ戻る（Ｓ５０２）。変数Ｋ＝０であるか判断する（Ｓ５０３）。ここで、変数Ｋ＝０とは、Ｓ４０２にて認識された被写体が、他の画像に映っていなかったことを意味する。
【００３８】
Ｋ＝０であった場合は、図６の６０２のように、一致する被写体が見つからなかった旨を画像表示装置１１０に表示し（Ｓ５０４）、図２のＳ２１３へ戻る。Ｋ＝０でなかった場合は、図６の６０３のように、画像表示装置１１０に人物Ａが映っている画像を表示し処理を終える（Ｓ５０５）。
【００３９】
以上により、画像表示装置１１０に画像表示中に特定の領域を指定してから画像送りを行った場合についてのみ、画像検索を行うようにする。これにより、特定の領域が指定されなかった場合は通常の画像送りになるため、ユーザはメニューを切り替えることなく簡単な操作で画像の検索が可能となる。
【００４０】
また、本実施形態では、図１の画像検索装置１１３にて画像検索処理が行われている例を説明したが、これに限らず、画像検索処理プログラムを図１のＲＯＭ１０５に予め記憶させておき、システム制御部１０６がプログラムに沿って検索処理を行ってもよい。
【００４１】
また、本実施形態では、図１の被写体認証装置１１４にて被写体認証処理が行われている例を説明した。これに限らず、被写体認証処理プログラムを図１のＲＯＭ１０５に予め記憶させておき、システム制御部１０６がプログラムに沿って被写体認証処理を行ってもよい。
【００４２】
また、本実施形態の検索結果表示が図６の６０３のように複数の画像を表示するマルチ表示であったが、これに限らず、図２のＳ２０４またはＳ２１４で実施されるタッチパネルでの操作の形状によって、検索後の結果表示方法を変更してもよい。
【００４３】
例えば、図３の３０２のようなＸ軸方向へ進むような操作であった場合は、図６の６０３のようなマルチ表示を行い、図３の３０７のようなＹ軸方向へ進むような操作であった場合は、図６の６０４のような１枚表示にしてもよい。
以上、説明したように、本実施形態によれば、タッチパネルなどで、ユーザが画像領域を指定して画像送り操作を行うと、その画像領域に含まれる１人の人物を検索して表示することができる。
【００４４】
（第２の実施形態）
続いて、第２の実施形態の動作について、図７〜図９を用いて説明する。本実施形態の処理はメモリカードから画像を読み込み、印刷する画像が画像表示装置１１０に表示された場合の動作を示している。なお、本実施形態の装置構成は、前述した図１と同様であるので、図示および説明を省略する。
【００４５】
図７は、カードリーダ１０２に挿入されているメモリカードから印刷する画像を選択する際の画像選択処理の手順を示したフローチャートである。その時の画像表示装置１１０を示したのが図８の８０１であり、選択中の画像が表示される。また、画像表示装置１１０にはタッチパネル操作部１１２が覆われており、タッチパネルによるプリンタの操作が可能となっている。
【００４６】
まず、カードリーダ１０２に挿入されたメモリカードから任意の画像をＲＡＭ１０７へ読み出す。読み出された画像は、画像処理部１０８で画像表示に適したサイズにリサイズされＶＲＡＭ領域１０９に送られる（Ｓ７０１）。次に、画像表示装置１１０の再読み込みを行い、画像表示装置１１０に読み込まれた画像が表示される（Ｓ７０２）。
【００４７】
次に、ＵＩ操作部１１１にある電源ボタンが押されたか否かの判断をシステム制御部１０６で行い（Ｓ７０３）、押されていればプリンタの電源を切る。押されていなければ、タッチパネル操作部１１２にて、画像表示装置１１０に描かれた図形の識別をシステム制御部１０６で行う（Ｓ７０４）。
【００４８】
次に、Ｓ７０４で描かれた図形が図８の８０２のような画像送りの操作に対応するものであるか否かの判別を行う（Ｓ７０５）。画像送り操作であると、メモリカードから現在表示されている画像とは別の画像をメモリカードから読み込みを行い、リサイズののちにＶＲＡＭ領域１０９に送られ、Ｓ７０２へ戻り新しい画像の表示が行われる（Ｓ７０６）。
【００４９】
Ｓ７０５で、画像送りの操作が行われていないと判断された場合は、システム制御部１０６にて、Ｓ７０４で描かれた図形が、画像表示装置１１０に表示された画像の任意の領域を指定するものであるか否かを判断する（Ｓ７０７）。ここで、「任意の領域を指定するもの」とは、例えば、図８の８０３や図９の８１５のように円形の範囲を描いた場合である。
【００５０】
任意の領域が指定されていると判断された場合は、Ｓ７０８へと進み、指定されていなければ、Ｓ７０３へと戻る。Ｓ７０８では、Ｓ７０４で描かれた図形を元に被写体認証領域を決定する。領域の決定方法は、図８の８０４や図９の８１２のように、円形に描かれた範囲に内接する領域を被写体認証領域とする。
【００５１】
次に、Ｓ７０８で決定された被写体認証領域内画像情報より、図８の８０５や図９の８１６のように検索条件の抽出を行う（Ｓ７０９）。また、図９の８１６のように、単一の被写体認証領域内に検索条件が複数含まれる場合は、双方の検索条件に合致した画像情報検索となる。一方、図８の８０４及び図８の８０７のように、単一の被写体認証領域内ではなく、複数の異なる被写体認証領域内（この場合は２つ）に複数の検索条件が含まれる場合、図８の８０５及び図８の８０８のように２つを選択可能となる。このような場合には、どちらかの検索条件に合致した画像情報が含まれる画像情報検索を行うことで、検索条件の詳細設定を決定する。
【００５２】
次に、Ｓ７０９において確定した選択範囲及び検索条件画像情報を元画像に重畳し、画像表示装置１１０に表示する（Ｓ７１０）。
次に、タッチパネル操作部１１２にて、画像表示装置１１０に描かれた図形情報の取得を再度行う（Ｓ７１１）。そして、取得した図形情報が画像送りの操作に対応するものであるか否かを判別を行う（Ｓ７１２）。識別された図形が図９の８０９に示すように、選択範囲の領域外で画像送りの操作に対応するものと判断された場合は、画像情報解析処理および画像検索処理を行う（Ｓ７１７）。本実施形態においては、画像情報解析処理を行う指定画像領域の対象範囲は、単一または複数の指定により行う。その後、検索該当ファイル群より条件に適合した情報が含まれる画像のみを表示する（Ｓ７１８）。
【００５３】
次に選択条件追加が行われた場合の処理について説明を行う。
Ｓ７１３の判断において、取得された画像表示部に描かれた図形情報が図８の８０６に示すように、既に選択条件として設定されている箇所と異なる「任意の領域を指定するもの」の場合がある。このような場合は、Ｓ７１１で決定された被写体認証領域内画像情報より、検索条件判定範囲表示として、図８の８０７を被写体認証領域内とし、図８の８０８の抽出を行う（Ｓ７１４）。
【００５４】
次に、すでに確定している情報に加え新たに確定した選択範囲及び検索条件画像情報を元画像に重畳する（Ｓ７1５）。次に、画像表示装置１１０に表示し（Ｓ７１６）、その後、Ｓ７１１に戻る。
【００５５】
次に、選択条件変更が行われた場合の処理について説明を行う。
一方、Ｓ７１３の判断において、取得された画像表示部に描かれた図形情報が図９の８１０に示すように既に選択条件として設定されている範囲内と判断された場合、図９の８１１に示すように指定された検索条件の登録削除を行う（Ｓ７１９）。
【００５６】
次に、削除された検索条件を特定した検索範囲内に他の検索条件が存在するか否かを判定する（Ｓ７２０）。該当検索範囲に他の検索条件がない場合は、検索範囲情報の削除を行う（Ｓ７２１）。また、図９の８１２に示す検索範囲内に複数の検索条件が存在する状態で、図９の８１３で示すように、そのうちのどれかに対して削除要求が行われたと判定した場合は、図９の８１４で示すように、検索範囲情報の削除は行わない。なお、複数の検索条件画像が設定された場合、必要としない検索該当条件の設定解除を行うようにする。
次に、新たに確定した選択範囲及び検索条件画像情報を元画像に重畳し画像表示装置１１０に表示し（Ｓ７１６）、その後、Ｓ７１１に戻る。
【００５７】
以上により、画像表示中に領域指定と指定範囲内で生成された特定画像を検索条件とし、条件に合致した画像のみを画像送りして表示することができる。これにより、ユーザはメニューを切り替えることなく簡単な操作で画像の検索が可能となる。
【００５８】
また、本実施形態では画像検索処理が図１の画像検索装置１１３にて行われているが、これに限らず、画像検索処理プログラムを図１のＲＯＭ１０５に予め記憶させておき、
システム制御部１０６がプログラムに沿って検索処理を行ってもよい。また、本実施形態では被写体認証処理が図１の被写体認証装置１１４にて行われているが、これに限らず、被写体認証処理プログラムを図１のＲＯＭ１０５に予め記憶させておき、システム制御部１０６がプログラムに沿って被写体認証を行ってもよい。
【００５９】
また、画像情報解析を行う場合には、特定の近似色のパターンに基いて検索条件画像を生成するようにしてもよいし、指定された任意領域内画像から検索条件画像を生成してもよい。
また、前述した実施形態はプリンタでの画像検索について述べたが、プリンタの替わりにデジタルカメラなどでもよい。
【００６０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークまたは各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６１】
１０２ カードリーダ、１０３ 通信部、１０４ ＩＯ制御部、１０５ ＲＯＭ、１０６ システム制御部、１０７ ＲＡＭ、１０８ 画像処理部、１０９ ＶＲＡＭ、１１０ 画像表示装置、１１１ ＵＩ操作部、１１２ タッチパネル操作部、１１３ 画像検索装置、１１４ 被写体認証装置、１１５ 画像補正部、１１６ 印刷画像生成部、１１７ 印刷装置
【技術分野】
【０００１】
本発明は画像検索装置および画像検索方法に関し、特に、画像表示装置に表示中の画像とは異なる画像を表示させるために用いて好適な技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等で撮影した画像を保存するメモリカードの大容量化に伴い、ユーザは撮影した画像をメモリカードから削除せずに、そのままにしておくことがよくある。これらの結果、メモリカード内には、大量の画像ファイルが存在することとなり、プリンタ等で任意の画像を印刷したい場合などには、所望の画像を見つけるのに時間がかかってしまうという問題があった。
【０００３】
前述のような理由により、従来例として、プリンタに画像検索機能を搭載し、手書き入力された情報に基づいて、画像を検索する画像入力装置が提案されている（特許文献１参照）。
【０００４】
特許文献１にて提案されている画像入力装置の場合は、例えば、太陽、山、川などのシンボルからなる画像情報を、検索画像としてペンで入力する。そして、各シンボルのうち、検索上最も重要なシンボル（例えば、山）を太い線にする。この場合、太い線で指定したシンボル図形を基準にして画像の検索が行われる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−０３９３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１の画像入力装置の場合は、ユーザは画像の検索を行うために、検索条件をあらかじめ登録したり、検索釦等などを押したりする面倒な操作を行う必要があり、ユーザを煩わせていた。
本発明は前述の問題点に鑑み、画像表示中に容易な操作を行うことで画像検索を容易にできるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像検索装置は、入力された画像を表示する表示手段と、前記表示手段をユーザがタッチすることにより、前記画像中の領域を選択する選択手段と、前記選択手段により選択された領域に含まれる人物または物に基づいて画像の検索を行う検索手段と、を有し、前記検索手段は、前記選択手段により領域が選択された後のユーザのタッチ操作に応じて、画像の検索の条件を決定することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像検索を行う条件を、表示中の画像内で指定した任意領域より抽出し、画像送りを行った場合に該当する情報が含まれる画像のみを表示するようにしたので、対象となる画像のみを検索して表示させることができる。
また、本発明の他の特徴によれば、表示中の画像内の検索条件画像指定手順にて画像検索条件の抽出と決定とを行い、画像検索条件に該当する情報が含まれる画像のみを検索し表示させることができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像検索装置の構成例を説明するブロック図である。
【図２】印刷する画像を選択する際の画像選択処理を示したフローチャートである。
【図３】画像送り等の画像選択に関する操作の一例を説明する図である。
【図４】画像情報解析処理および画像検索処理を説明するフローチャートである。
【図５】画像検索結果表示について説明するフローチャートである。
【図６】画像表示装置に表示する例を示す図である。
【図７】第２の実施形態を示し、画像選択処理を示したフローチャートである。
【図８】第２の実施形態を示し、操作の一例を説明する図である。
【図９】第２の実施形態を示し、操作の一例を説明する図である。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
以下に、図１を参照して本発明を実施するための最良の形態について詳細に説明する。尚、以下に説明する画像検索装置をプリンタに適用した例は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、本実施形態では取り扱う画像データの一例としてＪＰＥＧ形式としているが画像データフォーマットについても実施の形態に限定されるものではない。
【００１１】
図１において、１０１は電源装置であって、本実施形態のプリンタ（印刷装置１１７）全体に電源の供給を行う。１０２は各種メモリカードをセットするカードリーダであって、メモリカードに記録された画像データを読み出すことができる。１０３は通信部であって、デジタルカメラと接続を行うことによってデジタルカメラから送信される画像データの受信を行うことができる。なお、本実施形態では取り扱う画像データはＪＰＥＧ形式であるものとする。
【００１２】
１０４はＩＯ制御部であって、通信部１０３とカードリーダ１０２のどちらを有効にするか判断する。また、同時に有効にならないように排他制御を行う。１０５は不揮発性メモリ（ＲＯＭ）であって、プリンタを制御するプログラムや、プリンタを操作するためのメニュー画像データなどが収められている。
【００１３】
１０６はプリンタ全体を制御するシステム制御部であって、ＲＯＭ１０５に収められているプログラムに沿ってプリンタ全体の制御を行う。また、後述するタッチパネル操作部１１２に描かれた図形とプリンタの操作処理の対応付けも行う。１０７は揮発性メモリ(ＲＡＭ)であって、ＩＯ制御部１０４を通して通信部１０３またはカードリーダ１０２から読み出した画像データの保持を行ったりする。
【００１４】
１０８は画像処理部であって、ＲＡＭ１０７やＲＯＭ１０５から読み出されたＪＰＥＧ画像の伸張処理やリサイズ、レイアウトの配置などを行う。尚、本実施形態では、伸張処理はＪＰＥＧ形式からＹＵＶ形式への変換とする。１０９は画像表示装置１１０に表示する画像を保持しておくＶＲＡＭ領域であって、画像処理部１０８によってＲＡＭ１０７やＲＯＭ１０５に保持された画像の伸張とリサイズを行う。ＶＲＡＭ領域１０９に保持することにより、入力された任意の画像を画像表示装置１１０に表示することが可能となる。
【００１５】
画像表示装置１１０は、ＶＲＡＭ領域１０９に保持された画像データの読み出しを行って印刷画像の表示や、メニュー画像の表示を行う。また、表示面には後述のタッチパネル操作部１１２が覆われている。１１１は、ＵＩ操作部であって、電源釦や印刷釦が備わっており、釦を操作することにより電源のＯＮ、ＯＦＦや、印刷処理が行える。
【００１６】
１１２は、タッチパネル操作部であって、タッチパネルにタッチペン等で図形を描くことにより、画像送り等の画像選択に関する操作が行える。例えば、図３の３０２のように、描かれた図形がＸ軸方向へ進んだ場合は画像送り操作として扱われる。１１３は、画像検索装置であり、ＵＩ操作部の操作に従って、カードリーダに保存されている画像の各種検索が行われる。
【００１７】
１１４は被写体認証装置であり、システム制御部１０６の命令に従って、画像検索や画像処理を行う際に使用される。１１５は画像補正部であって、ユーザが決めた印刷条件によって画像処理部１０８で作成されたＹＵＶ画像の明るさ、コントラスト、特定近似色パターンなどの各種補正処理を行う。
【００１８】
１１６は印刷画像生成部である。本実施形態での印刷装置１１７は昇華型の熱転写記録方式で、インクシートと用紙が一体になったインクカートリッジを採用する。インクシートは、用紙の印画領域を覆ってそのサイズとほぼ等しいサイズでイエロー(Ｙ)、マゼンタ(Ｍ)、シアン(Ｃ)の各インク層とオーバーコート(ＯＰ)層が並べて設けられたものである。各層ずつ熱転写しては、用紙を記録開始位置に戻し、用紙上に、順次重ねて転写される。
【００１９】
印刷画像生成部１１６では、画像補正部１１５によって補正されたＹＵＶ形式からＹＭＣ形式への変換を行う。また、ここでは、ＹＭＣ変換された画像へ、スタンプや吹き出し、文字列などの合成処理が行われる。印刷装置１１７は、印刷画像生成部１１６において生成されたＹ・Ｍ・Ｃ各色のデータを用いてＹ・Ｍ・Ｃ各インク層を用紙に順次熱転写しては用紙を記録開始位置に戻して全色の印刷を行う。
【００２０】
続いて、第１の実施形態の動作について、図２〜図４を用いて、本実施形態のプリンタの全体動作について説明を行う。この処理は、メモリカードから画像を読み込み、画像表示装置１１０に印刷する画像が表示された場合の動作を示している。
【００２１】
図２は、カードリーダ１０２に挿入されているメモリカードから印刷する画像中の領域を選択する際の画像選択処理を示したフローチャートである。その時の画像表示装置１１０を示したのが図３の３０１であり、選択中の画像が表示される。また、画像表示装置１１０にはタッチパネル操作部１１２が覆われており、ユーザがタッチパネルを操作するタッチ操作を行うことにより、プリンタの操作を行うことが可能となっている。
【００２２】
まず、カードリーダ１０２に挿入されたメモリカードから任意の画像を読み出し、ＲＡＭ１０７へ画像の読み込みを行う（Ｓ２０１）。メモリカードから読み出された画像は画像処理部１０８で画像表示に適したサイズにリサイズされＶＲＡＭ領域１０９に送られる。
【００２３】
次に、画像表示装置１１０の再読み込みを行い、画像表示装置１１０に読み込まれた画像を表示する（Ｓ２０２）。
次に、ＵＩ操作部１１１にある電源ボタンが押されたか否かの判断を、システム制御部１０６で行う（Ｓ２０３）。押されていればプリンタの電源を切る。また、押されていなければ、タッチパネル操作部１１２にて、画像表示装置１１０に描かれた図形の識別をシステム制御部１０６で行う（Ｓ２０４）。
【００２４】
次に、Ｓ２０４で描かれた図形が図３の３０２のような画像送りの操作に対応するものであるか否かを判断する（Ｓ２０５）。画像送り操作であるとＳ２０６へと進み、メモリカードから現在表示されている画像とは別の画像をメモリカードから読み込みを行い、リサイズし、それをＶＲＡＭ領域１０９に送って保持する。その後、Ｓ２０２へ戻り新しい画像の表示が行われる。
【００２５】
Ｓ２０５の判断で、画像送りの操作が行われていないと判断された場合は、システム制御部１０６にて、Ｓ２０４で描かれた図形が、画像表示装置１１０に表示された任意の画像領域を指定する画像領域指定であるか否かを判断する（Ｓ２０７）。ここで、「任意の画像領域指定」とは、例えば、図３の３０３のように円を描いた場合である。
【００２６】
任意の画像領域が指定されていないと判断された場合は、Ｓ２０３へと戻る。Ｓ２０４で描かれた図形を元に被写体認証領域を決定する（Ｓ２０８）。領域の決定方法は、図３の３０４のように、描かれた円を外接する四角形を被写体認証領域とする。次に、Ｓ２０８で決定された被写体認証領域に対応する枠が、図３の３０５のように点線にて画像表示装置１１０に描写される（Ｓ２０９）。
【００２７】
次に、現在時刻の取得がシステム制御部１０６にて行われる（Ｓ２１０）。
次に、再度、現在時刻の取得が行われ、Ｓ２０９で取得された時刻との差分を取ることによりＳ２０４にて任意の領域が指定されてからの経過時間取得を行うための経過時間:Ｔが計測される（Ｓ２１１）。
【００２８】
次に、経過時間：Ｔが予め決められている閾値Ｔｈ＿Ｔよりも所定時間以上経過しているか判断する（Ｓ２１２）。経過していると判断された場合は、Ｓ２０９で画像表示装置１１０に描写された被写体認証領域を消去し（Ｓ２１３）、その後に、Ｓ２０３へと戻る。一方、Ｔｈ＿Ｔよりも時間が経過していないと判断された場合は、再度、タッチパネル操作部１１２にて、画像表示装置１１０に描かれた図形の識別を行う（Ｓ２１４）。
【００２９】
次に、Ｓ２１４で識別された図形が画像送りの操作に対応するものであるか判別をシステム制御部１０６にて行う（Ｓ２１５）。画像送りの図形であると判断された場合は、後述する画像情報解析処理および画像検索（人物検索）処理が行われる（Ｓ２１６）。その後、後述する画像検索結果の表示制御が行われ、処理を終える（Ｓ２１７）。
【００３０】
一方、Ｓ２１５の判断で、画像送りの図形ではないと判断された場合、再度任意の領域が選択されたか否かをシステム制御部１０６にて判断を行う（Ｓ２１８）。選択されたら、画像表示装置１１０に描かれている被写体認証領域３０５を、Ｓ２１４で選択された被写体認証領域に変更し（Ｓ２１９）、その後、Ｓ２２０へと進む。
【００３１】
一方、Ｓ２１８の判断で選択されていなければ、Ｓ２１４で識別された図形が、被写体認識領域指定キャンセル処理であるか否かを判断する（Ｓ２２１）。キャンセル処理であった場合はＳ２１３へ戻り、そうでなかった場合はＳ２２０へと進む。ここで、キャンセル処理とは、例えば図３の３０６のように、描写されている被写体認証領域の上に×印の図形が描かれた場合をキャンセル処理とする。電源ボタンが押されたかの判断を行い（Ｓ２２０）、押されたと判断された場合は、処理を終え、そうでない場合はＳ２１０へと戻る。
【００３２】
次に、図４のフローチャートを用いて、図２のＳ２１６で行なわれる画像情報解析処理および画像検索処理について詳細に説明する。
まず、検索した画像の枚数を示す変数ｎと、後述する検索条件に一致する画像の枚数を示す変数Ｋに０を代入して初期化する（Ｓ４０１）。
次に、Ｓ２０８またはＳ２１９で設定された図３の３０５の被写体認識領域について被写体認識（物体認識）処理を行う（Ｓ４０２）。
【００３３】
次に、Ｓ４０２にて行われた被写体認識処理において、被写体が認識されたか否かを判断する（Ｓ４０３）。被写体が認識されなかった場合は、Ｓ４１２へ進み処理を終了する。認識された場合は、Ｓ４０４へと進む。ここで、Ｓ４０２にて人物Ａが認識（人物認証）されたとする。
次に、カードリーダ１０２に接続されているメモリカードに含まれる枚数：Ｎの取得を行う（Ｓ４０４）。
【００３４】
次に、検索した画像の枚数を示す変数ｎに１が加えられる（Ｓ４０５）。
次に、ｎ枚目の画像がメモリカードからＲＡＭ１０７へと読み込まれる（Ｓ４０６）。次に、ＲＡＭ１０７に読み込まれた画像に対して、被写体認証装置１１４が被写体認証を行う（Ｓ４０７）。
【００３５】
次に、Ｓ４０２で認証された人物ＡがＳ４０６で認識された複数の人物に含まれているか判断する（Ｓ４０８）。含まれている場合はｎ枚目の画像のメモリー内での位置を示すアドレスがＲＡＭ１０７などに保存される（Ｓ４０９）。次に、Ｋに１が加えられ（Ｓ４１０）、ｎ＝Ｎであるか判断する（Ｓ４１１）。ｎ＝Ｎであると判断された場合は、Ｓ４０６へ戻り、そうでない場合はＳ４１２へ進んで処理を終える。
【００３６】
次に、図５のフローチャートを用いて、図２のＳ２１７の画像検索結果表示について説明する。
まず、図４のフローチャートでの変数ｎの値が０であるか判断する（Ｓ５０１）。ここでｎ＝０とは、図４のフローチャートより、Ｓ４０３にて被写体が認識されなかったことを意味する。
【００３７】
ｎ＝０であった場合は、Ｓ５０２へ進み、そうでない場合はＳ５０３へと進む。図６の６０１のように被写体が認識されなかった旨を画像表示装置１１０に表示し、図２のＳ２１３へ戻る（Ｓ５０２）。変数Ｋ＝０であるか判断する（Ｓ５０３）。ここで、変数Ｋ＝０とは、Ｓ４０２にて認識された被写体が、他の画像に映っていなかったことを意味する。
【００３８】
Ｋ＝０であった場合は、図６の６０２のように、一致する被写体が見つからなかった旨を画像表示装置１１０に表示し（Ｓ５０４）、図２のＳ２１３へ戻る。Ｋ＝０でなかった場合は、図６の６０３のように、画像表示装置１１０に人物Ａが映っている画像を表示し処理を終える（Ｓ５０５）。
【００３９】
以上により、画像表示装置１１０に画像表示中に特定の領域を指定してから画像送りを行った場合についてのみ、画像検索を行うようにする。これにより、特定の領域が指定されなかった場合は通常の画像送りになるため、ユーザはメニューを切り替えることなく簡単な操作で画像の検索が可能となる。
【００４０】
また、本実施形態では、図１の画像検索装置１１３にて画像検索処理が行われている例を説明したが、これに限らず、画像検索処理プログラムを図１のＲＯＭ１０５に予め記憶させておき、システム制御部１０６がプログラムに沿って検索処理を行ってもよい。
【００４１】
また、本実施形態では、図１の被写体認証装置１１４にて被写体認証処理が行われている例を説明した。これに限らず、被写体認証処理プログラムを図１のＲＯＭ１０５に予め記憶させておき、システム制御部１０６がプログラムに沿って被写体認証処理を行ってもよい。
【００４２】
また、本実施形態の検索結果表示が図６の６０３のように複数の画像を表示するマルチ表示であったが、これに限らず、図２のＳ２０４またはＳ２１４で実施されるタッチパネルでの操作の形状によって、検索後の結果表示方法を変更してもよい。
【００４３】
例えば、図３の３０２のようなＸ軸方向へ進むような操作であった場合は、図６の６０３のようなマルチ表示を行い、図３の３０７のようなＹ軸方向へ進むような操作であった場合は、図６の６０４のような１枚表示にしてもよい。
以上、説明したように、本実施形態によれば、タッチパネルなどで、ユーザが画像領域を指定して画像送り操作を行うと、その画像領域に含まれる１人の人物を検索して表示することができる。
【００４４】
（第２の実施形態）
続いて、第２の実施形態の動作について、図７〜図９を用いて説明する。本実施形態の処理はメモリカードから画像を読み込み、印刷する画像が画像表示装置１１０に表示された場合の動作を示している。なお、本実施形態の装置構成は、前述した図１と同様であるので、図示および説明を省略する。
【００４５】
図７は、カードリーダ１０２に挿入されているメモリカードから印刷する画像を選択する際の画像選択処理の手順を示したフローチャートである。その時の画像表示装置１１０を示したのが図８の８０１であり、選択中の画像が表示される。また、画像表示装置１１０にはタッチパネル操作部１１２が覆われており、タッチパネルによるプリンタの操作が可能となっている。
【００４６】
まず、カードリーダ１０２に挿入されたメモリカードから任意の画像をＲＡＭ１０７へ読み出す。読み出された画像は、画像処理部１０８で画像表示に適したサイズにリサイズされＶＲＡＭ領域１０９に送られる（Ｓ７０１）。次に、画像表示装置１１０の再読み込みを行い、画像表示装置１１０に読み込まれた画像が表示される（Ｓ７０２）。
【００４７】
次に、ＵＩ操作部１１１にある電源ボタンが押されたか否かの判断をシステム制御部１０６で行い（Ｓ７０３）、押されていればプリンタの電源を切る。押されていなければ、タッチパネル操作部１１２にて、画像表示装置１１０に描かれた図形の識別をシステム制御部１０６で行う（Ｓ７０４）。
【００４８】
次に、Ｓ７０４で描かれた図形が図８の８０２のような画像送りの操作に対応するものであるか否かの判別を行う（Ｓ７０５）。画像送り操作であると、メモリカードから現在表示されている画像とは別の画像をメモリカードから読み込みを行い、リサイズののちにＶＲＡＭ領域１０９に送られ、Ｓ７０２へ戻り新しい画像の表示が行われる（Ｓ７０６）。
【００４９】
Ｓ７０５で、画像送りの操作が行われていないと判断された場合は、システム制御部１０６にて、Ｓ７０４で描かれた図形が、画像表示装置１１０に表示された画像の任意の領域を指定するものであるか否かを判断する（Ｓ７０７）。ここで、「任意の領域を指定するもの」とは、例えば、図８の８０３や図９の８１５のように円形の範囲を描いた場合である。
【００５０】
任意の領域が指定されていると判断された場合は、Ｓ７０８へと進み、指定されていなければ、Ｓ７０３へと戻る。Ｓ７０８では、Ｓ７０４で描かれた図形を元に被写体認証領域を決定する。領域の決定方法は、図８の８０４や図９の８１２のように、円形に描かれた範囲に内接する領域を被写体認証領域とする。
【００５１】
次に、Ｓ７０８で決定された被写体認証領域内画像情報より、図８の８０５や図９の８１６のように検索条件の抽出を行う（Ｓ７０９）。また、図９の８１６のように、単一の被写体認証領域内に検索条件が複数含まれる場合は、双方の検索条件に合致した画像情報検索となる。一方、図８の８０４及び図８の８０７のように、単一の被写体認証領域内ではなく、複数の異なる被写体認証領域内（この場合は２つ）に複数の検索条件が含まれる場合、図８の８０５及び図８の８０８のように２つを選択可能となる。このような場合には、どちらかの検索条件に合致した画像情報が含まれる画像情報検索を行うことで、検索条件の詳細設定を決定する。
【００５２】
次に、Ｓ７０９において確定した選択範囲及び検索条件画像情報を元画像に重畳し、画像表示装置１１０に表示する（Ｓ７１０）。
次に、タッチパネル操作部１１２にて、画像表示装置１１０に描かれた図形情報の取得を再度行う（Ｓ７１１）。そして、取得した図形情報が画像送りの操作に対応するものであるか否かを判別を行う（Ｓ７１２）。識別された図形が図９の８０９に示すように、選択範囲の領域外で画像送りの操作に対応するものと判断された場合は、画像情報解析処理および画像検索処理を行う（Ｓ７１７）。本実施形態においては、画像情報解析処理を行う指定画像領域の対象範囲は、単一または複数の指定により行う。その後、検索該当ファイル群より条件に適合した情報が含まれる画像のみを表示する（Ｓ７１８）。
【００５３】
次に選択条件追加が行われた場合の処理について説明を行う。
Ｓ７１３の判断において、取得された画像表示部に描かれた図形情報が図８の８０６に示すように、既に選択条件として設定されている箇所と異なる「任意の領域を指定するもの」の場合がある。このような場合は、Ｓ７１１で決定された被写体認証領域内画像情報より、検索条件判定範囲表示として、図８の８０７を被写体認証領域内とし、図８の８０８の抽出を行う（Ｓ７１４）。
【００５４】
次に、すでに確定している情報に加え新たに確定した選択範囲及び検索条件画像情報を元画像に重畳する（Ｓ７1５）。次に、画像表示装置１１０に表示し（Ｓ７１６）、その後、Ｓ７１１に戻る。
【００５５】
次に、選択条件変更が行われた場合の処理について説明を行う。
一方、Ｓ７１３の判断において、取得された画像表示部に描かれた図形情報が図９の８１０に示すように既に選択条件として設定されている範囲内と判断された場合、図９の８１１に示すように指定された検索条件の登録削除を行う（Ｓ７１９）。
【００５６】
次に、削除された検索条件を特定した検索範囲内に他の検索条件が存在するか否かを判定する（Ｓ７２０）。該当検索範囲に他の検索条件がない場合は、検索範囲情報の削除を行う（Ｓ７２１）。また、図９の８１２に示す検索範囲内に複数の検索条件が存在する状態で、図９の８１３で示すように、そのうちのどれかに対して削除要求が行われたと判定した場合は、図９の８１４で示すように、検索範囲情報の削除は行わない。なお、複数の検索条件画像が設定された場合、必要としない検索該当条件の設定解除を行うようにする。
次に、新たに確定した選択範囲及び検索条件画像情報を元画像に重畳し画像表示装置１１０に表示し（Ｓ７１６）、その後、Ｓ７１１に戻る。
【００５７】
以上により、画像表示中に領域指定と指定範囲内で生成された特定画像を検索条件とし、条件に合致した画像のみを画像送りして表示することができる。これにより、ユーザはメニューを切り替えることなく簡単な操作で画像の検索が可能となる。
【００５８】
また、本実施形態では画像検索処理が図１の画像検索装置１１３にて行われているが、これに限らず、画像検索処理プログラムを図１のＲＯＭ１０５に予め記憶させておき、
システム制御部１０６がプログラムに沿って検索処理を行ってもよい。また、本実施形態では被写体認証処理が図１の被写体認証装置１１４にて行われているが、これに限らず、被写体認証処理プログラムを図１のＲＯＭ１０５に予め記憶させておき、システム制御部１０６がプログラムに沿って被写体認証を行ってもよい。
【００５９】
また、画像情報解析を行う場合には、特定の近似色のパターンに基いて検索条件画像を生成するようにしてもよいし、指定された任意領域内画像から検索条件画像を生成してもよい。
また、前述した実施形態はプリンタでの画像検索について述べたが、プリンタの替わりにデジタルカメラなどでもよい。
【００６０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークまたは各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６１】
１０２ カードリーダ、１０３ 通信部、１０４ ＩＯ制御部、１０５ ＲＯＭ、１０６ システム制御部、１０７ ＲＡＭ、１０８ 画像処理部、１０９ ＶＲＡＭ、１１０ 画像表示装置、１１１ ＵＩ操作部、１１２ タッチパネル操作部、１１３ 画像検索装置、１１４ 被写体認証装置、１１５ 画像補正部、１１６ 印刷画像生成部、１１７ 印刷装置
【特許請求の範囲】
【請求項１】
入力された画像を表示する表示手段と、
前記表示手段をユーザがタッチすることにより、前記画像中の領域を選択する選択手段と、
前記選択手段により選択された領域に含まれる人物または物に基づいて画像の検索を行う検索手段と、を有し、
前記検索手段は、前記選択手段により領域が選択された後のユーザのタッチ操作に応じて、画像の検索の条件を決定することを特徴とする画像検索装置。
【請求項２】
さらに、前記選択手段により選択された領域の画像を解析し、当該領域に含まれる人物または物の情報を取得する解析手段を有し、
前記検索手段は、前記解析手段により取得した情報に基づいて、画像の検索を行うことを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記表示手段に前記検索手段により検索された画像を表示させる表示制御手段を有することを特徴とする請求項１または２に記載の画像検索装置。
【請求項４】
前記選択手段によって領域が選択されてからの経過時間を計測する手段を有し、
前記選択手段によって領域が選択されてから所定時間以上経過した場合は、前記選択された領域に含まれる人物または物に基づく画像の検索は行わないことを特徴とする請求項１ないし３のいずれか１項に記載の画像検索装置。
【請求項５】
前記検索手段は、前記選択手段によって領域が選択された後に、画像送りのためのタッチ操作が行われたことに応じて、検索を開始することを特徴とする請求項１ないし４のいずれか１項に記載の画像検索装置。
【請求項６】
前記検索手段は、前記選択手段によって領域が選択された後に、ユーザにより行われたタッチ操作が、前記選択手段により選択された領域内においてタッチされたか、前記選択された領域外でタッチされたかに応じて、検索条件を変更することを特徴とする請求項１ないし５のいずれか１項に記載の画像検索装置。
【請求項７】
前記検索手段は、前記選択手段によって領域が選択された後に行われたタッチ操作の形状に応じて、検索条件を変更することを特徴とする請求項１ないし４のいずれか１項に記載の画像検索装置。
【請求項８】
前記選択手段は複数の領域を選択可能であり、前記検索手段は、前記選択手段により選択された複数の領域のうち、それぞれの領域に含まれる人物または物をすべて含む画像を検索することを特徴とする請求項１ないし７のいずれか１項に記載の画像検索装置。
【請求項９】
前記選択手段により選択された領域の中に複数の人物または物が含まれている場合、前記検索手段は、前記複数の人物または物のうちの少なくともいずれか１人の人物または物を含む画像を検索することを特徴とする請求項８に記載の画像検索装置。
【請求項１０】
入力された画像を表示する表示手段と、
前記表示手段をユーザがタッチすることにより、前記画像中の領域を選択する選択手段と、
前記選択手段により選択された領域に含まれる人物または物に基づいて画像の検索を行う検索手段と、を有し、
前記選択手段は複数の領域を選択可能であり、
前記選択手段により複数の領域が選択された場合、前記検索手段は、前記選択手段により選択された複数の領域のうち、それぞれの領域に含まれる人物または物をすべて含む画像を検索し、
前記選択手段により選択された領域の中に複数の人物または物が含まれている場合、前記検索手段は、前記複数の人物または物のうちの少なくともいずれか１人の人物または物を含む画像を検索することを特徴とする画像検索装置。
【請求項１１】
入力された画像を表示装置に表示する表示工程と、
前記表示装置をユーザがタッチすることにより、前記画像中の領域を選択する選択工程と、
前記選択工程により選択された領域に含まれる人物または物に基づいて画像の検索を行う検索工程と、を有し、
前記検索工程は、前記選択工程により領域が選択された後のユーザのタッチ操作に応じて、画像の検索の条件を決定することを特徴とする画像検索方法。
【請求項１２】
入力された画像を表示装置に表示する表示工程と、
前記表示装置をユーザがタッチすることにより、前記画像中の領域を選択する選択工程と、
前記選択工程により選択された領域に含まれる人物または物に基づいて画像の検索を行う検索工程と、を有し、
前記選択工程は複数の領域を選択可能であり、
前記選択工程により複数の領域が選択された場合、前記検索工程は、前記選択工程により選択された複数の領域のうち、それぞれの領域に含まれる人物または物をすべて含む画像を検索し、
前記選択工程により選択された領域の中に複数の人物または物が含まれている場合、前記検索工程は、前記複数の人物または物のうちの少なくともいずれか１人の人物または物を含む画像を検索することを特徴とする画像検索方法。
【請求項１】
入力された画像を表示する表示手段と、
前記表示手段をユーザがタッチすることにより、前記画像中の領域を選択する選択手段と、
前記選択手段により選択された領域に含まれる人物または物に基づいて画像の検索を行う検索手段と、を有し、
前記検索手段は、前記選択手段により領域が選択された後のユーザのタッチ操作に応じて、画像の検索の条件を決定することを特徴とする画像検索装置。
【請求項２】
さらに、前記選択手段により選択された領域の画像を解析し、当該領域に含まれる人物または物の情報を取得する解析手段を有し、
前記検索手段は、前記解析手段により取得した情報に基づいて、画像の検索を行うことを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記表示手段に前記検索手段により検索された画像を表示させる表示制御手段を有することを特徴とする請求項１または２に記載の画像検索装置。
【請求項４】
前記選択手段によって領域が選択されてからの経過時間を計測する手段を有し、
前記選択手段によって領域が選択されてから所定時間以上経過した場合は、前記選択された領域に含まれる人物または物に基づく画像の検索は行わないことを特徴とする請求項１ないし３のいずれか１項に記載の画像検索装置。
【請求項５】
前記検索手段は、前記選択手段によって領域が選択された後に、画像送りのためのタッチ操作が行われたことに応じて、検索を開始することを特徴とする請求項１ないし４のいずれか１項に記載の画像検索装置。
【請求項６】
前記検索手段は、前記選択手段によって領域が選択された後に、ユーザにより行われたタッチ操作が、前記選択手段により選択された領域内においてタッチされたか、前記選択された領域外でタッチされたかに応じて、検索条件を変更することを特徴とする請求項１ないし５のいずれか１項に記載の画像検索装置。
【請求項７】
前記検索手段は、前記選択手段によって領域が選択された後に行われたタッチ操作の形状に応じて、検索条件を変更することを特徴とする請求項１ないし４のいずれか１項に記載の画像検索装置。
【請求項８】
前記選択手段は複数の領域を選択可能であり、前記検索手段は、前記選択手段により選択された複数の領域のうち、それぞれの領域に含まれる人物または物をすべて含む画像を検索することを特徴とする請求項１ないし７のいずれか１項に記載の画像検索装置。
【請求項９】
前記選択手段により選択された領域の中に複数の人物または物が含まれている場合、前記検索手段は、前記複数の人物または物のうちの少なくともいずれか１人の人物または物を含む画像を検索することを特徴とする請求項８に記載の画像検索装置。
【請求項１０】
入力された画像を表示する表示手段と、
前記表示手段をユーザがタッチすることにより、前記画像中の領域を選択する選択手段と、
前記選択手段により選択された領域に含まれる人物または物に基づいて画像の検索を行う検索手段と、を有し、
前記選択手段は複数の領域を選択可能であり、
前記選択手段により複数の領域が選択された場合、前記検索手段は、前記選択手段により選択された複数の領域のうち、それぞれの領域に含まれる人物または物をすべて含む画像を検索し、
前記選択手段により選択された領域の中に複数の人物または物が含まれている場合、前記検索手段は、前記複数の人物または物のうちの少なくともいずれか１人の人物または物を含む画像を検索することを特徴とする画像検索装置。
【請求項１１】
入力された画像を表示装置に表示する表示工程と、
前記表示装置をユーザがタッチすることにより、前記画像中の領域を選択する選択工程と、
前記選択工程により選択された領域に含まれる人物または物に基づいて画像の検索を行う検索工程と、を有し、
前記検索工程は、前記選択工程により領域が選択された後のユーザのタッチ操作に応じて、画像の検索の条件を決定することを特徴とする画像検索方法。
【請求項１２】
入力された画像を表示装置に表示する表示工程と、
前記表示装置をユーザがタッチすることにより、前記画像中の領域を選択する選択工程と、
前記選択工程により選択された領域に含まれる人物または物に基づいて画像の検索を行う検索工程と、を有し、
前記選択工程は複数の領域を選択可能であり、
前記選択工程により複数の領域が選択された場合、前記検索工程は、前記選択工程により選択された複数の領域のうち、それぞれの領域に含まれる人物または物をすべて含む画像を検索し、
前記選択工程により選択された領域の中に複数の人物または物が含まれている場合、前記検索工程は、前記複数の人物または物のうちの少なくともいずれか１人の人物または物を含む画像を検索することを特徴とする画像検索方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１９０２７２（Ｐ２０１２−１９０２７２Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５３３９５（Ｐ２０１１−５３３９５）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]