画像処理装置、画像処理方法、コンピュータプログラム
【課題】 ユーザが再利用するオブジェクトを容易に見つけることができ、再利用しやすい環境を提供できるようにする。
【解決手段】 ユーザの指示に基づいて、検索されたオブジェクトの中から選択した複数のオブジェクトを用いて、新たな原稿を作成する。その際、当該新たな原稿を作成する際に用いた複数のオブジェクトをグループとして、当該グループに関する情報を前記複数のオブジェクトに関連付けて保存する。そして、検索を行う際、キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、前記グループに関する情報に基づいて検索する。前記キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、グループ別に表示する。
【解決手段】 ユーザの指示に基づいて、検索されたオブジェクトの中から選択した複数のオブジェクトを用いて、新たな原稿を作成する。その際、当該新たな原稿を作成する際に用いた複数のオブジェクトをグループとして、当該グループに関する情報を前記複数のオブジェクトに関連付けて保存する。そして、検索を行う際、キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、前記グループに関する情報に基づいて検索する。前記キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、グループ別に表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、原稿画像から抽出した複数のオブジェクトをユーザが再利用しやすくなるように、オブジェクトの検索性や操作性を向上させるためのものである。
【背景技術】
【0002】
近年の複写機は、内部画像処理のデジタル化によって、目覚しいスピードで多機能化が進んでいる。例えば、原稿を複写するコピー機能や、ホストコンピュータで作成した文書のプリントが可能なPDLプリント機能や、スキャンした原稿を、ネットワークを介して複写機外部に送信するSEND機能などがある。更に、コピー時やPDLプリント時に生成される原稿画像を複写機内部のハードディスクに保存して再利用を可能とするBOX機能(ストレージ機能)や、BOX機能によって複写機内部に保存した原稿画像を利用して合成や製本などの編集を行う編集機能などもある。このように、数え切れないほどの機能を有している。
【0003】
一方で、画像の品質に対する要求も高く、原稿の高い再現性を求めるあまり、複写機内部の画像処理解像度は600dpiから1200dpi、2400dpiへと増加している。また、信号のビット数も8bitから10bit、12bitへと増加の一途を辿っている。このように膨れ上がった情報量を持つ内部処理用のビットマップデータを処理するために、メモリやストレージの追加、高性能なCPUへの置き換えなどが必要になり、機器や開発のコストの増加が無視できない状況になっている。
【0004】
こうした中で、読み取った原稿をオブジェクト単位に分離した状態で再利用しやすいように保存しておく技術が考えられている。特許文献1では、文書中にある写真や図表等の文書要素に分離して登録しておき、この文書要素を検索して表示できるようにしている。また、特許文献2では、原稿内の部品ごとにベクトルデータに変換し、部品ごとに適したファイル形式のファイルを作成することが記載されている。
【0005】
また一方、データベースに登録されている画像などのデータを見やすく一覧表示することも考えられている。例えば、特許文献3では、データベースに登録されているカードデータに対して、小サイズと大サイズの縮小イメージを作成しておき、場合に応じて表示を切り替えたり、カード間でリンクを張ったりすることが記載されている。また、特許文献4では、表示する画像の数を指定することができ、元画像のサイズに関わらず、表示領域のサイズに応じた大きさに拡大縮小して表示することが記載されている。
【特許文献1】特開平06−162104号公報
【特許文献2】特開2006−146486号公報
【特許文献3】特開平05−257788号公報
【特許文献4】特開2000−040142号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
一方、分離されたオブジェクト(文書要素)を再利用する際は、複数の異なるオブジェクトを組み合わせて用いて新たな文書を作成することが多くなると考えられる。また、再利用の際、同じ組み合わせでオブジェクトを再利用する機会も多くなると考えられる。一方、特許文献1〜4の技術では、そのような特徴については考慮していなかった。
【0007】
本発明は、ユーザが再利用するオブジェクトを容易に見つけることができ、再利用しやすい環境を提供できるようにすることを目的の1つとする。
【課題を解決するための手段】
【0008】
本発明の画像処理装置は、オブジェクトを検索する検索手段と、ユーザの指示に基づいて、前記検索手段で検索されたオブジェクトの中から、複数のオブジェクトを選択する選択手段と、前記選択手段で選択された複数のオブジェクトを用いて、新たな原稿を作成する作成手段と、前記作成手段で新たな原稿を作成する際に用いた複数のオブジェクトをグループとして、当該グループに関する情報を前記複数のオブジェクトに関連付けて保存する保存手段と、を備える画像処理装置であって、前記検索手段は、キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、前記グループに関する情報に基づいて検索することを特徴とする。
【発明の効果】
【0009】
本発明によれば、各オブジェクトに対してキーワードとともに、再利用した際のグループ情報を関連付けて記憶しておくことにより、オブジェクトに関連するグループの検索が可能となる。過去に使用された組み合わせは、その後に同じ組み合わせや似たような組み合わせで再利用されることが多いと考えられるので、オブジェクトの検索性・操作性があがり、再利用しやすくなる。
【0010】
また、単なるキーワード検索だけでは見つけることができなかった有用なオブジェクトを簡単に見つけられる可能性が高くなる。
【発明を実施するための最良の形態】
【0011】
(実施形態1)
図1は本発明の実施形態1の画像処理システム10の構成例を示すブロック図である。なお、図1の構成は一例であり、これに限るものではない。
【0012】
この画像処理システムは、インターネット等のネットワーク104とプロキシサーバ103を介して、オフィス内のLAN107と接続されている。また、LAN107には、複数種類の機能(複写機能、印刷機能、送信機能等)を有する複合機(MFP)100、MFP100と通信可能なクライアントPC102、データベース105、及びプロキシサーバ103などが接続されている。
【0013】
また、クライアントPC102の各種端末は、汎用コンピュータに搭載される標準的な構成要素(例えば、CPU、RAM、ROM、ハードディスク、外部記憶装置、ディスプレイ、キーボード、マウス等)で構成されているものとする。
【0014】
図2は本発明の実施形態1のMFP100の詳細構成を示すブロック図である。画像読取部201は、オートドキュメントフィーダ(ADF)を備えたスキャナであり、複数枚あるいは1枚からなる原稿画像を読み取り、所定解像度(600dpi等)のビットマップデータとして得る。
【0015】
また、印刷部203は、画像読取信号に対応する画像を記録媒体に印刷する複写機能を有し、原稿画像を1つ複写する場合には、画像読取信号をデータ処理部206で画像処理して記録信号を生成させ、これを記録媒体上に印刷させる。一方、1枚の原稿画像から複数枚複写する場合には、記憶部202に1ページ分の記録信号を一時記憶させ、これを印刷部203に複数回出力して記録媒体上に印刷させる。
【0016】
ネットワークI/F205は、画像読取部201から得たビットマップデータを後述する処理によってオブジェクトデータに変換してデータベース105に送信する際に利用される。また、ネットワークI/F205は、データベース105に保存されているオブジェクトデータを再利用のため受信する際や、XPSやPDF等のベクトルデータファイル形式の画像ファイルに変換してクライアントPC102へ送信する際などにも利用される。
【0017】
また、データ処理装置206は、クライアントPC102からの印刷データをネットワークI/F205経由で受信し、当該受信した印刷データを印刷部203で印刷可能な記録信号に変換する。そして、印刷部203は、当該記録信号に基づいて印刷媒体上に画像を形成する。
【0018】
入力部204は、操作者からの指示を入力するためのインターフェースで、ここから入力された指示に基づいて、制御部は各種処理を実行するように制御する。また、これらの動作はデータ処理部206内の制御部(不図示のCPU等)によって制御される。また、ユーザの操作入力が行われる際の状態表示や、画像検索時や編集処理時などの画像データの表示は、表示部207で行われる。
【0019】
また、記憶部202は、後述する処理によって得られるオブジェクトデータを記憶するハードディスクや、データ処理部において各種画像処理を実行する際に利用される画像処理用バッファメモリなどから構成される。また、そのオブジェクトデータに基づく画像編集を行う場合に用いる画像編集用バッファメモリなどもある。
【0020】
<原稿画像のオブジェクト(領域)分離>
図3に原稿画像のオブジェクト分離に関する全体をフローチャートで示す。
【0021】
まず、ステップS301では、原稿がスキャナにより読み込まれ、スキャン時の画像処理が施されて、原稿画像データ(多値の入力画像データ)が得られる。なお、スキャナ時の画像処理とは、色処理やフィルタ処理を指す。なお、本実施例では、ステップS301において原稿画像データの入力として、紙原稿のスキャンによって得られた原稿画像データを対象として説明したが、これに限るものではない。例えば、PCからネットワークを介して受信した画像データを、前記原稿画像データとして入力されたものとしてもよい。
【0022】
ステップS302では、画像の色値分布を調べるためにヒストグラムを生成する。当該生成されたヒストグラムに基づいて、次のステップS303では、二値化処理に用いる二値化閾値を決定する。ステップS304では、ステップS303で決定した二値化閾値を用いて二値化処理を実行して、ニ値化画像を得る。
【0023】
ステップS305では、ステップS304のニ値化処理で得たニ値化画像において、黒画素となった部分を検出する。例えば、公知の黒画素の輪郭追跡処理あるいはラベリング処理などの技術により、黒画素部分を検出する。
【0024】
ステップS306では、抽出された黒画素領域内部を解析して、この黒画素領域内部に反転文字(黒の背景に白文字)を含むかどうかを解析する。例えば、黒画素領域内の黒画素数と白画素数とを比較し、黒画素数の方が白画素数より多ければ、更に連結白画素のサイズが予め定めた文字サイズの範囲内であるか判定し、範囲内であれば、反転文字を含むと判定する。
【0025】
そして、ステップS307において、反転文字を含むと判定した場合は、当該反転文字を含む黒画素領域部分を白黒反転し、最終的な二値化画像を生成する。
【0026】
なお、ステップS302〜S307によるニ値化処理は、公知のニ値化処理を用いることができる。例えば、図4の入力画像401に対してニ値化処理を行って、最終的なニ値化画像402が得られる。
【0027】
ステップS308では、最終的な二値化画像を、属性毎の領域(イメージ領域、グラフィックス領域、テキスト領域など)に分割する。ニ値化画像に対する領域分割処理は公知の技術を用いることが可能である。このようにして、ニ値化画像内に含まれる属性毎の領域(オブジェクト)の位置を判別する。
【0028】
ステップS309では、S308の領域分割処理で判別された領域(オブジェクト)それぞれに対して、その領域属性情報と位置情報とを含む領域情報(オブジェクト情報)を生成する。更に、入力画像ごとに付与する原稿画像ID(識別子)や、当該画像の入力時刻(例えばスキャンした時刻)などを、オブジェクトの検索時に用いる付加情報(インデックス情報)として生成し、当該オブジェクト情報に付加する。したがって、同じ原稿画像から抽出した領域(オブジェクト)に対しては、同じ原稿画像IDが付与されることになる。
【0029】
ステップS310では、領域情報に格納された各領域の属性を判断する。判断した属性に応じてステップS311〜S314の処理を行った後、ステップS315で各領域に関する情報を記憶部202のBOXに保存する。なお、本実施形態では、原稿画像や領域オブジェクトなどの情報が格納される記憶領域(ストレージやデータベース)をBOXと呼ぶこととする。
【0030】
ステップS310でイメージ領域と判断された領域オブジェクトに対しては、ステップS314において、当該領域の位置情報に基づいて元の原稿画像データからそのイメージ領域部分を抽出し、当該抽出したイメージ領域の多値画像に対してJPEG圧縮を行う。その後、ステップS315では、当該JPEG圧縮されたイメージ領域のデータをその領域に関する領域情報(オブジェクト情報)と関連付けてBOXに保存する。
【0031】
ステップS310でグラフィックス領域と判断された領域オブジェクトに対しては、ステップS313にて、当該領域の情報に基づいてニ値化画像からグラフィックス領域部分を抽出し、当該抽出したグラフィックス領域のニ値化画像に対してベクトル化処理を行う。ベクトル化処理では、例えば、ニ値化画像の黒画素の輪郭(アウトライン)を検出して直線及び曲線で関数近似することによって、ベクトル化(パス化)されたデータ(ベクトルデータ)が得られる。このとき、当該グラフィックスと判断されたオブジェクトの位置(ニ値化画像上のグラフィックス領域内の黒画素の位置)に対応する元の原稿画像データの画素について色分布を調べ、当該グラフィックスオブジェクトの代表色を決定する(すなわち、色情報をする)。例えば、色分布に基づいて平均色を取るなどすることにより、代表色を決定することができる。なお、このとき代表色として複数色を選択するようにしてもよい。このようにしてグラフィックス領域に関して得られたベクトル化(パス化)されたデータと代表色情報とを、ステップS315において、その領域に関する領域情報(オブジェクト情報)と関連付けてBOXに保存する。
【0032】
ステップS310でテキスト領域と判断されたオブジェクトに対しては、ステップS311に進んで、当該テキスト領域から文字を1文字ずつ切り出す文字切り処理(文字抽出処理)を行う。文字切り処理は、例えば、文字領域のニ値化画像に対して横方向・縦方向のヒストグラムの分布を調べて文字行を切り出し、更に文字行と垂直な方向のヒストグラムに基づいて文字を切り出すことにより、1文字単位で文字画像を抽出することができる。なお、文字切り処理はこれに限るものではなく、他の公知の技術を使用するようにしてもよい。次に、ステップS312において、S311で切り出した文字画像に対してOCR処理(文字認識処理)を実行し、そのOCR結果の文字コード情報を得る。また、ステップS313において、ステップS311でニ値化画像から切り出した文字画像に対して、ベクトル化処理を実行し、ベクトル化(パス化)されたデータを得る。文字画像に対するベクトル化処理は、例えば、上述したグラフィックス領域に対するベクトル化処理と同様の処理を実行することによりベクトルデータを得ることが可能である。ただし、ベクトル化処理はこれに限るものではなく、他の手法を用いても構わない。例えば、文字画像のフォント種別を識別し、S312で得たOCR結果と組み合わせることにより、当該識別されたフォントのベクトルデータとOCR結果の文字コードとから構成されるベクトルデータを生成できる。更に、このとき、各文字と判断されたオブジェクトの位置(ニ値化画像上の文字領域内の黒画素の位置)に対応する元の原稿画像データの画素について、色分布を調べ、当該グラフィックスオブジェクトの代表色を決定する。例えば、各文字における平均色を取るなどすることにより、代表色(各文字の色情報)を決定することができる。そして、ステップS315において、S312で得たOCR結果の文字コード情報と、S313で得たベクトル化(パス化)されたデータ(ベクトルデータ)と文字の色情報とを、その領域に関する領域情報(オブジェクト情報)と関連付けてBOXに保存する。また、OCR結果から抽出したインデックス(キーワード)をメタデータとして領域情報に格納してもよいし、OCR結果の文字列全体を全文検索時に用いることができるようにしてもよい。
【0033】
ステップS316では、分離されたオブジェクトを領域ごとに分けて表示する。例えば、図4の入力画像(原稿画像)401とその2値化画像402とに対して、S308〜S314のオブジェクト抽出処理を行った場合、各領域の領域情報(オブジェクト情報)とその描画情報(ベクトルデータ或いはJPEG圧縮データ)とが得られる。それらの情報はBOXに格納される。そして、ステップS316では、オブジェクト抽出結果を、図5に示すように、該原稿画像を構成する1つ1つのオブジェクト単位(文字領域、イメージ領域、グラフィックス領域など)で表示することができる。
【0034】
以下では、上述した処理の詳細について述べる。
【0035】
<ニ値化処理(ステップS302〜ステップS307)>
まず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積が予め決定しておいた閾値より大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出し、そして、一定面積以上の白画素の塊がある場合は、更にその白画素の塊の内部から更に黒画素の塊を抽出する。また、反転文字領域に関しては白黒反転して、最終的な2値画像を得る。なお、ニ値化処理はこれに限るものではなく、公知の技術を用いることが可能である。
【0036】
<オブジェクト抽出処理(S308〜S315)>
S308の領域分離処理(オブジェクト分離処理)では、最終的な2値画像から黒画素の塊を抽出し、当該抽出した黒画素の塊を大きさ及び形状で分類し、異なる属性を持つ領域へ分類していく。このとき、所定距離内の黒画素塊は同じ領域であると判断して領域の統合も行う。例えば、縦横比が1に近く、大きさが一定の範囲の領域は文字画像相当の画素塊とし、さらに近接する文字画像相当の画素塊が整列良く並んでいれば、グループ化(統合)して文字領域と判別する。また、不定形の画素塊が散在している領域を写真などのイメージ領域とする。それ以外の任意形状の画素塊をグラフィックス領域とする。なお、本実施形態ではこのようにして分類するものとしたが、これに限るものではなく、公知の領域分離技術を適用することができる。また、領域の属性として表属性(テーブル属性)を更に加えてもよい。この場合、表属性領域内から文字属性領域が抽出できるので、その文字属性部分はOCR処理・ベクトル化処理が行われる。また、文字属性領域以外の表属性領域部分に対しては、グラフィックス領域と同様にベクトル化処理をして、罫線をベクトルデータに変換するようにしてもよい。このようにして、属性毎の領域(オブジェクト)に分離される。
【0037】
S312のOCR処理(文字認識処理)の例について説明する。例えば、テキスト領域から文字単位で切り出された文字画像に対し、パターンマッチングの一手法を用いて文字認識を行い、対応する文字コードを取得する。この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とするものである。特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュブロック内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。なお、テキスト領域に対する文字認識処理を行う場合は、まず、S311で記載したように、テキスト領域に対して横書き/縦書きの判定を行い、判定された方向に基づいて文字列を切り出し、更にその切り出された文字列から文字を切り出して文字画像を取得する。横書き/縦書きの判定は、例えば、各テキスト領域内で、画素値に対する水平/垂直方向の射影を取り、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定する。また、文字列及び文字への分解は、横書きのテキスト領域である場合には、その水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。一方、縦書きのテキスト領域に対しては、水平と垂直を逆にすれば良い。なお、この文字認識処理を行う際に、文字のサイズを検出することもできる。
【0038】
ステップS313のベクトル化処理について説明する。
文字領域に対してベクトル化処理を適用する場合、まず、ステップS313のOCR処理によって得られた文字ブロックの各文字に対してフォント認識処理を行う。フォント認識処理は、例えば、文字認識処理の際に用いる字種数分の辞書特徴ベクトルとして、文字形状種別(すなわちフォント種別)ごとに複数用意し、マッチングの際に文字コードとともにフォント種を出力することで、文字のフォントを認識することができる。そして、文字認識処理及びフォント認識処理によって得られた、文字コード及びフォント情報を用いて、フォント毎にあらかじめ用意されたフォントのアウトラインデータを用いて、文字部分の情報をベクトルデータに変換する。尚、原稿画像が多値画像(カラー画像)の場合は、その多値画像に基づき各文字の代表色を決定してベクトルデータとともに記録する。なお、文字領域のベクトル化処理は、後述するグラフィックス領域に対するベクトル化処理と同様の処理を行って、ベクトルデータを生成するようにしても構わない。また、文字認識結果が合っていると判断した文字画像については、フォントのアウトラインデータを用いたベクトル化処理を実行し、一方、文字認識結果が誤認識している可能性が高いと判断した文字画像に対しては、後述するグラフィック領域と同様の画像輪郭に基づくベクトル化処理を実行するようにしても構わない。
【0039】
グラフィックス領域に対してベクトル化処理を適用する場合、そのグラフィックス領域内で抽出された黒画素塊の輪郭をベクトルデータに変換する。具体的には、輪郭をなす画素の点列を角と看倣される点で区切って、各区間を部分的な直線あるいは曲線で近似する。角とは曲率が所定の閾値より大きくなる点であり、曲率が大となる点は、図6に示すように、任意点Piに対し左右k個の離れた点Pi−k、Pi+kの間に弦を引いたとき、この弦とPIの距離lが所定閾値より大となる点を曲率が大きい点とみなす。また、Pi−k、Pi+k間の{(弦の長さ)/(弧の長さ)}をRとし、Rの値が閾値以下である点を角とみなすようにしてもよい。角によって分割された後の各区間について、直線部分と判断した区間に対しては点列に対する最小二乗法等の計算式を用いて近似し、また、曲線部分と判断した区間に対しては3次スプライン関数等の関数を用いて近似することにより、ベクトルデータを生成することができる。なお、黒画素塊内部の白画素塊に対しても、白画素塊に対するベクトル化処理を同様に行うことによって、ベクトルデータを生成することができる。
【0040】
以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化して、ベクトルデータを生成することができる。尚、原稿画像がカラー画像の場合は、そのカラー画像から図形の色を抽出してベクトルデータとともに記録する。
【0041】
また、上述した例では、図形の輪郭ベクトルデータについて説明したが、線状の図形に関しては、輪郭をそのまま用いるのではなく、線幅情報を有するベクトルデータとして表現するようにしてもよい。例えば、図7に示すように、図形のある区間において2本の輪郭が近接している場合、2つの輪郭線をひとまとめにして、線幅情報を有する1本の線ベクトルデータとして表現することができる。具体的には、ある輪郭の各点Piから別輪郭上で最短距離となる点Qiまで線を引き、その距離PQiが、ある注目区間でほぼ一定の長さであった場合、該注目区間はPQiの中点を点列として直線あるいは曲線で近似し、その線幅はPQiの平均値としたベクトルデータに変換できる。
【0042】
<メタデータ>
図8に示すように、メタデータの構成は、階層的である。例えば、基礎情報801には、オブジェクトが作成された日時や作成者、原稿ID等が記載されている。また、各付加情報には、各オブジェクトの形状や原稿における位置などに関する情報が記載されている。また、OCR結果から作成したキーワードを、付加情報に格納することもできる。このように、メタデータは、1つの原稿画像から抽出した複数のオブジェクトのそれぞれに対して付与された付加情報802−804と、該原稿画像全体に対して付加された基礎情報801とが原稿画像ごとに関連付けられて保持される。
【0043】
また、後述するように、本実施形態では、オブジェクトを検索して再利用することが可能である。更に、検索した結果のオブジェクト群の中から、ユーザの指示に基づいて選択したオブジェクトを組み合わせてレイアウトすることにより、新たな文書を作成することができる。このとき、当該新たな文書を作成する際に用いた各オブジェクトを検索する際に用いた検索キーワードを、一緒にレイアウトされた他のオブジェクトのメタデータにも反映する。このように構成することにより、再度似たようなオブジェクトの組み合わせで、別の新たな文書を作成する必要が生じたとき、その組み合わせを容易に検索できるようになり、再利用する際の操作性が向上する。
【0044】
また、セキュリティに関する情報をメタデータに含むようにしてもよい。この場合、オブジェクトごとに利用可能なユーザを制限することができる。なお、メタデータを付加情報802〜804のように階層的な構成にするのは、階層に応じてセキュリティのレベルを変えることができ、誰でも見える情報や特定のユーザにしか見えない情報を区別するのに便利であるためである。
【0045】
なお、メタデータのフォーマットに関しては、XML等の記述言語が使用されるものとするが、これに限るものではなく、テーブル等を用いて管理するようにしても構わない。
【0046】
<オブジェクト別UI画面表示>
ステップS316で、入力画像に対して、オブジェクトに分離してBOXに保存する処理が行われた結果が、図9のようなUI画面上に表示される。図9は、図4の原稿を領域毎にオブジェクト分離した後、メタデータの生成処理・ベクトルデータ生成処理・BOX保存処理がなされたオブジェクトを、MFPのUI画面901に表示した例である。
【0047】
図4の原稿から抽出した領域オブジェクトは7つで、UI画面901に示したように、オブジェクト903〜909が表示される。また、各領域オブジェクトを選択することにより、その領域に関連付けられているメタデータの内容を参照することも可能である(不図示)。
【0048】
また、902のSENDボタンがユーザにより押下されると、選択中のオブジェクトをPCに送信することが可能である。また、オブジェクトを複数選択し、後述する自動レイアウト処理を実行すると、その選択されたオブジェクトを自動的にレイアウトしたドキュメントを作成することも可能である。
【0049】
図10に自動レイアウト処理UI画面を示す。
図10の画面901内に表示されているオブジェクトは、前述した処理で領域毎に分離されて、BOXに保存処理されたオブジェクトである。図10では、複数の原稿から抽出されてBOXに保存された様々なオブジェクトが表示されている。その各々のオブジェクトに対してチェックボタン(1001〜1012)が用意されており、このチェックボタンは、ユーザが各オブジェクトを選択する際に使用されるユーザインターフェースである。ここで示しているオブジェクトは、前述した記憶部202のBOXに予め保存されていたものである。
【0050】
また、複数のオブジェクトの中から所望のオブジェクトをキーワード検索できるように、キーワードを入力するための検索キー入力欄1013をUI上に具備している。この検索キー入力欄1013に対して入力部204を介してキーワードが入力されると、オブジェクトが検索できる構成になっている。
【0051】
検索は、前述した付加情報(図8)の情報を元におこなう構成である。つまり、各オブジェクトに対して付加された付加情報802〜804と、検索キー入力欄1013に入力されたキーワードとが、一致するか否か判断して検索をおこなう。そして、検索で付加情報が一致したオブジェクトを画面901内に表示する。
【0052】
また、自動レイアウトボタン1014がユーザにより押下されると、チェックボタン1001〜1012で選択されているオブジェクトを自動的にレイアウトして、新たな原稿を作成する。
【0053】
以下では、具体例を用いて説明する。図11は、入力部204を介して「デジタルカメラ」というキーワードがキー入力欄1101に入力され、通常の検索ボタン1016が押下され、検索処理が実行された状態を示している。図11の画面901内に表示されている複数のオブジェクト1102〜1107は、キーワード検索でヒットした結果の例をあらわしている。
【0054】
一方、図12は、「自然」というキーワードがキー入力欄1201に入力され、オブジェクトの検索処理を実行した結果の例を示している。ここでは、キーワード検索した結果として、6つのオブジェクト1202〜1207が表示された例を示す。
【0055】
なお、図11と図12の画面は、検索キーワードを入力することで、画面表示を切り替えることが可能である。また、それぞれの検索結果を一時保存しておき、不図示の検索結果画面切り替えボタンを操作することで、検索結果を切り替え表示できるようにしてもよい。
【0056】
次に、オブジェクト選択操作について、図13、14を用いて説明する。
【0057】
図13は、図11の「デジタルカメラ」というキーワードで検索した結果を示す画面901において、チェックボタン1301〜1306を用いてオブジェクトを選択している様子を示す。図13の例では、4つのオブジェクト(1302、1304、1305、1306)が選択されている状態を示している。
【0058】
図14は、図12の「自然」というキーワードで検索した結果において、いくつかのオブジェクトが選択されている状態を示している。図14では、3つのオブジェクト(1401、1403、1404)が選択されている。
【0059】
図13、図14で説明したように、本実施例では合計7つのオブジェクトを選択している。そして、これらのオブジェクトを組み合わせてレイアウトすることによって新たな原稿を作成することを、本実施例では「再レイアウト」処理と呼ぶことにする。すなわち、再レイアウトとは、1乃至複数のキーワードによって検索された複数のオブジェクトの中から、ユーザの操作により選択されたオブジェクトを用いて新たな原稿を生成することを示す。また、この「再レイアウト」処理に関して、選択されたオブジェクトを自動的に配置して、新たな原稿を生成することを特に「自動レイアウト(自動再レイアウト)」と呼ぶことにする。これに対し、ユーザによる配置位置の指示に基づいて、該選択されたオブジェクトを配置していくことにより新たな原稿を生成する場合は、「手動レイアウト(手動再レイアウト)」と呼ぶことにする。
【0060】
図13や図14に示した自動レイアウトボタン(AUTO LAYOUTボタン)1014がユーザによって押下されると、そのときに選択されているオブジェクトが自動的にレイアウトされて、新しい原稿が生成される。この「自動レイアウト」処理を実行した結果を図15に示す。1501のプレビュー画面には、自動レイアウト処理で生成された新しい原稿が表示される。この新しい原稿は、図13や図14で選択されたオブジェクト(1302、1304、1305、1306、1401、1403、1404)を組み合わせてレイアウトした結果を示している。このとき、編集ボタン(EDITボタン)1502がユーザによって押下されると、プレビュー画面に表示されている原稿内のオブジェクトの位置や大きさをユーザの指示にしたがって修正可能になるものとする。更に、保存ボタン(SAVEボタン)1503がユーザにより押下されると、そのときにプレビュー表示されているレイアウトの原稿を、新たな原稿として保存する。そして、その新たな原稿のレイアウト時に用いたオブジェクトの組み合わせに関する情報(各オブジェクトを検索する際に用いたキーワードや、グループIDなど)をグループ情報として、図8の付加情報に追加保存する。このグループ情報を保存しておくことにより、後に、同様の組み合わせで原稿を作成したい場合や、組み合わせに用いるオブジェクトの参考の候補として利用することが可能になる。
【0061】
図16は、新たな原稿を作成した際に各オブジェクトに付加された付加情報の例である。図16において、1601と1606はオブジェクトの一例である。1602と1607は、元原稿から各オブジェクトを抽出して作成した際に付加された基礎情報である。1603と1608は、元原稿から各オブジェクトを抽出して作成した際に、OCR結果やユーザによるキー入力に基づいて、各オブジェクトに付加されたキーワードである。1603〜1605と1609〜1611は、各オブジェクトを再利用して新たな原稿を作成した際に追加された情報であり、グループIDや新たな原稿の作成時に使用されたキーワード、各グループで再利用された回数などが付加されている。なお、グループIDは、新たな原稿を作成・保存するたびに自動的に付与される番号であるものとする。オブジェクト1601と1606は、グループID=1の原稿を作成した際に同時に使用されたので、それぞれに、付加情報1604と1609が付加されている。また、グループID=2の原稿を作成した際も、オブジェクト1601と1606が使用されたので、付加情報1605と1610が付加されている。また、グループID=3の原稿を作成した際、オブジェクト1601は使用されておらず、オブジェクト1606は使用されたので、オブジェクト1606には付加情報1611が付加されている。
【0062】
つまり、各オブジェクトの付加情報部に、原稿作成時に同時に使われたグループが記載され、紐付けが行われていることになる。更に、原稿作成時に利用されたキーワードも一緒に格納しているので、当該オブジェクトと共に使用された別のオブジェクトの検索に用いたキーワードも関連付けられていることになる。これにより、例えば、元々は「自然」というキーワードが関連付けられていないオブジェクト(例えば1601)に対して、グループ作成時に用いたキーワード「自然」がグループのキーワードとして付加されることになる。したがって、オブジェクト1601は、元々付加されているキーワードだけでは、「自然」というキーワードでは検索されないが、グループ検索を行う際には「自然」というキーワードで検索されうる。したがって、グループの関連性に基づいて各オブジェクトを検索することができるので、オブジェクトの再利用性が向上する。
【0063】
図17は、検索キー入力欄1701(図10の1013)に「デジタルカメラ」というキーワードが入力され、グループ検索ボタン1702(図10の1017)がユーザにより押下されたときのグループ検索の結果を表示する画面の一例である。
【0064】
通常の検索ボタン1016が押下された場合は、各オブジェクトに元々付加されているキーワード(例えば、図16の1603や1608)に基づいて検索が行われるので、図11に示したような検索結果となる。一方、グループ検索ボタン1702が押下された場合は、元々のキーワードと共に、グループIDとグループキーワード(例えば、図16の1604〜1605、1609〜1611)も用いて検索が行われ、図17に示したような検索結果となる。すなわち、図17では、過去の再レイアウトで原稿を作成した際の組み合わせにおいて利用されたオブジェクトも一緒に表示されることになる。
【0065】
図17において、1703の縦の列は、各オブジェクトに元々付加されているキーワードに基づいて検索した結果の検索一致度が高い順に、各オブジェクトが縦方向に並べられて表示される。そして、1703の列の各オブジェクトが以前に再利用された際の各グループに含まれる別のオブジェクトがその右側に隣接する関連オブジェクト表示欄1704に表示される。例えば、図16のオブジェクト1601が検索され、そのオブジェクト1601に関連するグループID=1に属する他のオブジェクトが、図17の関連オブジェクト表示欄の1行目に表示されている。また、オブジェクト1601に関連するグループID=2に属する他のオブジェクトは、図17の関連オブジェクト表示欄の2行目に表示されている。このように、各グループは、グループ別に表示される。また、表示されているオブジェクトごとに、各オブジェクトを選択するためのチェックボックスが設けられている。更に、関連オブジェクト表示欄1704の右側にあるグループ情報欄1705には、グループ単位でまとめて選択するためのチェックボックスと、グループIDと、以前の検索時に利用された1701以外のキーワードが表示される。
【0066】
なお、グループ情報欄1705に表示されているキーワード(すなわち、グループ化されたオブジェクトを検索するのに用いたキーワード)をユーザがクリックすると、当該クリックされたキーワードをキーにして通常検索が行われるものとする。すなわち、ユーザはオブジェクト1703と過去に一緒に使ったオブジェクト1704を検索する際に用いたキーワードを使って簡単に検索できる。類似するオブジェクトには同じキーワードが付加されていることが多いので、過去に一緒に使ったオブジェクトに類似する別のオブジェクトも容易に検索することができ、オブジェクトを利用しやすくなる。
【0067】
また、検索されたオブジェクト1703に関連する各グループは、グループとしての使用回数が高いグループを上位に表示する。使用回数が同じグループに関しては、検索キーワード1701と同じキーワードが元々付加されている関連オブジェクトの数が多いグループを上位に表示する。図17において、検索キーワード1701と同じキーワードが元々付加されている関連オブジェクトの背景色(図17では斜線で示している)は同じ色が表示されている。すなわち、検索キーワードで検索されたオブジェクト1703の背景色と、関連するグループに含まれるオブジェクトのうち、同じキーワードが元々付加されているオブジェクトの背景色は同じである。なお、図17では、同じキーワードが元々付加されているオブジェクトが表示されている領域の背景色は同じであるものとしたが、色に限るものではない。例えば、背景の模様や記号などを用いて同じかどうか識別可能に表示するものであってもよい。
【0068】
図18は、検索キーワードが入力されて、グループ検索ボタンが押下されたときに行われるグループ検索処理のフローチャートである。
【0069】
ステップS1801では、入力された検索キーワードと各オブジェクトに付加されているキーワードとに基づいて、オブジェクトを検索し、検索結果の一致度が高いものから順にソートする。そして、まず、1番目のオブジェクトを関連グループ検索対象としてステップS1802に進む。
【0070】
ステップS1802では、対象となっているオブジェクトの付加情報に基づいて、関連グループに関する情報(グループID、使用回数など)を検索する。そして、ステップS1803では、グループIDに基づいて、各関連グループに属する他のオブジェクトを検索する。
【0071】
ステップS1804では、関連グループに関する情報と各関連グループに属する他のオブジェクトに関する情報とに基づいて、グループのソートを行う。ここでは、関連グループの使用回数や、各関連グループに属する他のオブジェクトに付加されているキーワードに基づいて、使用される可能性が高いグループが上位になるようにソートする。
【0072】
ステップS1805では、ステップS1801の検索結果における次のオブジェクトがあれば、そのオブジェクトを関連グループ検索対象として、ステップS1802に戻る。
【0073】
ステップS1806では、検索キーワードによる検索結果のオブジェクトと、そのオブジェクトに関連するグループの情報と、各グループに属する他のオブジェクトとを、ソート順にしたがって表示する。この結果、図17のような表示がなされる。
【0074】
図17の結果表示画面において、ユーザは、各オブジェクトのチェックボックスや各グループのチェックボックスをチェックすることで、所望のオブジェクトを選択できる。そして、自動レイアウトボタンを押すと、その選択した所望のオブジェクトを用いて新たな原稿を作成することができる。
【0075】
以上説明したように、本発明によれば、各オブジェクトに対してキーワードとともに、再利用した際のグループ情報を関連付けて記憶しておくことにより、図17のような過去の使用履歴に基づくグループ検索を行うことができる。過去に使用された組み合わせは、その後に同じ組み合わせや似たような組み合わせで再利用されることが多いので、図17のような表示を行うことで、オブジェクトの検索性・操作性があがり、再利用しやすくなる。
【0076】
(実施形態2)
実施形態2では、グループに関する付加情報(例えば、1604〜1605、1609〜1611)に、該グループでの再利用時に加工されたオブジェクトの形状も同時に記憶しておくことを特徴とする。加工される形状とは、例えば拡縮や変形や回転などである。
【0077】
そして、図17のようにグループ検索結果を表示する際に、過去の再利用時に加工された形状に基づいて、各オブジェクトを表示するものとする。各オブジェクトは、再利用される度に加工される形状(例えば拡縮や変形や回転など)が異なる場合もあるが、最も多く加工された形状でもって表示する。
【0078】
これにより、ユーザは、過去に利用されたオブジェクト形状が分かるので、再レイアウト処理で新たな原稿を生成する際のレイアウトの参考として利用することができる。
【0079】
また、一番多く再利用されている形状は、再利用時にお勧めの形状であることが多いと考えられるので、再利用性も向上する。
【0080】
(その他の実施形態)
上述した実施形態1〜2では、MFP(複合機)の制御部において検索や表示などの制御が行われるものとした。MFPの制御部はCPU(コンピュータ)を含み、コンピュータ読み取り可能な記憶媒体(例えば、ハードディスク)に記憶されているコンピュータプログラムを読み込んで実行することにより、上述した検索や表示の処理を行うものとする。すなわち、コンピュータは、プログラムを実行することにより、各処理を行うための制御手段として機能することになる。
【0081】
なお、本発明は、MFPに限るものではなく、例えば、MFPに接続されているコンピュータもしくは汎用パソコンのコンピュータが、プログラムを実行することにより、上述したような処理を実現することによっても達成される。
【0082】
また、本発明は、コンピュータがコンピュータプログラムを実行することにより実現されるものとしたが、処理の一部または全部を電気回路などのハードウェアで実現できるようにしても構わない。その場合、各ハードウェアが各処理を行うための制御手段として機能することになる。
【0083】
以上説明したように、本発明によれば、過去に一緒に使用したオブジェクト群の情報をグループとして記憶しておくことにより、オブジェクトに関連するグループの検索が可能となりオブジェクトの再利用性が向上する。
【0084】
これにより、保存されているオブジェクトの中から所望のオブジェクトを検索することが容易になるので、オブジェクトを再利用して新たな原稿を作成することが更に容易になる。
【0085】
また、単なるキーワード検索だけでは見つけることができなかった有用なオブジェクトを簡単に見つけられる可能性が高くなる。
【図面の簡単な説明】
【0086】
【図1】実施形態1の画像処理システムの構成を示すブロック図
【図2】実施形態1のMFPの詳細構成を示すブロック図
【図3】領域分離に関するフローチャート
【図4】読み取り原稿のイメージ
【図5】読み取り原稿をオブジェクト分離したイメージ
【図6】ベクトル化処理を説明するための図
【図7】ベクトル化処理を説明するための図
【図8】メタデータの構成の一例を示す図
【図9】MFPのUI画面に表示される一例を示す図
【図10】自動レイアウト処理に関するUI画面
【図11】オブジェクト検索結果を示すUI画面1
【図12】オブジェクト検索結果を示すUI画面2
【図13】オブジェクト選択を示すUI画面1
【図14】オブジェクト選択を示すUI画面2
【図15】自動レイアウト結果を示すUI画面
【図16】本発明にかかるオブジェクトの関連を示すメタデータの構成例
【図17】本発明にかかる実施形態1のグループ検索結果
【図18】グループ検索のフローチャート
【技術分野】
【0001】
本発明は、原稿画像から抽出した複数のオブジェクトをユーザが再利用しやすくなるように、オブジェクトの検索性や操作性を向上させるためのものである。
【背景技術】
【0002】
近年の複写機は、内部画像処理のデジタル化によって、目覚しいスピードで多機能化が進んでいる。例えば、原稿を複写するコピー機能や、ホストコンピュータで作成した文書のプリントが可能なPDLプリント機能や、スキャンした原稿を、ネットワークを介して複写機外部に送信するSEND機能などがある。更に、コピー時やPDLプリント時に生成される原稿画像を複写機内部のハードディスクに保存して再利用を可能とするBOX機能(ストレージ機能)や、BOX機能によって複写機内部に保存した原稿画像を利用して合成や製本などの編集を行う編集機能などもある。このように、数え切れないほどの機能を有している。
【0003】
一方で、画像の品質に対する要求も高く、原稿の高い再現性を求めるあまり、複写機内部の画像処理解像度は600dpiから1200dpi、2400dpiへと増加している。また、信号のビット数も8bitから10bit、12bitへと増加の一途を辿っている。このように膨れ上がった情報量を持つ内部処理用のビットマップデータを処理するために、メモリやストレージの追加、高性能なCPUへの置き換えなどが必要になり、機器や開発のコストの増加が無視できない状況になっている。
【0004】
こうした中で、読み取った原稿をオブジェクト単位に分離した状態で再利用しやすいように保存しておく技術が考えられている。特許文献1では、文書中にある写真や図表等の文書要素に分離して登録しておき、この文書要素を検索して表示できるようにしている。また、特許文献2では、原稿内の部品ごとにベクトルデータに変換し、部品ごとに適したファイル形式のファイルを作成することが記載されている。
【0005】
また一方、データベースに登録されている画像などのデータを見やすく一覧表示することも考えられている。例えば、特許文献3では、データベースに登録されているカードデータに対して、小サイズと大サイズの縮小イメージを作成しておき、場合に応じて表示を切り替えたり、カード間でリンクを張ったりすることが記載されている。また、特許文献4では、表示する画像の数を指定することができ、元画像のサイズに関わらず、表示領域のサイズに応じた大きさに拡大縮小して表示することが記載されている。
【特許文献1】特開平06−162104号公報
【特許文献2】特開2006−146486号公報
【特許文献3】特開平05−257788号公報
【特許文献4】特開2000−040142号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
一方、分離されたオブジェクト(文書要素)を再利用する際は、複数の異なるオブジェクトを組み合わせて用いて新たな文書を作成することが多くなると考えられる。また、再利用の際、同じ組み合わせでオブジェクトを再利用する機会も多くなると考えられる。一方、特許文献1〜4の技術では、そのような特徴については考慮していなかった。
【0007】
本発明は、ユーザが再利用するオブジェクトを容易に見つけることができ、再利用しやすい環境を提供できるようにすることを目的の1つとする。
【課題を解決するための手段】
【0008】
本発明の画像処理装置は、オブジェクトを検索する検索手段と、ユーザの指示に基づいて、前記検索手段で検索されたオブジェクトの中から、複数のオブジェクトを選択する選択手段と、前記選択手段で選択された複数のオブジェクトを用いて、新たな原稿を作成する作成手段と、前記作成手段で新たな原稿を作成する際に用いた複数のオブジェクトをグループとして、当該グループに関する情報を前記複数のオブジェクトに関連付けて保存する保存手段と、を備える画像処理装置であって、前記検索手段は、キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、前記グループに関する情報に基づいて検索することを特徴とする。
【発明の効果】
【0009】
本発明によれば、各オブジェクトに対してキーワードとともに、再利用した際のグループ情報を関連付けて記憶しておくことにより、オブジェクトに関連するグループの検索が可能となる。過去に使用された組み合わせは、その後に同じ組み合わせや似たような組み合わせで再利用されることが多いと考えられるので、オブジェクトの検索性・操作性があがり、再利用しやすくなる。
【0010】
また、単なるキーワード検索だけでは見つけることができなかった有用なオブジェクトを簡単に見つけられる可能性が高くなる。
【発明を実施するための最良の形態】
【0011】
(実施形態1)
図1は本発明の実施形態1の画像処理システム10の構成例を示すブロック図である。なお、図1の構成は一例であり、これに限るものではない。
【0012】
この画像処理システムは、インターネット等のネットワーク104とプロキシサーバ103を介して、オフィス内のLAN107と接続されている。また、LAN107には、複数種類の機能(複写機能、印刷機能、送信機能等)を有する複合機(MFP)100、MFP100と通信可能なクライアントPC102、データベース105、及びプロキシサーバ103などが接続されている。
【0013】
また、クライアントPC102の各種端末は、汎用コンピュータに搭載される標準的な構成要素(例えば、CPU、RAM、ROM、ハードディスク、外部記憶装置、ディスプレイ、キーボード、マウス等)で構成されているものとする。
【0014】
図2は本発明の実施形態1のMFP100の詳細構成を示すブロック図である。画像読取部201は、オートドキュメントフィーダ(ADF)を備えたスキャナであり、複数枚あるいは1枚からなる原稿画像を読み取り、所定解像度(600dpi等)のビットマップデータとして得る。
【0015】
また、印刷部203は、画像読取信号に対応する画像を記録媒体に印刷する複写機能を有し、原稿画像を1つ複写する場合には、画像読取信号をデータ処理部206で画像処理して記録信号を生成させ、これを記録媒体上に印刷させる。一方、1枚の原稿画像から複数枚複写する場合には、記憶部202に1ページ分の記録信号を一時記憶させ、これを印刷部203に複数回出力して記録媒体上に印刷させる。
【0016】
ネットワークI/F205は、画像読取部201から得たビットマップデータを後述する処理によってオブジェクトデータに変換してデータベース105に送信する際に利用される。また、ネットワークI/F205は、データベース105に保存されているオブジェクトデータを再利用のため受信する際や、XPSやPDF等のベクトルデータファイル形式の画像ファイルに変換してクライアントPC102へ送信する際などにも利用される。
【0017】
また、データ処理装置206は、クライアントPC102からの印刷データをネットワークI/F205経由で受信し、当該受信した印刷データを印刷部203で印刷可能な記録信号に変換する。そして、印刷部203は、当該記録信号に基づいて印刷媒体上に画像を形成する。
【0018】
入力部204は、操作者からの指示を入力するためのインターフェースで、ここから入力された指示に基づいて、制御部は各種処理を実行するように制御する。また、これらの動作はデータ処理部206内の制御部(不図示のCPU等)によって制御される。また、ユーザの操作入力が行われる際の状態表示や、画像検索時や編集処理時などの画像データの表示は、表示部207で行われる。
【0019】
また、記憶部202は、後述する処理によって得られるオブジェクトデータを記憶するハードディスクや、データ処理部において各種画像処理を実行する際に利用される画像処理用バッファメモリなどから構成される。また、そのオブジェクトデータに基づく画像編集を行う場合に用いる画像編集用バッファメモリなどもある。
【0020】
<原稿画像のオブジェクト(領域)分離>
図3に原稿画像のオブジェクト分離に関する全体をフローチャートで示す。
【0021】
まず、ステップS301では、原稿がスキャナにより読み込まれ、スキャン時の画像処理が施されて、原稿画像データ(多値の入力画像データ)が得られる。なお、スキャナ時の画像処理とは、色処理やフィルタ処理を指す。なお、本実施例では、ステップS301において原稿画像データの入力として、紙原稿のスキャンによって得られた原稿画像データを対象として説明したが、これに限るものではない。例えば、PCからネットワークを介して受信した画像データを、前記原稿画像データとして入力されたものとしてもよい。
【0022】
ステップS302では、画像の色値分布を調べるためにヒストグラムを生成する。当該生成されたヒストグラムに基づいて、次のステップS303では、二値化処理に用いる二値化閾値を決定する。ステップS304では、ステップS303で決定した二値化閾値を用いて二値化処理を実行して、ニ値化画像を得る。
【0023】
ステップS305では、ステップS304のニ値化処理で得たニ値化画像において、黒画素となった部分を検出する。例えば、公知の黒画素の輪郭追跡処理あるいはラベリング処理などの技術により、黒画素部分を検出する。
【0024】
ステップS306では、抽出された黒画素領域内部を解析して、この黒画素領域内部に反転文字(黒の背景に白文字)を含むかどうかを解析する。例えば、黒画素領域内の黒画素数と白画素数とを比較し、黒画素数の方が白画素数より多ければ、更に連結白画素のサイズが予め定めた文字サイズの範囲内であるか判定し、範囲内であれば、反転文字を含むと判定する。
【0025】
そして、ステップS307において、反転文字を含むと判定した場合は、当該反転文字を含む黒画素領域部分を白黒反転し、最終的な二値化画像を生成する。
【0026】
なお、ステップS302〜S307によるニ値化処理は、公知のニ値化処理を用いることができる。例えば、図4の入力画像401に対してニ値化処理を行って、最終的なニ値化画像402が得られる。
【0027】
ステップS308では、最終的な二値化画像を、属性毎の領域(イメージ領域、グラフィックス領域、テキスト領域など)に分割する。ニ値化画像に対する領域分割処理は公知の技術を用いることが可能である。このようにして、ニ値化画像内に含まれる属性毎の領域(オブジェクト)の位置を判別する。
【0028】
ステップS309では、S308の領域分割処理で判別された領域(オブジェクト)それぞれに対して、その領域属性情報と位置情報とを含む領域情報(オブジェクト情報)を生成する。更に、入力画像ごとに付与する原稿画像ID(識別子)や、当該画像の入力時刻(例えばスキャンした時刻)などを、オブジェクトの検索時に用いる付加情報(インデックス情報)として生成し、当該オブジェクト情報に付加する。したがって、同じ原稿画像から抽出した領域(オブジェクト)に対しては、同じ原稿画像IDが付与されることになる。
【0029】
ステップS310では、領域情報に格納された各領域の属性を判断する。判断した属性に応じてステップS311〜S314の処理を行った後、ステップS315で各領域に関する情報を記憶部202のBOXに保存する。なお、本実施形態では、原稿画像や領域オブジェクトなどの情報が格納される記憶領域(ストレージやデータベース)をBOXと呼ぶこととする。
【0030】
ステップS310でイメージ領域と判断された領域オブジェクトに対しては、ステップS314において、当該領域の位置情報に基づいて元の原稿画像データからそのイメージ領域部分を抽出し、当該抽出したイメージ領域の多値画像に対してJPEG圧縮を行う。その後、ステップS315では、当該JPEG圧縮されたイメージ領域のデータをその領域に関する領域情報(オブジェクト情報)と関連付けてBOXに保存する。
【0031】
ステップS310でグラフィックス領域と判断された領域オブジェクトに対しては、ステップS313にて、当該領域の情報に基づいてニ値化画像からグラフィックス領域部分を抽出し、当該抽出したグラフィックス領域のニ値化画像に対してベクトル化処理を行う。ベクトル化処理では、例えば、ニ値化画像の黒画素の輪郭(アウトライン)を検出して直線及び曲線で関数近似することによって、ベクトル化(パス化)されたデータ(ベクトルデータ)が得られる。このとき、当該グラフィックスと判断されたオブジェクトの位置(ニ値化画像上のグラフィックス領域内の黒画素の位置)に対応する元の原稿画像データの画素について色分布を調べ、当該グラフィックスオブジェクトの代表色を決定する(すなわち、色情報をする)。例えば、色分布に基づいて平均色を取るなどすることにより、代表色を決定することができる。なお、このとき代表色として複数色を選択するようにしてもよい。このようにしてグラフィックス領域に関して得られたベクトル化(パス化)されたデータと代表色情報とを、ステップS315において、その領域に関する領域情報(オブジェクト情報)と関連付けてBOXに保存する。
【0032】
ステップS310でテキスト領域と判断されたオブジェクトに対しては、ステップS311に進んで、当該テキスト領域から文字を1文字ずつ切り出す文字切り処理(文字抽出処理)を行う。文字切り処理は、例えば、文字領域のニ値化画像に対して横方向・縦方向のヒストグラムの分布を調べて文字行を切り出し、更に文字行と垂直な方向のヒストグラムに基づいて文字を切り出すことにより、1文字単位で文字画像を抽出することができる。なお、文字切り処理はこれに限るものではなく、他の公知の技術を使用するようにしてもよい。次に、ステップS312において、S311で切り出した文字画像に対してOCR処理(文字認識処理)を実行し、そのOCR結果の文字コード情報を得る。また、ステップS313において、ステップS311でニ値化画像から切り出した文字画像に対して、ベクトル化処理を実行し、ベクトル化(パス化)されたデータを得る。文字画像に対するベクトル化処理は、例えば、上述したグラフィックス領域に対するベクトル化処理と同様の処理を実行することによりベクトルデータを得ることが可能である。ただし、ベクトル化処理はこれに限るものではなく、他の手法を用いても構わない。例えば、文字画像のフォント種別を識別し、S312で得たOCR結果と組み合わせることにより、当該識別されたフォントのベクトルデータとOCR結果の文字コードとから構成されるベクトルデータを生成できる。更に、このとき、各文字と判断されたオブジェクトの位置(ニ値化画像上の文字領域内の黒画素の位置)に対応する元の原稿画像データの画素について、色分布を調べ、当該グラフィックスオブジェクトの代表色を決定する。例えば、各文字における平均色を取るなどすることにより、代表色(各文字の色情報)を決定することができる。そして、ステップS315において、S312で得たOCR結果の文字コード情報と、S313で得たベクトル化(パス化)されたデータ(ベクトルデータ)と文字の色情報とを、その領域に関する領域情報(オブジェクト情報)と関連付けてBOXに保存する。また、OCR結果から抽出したインデックス(キーワード)をメタデータとして領域情報に格納してもよいし、OCR結果の文字列全体を全文検索時に用いることができるようにしてもよい。
【0033】
ステップS316では、分離されたオブジェクトを領域ごとに分けて表示する。例えば、図4の入力画像(原稿画像)401とその2値化画像402とに対して、S308〜S314のオブジェクト抽出処理を行った場合、各領域の領域情報(オブジェクト情報)とその描画情報(ベクトルデータ或いはJPEG圧縮データ)とが得られる。それらの情報はBOXに格納される。そして、ステップS316では、オブジェクト抽出結果を、図5に示すように、該原稿画像を構成する1つ1つのオブジェクト単位(文字領域、イメージ領域、グラフィックス領域など)で表示することができる。
【0034】
以下では、上述した処理の詳細について述べる。
【0035】
<ニ値化処理(ステップS302〜ステップS307)>
まず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積が予め決定しておいた閾値より大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出し、そして、一定面積以上の白画素の塊がある場合は、更にその白画素の塊の内部から更に黒画素の塊を抽出する。また、反転文字領域に関しては白黒反転して、最終的な2値画像を得る。なお、ニ値化処理はこれに限るものではなく、公知の技術を用いることが可能である。
【0036】
<オブジェクト抽出処理(S308〜S315)>
S308の領域分離処理(オブジェクト分離処理)では、最終的な2値画像から黒画素の塊を抽出し、当該抽出した黒画素の塊を大きさ及び形状で分類し、異なる属性を持つ領域へ分類していく。このとき、所定距離内の黒画素塊は同じ領域であると判断して領域の統合も行う。例えば、縦横比が1に近く、大きさが一定の範囲の領域は文字画像相当の画素塊とし、さらに近接する文字画像相当の画素塊が整列良く並んでいれば、グループ化(統合)して文字領域と判別する。また、不定形の画素塊が散在している領域を写真などのイメージ領域とする。それ以外の任意形状の画素塊をグラフィックス領域とする。なお、本実施形態ではこのようにして分類するものとしたが、これに限るものではなく、公知の領域分離技術を適用することができる。また、領域の属性として表属性(テーブル属性)を更に加えてもよい。この場合、表属性領域内から文字属性領域が抽出できるので、その文字属性部分はOCR処理・ベクトル化処理が行われる。また、文字属性領域以外の表属性領域部分に対しては、グラフィックス領域と同様にベクトル化処理をして、罫線をベクトルデータに変換するようにしてもよい。このようにして、属性毎の領域(オブジェクト)に分離される。
【0037】
S312のOCR処理(文字認識処理)の例について説明する。例えば、テキスト領域から文字単位で切り出された文字画像に対し、パターンマッチングの一手法を用いて文字認識を行い、対応する文字コードを取得する。この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とするものである。特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュブロック内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。なお、テキスト領域に対する文字認識処理を行う場合は、まず、S311で記載したように、テキスト領域に対して横書き/縦書きの判定を行い、判定された方向に基づいて文字列を切り出し、更にその切り出された文字列から文字を切り出して文字画像を取得する。横書き/縦書きの判定は、例えば、各テキスト領域内で、画素値に対する水平/垂直方向の射影を取り、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定する。また、文字列及び文字への分解は、横書きのテキスト領域である場合には、その水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。一方、縦書きのテキスト領域に対しては、水平と垂直を逆にすれば良い。なお、この文字認識処理を行う際に、文字のサイズを検出することもできる。
【0038】
ステップS313のベクトル化処理について説明する。
文字領域に対してベクトル化処理を適用する場合、まず、ステップS313のOCR処理によって得られた文字ブロックの各文字に対してフォント認識処理を行う。フォント認識処理は、例えば、文字認識処理の際に用いる字種数分の辞書特徴ベクトルとして、文字形状種別(すなわちフォント種別)ごとに複数用意し、マッチングの際に文字コードとともにフォント種を出力することで、文字のフォントを認識することができる。そして、文字認識処理及びフォント認識処理によって得られた、文字コード及びフォント情報を用いて、フォント毎にあらかじめ用意されたフォントのアウトラインデータを用いて、文字部分の情報をベクトルデータに変換する。尚、原稿画像が多値画像(カラー画像)の場合は、その多値画像に基づき各文字の代表色を決定してベクトルデータとともに記録する。なお、文字領域のベクトル化処理は、後述するグラフィックス領域に対するベクトル化処理と同様の処理を行って、ベクトルデータを生成するようにしても構わない。また、文字認識結果が合っていると判断した文字画像については、フォントのアウトラインデータを用いたベクトル化処理を実行し、一方、文字認識結果が誤認識している可能性が高いと判断した文字画像に対しては、後述するグラフィック領域と同様の画像輪郭に基づくベクトル化処理を実行するようにしても構わない。
【0039】
グラフィックス領域に対してベクトル化処理を適用する場合、そのグラフィックス領域内で抽出された黒画素塊の輪郭をベクトルデータに変換する。具体的には、輪郭をなす画素の点列を角と看倣される点で区切って、各区間を部分的な直線あるいは曲線で近似する。角とは曲率が所定の閾値より大きくなる点であり、曲率が大となる点は、図6に示すように、任意点Piに対し左右k個の離れた点Pi−k、Pi+kの間に弦を引いたとき、この弦とPIの距離lが所定閾値より大となる点を曲率が大きい点とみなす。また、Pi−k、Pi+k間の{(弦の長さ)/(弧の長さ)}をRとし、Rの値が閾値以下である点を角とみなすようにしてもよい。角によって分割された後の各区間について、直線部分と判断した区間に対しては点列に対する最小二乗法等の計算式を用いて近似し、また、曲線部分と判断した区間に対しては3次スプライン関数等の関数を用いて近似することにより、ベクトルデータを生成することができる。なお、黒画素塊内部の白画素塊に対しても、白画素塊に対するベクトル化処理を同様に行うことによって、ベクトルデータを生成することができる。
【0040】
以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化して、ベクトルデータを生成することができる。尚、原稿画像がカラー画像の場合は、そのカラー画像から図形の色を抽出してベクトルデータとともに記録する。
【0041】
また、上述した例では、図形の輪郭ベクトルデータについて説明したが、線状の図形に関しては、輪郭をそのまま用いるのではなく、線幅情報を有するベクトルデータとして表現するようにしてもよい。例えば、図7に示すように、図形のある区間において2本の輪郭が近接している場合、2つの輪郭線をひとまとめにして、線幅情報を有する1本の線ベクトルデータとして表現することができる。具体的には、ある輪郭の各点Piから別輪郭上で最短距離となる点Qiまで線を引き、その距離PQiが、ある注目区間でほぼ一定の長さであった場合、該注目区間はPQiの中点を点列として直線あるいは曲線で近似し、その線幅はPQiの平均値としたベクトルデータに変換できる。
【0042】
<メタデータ>
図8に示すように、メタデータの構成は、階層的である。例えば、基礎情報801には、オブジェクトが作成された日時や作成者、原稿ID等が記載されている。また、各付加情報には、各オブジェクトの形状や原稿における位置などに関する情報が記載されている。また、OCR結果から作成したキーワードを、付加情報に格納することもできる。このように、メタデータは、1つの原稿画像から抽出した複数のオブジェクトのそれぞれに対して付与された付加情報802−804と、該原稿画像全体に対して付加された基礎情報801とが原稿画像ごとに関連付けられて保持される。
【0043】
また、後述するように、本実施形態では、オブジェクトを検索して再利用することが可能である。更に、検索した結果のオブジェクト群の中から、ユーザの指示に基づいて選択したオブジェクトを組み合わせてレイアウトすることにより、新たな文書を作成することができる。このとき、当該新たな文書を作成する際に用いた各オブジェクトを検索する際に用いた検索キーワードを、一緒にレイアウトされた他のオブジェクトのメタデータにも反映する。このように構成することにより、再度似たようなオブジェクトの組み合わせで、別の新たな文書を作成する必要が生じたとき、その組み合わせを容易に検索できるようになり、再利用する際の操作性が向上する。
【0044】
また、セキュリティに関する情報をメタデータに含むようにしてもよい。この場合、オブジェクトごとに利用可能なユーザを制限することができる。なお、メタデータを付加情報802〜804のように階層的な構成にするのは、階層に応じてセキュリティのレベルを変えることができ、誰でも見える情報や特定のユーザにしか見えない情報を区別するのに便利であるためである。
【0045】
なお、メタデータのフォーマットに関しては、XML等の記述言語が使用されるものとするが、これに限るものではなく、テーブル等を用いて管理するようにしても構わない。
【0046】
<オブジェクト別UI画面表示>
ステップS316で、入力画像に対して、オブジェクトに分離してBOXに保存する処理が行われた結果が、図9のようなUI画面上に表示される。図9は、図4の原稿を領域毎にオブジェクト分離した後、メタデータの生成処理・ベクトルデータ生成処理・BOX保存処理がなされたオブジェクトを、MFPのUI画面901に表示した例である。
【0047】
図4の原稿から抽出した領域オブジェクトは7つで、UI画面901に示したように、オブジェクト903〜909が表示される。また、各領域オブジェクトを選択することにより、その領域に関連付けられているメタデータの内容を参照することも可能である(不図示)。
【0048】
また、902のSENDボタンがユーザにより押下されると、選択中のオブジェクトをPCに送信することが可能である。また、オブジェクトを複数選択し、後述する自動レイアウト処理を実行すると、その選択されたオブジェクトを自動的にレイアウトしたドキュメントを作成することも可能である。
【0049】
図10に自動レイアウト処理UI画面を示す。
図10の画面901内に表示されているオブジェクトは、前述した処理で領域毎に分離されて、BOXに保存処理されたオブジェクトである。図10では、複数の原稿から抽出されてBOXに保存された様々なオブジェクトが表示されている。その各々のオブジェクトに対してチェックボタン(1001〜1012)が用意されており、このチェックボタンは、ユーザが各オブジェクトを選択する際に使用されるユーザインターフェースである。ここで示しているオブジェクトは、前述した記憶部202のBOXに予め保存されていたものである。
【0050】
また、複数のオブジェクトの中から所望のオブジェクトをキーワード検索できるように、キーワードを入力するための検索キー入力欄1013をUI上に具備している。この検索キー入力欄1013に対して入力部204を介してキーワードが入力されると、オブジェクトが検索できる構成になっている。
【0051】
検索は、前述した付加情報(図8)の情報を元におこなう構成である。つまり、各オブジェクトに対して付加された付加情報802〜804と、検索キー入力欄1013に入力されたキーワードとが、一致するか否か判断して検索をおこなう。そして、検索で付加情報が一致したオブジェクトを画面901内に表示する。
【0052】
また、自動レイアウトボタン1014がユーザにより押下されると、チェックボタン1001〜1012で選択されているオブジェクトを自動的にレイアウトして、新たな原稿を作成する。
【0053】
以下では、具体例を用いて説明する。図11は、入力部204を介して「デジタルカメラ」というキーワードがキー入力欄1101に入力され、通常の検索ボタン1016が押下され、検索処理が実行された状態を示している。図11の画面901内に表示されている複数のオブジェクト1102〜1107は、キーワード検索でヒットした結果の例をあらわしている。
【0054】
一方、図12は、「自然」というキーワードがキー入力欄1201に入力され、オブジェクトの検索処理を実行した結果の例を示している。ここでは、キーワード検索した結果として、6つのオブジェクト1202〜1207が表示された例を示す。
【0055】
なお、図11と図12の画面は、検索キーワードを入力することで、画面表示を切り替えることが可能である。また、それぞれの検索結果を一時保存しておき、不図示の検索結果画面切り替えボタンを操作することで、検索結果を切り替え表示できるようにしてもよい。
【0056】
次に、オブジェクト選択操作について、図13、14を用いて説明する。
【0057】
図13は、図11の「デジタルカメラ」というキーワードで検索した結果を示す画面901において、チェックボタン1301〜1306を用いてオブジェクトを選択している様子を示す。図13の例では、4つのオブジェクト(1302、1304、1305、1306)が選択されている状態を示している。
【0058】
図14は、図12の「自然」というキーワードで検索した結果において、いくつかのオブジェクトが選択されている状態を示している。図14では、3つのオブジェクト(1401、1403、1404)が選択されている。
【0059】
図13、図14で説明したように、本実施例では合計7つのオブジェクトを選択している。そして、これらのオブジェクトを組み合わせてレイアウトすることによって新たな原稿を作成することを、本実施例では「再レイアウト」処理と呼ぶことにする。すなわち、再レイアウトとは、1乃至複数のキーワードによって検索された複数のオブジェクトの中から、ユーザの操作により選択されたオブジェクトを用いて新たな原稿を生成することを示す。また、この「再レイアウト」処理に関して、選択されたオブジェクトを自動的に配置して、新たな原稿を生成することを特に「自動レイアウト(自動再レイアウト)」と呼ぶことにする。これに対し、ユーザによる配置位置の指示に基づいて、該選択されたオブジェクトを配置していくことにより新たな原稿を生成する場合は、「手動レイアウト(手動再レイアウト)」と呼ぶことにする。
【0060】
図13や図14に示した自動レイアウトボタン(AUTO LAYOUTボタン)1014がユーザによって押下されると、そのときに選択されているオブジェクトが自動的にレイアウトされて、新しい原稿が生成される。この「自動レイアウト」処理を実行した結果を図15に示す。1501のプレビュー画面には、自動レイアウト処理で生成された新しい原稿が表示される。この新しい原稿は、図13や図14で選択されたオブジェクト(1302、1304、1305、1306、1401、1403、1404)を組み合わせてレイアウトした結果を示している。このとき、編集ボタン(EDITボタン)1502がユーザによって押下されると、プレビュー画面に表示されている原稿内のオブジェクトの位置や大きさをユーザの指示にしたがって修正可能になるものとする。更に、保存ボタン(SAVEボタン)1503がユーザにより押下されると、そのときにプレビュー表示されているレイアウトの原稿を、新たな原稿として保存する。そして、その新たな原稿のレイアウト時に用いたオブジェクトの組み合わせに関する情報(各オブジェクトを検索する際に用いたキーワードや、グループIDなど)をグループ情報として、図8の付加情報に追加保存する。このグループ情報を保存しておくことにより、後に、同様の組み合わせで原稿を作成したい場合や、組み合わせに用いるオブジェクトの参考の候補として利用することが可能になる。
【0061】
図16は、新たな原稿を作成した際に各オブジェクトに付加された付加情報の例である。図16において、1601と1606はオブジェクトの一例である。1602と1607は、元原稿から各オブジェクトを抽出して作成した際に付加された基礎情報である。1603と1608は、元原稿から各オブジェクトを抽出して作成した際に、OCR結果やユーザによるキー入力に基づいて、各オブジェクトに付加されたキーワードである。1603〜1605と1609〜1611は、各オブジェクトを再利用して新たな原稿を作成した際に追加された情報であり、グループIDや新たな原稿の作成時に使用されたキーワード、各グループで再利用された回数などが付加されている。なお、グループIDは、新たな原稿を作成・保存するたびに自動的に付与される番号であるものとする。オブジェクト1601と1606は、グループID=1の原稿を作成した際に同時に使用されたので、それぞれに、付加情報1604と1609が付加されている。また、グループID=2の原稿を作成した際も、オブジェクト1601と1606が使用されたので、付加情報1605と1610が付加されている。また、グループID=3の原稿を作成した際、オブジェクト1601は使用されておらず、オブジェクト1606は使用されたので、オブジェクト1606には付加情報1611が付加されている。
【0062】
つまり、各オブジェクトの付加情報部に、原稿作成時に同時に使われたグループが記載され、紐付けが行われていることになる。更に、原稿作成時に利用されたキーワードも一緒に格納しているので、当該オブジェクトと共に使用された別のオブジェクトの検索に用いたキーワードも関連付けられていることになる。これにより、例えば、元々は「自然」というキーワードが関連付けられていないオブジェクト(例えば1601)に対して、グループ作成時に用いたキーワード「自然」がグループのキーワードとして付加されることになる。したがって、オブジェクト1601は、元々付加されているキーワードだけでは、「自然」というキーワードでは検索されないが、グループ検索を行う際には「自然」というキーワードで検索されうる。したがって、グループの関連性に基づいて各オブジェクトを検索することができるので、オブジェクトの再利用性が向上する。
【0063】
図17は、検索キー入力欄1701(図10の1013)に「デジタルカメラ」というキーワードが入力され、グループ検索ボタン1702(図10の1017)がユーザにより押下されたときのグループ検索の結果を表示する画面の一例である。
【0064】
通常の検索ボタン1016が押下された場合は、各オブジェクトに元々付加されているキーワード(例えば、図16の1603や1608)に基づいて検索が行われるので、図11に示したような検索結果となる。一方、グループ検索ボタン1702が押下された場合は、元々のキーワードと共に、グループIDとグループキーワード(例えば、図16の1604〜1605、1609〜1611)も用いて検索が行われ、図17に示したような検索結果となる。すなわち、図17では、過去の再レイアウトで原稿を作成した際の組み合わせにおいて利用されたオブジェクトも一緒に表示されることになる。
【0065】
図17において、1703の縦の列は、各オブジェクトに元々付加されているキーワードに基づいて検索した結果の検索一致度が高い順に、各オブジェクトが縦方向に並べられて表示される。そして、1703の列の各オブジェクトが以前に再利用された際の各グループに含まれる別のオブジェクトがその右側に隣接する関連オブジェクト表示欄1704に表示される。例えば、図16のオブジェクト1601が検索され、そのオブジェクト1601に関連するグループID=1に属する他のオブジェクトが、図17の関連オブジェクト表示欄の1行目に表示されている。また、オブジェクト1601に関連するグループID=2に属する他のオブジェクトは、図17の関連オブジェクト表示欄の2行目に表示されている。このように、各グループは、グループ別に表示される。また、表示されているオブジェクトごとに、各オブジェクトを選択するためのチェックボックスが設けられている。更に、関連オブジェクト表示欄1704の右側にあるグループ情報欄1705には、グループ単位でまとめて選択するためのチェックボックスと、グループIDと、以前の検索時に利用された1701以外のキーワードが表示される。
【0066】
なお、グループ情報欄1705に表示されているキーワード(すなわち、グループ化されたオブジェクトを検索するのに用いたキーワード)をユーザがクリックすると、当該クリックされたキーワードをキーにして通常検索が行われるものとする。すなわち、ユーザはオブジェクト1703と過去に一緒に使ったオブジェクト1704を検索する際に用いたキーワードを使って簡単に検索できる。類似するオブジェクトには同じキーワードが付加されていることが多いので、過去に一緒に使ったオブジェクトに類似する別のオブジェクトも容易に検索することができ、オブジェクトを利用しやすくなる。
【0067】
また、検索されたオブジェクト1703に関連する各グループは、グループとしての使用回数が高いグループを上位に表示する。使用回数が同じグループに関しては、検索キーワード1701と同じキーワードが元々付加されている関連オブジェクトの数が多いグループを上位に表示する。図17において、検索キーワード1701と同じキーワードが元々付加されている関連オブジェクトの背景色(図17では斜線で示している)は同じ色が表示されている。すなわち、検索キーワードで検索されたオブジェクト1703の背景色と、関連するグループに含まれるオブジェクトのうち、同じキーワードが元々付加されているオブジェクトの背景色は同じである。なお、図17では、同じキーワードが元々付加されているオブジェクトが表示されている領域の背景色は同じであるものとしたが、色に限るものではない。例えば、背景の模様や記号などを用いて同じかどうか識別可能に表示するものであってもよい。
【0068】
図18は、検索キーワードが入力されて、グループ検索ボタンが押下されたときに行われるグループ検索処理のフローチャートである。
【0069】
ステップS1801では、入力された検索キーワードと各オブジェクトに付加されているキーワードとに基づいて、オブジェクトを検索し、検索結果の一致度が高いものから順にソートする。そして、まず、1番目のオブジェクトを関連グループ検索対象としてステップS1802に進む。
【0070】
ステップS1802では、対象となっているオブジェクトの付加情報に基づいて、関連グループに関する情報(グループID、使用回数など)を検索する。そして、ステップS1803では、グループIDに基づいて、各関連グループに属する他のオブジェクトを検索する。
【0071】
ステップS1804では、関連グループに関する情報と各関連グループに属する他のオブジェクトに関する情報とに基づいて、グループのソートを行う。ここでは、関連グループの使用回数や、各関連グループに属する他のオブジェクトに付加されているキーワードに基づいて、使用される可能性が高いグループが上位になるようにソートする。
【0072】
ステップS1805では、ステップS1801の検索結果における次のオブジェクトがあれば、そのオブジェクトを関連グループ検索対象として、ステップS1802に戻る。
【0073】
ステップS1806では、検索キーワードによる検索結果のオブジェクトと、そのオブジェクトに関連するグループの情報と、各グループに属する他のオブジェクトとを、ソート順にしたがって表示する。この結果、図17のような表示がなされる。
【0074】
図17の結果表示画面において、ユーザは、各オブジェクトのチェックボックスや各グループのチェックボックスをチェックすることで、所望のオブジェクトを選択できる。そして、自動レイアウトボタンを押すと、その選択した所望のオブジェクトを用いて新たな原稿を作成することができる。
【0075】
以上説明したように、本発明によれば、各オブジェクトに対してキーワードとともに、再利用した際のグループ情報を関連付けて記憶しておくことにより、図17のような過去の使用履歴に基づくグループ検索を行うことができる。過去に使用された組み合わせは、その後に同じ組み合わせや似たような組み合わせで再利用されることが多いので、図17のような表示を行うことで、オブジェクトの検索性・操作性があがり、再利用しやすくなる。
【0076】
(実施形態2)
実施形態2では、グループに関する付加情報(例えば、1604〜1605、1609〜1611)に、該グループでの再利用時に加工されたオブジェクトの形状も同時に記憶しておくことを特徴とする。加工される形状とは、例えば拡縮や変形や回転などである。
【0077】
そして、図17のようにグループ検索結果を表示する際に、過去の再利用時に加工された形状に基づいて、各オブジェクトを表示するものとする。各オブジェクトは、再利用される度に加工される形状(例えば拡縮や変形や回転など)が異なる場合もあるが、最も多く加工された形状でもって表示する。
【0078】
これにより、ユーザは、過去に利用されたオブジェクト形状が分かるので、再レイアウト処理で新たな原稿を生成する際のレイアウトの参考として利用することができる。
【0079】
また、一番多く再利用されている形状は、再利用時にお勧めの形状であることが多いと考えられるので、再利用性も向上する。
【0080】
(その他の実施形態)
上述した実施形態1〜2では、MFP(複合機)の制御部において検索や表示などの制御が行われるものとした。MFPの制御部はCPU(コンピュータ)を含み、コンピュータ読み取り可能な記憶媒体(例えば、ハードディスク)に記憶されているコンピュータプログラムを読み込んで実行することにより、上述した検索や表示の処理を行うものとする。すなわち、コンピュータは、プログラムを実行することにより、各処理を行うための制御手段として機能することになる。
【0081】
なお、本発明は、MFPに限るものではなく、例えば、MFPに接続されているコンピュータもしくは汎用パソコンのコンピュータが、プログラムを実行することにより、上述したような処理を実現することによっても達成される。
【0082】
また、本発明は、コンピュータがコンピュータプログラムを実行することにより実現されるものとしたが、処理の一部または全部を電気回路などのハードウェアで実現できるようにしても構わない。その場合、各ハードウェアが各処理を行うための制御手段として機能することになる。
【0083】
以上説明したように、本発明によれば、過去に一緒に使用したオブジェクト群の情報をグループとして記憶しておくことにより、オブジェクトに関連するグループの検索が可能となりオブジェクトの再利用性が向上する。
【0084】
これにより、保存されているオブジェクトの中から所望のオブジェクトを検索することが容易になるので、オブジェクトを再利用して新たな原稿を作成することが更に容易になる。
【0085】
また、単なるキーワード検索だけでは見つけることができなかった有用なオブジェクトを簡単に見つけられる可能性が高くなる。
【図面の簡単な説明】
【0086】
【図1】実施形態1の画像処理システムの構成を示すブロック図
【図2】実施形態1のMFPの詳細構成を示すブロック図
【図3】領域分離に関するフローチャート
【図4】読み取り原稿のイメージ
【図5】読み取り原稿をオブジェクト分離したイメージ
【図6】ベクトル化処理を説明するための図
【図7】ベクトル化処理を説明するための図
【図8】メタデータの構成の一例を示す図
【図9】MFPのUI画面に表示される一例を示す図
【図10】自動レイアウト処理に関するUI画面
【図11】オブジェクト検索結果を示すUI画面1
【図12】オブジェクト検索結果を示すUI画面2
【図13】オブジェクト選択を示すUI画面1
【図14】オブジェクト選択を示すUI画面2
【図15】自動レイアウト結果を示すUI画面
【図16】本発明にかかるオブジェクトの関連を示すメタデータの構成例
【図17】本発明にかかる実施形態1のグループ検索結果
【図18】グループ検索のフローチャート
【特許請求の範囲】
【請求項1】
オブジェクトを検索する検索手段と、
ユーザの指示に基づいて、前記検索手段で検索されたオブジェクトの中から、複数のオブジェクトを選択する選択手段と、
前記選択手段で選択された複数のオブジェクトを用いて、新たな原稿を作成する作成手段と、
前記作成手段で新たな原稿を作成する際に用いた複数のオブジェクトをグループとして、当該グループに関する情報を前記複数のオブジェクトに関連付けて保存する保存手段と、を備える画像処理装置であって、
前記検索手段は、キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、前記グループに関する情報に基づいて検索することを特徴とする画像処理装置。
【請求項2】
前記グループに関する情報は、当該グループの識別子と当該グループに含まれる各オブジェクトを検索する際に用いたキーワードとに関する情報を含むことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記検索手段は、前記キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、グループ別に表示することを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記検索手段は、前記キーワードに基づいて検索される複数のオブジェクトを縦方向に並べて表示し、当該キーワードに基づいて検索される各オブジェクトに関連するオブジェクトを、当該キーワードに基づいて検索される各オブジェクトが表示されている領域に隣接する領域においてグループ別に表示することを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記検索手段は、前記キーワードに基づいて検索されるオブジェクトに関連するオブジェクトは、各グループの使用回数と当該関連するオブジェクトに付加されているキーワードとに基づいて、各グループをソートしてグループ別に表示することを特徴とする請求項3または4のいずれかに記載の画像処理装置。
【請求項6】
前記検索手段は、前記キーワードに基づいて検索されるオブジェクトに関連するオブジェクトが、当該キーワードが元々付加されているかどうか識別可能に表示することを特徴とする請求項1乃至5のいずれかに記載の画像処理装置。
【請求項7】
前記検索手段は、前記キーワードに基づいて検索されるオブジェクトに関連するオブジェクトをグループ別に表示するとともに、各グループに含まれる各オブジェクトを検索する際に用いたキーワードを表示し、
当該表示されたキーワードがユーザによりクリックされた場合、当該クリックされたキーワードをキーとして検索を実行することを特徴とする請求項2に記載の画像処理装置。
【請求項8】
前記検索手段は、ユーザの指示に基づいて、キーワードを用いて検索する通常検索と、キーワードと前記グループに関する情報とを用いて検索するグループ検索とを切り替えて実行することを特徴とする請求項1乃至7のいずれかに記載の画像処理装置。
【請求項9】
前記検索手段は、前記キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、過去の再利用時に加工された形状に基づいて表示することを特徴とする請求項1乃至8のいずれかに記載の画像処理装置。
【請求項10】
スキャンにより得た原稿画像からオブジェクトを抽出する抽出手段と、
前記抽出手段で抽出されたオブジェクトを保存する保存手段と、を更に備え、
前記検索手段は、前記保存手段に保存されたオブジェクトの中からオブジェクトを検索することを特徴とする請求項1乃至9のいずれかに記載の画像処理装置。
【請求項11】
前記抽出手段で抽出されたオブジェクトは、ベクトル化処理が行われた後に、前記保存手段に保存されることを特徴とする請求項10に記載の画像処理装置。
【請求項12】
オブジェクトを検索する検索ステップと、
ユーザの指示に基づいて、前記検索ステップで検索されたオブジェクトの中から、複数のオブジェクトを選択する選択ステップと、
前記選択ステップで選択された複数のオブジェクトを用いて、新たな原稿を作成する作成ステップと、
前記作成ステップで新たな原稿を作成する際に用いた複数のオブジェクトをグループとして、当該グループに関する情報を前記複数のオブジェクトに関連付けて保存手段に保存する保存ステップと、を備える画像処理方法であって、
前記検索ステップでは、キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、前記グループに関する情報に基づいて検索することを特徴とする画像処理方法。
【請求項13】
コンピュータを、
オブジェクトを検索する検索手段、
ユーザの指示に基づいて、前記検索手段で検索されたオブジェクトの中から、複数のオブジェクトを選択する選択手段、
前記選択手段で選択された複数のオブジェクトを用いて、新たな原稿を作成する作成手段、
前記作成手段で新たな原稿を作成する際に用いた複数のオブジェクトをグループとして、当該グループに関する情報を前記複数のオブジェクトに関連付けて保存する保存手段、として機能させるためのコンピュータプログラムであって、
前記検索手段では、キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、前記グループに関する情報に基づいて検索することを特徴とするコンピュータプログラム。
【請求項14】
前記検索手段では、前記キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、グループ別に表示することを特徴とする請求項13に記載のコンピュータプログラム。
【請求項15】
前記検索手段では、前記キーワードに基づいて検索される複数のオブジェクトを縦方向に並べて表示し、当該キーワードに基づいて検索される各オブジェクトに関連するオブジェクトを、当該キーワードに基づいて検索される各オブジェクトが表示されている領域に隣接する領域においてグループ別に表示することを特徴とする請求項14に記載のコンピュータプログラム。
【請求項16】
請求項13乃至15のいずれかに記載のコンピュータプログラムを記憶した、コンピュータ読み取り可能な記憶媒体。
【請求項1】
オブジェクトを検索する検索手段と、
ユーザの指示に基づいて、前記検索手段で検索されたオブジェクトの中から、複数のオブジェクトを選択する選択手段と、
前記選択手段で選択された複数のオブジェクトを用いて、新たな原稿を作成する作成手段と、
前記作成手段で新たな原稿を作成する際に用いた複数のオブジェクトをグループとして、当該グループに関する情報を前記複数のオブジェクトに関連付けて保存する保存手段と、を備える画像処理装置であって、
前記検索手段は、キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、前記グループに関する情報に基づいて検索することを特徴とする画像処理装置。
【請求項2】
前記グループに関する情報は、当該グループの識別子と当該グループに含まれる各オブジェクトを検索する際に用いたキーワードとに関する情報を含むことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記検索手段は、前記キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、グループ別に表示することを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記検索手段は、前記キーワードに基づいて検索される複数のオブジェクトを縦方向に並べて表示し、当該キーワードに基づいて検索される各オブジェクトに関連するオブジェクトを、当該キーワードに基づいて検索される各オブジェクトが表示されている領域に隣接する領域においてグループ別に表示することを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記検索手段は、前記キーワードに基づいて検索されるオブジェクトに関連するオブジェクトは、各グループの使用回数と当該関連するオブジェクトに付加されているキーワードとに基づいて、各グループをソートしてグループ別に表示することを特徴とする請求項3または4のいずれかに記載の画像処理装置。
【請求項6】
前記検索手段は、前記キーワードに基づいて検索されるオブジェクトに関連するオブジェクトが、当該キーワードが元々付加されているかどうか識別可能に表示することを特徴とする請求項1乃至5のいずれかに記載の画像処理装置。
【請求項7】
前記検索手段は、前記キーワードに基づいて検索されるオブジェクトに関連するオブジェクトをグループ別に表示するとともに、各グループに含まれる各オブジェクトを検索する際に用いたキーワードを表示し、
当該表示されたキーワードがユーザによりクリックされた場合、当該クリックされたキーワードをキーとして検索を実行することを特徴とする請求項2に記載の画像処理装置。
【請求項8】
前記検索手段は、ユーザの指示に基づいて、キーワードを用いて検索する通常検索と、キーワードと前記グループに関する情報とを用いて検索するグループ検索とを切り替えて実行することを特徴とする請求項1乃至7のいずれかに記載の画像処理装置。
【請求項9】
前記検索手段は、前記キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、過去の再利用時に加工された形状に基づいて表示することを特徴とする請求項1乃至8のいずれかに記載の画像処理装置。
【請求項10】
スキャンにより得た原稿画像からオブジェクトを抽出する抽出手段と、
前記抽出手段で抽出されたオブジェクトを保存する保存手段と、を更に備え、
前記検索手段は、前記保存手段に保存されたオブジェクトの中からオブジェクトを検索することを特徴とする請求項1乃至9のいずれかに記載の画像処理装置。
【請求項11】
前記抽出手段で抽出されたオブジェクトは、ベクトル化処理が行われた後に、前記保存手段に保存されることを特徴とする請求項10に記載の画像処理装置。
【請求項12】
オブジェクトを検索する検索ステップと、
ユーザの指示に基づいて、前記検索ステップで検索されたオブジェクトの中から、複数のオブジェクトを選択する選択ステップと、
前記選択ステップで選択された複数のオブジェクトを用いて、新たな原稿を作成する作成ステップと、
前記作成ステップで新たな原稿を作成する際に用いた複数のオブジェクトをグループとして、当該グループに関する情報を前記複数のオブジェクトに関連付けて保存手段に保存する保存ステップと、を備える画像処理方法であって、
前記検索ステップでは、キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、前記グループに関する情報に基づいて検索することを特徴とする画像処理方法。
【請求項13】
コンピュータを、
オブジェクトを検索する検索手段、
ユーザの指示に基づいて、前記検索手段で検索されたオブジェクトの中から、複数のオブジェクトを選択する選択手段、
前記選択手段で選択された複数のオブジェクトを用いて、新たな原稿を作成する作成手段、
前記作成手段で新たな原稿を作成する際に用いた複数のオブジェクトをグループとして、当該グループに関する情報を前記複数のオブジェクトに関連付けて保存する保存手段、として機能させるためのコンピュータプログラムであって、
前記検索手段では、キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、前記グループに関する情報に基づいて検索することを特徴とするコンピュータプログラム。
【請求項14】
前記検索手段では、前記キーワードに基づいて検索されるオブジェクトに関連するオブジェクトを、グループ別に表示することを特徴とする請求項13に記載のコンピュータプログラム。
【請求項15】
前記検索手段では、前記キーワードに基づいて検索される複数のオブジェクトを縦方向に並べて表示し、当該キーワードに基づいて検索される各オブジェクトに関連するオブジェクトを、当該キーワードに基づいて検索される各オブジェクトが表示されている領域に隣接する領域においてグループ別に表示することを特徴とする請求項14に記載のコンピュータプログラム。
【請求項16】
請求項13乃至15のいずれかに記載のコンピュータプログラムを記憶した、コンピュータ読み取り可能な記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2009−223509(P2009−223509A)
【公開日】平成21年10月1日(2009.10.1)
【国際特許分類】
【出願番号】特願2008−66054(P2008−66054)
【出願日】平成20年3月14日(2008.3.14)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成21年10月1日(2009.10.1)
【国際特許分類】
【出願日】平成20年3月14日(2008.3.14)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]