説明

画像処理装置、画像処理方法、及びプログラム

【課題】名刺画像の中の氏名領域等の特徴領域を、より見やすくなるように一覧表示する。
【解決手段】輝度画像変換部20は、撮像した名刺画像を輝度画像に変換する。輝度分布取得部21は、輝度画像の輝度分布を取得する。氏名領域推定部22により、輝度分布を輝度分布記録部25のデータベースと照合し、照合結果に基づいて、名刺上の氏名が記されている氏名領域を推定する。メモリ10は、推定した氏名領域の名刺画像全体における座標と当該名刺画像とを関連付けてに保存する。画像補間部23は、氏名領域の座標に基づいて名刺画像から氏名領域の画像を切り出し、氏名表示領域のサイズに合わせるように、氏名領域の画像に対して補正・超解像処理を施す。表示部11は、氏名領域の画像と名刺画像とを一覧表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
従来の技術として、複数の名刺等の画像をスキャナで逐次スキャンした後に、当該スキャンされた複数の名刺画像に対応する縮小画像を表示頻度順にパネルに一覧表示させる技術が知られている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−120232号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献では、名刺全体の縮小画像がパネルに一覧表示させるため、一つ一つの名刺画像における氏名等がユーザにとって視認しにくくなるという虞があった。
【0005】
そこで本発明は、名刺画像の中の氏名領域等の特徴領域を、より見やすく一覧表示することができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
この発明は、複数の画像を記憶する第1の記憶手段と、前記第1の記憶手段により記憶された複数の画像の各々から、特徴領域を検出する検出手段と、前記検出手段により検出された、前記複数の画像の各々の特徴領域を抽出する抽出手段と、前記抽出手段により抽出された、前記複数の画像の各々の特徴領域の大きさが均一となるように前記特徴領域を一覧表示する表示手段とを備えることを特徴とする画像処理装置である。
【発明の効果】
【0007】
この発明によれば、名刺画像の中の氏名領域等の特徴領域を、より見やすくなるように一覧表示することができる。
【図面の簡単な説明】
【0008】
【図1】本発明の実施形態によるデジタルカメラの構成を示すブロック図である。
【図2】本実施形態によるデジタルカメラの動作(名刺撮像モード)を説明するためのフローチャートである。
【図3】本実施形態によるデジタルカメラの動作(氏名領域推定処理)を説明するためのフローチャートである。
【図4】本実施形態によるデジタルカメラの動作(名刺画像表示処理)を説明するためのフローチャートである。
【図5】本実施形態によるデジタルカメラの表示例を示す模式図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施の形態を、図面を参照して説明する。
【0010】
A.実施形態の構成
図1は、本発明の実施形態によるデジタルカメラの構成を示すブロック図である。図において、デジタルカメラ1は、撮像部2、撮像制御部3、画像処理部4、CPU7、RAM8、ROM9、メモリ10、表示部11、及びキー入力部12を備えている。
【0011】
撮像部2は、フォーカスレンズ、ズームレンズなどのレンズ群、撮像素子(CCDなど)を含み、撮像制御部3からの制御信号に従って、オートフォーカシング、絞り、ズーミングなどを調整し、撮像素子によりレンズ群を介して投影された被写体の光を電気信号に変換し、撮像信号として出力する。撮像制御部3は、CPU7の制御の下、撮像部2の撮像動作を制御する。
【0012】
画像処理部4は、撮像部2により撮像された画像データの画像処理(画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等)、画像データの圧縮・伸張(例えば、JPEG形式やMotion−JPEG形式又はMPEG形式の圧縮・伸張)の処理、複数の撮像画像を合成する処理などを行う。
【0013】
特に、本発明の実施形態では、画像処理部4は、輝度画像変換部20と、輝度分布取得部21と、氏名領域推定部22と、画素補間部23とを備えている。輝度画像変換部20は、撮像部2により撮像された名刺画像を輝度画像に変換する。輝度分布取得部21は、変換された輝度画像の輝度分布を取得する。氏名領域推定部22は、輝度分布に基づいて、氏名領域を推定する。画素補間部23は、画素補間して氏名領域の画像の拡大(超解像度処理)や、名刺画像の縮小などを行う。
【0014】
CPU7は、デジタルカメラ1の各部を制御するワンチップマイコンである。特に、本実施形態では、CPU7は、画像処理部4の、輝度画像変換部20と、輝度分布取得部21と、氏名領域推定部22と、画素補間部23を制御し、名刺の撮像から氏名領域の推定、データベース化などする。
【0015】
RAM8は、撮像部2によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、CPU7のワーキングメモリとして使用される。ROM9は、CPU7によるデジタルカメラ1の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されている。CPU7は、このプログラムに従って処理を行う。
【0016】
メモリ10は、撮像部2によって撮像された画像データを記録する。特に、メモリ10は、撮像された名刺画像と該名刺画像全体に対する推定された氏名領域の座標とを順次記録する。また、該メモリ10は、輝度分布取得部21により取得された輝度分布を記録する輝度分布記録部25を備えている。該輝度分布記録部25は、過去に読み込んだ名刺画像の輝度分布のデータベースである。画像処理部4の氏名領域推定部22は、新たに撮像した名刺画像のどの部分に氏名領域があるかを、データベースを参照して過去の輝度分布から推定するようになっている。
【0017】
表示部11は、カラーLCDとその駆動回路を含み、撮像待機状態にあるときには、撮像部2によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、記録部10から読み出され、伸張された記録画像を表示する。特に、本実施形態では、後述する名刺画像表示処理において、撮像した名刺画像から推定した氏名領域の画像(すなわち、氏名)や、名刺画像の一覧表示や、選択された特定の氏名領域に対応する名刺画像の全画面表示などを行う。キー入力部12は、シャッタSW(スイッチ)、ズームSW、モードキー、SETキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をCPU7に出力する。
【0018】
B.実施形態の動作
次に、上述した実施形態の動作について説明する。
図2は、本実施形態によるデジタルカメラの動作(名刺撮像モード)を説明するためのフローチャートである。ユーザにより名刺撮像モードが指定されると、まず、CPU7は、ユーザによるシャッタの半押し、全押しを含む撮像指示があると、撮像制御部3を制御して撮像部2により、名刺に合焦して撮像する(ステップS10)。
【0019】
次に、撮像画像から矩形領域(名刺部分)を抽出し(ステップS12)、抽出した矩形領域(名刺部分)のうち、氏名が記された氏名領域を推定する氏名領域推定処理を行う(ステップS14)。該氏名領域推定処理の詳細については後述する。次に、ユーザ操作により撮像が終了したか否かを判断し(ステップS16)、撮像が終了していなければ、ステップS10に戻り(ステップS16のNO)、上述した処理を繰り返す。一方、撮像が終了すれば(ステップS16のYES)、当該処理を終了する。
【0020】
図3は、本実施形態によるデジタルカメラの動作(氏名領域推定処理)を説明するためのフローチャートである。氏名領域推定処理では、まず、輝度画像変換部20により、撮像した名刺画像を輝度画像に変換し(ステップS20)、輝度分布取得部21により、輝度画像の輝度分布を取得する(ステップS22)。次に、氏名領域推定部22により、輝度分布を輝度分布記録部25のデータベースと照合し(ステップS24)、照合結果に基づいて、氏名領域を推定する(ステップS26)。
【0021】
次に、推定した氏名領域を、氏名領域として決定してよいかを、表示部11に表示するなどしてユーザに通知する(ステップS28)。ユーザは、正しく氏名領域として推定されいることが確認されれば、その旨をキー入力部12から入力する。CPU7は、ユーザから氏名領域としてよい旨の指示があったか否かを判断し(ステップS30)、ユーザから氏名領域としてよい旨の指示がなかった場合には(ステップS30のNO)、表示部11に撮像した名刺画像を表示し、ユーザにより矩形領域(氏名領域)を手動で設定させる(ステップS32)。
【0022】
一方、ユーザから氏名領域としてよい旨の指示があった場合(ステップS30のYES)、あるいは、ユーザにより氏名領域が設定された後(ステップS32の終了後)、推定した氏名領域、あるいは設定された氏名領域の名刺画像全体における座標と当該名刺画像(例えばJPEG形式)とを関連付けてメモリ10に保存する(ステップS34)。そして、当該処理を終了し、メインルーチンに戻る。
【0023】
図4は、本実施形態によるデジタルカメラの動作(名刺画像表示処理)を説明するためのフローチャートである。まず、CPU7は、ユーザによる名刺画像表示モードの起動指示を検出したか否かを判断する(ステップS40)。ユーザによる名刺画像表示モードの起動指示が検出されない場合には(ステップS40のNO)、当該処理を終了する。
【0024】
一方、ユーザによる名刺画像表示モードの起動指示が検出された場合には(ステップS40のYES)、メモリ10から名刺画像と該名刺画像に対応付けられた氏名領域の座標とを呼び出す(ステップS42)。次に、図5に示すように、名刺プレビュー画面として、氏名領域の座標に基づいて、名刺画像から氏名領域の画像を切り出し、氏名表示領域のサイズに合わせるように、氏名領域の画像と名刺画像とに対して補正・超解像処理を施して表示部11に一覧表示する(ステップS44)。
【0025】
この結果、図5に示すように、名刺プレビュー画面の氏名表示領域111には、これまで撮像した名刺毎に、推定もしくは設定された氏名領域の画像、すなわち氏名が表示され、その横の名刺表示領域112には、撮像した名刺画像全体の縮小画像が表示される。なお、本実施形態による超解像処理とは、氏名領域が氏名表示領域に比べて小さいため、氏名表示領域に表示するには拡大する必要があるが、氏名領域を単純に拡大すると、画素が粗くなって見難くなるので、画素をずらして補間することで画素の粗さによる見難さを防止するための処理である。
【0026】
ユーザは、容易に名刺交換した相手の氏名を確認することができる。なお、図示の例では、4人分の氏名が表示されているが、キー入力部12からの上下のスクロール操作に応じて、他の氏名をスクロールして表示したり、ページをめくるような操作に応じて、他の氏名の一覧に切換表示するようにしてもよい。
【0027】
次に、CPU7は、上記一覧表示された氏名領域のいずれかに対する選択操作が検出されたか否かを判断する(ステップS46)。そして、選択操作が検出されない場合には(ステップS46のNO)、ステップS44に戻る。一方、ユーザにより一覧表示された氏名領域のいずれかに対する選択操作が検出されない場合には(ステップS46のYES)、選択操作が検出された氏名領域に対応する名刺画像を表示部11に全画面表示する(ステップS48)。
【0028】
上述した実施形態によれば、様々な書式により記された名刺を撮像した複数の名刺画像の中の氏名領域等の特徴領域を大きさが均一となるように一覧表示するようにしたので、より見やすくできる。
【0029】
また、氏名領域等の特徴領域を大きさを均一となるように表示する際に、画素補間するようにしたので、画素の粗さによる見難さを防止することができる。
【0030】
また、過去の名刺画像から取得した輝度分布を記憶しておき、該過去の輝度分布に基づいて、名刺画像から特徴領域を検出するようにしたので、より確実に氏名領域等の特徴領域を検出することができる。
【0031】
また、氏名領域等の特徴領域とともに、縮小した名刺画像を対応付けて一覧表示するようにしたので、より見やすくできる。
【0032】
なお、上述した実施形態においては、メモリ10の輝度分布記録部25に、過去に読み込んだ名刺画像の輝度分布をデータベースとして記録しているが、新たに撮像した名刺画像が新たな輝度分布を有している場合には、これを新たに記録することでデータベースをに更新するようにしてもよい。
【0033】
また、名刺においては、縦書きで氏名などを表記しているものもあるので、表示する場合には、縦表記を横表記に変換するようにしてもよい。
【0034】
また、名刺がカラー画像であった場合には、モノクロ(2値化)に変換してから、輝度分布取得や、氏名領域の推定などを行うようにしてもよい。
【0035】
また、上述した実施形態では、デジタルカメラを例に説明したが、これに限らず、撮像機能を備える、携帯電話や、PDA(Personal Data
Assistant)、タブレット端末などであってもよい。
また、上述した実施形態では、名刺についての処理について説明したがこれに限らず、チェーン店で発行されるメンバーズカード等、ある程度記載内容の配置に規則性があるものに対しても本発明を適用ができることはいうまでもない。
【0036】
以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。
【0037】
(付記1)
付記1に記載の発明は、複数の画像を記憶する第1の記憶手段と、前記第1の記憶手段により記憶された複数の画像の各々から、特徴領域を検出する検出手段と、前記検出手段により検出された、前記複数の画像の各々の特徴領域を抽出する抽出手段と、前記抽出手段により抽出された、前記複数の画像の各々の特徴領域の大きさが均一となるように前記特徴領域を一覧表示する表示手段とを備えることを特徴とする画像処理装置である。
【0038】
(付記2)
付記2に記載の発明は、前記表示手段により前記複数の画像の各々の特徴領域の大きさが均一になるように前記特徴領域を表示させる際に、前記抽出手段により抽出された特徴領域に対して画素補間をする画素補間処理手段を更に備え、前記表示手段は、画素補間処理手段により画素補間がされた前記特徴領域を一覧表示することを特徴とする付記1記載の画像処理装置である。
【0039】
(付記3)
付記3に記載の発明は、前記第1の記憶手段に記憶されている前記複数の画像の各々における特徴領域を検出するための輝度分布を複数記憶する第2の記憶手段と、前記第1の記憶手段に記憶された前記複数の画像を輝度画像に変換する変換手段と、前記変換手段により変換された輝度画像の輝度分布を取得する取得手段とを更に備え、前記検出手段は、前記第2の記憶手段により記憶された輝度分布と前記取得手段により取得された輝度分布とを照合することで前記特徴領域を検出することを特徴とする付記1または2記載の画像処理装置である。
【0040】
(付記4)
付記4に記載の発明は、前記第1の記憶手段に記憶されている前記複数の画像の縮小画像を生成する生成手段を更に備え、前記表示手段は、前記生成手段により生成された、前記複数の画像の各々の縮小画像と、前記抽出手段により抽出された、前記複数の画像の各々の特徴領域とを対応付けて一覧表示することを特徴とする付記1から3のいずれかに記載の画像処理装置である。
【0041】
(付記5)
付記5に記載の発明は、撮像手段を更に備え、前記複数の画像は、前記撮像手段によって撮像された画像であることを特徴とする付記1から4のいずれかに記載の画像処理装置である。
【0042】
(付記6)
付記6に記載の発明は、前記複数の画像は、名刺画像であり、前記特徴領域は、前記名刺画像の氏名領域であることを特徴とする付記1から5のいずれかに記載の画像処理装置。
【0043】
(付記7)
付記7に記載の発明は、複数の画像を記憶している記憶手段と表示手段とを備える画像処理装置での画像処理方法であって、前記記憶手段に記憶されている複数の画像の各々から、特徴領域を検出する検出ステップと、前記検出ステップで検出された、前記複数の画像の各々の特徴領域を抽出する抽出ステップと、前記抽出ステップで抽出された、前記複数の画像の各々の特徴領域の大きさが均一となるように前記特徴領域を前記表示手段に一覧表示する表示制御ステップとを含むことを特徴とする画像処理方法である。
【0044】
(付記8)
付記8に記載の発明は、複数の画像を記憶している記憶手段と表示手段とを備える画像処理装置のコンピュータを、前記記憶手段に記憶されている前記複数の画像の各々から、特徴領域を検出する検出手段、前記検出手段で検出された、前記複数の画像の各々の特徴領域を抽出する抽出手段、前記抽出手段で抽出された、前記複数の画像の各々の特徴領域の大きさが均一となるように前記特徴領域を前記表示手段に一覧表示させる表示制御手段として機能させることを特徴とするプログラムである。
【符号の説明】
【0045】
1 デジタルカメラ
2 撮像部
3 撮像制御部
4 画像処理部
7 CPU
8 RAM
9 ROM
10 記録部
11 表示部
12 キー入力部
20 輝度画像変換部
21 輝度分布取得部
22 氏名領域設定部
23 画素補間部
25 輝度分布記録部


【特許請求の範囲】
【請求項1】
複数の画像を記憶する第1の記憶手段と、
前記第1の記憶手段により記憶された複数の画像の各々から、特徴領域を検出する検出手段と、
前記検出手段により検出された、前記複数の画像の各々の特徴領域を抽出する抽出手段と、
前記抽出手段により抽出された、前記複数の画像の各々の特徴領域の大きさが均一となるように前記特徴領域を一覧表示する表示手段と
を備えることを特徴とする画像処理装置。
【請求項2】
前記表示手段により前記複数の画像の各々の特徴領域の大きさが均一になるように前記特徴領域を表示させる際に、前記抽出手段により抽出された特徴領域に対して画素補間をする画素補間処理手段を更に備え、
前記表示手段は、画素補間処理手段により画素補間がされた前記特徴領域を一覧表示することを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記第1の記憶手段に記憶されている前記複数の画像の各々における特徴領域を検出するための輝度分布を複数記憶する第2の記憶手段と、
前記第1の記憶手段に記憶された前記複数の画像を輝度画像に変換する変換手段と、
前記変換手段により変換された輝度画像の輝度分布を取得する取得手段とを更に備え、
前記検出手段は、前記第2の記憶手段により記憶された輝度分布と前記取得手段により取得された輝度分布とを照合することで前記特徴領域を検出することを特徴とする請求項1または2記載の画像処理装置。
【請求項4】
前記第1の記憶手段に記憶されている前記複数の画像の縮小画像を生成する生成手段を更に備え、
前記表示手段は、前記生成手段により生成された、前記複数の画像の各々の縮小画像と、前記抽出手段により抽出された、前記複数の画像の各々の特徴領域とを対応付けて一覧表示することを特徴とする請求項1から3のいずれかに記載の画像処理装置。
【請求項5】
撮像手段を更に備え、
前記複数の画像は、前記撮像手段によって撮像された画像であることを特徴とする請求項1から4のいずれかに記載の画像処理装置。
【請求項6】
前記複数の画像は、名刺画像であり、
前記特徴領域は、前記名刺画像の氏名領域であることを特徴とする請求項1から5のいずれかに記載の画像処理装置。
【請求項7】
複数の画像を記憶している記憶手段と表示手段とを備える画像処理装置での画像処理方法であって、
前記記憶手段に記憶されている複数の画像の各々から、特徴領域を検出する検出ステップと、
前記検出ステップで検出された、前記複数の画像の各々の特徴領域を抽出する抽出ステップと、
前記抽出ステップで抽出された、前記複数の画像の各々の特徴領域の大きさが均一となるように前記特徴領域を前記表示手段に一覧表示する表示制御ステップと
を含むことを特徴とする画像処理方法。
【請求項8】
複数の画像を記憶している記憶手段と表示手段とを備える画像処理装置のコンピュータを、
前記記憶手段に記憶されている前記複数の画像の各々から、特徴領域を検出する検出手段、
前記検出手段で検出された、前記複数の画像の各々の特徴領域を抽出する抽出手段、
前記抽出手段で抽出された、前記複数の画像の各々の特徴領域の大きさが均一となるように前記特徴領域を前記表示手段に一覧表示させる表示制御手段
として機能させることを特徴とするプログラム。



【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate