画像撮影システム
【課題】文字や線で記述された線画像情報の入手は、適当な大きさの紙に印刷されており、且つその紙を情報を入手する者が直接取り扱うことが出来る場合のみイメージスキャナで読取ることが出来るが、これとは別な形態、例えば展示パネルや壁に貼られたお知らせなどの情報を入手することは困難であった。
【解決手段】線画像は、基本的に色が単色であること、階調が2値であること、空間周波数特性が高いことが特徴であり、これらの点で、通常のビデオ画像と異なる。この特徴を持つ線画像を入力するために、電子カメラの撮像系が単色・高解像度入力へのモード切換え手段を有し、撮影した線画像情報を、単色・2値のベクトル情報に変換する手段と、線画像情報の撮影時にこれらを一斉に切換える手段を有することで解決される。
【解決手段】線画像は、基本的に色が単色であること、階調が2値であること、空間周波数特性が高いことが特徴であり、これらの点で、通常のビデオ画像と異なる。この特徴を持つ線画像を入力するために、電子カメラの撮像系が単色・高解像度入力へのモード切換え手段を有し、撮影した線画像情報を、単色・2値のベクトル情報に変換する手段と、線画像情報の撮影時にこれらを一斉に切換える手段を有することで解決される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子式撮影装置を有するコンピュータに係わり、特に電子カメラで構成されるシステム、若しくは、該電子カメラと接続し携帯可能な端末装置を含むシステムに係わる。
【背景技術】
【0002】
文字による情報の入手方法は、従来、筆記、印刷、文書のコピー、そしてイメージスキャナによる文書の入力と文字認識と進化している。また、入力する情報を電子化することにより、FAXやパソコン通信等の手段により外部に伝達する方法も考案されている。
【0003】
また、画像を入力し、それを電子情報として記録する機器として、電子スチルカメラがある。特許文献1には、携帯電話機能を登載し、撮影した画像情報を電話回線を通じて、即座に別の場所にある大型の記録媒体に伝送する発明が記載されている。
【0004】
【特許文献1】特開平6−133081号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記従来技術に記載した方法による文字で記述された情報の入手は、適当な大きさの紙に印刷されており、且つその紙を情報を入手する者が直接取り扱うことが出来る場合に限られており、例えば展示パネルや壁に貼られたお知らせなどの情報は、上記の方法では取り込むことが出来ない。このような形態の情報は、前記発明に代表される電子スチルカメラで取得することが可能であるが、電子スチルカメラは通常は、自然画のビデオ画像程度の画像を入力することを想定しており、イメージスキャナに代表されるような文字を入力するための高解像度入力を行うことが出来ない。また、自然画を想定しているため、入力した画像が文字である場合の、画像情報の文字コードへの変換等に利用されるような画像情報の処理を行うことも考慮されていなかった。
【課題を解決するための手段】
【0006】
文字情報に代表される線画像情報は、基本的に色が単色であること、階調が2値であること、空間周波数特性が高いことが特徴であり、これらの点で、通常のビデオ画像(以下、自然画像)と異なる。この特徴を持つ線画像を入力するために、電子カメラが高精細に撮影する手段を有し、自然画像と線画像との判定手段を有することで、自然画像入力と線画像入力とのモード切換え手段を有し、撮影した線画像情報から、量子化ノイズを除去する手段と、線画像情報を、単色・2値のベクトル情報に変換する手段と、撮影した線画像の地色(例えば、撮影対象の紙面等の色)を判定する手段と、線画像が文字情報である場合は、変換されたベクトル情報を文字コードに変換する手段を有することで解決される。
【0007】
なお、自然画入力と高精細入力とのモード切換えは、自然両像と線画像との判定手段に基づき、自動で切り替えることも可能であるが、切り替えスイッチを設け、手動で切り替えても良い。
【0008】
また、上記切換えに応じて、上記撮影した情報の上記処理動作を制御する手段を有しても良い。
【発明の効果】
【0009】
本発明によれば、紙で配布された資料のみならず、壁に掲示したパネル等に記載された線画像や文字も、簡便に入力して線情報や文字情報として取り扱い、処理することが出来、従来目視で見ることは出来ても入手が困難であった情報の入手も可能になる。
【発明を実施するための最良の形態】
【0010】
以下、本発明による画像撮影システムの実施の形態の具体例を図を用いて説明する。第1図は、本発明による画像撮影システムのブロック図である。本システムは文字を含んだ画像を撮影するカメラ部と、カメラ部に対して文字撮影を行う旨の指示を出し、且つ撮影された文字を含んだ画像情報を管理・処理するPDA部の2つにより構成される。カメラ部に於いて、画像はセンサ1000により撮影され、センサ1000により得られた情報は信号処理回路1001を経由して、画像圧縮回路1003により圧縮符号化が行われ、ICカード等で構成される記憶媒体1007に記録される。ここで画像圧縮回路1003はRAM1004を持ち、これを作業領域として画像圧縮作業を行う。撮影された画像情報は、記憶媒体1007や、I/F1006及び1009を用いてPDAに入力される。これらの動作はカメラコントローラ1005により制御される。PDAはCPU1008を中心とするバス構造で構成されており、そのバスの周囲にはI/F1009、記憶媒体1007とのI/F(図示しない)と、メモリ1010、ディスプレイ1011、タッチパネル1002で構成され、利用者への情報の提示はディスプレイ1011により、PDAへの利用者の指示はディスプレイ1011に重ねて設けたタッチパネル1002を用いて行われる。
【0011】
第1図では、本発明による画像撮影システムを、カメラ部とPDA部の2つで構成したものとしているが、これは両者を2つの筐体の中に組み込んだ形態も可能である。このときはニ/F1006と、I/F1009は必ずしも、必須ではない。
【0012】
本発明による画像撮影システムで、文字情報を撮影するときは、PDA上で利用者が、文字を撮影する旨の指示をタッチパネル1002より入力する。これによりPDAは撮影された画像情報が文字情報である前提で処理を行うモードに切換えると同時に、I/F1009、1006を用いてカメラコントローラ1005に、文字入力モードへの切換えを指示する。文字入力モードに切換えられたカメラは、高精細化手段1003によりセンサ1000による撮影モードを高精細撮影モードに切換える。
【0013】
第2図は、本発明による画像撮影システムによる、入力した文字情報を変換する手順を示した説明図である。本発明は線画像情報を撮影することを目的とするものであるが、第2図に示す実施例に於いて、線画像情報の一種であるところの、特に文字情報を入力する場合の説明をする。画像情報を入力する場合は、撮影される画像2002は、例えば横640画素×480画素で各画素8ビット×3色のビットマップデータ2001としてカメラ内に取り込まれる。これを所定の情報圧縮操作を行うことで、圧縮画像ファイル2005を得、この状態でカメラの記憶装置に保存する。通常の電子カメラでは、撮影した画像が文字情報であってもこの手順により情報の保存を行う。本発明による画像撮影システムでは、撮影される文字2003は、画像2002の撮影と同様に、まずビットマップデータ2004としてカメラ内に取り込まれる。この後ビットマップデータ2004を解析して、文字を構成する各線を表現するベクトル情報2006に変換し、この状態で保存。もしくはさらにベクトル情報から文字認識手段により文字コード2007に変換して保存する。入力した情報が文字に変換する必要のない線画像情報の場合、2007のベクトル情報から文字認識手段により文字コードに変換する手段は、必ずしも必要ない。
【0014】
第3図は、本発明による画像撮影システムによる、文字情報の入力を行う際の動作フローチャートである。本発明は線画像情報を撮影することを目的とするものであるが、第3図に示す実施例に於いて、線画像情報の一種であるところの、特に文字情報を入力する場合の説明をする。本発明による画像撮影は、2つの動作モードを持ち、一つは通常の画像情報の入力である。もう一つの文字入力モードでは、撮影する対象が文字で構成されていることを利用して、文字入力専用の動作を行う。まず撮影する対象が文字であるかどうかを判断し(3001)、文字でない場合には通常の記録を行うが、文字である場合には、撮像センサの動作モードを高精細モードに切換える(3002)。次にカメラのシャッター釦等の撮影命令による入力を待ち(3003)、待ちの状態であれば入力待ちを繰返す。その間、文字撮影モードの解除の判断を行い(3004)、解除であれば、文字入力かどうかを判断する最初のステップに戻る。撮影命令が出ると高精細モードにて文字で構成された画像の入力を行い(3005)、撮影された画像を文字入力として第2図に示す如く所定の処理を行い(3006)、記録する(3007)。
【0015】
第4図は、本発明による画像撮影システムによる、高精細モードを実現する原理を示したセンサのパターン図である。第4図(a)、第4図(b)は、現行のカラーカメラの3色一体センサの表面のパターンの例を示す。第4図(a)は、R(赤)、G(緑)、B(青)の3色の画素を一単位として各画素(4001、4002)を構成する。第4図(b)はR、G、Bの3色の画素が横一列に並ぶ(4003、4004)形で構成される。本発明による画像撮影システムでは、文字が単色で記述されていることに注目して、カラーセンサの色別の各画素をそれぞれ独立した画素として使用することで、高精細画像を得ることを特徴とする。第4図(b)では、R、G、Bの画素が全面に並んでおり、このそれぞれの画素を独立して読取ることにより、縦横共に2倍の解像度を得ることが可能となる。第4図(c)は、第4図(a)に示したパターンの画素を用いて高精細画像を読取る方法である。縦と横に並んでいるR、G、Bの画素を、水平の1ライン目(4005)は、R、G、R、Gと並んでいるラインとして取扱い、水平の2ライン目(4006)は、Bの画素が1画素置きに並んでいる形とする。これを水平方向に読取ることで、縦横共に略2倍の解像度を得ることが出来る。1画素置きにBの画素が並んでいるライン(4006)の空いている画素部分の補間算出方法は、第7図にて後述する。
【0016】
第5図は、本発明による画像撮影システムの、高精細モードによる画像入力処理の第1の例を示すブロック図である。第4図(a)のような画素パターンを持つセンサから入力された画像は、第4図(c)のように2ライン分の画像情報が同時に入力される。本実施例では、センサ5001から入力されたR、G、Bの3色の信号に、まずそれぞれのフィルタ係数を補正するゲインをかける(5004)具体的には、R、G、Bの輝度はそれぞれ3対6対1の重み付けがされているので、その逆数をかけることで、例えば黒や灰色などの無彩色で記述された文字を撮影した時、3色のセンサから略同一レベルの信号が出力されるような調整を行うことが出来る。出力されたR、G、B信号は2ラインメモリ5005に同時に入力され、読みだし時には1ラインずつ読み出して画像メモリ5006に入力することで、正しい順序に入れ替えた白黒ビットマップ画像を得ることが出来る。これらのメモリの書込み、読み出しの制御は、アドレス制御回路5007が行う。
【0017】
第6図は、本発明による画像撮影システムの、高精細モードによる画像入力処理の第2の例を示すブロック図である。センサ6001からR、G、Bの3色の信号を取り出して、ゲインをかける(6004)ところは第5図と同一であり、ここでは説明を省略する。本実施例では、読みだし順序の異なる画像、具体的には第4図の(a)の如く、R、G、B、R、G、Bという順で読み出されることで、第1ラインと第2ラインの画像が交互に読み出される画像データを、一度そのまま画像メモリ6005に記録する。画像メモリ6005はバスにつなかっており、CPU6006で管理される。同じバスにはHDD(ハードディスクドライブ)6007等の保存用記憶媒体が接続されており、画像メモリ6005に一度記録された画像は、画像メモリのランダムアクセスを利用して、正しい順番で各画素のデータを読み出してHDDに保存する。画像メモリへのアクセスのアドレス制御はCPU6006が所定のプログラムの動作に従って行う。
【0018】
第7図は、第4図(a)に示したカラーセンサの空白画素を補間する方法を示した説明図である。カラーセンサは一つのカラーの画素をR、G、Bの3つのセンサで構成している(7001から7004)。このそれぞれのセンサを一つの画素と見なすことで高精細画像を得る。具体的には7001から7004の画素から、7005のようなパターンが出来上がる。カラーセンサは縦横共に2画素を一単位としているので、画面の端ではGの画素が、下ではBの画素が2画素の1画素の割合で並ぶことになり、これから説明する補間演算が出来ないが、カラー画像でも数100画素単位の長さの画面サイズを持つものであり、端及び下の一列は無視してよい。7005のような画素のパターンで、中央の画素が信号がない状態となり、これを周囲の画素から補間演算することで、全ての画素に信号が入ったように見える情報を得ることが出来る。ここで、本発明は画像撮影システムであり、入力された信号は白か黒かどちらかの2値画像である。以下、7005のパターンに於ける周囲の画素に白及び黒の信号が入ったときの中央の画素の補間を行う全てのパターンを示す。
【0019】
7006は上と左の2画素が黒、他が白の場合である。この時は上から左の画素に向かって斜めの線が走っていると解釈し、中央の画素は白である。7007は左上のみが黒の場合である。この場合、左上の隅の画素は単独ドットか線分の端であると解釈し、中央の画素は白である。7008は右上と左下が黒の場合であり、この場合は右上から左下に直線が走っていると解釈し、中央の画素は黒である。7009は左の画素のみが黒の場合である。7007と同様に解釈し中央の画素は白である。7010は左と右の画素のみが黒の場合である。7008と同様に解釈し中央の画素は黒である。7011は上の一列のみが黒の場合である。この場合は上の一列に横方向の線分が走っていると解釈し、中央の画素は白である。
【0020】
これらのパターン7006〜7011は上下・左右対象であり、また回転しても同様に扱うことが出来る。入力した画像はこの基本パターン7006〜7011と、パターンの向きや回転方向の角度をかえつつパターンマッチングを行うことで中央の画素の解釈を行う。実際の入力画像は極端に言えば全面が黒の画像などの基本パターン以外のものも入力されてくる。従ってパターンマッチングでは同一のパターンと判断することは出来ないが、本発明に於ける入力画像は文字であり、線分で構成されている。従って黒の画素が本パターン群と一致したら、中央の画素の判断を行う方式を取れば良い。
【0021】
また、ここでは白地に黒の文字が入力された場合を示したが、黒字に白の文字が入力される場合は、入力画像の白の画素と黒の画素の数の比較を、センサ全面もしくは、部分に分けた小さなエリア別に行い、黒が多ければ黒字に白の文字と判断して、本実施例で示したパターンの白と黒が逆になった場合のパターンとの照合を行えば良い。ここで、白地に黒文字の場合と、黒地に白文字の場合の判断を行った結果をフラグとして保存しておき、画像データを読み出す時に、このフラグとの論理演算をすることで、常に白地に黒文字のデータとして扱うことが出来、前記パターンとのマッチングや、後述する文字認識演算におけるパターンマッチングで、黒地に白文字及び白地に黒文字の両方の判断をする必要がなく、演算を効率化することが出来る。また、撮影した画像の部分によって、黒地に白文字及び白地に黒文字の両方が混在している場合でも、画像の領域別にこのフラグを用意することで、上記の操作を行うことが出来る。
【0022】
第8図は、本発明による画像撮影システムの、光学的に画素をずらすことで、センサの各画素間の補間を行う方法を示した説明図である。ここではカラーセンサをカラーのまま使う場合、もしくは白黒センサを利用しているときに、センサの画素数以上の画素数で画像の入力を行う方法を示したものである。第8図(a)に示す8001は通常時のセンサの画素パターンである。これを第8図(b)のように画素8001に対して画素間隔の半分の長さだけセンサを横にずらして隙間を撮影することで、画素8002を得て、横方向の解像度を2倍に増やすことが出来る。第8図(c)は、これを実現するために可変プリズムを利用した光学系である。8003は2枚の透明板の間を蛇腹で繋ぎ、液体を満たした可変プリズムである。ここでは2枚の透明板は並行であり、光軸8004は直進している。第8図(d)は透明板を傾けた状態であり、光軸8006はプリズム8005によって曲げられて8007として出てくる。この傾きを用いて第8図(b)に示す画素ずらしを実現することが出来る。
【0023】
第9図は、本発明による画像撮影システムの、3板カラーセンサを用いて高精細画素を得る方法を示した説明図である。3板センサ方式のカメラは、R、G、Bそれぞれを専門に撮影する3枚のセンサ(9005、9006、9007)に均等に光を分割するために、レンズ9002から入射した光9001を、ハーフミラー9003、9004で分光する。具体的には光9001は第1のハーフミラー9003によりセンサ9005に光の1/3が分離され、残りの2/3の光は第2のハーフミラー9004により、センサ9006と9007に均等に分けられる。この3枚のセンサの相対画素位置は、通常は同じ位置となるように設定しているが、第4図(a)に示したカラーセンサの如く、相対位置を上下左右に振ることで、高精細画像を得ることが出来る。3枚のセンサーの前にはそれぞれR、G、Bの図示しないカラーセンサが取り付けられているが、第5図に示した如く3色それぞれ別なゲインをかけてレベル調整をする方法の他に、この場合はフィルターがセンサに一体となっていないので、高精細画像モードではカラーフィルター自体を取り外すことで、均一な信号を得ることが出来る。
【0024】
第10図は、カラーセンサの全面に装着された光学的ローパスフィルターを取り外すことで高精細画像を得る方法を示した説明図である。第4図に示したカラーセンサは3色の画素がそれぞれ相対的に別な位置にあるため、例えば光軸を極めて細く絞った白色光を受けたとき、白色光にも係わらず、その光が3色のセンサのうちの一つだけに当たると、着色された光として認識してしまう問題がある。そこで一般のカラーセンサを用いたカメラは、カラーセンサ10003の前面に水晶板10002を重ねる方式を取っている。この水晶板は光学的ローパスフィルターの機能を有し、入射した光軸10001は、光軸拡散範囲10004の範囲に分散して、3色の画素に均等に光が届くようにしている。高精細入力時に、この水晶板10006をセンサ10005の前面から取り外すことで、光は直接センサ10005に当たり、光学的ローパスの影響を受けずに高精細画像を得ることが出来る。
【0025】
第11図は、イメージスキャナ入力文字の処理で一般に行われる、ベクトル化の方法を示した説明図である。第11図(a)は、文字のような線で構成された画像をイメージスキャナで読取った画像データである。イメージスキャナは読取る原稿を、指定の解像度で量子化するため、また、紙の汚れや、手書き文字の場合はペンのかすれ等の要因により、本来の線分には存在しない量子化ノイズ11001が必ず出現する。そしてこのノイズは、ベクトル化の処理に於いて存在しない線分を作成してしまい、後の文字コードへの変換の障害となる。通常のベクトル化手法では、入力した画像を、第11図(b)の如く、一度ぼかし処理を行い、これを画像処理により、第11図(c)の如く短い線分の集合体とし、そしてその短い線分の同一方向のものを選択して繋ぐことで、第11図(d)の如く量子化ノイズのないベクトル情報を得る。このノイズ除去法によれば、文字認識におけるパターンマッチングに於ても、ノイズの影響を除去可能である。つまり、文字認識手段の誤動作を防止するのにこの量子化ノイズ除去法は効果がある。
【0026】
第12図は、本発明による画像撮影システムの、ぼかし処理を光学的に行う手法を示した説明図である。本発明で用いる画像入力装置はカメラであり、イメージスキャナと異なる点は、フォーカス調整が可能である点である。即ち、第12図(a)で示す如く、入射光がセンサ12002で一点に焦点するようにレンズ12001の前後位置を調整する。ピントが合ったところで入力した画像を第12図(c)に示す。これは第11図(a)と同じ画像であり、量子化ノイズが存在する。ここで本発明ではシャッターを切った瞬間に第12図(b)の如く、レンズ12003の位置を正しい位置からずらすことで、焦点を外す。これで第12図(d)のようなぼけた画像を得ることが出来、特別な演算を行う必要がなく、オートフォーカス信号にオフセットの命令を与えるだけでぼかし処理を行うことが出来る。
【0027】
第13図は、本発明による画像撮影システムの、高精細切換を自動的に行う方法を示した第1の実施例の説明図である。第13図(a)は、撮影した画像信号から高精細切換を行うかどうかを判断するための回路構成の例であり、特にカラーセンサを白黒高解像度で利用する高精細撮影手段への切換に有効である。文字は基本的に単色であり、それも黒のような無彩色で構成されることを前提として、センサから入力した信号を輝度Y信号13001と、色差R/B信号13003に変換して、そのR/B信号13002を色判断回路13003に入力する。色判断回路13003が文字入力であると判断すると、高精細切換回路13005に、高精細撮影への切換を指示する。第13図(b)は切換判断の動作フローであって、カメラは本番の撮影前に常にセンサーに入力される画像を、シャッターを押した瞬間にプレ撮影し(13006)、プレ撮影した画像の色差が一定以下(13007)もしくは特定の色のみで構成されていると判断すると、白黒高精細モード切換を行い(13008)、本番の撮影(13009)を行う。プレ撮影から本番の撮影までは、1フレーム(1/30秒)か1フィールド(1/60秒)の時間があれば、色差信号の判断は十分に行うことが出来、撮影に於けるシャッター操作から実際の撮影までのタイムラグも問題にはならない。
【0028】
第14図は、本発明による画像撮影システムの、高精細切換を自動的に行う方法を示した第2の実施例の説明図である。本実施例では、文字情報を撮影したときの画像情報の階調番号が、中間調を持たずに、特に濃い色と薄い色の2値に分かれることを利用して文字入力であるかどうかの判断を行う。第14図(a)では、入力されたR、G、Bの信号を階調カウンタ14001が数え、その結果文字入力であると判断すると高精細切換回路14002に、高精細撮影の指示を行う。第14図(b)は文字を撮影したときの階調番号と出現頻度の例を示したもので、文字情報は特に白と黒の2値に分かれ、中間調情報がないことを特徴としている。即ち階調番号の低い、黒い画素の数14005と、階調番号の高い、白い画素の数14006が多く、途中の階調番号の画素が存在しない。このような情報は文字情報であると判断して、高精細撮影を行う。高精細モードへの自動切換の手段として、この他に撮影した画像の周波数特性を分析して、特に高周波成分及びフラットな部分が多いと判断したときに切換を行うことも可能であり、さらに第13図、第14図の実施例も含めて、画面全体が文字情報である必要はなく、プレ撮影により得られた撮影画像のある一部が文字であると判断した時に、その部分だけ白黒高精細入力として信号処理を行い、他の部分は通常のカラー画像として撮影することも可能である。
【0029】
第15図は、本発明による画像撮影システムの、撮影した文字のベクトル情報を表現する方法を示した説明図である。第15図(a)は、第11図(c)で説明した、短い線ベクトルの集合体である。第15図(b)はこの短い線ベクトルを同じ方向のものを集めて一列に並ベたものである。各短いベクトルはその終点と、次のベクトルの始点が接続された座標として表記されるが、短いベクトルの集合体であることは同じである。第15図(e)に、この短いベクトルの集合体を数値表現したテーブルの例を示す。#1、#2はそれぞれ一つの線分を表わし、これは短いベクトル(1)、(2)、…(m)の集合で表わされ、それぞれの短いベクトルはその始点と終点の座標で表現される。(1)のベクトルの終点X2,Y2は、(2)のベクトルの始点と同一である。第15図(c)は、#1、#2それぞれの短いベクトルの集合で表わされた線分であり、文字に於ける各構成要素の線分である。これは第15図(e)で示したそれぞれの線分別に記述されるので、第15図(d)の如く図示された2本の線分は全く独立して管理することが出来る。この線分のベクトル情報を利用した文字認識は、第15図(d)で示すそれぞれの線分別に、基本となる文字パターンとの方向及び長さの照合を行い、文字認識の基礎データとする。
【0030】
第16図は、本発明による画像撮影システムの形態を示す説明図である。第16図(a)は画像の入力を行うカメラ部と、撮影した画像の処理を行うコンピュータ部が別体の場合の例てあり、画像の入力を行う電子カメラ16001と、画像の処理を行うPDA(Personal Digital Assistant:携帯情報端末)16002が、専用もしくは汎用のインタフェース16003によって接続される。16003はケーブルでもよく、また電子カメラがPDAのインタフェーススロットに直接差し込まれて一体化する形態であってもよい。このインタフェースを通して、PDAは電子カメラに高精細撮影の指示を行い、電子カメラはPDAに撮影した画像情報を転送する。第16図(b)は、画像の入力を行う電子カメラとPDAを一体化したものである。勿論第16図(a)に示すシステムと同様の処理を可能とするものである。
【0031】
第17図は、本発明による画像撮影システムの、カメラコントロールモードを操作するユーザーインタフェースの例を示した画面レイアウト図である。本発明は線画像情報を撮影することを目的とするものであるが、第17図に示す実施例に於いて、線画像情報の一種であるところの、特に文字情報を入力する場合の説明をする。第17図(a)はカメラの動作モードを指示する画面であり、PDAのタッチパネルより指示を入力する。指定項目はカラー撮影/白黒高精細撮影の動作モード、文字入力をするかどうかの指定で、文字入力をする場合は、第12図で説明したような文字入力向けの撮影を行う。そして得られた画像情報の記憶媒体内の占有比率で、本実施例では記憶媒体の80%が既に使用されていることを示す。ここではパーセントで表示をしているが、撮影可能な枚数の単位で表示を行っても良い。第17図(b)は上記したカメラへの指示を、PDAのタッチパネルではなくてカメラに設けられたスイッチで行う場合であって、カメラ上のどのスイッチにどの機能を割り当てるかを、PDAのタッチパネルを用いたグラフィカルインタフェースで行う。本実施例ではカラー撮影/白黒高精細撮影の切換をSW1で行い、文字入力モードの切換をSW1〜SW3の範囲で選択してる状態である。文字入力モードは現在SW1となっており、横に表示したカメラのイラストの上で、SW1の場所が黒く塗りつぶされることでスイッチの場所が分かるようにしてある。ここでカラー/白黒高精細切換と、文字入力モードを両方とも同じスイッチ(ここてはSW1)に定義した場合、SW1を切換えることで、白黒高精細入力モードと文字入力モードへの切換が同時に行われる。
【図面の簡単な説明】
【0032】
【図1】本発明による画像撮影システムのブロック図である。
【図2】本発明による画像撮影システムによる、入力した文字情報を変換する手順を示した説明図である。
【図3】本発明による画像撮影システムによる、文字情報の入力を行う際の動作フローチャートである。
【図4】本発明による画像撮影システムによる、高精細モードを実現する原理を示したセンサのパターン図である。
【図5】本発明による画像撮影システムの、高精細モードによる画像入力処理の第1の例を示すブロック図である。
【図6】本発明による画像撮影システムの、高精細モードによる画像入力処理の第2の例を示すブロック図である。
【図7】本発明による画像撮影システムの、カラーセンサの空白画素を補間する方法を示した説明図である。
【図8】本発明による画像撮影システムの、光学的に画素をずらすことで、センサの各画素間の補間を行う方法を示した説明図である。
【図9】本発明による画像撮影システムの、3板カラーセンサを用いて高精細画素を得る方法を示した説明図である。
【図10】カラーセンサの全面に装着された光学的ローパスフィルターを取り外すことで高精細画像を得る方法を示した説明図である。
【図11】イメージスキャナ入力文字の処理で一般に行われる、ベクトル化の方法を示した説明図である。
【図12】本発明による画像撮影システムの、ぼかし処理を光学的に行う手法を示した説明図である。
【図13】本発明による画像撮影システムの、高精細切換を自動的に行う方法を示した第1の実施例の説明図である。
【図14】本発明による画像撮影システムの、高精細切換を自動的に行う方法を示した第2の実施例の説明図である。
【図15】本発明による画像撮影システムの、撮影した文字のベクトル情報を表現する方法を示した説明図である。
【図16】本発明による画像撮影システムの形態を示す説明図である。
【図17】本発明による画像撮影システムの、カメラコントロールモードを操作するユーザーインタフェースの例を示した画面レイアウト図である。
【符号の説明】
【0033】
1000 センサ
1001 信号処理回路
1002 タッチパネル
1003 高精細化手段
1004 RAM
1005 カメラコントローラ
1006、1009 I/F
1007 記憶媒体
1008 CPU
1010 メモリ
1011 ディスプレイ
【技術分野】
【0001】
本発明は、電子式撮影装置を有するコンピュータに係わり、特に電子カメラで構成されるシステム、若しくは、該電子カメラと接続し携帯可能な端末装置を含むシステムに係わる。
【背景技術】
【0002】
文字による情報の入手方法は、従来、筆記、印刷、文書のコピー、そしてイメージスキャナによる文書の入力と文字認識と進化している。また、入力する情報を電子化することにより、FAXやパソコン通信等の手段により外部に伝達する方法も考案されている。
【0003】
また、画像を入力し、それを電子情報として記録する機器として、電子スチルカメラがある。特許文献1には、携帯電話機能を登載し、撮影した画像情報を電話回線を通じて、即座に別の場所にある大型の記録媒体に伝送する発明が記載されている。
【0004】
【特許文献1】特開平6−133081号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記従来技術に記載した方法による文字で記述された情報の入手は、適当な大きさの紙に印刷されており、且つその紙を情報を入手する者が直接取り扱うことが出来る場合に限られており、例えば展示パネルや壁に貼られたお知らせなどの情報は、上記の方法では取り込むことが出来ない。このような形態の情報は、前記発明に代表される電子スチルカメラで取得することが可能であるが、電子スチルカメラは通常は、自然画のビデオ画像程度の画像を入力することを想定しており、イメージスキャナに代表されるような文字を入力するための高解像度入力を行うことが出来ない。また、自然画を想定しているため、入力した画像が文字である場合の、画像情報の文字コードへの変換等に利用されるような画像情報の処理を行うことも考慮されていなかった。
【課題を解決するための手段】
【0006】
文字情報に代表される線画像情報は、基本的に色が単色であること、階調が2値であること、空間周波数特性が高いことが特徴であり、これらの点で、通常のビデオ画像(以下、自然画像)と異なる。この特徴を持つ線画像を入力するために、電子カメラが高精細に撮影する手段を有し、自然画像と線画像との判定手段を有することで、自然画像入力と線画像入力とのモード切換え手段を有し、撮影した線画像情報から、量子化ノイズを除去する手段と、線画像情報を、単色・2値のベクトル情報に変換する手段と、撮影した線画像の地色(例えば、撮影対象の紙面等の色)を判定する手段と、線画像が文字情報である場合は、変換されたベクトル情報を文字コードに変換する手段を有することで解決される。
【0007】
なお、自然画入力と高精細入力とのモード切換えは、自然両像と線画像との判定手段に基づき、自動で切り替えることも可能であるが、切り替えスイッチを設け、手動で切り替えても良い。
【0008】
また、上記切換えに応じて、上記撮影した情報の上記処理動作を制御する手段を有しても良い。
【発明の効果】
【0009】
本発明によれば、紙で配布された資料のみならず、壁に掲示したパネル等に記載された線画像や文字も、簡便に入力して線情報や文字情報として取り扱い、処理することが出来、従来目視で見ることは出来ても入手が困難であった情報の入手も可能になる。
【発明を実施するための最良の形態】
【0010】
以下、本発明による画像撮影システムの実施の形態の具体例を図を用いて説明する。第1図は、本発明による画像撮影システムのブロック図である。本システムは文字を含んだ画像を撮影するカメラ部と、カメラ部に対して文字撮影を行う旨の指示を出し、且つ撮影された文字を含んだ画像情報を管理・処理するPDA部の2つにより構成される。カメラ部に於いて、画像はセンサ1000により撮影され、センサ1000により得られた情報は信号処理回路1001を経由して、画像圧縮回路1003により圧縮符号化が行われ、ICカード等で構成される記憶媒体1007に記録される。ここで画像圧縮回路1003はRAM1004を持ち、これを作業領域として画像圧縮作業を行う。撮影された画像情報は、記憶媒体1007や、I/F1006及び1009を用いてPDAに入力される。これらの動作はカメラコントローラ1005により制御される。PDAはCPU1008を中心とするバス構造で構成されており、そのバスの周囲にはI/F1009、記憶媒体1007とのI/F(図示しない)と、メモリ1010、ディスプレイ1011、タッチパネル1002で構成され、利用者への情報の提示はディスプレイ1011により、PDAへの利用者の指示はディスプレイ1011に重ねて設けたタッチパネル1002を用いて行われる。
【0011】
第1図では、本発明による画像撮影システムを、カメラ部とPDA部の2つで構成したものとしているが、これは両者を2つの筐体の中に組み込んだ形態も可能である。このときはニ/F1006と、I/F1009は必ずしも、必須ではない。
【0012】
本発明による画像撮影システムで、文字情報を撮影するときは、PDA上で利用者が、文字を撮影する旨の指示をタッチパネル1002より入力する。これによりPDAは撮影された画像情報が文字情報である前提で処理を行うモードに切換えると同時に、I/F1009、1006を用いてカメラコントローラ1005に、文字入力モードへの切換えを指示する。文字入力モードに切換えられたカメラは、高精細化手段1003によりセンサ1000による撮影モードを高精細撮影モードに切換える。
【0013】
第2図は、本発明による画像撮影システムによる、入力した文字情報を変換する手順を示した説明図である。本発明は線画像情報を撮影することを目的とするものであるが、第2図に示す実施例に於いて、線画像情報の一種であるところの、特に文字情報を入力する場合の説明をする。画像情報を入力する場合は、撮影される画像2002は、例えば横640画素×480画素で各画素8ビット×3色のビットマップデータ2001としてカメラ内に取り込まれる。これを所定の情報圧縮操作を行うことで、圧縮画像ファイル2005を得、この状態でカメラの記憶装置に保存する。通常の電子カメラでは、撮影した画像が文字情報であってもこの手順により情報の保存を行う。本発明による画像撮影システムでは、撮影される文字2003は、画像2002の撮影と同様に、まずビットマップデータ2004としてカメラ内に取り込まれる。この後ビットマップデータ2004を解析して、文字を構成する各線を表現するベクトル情報2006に変換し、この状態で保存。もしくはさらにベクトル情報から文字認識手段により文字コード2007に変換して保存する。入力した情報が文字に変換する必要のない線画像情報の場合、2007のベクトル情報から文字認識手段により文字コードに変換する手段は、必ずしも必要ない。
【0014】
第3図は、本発明による画像撮影システムによる、文字情報の入力を行う際の動作フローチャートである。本発明は線画像情報を撮影することを目的とするものであるが、第3図に示す実施例に於いて、線画像情報の一種であるところの、特に文字情報を入力する場合の説明をする。本発明による画像撮影は、2つの動作モードを持ち、一つは通常の画像情報の入力である。もう一つの文字入力モードでは、撮影する対象が文字で構成されていることを利用して、文字入力専用の動作を行う。まず撮影する対象が文字であるかどうかを判断し(3001)、文字でない場合には通常の記録を行うが、文字である場合には、撮像センサの動作モードを高精細モードに切換える(3002)。次にカメラのシャッター釦等の撮影命令による入力を待ち(3003)、待ちの状態であれば入力待ちを繰返す。その間、文字撮影モードの解除の判断を行い(3004)、解除であれば、文字入力かどうかを判断する最初のステップに戻る。撮影命令が出ると高精細モードにて文字で構成された画像の入力を行い(3005)、撮影された画像を文字入力として第2図に示す如く所定の処理を行い(3006)、記録する(3007)。
【0015】
第4図は、本発明による画像撮影システムによる、高精細モードを実現する原理を示したセンサのパターン図である。第4図(a)、第4図(b)は、現行のカラーカメラの3色一体センサの表面のパターンの例を示す。第4図(a)は、R(赤)、G(緑)、B(青)の3色の画素を一単位として各画素(4001、4002)を構成する。第4図(b)はR、G、Bの3色の画素が横一列に並ぶ(4003、4004)形で構成される。本発明による画像撮影システムでは、文字が単色で記述されていることに注目して、カラーセンサの色別の各画素をそれぞれ独立した画素として使用することで、高精細画像を得ることを特徴とする。第4図(b)では、R、G、Bの画素が全面に並んでおり、このそれぞれの画素を独立して読取ることにより、縦横共に2倍の解像度を得ることが可能となる。第4図(c)は、第4図(a)に示したパターンの画素を用いて高精細画像を読取る方法である。縦と横に並んでいるR、G、Bの画素を、水平の1ライン目(4005)は、R、G、R、Gと並んでいるラインとして取扱い、水平の2ライン目(4006)は、Bの画素が1画素置きに並んでいる形とする。これを水平方向に読取ることで、縦横共に略2倍の解像度を得ることが出来る。1画素置きにBの画素が並んでいるライン(4006)の空いている画素部分の補間算出方法は、第7図にて後述する。
【0016】
第5図は、本発明による画像撮影システムの、高精細モードによる画像入力処理の第1の例を示すブロック図である。第4図(a)のような画素パターンを持つセンサから入力された画像は、第4図(c)のように2ライン分の画像情報が同時に入力される。本実施例では、センサ5001から入力されたR、G、Bの3色の信号に、まずそれぞれのフィルタ係数を補正するゲインをかける(5004)具体的には、R、G、Bの輝度はそれぞれ3対6対1の重み付けがされているので、その逆数をかけることで、例えば黒や灰色などの無彩色で記述された文字を撮影した時、3色のセンサから略同一レベルの信号が出力されるような調整を行うことが出来る。出力されたR、G、B信号は2ラインメモリ5005に同時に入力され、読みだし時には1ラインずつ読み出して画像メモリ5006に入力することで、正しい順序に入れ替えた白黒ビットマップ画像を得ることが出来る。これらのメモリの書込み、読み出しの制御は、アドレス制御回路5007が行う。
【0017】
第6図は、本発明による画像撮影システムの、高精細モードによる画像入力処理の第2の例を示すブロック図である。センサ6001からR、G、Bの3色の信号を取り出して、ゲインをかける(6004)ところは第5図と同一であり、ここでは説明を省略する。本実施例では、読みだし順序の異なる画像、具体的には第4図の(a)の如く、R、G、B、R、G、Bという順で読み出されることで、第1ラインと第2ラインの画像が交互に読み出される画像データを、一度そのまま画像メモリ6005に記録する。画像メモリ6005はバスにつなかっており、CPU6006で管理される。同じバスにはHDD(ハードディスクドライブ)6007等の保存用記憶媒体が接続されており、画像メモリ6005に一度記録された画像は、画像メモリのランダムアクセスを利用して、正しい順番で各画素のデータを読み出してHDDに保存する。画像メモリへのアクセスのアドレス制御はCPU6006が所定のプログラムの動作に従って行う。
【0018】
第7図は、第4図(a)に示したカラーセンサの空白画素を補間する方法を示した説明図である。カラーセンサは一つのカラーの画素をR、G、Bの3つのセンサで構成している(7001から7004)。このそれぞれのセンサを一つの画素と見なすことで高精細画像を得る。具体的には7001から7004の画素から、7005のようなパターンが出来上がる。カラーセンサは縦横共に2画素を一単位としているので、画面の端ではGの画素が、下ではBの画素が2画素の1画素の割合で並ぶことになり、これから説明する補間演算が出来ないが、カラー画像でも数100画素単位の長さの画面サイズを持つものであり、端及び下の一列は無視してよい。7005のような画素のパターンで、中央の画素が信号がない状態となり、これを周囲の画素から補間演算することで、全ての画素に信号が入ったように見える情報を得ることが出来る。ここで、本発明は画像撮影システムであり、入力された信号は白か黒かどちらかの2値画像である。以下、7005のパターンに於ける周囲の画素に白及び黒の信号が入ったときの中央の画素の補間を行う全てのパターンを示す。
【0019】
7006は上と左の2画素が黒、他が白の場合である。この時は上から左の画素に向かって斜めの線が走っていると解釈し、中央の画素は白である。7007は左上のみが黒の場合である。この場合、左上の隅の画素は単独ドットか線分の端であると解釈し、中央の画素は白である。7008は右上と左下が黒の場合であり、この場合は右上から左下に直線が走っていると解釈し、中央の画素は黒である。7009は左の画素のみが黒の場合である。7007と同様に解釈し中央の画素は白である。7010は左と右の画素のみが黒の場合である。7008と同様に解釈し中央の画素は黒である。7011は上の一列のみが黒の場合である。この場合は上の一列に横方向の線分が走っていると解釈し、中央の画素は白である。
【0020】
これらのパターン7006〜7011は上下・左右対象であり、また回転しても同様に扱うことが出来る。入力した画像はこの基本パターン7006〜7011と、パターンの向きや回転方向の角度をかえつつパターンマッチングを行うことで中央の画素の解釈を行う。実際の入力画像は極端に言えば全面が黒の画像などの基本パターン以外のものも入力されてくる。従ってパターンマッチングでは同一のパターンと判断することは出来ないが、本発明に於ける入力画像は文字であり、線分で構成されている。従って黒の画素が本パターン群と一致したら、中央の画素の判断を行う方式を取れば良い。
【0021】
また、ここでは白地に黒の文字が入力された場合を示したが、黒字に白の文字が入力される場合は、入力画像の白の画素と黒の画素の数の比較を、センサ全面もしくは、部分に分けた小さなエリア別に行い、黒が多ければ黒字に白の文字と判断して、本実施例で示したパターンの白と黒が逆になった場合のパターンとの照合を行えば良い。ここで、白地に黒文字の場合と、黒地に白文字の場合の判断を行った結果をフラグとして保存しておき、画像データを読み出す時に、このフラグとの論理演算をすることで、常に白地に黒文字のデータとして扱うことが出来、前記パターンとのマッチングや、後述する文字認識演算におけるパターンマッチングで、黒地に白文字及び白地に黒文字の両方の判断をする必要がなく、演算を効率化することが出来る。また、撮影した画像の部分によって、黒地に白文字及び白地に黒文字の両方が混在している場合でも、画像の領域別にこのフラグを用意することで、上記の操作を行うことが出来る。
【0022】
第8図は、本発明による画像撮影システムの、光学的に画素をずらすことで、センサの各画素間の補間を行う方法を示した説明図である。ここではカラーセンサをカラーのまま使う場合、もしくは白黒センサを利用しているときに、センサの画素数以上の画素数で画像の入力を行う方法を示したものである。第8図(a)に示す8001は通常時のセンサの画素パターンである。これを第8図(b)のように画素8001に対して画素間隔の半分の長さだけセンサを横にずらして隙間を撮影することで、画素8002を得て、横方向の解像度を2倍に増やすことが出来る。第8図(c)は、これを実現するために可変プリズムを利用した光学系である。8003は2枚の透明板の間を蛇腹で繋ぎ、液体を満たした可変プリズムである。ここでは2枚の透明板は並行であり、光軸8004は直進している。第8図(d)は透明板を傾けた状態であり、光軸8006はプリズム8005によって曲げられて8007として出てくる。この傾きを用いて第8図(b)に示す画素ずらしを実現することが出来る。
【0023】
第9図は、本発明による画像撮影システムの、3板カラーセンサを用いて高精細画素を得る方法を示した説明図である。3板センサ方式のカメラは、R、G、Bそれぞれを専門に撮影する3枚のセンサ(9005、9006、9007)に均等に光を分割するために、レンズ9002から入射した光9001を、ハーフミラー9003、9004で分光する。具体的には光9001は第1のハーフミラー9003によりセンサ9005に光の1/3が分離され、残りの2/3の光は第2のハーフミラー9004により、センサ9006と9007に均等に分けられる。この3枚のセンサの相対画素位置は、通常は同じ位置となるように設定しているが、第4図(a)に示したカラーセンサの如く、相対位置を上下左右に振ることで、高精細画像を得ることが出来る。3枚のセンサーの前にはそれぞれR、G、Bの図示しないカラーセンサが取り付けられているが、第5図に示した如く3色それぞれ別なゲインをかけてレベル調整をする方法の他に、この場合はフィルターがセンサに一体となっていないので、高精細画像モードではカラーフィルター自体を取り外すことで、均一な信号を得ることが出来る。
【0024】
第10図は、カラーセンサの全面に装着された光学的ローパスフィルターを取り外すことで高精細画像を得る方法を示した説明図である。第4図に示したカラーセンサは3色の画素がそれぞれ相対的に別な位置にあるため、例えば光軸を極めて細く絞った白色光を受けたとき、白色光にも係わらず、その光が3色のセンサのうちの一つだけに当たると、着色された光として認識してしまう問題がある。そこで一般のカラーセンサを用いたカメラは、カラーセンサ10003の前面に水晶板10002を重ねる方式を取っている。この水晶板は光学的ローパスフィルターの機能を有し、入射した光軸10001は、光軸拡散範囲10004の範囲に分散して、3色の画素に均等に光が届くようにしている。高精細入力時に、この水晶板10006をセンサ10005の前面から取り外すことで、光は直接センサ10005に当たり、光学的ローパスの影響を受けずに高精細画像を得ることが出来る。
【0025】
第11図は、イメージスキャナ入力文字の処理で一般に行われる、ベクトル化の方法を示した説明図である。第11図(a)は、文字のような線で構成された画像をイメージスキャナで読取った画像データである。イメージスキャナは読取る原稿を、指定の解像度で量子化するため、また、紙の汚れや、手書き文字の場合はペンのかすれ等の要因により、本来の線分には存在しない量子化ノイズ11001が必ず出現する。そしてこのノイズは、ベクトル化の処理に於いて存在しない線分を作成してしまい、後の文字コードへの変換の障害となる。通常のベクトル化手法では、入力した画像を、第11図(b)の如く、一度ぼかし処理を行い、これを画像処理により、第11図(c)の如く短い線分の集合体とし、そしてその短い線分の同一方向のものを選択して繋ぐことで、第11図(d)の如く量子化ノイズのないベクトル情報を得る。このノイズ除去法によれば、文字認識におけるパターンマッチングに於ても、ノイズの影響を除去可能である。つまり、文字認識手段の誤動作を防止するのにこの量子化ノイズ除去法は効果がある。
【0026】
第12図は、本発明による画像撮影システムの、ぼかし処理を光学的に行う手法を示した説明図である。本発明で用いる画像入力装置はカメラであり、イメージスキャナと異なる点は、フォーカス調整が可能である点である。即ち、第12図(a)で示す如く、入射光がセンサ12002で一点に焦点するようにレンズ12001の前後位置を調整する。ピントが合ったところで入力した画像を第12図(c)に示す。これは第11図(a)と同じ画像であり、量子化ノイズが存在する。ここで本発明ではシャッターを切った瞬間に第12図(b)の如く、レンズ12003の位置を正しい位置からずらすことで、焦点を外す。これで第12図(d)のようなぼけた画像を得ることが出来、特別な演算を行う必要がなく、オートフォーカス信号にオフセットの命令を与えるだけでぼかし処理を行うことが出来る。
【0027】
第13図は、本発明による画像撮影システムの、高精細切換を自動的に行う方法を示した第1の実施例の説明図である。第13図(a)は、撮影した画像信号から高精細切換を行うかどうかを判断するための回路構成の例であり、特にカラーセンサを白黒高解像度で利用する高精細撮影手段への切換に有効である。文字は基本的に単色であり、それも黒のような無彩色で構成されることを前提として、センサから入力した信号を輝度Y信号13001と、色差R/B信号13003に変換して、そのR/B信号13002を色判断回路13003に入力する。色判断回路13003が文字入力であると判断すると、高精細切換回路13005に、高精細撮影への切換を指示する。第13図(b)は切換判断の動作フローであって、カメラは本番の撮影前に常にセンサーに入力される画像を、シャッターを押した瞬間にプレ撮影し(13006)、プレ撮影した画像の色差が一定以下(13007)もしくは特定の色のみで構成されていると判断すると、白黒高精細モード切換を行い(13008)、本番の撮影(13009)を行う。プレ撮影から本番の撮影までは、1フレーム(1/30秒)か1フィールド(1/60秒)の時間があれば、色差信号の判断は十分に行うことが出来、撮影に於けるシャッター操作から実際の撮影までのタイムラグも問題にはならない。
【0028】
第14図は、本発明による画像撮影システムの、高精細切換を自動的に行う方法を示した第2の実施例の説明図である。本実施例では、文字情報を撮影したときの画像情報の階調番号が、中間調を持たずに、特に濃い色と薄い色の2値に分かれることを利用して文字入力であるかどうかの判断を行う。第14図(a)では、入力されたR、G、Bの信号を階調カウンタ14001が数え、その結果文字入力であると判断すると高精細切換回路14002に、高精細撮影の指示を行う。第14図(b)は文字を撮影したときの階調番号と出現頻度の例を示したもので、文字情報は特に白と黒の2値に分かれ、中間調情報がないことを特徴としている。即ち階調番号の低い、黒い画素の数14005と、階調番号の高い、白い画素の数14006が多く、途中の階調番号の画素が存在しない。このような情報は文字情報であると判断して、高精細撮影を行う。高精細モードへの自動切換の手段として、この他に撮影した画像の周波数特性を分析して、特に高周波成分及びフラットな部分が多いと判断したときに切換を行うことも可能であり、さらに第13図、第14図の実施例も含めて、画面全体が文字情報である必要はなく、プレ撮影により得られた撮影画像のある一部が文字であると判断した時に、その部分だけ白黒高精細入力として信号処理を行い、他の部分は通常のカラー画像として撮影することも可能である。
【0029】
第15図は、本発明による画像撮影システムの、撮影した文字のベクトル情報を表現する方法を示した説明図である。第15図(a)は、第11図(c)で説明した、短い線ベクトルの集合体である。第15図(b)はこの短い線ベクトルを同じ方向のものを集めて一列に並ベたものである。各短いベクトルはその終点と、次のベクトルの始点が接続された座標として表記されるが、短いベクトルの集合体であることは同じである。第15図(e)に、この短いベクトルの集合体を数値表現したテーブルの例を示す。#1、#2はそれぞれ一つの線分を表わし、これは短いベクトル(1)、(2)、…(m)の集合で表わされ、それぞれの短いベクトルはその始点と終点の座標で表現される。(1)のベクトルの終点X2,Y2は、(2)のベクトルの始点と同一である。第15図(c)は、#1、#2それぞれの短いベクトルの集合で表わされた線分であり、文字に於ける各構成要素の線分である。これは第15図(e)で示したそれぞれの線分別に記述されるので、第15図(d)の如く図示された2本の線分は全く独立して管理することが出来る。この線分のベクトル情報を利用した文字認識は、第15図(d)で示すそれぞれの線分別に、基本となる文字パターンとの方向及び長さの照合を行い、文字認識の基礎データとする。
【0030】
第16図は、本発明による画像撮影システムの形態を示す説明図である。第16図(a)は画像の入力を行うカメラ部と、撮影した画像の処理を行うコンピュータ部が別体の場合の例てあり、画像の入力を行う電子カメラ16001と、画像の処理を行うPDA(Personal Digital Assistant:携帯情報端末)16002が、専用もしくは汎用のインタフェース16003によって接続される。16003はケーブルでもよく、また電子カメラがPDAのインタフェーススロットに直接差し込まれて一体化する形態であってもよい。このインタフェースを通して、PDAは電子カメラに高精細撮影の指示を行い、電子カメラはPDAに撮影した画像情報を転送する。第16図(b)は、画像の入力を行う電子カメラとPDAを一体化したものである。勿論第16図(a)に示すシステムと同様の処理を可能とするものである。
【0031】
第17図は、本発明による画像撮影システムの、カメラコントロールモードを操作するユーザーインタフェースの例を示した画面レイアウト図である。本発明は線画像情報を撮影することを目的とするものであるが、第17図に示す実施例に於いて、線画像情報の一種であるところの、特に文字情報を入力する場合の説明をする。第17図(a)はカメラの動作モードを指示する画面であり、PDAのタッチパネルより指示を入力する。指定項目はカラー撮影/白黒高精細撮影の動作モード、文字入力をするかどうかの指定で、文字入力をする場合は、第12図で説明したような文字入力向けの撮影を行う。そして得られた画像情報の記憶媒体内の占有比率で、本実施例では記憶媒体の80%が既に使用されていることを示す。ここではパーセントで表示をしているが、撮影可能な枚数の単位で表示を行っても良い。第17図(b)は上記したカメラへの指示を、PDAのタッチパネルではなくてカメラに設けられたスイッチで行う場合であって、カメラ上のどのスイッチにどの機能を割り当てるかを、PDAのタッチパネルを用いたグラフィカルインタフェースで行う。本実施例ではカラー撮影/白黒高精細撮影の切換をSW1で行い、文字入力モードの切換をSW1〜SW3の範囲で選択してる状態である。文字入力モードは現在SW1となっており、横に表示したカメラのイラストの上で、SW1の場所が黒く塗りつぶされることでスイッチの場所が分かるようにしてある。ここでカラー/白黒高精細切換と、文字入力モードを両方とも同じスイッチ(ここてはSW1)に定義した場合、SW1を切換えることで、白黒高精細入力モードと文字入力モードへの切換が同時に行われる。
【図面の簡単な説明】
【0032】
【図1】本発明による画像撮影システムのブロック図である。
【図2】本発明による画像撮影システムによる、入力した文字情報を変換する手順を示した説明図である。
【図3】本発明による画像撮影システムによる、文字情報の入力を行う際の動作フローチャートである。
【図4】本発明による画像撮影システムによる、高精細モードを実現する原理を示したセンサのパターン図である。
【図5】本発明による画像撮影システムの、高精細モードによる画像入力処理の第1の例を示すブロック図である。
【図6】本発明による画像撮影システムの、高精細モードによる画像入力処理の第2の例を示すブロック図である。
【図7】本発明による画像撮影システムの、カラーセンサの空白画素を補間する方法を示した説明図である。
【図8】本発明による画像撮影システムの、光学的に画素をずらすことで、センサの各画素間の補間を行う方法を示した説明図である。
【図9】本発明による画像撮影システムの、3板カラーセンサを用いて高精細画素を得る方法を示した説明図である。
【図10】カラーセンサの全面に装着された光学的ローパスフィルターを取り外すことで高精細画像を得る方法を示した説明図である。
【図11】イメージスキャナ入力文字の処理で一般に行われる、ベクトル化の方法を示した説明図である。
【図12】本発明による画像撮影システムの、ぼかし処理を光学的に行う手法を示した説明図である。
【図13】本発明による画像撮影システムの、高精細切換を自動的に行う方法を示した第1の実施例の説明図である。
【図14】本発明による画像撮影システムの、高精細切換を自動的に行う方法を示した第2の実施例の説明図である。
【図15】本発明による画像撮影システムの、撮影した文字のベクトル情報を表現する方法を示した説明図である。
【図16】本発明による画像撮影システムの形態を示す説明図である。
【図17】本発明による画像撮影システムの、カメラコントロールモードを操作するユーザーインタフェースの例を示した画面レイアウト図である。
【符号の説明】
【0033】
1000 センサ
1001 信号処理回路
1002 タッチパネル
1003 高精細化手段
1004 RAM
1005 カメラコントローラ
1006、1009 I/F
1007 記憶媒体
1008 CPU
1010 メモリ
1011 ディスプレイ
【特許請求の範囲】
【請求項1】
光を電気信号に変換する撮像素子と該撮像素子に至る光学系を有する画像撮影システムであって、 画像撮影システムは、通常の撮影を行う第1の撮影モードと、該第1の撮影モードよりも高精細の撮影を行う第2の撮影モードを有することを特徴とする画像撮影システム。
【請求項2】
請求項1記載の画像撮影システムであって、 第1の撮影モードと第2の撮影モードを切換えることを特徴とする画像撮影システム。
【請求項3】
光を電気信号に変換する撮像素子と該撮像素子に至る光学系を用いてディジタル画像を入力する電子カメラと、携帯情報端末を含む画像撮影システムであって、 電子カメラは、携帯情報端末からのモード切換え信号により、通常の撮影を行う第1の撮影モードから高精細撮影を行う第2の撮影モードに切換える、または、高精細撮影を行う第2の撮影モードから通常の撮影を行う第1の撮影モードに切換えることを特徴とする画像撮影システム。
【請求項4】
請求項1、2もしくは3記載の画像撮影システムであって、 画像撮影システムは高精細撮影を行う第2の撮影モードに切換えると同時に、撮影した画像情報を線画像情報として取り扱うモードに切換えることを特徴とする画像撮影システム。
【請求項5】
請求項1、2もしくは3記載の画像撮影システムであって、 、前記光学系には、撮像素子の画素間隔の少なくとも1/2の大きさで光軸と撮像素子の相対位置をシフトするべく、光軸もしくは撮像素子のいずれかをシフトする光軸シフト手段を有し、第1回目の撮影を行った後、第1回目の撮影時の撮像素子の画素の間に撮像素子がシフトするように光軸をずらして、第2回目以降の撮影を行い、撮影結果を合成して画像情報にすることを特徴とする画像撮影システム。
【請求項6】
請求項1、2もしくは3記載の画像撮影システムであって、 前記撮像素子はカラーセンサであり、カラーセンサの各画素の出力信号を独立して取り扱うことで、高精細の撮影をすることを特徴とする画像撮影システム。
【請求項7】
請求項6記載の画像撮影システムであって、 カラーセンサの各画素からの出力信号に、該各カラーセンサの色に応じたゲインを乗算して、該各カラーセンサの各画素からの出力を該各カラーセンサ間で略同じに補正することを特徴とする画像撮影システム。
【請求項8】
請求項6記載の画像撮影システムであって、 カラーセンサ表面に重ね合わせてある光学的ローパスフィルタを取り外す機構を有することを特徴とする画像撮影システム。
【請求項9】
請求項1、2もしくは3記載の画像撮影システムであって、 前記撮像素子は少なくとも3個の撮像素子により構成され、入射した光をプリズム等の光学的分光手段により分割して、3個の撮像素子に同時に照射する構造であって、 第1の撮像素子の位置に対して、第2、第3の撮像素子の相対位置を、第1の撮像素子の画素間隔の1/2だけ、それぞれ上下方向、左右方向にシフトされた位置に設置し、3個の撮像素子からの画像情報を合成して、画像情報にすることを特徴とする画像撮影システム。
【請求項10】
請求項6記載の画像撮影システムであって、 前記撮像素子の前にそれぞれ装着されたカラーフィルターを取り外す機構を有することを特徴とする画像撮影システム。
【請求項11】
請求項1、2もしくは3記載の画像撮影システムであって、 撮影した線画像の量子化ノイズを排除する機能を有することを特徴とする画像撮影システム。
【請求項12】
請求項11記載の画像撮影システムであって、 光学的にぼけた画像を撮影することで量子化ノイズを排除することを特徴とする画像撮影システム。
【請求項13】
請求項12記載の画像撮影システムであって、 オートフォーカスシステムを有する場合、該オートフォーカスシステムが、フォーカスを合焦点位置からずらして、撮影することで量子化ノイズを排除することを特徴とする画像撮影システム。
【請求項14】
請求項11記載の画像撮影システムであって、 入力した画像から、線画像の構成要素のベクトル情報を算出するベクトル情報算出手段を有することを特徴とする画像撮影システム。
【請求項15】
請求項14記載の画像撮影システムであって、 ベクトル情報算出手段による線画像のベクトル情報算出は、前記携帯情報端末にて行われることを特徴とする画像撮影システム。
【請求項16】
請求項14記載の画像撮影システムであって、 撮影した線画像情報を、該線画像情報から前記ベクトル情報算出手段により算出されたベクトル情報にて、記録・再生等の管理を行うことを特徴とする画像撮影システム。
【請求項17】
請求項14記載の画像撮影システムであって、 ベクトル情報算出手段による線画像のベクトル情報算出は、前記電子カメラにて行われ、前記携帯端末装置は算出されたベクトル情報にて、撮影した線画像情報の記録・再生等の管理を行うことを特徴とする画像撮影システム。
【請求項18】
請求項16及び請求項15記載の画像撮影システムであって、 撮影した線画像が文字情報である場合に、ベクトル情報にて記録された文字情報は、文字コード変換手段により、文字コードに変換されることを特徴とする画像撮影システム。
【請求項19】
請求項1記載の画像撮影システムであって、 所定の撮影を行う直前にプレ撮影を行う機能と、画像の解析手段を有し、解析結果として線画像情報であると判断した時に自動的に高精細の撮影を行う第2の撮影モードへの切換えを行うことを特徴とする画像撮影システム。
【請求項20】
請求項3記載の画像撮影システムであって、 電子カメラは所定の撮影を行う直前にプレ撮影を行う機能を有し、携帯情報端末は撮影した画像の解析手段を有し、解析結果として線画像情報であると判断した時に、携帯情報端末は電子カメラに対して、高精細の撮影を行う第2の撮影モードへの切換えを指示することを特徴とする画像撮影システムシステム。
【請求項21】
請求項19もしくは20記載の画像撮影システムであって、 撮影した画像の解析手段は、入力した画像の色差信号が所定の値より小さく、単色画像である場合に線画像情報であると判断することを特徴とする画像撮影システム。
【請求項22】
請求項19もしくは20記載の画像撮影システムであって、 撮影した画像の解析手段は、入力した画像の階調番号分布が2画所に大きく分布し、略2値画像である場合に線画像情報であると判断することを特徴とする画像撮影システム。
【請求項23】
請求項19もしくは20記載の画像撮影システムであって、 撮影した画像の解析手段は、入力した画像の空間周波数分析を行い、算出した空間周波数が特定のしきい値よりも高い場合には線画像情報であると判断することを特徴とする画像撮影システム。
【請求項24】
請求項5記載の画像撮影システムであって、 カラーセンサ画素の空白部分を補完する機能を有し、該補完機能は、隙間部分の上下左右斜方向の画素の撮影パターンから、パターンマッチングを行うことで実現することを特徴とする画像撮影システム。
【請求項25】
請求項24記載の画像撮影システムであって、 パターンマッチングを行うためのパターンテーブルは、上下左右及び回転方向に対称であるパターンは一種類のみを持ち、該パターンを上下左右に反転及び回転させることで、パターンマッチングを行うことを特徴とする画像撮影システム。
【請求項26】
請求項14記載の画像撮影システムであって、 撮影した2値で構成される画像データの第1の色の画素の数と、第2の色の画素の数を比較して、第1の地色に第2の色の線画像か、第2の地色の地色に第1の色の線画像かの判別を行う判別機能と、該判別機能の結果を保存するフラグとを有し、該フラグに基づいて、撮影した線画像データの処理を行うことを特徴とする画像撮影システム。
【請求項27】
請求項26記載の画像撮影システムであって、 前記フラグに基づいて、撮影した線画像データのベクトル化処理を行うことを特徴とする画像撮影システム。
【請求項28】
請求項27記載の画像撮影システムであって、 前記フラグに基づいて、該線画像が文字である場合に文字コード変換処理を行うことを特徴とする画像撮影システム。
【請求項29】
請求項1、2もしくは3記載の画像撮影システムであって、 第1の撮影モードと第2の撮影モードを切り替える、切換えスイッチを有することを特徴とする画像撮影システム。
【請求項1】
光を電気信号に変換する撮像素子と該撮像素子に至る光学系を有する画像撮影システムであって、 画像撮影システムは、通常の撮影を行う第1の撮影モードと、該第1の撮影モードよりも高精細の撮影を行う第2の撮影モードを有することを特徴とする画像撮影システム。
【請求項2】
請求項1記載の画像撮影システムであって、 第1の撮影モードと第2の撮影モードを切換えることを特徴とする画像撮影システム。
【請求項3】
光を電気信号に変換する撮像素子と該撮像素子に至る光学系を用いてディジタル画像を入力する電子カメラと、携帯情報端末を含む画像撮影システムであって、 電子カメラは、携帯情報端末からのモード切換え信号により、通常の撮影を行う第1の撮影モードから高精細撮影を行う第2の撮影モードに切換える、または、高精細撮影を行う第2の撮影モードから通常の撮影を行う第1の撮影モードに切換えることを特徴とする画像撮影システム。
【請求項4】
請求項1、2もしくは3記載の画像撮影システムであって、 画像撮影システムは高精細撮影を行う第2の撮影モードに切換えると同時に、撮影した画像情報を線画像情報として取り扱うモードに切換えることを特徴とする画像撮影システム。
【請求項5】
請求項1、2もしくは3記載の画像撮影システムであって、 、前記光学系には、撮像素子の画素間隔の少なくとも1/2の大きさで光軸と撮像素子の相対位置をシフトするべく、光軸もしくは撮像素子のいずれかをシフトする光軸シフト手段を有し、第1回目の撮影を行った後、第1回目の撮影時の撮像素子の画素の間に撮像素子がシフトするように光軸をずらして、第2回目以降の撮影を行い、撮影結果を合成して画像情報にすることを特徴とする画像撮影システム。
【請求項6】
請求項1、2もしくは3記載の画像撮影システムであって、 前記撮像素子はカラーセンサであり、カラーセンサの各画素の出力信号を独立して取り扱うことで、高精細の撮影をすることを特徴とする画像撮影システム。
【請求項7】
請求項6記載の画像撮影システムであって、 カラーセンサの各画素からの出力信号に、該各カラーセンサの色に応じたゲインを乗算して、該各カラーセンサの各画素からの出力を該各カラーセンサ間で略同じに補正することを特徴とする画像撮影システム。
【請求項8】
請求項6記載の画像撮影システムであって、 カラーセンサ表面に重ね合わせてある光学的ローパスフィルタを取り外す機構を有することを特徴とする画像撮影システム。
【請求項9】
請求項1、2もしくは3記載の画像撮影システムであって、 前記撮像素子は少なくとも3個の撮像素子により構成され、入射した光をプリズム等の光学的分光手段により分割して、3個の撮像素子に同時に照射する構造であって、 第1の撮像素子の位置に対して、第2、第3の撮像素子の相対位置を、第1の撮像素子の画素間隔の1/2だけ、それぞれ上下方向、左右方向にシフトされた位置に設置し、3個の撮像素子からの画像情報を合成して、画像情報にすることを特徴とする画像撮影システム。
【請求項10】
請求項6記載の画像撮影システムであって、 前記撮像素子の前にそれぞれ装着されたカラーフィルターを取り外す機構を有することを特徴とする画像撮影システム。
【請求項11】
請求項1、2もしくは3記載の画像撮影システムであって、 撮影した線画像の量子化ノイズを排除する機能を有することを特徴とする画像撮影システム。
【請求項12】
請求項11記載の画像撮影システムであって、 光学的にぼけた画像を撮影することで量子化ノイズを排除することを特徴とする画像撮影システム。
【請求項13】
請求項12記載の画像撮影システムであって、 オートフォーカスシステムを有する場合、該オートフォーカスシステムが、フォーカスを合焦点位置からずらして、撮影することで量子化ノイズを排除することを特徴とする画像撮影システム。
【請求項14】
請求項11記載の画像撮影システムであって、 入力した画像から、線画像の構成要素のベクトル情報を算出するベクトル情報算出手段を有することを特徴とする画像撮影システム。
【請求項15】
請求項14記載の画像撮影システムであって、 ベクトル情報算出手段による線画像のベクトル情報算出は、前記携帯情報端末にて行われることを特徴とする画像撮影システム。
【請求項16】
請求項14記載の画像撮影システムであって、 撮影した線画像情報を、該線画像情報から前記ベクトル情報算出手段により算出されたベクトル情報にて、記録・再生等の管理を行うことを特徴とする画像撮影システム。
【請求項17】
請求項14記載の画像撮影システムであって、 ベクトル情報算出手段による線画像のベクトル情報算出は、前記電子カメラにて行われ、前記携帯端末装置は算出されたベクトル情報にて、撮影した線画像情報の記録・再生等の管理を行うことを特徴とする画像撮影システム。
【請求項18】
請求項16及び請求項15記載の画像撮影システムであって、 撮影した線画像が文字情報である場合に、ベクトル情報にて記録された文字情報は、文字コード変換手段により、文字コードに変換されることを特徴とする画像撮影システム。
【請求項19】
請求項1記載の画像撮影システムであって、 所定の撮影を行う直前にプレ撮影を行う機能と、画像の解析手段を有し、解析結果として線画像情報であると判断した時に自動的に高精細の撮影を行う第2の撮影モードへの切換えを行うことを特徴とする画像撮影システム。
【請求項20】
請求項3記載の画像撮影システムであって、 電子カメラは所定の撮影を行う直前にプレ撮影を行う機能を有し、携帯情報端末は撮影した画像の解析手段を有し、解析結果として線画像情報であると判断した時に、携帯情報端末は電子カメラに対して、高精細の撮影を行う第2の撮影モードへの切換えを指示することを特徴とする画像撮影システムシステム。
【請求項21】
請求項19もしくは20記載の画像撮影システムであって、 撮影した画像の解析手段は、入力した画像の色差信号が所定の値より小さく、単色画像である場合に線画像情報であると判断することを特徴とする画像撮影システム。
【請求項22】
請求項19もしくは20記載の画像撮影システムであって、 撮影した画像の解析手段は、入力した画像の階調番号分布が2画所に大きく分布し、略2値画像である場合に線画像情報であると判断することを特徴とする画像撮影システム。
【請求項23】
請求項19もしくは20記載の画像撮影システムであって、 撮影した画像の解析手段は、入力した画像の空間周波数分析を行い、算出した空間周波数が特定のしきい値よりも高い場合には線画像情報であると判断することを特徴とする画像撮影システム。
【請求項24】
請求項5記載の画像撮影システムであって、 カラーセンサ画素の空白部分を補完する機能を有し、該補完機能は、隙間部分の上下左右斜方向の画素の撮影パターンから、パターンマッチングを行うことで実現することを特徴とする画像撮影システム。
【請求項25】
請求項24記載の画像撮影システムであって、 パターンマッチングを行うためのパターンテーブルは、上下左右及び回転方向に対称であるパターンは一種類のみを持ち、該パターンを上下左右に反転及び回転させることで、パターンマッチングを行うことを特徴とする画像撮影システム。
【請求項26】
請求項14記載の画像撮影システムであって、 撮影した2値で構成される画像データの第1の色の画素の数と、第2の色の画素の数を比較して、第1の地色に第2の色の線画像か、第2の地色の地色に第1の色の線画像かの判別を行う判別機能と、該判別機能の結果を保存するフラグとを有し、該フラグに基づいて、撮影した線画像データの処理を行うことを特徴とする画像撮影システム。
【請求項27】
請求項26記載の画像撮影システムであって、 前記フラグに基づいて、撮影した線画像データのベクトル化処理を行うことを特徴とする画像撮影システム。
【請求項28】
請求項27記載の画像撮影システムであって、 前記フラグに基づいて、該線画像が文字である場合に文字コード変換処理を行うことを特徴とする画像撮影システム。
【請求項29】
請求項1、2もしくは3記載の画像撮影システムであって、 第1の撮影モードと第2の撮影モードを切り替える、切換えスイッチを有することを特徴とする画像撮影システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2007−274702(P2007−274702A)
【公開日】平成19年10月18日(2007.10.18)
【国際特許分類】
【出願番号】特願2007−101241(P2007−101241)
【出願日】平成19年4月9日(2007.4.9)
【分割の表示】特願平10−540325の分割
【原出願日】平成9年3月19日(1997.3.19)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
【公開日】平成19年10月18日(2007.10.18)
【国際特許分類】
【出願日】平成19年4月9日(2007.4.9)
【分割の表示】特願平10−540325の分割
【原出願日】平成9年3月19日(1997.3.19)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
[ Back to top ]