画像処理装置およびこれを備えた原稿読取システム
【課題】ブックスキャナなどの画像入力装置の構成を複雑化することなく、照明光の映り込みによる白飛びのない画像を取得することができ、さらにユーザの使い勝手を高めることができるようにする。
【解決手段】原稿が写った第１の撮影画像と、原稿の上方を横切るようにユーザが動かす動体の影が原稿上に写った第２の撮影画像と、を取得し、白飛び領域設定部３２にて、第１の撮影画像に基づいて白飛び領域を設定し、白飛び修正処理部３５にて、第２の撮影画像から白飛び領域内の影領域の画像を抽出して、その影領域の画像を第１の撮影画像に合成する白飛び修正処理を行うものとする。
【解決手段】原稿が写った第１の撮影画像と、原稿の上方を横切るようにユーザが動かす動体の影が原稿上に写った第２の撮影画像と、を取得し、白飛び領域設定部３２にて、第１の撮影画像に基づいて白飛び領域を設定し、白飛び修正処理部３５にて、第２の撮影画像から白飛び領域内の影領域の画像を抽出して、その影領域の画像を第１の撮影画像に合成する白飛び修正処理を行うものとする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関するものである。
【背景技術】
【０００２】
本のページを自然に開いた状態で上方から撮影してページの画像を読み取ることができるブックスキャナ（書画カメラ）が普及している。このようなブックスキャナを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、本を電子化する作業を効率良く行うことができる。
【０００３】
一方、本の表紙には光沢紙が用いられており、また雑誌やカタログでも光沢紙が多用されているが、このような光沢紙を用いた原稿をブックスキャナで読み取る場合、天井などに設けられた照明の光が映り込みことで画像が白くなって見えなくなる、いわゆる白飛びが生じることがある。
【０００４】
このような照明光の映り込みによる白飛びを防止するには、ユーザが原稿をずらしたり、あるいは白飛びの原因となる照明光が当たらないように覆いを設ければよいが、このような煩わしさを解消するため、従来、原稿を複数の角度から撮影することができるようにカメラ部を揺動可能に設けた技術（特許文献１参照）や、照明光が原稿の表面で反射してカメラ部に入射することを防止する反射抑止板を設けた技術（特許文献２参照）が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２７９８２８号公報
【特許文献２】特開２００８−１３１３２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記従来の技術では、ブックスキャナの構成が複雑になり、製造コストが上昇するという問題があり、またユーザにとって必ずしも使い勝手がよいものではなかった。
【０００７】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、ブックスキャナなどの画像入力装置の構成を複雑化することなく、照明光の映り込みによる白飛びのない画像を取得することができ、さらにユーザの使い勝手を高めることができるように構成された画像処理装置およびこれを備えた原稿読取システムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、原稿が写った第１の撮影画像と、原稿の上方を横切るようにユーザが動かす動体の影が原稿上に写った第２の撮影画像と、を取得する撮影画像取得部と、前記第１の撮影画像に基づいて白飛び領域を設定する白飛び領域設定部と、前記第２の撮影画像から前記白飛び領域内の影領域の画像を抽出して、その影領域の画像を前記第１の撮影画像に合成する白飛び修正処理を行う白飛び修正処理部と、を有する構成とする。
【０００９】
また、本発明の原稿読取システムは、前記の発明にかかる画像処理装置と、カメラ部を備えた画像入力装置と、を有し、この画像入力装置において、原稿を撮影し、またユーザが原稿の上方を横切るように動体を動かした際の原稿を撮影して、前記第１の撮影画像および前記第２の撮影画像を前記画像処理装置に送る構成とする。
【発明の効果】
【００１０】
本発明によれば、動体が照明光を遮ることで、動体の影となる部分では照明光の映り込みが解消されて画像が明瞭に現れるため、この影となる部分の画像を撮影画像に合成することで、照明光の映り込みによる白飛びのない画像を取得することができる。そして、ユーザは原稿の全体を横切るように動体を動かせばよく、特に白飛びを起こした部分を考慮して動体を動かす必要がないため、動体を動かす操作が簡単になり、ユーザの使い勝手を高めることができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態にかかる原稿読取システムを示す全体構成図
【図２】原稿Ｂの上方を横切るように動体Ｈを動かした際の影が生じる状況を示す模式図
【図３】ブックスキャナ１およびＰＣ２の概略構成を示すブロック図
【図４】本原稿読取システムにおける原稿読み取りの手順を示すフロー図
【図５】図４に示した原稿輪郭検出（ＳＴ１０４）の手順を示すフロー図
【図６】原稿輪郭検出の要領を説明する模式図
【図７】図４に示した白飛び領域設定（ＳＴ１０５）の手順を示すフロー図
【図８】白飛び領域設定の要領を説明する模式図
【図９】図４に示した白飛び領域画像取得（ＳＴ１０６）の手順を示すフロー図
【図１０】白飛び領域画像取得の要領を説明する模式図
【図１１】図４に示した白飛び修正処理（ＳＴ１０７）の手順を示すフロー図
【図１２】白飛び修正処理の要領を説明する模式図
【図１３】白飛び修正処理の要領を説明する模式図
【図１４】図４に示した画像補正（ＳＴ１０８）の手順を示すフロー図
【図１５】画像補正の要領を説明する模式図
【図１６】動体Ｈが白飛び領域の上を通過する際の状況を示す模式図
【図１７】動体Ｈの動かし方の別の例を示す模式図
【図１８】図１７の例の場合の手順を示すフロー図
【発明を実施するための形態】
【００１２】
前記課題を解決するためになされた第１の発明は、原稿が写った第１の撮影画像と、原稿の上方を横切るようにユーザが動かす動体の影が原稿上に写った第２の撮影画像と、を取得する撮影画像取得部と、前記第１の撮影画像に基づいて白飛び領域を設定する白飛び領域設定部と、前記第２の撮影画像から前記白飛び領域内の影領域の画像を抽出して、その影領域の画像を前記第１の撮影画像に合成する白飛び修正処理を行う白飛び修正処理部と、を有する構成とする。
【００１３】
これによると、動体が照明光を遮ることで、動体の影となる部分では照明光の映り込みが解消されて画像が明瞭に現れるため、この影となる部分の画像を撮影画像に合成することで、照明光の映り込みによる白飛びのない画像を取得することができる。そして、ユーザは原稿の全体を横切るように動体を動かせばよく、特に白飛びを起こした部分を考慮して動体を動かす必要がないため、動体を動かす操作が簡単になり、ユーザの使い勝手を高めることができる。
【００１４】
また、第２の発明は、前記第１の発明において、前記撮影画像取得部は、連続撮影により生成した、前記動体の影の位置が徐々に変化する一連の前記第２の撮影画像を取得し、前記白飛び修正処理部は、一連の前記第２の撮影画像内の影領域の画像を、前記第１の撮影画像内の白飛び領域画像に順次合成する構成とする。
【００１５】
これによると、白飛び領域の大きさに対して動体の影の幅が小さい場合でも、白飛び領域の全体をもれなく修正することができる。
【００１６】
また、第３の発明は、前記第１若しくは第２の発明において、前記白飛び修正処理部は、前記動体の進行方向の前側に生じる影を用いた白飛び修正処理で取得した第１の白飛び修正画像と、前記動体の進行方向の後側に生じる影を用いた白飛び修正処理で取得した第２の白飛び修正画像とを比較して、白飛び量の少ない白飛び修正画像を選択する構成とする。
【００１７】
これによると、動体の前後いずれに影が生じているか、また動体の前後の双方に影が生じている場合にいずれの影がより適切かは不明であるため、動体の前後の双方で白飛び修正処理を実施して各々で取得した白飛び修正画像を比較選択することにより、照明光の映り込みによる白飛びがより適切に修正された画像を取得することができる。
【００１８】
また、第４の発明は、前記第１乃至第３の発明において、前記白飛び修正処理部で白飛び修正された画像において前記白飛び領域の内外の輝度を均一化する画像補正部をさらに有する構成とする。
【００１９】
これによると、白飛び領域の内外の輝度が均一化されるため、第１の撮影画像の白飛び領域に白飛び修正画像を嵌め込んだ際に白飛び領域と周辺領域とが不連続に見える不具合を解消することができる。
【００２０】
また、第５の発明は、原稿読取システムに関するものであり、前記第１乃至第４の発明にかかる画像処理装置と、カメラ部を備えた画像入力装置と、を有し、この画像入力装置において、原稿を撮影し、またユーザが原稿の上方を横切るように動体を動かした際の原稿を撮影して、前記第１の撮影画像および前記第２の撮影画像を前記画像処理装置に送る構成とする。
【００２１】
これによると、前記のとおり、照明光の映り込みによる白飛びのない原稿の画像を取得することができる。
【００２２】
また、第６の発明は、前記第５の発明において、前記画像処理装置は、前記画像入力装置のカメラ部の撮影領域内に進入した動体を検知する動体検知部を備え、この動体検知部の検知結果に基づいて、前記動体が撮影領域内に進入してから撮影領域外に移動するまで、前記画像入力装置に連続撮影を行わせて、前記第２の撮影画像を取得する構成とする。
【００２３】
これによると、動体の影が写った第２の撮影画像を取得するための連続撮影が自動的に行われ、連続撮影の開始および終了のためにユーザがスイッチなどを操作する手間が不要になるため、ユーザの使い勝手を高めることができる。
【００２４】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００２５】
図１は、本実施形態にかかる原稿読取システムを示す全体構成図である。この原稿読取システムは、原稿（ここでは本の表紙カバー）Ｂの画像を読み取って、原稿Ｂの画像データを取得するものであり、ブックスキャナ（画像入力装置）１とＰＣ（画像処理装置）２とからなっている。
【００２６】
ブックスキャナ１は、原稿Ｂを撮影するカメラ部３と、このカメラ部３を保持するスタンド部４とを備え、スタンド部４を机などの載置面５に据え付けるとともに、カメラ部３の真下の載置面５上に原稿Ｂを載置して、カメラ部３で原稿Ｂを撮影する。
【００２７】
ここでは、原稿Ｂが本の表紙カバーであり、この表紙カバーには光沢紙が用いられるため、撮影画像に照明光の映り込みによる白飛びが生じやすい。そこでここでは、ユーザの手などの動体Ｈを原稿Ｂの上方を横切るように動かし、このとき生じる影を用いて撮影画像の白飛びを修正する処理がＰＣ２で行われる。
【００２８】
図２は、原稿Ｂの上方を横切るように動体Ｈを動かした際の影が生じる状況を示す模式図である。手などの動体Ｈを原稿Ｂの上方を横切るように動かすと、天井の照明からの光が動体Ｈで遮られて、原稿Ｂに動体Ｈの影が生じる。この影領域では、照明光の映り込みがないため、画像が明瞭になり、影領域の画像を用いることで、照明光の映り込みによる白飛びのない原稿Ｂの画像を取得することができる。
【００２９】
図３は、ブックスキャナ１およびＰＣ２の概略構成を示すブロック図である。ブックスキャナ１は、カメラ部３を備えた撮影処理部１１と、操作指示部１２と、外部インタフェイス１３と、を有している。ＰＣ２は、外部Ｉ／Ｆ２１と、画像データ入力部（撮影画像取得部）２２と、画像処理部２３と、操作系制御部２４と、表示データ生成部２５と、表示器２６と、入力部２７と、データ格納部２８と、を有している。なお、ＰＣ２の画像処理部２３および表示データ生成部２５は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理で実現される。
【００３０】
ＰＣ２では、キーボードなどからなる入力部２７の操作により、ブックスキャナ１で撮影される画像の解像度やフレームレートなどの動作条件が入力され、この動作条件が操作系制御部２４からブックスキャナ１に送信され、ブックスキャナ１では、ＰＣ２から送信された動作条件に基づいて操作指示部１２による指示にしたがって撮影処理部１１が所要の動作を行う。
【００３１】
ＰＣ２の画像データ入力部２２では、ブックスキャナ１から送信される画像データをメモリに格納し、必要に応じてその画像データを画像処理部２３に出力する。この画像データ入力部２２では、原稿（ここでは本の表紙カバー）Ｂが載置面５とともに写った第１の撮影画像と、原稿Ｂの上方を横切るようにユーザが動かす動体Ｈの影が原稿Ｂ上に写った第２の撮影画像とを取得する。
【００３２】
画像処理部２３は、原稿輪郭検出部３１と、白飛び領域設定部３２と、動体検知部３３と、白飛び領域画像切出し部３４と、白飛び修正処理部３５と、画像補正部３６と、画像変換部３７と、を有している。
【００３３】
原稿輪郭検出部３１では、原稿Ｂを載置面５とともに撮影した第１の撮影画像から原稿Ｂの輪郭を取得する。白飛び領域設定部３２では、原稿輪郭検出部３１で検出された原稿領域を対象にして、照明光の映り込みによる白飛びを起こした部分を検出して白飛び領域を設定する。
【００３４】
動体検知部３３では、原稿Ｂの上方を横切るようにユーザが動かす動体Ｈを形状認識により検知する。白飛び領域画像切出し部３４では、動体Ｈの影が写った第２の撮影画像から白飛び領域画像を切り出す。白飛び修正処理部３５では、白飛び領域画像切出し部３４で取得した白飛び領域画像内の影領域の画像を用いて第１の撮影画像の白飛びを修正する。画像補正部３６では、白飛び修正処理部３５で取得した画像に対して輝度調整や傾き調整などの画像補正を行う。
【００３５】
画像変換部３７では、歪みのある画像を歪みのない画像に変換する。この画像変換部３７では、メッシュモデルを生成して、射影変換（アフィン変換）により画像の平面化が行われ、フラットベッドスキャナで読み取ったものと同様の画像を取得することができる。
【００３６】
図４は、本原稿読取システムにおける原稿読み取りの手順を示すフロー図である。まず、ブックスキャナ１を起動させるとともに、ＰＣ２で原稿読み取りのアプリケーションを起動させて、読取モードを選択する（ＳＴ１０１）。ここでは、原稿Ｂが光沢紙か否かに応じた２つの読取モードがあり、以降のフローでは光沢紙の読取モードの例を示す。そして、読取モードが選択されると、画像の入力、すなわちブックスキャナ１で撮影が開始されてその撮影データがＰＣ２に送信される（ＳＴ１０２）。
【００３７】
ついで、ユーザがブックスキャナ１のカメラ部３の下に原稿Ｂをセットすると（ＳＴ１０３）、原稿Ｂの表紙カバーが撮影されてその撮影データがＰＣ２に送信され、ＰＣ２の画像データ入力部２２では、原稿Ｂの表紙カバーを載置面５とともに撮影した第１の撮影画像を取得する。そしてＰＣ２では、第１の撮影画像から原稿Ｂの輪郭を取得する処理が原稿輪郭検出部３１にて行われる（ＳＴ１０４）。
【００３８】
ついで、原稿輪郭検出（ＳＴ１０４）で検出された輪郭成分で取り囲まれた原稿領域を対象にして、照明光の映り込みによる白飛びを起こした部分を検出して白飛び領域を設定する処理が白飛び領域設定部３２にて行われる（ＳＴ１０５）。
【００３９】
そして、原稿Ｂの上方を横切るようにユーザが手などの動体Ｈを動かす操作を行うのに応じて、動体Ｈの影が写った第２の撮影画像を取得して、その撮影画像から白飛び領域画像を切り出す処理が白飛び領域画像切出し部３４にて行われる（ＳＴ１０６）。
【００４０】
ついで、影が写った白飛び領域画像内の影領域の画像を用いて、第１の撮影画像から切り出された白飛び領域画像を修正して白飛び修正画像を生成して、その白飛び修正画像を第１の撮影画像に嵌め込む処理が白飛び修正処理部３５にて行われる（ＳＴ１０７）。
【００４１】
ついで、白飛び修正処理（ＳＴ１０７）で取得した画像の輝度および傾きを調整する画像補正が画像補正部３６にて行われ（ＳＴ１０８）、これにより得られた画像を表示器２６に表示させる（ＳＴ１０９）。これによりユーザは原稿Ｂの読み取りが適切に行われたか否かを確認することができる。
【００４２】
なお、この他、必要に応じて、歪みのある画像を平面化する処理が画像変換部３７にて行われる。
【００４３】
図５は、図４に示した原稿輪郭検出（ＳＴ１０４）の手順を示すフロー図である。図６は、原稿輪郭検出の要領を説明する模式図である。ここでは、原稿Ｂの表紙カバーを載置面５とともに撮影した第１の撮影画像から、原稿Ｂの輪郭情報として、原稿Ｂの載置状態を大まかに把握するための主要直線成分と、表紙カバーの上下左右の端点である特異点を検出する。
【００４４】
まず、原稿Ｂ全体の外形の主要直線成分を検出する（ＳＴ２０１）。ここでは、図６（Ａ）に示すように、表紙カバーの撮影画像において、原稿Ｂ全体の外形における左右の側縁を示す２本の直線を検出する。この直線成分の検出は、ハフ（Hough）変換により行えばよい。
【００４５】
また、撮影画像に対してエッジ検出を行う（ＳＴ２０２）。このエッジ検出は、キャニー（Canny）法を用いて行えばよい。ついで、取得したエッジ画像内の輪郭成分（原稿Ｂの輪郭を構成する画素）を抽出する（ＳＴ２０３）。ついで、取得した輪郭成分に基づいて、原稿Ｂの上下左右の端点である特異点を検出する（ＳＴ２０４）。ここでは、図６（Ｂ）に示すように、表紙カバーの撮影画像において、上下左右の端点として４つの特異点が検出される。
【００４６】
そして、特異点検出（ＳＴ２０４）で取得した特異点の妥当性を判断する（ＳＴ２０５）。ここでは、取得した特異点と、直線成分検出（ＳＴ２０１）で取得した直線成分とを比較して、原稿Ｂの上下左右の端点である特異点の妥当性を判断する。ここで、特異点が妥当であるものと判定されると、その特異点を確定する（ＳＴ２０６）。
【００４７】
なお、エッジ検出（ＳＴ２０２）、輪郭成分抽出（ＳＴ２０３）、および特異点検出（ＳＴ２０４）の各処理は、直線成分検出（ＳＴ２０１）の処理と平行して行うようにしてもよい。
【００４８】
図７は、図４に示した白飛び領域設定（ＳＴ１０５）の手順を示すフロー図である。図８は、白飛び領域設定の要領を説明する模式図である。ここでは、撮影画像内の原稿領域を対象にして、照明光の映り込みによる白飛びを起こした部分を検出して白飛び領域を設定する。
【００４９】
まず、図４に示した原稿輪郭検出（ＳＴ１０４）で抽出された輪郭成分で取り囲まれた原稿領域を対象にして、各画素の階調レベルが基準値より高いか否かを判定する（ＳＴ３０１）。ここでは、階調レベルが基準値より高い、すなわち極端なホワイトレベルとなる場合には、照明光の映り込みによる白飛びを起こしているものと判断する。ここで、階調レベルを８ｂｉｔのデータで表す場合、階調レベルは０（黒）〜２５５（白）の値をとり、階調レベルの基準値は例えば２００とする。
【００５０】
そして、原稿領域内の全ての画素について基準値との比較が終了すると（ＳＴ３０２）、基準値より高いものと判定された画素の座標データをメモリに格納し（ＳＴ３０３）、白飛び領域を確定する（ＳＴ３０４）。ここでは、図８に示すように、階調レベルが基準値より高い、すなわち極端なホワイトレベルとなる部分を含む方形状の領域を白飛び領域に設定する。
【００５１】
なお、図８に示す例では、白飛び領域が１つだけ設定されているが、極端なホワイトレベルとなる部分が複数抽出される場合もあり、この場合、極端なホワイトレベルとなる部分ごとに方形状の白飛び領域が設定され、以降の処理では、設定された白飛び領域ごとに白飛び修正処理が行われる。
【００５２】
図９は、図４に示した白飛び領域画像取得（ＳＴ１０６）の手順を示すフロー図である。図１０は、白飛び領域画像取得の要領を説明する模式図である。
【００５３】
図１０（Ａ）に示すように、動体Ｈを原稿Ｂの上方を横切るように動かすと、動体Ｈとともに動体Ｈの影が撮影領域内を移動し、動体Ｈが撮影領域内に進入してから撮影領域外に移動するまでの間に、ブックスキャナ１に連続撮影を行わせると、動体Ｈの影が映った撮影画像が所定のフレームレートで順次出力され、動体Ｈおよび影の位置が徐々に変化する撮影画像を収集することができる。
【００５４】
特にここでは、図２に示したように、原稿Ｂとカメラ部３との間を横切るように動体Ｈを動かすため、動体Ｈが撮影領域内を移動し、カメラ部３で撮影された画像に動体Ｈが写り、その撮影画像から形状認識処理により動体Ｈを検知する処理が動体検知部３３で行われる。この動体検知により、動体Ｈの撮影領域内への進入と、撮影領域外への移動とを判断し、動体Ｈが撮影領域内に進入したタイミングで連続撮影モードに入り、動体Ｈが撮影領域から抜け出したタイミングで連続撮影モードを終了させる。
【００５５】
このとき、カメラ部３の撮影領域外から動体Ｈを動かして撮影領域内に進入させるようにすれば、撮影画像の外周部に注目して動体検知を行えば良い。また、たまたま動体Ｈが撮影領域内に入ってしまった場合に、撮影領域内を横切るように動かす正規の動作と誤判断されることを避けるため、動体Ｈが撮影領域の中心部に向かって移動していることの判定を行うようにするとよい。
【００５６】
このようにして動体Ｈが写った撮影画像を取得すると、図１０（Ｂ）に示すように、撮影画像から白飛び領域画像を切り出す処理が行われる。この白飛び領域画像の切出し処理は、所定のフレームレートで撮影画像が順次出力されるたびに実行される。
【００５７】
なお、動体Ｈが撮影領域内に進入してから撮影領域外に移動するまでの間、順次出力される撮影画像を一旦格納した上で、後に一括して白飛び領域画像の切出し処理を行うようにしてもよい。白飛び領域が１つしか見つからない場合には、撮影画像の出力のたびに切出し処理を行う方法でよいが、事務室などのように照明が複数ある場合には、白飛び領域が複数見つかることもあり、この場合、切出し処理に時間を要するため、後で一括して切出し処理を行う方法を採用するとよい。
【００５８】
この白飛び領域画像取得の手順を具体的に説明すると、図９に示すように、まず、撮影画像から形状認識処理により動体Ｈを検知する処理を行い（ＳＴ４０１）、動体Ｈが撮影領域内に進入したものと判断されると（ＳＴ４０２でＹｅｓ）、影が写った撮影画像を取得するための連続撮影モードに入り、所定のフレームレートで順次出力される撮影画像から白飛び領域画像を切り出す処理が行われる（ＳＴ４０３）。そして、動体Ｈが撮影領域外に抜け出たものと判断されると、（ＳＴ４０４でＹｅｓ）、連続撮影モードを終了し、白飛び領域画像のデータをデータ格納部に格納する（ＳＴ４０５）。
【００５９】
図１１は、図４に示した白飛び修正処理（ＳＴ１０７）の手順を示すフロー図である。図１２、図１３は、白飛び修正処理の要領を説明する模式図であり、図１２は、動体Ｈの進行方向の前側に影が生じる場合を、図１３は、動体Ｈの進行方向の後側に影が生じる場合を、それぞれ示している。
【００６０】
図１２、図１３に示すように、図４に示した白飛び領域画像取得（ＳＴ１０６）で取得した一連の白飛び領域画像では、動体Ｈの影が動体Ｈに隣接して現れ、この影領域では、照明光の映り込みが解消されて画像が明瞭に現れる。また、白飛び領域画像内の影は動体Ｈとともに１フレーム毎に位置が変化する。
【００６１】
ここでは、１フレーム毎に影領域の画像を白飛び領域画像から抽出（切り出し）して、この影領域の画像を原画像（第１の撮影画像から切り出した白飛び領域画像）における対応する位置に嵌め込む合成処理を行う。これにより、白飛びを起こした画像が白飛びのない画像に順次置換され、１フレーム毎に白飛びが段階的に修正されて、白飛びのない白飛び修正画像を得ることができる。
【００６２】
この白飛び修正処理では、まず、動体検知により検知された動体部分を白データ化する。これにより、影領域の除く部分は階調レベルが高くなるため、階調レベルの違いで影領域を見分けることができ、階調レベルを基準値と比較することにより影領域を検出することができる。
【００６３】
また、図４に示した白飛び領域画像取得（ＳＴ１０６）で取得した一連の白飛び領域画像には、動体Ｈの影が写っていないものも含まれる。そこで、白飛び修正処理は、動体Ｈの影が写った白飛び領域画像を抽出しながら行われる。このとき、動体Ｈの進行方向の前側に影が写っているものは先に抽出され、動体Ｈの進行方向の後側に影が写っているものは後から抽出されるが、動体Ｈの前後いずれに影が生じているか、また動体Ｈの前後の双方に影が生じている場合にいずれの影がより適切かは不明である。そこで、まず、動体Ｈの前側に生じる影を用いた白飛び修正処理を行い、ついで動体Ｈの後側に生じる影を用いた白飛び修正処理を行い、各々で取得した白飛び修正画像を比較して、白飛びがより適切に修正されているものを選択する。
【００６４】
具体的には、図１１に示すように、まず、図４に示した白飛び領域画像取得（ＳＴ１０６）で取得した一連の白飛び領域画像について順番に、動体Ｈの進行方向の前端が白飛び領域に到達したか否かを判定し（ＳＴ５０１）、動体Ｈの前端が白飛び領域に到達した白飛び領域画像が見つかると（ＳＴ５０１でＹｅｓ）、その白飛び領域画像内の影領域を検出して、その影領域の画像を原画像（第１の撮影画像から切り出した白飛び領域画像）に合成する白飛び修正処理を行う（ＳＴ５０２）。
【００６５】
この白飛び修正処理を、動体Ｈが進入した端部から対角方向にある端部に動体Ｈの前端が到達した白飛び領域画像が見つかるまで繰り返し、該当する白飛び領域画像が見つかると（ＳＴ５０３でＹｅｓ）、動体Ｈの前側に生じる影を用いた白飛び修正処理を終了し、それまでの画像合成で取得した白飛び領域画像を第１の白飛び修正画像としてデータ格納部に格納する（ＳＴ５０４）。
【００６６】
ついで、次の白飛び領域画像から順番に、動体Ｈの進行方向の後端が白飛び領域に到達したか否かを判定し（ＳＴ５０５）、動体Ｈの後端が白飛び領域に到達した白飛び領域画像が見つかると（ＳＴ５０５でＹｅｓ）、その白飛び領域画像内の影領域を検出して、その影領域の画像を白飛び領域画像に合成する白飛び修正処理を行う（ＳＴ５０６）。
【００６７】
この白飛び修正処理を、動体Ｈが進入した端部から対角方向にある端部に動体Ｈの後端が到達した白飛び領域画像が見つかるまで繰り返し、該当する白飛び領域画像が見つかると（ＳＴ５０７でＹｅｓ）、動体Ｈの後側に生じる影を用いた白飛び修正処理を終了し、それまでの画像合成で取得した白飛び領域画像を第２の白飛び修正画像としてデータ格納部に格納する（ＳＴ５０８）。
【００６８】
そして、動体Ｈの前側に生じる影を用いた白飛び修正処理で取得した第１の白飛び修正画像と、動体Ｈの後側に生じる影を用いた白飛び修正処理で取得した第２の白飛び修正画像とを比較して、白飛び量の少ない白飛び修正画像を選択する（ＳＴ５０９）。ここで、白飛び量とは、白飛び修正画像の輝度の平均値などの白飛び状態を判断する指標となる値である。そして、選択された白飛び修正画像を第１の撮影画像内の白飛び領域に嵌め込む処理を行う（ＳＴ５１０）。
【００６９】
図１４は、図４に示した画像補正（ＳＴ１０８）の手順を示すフロー図である。図１５は、画像補正の要領を説明する模式図である。ここでは、白飛び領域とその周辺領域との輝度を均一化する画像補正などが行われる。これにより、第１の撮影画像の白飛び領域に白飛び修正画像を嵌め込んだ際に白飛び領域と周辺領域とが不連続に見える不具合を解消することができる。
【００７０】
まず、白飛び領域とその周辺領域との輝度差が大であるか否かを判定する（ＳＴ６０１）。ここでは、白飛び領域の平均輝度が所定の割合（例えば周辺領域の平均輝度の±１０％）以上異なっている場合に、輝度差が大であると判定する。そして、白飛び領域と周辺領域との輝度差が大である場合には、白飛び領域と周辺領域との輝度差が小さくなるように、白飛び領域の画像の輝度を調整する（ＳＴ６０２）。ついで、原稿領域の傾きを補正するスキュー補正を実施する（ＳＴ６０３）。
【００７１】
なお、輝度の他に色差を均一化する手法もあるが、白飛び領域と周辺領域とが不連続に見える不具合は、主に動体Ｈの影により画像の輝度が低くなったことに起因し、さらに人間の目は輝度の変化に対して敏感であるため、白飛び領域と周辺領域とが不連続に見える不具合を解消する上では、輝度を均一化する手法が優れている。
【００７２】
次に、原稿Ｂの上方を横切るように動体Ｈを動かす際の動体Ｈの移動速度について検討する。図１６は、動体Ｈが白飛び領域の上を通過する際の状況を示す模式図である。
【００７３】
動体Ｈの影を用いた白飛び修正処理において、白飛び領域の全体をもれなく修正するには、次のフレームの撮影タイミングまでに動体Ｈが移動する距離ｈＬを、１フレームで白飛び修正が可能な画像の幅、すなわち影領域の幅Ｗと等しいかあるいは小さくする必要がある。
【００７４】
動体Ｈの移動速度ｈＶおよび動体Ｈの移動距離ｈＬは、フレームレート、すなわち１秒当たりのフレームの撮影枚数Ｃｆｐｓにより、次式のように表される。
ｈＬ＝ｈＶ／Ｃｆｐｓ
ｈＶ＝ｈＬ×Ｃｆｐｓ
【００７５】
ここで、連続撮影時のフレームレートＣｆｐｓを３０ｆｐｓとし、動体Ｈの移動距離ｈＬを影領域の幅Ｗと同じ１０ｍｍとすると、動体Ｈの移動速度（秒速）ｈＶは、ｈＶ＝ｈＬ×Ｃｆｐｓ＝１０×３０＝３００ｍｍとなり、白飛び領域の全体をもれなく修正するには、３０ｃｍ／ｓの速度で動体Ｈを動かせばよい。
【００７６】
図１７は、動体Ｈの動かし方の別の例を示す模式図である。図１８は、図１７の例の場合の手順を示すフロー図である。
【００７７】
ここでは、図１７に示すように、手などの動体Ｈをカメラ部３の上を横切るように動かす。この場合でも、前記の例と同様に、原稿Ｂ上に動体Ｈの影が生じるため、この動体Ｈの影を用いて白飛び修正処理を行うことができる。一方、この場合にはカメラ部３で動体Ｈ自体を撮影することができないため、前記の例のように、撮影画像から動体Ｈを検知して、動体Ｈの影が写った画像を取得するための連続撮影を自動化することができない。
【００７８】
そこでここでは、動体Ｈを動かす際に、ブックスキャナ１に設けたスイッチやＰＣ２のキーを操作して連続撮影の開始および終了を指示する。具体的には、図１８に示すように、まず、ブックスキャナ１のスイッチなどでユーザが連続撮影を開始させる操作を行うと（ＳＴ７０１）、連続撮影が実施され、連続撮影により生成した撮影データを格納する処理が開始される（ＳＴ７０２）。そして、ユーザが動体Ｈをカメラ部３の上を横切るように動かして（ＳＴ７０３）、動体Ｈがカメラ部３の撮影領域から抜け出すと、ユーザが連続撮影を終了させる操作を行う（ＳＴ７０４）。
【００７９】
この図１８に示した手順は、図４に示した白飛び領域画像取得（ＳＴ１０６）において行われるものであり、図９に示した例と同様に、撮影画像から白飛び領域画像を切り出す処理が連続撮影に並行してあるいは連続撮影の後に一括して実施される。
【００８０】
なお、前記の例では、図３に示したように、ブックスキャナから撮影画像データをＰＣに送ってＰＣで画像処理を行うようにしたが、このような画像処理をブックスキャナで行う、すなわちブックスキャナが画像処理装置を含む構成も可能である。この場合、テレビジョン受像機などの表示デバイスに画像を表示させればよい。
【００８１】
また、前記の例では、影を作るための動体をユーザの手としたが、ユーザの指や腕でもよく、さらにこのようなユーザの身体自体ではなく、手近にある物品を用いることも可能である。
【産業上の利用可能性】
【００８２】
本発明にかかる画像処理装置およびこれを備えた原稿読取システムは、ブックスキャナなどの画像入力装置の構成を複雑化することなく、照明光の映り込みによる白飛びのない画像を取得することができ、さらにユーザの使い勝手を高めることができる効果を有し、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。
【符号の説明】
【００８３】
１ ブックスキャナ（画像入力装置）
２ ＰＣ（画像処理装置）
３ カメラ部
２２ 画像データ入力部（撮影画像取得部）
２３ 画像処理部
３１ 原稿輪郭検出部
３２ 白飛び領域設定部
３３ 動体検知部
３４ 白飛び領域画像切出し部
３５ 白飛び修正処理部
３６ 画像補正部
３７ 画像変換部
Ｂ 原稿
Ｈ 動体
【技術分野】
【０００１】
本発明は、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関するものである。
【背景技術】
【０００２】
本のページを自然に開いた状態で上方から撮影してページの画像を読み取ることができるブックスキャナ（書画カメラ）が普及している。このようなブックスキャナを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、本を電子化する作業を効率良く行うことができる。
【０００３】
一方、本の表紙には光沢紙が用いられており、また雑誌やカタログでも光沢紙が多用されているが、このような光沢紙を用いた原稿をブックスキャナで読み取る場合、天井などに設けられた照明の光が映り込みことで画像が白くなって見えなくなる、いわゆる白飛びが生じることがある。
【０００４】
このような照明光の映り込みによる白飛びを防止するには、ユーザが原稿をずらしたり、あるいは白飛びの原因となる照明光が当たらないように覆いを設ければよいが、このような煩わしさを解消するため、従来、原稿を複数の角度から撮影することができるようにカメラ部を揺動可能に設けた技術（特許文献１参照）や、照明光が原稿の表面で反射してカメラ部に入射することを防止する反射抑止板を設けた技術（特許文献２参照）が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２７９８２８号公報
【特許文献２】特開２００８−１３１３２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記従来の技術では、ブックスキャナの構成が複雑になり、製造コストが上昇するという問題があり、またユーザにとって必ずしも使い勝手がよいものではなかった。
【０００７】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、ブックスキャナなどの画像入力装置の構成を複雑化することなく、照明光の映り込みによる白飛びのない画像を取得することができ、さらにユーザの使い勝手を高めることができるように構成された画像処理装置およびこれを備えた原稿読取システムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、原稿が写った第１の撮影画像と、原稿の上方を横切るようにユーザが動かす動体の影が原稿上に写った第２の撮影画像と、を取得する撮影画像取得部と、前記第１の撮影画像に基づいて白飛び領域を設定する白飛び領域設定部と、前記第２の撮影画像から前記白飛び領域内の影領域の画像を抽出して、その影領域の画像を前記第１の撮影画像に合成する白飛び修正処理を行う白飛び修正処理部と、を有する構成とする。
【０００９】
また、本発明の原稿読取システムは、前記の発明にかかる画像処理装置と、カメラ部を備えた画像入力装置と、を有し、この画像入力装置において、原稿を撮影し、またユーザが原稿の上方を横切るように動体を動かした際の原稿を撮影して、前記第１の撮影画像および前記第２の撮影画像を前記画像処理装置に送る構成とする。
【発明の効果】
【００１０】
本発明によれば、動体が照明光を遮ることで、動体の影となる部分では照明光の映り込みが解消されて画像が明瞭に現れるため、この影となる部分の画像を撮影画像に合成することで、照明光の映り込みによる白飛びのない画像を取得することができる。そして、ユーザは原稿の全体を横切るように動体を動かせばよく、特に白飛びを起こした部分を考慮して動体を動かす必要がないため、動体を動かす操作が簡単になり、ユーザの使い勝手を高めることができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態にかかる原稿読取システムを示す全体構成図
【図２】原稿Ｂの上方を横切るように動体Ｈを動かした際の影が生じる状況を示す模式図
【図３】ブックスキャナ１およびＰＣ２の概略構成を示すブロック図
【図４】本原稿読取システムにおける原稿読み取りの手順を示すフロー図
【図５】図４に示した原稿輪郭検出（ＳＴ１０４）の手順を示すフロー図
【図６】原稿輪郭検出の要領を説明する模式図
【図７】図４に示した白飛び領域設定（ＳＴ１０５）の手順を示すフロー図
【図８】白飛び領域設定の要領を説明する模式図
【図９】図４に示した白飛び領域画像取得（ＳＴ１０６）の手順を示すフロー図
【図１０】白飛び領域画像取得の要領を説明する模式図
【図１１】図４に示した白飛び修正処理（ＳＴ１０７）の手順を示すフロー図
【図１２】白飛び修正処理の要領を説明する模式図
【図１３】白飛び修正処理の要領を説明する模式図
【図１４】図４に示した画像補正（ＳＴ１０８）の手順を示すフロー図
【図１５】画像補正の要領を説明する模式図
【図１６】動体Ｈが白飛び領域の上を通過する際の状況を示す模式図
【図１７】動体Ｈの動かし方の別の例を示す模式図
【図１８】図１７の例の場合の手順を示すフロー図
【発明を実施するための形態】
【００１２】
前記課題を解決するためになされた第１の発明は、原稿が写った第１の撮影画像と、原稿の上方を横切るようにユーザが動かす動体の影が原稿上に写った第２の撮影画像と、を取得する撮影画像取得部と、前記第１の撮影画像に基づいて白飛び領域を設定する白飛び領域設定部と、前記第２の撮影画像から前記白飛び領域内の影領域の画像を抽出して、その影領域の画像を前記第１の撮影画像に合成する白飛び修正処理を行う白飛び修正処理部と、を有する構成とする。
【００１３】
これによると、動体が照明光を遮ることで、動体の影となる部分では照明光の映り込みが解消されて画像が明瞭に現れるため、この影となる部分の画像を撮影画像に合成することで、照明光の映り込みによる白飛びのない画像を取得することができる。そして、ユーザは原稿の全体を横切るように動体を動かせばよく、特に白飛びを起こした部分を考慮して動体を動かす必要がないため、動体を動かす操作が簡単になり、ユーザの使い勝手を高めることができる。
【００１４】
また、第２の発明は、前記第１の発明において、前記撮影画像取得部は、連続撮影により生成した、前記動体の影の位置が徐々に変化する一連の前記第２の撮影画像を取得し、前記白飛び修正処理部は、一連の前記第２の撮影画像内の影領域の画像を、前記第１の撮影画像内の白飛び領域画像に順次合成する構成とする。
【００１５】
これによると、白飛び領域の大きさに対して動体の影の幅が小さい場合でも、白飛び領域の全体をもれなく修正することができる。
【００１６】
また、第３の発明は、前記第１若しくは第２の発明において、前記白飛び修正処理部は、前記動体の進行方向の前側に生じる影を用いた白飛び修正処理で取得した第１の白飛び修正画像と、前記動体の進行方向の後側に生じる影を用いた白飛び修正処理で取得した第２の白飛び修正画像とを比較して、白飛び量の少ない白飛び修正画像を選択する構成とする。
【００１７】
これによると、動体の前後いずれに影が生じているか、また動体の前後の双方に影が生じている場合にいずれの影がより適切かは不明であるため、動体の前後の双方で白飛び修正処理を実施して各々で取得した白飛び修正画像を比較選択することにより、照明光の映り込みによる白飛びがより適切に修正された画像を取得することができる。
【００１８】
また、第４の発明は、前記第１乃至第３の発明において、前記白飛び修正処理部で白飛び修正された画像において前記白飛び領域の内外の輝度を均一化する画像補正部をさらに有する構成とする。
【００１９】
これによると、白飛び領域の内外の輝度が均一化されるため、第１の撮影画像の白飛び領域に白飛び修正画像を嵌め込んだ際に白飛び領域と周辺領域とが不連続に見える不具合を解消することができる。
【００２０】
また、第５の発明は、原稿読取システムに関するものであり、前記第１乃至第４の発明にかかる画像処理装置と、カメラ部を備えた画像入力装置と、を有し、この画像入力装置において、原稿を撮影し、またユーザが原稿の上方を横切るように動体を動かした際の原稿を撮影して、前記第１の撮影画像および前記第２の撮影画像を前記画像処理装置に送る構成とする。
【００２１】
これによると、前記のとおり、照明光の映り込みによる白飛びのない原稿の画像を取得することができる。
【００２２】
また、第６の発明は、前記第５の発明において、前記画像処理装置は、前記画像入力装置のカメラ部の撮影領域内に進入した動体を検知する動体検知部を備え、この動体検知部の検知結果に基づいて、前記動体が撮影領域内に進入してから撮影領域外に移動するまで、前記画像入力装置に連続撮影を行わせて、前記第２の撮影画像を取得する構成とする。
【００２３】
これによると、動体の影が写った第２の撮影画像を取得するための連続撮影が自動的に行われ、連続撮影の開始および終了のためにユーザがスイッチなどを操作する手間が不要になるため、ユーザの使い勝手を高めることができる。
【００２４】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００２５】
図１は、本実施形態にかかる原稿読取システムを示す全体構成図である。この原稿読取システムは、原稿（ここでは本の表紙カバー）Ｂの画像を読み取って、原稿Ｂの画像データを取得するものであり、ブックスキャナ（画像入力装置）１とＰＣ（画像処理装置）２とからなっている。
【００２６】
ブックスキャナ１は、原稿Ｂを撮影するカメラ部３と、このカメラ部３を保持するスタンド部４とを備え、スタンド部４を机などの載置面５に据え付けるとともに、カメラ部３の真下の載置面５上に原稿Ｂを載置して、カメラ部３で原稿Ｂを撮影する。
【００２７】
ここでは、原稿Ｂが本の表紙カバーであり、この表紙カバーには光沢紙が用いられるため、撮影画像に照明光の映り込みによる白飛びが生じやすい。そこでここでは、ユーザの手などの動体Ｈを原稿Ｂの上方を横切るように動かし、このとき生じる影を用いて撮影画像の白飛びを修正する処理がＰＣ２で行われる。
【００２８】
図２は、原稿Ｂの上方を横切るように動体Ｈを動かした際の影が生じる状況を示す模式図である。手などの動体Ｈを原稿Ｂの上方を横切るように動かすと、天井の照明からの光が動体Ｈで遮られて、原稿Ｂに動体Ｈの影が生じる。この影領域では、照明光の映り込みがないため、画像が明瞭になり、影領域の画像を用いることで、照明光の映り込みによる白飛びのない原稿Ｂの画像を取得することができる。
【００２９】
図３は、ブックスキャナ１およびＰＣ２の概略構成を示すブロック図である。ブックスキャナ１は、カメラ部３を備えた撮影処理部１１と、操作指示部１２と、外部インタフェイス１３と、を有している。ＰＣ２は、外部Ｉ／Ｆ２１と、画像データ入力部（撮影画像取得部）２２と、画像処理部２３と、操作系制御部２４と、表示データ生成部２５と、表示器２６と、入力部２７と、データ格納部２８と、を有している。なお、ＰＣ２の画像処理部２３および表示データ生成部２５は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理で実現される。
【００３０】
ＰＣ２では、キーボードなどからなる入力部２７の操作により、ブックスキャナ１で撮影される画像の解像度やフレームレートなどの動作条件が入力され、この動作条件が操作系制御部２４からブックスキャナ１に送信され、ブックスキャナ１では、ＰＣ２から送信された動作条件に基づいて操作指示部１２による指示にしたがって撮影処理部１１が所要の動作を行う。
【００３１】
ＰＣ２の画像データ入力部２２では、ブックスキャナ１から送信される画像データをメモリに格納し、必要に応じてその画像データを画像処理部２３に出力する。この画像データ入力部２２では、原稿（ここでは本の表紙カバー）Ｂが載置面５とともに写った第１の撮影画像と、原稿Ｂの上方を横切るようにユーザが動かす動体Ｈの影が原稿Ｂ上に写った第２の撮影画像とを取得する。
【００３２】
画像処理部２３は、原稿輪郭検出部３１と、白飛び領域設定部３２と、動体検知部３３と、白飛び領域画像切出し部３４と、白飛び修正処理部３５と、画像補正部３６と、画像変換部３７と、を有している。
【００３３】
原稿輪郭検出部３１では、原稿Ｂを載置面５とともに撮影した第１の撮影画像から原稿Ｂの輪郭を取得する。白飛び領域設定部３２では、原稿輪郭検出部３１で検出された原稿領域を対象にして、照明光の映り込みによる白飛びを起こした部分を検出して白飛び領域を設定する。
【００３４】
動体検知部３３では、原稿Ｂの上方を横切るようにユーザが動かす動体Ｈを形状認識により検知する。白飛び領域画像切出し部３４では、動体Ｈの影が写った第２の撮影画像から白飛び領域画像を切り出す。白飛び修正処理部３５では、白飛び領域画像切出し部３４で取得した白飛び領域画像内の影領域の画像を用いて第１の撮影画像の白飛びを修正する。画像補正部３６では、白飛び修正処理部３５で取得した画像に対して輝度調整や傾き調整などの画像補正を行う。
【００３５】
画像変換部３７では、歪みのある画像を歪みのない画像に変換する。この画像変換部３７では、メッシュモデルを生成して、射影変換（アフィン変換）により画像の平面化が行われ、フラットベッドスキャナで読み取ったものと同様の画像を取得することができる。
【００３６】
図４は、本原稿読取システムにおける原稿読み取りの手順を示すフロー図である。まず、ブックスキャナ１を起動させるとともに、ＰＣ２で原稿読み取りのアプリケーションを起動させて、読取モードを選択する（ＳＴ１０１）。ここでは、原稿Ｂが光沢紙か否かに応じた２つの読取モードがあり、以降のフローでは光沢紙の読取モードの例を示す。そして、読取モードが選択されると、画像の入力、すなわちブックスキャナ１で撮影が開始されてその撮影データがＰＣ２に送信される（ＳＴ１０２）。
【００３７】
ついで、ユーザがブックスキャナ１のカメラ部３の下に原稿Ｂをセットすると（ＳＴ１０３）、原稿Ｂの表紙カバーが撮影されてその撮影データがＰＣ２に送信され、ＰＣ２の画像データ入力部２２では、原稿Ｂの表紙カバーを載置面５とともに撮影した第１の撮影画像を取得する。そしてＰＣ２では、第１の撮影画像から原稿Ｂの輪郭を取得する処理が原稿輪郭検出部３１にて行われる（ＳＴ１０４）。
【００３８】
ついで、原稿輪郭検出（ＳＴ１０４）で検出された輪郭成分で取り囲まれた原稿領域を対象にして、照明光の映り込みによる白飛びを起こした部分を検出して白飛び領域を設定する処理が白飛び領域設定部３２にて行われる（ＳＴ１０５）。
【００３９】
そして、原稿Ｂの上方を横切るようにユーザが手などの動体Ｈを動かす操作を行うのに応じて、動体Ｈの影が写った第２の撮影画像を取得して、その撮影画像から白飛び領域画像を切り出す処理が白飛び領域画像切出し部３４にて行われる（ＳＴ１０６）。
【００４０】
ついで、影が写った白飛び領域画像内の影領域の画像を用いて、第１の撮影画像から切り出された白飛び領域画像を修正して白飛び修正画像を生成して、その白飛び修正画像を第１の撮影画像に嵌め込む処理が白飛び修正処理部３５にて行われる（ＳＴ１０７）。
【００４１】
ついで、白飛び修正処理（ＳＴ１０７）で取得した画像の輝度および傾きを調整する画像補正が画像補正部３６にて行われ（ＳＴ１０８）、これにより得られた画像を表示器２６に表示させる（ＳＴ１０９）。これによりユーザは原稿Ｂの読み取りが適切に行われたか否かを確認することができる。
【００４２】
なお、この他、必要に応じて、歪みのある画像を平面化する処理が画像変換部３７にて行われる。
【００４３】
図５は、図４に示した原稿輪郭検出（ＳＴ１０４）の手順を示すフロー図である。図６は、原稿輪郭検出の要領を説明する模式図である。ここでは、原稿Ｂの表紙カバーを載置面５とともに撮影した第１の撮影画像から、原稿Ｂの輪郭情報として、原稿Ｂの載置状態を大まかに把握するための主要直線成分と、表紙カバーの上下左右の端点である特異点を検出する。
【００４４】
まず、原稿Ｂ全体の外形の主要直線成分を検出する（ＳＴ２０１）。ここでは、図６（Ａ）に示すように、表紙カバーの撮影画像において、原稿Ｂ全体の外形における左右の側縁を示す２本の直線を検出する。この直線成分の検出は、ハフ（Hough）変換により行えばよい。
【００４５】
また、撮影画像に対してエッジ検出を行う（ＳＴ２０２）。このエッジ検出は、キャニー（Canny）法を用いて行えばよい。ついで、取得したエッジ画像内の輪郭成分（原稿Ｂの輪郭を構成する画素）を抽出する（ＳＴ２０３）。ついで、取得した輪郭成分に基づいて、原稿Ｂの上下左右の端点である特異点を検出する（ＳＴ２０４）。ここでは、図６（Ｂ）に示すように、表紙カバーの撮影画像において、上下左右の端点として４つの特異点が検出される。
【００４６】
そして、特異点検出（ＳＴ２０４）で取得した特異点の妥当性を判断する（ＳＴ２０５）。ここでは、取得した特異点と、直線成分検出（ＳＴ２０１）で取得した直線成分とを比較して、原稿Ｂの上下左右の端点である特異点の妥当性を判断する。ここで、特異点が妥当であるものと判定されると、その特異点を確定する（ＳＴ２０６）。
【００４７】
なお、エッジ検出（ＳＴ２０２）、輪郭成分抽出（ＳＴ２０３）、および特異点検出（ＳＴ２０４）の各処理は、直線成分検出（ＳＴ２０１）の処理と平行して行うようにしてもよい。
【００４８】
図７は、図４に示した白飛び領域設定（ＳＴ１０５）の手順を示すフロー図である。図８は、白飛び領域設定の要領を説明する模式図である。ここでは、撮影画像内の原稿領域を対象にして、照明光の映り込みによる白飛びを起こした部分を検出して白飛び領域を設定する。
【００４９】
まず、図４に示した原稿輪郭検出（ＳＴ１０４）で抽出された輪郭成分で取り囲まれた原稿領域を対象にして、各画素の階調レベルが基準値より高いか否かを判定する（ＳＴ３０１）。ここでは、階調レベルが基準値より高い、すなわち極端なホワイトレベルとなる場合には、照明光の映り込みによる白飛びを起こしているものと判断する。ここで、階調レベルを８ｂｉｔのデータで表す場合、階調レベルは０（黒）〜２５５（白）の値をとり、階調レベルの基準値は例えば２００とする。
【００５０】
そして、原稿領域内の全ての画素について基準値との比較が終了すると（ＳＴ３０２）、基準値より高いものと判定された画素の座標データをメモリに格納し（ＳＴ３０３）、白飛び領域を確定する（ＳＴ３０４）。ここでは、図８に示すように、階調レベルが基準値より高い、すなわち極端なホワイトレベルとなる部分を含む方形状の領域を白飛び領域に設定する。
【００５１】
なお、図８に示す例では、白飛び領域が１つだけ設定されているが、極端なホワイトレベルとなる部分が複数抽出される場合もあり、この場合、極端なホワイトレベルとなる部分ごとに方形状の白飛び領域が設定され、以降の処理では、設定された白飛び領域ごとに白飛び修正処理が行われる。
【００５２】
図９は、図４に示した白飛び領域画像取得（ＳＴ１０６）の手順を示すフロー図である。図１０は、白飛び領域画像取得の要領を説明する模式図である。
【００５３】
図１０（Ａ）に示すように、動体Ｈを原稿Ｂの上方を横切るように動かすと、動体Ｈとともに動体Ｈの影が撮影領域内を移動し、動体Ｈが撮影領域内に進入してから撮影領域外に移動するまでの間に、ブックスキャナ１に連続撮影を行わせると、動体Ｈの影が映った撮影画像が所定のフレームレートで順次出力され、動体Ｈおよび影の位置が徐々に変化する撮影画像を収集することができる。
【００５４】
特にここでは、図２に示したように、原稿Ｂとカメラ部３との間を横切るように動体Ｈを動かすため、動体Ｈが撮影領域内を移動し、カメラ部３で撮影された画像に動体Ｈが写り、その撮影画像から形状認識処理により動体Ｈを検知する処理が動体検知部３３で行われる。この動体検知により、動体Ｈの撮影領域内への進入と、撮影領域外への移動とを判断し、動体Ｈが撮影領域内に進入したタイミングで連続撮影モードに入り、動体Ｈが撮影領域から抜け出したタイミングで連続撮影モードを終了させる。
【００５５】
このとき、カメラ部３の撮影領域外から動体Ｈを動かして撮影領域内に進入させるようにすれば、撮影画像の外周部に注目して動体検知を行えば良い。また、たまたま動体Ｈが撮影領域内に入ってしまった場合に、撮影領域内を横切るように動かす正規の動作と誤判断されることを避けるため、動体Ｈが撮影領域の中心部に向かって移動していることの判定を行うようにするとよい。
【００５６】
このようにして動体Ｈが写った撮影画像を取得すると、図１０（Ｂ）に示すように、撮影画像から白飛び領域画像を切り出す処理が行われる。この白飛び領域画像の切出し処理は、所定のフレームレートで撮影画像が順次出力されるたびに実行される。
【００５７】
なお、動体Ｈが撮影領域内に進入してから撮影領域外に移動するまでの間、順次出力される撮影画像を一旦格納した上で、後に一括して白飛び領域画像の切出し処理を行うようにしてもよい。白飛び領域が１つしか見つからない場合には、撮影画像の出力のたびに切出し処理を行う方法でよいが、事務室などのように照明が複数ある場合には、白飛び領域が複数見つかることもあり、この場合、切出し処理に時間を要するため、後で一括して切出し処理を行う方法を採用するとよい。
【００５８】
この白飛び領域画像取得の手順を具体的に説明すると、図９に示すように、まず、撮影画像から形状認識処理により動体Ｈを検知する処理を行い（ＳＴ４０１）、動体Ｈが撮影領域内に進入したものと判断されると（ＳＴ４０２でＹｅｓ）、影が写った撮影画像を取得するための連続撮影モードに入り、所定のフレームレートで順次出力される撮影画像から白飛び領域画像を切り出す処理が行われる（ＳＴ４０３）。そして、動体Ｈが撮影領域外に抜け出たものと判断されると、（ＳＴ４０４でＹｅｓ）、連続撮影モードを終了し、白飛び領域画像のデータをデータ格納部に格納する（ＳＴ４０５）。
【００５９】
図１１は、図４に示した白飛び修正処理（ＳＴ１０７）の手順を示すフロー図である。図１２、図１３は、白飛び修正処理の要領を説明する模式図であり、図１２は、動体Ｈの進行方向の前側に影が生じる場合を、図１３は、動体Ｈの進行方向の後側に影が生じる場合を、それぞれ示している。
【００６０】
図１２、図１３に示すように、図４に示した白飛び領域画像取得（ＳＴ１０６）で取得した一連の白飛び領域画像では、動体Ｈの影が動体Ｈに隣接して現れ、この影領域では、照明光の映り込みが解消されて画像が明瞭に現れる。また、白飛び領域画像内の影は動体Ｈとともに１フレーム毎に位置が変化する。
【００６１】
ここでは、１フレーム毎に影領域の画像を白飛び領域画像から抽出（切り出し）して、この影領域の画像を原画像（第１の撮影画像から切り出した白飛び領域画像）における対応する位置に嵌め込む合成処理を行う。これにより、白飛びを起こした画像が白飛びのない画像に順次置換され、１フレーム毎に白飛びが段階的に修正されて、白飛びのない白飛び修正画像を得ることができる。
【００６２】
この白飛び修正処理では、まず、動体検知により検知された動体部分を白データ化する。これにより、影領域の除く部分は階調レベルが高くなるため、階調レベルの違いで影領域を見分けることができ、階調レベルを基準値と比較することにより影領域を検出することができる。
【００６３】
また、図４に示した白飛び領域画像取得（ＳＴ１０６）で取得した一連の白飛び領域画像には、動体Ｈの影が写っていないものも含まれる。そこで、白飛び修正処理は、動体Ｈの影が写った白飛び領域画像を抽出しながら行われる。このとき、動体Ｈの進行方向の前側に影が写っているものは先に抽出され、動体Ｈの進行方向の後側に影が写っているものは後から抽出されるが、動体Ｈの前後いずれに影が生じているか、また動体Ｈの前後の双方に影が生じている場合にいずれの影がより適切かは不明である。そこで、まず、動体Ｈの前側に生じる影を用いた白飛び修正処理を行い、ついで動体Ｈの後側に生じる影を用いた白飛び修正処理を行い、各々で取得した白飛び修正画像を比較して、白飛びがより適切に修正されているものを選択する。
【００６４】
具体的には、図１１に示すように、まず、図４に示した白飛び領域画像取得（ＳＴ１０６）で取得した一連の白飛び領域画像について順番に、動体Ｈの進行方向の前端が白飛び領域に到達したか否かを判定し（ＳＴ５０１）、動体Ｈの前端が白飛び領域に到達した白飛び領域画像が見つかると（ＳＴ５０１でＹｅｓ）、その白飛び領域画像内の影領域を検出して、その影領域の画像を原画像（第１の撮影画像から切り出した白飛び領域画像）に合成する白飛び修正処理を行う（ＳＴ５０２）。
【００６５】
この白飛び修正処理を、動体Ｈが進入した端部から対角方向にある端部に動体Ｈの前端が到達した白飛び領域画像が見つかるまで繰り返し、該当する白飛び領域画像が見つかると（ＳＴ５０３でＹｅｓ）、動体Ｈの前側に生じる影を用いた白飛び修正処理を終了し、それまでの画像合成で取得した白飛び領域画像を第１の白飛び修正画像としてデータ格納部に格納する（ＳＴ５０４）。
【００６６】
ついで、次の白飛び領域画像から順番に、動体Ｈの進行方向の後端が白飛び領域に到達したか否かを判定し（ＳＴ５０５）、動体Ｈの後端が白飛び領域に到達した白飛び領域画像が見つかると（ＳＴ５０５でＹｅｓ）、その白飛び領域画像内の影領域を検出して、その影領域の画像を白飛び領域画像に合成する白飛び修正処理を行う（ＳＴ５０６）。
【００６７】
この白飛び修正処理を、動体Ｈが進入した端部から対角方向にある端部に動体Ｈの後端が到達した白飛び領域画像が見つかるまで繰り返し、該当する白飛び領域画像が見つかると（ＳＴ５０７でＹｅｓ）、動体Ｈの後側に生じる影を用いた白飛び修正処理を終了し、それまでの画像合成で取得した白飛び領域画像を第２の白飛び修正画像としてデータ格納部に格納する（ＳＴ５０８）。
【００６８】
そして、動体Ｈの前側に生じる影を用いた白飛び修正処理で取得した第１の白飛び修正画像と、動体Ｈの後側に生じる影を用いた白飛び修正処理で取得した第２の白飛び修正画像とを比較して、白飛び量の少ない白飛び修正画像を選択する（ＳＴ５０９）。ここで、白飛び量とは、白飛び修正画像の輝度の平均値などの白飛び状態を判断する指標となる値である。そして、選択された白飛び修正画像を第１の撮影画像内の白飛び領域に嵌め込む処理を行う（ＳＴ５１０）。
【００６９】
図１４は、図４に示した画像補正（ＳＴ１０８）の手順を示すフロー図である。図１５は、画像補正の要領を説明する模式図である。ここでは、白飛び領域とその周辺領域との輝度を均一化する画像補正などが行われる。これにより、第１の撮影画像の白飛び領域に白飛び修正画像を嵌め込んだ際に白飛び領域と周辺領域とが不連続に見える不具合を解消することができる。
【００７０】
まず、白飛び領域とその周辺領域との輝度差が大であるか否かを判定する（ＳＴ６０１）。ここでは、白飛び領域の平均輝度が所定の割合（例えば周辺領域の平均輝度の±１０％）以上異なっている場合に、輝度差が大であると判定する。そして、白飛び領域と周辺領域との輝度差が大である場合には、白飛び領域と周辺領域との輝度差が小さくなるように、白飛び領域の画像の輝度を調整する（ＳＴ６０２）。ついで、原稿領域の傾きを補正するスキュー補正を実施する（ＳＴ６０３）。
【００７１】
なお、輝度の他に色差を均一化する手法もあるが、白飛び領域と周辺領域とが不連続に見える不具合は、主に動体Ｈの影により画像の輝度が低くなったことに起因し、さらに人間の目は輝度の変化に対して敏感であるため、白飛び領域と周辺領域とが不連続に見える不具合を解消する上では、輝度を均一化する手法が優れている。
【００７２】
次に、原稿Ｂの上方を横切るように動体Ｈを動かす際の動体Ｈの移動速度について検討する。図１６は、動体Ｈが白飛び領域の上を通過する際の状況を示す模式図である。
【００７３】
動体Ｈの影を用いた白飛び修正処理において、白飛び領域の全体をもれなく修正するには、次のフレームの撮影タイミングまでに動体Ｈが移動する距離ｈＬを、１フレームで白飛び修正が可能な画像の幅、すなわち影領域の幅Ｗと等しいかあるいは小さくする必要がある。
【００７４】
動体Ｈの移動速度ｈＶおよび動体Ｈの移動距離ｈＬは、フレームレート、すなわち１秒当たりのフレームの撮影枚数Ｃｆｐｓにより、次式のように表される。
ｈＬ＝ｈＶ／Ｃｆｐｓ
ｈＶ＝ｈＬ×Ｃｆｐｓ
【００７５】
ここで、連続撮影時のフレームレートＣｆｐｓを３０ｆｐｓとし、動体Ｈの移動距離ｈＬを影領域の幅Ｗと同じ１０ｍｍとすると、動体Ｈの移動速度（秒速）ｈＶは、ｈＶ＝ｈＬ×Ｃｆｐｓ＝１０×３０＝３００ｍｍとなり、白飛び領域の全体をもれなく修正するには、３０ｃｍ／ｓの速度で動体Ｈを動かせばよい。
【００７６】
図１７は、動体Ｈの動かし方の別の例を示す模式図である。図１８は、図１７の例の場合の手順を示すフロー図である。
【００７７】
ここでは、図１７に示すように、手などの動体Ｈをカメラ部３の上を横切るように動かす。この場合でも、前記の例と同様に、原稿Ｂ上に動体Ｈの影が生じるため、この動体Ｈの影を用いて白飛び修正処理を行うことができる。一方、この場合にはカメラ部３で動体Ｈ自体を撮影することができないため、前記の例のように、撮影画像から動体Ｈを検知して、動体Ｈの影が写った画像を取得するための連続撮影を自動化することができない。
【００７８】
そこでここでは、動体Ｈを動かす際に、ブックスキャナ１に設けたスイッチやＰＣ２のキーを操作して連続撮影の開始および終了を指示する。具体的には、図１８に示すように、まず、ブックスキャナ１のスイッチなどでユーザが連続撮影を開始させる操作を行うと（ＳＴ７０１）、連続撮影が実施され、連続撮影により生成した撮影データを格納する処理が開始される（ＳＴ７０２）。そして、ユーザが動体Ｈをカメラ部３の上を横切るように動かして（ＳＴ７０３）、動体Ｈがカメラ部３の撮影領域から抜け出すと、ユーザが連続撮影を終了させる操作を行う（ＳＴ７０４）。
【００７９】
この図１８に示した手順は、図４に示した白飛び領域画像取得（ＳＴ１０６）において行われるものであり、図９に示した例と同様に、撮影画像から白飛び領域画像を切り出す処理が連続撮影に並行してあるいは連続撮影の後に一括して実施される。
【００８０】
なお、前記の例では、図３に示したように、ブックスキャナから撮影画像データをＰＣに送ってＰＣで画像処理を行うようにしたが、このような画像処理をブックスキャナで行う、すなわちブックスキャナが画像処理装置を含む構成も可能である。この場合、テレビジョン受像機などの表示デバイスに画像を表示させればよい。
【００８１】
また、前記の例では、影を作るための動体をユーザの手としたが、ユーザの指や腕でもよく、さらにこのようなユーザの身体自体ではなく、手近にある物品を用いることも可能である。
【産業上の利用可能性】
【００８２】
本発明にかかる画像処理装置およびこれを備えた原稿読取システムは、ブックスキャナなどの画像入力装置の構成を複雑化することなく、照明光の映り込みによる白飛びのない画像を取得することができ、さらにユーザの使い勝手を高めることができる効果を有し、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。
【符号の説明】
【００８３】
１ ブックスキャナ（画像入力装置）
２ ＰＣ（画像処理装置）
３ カメラ部
２２ 画像データ入力部（撮影画像取得部）
２３ 画像処理部
３１ 原稿輪郭検出部
３２ 白飛び領域設定部
３３ 動体検知部
３４ 白飛び領域画像切出し部
３５ 白飛び修正処理部
３６ 画像補正部
３７ 画像変換部
Ｂ 原稿
Ｈ 動体
【特許請求の範囲】
【請求項１】
原稿が写った第１の撮影画像と、原稿の上方を横切るようにユーザが動かす動体の影が原稿上に写った第２の撮影画像と、を取得する撮影画像取得部と、
前記第１の撮影画像に基づいて白飛び領域を設定する白飛び領域設定部と、
前記第２の撮影画像から前記白飛び領域内の影領域の画像を抽出して、その影領域の画像を前記第１の撮影画像に合成する白飛び修正処理を行う白飛び修正処理部と、を有することを特徴とする画像処理装置。
【請求項２】
前記撮影画像取得部は、連続撮影により生成した、前記動体の影の位置が徐々に変化する一連の前記第２の撮影画像を取得し、
前記白飛び修正処理部は、一連の前記第２の撮影画像内の影領域の画像を、前記第１の撮影画像内の白飛び領域画像に順次合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記白飛び修正処理部は、前記動体の進行方向の前側に生じる影を用いた白飛び修正処理で取得した第１の白飛び修正画像と、前記動体の進行方向の後側に生じる影を用いた白飛び修正処理で取得した第２の白飛び修正画像とを比較して、白飛び量の少ない白飛び修正画像を選択することを特徴とする請求項１若しくは請求項２に記載の画像処理装置。
【請求項４】
前記白飛び修正処理部で白飛び修正された画像において前記白飛び領域の内外の輝度を均一化する画像補正部をさらに有することを特徴とする請求項１乃至請求項３のいずれかに記載の画像処理装置。
【請求項５】
請求項１乃至請求項４のいずれかに記載の画像処理装置と、カメラ部を備えた画像入力装置と、を有し、この画像入力装置において、原稿を撮影し、またユーザが原稿の上方を横切るように動体を動かした際の原稿を撮影して、前記第１の撮影画像および前記第２の撮影画像を前記画像処理装置に送ることを特徴とする原稿読取システム。
【請求項６】
前記画像処理装置は、前記画像入力装置のカメラ部の撮影領域内に進入した動体を検知する動体検知部を備え、この動体検知部の検知結果に基づいて、前記動体が撮影領域内に進入してから撮影領域外に移動するまで、前記画像入力装置に連続撮影を行わせて、前記第２の撮影画像を取得することを特徴とする請求項５に記載の原稿読取システム。
【請求項１】
原稿が写った第１の撮影画像と、原稿の上方を横切るようにユーザが動かす動体の影が原稿上に写った第２の撮影画像と、を取得する撮影画像取得部と、
前記第１の撮影画像に基づいて白飛び領域を設定する白飛び領域設定部と、
前記第２の撮影画像から前記白飛び領域内の影領域の画像を抽出して、その影領域の画像を前記第１の撮影画像に合成する白飛び修正処理を行う白飛び修正処理部と、を有することを特徴とする画像処理装置。
【請求項２】
前記撮影画像取得部は、連続撮影により生成した、前記動体の影の位置が徐々に変化する一連の前記第２の撮影画像を取得し、
前記白飛び修正処理部は、一連の前記第２の撮影画像内の影領域の画像を、前記第１の撮影画像内の白飛び領域画像に順次合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記白飛び修正処理部は、前記動体の進行方向の前側に生じる影を用いた白飛び修正処理で取得した第１の白飛び修正画像と、前記動体の進行方向の後側に生じる影を用いた白飛び修正処理で取得した第２の白飛び修正画像とを比較して、白飛び量の少ない白飛び修正画像を選択することを特徴とする請求項１若しくは請求項２に記載の画像処理装置。
【請求項４】
前記白飛び修正処理部で白飛び修正された画像において前記白飛び領域の内外の輝度を均一化する画像補正部をさらに有することを特徴とする請求項１乃至請求項３のいずれかに記載の画像処理装置。
【請求項５】
請求項１乃至請求項４のいずれかに記載の画像処理装置と、カメラ部を備えた画像入力装置と、を有し、この画像入力装置において、原稿を撮影し、またユーザが原稿の上方を横切るように動体を動かした際の原稿を撮影して、前記第１の撮影画像および前記第２の撮影画像を前記画像処理装置に送ることを特徴とする原稿読取システム。
【請求項６】
前記画像処理装置は、前記画像入力装置のカメラ部の撮影領域内に進入した動体を検知する動体検知部を備え、この動体検知部の検知結果に基づいて、前記動体が撮影領域内に進入してから撮影領域外に移動するまで、前記画像入力装置に連続撮影を行わせて、前記第２の撮影画像を取得することを特徴とする請求項５に記載の原稿読取システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−１７５１６６（Ｐ２０１２−１７５１６６Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３２２７２（Ｐ２０１１−３２２７２）
【出願日】平成２３年２月１７日（２０１１．２．１７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月１７日（２０１１．２．１７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]