画像処理装置、画像処理プログラム
【課題】各画像がユーザーの目的に応じた品質であるか否かを判定し、当該判定結果に基づいて、パノラマ画像を生成する画像処理装置等を提供する。
【解決手段】画像処理装置であって、複数の画像情報を取得する画像情報取得手段と、前記各画像情報の品質があらかじめ設定された基準に合致するか否かを判定する品質判定手段と、前記各画像情報に基づいて、前記各画像情報の位置関係を表す位置情報を取得する位置情報取得手段と、前記画像品質判定手段による判定結果、前記位置情報、及び、前記複数の画像情報に基づいて、パノラマ画像を表すパノラマ画像情報を生成するパノラマ画像情報生成手段と、を含む。
【解決手段】画像処理装置であって、複数の画像情報を取得する画像情報取得手段と、前記各画像情報の品質があらかじめ設定された基準に合致するか否かを判定する品質判定手段と、前記各画像情報に基づいて、前記各画像情報の位置関係を表す位置情報を取得する位置情報取得手段と、前記画像品質判定手段による判定結果、前記位置情報、及び、前記複数の画像情報に基づいて、パノラマ画像を表すパノラマ画像情報を生成するパノラマ画像情報生成手段と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理プログラムに関する。
【背景技術】
【０００２】
撮影された複数の画像を結合して、広視野画像（パノラマ画像）を生成する撮影装置が知られている。具体的には、当該撮影装置は、当該パノラマ画像が未撮影の領域を含む場合には、表示されるパノラマ画像において、当該未撮影の領域を空白領域として表示する。これにより、例えば、ユーザーは当該空白領域の表示に基づいて、未撮影領域を認識し、当該未撮影領域を再度撮影する（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２０４７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮影された複数の画像からパノラマ画像を生成され、撮影対象のうちユーザーの目的に応じた品質で撮影されなかった部分についての再撮影が促される画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の画像処理装置は、複数の画像情報を取得する画像情報取得手段と、前記各画像情報の品質があらかじめ設定された基準に合致するか否かを判定する品質判定手段と、前記各画像情報に基づいて、前記各画像情報の位置関係を表す位置情報を取得する位置情報取得手段と、前記画像品質判定手段による判定結果、前記位置情報、及び、前記複数の画像情報に基づいて、パノラマ画像を表すパノラマ画像情報を生成するパノラマ画像情報生成手段と、を含むことを特徴とする。
【０００６】
請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記パノラマ画像情報生成手段は、前記複数の画像情報のうち前記品質判定手段が前記所定の基準に合致しないと判断した画像情報以外の前記複数の画像情報に基づいて前記パノラマ画像情報を生成することを特徴とする。
【０００７】
請求項３に記載の画像処理装置は、請求項１または２に記載の画像処理装置において、前記画像処理装置は、更に、前記各画像情報を表示する表示手段と、前記あらかじめ設定された基準に応じた枠画像を表す枠画像情報を生成する枠画像情報生成手段と、を有し、前記表示手段は、前記各画像情報で表される各画像に重ねて前記枠画像を表示することを特徴とする。
【０００８】
請求項４に記載の画像処理装置は、請求項３に記載の画像処理装置において、前記画像処理装置は、更に、前記画像処理装置の傾きを検出する傾き検出手段と、前記傾き検出手段によって検出された傾きに応じた傾き情報を生成する傾き情報生成手段と、を含み、前記表示手段は、前記各画像情報で表される各画像に重ねて前記枠画像及び前記傾き情報を表示することを特徴とする。
【０００９】
請求項５に記載の画像処理装置は、請求項１乃至４のいずれかに記載の画像処理装置において、前記品質判定手段は、前記画像情報に含まれる文字情報で表される文字のサイズが、あらかじめ設定されたサイズ以上であるか否かを判定することを特徴とする。
【００１０】
請求項６に記載の画像処理装置は、請求項５に記載の画像処理装置において、前記あらかじめ設定されたサイズは、光学文字認識が可能であるサイズに基づいて決定されることを特徴とする。
【００１１】
請求項７に記載の画像処理プログラムは、複数の画像情報を取得する画像情報取得手段、前記各画像情報の品質があらかじめ設定された基準に合致するか否かを判定する品質判定手段、前記各画像情報に基づいて、前記各画像情報の位置関係を表す位置情報を取得する位置情報取得手段、及び、前記画像品質判定手段による判定結果、前記位置情報、及び、前記複数の画像情報に基づいて、パノラマ画像を表すパノラマ画像情報を生成するパノラマ画像情報生成手段、としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１２】
請求項１、２、７の発明によれば、撮影された複数の画像からパノラマ画像情報が生成され、撮影対象のうちユーザーの目的に応じた品質で撮影されなかった部分についての再撮影が促される。
【００１３】
請求項３の発明によれば、枠画像を参照しつつ撮影することで、ユーザーの目的に応じた品質で撮影され得る。
【００１４】
請求項４の発明によれば、傾き情報を参照しつつ撮影することで、傾きの影響の少ない品質で撮影され得る。
【００１５】
請求項５の発明によれば、撮影された各画像に含まれる文字のサイズに応じたパノラマ画像情報が生成される。
【００１６】
請求項６の発明によれば、ＯＣＲ（Optical Character Reader）で文字認識可能であるか否かに応じたパノラマ画像情報が生成される。
【図面の簡単な説明】
【００１７】
【図１Ａ】本発明の実施の形態における画像処理装置の平面図の一例を示す図である。
【図１Ｂ】図１Ａに示した実施の形態における画像処理装置の側面図を示す図である。
【図２】本発明の実施の形態における画像処理装置の構成について説明するための図である。
【図３】図２に示した画像処理部の機能的構成について説明するための図である。
【図４】図３に示した品質判定部の機能的構成について説明するための図である。
【図５】本発明の実施の形態におけるパノラマ画像の一例を示す図である。
【図６】本発明の実施の形態における枠画像及び傾き情報の表示の一例を示す図である。
【図７】本発明の実施の形態における画像処理装置のフローの一例について説明するための図である。
【図８】図７のＳ１０２に示した処理の詳細なフローの一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。
【００１９】
図１Ａは、本発明の実施の形態における画像処理装置の平面図の一例を示す図である。図１Ｂは、図１Ａに示した実施の形態における画像処理装置の側面図を示す図である。図１Ａ及び図１Ｂに示すように、本実施の形態における画像処理装置１００は、例えば、携帯端末等であって、表示部１０１、操作部１０２、及び、カメラ等で構成される画像情報取得部１０３（図示なし）を含む。なお、当該画像処理装置１００の外観は一例であって、これに限定されるものではない。
【００２０】
図２は、本発明の実施の形態における画像処理装置の構成について説明するための図である。図２に示すように、本実施の形態における画像処理装置１００は、機能的に、例えば、表示部１０１、操作部１０２、画像情報取得部１０３、制御部１０４、記憶部１０５、通信部１０６、傾きセンサ１０７、及び、画像処理部１０８を含む。なお、図２に示した構成は一例であって、これに限定されるものではない。
【００２１】
画像情報取得部１０３は、例えば、ＣＣＤイメージセンサ(Charge Coupled Device Image Sensor)等の撮像素子（図示なし）を含むカメラ等で構成され、撮影対象の画像情報（フレーム画像）を取得する。制御部１０４は、例えば、ＣＰＵ、ＭＰＵ等であって、記憶部１０５に格納されたプログラムに従って動作する。
【００２２】
記憶部１０５は、例えば、ＲＯＭやＲＡＭ、ハードディスク等の情報記録媒体で構成され、制御部１０４によって実行されるプログラムを保持する情報記録媒体である。また、記憶部１０５は、制御部１０４のワークメモリとしても動作する。なお、当該プログラムは、例えば、ネットワークを介して、ダウンロードされて提供されてもよいし、または、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータで読み取り可能な各種の情報記録媒体によって提供されてもよい。通信部１０６は、当該画像処理装置１００を、ネットワークを介して、他の画像処理装置１００やパーソナルコンピュータ等と接続する。
【００２３】
操作部１０２は、例えば、ボタンやタッチパネル等で構成され、ユーザーの指示操作に応じて、当該指示操作の内容を制御部１０４に出力する。なお、操作部１０２がタッチパネルで構成される場合は、操作部１０２は後述する表示部１０１と一体として構成されてもよいし、操作部１０２の一部が表示部１０１と一体として構成されてもよい。
【００２４】
表示部１０１は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等であって、制御部１０４からの指示に従い、情報を表示する。傾きセンサ１０７は、例えば、加速度センサであって、例えば、１フレーム期間等あらかじめ設定された期間毎に画像情報取得部１０３に含まれるカメラの傾き等を検出する。
【００２５】
画像処理部１０８は、制御部１０４からの指示に従い、画像情報取得部１０３で取得された画像情報の画像処理を行う。具体的には、図３に示すように、画像処理部１０８は、機能的に、品質判定部３０１、位置情報取得部３０２、パノラマ画像情報生成部３０３、枠画像情報生成部３０４、及び、傾き情報生成部３０５を含む。
【００２６】
品質判定部３０１は、画像情報取得部１０３により取得された各画像情報があらかじめ設定された基準に合致しているか否かを判定する。そして、当該基準に合致すると判定した画像情報については、記憶部１０５に保持する。一方、当該基準に合致しないと判定した画像情報については、記憶部１０５に保持しない。具体的には、品質判定部３０１は、例えば、取得された画像情報に含まれる文字が視認可能であるか否か、ＯＣＲ（Optical Character Reader）で光学的文字認識可能（ＯＣＲ可能）であるか否か等の文字のサイズ等に基づく基準（目標画質基準）に合致するかについて判定する。なお、上記いずれの基準（例えば、視認可能かまたはＯＣＲ可能か）を用いるか、または、複数の基準（例えば、視認可能、かつ、ＯＣＲ可能か）を用いるか等については、例えば、操作部１０２を用いてユーザーが指定するように構成してもよい。
【００２７】
図４に示すように、品質判定部３０１は、具体的には、例えば、傾き判定部４０１、２値画像部分検出部４０２、スキュー検出部４０３、行高さ取得部４０４、行高さ判定部４０５を含む。
【００２８】
傾き判定部４０１は、傾きセンサ１０７で取得された傾き情報があらかじめ設定される範囲（基準範囲）を超えているか否かを判定する。そして、傾きセンサ１０７で取得された傾き情報が当該基準範囲を超える場合には、その傾き情報に対応する画像情報は削除する。一方、傾きセンサ１０７で取得された傾き情報が基準範囲であると判定した場合には、当該判定結果に対応する各画像情報を２値画像部分検出部４０２に取得させる。
【００２９】
２値画像部分検出部４０２は、傾きセンサ１０７で取得された傾き情報があらかじめ設定された範囲であると判定された各画像情報に含まれる２値画像で表される２値画像部分を検出する。なお、傾きセンサ１０７を用いない場合には、当該２値画像部分検出部４０２は、画像情報取得部１０３で取得された各画像情報に含まれる２値画像部分を検出するように構成する。
【００３０】
スキュー検出部４０３は、各画像が撮影された際のスキューを検出する。具体的には、例えば、各画像が撮影された際のカメラのＸＹ方向の回転角を求める。ここで、ＸＹ方向とは、例えば、図１Ａ及び図１Ｂに示したＸＹ方向に相当する。回転角は、例えば、傾きセンサ１０７を用いる場合には、傾きセンサ１０７の出力に基づいて検出してもよいし、傾きセンサ１０７を用いない場合には、取得された各画像情報で表される各画像の角度を変化させるとともにその投影を求めることにより検出してもよい。
【００３１】
行高さ取得部４０４は、例えば、検出された回転角の方向に沿って投影を取り、２値画像部分に表された文字列の行が認識できた場合には、その行高さを取得する。行高さ判定部４０５は、取得された行高さが、上記目標画質基準に基づいて決定される文字高さに応じて求められる基準高さ以上であるか否かを判定する。そして、行高さ判定部４０５が基準高さ以上である場合には、当該画像情報が目標画質基準に合致しているとして、当該画像情報を、記憶部１０５に保持する。一方、行高さ判定部４０５が基準高さに満たないと判定した画像情報については、記憶部１０５に保持しない。
【００３２】
位置情報取得部３０２は、取得された画像情報のうち、品質判定部３０１により目標画質基準に合致すると判定された画像情報の位置を算出し取得する。位置情報取得部３０２は、更に、拡大率や縮小率を算出・取得するように構成してもよい。そして、パノラマ画像情報生成部３０３は、上記算出された位置情報に基づいて、品質判定部３０１により当該目標画質基準に合致すると判定された画像情報からパノラマ画像を表すパノラマ画像情報を生成する。よって、生成されるパノラマ画像のうち目標画質基準基準に合致しないと判断された部分画像に対応する部分については、空白部分となる。
【００３３】
具体的には、例えば、位置情報取得部３０２が、各画像のいわゆる局所特徴量を算出し、パノラマ画像情報生成部３０３が、当該局所特徴量間の距離が最小になるように各画像の重ね合わせることにより、各画像の適切な接合位置と拡大縮小率を求め、パノラマ画像を表すパノラマ画像情報を生成する。ここで、例えば、当該局所特徴量の検出には、いわゆるＳＩＦＴ(Scale‐Invariant Feature Transform)技術を用いてもよい。当該技術によれば、複数の画像から得られたキーポイントと呼ばれる特徴点の１２８次元の特徴量の近さを比較することで異なるフレーム画像中の対応するキーポイントの位置が求められる。また、複数のキーポイント間の関係から回転角や拡大縮小率についても求められる。ここで、当該特徴点が検出されなかった画像については、パノラマ画像情報の生成には用いないように構成する。
【００３４】
ここで、図５を用いて、パノラマ画像情報生成部３０３により生成されたパノラマ画像情報で表されるパノラマ画像の一例について説明する。図５に示すように、パノラマ画像５００は、品質判定部３０１により上記目標画質基準に合致すると判定された画像情報から生成されたパノラマ画像部分５０１（撮影対象において画像が表されている画像部分５０３と文字が表されている文字部分５０１）と、パノラマ画像のうち当該目標画質基準に合致しないと判断された部分画像に対応する部分に相当する空白部分５０２を含む。ユーザーは、当該パノラマ画像５００のうちの当該空白部分５０２の位置等に基づいて、目標画質基準に満たない部分（空白部分５０２に相当）を視認することにより、撮影対象のうち当該空白部分５０２に対応する部分の再度の撮影が促され、当該再度の撮影により撮影対象の完全なパノラマ画像を取得する。なお、上記文字部分５０１が上記２値画像部分検出部４０２で検出される部分に相当する。また、空白部分５０２は、目標画質基準に満たなかった部分を示す限り、その他の表示、例えば、警告等の文字等を含む表示等、であってもよい。
【００３５】
枠画像情報生成部３０４は、指定された目標画質基準に合致する画像情報を得るために最低限必要な文字の大きさに応じた枠を示す枠画像情報を生成する。具体的には、例えば、利用するＯＣＲエンジンの最小文字認識サイズをＸポイント、入力解像度をＹｄｐｉ、画像処理取得部で用いるカメラの撮影モードの解像度をＺｄｐｉ（Ｚ＞Ｙ）とすると、ＯＣＲ入力時はその文字高さは、Ｙ×Ｘ/７２ｐｉｘｅｌ以上である必要がある。さらに、当該カメラの解像度がＺの時は、ＯＣＲ入力前にＹ/Ｚ倍の解像度変換が必要なため、必要ピクセルサイズは、Ｚ/Ｙ× Ｙ×Ｘ/７２ｐｉｘｅｌ＝ Ｚ×Ｘ/７２ｐｉｘｅｌ以上である必要がある。したがって、枠画像情報としては、当該サイズ以上の枠画像を示すように構成すればよい。つまり、例えば、利用するＯＣＲエンジンの最小文字認識サイズを６ポイント、入力解像度を２００ｄｐｉ、カメラの撮影モードの解像度を３００ｄｐｉとしたときに必要な文字サイズ（文字高さ）は、２５ｐｉｘｅｌであり、当該サイズ以上の枠を表示部１０１に表示すればよい。また、傾き情報生成部３０５は、傾きセンサ１０７からの情報に基づいて、画像情報取得部１０３に用いるカメラの傾きの程度を示す傾き情報を生成する。
【００３６】
具体的には、例えば、図６に示すように、ユーザーは、本実施の形態における画像処理装置１００を、撮影対象である紙媒体に表された文書６０１上を順次移動させることにより、文書６０１全体を撮影する。この間、現在撮影されている文書６０１の一部が、画像情報取得部１０３により取得され、表示部１０１に表示される。この際、枠画像情報生成部３０４により生成された枠画像情報で表される枠画像６０２も表示部１０１に表示される。当該枠画像６０２は、例えば、図６に示すように、２重の枠で構成され、例えば、内側の枠が、視認可能である文字のサイズに対応し、外側の枠がＯＣＲ可能である文字のサイズに対応する。なお、文書６０１は画像として表される画像部分を含んでもよい。
【００３７】
したがって、ユーザーが当該枠画像６０２を基準に文書６０１の撮影を行うことにより、目標画質基準を満たすパノラマ画像の取得が確保される。具体的には、例えば、ユーザーの目的が視認可能であるパノラマ画像の取得である場合には、ユーザーは表示部１０１に表示される文字の大きさが、内側の枠以上となるように、文書６０１と画像処理装置１００の距離を調整等しつつ、撮影する。また、例えば、ユーザーの目的がＯＣＲ可能であるパノラマ画像の取得である場合には、ユーザーは表示部１０１に表示される文字の大きさが、外側の枠以上となるように、文書６０１と画像処理装置１００の距離を調整等しつつ、撮影する。なお、図６においては、上記のように枠画像６０２として２重の枠が表示される場合について説明したが、ユーザーがいずれかの目標画質基準（例えば、視認可能またはＯＣＲ可能）を指定することにより、外側または内側の枠画像６０２の一方が表示されるように構成してもよい。
【００３８】
また、図６に示すように、傾き情報生成部３０５により生成された傾き情報は、例えば、撮影されている画像に重ねて表示部１０１に表示され、それぞれＸ及びＹ方向の傾きを示す。具体的には、例えば、表示部１０１に表示される傾き情報は、図５に示すように、Ｘ及びＹ方向それぞれに棒状部６０３と、各方向への傾きに応じて移動する移動部６０４を有する。そして、移動部６０４は、画像処理装置１００の傾きに応じて、棒状部６０３の中央から移動する。したがって、ユーザーが、各移動部６０４が棒状部６０３の中央に位置するようにしつつ、画像処理装置１００を移動して文書６０１全体を撮影すれば、傾きの影響のない画像情報が取得される。なお、図６においては、説明の容易化のために、画像処理装置１００を透明にして示した。また、上記Ｘ及びＹ方向は、例えば、図１Ａ及び図１Ｂに示した方向に相当する。
【００３９】
次に、図７を用いて、本実施の形態における画像処理装置のフローの概要について説明する。図７に示すように、例えば、ユーザーの操作部１０２への撮影開始指示により画像情報取得部１０３は、撮影対象を撮影し、その画像情報を取得する（Ｓ１０１）。当該取得された画像情報は、表示部１０１に表示される。このとき、例えば、上記枠画像や傾き情報が重ねて表示部１０１に表示されている画像に重ねて表示される。
【００４０】
品質判定部３０１は、各画像情報が、目標画質基準に合致するか否かを判定する（Ｓ１０２）。そして、当該目標画質基準に合致すると判定した画像情報については、記憶部１０５に保持する（Ｓ１０３）。一方、当該目標画質基準に合致しないと判定した画像情報については、記憶部１０５に保持しない。これにより、当該目標画質基準に合致すると判定した画像情報のみが記憶部１０５に保持される。
【００４１】
撮影の終了が指示されたか否かを判定する（Ｓ１０４）。撮影の終了が指示された場合には、画像情報取得部１０３は画像情報の取得を終了し、Ｓ１０５に進む。一方、撮影の終了が指示されていない場合には、Ｓ１０１に戻る。なお、当該撮影の終了については、例えば、ユーザーが撮影の終了を、操作部１０２を介して、指示することにより行われる。
【００４２】
位置情報取得部３０２は、生成されるパノラマ画像情報における、記憶部１０５に保持された各画像情報の位置を示す位置情報を取得する（Ｓ１０５）。パノラマ画像情報生成部３０３は、上記のように目標画質基準を満たすとして記憶部１０５に保持された画像情報と上記位置情報に基づいて、パノラマ画像情報を生成する（Ｓ１０６）。当該パノラマ画像情報は、例えば、表示部１０１にパノラマ画像として表示される。なお、パノラマ画像情報の表示は、例えば、ユーザーが操作部１０２にパノラマ画像の表示を指示することにより行われる。
【００４３】
次に、上記目標画質基準に合致しないと判定された部分（部分画像）があるか否か判定する（Ｓ１０７）。当該部分画像がないと判定した場合には、処理を終了する。一方、当該部分画像があると判定した場合には、Ｓ１０１に戻る。なお、当該判定は、例えば、ユーザーがパノラマ画像を視認することにより判定するように構成してもよいし、画像処理装置１００が、例えば、パノラマ画像に所定の大きさ以上の空白部分があると判定した場合に、上記部分画像があると判定するように構成してもよい。
【００４４】
図８は、図７に示したＳ１０２に示した処理の詳細の一例を示す図である。図８に示すように、傾き判定部４０１は、傾きセンサ１０７で取得された傾き情報があらかじめ設定される範囲（基準範囲）を超えているか否かを判定する（Ｓ２０１）。そして、傾きセンサ１０７で取得された傾き情報が当該基準範囲を超える場合にはＳ１０４に進む。
【００４５】
２値画像部分検出部４０２は、傾きセンサ１０７で取得された傾き情報があらかじめ設定された範囲であると判定された各画像情報に含まれる２値画像で表される２値画像部分を検出する（Ｓ２０２）。スキュー検出部４０３は、各画像が撮影された際のスキューを検出する（Ｓ２０３）。行高さ取得部４０４は、例えば、検出された回転角の方向に沿って投影を取り、２値画像部分に表された文字列の行が認識できた場合には、その行高さを取得する（Ｓ２０４）。
【００４６】
行高さ判定部４０５は、取得された行高さが基準高さ以上であるか否かを判定する（Ｓ２０５）。そして、行高さ判定部４０５が基準高さ以上である場合には、Ｓ１０３に進み、当該画像情報が目標画質基準に合致しているとして当該画像情報を、記憶部１０５に保持する。一方、行高さ判定部４０５が基準高さに満たないと判定した場合にはＳ１０４に進む。
【００４７】
なお、上記図７及び図８に示した処理のフローは一例にすぎず、上記フローと実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。例えば、上記フローにおいては、Ｓ１０２で各画像情報が、あらかじめ設定された基準に合致するか否かを判定し、当該基準に合致すると判定した画像情報を記憶部１０５等に保持する構成として説明したがが、あらかじめ各画像情報を記憶部１０５等に保持しておき、当該あらかじめ設定された基準に合致しないと判定した画像情報を削除するように構成してもよい。また、上記図８に示した各画像情報の品質判定フローに代えて、実際に画像処理装置１００に設けられた光学的文字認識部（図示なし）が実際にＯＣＲを行うことにより、各画像の品質が目標画質基準（ＯＣＲ可能であるか否かが指示されている場合）に合致するか否かを判定するように構成してもよい。
【００４８】
本発明は、上記実施の形態に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。具体的には、例えば、上記においては、主に、傾き情報を表示部１０１に表示する場合について説明したが、当該傾き情報の表示を行わないように構成してもよいし、更に、画像処理装置１００は傾きセンサ１０７を備えないように構成してもよい。更に、上記においては、画像処理装置１００が図１に示すような携帯端末に相当する場合について説明したが、これに限られず、品質判定部３０１、位置情報取得部３０２、パノラマ画像情報生成部３０３等を、例えば、ネットワークを介して接続されたコンピュータ等で実現するように構成してもよい。つまり、カメラ等で構成される画像情報取得部１０３等とその他の各部等を分離して構成してもよい。
【符号の説明】
【００４９】
１００ 画像処理装置、１０１ 表示部、１０２ 操作部、１０３ 画像情報取得部、１０４ 制御部、１０５ 記憶部、１０６ 通信部、１０７ 傾きセンサ、１０８ 画像処理部、３０１ 品質判定部、３０２ 位置情報取得部、３０３ パノラマ画像情報生成部、３０４ 枠画像情報生成部、３０５ 傾き情報生成部４０１ 傾き判定部、４０２ ２値画像部分検出部、４０３ スキュー検出部、４０４ 行高さ取得部、４０５ 行高さ判定部、５０１ パノラマ画像部分、５０２ 空白部分、５０３ 画像部分、６０１ 文書、６０２ 枠画像、６０３ 棒状部、６０４ 移動部。
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理プログラムに関する。
【背景技術】
【０００２】
撮影された複数の画像を結合して、広視野画像（パノラマ画像）を生成する撮影装置が知られている。具体的には、当該撮影装置は、当該パノラマ画像が未撮影の領域を含む場合には、表示されるパノラマ画像において、当該未撮影の領域を空白領域として表示する。これにより、例えば、ユーザーは当該空白領域の表示に基づいて、未撮影領域を認識し、当該未撮影領域を再度撮影する（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２０４７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮影された複数の画像からパノラマ画像を生成され、撮影対象のうちユーザーの目的に応じた品質で撮影されなかった部分についての再撮影が促される画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の画像処理装置は、複数の画像情報を取得する画像情報取得手段と、前記各画像情報の品質があらかじめ設定された基準に合致するか否かを判定する品質判定手段と、前記各画像情報に基づいて、前記各画像情報の位置関係を表す位置情報を取得する位置情報取得手段と、前記画像品質判定手段による判定結果、前記位置情報、及び、前記複数の画像情報に基づいて、パノラマ画像を表すパノラマ画像情報を生成するパノラマ画像情報生成手段と、を含むことを特徴とする。
【０００６】
請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記パノラマ画像情報生成手段は、前記複数の画像情報のうち前記品質判定手段が前記所定の基準に合致しないと判断した画像情報以外の前記複数の画像情報に基づいて前記パノラマ画像情報を生成することを特徴とする。
【０００７】
請求項３に記載の画像処理装置は、請求項１または２に記載の画像処理装置において、前記画像処理装置は、更に、前記各画像情報を表示する表示手段と、前記あらかじめ設定された基準に応じた枠画像を表す枠画像情報を生成する枠画像情報生成手段と、を有し、前記表示手段は、前記各画像情報で表される各画像に重ねて前記枠画像を表示することを特徴とする。
【０００８】
請求項４に記載の画像処理装置は、請求項３に記載の画像処理装置において、前記画像処理装置は、更に、前記画像処理装置の傾きを検出する傾き検出手段と、前記傾き検出手段によって検出された傾きに応じた傾き情報を生成する傾き情報生成手段と、を含み、前記表示手段は、前記各画像情報で表される各画像に重ねて前記枠画像及び前記傾き情報を表示することを特徴とする。
【０００９】
請求項５に記載の画像処理装置は、請求項１乃至４のいずれかに記載の画像処理装置において、前記品質判定手段は、前記画像情報に含まれる文字情報で表される文字のサイズが、あらかじめ設定されたサイズ以上であるか否かを判定することを特徴とする。
【００１０】
請求項６に記載の画像処理装置は、請求項５に記載の画像処理装置において、前記あらかじめ設定されたサイズは、光学文字認識が可能であるサイズに基づいて決定されることを特徴とする。
【００１１】
請求項７に記載の画像処理プログラムは、複数の画像情報を取得する画像情報取得手段、前記各画像情報の品質があらかじめ設定された基準に合致するか否かを判定する品質判定手段、前記各画像情報に基づいて、前記各画像情報の位置関係を表す位置情報を取得する位置情報取得手段、及び、前記画像品質判定手段による判定結果、前記位置情報、及び、前記複数の画像情報に基づいて、パノラマ画像を表すパノラマ画像情報を生成するパノラマ画像情報生成手段、としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１２】
請求項１、２、７の発明によれば、撮影された複数の画像からパノラマ画像情報が生成され、撮影対象のうちユーザーの目的に応じた品質で撮影されなかった部分についての再撮影が促される。
【００１３】
請求項３の発明によれば、枠画像を参照しつつ撮影することで、ユーザーの目的に応じた品質で撮影され得る。
【００１４】
請求項４の発明によれば、傾き情報を参照しつつ撮影することで、傾きの影響の少ない品質で撮影され得る。
【００１５】
請求項５の発明によれば、撮影された各画像に含まれる文字のサイズに応じたパノラマ画像情報が生成される。
【００１６】
請求項６の発明によれば、ＯＣＲ（Optical Character Reader）で文字認識可能であるか否かに応じたパノラマ画像情報が生成される。
【図面の簡単な説明】
【００１７】
【図１Ａ】本発明の実施の形態における画像処理装置の平面図の一例を示す図である。
【図１Ｂ】図１Ａに示した実施の形態における画像処理装置の側面図を示す図である。
【図２】本発明の実施の形態における画像処理装置の構成について説明するための図である。
【図３】図２に示した画像処理部の機能的構成について説明するための図である。
【図４】図３に示した品質判定部の機能的構成について説明するための図である。
【図５】本発明の実施の形態におけるパノラマ画像の一例を示す図である。
【図６】本発明の実施の形態における枠画像及び傾き情報の表示の一例を示す図である。
【図７】本発明の実施の形態における画像処理装置のフローの一例について説明するための図である。
【図８】図７のＳ１０２に示した処理の詳細なフローの一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。
【００１９】
図１Ａは、本発明の実施の形態における画像処理装置の平面図の一例を示す図である。図１Ｂは、図１Ａに示した実施の形態における画像処理装置の側面図を示す図である。図１Ａ及び図１Ｂに示すように、本実施の形態における画像処理装置１００は、例えば、携帯端末等であって、表示部１０１、操作部１０２、及び、カメラ等で構成される画像情報取得部１０３（図示なし）を含む。なお、当該画像処理装置１００の外観は一例であって、これに限定されるものではない。
【００２０】
図２は、本発明の実施の形態における画像処理装置の構成について説明するための図である。図２に示すように、本実施の形態における画像処理装置１００は、機能的に、例えば、表示部１０１、操作部１０２、画像情報取得部１０３、制御部１０４、記憶部１０５、通信部１０６、傾きセンサ１０７、及び、画像処理部１０８を含む。なお、図２に示した構成は一例であって、これに限定されるものではない。
【００２１】
画像情報取得部１０３は、例えば、ＣＣＤイメージセンサ(Charge Coupled Device Image Sensor)等の撮像素子（図示なし）を含むカメラ等で構成され、撮影対象の画像情報（フレーム画像）を取得する。制御部１０４は、例えば、ＣＰＵ、ＭＰＵ等であって、記憶部１０５に格納されたプログラムに従って動作する。
【００２２】
記憶部１０５は、例えば、ＲＯＭやＲＡＭ、ハードディスク等の情報記録媒体で構成され、制御部１０４によって実行されるプログラムを保持する情報記録媒体である。また、記憶部１０５は、制御部１０４のワークメモリとしても動作する。なお、当該プログラムは、例えば、ネットワークを介して、ダウンロードされて提供されてもよいし、または、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータで読み取り可能な各種の情報記録媒体によって提供されてもよい。通信部１０６は、当該画像処理装置１００を、ネットワークを介して、他の画像処理装置１００やパーソナルコンピュータ等と接続する。
【００２３】
操作部１０２は、例えば、ボタンやタッチパネル等で構成され、ユーザーの指示操作に応じて、当該指示操作の内容を制御部１０４に出力する。なお、操作部１０２がタッチパネルで構成される場合は、操作部１０２は後述する表示部１０１と一体として構成されてもよいし、操作部１０２の一部が表示部１０１と一体として構成されてもよい。
【００２４】
表示部１０１は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等であって、制御部１０４からの指示に従い、情報を表示する。傾きセンサ１０７は、例えば、加速度センサであって、例えば、１フレーム期間等あらかじめ設定された期間毎に画像情報取得部１０３に含まれるカメラの傾き等を検出する。
【００２５】
画像処理部１０８は、制御部１０４からの指示に従い、画像情報取得部１０３で取得された画像情報の画像処理を行う。具体的には、図３に示すように、画像処理部１０８は、機能的に、品質判定部３０１、位置情報取得部３０２、パノラマ画像情報生成部３０３、枠画像情報生成部３０４、及び、傾き情報生成部３０５を含む。
【００２６】
品質判定部３０１は、画像情報取得部１０３により取得された各画像情報があらかじめ設定された基準に合致しているか否かを判定する。そして、当該基準に合致すると判定した画像情報については、記憶部１０５に保持する。一方、当該基準に合致しないと判定した画像情報については、記憶部１０５に保持しない。具体的には、品質判定部３０１は、例えば、取得された画像情報に含まれる文字が視認可能であるか否か、ＯＣＲ（Optical Character Reader）で光学的文字認識可能（ＯＣＲ可能）であるか否か等の文字のサイズ等に基づく基準（目標画質基準）に合致するかについて判定する。なお、上記いずれの基準（例えば、視認可能かまたはＯＣＲ可能か）を用いるか、または、複数の基準（例えば、視認可能、かつ、ＯＣＲ可能か）を用いるか等については、例えば、操作部１０２を用いてユーザーが指定するように構成してもよい。
【００２７】
図４に示すように、品質判定部３０１は、具体的には、例えば、傾き判定部４０１、２値画像部分検出部４０２、スキュー検出部４０３、行高さ取得部４０４、行高さ判定部４０５を含む。
【００２８】
傾き判定部４０１は、傾きセンサ１０７で取得された傾き情報があらかじめ設定される範囲（基準範囲）を超えているか否かを判定する。そして、傾きセンサ１０７で取得された傾き情報が当該基準範囲を超える場合には、その傾き情報に対応する画像情報は削除する。一方、傾きセンサ１０７で取得された傾き情報が基準範囲であると判定した場合には、当該判定結果に対応する各画像情報を２値画像部分検出部４０２に取得させる。
【００２９】
２値画像部分検出部４０２は、傾きセンサ１０７で取得された傾き情報があらかじめ設定された範囲であると判定された各画像情報に含まれる２値画像で表される２値画像部分を検出する。なお、傾きセンサ１０７を用いない場合には、当該２値画像部分検出部４０２は、画像情報取得部１０３で取得された各画像情報に含まれる２値画像部分を検出するように構成する。
【００３０】
スキュー検出部４０３は、各画像が撮影された際のスキューを検出する。具体的には、例えば、各画像が撮影された際のカメラのＸＹ方向の回転角を求める。ここで、ＸＹ方向とは、例えば、図１Ａ及び図１Ｂに示したＸＹ方向に相当する。回転角は、例えば、傾きセンサ１０７を用いる場合には、傾きセンサ１０７の出力に基づいて検出してもよいし、傾きセンサ１０７を用いない場合には、取得された各画像情報で表される各画像の角度を変化させるとともにその投影を求めることにより検出してもよい。
【００３１】
行高さ取得部４０４は、例えば、検出された回転角の方向に沿って投影を取り、２値画像部分に表された文字列の行が認識できた場合には、その行高さを取得する。行高さ判定部４０５は、取得された行高さが、上記目標画質基準に基づいて決定される文字高さに応じて求められる基準高さ以上であるか否かを判定する。そして、行高さ判定部４０５が基準高さ以上である場合には、当該画像情報が目標画質基準に合致しているとして、当該画像情報を、記憶部１０５に保持する。一方、行高さ判定部４０５が基準高さに満たないと判定した画像情報については、記憶部１０５に保持しない。
【００３２】
位置情報取得部３０２は、取得された画像情報のうち、品質判定部３０１により目標画質基準に合致すると判定された画像情報の位置を算出し取得する。位置情報取得部３０２は、更に、拡大率や縮小率を算出・取得するように構成してもよい。そして、パノラマ画像情報生成部３０３は、上記算出された位置情報に基づいて、品質判定部３０１により当該目標画質基準に合致すると判定された画像情報からパノラマ画像を表すパノラマ画像情報を生成する。よって、生成されるパノラマ画像のうち目標画質基準基準に合致しないと判断された部分画像に対応する部分については、空白部分となる。
【００３３】
具体的には、例えば、位置情報取得部３０２が、各画像のいわゆる局所特徴量を算出し、パノラマ画像情報生成部３０３が、当該局所特徴量間の距離が最小になるように各画像の重ね合わせることにより、各画像の適切な接合位置と拡大縮小率を求め、パノラマ画像を表すパノラマ画像情報を生成する。ここで、例えば、当該局所特徴量の検出には、いわゆるＳＩＦＴ(Scale‐Invariant Feature Transform)技術を用いてもよい。当該技術によれば、複数の画像から得られたキーポイントと呼ばれる特徴点の１２８次元の特徴量の近さを比較することで異なるフレーム画像中の対応するキーポイントの位置が求められる。また、複数のキーポイント間の関係から回転角や拡大縮小率についても求められる。ここで、当該特徴点が検出されなかった画像については、パノラマ画像情報の生成には用いないように構成する。
【００３４】
ここで、図５を用いて、パノラマ画像情報生成部３０３により生成されたパノラマ画像情報で表されるパノラマ画像の一例について説明する。図５に示すように、パノラマ画像５００は、品質判定部３０１により上記目標画質基準に合致すると判定された画像情報から生成されたパノラマ画像部分５０１（撮影対象において画像が表されている画像部分５０３と文字が表されている文字部分５０１）と、パノラマ画像のうち当該目標画質基準に合致しないと判断された部分画像に対応する部分に相当する空白部分５０２を含む。ユーザーは、当該パノラマ画像５００のうちの当該空白部分５０２の位置等に基づいて、目標画質基準に満たない部分（空白部分５０２に相当）を視認することにより、撮影対象のうち当該空白部分５０２に対応する部分の再度の撮影が促され、当該再度の撮影により撮影対象の完全なパノラマ画像を取得する。なお、上記文字部分５０１が上記２値画像部分検出部４０２で検出される部分に相当する。また、空白部分５０２は、目標画質基準に満たなかった部分を示す限り、その他の表示、例えば、警告等の文字等を含む表示等、であってもよい。
【００３５】
枠画像情報生成部３０４は、指定された目標画質基準に合致する画像情報を得るために最低限必要な文字の大きさに応じた枠を示す枠画像情報を生成する。具体的には、例えば、利用するＯＣＲエンジンの最小文字認識サイズをＸポイント、入力解像度をＹｄｐｉ、画像処理取得部で用いるカメラの撮影モードの解像度をＺｄｐｉ（Ｚ＞Ｙ）とすると、ＯＣＲ入力時はその文字高さは、Ｙ×Ｘ/７２ｐｉｘｅｌ以上である必要がある。さらに、当該カメラの解像度がＺの時は、ＯＣＲ入力前にＹ/Ｚ倍の解像度変換が必要なため、必要ピクセルサイズは、Ｚ/Ｙ× Ｙ×Ｘ/７２ｐｉｘｅｌ＝ Ｚ×Ｘ/７２ｐｉｘｅｌ以上である必要がある。したがって、枠画像情報としては、当該サイズ以上の枠画像を示すように構成すればよい。つまり、例えば、利用するＯＣＲエンジンの最小文字認識サイズを６ポイント、入力解像度を２００ｄｐｉ、カメラの撮影モードの解像度を３００ｄｐｉとしたときに必要な文字サイズ（文字高さ）は、２５ｐｉｘｅｌであり、当該サイズ以上の枠を表示部１０１に表示すればよい。また、傾き情報生成部３０５は、傾きセンサ１０７からの情報に基づいて、画像情報取得部１０３に用いるカメラの傾きの程度を示す傾き情報を生成する。
【００３６】
具体的には、例えば、図６に示すように、ユーザーは、本実施の形態における画像処理装置１００を、撮影対象である紙媒体に表された文書６０１上を順次移動させることにより、文書６０１全体を撮影する。この間、現在撮影されている文書６０１の一部が、画像情報取得部１０３により取得され、表示部１０１に表示される。この際、枠画像情報生成部３０４により生成された枠画像情報で表される枠画像６０２も表示部１０１に表示される。当該枠画像６０２は、例えば、図６に示すように、２重の枠で構成され、例えば、内側の枠が、視認可能である文字のサイズに対応し、外側の枠がＯＣＲ可能である文字のサイズに対応する。なお、文書６０１は画像として表される画像部分を含んでもよい。
【００３７】
したがって、ユーザーが当該枠画像６０２を基準に文書６０１の撮影を行うことにより、目標画質基準を満たすパノラマ画像の取得が確保される。具体的には、例えば、ユーザーの目的が視認可能であるパノラマ画像の取得である場合には、ユーザーは表示部１０１に表示される文字の大きさが、内側の枠以上となるように、文書６０１と画像処理装置１００の距離を調整等しつつ、撮影する。また、例えば、ユーザーの目的がＯＣＲ可能であるパノラマ画像の取得である場合には、ユーザーは表示部１０１に表示される文字の大きさが、外側の枠以上となるように、文書６０１と画像処理装置１００の距離を調整等しつつ、撮影する。なお、図６においては、上記のように枠画像６０２として２重の枠が表示される場合について説明したが、ユーザーがいずれかの目標画質基準（例えば、視認可能またはＯＣＲ可能）を指定することにより、外側または内側の枠画像６０２の一方が表示されるように構成してもよい。
【００３８】
また、図６に示すように、傾き情報生成部３０５により生成された傾き情報は、例えば、撮影されている画像に重ねて表示部１０１に表示され、それぞれＸ及びＹ方向の傾きを示す。具体的には、例えば、表示部１０１に表示される傾き情報は、図５に示すように、Ｘ及びＹ方向それぞれに棒状部６０３と、各方向への傾きに応じて移動する移動部６０４を有する。そして、移動部６０４は、画像処理装置１００の傾きに応じて、棒状部６０３の中央から移動する。したがって、ユーザーが、各移動部６０４が棒状部６０３の中央に位置するようにしつつ、画像処理装置１００を移動して文書６０１全体を撮影すれば、傾きの影響のない画像情報が取得される。なお、図６においては、説明の容易化のために、画像処理装置１００を透明にして示した。また、上記Ｘ及びＹ方向は、例えば、図１Ａ及び図１Ｂに示した方向に相当する。
【００３９】
次に、図７を用いて、本実施の形態における画像処理装置のフローの概要について説明する。図７に示すように、例えば、ユーザーの操作部１０２への撮影開始指示により画像情報取得部１０３は、撮影対象を撮影し、その画像情報を取得する（Ｓ１０１）。当該取得された画像情報は、表示部１０１に表示される。このとき、例えば、上記枠画像や傾き情報が重ねて表示部１０１に表示されている画像に重ねて表示される。
【００４０】
品質判定部３０１は、各画像情報が、目標画質基準に合致するか否かを判定する（Ｓ１０２）。そして、当該目標画質基準に合致すると判定した画像情報については、記憶部１０５に保持する（Ｓ１０３）。一方、当該目標画質基準に合致しないと判定した画像情報については、記憶部１０５に保持しない。これにより、当該目標画質基準に合致すると判定した画像情報のみが記憶部１０５に保持される。
【００４１】
撮影の終了が指示されたか否かを判定する（Ｓ１０４）。撮影の終了が指示された場合には、画像情報取得部１０３は画像情報の取得を終了し、Ｓ１０５に進む。一方、撮影の終了が指示されていない場合には、Ｓ１０１に戻る。なお、当該撮影の終了については、例えば、ユーザーが撮影の終了を、操作部１０２を介して、指示することにより行われる。
【００４２】
位置情報取得部３０２は、生成されるパノラマ画像情報における、記憶部１０５に保持された各画像情報の位置を示す位置情報を取得する（Ｓ１０５）。パノラマ画像情報生成部３０３は、上記のように目標画質基準を満たすとして記憶部１０５に保持された画像情報と上記位置情報に基づいて、パノラマ画像情報を生成する（Ｓ１０６）。当該パノラマ画像情報は、例えば、表示部１０１にパノラマ画像として表示される。なお、パノラマ画像情報の表示は、例えば、ユーザーが操作部１０２にパノラマ画像の表示を指示することにより行われる。
【００４３】
次に、上記目標画質基準に合致しないと判定された部分（部分画像）があるか否か判定する（Ｓ１０７）。当該部分画像がないと判定した場合には、処理を終了する。一方、当該部分画像があると判定した場合には、Ｓ１０１に戻る。なお、当該判定は、例えば、ユーザーがパノラマ画像を視認することにより判定するように構成してもよいし、画像処理装置１００が、例えば、パノラマ画像に所定の大きさ以上の空白部分があると判定した場合に、上記部分画像があると判定するように構成してもよい。
【００４４】
図８は、図７に示したＳ１０２に示した処理の詳細の一例を示す図である。図８に示すように、傾き判定部４０１は、傾きセンサ１０７で取得された傾き情報があらかじめ設定される範囲（基準範囲）を超えているか否かを判定する（Ｓ２０１）。そして、傾きセンサ１０７で取得された傾き情報が当該基準範囲を超える場合にはＳ１０４に進む。
【００４５】
２値画像部分検出部４０２は、傾きセンサ１０７で取得された傾き情報があらかじめ設定された範囲であると判定された各画像情報に含まれる２値画像で表される２値画像部分を検出する（Ｓ２０２）。スキュー検出部４０３は、各画像が撮影された際のスキューを検出する（Ｓ２０３）。行高さ取得部４０４は、例えば、検出された回転角の方向に沿って投影を取り、２値画像部分に表された文字列の行が認識できた場合には、その行高さを取得する（Ｓ２０４）。
【００４６】
行高さ判定部４０５は、取得された行高さが基準高さ以上であるか否かを判定する（Ｓ２０５）。そして、行高さ判定部４０５が基準高さ以上である場合には、Ｓ１０３に進み、当該画像情報が目標画質基準に合致しているとして当該画像情報を、記憶部１０５に保持する。一方、行高さ判定部４０５が基準高さに満たないと判定した場合にはＳ１０４に進む。
【００４７】
なお、上記図７及び図８に示した処理のフローは一例にすぎず、上記フローと実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。例えば、上記フローにおいては、Ｓ１０２で各画像情報が、あらかじめ設定された基準に合致するか否かを判定し、当該基準に合致すると判定した画像情報を記憶部１０５等に保持する構成として説明したがが、あらかじめ各画像情報を記憶部１０５等に保持しておき、当該あらかじめ設定された基準に合致しないと判定した画像情報を削除するように構成してもよい。また、上記図８に示した各画像情報の品質判定フローに代えて、実際に画像処理装置１００に設けられた光学的文字認識部（図示なし）が実際にＯＣＲを行うことにより、各画像の品質が目標画質基準（ＯＣＲ可能であるか否かが指示されている場合）に合致するか否かを判定するように構成してもよい。
【００４８】
本発明は、上記実施の形態に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。具体的には、例えば、上記においては、主に、傾き情報を表示部１０１に表示する場合について説明したが、当該傾き情報の表示を行わないように構成してもよいし、更に、画像処理装置１００は傾きセンサ１０７を備えないように構成してもよい。更に、上記においては、画像処理装置１００が図１に示すような携帯端末に相当する場合について説明したが、これに限られず、品質判定部３０１、位置情報取得部３０２、パノラマ画像情報生成部３０３等を、例えば、ネットワークを介して接続されたコンピュータ等で実現するように構成してもよい。つまり、カメラ等で構成される画像情報取得部１０３等とその他の各部等を分離して構成してもよい。
【符号の説明】
【００４９】
１００ 画像処理装置、１０１ 表示部、１０２ 操作部、１０３ 画像情報取得部、１０４ 制御部、１０５ 記憶部、１０６ 通信部、１０７ 傾きセンサ、１０８ 画像処理部、３０１ 品質判定部、３０２ 位置情報取得部、３０３ パノラマ画像情報生成部、３０４ 枠画像情報生成部、３０５ 傾き情報生成部４０１ 傾き判定部、４０２ ２値画像部分検出部、４０３ スキュー検出部、４０４ 行高さ取得部、４０５ 行高さ判定部、５０１ パノラマ画像部分、５０２ 空白部分、５０３ 画像部分、６０１ 文書、６０２ 枠画像、６０３ 棒状部、６０４ 移動部。
【特許請求の範囲】
【請求項１】
複数の画像情報を取得する画像情報取得手段と、
前記各画像情報の品質があらかじめ設定された基準に合致するか否かを判定する品質判定手段と、
前記各画像情報に基づいて、前記各画像情報の位置関係を表す位置情報を取得する位置情報取得手段と、
前記画像品質判定手段による判定結果、前記位置情報、及び、前記複数の画像情報に基づいて、パノラマ画像を表すパノラマ画像情報を生成するパノラマ画像情報生成手段と、
を含む画像処理装置。
【請求項２】
前記パノラマ画像情報生成手段は、前記複数の画像情報のうち前記品質判定手段が前記所定の基準に合致しないと判断した画像情報以外の前記複数の画像情報に基づいて前記パノラマ画像情報を生成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像処理装置は、更に、
前記各画像情報を表示する表示手段と、
前記あらかじめ設定された基準に応じた枠画像を表す枠画像情報を生成する枠画像情報生成手段と、を有し、
前記表示手段は、前記各画像情報で表される各画像に重ねて前記枠画像を表示することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像処理装置は、更に、
前記画像処理装置の傾きを検出する傾き検出手段と、
前記傾き検出手段によって検出された傾きに応じた傾き情報を生成する傾き情報生成手段と、を含み、
前記表示手段は、前記各画像情報で表される各画像に重ねて前記枠画像及び前記傾き情報を表示することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記品質判定手段は、前記画像情報に含まれる文字情報で表される文字のサイズが、あらかじめ設定されたサイズ以上であるか否かを判定することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
前記あらかじめ設定されたサイズは、光学文字認識が可能であるサイズに基づいて決定されることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
複数の画像情報を取得する画像情報取得手段、
前記各画像情報の品質があらかじめ設定された基準に合致するか否かを判定する品質判定手段、
前記各画像情報に基づいて、前記各画像情報の位置関係を表す位置情報を取得する位置情報取得手段、及び、
前記画像品質判定手段による判定結果、前記位置情報、及び、前記複数の画像情報に基づいて、パノラマ画像を表すパノラマ画像情報を生成するパノラマ画像情報生成手段、
としてコンピュータを機能させるための画像処理プログラム。
【請求項１】
複数の画像情報を取得する画像情報取得手段と、
前記各画像情報の品質があらかじめ設定された基準に合致するか否かを判定する品質判定手段と、
前記各画像情報に基づいて、前記各画像情報の位置関係を表す位置情報を取得する位置情報取得手段と、
前記画像品質判定手段による判定結果、前記位置情報、及び、前記複数の画像情報に基づいて、パノラマ画像を表すパノラマ画像情報を生成するパノラマ画像情報生成手段と、
を含む画像処理装置。
【請求項２】
前記パノラマ画像情報生成手段は、前記複数の画像情報のうち前記品質判定手段が前記所定の基準に合致しないと判断した画像情報以外の前記複数の画像情報に基づいて前記パノラマ画像情報を生成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像処理装置は、更に、
前記各画像情報を表示する表示手段と、
前記あらかじめ設定された基準に応じた枠画像を表す枠画像情報を生成する枠画像情報生成手段と、を有し、
前記表示手段は、前記各画像情報で表される各画像に重ねて前記枠画像を表示することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像処理装置は、更に、
前記画像処理装置の傾きを検出する傾き検出手段と、
前記傾き検出手段によって検出された傾きに応じた傾き情報を生成する傾き情報生成手段と、を含み、
前記表示手段は、前記各画像情報で表される各画像に重ねて前記枠画像及び前記傾き情報を表示することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記品質判定手段は、前記画像情報に含まれる文字情報で表される文字のサイズが、あらかじめ設定されたサイズ以上であるか否かを判定することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
前記あらかじめ設定されたサイズは、光学文字認識が可能であるサイズに基づいて決定されることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
複数の画像情報を取得する画像情報取得手段、
前記各画像情報の品質があらかじめ設定された基準に合致するか否かを判定する品質判定手段、
前記各画像情報に基づいて、前記各画像情報の位置関係を表す位置情報を取得する位置情報取得手段、及び、
前記画像品質判定手段による判定結果、前記位置情報、及び、前記複数の画像情報に基づいて、パノラマ画像を表すパノラマ画像情報を生成するパノラマ画像情報生成手段、
としてコンピュータを機能させるための画像処理プログラム。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−７０２１２（Ｐ２０１３−７０２１２Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０６８８３（Ｐ２０１１−２０６８８３）
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]