撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
【課題】携帯端末装置にて撮像した画像の中の必要な領域のみを容易に出力することができるとともに、矩形状の撮像対象物を斜め方向から撮像した場合でも幾何学的歪みのない画像を出力することが可能な撮像画像処理システムを実現する。
【解決手段】撮像画像処理システムは、撮像画像の中の指定領域の位置を示す指定情報を受け付ける指定情報受付部１１１と、指定情報に基づいて、上記撮像画像の中から出力対象領域を決定する領域決定部１１２と、撮像画像の中から検出された線分状に連なる４つのエッジ画素群を辺とする四角形の領域内の各画素の座標から、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域内の対応する画素の座標への写像を求め、撮像画像データの中の出力対象領域のみに対応する画像データに対して、上記写像による座標変換処理が施された補正済画像データを生成する補正済データ生成部とを備える。
【解決手段】撮像画像処理システムは、撮像画像の中の指定領域の位置を示す指定情報を受け付ける指定情報受付部１１１と、指定情報に基づいて、上記撮像画像の中から出力対象領域を決定する領域決定部１１２と、撮像画像の中から検出された線分状に連なる４つのエッジ画素群を辺とする四角形の領域内の各画素の座標から、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域内の対応する画素の座標への写像を求め、撮像画像データの中の出力対象領域のみに対応する画像データに対して、上記写像による座標変換処理が施された補正済画像データを生成する補正済データ生成部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末装置にて撮像した画像を画像出力装置により出力する撮像画像処理システムに関する。
【背景技術】
【０００２】
インターネット技術の進展と伴に携帯電話など携帯端末装置を利用して撮像した画像を保存する機会が増えてきている。また、単純に風景や、人物などを被写体とするだけではなく、各種ショーなどで展示されている説明図や説明文、あるいは学会等でのスライドを撮影する機会も増大してきている。このような携帯端末装置で撮影された画像を保存する際には、撮影日などの情報を元に自動的に付加されるファイル名を用いるか、自分でファイル名を作成し、保存するのが一般的である。
【０００３】
また、特許文献１には、ユーザが、デジタルカメラや、カメラ付きＰＤＡ・携帯パソコン等の携帯端末装置で収集したデジタル画像データを、ネットワークを介してサーバに送信する技術が記載されている。そして、サーバでは、受信したデジタル画像データを、所定のドキュメントフォーマットに編集し、上記ドキュメントフォーマットの所定の領域に、音声コード画像又はテキストイメージとして貼り付ける。そして、当該ドキュメントは、特定用途の報告書として記録媒体に保存されたり、紙ドキュメントとして印刷されたり、あるいは、ネットワークを介して特定のサイトに送信されたりする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−４１５０２号公報（２００２年２月８日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、携帯電話やデジタルカメラで撮像する場合、原稿やポスターなどの矩形状の所望の撮像対象物をフレームいっぱいに正面から撮影できるとは限らず、当該撮像対象物以外の余分な情報が画像に含まれてしまうことがある。例えば、周りにいた人の顔などが画面に入り込む場合などである。
【０００６】
さらに、所望の撮像対象物を正面からではなく、斜め方向から撮影せざるを得ないケースもある。当該撮像対象物が矩形状であるため、斜め方向から撮影すると、画像中において撮像対象物の端辺が斜めになり、所望の撮像対象物の周辺に余計なものが映り込んでしまうことになる。
【０００７】
このようにして得られた撮影画像をそのまま利用することも考えられるが、ポイントを絞って分かりやすくまとめる上では、必要な箇所のみ切り出すのが好ましい。しかしながら、特許文献１には、明るさや色、サイズの調整等を行い、画像データを拡大や縮小してテンプレートのエリアに内接させることは記載されているが、必要な箇所のみ抽出することに関しては記載されていない。また、矩形状の撮像対象物を斜め方向から撮像した場合、撮像画像において、撮像対象物が歪んだ四角形として示される現象（幾何学的歪み）が生じてしまう。
【０００８】
本発明は、上記課題を解決するためになされたものであり、携帯端末装置にて撮像した画像の中の必要な領域のみを容易に出力することができるとともに、矩形状の撮像対象物を斜め方向から撮像した場合でも幾何学的歪みのない画像を出力することが可能な撮像画像処理システム、画像出力方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の撮像画像処理システムは、撮像部を備えた携帯端末装置と画像出力装置とを備え、上記携帯端末装置と上記画像出力装置とが通信可能である撮像画像処理システムであって、上記撮像部の撮像により得られた撮像画像データで示される撮像画像の中の一部の領域である指定領域の位置を示す指定情報の入力をユーザから受け付ける指定情報受付部と、上記指定情報に基づいて、上記撮像画像の中から、上記画像出力装置から出力する領域である出力対象領域を決定する出力対象領域決定部と、上記撮像画像の中から検出された線分状に連なる４つのエッジ画素群を辺とする四角形の領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、上記四角形の領域内の各画素の座標から上記矩形の領域内の対応する画素の座標への写像を求める写像生成部と、上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、少なくとも上記写像生成部が生成した写像による座標変換処理が施された補正済画像データを生成する補正済データ生成部と、上記補正済画像データ、または、当該補正済画像データで示される画像を出力する出力部とを備え、上記携帯端末装置は少なくとも上記指定情報受付部を備え、上記画像出力装置は少なくとも上記補正済データ生成部および上記出力部を備えることを特徴とする。
【００１０】
また、本発明の画像出力方法は、撮像部を備えた携帯端末装置と画像出力装置とを備え、上記携帯端末装置と上記画像出力装置とが通信可能である撮像画像処理システムにおける画像出力方法であって、上記撮像部の撮像により得られた撮像画像データで示される撮像画像の中の一部の領域である指定領域の位置を示す指定情報の入力をユーザから受け付ける指定情報受付ステップと、上記指定情報に基づいて、上記撮像画像の中から、上記画像出力装置から出力する画像の領域である出力対象領域を決定する出力対象領域決定ステップと、上記撮像画像データで示される撮像画像の中から検出された線分状に連なる４つのエッジ画素群を辺とする四角形の領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、上記四角形の領域内の各画素の座標から上記矩形の領域内の対応する画素の座標への写像を求める写像生成ステップと、上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、少なくとも上記写像による座標変換処理が施された補正済画像データを生成する補正済データ生成ステップと、上記補正済画像データ、または、当該補正済画像データで示される画像を出力する出力ステップとを含み、上記携帯端末装置は少なくとも上記指定情報受付ステップの処理を行い、上記画像出力装置は少なくとも上記補正済データ生成ステップおよび上記出力ステップの処理を行うことを特徴とする。
【００１１】
上記の構成によれば、携帯端末装置が指定情報受付部を備えるため、ユーザは、撮像画像の中の一部の領域である指定領域を携帯端末装置に入力することができる。そして、当該入力を行うことで、指定領域に基づいて出力対象領域が決定され、当該出力対象領域のみに対応する補正済画像データまたは当該補正済画像データで示される画像が出力される。そのため、ユーザは、携帯端末装置に指定領域を入力するだけで、撮像画像から切り出された出力対象領域の画像を容易に得ることができる。
【００１２】
また、原稿やポスターなどの矩形状の撮像対象物を撮像するとき、当該撮像対象物を斜め方向から撮像すると、撮像対象物は撮像画像の中で歪んだ四角形となる。一方、撮像対象物を正面から撮像し、かつ、傾くことなく撮像したときには、撮像対象物は撮像画像の中で上下の辺が水平方向に略平行な矩形の領域となる。
【００１３】
そして、上記の構成によれば、撮像画像の中から検出された線分状に連なる４つのエッジ画素群を辺とする四角形の領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、座標に関する写像が求められる。
【００１４】
ここで、原稿やポスターなどの矩形状の撮像対象物を撮像した場合、撮像画像において、撮像対象物と背景との境界線（撮像対象物の輪郭線）は、線分状に連なる４つのエッジ画素群で構成されることとなる。そのため、矩形状の撮像対象物を撮像したとき、撮像画像の中から検出された線分状に連なる４つのエッジ画素群を辺とする四角形の領域は、撮像対象物の領域である可能性が高い。
【００１５】
そして、このようにして検出された四角形の領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換するための写像が求められる。そのため、矩形状の撮像対象物を斜め方向から撮像することにより、撮像画像において撮像対象物が歪んだ四角形として示されていたとしても、上記写像による座標変換を行うことで、このような歪んだ四角形の撮像対象物が、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換される。その結果、あたかも正面から矩形状の撮像対象物を撮像したかのような画像を得ることができる。すなわち、斜め方向から撮像することによる幾何学的歪みのない画像（幾何学的歪みが補正された画像）を得ることができる。
【００１６】
このように、上記の構成によれば、携帯端末装置にて撮像した画像の中の必要な領域のみを容易に出力することができるとともに、矩形状の撮像対象物を斜め方向から撮像した場合でも幾何学的歪みのない画像を出力することが可能な撮像画像処理システムを実現することができる。
【００１７】
また、上記の課題を解決するために、本発明の撮像画像処理システムは、撮像部を備えた携帯端末装置と画像出力装置とを備え、上記携帯端末装置と上記画像出力装置とが通信可能である撮像画像処理システムであって、上記撮像部の撮像により得られた撮像画像データで示される撮像画像の中の一部の四角形の領域である指定領域の位置を示す指定情報の入力をユーザから受け付ける指定情報受付部と、上記指定情報に基づいて、上記撮像画像の中から、上記画像出力装置から出力する四角形の領域である出力対象領域を決定する出力対象領域決定部と、上記出力対象領域決定部により決定された四角形の出力対象領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、上記出力対象領域内の各画素の座標から上記矩形の領域内の対応する画素の座標への写像を求める写像生成部と、上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、少なくとも上記写像生成部が生成した写像による座標変換処理が施された補正済画像データを生成する補正済データ生成部と、上記補正済画像データ、または、当該補正済画像データで示される画像を出力する出力部とを備え、上記携帯端末装置は少なくとも上記指定情報受付部を備え、上記画像出力装置は少なくとも上記補正済データ生成部および上記出力部を備えることを特徴とする。
【００１８】
また、本発明の画像出力方法は、撮像部を備えた携帯端末装置と画像出力装置とを備え、上記携帯端末装置と上記画像出力装置とが通信可能である撮像画像処理システムにおける画像出力方法であって、上記撮像部の撮像により得られた撮像画像データで示される撮像画像の中の一部の四角形の領域である指定領域の位置を示す指定情報の入力をユーザから受け付ける指定情報受付ステップと、上記指定情報に基づいて、上記撮像画像の中から、上記画像出力装置から出力する四角形の領域である出力対象領域を決定する出力対象領域決定ステップと、上記出力対象領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、上記出力対象領域内の各画素の座標から上記矩形の領域内の対応する画素の座標への写像を求める写像生成ステップと、上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、少なくとも上記写像による座標変換処理が施された補正済画像データを生成する補正済データ生成ステップと、上記補正済画像データ、または、当該補正済画像データで示される画像を出力する出力ステップとを含み、上記携帯端末装置は少なくとも上記指定情報受付ステップの処理を行い、上記画像出力装置は少なくとも上記補正済データ生成ステップおよび上記出力ステップの処理を行うことを特徴とする。
【００１９】
上記の構成によっても、携帯端末装置が指定情報受付部を備えるため、ユーザは、撮像画像の中の一部の領域である指定領域を携帯端末装置に入力することができる。そして、当該入力を行うことで、指定領域に基づいて出力対象領域が決定され、当該出力対象領域のみに対応する補正済画像データまたは当該補正済画像データで示される画像が出力される。そのため、ユーザは、携帯端末装置に指定領域を入力するだけで、撮像画像から切り出された出力対象領域の画像を容易に得ることができる。
【００２０】
また、原稿やポスターなどの文書画像を含む矩形状の撮像対象物を撮像する場合、ユーザが出力対象領域として指定する領域は、当該撮像対象物の領域、もしくは、当該撮像対象物の上記文書画像中のグラフや表などの領域であるケースが多い。このような領域は、撮像対象物を斜め方向から撮像したときには歪んだ四角形となるが、撮像対象物を正面から撮像し、かつ、傾くことなく撮像したときには、上下の辺が水平方向に略平行な矩形の領域となる。
【００２１】
そして、上記の構成によれば、出力対象領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換するための写像が求められる。そのため、矩形状の撮像対象物を斜め方向から撮像することにより、撮像画像において出力対象領域が歪んだ四角形として示されていたとしても、上記写像による座標変換を行うことで、このような歪んだ四角形の出力対象領域が、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換される。その結果、あたかも正面から矩形状の撮像対象物を撮像したかのような画像を得ることができる。すなわち、斜め方向から撮像することによる幾何学的歪みのない画像を得ることができる。
【００２２】
このように、上記の構成によれば、携帯端末装置にて撮像した画像の中の必要な領域のみを容易に出力することができるとともに、矩形状の撮像対象物を斜め方向から撮像した場合でも幾何学的歪みのない画像を出力することが可能な撮像画像処理システムを実現することができる。
【００２３】
さらに、本発明の撮像画像処理システムにおいて、上記携帯端末装置は、上記出力対象領域決定部と、上記撮像画像データから、上記出力対象領域決定部によって決定された出力対象領域の画像を示す指定領域画像データを切り出す画像抽出部と、上記撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、上記指定領域画像データ、および、上記補正情報を上記画像出力装置に送信する送信部とを備え、上記画像出力装置は、上記送信部により送信された指定領域画像データおよび補正情報を受信する受信部と、上記写像生成部とを備え、上記写像生成部は、上記受信部が受信した補正情報に基づいて上記写像を求め、上記補正済データ生成部は、上記受信部が受信した指定領域画像データに対して、上記写像生成部が生成した写像による座標変換処理を行うことで、上記補正済画像データを生成してもよい。
【００２４】
上記の構成によれば、携帯端末装置において、画像抽出部が出力対象領域の画像を示す指定領域画像データを撮像画像データから切り出す。そのため、携帯端末装置から画像出力装置への送信データの容量を必要最小限にすることができる。
【００２５】
また、本発明の撮像画像処理システムにおいて、上記携帯端末装置は、上記出力対象領域決定部と、上記撮像画像データ、および、上記出力対象領域決定部により決定された出力対象領域の位置を示す出力対象領域情報を上記画像出力装置に送信する送信部を備え、上記画像出力装置は、上記送信部により送信された撮像画像データおよび出力対象領域情報を受信する受信部と、上記受信部により受信された撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、上記写像生成部とを備え、上記写像生成部は、上記補正情報生成部により生成された補正情報に基づいて上記写像を求め、上記補正済データ生成部は、上記受信部が受信した撮像画像データから、上記受信部が受信した出力対象領域情報で示される出力対象領域の画像を示す指定領域画像データを切り出し、当該指定領域画像データに対して、上記写像生成部が生成した写像による座標変換処理を行うことで、上記補正済画像データを生成してもよい。
【００２６】
また、本発明の撮像画像処理システムにおいて、上記携帯端末装置は、上記出力対象領域決定部と、上記撮像画像データ、および、上記出力対象領域決定部により決定された出力対象領域の位置を示す出力対象領域情報を上記画像出力装置に送信する送信部を備え、上記画像出力装置は、上記送信部により送信された撮像画像データおよび出力対象領域情報を受信する受信部と、上記受信部により受信された撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、上記写像生成部とを備え、上記写像生成部は、上記補正情報生成部により生成された補正情報に基づいて上記写像を求め、上記補正済データ生成部は、上記受信部が受信した撮像画像データおよび出力対象領域情報に対して、上記写像生成部が生成した写像による座標変換処理を行い、当該座標変換処理が行われた撮像画像データから、当該座標変換処理が行われた出力対象領域情報で示される位置の出力対象領域を切り出すことで、上記補正済画像データを生成してもよい。
【００２７】
上記の構成によれば、携帯端末装置は、撮像画像データから出力対象領域の切り出し処理および補正情報の生成処理を実行する必要がなく、携帯端末装置の負荷を低減することができる。
【００２８】
また、本発明の撮像画像処理システムにおいて、上記携帯端末装置は、上記出力対象領域決定部と、上記撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、上記撮像画像データ、上記出力対象領域決定部により決定された出力対象領域の位置を示す出力対象領域情報、および、上記補正情報を上記画像出力装置に送信する送信部とを備え、上記画像出力装置は、上記送信部により送信された撮像画像データ、出力対象領域情報および補正情報を受信する受信部と、上記写像生成部とを備え、上記写像生成部は、上記受信部が受信した補正情報に基づいて上記写像を求め、上記補正済データ生成部は、上記受信部が受信した撮像画像データから、上記受信部が受信した出力対象領域情報で示される出力対象領域の画像を示す指定領域画像データを切り出し、当該指定領域画像データに対して、上記写像生成部が生成した写像による座標変換処理を行うことで、上記補正済画像データを生成してもよい。
【００２９】
また、本発明の撮像画像処理システムにおいて、上記携帯端末装置は、上記出力対象領域決定部と、上記撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、上記撮像画像データ、上記出力対象領域決定部により決定された出力対象領域の位置を示す出力対象領域情報、および、上記補正情報を上記画像出力装置に送信する送信部とを備え、上記画像出力装置は、上記送信部により送信された撮像画像データ、出力対象領域情報および補正情報を受信する受信部と、上記写像生成部とを備え、上記写像生成部は、上記受信部が受信した補正情報に基づいて上記写像を求め、上記補正済データ生成部は、上記受信部が受信した撮像画像データおよび出力対象領域情報に対して、上記写像生成部が生成した写像による座標変換処理を行い、当該座標変換処理が行われた撮像画像データから、当該座標変換処理が行われた出力対象領域情報で示される位置の出力対象領域を切り出すことで、上記補正済画像データを生成してもよい。
【００３０】
上記の構成によれば、携帯端末装置は、撮像画像データから出力対象領域の切り出し処理を実行する必要がなく、携帯端末装置の負荷を低減することができる。
【００３１】
さらに、本発明の撮像画像処理システムにおいて、上記指定情報受付部は、上記指定情報として、四角形の上記指定領域の頂点となる４つの指定点の位置を示す情報を受け付け、上記出力対象領域決定部は、上記指定情報受付部が受け付けた各指定点について、上記撮像画像における当該指定点を含む所定サイズのブロック内に、一つの角部を有する所定形状に連結された複数のエッジ画素が存在するか否かを判定し、上記ブロック内に上記複数のエッジ画素が存在する場合、上記角部の点を補正情報特定点として決定し、上記ブロック内に上記複数のエッジ画素が存在しない場合、上記指定点を補正情報特定点として決定し、決定した４つの補正情報特定点を頂点とする四角形の領域を上記出力対象領域としてもよい。
【００３２】
一般に、携帯端末装置は携帯されることを考慮して、比較的小さいサイズに設計されており、その表示部の画面も小さいことが多い。そのため、出力対象領域の頂点を正確に指定点として入力することが困難である。その結果、所望の出力対象領域からずれた領域を指定領域として指定せざるを得ないことが考えられる。
【００３３】
一方、ユーザが出力対象領域として選択する領域は、矩形状の撮像対象物全体であったり、撮像対象物中の表やグラフである。このような領域の輪郭は、撮像対象物と背景との境界線や、表やグラフの枠線であり、撮像画像においてエッジ画素として構成される。
【００３４】
上記の構成によれば、指定情報受付部が受け付けた各指定点について、撮像画像における当該指定点を含む所定サイズのブロック内に、一つの角部を有する所定形状に連結された複数のエッジ画素が存在するか否かを判定する。そして、ブロック内に複数のエッジ画素が存在する場合、角部の点を補正情報特定点として決定し、ブロック内に複数のエッジ画素が存在しない場合、指定点を補正情報特定点として決定し、決定した４つの補正情報特定点を頂点とする四角形の領域を出力対象領域とする。
【００３５】
そのため、枠線や境界線で囲まれた領域を選択することを希望しているが、携帯端末装置の表示部の画面上において、当該枠線または境界線の角部から少しずれた位置の点を指定してしまったとしても、枠線または境界線の角部を構成する画素を出力対象領域の頂点として選択することができる。その結果、ユーザは、指定点を正確に入力できなくても、ある程度近い点を指定することで、希望している出力対象領域の画像を得ることができる。
【００３６】
さらに、本発明の撮像画像処理システムにおいて、上記補正済データ生成部は、上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、上記写像生成部が生成した写像による座標変換処理、および、上記撮像画像データの解像度よりも高い解像度に補正する高解像度補正処理が施された補正済画像データを生成してもよい。
【００３７】
上記の構成によれば、文字の判読性を向上させ、品質の高い画像を出力することができる。
【００３８】
さらに、本発明の撮像画像処理システムは、上記出力対象領域を表示するための表示部を備えることが好ましい。
【００３９】
上記の構成によれば、ユーザは、表示部を見ることにより出力対象領域を確認することができる。これにより、ユーザは、確認した出力対象領域が所望のものではない場合、再度出力対象領域を出力対象領域決定部に決定させることができる。また、複数の方法で求められた出力対象領域の中から所望の一つを選択することもできる。
【００４０】
さらに、本発明の撮像画像処理システムは、上記表示部に表示された出力対象領域に対するユーザ入力に従って、上記出力対象領域の編集を行う編集処理部を備えることが好ましい。
【００４１】
上記の構成によれば、表示部に表示された出力対象領域が所望の領域ではない場合、ユーザは、編集処理部を用いて、出力対象領域を編集することができる。
【００４２】
なお、上記撮像画像処理システムは、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより撮像画像処理システムをコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００４３】
本発明によれば、携帯端末装置にて撮像した画像の中の必要な領域のみを容易に出力することができるとともに、矩形状の撮像対象物を斜め方向から撮像した場合でも幾何学的歪みのない画像を出力することができるという効果を奏する。
【図面の簡単な説明】
【００４４】
【図１】図１は、本発明の一実施形態に係る撮像画像処理システムの全体構成を示す図である。
【図２】図２は、本発明の一実施形態に係る携帯端末装置の構成を示すブロック図である。
【図３】図３は、画像の傾き検出例を示す図である。
【図４】図４は、図３の傾き検出例における傾き角度θとその正接値を示している。
【図５】図５は、画像の幾何学的歪みの検出例を示す図である。
【図６】図６は、画像における撮像対象物のエッジ検出処理例を示す図である。
【図７】図７は、画像のラスター方向のエッジ検出例を示す図である。
【図８】図８は、画像のズレ度合い検出例の１次微分フィルタ例を示す図である。
【図９】図９は、出力対象領域を指定するための４つの指定点が入力されたときの表示部の画面例を示す図である。
【図１０】図１０は、出力対象領域を指定するための４つの指定点が入力されたときの表示部の別の画面例を示す図である。
【図１１】図１１は、本発明の一実施形態に係る画像出力装置の構成を示すブロック図である。
【図１２】図１２は、本発明の一実施形態に係る画像出力装置が有する画像処理部の構成を示すブロック図である。
【図１３】図１３は、画像のカラーバランス調整時に作成するルックアップテーブルの一例を示す図である。
【図１４】図１４は、画像のレンズ歪みの補正例を示す図である。
【図１５】図１５は、画像の幾何学的歪みおよび傾きの補正例を示す図である。
【図１６】図１６は、画像の再構成画素値の決定例を示す図である。
【図１７】図１７は、携帯端末装置の処理の流れを示すフローチャートである。
【図１８】図１８は、画像出力装置の処理の流れの全体を示すフローチャートである。
【図１９】図１９は、幾何学補正前の画像データで示される画像と、幾何学補正後の画像データで示される画像とを示す図である。
【図２０】図２０は、画像出力装置が有する画像処理部の変形例の構成を示すブロック図である。
【図２１】図２１は参照形状を示す図である。
【図２２】図２２は、高解像度補正の別の処理の流れを示すフローチャートである。
【図２３】図２３は、高解像度画像データにおける基準画素と補間画素とを示している。
【図２４】図２４は、補間画素の画素値の決定方法を示す図である。
【図２５】図２５は、変形例に係る携帯端末装置の構成を示すブロック図である。
【図２６】図２６は、編集処理部を備えた携帯端末装置の処理の流れの一部を示すフローチャートである。
【発明を実施するための形態】
【００４５】
以下、本発明の実施の形態について、詳細に説明する。
【００４６】
（１）撮像画像処理システムの全体構成
図１は、本発明に係る撮像画像処理システムの全体構成を示す図である。図１に示されるように、撮像画像処理システムは、カメラ付き携帯電話、デジタルスチルカメラなど、撮像手段を備えた携帯端末装置１００、および、複合機、プリンタ（画像形成装置）などの画像出力装置２００を備える。
【００４７】
携帯端末装置１００は、ユーザによって携帯されるものである。ユーザは、様々な場面で携帯端末装置１００により対象物を撮像することができる。
【００４８】
本実施形態において、携帯端末装置１００は、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面（例えば、ディスプレイ画面やプロジェクターにより投影された画面）のような矩形状の撮像対象物を撮像し、当該撮像により得られた撮像画像を画像出力装置２００から出力するための文書撮像モードの機能を有している。すなわち、携帯端末装置１００は、文書撮像モードでの撮像により得られ、画像出力装置２００にて出力する対象となる画像データ（以下、出力対象画像データという）を画像出力装置２００に送信する。そして、画像出力装置２００は、受信した出力対象画像データに対して所定の画像処理を施し、画像処理後の出力対象画像データ（以下、補正済画像データという）、もしくは、補正済画像データで示される画像を出力する。
【００４９】
また、携帯端末装置１００は、撮像画像において出力すべき領域（以下、出力対象領域という）の指定を受け付けることができる。これにより、ユーザは、撮像画像の中の必要な領域のみを抽出した画像を画像出力装置２００から出力させることができる。
【００５０】
また、ユーザは、矩形状の撮像対象物である、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面などに対して、常に正面から撮像できるとは限らない。すなわち、ユーザは、撮像対象物における、文書画像が形成された平面の法線方向と、撮像手段の撮像方向とが一致しない状態で、斜め方向から撮像対象物を撮像する場合がある。この場合、撮像画像において、撮像対象物に歪み（以下、幾何学的歪みという）が生じることになる。本実施形態では、上記文書撮像モードが選択された場合、このような幾何学的歪みも補正された状態で画像出力装置２００が画像出力するように構成されている。
【００５１】
さらに、本実施形態において、画像出力装置２００は、携帯端末装置１００から受信した出力対象画像データに対して、解像度を高める高解像度補正を行う。この高解像度補正の手法としては、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008） に記載されている、複数の撮像画像データを用いた方法や、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008）に記載されている、一つの撮像画像データを用いた方法などがあり、これらの方法を用いることができる。なお、本実施形態では、同一対象物に対して複数回の連続撮像により得られた出力対象画像データを用いて高解像度補正を行うものとして説明する。ただし、本発明は、画像出力装置２００が当該高解像度化機能を有する場合に限定されるものではない。
【００５２】
なお、画像出力装置２００で実行される出力処理としては、補正済画像データで示される画像を印刷して出力する印刷処理、サーバやＵＳＢメモリなどの記憶装置へ出力対象画像データを格納するファイリング処理、電子メールに補正済画像データを添付して送信するメール送信処理などがある。
【００５３】
携帯端末装置１００と画像出力装置２００とは通信可能であり、携帯端末装置１００は、上述したように、出力対象画像データを画像出力装置２００に送信する。携帯端末装置１００と画像出力装置２００との通信方式としては、図１において符号ＡまたはＢで示されるような方式がある。符号Ａで示される方式は、ＩｒＳｉｍｐｌｅなどの赤外線通信規格のいずれかに基づく無線通信方式である。符号Ｂで示される方式は、Ｆｅｌｉｃａ（登録商標）のような非接触無線通信により、携帯端末装置１００から中継装置３００に一旦出力対象画像データを送り、その後、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような無線通信を用いて、当該中継装置３００から画像出力装置２００へ当該データを転送する方式である。本実施形態では、ユーザは、画像出力装置２００の前にきてから携帯端末装置１００を操作し、赤外線通信のような近距離無線通信方式を用いて、携帯端末装置１００から画像出力装置２００へデータ送信するものとする。
【００５４】
なお、携帯端末装置１００と画像出力装置２００との間の通信方式については、これらに限定されることなく、公知の通信方法を用いたものを適用することができる。たとえば、電子メールに出力対象画像データを添付して画像出力装置２００に送信してもよい。
【００５５】
（２）携帯端末装置の構成
まず、図２に基づいて、本実施形態に係る携帯端末装置１００について説明する。図２は、携帯端末装置１００の構成を示すブロック図である。図２に示されるように、携帯端末装置１００は、撮像部１０１、撮像画像判定部（補正情報生成部）１０２、画像処理部１０３、通信部（送信部）１０４、表示部１０５、入力部１０６、記憶媒体アクセス部１０７、記憶部１０８、制御部（送信部）１０９、補正情報生成部１１０、指定情報受付部１１１、領域決定部（出力対象領域決定部）１１２、領域抽出部（画像抽出部）１１３を備えている。
【００５６】
撮像部１０１は、ＣＣＤセンサ、ＣＭＯＳセンサを用いて、撮像対象物の撮像を行うものである。撮像部１０１は、予め設定された解像度で撮像対象物の撮像を行う。また、撮像部１０１は、ユーザにより文書撮像モードが選択された場合、１回のシャッター押下により、撮像対象物について複数回（例えば、２〜１５）連続して撮像する。通常、連続して撮像された画像は、ほぼ同じ画像であるが、手ぶれ等によって微少量だけずれることになる。
【００５７】
なお、以下では、１回のシャッター押下により撮像部１０１が連続撮像することにより得られる複数の撮像画像の各々を示す画像データをサブ撮像画像データという。また、１回のシャッター押下により撮像部１０１が連続撮像することにより得られる複数のサブ撮像画像データの組を撮像画像データセットという。また、撮像画像データで示される画像全体を撮像画像という。
【００５８】
撮像画像判定部１０２は、文書撮像モードが選択されている際に、撮像部１０１の連続撮像により得られた複数の撮像画像が、画像出力装置２００において高解像度補正を実行するための条件を含む所定の処理実行条件を満たしているか否かを判定するものである。撮像画像判定部１０２は、その判定結果を制御部１０９に出力する。撮像画像判定部１０２における具体的な処理については後述する。
【００５９】
画像処理部１０３は、撮像部１０１で撮像された画像のデータ（サブ撮像画像データ）に対して、少なくともＡ／Ｄ変換処理を行うものである。
【００６０】
通信部１０４は、ＵＳＢ（Universal Serial Bus）１．１またはＵＳＢ２．０の規格に基づく、シリアル転送／パラレル転送、無線データ通信機能を有するものである。通信部１０４は、ユーザが入力した送信指示に従って、画像出力装置２００で出力する対象となる出力対象画像データを画像出力装置２００に送信する。
【００６１】
表示部１０５は、例えば液晶ディスプレイなどにより構成されるものである。また，入力部１０６は、複数のボタンを有しており、ユーザがデータの入力を行うためのものである。
【００６２】
記憶媒体アクセス部１０７は、携帯端末装置１００の各処理を行うためのプログラムが記録された記録媒体から、プログラムを読み出すものである。
【００６３】
また、記憶部１０８は、携帯端末装置１００の各処理を行うためのプログラム、携帯端末装置１００の機種情報、ユーザ情報や処理を行う際に必要なデータを格納するものである。なお、ユーザ情報とは、携帯端末装置１００のユーザを識別する情報であり、例えば、ユーザＩＤおよびパスワードなどである。また、記憶部１０８は、文書撮像モードで撮像することにより得られた撮像画像データセットおよびその付属情報（後述する幾何学補正情報、出力処理情報、ファイルネームなど）を記憶する。
【００６４】
補正情報生成部１１０は、撮像画像データセットごとに、当該撮像画像データセットで示される画像の中の矩形状の撮像対象物の傾きおよび幾何学的歪みを補正するための情報（幾何学補正情報）を生成するものである。補正情報生成部１１０は、撮像画像データセットごとに生成した幾何学補正情報を、当該撮像画像データセットと対応付けて記憶部１０８に格納する。補正情報生成部１１０の具体的な処理内容については後述する。
【００６５】
指定情報受付部１１１は、撮像画像データセットで示される画像の中から画像出力装置２００で出力する出力対象領域を決定するための指定情報を受け付けるものである。ここで、指定情報とは、撮像画像の中においてユーザが出力対象領域として指定した領域（指定領域）の位置を示す情報である。領域決定部１１２は、指定情報受付部１１１が受け付けた指定情報に基づいて、撮像画像の中の出力対象領域を決定するものである。なお、指定情報受付部１１１および領域決定部１１２の具体的な処理内容については後述する。
【００６６】
領域抽出部１１３は、撮像画像データセットに含まれる各サブ撮像画像データから、領域決定部１１２によって決定された出力対象領域を切り出し、切り出した複数の画像データ（以下、サブ指定領域画像データという）の組を当該撮像画像データセットと対応付けて記憶部１０８に格納する。なお、以下では、一つの撮像画像データセットから生成された複数のサブ指定領域画像データの組を指定領域画像データセットという。領域抽出部１１３は、生成した指定領域画像データセットを撮像画像データセットと対応付けて記憶部１０８に格納する。
【００６７】
制御部１０９は、携帯端末装置１００の各部の制御を行うものである。具体的には、制御部１０９は、入力部１０６に文書撮像モードを選択する旨の指示が入力された場合、解像度変換の倍率の入力を促す画面を表示部１０５に表示させる。そして、制御部１０９は、入力部１０６に入力された倍率（例えば、２倍、４倍）に応じて、撮像部１０１が連続撮像する回数、および、撮像画像判定部１０２で用いる処理実行条件の一部を決定する。なお、制御部１０９は、記憶部１０８に予め格納された、倍率と撮像回数および処理実行条件の一部とを対応付けた情報に基づいて決定する。
【００６８】
また、制御部１０９は、入力部１０６に文書撮像モードを選択する旨の指示が入力された場合、画像出力装置２００での出力処理の種類（印刷処理、ファイリング処理、メール送信処理など）の選択指示、ならびに、選択した出力処理を実行するための設定条件（印刷枚数などの印刷条件、ファイリング先のサーバのアドレス、メールの送信先アドレスなど）の入力を促す画面を表示部１０５に表示する。そして、制御部１０９は、入力部１０６から、出力処理の種類および出力処理の設定条件を示す出力処理情報を取得する。
【００６９】
制御部１０９は、撮像画像判定部１０２により処理実行条件を満たしていると判定された撮像画像データセットに、ファイルネームおよび出力処理情報を付け、記憶部１０８に格納しておく。このとき、制御部１０９は、撮像画像データセットに対して、画像出力装置２００に送信していないことを示すフラグ（以下、未出力フラグという）を付けておく。
【００７０】
また、制御部１０９は、入力部１０６へ送信指示が入力されると、記憶部１０８に格納されている撮像画像データセットの各々について、出力対象画像データセットを特定し、当該出力対象画像データセットを画像出力装置２００に送信する送信処理を通信部１０４に実行させる。このとき、通信部１０４は、出力対象画像データセットとともに、各撮像画像データセットに対応付けられた、ファイルネーム、出力処理情報、および幾何学補正情報と、記憶部１０８に格納されている機種情報およびユーザ情報とを合わせて画像出力装置２００に送信する。なお、制御部１０９は、指定領域画像データセットが撮像画像データセットに対応付けられている場合には、当該指定領域画像データセットを出力対象画像データセットとし、指定領域画像データセットが撮像画像データセットに対応付けられていない場合には、撮像画像データセットを出力対象画像データセットとする。なお、制御部１０９は、指定領域画像データセットを出力対象画像データセットとするとき、出力対象画像データセットに指定領域フラグを付けて送信させる。
【００７１】
（３）撮像画像判定部の処理について
次に、携帯端末装置１００の撮像画像判定部１０２における具体的な判定処理について説明する。
【００７２】
（３−１）傾きの判定
上述したように、用紙やポスター、表示画面のような矩形状の撮像対象物を撮像し、高い解像度の画像を得ることを希望する場合に、ユーザが文書撮像モードを選択する。そのため、撮像画像判定部１０２は、撮像対象物が矩形状であると仮定して、サブ撮像画像データにおいて、撮像対象物のエッジを検出することでサブ撮像画像データにおける撮像対象物の傾きを検出する。なお、サブ撮像画像データの中の矩形状の撮像対象物のエッジ上の画素を検出する手法としては従来知られている手法を用いることができる。また、背景の中のエッジを撮像対象物のエッジとして誤判定することを防止するために、所定長さ以上のエッジのみを撮像対象物のエッジとして検出してもよい。この場合、所定長さとは、例えば、サブ撮像画像データで示される画像の端の辺の長さの８０％程度の長さを設定すればよい。または、このようにして検出されたエッジの中から、撮像対象物のエッジのものをユーザに選択してもらってもよい。このような検出方法としては、例えば、特開２００６−２３７７５７に記載の技術を用いることができる。
【００７３】
そして、撮像画像判定部１０２は、検出された撮像対象物のエッジ上の２点を選択する。例えば、図３に示されるように、サブ撮像画像データの中心から左右それぞれ横方向にｗ／２だけ離れた２点１１・１２を選択する。次に、選択された２点１１・１２の各々と、撮像画像データの端辺との距離ｄ１，ｄ２を求め、撮像画像における撮像対象物の傾きを求めることができる。図３のような場合、傾き角度をθとすると、 ｔａｎθ＝（ｄ２−ｄ１）／ｗとなる。そこで、撮像画像判定部１０２は、（ｄ２−ｄ１）／ｗの値を算出し、この値に相当する角度θをあらかじめ作成済みのテーブル（図４参照）などから読み取る。
【００７４】
そして、撮像画像判定部１０２は、検出した角度θが所定範囲内（例えば、−３０°〜＋３０°）であるか否かを判定し、その判定結果を制御部１０９に出力する。ここで、角度θが所定範囲内であることが処理実行条件の一つとなる。
【００７５】
なお、上述したように、１回のシャッター押下による撮像部１０１の複数回の撮像により、複数のサブ撮像画像データが得られる。しかしながら、当該複数のサブ撮像画像データは、手ぶれ程度のズレが生じているにすぎない。そのため、撮像画像判定部１０２は、当該複数のサブ撮像画像データの中から任意に選択した一つのサブ撮像画像データ（例えば、１番目の撮像により得られたサブ撮像画像データ）に対して、傾きの判定を行えばよい。
【００７６】
（３−２）幾何学的歪みの判定
幾何学的歪みとは、上述したように、撮像対象物における文書画像が形成された平面の法線方向とは異なる斜め方向から撮像対象物を撮像した場合に、撮像画像の中で撮像対象物が矩形状から歪んだ形状を有することである。例えば、用紙の法線方向に対して用紙の左下方向から斜めに撮像した場合、図５に示されるように、撮像対象物は、歪んだ四角形となる。
【００７７】
本実施形態では、後述するように、画像出力装置２００がこのような幾何学的歪みを補正する機能を有している。ただし、幾何学的歪みの度合いが大きい場合、補正したとしても、判読性がそれほど向上しない。そこで、本実施形態では、撮像画像判定部１０２は、幾何学的歪みの度合いを示す特徴量を検出し、当該特徴量が所定範囲内であるか否かを判定する。
【００７８】
矩形状の撮像対象物と背景との境界線は、濃度の変化が激しい部分が線分状に連なる。すなわち、撮像画像における矩形状の撮像対象物と背景との境界線は、線分状に連なるエッジ画素の群で表される。そこで、撮像画像データの中から、線分状に連なるエッジ画素の群を検出することで、撮像対象物と背景との境界線の位置を推定することができる。つまり、撮像画像判定部１０２は、撮像画像データの中から、線分状に連なるエッジ画素の群を検出し（直線認識を行い）、検出したエッジ画素の群を、撮像対象物と背景との境界線と見なすことができる。
【００７９】
本実施形態では、必ずしも画角の中心付近に撮像対象物の各辺のエッジが存在するとは限らないので、ある一定間隔ですべての辺からのエッジを抽出し、各エッジを表す線分を求めて、さらにこれらの交点を算出して、撮像対象物の領域とすれば良い。
【００８０】
なお、上述したように、１回のシャッター押下による撮像部１０１の複数回の撮像により、複数のサブ撮像画像データが得られる。しかしながら、当該複数のサブ撮像画像データは、手ぶれ程度のズレが生じているにすぎない。そのため、撮像画像判定部１０２は、当該複数のサブ撮像画像データの中から任意に選択した一つのサブ撮像画像データに対して、以下のような幾何学的歪みの判定を行えばよい。
【００８１】
まず、撮像画像判定部１０２は、サブ撮像画像データについて、ラスター走査を行う。ここで、図５に示されるように、ラスター走査の順方向をＸ方向、Ｘ方向に垂直な方向をＹ方向とする。また、撮像画像において左上隅を原点とする。
【００８２】
１ライン分走査を行い、エッジが存在しなければ、撮像画像判定部１０２は、Ｙ方向に所定量だけずらした次のラインについて走査する。なお、ライン間の間隔は一定であればよく、１画素である必要はない。
【００８３】
そして、撮像画像判定部１０２は、ラスター走査において、最初にエッジを検出したラインをＬ１（１ライン目）とし、図６に示すように、順方向で最初のエッジと判定された点の座標を第１群に格納し、同じライン上で２つ目のエッジと判定された点の座標を第２群に分類する。引き続き次のラインの走査を行い、エッジ検知する。そして、それぞれのラインＬｉについて、順方向で１番目に撮像対象物のエッジと判定された点と、２番目に撮像対象物のエッジと判定された点とのＸ座標値の差分（Ｘ座標の距離ｄｉ）を求め下記のように判定を行う。
【００８４】
なお、ラインＬｉにおける最初のエッジのＸ座標をＸｉ１（第１群に分類されているＸ座標）、２つ目のエッジのＸ座標をＸｉ２（第２群に分類されているＸ座標）とする。検出方法は以下のようである。
【００８５】
（ａ）１ライン（Ｌ１）目の座標Ｘ１１およびＸ１２については変更しない。
【００８６】
（ｂ）２ライン目以降のｉライン目については、座標間の距離ｄｉ１（＝Ｘｉ１−Ｘ（ｉ−１）１）およびｄｉ２(同様)を算出する。以下、ｄｉ１に関して述べるため添え字の１を省略するが、ｄｉ２も同様である。
【００８７】
（ｃ）３ライン目以降のｉライン目は、ｄｄｉ＝abs｛（ｄｉ）−ｄｉ−１｝を算出する。ｄｄｉ≦th１(≒０に近い小さな数値)であれば、座標Ｘiは同じ群に分類する。そうでない場合（ｄｄｉ＞th１）は、別の群（第３群または第４群）に分類する。
【００８８】
（ｄ）初期処理としてｉ=４のときのみ、Ｘ２の群を確定させるための処理を行う。以下のようにする。
【００８９】
i)ｄｄ３≦th１ かつ ｄｄ４≦th１ → Ｘ２：同群
ii)ｄｄ３＞th１ かつ ｄｄ４≦th１ → Ｘ２：別群
iii)ｄｄ３≦th１ かつ ｄｄ４＞th１ → Ｘ２：同群
iv)ｄｄ３＞th１ かつ ｄｄ４＞th１ → Ｘ２：同群
一度、別群（第３群または第４群）に遷移した場合は、増減の確認はする必要はない。
【００９０】
このような処理を画像全体に行って、各群に属するエッジ点を抽出する。そして、群ごとに、当該群に属するエッジ点の座標を最小２乗法などで直線近似し、当該群に属するエッジ点に近似した直線を求める。ここで、撮像画像判定部１０２は、各群について求めた近似直線と当該群に含まれるエッジ画素との距離の二乗和の平均が所定閾値以下である場合に、エッジ画素が線分状に配列しているものと判断し、以下の処理を続行することができる。これにより、撮像画像判定部１０２は、撮像対象物と背景との境界線として推定される、線分状に連なるエッジ画素の群を検出することができる。なお、撮像画像判定部１０２は、各群について求めた近似直線と当該群に含まれるエッジ画素との距離の二乗和の平均が所定閾値より大きい場合、エッジ画素が線分状に配列していない可能性が高いと判断し、検出されたエッジの中から、撮像対象物のエッジのものをユーザに選択してもらってもよい。
【００９１】
図７は、上記のような処理によって、ラスター走査によってエッジ点を抽出し、４つの群に分類したときの図である。図において、丸印が第１群に属するエッジ点、四角印が第２群に属するエッジ点、三角印が第３群に属するエッジ点、星印が第４群に属するエッジ点を示し、最小２乗法により求められた、各群に属するエッジ点の近似直線を点線で示す。
【００９２】
そして、４つの群について求めた直線の交点（図中、交点１〜４としている）を求め、４つの直線で囲まれた領域を撮像対象物の領域として特定することができる。
【００９３】
さらに、上記の分類処理を９０度回転させた画像に対して行っても良い。こうすることで、理想的に画像内の水平方向・垂直方向に平行に配置されたような原稿のエッジも抽出することが可能となる。すなわち、ラスター走査することで、回転前の画像では、垂直方向のエッジが検出できる。一方、回転後の画像では、回転前に水平方向であったエッジ（回転後には水平方向であるエッジ）を検出することができる。これにより、垂直方向・水平方向に平行なエッジも抽出することができる。回転前で十分な情報量（各群で例えば３点以上の交点）があれば、回転前の情報のみを用いればよいし、いずれかの群の交点が１点未満の場合、当然直線の式は求められないため、回転後の交点を用いればよい。
【００９４】
あるいは、求まった交点座標のみを再度座標変換して元に戻し、それぞれの群の分布する領域から、対応する群を求めて、交点情報を統合し、直線の式を求めても良い。すなわち、回転前の画像から求められた交点座標と、回転後の画像から求められた交点を逆回転して得られた交点座標とから、同一の群に属する好転座標を統合して直線の方程式を求めればよい。
【００９５】
なお、エッジ点の抽出方法としては、少なくとも１以上の画素幅の小ウィンド内での画素値をそのまま比較（２以上の幅の場合は和・平均値を比較）していき、隣接する値の差分が一定以上の場合、エッジ点であると判定すればよい。なお、背景や撮像対象物内のテキストのエッジなどを誤って検出することを防止するために、所定長さ以上のエッジのみを撮像対象物のエッジとして検出してもよい。この場合、所定長さとは、例えば、サブ撮像画像データで示される画像の端の辺の長さの８０％程度の長さを設定すればよい。または、このようにして検出されたエッジの中から、撮像対象物のエッジのものをユーザに選択してもらってもよい。このような検出方法としては、例えば、特開２００６−２３７７５７に記載の技術を用いることができる。もしくは、それぞれの座標群の評価を行ったり、線分検知のための処理（ハフ変換など）を行ったりすることでも防止できる。さらに、縮小画像を用いた処理をプレ処理として行うことで、テキストや細かなテクスチャのエッジを誤って検出することを防止することができる。
【００９６】
そして、撮像画像判定部１０２は、以上のようにして４つの直線及びそれらの交点を求めると、当該４つの直線で形成される四角形の対辺の長さの比を計算する。当該長さの比は、上記交点の座標から容易に求まる。なお、対辺は２組あるので、撮像画像判定部１０２は、当該２組の各々について長さの比を求める。
【００９７】
ここで、対辺の長さの比は、矩形状の撮像対象物を正面から撮像した場合には撮像画像の中の撮像対象物も矩形状であるため、１となる。一方、斜め方向から撮像した場合には、撮像画像の中の撮像対象物の形状は歪んだ四角形となるため、１とは異なる値となる。そして、撮像方向と、撮像対象物の文書画像が形成された平面の法線方向とのなす角度が大きくなるほど、当該比の値と１との差が大きくなる。そのため、対辺の長さの比は、幾何学的歪みの度合いを示す特徴量の一つであるといえる。
【００９８】
その後、撮像画像判定部１０２は、求めた二つの比の両方が所定範囲内（例えば、０．５〜２）であるか否かを判定し、その判定結果を制御部１０９に出力する。ここで、所定範囲は、画像出力装置２００において補正可能な範囲として予め定められたものであり、記憶部１０８に格納されている。また、二つの比の両方が所定範囲内（例えば、０．５〜２）であることが処理実行条件の一つとなる。
【００９９】
なお、撮像画像判定部１０２は、幾何学的歪みの度合いを示す別の特徴量として、上記のようにして検出された４つの交点を含む２つの直線のなす角度などを用いてもよい。
【０１００】
また、幾何学的歪みの特徴量の求め方は、上記の説明の例に限定されるものではない。例えば、撮像画像判定部１０２は、特開２００６−２３７７５７に記載されている方法など従来知られている手法を用いて、撮像画像データの中から、線分状に連なるエッジ画素の群を検出する（直線認識を行う）。このとき、撮像画像判定部１０２は、所定長さ以上の線分状に連なるエッジ画素の群を検出してもよい。そして、撮像画像判定部１０２は、検出した４つの線分状のエッジ画素の群を辺とし、全ての内角が１８０°未満である四角形を抽出する。そして、この四角形の対辺の長さの比を幾何学的歪みの特徴量として算出してもよい。
【０１０１】
（３−３）複数枚の画像のズレ量の判定
上述したように、画像出力装置２００は、同一の撮像対象物の複数のサブ撮像画像データに基づいて、高解像度補正を実行する。当該高解像度補正を実行するためには、解像度変換の倍率に応じた所定数の画像データが、所定量だけずれている必要がある。そこで、本実施形態では、撮像画像判定部１０２は、撮像部１０１が撮像した複数のサブ撮像画像データの中に、画像出力装置２００で高解像度補正を実行するために必要な、所定量だけずれた所定数のサブ撮像画像データが含まれるか否かを判定する。
【０１０２】
なお、文字の判読性を上げるような高解像度補正のために必要なズレとは、対象とする画像データの一画素未満（小数点）のズレを指す。すなわち、小数点以下（１画素未満）の値、例えば、０．３〜０．７などのズレが重要である。整数部分のズレは高解像度補正には考慮されない。例えば、１．３画素、２．３画素などの１画素未満のズレを含むような場合、複数の画像に基づいた高解像度補正を実行することができるが、１画素、２画素などの１画素未満のズレを含まない場合、高解像度補正を実行することができない。
【０１０３】
例えば、変換倍率が２倍の場合、高解像度補正に必要な画像データの数は２であり、２つの画像データのずれ量としては画素単位で小数点以下０．３〜０．７であることが好ましい。そのため、記憶部１０８には、解像度変換の倍率「２倍」と、撮像回数「２」および処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」とを対応付けた情報が予め格納されており、制御部１０９は、当該情報に基づいて、撮像部１０１に対して２回連続して撮像させ、撮像画像判定部１０２に対して、処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」に従った判定を実行させるものとする。
【０１０４】
また、変換倍率が４倍である場合、高解像度補正に必要な画像データの数は４であり、その内の一つの画像データを基準画像データとしたとき、当該基準画像データと残りの３つの画像データとのずれ量がそれぞれ画素単位で小数点以下０．２〜０．３、０．４〜０．６、０．７〜０．８であることが好ましい。そのため、記憶部１０８は、解像度変換の倍率「４倍」と、撮像回数「４」および処理実行条件「必要画像データ数：４、ずれ量：０．２〜０．３、０．４〜０．６、０．７〜０．８」とを対応付けた情報を記憶している。
【０１０５】
なお、以下では、説明を簡略化するため、解像度変換の倍率として２倍が選択された場合について述べる。
【０１０６】
まず、撮像画像判定部１０２は、サブ撮像画像データの任意の一つを選択し、当該サブ撮像画像データ（以下、第１の撮像画像という）について、上記幾何学的歪みの判定の際に求めた撮像対象物の領域の中からズレ検出用部分領域を選択する。ここで、ズレ検出用部分領域は、第１の撮像画像と残りのサブ撮像画像データ（以下、第２の撮像画像という）との間のズレ量を求めるために用いるものであるため、当該ズレ検出用部分領域内で画素値の変化が大きいもの（明確なパターンが存在するもの）が好ましい。そこで、撮像画像判定部１０２は、以下のような方法によってズレ検出用部分領域を抽出する。
【０１０７】
撮像画像判定部１０２は、撮像対象物の領域の重心位置に存在する画素を特定し、当該画素を注目画素とする。そして、注目画素を含むｎ×ｎ画素の領域を選定する。選定した領域について、以下の選定要件を満たすか否か判断し、満たす場合には、当該領域をズレ検出用部分領域とする。一方、満たさない場合には、所定のオフセット量に基づいて領域を移動させ、移動後の領域について同じ判断を行う。このようにして、ズレ検出用部分領域を抽出する。
【０１０８】
ここで、選定要件としては、例えば、以下二つが挙げられる。
一つとしては、領域内の分散に準じた値を用いるものである。注目画素近傍のｎ×ｎ画素の領域に対して画素値をＰ（i）とすると部分領域の分散値Variance（x）は、下記式（１）で表される。この分散値Variance（x）の値が所定閾値以上あることを選定要件とする。また簡易化のために本式の分子のみを考えても良い。
【０１０９】
【数１】
【０１１０】
他の一つとしては、注目画素近傍のｎ×ｎ画素の領域に対して、１次微分フィルタのようなエッジ抽出フィルタを掛けて、２値化し、総和を見る。図８は１次微分フィルタ例を示し、この場合も、総和がある所定閾値以上（例えば、部分領域画素数の５％以上など）あることを選定要件とすればよい。
【０１１１】
次に、このようにして求められた、第１の撮像画像のズレ検出用部分画像Ａ（ｎ×ｎ）に対し、第２の撮像画像の中から、中心がほぼ同じ位置のズレ検出用部分画像Ｂ（ｍ×ｍ）（ｍ＞ｎ）として切り出す。この切り出し方法は、第１の撮像画像におけるズレ検出用部分画像Ａの中心画素の座標と、第２の撮像画像におけるズレ検出用部分画像Ｂの中心画素の座標とが一致するように、切り出す。
【０１１２】
その後、切り出されたズレ検出用部分画像Ｂ中においてズレ検出用部分画像Ａに最も適合する領域をサブピクセル精度で求める。その手法としては、ズレ検出用部分画像Ａをテンプレートとした正規化相関パターンマッチングが挙げられる。
【０１１３】
正規化相関パターマッチングの例として、既知であるところの正規化相関式を用いて相関を算出する。一般的にＮ画素からなる２つのパターンＩｎｐｕｔ（Ｉ）とＴａｒｇｅｔ（Ｔ）の相関式は、下記式（２）と表すことができる。ここで、α、β、γはそれぞれ下記のように表せる。
【０１１４】
【数２】
【０１１５】
【数３】
【０１１６】
例えば、ｎ＝５、ｍ＝7の場合、ズレ検出用部分画像Ｂ（ｍ×ｍ）のなかのズレ検出用部分画像Ａと同サイズの領域（ｎ×ｎ）ごとに上記相関式を演算すると、結果として３×３の相関値Ｍａｐが生成される。この相関値Ｍａｐを用いて、フィットする２次曲面を求める。２次曲面の求め方としては、例えば、Ｓ（ｘ，ｙ）＝ａ＊ｘ＊ｘ＋ｂ＊ｘ＊ｙ＋ｃ＊ｙ＊ｙ＋ｄ＊ｘ＋ｅ＊ｙ＋ｆとして、９点のうち相関値の高い６点を選び、連立方程式を解いて各係数を求める。この関数の極値（＝最大値）の座標値（ｘ、ｙの両方）の小数点以下の値が所定範囲（ここでは、０．３〜０．７）であれば、処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」を満たすものと判定する。
【０１１７】
なお、極値の求め方は、上記２次式を偏微分し、それぞれが０である点の座標を求めればよい。このとき、実際には各係数（ａ〜ｆ）を求める必要はないので、直接相関値（Ｓ１〜Ｓ６）を用いたほうが効率的である。求めるべき式（３）は以下のようになる。ここで、原点は着目するウィンド基準となる。
【０１１８】
【数４】
【０１１９】
なお、このようなサブピクセル精度の位置ズレ確認を少なくとも一か所にて行うが、数か所で行うことが望ましい。
【０１２０】
そして、撮像画像判定部１０２は、処理実行条件を満たすか否かの判定結果を制御部１０９に出力する。
【０１２１】
（４）ユーザへの通知に関して
撮像画像判定部１０２から判定結果を受けた制御部１０９は、その判定結果に応じて、再撮像を促すメッセージを表示部１０５に表示させる。
【０１２２】
例えば、撮像画像判定部１０２から傾き角度θが所定範囲内でない旨の判定結果を受けた場合、制御部１０９は、撮像対象物が傾かないようにして再度撮像することを促すメッセージを表示部１０５に表示させる。
【０１２３】
また、幾何学的歪みの度合いを示す特徴量（ここでは、撮像画像における撮像対象物の対辺の長さの比）が所定範囲内でない旨の判定結果を受けた場合、制御部１０９は、撮像対象物における文書画像が形成された平面の法線方向から再度撮像することを促すメッセージを表示部１０５に表示させる。
【０１２４】
さらに、所定量だけずれたサブ撮像画像データが所定数ない旨の判定結果を受けた場合、制御部１０９は、例えば「この画像は処理できない可能性があります。もう一度撮影し直し下さい。」などの、再度撮像を促すメッセージを表示部１０５に表示し、新たに画像を得るようにする。その後、新たに撮像した複数のサブ撮像画像データの組合せ、もしくは、前に撮像したサブ撮像画像データおよび再度撮像されたサブ撮像画像データの組合せに対して、撮像画像判定部１０２が再度判定処理を行う。
【０１２５】
そして、制御部１０９は、撮像画像判定部１０２により全ての処理実行条件を満たすと判定されたときに、当該処理実行条件を満たす所定数のサブ撮像画像データの組を撮像画像データセットとし記憶部１０８に格納する。
【０１２６】
（５）幾何学補正情報の生成について
上記（３−２）のように、撮像画像判定部１０２は、サブ撮像画像データで示される撮像画像の中から、線分状に連なるエッジ画素の群であるエッジ画素群を４つ検出し、当該４つのエッジ画素群を辺とする四角形の対辺の比を幾何学的歪みの度合いを示す特徴量として算出した。補正情報生成部１１０は、撮像画像判定部１０２が抽出した、４つの線分状に連なるエッジ画素群の位置を示す情報を幾何学補正情報として生成する。
【０１２７】
線分状に連なるエッジ画素群の位置を示す幾何学補正情報としては、例えば、当該エッジ画素群から求めら得た近似直線の位置を示す情報を用いてもよい。この場合、幾何学補正情報は、撮像画像データで示される撮像画像の中の特定点（例えば、中心点や左上の角）を原点とし、上下方向をｙ軸、ｙ軸に垂直な方向をｘ軸としたとき、このｘｙ平面上のエッジ画素群の近似直線を示す、ｘ座標およびｙ座標を変数とする関数を用いることができる。
【０１２８】
補正情報生成部１１０は、撮像画像判定部１０２により検出された４つのエッジ画素群の各々について、幾何学補正情報を生成し、撮像画像データセットと対応づけて記憶部１０８に格納する。
【０１２９】
なお、撮像画像データセットに含まれる複数のサブ撮像画像データの各々は、手ぶれ程度のずれのみが生じているだけであるので、１番目の撮像により得られたサブ撮像画像データについて幾何学補正情報を生成すればよい。
【０１３０】
（６）指定情報受付部の処理について
次に、指定情報受付部１１１の処理について説明する。
指定情報受付部１１１は、記憶部１０８に格納され、かつ、未出力フラグが付けられている撮像画像データセットを読み出し、当該撮像画像データセットの中の１番目に撮像されたサブ撮像画像データで示される撮像画像を表示部１０５に表示する。
【０１３１】
なお、未出力フラグが付けられている撮像画像データセットが複数格納されている場合には、撮像時刻の順に順次表示させる。もしくは、複数の撮像画像データセットの各々で示されるサムネイル画像の一覧を表示させてもよい。
【０１３２】
そして、指定情報受付部１１１は、撮像画像データセットごとに、画像全体を出力するのか、画像の中の一部の出力対象領域のみを出力するのかのどちらかの指示を受け付ける。画像の中の一部の出力対象領域のみを出力する指示を受け付けた撮像画像データセットについて、指定情報受付部１１１は、出力対象領域を決定するために、ユーザが指定する四角形の指定領域の位置を示す指定情報を受け付ける。なお、本実施形態では、指定情報受付部１１１は、四角形の指定領域の入力を受け付ける。上記したように、複数のサブ撮像画像データは、手ぶれ程度のズレが生じているにすぎないため、指定情報受付部１１１は、当該複数のサブ撮像画像データの中から任意に選択した一つのサブ撮像画像データ（例えば、１番目の撮像により得られたサブ撮像画像データ）に対して、ユーザが指定する四角形の指定領域の位置を示す指定情報を受け付ければよい。
【０１３３】
具体的には、指定情報受付部１１１は、撮像画像とともに、四角形の指定領域の頂点の位置を入力するようにユーザに促す通知を表示部１０５に表示する。そして、指定情報受付部１１１は、タッチパネルで構成された表示部１０５において、指または携帯端末装置１００に付属するペンにて押下された４つの指定点の座標を、四角形の指定領域の４頂点の位置を示す指定情報とする。
【０１３４】
４点の指定点の座標を指定する際、画面が押圧されると、押圧された箇所を拡大表示するようにしても良い。押圧された箇所を画面全体に表示するようにしても良く、画像全体は表示しておき、押圧された箇所を画面の４分の１程度に拡大して重ねて表示するようにしても良い。このとき、指定した位置を微調整できる調整ボタンを表示するようにしても良い。そして、例えば、「ＯＫ」ボタンを押す位置を確定し、画像の全体表示に戻るようにする。このようにすることで、後で修正等を行う手間を省くことができる。
【０１３５】
図９は、出力対象領域を決定するための４つの指定点が入力されたときの表示部１０５の画面例を示す図である。図９に示されるように、指定情報受付部１１１は、撮像画像データで示される撮像画像の全体を表示部１０５に表示する。なお、図９では、表示部１０５の画面全体に撮像画像の全体が表示されている例である。図９において、点Ｐ１〜Ｐ４がユーザによって指定された４つの指定点を示している。そして、指定情報受付部１１１は、４つの指定点Ｐ１〜Ｐ４の座標を指定情報とする。
【０１３６】
ここで、ユーザによって押圧されたポイントは、ある程度の大きさをもった領域になる場合がある。そこで、指定情報受付部１１１は、押圧された領域の中心点を指定点としてもよい。もしくは、指定情報受付部１１１は、押圧された４つの領域の中心点を頂点とする四角形の重心点を求め、押圧された４つの領域の各々について、当該領域に含まれ、かつ、上記重心点から最も離れた点を指定点としてもよい。もしくは、指定情報受付部１１１は、押圧された４つの領域の各々から一つずつ抽出した任意の４点を頂点とする四角形の面積が最も大きくなるときの四角形の頂点を指定点としてもよい。
【０１３７】
なお、上述したように、斜め方向から撮像することにより撮像画像に幾何学的歪みが生じる場合がある。そのため、ユーザは、出力対象領域として、矩形状ではなく、歪んだ四角形の領域を選択することを希望する場合がある。そこで、指定情報受付部１１１は、矩形状に限らず四角形の領域を指定領域として受付可能としている。
【０１３８】
（７）領域決定部の処理について
次に、領域決定部１１２の処理について具体的に説明する。上述したように、領域決定部１１２は、指定情報受付部１１１が受け付けた指定情報に基づいて、出力対象領域を決定する。この決定方法としては、以下の何れかの方法が考えられる。
【０１３９】
（方法Ａ）最も簡単な方法として、領域決定部１１２は、指定情報で示される位置の４つの指定点を頂点とする四角形の領域を出力対象領域と決定すればよい。すなわち、領域決定部１１２は、指定領域をそのまま出力対象領域として決定する。
【０１４０】
（方法Ｂ）また、領域決定部１１２は、指定情報で示される領域よりも僅かに広い領域を出力対象領域として決定してもよい。携帯端末装置１００は、携帯されることを考慮して、一般にコンパクトな形状に設計されていることが多い。そのため、携帯端末装置１００の表示部１０５も小さいことが多く、誤って所望する領域よりも小さい領域を指定領域として指定してしまうことが考えられる。
【０１４１】
そこで、領域決定部１１２は、図１０に示されるように、例えば、入力された４つの指定点Ｐ１〜Ｐ４を頂点とする四角形の指定領域よりも１０％広い領域を出力対象領域としてもよい。具体的には、領域決定部１１２は、入力された４つの指定点を頂点とする四角形の重心点を算出し、当該重心点を端点とし、当該重心点と入力された各指定点とを含む半直線を求める。そして、領域決定部１１２は、各半直線上において、重心点から、当該重心点と入力された指定点との距離の１．１倍だけ離れた点を出力対象領域の頂点として決定すればよい。これにより、ユーザが所望する領域の一部が欠落して出力されることを防止することができる。
【０１４２】
（方法Ｃ）ユーザが撮像画像の中から出力対象領域を決定するための指定領域を指定する場合、図９で示されるように撮像対象物中のグラフや表などの枠線で囲まれた領域を選択するケースが想定される。もしくは、撮像対象物全体を選択するケースが想定される。このようなケースでは、枠線や撮像対象物と背景との境界線で囲まれた領域を出力対象領域として決定することが好ましい。
【０１４３】
しかしながら、携帯端末装置１００は携帯されることを考慮して、比較的小さいサイズに設計されており、その表示部１０５の画面も小さいことが多い。そのため、出力対象領域として上記のような枠線や境界線で囲まれた領域を選択しようとしても、正確にその線上の画素を指定することが困難である。その結果、所望の出力対象領域からずれた領域を指定領域として指定せざるを得ないことが考えられる。本方法は、このようなケースであっても、指定領域から所望の出力対象領域を決定できる方法である。
【０１４４】
上述したように、このような枠線や境界線を構成する画素は、その周辺画素との間の画素濃度の差が相対的に大きいという特徴を有しており、エッジ画素として検出することができる。本処理例は、このエッジ画素の検出を利用するものである。なお、エッジ画素の検出方法としては公知の技術を用いればよい。
【０１４５】
また、本方法では、指定情報は、指定領域の４頂点として入力された４つの指定点の座標であり、この座標は、図５に示されるように、撮像画像における左上隅を原点とし、横方向のＸ軸の座標、および、Ｘ軸に垂直なＹ軸の座標で表されているものとする。
【０１４６】
領域決定部１１２は、指定情報で示される４つの座標で示される指定点を、図９に示されるように、左上の指定点Ｐ１、右上の指定点Ｐ２、左下の指定点Ｐ３、右下の指定店Ｐ４に分類する。具体的には、領域決定部１１２は、４つの指定点を、Ｘ座標値が小さい２つの指定点と大きい２つの指定点に分類する。次に、領域抽出部１１３は、Ｘ座標値が小さい２つの指定点のうち、Ｙ座標値が小さい方の指定点を左上の指定点Ｐ１とし、Ｙ座標値が大きい方の指定点を左下の指定点Ｐ３とする。また、領域決定部１１２は、Ｘ座標値が大きい２つの指定点のうち、Ｙ座標値が小さい方の指定点を右上の指定点Ｐ２とし、Ｙ座標値が大きい方の指定点を右下の指定点Ｐ４とする。
【０１４７】
次に、領域決定部１１２は、撮像画像データセットに含まれるサブ撮像画像データの中から、各指定点を中心とした数十画素（例えば、２０〜３０画素）×数十画素（例えば、２０〜３０画素）のブロックを特定する。次に、領域決定部１１２は、各ブロックにおいてエッジ画素を検出する。そして、領域抽出部１１３は、各ブロックにおいて、隣接するエッジ画素を連結させ、連結された複数のエッジ画素の形状を、参照形状を参照することにより判定する。
【０１４８】
ここで、参照形状は、図２１に示されるように、指定点Ｐ１〜Ｐ４に応じて予め定められている。具体的には、指定点Ｐ１に対しては、矩形状の枠線の左上の角部付近のエッジ形状であり、指定点Ｐ２に対しては、矩形状の枠線の右上の角部付近のエッジ形状であり、指定点Ｐ３に対しては、矩形状の枠線の左下の角部付近のエッジ形状であり、指定点Ｐ４に対しては、矩形状の枠線の右下の角部付近のエッジ形状である。
【０１４９】
領域決定部１１２は、例えば、指定点Ｐ１において、エッジ画素を連結させたときの端点の座標位置（２つの端点と連結部）より、左上角部のエッジ形状であると判定されるとき、指定情報で示される座標の指定点ではなく、抽出したエッジ画素のうちの角部を構成する画素の点を特定点として選択する特定点選択処理を実行する。左上角部のエッジ形状ではないと判定される場合、指定情報で示される座標の指定点を採用する。上記エッジ形状は、図９のように、幾何学補正がなされていない、撮像された状態の撮像画像データより求められるので、エッジ部の角度は、鋭角や鈍角に成りうる。そこで、エッジ形状の判定は、角部が存在することと線状パターンの方向より判断すれば良い。また、角部は、２つの線状パターンが連結している必要はなく、数画素程度画素が欠けていても、本来は連結していると判断して、エッジ形状の判定を行うようにしても良い。許容画素数については、種々の画像サンプルを基に、適切な値を設定すれば良い。なお、領域決定部１１２は、指定点ごとに当該特定点選択処理を実行してもよい。もしくは、領域決定部１１２は、全ての指定点において各指定点に対応するエッジ形状であると判定された場合に、４つの指定点の代わりに、各ブロックから抽出したエッジ画素のうちの角部を構成する４つの画素の点を特定点として選択してもよい。
【０１５０】
そして、領域決定部１１２は、各指定点に基づいて選択した４つの特定点を頂点とする四角形の領域を出力対象領域として決定する。
【０１５１】
これにより、枠線や境界線で囲まれた領域を選択することを希望しているが、携帯端末装置１００の表示部１０５の画面上において、当該枠線または境界線の角部から少しずれた位置の点を指定してしまったとしても、枠線または境界線の角部を構成する画素を出力対象領域の頂点として選択することができる。その結果、ユーザは、指定点を正確に入力できなくても、ある程度近い点を指定することで、希望している出力対象領域の画像を得ることができる。
【０１５２】
（８）出力対象画像データの画像出力装置への転送について
ユーザは、携帯端末装置１００を持って画像出力装置２００の近くにきて、携帯端末装置１００を操作し、赤外線通信のような近距離無線通信方式を用いて出力対象画像データを画像出力装置２００に送信させる。具体的には、ユーザは、携帯端末装置１００の入力部１０６に、出力対象画像データの送信指示を入力する。
【０１５３】
出力対象画像データの送信指示が入力されると、制御部１０９は、記憶部１０８に格納されており、かつ、未出力フラグが付けられている撮像画像データセットの各々について、出力対象画像データを特定する。そして、制御部１０９は、出力対象画像データを画像出力装置２００に送信する送信処理を、通信部１０４に実行させる。なお、通信部１０４は、出力対象画像データと、撮像画像データセットに対応付けられているファイルネーム、出力処理情報および幾何学補正情報、ならびに、記憶部１０８に格納されている機種情報およびユーザ情報とを合わせて送信する。
【０１５４】
なお、制御部１０９は、撮像画像データセットに対応付けられた指定領域画像データセットが記憶部１０８に格納されている場合には、当該指定領域画像データセットを出力対象画像データとし、撮像画像データセットに対応付けられた指定領域画像データセットが記憶部１０８に格納されていない場合には、当該撮像画像データセットを出力対象画像データとする。これにより、送信データの容量を必要最小限にすることができる。
【０１５５】
そして、制御部１０９は、出力対象画像データとして指定領域画像データセットを送信する場合、出力対象画像データが撮像画像全体ではなく指定領域のみであることを示す指定領域フラグを付けて送信する。
【０１５６】
なお、制御部１０９は、出力対象画像データの送信指示が入力されたとき、記憶部１０８に格納されている撮像画像データセットの一覧を表示部１０５に表示し、送信すべきデータセットの選択入力を促してもよい。そして、制御部１０９は、ユーザによって選択された撮像画像データセットについて、出力対象画像データを送信させてもよい。
【０１５７】
制御部１０９は、出力対象画像データを送信すると、当該出力対象画像データに対応する撮像画像データセットに対して、未出力フラグを削除して、出力済みであることを示す出力済フラグを付ける。
【０１５８】
（９）画像出力装置の構成
次に、本実施形態に係る画像出力装置２００の構成について説明する。本実施形態において、画像出力装置２００は、スキャナ、プリンタ、複写機等の機能を備えた複合機である。
【０１５９】
図１１は、画像出力装置２００の構成を示すブロック図である。画像出力装置２００は、画像読取部２０１、画像処理部（補正済データ生成部）２０２、認証部２０３、画像形成部（出力部）２０４、表示部２０５、入力部２０６、第１通信部（受信部）２０７、第２通信部（出力部）２０８、記録媒体アクセス部２０９、記憶部２１０、および制御部（出力部）２１２を備えている。
【０１６０】
画像読取部２０１は、原稿を読み取るものであり、ＣＣＤ（Charge Coupled Device）を備えたスキャナ部を有し、原稿から反射してきた光を、ＲＧＢに色分解された電気信号（アナログの画像信号）に変換し、この電気信号を出力するものである。
【０１６１】
画像処理部２０２は、画像データに対して、所定の画像処理を行うものである。本実施形態では、画像処理部２０２は、携帯端末装置１００から受信した出力対象画像データに対して所定の画像処理を行い、補正済画像データを生成する。画像処理部２０２における画像処理の詳細については後述する。
【０１６２】
認証部２０３は、携帯端末装置１００から受信した出力対象画像データの出力処理を行う際に、ユーザ認証を行うものである。具体的には、認証部２０３は、携帯端末装置１００から受信したユーザ情報と、入力部２０６に入力されたユーザ情報（ユーザＩＤおよびパスワード）とを照合してユーザ認証を行う。認証部２０３は、認証結果を制御部２１２に送る。
【０１６３】
画像形成部２０４は、例えば電子写真方式やインクジェット方式を用いて、紙などの記録用紙上に画像を形成するものである。すなわち、画像形成部２０４は、出力処理の一つとして、補正済画像データで示される画像を記録用紙やＯＨＰ用紙などの記録紙に印刷する印刷処理を実行するものである。
【０１６４】
表示部２０５は、例えば液晶ディスプレイ等より構成される。また、入力部２０６は、例えば液晶ディスプレイのタッチパネルやボタンを押すことなどによりデータの入力を行うためのものである。
【０１６５】
第１通信部２０７は、ＵＳＢ１．１またはＵＳＢ２．０の規格に基づく、シリアル転送やパラレル転送、無線データ通信機能を有するものである。第１通信部２０７は、携帯端末装置１００から、ファイルネーム、携帯端末装置１００の機種情報、ユーザ情報および出力処理情報が付加された出力対象画像データを受信する。
【０１６６】
第２通信部２０８は、（ａ）無線ＬＡＮの規格である、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂおよびＩＥＥＥ８０２．１１ｇのいずれかに基づく無線技術を利用したデータ通信、（ｂ）イーサネット（登録商標）を利用した通信用インターフェースの機能を有し、ＬＡＮケーブルを介した、ネットワークとのデータ通信、（ｃ）無線通信規格である、ＩＥＥＥ８０２．１５．１（いわゆるＢｌｕｅｔｏｏｔｈ（登録商標））やＩｒＳｉｍｐｌｅなどの赤外線通信規格、Ｆｅｌｉｃａ（登録商標）などの通信方式のいずれかに基づく無線技術を利用したデータ通信、の機能を有するものである。
【０１６７】
第２通信部２０８は、出力処理として、画像処理部２０２により所定の画像処理が施された補正済画像データをサーバに格納するファイリング処理、もしくは、当該所定の画像処理が施された補正済画像データを添付したメールを送信するメール送信処理を実行する。
【０１６８】
記録媒体アクセス部２０９は、プログラムが記録された記録媒体から、プログラムを読み出すものである。記憶部２１０は、上記各部が処理を実行するためのプログラムを記憶するためのものである。
【０１６９】
制御部２１２は、画像出力装置２００の各部の制御を行うものである。具体的には、制御部２１２は、第１通信部２０７が携帯端末装置１００から出力対象画像データ（撮像画像データセット、または、指定領域画像データセット）を受信すると、当該出力対象画像データを画像処理部２０２に出力し、画像処理を実行させる。また、制御部２１２は、出力対象画像データに付けられているユーザ情報を認証部２０３に出力し、認証部２０３に認証処理を実行させる。制御部２１２は、認証部２０３から認証成功の認証結果を受けると、出力対象画像データに付けられていた出力処理情報に従って処理を実行させる。すなわち、出力処理情報が印刷処理を示している場合、制御部２１２は、画像処理部２０２により生成される補正済画像データに基づいた印刷を画像形成部２０４に実行させる。また、出力処理情報がファイリング処理またはメール送信処理を示している場合、制御部２１２は、画像処理部２０２により生成される補正済画像データに基づいたファイリング処理またはメール送信処理を第２通信部２０８に実行させる。
【０１７０】
（１０）画像処理部における画像処理について
次に、画像処理部２０２が実行する画像処理の詳細について説明する。なお、画像処理部２０２は、画像読取部２０１が読み取った画像データに対しても画像処理を行うが、ここでは、携帯端末装置１００から受信した出力対象画像データに対する画像処理の内容について説明する。
【０１７１】
図１２は、画像処理部２０２の内部構成を示すブロック図である。図１２に示されるように、画像処理部２０２は、画質調整部２２１、幾何学補正部（写像生成部）２２２、レンズ歪み補正部２２３、高解像度補正部２２５および出力画像処理部２２４を備えている。以下、各部の具体的な処理内容を順に説明する。
【０１７２】
（１０−１）画質調整部
画質調整部２２１は、出力対象画像データセットに含まれるサブ画像データ（サブ撮像画像データ、または、サブ指定領域画像データ）のカラーバランス、コントラストの補正を行うものである。画質調整部２２１は、受信したサブ画像データの各々について、各色チャンネルの最大値・最小値を求め、これらを揃えるようなルックアップテーブルを作成し、各色チャンネルに適用する。具体的には、画質調整部２２１は、ルックアップテーブルとして、図１３に示すように、あるチャンネルの最大値がＭＸ、最小値がＭＮであり、データが８ｂｉｔのとき、ＭＮから（ＭＸ−ＭＮ）／２５５のステップで増加させていくようなテーブルを作成すればよい。そして、画質調整部２２１は、作成したテーブルに従って、各画素値を変換する。これにより、カラーバランスが補正される。
【０１７３】
また、画質調整部２２１は、コントラストの補正についても同様の方法で実行する。なお、カラーバランスを特に変える必要がなければ、各色チャンネルに適用するルックアップテーブルを同一のものとすればよい。
【０１７４】
なお、カラーバランス・コントラストの補正方法についてはその他の公知の技術を適用してもよい。
【０１７５】
（１０−２）レンズ歪み補正部
レンズ歪み補正部２２３は、携帯端末装置１００から受信した出力対象画像データが指定領域画像データセットではなく撮像画像データセットであるときに、レンズ歪みの補正を実行するものである。なお、出力対象画像データが指定領域画像データセットであるか撮像画像データセットであるかは、出力対象画像データに指定領域フラグが付いているか否かで判定することができる。
【０１７６】
レンズ歪み補正部２２３は、出力対象画像データが撮像画像データセットである場合、撮像画像判定部１０２の処理と同様にして、撮像画像における撮像対象物のエッジ上の点をラスター走査によって順次検出する。そして、レンズ歪み補正部２２３は、検出されたエッジ上の点を曲線近似し、その曲線の式からレンズひずみ補正を行う。なお、出力対象画像データが撮像画像全体である撮像画像データセットであるか否かの判定は、出力対象画像データに上記の領域指定情報が付加されているか否かに応じて行われる。具体的には、出力対象画像データに領域指定情報が付加されている場合には、出力対象画像データが指定領域画像データセットであると判定し、出力対象画像データに領域指定情報が付加されていない場合には、出力対象画像データが撮像画像データセットであると判定すればよい。
【０１７７】
具体的には、レンズ歪み補正部２２３は、検出した撮像対象物のエッジ点を検出し、撮像画像判定部１０２と同様に、各エッジ点を撮像対象物の４辺に対応する４つの群に分類する。そして、図１４の実線で示されるように、各群に属するエッジ点に対して２次曲線近似を行う。このようにして４つの群に対して求めた２次曲線は、撮像対象物の４辺に対応する。また、レンズ歪み補正部２２３は、４つの２次曲線で囲まれる領域の角部に相当する、４つの２次曲線の交点を求める。次に、レンズ歪み補正部２２３は、各辺に対して求めた２次曲線に外接し、かつ、４つの交点を結んだ四角形（図１４において点線で示される）と相似している外接四角形（図１４において１点鎖線で示される）を求める。そして、レンズ歪み補正部２２３は、このようにして求めた外接四角形が補正後の対象物のエッジ画素の位置となるように、撮像画像における撮像対象物の領域内の画素位置を変換する。この変換は、基準点（例えば撮像対象物の領域の重心点）からのベクトルを基に計算すればよい。これにより、携帯端末装置１００の撮像部１０１によるレンズ歪みを補正することができる。
【０１７８】
レンズ歪みの補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。
【０１７９】
（１０−３）幾何学補正部
幾何学補正部２２２は、ポスターや原稿用紙のような矩形状の撮像対象物に対して、文書画像が形成された平面の法線方向とは異なる方向から撮像することによる撮像対象物の歪み（つまり、文書画像が形成された矩形状の平面の歪み）を補正するとともに、画像データにおける撮像対象物の傾きを補正するものである。
【０１８０】
具体的には、幾何学補正部２２２は、携帯端末装置１００から受信した幾何学補正情報に基づいて、幾何学的歪みおよび傾きの補正を以下のようにして実行する。
【０１８１】
まず、幾何学補正部２２２は、幾何学補正情報で示される位置の直線（線分状のエッジ画素群の近似直線）で囲まれる四角形の領域（補正前領域）を特定する。次に、幾何学補正部２２２は、図１５のように、特定した四角形の補正前領域（図１５において一点鎖線で示される）を、上下の２辺が水平方向に略平行であり、所定のアスペクト比および大きさを有する、矩形状の標準領域（例えば、ビジネス文書出用いられているＡ判Ｂ判なら７：１０であるなど。図１５において実線で示される）に変換するための写像を求める。なお、標準領域の上下の２辺は水平方向と完全に平行でなくても良く、水平方向に対して僅かな所定範囲内の角度を有していても良い。ここで、写像とは、補正前領域の各画素の座標（ｘ１、ｙ１）から標準領域の対応する画素の座標（ｘ２、ｙ２）への写像変換（座標変換処理）するための規則ｆｘ、ｆｙのことであり、ｘ２＝ｆｘ（ｘ１、ｙ１）、ｙ２＝ｆｙ（ｘ１、ｙ１）で表される。当該写像変換としては公知の技術を用いることができる。なお、画像処理部２０２は、予め記憶部２１０に記憶されているアスペクト比に合うように変換してもよいし、入力部２０６に入力されたアスペクト比に合うように変換してもよい。また、標準領域の大きさとしては、入力部２０６に入力された大きさが設定されてもよいし、補正前領域と同じ面積となるような大きさが設定されてもよい。
【０１８２】
次に、幾何学補正部２２２は、求めた写像に従って、携帯端末装置１００から受信した出力対象画像データに含まれるサブ画像データ（サブ撮像画像データ、または、サブ指定領域画像データ）に対して座標変換を行う。これにより、幾何学的歪みおよび傾きの補正（以下、幾何学補正という場合がある）することができる。
【０１８３】
幾何学補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。
【０１８４】
（１０−４）高解像度補正部
高解像度補正部２２５は、携帯端末装置１００から受信した出力対象画像データに対する高解像度補正を行うものである。本実施形態では、高解像度補正部２２５は、携帯端末装置１００から受信した出力対象画像データに含まれる複数のサブ画像データに基づいて高解像度補正を行う。
【０１８５】
複数の画像データからの高解像度画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008）にいくつかの方法が紹介されている。一般的には、高解像度補正は、複数の画像の位置合わせ処理と再構成処理により成立する。本実施形態では、位置合わせ処理の例として、上記（３−３）記載の正規化相関パターマッチングの方法を適用する。すなわち、上記Ｓ（ｘ，ｙ）が極大値を示すズレ量だけずらすことにより、複数の画像の位置合せを行うことができる。
【０１８６】
次に、高解像度補正部２２５は、再構成処理を行う。すなわち、高解像度補正部２２５は、解像度変換後の倍率に応じた画素数を有する再構成画像データを作成する。ただし、画像サイズは、撮像画像のサイズと同一とする。そして、高解像度補正部２２５は、再構成画像データの各画素の画素値を以下のようにして決定する。すなわち、高解像度補正部２２５は、再構成画像データにおける各画素（再構成画素）について、当該再構成画素の近傍となる撮像画像の画素（撮像画素）を複数の撮像画像の中から決定し、一般的な補間方法（線形補間やバイキュービック補間など）で補間を行う。
【０１８７】
具体的には、図１６に示されるように、着目する再構成画素近傍の撮像画素、例えば撮像画素の格子を結ぶ線（図の点線）が最も近距離である２点を横方向・縦方向のそれぞれで選択する。ここでは、横方向での最も近距離である２点は、１枚目の撮像画像の撮像画素１−２（画素値：Ｖｉ１−２：以下同様）および撮像画素１−４であり、縦方向での最も近距離である２点は、２枚目の撮像画像の撮像画素２−１および撮像画素２−２であったとする。なお、再構成画素近傍の撮像画素を選択する際には、上記幾何学的歪みの補正・レンズ歪みの補正が実行された複数のサブ撮像画像データの中から選択するものとする。これにより、幾何学的歪み・レンズ歪みの補正がされた状態で高解像度補正を行うことができる。
【０１８８】
なお、補正後の座標の値を計算する際に、基となる複数の撮像画像の該当する幾何学補正・レンズ歪みの補正を考慮した座標の値を基に求めてもよい。つまり、幾何学補正・レンズ歪みの補正値のみ算出し、再構成処理を行った後に、当該補正値により座標変換を行ってよい。
【０１８９】
そして、横方向および縦方向のそれぞれについて選択した２点を結ぶ線分に垂直であり、かつ着目する再構成画素の点を含む直線と当該線分との交点を求める。図１６に示されるように、当該交点が２つの線分のぞれぞれについてｔ：１−ｔ、ｕ：１−ｕで内分している場合、画像処理部２０２は、着目する再構成画素の画素値Ｖｓを下記式４に基づいて求めればよい。この場合は、線形補間を行ったことになる。そして、全ての再構成画素について同様にして画素値を求め、高解像度化された再構成画像データを高解像度画像データとして生成することができる。
【０１９０】
【数５】
【０１９１】
なお、補間方法として別の手法を用いても良い。また、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008）に紹介されている別の方法を用いてもよい。例えば、ＭＡＰ（Maximum A Posteriori）法のような、先ず推定に基づく事後確率に対応する評価関数を最小化することで求める手法を用いても良い。
【０１９２】
（１０−５）出力画像処理部
出力画像処理部２２４は、出力対象画像データを出力する際の領域分離処理、色補正、黒生成下色除去処理、空間フィルタ処理、中間調処理を実行するものである。なお、これらの処理としては公知の技術を用いることができる。
【０１９３】
（１１）撮像画像処理システムの画像処理の流れ
以下、本実施形態に係る撮像画像処理システムの処理の流れについて説明する。なお、図１７は携帯端末装置１００の処理フローを示し、図１８は画像出力装置２００の処理フローを示している。
【０１９４】
まず、図１７を参照しながら携帯端末装置１００の処理フローについて説明する。携帯端末装置１００では、文書撮像モードでの撮像指示の入力の有無を確認する（Ｓ１０）。ユーザは、文書画像を含む用紙や表示画面など矩形状の撮像対象物を撮像し、撮像画像を画像出力装置２００により出力することを希望する場合、文書撮像モードを選択入力する。
【０１９５】
文書撮像モードの選択入力を受け付けた携帯端末装置１００では、制御部１０９は、高解像度補正を行う際の解像度変換の倍率の入力を促す画面を表示部１０５に表示し、当該倍率を入力部１０６から取得する。制御部１０９は、取得した倍率に応じて、撮像部１０１における撮像回数、撮像画像判定部１０２における処理実行条件の一部を決定する。また、制御部１０９は、出力処理の種類および出力処理のための設定条件の入力を促す画面を表示部１０５に表示し、入力部１０６から出力処理情報を取得する。なお、制御部１０９は、デフォルトの解像度変換の倍率を記憶しておき、入力部１０６に倍率の入力指示が無い場合、当該デフォルトの倍率に設定してもよい。
【０１９６】
そして、撮像部１０１は、シャッターが押下されたことを検知すると、制御部１０９にて設定された撮像回数だけ連続して撮像する（Ｓ１１）。
【０１９７】
次に、画像処理部１０３は、Ｓ１１の撮像により得られたサブ撮像画像データに対して少なくともＡ／Ｄ変換処理を行う。その後、Ａ／Ｄ変換処理された撮像画像データセットに対して、撮像画像判定部１０２は、処理実行条件を満たすか否かを判定する（Ｓ１２）。なお、詳しい判定方法、判定項目などは、例えば上記（３−１）〜（３−３）で説明したとおりである。
【０１９８】
撮像画像判定部１０２が処理実行条件を満たさないと判定した場合（Ｓ１２でＮＯ）、制御部１０９は、表示部１０５に再撮像の旨を示すメッセージなどを表示して、ユーザに通知する（Ｓ１３）。再撮像した画像であっても、上述した判定項目などを満足しない場合、携帯端末装置１００はステップＳ１１〜Ｓ１３を繰り返して行う。
【０１９９】
一方、撮像画像判定部１０２が処理実行条件を満たすと判定した場合（Ｓ１２でＹＥＳ）、幾何学補正情報は、上記（５）で説明したように、撮像画像から検出された、４つの線分状に連なるエッジ画素群の各々の位置を示す幾何学補正情報を生成する（Ｓ１４）。ここでは、幾何学補正情報は、撮像画像上の左上隅を原点、横軸をＸ軸、縦軸をＹ軸としたときの、線分状に連なるエッジ画素群の近似直線を示す関数で示される。
【０２００】
次に、制御部１０９は、処理実行条件を満たす撮像画像データセットとＳ１４で生成された幾何学補正情報および未出力フラグとを対応付けて記憶部１０８に格納する（Ｓ１５）。
【０２０１】
その後、制御部１０９は、画像出力装置２００への出力対象画像データの送信指示が入力部１０６に入力されたか否かを判断する（Ｓ１６）。なお、本実施形態では、携帯端末装置１００と画像出力装置２００とは近距離無線通信の方式を用いて通信を行う。そのため、ユーザは、携帯端末装置１００を持って画像出力装置２００の近傍まで来た後に、送信指示を入力する。
【０２０２】
送信指示が入力されていない場合（Ｓ１６でＮＯ）、Ｓ１０の処理に戻る。一方、送信指示が入力された場合（Ｓ１６でＹＥＳ）、指定情報受付部１１１は、記憶部１０８に格納されており、かつ、未出力フラグが対応付けられた撮像画像データセットを読み出し、当該データセットの中で１番目に撮像されたサブ撮像画像データで示される画像を表示部１０５に表示する（Ｓ１７）。なお、未出力フラグが対応付けられた撮像画像データセットが複数存在する場合、撮像時刻の最も古い（もしくは最も新しい）データセットを選択して、対応する画像を表示する。
【０２０３】
次に、指定情報受付部１１１は、画像の中の一部の領域のみを出力する指示が入力されたか否かを判定する（Ｓ１８）。画像の中の一部の領域のみを出力する指示が入力された場合（Ｓ１８でＹＥＳ）、指定情報受付部１１１は、四角形の出力対象領域を決定するための４つの指定点の入力を促す文字を表示部１０５に表示する。次に、領域決定部１１２は、上記（７）で説明したように、入力された４つの指定点に基づいて四角形の出力対象領域を決定する（図９または図１０参照）。そして、領域抽出部１１３は、撮像画像データセットに含まれる全てのサブ撮像画像データの各々から、決定した位置の出力対象領域の画像データ（サブ指定領域画像データ）を切り出す。領域抽出部１１３は、切り出した複数のサブ指定領域画像データの組である指定領域画像データセットを、Ｓ１７で表示している撮像画像を示す撮像画像データセットと対応付けて記憶部１０８に格納する（Ｓ１９）。
【０２０４】
一方、画像の中の一部の領域のみを出力しない指示が入力された場合（Ｓ１８でＮＯ）、指定情報受付部１１１は、撮像画像全体を出力するものとし、何も処理を行わない。
【０２０５】
次に、制御部１０９は、画像出力装置２００に送信する画像データ（出力対象画像データ）にファイルネームを付ける（Ｓ２０）。なお、制御部１０９は、例えば、撮像日時に従った連続番号など各撮像画像データについて異なるファイルネームを自動的に付けても良いし、入力部１０６に入力されたファイルネームを付けてもよい。なお、出力対象画像データとは、上述したように、指定領域画像データセットが対応付けられている撮像画像データセットについては、当該指定領域画像データセットであり、指定領域画像データセットが対応付けられていない撮像画像データセットについては、当該撮像画像データセットである。
【０２０６】
その後、制御部１０９の制御に応じて、通信部１０４は、出力対象画像データ、出力処理情報、幾何学補正情報、機種情報、ユーザ情報を一組として画像出力装置２００に送信する（Ｓ２１）。このとき、制御部１０９は、送信した出力対象画像データに対応する、記憶部１０８に格納されている撮像画像データセットに対して、未出力フラグを削除して、出力済みであることを示す出力済フラグを付ける。
【０２０７】
次に、制御部１０９は、全ての撮像画像の処理が終了したか否かを判断する（Ｓ２２）。ここでは、未出力フラグが付加されている撮像画像データセットが記憶部１０８に存在する場合に全ての撮像画像の処理が終了していないと判断し、存在しない場合に全ての撮像画像の処理が終了したと判断する。全ての撮像画像の処理が終了していない場合（Ｓ２２でＮＯ）、未出力フラグが付加されている撮像画像データセットについて、Ｓ１７〜Ｓ２１の処理を実行する。そして、全ての撮像画像の処理が終了している場合（Ｓ２２でＹＥＳ）、処理を終了する。
【０２０８】
次に、図１８を参照しながら画像出力装置２００の処理フローを説明する。画像出力装置２００の第１通信部２０７は、携帯端末装置１００から、出力対象画像データ、機種情報、ユーザ情報、出力処理情報および幾何学補正情報を受信する（Ｓ２０）。
【０２０９】
画像処理部２０２の画質調整部２２１は、受信した出力対象画像データに含まれるサブ画像データ（サブ撮像画像データ、または、サブ指定領域画像データ）の全てについて、例えば上記（１０−１）に説明したとおり、カラーバランス、コントラストの補正を行う（Ｓ２１）。続いて、出力対象画像データが撮像画像全体ではなく指定領域のみであることを示す指定領域フラグが出力対象画像データに付いていない場合、レンズ歪み補正部２２３は、受信した出力対象画像データに対して、上記（１０−２）に説明したようにレンズ歪みの補正を行う。
【０２１０】
さらに、幾何学補正部２２２は、携帯端末装置１００から受信した幾何学補正情報に基づいて、幾何学的歪みの補正および傾きの補正を行う（Ｓ３２）。具体的には、幾何学補正部２２２は、幾何学補正情報で示される４つの直線で囲まれる四角形の領域（補正前領域）を特定する。次に、幾何学補正部２２２は、特定した四角形の補正前領域を、上下の２辺が水平方向に略平行であり、所定のアスペクト比および大きさを有する、矩形状の標準領域に変換するための座標に関する写像を求める。そして、幾何学補正部２２２は、当該写像を用いて、携帯端末装置１００から受信した出力対象画像データに対して写像変換処理を行う。これにより、幾何学的歪みのない画像を出力することができる。
【０２１１】
図１９は、図９において切り出された指定領域画像データセットに対する幾何学補正を行ったときの、幾何学補正前の画像データで示される画像と、幾何学補正後の画像データで示される画像とを示す図である。図１９に示されるように、幾何学補正前の指定領域画像データセットで示される画像は、図９のようにして切り出したときの幾何学的歪みを有している。そして、幾何学補正部２２２がＳ３２で生成する歪み変換式は、当該幾何学的歪みをなくし、撮像対象物を正面から見たときの画像に変換するものである。そのため、図１９で示されるように、幾何学補正後の画像データで示される画像は、撮像対象物を正面から撮像したときのようになる。その結果、出力される画像の視認性がよくなる。
【０２１２】
次に、高解像度補正部２２５は、出力対象画像データに対して高解像度補正を行う。つまり、高解像度補正部２２５は、Ｓ３１およびＳ３２による各種補正が実行された、出力対象画像データに含まれる複数のサブ画像データ（サブ撮像画像データまたはサブ指定領域画像データ）を用いて高解像度補正を行う（Ｓ３３）。出力対象領域の指定を行った場合は、領域指定がなされた１枚のサブ画像データ、指定された領域の座標および他の領域指定がなされていない複数のサブ画像データを用いて高解像度補正が行われる。なお、高解像度補正の具体的な方法は（１０−４）で説明したとおりである。
【０２１３】
次に、出力画像処理部２２４は、高解像度補正部２２５における高解像度補正により得られた高解像度画像データに対して、領域分離処理、色補正、黒生成下色除去処理、空間フィルタ処理、中間調処理等の各種の画像処理を実行する。なお、出力画像処理部２２４は、出力処理情報で示される出力方法の種別に応じて、当該各種の画像処理の内容を適宜切り換える。そして、出力画像処理部２２４は、補正済みの画像データ（補正済画像データ）を記憶部２１０に格納する（Ｓ３４）。なお、このとき、出力画像処理部２２４は、補正済画像データの元となる出力対象画像データとともに受信したユーザ情報および出力処理情報と対応付けて当該補正済画像データを格納する。
【０２１４】
その後、制御部２１２は、出力対象画像データの出力指示が入力部２０６に入力されたか否かを判定する（Ｓ３５）。出力指示の入力がない場合（Ｓ２６でＮＯ）、出力指示が入力されるまで待機する。
【０２１５】
一方、出力指示がある場合（Ｓ３５でＹＥＳ）、認証部２０３は、ユーザ情報（例えばユーザＩＤおよびパスワード）の入力を促す画面を表示部２０５に表示させ、ユーザ情報を入力部２０６から取得する。そして、認証部２０３は、ユーザ認証を行う（Ｓ３６）。なお、認証部２０３は、画像出力装置２００に設けられた非接触ＩＣカードのリーダ／ライターを用いて、ユーザが所持する非接触ＩＣカードからユーザ情報を取得してもよい。
【０２１６】
ユーザ認証を行う際、認証部２０３は、入力されたユーザ情報と携帯端末装置１００から受信したユーザ情報とを対照して、一致するユーザ情報が存在するか否か判定する（Ｓ３７）。そして、入力されたユーザ情報と一致するユーザ情報を携帯端末装置１００から受信している場合（Ｓ３７でＹＥＳ）、制御部２１２は、Ｓ３４において記憶部２１０に格納され、当該ユーザ情報に対応する補正済画像データの出力処理を、携帯端末装置１００から受信した出力処理情報に従って実行させる（Ｓ３８）。
【０２１７】
例えば、出力処理情報が印刷処理を示している場合、制御部２１２は、補正済画像データで示される画像の印刷を画像形成部２０４に実行させる。また、出力処理情報がファイリング処理またはメール送信処理を示している場合、制御部２１２は、補正済画像データに基づいたファイリング処理またはメール送信処理を第２通信部２０８に実行させる。その後、処理を終了する。
【０２１８】
一方、入力されたユーザ情報が、携帯端末装置１００から受信したユーザ情報と一致していない場合（Ｓ３７でＮＯ）、認証部２０３は、認証回数が所定回数以上であるか判定する（Ｓ３９）。そして、認証回数が所定回数以上でない場合（Ｓ３９でＮＯ）、Ｓ３６，Ｓ３７の処理を繰り返して行う。認証回数が所定回数以上である場合（Ｓ３９でＹＥＳ）、出力せずにフローを終了する。
【０２１９】
以上のように、本実施形態によれば、携帯端末装置１００で撮像した撮像画像のうち必要な領域だけを出力対象領域として指定することができる。そして、指定した出力対象領域の画像データまたは当該画像データで示される画像を画像出力装置２００から取得することができる。さらに、撮像対象物に対して斜め方向から撮像した場合であっても、正面から撮像したときの画像に写像変換された状態で画像が出力される。そのため、視認性のよい画像を得ることができる。さらに、画像出力装置２００において高解像度補正が実行されるため、文字等の判読性も向上させることができる。
【０２２０】
（１２）変形例
本発明の撮像画像処理システムは、上記の実施形態に限定されることがなく、様々な変更が可能である。以下、変形形態の具体例について説明する。
【０２２１】
（１２−１）出力対象領域の切り出し処理について（その１）
上記に説明では、図１７に示されるように、領域決定部１１２が（方法Ａ）〜（方法Ｃ）の何れかの１つの方法に従って出力対象領域を決定するものとした。しかしながら、携帯端末装置１００は、ユーザ指示に従って、領域決定部１１２により決定された出力対象領域の編集や選択などを行ってもよい。
【０２２２】
図２５は、本変形例に係る携帯端末装置１００の構成を示すブロック図である。本変形例に係る携帯端末装置１００は、図２に示される携帯端末装置１００と比較して、編集処理部１１４を備えている点で異なる。
【０２２３】
編集処理部１１４は、領域決定部１１２により決定された出力対象領域に対する編集処理や、領域決定部１１２による処理方法の選択処理などを行う。
【０２２４】
例えば、領域決定部１１２は、上述した（方法Ａ）〜（方法Ｃ）の何れかの方法で決定した出力対象領域を表示し、編集処理部１１４は、処理結果に対する良否の入力をユーザに促すようにしてもよい。このとき、領域決定部１１２は、出力対象領域のみを表示してもよく、出力対象領域以外を半透明にし、撮像画像全体で選択された領域が分かるようにしてもよい。そして、編集処理部１１４は、処理結果が否である旨の入力がされた場合、領域決定部１１２に対して再度出力対象領域の決定処理を実行させる。
【０２２５】
また、領域決定部１１２は、上記した（方法Ａ）〜（方法Ｃ）のうちの２つの方法、あるいは、３通りの方法で求めた複数の出力対象領域候補を表示部１０５に表示してもよい。複数の出力対象領域候補は、１枚ずつ表示してもよくサムネイル表示してもよい。そして、編集処理部１１４は、表示された複数の出力対象領域候補の中から一つを選択させるようにユーザに促し、選択された出力対象領域候補の出力対象領域として決定してもよい。そして、領域抽出部１１３は、選択された出力対象領域候補の方法を用いて全てのサブ撮像画像データより出力対象領域を切り出すようにする。
【０２２６】
もしくは、編集処理部１１４は、領域決定部により求められた出力対象領域候補に対して、ユーザ入力に従って編集を行い、編集後の出力対象領域候補を出力対象領域として決定してもよい。
【０２２７】
本変形例の具体的な処理方法の一つの流れについて、図２６に示すフローチャートを参照しながら説明する。図２６は、図１７におけるＳ１９に代わる処理の流れを示すフローチャートである。すなわち、本具体例では、図１７のＳ１０〜Ｓ１８の処理の後、図２６の処理を行い、さらに図１７のＳ２０〜Ｓ２２の処理を行うこととなる。
【０２２８】
図２６に示す具体例では、領域指定を行うと判断した場合（Ｓ１８でＹｅｓ）、領域決定部１１２は、上記した（方法Ａ）〜（方法Ｃ）の何れか１つの方法で求めた出力対象領域候補を表示部１０５に表示する（Ｓ２３）。このとき、まず（方法Ａ）〜（方法Ｃ）のうちの２つの方法、あるいは、３通りの方法で求めた複数の出力対象領域候補を表示部１０５に表示し、ユーザによる選択指示に従って、一つの出力対象領域候補を選択し表示してもよい。
【０２２９】
そして、編集処理部１１４は、表示された出力対象領域候補に問題があるか否か（つまり、編集を行うか否か）の入力をユーザに促す（Ｓ２４）。例えば、表示された出力対象領域候補が問題ない場合（編集を行わない場合）、「ＯＫ」ボタンを押し、表示された出力対象領域候補が問題があり、やり直しが必要と判断した場合（編集を行う場合）は、「ＮＯ」ボタンを押すようにユーザに促す。
【０２３０】
「ＯＫ」ボタンが押下された場合（Ｓ２４でＮｏ）、領域決定部１１２は、Ｓ２３で表示していた出力対象領域候補を出力対象領域として決定する（Ｓ２８）。
【０２３１】
一方、やり直しを行う指示が入力された場合（Ｓ２４でＹｅｓ）、編集処理部１１４は、表示された出力対象領域候補に対して、全てやり直しを行うのか、一部の箇所のみ編集を行うのかの選択入力をユーザに促す（Ｓ２５）。全てやり直す場合（Ｓ２５でＹｅｓ）、編集処理部１１４は、Ｓ２３で表示されていた出力対象領域候補を削除し、領域決定部１１２に対して再度Ｓ２３の処理を実行させ、出力対象領域候補を更新させる（Ｓ２６）。このとき、編集処理部１１４は、前回Ｓ２３で行った方法とは別の方法で出力対象領域候補を求めるように領域決定部１１２に指示してもよい。
【０２３２】
一方、一部の箇所についてやり直す場合（Ｓ２５でＮｏ）、編集処理部１１４は、Ｓ２３で表示されている出力対象領域候補に対応する４つの指定点を表示し、どの指定点をやり直すのかユーザに選択を促す。選択は、例えば、対象となる箇所を指やペンでタッチすればよい。選択された指定点については、例えば、上下、左右、斜め方向（右上、左上、右下、左下）の矢印（調整ボタン）を表示し、矢印を押圧することにより、点を移動させるようにし、「ＯＫ」ボタンを押すと位置が確定したことが入力される。複数の指定点のやり直しを行う場合、１箇所修正する毎に、修正後の指定点に基づいて求めた出力対象領域候補を表示してもよく、全ての箇所について修正後に表示するようにしてもよい。１箇所毎に表示を行う場合は、ユーザが問題ないと判断した段階で、他の箇所の修正を行うのを中止するようにしてもよい。一部の箇所のやり直しを行う場合は、上記したように拡大して行うようにしてもよい。このようにして、編集処理部１１４は、修正後の指定点に基づいて出力対象領域候補を求めることにより、出力対象領域候補を編集する（Ｓ２７）。
【０２３３】
そして、編集処理部１１４は、修正後の指定点に基づいて求めた出力対象領域候補について、再度、編集を行うか否かの入力をユーザに促す（Ｓ２４）。そして、編集を行わない指示が入力された場合（Ｓ２４でＮｏ）、編集処理部１１４は、最新の修正後の指定点に基づいて求めて出力対象領域候補を出力対象領域として決定する（Ｓ２８）。
【０２３４】
なお、編集処理部１１４は、Ｓ２６およびＳ２７において、削除または編集前の出力対象領域候補を一旦メモリに格納しておき、更新後または修正後の出力対象領域候補とともに表示部１０５に表示させ、ユーザが好む方のデータを選択するようにしてもよい。
【０２３５】
（１２−２）出力対象領域の切り出し処理について（その２）
上記の説明では、携帯端末装置１００が撮像画像データから出力対象領域を切り出し、当該出力対象領域のみの画像を示す指定領域画像データセットを画像出力装置２００に送信するものとした。しかしながら、出力対象領域の切り出し処理は画像出力装置２００で実行してもよい。
【０２３６】
すなわち、上記説明では、指定情報受付部１１１、領域決定部１１２および領域抽出部１１３（ならびに編集処理部１１４）の全てを携帯端末装置１００が備えるものとして説明したが、携帯端末装置１００が指定情報受付部１１１を備え、画像出力装置２００が領域決定部１１２および領域抽出部１１３（ならびに編集処理部１１４）を備える第１の変形形態でもよい。もしくは、携帯端末装置１００が指定情報受付部１１１および領域決定部１１２（ならびに編集処理部１１４）を備え、画像出力装置２００が領域抽出部１１３を備える第２の変形形態でもよい。
【０２３７】
この場合、携帯端末装置１００において指定領域画像データセットが生成されないため、携帯端末装置１００の制御部１０９は、撮像画像データセットを出力対象画像データとする。また、第１の変形形態の場合、携帯端末装置１００の通信部１０４は、撮像画像データセットとともに、指定情報受付部１１１が受け付けた指定情報を画像出力装置２００に送信する。そして、画像出力装置２００の領域決定部１１２は、携帯端末装置１００から受信した撮像画像データセットおよび指定情報に基づいて、上記（７）の方法Ａ〜Ｃの何れかに従って出力対象領域を決定すればよい。その後、画像出力装置２００の領域抽出部１１３は、撮像画像データセットから出力対象領域切り出す処理を実行すればよい。
【０２３８】
また、第２の変形形態の場合、携帯端末装置１００の通信部１０４は、撮像画像データセットとともに、領域決定部１１２が決定した出力対象領域の撮像画像上の位置を示す出力対象領域情報を画像出力装置２００に送信する。そして、画像出力装置２００の領域抽出部１１３は、撮像画像データセットから出力対象領域切り出す処理を実行すればよい。
【０２３９】
これにより、送信データ量が大きくなるが、携帯端末装置１００での処理の負荷を低減することができる。
【０２４０】
図２０は、上記の第２の変形形態における画像出力装置２００の画像処理部２０２ａの構成を示すブロック図である。図２０に示されるように、本変形例の画像処理部２０２ａは、上記の説明で記載した画像処理部２０２と比較して、領域抽出部１１３を備える点で相違する。領域抽出部１１３は、携帯端末装置１００から受信した出力対象領域情報に基づいて、撮像画像データセットから出力対象領域を切り出す処理を実行するものである。
【０２４１】
領域抽出部１１３は、携帯端末装置１００から受信した出力対象領域情報で示される出力対象領域を、当該出力対象領域情報が付加された撮像画像データセットに含まれる複数のサブ指定領域画像データから切り出す。
【０２４２】
なお、領域抽出部１１３は、図１８に示すＳ３２の処理の前に、サブ撮像画像データから出力対象領域の切り出し処理を行ってもよいし、図１８に示すＳ３２の処理の後に、サブ撮像画像データから出力対象領域の切り出し処理を行ってもよい。
【０２４３】
なお、領域抽出部１１３は、図１８に示すＳ３２の処理の後で、出力対象領域の切り出し処理を行う場合、領域抽出部１１３は、幾何学補正部２２２が生成した写像により、出力対象領域情報を変換する。そして、領域抽出部１１３は、変換後の出力対象領域を、Ｓ３２で幾何学補正が実行されたサブ撮像画像データから切り出せばよい。例えば、出力対象領域情報が矩形状の出力対象領域の４頂点の座標である場合、各座標を幾何学補正部２２２が生成した写像で座標変換する。そして、変換後の４つの座標を頂点とする領域を変換後の出力対象領域とし、幾何学補正が実行されたサブ撮像画像データから切り出せばよい。
【０２４４】
（１２−３）幾何学補正情報の生成する主体について
上記の説明では、携帯端末装置１００の補正情報生成部１１０が上記幾何学補正情報を生成するものとして記載した。しかしながら、上記（１２−１）のように、携帯端末装置１００から撮像画像データ全体を画像出力装置２００に送信し、画像出力装置２００にて出力対象領域の切り出し処理を行う場合、幾何学補正情報を生成する主体は、画像出力装置２００であってもよい。すなわち、画像出力装置２００の画像処理部２０２・２０２ａが補正情報生成部１１０を備えていてもよい。そして、当該補正情報生成部１１０は、上記撮像画像判定部１０２と同様に、携帯端末装置１００から受信した撮像画像データから、線分状に連なるエッジ画素群を辺とする四角形を検出し、当該４つのエッジ画素群の位置を示す幾何学補正情報を生成すればよい。
【０２４５】
（１２−４）幾何学補正情報の生成方法について
上記の説明では、補正情報生成部１１０は、撮像画像データから検出された線分状に連なるエッジ画素群に基づいて幾何学補正情報を生成するものとした。しかしながら、文書画像が形成された原稿を撮像対象物として撮像する場合、原稿の辺と平行な辺を有する四角形の領域を出力対象領域としてユーザが指定するケースが多い。すなわち、原稿全体を出力対象領域とする場合や、原稿内の表やグラフを出力対象領域として指定する場合である。そこで、補正情報生成部１１０は、指定情報受付部１１１が受け付けた出力対象領域に基づいて、幾何学補正情報を生成してもよい。この場合、補正情報生成部１１０は、四角形である出力対象領域の４辺の位置を示す情報を幾何学補正情報として生成すればよい。
【０２４６】
また、この場合、補正情報生成部１１０は、上記（７）の（方法Ｃ）に記載したように、指定情報受付部１１１が受け付けた４つの座標で示される指定点を含むブロックに、所定形状のエッジ画素の連結成分が存在するか否かを確認してもよい。そして、存在する場合には、当該エッジ画素の連結成分の角部を頂点とする四角形の４辺の位置を示す情報を幾何学補正情報とし、存在しない場合には、領域決定部１１２が決定した出力対象領域の４辺の位置を示す情報を幾何学補正情報として生成すればよい。
【０２４７】
具体的には、補正情報生成部１１０は、図９に示されるように、指定情報受付部１１１が受け付けた４つの座標で示される指定点を、左上の指定点Ｐ１、右上の指定点Ｐ２、左下の指定点Ｐ３、右下の指定店Ｐ４に分類する。そして、補正情報生成部１１０は、サブ撮像画像データの中から、各指定点を中心とした数十画素（例えば、２０〜３０画素）×数十画素（例えば、２０〜３０画素）のブロックを特定し、各ブロックにおいてエッジ画素を検出する。そして、補正情報生成部１１０は、各ブロックにおいて、隣接するエッジ画素を連結させ、連結された複数のエッジ画素の形状が所定の参照形状（図２１参照）であるか否かを判定する。この判定方法は、上記の（７）の（方法Ｃ）で述べたとおりである。そして、補正情報生成部１１０は、エッジ画素の形状が所定の参照形状であると判定された場合、抽出したエッジ画素のうちの角部を構成する画素を候補点として選択し、エッジ画素の形状が所定の参照形状でないと判定された場合、指定情報受付部１１１が受け付けた指定点を候補点として選択する。その後、補正情報生成部１１０は、４つの候補点を頂点とする四角形の各辺の位置を示す情報を幾何学補正情報として生成すればよい。
【０２４８】
（１２−５）指定情報受付部による指定情報の生成について
上記の説明では、指定情報受付部１１１は、４つの指定点の入力を受け付けていた。しかしながら、指定情報受付部１１１は、２または３個の指定点の入力を受け付け、残りの指定点を決定してもよい。
【０２４９】
２つの指定点の入力を受け付ける場合、指定情報受付部１１１は、出力対象領域を決定するための四角形の指定領域の左上および右下の角の点を入力するようにユーザに促す。そして、指定情報受付部１１１は、撮像画像判定部１０２により検出された第１から第４群のエッジ画素群の近似直線（図７の破線を参照）に基づいて、残りの指定点を決定する。
【０２５０】
具体的には、左上の角の点として入力された点を第１指定点、右下の角の点として入力された点を第４指定点とするとき、指定情報受付部１１１は、第１指定点を通り、かつ、第１群のエッジ画素群の近似直線に平行な直線と、第２指定点を通り、かつ、第２群のエッジ画素群の近似直線に平行な直線との交点を第３指定点として特定する。さらに、第１指定点を通り、かつ、第３群のエッジ画素群の近似直線に平行な直線と、第２指定点を通り、かつ、第４群のエッジ画素群の近似直線に平行な直線との交点を第３指定点として特定すればよい。これにより、指定情報受付部１１１は４つの指定点の座標を示す指定情報を出力することができ、領域決定部１１２は出力対象領域を決定することができる。
【０２５１】
また、３つの指定点の入力を受け付ける場合も同様にして残りの点を求めればよい。この場合、指定情報受付部１１１は、例えば、出力対象領域を決定するための四角形の指定領域の左上、右上および左下の角の点を入力するようにユーザに促す。そして、指定情報受付部１１１は、撮像画像判定部１０２により検出された第１から第４群のエッジ画素群の近似直線（図７の破線を参照）に基づいて、残りの指定点を決定する。
【０２５２】
具体的には、左上の角の点として入力された点を第１指定点、右上の角の点として入力された点を第２指定点、左下の角の点として入力された点を第３指定点とするとき、指定情報受付部１１１は、第３指定点を通り、かつ、第４群のエッジ画素群の近似直線に平行な直線と、第２指定点を通り、かつ、第２群のエッジ画素群の近似直線に平行な直線との交点を第４指定点として特定すればよい。
【０２５３】
（１２−６）出力対象領域の決定方法について
領域決定部１１２は、撮像対象物のエッジがはっきりしていると判断される場合や、コントラストが明確な画像の場合、以下のようにして出力対象領域を決定してもよい。なお、撮像対象物のエッジがはっきりしていると判断される場合か否か、コントラストが明確な画像の場合か否かの判定については、ユーザの入力に従って判定してもよい。つまり、撮像画像を表示させて、ユーザに対して、撮像対象物のエッジがはっきりしていると判断される場合か否か、コントラストが明確な画像の場合か否かを入力させてもよい。もしくは、領域決定部１１２は、後述するように、サブ撮像画像データの画素値のうちの最大・最小の差分値のようなコントラストを示す特徴量が所定閾値以上である場合に、コントラストが明確であると判定してもよい。
【０２５４】
まず、指定情報受付部１１１は、ユーザが出力することを希望する領域内の任意の一つのポイントを指やタッチペンで指定するようにユーザに促し、指定された一つのポイントの位置を示す情報を取得する。
【０２５５】
そして、領域決定部１１２は、指定されたポイントを含み、撮像画像判定部１０２により検出された４つの線分状に連なるエッジ画素群で囲まれた四角形の領域を特定する。そして、領域決定部１１２は、表示部１０５に表示された撮像画像において、当該４つのエッジ画素群の位置を最高の輝度値とする（エッジ画素群をハイライト表示する）。さらに、領域決定部１１２は、ハイライト表示されたエッジ画素群で囲まれる領域を出力対象領域とすべきか否かの指示の入力を促す画面も表示部１０５に表示する。ハイライト表示されたエッジ画素群で囲まれる領域を出力対象領域とすべき旨の指示が入力された場合、領域決定部１１２は、ハイライト表示されたエッジ画素群で囲まれる領域を出力対象領域とする。
【０２５６】
なお、ハイライト表示されたエッジ画素群で囲まれる領域を出力対象領域としない旨の指示が入力された場合、指定情報受付部１１１および領域決定部１１２は、上記（６）（７）のように、４つの指定点の入力を促す画面を表示し、入力された指定点に基づいて出力対象領域を決定すればよい。
【０２５７】
（１２−７）撮像回数について
上記の説明では、携帯端末装置１００において、制御部１０９は、高解像度補正のために必要な撮像画像の数だけ撮像部１０１に撮像させるものとした。すなわち、制御部１０９は、撮像回数と処理実行条件の中のサブ撮像画像データの必要数とを同じ値に設定した。しかしながら、制御部１０９は、撮像回数として、高解像度補正のための必要数よりも大きな値を設定してもよい。例えば、解像度変換の倍率が２倍である場合、必要数「２」に対して撮像回数「３」を設定してもよい。
【０２５８】
このように撮像回数が必要数よりも大きい場合、撮像画像判定部１０２は、撮像回数分のサブ撮像画像データの中から、処理実行条件を満たすサブ撮像画像データの組合せが存在するか否かを判断すればよい。例えば、必要数「２」に対して撮像回数「３」である場合、３つのサブ撮像画像データの中で、必要数のサブ撮像画像データの組合せが３つある。この場合、撮像画像判定部１０２は、各組合せについて処理実行条件を満たすか否か順次判定する。そして、処理実行条件を満たす組合せを確認できた時点で撮像画像判定部１０２は処理を終了し、当該組合せに含まれるサブ撮像画像データを通信部１０４が画像出力装置２００に送信すればよい。もしくは、撮像画像判定部１０２は、全ての組合せについて処理実行条件を満たすか否か判定してもよい。この場合、複数の組合せが処理実行条件を満たす場合、制御部１０９は、検出したズレ量が所定範囲の中央値に最も近い組合せを画像出力装置２００に送信するものと決定してもよい。例えば、所定範囲が０．３〜０．７である場合、ズレ量が０．５に最も近い組合せを選択すればよい。
【０２５９】
（１２−８）高解像度補正の別の例
上記の説明では、複数のサブ撮像画像データから高解像度の再構成画像データを生成するものとした。しかしながら、複数の画像データではなく、１つの画像データに基づいて高解像度補正を行ってもよい。
【０２６０】
１つの画像データからの高解像度画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008）にいくつかの方法が紹介されている。
【０２６１】
一般的には、画像パターンのエッジ方向性を検知し、その向きに合わせた補間を行うとともに、補間によるひずみや入力画像に存在したノイズ成分の影響などの除去を目的としたノイズ除去処理を行うことにより、高解像度補正を実行することができる。以下、具体的に説明する。
【０２６２】
図２２は、本実施形態における高解像度補正の処理の流れを示すフローチャートである。
【０２６３】
ここでは、横方向・縦方向の各々について２倍の解像度変換を行う例について説明する。２倍の解像度変換を行う場合、補正対象となる撮像画像データの画素数をｎ×ｍとするとき、補正後の高解像度画像データの画素数は２ｎ×２ｍとなる。このような高解像度補正（２倍の解像度変換）は、撮像画像データにおける各画素を基準画素とし、当該基準画素間の中央に新たな画素を補間画素として生成し、当該基準画素と補間画素との両方を備える画像データを高解像度画像データとして生成することにより実行される。図２３は、基準画素と補間画素との関係を示すものであり、画素ａが基準画素を示し、画素ｂが補間画素を示している。
【０２６４】
まず、高解像度補正部２２５は、第１通信部２０７が受信した撮像画像データについて、エッジ抽出を行う。例えば、高解像度補正部２２５は、図８に示されるような１次微分フィルタを用いてエッジ抽出を行い、２値化処理を行い、２値化画像データを生成する（Ｓ４０）。なお、２値化画像データにおいて画素値が１であればエッジである可能性が高い画素であることを示している。
【０２６５】
次に、高解像度補正部２２５は、Ｓ４０で生成した２値化画像データに基づいて、撮像画像データにおける着目画素がエッジであるか否かを判定する（Ｓ４１）。具体的には、高解像度補正部２２５は、２値化画像データにおける着目画素に対応する画素の値が１であれば、当該着目画素がエッジであると判定する。
【０２６６】
なお、着目画素とは、撮像画像データにおける各画素を任意の順に着目していったときに、着目している画素のことをいう。
【０２６７】
着目画素がエッジである場合（Ｓ４１でＹｅｓ）、高解像度補正部２２５は、着目画素を含むＮ×Ｎ（Ｎ＞１）の部分画像を用いてエッジ方向を検出する（Ｓ４２）。具体的には、Ｎ×Ｎの部分画像に含まれる全ての基準画素について、エッジ画素であるか否かを判定する。そして、着目画素の左上の基準画素と右下の基準画素とがエッジ画素である場合、高解像度補正部２２５は、部分画像におけるエッジ方向が左上−右下方向であると判定する。同様に、着目画素の左の基準画素と右の基準画素とがエッジ画素である場合、エッジ方向が左−右方向であると判定し、着目画素の上の基準画素と下の基準画素とがエッジ画素である場合、エッジ方向が上−下方向であると判定し、着目画素の右上の基準画素と左下の基準画素とがエッジ画像である場合、エッジ方向が右上−左下方向であると判定する。
【０２６８】
図２４において、点線は検出したエッジ方向を示している。なお、図２４において、画素(1)〜(9)が基準画素であり、このうちの画素(5)が着目画素である。そして、画素Ａ、Ｂ、Ｃは、それぞれ、基準画素(1)と(5)との間の補間画素、基準画素(2)と(5)との間の補間画素、基準画素(4)と(5)との間の補間画素である。
【０２６９】
次に、高解像度補正部２２５は、Ｓ４２で検出したエッジ方向に応じて、着目画素の左上の補間画素Ａ、着目画素の上の補間画素Ｂ、着目画素の左の補間画素Ｃの画素値を補間により求める。このとき、エッジ方向に沿った基準画素を用いて補間画素の画素値を求める。
【０２７０】
エッジ方向が左上−右下方向である場合、図２４（ａ）に示されるように、基準画素(1)、(5)、(9)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ａの画素値ＶＡ（図中では「Ｖ」の表記を省略している。以下同じ）について、補間画素Ａに隣施するエッジ線上の基準画素(1)（画素値Ｖ(1)）および基準画素(5)（画素値Ｖ(5)）の画素値を用いて、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(5)）／２
により求める。
【０２７１】
一方、エッジ線上ではない補間画素Ｂ，Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２４（ａ）では、補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(2)と(6)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と(6)とを結ぶ線分を内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式
ＶＢ＝（９×Ｖ(2)＋４×Ｖ(6)）／１３
を用いて求める。
【０２７２】
同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(4)と、当該基準画素(4)を含みエッジ方向に平行な線上の基準画素(8)との画素値を用いて、以下の式
ＶＣ＝（９×Ｖ(4)＋４×Ｖ(8)）／１３
により求める。
【０２７３】
また、エッジ方向が左−右方向である場合、図２４（ｂ）に示されるように、基準画素(4)、(5)、(6)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ｃの画素値ＶＣについて、補間画素Ｃに隣施するエッジ線上の基準画素(4)（画素値Ｖ(4)）および基準画素(5)（画素値Ｖ(5)）の画素値を用いて、以下の式
ＶＣ＝（Ｖ(4)＋Ｖ(5)）／２
により求める。
【０２７４】
一方、エッジ線上ではない補間画素Ａ、Ｂについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２４（ｂ）では、補間画素Ａについては、最近接基準画素である基準画素(1)または(2)を含み、エッジ方向に平行な線は、基準画素(1)と(2)とを結ぶ線である。そして、補間画素Ａから当該線に垂直に下した点は、基準画素(1)と(2)との中央に存在する。そのため、補間画素Ａの画素値ＶＡは、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(2)）／２
を用いて求める。
【０２７５】
補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(1)と(2)と(3)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と一致する。そのため、補間画素Ｂの画素値ＶＢは、基準画素(2)の画素値Ｖ(2)と同じ値にする。
【０２７６】
また、エッジ方向が右上−左下方向である場合、図２４（ｃ）に示されるように、基準画素(3)、(5)、(7)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、補間画素Ａ，Ｂ，Ｃは全てエッジ線上に存在しない。
【０２７７】
補間画素Ａについては、最近接基準画素が基準画素(1)、(2)、(4)となる。ここで、基準画素(2)、(4)は、エッジ方向に平行な同一の線上に位置するが、基準画素(1)は当該線上に位置しない。そこで、補間画素Ａの画素値ＶＡについて、最近接基準画素である基準画素(1)、(2)、(4)の画素値を用いて、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(2)＋Ｖ(4)）／３
により求める。
【０２７８】
一方、補間画素Ｂ，Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２４（ｃ）では、補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(2)と(6)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と(4)とを結ぶ線分を内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式
ＶＢ＝（９×Ｖ(2)＋４×Ｖ(4)）／１３
を用いて求める。
【０２７９】
同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(4)と、当該基準画素(4)を含みエッジ方向に平行な線上の基準画素(2)との画素値を用いて、以下の式
ＶＣ＝（４×Ｖ(2)＋９×Ｖ(4)）／１３
により求める。
【０２８０】
また、エッジ方向が上−下方向である場合、図２４（ｄ）に示されるように、基準画素(2)、(5)、(8)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ｂの画素値ＶＢについて、補間画素Ｂに隣施するエッジ線上の基準画素(2)および基準画素(5)の画素値を用いて、以下の式
ＶＣ＝（Ｖ(2)＋Ｖ(5)）／２
により求める。
【０２８１】
一方、エッジ線上ではない補間画素Ａ、Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２４（ｄ）では、補間画素Ａについては、最近接基準画素である基準画素(1)または(4)を含み、エッジ方向に平行な線は、基準画素(1)と(4)とを結ぶ線である。そして、補間画素Ａから当該線に垂直に下した点は、基準画素(1)と(4)との中央に存在する。そのため、補間画素Ａの画素値ＶＡは、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(4)）／２
を用いて求める。
【０２８２】
補間画素Ｃについては、最近接基準画素である基準画素(4)を含み、エッジ方向に平行な線は、基準画素(1)と(4)と(7)とを結ぶ線である。そして、補間画素Ｃから当該線に垂直に下した点は、基準画素(4)と一致する。そのため、補間画素Ｃの画素値ＶＣは、基準画素(4)の画素値Ｖ(4)と同じ値にする。
【０２８３】
なお、記憶部２１０は、エッジ方向と、補間画素Ａ，Ｂ，Ｃの画素値を求めるための演算式とを対応付けた情報を予め記憶している。そして、高解像度補正部２２５は、Ｓ４２で検出されたエッジ方向に対応する演算式を記憶部２１０から読み出し、読み出した演算式に基づいて、補間画素Ａ，Ｂ，Ｃの画素値を求めればよい。
【０２８４】
なお、図２４では、エッジ方向が直線状である場合のみ示している。しかしながら、エッジは、Ｎ×Ｎの部分画像内において曲がる場合もある。例えば、エッジが基準画素(2)−(5)−(4)のように曲がる場合や、エッジが基準画素(1)−(5)−(7)のように曲がる場合などである。このような場合についても、補間画素Ａ，Ｂ，Ｃの画素値を求めるための演算式とを対応付けた情報を予め記憶している。例えば、エッジが基準画素(2)−(5)−(4)のように曲がる場合、補間画素Ａについては図２４（ｃ）と同様に、補間画素Ｂについては図２４（ｂ）と同様に、補間画素Ｃについては図２４（ｄ）と同様の演算式を記憶している。また、エッジが基準画素(1)−(5)−(7)のように曲がる場合、補間画素Ａについては図２４（ａ）と同様に、補間画素Ｂについては図２４（ａ）と同様に、補間画素Ｃについては図２４（ｄ）と同様の演算式を記憶している。他のエッジ方向のパターンについても同様に記憶している。
【０２８５】
このようにして、高解像度補正部２２５は、エッジ画素と判定された基準画素の周囲に位置する補間画素の画素値を求める。
【０２８６】
一方、着目画素がエッジでない場合（Ｓ４１でＮｏ）、高解像度補正部２２５は、当該着目画素の左上に隣接する補間画素Ａ，当該着目画素の上に隣接する補間画素Ｂ，当該着目画素の左の補間画素Ｃの画素値を、一般的な補間演算法（バイリニア・バイキュービックなど）により求める（Ｓ４３）。
【０２８７】
高解像度補正部２２５は、上記のＳ４１〜Ｓ４３の処理を、一つの画像データに含まれる全ての基準画素について実行することで、基準画素と補間画素との両方を備える補間画像データを生成する（Ｓ４４）。
【０２８８】
その後、高解像度補正部２２５は、生成した補間画像データに対して高画質化処理を行う。例えば、高解像度補正部２２５は、ノイズ除去フィルタや鮮鋭化フィルタなどを補間画像データに適用して、高解像度画像データを生成する。従来からあるアンシャープマスクや図９の中央の係数を５としたものが鮮鋭化フィルタとなる。またノイズ除去としてはメディアンフィルタなどが広く知られている。より高度な手法として、上記エッジ保存性と高画質化を併せ持つ手法としてBilateralフィルタ［Proceedings of the 1998 IEEE International Conference on Computer Vision,］などを用いてもよい。
【０２８９】
なお、高解像度補正部２２５は、上述した方法に限定されず、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008） に記載されているような種々の方法を用いて、１つの撮像画像データから高解像度画像データを生成してもよい。
【０２９０】
また、このように１つの画像データから高解像度画像データを生成する場合、携帯端末装置１００の撮像部１０１は、文書撮像モードにおいて、１回のシャッター押下で１回だけ撮像すればよい。また、この場合、上記の（３−３）の処理を省略することができる。そして、携帯端末装置１００は、上記高解像度出力用データセットとして、１回のシャッター押下で１回だけの撮像により得られる１つの撮像画像データを含むものを送信すればよい。
【０２９１】
（１２−９）撮像画像判定部の判定項目について
上記の説明では、文書撮像モードが選択されたときに、撮像画像判定部１０２は、撮像画像における撮像対象物の傾き、幾何学的歪み、複数の撮像画像間のズレ量を判定するものとした。しかしながら、撮像画像判定部１０２における判定項目はこれに限定されるものではない。以下にこの変形例を説明する。
【０２９２】
例えば、上記の判定項目に加えて、他の判定項目について判定してもよい。他の判定項目としては、明るさ、コントラスト、カラーバランス、ブレ（激しい手ぶれ）などがある。
【０２９３】
明るさについては、例えば露出オーバー（明るすぎる）やアンダー（暗すぎる）の場合に再度の撮像が必要となるケースが考えられる。そこで、撮像画像判定部１０２は、例えば、サブ撮像画像データの画素値のうち、最大のものと最小のものを求め、最大値がある閾値（例えば８ビットで１００など）以下であれば、露出アンダーとし、最小値がある閾値（例えば８ビットで１５０など）以上であれば、露出オーバーとする判定結果を制御部１０９に出力する。そして、制御部１０９は、露出アンダーまたは露出オーバーの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。もしくは、制御部１０９は、露出アンダーの場合には、撮像部１０１における露光時間を長くするように設定変更し、露出オーバーの場合には、露光時間を短くするように設定変更する。その後、制御部１０９は、ユーザに再撮像を促す指示を通知してもよい。
【０２９４】
コントラストについては、撮像画像判定部１０２は、サブ撮像画像データの画素値のうちの最大・最小の差分値が所定閾値以下の場合、コントラスト不足と判定する。そして、制御部１０９は、コントラスト不足との判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。
【０２９５】
なお、明るさ・コントラストの判定において、撮像画像判定部１０２は、各色チャンネルに対して判定を行っても良いし、平均値（Ｒ＋Ｇ＋Ｂ／３）や明度値（０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ：ＮＴＳＣ準拠）を用いても良い。
【０２９６】
カラーバランスについては、各色チャンネル（ＲＧＢ）の平均値や最大・最小値の比較を行うことで、ある一つのチャンネルに過度の偏りが発生していることを把握できる。そこで、撮像画像判定部１０２は、例えば、撮像画像中の最大明度値付近の値（最大明度〜最大明度−５程度）を持つ画素値の各色チャンネルの値の平均値（Ｒａ，Ｇａ，Ｂａ）を求め、その各色チャンネルの最大値と最小値の差分が値に応じた一定値以上［Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）−Ｍｉｎ（Ｒａ，Ｇａ，Ｂａ）＞０．１×Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）］である場合に、カラーバランス不良であると判定する。そして、制御部１０９は、カラーバランス不良であるとの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。
【０２９７】
ブレ（激しい手ぶれ：いわゆるモーションブラー）については、発生時にエッジの先鋭性が低下することから、撮像画像判定部１０２は、図８に挙げたようなエッジ抽出フィルタを用いて、エッジ強度画像を作成してヒストグラムを取り、その標準偏差値（前記分散の二乗根）を求める。そして、当該標準偏差値が所定閾値（例えば５）以下の場合、ブレが発生していると判定する。そして、制御部１０９は、ブレが発生しているとの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。
【０２９８】
（１２−１０）撮像部について
上記の説明では、撮像部１０１が連続して複数回撮像するときの手ぶれによって、複数の撮像画像にズレが生じることを利用する形態とした。しかしながら、これに限らず、撮像部１０１は、連続して複数回撮像するときに、撮像素子（ＣＣＤ・ＣＭＯＳ）またはレンズを微小にずらしてもよい。これにより、複数の撮像画像間においてズレが確実に生じることになる。
【０２９９】
（１２−１１）携帯端末装置から画像出力装置への画像データの送信タイミングについて
上記の説明では、文書撮像モードで撮像された高解像度出力用データセットを携帯端末装置１００で蓄積しておき、送信指示が入力されたタイミングで、それまでに蓄積された高解像度出力用データセットをまとめて送信するものとした。しかしながら、携帯端末装置１００から高解像度出力用データセットを画像出力装置２００に送信するタイミングはこれに限定されない。
【０３００】
例えば、文書撮像モードで撮像部１０１が撮像するたびに当該撮像により得られた一つの高解像度出力用データセットを画像出力装置２００に送信してもよい。この場合、ユーザは、画像出力装置２００の近傍にいない場合がほとんどである。そのため、携帯端末装置１００の通信部１０４は、携帯電話網およびインターネット網を介して、高解像度出力用データセットを画像出力装置２００に送信すればよい。
【０３０１】
（１２−１２）出力処理情報について
上記の説明では、出力処理情報を携帯端末装置１００が取得し、画像出力装置２００に送信するものとした。しかしながら、これに限らず、画像出力装置２００がユーザ認証のためにユーザ情報を取得する際に、出力処理情報（出力処理の種類、出力処理のための設定条件を示す情報）を取得してもよい。
【０３０２】
（１２−１３）出力処理について
画像出力装置２００において、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって生成された高解像度画像データを高圧縮ＰＤＦに変換してもよい。なお、高圧縮ＰＤＦデータとは、画像データの中の背景部分と文字分とを分離し、ぞれぞれの部分に最適な圧縮処理を行ったＰＤＦデータである。これにより、文字判読性が良好で、画像ファイルサイズも低減させることができる。
【０３０３】
また、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって生成された高解像度画像データに対してＯＣＲ処理を実行し、テキストデータを生成してもよい。そして、制御部２１２は、高解像度画像データをＰＤＦに変換し、生成したテキストデータを透明テキストとして付加してもよい。なお、透明テキストとは、認識された文字をテキスト情報として見掛け上は見えない形で画像データに重ね合わせる（あるいは埋め込む）ためのデータである。例えば、ＰＤＦファイルでは、画像データに透明テキストを付加した画像ファイルが一般に使用されている。そして、制御部２１２は、生成した透明テキスト付きＰＤＦデータを出力させてもよい。これにより、テキスト検索可能なファイルのように活用しやすい電子化文書を出力することができる。
【０３０４】
（１２−１４）画像出力装置が備える画像処理部について
上記の説明では、画像出力装置２００が備える画像処理部２０２が高解像度補正などを行うものとして説明した。しかしながら、画像出力装置２００は、高解像度出力用データセットに対する高解像度補正やその他の画像処理（幾何学的歪みの補正、レンズ歪みの補正、コントラスト補正、カラーバランス補正など）を、上記画像処理部２０２を備えたサーバに実行させてもよい。なお、この場合、当該サーバが、携帯端末装置１００から受信した高解像度出力用データセットに対して高解像度補正を行い、補正後の高解像度画像データを出力する画像出力装置であるといえる。
【０３０５】
（１３）プログラムおよび記録媒体
本発明はコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に、上記した携帯端末装置１００で撮像した画像を画像出力装置２００に送信し画像出力装置２００より出力する方法を記録するものとすることもできる。
【０３０６】
この結果、上記処理を行うプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録した記録媒体を持ち運び自在に提供することができる。
なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばＲＯＭのようなもの、そのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。
【０３０７】
いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤなどの光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。
【０３０８】
また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０３０９】
上記記録媒体は、携帯端末装置１００や画像出力装置２００に備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。
【０３１０】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０３１１】
本発明は、携帯端末装置と画像出力装置との間でデータ通信を行う撮像画像処理システムに適用することができる。
【符号の説明】
【０３１２】
１００ 携帯端末装置
２００ 画像出力装置
１０１ 撮像部
１０２ 撮像画像判定部（補正情報生成部）
１０３ 画像処理部
１０４ 通信部（送信部）
１０５ 表示部
１０６ 入力部
１０７ 記憶媒体アクセス部
１０８ 記憶部
１０９ 制御部（送信部）
１１０ 補正情報生成部
１１１ 指定情報受付部
１１２ 領域決定部（出力対象領域決定部）
１１３ 領域抽出部（画像抽出部）
１１４ 編集処理部
２０１ 画像読取部
２０２ 画像処理部（補正済データ生成部）
２０３ 認証部
２０４ 画像形成部
２０５ 表示部
２０６ 入力部
２０７ 第１通信部（受信部）
２０８ 第２通信部
２０９ 記憶媒体アクセス部
２１０ 記憶部
２１２ 制御部
２２１ 画質調整部（補正済データ生成部）
２２２ 幾何学補正部（写像生成部、補正済データ生成部）
２２３ レンズ歪み補正部（補正済データ生成部）
２２４ 出力画像処理部（補正済データ生成部）
２２５ 高解像度補正部（補正済データ生成部）
【技術分野】
【０００１】
本発明は、携帯端末装置にて撮像した画像を画像出力装置により出力する撮像画像処理システムに関する。
【背景技術】
【０００２】
インターネット技術の進展と伴に携帯電話など携帯端末装置を利用して撮像した画像を保存する機会が増えてきている。また、単純に風景や、人物などを被写体とするだけではなく、各種ショーなどで展示されている説明図や説明文、あるいは学会等でのスライドを撮影する機会も増大してきている。このような携帯端末装置で撮影された画像を保存する際には、撮影日などの情報を元に自動的に付加されるファイル名を用いるか、自分でファイル名を作成し、保存するのが一般的である。
【０００３】
また、特許文献１には、ユーザが、デジタルカメラや、カメラ付きＰＤＡ・携帯パソコン等の携帯端末装置で収集したデジタル画像データを、ネットワークを介してサーバに送信する技術が記載されている。そして、サーバでは、受信したデジタル画像データを、所定のドキュメントフォーマットに編集し、上記ドキュメントフォーマットの所定の領域に、音声コード画像又はテキストイメージとして貼り付ける。そして、当該ドキュメントは、特定用途の報告書として記録媒体に保存されたり、紙ドキュメントとして印刷されたり、あるいは、ネットワークを介して特定のサイトに送信されたりする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−４１５０２号公報（２００２年２月８日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、携帯電話やデジタルカメラで撮像する場合、原稿やポスターなどの矩形状の所望の撮像対象物をフレームいっぱいに正面から撮影できるとは限らず、当該撮像対象物以外の余分な情報が画像に含まれてしまうことがある。例えば、周りにいた人の顔などが画面に入り込む場合などである。
【０００６】
さらに、所望の撮像対象物を正面からではなく、斜め方向から撮影せざるを得ないケースもある。当該撮像対象物が矩形状であるため、斜め方向から撮影すると、画像中において撮像対象物の端辺が斜めになり、所望の撮像対象物の周辺に余計なものが映り込んでしまうことになる。
【０００７】
このようにして得られた撮影画像をそのまま利用することも考えられるが、ポイントを絞って分かりやすくまとめる上では、必要な箇所のみ切り出すのが好ましい。しかしながら、特許文献１には、明るさや色、サイズの調整等を行い、画像データを拡大や縮小してテンプレートのエリアに内接させることは記載されているが、必要な箇所のみ抽出することに関しては記載されていない。また、矩形状の撮像対象物を斜め方向から撮像した場合、撮像画像において、撮像対象物が歪んだ四角形として示される現象（幾何学的歪み）が生じてしまう。
【０００８】
本発明は、上記課題を解決するためになされたものであり、携帯端末装置にて撮像した画像の中の必要な領域のみを容易に出力することができるとともに、矩形状の撮像対象物を斜め方向から撮像した場合でも幾何学的歪みのない画像を出力することが可能な撮像画像処理システム、画像出力方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の撮像画像処理システムは、撮像部を備えた携帯端末装置と画像出力装置とを備え、上記携帯端末装置と上記画像出力装置とが通信可能である撮像画像処理システムであって、上記撮像部の撮像により得られた撮像画像データで示される撮像画像の中の一部の領域である指定領域の位置を示す指定情報の入力をユーザから受け付ける指定情報受付部と、上記指定情報に基づいて、上記撮像画像の中から、上記画像出力装置から出力する領域である出力対象領域を決定する出力対象領域決定部と、上記撮像画像の中から検出された線分状に連なる４つのエッジ画素群を辺とする四角形の領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、上記四角形の領域内の各画素の座標から上記矩形の領域内の対応する画素の座標への写像を求める写像生成部と、上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、少なくとも上記写像生成部が生成した写像による座標変換処理が施された補正済画像データを生成する補正済データ生成部と、上記補正済画像データ、または、当該補正済画像データで示される画像を出力する出力部とを備え、上記携帯端末装置は少なくとも上記指定情報受付部を備え、上記画像出力装置は少なくとも上記補正済データ生成部および上記出力部を備えることを特徴とする。
【００１０】
また、本発明の画像出力方法は、撮像部を備えた携帯端末装置と画像出力装置とを備え、上記携帯端末装置と上記画像出力装置とが通信可能である撮像画像処理システムにおける画像出力方法であって、上記撮像部の撮像により得られた撮像画像データで示される撮像画像の中の一部の領域である指定領域の位置を示す指定情報の入力をユーザから受け付ける指定情報受付ステップと、上記指定情報に基づいて、上記撮像画像の中から、上記画像出力装置から出力する画像の領域である出力対象領域を決定する出力対象領域決定ステップと、上記撮像画像データで示される撮像画像の中から検出された線分状に連なる４つのエッジ画素群を辺とする四角形の領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、上記四角形の領域内の各画素の座標から上記矩形の領域内の対応する画素の座標への写像を求める写像生成ステップと、上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、少なくとも上記写像による座標変換処理が施された補正済画像データを生成する補正済データ生成ステップと、上記補正済画像データ、または、当該補正済画像データで示される画像を出力する出力ステップとを含み、上記携帯端末装置は少なくとも上記指定情報受付ステップの処理を行い、上記画像出力装置は少なくとも上記補正済データ生成ステップおよび上記出力ステップの処理を行うことを特徴とする。
【００１１】
上記の構成によれば、携帯端末装置が指定情報受付部を備えるため、ユーザは、撮像画像の中の一部の領域である指定領域を携帯端末装置に入力することができる。そして、当該入力を行うことで、指定領域に基づいて出力対象領域が決定され、当該出力対象領域のみに対応する補正済画像データまたは当該補正済画像データで示される画像が出力される。そのため、ユーザは、携帯端末装置に指定領域を入力するだけで、撮像画像から切り出された出力対象領域の画像を容易に得ることができる。
【００１２】
また、原稿やポスターなどの矩形状の撮像対象物を撮像するとき、当該撮像対象物を斜め方向から撮像すると、撮像対象物は撮像画像の中で歪んだ四角形となる。一方、撮像対象物を正面から撮像し、かつ、傾くことなく撮像したときには、撮像対象物は撮像画像の中で上下の辺が水平方向に略平行な矩形の領域となる。
【００１３】
そして、上記の構成によれば、撮像画像の中から検出された線分状に連なる４つのエッジ画素群を辺とする四角形の領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、座標に関する写像が求められる。
【００１４】
ここで、原稿やポスターなどの矩形状の撮像対象物を撮像した場合、撮像画像において、撮像対象物と背景との境界線（撮像対象物の輪郭線）は、線分状に連なる４つのエッジ画素群で構成されることとなる。そのため、矩形状の撮像対象物を撮像したとき、撮像画像の中から検出された線分状に連なる４つのエッジ画素群を辺とする四角形の領域は、撮像対象物の領域である可能性が高い。
【００１５】
そして、このようにして検出された四角形の領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換するための写像が求められる。そのため、矩形状の撮像対象物を斜め方向から撮像することにより、撮像画像において撮像対象物が歪んだ四角形として示されていたとしても、上記写像による座標変換を行うことで、このような歪んだ四角形の撮像対象物が、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換される。その結果、あたかも正面から矩形状の撮像対象物を撮像したかのような画像を得ることができる。すなわち、斜め方向から撮像することによる幾何学的歪みのない画像（幾何学的歪みが補正された画像）を得ることができる。
【００１６】
このように、上記の構成によれば、携帯端末装置にて撮像した画像の中の必要な領域のみを容易に出力することができるとともに、矩形状の撮像対象物を斜め方向から撮像した場合でも幾何学的歪みのない画像を出力することが可能な撮像画像処理システムを実現することができる。
【００１７】
また、上記の課題を解決するために、本発明の撮像画像処理システムは、撮像部を備えた携帯端末装置と画像出力装置とを備え、上記携帯端末装置と上記画像出力装置とが通信可能である撮像画像処理システムであって、上記撮像部の撮像により得られた撮像画像データで示される撮像画像の中の一部の四角形の領域である指定領域の位置を示す指定情報の入力をユーザから受け付ける指定情報受付部と、上記指定情報に基づいて、上記撮像画像の中から、上記画像出力装置から出力する四角形の領域である出力対象領域を決定する出力対象領域決定部と、上記出力対象領域決定部により決定された四角形の出力対象領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、上記出力対象領域内の各画素の座標から上記矩形の領域内の対応する画素の座標への写像を求める写像生成部と、上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、少なくとも上記写像生成部が生成した写像による座標変換処理が施された補正済画像データを生成する補正済データ生成部と、上記補正済画像データ、または、当該補正済画像データで示される画像を出力する出力部とを備え、上記携帯端末装置は少なくとも上記指定情報受付部を備え、上記画像出力装置は少なくとも上記補正済データ生成部および上記出力部を備えることを特徴とする。
【００１８】
また、本発明の画像出力方法は、撮像部を備えた携帯端末装置と画像出力装置とを備え、上記携帯端末装置と上記画像出力装置とが通信可能である撮像画像処理システムにおける画像出力方法であって、上記撮像部の撮像により得られた撮像画像データで示される撮像画像の中の一部の四角形の領域である指定領域の位置を示す指定情報の入力をユーザから受け付ける指定情報受付ステップと、上記指定情報に基づいて、上記撮像画像の中から、上記画像出力装置から出力する四角形の領域である出力対象領域を決定する出力対象領域決定ステップと、上記出力対象領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、上記出力対象領域内の各画素の座標から上記矩形の領域内の対応する画素の座標への写像を求める写像生成ステップと、上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、少なくとも上記写像による座標変換処理が施された補正済画像データを生成する補正済データ生成ステップと、上記補正済画像データ、または、当該補正済画像データで示される画像を出力する出力ステップとを含み、上記携帯端末装置は少なくとも上記指定情報受付ステップの処理を行い、上記画像出力装置は少なくとも上記補正済データ生成ステップおよび上記出力ステップの処理を行うことを特徴とする。
【００１９】
上記の構成によっても、携帯端末装置が指定情報受付部を備えるため、ユーザは、撮像画像の中の一部の領域である指定領域を携帯端末装置に入力することができる。そして、当該入力を行うことで、指定領域に基づいて出力対象領域が決定され、当該出力対象領域のみに対応する補正済画像データまたは当該補正済画像データで示される画像が出力される。そのため、ユーザは、携帯端末装置に指定領域を入力するだけで、撮像画像から切り出された出力対象領域の画像を容易に得ることができる。
【００２０】
また、原稿やポスターなどの文書画像を含む矩形状の撮像対象物を撮像する場合、ユーザが出力対象領域として指定する領域は、当該撮像対象物の領域、もしくは、当該撮像対象物の上記文書画像中のグラフや表などの領域であるケースが多い。このような領域は、撮像対象物を斜め方向から撮像したときには歪んだ四角形となるが、撮像対象物を正面から撮像し、かつ、傾くことなく撮像したときには、上下の辺が水平方向に略平行な矩形の領域となる。
【００２１】
そして、上記の構成によれば、出力対象領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換するための写像が求められる。そのため、矩形状の撮像対象物を斜め方向から撮像することにより、撮像画像において出力対象領域が歪んだ四角形として示されていたとしても、上記写像による座標変換を行うことで、このような歪んだ四角形の出力対象領域が、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換される。その結果、あたかも正面から矩形状の撮像対象物を撮像したかのような画像を得ることができる。すなわち、斜め方向から撮像することによる幾何学的歪みのない画像を得ることができる。
【００２２】
このように、上記の構成によれば、携帯端末装置にて撮像した画像の中の必要な領域のみを容易に出力することができるとともに、矩形状の撮像対象物を斜め方向から撮像した場合でも幾何学的歪みのない画像を出力することが可能な撮像画像処理システムを実現することができる。
【００２３】
さらに、本発明の撮像画像処理システムにおいて、上記携帯端末装置は、上記出力対象領域決定部と、上記撮像画像データから、上記出力対象領域決定部によって決定された出力対象領域の画像を示す指定領域画像データを切り出す画像抽出部と、上記撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、上記指定領域画像データ、および、上記補正情報を上記画像出力装置に送信する送信部とを備え、上記画像出力装置は、上記送信部により送信された指定領域画像データおよび補正情報を受信する受信部と、上記写像生成部とを備え、上記写像生成部は、上記受信部が受信した補正情報に基づいて上記写像を求め、上記補正済データ生成部は、上記受信部が受信した指定領域画像データに対して、上記写像生成部が生成した写像による座標変換処理を行うことで、上記補正済画像データを生成してもよい。
【００２４】
上記の構成によれば、携帯端末装置において、画像抽出部が出力対象領域の画像を示す指定領域画像データを撮像画像データから切り出す。そのため、携帯端末装置から画像出力装置への送信データの容量を必要最小限にすることができる。
【００２５】
また、本発明の撮像画像処理システムにおいて、上記携帯端末装置は、上記出力対象領域決定部と、上記撮像画像データ、および、上記出力対象領域決定部により決定された出力対象領域の位置を示す出力対象領域情報を上記画像出力装置に送信する送信部を備え、上記画像出力装置は、上記送信部により送信された撮像画像データおよび出力対象領域情報を受信する受信部と、上記受信部により受信された撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、上記写像生成部とを備え、上記写像生成部は、上記補正情報生成部により生成された補正情報に基づいて上記写像を求め、上記補正済データ生成部は、上記受信部が受信した撮像画像データから、上記受信部が受信した出力対象領域情報で示される出力対象領域の画像を示す指定領域画像データを切り出し、当該指定領域画像データに対して、上記写像生成部が生成した写像による座標変換処理を行うことで、上記補正済画像データを生成してもよい。
【００２６】
また、本発明の撮像画像処理システムにおいて、上記携帯端末装置は、上記出力対象領域決定部と、上記撮像画像データ、および、上記出力対象領域決定部により決定された出力対象領域の位置を示す出力対象領域情報を上記画像出力装置に送信する送信部を備え、上記画像出力装置は、上記送信部により送信された撮像画像データおよび出力対象領域情報を受信する受信部と、上記受信部により受信された撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、上記写像生成部とを備え、上記写像生成部は、上記補正情報生成部により生成された補正情報に基づいて上記写像を求め、上記補正済データ生成部は、上記受信部が受信した撮像画像データおよび出力対象領域情報に対して、上記写像生成部が生成した写像による座標変換処理を行い、当該座標変換処理が行われた撮像画像データから、当該座標変換処理が行われた出力対象領域情報で示される位置の出力対象領域を切り出すことで、上記補正済画像データを生成してもよい。
【００２７】
上記の構成によれば、携帯端末装置は、撮像画像データから出力対象領域の切り出し処理および補正情報の生成処理を実行する必要がなく、携帯端末装置の負荷を低減することができる。
【００２８】
また、本発明の撮像画像処理システムにおいて、上記携帯端末装置は、上記出力対象領域決定部と、上記撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、上記撮像画像データ、上記出力対象領域決定部により決定された出力対象領域の位置を示す出力対象領域情報、および、上記補正情報を上記画像出力装置に送信する送信部とを備え、上記画像出力装置は、上記送信部により送信された撮像画像データ、出力対象領域情報および補正情報を受信する受信部と、上記写像生成部とを備え、上記写像生成部は、上記受信部が受信した補正情報に基づいて上記写像を求め、上記補正済データ生成部は、上記受信部が受信した撮像画像データから、上記受信部が受信した出力対象領域情報で示される出力対象領域の画像を示す指定領域画像データを切り出し、当該指定領域画像データに対して、上記写像生成部が生成した写像による座標変換処理を行うことで、上記補正済画像データを生成してもよい。
【００２９】
また、本発明の撮像画像処理システムにおいて、上記携帯端末装置は、上記出力対象領域決定部と、上記撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、上記撮像画像データ、上記出力対象領域決定部により決定された出力対象領域の位置を示す出力対象領域情報、および、上記補正情報を上記画像出力装置に送信する送信部とを備え、上記画像出力装置は、上記送信部により送信された撮像画像データ、出力対象領域情報および補正情報を受信する受信部と、上記写像生成部とを備え、上記写像生成部は、上記受信部が受信した補正情報に基づいて上記写像を求め、上記補正済データ生成部は、上記受信部が受信した撮像画像データおよび出力対象領域情報に対して、上記写像生成部が生成した写像による座標変換処理を行い、当該座標変換処理が行われた撮像画像データから、当該座標変換処理が行われた出力対象領域情報で示される位置の出力対象領域を切り出すことで、上記補正済画像データを生成してもよい。
【００３０】
上記の構成によれば、携帯端末装置は、撮像画像データから出力対象領域の切り出し処理を実行する必要がなく、携帯端末装置の負荷を低減することができる。
【００３１】
さらに、本発明の撮像画像処理システムにおいて、上記指定情報受付部は、上記指定情報として、四角形の上記指定領域の頂点となる４つの指定点の位置を示す情報を受け付け、上記出力対象領域決定部は、上記指定情報受付部が受け付けた各指定点について、上記撮像画像における当該指定点を含む所定サイズのブロック内に、一つの角部を有する所定形状に連結された複数のエッジ画素が存在するか否かを判定し、上記ブロック内に上記複数のエッジ画素が存在する場合、上記角部の点を補正情報特定点として決定し、上記ブロック内に上記複数のエッジ画素が存在しない場合、上記指定点を補正情報特定点として決定し、決定した４つの補正情報特定点を頂点とする四角形の領域を上記出力対象領域としてもよい。
【００３２】
一般に、携帯端末装置は携帯されることを考慮して、比較的小さいサイズに設計されており、その表示部の画面も小さいことが多い。そのため、出力対象領域の頂点を正確に指定点として入力することが困難である。その結果、所望の出力対象領域からずれた領域を指定領域として指定せざるを得ないことが考えられる。
【００３３】
一方、ユーザが出力対象領域として選択する領域は、矩形状の撮像対象物全体であったり、撮像対象物中の表やグラフである。このような領域の輪郭は、撮像対象物と背景との境界線や、表やグラフの枠線であり、撮像画像においてエッジ画素として構成される。
【００３４】
上記の構成によれば、指定情報受付部が受け付けた各指定点について、撮像画像における当該指定点を含む所定サイズのブロック内に、一つの角部を有する所定形状に連結された複数のエッジ画素が存在するか否かを判定する。そして、ブロック内に複数のエッジ画素が存在する場合、角部の点を補正情報特定点として決定し、ブロック内に複数のエッジ画素が存在しない場合、指定点を補正情報特定点として決定し、決定した４つの補正情報特定点を頂点とする四角形の領域を出力対象領域とする。
【００３５】
そのため、枠線や境界線で囲まれた領域を選択することを希望しているが、携帯端末装置の表示部の画面上において、当該枠線または境界線の角部から少しずれた位置の点を指定してしまったとしても、枠線または境界線の角部を構成する画素を出力対象領域の頂点として選択することができる。その結果、ユーザは、指定点を正確に入力できなくても、ある程度近い点を指定することで、希望している出力対象領域の画像を得ることができる。
【００３６】
さらに、本発明の撮像画像処理システムにおいて、上記補正済データ生成部は、上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、上記写像生成部が生成した写像による座標変換処理、および、上記撮像画像データの解像度よりも高い解像度に補正する高解像度補正処理が施された補正済画像データを生成してもよい。
【００３７】
上記の構成によれば、文字の判読性を向上させ、品質の高い画像を出力することができる。
【００３８】
さらに、本発明の撮像画像処理システムは、上記出力対象領域を表示するための表示部を備えることが好ましい。
【００３９】
上記の構成によれば、ユーザは、表示部を見ることにより出力対象領域を確認することができる。これにより、ユーザは、確認した出力対象領域が所望のものではない場合、再度出力対象領域を出力対象領域決定部に決定させることができる。また、複数の方法で求められた出力対象領域の中から所望の一つを選択することもできる。
【００４０】
さらに、本発明の撮像画像処理システムは、上記表示部に表示された出力対象領域に対するユーザ入力に従って、上記出力対象領域の編集を行う編集処理部を備えることが好ましい。
【００４１】
上記の構成によれば、表示部に表示された出力対象領域が所望の領域ではない場合、ユーザは、編集処理部を用いて、出力対象領域を編集することができる。
【００４２】
なお、上記撮像画像処理システムは、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより撮像画像処理システムをコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００４３】
本発明によれば、携帯端末装置にて撮像した画像の中の必要な領域のみを容易に出力することができるとともに、矩形状の撮像対象物を斜め方向から撮像した場合でも幾何学的歪みのない画像を出力することができるという効果を奏する。
【図面の簡単な説明】
【００４４】
【図１】図１は、本発明の一実施形態に係る撮像画像処理システムの全体構成を示す図である。
【図２】図２は、本発明の一実施形態に係る携帯端末装置の構成を示すブロック図である。
【図３】図３は、画像の傾き検出例を示す図である。
【図４】図４は、図３の傾き検出例における傾き角度θとその正接値を示している。
【図５】図５は、画像の幾何学的歪みの検出例を示す図である。
【図６】図６は、画像における撮像対象物のエッジ検出処理例を示す図である。
【図７】図７は、画像のラスター方向のエッジ検出例を示す図である。
【図８】図８は、画像のズレ度合い検出例の１次微分フィルタ例を示す図である。
【図９】図９は、出力対象領域を指定するための４つの指定点が入力されたときの表示部の画面例を示す図である。
【図１０】図１０は、出力対象領域を指定するための４つの指定点が入力されたときの表示部の別の画面例を示す図である。
【図１１】図１１は、本発明の一実施形態に係る画像出力装置の構成を示すブロック図である。
【図１２】図１２は、本発明の一実施形態に係る画像出力装置が有する画像処理部の構成を示すブロック図である。
【図１３】図１３は、画像のカラーバランス調整時に作成するルックアップテーブルの一例を示す図である。
【図１４】図１４は、画像のレンズ歪みの補正例を示す図である。
【図１５】図１５は、画像の幾何学的歪みおよび傾きの補正例を示す図である。
【図１６】図１６は、画像の再構成画素値の決定例を示す図である。
【図１７】図１７は、携帯端末装置の処理の流れを示すフローチャートである。
【図１８】図１８は、画像出力装置の処理の流れの全体を示すフローチャートである。
【図１９】図１９は、幾何学補正前の画像データで示される画像と、幾何学補正後の画像データで示される画像とを示す図である。
【図２０】図２０は、画像出力装置が有する画像処理部の変形例の構成を示すブロック図である。
【図２１】図２１は参照形状を示す図である。
【図２２】図２２は、高解像度補正の別の処理の流れを示すフローチャートである。
【図２３】図２３は、高解像度画像データにおける基準画素と補間画素とを示している。
【図２４】図２４は、補間画素の画素値の決定方法を示す図である。
【図２５】図２５は、変形例に係る携帯端末装置の構成を示すブロック図である。
【図２６】図２６は、編集処理部を備えた携帯端末装置の処理の流れの一部を示すフローチャートである。
【発明を実施するための形態】
【００４５】
以下、本発明の実施の形態について、詳細に説明する。
【００４６】
（１）撮像画像処理システムの全体構成
図１は、本発明に係る撮像画像処理システムの全体構成を示す図である。図１に示されるように、撮像画像処理システムは、カメラ付き携帯電話、デジタルスチルカメラなど、撮像手段を備えた携帯端末装置１００、および、複合機、プリンタ（画像形成装置）などの画像出力装置２００を備える。
【００４７】
携帯端末装置１００は、ユーザによって携帯されるものである。ユーザは、様々な場面で携帯端末装置１００により対象物を撮像することができる。
【００４８】
本実施形態において、携帯端末装置１００は、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面（例えば、ディスプレイ画面やプロジェクターにより投影された画面）のような矩形状の撮像対象物を撮像し、当該撮像により得られた撮像画像を画像出力装置２００から出力するための文書撮像モードの機能を有している。すなわち、携帯端末装置１００は、文書撮像モードでの撮像により得られ、画像出力装置２００にて出力する対象となる画像データ（以下、出力対象画像データという）を画像出力装置２００に送信する。そして、画像出力装置２００は、受信した出力対象画像データに対して所定の画像処理を施し、画像処理後の出力対象画像データ（以下、補正済画像データという）、もしくは、補正済画像データで示される画像を出力する。
【００４９】
また、携帯端末装置１００は、撮像画像において出力すべき領域（以下、出力対象領域という）の指定を受け付けることができる。これにより、ユーザは、撮像画像の中の必要な領域のみを抽出した画像を画像出力装置２００から出力させることができる。
【００５０】
また、ユーザは、矩形状の撮像対象物である、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面などに対して、常に正面から撮像できるとは限らない。すなわち、ユーザは、撮像対象物における、文書画像が形成された平面の法線方向と、撮像手段の撮像方向とが一致しない状態で、斜め方向から撮像対象物を撮像する場合がある。この場合、撮像画像において、撮像対象物に歪み（以下、幾何学的歪みという）が生じることになる。本実施形態では、上記文書撮像モードが選択された場合、このような幾何学的歪みも補正された状態で画像出力装置２００が画像出力するように構成されている。
【００５１】
さらに、本実施形態において、画像出力装置２００は、携帯端末装置１００から受信した出力対象画像データに対して、解像度を高める高解像度補正を行う。この高解像度補正の手法としては、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008） に記載されている、複数の撮像画像データを用いた方法や、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008）に記載されている、一つの撮像画像データを用いた方法などがあり、これらの方法を用いることができる。なお、本実施形態では、同一対象物に対して複数回の連続撮像により得られた出力対象画像データを用いて高解像度補正を行うものとして説明する。ただし、本発明は、画像出力装置２００が当該高解像度化機能を有する場合に限定されるものではない。
【００５２】
なお、画像出力装置２００で実行される出力処理としては、補正済画像データで示される画像を印刷して出力する印刷処理、サーバやＵＳＢメモリなどの記憶装置へ出力対象画像データを格納するファイリング処理、電子メールに補正済画像データを添付して送信するメール送信処理などがある。
【００５３】
携帯端末装置１００と画像出力装置２００とは通信可能であり、携帯端末装置１００は、上述したように、出力対象画像データを画像出力装置２００に送信する。携帯端末装置１００と画像出力装置２００との通信方式としては、図１において符号ＡまたはＢで示されるような方式がある。符号Ａで示される方式は、ＩｒＳｉｍｐｌｅなどの赤外線通信規格のいずれかに基づく無線通信方式である。符号Ｂで示される方式は、Ｆｅｌｉｃａ（登録商標）のような非接触無線通信により、携帯端末装置１００から中継装置３００に一旦出力対象画像データを送り、その後、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような無線通信を用いて、当該中継装置３００から画像出力装置２００へ当該データを転送する方式である。本実施形態では、ユーザは、画像出力装置２００の前にきてから携帯端末装置１００を操作し、赤外線通信のような近距離無線通信方式を用いて、携帯端末装置１００から画像出力装置２００へデータ送信するものとする。
【００５４】
なお、携帯端末装置１００と画像出力装置２００との間の通信方式については、これらに限定されることなく、公知の通信方法を用いたものを適用することができる。たとえば、電子メールに出力対象画像データを添付して画像出力装置２００に送信してもよい。
【００５５】
（２）携帯端末装置の構成
まず、図２に基づいて、本実施形態に係る携帯端末装置１００について説明する。図２は、携帯端末装置１００の構成を示すブロック図である。図２に示されるように、携帯端末装置１００は、撮像部１０１、撮像画像判定部（補正情報生成部）１０２、画像処理部１０３、通信部（送信部）１０４、表示部１０５、入力部１０６、記憶媒体アクセス部１０７、記憶部１０８、制御部（送信部）１０９、補正情報生成部１１０、指定情報受付部１１１、領域決定部（出力対象領域決定部）１１２、領域抽出部（画像抽出部）１１３を備えている。
【００５６】
撮像部１０１は、ＣＣＤセンサ、ＣＭＯＳセンサを用いて、撮像対象物の撮像を行うものである。撮像部１０１は、予め設定された解像度で撮像対象物の撮像を行う。また、撮像部１０１は、ユーザにより文書撮像モードが選択された場合、１回のシャッター押下により、撮像対象物について複数回（例えば、２〜１５）連続して撮像する。通常、連続して撮像された画像は、ほぼ同じ画像であるが、手ぶれ等によって微少量だけずれることになる。
【００５７】
なお、以下では、１回のシャッター押下により撮像部１０１が連続撮像することにより得られる複数の撮像画像の各々を示す画像データをサブ撮像画像データという。また、１回のシャッター押下により撮像部１０１が連続撮像することにより得られる複数のサブ撮像画像データの組を撮像画像データセットという。また、撮像画像データで示される画像全体を撮像画像という。
【００５８】
撮像画像判定部１０２は、文書撮像モードが選択されている際に、撮像部１０１の連続撮像により得られた複数の撮像画像が、画像出力装置２００において高解像度補正を実行するための条件を含む所定の処理実行条件を満たしているか否かを判定するものである。撮像画像判定部１０２は、その判定結果を制御部１０９に出力する。撮像画像判定部１０２における具体的な処理については後述する。
【００５９】
画像処理部１０３は、撮像部１０１で撮像された画像のデータ（サブ撮像画像データ）に対して、少なくともＡ／Ｄ変換処理を行うものである。
【００６０】
通信部１０４は、ＵＳＢ（Universal Serial Bus）１．１またはＵＳＢ２．０の規格に基づく、シリアル転送／パラレル転送、無線データ通信機能を有するものである。通信部１０４は、ユーザが入力した送信指示に従って、画像出力装置２００で出力する対象となる出力対象画像データを画像出力装置２００に送信する。
【００６１】
表示部１０５は、例えば液晶ディスプレイなどにより構成されるものである。また，入力部１０６は、複数のボタンを有しており、ユーザがデータの入力を行うためのものである。
【００６２】
記憶媒体アクセス部１０７は、携帯端末装置１００の各処理を行うためのプログラムが記録された記録媒体から、プログラムを読み出すものである。
【００６３】
また、記憶部１０８は、携帯端末装置１００の各処理を行うためのプログラム、携帯端末装置１００の機種情報、ユーザ情報や処理を行う際に必要なデータを格納するものである。なお、ユーザ情報とは、携帯端末装置１００のユーザを識別する情報であり、例えば、ユーザＩＤおよびパスワードなどである。また、記憶部１０８は、文書撮像モードで撮像することにより得られた撮像画像データセットおよびその付属情報（後述する幾何学補正情報、出力処理情報、ファイルネームなど）を記憶する。
【００６４】
補正情報生成部１１０は、撮像画像データセットごとに、当該撮像画像データセットで示される画像の中の矩形状の撮像対象物の傾きおよび幾何学的歪みを補正するための情報（幾何学補正情報）を生成するものである。補正情報生成部１１０は、撮像画像データセットごとに生成した幾何学補正情報を、当該撮像画像データセットと対応付けて記憶部１０８に格納する。補正情報生成部１１０の具体的な処理内容については後述する。
【００６５】
指定情報受付部１１１は、撮像画像データセットで示される画像の中から画像出力装置２００で出力する出力対象領域を決定するための指定情報を受け付けるものである。ここで、指定情報とは、撮像画像の中においてユーザが出力対象領域として指定した領域（指定領域）の位置を示す情報である。領域決定部１１２は、指定情報受付部１１１が受け付けた指定情報に基づいて、撮像画像の中の出力対象領域を決定するものである。なお、指定情報受付部１１１および領域決定部１１２の具体的な処理内容については後述する。
【００６６】
領域抽出部１１３は、撮像画像データセットに含まれる各サブ撮像画像データから、領域決定部１１２によって決定された出力対象領域を切り出し、切り出した複数の画像データ（以下、サブ指定領域画像データという）の組を当該撮像画像データセットと対応付けて記憶部１０８に格納する。なお、以下では、一つの撮像画像データセットから生成された複数のサブ指定領域画像データの組を指定領域画像データセットという。領域抽出部１１３は、生成した指定領域画像データセットを撮像画像データセットと対応付けて記憶部１０８に格納する。
【００６７】
制御部１０９は、携帯端末装置１００の各部の制御を行うものである。具体的には、制御部１０９は、入力部１０６に文書撮像モードを選択する旨の指示が入力された場合、解像度変換の倍率の入力を促す画面を表示部１０５に表示させる。そして、制御部１０９は、入力部１０６に入力された倍率（例えば、２倍、４倍）に応じて、撮像部１０１が連続撮像する回数、および、撮像画像判定部１０２で用いる処理実行条件の一部を決定する。なお、制御部１０９は、記憶部１０８に予め格納された、倍率と撮像回数および処理実行条件の一部とを対応付けた情報に基づいて決定する。
【００６８】
また、制御部１０９は、入力部１０６に文書撮像モードを選択する旨の指示が入力された場合、画像出力装置２００での出力処理の種類（印刷処理、ファイリング処理、メール送信処理など）の選択指示、ならびに、選択した出力処理を実行するための設定条件（印刷枚数などの印刷条件、ファイリング先のサーバのアドレス、メールの送信先アドレスなど）の入力を促す画面を表示部１０５に表示する。そして、制御部１０９は、入力部１０６から、出力処理の種類および出力処理の設定条件を示す出力処理情報を取得する。
【００６９】
制御部１０９は、撮像画像判定部１０２により処理実行条件を満たしていると判定された撮像画像データセットに、ファイルネームおよび出力処理情報を付け、記憶部１０８に格納しておく。このとき、制御部１０９は、撮像画像データセットに対して、画像出力装置２００に送信していないことを示すフラグ（以下、未出力フラグという）を付けておく。
【００７０】
また、制御部１０９は、入力部１０６へ送信指示が入力されると、記憶部１０８に格納されている撮像画像データセットの各々について、出力対象画像データセットを特定し、当該出力対象画像データセットを画像出力装置２００に送信する送信処理を通信部１０４に実行させる。このとき、通信部１０４は、出力対象画像データセットとともに、各撮像画像データセットに対応付けられた、ファイルネーム、出力処理情報、および幾何学補正情報と、記憶部１０８に格納されている機種情報およびユーザ情報とを合わせて画像出力装置２００に送信する。なお、制御部１０９は、指定領域画像データセットが撮像画像データセットに対応付けられている場合には、当該指定領域画像データセットを出力対象画像データセットとし、指定領域画像データセットが撮像画像データセットに対応付けられていない場合には、撮像画像データセットを出力対象画像データセットとする。なお、制御部１０９は、指定領域画像データセットを出力対象画像データセットとするとき、出力対象画像データセットに指定領域フラグを付けて送信させる。
【００７１】
（３）撮像画像判定部の処理について
次に、携帯端末装置１００の撮像画像判定部１０２における具体的な判定処理について説明する。
【００７２】
（３−１）傾きの判定
上述したように、用紙やポスター、表示画面のような矩形状の撮像対象物を撮像し、高い解像度の画像を得ることを希望する場合に、ユーザが文書撮像モードを選択する。そのため、撮像画像判定部１０２は、撮像対象物が矩形状であると仮定して、サブ撮像画像データにおいて、撮像対象物のエッジを検出することでサブ撮像画像データにおける撮像対象物の傾きを検出する。なお、サブ撮像画像データの中の矩形状の撮像対象物のエッジ上の画素を検出する手法としては従来知られている手法を用いることができる。また、背景の中のエッジを撮像対象物のエッジとして誤判定することを防止するために、所定長さ以上のエッジのみを撮像対象物のエッジとして検出してもよい。この場合、所定長さとは、例えば、サブ撮像画像データで示される画像の端の辺の長さの８０％程度の長さを設定すればよい。または、このようにして検出されたエッジの中から、撮像対象物のエッジのものをユーザに選択してもらってもよい。このような検出方法としては、例えば、特開２００６−２３７７５７に記載の技術を用いることができる。
【００７３】
そして、撮像画像判定部１０２は、検出された撮像対象物のエッジ上の２点を選択する。例えば、図３に示されるように、サブ撮像画像データの中心から左右それぞれ横方向にｗ／２だけ離れた２点１１・１２を選択する。次に、選択された２点１１・１２の各々と、撮像画像データの端辺との距離ｄ１，ｄ２を求め、撮像画像における撮像対象物の傾きを求めることができる。図３のような場合、傾き角度をθとすると、 ｔａｎθ＝（ｄ２−ｄ１）／ｗとなる。そこで、撮像画像判定部１０２は、（ｄ２−ｄ１）／ｗの値を算出し、この値に相当する角度θをあらかじめ作成済みのテーブル（図４参照）などから読み取る。
【００７４】
そして、撮像画像判定部１０２は、検出した角度θが所定範囲内（例えば、−３０°〜＋３０°）であるか否かを判定し、その判定結果を制御部１０９に出力する。ここで、角度θが所定範囲内であることが処理実行条件の一つとなる。
【００７５】
なお、上述したように、１回のシャッター押下による撮像部１０１の複数回の撮像により、複数のサブ撮像画像データが得られる。しかしながら、当該複数のサブ撮像画像データは、手ぶれ程度のズレが生じているにすぎない。そのため、撮像画像判定部１０２は、当該複数のサブ撮像画像データの中から任意に選択した一つのサブ撮像画像データ（例えば、１番目の撮像により得られたサブ撮像画像データ）に対して、傾きの判定を行えばよい。
【００７６】
（３−２）幾何学的歪みの判定
幾何学的歪みとは、上述したように、撮像対象物における文書画像が形成された平面の法線方向とは異なる斜め方向から撮像対象物を撮像した場合に、撮像画像の中で撮像対象物が矩形状から歪んだ形状を有することである。例えば、用紙の法線方向に対して用紙の左下方向から斜めに撮像した場合、図５に示されるように、撮像対象物は、歪んだ四角形となる。
【００７７】
本実施形態では、後述するように、画像出力装置２００がこのような幾何学的歪みを補正する機能を有している。ただし、幾何学的歪みの度合いが大きい場合、補正したとしても、判読性がそれほど向上しない。そこで、本実施形態では、撮像画像判定部１０２は、幾何学的歪みの度合いを示す特徴量を検出し、当該特徴量が所定範囲内であるか否かを判定する。
【００７８】
矩形状の撮像対象物と背景との境界線は、濃度の変化が激しい部分が線分状に連なる。すなわち、撮像画像における矩形状の撮像対象物と背景との境界線は、線分状に連なるエッジ画素の群で表される。そこで、撮像画像データの中から、線分状に連なるエッジ画素の群を検出することで、撮像対象物と背景との境界線の位置を推定することができる。つまり、撮像画像判定部１０２は、撮像画像データの中から、線分状に連なるエッジ画素の群を検出し（直線認識を行い）、検出したエッジ画素の群を、撮像対象物と背景との境界線と見なすことができる。
【００７９】
本実施形態では、必ずしも画角の中心付近に撮像対象物の各辺のエッジが存在するとは限らないので、ある一定間隔ですべての辺からのエッジを抽出し、各エッジを表す線分を求めて、さらにこれらの交点を算出して、撮像対象物の領域とすれば良い。
【００８０】
なお、上述したように、１回のシャッター押下による撮像部１０１の複数回の撮像により、複数のサブ撮像画像データが得られる。しかしながら、当該複数のサブ撮像画像データは、手ぶれ程度のズレが生じているにすぎない。そのため、撮像画像判定部１０２は、当該複数のサブ撮像画像データの中から任意に選択した一つのサブ撮像画像データに対して、以下のような幾何学的歪みの判定を行えばよい。
【００８１】
まず、撮像画像判定部１０２は、サブ撮像画像データについて、ラスター走査を行う。ここで、図５に示されるように、ラスター走査の順方向をＸ方向、Ｘ方向に垂直な方向をＹ方向とする。また、撮像画像において左上隅を原点とする。
【００８２】
１ライン分走査を行い、エッジが存在しなければ、撮像画像判定部１０２は、Ｙ方向に所定量だけずらした次のラインについて走査する。なお、ライン間の間隔は一定であればよく、１画素である必要はない。
【００８３】
そして、撮像画像判定部１０２は、ラスター走査において、最初にエッジを検出したラインをＬ１（１ライン目）とし、図６に示すように、順方向で最初のエッジと判定された点の座標を第１群に格納し、同じライン上で２つ目のエッジと判定された点の座標を第２群に分類する。引き続き次のラインの走査を行い、エッジ検知する。そして、それぞれのラインＬｉについて、順方向で１番目に撮像対象物のエッジと判定された点と、２番目に撮像対象物のエッジと判定された点とのＸ座標値の差分（Ｘ座標の距離ｄｉ）を求め下記のように判定を行う。
【００８４】
なお、ラインＬｉにおける最初のエッジのＸ座標をＸｉ１（第１群に分類されているＸ座標）、２つ目のエッジのＸ座標をＸｉ２（第２群に分類されているＸ座標）とする。検出方法は以下のようである。
【００８５】
（ａ）１ライン（Ｌ１）目の座標Ｘ１１およびＸ１２については変更しない。
【００８６】
（ｂ）２ライン目以降のｉライン目については、座標間の距離ｄｉ１（＝Ｘｉ１−Ｘ（ｉ−１）１）およびｄｉ２(同様)を算出する。以下、ｄｉ１に関して述べるため添え字の１を省略するが、ｄｉ２も同様である。
【００８７】
（ｃ）３ライン目以降のｉライン目は、ｄｄｉ＝abs｛（ｄｉ）−ｄｉ−１｝を算出する。ｄｄｉ≦th１(≒０に近い小さな数値)であれば、座標Ｘiは同じ群に分類する。そうでない場合（ｄｄｉ＞th１）は、別の群（第３群または第４群）に分類する。
【００８８】
（ｄ）初期処理としてｉ=４のときのみ、Ｘ２の群を確定させるための処理を行う。以下のようにする。
【００８９】
i)ｄｄ３≦th１ かつ ｄｄ４≦th１ → Ｘ２：同群
ii)ｄｄ３＞th１ かつ ｄｄ４≦th１ → Ｘ２：別群
iii)ｄｄ３≦th１ かつ ｄｄ４＞th１ → Ｘ２：同群
iv)ｄｄ３＞th１ かつ ｄｄ４＞th１ → Ｘ２：同群
一度、別群（第３群または第４群）に遷移した場合は、増減の確認はする必要はない。
【００９０】
このような処理を画像全体に行って、各群に属するエッジ点を抽出する。そして、群ごとに、当該群に属するエッジ点の座標を最小２乗法などで直線近似し、当該群に属するエッジ点に近似した直線を求める。ここで、撮像画像判定部１０２は、各群について求めた近似直線と当該群に含まれるエッジ画素との距離の二乗和の平均が所定閾値以下である場合に、エッジ画素が線分状に配列しているものと判断し、以下の処理を続行することができる。これにより、撮像画像判定部１０２は、撮像対象物と背景との境界線として推定される、線分状に連なるエッジ画素の群を検出することができる。なお、撮像画像判定部１０２は、各群について求めた近似直線と当該群に含まれるエッジ画素との距離の二乗和の平均が所定閾値より大きい場合、エッジ画素が線分状に配列していない可能性が高いと判断し、検出されたエッジの中から、撮像対象物のエッジのものをユーザに選択してもらってもよい。
【００９１】
図７は、上記のような処理によって、ラスター走査によってエッジ点を抽出し、４つの群に分類したときの図である。図において、丸印が第１群に属するエッジ点、四角印が第２群に属するエッジ点、三角印が第３群に属するエッジ点、星印が第４群に属するエッジ点を示し、最小２乗法により求められた、各群に属するエッジ点の近似直線を点線で示す。
【００９２】
そして、４つの群について求めた直線の交点（図中、交点１〜４としている）を求め、４つの直線で囲まれた領域を撮像対象物の領域として特定することができる。
【００９３】
さらに、上記の分類処理を９０度回転させた画像に対して行っても良い。こうすることで、理想的に画像内の水平方向・垂直方向に平行に配置されたような原稿のエッジも抽出することが可能となる。すなわち、ラスター走査することで、回転前の画像では、垂直方向のエッジが検出できる。一方、回転後の画像では、回転前に水平方向であったエッジ（回転後には水平方向であるエッジ）を検出することができる。これにより、垂直方向・水平方向に平行なエッジも抽出することができる。回転前で十分な情報量（各群で例えば３点以上の交点）があれば、回転前の情報のみを用いればよいし、いずれかの群の交点が１点未満の場合、当然直線の式は求められないため、回転後の交点を用いればよい。
【００９４】
あるいは、求まった交点座標のみを再度座標変換して元に戻し、それぞれの群の分布する領域から、対応する群を求めて、交点情報を統合し、直線の式を求めても良い。すなわち、回転前の画像から求められた交点座標と、回転後の画像から求められた交点を逆回転して得られた交点座標とから、同一の群に属する好転座標を統合して直線の方程式を求めればよい。
【００９５】
なお、エッジ点の抽出方法としては、少なくとも１以上の画素幅の小ウィンド内での画素値をそのまま比較（２以上の幅の場合は和・平均値を比較）していき、隣接する値の差分が一定以上の場合、エッジ点であると判定すればよい。なお、背景や撮像対象物内のテキストのエッジなどを誤って検出することを防止するために、所定長さ以上のエッジのみを撮像対象物のエッジとして検出してもよい。この場合、所定長さとは、例えば、サブ撮像画像データで示される画像の端の辺の長さの８０％程度の長さを設定すればよい。または、このようにして検出されたエッジの中から、撮像対象物のエッジのものをユーザに選択してもらってもよい。このような検出方法としては、例えば、特開２００６−２３７７５７に記載の技術を用いることができる。もしくは、それぞれの座標群の評価を行ったり、線分検知のための処理（ハフ変換など）を行ったりすることでも防止できる。さらに、縮小画像を用いた処理をプレ処理として行うことで、テキストや細かなテクスチャのエッジを誤って検出することを防止することができる。
【００９６】
そして、撮像画像判定部１０２は、以上のようにして４つの直線及びそれらの交点を求めると、当該４つの直線で形成される四角形の対辺の長さの比を計算する。当該長さの比は、上記交点の座標から容易に求まる。なお、対辺は２組あるので、撮像画像判定部１０２は、当該２組の各々について長さの比を求める。
【００９７】
ここで、対辺の長さの比は、矩形状の撮像対象物を正面から撮像した場合には撮像画像の中の撮像対象物も矩形状であるため、１となる。一方、斜め方向から撮像した場合には、撮像画像の中の撮像対象物の形状は歪んだ四角形となるため、１とは異なる値となる。そして、撮像方向と、撮像対象物の文書画像が形成された平面の法線方向とのなす角度が大きくなるほど、当該比の値と１との差が大きくなる。そのため、対辺の長さの比は、幾何学的歪みの度合いを示す特徴量の一つであるといえる。
【００９８】
その後、撮像画像判定部１０２は、求めた二つの比の両方が所定範囲内（例えば、０．５〜２）であるか否かを判定し、その判定結果を制御部１０９に出力する。ここで、所定範囲は、画像出力装置２００において補正可能な範囲として予め定められたものであり、記憶部１０８に格納されている。また、二つの比の両方が所定範囲内（例えば、０．５〜２）であることが処理実行条件の一つとなる。
【００９９】
なお、撮像画像判定部１０２は、幾何学的歪みの度合いを示す別の特徴量として、上記のようにして検出された４つの交点を含む２つの直線のなす角度などを用いてもよい。
【０１００】
また、幾何学的歪みの特徴量の求め方は、上記の説明の例に限定されるものではない。例えば、撮像画像判定部１０２は、特開２００６−２３７７５７に記載されている方法など従来知られている手法を用いて、撮像画像データの中から、線分状に連なるエッジ画素の群を検出する（直線認識を行う）。このとき、撮像画像判定部１０２は、所定長さ以上の線分状に連なるエッジ画素の群を検出してもよい。そして、撮像画像判定部１０２は、検出した４つの線分状のエッジ画素の群を辺とし、全ての内角が１８０°未満である四角形を抽出する。そして、この四角形の対辺の長さの比を幾何学的歪みの特徴量として算出してもよい。
【０１０１】
（３−３）複数枚の画像のズレ量の判定
上述したように、画像出力装置２００は、同一の撮像対象物の複数のサブ撮像画像データに基づいて、高解像度補正を実行する。当該高解像度補正を実行するためには、解像度変換の倍率に応じた所定数の画像データが、所定量だけずれている必要がある。そこで、本実施形態では、撮像画像判定部１０２は、撮像部１０１が撮像した複数のサブ撮像画像データの中に、画像出力装置２００で高解像度補正を実行するために必要な、所定量だけずれた所定数のサブ撮像画像データが含まれるか否かを判定する。
【０１０２】
なお、文字の判読性を上げるような高解像度補正のために必要なズレとは、対象とする画像データの一画素未満（小数点）のズレを指す。すなわち、小数点以下（１画素未満）の値、例えば、０．３〜０．７などのズレが重要である。整数部分のズレは高解像度補正には考慮されない。例えば、１．３画素、２．３画素などの１画素未満のズレを含むような場合、複数の画像に基づいた高解像度補正を実行することができるが、１画素、２画素などの１画素未満のズレを含まない場合、高解像度補正を実行することができない。
【０１０３】
例えば、変換倍率が２倍の場合、高解像度補正に必要な画像データの数は２であり、２つの画像データのずれ量としては画素単位で小数点以下０．３〜０．７であることが好ましい。そのため、記憶部１０８には、解像度変換の倍率「２倍」と、撮像回数「２」および処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」とを対応付けた情報が予め格納されており、制御部１０９は、当該情報に基づいて、撮像部１０１に対して２回連続して撮像させ、撮像画像判定部１０２に対して、処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」に従った判定を実行させるものとする。
【０１０４】
また、変換倍率が４倍である場合、高解像度補正に必要な画像データの数は４であり、その内の一つの画像データを基準画像データとしたとき、当該基準画像データと残りの３つの画像データとのずれ量がそれぞれ画素単位で小数点以下０．２〜０．３、０．４〜０．６、０．７〜０．８であることが好ましい。そのため、記憶部１０８は、解像度変換の倍率「４倍」と、撮像回数「４」および処理実行条件「必要画像データ数：４、ずれ量：０．２〜０．３、０．４〜０．６、０．７〜０．８」とを対応付けた情報を記憶している。
【０１０５】
なお、以下では、説明を簡略化するため、解像度変換の倍率として２倍が選択された場合について述べる。
【０１０６】
まず、撮像画像判定部１０２は、サブ撮像画像データの任意の一つを選択し、当該サブ撮像画像データ（以下、第１の撮像画像という）について、上記幾何学的歪みの判定の際に求めた撮像対象物の領域の中からズレ検出用部分領域を選択する。ここで、ズレ検出用部分領域は、第１の撮像画像と残りのサブ撮像画像データ（以下、第２の撮像画像という）との間のズレ量を求めるために用いるものであるため、当該ズレ検出用部分領域内で画素値の変化が大きいもの（明確なパターンが存在するもの）が好ましい。そこで、撮像画像判定部１０２は、以下のような方法によってズレ検出用部分領域を抽出する。
【０１０７】
撮像画像判定部１０２は、撮像対象物の領域の重心位置に存在する画素を特定し、当該画素を注目画素とする。そして、注目画素を含むｎ×ｎ画素の領域を選定する。選定した領域について、以下の選定要件を満たすか否か判断し、満たす場合には、当該領域をズレ検出用部分領域とする。一方、満たさない場合には、所定のオフセット量に基づいて領域を移動させ、移動後の領域について同じ判断を行う。このようにして、ズレ検出用部分領域を抽出する。
【０１０８】
ここで、選定要件としては、例えば、以下二つが挙げられる。
一つとしては、領域内の分散に準じた値を用いるものである。注目画素近傍のｎ×ｎ画素の領域に対して画素値をＰ（i）とすると部分領域の分散値Variance（x）は、下記式（１）で表される。この分散値Variance（x）の値が所定閾値以上あることを選定要件とする。また簡易化のために本式の分子のみを考えても良い。
【０１０９】
【数１】
【０１１０】
他の一つとしては、注目画素近傍のｎ×ｎ画素の領域に対して、１次微分フィルタのようなエッジ抽出フィルタを掛けて、２値化し、総和を見る。図８は１次微分フィルタ例を示し、この場合も、総和がある所定閾値以上（例えば、部分領域画素数の５％以上など）あることを選定要件とすればよい。
【０１１１】
次に、このようにして求められた、第１の撮像画像のズレ検出用部分画像Ａ（ｎ×ｎ）に対し、第２の撮像画像の中から、中心がほぼ同じ位置のズレ検出用部分画像Ｂ（ｍ×ｍ）（ｍ＞ｎ）として切り出す。この切り出し方法は、第１の撮像画像におけるズレ検出用部分画像Ａの中心画素の座標と、第２の撮像画像におけるズレ検出用部分画像Ｂの中心画素の座標とが一致するように、切り出す。
【０１１２】
その後、切り出されたズレ検出用部分画像Ｂ中においてズレ検出用部分画像Ａに最も適合する領域をサブピクセル精度で求める。その手法としては、ズレ検出用部分画像Ａをテンプレートとした正規化相関パターンマッチングが挙げられる。
【０１１３】
正規化相関パターマッチングの例として、既知であるところの正規化相関式を用いて相関を算出する。一般的にＮ画素からなる２つのパターンＩｎｐｕｔ（Ｉ）とＴａｒｇｅｔ（Ｔ）の相関式は、下記式（２）と表すことができる。ここで、α、β、γはそれぞれ下記のように表せる。
【０１１４】
【数２】
【０１１５】
【数３】
【０１１６】
例えば、ｎ＝５、ｍ＝7の場合、ズレ検出用部分画像Ｂ（ｍ×ｍ）のなかのズレ検出用部分画像Ａと同サイズの領域（ｎ×ｎ）ごとに上記相関式を演算すると、結果として３×３の相関値Ｍａｐが生成される。この相関値Ｍａｐを用いて、フィットする２次曲面を求める。２次曲面の求め方としては、例えば、Ｓ（ｘ，ｙ）＝ａ＊ｘ＊ｘ＋ｂ＊ｘ＊ｙ＋ｃ＊ｙ＊ｙ＋ｄ＊ｘ＋ｅ＊ｙ＋ｆとして、９点のうち相関値の高い６点を選び、連立方程式を解いて各係数を求める。この関数の極値（＝最大値）の座標値（ｘ、ｙの両方）の小数点以下の値が所定範囲（ここでは、０．３〜０．７）であれば、処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」を満たすものと判定する。
【０１１７】
なお、極値の求め方は、上記２次式を偏微分し、それぞれが０である点の座標を求めればよい。このとき、実際には各係数（ａ〜ｆ）を求める必要はないので、直接相関値（Ｓ１〜Ｓ６）を用いたほうが効率的である。求めるべき式（３）は以下のようになる。ここで、原点は着目するウィンド基準となる。
【０１１８】
【数４】
【０１１９】
なお、このようなサブピクセル精度の位置ズレ確認を少なくとも一か所にて行うが、数か所で行うことが望ましい。
【０１２０】
そして、撮像画像判定部１０２は、処理実行条件を満たすか否かの判定結果を制御部１０９に出力する。
【０１２１】
（４）ユーザへの通知に関して
撮像画像判定部１０２から判定結果を受けた制御部１０９は、その判定結果に応じて、再撮像を促すメッセージを表示部１０５に表示させる。
【０１２２】
例えば、撮像画像判定部１０２から傾き角度θが所定範囲内でない旨の判定結果を受けた場合、制御部１０９は、撮像対象物が傾かないようにして再度撮像することを促すメッセージを表示部１０５に表示させる。
【０１２３】
また、幾何学的歪みの度合いを示す特徴量（ここでは、撮像画像における撮像対象物の対辺の長さの比）が所定範囲内でない旨の判定結果を受けた場合、制御部１０９は、撮像対象物における文書画像が形成された平面の法線方向から再度撮像することを促すメッセージを表示部１０５に表示させる。
【０１２４】
さらに、所定量だけずれたサブ撮像画像データが所定数ない旨の判定結果を受けた場合、制御部１０９は、例えば「この画像は処理できない可能性があります。もう一度撮影し直し下さい。」などの、再度撮像を促すメッセージを表示部１０５に表示し、新たに画像を得るようにする。その後、新たに撮像した複数のサブ撮像画像データの組合せ、もしくは、前に撮像したサブ撮像画像データおよび再度撮像されたサブ撮像画像データの組合せに対して、撮像画像判定部１０２が再度判定処理を行う。
【０１２５】
そして、制御部１０９は、撮像画像判定部１０２により全ての処理実行条件を満たすと判定されたときに、当該処理実行条件を満たす所定数のサブ撮像画像データの組を撮像画像データセットとし記憶部１０８に格納する。
【０１２６】
（５）幾何学補正情報の生成について
上記（３−２）のように、撮像画像判定部１０２は、サブ撮像画像データで示される撮像画像の中から、線分状に連なるエッジ画素の群であるエッジ画素群を４つ検出し、当該４つのエッジ画素群を辺とする四角形の対辺の比を幾何学的歪みの度合いを示す特徴量として算出した。補正情報生成部１１０は、撮像画像判定部１０２が抽出した、４つの線分状に連なるエッジ画素群の位置を示す情報を幾何学補正情報として生成する。
【０１２７】
線分状に連なるエッジ画素群の位置を示す幾何学補正情報としては、例えば、当該エッジ画素群から求めら得た近似直線の位置を示す情報を用いてもよい。この場合、幾何学補正情報は、撮像画像データで示される撮像画像の中の特定点（例えば、中心点や左上の角）を原点とし、上下方向をｙ軸、ｙ軸に垂直な方向をｘ軸としたとき、このｘｙ平面上のエッジ画素群の近似直線を示す、ｘ座標およびｙ座標を変数とする関数を用いることができる。
【０１２８】
補正情報生成部１１０は、撮像画像判定部１０２により検出された４つのエッジ画素群の各々について、幾何学補正情報を生成し、撮像画像データセットと対応づけて記憶部１０８に格納する。
【０１２９】
なお、撮像画像データセットに含まれる複数のサブ撮像画像データの各々は、手ぶれ程度のずれのみが生じているだけであるので、１番目の撮像により得られたサブ撮像画像データについて幾何学補正情報を生成すればよい。
【０１３０】
（６）指定情報受付部の処理について
次に、指定情報受付部１１１の処理について説明する。
指定情報受付部１１１は、記憶部１０８に格納され、かつ、未出力フラグが付けられている撮像画像データセットを読み出し、当該撮像画像データセットの中の１番目に撮像されたサブ撮像画像データで示される撮像画像を表示部１０５に表示する。
【０１３１】
なお、未出力フラグが付けられている撮像画像データセットが複数格納されている場合には、撮像時刻の順に順次表示させる。もしくは、複数の撮像画像データセットの各々で示されるサムネイル画像の一覧を表示させてもよい。
【０１３２】
そして、指定情報受付部１１１は、撮像画像データセットごとに、画像全体を出力するのか、画像の中の一部の出力対象領域のみを出力するのかのどちらかの指示を受け付ける。画像の中の一部の出力対象領域のみを出力する指示を受け付けた撮像画像データセットについて、指定情報受付部１１１は、出力対象領域を決定するために、ユーザが指定する四角形の指定領域の位置を示す指定情報を受け付ける。なお、本実施形態では、指定情報受付部１１１は、四角形の指定領域の入力を受け付ける。上記したように、複数のサブ撮像画像データは、手ぶれ程度のズレが生じているにすぎないため、指定情報受付部１１１は、当該複数のサブ撮像画像データの中から任意に選択した一つのサブ撮像画像データ（例えば、１番目の撮像により得られたサブ撮像画像データ）に対して、ユーザが指定する四角形の指定領域の位置を示す指定情報を受け付ければよい。
【０１３３】
具体的には、指定情報受付部１１１は、撮像画像とともに、四角形の指定領域の頂点の位置を入力するようにユーザに促す通知を表示部１０５に表示する。そして、指定情報受付部１１１は、タッチパネルで構成された表示部１０５において、指または携帯端末装置１００に付属するペンにて押下された４つの指定点の座標を、四角形の指定領域の４頂点の位置を示す指定情報とする。
【０１３４】
４点の指定点の座標を指定する際、画面が押圧されると、押圧された箇所を拡大表示するようにしても良い。押圧された箇所を画面全体に表示するようにしても良く、画像全体は表示しておき、押圧された箇所を画面の４分の１程度に拡大して重ねて表示するようにしても良い。このとき、指定した位置を微調整できる調整ボタンを表示するようにしても良い。そして、例えば、「ＯＫ」ボタンを押す位置を確定し、画像の全体表示に戻るようにする。このようにすることで、後で修正等を行う手間を省くことができる。
【０１３５】
図９は、出力対象領域を決定するための４つの指定点が入力されたときの表示部１０５の画面例を示す図である。図９に示されるように、指定情報受付部１１１は、撮像画像データで示される撮像画像の全体を表示部１０５に表示する。なお、図９では、表示部１０５の画面全体に撮像画像の全体が表示されている例である。図９において、点Ｐ１〜Ｐ４がユーザによって指定された４つの指定点を示している。そして、指定情報受付部１１１は、４つの指定点Ｐ１〜Ｐ４の座標を指定情報とする。
【０１３６】
ここで、ユーザによって押圧されたポイントは、ある程度の大きさをもった領域になる場合がある。そこで、指定情報受付部１１１は、押圧された領域の中心点を指定点としてもよい。もしくは、指定情報受付部１１１は、押圧された４つの領域の中心点を頂点とする四角形の重心点を求め、押圧された４つの領域の各々について、当該領域に含まれ、かつ、上記重心点から最も離れた点を指定点としてもよい。もしくは、指定情報受付部１１１は、押圧された４つの領域の各々から一つずつ抽出した任意の４点を頂点とする四角形の面積が最も大きくなるときの四角形の頂点を指定点としてもよい。
【０１３７】
なお、上述したように、斜め方向から撮像することにより撮像画像に幾何学的歪みが生じる場合がある。そのため、ユーザは、出力対象領域として、矩形状ではなく、歪んだ四角形の領域を選択することを希望する場合がある。そこで、指定情報受付部１１１は、矩形状に限らず四角形の領域を指定領域として受付可能としている。
【０１３８】
（７）領域決定部の処理について
次に、領域決定部１１２の処理について具体的に説明する。上述したように、領域決定部１１２は、指定情報受付部１１１が受け付けた指定情報に基づいて、出力対象領域を決定する。この決定方法としては、以下の何れかの方法が考えられる。
【０１３９】
（方法Ａ）最も簡単な方法として、領域決定部１１２は、指定情報で示される位置の４つの指定点を頂点とする四角形の領域を出力対象領域と決定すればよい。すなわち、領域決定部１１２は、指定領域をそのまま出力対象領域として決定する。
【０１４０】
（方法Ｂ）また、領域決定部１１２は、指定情報で示される領域よりも僅かに広い領域を出力対象領域として決定してもよい。携帯端末装置１００は、携帯されることを考慮して、一般にコンパクトな形状に設計されていることが多い。そのため、携帯端末装置１００の表示部１０５も小さいことが多く、誤って所望する領域よりも小さい領域を指定領域として指定してしまうことが考えられる。
【０１４１】
そこで、領域決定部１１２は、図１０に示されるように、例えば、入力された４つの指定点Ｐ１〜Ｐ４を頂点とする四角形の指定領域よりも１０％広い領域を出力対象領域としてもよい。具体的には、領域決定部１１２は、入力された４つの指定点を頂点とする四角形の重心点を算出し、当該重心点を端点とし、当該重心点と入力された各指定点とを含む半直線を求める。そして、領域決定部１１２は、各半直線上において、重心点から、当該重心点と入力された指定点との距離の１．１倍だけ離れた点を出力対象領域の頂点として決定すればよい。これにより、ユーザが所望する領域の一部が欠落して出力されることを防止することができる。
【０１４２】
（方法Ｃ）ユーザが撮像画像の中から出力対象領域を決定するための指定領域を指定する場合、図９で示されるように撮像対象物中のグラフや表などの枠線で囲まれた領域を選択するケースが想定される。もしくは、撮像対象物全体を選択するケースが想定される。このようなケースでは、枠線や撮像対象物と背景との境界線で囲まれた領域を出力対象領域として決定することが好ましい。
【０１４３】
しかしながら、携帯端末装置１００は携帯されることを考慮して、比較的小さいサイズに設計されており、その表示部１０５の画面も小さいことが多い。そのため、出力対象領域として上記のような枠線や境界線で囲まれた領域を選択しようとしても、正確にその線上の画素を指定することが困難である。その結果、所望の出力対象領域からずれた領域を指定領域として指定せざるを得ないことが考えられる。本方法は、このようなケースであっても、指定領域から所望の出力対象領域を決定できる方法である。
【０１４４】
上述したように、このような枠線や境界線を構成する画素は、その周辺画素との間の画素濃度の差が相対的に大きいという特徴を有しており、エッジ画素として検出することができる。本処理例は、このエッジ画素の検出を利用するものである。なお、エッジ画素の検出方法としては公知の技術を用いればよい。
【０１４５】
また、本方法では、指定情報は、指定領域の４頂点として入力された４つの指定点の座標であり、この座標は、図５に示されるように、撮像画像における左上隅を原点とし、横方向のＸ軸の座標、および、Ｘ軸に垂直なＹ軸の座標で表されているものとする。
【０１４６】
領域決定部１１２は、指定情報で示される４つの座標で示される指定点を、図９に示されるように、左上の指定点Ｐ１、右上の指定点Ｐ２、左下の指定点Ｐ３、右下の指定店Ｐ４に分類する。具体的には、領域決定部１１２は、４つの指定点を、Ｘ座標値が小さい２つの指定点と大きい２つの指定点に分類する。次に、領域抽出部１１３は、Ｘ座標値が小さい２つの指定点のうち、Ｙ座標値が小さい方の指定点を左上の指定点Ｐ１とし、Ｙ座標値が大きい方の指定点を左下の指定点Ｐ３とする。また、領域決定部１１２は、Ｘ座標値が大きい２つの指定点のうち、Ｙ座標値が小さい方の指定点を右上の指定点Ｐ２とし、Ｙ座標値が大きい方の指定点を右下の指定点Ｐ４とする。
【０１４７】
次に、領域決定部１１２は、撮像画像データセットに含まれるサブ撮像画像データの中から、各指定点を中心とした数十画素（例えば、２０〜３０画素）×数十画素（例えば、２０〜３０画素）のブロックを特定する。次に、領域決定部１１２は、各ブロックにおいてエッジ画素を検出する。そして、領域抽出部１１３は、各ブロックにおいて、隣接するエッジ画素を連結させ、連結された複数のエッジ画素の形状を、参照形状を参照することにより判定する。
【０１４８】
ここで、参照形状は、図２１に示されるように、指定点Ｐ１〜Ｐ４に応じて予め定められている。具体的には、指定点Ｐ１に対しては、矩形状の枠線の左上の角部付近のエッジ形状であり、指定点Ｐ２に対しては、矩形状の枠線の右上の角部付近のエッジ形状であり、指定点Ｐ３に対しては、矩形状の枠線の左下の角部付近のエッジ形状であり、指定点Ｐ４に対しては、矩形状の枠線の右下の角部付近のエッジ形状である。
【０１４９】
領域決定部１１２は、例えば、指定点Ｐ１において、エッジ画素を連結させたときの端点の座標位置（２つの端点と連結部）より、左上角部のエッジ形状であると判定されるとき、指定情報で示される座標の指定点ではなく、抽出したエッジ画素のうちの角部を構成する画素の点を特定点として選択する特定点選択処理を実行する。左上角部のエッジ形状ではないと判定される場合、指定情報で示される座標の指定点を採用する。上記エッジ形状は、図９のように、幾何学補正がなされていない、撮像された状態の撮像画像データより求められるので、エッジ部の角度は、鋭角や鈍角に成りうる。そこで、エッジ形状の判定は、角部が存在することと線状パターンの方向より判断すれば良い。また、角部は、２つの線状パターンが連結している必要はなく、数画素程度画素が欠けていても、本来は連結していると判断して、エッジ形状の判定を行うようにしても良い。許容画素数については、種々の画像サンプルを基に、適切な値を設定すれば良い。なお、領域決定部１１２は、指定点ごとに当該特定点選択処理を実行してもよい。もしくは、領域決定部１１２は、全ての指定点において各指定点に対応するエッジ形状であると判定された場合に、４つの指定点の代わりに、各ブロックから抽出したエッジ画素のうちの角部を構成する４つの画素の点を特定点として選択してもよい。
【０１５０】
そして、領域決定部１１２は、各指定点に基づいて選択した４つの特定点を頂点とする四角形の領域を出力対象領域として決定する。
【０１５１】
これにより、枠線や境界線で囲まれた領域を選択することを希望しているが、携帯端末装置１００の表示部１０５の画面上において、当該枠線または境界線の角部から少しずれた位置の点を指定してしまったとしても、枠線または境界線の角部を構成する画素を出力対象領域の頂点として選択することができる。その結果、ユーザは、指定点を正確に入力できなくても、ある程度近い点を指定することで、希望している出力対象領域の画像を得ることができる。
【０１５２】
（８）出力対象画像データの画像出力装置への転送について
ユーザは、携帯端末装置１００を持って画像出力装置２００の近くにきて、携帯端末装置１００を操作し、赤外線通信のような近距離無線通信方式を用いて出力対象画像データを画像出力装置２００に送信させる。具体的には、ユーザは、携帯端末装置１００の入力部１０６に、出力対象画像データの送信指示を入力する。
【０１５３】
出力対象画像データの送信指示が入力されると、制御部１０９は、記憶部１０８に格納されており、かつ、未出力フラグが付けられている撮像画像データセットの各々について、出力対象画像データを特定する。そして、制御部１０９は、出力対象画像データを画像出力装置２００に送信する送信処理を、通信部１０４に実行させる。なお、通信部１０４は、出力対象画像データと、撮像画像データセットに対応付けられているファイルネーム、出力処理情報および幾何学補正情報、ならびに、記憶部１０８に格納されている機種情報およびユーザ情報とを合わせて送信する。
【０１５４】
なお、制御部１０９は、撮像画像データセットに対応付けられた指定領域画像データセットが記憶部１０８に格納されている場合には、当該指定領域画像データセットを出力対象画像データとし、撮像画像データセットに対応付けられた指定領域画像データセットが記憶部１０８に格納されていない場合には、当該撮像画像データセットを出力対象画像データとする。これにより、送信データの容量を必要最小限にすることができる。
【０１５５】
そして、制御部１０９は、出力対象画像データとして指定領域画像データセットを送信する場合、出力対象画像データが撮像画像全体ではなく指定領域のみであることを示す指定領域フラグを付けて送信する。
【０１５６】
なお、制御部１０９は、出力対象画像データの送信指示が入力されたとき、記憶部１０８に格納されている撮像画像データセットの一覧を表示部１０５に表示し、送信すべきデータセットの選択入力を促してもよい。そして、制御部１０９は、ユーザによって選択された撮像画像データセットについて、出力対象画像データを送信させてもよい。
【０１５７】
制御部１０９は、出力対象画像データを送信すると、当該出力対象画像データに対応する撮像画像データセットに対して、未出力フラグを削除して、出力済みであることを示す出力済フラグを付ける。
【０１５８】
（９）画像出力装置の構成
次に、本実施形態に係る画像出力装置２００の構成について説明する。本実施形態において、画像出力装置２００は、スキャナ、プリンタ、複写機等の機能を備えた複合機である。
【０１５９】
図１１は、画像出力装置２００の構成を示すブロック図である。画像出力装置２００は、画像読取部２０１、画像処理部（補正済データ生成部）２０２、認証部２０３、画像形成部（出力部）２０４、表示部２０５、入力部２０６、第１通信部（受信部）２０７、第２通信部（出力部）２０８、記録媒体アクセス部２０９、記憶部２１０、および制御部（出力部）２１２を備えている。
【０１６０】
画像読取部２０１は、原稿を読み取るものであり、ＣＣＤ（Charge Coupled Device）を備えたスキャナ部を有し、原稿から反射してきた光を、ＲＧＢに色分解された電気信号（アナログの画像信号）に変換し、この電気信号を出力するものである。
【０１６１】
画像処理部２０２は、画像データに対して、所定の画像処理を行うものである。本実施形態では、画像処理部２０２は、携帯端末装置１００から受信した出力対象画像データに対して所定の画像処理を行い、補正済画像データを生成する。画像処理部２０２における画像処理の詳細については後述する。
【０１６２】
認証部２０３は、携帯端末装置１００から受信した出力対象画像データの出力処理を行う際に、ユーザ認証を行うものである。具体的には、認証部２０３は、携帯端末装置１００から受信したユーザ情報と、入力部２０６に入力されたユーザ情報（ユーザＩＤおよびパスワード）とを照合してユーザ認証を行う。認証部２０３は、認証結果を制御部２１２に送る。
【０１６３】
画像形成部２０４は、例えば電子写真方式やインクジェット方式を用いて、紙などの記録用紙上に画像を形成するものである。すなわち、画像形成部２０４は、出力処理の一つとして、補正済画像データで示される画像を記録用紙やＯＨＰ用紙などの記録紙に印刷する印刷処理を実行するものである。
【０１６４】
表示部２０５は、例えば液晶ディスプレイ等より構成される。また、入力部２０６は、例えば液晶ディスプレイのタッチパネルやボタンを押すことなどによりデータの入力を行うためのものである。
【０１６５】
第１通信部２０７は、ＵＳＢ１．１またはＵＳＢ２．０の規格に基づく、シリアル転送やパラレル転送、無線データ通信機能を有するものである。第１通信部２０７は、携帯端末装置１００から、ファイルネーム、携帯端末装置１００の機種情報、ユーザ情報および出力処理情報が付加された出力対象画像データを受信する。
【０１６６】
第２通信部２０８は、（ａ）無線ＬＡＮの規格である、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂおよびＩＥＥＥ８０２．１１ｇのいずれかに基づく無線技術を利用したデータ通信、（ｂ）イーサネット（登録商標）を利用した通信用インターフェースの機能を有し、ＬＡＮケーブルを介した、ネットワークとのデータ通信、（ｃ）無線通信規格である、ＩＥＥＥ８０２．１５．１（いわゆるＢｌｕｅｔｏｏｔｈ（登録商標））やＩｒＳｉｍｐｌｅなどの赤外線通信規格、Ｆｅｌｉｃａ（登録商標）などの通信方式のいずれかに基づく無線技術を利用したデータ通信、の機能を有するものである。
【０１６７】
第２通信部２０８は、出力処理として、画像処理部２０２により所定の画像処理が施された補正済画像データをサーバに格納するファイリング処理、もしくは、当該所定の画像処理が施された補正済画像データを添付したメールを送信するメール送信処理を実行する。
【０１６８】
記録媒体アクセス部２０９は、プログラムが記録された記録媒体から、プログラムを読み出すものである。記憶部２１０は、上記各部が処理を実行するためのプログラムを記憶するためのものである。
【０１６９】
制御部２１２は、画像出力装置２００の各部の制御を行うものである。具体的には、制御部２１２は、第１通信部２０７が携帯端末装置１００から出力対象画像データ（撮像画像データセット、または、指定領域画像データセット）を受信すると、当該出力対象画像データを画像処理部２０２に出力し、画像処理を実行させる。また、制御部２１２は、出力対象画像データに付けられているユーザ情報を認証部２０３に出力し、認証部２０３に認証処理を実行させる。制御部２１２は、認証部２０３から認証成功の認証結果を受けると、出力対象画像データに付けられていた出力処理情報に従って処理を実行させる。すなわち、出力処理情報が印刷処理を示している場合、制御部２１２は、画像処理部２０２により生成される補正済画像データに基づいた印刷を画像形成部２０４に実行させる。また、出力処理情報がファイリング処理またはメール送信処理を示している場合、制御部２１２は、画像処理部２０２により生成される補正済画像データに基づいたファイリング処理またはメール送信処理を第２通信部２０８に実行させる。
【０１７０】
（１０）画像処理部における画像処理について
次に、画像処理部２０２が実行する画像処理の詳細について説明する。なお、画像処理部２０２は、画像読取部２０１が読み取った画像データに対しても画像処理を行うが、ここでは、携帯端末装置１００から受信した出力対象画像データに対する画像処理の内容について説明する。
【０１７１】
図１２は、画像処理部２０２の内部構成を示すブロック図である。図１２に示されるように、画像処理部２０２は、画質調整部２２１、幾何学補正部（写像生成部）２２２、レンズ歪み補正部２２３、高解像度補正部２２５および出力画像処理部２２４を備えている。以下、各部の具体的な処理内容を順に説明する。
【０１７２】
（１０−１）画質調整部
画質調整部２２１は、出力対象画像データセットに含まれるサブ画像データ（サブ撮像画像データ、または、サブ指定領域画像データ）のカラーバランス、コントラストの補正を行うものである。画質調整部２２１は、受信したサブ画像データの各々について、各色チャンネルの最大値・最小値を求め、これらを揃えるようなルックアップテーブルを作成し、各色チャンネルに適用する。具体的には、画質調整部２２１は、ルックアップテーブルとして、図１３に示すように、あるチャンネルの最大値がＭＸ、最小値がＭＮであり、データが８ｂｉｔのとき、ＭＮから（ＭＸ−ＭＮ）／２５５のステップで増加させていくようなテーブルを作成すればよい。そして、画質調整部２２１は、作成したテーブルに従って、各画素値を変換する。これにより、カラーバランスが補正される。
【０１７３】
また、画質調整部２２１は、コントラストの補正についても同様の方法で実行する。なお、カラーバランスを特に変える必要がなければ、各色チャンネルに適用するルックアップテーブルを同一のものとすればよい。
【０１７４】
なお、カラーバランス・コントラストの補正方法についてはその他の公知の技術を適用してもよい。
【０１７５】
（１０−２）レンズ歪み補正部
レンズ歪み補正部２２３は、携帯端末装置１００から受信した出力対象画像データが指定領域画像データセットではなく撮像画像データセットであるときに、レンズ歪みの補正を実行するものである。なお、出力対象画像データが指定領域画像データセットであるか撮像画像データセットであるかは、出力対象画像データに指定領域フラグが付いているか否かで判定することができる。
【０１７６】
レンズ歪み補正部２２３は、出力対象画像データが撮像画像データセットである場合、撮像画像判定部１０２の処理と同様にして、撮像画像における撮像対象物のエッジ上の点をラスター走査によって順次検出する。そして、レンズ歪み補正部２２３は、検出されたエッジ上の点を曲線近似し、その曲線の式からレンズひずみ補正を行う。なお、出力対象画像データが撮像画像全体である撮像画像データセットであるか否かの判定は、出力対象画像データに上記の領域指定情報が付加されているか否かに応じて行われる。具体的には、出力対象画像データに領域指定情報が付加されている場合には、出力対象画像データが指定領域画像データセットであると判定し、出力対象画像データに領域指定情報が付加されていない場合には、出力対象画像データが撮像画像データセットであると判定すればよい。
【０１７７】
具体的には、レンズ歪み補正部２２３は、検出した撮像対象物のエッジ点を検出し、撮像画像判定部１０２と同様に、各エッジ点を撮像対象物の４辺に対応する４つの群に分類する。そして、図１４の実線で示されるように、各群に属するエッジ点に対して２次曲線近似を行う。このようにして４つの群に対して求めた２次曲線は、撮像対象物の４辺に対応する。また、レンズ歪み補正部２２３は、４つの２次曲線で囲まれる領域の角部に相当する、４つの２次曲線の交点を求める。次に、レンズ歪み補正部２２３は、各辺に対して求めた２次曲線に外接し、かつ、４つの交点を結んだ四角形（図１４において点線で示される）と相似している外接四角形（図１４において１点鎖線で示される）を求める。そして、レンズ歪み補正部２２３は、このようにして求めた外接四角形が補正後の対象物のエッジ画素の位置となるように、撮像画像における撮像対象物の領域内の画素位置を変換する。この変換は、基準点（例えば撮像対象物の領域の重心点）からのベクトルを基に計算すればよい。これにより、携帯端末装置１００の撮像部１０１によるレンズ歪みを補正することができる。
【０１７８】
レンズ歪みの補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。
【０１７９】
（１０−３）幾何学補正部
幾何学補正部２２２は、ポスターや原稿用紙のような矩形状の撮像対象物に対して、文書画像が形成された平面の法線方向とは異なる方向から撮像することによる撮像対象物の歪み（つまり、文書画像が形成された矩形状の平面の歪み）を補正するとともに、画像データにおける撮像対象物の傾きを補正するものである。
【０１８０】
具体的には、幾何学補正部２２２は、携帯端末装置１００から受信した幾何学補正情報に基づいて、幾何学的歪みおよび傾きの補正を以下のようにして実行する。
【０１８１】
まず、幾何学補正部２２２は、幾何学補正情報で示される位置の直線（線分状のエッジ画素群の近似直線）で囲まれる四角形の領域（補正前領域）を特定する。次に、幾何学補正部２２２は、図１５のように、特定した四角形の補正前領域（図１５において一点鎖線で示される）を、上下の２辺が水平方向に略平行であり、所定のアスペクト比および大きさを有する、矩形状の標準領域（例えば、ビジネス文書出用いられているＡ判Ｂ判なら７：１０であるなど。図１５において実線で示される）に変換するための写像を求める。なお、標準領域の上下の２辺は水平方向と完全に平行でなくても良く、水平方向に対して僅かな所定範囲内の角度を有していても良い。ここで、写像とは、補正前領域の各画素の座標（ｘ１、ｙ１）から標準領域の対応する画素の座標（ｘ２、ｙ２）への写像変換（座標変換処理）するための規則ｆｘ、ｆｙのことであり、ｘ２＝ｆｘ（ｘ１、ｙ１）、ｙ２＝ｆｙ（ｘ１、ｙ１）で表される。当該写像変換としては公知の技術を用いることができる。なお、画像処理部２０２は、予め記憶部２１０に記憶されているアスペクト比に合うように変換してもよいし、入力部２０６に入力されたアスペクト比に合うように変換してもよい。また、標準領域の大きさとしては、入力部２０６に入力された大きさが設定されてもよいし、補正前領域と同じ面積となるような大きさが設定されてもよい。
【０１８２】
次に、幾何学補正部２２２は、求めた写像に従って、携帯端末装置１００から受信した出力対象画像データに含まれるサブ画像データ（サブ撮像画像データ、または、サブ指定領域画像データ）に対して座標変換を行う。これにより、幾何学的歪みおよび傾きの補正（以下、幾何学補正という場合がある）することができる。
【０１８３】
幾何学補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。
【０１８４】
（１０−４）高解像度補正部
高解像度補正部２２５は、携帯端末装置１００から受信した出力対象画像データに対する高解像度補正を行うものである。本実施形態では、高解像度補正部２２５は、携帯端末装置１００から受信した出力対象画像データに含まれる複数のサブ画像データに基づいて高解像度補正を行う。
【０１８５】
複数の画像データからの高解像度画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008）にいくつかの方法が紹介されている。一般的には、高解像度補正は、複数の画像の位置合わせ処理と再構成処理により成立する。本実施形態では、位置合わせ処理の例として、上記（３−３）記載の正規化相関パターマッチングの方法を適用する。すなわち、上記Ｓ（ｘ，ｙ）が極大値を示すズレ量だけずらすことにより、複数の画像の位置合せを行うことができる。
【０１８６】
次に、高解像度補正部２２５は、再構成処理を行う。すなわち、高解像度補正部２２５は、解像度変換後の倍率に応じた画素数を有する再構成画像データを作成する。ただし、画像サイズは、撮像画像のサイズと同一とする。そして、高解像度補正部２２５は、再構成画像データの各画素の画素値を以下のようにして決定する。すなわち、高解像度補正部２２５は、再構成画像データにおける各画素（再構成画素）について、当該再構成画素の近傍となる撮像画像の画素（撮像画素）を複数の撮像画像の中から決定し、一般的な補間方法（線形補間やバイキュービック補間など）で補間を行う。
【０１８７】
具体的には、図１６に示されるように、着目する再構成画素近傍の撮像画素、例えば撮像画素の格子を結ぶ線（図の点線）が最も近距離である２点を横方向・縦方向のそれぞれで選択する。ここでは、横方向での最も近距離である２点は、１枚目の撮像画像の撮像画素１−２（画素値：Ｖｉ１−２：以下同様）および撮像画素１−４であり、縦方向での最も近距離である２点は、２枚目の撮像画像の撮像画素２−１および撮像画素２−２であったとする。なお、再構成画素近傍の撮像画素を選択する際には、上記幾何学的歪みの補正・レンズ歪みの補正が実行された複数のサブ撮像画像データの中から選択するものとする。これにより、幾何学的歪み・レンズ歪みの補正がされた状態で高解像度補正を行うことができる。
【０１８８】
なお、補正後の座標の値を計算する際に、基となる複数の撮像画像の該当する幾何学補正・レンズ歪みの補正を考慮した座標の値を基に求めてもよい。つまり、幾何学補正・レンズ歪みの補正値のみ算出し、再構成処理を行った後に、当該補正値により座標変換を行ってよい。
【０１８９】
そして、横方向および縦方向のそれぞれについて選択した２点を結ぶ線分に垂直であり、かつ着目する再構成画素の点を含む直線と当該線分との交点を求める。図１６に示されるように、当該交点が２つの線分のぞれぞれについてｔ：１−ｔ、ｕ：１−ｕで内分している場合、画像処理部２０２は、着目する再構成画素の画素値Ｖｓを下記式４に基づいて求めればよい。この場合は、線形補間を行ったことになる。そして、全ての再構成画素について同様にして画素値を求め、高解像度化された再構成画像データを高解像度画像データとして生成することができる。
【０１９０】
【数５】
【０１９１】
なお、補間方法として別の手法を用いても良い。また、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008）に紹介されている別の方法を用いてもよい。例えば、ＭＡＰ（Maximum A Posteriori）法のような、先ず推定に基づく事後確率に対応する評価関数を最小化することで求める手法を用いても良い。
【０１９２】
（１０−５）出力画像処理部
出力画像処理部２２４は、出力対象画像データを出力する際の領域分離処理、色補正、黒生成下色除去処理、空間フィルタ処理、中間調処理を実行するものである。なお、これらの処理としては公知の技術を用いることができる。
【０１９３】
（１１）撮像画像処理システムの画像処理の流れ
以下、本実施形態に係る撮像画像処理システムの処理の流れについて説明する。なお、図１７は携帯端末装置１００の処理フローを示し、図１８は画像出力装置２００の処理フローを示している。
【０１９４】
まず、図１７を参照しながら携帯端末装置１００の処理フローについて説明する。携帯端末装置１００では、文書撮像モードでの撮像指示の入力の有無を確認する（Ｓ１０）。ユーザは、文書画像を含む用紙や表示画面など矩形状の撮像対象物を撮像し、撮像画像を画像出力装置２００により出力することを希望する場合、文書撮像モードを選択入力する。
【０１９５】
文書撮像モードの選択入力を受け付けた携帯端末装置１００では、制御部１０９は、高解像度補正を行う際の解像度変換の倍率の入力を促す画面を表示部１０５に表示し、当該倍率を入力部１０６から取得する。制御部１０９は、取得した倍率に応じて、撮像部１０１における撮像回数、撮像画像判定部１０２における処理実行条件の一部を決定する。また、制御部１０９は、出力処理の種類および出力処理のための設定条件の入力を促す画面を表示部１０５に表示し、入力部１０６から出力処理情報を取得する。なお、制御部１０９は、デフォルトの解像度変換の倍率を記憶しておき、入力部１０６に倍率の入力指示が無い場合、当該デフォルトの倍率に設定してもよい。
【０１９６】
そして、撮像部１０１は、シャッターが押下されたことを検知すると、制御部１０９にて設定された撮像回数だけ連続して撮像する（Ｓ１１）。
【０１９７】
次に、画像処理部１０３は、Ｓ１１の撮像により得られたサブ撮像画像データに対して少なくともＡ／Ｄ変換処理を行う。その後、Ａ／Ｄ変換処理された撮像画像データセットに対して、撮像画像判定部１０２は、処理実行条件を満たすか否かを判定する（Ｓ１２）。なお、詳しい判定方法、判定項目などは、例えば上記（３−１）〜（３−３）で説明したとおりである。
【０１９８】
撮像画像判定部１０２が処理実行条件を満たさないと判定した場合（Ｓ１２でＮＯ）、制御部１０９は、表示部１０５に再撮像の旨を示すメッセージなどを表示して、ユーザに通知する（Ｓ１３）。再撮像した画像であっても、上述した判定項目などを満足しない場合、携帯端末装置１００はステップＳ１１〜Ｓ１３を繰り返して行う。
【０１９９】
一方、撮像画像判定部１０２が処理実行条件を満たすと判定した場合（Ｓ１２でＹＥＳ）、幾何学補正情報は、上記（５）で説明したように、撮像画像から検出された、４つの線分状に連なるエッジ画素群の各々の位置を示す幾何学補正情報を生成する（Ｓ１４）。ここでは、幾何学補正情報は、撮像画像上の左上隅を原点、横軸をＸ軸、縦軸をＹ軸としたときの、線分状に連なるエッジ画素群の近似直線を示す関数で示される。
【０２００】
次に、制御部１０９は、処理実行条件を満たす撮像画像データセットとＳ１４で生成された幾何学補正情報および未出力フラグとを対応付けて記憶部１０８に格納する（Ｓ１５）。
【０２０１】
その後、制御部１０９は、画像出力装置２００への出力対象画像データの送信指示が入力部１０６に入力されたか否かを判断する（Ｓ１６）。なお、本実施形態では、携帯端末装置１００と画像出力装置２００とは近距離無線通信の方式を用いて通信を行う。そのため、ユーザは、携帯端末装置１００を持って画像出力装置２００の近傍まで来た後に、送信指示を入力する。
【０２０２】
送信指示が入力されていない場合（Ｓ１６でＮＯ）、Ｓ１０の処理に戻る。一方、送信指示が入力された場合（Ｓ１６でＹＥＳ）、指定情報受付部１１１は、記憶部１０８に格納されており、かつ、未出力フラグが対応付けられた撮像画像データセットを読み出し、当該データセットの中で１番目に撮像されたサブ撮像画像データで示される画像を表示部１０５に表示する（Ｓ１７）。なお、未出力フラグが対応付けられた撮像画像データセットが複数存在する場合、撮像時刻の最も古い（もしくは最も新しい）データセットを選択して、対応する画像を表示する。
【０２０３】
次に、指定情報受付部１１１は、画像の中の一部の領域のみを出力する指示が入力されたか否かを判定する（Ｓ１８）。画像の中の一部の領域のみを出力する指示が入力された場合（Ｓ１８でＹＥＳ）、指定情報受付部１１１は、四角形の出力対象領域を決定するための４つの指定点の入力を促す文字を表示部１０５に表示する。次に、領域決定部１１２は、上記（７）で説明したように、入力された４つの指定点に基づいて四角形の出力対象領域を決定する（図９または図１０参照）。そして、領域抽出部１１３は、撮像画像データセットに含まれる全てのサブ撮像画像データの各々から、決定した位置の出力対象領域の画像データ（サブ指定領域画像データ）を切り出す。領域抽出部１１３は、切り出した複数のサブ指定領域画像データの組である指定領域画像データセットを、Ｓ１７で表示している撮像画像を示す撮像画像データセットと対応付けて記憶部１０８に格納する（Ｓ１９）。
【０２０４】
一方、画像の中の一部の領域のみを出力しない指示が入力された場合（Ｓ１８でＮＯ）、指定情報受付部１１１は、撮像画像全体を出力するものとし、何も処理を行わない。
【０２０５】
次に、制御部１０９は、画像出力装置２００に送信する画像データ（出力対象画像データ）にファイルネームを付ける（Ｓ２０）。なお、制御部１０９は、例えば、撮像日時に従った連続番号など各撮像画像データについて異なるファイルネームを自動的に付けても良いし、入力部１０６に入力されたファイルネームを付けてもよい。なお、出力対象画像データとは、上述したように、指定領域画像データセットが対応付けられている撮像画像データセットについては、当該指定領域画像データセットであり、指定領域画像データセットが対応付けられていない撮像画像データセットについては、当該撮像画像データセットである。
【０２０６】
その後、制御部１０９の制御に応じて、通信部１０４は、出力対象画像データ、出力処理情報、幾何学補正情報、機種情報、ユーザ情報を一組として画像出力装置２００に送信する（Ｓ２１）。このとき、制御部１０９は、送信した出力対象画像データに対応する、記憶部１０８に格納されている撮像画像データセットに対して、未出力フラグを削除して、出力済みであることを示す出力済フラグを付ける。
【０２０７】
次に、制御部１０９は、全ての撮像画像の処理が終了したか否かを判断する（Ｓ２２）。ここでは、未出力フラグが付加されている撮像画像データセットが記憶部１０８に存在する場合に全ての撮像画像の処理が終了していないと判断し、存在しない場合に全ての撮像画像の処理が終了したと判断する。全ての撮像画像の処理が終了していない場合（Ｓ２２でＮＯ）、未出力フラグが付加されている撮像画像データセットについて、Ｓ１７〜Ｓ２１の処理を実行する。そして、全ての撮像画像の処理が終了している場合（Ｓ２２でＹＥＳ）、処理を終了する。
【０２０８】
次に、図１８を参照しながら画像出力装置２００の処理フローを説明する。画像出力装置２００の第１通信部２０７は、携帯端末装置１００から、出力対象画像データ、機種情報、ユーザ情報、出力処理情報および幾何学補正情報を受信する（Ｓ２０）。
【０２０９】
画像処理部２０２の画質調整部２２１は、受信した出力対象画像データに含まれるサブ画像データ（サブ撮像画像データ、または、サブ指定領域画像データ）の全てについて、例えば上記（１０−１）に説明したとおり、カラーバランス、コントラストの補正を行う（Ｓ２１）。続いて、出力対象画像データが撮像画像全体ではなく指定領域のみであることを示す指定領域フラグが出力対象画像データに付いていない場合、レンズ歪み補正部２２３は、受信した出力対象画像データに対して、上記（１０−２）に説明したようにレンズ歪みの補正を行う。
【０２１０】
さらに、幾何学補正部２２２は、携帯端末装置１００から受信した幾何学補正情報に基づいて、幾何学的歪みの補正および傾きの補正を行う（Ｓ３２）。具体的には、幾何学補正部２２２は、幾何学補正情報で示される４つの直線で囲まれる四角形の領域（補正前領域）を特定する。次に、幾何学補正部２２２は、特定した四角形の補正前領域を、上下の２辺が水平方向に略平行であり、所定のアスペクト比および大きさを有する、矩形状の標準領域に変換するための座標に関する写像を求める。そして、幾何学補正部２２２は、当該写像を用いて、携帯端末装置１００から受信した出力対象画像データに対して写像変換処理を行う。これにより、幾何学的歪みのない画像を出力することができる。
【０２１１】
図１９は、図９において切り出された指定領域画像データセットに対する幾何学補正を行ったときの、幾何学補正前の画像データで示される画像と、幾何学補正後の画像データで示される画像とを示す図である。図１９に示されるように、幾何学補正前の指定領域画像データセットで示される画像は、図９のようにして切り出したときの幾何学的歪みを有している。そして、幾何学補正部２２２がＳ３２で生成する歪み変換式は、当該幾何学的歪みをなくし、撮像対象物を正面から見たときの画像に変換するものである。そのため、図１９で示されるように、幾何学補正後の画像データで示される画像は、撮像対象物を正面から撮像したときのようになる。その結果、出力される画像の視認性がよくなる。
【０２１２】
次に、高解像度補正部２２５は、出力対象画像データに対して高解像度補正を行う。つまり、高解像度補正部２２５は、Ｓ３１およびＳ３２による各種補正が実行された、出力対象画像データに含まれる複数のサブ画像データ（サブ撮像画像データまたはサブ指定領域画像データ）を用いて高解像度補正を行う（Ｓ３３）。出力対象領域の指定を行った場合は、領域指定がなされた１枚のサブ画像データ、指定された領域の座標および他の領域指定がなされていない複数のサブ画像データを用いて高解像度補正が行われる。なお、高解像度補正の具体的な方法は（１０−４）で説明したとおりである。
【０２１３】
次に、出力画像処理部２２４は、高解像度補正部２２５における高解像度補正により得られた高解像度画像データに対して、領域分離処理、色補正、黒生成下色除去処理、空間フィルタ処理、中間調処理等の各種の画像処理を実行する。なお、出力画像処理部２２４は、出力処理情報で示される出力方法の種別に応じて、当該各種の画像処理の内容を適宜切り換える。そして、出力画像処理部２２４は、補正済みの画像データ（補正済画像データ）を記憶部２１０に格納する（Ｓ３４）。なお、このとき、出力画像処理部２２４は、補正済画像データの元となる出力対象画像データとともに受信したユーザ情報および出力処理情報と対応付けて当該補正済画像データを格納する。
【０２１４】
その後、制御部２１２は、出力対象画像データの出力指示が入力部２０６に入力されたか否かを判定する（Ｓ３５）。出力指示の入力がない場合（Ｓ２６でＮＯ）、出力指示が入力されるまで待機する。
【０２１５】
一方、出力指示がある場合（Ｓ３５でＹＥＳ）、認証部２０３は、ユーザ情報（例えばユーザＩＤおよびパスワード）の入力を促す画面を表示部２０５に表示させ、ユーザ情報を入力部２０６から取得する。そして、認証部２０３は、ユーザ認証を行う（Ｓ３６）。なお、認証部２０３は、画像出力装置２００に設けられた非接触ＩＣカードのリーダ／ライターを用いて、ユーザが所持する非接触ＩＣカードからユーザ情報を取得してもよい。
【０２１６】
ユーザ認証を行う際、認証部２０３は、入力されたユーザ情報と携帯端末装置１００から受信したユーザ情報とを対照して、一致するユーザ情報が存在するか否か判定する（Ｓ３７）。そして、入力されたユーザ情報と一致するユーザ情報を携帯端末装置１００から受信している場合（Ｓ３７でＹＥＳ）、制御部２１２は、Ｓ３４において記憶部２１０に格納され、当該ユーザ情報に対応する補正済画像データの出力処理を、携帯端末装置１００から受信した出力処理情報に従って実行させる（Ｓ３８）。
【０２１７】
例えば、出力処理情報が印刷処理を示している場合、制御部２１２は、補正済画像データで示される画像の印刷を画像形成部２０４に実行させる。また、出力処理情報がファイリング処理またはメール送信処理を示している場合、制御部２１２は、補正済画像データに基づいたファイリング処理またはメール送信処理を第２通信部２０８に実行させる。その後、処理を終了する。
【０２１８】
一方、入力されたユーザ情報が、携帯端末装置１００から受信したユーザ情報と一致していない場合（Ｓ３７でＮＯ）、認証部２０３は、認証回数が所定回数以上であるか判定する（Ｓ３９）。そして、認証回数が所定回数以上でない場合（Ｓ３９でＮＯ）、Ｓ３６，Ｓ３７の処理を繰り返して行う。認証回数が所定回数以上である場合（Ｓ３９でＹＥＳ）、出力せずにフローを終了する。
【０２１９】
以上のように、本実施形態によれば、携帯端末装置１００で撮像した撮像画像のうち必要な領域だけを出力対象領域として指定することができる。そして、指定した出力対象領域の画像データまたは当該画像データで示される画像を画像出力装置２００から取得することができる。さらに、撮像対象物に対して斜め方向から撮像した場合であっても、正面から撮像したときの画像に写像変換された状態で画像が出力される。そのため、視認性のよい画像を得ることができる。さらに、画像出力装置２００において高解像度補正が実行されるため、文字等の判読性も向上させることができる。
【０２２０】
（１２）変形例
本発明の撮像画像処理システムは、上記の実施形態に限定されることがなく、様々な変更が可能である。以下、変形形態の具体例について説明する。
【０２２１】
（１２−１）出力対象領域の切り出し処理について（その１）
上記に説明では、図１７に示されるように、領域決定部１１２が（方法Ａ）〜（方法Ｃ）の何れかの１つの方法に従って出力対象領域を決定するものとした。しかしながら、携帯端末装置１００は、ユーザ指示に従って、領域決定部１１２により決定された出力対象領域の編集や選択などを行ってもよい。
【０２２２】
図２５は、本変形例に係る携帯端末装置１００の構成を示すブロック図である。本変形例に係る携帯端末装置１００は、図２に示される携帯端末装置１００と比較して、編集処理部１１４を備えている点で異なる。
【０２２３】
編集処理部１１４は、領域決定部１１２により決定された出力対象領域に対する編集処理や、領域決定部１１２による処理方法の選択処理などを行う。
【０２２４】
例えば、領域決定部１１２は、上述した（方法Ａ）〜（方法Ｃ）の何れかの方法で決定した出力対象領域を表示し、編集処理部１１４は、処理結果に対する良否の入力をユーザに促すようにしてもよい。このとき、領域決定部１１２は、出力対象領域のみを表示してもよく、出力対象領域以外を半透明にし、撮像画像全体で選択された領域が分かるようにしてもよい。そして、編集処理部１１４は、処理結果が否である旨の入力がされた場合、領域決定部１１２に対して再度出力対象領域の決定処理を実行させる。
【０２２５】
また、領域決定部１１２は、上記した（方法Ａ）〜（方法Ｃ）のうちの２つの方法、あるいは、３通りの方法で求めた複数の出力対象領域候補を表示部１０５に表示してもよい。複数の出力対象領域候補は、１枚ずつ表示してもよくサムネイル表示してもよい。そして、編集処理部１１４は、表示された複数の出力対象領域候補の中から一つを選択させるようにユーザに促し、選択された出力対象領域候補の出力対象領域として決定してもよい。そして、領域抽出部１１３は、選択された出力対象領域候補の方法を用いて全てのサブ撮像画像データより出力対象領域を切り出すようにする。
【０２２６】
もしくは、編集処理部１１４は、領域決定部により求められた出力対象領域候補に対して、ユーザ入力に従って編集を行い、編集後の出力対象領域候補を出力対象領域として決定してもよい。
【０２２７】
本変形例の具体的な処理方法の一つの流れについて、図２６に示すフローチャートを参照しながら説明する。図２６は、図１７におけるＳ１９に代わる処理の流れを示すフローチャートである。すなわち、本具体例では、図１７のＳ１０〜Ｓ１８の処理の後、図２６の処理を行い、さらに図１７のＳ２０〜Ｓ２２の処理を行うこととなる。
【０２２８】
図２６に示す具体例では、領域指定を行うと判断した場合（Ｓ１８でＹｅｓ）、領域決定部１１２は、上記した（方法Ａ）〜（方法Ｃ）の何れか１つの方法で求めた出力対象領域候補を表示部１０５に表示する（Ｓ２３）。このとき、まず（方法Ａ）〜（方法Ｃ）のうちの２つの方法、あるいは、３通りの方法で求めた複数の出力対象領域候補を表示部１０５に表示し、ユーザによる選択指示に従って、一つの出力対象領域候補を選択し表示してもよい。
【０２２９】
そして、編集処理部１１４は、表示された出力対象領域候補に問題があるか否か（つまり、編集を行うか否か）の入力をユーザに促す（Ｓ２４）。例えば、表示された出力対象領域候補が問題ない場合（編集を行わない場合）、「ＯＫ」ボタンを押し、表示された出力対象領域候補が問題があり、やり直しが必要と判断した場合（編集を行う場合）は、「ＮＯ」ボタンを押すようにユーザに促す。
【０２３０】
「ＯＫ」ボタンが押下された場合（Ｓ２４でＮｏ）、領域決定部１１２は、Ｓ２３で表示していた出力対象領域候補を出力対象領域として決定する（Ｓ２８）。
【０２３１】
一方、やり直しを行う指示が入力された場合（Ｓ２４でＹｅｓ）、編集処理部１１４は、表示された出力対象領域候補に対して、全てやり直しを行うのか、一部の箇所のみ編集を行うのかの選択入力をユーザに促す（Ｓ２５）。全てやり直す場合（Ｓ２５でＹｅｓ）、編集処理部１１４は、Ｓ２３で表示されていた出力対象領域候補を削除し、領域決定部１１２に対して再度Ｓ２３の処理を実行させ、出力対象領域候補を更新させる（Ｓ２６）。このとき、編集処理部１１４は、前回Ｓ２３で行った方法とは別の方法で出力対象領域候補を求めるように領域決定部１１２に指示してもよい。
【０２３２】
一方、一部の箇所についてやり直す場合（Ｓ２５でＮｏ）、編集処理部１１４は、Ｓ２３で表示されている出力対象領域候補に対応する４つの指定点を表示し、どの指定点をやり直すのかユーザに選択を促す。選択は、例えば、対象となる箇所を指やペンでタッチすればよい。選択された指定点については、例えば、上下、左右、斜め方向（右上、左上、右下、左下）の矢印（調整ボタン）を表示し、矢印を押圧することにより、点を移動させるようにし、「ＯＫ」ボタンを押すと位置が確定したことが入力される。複数の指定点のやり直しを行う場合、１箇所修正する毎に、修正後の指定点に基づいて求めた出力対象領域候補を表示してもよく、全ての箇所について修正後に表示するようにしてもよい。１箇所毎に表示を行う場合は、ユーザが問題ないと判断した段階で、他の箇所の修正を行うのを中止するようにしてもよい。一部の箇所のやり直しを行う場合は、上記したように拡大して行うようにしてもよい。このようにして、編集処理部１１４は、修正後の指定点に基づいて出力対象領域候補を求めることにより、出力対象領域候補を編集する（Ｓ２７）。
【０２３３】
そして、編集処理部１１４は、修正後の指定点に基づいて求めた出力対象領域候補について、再度、編集を行うか否かの入力をユーザに促す（Ｓ２４）。そして、編集を行わない指示が入力された場合（Ｓ２４でＮｏ）、編集処理部１１４は、最新の修正後の指定点に基づいて求めて出力対象領域候補を出力対象領域として決定する（Ｓ２８）。
【０２３４】
なお、編集処理部１１４は、Ｓ２６およびＳ２７において、削除または編集前の出力対象領域候補を一旦メモリに格納しておき、更新後または修正後の出力対象領域候補とともに表示部１０５に表示させ、ユーザが好む方のデータを選択するようにしてもよい。
【０２３５】
（１２−２）出力対象領域の切り出し処理について（その２）
上記の説明では、携帯端末装置１００が撮像画像データから出力対象領域を切り出し、当該出力対象領域のみの画像を示す指定領域画像データセットを画像出力装置２００に送信するものとした。しかしながら、出力対象領域の切り出し処理は画像出力装置２００で実行してもよい。
【０２３６】
すなわち、上記説明では、指定情報受付部１１１、領域決定部１１２および領域抽出部１１３（ならびに編集処理部１１４）の全てを携帯端末装置１００が備えるものとして説明したが、携帯端末装置１００が指定情報受付部１１１を備え、画像出力装置２００が領域決定部１１２および領域抽出部１１３（ならびに編集処理部１１４）を備える第１の変形形態でもよい。もしくは、携帯端末装置１００が指定情報受付部１１１および領域決定部１１２（ならびに編集処理部１１４）を備え、画像出力装置２００が領域抽出部１１３を備える第２の変形形態でもよい。
【０２３７】
この場合、携帯端末装置１００において指定領域画像データセットが生成されないため、携帯端末装置１００の制御部１０９は、撮像画像データセットを出力対象画像データとする。また、第１の変形形態の場合、携帯端末装置１００の通信部１０４は、撮像画像データセットとともに、指定情報受付部１１１が受け付けた指定情報を画像出力装置２００に送信する。そして、画像出力装置２００の領域決定部１１２は、携帯端末装置１００から受信した撮像画像データセットおよび指定情報に基づいて、上記（７）の方法Ａ〜Ｃの何れかに従って出力対象領域を決定すればよい。その後、画像出力装置２００の領域抽出部１１３は、撮像画像データセットから出力対象領域切り出す処理を実行すればよい。
【０２３８】
また、第２の変形形態の場合、携帯端末装置１００の通信部１０４は、撮像画像データセットとともに、領域決定部１１２が決定した出力対象領域の撮像画像上の位置を示す出力対象領域情報を画像出力装置２００に送信する。そして、画像出力装置２００の領域抽出部１１３は、撮像画像データセットから出力対象領域切り出す処理を実行すればよい。
【０２３９】
これにより、送信データ量が大きくなるが、携帯端末装置１００での処理の負荷を低減することができる。
【０２４０】
図２０は、上記の第２の変形形態における画像出力装置２００の画像処理部２０２ａの構成を示すブロック図である。図２０に示されるように、本変形例の画像処理部２０２ａは、上記の説明で記載した画像処理部２０２と比較して、領域抽出部１１３を備える点で相違する。領域抽出部１１３は、携帯端末装置１００から受信した出力対象領域情報に基づいて、撮像画像データセットから出力対象領域を切り出す処理を実行するものである。
【０２４１】
領域抽出部１１３は、携帯端末装置１００から受信した出力対象領域情報で示される出力対象領域を、当該出力対象領域情報が付加された撮像画像データセットに含まれる複数のサブ指定領域画像データから切り出す。
【０２４２】
なお、領域抽出部１１３は、図１８に示すＳ３２の処理の前に、サブ撮像画像データから出力対象領域の切り出し処理を行ってもよいし、図１８に示すＳ３２の処理の後に、サブ撮像画像データから出力対象領域の切り出し処理を行ってもよい。
【０２４３】
なお、領域抽出部１１３は、図１８に示すＳ３２の処理の後で、出力対象領域の切り出し処理を行う場合、領域抽出部１１３は、幾何学補正部２２２が生成した写像により、出力対象領域情報を変換する。そして、領域抽出部１１３は、変換後の出力対象領域を、Ｓ３２で幾何学補正が実行されたサブ撮像画像データから切り出せばよい。例えば、出力対象領域情報が矩形状の出力対象領域の４頂点の座標である場合、各座標を幾何学補正部２２２が生成した写像で座標変換する。そして、変換後の４つの座標を頂点とする領域を変換後の出力対象領域とし、幾何学補正が実行されたサブ撮像画像データから切り出せばよい。
【０２４４】
（１２−３）幾何学補正情報の生成する主体について
上記の説明では、携帯端末装置１００の補正情報生成部１１０が上記幾何学補正情報を生成するものとして記載した。しかしながら、上記（１２−１）のように、携帯端末装置１００から撮像画像データ全体を画像出力装置２００に送信し、画像出力装置２００にて出力対象領域の切り出し処理を行う場合、幾何学補正情報を生成する主体は、画像出力装置２００であってもよい。すなわち、画像出力装置２００の画像処理部２０２・２０２ａが補正情報生成部１１０を備えていてもよい。そして、当該補正情報生成部１１０は、上記撮像画像判定部１０２と同様に、携帯端末装置１００から受信した撮像画像データから、線分状に連なるエッジ画素群を辺とする四角形を検出し、当該４つのエッジ画素群の位置を示す幾何学補正情報を生成すればよい。
【０２４５】
（１２−４）幾何学補正情報の生成方法について
上記の説明では、補正情報生成部１１０は、撮像画像データから検出された線分状に連なるエッジ画素群に基づいて幾何学補正情報を生成するものとした。しかしながら、文書画像が形成された原稿を撮像対象物として撮像する場合、原稿の辺と平行な辺を有する四角形の領域を出力対象領域としてユーザが指定するケースが多い。すなわち、原稿全体を出力対象領域とする場合や、原稿内の表やグラフを出力対象領域として指定する場合である。そこで、補正情報生成部１１０は、指定情報受付部１１１が受け付けた出力対象領域に基づいて、幾何学補正情報を生成してもよい。この場合、補正情報生成部１１０は、四角形である出力対象領域の４辺の位置を示す情報を幾何学補正情報として生成すればよい。
【０２４６】
また、この場合、補正情報生成部１１０は、上記（７）の（方法Ｃ）に記載したように、指定情報受付部１１１が受け付けた４つの座標で示される指定点を含むブロックに、所定形状のエッジ画素の連結成分が存在するか否かを確認してもよい。そして、存在する場合には、当該エッジ画素の連結成分の角部を頂点とする四角形の４辺の位置を示す情報を幾何学補正情報とし、存在しない場合には、領域決定部１１２が決定した出力対象領域の４辺の位置を示す情報を幾何学補正情報として生成すればよい。
【０２４７】
具体的には、補正情報生成部１１０は、図９に示されるように、指定情報受付部１１１が受け付けた４つの座標で示される指定点を、左上の指定点Ｐ１、右上の指定点Ｐ２、左下の指定点Ｐ３、右下の指定店Ｐ４に分類する。そして、補正情報生成部１１０は、サブ撮像画像データの中から、各指定点を中心とした数十画素（例えば、２０〜３０画素）×数十画素（例えば、２０〜３０画素）のブロックを特定し、各ブロックにおいてエッジ画素を検出する。そして、補正情報生成部１１０は、各ブロックにおいて、隣接するエッジ画素を連結させ、連結された複数のエッジ画素の形状が所定の参照形状（図２１参照）であるか否かを判定する。この判定方法は、上記の（７）の（方法Ｃ）で述べたとおりである。そして、補正情報生成部１１０は、エッジ画素の形状が所定の参照形状であると判定された場合、抽出したエッジ画素のうちの角部を構成する画素を候補点として選択し、エッジ画素の形状が所定の参照形状でないと判定された場合、指定情報受付部１１１が受け付けた指定点を候補点として選択する。その後、補正情報生成部１１０は、４つの候補点を頂点とする四角形の各辺の位置を示す情報を幾何学補正情報として生成すればよい。
【０２４８】
（１２−５）指定情報受付部による指定情報の生成について
上記の説明では、指定情報受付部１１１は、４つの指定点の入力を受け付けていた。しかしながら、指定情報受付部１１１は、２または３個の指定点の入力を受け付け、残りの指定点を決定してもよい。
【０２４９】
２つの指定点の入力を受け付ける場合、指定情報受付部１１１は、出力対象領域を決定するための四角形の指定領域の左上および右下の角の点を入力するようにユーザに促す。そして、指定情報受付部１１１は、撮像画像判定部１０２により検出された第１から第４群のエッジ画素群の近似直線（図７の破線を参照）に基づいて、残りの指定点を決定する。
【０２５０】
具体的には、左上の角の点として入力された点を第１指定点、右下の角の点として入力された点を第４指定点とするとき、指定情報受付部１１１は、第１指定点を通り、かつ、第１群のエッジ画素群の近似直線に平行な直線と、第２指定点を通り、かつ、第２群のエッジ画素群の近似直線に平行な直線との交点を第３指定点として特定する。さらに、第１指定点を通り、かつ、第３群のエッジ画素群の近似直線に平行な直線と、第２指定点を通り、かつ、第４群のエッジ画素群の近似直線に平行な直線との交点を第３指定点として特定すればよい。これにより、指定情報受付部１１１は４つの指定点の座標を示す指定情報を出力することができ、領域決定部１１２は出力対象領域を決定することができる。
【０２５１】
また、３つの指定点の入力を受け付ける場合も同様にして残りの点を求めればよい。この場合、指定情報受付部１１１は、例えば、出力対象領域を決定するための四角形の指定領域の左上、右上および左下の角の点を入力するようにユーザに促す。そして、指定情報受付部１１１は、撮像画像判定部１０２により検出された第１から第４群のエッジ画素群の近似直線（図７の破線を参照）に基づいて、残りの指定点を決定する。
【０２５２】
具体的には、左上の角の点として入力された点を第１指定点、右上の角の点として入力された点を第２指定点、左下の角の点として入力された点を第３指定点とするとき、指定情報受付部１１１は、第３指定点を通り、かつ、第４群のエッジ画素群の近似直線に平行な直線と、第２指定点を通り、かつ、第２群のエッジ画素群の近似直線に平行な直線との交点を第４指定点として特定すればよい。
【０２５３】
（１２−６）出力対象領域の決定方法について
領域決定部１１２は、撮像対象物のエッジがはっきりしていると判断される場合や、コントラストが明確な画像の場合、以下のようにして出力対象領域を決定してもよい。なお、撮像対象物のエッジがはっきりしていると判断される場合か否か、コントラストが明確な画像の場合か否かの判定については、ユーザの入力に従って判定してもよい。つまり、撮像画像を表示させて、ユーザに対して、撮像対象物のエッジがはっきりしていると判断される場合か否か、コントラストが明確な画像の場合か否かを入力させてもよい。もしくは、領域決定部１１２は、後述するように、サブ撮像画像データの画素値のうちの最大・最小の差分値のようなコントラストを示す特徴量が所定閾値以上である場合に、コントラストが明確であると判定してもよい。
【０２５４】
まず、指定情報受付部１１１は、ユーザが出力することを希望する領域内の任意の一つのポイントを指やタッチペンで指定するようにユーザに促し、指定された一つのポイントの位置を示す情報を取得する。
【０２５５】
そして、領域決定部１１２は、指定されたポイントを含み、撮像画像判定部１０２により検出された４つの線分状に連なるエッジ画素群で囲まれた四角形の領域を特定する。そして、領域決定部１１２は、表示部１０５に表示された撮像画像において、当該４つのエッジ画素群の位置を最高の輝度値とする（エッジ画素群をハイライト表示する）。さらに、領域決定部１１２は、ハイライト表示されたエッジ画素群で囲まれる領域を出力対象領域とすべきか否かの指示の入力を促す画面も表示部１０５に表示する。ハイライト表示されたエッジ画素群で囲まれる領域を出力対象領域とすべき旨の指示が入力された場合、領域決定部１１２は、ハイライト表示されたエッジ画素群で囲まれる領域を出力対象領域とする。
【０２５６】
なお、ハイライト表示されたエッジ画素群で囲まれる領域を出力対象領域としない旨の指示が入力された場合、指定情報受付部１１１および領域決定部１１２は、上記（６）（７）のように、４つの指定点の入力を促す画面を表示し、入力された指定点に基づいて出力対象領域を決定すればよい。
【０２５７】
（１２−７）撮像回数について
上記の説明では、携帯端末装置１００において、制御部１０９は、高解像度補正のために必要な撮像画像の数だけ撮像部１０１に撮像させるものとした。すなわち、制御部１０９は、撮像回数と処理実行条件の中のサブ撮像画像データの必要数とを同じ値に設定した。しかしながら、制御部１０９は、撮像回数として、高解像度補正のための必要数よりも大きな値を設定してもよい。例えば、解像度変換の倍率が２倍である場合、必要数「２」に対して撮像回数「３」を設定してもよい。
【０２５８】
このように撮像回数が必要数よりも大きい場合、撮像画像判定部１０２は、撮像回数分のサブ撮像画像データの中から、処理実行条件を満たすサブ撮像画像データの組合せが存在するか否かを判断すればよい。例えば、必要数「２」に対して撮像回数「３」である場合、３つのサブ撮像画像データの中で、必要数のサブ撮像画像データの組合せが３つある。この場合、撮像画像判定部１０２は、各組合せについて処理実行条件を満たすか否か順次判定する。そして、処理実行条件を満たす組合せを確認できた時点で撮像画像判定部１０２は処理を終了し、当該組合せに含まれるサブ撮像画像データを通信部１０４が画像出力装置２００に送信すればよい。もしくは、撮像画像判定部１０２は、全ての組合せについて処理実行条件を満たすか否か判定してもよい。この場合、複数の組合せが処理実行条件を満たす場合、制御部１０９は、検出したズレ量が所定範囲の中央値に最も近い組合せを画像出力装置２００に送信するものと決定してもよい。例えば、所定範囲が０．３〜０．７である場合、ズレ量が０．５に最も近い組合せを選択すればよい。
【０２５９】
（１２−８）高解像度補正の別の例
上記の説明では、複数のサブ撮像画像データから高解像度の再構成画像データを生成するものとした。しかしながら、複数の画像データではなく、１つの画像データに基づいて高解像度補正を行ってもよい。
【０２６０】
１つの画像データからの高解像度画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008）にいくつかの方法が紹介されている。
【０２６１】
一般的には、画像パターンのエッジ方向性を検知し、その向きに合わせた補間を行うとともに、補間によるひずみや入力画像に存在したノイズ成分の影響などの除去を目的としたノイズ除去処理を行うことにより、高解像度補正を実行することができる。以下、具体的に説明する。
【０２６２】
図２２は、本実施形態における高解像度補正の処理の流れを示すフローチャートである。
【０２６３】
ここでは、横方向・縦方向の各々について２倍の解像度変換を行う例について説明する。２倍の解像度変換を行う場合、補正対象となる撮像画像データの画素数をｎ×ｍとするとき、補正後の高解像度画像データの画素数は２ｎ×２ｍとなる。このような高解像度補正（２倍の解像度変換）は、撮像画像データにおける各画素を基準画素とし、当該基準画素間の中央に新たな画素を補間画素として生成し、当該基準画素と補間画素との両方を備える画像データを高解像度画像データとして生成することにより実行される。図２３は、基準画素と補間画素との関係を示すものであり、画素ａが基準画素を示し、画素ｂが補間画素を示している。
【０２６４】
まず、高解像度補正部２２５は、第１通信部２０７が受信した撮像画像データについて、エッジ抽出を行う。例えば、高解像度補正部２２５は、図８に示されるような１次微分フィルタを用いてエッジ抽出を行い、２値化処理を行い、２値化画像データを生成する（Ｓ４０）。なお、２値化画像データにおいて画素値が１であればエッジである可能性が高い画素であることを示している。
【０２６５】
次に、高解像度補正部２２５は、Ｓ４０で生成した２値化画像データに基づいて、撮像画像データにおける着目画素がエッジであるか否かを判定する（Ｓ４１）。具体的には、高解像度補正部２２５は、２値化画像データにおける着目画素に対応する画素の値が１であれば、当該着目画素がエッジであると判定する。
【０２６６】
なお、着目画素とは、撮像画像データにおける各画素を任意の順に着目していったときに、着目している画素のことをいう。
【０２６７】
着目画素がエッジである場合（Ｓ４１でＹｅｓ）、高解像度補正部２２５は、着目画素を含むＮ×Ｎ（Ｎ＞１）の部分画像を用いてエッジ方向を検出する（Ｓ４２）。具体的には、Ｎ×Ｎの部分画像に含まれる全ての基準画素について、エッジ画素であるか否かを判定する。そして、着目画素の左上の基準画素と右下の基準画素とがエッジ画素である場合、高解像度補正部２２５は、部分画像におけるエッジ方向が左上−右下方向であると判定する。同様に、着目画素の左の基準画素と右の基準画素とがエッジ画素である場合、エッジ方向が左−右方向であると判定し、着目画素の上の基準画素と下の基準画素とがエッジ画素である場合、エッジ方向が上−下方向であると判定し、着目画素の右上の基準画素と左下の基準画素とがエッジ画像である場合、エッジ方向が右上−左下方向であると判定する。
【０２６８】
図２４において、点線は検出したエッジ方向を示している。なお、図２４において、画素(1)〜(9)が基準画素であり、このうちの画素(5)が着目画素である。そして、画素Ａ、Ｂ、Ｃは、それぞれ、基準画素(1)と(5)との間の補間画素、基準画素(2)と(5)との間の補間画素、基準画素(4)と(5)との間の補間画素である。
【０２６９】
次に、高解像度補正部２２５は、Ｓ４２で検出したエッジ方向に応じて、着目画素の左上の補間画素Ａ、着目画素の上の補間画素Ｂ、着目画素の左の補間画素Ｃの画素値を補間により求める。このとき、エッジ方向に沿った基準画素を用いて補間画素の画素値を求める。
【０２７０】
エッジ方向が左上−右下方向である場合、図２４（ａ）に示されるように、基準画素(1)、(5)、(9)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ａの画素値ＶＡ（図中では「Ｖ」の表記を省略している。以下同じ）について、補間画素Ａに隣施するエッジ線上の基準画素(1)（画素値Ｖ(1)）および基準画素(5)（画素値Ｖ(5)）の画素値を用いて、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(5)）／２
により求める。
【０２７１】
一方、エッジ線上ではない補間画素Ｂ，Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２４（ａ）では、補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(2)と(6)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と(6)とを結ぶ線分を内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式
ＶＢ＝（９×Ｖ(2)＋４×Ｖ(6)）／１３
を用いて求める。
【０２７２】
同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(4)と、当該基準画素(4)を含みエッジ方向に平行な線上の基準画素(8)との画素値を用いて、以下の式
ＶＣ＝（９×Ｖ(4)＋４×Ｖ(8)）／１３
により求める。
【０２７３】
また、エッジ方向が左−右方向である場合、図２４（ｂ）に示されるように、基準画素(4)、(5)、(6)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ｃの画素値ＶＣについて、補間画素Ｃに隣施するエッジ線上の基準画素(4)（画素値Ｖ(4)）および基準画素(5)（画素値Ｖ(5)）の画素値を用いて、以下の式
ＶＣ＝（Ｖ(4)＋Ｖ(5)）／２
により求める。
【０２７４】
一方、エッジ線上ではない補間画素Ａ、Ｂについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２４（ｂ）では、補間画素Ａについては、最近接基準画素である基準画素(1)または(2)を含み、エッジ方向に平行な線は、基準画素(1)と(2)とを結ぶ線である。そして、補間画素Ａから当該線に垂直に下した点は、基準画素(1)と(2)との中央に存在する。そのため、補間画素Ａの画素値ＶＡは、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(2)）／２
を用いて求める。
【０２７５】
補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(1)と(2)と(3)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と一致する。そのため、補間画素Ｂの画素値ＶＢは、基準画素(2)の画素値Ｖ(2)と同じ値にする。
【０２７６】
また、エッジ方向が右上−左下方向である場合、図２４（ｃ）に示されるように、基準画素(3)、(5)、(7)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、補間画素Ａ，Ｂ，Ｃは全てエッジ線上に存在しない。
【０２７７】
補間画素Ａについては、最近接基準画素が基準画素(1)、(2)、(4)となる。ここで、基準画素(2)、(4)は、エッジ方向に平行な同一の線上に位置するが、基準画素(1)は当該線上に位置しない。そこで、補間画素Ａの画素値ＶＡについて、最近接基準画素である基準画素(1)、(2)、(4)の画素値を用いて、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(2)＋Ｖ(4)）／３
により求める。
【０２７８】
一方、補間画素Ｂ，Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２４（ｃ）では、補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(2)と(6)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と(4)とを結ぶ線分を内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式
ＶＢ＝（９×Ｖ(2)＋４×Ｖ(4)）／１３
を用いて求める。
【０２７９】
同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(4)と、当該基準画素(4)を含みエッジ方向に平行な線上の基準画素(2)との画素値を用いて、以下の式
ＶＣ＝（４×Ｖ(2)＋９×Ｖ(4)）／１３
により求める。
【０２８０】
また、エッジ方向が上−下方向である場合、図２４（ｄ）に示されるように、基準画素(2)、(5)、(8)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ｂの画素値ＶＢについて、補間画素Ｂに隣施するエッジ線上の基準画素(2)および基準画素(5)の画素値を用いて、以下の式
ＶＣ＝（Ｖ(2)＋Ｖ(5)）／２
により求める。
【０２８１】
一方、エッジ線上ではない補間画素Ａ、Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２４（ｄ）では、補間画素Ａについては、最近接基準画素である基準画素(1)または(4)を含み、エッジ方向に平行な線は、基準画素(1)と(4)とを結ぶ線である。そして、補間画素Ａから当該線に垂直に下した点は、基準画素(1)と(4)との中央に存在する。そのため、補間画素Ａの画素値ＶＡは、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(4)）／２
を用いて求める。
【０２８２】
補間画素Ｃについては、最近接基準画素である基準画素(4)を含み、エッジ方向に平行な線は、基準画素(1)と(4)と(7)とを結ぶ線である。そして、補間画素Ｃから当該線に垂直に下した点は、基準画素(4)と一致する。そのため、補間画素Ｃの画素値ＶＣは、基準画素(4)の画素値Ｖ(4)と同じ値にする。
【０２８３】
なお、記憶部２１０は、エッジ方向と、補間画素Ａ，Ｂ，Ｃの画素値を求めるための演算式とを対応付けた情報を予め記憶している。そして、高解像度補正部２２５は、Ｓ４２で検出されたエッジ方向に対応する演算式を記憶部２１０から読み出し、読み出した演算式に基づいて、補間画素Ａ，Ｂ，Ｃの画素値を求めればよい。
【０２８４】
なお、図２４では、エッジ方向が直線状である場合のみ示している。しかしながら、エッジは、Ｎ×Ｎの部分画像内において曲がる場合もある。例えば、エッジが基準画素(2)−(5)−(4)のように曲がる場合や、エッジが基準画素(1)−(5)−(7)のように曲がる場合などである。このような場合についても、補間画素Ａ，Ｂ，Ｃの画素値を求めるための演算式とを対応付けた情報を予め記憶している。例えば、エッジが基準画素(2)−(5)−(4)のように曲がる場合、補間画素Ａについては図２４（ｃ）と同様に、補間画素Ｂについては図２４（ｂ）と同様に、補間画素Ｃについては図２４（ｄ）と同様の演算式を記憶している。また、エッジが基準画素(1)−(5)−(7)のように曲がる場合、補間画素Ａについては図２４（ａ）と同様に、補間画素Ｂについては図２４（ａ）と同様に、補間画素Ｃについては図２４（ｄ）と同様の演算式を記憶している。他のエッジ方向のパターンについても同様に記憶している。
【０２８５】
このようにして、高解像度補正部２２５は、エッジ画素と判定された基準画素の周囲に位置する補間画素の画素値を求める。
【０２８６】
一方、着目画素がエッジでない場合（Ｓ４１でＮｏ）、高解像度補正部２２５は、当該着目画素の左上に隣接する補間画素Ａ，当該着目画素の上に隣接する補間画素Ｂ，当該着目画素の左の補間画素Ｃの画素値を、一般的な補間演算法（バイリニア・バイキュービックなど）により求める（Ｓ４３）。
【０２８７】
高解像度補正部２２５は、上記のＳ４１〜Ｓ４３の処理を、一つの画像データに含まれる全ての基準画素について実行することで、基準画素と補間画素との両方を備える補間画像データを生成する（Ｓ４４）。
【０２８８】
その後、高解像度補正部２２５は、生成した補間画像データに対して高画質化処理を行う。例えば、高解像度補正部２２５は、ノイズ除去フィルタや鮮鋭化フィルタなどを補間画像データに適用して、高解像度画像データを生成する。従来からあるアンシャープマスクや図９の中央の係数を５としたものが鮮鋭化フィルタとなる。またノイズ除去としてはメディアンフィルタなどが広く知られている。より高度な手法として、上記エッジ保存性と高画質化を併せ持つ手法としてBilateralフィルタ［Proceedings of the 1998 IEEE International Conference on Computer Vision,］などを用いてもよい。
【０２８９】
なお、高解像度補正部２２５は、上述した方法に限定されず、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008） に記載されているような種々の方法を用いて、１つの撮像画像データから高解像度画像データを生成してもよい。
【０２９０】
また、このように１つの画像データから高解像度画像データを生成する場合、携帯端末装置１００の撮像部１０１は、文書撮像モードにおいて、１回のシャッター押下で１回だけ撮像すればよい。また、この場合、上記の（３−３）の処理を省略することができる。そして、携帯端末装置１００は、上記高解像度出力用データセットとして、１回のシャッター押下で１回だけの撮像により得られる１つの撮像画像データを含むものを送信すればよい。
【０２９１】
（１２−９）撮像画像判定部の判定項目について
上記の説明では、文書撮像モードが選択されたときに、撮像画像判定部１０２は、撮像画像における撮像対象物の傾き、幾何学的歪み、複数の撮像画像間のズレ量を判定するものとした。しかしながら、撮像画像判定部１０２における判定項目はこれに限定されるものではない。以下にこの変形例を説明する。
【０２９２】
例えば、上記の判定項目に加えて、他の判定項目について判定してもよい。他の判定項目としては、明るさ、コントラスト、カラーバランス、ブレ（激しい手ぶれ）などがある。
【０２９３】
明るさについては、例えば露出オーバー（明るすぎる）やアンダー（暗すぎる）の場合に再度の撮像が必要となるケースが考えられる。そこで、撮像画像判定部１０２は、例えば、サブ撮像画像データの画素値のうち、最大のものと最小のものを求め、最大値がある閾値（例えば８ビットで１００など）以下であれば、露出アンダーとし、最小値がある閾値（例えば８ビットで１５０など）以上であれば、露出オーバーとする判定結果を制御部１０９に出力する。そして、制御部１０９は、露出アンダーまたは露出オーバーの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。もしくは、制御部１０９は、露出アンダーの場合には、撮像部１０１における露光時間を長くするように設定変更し、露出オーバーの場合には、露光時間を短くするように設定変更する。その後、制御部１０９は、ユーザに再撮像を促す指示を通知してもよい。
【０２９４】
コントラストについては、撮像画像判定部１０２は、サブ撮像画像データの画素値のうちの最大・最小の差分値が所定閾値以下の場合、コントラスト不足と判定する。そして、制御部１０９は、コントラスト不足との判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。
【０２９５】
なお、明るさ・コントラストの判定において、撮像画像判定部１０２は、各色チャンネルに対して判定を行っても良いし、平均値（Ｒ＋Ｇ＋Ｂ／３）や明度値（０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ：ＮＴＳＣ準拠）を用いても良い。
【０２９６】
カラーバランスについては、各色チャンネル（ＲＧＢ）の平均値や最大・最小値の比較を行うことで、ある一つのチャンネルに過度の偏りが発生していることを把握できる。そこで、撮像画像判定部１０２は、例えば、撮像画像中の最大明度値付近の値（最大明度〜最大明度−５程度）を持つ画素値の各色チャンネルの値の平均値（Ｒａ，Ｇａ，Ｂａ）を求め、その各色チャンネルの最大値と最小値の差分が値に応じた一定値以上［Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）−Ｍｉｎ（Ｒａ，Ｇａ，Ｂａ）＞０．１×Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）］である場合に、カラーバランス不良であると判定する。そして、制御部１０９は、カラーバランス不良であるとの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。
【０２９７】
ブレ（激しい手ぶれ：いわゆるモーションブラー）については、発生時にエッジの先鋭性が低下することから、撮像画像判定部１０２は、図８に挙げたようなエッジ抽出フィルタを用いて、エッジ強度画像を作成してヒストグラムを取り、その標準偏差値（前記分散の二乗根）を求める。そして、当該標準偏差値が所定閾値（例えば５）以下の場合、ブレが発生していると判定する。そして、制御部１０９は、ブレが発生しているとの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。
【０２９８】
（１２−１０）撮像部について
上記の説明では、撮像部１０１が連続して複数回撮像するときの手ぶれによって、複数の撮像画像にズレが生じることを利用する形態とした。しかしながら、これに限らず、撮像部１０１は、連続して複数回撮像するときに、撮像素子（ＣＣＤ・ＣＭＯＳ）またはレンズを微小にずらしてもよい。これにより、複数の撮像画像間においてズレが確実に生じることになる。
【０２９９】
（１２−１１）携帯端末装置から画像出力装置への画像データの送信タイミングについて
上記の説明では、文書撮像モードで撮像された高解像度出力用データセットを携帯端末装置１００で蓄積しておき、送信指示が入力されたタイミングで、それまでに蓄積された高解像度出力用データセットをまとめて送信するものとした。しかしながら、携帯端末装置１００から高解像度出力用データセットを画像出力装置２００に送信するタイミングはこれに限定されない。
【０３００】
例えば、文書撮像モードで撮像部１０１が撮像するたびに当該撮像により得られた一つの高解像度出力用データセットを画像出力装置２００に送信してもよい。この場合、ユーザは、画像出力装置２００の近傍にいない場合がほとんどである。そのため、携帯端末装置１００の通信部１０４は、携帯電話網およびインターネット網を介して、高解像度出力用データセットを画像出力装置２００に送信すればよい。
【０３０１】
（１２−１２）出力処理情報について
上記の説明では、出力処理情報を携帯端末装置１００が取得し、画像出力装置２００に送信するものとした。しかしながら、これに限らず、画像出力装置２００がユーザ認証のためにユーザ情報を取得する際に、出力処理情報（出力処理の種類、出力処理のための設定条件を示す情報）を取得してもよい。
【０３０２】
（１２−１３）出力処理について
画像出力装置２００において、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって生成された高解像度画像データを高圧縮ＰＤＦに変換してもよい。なお、高圧縮ＰＤＦデータとは、画像データの中の背景部分と文字分とを分離し、ぞれぞれの部分に最適な圧縮処理を行ったＰＤＦデータである。これにより、文字判読性が良好で、画像ファイルサイズも低減させることができる。
【０３０３】
また、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって生成された高解像度画像データに対してＯＣＲ処理を実行し、テキストデータを生成してもよい。そして、制御部２１２は、高解像度画像データをＰＤＦに変換し、生成したテキストデータを透明テキストとして付加してもよい。なお、透明テキストとは、認識された文字をテキスト情報として見掛け上は見えない形で画像データに重ね合わせる（あるいは埋め込む）ためのデータである。例えば、ＰＤＦファイルでは、画像データに透明テキストを付加した画像ファイルが一般に使用されている。そして、制御部２１２は、生成した透明テキスト付きＰＤＦデータを出力させてもよい。これにより、テキスト検索可能なファイルのように活用しやすい電子化文書を出力することができる。
【０３０４】
（１２−１４）画像出力装置が備える画像処理部について
上記の説明では、画像出力装置２００が備える画像処理部２０２が高解像度補正などを行うものとして説明した。しかしながら、画像出力装置２００は、高解像度出力用データセットに対する高解像度補正やその他の画像処理（幾何学的歪みの補正、レンズ歪みの補正、コントラスト補正、カラーバランス補正など）を、上記画像処理部２０２を備えたサーバに実行させてもよい。なお、この場合、当該サーバが、携帯端末装置１００から受信した高解像度出力用データセットに対して高解像度補正を行い、補正後の高解像度画像データを出力する画像出力装置であるといえる。
【０３０５】
（１３）プログラムおよび記録媒体
本発明はコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に、上記した携帯端末装置１００で撮像した画像を画像出力装置２００に送信し画像出力装置２００より出力する方法を記録するものとすることもできる。
【０３０６】
この結果、上記処理を行うプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録した記録媒体を持ち運び自在に提供することができる。
なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばＲＯＭのようなもの、そのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。
【０３０７】
いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤなどの光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。
【０３０８】
また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０３０９】
上記記録媒体は、携帯端末装置１００や画像出力装置２００に備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。
【０３１０】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０３１１】
本発明は、携帯端末装置と画像出力装置との間でデータ通信を行う撮像画像処理システムに適用することができる。
【符号の説明】
【０３１２】
１００ 携帯端末装置
２００ 画像出力装置
１０１ 撮像部
１０２ 撮像画像判定部（補正情報生成部）
１０３ 画像処理部
１０４ 通信部（送信部）
１０５ 表示部
１０６ 入力部
１０７ 記憶媒体アクセス部
１０８ 記憶部
１０９ 制御部（送信部）
１１０ 補正情報生成部
１１１ 指定情報受付部
１１２ 領域決定部（出力対象領域決定部）
１１３ 領域抽出部（画像抽出部）
１１４ 編集処理部
２０１ 画像読取部
２０２ 画像処理部（補正済データ生成部）
２０３ 認証部
２０４ 画像形成部
２０５ 表示部
２０６ 入力部
２０７ 第１通信部（受信部）
２０８ 第２通信部
２０９ 記憶媒体アクセス部
２１０ 記憶部
２１２ 制御部
２２１ 画質調整部（補正済データ生成部）
２２２ 幾何学補正部（写像生成部、補正済データ生成部）
２２３ レンズ歪み補正部（補正済データ生成部）
２２４ 出力画像処理部（補正済データ生成部）
２２５ 高解像度補正部（補正済データ生成部）
【特許請求の範囲】
【請求項１】
撮像部を備えた携帯端末装置と画像出力装置とを備え、上記携帯端末装置と上記画像出力装置とが通信可能である撮像画像処理システムであって、
上記撮像部の撮像により得られた撮像画像データで示される撮像画像の中の一部の領域である指定領域の位置を示す指定情報の入力をユーザから受け付ける指定情報受付部と、
上記指定情報に基づいて、上記撮像画像の中から、上記画像出力装置から出力する領域である出力対象領域を決定する出力対象領域決定部と、
上記撮像画像の中から検出された線分状に連なる４つのエッジ画素群を辺とする四角形の領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、上記四角形の領域内の各画素の座標から上記矩形の領域内の対応する画素の座標への写像を求める写像生成部と、
上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、少なくとも上記写像生成部が生成した写像による座標変換処理が施された補正済画像データを生成する補正済データ生成部と、
上記補正済画像データ、または、当該補正済画像データで示される画像を出力する出力部とを備え、
上記携帯端末装置は少なくとも上記指定情報受付部を備え、上記画像出力装置は少なくとも上記補正済データ生成部および上記出力部を備えることを特徴とする撮像画像処理システム。
【請求項２】
撮像部を備えた携帯端末装置と画像出力装置とを備え、上記携帯端末装置と上記画像出力装置とが通信可能である撮像画像処理システムであって、
上記撮像部の撮像により得られた撮像画像データで示される撮像画像の中の一部の四角形の領域である指定領域の位置を示す指定情報の入力をユーザから受け付ける指定情報受付部と、
上記指定情報に基づいて、上記撮像画像の中から、上記画像出力装置から出力する四角形の領域である出力対象領域を決定する出力対象領域決定部と、
上記出力対象領域決定部により決定された四角形の出力対象領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、上記出力対象領域内の各画素の座標から上記矩形の領域内の対応する画素の座標への写像を求める写像生成部と、
上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、少なくとも上記写像生成部が生成した写像による座標変換処理が施された補正済画像データを生成する補正済データ生成部と、
上記補正済画像データ、または、当該補正済画像データで示される画像を出力する出力部とを備え、
上記携帯端末装置は少なくとも上記指定情報受付部を備え、上記画像出力装置は少なくとも上記補正済データ生成部および上記出力部を備えることを特徴とする撮像画像処理システム。
【請求項３】
上記携帯端末装置は、
上記出力対象領域決定部と、
上記撮像画像データから、上記出力対象領域決定部によって決定された出力対象領域の画像を示す指定領域画像データを切り出す画像抽出部と、
上記撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、
上記指定領域画像データ、および、上記補正情報を上記画像出力装置に送信する送信部とを備え、
上記画像出力装置は、
上記送信部により送信された指定領域画像データおよび補正情報を受信する受信部と、
上記写像生成部とを備え、
上記写像生成部は、上記受信部が受信した補正情報に基づいて上記写像を求め、
上記補正済データ生成部は、上記受信部が受信した指定領域画像データに対して、上記写像生成部が生成した写像による座標変換処理を行うことで、上記補正済画像データを生成することを特徴とする請求項１に記載の撮像画像処理システム。
【請求項４】
上記携帯端末装置は、
上記出力対象領域決定部と、
上記撮像画像データ、および、上記出力対象領域決定部により決定された出力対象領域の位置を示す出力対象領域情報を上記画像出力装置に送信する送信部を備え、
上記画像出力装置は、
上記送信部により送信された撮像画像データおよび出力対象領域情報を受信する受信部と、
上記受信部により受信された撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、
上記写像生成部とを備え、
上記写像生成部は、上記補正情報生成部により生成された補正情報に基づいて上記写像を求め、
上記補正済データ生成部は、上記受信部が受信した撮像画像データから、上記受信部が受信した出力対象領域情報で示される出力対象領域の画像を示す指定領域画像データを切り出し、当該指定領域画像データに対して、上記写像生成部が生成した写像による座標変換処理を行うことで、上記補正済画像データを生成することを特徴とする請求項１に記載の撮像画像処理システム。
【請求項５】
上記携帯端末装置は、
上記出力対象領域決定部と、
上記撮像画像データ、および、上記出力対象領域決定部により決定された出力対象領域の位置を示す出力対象領域情報を上記画像出力装置に送信する送信部を備え、
上記画像出力装置は、
上記送信部により送信された撮像画像データおよび出力対象領域情報を受信する受信部と、
上記受信部により受信された撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、
上記写像生成部とを備え、
上記写像生成部は、上記補正情報生成部により生成された補正情報に基づいて上記写像を求め、
上記補正済データ生成部は、上記受信部が受信した撮像画像データおよび出力対象領域情報に対して、上記写像生成部が生成した写像による座標変換処理を行い、当該座標変換処理が行われた撮像画像データから、当該座標変換処理が行われた出力対象領域情報で示される位置の出力対象領域を切り出すことで、上記補正済画像データを生成することを特徴とする請求項１に記載の撮像画像処理システム。
【請求項６】
上記携帯端末装置は、
上記出力対象領域決定部と、
上記撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、
上記撮像画像データ、上記出力対象領域決定部により決定された出力対象領域の位置を示す出力対象領域情報、および、上記補正情報を上記画像出力装置に送信する送信部とを備え、
上記画像出力装置は、
上記送信部により送信された撮像画像データ、出力対象領域情報および補正情報を受信する受信部と、
上記写像生成部とを備え、
上記写像生成部は、上記受信部が受信した補正情報に基づいて上記写像を求め、
上記補正済データ生成部は、上記受信部が受信した撮像画像データから、上記受信部が受信した出力対象領域情報で示される出力対象領域の画像を示す指定領域画像データを切り出し、当該指定領域画像データに対して、上記写像生成部が生成した写像による座標変換処理を行うことで、上記補正済画像データを生成することを特徴とする請求項１に記載の撮像画像処理システム。
【請求項７】
上記携帯端末装置は、
上記出力対象領域決定部と、
上記撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、
上記撮像画像データ、上記出力対象領域決定部により決定された出力対象領域の位置を示す出力対象領域情報、および、上記補正情報を上記画像出力装置に送信する送信部とを備え、
上記画像出力装置は、
上記送信部により送信された撮像画像データ、出力対象領域情報および補正情報を受信する受信部と、
上記写像生成部とを備え、
上記写像生成部は、上記受信部が受信した補正情報に基づいて上記写像を求め、
上記補正済データ生成部は、上記受信部が受信した撮像画像データおよび出力対象領域情報に対して、上記写像生成部が生成した写像による座標変換処理を行い、当該座標変換処理が行われた撮像画像データから、当該座標変換処理が行われた出力対象領域情報で示される位置の出力対象領域を切り出すことで、上記補正済画像データを生成することを特徴とする請求項１に記載の撮像画像処理システム。
【請求項８】
上記指定情報受付部は、上記指定情報として、四角形の上記指定領域の頂点となる４つの指定点の位置を示す情報を受け付け、
上記出力対象領域決定部は、上記指定情報受付部が受け付けた各指定点について、上記撮像画像における当該指定点を含む所定サイズのブロック内に、一つの角部を有する所定形状に連結された複数のエッジ画素が存在するか否かを判定し、上記ブロック内に上記複数のエッジ画素が存在する場合、上記角部の点を補正情報特定点として決定し、上記ブロック内に上記複数のエッジ画素が存在しない場合、上記指定点を補正情報特定点として決定し、決定した４つの補正情報特定点を頂点とする四角形の領域を上記出力対象領域とすることを特徴とする請求項１から７の何れか１項に記載の撮像画像処理システム。
【請求項９】
上記補正済データ生成部は、上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、上記写像生成部が生成した写像による座標変換処理、および、上記撮像画像データの解像度よりも高い解像度に補正する高解像度補正処理が施された補正済画像データを生成することを特徴とする請求項１から８の何れか１項に記載の撮像画像処理システム。
【請求項１０】
上記出力対象領域を表示するための表示部を備えることを特徴とする請求項１から９の何れか１項に記載の撮像画像処理システム。
【請求項１１】
上記表示部に表示された出力対象領域に対するユーザ入力に従って、上記出力対象領域の編集を行う編集処理部を備えることを特徴とする請求項１０に記載の撮像画像処理システム。
【請求項１２】
撮像部を備えた携帯端末装置と画像出力装置とを備え、上記携帯端末装置と上記画像出力装置とが通信可能である撮像画像処理システムにおける画像出力方法であって、
上記撮像部の撮像により得られた撮像画像データで示される撮像画像の中の一部の領域である指定領域の位置を示す指定情報の入力をユーザから受け付ける指定情報受付ステップと、
上記指定情報に基づいて、上記撮像画像の中から、上記画像出力装置から出力する画像の領域である出力対象領域を決定する出力対象領域決定ステップと、
上記撮像画像データで示される撮像画像の中から検出された４つの線分状に連なるエッジ画素群を辺とする四角形の領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、上記四角形の領域内の各画素の座標から上記矩形の領域内の対応する画素の座標への写像を求める写像生成ステップと、
上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、少なくとも上記写像による座標変換処理が施された補正済画像データを生成する補正済データ生成ステップと、
上記補正済画像データ、または、当該補正済画像データで示される画像を出力する出力ステップとを含み、
上記携帯端末装置は少なくとも上記指定情報受付ステップの処理を行い、上記画像出力装置は少なくとも上記補正済データ生成ステップおよび上記出力ステップの処理を行うことを特徴とする画像出力方法。
【請求項１３】
撮像部を備えた携帯端末装置と画像出力装置とを備え、上記携帯端末装置と上記画像出力装置とが通信可能である撮像画像処理システムにおける画像出力方法であって、
上記撮像部の撮像により得られた撮像画像データで示される撮像画像の中の一部の四角形の領域である指定領域の位置を示す指定情報の入力をユーザから受け付ける指定情報受付ステップと、
上記指定情報に基づいて、上記撮像画像の中から、上記画像出力装置から出力する四角形の領域である出力対象領域を決定する出力対象領域決定ステップと、
上記出力対象領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、上記出力対象領域内の各画素の座標から上記矩形の領域内の対応する画素の座標への写像を求める写像生成ステップと、
上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、少なくとも上記写像による座標変換処理が施された補正済画像データを生成する補正済データ生成ステップと、
上記補正済画像データ、または、当該補正済画像データで示される画像を出力する出力ステップとを含み、
上記携帯端末装置は少なくとも上記指定情報受付ステップの処理を行い、上記画像出力装置は少なくとも上記補正済データ生成ステップおよび上記出力ステップの処理を行うことを特徴とする画像出力方法。
【請求項１４】
請求項１から１１のいずれか１項に記載の撮像画像処理システムを動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
【請求項１５】
請求項１４に記載のプログラムを記録したコンピュータ読取り可能な記録媒体。
【請求項１】
撮像部を備えた携帯端末装置と画像出力装置とを備え、上記携帯端末装置と上記画像出力装置とが通信可能である撮像画像処理システムであって、
上記撮像部の撮像により得られた撮像画像データで示される撮像画像の中の一部の領域である指定領域の位置を示す指定情報の入力をユーザから受け付ける指定情報受付部と、
上記指定情報に基づいて、上記撮像画像の中から、上記画像出力装置から出力する領域である出力対象領域を決定する出力対象領域決定部と、
上記撮像画像の中から検出された線分状に連なる４つのエッジ画素群を辺とする四角形の領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、上記四角形の領域内の各画素の座標から上記矩形の領域内の対応する画素の座標への写像を求める写像生成部と、
上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、少なくとも上記写像生成部が生成した写像による座標変換処理が施された補正済画像データを生成する補正済データ生成部と、
上記補正済画像データ、または、当該補正済画像データで示される画像を出力する出力部とを備え、
上記携帯端末装置は少なくとも上記指定情報受付部を備え、上記画像出力装置は少なくとも上記補正済データ生成部および上記出力部を備えることを特徴とする撮像画像処理システム。
【請求項２】
撮像部を備えた携帯端末装置と画像出力装置とを備え、上記携帯端末装置と上記画像出力装置とが通信可能である撮像画像処理システムであって、
上記撮像部の撮像により得られた撮像画像データで示される撮像画像の中の一部の四角形の領域である指定領域の位置を示す指定情報の入力をユーザから受け付ける指定情報受付部と、
上記指定情報に基づいて、上記撮像画像の中から、上記画像出力装置から出力する四角形の領域である出力対象領域を決定する出力対象領域決定部と、
上記出力対象領域決定部により決定された四角形の出力対象領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、上記出力対象領域内の各画素の座標から上記矩形の領域内の対応する画素の座標への写像を求める写像生成部と、
上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、少なくとも上記写像生成部が生成した写像による座標変換処理が施された補正済画像データを生成する補正済データ生成部と、
上記補正済画像データ、または、当該補正済画像データで示される画像を出力する出力部とを備え、
上記携帯端末装置は少なくとも上記指定情報受付部を備え、上記画像出力装置は少なくとも上記補正済データ生成部および上記出力部を備えることを特徴とする撮像画像処理システム。
【請求項３】
上記携帯端末装置は、
上記出力対象領域決定部と、
上記撮像画像データから、上記出力対象領域決定部によって決定された出力対象領域の画像を示す指定領域画像データを切り出す画像抽出部と、
上記撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、
上記指定領域画像データ、および、上記補正情報を上記画像出力装置に送信する送信部とを備え、
上記画像出力装置は、
上記送信部により送信された指定領域画像データおよび補正情報を受信する受信部と、
上記写像生成部とを備え、
上記写像生成部は、上記受信部が受信した補正情報に基づいて上記写像を求め、
上記補正済データ生成部は、上記受信部が受信した指定領域画像データに対して、上記写像生成部が生成した写像による座標変換処理を行うことで、上記補正済画像データを生成することを特徴とする請求項１に記載の撮像画像処理システム。
【請求項４】
上記携帯端末装置は、
上記出力対象領域決定部と、
上記撮像画像データ、および、上記出力対象領域決定部により決定された出力対象領域の位置を示す出力対象領域情報を上記画像出力装置に送信する送信部を備え、
上記画像出力装置は、
上記送信部により送信された撮像画像データおよび出力対象領域情報を受信する受信部と、
上記受信部により受信された撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、
上記写像生成部とを備え、
上記写像生成部は、上記補正情報生成部により生成された補正情報に基づいて上記写像を求め、
上記補正済データ生成部は、上記受信部が受信した撮像画像データから、上記受信部が受信した出力対象領域情報で示される出力対象領域の画像を示す指定領域画像データを切り出し、当該指定領域画像データに対して、上記写像生成部が生成した写像による座標変換処理を行うことで、上記補正済画像データを生成することを特徴とする請求項１に記載の撮像画像処理システム。
【請求項５】
上記携帯端末装置は、
上記出力対象領域決定部と、
上記撮像画像データ、および、上記出力対象領域決定部により決定された出力対象領域の位置を示す出力対象領域情報を上記画像出力装置に送信する送信部を備え、
上記画像出力装置は、
上記送信部により送信された撮像画像データおよび出力対象領域情報を受信する受信部と、
上記受信部により受信された撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、
上記写像生成部とを備え、
上記写像生成部は、上記補正情報生成部により生成された補正情報に基づいて上記写像を求め、
上記補正済データ生成部は、上記受信部が受信した撮像画像データおよび出力対象領域情報に対して、上記写像生成部が生成した写像による座標変換処理を行い、当該座標変換処理が行われた撮像画像データから、当該座標変換処理が行われた出力対象領域情報で示される位置の出力対象領域を切り出すことで、上記補正済画像データを生成することを特徴とする請求項１に記載の撮像画像処理システム。
【請求項６】
上記携帯端末装置は、
上記出力対象領域決定部と、
上記撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、
上記撮像画像データ、上記出力対象領域決定部により決定された出力対象領域の位置を示す出力対象領域情報、および、上記補正情報を上記画像出力装置に送信する送信部とを備え、
上記画像出力装置は、
上記送信部により送信された撮像画像データ、出力対象領域情報および補正情報を受信する受信部と、
上記写像生成部とを備え、
上記写像生成部は、上記受信部が受信した補正情報に基づいて上記写像を求め、
上記補正済データ生成部は、上記受信部が受信した撮像画像データから、上記受信部が受信した出力対象領域情報で示される出力対象領域の画像を示す指定領域画像データを切り出し、当該指定領域画像データに対して、上記写像生成部が生成した写像による座標変換処理を行うことで、上記補正済画像データを生成することを特徴とする請求項１に記載の撮像画像処理システム。
【請求項７】
上記携帯端末装置は、
上記出力対象領域決定部と、
上記撮像画像データで示される撮像画像の中から、４つの線分状に連なるエッジ画素群を辺とする四角形の領域を検出し、当該エッジ画素群を辺とする四角形の領域の位置を示す補正情報を生成する補正情報生成部と、
上記撮像画像データ、上記出力対象領域決定部により決定された出力対象領域の位置を示す出力対象領域情報、および、上記補正情報を上記画像出力装置に送信する送信部とを備え、
上記画像出力装置は、
上記送信部により送信された撮像画像データ、出力対象領域情報および補正情報を受信する受信部と、
上記写像生成部とを備え、
上記写像生成部は、上記受信部が受信した補正情報に基づいて上記写像を求め、
上記補正済データ生成部は、上記受信部が受信した撮像画像データおよび出力対象領域情報に対して、上記写像生成部が生成した写像による座標変換処理を行い、当該座標変換処理が行われた撮像画像データから、当該座標変換処理が行われた出力対象領域情報で示される位置の出力対象領域を切り出すことで、上記補正済画像データを生成することを特徴とする請求項１に記載の撮像画像処理システム。
【請求項８】
上記指定情報受付部は、上記指定情報として、四角形の上記指定領域の頂点となる４つの指定点の位置を示す情報を受け付け、
上記出力対象領域決定部は、上記指定情報受付部が受け付けた各指定点について、上記撮像画像における当該指定点を含む所定サイズのブロック内に、一つの角部を有する所定形状に連結された複数のエッジ画素が存在するか否かを判定し、上記ブロック内に上記複数のエッジ画素が存在する場合、上記角部の点を補正情報特定点として決定し、上記ブロック内に上記複数のエッジ画素が存在しない場合、上記指定点を補正情報特定点として決定し、決定した４つの補正情報特定点を頂点とする四角形の領域を上記出力対象領域とすることを特徴とする請求項１から７の何れか１項に記載の撮像画像処理システム。
【請求項９】
上記補正済データ生成部は、上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、上記写像生成部が生成した写像による座標変換処理、および、上記撮像画像データの解像度よりも高い解像度に補正する高解像度補正処理が施された補正済画像データを生成することを特徴とする請求項１から８の何れか１項に記載の撮像画像処理システム。
【請求項１０】
上記出力対象領域を表示するための表示部を備えることを特徴とする請求項１から９の何れか１項に記載の撮像画像処理システム。
【請求項１１】
上記表示部に表示された出力対象領域に対するユーザ入力に従って、上記出力対象領域の編集を行う編集処理部を備えることを特徴とする請求項１０に記載の撮像画像処理システム。
【請求項１２】
撮像部を備えた携帯端末装置と画像出力装置とを備え、上記携帯端末装置と上記画像出力装置とが通信可能である撮像画像処理システムにおける画像出力方法であって、
上記撮像部の撮像により得られた撮像画像データで示される撮像画像の中の一部の領域である指定領域の位置を示す指定情報の入力をユーザから受け付ける指定情報受付ステップと、
上記指定情報に基づいて、上記撮像画像の中から、上記画像出力装置から出力する画像の領域である出力対象領域を決定する出力対象領域決定ステップと、
上記撮像画像データで示される撮像画像の中から検出された４つの線分状に連なるエッジ画素群を辺とする四角形の領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、上記四角形の領域内の各画素の座標から上記矩形の領域内の対応する画素の座標への写像を求める写像生成ステップと、
上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、少なくとも上記写像による座標変換処理が施された補正済画像データを生成する補正済データ生成ステップと、
上記補正済画像データ、または、当該補正済画像データで示される画像を出力する出力ステップとを含み、
上記携帯端末装置は少なくとも上記指定情報受付ステップの処理を行い、上記画像出力装置は少なくとも上記補正済データ生成ステップおよび上記出力ステップの処理を行うことを特徴とする画像出力方法。
【請求項１３】
撮像部を備えた携帯端末装置と画像出力装置とを備え、上記携帯端末装置と上記画像出力装置とが通信可能である撮像画像処理システムにおける画像出力方法であって、
上記撮像部の撮像により得られた撮像画像データで示される撮像画像の中の一部の四角形の領域である指定領域の位置を示す指定情報の入力をユーザから受け付ける指定情報受付ステップと、
上記指定情報に基づいて、上記撮像画像の中から、上記画像出力装置から出力する四角形の領域である出力対象領域を決定する出力対象領域決定ステップと、
上記出力対象領域を、所定の大きさを有し、かつ、上下の辺が水平方向に略平行な矩形の領域に変換する際に用いられる、上記出力対象領域内の各画素の座標から上記矩形の領域内の対応する画素の座標への写像を求める写像生成ステップと、
上記撮像画像データの中の上記出力対象領域のみに対応する画像データに対して、少なくとも上記写像による座標変換処理が施された補正済画像データを生成する補正済データ生成ステップと、
上記補正済画像データ、または、当該補正済画像データで示される画像を出力する出力ステップとを含み、
上記携帯端末装置は少なくとも上記指定情報受付ステップの処理を行い、上記画像出力装置は少なくとも上記補正済データ生成ステップおよび上記出力ステップの処理を行うことを特徴とする画像出力方法。
【請求項１４】
請求項１から１１のいずれか１項に記載の撮像画像処理システムを動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
【請求項１５】
請求項１４に記載のプログラムを記録したコンピュータ読取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１１−５５４６７（Ｐ２０１１−５５４６７Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２０１０−１２６１６６（Ｐ２０１０−１２６１６６）
【出願日】平成２２年６月１日（２０１０．６．１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２２年６月１日（２０１０．６．１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]