画像出力装置
【課題】 台面上に載置されているものを上方から撮影する場合、例えば本の紙面が湾曲している状態で撮影しているので、歪んだ状態で撮影されてしまう。
【解決手段】
台面上には所定の被写体を載置することが可能である。投影部がこの台面よりも高い位置から同台面上に所定の絵柄の光を投影すると、カメラ部は上記台面上の撮影を行なう。台面上に被写体が置かれている状態であれば、上記絵柄は立体表面に投影され、歪み修正パラメータ演算部はカメラ部にて上記投影される絵柄を撮影した画像データに基づき、同絵柄の歪みから上記台面上に載置された被写体の表面形状を平面状に戻すパラメータを演算する。そして、画像データの歪み修正演算部は、演算された歪み修正パラメータに基づいて上記カメラ部にて撮影される画像データに生じている歪みを除去した平面状の画像データに変換する。最後に、歪みを除去した平面状の画像を出力する。
【解決手段】
台面上には所定の被写体を載置することが可能である。投影部がこの台面よりも高い位置から同台面上に所定の絵柄の光を投影すると、カメラ部は上記台面上の撮影を行なう。台面上に被写体が置かれている状態であれば、上記絵柄は立体表面に投影され、歪み修正パラメータ演算部はカメラ部にて上記投影される絵柄を撮影した画像データに基づき、同絵柄の歪みから上記台面上に載置された被写体の表面形状を平面状に戻すパラメータを演算する。そして、画像データの歪み修正演算部は、演算された歪み修正パラメータに基づいて上記カメラ部にて撮影される画像データに生じている歪みを除去した平面状の画像データに変換する。最後に、歪みを除去した平面状の画像を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像出力装置に関し、特に、台面上に載置した被写体の画像を出力可能な画像出力装置に関する。
【背景技術】
【０００２】
従来、所定の台面上に載置した被写体を撮影可能な画像形成装置が知られている。
特許文献１及び特許文献２に示すものでは、台面を手前に引き出した後、同台面上にせり出してくる撮影素子により、上記台面上に載置された被写体を上方から撮影する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−６８２８９号公報
【特許文献２】特開２０１０−６８２９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、台面上に載置されているものを上方から撮影する場合、例えば本の紙面が湾曲している状態で撮影しているので、歪んだ状態で撮影されてしまう。
本発明は、本来は平面でありながら立体的になって湾曲して撮影される画像から本来の平面の状態の画像に変換することが可能な画像出力装置に関する。
【課題を解決するための手段】
【０００５】
本発明は、台面上には所定の被写体を載置することが可能である。投影部がこの台面よりも高い位置から同台面上に所定の絵柄の光を投影すると、カメラ部は上記台面上の撮影を行なう。台面上に被写体が置かれている状態であれば、上記絵柄は立体表面に投影され、歪み修正パラメータ演算部はカメラ部にて上記投影される絵柄を撮影した画像データに基づき、同絵柄の歪みから上記台面上に載置された被写体の表面形状を平面状に戻すパラメータを演算する。そして、画像データの歪み修正演算部は、演算された歪み修正パラメータに基づいて上記カメラ部にて撮影される画像データに生じている歪みを除去した平面状の画像データに変換する。最後に、歪みを除去した平面状の画像を出力する。
【０００６】
ここで、歪み修正パラメータは歪みを完全に無くすことができるものに限られず、軽減するようなものも含まれる。また、上記投影部は、上記被写体の中央近辺から放射状に上記絵柄の光を投影するように構成することができる。放射状に投影すると立体物の表面の高さにほぼ比例して各地点においてずれが生じる。
また、上記投影部は、上記放射状の絵柄の光として升目状の絵柄を投影するように構成することができる。升目状の絵柄であると各格子点が定まり、各格子点の高さ情報を得られるので立体物を把握しやすい。
【０００７】
さらに、上記歪み修正パラメータ演算部は、上記升目状の格子点ごとにずれ量と高さとの対応関係を示すテーブルを有しており、歪みの格子点ごとにずれ量を求めて高さ情報に変換することで立体表面形状を求めるように構成しても良い。
台面と投影部との一定の位置関係が定まっているので、予め各格子点ごとにずれ量と高さとの換算用のテーブルを用意することが可能であり、演算が容易になる。
【０００８】
また、上記歪み修正パラメータ演算部は、立体形状が求められたら、湾曲している立体表面を平面に展開した状態に戻すための歪み修正パラメータの演算を行なうように構成することができる。湾曲している立体表面を把握できるので、後は各平面を水平にしてつなぎ合わせるだけで展開した状態に戻すことができる。
このため、上記歪み修正演算部は、上記歪み修正パラメータに基づいて湾曲している立体表面を平面に展開した状態に戻す演算を行なうように構成する。
【発明の効果】
【０００９】
本発明によれば、本の紙面などを平面に戻した状態に変換できるので、湾曲による歪みのない画像を得ることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態にかかるＭＦＰの外観を示す斜視図である。
【図２】被写体撮像時の外観を示す斜視図である。
【図３】ヘッド部の裏側を示す斜視図である。
【図４】光センサーを示す斜視図である。
【図５】ＭＦＰのブロック回路図である。
【図６】３Ｄの外光測定の処理を表すフローチャートである。
【図７】３Ｄでの外光除去の処理を示すフローチャートである。
【図８】台面上に載置された被写体と仮想光源の位置を示す図である。
【図９】２Ｄの外光測定の処理を表すフローチャートである。
【図１０】２Ｄでの外光除去の処理を示すフローチャートである。
【図１１】台面上に厚物の本を見開きの状態で載置した状態を示す平面図である。
【図１２】同状態を理解しやすいように示した斜視図である。
【図１３】正面から見た本とカメラの位置関係を示す正面図である。
【図１４】３Ｄでの撮影の手順に沿ったフローチャートである。
【図１５】台面上に升目状のパターンを投影した状態を示す図である。
【図１６】台面上に厚物の本を見開きで載置して同パターンを投影した状態を示す図である。
【図１７】２Ｄでの撮影の手順を示すフローチャートである。
【図１８】変形例にかかる複合機の外観を示す斜視図である。
【図１９】被写体撮影時の外観を示す斜視図である。
【図２０】撮影時の平面図である。
【図２１】撮影用のカメラを部分拡大して示す斜視図である。
【図２２】２Ｄによる撮影の手順を示すフローチャートである。
【図２３】カメラの位置で台面を撮影したときの画像と本来の二次元の平面画像との対応を示す歪み修正パラメータを図形として示す図である。
【図２４】非撮影状態を示す斜視図である。
【図２５】非撮影状態を示す側面図である。
【図２６】撮影状態を示す斜視図である。
【図２７】撮影状態を示す側面図である。
【図２８】撮影状態を示す背面図である。
【図２９】カメラの位置で台面を撮影したときの画像と本来の二次元の平面画像との対応を示す歪み修正パラメータを図形として示す図である。
【図３０】本来のサイズが分かるように規格化する処理を示すフローチャートである。
【図３１】サイズ分からなくなる問題を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面にもとづいて本発明の実施形態を説明する。以下、本発明の画像出力装置として、ファクシミリ機能、印刷機能、スキャナー機能などを備えた複合機（ＭＦＰ）に適用した実施例について説明する。
図１は本発明の一実施形態にかかるＭＦＰの外観を斜視図により示しており、図２は被写体撮像時の外観を斜視図により示している。
【００１２】
同図において、複合機（ＭＦＰ）１０は、平面図で長四角の外枠をなし、高さ方向には幅方向や奥行き方向と比べて十分に薄い形状の概略矩形の筺体として形成されている。正面側には幅方向に長く形成された印刷物を排出する排出口１１が形成され、同排出口１１の上方の前面壁面には複数の操作子１２やディスプレイパネル１３などを備えている。上面は被写体を載置する台面１５となっている。
【００１３】
本ＭＦＰ１０は、本体筺体１４とは別部材であり、正面側から見て右側面の中程から後方に向けて後端まで達した後、背面側に沿って左側に向けて延びて背面の中程まで達する概略Ｌ字型のアーム２０を有している。このアーム２０は、本体筺体１４の右側面に位置する連結部２１と、本体筺体１４の背面側に位置するヘッド部２２とから構成され、本体筺体１４の右側面の中程を回転中心とするように上記連結部２１が本体筺体１４に対して枢動可能に連結されている。そして、連結部２１が枢動することにより、ヘッド部２２が本体筺体１４の背面側に位置する収容位置と、同ヘッド部２２が本体筺体１４の上方である撮影位置との間で移動可能となっている。
【００１４】
図３はヘッド部２２の裏側を示す斜視図であり、同図に示すようにヘッド部２２における上記撮影位置で上記台面１５に対面する面には、上記本体筺体１４の幅方向に所定距離を隔てて配置される二つのカメラ３１，３２と、その間に位置する投影部３３と、同投影部３３むようにヘッド部２２の手前側と奥側に所定距離を隔てて幅方向に広い照明部３４，３５が配置されている。このように台面１５に対面して所定距離を隔てた二つのカメラ３１，３２を有しているので、上記台面１５上の被写体に対して撮影位置を異ならせた二つの画像を撮影可能であり、立体形状の情報を得られる。また、照明部３４，３５は照度を変更可能であり、外光の影響を低減させる処理にも利用可能である。
【００１５】
以上のようにしてアーム２０は収容状態から撮影状態の位置へ移動可能であるので、カメラ３１，３２にて構成されるカメラ部は、台面下方の収納位置に収納可能であるとともに、同台面下方の収納位置から同台面上の撮影位置へ移動可能に支持されていることになる。
ヘッド部２２が撮影位置にある状態で、同ヘッド部２２の上面には５方向に配向された一つのユニットからなる光センサー３６と複数の操作子３７が備えられている。
【００１６】
図４は光センサー３６を斜視図により示している。同図に示すように、光センサー３６は正面、両側面、背面から見た状態で台形であり、平面状態で外形が正方形となる立体形状を有しており、上面に上方に開口する光センサー素子が一つ配設され、それぞれの斜めに形成された側面にそれぞれ同斜め方向に開口する光センサー素子が一つずつ配設されている。光センサー３６により、後述するように、ヘッド部２２の上面において外光の状況を検出することになる。
【００１７】
図５は、本ＭＦＰのブロック回路図を示しており、本体筺体１４内に収容された印刷機構などによって構成されて印刷を行う印刷部４１と、上記カメラ３１，３２を含むカメラ部４２と、上記操作子１２，３７による操作を受け付けたり必要な情報を上記ディスプレイパネル１３に表示する操作部４３と、電話回線によるファクス送受信やネットワーク等によって外部機器との通信を行う通信部４４と、投影部３３や照明部３４，３５や光センサー３６が接続されるＩ／Ｏ部４５と、これらを総合的に制御する制御部４６などを備えている。主に制御部４６が主体となって以下のフローチャートの処理を実行しながら各部の制御を実行する。
【００１８】
次に上記構成からなる本実施例の印刷装置の動作を説明する。
図６は３Ｄの外光測定の処理を表すフローチャートであり、図７は３Ｄでの外光除去の処理を示すフローチャートである。
同図に示すように、外光除去は二つの手法を採用可能である。一つめは３Ｄの処理であり、ステップＳ１００では、５方向の光センサー３６の検出光強度を測定する。具体的には制御部４６がＩ／Ｏ部４５を介して同光センサー３６の検出出力を入力する。
【００１９】
図８は台面１５上に載置された被写体と仮想光源の位置を示す図である。
上述したように光センサー３６は５方向の光強度を検出するので、ステップＳ１０２では、制御部４６は５方向の光強度に応じた重み付けの演算によって光センサー３６の配置位置を原点とするＸＹ方向に加えて迎角θからなる仮想光源方向を求める。このようにして、仮想光源方向（ライティング）を設定することにより、後に３Ｄモデルデータに対してライティングと逆の補正値を適用して外光の影響を除去するのに利用する。
【００２０】
後述するように本ＭＦＰでは２つのカメラ３１，３２を利用することにより３Ｄモデリングが可能であり、３Ｄモデルデータを取得できる。これを前提として、先に３Ｄでの外光除去処理について説明する。
ステップＳ１１０では３Ｄモデルデータを取得する。この３Ｄモデルデータは立体物表面の座標を表すベクトルデータと、同ベクトルデータによって特定される立体物表面の画像データとからなる。これらにより、死角となる面を除いて立体物表面画像を表現できる。続く、ステップＳ１１２では、ステップＳ１０２にて求めた仮想光源方向を取得する。通常は、本来立体物の表面の画像データにシェーディングの効果を与えるために仮想光源方向を利用するが、ステップＳ１１４ではライティングによる影響を求めた上でその逆の補正値を演算する。すなわち、仮想光源に対面して明るく表示する面であれば暗くする補正値を、逆に仮想光源の影の側になって暗くする面であれば明るくする補正値を求める。ステップＳ１１６では、この補正値を３Ｄモデルデータの各面ごとに設定する。そして、ステップＳ１１８では３Ｄモデルデータの各面の輝度補正を反映させた上で、平面の画像データに変換することで外光除去が終了する。
【００２１】
以上のように、複数の方向に配向された光センサー３６を使用し、この光センサー３６の検出結果に基づいて外光光源の情報（仮想光源方向）を検出し、同情報に基づいて外光の影響を除去している。
この例では、光センサー３６が台面１５上での外光の状況を検出する外光検出部を構成している。ステップＳ１００にて同光センサー３６の検出高強度を測定した後、ステップＳ１０２で仮想光源を設定するとともに、ステップＳ１１２にて仮想光源方向を取得してステップＳ１１４でライティングの逆補正値を計算し、ステップＳ１１６で各面ごとに逆補正値を設定する処理が、外光検出部による検出結果に基づいて上記カメラ部による上記台面上の撮影結果への影響を打ち消す調整値を演算する外光演算部を構成する。そして、ステップＳ１１８にて３Ｄモデルデータの各面の輝度補正を反映させる処理が、カメラ部に台面上の被写体を撮影させて得られた画像に上記調整値を反映させて外光の影響を低減させる処理を施す外光除去処理部を構成している。
【００２２】
特に、光センサー３６は、複数の方向に配向された光センサーを有し、この光センサーの検出結果に基づいて外光光源の情報を検出できる。
次に、外光除去の手法として２Ｄでの手法について説明する。
図９は２Ｄの外光測定の処理を表すフローチャートであり、図１０は２Ｄでの外光除去の処理を示すフローチャートである。
ステップＳ１３０では、キャリブレーション光の投影と台面撮影を行なう。具体的には、制御部４６は照明部３４，３５の強度を順番に最弱、弱、中、最大と変化させ、各段階でカメラ３１またはカメラ３２で台面１５の表面を撮影させる。得られた画像データは照明強度の異なる４つの画像データとなる。なお、これはキャリブレーションの意味で撮影するので、必要に応じて台面１５上に予め提供しておいたムラのないキャリブレーション用紙を載置した上で撮影を行っても良い。そして、ステップＳ１３２では、撮影画像を所定数の区画（升目）に分け、各区画ごとに概略の明暗状況を検出する。
【００２３】
明暗状況を得られたら、ステップＳ１３４では区画ごとの輝度補正値の演算を行なう。本実施例では、中心付近の区画を基準値とした相対的な値とする。撮影は、照明部３４，３５を使用して、照明の強度を変えて複数回行っており、それぞれの撮影結果に基づいて相対値を得た上で、さらに各回の補正値の平均値を取ることでより外光除去を効果的に行えるようにしている。以上により２Ｄの外光測定処理を終了する。
【００２４】
各画像における外光除去は次のように行う。制御部４６はカメラ部４２を制御してカメラ３１かカメラ３２のいずれかで台面１５上の被写体の撮影を行なう。この場合は２Ｄの処理なのでいずれか一方のカメラで撮影した画像データを得られればよい。画像データを得られたら、ステップＳ１４０にて、２Ｄデータの各区画ごとに輝度補正値を適用する。台面１５上の外光の影響度合いは区画ごとの明暗の相対値として把握し、ステップＳ１３４にて同補正値を得ているため、この補正値を２Ｄの画像データの各区画ごとに適用する。一般的な明暗の修正では画像データの輝度値にγカーブを適用する。相対的な明暗比に対応したγ値を別途テーブルとして用意しておき、同テーブルからγ値を読み込むと共に同γ値に基づくγカーブを描いて入力値と出力値との対応テーブルを作成し、画像データの輝度値を変換する。
【００２５】
以上のように、照明部３４，３５によって照度を変えた複数の環境下で、上記カメラ３１，３２によって上記台面１５上を撮影し、各区画（升目）ごとの輝度の分布に基づいて外光の状況を検出し、同分布に基づいて台面上の撮影結果への影響を打ち消す調整値を演算している。
なお、本発明における印刷部は本実施例における印刷部４１が相当し、台面は台面１５が相当し、カメラはカメラ部４２とカメラ３１，３２が相当し、外光検出部は光センサー３６および台面１５上を撮影するカメラ３１，３２が相当する。また、外光演算部はステップＳ１００，ステップＳ１０２の処理とステップＳ１３０〜ステップＳ１３４の処理と各ハードウェアが相当し、外光除去処理部はステップＳ１１０〜ステップＳ１１８とステップＳ１４０の処理と各ハードウェアが相当し、印刷制御部は制御部４６が相当しているといえる。
【００２６】
特に、ステップＳ１３０とステップＳ１３２にて、照明強度の異なる４つの画像データに基づいて撮影画像を所定数の区画（升目）に分け、各区画ごとに概略の明暗状況を検出するので、かかる処理が、カメラ部によって複数の照明環境下での台面上を撮影し、輝度の分布に基づいて外光の状況を検出する処理に相当し、ステップＳ１３４で上記補正値を得る処理が、上記分布に基づいて台面上の撮影結果への影響を打ち消す調整値を演算する処理に相当する。
【００２７】
次に、撮影の手順に沿って説明する。
図１１は台面１５上に厚物の本を見開きの状態で載置した状態を平面図により示しており、図１２は同状態を理解しやすいように斜視図による略図で示しており、図１３は正面から見て本とカメラの位置関係を略図により示している。そして、図１４は３Ｄでの撮影の手順に沿ったフローチャートである。
【００２８】
撮影にあたり、ステップＳ２００にて外光測定処理を実施する。この処理は上述したとおりである。ステップＳ２０２では、３Ｄ撮影を２つのカメラ３１，３２で行う。図１３に示すように所定間隔を隔てた二つのカメラ３１，３２で台面１５の上の本を撮影すると、わずかにずれた二つの画像が得られる。ステップＳ２０４では、二つの画像のずれを視差に置き換えて台面１５上に置かれた立体物の外形を求める。これが先に説明した３Ｄモデルデータとなる。この後、ステップＳ２０６では外光除去処理を行う。ステップＳ１１０〜ステップＳ１１６の処理が相当する。すると外光の影響を除去するように明暗を調整した３Ｄの立体物の表面画像が求められる。
【００２９】
ステップＳ２０８では、３Ｄモデルを２Ｄへ変換するためのパラメータを演算する。ここでは、本来の３Ｄの立体画像を求めるのではなく、本の表面が湾曲している状態から、湾曲していなければ得られるはずの平面の画像データを生成する。
ベクトルデータで求められる立体物の表面位置に基づいてそれらを連結して形成される最小の各面に画像データを貼り付けることができるから、ステップＳ２１０の処理で、各平面を平面上に展開させた２Ｄの画像データを得る。この過程を演算によって求める。ただ、演算の複雑さを考慮して、予めパターン化しておいた立体形状の３Ｄモデルを用意しておき、求められた立体外形が近い３Ｄモデルを選択するようにしても良い。むろん、各３Ｄモデルは展開を容易にする簡易的な形状にしてある。このようにすれば、選択された３Ｄモデルに画像データを貼り付けたときの展開演算を求めるパラメータに基づいて容易に平面状の画像データを得ることが可能となる。本の見開きの形状であれば基本的な形状は似ているためである。
【００３０】
二つのカメラ３１，３２は所定距離を隔ててアーム２０の裏面に備えられており、台面１５上の所定位置にて同台面１５上を撮影可能である。従って、これらの構成によりカメラ部を構成している。ステップＳ２０２にて二つのカメラ３１，３２で台面１５上の被写体を撮影した画像データに基づき、ステップＳ２０４では二つの画像のずれを視差に置き換えて台面１５上に置かれた立体物の外形を求めており、この処理が複数の位置で撮影された画像データに基づいて上記台面上に載置された被写体の表面形状を平面状に戻すパラメータを演算する歪み修正パラメータ演算部を構成している。すなわち、複数の位置で撮影された画像データのずれた二つの画像を視差に置き換えて台面上に載置される被写体の立体外形を求めている。
【００３１】
ステップＳ２０８では、３Ｄモデルを２Ｄへ変換するためのパラメータを演算しており、ステップＳ２１０では各平面を平面状に展開させた２Ｄの画像データを得る。従って、これらの処理が演算された歪み修正パラメータに基づいて上記画像データに生じている歪みを除去した平面状の画像データに変換する画像データ歪み修正演算部を構成している。すなわち、立体物の表面位置に基づいてそれらを連結して形成される各平面を平面状に展開させた画像データを得ている。この後、ステップＳ２１２にて同画像データを保存する。
【００３２】
また、演算を簡易にするために、予めパターン化しておいた立体形状の３Ｄモデルを用意しておき、これに求められた立体外形を当てはめる処理例が、予めパターン化しておいた立体形状の３Ｄモデルを用意しておき、求められた立体外形が近い３Ｄモデルに画像データを貼り付けたときの展開演算を求めるパラメータに基づいて歪み修正を行う画像データ歪み修正演算部を構成することになる。
【００３３】
また、保存した平面の画像データに基づいて制御部４６が印刷部４１に画像を印刷させるので、当該処理が印刷制御部を構成している。
上述した例は３Ｄでの撮影の例であるが、２Ｄでの撮影の例を次に説明する。
図１５は台面１５上に升目状のパターンを投影した状態を示しており、図１６は同台面１５上に厚物の本を見開きで載置して同パターンを投影した状態を示している。図１７は２Ｄでの撮影の手順に沿ったフローチャートである。
【００３４】
まず、ステップＳ２３０にて、上述したように外光測定処理を行なう。次に、ステップＳ２３２にて、所定の絵柄の光である歪み検出用パターンの投影を行なう。ヘッド部２２における台面１５に対面する側には投影部３３が備えられており、図１５に示すような升目状のパターン（歪み検出用パターン）を投影する。この投影部は台面１５のほぼ中央の上方に位置している。台面１５に何も載置していない状態では図１５に示すように正確な升目が投影されるが、台面１５に本を載置していると、図１６に示すように立体形状を反映して画像が歪む。投影部３３から放射状に投影される升目のパターンの場合、升目の格子点ごとに高さに対応して放射方向にずれることになる。従って格子点ごとのずれ量がその格子点での高さ情報となる。
【００３５】
ステップＳ２３４では、１つのカメラ３１で２Ｄ撮影を行なう。なお、投影部３３の位置とカメラ３１の位置は一致していないが、補正演算で解消できる。撮影した画像データに基づき、ステップＳ２３６で、歪み検出用パターンの格子点検出を行なう。各格子点の位置ごとに上述したずれ量を得られたら、高さ情報に基づいて立体形状が求められるため、ステップＳ２３８では、上述したのと同様にして、湾曲している立体表面を平面に展開した状態に戻すための歪み修正パラメータの演算を行なう。以上により立体物を２Ｄ画像として撮影したときの歪みを戻すパラメータが得られたことになる。
【００３６】
ステップＳ２４０では、１つのカメラ３１で台面１５上の被写体を撮影する。むろんこの時点では歪み検出用パターンは投影していない。続く、ステップＳ２４２にて、外光除去処理を行う。外光除去処理は３Ｄによる外光除去の手法を採用しても良いし、２Ｄによる外光除去の手法を採用しても良い。いずれにしても外光の影響を除去した後、ステップＳ２４４では、ステップＳ２３８で得られたパラメータを利用して２Ｄの画像データの歪みを修正する。修正後、ステップＳ２４６にて修正後の画像データを保存する。
【００３７】
本実施例では、投影部３３より台面５１上に歪み検出用パターンを投影するステップＳ２３２の処理で投影部を構成している。また、カメラ３１によって上記投影される絵柄を２Ｄで撮影した画像データに基づいて、ステップＳ２３６とステップＳ２３８の処理で同絵柄の歪みから上記台面５１上に載置された被写体の表面形状を平面状に戻すパラメータを演算する処理が歪み修正パラメータ演算部を構成している。そして、ステップＳ２４０で１つのカメラ３１で台面１５上の被写体を撮影するとともに、ステップＳ２４４にて上記演算された歪み修正パラメータに基づいて上記画像データに生じている歪みを除去した平面状の画像データに変換する処理が画像デーの歪み修正演算部を構成している。
【００３８】
また、保存した平面の画像データに基づいて制御部４６が印刷部４１に画像を印刷させるので、当該処理が印刷制御部を構成している。
図１８は、変形例にかかる複合機の外観を斜視図により示しており、図１９は被写体撮影時の外観を斜視図により示している。また、図２０は撮影時の平面図、図２１は撮影用のカメラを部分拡大して斜視図により示している。
【００３９】
本ＭＦＰ５０は、台面５１を有しており、台面５１には手前側の幅方向に延びる短冊状のアーム５２が埋設されている。アーム５２は正面から見て右側の端部を回転中心として左端が持ち上がるように回転可能である。そして、図１９に示すように同アーム５２はほぼ直立状態となる。アーム５２の上端近辺であって上記台面５１に対面する側には凹部５３を形成してある。この凹部５３にはカメラ５４が配設されており、同カメラ５４が台面５１上の被写体を撮影可能である。この例ではカメラ５４を１つだけ備えているが視点を変えて撮影して立体画像を得られるように複数のカメラを備えることも可能である。なお、アーム５２を直立した状態でのカメラ５４の位置は一定であるため、直立させることでカメラ５４の位置は判断可能といえる。
【００４０】
図２２は、２Ｄによる撮影の手順を示すフローチャートである。
ステップＳ２５０では、カメラ位置検出を行なう。上述したように、アーム５２を直立した状態でのカメラ５４の位置は一定である。従って、アーム５２を直立させたことで、カメラ５４位置を検出できたことになる。この例ではアーム５２を直立させる動作が該当しているが、カメラの位置は自由であり、カメラの位置をカメラの側から設定するということもできる。これが所定のポジションを設定することに相当する。
【００４１】
ステップＳ２５２では、カメラ位置対応歪み修正パラメータ取得の処理を行う。図２３はカメラ５４の位置で台面５１を撮影したときの画像と本来の二次元の平面画像との対応を示す歪み修正パラメータを図形として示している。カメラ５４で台面５１上を撮影すると、長四角の矩形形状が図２３の上方に示すような歪んだ菱形状に撮影される。この対応パターンは固定的であるから、菱形形状の画像の座標位置と本来の長四角の矩形形状の画像の座標位置とを対応付けしておくことで、カメラ５４で撮影した画像を歪みのない元の平面画像に変換することができる。
【００４２】
従って、ステップＳ２５４にて、同カメラ５４にて２Ｄによる撮影を行ない、ステップＳ２５６にて、同カメラ５４位置に対応する歪み修正パラメータを適用して歪み除去する。
上述した図１８〜図２１に示す実施例では、カメラ５４がアーム５２を寝かせた状態から直立させた状態へ移動可能であり、直立させた状態で台面５１よりも高い位置から同台面５１上の撮影を行なう。ステップＳ２５０の処理では、カメラ位置検出を行なっており、この位置から撮影した台面５１は図２３の上方に示すように歪んで撮影されることが分かっている。従って、ステップＳ２５０の処理は、カメラ部の撮影位置と台面との位置関係を検出するカメラ位置検出部の処理に相当する。また、図２３に示す対応関係が分かっているので、ステップＳ２５２にて菱形形状の画像の座標位置と本来の長四角の矩形形状の画像の座標位置とを対応付けしておく情報を取得することがカメラ位置対応歪み修正パラメータ演算部に相当する。演算といっても広義には予め対応づけられたテーブルを参照することも含み、このような二次元画像同士の対応関係であれば二次元画像変換テーブルとして構成しておくのが容易である。また、後述するような図２８に示すようなカメラ６３位置であれば、図２９に示す台形と長方形との対応関係が二次元画像変換テーブルに相当する。
【００４３】
ステップＳ２５４にて撮影した画像に対して、ステップＳ２５６でカメラ５４位置に対応する歪み修正パラメータを適用して歪み除去する処理は、演算されたカメラ位置対応歪み修正パラメータに基づいて上記画像データに生じている歪みを除去した画像データに変換する画像データの歪み修正演算部に相当する。なお、このようにして得られた平面状の画像データに基づいて制御部４６が印刷部４１に画像を印刷させるので、当該処理が印刷制御部を構成している。
【００４４】
図２４〜図２８は、本発明の他の変形例を示している。図２４は非撮影状態を斜視図により示しており、図２５は同状態を側面図により示している。図２６は撮影状態を斜視図により示しており、図２７は側面図により示しており、図２８は背面図により示している。
図に示すように、本ＭＦＰ６０では、本体筺体６７に対して、前面側のパネル６１が撮影時や印刷時には台面６４を見下ろせる様に上方にスライド移動可能であり、非撮影時や非使用時には下方にスライド移動する。上方にスライドすることで前面に印刷用紙を排紙する排出口６２が開口する。本体筺体６７内には図示しないが印刷部４１が収容されている。
【００４５】
また、パネル６１が上方にスライドすると、その背面側の上端付近に配設されているカメラ６３もせり上がり、上方から台面６４上を見下ろす位置に移動する。カメラ６３はパネル６１の幅方向の中央に配設されている。なお、パネル６１の背面側には、カメラ６３を挟むように両側に照明部６５，６６を配設されている。パネル６１の背面側に照明部６５，６６が備えられているので、撮影時に操作者の側に照明光が直接投射されず、まぶしくない。
【００４６】
このように台面６４上を上方手前側から撮影すると図２９の上方に示すように台形状に歪みが表れる。これを台形歪みと呼んでいる。この台形の座標位置とその下方に示す長四角形の座標位置との対応関係が、このカメラ位置に対応した歪み修正パラメータとなる。
従って、この例でもカメラ位置に対応した歪み修正パラメータを取得して歪みを除去できる。
【００４７】
この実施例では、印刷部４１は本体筺体６７内に収容されており、同本体筺体６７は薄箱状で上面に被写体を載置可能な台面６４を有する構成となっている。パネル６１は、本体筺体６７の側面に配置されて同側面に沿って上下方向に概略スライド移動可能な構成となっている。カメラ６３はこのパネル６１の裏面側に配置されており、本体筺体６７の側面でパネル６１が上方にスライド移動したときに上記台面６４よりも高い位置となって同台面６４上の撮影を行なうカメラ部を構成している。
【００４８】
そして、カメラ６３にて撮影した画像データに基づいて制御部４６が印刷部４１に画像を印刷させるので、当該処理が印刷制御部を構成している。
ところで、台面に載置された被写体の場合、撮影位置が変化するので大きさが分からなくなるという問題がある。
図３０は本来のサイズが分かるように規格化する処理を示しており、図３１はこの問題を図によって表している。
【００４９】
図３１に示すように、台面７２上を薄い被写体を載置して画面一杯に撮影されたと時と、台面７２上に高さのある被写体を載置して画面一杯に撮影された時とでは、画像データでは共に同じ大きさに撮影されてしまう。
そこで、ステップＳ２６０では、測距（ＡＦ）を行なう。測距は各種の手法を採用可能であり、一例として焦点位置をずらせながら撮影画像のシャープさを求めて距離を測定できる。距離を測定した上で、ステップＳ２６２にて、２Ｄでの撮影を行なう。その後、ステップＳ２６４にて、同距離を反映させ、標準サイズへ規格化する。すなわち、測距距離に対応して画像を拡大あるいは縮小処理する。そして、ステップＳ２６８にて、規格化後の画像データを保存する。
【００５０】
このようにすることで、立体物であっても常に本来のサイズを反映させた画像データにすることができる。
このように、ステップＳ２６０にて測距し、ステップＳ２６４にて同測距された距離された距離に基づいて標準サイズへ変換しており、かかる処理が台面上の被写体までの距離を測定し、測距された距離に対応して画像を拡大あるいは縮小処理した規格化後の画像データを印刷させる印刷制御部を構成することになる。
また、光センサー３６を台面１５上にも設けても良いし、光センサー３６の数も１つに限られず複数設けても良い。被写体は台面１５上に置かれるため、このようにすることでより外光の影響を除くことができる。
【００５１】
なお、本発明は上記実施例に限られるものでないことは言うまでもない。当業者であれば言うまでもないことであるが、印刷以外の表示出力やデータ送信などの方法で画像を出力する出力装置に適用しても良いし、
・上記実施例の中で開示した相互に置換可能な部材および構成等を適宜その組み合わせを変更して適用すること
・上記実施例の中で開示されていないが、公知技術であって上記実施例の中で開示した部材および構成等と相互に置換可能な部材および構成等を適宜置換し、またその組み合わせを変更して適用すること
【００５２】
・上記実施例の中で開示されていないが、公知技術等に基づいて当業者が上記実施例の中で開示した部材および構成等の代用として想定し得る部材および構成等と適宜置換し、またその組み合わせを変更して適用すること
は本発明の一実施例として開示されるものである。
【符号の説明】
【００５３】
１０…ＭＦＰ、１１…排出口、１２…操作子、１３…ディスプレイパネル、１４…本体筺体、１５…台面、２０…アーム、２１…連結部、２２…ヘッド部、３１，３２…カメラ、３３…投影部、３４，３５…照明部、３６…光センサー、３７…操作子、４１…印刷部、４２…カメラ部、４３…操作部、４４…通信部、４５…Ｉ／Ｏ部、４６…制御部、５０…ＭＦＰ、５１…台面、５２…アーム、５３…凹部、５４…カメラ、６０…ＭＦＰ、６１…パネル、６２…排出口、６３…カメラ、６４…台面、６５，６６…照明部、６７…本体筺体、７２…台面
【技術分野】
【０００１】
本発明は、画像出力装置に関し、特に、台面上に載置した被写体の画像を出力可能な画像出力装置に関する。
【背景技術】
【０００２】
従来、所定の台面上に載置した被写体を撮影可能な画像形成装置が知られている。
特許文献１及び特許文献２に示すものでは、台面を手前に引き出した後、同台面上にせり出してくる撮影素子により、上記台面上に載置された被写体を上方から撮影する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−６８２８９号公報
【特許文献２】特開２０１０−６８２９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、台面上に載置されているものを上方から撮影する場合、例えば本の紙面が湾曲している状態で撮影しているので、歪んだ状態で撮影されてしまう。
本発明は、本来は平面でありながら立体的になって湾曲して撮影される画像から本来の平面の状態の画像に変換することが可能な画像出力装置に関する。
【課題を解決するための手段】
【０００５】
本発明は、台面上には所定の被写体を載置することが可能である。投影部がこの台面よりも高い位置から同台面上に所定の絵柄の光を投影すると、カメラ部は上記台面上の撮影を行なう。台面上に被写体が置かれている状態であれば、上記絵柄は立体表面に投影され、歪み修正パラメータ演算部はカメラ部にて上記投影される絵柄を撮影した画像データに基づき、同絵柄の歪みから上記台面上に載置された被写体の表面形状を平面状に戻すパラメータを演算する。そして、画像データの歪み修正演算部は、演算された歪み修正パラメータに基づいて上記カメラ部にて撮影される画像データに生じている歪みを除去した平面状の画像データに変換する。最後に、歪みを除去した平面状の画像を出力する。
【０００６】
ここで、歪み修正パラメータは歪みを完全に無くすことができるものに限られず、軽減するようなものも含まれる。また、上記投影部は、上記被写体の中央近辺から放射状に上記絵柄の光を投影するように構成することができる。放射状に投影すると立体物の表面の高さにほぼ比例して各地点においてずれが生じる。
また、上記投影部は、上記放射状の絵柄の光として升目状の絵柄を投影するように構成することができる。升目状の絵柄であると各格子点が定まり、各格子点の高さ情報を得られるので立体物を把握しやすい。
【０００７】
さらに、上記歪み修正パラメータ演算部は、上記升目状の格子点ごとにずれ量と高さとの対応関係を示すテーブルを有しており、歪みの格子点ごとにずれ量を求めて高さ情報に変換することで立体表面形状を求めるように構成しても良い。
台面と投影部との一定の位置関係が定まっているので、予め各格子点ごとにずれ量と高さとの換算用のテーブルを用意することが可能であり、演算が容易になる。
【０００８】
また、上記歪み修正パラメータ演算部は、立体形状が求められたら、湾曲している立体表面を平面に展開した状態に戻すための歪み修正パラメータの演算を行なうように構成することができる。湾曲している立体表面を把握できるので、後は各平面を水平にしてつなぎ合わせるだけで展開した状態に戻すことができる。
このため、上記歪み修正演算部は、上記歪み修正パラメータに基づいて湾曲している立体表面を平面に展開した状態に戻す演算を行なうように構成する。
【発明の効果】
【０００９】
本発明によれば、本の紙面などを平面に戻した状態に変換できるので、湾曲による歪みのない画像を得ることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態にかかるＭＦＰの外観を示す斜視図である。
【図２】被写体撮像時の外観を示す斜視図である。
【図３】ヘッド部の裏側を示す斜視図である。
【図４】光センサーを示す斜視図である。
【図５】ＭＦＰのブロック回路図である。
【図６】３Ｄの外光測定の処理を表すフローチャートである。
【図７】３Ｄでの外光除去の処理を示すフローチャートである。
【図８】台面上に載置された被写体と仮想光源の位置を示す図である。
【図９】２Ｄの外光測定の処理を表すフローチャートである。
【図１０】２Ｄでの外光除去の処理を示すフローチャートである。
【図１１】台面上に厚物の本を見開きの状態で載置した状態を示す平面図である。
【図１２】同状態を理解しやすいように示した斜視図である。
【図１３】正面から見た本とカメラの位置関係を示す正面図である。
【図１４】３Ｄでの撮影の手順に沿ったフローチャートである。
【図１５】台面上に升目状のパターンを投影した状態を示す図である。
【図１６】台面上に厚物の本を見開きで載置して同パターンを投影した状態を示す図である。
【図１７】２Ｄでの撮影の手順を示すフローチャートである。
【図１８】変形例にかかる複合機の外観を示す斜視図である。
【図１９】被写体撮影時の外観を示す斜視図である。
【図２０】撮影時の平面図である。
【図２１】撮影用のカメラを部分拡大して示す斜視図である。
【図２２】２Ｄによる撮影の手順を示すフローチャートである。
【図２３】カメラの位置で台面を撮影したときの画像と本来の二次元の平面画像との対応を示す歪み修正パラメータを図形として示す図である。
【図２４】非撮影状態を示す斜視図である。
【図２５】非撮影状態を示す側面図である。
【図２６】撮影状態を示す斜視図である。
【図２７】撮影状態を示す側面図である。
【図２８】撮影状態を示す背面図である。
【図２９】カメラの位置で台面を撮影したときの画像と本来の二次元の平面画像との対応を示す歪み修正パラメータを図形として示す図である。
【図３０】本来のサイズが分かるように規格化する処理を示すフローチャートである。
【図３１】サイズ分からなくなる問題を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面にもとづいて本発明の実施形態を説明する。以下、本発明の画像出力装置として、ファクシミリ機能、印刷機能、スキャナー機能などを備えた複合機（ＭＦＰ）に適用した実施例について説明する。
図１は本発明の一実施形態にかかるＭＦＰの外観を斜視図により示しており、図２は被写体撮像時の外観を斜視図により示している。
【００１２】
同図において、複合機（ＭＦＰ）１０は、平面図で長四角の外枠をなし、高さ方向には幅方向や奥行き方向と比べて十分に薄い形状の概略矩形の筺体として形成されている。正面側には幅方向に長く形成された印刷物を排出する排出口１１が形成され、同排出口１１の上方の前面壁面には複数の操作子１２やディスプレイパネル１３などを備えている。上面は被写体を載置する台面１５となっている。
【００１３】
本ＭＦＰ１０は、本体筺体１４とは別部材であり、正面側から見て右側面の中程から後方に向けて後端まで達した後、背面側に沿って左側に向けて延びて背面の中程まで達する概略Ｌ字型のアーム２０を有している。このアーム２０は、本体筺体１４の右側面に位置する連結部２１と、本体筺体１４の背面側に位置するヘッド部２２とから構成され、本体筺体１４の右側面の中程を回転中心とするように上記連結部２１が本体筺体１４に対して枢動可能に連結されている。そして、連結部２１が枢動することにより、ヘッド部２２が本体筺体１４の背面側に位置する収容位置と、同ヘッド部２２が本体筺体１４の上方である撮影位置との間で移動可能となっている。
【００１４】
図３はヘッド部２２の裏側を示す斜視図であり、同図に示すようにヘッド部２２における上記撮影位置で上記台面１５に対面する面には、上記本体筺体１４の幅方向に所定距離を隔てて配置される二つのカメラ３１，３２と、その間に位置する投影部３３と、同投影部３３むようにヘッド部２２の手前側と奥側に所定距離を隔てて幅方向に広い照明部３４，３５が配置されている。このように台面１５に対面して所定距離を隔てた二つのカメラ３１，３２を有しているので、上記台面１５上の被写体に対して撮影位置を異ならせた二つの画像を撮影可能であり、立体形状の情報を得られる。また、照明部３４，３５は照度を変更可能であり、外光の影響を低減させる処理にも利用可能である。
【００１５】
以上のようにしてアーム２０は収容状態から撮影状態の位置へ移動可能であるので、カメラ３１，３２にて構成されるカメラ部は、台面下方の収納位置に収納可能であるとともに、同台面下方の収納位置から同台面上の撮影位置へ移動可能に支持されていることになる。
ヘッド部２２が撮影位置にある状態で、同ヘッド部２２の上面には５方向に配向された一つのユニットからなる光センサー３６と複数の操作子３７が備えられている。
【００１６】
図４は光センサー３６を斜視図により示している。同図に示すように、光センサー３６は正面、両側面、背面から見た状態で台形であり、平面状態で外形が正方形となる立体形状を有しており、上面に上方に開口する光センサー素子が一つ配設され、それぞれの斜めに形成された側面にそれぞれ同斜め方向に開口する光センサー素子が一つずつ配設されている。光センサー３６により、後述するように、ヘッド部２２の上面において外光の状況を検出することになる。
【００１７】
図５は、本ＭＦＰのブロック回路図を示しており、本体筺体１４内に収容された印刷機構などによって構成されて印刷を行う印刷部４１と、上記カメラ３１，３２を含むカメラ部４２と、上記操作子１２，３７による操作を受け付けたり必要な情報を上記ディスプレイパネル１３に表示する操作部４３と、電話回線によるファクス送受信やネットワーク等によって外部機器との通信を行う通信部４４と、投影部３３や照明部３４，３５や光センサー３６が接続されるＩ／Ｏ部４５と、これらを総合的に制御する制御部４６などを備えている。主に制御部４６が主体となって以下のフローチャートの処理を実行しながら各部の制御を実行する。
【００１８】
次に上記構成からなる本実施例の印刷装置の動作を説明する。
図６は３Ｄの外光測定の処理を表すフローチャートであり、図７は３Ｄでの外光除去の処理を示すフローチャートである。
同図に示すように、外光除去は二つの手法を採用可能である。一つめは３Ｄの処理であり、ステップＳ１００では、５方向の光センサー３６の検出光強度を測定する。具体的には制御部４６がＩ／Ｏ部４５を介して同光センサー３６の検出出力を入力する。
【００１９】
図８は台面１５上に載置された被写体と仮想光源の位置を示す図である。
上述したように光センサー３６は５方向の光強度を検出するので、ステップＳ１０２では、制御部４６は５方向の光強度に応じた重み付けの演算によって光センサー３６の配置位置を原点とするＸＹ方向に加えて迎角θからなる仮想光源方向を求める。このようにして、仮想光源方向（ライティング）を設定することにより、後に３Ｄモデルデータに対してライティングと逆の補正値を適用して外光の影響を除去するのに利用する。
【００２０】
後述するように本ＭＦＰでは２つのカメラ３１，３２を利用することにより３Ｄモデリングが可能であり、３Ｄモデルデータを取得できる。これを前提として、先に３Ｄでの外光除去処理について説明する。
ステップＳ１１０では３Ｄモデルデータを取得する。この３Ｄモデルデータは立体物表面の座標を表すベクトルデータと、同ベクトルデータによって特定される立体物表面の画像データとからなる。これらにより、死角となる面を除いて立体物表面画像を表現できる。続く、ステップＳ１１２では、ステップＳ１０２にて求めた仮想光源方向を取得する。通常は、本来立体物の表面の画像データにシェーディングの効果を与えるために仮想光源方向を利用するが、ステップＳ１１４ではライティングによる影響を求めた上でその逆の補正値を演算する。すなわち、仮想光源に対面して明るく表示する面であれば暗くする補正値を、逆に仮想光源の影の側になって暗くする面であれば明るくする補正値を求める。ステップＳ１１６では、この補正値を３Ｄモデルデータの各面ごとに設定する。そして、ステップＳ１１８では３Ｄモデルデータの各面の輝度補正を反映させた上で、平面の画像データに変換することで外光除去が終了する。
【００２１】
以上のように、複数の方向に配向された光センサー３６を使用し、この光センサー３６の検出結果に基づいて外光光源の情報（仮想光源方向）を検出し、同情報に基づいて外光の影響を除去している。
この例では、光センサー３６が台面１５上での外光の状況を検出する外光検出部を構成している。ステップＳ１００にて同光センサー３６の検出高強度を測定した後、ステップＳ１０２で仮想光源を設定するとともに、ステップＳ１１２にて仮想光源方向を取得してステップＳ１１４でライティングの逆補正値を計算し、ステップＳ１１６で各面ごとに逆補正値を設定する処理が、外光検出部による検出結果に基づいて上記カメラ部による上記台面上の撮影結果への影響を打ち消す調整値を演算する外光演算部を構成する。そして、ステップＳ１１８にて３Ｄモデルデータの各面の輝度補正を反映させる処理が、カメラ部に台面上の被写体を撮影させて得られた画像に上記調整値を反映させて外光の影響を低減させる処理を施す外光除去処理部を構成している。
【００２２】
特に、光センサー３６は、複数の方向に配向された光センサーを有し、この光センサーの検出結果に基づいて外光光源の情報を検出できる。
次に、外光除去の手法として２Ｄでの手法について説明する。
図９は２Ｄの外光測定の処理を表すフローチャートであり、図１０は２Ｄでの外光除去の処理を示すフローチャートである。
ステップＳ１３０では、キャリブレーション光の投影と台面撮影を行なう。具体的には、制御部４６は照明部３４，３５の強度を順番に最弱、弱、中、最大と変化させ、各段階でカメラ３１またはカメラ３２で台面１５の表面を撮影させる。得られた画像データは照明強度の異なる４つの画像データとなる。なお、これはキャリブレーションの意味で撮影するので、必要に応じて台面１５上に予め提供しておいたムラのないキャリブレーション用紙を載置した上で撮影を行っても良い。そして、ステップＳ１３２では、撮影画像を所定数の区画（升目）に分け、各区画ごとに概略の明暗状況を検出する。
【００２３】
明暗状況を得られたら、ステップＳ１３４では区画ごとの輝度補正値の演算を行なう。本実施例では、中心付近の区画を基準値とした相対的な値とする。撮影は、照明部３４，３５を使用して、照明の強度を変えて複数回行っており、それぞれの撮影結果に基づいて相対値を得た上で、さらに各回の補正値の平均値を取ることでより外光除去を効果的に行えるようにしている。以上により２Ｄの外光測定処理を終了する。
【００２４】
各画像における外光除去は次のように行う。制御部４６はカメラ部４２を制御してカメラ３１かカメラ３２のいずれかで台面１５上の被写体の撮影を行なう。この場合は２Ｄの処理なのでいずれか一方のカメラで撮影した画像データを得られればよい。画像データを得られたら、ステップＳ１４０にて、２Ｄデータの各区画ごとに輝度補正値を適用する。台面１５上の外光の影響度合いは区画ごとの明暗の相対値として把握し、ステップＳ１３４にて同補正値を得ているため、この補正値を２Ｄの画像データの各区画ごとに適用する。一般的な明暗の修正では画像データの輝度値にγカーブを適用する。相対的な明暗比に対応したγ値を別途テーブルとして用意しておき、同テーブルからγ値を読み込むと共に同γ値に基づくγカーブを描いて入力値と出力値との対応テーブルを作成し、画像データの輝度値を変換する。
【００２５】
以上のように、照明部３４，３５によって照度を変えた複数の環境下で、上記カメラ３１，３２によって上記台面１５上を撮影し、各区画（升目）ごとの輝度の分布に基づいて外光の状況を検出し、同分布に基づいて台面上の撮影結果への影響を打ち消す調整値を演算している。
なお、本発明における印刷部は本実施例における印刷部４１が相当し、台面は台面１５が相当し、カメラはカメラ部４２とカメラ３１，３２が相当し、外光検出部は光センサー３６および台面１５上を撮影するカメラ３１，３２が相当する。また、外光演算部はステップＳ１００，ステップＳ１０２の処理とステップＳ１３０〜ステップＳ１３４の処理と各ハードウェアが相当し、外光除去処理部はステップＳ１１０〜ステップＳ１１８とステップＳ１４０の処理と各ハードウェアが相当し、印刷制御部は制御部４６が相当しているといえる。
【００２６】
特に、ステップＳ１３０とステップＳ１３２にて、照明強度の異なる４つの画像データに基づいて撮影画像を所定数の区画（升目）に分け、各区画ごとに概略の明暗状況を検出するので、かかる処理が、カメラ部によって複数の照明環境下での台面上を撮影し、輝度の分布に基づいて外光の状況を検出する処理に相当し、ステップＳ１３４で上記補正値を得る処理が、上記分布に基づいて台面上の撮影結果への影響を打ち消す調整値を演算する処理に相当する。
【００２７】
次に、撮影の手順に沿って説明する。
図１１は台面１５上に厚物の本を見開きの状態で載置した状態を平面図により示しており、図１２は同状態を理解しやすいように斜視図による略図で示しており、図１３は正面から見て本とカメラの位置関係を略図により示している。そして、図１４は３Ｄでの撮影の手順に沿ったフローチャートである。
【００２８】
撮影にあたり、ステップＳ２００にて外光測定処理を実施する。この処理は上述したとおりである。ステップＳ２０２では、３Ｄ撮影を２つのカメラ３１，３２で行う。図１３に示すように所定間隔を隔てた二つのカメラ３１，３２で台面１５の上の本を撮影すると、わずかにずれた二つの画像が得られる。ステップＳ２０４では、二つの画像のずれを視差に置き換えて台面１５上に置かれた立体物の外形を求める。これが先に説明した３Ｄモデルデータとなる。この後、ステップＳ２０６では外光除去処理を行う。ステップＳ１１０〜ステップＳ１１６の処理が相当する。すると外光の影響を除去するように明暗を調整した３Ｄの立体物の表面画像が求められる。
【００２９】
ステップＳ２０８では、３Ｄモデルを２Ｄへ変換するためのパラメータを演算する。ここでは、本来の３Ｄの立体画像を求めるのではなく、本の表面が湾曲している状態から、湾曲していなければ得られるはずの平面の画像データを生成する。
ベクトルデータで求められる立体物の表面位置に基づいてそれらを連結して形成される最小の各面に画像データを貼り付けることができるから、ステップＳ２１０の処理で、各平面を平面上に展開させた２Ｄの画像データを得る。この過程を演算によって求める。ただ、演算の複雑さを考慮して、予めパターン化しておいた立体形状の３Ｄモデルを用意しておき、求められた立体外形が近い３Ｄモデルを選択するようにしても良い。むろん、各３Ｄモデルは展開を容易にする簡易的な形状にしてある。このようにすれば、選択された３Ｄモデルに画像データを貼り付けたときの展開演算を求めるパラメータに基づいて容易に平面状の画像データを得ることが可能となる。本の見開きの形状であれば基本的な形状は似ているためである。
【００３０】
二つのカメラ３１，３２は所定距離を隔ててアーム２０の裏面に備えられており、台面１５上の所定位置にて同台面１５上を撮影可能である。従って、これらの構成によりカメラ部を構成している。ステップＳ２０２にて二つのカメラ３１，３２で台面１５上の被写体を撮影した画像データに基づき、ステップＳ２０４では二つの画像のずれを視差に置き換えて台面１５上に置かれた立体物の外形を求めており、この処理が複数の位置で撮影された画像データに基づいて上記台面上に載置された被写体の表面形状を平面状に戻すパラメータを演算する歪み修正パラメータ演算部を構成している。すなわち、複数の位置で撮影された画像データのずれた二つの画像を視差に置き換えて台面上に載置される被写体の立体外形を求めている。
【００３１】
ステップＳ２０８では、３Ｄモデルを２Ｄへ変換するためのパラメータを演算しており、ステップＳ２１０では各平面を平面状に展開させた２Ｄの画像データを得る。従って、これらの処理が演算された歪み修正パラメータに基づいて上記画像データに生じている歪みを除去した平面状の画像データに変換する画像データ歪み修正演算部を構成している。すなわち、立体物の表面位置に基づいてそれらを連結して形成される各平面を平面状に展開させた画像データを得ている。この後、ステップＳ２１２にて同画像データを保存する。
【００３２】
また、演算を簡易にするために、予めパターン化しておいた立体形状の３Ｄモデルを用意しておき、これに求められた立体外形を当てはめる処理例が、予めパターン化しておいた立体形状の３Ｄモデルを用意しておき、求められた立体外形が近い３Ｄモデルに画像データを貼り付けたときの展開演算を求めるパラメータに基づいて歪み修正を行う画像データ歪み修正演算部を構成することになる。
【００３３】
また、保存した平面の画像データに基づいて制御部４６が印刷部４１に画像を印刷させるので、当該処理が印刷制御部を構成している。
上述した例は３Ｄでの撮影の例であるが、２Ｄでの撮影の例を次に説明する。
図１５は台面１５上に升目状のパターンを投影した状態を示しており、図１６は同台面１５上に厚物の本を見開きで載置して同パターンを投影した状態を示している。図１７は２Ｄでの撮影の手順に沿ったフローチャートである。
【００３４】
まず、ステップＳ２３０にて、上述したように外光測定処理を行なう。次に、ステップＳ２３２にて、所定の絵柄の光である歪み検出用パターンの投影を行なう。ヘッド部２２における台面１５に対面する側には投影部３３が備えられており、図１５に示すような升目状のパターン（歪み検出用パターン）を投影する。この投影部は台面１５のほぼ中央の上方に位置している。台面１５に何も載置していない状態では図１５に示すように正確な升目が投影されるが、台面１５に本を載置していると、図１６に示すように立体形状を反映して画像が歪む。投影部３３から放射状に投影される升目のパターンの場合、升目の格子点ごとに高さに対応して放射方向にずれることになる。従って格子点ごとのずれ量がその格子点での高さ情報となる。
【００３５】
ステップＳ２３４では、１つのカメラ３１で２Ｄ撮影を行なう。なお、投影部３３の位置とカメラ３１の位置は一致していないが、補正演算で解消できる。撮影した画像データに基づき、ステップＳ２３６で、歪み検出用パターンの格子点検出を行なう。各格子点の位置ごとに上述したずれ量を得られたら、高さ情報に基づいて立体形状が求められるため、ステップＳ２３８では、上述したのと同様にして、湾曲している立体表面を平面に展開した状態に戻すための歪み修正パラメータの演算を行なう。以上により立体物を２Ｄ画像として撮影したときの歪みを戻すパラメータが得られたことになる。
【００３６】
ステップＳ２４０では、１つのカメラ３１で台面１５上の被写体を撮影する。むろんこの時点では歪み検出用パターンは投影していない。続く、ステップＳ２４２にて、外光除去処理を行う。外光除去処理は３Ｄによる外光除去の手法を採用しても良いし、２Ｄによる外光除去の手法を採用しても良い。いずれにしても外光の影響を除去した後、ステップＳ２４４では、ステップＳ２３８で得られたパラメータを利用して２Ｄの画像データの歪みを修正する。修正後、ステップＳ２４６にて修正後の画像データを保存する。
【００３７】
本実施例では、投影部３３より台面５１上に歪み検出用パターンを投影するステップＳ２３２の処理で投影部を構成している。また、カメラ３１によって上記投影される絵柄を２Ｄで撮影した画像データに基づいて、ステップＳ２３６とステップＳ２３８の処理で同絵柄の歪みから上記台面５１上に載置された被写体の表面形状を平面状に戻すパラメータを演算する処理が歪み修正パラメータ演算部を構成している。そして、ステップＳ２４０で１つのカメラ３１で台面１５上の被写体を撮影するとともに、ステップＳ２４４にて上記演算された歪み修正パラメータに基づいて上記画像データに生じている歪みを除去した平面状の画像データに変換する処理が画像デーの歪み修正演算部を構成している。
【００３８】
また、保存した平面の画像データに基づいて制御部４６が印刷部４１に画像を印刷させるので、当該処理が印刷制御部を構成している。
図１８は、変形例にかかる複合機の外観を斜視図により示しており、図１９は被写体撮影時の外観を斜視図により示している。また、図２０は撮影時の平面図、図２１は撮影用のカメラを部分拡大して斜視図により示している。
【００３９】
本ＭＦＰ５０は、台面５１を有しており、台面５１には手前側の幅方向に延びる短冊状のアーム５２が埋設されている。アーム５２は正面から見て右側の端部を回転中心として左端が持ち上がるように回転可能である。そして、図１９に示すように同アーム５２はほぼ直立状態となる。アーム５２の上端近辺であって上記台面５１に対面する側には凹部５３を形成してある。この凹部５３にはカメラ５４が配設されており、同カメラ５４が台面５１上の被写体を撮影可能である。この例ではカメラ５４を１つだけ備えているが視点を変えて撮影して立体画像を得られるように複数のカメラを備えることも可能である。なお、アーム５２を直立した状態でのカメラ５４の位置は一定であるため、直立させることでカメラ５４の位置は判断可能といえる。
【００４０】
図２２は、２Ｄによる撮影の手順を示すフローチャートである。
ステップＳ２５０では、カメラ位置検出を行なう。上述したように、アーム５２を直立した状態でのカメラ５４の位置は一定である。従って、アーム５２を直立させたことで、カメラ５４位置を検出できたことになる。この例ではアーム５２を直立させる動作が該当しているが、カメラの位置は自由であり、カメラの位置をカメラの側から設定するということもできる。これが所定のポジションを設定することに相当する。
【００４１】
ステップＳ２５２では、カメラ位置対応歪み修正パラメータ取得の処理を行う。図２３はカメラ５４の位置で台面５１を撮影したときの画像と本来の二次元の平面画像との対応を示す歪み修正パラメータを図形として示している。カメラ５４で台面５１上を撮影すると、長四角の矩形形状が図２３の上方に示すような歪んだ菱形状に撮影される。この対応パターンは固定的であるから、菱形形状の画像の座標位置と本来の長四角の矩形形状の画像の座標位置とを対応付けしておくことで、カメラ５４で撮影した画像を歪みのない元の平面画像に変換することができる。
【００４２】
従って、ステップＳ２５４にて、同カメラ５４にて２Ｄによる撮影を行ない、ステップＳ２５６にて、同カメラ５４位置に対応する歪み修正パラメータを適用して歪み除去する。
上述した図１８〜図２１に示す実施例では、カメラ５４がアーム５２を寝かせた状態から直立させた状態へ移動可能であり、直立させた状態で台面５１よりも高い位置から同台面５１上の撮影を行なう。ステップＳ２５０の処理では、カメラ位置検出を行なっており、この位置から撮影した台面５１は図２３の上方に示すように歪んで撮影されることが分かっている。従って、ステップＳ２５０の処理は、カメラ部の撮影位置と台面との位置関係を検出するカメラ位置検出部の処理に相当する。また、図２３に示す対応関係が分かっているので、ステップＳ２５２にて菱形形状の画像の座標位置と本来の長四角の矩形形状の画像の座標位置とを対応付けしておく情報を取得することがカメラ位置対応歪み修正パラメータ演算部に相当する。演算といっても広義には予め対応づけられたテーブルを参照することも含み、このような二次元画像同士の対応関係であれば二次元画像変換テーブルとして構成しておくのが容易である。また、後述するような図２８に示すようなカメラ６３位置であれば、図２９に示す台形と長方形との対応関係が二次元画像変換テーブルに相当する。
【００４３】
ステップＳ２５４にて撮影した画像に対して、ステップＳ２５６でカメラ５４位置に対応する歪み修正パラメータを適用して歪み除去する処理は、演算されたカメラ位置対応歪み修正パラメータに基づいて上記画像データに生じている歪みを除去した画像データに変換する画像データの歪み修正演算部に相当する。なお、このようにして得られた平面状の画像データに基づいて制御部４６が印刷部４１に画像を印刷させるので、当該処理が印刷制御部を構成している。
【００４４】
図２４〜図２８は、本発明の他の変形例を示している。図２４は非撮影状態を斜視図により示しており、図２５は同状態を側面図により示している。図２６は撮影状態を斜視図により示しており、図２７は側面図により示しており、図２８は背面図により示している。
図に示すように、本ＭＦＰ６０では、本体筺体６７に対して、前面側のパネル６１が撮影時や印刷時には台面６４を見下ろせる様に上方にスライド移動可能であり、非撮影時や非使用時には下方にスライド移動する。上方にスライドすることで前面に印刷用紙を排紙する排出口６２が開口する。本体筺体６７内には図示しないが印刷部４１が収容されている。
【００４５】
また、パネル６１が上方にスライドすると、その背面側の上端付近に配設されているカメラ６３もせり上がり、上方から台面６４上を見下ろす位置に移動する。カメラ６３はパネル６１の幅方向の中央に配設されている。なお、パネル６１の背面側には、カメラ６３を挟むように両側に照明部６５，６６を配設されている。パネル６１の背面側に照明部６５，６６が備えられているので、撮影時に操作者の側に照明光が直接投射されず、まぶしくない。
【００４６】
このように台面６４上を上方手前側から撮影すると図２９の上方に示すように台形状に歪みが表れる。これを台形歪みと呼んでいる。この台形の座標位置とその下方に示す長四角形の座標位置との対応関係が、このカメラ位置に対応した歪み修正パラメータとなる。
従って、この例でもカメラ位置に対応した歪み修正パラメータを取得して歪みを除去できる。
【００４７】
この実施例では、印刷部４１は本体筺体６７内に収容されており、同本体筺体６７は薄箱状で上面に被写体を載置可能な台面６４を有する構成となっている。パネル６１は、本体筺体６７の側面に配置されて同側面に沿って上下方向に概略スライド移動可能な構成となっている。カメラ６３はこのパネル６１の裏面側に配置されており、本体筺体６７の側面でパネル６１が上方にスライド移動したときに上記台面６４よりも高い位置となって同台面６４上の撮影を行なうカメラ部を構成している。
【００４８】
そして、カメラ６３にて撮影した画像データに基づいて制御部４６が印刷部４１に画像を印刷させるので、当該処理が印刷制御部を構成している。
ところで、台面に載置された被写体の場合、撮影位置が変化するので大きさが分からなくなるという問題がある。
図３０は本来のサイズが分かるように規格化する処理を示しており、図３１はこの問題を図によって表している。
【００４９】
図３１に示すように、台面７２上を薄い被写体を載置して画面一杯に撮影されたと時と、台面７２上に高さのある被写体を載置して画面一杯に撮影された時とでは、画像データでは共に同じ大きさに撮影されてしまう。
そこで、ステップＳ２６０では、測距（ＡＦ）を行なう。測距は各種の手法を採用可能であり、一例として焦点位置をずらせながら撮影画像のシャープさを求めて距離を測定できる。距離を測定した上で、ステップＳ２６２にて、２Ｄでの撮影を行なう。その後、ステップＳ２６４にて、同距離を反映させ、標準サイズへ規格化する。すなわち、測距距離に対応して画像を拡大あるいは縮小処理する。そして、ステップＳ２６８にて、規格化後の画像データを保存する。
【００５０】
このようにすることで、立体物であっても常に本来のサイズを反映させた画像データにすることができる。
このように、ステップＳ２６０にて測距し、ステップＳ２６４にて同測距された距離された距離に基づいて標準サイズへ変換しており、かかる処理が台面上の被写体までの距離を測定し、測距された距離に対応して画像を拡大あるいは縮小処理した規格化後の画像データを印刷させる印刷制御部を構成することになる。
また、光センサー３６を台面１５上にも設けても良いし、光センサー３６の数も１つに限られず複数設けても良い。被写体は台面１５上に置かれるため、このようにすることでより外光の影響を除くことができる。
【００５１】
なお、本発明は上記実施例に限られるものでないことは言うまでもない。当業者であれば言うまでもないことであるが、印刷以外の表示出力やデータ送信などの方法で画像を出力する出力装置に適用しても良いし、
・上記実施例の中で開示した相互に置換可能な部材および構成等を適宜その組み合わせを変更して適用すること
・上記実施例の中で開示されていないが、公知技術であって上記実施例の中で開示した部材および構成等と相互に置換可能な部材および構成等を適宜置換し、またその組み合わせを変更して適用すること
【００５２】
・上記実施例の中で開示されていないが、公知技術等に基づいて当業者が上記実施例の中で開示した部材および構成等の代用として想定し得る部材および構成等と適宜置換し、またその組み合わせを変更して適用すること
は本発明の一実施例として開示されるものである。
【符号の説明】
【００５３】
１０…ＭＦＰ、１１…排出口、１２…操作子、１３…ディスプレイパネル、１４…本体筺体、１５…台面、２０…アーム、２１…連結部、２２…ヘッド部、３１，３２…カメラ、３３…投影部、３４，３５…照明部、３６…光センサー、３７…操作子、４１…印刷部、４２…カメラ部、４３…操作部、４４…通信部、４５…Ｉ／Ｏ部、４６…制御部、５０…ＭＦＰ、５１…台面、５２…アーム、５３…凹部、５４…カメラ、６０…ＭＦＰ、６１…パネル、６２…排出口、６３…カメラ、６４…台面、６５，６６…照明部、６７…本体筺体、７２…台面
【特許請求の範囲】
【請求項１】
台面と、
この台面よりも高い位置から同台面上に所定の絵柄の光を投影する投影部と、
上記台面上の撮影を行なうカメラ部と、
このカメラ部にて上記投影される絵柄を撮影した画像データに基づき、同絵柄の歪みから上記台面上に載置された被写体の表面形状を平面状に戻すパラメータを演算する歪み修正パラメータ演算部と、
演算された歪み修正パラメータに基づいて上記画像データに生じている歪みを除去した平面状の画像データに変換する画像データの歪み修正演算部と、
歪みを除去した平面状の画像を出力する出力部とを備えることを特徴とする画像出力装置。
【請求項２】
上記投影部は、上記被写体の中央近辺から放射状に上記絵柄の光を投影することを特徴とする上記請求項１に記載の画像出力装置。
【請求項３】
上記投影部は、上記放射状の絵柄の光として升目状の絵柄を投影することを特徴とする上記請求項２に記載の画像出力装置。
【請求項４】
上記歪み修正パラメータ演算部は、上記升目状の格子点ごとにずれ量と高さとの対応関係を示すテーブルを有しており、歪みの格子点ごとにずれ量を求めて高さ情報に変換することで立体表面形状を求めることを特徴とする上記請求項３に記載の画像出力装置。
【請求項５】
上記歪み修正パラメータ演算部は、立体形状が求められたら、湾曲している立体表面を平面に展開した状態に戻すための歪み修正パラメータの演算を行なうことを特徴とする上記請求項４に記載の画像出力装置。
【請求項６】
上記歪み修正演算部は、上記歪み修正パラメータに基づいて湾曲している立体表面を平面に展開した状態に戻す演算を行なうことを特徴とする上記請求項５に記載の画像出力装置。
【請求項１】
台面と、
この台面よりも高い位置から同台面上に所定の絵柄の光を投影する投影部と、
上記台面上の撮影を行なうカメラ部と、
このカメラ部にて上記投影される絵柄を撮影した画像データに基づき、同絵柄の歪みから上記台面上に載置された被写体の表面形状を平面状に戻すパラメータを演算する歪み修正パラメータ演算部と、
演算された歪み修正パラメータに基づいて上記画像データに生じている歪みを除去した平面状の画像データに変換する画像データの歪み修正演算部と、
歪みを除去した平面状の画像を出力する出力部とを備えることを特徴とする画像出力装置。
【請求項２】
上記投影部は、上記被写体の中央近辺から放射状に上記絵柄の光を投影することを特徴とする上記請求項１に記載の画像出力装置。
【請求項３】
上記投影部は、上記放射状の絵柄の光として升目状の絵柄を投影することを特徴とする上記請求項２に記載の画像出力装置。
【請求項４】
上記歪み修正パラメータ演算部は、上記升目状の格子点ごとにずれ量と高さとの対応関係を示すテーブルを有しており、歪みの格子点ごとにずれ量を求めて高さ情報に変換することで立体表面形状を求めることを特徴とする上記請求項３に記載の画像出力装置。
【請求項５】
上記歪み修正パラメータ演算部は、立体形状が求められたら、湾曲している立体表面を平面に展開した状態に戻すための歪み修正パラメータの演算を行なうことを特徴とする上記請求項４に記載の画像出力装置。
【請求項６】
上記歪み修正演算部は、上記歪み修正パラメータに基づいて湾曲している立体表面を平面に展開した状態に戻す演算を行なうことを特徴とする上記請求項５に記載の画像出力装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２０１２−１９５８７５（Ｐ２０１２−１９５８７５Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１１−５９８１０（Ｐ２０１１−５９８１０）
【出願日】平成２３年３月１７日（２０１１．３．１７）
【公序良俗違反の表示】
特許法第６４条第２項第４号の規定により図面の一部または全部を不掲載とする。
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２３年３月１７日（２０１１．３．１７）
【公序良俗違反の表示】
特許法第６４条第２項第４号の規定により図面の一部または全部を不掲載とする。
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]