画像処理装置、画像処理プログラム、画像処理方法及び画像処理システム
【課題】撮像した画像中における原稿の向きが適正となるようにする。
【解決手段】ステップＳ３で原稿台への置動作が開始されたと判断された際の画像において、原稿の隣接する二辺の長さを検出し（ステップＳ４）、これら二辺のうちの長辺を指定辺と決定する（ステップＳ７）。シャッターキーが操作されると、その時点でＣＣＤにより撮像された1フレーム分の画像データを取り込む（ステップＳ９）。この画像データ中における原稿の向きが適正となるように画像を補正処理するために、先ず補正に処理に必要な画像の回転角度を算出する（ステップＳ１０）。この回転角度の算出は、ステップＳ１で設定された基準辺と、ステップＳ７で決定されて指定辺とに基づき、該指定辺が前記基準辺となるような原稿の回転方向に応じた回転角度を算出する。この回転角度を算出したならば、前記取り込んだ画像データを、回転角度で回転画像処理する（ステップＳ１１）。
【解決手段】ステップＳ３で原稿台への置動作が開始されたと判断された際の画像において、原稿の隣接する二辺の長さを検出し（ステップＳ４）、これら二辺のうちの長辺を指定辺と決定する（ステップＳ７）。シャッターキーが操作されると、その時点でＣＣＤにより撮像された1フレーム分の画像データを取り込む（ステップＳ９）。この画像データ中における原稿の向きが適正となるように画像を補正処理するために、先ず補正に処理に必要な画像の回転角度を算出する（ステップＳ１０）。この回転角度の算出は、ステップＳ１で設定された基準辺と、ステップＳ７で決定されて指定辺とに基づき、該指定辺が前記基準辺となるような原稿の回転方向に応じた回転角度を算出する。この回転角度を算出したならば、前記取り込んだ画像データを、回転角度で回転画像処理する（ステップＳ１１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像機能を備えた画像処理装置、これに用いられる画像処理プログラム、画像処理方法及び画像処理システムに関するものである。
【背景技術】
【０００２】
従来、書画原稿を撮影し、その画像情報を外部機器へ出力したり、記録媒体に画像データとして記録したりする装置として書画カメラ装置が知られている。係る書画カメラ装置は、撮影対象となる書画原稿を載置するための原稿台を含む本体に、原稿台との相対位置が調整できるカメラ部が設けられ、カメラ部はＣＣＤやＭＯＳ型の撮像素子、撮像信号の処理等や画像処理を行うための電子回路が設けられたデジタルカメラで構成されている。したがって、カメラ部で撮像した書画原稿をパソコンを介してプロジェクタに出力することにより、書画原稿をスクリーンに投影してプレゼンテーションを行うこともできる。
【０００３】
このとき、カメラ部が原稿台に載置される原稿を取り込む方向は固定されているため、原稿を積載する向きを間違えると、正しい向きから上下が逆転したり、縦横が９０度回転した状態で原稿が投影されてしまう。また、原稿が原稿台上に適正角度で載置されておらず、斜めに角度がずれて載置されていると、カメラ部は角度がずれている原稿をそのまま撮像することから、スクリーン上に角度が斜めにずれた状態で原稿が投影されてしまう。このため、ユーザが原稿を適正な角度に修正するべく、原稿台に積載した原稿をカメラ部を介して取り込んだ後、パソコン、プロジェクタを介して投影される原稿画像を確認し、向きがずれていることを認識した場合は、その都度パソコン上のソフトウェアを使用して取り込んだ原稿画像データの回転処理をしなければならず、ユーザに煩雑な作業を強いることとなり使い勝手がよいとはいえなかった。一方で、原稿中に文字がある場合などは、カメラ部が撮像して出力した画像における原稿中の文字列を、前記パソコンにより認識して画像を回転処理する等の補正を行い、しかる後にプロジェクタで投影することにより、スクリーン上に文字列を適正な方向で投影する技術も提案されるに至っている（例えば下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３６３７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術においては文字認識を行い、その認識結果に基づき画像を回転する等の補正処理を行う。したがって、対象に文字が存在しない場合、例えば図形のみからなる原稿である場合には、前記補正処理を行うことができない。また、対象に文字が存在していても、当該対象が原稿台上において大幅に適正角度からずれていて文字認識できない場合、例えば原稿を逆にして載置した結果、文字も逆になって文字認識できない場合には、前記補正処理を行うことができない。そのため、未だ上述の課題を十分に解決しているとはいえなかった。
【０００６】
本発明は、かかる従来の課題に鑑みてなされたものであり、撮像される原稿における文字の有無等の記載形態、あるいは台上に載置された原稿と撮像部との位置関係に左右されることなく、撮像した画像中における原稿の向きが適正となるように画像を処理する画像処理装置、画像処理プログラム、画像処理方法及び画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため請求項１記載の発明に係る画像処理装置にあっては、原稿を載置する書画台と、この書画台上を撮像する撮像手段と、この撮像手段により撮像される画像に基づき、前記書画台上への原稿の載置動作が開始されたか否かを判断する判断手段と、この判断手段より前記載置動作が開始されたと判断された際に、前記撮像手段により撮像された画像において、前記原稿の輪郭を検出する検出手段と、この検出手段により検出された前記輪郭において、予め定められた条件を満たす一辺を前記原稿における指定辺として決定する決定手段と、この決定手段により決定された前記指定辺が、予め設定された方向となるように、前記撮像手段により撮像された画像を回転させる角度を算出する算出手段と、この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段とを備えることを特徴とする。
【０００８】
また、請求項２記載の発明に係る画像処理装置にあっては、前記画像処理手段により回転処理された画像を外部に出力する出力手段を備えることを特徴とする。
【０００９】
また、請求項３記載の発明に係る画像処理装置にあっては、前記決定手段は、前記検出手段により前記原稿の輪郭を形成する直線が一辺検出された場合は、その一辺を前記指定辺として決定することを特徴とする。
【００１０】
また、請求項４記載の発明に係る画像処理装置にあっては、前記決定手段は、前記検出手段により前記原稿の輪郭を形成する直線が二辺検出された場合は、その二辺における長辺に対する短辺の長さの比率が所定値以下であれば、当該長辺を前記指定辺として決定することを特徴とする。
【００１１】
また、請求項５記載の発明に係る画像処理装置にあっては、前記決定手段は、前記検出手段により前記原稿の輪郭を形成する直線が三辺検出された場合は、その三辺のなかで最も長い辺を前記原稿における指定辺として決定することを特徴とする。
【００１２】
また、請求項６記載の発明に係る画像処理装置にあっては、前記指定辺を回転させる方向を予め設定する設定手段を備えることを特徴とする。
【００１３】
また、請求項７記載の発明に係る画像処理装置にあっては、前記設定手段は、前記画像のフレームの四辺のいずれかと前記指定辺とが平行になるように、前記回転方向を設定することを特徴とする。
【００１４】
また、請求項８記載の発明に係る画像処理プログラムにあっては、書画台と、この書画台上に載置される原稿を撮像する撮像手段とを備える画像処理装置が有するコンピュータを、前記撮像手段により撮像される画像に基づき、前記書画台上への原稿の載置動作が開始されたか否かを判断する判断手段と、この判断手段より、前記載置動作が開始されたと判断された際の画像において、前記原稿の端縁角部を形成する二辺を検出する検出手段と、この検出手段により検出された前記二辺において、予め定められた条件を満たすいずれか一方の辺を前記原稿における指定辺として決定する決定手段と、この決定手段により決定された前記原稿における指定辺が、予め設定された所定辺となるように、前記撮像手段により撮像された画像の回転角度を算出する算出手段と、この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段として機能させることを特徴とする。
【００１５】
また、請求項９記載の発明に係る画像処理方法にあっては、書画台と、この書画台上に載置される原稿を撮像する撮像手段とを備える装置における画像処理方法であって、この撮像手段により撮像される画像に基づき、前記書画台上への原稿の載置動作が開始されたか否かを判断する判断ステップと、この判断ステップより、前記載置動作が開始されたと判断された際の画像において、前記原稿の端縁角部を形成する二辺を検出する検出ステップと、この検出ステップにより検出された前記二辺において、予め定められた条件を満たすいずれか一方の辺を前記原稿における指定辺として決定する決定ステップと、この決定ステップにより決定された前記原稿における指定辺が、予め設定された所定辺となるように、前記撮像手段により撮像された画像の回転角度を算出する算出ステップと、この算出ステップにより算出された回転角度で前記画像を回転処理する画像処理ステップとを含むことを特徴とする。
【００１６】
また、請求項１０記載の発明に係る画像処理システムにあっては、原稿を載置する書画台上を撮像する撮像手段、その撮像した画像を情報処理装置に送信する送信手段とを備えた撮像装置と、撮像装置から送られてくる画像に基づき、前記書画台上への原稿の載置動作が開始されたか否かを判断する判断手段、載置動作が開始された直後の画像において前記原稿の輪郭を検出する検出手段、前記輪郭において予め定められた条件を満たす一辺を前記原稿における指定辺として決定する決定手段、前記指定辺が予め設定された方向となるように前記撮像手段により撮像された画像を回転させる角度を算出する算出手段、この回転角度で前記画像を回転処理する画像処理手段とを備えた画像処理装置と、画像処理装置から送られてくる画像を投影する投影手段を備えた投影装置と、を有したことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、撮像される原稿における文字の有無等の記載形態、あるいは台上に載置された原稿と撮像部との位置関係に左右されることなく、撮像した画像中における原稿の向きが適正となるように画像を補正処理することができる。したがって、この補正処理した画像を用いることにより、対象を適正な向きにした画像を投影することも可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施の形態に係るデジタルカメラを含む撮像投影システムを示すシステム構成図である。
【図２】デジタルカメラの電気的構成を示すブロック図である。
【図３】同システムにおけるプロジェクタとＰＣの電気的構成の概略を示すブロック図である。
【図４】本発明の一実施の形態における処理手順を示すフローチャートである。
【図５】同実施の形態における動作説明図である。
【図６】同実施の形態における動作説明図である。
【図７】同実施の形態における動作説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明の一実施の形態に係る書画カメラを含む撮像投影システムの構成図である。
【００２０】
この撮像投影システムは、矩形状の原稿を撮影する書画カメラ１と、ＰＣ（パーソナルコンピュータ）２、及びプロジェクタ３とから構成されている。書画カメラ１とＰＣ２はＵＳＢケーブル４によって接続されており、ＰＣ２とプロジェクタ３とはＲＧＢケーブル５によって接続されている。なお、プロジェクタ３には、離れた場所からの操作を可能とする赤外線リモートコントロールユニット６が付属している。
【００２１】
前記書画カメラ１は、カメラスタンド１１と、これに着脱自在に装着されたデジタルカメラ５１とから構成されている。カメラスタンド１１は、原稿が載置される薄板であって矩形状の書画台１２と、書画台１２に支持されたスタンド本体１３と、その上端部に設けられた支持アーム１４、及びその先端に設けられた取付部１５とから構成されている。そして、取付部１５に前記デジタルカメラ５１が装着されている。
【００２２】
前記デジタルカメラ５１は、ＡＥ、ＡＷＢ、ＡＦ等の一般的な機能を有するものであり、それ単体での使用が可能であるとともに、カメラスタンド１１に装着されているときには、カメラスタンド１１を介して撮像により取得した画像データを前記ＰＣ２へ出力する。
【００２３】
図２は、デジタルカメラ５１の構成を示すブロック図である。レンズブロック６１には、ズームレンズ、フォーカスレンズ等の光学系、及び光学系を駆動するための駆動機構が含まれており、上記光学系は駆動機構に設けられているモータ６２によって光軸方向に駆動される。モータ６２は、デジタルカメラ５１全体を制御するＣＰＵ７２にバス６３を介し接続されたモータドライバ６４から供給される駆動信号によって動作し、前記光学系を駆動する。なお、バス６３にはストロボ６５も接続されている。
【００２４】
また、前記レンズブロック６１が有する前記レンズの光軸上には、撮像手段であるＣＣＤ６６が配置されている。ＣＣＤ６６は、矩形状の撮像範囲を有し、ＣＰＵ７２の命令に従いタイミング発生器（ＴＧ：Timing Generator）６７が生成するタイミング信号に基づき垂直及び水平ドライバ６８によって駆動され、被写体の光学像に応じたアナログの撮像信号を信号処理回路６９に出力する。信号処理回路６９は、ＣＣＤ６６の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ変換器等から構成され、デジタルに変換した撮像信号を画像処理部７０へ出力する。
【００２５】
画像処理部７０は、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号及び色差（ＵＶ）信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。画像処理部７０で変換されたＹＵＶデータは順次ＳＤＲＡＭ７１に格納されるとともに、ＲＥＣスルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、液晶モニタ（ＬＣＤ）５３へ送られてスルー画像として画面表示される。そしてＳＤＲＡＭ７１に一時記憶された1フレーム分の画像データは、シャッターキーが押された撮影時においては、ＣＰＵ７２により圧縮され、最終的には所定のフォーマットの画像ファイルとして外部メモリ７３に記録される。
【００２６】
外部メモリ７３は、図示しないカードインターフェイスを介して接続されたカメラ本体に着脱自在なメモリカードである。外部メモリ７３に記録された画像ファイルは、ＰＬＡＹ・モードにおいてユーザの選択操作に応じてＣＰＵ７２に読み出されるとともに伸張され、ＹＵＶデータとしてＳＤＲＡＭ７１に展開された後、液晶モニタ５３に表示される。フラッシュメモリ７４には、ＣＰＵ７２に上記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、データ通信用プログラム等の各種のプログラムが格納されている。
【００２７】
また、バス６３には、ＵＳＢインターフェース７５が接続されている。ＵＳＢインターフェース７５には、前述したカメラスタンド１１の取付部１５に設けられている図示しないＵＳＢ仕様の接続コネクタと接続された接続コネクタが設けられており、それによりデジタルカメラ５１は、ＵＳＢインターフェース７５から前記カメラスタンド１１を介して、ＰＣ２への画像データの出力、及びＰＣ２との間におけるデータ通信が可能となっている。また、デジタルカメラ５１は、電源スイッチ、モード選択キー、シャッターキー等の操作キーやスイッチ類を含むキー入力部７６を有している。キー入力部７６における各操作キーの操作の有無はＣＰＵ７２によって定常的にスキャンされており、いずれかの操作キーが操作されると、ＣＰＵ７２によりキー操作に応じた処理が実行される。
【００２８】
図３は、前記ＰＣ２とプロジェクタ３の電気的構成の概略を示すブロック図である。ＰＣ２は汎用のノート型パソコンであり、ＣＰＵ８１と、ＲＡＭ８２、記憶装置８３、入力装置８４、ビデオアダプタ８５、ＶＲＡＭ８６、表示装置８７を備えている。
【００２９】
ビデオアダプタ８５は、表示用のビデオ信号（ＲＧＢ信号）を生成し、ＬＣＤ及びその駆動回路等からなる表示装置８７に出力し、ＶＲＡＭ８６は、ビデオアダプタ８５が生成した表示用の画像データを随時記憶する。また、ビデオアダプタ８５には、前記ＲＧＢケーブル５が接続されたＲＢＧ出力端子８８が設けられており、ビデオアダプタ８５は、ＣＰＵ８１の命令に応じて表示用の画像データをＲＧＢケーブル５を介してプロジェクタ３へ出力する。
【００３０】
また、ＣＰＵ８１には、ＵＳＢインターフェース８９が設けられており、このＵＳＢインターフェース８９に、前記書画カメラ１に接続されているＵＳＢケーブル４が接続されている。したがって、ＣＰＵ８１には、書画カメラ１（デジタルカメラ５１）から送られた画像データがＵＳＢインターフェース８９を介して入力される一方、必要に応じて書画カメラ１との間におけるデータ通信が可能となっている。入力装置８４は、ＰＣ２本体に設けられた複数のキーや、本体に接続されたマウス等であり、記憶装置８３は記憶容量の比較的大きなハードディスク等である。記憶装置８３には、デジタルカメラ５１及びプロジェクタ３とデータ通信を行うための通信プログラム等が格納されている。
【００３１】
プロジェクタ３は、ＣＰＵ９１、ＲＯＭ９２、ＲＡＭ９３、画像入力部９４、表示部９５、キー入力部９６、赤外信号受信部９７を備えている。画像入力部９４には、前記ＲＧＢケーブル５が接続されたＲＢＧ信号の入力端子９８が接続されており、ＰＣ２から入力した入力画像信号（ＲＧＢ信号）に基づき、画像を投影するための表示信号を生成し表示部９５へ送る。表示部９５は、クリプトンランプ等の光源、及び光源の光を入力表示信号に応じた投影光に変換するための液晶やマイクロミラーアレイ等の画像変換素子、その画像変換素子を、画像入力部９４から送られた表示信号に基づき駆動する駆動回路、本体の投影部３ａ（図１参照）に設けられている投影レンズ等の光学系を含み、ＰＣ２から送られた画像データに基づく表示画像をスクリーン７に投影する。
【００３２】
ＣＰＵ９１は、ＲＯＭ９２に格納されているプログラムに従いＲＡＭ９３を作業用メモリとして動作し、プロジェクタ３全体を制御する。キー入力部９６は、ユーザがプロジェクタ３の操作を行うために用意された、複数の操作キーにより構成されており、赤外信号受信部９７は、前述した赤外線リモートコントロールユニット６から送られた赤外線を受光し、それにコード化されている操作信号をデコードしてＣＰＵ９１へ送る。
【００３３】
すなわち、この撮像投影システムは、デジタルカメラ５１に、ユーザによる撮影操作に応じて原稿の撮影、及び撮影した画像のＰＣ２への転送を行う所定のモードが設定されると、ＰＣ２がデータ通信処理を実行することにより、デジタルカメラ５１によって撮影された原稿の画像がＰＣ２を介してプロジェクタ３に送られ、投影されるように構成されている。
【００３４】
以上の構成にかかる本実施の形態において、デジタルカメラ５１のＣＰＵ７２は、フラッシュメモリ７４に格納されているプログラムに基づき、図４のフローチャートに示すように処理を実行する。すなわち、先ず基準辺設定処理を実行する（ステップＳ１）。この基準辺設定処理は、ユーザが書画台１２に矩形状の原稿を載置した際における当該原稿の一辺（後述する指定辺）が、撮影画像のフレームと平行な上辺、下辺、左辺、右辺のいずれの辺（後述する基準辺）となるように撮影画像を回転補正するかを予め設定しておく処理である。この処理に際しては、下記に示す選択肢（１）〜（４）を液晶モニタ５３に表示する。
（１）原稿の指定辺が上辺となるように回転補正する。
（２） 〃 下辺となるように回転補正する。
（３） 〃 左辺となるように回転補正する。
（４） 〃 右辺となるように回転補正する。
【００３５】
そして、これら選択肢からキー操作によりいずれかが選択されたならば、当該選択肢をＳＤＲＡＭ７１に記憶する。したがって、ユーザは画像のフレームと平行な四辺のうち任意の辺を、画像を回転補正する際に基準となる基準辺として選択することができる。なお、デフォルトで「（１）原稿の指定辺が上辺となるように回転補正する。」が設定されており、したがってユーザが選択操作をしなかった場合には、選択肢（１）が自動設定される。
【００３６】
引き続き、書画台監視動作を開始する（ステップＳ２）。すなわち、垂直及び水平ドライバ６８は、タイミング発生器６７が発生するタイミング信号に基づき、例えば３０ｆｐｓのフレームレートでＣＣＤ６６を駆動する。ＣＰＵ７２は、このフレームレートで画像処理部７０を介してＳＤＲＡＭ７１に順次格納される画像を参照することにより、書画台１２上を監視する。
【００３７】
そして、前記フレームレートで順次ＳＤＲＡＭ７１に格納される前後の画像を比較することにより、原稿の載置動作があったか否か（原稿の載置動作が開始されたか否か）を判断する（ステップＳ３）。つまり、原稿の載置動作が無い状態においては、図５（ａ）に例示するように、フレームＦ内に書画台１２のみが全面表示された画像Ｐが前記フレームレートでＳＤＲＡＭ７１に格納される。しかし、ユーザが書画台１２上への原稿の載置動作を開始すると、同図（ｂ）に示すように、原稿Ｍの一部が撮像されることにより、フレームＦ内において画像が部分的に変化する。したがって、前記フレームレートで順次ＳＤＲＡＭ７１に格納される前後の画像Ｐを比較して、その一部に変化があった場合には、原稿の載置動作があった（開始された）と判断する。
【００３８】
次に、このステップＳ３で前記載置動作が開始されたと判断された際の画像において、原稿の隣接する二辺の長さを検出する（ステップＳ４）。つまり図５（ｂ）の画像Ｐにおいて、原稿Ｍの角部Ｃを形成する二辺Ｌ１、Ｌ２の長さを検出する。さらに、この検出した二辺の長さの比率が所定範囲内であるか否かを判断する（ステップＳ５）。そして、図５（ｂ）に示すように、Ｌ１≒Ｌ２であって、二辺Ｌ１、Ｌ２の長さの差分が所定範囲内である場合には（ステップＳ５→ＹＥＳ）、液晶モニタ５３にての表示により、再載置指示報知を行って（ステップＳ６）、ステップＳ３に戻る。
【００３９】
また、ステップＳ５の判断がＮＯであって、検出した二辺の長さの比率が所定範囲を超える場合には、これら二辺のうちの長辺を指定辺と決定する（ステップＳ７）。したがって、図６（ａ）に示すように、画像Ｐにおいて、原稿Ｍの角部Ｃを形成する二辺Ｌ１、Ｌ２の長さの関係が明らかにＬ１＞Ｌ２であり、二辺Ｌ１、Ｌ２の長さの比率が所定範囲を超える場合には、これら二辺Ｌ１、Ｌ２のうちの長辺である辺Ｌ１を指定辺と決定する。
【００４０】
引き続き、シャッターキーが操作されたか否かを判断し（ステップＳ８）、シャッターキーが操作されるまで待機する。したがって、この間においてユーザは、図６（ｂ）に示すように、書画台１２上に原稿Ｍを載置する動作を完了することとなる。このとき、図示のように、書画台１２及びフレームＦに対して、原稿Ｍが天地逆でかつ角度がずれた状態で載置が完了されてしまう場合もある。
【００４１】
この状態でシャッターキーが操作されると、その時点でＣＣＤ６６により撮像された1フレーム分の画像データを、画像処理部７０を介してＳＤＲＡＭ７１に取り込む（ステップＳ９）。したがって、図６（ｂ）に示す状態でシャッターキーが操作されると、書画台１２及びフレームＦに対して、天地逆でかつ角度がずれた状態の原稿Ｍを有する画像Ｐが取り込まれることとなる。
【００４２】
そこで、この画像Ｐ中における原稿Ｍの向きが適正となるように画像を補正処理するために、先ず補正に処理に必要な画像の回転角度を算出する（ステップＳ１０）。この回転角度の算出は、前記ステップＳ１で設定された基準辺と、前記ステップＳ７で決定された指定辺とに基づき、該指定辺が前記基準辺となるような原稿Ｍの回転方向に応じた回転角度を算出する。
【００４３】
より具体的には、ステップＳ１で「（２）原稿の指定辺が下辺となるように回転補正する。」が選択されて、「下辺（前述のように、画像のフレームと平行）」が基準辺として設定され、ステップＳ７で図６（ｂ）に示した前記辺Ｌ１が指定辺と決定されていたとする。すると、同図に示した原稿Ｍの辺Ｌ１が画像ＰにおけるフレームＦと平行な「下辺」となる原稿Ｍの回転角度を算出する。したがって、本例の場合、辺Ｌ１がフレームＦと平行な「下辺」となる原稿Ｍの回転角度は、時計方向に１５０°であることから、「時計方向１５０°」を算出する。
【００４４】
なお、この算出する回転角度は、時計方向と反時計方向とのいずれの方向で算出してもよいが、本例のように、値が小さくなる方向の回転角度を検出することが好ましい。
【００４５】
この回転角度を算出したならば、前記ＳＤＲＡＭ７１に取り込んだ画像データを、当該回転角度で回転画像処理する（ステップＳ１１）。つまり、本例においてはステップＳ１０で回転角度「時計方向１５０°」が算出されている。そこで、ステップＳ１１においては、画像中に存在する原稿Ｍの中心を回転中心として、当該画像を１５０°時計方向に回転させた画像データを生成する。
【００４６】
したがって、図６（ｂ）に例示したように、書画台１２上にどのような角度で原稿Ｍが載置された場合であっても、同図（ｃ）に示すように、原稿Ｍが画像ＰのフレームＦと平行であって、かつ、ユーザが所望する方向、あるいは適正な方向となるように画像を補正処理することができる。しかも、前述した従来技術のように、文字の認識は必要ないことから、撮影される原稿の記載形態に左右されることなく、撮影した画像中における原稿の向きを補正処理することができる。
【００４７】
しかる後に、この回転処理済みの画像データを外部メモリ７３に記録するとともに、ＵＳＢインターフェース７５から出力する（ステップＳ１２）。すると、ＵＳＢインターフェース７５に接続されているＰＣ２は、前記データ通信用プログラムに従って動作し、回転処理済み画像データを受信し、プロジェクタ３に送信する。プロジェクタ３は、これを受信してＰＣ２から送られた画像データに基づく表示画像をスクリーン７に投影する。このスクリーン７に投影された表示画像にあっては、回転処理済みの画像データに基づくものである。
【００４８】
したがって、例えば上述のようにステップＳ１で、指定辺が、撮像画像のフレームと平行な下辺となるように画像を回転処理する設定が成されているとすると、ユーザは書画台１２上に原稿を挿入する際に、指定辺を当該原稿の下辺とするために当該原稿下辺から挿入することで、その挿入端面である原稿下辺が、上記基準辺である撮像画像中の原稿画像におけるフレームと平行な下辺となるように回転処理を行うことができる。また、ユーザは書画台１２へ原稿を挿入する際に、撮像した原稿画像において下辺としたい辺からフレームに挿入すれよく、フレームの４辺のうちどの辺から挿入してもよい。しかも、前述した従来技術のように、文字の認識は必要ないことから、投影される原稿の記載形態に左右されることなく、投影される画像の方向を適正にすることができる。
【００４９】
また、二辺Ｌ１、Ｌ２のうちの長辺である辺Ｌ１を指定辺と決定するようにしたことから、ユーザは指定辺としたい原稿の任意の辺を最先にして、書画台１２上に原稿を載置する単純な動作により、指定辺の決定を行わせることができる。しかも、２辺Ｌ１、Ｌ２の比率に基づいて、長辺であるＬ１を指定辺と設定することとしたため、ユーザは指定辺としたい辺を正確に最先として挿入しなくても指定辺を識別することができる。
【００５０】
また、台座に原稿を挿入する際に投影される画像の方向を適正にすることができることから、投影された画像の方向を修正する操作は不要であって、この修正操作に時間を要することもない。したがって、この投影システムをプレゼンテーションで使用した場合であっても、投影された画像の方向を修正する操作に時間を要することに起因して、プレゼンテーションの流れを止めてしまう不都合を未然に防止することができる。
【００５１】
また、上述の実施の形態では、ユーザが上述の指定辺としたい辺を最先として原稿を配置しようとする際に、その指定辺としたい辺とフレームの挿入される辺とを平行として原稿を挿入することは難しく、図６（ａ）のように多少斜めになって原稿が挿入される場合を想定したが、これに限るものではない。
【００５２】
例えば、フレームＦの角部分から原稿Ｍが斜めに挿入された場合、図７（ａ）に示すように、上述のステップＳ４で検出される辺はＬ３の一辺のみである。この場合、Ｌ３を指定辺として決定し、上述のステップＳ７以降の処理を行うこととする。このようにすることで、ユーザは原稿を台座に挿入する際に、上下左右のみならず、斜め方向から原稿を挿入させた場合であっても、その挿入側の１辺を上記指定辺として決定し、適正な方向へ撮像された画像を回転処理することができる。
【００５３】
さらに、フレームＦの原稿挿入側の１辺に、原稿がほぼ平行に挿入された場合、図７（ｂ）に示すように、上述のステップＳ４でＬ４、Ｌ５、Ｌ６の三辺が検出される場合がある。この際は、明らかにＬ５＞Ｌ４及びＬ６であるため、これらの辺の比率をとることなく、Ｌ５を指定辺として決定すればよい。そして上述のステップＳ７以降の処理を行い、適正な方向へ撮像された画像を回転処理することができる。
【００５４】
なお、本実施の形態においては、ステップＳ５での判断の結果、二辺Ｌ１、Ｌ２の長さの差分が所定範囲内である場合、再載置を促して（ステップＳ６）、ステップＳ３に戻るようにした。しかし、ステップＳ３に戻ることなく、シャッターキーの操作の操作に応じて、外部メモリ７３に画像データを記録するとともに、ＵＳＢインターフェース７５から出力し、画像の投影を行うようにしてもよい。
【００５５】
また、本実施の形態においては、撮影処理のみならず、データの回転画像処理等の他の処理もデジタルカメラ５１側で行うようにしたが、撮影処理のみをデジタルカメラ５１側で行い、撮影した画像をＰＣ２に送り、ＰＣ２側でデータの回転画像処理等の他の処理を実行するようにしてもよい。
【００５６】
また、実施の形態においては、撮影した画像を投影する場合について説明したが、これに限らず、撮影した画像をモニタに表示する場合、あるいはプリントアウトする場合等に、同様の回転画像処理を行うようにしてもよい。
【符号の説明】
【００５７】
１ 書画カメラ
２ ＰＣ
３ プロジェクタ
１１ カメラスタンド
１２ 書画台
１３ スタンド本体
１４ 支持アーム
１５ 取付部
５１ デジタルカメラ
５３ 液晶モニタ
６２ モータ
６３ バス
６４ モータドライバ
６６ ＣＣＤ
６７ タイミング発生器
６８ 水平ドライバ
６９ 信号処理回路
７０ 画像処理部
７１ ＳＤＲＡＭ
７２ ＣＰＵ
７３ 外部メモリ
７４ フラッシュメモリ
７６ キー入力部
Ｆ フレーム
Ｍ 原稿
Ｐ 画像
【技術分野】
【０００１】
本発明は、撮像機能を備えた画像処理装置、これに用いられる画像処理プログラム、画像処理方法及び画像処理システムに関するものである。
【背景技術】
【０００２】
従来、書画原稿を撮影し、その画像情報を外部機器へ出力したり、記録媒体に画像データとして記録したりする装置として書画カメラ装置が知られている。係る書画カメラ装置は、撮影対象となる書画原稿を載置するための原稿台を含む本体に、原稿台との相対位置が調整できるカメラ部が設けられ、カメラ部はＣＣＤやＭＯＳ型の撮像素子、撮像信号の処理等や画像処理を行うための電子回路が設けられたデジタルカメラで構成されている。したがって、カメラ部で撮像した書画原稿をパソコンを介してプロジェクタに出力することにより、書画原稿をスクリーンに投影してプレゼンテーションを行うこともできる。
【０００３】
このとき、カメラ部が原稿台に載置される原稿を取り込む方向は固定されているため、原稿を積載する向きを間違えると、正しい向きから上下が逆転したり、縦横が９０度回転した状態で原稿が投影されてしまう。また、原稿が原稿台上に適正角度で載置されておらず、斜めに角度がずれて載置されていると、カメラ部は角度がずれている原稿をそのまま撮像することから、スクリーン上に角度が斜めにずれた状態で原稿が投影されてしまう。このため、ユーザが原稿を適正な角度に修正するべく、原稿台に積載した原稿をカメラ部を介して取り込んだ後、パソコン、プロジェクタを介して投影される原稿画像を確認し、向きがずれていることを認識した場合は、その都度パソコン上のソフトウェアを使用して取り込んだ原稿画像データの回転処理をしなければならず、ユーザに煩雑な作業を強いることとなり使い勝手がよいとはいえなかった。一方で、原稿中に文字がある場合などは、カメラ部が撮像して出力した画像における原稿中の文字列を、前記パソコンにより認識して画像を回転処理する等の補正を行い、しかる後にプロジェクタで投影することにより、スクリーン上に文字列を適正な方向で投影する技術も提案されるに至っている（例えば下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３６３７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術においては文字認識を行い、その認識結果に基づき画像を回転する等の補正処理を行う。したがって、対象に文字が存在しない場合、例えば図形のみからなる原稿である場合には、前記補正処理を行うことができない。また、対象に文字が存在していても、当該対象が原稿台上において大幅に適正角度からずれていて文字認識できない場合、例えば原稿を逆にして載置した結果、文字も逆になって文字認識できない場合には、前記補正処理を行うことができない。そのため、未だ上述の課題を十分に解決しているとはいえなかった。
【０００６】
本発明は、かかる従来の課題に鑑みてなされたものであり、撮像される原稿における文字の有無等の記載形態、あるいは台上に載置された原稿と撮像部との位置関係に左右されることなく、撮像した画像中における原稿の向きが適正となるように画像を処理する画像処理装置、画像処理プログラム、画像処理方法及び画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため請求項１記載の発明に係る画像処理装置にあっては、原稿を載置する書画台と、この書画台上を撮像する撮像手段と、この撮像手段により撮像される画像に基づき、前記書画台上への原稿の載置動作が開始されたか否かを判断する判断手段と、この判断手段より前記載置動作が開始されたと判断された際に、前記撮像手段により撮像された画像において、前記原稿の輪郭を検出する検出手段と、この検出手段により検出された前記輪郭において、予め定められた条件を満たす一辺を前記原稿における指定辺として決定する決定手段と、この決定手段により決定された前記指定辺が、予め設定された方向となるように、前記撮像手段により撮像された画像を回転させる角度を算出する算出手段と、この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段とを備えることを特徴とする。
【０００８】
また、請求項２記載の発明に係る画像処理装置にあっては、前記画像処理手段により回転処理された画像を外部に出力する出力手段を備えることを特徴とする。
【０００９】
また、請求項３記載の発明に係る画像処理装置にあっては、前記決定手段は、前記検出手段により前記原稿の輪郭を形成する直線が一辺検出された場合は、その一辺を前記指定辺として決定することを特徴とする。
【００１０】
また、請求項４記載の発明に係る画像処理装置にあっては、前記決定手段は、前記検出手段により前記原稿の輪郭を形成する直線が二辺検出された場合は、その二辺における長辺に対する短辺の長さの比率が所定値以下であれば、当該長辺を前記指定辺として決定することを特徴とする。
【００１１】
また、請求項５記載の発明に係る画像処理装置にあっては、前記決定手段は、前記検出手段により前記原稿の輪郭を形成する直線が三辺検出された場合は、その三辺のなかで最も長い辺を前記原稿における指定辺として決定することを特徴とする。
【００１２】
また、請求項６記載の発明に係る画像処理装置にあっては、前記指定辺を回転させる方向を予め設定する設定手段を備えることを特徴とする。
【００１３】
また、請求項７記載の発明に係る画像処理装置にあっては、前記設定手段は、前記画像のフレームの四辺のいずれかと前記指定辺とが平行になるように、前記回転方向を設定することを特徴とする。
【００１４】
また、請求項８記載の発明に係る画像処理プログラムにあっては、書画台と、この書画台上に載置される原稿を撮像する撮像手段とを備える画像処理装置が有するコンピュータを、前記撮像手段により撮像される画像に基づき、前記書画台上への原稿の載置動作が開始されたか否かを判断する判断手段と、この判断手段より、前記載置動作が開始されたと判断された際の画像において、前記原稿の端縁角部を形成する二辺を検出する検出手段と、この検出手段により検出された前記二辺において、予め定められた条件を満たすいずれか一方の辺を前記原稿における指定辺として決定する決定手段と、この決定手段により決定された前記原稿における指定辺が、予め設定された所定辺となるように、前記撮像手段により撮像された画像の回転角度を算出する算出手段と、この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段として機能させることを特徴とする。
【００１５】
また、請求項９記載の発明に係る画像処理方法にあっては、書画台と、この書画台上に載置される原稿を撮像する撮像手段とを備える装置における画像処理方法であって、この撮像手段により撮像される画像に基づき、前記書画台上への原稿の載置動作が開始されたか否かを判断する判断ステップと、この判断ステップより、前記載置動作が開始されたと判断された際の画像において、前記原稿の端縁角部を形成する二辺を検出する検出ステップと、この検出ステップにより検出された前記二辺において、予め定められた条件を満たすいずれか一方の辺を前記原稿における指定辺として決定する決定ステップと、この決定ステップにより決定された前記原稿における指定辺が、予め設定された所定辺となるように、前記撮像手段により撮像された画像の回転角度を算出する算出ステップと、この算出ステップにより算出された回転角度で前記画像を回転処理する画像処理ステップとを含むことを特徴とする。
【００１６】
また、請求項１０記載の発明に係る画像処理システムにあっては、原稿を載置する書画台上を撮像する撮像手段、その撮像した画像を情報処理装置に送信する送信手段とを備えた撮像装置と、撮像装置から送られてくる画像に基づき、前記書画台上への原稿の載置動作が開始されたか否かを判断する判断手段、載置動作が開始された直後の画像において前記原稿の輪郭を検出する検出手段、前記輪郭において予め定められた条件を満たす一辺を前記原稿における指定辺として決定する決定手段、前記指定辺が予め設定された方向となるように前記撮像手段により撮像された画像を回転させる角度を算出する算出手段、この回転角度で前記画像を回転処理する画像処理手段とを備えた画像処理装置と、画像処理装置から送られてくる画像を投影する投影手段を備えた投影装置と、を有したことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、撮像される原稿における文字の有無等の記載形態、あるいは台上に載置された原稿と撮像部との位置関係に左右されることなく、撮像した画像中における原稿の向きが適正となるように画像を補正処理することができる。したがって、この補正処理した画像を用いることにより、対象を適正な向きにした画像を投影することも可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施の形態に係るデジタルカメラを含む撮像投影システムを示すシステム構成図である。
【図２】デジタルカメラの電気的構成を示すブロック図である。
【図３】同システムにおけるプロジェクタとＰＣの電気的構成の概略を示すブロック図である。
【図４】本発明の一実施の形態における処理手順を示すフローチャートである。
【図５】同実施の形態における動作説明図である。
【図６】同実施の形態における動作説明図である。
【図７】同実施の形態における動作説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明の一実施の形態に係る書画カメラを含む撮像投影システムの構成図である。
【００２０】
この撮像投影システムは、矩形状の原稿を撮影する書画カメラ１と、ＰＣ（パーソナルコンピュータ）２、及びプロジェクタ３とから構成されている。書画カメラ１とＰＣ２はＵＳＢケーブル４によって接続されており、ＰＣ２とプロジェクタ３とはＲＧＢケーブル５によって接続されている。なお、プロジェクタ３には、離れた場所からの操作を可能とする赤外線リモートコントロールユニット６が付属している。
【００２１】
前記書画カメラ１は、カメラスタンド１１と、これに着脱自在に装着されたデジタルカメラ５１とから構成されている。カメラスタンド１１は、原稿が載置される薄板であって矩形状の書画台１２と、書画台１２に支持されたスタンド本体１３と、その上端部に設けられた支持アーム１４、及びその先端に設けられた取付部１５とから構成されている。そして、取付部１５に前記デジタルカメラ５１が装着されている。
【００２２】
前記デジタルカメラ５１は、ＡＥ、ＡＷＢ、ＡＦ等の一般的な機能を有するものであり、それ単体での使用が可能であるとともに、カメラスタンド１１に装着されているときには、カメラスタンド１１を介して撮像により取得した画像データを前記ＰＣ２へ出力する。
【００２３】
図２は、デジタルカメラ５１の構成を示すブロック図である。レンズブロック６１には、ズームレンズ、フォーカスレンズ等の光学系、及び光学系を駆動するための駆動機構が含まれており、上記光学系は駆動機構に設けられているモータ６２によって光軸方向に駆動される。モータ６２は、デジタルカメラ５１全体を制御するＣＰＵ７２にバス６３を介し接続されたモータドライバ６４から供給される駆動信号によって動作し、前記光学系を駆動する。なお、バス６３にはストロボ６５も接続されている。
【００２４】
また、前記レンズブロック６１が有する前記レンズの光軸上には、撮像手段であるＣＣＤ６６が配置されている。ＣＣＤ６６は、矩形状の撮像範囲を有し、ＣＰＵ７２の命令に従いタイミング発生器（ＴＧ：Timing Generator）６７が生成するタイミング信号に基づき垂直及び水平ドライバ６８によって駆動され、被写体の光学像に応じたアナログの撮像信号を信号処理回路６９に出力する。信号処理回路６９は、ＣＣＤ６６の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ変換器等から構成され、デジタルに変換した撮像信号を画像処理部７０へ出力する。
【００２５】
画像処理部７０は、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号及び色差（ＵＶ）信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。画像処理部７０で変換されたＹＵＶデータは順次ＳＤＲＡＭ７１に格納されるとともに、ＲＥＣスルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、液晶モニタ（ＬＣＤ）５３へ送られてスルー画像として画面表示される。そしてＳＤＲＡＭ７１に一時記憶された1フレーム分の画像データは、シャッターキーが押された撮影時においては、ＣＰＵ７２により圧縮され、最終的には所定のフォーマットの画像ファイルとして外部メモリ７３に記録される。
【００２６】
外部メモリ７３は、図示しないカードインターフェイスを介して接続されたカメラ本体に着脱自在なメモリカードである。外部メモリ７３に記録された画像ファイルは、ＰＬＡＹ・モードにおいてユーザの選択操作に応じてＣＰＵ７２に読み出されるとともに伸張され、ＹＵＶデータとしてＳＤＲＡＭ７１に展開された後、液晶モニタ５３に表示される。フラッシュメモリ７４には、ＣＰＵ７２に上記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、データ通信用プログラム等の各種のプログラムが格納されている。
【００２７】
また、バス６３には、ＵＳＢインターフェース７５が接続されている。ＵＳＢインターフェース７５には、前述したカメラスタンド１１の取付部１５に設けられている図示しないＵＳＢ仕様の接続コネクタと接続された接続コネクタが設けられており、それによりデジタルカメラ５１は、ＵＳＢインターフェース７５から前記カメラスタンド１１を介して、ＰＣ２への画像データの出力、及びＰＣ２との間におけるデータ通信が可能となっている。また、デジタルカメラ５１は、電源スイッチ、モード選択キー、シャッターキー等の操作キーやスイッチ類を含むキー入力部７６を有している。キー入力部７６における各操作キーの操作の有無はＣＰＵ７２によって定常的にスキャンされており、いずれかの操作キーが操作されると、ＣＰＵ７２によりキー操作に応じた処理が実行される。
【００２８】
図３は、前記ＰＣ２とプロジェクタ３の電気的構成の概略を示すブロック図である。ＰＣ２は汎用のノート型パソコンであり、ＣＰＵ８１と、ＲＡＭ８２、記憶装置８３、入力装置８４、ビデオアダプタ８５、ＶＲＡＭ８６、表示装置８７を備えている。
【００２９】
ビデオアダプタ８５は、表示用のビデオ信号（ＲＧＢ信号）を生成し、ＬＣＤ及びその駆動回路等からなる表示装置８７に出力し、ＶＲＡＭ８６は、ビデオアダプタ８５が生成した表示用の画像データを随時記憶する。また、ビデオアダプタ８５には、前記ＲＧＢケーブル５が接続されたＲＢＧ出力端子８８が設けられており、ビデオアダプタ８５は、ＣＰＵ８１の命令に応じて表示用の画像データをＲＧＢケーブル５を介してプロジェクタ３へ出力する。
【００３０】
また、ＣＰＵ８１には、ＵＳＢインターフェース８９が設けられており、このＵＳＢインターフェース８９に、前記書画カメラ１に接続されているＵＳＢケーブル４が接続されている。したがって、ＣＰＵ８１には、書画カメラ１（デジタルカメラ５１）から送られた画像データがＵＳＢインターフェース８９を介して入力される一方、必要に応じて書画カメラ１との間におけるデータ通信が可能となっている。入力装置８４は、ＰＣ２本体に設けられた複数のキーや、本体に接続されたマウス等であり、記憶装置８３は記憶容量の比較的大きなハードディスク等である。記憶装置８３には、デジタルカメラ５１及びプロジェクタ３とデータ通信を行うための通信プログラム等が格納されている。
【００３１】
プロジェクタ３は、ＣＰＵ９１、ＲＯＭ９２、ＲＡＭ９３、画像入力部９４、表示部９５、キー入力部９６、赤外信号受信部９７を備えている。画像入力部９４には、前記ＲＧＢケーブル５が接続されたＲＢＧ信号の入力端子９８が接続されており、ＰＣ２から入力した入力画像信号（ＲＧＢ信号）に基づき、画像を投影するための表示信号を生成し表示部９５へ送る。表示部９５は、クリプトンランプ等の光源、及び光源の光を入力表示信号に応じた投影光に変換するための液晶やマイクロミラーアレイ等の画像変換素子、その画像変換素子を、画像入力部９４から送られた表示信号に基づき駆動する駆動回路、本体の投影部３ａ（図１参照）に設けられている投影レンズ等の光学系を含み、ＰＣ２から送られた画像データに基づく表示画像をスクリーン７に投影する。
【００３２】
ＣＰＵ９１は、ＲＯＭ９２に格納されているプログラムに従いＲＡＭ９３を作業用メモリとして動作し、プロジェクタ３全体を制御する。キー入力部９６は、ユーザがプロジェクタ３の操作を行うために用意された、複数の操作キーにより構成されており、赤外信号受信部９７は、前述した赤外線リモートコントロールユニット６から送られた赤外線を受光し、それにコード化されている操作信号をデコードしてＣＰＵ９１へ送る。
【００３３】
すなわち、この撮像投影システムは、デジタルカメラ５１に、ユーザによる撮影操作に応じて原稿の撮影、及び撮影した画像のＰＣ２への転送を行う所定のモードが設定されると、ＰＣ２がデータ通信処理を実行することにより、デジタルカメラ５１によって撮影された原稿の画像がＰＣ２を介してプロジェクタ３に送られ、投影されるように構成されている。
【００３４】
以上の構成にかかる本実施の形態において、デジタルカメラ５１のＣＰＵ７２は、フラッシュメモリ７４に格納されているプログラムに基づき、図４のフローチャートに示すように処理を実行する。すなわち、先ず基準辺設定処理を実行する（ステップＳ１）。この基準辺設定処理は、ユーザが書画台１２に矩形状の原稿を載置した際における当該原稿の一辺（後述する指定辺）が、撮影画像のフレームと平行な上辺、下辺、左辺、右辺のいずれの辺（後述する基準辺）となるように撮影画像を回転補正するかを予め設定しておく処理である。この処理に際しては、下記に示す選択肢（１）〜（４）を液晶モニタ５３に表示する。
（１）原稿の指定辺が上辺となるように回転補正する。
（２） 〃 下辺となるように回転補正する。
（３） 〃 左辺となるように回転補正する。
（４） 〃 右辺となるように回転補正する。
【００３５】
そして、これら選択肢からキー操作によりいずれかが選択されたならば、当該選択肢をＳＤＲＡＭ７１に記憶する。したがって、ユーザは画像のフレームと平行な四辺のうち任意の辺を、画像を回転補正する際に基準となる基準辺として選択することができる。なお、デフォルトで「（１）原稿の指定辺が上辺となるように回転補正する。」が設定されており、したがってユーザが選択操作をしなかった場合には、選択肢（１）が自動設定される。
【００３６】
引き続き、書画台監視動作を開始する（ステップＳ２）。すなわち、垂直及び水平ドライバ６８は、タイミング発生器６７が発生するタイミング信号に基づき、例えば３０ｆｐｓのフレームレートでＣＣＤ６６を駆動する。ＣＰＵ７２は、このフレームレートで画像処理部７０を介してＳＤＲＡＭ７１に順次格納される画像を参照することにより、書画台１２上を監視する。
【００３７】
そして、前記フレームレートで順次ＳＤＲＡＭ７１に格納される前後の画像を比較することにより、原稿の載置動作があったか否か（原稿の載置動作が開始されたか否か）を判断する（ステップＳ３）。つまり、原稿の載置動作が無い状態においては、図５（ａ）に例示するように、フレームＦ内に書画台１２のみが全面表示された画像Ｐが前記フレームレートでＳＤＲＡＭ７１に格納される。しかし、ユーザが書画台１２上への原稿の載置動作を開始すると、同図（ｂ）に示すように、原稿Ｍの一部が撮像されることにより、フレームＦ内において画像が部分的に変化する。したがって、前記フレームレートで順次ＳＤＲＡＭ７１に格納される前後の画像Ｐを比較して、その一部に変化があった場合には、原稿の載置動作があった（開始された）と判断する。
【００３８】
次に、このステップＳ３で前記載置動作が開始されたと判断された際の画像において、原稿の隣接する二辺の長さを検出する（ステップＳ４）。つまり図５（ｂ）の画像Ｐにおいて、原稿Ｍの角部Ｃを形成する二辺Ｌ１、Ｌ２の長さを検出する。さらに、この検出した二辺の長さの比率が所定範囲内であるか否かを判断する（ステップＳ５）。そして、図５（ｂ）に示すように、Ｌ１≒Ｌ２であって、二辺Ｌ１、Ｌ２の長さの差分が所定範囲内である場合には（ステップＳ５→ＹＥＳ）、液晶モニタ５３にての表示により、再載置指示報知を行って（ステップＳ６）、ステップＳ３に戻る。
【００３９】
また、ステップＳ５の判断がＮＯであって、検出した二辺の長さの比率が所定範囲を超える場合には、これら二辺のうちの長辺を指定辺と決定する（ステップＳ７）。したがって、図６（ａ）に示すように、画像Ｐにおいて、原稿Ｍの角部Ｃを形成する二辺Ｌ１、Ｌ２の長さの関係が明らかにＬ１＞Ｌ２であり、二辺Ｌ１、Ｌ２の長さの比率が所定範囲を超える場合には、これら二辺Ｌ１、Ｌ２のうちの長辺である辺Ｌ１を指定辺と決定する。
【００４０】
引き続き、シャッターキーが操作されたか否かを判断し（ステップＳ８）、シャッターキーが操作されるまで待機する。したがって、この間においてユーザは、図６（ｂ）に示すように、書画台１２上に原稿Ｍを載置する動作を完了することとなる。このとき、図示のように、書画台１２及びフレームＦに対して、原稿Ｍが天地逆でかつ角度がずれた状態で載置が完了されてしまう場合もある。
【００４１】
この状態でシャッターキーが操作されると、その時点でＣＣＤ６６により撮像された1フレーム分の画像データを、画像処理部７０を介してＳＤＲＡＭ７１に取り込む（ステップＳ９）。したがって、図６（ｂ）に示す状態でシャッターキーが操作されると、書画台１２及びフレームＦに対して、天地逆でかつ角度がずれた状態の原稿Ｍを有する画像Ｐが取り込まれることとなる。
【００４２】
そこで、この画像Ｐ中における原稿Ｍの向きが適正となるように画像を補正処理するために、先ず補正に処理に必要な画像の回転角度を算出する（ステップＳ１０）。この回転角度の算出は、前記ステップＳ１で設定された基準辺と、前記ステップＳ７で決定された指定辺とに基づき、該指定辺が前記基準辺となるような原稿Ｍの回転方向に応じた回転角度を算出する。
【００４３】
より具体的には、ステップＳ１で「（２）原稿の指定辺が下辺となるように回転補正する。」が選択されて、「下辺（前述のように、画像のフレームと平行）」が基準辺として設定され、ステップＳ７で図６（ｂ）に示した前記辺Ｌ１が指定辺と決定されていたとする。すると、同図に示した原稿Ｍの辺Ｌ１が画像ＰにおけるフレームＦと平行な「下辺」となる原稿Ｍの回転角度を算出する。したがって、本例の場合、辺Ｌ１がフレームＦと平行な「下辺」となる原稿Ｍの回転角度は、時計方向に１５０°であることから、「時計方向１５０°」を算出する。
【００４４】
なお、この算出する回転角度は、時計方向と反時計方向とのいずれの方向で算出してもよいが、本例のように、値が小さくなる方向の回転角度を検出することが好ましい。
【００４５】
この回転角度を算出したならば、前記ＳＤＲＡＭ７１に取り込んだ画像データを、当該回転角度で回転画像処理する（ステップＳ１１）。つまり、本例においてはステップＳ１０で回転角度「時計方向１５０°」が算出されている。そこで、ステップＳ１１においては、画像中に存在する原稿Ｍの中心を回転中心として、当該画像を１５０°時計方向に回転させた画像データを生成する。
【００４６】
したがって、図６（ｂ）に例示したように、書画台１２上にどのような角度で原稿Ｍが載置された場合であっても、同図（ｃ）に示すように、原稿Ｍが画像ＰのフレームＦと平行であって、かつ、ユーザが所望する方向、あるいは適正な方向となるように画像を補正処理することができる。しかも、前述した従来技術のように、文字の認識は必要ないことから、撮影される原稿の記載形態に左右されることなく、撮影した画像中における原稿の向きを補正処理することができる。
【００４７】
しかる後に、この回転処理済みの画像データを外部メモリ７３に記録するとともに、ＵＳＢインターフェース７５から出力する（ステップＳ１２）。すると、ＵＳＢインターフェース７５に接続されているＰＣ２は、前記データ通信用プログラムに従って動作し、回転処理済み画像データを受信し、プロジェクタ３に送信する。プロジェクタ３は、これを受信してＰＣ２から送られた画像データに基づく表示画像をスクリーン７に投影する。このスクリーン７に投影された表示画像にあっては、回転処理済みの画像データに基づくものである。
【００４８】
したがって、例えば上述のようにステップＳ１で、指定辺が、撮像画像のフレームと平行な下辺となるように画像を回転処理する設定が成されているとすると、ユーザは書画台１２上に原稿を挿入する際に、指定辺を当該原稿の下辺とするために当該原稿下辺から挿入することで、その挿入端面である原稿下辺が、上記基準辺である撮像画像中の原稿画像におけるフレームと平行な下辺となるように回転処理を行うことができる。また、ユーザは書画台１２へ原稿を挿入する際に、撮像した原稿画像において下辺としたい辺からフレームに挿入すれよく、フレームの４辺のうちどの辺から挿入してもよい。しかも、前述した従来技術のように、文字の認識は必要ないことから、投影される原稿の記載形態に左右されることなく、投影される画像の方向を適正にすることができる。
【００４９】
また、二辺Ｌ１、Ｌ２のうちの長辺である辺Ｌ１を指定辺と決定するようにしたことから、ユーザは指定辺としたい原稿の任意の辺を最先にして、書画台１２上に原稿を載置する単純な動作により、指定辺の決定を行わせることができる。しかも、２辺Ｌ１、Ｌ２の比率に基づいて、長辺であるＬ１を指定辺と設定することとしたため、ユーザは指定辺としたい辺を正確に最先として挿入しなくても指定辺を識別することができる。
【００５０】
また、台座に原稿を挿入する際に投影される画像の方向を適正にすることができることから、投影された画像の方向を修正する操作は不要であって、この修正操作に時間を要することもない。したがって、この投影システムをプレゼンテーションで使用した場合であっても、投影された画像の方向を修正する操作に時間を要することに起因して、プレゼンテーションの流れを止めてしまう不都合を未然に防止することができる。
【００５１】
また、上述の実施の形態では、ユーザが上述の指定辺としたい辺を最先として原稿を配置しようとする際に、その指定辺としたい辺とフレームの挿入される辺とを平行として原稿を挿入することは難しく、図６（ａ）のように多少斜めになって原稿が挿入される場合を想定したが、これに限るものではない。
【００５２】
例えば、フレームＦの角部分から原稿Ｍが斜めに挿入された場合、図７（ａ）に示すように、上述のステップＳ４で検出される辺はＬ３の一辺のみである。この場合、Ｌ３を指定辺として決定し、上述のステップＳ７以降の処理を行うこととする。このようにすることで、ユーザは原稿を台座に挿入する際に、上下左右のみならず、斜め方向から原稿を挿入させた場合であっても、その挿入側の１辺を上記指定辺として決定し、適正な方向へ撮像された画像を回転処理することができる。
【００５３】
さらに、フレームＦの原稿挿入側の１辺に、原稿がほぼ平行に挿入された場合、図７（ｂ）に示すように、上述のステップＳ４でＬ４、Ｌ５、Ｌ６の三辺が検出される場合がある。この際は、明らかにＬ５＞Ｌ４及びＬ６であるため、これらの辺の比率をとることなく、Ｌ５を指定辺として決定すればよい。そして上述のステップＳ７以降の処理を行い、適正な方向へ撮像された画像を回転処理することができる。
【００５４】
なお、本実施の形態においては、ステップＳ５での判断の結果、二辺Ｌ１、Ｌ２の長さの差分が所定範囲内である場合、再載置を促して（ステップＳ６）、ステップＳ３に戻るようにした。しかし、ステップＳ３に戻ることなく、シャッターキーの操作の操作に応じて、外部メモリ７３に画像データを記録するとともに、ＵＳＢインターフェース７５から出力し、画像の投影を行うようにしてもよい。
【００５５】
また、本実施の形態においては、撮影処理のみならず、データの回転画像処理等の他の処理もデジタルカメラ５１側で行うようにしたが、撮影処理のみをデジタルカメラ５１側で行い、撮影した画像をＰＣ２に送り、ＰＣ２側でデータの回転画像処理等の他の処理を実行するようにしてもよい。
【００５６】
また、実施の形態においては、撮影した画像を投影する場合について説明したが、これに限らず、撮影した画像をモニタに表示する場合、あるいはプリントアウトする場合等に、同様の回転画像処理を行うようにしてもよい。
【符号の説明】
【００５７】
１ 書画カメラ
２ ＰＣ
３ プロジェクタ
１１ カメラスタンド
１２ 書画台
１３ スタンド本体
１４ 支持アーム
１５ 取付部
５１ デジタルカメラ
５３ 液晶モニタ
６２ モータ
６３ バス
６４ モータドライバ
６６ ＣＣＤ
６７ タイミング発生器
６８ 水平ドライバ
６９ 信号処理回路
７０ 画像処理部
７１ ＳＤＲＡＭ
７２ ＣＰＵ
７３ 外部メモリ
７４ フラッシュメモリ
７６ キー入力部
Ｆ フレーム
Ｍ 原稿
Ｐ 画像
【特許請求の範囲】
【請求項１】
原稿を載置する書画台と、
この書画台上を撮像する撮像手段と、
この撮像手段により撮像される画像に基づき、前記書画台上への原稿の載置動作が開始されたか否かを判断する判断手段と、
この判断手段より前記載置動作が開始されたと判断された際に、前記撮像手段により撮像された画像において、前記原稿の輪郭を検出する検出手段と、
この検出手段により検出された前記輪郭において、予め定められた条件を満たす一辺を前記原稿における指定辺として決定する決定手段と、
この決定手段により決定された前記指定辺が、予め設定された方向となるように、前記撮像手段により撮像された画像を回転させる角度を算出する算出手段と、
この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像処理手段により回転処理された画像を外部に出力する出力手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記決定手段は、前記検出手段により前記原稿の輪郭を形成する直線が一辺検出された場合は、その一辺を前記指定辺として決定することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記決定手段は、前記検出手段により前記原稿の輪郭を形成する直線が二辺検出された場合は、その二辺における長辺に対する短辺の長さの比率が所定値以下であれば、当該長辺を前記指定辺として決定することを特徴とする請求項１又は２記載の画像処理装置。
【請求項５】
前記決定手段は、前記検出手段により前記原稿の輪郭を形成する直線が三辺検出された場合は、その三辺のなかで最も長い辺を前記原稿における指定辺として決定することを特徴とする請求項１又は２記載の画像処理装置。
【請求項６】
前記指定辺を回転させる方向を予め設定する設定手段を備えることを特徴とする請求項１から５にいずれか記載の画像処理装置。
【請求項７】
前記設定手段は、前記画像のフレームの四辺のいずれかと前記指定辺とが平行になるように、前記回転方向を設定することを特徴とする請求項６記載の画像処理装置。
【請求項８】
書画台と、この書画台上に載置される原稿を撮像する撮像手段とを備える画像処理装置が有するコンピュータを、
前記撮像手段により撮像される画像に基づき、前記書画台上への原稿の載置動作が開始されたか否かを判断する判断手段と、
この判断手段より、前記載置動作が開始されたと判断された際の画像において、前記原稿の端縁角部を形成する二辺を検出する検出手段と、
この検出手段により検出された前記二辺において、予め定められた条件を満たすいずれか一方の辺を前記原稿における指定辺として決定する決定手段と、
この決定手段により決定された前記原稿における指定辺が、予め設定された所定辺となるように、前記撮像手段により撮像された画像の回転角度を算出する算出手段と、
この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段と
して機能させることを特徴とする画像処理プログラム。
【請求項９】
書画台と、この書画台上に載置される原稿を撮像する撮像手段とを備える装置における画像処理方法であって、
この撮像手段により撮像される画像に基づき、前記書画台上への原稿の載置動作が開始されたか否かを判断する判断ステップと、
この判断ステップより、前記載置動作が開始されたと判断された際の画像において、前記原稿の端縁角部を形成する二辺を検出する検出ステップと、
この検出ステップにより検出された前記二辺において、予め定められた条件を満たすいずれか一方の辺を前記原稿における指定辺として決定する決定ステップと、
この決定ステップにより決定された前記原稿における指定辺が、予め設定された所定辺となるように、前記撮像手段により撮像された画像の回転角度を算出する算出ステップと、
この算出ステップにより算出された回転角度で前記画像を回転処理する画像処理ステップと
を含むことを特徴とする画像処理方法。
【請求項１０】
原稿を載置する書画台上を撮像する撮像手段、その撮像した画像を情報処理装置に送信する送信手段とを備えた撮像装置と、
撮像装置から送られてくる画像に基づき、前記書画台上への原稿の載置動作が開始されたか否かを判断する判断手段、載置動作が開始された直後の画像において前記原稿の輪郭を検出する検出手段、前記輪郭において予め定められた条件を満たす一辺を前記原稿における指定辺として決定する決定手段、前記指定辺が予め設定された方向となるように前記撮像手段により撮像された画像を回転させる角度を算出する算出手段、この回転角度で前記画像を回転処理する画像処理手段とを備えた画像処理装置と、
画像処理装置から送られてくる画像を投影する投影手段を備えた投影装置と、
を有したことを特徴とする画像処理システム。
【請求項１】
原稿を載置する書画台と、
この書画台上を撮像する撮像手段と、
この撮像手段により撮像される画像に基づき、前記書画台上への原稿の載置動作が開始されたか否かを判断する判断手段と、
この判断手段より前記載置動作が開始されたと判断された際に、前記撮像手段により撮像された画像において、前記原稿の輪郭を検出する検出手段と、
この検出手段により検出された前記輪郭において、予め定められた条件を満たす一辺を前記原稿における指定辺として決定する決定手段と、
この決定手段により決定された前記指定辺が、予め設定された方向となるように、前記撮像手段により撮像された画像を回転させる角度を算出する算出手段と、
この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像処理手段により回転処理された画像を外部に出力する出力手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記決定手段は、前記検出手段により前記原稿の輪郭を形成する直線が一辺検出された場合は、その一辺を前記指定辺として決定することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記決定手段は、前記検出手段により前記原稿の輪郭を形成する直線が二辺検出された場合は、その二辺における長辺に対する短辺の長さの比率が所定値以下であれば、当該長辺を前記指定辺として決定することを特徴とする請求項１又は２記載の画像処理装置。
【請求項５】
前記決定手段は、前記検出手段により前記原稿の輪郭を形成する直線が三辺検出された場合は、その三辺のなかで最も長い辺を前記原稿における指定辺として決定することを特徴とする請求項１又は２記載の画像処理装置。
【請求項６】
前記指定辺を回転させる方向を予め設定する設定手段を備えることを特徴とする請求項１から５にいずれか記載の画像処理装置。
【請求項７】
前記設定手段は、前記画像のフレームの四辺のいずれかと前記指定辺とが平行になるように、前記回転方向を設定することを特徴とする請求項６記載の画像処理装置。
【請求項８】
書画台と、この書画台上に載置される原稿を撮像する撮像手段とを備える画像処理装置が有するコンピュータを、
前記撮像手段により撮像される画像に基づき、前記書画台上への原稿の載置動作が開始されたか否かを判断する判断手段と、
この判断手段より、前記載置動作が開始されたと判断された際の画像において、前記原稿の端縁角部を形成する二辺を検出する検出手段と、
この検出手段により検出された前記二辺において、予め定められた条件を満たすいずれか一方の辺を前記原稿における指定辺として決定する決定手段と、
この決定手段により決定された前記原稿における指定辺が、予め設定された所定辺となるように、前記撮像手段により撮像された画像の回転角度を算出する算出手段と、
この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段と
して機能させることを特徴とする画像処理プログラム。
【請求項９】
書画台と、この書画台上に載置される原稿を撮像する撮像手段とを備える装置における画像処理方法であって、
この撮像手段により撮像される画像に基づき、前記書画台上への原稿の載置動作が開始されたか否かを判断する判断ステップと、
この判断ステップより、前記載置動作が開始されたと判断された際の画像において、前記原稿の端縁角部を形成する二辺を検出する検出ステップと、
この検出ステップにより検出された前記二辺において、予め定められた条件を満たすいずれか一方の辺を前記原稿における指定辺として決定する決定ステップと、
この決定ステップにより決定された前記原稿における指定辺が、予め設定された所定辺となるように、前記撮像手段により撮像された画像の回転角度を算出する算出ステップと、
この算出ステップにより算出された回転角度で前記画像を回転処理する画像処理ステップと
を含むことを特徴とする画像処理方法。
【請求項１０】
原稿を載置する書画台上を撮像する撮像手段、その撮像した画像を情報処理装置に送信する送信手段とを備えた撮像装置と、
撮像装置から送られてくる画像に基づき、前記書画台上への原稿の載置動作が開始されたか否かを判断する判断手段、載置動作が開始された直後の画像において前記原稿の輪郭を検出する検出手段、前記輪郭において予め定められた条件を満たす一辺を前記原稿における指定辺として決定する決定手段、前記指定辺が予め設定された方向となるように前記撮像手段により撮像された画像を回転させる角度を算出する算出手段、この回転角度で前記画像を回転処理する画像処理手段とを備えた画像処理装置と、
画像処理装置から送られてくる画像を投影する投影手段を備えた投影装置と、
を有したことを特徴とする画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−２２００６０（Ｐ２０１０−２２００６０Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６６５９１（Ｐ２００９−６６５９１）
【出願日】平成２１年３月１８日（２００９．３．１８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１８日（２００９．３．１８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]