画像処理方法及び画像処理装置
【課題】デジタルカメラで撮影した画像のように、被写体と撮像装置の相対的な位置ずれが存在する場合にも、入力画像を出力画像サイズに合わせて自動的に拡大・縮小できるようにする。
【解決手段】入力画像について連結成分抽出を行う手段と、出力する画像に相当する領域の連結成分の集合を求める手段と、指示されたスクロール量に相当する領域の連結成分の集合を求める手段と、を備える。
【解決手段】入力画像について連結成分抽出を行う手段と、出力する画像に相当する領域の連結成分の集合を求める手段と、指示されたスクロール量に相当する領域の連結成分の集合を求める手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法、コンピュータプログラム及び画像処理装置に関し、例えば画像を拡大または縮小する際に用いて好適な技術に関する。
【背景技術】
【０００２】
将来、スキャナ等で入力した画像のように、被写体と撮像装置の相対的な位置ずれが存在しない画像を入力画像として、入力画像を拡大または縮小して出力画像上に表示する画像処理方法として、特許文献１に示される様に、ヒストグラムに基づき行・文字を分割するものが存在する。
【０００３】
【特許文献１】特開２０００−１６３０４４号公報
【特許文献２】特開２００３−２８８５８８号公報
【特許文献３】特開２００３−５１００５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、デジタルカメラで撮影した画像のように、被写体と撮像装置の相対的な位置ずれが存在する場合にも、入力画像を出力画像サイズに合わせて自動的に拡大・縮小する画像処理方法が望まれている。
【０００５】
本発明は前述の問題点に鑑み、入力画像を出力画像サイズに合わせて自動的に拡大・縮小できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明はこの要求に応えるために、入力画像の歪みや傾きを補正し拡大または縮小して出力する画像処理方法であって、画像を入力する入力工程と、画像を出力する出力工程と、前記出力工程において出力される画像のスクロールを指示する指示工程と、前記入力工程において入力される画像について連結成分抽出を行う抽出工程と、前記出力工程において出力される画像に相当する領域の連結成分の集合を求める第１の計算工程と、前記指示工程において指示されたスクロール量に相当する領域の連結成分の集合を求める第２の計算工程とを備えることを特徴とする画像処理方法等、を提供する。
【発明の効果】
【０００７】
本発明によれば、被写体と撮像装置の相対的な位置ずれがある場合にも、入力画像の拡大や縮小の倍率を自動的に設定でき、また、スクロールする範囲を自動的に設定できる。
【発明を実施するための最良の形態】
【０００８】
（第１の実施形態）
本発明の実施形態について図面を用いて説明する。
図１７は、本実施の形態としてデジタルカメラの内部構成例を示す図である。
図１７において、１７０１はレンズ、シャッター、絞り、ＣＣＤ等を含む撮像部である。１７０２は撮像部１７０１で撮像したアナログ映像信号をデジタル画像データに変換するＡ／Ｄ変換器である。１７０３は信号処理回路で、Ａ／Ｄ変換器１７０２から出力された画像データに対してガンマ補正やホワイトバランス（ＷＢ）補正等の処理を行って、バス１７０４に出力し画像データはメモリ１７０６に記憶される。
【０００９】
１７０５は圧縮回路で、周知のＪＰＥＧフォーマットに従い、画像信号を圧縮・符号化する。１７０６はメモリで、信号処理回路１７０３から入力された画像信号を記憶し、バス１７０４、１７０９を介して各装置の回路に対して出力する。また、各回路からの画像信号を記憶する。
【００１０】
１７０７は表示部であり、メモリ１７０６から入力される画像、あるいは記憶デバイス４１１に記憶された画像、あるいはメニュー画面を表示する。
【００１１】
１７１０はデジタルカメラ１７００の動作の操作・制御を行う操作部であり、メニューボタンや再生ボタンといった各種のスイッチを持つ。１７１１はＭＰＵ（Micro Processing Unit）で、不図示のメモリに記憶されたソフトウェアに従って、装置の各回路を制御する。本実施形態では、図６〜８に示す処理を制御している。
【００１２】
１７１２は記憶デバイスで、カメラから着脱可能なフラッシュメモリカード等であり、バス１７０９を介して入力される画像信号を記憶し、また記憶された画像信号を読み出し、バス１７０９介して各回路に出力する。
【００１３】
１７１３は外部通信用のインターフェースであり、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４、無線ＬＡＮ、Bluetooth等の伝送路１７１４介して外部情報機器１７１５との間で画像信号の転送を行う。
【００１４】
図１は、簡単な画像処理の一部について処理手順を示すフローチャートである。
ステップＳ１０７において、何を行うかを判断し、画像入力ならばステップＳ１０１で画像を入力し、ステップＳ１０２で入力画像の連結成分を検出する。
【００１５】
また、表示範囲の設定ならば、ステップＳ１０３で表示範囲の設定をし、ステップＳ１０４で出力すべき範囲を自動的に演算する。また、表示範囲の移動ならば、ステップＳ１０５で表示範囲の移動を選択し、ステップＳ１０６で表示範囲を移動する。
【００１６】
被写体２０２とデジタルカメラ２０１の間に相対的な位置ずれが存在し撮像結果２０３に歪みや傾きが発生する例を図２に示す。このときの撮像結果２０３の例を図３に示す。
【００１７】
デジタルカメラ２０１を図４に示す。
デジタルカメラ２０１はディスプレイ４０１、表示範囲移動手段４０２、表示領域移動手段４０３、画像表示要求手段４０４、表示範囲拡縮要求手段４０５、撮像装置４０６を備える。
【００１８】
デジタルカメラ２０１内部の処理手順を示すフローチャートを図６〜図８に示す。
撮像装置４０６が撮像結果２０３を得たとする。この時、図６のステップＳ６０１においてデジタルカメラ２０１が駆動し、撮像結果２０３が入力される。
【００１９】
次に、ステップＳ６０２において、入力画像について連結成分を検出する。その後、「い」や「こ」や「が」のように複数の連結成分で一文字を形成する場合について、隣接する連結成分同士を結合させ、一文字を示す連結成分を求める。
【００２０】
次に、ステップＳ６０３において、入力画像について入力画像を領域分割する。この領域分割によって得られる領域の例を図９の９０１に示す。遠近歪みや傾きの存在する画像の領域分割法については、例えば特許文献２に記載されている。
【００２１】
次に、ステップＳ６０４において、入力画像の傾きや歪みの補正の為の幾何変換行列を求める。傾きや歪みの補正の為の幾何変換行列の導出方法及び幾何変換行列の例については、例えば特許文献２や特許文献３に記載されている。
【００２２】
次に、ステップＳ６０５において、前記幾何変換行列の逆変換行列を求める。この行列は出力画像から入力画像への変換行列を示す。次に、ステップＳ６０６において、画像の出力に遷移する。
【００２３】
図７において、ステップＳ７０６で何を行うかを判断し、この判断の結果、前記ステップＳ６０５において画像の出力に遷移したとする。あるいは画像表示要求手段４０４によって画像の出力が要求された場合など、画像の出力を行うと判断した場合、ステップＳ７０１が駆動される。
【００２４】
次に、ステップＳ７０２において、前記ステップＳ６０３によって得られた領域の中から表示するべき領域を決定する。決定手法は任意である。次に、ステップＳ７０３において、表示範囲の設定に遷移する。
【００２５】
一方、ステップＳ７０６の判断の結果、表示領域移動手段４０３によって、表示領域の移動が要求された場合など、表示領域の移動を行うと判断した場合、ステップＳ７０４が駆動される。次に、ステップＳ７０５において、要求された表示領域の移動に従い、表示する領域を移動する。次に、ステップＳ７０３において、表示範囲の設定に遷移する。
【００２６】
次に、図８のステップＳ８１５で何を行うかを判断し、この判断の結果、前記ステップＳ７０３によって表示範囲の設定に遷移した場合など、表示範囲の設定を行うと判断した場合、ステップＳ８０１が駆動される。次に、ステップＳ８０２において、表示範囲初期値を決定する。この表示範囲初期値は、ステップＳ６０２において求められた連結成分の大きさと、ディスプレイ４０１内に一度に表示するべき文字数及び行数から求められる。
【００２７】
即ち、ステップＳ６０３で得られた表示領域のうち９０１を表示対象とするとした場合、入力画像内の表示領域９０１内に原点９０２を設定する。そしてこの原点９０２から、ディスプレイ４０１内に一度に表示するべき文字数及び行数に相当する連結成分が占める領域１００１を求め、表示範囲初期値とする。
【００２８】
ディスプレイ４０１内に一度に表示するべき文字数及び行数は、前もって設定してあるか、表示範囲拡縮要求手段４０５によって増減する数値である。また、原点９０２の設定において、自動的に画像の向きを判別してもよいし、あるいはユーザが明示的に向きを指定する手段を提供してもよい。
【００２９】
一方、ステップＳ８１５の判断の結果、表示範囲移動手段４０２によって表示範囲の移動が要求された場合など、表示範囲の移動を行うと判断した場合、ステップＳ８０３が駆動される。次に、ステップＳ８０４において、要求された表示範囲の移動に従い、表示する範囲を移動する。この表示範囲は、現在表示している範囲１００１と、表示範囲移動手段４０２によって指示された移動量と、ステップＳ６０２において求められた連結成分から求められる。即ち、図１０に示すように、現在表示している範囲１００１を、表示範囲移動手段４０２によって指示された移動量に相当する連結成分の占める領域分だけ移動した領域１００２を表示範囲とする。
【００３０】
一方、ステップＳ８１５の判断の結果、表示範囲拡縮要求手段４０５によって表示範囲の拡大や縮小が要求された場合など、表示範囲の拡縮を行うと判断した場合、ステップＳ８０５が駆動される。次に、ステップＳ８０６において、表示範囲の拡大や縮小を行う。この表示範囲の拡大や縮小は、ステップＳ６０２において求められた連結成分の大きさと、ディスプレイ４０１内に一度に表示するべき文字数及び行数に基づいて行われる。即ち、ディスプレイ４０１内に一度に表示するべき文字数及び行数を、要求された画像の拡大や縮小に従って増減させる。
【００３１】
次に、図９に示す入力画像内の表示領域９０１内に原点９０２を設定する。この原点９０２から、１画面に表示するべき文字数及び行数に相当する連結成分が占める領域１００１を、表示範囲とする。設定される原点９０２は、現在表示されている領域の中央もしくは四隅の一つである事が望ましい。
【００３２】
一方、ステップＳ８１５の判断の結果、ＣＰＵがアイドル状態などであって表示範囲の移動の先読みが要求された場合など、表示範囲の移動の先読みを行うと判断した場合、ステップＳ８０７が駆動される。次に、ステップＳ８０８において、表示範囲や表示領域の移動の履歴から次の移動を推測し、その移動後の領域を選択する。あるいは、現在表示している範囲の近辺の領域を先読みする表示範囲とする。
【００３３】
次に、ステップＳ８０９において、図１１に示すような補正済み画像１１０２の集合である補正済画像履歴１１０１に、表示範囲１００１の一部分もしくは全てが含まれていないかどうかを検索する。そして、補正済画像履歴１１０１と表示範囲１００１との表示範囲差分１００３のみを補正すべき範囲とする。また、表示範囲１００１において補正済画像履歴１１０１に含まれる部分１１０３を求めておく。
【００３４】
次に、ステップＳ８１０において、表示範囲差分１００３の傾きや歪みを補正する。これは、ステップＳ６０４において求められた変換行列を、前記ステップＳ８０９で求めた表示範囲差分１００３に適用する。これにより変換後の画像１１０４を得る。
【００３５】
次に、ステップＳ８１１において、変換画像１１０４を補正済画像履歴１１０１に追加する。このとき、表示範囲差分１００３と変換画像１１０４を対応付けて記録しておくことにより、ステップＳ８０９における検索を容易にする。また、記憶領域が限られていて変換画像１１０４の記録が不可能な場合などには、費用時範囲差分１００３から最も遠い場所に存在する補正済み画像１１０２を削除する。
【００３６】
次に、ステップＳ８１２において、表示範囲１００１において補正済画像履歴１１０１に含まれる部分１１０３と、変換画像１１０４を結合する。次に、ステップＳ８１３において、得られた画像を、ディスプレイ４０１の解像度に合わせて拡大もしくは縮小し、出力画像１１０５を得る。
【００３７】
次に、ステップＳ８１４において、出力画像１１０５をディスプレイ４０１に出力する。但し、ステップＳ８０７、すなわち表示範囲の移動の先読みが駆動されていた場合には、ディスプレイ４０１への出力は行うべきではない。
【００３８】
以上説明した通り、本実施形態におけるデジタルカメラ２０１では、位置ずれを伴う撮影画像図３について、まず、ディスプレイ４０１内に表示する範囲１００１の画像補正を行い出力画像１１０５のみを得る。これにより、画像全体を補正するよりも速くかつ少ない記憶領域で出力画像１１０５を得る。また、変換した画像や操作履歴を記録し、また、操作履歴に基づく先読みを行う事で、ユーザが表示範囲移動手段４０２や表示領域移動手段４０３を操作した場合にも速やかに応答する。
本実施形態における画像処理装置はデジタルカメラに限るものではなく、携帯電話、携帯情報端末、その他のデバイスであっても構わない。
【００３９】
（第２の実施形態）
第２の実施形態について説明する。なお、第１の実施形態と同一の箇所（図２〜４、１７）いついては、説明を割愛する。
本実施例の形態を図５に示す。図５において、デジタルカメラ２０１と画像補正サーバー５０１はＵＳＢ、ＬＡＮ、無線ＬＡＮ、Bluetooth、インターネット、等の何らかの手段で通信可能である。
【００４０】
画像補正サーバー５０１内部の処理手順のフローチャートを図１２〜図１３に示す。
また、デジタルカメラ２０１内部の処理手順のフローチャートを図１４〜図１６に示す。
【００４１】
デジタルカメラ２０１において、撮像装置４０６が撮像結果２０３を得たとする。この時、図１４のステップＳ１４０１が駆動される。次に、ステップＳ１４０２において、撮像結果２０３が画像補正サーバー５０１に送信される。
【００４２】
画像補正サーバー５０１において、画像を受信すると、図１２のステップＳ１２０１が駆動され、撮像結果２０３を得る。次に、ステップＳ１２０２において、入力画像について連結成分を検出する。この連結成分の導出法はステップＳ６０２と等しい。
【００４３】
次に、ステップＳ１２０３において、入力画像について入力画像を領域分割する。この領域分割によって得られる領域の例を図９の９０１に示す。遠近歪みや傾きの存在する画像の領域分割法については例えば特許文献２に記載されている。
【００４４】
次に、ステップＳ１２０４において、入力画像の傾きや歪みの補正の為の幾何変換行列を求める。傾きや歪みの補正の為の幾何変換行列の導出方法及び幾何変換行列の例については、例えば特許文献２や特許文献３に記載されている。
【００４５】
次に、ステップＳ１２０５において、前記幾何変換行列の逆変換行列を求める。この行列は出力画像から入力画像への変換行列を示す。次に、ステップＳ１２０６において、画像入力終了と分割された領域に関する情報がデジタルカメラ２０１に送信される。
【００４６】
次に図１５において、ステップＳ１５０７で何を行うかを判断する。この判断の結果、デジタルカメラ２０１において、画像入力終了と、分割された領域に関する情報を受信する場合など、分割領域の受信を行うと判断した場合は、ステップＳ１５０１が駆動される。一方、ステップＳ１５０７の判断の結果、画像表示要求手段４０４によって画像の出力が要求される場合など、画像出力要求があると判断した場合は、ステップＳ１５０２が駆動される。
【００４７】
次に、ステップＳ１５０３において、前記ステップＳ１２０３によって得られた領域の中から表示するべき領域を決定する。決定手法は任意である。次に、ステップＳ１５０４において、表示範囲の設定に遷移する。
【００４８】
一方、ステップＳ１５０７の判断の結果、表示領域移動手段４０３によって、表示領域の移動が要求された場合など、表示領域の移動を行うと判断した場合、ステップＳ１５０５が駆動される。次に、ステップＳ１５０６において、要求された表示領域の移動に従い、表示する領域を移動する。次に、ステップＳ１５０４において、表示範囲の設定に遷移する。
【００４９】
次に図１６において、ステップＳ１６１７で何を行うかを判断し、この判断の結果、デジタルカメラ２０１において、前記ステップＳ１５０４によって表示範囲の設定に遷移した場合など、表示範囲の設定を行うと判断した場合、ステップＳ１６０１が駆動される。次に、ステップＳ１６０２において、表示範囲初期値決定要求が送信される。
【００５０】
一方、ステップＳ１６１７の判断の結果、デジタルカメラ２０１において、表示範囲拡縮要求手段４０５によって表示範囲の拡大や縮小が要求された場合など、表示範囲の拡大や縮小を行うと判断した場合、ステップＳ１６０３が駆動される。次に、ステップＳ１６０４において、表示範囲拡縮要求が送信される。
【００５１】
一方、ステップＳ１６１７の判断の結果、デジタルカメラ２０１において、表示範囲移動手段４０２によって表示範囲の移動が要求された場合など、表示範囲の移動を行うと判断した場合、ステップＳ１６０５が駆動される。次に、ステップＳ１６０８において、表示範囲移動要求と移動方向と移動量を送信する。
【００５２】
一方、ステップＳ１６１７の判断の結果、デジタルカメラ２０１において、ＣＰＵがアイドル状態などであって表示範囲の移動の先読みが要求された場合など、表示範囲の移動の先読みを行うと判断した場合、ステップＳ１６０６が駆動される。次に、ステップＳ１６０７において、表示範囲や表示領域の移動の履歴から次の移動を推測する。
【００５３】
次に、ステップＳ１６０８において、表示範囲移動要求と移動方向と移動量を送信する。
【００５４】
次に、ステップＳ１６０９において、表示範囲を受信する。次に、ステップＳ１６１０において、補正済画像履歴から補正済み画像を探す。この検索方法と画像補正範囲導出方法は第１の実施形態のステップＳ８０９と等しい。次に、ステップＳ１６１１において、画像補正範囲と画像補正要求を画像補正サーバー５０１に送信する。
【００５５】
次に、ステップＳ１６１２において、補正画像を受信する。次に、ステップＳ１６１３において、変換画像を補正済画像履歴に追加する。この追加方法は第１の実施形態のステップＳ８１１と等しい。
【００５６】
次に、ステップＳ１６１４において、補正した画像と補正済み画像を結合する。この追加方法は第１の実施形態のステップＳ８１２と等しい。次に、ステップＳ１６１５において、得られた画像を出力画像に合わせて拡大もしくは縮小する。この拡大縮小方法は第１の実施形態のステップＳ８１３と等しい。
【００５７】
次に、ステップＳ１６１６において、出力画像１１０５をディスプレイ４０１に出力する。但し、ステップＳ１６０６、すなわち表示範囲の移動の先読みが駆動されていた場合には、ディスプレイ４０１への出力は行うべきではない。
【００５８】
次に図１３において、ステップＳ１３１１で何を行うかを判断する。この判断の結果、画像補正サーバー５０１において、表示範囲初期値決定要求を受信した場合など、表示範囲初期値決定を行うと判断した場合、ステップＳ１３０１が駆動される。次に、ステップＳ１３０２において、表示範囲初期値を決定する。この表示範囲初期値の導出方法は第１の実施形態のステップＳ８０２と等しい。次に、ステップＳ１３０５において、表示範囲がデジタルカメラ２０１に送信される。
【００５９】
一方、ステップＳ１３１１の判断の結果、画像補正サーバー５０１において、表示範囲移動要求と移動方向と移動量を受信した場合など、表示範囲の移動を行うと判断した場合、ステップＳ１３０３が駆動される。次に、ステップＳ１３０４において、受信した移動方向と移動量に従い、表示する範囲を移動する。この移動後の表示範囲の導出方法は第１の実施形態のステップＳ８０４と等しい。次に、ステップＳ１３０５において、表示範囲をデジタルカメラ２０１に送信する。
【００６０】
一方、ステップＳ１３１１の判断の結果、画像補正サーバー５０１において、表示範囲拡縮要求を受信した場合など、表示範囲の拡縮を行うと判断した場合、ステップＳ１３０６が駆動される。次に、ステップＳ１３０７において、表示範囲の拡大や縮小を行う。この表示範囲の拡大や縮小は第１の実施形態のステップＳ８０６に等しい。次に、ステップＳ１３０５において、表示範囲をデジタルカメラ２０１に送信する。
【００６１】
一方、ステップＳ１３１１の判断の結果、画像補正サーバー５０１において、画像補正範囲と画像補正要求を受信した場合など、画像の補正を行うと判断した場合、ステップＳ１３０８が駆動される。次に、ステップＳ１３０９において、範囲内の傾きや歪みを補正する。この補正方法は第１の実施形態のステップＳ８１０と等しい。次に、ステップＳ１３１０において、変換画像をデジタルカメラ２０１に送信する。
以上説明した通り、本実施形態におけるデジタルカメラ２０１では、位置ずれを伴う撮影画像図３について、ディスプレイ４０１内に表示する範囲１００１の画像補正のみをまず行い出力画像１１０５のみ得る。これにより、画像全体を補正するよりも速くかつ少ない記憶領域で出力画像１１０５を得る。また、変換した画像や操作履歴を記録し、また、操作履歴に基づく先読みを行う事で、ユーザが表示範囲移動手段４０２や表示領域移動手段４０３を操作した場合にも速やかに応答する。
【００６２】
また、Connected Component解析や画像補正などの処理はサーバー側で行っているので、デジタルカメラ２０１側には大きなメモリや早いＣＰＵ速度は要求されない。
【００６３】
（本発明に係る他の実施形態）
前記実施形態における画像処理装置はデジタルカメラとサーバーの組み合わせに限るものではない。前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００６４】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００６５】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００６６】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００６７】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００６８】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００６９】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００７０】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００７１】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００７２】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００７３】
さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００７４】
【図１】簡単な画像処理の一部について処理手順を示すフローチャートである。
【図２】撮像結果に歪みや傾きが発生する例を示す図である。
【図３】図２の状態で撮像した場合の撮像結果を示す図である。
【図４】本発明の第１の実施形態におけるデジタルカメラの外観を示す図である。
【図５】本発明の第２の実施形態におけるデジタルカメラと画像サーバーとを示す図である。
【図６】本発明の第１の実施形態におけるデジタルカメラ内部の処理手順を示すフローチャートである。
【図７】本発明の第１の実施形態におけるデジタルカメラ内部の処理手順を示すフローチャートである。
【図８】本発明の第１の実施形態におけるデジタルカメラ内部の処理手順を示すフローチャートである。
【図９】本発明の第１の実施形態における領域分割によって得られる領域の例を示す図である。
【図１０】本発明の第１の実施形態において、現在表示している範囲を移動した例を示す図である。
【図１１】本発明の第１の実施形態において、補正済み画像の集合を示す図である。
【図１２】本発明の第２の実施形態における画像補正サーバー内部の処理手順を示すフローチャートである。
【図１３】本発明の第２の実施形態における画像補正サーバー内部の処理手順を示すフローチャートである。
【図１４】本発明の第２の実施形態におけるデジタルカメラ内部の処理手順を示すフローチャートである。
【図１５】本発明の第２の実施形態におけるデジタルカメラ内部の処理手順を示すフローチャートである。
【図１６】本発明の第２の実施形態におけるデジタルカメラ内部の処理手順を示すフローチャートである。
【図１７】本発明の第１の実施形態におけるデジタルカメラの内部構成例を示す図である。
【符号の説明】
【００７５】
２０１ デジタルカメラ
２０２ 被写体
２０３ 撮像結果
１７００ デジタルカメラ
１７０１ 撮像部
１７０２ Ａ／Ｄ変換器
１７０３ 信号処理回路
１７０４ バス
１７０５ 圧縮回路
１７０６ メモリ
１７０７ 表示部
１７０９ バス
１７１０ 操作部
１７１１ ＭＰＵ
１７１２ 記憶デバイス
１７１３ 外部通信用のインターフェース
１７１４ 伝送路
１７１５ 外部情報機器
【技術分野】
【０００１】
本発明は画像処理方法、コンピュータプログラム及び画像処理装置に関し、例えば画像を拡大または縮小する際に用いて好適な技術に関する。
【背景技術】
【０００２】
将来、スキャナ等で入力した画像のように、被写体と撮像装置の相対的な位置ずれが存在しない画像を入力画像として、入力画像を拡大または縮小して出力画像上に表示する画像処理方法として、特許文献１に示される様に、ヒストグラムに基づき行・文字を分割するものが存在する。
【０００３】
【特許文献１】特開２０００−１６３０４４号公報
【特許文献２】特開２００３−２８８５８８号公報
【特許文献３】特開２００３−５１００５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、デジタルカメラで撮影した画像のように、被写体と撮像装置の相対的な位置ずれが存在する場合にも、入力画像を出力画像サイズに合わせて自動的に拡大・縮小する画像処理方法が望まれている。
【０００５】
本発明は前述の問題点に鑑み、入力画像を出力画像サイズに合わせて自動的に拡大・縮小できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明はこの要求に応えるために、入力画像の歪みや傾きを補正し拡大または縮小して出力する画像処理方法であって、画像を入力する入力工程と、画像を出力する出力工程と、前記出力工程において出力される画像のスクロールを指示する指示工程と、前記入力工程において入力される画像について連結成分抽出を行う抽出工程と、前記出力工程において出力される画像に相当する領域の連結成分の集合を求める第１の計算工程と、前記指示工程において指示されたスクロール量に相当する領域の連結成分の集合を求める第２の計算工程とを備えることを特徴とする画像処理方法等、を提供する。
【発明の効果】
【０００７】
本発明によれば、被写体と撮像装置の相対的な位置ずれがある場合にも、入力画像の拡大や縮小の倍率を自動的に設定でき、また、スクロールする範囲を自動的に設定できる。
【発明を実施するための最良の形態】
【０００８】
（第１の実施形態）
本発明の実施形態について図面を用いて説明する。
図１７は、本実施の形態としてデジタルカメラの内部構成例を示す図である。
図１７において、１７０１はレンズ、シャッター、絞り、ＣＣＤ等を含む撮像部である。１７０２は撮像部１７０１で撮像したアナログ映像信号をデジタル画像データに変換するＡ／Ｄ変換器である。１７０３は信号処理回路で、Ａ／Ｄ変換器１７０２から出力された画像データに対してガンマ補正やホワイトバランス（ＷＢ）補正等の処理を行って、バス１７０４に出力し画像データはメモリ１７０６に記憶される。
【０００９】
１７０５は圧縮回路で、周知のＪＰＥＧフォーマットに従い、画像信号を圧縮・符号化する。１７０６はメモリで、信号処理回路１７０３から入力された画像信号を記憶し、バス１７０４、１７０９を介して各装置の回路に対して出力する。また、各回路からの画像信号を記憶する。
【００１０】
１７０７は表示部であり、メモリ１７０６から入力される画像、あるいは記憶デバイス４１１に記憶された画像、あるいはメニュー画面を表示する。
【００１１】
１７１０はデジタルカメラ１７００の動作の操作・制御を行う操作部であり、メニューボタンや再生ボタンといった各種のスイッチを持つ。１７１１はＭＰＵ（Micro Processing Unit）で、不図示のメモリに記憶されたソフトウェアに従って、装置の各回路を制御する。本実施形態では、図６〜８に示す処理を制御している。
【００１２】
１７１２は記憶デバイスで、カメラから着脱可能なフラッシュメモリカード等であり、バス１７０９を介して入力される画像信号を記憶し、また記憶された画像信号を読み出し、バス１７０９介して各回路に出力する。
【００１３】
１７１３は外部通信用のインターフェースであり、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４、無線ＬＡＮ、Bluetooth等の伝送路１７１４介して外部情報機器１７１５との間で画像信号の転送を行う。
【００１４】
図１は、簡単な画像処理の一部について処理手順を示すフローチャートである。
ステップＳ１０７において、何を行うかを判断し、画像入力ならばステップＳ１０１で画像を入力し、ステップＳ１０２で入力画像の連結成分を検出する。
【００１５】
また、表示範囲の設定ならば、ステップＳ１０３で表示範囲の設定をし、ステップＳ１０４で出力すべき範囲を自動的に演算する。また、表示範囲の移動ならば、ステップＳ１０５で表示範囲の移動を選択し、ステップＳ１０６で表示範囲を移動する。
【００１６】
被写体２０２とデジタルカメラ２０１の間に相対的な位置ずれが存在し撮像結果２０３に歪みや傾きが発生する例を図２に示す。このときの撮像結果２０３の例を図３に示す。
【００１７】
デジタルカメラ２０１を図４に示す。
デジタルカメラ２０１はディスプレイ４０１、表示範囲移動手段４０２、表示領域移動手段４０３、画像表示要求手段４０４、表示範囲拡縮要求手段４０５、撮像装置４０６を備える。
【００１８】
デジタルカメラ２０１内部の処理手順を示すフローチャートを図６〜図８に示す。
撮像装置４０６が撮像結果２０３を得たとする。この時、図６のステップＳ６０１においてデジタルカメラ２０１が駆動し、撮像結果２０３が入力される。
【００１９】
次に、ステップＳ６０２において、入力画像について連結成分を検出する。その後、「い」や「こ」や「が」のように複数の連結成分で一文字を形成する場合について、隣接する連結成分同士を結合させ、一文字を示す連結成分を求める。
【００２０】
次に、ステップＳ６０３において、入力画像について入力画像を領域分割する。この領域分割によって得られる領域の例を図９の９０１に示す。遠近歪みや傾きの存在する画像の領域分割法については、例えば特許文献２に記載されている。
【００２１】
次に、ステップＳ６０４において、入力画像の傾きや歪みの補正の為の幾何変換行列を求める。傾きや歪みの補正の為の幾何変換行列の導出方法及び幾何変換行列の例については、例えば特許文献２や特許文献３に記載されている。
【００２２】
次に、ステップＳ６０５において、前記幾何変換行列の逆変換行列を求める。この行列は出力画像から入力画像への変換行列を示す。次に、ステップＳ６０６において、画像の出力に遷移する。
【００２３】
図７において、ステップＳ７０６で何を行うかを判断し、この判断の結果、前記ステップＳ６０５において画像の出力に遷移したとする。あるいは画像表示要求手段４０４によって画像の出力が要求された場合など、画像の出力を行うと判断した場合、ステップＳ７０１が駆動される。
【００２４】
次に、ステップＳ７０２において、前記ステップＳ６０３によって得られた領域の中から表示するべき領域を決定する。決定手法は任意である。次に、ステップＳ７０３において、表示範囲の設定に遷移する。
【００２５】
一方、ステップＳ７０６の判断の結果、表示領域移動手段４０３によって、表示領域の移動が要求された場合など、表示領域の移動を行うと判断した場合、ステップＳ７０４が駆動される。次に、ステップＳ７０５において、要求された表示領域の移動に従い、表示する領域を移動する。次に、ステップＳ７０３において、表示範囲の設定に遷移する。
【００２６】
次に、図８のステップＳ８１５で何を行うかを判断し、この判断の結果、前記ステップＳ７０３によって表示範囲の設定に遷移した場合など、表示範囲の設定を行うと判断した場合、ステップＳ８０１が駆動される。次に、ステップＳ８０２において、表示範囲初期値を決定する。この表示範囲初期値は、ステップＳ６０２において求められた連結成分の大きさと、ディスプレイ４０１内に一度に表示するべき文字数及び行数から求められる。
【００２７】
即ち、ステップＳ６０３で得られた表示領域のうち９０１を表示対象とするとした場合、入力画像内の表示領域９０１内に原点９０２を設定する。そしてこの原点９０２から、ディスプレイ４０１内に一度に表示するべき文字数及び行数に相当する連結成分が占める領域１００１を求め、表示範囲初期値とする。
【００２８】
ディスプレイ４０１内に一度に表示するべき文字数及び行数は、前もって設定してあるか、表示範囲拡縮要求手段４０５によって増減する数値である。また、原点９０２の設定において、自動的に画像の向きを判別してもよいし、あるいはユーザが明示的に向きを指定する手段を提供してもよい。
【００２９】
一方、ステップＳ８１５の判断の結果、表示範囲移動手段４０２によって表示範囲の移動が要求された場合など、表示範囲の移動を行うと判断した場合、ステップＳ８０３が駆動される。次に、ステップＳ８０４において、要求された表示範囲の移動に従い、表示する範囲を移動する。この表示範囲は、現在表示している範囲１００１と、表示範囲移動手段４０２によって指示された移動量と、ステップＳ６０２において求められた連結成分から求められる。即ち、図１０に示すように、現在表示している範囲１００１を、表示範囲移動手段４０２によって指示された移動量に相当する連結成分の占める領域分だけ移動した領域１００２を表示範囲とする。
【００３０】
一方、ステップＳ８１５の判断の結果、表示範囲拡縮要求手段４０５によって表示範囲の拡大や縮小が要求された場合など、表示範囲の拡縮を行うと判断した場合、ステップＳ８０５が駆動される。次に、ステップＳ８０６において、表示範囲の拡大や縮小を行う。この表示範囲の拡大や縮小は、ステップＳ６０２において求められた連結成分の大きさと、ディスプレイ４０１内に一度に表示するべき文字数及び行数に基づいて行われる。即ち、ディスプレイ４０１内に一度に表示するべき文字数及び行数を、要求された画像の拡大や縮小に従って増減させる。
【００３１】
次に、図９に示す入力画像内の表示領域９０１内に原点９０２を設定する。この原点９０２から、１画面に表示するべき文字数及び行数に相当する連結成分が占める領域１００１を、表示範囲とする。設定される原点９０２は、現在表示されている領域の中央もしくは四隅の一つである事が望ましい。
【００３２】
一方、ステップＳ８１５の判断の結果、ＣＰＵがアイドル状態などであって表示範囲の移動の先読みが要求された場合など、表示範囲の移動の先読みを行うと判断した場合、ステップＳ８０７が駆動される。次に、ステップＳ８０８において、表示範囲や表示領域の移動の履歴から次の移動を推測し、その移動後の領域を選択する。あるいは、現在表示している範囲の近辺の領域を先読みする表示範囲とする。
【００３３】
次に、ステップＳ８０９において、図１１に示すような補正済み画像１１０２の集合である補正済画像履歴１１０１に、表示範囲１００１の一部分もしくは全てが含まれていないかどうかを検索する。そして、補正済画像履歴１１０１と表示範囲１００１との表示範囲差分１００３のみを補正すべき範囲とする。また、表示範囲１００１において補正済画像履歴１１０１に含まれる部分１１０３を求めておく。
【００３４】
次に、ステップＳ８１０において、表示範囲差分１００３の傾きや歪みを補正する。これは、ステップＳ６０４において求められた変換行列を、前記ステップＳ８０９で求めた表示範囲差分１００３に適用する。これにより変換後の画像１１０４を得る。
【００３５】
次に、ステップＳ８１１において、変換画像１１０４を補正済画像履歴１１０１に追加する。このとき、表示範囲差分１００３と変換画像１１０４を対応付けて記録しておくことにより、ステップＳ８０９における検索を容易にする。また、記憶領域が限られていて変換画像１１０４の記録が不可能な場合などには、費用時範囲差分１００３から最も遠い場所に存在する補正済み画像１１０２を削除する。
【００３６】
次に、ステップＳ８１２において、表示範囲１００１において補正済画像履歴１１０１に含まれる部分１１０３と、変換画像１１０４を結合する。次に、ステップＳ８１３において、得られた画像を、ディスプレイ４０１の解像度に合わせて拡大もしくは縮小し、出力画像１１０５を得る。
【００３７】
次に、ステップＳ８１４において、出力画像１１０５をディスプレイ４０１に出力する。但し、ステップＳ８０７、すなわち表示範囲の移動の先読みが駆動されていた場合には、ディスプレイ４０１への出力は行うべきではない。
【００３８】
以上説明した通り、本実施形態におけるデジタルカメラ２０１では、位置ずれを伴う撮影画像図３について、まず、ディスプレイ４０１内に表示する範囲１００１の画像補正を行い出力画像１１０５のみを得る。これにより、画像全体を補正するよりも速くかつ少ない記憶領域で出力画像１１０５を得る。また、変換した画像や操作履歴を記録し、また、操作履歴に基づく先読みを行う事で、ユーザが表示範囲移動手段４０２や表示領域移動手段４０３を操作した場合にも速やかに応答する。
本実施形態における画像処理装置はデジタルカメラに限るものではなく、携帯電話、携帯情報端末、その他のデバイスであっても構わない。
【００３９】
（第２の実施形態）
第２の実施形態について説明する。なお、第１の実施形態と同一の箇所（図２〜４、１７）いついては、説明を割愛する。
本実施例の形態を図５に示す。図５において、デジタルカメラ２０１と画像補正サーバー５０１はＵＳＢ、ＬＡＮ、無線ＬＡＮ、Bluetooth、インターネット、等の何らかの手段で通信可能である。
【００４０】
画像補正サーバー５０１内部の処理手順のフローチャートを図１２〜図１３に示す。
また、デジタルカメラ２０１内部の処理手順のフローチャートを図１４〜図１６に示す。
【００４１】
デジタルカメラ２０１において、撮像装置４０６が撮像結果２０３を得たとする。この時、図１４のステップＳ１４０１が駆動される。次に、ステップＳ１４０２において、撮像結果２０３が画像補正サーバー５０１に送信される。
【００４２】
画像補正サーバー５０１において、画像を受信すると、図１２のステップＳ１２０１が駆動され、撮像結果２０３を得る。次に、ステップＳ１２０２において、入力画像について連結成分を検出する。この連結成分の導出法はステップＳ６０２と等しい。
【００４３】
次に、ステップＳ１２０３において、入力画像について入力画像を領域分割する。この領域分割によって得られる領域の例を図９の９０１に示す。遠近歪みや傾きの存在する画像の領域分割法については例えば特許文献２に記載されている。
【００４４】
次に、ステップＳ１２０４において、入力画像の傾きや歪みの補正の為の幾何変換行列を求める。傾きや歪みの補正の為の幾何変換行列の導出方法及び幾何変換行列の例については、例えば特許文献２や特許文献３に記載されている。
【００４５】
次に、ステップＳ１２０５において、前記幾何変換行列の逆変換行列を求める。この行列は出力画像から入力画像への変換行列を示す。次に、ステップＳ１２０６において、画像入力終了と分割された領域に関する情報がデジタルカメラ２０１に送信される。
【００４６】
次に図１５において、ステップＳ１５０７で何を行うかを判断する。この判断の結果、デジタルカメラ２０１において、画像入力終了と、分割された領域に関する情報を受信する場合など、分割領域の受信を行うと判断した場合は、ステップＳ１５０１が駆動される。一方、ステップＳ１５０７の判断の結果、画像表示要求手段４０４によって画像の出力が要求される場合など、画像出力要求があると判断した場合は、ステップＳ１５０２が駆動される。
【００４７】
次に、ステップＳ１５０３において、前記ステップＳ１２０３によって得られた領域の中から表示するべき領域を決定する。決定手法は任意である。次に、ステップＳ１５０４において、表示範囲の設定に遷移する。
【００４８】
一方、ステップＳ１５０７の判断の結果、表示領域移動手段４０３によって、表示領域の移動が要求された場合など、表示領域の移動を行うと判断した場合、ステップＳ１５０５が駆動される。次に、ステップＳ１５０６において、要求された表示領域の移動に従い、表示する領域を移動する。次に、ステップＳ１５０４において、表示範囲の設定に遷移する。
【００４９】
次に図１６において、ステップＳ１６１７で何を行うかを判断し、この判断の結果、デジタルカメラ２０１において、前記ステップＳ１５０４によって表示範囲の設定に遷移した場合など、表示範囲の設定を行うと判断した場合、ステップＳ１６０１が駆動される。次に、ステップＳ１６０２において、表示範囲初期値決定要求が送信される。
【００５０】
一方、ステップＳ１６１７の判断の結果、デジタルカメラ２０１において、表示範囲拡縮要求手段４０５によって表示範囲の拡大や縮小が要求された場合など、表示範囲の拡大や縮小を行うと判断した場合、ステップＳ１６０３が駆動される。次に、ステップＳ１６０４において、表示範囲拡縮要求が送信される。
【００５１】
一方、ステップＳ１６１７の判断の結果、デジタルカメラ２０１において、表示範囲移動手段４０２によって表示範囲の移動が要求された場合など、表示範囲の移動を行うと判断した場合、ステップＳ１６０５が駆動される。次に、ステップＳ１６０８において、表示範囲移動要求と移動方向と移動量を送信する。
【００５２】
一方、ステップＳ１６１７の判断の結果、デジタルカメラ２０１において、ＣＰＵがアイドル状態などであって表示範囲の移動の先読みが要求された場合など、表示範囲の移動の先読みを行うと判断した場合、ステップＳ１６０６が駆動される。次に、ステップＳ１６０７において、表示範囲や表示領域の移動の履歴から次の移動を推測する。
【００５３】
次に、ステップＳ１６０８において、表示範囲移動要求と移動方向と移動量を送信する。
【００５４】
次に、ステップＳ１６０９において、表示範囲を受信する。次に、ステップＳ１６１０において、補正済画像履歴から補正済み画像を探す。この検索方法と画像補正範囲導出方法は第１の実施形態のステップＳ８０９と等しい。次に、ステップＳ１６１１において、画像補正範囲と画像補正要求を画像補正サーバー５０１に送信する。
【００５５】
次に、ステップＳ１６１２において、補正画像を受信する。次に、ステップＳ１６１３において、変換画像を補正済画像履歴に追加する。この追加方法は第１の実施形態のステップＳ８１１と等しい。
【００５６】
次に、ステップＳ１６１４において、補正した画像と補正済み画像を結合する。この追加方法は第１の実施形態のステップＳ８１２と等しい。次に、ステップＳ１６１５において、得られた画像を出力画像に合わせて拡大もしくは縮小する。この拡大縮小方法は第１の実施形態のステップＳ８１３と等しい。
【００５７】
次に、ステップＳ１６１６において、出力画像１１０５をディスプレイ４０１に出力する。但し、ステップＳ１６０６、すなわち表示範囲の移動の先読みが駆動されていた場合には、ディスプレイ４０１への出力は行うべきではない。
【００５８】
次に図１３において、ステップＳ１３１１で何を行うかを判断する。この判断の結果、画像補正サーバー５０１において、表示範囲初期値決定要求を受信した場合など、表示範囲初期値決定を行うと判断した場合、ステップＳ１３０１が駆動される。次に、ステップＳ１３０２において、表示範囲初期値を決定する。この表示範囲初期値の導出方法は第１の実施形態のステップＳ８０２と等しい。次に、ステップＳ１３０５において、表示範囲がデジタルカメラ２０１に送信される。
【００５９】
一方、ステップＳ１３１１の判断の結果、画像補正サーバー５０１において、表示範囲移動要求と移動方向と移動量を受信した場合など、表示範囲の移動を行うと判断した場合、ステップＳ１３０３が駆動される。次に、ステップＳ１３０４において、受信した移動方向と移動量に従い、表示する範囲を移動する。この移動後の表示範囲の導出方法は第１の実施形態のステップＳ８０４と等しい。次に、ステップＳ１３０５において、表示範囲をデジタルカメラ２０１に送信する。
【００６０】
一方、ステップＳ１３１１の判断の結果、画像補正サーバー５０１において、表示範囲拡縮要求を受信した場合など、表示範囲の拡縮を行うと判断した場合、ステップＳ１３０６が駆動される。次に、ステップＳ１３０７において、表示範囲の拡大や縮小を行う。この表示範囲の拡大や縮小は第１の実施形態のステップＳ８０６に等しい。次に、ステップＳ１３０５において、表示範囲をデジタルカメラ２０１に送信する。
【００６１】
一方、ステップＳ１３１１の判断の結果、画像補正サーバー５０１において、画像補正範囲と画像補正要求を受信した場合など、画像の補正を行うと判断した場合、ステップＳ１３０８が駆動される。次に、ステップＳ１３０９において、範囲内の傾きや歪みを補正する。この補正方法は第１の実施形態のステップＳ８１０と等しい。次に、ステップＳ１３１０において、変換画像をデジタルカメラ２０１に送信する。
以上説明した通り、本実施形態におけるデジタルカメラ２０１では、位置ずれを伴う撮影画像図３について、ディスプレイ４０１内に表示する範囲１００１の画像補正のみをまず行い出力画像１１０５のみ得る。これにより、画像全体を補正するよりも速くかつ少ない記憶領域で出力画像１１０５を得る。また、変換した画像や操作履歴を記録し、また、操作履歴に基づく先読みを行う事で、ユーザが表示範囲移動手段４０２や表示領域移動手段４０３を操作した場合にも速やかに応答する。
【００６２】
また、Connected Component解析や画像補正などの処理はサーバー側で行っているので、デジタルカメラ２０１側には大きなメモリや早いＣＰＵ速度は要求されない。
【００６３】
（本発明に係る他の実施形態）
前記実施形態における画像処理装置はデジタルカメラとサーバーの組み合わせに限るものではない。前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００６４】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００６５】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００６６】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００６７】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００６８】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００６９】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００７０】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００７１】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００７２】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００７３】
さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００７４】
【図１】簡単な画像処理の一部について処理手順を示すフローチャートである。
【図２】撮像結果に歪みや傾きが発生する例を示す図である。
【図３】図２の状態で撮像した場合の撮像結果を示す図である。
【図４】本発明の第１の実施形態におけるデジタルカメラの外観を示す図である。
【図５】本発明の第２の実施形態におけるデジタルカメラと画像サーバーとを示す図である。
【図６】本発明の第１の実施形態におけるデジタルカメラ内部の処理手順を示すフローチャートである。
【図７】本発明の第１の実施形態におけるデジタルカメラ内部の処理手順を示すフローチャートである。
【図８】本発明の第１の実施形態におけるデジタルカメラ内部の処理手順を示すフローチャートである。
【図９】本発明の第１の実施形態における領域分割によって得られる領域の例を示す図である。
【図１０】本発明の第１の実施形態において、現在表示している範囲を移動した例を示す図である。
【図１１】本発明の第１の実施形態において、補正済み画像の集合を示す図である。
【図１２】本発明の第２の実施形態における画像補正サーバー内部の処理手順を示すフローチャートである。
【図１３】本発明の第２の実施形態における画像補正サーバー内部の処理手順を示すフローチャートである。
【図１４】本発明の第２の実施形態におけるデジタルカメラ内部の処理手順を示すフローチャートである。
【図１５】本発明の第２の実施形態におけるデジタルカメラ内部の処理手順を示すフローチャートである。
【図１６】本発明の第２の実施形態におけるデジタルカメラ内部の処理手順を示すフローチャートである。
【図１７】本発明の第１の実施形態におけるデジタルカメラの内部構成例を示す図である。
【符号の説明】
【００７５】
２０１ デジタルカメラ
２０２ 被写体
２０３ 撮像結果
１７００ デジタルカメラ
１７０１ 撮像部
１７０２ Ａ／Ｄ変換器
１７０３ 信号処理回路
１７０４ バス
１７０５ 圧縮回路
１７０６ メモリ
１７０７ 表示部
１７０９ バス
１７１０ 操作部
１７１１ ＭＰＵ
１７１２ 記憶デバイス
１７１３ 外部通信用のインターフェース
１７１４ 伝送路
１７１５ 外部情報機器
【特許請求の範囲】
【請求項１】
入力画像の歪みや傾きを補正し拡大または縮小して出力する画像処理方法であって、
画像を入力する入力工程と、
画像を出力する出力工程と、
前記出力工程において出力される画像のスクロールを指示する指示工程と、
前記入力工程において入力される画像について連結成分抽出を行う抽出工程と、
前記出力工程において出力される画像に相当する領域の連結成分の集合を求める第１の計算工程と
前記指示工程において指示されたスクロール量に相当する領域の連結成分の集合を求める第２の計算工程とを備えることを特徴とする画像処理方法。
【請求項２】
前記請求項１に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項３】
入力画像の歪みや傾きを補正し拡大または縮小して出力する画像処理装置であって、
画像を入力する入力手段と、
画像を出力する出力手段と、
前記出力手段が出力する画像のスクロールを指示する指示手段と、
前記入力手段が入力する画像について連結成分抽出を行う抽出手段と、
前記出力手段が出力する画像に相当する領域の連結成分の集合を求める第１の計算手段と、
前記指示手段で指示されたスクロール量に相当する領域の連結成分の集合を求める第２の計算手段とを備えることを特徴とする画像処理装置。
【請求項１】
入力画像の歪みや傾きを補正し拡大または縮小して出力する画像処理方法であって、
画像を入力する入力工程と、
画像を出力する出力工程と、
前記出力工程において出力される画像のスクロールを指示する指示工程と、
前記入力工程において入力される画像について連結成分抽出を行う抽出工程と、
前記出力工程において出力される画像に相当する領域の連結成分の集合を求める第１の計算工程と
前記指示工程において指示されたスクロール量に相当する領域の連結成分の集合を求める第２の計算工程とを備えることを特徴とする画像処理方法。
【請求項２】
前記請求項１に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項３】
入力画像の歪みや傾きを補正し拡大または縮小して出力する画像処理装置であって、
画像を入力する入力手段と、
画像を出力する出力手段と、
前記出力手段が出力する画像のスクロールを指示する指示手段と、
前記入力手段が入力する画像について連結成分抽出を行う抽出手段と、
前記出力手段が出力する画像に相当する領域の連結成分の集合を求める第１の計算手段と、
前記指示手段で指示されたスクロール量に相当する領域の連結成分の集合を求める第２の計算手段とを備えることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００７−１０９１０２（Ｐ２００７−１０９１０２Ａ）
【公開日】平成１９年４月２６日（２００７．４．２６）
【国際特許分類】
【出願番号】特願２００５−３００７８５（Ｐ２００５−３００７８５）
【出願日】平成１７年１０月１４日（２００５．１０．１４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１９年４月２６日（２００７．４．２６）
【国際特許分類】
【出願日】平成１７年１０月１４日（２００５．１０．１４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]