画像処理装置および方法およびプログラムおよび記憶媒体
【課題】 被写体の内容に応じて、最適なグリッドを表示させる。
【解決手段】 入力画像中の被写体を抽出する抽出手段と、入力画像を表示する表示手段と、前記被写体を構成する線分を検出する検出手段と、前記検出された線分のうち、互いに平行している線分、または互いに直交している線分が存在する場合に、前記平行または直交する複数の線分の配置関係を持つ複数のグリッド線を前記表示手段に表示させる表示制御手段とを備える。
【解決手段】 入力画像中の被写体を抽出する抽出手段と、入力画像を表示する表示手段と、前記被写体を構成する線分を検出する検出手段と、前記検出された線分のうち、互いに平行している線分、または互いに直交している線分が存在する場合に、前記平行または直交する複数の線分の配置関係を持つ複数のグリッド線を前記表示手段に表示させる表示制御手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体に重ねて表示するべきグリッドの表示技術に関するものである。
【背景技術】
【０００２】
カメラの撮影時などにおいて、被写体を所望の位置に配置して撮影するために、グリッドを表示する機能（例えば、特許文献１〜３）が有効である。
【０００３】
また、複写機においても原稿が斜めに配置されることを防止する観点でグリッド表示の機能（例えば、特許文献４、５）が知られている。
【特許文献１】特開２００６−１６５９４１号公報
【特許文献２】特開２００２−２９０７８０号公報
【特許文献３】特開２００７−２７９７６７号公報
【特許文献４】特開平１１−７３４７６号公報
【特許文献５】特開平９−２２３１９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来は、被写体の内容を適宜考慮して、最適なグリッドを表示する機能は確立されていない。
【０００５】
本発明は、上記点に鑑みてなされたものであり、被写体の内容に応じて、最適なグリッドを表示させることを主な目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、例えば、本発明の画像処理装置によれば、画像を入力する入力手段と、前記画像中の被写体を抽出する抽出手段と、前記画像を表示する表示手段と、前記被写体を構成する線分を検出する検出手段と、前記検出された線分のうち、互いに平行している線分、または互いに直交している線分が存在する場合に、前記平行または直交する複数の線分の配置関係を持つ複数のグリッド線を前記表示手段に表示させる表示制御手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、被写体の内容に応じて、最適なグリッドを表示させることが可能となる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照しながら本発明の好適な実施例を説明する。
【実施例１】
【０００９】
図１は、本実施例に適用される画像処理装置の基本構成を示す図である。なお、本実施例における画像処理装置は、特に撮像装置を想定しており、例えばデジタルカメラである。が、以下の構成を備えるものであれば、本発明は種々の装置に適用可能である。
【００１０】
本装置は、入力手段１０１、抽出手段１０２、検出手段１０３、表示制御手段１０４、表示手段１０５から構成される。
【００１１】
入力手段１０１は、カメラ、スキャナ等の入力装置から構成される。
【００１２】
抽出手段１０２は、前記入力手段１０１で入力された画像からオブジェクト（被写体）を認識して、抽出する。なお、ここで言うオブジェクトとは、撮影時の被写体に当たる個々の物体のことであり、このオブジェクトの認識、抽出技術については公知のものを利用可能である。
【００１３】
検出手段１０３は、前記抽出手段１０２で抽出されたオブジェクトの線分を検出する。なお、本実施例では、線分の長さを予め設定された長さより長い場合を“線分”と決定する。
【００１４】
表示制御手段１０４は、前記検出手段１０３で検出された線分のうち、互いに平行している線分、または互いに直交している線分が存在している場合に、これら平行または直交する複数の線分の配置関係を持つ複数のグリッド線を後段の表示手段１０５に表示させる。即ち、表示手段１０５上には、グリッド（グリッド線）と画像が重なった状態で表示される。なお、ここで言うグリッドとは格子のことであり、グリッド線とはこの格子を構成する１本の線であるとして以下説明することとする。
【００１５】
表示手段１０５は、液晶ディスプレイ等の表示部に相当し、入力手段１０１から入力される画像や、表示制御手段１０４により扱われるグリッドや、各種アイコン等を表示する。
【００１６】
次に、図２に、本実施例に適用可能な撮像装置の第２の構成例を示す。図２は、上述した図１に対してソフトウェア的な処理を行う場合を想定した構成例である。
【００１７】
図２の撮像装置は、入力手段１０１、表示手段１０５、記憶手段１２０１、制御手段１２０２から構成される。図中の入力手段１０１と表示手段１０５は、図１の各手段と同じである。
【００１８】
記憶手段１２０１は、例えば、ハードディスクドライブ装置、あるいはＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の着脱可能記憶媒体である。記憶手段１２０１には、各種のアプリケーションプログラム、ユーザ・インタフェース制御プログラム、これら各プログラムを実行する際に必要なデータが記憶されている。これらのプログラムやデータは、後述する制御手段１２０２の制御によって装置内の各処理部に読み込まれる。
【００１９】
制御手段１２０２は、ワークメモリやＣＰＵ、ＭＰＵ等により構成され、前記記憶手段１２０１に記憶されたプログラムやデータを読み出して、本発明に必要な各種の処理（ソフトウェア処理）を実行する。言い換えれば、図２における制御手段１２０２と記憶手段１２０１の組合せの動作（２つの手段の協働作業）は、上述した図１における抽出手段１０２、検出手段１０３、表示制御手段１０４による一連の動作が包含されると考えることもできる。
【００２０】
図３は、本実施例における撮像装置の動作の一例を示す図である。より詳しくは、同図は、撮像装置に内蔵された液晶モニタ（上述した表示手段１０５に相当）上に、被写体およびグリッドを重ねて表示している例である。
【００２１】
図中の被写体の場合には、８本の線分２０１Ａ〜２０１Ｈが検出される。
【００２２】
図中、点線で示されるグリッド２０１Ａ’〜２０１Ｈ’は、図中の被写体から検出される線分の間隔に応じて定まるグリッドである。
線分２０１Ａは２０１Ａ’に対応し、２０１Ｂは２０１Ｂ’に対応する。
線分２０１Ｃは２０１Ｃ’に対応し、２０１Ｄは２０１Ｄ’に対応する。
線分２０１Ｅは２０１Ｅ’に対応し、２０１Ｆは２０１Ｆ’に対応する。
線分２０１Ｇは２０１Ｇ’に対応し、２０１Ｈは２０１Ｈ’に対応する。
【００２３】
表示制御手段１０４（制御手段１２０２）は、グリッド２０１Ａ’〜２０１Ｄ’を液晶モニタに対して水平に表示させる。また、表示制御手段１０４は、グリッド２０１Ｅ’〜２０１Ｈ’を液晶モニタに対して垂直に表示させる。
【００２４】
ユーザは、このグリッドに合うようにカメラの傾きを調整することで、画面（液晶モニタ）に対して、容易に水平あるいは垂直に配置された状態で被写体を撮影できる。
【００２５】
以下は、図４のフローチャートに従って、各種の動作を説明する。
なお、以下で説明する各種動作は、図１または図２の何れかをベースに適用が可能である。よって、図１の抽出手段１０２、検出手段１０３、表示制御手段１０４による動作の説明をした場合には、図２の制御手段１２０２および記憶手段１２０１による動作であると読み替えても構わない。また、その逆の読み替えをしても構わない。
【００２６】
ステップＳ１００１：入力手段１０１で入力された画像中からオブジェクト（被写体）を認識して、抽出する。なお、ここで言うオブジェクトとは、撮影時の被写体に当たる個々の物体のことであり、このオブジェクトの認識技術については公知のものを利用可能である。
【００２７】
ステップＳ１００２：ステップＳ１００１で抽出された各オブジェクト（被写体）の線分を検出する。ただし、予め設定された長さより長いものだけを“線分”として抽出する。ここで、もしも図７のように線分が無い被写体（例えば円形の画像）を入力した場合には、多角形で被写体を近似し、この多角形の線分を抽出することとする。この多角形への近似に関しては既存の技術を利用する。このステップは、検出手段１０３または制御手段１２０２が実行する。
【００２８】
ステップＳ１００３：ステップＳ１００２で検出されたそれぞれの線分に対し、表示するべきグリッド線を決定する。このステップは、表示制御手段１０４または制御手段１２０２が実行する。
【００２９】
以下、図５を用いて、上記ステップＳ１００３で実行する、表示すべきグリッド線の決定方法を示す。
【００３０】
ステップＳ１３０１：ステップＳ１００２で検出された各線分について、平行または直交の配置関係を持つ線分（複数の線分で構成される組）をグループ化する。これは、仮想された１つの格子上に重なる複数線分を１つのグループとしてまとめる作業に相当する。よって、例えば、３つのグループにグループ化された場合には、上述した仮想的な格子が３つ存在することになる。そしてこれら３つの格子が平行／直交することはない。
【００３１】
ステップＳ１３０２：ステップＳ１３０１にて、平行または直交の配置関係を持つ線分（複数の線分で構成される組）が１つも存在しない場合は、ステップＳ１３０３へ進む。また、平行または直交の配置関係を持つ線分が、１つだけ存在する場合は、ステップＳ１３０６へ進む。また、平行または直交の配置関係を持つ線分が、２つ以上存在する場合はステップＳ１３０４へ進む。
【００３２】
ステップＳ１３０３：平行または直交の配置関係を持つ線分が１つも存在しない場合（ステップＳ１３０２において“なし”の場合）には、ユーザの混乱を避けるために、複数のグリッド線は表示しない。この場合には、被写体（オブジェクト）を構成する線分の数に関わらず、代表または基準となる線分に相当するグリッド線を１つ決定する。
【００３３】
例えば、図６のように、抽出された線分において、互いに平行している線分や、互いに直交している線分（複数の線分で構成される組）が存在しない場合には、代表または基準となる線分（図６における３０１Ａ）に相当するグリッド線３０１Ａ’を設定する。
【００３４】
この代表となる線分を決める方法としては、例えば、候補となる線分（図６の場合には線分３０１Ａを含む５本の線分）のうちで、いちばん長い線分（この場合は線分３０１Ａと仮定する）を選択する。そしてこれに相当する１本のグリッド線を、選択された線分に近接して表示させることになる。
【００３５】
ステップＳ１３０４：平行または直交の配置関係を持つ線分のグループが２つ以上存在する場合（ステップＳ１３０２にて“２つ以上”の場合）には、それぞれのグループに対して、以下に示す値Ｓを計算する。
Ｓ＝αβ（Ｌ１＋Ｌ２＋・・・＋ＬＮ）／Ｎ
α：任意の重み付け定数（ただし、α＞１）
β：注目するグループに含まれる線分が構成する被写体の数
Ｎ：注目するグループに属する線分の数
Ｌ１、Ｌ２、・・・、ＬＮ：各線分の長さ
ステップＳ１３０５：ステップＳ１３０４において計算された、各グループ（この場合には複数のグループ）に対応する値Ｓを比較し、最大値Ｓｍａｘを決定する。そして、この最大値Ｓｍａｘに相当するグループを１つ選択する。
【００３６】
ここでの選択基準では、「“注目するグループに含まれる線分”が構成する被写体の数が出来るだけ多いグループ」を選択する。これにより、できるだけ多くの被写体を一度に調整できるというメリットが在る。
【００３７】
また、この選択基準では、「α（Ｌ１＋Ｌ２＋・・・＋ＬＮ）／Ｎ」という基準で選択する。例えば、「“注目するグループに含まれる線分”の平均の長さが同じだった場合には、できるだけ多くの線分を含むグループ」を選択する。これにより、できるだけ多くの線分（グリッド線）を基準にして、表示手段に表示された被写体の位置を調整できるというメリットが在る。
【００３８】
ステップＳ１３０６：ステップＳ１３０１において、平行または直交の配置関係を持つ線分（複数の線分で構成される組）が１つも存在しない場合には、ステップＳ１３０３で決定したグリッド線を表示させることに決定する。また、上記線分のグループが１つだけ存在する場合には、そのグループに含まれる各線分に相当するグリッド線を表示させることに決定する。また、上記線分のグループが２つ以上存在する場合は、ステップＳ１３０５で決定したグループ（これを構成する各線分）に相当するグリッド線を表示させることに決定する。
【００３９】
繰り返し説明すると、本実施例では、上述した図２のように、平行に配置されている線分や、その線分と直交している線がわかるように、それら各線分に対応する間隔で、グリッド線（２０１Ａ’〜２０１Ｈ’）を表示させることができる。
【００４０】
ステップＳ１００４：ステップＳ１００３で決定した線分と、それに対応するグリッド線に基づいて、画面上に水平あるいは垂直に配置されるようにグリッド線を表示する。このときの各グリッド線の表示位置は、それらに対応する各線分に近接する位置に表示する。
【００４１】
なお、本実施例では、図８の７０３に示すように、グリッド線とそれに対応する各線分とが一致したときに、グリッド線に各線分が重なったこと（所望の被写体の配置状態になったこと）を報知するために、線種（太さ、実線／点線、色等）を変更する。更に、音声でその旨を報知することもできる。
【００４２】
以上、画像を入力手段１０１から入力するたび（撮影準備としてデジカメ等の液晶ディスプレイに被写体を含む画像を表示するたび）に、本実施例の装置は、上記ステップＳ１００１〜Ｓ１００４を繰り返す。これにより、図８の７０１、７０２、７０３の順で示すように、画面上に表示される被写体の位置や大きさの変化に追従して、グリッド（グリッド線）を表示することができる。
【００４３】
図９に、従来の通常のグリッドの表示例（８０１）と、本発明を適用した場合のグリッドの表示例（８０２）を示す。従来の表示においては、ユーザが被写体の配置を調整するために実質的に有効なグリッド線は２本しか存在しないのに対し、本実施例を適用した場合（８０２）では、ユーザが構図調整に有効なグリッド線は８本存在することになる。
【００４４】
以上のように、上記実施例によれば、被写体の形状（被写体を構成する線分）に応じて適切なグリッド（グリッド線）を表示するようにしたので、ユーザが液晶ディスプレイ等の画面に対して、容易に、被写体を水平あるいは垂直な配置に調整できる。
【００４５】
＜変形例＞
なお、上述した実施例では、線分の長さを予め設定された長さより長い場合のみがグリッド線に対応する“線分”として利用されることとした。しかしながら、予め設定された長さより短い線分についても、もし、その短い線分と平行または直交する長い線分が存在する場合には、その短い線分と長い線分を全て“線分”として、Ｓ１３０２のグループの１つの候補に挙げても良いであろう。具体例としては、この短い線分の利用の判断の１つとしては、もしＳ１３０２における判断で、「グループが“なし”」であると判断された場合に、その判断を修正するための要素として考慮する。即ち、「グループが“なし”」となった時には、短い線分も線分として考慮に入れて、再度Ｓ１３０２の判断を行うといったループ処理が有効である。
【００４６】
更には、上記ループ処理において、有効とされる線分の最低限の長さを段階的に短くしていっても良い。以下に簡単に説明する。
【００４７】
例えば、最初は長さＸ以上の線分を有効としていた場合で、かつＳ１３０２における判断で、「グループが“なし”」であると判断された場合を考える。この場合には、１回目の上記ループ処理においては、Ｘ−１以上の線分までが有効である（候補の線分が増えるであろう）として、上記Ｓ１３０２の判断処理を行う。次に、１回目のループ処理（２回目のＳ１３０２判断処理）においても「グループが“なし”」であると判断された場合を考える。この場合には、２回目のループ処理として、Ｘ−２以上の線分までが有効である（候補の線分が増えるであろう）として、上記Ｓ１３０２の判断処理を再度行う。次に、２回目のループ処理（３回目のＳ１３０２判断処理）においても「グループが“なし”」であると判断された場合について考える。この場合には、３回目のループ処理として、Ｘ−３以上の線分までが有効である（候補の線分が増えるであろう）として、上記Ｓ１３０２の判断処理を再度行う。
【００４８】
以上のループ処理を規定回数だけ行うようにすることにより、Ｓ１３０２のグループを少なくとも１つ検出できる可能性が高くなり、グリッド表示が効果的に行えるであろう。
【００４９】
なお、以上の実施例では、デジカメ等の撮影装置を例に説明したが、本発明はこれに限らない。例えば、図１０に示すように複写機のスキャナ部（原稿台）から画像を取り込む場合などにも適用できる。図１０の９０２、９０３は、複写機に内蔵するディスプレイであり、プレスキャンされた原稿９０１に基づいて上述した実施例と同様に被写体を検出し、かつグリッドを表示する。
【００５０】
ここで、図１０の９０１には、原稿である紙面に斜めに（正常な向きから少し回転された状態で）画像が印刷されているものとする。この画像を、９０５のように、正しい向きに文字が配列された状態に修正した後に、複写物として出力したい。よって、この場合には、９０２のように原稿中から、本来の被写体である画像部分を抽出し、この抽出部分に対応するグリッド線を９０３に示すように表示する。そして、ユーザは、このグリッドに被写体をあわせるように、原稿（被写体）を微調整（回転）させ、９０５に相当する正しい向きに調整する。
【００５１】
また、以上の実施例では、グリッドとして線分を表示していたが、本発明はこれに限らず、例えば、図１１の１１０２のような、グリッドに基づいて定まる“オブジェクトの隅（図１１の場合には四隅）”にあたる部分１１０３のみを表示させるようにしても良い。
【００５２】
なお、本発明は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（コンピュータにより読み取りが可能な記憶媒体）にも適用可能である。即ち、この記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【００５３】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５４】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００５５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステムなどが実際の処理の一部または全部を行っても良い。
【図面の簡単な説明】
【００５６】
【図１】本実施例における装置の基本構成を示す図
【図２】本実施例における装置の基本構成を示す図
【図３】表示部における表示例を示す図
【図４】動作手順の一例を示すフローチャート
【図５】動作手順の一例を示すフローチャート
【図６】表示部における表示例を示す図
【図７】表示部における表示例を示す図
【図８】表示部における表示例を示す図
【図９】表示部における表示例を示す図
【図１０】複写機における読み取り原稿の様子を示す図
【図１１】表示部における表示例を示す図
【符号の説明】
【００５７】
１０１ 入力手段
１０２ 抽出手段
１０３ 検出手段
１０４ 表示制御手段
１０５ 表示手段
１２０１ 記憶手段
１２０２ 制御手段
【技術分野】
【０００１】
本発明は、被写体に重ねて表示するべきグリッドの表示技術に関するものである。
【背景技術】
【０００２】
カメラの撮影時などにおいて、被写体を所望の位置に配置して撮影するために、グリッドを表示する機能（例えば、特許文献１〜３）が有効である。
【０００３】
また、複写機においても原稿が斜めに配置されることを防止する観点でグリッド表示の機能（例えば、特許文献４、５）が知られている。
【特許文献１】特開２００６−１６５９４１号公報
【特許文献２】特開２００２−２９０７８０号公報
【特許文献３】特開２００７−２７９７６７号公報
【特許文献４】特開平１１−７３４７６号公報
【特許文献５】特開平９−２２３１９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来は、被写体の内容を適宜考慮して、最適なグリッドを表示する機能は確立されていない。
【０００５】
本発明は、上記点に鑑みてなされたものであり、被写体の内容に応じて、最適なグリッドを表示させることを主な目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、例えば、本発明の画像処理装置によれば、画像を入力する入力手段と、前記画像中の被写体を抽出する抽出手段と、前記画像を表示する表示手段と、前記被写体を構成する線分を検出する検出手段と、前記検出された線分のうち、互いに平行している線分、または互いに直交している線分が存在する場合に、前記平行または直交する複数の線分の配置関係を持つ複数のグリッド線を前記表示手段に表示させる表示制御手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、被写体の内容に応じて、最適なグリッドを表示させることが可能となる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照しながら本発明の好適な実施例を説明する。
【実施例１】
【０００９】
図１は、本実施例に適用される画像処理装置の基本構成を示す図である。なお、本実施例における画像処理装置は、特に撮像装置を想定しており、例えばデジタルカメラである。が、以下の構成を備えるものであれば、本発明は種々の装置に適用可能である。
【００１０】
本装置は、入力手段１０１、抽出手段１０２、検出手段１０３、表示制御手段１０４、表示手段１０５から構成される。
【００１１】
入力手段１０１は、カメラ、スキャナ等の入力装置から構成される。
【００１２】
抽出手段１０２は、前記入力手段１０１で入力された画像からオブジェクト（被写体）を認識して、抽出する。なお、ここで言うオブジェクトとは、撮影時の被写体に当たる個々の物体のことであり、このオブジェクトの認識、抽出技術については公知のものを利用可能である。
【００１３】
検出手段１０３は、前記抽出手段１０２で抽出されたオブジェクトの線分を検出する。なお、本実施例では、線分の長さを予め設定された長さより長い場合を“線分”と決定する。
【００１４】
表示制御手段１０４は、前記検出手段１０３で検出された線分のうち、互いに平行している線分、または互いに直交している線分が存在している場合に、これら平行または直交する複数の線分の配置関係を持つ複数のグリッド線を後段の表示手段１０５に表示させる。即ち、表示手段１０５上には、グリッド（グリッド線）と画像が重なった状態で表示される。なお、ここで言うグリッドとは格子のことであり、グリッド線とはこの格子を構成する１本の線であるとして以下説明することとする。
【００１５】
表示手段１０５は、液晶ディスプレイ等の表示部に相当し、入力手段１０１から入力される画像や、表示制御手段１０４により扱われるグリッドや、各種アイコン等を表示する。
【００１６】
次に、図２に、本実施例に適用可能な撮像装置の第２の構成例を示す。図２は、上述した図１に対してソフトウェア的な処理を行う場合を想定した構成例である。
【００１７】
図２の撮像装置は、入力手段１０１、表示手段１０５、記憶手段１２０１、制御手段１２０２から構成される。図中の入力手段１０１と表示手段１０５は、図１の各手段と同じである。
【００１８】
記憶手段１２０１は、例えば、ハードディスクドライブ装置、あるいはＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の着脱可能記憶媒体である。記憶手段１２０１には、各種のアプリケーションプログラム、ユーザ・インタフェース制御プログラム、これら各プログラムを実行する際に必要なデータが記憶されている。これらのプログラムやデータは、後述する制御手段１２０２の制御によって装置内の各処理部に読み込まれる。
【００１９】
制御手段１２０２は、ワークメモリやＣＰＵ、ＭＰＵ等により構成され、前記記憶手段１２０１に記憶されたプログラムやデータを読み出して、本発明に必要な各種の処理（ソフトウェア処理）を実行する。言い換えれば、図２における制御手段１２０２と記憶手段１２０１の組合せの動作（２つの手段の協働作業）は、上述した図１における抽出手段１０２、検出手段１０３、表示制御手段１０４による一連の動作が包含されると考えることもできる。
【００２０】
図３は、本実施例における撮像装置の動作の一例を示す図である。より詳しくは、同図は、撮像装置に内蔵された液晶モニタ（上述した表示手段１０５に相当）上に、被写体およびグリッドを重ねて表示している例である。
【００２１】
図中の被写体の場合には、８本の線分２０１Ａ〜２０１Ｈが検出される。
【００２２】
図中、点線で示されるグリッド２０１Ａ’〜２０１Ｈ’は、図中の被写体から検出される線分の間隔に応じて定まるグリッドである。
線分２０１Ａは２０１Ａ’に対応し、２０１Ｂは２０１Ｂ’に対応する。
線分２０１Ｃは２０１Ｃ’に対応し、２０１Ｄは２０１Ｄ’に対応する。
線分２０１Ｅは２０１Ｅ’に対応し、２０１Ｆは２０１Ｆ’に対応する。
線分２０１Ｇは２０１Ｇ’に対応し、２０１Ｈは２０１Ｈ’に対応する。
【００２３】
表示制御手段１０４（制御手段１２０２）は、グリッド２０１Ａ’〜２０１Ｄ’を液晶モニタに対して水平に表示させる。また、表示制御手段１０４は、グリッド２０１Ｅ’〜２０１Ｈ’を液晶モニタに対して垂直に表示させる。
【００２４】
ユーザは、このグリッドに合うようにカメラの傾きを調整することで、画面（液晶モニタ）に対して、容易に水平あるいは垂直に配置された状態で被写体を撮影できる。
【００２５】
以下は、図４のフローチャートに従って、各種の動作を説明する。
なお、以下で説明する各種動作は、図１または図２の何れかをベースに適用が可能である。よって、図１の抽出手段１０２、検出手段１０３、表示制御手段１０４による動作の説明をした場合には、図２の制御手段１２０２および記憶手段１２０１による動作であると読み替えても構わない。また、その逆の読み替えをしても構わない。
【００２６】
ステップＳ１００１：入力手段１０１で入力された画像中からオブジェクト（被写体）を認識して、抽出する。なお、ここで言うオブジェクトとは、撮影時の被写体に当たる個々の物体のことであり、このオブジェクトの認識技術については公知のものを利用可能である。
【００２７】
ステップＳ１００２：ステップＳ１００１で抽出された各オブジェクト（被写体）の線分を検出する。ただし、予め設定された長さより長いものだけを“線分”として抽出する。ここで、もしも図７のように線分が無い被写体（例えば円形の画像）を入力した場合には、多角形で被写体を近似し、この多角形の線分を抽出することとする。この多角形への近似に関しては既存の技術を利用する。このステップは、検出手段１０３または制御手段１２０２が実行する。
【００２８】
ステップＳ１００３：ステップＳ１００２で検出されたそれぞれの線分に対し、表示するべきグリッド線を決定する。このステップは、表示制御手段１０４または制御手段１２０２が実行する。
【００２９】
以下、図５を用いて、上記ステップＳ１００３で実行する、表示すべきグリッド線の決定方法を示す。
【００３０】
ステップＳ１３０１：ステップＳ１００２で検出された各線分について、平行または直交の配置関係を持つ線分（複数の線分で構成される組）をグループ化する。これは、仮想された１つの格子上に重なる複数線分を１つのグループとしてまとめる作業に相当する。よって、例えば、３つのグループにグループ化された場合には、上述した仮想的な格子が３つ存在することになる。そしてこれら３つの格子が平行／直交することはない。
【００３１】
ステップＳ１３０２：ステップＳ１３０１にて、平行または直交の配置関係を持つ線分（複数の線分で構成される組）が１つも存在しない場合は、ステップＳ１３０３へ進む。また、平行または直交の配置関係を持つ線分が、１つだけ存在する場合は、ステップＳ１３０６へ進む。また、平行または直交の配置関係を持つ線分が、２つ以上存在する場合はステップＳ１３０４へ進む。
【００３２】
ステップＳ１３０３：平行または直交の配置関係を持つ線分が１つも存在しない場合（ステップＳ１３０２において“なし”の場合）には、ユーザの混乱を避けるために、複数のグリッド線は表示しない。この場合には、被写体（オブジェクト）を構成する線分の数に関わらず、代表または基準となる線分に相当するグリッド線を１つ決定する。
【００３３】
例えば、図６のように、抽出された線分において、互いに平行している線分や、互いに直交している線分（複数の線分で構成される組）が存在しない場合には、代表または基準となる線分（図６における３０１Ａ）に相当するグリッド線３０１Ａ’を設定する。
【００３４】
この代表となる線分を決める方法としては、例えば、候補となる線分（図６の場合には線分３０１Ａを含む５本の線分）のうちで、いちばん長い線分（この場合は線分３０１Ａと仮定する）を選択する。そしてこれに相当する１本のグリッド線を、選択された線分に近接して表示させることになる。
【００３５】
ステップＳ１３０４：平行または直交の配置関係を持つ線分のグループが２つ以上存在する場合（ステップＳ１３０２にて“２つ以上”の場合）には、それぞれのグループに対して、以下に示す値Ｓを計算する。
Ｓ＝αβ（Ｌ１＋Ｌ２＋・・・＋ＬＮ）／Ｎ
α：任意の重み付け定数（ただし、α＞１）
β：注目するグループに含まれる線分が構成する被写体の数
Ｎ：注目するグループに属する線分の数
Ｌ１、Ｌ２、・・・、ＬＮ：各線分の長さ
ステップＳ１３０５：ステップＳ１３０４において計算された、各グループ（この場合には複数のグループ）に対応する値Ｓを比較し、最大値Ｓｍａｘを決定する。そして、この最大値Ｓｍａｘに相当するグループを１つ選択する。
【００３６】
ここでの選択基準では、「“注目するグループに含まれる線分”が構成する被写体の数が出来るだけ多いグループ」を選択する。これにより、できるだけ多くの被写体を一度に調整できるというメリットが在る。
【００３７】
また、この選択基準では、「α（Ｌ１＋Ｌ２＋・・・＋ＬＮ）／Ｎ」という基準で選択する。例えば、「“注目するグループに含まれる線分”の平均の長さが同じだった場合には、できるだけ多くの線分を含むグループ」を選択する。これにより、できるだけ多くの線分（グリッド線）を基準にして、表示手段に表示された被写体の位置を調整できるというメリットが在る。
【００３８】
ステップＳ１３０６：ステップＳ１３０１において、平行または直交の配置関係を持つ線分（複数の線分で構成される組）が１つも存在しない場合には、ステップＳ１３０３で決定したグリッド線を表示させることに決定する。また、上記線分のグループが１つだけ存在する場合には、そのグループに含まれる各線分に相当するグリッド線を表示させることに決定する。また、上記線分のグループが２つ以上存在する場合は、ステップＳ１３０５で決定したグループ（これを構成する各線分）に相当するグリッド線を表示させることに決定する。
【００３９】
繰り返し説明すると、本実施例では、上述した図２のように、平行に配置されている線分や、その線分と直交している線がわかるように、それら各線分に対応する間隔で、グリッド線（２０１Ａ’〜２０１Ｈ’）を表示させることができる。
【００４０】
ステップＳ１００４：ステップＳ１００３で決定した線分と、それに対応するグリッド線に基づいて、画面上に水平あるいは垂直に配置されるようにグリッド線を表示する。このときの各グリッド線の表示位置は、それらに対応する各線分に近接する位置に表示する。
【００４１】
なお、本実施例では、図８の７０３に示すように、グリッド線とそれに対応する各線分とが一致したときに、グリッド線に各線分が重なったこと（所望の被写体の配置状態になったこと）を報知するために、線種（太さ、実線／点線、色等）を変更する。更に、音声でその旨を報知することもできる。
【００４２】
以上、画像を入力手段１０１から入力するたび（撮影準備としてデジカメ等の液晶ディスプレイに被写体を含む画像を表示するたび）に、本実施例の装置は、上記ステップＳ１００１〜Ｓ１００４を繰り返す。これにより、図８の７０１、７０２、７０３の順で示すように、画面上に表示される被写体の位置や大きさの変化に追従して、グリッド（グリッド線）を表示することができる。
【００４３】
図９に、従来の通常のグリッドの表示例（８０１）と、本発明を適用した場合のグリッドの表示例（８０２）を示す。従来の表示においては、ユーザが被写体の配置を調整するために実質的に有効なグリッド線は２本しか存在しないのに対し、本実施例を適用した場合（８０２）では、ユーザが構図調整に有効なグリッド線は８本存在することになる。
【００４４】
以上のように、上記実施例によれば、被写体の形状（被写体を構成する線分）に応じて適切なグリッド（グリッド線）を表示するようにしたので、ユーザが液晶ディスプレイ等の画面に対して、容易に、被写体を水平あるいは垂直な配置に調整できる。
【００４５】
＜変形例＞
なお、上述した実施例では、線分の長さを予め設定された長さより長い場合のみがグリッド線に対応する“線分”として利用されることとした。しかしながら、予め設定された長さより短い線分についても、もし、その短い線分と平行または直交する長い線分が存在する場合には、その短い線分と長い線分を全て“線分”として、Ｓ１３０２のグループの１つの候補に挙げても良いであろう。具体例としては、この短い線分の利用の判断の１つとしては、もしＳ１３０２における判断で、「グループが“なし”」であると判断された場合に、その判断を修正するための要素として考慮する。即ち、「グループが“なし”」となった時には、短い線分も線分として考慮に入れて、再度Ｓ１３０２の判断を行うといったループ処理が有効である。
【００４６】
更には、上記ループ処理において、有効とされる線分の最低限の長さを段階的に短くしていっても良い。以下に簡単に説明する。
【００４７】
例えば、最初は長さＸ以上の線分を有効としていた場合で、かつＳ１３０２における判断で、「グループが“なし”」であると判断された場合を考える。この場合には、１回目の上記ループ処理においては、Ｘ−１以上の線分までが有効である（候補の線分が増えるであろう）として、上記Ｓ１３０２の判断処理を行う。次に、１回目のループ処理（２回目のＳ１３０２判断処理）においても「グループが“なし”」であると判断された場合を考える。この場合には、２回目のループ処理として、Ｘ−２以上の線分までが有効である（候補の線分が増えるであろう）として、上記Ｓ１３０２の判断処理を再度行う。次に、２回目のループ処理（３回目のＳ１３０２判断処理）においても「グループが“なし”」であると判断された場合について考える。この場合には、３回目のループ処理として、Ｘ−３以上の線分までが有効である（候補の線分が増えるであろう）として、上記Ｓ１３０２の判断処理を再度行う。
【００４８】
以上のループ処理を規定回数だけ行うようにすることにより、Ｓ１３０２のグループを少なくとも１つ検出できる可能性が高くなり、グリッド表示が効果的に行えるであろう。
【００４９】
なお、以上の実施例では、デジカメ等の撮影装置を例に説明したが、本発明はこれに限らない。例えば、図１０に示すように複写機のスキャナ部（原稿台）から画像を取り込む場合などにも適用できる。図１０の９０２、９０３は、複写機に内蔵するディスプレイであり、プレスキャンされた原稿９０１に基づいて上述した実施例と同様に被写体を検出し、かつグリッドを表示する。
【００５０】
ここで、図１０の９０１には、原稿である紙面に斜めに（正常な向きから少し回転された状態で）画像が印刷されているものとする。この画像を、９０５のように、正しい向きに文字が配列された状態に修正した後に、複写物として出力したい。よって、この場合には、９０２のように原稿中から、本来の被写体である画像部分を抽出し、この抽出部分に対応するグリッド線を９０３に示すように表示する。そして、ユーザは、このグリッドに被写体をあわせるように、原稿（被写体）を微調整（回転）させ、９０５に相当する正しい向きに調整する。
【００５１】
また、以上の実施例では、グリッドとして線分を表示していたが、本発明はこれに限らず、例えば、図１１の１１０２のような、グリッドに基づいて定まる“オブジェクトの隅（図１１の場合には四隅）”にあたる部分１１０３のみを表示させるようにしても良い。
【００５２】
なお、本発明は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（コンピュータにより読み取りが可能な記憶媒体）にも適用可能である。即ち、この記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【００５３】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５４】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００５５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステムなどが実際の処理の一部または全部を行っても良い。
【図面の簡単な説明】
【００５６】
【図１】本実施例における装置の基本構成を示す図
【図２】本実施例における装置の基本構成を示す図
【図３】表示部における表示例を示す図
【図４】動作手順の一例を示すフローチャート
【図５】動作手順の一例を示すフローチャート
【図６】表示部における表示例を示す図
【図７】表示部における表示例を示す図
【図８】表示部における表示例を示す図
【図９】表示部における表示例を示す図
【図１０】複写機における読み取り原稿の様子を示す図
【図１１】表示部における表示例を示す図
【符号の説明】
【００５７】
１０１ 入力手段
１０２ 抽出手段
１０３ 検出手段
１０４ 表示制御手段
１０５ 表示手段
１２０１ 記憶手段
１２０２ 制御手段
【特許請求の範囲】
【請求項１】
画像を入力する入力手段と、
前記画像中の被写体を抽出する抽出手段と、
前記画像を表示する表示手段と、
前記被写体を構成する線分を検出する検出手段と、
前記検出された線分のうち、互いに平行している線分、または互いに直交している線分が存在する場合に、前記平行または直交する複数の線分の配置関係を持つ複数のグリッド線を前記表示手段に表示させる表示制御手段
とを備えることを特徴とする画像処理装置。
【請求項２】
前記表示制御手段は、互いに平行している線分、または互いに直交している線分が存在しない場合には、前記被写体を構成する線分に関わらず、１つのグリッド線を前記表示手段に表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示制御手段は、互いに平行している線分、または互いに直交している線分をグループ化し、複数のグループが存在する場合には、注目するグループに含まれる線分が構成する被写体の数に基づいて１つのグループを選択することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記表示制御手段は、互いに平行している線分、または互いに直交している線分をグループ化し、複数のグループが存在する場合には、注目するグループに含まれる線分が構成する被写体の数、および注目するグループに属する線分の数、および各線分の長さに基づいて１つのグループを選択することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記表示制御手段は、前記グループ化された１つのグループを構成する複数の線分の配置関係を持つ複数のグリッド線を前記表示手段に表示させることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
画像を入力する入力ステップと、
前記画像中の被写体を抽出する抽出ステップと、
前記画像を表示手段に表示させる表示ステップと、
前記被写体を構成する線分を検出する検出ステップと、
前記検出された線分のうち、互いに平行している線分、または互いに直交している線分が存在する場合に、前記平行または直交する複数の線分の配置関係を持つ複数のグリッド線を前記表示手段に表示させる表示ステップと
とを備えることを特徴とする画像処理方法。
【請求項７】
請求項６に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項８】
請求項７に記載のプログラムを格納したコンピュータにより読み取りが可能な記憶媒体。
【請求項１】
画像を入力する入力手段と、
前記画像中の被写体を抽出する抽出手段と、
前記画像を表示する表示手段と、
前記被写体を構成する線分を検出する検出手段と、
前記検出された線分のうち、互いに平行している線分、または互いに直交している線分が存在する場合に、前記平行または直交する複数の線分の配置関係を持つ複数のグリッド線を前記表示手段に表示させる表示制御手段
とを備えることを特徴とする画像処理装置。
【請求項２】
前記表示制御手段は、互いに平行している線分、または互いに直交している線分が存在しない場合には、前記被写体を構成する線分に関わらず、１つのグリッド線を前記表示手段に表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示制御手段は、互いに平行している線分、または互いに直交している線分をグループ化し、複数のグループが存在する場合には、注目するグループに含まれる線分が構成する被写体の数に基づいて１つのグループを選択することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記表示制御手段は、互いに平行している線分、または互いに直交している線分をグループ化し、複数のグループが存在する場合には、注目するグループに含まれる線分が構成する被写体の数、および注目するグループに属する線分の数、および各線分の長さに基づいて１つのグループを選択することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記表示制御手段は、前記グループ化された１つのグループを構成する複数の線分の配置関係を持つ複数のグリッド線を前記表示手段に表示させることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
画像を入力する入力ステップと、
前記画像中の被写体を抽出する抽出ステップと、
前記画像を表示手段に表示させる表示ステップと、
前記被写体を構成する線分を検出する検出ステップと、
前記検出された線分のうち、互いに平行している線分、または互いに直交している線分が存在する場合に、前記平行または直交する複数の線分の配置関係を持つ複数のグリッド線を前記表示手段に表示させる表示ステップと
とを備えることを特徴とする画像処理方法。
【請求項７】
請求項６に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項８】
請求項７に記載のプログラムを格納したコンピュータにより読み取りが可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−１１２１０（Ｐ２０１０−１１２１０Ａ）
【公開日】平成２２年１月１４日（２０１０．１．１４）
【国際特許分類】
【出願番号】特願２００８−１６９３２５（Ｐ２００８−１６９３２５）
【出願日】平成２０年６月２７日（２００８．６．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年１月１４日（２０１０．１．１４）
【国際特許分類】
【出願日】平成２０年６月２７日（２００８．６．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]