説明

折畳み展開図作成装置、折畳み展開図作成方法、及び記憶媒体

【課題】 自動的に顔検出及び胴体検出を行うことにより、飛び出し領域を自動的に設定し、折り曲げ位置、切り取り位置も自動的に設定し、更に人物領域に特化した3次元の立体を突設形成する折畳み展開図を作成すること。
【解決手段】 画像データを取得する画像データ取得手段と、前記画像データ取得手段で取得した画像データから人物の顔領域を検出する顔検出手段と、前記画像データ取得手段で取得した画像データから人物の胴体領域を検出する胴体検出手段と、前記顔検出手段で検出した顔領域と前記胴体検出手段で検出した胴体領域から突設形成させるための飛び出し領域を設定し、飛び出し量と切込線、谷折線、及び山折線を設定する折畳み領域設定手段とで構成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、飛び出す絵本等に用いられ、2次元の平面を折曲することで3次元の立体を形成させる折畳み展開図の画像処理装置、プログラムおよび記憶媒体に関する。
【背景技術】
【0002】
従来、飛び出す絵本等には、折畳み展開図が用いられている。この折畳み展開図は、図18に示すように2次元の平面(紙)U100として構成され、この平面U100を折り曲げることで3次元の立体を突設形成させるものである。
【0003】
図18において、平面U100には、主折線U1、切込線V1、V2、谷折線W1、W2、及び山折線W3が設けられている。又、各線V1、V2、W1、W3で囲まれた領域が面U101を、各線V1、V2、W2、W3で囲まれた領域が面U102を構成している。又、平面U100は、主折線U1で2つの平面U100a、U100bに分割される。(図18(1))
そして、この平面U100を主折線U1で90°に谷折りすることにより、面U101、U102からなる立体(直方体)が突設形成されるようになっている(図18(2))。又、主折線U1で180°に谷折りして平面U100を折畳むと、立体が折畳まれるようになっている。
【0004】
折畳み展開図の作成方法について、従来例として以下のものがある。
【0005】
特開2002−331180号公報(特許文献1)は、単位ブロックの集合体により立体を近似し、単位ブロックの断面が必ず展開図の成立条件を具備する形状になっているので、この集合体に基づいて立体の折畳み展開図を自動的にコンピュータで作成することを特徴としている方法である。
【0006】
特開2002−358338号公報(特許文献2)は、立体を副平面に平行な投影面に投影した1以上の投影図とその投影図に隣接する面とからなる展開図を形成し、この展開図を平面上に重畳配置して重なり部分の判定を行ない、全体の展開図を形成するので、立体の折畳み展開図を自動的にコンピュータで作成することを特徴としている方法である。
(参照:特許文献1〜特許文献16)
【特許文献1】特開2002−331180号公報
【特許文献2】特開2002−358338号公報
【特許文献3】特開2002−183731号公報
【特許文献4】特開2003−30667号公報
【特許文献5】特開平8−63597号公報
【特許文献6】特開2000−105829号公報
【特許文献7】特開平8−77334号公報
【特許文献8】特開2001−216515号公報
【特許文献9】特開平5−197793号公報
【特許文献10】特開平11−52525号公報
【特許文献11】特開2000−132688号公報
【特許文献12】特開2000−235648号公報
【特許文献13】特開平11−250267号公報
【特許文献14】特許2541688号明細書
【特許文献15】特開2002−203239号公報
【特許文献16】特開2001−175868号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかし、上記従来技術には、人物領域に特化した手法は提案されていない。一般のユーザが撮影する主な被写体は、人物であることがよく知られている。従って、画像中から人物領域を抽出して、同領域に対して3次元の立体を突設形成させることが望ましいが、これまではそういった方法が提案されていなかった。
【課題を解決するための手段】
【0008】
本発明の上述の課題は、以下に列記する手段により解決される。
【0009】
その一手段は、平面上に立体を突設形成させるための切込線、谷折線、及び山折線が設けられ、該平面を主折線で折曲することにより前記立体を突設形成させるとともに、前記平面を前記主折線で折畳むと前記立体が折畳み可能となる折畳み展開図作成装置において、画像データを取得する画像データ取得手段と、前記画像データ取得手段で取得した画像データから人物の顔領域を検出する顔検出手段と、前記画像データ取得手段で取得した画像データから人物の胴体領域を検出する胴体検出手段と、前記顔検出手段で検出した顔領域と前記胴体検出手段で検出した胴体領域から突設形成させるための飛び出し領域を設定し、飛び出し量と切込線、谷折線、及び山折線を設定する折畳み領域設定手段を有することを特徴とする折畳み展開図作成装置。
【0010】
あるいは、上記の折畳み展開図作成装置において、折畳み展開図の難易度を指定する難易度指定手段と、前記難易度指定手段で設定された難易度によって飛び出し領域の設定する飛び出し領域設定手段を有することを特徴とする折畳み展開図作成装置。
【0011】
あるいは、上記の折畳み展開図作成装置において、前記折畳み領域設定手段の飛び出し量は、前記顔検出手段で顔検出位置が複数検出された場合、大きい顔領域の一辺の大きさとすることを特徴とする折畳み展開図作成装置。
【0012】
本発明では、自動的に顔検出及び胴体検出を行うことにより、飛び出し領域を自動的に設定でき、折り曲げ位置、切り取り位置も自動的に設定でき、更に人物領域に特化した3次元の立体を突設形成する折畳み展開図を作成することが可能となる。
【発明の効果】
【0013】
以上説明したように本発明によれば、自動的に顔検出及び胴体検出を行うことにより、飛び出し領域を自動的に設定でき、折り曲げ位置、切り取り位置も自動的に設定でき、更に人物領域に特化した3次元の立体を突設形成する折畳み展開図を作成することが可能となる。
【発明を実施するための最良の形態】
【0014】
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
【0015】
尚、以降で説明する処理は、主として、プリンタエンジンへ出力すべき画像情報を作成するコンピュータ内のプリンタドライバソフト、もしくは、スキャナ等の光学読取り装置を動作させるためのドライバソフト、もしくはアプリケーションソフトとして内蔵することが効率的であるが、複写機、ファクシミリ、プリンタ本体等にハードウェア、及びソフトウェアとして内蔵することにも効果がある。
【0016】
<第1実施形態>
(ハードウェア構成)
図1は第1実施形態による画像処理を実現するためのコンピュータにおけるハードウェア構成例を示すブロック図である。図1に示されるように、コンピュータ100は、CPU101、ROM102、RAM103、ディスプレイなどの表示装置104、キーボード107、マウス106などのユーザインターフェース、ハードディスクなどの2次記憶装置105、他のコンピュータやプリンタ109などと接続するためのインターフェース108とで構成されている。以上の構成において、CPU101が2次記憶装置105に記憶された制御プログラムをRAM103へロードし、これを実行することにより以下に説明する各機能が実現される。
【0017】
(処理の概要)
図2は、本実施形態における画像処理の機能構成を示すブロック図である。以下、図2を参照しながら本実施形態の画像処理の概要を説明する。図2に示すように、本実施形態の画像処理は、顔検出部201、胴体検出部202、折畳み領域設定部203を含む。
【0018】
まず、入力画像が顔検出部201に入力される。本実施形態において、入力画像としては、デジタルカメラで撮影して得られた画像や、スキャナなどの光学読取装置で原稿を読み込んで得られた画像や、デジタルビデオカメラで撮影された動画中の1フレームを抽出して得られた画像などを想定している。なお、本明細書において、これらの「画像」は電子データ化された画像データを指すものとする。また、本実施形態では、これらの画像は2次記憶装置105に格納され、顔検出部201によって適宜読み出されてRAM103に記憶され、処理に供されるものとする。また、本実施形態では、入力画像はRGB各色8ビットで構成された画像データを想定して説明を行うが、本発明はこれに限定されるものではなく、例えばモノクロ画像に対しても容易に適用できることは言うまでもない。
【0019】
顔検出部201は、入力画像データから人物の顔および目や鼻、口などの器官位置を検出する。図3は端子200から入力される入力画像データを示す。図3の入力画像データに対して顔検出を行う。図4は図3の入力画像に対して顔検出を行った顔領域を示す図で、点線P100で示す矩形領域を顔領域として設定する。顔検出された顔領域情報は、後段の胴体検出部202、折畳み領域設定部203に入力され利用される。
【0020】
次に、胴体検出部202は、入力画像データから人物の胴体位置を検出する。図3の画像データに対して胴体検出を行う。図5は図3の入力画像に対して胴体検出を行った胴体領域を示す図で、点線P100で示す矩形領域は顔検出を行った顔領域を示し、点線P200で示す矩形領域は胴体検出を行った胴体領域を示す。胴体領域情報は、後段の折畳み領域設定部203に入力され利用される。
【0021】
次に、折畳み領域設定部203は、顔検出部201、胴体検出部202の検出結果を元に、飛び出し領域と折り曲げ位置を示す谷折線と山折線と切込線の設定を行う。図6は顔検出部201、胴体検出部202の検出結果に従い飛び出し領域A100で示している。
【0022】
また、本実施形態における図6の飛び出し領域A100は、図5の顔領域P100と胴体領域P200を組み合わせたもので、図5の顔領域P100と胴体領域P200が重なる場合には、顔領域P100と胴体領域P200を全て含む領域を飛び出し領域A100として設定を行う。また、図5の顔領域P100と胴体領域P200が重ならない場合には、胴体領域P200が顔領域P100の一辺を含むまで胴体領域P200を拡大し、顔領域P100と拡大した胴体領域P200を全て含む領域を飛び出し領域A100と設定する。
【0023】
また、設定した飛び出し領域A100に対し図7に示す飛び出し量S100の設定を行ない、飛び出し量S100に従って折り曲げ位置を示す谷折線と山折線と切り込み位置を示す切込線を設定する。また、図7に示すS101、S102もS100と同サイズの飛び出し量とし、胴体領域の下側の一辺と平行に飛び出し量S102離れた位置に主折線E1を設定する。
【0024】
また、本実施形態において、顔領域P100が正方形の矩形領域を設定している場合、飛び出し量S100を正方形の一辺とし、顔領域P100が長方形の矩形領域を設定している場合、飛び出し量S100を長方形の小さい方の一辺とし、顔領域P100が円の矩形領域を設定している場合、飛び出し量S100を直径とし、顔領域P100が楕円の矩形領域を設定している場合、飛び出し量S100を小さい方の直径とする。
【0025】
図8は図6に対する折り曲げ位置を谷折線と山折線と切り込み位置を示す切込線を設定している。図8の谷折線C1〜4、山折線C5〜C7は折り曲げ位置を示している。また、図9の切込線D1〜D4は切り込み位置を示している。また、図8の主折線E1は全体の画像を折り曲げる位置を示している。
【0026】
また、本実施形態において、飛び出し領域A100は、顔領域P100と胴体領域P200を組み合わせたもので、顔領域P100と胴体領域P200が重なる場合には、顔領域P100と胴体領域P200を全て含む領域を飛び出し領域A100として設定を行う。また、顔領域P100と胴体領域P200が重ならない場合には、胴体領域P200が顔領域P100の一辺を含むまで胴体領域P200を拡大し、顔領域P100と拡大した胴体領域P200を全て含む領域を飛び出し領域A100と設定しているが、これに限定されるものではなく、例えば、顔領域P100と胴体領域P200が重ならない場合には、胴体領域P200が顔領域P100の一辺を含むまで顔領域P100を拡大し、拡大した顔領域P100と胴体領域P200を全て含む領域を飛び出し領域A100と設定することが容易に適用できることは言うまでもない。
【0027】
また、本実施形態において、顔領域P100が正方形の矩形領域を設定している場合、飛び出し量S100を正方形の一辺とし、顔領域P100が長方形の矩形領域を設定している場合、飛び出し量S100を長方形の小さい方の一辺とし、顔領域P100が円の矩形領域を設定している場合、飛び出し量S100を直径とし、顔領域P100が楕円の矩形領域を設定している場合、飛び出し量S100を小さい方の直径としているが、これに限定されるものではなく、例えば、顔領域P100が正方形の矩形領域を設定している場合、飛び出し量S100を正方形の一辺の半分としたり、顔領域P100が長方形の矩形領域を設定している場合、飛び出し量S100を長方形の大きい方の一辺とすることも容易に適用できることは言うまでもない。
【0028】
次に、折畳み領域設定部203で設定した図8の谷折線C1〜4、山折線C5〜C7と、図9の切込線D1〜D4を図3の入力画像に入力し、折畳み展開図を作成する。図10は作成した折畳み展開図を示す。
【0029】
顔検出部201、胴体検出部202、折畳み領域設定部203における詳細な処理の説明は後述する。
【0030】
上記処理が施された画像データは、端子205から出力され、表示装置104に表示されたり、圧縮処理が施されて2次記憶装置105に保存されたり、インターフェース108を介して接続されたプリンタ109から出力されたりすることになる。以上が、本実施形態における処理の概要である。これより以下では、各部毎に、処理の詳細を説明してゆく。
【0031】
(顔検出部201)
上述したように、本実施形態においては、まず顔検出部201において、入力画像中から人物の顔および目や口などの器官位置情報を検出する。顔のおよび器官位置の検出に関しては、従来より様々な方法が提案されている。
【0032】
例えば本出願人による特開2002−183731号公報(特許文献3)によれば、まず、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。そして、この顔候補領域に対して、画素毎の輝度勾配および輝度勾配の重みを算出し、これらを、あらかじめ設定されている理想的な顔基準画像の勾配および勾配の重みと比較する。このとき、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する方法が記載されている。
【0033】
また、特開2003−30667号公報(特許文献4)によれば、まず画像中から肌色領域を検出し、検出された領域内において人間の虹彩色画素を検出することにより、目の位置を検出することが可能であるとしている。
【0034】
さらに、特開平8−63597号公報(特許文献5)によれば、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算し、マッチング度が最も高いテンプレートを選択する。そして、最も高かったマッチング度をあらかじめ定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とする。また、このテンプレートを用いることで、目の位置を検出することが可能であるとしている。
【0035】
さらに、特開2000−105829号公報(特許文献6)によれば、まず、鼻画像パターンをテンプレートとし、画像全体、あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する。次に、画像の鼻の位置よりも上の領域を目が存在する領域として、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとる。このマッチングにおいてある閾値よりもマッチ度が大きい画像の集合である目存在候補位置集合を求める。さらに、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離を算出する。そして、その距離が最も短くなるクラスタを目が存在するクラスタに決定することで、器官位置の検出が可能であるとしている。
【0036】
その他、顔および器官位置を検出する方法としては、特許文献7〜14など、数多くの手法が提案されており、本実施形態においてはそれらのうちどのような手法を用いても良い。また、顔および器官位置の検出法については、上記記載に限定されることはなく、その他のどのような手法を用いても構わない。なお、顔および器官位置の検出に関しては、様々な文献および特許文献で開示されているため、ここで詳細な説明は省略する。
【0037】
(胴体検出部202)
上述したように、本実施形態においては、まず胴体検出部202において、入力画像中から人物検出を行ない胴体の位置情報を検出する。人物検出に関しては、従来より様々な方法が提案されている。
【0038】
例えば特開2002−203239号公報(特許文献15)によれば、まず、ディジタルカラー画像中の人間の姿を検出するディジタル画像処理方法として、RGB値を表わす画素を有するディジタルカラー画像を与える段階と、ディジタルカラー画像を均質な色又はテクスチャの重なり合わない領域へセグメンテーションする段階と、人間の肌色の候補領域を検出する段階と、人間の顔の候補領域を検出する段階と、各候補顔領域について、人間の肌の色の領域に優先度を与えて、予め定義された人間の姿のグラフィックモデルに従って顔領域の近傍の領域をグループ化することにより人間の姿を構築することが可能であるとしている。
【0039】
また、特開2001−175868号公報(特許文献16)によれば、まず、多数の人物が存在または移動する領域を撮影して画像を取得し、取得した画像から人物の画像を抽出する人物検出処理を実行する人物検出方法において、人物輪郭を基にした形状の人物形状モデル上の予め設定された複数の点の位置に対応する相対位置に、検出しようとする人物の特徴量を検出する特徴量検出器を配置して特徴量検出器セットを構成し、特徴量検出器セットを、画像面に設定されている各座標に対応する各位置に置いて、前記取得した画像の画像特徴量の検出を行ない、前記各位置において特徴量検出器セットを構成する特徴量検出器が検出した画像特徴量の値に基づいて、検出された画像特徴量が、所定の許容範囲内で、前記人物形状モデルに合致する形状を有する画像の特徴量であることを判定するための所定の演算を実行し、演算結果が、前記検出された画像特徴量が前記人物形状モデルに合致する形状を有する画像の特徴量であることを示した場合には、当該位置に人物画像が存在すると推定することが可能であるとしている。
【0040】
その他、人物の検出および人物の胴体を検出する方法としては、数多くの手法が提案されており、本実施形態においてはそれらのうちどのような手法を用いても良い。また、人物の胴体位置の検出法については、上記記載に限定されることはなく、その他のどのような手法を用いても構わない。なお、人物の胴体位置の検出に関しては、様々な文献および特許で開示されているため、ここで詳細な説明は省略する。
【0041】
(折畳み領域設定部203)
上述したように、本実施形態においては、入力画像と顔検出部201で設定された顔領域と胴体検出部202で設定された胴体領域の位置情報は、折畳み領域設定部203に入力される。折畳み領域設定部203は、顔検出部201で設定された顔領域と胴体検出部202で設定された胴体領域の位置情報を利用し、画像飛び出し量に従い折り曲げ位置と切り込み位置の設定を行う。
【0042】
本実施形態において、図6、図7、図8、図9を用いて説明する。図6は、顔領域P100と胴体領域P200に従って設定した飛び出し領域A100を示している。図7は、飛び出し領域A100で示した場合に、飛び出し量S100だけ画像の上側にシフトさせたシフト領域B100、B101、B102で示している。図8、図9は、図7で設定した各領域に対し折り曲げ位置と切り取り位置を示している。
【0043】
折り曲げ位置と切り取り位置を設定する前処理で、図7の飛び出し領域A100に従ってシフト領域B100、B101、B102を設定しているが、図7の双方向矢印S101、S102も飛び出し量S100と同じサイズである。次に、折り曲げ位置と切り取り位置の設定を行うが、図7のシフトさせた状態の図から、X軸側に平行な線に対しては折り曲げ位置として図8の谷折線C1〜4、山折線C5〜C7を指定し、Y軸側に平行な線に対しては切り取り位置として図9の切込線D1〜D4を指定する。また、図9の主折線E1は全体の画像を折り曲げる位置を示している。
【0044】
以上説明したように、第1実施形態によれば、入力画像中から自動的に顔領域と胴体領域を検出し、顔領域と胴体領域に従って折り曲げ位置と切り取り位置を設定することにより、人が行う作業の手間を省き、簡単に図10に示すような人物領域に特化した3次元の立体を突設形成する折畳み展開図を作成することが可能となる。
【0045】
以上が、第1の実施形態の説明である。
【0046】
<第2実施形態>
以下、本発明にかかる第2実施形態の画像処理装置を説明する。第1実施形態によれば、入力画像中から顔領域と胴体領域を自動で検出し、顔領域と胴体領域に従って折り曲げ位置と切り取り位置を自動で設定することにより、簡単に図10に示すような人物領域に特化した3次元の立体を突設形成する折り畳み展開図を作成している。しかし、飛び出し領域について顔領域と胴体領域の矩形領域のみで設定しているため、飛び出す部分が単調になってしまう。そこで、折り曲げ位置と切り取り位置を多くして飛び出し領域を複雑化することが考えられるが、ユーザとしては3次元の立体図形を作成する際に難しくなってしまう。本発明ではユーザに難易度を選択することによってより、ユーザが要望する難易度によって飛び出し領域の設定を行える方法について説明する。
【0047】
なお、第2実施形態において、第1実施例と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【0048】
(ハードウェア構成)
第1実施形態で示した構成と同様。
【0049】
(処理の概要)
第1実施形態で示したブロック図で構成されている。入力画像が端子200から入力され、顔検出部201に入力され、胴体検出部202に入力され、折畳み領域設定部203に入力されるまでは、第1実施例の処理概要と同様で、構成の詳細説明を省略する。
【0050】
本実施形態において、折畳み領域設定部203は、顔検出部201、胴体検出部202の検出結果を元に、飛び出し領域の設定を行う。しかし第1実施形態とは異なりユーザが難易度を指定するためのインターフェースを用意し、難易度データを折畳み領域設定部203に入力して、難易度と顔領域と胴体領域に従って飛び出し領域の設定を行う。ユーザが難易度を指定するためのインターフェースについては、図1に示すディスプレイなどの表示装置104において難易度を表示する。難易度については、難易度大、難易度中、難易度小と想定し図1表示装置104に表示し、ユーザは図1のキーボード107、マウス106などのユーザインターフェースより難易度を設定する。
【0051】
また、本実施形態において、難易度については、難易度大、難易度中、難易度小と想定しているが、これに限定されるものではなく、例えば、難易度を1から10と設定することが容易に適用できることは言うまでもない。
【0052】
図11は、難易度を難易度中とした場合の飛び出し領域M100を想定している。飛び出し領域M100の設定方法は、顔検出部201で設定した顔領域と胴体検出部202で設定した胴体領域とユーザが指定した難易度に従い設定する。本実施形態において、第1実施形態と同様に、顔領域と胴体領域から図6の一次飛び出し領域A100を設定する。次に、一次飛び出し領域A100とユーザが指定した難易度に従って図11の飛び出し領域M100を設定する。図11の飛び出し領域M100の設定方法は、図6の一次飛び出し領域A100に対し、図11に示すように顔領域上側の一辺K100を4つに分割する。次にユーザが指定した難易度を難易度中とした場合、4分割した左側K101と右側K102を図11に示すように2分割して階段状になるように設定する。また、顔領域下側の一辺と胴体領域上側一辺を引いた部分の左側K103と右側K104を図11に示すように2分割して階段状になるように設定する。
【0053】
また、本実施形態において、難易度を難易度中とした場合の飛び出し領域を想定し、顔領域上側の一辺K100を4つに分割し、4分割した左側K101と右側K102を図12に示すように2分割して階段状になるように設定したが、これに限定されるものではなく、例えば顔領域上側の一辺K100を4つに分割し、4分割した左側K101と右側K102を4分割して階段状になるように設定するなど様々な方法によって飛び出し領域を設定することが容易に適用できることは言うまでもない。
【0054】
次に、折畳み領域設定部203は、設定した飛び出し領域に対し飛び出し量の設定し、飛び出し量に従って折り曲げ位置と切り込み位置を設定する。本実施形態における飛び出し量L100は、顔領域に対する矩形領域の一辺のサイズとする。また、折畳み領域設定部203で設定した飛び出し領域M100に対し飛び出し量L100に従って上側にシフトさせる。図12は飛び出し量L100の設定に従ってシフトさせた図を示す。図12から飛び出し量L100に従って折り曲げ位置を示す谷折線と山折線と切り込み位置を示す切込線を設定する。また、図12の飛び出し領域M100に従ってシフト領域N100、N101、N12を設定しているが、図12の双方向矢印L101、L102も飛び出し量L100と同じサイズである。次に、折り曲げ位置と切り取り位置の設定を行うが、図12のシフトさせた状態の図から、X軸側に平行な線に対しては折り曲げ位置として図13の谷折線Q1〜12、山折線C13〜C23を指定し、Y軸側に平行な線に対しては切り取り位置として図14の切込線R1〜R12を指定する。また、図13の主折線F1は全体の画像を折り曲げる位置を示している。
【0055】
また、本実施形態において、飛び出し量は顔領域に対する矩形領域の一辺のサイズとしているが、これに限定されるものではなく、例えば、顔領域に対する矩形領域一辺の半分のサイズなどを指定することも容易に適用できることは言うまでもない。
【0056】
次に、折畳み領域設定部203で設定した図13の谷折線Q1〜12、山折線C13〜C23と、図14の切込線R1〜R12を図3の入力画像に入力し、折畳み展開図を作成する。図15は作成した折畳み展開図を示す。
【0057】
上記処理が施された画像データは、端子205から出力され、表示装置104に表示されたり、圧縮処理が施されて2次記憶装置105に保存されたり、インターフェース108を介して接続されたプリンタ109から出力されたりすることになる。以上が、本実施形態における処理の概要である。
【0058】
以上説明したように、第2実施形態によれば、入力画像中から顔領域と胴体領域を自動で検出し、顔領域と胴体領域に従って折り曲げ位置と切り取り位置を自動で設定することにより、簡単に人物領域に特化した3次元の立体を突設形成することが可能となる。しかも、ユーザに難易度を選択することによって単純な飛び出し領域を設定し、より複雑な飛び出し領域を設定してユーザが要望する図15に示すような3次元の立体を突設形成する折畳み展開図を作成することが可能となる。
【0059】
<第3実施形態>
以下、本発明にかかる第3実施形態の画像処理装置を説明する。第1実施形態によれば、入力画像中から顔領域と胴体領域を自動で検出し、顔領域と胴体領域に従って折り曲げ位置と切り取り位置を自動で設定することにより、簡単に図10に示すような人物領域に特化した3次元の立体を突設形成する折り畳み展開図を作成している。しかし、第1実施形態では顔検出を行った際に1箇所の顔領域が検出できる場合を記載しているが、顔検出を行った際に顔領域が複数検出されることが考えられる。本実施形態において、顔領域が複数検出される場合について説明する。
【0060】
なお、第3実施形態において、第1実施例と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【0061】
(ハードウェア構成)
第1実施形態で示した構成と同様。
【0062】
(処理の概要)
第1実施形態で示したブロック図で構成されている。入力画像が端子200から入力され、顔検出部201に入力され、第1実施例の処理概要と同様で、構成の詳細説明を省略する。
【0063】
本実施形態において、顔検出部201は、入力画像データから人物の顔および目や鼻、口などの器官位置を検出する。図3は端子200から入力される入力画像データを示す。図3の入力画像データに対して顔検出を行う。図16は図3の入力画像に対して顔検出を行なった結果を示す図で、点線T100、点線T101で示す2つの矩形領域を顔領域として設定する。顔検出された顔領域情報は、後段の胴体検出部202、折畳み領域設定部203に入力され利用される。
【0064】
次に、胴体検出部202は、入力画像データから人物の胴体位置を検出する。図3の画像データに対して胴体検出を行う。図17は図3の入力画像に対して胴体検出を行った結果を示す図で、点線T100、T101で示す矩形領域は顔検出を行った結果を示し、点線T200、T201で示す矩形領域は胴体検出を行った結果を示す。胴体領域情報は、後段の折畳み領域設定部203に入力され利用される。
【0065】
本実施形態において、顔検出部201で検出された顔領域を2つの矩形領域と想定しているので、検出された2つの顔領域の中で矩形領域のサイズが大きい方の顔領域の基準とし、大きい顔領域の一辺のサイズを飛び出し量と設定する。
【0066】
また、本実施形態において、顔検出部201で検出された顔領域を2つの矩形領域と想定しているので、検出された2つの顔領域の中で矩形領域のサイズが大きい方の顔領域の基準とし、大きい顔領域の一辺のサイズを飛び出し量と設定しているが、これに限定するものではなく、例えば2つの矩形領域の中で矩形領域が小さい方の顔領域を基準すること、2つの矩形領域毎に飛び出し量を設定することなどが容易に適用できることは言うまでもない。
【0067】
また、本実施形態において、顔検出部201で検出された顔領域を2つの矩形領域と想定してが、これに限定するものではなく、例えば3つや4つなどの複数の矩形領域が顔領域として検出することが容易に適用できることは言うまでもない。
【0068】
次に、折畳み領域設定部203は、顔検出部201、胴体検出部202の検出結果を元に飛び出し領域の設定を行う。飛び出し量の設定以外については、第1実施形態及び第2実施形態と同様とする。
【0069】
次に、折畳み領域設定部203で設定した折り曲げ位置と切り込み位置を図3の入力画像にデータを書込む。
【0070】
上記処理が施された画像データは、表示装置104に表示されたり、圧縮処理が施されて2次記憶装置105に保存されたり、インターフェース108を介して接続されたプリンタ109から出力されたりすることになる。以上が、本実施形態における処理の概要である。これより以下では、各部毎に、処理の詳細を説明してゆく。
【0071】
以上説明したように、第3実施形態によれば、入力画像中から自動的に複数の顔領域と複数の胴体領域を検出し、顔領域と胴体領域に従って折り曲げ位置と切り取り位置を設定することにより、人が行う作業の手間を省き、簡単に図10に示すような人物領域に特化した3次元の立体を突設形成する折畳み展開図を作成することが可能となる。
【0072】
以上が、第3の実施形態の説明である。
【0073】
(その他の実施形態)
また、本発明は、複数の機器(例えばホストコンピュータ、インターフェース機器、リーダ、プリンタ等)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置等)に適用しても良い。
【0074】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0075】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【0076】
【図1】本発明を実施するためのハードウェア構成を示す図
【図2】第1、第2、第3実施形態及における処理のブロック図
【図3】入力画像の例
【図4】1箇所の顔検出を行った顔矩形領域
【図5】1箇所の顔検出を行った顔矩形領域と1箇所の胴体検出を行った胴体形領域
【図6】第1実施形態の飛び出し領域を示した図
【図7】第1実施形態の飛び出し領域をシフトさせた図
【図8】第1実施形態の図7に対して折り曲げ位置を示した図
【図9】第1実施形態の図7に対して切り取り位置を示した図
【図10】第1実施形態の図3に対して折り曲げ位置と切り取り位置を示した図
【図11】第2実施形態の飛び出し領域を示した図
【図12】第2実施形態の飛び出し領域をシフトさせた図
【図13】第2実施形態の図7に対して折り曲げ位置を示した図
【図14】第2実施形態の図7に対して切り取り位置を示した図
【図15】第2実施形態の図3に対して折り曲げ位置と切り取り位置を示した図
【図16】複数箇所の顔検出を行った顔矩形領域
【図17】複数箇所の顔検出を行った顔矩形領域と1箇所の胴体検出を行った胴体形領域
【図18】従来例の図
【符号の説明】
【0077】
P100 顔領域
P200 胴体領域
A100 飛び出し領域
B100、B101、B102 飛び出し領域をシフトさせた領域
S100、S101、S102 飛び出し量
M100 飛び出し領域
N100、N101、N102 飛び出し領域をシフトさせた領域
L100、L102、L102 飛び出し量
K100 顔領域上側の1辺
K101 顔領域上側の4分の1した左側の1辺
K102 顔領域上側の4分の1した右側の1辺
K103 顔領域下側と胴体領域上側の左側の差を示した一辺
K104 顔領域下側と胴体領域上側の右側の差を示した一辺
T100 顔領域
T200 胴体領域
T101 顔領域
T201 胴体領域
C1〜C4 谷折線
C5〜C7 山折線
D1〜D4 切込線
E1 主折線
F1 主折線
Q1〜23 谷折線
R1〜12 山折線

【特許請求の範囲】
【請求項1】
平面上に立体を突設形成させるための切込線、谷折線、及び山折線が設けられ、該平面を主折線で折曲することにより前記立体を突設形成させるとともに、前記平面を前記主折線で折畳むと前記立体が折畳み可能となる折畳み展開図作成装置において、画像データを取得する画像データ取得手段と、前記画像データ取得手段で取得した画像データから人物の顔領域を検出する顔検出手段と、前記画像データ取得手段で取得した画像データから人物の胴体領域を検出する胴体検出手段と、前記顔検出手段で検出した顔領域と前記胴体検出手段で検出した胴体領域から突設形成させるための飛び出し領域を設定し、飛び出し量と切込線、谷折線、及び山折線を設定する折畳み領域設定手段を有することを特徴とする折畳み展開図作成装置。
【請求項2】
請求項1に記載の折畳み展開図作成装置において、前記折畳み領域設定手段の飛び出し領域は、前記顔検出手段で検出した顔領域と前記胴体検出手段で検出した胴体領域が重なる場合には、顔領域と胴体領域を全て含む領域を飛び出し領域と設定することを特徴とする折畳み展開図作成装置。
【請求項3】
請求項1に記載の折畳み展開図作成装置において、前記折畳み領域設定手段の飛び出し領域は、前記顔検出手段で検出した顔領域と前記胴体検出手段で検出した胴体領域が重ならない場合には、胴体領域が顔領域の一辺を含むまで胴体領域を拡大し、顔領域と拡大した胴体領域を全て含む領域を飛び出し領域と設定することを特徴とする折畳み展開図作成装置。
【請求項4】
請求項1に記載の折畳み展開図作成装置において、前記折畳み領域設定手段の飛び出し領域は、前記顔検出手段で検出した顔領域と前記胴体検出手段で検出した胴体領域が重ならない場合には、胴体領域が顔領域の一辺を含むまで顔領域を拡大し、拡大した顔領域と胴体領域を全て含む領域を飛び出し領域と設定することを特徴とする折畳み展開図作成装置。
【請求項5】
請求項1に記載の折畳み展開図作成装置において、前記折畳み領域設定手段の飛び出し量は、前記顔検出手段で検出した顔領域が正方形の矩形領域を設定している場合、正方形の一辺を飛び出し量とし、また、前記顔検出手段で検出した顔領域が長方形の矩形領域を設定している場合、長方形の小さい方の一辺を飛び出し量とし、前記顔検出手段で検出した顔領域が円の矩形領域を設定している場合、直径を飛び出し量とし、前記顔検出手段で検出した顔領域が楕円の矩形領域を設定している場合、小さい方の直径を飛び出し量とすることを特徴とする折畳み展開図作成装置。
【請求項6】
請求項1に記載の折畳み展開図作成装置において、折畳み展開図の難易度を指定する難易度指定手段と、前記難易度指定手段で設定された難易度によって飛び出し領域の設定する飛び出し領域設定手段を有することを特徴とする折畳み展開図作成装置。
【請求項7】
請求項1に記載の折畳み展開図作成装置において、前記折畳み領域設定手段の飛び出し量は、前記顔検出手段で顔検出位置が複数検出された場合、大きい顔領域の一辺の大きさとすることを特徴とする折畳み展開図作成装置。
【請求項8】
平面上に立体を突設形成させるための切込線、谷折線、及び山折線が設けられ、該平面を主折線で折曲することにより前記立体を突設形成させるとともに、前記平面を前記主折線で折畳むと前記立体が折畳み可能となる折畳み展開図作成方法において、画像データを取得する画像データ取得工程と、前記画像データ取得工程で取得した画像データから人物の顔領域を検出する顔検出工程と、前記画像データ取得工程で取得した画像データから人物の胴体領域を検出する胴体検出工程と、前記顔検出工程で検出した顔領域と前記胴体検出工程で検出した胴体領域から突設形成させるための飛び出し領域を設定し、飛び出し量と切込線、谷折線、及び山折線を設定する折畳み領域設定工程を有することを特徴とする折畳み展開図作成方法。
【請求項9】
請求項8に記載の折畳み展開図作成方法において、前記折畳み領域設定工程の飛び出し領域は、前記顔検出工程で検出した顔領域と前記胴体検出工程で検出した胴体領域が重なる場合には、顔領域と胴体領域を全て含む領域を飛び出し領域と設定することを特徴とする折畳み展開図作成方法。
【請求項10】
請求項8に記載の折畳み展開図作成方法において、前記折畳み領域設定工程の飛び出し領域は、前記顔検出工程で検出した顔領域と前記胴体検出工程で検出した胴体領域が重ならない場合には、胴体領域が顔領域の胴体領域に近い一辺を含むまで胴体領域を拡大し、顔領域と拡大した胴体領域を全て含む領域を飛び出し領域と設定することを特徴とする折畳み展開図作成方法。
【請求項11】
請求項8に記載の折畳み展開図作成方法において、前記折畳み領域設定工程の飛び出し領域は、前記顔検出工程で検出した顔領域と前記胴体検出工程で検出した胴体領域が重ならない場合には、胴体領域が顔領域の胴体領域に近い一辺を含むまで顔領域を拡大し、拡大した顔領域と胴体領域を全て含む領域を飛び出し領域と設定することを特徴とする折畳み展開図作成方法。
【請求項12】
請求項8に記載の折畳み展開図作成方法において、前記折畳み領域設定工程の飛び出し量は、前記顔検出工程で検出した顔領域が正方形の矩形領域を設定している場合、正方形の一辺を飛び出し量とし、また、前記顔検出工程で検出した顔領域が長方形の矩形領域を設定している場合、長方形の小さい方の一辺を飛び出し量とし、前記顔検出工程で検出した顔領域が円の矩形領域を設定している場合、直径を飛び出し量とし、前記顔検出工程で検出した顔領域が楕円の矩形領域を設定している場合、小さい方の直径を飛び出し量とすることを特徴とする折畳み展開図作成方法。
【請求項13】
請求項8に記載の折畳み展開図作成方法において、折畳み展開図の難易度を指定する難易度指定工程と、前記難易度指定工程で設定された難易度によって飛び出し領域の設定する飛び出し領域設定工程を有することを特徴とする折畳み展開図作成方法。
【請求項14】
請求項8に記載の折畳み展開図作成方法において、前記折畳み領域設定工程の飛び出し量は、前記顔検出工程で顔検出位置が複数検出された場合、大きい顔領域の一辺の大きさとすることを特徴とする折畳み展開図作成方法。
【請求項15】
請求項8〜15に記載の折畳み展開図作成方法を構成する工程を実行するためのプログラムを記憶したコンピュータ読取り可能な記憶媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2009−39274(P2009−39274A)
【公開日】平成21年2月26日(2009.2.26)
【国際特許分類】
【出願番号】特願2007−206683(P2007−206683)
【出願日】平成19年8月8日(2007.8.8)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】