説明

画像処理装置

【構成】対象領域定義操作が行われると、CPU32は、再生画像データ上で対象領域を定義し、さらに人物の頭部画像が現れた領域および人物の身体画像が現れた領域を頭部領域および身体領域として定義する。一括除去モードが選択されると、CPU32は、対象領域と頭部領域および身体領域の各々との重複度を検出する。個別除去モードが選択されると、CPU32は、対象領域に現れた1または2以上の塊画像をそれぞれ覆う1または2以上の部分領域を定義し、各部分領域と頭部領域および身体領域の各々との重複度を検出する。対象領域または各部分領域に対する加工処理は、頭部領域との重複度が第1基準を下回るか或いは身体領域との重複度が第2基準以上であるときに許可され、頭部領域との重複度が第1基準以上でかつ身体領域との重複度が第2基準を下回るときに制限される。
【効果】画像の加工性能が向上する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、画像処理装置に関し、特に指定画像上で定義された対象画像を加工する、画像処理装置に関する。
【背景技術】
【0002】
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、背景除去装置は、画像入力装置によって撮影された人物の画像からその人物の輪郭を元に背景を除去する。画像合成装置は、背景が除去された人物の画像を背景画像記憶データベースに記憶されている背景画像と合成して背景の異なる画像を作成する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003−333556号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、背景技術では、除去対象をユーザ操作に応じて可変的に設定することを想定しておらず、画像を加工する性能に限界がある。
【0005】
それゆえに、この発明の主たる目的は、画像を加工する性能を高めることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【0006】
この発明に従う画像処理装置(10:実施例で相当する参照符号。以下同じ)は、指定画像上で対象画像を定義する定義手段(S19~S21, S81, S89, S105~S107)、定義手段によって定義された対象画像と指定画像に現れた第1特定物体像との重複度を検出する第1検出手段(S63, S91)、定義手段によって定義された対象画像と指定画像に現れた第2特定物体像との重複度を検出する第2検出手段(S67, S95)、第1検出手段によって検出された重複度が第1基準を下回るか或いは第2検出手段によって検出された重複度が第2基準以上であるとき定義手段によって定義された対象画像を加工する加工手段(S71~S73, S99, S111)、および第1検出手段によって検出された重複度が第1基準以上でかつ第2検出手段によって検出された重複度が第2基準を下回るとき加工手段の処理を制限する制限手段(S75~S77, S101~S103)を備える。
【0007】
好ましくは、制限手段は第1検出手段によって注目された第1特定物体像を加工手段の処理対象から排除する排除手段(S77, S103)を含む。
【0008】
好ましくは、制限手段は第1検出手段によって注目された第1特定物体像の少なくとも一部を覆う障害物画像が存在するとき加工手段の処理を禁止する禁止手段(S75, S101)を含む。
【0009】
好ましくは、定義手段は、指定画像上で領域設定操作を受け付ける受け付け手段(S19)、領域設定操作によって設定された領域に属して各々が共通の色を有する1または2以上の塊画像を検出する塊画像検出手段(S81)、および塊画像検出手段によって検出された1または2以上の塊画像をそれぞれ覆う1または2以上の部分画像の各々を対象画像として指定する部分画像指定手段(S89, S105~S107)を含む。
【0010】
好ましくは、第2基準は第2特定物体像が対象画像によって包含される重複度に相当する。
【0011】
好ましくは、第1特定物体像および第2特定物体像は共通の物体の少なくとも一部を表す画像に相当し、かつ第2特定物体像は第1特定物体像の一部に相当する。
【0012】
好ましくは、第1特定物体像および第2特定物体像はそれぞれ頭部画像および身体画像に相当する。
【0013】
この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(32)に、指定画像上で対象画像を定義する定義ステップ(S19~S21, S81, S89, S105~S107)、定義ステップによって定義された対象画像と指定画像に現れた第1特定物体像との重複度を検出する第1検出ステップ(S63, S91)、定義ステップによって定義された対象画像と指定画像に現れた第2特定物体像との重複度を検出する第2検出ステップ(S67, S95)、第1検出ステップによって検出された重複度が第1基準を下回るか或いは第2検出ステップによって検出された重複度が第2基準以上であるとき定義ステップによって定義された対象画像を加工する加工ステップ(S71~S73, S99, S111)、および第1検出ステップによって検出された重複度が第1基準以上でかつ第2検出ステップによって検出された重複度が第2基準を下回るとき加工ステップの処理を制限する制限ステップ(S75~S77, S101~S103)を実行させるための、画像処理プログラムである。
【0014】
この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、指定画像上で対象画像を定義する定義ステップ(S19~S21, S81, S89, S105~S107)、定義ステップによって定義された対象画像と指定画像に現れた第1特定物体像との重複度を検出する第1検出ステップ(S63, S91)、定義ステップによって定義された対象画像と指定画像に現れた第2特定物体像との重複度を検出する第2検出ステップ(S67, S95)、第1検出ステップによって検出された重複度が第1基準を下回るか或いは第2検出ステップによって検出された重複度が第2基準以上であるとき定義ステップによって定義された対象画像を加工する加工ステップ(S71~S73, S99, S111)、および第1検出ステップによって検出された重複度が第1基準以上でかつ第2検出ステップによって検出された重複度が第2基準を下回るとき加工ステップの処理を制限する制限ステップ(S75~S77, S101~S103)を備える。
【0015】
この発明に従う外部制御プログラムは、メモリ(40)に保存された内部制御プログラムに従う処理を実行するプロセッサ(32)を備える画像処理装置(10)に供給される外部制御プログラムであって、指定画像上で対象画像を定義する定義ステップ(S19~S21, S81, S89, S105~S107)、定義ステップによって定義された対象画像と指定画像に現れた第1特定物体像との重複度を検出する第1検出ステップ(S63, S91)、定義ステップによって定義された対象画像と指定画像に現れた第2特定物体像との重複度を検出する第2検出ステップ(S67, S95)、第1検出ステップによって検出された重複度が第1基準を下回るか或いは第2検出ステップによって検出された重複度が第2基準以上であるとき定義ステップによって定義された対象画像を加工する加工ステップ(S71~S73, S99, S111)、および第1検出ステップによって検出された重複度が第1基準以上でかつ第2検出ステップによって検出された重複度が第2基準を下回るとき加工ステップの処理を制限する制限ステップ(S75~S77, S101~S103)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【0016】
この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(42)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(40)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(32)を備える画像処理装置であって、外部制御プログラムは、指定画像上で対象画像を定義する定義ステップ(S19~S21, S81, S89, S105~S107)、定義ステップによって定義された対象画像と指定画像に現れた第1特定物体像との重複度を検出する第1検出ステップ(S63, S91)、定義ステップによって定義された対象画像と指定画像に現れた第2特定物体像との重複度を検出する第2検出ステップ(S67, S95)、第1検出ステップによって検出された重複度が第1基準を下回るか或いは第2検出ステップによって検出された重複度が第2基準以上であるとき定義ステップによって定義された対象画像を加工する加工ステップ(S71~S73, S99, S111)、および第1検出ステップによって検出された重複度が第1基準以上でかつ第2検出ステップによって検出された重複度が第2基準を下回るとき加工ステップの処理を制限する制限ステップ(S75~S77, S101~S103)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【0017】
この発明によれば、対象画像を加工する処理は、対象画像と第1特定物体像との重複度が低いとき或いは対象画像と第2特定物体像との重複度が高いときに許可される一方、対象画像と第1特定物体像との重複度が高くかつ対象画像と第2特定物体像との重複度が低いときに制限される。これによって、画像を加工する性能を高めることができる。
【0018】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0019】
【図1】この発明の一実施例の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成を示すブロック図である。
【図3】図2実施例によって再生される画像データの一例を示す図解図である。
【図4】図2実施例によって再生される画像データの他の一例を示す図解図である。
【図5】一括除去モードにおける不要物除去処理の一例を示す図解図である。
【図6】一括除去モードにおける不要物除去処理の他の一例を示す図解図である。
【図7】一括除去モードにおける不要物除去処理のその他の一例を示す図解図である。
【図8】一括除去モードにおける不要物除去処理のさらにその他の一例を示す図解図である。
【図9】個別除去モードにおける不要物除去処理の一例を示す図解図である。
【図10】個別除去モードにおける不要物除去処理の他の一例を示す図解図である。
【図11】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図12】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図13】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図14】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図15】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図16】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図17】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【0020】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0021】
図1を参照して、この実施例の画像処理装置は、基本的に次のように構成される。定義手段1は、指定画像上で対象画像を定義する。第1検出手段2は、定義手段1によって定義された対象画像と指定画像に現れた第1特定物体像との重複度を検出する。第2検出手段3は、定義手段1によって定義された対象画像と指定画像に現れた第2特定物体像との重複度を検出する。加工手段4は、第1検出手段2によって検出された重複度が第1基準を下回るか或いは第2検出手段3によって検出された重複度が第2基準以上であるとき定義手段1によって定義された対象画像を加工する。制限手段5は、第1検出手段2によって検出された重複度が第1基準以上でかつ第2検出手段3によって検出された重複度が第2基準を下回るとき加工手段4の処理を制限する。
【0022】
対象画像を加工する処理は、対象画像と第1特定物体像との重複度が低いとき或いは対象画像と第2特定物体像との重複度が高いときに許可される一方、対象画像と第1特定物体像との重複度が高くかつ対象画像と第2特定物体像との重複度が低いときに制限される。これによって、画像を加工する性能を高めることができる。
[実施例]
【0023】
図2を参照して、この実施例のディジタルカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞りユニット14を含む。これらの部材を経た光学像は、イメージャ16の撮像面に照射され、光電変換を施される。
【0024】
カメラモードが選択されたとき、CPU32は、動画取り込み処理を実行するべく、ドライバ18cに露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ18cは、周期的に発生する垂直同期信号Vsyncに応答して、イメージャ16の撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ16からは、読み出された電荷に基づく生画像データが周期的に出力される。
【0025】
信号処理回路20は、イメージャ16から出力された生画像データに白バランス調整,色分離,YUV変換などの処理を施す。これによって生成されたYUV形式の画像データは、メモリ制御回路22を通してSDRAM24のYUV画像エリア24aに書き込まれる。LCDドライバ26は、YUV画像エリア24aに格納された画像データをメモリ制御回路22を通して繰り返し読み出し、読み出された画像データに基づいてLCDモニタ28を駆動する。この結果、撮像面で捉えられたシーンを表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。
【0026】
信号処理回路20はまた、画像データを形成するYデータをCPU32に与える。CPU32は、与えられたYデータに簡易AE処理を施して適正EV値を算出し、算出された適正EV値を定義する絞り量および露光時間をドライバ18bおよび18cにそれぞれ設定する。これによって、イメージャ16から出力される生画像データひいてはLCDモニタ28に表示されるスルー画像の明るさが適度に調整される。
【0027】
キー入力装置34に向けて記録操作が行われると、CPU32は、信号処理回路20から与えられたYデータに厳格AE処理を施して最適EV値を算出する。算出された最適EV値を定義する絞り量および露光時間は、上述と同様、ドライバ18bおよび18cにそれぞれ設定される。CPU32はまた、信号処理回路20から与えられたYデータの高周波成分にAF処理を施す。これによってフォーカスレンズ12が合焦点に配置される。
【0028】
厳格AF処理が完了すると、CPU32は、静止画取り込み処理を実行するとともに、記録処理の実行をメモリI/F36に命令する。厳格AF処理が完了した時点のシーンを表す画像データは、静止画取り込み処理によってYUV画像エリア24aから静止画像エリア24bに退避される。記録処理の実行を命令されたメモリI/F36は、静止画像エリア24bに退避された画像データをメモリ制御回路22を通して読み出し、読み出された画像データを収めた画像ファイルを記録媒体38に記録する。
【0029】
再生モードが選択されると、CPU32は、記録媒体38に記録された最新の画像ファイルを指定し、指定された画像ファイルに注目した再生処理の実行をメモリI/F36およびLCDドライバ26に命令する。メモリI/F36は、指定された画像ファイルの画像データを記録媒体38から読み出し、読み出された画像データをメモリ制御回路22を通してSDRAM24の静止画像エリア24bに書き込む。
【0030】
LCDドライバ26は、静止画像エリア24bに格納された画像データをメモリ制御回路22を通して読み出し、読み出された画像データに基づいてLCDモニタ28を駆動する。この結果、指定画像ファイルの画像データに基づく再生画像がLCDモニタ28に表示される。キー入力装置34に向けて送り/戻し操作が行われると、CPU32は、後続の画像ファイルまたは先行する画像ファイルを指定する。指定された画像ファイルは上述と同様の再生処理を施され、この結果、再生画像が更新される。
【0031】
キー入力装置34に向けて不要物除去操作が行われると、CPU32は、静止画像エリア24bに展開された画像データをワークエリア24cに複製し、表示対象をワークエリア24cに複製された画像データに変更する。LCDドライバ26は、静止画像エリア24bに代えてワークエリア24cから画像データを読み出し、読み出された画像データに基づいてLCDモニタ30を駆動する。
【0032】
続いて、キー入力装置34に向けて対象領域定義操作(モニタ画面上の2つの座標を指定する操作)が行われると、CPU32は、指定された2つの座標を対角とする矩形領域を対象領域として定義し、定義された対象領域に注目して不要物除去処理(詳細は後述)を実行する。ワークエリア24cに複製された画像データは、対象領域に属する不要物が除去されるように加工される。LCDモニタ30には、加工後の画像が表示される。
【0033】
その後、キー入力装置34に向けて記録操作が行われると、CPU32は、ワークエリア24cに格納された画像データ(加工された画像データ)の記録をメモリI/F36に命令する。メモリI/F36は、ワークエリア24cに格納された画像データをメモリ制御回路22を通して読み出し、読み出された画像データをファイル形式で記録媒体38に記録する。
【0034】
不要物除去処理は、以下の要領で実行される。まず、ワークエリア24cに複製された画像データから顔画像が探索される。顔画像が探知されると、探知された顔画像を含む頭部画像が検出され、検出された頭部画像の輪郭によって囲まれる領域が頭部領域として定義される。さらに、検出された頭部画像を含む身体画像が検出され、検出された身体画像の輪郭によって囲まれる領域が身体領域として定義される。
【0035】
続いて、処理メニュー表示命令がCPU32からキャラクタジェネレータ30に与えられる。キャラクタジェネレータ30は命令に従うキャラクタデータをLCDドライバ26に与え、LCDドライバ26は与えられたキャラクタデータに基づいてLCDドライバ28を駆動する。この結果、処理メニューがモニタ画面に表示される。
【0036】
表示された処理メニューには、“一括除去モード”および“個別除去モード”の2つの項目が列挙される。メニュー操作によって“一括除去モード”が選択されると、一括除去処理が実行される。これに対して、メニュー操作によって“個別除去モード”が選択されると、個別除去処理が実行される。
[一括除去処理]
【0037】
一括除去処理では、まず対象領域と頭部領域および身体領域の各々との重複が検出され、頭部領域が対象領域と抵触しているか否か(対象領域と頭部領域との重複度が第1基準を上回るか否か)、ならびに対象領域が身体領域を包含する関係にあるか否か(対象領域と身体領域との重複度が第2基準を上回るか否か)が判別される。
【0038】
対象領域と頭部領域との間で抵触が生じていないか、或いは対象領域が身体領域を包含していれば、対象領域が加工領域として設定される。これに対して、頭部領域が対象領域と抵触しており、かつ身体領域の一部が対象領域から外れていれば、頭部領域が障害物で覆われていないことを条件として、対象領域のうち頭部領域を除く領域が加工領域として設定される。ワークエリア24c上の画像データは、こうして設定された加工領域に存在する不要物(不要物:共通の色を有する1または2以上の塊画像)が除去されるように加工される。
【0039】
なお、頭部領域が対象領域と抵触しかつ身体領域の一部が対象領域から外れている状態で、頭部領域の少なくとも一部が障害物で覆われていれば、上述のような加工処理は禁止され、代わりに報知が1秒間出力される。
【0040】
したがって、図3に示す画像データが再生されている状態で、対象領域が図5の上段に示すように定義された場合、対象領域と頭部領域との間で抵触は生じていないため、対象領域が加工領域として設定される。この結果、対象領域に存在する樹木が除去されるように画像データが加工され、図5の下段に示す画像データが得られる。
【0041】
また、図3に示す画像データが再生されている状態で、対象領域が図6の上段に示すように定義された場合、対象領域が身体領域を包含しているため、対象領域が加工領域として設定される。この結果、対象領域に存在する樹木および人物が除去されるように画像データが加工され、図6の下段に示す画像データが得られる。
【0042】
さらに、図3に示す画像データが再生されている状態で、対象領域が図7の上段に示すように定義された場合、頭部領域が対象領域と抵触し、身体領域の一部が対象領域から外れ、そして頭部領域が障害物で覆われていないため、対象領域のうち頭部領域を除く領域が加工領域として設定される。この結果、頭部領域に対する加工処理が制限され、対象領域に存在する樹木が除去されるように画像データが加工される。加工後の画像データは、図7の下段に示す要領で得られる。
【0043】
また、図4に示す画像データが再生されている状態で、対象領域が図8の上段に示すように定義された場合、頭部領域が対象領域と抵触し、身体領域の一部が対象領域から外れ、そして頭部領域が障害物で覆われているため、加工処理が禁止される。画像データは、図8の下段に示すように当初の状態を維持する。
[個別除去処理]
【0044】
個別除去処理では、まず共通の色を各々が示す1または2以上の塊画像が対象領域内で検出され、検出された1または2以上の塊画像をそれぞれ覆う1または2以上の部分領域が定義される。なお、塊画像の検出にあたっては、身体領域は検出対象から除外される。
【0045】
続いて、変数Kが“1”から“Kmax”の各々に設定され、K番目の部分領域と頭部領域および身体領域の各々との重複が検出される。さらに、頭部領域がK番目の部分領域と抵触しているか否か(K番目の部分領域と頭部領域との重複度が第1基準を上回るか否か)、ならびにK番目の部分領域が身体領域を包含する関係にあるか否か(K番目の部分領域と身体領域との重複度が第2基準を上回るか否か)が判別される。なお、“Kmax”は定義された部分領域の総数に相当する。
【0046】
K番目の部分領域と頭部領域との間で抵触が生じていないか、或いはK番目の部分領域が身体領域を包含していれば、K番目の部分領域が加工領域として設定される。また、頭部領域がK番目の部分領域と抵触しており、かつ身体領域の一部がK番目の部分領域から外れていれば、頭部領域が障害物で覆われていないことを条件として、K番目の部分領域のうち頭部領域を除く領域が加工領域として設定される。ワークエリア24c上の画像データは、こうして設定された加工領域に存在する不要物が除去されるように加工される。
【0047】
なお、頭部領域がK番目の部分領域と抵触しかつ身体領域の一部がK番目の部分領域から外れている状態で、頭部領域の少なくとも一部が障害物で覆われていれば、K番目の部分領域に対する上述した加工処理は禁止される。また、加工領域が全く設定されなかったときは、報知が1秒間出力される。
【0048】
したがって、図3に示す画像データが再生されている状態で、対象領域が図9の上段に示すように定義された場合、2つの樹木をそれぞれ覆う2つの部分領域が設定される。設定された2つの部分領域のうち1番目の部分領域と頭部領域との間では抵触は生じていないため、1番目の部分領域は加工領域として設定される。これに対して、2番目の部分領域は頭部領域と抵触し、身体領域の一部が2番目の部分領域から外れ、そして頭部領域が障害物で覆われていないため、2番目の部分領域のうち頭部領域を除く領域が加工領域として設定される。この結果、2つの部分領域にそれぞれ属する2つの樹木が除去されるように画像データが加工され、図9の下段に示す画像データが得られる。
【0049】
また、図4に示す画像データが再生されている状態で、対象領域が図10の上段に示すように定義された場合、2つの樹木をそれぞれ覆う2つの部分領域が設定される。設定された2つの部分領域のうち1番目の部分領域と頭部領域との間では抵触は生じていないため、1番目の部分領域は加工領域として設定される。これに対して、2番目の部分領域は頭部領域と抵触し、身体領域の一部が2番目の部分領域から外れ、そして頭部領域が障害物で覆われているため、2番目の部分領域に対する加工領域の設定は禁止される。この結果、1番目の部分領域に属する樹木が除去されるように画像データが加工され、図10の下段に示す画像データが得られる。
【0050】
CPU32は、再生モードが選択されたとき図11〜図16に示す再生タスクを実行する。なお、CPU32は、μITRONのようなマルチタスクOSの上で複数のタスクを並列的に実行するCPUである。また、CPU32によって実行されるタスクに相当する制御プログラムはフラッシュメモリ40に記憶される。
【0051】
図11を参照して、ステップS1では記録媒体38に記録された最新の画像ファイルを指定し、ステップS3では指定画像ファイルに注目した再生処理をメモリI/F36およびLCDドライバ26に命令する。
【0052】
メモリI/F36は、指定画像ファイルに収められた画像データを記録媒体38から読み出し、読み出された画像データをメモリ制御回路22を通してSDRAM24の静止画像エリア24bに書き込む。LCDドライバ26は、静止画像エリア24bに格納された画像データをメモリ制御回路22を通して読み出し、読み出された画像データに基づいてLCDモニタ28を駆動する。この結果、再生画像がLCDモニタ28に表示される。
【0053】
ステップS5では送り/戻し操作が行われたか否かを判別し、ステップS9では不要物除去操作が行われたか否かを判別する。ステップS5の判別結果がYESであればステップS7に進み、記録媒体38に記録された次の画像ファイルまたは前の画像ファイルを指定する。指定処理が完了すると、ステップS3に戻る。この結果、別の再生画像がLCDモニタ28に表示される。
【0054】
ステップS9の判別結果がYESであればステップS11に進み、静止画像エリア24bに展開された画像データをワークエリア24cに複製する。ステップS13では、表示対象をワークエリア24cに複製された画像データに変更する。
【0055】
ステップS15ではキャンセル操作が行われたか否かを判別し、ステップS19では対象領域定義操作が行われたか否かを判別する。ステップS15の判別結果がYESであれば、ステップS17で表示対象を複製元の画像データ(静止画像エリア24bに展開された画像データ)に戻し、その後にステップS5に戻る。
【0056】
ステップS19の判別結果がYESであればステップS21に進み、対象領域定義操作に従って対象領域を定義する。ステップS23では定義された対象領域に注目して不要物除去処理を実行する。ステップS25では、ステップS23の処理によって不要物が除去されたか否か(画像データが加工されたか否か)を判別する。判別結果がNOであればステップS37で表示対象を複製元の画像データに戻してからステップS5に戻る。判別結果がYESであれば、記録操作が行われたか否かをステップS27で判別し、キャンセル操作が行われたか否かをステップS29で判別する。
【0057】
ステップS27の判別結果がYESであればステップS31に進み、ワークエリア24cに格納された画像データ(加工された画像データ)の記録をメモリI/F36に命令する。メモリI/F36は、ワークエリア24cに格納された画像データをメモリ制御回路22を通して読み出し、読み出された画像データをファイル形式で記録媒体38に記録する。記録処理が完了すると、ステップS1〜S3と同様の処理をステップS33〜S35で実行し、その後にステップS5に戻る。一方、ステップS29の判別結果がYESであれば、ステップS37の処理を経てステップS5に戻る。
【0058】
ステップS23の不要物除去処理は、図13〜図16に示すサブルーチンに従って実行される。ステップS41では、ワークエリア24cに複製された画像データから顔画像を探索する。ステップS43では探索処理によって顔画像が探知されたか否かを判別し、判別結果がNOであればそのままステップS49に進む一方、判別結果がYESであればステップS45〜S47の処理を経てステップS49に進む。ステップS45では探知された顔画像を含む頭部画像を検出し、検出された頭部画像の輪郭によって囲まれる領域を頭部領域として定義する。ステップS47では、ステップS45で検出された頭部画像を含む身体画像を検出し、検出された身体画像の輪郭によって囲まれる領域を身体領域として定義する。
【0059】
ステップS49では、処理メニュー表示命令をキャラクタジェネレータ30に与える。キャラクタジェネレータ30は命令に従うキャラクタデータをLCDドライバ26に与え、LCDドライバ26は与えられたキャラクタデータに基づいてLCDモニタ28を駆動する。この結果、処理メニューがモニタ画面に表示される。表示された処理メニューには、“一括除去モード”および“個別除去モード”の2つの項目が列挙される。
【0060】
ステップS51ではメニュー操作によって“一括除去モード”が選択されたか否かを判別し、ステップS53ではメニュー操作によって“個別除去モード”が選択されたか否かを判別する。ステップS51の判別結果がYESであればステップS55で一括除去処理を実行し、ステップS53の判別結果がYESであればステップS57で個別除去処理を実行する。ステップS55またはS57の処理が完了すると、上階層のルーチンに復帰する。
【0061】
ステップS55の一括除去処理は、図14に示すサブルーチンに従って実行される。まず頭部領域が定義されているか否かをステップS61で判別し、判別結果がYESであれば対象領域と頭部領域との重複をステップS63で検出する。ステップS65では頭部領域が対象領域と抵触しているか否か(対象領域と頭部領域との重複度が第1基準を上回るか否か)をステップS63の検出結果に基づいて判別し、判別結果がYESであれば対象領域と身体領域との重複をステップS67で検出する。
【0062】
ステップS69では、対象領域が身体領域を包含する関係にあるか否か(対象領域と身体領域との重複度が第2基準を上回るか否か)をステップS67の検出結果に基づいて判別する。判別結果がYESであればステップS71に進み、判別結果がNOであればステップS75に進む。なお、ステップS61の判別結果がNOであるか、或いはステップS65の判別結果がNOであれば、そのままステップS71に進む。
【0063】
ステップS71では対象領域を加工領域として設定し、ステップS73では加工領域に存在する不要物が除去されるようにワークエリア24c上の画像データを加工する。ステップS75では頭部領域の少なくとも一部が障害物によって覆われているか否かを判別する。判別結果がNOであれば、対象領域のうち頭部領域を除く領域を加工領域として設定する。設定が完了すると、ステップS73に進む。ステップS75の判別結果がYESであれば、ステップS79で報知を1秒間出力する。ステップS73またはS79の処理が完了すると、上階層のルーチンに復帰する。
【0064】
図13に示すステップS57の個別除去処理は、図15〜図16に示すサブルーチンに従って実行される。ステップS81では、共通の色を各々が示す1または2以上の塊画像を対象領域内で検出し、検出された1または2以上の塊画像をそれぞれ覆う1または2以上の部分領域を定義する。なお、ステップS81の処理では、身体領域は検出対象から除外される。
【0065】
ステップS83では頭部領域が定義されているか否かを判別し、判別結果がYESであればステップS89に進む一方、判別結果がNOであればステップS85に進む。ステップS85では、ステップS81で定義された各々の部分領域を加工領域として設定する。ステップS87では、設定された加工領域に存在する塊画像が除去されるようにワークエリア24c上の画像データを加工する。全ての塊が除去されると、上階層のルーチンに復帰する。
【0066】
ステップS89では変数Kを“1”に設定し、ステップS91ではK番目の部分領域と頭部領域との重複を検出する。ステップS93では頭部領域がK番目の部分領域と抵触しているか否か(K番目の部分領域と頭部領域との重複度が第1基準を上回るか否か)をステップS91の検出結果に基づいて判別し、判別結果がYESであればK番目の部分領域と身体領域との重複をステップS95で検出する。
【0067】
ステップS97では、K番目の部分領域が身体領域を包含する関係にあるか否か(K番目の部分領域と身体領域との重複度が第2基準を上回るか否か)をステップS95の検出結果に基づいて判別する。判別結果がYESであればステップS99に進み、判別結果がNOであればステップS101に進む。なお、ステップS93の判別結果がNOであれば、そのままステップS99に進む。
【0068】
ステップS99ではK番目の部分領域を加工領域として設定し、その後にステップS105に進む。ステップS101では頭部領域の少なくとも一部が障害物によって覆われているか否かを判別する。判別結果がYESであればそのままステップS105に進み、判別結果がNOであればステップS103の処理を経てステップS105に進む。ステップS103では、K番目の部分領域のうち頭部領域を除く領域を加工領域として設定する。
【0069】
ステップS105では変数Kをインクリメントし、ステップS107では変数Kが最大値Kmax(=部分領域の総数)を上回るか否かを判別する。判別結果がNOであればステップS91に戻り、判別結果がYESであればステップS109に進む。ステップS109では少なくとも1つの加工領域が設定されているか否かを判別し、判別結果がYESであればステップS111に進む一方、判別結果がNOであればステップS113に進む。
【0070】
ステップS111では、加工領域に存在する塊画像が除去されるようにワークエリア24c上の画像データを加工する。これに対して、ステップS113では報知を1秒間出力する。ステップS111またはS113の処理が完了すると、上階層のルーチンに復帰する。
【0071】
以上の説明から分かるように、キー入力装置34によって対象領域定義操作が行われると、CPU32は、再生画像データ上で対象領域を定義し(S19~S21)、さらに人物の頭部画像が現れた領域および人物の身体画像が現れた領域を頭部領域および身体領域として定義する(S45~S47)。一括除去モードが選択されると、CPU32は、対象領域と頭部領域および身体領域の各々との重複度を検出する(S63, S67)。個別除去モードが選択されると、CPU32は、対象領域に現れた1または2以上の塊画像をそれぞれ覆う1または2以上の部分領域を定義し(S81)、各部分領域と頭部領域および身体領域の各々との重複度を検出する(S91, S95)。対象領域または各部分領域に対する加工処理は、頭部領域との重複度が第1基準を下回るか或いは身体領域との重複度が第2基準以上であるときに許可され(S71~S73, S99, S111)、頭部領域との重複度が第1基準以上でかつ身体領域との重複度が第2基準を下回るときに制限される(S75~S77, S101~S103)。
【0072】
ここで、第1基準は頭部領域の少なくとも一部が対象領域または部分領域と抵触する重複度に相当し、第2基準は身体領域が対象領域または部分領域によって包含される重複度に相当する。
【0073】
このように、対象画像を加工する処理は、頭部領域との重複度が低いとき或いは身体領域との重複度が高いときに許可される一方、頭部領域との重複度が高くかつ身体領域との重複度が低いときに制限される。これによって、画像を加工する性能を高めることができる。
【0074】
なお、この実施例では、頭部領域が対象領域または部分領域に抵触し、かつ身体領域の一部が対象領域または部分領域から外れるときに、頭部領域を除外して加工領域を設定するようにしている(図7および図9参照)。しかし、頭部領域および身体領域の両方を除外して加工領域を設定するようにしてもよい。
【0075】
また、この実施例では、頭部領域を定義するにあたって、頭部画像の輪郭を厳密に検出するようにしている。しかし、頭部画像を囲む楕円領域を頭部領域として定義するようにしてもよい。
【0076】
さらに、この実施例では、頭部領域の少なくとも一部が対象領域または部分領域と抵触する重複度を第1基準として設定し、身体領域が対象領域または部分領域によって包含される重複度を第2基準として設定するようにしている。しかし、頭部領域の10%(=0%を上回る値の一例)が対象領域または部分領域と抵触する重複度を第1基準として設定し、身体領域の80%(=100%を下回る値の一例)が対象領域または部分領域に抵触する重複度を第2基準として設定するようにしてもよい。
【0077】
また、目,鼻,口などの特徴部が対象領域または部分領域から外れる限り、頭部領域の一部が対象領域または部分領域に抵触しても、抵触する一部の頭部領域を加工領域に含めるようにしてもよい。
【0078】
さらに、この実施例では、対象領域の形状は矩形に限られる。しかし、タッチパネルおよびタッチペンを準備し、タッチペンの操作によって指定された領域を対象領域として定義すれば、対象領域の形状に多様性を持たせることができる。
【0079】
また、この実施例では、頭部画像および身体画像として人物の頭部および身体を表す画像を想定している。しかし、動物の頭部および身体を表す画像を頭部画像および身体画像として想定するようにしてもよい。
【0080】
なお、この実施例では、マルチタスクOSおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ42に予め記憶される。しかし、図17に示すように通信I/F42をディジタルカメラ10に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ40に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【0081】
また、この実施例では、CPU32によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【符号の説明】
【0082】
10 …ディジタルカメラ
12 …フォーカスレンズ
16 …イメージャ
20 …信号処理回路
24 …SDRAM
32 …CPU

【特許請求の範囲】
【請求項1】
指定画像上で対象画像を定義する定義手段、
前記定義手段によって定義された対象画像と前記指定画像に現れた第1特定物体像との重複度を検出する第1検出手段、
前記定義手段によって定義された対象画像と前記指定画像に現れた第2特定物体像との重複度を検出する第2検出手段、
前記第1検出手段によって検出された重複度が第1基準を下回るか或いは前記第2検出手段によって検出された重複度が第2基準以上であるとき前記定義手段によって定義された対象画像を加工する加工手段、および
前記第1検出手段によって検出された重複度が第1基準以上でかつ前記第2検出手段によって検出された重複度が前記第2基準を下回るとき前記加工手段の処理を制限する制限手段を備える、画像処理装置。
【請求項2】
前記制限手段は前記第1検出手段によって注目された第1特定物体像を前記加工手段の処理対象から排除する排除手段を含む、請求項1記載の画像処理装置。
【請求項3】
前記制限手段は前記第1検出手段によって注目された第1特定物体像の少なくとも一部を覆う障害物画像が存在するとき前記加工手段の処理を禁止する禁止手段を含む、請求項1または2記載の画像処理装置。
【請求項4】
前記定義手段は、前記指定画像上で領域設定操作を受け付ける受け付け手段、前記領域設定操作によって設定された領域に属して各々が共通の色を有する1または2以上の塊画像を検出する塊画像検出手段、および前記塊画像検出手段によって検出された1または2以上の塊画像をそれぞれ覆う1または2以上の部分画像の各々を前記対象画像として指定する部分画像指定手段を含む、請求項1ないし3のいずれかに記載の画像処理装置。
【請求項5】
前記第2基準は前記第2特定物体像が前記対象画像によって包含される重複度に相当する、請求項1ないし4のいずれかに記載の画像処理装置。
【請求項6】
前記第1特定物体像および前記第2特定物体像は共通の物体の少なくとも一部を表す画像に相当し、かつ前記第2特定物体像は前記第1特定物体像の一部に相当する、請求項1ないし5のいずれかに記載の画像処理装置。
【請求項7】
前記第1特定物体像および前記第2特定物体像はそれぞれ頭部画像および身体画像に相当する、請求項1ないし6のいずれかに記載の画像処理装置。
【請求項8】
画像処理装置のプロセッサに、
指定画像上で対象画像を定義する定義ステップ、
前記定義ステップによって定義された対象画像と前記指定画像に現れた第1特定物体像との重複度を検出する第1検出ステップ、
前記定義ステップによって定義された対象画像と前記指定画像に現れた第2特定物体像との重複度を検出する第2検出ステップ、
前記第1検出ステップによって検出された重複度が第1基準を下回るか或いは前記第2検出ステップによって検出された重複度が第2基準以上であるとき前記定義ステップによって定義された対象画像を加工する加工ステップ、および
前記第1検出ステップによって検出された重複度が第1基準以上でかつ前記第2検出ステップによって検出された重複度が前記第2基準を下回るとき前記加工ステップの処理を制限する制限ステップを実行させるための、画像処理プログラム。
【請求項9】
画像処理装置によって実行される画像処理方法であって、
指定画像上で対象画像を定義する定義ステップ、
前記定義ステップによって定義された対象画像と前記指定画像に現れた第1特定物体像との重複度を検出する第1検出ステップ、
前記定義ステップによって定義された対象画像と前記指定画像に現れた第2特定物体像との重複度を検出する第2検出ステップ、
前記第1検出ステップによって検出された重複度が第1基準を下回るか或いは前記第2検出ステップによって検出された重複度が第2基準以上であるとき前記定義ステップによって定義された対象画像を加工する加工ステップ、および
前記第1検出ステップによって検出された重複度が第1基準以上でかつ前記第2検出ステップによって検出された重複度が前記第2基準を下回るとき前記加工ステップの処理を制限する制限ステップを備える、画像処理方法。
【請求項10】
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
指定画像上で対象画像を定義する定義ステップ、
前記定義ステップによって定義された対象画像と前記指定画像に現れた第1特定物体像との重複度を検出する第1検出ステップ、
前記定義ステップによって定義された対象画像と前記指定画像に現れた第2特定物体像との重複度を検出する第2検出ステップ、
前記第1検出ステップによって検出された重複度が第1基準を下回るか或いは前記第2検出ステップによって検出された重複度が第2基準以上であるとき前記定義ステップによって定義された対象画像を加工する加工ステップ、および
前記第1検出ステップによって検出された重複度が第1基準以上でかつ前記第2検出ステップによって検出された重複度が前記第2基準を下回るとき前記加工ステップの処理を制限する制限ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項11】
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
指定画像上で対象画像を定義する定義ステップ、
前記定義ステップによって定義された対象画像と前記指定画像に現れた第1特定物体像との重複度を検出する第1検出ステップ、
前記定義ステップによって定義された対象画像と前記指定画像に現れた第2特定物体像との重複度を検出する第2検出ステップ、
前記第1検出ステップによって検出された重複度が第1基準を下回るか或いは前記第2検出ステップによって検出された重複度が第2基準以上であるとき前記定義ステップによって定義された対象画像を加工する加工ステップ、および
前記第1検出ステップによって検出された重複度が第1基準以上でかつ前記第2検出ステップによって検出された重複度が前記第2基準を下回るとき前記加工ステップの処理を制限する制限ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2013−74569(P2013−74569A)
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願番号】特願2011−213780(P2011−213780)
【出願日】平成23年9月29日(2011.9.29)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】