説明

画像処理装置、画像処理方法、プログラム、及び記憶媒体

【課題】ユーザの操作性を向上させることができる画像処理装置を提供する。
【解決手段】情報処理装置1000は、画像編集アプリケーションソフトウェアがインストールされており、該画像編集アプリケーションソフトウェアにより画像選択画面、及びメニュー選択画面を表示するディスプレイ装置1008と、ディスプレイ装置1008に表示されている画像上の開始点及び終了点を指定するマウス1011とを備える。開始点及び終了点の座標と、画像処理の種別に対応する変数tの値とに基づいて画像処理の対象となる編集領域の形状を規定するフレームを表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、プログラム、及び記憶媒体に関し、特に、画像データに対して編集、補正、加工等の画像処理を施す画像処理装置、画像処理方法、プログラム、及び記憶媒体に関する。
【背景技術】
【0002】
従来の画像処理装置では、ユーザインタフェースを構成するLCD(Liquid Crystal Display)の表示画面に画像データに対応する画像を表示し、その表示画面に表示された画像上で所定の処理範囲を指定し、該指定された所定の処理範囲の画像に対してトリミングや色補正等の画像処理を施す。
【0003】
図29は、従来の画像処理装置のLCDの表示画面の構成を例示する図である。
【0004】
図29において、LCDの表示画面9000(以下、「ウィンドウ」という)に表示された画像上で所定の処理範囲9001を指定するためには、画像処理装置のポインティングデバイスであるマウスを用いて、まず開始点9001aを指定し、次いでマウスの移動後のカーソルの位置で終了点9001bを指定することにより矩形の所定の処理範囲9001を規定する。なお、所定の処理範囲9001を規定する形状は、矩形に限られず、矩形以外の形状であってもよいが、その形状は1種類の形状に予め設定される。
【0005】
次いで、所定の処理範囲9001の画像に施すべき画像処理の内容を決定するために、マウスの指示点9002(カーソル)を、ウィンドウの端部に固定的に配置されているメニュー選択画面上に表示されている複数のメニューボタンのうち、例えば「編集」ボタン9003へ移動させ、該移動によって表示される編集メニューの中から「切り取り」や「コピー」などの所望のメニュー項目を選択する。
【0006】
上記従来の画像処理装置において、所定の処理範囲9001を広く規定するためには、マウスのカーソルを大きく移動させる必要性がある。さらには、マウスのカーソルを大きく移動させると、メニュー選択画面がウィンドウの端部に固定的に配置されているので、メニュー選択画面に近い位置が開始点であるときは終了点がメニュー選択画面から遠くに離れる一方、終了点をメニュー選択画面に近くするためには開始点をメニュー選択画面から遠く離れた位置に指定する必要があり、いずれの場合であっても、所定の処理範囲9001を指定する以上にマウスのカーソルを移動させる必要がある。
【0007】
なお、このようなマウスのカーソルを大きく移動させる必要性は、後述する情報処理装置の文書編集処理を従来の画像処理装置の画像処理に適用することによって、なくすことができる。
【0008】
上記情報処理装置では、文書を編集する文書編集処理を実行する技術が提案されている(例えば、特許文献1参照)。
【0009】
図30は、従来の情報処理装置が文書編集処理を実行するときのLCDの表示画面の一例を示す図である。
【0010】
図30に示す表示画面において、文書編集処理を実行するときには、まず、ポインティングデバイスであるスタイラスペン9004で、LCDの表示画面上における文書編集をすべき対象の文字列を含む範囲を指定する。次いで、指定した範囲の近傍には、編集機能の種別を示す複数のメニュー項目を含むメニュー選択画面9005がポップアップ表示され、該メニュー選択画面9005の複数のメニュー項目の中から所定の編集機能に対応するメニュー項目が選択される。
【0011】
また、文字及び図形という複数種のデータを編集するデータ編集装置では、編集処理の対象となる処理対象範囲の起点及び終点を指定する際に、該処理対象範囲内又は該起点に存在するデータの種類に応じて、該処理対象範囲の形状を適切なものに切り替えている(例えば、特許文献2参照)。これにより、処理対象範囲の形状は、文字データに対しては行単位となるように、また、図形データに対しては矩形状になるように設定される。
【0012】
さらには、文書データを編集する文書編集装置では、表示範囲内でタッチ操作面上の指示点が特定形状の軌跡に沿って移動した場合には、該軌跡で描かれた範囲に表示されているデータを処理対象範囲とする編集操作の指示が行われたものと判別し、編集操作の指示内容は、該軌跡のパターンに基づいて複数の処理命令の中から所定の処理命令が決定される(例えば、特許文献3参照)。
【0013】
また、画像データの中から、人物の顔に関する所定の情報を有する領域の検出の方法としては、さまざまな手法が提案されている(例えば、特許文献4,5,6参照)。
【先行技術文献】
【特許文献】
【0014】
【特許文献1】特開平5−189149号公報
【特許文献2】特開平8−297668号公報
【特許文献3】特公平8−014822号公報
【特許文献4】特開平8−063597号公報
【特許文献5】特開2001−216515号公報
【特許文献6】特開2002−183731号公報
【発明の概要】
【発明が解決しようとする課題】
【0015】
しかしながら、上記画像処理装置では、画像に施すべき画像処理の種別を決定する前に所定の処理範囲9001の開始点9001a及び終了点9001bを指定する必要があるので、所定の処理範囲9001を規定する形状を矩形などの1種類だけに予め設定する必要がある。即ち、所定の処理範囲9001を規定する形状を所定の処理範囲9001の開始点9001a及び終了点9001bを指定した後に変更することができない。
【0016】
所定の処理範囲9001を、例えば矩形又は円形の1種類の形状でしか規定することができないので、画像が人物の顔のものである場合において、例えば、画像全体に施す種別の画像処理であるときは処理範囲9001の形状が矩形であることが好ましく、人物の皮膚上のシミやほくろなどの部分的な画像に施す種別の画像処理であるときは処理範囲9001の形状が円形であることが好ましいにも拘わらず、双方の種別の画像処理を画像に施すために、処理範囲9001の形状を少なくとも1回設定する必要性が発生する。
【0017】
上記画像処理においては、一般に指定された処理対象範囲に対して適用可能な処理の種別が複数あり、ユーザはそれらの中から所望の種別を選択する必要がある。
【0018】
上記背景技術における図29の方法や上記特許文献1に記載されているような方法を画像処理に適用した場合には、毎回同じ形式のメニューが表示されるので、ユーザは処理対象範囲を指定した後に、メニューの中から所望の種別を選択するという操作を毎回行う必要がある。
【0019】
上記特許文献2に記載されているような方法では、処理対象範囲にあるデータの種別によって処理対象範囲の指定方法を行単位又は矩形状に切り替えるが、該処理対象範囲に対して適用する編集処理の種別は考慮されていない。したがって、編集処理対象のデータの種別を画像データに限定した場合には、処理対象範囲に含まれる文字データ及び図形データの双方が画像データとして編集されることになり、その結果、図形データと文字データとを区別して処理対象範囲の指定方法を切り替えることができない。
【0020】
特許文献3に記載されているような方法では、処理対象範囲と編集操作の種別とを同時に指定することができるのでユーザは種別を選択するための操作は軽減されるが、ユーザは、複数の種別に対応する指示点の軌跡のパターン(形状)を記憶しておく必要がある。
【0021】
本発明の第1の目的は、画像処理の対象となる処理領域を画像処理の種別に応じて自動的に特定することによって、ユーザの操作性を向上させることができる画像処理装置、画像処理方法、プログラム、及び記憶媒体を提供することにある。
【0022】
本発明の第2の目的は、画像データに対して指定された処理対象範囲に対して複数種別の画像処理、例えば補正及び加工のいずれかを行うときに、1つ以上の種別の画像処理を選択するように構成することにより、ユーザによる画像処理の種別の選択及び画像処理の実行をより簡単に行うことができる画像処理装置、画像処理方法、プログラム、及び記憶媒体を提供することにある。
【課題を解決するための手段】
【0023】
上記第1の目的を達成するために、請求項1記載の画像処理装置は、画像に複数の種別の画像処理の中から選択された所定の画像処理を施す画像処理装置において、前記画像を表示する表示手段と、前記表示された画像上における所定の位置を指定する指定手段と、前記指定された所定の位置に関する情報を取得する第1の取得手段と、前記表示された画像に施すべき画像処理の種別を前記複数の種別の画像処理の中から選択する選択手段と、前記選択された画像処理の種別に関する情報を取得する第2の取得手段と、前記取得された所定の位置に関する情報及び前記取得された画像処理の種別に関する情報に基づいて前記選択された種別の画像処理の対象となる前記表示された画像上における所定の処理領域を特定する特定手段と、前記特定された処理領域上の画像の表示を変更する表示変更手段とを備えることを特徴とする。
【0024】
請求項2記載の画像処理装置は、請求項1記載の画像処理装置において、前記処理領域上の画像又は前記処理領域外の画像に関する情報及び前記選択された画像処理の種別に基づいて前記表示された画像のうち少なくとも一部の領域の画像に前記選択された種別の画像処理を施す画像処理手段を備えることを特徴とする。
【0025】
請求項3記載の画像処理装置は、請求項2記載の画像処理装置において、前記複数の種別の画像処理は、前記処理領域上の画像に関する情報に基づいて前記表示された画像に所定の画像処理を施す種別の画像処理と、前記処理領域外の画像に関する情報に基づいて前記処理領域上の画像に所定の画像処理を施す種別の画像処理とを含むことを特徴とする。
【0026】
請求項4記載の画像処理装置は、請求項2又は3記載の画像処理装置において、前記処理領域は、その範囲を規定する形状が前記画像処理の種別に応じて予め設定されていることを特徴とする。
【0027】
請求項5記載の画像処理装置は、請求項1乃至4のいずれか1項に記載の画像処理装置において、前記表示された画像に施すべき画像処理の種別を前記複数の種別の画像処理の中から選択するための選択画面を前記取得された所定の位置の近傍に表示する他の表示手段を備えることを特徴とする。
【0028】
請求項6記載の画像処理装置は、請求項5記載の画像処理装置において、前記指定手段は、前記所定の位置として第1の位置を指定する第1の指定手段と、前記所定の位置として前記第1の位置とは異なる第2の位置を指定する第2の指定手段とから成り、前記他の表示手段は、前記指定された第1の位置及び第2の位置のうち後に指定された位置の近傍に前記選択画面を表示することを特徴とする。
【0029】
上記第1の目的を達成するために、請求項7記載の画像処理方法は、画像に複数の種別の画像処理の中から選択された所定の画像処理を施す画像処理方法において、前記画像を表示する表示ステップと、前記表示された画像上における所定の位置を指定する指定ステップと、前記指定された所定の位置に関する情報を取得する第1の取得ステップと、前記表示された画像に施すべき画像処理の種別を前記複数の種別の画像処理の中から選択する選択ステップと、前記選択された画像処理の種別に関する情報を取得する第2の取得ステップと、前記取得された所定の位置に関する情報及び前記取得された画像処理の種別に関する情報に基づいて前記選択された種別の画像処理の対象となる前記表示された画像上における所定の処理領域を特定する特定ステップと、前記特定された処理領域上の画像の表示を変更する表示変更ステップとを有することを特徴とする。
【0030】
請求項8記載の画像処理方法は、請求項7記載の画像処理方法において、前記処理領域上の画像又は前記処理領域外の画像に関する情報及び前記選択された画像処理の種別に基づいて前記表示された画像のうち少なくとも一部の領域の画像に前記選択された種別の画像処理を施す画像処理ステップを有することを特徴とする。
【0031】
請求項9記載の画像処理方法は、請求項8記載の画像処理方法において、前記複数の種別の画像処理は、前記処理領域上の画像に関する情報に基づいて前記表示された画像に所定の画像処理を施す種別の画像処理と、前記処理領域外の画像に関する情報に基づいて前記処理領域上の画像に所定の画像処理を施す種別の画像処理とを含むことを特徴とする。
【0032】
請求項10記載の画像処理方法は、請求項8又は9記載の画像処理方法において、前記処理領域は、その範囲を規定する形状が前記画像処理の種別に応じて予め設定されていることを特徴とする。
【0033】
請求項11記載の画像処理方法は、請求項7乃至10のいずれか1項に記載の画像処理方法において、前記表示された画像に施すべき画像処理の種別を前記複数の種別の画像処理の中から選択するための選択画面を前記取得された所定の位置の近傍に表示する他の表示ステップを有することを特徴とする。
【0034】
請求項12記載の画像処理方法は、請求項11記載の画像処理方法において、前記指定ステップは、前記所定の位置として第1の位置を指定する第1の指定ステップと、前記所定の位置として前記第1の位置とは異なる第2の位置を指定する第2の指定ステップとから成り、前記他の表示ステップでは、前記指定された第1の位置及び第2の位置のうち後に指定された位置の近傍に前記選択画面を表示することを特徴とする。
【0035】
上記第1の目的を達成するために、請求項13記載のプログラムは、画像に複数の種別の画像処理の中から選択された所定の画像処理を施す画像処理方法をコンピュータに実行させるプログラムにおいて、前記画像を表示する表示モジュールと、前記表示された画像上における所定の位置を指定する指定モジュールと、前記指定された所定の位置に関する情報を取得する第1の取得モジュールと、前記表示された画像に施すべき画像処理の種別を前記複数の種別の画像処理の中から選択する選択モジュールと、前記選択された画像処理の種別に関する情報を取得する第2の取得モジュールと、前記取得された所定の位置に関する情報及び前記取得された画像処理の種別に関する情報に基づいて前記選択された種別の画像処理の対象となる前記表示された画像上における所定の処理領域を特定する特定モジュールと、前記特定された処理領域上の画像の表示を変更する表示変更モジュールとを備えることを特徴とする。
【0036】
上記第1の目的を達成するために、請求項14記載の記憶媒体は、請求項13記載のプログラムを格納することを特徴とする。
【0037】
上記第1の目的を達成するために、請求項15記載の画像処理装置は、画像に複数種別の画像処理を選択的に実行可能な画像処理装置であって、表示装置に画像を表示させる第1表示制御手段と、前記表示装置に表示された画像上で、画像処理すべき領域を指定する領域指定手段と、前記複数種別の画像処理のうちから所望の画像処理を選択する選択手段と、前記選択手段による選択に応じて、前記領域指定手段により指定された領域の形状を変更する変更手段とを備えることを特徴とする。
【0038】
請求項16記載の画像処理装置は、請求項15記載の画像処理装置において、更に、前記選択手段により選択された画像処理の実行を指示する指示手段と、前記指示手段により指示がなされたことに応じて、前記変更手段により変更された形状の領域に対して、前記選択手段により選択された画像処理を行った結果を前記表示装置に表示させる第2表示制御手段とを備えることを特徴とする。
【0039】
請求項17記載の画像処理装置は、請求項15又は16記載の画像処理装置において、少なくとも前記領域指定手段により指定された領域内の画像を解析する解析手段を備え、前記変更手段は、前記選択手段により選択された画像処理の種別と、前記解析手段による解析結果とに応じて、前記領域指定手段により指定された領域の形状を変更することを特徴とする。
【0040】
上記第1の目的を達成するために、請求項18記載の画像処理方法は、画像に複数種別の画像処理を選択的に実行可能な画像処理方法であって、表示装置に画像を表示させる第1表示制御ステップと、前記表示装置に表示された画像上で、画像処理すべき領域を指定する領域指定ステップと、前記複数種別の画像処理のうちから所望の画像処理を選択する選択ステップと、前記選択ステップにおける選択に応じて、前記領域指定ステップにおいて指定された領域の形状を変更する変更ステップとを有することを特徴とする。
【0041】
請求項19記載の画像処理方法は、請求項18記載の画像処理方法において、更に、前記選択ステップにおいて選択された画像処理の実行を指示する指示ステップと、前記指示ステップにおいて指示がなされたことに応じて、前記変更ステップにおいて変更された形状の領域に対して、前記選択ステップにおいて選択された画像処理を行った結果を前記表示装置に表示させる第2表示制御ステップとを有することを特徴とする。
【0042】
請求項20記載の画像処理方法は、請求項18又は19記載の画像処理方法において、少なくとも前記領域指定ステップにおいて指定された領域内の画像を解析する解析ステップを有し、前記変更ステップでは、前記選択ステップにおいて選択された画像処理の種別と、前記解析ステップにおける解析結果とに応じて、前記領域指定ステップにおいて指定された領域の形状を変更することを特徴とする。
【0043】
上記第1の目的を達成するために、請求項21記載のプログラムは、画像に複数種別の画像処理を選択的に実行可能な画像処理方法をコンピュータに実行させるプログラムであって、表示装置に画像を表示させる第1表示制御モジュールと、前記表示装置に表示された画像上で、画像処理すべき領域を指定する領域指定モジュールと、前記複数種別の画像処理のうちから所望の画像処理を選択する選択モジュールと、前記選択モジュールによる選択に応じて、前記領域指定モジュールにより指定された領域の形状を変更する変更モジュールとを備えることを特徴とする。
【0044】
上記第1の目的を達成するために、請求項22記載の記憶媒体は、請求項21記載のプログラムを格納することを特徴とする。
【0045】
上記第2の目的を達成するために、請求項23記載の画像処理装置は、画像に複数の種別の画像処理の中から選択された所定の画像処理を施す画像処理装置において、画像を表示装置に表示する表示手段と、前記表示された画像上の第1の範囲の指定を指定する範囲指定手段と、前記画像から当該画像上の所定の特徴を有する少なくとも1つの第2の範囲を検出する範囲検出手段と、前記第1の範囲と前記第2の範囲の間における所定の関係に基づいて前記複数の種別の画像処理の中から少なくとも1つの種別を選択する処理種別選択手段とを備えることを特徴とする。
【0046】
請求項24記載の画像処理装置は、請求項23記載の画像処理装置において、前記表示手段は、前記選択された少なくとも1つの種別を前記表示装置に表示することを特徴とする。
【0047】
請求項25記載の画像処理装置は、請求項23又は24記載の画像処理装置において、前記選択された種別の画像処理を実行するか否かを設定する実行設定手段と、前記実行設定手段により実行が設定された種別の画像処理を実行する画像処理手段とを備えることを特徴とする。
【0048】
請求項26記載の画像処理装置は、請求項23乃至25のいずれか1項に記載の画像処理装置において、前記所定の特徴は人物の顔に関する情報から成ることを特徴とする。
【0049】
請求項27記載の画像処理装置は、請求項23乃至26のいずれか1項に記載の画像処理装置において、前記第1の範囲と前記第2の範囲の間における所定の関係は位置関係を含むことを特徴とする。
【0050】
請求項28記載の画像処理装置は、請求項23乃至27のいずれか1項に記載の画像処理装置において、前記第1の範囲と前記第2の範囲の間における所定の関係は面積比を含むことを特徴とする。
【0051】
上記第2の目的を達成するために、請求項29記載の画像処理方法は、画像に複数の種別の画像処理の中から選択された種別の画像処理を施す画像処理方法において、画像を所定の表示装置に表示する表示ステップと、前記表示された画像上の第1の範囲の指定を指定する範囲指定ステップと、前記画像から当該画像上の所定の特徴を有する少なくとも1つの第2の範囲を検出する範囲検出ステップと、前記第1の範囲と前記第2の範囲の間における所定の関係に基づいて前記複数の種別の画像処理の中から少なくとも1つの種別を選択する処理種別選択ステップとを有することを特徴とする。
【0052】
請求項30記載の画像処理方法は、請求項29記載の画像処理方法において、前記表示ステップでは、前記選択された少なくとも1つの種別を前記表示装置に表示することを特徴とする。
【0053】
請求項31記載の画像処理方法は、請求項29又は30記載の画像処理方法において、前記選択された種別の画像処理を実行するか否かを設定する実行設定ステップと、前記実行設定ステップにおいて前記実行が設定された種別の画像処理を実行する画像処理ステップとを有することを特徴とする。
【0054】
請求項32記載の画像処理方法は、請求項29乃至31のいずれか1項に記載の画像処理方法において、前記所定の特徴は人物の顔に関する情報から成ることを特徴とする。
【0055】
請求項33記載の画像処理方法は、請求項29乃至32のいずれか1項に記載の画像処理方法において、前記第1の範囲と前記第2の範囲の間における所定の関係は位置関係を含むことを特徴とする。
【0056】
請求項34記載の画像処理方法は、請求項29乃至33のいずれか1項に記載の画像処理方法において、前記第1の範囲と前記第2の範囲の間における所定の関係は面積比を含むことを特徴とする。
【0057】
上記第2の目的を達成するために、請求項35記載のプログラムは、画像に複数の種別の画像処理の中から選択された種別の画像処理を施す画像処理方法をコンピュータに実行させるプログラムにおいて、画像を所定の表示装置に表示する表示モジュールと、前記表示された画像上の第1の範囲の指定を指定する範囲指定モジュールと、前記画像から当該画像上の所定の特徴を有する少なくとも1つの第2の範囲を検出する範囲検出モジュールと、前記第1の範囲と前記第2の範囲の間における所定の関係に基づいて前記複数の種別の画像処理の中から少なくとも1つの種別を選択する処理種別選択モジュールとを備えることを特徴とする。
【0058】
上記第2の目的を達成するために、請求項36記載の記憶媒体は、請求項35記載のプログラムを格納することを特徴とする。
【発明の効果】
【0059】
請求項1記載の画像処理装置、請求項7記載の画像処理方法、請求項13記載のプログラム、又は請求項14記載の記憶媒体によれば、画像上において指定された所定の位置に関する情報を取得し、複数の種別の画像処理の中から選択された画像処理の種別に関する情報を取得し、取得された所定の位置に関する情報及び取得された画像処理の種別に関する情報に基づいて選択された種別の画像処理の対象となる画像上における所定の処理領域を特定して当該特定された処理領域上の画像の表示を変更するので、ユーザの操作性を向上させることができる。
【0060】
請求項2記載の画像処理装置又は請求項8記載の画像処理方法によれば、処理領域上の画像又は処理領域外の画像に関する情報及び選択された画像処理の種別に基づいて表示された画像のうち少なくとも一部の領域の画像に選択された種別の画像処理を施すので、処理領域上の画像及び処理領域外の画像の一方の画像に関する情報を得るために特定された処理領域を対象とする画像処理が施されるので、ユーザの操作性をより向上させることができる。
【0061】
請求項3記載の画像処理装置又は請求項9記載の画像処理方法によれば、複数の種別の画像処理が、処理領域上の画像に関する情報に基づいて表示された画像に所定の画像処理を施す種別の画像処理と、処理領域外の画像に関する情報に基づいて処理領域上の画像に所定の画像処理を施す種別の画像処理とを含むので、選択可能な画像処理の種別が幅広く、ユーザの操作性をさらに向上させることができる。
【0062】
請求項4記載の画像処理装置又は請求項10記載の画像処理方法によれば、処理領域の範囲を規定する形状が画像処理の種別に応じて予め設定されているので、画像処理の種別に応じて処理領域の範囲を規定する形状を画像処理の度に設定する必要性をなくすことができ、ユーザの操作性を向上させることができる。
【0063】
請求項5記載の画像処理装置又は請求項11記載の画像処理方法によれば、画像処理の種別を選択するための選択画面が所定の位置の近傍に表示されるので、ユーザは所定の位置を指定した後に容易に選択画面上で画像処理の種別を選択することができ、もってユーザの操作性を向上させることができる。
【0064】
請求項6記載の画像処理装置又は請求項12記載の画像処理方法によれば、第1の位置及び第2の位置のうち後に指定された位置の近傍に選択画面が表示されるので、ユーザの操作性をさらに向上させることができる。
【0065】
請求項15記載の画像処理装置、請求項18記載の画像処理方法、請求項21記載のプログラム、又は請求項22記載の記憶媒体によれば、表示装置に表示された画像上で画像処理すべき領域を指定し、複数種別の画像処理のうちから所望の画像処理を選択し、選択に応じて指定された領域の形状を変更するので、ユーザの操作性を向上させることができる。
【0066】
請求項23記載の画像処理装置、請求項29記載の画像処理方法、請求項35記載のプログラム、又は請求項36記載の記憶媒体によれば、所定の表示装置に表示された画像上の第1の範囲の指定を指定し、画像から当該画像上の所定の特徴を有する少なくとも1つの第2の範囲を検出し、第1の範囲と前記第2の範囲の間における所定の関係に基づいて複数の種別の画像処理の中から少なくとも1つの種別を選択するので、画像データに対して指定された第1の範囲に対して複数種別の画像処理の内の1つ以上の種別の画像処理が自動的に選択され、ユーザによる画像処理の種別の選択及び画像処理の実行をより簡単に行うことができる。
【図面の簡単な説明】
【0067】
【図1】本発明の第1の実施の形態に係る画像処理装置のハードウェア構成を概略的に示すブロック図である。
【図2】図1におけるディスプレイ装置に表示される画像編集画面の構成を例示する図である。
【図3】図1の情報処理装置によって実行される画像処理のフローチャートである。
【図4】図3のステップS107において実行される画像編集処理のフローチャートである。
【図5】図4のステップS206aで表示されるメニュー選択画面の一例を示す図である。
【図6】図4のステップS206aで表示されるメニュー選択画面の他の例を示す図である。
【図7】図4のステップS203及びS211において実行される編集領域表示処理のフローチャートである。
【図8】図7のステップS302で表示される矩形フレームの構成を示す図である。
【図9】図7のステップS303で表示される円形フレームの構成を示す図である。
【図10】図8の矩形フレームによって編集領域が規定されたときの画像編集画面を示す図である。
【図11】図9の円形フレームによって編集領域が規定されたときの画像編集画面を示す図である。
【図12】図5のメニュー選択画面の表示位置の変形例を示す図である。
【図13】図6のメニュー選択画面の表示位置の変形例を示す図である。
【図14】図8の矩形フレームの変形例を示す図である。
【図15】図8の矩形フレームの他の変形例を示す図である。
【図16】本発明の第2の実施の形態に係る画像処理装置のソフトウェア構成を概略的に示すブロック図である。
【図17】図16の情報処理装置によって実行される画像処理のフローチャートである。
【図18】図2の画像編集画面に重畳するように表示されている顔画像領域を説明する図である。
【図19】図16における顔画像検出部によって検出された顔画像領域が重畳表示された画像データ表示領域の構成を示す図である。
【図20】画像処理の種別が「美肌加工」である場合におけるユーザ指定範囲を説明する図である。
【図21】画像処理の種別が「しわ取り」である場合におけるユーザ指定範囲を説明する図である。
【図22】画像処理の種別が「ほくろ除去」である場合におけるユーザ指定範囲を説明する図である。
【図23】図17のステップS1109において実行される最適種別選択処理の詳細を示すフローチャートである。
【図24】図17のステップS1110において実行される実行設定処理の詳細を示すフローチャートである。
【図25】本発明の第3の実施の形態に係る画像処理装置が実行する画像処理のフローチャートである。
【図26】図25のステップS1410においてメニュー種別選択処理を行うためのメニュー種別選択画面の構成を示す図である。
【図27】図25のステップS1410で実行されるメニュー種別選択処理の詳細を示すフローチャートである。
【図28】本発明の第4の実施の形態に係る記憶媒体のメモリマップを示す図である。
【図29】従来の画像処理装置のLCDの表示画面の構成を例示する図である。
【図30】従来の情報処理装置が文書編集処理を実行するときのLCDの表示画面の一例を示す図である。
【発明を実施するための形態】
【0068】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
【0069】
図1は、本発明の第1の実施の形態に係る画像処理装置のハードウェア構成を概略的に示すブロック図である。
【0070】
図1において、第1の実施の形態に係る画像処理装置としての情報処理装置1000は、情報処理装置本体1001と、情報処理装置本体1001内の各部を制御するCPU1002と、ROM1003と、ハードディスクドライブ(HDD)1005と、HDD1005に対するアクセスを制御するHDDコントローラ1004と、RAM1006と、文字や画像を表示する表示手段としてのディスプレイ装置1008と、ディスプレイ装置1008を制御するディスプレイコントローラ1007と、キーボード1010と、ポインティングデバイス(指定手段)としてのマウス1011と、キーボード1010及びマウス1011を介したユーザからの所定の入力を受け付けるキーボード・マウスコントローラ1009と、システムバス1012とを備える。システムバス1012は、CPU1002、ROM1003、RAM1006、及び各コントローラ1004,1007,1009を互いに接続する。
【0071】
CPU1002、ROM1003、HDD1005、RAM1006、及び各コントローラ1004,1007,1009は、情報処理装置本体1001内部に設けられている。
【0072】
情報処理装置1000には、後述する画像編集アプリケーションソフトウェア(以下、単に「画像編集アプリケーション」という)がインストールされている。このインストールは、格別の理由がない限り1度だけ行われる。情報処理装置1000は、画像編集アプリケーションを実行することにより、画像に後述する図3の画像処理を施す画像処理装置として機能する。
【0073】
画像処理には、複数の種別があり、後述する編集領域上の画像に関する情報に基づいて後述する画像データ表示範囲2001(画像表示領域)上に表示された画像に所定の画像編集処理を施す種別のもの、例えば美肌加工処理と、上記編集領域外の画像に関する情報に基づいて当該編集領域上の画像に所定の画像編集処理を施す種別のもの、例えばシミとり処理とが含まれる。
【0074】
上記美肌加工処理では、人物の肌が美肌になるように人物を含む画像を補正する。具体的には、美肌加工処理は、編集領域上の画像の肌色の部分を人物の肌に関する情報として取得し、この取得した人物の肌に関する情報に基づいて、画像データ表示範囲2001上に表示された画像の人物の顔の肌に相当する領域の画像をスムージング処理するものである。上記シミとり処理では、人物を含む画像を、色置換処理により人物のシミなどがなくなるように補正する。具体的には、シミとり処理は、編集領域外の画像、特に編集領域の周囲の画像の色を、シミなどを含まない人物の肌の色の情報として取得し、この取得した人物の肌の色で編集領域内の画像の色を置換する色置換処理を行うものである。
【0075】
HDD1005には、情報処理装置1000を動作させるOS(オペレーティングシステム)と、上記インストールされた画像編集アプリケーションを含むアプリケーションソフトウェアと、上記画像編集アプリケーションを用いて実行される図3の画像処理の対象となる画像に対応する画像データとが格納されている。
【0076】
RAM1006には、CPU1002が各ソフトウェアを実行するときのワークエリアが確保されている。また、ROM1003は、CPU1002が各コントローラ1004,1007,1009を制御するためにHDD1005からRAM1006へOSをロードして起動するプログラムと、当該プログラムの実行で用いられるデータとを格納している。
【0077】
CPU1002は、システムバス1012及びブリッジ(不図示)を介して情報処理装置本体1001内部に設けられた各部を制御する。CPU1002は、HDD1005に格納されているOS及びアプリケーションソフトウェアをRAM1006にHDDコントローラ1004を介してロードし、ROM1003に格納されているプログラム、RAM1006に格納されているOS、及びアプリケーションソフトウェアを実行する。
【0078】
ディスプレイ装置1008、キーボード1010、及びマウス1011は、ユーザが情報処理装置1000と対話的に所定の処理を進行させるためのユーザインタフェース(UI)である。ディスプレイコントローラ1007は、CPU1002の制御の下で、ディスプレイ装置1008を制御する。ディスプレイ装置1008は、後述する図2の画像編集画面などを表示する。キーボード・マウスコントローラ1009は、CPU1002の制御の下で、キーボード1010、マウス1011を介したユーザからの入力を受け付ける。
【0079】
図2は、図1におけるディスプレイ装置1008に表示される画像編集画面の構成を例示する図である。
【0080】
図2に示す画像編集画面2000は、中央部に設けられ、後述する図3の画像処理の対象となる画像を表示する範囲を規定する画像データ表示範囲2001と、下部に設けられ、後述する図3の画像処理を終了するための終了ボタン2002とから構成されている。
【0081】
情報処理装置1000は、画像編集アプリケーションが実行されると、画像編集画面2000を表示し、ユーザによるマウス1011からの入力操作を介して画像データ表示範囲2001上の所定の範囲及び形状が規定された編集領域を特定し、該特定された編集領域上の画像又は編集領域外の画像に関する情報に基づいて、画像データ表示範囲2001上に表示された画像のうち少なくとも一部の領域の画像に画像処理を施す。なお、該少なくとも一部の領域は、画像編集処理の種別に応じて決定される。
【0082】
ユーザが、終了ボタン2002上にマウス1011のカーソルを配置させてマウス1011のボタン(以下、「マウスボタン」という)をクリック操作する、即ち終了ボタン2002を押下すると、画像編集アプリケーションが終了する。終了ボタン2002の押下時に、上記少なくとも一部の領域の画像が画像処理された画像に対応する画像データはHDD1005に格納される。
【0083】
図3は、図1の情報処理装置1000によって実行される画像処理のフローチャートである。本処理は、HDD1005からRAM1006にロードされた画像編集アプリケーションに基づいて実行される。
【0084】
図3において、まず、ステップS101では、ユーザは、ディスプレイ装置1008に表示された画像選択画面(図示せず)を介してHDD1005に格納されている複数の画像の中から画像を、例えばマウス1011で選択し、情報処理装置1000は、この選択を受付け、選択された画像に対応する画像データをHDD1005からRAM1006のワークエリアへ読込み、図2に示すような画像編集画面2000の画像データ表示範囲2001上に表示する(ステップS102)。
【0085】
続くステップS103では、画像編集アプリケーションで実行可能な複数種別の画像編集処理のうち、所定の画像編集処理の種別を特定するための変数tの値に初期値として「1」を格納(代入)する。
【0086】
なお、変数tの値としては、「1」及び「2」のいずれか一方の値が用いられる。変数tの値「1」は上記美肌加工処理に対応し、変数tの値「2」は上記シミとり処理に対応する。
【0087】
次いで、ユーザによってマウスボタンが押下(クリック)されたか否かを判別する(ステップS104)。情報処理装置1000は、クリックされるのを待ち、クリックされたときは(ステップS104でYES)、ステップS105へ進み、画像編集画面2000上におけるマウス1011のカーソルの位置を示す座標を取得し、取得した座標が終了ボタン2002の領域上にあるか否かを判別し、終了ボタン2002が押下されたか否かを判別する。
【0088】
ステップS105の判別の結果、終了ボタン2002が押下されていないときは、上記カーソルの位置を示す座標が画像データ表示範囲2001上にあるか否かを判別する(ステップS106)。ステップS106の判別の結果、座標が画像データ表示範囲2001上にあるときは、ステップS107に進み、後述する図4の画像編集処理を行って(画像処理手段)、ステップS104に戻る一方、座標が画像データ表示範囲2001上にないときは、ステップS107をスキップしてステップS104に戻る。なお、上記座標が画像データ表示範囲2001上及び終了ボタン2002の領域上にないときは、ユーザによるクリックを無視するように構成されている。
【0089】
一方、ステップS105の判別の結果、上記取得した座標が終了ボタン2002の領域上にあるときは、ステップS108に進み、ディスプレイ装置1008上の画像編集画面2000の画像データ表示範囲2001に表示されている画像に対応する画像データをHDD1005に格納する保存処理を行い、本処理を終了する。
【0090】
図3の処理によれば、変数tの初期値として「1」が格納される(ステップS103)ので、変数tの値「1」に対応する種別の画像編集処理を連続して実行することを容易にして、ユーザの操作性を向上させることができる。
【0091】
なお、上記ステップS103の処理において、変数tの初期値「2」が格納されてもよいし、前回の画像処理が実行されたときの画像編集処理の種別に対応する変数tの値が格納されてもよい。
【0092】
図4は、図3のステップS107において実行される画像編集処理のフローチャートである。
【0093】
図4において、まず、画像データ表示範囲2001上の1点をマウス1011のカーソルで指定するためにユーザがマウスボタンを押下する(図3のステップS104)のを待ち、マウスボタンが押下されたときは(ステップS200でYES)(第1の指定手段)、マウスボタンが押下された時点におけるマウス1011のカーソルの位置を示す画像表示領域2000上の座標を取得し(ステップS201)(第1の取得手段)、この取得した座標を、後述するドラッグ操作によるカーソル移動の開始点の位置を示す座標としてRAM1003に記録する。
【0094】
続くステップS202aでは、ユーザによるマウスボタンの押下が継続している状態でマウス1011を移動させる移動操作(ドラッグ操作)が行われ、情報処理装置1000は、ドラッグ操作によるマウス1011の移動後のカーソル移動の終了点の位置を示す画像表示領域2000上の座標を取得し(ステップS202b)(第2の指定手段)、後述する図8や図9に示すような編集領域を描画(表示)する後述する図7の編集領域表示処理を行う(ステップS203)。なお、編集領域は、ステップS201で取得された座標と、S202b又は後述するステップS205で取得された座標と、図3のステップS103又は後述するステップS208若しくはステップS210で格納された変数tの値とに基づいて、その範囲と形状とが規定される。
【0095】
続くステップS204では、ユーザがマウスボタンの押下の継続(ドラッグ操作)を中止したか否かを判別する。ステップS204の判別の結果、ドラッグ操作が中止されていないとき、即ちマウスボタンが押下されたままであるときは、ステップS202aの処理に戻り、ユーザによるドラッグ操作に追従するようにステップS202a〜S204の処理を繰り返す一方、ドラッグ操作が中止されたときは、ステップS205へ進み、ドラッグ操作が終了した時点におけるカーソル移動の終了点の位置を示す座標を取得してRAM1003に記録する(第2の指定手段)。
【0096】
次いで、ステップS206aでは、ステップS205で取得した終了点の近傍に後述する図5又は図6に示すようなメニュー選択画面をポップアップ表示する(他の表示手段)。なお、メニュー選択画面には、画像編集処理のメニュー項目として、「美肌加工」及び「シミとり」が表示されている。
【0097】
このとき、画像編集処理の種別を示す変数tの値が「1」であるときは(ステップS206bでYES)、ポップアップ表示されるメニュー選択画面は、図5に示すように、メニュー項目「美肌加工」を表示する領域が終了点を含む位置にあり、カーソルがメニュー項目「美肌加工」を表示する領域上に表示されて、メニュー項目「美肌加工」が選択されている状態となる(ステップS206c)(選択手段)。一方、変数tの値が「2」であるときは(ステップS206bでNO)、ポップアップ表示されるメニュー選択画面は、図6に示すように、メニュー項目「シミとり」を表示する領域が終了点を含む位置にあり、カーソルがメニュー項目「シミとり」を表示する領域上に表示されて、メニュー項目「シミとり」が選択されている状態となる(ステップS206d)(選択手段)。
【0098】
続くステップS207では、カーソルがメニュー項目「美肌加工」の表示領域上にあるか否かを判別し、メニュー項目「美肌加工」の表示領域上にあるときは、ステップS208へ進み、変数tの値に美肌加工処理に対応する値として「1」を格納し、ステップS211に進む。一方、メニュー項目「美肌加工」の表示領域上にないときは(ステップS207でNO)、カーソルがメニュー項目「シミとり」の表示領域上にあるか否かを判別する(ステップS209)。
【0099】
ステップS209の判別の結果、メニュー項目「シミとり」の表示領域上にあるとき、具体的には、ステップS206cでカーソルがメニュー項目「美肌加工」の表示領域上にある状態から、ユーザによるマウス1011の操作によりメニュー項目「シミとり」の表示領域上に移動したときや、ステップS206dでメニュー項目「シミとり」が選択されている状態にあるときは、ステップS210に進み、変数tの値にシミとり処理に対応する値として「2」を格納し、ステップS211に進む。なお、ステップS206dで、カーソルがメニュー項目「シミとり」の表示領域上にある状態から、ユーザによるマウス1011の操作によりメニュー項目「美肌加工」の表示領域上に移動したときは(ステップS209でNO)、ステップS210をスキップして、後述するステップS211〜S212を経てステップS206bに戻る。
【0100】
なお、ステップS207及びステップS209の判別の結果、カーソルがメニュー項目「美肌加工」及び「シミとり」の表示領域上にないときは、変数tの値を変更することなく、ステップS211へ進む。この場合には、メニュー選択画面はメニュー項目「美肌加工」及び「シミとり」のいずれの項目も選択されていない状態で表示される。
【0101】
続くステップS211では、ステップS203と同様に、後述する図7の編集領域表示処理を実行して、ステップS212に進み、ユーザによりクリックされたか否かを判別する。ステップS212の判別の結果、クリックされていないときは、ステップS206bの処理に戻り、ステップS206b〜S211でユーザによるメニュー項目の選択処理を繰り返す一方、クリックされたときは(選択手段)、ステップS213へ進んで、ステップS206aで表示したメニュー選択画面と、ステップS211で表示した編集領域とを消去する。
【0102】
次いで、ステップS214では、ステップS213で消去したメニュー選択画面におけるメニュー項目「美肌加工」が表示されていた領域上にカーソルがあるか否かを判別する。ステップS214の判別の結果、メニュー項目「美肌加工」が表示されていた領域上にカーソルがあるときは、ステップS215に進んで、上述した美肌加工処理を実行し、ディスプレイ装置1008の画像データ表示範囲2001に表示されている画像を、美肌加工処理が施された画像に更新し(ステップS218)、そして、本処理を終了する。
【0103】
ステップS214の判別の結果、メニュー項目「美肌加工」が表示されていた領域上にカーソルがないときは、ステップS216に進んで、メニュー項目「シミとり」が表示されていた領域上にカーソルがあるか否かを判別する。ステップS216の判別の結果、メニュー項目「シミとり」が表示されていた領域上にカーソルがあるときは、ステップS217に進んで、上述したシミとり処理を行う。その後、ディスプレイ装置1008の画像データ表示範囲2001に表示されている画像を、シミとり処理が施された画像に更新し(ステップS218)、そして、本処理を終了する。
【0104】
ステップS216の判別の結果、メニュー項目「シミとり」が表示されていた領域上にカーソルがないとき、即ち、メニュー選択画面が表示されていた領域の外部の領域上にカーソルがあるときにユーザがクリックしたときは、ユーザが編集領域の指定をキャンセルしたものとみなし、ステップS215,S217の画像編集処理、及びステップS218の画像更新処理をスキップして、本処理を終了する。
【0105】
図4の処理によれば、メニュー選択画面が終了点又はその近傍にポップアップ表示され(ステップS206a)、変数tの値に応じて、終了点又はその近傍にカーソルがあるときに、終了点を含む位置に、所定の種別の画像編集処理に対応するメニュー項目が表示されて、当該メニュー項目が選択された状態となる(ステップS206c,S206d)。
これにより、終了点の指定(ステップS205)の後にユーザによるマウス1011の移動量を極少化することができ、画像編集処理の種別をスムーズに選択することができ、ユーザの操作性を向上させることができる。
【0106】
また、ユーザは、ディスプレイ装置1008上で編集領域を確認した後に、編集領域の範囲の広さや、開始点や終了点の位置を変更したい場合には、メニュー選択画面以外の領域上にカーソルを移動させてクリックするという簡易な操作を行うことにより、編集領域の指定をキャンセルして再指定することを容易に行うことができる。
【0107】
図4の処理の変形例として、上述した図4の処理を、変数tに前回行った画像編集処理の種別に対応する値を格納するように構成することが可能である。これにより、ユーザが連続して同一の種別の画像編集処理を行うときに必要なマウス1011の移動操作を、実質的に、編集領域を指定するためのドラッグ操作だけにすることができ、ユーザの操作性をさらに向上させることができる。
【0108】
図7は、図4のステップS203及びS211において実行される編集領域表示処理のフローチャートである。
【0109】
図7において、まず、ステップS301では、変数tの値が「1」であるか否かを判別し(第2の取得手段)、変数tの値が「1」であるときは、ステップS302に進む一方、変数tの値が「2」であるときは、後述するステップS303に進む。
【0110】
続くステップS302では、矩形領域を表示しながら、美肌加工処理を実行したい領域を含む一応の領域を、ユーザに指定してもらう。例えば、画像データ表示範囲2001内に、図4のステップS201の開始点とステップS202b又はS205の終了点とを結ぶ線分3001を対角線とする図8に示すような矩形フレーム3002を表示する。その後、ユーザに指定してもらった領域内の画像、又は全領域の画像を解析して(ステップS304)、指定してもらった一応の領域付近で、実際に編集すべき領域を特定する(ステップS305)。例えば、シミとりすべき領域を規定する円形フレームをユーザが指定後に、画像解析により、実際にシミとり処理の対象となる領域を特定する。その後、実際に処理すべき領域をユーザに認識させるために、表示されているフレームの形状自体を変化させたり、若しくは表示されているフレーム以外の別のフレームを表示させたり、又は特定された画像処理対象領域以外の色を変更したりして、特定された領域がユーザに分かりやすいように表示する(ステップS306)。その後、本処理を終了する。なお、ステップS305において特定された実際に編集すべき領域は、矩形フレーム3002の内部の領域に限らず、ユーザが指定した一応の領域をはみ出るように特定された領域であってもよい。
【0111】
例えば、顔のほぼ全体の領域であるが例えば耳などの一部分がはみ出るような一応の領域をユーザが指定した後に、ステップS305の処理において、実際に美肌加工処理をすべき領域として耳などを含むような領域を特定する場合もある。この場合、例えば図8に示すように矩形フレーム3002で指定した一応の領域が、ステップS305,S306の処理において、フレームの形状が楕円形に変形されたり、顔全体の領域にフィッティングするような形状に変形されたりすることになる。
【0112】
また、図9に示すように円形フレーム3004で一応の領域をユーザが指定した場合には、ステップS304の画像解析結果に応じて、円形フレーム3004は、シミの認められた微小領域を示すような形状のフレームに表示変更されることになる。
【0113】
また、上記ステップS304の画像解析は、一応の領域をユーザが指定した後のタイミングで実行してもよいし、例えば全体の領域の画像を予め解析しておいてもよい。なお、大きな画像全体を予め解析処理することがコンピュータにとって大きな負荷になる場合には、ユーザが一応の領域を指定した後、ステップS206b〜S211の選択処理で選択されたメニュー項目に応じて画像解析を行うのが好ましい。
【0114】
例えば、図10に示す画像編集画面では、メニュー選択画面におけるメニュー項目「美肌加工」を表示している領域4001上にマウス1011のカーソル4002を移動させることにより、人物の顔全体を含むような範囲の指定に適した矩形フレーム3002で範囲が規定された編集領域4003を容易に確認することができる。
【0115】
また、ステップS303では、「シミとり」処理に適した編集領域、例えば、画像データ表示範囲2001内に、図4のステップS201の開始点とステップS202b又はS205の終了点とを結ぶ線分3003を直径とする図9に示すような円形フレーム3004を表示し、上記ステップS304〜S306の処理と同様の処理を実行し、そして、本処理を終了する。なお、編集領域(ユーザによって指定される一応の領域)は、円形フレーム3004の内部の領域である。
【0116】
例えば、図11に示す画像編集画面では、メニュー選択画面におけるメニュー項目「シミとり」を表示している領域4004上にマウス1011のカーソル4005を移動させることにより、シミ状画像を含むような範囲の指定に適した円形フレーム3004で範囲が規定された編集領域4006を容易に確認することができる。
【0117】
図7の処理によれば、変数tの値に応じて、画像編集処理の種別(美肌加工処理及びシミとり処理)に適した形状のフレームを表示する(ステップS302,S303)ので、ユーザは編集領域を容易に視認することができ、また、ユーザが編集領域を規定するフレームの形状を予め設定する操作を不要とすることができ、もってユーザの操作性を向上させることができる。
【0118】
図3、図4、及び図7の処理によれば、ドラッグ操作により編集領域の開始点及び終了点を指定した後、メニュー選択画面で画像編集処理の種別を指定するという共通の操作によって、編集領域の範囲を規定する形状を自動的に設定することができるので、画像編集処理の種別に依存することのない共通した操作により複数の種別の画像編集処理を容易に使い分けることができ、ユーザの操作性を向上させることができる。
【0119】
なお、上記第1の実施の形態において、画像処理は、美肌加工処理及びシミとり処理の2種類としたが、3種類以上であってもよい。この場合、画像処理の種別の数に対応するように変数tに設定可能な数値及びその数が決定される。また、画像処理の種別が同一であっても編集領域を規定するフレームの形状が互いに異なるような画像処理に、互いに異なる変数tを対応させることも可能である。
【0120】
また、上記実施の形態では、画像編集処理の種別は、美肌加工処理及びシミとり処理を含む画像補正処理であるとしたが、これに限られることはなく、トリミング、画像回転、画像反転等のいかなる種別の画像処理であってもよい。また、画像処理には、文書を編集する文書編集処理が含まれてもよい。
【0121】
図4のステップS206aで表示されるメニュー選択画面は、選択可能なメニュー項目を表示する順序は「美肌加工」、「シミとり」の順に固定されるように構成されている(図5、図6、及び図10乃至図13参照)が、最後に実行された画像編集処理の種別がメニュー選択画面の上部(最上位)から表示されるように、又は画像編集処理の使用頻度の高い種別の順にメニュー項目がメニュー選択画面の上部から表示されるように、メニュー項目の表示順序を動的に変更するように構成されていてもよい。
【0122】
また、図4のステップS206aにおいて、メニュー選択画面は、変数tの値に対応する画像編集処理のメニュー項目がドラッグ操作の終了点又はその近傍を含む領域に表示されるとしたが、図12又は図13に示すように、メニュー選択画面の表示する領域が、少なくともドラッグ操作の終了点を含まないように、又は編集領域の少なくとも一部を含まないように表示され、且つ変数tの値に対応するメニュー項目が終了点の近傍に位置するように表示してもよい。
【0123】
上記第1の実施の形態において、ドラッグ操作の終了点がディスプレイ装置1008の画像編集画面の最端部に位置しているなどの理由により、ドラッグ操作の終了点又はその近傍を含む領域にメニュー選択画面を表示することができない場合には、編集領域の近傍の他の領域にメニュー選択画面が表示される。
【0124】
また、本実施の形態では、編集領域の表示形式は、該編集領域を線から成るフレームで取囲む形式であるが、この形式に限られることはない。例えば、編集領域内の画像の色を特定の色に変換させる表示形式、画像領域領域内の画像を点滅表示させる形式、又はこれらを組み合わせた表示形式であってもよい。
【0125】
また、上記第1の実施の形態において、矩形フレーム3002には、例えば図14に示すような線分5001を対角線とする正方形フレーム5002が含まれる。また、矩形フレーム3002は、図15に示すような線分5003を中心として所定の幅方向に範囲を規定する矩形フレーム5004であってもよい。
【0126】
なお、本実施の形態では、編集領域を規定するために、マウス1011のドラッグ操作によって指定された開始点と終了点とを用いたが、この開始点及び終了点とは異なる他の点、例えば中間点やマウス1011のドラッグ操作によって自由に描かれる閉曲線上の複数の点をさらに用いてもよい。また、編集領域の範囲は、マウス1011をクリックすることによって指定された1点を中心とした所定の範囲で規定されてもよい。
【0127】
以下、本発明の第2の実施の形態に係る画像処理装置を説明する。
【0128】
本実施の形態に係る画像処理装置は、その構成及び要素が上記第1の実施の形態に係る情報処理装置1000と同様であるので、それらには同一の符号を付し、それらの説明を省略し、異なる点のみ説明する。
【0129】
図16は、本実施の形態に係る画像処理装置のソフトウェア構成を概略的に示すブロック図である。
【0130】
図16において、本実施の形態に係る画像処理装置としての情報処理装置1000は、編集対象となる画像を格納する画像格納部1101と、ディスプレイ1008における画像、マウスカーソル、並びに図2に示したような画像編集画面2000及び後述する図20乃至22の実行ボタン5010などの表示を制御する表示制御部1102と、マウス1011を介したユーザ入力を元に、マウス1011のカーソル(以下、「マウスカーソル」という)の位置を示すマウスカーソル座標データ、ボタンの押下に関するデータ、及びマウス1011のクリックの解放を示す解放データを生成する入力制御部1103と、画像格納部1101から取得した画像内に含まれる人物の顔の肌に相当する部分を顔画像領域として検出すると共に、該顔画像領域の全座標に関する座標データを生成する顔画像検出部1104と、画像処理の選択肢としてユーザに表示すべきメニュー情報を生成する画像処理選択部1105と、所定の画像処理を画像格納部1101に格納されている画像に対して行う画像処理部1106とを備える。なお、画像格納部1101は、HDD1005から読み込まれた画像を格納するRAM1006に相当する。
【0131】
CPU1002は、HDD1005からRAM1006にロードされたアプリケーションを実行することにより、前記表示制御部1102、入力制御部1103、顔画像検出部1104、画像処理選択部1105、及び画像処理部1106の各機能を実現する。また、CPU1002は、各機能に対応するアプリケーションの実行中に一時的に記録すべきデータをRAM1006のワークエリア内に格納し、このデータを必要に応じて参照する。
【0132】
表示制御部1102は、画像格納部1101から入力される画像、入力制御部1103から入力されるマウスカーソル座標データ、画像処理選択部1105から入力されるメニュー情報に従って、ディスプレイ1008における表示を制御する。顔画像検出部1104による顔画像領域の検出の方法は、どのような手法を用いてもよいが、例えば、特許文献4,5,6において提案されている手法を用いることができる。
【0133】
画像処理選択部1105は、入力制御部1103から入力されたマウスカーソル座標データ、ボタンの押下に関するデータ、及び解放データ、並びに顔画像検出部1104から入力された顔画像領域の座標データに基づいて、上記メニュー情報の生成を行う。
【0134】
画像処理部1106は、まず、入力制御部1103から入力されるマウスカーソル座標データ、画像処理選択部1105から入力されるメニュー情報を元に、ユーザ操作によって選択された画像処理の種別を判別し、次いで、画像格納部1101から画像処理対象の画像を取得し、該取得した画像に対して該判別結果に対応する種別の画像処理を施し、該画像処理結果の画像を画像格納部1101に再格納する。
【0135】
画像処理部1106は、画像処理対象とする画像に対して、後述の顔画像領域4013を滑らかに加工する「美肌加工」、人物の顔のしわを目立たないように加工する「しわ取り」、人物の顔にあるほくろやシミを見えなく加工する「ほくろ除去」の3つの種別の画像処理機能を有する。なお、各種別の画像処理は、上述した加工を実現するものであればいかなる処理方法であってもよい。
【0136】
ディスプレイ1008には、画像処理の対象とする画像を選択するためのダイアログボックス(不図示)が表示され、ユーザは、画像処理の対象とする画像又はその画像データ名をキーボード1010又はマウス1011を介して選択する。選択された画像に対応する画像データは、HDD1005から読み込まれ、RAM1006中のワークエリアである画像格納部1101に書き込まれる。表示制御部1102は、画像格納部1101に書き込まれた画像データをディスプレイ1008を介して図2に示したような画像編集画面2000における画像データ表示範囲2001に表示する。
【0137】
図17は、図16の情報処理装置1000によって実行される画像処理のフローチャートである。
【0138】
本処理は、HDD1005からRAM1006にロードされた画像編集アプリケーションに基づいてCPU1002によって実行される。
【0139】
図17において、まず、入力制御部1103は、マウスボタンが押下されるのを待機し、押下されたときは(ステップS1101でYES)、その時点での画像編集画面2000上におけるマウスカーソルの座標データを図18で後述するユーザ指定範囲3013の起点座標3011として取得し(ステップS1102)、次いで、現在の座標データ、即ちドラッグ操作中のマウスカーソルの位置を示す座標データを取得する(ステップS1103)。
【0140】
続くステップS1104では、表示制御部1102は、ステップS1102で取得された起点座標3011と、ステップS1103で取得された現在の座標とを入力制御部1103から取得し、それらに基づいて、起点と現在の位置を結ぶ線分を対角線とする矩形の内部の領域をユーザ指定範囲3013として設定し、該ユーザ指定範囲3013をディスプレイ1008に表示する。図18に示すように、起点座標3011と、現在の座標3012に基づいて設定された矩形のユーザ指定範囲3013は、画像編集画面2000に表示されている画像処理の対象である画像上に重畳するように表示される。
【0141】
ステップS1105では、入力制御部1103は、マウスボタンの押下の継続が中止されてユーザによるドラッグ操作を終了したか否かを判別する。マウスボタンが押下されたままであるときは、ステップS1103の処理に戻り、ユーザによるドラッグ操作に追従するようにステップS1103〜S1104の処理を繰り返す一方、ドラッグ操作が終了したときは、ステップS1106へ進んで、入力制御部1103は、ドラッグ操作が終了した時点におけるマウスカーソルの座標データを、現在の座標3012、即ちユーザ指定範囲3013の終点座標3012として取得する。
【0142】
続くステップS1107では、表示制御部1102は、ステップS1102で取得された起点座標3011と、ステップS1106で取得された終点座標3012とを入力制御部1103から取得し、それらの座標データに基づいて、起点と終点を結ぶ線分を対角線とする矩形の内部の領域をユーザ指定範囲3013(顔領域情報)として画像処理対象である画像に重畳するように表示する。
【0143】
ステップS1108では、顔画像検出部1104は、画像格納部1101から画像対象処理の画像データを取得し、そのデータの中から人物の顔の肌(特徴)に対応する部分を示す顔画像領域4013を検出すると共に、該顔画像領域4013の全座標に関する座標データを生成する。
【0144】
図19は、図16における顔画像検出部1104によって検出された顔画像領域4013が重畳表示された画像データ表示領域2001の構成を示す図である。
【0145】
図19に示すように、顔画像領域4013は、その左上端4011と右下端4012によってその形状、例えば矩形が規定されている。なお、図19における画像データ表示領域2001には、1人の人物の顔だけが表示されているが、複数の人物の顔が表示されている場合には、それら全ての顔の肌(特徴)に対応する部分を示す顔画像領域4013を検出し、複数の顔画像領域4013に対応する1群の座標データを生成する。
【0146】
図17に戻り、続いて、画像処理選択部1105は、上記3つの種別の画像処理の中から最適な種別のものを選択するために、後述する図23の最適種別選択処理を行い(ステップS1109)、選択された最適な種別の画像処理に対する実行の可否のいずれか一方を設定するために、後述する図24の実行設定処理を行い(ステップS1110)、選択された最適な種別の画像処理に対する実行の許可が設定されたときは、表示制御部1102は、ステップS1107で表示したユーザ指定範囲3013を示すフレームを消去し、画像格納部1101に格納されている画像データに対応する画像全体をディスプレイ1008に表示し(ステップS1111)、画像処理部1106は、画像格納部1101から画像データを取得して、該画像データ中の、ステップS1102及びS1106で取得された起点座標3011と終点座標3012に基づいて指定されたユーザ選択範囲3013を基準とした図20乃至図22を用いて後述する範囲に対して、ステップS1109で選択された種別の画像処理を実行し(ステップS1112)、本処理を終了する。ステップS1112の処理において画像処理が施された画像データは、画像格納部1101に格納され、これにより、画像格納部1101に格納されていた画像処理前の画像データは更新される。
【0147】
なお、上記ステップS1112で実行される画像処理の対象となる範囲は、ステップS1109で選択される画像処理の種別に応じて予め設定されている。具体的には、種別が「美肌加工」である場合には、ユーザ指定範囲3013及びその周囲に連続する顔画像領域4013が画像処理の対象となる範囲として設定され(図20)、種別が「しわ取り」である場合には、ユーザ指定範囲3013内部のみが画像処理の対象となる範囲として設定され(図21)、種別が「ほくろ除去」である場合には、ユーザ指定範囲3013内部のみが画像処理の対象となる範囲として設定される(図22)。なお、図20乃至図22においては、ディスプレイ1008に顔画像領域4013を視覚化するために、その形状を示す矩形フレームが表示されているが、顔画像領域4013の人物の肌の部分を視覚化するような画像処理方法であればいかなる方法であってもよい。また、顔画像領域4013を示すフレームをユーザに対して表示しなくてもよい。
【0148】
なお、図17の画像処理は、終了ボタン2002が選択されるまでの間、繰り返し実行される。
【0149】
図23は、図17のステップS1109において実行される最適種別選択処理の詳細を示すフローチャートである。
【0150】
本処理は、ステップS1102で取得した起点座標3011と、ステップS1106で取得した終点座標3012と、顔画像検出部1104からステップS1108で取得した1つ以上の顔画像領域4013に対応する1群の座標データとを元に、入力制御部1103が上記3つの種別の画像処理の中から最適な種別のものを選択するものである。
【0151】
図23において、まず、ステップS1201では、入力制御部1103が生成したユーザ指定範囲3013の起点座標3011及び終点座標3012を取得し、それらで規定されるユーザ指定範囲3013の座標データを取得すると共に、顔画像検出部1104が生成した顔画像領域4013の1群の座標データの中から、ユーザ指定範囲3013と少なくとも重複する1つの顔画像領域4013の座標データを取得し、続くステップS1202では、ユーザ指定範囲3013と該ユーザ指定範囲3013と少なくとも重複する顔画像領域4013との間で座標データの比較を行うことにより、双方の位置関係を取得する。
【0152】
ステップS1202における比較の結果、例えば図20に示すように、ユーザ指定範囲3013の面積の80%以上が顔画像領域4013に含まれている場合には(ステップS1202でYES)、ユーザ指定範囲3013と顔画像領域4013の面積を比較することにより面積比を取得し(ステップS1203)、該比較の結果、ユーザ指定範囲3013の面積が顔画像領域4013の面積の0.7倍以上1.5倍以下である場合には(ステップS1203でYES)、上記3つの種別の画像処理のうち、「美肌加工」を最適な種別として選択する(ステップS1204)。即ち、ユーザ指定範囲3013の面積の大部分が顔画像領域4013と重複しており、且つ顔画像領域4013の面積とほぼ一致する場合には、「美肌加工」のような顔全体に対する画像処理が最適種別として選択される。
そして、本処理を終了する。
【0153】
また、ステップS1203の比較の結果、ユーザ指定範囲3013の面積が顔画像領域4013の面積の0.7倍以上1.5倍以下でない場合には(ステップS1203でNO)、ユーザ指定範囲3013の面積の95%以上が顔画像領域4013に含まれているか否かを判別し(ステップS1205)、含まれている場合には、ユーザ指定範囲3013の面積が顔画像領域4013の面積の0.1倍以下であるか否かを判別し(ステップS1206)、0.1倍以下である場合には、ユーザ指定範囲3013の長辺の長さが短辺の長さの2倍以上であるか否かを判別し(ステップS1207)、例えば図21に示すようにユーザ指定範囲3013の長辺の長さが短辺の長さの2倍以上である場合には、上記3つの種別の画像処理のうち、「しわ取り」を最適な種別として選択する(ステップS1208)。即ち、ユーザ指定範囲3013の面積のほぼ全てが顔画像領域4013と重複しており、ユーザ指定範囲3013が顔画像領域4013の面積に比べて十分に小さく、且つユーザ指定範囲3013の形状が縦横比の異なる長方形である場合には、「しわ取り」のような、顔の一部分に対する画像処理であって、該画像処理の対象となる領域の形状が細長い場合が多い種別の画像処理が最適種別として選択される。そして、本処理を終了する。
【0154】
一方、例えば図22に示すようにユーザ指定範囲3013の長辺の長さが短辺の長さの2倍未満である場合には(ステップS1207でNO)、上記3つの種別の画像処理のうち、「ほくろ除去」を最適な種別として選択する(ステップS1209)。即ち、ユーザ指定範囲3013の面積ほぼ全てが顔画像領域4013と重複しており、ユーザ指定範囲3013が顔画像領域4013の面積に比べて十分に小さいものの、ユーザ指定範囲3013の形状が略正方形である場合には、「ほくろ除去」のような、顔の一部分に対する画像処理であって、対象領域が正方形に近い形状である場合が多い種別の画像処理が最適種別として選択される。そして、本処理を終了する。
【0155】
ユーザ指定範囲3013の面積の80%以上が顔画像領域4013に含まれてない場合(ステップS1202でNO)、ユーザ指定範囲3013の面積の95%以上が顔画像領域4013に含まれていない場合(ステップS1205でNO)、又はユーザ指定範囲3013の面積が顔画像領域4013の面積の0.1倍以下でない場合(ステップS1206でNO)には、ステップS1210において、顔画像検出部1104が生成した全ての顔画像領域4013の座標データについて上述した一連の判別処理、即ちステップS1202,S1203,S1205、及びS1206の判別処理を終了したか否かを判別し、終了していない場合には、ステップS1201へ戻り、他の顔画像領域4013についてステップS1202〜S1210の処理を実行し、終了した場合には、上記3つの種別の画像処理のうち、図17のステップS1112を前回に実行した際の種別の画像処理が再度繰り返される可能性が高いとみなし、当該種別を最適な種別として選択して、本処理を終了する。
【0156】
図23の処理によれば、起点座標3011及び終点座標3012で規定されるユーザ指定範囲3013と、顔画像領域4013とに基づいて、上記3つの種別の画像処理の中から最適な種別のものを選択する(ステップS1204,S1208,S1209、又はステップS1211)ので、画像データに対して指定された処理対象範囲に対して複数種別の画像処理、例えば補正及び加工のいずれかを行うときに、1つの種別の画像処理が自動的に選択され、ユーザが画像処理の種別を選択するのを省略することができ、もってユーザの操作性を向上させることができる。
【0157】
図24は、図17のステップS1110において実行される実行設定処理の詳細を示すフローチャートである。
【0158】
本処理は、まず、表示制御部1102が、図17のステップS1109で選択された画像処理の種別に応じた実行ボタン5010をディスプレイ1008に表示し、続いて、入力制御部1103がユーザによるマウス1011を介した実行ボタン5010に対する入力に関する情報を取得し、画像処理実行の可否のいずれか一方に関するデータを取得するものである。
【0159】
図24において、まず、ステップS1301では、図17のステップS1106で取得された終点座標3012の近傍に、図20に示すような実行ボタン5010を表示する。実行ボタン5010上には、ステップS1109で選択された最適種別名、例えば「美肌加工」が表示される。次いで、マウスボタンがクリックされるのを待機し、クリックされたときは(ステップS1302でYES)、マウスボタンがクリックされたときのマウスカーソルの座標データを取得することにより、マウスカーソルが実行ボタン5010上にあったか否かを判別し(ステップS1303)、マウスカーソルが実行ボタン5010上にあった場合には、図17のステップS1112で画像処理を行うよう設定し(ステップS1304)、本処理を終了する。
【0160】
一方、マウスカーソルが実行ボタン5010上になかった場合、即ち、マウスカーソルが実行ボタン5010と無関係の位置の上や画像編集画面2000における終了ボタン2002上にあった場合には、図17のステップS1112で画像処理を行わないよう設定することにより、ステップS1112をスキップして(ステップS1305)、図17の処理を終了する。また、このときユーザ指定範囲3013の指定も解除される。
【0161】
図17の処理によれば、顔画像検出部1104が検出する顔画像領域4013とユーザが指定したユーザ指定範囲3013の間における位置関係及び面積比、並びにユーザ指定範囲3013の形状(縦横比)に基づいて、最も適用される可能性が高いと想定される画像処理の種別を選択し(図23の一連の判別処理)、選択された画像処理の種別を実行ボタン5010上に表示し(図24のステップS1301)、ユーザが該実行ボタン5010をクリックするだけで画像処理の実行の許可を選択することができる(図24のステップS1304)ので、情報処理装置1000の操作性を向上させることができる。
【0162】
また、図17のステップS1109において最適種別を選択した後、直ちにステップS1112で画像処理を行わずに、ステップS1110で図24に示す実行設定処理を行うので、上記一連の判別処理の結果がユーザの意図と一致していたか否かの確認をユーザに促すことができる。すなわち、直ちに画像処理が行われないので、ディスプレイ1008にユーザ指定範囲3013が表示されたままとなり、ユーザは、ユーザ指定範囲3013の指定位置などの再確認を行うことができる。さらには、上記一連の判別処理の結果がユーザの意図と一致していなかった場合には、ステップS1305で画像処理を行わないように設定することにより、不適切な画像処理が行われることを回避することができる。
【0163】
また、ユーザが誤ってユーザ指定範囲3013の指定を行った場合などには、マウスカーソルが実行ボタン5010とは無関係の位置に表示されているときにマウスボタンに対して1回クリック操作を行うだけで簡単にユーザ指定範囲3013の指定を解除することができる。
【0164】
以下、本発明の第3の実施の形態に係る画像処理装置について説明する。
【0165】
上記第2の実施の形態では、図17のステップS1107でユーザ指定範囲3013が指定されると、ステップS1110で自動的に画像処理の最適種別名のみが記載された実行ボタン5010をディスプレイ1008に表示することにより、ユーザが画像処理の種別を選択する手間を省略してユーザの操作性を向上させる。これに対して、本実施の形態は、ユーザが所望する画像処理の種別を選択可能に構成することにより、自動的に選択された種別と異なる種別の画像処理を容易に選択することができるものである。
【0166】
本実施の形態に係る画像処理装置としての情報処理装置のハードウェア構成及びソフトウェア構成は、上記第1及び第2の実施の形態に係る画像処理装置(図1及び図16)と同一であるので、それらの説明を省略し、異なる点のみ説明する。
【0167】
図25は、第3の実施の形態に係る画像処理装置が実行する画像処理のフローチャートである。
【0168】
図25におけるステップS1401〜S1409及びS1411の処理は、上記第1の実施の形態における図17のステップS1101〜S1109及びS1111の処理と同じであるので、それらの説明を省略する。
【0169】
図25において、ステップS1410では、表示制御部1102が、ステップS1409での選択に従って、図26で後述するメニュー選択画面6010をディスプレイ1008に表示し、画像処理選択部1105が後述する図27のメニュー種別選択処理を行うことにより、入力制御部1103は、ユーザがマウス1011を介して入力した画像処理の種別を取得する。ステップS1412では、画像処理部1106は、ステップS1410で取得した種別の画像処理を実行する。
【0170】
図27は、図25のステップS1410で実行されるメニュー種別選択処理の詳細を示すフローチャートである。
【0171】
図27において、まず、図26におけるメニュー選択画面6010の最上位(上部)に表示すべき項目として図25のステップS1409で選択された最適種別名、例えば「美肌加工」を設定し(ステップS1501a)、該メニュー選択画面6010の下位に表示すべき項目として画像処理の他の種別名、例えば「しわ取り」及び「ほくろ除去」を設定し(ステップS1501b)、これらの項目が設定されたメニュー選択画面6010(メニュー情報)をディスプレイ1008に表示する(ステップS1502)。
【0172】
続くステップS1503では、マウスボタンがクリックされるのを待機し、クリックされたときは(ステップS1503でYES)、マウスボタンがクリックされたときのマウスカーソルの座標データを取得することにより、マウスカーソルがメニュー選択画面6010の選択可能な項目「美肌加工」上にあったか否かを判別し(ステップS1504)、項目「美肌加工」上にあった場合には、ステップS1412で種別が「美肌加工」の画像処理を行うように設定し(ステップS1505)、本処理を終了する。
【0173】
また、マウスカーソルがメニュー選択画面6010の選択可能な項目「しわ取り」上にあったか否かを判別し(ステップS1506)、項目「しわ取り」上にあった場合には、ステップS1412で種別が「しわ取り」の画像処理を行うように設定し(ステップS1507)、本処理を終了する。また、マウスカーソルがメニュー選択画面6010の選択可能な項目「ほくろ除去」上にあったか否かを判別し(ステップS1508)、項目「ほくろ除去」上にあった場合には、ステップS1412で種別が「ほくろ除去」の画像処理を行うように設定し(ステップS1509)、本処理を終了する。
【0174】
一方、マウスカーソルがメニュー選択画面6010上になかった場合(ステップS1504,S1506、及びS1508でNO)、即ち、マウスカーソルが実行ボタン5010と無関係の位置の上や画像編集画面2000における終了ボタン2002上にあった場合には、図25のステップS1412で画像処理を行わないよう設定することにより、ステップS1412をスキップして(ステップS1510)、図25の処理を終了する。また、このときユーザ指定範囲3013の指定も解除される。
【0175】
図25の処理によれば、図26に示すように、該メニュー表示画面6010を終点座標3012の近傍に表示し、最も適用される可能性が高いと想定される画像処理の種別をメニュー選択画面6010における最上位の項目に表示する(ステップS1501a及びS1502)ので、ユーザは、終点座標3012の近傍にあるマウスカーソルの位置をほとんど移動させることなく最適種別の画像処理を選択することができ、情報処理装置1000の操作性を向上させることができる。
【0176】
また、図25のステップS1409において自動的に選択された最適種別がユーザの意図と一致しなかった場合やユーザが誤ってユーザ指定範囲3013の指定を行った場合などには、上記第2の実施の形態による効果と同様の効果を奏することができる。
【0177】
図27のステップS1501bでは、最適種別として選択されなかった種別の全てをメニュー選択画面6010における下位項目として設定したが、明らかに適用されない種別を設定から除外するよう制御してもよい。例えば「美肌加工」が最適種別として選択された場合には、ユーザ指定範囲3013は顔画像領域4013の面積の大部分を占めているので、該ユーザ指定範囲3013に対して「しわ取り」や「ほくろ除去」といった種別の画像処理を適用するのは不適切であると判別して、「しわ取り」及び「ほくろ除去」を選択表示画面6010における下位項目として設定しないようにしてもよい。
【0178】
なお、上記第2及び第3の実施の形態では、画像処理の種別は、「美肌加工」、「しわ取り」、及び「ほくろ除去」の3つであるとしたが、これら以外の種別の画像処理、例えば「シミとり」にも適用することができる。また、画像処理の種別の数は、これらのうち2つ以上であれば、任意の数であってよい。また、上記第2及び第3の実施の形態で示した一連の判別処理、即ちユーザ指定範囲3013と顔画像領域4013の間における重複部分(位置関係)、面積比、及び形状の判別法は、画像処理の対象となる画像や実行される画像処理の種別に基づいて、適宜設定されることが好ましい。
【0179】
また、上記第2及び第3の実施の形態では、画像中の人物の顔の肌に対応する顔画像領域4013を検出し(ステップS1108,S1408)、この顔画像領域4013を最適種別選択処理で使用した(ステップS1109,S1409)が、これに代えて、人物の顔以外を対象とした画像処理を実行する場合には、当該画像処理に関連する画像領域の検出を行い、それを最適種別選択処理で使用する。
【0180】
また、ユーザ指定範囲3013の終点座標3012近傍に実行ボタン5010又はメニュー選択画面6010を表示した(ステップS1301,S1502)が、終点座標3012がディスプレイ装置1008の端部に位置しているなどの理由により、終点座標3012近傍に実行ボタン5010又はメニュー選択画面6010を表示することができない場合には、ユーザ指定範囲3013の近傍の他の位置に表示するよう制御してもよい。
【0181】
上記第2及び第3の実施の形態では、画像データ中からの顔画像領域4013の検出は、ステップS1108又はS1408の時点で顔画像検出部1104が行うとしたが、これに代えて、顔画像検出部1104が予め行っておいてもよい。この場合、ステップS1108,S1408では、画像処理選択部1105が既に検出されている顔画像領域4013の座標データを取得するように構成される。
【0182】
上記第2及び第3の実施の形態は、それぞれ、第1の実施の形態と組み合わせて実行してもよい。
【0183】
また、上記第1乃至第3の実施の形態では、画像処理の対象は、HDD1005から読み込んだ画像データであるとしたが、これに限られることはなく、画像編集アプリケーションによって新規に作成された画像データであってもよいし、情報処理装置1000がイメージセンサなどを用いた撮像などによって生成した画像データであってもよいし、又は、情報処理装置1000がインターネットなどのネットワークを介して外部から取得した画像データ若しくは外部から供給された画像データであってもよい。
【0184】
また、上述した各実施の形態では、画像編集アプリケーションが「美肌加工」等の画像処理までを一貫して行うとしたが、これに代えて、例えば、上記UIを介した第1のアプリケーションの実行によって画像処理の範囲及び種別を指示するデータを取得して蓄積し、第1のアプリケーションとは異なる第2のアプリケーションの実行によって第1のアプリケーションで蓄積されたデータに基づいて画像処理を行ってもよい。また、画像処理の範囲及び種別を指示するデータの取得及び蓄積と、該蓄積されたデータに基づく画像処理とをそれぞれ別の装置で行い、両装置間で画像処理の範囲及び種別を指示するデータを授受するように構成してもよい。
【0185】
また、上記実施の形態において位置や領域を指定するためのポインティングデバイスとして、マウス1011を用いているが、これに限定されることはなく、タッチパネル、スタイラスペンなどのタブレットなどを用いてもよい。また、キーボード1010を用いてもよい。
【0186】
また、上記実施の形態に係る画像処理装置は、画像編集アプリケーションがインストールされた情報処理装置1000としたが、情報処理装置1000としては、画像を表示することができるものであればいかなるものであってもよい。
【0187】
図28は、本発明の第4の実施の形態に係る記憶媒体のメモリマップを示す図である。
【0188】
本実施の形態に係る記憶媒体2800は、図28に示すような各種のプログラム(プログラムコード群)が記憶されたCD−ROM又はDVD−ROMなどから成る。各種プログラムに従属するデータは、記憶媒体2800における所定のディレクトリにおいて管理されている。
【0189】
また、記憶媒体2800には、上記プログラムを管理するための情報、例えばバージョン情報、作成者に関する情報なども記憶される。さらには、プログラム読み出し側のOS等に依存する情報、例えばプログラムを識別表示するアイコン等が記憶されていてもよいし、各種プログラムをコンピュータにインストールするためのプログラムや、インストールするプログラムが圧縮されている場合には、該プログラムを伸長するためのプログラムが記憶されていてもよい。
【0190】
また、本発明の目的は、上述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
【0191】
この場合、記憶媒体から読み出されたプログラムコード自体が上記各実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0192】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。又は、プログラムコードをネットワークを介してダウンロードしてもよい。
【0193】
また、コンピュータが読み出したプログラムコードを実行することにより、上記各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。
【0194】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。
【産業上の利用可能性】
【0195】
本発明の実施の形態に係る画像処理装置は、画像データに対して画像処理可能な情報処理装置などに適用することができる。
【符号の説明】
【0196】
1000 情報処理装置
1002 CPU
1003 ROM
1005 ハードディスクドライブ(HDD)
1006 RAM
1007 ディスプレイコントローラ
1008 ディスプレイ装置
1011 マウス
2001 画像データ表示範囲
3002 矩形フレーム
3004 円形フレーム

【特許請求の範囲】
【請求項1】
画像に複数の種別の画像処理の中から選択された所定の画像処理を施す画像処理装置において、前記画像を表示する表示手段と、前記表示された画像上における所定の位置を指定する指定手段と、前記指定された所定の位置に関する情報を取得する第1の取得手段と、前記表示された画像に施すべき画像処理の種別を前記複数の種別の画像処理の中から選択する選択手段と、前記選択された画像処理の種別に関する情報を取得する第2の取得手段と、前記取得された所定の位置に関する情報及び前記取得された画像処理の種別に関する情報に基づいて前記選択された種別の画像処理の対象となる前記表示された画像上における所定の処理領域を特定する特定手段と、前記特定された処理領域上の画像の表示を変更する表示変更手段とを備えることを特徴とする画像処理装置。
【請求項2】
前記処理領域上の画像又は前記処理領域外の画像に関する情報及び前記選択された画像処理の種別に基づいて前記表示された画像のうち少なくとも一部の領域の画像に前記選択された種別の画像処理を施す画像処理手段を備えることを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記複数の種別の画像処理は、前記処理領域上の画像に関する情報に基づいて前記表示された画像に所定の画像処理を施す種別の画像処理と、前記処理領域外の画像に関する情報に基づいて前記処理領域上の画像に所定の画像処理を施す種別の画像処理とを含むことを特徴とする請求項2記載の画像処理装置。
【請求項4】
前記処理領域は、その範囲を規定する形状が前記画像処理の種別に応じて予め設定されていることを特徴とする請求項2又は3記載の画像処理装置。
【請求項5】
前記表示された画像に施すべき画像処理の種別を前記複数の種別の画像処理の中から選択するための選択画面を前記取得された所定の位置の近傍に表示する他の表示手段を備えることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
【請求項6】
前記指定手段は、前記所定の位置として第1の位置を指定する第1の指定手段と、前記所定の位置として前記第1の位置とは異なる第2の位置を指定する第2の指定手段とから成り、前記他の表示手段は、前記指定された第1の位置及び第2の位置のうち後に指定された位置の近傍に前記選択画面を表示することを特徴とする請求項5記載の画像処理装置。
【請求項7】
画像に複数の種別の画像処理の中から選択された所定の画像処理を施す画像処理方法において、前記画像を表示する表示ステップと、前記表示された画像上における所定の位置を指定する指定ステップと、前記指定された所定の位置に関する情報を取得する第1の取得ステップと、前記表示された画像に施すべき画像処理の種別を前記複数の種別の画像処理の中から選択する選択ステップと、前記選択された画像処理の種別に関する情報を取得する第2の取得ステップと、前記取得された所定の位置に関する情報及び前記取得された画像処理の種別に関する情報に基づいて前記選択された種別の画像処理の対象となる前記表示された画像上における所定の処理領域を特定する特定ステップと、前記特定された処理領域上の画像の表示を変更する表示変更ステップとを有することを特徴とする画像処理方法。
【請求項8】
前記処理領域上の画像又は前記処理領域外の画像に関する情報及び前記選択された画像処理の種別に基づいて前記表示された画像のうち少なくとも一部の領域の画像に前記選択された種別の画像処理を施す画像処理ステップを有することを特徴とする請求項7記載の画像処理方法。
【請求項9】
前記複数の種別の画像処理は、前記処理領域上の画像に関する情報に基づいて前記表示された画像に所定の画像処理を施す種別の画像処理と、前記処理領域外の画像に関する情報に基づいて前記処理領域上の画像に所定の画像処理を施す種別の画像処理とを含むことを特徴とする請求項8記載の画像処理方法。
【請求項10】
前記処理領域は、その範囲を規定する形状が前記画像処理の種別に応じて予め設定されていることを特徴とする請求項8又は9記載の画像処理方法。
【請求項11】
前記表示された画像に施すべき画像処理の種別を前記複数の種別の画像処理の中から選択するための選択画面を前記取得された所定の位置の近傍に表示する他の表示ステップを有することを特徴とする請求項7乃至10のいずれか1項に記載の画像処理方法。
【請求項12】
前記指定ステップは、前記所定の位置として第1の位置を指定する第1の指定ステップと、前記所定の位置として前記第1の位置とは異なる第2の位置を指定する第2の指定ステップとから成り、前記他の表示ステップでは、前記指定された第1の位置及び第2の位置のうち後に指定された位置の近傍に前記選択画面を表示することを特徴とする請求項11記載の画像処理方法。
【請求項13】
画像に複数の種別の画像処理の中から選択された所定の画像処理を施す画像処理方法をコンピュータに実行させるプログラムにおいて、前記画像を表示する表示モジュールと、前記表示された画像上における所定の位置を指定する指定モジュールと、前記指定された所定の位置に関する情報を取得する第1の取得モジュールと、前記表示された画像に施すべき画像処理の種別を前記複数の種別の画像処理の中から選択する選択モジュールと、前記選択された画像処理の種別に関する情報を取得する第2の取得モジュールと、前記取得された所定の位置に関する情報及び前記取得された画像処理の種別に関する情報に基づいて前記選択された種別の画像処理の対象となる前記表示された画像上における所定の処理領域を特定する特定モジュールと、前記特定された処理領域上の画像の表示を変更する表示変更モジュールとを備えることを特徴とするプログラム。
【請求項14】
請求項13記載のプログラムを格納することを特徴とするコンピュータ読取り可能な記憶媒体。
【請求項15】
画像に複数種別の画像処理を選択的に実行可能な画像処理装置であって、表示装置に画像を表示させる第1表示制御手段と、前記表示装置に表示された画像上で、画像処理すべき領域を指定する領域指定手段と、前記複数種別の画像処理のうちから所望の画像処理を選択する選択手段と、前記選択手段による選択に応じて、前記領域指定手段により指定された領域の形状を変更する変更手段とを備えることを特徴とする画像処理装置。
【請求項16】
更に、前記選択手段により選択された画像処理の実行を指示する指示手段と、前記指示手段により指示がなされたことに応じて、前記変更手段により変更された形状の領域に対して、前記選択手段により選択された画像処理を行った結果を前記表示装置に表示させる第2表示制御手段とを備えることを特徴とする請求項15記載の画像処理装置。
【請求項17】
少なくとも前記領域指定手段により指定された領域内の画像を解析する解析手段を備え、前記変更手段は、前記選択手段により選択された画像処理の種別と、前記解析手段による解析結果とに応じて、前記領域指定手段により指定された領域の形状を変更することを特徴とする請求項15又は16記載の画像処理装置。
【請求項18】
画像に複数種別の画像処理を選択的に実行可能な画像処理方法であって、表示装置に画像を表示させる第1表示制御ステップと、前記表示装置に表示された画像上で、画像処理すべき領域を指定する領域指定ステップと、前記複数種別の画像処理のうちから所望の画像処理を選択する選択ステップと、前記選択ステップにおける選択に応じて、前記領域指定ステップにおいて指定された領域の形状を変更する変更ステップとを有することを特徴とする画像処理方法。
【請求項19】
更に、前記選択ステップにおいて選択された画像処理の実行を指示する指示ステップと、前記指示ステップにおいて指示がなされたことに応じて、前記変更ステップにおいて変更された形状の領域に対して、前記選択ステップにおいて選択された画像処理を行った結果を前記表示装置に表示させる第2表示制御ステップとを有することを特徴とする請求項18記載の画像処理方法。
【請求項20】
少なくとも前記領域指定ステップにおいて指定された領域内の画像を解析する解析ステップを有し、前記変更ステップでは、前記選択ステップにおいて選択された画像処理の種別と、前記解析ステップにおける解析結果とに応じて、前記領域指定ステップにおいて指定された領域の形状を変更することを特徴とする請求項18又は19記載の画像処理方法。
【請求項21】
画像に複数種別の画像処理を選択的に実行可能な画像処理方法をコンピュータに実行させるプログラムであって、表示装置に画像を表示させる第1表示制御モジュールと、前記表示装置に表示された画像上で、画像処理すべき領域を指定する領域指定モジュールと、前記複数種別の画像処理のうちから所望の画像処理を選択する選択モジュールと、前記選択モジュールによる選択に応じて、前記領域指定モジュールにより指定された領域の形状を変更する変更モジュールとを備えることを特徴とするプログラム。
【請求項22】
請求項21記載のプログラムを格納することを特徴とするコンピュータ読取り可能な記憶媒体。
【請求項23】
画像に複数の種別の画像処理の中から選択された所定の画像処理を施す画像処理装置において、画像を表示装置に表示する表示手段と、前記表示された画像上の第1の範囲の指定を指定する範囲指定手段と、前記画像から当該画像上の所定の特徴を有する少なくとも1つの第2の範囲を検出する範囲検出手段と、前記第1の範囲と前記第2の範囲の間における所定の関係に基づいて前記複数の種別の画像処理の中から少なくとも1つの種別を選択する処理種別選択手段とを備えることを特徴とする画像処理装置。
【請求項24】
前記表示手段は、前記選択された少なくとも1つの種別を前記表示装置に表示することを特徴とする請求項23記載の画像処理装置。
【請求項25】
前記選択された種別の画像処理を実行するか否かを設定する実行設定手段と、前記実行設定手段により実行が設定された種別の画像処理を実行する画像処理手段とを備えることを特徴とする請求項23又は24記載の画像処理装置。
【請求項26】
前記所定の特徴は人物の顔に関する情報から成ることを特徴とする請求項23乃至25のいずれか1項に記載の画像処理装置。
【請求項27】
前記第1の範囲と前記第2の範囲の間における所定の関係は位置関係を含むことを特徴とする請求項23乃至26のいずれか1項に記載の画像処理装置。
【請求項28】
前記第1の範囲と前記第2の範囲の間における所定の関係は面積比を含むことを特徴とする請求項23乃至27のいずれか1項に記載の画像処理装置。
【請求項29】
画像に複数の種別の画像処理の中から選択された種別の画像処理を施す画像処理方法において、画像を所定の表示装置に表示する表示ステップと、前記表示された画像上の第1の範囲の指定を指定する範囲指定ステップと、前記画像から当該画像上の所定の特徴を有する少なくとも1つの第2の範囲を検出する範囲検出ステップと、前記第1の範囲と前記第2の範囲の間における所定の関係に基づいて前記複数の種別の画像処理の中から少なくとも1つの種別を選択する処理種別選択ステップとを有することを特徴とする画像処理方法。
【請求項30】
前記表示ステップでは、前記選択された少なくとも1つの種別を前記表示装置に表示することを特徴とする請求項29記載の画像処理方法。
【請求項31】
前記選択された種別の画像処理を実行するか否かを設定する実行設定ステップと、前記実行設定ステップにおいて前記実行が設定された種別の画像処理を実行する画像処理ステップとを有することを特徴とする請求項29又は30記載の画像処理方法。
【請求項32】
前記所定の特徴は人物の顔に関する情報から成ることを特徴とする請求項29乃至31のいずれか1項に記載の画像処理方法。
【請求項33】
前記第1の範囲と前記第2の範囲の間における所定の関係は位置関係を含むことを特徴とする請求項29乃至32のいずれか1項に記載の画像処理方法。
【請求項34】
前記第1の範囲と前記第2の範囲の間における所定の関係は面積比を含むことを特徴とする請求項29乃至33のいずれか1項に記載の画像処理方法。
【請求項35】
画像に複数の種別の画像処理の中から選択された種別の画像処理を施す画像処理方法をコンピュータに実行させるプログラムにおいて、画像を所定の表示装置に表示する表示モジュールと、前記表示された画像上の第1の範囲の指定を指定する範囲指定モジュールと、前記画像から当該画像上の所定の特徴を有する少なくとも1つの第2の範囲を検出する範囲検出モジュールと、前記第1の範囲と前記第2の範囲の間における所定の関係に基づいて前記複数の種別の画像処理の中から少なくとも1つの種別を選択する処理種別選択モジュールとを備えることを特徴とするプログラム。
【請求項36】
請求項35記載のプログラムを格納することを特徴とするコンピュータ読取り可能な記憶媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate


【公開番号】特開2011−138528(P2011−138528A)
【公開日】平成23年7月14日(2011.7.14)
【国際特許分類】
【出願番号】特願2011−12238(P2011−12238)
【出願日】平成23年1月24日(2011.1.24)
【分割の表示】特願2005−46025(P2005−46025)の分割
【原出願日】平成17年2月22日(2005.2.22)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】