画像注目領域抽出方法、並びに当該方法を実現する電子機器、システム、及びプログラム
【課題】 ユーザが取得したいと意図した被写体を注目領域から外れることなく適切に抽出する電子機器等の提供。
【解決手段】 本発明の電子機器は、モニタ画像を取得する取得手段と、該モニタ画像に含まれる被写体を解析する解析手段と、該被写体に関する被写体情報を辞書データとして生成して保持する学習手段と、処理対象画像を取得する処理対象画像取得手段と、該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、を備え、該処理対象画像解析手段により得られた被写体情報と該辞書データとの比較判断に基づいて、該処理対象画像から注目領域を抽出する注目領域抽出手段と、該注目領域抽出手段により抽出された該注目領域に基づいてアプリ動作制御を行うアプリ動作制御手段と、を備える。
【解決手段】 本発明の電子機器は、モニタ画像を取得する取得手段と、該モニタ画像に含まれる被写体を解析する解析手段と、該被写体に関する被写体情報を辞書データとして生成して保持する学習手段と、処理対象画像を取得する処理対象画像取得手段と、該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、を備え、該処理対象画像解析手段により得られた被写体情報と該辞書データとの比較判断に基づいて、該処理対象画像から注目領域を抽出する注目領域抽出手段と、該注目領域抽出手段により抽出された該注目領域に基づいてアプリ動作制御を行うアプリ動作制御手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像注目領域抽出方法、より詳細には、ユーザが参照した携帯端末などの電子機器の画面上に表示された画像（写真）を学習することで、別の画像からユーザの興味と近い注目領域を抽出する方法に関する。
本発明は、また、当該方法を実現する電子機器、システム、及びプログラムに関する。
【背景技術】
【０００２】
一般に、携帯端末におけるカメラのライブビュー画像や撮影画像から画像の中心や人物などの注目領域を自動で抽出し、抽出した注目領域に基づいてハイライト表示し、スライドショーの際に種々のエフェクト処理をし、アルバム生成し、又はオートフォーカス（ＡＦ）し若しくはオート露出補正（ＡＥ）する技術が存在する。
そして、注目領域を抽出する技術として、特許文献１は、画像の中心位置や、人物画像等が位置する所定位置を中心として、撮影された画像を拡大する技術を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−７５４１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されているような画像の中心や人物を中心としてトリミングして、ハイライト表示やスライドショー等のアプリケーションを実行すると、次のような課題がある。
第１の課題は、画像の中心を注目領域として判断した場合、人物や背景の構造物の一部などが注目領域から外れてしまうという点である。
具体的には、撮影者ないし電子機器のユーザが取得ないし表示したいと意図した被写体が人物とその背景の構造物である場合において、画像の中心を基準として拡大してトリミングすると、人物の一部や構造物の一部が切れてしまい好ましくない画像になるという問題点があった。
第２の課題は、人物を注目領域として判断した場合、人物の背景の構造物が注目領域から外れてしまうという点である。
具体的には、先と同様、撮影者ないし電子機器のユーザが取得ないし表示したいと意図した被写体が人物とその背景の構造物である場合において、人物を基準として一定の領域を抽出してトリミングすると、背景の構造物が切れてしまうという問題点があった。
【０００５】
そこで、本発明は、ユーザが取得ないし表示したいと意図した被写体を注目領域から外れることなく適切に抽出する方法、並びに当該方法を実現する電子機器、画像注目領域抽出支援システム、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明による画像から注目領域を抽出する方法は、
モニタ画像を取得し、
該モニタ画像に含まれる被写体を解析し、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持し、
処理対象画像を取得し、
該処理対象画像に含まれる被写体を解析し、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較することにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断し、
同一又は類似する１又は２以上の被写体が含まれていると判断した場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出し、
該注目領域に基づいてアプリケーションの動作制御を行う。
【０００７】
本発明による電子機器は、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に該モニタ画像学習手段に保持されている被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備える。
【０００８】
本発明による画像注目領域抽出システムは、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
該サーバから辞書データを取得する辞書データ取得手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該辞書データ取得手段により取得された該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備えた電子機器と、
を備える。
【０００９】
本発明による他の画像注目領域抽出システムは、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像を該サーバに送信する処理対象画像送信手段と、
を備えた電子機器と、
を備えた画像注目領域抽出システムであって、
該サーバは、
該処理対象画像送信手段から送信された該処理対象画像を受信する処理対象画像受信手段と、
該処理対象画像受信手段により受信された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により注目領域が抽出された画像を該電子機器に送信する注目領域抽出画像送信手段と、
をさらに備え、
該電子機器は、
該注目領域抽出画像送信手段から送信された該注目領域抽出画像を受信する注目領域抽出画像受信手段と、
該注目領域抽出画像受信手段によって受信された該注目領域抽出画像に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
をさらに備える。
【００１０】
本発明による画像注目領域抽出プログラムは、
コンピュータに、
モニタ画像を取得させる機能と、
該モニタ画像に含まれる被写体を解析させる機能と、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持させる機能と、
処理対象画像を取得させる機能と、
該処理対象画像に含まれる被写体を解析させる機能と、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較させることにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断させる機能と、
同一又は類似する１又は２以上の被写体が含まれていると判断した場合に、該処理対象画像に含まれる同一又は類似であると判断した該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出させる機能と、
該注目領域に基づいてアプリケーションの動作制御を行わせる機能と、
を実行させる。
【発明の効果】
【００１１】
本発明によれば、ユーザが取得したいと意図した被写体を注目領域から外れることなく適切に抽出することができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態に係る携帯端末１を含むシステム構成図である。
【図２】第１実施形態に係る携帯端末１のブロック図である。
【図３】第１実施形態に係る携帯端末１の動作を示すフローチャート（辞書データ生成処理）である。
【図４】第１実施形態に係る携帯端末１の動作を示すフローチャート（注目領域抽出処理）である。
【図５】第１実施形態に係る携帯端末１の注目領域抽出処理の説明図である。
【図６】第１実施形態に係る携帯端末１の注目領域抽出処理の説明図である。
【図７】第１実施形態に係る携帯端末１の注目領域抽出処理の説明図である。
【図８】第２実施形態に係る画像注目領域抽出支援システムの構成図である。
【図９】第２実施形態に係る携帯端末１００のブロック図である。
【図１０】第２実施形態に係る携帯端末１００の動作を示すフローチャート（注目領域抽出処理）の説明図である。
【図１１】付記１の構成図である。
【発明を実施するための最良の形態】
【００１３】
（第１実施形態）
以下、図面を用いて、本発明の電子機器の一実施形態について説明する。本実施形態は、本発明を携帯端末１に適用した例である。
なお、本発明の携帯端末１としては、携帯電話、デジタルカメラ、スマートフォン等が典型であるが、ゲーム機、パーソナルコンピュータ（タブレットＰＣやノートＰＣを含む。）、デジタルフォトフレーム等にも適用可能である。端的に要すると、本発明は、辞書データに基づいて一定の処理が可能な電子機器に広く適用できる。
（１）システム構成
【００１４】
図１は、本発明の実施形態に係る通信システムの構成を示す図である。
図１において、携帯端末１は、移動無線通信機能及びメール送受信機能を備える。移動無線通信機能を用いて通話する場合、携帯端末１は、位置登録している基地局ＢＳを介して発信側の交換機ＳＷに発呼する。発信側の交換機ＳＷは、発呼に応じて、無線通信網ＲＮ中に設けられる加入者登録サーバ（不図示）から問い合せた着番号（加入者番号）及び位置登録情報に基づき着信側の交換機ＳＷを呼び出す。着信側の交換機ＳＷは、着信側の基地局ＢＳを介して着信側の携帯端末（不図示）を呼び出し、これに応じて着信側が着呼応答すると、発信側の交換機ＳＷと着信側の交換機ＳＷとのリンクが確立して通話可能になる。
【００１５】
メール送受信機能を用いて携帯端末１から送信されるメールは、基地局ＢＳ、交換機ＳＷおよび無線通信網ＲＮ中に設けられるゲートウェイサーバ（不図示）を経てインターネットＩＮに接続されているメールサーバＭＳに伝送される。メールサーバＭＳは、上述とは逆の経路で宛先のメールアドレスを有する携帯端末１にメールが送信される。
【００１６】
携帯端末１は、この他にも、ホームページサーバＨＳや電子書籍サーバＥＢＳを含め多くのサーバにアクセス可能であり、風景画像、人物画像、動物画像等の画像データを含むファイルをこれらのサーバから取得することができる。
（２）携帯端末の構成
【００１７】
図２は、本発明の実施形態に係る携帯端末１のブロック図である。
図２に示されているように、携帯端末１は、制御部２、無線通信部（送受信部）３、アンテナ４、音声信号処理部５、マイク６、スピーカ７、表示部８、操作部９、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１、撮像部１２、及び記録媒体１３を備える。
【００１８】
制御部２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、ＲＯＭ１０に記憶されたプログラムに従って携帯端末１の各部の動作を制御する。制御部２は、モニタ画像解析部２Ａ、モニタ画像学習部２Ｂ、注目領域抽出部２Ｃ、及びアプリ動作制御部２Ｄを備える。
モニタ画像解析部２Ａは、使用者が閲覧したホームページ、メール、電子書籍などからモニタ用の画像データを取得し、画像（写真）部分を認識し、その画像の特徴を解析する。解析対象となるモニタ画像は、これらから取得されるものの他、撮像部１２や記録媒体１３を介して取得された画像であってもよい。
なお、ここで言う「モニタ画像」ないし「モニタ用の画像」とは、後述する辞書データとして保持されて、注目領域を抽出する際に参照される参照画像を意味する。
モニタ画像解析部２Ａは、取得した画像から、次のような被写体情報について解析し、出力する。
【００１９】
（ａ）被写体（人物・ペット・小物・建物・山・海など）の特徴とその領域
たとえば、ユーザの取得したモニタ画像を解析して、被写体の中に人物、ペット、小物、建物、山、海などが含まれていた場合、それらの輪郭や色調、大きさ、年齢、種類などのパラメータに基づいて可能な範囲で分析し、それぞれの特徴点を得るようにしてデータ化する。
また、領域については、例えば被写体が画像全体の中で占める領域の割合や位置などの領域に関するパラメータを分析し、その特徴点を得るようにしてデータ化する。
（ｂ）構図
たとえば、建物や山などの被写体が画像全体に対して位置する位置情報などを分析して構図に関する情報を得る。あるいは、また、ハフ変換によって画像から直線を検出して、これを構図線として構図情報を解析することもできる。
（ｃ）アスペクト比
ここでいうアスペクト比とは、２次元形状の物の長辺と短辺の比率を意味する。すなわち、画像自体（画面自体）のアスペクト比でなく、画像に含まれている被写体のアスペクト比をいう。
モニタ画像解析部２Ａは、以上の解析結果をモニタ画像学習部２Ｂへ渡す。
【００２０】
モニタ画像学習部２Ｂは、モニタ画像解析部２Ａの解析結果を元に、画像の特徴を注目領域抽出部２Ｃが参照する辞書データとして生成し、辞書データ記憶部１１Ａに保持する。
【００２１】
注目領域抽出部２Ｃは、携帯端末１の撮像部１２により撮像されて表示部８にライブビュー表示される画像や、ＲＡＭ１１や記録媒体１３に記録されている撮影画像を解析し、注目領域を抽出する。具体的には、注目領域抽出部２Ｃは、ライブビュー表示等される画像に含まれる被写体に関する被写体情報とモニタ画像学習部２Ｂに保持されている辞書データとを、被写体のエッジ等の特徴、領域、構図、アスペクト比の少なくとも１つのパラメータに基づいて比較することにより、ライブビュー表示等される画像にモニタ画像学習部２Ｂに保持されている被写体と同一又は類似する被写体が含まれているかどうかを判断し、含まれていると判断した場合に、同一又は類似であるライブビュー表示等されている被写体が可及的にモニタ画像学習部２Ｂの辞書データに含まれる被写体と近くなるような形で含まれるように注目領域を抽出して出力する。
ライブビュー表示等されている画像に辞書データの被写体と同一又は類似する被写体が複数検出された場合には、注目領域抽出部２Ｃはこれら複数の被写体を含むように注目領域を抽出して出力する。
【００２２】
アプリ動作制御部２Ｄは、注目領域抽出部２Ｃの出力結果を元に、携帯端末１の機能に応じたアプリ動作を制御する。たとえば、表示部８にハイライト表示やスライドショーの際に種々のエフェクト処理をして表示制御する。あるいは、アルバム生成してＲＡＭ１１や記録媒体１３に記録する。あるいは、カメラ撮影時には、抽出領域が表示部８に表示されるように表示制御しつつ、オートフォーカス（ＡＦ）やオート露出補正（ＡＥ）等の撮像制御を行う。
【００２３】
無線通信部３は、携帯端末１が音声通話を行う際は、アンテナ４を介して受信された受話信号（無線信号）を復調して受話データに変換する。
音声信号処理部５は受話データをＤ／Ａ変換して得られるアナログ受話信号をスピーカ７に提供し、スピーカ７は提供されたアナログ受話信号に基づいて受話音声を発する。
マイク６は入力された送話音声をアナログ送話信号に変換して音声信号処理部５に提供し、音声信号処理部５は提供されたアナログ送話信号をＡ／Ｄ変換して送話データを得る。
無線通信部３は送話データを送信信号に変調し、送信信号がアンテナ４を介して送信される。
【００２４】
無線通信部３は、また、携帯端末１が画像を受信する際は、パケットに含まれる符号化された画像データを復号化し、画像データを制御部２に提供する。復号化された画像データは表示部８に表示される。
【００２５】
表示部８は、液晶ディスプレイと液晶駆動装置を備え、電話着信時の相手電話番号、電波状態、電池残量等の情報や、電子メール、Ｗｅｂサイト、電子書籍等の内容を表示する。表示部８は、また、撮像部１２によって撮像された画像や記録媒体１３に記録されている画像を表示する。
【００２６】
操作部９は、携帯端末１の操作用のキーを備え、具体的には、電源キー、数字や文字を入力する入力キー、アプリケーションの起動や終了を指示するアプリケーションキー等を備える。操作部９は、また、後述するモニタ画像参照モードとノーマルモードを選択するキーを有する。
【００２７】
ＲＯＭ１０には、後述する図２及び図３に示されたフローチャートを実行させるためのプログラムや、各種のアプリケーションを実行させるためのアプリケーションプログラムが格納されている。
【００２８】
ＲＡＭ１１は、各種データを記憶する不図示の各種記憶部を備える。たとえば、アドレス帳機能のアドレス帳情報（氏名、電話番号、メールアドレス等）を記憶するアドレス帳情報記憶部、送受信メールの内容や添付画像を記憶するメール情報記憶部、及びＷｅｂサイトのＵＲＬ情報や画像を記憶するＷｅｂ情報記憶部を備える。
ＲＡＭ１１は、また、これらの不図示の各種記憶部から抽出された画像データを辞書データとして記憶する辞書データ記憶部１１Ａを備える。
【００２９】
撮像部１２は、不図示のレンズ、ＴＴＬ（Ｔｈｒｏｕｇｈ ｔｈｅ Ｌｅｎｓ）露出計、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、Ａ／Ｄ変換回路、及びフレームメモリ等の撮像機構を備える。
撮像部１２により撮像された画像は、表示部８にライブビュー表示される。撮像部１２は、ユーザ操作による撮像時には、ＴＴＬ露出計の測光結果に基づき、オートフォーカス（ＡＦ）やオート露出補正（ＡＥ）等の機能を実行して被写体を撮像する。
ユーザの撮像指示に基づいて撮像された画像は、ＲＡＭ１１又は記憶媒体１３に記録される。
【００３０】
記録媒体１３は、フラッシュメモリを備えるメモリカード等の着脱自在の記録媒体であり、撮像部１２によって撮像された画像を記録可能である他、携帯端末１を用いずに撮像された画像を携帯端末１に取り込むことができる。この取り込まれた画像は、辞書データ記憶部１１Ａに記憶される画像とすることができる。
（３）携帯端末の動作
【００３１】
次に、上述した第１実施形態に係る携帯端末１の動作について説明する。以下の処理は、何れも、制御部２（又はモニタ画像解析部２Ａ、モニタ画像学習部２Ｂ、注目領域抽出部２Ｃ、若しくはアプリ動作制御部２Ｄ）によって実行される。
（３．１）辞書データ生成処理
【００３２】
図３は、携帯端末１の辞書データ生成処理に係る動作を説明するためのフローチャートである。
制御部２は、まず、ユーザによる操作部９の操作によって辞書データ生成指示が出されたかどうかを判断する。辞書データの生成とは、後述する注目領域抽出処理で参照される比較基準となる辞書データとしての画像データを生成する処理をいう。
ユーザ操作によって辞書データ生成指示が出されたと制御部２により判断された場合、図３の辞書データ生成処理に入る。
なお、以上のように、ユーザ指示で辞書生成する場合の他に、バックグラウンドで、画像を解析し、辞書データを生成するようにしてもよい。
【００３３】
ステップＳ１において、モニタ画像解析部２Ａは、使用者が閲覧したホームページ、メール、電子書籍などからモニタ用画像として用いられる画像を取得する。画像の取得源は、これらに限られず、撮像部１２を通じて撮像された画像や記録媒体１３に記録されている画像であってもよい。
ステップＳ２において、モニタ画像解析部２Ａは、ステップＳ１で取得された画像に対し、被写体に関する情報を把握するための解析を行う。たとえば、被写体（人物・ペット・小物・建物・山・海など）のエッジ等の特徴とその領域、画像の構図（すなわち被写体の位置情報）、及び被写体のアスペクト比などの被写体に関する情報を被写体情報として把握する。
【００３４】
ステップＳ３において、モニタ画像学習部２Ｂは、モニタ画像解析部２Ａの解析結果に基づいて、図４に則して後述する注目領域抽出部２Ｃが参照するための辞書データを生成する。
ステップＳ４において、モニタ画像学習部２Ｂは、ステップＳ３において生成された辞書データを、辞書データ記憶部１１Ａに保持する。
（３．２）注目領域抽出処理
【００３５】
図４は、携帯端末１の注目領域抽出処理に係る動作を説明するためのフローチャートである。
制御部２は、まず、ユーザによる操作部９の操作によってモニタ画像参照モードが選択されたかどうかを判断する。モニタ画像参照モードが選択されると、制御部２は、以下で説明するように、辞書データ記憶部１１Ａに保持された辞書データを参照しつつアプリケーションの動作制御を実行する。
すなわち、モニタ画像参照モードが選択されたと制御部２により判断された場合、処理は図４のルーチンに入る。
【００３６】
ステップＳ２１において、注目領域抽出部２Ｃは、表示部８にライブビュー表示されている画像や、ＲＡＭ１１や記録媒体１３に記録されている画像を処理対象画像として取得する。
ステップＳ２２において、注目領域抽出部２Ｃは、ステップＳ２１で取得された処理対象画像に対して解析を行う。解析の手順は、先述したステップＳ２と同様である。
【００３７】
ステップＳ２３において、注目領域抽出部２Ｃは、辞書データ記憶部１１Ａに記憶されている辞書データとステップＳ２２で取得された解析データとを比較する。比較は、双方の画像データがともに有するパラメータに沿って行われる。
【００３８】
ステップＳ２４において、注目領域抽出部２Ｃは、ステップＳ２３の比較結果に基づいて、ステップＳ２１で取得された処理対象画像から注目領域を抽出する。
この点について、図５及び図６を参照して説明する。
図５において、先のステップＳ１〜Ｓ４を通じて辞書データとして保持されている画像が「学習画像」として示されている。また、ステップＳ２１において取得された画像が「処理対象画像」として示されている。
図５に示すように、ステップＳ２２において処理対象画像の解析が行われ、ステップＳ２３において学習画像とステップＳ２２の解析結果との比較が行われる。
ステップＳ２３において学習画像に含まれる被写体と同一又は類似する被写体の存在を示すデータがステップＳ２２における解析結果に含まれている場合、制御部２は、処理対象画像から学習画像の被写体と同一又は類似する被写体を、辞書データとできるだけ近くなるような形で含むように、図５のように「抽出画像」として注目領域を抽出する。
【００３９】
処理対象画像の中心部分を基準にして一定の領域を抽出すると、たとえば図６の「中心抽出画像」のように建物も人物も切れてしまうことがある。
また、顔認識機能により処理対象画像の顔部分を基準にして一定の領域を抽出すると、図６の「顔認識抽出画像」のように建物が切れてしまうことがある。
本実施形態によれば、処理対象画像の中心を基準にして、学習画像の被写体と同一又は類似する被写体を含むようにステップＳ２４において抽出領域が決定される。したがって、これらの不都合が生じることなく、注目領域を抽出することができる。
なお、画像の抽出は、処理対象画像の中心を基準とせずに、顔認識機能により検出された人物の顔を、たとえば黄金分割点や３分割点の１点に位置させつつ、学習画像が含まれるように抽出してもよい。
また、画像の抽出は、図７の太い破線で示したように注目領域が存在する領域（エリア）を出力するようにしてもよい。
【００４０】
図４に戻り、ステップＳ２５において、アプリ動作制御部２Ｄは、抽出画像に基づいて、携帯端末１の機能に応じたアプリ動作を制御する。たとえば、ハイライト表示、スライドショーのエフェクト、アルバム生成への表示制御、カメラ撮影時のオートフォーカス（ＡＦ）やオート露出補正（ＡＥ）制御を行う。
そして、アプリ動作を制御するには、画像の中心や人物を中心としてトリミングして、ハイライト表示やスライドショー等のアプリケーションを実行するような場合であっても、人物や背景の構造物の一部などがハイライト表示やスライドショー等から外れてしまうことがない。すなわち、撮影者ないし携帯端末１のユーザが取得ないし表示したいと意図した被写体を注目領域から外れることなく適切に抽出して、ハイライト表示やスライドショー等のアプリケーションを最適に動作させることができる。
（第２実施形態）
【００４１】
第２実施形態は、辞書データ生成機能をサーバによって行うようにした画像の注目領域抽出支援システムに関する。
以下、このシステムについて、図８から図１０までを用いて説明する。
図８に示されているように、本実施携帯に係る画像の注目領域抽出支援システムは、辞書機能サービスを提供する辞書機能提供サーバＤＳと、このサービスの提供を受けて画像から注目領域を抽出する携帯端末１００とを備え、これらはインターネットＩＮ等を介して接続される。携帯端末１００と辞書機能提供サーバＤＳとを媒介する構成は、図１のものと同様である。
辞書機能提供サーバＤＳは、不図示のＣＰＵ、ＲＯＭ及びＲＡＭ等を備え、第１実施形態に係る図３と同様の手順で辞書データを生成し、生成された辞書データは携帯端末１００からの配信要求に基づいて配信される。
携帯端末１００は、第１実施形態に係る携帯端末１と同一部分について同一符号を用いて図９に示しているように、モニタ画像解析部２Ａとモニタ画像学習部２Ｂが不要である点を除き、携帯端末１と同様の構成を備える。
【００４２】
携帯端末１００は、図１０のフローチャートに従った処理を実行する。
図１０と図４の対比により明らかなように、図１０のステップＳ３１、Ｓ３２、Ｓ３５、及びＳ３６は、図４のステップＳ２１、Ｓ２２、Ｓ２４、及びＳ２５にそれぞれ対応するので説明を省略し、異なる点についてのみ以下で説明する。
図１０の処理手順においては、制御部２は、ステップＳ３３で辞書データを辞書機能提供サーバＤＳから取得し、取得したデータを辞書データ記憶部１１Ａに記憶する。
そして、注目領域抽出部２Ｃは、ステップＳ３４において、辞書データ記憶部１１Ａに記憶されている辞書データとステップＳ３２で取得された解析データとを比較する。
【００４３】
なお、第２実施形態の変形実施形態として、いわゆるシンクライアントのようにより多くの処理をサーバ側で実現するようにしてもよい。
たとえば、携帯端末側では、処理対象画像の取得と、取得画像のサーバへの送信と、処理済画像（注目領域抽出画像）の受信と、アプリ動作制御に係る最低限の処理を実行するようにし、他方サーバ側において、辞書データ生成処理の他、携帯端末から受信した画像を解析して学習データと比較する処理と、注目領域の抽出と、注目領域を抽出した画像の携帯端末への送信とを実行するようにしてもよい。
【００４４】
上記で示したフローチャートの手順を実現するプログラムコードは、当該プログラムコードを記録した記録媒体により提供されてもよい。たとえば、ＵＳＢメモリ、ＣＤ−ＲＯＭ、光磁気ディスク等により提供されてもよい。
（付記１から付記９まで）
【００４５】
以下、本発明の一側面について、付言する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
図１１は、付記１の構成図である。
この図に示すように、付記１に係る発明は、
モニタ画像を取得するモニタ画像取得手段４１と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段４２と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段４３と、
処理対象画像を取得する処理対象画像取得手段４４と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段４５と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に該モニタ画像学習手段に保持されている被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段４６と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段４７と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段４８と、
を備えた電子機器である。
（付記２）
付記２に係る発明は、
該モニタ画像解析手段及び該処理対象画像解析手段は、被写体の特徴、領域、構図、アスペクト比の少なくとも１つのパラメータについて被写体を解析し、
該比較判断手段は、これらのパラメータの内の少なくとも１つに基づいて、同一又は類似する画像かどうかを判断する付記１に記載の電子機器である。
（付記３）
付記３に係る発明は、
該モニタ画像学習手段は、該モニタ画像解析手段の解析結果に基づいて類似画像の統計処理を行って学習することにより、被写体情報を辞書データとして生成して保持する付記１又は２の何れか１つに記載の電子機器である。
（付記４）
付記４に係る発明は、
モニタ画像を取得し、
該モニタ画像に含まれる被写体を解析し、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持し、
処理対象画像を取得し、
該処理対象画像に含まれる被写体を解析し、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較することにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断し、
同一又は類似する１又は２以上の被写体が含まれていると判断した場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出し、
該注目領域に基づいてアプリケーションの動作制御を行う、
画像から注目領域を抽出する方法である。
（付記５）
付記５に係る発明は、
該モニタ画像の解析及び該処理対象画像の解析においては、被写体の特徴、領域、構図、アスペクト比の少なくとも１つのパラメータについて被写体を解析し、
該比較判断においては、これらのパラメータの内の少なくとも１つに基づいて、同一又は類似する被写体かどうかを判断する付記４に記載の方法である。
（付記６）
付記６に係る発明は、
該辞書データを保持する際は、該モニタ画像の解析結果に基づいて類似画像の統計処理を行って学習することにより、被写体情報を辞書データとして保持する付記４又は５の何れか１つに記載の方法である。
（付記７）
付記７に係る発明は、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
該サーバから辞書データを取得する辞書データ取得手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該辞書データ取得手段により取得された該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備えた電子機器と、
を備えた画像注目領域抽出支援するシステムである。
（付記８）
付記８に係る発明は、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像を該サーバに送信する処理対象画像送信手段と、
を備えた電子機器と、
を備えた画像注目領域抽出システムであって、
該サーバは、
該処理対象画像送信手段から送信された該処理対象画像を受信する処理対象画像受信手段と、
該処理対象画像受信手段により受信された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により注目領域が抽出された画像を該電子機器に送信する注目領域抽出画像送信手段と、
をさらに備え、
該電子機器は、
該注目領域抽出画像送信手段から送信された該注目領域抽出画像を受信する注目領域抽出画像受信手段と、
該注目領域抽出画像受信手段によって受信された該注目領域抽出画像に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
をさらに備えた、
画像注目領域抽出システムである。
（付記９）
付記９に係る発明は、
コンピュータに、
モニタ画像を取得させる機能と、
該モニタ画像に含まれる被写体を解析させる機能と、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持させる機能と、
処理対象画像を取得させる機能と、
該処理対象画像に含まれる被写体を解析させる機能と、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較させることにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断させる機能と、
同一又は類似する１又は２以上の被写体が含まれていると判断した場合に、該処理対象画像に含まれる同一又は類似であると判断した該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出させる機能と、
該注目領域に基づいてアプリケーションの動作制御を行わせる機能と、
を実行させる画像から注目領域を抽出するプログラムである。
【技術分野】
【０００１】
本発明は、画像注目領域抽出方法、より詳細には、ユーザが参照した携帯端末などの電子機器の画面上に表示された画像（写真）を学習することで、別の画像からユーザの興味と近い注目領域を抽出する方法に関する。
本発明は、また、当該方法を実現する電子機器、システム、及びプログラムに関する。
【背景技術】
【０００２】
一般に、携帯端末におけるカメラのライブビュー画像や撮影画像から画像の中心や人物などの注目領域を自動で抽出し、抽出した注目領域に基づいてハイライト表示し、スライドショーの際に種々のエフェクト処理をし、アルバム生成し、又はオートフォーカス（ＡＦ）し若しくはオート露出補正（ＡＥ）する技術が存在する。
そして、注目領域を抽出する技術として、特許文献１は、画像の中心位置や、人物画像等が位置する所定位置を中心として、撮影された画像を拡大する技術を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−７５４１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されているような画像の中心や人物を中心としてトリミングして、ハイライト表示やスライドショー等のアプリケーションを実行すると、次のような課題がある。
第１の課題は、画像の中心を注目領域として判断した場合、人物や背景の構造物の一部などが注目領域から外れてしまうという点である。
具体的には、撮影者ないし電子機器のユーザが取得ないし表示したいと意図した被写体が人物とその背景の構造物である場合において、画像の中心を基準として拡大してトリミングすると、人物の一部や構造物の一部が切れてしまい好ましくない画像になるという問題点があった。
第２の課題は、人物を注目領域として判断した場合、人物の背景の構造物が注目領域から外れてしまうという点である。
具体的には、先と同様、撮影者ないし電子機器のユーザが取得ないし表示したいと意図した被写体が人物とその背景の構造物である場合において、人物を基準として一定の領域を抽出してトリミングすると、背景の構造物が切れてしまうという問題点があった。
【０００５】
そこで、本発明は、ユーザが取得ないし表示したいと意図した被写体を注目領域から外れることなく適切に抽出する方法、並びに当該方法を実現する電子機器、画像注目領域抽出支援システム、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明による画像から注目領域を抽出する方法は、
モニタ画像を取得し、
該モニタ画像に含まれる被写体を解析し、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持し、
処理対象画像を取得し、
該処理対象画像に含まれる被写体を解析し、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較することにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断し、
同一又は類似する１又は２以上の被写体が含まれていると判断した場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出し、
該注目領域に基づいてアプリケーションの動作制御を行う。
【０００７】
本発明による電子機器は、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に該モニタ画像学習手段に保持されている被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備える。
【０００８】
本発明による画像注目領域抽出システムは、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
該サーバから辞書データを取得する辞書データ取得手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該辞書データ取得手段により取得された該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備えた電子機器と、
を備える。
【０００９】
本発明による他の画像注目領域抽出システムは、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像を該サーバに送信する処理対象画像送信手段と、
を備えた電子機器と、
を備えた画像注目領域抽出システムであって、
該サーバは、
該処理対象画像送信手段から送信された該処理対象画像を受信する処理対象画像受信手段と、
該処理対象画像受信手段により受信された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により注目領域が抽出された画像を該電子機器に送信する注目領域抽出画像送信手段と、
をさらに備え、
該電子機器は、
該注目領域抽出画像送信手段から送信された該注目領域抽出画像を受信する注目領域抽出画像受信手段と、
該注目領域抽出画像受信手段によって受信された該注目領域抽出画像に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
をさらに備える。
【００１０】
本発明による画像注目領域抽出プログラムは、
コンピュータに、
モニタ画像を取得させる機能と、
該モニタ画像に含まれる被写体を解析させる機能と、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持させる機能と、
処理対象画像を取得させる機能と、
該処理対象画像に含まれる被写体を解析させる機能と、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較させることにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断させる機能と、
同一又は類似する１又は２以上の被写体が含まれていると判断した場合に、該処理対象画像に含まれる同一又は類似であると判断した該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出させる機能と、
該注目領域に基づいてアプリケーションの動作制御を行わせる機能と、
を実行させる。
【発明の効果】
【００１１】
本発明によれば、ユーザが取得したいと意図した被写体を注目領域から外れることなく適切に抽出することができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態に係る携帯端末１を含むシステム構成図である。
【図２】第１実施形態に係る携帯端末１のブロック図である。
【図３】第１実施形態に係る携帯端末１の動作を示すフローチャート（辞書データ生成処理）である。
【図４】第１実施形態に係る携帯端末１の動作を示すフローチャート（注目領域抽出処理）である。
【図５】第１実施形態に係る携帯端末１の注目領域抽出処理の説明図である。
【図６】第１実施形態に係る携帯端末１の注目領域抽出処理の説明図である。
【図７】第１実施形態に係る携帯端末１の注目領域抽出処理の説明図である。
【図８】第２実施形態に係る画像注目領域抽出支援システムの構成図である。
【図９】第２実施形態に係る携帯端末１００のブロック図である。
【図１０】第２実施形態に係る携帯端末１００の動作を示すフローチャート（注目領域抽出処理）の説明図である。
【図１１】付記１の構成図である。
【発明を実施するための最良の形態】
【００１３】
（第１実施形態）
以下、図面を用いて、本発明の電子機器の一実施形態について説明する。本実施形態は、本発明を携帯端末１に適用した例である。
なお、本発明の携帯端末１としては、携帯電話、デジタルカメラ、スマートフォン等が典型であるが、ゲーム機、パーソナルコンピュータ（タブレットＰＣやノートＰＣを含む。）、デジタルフォトフレーム等にも適用可能である。端的に要すると、本発明は、辞書データに基づいて一定の処理が可能な電子機器に広く適用できる。
（１）システム構成
【００１４】
図１は、本発明の実施形態に係る通信システムの構成を示す図である。
図１において、携帯端末１は、移動無線通信機能及びメール送受信機能を備える。移動無線通信機能を用いて通話する場合、携帯端末１は、位置登録している基地局ＢＳを介して発信側の交換機ＳＷに発呼する。発信側の交換機ＳＷは、発呼に応じて、無線通信網ＲＮ中に設けられる加入者登録サーバ（不図示）から問い合せた着番号（加入者番号）及び位置登録情報に基づき着信側の交換機ＳＷを呼び出す。着信側の交換機ＳＷは、着信側の基地局ＢＳを介して着信側の携帯端末（不図示）を呼び出し、これに応じて着信側が着呼応答すると、発信側の交換機ＳＷと着信側の交換機ＳＷとのリンクが確立して通話可能になる。
【００１５】
メール送受信機能を用いて携帯端末１から送信されるメールは、基地局ＢＳ、交換機ＳＷおよび無線通信網ＲＮ中に設けられるゲートウェイサーバ（不図示）を経てインターネットＩＮに接続されているメールサーバＭＳに伝送される。メールサーバＭＳは、上述とは逆の経路で宛先のメールアドレスを有する携帯端末１にメールが送信される。
【００１６】
携帯端末１は、この他にも、ホームページサーバＨＳや電子書籍サーバＥＢＳを含め多くのサーバにアクセス可能であり、風景画像、人物画像、動物画像等の画像データを含むファイルをこれらのサーバから取得することができる。
（２）携帯端末の構成
【００１７】
図２は、本発明の実施形態に係る携帯端末１のブロック図である。
図２に示されているように、携帯端末１は、制御部２、無線通信部（送受信部）３、アンテナ４、音声信号処理部５、マイク６、スピーカ７、表示部８、操作部９、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１、撮像部１２、及び記録媒体１３を備える。
【００１８】
制御部２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、ＲＯＭ１０に記憶されたプログラムに従って携帯端末１の各部の動作を制御する。制御部２は、モニタ画像解析部２Ａ、モニタ画像学習部２Ｂ、注目領域抽出部２Ｃ、及びアプリ動作制御部２Ｄを備える。
モニタ画像解析部２Ａは、使用者が閲覧したホームページ、メール、電子書籍などからモニタ用の画像データを取得し、画像（写真）部分を認識し、その画像の特徴を解析する。解析対象となるモニタ画像は、これらから取得されるものの他、撮像部１２や記録媒体１３を介して取得された画像であってもよい。
なお、ここで言う「モニタ画像」ないし「モニタ用の画像」とは、後述する辞書データとして保持されて、注目領域を抽出する際に参照される参照画像を意味する。
モニタ画像解析部２Ａは、取得した画像から、次のような被写体情報について解析し、出力する。
【００１９】
（ａ）被写体（人物・ペット・小物・建物・山・海など）の特徴とその領域
たとえば、ユーザの取得したモニタ画像を解析して、被写体の中に人物、ペット、小物、建物、山、海などが含まれていた場合、それらの輪郭や色調、大きさ、年齢、種類などのパラメータに基づいて可能な範囲で分析し、それぞれの特徴点を得るようにしてデータ化する。
また、領域については、例えば被写体が画像全体の中で占める領域の割合や位置などの領域に関するパラメータを分析し、その特徴点を得るようにしてデータ化する。
（ｂ）構図
たとえば、建物や山などの被写体が画像全体に対して位置する位置情報などを分析して構図に関する情報を得る。あるいは、また、ハフ変換によって画像から直線を検出して、これを構図線として構図情報を解析することもできる。
（ｃ）アスペクト比
ここでいうアスペクト比とは、２次元形状の物の長辺と短辺の比率を意味する。すなわち、画像自体（画面自体）のアスペクト比でなく、画像に含まれている被写体のアスペクト比をいう。
モニタ画像解析部２Ａは、以上の解析結果をモニタ画像学習部２Ｂへ渡す。
【００２０】
モニタ画像学習部２Ｂは、モニタ画像解析部２Ａの解析結果を元に、画像の特徴を注目領域抽出部２Ｃが参照する辞書データとして生成し、辞書データ記憶部１１Ａに保持する。
【００２１】
注目領域抽出部２Ｃは、携帯端末１の撮像部１２により撮像されて表示部８にライブビュー表示される画像や、ＲＡＭ１１や記録媒体１３に記録されている撮影画像を解析し、注目領域を抽出する。具体的には、注目領域抽出部２Ｃは、ライブビュー表示等される画像に含まれる被写体に関する被写体情報とモニタ画像学習部２Ｂに保持されている辞書データとを、被写体のエッジ等の特徴、領域、構図、アスペクト比の少なくとも１つのパラメータに基づいて比較することにより、ライブビュー表示等される画像にモニタ画像学習部２Ｂに保持されている被写体と同一又は類似する被写体が含まれているかどうかを判断し、含まれていると判断した場合に、同一又は類似であるライブビュー表示等されている被写体が可及的にモニタ画像学習部２Ｂの辞書データに含まれる被写体と近くなるような形で含まれるように注目領域を抽出して出力する。
ライブビュー表示等されている画像に辞書データの被写体と同一又は類似する被写体が複数検出された場合には、注目領域抽出部２Ｃはこれら複数の被写体を含むように注目領域を抽出して出力する。
【００２２】
アプリ動作制御部２Ｄは、注目領域抽出部２Ｃの出力結果を元に、携帯端末１の機能に応じたアプリ動作を制御する。たとえば、表示部８にハイライト表示やスライドショーの際に種々のエフェクト処理をして表示制御する。あるいは、アルバム生成してＲＡＭ１１や記録媒体１３に記録する。あるいは、カメラ撮影時には、抽出領域が表示部８に表示されるように表示制御しつつ、オートフォーカス（ＡＦ）やオート露出補正（ＡＥ）等の撮像制御を行う。
【００２３】
無線通信部３は、携帯端末１が音声通話を行う際は、アンテナ４を介して受信された受話信号（無線信号）を復調して受話データに変換する。
音声信号処理部５は受話データをＤ／Ａ変換して得られるアナログ受話信号をスピーカ７に提供し、スピーカ７は提供されたアナログ受話信号に基づいて受話音声を発する。
マイク６は入力された送話音声をアナログ送話信号に変換して音声信号処理部５に提供し、音声信号処理部５は提供されたアナログ送話信号をＡ／Ｄ変換して送話データを得る。
無線通信部３は送話データを送信信号に変調し、送信信号がアンテナ４を介して送信される。
【００２４】
無線通信部３は、また、携帯端末１が画像を受信する際は、パケットに含まれる符号化された画像データを復号化し、画像データを制御部２に提供する。復号化された画像データは表示部８に表示される。
【００２５】
表示部８は、液晶ディスプレイと液晶駆動装置を備え、電話着信時の相手電話番号、電波状態、電池残量等の情報や、電子メール、Ｗｅｂサイト、電子書籍等の内容を表示する。表示部８は、また、撮像部１２によって撮像された画像や記録媒体１３に記録されている画像を表示する。
【００２６】
操作部９は、携帯端末１の操作用のキーを備え、具体的には、電源キー、数字や文字を入力する入力キー、アプリケーションの起動や終了を指示するアプリケーションキー等を備える。操作部９は、また、後述するモニタ画像参照モードとノーマルモードを選択するキーを有する。
【００２７】
ＲＯＭ１０には、後述する図２及び図３に示されたフローチャートを実行させるためのプログラムや、各種のアプリケーションを実行させるためのアプリケーションプログラムが格納されている。
【００２８】
ＲＡＭ１１は、各種データを記憶する不図示の各種記憶部を備える。たとえば、アドレス帳機能のアドレス帳情報（氏名、電話番号、メールアドレス等）を記憶するアドレス帳情報記憶部、送受信メールの内容や添付画像を記憶するメール情報記憶部、及びＷｅｂサイトのＵＲＬ情報や画像を記憶するＷｅｂ情報記憶部を備える。
ＲＡＭ１１は、また、これらの不図示の各種記憶部から抽出された画像データを辞書データとして記憶する辞書データ記憶部１１Ａを備える。
【００２９】
撮像部１２は、不図示のレンズ、ＴＴＬ（Ｔｈｒｏｕｇｈ ｔｈｅ Ｌｅｎｓ）露出計、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、Ａ／Ｄ変換回路、及びフレームメモリ等の撮像機構を備える。
撮像部１２により撮像された画像は、表示部８にライブビュー表示される。撮像部１２は、ユーザ操作による撮像時には、ＴＴＬ露出計の測光結果に基づき、オートフォーカス（ＡＦ）やオート露出補正（ＡＥ）等の機能を実行して被写体を撮像する。
ユーザの撮像指示に基づいて撮像された画像は、ＲＡＭ１１又は記憶媒体１３に記録される。
【００３０】
記録媒体１３は、フラッシュメモリを備えるメモリカード等の着脱自在の記録媒体であり、撮像部１２によって撮像された画像を記録可能である他、携帯端末１を用いずに撮像された画像を携帯端末１に取り込むことができる。この取り込まれた画像は、辞書データ記憶部１１Ａに記憶される画像とすることができる。
（３）携帯端末の動作
【００３１】
次に、上述した第１実施形態に係る携帯端末１の動作について説明する。以下の処理は、何れも、制御部２（又はモニタ画像解析部２Ａ、モニタ画像学習部２Ｂ、注目領域抽出部２Ｃ、若しくはアプリ動作制御部２Ｄ）によって実行される。
（３．１）辞書データ生成処理
【００３２】
図３は、携帯端末１の辞書データ生成処理に係る動作を説明するためのフローチャートである。
制御部２は、まず、ユーザによる操作部９の操作によって辞書データ生成指示が出されたかどうかを判断する。辞書データの生成とは、後述する注目領域抽出処理で参照される比較基準となる辞書データとしての画像データを生成する処理をいう。
ユーザ操作によって辞書データ生成指示が出されたと制御部２により判断された場合、図３の辞書データ生成処理に入る。
なお、以上のように、ユーザ指示で辞書生成する場合の他に、バックグラウンドで、画像を解析し、辞書データを生成するようにしてもよい。
【００３３】
ステップＳ１において、モニタ画像解析部２Ａは、使用者が閲覧したホームページ、メール、電子書籍などからモニタ用画像として用いられる画像を取得する。画像の取得源は、これらに限られず、撮像部１２を通じて撮像された画像や記録媒体１３に記録されている画像であってもよい。
ステップＳ２において、モニタ画像解析部２Ａは、ステップＳ１で取得された画像に対し、被写体に関する情報を把握するための解析を行う。たとえば、被写体（人物・ペット・小物・建物・山・海など）のエッジ等の特徴とその領域、画像の構図（すなわち被写体の位置情報）、及び被写体のアスペクト比などの被写体に関する情報を被写体情報として把握する。
【００３４】
ステップＳ３において、モニタ画像学習部２Ｂは、モニタ画像解析部２Ａの解析結果に基づいて、図４に則して後述する注目領域抽出部２Ｃが参照するための辞書データを生成する。
ステップＳ４において、モニタ画像学習部２Ｂは、ステップＳ３において生成された辞書データを、辞書データ記憶部１１Ａに保持する。
（３．２）注目領域抽出処理
【００３５】
図４は、携帯端末１の注目領域抽出処理に係る動作を説明するためのフローチャートである。
制御部２は、まず、ユーザによる操作部９の操作によってモニタ画像参照モードが選択されたかどうかを判断する。モニタ画像参照モードが選択されると、制御部２は、以下で説明するように、辞書データ記憶部１１Ａに保持された辞書データを参照しつつアプリケーションの動作制御を実行する。
すなわち、モニタ画像参照モードが選択されたと制御部２により判断された場合、処理は図４のルーチンに入る。
【００３６】
ステップＳ２１において、注目領域抽出部２Ｃは、表示部８にライブビュー表示されている画像や、ＲＡＭ１１や記録媒体１３に記録されている画像を処理対象画像として取得する。
ステップＳ２２において、注目領域抽出部２Ｃは、ステップＳ２１で取得された処理対象画像に対して解析を行う。解析の手順は、先述したステップＳ２と同様である。
【００３７】
ステップＳ２３において、注目領域抽出部２Ｃは、辞書データ記憶部１１Ａに記憶されている辞書データとステップＳ２２で取得された解析データとを比較する。比較は、双方の画像データがともに有するパラメータに沿って行われる。
【００３８】
ステップＳ２４において、注目領域抽出部２Ｃは、ステップＳ２３の比較結果に基づいて、ステップＳ２１で取得された処理対象画像から注目領域を抽出する。
この点について、図５及び図６を参照して説明する。
図５において、先のステップＳ１〜Ｓ４を通じて辞書データとして保持されている画像が「学習画像」として示されている。また、ステップＳ２１において取得された画像が「処理対象画像」として示されている。
図５に示すように、ステップＳ２２において処理対象画像の解析が行われ、ステップＳ２３において学習画像とステップＳ２２の解析結果との比較が行われる。
ステップＳ２３において学習画像に含まれる被写体と同一又は類似する被写体の存在を示すデータがステップＳ２２における解析結果に含まれている場合、制御部２は、処理対象画像から学習画像の被写体と同一又は類似する被写体を、辞書データとできるだけ近くなるような形で含むように、図５のように「抽出画像」として注目領域を抽出する。
【００３９】
処理対象画像の中心部分を基準にして一定の領域を抽出すると、たとえば図６の「中心抽出画像」のように建物も人物も切れてしまうことがある。
また、顔認識機能により処理対象画像の顔部分を基準にして一定の領域を抽出すると、図６の「顔認識抽出画像」のように建物が切れてしまうことがある。
本実施形態によれば、処理対象画像の中心を基準にして、学習画像の被写体と同一又は類似する被写体を含むようにステップＳ２４において抽出領域が決定される。したがって、これらの不都合が生じることなく、注目領域を抽出することができる。
なお、画像の抽出は、処理対象画像の中心を基準とせずに、顔認識機能により検出された人物の顔を、たとえば黄金分割点や３分割点の１点に位置させつつ、学習画像が含まれるように抽出してもよい。
また、画像の抽出は、図７の太い破線で示したように注目領域が存在する領域（エリア）を出力するようにしてもよい。
【００４０】
図４に戻り、ステップＳ２５において、アプリ動作制御部２Ｄは、抽出画像に基づいて、携帯端末１の機能に応じたアプリ動作を制御する。たとえば、ハイライト表示、スライドショーのエフェクト、アルバム生成への表示制御、カメラ撮影時のオートフォーカス（ＡＦ）やオート露出補正（ＡＥ）制御を行う。
そして、アプリ動作を制御するには、画像の中心や人物を中心としてトリミングして、ハイライト表示やスライドショー等のアプリケーションを実行するような場合であっても、人物や背景の構造物の一部などがハイライト表示やスライドショー等から外れてしまうことがない。すなわち、撮影者ないし携帯端末１のユーザが取得ないし表示したいと意図した被写体を注目領域から外れることなく適切に抽出して、ハイライト表示やスライドショー等のアプリケーションを最適に動作させることができる。
（第２実施形態）
【００４１】
第２実施形態は、辞書データ生成機能をサーバによって行うようにした画像の注目領域抽出支援システムに関する。
以下、このシステムについて、図８から図１０までを用いて説明する。
図８に示されているように、本実施携帯に係る画像の注目領域抽出支援システムは、辞書機能サービスを提供する辞書機能提供サーバＤＳと、このサービスの提供を受けて画像から注目領域を抽出する携帯端末１００とを備え、これらはインターネットＩＮ等を介して接続される。携帯端末１００と辞書機能提供サーバＤＳとを媒介する構成は、図１のものと同様である。
辞書機能提供サーバＤＳは、不図示のＣＰＵ、ＲＯＭ及びＲＡＭ等を備え、第１実施形態に係る図３と同様の手順で辞書データを生成し、生成された辞書データは携帯端末１００からの配信要求に基づいて配信される。
携帯端末１００は、第１実施形態に係る携帯端末１と同一部分について同一符号を用いて図９に示しているように、モニタ画像解析部２Ａとモニタ画像学習部２Ｂが不要である点を除き、携帯端末１と同様の構成を備える。
【００４２】
携帯端末１００は、図１０のフローチャートに従った処理を実行する。
図１０と図４の対比により明らかなように、図１０のステップＳ３１、Ｓ３２、Ｓ３５、及びＳ３６は、図４のステップＳ２１、Ｓ２２、Ｓ２４、及びＳ２５にそれぞれ対応するので説明を省略し、異なる点についてのみ以下で説明する。
図１０の処理手順においては、制御部２は、ステップＳ３３で辞書データを辞書機能提供サーバＤＳから取得し、取得したデータを辞書データ記憶部１１Ａに記憶する。
そして、注目領域抽出部２Ｃは、ステップＳ３４において、辞書データ記憶部１１Ａに記憶されている辞書データとステップＳ３２で取得された解析データとを比較する。
【００４３】
なお、第２実施形態の変形実施形態として、いわゆるシンクライアントのようにより多くの処理をサーバ側で実現するようにしてもよい。
たとえば、携帯端末側では、処理対象画像の取得と、取得画像のサーバへの送信と、処理済画像（注目領域抽出画像）の受信と、アプリ動作制御に係る最低限の処理を実行するようにし、他方サーバ側において、辞書データ生成処理の他、携帯端末から受信した画像を解析して学習データと比較する処理と、注目領域の抽出と、注目領域を抽出した画像の携帯端末への送信とを実行するようにしてもよい。
【００４４】
上記で示したフローチャートの手順を実現するプログラムコードは、当該プログラムコードを記録した記録媒体により提供されてもよい。たとえば、ＵＳＢメモリ、ＣＤ−ＲＯＭ、光磁気ディスク等により提供されてもよい。
（付記１から付記９まで）
【００４５】
以下、本発明の一側面について、付言する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
図１１は、付記１の構成図である。
この図に示すように、付記１に係る発明は、
モニタ画像を取得するモニタ画像取得手段４１と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段４２と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段４３と、
処理対象画像を取得する処理対象画像取得手段４４と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段４５と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に該モニタ画像学習手段に保持されている被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段４６と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段４７と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段４８と、
を備えた電子機器である。
（付記２）
付記２に係る発明は、
該モニタ画像解析手段及び該処理対象画像解析手段は、被写体の特徴、領域、構図、アスペクト比の少なくとも１つのパラメータについて被写体を解析し、
該比較判断手段は、これらのパラメータの内の少なくとも１つに基づいて、同一又は類似する画像かどうかを判断する付記１に記載の電子機器である。
（付記３）
付記３に係る発明は、
該モニタ画像学習手段は、該モニタ画像解析手段の解析結果に基づいて類似画像の統計処理を行って学習することにより、被写体情報を辞書データとして生成して保持する付記１又は２の何れか１つに記載の電子機器である。
（付記４）
付記４に係る発明は、
モニタ画像を取得し、
該モニタ画像に含まれる被写体を解析し、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持し、
処理対象画像を取得し、
該処理対象画像に含まれる被写体を解析し、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較することにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断し、
同一又は類似する１又は２以上の被写体が含まれていると判断した場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出し、
該注目領域に基づいてアプリケーションの動作制御を行う、
画像から注目領域を抽出する方法である。
（付記５）
付記５に係る発明は、
該モニタ画像の解析及び該処理対象画像の解析においては、被写体の特徴、領域、構図、アスペクト比の少なくとも１つのパラメータについて被写体を解析し、
該比較判断においては、これらのパラメータの内の少なくとも１つに基づいて、同一又は類似する被写体かどうかを判断する付記４に記載の方法である。
（付記６）
付記６に係る発明は、
該辞書データを保持する際は、該モニタ画像の解析結果に基づいて類似画像の統計処理を行って学習することにより、被写体情報を辞書データとして保持する付記４又は５の何れか１つに記載の方法である。
（付記７）
付記７に係る発明は、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
該サーバから辞書データを取得する辞書データ取得手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該辞書データ取得手段により取得された該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備えた電子機器と、
を備えた画像注目領域抽出支援するシステムである。
（付記８）
付記８に係る発明は、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像を該サーバに送信する処理対象画像送信手段と、
を備えた電子機器と、
を備えた画像注目領域抽出システムであって、
該サーバは、
該処理対象画像送信手段から送信された該処理対象画像を受信する処理対象画像受信手段と、
該処理対象画像受信手段により受信された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により注目領域が抽出された画像を該電子機器に送信する注目領域抽出画像送信手段と、
をさらに備え、
該電子機器は、
該注目領域抽出画像送信手段から送信された該注目領域抽出画像を受信する注目領域抽出画像受信手段と、
該注目領域抽出画像受信手段によって受信された該注目領域抽出画像に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
をさらに備えた、
画像注目領域抽出システムである。
（付記９）
付記９に係る発明は、
コンピュータに、
モニタ画像を取得させる機能と、
該モニタ画像に含まれる被写体を解析させる機能と、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持させる機能と、
処理対象画像を取得させる機能と、
該処理対象画像に含まれる被写体を解析させる機能と、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較させることにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断させる機能と、
同一又は類似する１又は２以上の被写体が含まれていると判断した場合に、該処理対象画像に含まれる同一又は類似であると判断した該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出させる機能と、
該注目領域に基づいてアプリケーションの動作制御を行わせる機能と、
を実行させる画像から注目領域を抽出するプログラムである。
【特許請求の範囲】
【請求項１】
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に該モニタ画像学習手段に保持されている被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備えた電子機器。
【請求項２】
該モニタ画像解析手段及び該処理対象画像解析手段は、被写体の特徴、領域、構図、アスペクト比の少なくとも１つのパラメータについて被写体を解析し、
該比較判断手段は、これらのパラメータの内の少なくとも１つに基づいて、同一又は類似する被写体かどうかを判断する請求項１に記載の電子機器。
【請求項３】
該モニタ画像学習手段は、該モニタ画像解析手段の解析結果に基づいて類似画像の統計処理を行って学習することにより、被写体情報を辞書データとして保持する請求項１又は２の何れか１項に記載の電子機器。
【請求項４】
モニタ画像を取得し、
該モニタ画像に含まれる被写体を解析し、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持し、
処理対象画像を取得し、
該処理対象画像に含まれる被写体を解析し、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較することにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断し、
同一又は類似する１又は２以上の被写体が含まれていると判断した場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出し、
該注目領域に基づいてアプリケーションの動作制御を行う、
画像注目領域抽出方法。
【請求項５】
該モニタ画像の解析及び該処理対象画像の解析においては、被写体の特徴、領域、構図、アスペクト比の少なくとも１つのパラメータについて被写体を解析し、
該比較判断においては、これらのパラメータの内の少なくとも１つに基づいて、同一又は類似する被写体かどうかを判断する請求項４に記載の画像注目領域抽出方法。
【請求項６】
該辞書データを保持する際は、該モニタ画像の解析結果に基づいて類似画像の統計処理を行って学習することにより、被写体情報を辞書データとして生成して保持する請求項４又は５の何れか１項に記載の画像注目領域抽出方法。
【請求項７】
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
該サーバから辞書データを取得する辞書データ取得手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該辞書データ取得手段により取得された該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備えた電子機器と、
を備えた画像注目領域抽出システム。
【請求項８】
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像を該サーバに送信する処理対象画像送信手段と、
を備えた電子機器と、
を備えた画像注目領域抽出システムであって、
該サーバは、
該処理対象画像送信手段から送信された該処理対象画像を受信する処理対象画像受信手段と、
該処理対象画像受信手段により受信された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により注目領域が抽出された画像を該電子機器に送信する注目領域抽出画像送信手段と、
をさらに備え、
該電子機器は、
該注目領域抽出画像送信手段から送信された該注目領域抽出画像を受信する注目領域抽出画像受信手段と、
該注目領域抽出画像受信手段によって受信された該注目領域抽出画像に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
をさらに備えた、
画像注目領域抽出システム。
【請求項９】
コンピュータに、
モニタ画像を取得させる機能と、
該モニタ画像に含まれる被写体を解析させる機能と、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持させる機能と、
処理対象画像を取得させる機能と、
該処理対象画像に含まれる被写体を解析させる機能と、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較させることにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断させる機能と、
同一又は類似する１又は２以上の被写体が含まれていると判断した場合に、該処理対象画像に含まれる同一又は類似であると判断した該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出させる機能と、
該注目領域に基づいてアプリケーションの動作制御を行わせる機能と、
を実行させる画像注目領域抽出プログラム。
【請求項１】
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に該モニタ画像学習手段に保持されている被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備えた電子機器。
【請求項２】
該モニタ画像解析手段及び該処理対象画像解析手段は、被写体の特徴、領域、構図、アスペクト比の少なくとも１つのパラメータについて被写体を解析し、
該比較判断手段は、これらのパラメータの内の少なくとも１つに基づいて、同一又は類似する被写体かどうかを判断する請求項１に記載の電子機器。
【請求項３】
該モニタ画像学習手段は、該モニタ画像解析手段の解析結果に基づいて類似画像の統計処理を行って学習することにより、被写体情報を辞書データとして保持する請求項１又は２の何れか１項に記載の電子機器。
【請求項４】
モニタ画像を取得し、
該モニタ画像に含まれる被写体を解析し、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持し、
処理対象画像を取得し、
該処理対象画像に含まれる被写体を解析し、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較することにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断し、
同一又は類似する１又は２以上の被写体が含まれていると判断した場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出し、
該注目領域に基づいてアプリケーションの動作制御を行う、
画像注目領域抽出方法。
【請求項５】
該モニタ画像の解析及び該処理対象画像の解析においては、被写体の特徴、領域、構図、アスペクト比の少なくとも１つのパラメータについて被写体を解析し、
該比較判断においては、これらのパラメータの内の少なくとも１つに基づいて、同一又は類似する被写体かどうかを判断する請求項４に記載の画像注目領域抽出方法。
【請求項６】
該辞書データを保持する際は、該モニタ画像の解析結果に基づいて類似画像の統計処理を行って学習することにより、被写体情報を辞書データとして生成して保持する請求項４又は５の何れか１項に記載の画像注目領域抽出方法。
【請求項７】
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
該サーバから辞書データを取得する辞書データ取得手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該辞書データ取得手段により取得された該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備えた電子機器と、
を備えた画像注目領域抽出システム。
【請求項８】
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像を該サーバに送信する処理対象画像送信手段と、
を備えた電子機器と、
を備えた画像注目領域抽出システムであって、
該サーバは、
該処理対象画像送信手段から送信された該処理対象画像を受信する処理対象画像受信手段と、
該処理対象画像受信手段により受信された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する１又は２以上の被写体が含まれていると判断された場合に、該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により注目領域が抽出された画像を該電子機器に送信する注目領域抽出画像送信手段と、
をさらに備え、
該電子機器は、
該注目領域抽出画像送信手段から送信された該注目領域抽出画像を受信する注目領域抽出画像受信手段と、
該注目領域抽出画像受信手段によって受信された該注目領域抽出画像に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
をさらに備えた、
画像注目領域抽出システム。
【請求項９】
コンピュータに、
モニタ画像を取得させる機能と、
該モニタ画像に含まれる被写体を解析させる機能と、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持させる機能と、
処理対象画像を取得させる機能と、
該処理対象画像に含まれる被写体を解析させる機能と、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較させることにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する１又は２以上の被写体が含まれているかどうかを判断させる機能と、
同一又は類似する１又は２以上の被写体が含まれていると判断した場合に、該処理対象画像に含まれる同一又は類似であると判断した該１又は２以上の被写体を含むように該処理対象画像から注目領域を抽出させる機能と、
該注目領域に基づいてアプリケーションの動作制御を行わせる機能と、
を実行させる画像注目領域抽出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−７３３０９（Ｐ２０１３−７３３０９Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１０２９６（Ｐ２０１１−２１０２９６）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]