画像注目領域抽出方法、並びに当該方法を実現する電子機器、システム、及びプログラム
【課題】 ユーザが取得したいと意図した被写体を注目領域から外れることなく適切に抽出する電子機器等の提供。
【解決手段】 本発明の電子機器は、モニタ画像を取得する取得手段と、該モニタ画像に含まれる被写体を解析する解析手段と、該被写体に関する被写体情報を辞書データとして生成して保持する学習手段と、処理対象画像を取得する処理対象画像取得手段と、該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、を備え、該処理対象画像解析手段により得られた被写体情報と該辞書データとの比較判断に基づいて、該処理対象画像から注目領域を抽出する注目領域抽出手段と、該注目領域抽出手段により抽出された該注目領域に基づいてアプリ動作制御を行うアプリ動作制御手段と、を備える。
【解決手段】 本発明の電子機器は、モニタ画像を取得する取得手段と、該モニタ画像に含まれる被写体を解析する解析手段と、該被写体に関する被写体情報を辞書データとして生成して保持する学習手段と、処理対象画像を取得する処理対象画像取得手段と、該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、を備え、該処理対象画像解析手段により得られた被写体情報と該辞書データとの比較判断に基づいて、該処理対象画像から注目領域を抽出する注目領域抽出手段と、該注目領域抽出手段により抽出された該注目領域に基づいてアプリ動作制御を行うアプリ動作制御手段と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像注目領域抽出方法、より詳細には、ユーザが参照した携帯端末などの電子機器の画面上に表示された画像(写真)を学習することで、別の画像からユーザの興味と近い注目領域を抽出する方法に関する。
本発明は、また、当該方法を実現する電子機器、システム、及びプログラムに関する。
【背景技術】
【0002】
一般に、携帯端末におけるカメラのライブビュー画像や撮影画像から画像の中心や人物などの注目領域を自動で抽出し、抽出した注目領域に基づいてハイライト表示し、スライドショーの際に種々のエフェクト処理をし、アルバム生成し、又はオートフォーカス(AF)し若しくはオート露出補正(AE)する技術が存在する。
そして、注目領域を抽出する技術として、特許文献1は、画像の中心位置や、人物画像等が位置する所定位置を中心として、撮影された画像を拡大する技術を開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000−75416号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載されているような画像の中心や人物を中心としてトリミングして、ハイライト表示やスライドショー等のアプリケーションを実行すると、次のような課題がある。
第1の課題は、画像の中心を注目領域として判断した場合、人物や背景の構造物の一部などが注目領域から外れてしまうという点である。
具体的には、撮影者ないし電子機器のユーザが取得ないし表示したいと意図した被写体が人物とその背景の構造物である場合において、画像の中心を基準として拡大してトリミングすると、人物の一部や構造物の一部が切れてしまい好ましくない画像になるという問題点があった。
第2の課題は、人物を注目領域として判断した場合、人物の背景の構造物が注目領域から外れてしまうという点である。
具体的には、先と同様、撮影者ないし電子機器のユーザが取得ないし表示したいと意図した被写体が人物とその背景の構造物である場合において、人物を基準として一定の領域を抽出してトリミングすると、背景の構造物が切れてしまうという問題点があった。
【0005】
そこで、本発明は、ユーザが取得ないし表示したいと意図した被写体を注目領域から外れることなく適切に抽出する方法、並びに当該方法を実現する電子機器、画像注目領域抽出支援システム、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明による画像から注目領域を抽出する方法は、
モニタ画像を取得し、
該モニタ画像に含まれる被写体を解析し、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持し、
処理対象画像を取得し、
該処理対象画像に含まれる被写体を解析し、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較することにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断し、
同一又は類似する1又は2以上の被写体が含まれていると判断した場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出し、
該注目領域に基づいてアプリケーションの動作制御を行う。
【0007】
本発明による電子機器は、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に該モニタ画像学習手段に保持されている被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備える。
【0008】
本発明による画像注目領域抽出システムは、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
該サーバから辞書データを取得する辞書データ取得手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該辞書データ取得手段により取得された該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備えた電子機器と、
を備える。
【0009】
本発明による他の画像注目領域抽出システムは、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像を該サーバに送信する処理対象画像送信手段と、
を備えた電子機器と、
を備えた画像注目領域抽出システムであって、
該サーバは、
該処理対象画像送信手段から送信された該処理対象画像を受信する処理対象画像受信手段と、
該処理対象画像受信手段により受信された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により注目領域が抽出された画像を該電子機器に送信する注目領域抽出画像送信手段と、
をさらに備え、
該電子機器は、
該注目領域抽出画像送信手段から送信された該注目領域抽出画像を受信する注目領域抽出画像受信手段と、
該注目領域抽出画像受信手段によって受信された該注目領域抽出画像に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
をさらに備える。
【0010】
本発明による画像注目領域抽出プログラムは、
コンピュータに、
モニタ画像を取得させる機能と、
該モニタ画像に含まれる被写体を解析させる機能と、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持させる機能と、
処理対象画像を取得させる機能と、
該処理対象画像に含まれる被写体を解析させる機能と、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較させることにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断させる機能と、
同一又は類似する1又は2以上の被写体が含まれていると判断した場合に、該処理対象画像に含まれる同一又は類似であると判断した該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出させる機能と、
該注目領域に基づいてアプリケーションの動作制御を行わせる機能と、
を実行させる。
【発明の効果】
【0011】
本発明によれば、ユーザが取得したいと意図した被写体を注目領域から外れることなく適切に抽出することができる。
【図面の簡単な説明】
【0012】
【図1】第1実施形態に係る携帯端末1を含むシステム構成図である。
【図2】第1実施形態に係る携帯端末1のブロック図である。
【図3】第1実施形態に係る携帯端末1の動作を示すフローチャート(辞書データ生成処理)である。
【図4】第1実施形態に係る携帯端末1の動作を示すフローチャート(注目領域抽出処理)である。
【図5】第1実施形態に係る携帯端末1の注目領域抽出処理の説明図である。
【図6】第1実施形態に係る携帯端末1の注目領域抽出処理の説明図である。
【図7】第1実施形態に係る携帯端末1の注目領域抽出処理の説明図である。
【図8】第2実施形態に係る画像注目領域抽出支援システムの構成図である。
【図9】第2実施形態に係る携帯端末100のブロック図である。
【図10】第2実施形態に係る携帯端末100の動作を示すフローチャート(注目領域抽出処理)の説明図である。
【図11】付記1の構成図である。
【発明を実施するための最良の形態】
【0013】
(第1実施形態)
以下、図面を用いて、本発明の電子機器の一実施形態について説明する。本実施形態は、本発明を携帯端末1に適用した例である。
なお、本発明の携帯端末1としては、携帯電話、デジタルカメラ、スマートフォン等が典型であるが、ゲーム機、パーソナルコンピュータ(タブレットPCやノートPCを含む。)、デジタルフォトフレーム等にも適用可能である。端的に要すると、本発明は、辞書データに基づいて一定の処理が可能な電子機器に広く適用できる。
(1)システム構成
【0014】
図1は、本発明の実施形態に係る通信システムの構成を示す図である。
図1において、携帯端末1は、移動無線通信機能及びメール送受信機能を備える。移動無線通信機能を用いて通話する場合、携帯端末1は、位置登録している基地局BSを介して発信側の交換機SWに発呼する。発信側の交換機SWは、発呼に応じて、無線通信網RN中に設けられる加入者登録サーバ(不図示)から問い合せた着番号(加入者番号)及び位置登録情報に基づき着信側の交換機SWを呼び出す。着信側の交換機SWは、着信側の基地局BSを介して着信側の携帯端末(不図示)を呼び出し、これに応じて着信側が着呼応答すると、発信側の交換機SWと着信側の交換機SWとのリンクが確立して通話可能になる。
【0015】
メール送受信機能を用いて携帯端末1から送信されるメールは、基地局BS、交換機SWおよび無線通信網RN中に設けられるゲートウェイサーバ(不図示)を経てインターネットINに接続されているメールサーバMSに伝送される。メールサーバMSは、上述とは逆の経路で宛先のメールアドレスを有する携帯端末1にメールが送信される。
【0016】
携帯端末1は、この他にも、ホームページサーバHSや電子書籍サーバEBSを含め多くのサーバにアクセス可能であり、風景画像、人物画像、動物画像等の画像データを含むファイルをこれらのサーバから取得することができる。
(2)携帯端末の構成
【0017】
図2は、本発明の実施形態に係る携帯端末1のブロック図である。
図2に示されているように、携帯端末1は、制御部2、無線通信部(送受信部)3、アンテナ4、音声信号処理部5、マイク6、スピーカ7、表示部8、操作部9、ROM(Read Only Memory)10、RAM(Random Access Memory)11、撮像部12、及び記録媒体13を備える。
【0018】
制御部2は、CPU(Central Processing Unit)を備え、ROM10に記憶されたプログラムに従って携帯端末1の各部の動作を制御する。制御部2は、モニタ画像解析部2A、モニタ画像学習部2B、注目領域抽出部2C、及びアプリ動作制御部2Dを備える。
モニタ画像解析部2Aは、使用者が閲覧したホームページ、メール、電子書籍などからモニタ用の画像データを取得し、画像(写真)部分を認識し、その画像の特徴を解析する。解析対象となるモニタ画像は、これらから取得されるものの他、撮像部12や記録媒体13を介して取得された画像であってもよい。
なお、ここで言う「モニタ画像」ないし「モニタ用の画像」とは、後述する辞書データとして保持されて、注目領域を抽出する際に参照される参照画像を意味する。
モニタ画像解析部2Aは、取得した画像から、次のような被写体情報について解析し、出力する。
【0019】
(a)被写体(人物・ペット・小物・建物・山・海など)の特徴とその領域
たとえば、ユーザの取得したモニタ画像を解析して、被写体の中に人物、ペット、小物、建物、山、海などが含まれていた場合、それらの輪郭や色調、大きさ、年齢、種類などのパラメータに基づいて可能な範囲で分析し、それぞれの特徴点を得るようにしてデータ化する。
また、領域については、例えば被写体が画像全体の中で占める領域の割合や位置などの領域に関するパラメータを分析し、その特徴点を得るようにしてデータ化する。
(b)構図
たとえば、建物や山などの被写体が画像全体に対して位置する位置情報などを分析して構図に関する情報を得る。あるいは、また、ハフ変換によって画像から直線を検出して、これを構図線として構図情報を解析することもできる。
(c)アスペクト比
ここでいうアスペクト比とは、2次元形状の物の長辺と短辺の比率を意味する。すなわち、画像自体(画面自体)のアスペクト比でなく、画像に含まれている被写体のアスペクト比をいう。
モニタ画像解析部2Aは、以上の解析結果をモニタ画像学習部2Bへ渡す。
【0020】
モニタ画像学習部2Bは、モニタ画像解析部2Aの解析結果を元に、画像の特徴を注目領域抽出部2Cが参照する辞書データとして生成し、辞書データ記憶部11Aに保持する。
【0021】
注目領域抽出部2Cは、携帯端末1の撮像部12により撮像されて表示部8にライブビュー表示される画像や、RAM11や記録媒体13に記録されている撮影画像を解析し、注目領域を抽出する。具体的には、注目領域抽出部2Cは、ライブビュー表示等される画像に含まれる被写体に関する被写体情報とモニタ画像学習部2Bに保持されている辞書データとを、被写体のエッジ等の特徴、領域、構図、アスペクト比の少なくとも1つのパラメータに基づいて比較することにより、ライブビュー表示等される画像にモニタ画像学習部2Bに保持されている被写体と同一又は類似する被写体が含まれているかどうかを判断し、含まれていると判断した場合に、同一又は類似であるライブビュー表示等されている被写体が可及的にモニタ画像学習部2Bの辞書データに含まれる被写体と近くなるような形で含まれるように注目領域を抽出して出力する。
ライブビュー表示等されている画像に辞書データの被写体と同一又は類似する被写体が複数検出された場合には、注目領域抽出部2Cはこれら複数の被写体を含むように注目領域を抽出して出力する。
【0022】
アプリ動作制御部2Dは、注目領域抽出部2Cの出力結果を元に、携帯端末1の機能に応じたアプリ動作を制御する。たとえば、表示部8にハイライト表示やスライドショーの際に種々のエフェクト処理をして表示制御する。あるいは、アルバム生成してRAM11や記録媒体13に記録する。あるいは、カメラ撮影時には、抽出領域が表示部8に表示されるように表示制御しつつ、オートフォーカス(AF)やオート露出補正(AE)等の撮像制御を行う。
【0023】
無線通信部3は、携帯端末1が音声通話を行う際は、アンテナ4を介して受信された受話信号(無線信号)を復調して受話データに変換する。
音声信号処理部5は受話データをD/A変換して得られるアナログ受話信号をスピーカ7に提供し、スピーカ7は提供されたアナログ受話信号に基づいて受話音声を発する。
マイク6は入力された送話音声をアナログ送話信号に変換して音声信号処理部5に提供し、音声信号処理部5は提供されたアナログ送話信号をA/D変換して送話データを得る。
無線通信部3は送話データを送信信号に変調し、送信信号がアンテナ4を介して送信される。
【0024】
無線通信部3は、また、携帯端末1が画像を受信する際は、パケットに含まれる符号化された画像データを復号化し、画像データを制御部2に提供する。復号化された画像データは表示部8に表示される。
【0025】
表示部8は、液晶ディスプレイと液晶駆動装置を備え、電話着信時の相手電話番号、電波状態、電池残量等の情報や、電子メール、Webサイト、電子書籍等の内容を表示する。表示部8は、また、撮像部12によって撮像された画像や記録媒体13に記録されている画像を表示する。
【0026】
操作部9は、携帯端末1の操作用のキーを備え、具体的には、電源キー、数字や文字を入力する入力キー、アプリケーションの起動や終了を指示するアプリケーションキー等を備える。操作部9は、また、後述するモニタ画像参照モードとノーマルモードを選択するキーを有する。
【0027】
ROM10には、後述する図2及び図3に示されたフローチャートを実行させるためのプログラムや、各種のアプリケーションを実行させるためのアプリケーションプログラムが格納されている。
【0028】
RAM11は、各種データを記憶する不図示の各種記憶部を備える。たとえば、アドレス帳機能のアドレス帳情報(氏名、電話番号、メールアドレス等)を記憶するアドレス帳情報記憶部、送受信メールの内容や添付画像を記憶するメール情報記憶部、及びWebサイトのURL情報や画像を記憶するWeb情報記憶部を備える。
RAM11は、また、これらの不図示の各種記憶部から抽出された画像データを辞書データとして記憶する辞書データ記憶部11Aを備える。
【0029】
撮像部12は、不図示のレンズ、TTL(Through the Lens)露出計、CMOS(Complementary Metal Oxide Semiconductor)センサ、A/D変換回路、及びフレームメモリ等の撮像機構を備える。
撮像部12により撮像された画像は、表示部8にライブビュー表示される。撮像部12は、ユーザ操作による撮像時には、TTL露出計の測光結果に基づき、オートフォーカス(AF)やオート露出補正(AE)等の機能を実行して被写体を撮像する。
ユーザの撮像指示に基づいて撮像された画像は、RAM11又は記憶媒体13に記録される。
【0030】
記録媒体13は、フラッシュメモリを備えるメモリカード等の着脱自在の記録媒体であり、撮像部12によって撮像された画像を記録可能である他、携帯端末1を用いずに撮像された画像を携帯端末1に取り込むことができる。この取り込まれた画像は、辞書データ記憶部11Aに記憶される画像とすることができる。
(3)携帯端末の動作
【0031】
次に、上述した第1実施形態に係る携帯端末1の動作について説明する。以下の処理は、何れも、制御部2(又はモニタ画像解析部2A、モニタ画像学習部2B、注目領域抽出部2C、若しくはアプリ動作制御部2D)によって実行される。
(3.1)辞書データ生成処理
【0032】
図3は、携帯端末1の辞書データ生成処理に係る動作を説明するためのフローチャートである。
制御部2は、まず、ユーザによる操作部9の操作によって辞書データ生成指示が出されたかどうかを判断する。辞書データの生成とは、後述する注目領域抽出処理で参照される比較基準となる辞書データとしての画像データを生成する処理をいう。
ユーザ操作によって辞書データ生成指示が出されたと制御部2により判断された場合、図3の辞書データ生成処理に入る。
なお、以上のように、ユーザ指示で辞書生成する場合の他に、バックグラウンドで、画像を解析し、辞書データを生成するようにしてもよい。
【0033】
ステップS1において、モニタ画像解析部2Aは、使用者が閲覧したホームページ、メール、電子書籍などからモニタ用画像として用いられる画像を取得する。画像の取得源は、これらに限られず、撮像部12を通じて撮像された画像や記録媒体13に記録されている画像であってもよい。
ステップS2において、モニタ画像解析部2Aは、ステップS1で取得された画像に対し、被写体に関する情報を把握するための解析を行う。たとえば、被写体(人物・ペット・小物・建物・山・海など)のエッジ等の特徴とその領域、画像の構図(すなわち被写体の位置情報)、及び被写体のアスペクト比などの被写体に関する情報を被写体情報として把握する。
【0034】
ステップS3において、モニタ画像学習部2Bは、モニタ画像解析部2Aの解析結果に基づいて、図4に則して後述する注目領域抽出部2Cが参照するための辞書データを生成する。
ステップS4において、モニタ画像学習部2Bは、ステップS3において生成された辞書データを、辞書データ記憶部11Aに保持する。
(3.2)注目領域抽出処理
【0035】
図4は、携帯端末1の注目領域抽出処理に係る動作を説明するためのフローチャートである。
制御部2は、まず、ユーザによる操作部9の操作によってモニタ画像参照モードが選択されたかどうかを判断する。モニタ画像参照モードが選択されると、制御部2は、以下で説明するように、辞書データ記憶部11Aに保持された辞書データを参照しつつアプリケーションの動作制御を実行する。
すなわち、モニタ画像参照モードが選択されたと制御部2により判断された場合、処理は図4のルーチンに入る。
【0036】
ステップS21において、注目領域抽出部2Cは、表示部8にライブビュー表示されている画像や、RAM11や記録媒体13に記録されている画像を処理対象画像として取得する。
ステップS22において、注目領域抽出部2Cは、ステップS21で取得された処理対象画像に対して解析を行う。解析の手順は、先述したステップS2と同様である。
【0037】
ステップS23において、注目領域抽出部2Cは、辞書データ記憶部11Aに記憶されている辞書データとステップS22で取得された解析データとを比較する。比較は、双方の画像データがともに有するパラメータに沿って行われる。
【0038】
ステップS24において、注目領域抽出部2Cは、ステップS23の比較結果に基づいて、ステップS21で取得された処理対象画像から注目領域を抽出する。
この点について、図5及び図6を参照して説明する。
図5において、先のステップS1〜S4を通じて辞書データとして保持されている画像が「学習画像」として示されている。また、ステップS21において取得された画像が「処理対象画像」として示されている。
図5に示すように、ステップS22において処理対象画像の解析が行われ、ステップS23において学習画像とステップS22の解析結果との比較が行われる。
ステップS23において学習画像に含まれる被写体と同一又は類似する被写体の存在を示すデータがステップS22における解析結果に含まれている場合、制御部2は、処理対象画像から学習画像の被写体と同一又は類似する被写体を、辞書データとできるだけ近くなるような形で含むように、図5のように「抽出画像」として注目領域を抽出する。
【0039】
処理対象画像の中心部分を基準にして一定の領域を抽出すると、たとえば図6の「中心抽出画像」のように建物も人物も切れてしまうことがある。
また、顔認識機能により処理対象画像の顔部分を基準にして一定の領域を抽出すると、図6の「顔認識抽出画像」のように建物が切れてしまうことがある。
本実施形態によれば、処理対象画像の中心を基準にして、学習画像の被写体と同一又は類似する被写体を含むようにステップS24において抽出領域が決定される。したがって、これらの不都合が生じることなく、注目領域を抽出することができる。
なお、画像の抽出は、処理対象画像の中心を基準とせずに、顔認識機能により検出された人物の顔を、たとえば黄金分割点や3分割点の1点に位置させつつ、学習画像が含まれるように抽出してもよい。
また、画像の抽出は、図7の太い破線で示したように注目領域が存在する領域(エリア)を出力するようにしてもよい。
【0040】
図4に戻り、ステップS25において、アプリ動作制御部2Dは、抽出画像に基づいて、携帯端末1の機能に応じたアプリ動作を制御する。たとえば、ハイライト表示、スライドショーのエフェクト、アルバム生成への表示制御、カメラ撮影時のオートフォーカス(AF)やオート露出補正(AE)制御を行う。
そして、アプリ動作を制御するには、画像の中心や人物を中心としてトリミングして、ハイライト表示やスライドショー等のアプリケーションを実行するような場合であっても、人物や背景の構造物の一部などがハイライト表示やスライドショー等から外れてしまうことがない。すなわち、撮影者ないし携帯端末1のユーザが取得ないし表示したいと意図した被写体を注目領域から外れることなく適切に抽出して、ハイライト表示やスライドショー等のアプリケーションを最適に動作させることができる。
(第2実施形態)
【0041】
第2実施形態は、辞書データ生成機能をサーバによって行うようにした画像の注目領域抽出支援システムに関する。
以下、このシステムについて、図8から図10までを用いて説明する。
図8に示されているように、本実施携帯に係る画像の注目領域抽出支援システムは、辞書機能サービスを提供する辞書機能提供サーバDSと、このサービスの提供を受けて画像から注目領域を抽出する携帯端末100とを備え、これらはインターネットIN等を介して接続される。携帯端末100と辞書機能提供サーバDSとを媒介する構成は、図1のものと同様である。
辞書機能提供サーバDSは、不図示のCPU、ROM及びRAM等を備え、第1実施形態に係る図3と同様の手順で辞書データを生成し、生成された辞書データは携帯端末100からの配信要求に基づいて配信される。
携帯端末100は、第1実施形態に係る携帯端末1と同一部分について同一符号を用いて図9に示しているように、モニタ画像解析部2Aとモニタ画像学習部2Bが不要である点を除き、携帯端末1と同様の構成を備える。
【0042】
携帯端末100は、図10のフローチャートに従った処理を実行する。
図10と図4の対比により明らかなように、図10のステップS31、S32、S35、及びS36は、図4のステップS21、S22、S24、及びS25にそれぞれ対応するので説明を省略し、異なる点についてのみ以下で説明する。
図10の処理手順においては、制御部2は、ステップS33で辞書データを辞書機能提供サーバDSから取得し、取得したデータを辞書データ記憶部11Aに記憶する。
そして、注目領域抽出部2Cは、ステップS34において、辞書データ記憶部11Aに記憶されている辞書データとステップS32で取得された解析データとを比較する。
【0043】
なお、第2実施形態の変形実施形態として、いわゆるシンクライアントのようにより多くの処理をサーバ側で実現するようにしてもよい。
たとえば、携帯端末側では、処理対象画像の取得と、取得画像のサーバへの送信と、処理済画像(注目領域抽出画像)の受信と、アプリ動作制御に係る最低限の処理を実行するようにし、他方サーバ側において、辞書データ生成処理の他、携帯端末から受信した画像を解析して学習データと比較する処理と、注目領域の抽出と、注目領域を抽出した画像の携帯端末への送信とを実行するようにしてもよい。
【0044】
上記で示したフローチャートの手順を実現するプログラムコードは、当該プログラムコードを記録した記録媒体により提供されてもよい。たとえば、USBメモリ、CD−ROM、光磁気ディスク等により提供されてもよい。
(付記1から付記9まで)
【0045】
以下、本発明の一側面について、付言する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
図11は、付記1の構成図である。
この図に示すように、付記1に係る発明は、
モニタ画像を取得するモニタ画像取得手段41と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段42と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段43と、
処理対象画像を取得する処理対象画像取得手段44と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段45と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に該モニタ画像学習手段に保持されている被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段46と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段47と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段48と、
を備えた電子機器である。
(付記2)
付記2に係る発明は、
該モニタ画像解析手段及び該処理対象画像解析手段は、被写体の特徴、領域、構図、アスペクト比の少なくとも1つのパラメータについて被写体を解析し、
該比較判断手段は、これらのパラメータの内の少なくとも1つに基づいて、同一又は類似する画像かどうかを判断する付記1に記載の電子機器である。
(付記3)
付記3に係る発明は、
該モニタ画像学習手段は、該モニタ画像解析手段の解析結果に基づいて類似画像の統計処理を行って学習することにより、被写体情報を辞書データとして生成して保持する付記1又は2の何れか1つに記載の電子機器である。
(付記4)
付記4に係る発明は、
モニタ画像を取得し、
該モニタ画像に含まれる被写体を解析し、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持し、
処理対象画像を取得し、
該処理対象画像に含まれる被写体を解析し、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較することにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断し、
同一又は類似する1又は2以上の被写体が含まれていると判断した場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出し、
該注目領域に基づいてアプリケーションの動作制御を行う、
画像から注目領域を抽出する方法である。
(付記5)
付記5に係る発明は、
該モニタ画像の解析及び該処理対象画像の解析においては、被写体の特徴、領域、構図、アスペクト比の少なくとも1つのパラメータについて被写体を解析し、
該比較判断においては、これらのパラメータの内の少なくとも1つに基づいて、同一又は類似する被写体かどうかを判断する付記4に記載の方法である。
(付記6)
付記6に係る発明は、
該辞書データを保持する際は、該モニタ画像の解析結果に基づいて類似画像の統計処理を行って学習することにより、被写体情報を辞書データとして保持する付記4又は5の何れか1つに記載の方法である。
(付記7)
付記7に係る発明は、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
該サーバから辞書データを取得する辞書データ取得手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該辞書データ取得手段により取得された該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備えた電子機器と、
を備えた画像注目領域抽出支援するシステムである。
(付記8)
付記8に係る発明は、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像を該サーバに送信する処理対象画像送信手段と、
を備えた電子機器と、
を備えた画像注目領域抽出システムであって、
該サーバは、
該処理対象画像送信手段から送信された該処理対象画像を受信する処理対象画像受信手段と、
該処理対象画像受信手段により受信された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により注目領域が抽出された画像を該電子機器に送信する注目領域抽出画像送信手段と、
をさらに備え、
該電子機器は、
該注目領域抽出画像送信手段から送信された該注目領域抽出画像を受信する注目領域抽出画像受信手段と、
該注目領域抽出画像受信手段によって受信された該注目領域抽出画像に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
をさらに備えた、
画像注目領域抽出システムである。
(付記9)
付記9に係る発明は、
コンピュータに、
モニタ画像を取得させる機能と、
該モニタ画像に含まれる被写体を解析させる機能と、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持させる機能と、
処理対象画像を取得させる機能と、
該処理対象画像に含まれる被写体を解析させる機能と、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較させることにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断させる機能と、
同一又は類似する1又は2以上の被写体が含まれていると判断した場合に、該処理対象画像に含まれる同一又は類似であると判断した該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出させる機能と、
該注目領域に基づいてアプリケーションの動作制御を行わせる機能と、
を実行させる画像から注目領域を抽出するプログラムである。
【技術分野】
【0001】
本発明は、画像注目領域抽出方法、より詳細には、ユーザが参照した携帯端末などの電子機器の画面上に表示された画像(写真)を学習することで、別の画像からユーザの興味と近い注目領域を抽出する方法に関する。
本発明は、また、当該方法を実現する電子機器、システム、及びプログラムに関する。
【背景技術】
【0002】
一般に、携帯端末におけるカメラのライブビュー画像や撮影画像から画像の中心や人物などの注目領域を自動で抽出し、抽出した注目領域に基づいてハイライト表示し、スライドショーの際に種々のエフェクト処理をし、アルバム生成し、又はオートフォーカス(AF)し若しくはオート露出補正(AE)する技術が存在する。
そして、注目領域を抽出する技術として、特許文献1は、画像の中心位置や、人物画像等が位置する所定位置を中心として、撮影された画像を拡大する技術を開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000−75416号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載されているような画像の中心や人物を中心としてトリミングして、ハイライト表示やスライドショー等のアプリケーションを実行すると、次のような課題がある。
第1の課題は、画像の中心を注目領域として判断した場合、人物や背景の構造物の一部などが注目領域から外れてしまうという点である。
具体的には、撮影者ないし電子機器のユーザが取得ないし表示したいと意図した被写体が人物とその背景の構造物である場合において、画像の中心を基準として拡大してトリミングすると、人物の一部や構造物の一部が切れてしまい好ましくない画像になるという問題点があった。
第2の課題は、人物を注目領域として判断した場合、人物の背景の構造物が注目領域から外れてしまうという点である。
具体的には、先と同様、撮影者ないし電子機器のユーザが取得ないし表示したいと意図した被写体が人物とその背景の構造物である場合において、人物を基準として一定の領域を抽出してトリミングすると、背景の構造物が切れてしまうという問題点があった。
【0005】
そこで、本発明は、ユーザが取得ないし表示したいと意図した被写体を注目領域から外れることなく適切に抽出する方法、並びに当該方法を実現する電子機器、画像注目領域抽出支援システム、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明による画像から注目領域を抽出する方法は、
モニタ画像を取得し、
該モニタ画像に含まれる被写体を解析し、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持し、
処理対象画像を取得し、
該処理対象画像に含まれる被写体を解析し、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較することにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断し、
同一又は類似する1又は2以上の被写体が含まれていると判断した場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出し、
該注目領域に基づいてアプリケーションの動作制御を行う。
【0007】
本発明による電子機器は、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に該モニタ画像学習手段に保持されている被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備える。
【0008】
本発明による画像注目領域抽出システムは、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
該サーバから辞書データを取得する辞書データ取得手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該辞書データ取得手段により取得された該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備えた電子機器と、
を備える。
【0009】
本発明による他の画像注目領域抽出システムは、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像を該サーバに送信する処理対象画像送信手段と、
を備えた電子機器と、
を備えた画像注目領域抽出システムであって、
該サーバは、
該処理対象画像送信手段から送信された該処理対象画像を受信する処理対象画像受信手段と、
該処理対象画像受信手段により受信された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により注目領域が抽出された画像を該電子機器に送信する注目領域抽出画像送信手段と、
をさらに備え、
該電子機器は、
該注目領域抽出画像送信手段から送信された該注目領域抽出画像を受信する注目領域抽出画像受信手段と、
該注目領域抽出画像受信手段によって受信された該注目領域抽出画像に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
をさらに備える。
【0010】
本発明による画像注目領域抽出プログラムは、
コンピュータに、
モニタ画像を取得させる機能と、
該モニタ画像に含まれる被写体を解析させる機能と、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持させる機能と、
処理対象画像を取得させる機能と、
該処理対象画像に含まれる被写体を解析させる機能と、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較させることにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断させる機能と、
同一又は類似する1又は2以上の被写体が含まれていると判断した場合に、該処理対象画像に含まれる同一又は類似であると判断した該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出させる機能と、
該注目領域に基づいてアプリケーションの動作制御を行わせる機能と、
を実行させる。
【発明の効果】
【0011】
本発明によれば、ユーザが取得したいと意図した被写体を注目領域から外れることなく適切に抽出することができる。
【図面の簡単な説明】
【0012】
【図1】第1実施形態に係る携帯端末1を含むシステム構成図である。
【図2】第1実施形態に係る携帯端末1のブロック図である。
【図3】第1実施形態に係る携帯端末1の動作を示すフローチャート(辞書データ生成処理)である。
【図4】第1実施形態に係る携帯端末1の動作を示すフローチャート(注目領域抽出処理)である。
【図5】第1実施形態に係る携帯端末1の注目領域抽出処理の説明図である。
【図6】第1実施形態に係る携帯端末1の注目領域抽出処理の説明図である。
【図7】第1実施形態に係る携帯端末1の注目領域抽出処理の説明図である。
【図8】第2実施形態に係る画像注目領域抽出支援システムの構成図である。
【図9】第2実施形態に係る携帯端末100のブロック図である。
【図10】第2実施形態に係る携帯端末100の動作を示すフローチャート(注目領域抽出処理)の説明図である。
【図11】付記1の構成図である。
【発明を実施するための最良の形態】
【0013】
(第1実施形態)
以下、図面を用いて、本発明の電子機器の一実施形態について説明する。本実施形態は、本発明を携帯端末1に適用した例である。
なお、本発明の携帯端末1としては、携帯電話、デジタルカメラ、スマートフォン等が典型であるが、ゲーム機、パーソナルコンピュータ(タブレットPCやノートPCを含む。)、デジタルフォトフレーム等にも適用可能である。端的に要すると、本発明は、辞書データに基づいて一定の処理が可能な電子機器に広く適用できる。
(1)システム構成
【0014】
図1は、本発明の実施形態に係る通信システムの構成を示す図である。
図1において、携帯端末1は、移動無線通信機能及びメール送受信機能を備える。移動無線通信機能を用いて通話する場合、携帯端末1は、位置登録している基地局BSを介して発信側の交換機SWに発呼する。発信側の交換機SWは、発呼に応じて、無線通信網RN中に設けられる加入者登録サーバ(不図示)から問い合せた着番号(加入者番号)及び位置登録情報に基づき着信側の交換機SWを呼び出す。着信側の交換機SWは、着信側の基地局BSを介して着信側の携帯端末(不図示)を呼び出し、これに応じて着信側が着呼応答すると、発信側の交換機SWと着信側の交換機SWとのリンクが確立して通話可能になる。
【0015】
メール送受信機能を用いて携帯端末1から送信されるメールは、基地局BS、交換機SWおよび無線通信網RN中に設けられるゲートウェイサーバ(不図示)を経てインターネットINに接続されているメールサーバMSに伝送される。メールサーバMSは、上述とは逆の経路で宛先のメールアドレスを有する携帯端末1にメールが送信される。
【0016】
携帯端末1は、この他にも、ホームページサーバHSや電子書籍サーバEBSを含め多くのサーバにアクセス可能であり、風景画像、人物画像、動物画像等の画像データを含むファイルをこれらのサーバから取得することができる。
(2)携帯端末の構成
【0017】
図2は、本発明の実施形態に係る携帯端末1のブロック図である。
図2に示されているように、携帯端末1は、制御部2、無線通信部(送受信部)3、アンテナ4、音声信号処理部5、マイク6、スピーカ7、表示部8、操作部9、ROM(Read Only Memory)10、RAM(Random Access Memory)11、撮像部12、及び記録媒体13を備える。
【0018】
制御部2は、CPU(Central Processing Unit)を備え、ROM10に記憶されたプログラムに従って携帯端末1の各部の動作を制御する。制御部2は、モニタ画像解析部2A、モニタ画像学習部2B、注目領域抽出部2C、及びアプリ動作制御部2Dを備える。
モニタ画像解析部2Aは、使用者が閲覧したホームページ、メール、電子書籍などからモニタ用の画像データを取得し、画像(写真)部分を認識し、その画像の特徴を解析する。解析対象となるモニタ画像は、これらから取得されるものの他、撮像部12や記録媒体13を介して取得された画像であってもよい。
なお、ここで言う「モニタ画像」ないし「モニタ用の画像」とは、後述する辞書データとして保持されて、注目領域を抽出する際に参照される参照画像を意味する。
モニタ画像解析部2Aは、取得した画像から、次のような被写体情報について解析し、出力する。
【0019】
(a)被写体(人物・ペット・小物・建物・山・海など)の特徴とその領域
たとえば、ユーザの取得したモニタ画像を解析して、被写体の中に人物、ペット、小物、建物、山、海などが含まれていた場合、それらの輪郭や色調、大きさ、年齢、種類などのパラメータに基づいて可能な範囲で分析し、それぞれの特徴点を得るようにしてデータ化する。
また、領域については、例えば被写体が画像全体の中で占める領域の割合や位置などの領域に関するパラメータを分析し、その特徴点を得るようにしてデータ化する。
(b)構図
たとえば、建物や山などの被写体が画像全体に対して位置する位置情報などを分析して構図に関する情報を得る。あるいは、また、ハフ変換によって画像から直線を検出して、これを構図線として構図情報を解析することもできる。
(c)アスペクト比
ここでいうアスペクト比とは、2次元形状の物の長辺と短辺の比率を意味する。すなわち、画像自体(画面自体)のアスペクト比でなく、画像に含まれている被写体のアスペクト比をいう。
モニタ画像解析部2Aは、以上の解析結果をモニタ画像学習部2Bへ渡す。
【0020】
モニタ画像学習部2Bは、モニタ画像解析部2Aの解析結果を元に、画像の特徴を注目領域抽出部2Cが参照する辞書データとして生成し、辞書データ記憶部11Aに保持する。
【0021】
注目領域抽出部2Cは、携帯端末1の撮像部12により撮像されて表示部8にライブビュー表示される画像や、RAM11や記録媒体13に記録されている撮影画像を解析し、注目領域を抽出する。具体的には、注目領域抽出部2Cは、ライブビュー表示等される画像に含まれる被写体に関する被写体情報とモニタ画像学習部2Bに保持されている辞書データとを、被写体のエッジ等の特徴、領域、構図、アスペクト比の少なくとも1つのパラメータに基づいて比較することにより、ライブビュー表示等される画像にモニタ画像学習部2Bに保持されている被写体と同一又は類似する被写体が含まれているかどうかを判断し、含まれていると判断した場合に、同一又は類似であるライブビュー表示等されている被写体が可及的にモニタ画像学習部2Bの辞書データに含まれる被写体と近くなるような形で含まれるように注目領域を抽出して出力する。
ライブビュー表示等されている画像に辞書データの被写体と同一又は類似する被写体が複数検出された場合には、注目領域抽出部2Cはこれら複数の被写体を含むように注目領域を抽出して出力する。
【0022】
アプリ動作制御部2Dは、注目領域抽出部2Cの出力結果を元に、携帯端末1の機能に応じたアプリ動作を制御する。たとえば、表示部8にハイライト表示やスライドショーの際に種々のエフェクト処理をして表示制御する。あるいは、アルバム生成してRAM11や記録媒体13に記録する。あるいは、カメラ撮影時には、抽出領域が表示部8に表示されるように表示制御しつつ、オートフォーカス(AF)やオート露出補正(AE)等の撮像制御を行う。
【0023】
無線通信部3は、携帯端末1が音声通話を行う際は、アンテナ4を介して受信された受話信号(無線信号)を復調して受話データに変換する。
音声信号処理部5は受話データをD/A変換して得られるアナログ受話信号をスピーカ7に提供し、スピーカ7は提供されたアナログ受話信号に基づいて受話音声を発する。
マイク6は入力された送話音声をアナログ送話信号に変換して音声信号処理部5に提供し、音声信号処理部5は提供されたアナログ送話信号をA/D変換して送話データを得る。
無線通信部3は送話データを送信信号に変調し、送信信号がアンテナ4を介して送信される。
【0024】
無線通信部3は、また、携帯端末1が画像を受信する際は、パケットに含まれる符号化された画像データを復号化し、画像データを制御部2に提供する。復号化された画像データは表示部8に表示される。
【0025】
表示部8は、液晶ディスプレイと液晶駆動装置を備え、電話着信時の相手電話番号、電波状態、電池残量等の情報や、電子メール、Webサイト、電子書籍等の内容を表示する。表示部8は、また、撮像部12によって撮像された画像や記録媒体13に記録されている画像を表示する。
【0026】
操作部9は、携帯端末1の操作用のキーを備え、具体的には、電源キー、数字や文字を入力する入力キー、アプリケーションの起動や終了を指示するアプリケーションキー等を備える。操作部9は、また、後述するモニタ画像参照モードとノーマルモードを選択するキーを有する。
【0027】
ROM10には、後述する図2及び図3に示されたフローチャートを実行させるためのプログラムや、各種のアプリケーションを実行させるためのアプリケーションプログラムが格納されている。
【0028】
RAM11は、各種データを記憶する不図示の各種記憶部を備える。たとえば、アドレス帳機能のアドレス帳情報(氏名、電話番号、メールアドレス等)を記憶するアドレス帳情報記憶部、送受信メールの内容や添付画像を記憶するメール情報記憶部、及びWebサイトのURL情報や画像を記憶するWeb情報記憶部を備える。
RAM11は、また、これらの不図示の各種記憶部から抽出された画像データを辞書データとして記憶する辞書データ記憶部11Aを備える。
【0029】
撮像部12は、不図示のレンズ、TTL(Through the Lens)露出計、CMOS(Complementary Metal Oxide Semiconductor)センサ、A/D変換回路、及びフレームメモリ等の撮像機構を備える。
撮像部12により撮像された画像は、表示部8にライブビュー表示される。撮像部12は、ユーザ操作による撮像時には、TTL露出計の測光結果に基づき、オートフォーカス(AF)やオート露出補正(AE)等の機能を実行して被写体を撮像する。
ユーザの撮像指示に基づいて撮像された画像は、RAM11又は記憶媒体13に記録される。
【0030】
記録媒体13は、フラッシュメモリを備えるメモリカード等の着脱自在の記録媒体であり、撮像部12によって撮像された画像を記録可能である他、携帯端末1を用いずに撮像された画像を携帯端末1に取り込むことができる。この取り込まれた画像は、辞書データ記憶部11Aに記憶される画像とすることができる。
(3)携帯端末の動作
【0031】
次に、上述した第1実施形態に係る携帯端末1の動作について説明する。以下の処理は、何れも、制御部2(又はモニタ画像解析部2A、モニタ画像学習部2B、注目領域抽出部2C、若しくはアプリ動作制御部2D)によって実行される。
(3.1)辞書データ生成処理
【0032】
図3は、携帯端末1の辞書データ生成処理に係る動作を説明するためのフローチャートである。
制御部2は、まず、ユーザによる操作部9の操作によって辞書データ生成指示が出されたかどうかを判断する。辞書データの生成とは、後述する注目領域抽出処理で参照される比較基準となる辞書データとしての画像データを生成する処理をいう。
ユーザ操作によって辞書データ生成指示が出されたと制御部2により判断された場合、図3の辞書データ生成処理に入る。
なお、以上のように、ユーザ指示で辞書生成する場合の他に、バックグラウンドで、画像を解析し、辞書データを生成するようにしてもよい。
【0033】
ステップS1において、モニタ画像解析部2Aは、使用者が閲覧したホームページ、メール、電子書籍などからモニタ用画像として用いられる画像を取得する。画像の取得源は、これらに限られず、撮像部12を通じて撮像された画像や記録媒体13に記録されている画像であってもよい。
ステップS2において、モニタ画像解析部2Aは、ステップS1で取得された画像に対し、被写体に関する情報を把握するための解析を行う。たとえば、被写体(人物・ペット・小物・建物・山・海など)のエッジ等の特徴とその領域、画像の構図(すなわち被写体の位置情報)、及び被写体のアスペクト比などの被写体に関する情報を被写体情報として把握する。
【0034】
ステップS3において、モニタ画像学習部2Bは、モニタ画像解析部2Aの解析結果に基づいて、図4に則して後述する注目領域抽出部2Cが参照するための辞書データを生成する。
ステップS4において、モニタ画像学習部2Bは、ステップS3において生成された辞書データを、辞書データ記憶部11Aに保持する。
(3.2)注目領域抽出処理
【0035】
図4は、携帯端末1の注目領域抽出処理に係る動作を説明するためのフローチャートである。
制御部2は、まず、ユーザによる操作部9の操作によってモニタ画像参照モードが選択されたかどうかを判断する。モニタ画像参照モードが選択されると、制御部2は、以下で説明するように、辞書データ記憶部11Aに保持された辞書データを参照しつつアプリケーションの動作制御を実行する。
すなわち、モニタ画像参照モードが選択されたと制御部2により判断された場合、処理は図4のルーチンに入る。
【0036】
ステップS21において、注目領域抽出部2Cは、表示部8にライブビュー表示されている画像や、RAM11や記録媒体13に記録されている画像を処理対象画像として取得する。
ステップS22において、注目領域抽出部2Cは、ステップS21で取得された処理対象画像に対して解析を行う。解析の手順は、先述したステップS2と同様である。
【0037】
ステップS23において、注目領域抽出部2Cは、辞書データ記憶部11Aに記憶されている辞書データとステップS22で取得された解析データとを比較する。比較は、双方の画像データがともに有するパラメータに沿って行われる。
【0038】
ステップS24において、注目領域抽出部2Cは、ステップS23の比較結果に基づいて、ステップS21で取得された処理対象画像から注目領域を抽出する。
この点について、図5及び図6を参照して説明する。
図5において、先のステップS1〜S4を通じて辞書データとして保持されている画像が「学習画像」として示されている。また、ステップS21において取得された画像が「処理対象画像」として示されている。
図5に示すように、ステップS22において処理対象画像の解析が行われ、ステップS23において学習画像とステップS22の解析結果との比較が行われる。
ステップS23において学習画像に含まれる被写体と同一又は類似する被写体の存在を示すデータがステップS22における解析結果に含まれている場合、制御部2は、処理対象画像から学習画像の被写体と同一又は類似する被写体を、辞書データとできるだけ近くなるような形で含むように、図5のように「抽出画像」として注目領域を抽出する。
【0039】
処理対象画像の中心部分を基準にして一定の領域を抽出すると、たとえば図6の「中心抽出画像」のように建物も人物も切れてしまうことがある。
また、顔認識機能により処理対象画像の顔部分を基準にして一定の領域を抽出すると、図6の「顔認識抽出画像」のように建物が切れてしまうことがある。
本実施形態によれば、処理対象画像の中心を基準にして、学習画像の被写体と同一又は類似する被写体を含むようにステップS24において抽出領域が決定される。したがって、これらの不都合が生じることなく、注目領域を抽出することができる。
なお、画像の抽出は、処理対象画像の中心を基準とせずに、顔認識機能により検出された人物の顔を、たとえば黄金分割点や3分割点の1点に位置させつつ、学習画像が含まれるように抽出してもよい。
また、画像の抽出は、図7の太い破線で示したように注目領域が存在する領域(エリア)を出力するようにしてもよい。
【0040】
図4に戻り、ステップS25において、アプリ動作制御部2Dは、抽出画像に基づいて、携帯端末1の機能に応じたアプリ動作を制御する。たとえば、ハイライト表示、スライドショーのエフェクト、アルバム生成への表示制御、カメラ撮影時のオートフォーカス(AF)やオート露出補正(AE)制御を行う。
そして、アプリ動作を制御するには、画像の中心や人物を中心としてトリミングして、ハイライト表示やスライドショー等のアプリケーションを実行するような場合であっても、人物や背景の構造物の一部などがハイライト表示やスライドショー等から外れてしまうことがない。すなわち、撮影者ないし携帯端末1のユーザが取得ないし表示したいと意図した被写体を注目領域から外れることなく適切に抽出して、ハイライト表示やスライドショー等のアプリケーションを最適に動作させることができる。
(第2実施形態)
【0041】
第2実施形態は、辞書データ生成機能をサーバによって行うようにした画像の注目領域抽出支援システムに関する。
以下、このシステムについて、図8から図10までを用いて説明する。
図8に示されているように、本実施携帯に係る画像の注目領域抽出支援システムは、辞書機能サービスを提供する辞書機能提供サーバDSと、このサービスの提供を受けて画像から注目領域を抽出する携帯端末100とを備え、これらはインターネットIN等を介して接続される。携帯端末100と辞書機能提供サーバDSとを媒介する構成は、図1のものと同様である。
辞書機能提供サーバDSは、不図示のCPU、ROM及びRAM等を備え、第1実施形態に係る図3と同様の手順で辞書データを生成し、生成された辞書データは携帯端末100からの配信要求に基づいて配信される。
携帯端末100は、第1実施形態に係る携帯端末1と同一部分について同一符号を用いて図9に示しているように、モニタ画像解析部2Aとモニタ画像学習部2Bが不要である点を除き、携帯端末1と同様の構成を備える。
【0042】
携帯端末100は、図10のフローチャートに従った処理を実行する。
図10と図4の対比により明らかなように、図10のステップS31、S32、S35、及びS36は、図4のステップS21、S22、S24、及びS25にそれぞれ対応するので説明を省略し、異なる点についてのみ以下で説明する。
図10の処理手順においては、制御部2は、ステップS33で辞書データを辞書機能提供サーバDSから取得し、取得したデータを辞書データ記憶部11Aに記憶する。
そして、注目領域抽出部2Cは、ステップS34において、辞書データ記憶部11Aに記憶されている辞書データとステップS32で取得された解析データとを比較する。
【0043】
なお、第2実施形態の変形実施形態として、いわゆるシンクライアントのようにより多くの処理をサーバ側で実現するようにしてもよい。
たとえば、携帯端末側では、処理対象画像の取得と、取得画像のサーバへの送信と、処理済画像(注目領域抽出画像)の受信と、アプリ動作制御に係る最低限の処理を実行するようにし、他方サーバ側において、辞書データ生成処理の他、携帯端末から受信した画像を解析して学習データと比較する処理と、注目領域の抽出と、注目領域を抽出した画像の携帯端末への送信とを実行するようにしてもよい。
【0044】
上記で示したフローチャートの手順を実現するプログラムコードは、当該プログラムコードを記録した記録媒体により提供されてもよい。たとえば、USBメモリ、CD−ROM、光磁気ディスク等により提供されてもよい。
(付記1から付記9まで)
【0045】
以下、本発明の一側面について、付言する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
図11は、付記1の構成図である。
この図に示すように、付記1に係る発明は、
モニタ画像を取得するモニタ画像取得手段41と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段42と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段43と、
処理対象画像を取得する処理対象画像取得手段44と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段45と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に該モニタ画像学習手段に保持されている被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段46と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段47と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段48と、
を備えた電子機器である。
(付記2)
付記2に係る発明は、
該モニタ画像解析手段及び該処理対象画像解析手段は、被写体の特徴、領域、構図、アスペクト比の少なくとも1つのパラメータについて被写体を解析し、
該比較判断手段は、これらのパラメータの内の少なくとも1つに基づいて、同一又は類似する画像かどうかを判断する付記1に記載の電子機器である。
(付記3)
付記3に係る発明は、
該モニタ画像学習手段は、該モニタ画像解析手段の解析結果に基づいて類似画像の統計処理を行って学習することにより、被写体情報を辞書データとして生成して保持する付記1又は2の何れか1つに記載の電子機器である。
(付記4)
付記4に係る発明は、
モニタ画像を取得し、
該モニタ画像に含まれる被写体を解析し、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持し、
処理対象画像を取得し、
該処理対象画像に含まれる被写体を解析し、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較することにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断し、
同一又は類似する1又は2以上の被写体が含まれていると判断した場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出し、
該注目領域に基づいてアプリケーションの動作制御を行う、
画像から注目領域を抽出する方法である。
(付記5)
付記5に係る発明は、
該モニタ画像の解析及び該処理対象画像の解析においては、被写体の特徴、領域、構図、アスペクト比の少なくとも1つのパラメータについて被写体を解析し、
該比較判断においては、これらのパラメータの内の少なくとも1つに基づいて、同一又は類似する被写体かどうかを判断する付記4に記載の方法である。
(付記6)
付記6に係る発明は、
該辞書データを保持する際は、該モニタ画像の解析結果に基づいて類似画像の統計処理を行って学習することにより、被写体情報を辞書データとして保持する付記4又は5の何れか1つに記載の方法である。
(付記7)
付記7に係る発明は、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
該サーバから辞書データを取得する辞書データ取得手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該辞書データ取得手段により取得された該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備えた電子機器と、
を備えた画像注目領域抽出支援するシステムである。
(付記8)
付記8に係る発明は、
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像を該サーバに送信する処理対象画像送信手段と、
を備えた電子機器と、
を備えた画像注目領域抽出システムであって、
該サーバは、
該処理対象画像送信手段から送信された該処理対象画像を受信する処理対象画像受信手段と、
該処理対象画像受信手段により受信された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により注目領域が抽出された画像を該電子機器に送信する注目領域抽出画像送信手段と、
をさらに備え、
該電子機器は、
該注目領域抽出画像送信手段から送信された該注目領域抽出画像を受信する注目領域抽出画像受信手段と、
該注目領域抽出画像受信手段によって受信された該注目領域抽出画像に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
をさらに備えた、
画像注目領域抽出システムである。
(付記9)
付記9に係る発明は、
コンピュータに、
モニタ画像を取得させる機能と、
該モニタ画像に含まれる被写体を解析させる機能と、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持させる機能と、
処理対象画像を取得させる機能と、
該処理対象画像に含まれる被写体を解析させる機能と、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較させることにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断させる機能と、
同一又は類似する1又は2以上の被写体が含まれていると判断した場合に、該処理対象画像に含まれる同一又は類似であると判断した該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出させる機能と、
該注目領域に基づいてアプリケーションの動作制御を行わせる機能と、
を実行させる画像から注目領域を抽出するプログラムである。
【特許請求の範囲】
【請求項1】
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に該モニタ画像学習手段に保持されている被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備えた電子機器。
【請求項2】
該モニタ画像解析手段及び該処理対象画像解析手段は、被写体の特徴、領域、構図、アスペクト比の少なくとも1つのパラメータについて被写体を解析し、
該比較判断手段は、これらのパラメータの内の少なくとも1つに基づいて、同一又は類似する被写体かどうかを判断する請求項1に記載の電子機器。
【請求項3】
該モニタ画像学習手段は、該モニタ画像解析手段の解析結果に基づいて類似画像の統計処理を行って学習することにより、被写体情報を辞書データとして保持する請求項1又は2の何れか1項に記載の電子機器。
【請求項4】
モニタ画像を取得し、
該モニタ画像に含まれる被写体を解析し、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持し、
処理対象画像を取得し、
該処理対象画像に含まれる被写体を解析し、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較することにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断し、
同一又は類似する1又は2以上の被写体が含まれていると判断した場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出し、
該注目領域に基づいてアプリケーションの動作制御を行う、
画像注目領域抽出方法。
【請求項5】
該モニタ画像の解析及び該処理対象画像の解析においては、被写体の特徴、領域、構図、アスペクト比の少なくとも1つのパラメータについて被写体を解析し、
該比較判断においては、これらのパラメータの内の少なくとも1つに基づいて、同一又は類似する被写体かどうかを判断する請求項4に記載の画像注目領域抽出方法。
【請求項6】
該辞書データを保持する際は、該モニタ画像の解析結果に基づいて類似画像の統計処理を行って学習することにより、被写体情報を辞書データとして生成して保持する請求項4又は5の何れか1項に記載の画像注目領域抽出方法。
【請求項7】
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
該サーバから辞書データを取得する辞書データ取得手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該辞書データ取得手段により取得された該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備えた電子機器と、
を備えた画像注目領域抽出システム。
【請求項8】
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像を該サーバに送信する処理対象画像送信手段と、
を備えた電子機器と、
を備えた画像注目領域抽出システムであって、
該サーバは、
該処理対象画像送信手段から送信された該処理対象画像を受信する処理対象画像受信手段と、
該処理対象画像受信手段により受信された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により注目領域が抽出された画像を該電子機器に送信する注目領域抽出画像送信手段と、
をさらに備え、
該電子機器は、
該注目領域抽出画像送信手段から送信された該注目領域抽出画像を受信する注目領域抽出画像受信手段と、
該注目領域抽出画像受信手段によって受信された該注目領域抽出画像に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
をさらに備えた、
画像注目領域抽出システム。
【請求項9】
コンピュータに、
モニタ画像を取得させる機能と、
該モニタ画像に含まれる被写体を解析させる機能と、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持させる機能と、
処理対象画像を取得させる機能と、
該処理対象画像に含まれる被写体を解析させる機能と、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較させることにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断させる機能と、
同一又は類似する1又は2以上の被写体が含まれていると判断した場合に、該処理対象画像に含まれる同一又は類似であると判断した該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出させる機能と、
該注目領域に基づいてアプリケーションの動作制御を行わせる機能と、
を実行させる画像注目領域抽出プログラム。
【請求項1】
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に該モニタ画像学習手段に保持されている被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備えた電子機器。
【請求項2】
該モニタ画像解析手段及び該処理対象画像解析手段は、被写体の特徴、領域、構図、アスペクト比の少なくとも1つのパラメータについて被写体を解析し、
該比較判断手段は、これらのパラメータの内の少なくとも1つに基づいて、同一又は類似する被写体かどうかを判断する請求項1に記載の電子機器。
【請求項3】
該モニタ画像学習手段は、該モニタ画像解析手段の解析結果に基づいて類似画像の統計処理を行って学習することにより、被写体情報を辞書データとして保持する請求項1又は2の何れか1項に記載の電子機器。
【請求項4】
モニタ画像を取得し、
該モニタ画像に含まれる被写体を解析し、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持し、
処理対象画像を取得し、
該処理対象画像に含まれる被写体を解析し、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較することにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断し、
同一又は類似する1又は2以上の被写体が含まれていると判断した場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出し、
該注目領域に基づいてアプリケーションの動作制御を行う、
画像注目領域抽出方法。
【請求項5】
該モニタ画像の解析及び該処理対象画像の解析においては、被写体の特徴、領域、構図、アスペクト比の少なくとも1つのパラメータについて被写体を解析し、
該比較判断においては、これらのパラメータの内の少なくとも1つに基づいて、同一又は類似する被写体かどうかを判断する請求項4に記載の画像注目領域抽出方法。
【請求項6】
該辞書データを保持する際は、該モニタ画像の解析結果に基づいて類似画像の統計処理を行って学習することにより、被写体情報を辞書データとして生成して保持する請求項4又は5の何れか1項に記載の画像注目領域抽出方法。
【請求項7】
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
該サーバから辞書データを取得する辞書データ取得手段と、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該辞書データ取得手段により取得された該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された該注目領域に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
を備えた電子機器と、
を備えた画像注目領域抽出システム。
【請求項8】
モニタ画像を取得するモニタ画像取得手段と、
該モニタ画像取得手段により取得された該モニタ画像に含まれる被写体を解析するモニタ画像解析手段と、
該モニタ画像解析手段により得られた該被写体に関する被写体情報を辞書データとして生成して保持するモニタ画像学習手段と、
を備えたサーバと、
処理対象画像を取得する処理対象画像取得手段と、
該処理対象画像取得手段により取得された該処理対象画像を該サーバに送信する処理対象画像送信手段と、
を備えた電子機器と、
を備えた画像注目領域抽出システムであって、
該サーバは、
該処理対象画像送信手段から送信された該処理対象画像を受信する処理対象画像受信手段と、
該処理対象画像受信手段により受信された該処理対象画像に含まれる被写体を解析する処理対象画像解析手段と、
該処理対象画像解析手段により得られた該被写体に関する被写体情報と該モニタ画像学習手段に保持されている該辞書データとを比較することにより、該処理対象画像に、該辞書データ取得手段により取得された該辞書データの被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断する比較判断手段と、
該比較判断手段により同一又は類似する1又は2以上の被写体が含まれていると判断された場合に、該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出する注目領域抽出手段と、
該注目領域抽出手段により注目領域が抽出された画像を該電子機器に送信する注目領域抽出画像送信手段と、
をさらに備え、
該電子機器は、
該注目領域抽出画像送信手段から送信された該注目領域抽出画像を受信する注目領域抽出画像受信手段と、
該注目領域抽出画像受信手段によって受信された該注目領域抽出画像に基づいてアプリケーションの動作制御を行うアプリケーション動作制御手段と、
をさらに備えた、
画像注目領域抽出システム。
【請求項9】
コンピュータに、
モニタ画像を取得させる機能と、
該モニタ画像に含まれる被写体を解析させる機能と、
該モニタ画像に含まれる該被写体に関する被写体情報を辞書データとして生成して保持させる機能と、
処理対象画像を取得させる機能と、
該処理対象画像に含まれる被写体を解析させる機能と、
該処理対象画像に含まれる該被写体に関する被写体情報と該辞書データとを比較させることにより、該処理対象画像に該モニタ画像に含まれる被写体と同一又は類似する1又は2以上の被写体が含まれているかどうかを判断させる機能と、
同一又は類似する1又は2以上の被写体が含まれていると判断した場合に、該処理対象画像に含まれる同一又は類似であると判断した該1又は2以上の被写体を含むように該処理対象画像から注目領域を抽出させる機能と、
該注目領域に基づいてアプリケーションの動作制御を行わせる機能と、
を実行させる画像注目領域抽出プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−73309(P2013−73309A)
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願番号】特願2011−210296(P2011−210296)
【出願日】平成23年9月27日(2011.9.27)
【出願人】(310006855)NECカシオモバイルコミュニケーションズ株式会社 (1,081)
【Fターム(参考)】
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願日】平成23年9月27日(2011.9.27)
【出願人】(310006855)NECカシオモバイルコミュニケーションズ株式会社 (1,081)
【Fターム(参考)】
[ Back to top ]