画像処理装置、画像処理方法、および撮像装置
【課題】画像内の被写体を検出し、検出した被写体に関連した文字列を付加した合成画像を生成することができる画像処理装置、画像処理方法、および撮像装置を提供する。
【解決手段】入力された画像中の被写体を抽出し、抽出した被写体の特徴に基づいて、抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識部と、被写体認識部が抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定部と、重み付け情報に基づいて、所定の言語データベースから対象被写体を含む抽出した被写体に適合する文字列を検索する言語検索部と、言語検索部によって検索された対象被写体に適合する文字列を、入力された画像中の対象被写体に関連付けて合成した合成画像を生成する画像合成部と、を備える。
【解決手段】入力された画像中の被写体を抽出し、抽出した被写体の特徴に基づいて、抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識部と、被写体認識部が抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定部と、重み付け情報に基づいて、所定の言語データベースから対象被写体を含む抽出した被写体に適合する文字列を検索する言語検索部と、言語検索部によって検索された対象被写体に適合する文字列を、入力された画像中の対象被写体に関連付けて合成した合成画像を生成する画像合成部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体に関連する情報に基づいた画像を生成する画像処理装置、画像処理方法、および撮像装置に関する。
【背景技術】
【０００２】
従来、画像を生成する画像処理装置として、例えば、特許文献１のように、画像に関連付けた文字列を吹き出しとして表示する撮像装置が提案されている。特許文献１に開示された撮像装置は、画像認識処理およびカレンダー機能により、注目画像の属性（人物、動物、植物、生物、山、川など）や季節を取得し、注目画像の動作や表情の状態に応じた言葉の種類を選択可能に表示する。次に、絞込み処理により文字列を表示し、注目画像とその文字列を関連付けた吹き出しを付加した画像を生成するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−８１７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された撮像装置では、吹き出しとして付加する内容（文字列）を、例えば、撮像装置のユーザーが選択することによって、選択した内容を含む吹き出しを画像に付加することができる。しかしながら、画像に付加する吹き出しの内容を選択するのは、撮像装置のユーザーに手間がかかり、吹き出しの内容を選択するための操作が煩雑になってしまう。このため、画像に吹き出しを付加する機能が実際に使用される頻度が少なくなってしまうことが考えられる。
【０００５】
本発明は、上記の課題認識に基づいてなされたものであり、画像内の被写体を検出し、検出した被写体に関連した文字列を付加した合成画像を生成することができる画像処理装置、画像処理方法、および撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、本発明の画像処理装置は、入力された画像中の被写体を抽出し、該抽出した被写体の特徴に基づいて、該抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識部と、前記被写体認識部が抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定部と、前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索部と、前記言語検索部によって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成部と、を備えることを特徴とする。
【０００７】
また、本発明の前記画像合成部は、前記対象被写体に適合する文字列を、該対象被写体からの吹き出しとして関連付けた合成画像を生成する、ことを特徴とする。
【０００８】
また、本発明の前記被写体認識部が重み付けする際の前記被写体の特徴は、前記抽出された被写体の形状および色彩の特徴であり、前記被写体認識部は、前記入力された画像中の被写体の輪郭を抽出し、前記抽出した被写体の輪郭と、所定の形状との一致率の情報に基づいて、該被写体の形状に関する重み付けを行い、前記抽出した被写体の輪郭内の色のデータの情報に基づいて、該被写体の色彩に関する重み付けを行い、前記言語検索部は、前記一致率の情報および前記色のデータの情報に基づいて、前記被写体に適合する文字列を検索する、ことを特徴とする。
【０００９】
また、本発明の前記被写体認識部が重み付けする際の前記被写体の特徴は、前記抽出された被写体の形状の特徴であり、前記被写体認識部は、前記入力された画像中の被写体の輪郭を抽出し、前記抽出した被写体の輪郭と、所定の形状との一致率の情報に基づいて、該被写体の形状に関する重み付けを行い、前記言語検索部は、前記一致率の情報に基づいて、前記被写体に適合する文字列を検索する、ことを特徴とする。
【００１０】
また、本発明の前記被写体認識部が重み付けする際の前記被写体の特徴は、前記抽出された被写体の色彩の特徴であり、前記被写体認識部は、前記入力された画像中の被写体の輪郭を抽出し、前記抽出した被写体の輪郭内の色のデータの情報に基づいて、該被写体の色彩に関する重み付けを行い、前記言語検索部は、前記色のデータの情報に基づいて、前記被写体に適合する文字列を検索する、ことを特徴とする。
【００１１】
また、本発明の前記対象物特定部は、該画像処理装置の操作者によって指定された被写体を、前記対象被写体として特定する、ことを特徴とする。
【００１２】
また、本発明の撮像装置は、被写体を撮影した画像を出力すると共に、前記被写体を撮影したときの焦点の情報を出力する撮影部と、前記撮影部が撮影した画像中の被写体を抽出し、該抽出した被写体の特徴に基づいて、該抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識部と、前記撮影部が撮影したときの焦点の情報に基づいて、前記被写体認識部が抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定部と、前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索部と、前記言語検索部によって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成部と、を備えることを特徴とする。
【００１３】
また、本発明の前記対象物特定部は、前記焦点の情報において焦点が合っていることを表している前記抽出した被写体、または該撮像装置の操作者によって指定された被写体のいずれか１つの被写体、または両方の被写体を、前記対象被写体として特定する、ことを特徴とする。
【００１４】
また、本発明の撮像装置は、前記画像合成部によって生成された前記合成画像を表示する表示部、を、さらに備える、ことを特徴とする。
【００１５】
また、本発明の撮像装置は、前記画像合成部によって生成された前記合成画像を記録する記録部、を、さらに備える、ことを特徴とする。
【００１６】
また、本発明の画像処理方法は、入力された画像中の被写体を抽出し、該抽出した被写体の特徴に基づいて、該抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識ステップと、前記被写体認識ステップによって抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定ステップと、前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索ステップと、前記言語検索ステップによって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成ステップと、を含むことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、画像内の被写体を検出し、検出した被写体に関連した文字列を付加した合成画像を生成することができるという効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態における画像処理装置の概略構成を示したブロック図である。
【図２】本第１の実施形態の画像処理装置で用いられる言語データベースにおける言語データの構成の一例を模式的に示した図である。
【図３】本第１の実施形態の画像処理装置における画像合成処理の手順を示したフローチャートである。
【図４】本第１の実施形態の画像処理装置における被写体の特定方法と、画像合成によって生成される画像の一例を示した図である。
【図５】本第１の実施形態の画像処理装置における画像合成によって生成される画像の別の一例を示した図である。
【図６】本第１の実施形態の画像処理装置を備えた第２の実施形態の撮像装置の概略構成を示したブロック図である。
【図７】本第２の実施形態の撮像装置における画像合成処理の手順を示したフローチャートである。
【図８】本第２の実施形態の撮像装置における吹き出し位置の指定方法の一例を示した図である。
【発明を実施するための形態】
【００１９】
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本第１の実施形態における画像処理装置の概略構成を示したブロック図である。図１に示した画像処理装置２００は、例えば、デジタルスチルカメラなどの撮像装置に適用される。なお、画像処理装置２００を撮像装置に適用した場合の詳細な説明は、後述する。図１に示した画像処理装置２００は、被写体認識部１と、対象物特定部２と、言語索出部３と、画像合成部４とから構成されている。また、画像処理装置２００には、被写体に適合するコメントの文字列を記憶している言語データベース３００が接続されている。画像処理装置２００は、入力された画像データ内の指定された被写体に、言語データベース３００に記憶している被写体に関連したコメント（文字列）を付加した画像を生成して出力する。
【００２０】
以下の説明においては、画像処理装置２００と言語データベース３００との構成に、画像処理装置２００に画像データを入力するデータ入力部１００と、画像処理装置２００が生成した画像を表示する、例えば、液晶などの表示装置である表示部４００とを加えた画像処理システムの場合について説明する。なお、図１においては、言語データベース３００が、画像処理装置２００の外部の構成要素である場合を示したが、言語データベース３００は、画像処理装置２００の内部の構成要素であってもよい。また、図１においては、言語データベース３００が画像処理装置２００の外部に配線されている場合を示したが、例えば、ネットワークを経由して画像処理装置２００から離れている言語データベース３００にアクセスする構成とすることもできる。
【００２１】
被写体認識部１は、データ入力部１００から入力された画像データ（以下、「元画像」という）内の被写体の画像認識を行い、被写体を抽出する。そして、被写体認識部１は、データ入力部１００から入力された元画像に抽出した被写体の情報を付加して対象物特定部２に出力する。また、被写体認識部１は、抽出した被写体の特徴（例えば、形状や色彩）に基づいて、それぞれの被写体の重み付け処理を行う。そして、重み付け処理した各被写体の重み付け情報（以下、「重み情報」という）を、言語索出部３に出力する。
【００２２】
ここで、被写体認識部１による処理内容の一例について説明する。被写体認識部１における被写体の抽出では、元画像内の被写体の輪郭をそれぞれ抽出する。そして、抽出した被写体の輪郭または被写体の輪郭内のデータに基づいて、重み付け処理を行う。
【００２３】
例えば、抽出した被写体の輪郭、すなわち、被写体の形状に基づいた重み付け処理を行う際には、被写体の形状のテンプレートマッチング（照合）の処理を行い、テンプレートとの一致率に基づいて重み付け処理を行う。より具体的には、被写体認識部１は、抽出した各被写体の輪郭が、被写体認識部１内に備えた、例えば、三角、四角、丸などのテンプレートに類似しているか否かを、それぞれの被写体毎に比較する。そして、それぞれの比較結果を、各被写体の重み情報として言語索出部３に出力する。
【００２４】
なお、被写体の輪郭とテンプレートとの比較を行う際には、例えば、テンプレートの大きさと同じ大きさになるように、被写体の輪郭を拡大処理または縮小処理を行って一致率を算出する。そして、最も一致率の高い形状のテンプレートを、当該被写体のテンプレートとして選択する。その後、被写体認識部１は、選択されたテンプレートを用いて、それぞれの被写体の重み付けを行う。被写体の形状に基づいた重み付け処理では、被写体の輪郭と選択されたテンプレートとの一致率が、当該被写体の重み情報になる。
【００２５】
また、例えば、被写体の輪郭内のデータ、すなわち、被写体の色彩に基づいた重み付け処理を行う際には、例えば、被写体の色の濃淡を表す輝度に基づいて重み付け処理を行う。被写体の色彩に基づいた重み付け処理では、各被写体の輝度の情報が、当該被写体の重み情報になる。また、被写体の色彩に基づいた重み付け処理では、例えば、各被写体を構成しているそれぞれの色（例えば、赤、緑、または青などのそれぞれの色）の情報に基づいて、各被写体の重み付けを行うこともできる。
【００２６】
対象物特定部２は、画像処理装置２００のユーザーによる図示しない操作部の操作に応じて、被写体認識部１が抽出した被写体の内、コメントを付加する対象の被写体（以下、「対象被写体」という）を特定する。そして、被写体認識部１から入力された被写体の情報が付加された元画像に、さらに対象被写体の情報を付加して、画像合成部４に出力する。また、対象物特定部２は、特定された対象被写体の情報（以下、「対象被写体情報」という）を、言語索出部３に出力する。なお、対象物特定部２は、対象被写体が、被写体認識部１から入力された被写体の情報に含まれていない場合、すなわち、被写体認識部１が抽出した被写体と異なる被写体が、対象被写体である場合には、対象被写体の情報を被写体認識部１にも出力する。これにより、被写体認識部１は、対象被写体の画像認識を再度行って対象被写体を抽出し、対象被写体の重み情報を言語索出部３に出力することができる。
【００２７】
言語索出部３は、被写体認識部１から入力された重み情報と、対象物特定部２から入力された対象被写体情報とに基づいて、言語データベース３００に記憶しているコメントの文字列の検索を行い、対象被写体に適合するコメントの文字列（以下、「コメントデータ」という）を選択する。そして、言語索出部３は、選択したコメントデータを、言語データベース３００から取得し、取得したコメントデータを、画像合成部４に出力する。
【００２８】
画像合成部４は、対象物特定部２から入力された被写体の情報と対象被写体情報とが付加された元画像に、言語索出部３から入力されたコメントデータを、例えば、対象被写体の吹き出しとして合成する画像合成処理を行った合成画像を生成する。そして、画像合成部４は、コメントデータが吹き出し内のコメント（以下、「吹き出しコメント」という）として合成された合成画像を、表示部４００に出力する。なお、画像合成部４がコメントデータを吹き出しコメントとして合成する際には、コメントを含む吹き出しの領域の画像データを、元画像に上書きする画像合成処理を行うこともできるが、例えば、透明度の情報を予め画像処理装置２００に設定しておき、吹き出しの領域の画像データを透明度の情報に応じた割合で重ね合わせる画像合成処理を行うこともできる。
【００２９】
次に、本第１の実施形態の画像処理装置２００における画像合成処理について説明する。なお、以下の説明においては、被写体の形状と色彩との重み情報を用いて、対象被写体に適合したコメントデータを吹き出しコメントとして合成した合成画像を生成する場合について説明する。まず、本第１の実施形態の画像処理装置２００において元画像に合成されるコメントデータを記憶した言語データベース３００のデータ構成について説明する。図２は、本第１の実施形態の画像処理装置２００で用いられる言語データベース３００における言語データ（コメントデータ）の構成の一例を模式的に示した図である。なお、図２においては、網掛けで表したところに、図２中に吹き出しで示したコメントデータが記憶されているものとする。
【００３０】
言語データベース３００は、重み情報に対応したコメントデータが一義的に選択されるように構成されている。例えば、図２に示したように、言語データベース３００には、被写体の形状（一致率）と、被写体の色彩（被写体の輝度）に応じて、１つのコメントデータが選択されるように、コメントデータが記憶されている。言語データベース３００を、このような構成とすることによって、重み情報に対応した１つのコメントデータのみが、言語索出部３によって必ず選択される。図２では、被写体の形状と色彩との重み情報に基づいて、重みＰの位置のコメントデータである言葉の文字列「きれい」が選択された場合の例を示している。
【００３１】
なお、図２に示した言語データベース３００の構成の一例では、被写体の形状と色彩との重み情報に基づいて対象被写体に適合した言葉の文字列を選択する場合の例について説明したが、被写体の形状または色彩のいずれか一方の重み情報に基づいて、対象被写体に適合した言葉の文字列を選択することができる。より具体的には、図２からもわかるように、言語データベース３００には、被写体の形状（一致率）毎、すなわち、図２においては横方向の行毎に、１つのコメントデータのみが記憶されている。また、被写体の色彩（被写体の輝度）毎、すなわち、図２においては縦方向の列毎にも、１つのコメントデータのみが記憶されている。言語データベース３００がこのような構成となっているため、言語索出部３は、入力された重み情報が１つであっても、必ず１つのコメントデータを選択することができる。なお、複数の重み情報に基づいて対象被写体に適合した言葉の文字列を選択する場合、コメントデータの選択に用いられる重み情報の優先順位（例えば、図２においては、形状または色彩のどちらの重み情報を優先してコメントデータを選択するか）は、画像合成処理を実行する前に、予め画像処理装置２００に設定しておくことが望ましい。この重み情報の優先順位は、例えば、画像処理装置２００のユーザーが決定し、予め画像処理装置２００に設定しておく構成とすることができる。
【００３２】
次に、本第１の実施形態の画像処理装置２００における画像合成処理の手順について説明する。図３は、本第１の実施形態の画像処理装置２００における画像合成処理の手順を示したフローチャートである。
【００３３】
まず、ステップＳ３１において、データ入力部１００に元画像が入力されると、データ入力部１００は、入力された元画像を被写体認識部１に出力する。続いて、ステップＳ３２において、被写体認識部１は、データ入力部１００から入力された元画像内の被写体の画像認識を行い、被写体の輪郭をそれぞれ抽出する。そして、被写体認識部１は、抽出した被写体の輪郭の情報を元画像に付加して対象物特定部２に出力する。
【００３４】
続いて、ステップＳ３３において、対象物特定部２は、画像処理装置２００のユーザーによる図示しない操作部の操作に応じて、対象被写体を特定し、被写体認識部１から入力された被写体の輪郭の情報が付加された元画像に、特定した対象被写体の情報をさらに付加して、画像合成部４に出力する。また、対象物特定部２は、対象被写体情報を、言語索出部３に出力する。
【００３５】
続いて、ステップＳ３４において、被写体認識部１は、抽出した被写体の特徴に基づいて、それぞれの被写体の重み付け処理を行い、各被写体の重み情報を言語索出部３に出力する。なお、本第１の実施形態では、被写体の形状と色彩との重み情報が言語索出部３に出力される。
【００３６】
続いて、ステップＳ３５において、言語索出部３は、ステップＳ３３において対象物特定部２から入力された対象被写体情報と、ステップＳ３４において被写体認識部１から出力された重み情報とに基づいて、言語データベース３００内のコメントデータを検索する。そして、対象被写体に適合するコメントデータ取得して、画像合成部４に出力する。
【００３７】
続いて、ステップＳ３６において、画像合成部４は、対象物特定部２から入力された対象被写体の情報が付加された元画像に、言語索出部３から入力されたコメントデータを、対象被写体の吹き出しコメントとして合成した合成画像を生成する。そして、生成した合成画像を、表示部４００に表示し、画像合成処理を終了する。
【００３８】
ここで、画像処理装置２００によって画像合成処理する場合の一例について説明する。図４は、本第１の実施形態の画像処理装置２００における被写体の特定方法と、画像合成によって生成される画像の一例を示した図である。
【００３９】
元画像が、図４（ａ）に示したような、花と２頭の蝶の画像である場合を想定する。被写体認識部１は、図４（ａ）に示した元画像内の被写体の画像認識を行い、図４（ｂ）に示したように、それぞれの被写体（被写体Ａ〜Ｃ）の輪郭を抽出する。
【００４０】
また、対象物特定部２は、画像処理装置２００のユーザーによって指定された被写体を、対象被写体として特定する。なお、ユーザーによる対象被写体の指定は、例えば、図示しない操作部に備えた十字キーやタッチパネルなどを、ユーザーが操作することによって行うことができる。図４（ｃ）では、元画像内の被写体Ｃ（右側の蝶）を、ユーザーがタッチパネル上で対象被写体として指定することによって、対象被写体を特定している様子を示している。
【００４１】
この場合、対象物特定部２は、タッチパネルの機能を備えた表示部４００に元画像を表示させる。その後、ユーザーによって吹き出しコメントを付加する被写体が指定されたとき、表示部４００に備えたタッチパネルから、ユーザーが指定した被写体の位置を表す情報（図４（ｃ）においては、被写体Ｃの位置の位置を表す情報）が、対象物特定部２に入力される。対象物特定部２は、入力された被写体の位置を表す情報に基づいて、被写体認識部１が抽出した元画像に含まれる被写体（図４（ｂ）においては、被写体Ａ〜Ｃ）の中から、被写体Ｃを対象被写体として特定する。なお、対象被写体を特定する方法は、ユーザーによって指定された被写体を特定することができる方法であれば、どのような方法でもよく、図４（ｃ）に示したようなタッチパネル上で被写体を指定する方法に限定されるものではない。
【００４２】
また、被写体認識部１は、抽出した被写体Ａ〜Ｃの特徴に基づいて、それぞれの被写体の重み付け処理を行う。そして、言語索出部３は、被写体認識部１から入力された重み情報と、対象物特定部２から入力された対象被写体情報に基づいて、言語データベース３００内のコメントデータを検索し、被写体Ｃに適合するコメントデータを取得する。ここでは、図４（ｂ）に示した対象被写体である被写体Ｃ（右側の蝶）に適合したコメントデータとして、図２に示した重みＰの位置のコメントデータが選択され、「きれい」という言葉の文字列のコメントデータを取得して、画像合成部４に出力するものとする。
【００４３】
画像合成部４は、対象物特定部２から入力された元画像と、言語索出部３から入力されたコメントデータとを画像合成処理し、図４（ｄ）に示したような、ユーザーによって指定された対象被写体である被写体Ｃに、吹き出しコメントとしてコメントデータが合成された合成画像を生成する。なお、ユーザーによって複数の対象被写体が指定された場合には、言語索出部３が指定されたそれぞれの対象被写体に適合するコメントデータを検索し、画像合成部４が、対象被写体毎に吹き出しコメントを合成した合成画像を生成することもできる。
【００４４】
なお、画像合成部４がコメントデータを合成する場合、対象被写体の予め定めた方向に、予め定めた大きさの吹き出しコメントを合成することもできるが、被写体認識部１によって元画像に付加された被写体の輪郭の情報に基づいて、合成する吹き出しコメントの方向や大きさを変更することもできる。例えば、図４に示したように、元画像に複数の被写体（被写体Ａ〜Ｃ）が含まれている場合には、被写体認識部１によって元画像に付加されている被写体の輪郭の情報に基づいて、対象被写体以外の被写体（被写体ＡおよびＢ）に吹き出しコメントが重ならないように、合成する吹き出しコメントの方向や大きさを変更することもできる。
【００４５】
例えば、図４（ｂ）に示した被写体Ｂが対象被写体として指定された場合、図４（ｄ）と同様に吹き出しコメントを合成すると、図５（ａ）に示したように、吹き出しコメントが被写体Ａに重なってしまう。元画像に付加されている被写体の輪郭の情報に基づいて、合成する吹き出しコメントの方向や大きさを変更することによって、例えば、図５（ｂ）に示したように、元画像内の他の被写体（被写体ＡおよびＣ）に吹き出しコメントが重ならないように画像合成処理を行うことができる。
【００４６】
上記に述べたように、本第１の実施形態の画像処理装置２００では、元画像内の対象被写体に適合した吹き出しコメントを自動で付加した合成画像を生成することができる。これにより、画像をより楽しむことができる。
【００４７】
＜第２の実施形態＞
次に、第１の実施形態の画像処理装置２００を、例えば、デジタルスチルカメラなどの撮像装置に適用した場合について説明する、図６は、第１の実施形態の画像処理装置を備えた本第２の実施形態の撮像装置の概略構成を示したブロック図である。図６に示した撮像装置５００は、レンズ部５１と、撮像部５２と、撮像制御部５３と、画像信号処理部５４と、画像記録部５５と、表示部５６と、制御部５７と、画像処理装置２００とから構成されている。また、撮像装置５００には、言語データベース３００が接続されている。また、撮像制御部５３には、ＡＦ（オートフォーカス：自動焦点）部５３ａを備えている。また、画像処理装置２００は、被写体認識部１と、対象物特定部２と、言語索出部３と、画像合成部４とから構成されている。
【００４８】
撮像装置５００は、撮影した画像内の指定された被写体に、言語データベース３００に記憶している被写体に関連したコメント（文字列）を付加した画像を生成して記録または表示する。なお、撮像装置５００に備えた画像処理装置２００は、ＡＦ部５３ａから出力される焦点位置の情報が入力される以外は、図１に示した画像処理装置２００と同様である。また、言語データベース３００も図１に示した言語データベース３００と同様である。従って、図６においては、言語データベース３００が、撮像装置５００の外部の構成要素である場合を示しているが、言語データベース３００は、撮像装置５００の内部の構成要素であってもよい。以下の説明においては、図１に示した画像処理装置２００および言語データベース３００と同じ構成要素については、同一の符号を付与し、それぞれの構成要素における同様の動作や構成についての詳細な説明は省略する。
【００４９】
レンズ部５１は、複数のレンズから構成されズームレンズやオートフォーカスレンズなどを備え、被写体像を撮像部５２に結像させる。
撮像部５２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）型撮像素子や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）型撮像素子などのイメージセンサから構成され、レンズ部５１の各種レンズを通過して撮像装置５００内に入射した被写体の光学像を画像信号に変換する。
【００５０】
撮像制御部５３は、撮像部５２を制御して、被写体の撮像条件の調節制御を行う。また、撮像制御部５３に備えたＡＦ部５３ａは、レンズ部５１を光軸方向に移動させて自動焦点の調節を行う。また、ＡＦ部５３ａは、被写体を撮影したときの焦点位置（以下、「ＡＦ位置」という）の情報を画像処理装置２００内の対象物特定部２に出力する。
【００５１】
画像信号処理部５４は、撮像部５２から出力された画像信号に対して、信号の増幅、画像データへの変換および各種の補正、画像データの圧縮など、種々の画像処理を行う。
画像記録部５５は、半導体メモリなどの着脱可能な記録媒体を制御して、画像データの記録または読み出しを行う。
【００５２】
表示部５６は、撮像部５２に結像され、画像信号処理部５４によって処理された画像データ、または画像記録部５５が読み出された画像データの画像を表示する液晶などの表示装置である。
制御部５７は、画像信号処理部５４、画像記録部５５、表示部５６、および画像処理装置２００の制御を行う。
【００５３】
なお、図６に示した撮像装置５００においては、レンズ部５１、撮像部５２、撮像制御部５３、および画像信号処理部５４を併せた構成が、図１に示したデータ入力部１００に相当する。すなわち、レンズ部５１によって撮像部５２に結像され、画像信号処理部５４によって画像処理された画像データが、撮像装置５００に備えた画像処理装置２００に入力される元画像になる。また、表示部５６は、図１に示した表示部４００に相当する。
【００５４】
対象物特定部２は、図１に示した対象物特定部２と同様に、撮像装置５００のユーザーによる図示しない操作部の操作に応じて、対象被写体を特定する。また、対象物特定部２は、ＡＦ部５３ａから入力されたＡＦ位置の情報に基づいた対象被写体の特定も行う。
【００５５】
次に、本第２の実施形態の撮像装置５００における画像合成処理の手順について説明する。なお、以下の説明においては、撮影した被写体の形状と色彩との重み情報を用いて、対象被写体に適合したコメントデータを吹き出しコメントとして合成した合成画像を生成する場合について説明する。図７は、本第２の実施形態の撮像装置５００における画像合成処理の手順を示したフローチャートである。
【００５６】
まず、ステップＳ６１において、撮影が行われると、画像信号処理部５４は、レンズ部５１によって撮像部５２に結像された被写体像の画像信号に基づいた元画像を、被写体認識部１に出力する。続いて、ステップＳ６２において、制御部５７は、被写体に吹き出しコメントを合成するか否か、すなわち、撮像装置５００の設定が、吹き出しコメントを付加するモードであるか否かを判断する。なお、吹き出しコメントを付加するモードであるか否かの撮像装置５００の設定は、撮影前に、予め撮像装置５００に設定しておくこともできるが、撮像装置５００のユーザーがステップＳ６２のときに決定するようにすることもできる。撮像装置５００の設定が吹き出しコメントを付加するモードでない場合は、撮像装置５００における画像合成処理を終了する。
【００５７】
ステップＳ６２による判断の結果、撮像装置５００の設定が吹き出しコメントを付加するモードである場合、ステップＳ６３において、被写体認識部１は、画像信号処理部５４から入力された元画像内の被写体の画像認識を行い、被写体の輪郭をそれぞれ抽出する。そして、被写体認識部１は、抽出した被写体の輪郭の情報を元画像に付加して対象物特定部２に出力する。
【００５８】
続いて、ステップＳ６４において、対象物特定部２は、撮像装置５００のユーザーによる図示しない操作部の操作に応じて、対象被写体を特定する。また、対象物特定部２は、対象被写体情報を、言語索出部３に出力する。
【００５９】
続いて、ステップＳ６５において、被写体認識部１は、抽出した被写体の特徴に基づいて、それぞれの被写体の重み付け処理を行い、各被写体の重み情報を言語索出部３に出力する。なお、本第２の実施形態では、被写体の形状と色彩との重み情報が言語索出部３に出力される。
【００６０】
続いて、ステップＳ６６において、言語索出部３は、ステップＳ６４において対象物特定部２から入力された対象被写体情報と、ステップＳ６５において被写体認識部１から出力された重み情報とに基づいて、言語データベース３００内のコメントデータを検索する。
【００６１】
続いて、ステップＳ６７において、対象物特定部２は、ＡＦ部５３ａから入力されたＡＦ位置の情報に基づいて、ＡＦ位置を中心にした焦点が合っている被写体を特定し、被写体認識部１から入力された被写体の輪郭の情報が付加された元画像に、特定した対象被写体の情報と焦点が合っている被写体の情報とをさらに付加して、画像合成部４に出力する。なお、対象物特定部２は、焦点が合っている被写体の情報を、言語索出部３に出力することもできる。これにより、言語索出部３は、言語データベース３００を再度検索することによって、焦点が合っている被写体に適合するコメントデータを取得することができる。このことによって、画像合成部４は、焦点が合っている被写体に吹き出しコメントを付加することができるようになる。
【００６２】
続いて、ステップＳ６８において、対象物特定部２は、撮像装置５００のユーザーによる図示しない操作部の操作に応じて、吹き出しコメントを付加する元画像内の位置（以下、「吹き出し位置」という）を決定する。なお、ユーザーの指定によらず、焦点が合っている被写体の位置を吹き出し位置に決定することもできる。また、ユーザーに指定された位置と、焦点が合っている被写体の位置とを、吹き出し位置に決定することもできる。そして、対象物特定部２は、決定した吹き出し位置の情報を、言語索出部３および画像合成部４に出力する。
【００６３】
続いて、ステップＳ６９において、言語索出部３は、ステップＳ６８において対象物特定部２から入力された決定した吹き出し位置の情報に基づいて、吹き出し位置に適合するコメントデータ取得して、画像合成部４に出力する。そして、画像合成部４は、対象物特定部２から入力された吹き出し位置の情報に基づいて、言語索出部３から入力されたコメントデータを、吹き出しコメントとして元画像に合成した合成画像を生成する。そして、生成した合成画像を、表示部４００に表示、または画像記録部５５によって記録媒体に記録し、画像合成処理を終了する。
【００６４】
ここで、撮像装置５００における吹き出し位置の指定方法の一例について説明する。図８は、本第２の実施形態の撮像装置５００における吹き出し位置の指定方法の一例を示した図である。撮像装置５００のユーザーによる吹き出し位置の指定は、ユーザーによる対象被写体の指定方法と同様に、十字キーやタッチパネルなどの操作によって行うことができる。例えば、図８に示したように、表示部５６にタッチパネルの機能を備えている場合には、ユーザーが撮像装置５００の表示部５６のタッチパネルに触れることによって得られる、表示部５６に備えたタッチパネルからの吹き出し位置を表す情報に基づいて、吹き出し位置を決定することができる。また、例えば、表示部５６にタッチパネルの機能を備えていない場合には、図８に示した十字キー５８をユーザーが操作することによって、吹き出し位置を決定することもできる。
【００６５】
上記に述べたように、本第２の実施形態の撮像装置５００では、撮像装置５００に備えた操作部によって、容易に、撮影した画像内の被写体に適合した吹き出しコメントを自動で付加した合成画像を生成することができる。そして、生成した合成画像を表示または記録することができる。これにより、撮影したその場で吹き出しコメントが付加された画像を楽しむことができ、後でも吹き出しコメントが付加された画像を楽しむことができる。
【００６６】
上記に述べたとおり、本発明を実施するための形態によれば、画像内の被写体に適合したコメントデータを言語データベースから検索することができる。また、言語データベース内には、重み情報に応じて一義的に選択されるコメントデータが記憶されている。これにより、言語データベースを検索した結果、複数のコメントデータが選択されることはなく、必ず１つのコメントデータのみが選択される。従って、本発明を実施するための形態では、従来の撮像装置のように、複数のコメントデータから画像に付加する吹き出しコメントを選択する必要がなく、被写体に適合した吹き出しコメントを自動で付加した合成画像を生成することができる。また、本発明を実施するための形態では、吹き出しコメントを付加する被写体をユーザーが指定することができる。これにより、画像内に複数の被写体がある場合でも、特定の被写体のみに吹き出しコメントを付加することができる。
【００６７】
また、本発明を実施するための形態によれば、画像内で焦点が合っている位置の被写体を特定することができる。これにより、ユーザーが注目する被写体を認識することができ、吹き出し位置を自動で決定することができる。また、本発明を実施するための形態では、吹き出し位置をユーザーが指定することができる。これにより、ユーザーの所望の位置に吹き出しコメントを合成することができる。
【００６８】
なお、本実施形態においては、画像処理装置２００に１つの言語データベース３００が接続されている場合の例について説明したが、画像処理装置２００に接続されている言語データベース３００の個数は、本実施形態に限定されるものではなく、複数の言語データベース３００が画像処理装置２００に接続されている構成とすることもできる。この場合、例えば、言語索出部３がコメントデータを検索する言語データベース３００を、ユーザーが選択する構成にすることもできる。また、例えば、ポートレートや夜景など、撮影されるシーンや、動物や昆虫など、被写体の種類に応じた複数の言語データベース３００が接続されている場合には、例えば、撮像装置５００の撮影条件や、被写体認識部１が抽出した被写体に応じて、コメントデータを検索する言語データベース３００を切り替える構成とすることもできる。
【００６９】
また、言語データベース３００に記憶されているコメントデータは、予め記憶されたデータのみではなく、例えば、ユーザーが好みに合わせて、コメントの文字列を変更する構成とすることもできる。例えば、撮像装置５００内の言語データベース３００を変更する場合には、図示しない操作部に備えた十字キーやタッチパネルなどをユーザーが操作することもできる。また、ネットワークを経由して画像処理装置２００から離れている言語データベース３００を変更する場合には、画像処理装置２００で利用しているネットワークと異なる経路で言語データベース３００にアクセスすることもできる。
【００７０】
また、本実施形態においては、図２において被写体の形状（一致率）と、被写体の色彩（被写体の輝度）との重み情報を、それぞれ６段階に分割した言語データベース３００の構成の例について説明したが、言語データベースにおいて分割する重み情報の段階（分割数）は、本実施形態に限定されるものではなく、重み情報毎に言語データベース内で分割する段階（分割数）を変えることができる。例えば、被写体の形状（一致率）を６段階とし、被写体の色彩（被写体の輝度）を８段階とした言語データベースの構成にすることもできる。
【００７１】
また、本第２の実施形態においては、第１の実施形態の画像処理装置２００を、デジタルスチルカメラなどの撮像装置に適用した場合について説明したが、画像処理装置を適用するシステムは、本実施形態に限定されるものではなく、元画像内の被写体に吹き出しコメントを付加した合成画像を生成するシステムであれば、どのようなシステムも適用することができる。
【００７２】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【００７３】
１００・・・データ入力部（撮影部）
２００・・・画像処理装置
１・・・被写体認識部
２・・・対象物特定部
３・・・言語索出部（言語検索部）
４・・・画像合成部
３００・・・言語データベース
４００・・・表示部
５００・・・撮像装置
５１・・・レンズ部（撮影部）
５２・・・撮像部（撮影部）
５３・・・撮像制御部（撮影部）
５３ａ・・・ＡＦ部（撮影部）
５４・・・画像信号処理部（撮影部）
５５・・・画像記録部（記録部）
５６・・・表示部
５７・・・制御部
５８・・・十字キー
【技術分野】
【０００１】
本発明は、被写体に関連する情報に基づいた画像を生成する画像処理装置、画像処理方法、および撮像装置に関する。
【背景技術】
【０００２】
従来、画像を生成する画像処理装置として、例えば、特許文献１のように、画像に関連付けた文字列を吹き出しとして表示する撮像装置が提案されている。特許文献１に開示された撮像装置は、画像認識処理およびカレンダー機能により、注目画像の属性（人物、動物、植物、生物、山、川など）や季節を取得し、注目画像の動作や表情の状態に応じた言葉の種類を選択可能に表示する。次に、絞込み処理により文字列を表示し、注目画像とその文字列を関連付けた吹き出しを付加した画像を生成するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−８１７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された撮像装置では、吹き出しとして付加する内容（文字列）を、例えば、撮像装置のユーザーが選択することによって、選択した内容を含む吹き出しを画像に付加することができる。しかしながら、画像に付加する吹き出しの内容を選択するのは、撮像装置のユーザーに手間がかかり、吹き出しの内容を選択するための操作が煩雑になってしまう。このため、画像に吹き出しを付加する機能が実際に使用される頻度が少なくなってしまうことが考えられる。
【０００５】
本発明は、上記の課題認識に基づいてなされたものであり、画像内の被写体を検出し、検出した被写体に関連した文字列を付加した合成画像を生成することができる画像処理装置、画像処理方法、および撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、本発明の画像処理装置は、入力された画像中の被写体を抽出し、該抽出した被写体の特徴に基づいて、該抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識部と、前記被写体認識部が抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定部と、前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索部と、前記言語検索部によって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成部と、を備えることを特徴とする。
【０００７】
また、本発明の前記画像合成部は、前記対象被写体に適合する文字列を、該対象被写体からの吹き出しとして関連付けた合成画像を生成する、ことを特徴とする。
【０００８】
また、本発明の前記被写体認識部が重み付けする際の前記被写体の特徴は、前記抽出された被写体の形状および色彩の特徴であり、前記被写体認識部は、前記入力された画像中の被写体の輪郭を抽出し、前記抽出した被写体の輪郭と、所定の形状との一致率の情報に基づいて、該被写体の形状に関する重み付けを行い、前記抽出した被写体の輪郭内の色のデータの情報に基づいて、該被写体の色彩に関する重み付けを行い、前記言語検索部は、前記一致率の情報および前記色のデータの情報に基づいて、前記被写体に適合する文字列を検索する、ことを特徴とする。
【０００９】
また、本発明の前記被写体認識部が重み付けする際の前記被写体の特徴は、前記抽出された被写体の形状の特徴であり、前記被写体認識部は、前記入力された画像中の被写体の輪郭を抽出し、前記抽出した被写体の輪郭と、所定の形状との一致率の情報に基づいて、該被写体の形状に関する重み付けを行い、前記言語検索部は、前記一致率の情報に基づいて、前記被写体に適合する文字列を検索する、ことを特徴とする。
【００１０】
また、本発明の前記被写体認識部が重み付けする際の前記被写体の特徴は、前記抽出された被写体の色彩の特徴であり、前記被写体認識部は、前記入力された画像中の被写体の輪郭を抽出し、前記抽出した被写体の輪郭内の色のデータの情報に基づいて、該被写体の色彩に関する重み付けを行い、前記言語検索部は、前記色のデータの情報に基づいて、前記被写体に適合する文字列を検索する、ことを特徴とする。
【００１１】
また、本発明の前記対象物特定部は、該画像処理装置の操作者によって指定された被写体を、前記対象被写体として特定する、ことを特徴とする。
【００１２】
また、本発明の撮像装置は、被写体を撮影した画像を出力すると共に、前記被写体を撮影したときの焦点の情報を出力する撮影部と、前記撮影部が撮影した画像中の被写体を抽出し、該抽出した被写体の特徴に基づいて、該抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識部と、前記撮影部が撮影したときの焦点の情報に基づいて、前記被写体認識部が抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定部と、前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索部と、前記言語検索部によって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成部と、を備えることを特徴とする。
【００１３】
また、本発明の前記対象物特定部は、前記焦点の情報において焦点が合っていることを表している前記抽出した被写体、または該撮像装置の操作者によって指定された被写体のいずれか１つの被写体、または両方の被写体を、前記対象被写体として特定する、ことを特徴とする。
【００１４】
また、本発明の撮像装置は、前記画像合成部によって生成された前記合成画像を表示する表示部、を、さらに備える、ことを特徴とする。
【００１５】
また、本発明の撮像装置は、前記画像合成部によって生成された前記合成画像を記録する記録部、を、さらに備える、ことを特徴とする。
【００１６】
また、本発明の画像処理方法は、入力された画像中の被写体を抽出し、該抽出した被写体の特徴に基づいて、該抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識ステップと、前記被写体認識ステップによって抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定ステップと、前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索ステップと、前記言語検索ステップによって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成ステップと、を含むことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、画像内の被写体を検出し、検出した被写体に関連した文字列を付加した合成画像を生成することができるという効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態における画像処理装置の概略構成を示したブロック図である。
【図２】本第１の実施形態の画像処理装置で用いられる言語データベースにおける言語データの構成の一例を模式的に示した図である。
【図３】本第１の実施形態の画像処理装置における画像合成処理の手順を示したフローチャートである。
【図４】本第１の実施形態の画像処理装置における被写体の特定方法と、画像合成によって生成される画像の一例を示した図である。
【図５】本第１の実施形態の画像処理装置における画像合成によって生成される画像の別の一例を示した図である。
【図６】本第１の実施形態の画像処理装置を備えた第２の実施形態の撮像装置の概略構成を示したブロック図である。
【図７】本第２の実施形態の撮像装置における画像合成処理の手順を示したフローチャートである。
【図８】本第２の実施形態の撮像装置における吹き出し位置の指定方法の一例を示した図である。
【発明を実施するための形態】
【００１９】
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本第１の実施形態における画像処理装置の概略構成を示したブロック図である。図１に示した画像処理装置２００は、例えば、デジタルスチルカメラなどの撮像装置に適用される。なお、画像処理装置２００を撮像装置に適用した場合の詳細な説明は、後述する。図１に示した画像処理装置２００は、被写体認識部１と、対象物特定部２と、言語索出部３と、画像合成部４とから構成されている。また、画像処理装置２００には、被写体に適合するコメントの文字列を記憶している言語データベース３００が接続されている。画像処理装置２００は、入力された画像データ内の指定された被写体に、言語データベース３００に記憶している被写体に関連したコメント（文字列）を付加した画像を生成して出力する。
【００２０】
以下の説明においては、画像処理装置２００と言語データベース３００との構成に、画像処理装置２００に画像データを入力するデータ入力部１００と、画像処理装置２００が生成した画像を表示する、例えば、液晶などの表示装置である表示部４００とを加えた画像処理システムの場合について説明する。なお、図１においては、言語データベース３００が、画像処理装置２００の外部の構成要素である場合を示したが、言語データベース３００は、画像処理装置２００の内部の構成要素であってもよい。また、図１においては、言語データベース３００が画像処理装置２００の外部に配線されている場合を示したが、例えば、ネットワークを経由して画像処理装置２００から離れている言語データベース３００にアクセスする構成とすることもできる。
【００２１】
被写体認識部１は、データ入力部１００から入力された画像データ（以下、「元画像」という）内の被写体の画像認識を行い、被写体を抽出する。そして、被写体認識部１は、データ入力部１００から入力された元画像に抽出した被写体の情報を付加して対象物特定部２に出力する。また、被写体認識部１は、抽出した被写体の特徴（例えば、形状や色彩）に基づいて、それぞれの被写体の重み付け処理を行う。そして、重み付け処理した各被写体の重み付け情報（以下、「重み情報」という）を、言語索出部３に出力する。
【００２２】
ここで、被写体認識部１による処理内容の一例について説明する。被写体認識部１における被写体の抽出では、元画像内の被写体の輪郭をそれぞれ抽出する。そして、抽出した被写体の輪郭または被写体の輪郭内のデータに基づいて、重み付け処理を行う。
【００２３】
例えば、抽出した被写体の輪郭、すなわち、被写体の形状に基づいた重み付け処理を行う際には、被写体の形状のテンプレートマッチング（照合）の処理を行い、テンプレートとの一致率に基づいて重み付け処理を行う。より具体的には、被写体認識部１は、抽出した各被写体の輪郭が、被写体認識部１内に備えた、例えば、三角、四角、丸などのテンプレートに類似しているか否かを、それぞれの被写体毎に比較する。そして、それぞれの比較結果を、各被写体の重み情報として言語索出部３に出力する。
【００２４】
なお、被写体の輪郭とテンプレートとの比較を行う際には、例えば、テンプレートの大きさと同じ大きさになるように、被写体の輪郭を拡大処理または縮小処理を行って一致率を算出する。そして、最も一致率の高い形状のテンプレートを、当該被写体のテンプレートとして選択する。その後、被写体認識部１は、選択されたテンプレートを用いて、それぞれの被写体の重み付けを行う。被写体の形状に基づいた重み付け処理では、被写体の輪郭と選択されたテンプレートとの一致率が、当該被写体の重み情報になる。
【００２５】
また、例えば、被写体の輪郭内のデータ、すなわち、被写体の色彩に基づいた重み付け処理を行う際には、例えば、被写体の色の濃淡を表す輝度に基づいて重み付け処理を行う。被写体の色彩に基づいた重み付け処理では、各被写体の輝度の情報が、当該被写体の重み情報になる。また、被写体の色彩に基づいた重み付け処理では、例えば、各被写体を構成しているそれぞれの色（例えば、赤、緑、または青などのそれぞれの色）の情報に基づいて、各被写体の重み付けを行うこともできる。
【００２６】
対象物特定部２は、画像処理装置２００のユーザーによる図示しない操作部の操作に応じて、被写体認識部１が抽出した被写体の内、コメントを付加する対象の被写体（以下、「対象被写体」という）を特定する。そして、被写体認識部１から入力された被写体の情報が付加された元画像に、さらに対象被写体の情報を付加して、画像合成部４に出力する。また、対象物特定部２は、特定された対象被写体の情報（以下、「対象被写体情報」という）を、言語索出部３に出力する。なお、対象物特定部２は、対象被写体が、被写体認識部１から入力された被写体の情報に含まれていない場合、すなわち、被写体認識部１が抽出した被写体と異なる被写体が、対象被写体である場合には、対象被写体の情報を被写体認識部１にも出力する。これにより、被写体認識部１は、対象被写体の画像認識を再度行って対象被写体を抽出し、対象被写体の重み情報を言語索出部３に出力することができる。
【００２７】
言語索出部３は、被写体認識部１から入力された重み情報と、対象物特定部２から入力された対象被写体情報とに基づいて、言語データベース３００に記憶しているコメントの文字列の検索を行い、対象被写体に適合するコメントの文字列（以下、「コメントデータ」という）を選択する。そして、言語索出部３は、選択したコメントデータを、言語データベース３００から取得し、取得したコメントデータを、画像合成部４に出力する。
【００２８】
画像合成部４は、対象物特定部２から入力された被写体の情報と対象被写体情報とが付加された元画像に、言語索出部３から入力されたコメントデータを、例えば、対象被写体の吹き出しとして合成する画像合成処理を行った合成画像を生成する。そして、画像合成部４は、コメントデータが吹き出し内のコメント（以下、「吹き出しコメント」という）として合成された合成画像を、表示部４００に出力する。なお、画像合成部４がコメントデータを吹き出しコメントとして合成する際には、コメントを含む吹き出しの領域の画像データを、元画像に上書きする画像合成処理を行うこともできるが、例えば、透明度の情報を予め画像処理装置２００に設定しておき、吹き出しの領域の画像データを透明度の情報に応じた割合で重ね合わせる画像合成処理を行うこともできる。
【００２９】
次に、本第１の実施形態の画像処理装置２００における画像合成処理について説明する。なお、以下の説明においては、被写体の形状と色彩との重み情報を用いて、対象被写体に適合したコメントデータを吹き出しコメントとして合成した合成画像を生成する場合について説明する。まず、本第１の実施形態の画像処理装置２００において元画像に合成されるコメントデータを記憶した言語データベース３００のデータ構成について説明する。図２は、本第１の実施形態の画像処理装置２００で用いられる言語データベース３００における言語データ（コメントデータ）の構成の一例を模式的に示した図である。なお、図２においては、網掛けで表したところに、図２中に吹き出しで示したコメントデータが記憶されているものとする。
【００３０】
言語データベース３００は、重み情報に対応したコメントデータが一義的に選択されるように構成されている。例えば、図２に示したように、言語データベース３００には、被写体の形状（一致率）と、被写体の色彩（被写体の輝度）に応じて、１つのコメントデータが選択されるように、コメントデータが記憶されている。言語データベース３００を、このような構成とすることによって、重み情報に対応した１つのコメントデータのみが、言語索出部３によって必ず選択される。図２では、被写体の形状と色彩との重み情報に基づいて、重みＰの位置のコメントデータである言葉の文字列「きれい」が選択された場合の例を示している。
【００３１】
なお、図２に示した言語データベース３００の構成の一例では、被写体の形状と色彩との重み情報に基づいて対象被写体に適合した言葉の文字列を選択する場合の例について説明したが、被写体の形状または色彩のいずれか一方の重み情報に基づいて、対象被写体に適合した言葉の文字列を選択することができる。より具体的には、図２からもわかるように、言語データベース３００には、被写体の形状（一致率）毎、すなわち、図２においては横方向の行毎に、１つのコメントデータのみが記憶されている。また、被写体の色彩（被写体の輝度）毎、すなわち、図２においては縦方向の列毎にも、１つのコメントデータのみが記憶されている。言語データベース３００がこのような構成となっているため、言語索出部３は、入力された重み情報が１つであっても、必ず１つのコメントデータを選択することができる。なお、複数の重み情報に基づいて対象被写体に適合した言葉の文字列を選択する場合、コメントデータの選択に用いられる重み情報の優先順位（例えば、図２においては、形状または色彩のどちらの重み情報を優先してコメントデータを選択するか）は、画像合成処理を実行する前に、予め画像処理装置２００に設定しておくことが望ましい。この重み情報の優先順位は、例えば、画像処理装置２００のユーザーが決定し、予め画像処理装置２００に設定しておく構成とすることができる。
【００３２】
次に、本第１の実施形態の画像処理装置２００における画像合成処理の手順について説明する。図３は、本第１の実施形態の画像処理装置２００における画像合成処理の手順を示したフローチャートである。
【００３３】
まず、ステップＳ３１において、データ入力部１００に元画像が入力されると、データ入力部１００は、入力された元画像を被写体認識部１に出力する。続いて、ステップＳ３２において、被写体認識部１は、データ入力部１００から入力された元画像内の被写体の画像認識を行い、被写体の輪郭をそれぞれ抽出する。そして、被写体認識部１は、抽出した被写体の輪郭の情報を元画像に付加して対象物特定部２に出力する。
【００３４】
続いて、ステップＳ３３において、対象物特定部２は、画像処理装置２００のユーザーによる図示しない操作部の操作に応じて、対象被写体を特定し、被写体認識部１から入力された被写体の輪郭の情報が付加された元画像に、特定した対象被写体の情報をさらに付加して、画像合成部４に出力する。また、対象物特定部２は、対象被写体情報を、言語索出部３に出力する。
【００３５】
続いて、ステップＳ３４において、被写体認識部１は、抽出した被写体の特徴に基づいて、それぞれの被写体の重み付け処理を行い、各被写体の重み情報を言語索出部３に出力する。なお、本第１の実施形態では、被写体の形状と色彩との重み情報が言語索出部３に出力される。
【００３６】
続いて、ステップＳ３５において、言語索出部３は、ステップＳ３３において対象物特定部２から入力された対象被写体情報と、ステップＳ３４において被写体認識部１から出力された重み情報とに基づいて、言語データベース３００内のコメントデータを検索する。そして、対象被写体に適合するコメントデータ取得して、画像合成部４に出力する。
【００３７】
続いて、ステップＳ３６において、画像合成部４は、対象物特定部２から入力された対象被写体の情報が付加された元画像に、言語索出部３から入力されたコメントデータを、対象被写体の吹き出しコメントとして合成した合成画像を生成する。そして、生成した合成画像を、表示部４００に表示し、画像合成処理を終了する。
【００３８】
ここで、画像処理装置２００によって画像合成処理する場合の一例について説明する。図４は、本第１の実施形態の画像処理装置２００における被写体の特定方法と、画像合成によって生成される画像の一例を示した図である。
【００３９】
元画像が、図４（ａ）に示したような、花と２頭の蝶の画像である場合を想定する。被写体認識部１は、図４（ａ）に示した元画像内の被写体の画像認識を行い、図４（ｂ）に示したように、それぞれの被写体（被写体Ａ〜Ｃ）の輪郭を抽出する。
【００４０】
また、対象物特定部２は、画像処理装置２００のユーザーによって指定された被写体を、対象被写体として特定する。なお、ユーザーによる対象被写体の指定は、例えば、図示しない操作部に備えた十字キーやタッチパネルなどを、ユーザーが操作することによって行うことができる。図４（ｃ）では、元画像内の被写体Ｃ（右側の蝶）を、ユーザーがタッチパネル上で対象被写体として指定することによって、対象被写体を特定している様子を示している。
【００４１】
この場合、対象物特定部２は、タッチパネルの機能を備えた表示部４００に元画像を表示させる。その後、ユーザーによって吹き出しコメントを付加する被写体が指定されたとき、表示部４００に備えたタッチパネルから、ユーザーが指定した被写体の位置を表す情報（図４（ｃ）においては、被写体Ｃの位置の位置を表す情報）が、対象物特定部２に入力される。対象物特定部２は、入力された被写体の位置を表す情報に基づいて、被写体認識部１が抽出した元画像に含まれる被写体（図４（ｂ）においては、被写体Ａ〜Ｃ）の中から、被写体Ｃを対象被写体として特定する。なお、対象被写体を特定する方法は、ユーザーによって指定された被写体を特定することができる方法であれば、どのような方法でもよく、図４（ｃ）に示したようなタッチパネル上で被写体を指定する方法に限定されるものではない。
【００４２】
また、被写体認識部１は、抽出した被写体Ａ〜Ｃの特徴に基づいて、それぞれの被写体の重み付け処理を行う。そして、言語索出部３は、被写体認識部１から入力された重み情報と、対象物特定部２から入力された対象被写体情報に基づいて、言語データベース３００内のコメントデータを検索し、被写体Ｃに適合するコメントデータを取得する。ここでは、図４（ｂ）に示した対象被写体である被写体Ｃ（右側の蝶）に適合したコメントデータとして、図２に示した重みＰの位置のコメントデータが選択され、「きれい」という言葉の文字列のコメントデータを取得して、画像合成部４に出力するものとする。
【００４３】
画像合成部４は、対象物特定部２から入力された元画像と、言語索出部３から入力されたコメントデータとを画像合成処理し、図４（ｄ）に示したような、ユーザーによって指定された対象被写体である被写体Ｃに、吹き出しコメントとしてコメントデータが合成された合成画像を生成する。なお、ユーザーによって複数の対象被写体が指定された場合には、言語索出部３が指定されたそれぞれの対象被写体に適合するコメントデータを検索し、画像合成部４が、対象被写体毎に吹き出しコメントを合成した合成画像を生成することもできる。
【００４４】
なお、画像合成部４がコメントデータを合成する場合、対象被写体の予め定めた方向に、予め定めた大きさの吹き出しコメントを合成することもできるが、被写体認識部１によって元画像に付加された被写体の輪郭の情報に基づいて、合成する吹き出しコメントの方向や大きさを変更することもできる。例えば、図４に示したように、元画像に複数の被写体（被写体Ａ〜Ｃ）が含まれている場合には、被写体認識部１によって元画像に付加されている被写体の輪郭の情報に基づいて、対象被写体以外の被写体（被写体ＡおよびＢ）に吹き出しコメントが重ならないように、合成する吹き出しコメントの方向や大きさを変更することもできる。
【００４５】
例えば、図４（ｂ）に示した被写体Ｂが対象被写体として指定された場合、図４（ｄ）と同様に吹き出しコメントを合成すると、図５（ａ）に示したように、吹き出しコメントが被写体Ａに重なってしまう。元画像に付加されている被写体の輪郭の情報に基づいて、合成する吹き出しコメントの方向や大きさを変更することによって、例えば、図５（ｂ）に示したように、元画像内の他の被写体（被写体ＡおよびＣ）に吹き出しコメントが重ならないように画像合成処理を行うことができる。
【００４６】
上記に述べたように、本第１の実施形態の画像処理装置２００では、元画像内の対象被写体に適合した吹き出しコメントを自動で付加した合成画像を生成することができる。これにより、画像をより楽しむことができる。
【００４７】
＜第２の実施形態＞
次に、第１の実施形態の画像処理装置２００を、例えば、デジタルスチルカメラなどの撮像装置に適用した場合について説明する、図６は、第１の実施形態の画像処理装置を備えた本第２の実施形態の撮像装置の概略構成を示したブロック図である。図６に示した撮像装置５００は、レンズ部５１と、撮像部５２と、撮像制御部５３と、画像信号処理部５４と、画像記録部５５と、表示部５６と、制御部５７と、画像処理装置２００とから構成されている。また、撮像装置５００には、言語データベース３００が接続されている。また、撮像制御部５３には、ＡＦ（オートフォーカス：自動焦点）部５３ａを備えている。また、画像処理装置２００は、被写体認識部１と、対象物特定部２と、言語索出部３と、画像合成部４とから構成されている。
【００４８】
撮像装置５００は、撮影した画像内の指定された被写体に、言語データベース３００に記憶している被写体に関連したコメント（文字列）を付加した画像を生成して記録または表示する。なお、撮像装置５００に備えた画像処理装置２００は、ＡＦ部５３ａから出力される焦点位置の情報が入力される以外は、図１に示した画像処理装置２００と同様である。また、言語データベース３００も図１に示した言語データベース３００と同様である。従って、図６においては、言語データベース３００が、撮像装置５００の外部の構成要素である場合を示しているが、言語データベース３００は、撮像装置５００の内部の構成要素であってもよい。以下の説明においては、図１に示した画像処理装置２００および言語データベース３００と同じ構成要素については、同一の符号を付与し、それぞれの構成要素における同様の動作や構成についての詳細な説明は省略する。
【００４９】
レンズ部５１は、複数のレンズから構成されズームレンズやオートフォーカスレンズなどを備え、被写体像を撮像部５２に結像させる。
撮像部５２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）型撮像素子や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）型撮像素子などのイメージセンサから構成され、レンズ部５１の各種レンズを通過して撮像装置５００内に入射した被写体の光学像を画像信号に変換する。
【００５０】
撮像制御部５３は、撮像部５２を制御して、被写体の撮像条件の調節制御を行う。また、撮像制御部５３に備えたＡＦ部５３ａは、レンズ部５１を光軸方向に移動させて自動焦点の調節を行う。また、ＡＦ部５３ａは、被写体を撮影したときの焦点位置（以下、「ＡＦ位置」という）の情報を画像処理装置２００内の対象物特定部２に出力する。
【００５１】
画像信号処理部５４は、撮像部５２から出力された画像信号に対して、信号の増幅、画像データへの変換および各種の補正、画像データの圧縮など、種々の画像処理を行う。
画像記録部５５は、半導体メモリなどの着脱可能な記録媒体を制御して、画像データの記録または読み出しを行う。
【００５２】
表示部５６は、撮像部５２に結像され、画像信号処理部５４によって処理された画像データ、または画像記録部５５が読み出された画像データの画像を表示する液晶などの表示装置である。
制御部５７は、画像信号処理部５４、画像記録部５５、表示部５６、および画像処理装置２００の制御を行う。
【００５３】
なお、図６に示した撮像装置５００においては、レンズ部５１、撮像部５２、撮像制御部５３、および画像信号処理部５４を併せた構成が、図１に示したデータ入力部１００に相当する。すなわち、レンズ部５１によって撮像部５２に結像され、画像信号処理部５４によって画像処理された画像データが、撮像装置５００に備えた画像処理装置２００に入力される元画像になる。また、表示部５６は、図１に示した表示部４００に相当する。
【００５４】
対象物特定部２は、図１に示した対象物特定部２と同様に、撮像装置５００のユーザーによる図示しない操作部の操作に応じて、対象被写体を特定する。また、対象物特定部２は、ＡＦ部５３ａから入力されたＡＦ位置の情報に基づいた対象被写体の特定も行う。
【００５５】
次に、本第２の実施形態の撮像装置５００における画像合成処理の手順について説明する。なお、以下の説明においては、撮影した被写体の形状と色彩との重み情報を用いて、対象被写体に適合したコメントデータを吹き出しコメントとして合成した合成画像を生成する場合について説明する。図７は、本第２の実施形態の撮像装置５００における画像合成処理の手順を示したフローチャートである。
【００５６】
まず、ステップＳ６１において、撮影が行われると、画像信号処理部５４は、レンズ部５１によって撮像部５２に結像された被写体像の画像信号に基づいた元画像を、被写体認識部１に出力する。続いて、ステップＳ６２において、制御部５７は、被写体に吹き出しコメントを合成するか否か、すなわち、撮像装置５００の設定が、吹き出しコメントを付加するモードであるか否かを判断する。なお、吹き出しコメントを付加するモードであるか否かの撮像装置５００の設定は、撮影前に、予め撮像装置５００に設定しておくこともできるが、撮像装置５００のユーザーがステップＳ６２のときに決定するようにすることもできる。撮像装置５００の設定が吹き出しコメントを付加するモードでない場合は、撮像装置５００における画像合成処理を終了する。
【００５７】
ステップＳ６２による判断の結果、撮像装置５００の設定が吹き出しコメントを付加するモードである場合、ステップＳ６３において、被写体認識部１は、画像信号処理部５４から入力された元画像内の被写体の画像認識を行い、被写体の輪郭をそれぞれ抽出する。そして、被写体認識部１は、抽出した被写体の輪郭の情報を元画像に付加して対象物特定部２に出力する。
【００５８】
続いて、ステップＳ６４において、対象物特定部２は、撮像装置５００のユーザーによる図示しない操作部の操作に応じて、対象被写体を特定する。また、対象物特定部２は、対象被写体情報を、言語索出部３に出力する。
【００５９】
続いて、ステップＳ６５において、被写体認識部１は、抽出した被写体の特徴に基づいて、それぞれの被写体の重み付け処理を行い、各被写体の重み情報を言語索出部３に出力する。なお、本第２の実施形態では、被写体の形状と色彩との重み情報が言語索出部３に出力される。
【００６０】
続いて、ステップＳ６６において、言語索出部３は、ステップＳ６４において対象物特定部２から入力された対象被写体情報と、ステップＳ６５において被写体認識部１から出力された重み情報とに基づいて、言語データベース３００内のコメントデータを検索する。
【００６１】
続いて、ステップＳ６７において、対象物特定部２は、ＡＦ部５３ａから入力されたＡＦ位置の情報に基づいて、ＡＦ位置を中心にした焦点が合っている被写体を特定し、被写体認識部１から入力された被写体の輪郭の情報が付加された元画像に、特定した対象被写体の情報と焦点が合っている被写体の情報とをさらに付加して、画像合成部４に出力する。なお、対象物特定部２は、焦点が合っている被写体の情報を、言語索出部３に出力することもできる。これにより、言語索出部３は、言語データベース３００を再度検索することによって、焦点が合っている被写体に適合するコメントデータを取得することができる。このことによって、画像合成部４は、焦点が合っている被写体に吹き出しコメントを付加することができるようになる。
【００６２】
続いて、ステップＳ６８において、対象物特定部２は、撮像装置５００のユーザーによる図示しない操作部の操作に応じて、吹き出しコメントを付加する元画像内の位置（以下、「吹き出し位置」という）を決定する。なお、ユーザーの指定によらず、焦点が合っている被写体の位置を吹き出し位置に決定することもできる。また、ユーザーに指定された位置と、焦点が合っている被写体の位置とを、吹き出し位置に決定することもできる。そして、対象物特定部２は、決定した吹き出し位置の情報を、言語索出部３および画像合成部４に出力する。
【００６３】
続いて、ステップＳ６９において、言語索出部３は、ステップＳ６８において対象物特定部２から入力された決定した吹き出し位置の情報に基づいて、吹き出し位置に適合するコメントデータ取得して、画像合成部４に出力する。そして、画像合成部４は、対象物特定部２から入力された吹き出し位置の情報に基づいて、言語索出部３から入力されたコメントデータを、吹き出しコメントとして元画像に合成した合成画像を生成する。そして、生成した合成画像を、表示部４００に表示、または画像記録部５５によって記録媒体に記録し、画像合成処理を終了する。
【００６４】
ここで、撮像装置５００における吹き出し位置の指定方法の一例について説明する。図８は、本第２の実施形態の撮像装置５００における吹き出し位置の指定方法の一例を示した図である。撮像装置５００のユーザーによる吹き出し位置の指定は、ユーザーによる対象被写体の指定方法と同様に、十字キーやタッチパネルなどの操作によって行うことができる。例えば、図８に示したように、表示部５６にタッチパネルの機能を備えている場合には、ユーザーが撮像装置５００の表示部５６のタッチパネルに触れることによって得られる、表示部５６に備えたタッチパネルからの吹き出し位置を表す情報に基づいて、吹き出し位置を決定することができる。また、例えば、表示部５６にタッチパネルの機能を備えていない場合には、図８に示した十字キー５８をユーザーが操作することによって、吹き出し位置を決定することもできる。
【００６５】
上記に述べたように、本第２の実施形態の撮像装置５００では、撮像装置５００に備えた操作部によって、容易に、撮影した画像内の被写体に適合した吹き出しコメントを自動で付加した合成画像を生成することができる。そして、生成した合成画像を表示または記録することができる。これにより、撮影したその場で吹き出しコメントが付加された画像を楽しむことができ、後でも吹き出しコメントが付加された画像を楽しむことができる。
【００６６】
上記に述べたとおり、本発明を実施するための形態によれば、画像内の被写体に適合したコメントデータを言語データベースから検索することができる。また、言語データベース内には、重み情報に応じて一義的に選択されるコメントデータが記憶されている。これにより、言語データベースを検索した結果、複数のコメントデータが選択されることはなく、必ず１つのコメントデータのみが選択される。従って、本発明を実施するための形態では、従来の撮像装置のように、複数のコメントデータから画像に付加する吹き出しコメントを選択する必要がなく、被写体に適合した吹き出しコメントを自動で付加した合成画像を生成することができる。また、本発明を実施するための形態では、吹き出しコメントを付加する被写体をユーザーが指定することができる。これにより、画像内に複数の被写体がある場合でも、特定の被写体のみに吹き出しコメントを付加することができる。
【００６７】
また、本発明を実施するための形態によれば、画像内で焦点が合っている位置の被写体を特定することができる。これにより、ユーザーが注目する被写体を認識することができ、吹き出し位置を自動で決定することができる。また、本発明を実施するための形態では、吹き出し位置をユーザーが指定することができる。これにより、ユーザーの所望の位置に吹き出しコメントを合成することができる。
【００６８】
なお、本実施形態においては、画像処理装置２００に１つの言語データベース３００が接続されている場合の例について説明したが、画像処理装置２００に接続されている言語データベース３００の個数は、本実施形態に限定されるものではなく、複数の言語データベース３００が画像処理装置２００に接続されている構成とすることもできる。この場合、例えば、言語索出部３がコメントデータを検索する言語データベース３００を、ユーザーが選択する構成にすることもできる。また、例えば、ポートレートや夜景など、撮影されるシーンや、動物や昆虫など、被写体の種類に応じた複数の言語データベース３００が接続されている場合には、例えば、撮像装置５００の撮影条件や、被写体認識部１が抽出した被写体に応じて、コメントデータを検索する言語データベース３００を切り替える構成とすることもできる。
【００６９】
また、言語データベース３００に記憶されているコメントデータは、予め記憶されたデータのみではなく、例えば、ユーザーが好みに合わせて、コメントの文字列を変更する構成とすることもできる。例えば、撮像装置５００内の言語データベース３００を変更する場合には、図示しない操作部に備えた十字キーやタッチパネルなどをユーザーが操作することもできる。また、ネットワークを経由して画像処理装置２００から離れている言語データベース３００を変更する場合には、画像処理装置２００で利用しているネットワークと異なる経路で言語データベース３００にアクセスすることもできる。
【００７０】
また、本実施形態においては、図２において被写体の形状（一致率）と、被写体の色彩（被写体の輝度）との重み情報を、それぞれ６段階に分割した言語データベース３００の構成の例について説明したが、言語データベースにおいて分割する重み情報の段階（分割数）は、本実施形態に限定されるものではなく、重み情報毎に言語データベース内で分割する段階（分割数）を変えることができる。例えば、被写体の形状（一致率）を６段階とし、被写体の色彩（被写体の輝度）を８段階とした言語データベースの構成にすることもできる。
【００７１】
また、本第２の実施形態においては、第１の実施形態の画像処理装置２００を、デジタルスチルカメラなどの撮像装置に適用した場合について説明したが、画像処理装置を適用するシステムは、本実施形態に限定されるものではなく、元画像内の被写体に吹き出しコメントを付加した合成画像を生成するシステムであれば、どのようなシステムも適用することができる。
【００７２】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【００７３】
１００・・・データ入力部（撮影部）
２００・・・画像処理装置
１・・・被写体認識部
２・・・対象物特定部
３・・・言語索出部（言語検索部）
４・・・画像合成部
３００・・・言語データベース
４００・・・表示部
５００・・・撮像装置
５１・・・レンズ部（撮影部）
５２・・・撮像部（撮影部）
５３・・・撮像制御部（撮影部）
５３ａ・・・ＡＦ部（撮影部）
５４・・・画像信号処理部（撮影部）
５５・・・画像記録部（記録部）
５６・・・表示部
５７・・・制御部
５８・・・十字キー
【特許請求の範囲】
【請求項１】
入力された画像中の被写体を抽出し、該抽出した被写体の特徴に基づいて、該抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識部と、
前記被写体認識部が抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定部と、
前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索部と、
前記言語検索部によって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像合成部は、
前記対象被写体に適合する文字列を、該対象被写体からの吹き出しとして関連付けた合成画像を生成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被写体認識部が重み付けする際の前記被写体の特徴は、
前記抽出された被写体の形状および色彩の特徴であり、
前記被写体認識部は、
前記入力された画像中の被写体の輪郭を抽出し、
前記抽出した被写体の輪郭と、所定の形状との一致率の情報に基づいて、該被写体の形状に関する重み付けを行い、
前記抽出した被写体の輪郭内の色のデータの情報に基づいて、該被写体の色彩に関する重み付けを行い、
前記言語検索部は、
前記一致率の情報および前記色のデータの情報に基づいて、前記被写体に適合する文字列を検索する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記被写体認識部が重み付けする際の前記被写体の特徴は、
前記抽出された被写体の形状の特徴であり、
前記被写体認識部は、
前記入力された画像中の被写体の輪郭を抽出し、
前記抽出した被写体の輪郭と、所定の形状との一致率の情報に基づいて、該被写体の形状に関する重み付けを行い、
前記言語検索部は、
前記一致率の情報に基づいて、前記被写体に適合する文字列を検索する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記被写体認識部が重み付けする際の前記被写体の特徴は、
前記抽出された被写体の色彩の特徴であり、
前記被写体認識部は、
前記入力された画像中の被写体の輪郭を抽出し、
前記抽出した被写体の輪郭内の色のデータの情報に基づいて、該被写体の色彩に関する重み付けを行い、
前記言語検索部は、
前記色のデータの情報に基づいて、前記被写体に適合する文字列を検索する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記対象物特定部は、
該画像処理装置の操作者によって指定された被写体を、前記対象被写体として特定する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
被写体を撮影した画像を出力すると共に、前記被写体を撮影したときの焦点の情報を出力する撮影部と、
前記撮影部が撮影した画像中の被写体を抽出し、該抽出した被写体の特徴に基づいて、該抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識部と、
前記撮影部が撮影したときの焦点の情報に基づいて、前記被写体認識部が抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定部と、
前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索部と、
前記言語検索部によって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成部と、
を備えることを特徴とする撮像装置。
【請求項８】
前記対象物特定部は、
前記焦点の情報において焦点が合っていることを表している前記抽出した被写体、または該撮像装置の操作者によって指定された被写体のいずれか１つの被写体、または両方の被写体を、前記対象被写体として特定する、
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記画像合成部によって生成された前記合成画像を表示する表示部、
を、さらに備える、
ことを特徴とする請求項７に記載の撮像装置。
【請求項１０】
前記画像合成部によって生成された前記合成画像を記録する記録部、
を、さらに備える、
ことを特徴とする請求項７に記載の撮像装置。
【請求項１１】
入力された画像中の被写体を抽出し、該抽出した被写体の特徴に基づいて、該抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識ステップと、
前記被写体認識ステップによって抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定ステップと、
前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索ステップと、
前記言語検索ステップによって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成ステップと、
を含むことを特徴とする画像処理方法。
【請求項１】
入力された画像中の被写体を抽出し、該抽出した被写体の特徴に基づいて、該抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識部と、
前記被写体認識部が抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定部と、
前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索部と、
前記言語検索部によって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像合成部は、
前記対象被写体に適合する文字列を、該対象被写体からの吹き出しとして関連付けた合成画像を生成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被写体認識部が重み付けする際の前記被写体の特徴は、
前記抽出された被写体の形状および色彩の特徴であり、
前記被写体認識部は、
前記入力された画像中の被写体の輪郭を抽出し、
前記抽出した被写体の輪郭と、所定の形状との一致率の情報に基づいて、該被写体の形状に関する重み付けを行い、
前記抽出した被写体の輪郭内の色のデータの情報に基づいて、該被写体の色彩に関する重み付けを行い、
前記言語検索部は、
前記一致率の情報および前記色のデータの情報に基づいて、前記被写体に適合する文字列を検索する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記被写体認識部が重み付けする際の前記被写体の特徴は、
前記抽出された被写体の形状の特徴であり、
前記被写体認識部は、
前記入力された画像中の被写体の輪郭を抽出し、
前記抽出した被写体の輪郭と、所定の形状との一致率の情報に基づいて、該被写体の形状に関する重み付けを行い、
前記言語検索部は、
前記一致率の情報に基づいて、前記被写体に適合する文字列を検索する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記被写体認識部が重み付けする際の前記被写体の特徴は、
前記抽出された被写体の色彩の特徴であり、
前記被写体認識部は、
前記入力された画像中の被写体の輪郭を抽出し、
前記抽出した被写体の輪郭内の色のデータの情報に基づいて、該被写体の色彩に関する重み付けを行い、
前記言語検索部は、
前記色のデータの情報に基づいて、前記被写体に適合する文字列を検索する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記対象物特定部は、
該画像処理装置の操作者によって指定された被写体を、前記対象被写体として特定する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
被写体を撮影した画像を出力すると共に、前記被写体を撮影したときの焦点の情報を出力する撮影部と、
前記撮影部が撮影した画像中の被写体を抽出し、該抽出した被写体の特徴に基づいて、該抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識部と、
前記撮影部が撮影したときの焦点の情報に基づいて、前記被写体認識部が抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定部と、
前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索部と、
前記言語検索部によって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成部と、
を備えることを特徴とする撮像装置。
【請求項８】
前記対象物特定部は、
前記焦点の情報において焦点が合っていることを表している前記抽出した被写体、または該撮像装置の操作者によって指定された被写体のいずれか１つの被写体、または両方の被写体を、前記対象被写体として特定する、
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記画像合成部によって生成された前記合成画像を表示する表示部、
を、さらに備える、
ことを特徴とする請求項７に記載の撮像装置。
【請求項１０】
前記画像合成部によって生成された前記合成画像を記録する記録部、
を、さらに備える、
ことを特徴とする請求項７に記載の撮像装置。
【請求項１１】
入力された画像中の被写体を抽出し、該抽出した被写体の特徴に基づいて、該抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識ステップと、
前記被写体認識ステップによって抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定ステップと、
前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索ステップと、
前記言語検索ステップによって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成ステップと、
を含むことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１４２７３９（Ｐ２０１２−１４２７３９Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１０−２９３２２８（Ｐ２０１０−２９３２２８）
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]