画像出力装置および画像出力方法
【課題】多くの撮影画像データの中から主たる撮影対象を決定して、主たる撮影対象を含む合成画像を生成して出力する。
【解決手段】プリンタ１０は、撮影された時刻と方向に関する情報を少なくとも含む複数の撮影画像データを入力するためのデータ入力部１２と、前記複数の撮影画像データの前記時刻と前記方向を解析することにより、一連の撮影における主たる方向を推定し、前記主たる方向の近傍を撮影した少なくとも１つの前記撮影画像データに含まれる画像成分を被写体毎に抽出して、前記撮影における主たる撮影対象である第１画像成分を所定の基準に従い決定し、前記決定した第１画像成分と、前記被写体毎の画像成分から前記第１画像成分を除いた第２画像成分を合成した合成画像を生成する画像処理部１６と、前記合成画像を印刷して出力する印刷エンジン３８と、を備えることを特徴とする画像出力装置。
【解決手段】プリンタ１０は、撮影された時刻と方向に関する情報を少なくとも含む複数の撮影画像データを入力するためのデータ入力部１２と、前記複数の撮影画像データの前記時刻と前記方向を解析することにより、一連の撮影における主たる方向を推定し、前記主たる方向の近傍を撮影した少なくとも１つの前記撮影画像データに含まれる画像成分を被写体毎に抽出して、前記撮影における主たる撮影対象である第１画像成分を所定の基準に従い決定し、前記決定した第１画像成分と、前記被写体毎の画像成分から前記第１画像成分を除いた第２画像成分を合成した合成画像を生成する画像処理部１６と、前記合成画像を印刷して出力する印刷エンジン３８と、を備えることを特徴とする画像出力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された複数の撮影画像データの中から、主たる撮影対象を含む画像を出力する画像出力装置および画像出力方法に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ等の撮影装置を用いて撮影する際、下記特許文献１に示すように、撮影装置に全地球測位システム（ＧＰＳ）受信機を搭載し、撮影された時刻や場所に関する情報を撮影画像データに付与する技術が提案されている。このように付与された情報は、撮影された撮影画像を整理する際に参照され、多くの撮影画像を、撮影された場所や日時毎に容易に分類することができた。
【０００３】
【特許文献１】特開２００１−２９２４１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、多くの撮影画像データの中から、撮影された場所や時刻に関する情報に基づいて、同一の場所で撮影された撮影画像データを収集することは容易であるが、これらの撮影画像データの共通な被写体についての情報を知るためには、多くの撮影画像データを再生して目視により確認する必要があり、多くの手間と時間を要した。また、撮影者の撮影技術によっては、共通の被写体に対して好適な構図が得られない場合があった。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【０００６】
［適用例１］
本適用例にかかる画像出力装置は、撮影された時刻と方向に関する情報を少なくとも含む複数の撮影画像データを入力するための入力部と、前記複数の撮影画像データの前記時刻と前記方向を解析することにより、一連の撮影における主たる方向を推定し、前記主たる方向の近傍を撮影した少なくとも１つの前記撮影画像データに含まれる画像成分を被写体毎に抽出して、前記撮影における主たる撮影対象である第１画像成分を所定の基準に従い決定し、前記決定した第１画像成分と、前記被写体毎の画像成分から前記第１画像成分を除いた第２画像成分を合成した合成画像を生成する画像処理部と、前記合成画像を出力する出力部と、を備えることを特徴とする。
【０００７】
このような構成によれば、入力された複数の撮影画像データが解析されて、一連の撮影画像データの主たる方向が推定され、推定された主たる方向の近傍を撮影した撮影画像データの中から被写体毎の画像成分が抽出され、抽出された被写体毎の画像成分の中から主たる撮影対象である第１画像成分が決定される。そして、第１画像成分と、被写体毎の画像成分から第１画像成分を除いた第２画像成分と、を合成した合成画像が生成され、生成された合成画像は出力される。従って、画像出力装置に依り、入力された複数の撮影画像データの主たる撮影対象は、迅速に決定されることに加え、主たる撮影対象と他の被写体とを含む合成画像が生成されて出力されるため、撮影者の撮影技術に依ることなく、主たる撮影対象を含む画像を出力できる。
【０００８】
［適用例２］
上記適用例にかかる画像出力装置において、前記画像処理部は、前記複数の撮影画像データ毎の前記時刻と前記方向に関する情報に基づいて、一連に撮影された前記撮影画像データの前記主たる方向を推定すると共に、前記主たる方向とそれぞれの前記方向との偏差に基づき前記複数の撮影画像データのそれぞれを分類する分類部と、分類された前記撮影画像データの中から、前記偏差が基準値を超えない前記撮影画像データに含まれる画像成分を被写体毎に分離する分離部と、分離された前記画像成分の中から、前記撮影における主たる撮影対象である第１画像成分を、前記撮影画像データにおいて出現する頻度に基づき決定する決定部と、を備えることが好ましい。
【０００９】
このような構成によれば、複数の撮影画像データの時刻と方向に関する情報に基づき、一連に撮影された撮影画像データの主たる方向を正確に推定できることに加え、推定した主たる方向から基準値を超えない撮影画像データの中から、出現頻度に基づいて主たる撮影対象を決定するため、主たる撮影対象を精度良く決定できる。
【００１０】
［適用例３］
上記適用例にかかる画像出力装置において、前記分離部は、画像認識用辞書データの集合体である認識用辞書を備え、前記認識用辞書を参照することにより、前記被写体を認識しても良い。
【００１１】
［適用例４］
上記適用例にかかる画像出力装置において、前記画像処理部が生成した前記合成画像を表示する表示部と、前記表示部が表示する前記合成画像を修正するための指示を入力するためのユーザインターフェイス部と、を更に備えることが好ましい。
【００１２】
このような構成によれば、画像処理部が生成した合成画像は表示部に表示され、ユーザインターフェイス部を介して表示された合成画像を修正できる。
【００１３】
［適用例５］
上記適用例にかかる画像出力装置において、前記出力部は、前記合成画像を媒体に印刷して出力しても良い。
【００１４】
［適用例６］
上記適用例にかかる画像出力装置において、前記入力部に入力された前記複数の撮影画像データを記憶する記憶部を更に備えても良い。
【００１５】
［適用例７］
本適用例にかかる画像出力方法は、撮影された方向に関する情報を少なくとも含む複数の撮影画像データが入力される工程と、前記複数の撮影画像データの前記方向を解析することにより、前記撮影における主たる方向を推定する工程と、前記主たる方向の近傍を撮影した少なくとも１つの前記撮影画像データに含まれる画像成分を被写体毎に抽出する工程と、前記撮影における主たる撮影対象である第１画像成分を所定の基準に従い決定する工程と、前記決定した第１画像成分と、前記被写体毎の画像成分から前記第１画像成分を除いた第２画像成分を合成した合成画像を生成する工程と、前記合成画像を出力する工程と、を備えることを特徴とする。
【００１６】
このような方法によれば、入力された複数の撮影画像データが解析されて、これらの撮影画像データの主たる方向が推定され、推定された主たる方向の近傍を撮影した撮影画像データの中から被写体毎の画像成分が抽出され、抽出された被写体毎の画像成分の中から主たる撮影対象である第１画像成分が決定される。そして、第１画像成分と、被写体毎の画像成分から第１画像成分を除いた第２画像成分と、を合成した合成画像が生成され、生成された合成画像は出力される。従って、画像出力装置に依り、入力された複数の撮影画像データの主たる撮影対象は、迅速に決定されることに加え、主たる撮影対象と他の被写体とを含む合成画像が生成されて出力されるため、撮影者の撮影技術に依ることなく、主たる撮影対象を含む画像を出力できる。
【発明を実施するための最良の形態】
【００１７】
以下、画像出力装置の一形態として、プリンタ１０について図面を参照して説明する。
【００１８】
（実施形態）
図１は、プリンタ１０の機能構成を説明するブロック図である。このプリンタ１０は、データ入力部１２、データ記憶部１４、画像処理部１６、ユーザインターフェイス部３２、表示部３６および印刷エンジン３８を備える。更に、このプリンタ１０は、図示は略すが、印刷用紙の給除材装置や電源装置等を備える。本実施形態では、このプリンタ１０は、接続されたコンピュータ（図示は略す。）から送られる印刷コマンドに従い印刷できることに加え、所謂スタンドアロン型として、ユーザインターフェイス部３２から入力される指示に従い、印刷できる。尚、プリンタ１０の印刷方法は、インクジェット方式、レーザ方式、感熱方式およびドットヘッド方式等の何れの方法でも良く、本実施形態では、インクジェット方式を想定する。また、このプリンタ１０は、図示を略したＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュメモリ等を備え、これらのハードウェアと、ＲＯＭ等に保持されたソフトウェアとが協働することにより後述する種々の機能を実現する。
【００１９】
データ入力部１２は、ＧＰＳ受信機や撮影角度検出センサ等を備えた撮影装置により撮影され、撮影された時刻や方位に関する付加情報を少なくとも含む複数の撮影画像データ８０が入力される。撮影画像データ８０は、デジタルカメラにより連続的に撮影された画像であっても良く、また、デジタルビデオカメラにより動画撮影された画像であっても良い。この場合、これらの撮影画像データ８０には、被写体および被写体の周辺が写し込まれていれば良く、撮影者によりファインダーで構図やフレーミングが確認されることなく撮影されても良い。
尚、本実施形態では、付加情報は、撮影された条件、日時、場所および方向等に関する情報を含み、例えば、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ Ｆｏｒ Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａｓ）やＤＣＦ（Ｄｅｓｉｇｎ Ｒｕｌｅ Ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ Ｓｙｓｔｅｍ）の規格に基づき、メタデータとして撮影画像データ８０に付与される。また、撮影画像データ８０の入力方法は、メモリカードを媒体としても良く、無線や有線による通信を介しても良い。データ記憶部１４は、データ入力部１２に入力された撮影画像データ８０を一時的に記憶する。
画像処理部１６は、メタデータ解析部１８、画像認識部２０および画像合成部３０を備え、メタデータに基づき、複数の撮影画像データ８０の中から中心となる被写体を決定し、この被写体を中心とする画像を生成する。
【００２０】
メタデータ解析部１８は、撮影画像データ８０を分類する分類部として機能する。即ち、撮影画像データ８０のメタデータをそれぞれ解析して、撮影画像データ８０が撮影された撮影時刻と撮影方向の情報を取得すると共に、図２に示すように、取得された撮影方向に基づいて、一連の撮影画像データ８０のそれぞれを３次元的にマッピングする。ここで、図２は、撮影画像データ８０の仮想３次元マッピングを模式的に示す。更に、メタデータ解析部１８は、マッピングされたそれぞれの撮影方向に、撮影装置が停留したそれぞれの停留時間を重み付けすることで、マッピングした撮影方向の重心を示す主たる撮影方向Ｄ１を推定する。
そして、メタデータ解析部１８は、それぞれの撮影画像データ８０を画像処理することにより、この撮影において代表となるシーンを含む有益度を判定する。この場合、有益度は、推定した方向Ｄ１からの偏差や、撮影画像データ８０に含まれる撮影対象の出現頻度および過去の撮影実績等に基づいて判定される。本実施形態では、有益度は、偏差が所定の基準値を超えず、撮影対象の出現頻度が所定の回数を越える場合にＡランク（最高ランク）として、以下、Ｂランク、Ｃランク（最低ランク）と３段階に分類される。この結果、マッピングされた撮影画像データ８０は、３段階にランク付けされて分類され、メタデータ解析部１８によりランク付けされた情報は、画像認識部２０に送られる。尚、偏差の基準値や出現頻度の基準値は、サンプル画像による実験値や、実際の撮影画像データ８０による統計値から適する値が決められる。
【００２１】
画像認識部２０は、画像分離部２２および被写体決定部２６を備える。画像分離部２２は、画像認識用辞書データの集合体である認識用辞書２４を有し、この認識用辞書２４を参照することにより、Ａランクの撮影画像データ８０Ａに対して画像認識処理を施すことにより、被写体を認識して分離する。この結果、撮影画像データ８０に対する画像認識を説明する図３に示すように、一方の撮影画像データ８０Ａ１は、被写体ごとの領域（９３Ａ，９３Ｂ，９３Ｃ，９３Ｄ，９３Ｅ）に分離される。同様に、他方の撮影画像データ８０Ａ２も、被写体ごとの領域（９３Ａ，９３Ｆ，９３Ｇ，９３Ｈ）に分離される。
【００２２】
更に、画像認識部２０は、それぞれ分離された被写体ごとの領域（９３Ａ，９３Ｂ，９３Ｃ，９３Ｄ，９３Ｅ，９３Ｆ，９３Ｇ，９３Ｈ）の中から、一部の領域（９３Ａ，９３Ｂ，９３Ｆ）を中心となる被写体の候補として抽出すると共に、それぞれが何であるかを画像認識処理により推定する。例えば、領域９３Ｂは、人物が認識されることで「人物の集合」と推定され、領域９３Ａは、文字認識されることで「看板」と推定され、領域９３Ｆは、認識用辞書２４に含まれる画像データとパターンマッチングすることで「山」と推定される。このようにして、有益度が高いと判定された複数の撮影画像データ８０Ａの中から、被写体の候補が抽出される。尚、有益度が高いと判定された場合であっても、撮影画像データ８０Ａのピントが合っていなかったり、像が途切れていたり、或いは、露出が適正でなかったりして画像認識部２０が対象物を推定できない場合、この撮影画像データ８０Ａは棄却される。また、有益度がＢランクであっても、主たる撮影方向Ｄ１から所定の基準（例えば±３０度）で規定される対象領域４８に収まる場合は、必要に応じて画像認識を行っても良い。
被写体決定部２６は、対象物が推定された領域（９３Ａ，９３Ｂ，９３Ｆ）の中から、中心となる被写体を決定する。本実施形態では、出現頻度に基づき、領域９３Ａが今回の撮影において中心となる被写体（中心被写体）であると決定される。尚、中心被写体の決定は、出現頻度には限定されず、予めユーザが設定することで、人物優先や景色優先とすることもできる。
【００２３】
画像合成部３０は、中心被写体の領域９３Ａを中心として、対象物が推定された領域９３Ｂ，９３Ｆや、分離された領域を加えることにより、図３に示すような合成画像９８を生成する。尚、本実施形態では、２枚の撮影画像データ８０Ａ１，８０Ａ２から合成画像９８を生成するが、枚数に限定されるものではなく、多数の撮影画像データ８０Ａから生成し、所定のフレーム形状にトリミングしても良い。
また、画像合成部３０で生成された合成画像９８や、画像処理部１６での各機能部の処理結果は、表示部３６に表示されても良い。この場合、プリンタ１０のユーザは、表示部３６に表示される合成画像９８や処理結果を見て、必要に応じてユーザインターフェイス部３２を操作することで、合成画像９８の修正や処理内容を変更できる。この結果、中心被写体を変更したり、合成画像９８における対象物の位置を入れ替えたり、分離された領域を取捨選択したりすることで、所望の合成画像９８を生成できる。また、画像合成部３０は、ユーザにより変更された合成画像９８からユーザ毎に癖や好みを学習し、今後の合成画像９８の生成に反映させても良い。このようにして生成された合成画像９８は、出力部としての印刷エンジン３８に送られ、印刷媒体である用紙上に印刷される。
【００２４】
図４は、このプリンタ１０の一連の処理の流れを説明するフローチャートである。最初に、プリンタ１０に対して複数の撮影画像データ８０が入力される（ステップＳ１００）。次に、プリンタ１０は、入力された撮影画像データ８０のそれぞれに付加されたメタデータを解析する（ステップＳ１０２）。次に、プリンタ１０は、それぞれの撮影画像データ８０について領域を分離する（ステップＳ１０４）。次に、プリンタ１０は、分離された領域の中から、中心被写体を決定する（ステップＳ１０６）。続いて、プリンタ１０は、中心被写体を含む画像を合成して合成画像９８を生成し（ステップＳ１０８）、合成画像９８を表示する（ステップＳ１１０）。
続いて、プリンタ１０は、ユーザインターフェイス画面（図示は略す。）を表示し、ユーザに対して、合成画像９８を編集するか、否かの決定を促す（ステップＳ１１２）。ここで、ユーザが合成画像９８を編集すると決定した場合（ステップＳ１１２でＹｅｓ）、合成画像９８は、ユーザの指示に応じて編集される（ステップＳ１１４）。編集の終了後、合成画像９８を表示する工程（ステップＳ１１０）に戻る。
他方で、ユーザが合成画像９８を編集しないと決定した場合（ステップＳ１１２でＮｏ）、プリンタ１０は、ユーザインターフェイス画面（図示は略す。）を表示し、ユーザに対して、合成画像９８を印刷するか、否かの決定を促す（ステップＳ１１６）。ここで、ユーザが合成画像９８を印刷すると決定した場合（ステップＳ１１６でＹｅｓ）、プリンタ１０は合成画像９８を印刷し（ステップＳ１１８）、一連の処理を終了する。他方で、ユーザが合成画像９８を印刷しないと決定した場合（ステップＳ１１６でＮｏ）、合成画像は印刷されることなく、一連の処理を終了する。
【００２５】
このようにして、それぞれの撮影画像データ８０に付加されたメタデータを解析することにより、構図やフレーミングにこだわることなく撮影された撮影画像データ８０の中から、撮影者が意図する被写体を中心とする画像を合成し、印刷できる。この結果、撮影者は、構図やフレーミングにこだわることなく自由に撮影できることに加え、画像の構図やフレーミングを印刷時に決定できるため、撮影に不慣れな初心者であっても、失敗のない写真画像を合成して印刷できる。
尚、画像出力装置はプリンタ１０への適用に限定されるものではなく、ディスプレイ装置やプロジェクタ装置に適用しても良い。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態に係るプリンタの機能構成を説明するブロック図。
【図２】撮影画像データの仮想３次元マッピングを模式的に示す図。
【図３】撮影画像データに対する画像認識を説明する図。
【図４】プリンタの一連の処理の流れを説明するフローチャート。
【符号の説明】
【００２７】
１０…プリンタ、１２…データ入力部、１４…データ記憶部、１６…画像処理部、１８…メタデータ解析部、２０…画像認識部、２２…画像分離部、２４…認識用辞書、２６…被写体決定部、３０…画像合成部、３２…ユーザインターフェイス部、３６…表示部、３８…印刷エンジン、４８…対象領域、８０，８０Ａ，８０Ａ１，８０Ａ２…撮影画像データ、９３Ａ，９３Ｂ，９３Ｃ，９３Ｄ，９３Ｅ，９３Ｆ，９３Ｇ，９３Ｈ…領域、９８…合成画像。
【技術分野】
【０００１】
本発明は、入力された複数の撮影画像データの中から、主たる撮影対象を含む画像を出力する画像出力装置および画像出力方法に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ等の撮影装置を用いて撮影する際、下記特許文献１に示すように、撮影装置に全地球測位システム（ＧＰＳ）受信機を搭載し、撮影された時刻や場所に関する情報を撮影画像データに付与する技術が提案されている。このように付与された情報は、撮影された撮影画像を整理する際に参照され、多くの撮影画像を、撮影された場所や日時毎に容易に分類することができた。
【０００３】
【特許文献１】特開２００１−２９２４１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、多くの撮影画像データの中から、撮影された場所や時刻に関する情報に基づいて、同一の場所で撮影された撮影画像データを収集することは容易であるが、これらの撮影画像データの共通な被写体についての情報を知るためには、多くの撮影画像データを再生して目視により確認する必要があり、多くの手間と時間を要した。また、撮影者の撮影技術によっては、共通の被写体に対して好適な構図が得られない場合があった。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【０００６】
［適用例１］
本適用例にかかる画像出力装置は、撮影された時刻と方向に関する情報を少なくとも含む複数の撮影画像データを入力するための入力部と、前記複数の撮影画像データの前記時刻と前記方向を解析することにより、一連の撮影における主たる方向を推定し、前記主たる方向の近傍を撮影した少なくとも１つの前記撮影画像データに含まれる画像成分を被写体毎に抽出して、前記撮影における主たる撮影対象である第１画像成分を所定の基準に従い決定し、前記決定した第１画像成分と、前記被写体毎の画像成分から前記第１画像成分を除いた第２画像成分を合成した合成画像を生成する画像処理部と、前記合成画像を出力する出力部と、を備えることを特徴とする。
【０００７】
このような構成によれば、入力された複数の撮影画像データが解析されて、一連の撮影画像データの主たる方向が推定され、推定された主たる方向の近傍を撮影した撮影画像データの中から被写体毎の画像成分が抽出され、抽出された被写体毎の画像成分の中から主たる撮影対象である第１画像成分が決定される。そして、第１画像成分と、被写体毎の画像成分から第１画像成分を除いた第２画像成分と、を合成した合成画像が生成され、生成された合成画像は出力される。従って、画像出力装置に依り、入力された複数の撮影画像データの主たる撮影対象は、迅速に決定されることに加え、主たる撮影対象と他の被写体とを含む合成画像が生成されて出力されるため、撮影者の撮影技術に依ることなく、主たる撮影対象を含む画像を出力できる。
【０００８】
［適用例２］
上記適用例にかかる画像出力装置において、前記画像処理部は、前記複数の撮影画像データ毎の前記時刻と前記方向に関する情報に基づいて、一連に撮影された前記撮影画像データの前記主たる方向を推定すると共に、前記主たる方向とそれぞれの前記方向との偏差に基づき前記複数の撮影画像データのそれぞれを分類する分類部と、分類された前記撮影画像データの中から、前記偏差が基準値を超えない前記撮影画像データに含まれる画像成分を被写体毎に分離する分離部と、分離された前記画像成分の中から、前記撮影における主たる撮影対象である第１画像成分を、前記撮影画像データにおいて出現する頻度に基づき決定する決定部と、を備えることが好ましい。
【０００９】
このような構成によれば、複数の撮影画像データの時刻と方向に関する情報に基づき、一連に撮影された撮影画像データの主たる方向を正確に推定できることに加え、推定した主たる方向から基準値を超えない撮影画像データの中から、出現頻度に基づいて主たる撮影対象を決定するため、主たる撮影対象を精度良く決定できる。
【００１０】
［適用例３］
上記適用例にかかる画像出力装置において、前記分離部は、画像認識用辞書データの集合体である認識用辞書を備え、前記認識用辞書を参照することにより、前記被写体を認識しても良い。
【００１１】
［適用例４］
上記適用例にかかる画像出力装置において、前記画像処理部が生成した前記合成画像を表示する表示部と、前記表示部が表示する前記合成画像を修正するための指示を入力するためのユーザインターフェイス部と、を更に備えることが好ましい。
【００１２】
このような構成によれば、画像処理部が生成した合成画像は表示部に表示され、ユーザインターフェイス部を介して表示された合成画像を修正できる。
【００１３】
［適用例５］
上記適用例にかかる画像出力装置において、前記出力部は、前記合成画像を媒体に印刷して出力しても良い。
【００１４】
［適用例６］
上記適用例にかかる画像出力装置において、前記入力部に入力された前記複数の撮影画像データを記憶する記憶部を更に備えても良い。
【００１５】
［適用例７］
本適用例にかかる画像出力方法は、撮影された方向に関する情報を少なくとも含む複数の撮影画像データが入力される工程と、前記複数の撮影画像データの前記方向を解析することにより、前記撮影における主たる方向を推定する工程と、前記主たる方向の近傍を撮影した少なくとも１つの前記撮影画像データに含まれる画像成分を被写体毎に抽出する工程と、前記撮影における主たる撮影対象である第１画像成分を所定の基準に従い決定する工程と、前記決定した第１画像成分と、前記被写体毎の画像成分から前記第１画像成分を除いた第２画像成分を合成した合成画像を生成する工程と、前記合成画像を出力する工程と、を備えることを特徴とする。
【００１６】
このような方法によれば、入力された複数の撮影画像データが解析されて、これらの撮影画像データの主たる方向が推定され、推定された主たる方向の近傍を撮影した撮影画像データの中から被写体毎の画像成分が抽出され、抽出された被写体毎の画像成分の中から主たる撮影対象である第１画像成分が決定される。そして、第１画像成分と、被写体毎の画像成分から第１画像成分を除いた第２画像成分と、を合成した合成画像が生成され、生成された合成画像は出力される。従って、画像出力装置に依り、入力された複数の撮影画像データの主たる撮影対象は、迅速に決定されることに加え、主たる撮影対象と他の被写体とを含む合成画像が生成されて出力されるため、撮影者の撮影技術に依ることなく、主たる撮影対象を含む画像を出力できる。
【発明を実施するための最良の形態】
【００１７】
以下、画像出力装置の一形態として、プリンタ１０について図面を参照して説明する。
【００１８】
（実施形態）
図１は、プリンタ１０の機能構成を説明するブロック図である。このプリンタ１０は、データ入力部１２、データ記憶部１４、画像処理部１６、ユーザインターフェイス部３２、表示部３６および印刷エンジン３８を備える。更に、このプリンタ１０は、図示は略すが、印刷用紙の給除材装置や電源装置等を備える。本実施形態では、このプリンタ１０は、接続されたコンピュータ（図示は略す。）から送られる印刷コマンドに従い印刷できることに加え、所謂スタンドアロン型として、ユーザインターフェイス部３２から入力される指示に従い、印刷できる。尚、プリンタ１０の印刷方法は、インクジェット方式、レーザ方式、感熱方式およびドットヘッド方式等の何れの方法でも良く、本実施形態では、インクジェット方式を想定する。また、このプリンタ１０は、図示を略したＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュメモリ等を備え、これらのハードウェアと、ＲＯＭ等に保持されたソフトウェアとが協働することにより後述する種々の機能を実現する。
【００１９】
データ入力部１２は、ＧＰＳ受信機や撮影角度検出センサ等を備えた撮影装置により撮影され、撮影された時刻や方位に関する付加情報を少なくとも含む複数の撮影画像データ８０が入力される。撮影画像データ８０は、デジタルカメラにより連続的に撮影された画像であっても良く、また、デジタルビデオカメラにより動画撮影された画像であっても良い。この場合、これらの撮影画像データ８０には、被写体および被写体の周辺が写し込まれていれば良く、撮影者によりファインダーで構図やフレーミングが確認されることなく撮影されても良い。
尚、本実施形態では、付加情報は、撮影された条件、日時、場所および方向等に関する情報を含み、例えば、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ Ｆｏｒ Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａｓ）やＤＣＦ（Ｄｅｓｉｇｎ Ｒｕｌｅ Ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ Ｓｙｓｔｅｍ）の規格に基づき、メタデータとして撮影画像データ８０に付与される。また、撮影画像データ８０の入力方法は、メモリカードを媒体としても良く、無線や有線による通信を介しても良い。データ記憶部１４は、データ入力部１２に入力された撮影画像データ８０を一時的に記憶する。
画像処理部１６は、メタデータ解析部１８、画像認識部２０および画像合成部３０を備え、メタデータに基づき、複数の撮影画像データ８０の中から中心となる被写体を決定し、この被写体を中心とする画像を生成する。
【００２０】
メタデータ解析部１８は、撮影画像データ８０を分類する分類部として機能する。即ち、撮影画像データ８０のメタデータをそれぞれ解析して、撮影画像データ８０が撮影された撮影時刻と撮影方向の情報を取得すると共に、図２に示すように、取得された撮影方向に基づいて、一連の撮影画像データ８０のそれぞれを３次元的にマッピングする。ここで、図２は、撮影画像データ８０の仮想３次元マッピングを模式的に示す。更に、メタデータ解析部１８は、マッピングされたそれぞれの撮影方向に、撮影装置が停留したそれぞれの停留時間を重み付けすることで、マッピングした撮影方向の重心を示す主たる撮影方向Ｄ１を推定する。
そして、メタデータ解析部１８は、それぞれの撮影画像データ８０を画像処理することにより、この撮影において代表となるシーンを含む有益度を判定する。この場合、有益度は、推定した方向Ｄ１からの偏差や、撮影画像データ８０に含まれる撮影対象の出現頻度および過去の撮影実績等に基づいて判定される。本実施形態では、有益度は、偏差が所定の基準値を超えず、撮影対象の出現頻度が所定の回数を越える場合にＡランク（最高ランク）として、以下、Ｂランク、Ｃランク（最低ランク）と３段階に分類される。この結果、マッピングされた撮影画像データ８０は、３段階にランク付けされて分類され、メタデータ解析部１８によりランク付けされた情報は、画像認識部２０に送られる。尚、偏差の基準値や出現頻度の基準値は、サンプル画像による実験値や、実際の撮影画像データ８０による統計値から適する値が決められる。
【００２１】
画像認識部２０は、画像分離部２２および被写体決定部２６を備える。画像分離部２２は、画像認識用辞書データの集合体である認識用辞書２４を有し、この認識用辞書２４を参照することにより、Ａランクの撮影画像データ８０Ａに対して画像認識処理を施すことにより、被写体を認識して分離する。この結果、撮影画像データ８０に対する画像認識を説明する図３に示すように、一方の撮影画像データ８０Ａ１は、被写体ごとの領域（９３Ａ，９３Ｂ，９３Ｃ，９３Ｄ，９３Ｅ）に分離される。同様に、他方の撮影画像データ８０Ａ２も、被写体ごとの領域（９３Ａ，９３Ｆ，９３Ｇ，９３Ｈ）に分離される。
【００２２】
更に、画像認識部２０は、それぞれ分離された被写体ごとの領域（９３Ａ，９３Ｂ，９３Ｃ，９３Ｄ，９３Ｅ，９３Ｆ，９３Ｇ，９３Ｈ）の中から、一部の領域（９３Ａ，９３Ｂ，９３Ｆ）を中心となる被写体の候補として抽出すると共に、それぞれが何であるかを画像認識処理により推定する。例えば、領域９３Ｂは、人物が認識されることで「人物の集合」と推定され、領域９３Ａは、文字認識されることで「看板」と推定され、領域９３Ｆは、認識用辞書２４に含まれる画像データとパターンマッチングすることで「山」と推定される。このようにして、有益度が高いと判定された複数の撮影画像データ８０Ａの中から、被写体の候補が抽出される。尚、有益度が高いと判定された場合であっても、撮影画像データ８０Ａのピントが合っていなかったり、像が途切れていたり、或いは、露出が適正でなかったりして画像認識部２０が対象物を推定できない場合、この撮影画像データ８０Ａは棄却される。また、有益度がＢランクであっても、主たる撮影方向Ｄ１から所定の基準（例えば±３０度）で規定される対象領域４８に収まる場合は、必要に応じて画像認識を行っても良い。
被写体決定部２６は、対象物が推定された領域（９３Ａ，９３Ｂ，９３Ｆ）の中から、中心となる被写体を決定する。本実施形態では、出現頻度に基づき、領域９３Ａが今回の撮影において中心となる被写体（中心被写体）であると決定される。尚、中心被写体の決定は、出現頻度には限定されず、予めユーザが設定することで、人物優先や景色優先とすることもできる。
【００２３】
画像合成部３０は、中心被写体の領域９３Ａを中心として、対象物が推定された領域９３Ｂ，９３Ｆや、分離された領域を加えることにより、図３に示すような合成画像９８を生成する。尚、本実施形態では、２枚の撮影画像データ８０Ａ１，８０Ａ２から合成画像９８を生成するが、枚数に限定されるものではなく、多数の撮影画像データ８０Ａから生成し、所定のフレーム形状にトリミングしても良い。
また、画像合成部３０で生成された合成画像９８や、画像処理部１６での各機能部の処理結果は、表示部３６に表示されても良い。この場合、プリンタ１０のユーザは、表示部３６に表示される合成画像９８や処理結果を見て、必要に応じてユーザインターフェイス部３２を操作することで、合成画像９８の修正や処理内容を変更できる。この結果、中心被写体を変更したり、合成画像９８における対象物の位置を入れ替えたり、分離された領域を取捨選択したりすることで、所望の合成画像９８を生成できる。また、画像合成部３０は、ユーザにより変更された合成画像９８からユーザ毎に癖や好みを学習し、今後の合成画像９８の生成に反映させても良い。このようにして生成された合成画像９８は、出力部としての印刷エンジン３８に送られ、印刷媒体である用紙上に印刷される。
【００２４】
図４は、このプリンタ１０の一連の処理の流れを説明するフローチャートである。最初に、プリンタ１０に対して複数の撮影画像データ８０が入力される（ステップＳ１００）。次に、プリンタ１０は、入力された撮影画像データ８０のそれぞれに付加されたメタデータを解析する（ステップＳ１０２）。次に、プリンタ１０は、それぞれの撮影画像データ８０について領域を分離する（ステップＳ１０４）。次に、プリンタ１０は、分離された領域の中から、中心被写体を決定する（ステップＳ１０６）。続いて、プリンタ１０は、中心被写体を含む画像を合成して合成画像９８を生成し（ステップＳ１０８）、合成画像９８を表示する（ステップＳ１１０）。
続いて、プリンタ１０は、ユーザインターフェイス画面（図示は略す。）を表示し、ユーザに対して、合成画像９８を編集するか、否かの決定を促す（ステップＳ１１２）。ここで、ユーザが合成画像９８を編集すると決定した場合（ステップＳ１１２でＹｅｓ）、合成画像９８は、ユーザの指示に応じて編集される（ステップＳ１１４）。編集の終了後、合成画像９８を表示する工程（ステップＳ１１０）に戻る。
他方で、ユーザが合成画像９８を編集しないと決定した場合（ステップＳ１１２でＮｏ）、プリンタ１０は、ユーザインターフェイス画面（図示は略す。）を表示し、ユーザに対して、合成画像９８を印刷するか、否かの決定を促す（ステップＳ１１６）。ここで、ユーザが合成画像９８を印刷すると決定した場合（ステップＳ１１６でＹｅｓ）、プリンタ１０は合成画像９８を印刷し（ステップＳ１１８）、一連の処理を終了する。他方で、ユーザが合成画像９８を印刷しないと決定した場合（ステップＳ１１６でＮｏ）、合成画像は印刷されることなく、一連の処理を終了する。
【００２５】
このようにして、それぞれの撮影画像データ８０に付加されたメタデータを解析することにより、構図やフレーミングにこだわることなく撮影された撮影画像データ８０の中から、撮影者が意図する被写体を中心とする画像を合成し、印刷できる。この結果、撮影者は、構図やフレーミングにこだわることなく自由に撮影できることに加え、画像の構図やフレーミングを印刷時に決定できるため、撮影に不慣れな初心者であっても、失敗のない写真画像を合成して印刷できる。
尚、画像出力装置はプリンタ１０への適用に限定されるものではなく、ディスプレイ装置やプロジェクタ装置に適用しても良い。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態に係るプリンタの機能構成を説明するブロック図。
【図２】撮影画像データの仮想３次元マッピングを模式的に示す図。
【図３】撮影画像データに対する画像認識を説明する図。
【図４】プリンタの一連の処理の流れを説明するフローチャート。
【符号の説明】
【００２７】
１０…プリンタ、１２…データ入力部、１４…データ記憶部、１６…画像処理部、１８…メタデータ解析部、２０…画像認識部、２２…画像分離部、２４…認識用辞書、２６…被写体決定部、３０…画像合成部、３２…ユーザインターフェイス部、３６…表示部、３８…印刷エンジン、４８…対象領域、８０，８０Ａ，８０Ａ１，８０Ａ２…撮影画像データ、９３Ａ，９３Ｂ，９３Ｃ，９３Ｄ，９３Ｅ，９３Ｆ，９３Ｇ，９３Ｈ…領域、９８…合成画像。
【特許請求の範囲】
【請求項１】
撮影された時刻と方向に関する情報を少なくとも含む複数の撮影画像データを入力するための入力部と、
前記複数の撮影画像データの前記時刻と前記方向を解析することにより、一連の撮影における主たる方向を推定し、前記主たる方向の近傍を撮影した少なくとも１つの前記撮影画像データに含まれる画像成分を被写体毎に抽出して、前記撮影における主たる撮影対象である第１画像成分を所定の基準に従い決定し、前記決定した第１画像成分と、前記被写体毎の画像成分から前記第１画像成分を除いた第２画像成分を合成した合成画像を生成する画像処理部と、
前記合成画像を出力する出力部と、を備えることを特徴とする画像出力装置。
【請求項２】
請求項１に記載の画像出力装置において、
前記画像処理部は、
前記複数の撮影画像データ毎の前記時刻と前記方向に関する情報に基づいて、一連に撮影された前記撮影画像データの前記主たる方向を推定すると共に、前記主たる方向とそれぞれの前記方向との偏差に基づき前記複数の撮影画像データのそれぞれを分類する分類部と、
分類された前記撮影画像データの中から、前記偏差が基準値を超えない前記撮影画像データに含まれる画像成分を被写体毎に分離する分離部と、
分離された前記画像成分の中から、前記撮影における主たる撮影対象である第１画像成分を、前記撮影画像データにおいて出現する頻度に基づき決定する決定部と、を備えることを特徴とする画像出力装置。
【請求項３】
請求項２に記載の画像出力装置において、
前記分離部は、画像認識用辞書データの集合体である認識用辞書を備え、前記認識用辞書を参照することにより、前記被写体を認識することを特徴とする画像出力装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の画像出力装置において、
前記画像処理部が生成した前記合成画像を表示する表示部と、
前記表示部が表示する前記合成画像を修正するための指示を入力するためのユーザインターフェイス部と、を更に備えることを特徴とする画像出力装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の画像出力装置において、
前記出力部は、前記合成画像を媒体に印刷して出力することを特徴とする画像出力装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の画像出力装置において、
前記入力部に入力された前記複数の撮影画像データを記憶する記憶部を更に備えることを特徴とする画像出力装置。
【請求項７】
撮影された方向に関する情報を少なくとも含む複数の撮影画像データが入力される工程と、
前記複数の撮影画像データの前記方向を解析することにより、前記撮影における主たる方向を推定する工程と、
前記主たる方向の近傍を撮影した少なくとも１つの前記撮影画像データに含まれる画像成分を被写体毎に抽出する工程と、
前記撮影における主たる撮影対象である第１画像成分を所定の基準に従い決定する工程と、
前記決定した第１画像成分と、前記被写体毎の画像成分から前記第１画像成分を除いた第２画像成分を合成した合成画像を生成する工程と、
前記合成画像を出力する工程と、を備えることを特徴とする画像出力方法。
【請求項１】
撮影された時刻と方向に関する情報を少なくとも含む複数の撮影画像データを入力するための入力部と、
前記複数の撮影画像データの前記時刻と前記方向を解析することにより、一連の撮影における主たる方向を推定し、前記主たる方向の近傍を撮影した少なくとも１つの前記撮影画像データに含まれる画像成分を被写体毎に抽出して、前記撮影における主たる撮影対象である第１画像成分を所定の基準に従い決定し、前記決定した第１画像成分と、前記被写体毎の画像成分から前記第１画像成分を除いた第２画像成分を合成した合成画像を生成する画像処理部と、
前記合成画像を出力する出力部と、を備えることを特徴とする画像出力装置。
【請求項２】
請求項１に記載の画像出力装置において、
前記画像処理部は、
前記複数の撮影画像データ毎の前記時刻と前記方向に関する情報に基づいて、一連に撮影された前記撮影画像データの前記主たる方向を推定すると共に、前記主たる方向とそれぞれの前記方向との偏差に基づき前記複数の撮影画像データのそれぞれを分類する分類部と、
分類された前記撮影画像データの中から、前記偏差が基準値を超えない前記撮影画像データに含まれる画像成分を被写体毎に分離する分離部と、
分離された前記画像成分の中から、前記撮影における主たる撮影対象である第１画像成分を、前記撮影画像データにおいて出現する頻度に基づき決定する決定部と、を備えることを特徴とする画像出力装置。
【請求項３】
請求項２に記載の画像出力装置において、
前記分離部は、画像認識用辞書データの集合体である認識用辞書を備え、前記認識用辞書を参照することにより、前記被写体を認識することを特徴とする画像出力装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の画像出力装置において、
前記画像処理部が生成した前記合成画像を表示する表示部と、
前記表示部が表示する前記合成画像を修正するための指示を入力するためのユーザインターフェイス部と、を更に備えることを特徴とする画像出力装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の画像出力装置において、
前記出力部は、前記合成画像を媒体に印刷して出力することを特徴とする画像出力装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の画像出力装置において、
前記入力部に入力された前記複数の撮影画像データを記憶する記憶部を更に備えることを特徴とする画像出力装置。
【請求項７】
撮影された方向に関する情報を少なくとも含む複数の撮影画像データが入力される工程と、
前記複数の撮影画像データの前記方向を解析することにより、前記撮影における主たる方向を推定する工程と、
前記主たる方向の近傍を撮影した少なくとも１つの前記撮影画像データに含まれる画像成分を被写体毎に抽出する工程と、
前記撮影における主たる撮影対象である第１画像成分を所定の基準に従い決定する工程と、
前記決定した第１画像成分と、前記被写体毎の画像成分から前記第１画像成分を除いた第２画像成分を合成した合成画像を生成する工程と、
前記合成画像を出力する工程と、を備えることを特徴とする画像出力方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−３４８２１（Ｐ２０１０−３４８２１Ａ）
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願番号】特願２００８−１９４５０４（Ｐ２００８−１９４５０４）
【出願日】平成２０年７月２９日（２００８．７．２９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願日】平成２０年７月２９日（２００８．７．２９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]