画像処理装置、表示制御方法及びプログラム
【課題】比較される画像の表示形態をユーザが簡単かつ柔軟に切り替えることを可能とする。
【解決手段】入力画像を取得する入力画像取得部と、前記入力画像に映る被写体の過去画像を取得する過去画像取得部と、前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択するモード選択部と、前記モード選択部により選択されたモードに従って、前記過去画像を前記入力画像に重畳する表示制御部と、を備える画像処理装置を提供する。
【解決手段】入力画像を取得する入力画像取得部と、前記入力画像に映る被写体の過去画像を取得する過去画像取得部と、前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択するモード選択部と、前記モード選択部により選択されたモードに従って、前記過去画像を前記入力画像に重畳する表示制御部と、を備える画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、表示制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来、日々変化する事物の状態を画像に記録することが行われている。異なる時点において撮像された画像を比較すれば、対象の事物の外観上の変化を把握することが容易となる。一例として、人間の健康状態の変化又は生物の成長過程などが、日々記録される画像を通じて把握され得る。
【０００３】
下記特許文献１は、ユーザの顔画像を定期的に撮像し、鏡のように表示される現在の顔画像の近傍に過去の画像を並置して表示すると共に、これら顔画像の差分に基づいて分析されるユーザの健康状態に関するメッセージを出力する画像表示装置を提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０５３３２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載された手法は、顔画像の比較に基づく分析を装置が自動的に行うことを目的としており、どのような形で画像を対比したいかをユーザが指示できるようなユーザインタフェースは提供されない。対象の事物（ユーザ自身又はその他の被写体）の変化をユーザが視覚を通じて適切に把握するためには、比較される画像の表示形態をユーザが簡単かつ柔軟に切替えられることが望ましい。
【０００６】
そこで、本開示に係る技術は、比較される画像の表示形態をユーザが簡単かつ柔軟に切り替えることを可能とするユーザインタフェースを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示によれば、入力画像を取得する入力画像取得部と、前記入力画像に映る被写体の過去画像を取得する過去画像取得部と、前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択するモード選択部と、前記モード選択部により選択されたモードに従って、前記過去画像を前記入力画像に重畳する表示制御部と、を備える画像処理装置が提供される。
【０００８】
また、本開示によれば、画像処理装置において画像の表示を制御するための表示制御方法であって、入力画像を取得することと、前記入力画像に映る被写体の過去画像を取得することと、前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択することと、選択されたモードに従って、前記過去画像を前記入力画像に重畳することと、を含む表示制御方法が提供される。
【０００９】
また、本開示によれば、画像処理装置を制御するコンピュータを、入力画像を取得する入力画像取得部と、前記入力画像に映る被写体の過去画像を取得する過去画像取得部と、前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択するモード選択部と、前記モード選択部により選択されたモードに従って、前記過去画像を前記入力画像に重畳する表示制御部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００１０】
本開示に係る技術よれば、比較される画像の表示形態をユーザが簡単かつ柔軟に切り替えることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】一実施形態に係る画像処理装置の概要について説明するための第１の説明図である。
【図２】一実施形態に係る画像処理装置の概要について説明するための第２の説明図である。
【図３】一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図４】一実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図５Ａ】表示モードの第１の例について説明するための説明図である。
【図５Ｂ】表示モードの第２の例について説明するための説明図である。
【図５Ｃ】表示モードの第３の例について説明するための説明図である。
【図６】表示モードの切り替えのための動きの例について説明するための説明図である。
【図７Ａ】表示モードの切り替えの第１のシナリオについて説明するための説明図である。
【図７Ｂ】表示モードの切り替えの第２のシナリオについて説明するための説明図である。
【図７Ｃ】表示モードの切り替えの第３のシナリオについて説明するための説明図である。
【図７Ｄ】表示モードの切り替えの第４のシナリオについて説明するための説明図である。
【図８】被写体位置と過去画像の撮像日時との対応付けの一例について説明するための説明図である。
【図９】一実施形態に係る表示制御処理の流れの一例を示すフローチャートである。
【図１０】図９に示した過去画像重畳処理の詳細な流れの一例を示すフローチャートである。
【図１１】一応用例の概要について説明するための説明図である。
【図１２Ａ】一応用例における表示モードの第１の例について説明するための説明図である。
【図１２Ｂ】一応用例における表示モードの第２の例について説明するための説明図である。
【図１２Ｃ】一応用例における表示モードの第３の例について説明するための説明図である。
【図１３】一応用例における表示モードの切り替えのための操作の例について説明するための説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、以下の順序で説明を行う。
１．概要
２．一実施形態に係る画像処理装置の構成例
２−１．ハードウェア構成
２−２．機能構成
３．処理の流れ
４．応用例
５．まとめ
【００１４】
＜１．画像処理装置の概要＞
図１及び図２は、一実施形態に係る画像処理装置１００の概要について説明するための説明図である。図１を参照すると、ユーザＵａが有する画像処理装置１００が示されている。画像処理装置１００は、内側カメラである撮像部１０２と表示部１１０とを備える。ユーザＵａが撮像部１０２のレンズを自分に向けると、撮像部１０２によりユーザＵａを映した画像が撮像され、撮像画像が表示部１０２により表示される。図１に示した画像Ｉｍ０１は、画像処理装置１００により撮像される画像の一例である。画像Ｉｍ０１には、被写体であるユーザＵａの顔が映っている。画像処理装置１００は、このような撮像画像を入力画像として取得する。画像処理装置１００により取得される入力画像は、画像処理装置１００の内部又は外部のデータベース（ＤＢ）内で、日時情報と関連付けて過去画像として蓄積される。そして、画像処理装置１００は、後に説明する様々な表示モードに従って、入力画像と蓄積された過去画像とを表示する。
【００１５】
図１では、画像処理装置１００の一例として携帯端末を示している。しかしながら、画像処理装置１００は、かかる例に限定されない。画像処理装置１００は、例えば、タブレットＰＣ、ノートブックＰＣ、スマートフォン、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ又はゲーム端末などの端末装置であってもよい。図２の例では、画像処理装置１００は、撮像部１０２と表示部１１０とを有する、鏡付き化粧台のような役割を有する装置である。当該装置は、例えば、デスクトップＰＣ又はデジタルテレビジョン装置などの情報処理装置であってもよい。
【００１６】
＜２．画像処理装置の構成例＞
次に、図１及び図２に示した画像処理装置１００の構成例について詳細に説明する。
【００１７】
［２−１．ハードウェア構成］
図３は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図３を参照すると、画像処理装置１００は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２、バス１１６及び制御部１１８を備える。
【００１８】
（１）撮像部
撮像部１０２は、画像を撮像するカメラモジュールである。撮像部１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて被写体を撮像し、撮像画像を生成する。図１及び図２の例では、撮像部１０２により撮像される画像の被写体は、画像処理装置１００のユーザである。一方、後に説明される応用例では、撮像部１０２により撮像される画像の被写体は、画像処理装置１００のユーザではない。撮像部１０２は、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される撮像装置が撮像部１０２として扱われてもよい。
【００１９】
（２）センサ部
センサ部１０４は、画像処理装置１００において実行される処理を支援するためのセンサモジュールである。例えば、センサ部１０４は、ＧＰＳ（Global Positioning System）センサ又は無線信号の強度に基づく無線測位センサなどの測位センサを含んでもよい。また、センサ部１０４は、３軸加速度センサ及びジャイロセンサを含んでもよい。
【００２０】
（３）入力部
入力部１０６は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される入力デバイスである。入力部１０６は、例えば、表示部１１０の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに（又はそれに加えて）、入力部１０６は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部１０６は、キーボード、キーパッド、ボタン、スイッチ又はリモートコントローラなどのその他の種類の入力デバイスを含んでもよい。
【００２１】
（４）記憶部
記憶部１０８は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、画像処理装置１００による処理のためのプログラム及びデータを記憶する。記憶部１０８により記憶されるデータは、例えば、撮像部１０２により生成される撮像画像データ、センサ部１０４により生成されるセンサデータ、及びデータベース内に蓄積される過去画像データなどを含み得る。なお、本明細書で説明するプログラム及びデータの一部又は全部は、記憶部１０８により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
【００２２】
（５）表示部
表示部１１０は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などにより構成される表示モジュールである。表示部１１０は、例えば、入力画像に過去画像を重畳することにより生成される出力画像を表示するために使用され得る。なお、表示部１１０もまた、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される表示装置が表示部１１０として扱われてもよい。
【００２３】
（６）通信部
通信部１１２は、画像処理装置１００による他の装置との間の通信を仲介する通信インタフェースである。通信部１１２は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【００２４】
（７）バス
バス１１６は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２及び制御部１１８を相互に接続する。
【００２５】
（８）制御部
制御部１１８は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１１８は、記憶部１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。
【００２６】
［２−２．機能構成］
図４は、図３に示した画像処理装置１００の記憶部１０８及び制御部１１８により実現される論理的機能の構成の一例を示すブロック図である。図４を参照すると、画像処理装置１００は、入力画像取得部１２０、識別部１３０、蓄積制御部１４０、画像ＤＢ１５０、過去画像取得部１６０、表示制御部１７０、動き検出部１８０及びモード選択部１９０を含む。
【００２７】
（１）入力画像取得部
入力画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する。図１及び図２の例では、入力画像取得部１２０により取得される入力画像には、ユーザＵａの顔画像が映る。当該入力画像は、静止画であってもよく、動画を構成する各フレームであってもよい。入力画像取得部１２０は、取得した入力画像を、識別部１３０、蓄積制御部１４０、表示制御部１７０及び動き検出部１８０へ出力する。
【００２８】
（２）識別部
識別部１３０は、入力画像取得部１２０から入力される入力画像に映る被写体を識別する。識別部１３０は、例えば、公知の画像認識技術に基づく識別アルゴリズムを用いて、入力画像に映る被写体を識別してもよい。その代わりに、識別部１３０は、画像処理装置１００にログインしているユーザが被写体であると識別してもよい。また、識別部１３０は、入力部１０６を介して被写体の識別子などの識別情報をユーザに入力させることにより、被写体を識別してもよい。識別部１３０は、被写体の識別に成功すると、被写体の識別情報（例えば、ユーザＩＤなどの識別子）を蓄積制御部１４０及び過去画像取得部１６０へ出力する。
【００２９】
なお、１人のユーザのみが被写体として入力画像に映るような用途においては、識別部１３０による識別処理は省略されてもよい。
【００３０】
（３）蓄積制御部／画像ＤＢ
蓄積制御部１４０は、画像ＤＢ１５０における過去画像の蓄積を制御する。画像ＤＢ１５０は、被写体を過去に撮像した１つ以上の過去画像を蓄積するデータベースである。例えば、蓄積制御部１４０は、所定の期間（例えば、１日又は１週間など）が経過するごとに、入力画像取得部１２０から入力される入力画像を過去画像として画像ＤＢ１５０に記憶させてもよい。その代わりに、蓄積制御部１４０は、入力部１０６を介するユーザからの指示に応じて、入力画像を過去画像として画像ＤＢ１５０に記憶させてもよい。蓄積制御部１４０は、例えば、識別部１３０から入力される被写体の識別情報及び撮像日時を示す日時情報と関連付けて、過去画像を画像ＤＢ１５０に記憶させる。
【００３１】
（４）過去画像取得部
過去画像取得部１６０は、画像ＤＢ１５０から、入力画像に映る被写体の過去画像を取得する。例えば、過去画像取得部１６０は、画像ＤＢ１５０に記憶されている複数の過去画像のうち識別部１３０から入力される被写体の識別情報と関連付けられている過去画像を取得してよい。過去画像取得部１６０は、同じ被写体の複数の過去画像のうち、所定の日時（例えば、現在の日時の１日前、１週間前、１ヶ月前及び１年前など）に撮像された過去画像のみを選択的に取得してもよい。過去画像取得部１６０は、このように取得される過去画像を表示制御部１７０へ出力する。
【００３２】
なお、過去画像取得部１６０は、被写体を過去に撮像した過去画像を取得する代わりに、過去に記憶され又は事後的に指定される被写体の過去の属性と現在の入力画像とに基づいて、被写体の推定される過去の外観を表す過去画像を動的に生成してもよい。例えば、被写体が人物である場合、その人物の身長及び体重などの体型データ、年齢データ、又は血圧値若しくは疲労度などの健康関連データの現在と過去との差分を用いて、現在の入力画像に映る被写体の外観から過去の被写体の外観が推定され得る。
【００３３】
（５）表示制御部
表示制御部１７０は、後述するモード選択部１９０により選択される表示モードに従って、過去画像取得部１６０により取得される過去画像を入力画像に重畳することにより、出力画像を生成する。そして、表示制御部１７０は、生成した出力画像を表示部１１０のディスプレイ上に表示する。
【００３４】
本実施形態において、過去画像の表示モードは、図５Ａ〜図５Ｃに例示する３つの表示モードＭ１、Ｍ２及びＭ３のいずれかである。第１の表示モードＭ１は、過去画像に映る被写体を入力画像に映る被写体に重ね合わせるモードであり、本明細書ではこれを「オーバラップ（重ね合わせ）」モードという。第２の表示モードＭ２は、過去画像に映る被写体を入力画像に映る被写体に並べて配置するモードであり、本明細書ではこれを「パラレル（並置）」モードという。第３の表示モードＭ３は、過去画像取得部１６０により取得される複数の過去画像の一覧を入力画像に重畳するモードであり、本明細書ではこれを「一覧」モードという。
【００３５】
図５Ａは、表示モードの第１の例であるオーバラップモードについて説明するための説明図である。図５Ａを参照すると、オーバラップモードで表示される出力画像Ｉｍ１１が示されている。出力画像Ｉｍ１１は、２０１１年９月１５日に撮像された入力画像に、過去画像Ｐ０１〜Ｐ０３のうち２０１１年８月１５日に撮像された過去画像Ｐ０２を重畳することにより生成された画像である。入力画像には、ショートヘアの髪型を有するユーザＵａが映っている。過去画像Ｐ０２には、ロングヘアの髪型を有するユーザＵａが映っている。オーバラップモードでは、このように現在及び過去の被写体が重ね合わせて表示されるため、ユーザにとって、被写体の細部の外観上の違いを観察することが容易である。オーバラップモードは、例えば、現在及び過去の被写体の互いに対応する特徴点の位置を出力画像において略一致させることにより実現されてよい。被写体の特徴点の位置は、例えば、人物（あるいは動物）の目、口、肩若しくは腰などの位置であってもよく、又は人物以外の被写体のエッジ上のいずれかの位置であってもよい。
【００３６】
図５Ｂは、表示モードの第２の例であるパラレルモードについて説明するための説明図である。図５Ｂを参照すると、パラレルモードで表示される出力画像Ｉｍ１２が示されている。出力画像Ｉｍ１２もまた、２０１１年９月１５日に撮像された入力画像に、２０１１年８月１５日に撮像された過去画像Ｐ０２を重畳することにより生成された画像である。パラレルモードでは、図５Ｂに示したように現在及び過去の被写体が出力画像内で並列的に配置されるため、ユーザが、表示された２つの被写体を比較しながら、各被写体をより明瞭に視認することができる。パラレルモードは、例えば、現在及び過去の被写体の注目部分（例えば、人物の顔など）が重ならないようにこれら被写体を互いに間隔を空けて配置することにより実現されてよい。過去画像の被写体は、フレームからフレームにわたり上記間隔を維持しながら現在の被写体に追従するように移動されてもよく、又は一度表示された後で現在の被写体に追従しなくてもよい。
【００３７】
図５Ｃは、表示モードの第３の例である一覧モードについて説明するための説明図である。図５Ｃを参照すると、一覧モードで表示される出力画像Ｉｍ１３が示されている。出力画像Ｉｍ１３の下部には、縮小された過去画像Ｐ０１〜Ｐ０３が一覧化されている。一覧モードにおいて、表示制御部１７０は、ユーザＵａの動きに応じて過去画像の一覧をスクロールしてもよい。例えば、表示制御部１７０は、ユーザＵａの左方向への移動に応じて過去画像の一覧を右方向へスクロールし、過去画像Ｐ０１よりも古い過去画像を新たに表示し得る。同様に、表示制御部１７０は、ユーザＵａの右方向への移動に応じて過去画像の一覧を左方向へスクロールし得る。過去画像の一覧のスクロール量は、被写体の速度に応じて動的に変更されてもよい。なお、過去画像の一覧は、図示された例に限定されず、出力画像内のいずれの位置に重畳されてもよい。
【００３８】
表示制御部１７０は、選択されるモードに応じて、表示される過去画像の透明度を変化させてもよい。例えば、オーバラップモードでは、重なり合う被写体の双方が十分に視認可能となるように、重畳される過去画像の透明度は相対的に高く設定され得る。パラレルモードでは、過去画像は入力画像において被写体が映っていない領域に重畳されるため、過去画像の透明度は相対的に低く設定されてよい。一覧モードでは、過去画像の透明度は中間的な値に設定されてよい。
【００３９】
また、表示制御部１７０は、オーバラップモード及びパラレルモードにおいて、入力画像に映る被写体のサイズ、明るさ又は色合いに応じて、表示される過去画像の被写体のサイズ、明るさ又は色合いをそれぞれ変化させてもよい。例えば、入力画像に映る被写体のサイズが過去画像に映る被写体のサイズよりも大きい場合には、過去画像はサイズの比に応じて拡大され得る。入力画像において被写体が過去画像よりも明るく映っている場合には、過去画像の被写体がより明るくなるように過去画像の輝度が調整され得る。それにより、変動する撮像条件の影響を排除して被写体をより適切に比較することが可能となる。
【００４０】
本実施形態において、表示モードの切り替えは、入力画像に映る被写体の動きに応じて行われ得る。図６は、表示モードの切り替えのための動きの例について説明するための説明図である。図６を参照すると、３つの表示モードの各ペアの間の切り替えのトリガとなり得る被写体の動きの例が記載されている。例えば、一覧モード又はパラレルモードからオーバラップモードへの切り替えのトリガは、表示されているいずれかの過去画像に被写体が近付く動き、又は表示されているいずれかの過去画像を被写体が引き寄せる動きであってよい。オーバラップモードからパラレルモードへの切り替えのトリガは、重ね合わされた過去画像を振り払うような、所定の速さを超える被写体の動き（例えば、体又は頭を揺らす動きなど）であってよい。一覧モードからパラレルモードへの切り替えのトリガは、表示されているいずれかの過去画像を被写体の存在しない領域へ運ぶような動きであってよい。オーバラップモード又はパラレルモードから一覧モードへの切り替えのトリガは、画面の端部への被写体の移動であってよい。これら被写体の動きは、次に説明する動き検出部１８０により検出される。
【００４１】
なお、図６に示した表示モードの切り替えのための動きは一例に過ぎない。即ち、表示モードの切り替えは、被写体の他の種類の動きをトリガとして行われてもよい。また、入力部１０６を介して検出されるユーザ入力（例えば、タッチ、クリック又は所定のボタンの押下など）が、表示モードの切り替えのための操作として補完的に採用されてもよい。
【００４２】
（６）動き検出部
動き検出部１８０は、入力画像取得部１２０から入力される入力画像に映る被写体の動きを検出する。動き検出部１８０は、例えば、背景差分抽出又は肌色領域抽出などの公知の手法に従って、入力画像に映る被写体領域を抽出する。次に、動き検出部１８０は、一連の入力画像から抽出される被写体領域の動きが表示モードの切り替えのトリガとして定義されたいずれかの動きに合致するかを判定する。そして、動き検出部１８０は、表示モードの切り替えのトリガとして定義された動きを検出すると、検出した動きの種別、及び（必要に応じて）その動きにより指定された過去画像の識別子とを、モード選択部１９０へ出力する。以下、図７Ａ〜図７Ｄを用いて、表示モードの切り替えの例示的な４つのシナリオについて説明する。
【００４３】
図７Ａは、表示モードの切り替えの第１のシナリオについて説明するための説明図である。図７Ａに例示した出力画像Ｉｍ２１には、ユーザＵｂが映っており、さらに出力画像Ｉｍ２１の下部に過去画像Ｐ１１〜Ｐ１３が一覧モードで表示されている。出力画像Ｉｍ２２において、ユーザＵｂは、自身の頭部を過去画像Ｐ１２に近付けている。動き検出部１８０は、このようなユーザＵｂの動きを、オーバラップモードへの切り替えのトリガとして検出し得る。
【００４４】
図７Ｂは、表示モードの切り替えの第２のシナリオについて説明するための説明図である。図７Ｂに例示した出力画像Ｉｍ３１には、ユーザＵｂが映っており、さらにユーザＵｂの近傍に過去画像Ｐ１２がパラレルモードで表示されている。出力画像Ｉｍ３２において、ユーザＵｂは、自身の手を使って過去画像Ｐ１２を自身に引き寄せる動きをしている。動き検出部１８０は、このようなユーザＵｂの動きを、オーバラップモードへの切り替えのトリガとして検出し得る。
【００４５】
図７Ｃは、表示モードの切り替えの第３のシナリオについて説明するための説明図である。図７Ｃに例示した出力画像Ｉｍ４１には、ユーザＵｂが映っており、さらにユーザＵｂに重ね合わせて過去画像Ｐ１２がオーバラップモードで表示されている。出力画像Ｉｍ４２において、ユーザＵｂは、頭を揺り動かす動きをしている。動き検出部１８０は、このようなユーザＵｂの動きを、オーバラップモードからパラレルモードへの切り替えのトリガとして検出し得る。
【００４６】
図７Ｄは、表示モードの切り替えの第４のシナリオについて説明するための説明図である。図７Ｄに例示した出力画像Ｉｍ５１には、ユーザＵｂが映っており、さらにユーザＵｂに重ね合わせて過去画像Ｐ１２がオーバラップモードで表示されている。出力画像Ｉｍ５２において、ユーザＵｂは、画面の端部へ移動している。動き検出部１８０は、このようなユーザＵｂの動きを、一覧モードへの切り替えのトリガとして検出し得る。
【００４７】
（７）モード選択部
モード選択部１９０は、入力画像を用いて動き検出部１８０により検出される被写体の動きに応じて、上述した３つの表示モードを含む複数の表示モードから表示モードを選択する。例えば、モード選択部１９０は、図７Ａに示したように、一覧モード又はパラレルモードで表示されているいずれかの過去画像に被写体が近付く動きが検出された場合に、オーバラップモードを選択し得る。また、モード選択部１９０は、図７Ｂに示したように、一覧モード又はパラレルモードで表示されている過去画像を被写体であるユーザが引き寄せる動きが検出された場合に、オーバラップモードを選択し得る。また、モード選択部１９０は、図７Ｃに示したように、オーバラップモードで過去画像が表示されている場合において、所定の速さを超える被写体の動きが検出された場合に、パラレルモードを選択し得る。また、モード選択部１９０は、図７Ｄに示したように、オーバラップモード又はパラレルモードで過去画像が表示されている場合において被写体が画面の端部へ移動したことが検出された場合に、一覧モードを選択し得る。モード選択部１９０は、このように選択される表示モードの識別子を、表示制御部１７０へ出力する。そして、表示制御部１７０は、モード選択部１９０により選択されたモードに従って、指定された過去画像又は過去画像の一覧を入力画像に重畳する。
【００４８】
なお、表示制御部１７０は、オーバラップモードにおいて、入力画像に重畳される過去画像を、入力画像内の被写体の位置に応じて変化させてもよい。即ち、表示制御部１７０は、オーバラップモードが選択されている場合に、入力画像内の被写体の位置に応じて異なる時間に撮像された過去画像を、入力画像に重畳してよい。例えば、入力画像内の水平方向の被写体位置が、過去画像の撮像日時に対応付けられ得る。
【００４９】
図８は、被写体位置と過去画像の撮像日時との対応付けの一例について説明するための説明図である。図８の下部には、入力画像Ｉｍ６内の水平方向の被写体位置を示す座標軸が示されている。かかる座標軸は、過去画像の撮像日時の時間軸に対応付けられる。例えば、入力画像Ｉｍ６内で被写体が位置Ｈ１に位置する場合にはより古い過去画像Ｐ１１が入力画像Ｉｍ６に重畳され、被写体が位置Ｈ２に位置する場合にはより新しい過去画像Ｐ１２が入力画像Ｉｍ６に重畳され得る。このような被写体位置と過去画像の撮像日時との対応付けにより、ユーザは、左右に移動するだけで過去画像を自在に変更し、様々な時点の過去画像を現在の自身の画像と比較することができる。
【００５０】
＜３．処理の流れ＞
図９は、本実施形態に係る画像処理装置１００による表示制御処理の流れの一例を示すフローチャートである。
【００５１】
図９を参照すると、まず、入力画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ１０２）。その後のステップＳ１０６〜Ｓ１１０の処理は、過去画像取得部１６０により過去画像が既に取得されている場合にはスキップされ得る（ステップＳ１０４）。
【００５２】
過去画像が未だ取得されていない場合には、識別部１３０は、入力画像取得部１２０から入力される入力画像に映る被写体を識別する（ステップＳ１０６）。次に、過去画像取得部１６０は、識別部１３０により識別された被写体を過去に撮像した過去画像を画像ＤＢ１５０から取得する（ステップＳ１０８）。モード選択部１９０は、初期状態において、予め設定される既定の表示モード（例えば、一覧モード）を選択する（ステップＳ１１０）。
【００５３】
次に、動き検出部１８０は、入力画像取得部１２０により取得された入力画像に映る被写体の動きを検出する（ステップＳ１１２）。次に、モード選択部１９０は、表示モードの切り替えに対応する動きが動き検出部１８０により検出されたか否かを判定する（ステップＳ１１４）。表示モードの切り替えに対応する動きが検出された場合には、モード選択部１９０は、切り替え後の表示モードを選択する（ステップＳ１１６）。そして、表示制御部１７０は、モード選択部１９０により選択されたモードに従って、図１０に例示する過去画像重畳処理を実行する（ステップＳ１２０）。
【００５４】
図１０は、図９のステップＳ１２０の過去画像重畳処理の詳細な流れの一例を示すフローチャートである。
【００５５】
図１０に示した処理は、現在選択されている表示モードに応じて分岐する。例えば、オーバラップモードが選択されている場合には、処理はステップＳ１２６へ進む（ステップＳ１２２）。パラレルモードが選択されている場合には、処理はステップＳ１３２へ進む（ステップＳ１２４）。一覧モードが選択されている場合には、処理はステップＳ１３８へ進む。
【００５６】
オーバラップモードが選択されている場合、表示制御部１７０は、まず、表示すべき過去画像を特定する（ステップＳ１２６）。ここで特定される過去画像は、例えば、図７Ａ若しくは図７Ｂに例示したような被写体の動きによって指定された過去画像であってもよい。その代わりに、図８の例のように、入力画像内の被写体位置に応じて決定される日時に撮像された過去画像が、表示すべき過去画像として特定されてもよい。次に、表示制御部１７０は、特定した過去画像の表示属性を調整する（ステップＳ１２８）。例えば、表示制御部１７０は、重なり合う被写体の双方が十分に視認可能となるように、過去画像の透明度を高めてもよい。また、表示制御部１７０は、入力画像に映る被写体のサイズ、明るさ又は色合いに応じて、表示される過去画像の被写体のサイズ、明るさ又は色合いをそれぞれ変化させてもよい。そして、表示制御部１７０は、入力画像及び過去画像に映る被写体が重なり合うように、表示属性の調整された過去画像を入力画像に重畳する（ステップＳ１３０）。
【００５７】
パラレルモードが選択されている場合、表示制御部１７０は、まず、表示すべき過去画像を特定する（ステップＳ１３２）。ここで特定される過去画像は、オーバラップモードの場合と同様、例えば被写体の動きによって指定された過去画像であってよい。次に、表示制御部１７０は、特定した過去画像の表示属性を調整する（ステップＳ１３４）。例えば、表示制御部１７０は、オーバラップモードの場合と比較して過去画像の透明度をより低く設定し得る。また、表示制御部１７０は、入力画像に映る被写体のサイズ、明るさ又は色合いに応じて、表示される過去画像の被写体のサイズ、明るさ又は色合いをそれぞれ変化させてもよい。そして、表示制御部１７０は、入力画像及び過去画像に映る被写体が並列的に配置されるように、表示属性の調整された過去画像を入力画像に重畳する（ステップＳ１３６）。
【００５８】
一覧モードが選択されている場合、表示制御部１７０は、まず、一覧化される複数の過去画像の表示属性を調整する（ステップＳ１３８）。例えば、表示制御部１７０は、各過去画像のサイズを縮小してもよい。そして、表示制御部１７０は、複数の過去画像を撮像日時の順に一覧化して入力画像に重畳する（ステップＳ１４０）。
【００５９】
＜４．応用例＞
上述した画像処理装置１００は、現在画像と過去画像とを比較するための表示モードを切り替えるための、簡単かつ柔軟なユーザインタフェースをユーザに提供する。上述した例では、主に画像処理装置１００のユーザ自身の画像が比較の対象であったが、画像処理装置１００の構成は、他の被写体が比較の対象となる場合にも適用可能である。そこで、本節では、図１１〜図１３を用いてそのような応用例について説明する。
【００６０】
図１１は、一応用例の概要について説明するための説明図である。図１１を参照すると、ユーザＵｃが有する画像処理装置１００が示されている。画像処理装置１００は、撮像装置である。画像処理装置１００は、例えば、デジタルカメラ又はカメラモジュールを有するスマートフォンなどであってよい。画像処理装置１００の入力部１０６は、図１１に示したボタン１０６ａ及び１０６ｂを含む。ボタン１０６ａは、レリーズボタン１０６ａであり、ユーザによる撮像操作を受け付ける。ボタン１０６ｂは、後に説明するように、ユーザによる表示モードの操作のために利用され得る。図１１の例において、画像処理装置１００の撮像部１０２のレンズは、被写体Ｂ１に向けられている。被写体Ｂ１の奥には背景が存在する。
【００６１】
本応用例においても、過去画像の表示モードは、オーバラップモード、パラレルモード及び一覧モードを含み得る。さらに、過去画像が入力画像に重畳されず、入力画像がそのままディスプレイ上に表示される通常モードも存在し得る。
【００６２】
図１２Ａは、本応用例におけるオーバラップモードについて説明するための説明図である。図１２Ａを参照すると、オーバラップモードで表示される出力画像Ｉｍ７が示されている。出力画像Ｉｍ７は、２０１１年９月１５日に撮像された入力画像に、過去画像Ｐ２１〜Ｐ２３のうち２０１１年６月１５日に撮像された過去画像Ｐ２１を重畳することにより生成された画像である。過去画像Ｐ２１には、３ヶ月前の被写体Ｂ１が映っている。入力画像には、より成長した被写体Ｂ１が映っている。オーバラップモードにおいて、これら２つの被写体は重ね合わせて表示されている。
【００６３】
図１２Ｂは、本応用例におけるパラレルモードについて説明するための説明図である。図１２Ｂを参照すると、パラレルモードで表示される出力画像Ｉｍ８が示されている。出力画像Ｉｍ８もまた、図１２Ａと同様の入力画像に過去画像Ｐ２１を重畳することにより生成された画像である。但し、パラレルモードにおいて、入力画像及び過去画像Ｐ２１にそれぞれ映る被写体は、重ね合わされる代わりに、並べて配置されている。このようなパラレルモードは、オーバラップモードに従って過去画像が表示されている場合において、ユーザが画角を変化させた際に選択され得る。
【００６４】
図１２Ｃは、本応用例における一覧モードについて説明するための説明図である。図１２Ｃを参照すると、一覧モードで表示される出力画像Ｉｍ９１が示されている。出力画像Ｉｍ９１は、やや縮小された入力画像Ｉｍ９２と過去画像Ｐ２１〜Ｐ２３の一覧とを含む。本応用例において、一覧モードは、入力画像に重畳すべき過去画像をユーザに指定させるための指定画面を提供するモードとして用いられてもよい。
【００６５】
図１３は、本応用例における表示モードの切り替えのための操作の例について説明するための説明図である。図１３には、オーバラップモード、パラレルモード及び一覧モードに加えて通常モードを含む４つの表示モードの間の遷移が例示されている。このうち、例えば、既定の表示モードは、入力画像がそのままディスプレイ上に表示される通常モードである。通常モードにおいて、入力部１０６を介する所定のユーザ入力が検出されると、表示モードは一覧モードに切り替わる。一覧モードにおいて、いずれかの過去画像が指定されると、モード選択部１９０は、指定された過去画像の背景が入力画像の背景に適合する位置を探索する。そして、モード選択部１９０は、背景が適合する位置を発見できた場合に、オーバラップモードを選択する。その後、ユーザが画角を変化させることにより入力画像内で被写体が移動すると、モード選択部１９０は、パラレルモードを選択する。なお、パラレルモードにおいて過去画像が重畳される入力画像内の位置は、オーバラップモードにおいて当該過去画像が重畳されていた位置から変化しない。オーバラップモード又はパラレルモードが選択されている状態において、入力部１０６を介する所定のユーザ入力が検出されると、表示モードは通常モードに切り替わる。
【００６６】
図１３の例において、オーバラップモードへの切り替えは、図１１に例示したボタン１０６ｂのような所定のボタンの押下をトリガとして行われてもよい。その場合には、モード選択部１９０は、ボタン１０６ｂの押下に応じて過去画像と入力画像との照合を実行し、オーバラップモードを選択し得る。さらに、ユーザがボタン１０６ｂを押下したままで画角を変化させた場合に、モード選択部１９０は、パラレルモードを選択してもよい。一方、ボタン１０６ｂが解放されると、表示モードは通常モードに戻る。
【００６７】
なお、本応用例のように画像処理装置１００が撮像機能を有するケースでは、オーバラップモード又はパラレルモードに従って過去画像が表示されている状態において撮像操作が受け付けられた場合に、入力画像に過去画像が重畳された画像が撮像画像として取得され記憶されてもよい。それにより、ユーザは、記憶された画像を参照することで、事後的に２つの被写体を比較することが可能となる。
【００６８】
＜５．まとめ＞
ここまで、図１〜図１３を用いて、一実施形態に係る画像処理装置１００及びその応用例について詳細に説明した。上述した実施形態によれば、被写体を重ね合わせるオーバラップモード及び被写体を並置するパラレルモードを含む複数の過去画像の表示モードの間の切り替えが、入力画像を用いて行われる。従って、ユーザは、比較される２つの画像の表示形態を簡単かつ柔軟に切り替えることができる。表示モードの選択は、入力画像に映る被写体の動きに応じて行われ得る。即ち、比較の対象である被写体の動き自体が表示モードの切り替えのトリガとなる。従って、ユーザは、被写体に関連しない入力手段に注意を奪われることなく表示形態を切り替えることができる。
【００６９】
例えば、オーバラップモードへの切り替えのトリガは、いずれかの過去画像に被写体が近付く動き、又はいずれかの過去画像を被写体が引き寄せる動きの検出であってよい。また、オーバラップモードからパラレルモードへの切り替えのトリガは、重ね合わされた過去画像を振り払うような動きの検出であってよい。これら動きは、ユーザにとって直感的であって憶え易い。従って、かかる構成によれば、表示モードの切り替えのためのユーザインタフェースのユーザビリティを一層高めることができる。
【００７０】
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【００７１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力画像を取得する入力画像取得部と、
前記入力画像に映る被写体の過去画像を取得する過去画像取得部と、
前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択するモード選択部と、
前記モード選択部により選択されたモードに従って、前記過去画像を前記入力画像に重畳する表示制御部と、
を備える画像処理装置。
（２）
前記モード選択部は、前記入力画像に映る被写体の動きに応じていずれかのモードを選択する、前記（１）に記載の画像処理装置。
（３）
前記モード選択部は、前記第１のモードとは異なるモードに従って表示されている前記過去画像に前記被写体が近付く動きが検出された場合に、前記第１のモードを選択する、前記（２）に記載の画像処理装置。
（４）
前記被写体は、前記画像処理装置のユーザであり、
前記モード選択部は、前記第１のモードとは異なるモードに従って表示されている前記過去画像を前記ユーザが引き寄せる動きが検出された場合に、前記第１のモードを選択する、
前記（２）に記載の画像処理装置。
（５）
前記モード選択部は、前記第１のモードに従って前記過去画像が表示されている場合において所定の速さを超える前記被写体の動きが検出された場合に、前記第２のモードを選択する、前記（２）に記載の画像処理装置。
（６）
前記過去画像取得部は、撮像された時間の互いに異なる複数の前記過去画像を取得し、
前記表示制御部は、前記第１のモードが選択されている場合に、前記入力画像内の被写体の位置に応じて異なる時間に撮像された前記過去画像を前記入力画像に重畳する、
前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記過去画像取得部は、撮像された時間の互いに異なる複数の前記過去画像を取得し、
前記複数のモードは、前記過去画像取得部により取得される複数の前記過去画像の一覧を前記入力画像に重畳する第３のモードをさらに含む、
前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記モード選択部は、前記第１のモード又は前記第２のモードに従って前記過去画像が表示されている場合において前記被写体が画面の端部へ移動したことが検出された場合に、前記第３のモードを選択する、前記（７）に記載の画像処理装置。
（９）
前記モード選択部は、前記第１のモードに従って前記過去画像が表示されている状態から画角が変化することにより前記被写体が移動した場合に、前記第２のモードを選択する、前記（２）に記載の画像処理装置。
（１０）
前記表示制御部は、前記モード選択部により選択されるモードに応じて、表示される前記過去画像の透明度を変化させる、前記（１）〜（９）のいずれか１項に記載の画像処理装置。
（１１）
前記表示制御部は、前記入力画像に映る被写体のサイズ、明るさ又は色合いに応じて、表示される前記過去画像の被写体のサイズ、明るさ又は色合いをそれぞれ変化させる、前記（１）〜（１０）のいずれか１項に記載の画像処理装置。
（１２）
前記画像処理装置は、前記入力画像を撮像する撮像部と、ユーザによる撮像操作を受け付ける入力部と、を備える撮像装置であり、
前記第１のモード又は前記第２のモードに従って前記過去画像が表示されている状態において前記撮像操作が受け付けられた場合には、前記入力画像に前記過去画像が重畳された画像が撮像画像として取得される、
前記（１）〜（１１）のいずれか１項に記載の画像処理装置。
（１３）
画像処理装置において画像の表示を制御するための表示制御方法であって、
入力画像を取得することと、
前記入力画像に映る被写体の過去画像を取得することと、
前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択することと、
選択されたモードに従って、前記過去画像を前記入力画像に重畳することと、
を含む表示制御方法。
（１４）
画像処理装置を制御するコンピュータを、
入力画像を取得する入力画像取得部と、
前記入力画像に映る被写体の過去画像を取得する過去画像取得部と、
前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択するモード選択部と、
前記モード選択部により選択されたモードに従って、前記過去画像を前記入力画像に重畳する表示制御部と、
として機能させるためのプログラム。
【符号の説明】
【００７３】
１００ 画像処理装置
１２０ 入力画像取得部
１６０ 過去画像取得部
１７０ 表示制御部
１９０ モード選択部
【技術分野】
【０００１】
本開示は、画像処理装置、表示制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来、日々変化する事物の状態を画像に記録することが行われている。異なる時点において撮像された画像を比較すれば、対象の事物の外観上の変化を把握することが容易となる。一例として、人間の健康状態の変化又は生物の成長過程などが、日々記録される画像を通じて把握され得る。
【０００３】
下記特許文献１は、ユーザの顔画像を定期的に撮像し、鏡のように表示される現在の顔画像の近傍に過去の画像を並置して表示すると共に、これら顔画像の差分に基づいて分析されるユーザの健康状態に関するメッセージを出力する画像表示装置を提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０５３３２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載された手法は、顔画像の比較に基づく分析を装置が自動的に行うことを目的としており、どのような形で画像を対比したいかをユーザが指示できるようなユーザインタフェースは提供されない。対象の事物（ユーザ自身又はその他の被写体）の変化をユーザが視覚を通じて適切に把握するためには、比較される画像の表示形態をユーザが簡単かつ柔軟に切替えられることが望ましい。
【０００６】
そこで、本開示に係る技術は、比較される画像の表示形態をユーザが簡単かつ柔軟に切り替えることを可能とするユーザインタフェースを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示によれば、入力画像を取得する入力画像取得部と、前記入力画像に映る被写体の過去画像を取得する過去画像取得部と、前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択するモード選択部と、前記モード選択部により選択されたモードに従って、前記過去画像を前記入力画像に重畳する表示制御部と、を備える画像処理装置が提供される。
【０００８】
また、本開示によれば、画像処理装置において画像の表示を制御するための表示制御方法であって、入力画像を取得することと、前記入力画像に映る被写体の過去画像を取得することと、前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択することと、選択されたモードに従って、前記過去画像を前記入力画像に重畳することと、を含む表示制御方法が提供される。
【０００９】
また、本開示によれば、画像処理装置を制御するコンピュータを、入力画像を取得する入力画像取得部と、前記入力画像に映る被写体の過去画像を取得する過去画像取得部と、前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択するモード選択部と、前記モード選択部により選択されたモードに従って、前記過去画像を前記入力画像に重畳する表示制御部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００１０】
本開示に係る技術よれば、比較される画像の表示形態をユーザが簡単かつ柔軟に切り替えることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】一実施形態に係る画像処理装置の概要について説明するための第１の説明図である。
【図２】一実施形態に係る画像処理装置の概要について説明するための第２の説明図である。
【図３】一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図４】一実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図５Ａ】表示モードの第１の例について説明するための説明図である。
【図５Ｂ】表示モードの第２の例について説明するための説明図である。
【図５Ｃ】表示モードの第３の例について説明するための説明図である。
【図６】表示モードの切り替えのための動きの例について説明するための説明図である。
【図７Ａ】表示モードの切り替えの第１のシナリオについて説明するための説明図である。
【図７Ｂ】表示モードの切り替えの第２のシナリオについて説明するための説明図である。
【図７Ｃ】表示モードの切り替えの第３のシナリオについて説明するための説明図である。
【図７Ｄ】表示モードの切り替えの第４のシナリオについて説明するための説明図である。
【図８】被写体位置と過去画像の撮像日時との対応付けの一例について説明するための説明図である。
【図９】一実施形態に係る表示制御処理の流れの一例を示すフローチャートである。
【図１０】図９に示した過去画像重畳処理の詳細な流れの一例を示すフローチャートである。
【図１１】一応用例の概要について説明するための説明図である。
【図１２Ａ】一応用例における表示モードの第１の例について説明するための説明図である。
【図１２Ｂ】一応用例における表示モードの第２の例について説明するための説明図である。
【図１２Ｃ】一応用例における表示モードの第３の例について説明するための説明図である。
【図１３】一応用例における表示モードの切り替えのための操作の例について説明するための説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、以下の順序で説明を行う。
１．概要
２．一実施形態に係る画像処理装置の構成例
２−１．ハードウェア構成
２−２．機能構成
３．処理の流れ
４．応用例
５．まとめ
【００１４】
＜１．画像処理装置の概要＞
図１及び図２は、一実施形態に係る画像処理装置１００の概要について説明するための説明図である。図１を参照すると、ユーザＵａが有する画像処理装置１００が示されている。画像処理装置１００は、内側カメラである撮像部１０２と表示部１１０とを備える。ユーザＵａが撮像部１０２のレンズを自分に向けると、撮像部１０２によりユーザＵａを映した画像が撮像され、撮像画像が表示部１０２により表示される。図１に示した画像Ｉｍ０１は、画像処理装置１００により撮像される画像の一例である。画像Ｉｍ０１には、被写体であるユーザＵａの顔が映っている。画像処理装置１００は、このような撮像画像を入力画像として取得する。画像処理装置１００により取得される入力画像は、画像処理装置１００の内部又は外部のデータベース（ＤＢ）内で、日時情報と関連付けて過去画像として蓄積される。そして、画像処理装置１００は、後に説明する様々な表示モードに従って、入力画像と蓄積された過去画像とを表示する。
【００１５】
図１では、画像処理装置１００の一例として携帯端末を示している。しかしながら、画像処理装置１００は、かかる例に限定されない。画像処理装置１００は、例えば、タブレットＰＣ、ノートブックＰＣ、スマートフォン、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ又はゲーム端末などの端末装置であってもよい。図２の例では、画像処理装置１００は、撮像部１０２と表示部１１０とを有する、鏡付き化粧台のような役割を有する装置である。当該装置は、例えば、デスクトップＰＣ又はデジタルテレビジョン装置などの情報処理装置であってもよい。
【００１６】
＜２．画像処理装置の構成例＞
次に、図１及び図２に示した画像処理装置１００の構成例について詳細に説明する。
【００１７】
［２−１．ハードウェア構成］
図３は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図３を参照すると、画像処理装置１００は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２、バス１１６及び制御部１１８を備える。
【００１８】
（１）撮像部
撮像部１０２は、画像を撮像するカメラモジュールである。撮像部１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて被写体を撮像し、撮像画像を生成する。図１及び図２の例では、撮像部１０２により撮像される画像の被写体は、画像処理装置１００のユーザである。一方、後に説明される応用例では、撮像部１０２により撮像される画像の被写体は、画像処理装置１００のユーザではない。撮像部１０２は、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される撮像装置が撮像部１０２として扱われてもよい。
【００１９】
（２）センサ部
センサ部１０４は、画像処理装置１００において実行される処理を支援するためのセンサモジュールである。例えば、センサ部１０４は、ＧＰＳ（Global Positioning System）センサ又は無線信号の強度に基づく無線測位センサなどの測位センサを含んでもよい。また、センサ部１０４は、３軸加速度センサ及びジャイロセンサを含んでもよい。
【００２０】
（３）入力部
入力部１０６は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される入力デバイスである。入力部１０６は、例えば、表示部１１０の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに（又はそれに加えて）、入力部１０６は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部１０６は、キーボード、キーパッド、ボタン、スイッチ又はリモートコントローラなどのその他の種類の入力デバイスを含んでもよい。
【００２１】
（４）記憶部
記憶部１０８は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、画像処理装置１００による処理のためのプログラム及びデータを記憶する。記憶部１０８により記憶されるデータは、例えば、撮像部１０２により生成される撮像画像データ、センサ部１０４により生成されるセンサデータ、及びデータベース内に蓄積される過去画像データなどを含み得る。なお、本明細書で説明するプログラム及びデータの一部又は全部は、記憶部１０８により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
【００２２】
（５）表示部
表示部１１０は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などにより構成される表示モジュールである。表示部１１０は、例えば、入力画像に過去画像を重畳することにより生成される出力画像を表示するために使用され得る。なお、表示部１１０もまた、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される表示装置が表示部１１０として扱われてもよい。
【００２３】
（６）通信部
通信部１１２は、画像処理装置１００による他の装置との間の通信を仲介する通信インタフェースである。通信部１１２は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【００２４】
（７）バス
バス１１６は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２及び制御部１１８を相互に接続する。
【００２５】
（８）制御部
制御部１１８は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１１８は、記憶部１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。
【００２６】
［２−２．機能構成］
図４は、図３に示した画像処理装置１００の記憶部１０８及び制御部１１８により実現される論理的機能の構成の一例を示すブロック図である。図４を参照すると、画像処理装置１００は、入力画像取得部１２０、識別部１３０、蓄積制御部１４０、画像ＤＢ１５０、過去画像取得部１６０、表示制御部１７０、動き検出部１８０及びモード選択部１９０を含む。
【００２７】
（１）入力画像取得部
入力画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する。図１及び図２の例では、入力画像取得部１２０により取得される入力画像には、ユーザＵａの顔画像が映る。当該入力画像は、静止画であってもよく、動画を構成する各フレームであってもよい。入力画像取得部１２０は、取得した入力画像を、識別部１３０、蓄積制御部１４０、表示制御部１７０及び動き検出部１８０へ出力する。
【００２８】
（２）識別部
識別部１３０は、入力画像取得部１２０から入力される入力画像に映る被写体を識別する。識別部１３０は、例えば、公知の画像認識技術に基づく識別アルゴリズムを用いて、入力画像に映る被写体を識別してもよい。その代わりに、識別部１３０は、画像処理装置１００にログインしているユーザが被写体であると識別してもよい。また、識別部１３０は、入力部１０６を介して被写体の識別子などの識別情報をユーザに入力させることにより、被写体を識別してもよい。識別部１３０は、被写体の識別に成功すると、被写体の識別情報（例えば、ユーザＩＤなどの識別子）を蓄積制御部１４０及び過去画像取得部１６０へ出力する。
【００２９】
なお、１人のユーザのみが被写体として入力画像に映るような用途においては、識別部１３０による識別処理は省略されてもよい。
【００３０】
（３）蓄積制御部／画像ＤＢ
蓄積制御部１４０は、画像ＤＢ１５０における過去画像の蓄積を制御する。画像ＤＢ１５０は、被写体を過去に撮像した１つ以上の過去画像を蓄積するデータベースである。例えば、蓄積制御部１４０は、所定の期間（例えば、１日又は１週間など）が経過するごとに、入力画像取得部１２０から入力される入力画像を過去画像として画像ＤＢ１５０に記憶させてもよい。その代わりに、蓄積制御部１４０は、入力部１０６を介するユーザからの指示に応じて、入力画像を過去画像として画像ＤＢ１５０に記憶させてもよい。蓄積制御部１４０は、例えば、識別部１３０から入力される被写体の識別情報及び撮像日時を示す日時情報と関連付けて、過去画像を画像ＤＢ１５０に記憶させる。
【００３１】
（４）過去画像取得部
過去画像取得部１６０は、画像ＤＢ１５０から、入力画像に映る被写体の過去画像を取得する。例えば、過去画像取得部１６０は、画像ＤＢ１５０に記憶されている複数の過去画像のうち識別部１３０から入力される被写体の識別情報と関連付けられている過去画像を取得してよい。過去画像取得部１６０は、同じ被写体の複数の過去画像のうち、所定の日時（例えば、現在の日時の１日前、１週間前、１ヶ月前及び１年前など）に撮像された過去画像のみを選択的に取得してもよい。過去画像取得部１６０は、このように取得される過去画像を表示制御部１７０へ出力する。
【００３２】
なお、過去画像取得部１６０は、被写体を過去に撮像した過去画像を取得する代わりに、過去に記憶され又は事後的に指定される被写体の過去の属性と現在の入力画像とに基づいて、被写体の推定される過去の外観を表す過去画像を動的に生成してもよい。例えば、被写体が人物である場合、その人物の身長及び体重などの体型データ、年齢データ、又は血圧値若しくは疲労度などの健康関連データの現在と過去との差分を用いて、現在の入力画像に映る被写体の外観から過去の被写体の外観が推定され得る。
【００３３】
（５）表示制御部
表示制御部１７０は、後述するモード選択部１９０により選択される表示モードに従って、過去画像取得部１６０により取得される過去画像を入力画像に重畳することにより、出力画像を生成する。そして、表示制御部１７０は、生成した出力画像を表示部１１０のディスプレイ上に表示する。
【００３４】
本実施形態において、過去画像の表示モードは、図５Ａ〜図５Ｃに例示する３つの表示モードＭ１、Ｍ２及びＭ３のいずれかである。第１の表示モードＭ１は、過去画像に映る被写体を入力画像に映る被写体に重ね合わせるモードであり、本明細書ではこれを「オーバラップ（重ね合わせ）」モードという。第２の表示モードＭ２は、過去画像に映る被写体を入力画像に映る被写体に並べて配置するモードであり、本明細書ではこれを「パラレル（並置）」モードという。第３の表示モードＭ３は、過去画像取得部１６０により取得される複数の過去画像の一覧を入力画像に重畳するモードであり、本明細書ではこれを「一覧」モードという。
【００３５】
図５Ａは、表示モードの第１の例であるオーバラップモードについて説明するための説明図である。図５Ａを参照すると、オーバラップモードで表示される出力画像Ｉｍ１１が示されている。出力画像Ｉｍ１１は、２０１１年９月１５日に撮像された入力画像に、過去画像Ｐ０１〜Ｐ０３のうち２０１１年８月１５日に撮像された過去画像Ｐ０２を重畳することにより生成された画像である。入力画像には、ショートヘアの髪型を有するユーザＵａが映っている。過去画像Ｐ０２には、ロングヘアの髪型を有するユーザＵａが映っている。オーバラップモードでは、このように現在及び過去の被写体が重ね合わせて表示されるため、ユーザにとって、被写体の細部の外観上の違いを観察することが容易である。オーバラップモードは、例えば、現在及び過去の被写体の互いに対応する特徴点の位置を出力画像において略一致させることにより実現されてよい。被写体の特徴点の位置は、例えば、人物（あるいは動物）の目、口、肩若しくは腰などの位置であってもよく、又は人物以外の被写体のエッジ上のいずれかの位置であってもよい。
【００３６】
図５Ｂは、表示モードの第２の例であるパラレルモードについて説明するための説明図である。図５Ｂを参照すると、パラレルモードで表示される出力画像Ｉｍ１２が示されている。出力画像Ｉｍ１２もまた、２０１１年９月１５日に撮像された入力画像に、２０１１年８月１５日に撮像された過去画像Ｐ０２を重畳することにより生成された画像である。パラレルモードでは、図５Ｂに示したように現在及び過去の被写体が出力画像内で並列的に配置されるため、ユーザが、表示された２つの被写体を比較しながら、各被写体をより明瞭に視認することができる。パラレルモードは、例えば、現在及び過去の被写体の注目部分（例えば、人物の顔など）が重ならないようにこれら被写体を互いに間隔を空けて配置することにより実現されてよい。過去画像の被写体は、フレームからフレームにわたり上記間隔を維持しながら現在の被写体に追従するように移動されてもよく、又は一度表示された後で現在の被写体に追従しなくてもよい。
【００３７】
図５Ｃは、表示モードの第３の例である一覧モードについて説明するための説明図である。図５Ｃを参照すると、一覧モードで表示される出力画像Ｉｍ１３が示されている。出力画像Ｉｍ１３の下部には、縮小された過去画像Ｐ０１〜Ｐ０３が一覧化されている。一覧モードにおいて、表示制御部１７０は、ユーザＵａの動きに応じて過去画像の一覧をスクロールしてもよい。例えば、表示制御部１７０は、ユーザＵａの左方向への移動に応じて過去画像の一覧を右方向へスクロールし、過去画像Ｐ０１よりも古い過去画像を新たに表示し得る。同様に、表示制御部１７０は、ユーザＵａの右方向への移動に応じて過去画像の一覧を左方向へスクロールし得る。過去画像の一覧のスクロール量は、被写体の速度に応じて動的に変更されてもよい。なお、過去画像の一覧は、図示された例に限定されず、出力画像内のいずれの位置に重畳されてもよい。
【００３８】
表示制御部１７０は、選択されるモードに応じて、表示される過去画像の透明度を変化させてもよい。例えば、オーバラップモードでは、重なり合う被写体の双方が十分に視認可能となるように、重畳される過去画像の透明度は相対的に高く設定され得る。パラレルモードでは、過去画像は入力画像において被写体が映っていない領域に重畳されるため、過去画像の透明度は相対的に低く設定されてよい。一覧モードでは、過去画像の透明度は中間的な値に設定されてよい。
【００３９】
また、表示制御部１７０は、オーバラップモード及びパラレルモードにおいて、入力画像に映る被写体のサイズ、明るさ又は色合いに応じて、表示される過去画像の被写体のサイズ、明るさ又は色合いをそれぞれ変化させてもよい。例えば、入力画像に映る被写体のサイズが過去画像に映る被写体のサイズよりも大きい場合には、過去画像はサイズの比に応じて拡大され得る。入力画像において被写体が過去画像よりも明るく映っている場合には、過去画像の被写体がより明るくなるように過去画像の輝度が調整され得る。それにより、変動する撮像条件の影響を排除して被写体をより適切に比較することが可能となる。
【００４０】
本実施形態において、表示モードの切り替えは、入力画像に映る被写体の動きに応じて行われ得る。図６は、表示モードの切り替えのための動きの例について説明するための説明図である。図６を参照すると、３つの表示モードの各ペアの間の切り替えのトリガとなり得る被写体の動きの例が記載されている。例えば、一覧モード又はパラレルモードからオーバラップモードへの切り替えのトリガは、表示されているいずれかの過去画像に被写体が近付く動き、又は表示されているいずれかの過去画像を被写体が引き寄せる動きであってよい。オーバラップモードからパラレルモードへの切り替えのトリガは、重ね合わされた過去画像を振り払うような、所定の速さを超える被写体の動き（例えば、体又は頭を揺らす動きなど）であってよい。一覧モードからパラレルモードへの切り替えのトリガは、表示されているいずれかの過去画像を被写体の存在しない領域へ運ぶような動きであってよい。オーバラップモード又はパラレルモードから一覧モードへの切り替えのトリガは、画面の端部への被写体の移動であってよい。これら被写体の動きは、次に説明する動き検出部１８０により検出される。
【００４１】
なお、図６に示した表示モードの切り替えのための動きは一例に過ぎない。即ち、表示モードの切り替えは、被写体の他の種類の動きをトリガとして行われてもよい。また、入力部１０６を介して検出されるユーザ入力（例えば、タッチ、クリック又は所定のボタンの押下など）が、表示モードの切り替えのための操作として補完的に採用されてもよい。
【００４２】
（６）動き検出部
動き検出部１８０は、入力画像取得部１２０から入力される入力画像に映る被写体の動きを検出する。動き検出部１８０は、例えば、背景差分抽出又は肌色領域抽出などの公知の手法に従って、入力画像に映る被写体領域を抽出する。次に、動き検出部１８０は、一連の入力画像から抽出される被写体領域の動きが表示モードの切り替えのトリガとして定義されたいずれかの動きに合致するかを判定する。そして、動き検出部１８０は、表示モードの切り替えのトリガとして定義された動きを検出すると、検出した動きの種別、及び（必要に応じて）その動きにより指定された過去画像の識別子とを、モード選択部１９０へ出力する。以下、図７Ａ〜図７Ｄを用いて、表示モードの切り替えの例示的な４つのシナリオについて説明する。
【００４３】
図７Ａは、表示モードの切り替えの第１のシナリオについて説明するための説明図である。図７Ａに例示した出力画像Ｉｍ２１には、ユーザＵｂが映っており、さらに出力画像Ｉｍ２１の下部に過去画像Ｐ１１〜Ｐ１３が一覧モードで表示されている。出力画像Ｉｍ２２において、ユーザＵｂは、自身の頭部を過去画像Ｐ１２に近付けている。動き検出部１８０は、このようなユーザＵｂの動きを、オーバラップモードへの切り替えのトリガとして検出し得る。
【００４４】
図７Ｂは、表示モードの切り替えの第２のシナリオについて説明するための説明図である。図７Ｂに例示した出力画像Ｉｍ３１には、ユーザＵｂが映っており、さらにユーザＵｂの近傍に過去画像Ｐ１２がパラレルモードで表示されている。出力画像Ｉｍ３２において、ユーザＵｂは、自身の手を使って過去画像Ｐ１２を自身に引き寄せる動きをしている。動き検出部１８０は、このようなユーザＵｂの動きを、オーバラップモードへの切り替えのトリガとして検出し得る。
【００４５】
図７Ｃは、表示モードの切り替えの第３のシナリオについて説明するための説明図である。図７Ｃに例示した出力画像Ｉｍ４１には、ユーザＵｂが映っており、さらにユーザＵｂに重ね合わせて過去画像Ｐ１２がオーバラップモードで表示されている。出力画像Ｉｍ４２において、ユーザＵｂは、頭を揺り動かす動きをしている。動き検出部１８０は、このようなユーザＵｂの動きを、オーバラップモードからパラレルモードへの切り替えのトリガとして検出し得る。
【００４６】
図７Ｄは、表示モードの切り替えの第４のシナリオについて説明するための説明図である。図７Ｄに例示した出力画像Ｉｍ５１には、ユーザＵｂが映っており、さらにユーザＵｂに重ね合わせて過去画像Ｐ１２がオーバラップモードで表示されている。出力画像Ｉｍ５２において、ユーザＵｂは、画面の端部へ移動している。動き検出部１８０は、このようなユーザＵｂの動きを、一覧モードへの切り替えのトリガとして検出し得る。
【００４７】
（７）モード選択部
モード選択部１９０は、入力画像を用いて動き検出部１８０により検出される被写体の動きに応じて、上述した３つの表示モードを含む複数の表示モードから表示モードを選択する。例えば、モード選択部１９０は、図７Ａに示したように、一覧モード又はパラレルモードで表示されているいずれかの過去画像に被写体が近付く動きが検出された場合に、オーバラップモードを選択し得る。また、モード選択部１９０は、図７Ｂに示したように、一覧モード又はパラレルモードで表示されている過去画像を被写体であるユーザが引き寄せる動きが検出された場合に、オーバラップモードを選択し得る。また、モード選択部１９０は、図７Ｃに示したように、オーバラップモードで過去画像が表示されている場合において、所定の速さを超える被写体の動きが検出された場合に、パラレルモードを選択し得る。また、モード選択部１９０は、図７Ｄに示したように、オーバラップモード又はパラレルモードで過去画像が表示されている場合において被写体が画面の端部へ移動したことが検出された場合に、一覧モードを選択し得る。モード選択部１９０は、このように選択される表示モードの識別子を、表示制御部１７０へ出力する。そして、表示制御部１７０は、モード選択部１９０により選択されたモードに従って、指定された過去画像又は過去画像の一覧を入力画像に重畳する。
【００４８】
なお、表示制御部１７０は、オーバラップモードにおいて、入力画像に重畳される過去画像を、入力画像内の被写体の位置に応じて変化させてもよい。即ち、表示制御部１７０は、オーバラップモードが選択されている場合に、入力画像内の被写体の位置に応じて異なる時間に撮像された過去画像を、入力画像に重畳してよい。例えば、入力画像内の水平方向の被写体位置が、過去画像の撮像日時に対応付けられ得る。
【００４９】
図８は、被写体位置と過去画像の撮像日時との対応付けの一例について説明するための説明図である。図８の下部には、入力画像Ｉｍ６内の水平方向の被写体位置を示す座標軸が示されている。かかる座標軸は、過去画像の撮像日時の時間軸に対応付けられる。例えば、入力画像Ｉｍ６内で被写体が位置Ｈ１に位置する場合にはより古い過去画像Ｐ１１が入力画像Ｉｍ６に重畳され、被写体が位置Ｈ２に位置する場合にはより新しい過去画像Ｐ１２が入力画像Ｉｍ６に重畳され得る。このような被写体位置と過去画像の撮像日時との対応付けにより、ユーザは、左右に移動するだけで過去画像を自在に変更し、様々な時点の過去画像を現在の自身の画像と比較することができる。
【００５０】
＜３．処理の流れ＞
図９は、本実施形態に係る画像処理装置１００による表示制御処理の流れの一例を示すフローチャートである。
【００５１】
図９を参照すると、まず、入力画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ１０２）。その後のステップＳ１０６〜Ｓ１１０の処理は、過去画像取得部１６０により過去画像が既に取得されている場合にはスキップされ得る（ステップＳ１０４）。
【００５２】
過去画像が未だ取得されていない場合には、識別部１３０は、入力画像取得部１２０から入力される入力画像に映る被写体を識別する（ステップＳ１０６）。次に、過去画像取得部１６０は、識別部１３０により識別された被写体を過去に撮像した過去画像を画像ＤＢ１５０から取得する（ステップＳ１０８）。モード選択部１９０は、初期状態において、予め設定される既定の表示モード（例えば、一覧モード）を選択する（ステップＳ１１０）。
【００５３】
次に、動き検出部１８０は、入力画像取得部１２０により取得された入力画像に映る被写体の動きを検出する（ステップＳ１１２）。次に、モード選択部１９０は、表示モードの切り替えに対応する動きが動き検出部１８０により検出されたか否かを判定する（ステップＳ１１４）。表示モードの切り替えに対応する動きが検出された場合には、モード選択部１９０は、切り替え後の表示モードを選択する（ステップＳ１１６）。そして、表示制御部１７０は、モード選択部１９０により選択されたモードに従って、図１０に例示する過去画像重畳処理を実行する（ステップＳ１２０）。
【００５４】
図１０は、図９のステップＳ１２０の過去画像重畳処理の詳細な流れの一例を示すフローチャートである。
【００５５】
図１０に示した処理は、現在選択されている表示モードに応じて分岐する。例えば、オーバラップモードが選択されている場合には、処理はステップＳ１２６へ進む（ステップＳ１２２）。パラレルモードが選択されている場合には、処理はステップＳ１３２へ進む（ステップＳ１２４）。一覧モードが選択されている場合には、処理はステップＳ１３８へ進む。
【００５６】
オーバラップモードが選択されている場合、表示制御部１７０は、まず、表示すべき過去画像を特定する（ステップＳ１２６）。ここで特定される過去画像は、例えば、図７Ａ若しくは図７Ｂに例示したような被写体の動きによって指定された過去画像であってもよい。その代わりに、図８の例のように、入力画像内の被写体位置に応じて決定される日時に撮像された過去画像が、表示すべき過去画像として特定されてもよい。次に、表示制御部１７０は、特定した過去画像の表示属性を調整する（ステップＳ１２８）。例えば、表示制御部１７０は、重なり合う被写体の双方が十分に視認可能となるように、過去画像の透明度を高めてもよい。また、表示制御部１７０は、入力画像に映る被写体のサイズ、明るさ又は色合いに応じて、表示される過去画像の被写体のサイズ、明るさ又は色合いをそれぞれ変化させてもよい。そして、表示制御部１７０は、入力画像及び過去画像に映る被写体が重なり合うように、表示属性の調整された過去画像を入力画像に重畳する（ステップＳ１３０）。
【００５７】
パラレルモードが選択されている場合、表示制御部１７０は、まず、表示すべき過去画像を特定する（ステップＳ１３２）。ここで特定される過去画像は、オーバラップモードの場合と同様、例えば被写体の動きによって指定された過去画像であってよい。次に、表示制御部１７０は、特定した過去画像の表示属性を調整する（ステップＳ１３４）。例えば、表示制御部１７０は、オーバラップモードの場合と比較して過去画像の透明度をより低く設定し得る。また、表示制御部１７０は、入力画像に映る被写体のサイズ、明るさ又は色合いに応じて、表示される過去画像の被写体のサイズ、明るさ又は色合いをそれぞれ変化させてもよい。そして、表示制御部１７０は、入力画像及び過去画像に映る被写体が並列的に配置されるように、表示属性の調整された過去画像を入力画像に重畳する（ステップＳ１３６）。
【００５８】
一覧モードが選択されている場合、表示制御部１７０は、まず、一覧化される複数の過去画像の表示属性を調整する（ステップＳ１３８）。例えば、表示制御部１７０は、各過去画像のサイズを縮小してもよい。そして、表示制御部１７０は、複数の過去画像を撮像日時の順に一覧化して入力画像に重畳する（ステップＳ１４０）。
【００５９】
＜４．応用例＞
上述した画像処理装置１００は、現在画像と過去画像とを比較するための表示モードを切り替えるための、簡単かつ柔軟なユーザインタフェースをユーザに提供する。上述した例では、主に画像処理装置１００のユーザ自身の画像が比較の対象であったが、画像処理装置１００の構成は、他の被写体が比較の対象となる場合にも適用可能である。そこで、本節では、図１１〜図１３を用いてそのような応用例について説明する。
【００６０】
図１１は、一応用例の概要について説明するための説明図である。図１１を参照すると、ユーザＵｃが有する画像処理装置１００が示されている。画像処理装置１００は、撮像装置である。画像処理装置１００は、例えば、デジタルカメラ又はカメラモジュールを有するスマートフォンなどであってよい。画像処理装置１００の入力部１０６は、図１１に示したボタン１０６ａ及び１０６ｂを含む。ボタン１０６ａは、レリーズボタン１０６ａであり、ユーザによる撮像操作を受け付ける。ボタン１０６ｂは、後に説明するように、ユーザによる表示モードの操作のために利用され得る。図１１の例において、画像処理装置１００の撮像部１０２のレンズは、被写体Ｂ１に向けられている。被写体Ｂ１の奥には背景が存在する。
【００６１】
本応用例においても、過去画像の表示モードは、オーバラップモード、パラレルモード及び一覧モードを含み得る。さらに、過去画像が入力画像に重畳されず、入力画像がそのままディスプレイ上に表示される通常モードも存在し得る。
【００６２】
図１２Ａは、本応用例におけるオーバラップモードについて説明するための説明図である。図１２Ａを参照すると、オーバラップモードで表示される出力画像Ｉｍ７が示されている。出力画像Ｉｍ７は、２０１１年９月１５日に撮像された入力画像に、過去画像Ｐ２１〜Ｐ２３のうち２０１１年６月１５日に撮像された過去画像Ｐ２１を重畳することにより生成された画像である。過去画像Ｐ２１には、３ヶ月前の被写体Ｂ１が映っている。入力画像には、より成長した被写体Ｂ１が映っている。オーバラップモードにおいて、これら２つの被写体は重ね合わせて表示されている。
【００６３】
図１２Ｂは、本応用例におけるパラレルモードについて説明するための説明図である。図１２Ｂを参照すると、パラレルモードで表示される出力画像Ｉｍ８が示されている。出力画像Ｉｍ８もまた、図１２Ａと同様の入力画像に過去画像Ｐ２１を重畳することにより生成された画像である。但し、パラレルモードにおいて、入力画像及び過去画像Ｐ２１にそれぞれ映る被写体は、重ね合わされる代わりに、並べて配置されている。このようなパラレルモードは、オーバラップモードに従って過去画像が表示されている場合において、ユーザが画角を変化させた際に選択され得る。
【００６４】
図１２Ｃは、本応用例における一覧モードについて説明するための説明図である。図１２Ｃを参照すると、一覧モードで表示される出力画像Ｉｍ９１が示されている。出力画像Ｉｍ９１は、やや縮小された入力画像Ｉｍ９２と過去画像Ｐ２１〜Ｐ２３の一覧とを含む。本応用例において、一覧モードは、入力画像に重畳すべき過去画像をユーザに指定させるための指定画面を提供するモードとして用いられてもよい。
【００６５】
図１３は、本応用例における表示モードの切り替えのための操作の例について説明するための説明図である。図１３には、オーバラップモード、パラレルモード及び一覧モードに加えて通常モードを含む４つの表示モードの間の遷移が例示されている。このうち、例えば、既定の表示モードは、入力画像がそのままディスプレイ上に表示される通常モードである。通常モードにおいて、入力部１０６を介する所定のユーザ入力が検出されると、表示モードは一覧モードに切り替わる。一覧モードにおいて、いずれかの過去画像が指定されると、モード選択部１９０は、指定された過去画像の背景が入力画像の背景に適合する位置を探索する。そして、モード選択部１９０は、背景が適合する位置を発見できた場合に、オーバラップモードを選択する。その後、ユーザが画角を変化させることにより入力画像内で被写体が移動すると、モード選択部１９０は、パラレルモードを選択する。なお、パラレルモードにおいて過去画像が重畳される入力画像内の位置は、オーバラップモードにおいて当該過去画像が重畳されていた位置から変化しない。オーバラップモード又はパラレルモードが選択されている状態において、入力部１０６を介する所定のユーザ入力が検出されると、表示モードは通常モードに切り替わる。
【００６６】
図１３の例において、オーバラップモードへの切り替えは、図１１に例示したボタン１０６ｂのような所定のボタンの押下をトリガとして行われてもよい。その場合には、モード選択部１９０は、ボタン１０６ｂの押下に応じて過去画像と入力画像との照合を実行し、オーバラップモードを選択し得る。さらに、ユーザがボタン１０６ｂを押下したままで画角を変化させた場合に、モード選択部１９０は、パラレルモードを選択してもよい。一方、ボタン１０６ｂが解放されると、表示モードは通常モードに戻る。
【００６７】
なお、本応用例のように画像処理装置１００が撮像機能を有するケースでは、オーバラップモード又はパラレルモードに従って過去画像が表示されている状態において撮像操作が受け付けられた場合に、入力画像に過去画像が重畳された画像が撮像画像として取得され記憶されてもよい。それにより、ユーザは、記憶された画像を参照することで、事後的に２つの被写体を比較することが可能となる。
【００６８】
＜５．まとめ＞
ここまで、図１〜図１３を用いて、一実施形態に係る画像処理装置１００及びその応用例について詳細に説明した。上述した実施形態によれば、被写体を重ね合わせるオーバラップモード及び被写体を並置するパラレルモードを含む複数の過去画像の表示モードの間の切り替えが、入力画像を用いて行われる。従って、ユーザは、比較される２つの画像の表示形態を簡単かつ柔軟に切り替えることができる。表示モードの選択は、入力画像に映る被写体の動きに応じて行われ得る。即ち、比較の対象である被写体の動き自体が表示モードの切り替えのトリガとなる。従って、ユーザは、被写体に関連しない入力手段に注意を奪われることなく表示形態を切り替えることができる。
【００６９】
例えば、オーバラップモードへの切り替えのトリガは、いずれかの過去画像に被写体が近付く動き、又はいずれかの過去画像を被写体が引き寄せる動きの検出であってよい。また、オーバラップモードからパラレルモードへの切り替えのトリガは、重ね合わされた過去画像を振り払うような動きの検出であってよい。これら動きは、ユーザにとって直感的であって憶え易い。従って、かかる構成によれば、表示モードの切り替えのためのユーザインタフェースのユーザビリティを一層高めることができる。
【００７０】
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【００７１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力画像を取得する入力画像取得部と、
前記入力画像に映る被写体の過去画像を取得する過去画像取得部と、
前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択するモード選択部と、
前記モード選択部により選択されたモードに従って、前記過去画像を前記入力画像に重畳する表示制御部と、
を備える画像処理装置。
（２）
前記モード選択部は、前記入力画像に映る被写体の動きに応じていずれかのモードを選択する、前記（１）に記載の画像処理装置。
（３）
前記モード選択部は、前記第１のモードとは異なるモードに従って表示されている前記過去画像に前記被写体が近付く動きが検出された場合に、前記第１のモードを選択する、前記（２）に記載の画像処理装置。
（４）
前記被写体は、前記画像処理装置のユーザであり、
前記モード選択部は、前記第１のモードとは異なるモードに従って表示されている前記過去画像を前記ユーザが引き寄せる動きが検出された場合に、前記第１のモードを選択する、
前記（２）に記載の画像処理装置。
（５）
前記モード選択部は、前記第１のモードに従って前記過去画像が表示されている場合において所定の速さを超える前記被写体の動きが検出された場合に、前記第２のモードを選択する、前記（２）に記載の画像処理装置。
（６）
前記過去画像取得部は、撮像された時間の互いに異なる複数の前記過去画像を取得し、
前記表示制御部は、前記第１のモードが選択されている場合に、前記入力画像内の被写体の位置に応じて異なる時間に撮像された前記過去画像を前記入力画像に重畳する、
前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記過去画像取得部は、撮像された時間の互いに異なる複数の前記過去画像を取得し、
前記複数のモードは、前記過去画像取得部により取得される複数の前記過去画像の一覧を前記入力画像に重畳する第３のモードをさらに含む、
前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記モード選択部は、前記第１のモード又は前記第２のモードに従って前記過去画像が表示されている場合において前記被写体が画面の端部へ移動したことが検出された場合に、前記第３のモードを選択する、前記（７）に記載の画像処理装置。
（９）
前記モード選択部は、前記第１のモードに従って前記過去画像が表示されている状態から画角が変化することにより前記被写体が移動した場合に、前記第２のモードを選択する、前記（２）に記載の画像処理装置。
（１０）
前記表示制御部は、前記モード選択部により選択されるモードに応じて、表示される前記過去画像の透明度を変化させる、前記（１）〜（９）のいずれか１項に記載の画像処理装置。
（１１）
前記表示制御部は、前記入力画像に映る被写体のサイズ、明るさ又は色合いに応じて、表示される前記過去画像の被写体のサイズ、明るさ又は色合いをそれぞれ変化させる、前記（１）〜（１０）のいずれか１項に記載の画像処理装置。
（１２）
前記画像処理装置は、前記入力画像を撮像する撮像部と、ユーザによる撮像操作を受け付ける入力部と、を備える撮像装置であり、
前記第１のモード又は前記第２のモードに従って前記過去画像が表示されている状態において前記撮像操作が受け付けられた場合には、前記入力画像に前記過去画像が重畳された画像が撮像画像として取得される、
前記（１）〜（１１）のいずれか１項に記載の画像処理装置。
（１３）
画像処理装置において画像の表示を制御するための表示制御方法であって、
入力画像を取得することと、
前記入力画像に映る被写体の過去画像を取得することと、
前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択することと、
選択されたモードに従って、前記過去画像を前記入力画像に重畳することと、
を含む表示制御方法。
（１４）
画像処理装置を制御するコンピュータを、
入力画像を取得する入力画像取得部と、
前記入力画像に映る被写体の過去画像を取得する過去画像取得部と、
前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択するモード選択部と、
前記モード選択部により選択されたモードに従って、前記過去画像を前記入力画像に重畳する表示制御部と、
として機能させるためのプログラム。
【符号の説明】
【００７３】
１００ 画像処理装置
１２０ 入力画像取得部
１６０ 過去画像取得部
１７０ 表示制御部
１９０ モード選択部
【特許請求の範囲】
【請求項１】
入力画像を取得する入力画像取得部と、
前記入力画像に映る被写体の過去画像を取得する過去画像取得部と、
前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択するモード選択部と、
前記モード選択部により選択されたモードに従って、前記過去画像を前記入力画像に重畳する表示制御部と、
を備える画像処理装置。
【請求項２】
前記モード選択部は、前記入力画像に映る被写体の動きに応じていずれかのモードを選択する、請求項１に記載の画像処理装置。
【請求項３】
前記モード選択部は、前記第１のモードとは異なるモードに従って表示されている前記過去画像に前記被写体が近付く動きが検出された場合に、前記第１のモードを選択する、請求項２に記載の画像処理装置。
【請求項４】
前記被写体は、前記画像処理装置のユーザであり、
前記モード選択部は、前記第１のモードとは異なるモードに従って表示されている前記過去画像を前記ユーザが引き寄せる動きが検出された場合に、前記第１のモードを選択する、
請求項２に記載の画像処理装置。
【請求項５】
前記モード選択部は、前記第１のモードに従って前記過去画像が表示されている場合において所定の速さを超える前記被写体の動きが検出された場合に、前記第２のモードを選択する、請求項２に記載の画像処理装置。
【請求項６】
前記過去画像取得部は、撮像された時間の互いに異なる複数の前記過去画像を取得し、
前記表示制御部は、前記第１のモードが選択されている場合に、前記入力画像内の被写体の位置に応じて異なる時間に撮像された前記過去画像を前記入力画像に重畳する、
請求項１に記載の画像処理装置。
【請求項７】
前記過去画像取得部は、撮像された時間の互いに異なる複数の前記過去画像を取得し、
前記複数のモードは、前記過去画像取得部により取得される複数の前記過去画像の一覧を前記入力画像に重畳する第３のモードをさらに含む、
請求項１に記載の画像処理装置。
【請求項８】
前記モード選択部は、前記第１のモード又は前記第２のモードに従って前記過去画像が表示されている場合において前記被写体が画面の端部へ移動したことが検出された場合に、前記第３のモードを選択する、請求項７に記載の画像処理装置。
【請求項９】
前記モード選択部は、前記第１のモードに従って前記過去画像が表示されている状態から画角が変化することにより前記被写体が移動した場合に、前記第２のモードを選択する、請求項２に記載の画像処理装置。
【請求項１０】
前記表示制御部は、前記モード選択部により選択されるモードに応じて、表示される前記過去画像の透明度を変化させる、請求項１に記載の画像処理装置。
【請求項１１】
前記表示制御部は、前記入力画像に映る被写体のサイズ、明るさ又は色合いに応じて、表示される前記過去画像の被写体のサイズ、明るさ又は色合いをそれぞれ変化させる、請求項１に記載の画像処理装置。
【請求項１２】
前記画像処理装置は、前記入力画像を撮像する撮像部と、ユーザによる撮像操作を受け付ける入力部と、を備える撮像装置であり、
前記第１のモード又は前記第２のモードに従って前記過去画像が表示されている状態において前記撮像操作が受け付けられた場合には、前記入力画像に前記過去画像が重畳された画像が撮像画像として取得される、
請求項１に記載の画像処理装置。
【請求項１３】
画像処理装置において画像の表示を制御するための表示制御方法であって、
入力画像を取得することと、
前記入力画像に映る被写体の過去画像を取得することと、
前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択することと、
選択されたモードに従って、前記過去画像を前記入力画像に重畳することと、
を含む表示制御方法。
【請求項１４】
画像処理装置を制御するコンピュータを、
入力画像を取得する入力画像取得部と、
前記入力画像に映る被写体の過去画像を取得する過去画像取得部と、
前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択するモード選択部と、
前記モード選択部により選択されたモードに従って、前記過去画像を前記入力画像に重畳する表示制御部と、
として機能させるためのプログラム。
【請求項１】
入力画像を取得する入力画像取得部と、
前記入力画像に映る被写体の過去画像を取得する過去画像取得部と、
前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択するモード選択部と、
前記モード選択部により選択されたモードに従って、前記過去画像を前記入力画像に重畳する表示制御部と、
を備える画像処理装置。
【請求項２】
前記モード選択部は、前記入力画像に映る被写体の動きに応じていずれかのモードを選択する、請求項１に記載の画像処理装置。
【請求項３】
前記モード選択部は、前記第１のモードとは異なるモードに従って表示されている前記過去画像に前記被写体が近付く動きが検出された場合に、前記第１のモードを選択する、請求項２に記載の画像処理装置。
【請求項４】
前記被写体は、前記画像処理装置のユーザであり、
前記モード選択部は、前記第１のモードとは異なるモードに従って表示されている前記過去画像を前記ユーザが引き寄せる動きが検出された場合に、前記第１のモードを選択する、
請求項２に記載の画像処理装置。
【請求項５】
前記モード選択部は、前記第１のモードに従って前記過去画像が表示されている場合において所定の速さを超える前記被写体の動きが検出された場合に、前記第２のモードを選択する、請求項２に記載の画像処理装置。
【請求項６】
前記過去画像取得部は、撮像された時間の互いに異なる複数の前記過去画像を取得し、
前記表示制御部は、前記第１のモードが選択されている場合に、前記入力画像内の被写体の位置に応じて異なる時間に撮像された前記過去画像を前記入力画像に重畳する、
請求項１に記載の画像処理装置。
【請求項７】
前記過去画像取得部は、撮像された時間の互いに異なる複数の前記過去画像を取得し、
前記複数のモードは、前記過去画像取得部により取得される複数の前記過去画像の一覧を前記入力画像に重畳する第３のモードをさらに含む、
請求項１に記載の画像処理装置。
【請求項８】
前記モード選択部は、前記第１のモード又は前記第２のモードに従って前記過去画像が表示されている場合において前記被写体が画面の端部へ移動したことが検出された場合に、前記第３のモードを選択する、請求項７に記載の画像処理装置。
【請求項９】
前記モード選択部は、前記第１のモードに従って前記過去画像が表示されている状態から画角が変化することにより前記被写体が移動した場合に、前記第２のモードを選択する、請求項２に記載の画像処理装置。
【請求項１０】
前記表示制御部は、前記モード選択部により選択されるモードに応じて、表示される前記過去画像の透明度を変化させる、請求項１に記載の画像処理装置。
【請求項１１】
前記表示制御部は、前記入力画像に映る被写体のサイズ、明るさ又は色合いに応じて、表示される前記過去画像の被写体のサイズ、明るさ又は色合いをそれぞれ変化させる、請求項１に記載の画像処理装置。
【請求項１２】
前記画像処理装置は、前記入力画像を撮像する撮像部と、ユーザによる撮像操作を受け付ける入力部と、を備える撮像装置であり、
前記第１のモード又は前記第２のモードに従って前記過去画像が表示されている状態において前記撮像操作が受け付けられた場合には、前記入力画像に前記過去画像が重畳された画像が撮像画像として取得される、
請求項１に記載の画像処理装置。
【請求項１３】
画像処理装置において画像の表示を制御するための表示制御方法であって、
入力画像を取得することと、
前記入力画像に映る被写体の過去画像を取得することと、
前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択することと、
選択されたモードに従って、前記過去画像を前記入力画像に重畳することと、
を含む表示制御方法。
【請求項１４】
画像処理装置を制御するコンピュータを、
入力画像を取得する入力画像取得部と、
前記入力画像に映る被写体の過去画像を取得する過去画像取得部と、
前記過去画像に映る被写体を前記入力画像に映る被写体に重ね合わせる第１のモード及び前記過去画像に映る被写体を前記入力画像に映る被写体に並置する第２のモードを含む複数のモードから、前記入力画像を用いていずれかのモードを選択するモード選択部と、
前記モード選択部により選択されたモードに従って、前記過去画像を前記入力画像に重畳する表示制御部と、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図８】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１３】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図８】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１３】
【公開番号】特開２０１３−１０１２４２（Ｐ２０１３−１０１２４２Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４５３０１（Ｐ２０１１−２４５３０１）
【出願日】平成２３年１１月９日（２０１１．１１．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月９日（２０１１．１１．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]