説明

携帯通信装置及び合成画像生成プログラム

【課題】特定の瞬間における広い範囲の画像を容易に取得することができる携帯通信装置及び合成画像生成プログラムを提供する。
【解決手段】撮影部101は、第1カメラから第1画像を取り込む。撮影部202は、第2カメラから第2画像を取り込む。判定部107は、第1画像及び第2画像の双方に指定された基準画像が映っているか否かを判定する。画像取得部108は、判定部107により双方の画像に基準画像が映っていると判定された場合、撮影部101及び撮影部202により取り込まれた画像を対応付けて記録する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、携帯通信装置及び合成画像生成プログラムに関する。
【背景技術】
【0002】
近年、カメラが搭載された携帯通信装置の利用が増えてきている。このような、携帯通信装置には、例えば、携帯電話などがある。また、携帯通信装置として、例えば、2つの筐体に分離することができる分離型の携帯通信装置といった、様々な形態を有する装置が提案されている。
【0003】
そして、携帯通信装置に搭載されたカメラは、その携帯性からあらゆる場所で使用されるようになってきている。そのため、携帯通信装置に搭載されたカメラは、用途に合わせた撮影を行うことが求められてきている。このため、携帯通信装置に搭載されたカメラを用いて広い範囲を撮影し、パノラマ写真のような広い範囲を収めた写真を取得する要求も増加してきている。
【0004】
従来、1つのカメラで撮影した2枚の画像から1つの画像を生成する方法として、撮影済みの画像の一部を画面に表示した状態で、後から撮影する画像における重複する映像を確認しながら撮影し、2つの画像を合成する技術が提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−312549号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、撮影済みの画像の一部を確認しながら後の画像を撮影して1つの画像を生成する技術では、それぞれの画像を撮影するタイミングが異なる。例えば、この従来技術では、集合写真のように各タイミングで顔の表情が異なる場合、前に撮影した画像に写っている人の表情と後に撮影した画像に写っている人の表情は、異なるタイミングでの表情である。そのため、これらの画像を合成しても単に異なる写真を張り合わせたものと大差が無いといえる。すなわち、この従来技術では、広い範囲の瞬間の画像を撮影することが困難である。また、この従来技術を用いた場合にも、カメラを2つ並べて同時にシャッターを押すことも考えられるが、目視で重複部分を確認しながら双方の画像の一部が重なるようにカメラの位置を変更し、同時にシャッターを押すことは困難であった。
【0007】
開示の技術は、上記に鑑みてなされたものであって、特定の瞬間における広い範囲の画像を容易に取得することができる携帯通信装置及び合成画像生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本願の開示する携帯通信装置及び合成画像生成プログラムは、一つの態様において、第1撮影部は、第1カメラから第1画像を取り込む。第2撮影部は、第2カメラから第2画像を取り込む。判定部は、前記第1画像及び前記第2画像の双方に指定された基準画像が映っているか否かを判定する。画像取得部は、前記判定部により双方の画像に前記基準画像が映っていると判定された場合、前記第1撮影部及び前記第2撮影部により取り込まれた画像を対応付けて記録する。
【発明の効果】
【0009】
本願の開示する携帯通信装置及び合成画像生成プログラムの一つの態様によれば、特定の瞬間における広い範囲の画像を容易に取得することができるという効果を奏する。
【図面の簡単な説明】
【0010】
【図1】図1は、実施例1及び実施例2に係る携帯電話のブロック図である。
【図2−1】図2−1は、携帯電話の筐体を2つに分離した状態を説明するための平面図である。
【図2−2】図2−2は、2つに分離した状態の親機の表側の平面図である。
【図3】図3は、顔認証テーブルの一例を表す図である。
【図4】図4は、実施例1に係る携帯電話の写真撮影時の動作を説明するための図である。
【図5】図5は、実施例1に係る携帯電話における基準顔の選択処理のフローチャートである。
【図6】図6は、実施例1に係る携帯電話による広範囲の写真撮影の処理のフローチャートである。
【図7】図7は、分割領域の一例を説明する図である。
【図8】図8は、矢印の誘導に基づく撮影条件を満たすカメラの向きの調整を説明するための図である。
【図9】図9は、実施例2に係る携帯電話による広範囲の写真撮影の処理のフローチャートである。
【図10】図10は、携帯電話のハードウェア構成図である。
【発明を実施するための形態】
【0011】
以下に、本願の開示する携帯通信装置及び合成画像生成プログラムの実施例を図面に基づいて詳細に説明する。なお、以下の実施例により本願の開示する携帯通信装置及び合成画像生成プログラムが限定されるものではない。例えば、以下の実施形態では、携帯通信装置の一例として携帯電話を例に説明するが、この携帯通信装置は、2つのカメラが搭載された装置であればよく、PDA(Personal Digital Assistant)などでもよい。
【実施例1】
【0012】
図1は、実施例1及び実施例2に係る携帯電話のブロック図である。図1に示すように、本実施例に係る携帯電話は、親機1及び子機2を有している。
【0013】
ここで、図2−1及び図2−2を参照して、本実施例に係る携帯電話の分離した状態の一例を説明する。図2−1は、携帯電話の筐体を2つに分離した状態を説明するための平面図である。図2−1の紙面に向かって左側の筐体は親機1を表している。また、図2−1の紙面に向かって右側の筐体は子機2を表している。また、図2−2は、2つに分離した状態の親機の表側の平面図である。
【0014】
本実施例に係る携帯電話は、図2−1のように親機1と子機2という2つの筐体を有する。そして、親機1と子機2とは組み合わせることで、1つの筐体を形成することができる。ここで、図2−1の親機1は、親機1の裏側、すなわち、子機2と組み合わせて1つの筐体としたときに子機2に対向する面を表している。また、図2−1の子機2は、子機2の裏面、すなわち、親機1と組み合わせて1つの筐体としたときに親機1に対向する面を表している。そして、図2−1の親機1を裏返すと、図2−2のようになる。図2−2の親機1は、親機1の表側、すなわち、子機2と組み合わせて1つの筐体としたときに子機2とは反対の面を表している。図2−1に示すように、親機1には、カメラ1003が設けられており、子機2には、カメラ2003が設けられている。そして、カメラ1003及びカメラ2003で取り込まれた映像は、図2−2のように親機1の表側に有るモニタに表示される。なお、図2−1及び図2−2に示した構成は一例であって、双方の筐体にカメラを備える分離型の携帯通信装置であればどのような構成であっても構わない。
【0015】
図1に戻って、親機1は、撮影部101、基準顔認識部102、マーク付加部103、表示制御部104、入力制御部105、映像受信部106、判定部107、画像取得部108、合成部109、記憶部110及び電話帳記憶部111を有している。そして、親機1は、基準顔選択モード及び画像撮像モードの2つの動作モードを有している。この入力モードは、後述する入力制御部105から入力された指示により切り替えが行われる。実際には、入力制御部105からのモード切り替えの指示は各部に入力されるが、図1では入力制御部105から各部への入力経路を省略している。
【0016】
電話帳記憶部111は、電話帳データを記憶している。電話帳データには、電話帳名及び電話帳名に対応する顔画像が登録されている。以下では、電話帳データに登録されている顔画像を「登録顔」という場合がある。
【0017】
撮影部101は、親機1に設けられたカメラに写った映像を取り込む。ここで、映像とは、カメラのレンズを介して取り込まれる時間的に連続した画像のことを言う。そして、撮影部101は、基準顔選択モードの場合、取り込んだ映像を基準顔認識部102の顔抽出部121へ出力する。また、撮影部101は、基準顔選択モード及び画像撮像モードのいずれの場合も、取り込んだ映像を画像取得部108へ出力する。
【0018】
基準顔認識部102は、図1に示すように、顔抽出部121、顔認証部122、登録部123及び基準顔決定部124を有している。以下の基準顔認識部102の各部の説明は、基準顔選択モードの場合であるとする。
【0019】
顔抽出部121は、撮影部101が取り込んだ画像の入力を受ける。そして、顔抽出部121は、受信した画像から人の顔の特徴情報を用いて顔画像を抽出する。さらに、顔抽出部121は、抽出した顔画像を含む範囲を表す画像上の座標を取得する。ここで、画像上の座標とは、例えば、後述する表示制御部104がモニタに画像を表示した場合の座標を表している。本実施例では、モニタに表示される画像は矩形をしており、画像上の座標は、画像に対して向かって左下の頂点を原点として、画像上の各点をX−Y平面で表す。顔抽出部121は、例えば、抽出した顔画像を含む範囲として、顔画像を含む矩形を作成し、その矩形の対角となる2点の座標を、顔画像を含む範囲を表す画像上の座標として取得する。そして、顔抽出部121は、抽出した顔画像及びその顔画像を含む範囲を表す画像上の座標を顔認証部122へ出力する。さらに、顔抽出部121は、各顔の特徴情報及び抽出した顔画像を含む範囲を表す画像上の座標を判定部107へ出力する。
【0020】
顔認証部122は、顔画像及びその顔画像を含む範囲を表す画像上の座標を顔抽出部121から受ける。そして、顔認証部122は、受信した顔画像と一致する登録画像があるか否か電話帳記憶部111に記憶されている電話帳データを検索する。顔認証部122は、受信した顔画像と一致する登録顔が電話帳データにある場合、受信した顔画像に一致する登録顔に対応する電話帳名を電話帳データから取得する。そして、顔認証部122は、登録顔に一致した顔画像を含む範囲を表す画像上の座標をマーク付加部103へ出力する。また、顔認証部122は、顔画像に一致した登録顔に対応する電話帳名、その顔画像を含む範囲を表す画像上の座標を登録部123へ出力する。
【0021】
登録部123は、顔画像に一致した登録顔に対応する電話帳名及びその顔画像を含む範囲を表す画像上の座標の入力を顔認証部122から受ける。そして、登録部123は、受信した電話帳名及び座標を用いて図3に示す顔認証テーブル300を作成する。図3は、顔認証テーブルの一例を表す図である。顔認証テーブル300は、図3に示すように、電話帳名301、顔表示座標302及び基準顔303の項目を有している。ここで、基準顔303は、基準顔として選ばれた顔画像であることを示すフラグを立てるための項目である。登録部123は、作成した顔認証テーブル300を基準顔決定部124へ出力する。
【0022】
基準顔決定部124は、顔認証テーブル300の入力を登録部123から受ける。さらに、基準顔決定部124は、基準顔とする顔画像の指定の入力を入力制御部105から受ける。ここで、本実施例では、基準顔決定部124は、基準顔とする顔画像の画像上の座標の入力を入力制御部105から受ける。その後、基準顔決定部124は、顔認証テーブル300における基準顔に指定された顔画像に対応する基準顔303の項に基準顔であることを示すフラグを立てる。本実施例では、基準顔決定部124は、図3に示すように、基準顔に指定された顔画像に対応する基準顔303の項に「選択」と記載する。そして、基準顔決定部124は、基準顔とする顔画像を示すフラグを立てた顔認証テーブル300を判定部107へ出力する。
【0023】
マーク付加部103は、基準顔選択モードの場合、登録顔に一致した顔画像を含む範囲を表す座標を顔認証部122から受信する。そして、マーク付加部103は、登録顔に一致した顔画像を含む範囲を表すマークを付加するよう表示制御部104へ指示する。本実施例では、マーク付加部103は、登録顔に一致した顔画像を含む範囲を表す座標が対角となる2点を有する矩形を青線で画面上に表示するように表示制御部104に指示する。
【0024】
また、マーク付加部103は、画像撮像モードの場合、基準顔に指定された顔画像を含む範囲を表す座標を判定部107から受信する。そして、そして、マーク付加部103は、基準顔に指定された顔画像を含む範囲を表すマークを付加するよう表示制御部104へ指示する。
【0025】
表示制御部104は、基準顔選択モード及び画像撮像モードのいずれの場合も、カメラから取り込まれた映像の入力を画像取得部108から受ける。そして、表示制御部104は、モニタなどに受信した映像を表示させる。
【0026】
さらに、表示制御部104は、基準顔選択モードの場合、登録顔に一致した顔画像を含む範囲を表すマークを付加する指示をマーク付加部103から受ける。そして、表示制御部104は、モニタに表示させている映像の上のマーク付加部103から指定された位置にマークを付加する。本実施例では、表示制御部104は、モニタに表示させている映像の上に基準顔を示す青色の矩形を表示させる。ここで、操作者は、モニタに表示されている矩形の中から、キーパットなどを用いて基準顔とする顔画像を指定する。
【0027】
また、表示制御部104は、画像撮像モードの場合、基準顔に指定された顔画像を含む範囲を表すマークを付加する指示をマーク付加部103から受ける。そして、表示制御部104は、モニタに表示させている映像の上のマーク付加部103から指定された位置にマークを付加する。ここで、操作者は、画像撮像モードの場合、撮影部101及び撮影部202のいずれから取り込まれた画像にも基準顔を囲む矩形が表示されるように、親機1及び子機2のカメラの位置を調整する。これにより、親機1のカメラから取り込まれた映像及び子機2のカメラから取り込まれた映像のいずれにも基準顔が写っている状態になる。ここで、カメラの位置は、例えばカメラの方向などといったカメラから取り込まれる映像を変更する各種条件を含んでいるものとする。
【0028】
入力制御部105は、操作者によりキーパッドから入力された基準顔とする顔画像の情報を受信する。本実施例では、操作者が矩形を選択することでその矩形を表す座標が入力されるので、入力制御部105は、矩形を表す座標を顔画像の情報として受信する。そして、入力制御部105は、基準顔とする顔画像の指定を基準顔決定部124へ出力する。
【0029】
映像受信部106は、後述する子機2の映像送信部201と近距離無線通信を用いてデータの授受を行うことができる。ここで、近距離無線通信とは、例えば、Bluetooth(登録商標)又はUWB(Ultra Wide Band)などである。映像受信部106は、画像撮像モードの場合、子機2の映像送信部201から子機2のカメラから取り込んだ映像を受信する。そして、映像受信部106は、受信した映像を判定部107及び画像取得部108へ出力する。なお、映像受信部106と映像送信部201との通信は、近距離無線通信に限られず、いずれの形態の無線通信であってもよい。また、無線通信のみならず、有線通信であってもよい。
【0030】
基準顔選択モードの場合、判定部107は、顔抽出部121から各顔の特徴情報及び抽出した顔画像を含む範囲を表す画像上の座標の入力を受ける。さらに、判定部107は、顔認証テーブル300の入力を受ける。そして、判定部107は、顔認証テーブル300から基準顔として指定された顔画像を含む範囲を表す画像上の座標を取得する。そして、判定部107は、取得した座標と一致する座標に含まれる顔画像の特徴情報を取得し記憶しておく。
【0031】
画像撮像モードの場合、判定部107は、親機1のカメラから取り込んだ映像の入力を撮影部101から受ける。また、判定部107は、子機2のカメラから取り込んだ映像の入力を映像受信部106から受ける。そして、判定部107は、撮影部101から受信した映像及び映像受信部106から受信した映像の双方に記憶している特徴情報を有する顔画像が映っているかを判定する。双方に記憶している特徴情報を有する顔画像が写っている場合、判定部107は、写真画像取得命令を画像取得部108に出力する。この時、判定部107は、基準顔の特徴情報も画像取得部108へ出力する。
【0032】
画像取得部108は、基準顔選択モード及び画像撮像モードのいずれの場合でも、撮影部101から親機1のカメラから取り込んだ映像の入力を受ける。そして、画像取得部108は、撮影部101から受信した映像を表示制御部104へ出力する。
【0033】
また、画像撮像モードの場合、画像取得部108は、子機2のカメラから取り込んだ映像の入力を映像受信部106から受ける。そして、画像取得部108は、映像受信部106から受信した映像を表示制御部104へ出力する。
【0034】
さらに、画像取得部108は、画像撮像モードの場合、写真画像取得命令の入力を判定部107から受けると、そのタイミングで撮影部101から入力された映像及び映像受信部106から入力された映像をそれぞれ写真画像として取得し、これらを対応付けて記憶部に記憶する。ここで、写真画像とは、カメラのレンズを介して取り込まれた映像のある瞬間における画像のことを言う。以下では、撮影部101から入力された映像から取得した写真画像を「親機側写真画像」といい、映像受信部106から入力された映像から取得した写真画像を「子機側写真画像」と言う。また、親機側写真画像及び子機側写真画像をまとめて言う場合、単に「写真画像」と言う。画像取得部108は、前記記憶部に記憶されている写真画像を合成部109へ出力する。この場合の「写真画像」は、判定部107において撮影部101及び映像受信部106から受信した映像に特徴情報を有する顔画像が写っていると判定された際の写真画像でもよいし、当該判定がなされたことを契機に撮影部101及び映像受信部106から取得した写真画像でもよい。また、画像取得部108が記憶部から読み出した写真画像を合成部109に出力する例を説明したが、撮影部101及び映像受信部106から受信した映像を写真画像として合成部109に出力するようにしてもよい。さらに、画像取得部108は、判定部107から受信した基準顔の特徴情報も合成部109へ出力する。
【0035】
合成部109は、写真画像及び基準顔の特徴情報の入力を画像取得部108から受ける。そして、合成部109は、親機側写真画像及び子機側写真画像のそれぞれから基準顔の特徴情報にあたる部分を抽出する。そして、合成部109は、抽出した特徴情報を用いて、親機側写真画像と子機側写真画像とを合成する。例えば、合成部109は、親機側写真画像上の基準顔の特徴情報にあたる部分と子機側写真画像上の基準顔の特徴情報にあたる部分とが一致するように、双方の画像を重ね合わせ、1枚の写真画像を生成する。そして、合成部109は、合成して生成した写真画像を記憶部110に記憶させる。
【0036】
ここで、本実施例では、処理の負荷を軽減するため基準顔を基準に写真画像の合成を行ったが、これは他の方法でもよい。例えば、合成部109が親機側写真画像及び子機側写真画像の双方から特徴点を抽出し、その抽出した特徴点を用いて合成を行っても良い。
【0037】
記憶部110は、メモリやハードディスクといった記憶装置である。記憶部110は、合成部109が合成した写真画像を記憶する。
【0038】
子機2は、映像送信部201及び撮影部202を有している。
【0039】
撮影部202は、子機2に設けられているカメラに写った映像を取り込む。そして、撮影部202は、取り込んだ映像を映像送信部201へ出力する。
【0040】
映像送信部201は、近距離無線通信により親機1の映像受信部106とデータの授受を行うことができる。映像送信部201は、撮影部202が取り込んだ映像の入力を受ける。そして、映像送信部201は、近距離無線通信を用いて映像受信部106に受信した映像を送信する。
【0041】
次に、図4を参照して、本実施例に係る携帯電話の写真撮影時の動作を説明する。図4は、実施例1に係る携帯電話の写真撮影時の動作を説明するための図である。ここでは、既に基準顔の選択は終了しており、画像撮像モードになっているものとする。図4の画像410(矢印430の始点側の画像)は、撮影開始時の親機1のモニタに映っている映像の状態を表している。また、画像420(矢印430の終点側の画像)は、画像取得部108が写真画像を取得した瞬間の親機1のモニタに映っている映像の状態を表している。
【0042】
まず、親機1及び子機2のそれぞれに搭載されたカメラを用いた広範囲の画像の撮影が指示されると、画像取得部108は、撮影部101及び撮影部202に取り込まれた映像の入力を受ける。そして、画像取得部108は、受信した映像を表示制御部104へ出力する。表示制御部104は、入力された映像を親機1のモニタに、画像410のように表示させる。ここで、画像410の紙面に向かって左側の画像411が撮影部101によって取り込まれた映像であり、紙面に向かって右側の画像412が撮影部202によって取り込まれた映像であるとする。ここで、図4では、ある瞬間の映像を表しているので、映像とは呼ばずに画像と呼ぶ。この場合、画像411には基準顔を有する人Pが写っており、さらに、マーク付加部103により指示された基準顔を示す矩形413が画像411上に表示されている。これに対して、画像412には基準顔を有する人Pが写っていない。そこで、操作者は、子機2の撮影部202からの映像にも人Pの顔が写るように子機2のカメラの位置を調整する。これにより、矢印430のように、親機1のモニタに表示されている映像が画像410から画像420に変化する。
【0043】
画像420の場合も、紙面に向かって左側の画像421が撮影部101によって取り込まれた映像であり、紙面に向かって右側の画像422が撮影部202によって取り込まれた映像である。この場合、画像421及び画像422のいずれにも基準顔を有する人Pが写っている。さらに、画像421には、マーク付加部103により指示された基準顔を示す矩形423が表示されており、画像422には、マーク付加部103により指示された基準顔を示す矩形424が表示されている。画像420のような状態になると、判定部107は、写真画像取得命令を画像取得部108へ出力する。これを受けて、画像取得部108は、写真画像取得命令を受けた瞬間の画像を写真画像として取得する。例えば、図4の場合、画像取得部108は、画像421及び画像422の状態の画像を写真画像として取得する。その後、合成部109は、画像421の基準顔の位置及び画像422の基準顔の位置を基準として画像421及び画像422を合成する。
【0044】
次に、図5を参照して、本実施例に係る携帯電話における基準顔の選択処理の流れについて説明する。図5は、実施例1に係る携帯電話における基準顔の選択処理のフローチャートである。
【0045】
顔抽出部121は、撮影部101によって親機1のカメラから取り込まれた映像の入力を受ける。そして、顔抽出部121は、受信した映像から顔の特徴情報を取得し、取得した特徴情報を用いて顔を抽出する(ステップS101)。
【0046】
顔認証部122は、抽出した顔画像の入力を顔抽出部121から受ける。そして、顔認証部122は、電話帳記憶部111に登録してある登録顔から受信した顔画像の一つを抽出し、その顔画像と一致する登録顔があるか否かを判定する(ステップS102)。
【0047】
顔画像に一致する登録顔があった場合(ステップS102肯定)、マーク付加部103は、顔認証部122から顔画像を含む範囲の座標を受信する。そして、マーク付加部103は、受信した座標を用いて登録顔と一致した顔画像に矩形のマークを付加する(ステップS103)。また、登録部123は、顔画像に一致した登録画像に対応する電話帳名及び顔画像を含む範囲の座標を顔認証部122から受信する。そして、登録部123は、顔認証テーブル300に顔画像を含む範囲の座標及び電話帳名を登録する(ステップS104)。
【0048】
これに対して、顔認証部122は、顔画像に一致する登録顔が無いと判定した場合(ステップS102否定)、ステップS105へ進む。
【0049】
顔認証部122は、顔抽出部121が抽出した顔画像の全てについて認証が完了したか否かを判定する(ステップS105)。顔認証部122は、認証していない顔画像が残っていると判定した場合(ステップS105否定)、ステップS102へ戻る。
【0050】
これに対して、全ての顔画像について認証が完了した場合(ステップS105肯定)、表示制御部104は、基準顔の選択を促す選択メッセージをモニタに表示させる(ステップS106)。
【0051】
基準顔決定部124は、操作者により基準顔の選択が行われたか否かを判定する(ステップS107)。基準顔の選択が行われていない場合(ステップS107否定)、基準顔決定部124は、選択が行われるまで待機する。これに対して、基準顔の選択が行われた場合(ステップS107肯定)、基準顔決定部124は、登録部123から受信した顔認証テーブル300に基準顔として選択されたことを示すフラグを付加する(ステップS108)。
【0052】
そして、基準顔決定部124は、基準顔の選択が終了したか否かを判定する(ステップS109)。基準顔決定部124、例えば、選択終了の通知を入力制御部105から受けることにより、基準顔の選択の終了を判定することができる。基準顔決定部124は、基準顔の選択が終了していないと判定した場合(ステップS109否定)、ステップS107に戻る。
【0053】
これに対して、基準顔の選択が終了した場合(ステップS109肯定)、基準顔認識部102は、基準顔の選択処理を終了する。
【0054】
次に、図6を参照して、本実施例に係る携帯電話による広範囲の写真撮影の処理について説明する。図6は、実施例1に係る携帯電話による広範囲の写真撮影の処理のフローチャートである。
【0055】
判定部107は、撮影部101により親機1のカメラから取り込まれた映像を受信する。また、判定部107は、撮影部202により子機2のカメラから取り込まれた映像を、映像送信部201及び映像受信部106を介して受信する。そして、判定部107は、撮影部202により取り込まれた映像に基準顔が映っているか否かを判定する(ステップS201)。基準顔が写っていない場合(ステップS201否定)、判定部107は、撮影部202により取り込まれた映像に基準顔が映るまで待機する。
【0056】
これに対して、撮影部202により取り込まれた画像に基準顔が写っている場合(ステップS201肯定)、判定部107は、撮影部101により取り込まれた映像に基準顔が映っているか否かを判定する(ステップS202)。基準顔が写っていない場合(ステップS202否定)、判定部107は、撮影部101により取り込まれた映像に基準顔が映るまで待機する。
【0057】
これに対して、撮影部101により取り込まれた画像に基準顔が写っている場合(ステップS202肯定)、画像取得部108は、写真画像取得命令を判定部107から受ける。そして、画像取得部108は、写真画像の取得命令を受信すると、子機2側のカメラの写真画像である子機側写真画像を取得する(ステップS203)。
【0058】
さらに、画像取得部108は、親機1側のカメラの写真画像である親機側写真画像を取得する(ステップS204)。
【0059】
合成部109は、画像取得部108から受信した親機側写真画像及び子機側写真画像を、基準顔を基準として合成する(ステップS205)。
【0060】
そして、合成部109は、写真画像を合成して生成した広範囲が写った写真画像を記憶部110に記憶させる(ステップS206)。
【0061】
ここで、図6に示すフローでは説明の都合上、子機2側のカメラからの映像から基準顔を検出した後に親機1側のカメラからの映像から基準顔を抽出しているが、この順番は逆でもよく、また同時に行ってもよい。また、図6に示すフローでは、説明の都合上、子機側写真画像を取得した後、親機側写真画像を取得しているが、これは逆でもよく、また同時に行ってもよい。また、便宜上、ステップS202の判定が肯定の場合にステップS203に進む例を説明したが、親機1側で基準顔が検出されるまで待機している間に、子機2の角度が変わり、子機2の撮影部202により取り込まれた映像に基準顔が写らなくなってしまうことも考えられる。そのため、ステップS202の判定が肯定となった場合に、子機2の撮影部202により取り込まれた映像及び親機1の撮影部101により取り込まれた映像の双方に基準顔が検出されるかを判定し、当該判定が肯定となった場合にステップS203に進み、否定となった場合には再度ステップS201に戻るようにすることも考えられえる。
【0062】
ここで、本実施例では、撮影及び合成の基準となる画像である基準画像を自動的に認識するため、特徴情報の抽出が容易な顔画像を基準画像として用いた場合を例に説明したが、基準画像は人の顔に限らない。すなわち、特徴情報の抽出ができる対象であれば基準画像の対象に特に制限は無い。
【0063】
また、本実施例では、携帯通信装置が基準画像となる画像の候補を操作者に提供し、その中から基準画像を操作者が選ぶ場合で説明したが、これは他の方法でも良い。例えば、予め操作者が基準画像となる対象を指定し、携帯通信装置がその指定された対象から特徴情報を取得する構成でも良い。
【0064】
以上に説明したように、本実施例に係る携帯通信装置は、2つのカメラから取り込んだ映像の双方に基準顔が写っているタイミングで双方の写真画像を取得し、取得した写真画像を合成して広範囲が写った写真画像を生成する。これにより、同一のタイミングにおける合成が容易な写真画像を取得することができ、特定の瞬間における広い範囲の画像を容易に取得することができる。
【実施例2】
【0065】
次に、実施例2に係る携帯通信装置について説明する。本実施例にかかる携帯通信装置は、予め撮影条件を決めておき、撮影条件を満たすように操作者にガイドを行うとともに、基準顔の位置が撮影条件を満たした場合に撮影を行うことが実施例1と異なるものである。そこで、以下では、操作者へのガイド及び撮影条件を満たすことによる撮影について主に説明する。本実施例においても実施例1と同様に、携帯通信装置として携帯電話を例に説明する。本実施例に係る携帯電話のブロック図も図1で表される。そして、本実施例に係る携帯電話装置は、特に説明の無い限り実施例1と同じ符号を有する各部は同じ機能を有するものとする。
【0066】
判定部107は、予め決められたモニタ上の分割領域を記憶している。図7は、分割領域の一例を説明する図である。図7の画面500は、親機1のモニタに映された画面を表している。そして、画面500の中の画面501は、撮影部101が取り込んだ画像を、映す画面である。また、画面500の中の画面502は、撮影部202が取り込んだ画像を映す画面である。本実施例では、判定部107は、画面501の長手方向を3等分にする線511及び線512の座標を記憶しているものとする。ここで、座標とは、例えば、画面501の紙面に向かって左下の頂点を原点としたX−Y平面を表す座標である。また、判定部107は、画面502の長手方向を3等分にする線521及び線522の座標を記憶しているものとする。ここで、座標とは、例えば、画面502の紙面に向かって左下の頂点を原点としたX−Y平面を表す座標である。すなわち、判定部107は、親機1のモニタ上の画面501を領域513、領域514及び領域515の3つの領域として把握する。また、判定部107は、親機1のモニタ上の画面502を領域523、領域524及び領域525の3つの領域として把握する。以下では、便宜上、領域513及び領域523を左側エリアと呼び、領域514及び領域524を中央エリアと呼び、領域515及び領域525を右側エリアと呼ぶ場合がある。
【0067】
さらに、判定部107は、撮影条件を予め記憶している。本実施例では、判定部107は、撮影条件として画面501の左側エリア又は右側エリアの一方に基準顔があり、且つ画面502の左側エリア又は右側エリアの他方に基準顔がある場合を記憶している。判定部107が記憶している画面501の左側エリア又は右側エリアの一方が「第1の所定位置」の一例にあたり、画面502の左側エリア又は右側エリアの他方が「第2の所定位置」の一例にあたる。
【0068】
判定部107は、基準顔の座標位置を表示制御部104へ出力する。
【0069】
そして、判定部107は、画面501及び画面502に基準顔が写っているか否かを判定する。基準顔が映っていない場合、判定部107は、画面501及び画面502に基準顔が写るまで待機する。この場合、操作者は、親機1のカメラ又は子機2のカメラのいずれか一方又は双方を調整して、基準顔が画面501及び画面502の双方に映るようにする。
【0070】
基準顔が画面501及び画面502の双方に映ると、判定部107は、線511、線512、線521及び線522の座標を表示制御部104へ出力する。さらに、判定部107は、画面501のどのエリアに基準顔があるかを判定する。
【0071】
判定部107は、画面501の中央エリアに基準顔がある場合、左右いずれかの方向に基準顔を移動させるよう誘導矢印を表示する。
【0072】
そして、判定部107は、画面501の左側エリアに基準顔がある場合、判定部107は、画面502のどのエリアに基準顔があるかを判定する。そして、画面502の左側エリア又は中央エリア内に基準顔がある場合、判定部107は、そのときの基準顔の位置から右側エリアの方向に向かう矢印を表示する指示を表示制御部104へ通知する。さらに、本実施例では、判定部107は、画面502の紙面に向かって縦方向の基準顔の位置を取得し、画面502における基準顔の縦方向の位置が画面501における基準顔の縦方向の位置に移動するよう矢印を傾ける。例えば、画面502の基準顔が左側エリア内の紙面に向かって上側にあり、画面501においては縦方向の中央に基準顔がある場合、判定部107は、左側エリアの上側から右側エリアの縦方向の中央に向かう矢印を表示する指示を表示制御部104へ通知する。
【0073】
これに対して、画面501の左側エリアに基準顔があり、且つ画面502の右側エリアに基準顔が有る場合、判定部107は、表示制御部104に対する矢印の表示命令は行わない。
【0074】
また、判定部107は、画面501の右側エリアに基準顔がある場合、判定部107は、画面502のどのエリアに基準顔があるかを判定する。そして、画面502の右側エリア又は中央エリア内に基準顔がある場合、判定部107は、そのときの基準顔の位置から左側エリアの方向に向かう矢印を表示する指示を表示制御部104へ通知する。さらに、本実施例では、判定部107は、画面502の紙面に向かって縦方向の基準顔の位置を取得し、画面502における基準顔の縦方向の位置が画面501における基準顔の縦方向の位置に移動するよう矢印を傾ける。
【0075】
これに対して、画面501の右側エリアに基準顔があり、且つ画面502の左側エリアに基準顔が有る場合、判定部107は、表示制御部104に対する矢印の表示命令は行わない。
【0076】
ここで、本実施例では、合成する写真画像の図7の紙面に向かって縦方向のズレを抑えるために、矢印を縦方向に傾けたが、縦方向へのズレを抑える要求が低い場合には、単に左右方向への誘導だけでもよい。
【0077】
また、本実施形態では、親機1と子機2との左右の関係に関わらず、操作者がカメラの調整を容易に行えるように、親機1側のカメラの映像における基準顔の位置に合わせて、子機2側のカメラの映像における基準顔の位置を移動するよう誘導した。しかし、カメラの誘導はこれに限らない。例えば、親機1に対して子機2は左側にあると決めておき、親機1の映像の右側エリアに基準顔があり、子機2の映像の左側エリアに基準顔があるように誘導するようにしてもよい。
【0078】
そして、判定部107は、撮影条件が満たされた場合に、写真画像取得命令を画像取得部108へ通知する。本実施例では、判定部107は、画面501の右側エリア及び画面502の左側エリアに基準顔が位置した場合に、写真画像取得命令を画像取得部108へ通知する。
【0079】
表示制御部104は、基準顔の座標位置とともに、線511、線512、線521及び線522の座標を表示制御部104の入力を判定部107から取得する。
【0080】
そして、表示制御部104は、撮影部101により取り込まれた映像の上に分割領域を表す分割線である線511及び線512をモニタに表示させる。また、表示制御部104は、撮影部202によって取り込まれた映像の上に分割領域を表す分割線である線521及び線522をモニタに表示させる。さらに、表示制御部104は、それぞれの映像上に判定部107から受信した座標に基準顔を示す矩形をモニタに表示させる。
【0081】
さらに、表示制御部104は、判定部107から誘導のための矢印の表示命令を受けて、それぞれの映像上に矢印をモニタに表示させる。例えば、表示制御部104は、画面501において左側エリアの上側から右側エリアの下の方向に向かう矢印を表示する指示を判定部107から受けた場合、基準顔の示す矩形から右下に向かう矢印をモニタに表示させる。
【0082】
図8は、矢印の誘導に基づく撮影条件を満たすカメラの位置の調整を説明するための図である。図8の紙面に向かって上側の画面601は、撮影条件を満たしていない状態の映像を表している。また、図8の紙面に向かって下側の画面602は、撮影条件を満たした状態の映像を表している。ここで、画面611及び画面621は、撮影部101が取り込んだ映像を表示している画面であり、画面612及び画面622は、撮影部202が取り込んだ映像を表示している画面である。
【0083】
画面601の状態の場合、画面612における基準顔の位置が中央エリアの上側にある。そして、画面611における基準顔の位置は、左側エリアの縦方向の中央にある。そこで、表示制御部104は、画面612に中央エリアの上から左側エリアの縦方向の中央へ向かう矢印を表示する指示を判定部107から受ける。そして、表示制御部104は、矩形613から左側エリアの縦方向の中央へ向かう矢印614をモニタに表示させる。
【0084】
操作者は、この矢印614に基づいて、子機2のカメラを左の方向に動かすと共に少し下げるように移動する。これにより、画面602のように映像が変わる。画面602では、画面621の右側エリアに基準顔があり、画面622の左側エリアに622があるので、判定部107は、撮影条件を満たしたと判定する。そこで、画像取得部108は、判定部107からの写真画像取得命令を受けて、写真画像を取得する。
【0085】
次に、図9を参照して、本実施例に係る携帯電話による広範囲の写真撮影の処理について説明する。図9は、実施例2に係る携帯電話による広範囲の写真撮影の処理のフローチャートである。ここでは、縦方向への誘導矢印の傾きをつけない場合で説明する。
【0086】
判定部107は、撮影部101により親機1のカメラから取り込まれた映像を受信する。また、判定部107は、撮影部202により子機2のカメラから取り込まれた映像を、映像送信部201及び映像受信部106を介して受信する。そして、判定部107は、撮影部202により取り込まれた映像に基準顔が映っているか否かを判定する(ステップS301)。基準顔が写っていない場合(ステップS301否定)、判定部107は、撮影部202により取り込まれた映像に基準顔が映るまで待機する。
【0087】
これに対して、撮影部202により取り込まれた画像に基準顔が写っている場合(ステップS301肯定)、判定部107は、撮影部101により取り込まれた映像に基準顔が映っているか否かを判定する(ステップS302)。基準顔が写っていない場合(ステップS302否定)、判定部107は、撮影部101により取り込まれた映像に基準顔が映るまで待機する。
【0088】
これに対して、撮影部101により取り込まれた画像に基準顔が写っている場合(ステップS302肯定)、判定部107は、親機1のモニタに映っている映像上に分割線を表示する(ステップS303)。
【0089】
次に、判定部107は、親機1側のカメラの映像の左側エリアに基準顔があるか否かを判定する(ステップS304)。親機1側のカメラの映像の左側エリアに基準顔がある場合(ステップS304肯定)、判定部107は、子機2側のカメラの映像の右側エリアに基準顔があるか否かを判定する(ステップS305)。判定部107は、子機2側のカメラの映像の右側エリアに基準顔があると判定した場合(ステップS305肯定)、ステップS311に進む。
【0090】
これに対して、子機2側のカメラの映像の右側エリアに基準顔が無い場合(ステップS305否定)、判定部107は、子機2側のカメラを右側へ誘導する矢印の表示を表示制御部104に指示する。そして、表示制御部104は、判定部107からの指示を受けて、子機2側のカメラを右側へ誘導する矢印、すなわち右側エリアの方向に向かう矢印をモニタに表示させ(ステップS306)、ステップS305に戻る。
【0091】
一方、親機1側のカメラの映像の左側エリアに基準顔が無い場合(ステップS304否定)、判定部107は、親機1側のカメラの映像の右側エリアに基準顔があるか否かを判定する(ステップS307)。親機1側のカメラの映像の右側エリアに基準顔が無い場合(ステップS307否定)、判定部107は、親機1側のカメラを左右に誘導する矢印の表示を表示制御部104へ指示する。表示制御部104は、判定部107からの指示を受けて、親機1側のカメラを左右のいずれかへの移動を促す矢印をモニタに表示させ(ステップS308)、ステップS304に戻る。
【0092】
これに対して、親機1側のカメラの映像の右側エリアに基準顔がある場合(ステップS307肯定)、判定部107は、子機2側のカメラの映像の左側エリアに基準顔があるか否かを判定する(ステップS309)。判定部107は、子機2側のカメラの映像の左側エリアに基準顔があると判定した場合(ステップS309肯定)、ステップS311に進む。
【0093】
これに対して、子機2側のカメラの映像の左側エリアに基準顔が無い場合(ステップS309否定)、判定部107は、子機2側のカメラを左側へ誘導する矢印の表示を表示制御部104に指示する。そして、表示制御部104は、判定部107からの指示を受けて、子機2側のカメラを左側へ誘導する矢印、すなわち左側エリアの方向に向かう矢印をモニタに表示させ(ステップS310)、ステップS309に戻る。
【0094】
次に、判定部107は、画面501の左側エリア又は右側エリアの一方に基準顔があり、且つ画面502の左側エリア又は右側エリアの他方に基準顔があるという撮影条件を満たしているか否かを判定する(ステップS311)。判定部107は、撮影条件を満たしていないと判定した場合(ステップS311否定)、ステップS304に戻る。
【0095】
これに対して、撮影条件を満たしている場合、画像取得部108は、写真画像取得命令を判定部107から受ける。そして、画像取得部108は、写真画像の取得命令を受信すると、子機2側のカメラの写真画像である子機側写真画像を取得する(ステップS312)。
【0096】
さらに、画像取得部108は、親機1側のカメラの写真画像である親機側写真画像を取得する(ステップS313)。
【0097】
合成部109は、画像取得部108から受信した親機側写真画像及び子機側写真画像を、基準顔を基準として合成する(ステップS314)。
【0098】
そして、合成部109は、写真画像を合成して生成した広範囲が写った写真画像を記憶部110に記憶させる(ステップS315)。
【0099】
ここで、以上の説明では、モニタに表示させる映像を長手方向に3分割して、基準顔の位置の誘導を行ったが、この分割方法に特に制限はなく、より細かく分割することで、より適切な誘導及び撮影を行うことができる。例えば、長手方向の3分割に加えて、短手方向を3分割し、全部で九つの領域を用いて誘導及び撮影を行ってもよい。また、便宜上、ステップS305又はステップS309の判定が肯定の場合にステップS311に進む例を説明したが、子機2側で基準顔が検出されるまで待機している間に、親機1の角度が変わり、親機1の撮影部101により取り込まれた映像に基準顔が写らなくなってしまうことも考えられる。そのため、ステップS305又はステップS309の判定が肯定となった場合に、親機1の撮影部202により取り込まれた映像及び子機2の撮影部202により取り込まれた映像の双方に基準顔が検出されるかを判定し、当該判定が肯定となった場合にステップS311に進み、否定となった場合には再度ステップS304に戻るようにすることも考えられえる。
【0100】
以上に説明したように、本実施例に係る携帯通信装置は、広範囲の画像を撮影するのに適した撮影条件を満たすようにカメラを誘導するための矢印を表示し、撮影条件が満たされた瞬間の画像を取得する。これにより、操作者は、広範囲の画像を撮影するための適切な位置にカメラを向けることができ、適切な位置で撮影した広範囲の画像を容易に取得することができる。
【0101】
〔ハードウェア構成〕
図10は、携帯電話のハードウェア構成図である。以上に説明した各実施例に係る携帯電話は、図10に示すようなハードウェア構成を有している。
【0102】
親機1は、プロセッサ1001、無線部1002、カメラ1003及び表示部1004、記憶装置1005を有している。記憶装置1005は、ROM(Read Only Memory)1051及びRAM(Random Access Memory)1052を有している。
【0103】
無線部1002、カメラ1003、表示部1004及び記憶装置1005は、それぞれプロセッサ1001と接続されている。
【0104】
RAM1052は、図1における電話帳記憶部111及び記憶部110の機能を実現している。また、無線部1002及びプロセッサ1001により、図1における映像受信部106の機能を実現している。
【0105】
そして、プロセッサ1001及び記憶装置1005は、例えば、図1に示した撮影部101、基準顔認識部102、マーク付加部103、表示制御部104、入力制御部105、判定部107、画像取得部108及び合成部109等の機能を実現する。例えば、ROM1051は、図1に例示した撮影部101、基準顔認識部102、マーク付加部103、表示制御部104、入力制御部105、判定部107、画像取得部108及び合成部109等による処理を実現する各種プログラムを記憶している。そして、プロセッサ1001及びRAM1052は、これらの各種プログラムを読み出して実行することで、上述した各機能を実現するプロセスを生成する。
【0106】
子機2は、プロセッサ2001、無線部2002及びカメラ2003を有している。
【0107】
無線部2002及びカメラ2003は、それぞれプロセッサ2001と接続されている。
【0108】
無線部2002及びプロセッサ2001により、図1における映像送信部201及び撮影部202の機能を実現している。
【符号の説明】
【0109】
1 親機
2 子機
101 撮影部
102 基準顔認識部
103 マーク付加部
104 表示制御部
105 入力制御部
106 映像受信部
107 判定部
108 画像取得部
109 合成部
110 記憶部
111 電話帳記憶部
121 顔抽出部
122 顔認証部
123 登録部
124 基準顔決定部
201 映像送信部
202 撮影部

【特許請求の範囲】
【請求項1】
第1カメラから第1画像を取り込む第1撮影部と、
第2カメラから第2画像を取り込む第2撮影部と、
前記第1画像及び前記第2画像の双方に指定された基準画像が映っているか否かを判定する判定部と、
前記判定部により双方の画像に前記基準画像が映っていると判定された場合、前記第1撮影部及び前記第2撮影部により取り込まれた画像を対応付けて記録する画像取得部と
を備えたことを特徴とする携帯通信装置。
【請求項2】
前記画像取得部により対応付けて記録された前記画像を合成し1つの写真画像を生成する合成部をさらに備えたことを特徴とする請求項1に記載の携帯通信装置。
【請求項3】
前記第1画像から顔画像を抽出し、抽出した顔画像の中から指定された基準顔画像を基準画像として認識する基準顔画像認識部をさらに備え、
前記判定部は、前記第1画像及び前記第2画像の双方に前記基準顔画像が映っているか否かを判定し、
前記画像取得部は、前記判定部により双方の画像に前記基準顔画像が映っていると判定された場合、前記第1撮影部及び前記第2撮影部により取り込まれた画像を対応付けて記録する
ことを特徴とする請求項1又は請求項2に記載の携帯通信装置。
【請求項4】
前記第1カメラ、前記第1撮影部、前記判定部及び前記画像取得部と、前記第2カメラ及び前記第2撮影部とは異なる筐体に配置され、
前記判定部及び前記画像取得部は、前記第2撮影部が取り込んだ画像を通信により取得する
ことを特徴とする請求項1〜3のいずれか一つに記載の携帯通信装置。
【請求項5】
前記判定部は、双方の画像に前記基準画像が映っていると判定した場合、前記第1画像における前記基準画像の位置及び前記第2画像における前記基準画像の位置を取得し、前記第1画像における前記基準画像の位置が第1の所定位置にあり、前記第2画像における前記基準画像の位置が第2の所定位置にあるか否かを判定し、
前記画像取得部は、前記判定部により双方の画像に前記基準画像が映っていると判定され、かつ前記判定部により前記第1画像における前記基準画像の位置が第1の所定位置にあり、前記第2画像における前記基準画像の位置が第2の所定位置にあると判定された場合に、前記第1撮影部及び前記第2撮影部により取り込まれた画像を対応付けて記録することを特徴とする請求項1〜4のいずれか一つに記載の携帯通信装置。
【請求項6】
前記判定部に判定された前記第1画像及び前記第2画像における前記基準画像の位置を基に、前記第1画像における前記基準画像の位置が前記第1の所定位置に移動し、前記第2画像における前記基準画像の位置が前記第2の所定位置に移動するように、操作者に対して前記第1撮影部及び前記第2撮影部のいずれか一方又は双方の移動の指示を通知する通知部をさらに備えたことを特徴とする請求項5に記載の携帯通信装置。
【請求項7】
携帯通信装置により実行される合成画像生成プログラムであって、
第1カメラから第1画像を取り込み、
第2カメラから第2画像を取り込み、
前記第1画像及び前記第2画像の双方に指定された基準画像が映っているか否かを判定し、
双方の画像に前記基準画像が映っている場合、前記第1カメラ及び前記第2カメラにより撮影された画像を対応付けて記録する
処理を前記携帯通信装置に実行させることを特徴とする合成画像生成プログラム。

【図1】
image rotate

【図2−1】
image rotate

【図2−2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−244434(P2012−244434A)
【公開日】平成24年12月10日(2012.12.10)
【国際特許分類】
【出願番号】特願2011−112823(P2011−112823)
【出願日】平成23年5月19日(2011.5.19)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】