通信端末装置及びプログラム
【課題】記録した高画質動画の送受信が未遂に終わることを極力防止できる通信端末装置を提供する。
【解決手段】ユーザにより動画記録操作が行われると、撮像部103は撮像を、画像認識部116は人物認識をそれぞれ開始し、撮像で得られた動画データが記憶部104のバッファに蓄積される。制御部102は、容量制限テーブル201と人物管理テーブル203から制限容量を決定し、バッファに蓄積された動画データを記録した画像ファイルであって、制限容量以下の画像ファイルを生成する。バッファに蓄積された動画データが制限容量を超える場合は、複数の画像ファイルに記録する。制御部102は、生成した画像ファイル毎に関連画像ファイル情報を含む情報を画像管理テーブル202にエントリする。
【解決手段】ユーザにより動画記録操作が行われると、撮像部103は撮像を、画像認識部116は人物認識をそれぞれ開始し、撮像で得られた動画データが記憶部104のバッファに蓄積される。制御部102は、容量制限テーブル201と人物管理テーブル203から制限容量を決定し、バッファに蓄積された動画データを記録した画像ファイルであって、制限容量以下の画像ファイルを生成する。バッファに蓄積された動画データが制限容量を超える場合は、複数の画像ファイルに記録する。制御部102は、生成した画像ファイル毎に関連画像ファイル情報を含む情報を画像管理テーブル202にエントリする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信端末装置における動画の処理技術に関する。
【背景技術】
【0002】
近年、動画記録機能を備えた携帯電話等の通信端末装置は、広く浸透している。また、昨今の撮像技術や映像符号化技術の進歩により、通信端末装置において高画質な動画を記録可能とするための種々の技術が提案されている(例えば、特許文献1等)。
【0003】
さらに、前記通信端末装置において人物認識機能を備えることもある。これに関連し、特許文献2には、撮影した画像から特定した人物情報と、アドレス帳の情報とを関連付けることによる様々な使い勝手向上例が示されている。
【0004】
通信端末装置で記録した動画の利用は様々であり、当該通信端末装置での再生のみならず、他の通信端末装置で再生できるように、電子メール(以下、単に「メール」と称する。)に添付して、当該他の通信端末装置に送信するケースも少なくない。これに関連し、特許文献3には、宛先の受信可能容量と自端末のメール送信可能容量から最適な容量のメールを送信するメール機能付き携帯通信端末が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−267020号公報
【特許文献2】特開2008−182764号公報
【特許文献3】特開2006−85228号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
高画質な動画とは、言い換えるならば、ビットあたりの符号量が大きい画像である。即ち、同じ時間記録した高画質な動画と低画質な動画とを比較すると、高画質な動画の方がファイル容量は大きくなる。
【0007】
また、特許文献3に示すように、一般に、メールの送信及び受信には容量の制限がある。したがって、高画質の動画ファイルをメールに添付して送受信処理を行う場合、ファイル容量が大きいため、送受信容量の制限に抵触してしまい、動画ファイルを確実に送受信できないおそれがある。そうなると、受信側の通信端末装置では、元の動画を正確に再生することができない。
【0008】
本発明は、上記実情に鑑みてなされたものであり、記録した高画質動画の送受信が未遂に終わることを極力防止でき、受信側での正確な再生が期待できる通信端末装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明の第1の観点に係る通信端末装置は、
ユーザの操作を受け付ける操作手段と、
被写体を撮像する撮像手段と、
電子メール送受信手段と、
特定の人物の画像と、前記人物の電子メールの通信先とを対応づけて記憶する人物管理情報記憶手段と、
前記電子メール送受信手段による一度の電子メール送信で送信可能な容量の最大値に相当する制限容量を、前記電子メールの通信先と対応づけて記憶する制限容量情報記憶手段と、
前記撮像手段による撮像の結果得られた動画データを蓄積する動画データ蓄積手段と、
前記動画データの画像の中から前記人物管理情報記憶手段に記憶されている前記人物の画像を判別して認識する人物認識手段と、
前記人物認識手段で認識された人物の画像に対応する前記電子メールの通信先を人物管理情報記憶手段から取得し、取得した電子メールの通信先に対応する制限容量を前記制限容量情報記憶手段から取得する制限容量取得手段と、
前記動画データ蓄積手段に蓄積された動画データを記録した画像ファイルであって、前記制限容量取得手段により取得した制限容量以下の画像ファイルを生成する画像ファイル生成手段と、を備え、
前記電子メール送受信手段は、前記人物管理情報記憶手段から取得した前記電子メールの通信先に対して、前記画像ファイル生成手段が生成した画像ファイルを送信する、
ことを特徴とする。
【0010】
本発明の第2の観点に係るプログラムは、
コンピュータに、
撮像手段による撮像を行う撮像ステップと、
前記撮像手段による撮像の結果得られた動画データを動画データ蓄積手段に蓄積する動画データ蓄積ステップと、
人物認識手段に、前記動画データの画像の中における、予め記憶手段に記憶している人物の画像を判別して認識させる人物認識ステップと、
前記人物認識ステップで認識された人物の画像に対応する電子メール通信先を取得する電子メール通信先取得ステップと、
前記電子メール通信先を宛先とする電子メール送信で送信可能な容量の最大値に相当する制限容量を取得する制限容量情報取得ステップと、
前記動画データ蓄積手段に蓄積された動画データを記録した画像ファイルであって、前記制限容量情報取得ステップにより取得した制限容量以下の画像ファイルを生成する画像ファイル生成ステップと、
前記電子メール通信先取得ステップで取得した前記電子メール通信先に、前記画像ファイル生成ステップで生成した画像ファイルを送信する画像ファイル送信ステップと、
を実行させることを特徴とする。
【発明の効果】
【0011】
本発明によれば、人物認識から決定した制限容量に基づいて高画質動画を記録するため、該動画の送受信が未遂に終わることを極力防止できる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態に係る通信端末装置の外観図である。
【図2】図1の通信端末装置の内部構成を示すブロック図である。
【図3】容量制限テーブルの一例を示す図である。
【図4】画像管理テーブルの一例を示す図である。
【図5】人物管理テーブルの一例を示す図である。
【図6】動画記録処理の手順を示すフローチャートである。
【図7】人物認識処理について説明するための図である。
【図8】記録処理の手順を示すフローチャートである。
【図9】人物認識を利用した制限容量の決定について説明するための図である。
【図10】バッファへの動画データの蓄積について説明するための図である。
【図11】画像ファイルへの動画データの書き込みについて説明するための図である。
【図12】画像ファイルの切り替えについて説明するための図である。
【図13】画像ファイル送信処理の手順を示すフローチャートである。
【図14】関連画像ファイル送信処理の手順を示すフローチャートである。
【図15】画像ファイル送信前の表示画面例を示す図である。
【図16】画像ファイル送信中の表示画面例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の一実施形態について図面を参照して詳細に説明する。
【0014】
図1は、本実施形態に係る通信端末装置10の外観を示す図であり、図2は、この通信端末装置10の内部構成を示すブロック図である。通信端末装置10は、例えば、携帯電話である。なお、本発明に係る通信端末装置をPHS(Personal Handy-phone System)、PDA(Personal Digital Assistant)、PC(Personal Computer)等で具現化してもよい。
【0015】
通信端末装置10は、操作部101と、制御部102と、撮像部103と、記憶部104と、画像容量監視部105と、通信部106と、表示部107と、音声処理部108と、多重/分離部109と、外部メモリドライバ110と、外部メモリI/F部111と、画像認識部116と、を備える。
【0016】
操作部101は、各種のキーボタン等から構成され、ユーザからの操作入力を受け付け、受け付けた操作入力に係る信号を制御部102に送出する。操作部101は、ユーザから、例えば、当該通信端末装置10の電源ON/OFF操作、電話番号の入力やメール本文作成のための入力操作、被写体の撮像に係る操作等を受け付ける。
【0017】
制御部102は、CPU(Central Processing Unit)、主記憶装置等で構成され(何れも図示せず)、通信端末装置10の各部を制御すると共に、記憶部104に記憶されている各種プログラムに基づいて、動画の記録や再生、電子メール(以下、単に「メール」と称する。)の作成や送信等、後述する各処理を実行する。なお、本実施形態において、制御部102は、人物認識、画像ファイル書き込み、容量判定、送信対象画像ファイル取得、送信画像管理情報生成等の機能を担う。
【0018】
撮像部103は、CCD(Charge Coupled Device)やA/Dコンバータ等から構成され、被写体を撮像して得られた動画像を光信号からアナログ電気信号に変換すると共に、アナログ電気信号をデジタル信号に変換する。例えば、撮像部103は、被写体である人物の顔や景色、文字等を撮像し、その結果得られた動画像を制御部102で扱えるデジタル信号(画像データ)に変換する。制御部102は、撮像部103からの画像データを必要に応じて表示部107に出力する。
【0019】
通信部106は、アンテナ114等を備え、携帯電話における所定の通信方式にて、他の通信端末装置や情報処理装置とデータの送受信を行う。また、通信部106は、基地局、ロケーションサーバ、GPS(Global Positioning System)衛星等とデータの送受信を行い、通信端末装置10の位置座標情報(経度、緯度)等を取得する。また、通信部106は、通信端末装置10がインターネットにアクセスするための通信処理等も行う。なお、通信部106は、例えば、CDMA(Code Division Multiple Access)、EV−DO(Evolution Data Only)、無線LAN等の複数の通信方式を利用した通信が可能となるように構成してもよい。
【0020】
表示部107は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等の表示デバイスで構成され、撮像部103により撮像された画像等を表示する。また、表示部107は、ユーザが通信端末装置10の機能を利用するために必要な各種の情報(例えば、電源状態、電波強度、電池残量、サーバ接続状態等の動作状態、未読メールの有無、入力した電話番号や着信時の発呼者の電話番号、送受信メールの内容、動画及び静止画、インターネット接続時におけるWeb画面等の受信データ等)を表示する。
【0021】
ユーザは、通信端末装置10で動画を記録する際、表示部107に表示された画像をモニタしながら、所望のタイミングで、例えば、操作部101が備える所定のキーボタンを押下することで、動画記録開始操作を行う。なお、表示部107は、メインとサブの2つ、もしくはそれ以上の表示デバイスで構成されてもよい。
【0022】
記憶部104は、例えば、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリで構成され、撮像部103によって得られたり、あるいは、他の通信端末装置との通信等により取得した画像ファイル115、容量制限テーブル201、画像管理テーブル202、人物管理テーブル203を記憶する。すなわち、記憶部104は、特許請求の範囲における制限容量情報記憶手段、関連画像ファイル情報格納手段、人物管理情報記憶手段の機能を担う。また、記憶部104は、通信端末装置10で扱うその他の各種データ、メーラ(電子メールクライアント)等のアプリケーションソフトウェア、本発明特有の機能を実現するためのプログラム等も記憶する。
【0023】
容量制限テーブル201は、図3に示すように、容量制限IDと、処理種別と、通信先と、制限容量と、が対応付けられた制限容量情報がエントリされたデータテーブルである。「処理種別」は、容量の制限を受ける処理内容が送信又は受信の何れであるかを示し、「通信先」は、通信相手を特定する情報(本実施形態では、ドメイン名)を示す。
【0024】
「制限容量」は、処理種別や通信相手毎に制限を設けた容量(データサイズ)を示す。具体的には、処理種別が受信の場合は、通信端末装置10が1回の通信で受信可能な最大のデータサイズを示している。また、処理種別が送信の場合は、当該通信相手に、1回の通信で送信可能な最大のデータサイズを示している。
【0025】
図3の例では、処理種別が受信の際の制限容量は、通信相手によらず3MBであることを示している。一方、送信の際の制限容量は、通信相手により異なり、ドメイン名が「@abc.com」の場合には1MB、ドメイン名が「@def.com」の場合には3MB、ドメイン名が「@ghi.com」の場合には2MBであることを示している。
【0026】
容量制限テーブル201は、初期状態(出荷状態)では、1レコード(容量制限ID“L_01”の制限容量情報)のみがエントリされている。そして、新たな通信先とメールの送受信が行われると、当該通信先についての制限容量情報が制御部102によって自動的にエントリされる。なお、ユーザが、操作部101を介して、新たな通信先の制限容量情報をエントリしてもよいし、エントリされた制限容量情報を更新できるようにしてもよい。
【0027】
なお、制限容量情報には、上記以外にも様々な項目が含まれていてもよい。例えば、通信相手のユーザが使用する通信端末装置の種別を示す項目等が含まれていてもよい。
【0028】
画像管理テーブル202は、記憶部104に記憶している動画の画像ファイル115を適切に管理するための情報である。画像管理テーブル202は、画像ファイルに対して何らかの処理、例えば、記録、コピー、削除、再生、送信等を行う際に参照される。画像管理テーブル202は、画像ファイルの記録時に記憶部104に存在していなければ新規に作成され、既に存在している場合には内容が更新される。
【0029】
画像管理テーブル202は、図4に示すように、動画の画像IDと、ファイル名と、ビットレートと、記録時間と、ファイル容量と、関連ファイルと、が対応付けられた画像ファイル情報がエントリされたデータテーブルである。図4の例では、先頭にエントリされた画像ファイル情報において、画像ID“I_01”が付与されており、ファイル名が“MImg0001.mp4”であることが示されている。そして、この画像ファイルは、記録時間が3秒間で、ビットレートが1Mbpsであり、その容量が3MBであることが示されている。さらに、この画像ファイルは、画像ID“I_02”及び画像ID“I_03”の各画像ファイルと関連があることが示されている。
【0030】
「関連ファイル」には、記録した一連の動画データが複数の画像ファイルに分割されて格納された場合に、連続する他の画像ファイルの情報が関連ファイルとして格納される。具体的には、関連する他の画像ファイルの画像IDが格納される。図4の例では、ファイル名と、関連ファイルの情報より、動画データを記録中に、画像ID“I_01”の画像ファイルの容量が制限容量(3MB)に到達し、以後の動画データが、画像ID“I_02”の画像ファイルに格納されたことが判る。そして、さらに、画像ID“I_02”の画像ファイルの容量も3MBに到達したため、以後の動画データが、画像ID“I_03”の画像ファイルに格納されたことが判る。
【0031】
即ち、画像ID“I_01”の画像ファイルと画像ID“I_02”及び画像ID“I_03”の各画像ファイルは、ファイルこそ異なるが、一連の動画データを構成する画像ファイルである。したがって、これらの画像ファイルは、三つで一つの動画データとして扱うべきである。その扱い方の詳細については後述する。
【0032】
人物管理テーブル203は、図5に示すように、人物IDと、人物の名前と、人物の画像(特に、その人物であることを明確に判別可能な顔の静止画像)と、電話番号と、メールアドレス等が、対応付けられた人物に関連する種々の情報としてエントリされたデータテーブルである。図5の例では、先頭にエントリされた人物情報において、人物ID“P_01”が付与されており、人物の名前が“いろは”であり、この人物の特徴をよく表す顔の静止画像は“A”であることが示されている。そして、この人物の電話番号は“090−123”で、メールアドレスは“iroha@abc.com”であることが示されている。
【0033】
図2に戻り、外部メモリI/F部111は、microSDカードやUSB(Universal Serial Bus)メモリ等の外部メモリ112と接続するためのハードウェアインタフェースであり、外部メモリドライバ110は、外部メモリI/F部111の制御を行う。例えば、多くの画像ファイルが記憶部104に格納された場合、記憶部104の空き容量が不足する可能性がある。そのため、本実施形態の通信端末装置10は、外部メモリI/F部111及び外部メモリドライバ110を備えることで、外部メモリ112に画像ファイルを記録し、あるいは、外部メモリ112に記憶されている画像ファイルを読み出すことができるようにしている。なお、ユーザの操作中に不意に外部メモリ112が脱落することを防ぐため、外部メモリI/F部111は、通信端末装置10の筐体側面等に設けられていることが望ましい。
【0034】
画像容量監視部105は、動画記録時に動作し、記憶部104のバッファ(図示せず)にリアルタイムで蓄積されて行く動画データの容量や画像ファイルの容量を監視し、その結果を制御部102に通知する。
【0035】
音声処理部108は、音声入出力端子113から入力された音声データを圧縮して音声圧縮データを生成し、生成した音声圧縮データを多重/分離部109に供給する。また、音声処理部108は、多重/分離部109から供給された音声圧縮データを伸張して音声データに復元し、復元した音声データを音声入出力端子113から出力する。
【0036】
多重/分離部109は、撮像部103によって得られた動画データを圧縮して画像圧縮データを生成し、生成した画像圧縮データと、音声処理部108が生成した音声圧縮データを多重化してストリームデータを生成する。また、多重/分離部109は、記憶部104や外部メモリ112からストリームデータを読み出して、ストリームデータを画像圧縮データと音声圧縮データに分離する。そして、分離した画像圧縮データを伸張して動画データに復元し、復元した動画データを表示部107に供給すると共に、分離した音声圧縮データを音声処理部108に供給する。
【0037】
画像認識部116は、撮像部103から入力される動画データ中に含まれる被写体の情報や、記録済みの動画や静止画などの画像中に含まれる特定の画像情報を認識する。特定の画像情報とは、例えば、人間の顔や身体的な特徴などであり、通信端末装置10は、この情報から撮像している範囲や記録済みの画像の中に人間の顔があるか否かを判断する。さらには、単に人間の顔の有無を判断するだけでなく、その人間が誰であるかを特定することもできる。そのためには、例えば、認識した人間の顔の画像と、予め記憶部104に格納してある画像パターンとを照合すれば良い。ここで照合する画像パターンとは、例えば、記憶部104に格納された人物管理テーブル203に含まれる人物の顔の静止画像である。これにより、例えば、撮像中に被写体としている人物が誰であるかを特定したり、記録した動画や静止画に写っている人物が誰であるかを特定することができる。
【0038】
なお、認識する画像情報は、人物の顔に限定されず、人物の指紋や指の静脈や虹彩等の生体情報であったり、文字や記号やバーコード等、事物を識別できる情報であれば上記例以外のものでも構わない。
【0039】
画像容量監視部105、音声処理部108、多重/分離部109、外部メモリドライバ110、画像認識部116の各機能は、例えば、ASIC(Application Specific Integrated Circuit)等、専用の回路にてハードウェア的に実現されるようにしてもよいし、制御部102が記憶部104等に記憶されているプログラムを実行することによる論理的処理で実現されるようにしてもよい。
【0040】
続いて、以上のように構成された通信端末装置10が実行する動画記録処理について、図6のフローチャートを参照して説明する。
【0041】
動画記録処理は、ユーザによって、操作部101を介した動画記録処理開始操作が行われることで開始される。具体的には、ユーザは、例えば、表示部107に表示されるメニュー画面から「カメラ」→「動画記録」等の項目を選択することで動画記録処理を開始させることができる。なお、ショートカットキー等、特定のキーボタンが押下されることで、即座に動画記録処理が開始されるようにしてもよい。
【0042】
制御部102は、ユーザによる動画記録処理開始操作の入力に応答して、動画記録を開始するための準備処理(記録準備処理)を実行する(ステップS101)。制御部102は、記録準備処理として、例えば、動画記録や画像認識に必要な各種デバイスの初期化、動画データを蓄積する記憶部104のバッファ(キャッシュ)の初期化、記憶部104の空き容量の調査やビットレートの設定等の処理を実行する。また、空き容量とビットレートに基づいて、動画記録可能時間を算出し、算出した動画記録可能時間を表示部107に表示する等の処理も行う。
【0043】
この時点では、後述のユーザからの記録開始決定操作が行われていないため(ステップS104;No)、いかなるデータも記録されることはないが、撮像部103による撮像は開始され、撮像された動画データ(撮像データ)はリアルタイムに表示部107に表示されている。
【0044】
また、この時点で画像認識部116における人物認識処理を開始することができる。図7は撮像データに対して人物認識処理を実行している様子の一例を図示したものである。図7の(a)は人物認識前の様子を示しており、被写体となっている3人の人物を撮像してはいるが、画像認識部116としては、まだそれを人物の顔とは認識していない状態である(もちろん、実際に操作しているユーザには3人の人物が誰かは分かっている。あくまでもシステムとして認識していない様子を示している)。図7の(b)は人物認識中の様子を示しており、画像認識部116が撮像データの中から3人の人物の存在を認識したが、まだ各人物が誰であるかを特定していない状態である。図7の(c)は人物認識後の様子を示しており、画像認識部116が3人の人物が誰であるかを特定した状態である。
【0045】
なお、図中の枠は人物の顔を認識し、顔に焦点をあてていることをユーザに知らしめるものである。画像認識部116による人物認識処理は一度だけ行われるものではなく、撮像中は絶えず行われるため、被写体がフレーム内で移動した場合はそれに合わせて顔の枠も追従して移動する。また、被写体の顔が見えなくなった場合(後ろを向いたり、物陰に隠れてしまった場合)には人物の存在を認識できなくなるため顔の枠は表示されなくなり、被写体の人数に増減があった場合にも適切に対処することができる。
【0046】
また、画像認識部116は、被写体の人物の顔画像と、人物管理テーブル203に含まれる人物の顔画像とをパターン照合する。このとき、被写体の人物と、人物管理テーブル203のすべての顔画像とを照合してもよいし、あるいは、ユーザが予め設定した特定の顔画像のみとを照合してもよい。言い換えるならば、前者は「被写体の人物は誰か?」、後者は「ユーザの指定した人物が被写体に含まれているか?」という認識方法である。それぞれの方法にメリットがあるため、ユーザ好みの方法で認識処理が行えるように、どちらの方法で認識処理を行うかをユーザがメニュー等から選択できるようにしてもよい。
【0047】
さらには、被写体の人物と、人物管理テーブル203に記録された顔画像との照合を、どの順序で行うか(照合の優先度)を決めておいてもよい。これにより照合時間が短くて済む効果が得られる。照合の優先度は、例えばユーザが手動で定めてもよいし、メールや通話や動画及び静止画の被写体とした頻度の順から定めてもよい。
【0048】
さらには、照合した結果、被写体の人物が人物管理テーブル203に存在しないと判断した場合に、上記人物管理テーブル203に存在しない人物を人物管理テーブル203に新規登録してもよい。この際、表示部107に新規登録するか否かを確認するメッセージを表示して、ユーザの選択を促してもよい。また、新規登録を促すか否かをユーザが予め設定できるようにしてもよい。この新規登録処理及び登録確認処理は、本来の目的である記録処理を妨げないように配慮し、記録処理を開始する前や後に行う構成としてもよい。
【0049】
なお、この時点で人物認識処理が完了しているか否かは、ステップS104以降の必須条件ではない。例えば、ステップS105の記録処理開始時に初めて実行するのでも構わない。しかし、人物を被写体とするならば、ユーザは人物の顔をより鮮明に撮影したいと考えるのが一般的である。そのためにも、人物認識処理は早めに実行し、ユーザが前述の枠の表示と、枠が人物の顔に正しくあたっている(即ち、人物認識処理が正しく行えている)ことを確認した上でステップS104の記録開始決定操作に進めるようにするのが望ましい。
【0050】
図6に戻り、上記の動画記録準備処理の結果に基づき、制御部102は、動画記録が可能であるか否かを判定する(ステップS102)。動画記録が不可能な場合とは、例えば、記憶部104に新たな画像ファイルを記録するための空き容量がない、動画記録に欠かせないデバイスが何らかのトラブルで利用できない等の状態が該当する。このように動画記録が不可能な場合(ステップS102;NO)、制御部102は、表示部107に「メモリがいっぱいで動画記録ができません。」等のエラーメッセージを表示する等して、ユーザに動画記録ができない旨を報知する(ステップS103)。その際、ユーザの使い勝手を考慮して、「動画を記録するには不要なデータを削除して下さい。」等、エラーへの対処に関するメッセージを表示してもよい。
【0051】
動画記録が可能な場合(ステップS102;YES)、制御部102は、ユーザによって、記録開始決定操作が行われたか否かを判定する(ステップS104)。例えば、ユーザは、撮像部103によって撮像され、表示部107に表示される映像を見ながら、当該通信端末装置10の高さや傾き、被写体との距離等を調整し、好みのタイミングで所定のキーやアイコンを操作することで、記録開始決定操作を行う。
【0052】
ユーザによって、記録開始決定操作が行われると(ステップS104;YES)、制御部102は、各デバイスの状態を記録準備状態から記録開始状態へと変更する等の制御を行い、撮像部103の撮像で得られた撮像データを記憶部104のバッファに動画データとして蓄積して行くと共に、後述する記録処理を実行する(ステップS105)。図10はバッファに動画データを蓄積している様子の一例を図示したものである。ここで、1秒あたりどれだけのデータ量が格納されるかは、記録開始時に設定したビットレートによって異なり、ビットレートが高いほど1秒あたりにバッファに格納されるデータ量は多くなる。図10の詳細は後述する。
なお、図示しないが、音声データもバッファに蓄積され、動画データと多重化してファイルに記録される。
【0053】
しかる後、ユーザから動画記録を終了するための操作(動画記録終了操作)等が行われると、ステップS105の記録処理は終了し、制御部102は、当該記録処理で生成した画像ファイルについての情報(画像ファイル情報)を画像管理テーブル202に追加する(ステップS106)。この際、画像管理テーブル202が記憶部104に存在しない場合は、制御部102は、画像管理テーブル202を新規作成後、新たに生成した画像ファイルについての情報を書き込む。以上で動画記録処理は終了する。
【0054】
続いて、記録処理(ステップS105)の詳細について、図8のフローチャートを参照して説明する。
【0055】
記録処理が開始されると、制御部102は、記憶部104から容量制限テーブル201を取得する(ステップS201)。次に、制御部102は、図7を参照して前述した手順により、画像認識部116による人物認識結果を取得する(ステップS202)。人物認識結果とは、撮像中のデータ内に人物が含まれているか否か、含まれていた場合には、その人物が誰であるかを特定した結果を意味する。
【0056】
次に、制御部102はステップS202で取得した人物認識結果に基づいて送信予定先を決定する(ステップS203)。送信予定先とは、この記録処理で記録した動画データに係る画像ファイルを送信する予定の通信先を意味する。本実施形態では、制御部102は、人物認識結果から、この記録処理で記録しようとしている被写体の人物の通信先を送信予定先として決定する。被写体の人物が複数存在し、何れかの制限容量に相違がある場合には、フレーム内で最も手前の人物の通信先を送信予定先として決定してもよいし、フレーム内で最も中央近くの人物の通信先を送信予定先として決定してもよい。あるいは、予めユーザが設定した人物毎、または通信先毎の優先度に従って、何れかの通信先を送信予定先として決定してもよい。さらには、メールの通信履歴や電話の通話履歴や記録した動画や静止画のデータから、所定期間内で最もユーザからのアクセスの多かった人物の通信先を送信予定先として決定してもよい。アクセス頻度の順位付けは、例えば、メールや通話や被写体となった回数から行ってもよいし、メールの文字数や通話時間や動画データ中に含まれている時間(被写体となった時間)から行ってもよい。
【0057】
続いて、制御部102は、人物管理テーブル203及び容量制限テーブル201を参照して、決定した送信予定先に対応する制限容量を取得する(ステップS204)。ここで、図9を用いて制限容量の取得手順を詳細に説明する。
【0058】
図9の例は、ステップS202の人物認識結果に基づくステップS203よって、「人物B」が送信予定先として決定された場合である。まず、取得した人物認識結果から被写体として「人物A」「人物B」「人物C」が存在していることが明らかとなり、ステップ203の送信予定先決定処理によって、送信予定先は「人物B」と決定される。次に、人物管理テーブル203を参照して、「人物B」の「メールアドレス」である「nihohe@def.com」から送信予定先のドメインが“@def.com”であることが明らかとなる。次に、容量制限テーブル201を参照して、“@def.com”の送信時の制限容量は3MBであることが明らかとなり、この制限容量に基づいて以降の処理ステップを実行する。
【0059】
なお、ステップS203において送信予定先を一つに決定することが困難な場合、制御部102は、ステップS203の処理をスキップし、ステップS204の処理とは、別の方法で制限容量を取得する。送信予定先を一つに決定することが困難な場合とは、例えば通信端末装置10の購入直後であって、ユーザによる種々の操作履歴がない場合や、ユーザ好みの設定が為されていない場合である。上記ユーザの操作履歴やユーザ好みの設定がないと、例えば被写体の人物が複数存在し、しかも全員がカメラから同じ距離に立っている等の特殊な条件が重なった場合に、送信予定先を一つに決定できないということが起こり得る。
【0060】
そこで、以下の方法で制限容量を取得することが考えられる。例えば、出荷時等に予め設定された値やユーザが任意に設定した値を制限容量としてもよいし、処理種別が“受信”の場合の制限容量(図3では、3MB)と同一にしてもよい。あるいは、容量制限テーブル201において、実際に通信が行われる前に、ユーザによって事前に通信先毎の制限容量が設定されている場合には、さらに詳細な制御が可能である。例えば、ステップS202の人物認識結果から被写体として「人物A」「人物B」「人物C」が存在していることが明らかとなった場合(例えば図7の(c))、送信予定先を一つには決定せず、人物管理テーブルと容量制限テーブルとから、「人物A」「人物B」「人物C」の誰に送信するにしても確実に送信できる容量を制限容量とする。即ち、3つの制限容量の中で最も小さい値である1MBを制限容量とすればよい。このように、制限容量を決定する方法は様々考えられるが、そのいずれにおいても「確実に送信できること」「送信が未遂に終わることを極力防止できること」を第一として決定することが使い勝手向上に効果的である。
【0061】
続いて、制御部102は、動画データを記録する画像ファイルの名称を決定する(ステップS205)。画像ファイルの名称は、予め定めた命名規則に従って決定する。制御部102は、例えば、通信端末装置10毎やメーカ毎に予め決められた独自の命名規則や、通信端末装置10間での再生互換性を確保するための統一命名規則等に従って画像ファイル名を決定する。本例では、新規にオープンする画像ファイル名を“MImg0001.mp4”として説明する。
【0062】
制御部102は、画像ファイル(MImg0001.mp4)を新規オープンし、当該画像ファイルをデータ書き込み可能な状態にする(ステップS206)。
【0063】
制御部102は、記録処理を継続するか否かを判定する(ステップS207)。具体的には、ユーザによって、動画記録終了操作が行われたか否かを判定する。ユーザによって、動画記録終了操作が行われた場合(ステップS207;NO)、制御部102は、撮像データのバッファへの蓄積を停止すると共に、その時点でバッファに蓄積されていた未書き込みの動画データを画像ファイル(例えば、MImg0001.mp4)に書き込む(ステップS208)。未書き込みの動画データを全て画像ファイルに書き込むと、制御部102は、オープンしていた画像ファイルをクローズし(ステップS209)、本処理(記録処理)を終了する。
【0064】
一方、動画記録終了操作が行われていない場合(ステップS207;YES)、制御部102は、画像容量監視部105の監視結果に基づいて、バッファに蓄積した動画データのデータ量が予め設定した閾値に達しているか否かを判定する(ステップS210)。ここでの閾値(図10参照)は、蓄積した動画データをファイルに書き込むか否かを判定する際に使用するパラメータであり、制御部102は、動画データを閾値に達するまでバッファに蓄積させてから画像ファイルに書き込むように制御する。例えば、バッファの容量が2MB、閾値を1MBとした場合、バッファに蓄積した動画データのデータ量が1MB以上になると、蓄積した動画データが画像ファイルに書き込まれる。
【0065】
上記判定の結果、バッファに蓄積した動画データのデータ量が閾値に達している場合(ステップS210;YES)、制御部102は、当該動画データを画像ファイル(例えば、MImg0001.mp4)に書き込み(ステップS210)、閾値に達していない場合(ステップS210;NO)、ステップS207からの処理を繰り返す。
【0066】
このように制御するのは、バッファに格納された動画データを逐次、画像ファイルに書き込むよりも、ある程度まで動画データを蓄積してから一定量毎に画像ファイルに書き込む方が、制御部102の発する命令数が少なく済み、処理負荷が低減され、処理の効率化、高速化が図れるからである。また、画像ファイルを記録する記録媒体(フラッシュメモリ、ハードディスクドライブ、各種のメモリカード等)やファイルシステムによっては、例えば、32kBの倍数のデータは効率良く高速に書き込める等の特徴を有するものがあり、この点を考慮しても、ある程度データを蓄積してからファイルに書き込む方が好ましいといえる。もちろん、このような制御は必ずしも必要ではなく、バッファに格納された動画データを逐次、画像ファイルに書き込むように制御してもよい。また、閾値はバッファ容量(例えば、2MB)以下であれば、任意の値が設定可能である。
【0067】
図11は、バッファから画像ファイルへの書き込みを概念的に示した図である。図11では、バッファに蓄積した動画データのデータ量が閾値にまで到達したため、動画データが、順次、画像ファイル(ここでは、“MImg0001.mp4”)へ書き込まれて行く様子が示されている。ここで、画像ファイルへの書き込み単位は、上述した記録媒体毎に設定された書き込み効率の良い値を選択して採用するのが好ましい。
【0068】
また、画像ファイルへの書き込み中、制御部102は、画像容量監視部105を通じて画像ファイルの容量を監視し、その結果に基づいて、制御部102は、画像ファイルの容量が、ステップS204で取得した制限容量に到達したか否かを判定する(ステップS212)。本例では、容量制限を3MBとしているため、制御部102は、画像ファイルの容量が3MBに到達したか否かを判定する。もしくは、バッファから画像ファイルへと書き込んだサイズが3MBに到達したか否か等を判定してもよい。
【0069】
上記判定の結果、制限容量に到達していない場合(ステップS212;NO)、ステップS207からの処理が繰り返し実行される。
【0070】
一方、画像ファイルの容量が制限容量に到達した場合(ステップS212;YES)、当該画像ファイル(例えば、“MImg0001.mp4”)をクローズする(ステップS213)。そして、制御部102は、記録処理を継続するため、新たに画像ファイルをオープンする(ステップS214)。本例では、この画像ファイルのファイル名を“MImg0002.mp4”とする。新たな画像ファイルをオープン後、ステップS207からの処理が繰り返し実行される。図12には、バッファに蓄積された動画データを画像ファイル“MImg0001.mp4”に書き込み中に、画像ファイル“MImg0001.mp4”の容量が制限容量(ここでは、3MB)に到達したため、バッファに蓄積された残りの動画データを、新たにオープンした画像ファイル“MImg0002.mp4”に書き込む様子が示されている。
【0071】
以降、ユーザによって動画記録終了操作が行われない限り(ステップS207;NO)、上記処理が繰り返し実行される。例えば、記録処理が継続した結果、“MImg0002.mp4”の容量が3MBに到達すると(ステップS212;YES)、制御部102は、“MImg0002.mp4”をクローズし(ステップS213)、画像ファイル“MImg0003.mp4”を新規オープンし、バッファに蓄積された動画データを“MImg0003.mp4”に書き込む(ステップS211)。
【0072】
以上の記録処理が終了すると、上述したように、制御部102は、画像管理テーブル202を更新する(図6のステップS106)。例えば、当該動画記録時において、画像管理テーブル202が記憶部104に存在しない場合、制御部102は、画像管理テーブル202を新規作成後、新たに生成した画像ファイル(例えば、“MImg0001.mp4”、“MImg0002.mp4”及び“MImg0003.mp4”)についての情報(画像ファイル情報)を書き込む(図4参照)。
【0073】
以上のようにして、動画を高画質で記録する際においても、メール送信時の容量制限に抵触しない画像ファイルを生成することができる。
【0074】
なお、本実施例では、記録開始前に制限容量を決定し、以降は記録終了まで制限容量を変更することはないものとしたが、途中で変更することも可能である。
【0075】
記録開始後も、画像認識部116は常に被写体中の人物認識を行っているため、例えば被写体の人物が記録開始前から入れ替わったことも認識することができる。例えば、記録開始直後から1秒だけ映っていた人物Xと、記録開始後1秒から5秒まで映っていた人物Yとでは、人物Yの方が長く映っていることから記録した動画を人物Yに送信する可能性も高いと考えられる。このとき、人物Xに対応する制限容量が3MB、人物Yに対応する制限容量が1MBであったとすると、制限容量3MBで記録した動画は制限容量に抵触して人物Yに送信することができなくなってしまうが、記録の途中で制限容量を1MBに変更すれば、人物Yに送信することができるようになる。もちろん、制限容量を変更する前には、既に記録した画像ファイルのサイズが1MB未満であることを確認しておくことが望ましい。
【0076】
さらには、記録開始時は被写体によらず最小の制限容量を設定(例えば、1MB)としておき、画像ファイルの記録が進んで画像ファイル容量が上記設定した1MBに到達する手前で、被写体中の人物認識を行い、被写体の人物に対応する制限容量が1MBよりも大きければ制限容量を変更する(例えば、3MB)ようにしてもよい。最初は制限容量を最小値としておくことにより、画像ファイルの送信が未遂に終わることを極力防止するという効果が得られる。それに加えて、途中で制限容量を適宜大きく変更することにより、記録した画像ファイルの総容量は同じであっても、画像ファイルの数は少なくすることができて管理上の都合がよいという効果も得られる。
【0077】
続いて、上述の動画記録処理で生成した画像ファイルをメールに添付して送信する際の処理(画像ファイル送信処理)について、図13及び図14のフローチャートを参照して説明する。
【0078】
ユーザは、メニュー画面から「メール」→「新規作成」等の項目を選択することで画像ファイル送信処理を開始させることができる。あるいは、ショートカットキー等、予め定義された特定のキーを押下することで、即座に画像ファイル送信処理が開始されるようにしてもよい。特に、本実施形態では、通常のメール送信とは異なり、動画データを添付するメールの送信、さらには複数の画像ファイルで構成される一つの動画データを送信する処理であるため、専用のショートカットキー等を設けると、通常のメール送信と明確に差別化ができ、ユーザの混乱を防ぐことができて便利である。かかる指示が入力されると、制御部102は、画像ファイル送信処理を開始する。
【0079】
制御部102は、メールの送信先(宛先)の指定をユーザから受け付ける(ステップS301)。次に、制御部102は、添付する画像ファイルの指定をユーザから受け付ける(ステップS302)。例えば、制御部102は、記憶部104に保存している各画像ファイルについて、そのファイル名の一覧や、サムネイル等を表示部107に表示する。ユーザは、表示された添付候補の中から、メールに添付したい画像ファイルを選択する。図15の(a)は、画像ファイル選択後における表示部107の表示画面の一例である。
【0080】
制御部102は、ユーザが指定した画像ファイルが、当該宛先に送信可能か否かを判定する(ステップS303)。具体的には、制御部102は、画像管理テーブル202を参照して、ユーザが指定した画像ファイルのファイル容量を取得し、このファイル容量が、容量制限テーブル201で示される当該宛先(通信先)の制限容量以下であるか否かを判定する。その結果、送信不可、即ち、ユーザが指定した画像ファイルのファイル容量が当該宛先の制限容量を超えている場合(ステップS303;NO)、制御部102は、表示部107にエラーメッセージを表示し(ステップS304)、本処理(画像ファイル送信処理)を終了する。
【0081】
なお、S303は、より確実にファイル送信するために行うものとしたが、この処理はスキップしてもよい。なぜならば、本発明では、S212で制限容量を超過しないように記録を行っており、S303は必ずYESになるためである。S303をスキップすることにより、送信処理ステップ数を削減できる。
あるいは、送信しようとするファイルが容量制限を越えないように記録されたか否かを示す情報、もしくは該ファイルが容量制限を越えていないことのチェックが済んでいるか否かの情報を記憶しておいてもよい。これらの情報より、容量制限を越えないように記録されていた、もしくは、チェック済みであったことが判別できればS303をスキップするようにしてもよい。ここで、これらの情報は、フラグの役割を果たせばよく、例えば、1ビットの情報を用いて、チェック済;1、未チェック;0とすることなどが考えられる。これらの情報を画像ファイルと紐付けて記憶部104に記憶すればよい。なお、前記情報の記憶先や記憶方法は、これに限定されず、画像ファイルとビット情報との関連が明らかになれば、他の手段でも構わない。
【0082】
一方、送信可能、即ち、ユーザが指定した画像ファイルのファイル容量が当該宛先の制限容量以下の場合(ステップS303;YES)、制御部102は、画像管理テーブル202を参照して、当該画像ファイルと関連する他の画像ファイルが存在するか否かを判定する(ステップS305)、関連する画像ファイルが存在しない場合(ステップS305;NO)、制御部102は、当該画像ファイルを添付したメールを当該宛先に送信し(ステップS306)、本処理を終了する。なお、メールの件名と本文は、必要に応じて、ユーザにより操作部101を介して入力されているものとする。
【0083】
一方、関連する画像ファイルが存在する場合(ステップS305;YES)、制御部102は、関連画像ファイル送信処理を実行する(ステップS307)。なお、制御部102は、関連画像ファイル送信処理を実行する前に、図15(b)に示すように、関連する画像ファイルの一覧を表示部107に表示して、ユーザに提示してもよい。さらには、図15(c)に示すように、関連する画像ファイルも送信するか否かをユーザに確認してもよい。この場合、ユーザにより“いいえ”が選択されると、制御部102は、ステップS302で受け付けた画像ファイルのみを添付したメールを送信すればよい。
【0084】
図14は、関連画像ファイル送信処理の手順を示すフローチャートである。制御部102は、送信対象の画像ファイルを記憶部104から取得する(ステップS401)。ここで、当該関連画像ファイル送信処理の開始直後においては、図13のステップS302で受け付けたユーザの指定した画像ファイルが送信対象の画像ファイルとなる。送信対象の画像ファイルを取得すると、制御部102は、当該画像ファイルを添付したメールを、図10のステップS301で受け付けたユーザの指定した宛先に送信する(ステップS402)。
【0085】
次に、制御部102は、未送信の画像ファイルが存在するか否かを判定する(ステップS403)。未送信の画像ファイルが存在する場合(ステップS403;YES)、制御部102は、次の送信対象の画像ファイルを記憶部104から取得する(ステップS401)、この際、未送信の画像ファイルが複数存在する場合、制御部102は、画像IDが若い方から順に(即ち、昇順)、送信対象の画像ファイルとして取得する。そして、制御部102は、当該画像ファイルを添付したメールを当該宛先に送信する(ステップS402)。
【0086】
未送信の画像ファイルが存在しない場合(ステップS403;NO)、送信した各画像ファイルについての画像ファイル情報を送信画像管理情報として生成して送信し(ステップS404)、本処理(関連画像ファイル送信処理)を終了する。例えば、ユーザにより、画像ファイル“MImg0001.mp4”が選択された場合、上記の関連画像ファイル送信処理により、“MImg0001.mp4”→“MImg0002.mp4”→“MImg0003.mp4”が順次、相手先(例えば、“@def.com”)に送信される。そして、その場合の送信画像管理情報は、図4に示す画像管理テーブル202の内容と同様のものが生成される。なお、送信画像管理情報は、送信した先でも関連する画像を適切に管理することができれば、その内容に限定はなく、送信した各画像ファイル同士の関係を示す情報が少なくとも含まれていればよい。
【0087】
なお、送信画像管理情報の送信態様は様々である。例えば、本例の如く、全ての画像ファイルの送信後ではなく、画像ファイルの送信に先んじて送信してもよい。あるいは、画像ファイルと別個に送信するのではなく、何れかの画像ファイルを送信する際、当該メールのヘッダ部に、送信画像管理情報を埋め込むようにしても構わないし、各画像ファイルの送信毎に、その画像ファイルのみに対応する送信画像管理情報(即ち、画像ファイル情報)を当該ヘッダ部に埋め込むようにしてもよい。あるいは、送信画像管理情報を画像ファイルのヘッダ部に埋め込むようにしてもよい。
【0088】
図16は、上記の関連画像ファイル送信処理の実行中に表示部107で表示される画面の一例である。図16(a)は、ステップS402において、最初の画像ファイル(例えば、“MImg0001.mp4”)を添付したメールを送信しているときの表示画面例を示す図である。図16(a)において、画面中央のプログレスバーはメール送信の進行状況を示している。本例では、このプログレスバーは、“MImg0001.mp4”を添付したメールの送信状況ではなく、“MImg0001.mp4”及びそれに関連する画像ファイル全体の送信状況を示すものである。即ち、例えば、“MImg0001.mp4”を添付したメール1、“MImg0002.mp4”を添付したメール2、“MImg0003.mp4”を添付したメール3という、3通のメールを送信するときのトータルの進行状況を示している。
【0089】
図16(a)は、全3通のうちの1通目のメール(上記のメール1)を送信中の表示例であるため、プログレスバーは100%の1/3である33%を示している。また、図16(b)は、2通目のメール(上記のメール2)を送信中の表示例であるため、プログレスバーは100%の2/3である67%を示している。
【0090】
以上説明したように、本発明の通信端末装置によれば、動画記録の際、画像ファイルを送信する予定の宛先(通信先)におけるメール受信の制限容量を考慮して、動画データを格納する画像ファイルの容量を決定する。したがって、記録した動画に係る画像ファイルを確実に通信相手に送信することができる。また、画像ファイルの制限容量は、動画データ記録時の人物認識結果に基づいて決定する。したがって、記録した動画に係る画像ファイルを被写体の人物に送信する上で最も好適なファイル容量で記録することができる。
【0091】
また、動画記録時において、一連の動画データが複数の画像ファイルに分割されて格納された場合には、これらの画像ファイルの関連を示す情報を生成し、管理するため、他の通信端末装置等に画像ファイルを送信する際、送信する画像ファイルの関連を調べることで、関連する画像ファイルを漏れなく送信することができる。また、本発明の通信端末装置で動画再生する際、再生する画像ファイルの関連を調べることで、関連する画像ファイルを正しい順番で再生することができ、記録した動画データを正確に再生することができる。さらには、他の通信端末装置等に画像ファイルを送信する際、画像ファイルの関連を示す情報も併せて送信するため、受信側の通信端末装置等においても問題なく動画再生することができる。
【0092】
このように、本発明は、画像ファイルの制限容量の決定に人物認識結果を用いるが、これはカメラ及び画像認識部を備えた通信端末装置が人物(の顔)を美しく撮影するという本来の目的を達成する上で必要となる、種々のハードウェア、プログラム、情報を、有効利用したものである。他の機能で使用される構成要素を共用するため、本発明は低いコストで通信端末装置に適用することができるし、容量制限を決定する際にシステムにかかる処理負荷も極僅かで済むというメリットがある。
【0093】
なお、本発明は、上記実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
【0094】
例えば、本実施の形態においては、撮像部103において取得できる画像データは動画の画像データであるとして、各処理について説明したが、撮像部103は、動画と静止画の両方を撮影可能であってもよく、動画モードと静止画モードとで選択可能であってもよい。
この場合、人物管理テーブル203に格納する顔の静止画像は、撮像部103により、あらかじめ静止画モードで撮像して記録した画像データでもよい。
【0095】
また、送信するメールの容量は、厳密には、添付する画像ファイル等の容量だけでなく、メール本文の文字数等も影響するが、この点に関しては、例えば、容量制限テーブル201(図3参照)に設定する各容量制限情報の制限容量において、予め、想定されるメール本文の容量を差し引いておけばよい。例えば、送信の制限容量が3MBであり、予測されるメール本文の容量が最大0.1MBである場合、容量制限テーブル201に設定する当該制限容量を2.9MB以下にすればよい。メール本文の最大容量は、例えば、入力可能な文字数を制限すること等により、ほぼ正確な値が予測可能である。この場合、関連する画像ファイルを送信する際に使用する件名や本文を定型化しておくと、さらに予測精度が向上する。
【0096】
また、上記実施形態の通信端末装置10が実行したプログラムを、既存の携帯電話等に適用することで、当該携帯電話等を本発明に係る通信端末装置として機能させることも可能である。
【0097】
このようなプログラムの配布方法は任意であり、例えば、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto Optical Disk)、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、携帯電話網やインターネット等の通信ネットワークを介して配布してもよい。
【0098】
また、上記実施形態の通信端装置10から送信された画像ファイル及び送信画像管理情報を受信した他の通信端末装置等は、通信端末装置10と同等の機能を備えている必要はない。即ち、受信した送信画像管理情報に基づいて、受信した画像ファイルを再生できる機能を少なくとも備えていればよい。また、通信端末装置10は、画像ファイルの送信の際、動画再生処理用のプログラムも併せて、宛先の通信端末装置等に送信する仕様にしてもよい。
【0099】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0100】
(付記1)
ユーザの操作を受け付ける操作手段と、
被写体を撮像する撮像手段と、
電子メール送受信手段と、
特定の人物の画像と、前記人物の電子メールの通信先とを対応づけて記憶する人物管理情報記憶手段と、
前記電子メール送受信手段による一度の電子メール送信で送信可能な容量の最大値に相当する制限容量を、前記電子メールの通信先と対応づけて記憶する制限容量情報記憶手段と、
前記撮像手段による撮像の結果得られた動画データを蓄積する動画データ蓄積手段と、
前記動画データの画像の中から前記人物管理情報記憶手段に記憶されている前記人物の画像を判別して認識する人物認識手段と、
前記人物認識手段で認識された人物の画像に対応する前記電子メールの通信先を人物管理情報記憶手段から取得し、取得した電子メールの通信先に対応する制限容量を前記制限容量情報記憶手段から取得する制限容量取得手段と、
前記動画データ蓄積手段に蓄積された動画データを記録した画像ファイルであって、前記制限容量取得手段により取得した制限容量以下の画像ファイルを生成する画像ファイル生成手段と、を備え、
前記電子メール送受信手段は、前記人物管理情報記憶手段から取得した前記電子メールの通信先に対して、前記画像ファイル生成手段が生成した画像ファイルを送信する、
ことを特徴とする通信端末装置。
【0101】
(付記2)
前記画像ファイル生成手段は、前記動画データ蓄積手段に蓄積された動画データの容量が前記制限容量を超えるとき、前記動画データを書き込む画像ファイルが前記制限容量を超えないように順次複数の画像ファイルに書き込み、前記制限容量以下の画像ファイルを複数生成し、
前記電子メール送受信手段は、生成した複数の画像ファイルを各々電子メールに添付して送信する、
ことを特徴とする付記1に記載の通信端末装置。
【0102】
(付記3)
前記画像ファイル生成手段は、一の動画データから生成した前記複数の画像ファイルのうちの各々の画像ファイルに対し、当該動画データから生成した他の画像ファイルとの関連を示す関連画像ファイル情報を生成する関連画像ファイル情報生成手段を有し、
前記電子メール送受信手段は、前記電子メールに、前記画像ファイルに対応する前記関連画像ファイル情報を付加して送信することを特徴とする付記2に記載の通信端末装置。
【0103】
(付記4)
前記画像ファイル生成手段は、
前記画像ファイルの容量を監視する画像ファイル容量監視手段と、前記画像ファイル容量監視手段が監視している前記画像ファイルの容量が前記制限容量を超えるか否かを判定する容量判定手段を有し、
前記操作手段がユーザからの動画記録指示操作を受け付けると、新規の画像ファイルをオープンして前記動画データ蓄積手段に蓄積された動画データを書き込み、前記容量判定手段により、前記画像ファイルの容量が前記制限容量を超えると判定された場合、超える前に当該画像ファイルをクローズすると共に、新規に画像ファイルをオープンして、残りの動画データを書き込む、
ことを特徴とする付記1乃至3のいずれかに記載の通信端末装置。
【0104】
(付記5)
前記画像ファイル生成手段は、前記人物認識手段によって複数の人物の画像を認識した場合、該複数の人物の画像に対応する前記通信先の中から、前記制限容量が最も小さい通信先、又は、所定期間内で電子メール送受信の頻度が最も高い通信先、又は最も近時に電子メールの送受信を行った通信先を選択し、該選択した通信先に対応する前記制限容量以下の画像ファイルに前記動画データを書き込むことを特徴とする付記1乃至4のいずれかに記載の通信端末装置。
【0105】
(付記6)
前記操作手段がユーザからの動画送信指示操作を受け付けると、前記関連画像ファイル情報に基づいて、ユーザが指定した一の動画に係る画像ファイルを順次取得する送信対象画像ファイル取得手段をさらに備え、
前記電子メール送受信手段は、前記送信対象画像ファイル取得手段が前記画像ファイルを取得した後に、当該画像ファイル、及び前記画像ファイルに対応する前記関連画像ファイル情報を含んだ電子メールを、前記人物管理情報記憶手段より取得した通信先に送信する、
ことを特徴とする付記3に記載の通信端末装置。
【0106】
(付記7)
前記電子メール送受信手段は、前記画像ファイルが添付された少なくとも何れかの電子メールのヘッダ部に前記関連画像ファイル情報を格納する、
ことを特徴とする付記6に記載の通信端末装置。
【0107】
(付記8)
コンピュータに、
撮像手段による撮像を行う撮像ステップと、
前記撮像手段による撮像の結果得られた動画データを動画データ蓄積手段に蓄積する動画データ蓄積ステップと、
人物認識手段に、前記動画データの画像の中における、予め記憶手段に記憶している人物の画像を判別して認識させる人物認識ステップと、
前記人物認識ステップで認識された人物の画像に対応する電子メール通信先を取得する電子メール通信先取得ステップと、
前記電子メール通信先を宛先とする電子メール送信で送信可能な容量の最大値に相当する制限容量を取得する制限容量情報取得ステップと、
前記動画データ蓄積手段に蓄積された動画データを記録した画像ファイルであって、前記制限容量情報取得ステップにより取得した制限容量以下の画像ファイルを生成する画像ファイル生成ステップと、
前記電子メール通信先取得ステップで取得した前記電子メール通信先に、前記画像ファイル生成ステップで生成した画像ファイルを送信する画像ファイル送信ステップと、
を実行させるためのプログラム。
【符号の説明】
【0108】
10…通信端末装置、101…操作部、102…制御部、103…撮像部、104…記憶部、105…画像容量監視部、106…通信部、107…表示部、108…音声処理部、109…多重/分離部、110…外部メモリドライバ部、111…外部メモリI/F部、112…外部メモリ、113…音声入出力端子、114…アンテナ、115…画像ファイル、201…容量制限テーブル、202…画像管理テーブル、203…人物管理テーブル
【技術分野】
【0001】
本発明は、通信端末装置における動画の処理技術に関する。
【背景技術】
【0002】
近年、動画記録機能を備えた携帯電話等の通信端末装置は、広く浸透している。また、昨今の撮像技術や映像符号化技術の進歩により、通信端末装置において高画質な動画を記録可能とするための種々の技術が提案されている(例えば、特許文献1等)。
【0003】
さらに、前記通信端末装置において人物認識機能を備えることもある。これに関連し、特許文献2には、撮影した画像から特定した人物情報と、アドレス帳の情報とを関連付けることによる様々な使い勝手向上例が示されている。
【0004】
通信端末装置で記録した動画の利用は様々であり、当該通信端末装置での再生のみならず、他の通信端末装置で再生できるように、電子メール(以下、単に「メール」と称する。)に添付して、当該他の通信端末装置に送信するケースも少なくない。これに関連し、特許文献3には、宛先の受信可能容量と自端末のメール送信可能容量から最適な容量のメールを送信するメール機能付き携帯通信端末が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−267020号公報
【特許文献2】特開2008−182764号公報
【特許文献3】特開2006−85228号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
高画質な動画とは、言い換えるならば、ビットあたりの符号量が大きい画像である。即ち、同じ時間記録した高画質な動画と低画質な動画とを比較すると、高画質な動画の方がファイル容量は大きくなる。
【0007】
また、特許文献3に示すように、一般に、メールの送信及び受信には容量の制限がある。したがって、高画質の動画ファイルをメールに添付して送受信処理を行う場合、ファイル容量が大きいため、送受信容量の制限に抵触してしまい、動画ファイルを確実に送受信できないおそれがある。そうなると、受信側の通信端末装置では、元の動画を正確に再生することができない。
【0008】
本発明は、上記実情に鑑みてなされたものであり、記録した高画質動画の送受信が未遂に終わることを極力防止でき、受信側での正確な再生が期待できる通信端末装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明の第1の観点に係る通信端末装置は、
ユーザの操作を受け付ける操作手段と、
被写体を撮像する撮像手段と、
電子メール送受信手段と、
特定の人物の画像と、前記人物の電子メールの通信先とを対応づけて記憶する人物管理情報記憶手段と、
前記電子メール送受信手段による一度の電子メール送信で送信可能な容量の最大値に相当する制限容量を、前記電子メールの通信先と対応づけて記憶する制限容量情報記憶手段と、
前記撮像手段による撮像の結果得られた動画データを蓄積する動画データ蓄積手段と、
前記動画データの画像の中から前記人物管理情報記憶手段に記憶されている前記人物の画像を判別して認識する人物認識手段と、
前記人物認識手段で認識された人物の画像に対応する前記電子メールの通信先を人物管理情報記憶手段から取得し、取得した電子メールの通信先に対応する制限容量を前記制限容量情報記憶手段から取得する制限容量取得手段と、
前記動画データ蓄積手段に蓄積された動画データを記録した画像ファイルであって、前記制限容量取得手段により取得した制限容量以下の画像ファイルを生成する画像ファイル生成手段と、を備え、
前記電子メール送受信手段は、前記人物管理情報記憶手段から取得した前記電子メールの通信先に対して、前記画像ファイル生成手段が生成した画像ファイルを送信する、
ことを特徴とする。
【0010】
本発明の第2の観点に係るプログラムは、
コンピュータに、
撮像手段による撮像を行う撮像ステップと、
前記撮像手段による撮像の結果得られた動画データを動画データ蓄積手段に蓄積する動画データ蓄積ステップと、
人物認識手段に、前記動画データの画像の中における、予め記憶手段に記憶している人物の画像を判別して認識させる人物認識ステップと、
前記人物認識ステップで認識された人物の画像に対応する電子メール通信先を取得する電子メール通信先取得ステップと、
前記電子メール通信先を宛先とする電子メール送信で送信可能な容量の最大値に相当する制限容量を取得する制限容量情報取得ステップと、
前記動画データ蓄積手段に蓄積された動画データを記録した画像ファイルであって、前記制限容量情報取得ステップにより取得した制限容量以下の画像ファイルを生成する画像ファイル生成ステップと、
前記電子メール通信先取得ステップで取得した前記電子メール通信先に、前記画像ファイル生成ステップで生成した画像ファイルを送信する画像ファイル送信ステップと、
を実行させることを特徴とする。
【発明の効果】
【0011】
本発明によれば、人物認識から決定した制限容量に基づいて高画質動画を記録するため、該動画の送受信が未遂に終わることを極力防止できる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態に係る通信端末装置の外観図である。
【図2】図1の通信端末装置の内部構成を示すブロック図である。
【図3】容量制限テーブルの一例を示す図である。
【図4】画像管理テーブルの一例を示す図である。
【図5】人物管理テーブルの一例を示す図である。
【図6】動画記録処理の手順を示すフローチャートである。
【図7】人物認識処理について説明するための図である。
【図8】記録処理の手順を示すフローチャートである。
【図9】人物認識を利用した制限容量の決定について説明するための図である。
【図10】バッファへの動画データの蓄積について説明するための図である。
【図11】画像ファイルへの動画データの書き込みについて説明するための図である。
【図12】画像ファイルの切り替えについて説明するための図である。
【図13】画像ファイル送信処理の手順を示すフローチャートである。
【図14】関連画像ファイル送信処理の手順を示すフローチャートである。
【図15】画像ファイル送信前の表示画面例を示す図である。
【図16】画像ファイル送信中の表示画面例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の一実施形態について図面を参照して詳細に説明する。
【0014】
図1は、本実施形態に係る通信端末装置10の外観を示す図であり、図2は、この通信端末装置10の内部構成を示すブロック図である。通信端末装置10は、例えば、携帯電話である。なお、本発明に係る通信端末装置をPHS(Personal Handy-phone System)、PDA(Personal Digital Assistant)、PC(Personal Computer)等で具現化してもよい。
【0015】
通信端末装置10は、操作部101と、制御部102と、撮像部103と、記憶部104と、画像容量監視部105と、通信部106と、表示部107と、音声処理部108と、多重/分離部109と、外部メモリドライバ110と、外部メモリI/F部111と、画像認識部116と、を備える。
【0016】
操作部101は、各種のキーボタン等から構成され、ユーザからの操作入力を受け付け、受け付けた操作入力に係る信号を制御部102に送出する。操作部101は、ユーザから、例えば、当該通信端末装置10の電源ON/OFF操作、電話番号の入力やメール本文作成のための入力操作、被写体の撮像に係る操作等を受け付ける。
【0017】
制御部102は、CPU(Central Processing Unit)、主記憶装置等で構成され(何れも図示せず)、通信端末装置10の各部を制御すると共に、記憶部104に記憶されている各種プログラムに基づいて、動画の記録や再生、電子メール(以下、単に「メール」と称する。)の作成や送信等、後述する各処理を実行する。なお、本実施形態において、制御部102は、人物認識、画像ファイル書き込み、容量判定、送信対象画像ファイル取得、送信画像管理情報生成等の機能を担う。
【0018】
撮像部103は、CCD(Charge Coupled Device)やA/Dコンバータ等から構成され、被写体を撮像して得られた動画像を光信号からアナログ電気信号に変換すると共に、アナログ電気信号をデジタル信号に変換する。例えば、撮像部103は、被写体である人物の顔や景色、文字等を撮像し、その結果得られた動画像を制御部102で扱えるデジタル信号(画像データ)に変換する。制御部102は、撮像部103からの画像データを必要に応じて表示部107に出力する。
【0019】
通信部106は、アンテナ114等を備え、携帯電話における所定の通信方式にて、他の通信端末装置や情報処理装置とデータの送受信を行う。また、通信部106は、基地局、ロケーションサーバ、GPS(Global Positioning System)衛星等とデータの送受信を行い、通信端末装置10の位置座標情報(経度、緯度)等を取得する。また、通信部106は、通信端末装置10がインターネットにアクセスするための通信処理等も行う。なお、通信部106は、例えば、CDMA(Code Division Multiple Access)、EV−DO(Evolution Data Only)、無線LAN等の複数の通信方式を利用した通信が可能となるように構成してもよい。
【0020】
表示部107は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等の表示デバイスで構成され、撮像部103により撮像された画像等を表示する。また、表示部107は、ユーザが通信端末装置10の機能を利用するために必要な各種の情報(例えば、電源状態、電波強度、電池残量、サーバ接続状態等の動作状態、未読メールの有無、入力した電話番号や着信時の発呼者の電話番号、送受信メールの内容、動画及び静止画、インターネット接続時におけるWeb画面等の受信データ等)を表示する。
【0021】
ユーザは、通信端末装置10で動画を記録する際、表示部107に表示された画像をモニタしながら、所望のタイミングで、例えば、操作部101が備える所定のキーボタンを押下することで、動画記録開始操作を行う。なお、表示部107は、メインとサブの2つ、もしくはそれ以上の表示デバイスで構成されてもよい。
【0022】
記憶部104は、例えば、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリで構成され、撮像部103によって得られたり、あるいは、他の通信端末装置との通信等により取得した画像ファイル115、容量制限テーブル201、画像管理テーブル202、人物管理テーブル203を記憶する。すなわち、記憶部104は、特許請求の範囲における制限容量情報記憶手段、関連画像ファイル情報格納手段、人物管理情報記憶手段の機能を担う。また、記憶部104は、通信端末装置10で扱うその他の各種データ、メーラ(電子メールクライアント)等のアプリケーションソフトウェア、本発明特有の機能を実現するためのプログラム等も記憶する。
【0023】
容量制限テーブル201は、図3に示すように、容量制限IDと、処理種別と、通信先と、制限容量と、が対応付けられた制限容量情報がエントリされたデータテーブルである。「処理種別」は、容量の制限を受ける処理内容が送信又は受信の何れであるかを示し、「通信先」は、通信相手を特定する情報(本実施形態では、ドメイン名)を示す。
【0024】
「制限容量」は、処理種別や通信相手毎に制限を設けた容量(データサイズ)を示す。具体的には、処理種別が受信の場合は、通信端末装置10が1回の通信で受信可能な最大のデータサイズを示している。また、処理種別が送信の場合は、当該通信相手に、1回の通信で送信可能な最大のデータサイズを示している。
【0025】
図3の例では、処理種別が受信の際の制限容量は、通信相手によらず3MBであることを示している。一方、送信の際の制限容量は、通信相手により異なり、ドメイン名が「@abc.com」の場合には1MB、ドメイン名が「@def.com」の場合には3MB、ドメイン名が「@ghi.com」の場合には2MBであることを示している。
【0026】
容量制限テーブル201は、初期状態(出荷状態)では、1レコード(容量制限ID“L_01”の制限容量情報)のみがエントリされている。そして、新たな通信先とメールの送受信が行われると、当該通信先についての制限容量情報が制御部102によって自動的にエントリされる。なお、ユーザが、操作部101を介して、新たな通信先の制限容量情報をエントリしてもよいし、エントリされた制限容量情報を更新できるようにしてもよい。
【0027】
なお、制限容量情報には、上記以外にも様々な項目が含まれていてもよい。例えば、通信相手のユーザが使用する通信端末装置の種別を示す項目等が含まれていてもよい。
【0028】
画像管理テーブル202は、記憶部104に記憶している動画の画像ファイル115を適切に管理するための情報である。画像管理テーブル202は、画像ファイルに対して何らかの処理、例えば、記録、コピー、削除、再生、送信等を行う際に参照される。画像管理テーブル202は、画像ファイルの記録時に記憶部104に存在していなければ新規に作成され、既に存在している場合には内容が更新される。
【0029】
画像管理テーブル202は、図4に示すように、動画の画像IDと、ファイル名と、ビットレートと、記録時間と、ファイル容量と、関連ファイルと、が対応付けられた画像ファイル情報がエントリされたデータテーブルである。図4の例では、先頭にエントリされた画像ファイル情報において、画像ID“I_01”が付与されており、ファイル名が“MImg0001.mp4”であることが示されている。そして、この画像ファイルは、記録時間が3秒間で、ビットレートが1Mbpsであり、その容量が3MBであることが示されている。さらに、この画像ファイルは、画像ID“I_02”及び画像ID“I_03”の各画像ファイルと関連があることが示されている。
【0030】
「関連ファイル」には、記録した一連の動画データが複数の画像ファイルに分割されて格納された場合に、連続する他の画像ファイルの情報が関連ファイルとして格納される。具体的には、関連する他の画像ファイルの画像IDが格納される。図4の例では、ファイル名と、関連ファイルの情報より、動画データを記録中に、画像ID“I_01”の画像ファイルの容量が制限容量(3MB)に到達し、以後の動画データが、画像ID“I_02”の画像ファイルに格納されたことが判る。そして、さらに、画像ID“I_02”の画像ファイルの容量も3MBに到達したため、以後の動画データが、画像ID“I_03”の画像ファイルに格納されたことが判る。
【0031】
即ち、画像ID“I_01”の画像ファイルと画像ID“I_02”及び画像ID“I_03”の各画像ファイルは、ファイルこそ異なるが、一連の動画データを構成する画像ファイルである。したがって、これらの画像ファイルは、三つで一つの動画データとして扱うべきである。その扱い方の詳細については後述する。
【0032】
人物管理テーブル203は、図5に示すように、人物IDと、人物の名前と、人物の画像(特に、その人物であることを明確に判別可能な顔の静止画像)と、電話番号と、メールアドレス等が、対応付けられた人物に関連する種々の情報としてエントリされたデータテーブルである。図5の例では、先頭にエントリされた人物情報において、人物ID“P_01”が付与されており、人物の名前が“いろは”であり、この人物の特徴をよく表す顔の静止画像は“A”であることが示されている。そして、この人物の電話番号は“090−123”で、メールアドレスは“iroha@abc.com”であることが示されている。
【0033】
図2に戻り、外部メモリI/F部111は、microSDカードやUSB(Universal Serial Bus)メモリ等の外部メモリ112と接続するためのハードウェアインタフェースであり、外部メモリドライバ110は、外部メモリI/F部111の制御を行う。例えば、多くの画像ファイルが記憶部104に格納された場合、記憶部104の空き容量が不足する可能性がある。そのため、本実施形態の通信端末装置10は、外部メモリI/F部111及び外部メモリドライバ110を備えることで、外部メモリ112に画像ファイルを記録し、あるいは、外部メモリ112に記憶されている画像ファイルを読み出すことができるようにしている。なお、ユーザの操作中に不意に外部メモリ112が脱落することを防ぐため、外部メモリI/F部111は、通信端末装置10の筐体側面等に設けられていることが望ましい。
【0034】
画像容量監視部105は、動画記録時に動作し、記憶部104のバッファ(図示せず)にリアルタイムで蓄積されて行く動画データの容量や画像ファイルの容量を監視し、その結果を制御部102に通知する。
【0035】
音声処理部108は、音声入出力端子113から入力された音声データを圧縮して音声圧縮データを生成し、生成した音声圧縮データを多重/分離部109に供給する。また、音声処理部108は、多重/分離部109から供給された音声圧縮データを伸張して音声データに復元し、復元した音声データを音声入出力端子113から出力する。
【0036】
多重/分離部109は、撮像部103によって得られた動画データを圧縮して画像圧縮データを生成し、生成した画像圧縮データと、音声処理部108が生成した音声圧縮データを多重化してストリームデータを生成する。また、多重/分離部109は、記憶部104や外部メモリ112からストリームデータを読み出して、ストリームデータを画像圧縮データと音声圧縮データに分離する。そして、分離した画像圧縮データを伸張して動画データに復元し、復元した動画データを表示部107に供給すると共に、分離した音声圧縮データを音声処理部108に供給する。
【0037】
画像認識部116は、撮像部103から入力される動画データ中に含まれる被写体の情報や、記録済みの動画や静止画などの画像中に含まれる特定の画像情報を認識する。特定の画像情報とは、例えば、人間の顔や身体的な特徴などであり、通信端末装置10は、この情報から撮像している範囲や記録済みの画像の中に人間の顔があるか否かを判断する。さらには、単に人間の顔の有無を判断するだけでなく、その人間が誰であるかを特定することもできる。そのためには、例えば、認識した人間の顔の画像と、予め記憶部104に格納してある画像パターンとを照合すれば良い。ここで照合する画像パターンとは、例えば、記憶部104に格納された人物管理テーブル203に含まれる人物の顔の静止画像である。これにより、例えば、撮像中に被写体としている人物が誰であるかを特定したり、記録した動画や静止画に写っている人物が誰であるかを特定することができる。
【0038】
なお、認識する画像情報は、人物の顔に限定されず、人物の指紋や指の静脈や虹彩等の生体情報であったり、文字や記号やバーコード等、事物を識別できる情報であれば上記例以外のものでも構わない。
【0039】
画像容量監視部105、音声処理部108、多重/分離部109、外部メモリドライバ110、画像認識部116の各機能は、例えば、ASIC(Application Specific Integrated Circuit)等、専用の回路にてハードウェア的に実現されるようにしてもよいし、制御部102が記憶部104等に記憶されているプログラムを実行することによる論理的処理で実現されるようにしてもよい。
【0040】
続いて、以上のように構成された通信端末装置10が実行する動画記録処理について、図6のフローチャートを参照して説明する。
【0041】
動画記録処理は、ユーザによって、操作部101を介した動画記録処理開始操作が行われることで開始される。具体的には、ユーザは、例えば、表示部107に表示されるメニュー画面から「カメラ」→「動画記録」等の項目を選択することで動画記録処理を開始させることができる。なお、ショートカットキー等、特定のキーボタンが押下されることで、即座に動画記録処理が開始されるようにしてもよい。
【0042】
制御部102は、ユーザによる動画記録処理開始操作の入力に応答して、動画記録を開始するための準備処理(記録準備処理)を実行する(ステップS101)。制御部102は、記録準備処理として、例えば、動画記録や画像認識に必要な各種デバイスの初期化、動画データを蓄積する記憶部104のバッファ(キャッシュ)の初期化、記憶部104の空き容量の調査やビットレートの設定等の処理を実行する。また、空き容量とビットレートに基づいて、動画記録可能時間を算出し、算出した動画記録可能時間を表示部107に表示する等の処理も行う。
【0043】
この時点では、後述のユーザからの記録開始決定操作が行われていないため(ステップS104;No)、いかなるデータも記録されることはないが、撮像部103による撮像は開始され、撮像された動画データ(撮像データ)はリアルタイムに表示部107に表示されている。
【0044】
また、この時点で画像認識部116における人物認識処理を開始することができる。図7は撮像データに対して人物認識処理を実行している様子の一例を図示したものである。図7の(a)は人物認識前の様子を示しており、被写体となっている3人の人物を撮像してはいるが、画像認識部116としては、まだそれを人物の顔とは認識していない状態である(もちろん、実際に操作しているユーザには3人の人物が誰かは分かっている。あくまでもシステムとして認識していない様子を示している)。図7の(b)は人物認識中の様子を示しており、画像認識部116が撮像データの中から3人の人物の存在を認識したが、まだ各人物が誰であるかを特定していない状態である。図7の(c)は人物認識後の様子を示しており、画像認識部116が3人の人物が誰であるかを特定した状態である。
【0045】
なお、図中の枠は人物の顔を認識し、顔に焦点をあてていることをユーザに知らしめるものである。画像認識部116による人物認識処理は一度だけ行われるものではなく、撮像中は絶えず行われるため、被写体がフレーム内で移動した場合はそれに合わせて顔の枠も追従して移動する。また、被写体の顔が見えなくなった場合(後ろを向いたり、物陰に隠れてしまった場合)には人物の存在を認識できなくなるため顔の枠は表示されなくなり、被写体の人数に増減があった場合にも適切に対処することができる。
【0046】
また、画像認識部116は、被写体の人物の顔画像と、人物管理テーブル203に含まれる人物の顔画像とをパターン照合する。このとき、被写体の人物と、人物管理テーブル203のすべての顔画像とを照合してもよいし、あるいは、ユーザが予め設定した特定の顔画像のみとを照合してもよい。言い換えるならば、前者は「被写体の人物は誰か?」、後者は「ユーザの指定した人物が被写体に含まれているか?」という認識方法である。それぞれの方法にメリットがあるため、ユーザ好みの方法で認識処理が行えるように、どちらの方法で認識処理を行うかをユーザがメニュー等から選択できるようにしてもよい。
【0047】
さらには、被写体の人物と、人物管理テーブル203に記録された顔画像との照合を、どの順序で行うか(照合の優先度)を決めておいてもよい。これにより照合時間が短くて済む効果が得られる。照合の優先度は、例えばユーザが手動で定めてもよいし、メールや通話や動画及び静止画の被写体とした頻度の順から定めてもよい。
【0048】
さらには、照合した結果、被写体の人物が人物管理テーブル203に存在しないと判断した場合に、上記人物管理テーブル203に存在しない人物を人物管理テーブル203に新規登録してもよい。この際、表示部107に新規登録するか否かを確認するメッセージを表示して、ユーザの選択を促してもよい。また、新規登録を促すか否かをユーザが予め設定できるようにしてもよい。この新規登録処理及び登録確認処理は、本来の目的である記録処理を妨げないように配慮し、記録処理を開始する前や後に行う構成としてもよい。
【0049】
なお、この時点で人物認識処理が完了しているか否かは、ステップS104以降の必須条件ではない。例えば、ステップS105の記録処理開始時に初めて実行するのでも構わない。しかし、人物を被写体とするならば、ユーザは人物の顔をより鮮明に撮影したいと考えるのが一般的である。そのためにも、人物認識処理は早めに実行し、ユーザが前述の枠の表示と、枠が人物の顔に正しくあたっている(即ち、人物認識処理が正しく行えている)ことを確認した上でステップS104の記録開始決定操作に進めるようにするのが望ましい。
【0050】
図6に戻り、上記の動画記録準備処理の結果に基づき、制御部102は、動画記録が可能であるか否かを判定する(ステップS102)。動画記録が不可能な場合とは、例えば、記憶部104に新たな画像ファイルを記録するための空き容量がない、動画記録に欠かせないデバイスが何らかのトラブルで利用できない等の状態が該当する。このように動画記録が不可能な場合(ステップS102;NO)、制御部102は、表示部107に「メモリがいっぱいで動画記録ができません。」等のエラーメッセージを表示する等して、ユーザに動画記録ができない旨を報知する(ステップS103)。その際、ユーザの使い勝手を考慮して、「動画を記録するには不要なデータを削除して下さい。」等、エラーへの対処に関するメッセージを表示してもよい。
【0051】
動画記録が可能な場合(ステップS102;YES)、制御部102は、ユーザによって、記録開始決定操作が行われたか否かを判定する(ステップS104)。例えば、ユーザは、撮像部103によって撮像され、表示部107に表示される映像を見ながら、当該通信端末装置10の高さや傾き、被写体との距離等を調整し、好みのタイミングで所定のキーやアイコンを操作することで、記録開始決定操作を行う。
【0052】
ユーザによって、記録開始決定操作が行われると(ステップS104;YES)、制御部102は、各デバイスの状態を記録準備状態から記録開始状態へと変更する等の制御を行い、撮像部103の撮像で得られた撮像データを記憶部104のバッファに動画データとして蓄積して行くと共に、後述する記録処理を実行する(ステップS105)。図10はバッファに動画データを蓄積している様子の一例を図示したものである。ここで、1秒あたりどれだけのデータ量が格納されるかは、記録開始時に設定したビットレートによって異なり、ビットレートが高いほど1秒あたりにバッファに格納されるデータ量は多くなる。図10の詳細は後述する。
なお、図示しないが、音声データもバッファに蓄積され、動画データと多重化してファイルに記録される。
【0053】
しかる後、ユーザから動画記録を終了するための操作(動画記録終了操作)等が行われると、ステップS105の記録処理は終了し、制御部102は、当該記録処理で生成した画像ファイルについての情報(画像ファイル情報)を画像管理テーブル202に追加する(ステップS106)。この際、画像管理テーブル202が記憶部104に存在しない場合は、制御部102は、画像管理テーブル202を新規作成後、新たに生成した画像ファイルについての情報を書き込む。以上で動画記録処理は終了する。
【0054】
続いて、記録処理(ステップS105)の詳細について、図8のフローチャートを参照して説明する。
【0055】
記録処理が開始されると、制御部102は、記憶部104から容量制限テーブル201を取得する(ステップS201)。次に、制御部102は、図7を参照して前述した手順により、画像認識部116による人物認識結果を取得する(ステップS202)。人物認識結果とは、撮像中のデータ内に人物が含まれているか否か、含まれていた場合には、その人物が誰であるかを特定した結果を意味する。
【0056】
次に、制御部102はステップS202で取得した人物認識結果に基づいて送信予定先を決定する(ステップS203)。送信予定先とは、この記録処理で記録した動画データに係る画像ファイルを送信する予定の通信先を意味する。本実施形態では、制御部102は、人物認識結果から、この記録処理で記録しようとしている被写体の人物の通信先を送信予定先として決定する。被写体の人物が複数存在し、何れかの制限容量に相違がある場合には、フレーム内で最も手前の人物の通信先を送信予定先として決定してもよいし、フレーム内で最も中央近くの人物の通信先を送信予定先として決定してもよい。あるいは、予めユーザが設定した人物毎、または通信先毎の優先度に従って、何れかの通信先を送信予定先として決定してもよい。さらには、メールの通信履歴や電話の通話履歴や記録した動画や静止画のデータから、所定期間内で最もユーザからのアクセスの多かった人物の通信先を送信予定先として決定してもよい。アクセス頻度の順位付けは、例えば、メールや通話や被写体となった回数から行ってもよいし、メールの文字数や通話時間や動画データ中に含まれている時間(被写体となった時間)から行ってもよい。
【0057】
続いて、制御部102は、人物管理テーブル203及び容量制限テーブル201を参照して、決定した送信予定先に対応する制限容量を取得する(ステップS204)。ここで、図9を用いて制限容量の取得手順を詳細に説明する。
【0058】
図9の例は、ステップS202の人物認識結果に基づくステップS203よって、「人物B」が送信予定先として決定された場合である。まず、取得した人物認識結果から被写体として「人物A」「人物B」「人物C」が存在していることが明らかとなり、ステップ203の送信予定先決定処理によって、送信予定先は「人物B」と決定される。次に、人物管理テーブル203を参照して、「人物B」の「メールアドレス」である「nihohe@def.com」から送信予定先のドメインが“@def.com”であることが明らかとなる。次に、容量制限テーブル201を参照して、“@def.com”の送信時の制限容量は3MBであることが明らかとなり、この制限容量に基づいて以降の処理ステップを実行する。
【0059】
なお、ステップS203において送信予定先を一つに決定することが困難な場合、制御部102は、ステップS203の処理をスキップし、ステップS204の処理とは、別の方法で制限容量を取得する。送信予定先を一つに決定することが困難な場合とは、例えば通信端末装置10の購入直後であって、ユーザによる種々の操作履歴がない場合や、ユーザ好みの設定が為されていない場合である。上記ユーザの操作履歴やユーザ好みの設定がないと、例えば被写体の人物が複数存在し、しかも全員がカメラから同じ距離に立っている等の特殊な条件が重なった場合に、送信予定先を一つに決定できないということが起こり得る。
【0060】
そこで、以下の方法で制限容量を取得することが考えられる。例えば、出荷時等に予め設定された値やユーザが任意に設定した値を制限容量としてもよいし、処理種別が“受信”の場合の制限容量(図3では、3MB)と同一にしてもよい。あるいは、容量制限テーブル201において、実際に通信が行われる前に、ユーザによって事前に通信先毎の制限容量が設定されている場合には、さらに詳細な制御が可能である。例えば、ステップS202の人物認識結果から被写体として「人物A」「人物B」「人物C」が存在していることが明らかとなった場合(例えば図7の(c))、送信予定先を一つには決定せず、人物管理テーブルと容量制限テーブルとから、「人物A」「人物B」「人物C」の誰に送信するにしても確実に送信できる容量を制限容量とする。即ち、3つの制限容量の中で最も小さい値である1MBを制限容量とすればよい。このように、制限容量を決定する方法は様々考えられるが、そのいずれにおいても「確実に送信できること」「送信が未遂に終わることを極力防止できること」を第一として決定することが使い勝手向上に効果的である。
【0061】
続いて、制御部102は、動画データを記録する画像ファイルの名称を決定する(ステップS205)。画像ファイルの名称は、予め定めた命名規則に従って決定する。制御部102は、例えば、通信端末装置10毎やメーカ毎に予め決められた独自の命名規則や、通信端末装置10間での再生互換性を確保するための統一命名規則等に従って画像ファイル名を決定する。本例では、新規にオープンする画像ファイル名を“MImg0001.mp4”として説明する。
【0062】
制御部102は、画像ファイル(MImg0001.mp4)を新規オープンし、当該画像ファイルをデータ書き込み可能な状態にする(ステップS206)。
【0063】
制御部102は、記録処理を継続するか否かを判定する(ステップS207)。具体的には、ユーザによって、動画記録終了操作が行われたか否かを判定する。ユーザによって、動画記録終了操作が行われた場合(ステップS207;NO)、制御部102は、撮像データのバッファへの蓄積を停止すると共に、その時点でバッファに蓄積されていた未書き込みの動画データを画像ファイル(例えば、MImg0001.mp4)に書き込む(ステップS208)。未書き込みの動画データを全て画像ファイルに書き込むと、制御部102は、オープンしていた画像ファイルをクローズし(ステップS209)、本処理(記録処理)を終了する。
【0064】
一方、動画記録終了操作が行われていない場合(ステップS207;YES)、制御部102は、画像容量監視部105の監視結果に基づいて、バッファに蓄積した動画データのデータ量が予め設定した閾値に達しているか否かを判定する(ステップS210)。ここでの閾値(図10参照)は、蓄積した動画データをファイルに書き込むか否かを判定する際に使用するパラメータであり、制御部102は、動画データを閾値に達するまでバッファに蓄積させてから画像ファイルに書き込むように制御する。例えば、バッファの容量が2MB、閾値を1MBとした場合、バッファに蓄積した動画データのデータ量が1MB以上になると、蓄積した動画データが画像ファイルに書き込まれる。
【0065】
上記判定の結果、バッファに蓄積した動画データのデータ量が閾値に達している場合(ステップS210;YES)、制御部102は、当該動画データを画像ファイル(例えば、MImg0001.mp4)に書き込み(ステップS210)、閾値に達していない場合(ステップS210;NO)、ステップS207からの処理を繰り返す。
【0066】
このように制御するのは、バッファに格納された動画データを逐次、画像ファイルに書き込むよりも、ある程度まで動画データを蓄積してから一定量毎に画像ファイルに書き込む方が、制御部102の発する命令数が少なく済み、処理負荷が低減され、処理の効率化、高速化が図れるからである。また、画像ファイルを記録する記録媒体(フラッシュメモリ、ハードディスクドライブ、各種のメモリカード等)やファイルシステムによっては、例えば、32kBの倍数のデータは効率良く高速に書き込める等の特徴を有するものがあり、この点を考慮しても、ある程度データを蓄積してからファイルに書き込む方が好ましいといえる。もちろん、このような制御は必ずしも必要ではなく、バッファに格納された動画データを逐次、画像ファイルに書き込むように制御してもよい。また、閾値はバッファ容量(例えば、2MB)以下であれば、任意の値が設定可能である。
【0067】
図11は、バッファから画像ファイルへの書き込みを概念的に示した図である。図11では、バッファに蓄積した動画データのデータ量が閾値にまで到達したため、動画データが、順次、画像ファイル(ここでは、“MImg0001.mp4”)へ書き込まれて行く様子が示されている。ここで、画像ファイルへの書き込み単位は、上述した記録媒体毎に設定された書き込み効率の良い値を選択して採用するのが好ましい。
【0068】
また、画像ファイルへの書き込み中、制御部102は、画像容量監視部105を通じて画像ファイルの容量を監視し、その結果に基づいて、制御部102は、画像ファイルの容量が、ステップS204で取得した制限容量に到達したか否かを判定する(ステップS212)。本例では、容量制限を3MBとしているため、制御部102は、画像ファイルの容量が3MBに到達したか否かを判定する。もしくは、バッファから画像ファイルへと書き込んだサイズが3MBに到達したか否か等を判定してもよい。
【0069】
上記判定の結果、制限容量に到達していない場合(ステップS212;NO)、ステップS207からの処理が繰り返し実行される。
【0070】
一方、画像ファイルの容量が制限容量に到達した場合(ステップS212;YES)、当該画像ファイル(例えば、“MImg0001.mp4”)をクローズする(ステップS213)。そして、制御部102は、記録処理を継続するため、新たに画像ファイルをオープンする(ステップS214)。本例では、この画像ファイルのファイル名を“MImg0002.mp4”とする。新たな画像ファイルをオープン後、ステップS207からの処理が繰り返し実行される。図12には、バッファに蓄積された動画データを画像ファイル“MImg0001.mp4”に書き込み中に、画像ファイル“MImg0001.mp4”の容量が制限容量(ここでは、3MB)に到達したため、バッファに蓄積された残りの動画データを、新たにオープンした画像ファイル“MImg0002.mp4”に書き込む様子が示されている。
【0071】
以降、ユーザによって動画記録終了操作が行われない限り(ステップS207;NO)、上記処理が繰り返し実行される。例えば、記録処理が継続した結果、“MImg0002.mp4”の容量が3MBに到達すると(ステップS212;YES)、制御部102は、“MImg0002.mp4”をクローズし(ステップS213)、画像ファイル“MImg0003.mp4”を新規オープンし、バッファに蓄積された動画データを“MImg0003.mp4”に書き込む(ステップS211)。
【0072】
以上の記録処理が終了すると、上述したように、制御部102は、画像管理テーブル202を更新する(図6のステップS106)。例えば、当該動画記録時において、画像管理テーブル202が記憶部104に存在しない場合、制御部102は、画像管理テーブル202を新規作成後、新たに生成した画像ファイル(例えば、“MImg0001.mp4”、“MImg0002.mp4”及び“MImg0003.mp4”)についての情報(画像ファイル情報)を書き込む(図4参照)。
【0073】
以上のようにして、動画を高画質で記録する際においても、メール送信時の容量制限に抵触しない画像ファイルを生成することができる。
【0074】
なお、本実施例では、記録開始前に制限容量を決定し、以降は記録終了まで制限容量を変更することはないものとしたが、途中で変更することも可能である。
【0075】
記録開始後も、画像認識部116は常に被写体中の人物認識を行っているため、例えば被写体の人物が記録開始前から入れ替わったことも認識することができる。例えば、記録開始直後から1秒だけ映っていた人物Xと、記録開始後1秒から5秒まで映っていた人物Yとでは、人物Yの方が長く映っていることから記録した動画を人物Yに送信する可能性も高いと考えられる。このとき、人物Xに対応する制限容量が3MB、人物Yに対応する制限容量が1MBであったとすると、制限容量3MBで記録した動画は制限容量に抵触して人物Yに送信することができなくなってしまうが、記録の途中で制限容量を1MBに変更すれば、人物Yに送信することができるようになる。もちろん、制限容量を変更する前には、既に記録した画像ファイルのサイズが1MB未満であることを確認しておくことが望ましい。
【0076】
さらには、記録開始時は被写体によらず最小の制限容量を設定(例えば、1MB)としておき、画像ファイルの記録が進んで画像ファイル容量が上記設定した1MBに到達する手前で、被写体中の人物認識を行い、被写体の人物に対応する制限容量が1MBよりも大きければ制限容量を変更する(例えば、3MB)ようにしてもよい。最初は制限容量を最小値としておくことにより、画像ファイルの送信が未遂に終わることを極力防止するという効果が得られる。それに加えて、途中で制限容量を適宜大きく変更することにより、記録した画像ファイルの総容量は同じであっても、画像ファイルの数は少なくすることができて管理上の都合がよいという効果も得られる。
【0077】
続いて、上述の動画記録処理で生成した画像ファイルをメールに添付して送信する際の処理(画像ファイル送信処理)について、図13及び図14のフローチャートを参照して説明する。
【0078】
ユーザは、メニュー画面から「メール」→「新規作成」等の項目を選択することで画像ファイル送信処理を開始させることができる。あるいは、ショートカットキー等、予め定義された特定のキーを押下することで、即座に画像ファイル送信処理が開始されるようにしてもよい。特に、本実施形態では、通常のメール送信とは異なり、動画データを添付するメールの送信、さらには複数の画像ファイルで構成される一つの動画データを送信する処理であるため、専用のショートカットキー等を設けると、通常のメール送信と明確に差別化ができ、ユーザの混乱を防ぐことができて便利である。かかる指示が入力されると、制御部102は、画像ファイル送信処理を開始する。
【0079】
制御部102は、メールの送信先(宛先)の指定をユーザから受け付ける(ステップS301)。次に、制御部102は、添付する画像ファイルの指定をユーザから受け付ける(ステップS302)。例えば、制御部102は、記憶部104に保存している各画像ファイルについて、そのファイル名の一覧や、サムネイル等を表示部107に表示する。ユーザは、表示された添付候補の中から、メールに添付したい画像ファイルを選択する。図15の(a)は、画像ファイル選択後における表示部107の表示画面の一例である。
【0080】
制御部102は、ユーザが指定した画像ファイルが、当該宛先に送信可能か否かを判定する(ステップS303)。具体的には、制御部102は、画像管理テーブル202を参照して、ユーザが指定した画像ファイルのファイル容量を取得し、このファイル容量が、容量制限テーブル201で示される当該宛先(通信先)の制限容量以下であるか否かを判定する。その結果、送信不可、即ち、ユーザが指定した画像ファイルのファイル容量が当該宛先の制限容量を超えている場合(ステップS303;NO)、制御部102は、表示部107にエラーメッセージを表示し(ステップS304)、本処理(画像ファイル送信処理)を終了する。
【0081】
なお、S303は、より確実にファイル送信するために行うものとしたが、この処理はスキップしてもよい。なぜならば、本発明では、S212で制限容量を超過しないように記録を行っており、S303は必ずYESになるためである。S303をスキップすることにより、送信処理ステップ数を削減できる。
あるいは、送信しようとするファイルが容量制限を越えないように記録されたか否かを示す情報、もしくは該ファイルが容量制限を越えていないことのチェックが済んでいるか否かの情報を記憶しておいてもよい。これらの情報より、容量制限を越えないように記録されていた、もしくは、チェック済みであったことが判別できればS303をスキップするようにしてもよい。ここで、これらの情報は、フラグの役割を果たせばよく、例えば、1ビットの情報を用いて、チェック済;1、未チェック;0とすることなどが考えられる。これらの情報を画像ファイルと紐付けて記憶部104に記憶すればよい。なお、前記情報の記憶先や記憶方法は、これに限定されず、画像ファイルとビット情報との関連が明らかになれば、他の手段でも構わない。
【0082】
一方、送信可能、即ち、ユーザが指定した画像ファイルのファイル容量が当該宛先の制限容量以下の場合(ステップS303;YES)、制御部102は、画像管理テーブル202を参照して、当該画像ファイルと関連する他の画像ファイルが存在するか否かを判定する(ステップS305)、関連する画像ファイルが存在しない場合(ステップS305;NO)、制御部102は、当該画像ファイルを添付したメールを当該宛先に送信し(ステップS306)、本処理を終了する。なお、メールの件名と本文は、必要に応じて、ユーザにより操作部101を介して入力されているものとする。
【0083】
一方、関連する画像ファイルが存在する場合(ステップS305;YES)、制御部102は、関連画像ファイル送信処理を実行する(ステップS307)。なお、制御部102は、関連画像ファイル送信処理を実行する前に、図15(b)に示すように、関連する画像ファイルの一覧を表示部107に表示して、ユーザに提示してもよい。さらには、図15(c)に示すように、関連する画像ファイルも送信するか否かをユーザに確認してもよい。この場合、ユーザにより“いいえ”が選択されると、制御部102は、ステップS302で受け付けた画像ファイルのみを添付したメールを送信すればよい。
【0084】
図14は、関連画像ファイル送信処理の手順を示すフローチャートである。制御部102は、送信対象の画像ファイルを記憶部104から取得する(ステップS401)。ここで、当該関連画像ファイル送信処理の開始直後においては、図13のステップS302で受け付けたユーザの指定した画像ファイルが送信対象の画像ファイルとなる。送信対象の画像ファイルを取得すると、制御部102は、当該画像ファイルを添付したメールを、図10のステップS301で受け付けたユーザの指定した宛先に送信する(ステップS402)。
【0085】
次に、制御部102は、未送信の画像ファイルが存在するか否かを判定する(ステップS403)。未送信の画像ファイルが存在する場合(ステップS403;YES)、制御部102は、次の送信対象の画像ファイルを記憶部104から取得する(ステップS401)、この際、未送信の画像ファイルが複数存在する場合、制御部102は、画像IDが若い方から順に(即ち、昇順)、送信対象の画像ファイルとして取得する。そして、制御部102は、当該画像ファイルを添付したメールを当該宛先に送信する(ステップS402)。
【0086】
未送信の画像ファイルが存在しない場合(ステップS403;NO)、送信した各画像ファイルについての画像ファイル情報を送信画像管理情報として生成して送信し(ステップS404)、本処理(関連画像ファイル送信処理)を終了する。例えば、ユーザにより、画像ファイル“MImg0001.mp4”が選択された場合、上記の関連画像ファイル送信処理により、“MImg0001.mp4”→“MImg0002.mp4”→“MImg0003.mp4”が順次、相手先(例えば、“@def.com”)に送信される。そして、その場合の送信画像管理情報は、図4に示す画像管理テーブル202の内容と同様のものが生成される。なお、送信画像管理情報は、送信した先でも関連する画像を適切に管理することができれば、その内容に限定はなく、送信した各画像ファイル同士の関係を示す情報が少なくとも含まれていればよい。
【0087】
なお、送信画像管理情報の送信態様は様々である。例えば、本例の如く、全ての画像ファイルの送信後ではなく、画像ファイルの送信に先んじて送信してもよい。あるいは、画像ファイルと別個に送信するのではなく、何れかの画像ファイルを送信する際、当該メールのヘッダ部に、送信画像管理情報を埋め込むようにしても構わないし、各画像ファイルの送信毎に、その画像ファイルのみに対応する送信画像管理情報(即ち、画像ファイル情報)を当該ヘッダ部に埋め込むようにしてもよい。あるいは、送信画像管理情報を画像ファイルのヘッダ部に埋め込むようにしてもよい。
【0088】
図16は、上記の関連画像ファイル送信処理の実行中に表示部107で表示される画面の一例である。図16(a)は、ステップS402において、最初の画像ファイル(例えば、“MImg0001.mp4”)を添付したメールを送信しているときの表示画面例を示す図である。図16(a)において、画面中央のプログレスバーはメール送信の進行状況を示している。本例では、このプログレスバーは、“MImg0001.mp4”を添付したメールの送信状況ではなく、“MImg0001.mp4”及びそれに関連する画像ファイル全体の送信状況を示すものである。即ち、例えば、“MImg0001.mp4”を添付したメール1、“MImg0002.mp4”を添付したメール2、“MImg0003.mp4”を添付したメール3という、3通のメールを送信するときのトータルの進行状況を示している。
【0089】
図16(a)は、全3通のうちの1通目のメール(上記のメール1)を送信中の表示例であるため、プログレスバーは100%の1/3である33%を示している。また、図16(b)は、2通目のメール(上記のメール2)を送信中の表示例であるため、プログレスバーは100%の2/3である67%を示している。
【0090】
以上説明したように、本発明の通信端末装置によれば、動画記録の際、画像ファイルを送信する予定の宛先(通信先)におけるメール受信の制限容量を考慮して、動画データを格納する画像ファイルの容量を決定する。したがって、記録した動画に係る画像ファイルを確実に通信相手に送信することができる。また、画像ファイルの制限容量は、動画データ記録時の人物認識結果に基づいて決定する。したがって、記録した動画に係る画像ファイルを被写体の人物に送信する上で最も好適なファイル容量で記録することができる。
【0091】
また、動画記録時において、一連の動画データが複数の画像ファイルに分割されて格納された場合には、これらの画像ファイルの関連を示す情報を生成し、管理するため、他の通信端末装置等に画像ファイルを送信する際、送信する画像ファイルの関連を調べることで、関連する画像ファイルを漏れなく送信することができる。また、本発明の通信端末装置で動画再生する際、再生する画像ファイルの関連を調べることで、関連する画像ファイルを正しい順番で再生することができ、記録した動画データを正確に再生することができる。さらには、他の通信端末装置等に画像ファイルを送信する際、画像ファイルの関連を示す情報も併せて送信するため、受信側の通信端末装置等においても問題なく動画再生することができる。
【0092】
このように、本発明は、画像ファイルの制限容量の決定に人物認識結果を用いるが、これはカメラ及び画像認識部を備えた通信端末装置が人物(の顔)を美しく撮影するという本来の目的を達成する上で必要となる、種々のハードウェア、プログラム、情報を、有効利用したものである。他の機能で使用される構成要素を共用するため、本発明は低いコストで通信端末装置に適用することができるし、容量制限を決定する際にシステムにかかる処理負荷も極僅かで済むというメリットがある。
【0093】
なお、本発明は、上記実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
【0094】
例えば、本実施の形態においては、撮像部103において取得できる画像データは動画の画像データであるとして、各処理について説明したが、撮像部103は、動画と静止画の両方を撮影可能であってもよく、動画モードと静止画モードとで選択可能であってもよい。
この場合、人物管理テーブル203に格納する顔の静止画像は、撮像部103により、あらかじめ静止画モードで撮像して記録した画像データでもよい。
【0095】
また、送信するメールの容量は、厳密には、添付する画像ファイル等の容量だけでなく、メール本文の文字数等も影響するが、この点に関しては、例えば、容量制限テーブル201(図3参照)に設定する各容量制限情報の制限容量において、予め、想定されるメール本文の容量を差し引いておけばよい。例えば、送信の制限容量が3MBであり、予測されるメール本文の容量が最大0.1MBである場合、容量制限テーブル201に設定する当該制限容量を2.9MB以下にすればよい。メール本文の最大容量は、例えば、入力可能な文字数を制限すること等により、ほぼ正確な値が予測可能である。この場合、関連する画像ファイルを送信する際に使用する件名や本文を定型化しておくと、さらに予測精度が向上する。
【0096】
また、上記実施形態の通信端末装置10が実行したプログラムを、既存の携帯電話等に適用することで、当該携帯電話等を本発明に係る通信端末装置として機能させることも可能である。
【0097】
このようなプログラムの配布方法は任意であり、例えば、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto Optical Disk)、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、携帯電話網やインターネット等の通信ネットワークを介して配布してもよい。
【0098】
また、上記実施形態の通信端装置10から送信された画像ファイル及び送信画像管理情報を受信した他の通信端末装置等は、通信端末装置10と同等の機能を備えている必要はない。即ち、受信した送信画像管理情報に基づいて、受信した画像ファイルを再生できる機能を少なくとも備えていればよい。また、通信端末装置10は、画像ファイルの送信の際、動画再生処理用のプログラムも併せて、宛先の通信端末装置等に送信する仕様にしてもよい。
【0099】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0100】
(付記1)
ユーザの操作を受け付ける操作手段と、
被写体を撮像する撮像手段と、
電子メール送受信手段と、
特定の人物の画像と、前記人物の電子メールの通信先とを対応づけて記憶する人物管理情報記憶手段と、
前記電子メール送受信手段による一度の電子メール送信で送信可能な容量の最大値に相当する制限容量を、前記電子メールの通信先と対応づけて記憶する制限容量情報記憶手段と、
前記撮像手段による撮像の結果得られた動画データを蓄積する動画データ蓄積手段と、
前記動画データの画像の中から前記人物管理情報記憶手段に記憶されている前記人物の画像を判別して認識する人物認識手段と、
前記人物認識手段で認識された人物の画像に対応する前記電子メールの通信先を人物管理情報記憶手段から取得し、取得した電子メールの通信先に対応する制限容量を前記制限容量情報記憶手段から取得する制限容量取得手段と、
前記動画データ蓄積手段に蓄積された動画データを記録した画像ファイルであって、前記制限容量取得手段により取得した制限容量以下の画像ファイルを生成する画像ファイル生成手段と、を備え、
前記電子メール送受信手段は、前記人物管理情報記憶手段から取得した前記電子メールの通信先に対して、前記画像ファイル生成手段が生成した画像ファイルを送信する、
ことを特徴とする通信端末装置。
【0101】
(付記2)
前記画像ファイル生成手段は、前記動画データ蓄積手段に蓄積された動画データの容量が前記制限容量を超えるとき、前記動画データを書き込む画像ファイルが前記制限容量を超えないように順次複数の画像ファイルに書き込み、前記制限容量以下の画像ファイルを複数生成し、
前記電子メール送受信手段は、生成した複数の画像ファイルを各々電子メールに添付して送信する、
ことを特徴とする付記1に記載の通信端末装置。
【0102】
(付記3)
前記画像ファイル生成手段は、一の動画データから生成した前記複数の画像ファイルのうちの各々の画像ファイルに対し、当該動画データから生成した他の画像ファイルとの関連を示す関連画像ファイル情報を生成する関連画像ファイル情報生成手段を有し、
前記電子メール送受信手段は、前記電子メールに、前記画像ファイルに対応する前記関連画像ファイル情報を付加して送信することを特徴とする付記2に記載の通信端末装置。
【0103】
(付記4)
前記画像ファイル生成手段は、
前記画像ファイルの容量を監視する画像ファイル容量監視手段と、前記画像ファイル容量監視手段が監視している前記画像ファイルの容量が前記制限容量を超えるか否かを判定する容量判定手段を有し、
前記操作手段がユーザからの動画記録指示操作を受け付けると、新規の画像ファイルをオープンして前記動画データ蓄積手段に蓄積された動画データを書き込み、前記容量判定手段により、前記画像ファイルの容量が前記制限容量を超えると判定された場合、超える前に当該画像ファイルをクローズすると共に、新規に画像ファイルをオープンして、残りの動画データを書き込む、
ことを特徴とする付記1乃至3のいずれかに記載の通信端末装置。
【0104】
(付記5)
前記画像ファイル生成手段は、前記人物認識手段によって複数の人物の画像を認識した場合、該複数の人物の画像に対応する前記通信先の中から、前記制限容量が最も小さい通信先、又は、所定期間内で電子メール送受信の頻度が最も高い通信先、又は最も近時に電子メールの送受信を行った通信先を選択し、該選択した通信先に対応する前記制限容量以下の画像ファイルに前記動画データを書き込むことを特徴とする付記1乃至4のいずれかに記載の通信端末装置。
【0105】
(付記6)
前記操作手段がユーザからの動画送信指示操作を受け付けると、前記関連画像ファイル情報に基づいて、ユーザが指定した一の動画に係る画像ファイルを順次取得する送信対象画像ファイル取得手段をさらに備え、
前記電子メール送受信手段は、前記送信対象画像ファイル取得手段が前記画像ファイルを取得した後に、当該画像ファイル、及び前記画像ファイルに対応する前記関連画像ファイル情報を含んだ電子メールを、前記人物管理情報記憶手段より取得した通信先に送信する、
ことを特徴とする付記3に記載の通信端末装置。
【0106】
(付記7)
前記電子メール送受信手段は、前記画像ファイルが添付された少なくとも何れかの電子メールのヘッダ部に前記関連画像ファイル情報を格納する、
ことを特徴とする付記6に記載の通信端末装置。
【0107】
(付記8)
コンピュータに、
撮像手段による撮像を行う撮像ステップと、
前記撮像手段による撮像の結果得られた動画データを動画データ蓄積手段に蓄積する動画データ蓄積ステップと、
人物認識手段に、前記動画データの画像の中における、予め記憶手段に記憶している人物の画像を判別して認識させる人物認識ステップと、
前記人物認識ステップで認識された人物の画像に対応する電子メール通信先を取得する電子メール通信先取得ステップと、
前記電子メール通信先を宛先とする電子メール送信で送信可能な容量の最大値に相当する制限容量を取得する制限容量情報取得ステップと、
前記動画データ蓄積手段に蓄積された動画データを記録した画像ファイルであって、前記制限容量情報取得ステップにより取得した制限容量以下の画像ファイルを生成する画像ファイル生成ステップと、
前記電子メール通信先取得ステップで取得した前記電子メール通信先に、前記画像ファイル生成ステップで生成した画像ファイルを送信する画像ファイル送信ステップと、
を実行させるためのプログラム。
【符号の説明】
【0108】
10…通信端末装置、101…操作部、102…制御部、103…撮像部、104…記憶部、105…画像容量監視部、106…通信部、107…表示部、108…音声処理部、109…多重/分離部、110…外部メモリドライバ部、111…外部メモリI/F部、112…外部メモリ、113…音声入出力端子、114…アンテナ、115…画像ファイル、201…容量制限テーブル、202…画像管理テーブル、203…人物管理テーブル
【特許請求の範囲】
【請求項1】
ユーザの操作を受け付ける操作手段と、
被写体を撮像する撮像手段と、
電子メール送受信手段と、
特定の人物の画像と、前記人物の電子メールの通信先とを対応づけて記憶する人物管理情報記憶手段と、
前記電子メール送受信手段による一度の電子メール送信で送信可能な容量の最大値に相当する制限容量を、前記電子メールの通信先と対応づけて記憶する制限容量情報記憶手段と、
前記撮像手段による撮像の結果得られた動画データを蓄積する動画データ蓄積手段と、
前記動画データの画像の中から前記人物管理情報記憶手段に記憶されている前記人物の画像を判別して認識する人物認識手段と、
前記人物認識手段で認識された人物の画像に対応する前記電子メールの通信先を人物管理情報記憶手段から取得し、取得した電子メールの通信先に対応する制限容量を前記制限容量情報記憶手段から取得する制限容量取得手段と、
前記動画データ蓄積手段に蓄積された動画データを記録した画像ファイルであって、前記制限容量取得手段により取得した制限容量以下の画像ファイルを生成する画像ファイル生成手段と、を備え、
前記電子メール送受信手段は、前記人物管理情報記憶手段から取得した前記電子メールの通信先に対して、前記画像ファイル生成手段が生成した画像ファイルを送信する、
ことを特徴とする通信端末装置。
【請求項2】
前記画像ファイル生成手段は、前記動画データ蓄積手段に蓄積された動画データの容量が前記制限容量を超えるとき、前記動画データを書き込む画像ファイルが前記制限容量を超えないように順次複数の画像ファイルに書き込み、前記制限容量以下の画像ファイルを複数生成し、
前記電子メール送受信手段は、生成した複数の画像ファイルを各々電子メールに添付して送信する、
ことを特徴とする請求項1に記載の通信端末装置。
【請求項3】
前記画像ファイル生成手段は、一の動画データから生成した前記複数の画像ファイルのうちの各々の画像ファイルに対し、当該動画データから生成した他の画像ファイルとの関連を示す関連画像ファイル情報を生成する関連画像ファイル情報生成手段を有し、
前記電子メール送受信手段は、前記電子メールに、前記画像ファイルに対応する前記関連画像ファイル情報を付加して送信する、
ことを特徴とする請求項2に記載の通信端末装置。
【請求項4】
前記画像ファイル生成手段は、
前記画像ファイルの容量を監視する画像ファイル容量監視手段と、前記画像ファイル容量監視手段が監視している前記画像ファイルの容量が前記制限容量を超えるか否かを判定する容量判定手段を有し、
前記操作手段がユーザからの動画記録指示操作を受け付けると、新規の画像ファイルをオープンして前記動画データ蓄積手段に蓄積された動画データを書き込み、前記容量判定手段により、前記画像ファイルの容量が前記制限容量を超えると判定された場合、超える前に当該画像ファイルをクローズすると共に、新規に画像ファイルをオープンして、残りの動画データを書き込む、
ことを特徴とする請求項1乃至3のいずれかに記載の通信端末装置。
【請求項5】
前記画像ファイル生成手段は、前記人物認識手段によって複数の人物の画像を認識した場合、該複数の人物の画像に対応する前記通信先の中から、前記制限容量が最も小さい通信先、又は、所定期間内で電子メール送受信の頻度が最も高い通信先、又は最も近時に電子メールの送受信を行った通信先を選択し、該選択した通信先に対応する前記制限容量以下の画像ファイルに前記動画データを書き込む、
ことを特徴とする請求項1乃至4のいずれかに記載の通信端末装置。
【請求項6】
前記操作手段がユーザからの動画送信指示操作を受け付けると、前記関連画像ファイル情報に基づいて、ユーザが指定した一の動画に係る画像ファイルを順次取得する送信対象画像ファイル取得手段をさらに備え、
前記電子メール送受信手段は、前記送信対象画像ファイル取得手段が前記画像ファイルを取得した後に、当該画像ファイル、及び前記画像ファイルに対応する前記関連画像ファイル情報を含んだ電子メールを、前記人物管理情報記憶手段より取得した通信先に送信する、
ことを特徴とする請求項3に記載の通信端末装置。
【請求項7】
前記電子メール送受信手段は、前記画像ファイルが添付された少なくとも何れかの電子メールのヘッダ部に前記関連画像ファイル情報を格納する、
ことを特徴とする請求項6に記載の通信端末装置。
【請求項8】
コンピュータに、
撮像手段による撮像を行う撮像ステップと、
前記撮像手段による撮像の結果得られた動画データを動画データ蓄積手段に蓄積する動画データ蓄積ステップと、
人物認識手段に、前記動画データの画像の中における、予め記憶手段に記憶している人物の画像を判別して認識させる人物認識ステップと、
前記人物認識ステップで認識された人物の画像に対応する電子メール通信先を取得する電子メール通信先取得ステップと、
前記電子メール通信先を宛先とする電子メール送信で送信可能な容量の最大値に相当する制限容量を取得する制限容量情報取得ステップと、
前記動画データ蓄積手段に蓄積された動画データを記録した画像ファイルであって、前記制限容量情報取得ステップにより取得した制限容量以下の画像ファイルを生成する画像ファイル生成ステップと、
前記電子メール通信先取得ステップで取得した前記電子メール通信先に、前記画像ファイル生成ステップで生成した画像ファイルを送信する画像ファイル送信ステップと、
を実行させるためのプログラム。
【請求項1】
ユーザの操作を受け付ける操作手段と、
被写体を撮像する撮像手段と、
電子メール送受信手段と、
特定の人物の画像と、前記人物の電子メールの通信先とを対応づけて記憶する人物管理情報記憶手段と、
前記電子メール送受信手段による一度の電子メール送信で送信可能な容量の最大値に相当する制限容量を、前記電子メールの通信先と対応づけて記憶する制限容量情報記憶手段と、
前記撮像手段による撮像の結果得られた動画データを蓄積する動画データ蓄積手段と、
前記動画データの画像の中から前記人物管理情報記憶手段に記憶されている前記人物の画像を判別して認識する人物認識手段と、
前記人物認識手段で認識された人物の画像に対応する前記電子メールの通信先を人物管理情報記憶手段から取得し、取得した電子メールの通信先に対応する制限容量を前記制限容量情報記憶手段から取得する制限容量取得手段と、
前記動画データ蓄積手段に蓄積された動画データを記録した画像ファイルであって、前記制限容量取得手段により取得した制限容量以下の画像ファイルを生成する画像ファイル生成手段と、を備え、
前記電子メール送受信手段は、前記人物管理情報記憶手段から取得した前記電子メールの通信先に対して、前記画像ファイル生成手段が生成した画像ファイルを送信する、
ことを特徴とする通信端末装置。
【請求項2】
前記画像ファイル生成手段は、前記動画データ蓄積手段に蓄積された動画データの容量が前記制限容量を超えるとき、前記動画データを書き込む画像ファイルが前記制限容量を超えないように順次複数の画像ファイルに書き込み、前記制限容量以下の画像ファイルを複数生成し、
前記電子メール送受信手段は、生成した複数の画像ファイルを各々電子メールに添付して送信する、
ことを特徴とする請求項1に記載の通信端末装置。
【請求項3】
前記画像ファイル生成手段は、一の動画データから生成した前記複数の画像ファイルのうちの各々の画像ファイルに対し、当該動画データから生成した他の画像ファイルとの関連を示す関連画像ファイル情報を生成する関連画像ファイル情報生成手段を有し、
前記電子メール送受信手段は、前記電子メールに、前記画像ファイルに対応する前記関連画像ファイル情報を付加して送信する、
ことを特徴とする請求項2に記載の通信端末装置。
【請求項4】
前記画像ファイル生成手段は、
前記画像ファイルの容量を監視する画像ファイル容量監視手段と、前記画像ファイル容量監視手段が監視している前記画像ファイルの容量が前記制限容量を超えるか否かを判定する容量判定手段を有し、
前記操作手段がユーザからの動画記録指示操作を受け付けると、新規の画像ファイルをオープンして前記動画データ蓄積手段に蓄積された動画データを書き込み、前記容量判定手段により、前記画像ファイルの容量が前記制限容量を超えると判定された場合、超える前に当該画像ファイルをクローズすると共に、新規に画像ファイルをオープンして、残りの動画データを書き込む、
ことを特徴とする請求項1乃至3のいずれかに記載の通信端末装置。
【請求項5】
前記画像ファイル生成手段は、前記人物認識手段によって複数の人物の画像を認識した場合、該複数の人物の画像に対応する前記通信先の中から、前記制限容量が最も小さい通信先、又は、所定期間内で電子メール送受信の頻度が最も高い通信先、又は最も近時に電子メールの送受信を行った通信先を選択し、該選択した通信先に対応する前記制限容量以下の画像ファイルに前記動画データを書き込む、
ことを特徴とする請求項1乃至4のいずれかに記載の通信端末装置。
【請求項6】
前記操作手段がユーザからの動画送信指示操作を受け付けると、前記関連画像ファイル情報に基づいて、ユーザが指定した一の動画に係る画像ファイルを順次取得する送信対象画像ファイル取得手段をさらに備え、
前記電子メール送受信手段は、前記送信対象画像ファイル取得手段が前記画像ファイルを取得した後に、当該画像ファイル、及び前記画像ファイルに対応する前記関連画像ファイル情報を含んだ電子メールを、前記人物管理情報記憶手段より取得した通信先に送信する、
ことを特徴とする請求項3に記載の通信端末装置。
【請求項7】
前記電子メール送受信手段は、前記画像ファイルが添付された少なくとも何れかの電子メールのヘッダ部に前記関連画像ファイル情報を格納する、
ことを特徴とする請求項6に記載の通信端末装置。
【請求項8】
コンピュータに、
撮像手段による撮像を行う撮像ステップと、
前記撮像手段による撮像の結果得られた動画データを動画データ蓄積手段に蓄積する動画データ蓄積ステップと、
人物認識手段に、前記動画データの画像の中における、予め記憶手段に記憶している人物の画像を判別して認識させる人物認識ステップと、
前記人物認識ステップで認識された人物の画像に対応する電子メール通信先を取得する電子メール通信先取得ステップと、
前記電子メール通信先を宛先とする電子メール送信で送信可能な容量の最大値に相当する制限容量を取得する制限容量情報取得ステップと、
前記動画データ蓄積手段に蓄積された動画データを記録した画像ファイルであって、前記制限容量情報取得ステップにより取得した制限容量以下の画像ファイルを生成する画像ファイル生成ステップと、
前記電子メール通信先取得ステップで取得した前記電子メール通信先に、前記画像ファイル生成ステップで生成した画像ファイルを送信する画像ファイル送信ステップと、
を実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2012−23541(P2012−23541A)
【公開日】平成24年2月2日(2012.2.2)
【国際特許分類】
【出願番号】特願2010−159721(P2010−159721)
【出願日】平成22年7月14日(2010.7.14)
【出願人】(310006855)NECカシオモバイルコミュニケーションズ株式会社 (1,081)
【Fターム(参考)】
【公開日】平成24年2月2日(2012.2.2)
【国際特許分類】
【出願日】平成22年7月14日(2010.7.14)
【出願人】(310006855)NECカシオモバイルコミュニケーションズ株式会社 (1,081)
【Fターム(参考)】
[ Back to top ]