テレビ電話装置及びプログラム
【課題】テレビ電話の通信中に録画された任意時点の映像をその通信相手同士が互いに確認し合いながら意思を伝達できるようにする。
【解決手段】ＣＰＵ１１は、相手端末でカメラ撮影されたリアルタイム映像を受信してメイン表示部４のテレビ電話画面に表示出力している状態において当該相手映像を録画メモリ２０ａに逐次録画するほか、相手端末との接続中にプレイバック指示を受けた場合に、この録画内容を読み出して再生表示させると共に、この再生映像の中から任意の映像が指定された際に、この指定映像を表示対象の共通確認映像として電話通信部１５から相手端末に送信する。
【解決手段】ＣＰＵ１１は、相手端末でカメラ撮影されたリアルタイム映像を受信してメイン表示部４のテレビ電話画面に表示出力している状態において当該相手映像を録画メモリ２０ａに逐次録画するほか、相手端末との接続中にプレイバック指示を受けた場合に、この録画内容を読み出して再生表示させると共に、この再生映像の中から任意の映像が指定された際に、この指定映像を表示対象の共通確認映像として電話通信部１５から相手端末に送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、自己のカメラによって撮影されたリアルタイム映像を自己映像として通信相手先である相手端末に送信し、この相手端末側のカメラで撮影されたリアルタイム映像を相手映像として受信して表示するテレビ電話装置及びプログラムに関する。
【背景技術】
【０００２】
近年、カメラ機能付きの携帯電話装置の普及に伴って携帯型テレビ電話端末（テレビ機能付き携帯電話装置など）が実用化されている。この携帯型テレビ電話端末において、そのカメラの向きを任意の方向に調整可能であれば、自己の顔映像に代えて任意方向を撮影したカメラ映像を相手端末に送信することができるため、この任意映像を通信相手と確認し合うという使い方も可能となる。例えば、買い物を頼まれた人がテレビ電話をしながら店舗内映像を逐次送信しているような場合に、この店舗内映像を受信した通信相手から突然、「さっき撮ってもらった“あれ”」を買って来てと言われても、“あれ”が何だか分からないことが多く、カメラ撮影をしながら通路を逆戻りして探し回るしかなかった。
このような場合、例えば、録画機能を備えたテレビ電話機であれば（特許文献１参照）、録画内容を任意の位置まで巻き戻して再生表示させることも可能となる。
【特許文献１】特開平７−１１１６３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した特許文献１のテレビ電話機にあっては、留守番用の録画機能を前提としたものであり、留守中のテレビ電話映像をその受信者が後で確認できるとしても、留守番用録画機能を備えただけでは、上述の事例に対して効果的に対応することはできなかった。
この発明の課題は、テレビ電話の通信中に録画された任意時点の映像をその通信相手同士が互いに確認し合いながら意思を伝達できるようにすることである。
【課題を解決するための手段】
【０００４】
請求項１記載の発明は、自己のカメラによって撮影されたリアルタイム映像を自己映像として通信相手先である相手端末に送信し、この相手端末側のカメラで撮影されたリアルタイム映像を相手映像として受信して表示するテレビ電話装置であって、前記相手端末から受信した相手映像を逐次録画する録画手段と、前記相手端末との通信接続中に録画確認指示を受けた場合に、この録画内容を読み出して再生表示させる再生手段と、この再生手段による再生映像の中から任意の映像が指定された際に、この指定映像を表示対象の共通確認映像として前記相手端末に送信する送信手段とを具備したことを特徴とする。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項９記載の発明）。
ここで、テレビ電話装置とは、テレビ電話機能付きの携帯電話装置あるいは固定電話などであってもよい。
【０００５】
なお、上述した請求項１記載の発明は次ぎのようなものであってもよい。
前記再生手段は、録画内容を再生表示させる際に、前記相手映像の表示域にその代用として録画内容を切り替え表示する（請求項２記載の発明）。
【０００６】
前記相手端末に前記共通確認映像を送信する際に、この共通確認映像を前記自己映像の代用として送信する（請求項３記載の発明）。
【０００７】
前記相手端末に前記共通確認映像を送信する際に、前記自己映像に当該共通確認映像を添付合成して送信する（請求項４記載の発明）。
【０００８】
前記再生映像には、前記相手端末に通信接続された通信開始時あるいは相手映像の録画を開始した録画開始時から当該映像が録画されるまでの経過時間が付加されて表示され、この経過時間が付加された再生映像を共通確認映像として相手端末に送信する（請求項５記載の発明）。
【０００９】
前記相手端末との通信接続が解除された際に、前記録画動作を停止して当該通信接続中の録画内容を消去する（請求項６記載の発明）。
この場合、前記通信接続中の録画内容のうち、当該共通確認映像を保存し、それ以外の映像を全て消去するようにしてもよい（請求項７記載の発明）。
【００１０】
前記再生動作中に録画確認の終了指示を受けた場合に、再生表示されている共通確認映像に代わって相手映像を切り替え表示すると共に、この共通確認映像に代わって自己映像を相手端末に送信する（請求項８記載の発明）。
【発明の効果】
【００１１】
請求項１記載の発明によれば、相手端末でカメラ撮影されたリアルタイム映像を受信して表示出力している状態において当該相手映像を逐次録画するほか、相手端末との通信接続中に録画確認指示を受けた場合に、この録画内容を読み出して再生表示させると共に、この再生映像の中から任意の映像が指定された際に、この指定映像を表示対象の共通確認映像として相手端末に送信するようにしたから、テレビ電話の通信中に録画された任意時点の映像をその通信相手同士が互いに確認し合いながら意思を伝達することができ、円滑かつ迅速なコミュニケーション支援を実現することが可能となる。例えば、上述した買い物事例の場合、買い物を頼んだ側で店舗内映像を受信表示しながら録画している状態において録画内容を再生表示させて買い物対象を確認した際に、この映像が相手端末（買い物を頼まれた側）に送信されるので、買い物対象が写されている映像を両方での確認し合うことができる。これによって意思伝達が円滑となり、子供、お年寄りなどにも気楽に買い物を頼むことができるようになる。
【００１２】
請求項２記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、相手映像の表示域にその代用として録画内容を切り替え表示するようにしたから、例えば、携帯端末装置のような小型画面であってもそれを有効利用することができる。
【００１３】
請求項３記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、相手端末に共通確認映像を送信する際に、この共通確認映像を自己映像の代用として送信するようにしたから、現状の通信方式をそのまま利用して共通確認映像を送信することが可能となる。
【００１４】
請求項４記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、相手端末に共通確認映像を送信する際に、自己映像に当該共通確認映像を添付合成して送信するようにしたから、現状の通信方式をそのまま利用して両方の映像を送信することが可能となる。
【００１５】
請求項５記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、再生映像には、相手端末に通信接続された通信開始時あるいは相手映像の録画を開始した録画開始時から当該映像が録画されるまでの経過時間が付加されて表示され、この経過時間が付加された再生映像を共通確認映像として相手端末に送信するようにしたから、通信開始時あるいは録画開始時を基準として何時頃のシーンかを容易に把握することができる。
【００１６】
請求項６記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、相手端末との通信接続が解除された際に、録画動作を停止して当該通信接続中の録画内容を消去するようにしたから、録画メモリの節約が可能となる。
この場合、通信接続中の録画内容のうち、当該共通確認映像を保存し、それ以外の映像を全て消去するようにすれば（請求項７記載の発明）、必要な映像のみを自動保存することが可能となる。
【００１７】
請求項８記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、再生動作中に録画確認の終了指示を受けた場合に、再生表示されている共通確認映像に代わって相手映像を切り替え表示すると共に、この共通確認映像に代わって自己映像を相手端末に送信するようにしたから、確認終了後は画面内容を元の状態（通常のテレビ電話画面の状態）に直ちに復帰させることが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、図１〜図８を参照して本発明の実施例を説明する。
図１は、テレビ電話装置として適用したテレビ電話機能付き携帯電話装置の外観斜視図であり、折り畳み自在な装置本体を開いた状態において、（Ａ）は、斜め正面図、（Ｂ）は、斜め背面図である。
このテレビ電話機能付き携帯電話装置は、自己のカメラによって撮影されたリアルタイム映像を自己映像として通信相手先である相手端末に送信し、この相手端末側のカメラで撮影されたリアルタイム映像を相手映像として受信して表示するもので、図示省略したが、移動体通信網（携帯電話網）を介して相手端末として他のテレビ電話機能付き携帯電話装置に接続されたり、インターネットあるいは固定電話網を介してパーソナルコンピュータ（ＰＣ）あるいは固定電話機に接続可能となっている。
【００１９】
携帯電話装置は、電話機能（通話機能）、メール機能、インターネット接続機能、カメラ機能のほか、テレビ電話機能、録画機能、再生機能を備えている。テレビ電話機能は、通話時にリアルタイム撮影されたユーザ本人の顔画像などを双方向に通信可能なコミュニケーションツールである。なお、コミュニケーションの相手先は、テレビ電話機能付き携帯電話装置に限らず、上述したようにテレビ電話機能付きＰＣあるいは固定電話機の何れであってもよいが、この実施例では携帯電話装置同士でコミュニケーションを行うものとする。録画機能は、相手端末から受信した相手映像を一時的に逐次録画する機能であり、再生機能は、相手端末との通話接続中に再生指示（プレイバック指示）を受けた場合に、この録画内容を読み出して再生表示させる機能である。
【００２０】
携帯電話の装置本体１は、例えば、２つの下部筐体２、上部筐体３が開閉可能に取り付けられた折り畳み自在なもので、上部筐体３の正面側にはメイン表示部４が設けられ、上部筐体３の背面側にはサブ表示部５が設けられており、また、上部筐体３の上辺中央部に形成された断面凹状の切り欠き部６内には、カメラ撮像部７が１８０°回転可能に軸支されている。このカメラ撮像部７は、例えば、ＣＣＤイメージセンサを備えた高精細なカメラ装置であり、その撮影レンズ７Ａを正面側（ユーザ対面側）に向いたり、背面側（ユーザの反対側）に向くように、カメラ全体を１８０°回転可能となっている。つまり、１台のカメラによって一般的な背面撮影用のカメラとテレビ電話用のカメラとを兼用可能な構成となっている。
【００２１】
図２は、テレビ電話機能付き携帯電話装置の基本的な構成要素を示したブロック図である。
ＣＰＵ１１は、記憶部１２内の各種のプログラムに応じてこの携帯電話装置の全体動作を制御する中核的な中央演算処理装置であり、このメインＣＰＵ１１のほか、この携帯電話装置には、例えば、映像、音声データの受送信機能、受信映像の録画／再生機能などの機能別に、複数のサブＣＰＵ（図示せず）を有する構成となっている。
【００２２】
記憶部１２は、不揮発性メモリ(内部メモリ)であり、例えば、フラッシュメモリなどによって構成され、プログラム領域とデータ領域とを有し、このプログラム領域には、後述する図５及び図６に示す動作手順に応じて本実施例を実現するためのプログラムが格納されている。記録メディア１３は、着脱自在な可搬型メモリで、撮影画像データ、各種のデータ、プログラムを外部供給するもので、例えば、スマートメディア、ＩＣカードなどによって構成されている。メモリ１４は、ワーク領域を有する内部メモリで、例えば、ＤＲＡＭ（Direct Random Access Memory）、ＳＤＲＡＭ（Synchronous DRAM）などによって構成されている。
【００２３】
電話通信部１５は、無線部、ベースバンド部、多重分離部などを備え、アンテナ１５Ａに接続された送受信デュプレクサの受信側から信号を取り込んで受信ベースバンド信号に復調したのちに、音声制御部１６を介して音声スピーカ１７から音声出力させる。また、電話通信部１５は、音声マイク１８から入力された音声データを音声制御部１６から取り込み、送信ベースバンド信号に符号化したのちに送受信デュプレクサの送信側に与えられてアンテナ１５Ａから発信出力させる。一方、電子メール機能、テレビ電話機能、インターネット接続機能によって電話通信部１５を介して受信取得した表示データは、表示制御部１９を介してＬＣＤ（液晶表示装置）などを備えたメイン表示部４に与えられて表示出力される。メイン表示部４は、文字情報、テレビ電話映像、各種のメッセージなどを高品位に表示し、サブ表示部５は現在日時、簡易なメッセージ、アイコンなどを表示する。
【００２４】
カメラ撮像部７は、静止画撮影のほかに動画撮影も可能なもので、撮影レンズ、ミラー等のレンズ・ミラーブロック、撮像素子、その駆動系のほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路等を備え、光学ズームを調整制御したり、オートフォーカス時の駆動制御、シャッター駆動制御、露出、ホワイトバランス等を制御する。録画／再生部２０は、テレビ電話中に相手端末から受信した相手映像（リアルタイム映像）を一時的に逐次録画すると共に、通話接続中に再生指示（プレイバック指示）を受けた際に、この録画内容を読み出して再生表示させるもので、ＣＰＵ１１の制御下で録画開始／終了及び再生開始／終了が制御される。
【００２５】
キー操作部２１は、ダイヤル入力、文字入力、コマンド入力などを行うもので、テレビ電話機能をＯＮ／ＯＦＦさせるテレビ電話ボタン（図示せず）などが設けられており、ＣＰＵ１１は、キー操作部２１からのキー入力信号に応じた処理を実行する。なお、テレビ電話の動作中にテレビ電話ボタンがＯＦＦ操作された場合には、通話を継続させたまま映像の送受信を切断すると共に、録画動作を終了させるようにしている。報知部２２は、着信報知などの報知用のスピーカ、ＬＥＤ(発光ダイオード)、振動モータを備え、電話・メール着信時に駆動されて着信報知を行うほか、アラーム報知時にも駆動される。
【００２６】
図３は、折り畳み式の装置本体を開いた状態において、メイン表示部４に表示されているテレビ電話画面の表示例を示した図である。
このテレビ電話画面は主エリアｍａと予備エリアｓａを有し、主エリアｍａには、テレビ電話中であることを示す文字列のほか、相手端末側のカメラで撮影されたリアルタイム映像が相手映像として表示されており、また、予備エリアｓａには、自己のカメラによって撮影されたリアルタイム映像が自己映像（モニタ映像）として表示されている。なお、テレビ電話中の予備エリアｓａには、テレビ電話中に録画された映像の再生を指示する「プレイバック」のアイコンが配置表示されており、所定のキー操作によって「プレイバック」アイコンが選択指定されると、この操作に応答して再生開始指示がＣＰＵ１１に与えられる。
【００２７】
図４は、メイン表示部４において、テレビ電話中の録画映像を再生表示している再生画面の表示例を示した図である。
この再生画面の主エリアｍａには、録画再生中であることを示す文字列のほか、再生映像（プレイバック映像）が再生表示されている。ここで、再生時には、通話開始時（録画開始時）から当該映像が録画されるまでの経過時間（例えば、分秒単位の時間）が求められて再生映像の片隅部に合成表示される。また、再生画面の予備エリアｓａには、自己映像（モニタ映像）が表示されると共に、相手端末から受信した相手映像（リアルタイム映像）が表示される。
【００２８】
また、再生画面の予備エリアｓａには、再生動作中の「早送り」、「巻き戻し」を指示するアイコン（左／右の矢印図形）と、再生の「一時停止」を指示するアイコンのほか、現在表示中の再生映像を通話相手と確認し合う共通確認映像として指定する「確認」のアイコン、再生動作の終了を指示する「終了」のアイコンが配置表示されており、所定キー操作によって選択指定されたアイコン対応の指示がＣＰＵ１１に与えられる。ここで、「確認」のアイコンが選択指定されると、ＣＰＵ１１は、共通確認映像として指定された現在表示中の再生映像を相手端末に送信するようにしている。この場合、通話開始時（録画開始時）から当該映像が録画されるまでの経過時間が算出付加された再生映像が共通確認映像として相手端末に送信される。ここで、相手端末側において当該共通確認映像（再生映像）は、そのテレビ電話画面の主エリアｍａに表示出力される。
【００２９】
次ぎに、この実施例における携帯電話装置の動作概念を図５及び図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施例特有の動作を実行することもできる。
【００３０】
図５及び図６は、テレビ電話機能を作動させるテレビ電話ボタンのＯＮ操作に応じて実行開始される携帯電話装置の動作を示したフローチャートである。
先ず、ＣＰＵ１１は、テレビ電話ボタンのＯＮ操作に応答してカメラ撮像部７を起動させてカメラモニタをＯＮさせた状態において（ステップＳ１）、所望する相手先を呼び出すための発呼操作が行われると（ステップＳ２）、この通信相手先との間の回線接続が確立されるまで待機状態となる（ステップＳ３）。
【００３１】
いま、相手端末に回線接続されると、音声マイク１８を作動させたのち（ステップＳ４）、カメラ撮像部７によって撮影された自己映像（モニタ映像）と音声マイク１８からの入力音声を相手端末に送信する動作を開始させるほか（ステップＳ５）、相手端末側のカメラで撮影されたリアルタイム映像を相手映像として受信すると共に相手音声の受信を開始させたのち（ステップＳ６）、録画／再生部２０に対して録画開始を指示し、相手端末から受信した相手映像をその録画メモリ２０ａに録画する動作を開始させる（ステップＳ７）。なお、この場合、通話録音は行われず、相手映像の録画のみが行われる。そして、上述したテレビ電話画面に切り替え、その主エリアｍａに相手映像を表示させ、その予備エリアｓａに自己映像（モニタ映像）を表示させる（ステップＳ８）。
【００３２】
図７は、通常時（非再生時）の自分側及び相手側における各テレビ電話画面の表示例を示した図である。
このテレビ電話画面の主エリアｍａには、相手映像（リアルタイム映像）がその領域全体に大きく表示され、自己映像（モニタ映像）はその予備エリアｓａに小さく表示される。この場合、自分側の主エリアｍａに表示されている映像は、相手側の予備エリアｓａに表示されている映像であり、逆に自分側の予備エリアｓａに表示されている映像は、相手側の主エリアｍａに表示されている映像である。
【００３３】
この状態において、ＣＰＵ１１は、通話遮断（オンフック操作）の有無（ステップＳ９）、プレイバック指示の操作有無をチェックし（ステップＳ１０）、何れかの操作があるまでステップＣ９に戻って待機状態となる。ここで、テレビ電話画面内の「プレイバック」のアイコンが選択指定されることによってテレビ電話中の録画映像の再生指示（プレイバック指示）を受けた場合には（ステップＳ１０でＹＥＳ）、図６のフローに移って録画映像が再生表示される。なお、図示省略したが、テレビ電話の動作中にテレビ電話ボタンがＯＦＦ操作された場合には、通話を継続させたまま映像の送受信を切断すると共に、録画動作を終了させるようにしている。
【００３４】
ＣＰＵ１１は、上述のプレイバック指示に応答してテレビ電話画面から再生画面に切り替え、相手映像の表示先として再生画面の主エリアｍａから予備エリアｓａに変更する（図６のステップＳ１７）。つまり、受信した相手映像（リアルタイム映像）を再生画面の予備エリアｓａに表示出力させたのち、録画メモ２０ａの先頭から読み出された録画映像を再生画面の主エリアｍａに再生表示させる動作を開始させる（ステップＳ１８）。これによって再生画面の主エリアｍａには、相手映像に代わって再生映像が表示される。また、受信した相手映像の録画を継続しながら当該録画内容を並行的に再生表示させるが、その際、例えば、再生スピードを録画スピードの1.3倍、1.5倍、２倍などのように速く設定しておくことによって再生位置が録画位置を追いかける“追っかけ再生”を行うようにしている。
【００３５】
そして、ＣＰＵ１１は、通話開始時（録画開始時）から当該映像が録画されるまでの経過時間を算出し、この経過時間を再生映像の片隅部に合成表示させる（ステップＳ１９）。この場合、通話開始時（録画開始時）を基準として当該映像の録画位置と録画速度などを考慮して通話開始時（録画開始時）からの経過時間を算出するようにしている。なお、この場合の再生は、映像再生であって音声出力は現在の通話（生音声）のままである。このような追っかけ再生の動作中において、「終了」のアイコンが選択指定されて再生終了が指示された場合には（ステップＳ２３でＹＥＳ）、再生動作を終了させて再生画面からテレビ電話画面に切り替えたのち（ステップＳ３３）、図５のステップＳ９に戻る。
【００３６】
また、追っかけ再生の動作中において、再生画面内の「早送り」、「巻き戻し」、「一時停止」、「確認」のアイコンのうち、「早送り」、「巻き戻し」、「一時停止」の何れかのアイコンが選択指定されることによって、再生制御指示を受けた場合には（ステップＳ２０でＹＥＳ）、このアイコン対応の再生制御として早送り処理、巻き戻し処理、一時停止処理を実行したのち（ステップＳ２１）、ステップＳ２０に戻る。このような「早送り」、「巻き戻し」、「一時停止」を適宜に操作することによって所望する録画位置まで遡ることができた場合には、つまり、上述した買い物事例において、「さっき撮ってもらった“あれ”」を発見した場合には、そのユーザ（買い物を依頼した側）は、現在表示中の再生映像を通話相手と確認し合う共通確認映像として指定するために再生画面内の「確認」アイコンを指定する。
【００３７】
これによって確認映像が指定されると（ステップＳ２２でＹＥＳ）、この指定位置を確認映像の開始位置として録画メモリ１４ａに書き込むと共に（ステップＳ２４）、この指定位置からの再生映像を自己映像（モニタ映像）に代えて相手端末に送信する動作を開始させる（ステップＳ２５）。この場合、通話開始時（録画開始時）から当該映像が録画されるまでの経過時間が付加された再生映像が共通確認映像として相手端末に送信される。
図８は、確認映像の指定後において自分側の再生画面と相手側のテレビ電話画面の表示例で、上述した買い物事例の場合の表示内容（店舗内映像）を示した図である。この両画面の主エリアｍａには、共通確認映像（再生映像：魚売場の映像）がそれぞれ表示される。この場合、相手側のテレビ電話画面の予備エリアｓａには、自己映像（モニタ映像：野菜売場の映像）が表示され、自分側の再生画面の予備エリアｓａには、相手映像（リアルタイム映像：野菜売場の映像）及び自己映像（モニタ映像：自分の顔映像）が表示される。
【００３８】
このように共通確認映像が表示されている状態において、更に、再生画面内の「早送り」、「巻き戻し」、「一時停止」が指示されると（ステップＳ２６）、そのアイコン対応の再生制御として早送り処理、巻き戻し処理、一時停止処理が行われるが（ステップＳ２７）、この場合においても再生映像（共通確認映像）は、相手端末に送り続けられている。ここで、再生終了が指示されると（ステップＳ２８でＹＥＳ）、再生動作を終了させると共に（ステップＳ２９）、その終了位置を確認映像の終了位置として録画メモリ２０ａに書き込んでおく（ステップＳ３０）。更に、ＣＰＵ１１は、再生画面からテレビ電話画面に切り替え、上述の共通確認映像に代えて自己映像（モニタ映像）の送信を開始すると共に（ステップＳ３１）、受信した相手映像（リアルタイム映像）をその主エリアｍａに表示させたのち（ステップＳ３２）、図５のステップＳ９に戻る。
【００３９】
いま、ＣＰＵ１１は、オンフック操作を検出すると（ステップＳ９でＹＥＳ）、通話遮断を行い（ステップＳ１１）、カメラ撮像部７の動作を終了させてカメラモニタをＯＦＦすると共に、音声マイク１８をＯＦＦしたのち（ステップＳ１２）、相手映像の録画動作を終了させる（ステップＳ１３）。そして、録画メモリ２０ａの内容を調べ、上述した確認映像の開始位置及び終了位置が書き込まれているか否かによって確認映像が指定されたか否かをチェックする（ステップＳ１４）。いま、確認映像が指定されていなければ、録画メモリ１４ａの内容を全て消去するが（ステップＳ１６）、確認映像が指定されていれば、この開始位置及び終了位置で示される録画映像を確認映像として特定すると共に、この確認映像を記憶部１２あるいは記録メディア１３に送って記憶保存させたのち（ステップＳ１５）、この録画メモリ１４ａの内容を全て消去する（ステップＳ１６）。
【００４０】
以上のように、この実施例においてＣＰＵ１１は、相手端末でカメラ撮影されたリアルタイム映像を受信してメイン表示部４のテレビ電話画面に表示出力している状態において当該相手映像を録画メモリ２０ａに逐次録画するほか、相手端末との接続中にプレイバック指示を受けた場合に、この録画内容を読み出して再生表示させると共に、この再生映像の中から任意の映像が指定された際に、この指定映像を表示対象の共通確認映像として相手端末に送信するようにしたから、テレビ電話の通信中に録画された任意時点の映像をその通信相手同士が互いに確認し合いながら意思を伝達することができ、円滑かつ迅速なコミュニケーション支援を実現することが可能となり、上述した買い物事例のように意思伝達が円滑となり、子供、お年寄りなどにも気楽に買い物を頼むことができるようになる。
【００４１】
この場合、録画内容を再生表示させる際に、テレビ電話画面の主エリアｍａに相手映像の代用として録画内容を切り替え表示するようにしたから、携帯電話装置のような小型画面であってもそれを有効利用することができる。
また、相手端末に共通確認映像を送信する際に、この共通確認映像を自己映像の代用として送信するようにしたから、現状の通信方式をそのまま利用して共通確認映像を送信することが可能となる。
【００４２】
再生映像には、相手端末に通信接続された通信開始時あるいは相手映像の録画を開始した録画開始時から当該映像が録画されるまでの経過時間が付加されて表示されるほか、この経過時間を付加した再生映像を共通確認映像として相手端末に送信するようにしたから、通信開始時あるいは録画開始時を基準として何時頃のシーンかを容易に把握することができる。
【００４３】
ＣＰＵ１１は、オンフック操作を検出した際に、録画動作を停止して当該通信接続中の録画内容を消去するようにしたから、録画メモリ２０ａの節約が可能となる。この場合、通信接続中の録画内容のうち、当該共通確認映像を保存し、それ以外の映像を全て消去するようにしたから、必要な映像のみを自動保存することが可能となる。
また、再生動作中に録画確認の終了指示を受けた場合に、再生表示されている共通確認映像に代わって相手映像を切り替え表示すると共に、この共通確認映像に代わって自己映像を相手端末に送信するようにしたから、確認終了後は画面内容を元の状態（通常のテレビ電話画面の状態）に直ちに復帰させることが可能となる。
【００４４】
なお、上述した実施例においては、相手端末に共通確認映像を送信する際に、この共通確認映像を自己映像（モニタ映像）の代用として送信するようにしたが、モニタ映像に共通確認映像を添付合成して送信するようにしてもよい。例えば、モニタ映像の片隅部に共通確認映像を合成したり、逆に共通確認映像の片隅部にモニタ映像を合成し、この合成映像を相手端末に送信するようにしてもよい。この場合、自己映像と共通確認映像とを時分割に送信し、これを受信した相手端末側で自己映像と共通確認映像とを合成して表示するようにしてもよい。このようにモニタ映像と共通確認映像との合成画像を送信したり、自己映像と共通確認映像とを時分割に送信するようにすれば、現状の通信方式をそのまま利用して両方の映像を送信することが可能となる。
【００４５】
上述した実施例において、録画内容の再生表示時に、何時頃のシーンであるかを示すために再生映像には、通話開始時（録画開始時）から当該映像が録画されるまでの経過時間を付加するようにしたが、録画時に現在時刻をその映像の録画時刻として取得して当該映像内に埋め込み合成して表示したり、この録画時刻付きの映像を共通確認映像として相手端末に送信するようにしてもよい。つまり、何時頃のシーンであるかを容易に特定できればよく、現時点から何分前の映像か、何秒前の映像かを案内表示することができればよい。また、時間表示に限らず、音声出力によって報知するようにしてもよい。
【００４６】
また、上述の買い物事例においては、依頼者側が被依頼者側からの店舗内映像を受信して録画すると共に、この録画内容の再生表示時に任意に指定した映像を共通確認映像として被依頼者側に送信するようにしたが、依頼者側と被依頼者側との間で任意に指定した映像を共通確認映像として双方向に送信し合うようにしてもよい。また、買い物事例に限らず、例えば、テレビ電話を利用した会議などにも利用可能であり、例えば、直前に提供された資料などを見逃したような場合であっても参加者全員がその資料をプレイバック確認することが可能となる。
【００４７】
上述した実施例においては、テレビ電話機能付き携帯電話装置同士でのコミュニケーションする場合を例示したが、テレビ電話機能付きのＰＤＡ、電子カメラ、電子腕時計、ビデオ再生機などの携帯端末装置であっても同様に適用可能であり、また、携帯端末装置に限らず、テレビ電話機能付きＰＣあるいは固定電話機であってもよい。
【図面の簡単な説明】
【００４８】
【図１】テレビ電話装置として適用したテレビ電話機能付き携帯電話装置の外観斜視図で、折り畳み自在な装置本体を開いた状態において、（Ａ）は、斜め正面図、（Ｂ）は、斜め背面図。
【図２】テレビ電話機能付き携帯電話装置の基本的な構成要素を示したブロック図。
【図３】折り畳み式の装置本体を開いた状態において、メイン表示部４に表示されているテレビ電話画面の表示例を示した図。
【図４】メイン表示部４において、テレビ電話中の録画映像を再生表示している再生画面の表示例を示した図。
【図５】テレビ電話機能を作動させるテレビ電話ボタンのＯＮ操作に応じて実行開始される携帯電話装置の動作を示したフローチャート。
【図６】図５に続く、フローチャート。
【図７】通常時（非再生時）の自分側及び相手側における各テレビ電話画面の表示例を示した図。
【図８】確認映像の指定後において自分側の再生画面と相手側のテレビ電話画面の表示例で、上述した買い物事例の場合の表示内容（店舗内映像）を示した図。
【符号の説明】
【００４９】
１ 装置本体
４ メイン表示部
７ カメラ撮像部
１１ ＣＰＵ
１２ 記憶部
１５ 電話通信部
１６ 音声制御部
１７ 音声スピーカ
１８ 音声マイク
１９ 表示制御部
２０ 録画／再生部
２０ａ 録画メモリ
２１ キー操作部
ｍａ テレビ電話画面／再生画面の主エリア
ｓａ テレビ電話画面／再生画面の予備エリア
【技術分野】
【０００１】
この発明は、自己のカメラによって撮影されたリアルタイム映像を自己映像として通信相手先である相手端末に送信し、この相手端末側のカメラで撮影されたリアルタイム映像を相手映像として受信して表示するテレビ電話装置及びプログラムに関する。
【背景技術】
【０００２】
近年、カメラ機能付きの携帯電話装置の普及に伴って携帯型テレビ電話端末（テレビ機能付き携帯電話装置など）が実用化されている。この携帯型テレビ電話端末において、そのカメラの向きを任意の方向に調整可能であれば、自己の顔映像に代えて任意方向を撮影したカメラ映像を相手端末に送信することができるため、この任意映像を通信相手と確認し合うという使い方も可能となる。例えば、買い物を頼まれた人がテレビ電話をしながら店舗内映像を逐次送信しているような場合に、この店舗内映像を受信した通信相手から突然、「さっき撮ってもらった“あれ”」を買って来てと言われても、“あれ”が何だか分からないことが多く、カメラ撮影をしながら通路を逆戻りして探し回るしかなかった。
このような場合、例えば、録画機能を備えたテレビ電話機であれば（特許文献１参照）、録画内容を任意の位置まで巻き戻して再生表示させることも可能となる。
【特許文献１】特開平７−１１１６３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した特許文献１のテレビ電話機にあっては、留守番用の録画機能を前提としたものであり、留守中のテレビ電話映像をその受信者が後で確認できるとしても、留守番用録画機能を備えただけでは、上述の事例に対して効果的に対応することはできなかった。
この発明の課題は、テレビ電話の通信中に録画された任意時点の映像をその通信相手同士が互いに確認し合いながら意思を伝達できるようにすることである。
【課題を解決するための手段】
【０００４】
請求項１記載の発明は、自己のカメラによって撮影されたリアルタイム映像を自己映像として通信相手先である相手端末に送信し、この相手端末側のカメラで撮影されたリアルタイム映像を相手映像として受信して表示するテレビ電話装置であって、前記相手端末から受信した相手映像を逐次録画する録画手段と、前記相手端末との通信接続中に録画確認指示を受けた場合に、この録画内容を読み出して再生表示させる再生手段と、この再生手段による再生映像の中から任意の映像が指定された際に、この指定映像を表示対象の共通確認映像として前記相手端末に送信する送信手段とを具備したことを特徴とする。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項９記載の発明）。
ここで、テレビ電話装置とは、テレビ電話機能付きの携帯電話装置あるいは固定電話などであってもよい。
【０００５】
なお、上述した請求項１記載の発明は次ぎのようなものであってもよい。
前記再生手段は、録画内容を再生表示させる際に、前記相手映像の表示域にその代用として録画内容を切り替え表示する（請求項２記載の発明）。
【０００６】
前記相手端末に前記共通確認映像を送信する際に、この共通確認映像を前記自己映像の代用として送信する（請求項３記載の発明）。
【０００７】
前記相手端末に前記共通確認映像を送信する際に、前記自己映像に当該共通確認映像を添付合成して送信する（請求項４記載の発明）。
【０００８】
前記再生映像には、前記相手端末に通信接続された通信開始時あるいは相手映像の録画を開始した録画開始時から当該映像が録画されるまでの経過時間が付加されて表示され、この経過時間が付加された再生映像を共通確認映像として相手端末に送信する（請求項５記載の発明）。
【０００９】
前記相手端末との通信接続が解除された際に、前記録画動作を停止して当該通信接続中の録画内容を消去する（請求項６記載の発明）。
この場合、前記通信接続中の録画内容のうち、当該共通確認映像を保存し、それ以外の映像を全て消去するようにしてもよい（請求項７記載の発明）。
【００１０】
前記再生動作中に録画確認の終了指示を受けた場合に、再生表示されている共通確認映像に代わって相手映像を切り替え表示すると共に、この共通確認映像に代わって自己映像を相手端末に送信する（請求項８記載の発明）。
【発明の効果】
【００１１】
請求項１記載の発明によれば、相手端末でカメラ撮影されたリアルタイム映像を受信して表示出力している状態において当該相手映像を逐次録画するほか、相手端末との通信接続中に録画確認指示を受けた場合に、この録画内容を読み出して再生表示させると共に、この再生映像の中から任意の映像が指定された際に、この指定映像を表示対象の共通確認映像として相手端末に送信するようにしたから、テレビ電話の通信中に録画された任意時点の映像をその通信相手同士が互いに確認し合いながら意思を伝達することができ、円滑かつ迅速なコミュニケーション支援を実現することが可能となる。例えば、上述した買い物事例の場合、買い物を頼んだ側で店舗内映像を受信表示しながら録画している状態において録画内容を再生表示させて買い物対象を確認した際に、この映像が相手端末（買い物を頼まれた側）に送信されるので、買い物対象が写されている映像を両方での確認し合うことができる。これによって意思伝達が円滑となり、子供、お年寄りなどにも気楽に買い物を頼むことができるようになる。
【００１２】
請求項２記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、相手映像の表示域にその代用として録画内容を切り替え表示するようにしたから、例えば、携帯端末装置のような小型画面であってもそれを有効利用することができる。
【００１３】
請求項３記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、相手端末に共通確認映像を送信する際に、この共通確認映像を自己映像の代用として送信するようにしたから、現状の通信方式をそのまま利用して共通確認映像を送信することが可能となる。
【００１４】
請求項４記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、相手端末に共通確認映像を送信する際に、自己映像に当該共通確認映像を添付合成して送信するようにしたから、現状の通信方式をそのまま利用して両方の映像を送信することが可能となる。
【００１５】
請求項５記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、再生映像には、相手端末に通信接続された通信開始時あるいは相手映像の録画を開始した録画開始時から当該映像が録画されるまでの経過時間が付加されて表示され、この経過時間が付加された再生映像を共通確認映像として相手端末に送信するようにしたから、通信開始時あるいは録画開始時を基準として何時頃のシーンかを容易に把握することができる。
【００１６】
請求項６記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、相手端末との通信接続が解除された際に、録画動作を停止して当該通信接続中の録画内容を消去するようにしたから、録画メモリの節約が可能となる。
この場合、通信接続中の録画内容のうち、当該共通確認映像を保存し、それ以外の映像を全て消去するようにすれば（請求項７記載の発明）、必要な映像のみを自動保存することが可能となる。
【００１７】
請求項８記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、再生動作中に録画確認の終了指示を受けた場合に、再生表示されている共通確認映像に代わって相手映像を切り替え表示すると共に、この共通確認映像に代わって自己映像を相手端末に送信するようにしたから、確認終了後は画面内容を元の状態（通常のテレビ電話画面の状態）に直ちに復帰させることが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、図１〜図８を参照して本発明の実施例を説明する。
図１は、テレビ電話装置として適用したテレビ電話機能付き携帯電話装置の外観斜視図であり、折り畳み自在な装置本体を開いた状態において、（Ａ）は、斜め正面図、（Ｂ）は、斜め背面図である。
このテレビ電話機能付き携帯電話装置は、自己のカメラによって撮影されたリアルタイム映像を自己映像として通信相手先である相手端末に送信し、この相手端末側のカメラで撮影されたリアルタイム映像を相手映像として受信して表示するもので、図示省略したが、移動体通信網（携帯電話網）を介して相手端末として他のテレビ電話機能付き携帯電話装置に接続されたり、インターネットあるいは固定電話網を介してパーソナルコンピュータ（ＰＣ）あるいは固定電話機に接続可能となっている。
【００１９】
携帯電話装置は、電話機能（通話機能）、メール機能、インターネット接続機能、カメラ機能のほか、テレビ電話機能、録画機能、再生機能を備えている。テレビ電話機能は、通話時にリアルタイム撮影されたユーザ本人の顔画像などを双方向に通信可能なコミュニケーションツールである。なお、コミュニケーションの相手先は、テレビ電話機能付き携帯電話装置に限らず、上述したようにテレビ電話機能付きＰＣあるいは固定電話機の何れであってもよいが、この実施例では携帯電話装置同士でコミュニケーションを行うものとする。録画機能は、相手端末から受信した相手映像を一時的に逐次録画する機能であり、再生機能は、相手端末との通話接続中に再生指示（プレイバック指示）を受けた場合に、この録画内容を読み出して再生表示させる機能である。
【００２０】
携帯電話の装置本体１は、例えば、２つの下部筐体２、上部筐体３が開閉可能に取り付けられた折り畳み自在なもので、上部筐体３の正面側にはメイン表示部４が設けられ、上部筐体３の背面側にはサブ表示部５が設けられており、また、上部筐体３の上辺中央部に形成された断面凹状の切り欠き部６内には、カメラ撮像部７が１８０°回転可能に軸支されている。このカメラ撮像部７は、例えば、ＣＣＤイメージセンサを備えた高精細なカメラ装置であり、その撮影レンズ７Ａを正面側（ユーザ対面側）に向いたり、背面側（ユーザの反対側）に向くように、カメラ全体を１８０°回転可能となっている。つまり、１台のカメラによって一般的な背面撮影用のカメラとテレビ電話用のカメラとを兼用可能な構成となっている。
【００２１】
図２は、テレビ電話機能付き携帯電話装置の基本的な構成要素を示したブロック図である。
ＣＰＵ１１は、記憶部１２内の各種のプログラムに応じてこの携帯電話装置の全体動作を制御する中核的な中央演算処理装置であり、このメインＣＰＵ１１のほか、この携帯電話装置には、例えば、映像、音声データの受送信機能、受信映像の録画／再生機能などの機能別に、複数のサブＣＰＵ（図示せず）を有する構成となっている。
【００２２】
記憶部１２は、不揮発性メモリ(内部メモリ)であり、例えば、フラッシュメモリなどによって構成され、プログラム領域とデータ領域とを有し、このプログラム領域には、後述する図５及び図６に示す動作手順に応じて本実施例を実現するためのプログラムが格納されている。記録メディア１３は、着脱自在な可搬型メモリで、撮影画像データ、各種のデータ、プログラムを外部供給するもので、例えば、スマートメディア、ＩＣカードなどによって構成されている。メモリ１４は、ワーク領域を有する内部メモリで、例えば、ＤＲＡＭ（Direct Random Access Memory）、ＳＤＲＡＭ（Synchronous DRAM）などによって構成されている。
【００２３】
電話通信部１５は、無線部、ベースバンド部、多重分離部などを備え、アンテナ１５Ａに接続された送受信デュプレクサの受信側から信号を取り込んで受信ベースバンド信号に復調したのちに、音声制御部１６を介して音声スピーカ１７から音声出力させる。また、電話通信部１５は、音声マイク１８から入力された音声データを音声制御部１６から取り込み、送信ベースバンド信号に符号化したのちに送受信デュプレクサの送信側に与えられてアンテナ１５Ａから発信出力させる。一方、電子メール機能、テレビ電話機能、インターネット接続機能によって電話通信部１５を介して受信取得した表示データは、表示制御部１９を介してＬＣＤ（液晶表示装置）などを備えたメイン表示部４に与えられて表示出力される。メイン表示部４は、文字情報、テレビ電話映像、各種のメッセージなどを高品位に表示し、サブ表示部５は現在日時、簡易なメッセージ、アイコンなどを表示する。
【００２４】
カメラ撮像部７は、静止画撮影のほかに動画撮影も可能なもので、撮影レンズ、ミラー等のレンズ・ミラーブロック、撮像素子、その駆動系のほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路等を備え、光学ズームを調整制御したり、オートフォーカス時の駆動制御、シャッター駆動制御、露出、ホワイトバランス等を制御する。録画／再生部２０は、テレビ電話中に相手端末から受信した相手映像（リアルタイム映像）を一時的に逐次録画すると共に、通話接続中に再生指示（プレイバック指示）を受けた際に、この録画内容を読み出して再生表示させるもので、ＣＰＵ１１の制御下で録画開始／終了及び再生開始／終了が制御される。
【００２５】
キー操作部２１は、ダイヤル入力、文字入力、コマンド入力などを行うもので、テレビ電話機能をＯＮ／ＯＦＦさせるテレビ電話ボタン（図示せず）などが設けられており、ＣＰＵ１１は、キー操作部２１からのキー入力信号に応じた処理を実行する。なお、テレビ電話の動作中にテレビ電話ボタンがＯＦＦ操作された場合には、通話を継続させたまま映像の送受信を切断すると共に、録画動作を終了させるようにしている。報知部２２は、着信報知などの報知用のスピーカ、ＬＥＤ(発光ダイオード)、振動モータを備え、電話・メール着信時に駆動されて着信報知を行うほか、アラーム報知時にも駆動される。
【００２６】
図３は、折り畳み式の装置本体を開いた状態において、メイン表示部４に表示されているテレビ電話画面の表示例を示した図である。
このテレビ電話画面は主エリアｍａと予備エリアｓａを有し、主エリアｍａには、テレビ電話中であることを示す文字列のほか、相手端末側のカメラで撮影されたリアルタイム映像が相手映像として表示されており、また、予備エリアｓａには、自己のカメラによって撮影されたリアルタイム映像が自己映像（モニタ映像）として表示されている。なお、テレビ電話中の予備エリアｓａには、テレビ電話中に録画された映像の再生を指示する「プレイバック」のアイコンが配置表示されており、所定のキー操作によって「プレイバック」アイコンが選択指定されると、この操作に応答して再生開始指示がＣＰＵ１１に与えられる。
【００２７】
図４は、メイン表示部４において、テレビ電話中の録画映像を再生表示している再生画面の表示例を示した図である。
この再生画面の主エリアｍａには、録画再生中であることを示す文字列のほか、再生映像（プレイバック映像）が再生表示されている。ここで、再生時には、通話開始時（録画開始時）から当該映像が録画されるまでの経過時間（例えば、分秒単位の時間）が求められて再生映像の片隅部に合成表示される。また、再生画面の予備エリアｓａには、自己映像（モニタ映像）が表示されると共に、相手端末から受信した相手映像（リアルタイム映像）が表示される。
【００２８】
また、再生画面の予備エリアｓａには、再生動作中の「早送り」、「巻き戻し」を指示するアイコン（左／右の矢印図形）と、再生の「一時停止」を指示するアイコンのほか、現在表示中の再生映像を通話相手と確認し合う共通確認映像として指定する「確認」のアイコン、再生動作の終了を指示する「終了」のアイコンが配置表示されており、所定キー操作によって選択指定されたアイコン対応の指示がＣＰＵ１１に与えられる。ここで、「確認」のアイコンが選択指定されると、ＣＰＵ１１は、共通確認映像として指定された現在表示中の再生映像を相手端末に送信するようにしている。この場合、通話開始時（録画開始時）から当該映像が録画されるまでの経過時間が算出付加された再生映像が共通確認映像として相手端末に送信される。ここで、相手端末側において当該共通確認映像（再生映像）は、そのテレビ電話画面の主エリアｍａに表示出力される。
【００２９】
次ぎに、この実施例における携帯電話装置の動作概念を図５及び図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施例特有の動作を実行することもできる。
【００３０】
図５及び図６は、テレビ電話機能を作動させるテレビ電話ボタンのＯＮ操作に応じて実行開始される携帯電話装置の動作を示したフローチャートである。
先ず、ＣＰＵ１１は、テレビ電話ボタンのＯＮ操作に応答してカメラ撮像部７を起動させてカメラモニタをＯＮさせた状態において（ステップＳ１）、所望する相手先を呼び出すための発呼操作が行われると（ステップＳ２）、この通信相手先との間の回線接続が確立されるまで待機状態となる（ステップＳ３）。
【００３１】
いま、相手端末に回線接続されると、音声マイク１８を作動させたのち（ステップＳ４）、カメラ撮像部７によって撮影された自己映像（モニタ映像）と音声マイク１８からの入力音声を相手端末に送信する動作を開始させるほか（ステップＳ５）、相手端末側のカメラで撮影されたリアルタイム映像を相手映像として受信すると共に相手音声の受信を開始させたのち（ステップＳ６）、録画／再生部２０に対して録画開始を指示し、相手端末から受信した相手映像をその録画メモリ２０ａに録画する動作を開始させる（ステップＳ７）。なお、この場合、通話録音は行われず、相手映像の録画のみが行われる。そして、上述したテレビ電話画面に切り替え、その主エリアｍａに相手映像を表示させ、その予備エリアｓａに自己映像（モニタ映像）を表示させる（ステップＳ８）。
【００３２】
図７は、通常時（非再生時）の自分側及び相手側における各テレビ電話画面の表示例を示した図である。
このテレビ電話画面の主エリアｍａには、相手映像（リアルタイム映像）がその領域全体に大きく表示され、自己映像（モニタ映像）はその予備エリアｓａに小さく表示される。この場合、自分側の主エリアｍａに表示されている映像は、相手側の予備エリアｓａに表示されている映像であり、逆に自分側の予備エリアｓａに表示されている映像は、相手側の主エリアｍａに表示されている映像である。
【００３３】
この状態において、ＣＰＵ１１は、通話遮断（オンフック操作）の有無（ステップＳ９）、プレイバック指示の操作有無をチェックし（ステップＳ１０）、何れかの操作があるまでステップＣ９に戻って待機状態となる。ここで、テレビ電話画面内の「プレイバック」のアイコンが選択指定されることによってテレビ電話中の録画映像の再生指示（プレイバック指示）を受けた場合には（ステップＳ１０でＹＥＳ）、図６のフローに移って録画映像が再生表示される。なお、図示省略したが、テレビ電話の動作中にテレビ電話ボタンがＯＦＦ操作された場合には、通話を継続させたまま映像の送受信を切断すると共に、録画動作を終了させるようにしている。
【００３４】
ＣＰＵ１１は、上述のプレイバック指示に応答してテレビ電話画面から再生画面に切り替え、相手映像の表示先として再生画面の主エリアｍａから予備エリアｓａに変更する（図６のステップＳ１７）。つまり、受信した相手映像（リアルタイム映像）を再生画面の予備エリアｓａに表示出力させたのち、録画メモ２０ａの先頭から読み出された録画映像を再生画面の主エリアｍａに再生表示させる動作を開始させる（ステップＳ１８）。これによって再生画面の主エリアｍａには、相手映像に代わって再生映像が表示される。また、受信した相手映像の録画を継続しながら当該録画内容を並行的に再生表示させるが、その際、例えば、再生スピードを録画スピードの1.3倍、1.5倍、２倍などのように速く設定しておくことによって再生位置が録画位置を追いかける“追っかけ再生”を行うようにしている。
【００３５】
そして、ＣＰＵ１１は、通話開始時（録画開始時）から当該映像が録画されるまでの経過時間を算出し、この経過時間を再生映像の片隅部に合成表示させる（ステップＳ１９）。この場合、通話開始時（録画開始時）を基準として当該映像の録画位置と録画速度などを考慮して通話開始時（録画開始時）からの経過時間を算出するようにしている。なお、この場合の再生は、映像再生であって音声出力は現在の通話（生音声）のままである。このような追っかけ再生の動作中において、「終了」のアイコンが選択指定されて再生終了が指示された場合には（ステップＳ２３でＹＥＳ）、再生動作を終了させて再生画面からテレビ電話画面に切り替えたのち（ステップＳ３３）、図５のステップＳ９に戻る。
【００３６】
また、追っかけ再生の動作中において、再生画面内の「早送り」、「巻き戻し」、「一時停止」、「確認」のアイコンのうち、「早送り」、「巻き戻し」、「一時停止」の何れかのアイコンが選択指定されることによって、再生制御指示を受けた場合には（ステップＳ２０でＹＥＳ）、このアイコン対応の再生制御として早送り処理、巻き戻し処理、一時停止処理を実行したのち（ステップＳ２１）、ステップＳ２０に戻る。このような「早送り」、「巻き戻し」、「一時停止」を適宜に操作することによって所望する録画位置まで遡ることができた場合には、つまり、上述した買い物事例において、「さっき撮ってもらった“あれ”」を発見した場合には、そのユーザ（買い物を依頼した側）は、現在表示中の再生映像を通話相手と確認し合う共通確認映像として指定するために再生画面内の「確認」アイコンを指定する。
【００３７】
これによって確認映像が指定されると（ステップＳ２２でＹＥＳ）、この指定位置を確認映像の開始位置として録画メモリ１４ａに書き込むと共に（ステップＳ２４）、この指定位置からの再生映像を自己映像（モニタ映像）に代えて相手端末に送信する動作を開始させる（ステップＳ２５）。この場合、通話開始時（録画開始時）から当該映像が録画されるまでの経過時間が付加された再生映像が共通確認映像として相手端末に送信される。
図８は、確認映像の指定後において自分側の再生画面と相手側のテレビ電話画面の表示例で、上述した買い物事例の場合の表示内容（店舗内映像）を示した図である。この両画面の主エリアｍａには、共通確認映像（再生映像：魚売場の映像）がそれぞれ表示される。この場合、相手側のテレビ電話画面の予備エリアｓａには、自己映像（モニタ映像：野菜売場の映像）が表示され、自分側の再生画面の予備エリアｓａには、相手映像（リアルタイム映像：野菜売場の映像）及び自己映像（モニタ映像：自分の顔映像）が表示される。
【００３８】
このように共通確認映像が表示されている状態において、更に、再生画面内の「早送り」、「巻き戻し」、「一時停止」が指示されると（ステップＳ２６）、そのアイコン対応の再生制御として早送り処理、巻き戻し処理、一時停止処理が行われるが（ステップＳ２７）、この場合においても再生映像（共通確認映像）は、相手端末に送り続けられている。ここで、再生終了が指示されると（ステップＳ２８でＹＥＳ）、再生動作を終了させると共に（ステップＳ２９）、その終了位置を確認映像の終了位置として録画メモリ２０ａに書き込んでおく（ステップＳ３０）。更に、ＣＰＵ１１は、再生画面からテレビ電話画面に切り替え、上述の共通確認映像に代えて自己映像（モニタ映像）の送信を開始すると共に（ステップＳ３１）、受信した相手映像（リアルタイム映像）をその主エリアｍａに表示させたのち（ステップＳ３２）、図５のステップＳ９に戻る。
【００３９】
いま、ＣＰＵ１１は、オンフック操作を検出すると（ステップＳ９でＹＥＳ）、通話遮断を行い（ステップＳ１１）、カメラ撮像部７の動作を終了させてカメラモニタをＯＦＦすると共に、音声マイク１８をＯＦＦしたのち（ステップＳ１２）、相手映像の録画動作を終了させる（ステップＳ１３）。そして、録画メモリ２０ａの内容を調べ、上述した確認映像の開始位置及び終了位置が書き込まれているか否かによって確認映像が指定されたか否かをチェックする（ステップＳ１４）。いま、確認映像が指定されていなければ、録画メモリ１４ａの内容を全て消去するが（ステップＳ１６）、確認映像が指定されていれば、この開始位置及び終了位置で示される録画映像を確認映像として特定すると共に、この確認映像を記憶部１２あるいは記録メディア１３に送って記憶保存させたのち（ステップＳ１５）、この録画メモリ１４ａの内容を全て消去する（ステップＳ１６）。
【００４０】
以上のように、この実施例においてＣＰＵ１１は、相手端末でカメラ撮影されたリアルタイム映像を受信してメイン表示部４のテレビ電話画面に表示出力している状態において当該相手映像を録画メモリ２０ａに逐次録画するほか、相手端末との接続中にプレイバック指示を受けた場合に、この録画内容を読み出して再生表示させると共に、この再生映像の中から任意の映像が指定された際に、この指定映像を表示対象の共通確認映像として相手端末に送信するようにしたから、テレビ電話の通信中に録画された任意時点の映像をその通信相手同士が互いに確認し合いながら意思を伝達することができ、円滑かつ迅速なコミュニケーション支援を実現することが可能となり、上述した買い物事例のように意思伝達が円滑となり、子供、お年寄りなどにも気楽に買い物を頼むことができるようになる。
【００４１】
この場合、録画内容を再生表示させる際に、テレビ電話画面の主エリアｍａに相手映像の代用として録画内容を切り替え表示するようにしたから、携帯電話装置のような小型画面であってもそれを有効利用することができる。
また、相手端末に共通確認映像を送信する際に、この共通確認映像を自己映像の代用として送信するようにしたから、現状の通信方式をそのまま利用して共通確認映像を送信することが可能となる。
【００４２】
再生映像には、相手端末に通信接続された通信開始時あるいは相手映像の録画を開始した録画開始時から当該映像が録画されるまでの経過時間が付加されて表示されるほか、この経過時間を付加した再生映像を共通確認映像として相手端末に送信するようにしたから、通信開始時あるいは録画開始時を基準として何時頃のシーンかを容易に把握することができる。
【００４３】
ＣＰＵ１１は、オンフック操作を検出した際に、録画動作を停止して当該通信接続中の録画内容を消去するようにしたから、録画メモリ２０ａの節約が可能となる。この場合、通信接続中の録画内容のうち、当該共通確認映像を保存し、それ以外の映像を全て消去するようにしたから、必要な映像のみを自動保存することが可能となる。
また、再生動作中に録画確認の終了指示を受けた場合に、再生表示されている共通確認映像に代わって相手映像を切り替え表示すると共に、この共通確認映像に代わって自己映像を相手端末に送信するようにしたから、確認終了後は画面内容を元の状態（通常のテレビ電話画面の状態）に直ちに復帰させることが可能となる。
【００４４】
なお、上述した実施例においては、相手端末に共通確認映像を送信する際に、この共通確認映像を自己映像（モニタ映像）の代用として送信するようにしたが、モニタ映像に共通確認映像を添付合成して送信するようにしてもよい。例えば、モニタ映像の片隅部に共通確認映像を合成したり、逆に共通確認映像の片隅部にモニタ映像を合成し、この合成映像を相手端末に送信するようにしてもよい。この場合、自己映像と共通確認映像とを時分割に送信し、これを受信した相手端末側で自己映像と共通確認映像とを合成して表示するようにしてもよい。このようにモニタ映像と共通確認映像との合成画像を送信したり、自己映像と共通確認映像とを時分割に送信するようにすれば、現状の通信方式をそのまま利用して両方の映像を送信することが可能となる。
【００４５】
上述した実施例において、録画内容の再生表示時に、何時頃のシーンであるかを示すために再生映像には、通話開始時（録画開始時）から当該映像が録画されるまでの経過時間を付加するようにしたが、録画時に現在時刻をその映像の録画時刻として取得して当該映像内に埋め込み合成して表示したり、この録画時刻付きの映像を共通確認映像として相手端末に送信するようにしてもよい。つまり、何時頃のシーンであるかを容易に特定できればよく、現時点から何分前の映像か、何秒前の映像かを案内表示することができればよい。また、時間表示に限らず、音声出力によって報知するようにしてもよい。
【００４６】
また、上述の買い物事例においては、依頼者側が被依頼者側からの店舗内映像を受信して録画すると共に、この録画内容の再生表示時に任意に指定した映像を共通確認映像として被依頼者側に送信するようにしたが、依頼者側と被依頼者側との間で任意に指定した映像を共通確認映像として双方向に送信し合うようにしてもよい。また、買い物事例に限らず、例えば、テレビ電話を利用した会議などにも利用可能であり、例えば、直前に提供された資料などを見逃したような場合であっても参加者全員がその資料をプレイバック確認することが可能となる。
【００４７】
上述した実施例においては、テレビ電話機能付き携帯電話装置同士でのコミュニケーションする場合を例示したが、テレビ電話機能付きのＰＤＡ、電子カメラ、電子腕時計、ビデオ再生機などの携帯端末装置であっても同様に適用可能であり、また、携帯端末装置に限らず、テレビ電話機能付きＰＣあるいは固定電話機であってもよい。
【図面の簡単な説明】
【００４８】
【図１】テレビ電話装置として適用したテレビ電話機能付き携帯電話装置の外観斜視図で、折り畳み自在な装置本体を開いた状態において、（Ａ）は、斜め正面図、（Ｂ）は、斜め背面図。
【図２】テレビ電話機能付き携帯電話装置の基本的な構成要素を示したブロック図。
【図３】折り畳み式の装置本体を開いた状態において、メイン表示部４に表示されているテレビ電話画面の表示例を示した図。
【図４】メイン表示部４において、テレビ電話中の録画映像を再生表示している再生画面の表示例を示した図。
【図５】テレビ電話機能を作動させるテレビ電話ボタンのＯＮ操作に応じて実行開始される携帯電話装置の動作を示したフローチャート。
【図６】図５に続く、フローチャート。
【図７】通常時（非再生時）の自分側及び相手側における各テレビ電話画面の表示例を示した図。
【図８】確認映像の指定後において自分側の再生画面と相手側のテレビ電話画面の表示例で、上述した買い物事例の場合の表示内容（店舗内映像）を示した図。
【符号の説明】
【００４９】
１ 装置本体
４ メイン表示部
７ カメラ撮像部
１１ ＣＰＵ
１２ 記憶部
１５ 電話通信部
１６ 音声制御部
１７ 音声スピーカ
１８ 音声マイク
１９ 表示制御部
２０ 録画／再生部
２０ａ 録画メモリ
２１ キー操作部
ｍａ テレビ電話画面／再生画面の主エリア
ｓａ テレビ電話画面／再生画面の予備エリア
【特許請求の範囲】
【請求項１】
自己のカメラによって撮影されたリアルタイム映像を自己映像として通信相手先である相手端末に送信し、この相手端末側のカメラで撮影されたリアルタイム映像を相手映像として受信して表示するテレビ電話装置であって、
前記相手端末から受信した相手映像を逐次録画する録画手段と、
前記相手端末との通信接続中に録画確認指示を受けた場合に、この録画内容を読み出して再生表示させる再生手段と、
この再生手段による再生映像の中から任意の映像が指定された際に、この指定映像を表示対象の共通確認映像として前記相手端末に送信する送信手段と、
を具備したことを特徴とするテレビ電話装置。
【請求項２】
前記再生手段は、録画内容を再生表示させる際に、前記相手映像の表示域にその代用として録画内容を切り替え表示する、
ようにしたことを特徴とする請求項1記載のテレビ電話装置。
【請求項３】
前記相手端末に前記共通確認映像を送信する際に、この共通確認映像を前記自己映像の代用として送信する、
ようにしたことを特徴とする請求項1記載のテレビ電話装置。
【請求項４】
前記相手端末に前記共通確認映像を送信する際に、前記自己映像に当該共通確認映像を添付合成して送信する、
ようにしたことを特徴とする請求項1記載のテレビ電話装置。
【請求項５】
前記再生映像には、前記相手端末に通信接続された通信開始時あるいは相手映像の録画を開始した録画開始時から当該映像が録画されるまでの経過時間が付加されて表示され、この経過時間が付加された再生映像を共通確認映像として相手端末に送信する、
ようにしたことを特徴とする請求項1記載のテレビ電話装置。
【請求項６】
前記相手端末との通信接続が解除された際に、前記録画動作を停止して当該通信接続中の録画内容を消去する、
ようにしたことを特徴とする請求項1記載のテレビ電話装置。
【請求項７】
前記通信接続中の録画内容のうち、当該共通確認映像を保存し、それ以外の映像を全て消去する、
ようにしたことを特徴とする請求項７記載のテレビ電話装置。
【請求項８】
前記再生動作中に録画確認の終了指示を受けた場合に、再生表示されている共通確認映像に代わって相手映像を切り替え表示すると共に、この共通確認映像に代わって自己映像を相手端末に送信する、
ようにしたことを特徴とする請求項１記載のテレビ電話装置。
【請求項９】
コンピュータに対して、
自己のカメラによって撮影されたリアルタイム映像を自己映像として通信相手先である相手端末に送信し、この相手端末側のカメラで撮影されたリアルタイム映像を相手映像として受信して表示する機能と、
前記相手端末から受信した相手映像を逐次録画する機能と、
前記相手端末との通信接続中に録画確認指示を受けた場合に、この録画内容を読み出して再生表示する機能と、
この再生映像の中から任意の映像が指定された際に、この指定映像を表示対象の共通確認映像として前記相手端末に送信する機能と、
を実現させるためのプログラム。
【請求項１】
自己のカメラによって撮影されたリアルタイム映像を自己映像として通信相手先である相手端末に送信し、この相手端末側のカメラで撮影されたリアルタイム映像を相手映像として受信して表示するテレビ電話装置であって、
前記相手端末から受信した相手映像を逐次録画する録画手段と、
前記相手端末との通信接続中に録画確認指示を受けた場合に、この録画内容を読み出して再生表示させる再生手段と、
この再生手段による再生映像の中から任意の映像が指定された際に、この指定映像を表示対象の共通確認映像として前記相手端末に送信する送信手段と、
を具備したことを特徴とするテレビ電話装置。
【請求項２】
前記再生手段は、録画内容を再生表示させる際に、前記相手映像の表示域にその代用として録画内容を切り替え表示する、
ようにしたことを特徴とする請求項1記載のテレビ電話装置。
【請求項３】
前記相手端末に前記共通確認映像を送信する際に、この共通確認映像を前記自己映像の代用として送信する、
ようにしたことを特徴とする請求項1記載のテレビ電話装置。
【請求項４】
前記相手端末に前記共通確認映像を送信する際に、前記自己映像に当該共通確認映像を添付合成して送信する、
ようにしたことを特徴とする請求項1記載のテレビ電話装置。
【請求項５】
前記再生映像には、前記相手端末に通信接続された通信開始時あるいは相手映像の録画を開始した録画開始時から当該映像が録画されるまでの経過時間が付加されて表示され、この経過時間が付加された再生映像を共通確認映像として相手端末に送信する、
ようにしたことを特徴とする請求項1記載のテレビ電話装置。
【請求項６】
前記相手端末との通信接続が解除された際に、前記録画動作を停止して当該通信接続中の録画内容を消去する、
ようにしたことを特徴とする請求項1記載のテレビ電話装置。
【請求項７】
前記通信接続中の録画内容のうち、当該共通確認映像を保存し、それ以外の映像を全て消去する、
ようにしたことを特徴とする請求項７記載のテレビ電話装置。
【請求項８】
前記再生動作中に録画確認の終了指示を受けた場合に、再生表示されている共通確認映像に代わって相手映像を切り替え表示すると共に、この共通確認映像に代わって自己映像を相手端末に送信する、
ようにしたことを特徴とする請求項１記載のテレビ電話装置。
【請求項９】
コンピュータに対して、
自己のカメラによって撮影されたリアルタイム映像を自己映像として通信相手先である相手端末に送信し、この相手端末側のカメラで撮影されたリアルタイム映像を相手映像として受信して表示する機能と、
前記相手端末から受信した相手映像を逐次録画する機能と、
前記相手端末との通信接続中に録画確認指示を受けた場合に、この録画内容を読み出して再生表示する機能と、
この再生映像の中から任意の映像が指定された際に、この指定映像を表示対象の共通確認映像として前記相手端末に送信する機能と、
を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−１７４０００（Ｐ２００７−１７４０００Ａ）
【公開日】平成１９年７月５日（２００７．７．５）
【国際特許分類】
【出願番号】特願２００５−３６５６５１（Ｐ２００５−３６５６５１）
【出願日】平成１７年１２月２０日（２００５．１２．２０）
【出願人】（５０４１４９１００）株式会社カシオ日立モバイルコミュニケーションズ (893)
【Ｆターム（参考）】
【公開日】平成１９年７月５日（２００７．７．５）
【国際特許分類】
【出願日】平成１７年１２月２０日（２００５．１２．２０）
【出願人】（５０４１４９１００）株式会社カシオ日立モバイルコミュニケーションズ (893)
【Ｆターム（参考）】
[ Back to top ]