テレビ電話装置
【課題】受信した画像等のデータを編集・加工し、編集・加工されたデータをさらに通話相手先に送信可能なテレビ電話装置を提供すること。
【解決手段】本発明のテレビ電話装置は、画像を通信回線１０１を介して通話相手先に送信されるようにするとともに、通話相手先から通信回線１０１を介して受信した画像データを表示制御手段１１４によって表示部１５０に表示可能な態様で表示するとともに、受信した画像データを、画像編集手段１１５が入力部１６０からの指示に基づいて編集可能としている。また、画像編集手段１１５によって編集された画像データを、再度通話相手先に送信することができる。
【解決手段】本発明のテレビ電話装置は、画像を通信回線１０１を介して通話相手先に送信されるようにするとともに、通話相手先から通信回線１０１を介して受信した画像データを表示制御手段１１４によって表示部１５０に表示可能な態様で表示するとともに、受信した画像データを、画像編集手段１１５が入力部１６０からの指示に基づいて編集可能としている。また、画像編集手段１１５によって編集された画像データを、再度通話相手先に送信することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＩＰ電話網等に接続されて音声及び映像の送受信を行うテレビ電話装置に関し、特に、通話相手先のテレビ電話装置から送信されてきた画像データを通話中に編集・加工し、さらに返信することが可能なテレビ電話装置に関する。
【背景技術】
【０００２】
近年、通信インフラの発達に伴い、通信に関する様々な付加サービスが普及するようになってきた。例えば、電話装置においては、一般電話回線以外に、ＩＰ電話網やインターネット等の広域通信網に接続して、データ通信サービス等の様々なサービスを受けることが可能な電話装置が普及している。
【０００３】
このような電話装置に対するサービスとして、テレビ電話サービスが実用化されている。テレビ電話サービスの利用者は、カメラ機能及び画像送信機能を備えたテレビ電話装置を通信回線に接続することにより、撮影された映像の送受信を行いながら音声通話を行うことが可能である。
【０００４】
こうした撮影映像に加えて、他の画像データを通話相手先に送信可能なテレビ電話装置も開発されている。例えば、下記特許文献１（特開２００４−２２８８０５号公報）は、テレビ電話の通話中に会話に関連する特定の画像データ等を会話と同時進行でマルチタスクによりネットワーク等を介して取得し、その画像データを通話中の相手局に送信することが可能なテレビ電話機能を開示している。
【０００５】
このテレビ電話機能は、テレビ電話機能手段と、データ通信機能手段と、マルチアクセス機能手段と、を備える。テレビ電話機能手段は、通話中に撮像部により撮影された映像をテレビ電話機能手段によって相手局に送信するとともに相手局から送信された映像を受信し表示部に出力する。また、データ通信機能手段は所定のホームページ等に接続し文字や画像の表示情報を取得するデータ通信を行う。マルチアクセス機能手段は、テレビ電話機能手段とデータ通信機能手段とを同時に稼動させるためのものである。データ通信によって取得された表示情報は、映像、音声とともに、相手局に送信され、相手局において表示される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２２８８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１のテレビ電話機能は、撮影した映像を送信することに加えて通話中に画像等のデータを送信することが可能であるが、通話相手先では、受信した画像等のデータを参照することはできたとしても、さらにそれを編集したり加工したりし、編集・加工後の画像を再び通話元に返信することはできなかった。
【０００８】
通話中に受信した画像等のデータを編集・加工し、それを返信することができれば、通話者同士はさらに十分な意思の疎通が可能となり、明確で誤りの少ない会話を行うことが可能となる。
【０００９】
そこで、本発明の目的は、テレビ電話装置において、通話中に撮影映像及び画像等のデータの送受信を行うことに加えて、受信した画像等のデータを編集・加工し、編集・加工されたデータをさらに通話相手先に送信する機能を提供することである。
【課題を解決するための手段】
【００１０】
上記課題を解決するために本発明のテレビ電話装置は、表示部と、入力部と、マイクと、スピーカと、カメラと、通信回線における送受信の制御を行う通信制御手段、前記マイクから入力された音声を、通信回線送信用のデータ形式に変換するとともに前記通信回線から受信した音声信号を変換して前記スピーカに出力する音声信号処理手段、画像データ及び／又は前記カメラにおいて撮像された映像を、通信回線送信用のデータ形式に変換するとともに前記通信回線から受信した画像データ及び／又は映像信号を変換して表示制御手段に出力する画像・映像信号処理手段、前記映像信号と前記画像データを前記表示部に表示可能な態様に変換して前記表示部に表示する表示制御手段、前記画像データを、前記入力部からの指示に基づいて編集する画像編集手段、を有する制御部と、を備えるテレビ電話装置であって、前記通話相手先から通信回線を介して受信した画像データを、前記画像編集手段が前記入力部からの指示に基づいて編集することを特徴とする。
【００１１】
また、本発明のテレビ電話装置の一態様は、前記通信回線を介して受信した画像データを、前記入力部からの指示に基づいて前記画像編集手段によって編集した後に、前記入力部からの指示に基づいて前記通信回線を介して通話相手先に送信することを特徴とする。
【００１２】
また、本発明のテレビ電話装置の一態様は、前記画像編集手段が、入力部からの指示に基づいて前記画像データに所定の図形及び／又は文字を描画することを特徴とする。
【００１３】
また、本発明のテレビ電話装置の一態様は、前記表示制御手段が、前記表示部を、前記映像と前記画像データとが同時に表示される表示構成とすることを特徴とする。
【００１４】
また、本発明のテレビ電話装置の一態様は、前記表示制御手段が、前記表示部を、前記編集中の画像データを表示する第１の領域と、前記通話相手先から前記受信された画像データとを表示する第２の領域とを含む表示構成とすることを特徴とする。
【発明の効果】
【００１５】
本発明は、以下に説明する優れた効果を発揮する。すなわち、本発明のテレビ電話装置は、マイクから入力された音声、カメラにおいて撮影された映像、また本装置において編集された画像データを通信回線送信用のデータ形式に変換して通話相手先に送信することができる。また、通話相手先から送信されてきた音声信号をスピーカから出力し、映像、画像データを表示手段に表示できる。さらに、本発明のテレビ電話装置は画像編集手段を備えているので、通話相手先より受信し表示手段に表示された画像データを、入力部からの指示に基づいて編集することが可能となる。
【００１６】
また、本発明のテレビ電話装置の一態様によれば、通信回線を介して受信した画像を入力部からの指示に基づいて編集した後に、入力部からの指示に基づいて編集された画像を通話相手先に送信することができる。これにより、通話相手先から受信した画像を編集して再び通話相手先に送信できるようになるから、通話者同士は、編集後の同じ画像データを共有することができる。これにより、通話者同士でより明確で誤りの少ない会話を行うことが可能となり、十分な意思の疎通を達成することが可能となる。
【００１７】
また、本発明のテレビ電話装置の一態様によれば、編集する画像データに所定の図形や文字を入力することができ、ユーザにとって編集が容易に行えるようになる。
【００１８】
また、本発明のテレビ電話装置の一態様によれば、編集する画像データと、通話相手先から受信した映像とを同時に表示することができる。これにより、受信した映像、例えば、通話相手の顔を見ながら画像データを編集することが可能となり、意思の疎通を十分に図るための助けとなる。
【００１９】
また、本発明のテレビ電話装置の一態様によれば、編集中の画像データと、通話相手先から受信した画像データとを同時に表示することができる。これにより、互いの画像データを比較しながら編集や通話を行うことが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明のテレビ電話装置が含まれる通信システムの構成を示すブロック図である。
【図２】本発明の実施例に係るテレビ電話装置の構成を示す内部ブロック図である。
【図３】本発明の実施例に係る画像送受信処理における動作を示すフローチャートである。
【図４】本発明の実施例に係るテレビ電話装置において、画像データを受信した際の表示画面の一例を示す図である。
【図５】本発明の実施例に係るテレビ電話装置において、メニュー画面を表示した際の表示画面の一例を示す図である。
【図６】本発明の実施例に係るテレビ電話装置において、画像データを編集する際の編集画面の一例を示す図である。
【図７】図６の編集画面において、画像データを編集した状態を示す図である。
【図８】本発明の実施例に係るテレビ電話装置において、受信した画像データと編集中の画像データとを表示する表示画面の一例を示す図である。
【発明を実施するための形態】
【００２１】
以下、本願発明を実施するための最良の形態を実施例及び図面を参照して詳細に説明する。ただし、以下に示す実施例は、本発明の技術思想を具体化するためのテレビ電話装置を例示して説明するものであって、本発明をこのテレビ電話装置に特定することを意図するものではなく特許請求の範囲に示した技術思想を逸脱することなくその他のテレビ電話装置にも等しく適用し得るものである。
【実施例】
【００２２】
図１は、本発明のテレビ電話装置を含む通信システム１の構成を示すブロック図である。本システムは少なくとも、テレビ電話装置１００、有線ＬＡＮ１０１、ＩＰ電話ルータ１０２、ブロードバンドルータ１０３、ゲートウェイ１０４、ＩＰ電話網１０５、インターネット１０６、ＰＳＴＮ網１０７（＝Public Switched Telephone Network：公衆電話交換網）、及び加入者電話装置１０８を含むように構成されている。
【００２３】
本発明のテレビ電話装置１００は有線ＬＡＮ１０１に接続され、有線ＬＡＮ１０１は、ＩＰ電話ルータ１０２を介してＩＰ電話網１０５に、ブロードバンドルータ１０３を介してインターネット１０６に、ゲートウェイ１０４を介してＰＳＴＮ網１０７にそれぞれ接続されることにより、通信が可能である。なお、テレビ電話装置１の内部構造の詳細については後述する。
【００２４】
有線ＬＡＮ１０１を構成する物理的な手段としては、例えばツイストペアケーブルを用いた１０ＢＡＳＥ−Ｔ（ＩＥＥＥ８０２．３ｉとして標準化）や１００ＢＡＳＥ−ＴＸ（ＩＥＥＥ８０２．３ｕとして標準化）等があげられる。
【００２５】
ＩＰ電話ルータ１０２、及びブロードバンドルータ１０３は、複数のＩＰネットワークを相互接続するためのネットワーク中継装置である。具体的には、ＯＳＩ（Open Systems Interconnection）参照モデルでいうネットワーク層（第３層）やトランスポート層（第４層）の一部のプロトコルを解析して転送を行う。
【００２６】
本実例では、ＩＰ電話ルータ１０２は有線ＬＡＮ１０１とＩＰ電話網１０５との二つのＩＰネットワークを相互に接続する役割を持つ。またブロードバンドルータ１０３は、有線ＬＡＮ１０１とインターネット１０６との二つのＩＰネットワークを相互に接続する役割を持つ。
【００２７】
ゲートウェイ１０４は、プロトコル体系が異なるネットワーク間を相互接続するためのプロトコル変換器である。ゲートウェイ１０４は、例えば、有線ＬＡＮ１０１とＰＳＴＮ網１０７とを接続し、ＳＩＰ等のシグナリングプロトコルを用いてシグナル変換を行うことにより、両ネットワーク間での通信を可能とする。
【００２８】
ＩＰ電話網１０５は、電話網の一部もしくは全てにＶｏＩＰ（Voice over Internet Protocol）技術を利用した通信網であり、用いる通信回線としてはＦＴＴＨ（Fiber To The Home）やＡＤＳＬ（Asymmetric Digital Subscriber Line）等の、いわゆるブロードバンド回線が利用される。なお、ＩＰ電話網１０５にはテレビ電話装置１００’が複数接続されているが、図１では簡単のため１台のみしか描写されていない。
【００２９】
なおＶｏＩＰとは、音声を各種符号化方式で圧縮した後にパケットに分割し、ＩＰネットワークでリアルタイム伝送する技術である。これによりＩＰ電話網１０５は音声通話サービスの他、画像の送受信を行うテレビ電話サービス等が提供可能となる。
【００３０】
インターネット１０６は、通信プロトコルによるネットワークを相互接続して構築された広域通信網である。大小様々なコンピュータネットワークを相互に連結させて、国際的な通信ネットワークが構築されている。通信プロトコルとしては主に、ＴＣＰ／ＩＰが標準的なプロトコルとして採用されている。
【００３１】
ＰＳＴＮ網１０７は、一般の加入者電話回線ネットワークである。末端に加入者電話装置１０８を接続し、回線交換方式で通信相手に接続して音声通話を行うのに用いられる。加入者電話装置１０８は、電話加入者がＰＳＴＮ網１０７を用いてＰＳＴＮ網に接続された他の加入者電話装置や有線ＬＡＮ１０１やＩＰ電話網１０５に接続されたテレビ電話装置と音声通話を行うための電話装置である。
【００３２】
次に、図２を参照して本実施例のテレビ電話装置１００について説明する。なお、図２は本実施例に係るテレビ電話装置１００の構成を示す内部ブロック図である。テレビ電話装置１００は、制御部１１０、マイク１２０、スピーカ１３０、カメラ１４０、表示部１５０、入力部１６０、メモリ１７０を備えて構成される。
【００３３】
制御部１１０は、ＣＰＵ、ＲＡＭ、ＲＯＭを備えて構成されるマイクロプロセッサであり、ＲＡＭやＲＯＭに記憶された制御プログラムをＣＰＵにおいて実行することにより、以下に説明する各手段の動作を制御・統括する。
【００３４】
制御部１１０は、通信制御手段１１１、音声信号処理手段１１２、画像・映像信号処理手段１１３、表示制御手段１１４、画像編集手段１１５、データ制御手段１１６、時刻制御手段１１７を備えて構成される。
【００３５】
通信制御手段１１１は、テレビ電話装置１００が他のテレビ電話装置１００’と通信を行う際の通信制御を行うためのものである。これには、シグナリングとデータの送受信とに関わる制御が含まれる。シグナリングには通信セッションの生成、確立、切断が含まれる。具体的には、ユーザが入力部１６０を操作して電話番号等を入力した際に、ＩＰ電話網１０５に接続されたＳＩＰサーバ（図示せず）等に接続して通話相手先のテレビ電話装置１００’の位置情報を入手するとともに、通話相手先のテレビ電話装置１００’を呼出し、通話相手先が応答した場合に通信経路を確立することと、通話が終了した際にセッション切断メッセージ等を送信することによってセッションを終了することが含まれる。
【００３６】
データの送受信に関わる制御には、音声データ、映像データ、画像データをパケットに分割するＩＰパケット化と及びＩＰパケットの送信、有線ＬＡＮ１０１を介して受信したパケットを、正しい順序に並べ替えるとともに実際のデータ部分を抽出して組立てるＩＰパケットの受信及び組立てとが含まれる。
【００３７】
データをパケットとして送信する際には、所定データ長に分割された各データに送信元、宛先、順序、送信時刻、用途（ＩＰ電話の音声データ、映像データ、画像データ）を示すヘッダを付加する。また、受信したパケットは、ヘッダ部分を参照することによって、音声、映像、画像ごとに正しい順序で組立てられてゆき、音声信号処理手段１１２、画像・映像信号処理手段１１３に出力される。
【００３８】
音声信号処理手段１１２は、マイク１２０から入力された音声をＡ／Ｄ変換し、次いで音声コーデックによって圧縮し、圧縮されたデータを通信制御手段１１１に出力する。また、通信制御手段１１１において組立てられた音声データを音声コーデックによって伸張し、次いでＤ／Ａ変換してスピーカ１３０から出力する。
【００３９】
画像・映像信号処理手段１１３は、映像コーデックを備えており、カメラ１４０において撮影された映像を圧縮し、圧縮されたデータを通信制御手段１１１に出力する。また、通信制御手段１１１において組立てられた映像データを伸張し、表示制御手段１１４に出力する。また、画像・映像信号処理手段１１３は、画像コーデックを備えており、通信制御手段１１１において組立てられた画像データを伸張し、メモリ（制御部１１０のＲＡＭ）に展開する。
【００４０】
表示制御手段１１４は、カメラ１４０及び画像・映像信号処理手段１１３から出力された映像データ及びメモリ（制御部１１０のＲＡＭ）に展開された画像データを表示部１５０に表示可能な所定の態様に変換（拡大、縮小、画像を並べて配置する等）して表示部１５０のビデオメモリ（図示せず）上に展開し、表示部１５０に表示させるものである。例えば、表示制御手段１１４は、表示部１５０の表示画面を、図４に示すように上下に２分割し、上側にはカメラ１４０で撮影した映像と通話相手先から送信されてきた映像とを表示部１５０に並べて表示させ、下側には通話相手先から送信されてきた画像を表示させる。なお、この表示の方法は、上記に限られず、種々の態様に従うようにしてもよい。
【００４１】
画像編集手段１１５は、入力部１６０の操作に従って画像データを編集するものである。画像データの編集には、線を描画したり、文字を挿入したり、手書き入力したり、図形を挿入したりすることが含まれる。
【００４２】
データ制御手段１１６は、通信制御手段１１１の受信データを監視することによって通話相手先のテレビ電話装置１００’から画像を受信したことを判定し、画像データを受信した場合には、その画像データをメモリ（制御部１１０のＲＡＭ）に展開したり、メモリ１７０から画像データを取込んでメモリ（制御部１１０のＲＡＭ）に展開したり、メモリ（制御部１１０のＲＡＭ）に展開されている画像データを、通話相手先へ送信する送信指示を行ったり、テレビ電話装置１００にプリンタが接続されている場合にはプリンタへの出力指示を行ったり、メモリ１７０への保存を行ったりする。
【００４３】
時刻制御手段１１７は、通信制御手段１１１において各データをパケットに分割する際に、各データを例えば２０ｍＳ〜６０ｍＳずつ分割するタイミングを調整したり、受信したパケットを組立てる際に所定の時刻に各パケットが再生されるようにタイミング調整を行ったりするためのものである。
【００４４】
マイク１２０において集音された音声は、音声信号に変換され、音声信号処理手段１１２に出力される。また、音声信号処理手段１１２から出力された音声信号はスピーカ１３０において音声に変換され出力される。マイク１２０とスピーカ１３０は、テレビ電話装置１００に固定的に設けられていてもよいが、ヘッドセットであってもよい。
【００４５】
カメラ１４０は、テレビ電話装置１００の通話中にその前にある被写体を撮影するためのものである。通常、テレビ電話装置１００の正面にはユーザが位置することになるので、カメラ１４０においてはユーザが被写体として撮影される。撮影された映像は、画像・映像信号処理手段１１３に出力される。
【００４６】
表示部１５０は液晶ディスプレイユニットであり、表示制御手段１１４によって表示部１５０のビデオメモリ上に展開された映像や画像を表示する。
【００４７】
入力部１６０は、表示部１５０に一体に形成されたタッチパネルの形をとる。ユーザは表示部１５０に表示された入力用のアイコンの部位に接触することで入力操作を行う。例えば、電話をかける場合に、入力部１６０に電話番号を入力するためのテンキーを表示し、ユーザはそのテンキーの該当する部分を指で押すことにより、番号を入力することができる。なお、入力部１６０は、上記に限られず、テレビ電話装置１００を構成する筐体の一部分に形成されたキーやボタンであってもよい。
【００４８】
メモリ１７０は、フラッシュメモリ等であり、データ制御手段１１６はメモリ１７０に記録されている画像データを読込んでメモリ（制御部１１０のＲＡＭ）に展開し、編集して通話相手先に送信したり、通話相手先から受信した画像データをメモリ１７０に保存したりする。
【００４９】
次に、図３〜図８を参照して、本実施例のテレビ電話装置１００における画像データ送受信処理について説明する。なお、図３は、本発明の実施例に係る画像データ送受信処理における動作を示すフローチャートである。図４〜図８は、実施例に係るテレビ電話装置１００において、画像データの送受信処理及び編集を行っている際の表示画面を示す図である。なお、以下の説明では、ユーザがテレビ電話装置１００を使用し、通話相手先がＩＰ電話網１０５に接続されたテレビ電話装置１００’を使用している場合を例として説明する。
【００５０】
ステップＳ３０１において、ユーザがテレビ電話装置１００の入力部１６０を操作してＩＰ電話網１０５に接続された通話相手先のテレビ電話装置１００’の電話番号を入力する。通信制御手段１１１は、入力された電話番号に基づいて通話相手先を探し、通話相手先のテレビ電話装置１００’を呼出し、通話相手が応答したならば通信セッションが確立され、通話が開始される。或いは、通話相手先のテレビ電話装置１００’がテレビ電話装置１００を呼出し、ユーザがその呼出しに応答することで通信セッションが確立し、通話が開始される。
【００５１】
ステップＳ３０２において、テレビ電話装置１００と通話相手先のテレビ電話装置１００’との間で音声、映像の送受信が行われる。具体的には、マイク１２０から入力された音声は音声信号処理手段１１２においてＡ／Ｄ変換されてから音声コーデックによって圧縮される。カメラ１４０において撮影された映像は、表示制御手段１１４によって表示部１５０に表示されるとともに、画像・映像信号処理手段１１３が備える映像コーデックによって圧縮される。さらに圧縮された音声データ及び映像データはそれぞれ通信制御手段１１１においてＩＰパケットに分割され、有線ＬＡＮ１０１に送信され、送信された音声データ、及び映像データは、通話相手先のテレビ電話装置１００’において再生、表示される。
【００５２】
一方、通話相手先のテレビ電話装置１００’からＩＰパケットとして送信されてきた音声データ及び映像データを受信すると、通信制御手段１１１はそれぞれＩＰパケットを音声データ、映像データ等種類毎に分け、それぞれ分割されていたパケットから実際のデータ部分を抽出し、順番に組立てる。次いで、音声データは音声信号処理手段１１２の音声コーデックにおいて伸張され、次いでＤ／Ａ変換されてスピーカ１３０に出力され、音声として出力される。また、映像データは画像・映像信号処理手段１１３が備える映像コーデックによって伸張され、表示制御手段１１４に出力され、表示制御手段１１４が表示部１５０に表示可能な態様に編集して表示する。
【００５３】
ステップＳ３０３において、通信制御手段１１１はユーザが入力部１６０の操作に基づいて、或いは通話相手先のテレビ電話装置１００’からのセッション切断通知に基づいて通話を終了するか否かを判定する。通話を終了すると判定された場合には、マイク１２０、スピーカ１３０、カメラ１４０の機能を停止し、通話処理を終了する。
【００５４】
ステップＳ３０３において、通話を終了しないと判定すると、続くステップＳ３０４に進み、データ制御手段１１６が通信制御手段１１１における受信データを監視することによって通話相手先のテレビ電話装置１００’から画像データを受信したか否かを判定する。
【００５５】
画像データを受信したと判定した場合には、ステップＳ３０５に進み、受信した画像データを、画像・映像信号処理手段１１３が備える画像コーデックによって伸張し、伸張された画像データをデータ制御手段１１６がメモリ（制御部１１０のＲＡＭ）に展開し、さらに、受信した画像データを、表示制御手段１１４が表示中の映像とともに表示部１５０に表示する。このときの状態が図４に示されている。
【００５６】
図４は、実施例に係るテレビ電話装置１００において、画像データを受信した際の表示画面の一例を示している。表示画面４００は、映像領域４１０と画像データ領域４２０とから構成される。図４においては、映像領域４２０は表示画面４００の上方に設けられ、画像データ領域４２０は表示画面４００の下方に設けられる。なお、これらの領域は図４のように上下方向に分割して設けられても良いが、左右に分割して設けられるようにしてもよい。
【００５７】
映像領域４１０には、テレビ電話装置１００において撮像された映像を表示する自局映像領域４１１と、通話相手先のテレビ電話装置１００’において撮像された映像を表示する相手局映像領域４１２が設けられる。図４では、自局映像領域４１１にはこのテレビ電話装置１００を使用して通話を行っているユーザの顔が表示され、相手局映像領域４１２には通話相手先のテレビ電話装置１００’を使用して通話を行っている通話相手の顔が表示されている。
【００５８】
画像データ領域４２０には、通話相手先のテレビ電話装置１００’から受信した画像データ４２１が表示される。図４では、画像データは地図画像である。画像データを表示部１５０に表示した後、図４に示すように画像データ４２１部分をユーザが選択操作すると、表示制御手段１１４は図５のメニュー画面を表示し、ステップＳ３０８に進む。
【００５９】
ステップＳ３０４において、通話相手先のテレビ電話装置１００’から画像データを受信しないと判定された場合、ステップＳ３０６に進み、データ制御手段１１６が、メモリ１７０から画像データを読込む指示が入力部１６０からあったか否かを判定する。画像データを読込む指示がない場合は、ステップＳ３０２に戻る。画像データの読込み指示があった場合には、ステップＳ３０７に進み、データ制御手段１１６がメモリ１７０から画像データを読込んで制御部１１０のＲＡＭに展開し、ステップＳ３０８に進む。なお、メモリ１７０から画像データを読込んだ場合にも、図４に示すように画像データ４２１が画像データ領域４２０に表示される。図４に示すように画像データ４２１部分をユーザが選択操作すると、表示制御手段１１４は図５のメニュー画面を表示し、ステップＳ３０８に進む。
【００６０】
図５はメニュー画面を表示した際の表示画面の一例を示している。メニュー画面は、右上方に設けられる相手局映像領域４１２、上方に表示される画像データ４２１、画面右側に設けられる各種メニューアイコン５１０から構成される。メニューアイコン５１０は、「編集」アイコン５１１、「送信」アイコン５１２、「保存」アイコン５１３、「印刷」５１４アイコンから構成される。
【００６１】
ステップＳ３０８に進み、データ制御手段１１６は、入力部１６０から画像データの編集を行う指示があったか否かを判定する。これはユーザが「編集」アイコン５１１を選択操作したか否かを、データ制御手段１１６が入力部１６０からの入力に基づいて判定することによって行われる。
【００６２】
画像データの編集指示がないと判定された場合はステップＳ３１０に進み、画像データの編集指示があったと判定された場合は、ステップＳ３０９に進む。すなわち、図５において、ユーザが表示部１５０に表示された「編集」アイコン５１１を選択した場合、表示制御手段１１４は図６に示すような編集画面を表示する。
【００６３】
図６は、画像データを編集する際の編集画面の一例を示す図である。変種画面は、図５と同様に、右上方に設けられる相手局映像領域４１２、上方に表示される画像データ４２１、画面右側に設けられる各種メニューアイコン５１０、下方に表示される編集メニューアイコン６１０から構成される。
【００６４】
編集メニューアイコン６１０は、線を描画するための「線」アイコン、文字を入力するための「文字」アイコン、入力する線や文字の色を変更するための「色」アイコン、フリーハンドで描画を行うための「手書」アイコン、図形を挿入するための「図形」アイコン、全画面表示や図８に示すような分割表示を行うための「ディスプレイ」アイコン等から構成される。
【００６５】
ステップＳ３０９において、画像編集手段１１５は、入力部１６０からの指示に従って制御部１１０のＲＡＭに展開されている画像を編集する。具体的には、ユーザは図６の編集画面に表示された編集メニューアイコンを選択操作することによって編集方法を選択し、次いで画像データ４２１上に手指で接触することにより、線やフリーハンド図形、図形の描画等を行う。また、「文字」アイコンが選択操作された場合には、キーボード等の入力用アイコンを表示し、ユーザの文字入力を受付ける。
【００６６】
図６のように、ユーザが「手書」アイコンを選択操作した場合は、ユーザは画像データ４２１上を手指でなぞることによってフリーハンドで線を描画することができる。図７は、ユーザが画像データ４２１上を手指でなぞることによって編集された編集画面を示している。図７では、ユーザが地図画像データに指定場所と道順、必要な情報を書き加えた編集後の画像データ４２２が表示されている。
【００６７】
続くステップＳ３１０において、データ制御手段１１６は、入力部１６０から画像データの送信指示があるか否かを判定する。これは図５〜図７において、ユーザが「送信」アイコン５１２を選択操作したか否かを、データ制御手段１１６が入力部１６０からの入力に基づいて判定することによって行われる。
【００６８】
画像データを送信する指示がない場合、ステップＳ３０２に戻る。画像データを送信する指示があった場合、画像・映像信号処理手段１１３が送信すべき画像（図５及び図６の画像データ、或いは図７の編集後の画像データ）を画像コーデックによって圧縮し、次いで通信制御手段１１１が圧縮された画像データをＩＰパケットに分割し、有線ＬＡＮ１０１を介して通話相手先のテレビ電話装置１００’に送信する。送信処理が終了したなら、ステップＳ３０２に戻り、ユーザは通話相手先と通話を続ける。
【００６９】
ところで、図６、或いは図７において、ユーザが「ディスプレイ」アイコンを選択した場合、メモリ（制御部１１０のＲＡＭ）に展開されている通話相手先から受信した画像データの複製を作成してメモリ（制御部１１０のＲＡＭ）に展開する。また、表示制御手段１１４が表示画面を図８に示すように２分割し、第１の表示領域を自局画像データ領域８１０とし、第２の表示領域を相手局画像データ領域８２０とする。自局画像データ領域８１０には編集中の画像データ４２２が表示され、相手局画像データ領域８２０には通話相手先から受信した画像データが表示される。
【００７０】
なお、図８に示す表示画面においては上方に、「切替表示」アイコン、「戻る」アイコンから構成されるメニューアイコン８３０が設けられ、ユーザが「切替表示」アイコンを選択すると自局画像データ領域８１０、又は相手局画像データ領域が全画面表示される。この「切替表示」アイコンを選択操作する度に、自局画像データ領域８１０と相手局画像データ領域８２０からなる分割表示画面、自局画像データ領域８１０の全画面表示、相手局画像データ領域８２０の全画面表示を切替えて表示するようにしてもよい。
【００７１】
また、図５〜図７において、ユーザが「保存」アイコン５１３を選択操作した場合、データ制御手段１１６は、メモリ（制御部１１０のＲＡＭ）に展開されている画像データを、メモリ１７０に保存する。ユーザが「印刷」アイコン５１４を選択操作した場合、データ制御手段１１６は、メモリ（制御部１１０のＲＡＭ）に展開されている画像を、テレビ電話装置１００に接続されているプリンタへ出力し、印刷を行う。
【００７２】
上記に説明した通り、本発明は、通話相手先から受信した画像データを編集・加工でき、編集・加工された画像データをさらに通話相手先に送信することができる。一方、通話相手先においても受信した画像データをさらに編集・加工して返信することができる。これにより、通話を行いながら、互いが画像データを送信し合うことで、画像データを共有することが可能となる。これらの画像データをもとに、意思の疎通を図り、より明確で誤りの少ない会話を行うことが可能となる。
【産業上の利用可能性】
【００７３】
上記においては、画像データとして地図画像を例示した。地図のようなデータは、互いが同じ地図を見ているとしても口頭のみで情報を伝えたとしても誤解が生じやすい。本発明によれば、そのような誤解を防ぎ、より正確に情報を共有することが可能となる。
【００７４】
また、医療現場等において、通話者相互がＸ線写真のような画像データを見ながらそこに書き加えてゆくことで口頭よりもより正確に情報を提供することが可能となる。
【符号の説明】
【００７５】
１００ テレビ電話装置
１０１ 有線ＬＡＮ
１０２ ＩＰ電話ルータ
１０３ ブロードバンドルータ
１０４ ゲートウェイ
１０５ ＩＰ電話網
１０６ インターネット
１０７ ＰＳＴＮ網
１０８ 加入者電話機
１１０ 制御部
１１１ 通信制御手段
１１２ 音声信号処理手段
１１３ 画像・映像信号処理手段
１１４ 表示制御手段
１１５ 画像編集手段
１１６ データ制御手段
１１７ 時刻制御手段
１２０ マイク
１３０ スピーカ
１４０ カメラ
１５０ 表示部
１６０ 入力部
１７０ メモリ
【技術分野】
【０００１】
本発明は、ＩＰ電話網等に接続されて音声及び映像の送受信を行うテレビ電話装置に関し、特に、通話相手先のテレビ電話装置から送信されてきた画像データを通話中に編集・加工し、さらに返信することが可能なテレビ電話装置に関する。
【背景技術】
【０００２】
近年、通信インフラの発達に伴い、通信に関する様々な付加サービスが普及するようになってきた。例えば、電話装置においては、一般電話回線以外に、ＩＰ電話網やインターネット等の広域通信網に接続して、データ通信サービス等の様々なサービスを受けることが可能な電話装置が普及している。
【０００３】
このような電話装置に対するサービスとして、テレビ電話サービスが実用化されている。テレビ電話サービスの利用者は、カメラ機能及び画像送信機能を備えたテレビ電話装置を通信回線に接続することにより、撮影された映像の送受信を行いながら音声通話を行うことが可能である。
【０００４】
こうした撮影映像に加えて、他の画像データを通話相手先に送信可能なテレビ電話装置も開発されている。例えば、下記特許文献１（特開２００４−２２８８０５号公報）は、テレビ電話の通話中に会話に関連する特定の画像データ等を会話と同時進行でマルチタスクによりネットワーク等を介して取得し、その画像データを通話中の相手局に送信することが可能なテレビ電話機能を開示している。
【０００５】
このテレビ電話機能は、テレビ電話機能手段と、データ通信機能手段と、マルチアクセス機能手段と、を備える。テレビ電話機能手段は、通話中に撮像部により撮影された映像をテレビ電話機能手段によって相手局に送信するとともに相手局から送信された映像を受信し表示部に出力する。また、データ通信機能手段は所定のホームページ等に接続し文字や画像の表示情報を取得するデータ通信を行う。マルチアクセス機能手段は、テレビ電話機能手段とデータ通信機能手段とを同時に稼動させるためのものである。データ通信によって取得された表示情報は、映像、音声とともに、相手局に送信され、相手局において表示される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２２８８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１のテレビ電話機能は、撮影した映像を送信することに加えて通話中に画像等のデータを送信することが可能であるが、通話相手先では、受信した画像等のデータを参照することはできたとしても、さらにそれを編集したり加工したりし、編集・加工後の画像を再び通話元に返信することはできなかった。
【０００８】
通話中に受信した画像等のデータを編集・加工し、それを返信することができれば、通話者同士はさらに十分な意思の疎通が可能となり、明確で誤りの少ない会話を行うことが可能となる。
【０００９】
そこで、本発明の目的は、テレビ電話装置において、通話中に撮影映像及び画像等のデータの送受信を行うことに加えて、受信した画像等のデータを編集・加工し、編集・加工されたデータをさらに通話相手先に送信する機能を提供することである。
【課題を解決するための手段】
【００１０】
上記課題を解決するために本発明のテレビ電話装置は、表示部と、入力部と、マイクと、スピーカと、カメラと、通信回線における送受信の制御を行う通信制御手段、前記マイクから入力された音声を、通信回線送信用のデータ形式に変換するとともに前記通信回線から受信した音声信号を変換して前記スピーカに出力する音声信号処理手段、画像データ及び／又は前記カメラにおいて撮像された映像を、通信回線送信用のデータ形式に変換するとともに前記通信回線から受信した画像データ及び／又は映像信号を変換して表示制御手段に出力する画像・映像信号処理手段、前記映像信号と前記画像データを前記表示部に表示可能な態様に変換して前記表示部に表示する表示制御手段、前記画像データを、前記入力部からの指示に基づいて編集する画像編集手段、を有する制御部と、を備えるテレビ電話装置であって、前記通話相手先から通信回線を介して受信した画像データを、前記画像編集手段が前記入力部からの指示に基づいて編集することを特徴とする。
【００１１】
また、本発明のテレビ電話装置の一態様は、前記通信回線を介して受信した画像データを、前記入力部からの指示に基づいて前記画像編集手段によって編集した後に、前記入力部からの指示に基づいて前記通信回線を介して通話相手先に送信することを特徴とする。
【００１２】
また、本発明のテレビ電話装置の一態様は、前記画像編集手段が、入力部からの指示に基づいて前記画像データに所定の図形及び／又は文字を描画することを特徴とする。
【００１３】
また、本発明のテレビ電話装置の一態様は、前記表示制御手段が、前記表示部を、前記映像と前記画像データとが同時に表示される表示構成とすることを特徴とする。
【００１４】
また、本発明のテレビ電話装置の一態様は、前記表示制御手段が、前記表示部を、前記編集中の画像データを表示する第１の領域と、前記通話相手先から前記受信された画像データとを表示する第２の領域とを含む表示構成とすることを特徴とする。
【発明の効果】
【００１５】
本発明は、以下に説明する優れた効果を発揮する。すなわち、本発明のテレビ電話装置は、マイクから入力された音声、カメラにおいて撮影された映像、また本装置において編集された画像データを通信回線送信用のデータ形式に変換して通話相手先に送信することができる。また、通話相手先から送信されてきた音声信号をスピーカから出力し、映像、画像データを表示手段に表示できる。さらに、本発明のテレビ電話装置は画像編集手段を備えているので、通話相手先より受信し表示手段に表示された画像データを、入力部からの指示に基づいて編集することが可能となる。
【００１６】
また、本発明のテレビ電話装置の一態様によれば、通信回線を介して受信した画像を入力部からの指示に基づいて編集した後に、入力部からの指示に基づいて編集された画像を通話相手先に送信することができる。これにより、通話相手先から受信した画像を編集して再び通話相手先に送信できるようになるから、通話者同士は、編集後の同じ画像データを共有することができる。これにより、通話者同士でより明確で誤りの少ない会話を行うことが可能となり、十分な意思の疎通を達成することが可能となる。
【００１７】
また、本発明のテレビ電話装置の一態様によれば、編集する画像データに所定の図形や文字を入力することができ、ユーザにとって編集が容易に行えるようになる。
【００１８】
また、本発明のテレビ電話装置の一態様によれば、編集する画像データと、通話相手先から受信した映像とを同時に表示することができる。これにより、受信した映像、例えば、通話相手の顔を見ながら画像データを編集することが可能となり、意思の疎通を十分に図るための助けとなる。
【００１９】
また、本発明のテレビ電話装置の一態様によれば、編集中の画像データと、通話相手先から受信した画像データとを同時に表示することができる。これにより、互いの画像データを比較しながら編集や通話を行うことが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明のテレビ電話装置が含まれる通信システムの構成を示すブロック図である。
【図２】本発明の実施例に係るテレビ電話装置の構成を示す内部ブロック図である。
【図３】本発明の実施例に係る画像送受信処理における動作を示すフローチャートである。
【図４】本発明の実施例に係るテレビ電話装置において、画像データを受信した際の表示画面の一例を示す図である。
【図５】本発明の実施例に係るテレビ電話装置において、メニュー画面を表示した際の表示画面の一例を示す図である。
【図６】本発明の実施例に係るテレビ電話装置において、画像データを編集する際の編集画面の一例を示す図である。
【図７】図６の編集画面において、画像データを編集した状態を示す図である。
【図８】本発明の実施例に係るテレビ電話装置において、受信した画像データと編集中の画像データとを表示する表示画面の一例を示す図である。
【発明を実施するための形態】
【００２１】
以下、本願発明を実施するための最良の形態を実施例及び図面を参照して詳細に説明する。ただし、以下に示す実施例は、本発明の技術思想を具体化するためのテレビ電話装置を例示して説明するものであって、本発明をこのテレビ電話装置に特定することを意図するものではなく特許請求の範囲に示した技術思想を逸脱することなくその他のテレビ電話装置にも等しく適用し得るものである。
【実施例】
【００２２】
図１は、本発明のテレビ電話装置を含む通信システム１の構成を示すブロック図である。本システムは少なくとも、テレビ電話装置１００、有線ＬＡＮ１０１、ＩＰ電話ルータ１０２、ブロードバンドルータ１０３、ゲートウェイ１０４、ＩＰ電話網１０５、インターネット１０６、ＰＳＴＮ網１０７（＝Public Switched Telephone Network：公衆電話交換網）、及び加入者電話装置１０８を含むように構成されている。
【００２３】
本発明のテレビ電話装置１００は有線ＬＡＮ１０１に接続され、有線ＬＡＮ１０１は、ＩＰ電話ルータ１０２を介してＩＰ電話網１０５に、ブロードバンドルータ１０３を介してインターネット１０６に、ゲートウェイ１０４を介してＰＳＴＮ網１０７にそれぞれ接続されることにより、通信が可能である。なお、テレビ電話装置１の内部構造の詳細については後述する。
【００２４】
有線ＬＡＮ１０１を構成する物理的な手段としては、例えばツイストペアケーブルを用いた１０ＢＡＳＥ−Ｔ（ＩＥＥＥ８０２．３ｉとして標準化）や１００ＢＡＳＥ−ＴＸ（ＩＥＥＥ８０２．３ｕとして標準化）等があげられる。
【００２５】
ＩＰ電話ルータ１０２、及びブロードバンドルータ１０３は、複数のＩＰネットワークを相互接続するためのネットワーク中継装置である。具体的には、ＯＳＩ（Open Systems Interconnection）参照モデルでいうネットワーク層（第３層）やトランスポート層（第４層）の一部のプロトコルを解析して転送を行う。
【００２６】
本実例では、ＩＰ電話ルータ１０２は有線ＬＡＮ１０１とＩＰ電話網１０５との二つのＩＰネットワークを相互に接続する役割を持つ。またブロードバンドルータ１０３は、有線ＬＡＮ１０１とインターネット１０６との二つのＩＰネットワークを相互に接続する役割を持つ。
【００２７】
ゲートウェイ１０４は、プロトコル体系が異なるネットワーク間を相互接続するためのプロトコル変換器である。ゲートウェイ１０４は、例えば、有線ＬＡＮ１０１とＰＳＴＮ網１０７とを接続し、ＳＩＰ等のシグナリングプロトコルを用いてシグナル変換を行うことにより、両ネットワーク間での通信を可能とする。
【００２８】
ＩＰ電話網１０５は、電話網の一部もしくは全てにＶｏＩＰ（Voice over Internet Protocol）技術を利用した通信網であり、用いる通信回線としてはＦＴＴＨ（Fiber To The Home）やＡＤＳＬ（Asymmetric Digital Subscriber Line）等の、いわゆるブロードバンド回線が利用される。なお、ＩＰ電話網１０５にはテレビ電話装置１００’が複数接続されているが、図１では簡単のため１台のみしか描写されていない。
【００２９】
なおＶｏＩＰとは、音声を各種符号化方式で圧縮した後にパケットに分割し、ＩＰネットワークでリアルタイム伝送する技術である。これによりＩＰ電話網１０５は音声通話サービスの他、画像の送受信を行うテレビ電話サービス等が提供可能となる。
【００３０】
インターネット１０６は、通信プロトコルによるネットワークを相互接続して構築された広域通信網である。大小様々なコンピュータネットワークを相互に連結させて、国際的な通信ネットワークが構築されている。通信プロトコルとしては主に、ＴＣＰ／ＩＰが標準的なプロトコルとして採用されている。
【００３１】
ＰＳＴＮ網１０７は、一般の加入者電話回線ネットワークである。末端に加入者電話装置１０８を接続し、回線交換方式で通信相手に接続して音声通話を行うのに用いられる。加入者電話装置１０８は、電話加入者がＰＳＴＮ網１０７を用いてＰＳＴＮ網に接続された他の加入者電話装置や有線ＬＡＮ１０１やＩＰ電話網１０５に接続されたテレビ電話装置と音声通話を行うための電話装置である。
【００３２】
次に、図２を参照して本実施例のテレビ電話装置１００について説明する。なお、図２は本実施例に係るテレビ電話装置１００の構成を示す内部ブロック図である。テレビ電話装置１００は、制御部１１０、マイク１２０、スピーカ１３０、カメラ１４０、表示部１５０、入力部１６０、メモリ１７０を備えて構成される。
【００３３】
制御部１１０は、ＣＰＵ、ＲＡＭ、ＲＯＭを備えて構成されるマイクロプロセッサであり、ＲＡＭやＲＯＭに記憶された制御プログラムをＣＰＵにおいて実行することにより、以下に説明する各手段の動作を制御・統括する。
【００３４】
制御部１１０は、通信制御手段１１１、音声信号処理手段１１２、画像・映像信号処理手段１１３、表示制御手段１１４、画像編集手段１１５、データ制御手段１１６、時刻制御手段１１７を備えて構成される。
【００３５】
通信制御手段１１１は、テレビ電話装置１００が他のテレビ電話装置１００’と通信を行う際の通信制御を行うためのものである。これには、シグナリングとデータの送受信とに関わる制御が含まれる。シグナリングには通信セッションの生成、確立、切断が含まれる。具体的には、ユーザが入力部１６０を操作して電話番号等を入力した際に、ＩＰ電話網１０５に接続されたＳＩＰサーバ（図示せず）等に接続して通話相手先のテレビ電話装置１００’の位置情報を入手するとともに、通話相手先のテレビ電話装置１００’を呼出し、通話相手先が応答した場合に通信経路を確立することと、通話が終了した際にセッション切断メッセージ等を送信することによってセッションを終了することが含まれる。
【００３６】
データの送受信に関わる制御には、音声データ、映像データ、画像データをパケットに分割するＩＰパケット化と及びＩＰパケットの送信、有線ＬＡＮ１０１を介して受信したパケットを、正しい順序に並べ替えるとともに実際のデータ部分を抽出して組立てるＩＰパケットの受信及び組立てとが含まれる。
【００３７】
データをパケットとして送信する際には、所定データ長に分割された各データに送信元、宛先、順序、送信時刻、用途（ＩＰ電話の音声データ、映像データ、画像データ）を示すヘッダを付加する。また、受信したパケットは、ヘッダ部分を参照することによって、音声、映像、画像ごとに正しい順序で組立てられてゆき、音声信号処理手段１１２、画像・映像信号処理手段１１３に出力される。
【００３８】
音声信号処理手段１１２は、マイク１２０から入力された音声をＡ／Ｄ変換し、次いで音声コーデックによって圧縮し、圧縮されたデータを通信制御手段１１１に出力する。また、通信制御手段１１１において組立てられた音声データを音声コーデックによって伸張し、次いでＤ／Ａ変換してスピーカ１３０から出力する。
【００３９】
画像・映像信号処理手段１１３は、映像コーデックを備えており、カメラ１４０において撮影された映像を圧縮し、圧縮されたデータを通信制御手段１１１に出力する。また、通信制御手段１１１において組立てられた映像データを伸張し、表示制御手段１１４に出力する。また、画像・映像信号処理手段１１３は、画像コーデックを備えており、通信制御手段１１１において組立てられた画像データを伸張し、メモリ（制御部１１０のＲＡＭ）に展開する。
【００４０】
表示制御手段１１４は、カメラ１４０及び画像・映像信号処理手段１１３から出力された映像データ及びメモリ（制御部１１０のＲＡＭ）に展開された画像データを表示部１５０に表示可能な所定の態様に変換（拡大、縮小、画像を並べて配置する等）して表示部１５０のビデオメモリ（図示せず）上に展開し、表示部１５０に表示させるものである。例えば、表示制御手段１１４は、表示部１５０の表示画面を、図４に示すように上下に２分割し、上側にはカメラ１４０で撮影した映像と通話相手先から送信されてきた映像とを表示部１５０に並べて表示させ、下側には通話相手先から送信されてきた画像を表示させる。なお、この表示の方法は、上記に限られず、種々の態様に従うようにしてもよい。
【００４１】
画像編集手段１１５は、入力部１６０の操作に従って画像データを編集するものである。画像データの編集には、線を描画したり、文字を挿入したり、手書き入力したり、図形を挿入したりすることが含まれる。
【００４２】
データ制御手段１１６は、通信制御手段１１１の受信データを監視することによって通話相手先のテレビ電話装置１００’から画像を受信したことを判定し、画像データを受信した場合には、その画像データをメモリ（制御部１１０のＲＡＭ）に展開したり、メモリ１７０から画像データを取込んでメモリ（制御部１１０のＲＡＭ）に展開したり、メモリ（制御部１１０のＲＡＭ）に展開されている画像データを、通話相手先へ送信する送信指示を行ったり、テレビ電話装置１００にプリンタが接続されている場合にはプリンタへの出力指示を行ったり、メモリ１７０への保存を行ったりする。
【００４３】
時刻制御手段１１７は、通信制御手段１１１において各データをパケットに分割する際に、各データを例えば２０ｍＳ〜６０ｍＳずつ分割するタイミングを調整したり、受信したパケットを組立てる際に所定の時刻に各パケットが再生されるようにタイミング調整を行ったりするためのものである。
【００４４】
マイク１２０において集音された音声は、音声信号に変換され、音声信号処理手段１１２に出力される。また、音声信号処理手段１１２から出力された音声信号はスピーカ１３０において音声に変換され出力される。マイク１２０とスピーカ１３０は、テレビ電話装置１００に固定的に設けられていてもよいが、ヘッドセットであってもよい。
【００４５】
カメラ１４０は、テレビ電話装置１００の通話中にその前にある被写体を撮影するためのものである。通常、テレビ電話装置１００の正面にはユーザが位置することになるので、カメラ１４０においてはユーザが被写体として撮影される。撮影された映像は、画像・映像信号処理手段１１３に出力される。
【００４６】
表示部１５０は液晶ディスプレイユニットであり、表示制御手段１１４によって表示部１５０のビデオメモリ上に展開された映像や画像を表示する。
【００４７】
入力部１６０は、表示部１５０に一体に形成されたタッチパネルの形をとる。ユーザは表示部１５０に表示された入力用のアイコンの部位に接触することで入力操作を行う。例えば、電話をかける場合に、入力部１６０に電話番号を入力するためのテンキーを表示し、ユーザはそのテンキーの該当する部分を指で押すことにより、番号を入力することができる。なお、入力部１６０は、上記に限られず、テレビ電話装置１００を構成する筐体の一部分に形成されたキーやボタンであってもよい。
【００４８】
メモリ１７０は、フラッシュメモリ等であり、データ制御手段１１６はメモリ１７０に記録されている画像データを読込んでメモリ（制御部１１０のＲＡＭ）に展開し、編集して通話相手先に送信したり、通話相手先から受信した画像データをメモリ１７０に保存したりする。
【００４９】
次に、図３〜図８を参照して、本実施例のテレビ電話装置１００における画像データ送受信処理について説明する。なお、図３は、本発明の実施例に係る画像データ送受信処理における動作を示すフローチャートである。図４〜図８は、実施例に係るテレビ電話装置１００において、画像データの送受信処理及び編集を行っている際の表示画面を示す図である。なお、以下の説明では、ユーザがテレビ電話装置１００を使用し、通話相手先がＩＰ電話網１０５に接続されたテレビ電話装置１００’を使用している場合を例として説明する。
【００５０】
ステップＳ３０１において、ユーザがテレビ電話装置１００の入力部１６０を操作してＩＰ電話網１０５に接続された通話相手先のテレビ電話装置１００’の電話番号を入力する。通信制御手段１１１は、入力された電話番号に基づいて通話相手先を探し、通話相手先のテレビ電話装置１００’を呼出し、通話相手が応答したならば通信セッションが確立され、通話が開始される。或いは、通話相手先のテレビ電話装置１００’がテレビ電話装置１００を呼出し、ユーザがその呼出しに応答することで通信セッションが確立し、通話が開始される。
【００５１】
ステップＳ３０２において、テレビ電話装置１００と通話相手先のテレビ電話装置１００’との間で音声、映像の送受信が行われる。具体的には、マイク１２０から入力された音声は音声信号処理手段１１２においてＡ／Ｄ変換されてから音声コーデックによって圧縮される。カメラ１４０において撮影された映像は、表示制御手段１１４によって表示部１５０に表示されるとともに、画像・映像信号処理手段１１３が備える映像コーデックによって圧縮される。さらに圧縮された音声データ及び映像データはそれぞれ通信制御手段１１１においてＩＰパケットに分割され、有線ＬＡＮ１０１に送信され、送信された音声データ、及び映像データは、通話相手先のテレビ電話装置１００’において再生、表示される。
【００５２】
一方、通話相手先のテレビ電話装置１００’からＩＰパケットとして送信されてきた音声データ及び映像データを受信すると、通信制御手段１１１はそれぞれＩＰパケットを音声データ、映像データ等種類毎に分け、それぞれ分割されていたパケットから実際のデータ部分を抽出し、順番に組立てる。次いで、音声データは音声信号処理手段１１２の音声コーデックにおいて伸張され、次いでＤ／Ａ変換されてスピーカ１３０に出力され、音声として出力される。また、映像データは画像・映像信号処理手段１１３が備える映像コーデックによって伸張され、表示制御手段１１４に出力され、表示制御手段１１４が表示部１５０に表示可能な態様に編集して表示する。
【００５３】
ステップＳ３０３において、通信制御手段１１１はユーザが入力部１６０の操作に基づいて、或いは通話相手先のテレビ電話装置１００’からのセッション切断通知に基づいて通話を終了するか否かを判定する。通話を終了すると判定された場合には、マイク１２０、スピーカ１３０、カメラ１４０の機能を停止し、通話処理を終了する。
【００５４】
ステップＳ３０３において、通話を終了しないと判定すると、続くステップＳ３０４に進み、データ制御手段１１６が通信制御手段１１１における受信データを監視することによって通話相手先のテレビ電話装置１００’から画像データを受信したか否かを判定する。
【００５５】
画像データを受信したと判定した場合には、ステップＳ３０５に進み、受信した画像データを、画像・映像信号処理手段１１３が備える画像コーデックによって伸張し、伸張された画像データをデータ制御手段１１６がメモリ（制御部１１０のＲＡＭ）に展開し、さらに、受信した画像データを、表示制御手段１１４が表示中の映像とともに表示部１５０に表示する。このときの状態が図４に示されている。
【００５６】
図４は、実施例に係るテレビ電話装置１００において、画像データを受信した際の表示画面の一例を示している。表示画面４００は、映像領域４１０と画像データ領域４２０とから構成される。図４においては、映像領域４２０は表示画面４００の上方に設けられ、画像データ領域４２０は表示画面４００の下方に設けられる。なお、これらの領域は図４のように上下方向に分割して設けられても良いが、左右に分割して設けられるようにしてもよい。
【００５７】
映像領域４１０には、テレビ電話装置１００において撮像された映像を表示する自局映像領域４１１と、通話相手先のテレビ電話装置１００’において撮像された映像を表示する相手局映像領域４１２が設けられる。図４では、自局映像領域４１１にはこのテレビ電話装置１００を使用して通話を行っているユーザの顔が表示され、相手局映像領域４１２には通話相手先のテレビ電話装置１００’を使用して通話を行っている通話相手の顔が表示されている。
【００５８】
画像データ領域４２０には、通話相手先のテレビ電話装置１００’から受信した画像データ４２１が表示される。図４では、画像データは地図画像である。画像データを表示部１５０に表示した後、図４に示すように画像データ４２１部分をユーザが選択操作すると、表示制御手段１１４は図５のメニュー画面を表示し、ステップＳ３０８に進む。
【００５９】
ステップＳ３０４において、通話相手先のテレビ電話装置１００’から画像データを受信しないと判定された場合、ステップＳ３０６に進み、データ制御手段１１６が、メモリ１７０から画像データを読込む指示が入力部１６０からあったか否かを判定する。画像データを読込む指示がない場合は、ステップＳ３０２に戻る。画像データの読込み指示があった場合には、ステップＳ３０７に進み、データ制御手段１１６がメモリ１７０から画像データを読込んで制御部１１０のＲＡＭに展開し、ステップＳ３０８に進む。なお、メモリ１７０から画像データを読込んだ場合にも、図４に示すように画像データ４２１が画像データ領域４２０に表示される。図４に示すように画像データ４２１部分をユーザが選択操作すると、表示制御手段１１４は図５のメニュー画面を表示し、ステップＳ３０８に進む。
【００６０】
図５はメニュー画面を表示した際の表示画面の一例を示している。メニュー画面は、右上方に設けられる相手局映像領域４１２、上方に表示される画像データ４２１、画面右側に設けられる各種メニューアイコン５１０から構成される。メニューアイコン５１０は、「編集」アイコン５１１、「送信」アイコン５１２、「保存」アイコン５１３、「印刷」５１４アイコンから構成される。
【００６１】
ステップＳ３０８に進み、データ制御手段１１６は、入力部１６０から画像データの編集を行う指示があったか否かを判定する。これはユーザが「編集」アイコン５１１を選択操作したか否かを、データ制御手段１１６が入力部１６０からの入力に基づいて判定することによって行われる。
【００６２】
画像データの編集指示がないと判定された場合はステップＳ３１０に進み、画像データの編集指示があったと判定された場合は、ステップＳ３０９に進む。すなわち、図５において、ユーザが表示部１５０に表示された「編集」アイコン５１１を選択した場合、表示制御手段１１４は図６に示すような編集画面を表示する。
【００６３】
図６は、画像データを編集する際の編集画面の一例を示す図である。変種画面は、図５と同様に、右上方に設けられる相手局映像領域４１２、上方に表示される画像データ４２１、画面右側に設けられる各種メニューアイコン５１０、下方に表示される編集メニューアイコン６１０から構成される。
【００６４】
編集メニューアイコン６１０は、線を描画するための「線」アイコン、文字を入力するための「文字」アイコン、入力する線や文字の色を変更するための「色」アイコン、フリーハンドで描画を行うための「手書」アイコン、図形を挿入するための「図形」アイコン、全画面表示や図８に示すような分割表示を行うための「ディスプレイ」アイコン等から構成される。
【００６５】
ステップＳ３０９において、画像編集手段１１５は、入力部１６０からの指示に従って制御部１１０のＲＡＭに展開されている画像を編集する。具体的には、ユーザは図６の編集画面に表示された編集メニューアイコンを選択操作することによって編集方法を選択し、次いで画像データ４２１上に手指で接触することにより、線やフリーハンド図形、図形の描画等を行う。また、「文字」アイコンが選択操作された場合には、キーボード等の入力用アイコンを表示し、ユーザの文字入力を受付ける。
【００６６】
図６のように、ユーザが「手書」アイコンを選択操作した場合は、ユーザは画像データ４２１上を手指でなぞることによってフリーハンドで線を描画することができる。図７は、ユーザが画像データ４２１上を手指でなぞることによって編集された編集画面を示している。図７では、ユーザが地図画像データに指定場所と道順、必要な情報を書き加えた編集後の画像データ４２２が表示されている。
【００６７】
続くステップＳ３１０において、データ制御手段１１６は、入力部１６０から画像データの送信指示があるか否かを判定する。これは図５〜図７において、ユーザが「送信」アイコン５１２を選択操作したか否かを、データ制御手段１１６が入力部１６０からの入力に基づいて判定することによって行われる。
【００６８】
画像データを送信する指示がない場合、ステップＳ３０２に戻る。画像データを送信する指示があった場合、画像・映像信号処理手段１１３が送信すべき画像（図５及び図６の画像データ、或いは図７の編集後の画像データ）を画像コーデックによって圧縮し、次いで通信制御手段１１１が圧縮された画像データをＩＰパケットに分割し、有線ＬＡＮ１０１を介して通話相手先のテレビ電話装置１００’に送信する。送信処理が終了したなら、ステップＳ３０２に戻り、ユーザは通話相手先と通話を続ける。
【００６９】
ところで、図６、或いは図７において、ユーザが「ディスプレイ」アイコンを選択した場合、メモリ（制御部１１０のＲＡＭ）に展開されている通話相手先から受信した画像データの複製を作成してメモリ（制御部１１０のＲＡＭ）に展開する。また、表示制御手段１１４が表示画面を図８に示すように２分割し、第１の表示領域を自局画像データ領域８１０とし、第２の表示領域を相手局画像データ領域８２０とする。自局画像データ領域８１０には編集中の画像データ４２２が表示され、相手局画像データ領域８２０には通話相手先から受信した画像データが表示される。
【００７０】
なお、図８に示す表示画面においては上方に、「切替表示」アイコン、「戻る」アイコンから構成されるメニューアイコン８３０が設けられ、ユーザが「切替表示」アイコンを選択すると自局画像データ領域８１０、又は相手局画像データ領域が全画面表示される。この「切替表示」アイコンを選択操作する度に、自局画像データ領域８１０と相手局画像データ領域８２０からなる分割表示画面、自局画像データ領域８１０の全画面表示、相手局画像データ領域８２０の全画面表示を切替えて表示するようにしてもよい。
【００７１】
また、図５〜図７において、ユーザが「保存」アイコン５１３を選択操作した場合、データ制御手段１１６は、メモリ（制御部１１０のＲＡＭ）に展開されている画像データを、メモリ１７０に保存する。ユーザが「印刷」アイコン５１４を選択操作した場合、データ制御手段１１６は、メモリ（制御部１１０のＲＡＭ）に展開されている画像を、テレビ電話装置１００に接続されているプリンタへ出力し、印刷を行う。
【００７２】
上記に説明した通り、本発明は、通話相手先から受信した画像データを編集・加工でき、編集・加工された画像データをさらに通話相手先に送信することができる。一方、通話相手先においても受信した画像データをさらに編集・加工して返信することができる。これにより、通話を行いながら、互いが画像データを送信し合うことで、画像データを共有することが可能となる。これらの画像データをもとに、意思の疎通を図り、より明確で誤りの少ない会話を行うことが可能となる。
【産業上の利用可能性】
【００７３】
上記においては、画像データとして地図画像を例示した。地図のようなデータは、互いが同じ地図を見ているとしても口頭のみで情報を伝えたとしても誤解が生じやすい。本発明によれば、そのような誤解を防ぎ、より正確に情報を共有することが可能となる。
【００７４】
また、医療現場等において、通話者相互がＸ線写真のような画像データを見ながらそこに書き加えてゆくことで口頭よりもより正確に情報を提供することが可能となる。
【符号の説明】
【００７５】
１００ テレビ電話装置
１０１ 有線ＬＡＮ
１０２ ＩＰ電話ルータ
１０３ ブロードバンドルータ
１０４ ゲートウェイ
１０５ ＩＰ電話網
１０６ インターネット
１０７ ＰＳＴＮ網
１０８ 加入者電話機
１１０ 制御部
１１１ 通信制御手段
１１２ 音声信号処理手段
１１３ 画像・映像信号処理手段
１１４ 表示制御手段
１１５ 画像編集手段
１１６ データ制御手段
１１７ 時刻制御手段
１２０ マイク
１３０ スピーカ
１４０ カメラ
１５０ 表示部
１６０ 入力部
１７０ メモリ
【特許請求の範囲】
【請求項１】
表示部と、入力部と、マイクと、スピーカと、カメラと、
通信回線における送受信の制御を行う通信制御手段、前記マイクから入力された音声を、通信回線送信用のデータ形式に変換するとともに前記通信回線から受信した音声信号を変換して前記スピーカに出力する音声信号処理手段、画像データ及び／又は前記カメラにおいて撮像された映像を、通信回線送信用のデータ形式に変換するとともに前記通信回線から受信した画像データ及び／又は映像信号を変換して表示制御手段に出力する画像・映像信号処理手段、前記映像信号と前記画像データを前記表示部に表示可能な態様に変換して前記表示部に表示する表示制御手段、前記画像データを、前記入力部からの指示に基づいて編集する画像編集手段、を有する制御部と、を備えるテレビ電話装置であって、
前記通話相手先から通信回線を介して受信した画像データを、前記画像編集手段が前記入力部からの指示に基づいて編集することを特徴とするテレビ電話装置。
【請求項２】
前記通信回線を介して受信した画像データを、前記入力部からの指示に基づいて前記画像編集手段によって編集した後に、前記入力部からの指示に基づいて前記通信回線を介して通話相手先に送信することを特徴とする請求項１に記載のテレビ電話装置。
【請求項３】
前記画像編集手段が、入力部からの指示に基づいて前記画像データに所定の図形及び／又は文字を描画することを特徴とする請求項１又は２に記載のテレビ電話装置。
【請求項４】
前記表示制御手段が、前記表示部を、前記映像と前記画像データとが同時に表示される表示構成とすることを特徴とする請求項１〜３に記載のテレビ電話装置。
【請求項５】
前記表示制御手段が、前記表示部を、前記編集中の画像データを表示する第１の領域と、前記通話相手先から前記受信された画像データとを表示する第２の領域とを含む表示構成とすることを特徴とする請求項１〜３に記載のテレビ電話装置。
【請求項１】
表示部と、入力部と、マイクと、スピーカと、カメラと、
通信回線における送受信の制御を行う通信制御手段、前記マイクから入力された音声を、通信回線送信用のデータ形式に変換するとともに前記通信回線から受信した音声信号を変換して前記スピーカに出力する音声信号処理手段、画像データ及び／又は前記カメラにおいて撮像された映像を、通信回線送信用のデータ形式に変換するとともに前記通信回線から受信した画像データ及び／又は映像信号を変換して表示制御手段に出力する画像・映像信号処理手段、前記映像信号と前記画像データを前記表示部に表示可能な態様に変換して前記表示部に表示する表示制御手段、前記画像データを、前記入力部からの指示に基づいて編集する画像編集手段、を有する制御部と、を備えるテレビ電話装置であって、
前記通話相手先から通信回線を介して受信した画像データを、前記画像編集手段が前記入力部からの指示に基づいて編集することを特徴とするテレビ電話装置。
【請求項２】
前記通信回線を介して受信した画像データを、前記入力部からの指示に基づいて前記画像編集手段によって編集した後に、前記入力部からの指示に基づいて前記通信回線を介して通話相手先に送信することを特徴とする請求項１に記載のテレビ電話装置。
【請求項３】
前記画像編集手段が、入力部からの指示に基づいて前記画像データに所定の図形及び／又は文字を描画することを特徴とする請求項１又は２に記載のテレビ電話装置。
【請求項４】
前記表示制御手段が、前記表示部を、前記映像と前記画像データとが同時に表示される表示構成とすることを特徴とする請求項１〜３に記載のテレビ電話装置。
【請求項５】
前記表示制御手段が、前記表示部を、前記編集中の画像データを表示する第１の領域と、前記通話相手先から前記受信された画像データとを表示する第２の領域とを含む表示構成とすることを特徴とする請求項１〜３に記載のテレビ電話装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１４２６７９（Ｐ２０１２−１４２６７９Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１０−２９２２６６（Ｐ２０１０−２９２２６６）
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【出願人】（０００２１４８９２）三洋電機コンシューマエレクトロニクス株式会社 (1,582)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【出願人】（０００２１４８９２）三洋電機コンシューマエレクトロニクス株式会社 (1,582)
【Ｆターム（参考）】
[ Back to top ]