説明

画像送信装置、画像送信方法および画像送信プログラム

【課題】プライバシーを保護すること。
【解決手段】携帯電話機は、操作者を撮像した撮像画像を出力するカメラと、撮像画像の少なくとも一部の領域の指定を受け付けるタッチパネルと、受け付けられた領域に基づいて、撮像画像の少なくとも一部をマスクするためのマスク領域を決定し(S08)、撮像画像のマスク領域を別の画像に変換した合成画像を生成し(S10)、合成画像を送信する(S11)制御部と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は画像送信装置、画像送信方法および画像送信プログラムに関し、特に携帯可能な画像送信装置、その画像送信装置で実行される撮像画像送信方法および撮像画像送信プログラムに関する。
【背景技術】
【0002】
近年、テレビ電話で通話可能な携帯電話機が普及してきている。テレビ電話では音声と同時に話者を撮影した画像が送信されるので、話者同士の心理的距離を縮めることが可能である。一方、携帯電話は持ち運びされるので通話する場所が限定されない。このため、カメラが撮影する話者の後ろの背景が、通話する時と場所によって異なる。例えば道を歩いている最中にテレビ電話がかかってきた場合に背景に他人の顔が含まれてしまうなど、その背景を撮影した画像を通話する相手に送信することが好ましくない場合もある。このような場合、テレビ電話で通話しないか、背景が撮影されても差し障り無い場所に移動した後にテレビ電話で通話する等しなければならず、通話する相手の要求に応えられなかったり、発呼に応答するまでに長時間かかってしまったりするといった問題がある。
【0003】
特開2006−13856号公報(特許文献1)には、カメラで撮影した動画像から人物と背景の境界を認識して背景の領域を抽出し、カメラで撮影した動画像の背景画像部分を予め記憶された背景画像で差し替えた動画像データを送信するテレビ電話装置が記載されている。
【0004】
しかしながら、カメラで撮影した動画像から人物と背景の境界を認識して背景の領域を抽出する高度な画像処理を実行する必要があり、人物と背景の境界を誤って認識した場合には処理することができないといった問題がある。また、背景領域を抽出する処理にある程度の時間が必要とされ、動画像を送信するまでに長時間かかるといった問題がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−13856号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の1つは、プライバシーを保護することが可能な画像送信装置を提供することである。
【0007】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の1つは、プライバシーを保護することが可能な画像送信方法および画像送信プログラムを提供することである。
【課題を解決するための手段】
【0008】
上述した目的を達成するためにこの発明のある局面によれば、画像送信装置は、被写体を撮像した撮像画像を出力する撮像手段と、撮像画像の少なくとも一部の領域の指定を受け付ける領域指定手段と、受け付けられた領域に基づいて、撮像画像の少なくとも一部をマスクするためのマスク領域を決定するマスク領域決定手段と、撮像画像のマスク領域を別の画像に変換した合成画像を生成する合成画像生成手段と、合成画像を送信する送信手段と、を備える。
【0009】
この局面に従えば、被写体を撮像した撮像画像の少なくとも一部の領域の指定が受け付けられると、撮像画像の少なくとも一部をマスクするためのマスク領域が決定され、撮像画像のマスク領域を別の画像に変換した合成画像が生成されて送信される。このため、被写体を撮像した撮像画像の少なくとも一部の領域が送信されないので、撮像して得られる画像を部分的に選択して送信することが可能となる。その結果、プライバシーを保護することが可能な画像送信装置を提供することができる。
【0010】
好ましくは、マスク領域決定手段は、受け付けられた領域または該領域以外の領域をマスク領域に決定する。
【0011】
好ましくは、撮像画像を表示する表示手段をさらに備え、領域指定手段は、表示手段の表示面の位置を受け付ける位置受付手段を含む。
【0012】
この局面に従えば、撮像画像が表示され、表示面の位置が受け付けられると領域が指定されるので、撮像画像中から任意の領域を容易に選択することができる。
【0013】
好ましくは、表示手段は、予め定められたマスク領域を含むパターン画像を撮像画像に重畳した画像を表示し、マスク領域決定手段は、パターン画像に含まれるマスク領域を、受け付けられた表示面の位置に基づいて変更する変更手段を含む。
【0014】
この局面に従えば、予め定められたマスク領域を含むパターン画像を撮像画像に重畳した画像が表示され、受け付けられた表示面の位置に基づいてマスク領域が変更されるので、撮像画像中から任意の領域を容易に選択することができる。
【0015】
好ましくは、撮像画像から特徴点を抽出する特徴点抽出手段と、特徴点の撮像画像における位置の変化に従って、撮像画像中におけるマスク領域を移動させるマスク領域移動手段をさらに含む。
【0016】
この局面に従えば、撮像画像から特徴点が抽出され、特徴点の撮像画像における位置の変化に従って、撮像画像中におけるマスク領域が移動するので、撮像範囲が変動する、または、被写体が移動する等する場合であっても、撮像画像中の所定の領域が送信されるのを防止することができる。
【0017】
好ましくは、送信手段は、マスク領域が決定されることを条件に、合成画像を送信する。
【0018】
この発明の他の局面によれば、画像送信方法は、被写体を撮像した撮像画像を取得するステップと、撮像画像の少なくとも一部の領域の指定を受け付けるステップと、受け付けられた領域に基づいて、撮像画像の少なくとも一部をマスクするためのマスク領域を決定するステップと、撮像画像のマスク領域を別の画像に変換した合成画像を生成するステップと、合成画像を送信するステップと、を含む。
【0019】
この局面に従えば、プライバシーを保護することが可能な画像送信方法を提供することができる。
【0020】
この発明のさらに他の局面によれば、画像送信プログラムは、被写体を撮像した撮像画像を取得するステップと、撮像画像の少なくとも一部の領域の指定を受け付けるステップと、受け付けられた領域に基づいて、撮像画像の少なくとも一部をマスクするためのマスク領域を決定するステップと、撮像画像のマスク領域を別の画像に変換した合成画像を生成するステップと、合成画像を送信するステップと、をコンピュータに実行させる。
【0021】
この局面に従えば、プライバシーを保護することが可能な画像送信プログラムを提供することができる。
【図面の簡単な説明】
【0022】
【図1】本発明の実施の形態の1つにおける携帯電話機の外観を示す斜視図である。
【図2】携帯電話機の平面図である。
【図3】指示キーの配置を示す図である。
【図4】携帯電話機の機能の概要の一例を示す機能ブロック図である。
【図5】制御部の機能の概要の一例を示す機能ブロック図である。
【図6】撮像画像の一例を示す図である。
【図7】マスク領域の一例を示す第1の図である。
【図8】非マスク領域の一例を示す図である。
【図9】マスク領域の一例を示す第2の図である。
【図10】マスク領域決定部のパターン画像を用いてマスク領域を決定する機能を示す機能ブロック図である。
【図11】パターン画像の一例を示す図である。
【図12】パターン画像のマスク領域を撮像画像に重畳した画像を示す図である。
【図13】パターン画像を拡張または縮小した後のマスク領域を示す図である。
【図14】移動後のマスク領域の一例を示す第1の図である。
【図15】移動後のマスク領域の一例を示す第2の図である。
【図16】着信処理の流れの一例を示すフローチャートである。
【図17】マスク領域決定処理の流れの一例を示すフローチャートである。
【図18】追従処理の流れの一例を示すフローチャートである。
【図19】発信処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0023】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【0024】
以下の説明では、画像送信装置としてのテレビ電話機の一例として携帯電話機1について説明する。図1は、本発明の実施の形態の1つにおける携帯電話機の外観を示す斜視図である。図1を参照して、携帯電話機1は、表示側部2と、操作側部3と、を含む。表示側部2は、その裏面が操作側部3の表面と向かい合うように、長手方向にスライド可能に取り付けられる。図1においては、表示側部2を操作側部3に対してスライドさせて、携帯電話機1が開いた状態を示している。携帯電話機1が閉じた状態に置いては、表示側部2の裏面は、操作側部3の表面と重なる。
【0025】
図2(A)は、携帯電話機1の閉じた状態における平面図である。図2(B)は、携帯電話機の開いた状態における平面図である。図2(A)および図2(B)を参照して、表示側部2の表面は、カメラ24と、液晶表示装置(LCD)16と、タッチパネル25Aと、通話キー14B、指示キー15、および通話終了キー14Cとを含む操作キー14と、スピーカ11と、が配置される。タッチパネル25Aは、透明な部材からなり、LCD16の表示面の全体に渡ってそれに重畳して配置される。なお、ここでは携帯電話機1がLCD16を備える例を示すが、LCD16に代えて、有機EL(Electro Luminescence)ディスプレイ等を用いてもよい。
【0026】
携帯電話機1が開いた状態において、操作側部3の表面の一部が露出する。操作側部3は、表面の露出する部分に操作キー14の一部を構成するテンキー14Aと、マイクロフ
ォン13とが配置される。また、操作側部3の側面には、第2スピーカ12(図4参照)が配置される。
【0027】
図3は、指示キーの配置を示す図である。図3を参照して、指示キー15は、決定キー5、上矢印キー6、下矢印キー7、左矢印キー8および右矢印キー9を含む。決定キー5、上矢印キー6、下矢印キー7、左矢印キー8および右矢印キー9は、ボタンスイッチであり、押下されるとONになる。携帯電話機1は、LCD16にポインタを表示可能であり、ユーザによる指示キー15の操作が受け付けられると、上矢印キー6、下矢印キー7、左矢印キー8および右矢印キー9のうち押下されたキーに従って、ポインタを上下左右にそれぞれ移動させる。これにより、LCD16の表示面の任意の位置を指定することが可能となっている。
【0028】
図4は、携帯電話機の機能の概要の一例を示す機能ブロック図である。図4を参照して、携帯電話機1は、携帯電話機1の全体を制御するための制御部21と、アンテナ22Aと接続された無線回路22と、音声データを処理するためのコーデック部28と、それぞれがコーデック部28に接続されたマイクロフォン13および第1スピーカ11と、アンテナ23Aに接続されたチューナ23と、AVデコーダ29と、カメラ24と、ユーザの操作の入力を受付ける操作部25と、LCD16の表示を制御するための表示制御部30と、制御部21の作業領域として使用されるRAM(Random Access Memory)31と、制御部21で実行するプログラム等を記憶するためのフラッシュROM(Flush Read Only Memory)32と、振動部26と、カードインターフェース(I/F)27と、シリアルインターフェースとしての外部通信接続端子33と、を含む。
【0029】
無線回路22は、アンテナ22Aにより受信された無線信号が入力され、無線信号を復調した音声信号をコーデック部28に出力する。また、無線回路22は、コーデック部28から音声信号が入力され、音声信号を変調した無線信号をアンテナ22Aに出力する。コーデック部28は、無線回路22から入力される音声信号を復号し、復号したデジタルの音声信号をアナログに変換し、増幅し、そして第1スピーカ11に出力する。また、コーデック部28は、マイクロフォン13からアナログの音声信号が入力され、音声信号をデジタルに変換し、符号化し、そして符号化した音声信号を無線回路22に出力する。
【0030】
チューナ23は、アンテナ23Aに接続されており、アンテナ23Aにより受信された放送信号が入力される。放送信号は、映像データおよび音声データを含む高周波デジタル変調信号である。チューナ23は、アンテナ23Aから入力される高周波デジタル変調信号から特定の周波数の信号を取り出す。また、チューナ23は、逆インターリーブ回路、誤り訂正回路を備えており、取り出した特定の周波数の高周波デジタル変調信号を復調して符号データをAVデコーダ29に出力する。AVデコーダ29は、ビデオデコーダおよびオーディオデコーダを備えており、チューナ23から入力された符号データを復号して映像信号および音声信号を生成し、映像信号を表示制御部30に出力し、音声信号をD/A(デジタル/アナログ)変換して第2スピーカ12に与える。なお、ここでは、デジタルテレビジョン放送の放送電波を受信して再生する例を示したが、アナログテレビジョン放送の放送電波を受信して再生するようにしてもよい。また、テレビジョン放送に代えて、または、テレビジョン放送に加えて、ラジオ放送の放送電波を受信して再生するようにしてもよい。
【0031】
表示制御部30は、制御部21により制御され、制御部21から入力される指示に従ってLCD16を制御して、LCD16に画像を表示させる。LCD16に表示させる画像は、動画像と静止画像とを含む。
【0032】
カメラ24は、レンズおよびCMOS(Complementary Metal O
xide Semiconductor)センサ等の光電変換素子を備え、レンズで集光した光をCMOSセンサに結像し、CMOSセンサは受光した光を光電変換して画像データを制御部21に出力する。カメラ24は、制御部21により制御され、制御部21からの指示により撮像を開始して、得られる静止画データまたは動画データを制御部21に出力する。カメラ24は、光電変換した画像データの画質を向上させるための画像処理を実行する画像処理回路、画像データをアナログからデジタルに変換するA/D変換回路を備えている。制御部21は、カメラ24が出力する静止画データまたは動画データを表示制御部30に出力し、LCD16に表示させる。また、静止画データまたは動画データを符号化し、フラッシュROM32またはカードI/F27に装着されたメモリカード27Aに記憶することが可能である。また、カメラ24は、携帯電話機1がテレビ電話として機能する場合、動画データを予め定められた圧縮符号化方式で静を符号化して、制御部21に出力する。
【0033】
操作部25は、操作キー14と、タッチパネル25Aとを含む。操作キー14およびタッチパネル25Aは、ユーザによる操作の入力を受け付け、受付けた操作を制御部21に出力する。
【0034】
カードI/F27には、着脱可能なメモリカード27Aが装着される。メモリカード27Aは、例えば、CompactFlash(登録商標)、SmartMedia(登録商標)、SD(Secure Digital)/MiniSD/MicroSDメモリカード、メモリースティック、MMC(MultiMedia Card)、xDピクチャーカードなどである。
【0035】
制御部21は、カードI/F27を介して、メモリカード27Aにアクセスが可能である。ここでは制御部21で実行するためのプログラムをフラッシュROM32に記憶しておく例を説明するが、プログラムをメモリカード27Aに記憶しておき、メモリカード27Aからプログラムを読み出して、制御部21で実行するようにしてもよい。プログラムを記憶する記録媒体としては、メモリカード27Aに限られず、フレキシブルディスク、カセットテープ、光ディスク(CD−ROM(Compact Disc−ROM)/MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、光カード、マスクROM、EPROMなどの半導体メモリ等でもよい。また、携帯電話機1をインターネットに無線回路22を介して接続し、インターネットに接続されたコンピュータからプログラムをダウンロードして、制御部21で実行するようにしてもよい。ここでいうプログラムは、制御部21により直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【0036】
図5は、制御部の機能の概要の一例を示す機能ブロック図である。図5を参照して、制御部21は、撮像画像を取得する撮像画像取得部51と、撮像画像中の任意の位置の指定を受け付ける位置受付部57と、マスク領域を決定するためのマスク領域決定部59と、撮像画像のマスク領域を別の画像で置き換えた合成画像を生成する合成画像生成部53と、合成画像を送信する送信部55と、撮像画像からそれに含まれる特徴点を抽出するための特徴点抽出部61と、撮像画像中における特徴点の移動に応じて撮像画像に対するマスク領域を移動させるマスク領域移動部63とを含む。
【0037】
撮像画像取得部51は、カメラ24が被写体を撮像して出力する撮像画像が入力される。撮像画像取得部51は、入力される撮像画像を取得する。撮像画像取得部51は、取得した撮像画像を合成画像生成部53および特徴点抽出部61に出力する。カメラ24から入力される撮像画像は、静止画像と、動画像とを含む。ここでは、撮像画像として動画像
が入力される場合を例に説明する。合成画像生成部53は、撮像画像取得部51から撮像画像が入力されると、撮像画像を表示制御部30に出力し、LCD16に表示させる。
【0038】
位置受付部57は、撮像画像中の任意の位置の指定を受け付ける。位置受付部57は、ユーザがタッチパネル25Aで指示する撮像画像中の位置を受け付ける。位置受付部57は、タッチパネル25Aで検出された位置からLCD16に表示されている撮像画像中の位置を特定する。また、ユーザが、指示キー15を操作してLCD16に表示されたポインタを移動させ、決定キー5を押下した時点のポインタの位置を受け付ける。LCD16に表示されているポインタの位置からLCD16に表示されている撮像画像中の位置を特定する。位置受付部57は、受け付けた撮像画像中の位置を、マスク領域決定部59に出力する。
【0039】
マスク領域決定部59は、位置受付部57から入力される撮像画像中の位置に基づいて、撮像画像中のマスク領域を決定し、決定したマスク領域をマスク領域移動部63に出力する。マスク領域決定部59は、マスク領域指定モードと、非マスク領域指定モードとのいずれかにモードを切り替える。マスク領域決定部59は、マスク領域指定モードに切り替えられている場合、位置受付部57から入力される撮像画像中の位置またはその位置から所定の範囲をマスク領域とする。ユーザがタッチパネルを指でなぞる、または指示キー15で先を描く等する場合には、位置受付部57から隣接する複数の位置が連続して入力される。マスク領域決定部59は、連続して入力される複数の位置から所定の範囲の領域をマスク領域とする。また、連続して入力される複数の位置で囲まれる領域をマスク領域としてもよい。
【0040】
マスク領域決定部59は、非マスク領域指定モードに切り替えられている場合、位置受付部57から入力される撮像画像中の位置から所定の範囲を非マスク領域とする。マスク領域決定部59は、位置受付部57から連続して入力される複数の位置から所定の範囲の領域を非マスク領域とする。また、連続して入力される複数の位置で囲まれる領域を非マスク領域としてもよい。マスク領域決定部59は、撮像画像中で非マスク領域以外の領域をマスク領域に決定する。
【0041】
ここで、マスク領域の指定について具体的に説明する。図6は、撮像画像の一例を示す図である。図6を参照して、撮像画像100は、被写体としての携帯電話機1の操作者の画像101と、背景に「○○株式会社」の文字が表された看板の画像103とを含む。図7は、マスク領域の一例を示す第1の図である。図6に示した撮像画像100が、LCD16に表示されている状態で、操作者が、自身の画像101以外の領域をタッチパネル25Aで塗りつぶすように指示することにより、図7にハッチングで示すマスク領域110が特定される。図8は、非マスク領域の一例を示す図である。図6に示した撮像画像100が、LCD16に表示されている状態で、操作者が、自身の画像101をタッチパネル25Aで塗りつぶすように指示することにより、図7にハッチングで示す非マスク領域111が特定される。図9は、マスク領域の一例を示す第2の図である。図6に示した撮像画像100が、LCD16に表示されている状態で、操作者が、「○○株式会社」の文字が表された看板の画像103の領域をタッチパネル25Aで塗りつぶすように指示することにより、図9にハッチングで示すマスク領域113が特定される。
【0042】
図5に戻って、マスク領域決定部59は、また、フラッシュROM32に予め記憶されたパターン画像に基づいて、マスク領域を決定することが可能である。図10は、マスク領域決定部59のパターン画像を用いてマスク領域を決定する機能を示す機能ブロック図である。図10を参照して、マスク領域決定部59は、パターン画像を取得するパターン画像取得部71と、拡張指示を受け付けるための拡張指示受付部73と、拡張指示に基づいてマスク領域を拡張する拡張部75と、縮小指示を受け付けるための縮小指示受付部7
7と、縮小指示に基づいてマスク領域を縮小拡張する縮小部79と、を含む。
【0043】
パターン画像取得部71は、フラッシュROM32に予め記憶されているパターン画像を読み出す。フラッシュROM32に複数のパターン画像を記憶しておき、撮像画像に含まれる画像の特徴からいずれか1つのパターン画像を選択するようにしてもよいし、操作者がいずれか1つを選択するようにしてもよい。パターン画像取得部71は、読み出したパターン画像を表示制御部30に出力し、LCD16に表示されている撮像画像にパターン画像を重畳した画像を表示させるとともに、拡張指示受付部73および縮小指示受付部77に出力する。
【0044】
拡張指示受付部73は、パターン画像取得部71からパターン画像が入力されると、そのパターン画像をマスク領域に設定する。また、拡張指示受付部73は、拡張部75または縮小部79からマスク領域が入力される。さらに、拡張指示受付部73は、タッチパネル25Aまたは指示キー15から拡張指示を受け付ける。拡張指示受付部73は、ユーザがタッチパネル25Aでマスク領域の位置を指示した後、連続してマスク領域以外の位置を指示した場合に、拡張指示を受け付ける。拡張指示は、マスク領域以外の位置を含む。拡張指示受付部73は、拡張指示を受け付けると、受け付けた拡張指示に含まれるマスク領域以外の位置とその時のマスク領域とを拡張部75に出力する。
【0045】
拡張部75は、拡張指示受付部73から受け付けられるマスク領域を、マスク領域以外の位置まで拡張する。拡張部75は、拡張後のマスク領域を拡張指示受付部73および縮小指示受付部77に出力する。
【0046】
縮小指示受付部77は、パターン画像取得部71からパターン画像が入力されると、そのパターン画像をマスク領域に設定する。また、縮小指示受付部77は、拡張部75または縮小部79からマスク領域が入力される。さらに、縮小指示受付部77は、タッチパネル25Aまたは指示キー15から縮小指示を受け付ける。縮小指示受付部77は、ユーザがタッチパネル25Aでマスク領域以外の位置を指示した後、連続してマスク領域の位置を指示した場合に、縮小指示を受け付ける。縮小指示は、マスク領域の位置を含む。縮小指示受付部77は、縮小指示を受け付けると、受け付けた縮小指示に含まれるマスク領域の位置とその時のマスク領域とを縮小部79に出力する。
【0047】
縮小部79は、縮小指示受付部77から受け付けられるマスク領域を、マスク領域の位置まで縮小する。縮小部79は、縮小後のマスク領域を拡張指示受付部73および縮小指示受付部77に出力する。
【0048】
パターン画像を用いてマスク領域を決定する場合の具体例を説明する。図11は、パターン画像の一例を示す図である。図11を参照して、パターン画像は、マスク領域となる予定のパターン121を含む。図では、パターン121をハッチングで示す。パターン画像は、画面の略中央に円形のマスク領域以外の領域を含む。図12は、パターン画像のマスク領域を撮像画像に重畳した画像を示す図である。図12を参照して、ユーザが、タッチパネル25Aで、点123で示す位置を指示し、点123から伸びる矢印方向に指を移動させると、縮小指示が受け付けられる。また、パターン画像が撮像画像に重畳してLCD16に表示されている状態で、ユーザが、タッチパネル25Aで、点125で示す位置を指示し、点125から伸びる矢印方向に指を移動させると、拡張指示が受け付けられる。図13に、パターン画像を拡張または縮小した後のマスク領域を示す。
【0049】
このように、タッチパネル25Aでパターン画像に含まれるマスク領域を拡大または縮小することで、マスク領域を変更することができるので、撮像画像に合わせたマスク領域を容易に決定することができる。
【0050】
図5に戻って、特徴点抽出部61は、撮像画像取得部51から入力される撮像画像から特徴点を抽出する。特徴点は、例えば、人の目、文字など撮像画像中に含まれる特徴的な形状、色、模様などに含まれる。撮像画像を2値化して所定の形状を抽出したり、撮像画像中から所定の色の部分を抽出したりして、特徴点を決定することができる。
【0051】
特徴点抽出部61は、抽出した特徴点をマスク領域移動部63に出力する。特徴点抽出部61は、異なる時に撮像画像取得部51から入力される2つの撮像画像それぞれから抽出された同一の特徴点の位置が異なる場合、移動ベクトルを算出して、マスク領域移動部63に出力する。
【0052】
マスク領域移動部63は、マスク領域決定部59から入力されるマスク領域を合成画像生成部53に出力する。また、マスク領域移動部63は、特徴点抽出部61から移動ベクトルが入力されると、撮像画像中においてマスク領域を移動ベクトルで特定される方向および距離だけ移動させ、移動後のマスク領域を合成画像生成部53に出力する。
【0053】
合成画像生成部53は、撮像画像取得部51から入力される撮像画像のうち、マスク領域移動部63から入力されるマスク領域を、プリセット画像に置き換えた合成画像を生成する。プリセット画像は、フラッシュROM32に予め記憶されており、ユーザが複数のプリセット画像のうちから1つ以上を選択することにより決定される。合成画像生成部53は、合成画像を送信部55に出力する。
【0054】
送信部55は、合成画像生成部53から入力される合成画像を、無線回路22を介して、通話の相手方のテレビ電話機に送信する。
【0055】
ここで、マスク領域の移動について説明する。図14は、移動後のマスク領域の一例を示す第1の図である。ここでは、人の目を特徴点として、撮像画像中で操作者が移動した場合を例に示している。図7に示したマスク領域110が、操作者の画像101が移動することに伴って移動する。図14において、ハッチングで示す領域110Aが移動後のマスク領域である。マスク領域の外側の領域が新たにマスク領域として設定される。
【0056】
図15は、移動後のマスク領域の一例を示す第2の図である。ここでは、撮像画像中の文字を特徴点として、カメラ24の撮像範囲が左方向に変動した場合を例に示している。図9に示したマスク領域113が、カメラ24の撮像範囲が変動することに伴って撮像画像中における「○○株式会社」の文字が移動する。図9に示すマスク領域113が、撮像画像中における「○○株式会社」の文字が移動した分だけ移動し、図15に示すハッチングで示すマスク領域113Aの位置まで移動する。
【0057】
図16は、着信処理の流れの一例を示すフローチャートである。着信処理は、制御部21が撮像画像送信プログラムを実行することにより、制御部21により実行される処理である。図16を参照して、制御部21は、着呼を検出したか否かを判断する(ステップS01)。無線回路22が着呼信号を受信すると、着呼を検出する。着呼を検出するまで待機状態となり(ステップS01でNO)、着呼を検出すると処理をステップS02に進める。すなわち、着信処理は、着呼を検出することを条件に実行される処理である。
【0058】
ステップS02においては、応呼指示を受け付けたか否かを判断する。通話キー14Bが押下されたか否かを判断する。応呼指示を受け付けたならば処理をステップS03に進めるが、そうでなければ処理を終了する。操作者が応呼する意思がない場合に、通話を確立しないためである。
【0059】
処理をステップS03に進める場合、発呼側のテレビ電話機との間で通信が確立する。ステップS03においては、音声通話を開始する。この段階で、音声通話が可能となる。
【0060】
ステップS04においては、テレビ電話による通話か否かを判断する。テレビ電話による通話の場合には処理をステップS05に進め、そうでなければ処理をステップS17に進める。処理をステップS05に進める場合、発呼側のテレビ電話機から動画データが受信される場合は、その動画データを表示制御部30に出力し、LCD16に表示させる。ステップS17においては、音声による通話が終了したか否かを判断する。通話が終了するまで待機状態となり(ステップS17でNO)、通話が終了したならば処理を終了する。通話の終了は、通信の切断の検出、または、通話終了キー14Cの押下の検出により判断する。
【0061】
ステップS05においては、プリセットキャラクタの送信を開始する。具体的には、フラッシュROM32に予め記憶されているプリセットキャラクタを読み出し、無線回路22を介して相手方のテレビ電話機に送信する。これにより、相手方のテレビ電話機にプリセットキャラクタが表示される。この段階では、カメラ24で撮像して得られる画像は、相手方のテレビ電話機に送信されない。
【0062】
次のステップS06においては、画像を送出するか否かを判断する。画像を送出するか否かは、予め設定されていてもよく、ユーザが操作キー14に入力する指示に従って判断するようにしてもよい。画像を送出する場合は、処理をステップS07に進め、そうでない場合には処理をステップS13に進める。
【0063】
ステップS07においては、画像をマスクするか否かを判断する。マスクするか否かは、予め設定されている設定に従って判断するようにしてもよいし、ユーザが入力する指示に従って判断するようにしてもよい。ユーザが入力する指示に従って判断する場合、カメラ24が操作者を撮像して出力する撮像画像をLCD16に表示するとともに、マスクするか否かを問合せるメッセージをLCD16に表示して、ユーザに指示の入力を促す。そして、ユーザにより操作キー14に割当られたマスクすることを示すキーが入力されたならば、処理をステップS08に進め、そうでなければ処理をステップS14に進める。
【0064】
ステップS08においては、マスク領域決定処理を実行する。マスク領域決定処理については後述するが、撮像画像中のマスク領域を決定する処理である。次のステップS09においては、画像を送信する指示を受け付けたか否かを判断する。操作キー14のうち画像を送信する指示の入力のために予め割り当てられたキーが指示されるまでマスク領域決定処理を繰り返すが、そのキーが指示されたならば処理をステップS10に進める。操作者が、マスク領域を決定した後に、初めてカメラ24が操作者を撮像して出力する撮像画像を送信するためである。
【0065】
ステップS10においては、合成画像を生成する。具体的には、カメラ24が操作者を撮像して出力する撮像画像のうち、ステップS08において決定されたマスク領域を、別の画像に置き換えた合成画像を生成する。別の画像は、ステップS08におけるマスク領域決定処理により決定されるプリセット画像または、単一色に塗りつぶした画像である。次のステップS11においては、ステップS05で送信を開始したプリセットキャラクタに代えて合成画像を、無線回路22を介して相手方のテレビ電話機に送信する。これにより、相手方のテレビ電話機に合成画像が表示される。
【0066】
次のステップS12においては、追従処理を実行する。追従処理については後述するが、撮像画像中の特徴点の移動に追従してマスク領域を移動させる処理である。そして、次のステップS13においては、通話が終了したか否かを判断する。通話が終了したならば
処理を終了し、そうでなければ処理をステップS10に戻す。通話が終了するまで、合成画像を送信するためである。
【0067】
一方、ステップS14においては、ステップS09と同様に、画像を送信する指示を受け付けたか否かを判断する。画像を送信する指示を受け付けるまで、待機状態となり(ステップS14でNO)、画像を送信する指示を受け付けると処理をステップS15に進める。操作者が、指示した後に、初めてカメラ24が操作者を撮像して出力する撮像画像を送信するためである。なお、画像を送信する指示を受け付けることなく、直ちに処理をステップS15に処理を進めるようにしてもよい。
【0068】
ステップS15においては、撮像画像を、無線回路22を介して相手方のテレビ電話機に送信する。これにより、相手方のテレビ電話機に撮像画像が表示される。次のステップS16においては、通話が終了したか否かを判断する。通話が終了したならば処理を終了し、そうでなければ処理をステップS15に戻す。通話が終了するまで、撮像画像を送信するためである。
【0069】
図17は、マスク領域決定処理の流れの一例を示すフローチャートである。マスク領域決定処理は、図16のステップS08において実行される処理である。図17を参照して、マスク領域の指定方法により処理を分岐させる(ステップS51)。マスク領域の指定方法は、予め設定しておくようにしてもよいし、ユーザが操作部25に指示を入力することにより選択するようにしてもよい。
【0070】
マスク領域の指定方法が、マスク領域指定ならば処理をステップS52に進め、非マスク領域指定ならば処理をステップS61に進め、パターン画像指定ならば処理をステップS71に進める。
【0071】
ステップS52においては、LCD16に表示されている撮像画像中の位置を受け付ける。具体的には、タッチパネル25Aにおいて指示された位置に対応する位置を特定する、または、指示キー15により指示されたLCD16に表示されるポインタの位置に対応する撮像画像の位置を特定する。そして、受け付けられた位置をマスク領域に設定する(ステップS53)。受け付けられた位置から所定の範囲をマスク領域に設定するようにしてもよいし、連続して受け付けられる複数の位置で囲まれる領域をマスク領域に設定するようにしてもよい。
【0072】
そして、マスク領域の指定が終了したか否かを判断する(ステップS54)。ユーザによりマスク領域の指定を終了させるための指示が、操作キー14に入力されることにより、マスク領域の指定が終了したと判断する。マスク領域の指定が終了したならば処理をステップS55に進め、終了していなければ処理をステップS52に戻す。複数のマスク領域を指定可能とするためである。
【0073】
ステップS61においては、ステップS52と同様に、LCD16に表示されている撮像画像の位置を受け付ける。そして、受け付けられた位置を非マスク領域に設定する(ステップS62)。受け付けられた位置から所定の範囲を非マスク領域に設定するようにしてもよいし、連続して受け付けられる複数の位置で囲まれる領域を非マスク領域に設定するようにしてもよい。
【0074】
そして、非マスク領域の指定が終了したか否かを判断する(ステップS63)。ユーザによりマスク領域の指定を終了させるための指示が、操作キー14に入力されることにより、非マスク領域の指定が終了したと判断する。非マスク領域の指定が終了したならば処理をステップS64に進め、終了していなければ処理をステップS61に戻す。複数の非
マスク領域を指定可能とするためである。ステップS64においては、撮像画像のうち非マスク領域以外の領域をマスク領域に設定し、処理をステップS55に進める。
【0075】
また、ステップS71においては、フラッシュROM32に予め記憶されているパターン画像を読み出し、LCD16に表示する。LCD16に撮像画像が表示されているので、その撮像画像にパターン画像に含まれるマスク領域を重畳した画像をLCD16に表示する。フラッシュROM32に複数のパターン画像を記憶しておくようにし、ユーザがそのうちから1つを選択するようにしてもよいし、撮像画像から抽出される特徴に基づいて、複数のパターン画像のうちから1つを選択するようにしてもよい。また、撮像画像中の被写体の大きさに基づいてパターン画像を拡大または縮小するようにしてもよい。
【0076】
ステップS72においては、拡張指示が入力されたか否かを判断する。タッチパネル25Aまたは指示キー15により、LCD16に表示されているマスク領域の位置が受け付けられた後、連続してマスク領域以外の位置が受け付けられる場合に、拡張指示を受け付ける。拡張指示を受け付けたならば処理をステップS73に進め、そうでなければ処理をステップS74に進める。ステップS73においては、マスク領域を拡張し、処理をステップS74に進める。具体的には、タッチパネル25Aにより、LCD16に表示されているマスク領域の位置が受け付けられた後に連続して受け付けられるマスク領域以外の位置を、マスク領域に変更する。
【0077】
ステップS74においては、縮小指示が入力されたか否かを判断する。タッチパネル25Aにより、LCD16に表示されているマスク領域以外の領域の位置が受け付けられた後、連続してマスク領域の位置が受け付けられる場合に、縮小指示を受け付ける。縮小指示を受け付けたならば処理をステップS75に進め、そうでなければ処理をステップS76に進める。ステップS75においては、マスク領域を縮小し、処理をステップS76に進める。具体的には、タッチパネル25Aにより、LCD16に表示されているマスク領域以外の領域の位置が受け付けられた後に連続して受け付けられるマスク領域の位置を、非マスク領域に変更する。
【0078】
ステップS76においては、マスク領域が決定されたか否かを判断する。換言すれば、マスク領域の拡張および縮小が終了したか否かを判断する。ユーザによりマスク領域を決定するための指示が、操作キー14に入力されることにより、マスク領域が決定されたと判断する。マスク領域が決定されたならば処理をステップS55に進めるが、そうでなければ処理をステップS72に戻す。複数回のマスク領域の拡大および縮小を可能とするためである。
【0079】
ステップS55においては、プリセット画像が選択されたか否かを判断する。フラッシュROM32に記憶されているプリセット画像が選択されたならば処理をステップS56に進め、選択されないならば処理をステップS57に進める。ステップS56においては、マスク領域の画像に、選択されたプリセット画像を設定し、処理を戻す。これにより、撮像画像のマスク領域がプリセット画像に置き換えられた合成画像が生成される。
【0080】
一方、ステップS57においては、マスク領域の画像に単一色を設定し、処理を戻す。これにより、撮像画像のマスク領域が単一色の画像に置き換えられた合成画像が生成される。
【0081】
なお、マスク領域指定と非マスク領域指定とを組み合わせてマスク領域を指定するようにしてもよい。マスク領域指定による指定方法によれば、撮像画像中の送信を望まない領域を指定することができ、非マスク領域指定による指定方法によれば、撮像画像中の送信望む領域を指定することができる。したがって、両指定方法を組み合わせることにより、
マスク領域の指定がより簡単に行うことができる。
【0082】
図18は、追従処理の流れの一例を示すフローチャートである。追従処理は、図16のステップS12で実行される処理である。図18を参照して、撮像画像から特徴点を抽出する(ステップS81)。特徴点は、人の目の画像、文字等である。そして、特徴点が移動しているか否かを判断する(ステップS82)。具体的には、今回特徴点を抽出した撮像画像より先の撮像画像から抽出された特徴点の位置と、今回抽出した特徴点の位置とが異なるか否かを判断する。2つの異なる撮像画像それぞれから抽出された特徴点の位置が異なれば、特徴点が移動していると判断する。特徴点が移動していれば処理をステップS83に進め、移動していなければ処理を戻す。
【0083】
ステップS83においては、マスク領域を移動させ、処理を戻す。2つの特徴点から求められるベクトルに従って、マスク領域を平行移動させる。移動前のマスク領域が撮像画像の4辺のいずれかと接している場合には、接していた辺とマスク領域との間を新たにマスク領域とする。
【0084】
図19は、発信処理の流れの一例を示すフローチャートである。発信処理は、制御部21が撮像画像送信プログラムを実行することにより、制御部21により実行される処理である。図19を参照して、制御部21は、テレビ電話が起動されたか否かを判断する(ステップS21)。テレビ電話が起動されるまで待機状態となり、テレビ電話が起動されたならば処理をステップS22に進める。すなわち、発信処理は、テレビ電話機が起動されることを条件に実行される処理である。ステップS22においては、図15のステップS07と同様に、送信する画像をマスクするか否かを判断する。画像をマスクするならば、処理をステップS23に進め、そうでなければ処理をステップS32に進める。
【0085】
ステップS23においては、図16に示したマスク領域決定処理を実行する。次のステップS24においては、発信指示を受け付けたか否かを判断する。通話キー14Bの押下を検出したならば発信指示を受け付け、処理をステップS25に進めるが、そうでなければ処理をステップS23に戻す。操作者が、マスク領域を決定した後に、発呼するようにして、カメラ24が操作者を撮像して出力する撮像画像をマスクした合成画像を送信するためである。
【0086】
ステップS25においては、発呼し、処理をステップS26に進める。ステップS26においては、応呼があったか否かを判断し、応呼があったならば処理をステップS27に進め、応呼がなければ処理を終了する。
【0087】
ステップS27においては、音声通話を開始し、処理をステップS28に進める。ステップS28においては、合成画像を生成する。具体的には、カメラ24が操作者を撮像して出力する撮像画像のうち、ステップS23において決定されたマスク領域を、別の画像に置き換えた合成画像を生成する。別の画像は、ステップS23におけるマスク領域決定処理により決定されるプリセット画像または、単一色に塗りつぶした画像である。次のステップS29においては、合成画像を、無線回路22を介して相手方のテレビ電話機に送信する。これにより、相手方のテレビ電話機に合成画像が表示される。
【0088】
次のステップS30においては、図16に示した追従処理を実行し、処理をステップS31に進める。ステップS31においては、通話が終了したか否かを判断する。通話が終了したならば処理を終了するが、通話が終了していなければ処理をステップS28に戻す。
【0089】
一方、ステップS32においては、発信指示を受け付けるまで待機状態となり、発信指
示を受け付けたならば処理をステップS33に進める。ステップS33においては、発呼し、処理をステップS34に進める。ステップS34においては、応呼があったか否かを判断し、応呼があったならば処理をステップS35に進め、応呼がなければ処理を終了する。
【0090】
ステップS35においては、音声通話を開始し、処理をステップS36に進める。ステップS36においては、画像を送出するか否かを判断する。画像を送出する場合は、処理をステップS37に進め、そうでない場合には処理をステップS39に進める。
【0091】
ステップS37においては、撮像画像を、無線回路22を介して相手方のテレビ電話機に送信する。これにより、相手方のテレビ電話機に撮像画像が表示される。次のステップS38においては、通話が終了したか否かを判断する。通話が終了したならば処理を終了し、そうでなければ処理をステップS37に戻す。通話が終了するまで、撮像画像を送信するためである。ステップS38においては、通話が終了したか否かを判断する。通話が終了するまで待機状態となり、通話が終了したならば処理を終了する。
【0092】
以上説明したように、本実施の形態における携帯電話機1は、テレビ電話機として機能し、操作者を撮像した撮像画像の背景の少なくとも一部の領域が、タッチパネル25Aにより指定されると、撮像画像の少なくとも一部をマスクするためのマスク領域を決定し、撮像画像のマスク領域をプリセット画像または単一色の画像に変換した合成画像を生成し、送信する。このため、操作者を撮像した撮像画像の背景などの領域が送信されないので、撮像して得られる画像を部分的に選択して送信することが可能となる。たとえば、操作者が送信を望まない画像が背景に含まれていれば、その画像を送信しないようにすることができる。
【0093】
また、撮像画像をLCD16に表示しながら、マスク領域を指定することができるので、撮像画像中から送信しない領域を容易に選択することができる。
【0094】
また、予め定められたマスク領域を含むパターン画像を撮像画像に重畳した画像をLCD16に表示し、タッチパネル25Aを操作することによりマスク領域を拡大または縮小することができるので、マスクが表示され、受け付けられた表示面の位置に基づいてマスク領域が変更されるので、撮像画像中から送信しない領域を容易に選択することができる。
【0095】
また、撮像画像から目や文字等の特徴点を抽出し、特徴点の位置が撮像画像中で変化すると、その変化に従って、撮像画像中におけるマスク領域を移動させるので、カメラ24の撮像範囲が変動したり、被写体が移動したりする場合であっても、撮像画像中で送信を望まない領域が送信されるのを防止することができる。
【0096】
また、マスク領域が決定されなければ、撮像画像を送信しないので、送信を望まない画像が送信されるのを確実に防止することができる。
【0097】
なお、本実施の形態においては、テレビ電話機能における画像の送信について説明したが、テレビ電話機能に限らず、例えば、KDDI社が提供するHello Messengerサービス等の文字や音声、画像を組み合わせて送受信するミーティング機能における画像の送信にも適用することができる。
【0098】
なお、本実施の形態においては、画像送信装置の一例として携帯電話機1を例に説明したが、図16〜図19に示した処理を画像送信装置に実行させる撮像画像送信方法、および図16〜図19に示した処理をコンピュータに実行させるための撮像画像送信プログラ
ムとして発明を捉えることができるのは言うまでもない。
【0099】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【0100】
<付記>(1) 前記変更手段は、前記マスク領域を拡張する拡張手段と、
前記マスク領域を縮小する縮小手段と、を含む請求項4に記載の画像送信装置。
(2) 前記撮像画像から顔の領域を検出する顔領域検出手段と、
検出された前記顔領域を前記マスク領域とするパターン画像を生成するパターン画像生成手段と、をさらに備えた請求項4に記載の画像送信装置。
(3) 着呼を検出する着呼検出手段と、
前記送信手段は、着呼に応呼する指示が受け付けられると、前記マスク領域が決定されるまで、予め定められた画像を送信する、請求項7に記載の画像送信装置。
(4) 前記送信手段は、発呼する指示が受け付けられると、前記マスク領域が決定されるまで、予め定められた画像を送信する、請求項7に記載の画像送信装置。
【符号の説明】
【0101】
1 携帯電話機
2 表示側部
3 操作側部
5 決定キー
6 上矢印キー
7 下矢印キー
8 左矢印キー
9 右矢印キー
11 第1スピーカ
12 第2スピーカ
13 マイクロフォン
14 操作キー
14A テンキー
14B 通話キー
14C 通話終了キー
15 指示キー
21 制御部
22 無線回路
22A アンテナ
23 チューナ
23A アンテナ
24 カメラ
25 操作部
25A タッチパネル
26 振動部
27 カードI/F
27A メモリカード
28 コーデック部
29 AVデコーダ
30 表示制御部
31 RAM
32 フラッシュROM
33 外部通信接続端子
51 撮像画像取得部
53 合成画像生成部
55 送信部
57 位置受付部
59 マスク領域決定部
61 特徴点抽出部
63 マスク領域移動部
71 パターン画像取得部
73 拡張指示受付部
75 拡張部
77 縮小指示受付部
79 縮小部


【特許請求の範囲】
【請求項1】
被写体を撮像した撮像画像を出力する撮像手段と、
前記撮像画像の少なくとも一部の領域の指定を受け付ける領域指定手段と、
受け付けられた前記領域に基づいて、前記撮像画像の少なくとも一部をマスクするためのマスク領域を決定するマスク領域決定手段と、
前記撮像画像の前記マスク領域を別の画像に変換した合成画像を生成する合成画像生成手段と、
前記合成画像を送信する送信手段と、
を備え、
前記領域指定手段は、前記指定として、ユーザの操作を受け付ける受付手段を含む画像送信装置。
【請求項2】
前記撮像画像を表示する表示手段をさらに備え、
前記受付手段は、前記指定として、前記表示手段の表示面に対するユーザの操作を受け付ける請求項1に記載の画像送信装置。
【請求項3】
前記マスク領域決定手段は、前記受付手段によって受け付けられたユーザの操作に基づいて前記マスク領域を変更する変更手段を含む請求項1又は請求項2に記載の画像送信装置。
【請求項4】
被写体を撮像した撮像画像を取得する取得ステップと、
前記撮像画像の少なくとも一部の領域の指定を受け付ける領域指定受付ステップと、
受け付けられた前記領域に基づいて、前記撮像画像の少なくとも一部をマスクするためのマスク領域を決定するマスク領域決定ステップと、
前記撮像画像の前記マスク領域を別の画像に変換した合成画像を生成する合成画像生成ステップと、
前記合成画像を送信する送信ステップと、を含み、
前記領域指定受付ステップは、前記指定として、ユーザの操作を受け付ける操作受付ステップを含む画像送信方法。
【請求項5】
被写体を撮像した撮像画像を取得するステップと、
前記撮像画像の少なくとも一部の領域の指定を受け付けるステップと、
受け付けられた前記領域に基づいて、前記撮像画像の少なくとも一部をマスクするためのマスク領域を決定するステップと、
前記撮像画像の前記マスク領域を別の画像に変換した合成画像を生成するステップと、
前記合成画像を送信するステップと、をコンピュータに実行させる画像送信プログラムであって、
前記領域指定受付ステップは、前記指定として、ユーザの操作を受け付ける操作受付ステップを含む画像送信プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2012−142995(P2012−142995A)
【公開日】平成24年7月26日(2012.7.26)
【国際特許分類】
【出願番号】特願2012−88818(P2012−88818)
【出願日】平成24年4月9日(2012.4.9)
【分割の表示】特願2007−86711(P2007−86711)の分割
【原出願日】平成19年3月29日(2007.3.29)
【出願人】(000006633)京セラ株式会社 (13,660)
【Fターム(参考)】