画像生成装置、画像加工方法、および、プログラム
【課題】ユーザの視線方向を適切に修正した画像を生成できる画像生成装置等を提供する。
【解決手段】撮影部１１０は、ユーザを含む撮影画像を撮影する。顔検出部１２０は、撮影された撮影画像から、顔認識によりユーザの顔画像を検出する。また、画像特定部１３０は、顔検出部１２０により検出された顔画像から眼部画像を特定する。また、画像加工部１４０は、画像特定部１３０により特定された眼部画像における瞳の位置を、その眼部画像の中央となるように加工する。そして、画像送信部１５１は、眼部画像が加工された顔画像を含む撮影画像を、他の装置に送信する。
【解決手段】撮影部１１０は、ユーザを含む撮影画像を撮影する。顔検出部１２０は、撮影された撮影画像から、顔認識によりユーザの顔画像を検出する。また、画像特定部１３０は、顔検出部１２０により検出された顔画像から眼部画像を特定する。また、画像加工部１４０は、画像特定部１３０により特定された眼部画像における瞳の位置を、その眼部画像の中央となるように加工する。そして、画像送信部１５１は、眼部画像が加工された顔画像を含む撮影画像を、他の装置に送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの視線方向を適切に修正した画像を生成できる画像生成装置、画像加工方法、および、プログラムに関する。
【背景技術】
【０００２】
近年、ノート型のパソコン（パーソナルコンピュータ）等において、カメラ（ＣＣＤ等の撮像ユニット）を備えた製品が販売されている。このカメラは、例えば、表示部（液晶等のディスプレイ）を支える周縁枠（上部枠や、下部枠等）に組み込まれており、ユーザ（顔等）を撮影可能となっている。
このようなカメラは、例えば、ビデオチャットを行う際に利用される。つまり、通信可能に接続された各パソコンにおいて、カメラで撮影された画像が相互に送られるため、各ユーザは相手の顔等を見ながら、チャットを行うことができるようになっている。
【０００３】
最近では、携帯型のゲーム装置等にも、このようなカメラが組み込まれた製品が販売されている。また、最初からカメラが組み込まれていなくとも、周辺機器のカメラをプレイヤが取り付けて使用できるゲーム装置が知られている。
【０００４】
このようなビデオチャットが行えるゲーム装置等において、一方のユーザ端末で映像に同期して発声した音声等を、他方のユーザ端末で映像に同期させて出力する技術も開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２２２４１１号公報 （第９−１９頁、第３図）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したビデオチャットが行えるゲーム装置等において、ユーザは、表示部に表示されている相手ユーザの画像を見ながら会話を進めることになる。なお、上述したように、カメラは、表示部を支える周縁枠に組み込まれているため、カメラの光軸方向とユーザの視線方向とが揃わずに、ずれが生じてしまう。つまり、視線を逸らした（視線が外れた）ユーザの画像が撮影されてしまうことになる。
例えば、カメラが表示部の上部枠に組み込まれている場合では、上方からユーザを撮影することになり、視線を下方に向けたユーザの画像が撮影される。そして、撮影されたその画像が相手側の装置に送られると、相手ユーザは、ユーザ（送信元のユーザ）が、絶えずうつむいているように見えてしまい、会話を楽しめない場合も多かった。
【０００７】
なお、相手側の装置でも同様に、視線を逸らしたユーザ（相手ユーザ）の画像が撮影されて送られて来ることになる。そのため、従来のビデオチャットでは、ユーザ同士が、互いに視線を逸らして会話している状況となり、極めて不自然であった。
【０００８】
そのため、このような不自然な状況を生じさせずに、ビデオチャットが行えるゲーム装置（画像生成装置）等の開発が求められていた。
【０００９】
本発明は、上記実状に鑑みてなされたもので、ユーザの視線方向を適切に修正した画像を生成できる画像生成装置、画像加工方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の観点に係る画像生成装置は、顔検出部、画像特定部、及び、画像加工部を備えて構成される。
【００１１】
まず、顔検出部は、例えば、カメラ等により撮影された撮影画像から人物の顔画像を検出する。また、画像特定部は、検出された当該顔画像から眼部画像（例えば、皮膚に隠れた部分も含めた略円形の眼部画像）を特定する。そして、画像加工部は、特定された当該眼部画像における瞳の位置を、例えば、眼部画像の中央となるように加工する。
【００１２】
すなわち、本願発明では、撮影画像から人物の顔画像（ユーザの顔画像）を検出し、その顔画像から眼部画像を特定する。そして、特定した眼部画像の瞳の位置を、例えば、眼部画像の中央となるように加工する。つまり、ユーザがこちら（カメラ）に視線を向けているように、眼部画像を加工する。
この結果、ユーザの視線方向を適切に修正した画像を生成できる。
【００１３】
本発明の第２の観点に係る画像生成装置は、撮影部、顔検出部、画像特定部、画像加工部、及び、画像送信部を備えて構成される。
【００１４】
まず、撮影部は、人物を含む撮影画像を撮影する。また、顔検出部は、撮影された撮影画像から、顔認識により当該人物の顔画像を検出する。また、画像特定部は、検出された当該顔画像から眼部画像（例えば、皮膚に隠れた部分も含めた略円形の眼部画像）を特定する。また、画像加工部は、特定された当該眼部画像における瞳の位置を、当該眼部画像の中央となるように加工する。そして、画像送信部は、当該眼部画像が加工された顔画像を含む撮影画像を、他の装置に送信する。
【００１５】
すなわち、本願発明では、撮影画像から検出した人物（ユーザ）の顔画像から眼部画像を特定する。そして、特定した眼部画像の瞳の位置を、眼部画像の中央となるように加工し、眼部を加工した顔画像を含む撮影画像を他の装置に送信する。つまり、ユーザがこちら（カメラ）に視線を向けているように、眼部画像を加工した撮影画像を他の装置に送信する。このため、相手側（他の装置）では、自分（相手ユーザ）に視線を向けているユーザの画像が得られるため、ビデオチャット等を違和感なく自然に行うことができる。
この結果、ユーザの視線方向を適切に修正した画像を生成できる。
【００１６】
画像加工部は、加工した当該眼部画像の瞳の一部に、更に輝点を合成してもよい。つまり、キャッチライト加工を更に行うことにより、ユーザの瞳を輝かせる。
この場合、キャッチライト加工により、ユーザの表情をより豊かに見せることができる。
【００１７】
上記画像生成装置は、検出された当該顔画像から、当該人物の視線方向を算定する算定部を更に備え、
画像加工部は、算定された当該視線方向が所定範囲内である場合に、当該眼部画像における瞳の位置を加工してもよい。
つまり、ユーザの視線が大きく外れている場合では、眼部画像の瞳の位置を中央とする加工を行っても、不自然な顔画像となってしまう。そのため、視線が大きく外れている場な場合ではあえて加工を行わず、無理のない視線範囲に限り、眼部画像の瞳の位置を加工する。
この場合、不自然とならない範囲で、ユーザの視線方向を修正した画像を生成できる。
【００１８】
本発明の第３の観点に係る画像加工方法は、顔検出部と、画像特定部と、画像加工部とを有する画像生成装置における画像加工方法であって、顔検出ステップ、画像特定ステップ、及び、画像加工ステップを備えて構成される。
【００１９】
まず、顔検出ステップでは、例えば、カメラ等により撮影された撮影画像から人物の顔画像を検出する。また、画像特定ステップでは、検出された当該顔画像から眼部画像（例えば、皮膚に隠れた部分も含めた略円形の眼部画像）を特定する。そして、画像加工ステップでは、特定された当該眼部画像における瞳の位置を、例えば、眼部画像の中央となるように加工する。
【００２０】
すなわち、本願発明では、撮影画像から人物の顔画像（ユーザの顔画像）を検出し、その顔画像から眼部画像を特定する。そして、特定した眼部画像の瞳の位置を、例えば、眼部画像の中央となるように加工する。つまり、ユーザがこちら（カメラ）に視線を向けているように、眼部画像を加工する。
この結果、ユーザの視線方向を適切に修正した画像を生成できる。
【００２１】
本発明の第４の観点に係るプログラムは、コンピュータ（電子機器を含む。）を、上記の画像生成装置として機能させるように構成する。
【００２２】
このプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記録媒体に記録することができる。
【００２３】
上記プログラムは、当該プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記録媒体は、当該コンピュータとは独立して配布・販売することができる。
【発明の効果】
【００２４】
本発明によれば、ユーザの視線方向を適切に修正した画像を生成できる。
【図面の簡単な説明】
【００２５】
【図１】本実施形態に係るゲーム装置の外観を示す模式図である。
【図２】本実施形態に係るゲーム装置の概要構成を示すブロック図である。
【図３】本実施形態に係る画像生成装置の構成を示すブロック図である。
【図４】（ａ），（ｂ）共に、人物（ユーザ）を検出する様子を説明するための模式図である。
【図５】（ａ）〜（ｅ）全て、上目遣い気味の眼部画像を特定する様子を説明するための模式図である。
【図６】（ａ）〜（ｄ）全て、伏し目がちの眼部画像を特定する様子を説明するための模式図である。
【図７】（ａ）〜（ｆ）全て、眼部画像における瞳の位置を加工する様子を説明するための模式図である。
【図８】（ａ），（ｂ）が、キャッチライト加工の一例を示す模式図であり、（ｃ）が、加工後の顔画像（眼部画像）の一例を示す模式図である。
【図９】（ａ），（ｂ）共に、表示部に表示されるビデオチャット画面の一例を示す模式図である。
【図１０】本実施形態に係る画像加工処理を説明するためのフローチャートである。
【図１１】他の実施形態に係る画像生成装置の構成を示すブロック図である。
【図１２】（ａ）〜（ｅ）全て、ユーザの視線方向を算定する様子を説明するための模式図である。
【発明を実施するための形態】
【００２６】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、携帯型ゲーム機（ゲーム装置）に本発明が適用される実施形態を説明するが、各種のコンピュータ、ＰＤＡ、携帯電話などの情報処理装置においても同様に本発明を適用することができる。すなわち、以下に記載する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００２７】
（実施形態１）
図１は、本発明の実施の形態に係る画像生成装置が実現される典型的なゲーム装置の外観を示す模式図である。このゲーム装置１は、一例として、携帯型のゲーム機器であって、第１の表示部１８と、第２の表示部１９とを有しており、それらの間に、カメラ２１が配置されている。また、第２の表示部１９の前面にはタッチパネル２０が配置されている。
【００２８】
図２は、このゲーム装置１の概要構成を示す模式図である。以下、本図を参照してゲーム装置１について説明する。
【００２９】
ゲーム装置１は、処理制御部１０と、コネクタ１１と、カートリッジ１２と、無線通信部１３と、通信コントローラ１４と、サウンドアンプ１５と、スピーカ１６と、操作キー１７と、第１の表示部１８と、第２の表示部１９と、タッチパネル２０と、カメラ２１とを備える。
【００３０】
処理制御部１０は、ＣＰＵ（Central Processing Unit）コア１０ａと、画像処理部１０ｂと、ＤＭＡ（Direct Memory Access）コントローラ１０ｃと、ＶＲＡＭ（Video Random Access Memory）１０ｄと、ＷＲＡＭ（Work RAM）１０ｅと、ＬＣＤ（Liquid Crystal Display）コントローラ１０ｆと、タッチパネルコントローラ１０ｇとを備える。
【００３１】
ＣＰＵコア１０ａは、ゲーム装置１全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。具体的には、カートリッジ１２がコネクタ１１に装着された状態で、カートリッジ１２内のＲＯＭ（Read Only Memory）１２ａに記憶されたプログラムやデータを読み出して、所定の処理を実行する。
【００３２】
画像処理部１０ｂは、カートリッジ１２内のＲＯＭ １２ａから読み出されたデータや、ＣＰＵコア１０ａにて処理されたデータを加工処理した後、これをＶＲＡＭ １０ｄに格納する。例えば、ＷＲＡＭ １０ｅに記憶された画像を加工して、ＶＲＡＭ １０ｄに格納する。
【００３３】
ＤＭＡコントローラ１０ｃは、カメラ２１によって撮影された撮影画像をＷＲＡＭ １０ｅ等に転送する。
【００３４】
ＶＲＡＭ １０ｄは、表示用の情報を記憶するメモリであり、画像処理部１０ｂ等により加工された画像情報を記憶する。
ＷＲＡＭ １０ｅは、ＣＰＵコア１０ａがプログラムに従った各種処理を実行する際に必要となるワークデータ等を記憶する。
また、ＷＲＡＭ １０ｅは、ＤＭＡコントローラ１０ｃから転送された画像を一時的に記憶する。
【００３５】
ＬＣＤコントローラ１０ｆは、第１の表示部１８および、第２の表示部１９を制御し、所定の表示用画像を表示させる。例えば、ＬＣＤコントローラ１０ｆは、ＶＲＡＭ １０ｄに記憶された画像情報を、所定の同期タイミングで表示信号に変換し、第１の表示部１８に出力する。また、ＬＣＤコントローラ１０ｆは、同様に、第２の表示部１９に所定の表示用画像を表示する。
【００３６】
タッチパネルコントローラ１０ｇは、タッチペンやプレイヤの指によって、タッチパネル２０が押下されると、その座標（入力座標）を取得する。
【００３７】
コネクタ１１は、カートリッジ１２と脱着自在に接続可能な端子であり、カートリッジ１２が接続された際に、カートリッジ１２との間で所定のデータを送受信する。
【００３８】
カートリッジ１２は、ＲＯＭ １２ａと、ＲＡＭ（Random Access Memory）１２ｂとを備える。
ＲＯＭ １２ａには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データ等が記録される。
ＲＡＭ １２ｂには、ゲームの進行状況等を示す種々のデータが記憶される。
【００３９】
無線通信部１３は、他のゲーム装置１の無線通信部１３との間で、無線通信を行うユニットであり、図示せぬアンテナ（内蔵アンテナ等）を介して所定のデータを送受信する。
なお、無線通信部１３は、所定の無線アクセスポイントとの間で、無線通信を行うこともできる。また、無線通信部１３には、固有のＭＡＣ（Media Access Control）アドレスが採番されている。
【００４０】
通信コントローラ１４は、無線通信部１３を制御し、所定のプロトコルに沿って、処理制御部１０と他のゲーム装置１の処理制御部１０との間で行われる無線通信の仲立ちをする。
また、ゲーム装置１が、近傍の無線アクセスポイント等を介してインターネットに接続する際には、無線ＬＡＮに準拠したプロトコルに沿って、処理制御部１０と無線アクセスポイント等との間で行われる無線通信の仲立ちをする。
【００４１】
サウンドアンプ１５は、処理制御部１０にて生成された音声信号を増幅し、スピーカ１６に供給する。
スピーカ１６は、例えば、ステレオスピーカ等からなり、サウンドアンプ１５にて増幅された音声信号に従って、所定の楽曲音や効果音等を出力する。
【００４２】
操作キー１７は、ゲーム装置１に適宜配置された複数のキースイッチ等からなり、ユーザの操作に従って、所定の指示入力を受け付ける。
【００４３】
第１の表示部１８および、第２の表示部１９は、ＬＣＤ等からなり、ＬＣＤコントローラ１０ｆに制御され、ゲーム画像等を適宜表示する。
【００４４】
タッチパネル２０は、第２の表示部１９の前面に重畳して配置され、タッチペンやプレイヤの指による入力を検出する。
例えば、タッチパネル２０は、抵抗膜方式のタッチセンサパネル等からなり、タッチペン等による押圧（押下）を検知し、その座標に応じた情報（信号等）を出力する。
【００４５】
カメラ２１は、一例として、単焦点のレンズ及び、所定画素数の撮像素子（ＣＭＯＳやＣＣＤ等）を含んで構成される。そして、カメラ２１は、第１の表示部１８の正面方向を光軸として所定の撮影範囲の画像を撮影する。例えば、ビデオチャットを行うユーザ等の被写体を撮影する。
【００４６】
このような構成において、ＲＯＭ １２ａにビデオチャット用のプログラムおよびデータが記録されたカートリッジ１２が装着され、ゲーム装置１の電源が投入されると、当該プログラムが実行され、本実施形態に係る画像生成装置が実現される。
以下、このようなゲーム装置１によって実現される画像生成装置について説明する。
【００４７】
（画像生成装置の概要）
図３は、本実施の形態に係る画像生成装置１００の概要構成を示すブロック図である。この画像生成装置１００は、一例として、所定のネットワークを介して接続された他の画像生成装置１００との間で、ビデオチャットを行うために用いられる装置であり、上述した第１の表示部１８等に、相手側のユーザ等の画像を表示しつつ、カメラ２１で撮影した自分（ユーザ自身）の画像を送信可能な装置である。以下、このようなビデオチャットが行われる場合を一例として、本図を参照して画像生成装置１００について説明する。
【００４８】
図３に示すように、画像生成装置１００は、撮影部１１０と、顔検出部１２０と、画像特定部１３０と、画像加工部１４０と、通信部１５０と、表示制御部１６０と、表示部１７０とを備える。
【００４９】
まず、撮影部１１０は、所定の被写体を撮影した撮影画像を撮影する。例えば、ビデオチャットを行うユーザ（人物）を含む撮影画像を撮影する。
具体的に撮影部１１０は、ビデオチャットを行う際に、ユーザを含む画像を順次撮影し、撮影した撮影画像（一例として、動画）を、顔検出部１２０等に供給する。
なお、上述したカメラ２１が、このような撮影部１１０として機能しうる。
【００５０】
顔検出部１２０は、撮影部１１０によって撮影された撮影画像からユーザの顔画像を検出する。
例えば、顔検出部１２０は、顔認識によって、撮影画像に写っているユーザの顔画像を検出する。具体的に顔検出部１２０は、図４（ａ）に示すような撮影画像ＳＧから、肌色の領域Ａ１〜Ａ４をサーチし、それらの領域内から人間の顔の特徴部位が抽出できるかどうかを判断する。この場合、図４（ｂ）に示すように、領域Ａ１内から、少なくとも、両眼、口を含む特徴部位が抽出でき、人間の顔面として認識できるため、顔検出部１２０は、ユーザの顔画像Ｋ１を検出する。
なお、このようなユーザ（人物）の顔画像を検出する手法は、一例であり、他の手法を用いてもよい。例えば、肌色領域をエッジ処理により輪郭を抽出し、所定形状（略楕円形状等）であるかどうかを判別して、ユーザの画像画像を検出してもよい。
そして、上述した処理制御部１０のＣＰＵコア１０ａや画像処理部１０ｂ等が、このような顔検出部１２０として機能しうる。
【００５１】
図３に戻って、画像特定部１３０は、顔検出部１２０により検出されたユーザの顔画像から眼部画像を特定する。
例えば、画像特定部１３０は、検出された顔画像中の特徴点の位置関係等から、顔画像における眼部画像を特定する。
具体的に画像特定部１３０は、図５（ａ）に示すような顔画像ＫＧから、両眼の眼部画像Ｇ１，Ｇ２を特定する。なお、この図５（ａ）の画像は、ユーザが第１の表示部１８に注目している（視線を向けている）場合の一例である。つまり、図５（ｂ）に示すように、ユーザＹが第１の表示部１８に視線Ｌ１を向けており、第１の表示部１８の下枠に埋設されたカメラ２１から光軸Ｌ２にて撮影した場合の一例である。
この場合、ユーザの眼部を円（より詳細には球）と仮定すると、図５（ｃ）に示すように、視線Ｌ１と光軸Ｌ２とがずれており、眼部の中心ＣＰよりも上部に瞳Ｈが位置するように撮影される。そのため、画像特定部１３０は、図５（ａ）等に示すような、少し上目遣い気味の眼部画像Ｇ１，Ｇ２を特定する。なお、より詳細に画像特定部１３０は、皮膚に隠れた部分も含めた略円形の眼部画像を特定する。一例として、図５（ｄ）に示すような眼部画像Ｇ１，Ｇ２において、皮膚に隠れている点線部ＣＲまでを、眼部を略円形であると仮定して特定する。つまり、画像特定部１３０は、両眼について、図５（ｅ）に示すような、白目ＳＲと瞳（つまり、黒目：虹彩と瞳孔）Ｈとが含まれる略円形の眼部画像ＧＢを特定する。なお、瞳Ｈの一部が皮膚（まぶた等）に隠れていた場合には、瞳Ｈを略円形と仮定し、隠れていた部分を補完した眼部画像ＧＢを特定する。
一方、図６（ａ）に示すように、ユーザＹが第２の表示部１９に視線Ｌ３を向けており、第２の表示部１９の上枠（第１の表示部１８の下枠）に埋設されたカメラ２１から光軸Ｌ２にて撮影した場合では、図６（ｂ）に示すように、視線Ｌ３と光軸Ｌ２とがずれており、眼部の中心ＣＰよりも下部にに瞳Ｈが位置するように撮影される。そのため、画像特定部１３０は、図６（ｃ）に示すような、少し伏し目がちの眼部画像Ｇ１，Ｇ２を特定する。この場合も、皮膚に隠れている点線部ＣＲまでを、眼部を略円形であると仮定して特定するため、画像特定部１３０は、両眼について、図６（ｄ）に示すような、白目ＳＲと瞳Ｈ（一部が皮膚に隠れていた場合には、補完した瞳Ｈ）とが含まれる略円形の眼部画像ＧＢを特定する。
なお、ユーザが表示部１７０（第１の表示部１８若しくは、第２の表示部１９）を見ている限り、顔の向きに拘わらず、瞳（瞳孔）が撮影されている。つまり、ユーザが顔を上げて（あごを突き出して）いたり、顔を俯いて（あごを引いて）いるような場合では、瞳の一部が皮膚（上下のまぶた等）に隠れることがあるものの、視線と光軸との関係は、図５（ｃ）や図６（ｂ）のような関係となる。そのため、画像特定部１３０は、図５（ｅ）や図６（ｄ）のような眼部画像ＧＢを特定する。
そして、上述した処理制御部１０のＣＰＵコア１０ａや画像処理部１０ｂ等が、このような画像特定部１３０として機能しうる。
【００５２】
図３に戻って、画像加工部１４０は、画像特定部１３０により特定された眼部画像における瞳の位置を加工する。
例えば、画像加工部１４０は、特定された各眼部画像における瞳の位置を、眼部画像の中央となるように加工する。具体的にユーザが第１の表示部１８に注目している場合に、画像加工部１４０は、両眼について、図７（ａ）に示すような少し上目遣い気味の眼部画像ＧＢの瞳Ｈを、図７（ｂ）に示すように、眼部画像ＧＢの中央、つまり、略円形の中央に移動させる加工を行う。また、ユーザが第２の表示部１９に注目している場合に、画像加工部１４０は、両眼について、図７（ｃ）に示すような少し伏し目がちの眼部画像ＧＢの瞳Ｈを、図７（ｄ）に示すように、眼部画像ＧＢの中央に移動させる加工を行う。
なお、瞳の位置を眼部画像の中央に移動させる際に、画像加工部１４０は、瞳（虹彩）における瞳孔の位置も適宜移動させてもよい。つまり、図７（ｅ）に示すように、瞳Ｈだけでなく、瞳孔Ｄも、眼部画像ＧＢの中央に移動させる。そして、画像加工部１４０は、皮膚に隠れている部分を切り取り（取り除き）、図７（ｆ）に示すような眼部画像Ｇ１，Ｇ２に戻す。
また、画像加工部１４０は、加工した瞳の一部に輝点（光輝点：ハイライト）を合成する。つまり、キャッチライト加工を行う。具体的には、図８（ａ）に示すように、所定の仮想光源からの光を反射した輝点ＫＴ１を生成し、眼部画像Ｇ１，Ｇ２における瞳Ｈ内の所定箇所（一例として、瞳孔の周縁等）に合成する。なお、合成する輝点の形状や大きさ、そして、合成位置等は任意である。例えば、図８（ｂ）に示すような略三日月形状の輝点ＫＴ２を瞳Ｈ内に合成してもよい。
このような加工を、両眼について行うことにより、画像加工部１４０は、最終的に、図８（ｃ）に示すようなユーザが撮影部１１０（カメラ２１）に視線を向けている（カメラ目線の）顔画像ＫＧを生成する。
なお、上述した処理制御部１０のＣＰＵコア１０ａや画像処理部１０ｂ等が、このような画像加工部１４０として機能しうる。
【００５３】
図３に戻って、通信部１５０は、所定のネットワークを介して接続された他の画像生成装置１００との間の通信を制御する。
具体的に、通信部１５０は、画像送信部１５１と画像受信部１５２とを含んで構成される。
画像送信部１５１は、画像加工部１４０により加工された顔画像（眼部画像）を含む撮影画像を、他の画像生成装置１００に送信する。つまり、ユーザの顔画像における眼部画像を加工した撮影画像を、ビデオチャット相手の画像生成装置１００に送信する。
一方、画像受信部１５２は、他の画像生成装置１００から送信された画像を受信する。つまり、ビデオチャット相手の画像生成装置１００でも、同様にこのような加工された顔画像（眼部画像）を含む撮影画像を受信する。
なお、上述した無線通信部１３や通信コントローラ１４等が、このような通信部１５０として機能しうる。
【００５４】
表示制御部１６０は、画像受信部１５２によって受信された画像と、画像加工部１４０によってユーザ（自身）の顔画像（眼部画像）が加工された撮影画像とを合成したビデオチャット画面を表示部１７０に表示する。
例えば、表示制御部１６０は、画像受信部１５２が受信した画像をメインとし、その一部に、画像加工部１４０が顔画像を加工した撮影画像を適宜縮小して合成する。具体的に表示制御部１６０は、図９（ａ）に示すように、ビデオチャットの相手からの画像ＡＴＧ１の右上に、縮小した撮影画像ＫＳＧ１を合成したビデオチャット画面を生成する。
なお、表示制御部１６０の合成手法は、一例であり、他の手法により両画像を合成してもよい。例えば、図９（ｂ）に示すように、ビデオチャットの相手からの画像ＡＴＧ２と、中央をトリミングした加工撮影画像ＫＳＧ２とを並べて合成してもよい。
そして、上述した処理制御部１０のＣＰＵコア１０ａや画像処理部１０ｂ等が、このような表示制御部１６０として機能しうる。
【００５５】
表示部１７０は、表示制御部１６０により合成されたビデオチャット画面を表示する。つまり、上述した図９（ａ），（ｂ）等に示すようなビデオチャット画面を表示する。
なお、上述した第１の表示部１８や第２の表示部１９が、このような表示部１７０として機能しうる。
【００５６】
（画像生成装置の動作の概要）
以下、このような構成の画像生成装置１００の動作について図面を参照して説明する。一例として、ビデオチャット時における処理動作を、図１０を参照して説明する。図１０は、画像生成装置１００にて実行される画像加工処理の流れを示すフローチャートである。
【００５７】
まず、画像生成装置１００は、ユーザを含む撮影画像を撮影する（ステップＳ２０１）。
すなわち、撮影部１１０は、ビデオチャットを行うユーザを含む画像を順次撮影し、撮影した撮影画像（一例として、動画）を顔検出部１２０に供給する。
【００５８】
画像生成装置１００は、撮影された撮影画像からユーザ（人物）の顔画像を検出する（ステップＳ２０２）。
すなわち、顔検出部１２０は、顔認識によって、撮影画像に写っているユーザの顔画像を検出する。つまり、上述した図４（ａ），（ｂ）に示すように、ユーザの顔画像を検出する。
【００５９】
画像生成装置１００は、検出されたユーザの顔画像から眼部画像を特定する（ステップＳ２０３）。
すなわち、画像特定部１３０は、検出された顔画像中の特徴点の位置関係等から、顔画像における眼部画像を特定する。すなわち、上述した図５（ｄ），（ｅ）や図６（ｃ），（ｄ）に示すように、検出された顔画像から眼部画像を特定する。
【００６０】
画像生成装置１００は、特定された眼部画像における瞳の位置等を加工する（ステップＳ２０４）。
例えば、画像加工部１４０は、上述した図７（ａ），（ｃ）に示すような眼部画像ＧＢの中心から外れいている瞳Ｈ（瞳孔Ｄ）の位置を、図７（ｅ）に示すように、中心に移動させる加工を行う。また、画像加工部１４０は、上述した図８（ａ），（ｂ）に示すように、加工した瞳の一部に輝点を合成する。
すなわち、画像加工部１４０は、このような加工を、両眼について行うことにより、最終的に、上述した図８（ｃ）に示すようなユーザが撮影部１１０に視線を向けている顔画像ＫＧを生成する。
【００６１】
画像生成装置１００は、顔画像（眼部画像）を加工した撮影画像を、他の画像生成装置１００に送信し、また、他の画像生成装置１００から送られる画像を受信する（ステップＳ２０５）。
すなわち、画像送信部１５１は、画像加工部１４０により加工された顔画像（眼部画像）を含む撮影画像を、ビデオチャット相手の画像生成装置１００に送信する。一方、画像受信部１５２は、ビデオチャット相手の画像生成装置１００から送信された画像を受信する。
【００６２】
画像生成装置１００は、受信した画像と、ユーザ（自身）の顔画像（眼部画像）が加工された撮影画像とを適宜合成して表示する（ステップＳ２０６）。
すなわち、表示制御部１６０は、画像受信部１５２によって受信された画像と、画像加工部１４０によって加工された自身の顔画像を含む撮影画像とを合成し、上述した図９（ａ），（ｂ）に示すようなビデオチャット画面を表示部１７０に表示する。
【００６３】
画像生成装置１００は、ビデオチャットが終了したか否かを判別する（ステップＳ２０７）。
画像生成装置１００は、ビデオチャットが終了していないと判別すると（ステップＳ２０７；Ｎｏ）、ステップＳ２０１に処理を戻し、上述したステップＳ２０１〜Ｓ２０７の処理を繰り返し実行する。
一方、ビデオチャットが終了したと判別した場合に（ステップＳ２０７；Ｙｅｓ）、画像生成装置１００は、画像加工処理を終える。
【００６４】
このような画像加工処理において、撮影画像から検出した人物（ユーザ）の顔画像から眼部画像が特定される。つまり、上述した図７（ａ）や図７（ｃ）のように、視線のずれた（カメラ目線でない）眼部画像ＧＢが特定される。
そして、画像生成装置１００は、特定した眼部画像の瞳の位置等を、眼部画像の中央となるように加工し、更にキャッチライト加工を行う。つまり、上述した図７（ｅ）に示すように瞳Ｈ等を眼部画像ＧＢの中心に移動させ、また、図８（ａ）等に示すように、瞳Ｈの所定位置に輝点ＫＴ１等を合成する。
このように、略円形の眼部画像を特定し、その中の瞳を眼部画像の中心に移動させることで、ユーザの顔の向きや視線方向に拘わらず、ユーザの視線をカメラ目線とすることができる。
そして、画像生成装置１００は、このように加工した眼部画像（顔画像）を含む撮影画像を他の装置に送信する。つまり、ユーザが撮影部１１０に視線を向けている（カメラ目線の）顔画像に加工した顔画像を含む撮影画像を他の装置に送信する。このため、相手側（他の装置）では、自分（相手ユーザ）に視線を向けているユーザの画像が得られるため、ビデオチャット等を違和感なく自然に行うことができる。
この結果、ユーザの視線方向を適切に修正した画像を生成できる。
【００６５】
（他の実施形態）
上記の実施形態では、ユーザの顔画像（眼部画像）における瞳の位置を、無条件で眼部画像の中央となるように加工したが、ユーザの視線方向によっては、不都合が生じる場合がある。例えば、ユーザの視線が表示部１７０から大きく外れている場合（よそ見をしている場合等）では、眼部画像の瞳の位置を中央とする加工をおこなうと、不自然な顔画像となってしまう。そのため、ユーザの視線方向を算定し、無理のない視線範囲内に限り、眼部画像の瞳の位置を加工するようにしてもよい。
以下、このように、ユーザの視線方向を確認した上で、眼部画像の瞳の位置を加工することを特徴とする他の実施形態について、図面を参照して説明する。
【００６６】
図１１は、本発明の他の実施形態に係る画像生成装置３００の概要構成を示すブロック図である。この表示生成装置３００は、上述した図３の画像生成装置１００に、算定部３１０を加えた構成となっている。
つまり、撮影部１１０〜表示部１７０の構成は、図３の画像生成装置１００と同様である。
【００６７】
算定部３１０は、顔検出部１２０により検出された顔画像から、ユーザの視線方向を算定する。例えば、算定部３１０は、以下の算定手法により、ユーザの視線方向を算定する。
算定部３１０は、人間が正面を向いた場合における特徴部位の位置関係を示す形状を予め記憶しておく。具体的に算定部３１０は、図１２（ａ）に示すように、一例として、標準的な人物の顔を、一定距離を離れて正面から撮影した画像における、両眼と口とを直線で結んだ平面（具体的には三角形）の基準形状ＳＦを予め記憶しておく。なお、この基準形状ＳＦは、実際のユーザを正面から一定距離を隔てて撮影した画像から得たものであってもよい。
この基準形状ＳＦを予め記憶した状態で、図１２（ｂ）に示すように、検出されたユーザの顔画像ＫＧにおける両眼と口とを直線で結んだ平面の形状Ｆを得ると、この形状Ｆと基準形状ＳＦとを比較することにより、算定部３１０は、観察者の視線方向を算定する。
例えば、図１２（ｃ）のように、得られた形状Ｆ１が基準形状ＳＦと相似形である場合に、算定部３１０は、真正面となる視線方向ＧＬ１を算定する。一方、図１２（ｄ）のように、得られた形状Ｆ２が、基準形状ＳＦと相似形でない場合に、算定部３１０は、形状Ｆ２における各点の位置関係や各辺の長さから、形状Ｆ２の歪み（基準形状ＳＦを基準とした歪み）を求める。そして、その歪みに基づいて、斜め方向となる視線方向ＧＬ２を算定する。つまり、図１２（ｅ）に示すような大きく視線を外しているユーザの視線方向も算定できる。
なお、このようなユーザの視線方向を算定する手法は、一例であり、他の手法を用いてもよい。例えば、算定部３１０は、よりシンプルに、両眼の位置関係に基づいて、ユーザの視線方向を簡易に算定してもよい。
算定部３１０は、このようにして算定したユーザの視線方向を、画像加工部１４０に供給する。
そして、上述した処理制御部１０のＣＰＵコア１０ａや画像処理部１０ｂ等が、このような算定部３１０として機能しうる。
【００６８】
図１１に戻って、このような算定部３１０により、ユーザの視線方向が算定されると、画像加工部１４０は、算定された視線方向が所定範囲内（一例として、撮影部１１０の光軸とのずれが比較的少ないとされる範囲内）である場合に限り、眼部画像の瞳の位置を加工する。
つまり、算定された視線方向が所定範囲を超えており、ユーザの視線が大きく外れている場合では、画像加工部１４０は、あえて眼部画像の瞳の位置を中央とする加工を行わずに、瞳の一部に輝点を合成する加工にとどめる。
すなわち、画像加工部１４０は、ユーザの視線方向を確認した上で、無理のない視線範囲に限り、眼部画像の瞳の位置を加工する。
【００６９】
このため、図１１に示す画像生成装置３００では、不自然とならない範囲で、ユーザの視線方向を修正した画像を生成できる。
【００７０】
上記の実施形態では、携帯型のゲーム装置１に、本願の画像生成装置１００，３００が適用される場合について説明したが、このような携帯型のゲーム装置１に限られず、例えば、ノート型のパソコン等であってもよい。
【産業上の利用可能性】
【００７１】
以上説明したように、本発明によれば、ユーザの視線方向を適切に修正した画像を生成できる画像生成装置、画像加工方法、および、プログラムを提供することができる。
【符号の説明】
【００７２】
１ ゲーム装置
１０ 処理制御部
１１ コネクタ
１２ カートリッジ
１３ 無線通信部
１４ 通信コントローラ
１５ サウンドアンプ
１６ スピーカ
１７ 操作キー
１８ 第１の表示部
１９ 第２の表示部
２０ タッチパネル
２１ カメラ
１００，３００ 画像生成装置
１１０ 撮影部
１２０ 顔検出部
１３０ 画像特定部
１４０ 画像加工部
１５０ 通信部
１６０ 表示制御部
１７０ 表示部
３１０ 算定部
【技術分野】
【０００１】
本発明は、ユーザの視線方向を適切に修正した画像を生成できる画像生成装置、画像加工方法、および、プログラムに関する。
【背景技術】
【０００２】
近年、ノート型のパソコン（パーソナルコンピュータ）等において、カメラ（ＣＣＤ等の撮像ユニット）を備えた製品が販売されている。このカメラは、例えば、表示部（液晶等のディスプレイ）を支える周縁枠（上部枠や、下部枠等）に組み込まれており、ユーザ（顔等）を撮影可能となっている。
このようなカメラは、例えば、ビデオチャットを行う際に利用される。つまり、通信可能に接続された各パソコンにおいて、カメラで撮影された画像が相互に送られるため、各ユーザは相手の顔等を見ながら、チャットを行うことができるようになっている。
【０００３】
最近では、携帯型のゲーム装置等にも、このようなカメラが組み込まれた製品が販売されている。また、最初からカメラが組み込まれていなくとも、周辺機器のカメラをプレイヤが取り付けて使用できるゲーム装置が知られている。
【０００４】
このようなビデオチャットが行えるゲーム装置等において、一方のユーザ端末で映像に同期して発声した音声等を、他方のユーザ端末で映像に同期させて出力する技術も開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２２２４１１号公報 （第９−１９頁、第３図）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したビデオチャットが行えるゲーム装置等において、ユーザは、表示部に表示されている相手ユーザの画像を見ながら会話を進めることになる。なお、上述したように、カメラは、表示部を支える周縁枠に組み込まれているため、カメラの光軸方向とユーザの視線方向とが揃わずに、ずれが生じてしまう。つまり、視線を逸らした（視線が外れた）ユーザの画像が撮影されてしまうことになる。
例えば、カメラが表示部の上部枠に組み込まれている場合では、上方からユーザを撮影することになり、視線を下方に向けたユーザの画像が撮影される。そして、撮影されたその画像が相手側の装置に送られると、相手ユーザは、ユーザ（送信元のユーザ）が、絶えずうつむいているように見えてしまい、会話を楽しめない場合も多かった。
【０００７】
なお、相手側の装置でも同様に、視線を逸らしたユーザ（相手ユーザ）の画像が撮影されて送られて来ることになる。そのため、従来のビデオチャットでは、ユーザ同士が、互いに視線を逸らして会話している状況となり、極めて不自然であった。
【０００８】
そのため、このような不自然な状況を生じさせずに、ビデオチャットが行えるゲーム装置（画像生成装置）等の開発が求められていた。
【０００９】
本発明は、上記実状に鑑みてなされたもので、ユーザの視線方向を適切に修正した画像を生成できる画像生成装置、画像加工方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の観点に係る画像生成装置は、顔検出部、画像特定部、及び、画像加工部を備えて構成される。
【００１１】
まず、顔検出部は、例えば、カメラ等により撮影された撮影画像から人物の顔画像を検出する。また、画像特定部は、検出された当該顔画像から眼部画像（例えば、皮膚に隠れた部分も含めた略円形の眼部画像）を特定する。そして、画像加工部は、特定された当該眼部画像における瞳の位置を、例えば、眼部画像の中央となるように加工する。
【００１２】
すなわち、本願発明では、撮影画像から人物の顔画像（ユーザの顔画像）を検出し、その顔画像から眼部画像を特定する。そして、特定した眼部画像の瞳の位置を、例えば、眼部画像の中央となるように加工する。つまり、ユーザがこちら（カメラ）に視線を向けているように、眼部画像を加工する。
この結果、ユーザの視線方向を適切に修正した画像を生成できる。
【００１３】
本発明の第２の観点に係る画像生成装置は、撮影部、顔検出部、画像特定部、画像加工部、及び、画像送信部を備えて構成される。
【００１４】
まず、撮影部は、人物を含む撮影画像を撮影する。また、顔検出部は、撮影された撮影画像から、顔認識により当該人物の顔画像を検出する。また、画像特定部は、検出された当該顔画像から眼部画像（例えば、皮膚に隠れた部分も含めた略円形の眼部画像）を特定する。また、画像加工部は、特定された当該眼部画像における瞳の位置を、当該眼部画像の中央となるように加工する。そして、画像送信部は、当該眼部画像が加工された顔画像を含む撮影画像を、他の装置に送信する。
【００１５】
すなわち、本願発明では、撮影画像から検出した人物（ユーザ）の顔画像から眼部画像を特定する。そして、特定した眼部画像の瞳の位置を、眼部画像の中央となるように加工し、眼部を加工した顔画像を含む撮影画像を他の装置に送信する。つまり、ユーザがこちら（カメラ）に視線を向けているように、眼部画像を加工した撮影画像を他の装置に送信する。このため、相手側（他の装置）では、自分（相手ユーザ）に視線を向けているユーザの画像が得られるため、ビデオチャット等を違和感なく自然に行うことができる。
この結果、ユーザの視線方向を適切に修正した画像を生成できる。
【００１６】
画像加工部は、加工した当該眼部画像の瞳の一部に、更に輝点を合成してもよい。つまり、キャッチライト加工を更に行うことにより、ユーザの瞳を輝かせる。
この場合、キャッチライト加工により、ユーザの表情をより豊かに見せることができる。
【００１７】
上記画像生成装置は、検出された当該顔画像から、当該人物の視線方向を算定する算定部を更に備え、
画像加工部は、算定された当該視線方向が所定範囲内である場合に、当該眼部画像における瞳の位置を加工してもよい。
つまり、ユーザの視線が大きく外れている場合では、眼部画像の瞳の位置を中央とする加工を行っても、不自然な顔画像となってしまう。そのため、視線が大きく外れている場な場合ではあえて加工を行わず、無理のない視線範囲に限り、眼部画像の瞳の位置を加工する。
この場合、不自然とならない範囲で、ユーザの視線方向を修正した画像を生成できる。
【００１８】
本発明の第３の観点に係る画像加工方法は、顔検出部と、画像特定部と、画像加工部とを有する画像生成装置における画像加工方法であって、顔検出ステップ、画像特定ステップ、及び、画像加工ステップを備えて構成される。
【００１９】
まず、顔検出ステップでは、例えば、カメラ等により撮影された撮影画像から人物の顔画像を検出する。また、画像特定ステップでは、検出された当該顔画像から眼部画像（例えば、皮膚に隠れた部分も含めた略円形の眼部画像）を特定する。そして、画像加工ステップでは、特定された当該眼部画像における瞳の位置を、例えば、眼部画像の中央となるように加工する。
【００２０】
すなわち、本願発明では、撮影画像から人物の顔画像（ユーザの顔画像）を検出し、その顔画像から眼部画像を特定する。そして、特定した眼部画像の瞳の位置を、例えば、眼部画像の中央となるように加工する。つまり、ユーザがこちら（カメラ）に視線を向けているように、眼部画像を加工する。
この結果、ユーザの視線方向を適切に修正した画像を生成できる。
【００２１】
本発明の第４の観点に係るプログラムは、コンピュータ（電子機器を含む。）を、上記の画像生成装置として機能させるように構成する。
【００２２】
このプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記録媒体に記録することができる。
【００２３】
上記プログラムは、当該プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記録媒体は、当該コンピュータとは独立して配布・販売することができる。
【発明の効果】
【００２４】
本発明によれば、ユーザの視線方向を適切に修正した画像を生成できる。
【図面の簡単な説明】
【００２５】
【図１】本実施形態に係るゲーム装置の外観を示す模式図である。
【図２】本実施形態に係るゲーム装置の概要構成を示すブロック図である。
【図３】本実施形態に係る画像生成装置の構成を示すブロック図である。
【図４】（ａ），（ｂ）共に、人物（ユーザ）を検出する様子を説明するための模式図である。
【図５】（ａ）〜（ｅ）全て、上目遣い気味の眼部画像を特定する様子を説明するための模式図である。
【図６】（ａ）〜（ｄ）全て、伏し目がちの眼部画像を特定する様子を説明するための模式図である。
【図７】（ａ）〜（ｆ）全て、眼部画像における瞳の位置を加工する様子を説明するための模式図である。
【図８】（ａ），（ｂ）が、キャッチライト加工の一例を示す模式図であり、（ｃ）が、加工後の顔画像（眼部画像）の一例を示す模式図である。
【図９】（ａ），（ｂ）共に、表示部に表示されるビデオチャット画面の一例を示す模式図である。
【図１０】本実施形態に係る画像加工処理を説明するためのフローチャートである。
【図１１】他の実施形態に係る画像生成装置の構成を示すブロック図である。
【図１２】（ａ）〜（ｅ）全て、ユーザの視線方向を算定する様子を説明するための模式図である。
【発明を実施するための形態】
【００２６】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、携帯型ゲーム機（ゲーム装置）に本発明が適用される実施形態を説明するが、各種のコンピュータ、ＰＤＡ、携帯電話などの情報処理装置においても同様に本発明を適用することができる。すなわち、以下に記載する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００２７】
（実施形態１）
図１は、本発明の実施の形態に係る画像生成装置が実現される典型的なゲーム装置の外観を示す模式図である。このゲーム装置１は、一例として、携帯型のゲーム機器であって、第１の表示部１８と、第２の表示部１９とを有しており、それらの間に、カメラ２１が配置されている。また、第２の表示部１９の前面にはタッチパネル２０が配置されている。
【００２８】
図２は、このゲーム装置１の概要構成を示す模式図である。以下、本図を参照してゲーム装置１について説明する。
【００２９】
ゲーム装置１は、処理制御部１０と、コネクタ１１と、カートリッジ１２と、無線通信部１３と、通信コントローラ１４と、サウンドアンプ１５と、スピーカ１６と、操作キー１７と、第１の表示部１８と、第２の表示部１９と、タッチパネル２０と、カメラ２１とを備える。
【００３０】
処理制御部１０は、ＣＰＵ（Central Processing Unit）コア１０ａと、画像処理部１０ｂと、ＤＭＡ（Direct Memory Access）コントローラ１０ｃと、ＶＲＡＭ（Video Random Access Memory）１０ｄと、ＷＲＡＭ（Work RAM）１０ｅと、ＬＣＤ（Liquid Crystal Display）コントローラ１０ｆと、タッチパネルコントローラ１０ｇとを備える。
【００３１】
ＣＰＵコア１０ａは、ゲーム装置１全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。具体的には、カートリッジ１２がコネクタ１１に装着された状態で、カートリッジ１２内のＲＯＭ（Read Only Memory）１２ａに記憶されたプログラムやデータを読み出して、所定の処理を実行する。
【００３２】
画像処理部１０ｂは、カートリッジ１２内のＲＯＭ １２ａから読み出されたデータや、ＣＰＵコア１０ａにて処理されたデータを加工処理した後、これをＶＲＡＭ １０ｄに格納する。例えば、ＷＲＡＭ １０ｅに記憶された画像を加工して、ＶＲＡＭ １０ｄに格納する。
【００３３】
ＤＭＡコントローラ１０ｃは、カメラ２１によって撮影された撮影画像をＷＲＡＭ １０ｅ等に転送する。
【００３４】
ＶＲＡＭ １０ｄは、表示用の情報を記憶するメモリであり、画像処理部１０ｂ等により加工された画像情報を記憶する。
ＷＲＡＭ １０ｅは、ＣＰＵコア１０ａがプログラムに従った各種処理を実行する際に必要となるワークデータ等を記憶する。
また、ＷＲＡＭ １０ｅは、ＤＭＡコントローラ１０ｃから転送された画像を一時的に記憶する。
【００３５】
ＬＣＤコントローラ１０ｆは、第１の表示部１８および、第２の表示部１９を制御し、所定の表示用画像を表示させる。例えば、ＬＣＤコントローラ１０ｆは、ＶＲＡＭ １０ｄに記憶された画像情報を、所定の同期タイミングで表示信号に変換し、第１の表示部１８に出力する。また、ＬＣＤコントローラ１０ｆは、同様に、第２の表示部１９に所定の表示用画像を表示する。
【００３６】
タッチパネルコントローラ１０ｇは、タッチペンやプレイヤの指によって、タッチパネル２０が押下されると、その座標（入力座標）を取得する。
【００３７】
コネクタ１１は、カートリッジ１２と脱着自在に接続可能な端子であり、カートリッジ１２が接続された際に、カートリッジ１２との間で所定のデータを送受信する。
【００３８】
カートリッジ１２は、ＲＯＭ １２ａと、ＲＡＭ（Random Access Memory）１２ｂとを備える。
ＲＯＭ １２ａには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データ等が記録される。
ＲＡＭ １２ｂには、ゲームの進行状況等を示す種々のデータが記憶される。
【００３９】
無線通信部１３は、他のゲーム装置１の無線通信部１３との間で、無線通信を行うユニットであり、図示せぬアンテナ（内蔵アンテナ等）を介して所定のデータを送受信する。
なお、無線通信部１３は、所定の無線アクセスポイントとの間で、無線通信を行うこともできる。また、無線通信部１３には、固有のＭＡＣ（Media Access Control）アドレスが採番されている。
【００４０】
通信コントローラ１４は、無線通信部１３を制御し、所定のプロトコルに沿って、処理制御部１０と他のゲーム装置１の処理制御部１０との間で行われる無線通信の仲立ちをする。
また、ゲーム装置１が、近傍の無線アクセスポイント等を介してインターネットに接続する際には、無線ＬＡＮに準拠したプロトコルに沿って、処理制御部１０と無線アクセスポイント等との間で行われる無線通信の仲立ちをする。
【００４１】
サウンドアンプ１５は、処理制御部１０にて生成された音声信号を増幅し、スピーカ１６に供給する。
スピーカ１６は、例えば、ステレオスピーカ等からなり、サウンドアンプ１５にて増幅された音声信号に従って、所定の楽曲音や効果音等を出力する。
【００４２】
操作キー１７は、ゲーム装置１に適宜配置された複数のキースイッチ等からなり、ユーザの操作に従って、所定の指示入力を受け付ける。
【００４３】
第１の表示部１８および、第２の表示部１９は、ＬＣＤ等からなり、ＬＣＤコントローラ１０ｆに制御され、ゲーム画像等を適宜表示する。
【００４４】
タッチパネル２０は、第２の表示部１９の前面に重畳して配置され、タッチペンやプレイヤの指による入力を検出する。
例えば、タッチパネル２０は、抵抗膜方式のタッチセンサパネル等からなり、タッチペン等による押圧（押下）を検知し、その座標に応じた情報（信号等）を出力する。
【００４５】
カメラ２１は、一例として、単焦点のレンズ及び、所定画素数の撮像素子（ＣＭＯＳやＣＣＤ等）を含んで構成される。そして、カメラ２１は、第１の表示部１８の正面方向を光軸として所定の撮影範囲の画像を撮影する。例えば、ビデオチャットを行うユーザ等の被写体を撮影する。
【００４６】
このような構成において、ＲＯＭ １２ａにビデオチャット用のプログラムおよびデータが記録されたカートリッジ１２が装着され、ゲーム装置１の電源が投入されると、当該プログラムが実行され、本実施形態に係る画像生成装置が実現される。
以下、このようなゲーム装置１によって実現される画像生成装置について説明する。
【００４７】
（画像生成装置の概要）
図３は、本実施の形態に係る画像生成装置１００の概要構成を示すブロック図である。この画像生成装置１００は、一例として、所定のネットワークを介して接続された他の画像生成装置１００との間で、ビデオチャットを行うために用いられる装置であり、上述した第１の表示部１８等に、相手側のユーザ等の画像を表示しつつ、カメラ２１で撮影した自分（ユーザ自身）の画像を送信可能な装置である。以下、このようなビデオチャットが行われる場合を一例として、本図を参照して画像生成装置１００について説明する。
【００４８】
図３に示すように、画像生成装置１００は、撮影部１１０と、顔検出部１２０と、画像特定部１３０と、画像加工部１４０と、通信部１５０と、表示制御部１６０と、表示部１７０とを備える。
【００４９】
まず、撮影部１１０は、所定の被写体を撮影した撮影画像を撮影する。例えば、ビデオチャットを行うユーザ（人物）を含む撮影画像を撮影する。
具体的に撮影部１１０は、ビデオチャットを行う際に、ユーザを含む画像を順次撮影し、撮影した撮影画像（一例として、動画）を、顔検出部１２０等に供給する。
なお、上述したカメラ２１が、このような撮影部１１０として機能しうる。
【００５０】
顔検出部１２０は、撮影部１１０によって撮影された撮影画像からユーザの顔画像を検出する。
例えば、顔検出部１２０は、顔認識によって、撮影画像に写っているユーザの顔画像を検出する。具体的に顔検出部１２０は、図４（ａ）に示すような撮影画像ＳＧから、肌色の領域Ａ１〜Ａ４をサーチし、それらの領域内から人間の顔の特徴部位が抽出できるかどうかを判断する。この場合、図４（ｂ）に示すように、領域Ａ１内から、少なくとも、両眼、口を含む特徴部位が抽出でき、人間の顔面として認識できるため、顔検出部１２０は、ユーザの顔画像Ｋ１を検出する。
なお、このようなユーザ（人物）の顔画像を検出する手法は、一例であり、他の手法を用いてもよい。例えば、肌色領域をエッジ処理により輪郭を抽出し、所定形状（略楕円形状等）であるかどうかを判別して、ユーザの画像画像を検出してもよい。
そして、上述した処理制御部１０のＣＰＵコア１０ａや画像処理部１０ｂ等が、このような顔検出部１２０として機能しうる。
【００５１】
図３に戻って、画像特定部１３０は、顔検出部１２０により検出されたユーザの顔画像から眼部画像を特定する。
例えば、画像特定部１３０は、検出された顔画像中の特徴点の位置関係等から、顔画像における眼部画像を特定する。
具体的に画像特定部１３０は、図５（ａ）に示すような顔画像ＫＧから、両眼の眼部画像Ｇ１，Ｇ２を特定する。なお、この図５（ａ）の画像は、ユーザが第１の表示部１８に注目している（視線を向けている）場合の一例である。つまり、図５（ｂ）に示すように、ユーザＹが第１の表示部１８に視線Ｌ１を向けており、第１の表示部１８の下枠に埋設されたカメラ２１から光軸Ｌ２にて撮影した場合の一例である。
この場合、ユーザの眼部を円（より詳細には球）と仮定すると、図５（ｃ）に示すように、視線Ｌ１と光軸Ｌ２とがずれており、眼部の中心ＣＰよりも上部に瞳Ｈが位置するように撮影される。そのため、画像特定部１３０は、図５（ａ）等に示すような、少し上目遣い気味の眼部画像Ｇ１，Ｇ２を特定する。なお、より詳細に画像特定部１３０は、皮膚に隠れた部分も含めた略円形の眼部画像を特定する。一例として、図５（ｄ）に示すような眼部画像Ｇ１，Ｇ２において、皮膚に隠れている点線部ＣＲまでを、眼部を略円形であると仮定して特定する。つまり、画像特定部１３０は、両眼について、図５（ｅ）に示すような、白目ＳＲと瞳（つまり、黒目：虹彩と瞳孔）Ｈとが含まれる略円形の眼部画像ＧＢを特定する。なお、瞳Ｈの一部が皮膚（まぶた等）に隠れていた場合には、瞳Ｈを略円形と仮定し、隠れていた部分を補完した眼部画像ＧＢを特定する。
一方、図６（ａ）に示すように、ユーザＹが第２の表示部１９に視線Ｌ３を向けており、第２の表示部１９の上枠（第１の表示部１８の下枠）に埋設されたカメラ２１から光軸Ｌ２にて撮影した場合では、図６（ｂ）に示すように、視線Ｌ３と光軸Ｌ２とがずれており、眼部の中心ＣＰよりも下部にに瞳Ｈが位置するように撮影される。そのため、画像特定部１３０は、図６（ｃ）に示すような、少し伏し目がちの眼部画像Ｇ１，Ｇ２を特定する。この場合も、皮膚に隠れている点線部ＣＲまでを、眼部を略円形であると仮定して特定するため、画像特定部１３０は、両眼について、図６（ｄ）に示すような、白目ＳＲと瞳Ｈ（一部が皮膚に隠れていた場合には、補完した瞳Ｈ）とが含まれる略円形の眼部画像ＧＢを特定する。
なお、ユーザが表示部１７０（第１の表示部１８若しくは、第２の表示部１９）を見ている限り、顔の向きに拘わらず、瞳（瞳孔）が撮影されている。つまり、ユーザが顔を上げて（あごを突き出して）いたり、顔を俯いて（あごを引いて）いるような場合では、瞳の一部が皮膚（上下のまぶた等）に隠れることがあるものの、視線と光軸との関係は、図５（ｃ）や図６（ｂ）のような関係となる。そのため、画像特定部１３０は、図５（ｅ）や図６（ｄ）のような眼部画像ＧＢを特定する。
そして、上述した処理制御部１０のＣＰＵコア１０ａや画像処理部１０ｂ等が、このような画像特定部１３０として機能しうる。
【００５２】
図３に戻って、画像加工部１４０は、画像特定部１３０により特定された眼部画像における瞳の位置を加工する。
例えば、画像加工部１４０は、特定された各眼部画像における瞳の位置を、眼部画像の中央となるように加工する。具体的にユーザが第１の表示部１８に注目している場合に、画像加工部１４０は、両眼について、図７（ａ）に示すような少し上目遣い気味の眼部画像ＧＢの瞳Ｈを、図７（ｂ）に示すように、眼部画像ＧＢの中央、つまり、略円形の中央に移動させる加工を行う。また、ユーザが第２の表示部１９に注目している場合に、画像加工部１４０は、両眼について、図７（ｃ）に示すような少し伏し目がちの眼部画像ＧＢの瞳Ｈを、図７（ｄ）に示すように、眼部画像ＧＢの中央に移動させる加工を行う。
なお、瞳の位置を眼部画像の中央に移動させる際に、画像加工部１４０は、瞳（虹彩）における瞳孔の位置も適宜移動させてもよい。つまり、図７（ｅ）に示すように、瞳Ｈだけでなく、瞳孔Ｄも、眼部画像ＧＢの中央に移動させる。そして、画像加工部１４０は、皮膚に隠れている部分を切り取り（取り除き）、図７（ｆ）に示すような眼部画像Ｇ１，Ｇ２に戻す。
また、画像加工部１４０は、加工した瞳の一部に輝点（光輝点：ハイライト）を合成する。つまり、キャッチライト加工を行う。具体的には、図８（ａ）に示すように、所定の仮想光源からの光を反射した輝点ＫＴ１を生成し、眼部画像Ｇ１，Ｇ２における瞳Ｈ内の所定箇所（一例として、瞳孔の周縁等）に合成する。なお、合成する輝点の形状や大きさ、そして、合成位置等は任意である。例えば、図８（ｂ）に示すような略三日月形状の輝点ＫＴ２を瞳Ｈ内に合成してもよい。
このような加工を、両眼について行うことにより、画像加工部１４０は、最終的に、図８（ｃ）に示すようなユーザが撮影部１１０（カメラ２１）に視線を向けている（カメラ目線の）顔画像ＫＧを生成する。
なお、上述した処理制御部１０のＣＰＵコア１０ａや画像処理部１０ｂ等が、このような画像加工部１４０として機能しうる。
【００５３】
図３に戻って、通信部１５０は、所定のネットワークを介して接続された他の画像生成装置１００との間の通信を制御する。
具体的に、通信部１５０は、画像送信部１５１と画像受信部１５２とを含んで構成される。
画像送信部１５１は、画像加工部１４０により加工された顔画像（眼部画像）を含む撮影画像を、他の画像生成装置１００に送信する。つまり、ユーザの顔画像における眼部画像を加工した撮影画像を、ビデオチャット相手の画像生成装置１００に送信する。
一方、画像受信部１５２は、他の画像生成装置１００から送信された画像を受信する。つまり、ビデオチャット相手の画像生成装置１００でも、同様にこのような加工された顔画像（眼部画像）を含む撮影画像を受信する。
なお、上述した無線通信部１３や通信コントローラ１４等が、このような通信部１５０として機能しうる。
【００５４】
表示制御部１６０は、画像受信部１５２によって受信された画像と、画像加工部１４０によってユーザ（自身）の顔画像（眼部画像）が加工された撮影画像とを合成したビデオチャット画面を表示部１７０に表示する。
例えば、表示制御部１６０は、画像受信部１５２が受信した画像をメインとし、その一部に、画像加工部１４０が顔画像を加工した撮影画像を適宜縮小して合成する。具体的に表示制御部１６０は、図９（ａ）に示すように、ビデオチャットの相手からの画像ＡＴＧ１の右上に、縮小した撮影画像ＫＳＧ１を合成したビデオチャット画面を生成する。
なお、表示制御部１６０の合成手法は、一例であり、他の手法により両画像を合成してもよい。例えば、図９（ｂ）に示すように、ビデオチャットの相手からの画像ＡＴＧ２と、中央をトリミングした加工撮影画像ＫＳＧ２とを並べて合成してもよい。
そして、上述した処理制御部１０のＣＰＵコア１０ａや画像処理部１０ｂ等が、このような表示制御部１６０として機能しうる。
【００５５】
表示部１７０は、表示制御部１６０により合成されたビデオチャット画面を表示する。つまり、上述した図９（ａ），（ｂ）等に示すようなビデオチャット画面を表示する。
なお、上述した第１の表示部１８や第２の表示部１９が、このような表示部１７０として機能しうる。
【００５６】
（画像生成装置の動作の概要）
以下、このような構成の画像生成装置１００の動作について図面を参照して説明する。一例として、ビデオチャット時における処理動作を、図１０を参照して説明する。図１０は、画像生成装置１００にて実行される画像加工処理の流れを示すフローチャートである。
【００５７】
まず、画像生成装置１００は、ユーザを含む撮影画像を撮影する（ステップＳ２０１）。
すなわち、撮影部１１０は、ビデオチャットを行うユーザを含む画像を順次撮影し、撮影した撮影画像（一例として、動画）を顔検出部１２０に供給する。
【００５８】
画像生成装置１００は、撮影された撮影画像からユーザ（人物）の顔画像を検出する（ステップＳ２０２）。
すなわち、顔検出部１２０は、顔認識によって、撮影画像に写っているユーザの顔画像を検出する。つまり、上述した図４（ａ），（ｂ）に示すように、ユーザの顔画像を検出する。
【００５９】
画像生成装置１００は、検出されたユーザの顔画像から眼部画像を特定する（ステップＳ２０３）。
すなわち、画像特定部１３０は、検出された顔画像中の特徴点の位置関係等から、顔画像における眼部画像を特定する。すなわち、上述した図５（ｄ），（ｅ）や図６（ｃ），（ｄ）に示すように、検出された顔画像から眼部画像を特定する。
【００６０】
画像生成装置１００は、特定された眼部画像における瞳の位置等を加工する（ステップＳ２０４）。
例えば、画像加工部１４０は、上述した図７（ａ），（ｃ）に示すような眼部画像ＧＢの中心から外れいている瞳Ｈ（瞳孔Ｄ）の位置を、図７（ｅ）に示すように、中心に移動させる加工を行う。また、画像加工部１４０は、上述した図８（ａ），（ｂ）に示すように、加工した瞳の一部に輝点を合成する。
すなわち、画像加工部１４０は、このような加工を、両眼について行うことにより、最終的に、上述した図８（ｃ）に示すようなユーザが撮影部１１０に視線を向けている顔画像ＫＧを生成する。
【００６１】
画像生成装置１００は、顔画像（眼部画像）を加工した撮影画像を、他の画像生成装置１００に送信し、また、他の画像生成装置１００から送られる画像を受信する（ステップＳ２０５）。
すなわち、画像送信部１５１は、画像加工部１４０により加工された顔画像（眼部画像）を含む撮影画像を、ビデオチャット相手の画像生成装置１００に送信する。一方、画像受信部１５２は、ビデオチャット相手の画像生成装置１００から送信された画像を受信する。
【００６２】
画像生成装置１００は、受信した画像と、ユーザ（自身）の顔画像（眼部画像）が加工された撮影画像とを適宜合成して表示する（ステップＳ２０６）。
すなわち、表示制御部１６０は、画像受信部１５２によって受信された画像と、画像加工部１４０によって加工された自身の顔画像を含む撮影画像とを合成し、上述した図９（ａ），（ｂ）に示すようなビデオチャット画面を表示部１７０に表示する。
【００６３】
画像生成装置１００は、ビデオチャットが終了したか否かを判別する（ステップＳ２０７）。
画像生成装置１００は、ビデオチャットが終了していないと判別すると（ステップＳ２０７；Ｎｏ）、ステップＳ２０１に処理を戻し、上述したステップＳ２０１〜Ｓ２０７の処理を繰り返し実行する。
一方、ビデオチャットが終了したと判別した場合に（ステップＳ２０７；Ｙｅｓ）、画像生成装置１００は、画像加工処理を終える。
【００６４】
このような画像加工処理において、撮影画像から検出した人物（ユーザ）の顔画像から眼部画像が特定される。つまり、上述した図７（ａ）や図７（ｃ）のように、視線のずれた（カメラ目線でない）眼部画像ＧＢが特定される。
そして、画像生成装置１００は、特定した眼部画像の瞳の位置等を、眼部画像の中央となるように加工し、更にキャッチライト加工を行う。つまり、上述した図７（ｅ）に示すように瞳Ｈ等を眼部画像ＧＢの中心に移動させ、また、図８（ａ）等に示すように、瞳Ｈの所定位置に輝点ＫＴ１等を合成する。
このように、略円形の眼部画像を特定し、その中の瞳を眼部画像の中心に移動させることで、ユーザの顔の向きや視線方向に拘わらず、ユーザの視線をカメラ目線とすることができる。
そして、画像生成装置１００は、このように加工した眼部画像（顔画像）を含む撮影画像を他の装置に送信する。つまり、ユーザが撮影部１１０に視線を向けている（カメラ目線の）顔画像に加工した顔画像を含む撮影画像を他の装置に送信する。このため、相手側（他の装置）では、自分（相手ユーザ）に視線を向けているユーザの画像が得られるため、ビデオチャット等を違和感なく自然に行うことができる。
この結果、ユーザの視線方向を適切に修正した画像を生成できる。
【００６５】
（他の実施形態）
上記の実施形態では、ユーザの顔画像（眼部画像）における瞳の位置を、無条件で眼部画像の中央となるように加工したが、ユーザの視線方向によっては、不都合が生じる場合がある。例えば、ユーザの視線が表示部１７０から大きく外れている場合（よそ見をしている場合等）では、眼部画像の瞳の位置を中央とする加工をおこなうと、不自然な顔画像となってしまう。そのため、ユーザの視線方向を算定し、無理のない視線範囲内に限り、眼部画像の瞳の位置を加工するようにしてもよい。
以下、このように、ユーザの視線方向を確認した上で、眼部画像の瞳の位置を加工することを特徴とする他の実施形態について、図面を参照して説明する。
【００６６】
図１１は、本発明の他の実施形態に係る画像生成装置３００の概要構成を示すブロック図である。この表示生成装置３００は、上述した図３の画像生成装置１００に、算定部３１０を加えた構成となっている。
つまり、撮影部１１０〜表示部１７０の構成は、図３の画像生成装置１００と同様である。
【００６７】
算定部３１０は、顔検出部１２０により検出された顔画像から、ユーザの視線方向を算定する。例えば、算定部３１０は、以下の算定手法により、ユーザの視線方向を算定する。
算定部３１０は、人間が正面を向いた場合における特徴部位の位置関係を示す形状を予め記憶しておく。具体的に算定部３１０は、図１２（ａ）に示すように、一例として、標準的な人物の顔を、一定距離を離れて正面から撮影した画像における、両眼と口とを直線で結んだ平面（具体的には三角形）の基準形状ＳＦを予め記憶しておく。なお、この基準形状ＳＦは、実際のユーザを正面から一定距離を隔てて撮影した画像から得たものであってもよい。
この基準形状ＳＦを予め記憶した状態で、図１２（ｂ）に示すように、検出されたユーザの顔画像ＫＧにおける両眼と口とを直線で結んだ平面の形状Ｆを得ると、この形状Ｆと基準形状ＳＦとを比較することにより、算定部３１０は、観察者の視線方向を算定する。
例えば、図１２（ｃ）のように、得られた形状Ｆ１が基準形状ＳＦと相似形である場合に、算定部３１０は、真正面となる視線方向ＧＬ１を算定する。一方、図１２（ｄ）のように、得られた形状Ｆ２が、基準形状ＳＦと相似形でない場合に、算定部３１０は、形状Ｆ２における各点の位置関係や各辺の長さから、形状Ｆ２の歪み（基準形状ＳＦを基準とした歪み）を求める。そして、その歪みに基づいて、斜め方向となる視線方向ＧＬ２を算定する。つまり、図１２（ｅ）に示すような大きく視線を外しているユーザの視線方向も算定できる。
なお、このようなユーザの視線方向を算定する手法は、一例であり、他の手法を用いてもよい。例えば、算定部３１０は、よりシンプルに、両眼の位置関係に基づいて、ユーザの視線方向を簡易に算定してもよい。
算定部３１０は、このようにして算定したユーザの視線方向を、画像加工部１４０に供給する。
そして、上述した処理制御部１０のＣＰＵコア１０ａや画像処理部１０ｂ等が、このような算定部３１０として機能しうる。
【００６８】
図１１に戻って、このような算定部３１０により、ユーザの視線方向が算定されると、画像加工部１４０は、算定された視線方向が所定範囲内（一例として、撮影部１１０の光軸とのずれが比較的少ないとされる範囲内）である場合に限り、眼部画像の瞳の位置を加工する。
つまり、算定された視線方向が所定範囲を超えており、ユーザの視線が大きく外れている場合では、画像加工部１４０は、あえて眼部画像の瞳の位置を中央とする加工を行わずに、瞳の一部に輝点を合成する加工にとどめる。
すなわち、画像加工部１４０は、ユーザの視線方向を確認した上で、無理のない視線範囲に限り、眼部画像の瞳の位置を加工する。
【００６９】
このため、図１１に示す画像生成装置３００では、不自然とならない範囲で、ユーザの視線方向を修正した画像を生成できる。
【００７０】
上記の実施形態では、携帯型のゲーム装置１に、本願の画像生成装置１００，３００が適用される場合について説明したが、このような携帯型のゲーム装置１に限られず、例えば、ノート型のパソコン等であってもよい。
【産業上の利用可能性】
【００７１】
以上説明したように、本発明によれば、ユーザの視線方向を適切に修正した画像を生成できる画像生成装置、画像加工方法、および、プログラムを提供することができる。
【符号の説明】
【００７２】
１ ゲーム装置
１０ 処理制御部
１１ コネクタ
１２ カートリッジ
１３ 無線通信部
１４ 通信コントローラ
１５ サウンドアンプ
１６ スピーカ
１７ 操作キー
１８ 第１の表示部
１９ 第２の表示部
２０ タッチパネル
２１ カメラ
１００，３００ 画像生成装置
１１０ 撮影部
１２０ 顔検出部
１３０ 画像特定部
１４０ 画像加工部
１５０ 通信部
１６０ 表示制御部
１７０ 表示部
３１０ 算定部
【特許請求の範囲】
【請求項１】
撮影画像から人物の顔画像を検出する顔検出部と、
検出された当該顔画像から眼部画像を特定する画像特定部と、
特定された当該眼部画像における瞳の位置を加工する画像加工部と、を備える、
ことを特徴とする画像生成装置。
【請求項２】
人物を含む撮影画像を撮影する撮影部と、
撮影された当該撮影画像から、顔認識により当該人物の顔画像を検出する顔検出部と、
検出された当該顔画像から眼部画像を特定する画像特定部と、
特定された当該眼部画像における瞳の位置を、当該眼部画像の中央となるように加工する画像加工部と、
当該眼部画像が加工された顔画像を含む撮影画像を、他の装置に送信する画像送信部と、を備える、
ことを特徴とする画像生成装置。
【請求項３】
請求項１又は２に記載の画像生成装置であって、
前記画像加工部は、加工した当該眼部画像の瞳の一部に、更に輝点を合成する、
ことを特徴とする画像生成装置。
【請求項４】
請求項１乃至３の何れか１項に記載の画像生成装置であって、
検出された当該顔画像から、当該人物の視線方向を算定する算定部を更に備え、
前記画像加工部は、算定された当該視線方向が所定範囲内である場合に、当該眼部画像における瞳の位置を加工する、
ことを特徴とする画像生成装置。
【請求項５】
顔検出部と、画像特定部と、画像加工部とを有する画像生成装置における画像加工方法であって、
前記顔検出部が、撮影画像から人物の顔画像を検出する顔検出ステップと、
前記画像特定部が、検出された当該顔画像から眼部画像を特定する画像特定ステップと、
前記画像加工部が、特定された当該眼部画像における瞳の位置を加工する画像加工ステップと、を備える、
ことを特徴とする画像加工方法。
【請求項６】
コンピュータを、
撮影画像から人物の顔画像を検出する顔検出部、
検出された当該顔画像から眼部画像を特定する画像特定部、
特定された当該眼部画像における瞳の位置を加工する画像加工部、
として機能させることを特徴とするプログラム。
【請求項１】
撮影画像から人物の顔画像を検出する顔検出部と、
検出された当該顔画像から眼部画像を特定する画像特定部と、
特定された当該眼部画像における瞳の位置を加工する画像加工部と、を備える、
ことを特徴とする画像生成装置。
【請求項２】
人物を含む撮影画像を撮影する撮影部と、
撮影された当該撮影画像から、顔認識により当該人物の顔画像を検出する顔検出部と、
検出された当該顔画像から眼部画像を特定する画像特定部と、
特定された当該眼部画像における瞳の位置を、当該眼部画像の中央となるように加工する画像加工部と、
当該眼部画像が加工された顔画像を含む撮影画像を、他の装置に送信する画像送信部と、を備える、
ことを特徴とする画像生成装置。
【請求項３】
請求項１又は２に記載の画像生成装置であって、
前記画像加工部は、加工した当該眼部画像の瞳の一部に、更に輝点を合成する、
ことを特徴とする画像生成装置。
【請求項４】
請求項１乃至３の何れか１項に記載の画像生成装置であって、
検出された当該顔画像から、当該人物の視線方向を算定する算定部を更に備え、
前記画像加工部は、算定された当該視線方向が所定範囲内である場合に、当該眼部画像における瞳の位置を加工する、
ことを特徴とする画像生成装置。
【請求項５】
顔検出部と、画像特定部と、画像加工部とを有する画像生成装置における画像加工方法であって、
前記顔検出部が、撮影画像から人物の顔画像を検出する顔検出ステップと、
前記画像特定部が、検出された当該顔画像から眼部画像を特定する画像特定ステップと、
前記画像加工部が、特定された当該眼部画像における瞳の位置を加工する画像加工ステップと、を備える、
ことを特徴とする画像加工方法。
【請求項６】
コンピュータを、
撮影画像から人物の顔画像を検出する顔検出部、
検出された当該顔画像から眼部画像を特定する画像特定部、
特定された当該眼部画像における瞳の位置を加工する画像加工部、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−２０４１８２（Ｐ２０１１−２０４１８２Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−７３３８８（Ｐ２０１０−７３３８８）
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（５０６１１３６０２）株式会社コナミデジタルエンタテインメント (1,441)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（５０６１１３６０２）株式会社コナミデジタルエンタテインメント (1,441)
【Ｆターム（参考）】
[ Back to top ]