感情認識AIによる動画分析サービス「心sensor」がバージョンアップ、リアルタイム動画分析が可能に

CACが今年2月にリリースした新サービス「心sensor(ココロセンサー)」。

数度のバージョンアップを経て、新たな機能がご利用いただけるようになりました。

こちらでは、感情認識AIによる動画分析サービス「心sensor」の新機能についてレポートします。

動画分析サービス「心sensor」

心sensorは、動画に映る人物の表情を感情認識AIで分析します。

心sensorでは、34のフェイスポイントの動きを基に、21種類の表情認識、7種類の感情認識、2種類の特殊指標(①ポジティブ/ネガティブ ②表情の豊かさ)などが分析できます。

分析の結果は、ビューア画面で動画の再生に合わせ、表情や感情を表す時系列のグラフで確認することができます。また、この分析結果は、数値による感情ログファイルとしてCSV形式で出力もされます。

心sensorのビューアでの分析結果イメージ
心sensorのビューアでの分析結果イメージ

心sensorの新機能・リアルタイム分析

この心sensorがバージョンアップし、新たに利用できる機能が増えました。

最大の特徴は、リアルタイム分析が可能になったこと。

2月リリースの初版では、分析の対象になる動画はPCなどに保管された動画データのみでした。

バージョンアップした心sensorには、PCに接続したカメラで撮影している映像に映っている人物の感情をリアルタイムで分析できる機能が追加されました。

リアルタイム分析では、カメラから取得しているリアルタイムの映像が表示されます。顔が認識されると顔の周りに枠が表示され、表情値が表示されます。

心sensorのリアルタイム分析イメージ
心sensorのリアルタイム分析イメージ

リアルタイム分析でも、ビューアでの分析結果参照ができますが、映像下のグラフには「7種の感情値」、「21種の表情値」「2種の特殊指標値」の情報がリアルタイムにグラフ表示されます。
また、感情ログのCSVファイル出力もされます。

最新バージョン(Ver.1.2)では、リアルタイム分析の動画の録画と感情ログの保存もできるようになりました。また、分析結果が管理しやすくなるよう、履歴管理機能も強化されています。

最近のノートPCにはカメラが内蔵されているものが多いですから、カメラ内蔵のノートPCさえあれば、心sensorのアプリケーションをインストールして、すぐにカメラ撮影の映像の感情分析ができます。

例えば、営業職の方のプレゼンテーションを分析して、分析結果をより効果的な営業活動に活かしたり、店頭に訪れるお客様の感情を分析して満足度を測ったり、自社製品を試しているモニターのリアルな反応を計測したり、など感情認識AIの様々な活用のシーンが広がります。

他にも便利な機能が追加

心sensorのバージョンアップで追加になった機能は、リアルタイム分析だけではありません。

バージョンアップした心sensorでは、分析結果をサマリー情報として表示できるようになりました。

サマリー情報では、動画の分析結果をグラフなどで表示します。
動画の感情分析結果がビジュアルで表現されるため、数字だけでは気が付かない示唆を分析結果から得ることが可能になります。

サマリー情報で表示されるグラフや情報は以下のとおりです。

パイチャート(円グラフ)

動画中の「顔なし」「感情なし」「感情あり」のフレームの割合や、顔検出中のポジティブ/ネガティブの割合、顔検出中の有意な感情値の割合を円グラフで表示します。

サマリー情報・パイチャート(円グラフ)のイメージ
サマリー情報・パイチャート(円グラフ)のイメージ

感情ヒストグラム

動画中の各感情値の大きさの出現頻度の割合を棒グラフで表示します。

感情ヒートマップ

動画全体の長さを5等分割したセクションそれぞれで、各感情値の大きさをヒートマップで表示します。

サマリー情報・感情ヒートマップのイメージ
サマリー情報・感情ヒートマップのイメージ

統計量サマリー

動画全体、および5等分割したセクションそれぞれで、各感情値の各種統計情報を表示します。

 

さらに、これらのサマリー情報は、「レポート」ボタンで、表示されている各情報をエクセルシートに出力することができます。

これらに加えて、バージョンアップした心sensorでは、複数の動画ファイルに一括分析指示を出すことも可能になりました。
これにより、手持ちの動画ファイルを1つずつ分析する必要がなくなり、最初に必要な複数の動画ファイルをまとめて登録すれば、あとは心sensorが登録した順番に各動画ファイルを分析してくれます。

また、感情認識AIの最新版(AffdexSDK4.0)への対応を行い、表情認識の精度が更に向上しました。

心sensorの感情認識AI

心sensorは、感情認識AIに米Affectiva社のソフトウェア「Affdex SDK」を利用して、CACが独自開発したサービスです。
Affectiva社は感情認識AIのリーディングカンパニーで、CACはAffectiva社の唯一の日本正規代理店です。

Affectiva社の感情認識AIは、世界87ヵ国以上から収集された約650万人の顔画像データを保存・使用しています。この世界最大級のビックデータの活用により、より正確な感情認識が実現できるのです。

また、Affectiva社の感情分析には、FACS(Facial Action Coding System:顔面動作符号化システム)のアルゴリズムが採用されています。FACS は、1978年の開発以来、長年にわたる研究の蓄積が活用された表情理論です。

「Affdex」|Affectiva×シーエーシー

CACが提供する感情認識AIサービスの詳細は以下をご覧ください。

人の感情を認識するAI「Affdex」|Affectiva×シーエーシー

今後の展開

心sensorは、動画データを、各種リサーチや商品開発、顧客満足度調査などで企業が抱える課題解決のソリューションとしてご利用いただけます。

2月のリリース以来、心sensorには多種多様な業界のお客様から関心を寄せていただいています。

最近では、自社の課題解決だけでなく、自社の複数顧客の課題解決のために心sensorのデータを活用したいというご要望も増えてきました。

こうしたご要望にお応えするべく、企業ユーザーへの心sensorの新たな提供方法も検討してまいります。

今後もCACは、感情認識AIをより多くのお客様が、より利用しやすくなるように、サービスの改善を続けていきます。

人の感情を認識するAI「Affdex」|Affectiva×シーエーシー

一覧に戻る

関連コンテンツ