通話自動評価機能で評価作業の効率化と品質向上を実現

パーソルワークスデザイン株式会社について

パーソルワークスデザインは、BPOのプロフェッショナルとして、事務処理、ITヘルプデスク、コールセンターをはじめ、健康支援等のヘルスケア事業を行っています。東京、宮崎、佐世保に拠点を構え、クライアント企業の拠点に常駐してのサポート、また、宮崎第1アウトソーシングセンターを活用したコストパフォーマンスの高いサービスデスクの運用を中心に、顧客のニーズに合わせたサービスをご提供しています。

音声認識システム導入前の課題

ビジネス拡大にともないコールセンター業務に従事するスタッフが増加する一方、モニタリング評価者側のリソースは増やす事ができず、スタッフ数百人の応対音源を一本一本人が耳で聞くといった労力のかかるモニタリングを行っていました。スタッフの人数が人数ですので、一人あたりのモニタリング対象音源の件数に制約があったり、評価者間のカリブレーションにも多くの時間が要するなど、リソース面の課題が顕著でした。

このような課題を抱えていた中で出会ったのがAmiVoice MediaScriber Cloudです。音声認識ツールを導入することで、リソースの課題が改善できるのではないか、モニタリング評価者側のスキルや経験の差に関わらず一定の基準で公平な評価ができるのではないか、スタッフへのフィードバックの負荷軽減ができないか、といった期待がありました。

AmiVoice MediaScriber Cloudの導入

第二事業本部 サービス戦略部 コンサルティング課 課長 植草 健吾様

導入検討時の評価ポイントは2つでした。1つ目は音声認識率です。実際に通話自動評価が使えるレベルの認識率が出せるのかはじめは半信半疑でした。2つ目は通話自動評価機能の実用性です。人が行うモニタリング評価と遜色ない品質評価が行えるかどうかがポイントと考えていました。

音声認識率は、約1か月の検証期間で書き起こし学習、辞書学習をさせた結果、95%の認識率を得ることができました。学習作業の手間がともないましたが、導入判断の目安を85%と考えていましたので、認識率の問題は無事クリアです。

次に品質評価機能です。｢人の耳で行ったモニタリング評価とツールが出した評価を近しい評価にできるのか？｣が検証のポイントでした。実際に人がモニタリングを行った音源をAmiVoice MediaScriber Cloudに登録するという方法で検証を行いました。弊社独自のモニタリング評価ロジックを構築し、評価指標ごとの点数や重み付けといった細かなチューニングを重ねた結果、ツールの評価と人の評価を近しいレベルまでもっていく事ができました。これなら十分にモニタリングに活用できると判断し、導入に踏み切りました。

通話自動評価によりモニタリングレポートを作成

弊社はHDI-Japanのストラテジックパートナーであり国際認定スタンダードに精通しています。問合せ窓口格付け調査の審査員も多数在籍しており、豊富なモニタリングノウハウを持ち合わせています。このノウハウに基づいた弊社独自の評価指標(約27項目)をAmiVoice MediaScriber Cloudに登録してモニタリング評価を行っています。これまでのレポートは、モニタリング評価者がスタッフ１人ごとに手作業で評価コメントを作成していましたが、AmiVoice MediaScriber Cloudの導入後はレポート作成を自動化しています。これによりモニタリングレポート作業の大幅な効率化が実現できました。

モニタリング工数を大幅削減。
スタッフの意識も向上し更なる品質向上へ

第二事業本部 サービス戦略部 コンサルティング課 外山 裕梨様

これまでモニタリング評価者が一本ずつ人で耳で聞いていたモニタリングが自動評価できるようになり、モニタリング工数が大幅に削減できました。

人が評価を行う場合は、1本のモニタリングに少なくても30分は要しますが、AmiVoice MediaScriber Cloudの場合はほんの一瞬です。人が評価を行う場合は、評価基準のカリブレーション(月15時間程度)が必要なのですがこれがゼロになりました。弊社では3ヶ月で3FTE以上の工数削減効果を見込んでいます。

実際に自動評価を行ってみると、早口や不明瞭な話し方によるテキスト誤認識が多いことに気付きました。「お電話ありがとうございます」という「お」を認識できていない音源を聞いてみると、実際に「お」の発声が弱かったりします。｢ツールが認識できていない言葉は、人が聞いても聞こえづらい｣という事が少しずつ浸透し始め、これまでより明瞭に話すスタッフが明らかに増えました。導入前には想定していなかった改善効果です。

評価される側のスタッフからは、｢評価者によって評価結果が違う｣、｢好き嫌いで評価されているのではないか｣といった評価の公平性を問う声があがっていましたが、その問題は一掃されました。また、AmiVoice MediaScriber Cloudが導いた評価結果という伝え方ができることでフィードバックする側の心的負担軽減にも繋がっているのではないかと思います。

会話内容がテキスト化され評価結果も画面上に表示されるというのは、評価されるスタッフにはかなりのインパクトがあったようです。AmiVoice MediaScriber Cloudを導入したことで、チーム主導の改善活動の活性化に繋がりました。これは思いがけない嬉しい効果でしたね。

ツールと人の共存、運用の工夫で効果的に

当初は｢ツールが入ればなんでも自動で出してくれるのかな｣と思いもあったのですが、いざツールを使ってみると、｢人間が評価する部分も残す事が重要｣だということに気付きました。

AmiVoice MediaScriber Cloudはテキストデータからキーワードをヒットさせて評価する仕組みになっているため、声のトーンや抑揚によるコールの印象は人の耳で確認する必要があります。感情分析機能が実装されると、この辺りの評価も出来るようになつる可能性もあるため、今後の機能追加にも期待しているところです。『ツールと人のハイブリッド運用が大切』AIテクノロジーの話ではよく聞こえてくるフレーズですが、AmiVoice MediaScriber Cloudでも同様のことが言えるのではないかと思います。

AmiVoice MediaScriber Cloudの導入時に一番苦労したのは書き起こし学習による教師データの準備です。これには時間とコストがかかりますが、絶対に避けて通ることができない作業です。どのように書き起こし学習を進めるかを検討した結果、実際に電話対応を行っているスタッフに書き起こし学習を依頼することにしました。書き起こし学習作業を通じて自社センターの応対品質に真正面から向き合ってもらうという狙いからです。これまで、実際の音源を耳で聞きながらテキストを目で追うという機会はありませんでしたし、スタッフ自身がモニタリング評価者になったような気分になれるのは実に貴重な体験です。書き起こし学習の対象音源には素晴らしい対応もあれば大きな改善が必要な対応もあります。良い手本・悪い見本にたくさん触れることでスタッフの品質改善の意識向上に繋がっています。

今後の展望

私たちは、お客様に「ありがとう」と言って頂ける『サービスマインド溢れる対応』をコンセプトにモニタリングの仕組みを作っています。音声と文字を突き合わせて確認していけば、お客様が困ったポイントや喜ばれたポイント、喜怒哀楽を読み解くことができます。お客様の心理的ニーズを満たすことで、たくさん「ありがとう」と言って頂けるよう親身丁寧なプロらしい対応を目指し続けます。

スタッフの多くが｢働いてよかったと思う体験は｣という問いに『お客様からの感謝』を挙げています。感謝されることがスタッフのモチベーションを引き上げるのです。今後もスタッフの応対品質管理ならびにモチベーション管理にAmiVoice MediaScriber Cloudを活用していきたいと考えています。