自然言語処理-NLP-
のサービス比較と企業一覧

自然言語処理とは、人間が使用している言葉である「自然言語」をコンピュータ上で処理する技術のことです。自然言語はこれまでコンピューター上での処理が難しいとされてきました。しかし機械学習の発展により、近年ではチャットボットや音声認識などさまざまな分野で活用されています。

そんな自然言語処理の歴史は古く、1940〜1960年頃に黎明期と呼ばれ、1946年に初めてコンピュータが誕生しました。1990年頃から現在までは「発展期」と呼ばれており、2010年代に入ると、画像認識や音声認識といったさまざまなタスクにおいて、大幅な精度の向上が見受けられるようになりました。

ここからは、自然言語処理の導入を検討されている方に向けて、導入前の注意点をご紹介します。

課題・目的を明確にする

自然言語処理の導入にあたり重要なことは、自社で「解決したい課題」や「目的」を明確にすることです。たとえば、以下のような課題・目的が考えられます。

• 例１
  課題：チャットボットの活用率が低い
  目的：選択式ではなく自然言語に対応させて、顧客満足度を向上させたい
• 例２
  課題：社内での書類保管・管理はクラウド上で行っているが、探す際に時間がかかる
  目的：検索システムに自然言語処理を導入し、すぐに書類が見つかるようにしたい
• 例３
  課題：外国語の資料を読解するのに手間がかかる
  目的：翻訳の手間を省くため、機械に翻訳させたい

以上のように目的と課題をできるだけ具体的にしておくと、プロダクトやサービスの検討が進めやすくなります。

自然言語は、プログラミング言語とは異なり曖昧性が存在するわけですが、その曖昧性を克服し、適切な形でテキストデータを活用するために用いられるのが「自然言語処理」という技術です。そんな自然言語処理を行うためには、「機械可読辞書」と「コーパス」の2つが欠かせません。

機械可読辞書

機械可読辞書とは、「コンピューターが単語の総体である語彙（ごい）を理解するために必要となる辞書」のことです。書き言葉の書籍情報や関連情報などを機械が正しく読み込むことができるように置き換えた通信規格であり、いわば「ロボットの目」のような役割を担っています。

コーパス

コーパスとは、自然言語処理を行う際に必要となる「自然言語の文章を構造化して大規模に集積したもの」を指します。このコーパスの分析を行うことで、状況に適した言葉の意味、使い方を理解することができるようになるわけです。最近では、コンピューター自体の処理性能や記憶容量も高まってきている状況にあるため、より大規模なコーパスを利用して言語処理を行うことができるようになっています。

形態素解析

機械可読辞書とコーパスの用意が完了すると、次に行われるのが形態素解析という作業です。「形態素」は言語学の用語であり、意味を持つ表現要素の最小単位のことです。これだけでは意味が分からない方も多いかと思いますので、先ほどの「黒い目の大きい金魚」という言葉を用いて解説していきます。

この「黒い目の大きい金魚」というフレーズは、「黒い」「目」「の」「大きい」「金魚」という形態素で分割することができるわけです。このように分割していく作業を「形態素解析」と呼びます。

構文解析

構文解析とは、「一つひとつの形態素データがどの形態素データと隣り合わせになっているのか」を確認していく工程のことです。日本語の構文解析では、形態素解析によって分割された単語同士の関連性を解析した上で、「分節感の係り受け構造を見つけてツリー化（図式化）していくこと」が主な目的となっています。そんな構文解析には、以下2つの解析手法が存在します。

1. 依存構造解析

依存構造とは、単語や文節間における「修飾・被修飾関係」「係り受け関係」などの依存関係をもとに、文章の構造を表したものです。単語・文節を接点とするツリーによって表現されます。つまり依存構造解析は、文章内における「単語間の係り受け関係」を調べた上で、「どの単語がどの単語に係るのか」を構文的に解析していく作業というわけです。

2.意味解析

意味解析とは、構文解析された文章内の意味を解釈していく工程のことです。日本語の場合、ひとつの原文に対して複数の解釈ができるケースも少なくありません。その一例として、以下のような文章が挙げられるでしょう。

「私は冷たいビールとメロンが好きだ。」

この文章の場合、「私は｜冷たい｜ビールとメロン｜が好きだ。」という解釈であればどちらも「冷たい」と認識できます。しかし、「私は｜冷たいビール｜と｜メロン｜が好きだ。」という解釈であれば、メロンの冷たさは問わないことになるわけです。
このように、複数の解釈ができる文章において、正しい解釈を選択するために必要となるのが意味解析です。

文脈解析

文脈解析とは、文章の繋がり（文脈）を考えていく工程のことです。複数の文に対して「文同士のつながり」を解析するためには、文章の背景など複雑な情報も必要になります。

そのため、意味解析よりもさらに難易度は高く、現状では実用分野への応用が難しいといわれています。

では、自然言語処理を導入した場合、どのようなメリットが得られるのでしょうか。また、どのようなデメリットが生じる可能性があるのでしょうか。メリット・デメリットを詳しくみていきましょう。

自然言語処理導入のメリット

自然言語処理を導入するメリットとして挙げられるのは、SNSの普及に伴いチャットツールの需要が高まっていることが挙げられるでしょう。今後さらにチャットツールの利用は増加していくことが予想されており、テキストデータ量は増加していくため、もはやテキストデータの活用は必要不可欠と言っても過言ではありません。

そのような中で自然言語処理を有効活用できれば、さらなる業務効率化を実現したり、多くの企業が課題としている人材不足を解消したりと、さまざまなメリットを得ることができます。

自然言語処理導入のデメリット

自然言語処理のデメリットとして挙げられるのは、必ずしも言語を正しく処理できるとは限らないという点です。特に、感情を正しく認識するのは難しい傾向にあり、発言と感情が一致せずにニュアンスが伝わりにくくなってしまうというケースは多く見受けられます。

そのため、テキストから感情認識した場合と、音声から感情認識した場合で結果が異なってしまうことがある点は、自然言語処理の課題（デメリット）の一つといえるでしょう。とはいえ、自然言語処理の分野は日々進歩しているため、今後これらの課題が解消されていく課題も十分にあります。そのため、今後期待されるポイントとして捉えることもできるでしょう。

「自社の課題が、自然言語処理導入によって解決されるのか分からない」という方に向けて、自然言語処理を活用されている分野をご紹介します。

検索システム

「検索システム」はGoogle検索などさまざまな場面で使用されています。それらの検索システムの中でも、キーワードごとに区切らなくても自然言語で検索できるシステムには、自然言語処理が用いられています。

精度の高い「検索システム」は、目的のデータと完全に一致しない言葉で検索した場合でも、言語から正しく意味を解釈し目的の検索結果を探し当てることができます。

チャットボット

「チャットボット」は自然言語処理が用いられている代表的なサービスの1つです。ユーザーが入力した文に対して、文脈や意味を読み取り最適な回答を導き出します。

特に日本語では文中で主語が省略されがちですが、自然言語処理を導入したチャットボットであれば直前の会話に出てきた主語を記録し意味をくみ取ることも可能です。

音声認識

「音声認識」は、認識された音声をテキスト化する際に自然言語処理を用いています。この技術は、議事録の作成によく用いられています。自然言語処理搭載の音声認識AIを使用すれば、会議が終了するタイミングで議事録は概ね完成します。

AI-OCR（文字認識）

手書きの文書や帳票を読み取って電子化する技術である「AI-OCR（文字認識）」にも、自然言語処理が活用されています。手書き文字の認識において、自然言語処理を用いるとAI自身が文字の特徴抽出やモデル学習を行えます。

対話システム

SiriやAlexaのようなスマートスピーカーに用いられている対話システムも、自然言語処理によって実現しています。自然言語で話しかけた場合でも的確に意図を解釈し指示に従うことができます。

テキストマイニング

テキストマイニングは、膨大なテキストデータから目的の情報を探し出す際に用いられます。自然言語処理は、テキストマイニングでビッグデータからデータを分析する段階で、テキストを適切な構造データに変換する際に用いられます。

文章を名詞・形容詞・動詞などの単語に分割し、単語同士の相関関係や出現頻度を分析することで有益な情報を判断し抽出します。

前述した事例以外にも、自然言語処理が活用されている事例はたくさんあります。導入を検討されている場合は、一度開発会社やサービス提供会社に相談してみることをおすすめします。

※ビッグデータ・・・従来のシステムでは管理、分析が難しいような巨大なデータ群

自社の目的に合う最適な自然言語処理製品を選ぶためのコツをご紹介します。

自社の課題・目的が属する領域を明確にする

自然言語処理は幅広い分野で活用されているため、まずは自社の課題・目的が属する「分野」を明確にすることをおすすめします。

例）検索システムの開発が必要な場合
検索システム開発の実績やノウハウを保有している会社に相談することで業務設計が円滑に進むことが期待できます。

対応環境・対応言語を確認する

自然言語処理は製品やサービスによって動作環境が異なりますので、自社で使用予定の環境が対象に含まれるか確認をしておくことが重要です。

例）チャットボットを導入する場合
LINEやMicrosoft Teams/365に対応しているかなどが確認のポイントになるでしょう。

また、複数の言語に自然言語処理を活用したい場合は対応言語を確認することも欠かせません。

コストや使用感を確認する

製品を導入する際にかかるコストや、対応環境、対応言語の使いやすさなどを検討することも非常に大切です。魅力的な機能が多く搭載されている製品であっても、その製品の導入・運用コストが自社の予算を大幅に上回ってしまっては意味がありません。そのため、自社の予算を明確化した上で、その予算に見合う最適な製品を検討していくと良いでしょう。

また、最近では無料で使用感を試すことができる製品も存在するため、それらをお試しで活用してみるのも一つの手段といえるでしょう。

データ量や出力の精度を確認する

データ量や出力の精度を確認しておくことも、非常に重要なポイントの一つです。製品ごとに出力の精度は異なるため、より高い精度を実現できる製品を見極めなければなりません。最近では、無料トライアルが設けられている製品も存在するため、トライアルを活用して自社との相性をチェックしていくのも効果的な手段といえるでしょう。

数ある「自然言語処理」の中から、自社の課題や導入の目的にあった「自然言語処理」を選び出すのは容易ではありません。そんな時に役立つのが、用途別にセグメントされた自然言語処理カオスマップです。

この便利なカオスマップとサービスベンダー一覧は、以下の「​​カオスマップと自然言語処理サービスベンダー一覧を無料でダウンロードする」ボタンより無料でダウンロードできます。

カオスマップと自然言語処理サービスベンダー一覧を無料でダウンロードする

自然言語処理の精度は日々向上していますが、下記の様に処理が困難な場合もあります。円滑な運用を行うために、自動言語処理で注意が必要な点を押さえておきましょう。

解釈が異なる文脈の読み取り

自然言語処理の文脈解析は、まだ精度が十分な実用性に達していません。「それはやばいですね」などのように文脈によって解釈が異なる言語には注意が必要です。

一般常識を持たない

自然言語処理は人間と異なり一般常識を持っていません。そのため、「毎日空を飛んで出勤する」という文章に対して人間は「おかしい」と判断できますが、自然言語処理では簡単に判断することはできません。

言語の違いへの対処

言語によって文章の体系は大きく異なります。そのため、自然言語処理がその違いにどう対処していくかというのは課題の1つです。システムのアルゴリズムが、対象言語に大きく依存しないよう対処する難易度は非常に高いと言えます。

以上のような自然言語処理の難易度が高い点に関しては、重点的に学習をさせチューニングを行うことで対策すると良いでしょう。