AIポータルメディア「AIsmiley」| AI製品・サービスの比較・検索・資料請求サイト
TEL
MAIL
03-6452-4750

自然言語処理でできることとは?仕組みを詳しく解説

最終更新日:2021/11/16

自然言語処理でできることとは?仕組みを詳しく解説|人工知能を搭載した製品・サービスの比較一覧・導入活用事例・資料請求が無料でできるAIポータルメディア

私たち人間は、言語を用いて日常生活を生きています。それは会話だけでなく、文章においても言えることです。もし、会話や文章による意思伝達(コミュニケーション)ができなくなってしまったらと想像すると、非常に恐ろしいことがお分かりいただけるのではないでしょうか。

そんな、現代では当たり前のように使われている言語をコンピューターなどが正しく理解する方法として、「自然言語処理」というものが用いられています。

機械翻訳や対話システムなどが、人それぞれ少しずつ異なる言い回しを正しく理解することができるのは、この自然言語処理という技術が存在するからに他なりません。

今回は、そんな自然言語処理ができることについて、詳しく見ていきましょう。

■自然言語とは「人間が使う言葉」

■自然言語処理における「自然言語」って何?|人工知能を搭載した製品・サービスの比較一覧・導入活用事例・資料請求が無料でできるAIポータルメディア

自然言語処理は、その名の通り「自然言語を処理する技術」を指しているわけですが、そもそも「自然言語」というものが何なのか、いまいち分からないという方も多いのではないでしょうか。この「自然言語」とは、私たちが日常的な会話で使用している言語のことだと捉えていただければ問題ありません。

ちなみに、自然言語と相反する言語としては「コンピューター言語」というものがあり、「1+2+5」といったような一通りの解釈しか存在しないようなものは、コンピューター言語に該当します。

一方の自然言語には、複数の解釈ができるケースも少なくありません。例えば、「A君は自転車で帰宅中のB君を追いかけた」という文章があったとします。この場合、「A君は自転車に乗り、帰宅中のB君を追いかけた」という解釈をすることもできれば、「A君は、自転車に乗って帰宅しているB君を追いかけた」という解釈をすることもできるわけです。

このように自然言語は複数の解釈ができることから、これまでは適切な形で処理を行うことが難しいとされてきました。しかし、近年はAI(人工知能)の技術が発展したことにより、非常に高い精度で自然言語処理を行えるようになってきているのです。
(参照:SPJ 自然言語処理(NLP)とは?具体例と8つの課題&解決策)

●自然言語処理の歴史

自然言語処理の歴史は、1940年代まで遡ります。1940~1960年頃は黎明期と呼ばれており、1946年に初めてコンピュータが誕生しました。当初は、弾道計算や暗号解読といった軍事利用が主な目的だったといいます。しかし、ロックフェーラー財団のウィーバーが、このコンピュータが翻訳にも活用できるかもしれないと考えたことがきっかけとなり、米国内で機械翻訳への関心が高まっていきます。

そして1952年、ジョージタウン大学とIBMが共同で翻訳プロジェクトを始動し、ロシア語から英語に翻訳を行うという小規模な実験が行われました。これが、自然言語処理の始まりです。その後、アメリカはソ連の科学技術の実態をリサーチするために、「ロシア語→英語」の翻訳に関連する研究に、膨大な研究予算を投入しました。そうして、機械翻訳は一気に進展していったのです。

1960~1990年頃は忍耐期と呼ばれており、莫大な研究費を費やすものの、研究が進展するごとに問題の難しさが認識されるような状況になったといいます。1967年には、Brown Corpusという米国の言語の仕様を調査する目的で、電子化された文書として初の100万語規模のコーパスが発表されました。コーパスとは、テキスト文書の集合に特定の情報を付与したもののことです。

1970年代に入り、コンピュータの処理能力向上とともに言語やテキストを扱う環境も少しずつ整い始めましたが、機械翻訳のような知的処理に関しては、まだ実用化できるほどの精度が足りていない状況だったといいます。そして、1990年頃から現在までは「発展期」と呼ばれています。この間にインターネットが世界的に普及し始めたことを踏まえると、まさに社会基盤になった時期といえるでしょう。

2000年代には、「マシンパワー増大」「ビックデータ活用」「アルゴリズム改良」といったトピックもあり、再び注目され始めるきっかけとなりました。2010年代に入ると、画像認識や音声認識といったさまざまなタスクにおいて、大幅な精度の向上が見受けられるようになりました。特にニューラルネットワークを活用した翻訳手法である「ニューラル機械翻訳」は、大幅に精度が向上され、機械翻訳を実用化できるほどの技術にまで発展させました。

■自然言語処理でできること・ビジネス活用事例

●検索エンジン

自然言語処理はさまざまな場所で活用されていますが、その代表的な事例ともいえるのが検索エンジンです。2019年10月25日、Googleが最新の自然言語処理技術である「BERT」を検索エンジンに採用したことで大きな注目を集めました。この「BERT」という自然言語処理技術は、発表当初は英語圏のみで導入されていましたが、同年12月には日本語圏を含む70以上の言語においても導入されています。

そんな「BERT」の大きな特徴として挙げられるのは、文脈を理解できるという点です。「BERT」が登場するまでの自然言語処理技術は、私たちが話す文章の中から、それぞれの単語を理解することはできましたが、一つひとつの単語の繋がり(文脈)を読み取ることまではできませんでした。そのため、検索ワードによっては適切に検索意図を読み取ることができず、ユーザーの求める検索結果を表示できないというケースも多かったのです。

しかし、「BERT」が導入されたことで、より複雑な条件が含まれている検索クエリに対しても、適切な検索結果を表示させられるようになりました。たとえば、「BERT」が導入されていない日本語のGoogle検索において「魚介じゃないラーメン」と検索した場合、検索結果には「魚介ラーメン」の店舗も表示されてしまう仕組みだったわけです。

しかし、「BERT」が導入されたGoogle検索であれば、「魚介じゃないラーメン」を「魚介」「じゃない」「ラーメン」というように、3つの要素に分解してそれぞれを個別に理解し、さらに「じゃない」といった英語のnotにあたる表現などにも対応できます。

●機械翻訳

■自然言語処理でできること1:機械翻訳|人工知能を搭載した製品・サービスの比較一覧・導入活用事例・資料請求が無料でできるAIポータルメディア

(参照:Google 翻訳)

Google翻訳をはじめとする機械翻訳は、多くの方が一度は利用したことがあるのではないでしょうか。この機械翻訳は、まさに自然言語処理によってできることのひとつです。ここ数年で機械翻訳の精度は一気に高まってきており、最近では合成音声と組み合わせたサービスも多くなってきています。

例えば、「あなたは将来、進歩した自然言語処理の技術を実感することになるでしょう」という日本語を英語に訳した場合には、「In the future, you will experience advanced natural language processing techniques.」となります。

しかし、この「In the future, you will experience advanced natural language processing techniques.」という文章をもう一度和訳すると、「将来的には、高度な自然言語処理技術が体験できます。」という文章になるのです。

私たち日本人は、一般的な会話の中で「あなたは~するでしょう」といった言葉の使い方をするケースは多くありません。Google翻訳はそれを理解した上で、より一般的な表現に近い言葉に置き換えることができているのです。

まさに、AIの技術によって的確に文脈解析と意味解析が行われ、適切な解釈のもとで自然言語処理が行われているということがお分かりいただけるのではないでしょうか。

●文章要約

最近では、自然言語処理を活用した文章要約も行われるようになりました。「AIが文章の内容を理解し、自動で要約する」というものです。文章の自動要約において採用されているのは、抽出的要約と生成的要約というアルゴリズムです。

抽出的要約とは、文章において主要となる単語・文章を抽出し、換言などを行うことなく要約を作成するアルゴリズムとなっています。特に複雑なアルゴリズムが必要になるわけではないため、自動要約の手法としては主流となっています。しかし、要約した文章では、指示語や背景の説明が不足することもあるため、決して完璧な存在とはいえません。

一方の生成的要約は、内容を反映させつつ、言い換えや短い表現を用いることで、手文法的に自然な文章を生成していくというアルゴリズムです。私たち人間が行う要約のイメージに近いものといえるでしょう。そのため、抽出的要約よりも高レベルな要約が行えますが、その分要求されるタスクも複雑になります。

近年は、より重要な文章を判別し、その部分のみを強調するなど、私たち人間が要約するための「補助ツール」といった形での開発も進められている状況です。

●対話型AI

・AIチャットボット

何気なくスマホやパソコンのサービスを利用している人からすれば、どのような部分に自然言語処理を用いたサービスが使われているか、あまりピンとこないかもしれません。しかし、意外と多くの場所で自然言語処理を用いたサービスは利用されています。

その代表例として挙げられるのが、「Siri」や「Googleアシスタント」といったAIアシスタントサービスです。これらはまさに、自然言語処理を用いたサービスのひとつといえます。私たちの発する言葉を認識し、その言葉に対する適切な答えを提示するという仕組みは、まさに自然言語処理を用いたものなのです。

また、チャットボット(対話システム)も自然言語処理を用いたサービスのひとつです。自分が打ち込んだ文章の文脈や意味合いを的確に理解し、最適な回答を文章化するというチャットボットも、自然言語処理が用いられています。特に日本語の場合は、主語が抜けただけで大きく意味合いが変わってしまうことも少なくありません。そのため、チャットボットでは直前の会話に出てきた「主語」を記録した上で、その後のコミュニケーションに生かしていくことなども可能になっているのです。

チャットボットとは?

・音声認識AI(ボイスボット)

多くの音声認識AIは、自然言語処理と組み合わせて運用されています。音声認識の領域は、「録音したデータから人間の声だけを抽出し、文脈の通ったテキストに起こす」という部分までです。
したがって、「こんにちは」という挨拶に対しては「こんにちは」と返す、というような命令に対して操作を行う技術は、テキストを「意味のある文言」として認識・処理する自然言語処理の領域といえるのです。

対話型AI「ボイスボット」を解説!導入事例やメリットを紹介!

●AIスピーカー

■自然言語処理でできること2:対話システム|人工知能を搭載した製品・サービスの比較一覧・導入活用事例・資料請求が無料でできるAIポータルメディア

また、Amazonのスマートスピーカー「Alexa」などで知られる対話システムも、自然言語処理でできることのひとつです。こういったスマートスピーカーを利用したことがある方であれば、人との会話に近づいてきていることがお分かりいただけるのではないでしょうか。

そんなスマートスピーカーには、さまざまなことを指示することができます。例えば、指示されたアプリを立ち上げるという作業です。人が「Alexa、○○を開いて」と指示を出せば、スマートスピーカーはその自然言語を的確に解釈し、その指示通りの操作を実行していきます。

これは、例えばAlexaの場合、インターネット経由でAmazonのクラウドにつながっているため、Alexaが聞いた音声がクラウドに送られてテキスト変換されるという仕組みなのです。

自然言語処理の技術は、そのテキストからユーザーの求めるアプリを推測することができます。そのため、約3万種類も存在するアプリの中から、最適なものを提示することができるわけです。

仮にユーザーが「Alexa、いま何時?」という質問をすれば、Alexaは時計アプリの検索を行い、そのアプリから時刻情報を収集し、自然言語処理によって「現在○時○分です」といった回答を示します。こういった機能も、自然言語処理によってできることのひとつなのです。

●感情認識

感情認識の領域においても、自然言語処理は活用されています。その代表的な活用事例として挙げられるのが、ネガポジ判定と呼ばれるものです。ネガポジ判定とは、自然言語処理の分野における感情分析技術のひとつであり、対象とする文章が「前向き(ポジティブ)」な意味合いなのか「後ろ向き(ネガティブ)」な意味合いなのかを判定する技術となります。

ポジティブ度もしくはネガティブ度が付与された単語辞書をもとに、判定が行われるという仕組みです。たとえば、「あきれる」「あやしい」「あせる」といった単語はネガティブ用語として登録されており、「あこがれる」「ベタ惚れ」といった単語はポジティブ用語として登録されています。

もちろん、ポジティブにもネガティブにも当てはまらない言葉は多数存在するため、ネガティブ(e)・ニュートラル(n)・ポジティブ(p)といった評価極性情報を付与することによって、より確実に文章のネガポジ判定が可能になるわけです。

感情認識とは!?AIが音声や表情から人間の感情を分析!

●AI-OCRの精度向上

AI-OCRの精度を向上させる目的でも、自然言語処理は活用されています。AI-OCRとは、カメラで手書き文字を認識し、文字データへと変換させる技術のことです。

紙書類のデータ化は、多くの企業で課題となっている業務効率化を実現するために必要なポイントとして挙げられることが多いものの一つです。そのため、紙媒体のデータを電子化するための手段として、AI-OCRには大きな注目が集まっています。また、申込書の記載内容をデータ化することで、事務手続きをよりスピーディーに行えるようになることも、大きなメリットとして挙げられるでしょう。

このAI-OCRは、手書きの文字を認識する必要があるため、人によって少しずつ異なる書き方の文字を正しく認識しなければなりません。だからこそ、自然言語処理によってカメラが正しく文字を認識できるようサポートする必要があるわけです。

AI-OCRとは?

■可能性を秘めた自然言語処理は今後さらに進化する可能性も

また、上記でご紹介したもの以外にも、ユーザーからの質問を正しく理解し、適切な回答を示すチャットボットというシステムもあります。このチャットボットの技術には、文章の意味を理解し自動要約するなど、さまざまな形で自然言語処理が活用されています。

また、スマートフォンにおいては、iPhoneの「Siri」やNTTドコモの「my daiz(マイデイズ)」など、音声対話による情報検索のシステムが一般的になりつつあります。すでに、日常生活で当たり前のように使用しているという方も多いのではないでしょうか。

しかし、すでに自然言語処理の技術が完璧かというと、決してそのようなわけではありません。むしろ、今後さらに進化する可能性を秘めた技術といえるでしょう。

例えば、「この部屋少し暑いね」という言葉を発した場合、システムは単純に「この部屋は暑い」という事実のみを表している文として解析します。

しかし、人間同士の会話であれば「その人が暑さに不快感を抱いていること」「部屋の窓を開けることでその不快感が解消される可能性があること」「エアコンを付ければ部屋が涼しくなること」など、複数の推論の末に「エアコンを付けましょうか」といった提案が生まれます。

これは、私たち人間がこれまでの人生において培った「窓を開けると涼しくなる」「エアコンを付けると涼しくなる」といった経験に基づく常識を持ち備えているからに他なりません。こういった知識、常識をコンピューターがどうやって表現し、処理していくかどうかという点は、自然言語処理をはじめとするAI分野の大きな課題といえるでしょう。
とは言え、AIは驚異的なスピードで進歩を続けていますので、今後このような課題を解消する日も決して遠くはないかもしれません。これから先の自然言語処理の進歩に、ますます注目が集まるでしょう。

(参照:NTTドコモ my daiz(マイデイズ) | サービス・機能)

 

自然言語処理のサービス比較と企業一覧を見る

 

AIサービス
自然言語処理-NLP-

AI活用のご相談したい企業様はこちら

03-6452-4750

AI製品・ソリューションの掲載を
希望される企業様はこちら