エムニ、ファインチューニングを用いた特許翻訳特化型LLMを開発。GPT-4oや翻訳モデルを超える性能を達成

最終更新日:2024/09/02

エムニは日本特許翻訳株式会社と共同で、ファインチューニングを用いた特定分野における特許翻訳特化型LLMの開発し、GPT-4oやDeepLを超える性能を実現しました。

このニュースのポイント

Meta社の「Llama-3-70B」をベースに、ファインチューニングを用いた特定分野における特許翻訳特化型LLMを共同開発
ファインチューニングには、特許翻訳の600文対および4000文対を使用し「Llama-3-70B」の性能を向上することに成功
「BLEU」および「RIBES」両評価指標において、DeepLやGoogle翻訳、GPT-4oを超える成果に

京都大学発兼、松尾研発スタートアップ株式会社エムニは、日本特許翻訳株式会社と共同で、Meta社の「Llama-3-70B」をベースに、ファインチューニングを用いた特定分野における特許翻訳特化型LLMの開発し、GPT-4oやDeepLを超える性能を実現しました。

製造業を含む多くの業界では、外国特許を取得したり調査したりする際に特許翻訳の必要がありますが、手動翻訳は高コストで時間がかかります。この課題に対し、AIによる機械翻訳が注目されており、特にGoogle翻訳やDeepLのような高性能ツールは様々な場面で利用されていますが、専門用語への対応が不十分なため、期待する精度を保てない場合があります。

機械翻訳の評価には「BLEU」と「RIBES」を使用。「BLEU」はNグラムの一致数に基づき、スコア40〜50が高品質翻訳とされ、訳語の適切性や過不足を評価する一方で「RIBES」は語順の正確さを評価しました。ファインチューニングには、特許翻訳の600文対および4000文対を使用し「Llama-3-70B」の性能を向上することに成功。その結果、どちらの評価指標においてもDeepLやGoogle翻訳、GPT-4oを超える成果を上げました。

エムニは今後、特定の業務に特化したLLM開発支援と、高セキュリティなオンプレ環境でのLLM活用を強化する方針です。

出典：PR TIMES