【連載】自然言語処理の研究動向　第1回　全40トピックの俯瞰

エンジニアコラム

広い技術領域をカバーする当社の機械学習エンジニアが、
アカデミア発のAI＆機械学習技術を
紹介＆解説いたします。

【連載】自然言語処理の研究動向　第1回　全40トピックの俯瞰

2025.7.17
株式会社Laboro.AI　リードMLリサーチャー　趙心怡
リードマーケター　熊谷勇一

英語版（English version）はこちら。

概　要

自然言語処理（NLP）研究はここ10年で急速な進歩を遂げており、生成AIをはじめさまざまな製品・サービスの基盤的技術になっており、適応分野は広がり続けています。この連載は、そのうち注目すべきトピックを1本ずつ解説する連載です。この分析を通じて、自然言語処理研究の動向について、簡潔でありながら洞察に富んだ視点を提供し、AIに関する研究者、実務家にとって、変化し続けるこの分野を効果的に捉える手助けとなることを目指します。第1回は全40本のトピックを俯瞰することを通して、その進歩と変遷を見ていきます。

連載第2回「ニューラル機械翻訳の研究動向」はこちら。

目　次

・はじめに
・確立されたトピック
　・1. 主要な自然言語処理タスク：絶え間なく洗練される基盤
　・2. モデルアーキテクチャと学習手法
　・3. 特定分野における応用
　・4. 倫理・公平性・信頼性

はじめに

自然言語処理研究はここ10年で急速な進歩を遂げています。ACL（Association for Computational Linguistics）、NAACL（North American Chapter of the Association for Computational Linguistics）、EMNLP（Empirical Methods in Natural Language Processing）、COLING（Computational Linguistics）といった一流の学会がその主要な場として機能しています。この分野における研究動向の変遷をより深く理解するために、私たちは、これらの学会の学術論文を分析し、トピックモデリング（文章データのトピック主題を判断する自然言語処理の手法）を適用して主要な研究の動向を特定し、その注目度を長期にわたって追跡しました。

この分析を基に、自然言語処理の分野を形成してきた、あるいは現在形成されつつある重要なトピック40本を慎重に選定しました。この選定には、長年注目され続けてきた分野と、近年注目を集めつつある新たな傾向の両方を含んでいます。この連載では次回以降、これらのトピックを1本ずつ取り上げ、それぞれの発展過程、重要な成果、直面している課題、そして将来性について、データとともに深掘りしていきます。

今回は連載の初回として、選定したトピックに関して俯瞰的な分析を行い、それぞれの人気の変遷に焦点を定めて解説します。具体的には、2017年から2024年までを分析対象期間とし、各年のトピック間の相対的なトピック比率（分析対象の論文中で特定のトピックを扱っている論文の比率）の高さと、同一トピックにおける前年からのトピック比率の推移という二つの観点から、トピックを分類しました。

トピック比率が高いトピック
ある年から見てトピック比率が前年から上がっていてよく注目されているといえるトピック

トピック比率は落ちているがよく知られているトピック
トピック比率は高いが前年に比べて低下しているトピック

トピック比率が今後高まるかもしれないトピック
トピック比率がまだ高いわけではないが、前年よりも増しているトピック

衰退的なトピック
トピック比率が前年から下がり、あまり研究されていないトピック

年ごとにトピックを分類した後、それらの長期的な変遷を分析し、注目度の全体的な傾向と現在の状況に基づいて、三つの大カテゴリーに分類しました。さらに各カテゴリ内では、主な関心領域（研究の焦点）に応じてトピックを研究分野ごとにグループ分けしています。

三つの大カテゴリーは以下です。

確立されたトピック
長年にわたって広範囲に研究されてきた基盤的な領域

流行トピック
近年、研究への強い関心が高まっている分野

新出トピック
急速に成長していて、今後主要な研究対象となる可能性のあるトピック

今回掲載する4点の図の凡例は以下です。

確立されたトピック

1. 主要な自然言語処理タスク：絶え間なく洗練される基盤

近年の自然言語処理の主要なタスクがどのような傾向にあるのか、改めて注目してみる価値があります。そうした主要タスクは長年にわたりNLPの中心的な存在であり、AIアシスタントや検索エンジン、翻訳ツールなど、実社会のあらゆるアプリケーションに不可欠であり続けました。

下の図のように、2017年から2024年にかけて、機械翻訳や質問応答、テキスト要約といった多くの基本的なタスクに対する注目度は、一貫して高い水準を保っています。一方で、より細かなニュアンスを要する、もしくは複雑なタスクへの関心も高まっています。例えば、少数の事例から学習する固有表現認識（Few-Shot Named Entity Recognition）やメタファー（隠喩）の検出、テキストからSQLへの変換（Text-to-SQL）といった新たなタスク分野が勢いを増してきています。

さらに、この進化はテキストの領域内に留まりません。自然言語処理の主要技術として、テキスト以外の入力も取り込む「マルチモーダル自然言語処理」も着実に台頭してきています。こうした傾向は、基本的な言語タスクがもはや単なるテキストに限定されず、音声、画像、手話、さらには視線追跡といった認知的な信号まで扱えるものとして、新たに認識されつつあることを示唆しています。

こうした新たな方向性は、私たちが「主要」と見なす領域が広がっていることを示しています。現在のモデルには、単にテキストを抽出したり分類したりするだけでなく、豊かな文脈やマルチモーダルな入力を処理し、創造的で一貫性があり、人間らしい応答を生成することが求められています。自然言語処理の研究は、より深い推論や自然な対話、そして特定の分野に適応する能力を必要とするタスクへと向かいつつあります。

こうした進歩は大規模言語モデル（LLM）の登場によって実現しました。LLMはわずかな例示や指示だけで幅広いタスクをこなすことができます。実際、自然言語推論や文脈に応じた応答生成、物語生成といった分野で急速な進歩が見られます。しかし一方で、LLMはその解釈可能性や信頼性に関する新たな課題ももたらしました。今後の連載では、自然言語処理システムが「何ができ、何をすべきか」について、主要タスクが拡張する中、私たちの理解がどう変わっていくのかを探っていきます。

2. モデルアーキテクチャと学習手法

ここ数年にわたり、自然言語処理の進歩にはモデルアーキテクチャや学習パラダイムの革新が欠かせませんでした。主要な自然言語処理タスクはモデルが何をすべきかを定義する一方、それをどれほど効率的に実行できるかは、モデルアーキテクチャや学習パラダイムといった基盤技術に依存します。例えば、Transformerベースのアーキテクチャの精度を高める試みや、モデルの頑健性や効率性、適応性を高める新たな手法の開発が進められてきました。これらの取り組みはエンジンとなって、幅広い自然言語処理アプリケーションにおける性能、スケーラビリティ、そして使いやすさの飛躍的な向上を後押ししています。

Transformerベースの言語モデルが登場した初期には、巨大なモデルをゼロから事前学習し、自己教師あり学習の目的関数を最適化することに大きな関心が寄せられていました。しかしBERTやT5、GPTといった基盤モデルが広く利用可能になり、その能力が向上するにつれ、研究コミュニティーの関心は事前学習そのものから離れ始めました。その理由の一つとして、事前学習に莫大なコストと大規模なインフラが必要となることが挙げられます。

現在、研究開発の焦点は、既存の事前学習済みモデルを有効活用することに移っています。代表的なアプローチとして、次のようなものがあります。

ファインチューニング
モデルを新たなドメインや専門タスクに適応させることができます。

コンテキスト内学習
モデルの重みをまったく変更せず、少数の例示だけで新たなタスクを実行可能にします。

量子化
特にリソースが限られた環境において、大規模モデルをより効率的に動作させる手法として注目されています。

こうした動向は、比較的大きな変化が起きていることを反映しています。基盤モデルが安定してくるにつれ、それらの使いやすさや適応性を高めることに研究の重点が移ってきたのです。モデルのアーキテクチャや学習戦略において、効率性と実社会のニーズへの適合が主要な関心事となっています。本連載では、こうしたモデルアーキテクチャや学習手法の革新が自然言語処理研究の方向性にどのような影響を与えているのかも探っていきます。取り上げるトピックは以下の図の通りです。

3. 特定分野における応用

近年の自然言語処理の進歩により、言語の使われ方や専門用語、汎用的なタスクとは大きく異なる多様な分野で、実用的な応用が増えてきました。ここでは、下の図の通り、特に注目すべき四つの分野を取り上げます。

医療（診療記録の分析、文献情報の抽出、診断支援など）
法律（法的文書の処理、法律調査など）
化学・生物情報学（科学データのマイニング、新たな知見の獲得など）
音楽（楽曲の生成、分類、感情分析など）

四つすべての領域において、ここ数年にわたり関心が着実に高まってきたことが観察できます。こうした応用は単なる実験段階にとどまらず、実際の業務プロセスやシステムにますます組み込まれるようになっています。この盛り上がりは、自然言語処理技術の成熟と、各業界特有の課題や微妙な特徴に対する適応力の高さの両方を物語っています。

自然言語処理技術が進化し続けるにつれ、こうした分野特化型の応用はさらに深化し、多様化していくことでしょう。本連載では、自然言語処理技術が各専門分野のニーズに合わせてどのように調整されているのか、そしてそれによってさまざまな業界のワークフローや意思決定、イノベーションがどのように変革されているのかを掘り下げていきます。

4. 倫理・公平性・信頼性

言語モデルがますます強力になり広く普及するにつれて関心が向けられているのは、それらのシステムが公平で倫理的かつ信頼できるものであることを確保することです。主な懸念事項には、有害な出力や偏った挙動、事実誤認の検出と削減が含まれます。これらはいずれも、実社会で言語モデルを責任を持って活用するために不可欠なことです。

下の図でトピックとして挙げているように、ジェンダーバイアスや攻撃的な言語表現の検出に関する研究は、早い段階から進められていて、現在も活発です。これらの分野が一貫して強く注目されていることは、不適切なコンテンツの管理やプラットフォームの安全性、公平な表現への意識が高まっていることを物語っています。一方で、言語モデルが自信満々に誤った情報や紛らわしい情報を生成してしまうハルシネーションに関する研究も著しく増えてきています。最近の研究では、そうした誤りを検出するだけでなく、発生自体を減らすための手法にも焦点が定められています。

自然言語処理システムが実社会で利用されるようになるにつれて、正確性と同様に信頼性も同じくらい重要になってきています。本連載でも、自然言語処理におけるAIの責任ある取り組みがどのように進化してきたのか、そしてより安全で公平かつ信頼できる言語技術を目指して、この分野がどのように取り組んでいるのかを、探っていきます。