NLP中的范式转移和统一范式:Paradigm Shift in Natural Language Pr...
发布网友
发布时间：2024-09-26 18:30
共1个回答
热心网友
时间：2024-11-16 20:55
github: github.com/txsun1997/nl...
1、Introduction
范式（paradigm）是一种用于构建任务的模型框架，例如，命名实体识别（NER）任务可以通过序列标注(sequence labeling)范式来解决。当前的NLP任务可以被归为7种范式：Class（分类）, Matching（匹配）, SeqLab（序列标注）, MRC（阅读理解）, Seq2Seq（序列到序列）, Seq2ASeq, and (M)LM（（掩码）语言模型）。
尽管许多任务通常有专门的范式来解决，但最近的研究表明，某些范式可以泛化到多种任务上。例如，MRC和seq2seq可以用于解决NER任务（以前是利用SeqLab范式来处理这个任务的）并取得SOTA效果。在预训练模型时代（GPT/BERT/T5）中，一些范式显示出巨大的潜力，可以统一所有NLP任务，例如Masked LM和LM，通过prompt的方式可以处理所有NLP任务。
在第2章，介绍了7种范式的正式定义和对应的代表性任务、模型；第3章，介绍了最近的一些范式转移的研究工作；第4章，介绍了一些可以统一建模所有NLP任务的范式的design和challenge。
2、Paradigms in NLP
范式定义：数据集[公式]，范式就是一个适合特定数据格式（或者说任务）的建模框架，也就是说每个数据集（任务）的[公式]和[公式]有特定格式。所以，我们把某个任务转换为这个范式的数据格式，这个任务就可以利用这个范式来解决。
3、Paradigm Shift in NLP Tasks
本章介绍了7种NLP任务的范式转移：文本分类、自然语言推理、命名实体识别、基于aspect的情感分析、关系抽取、文本摘要和语法分析（parsing）。
范式转移的趋势：随着预训练语言模型的崛起，越来越多的范式转移正在发生，并且是转移到PTM们擅长的领域，比如（M）LM，MRC和Seq2Seq。
4、Potential Unified Paradigms in NLP
统一模型的优势有：data efficiency(少样本学习能力)、Generalization(通过建模成合适的数据格式可以泛化到没见过的任务)、conveninece(方便部署服务)。
5、Conclusion
（M）LM可以利用更少的样本取得不错的效果，其他统一范式Matching、MRC和Seq2Seq则需要更多的标注数据做pretraining。当然这些范式的优势是：
而且，通过 self-supervised pre-training（T5/BART）或有监督预训练（EFL），这些范式对比（M）LM也可以去的不错的效果。所以这些统一范式都是非常值得研究。
