目前,我们主要使用深度学习的方法解决自然语言处理问题。

首先,我们需要对深度学习有一定认识,这里推荐:

《深度学习入门:基于Python 的理论与实现》

这本书深入浅出的揭示了深度学习的原理并给出了使用python搭建深度学习模型的例子,可以对其中的基础算法有所了解

在了解完深度学习后,我们需要了解目前研究深度学习的两种范式:

1、预训练-微调范式(pretrain-finetune)

2、提示学习范式(prompt learning)

针对于 预训练-微调范式 这里推荐:

3、阅读transformers包中T5和GPT2的源码和 generate方法的源码

4、如果你还想进一步实践的话可以联系学长/在群里问。看看学长有没有相关的子任务可以分配给你做(主要是做数据预处理、搭一些简单的模型、写loss等)

在学习完预训练-微调范式后需要学习提示学习范式,推荐:

2、对于提示学习,你可以自己设定有趣的问题并在chatgpt上实验(如果没有账号可以在new bing上实验,需要翻墙)

到此为止,你对目前深度学习方法上就有一定了解了,下面就需要在特定领域下进行学习了

首先需要学习读论文: