目前,我们主要使用深度学习的方法解决自然语言处理问题。
《深度学习入门:基于Python 的理论与实现》
这本书深入浅出的揭示了深度学习的原理并给出了使用python搭建深度学习模型的例子,可以对其中的基础算法有所了解
1、预训练-微调范式(pretrain-finetune)
2、提示学习范式(prompt learning)
3、阅读transformers包中T5和GPT2的源码和 generate方法的源码
4、如果你还想进一步实践的话可以联系学长/在群里问。看看学长有没有相关的子任务可以分配给你做(主要是做数据预处理、搭一些简单的模型、写loss等)
2、对于提示学习,你可以自己设定有趣的问题并在chatgpt上实验(如果没有账号可以在new bing上实验,需要翻墙)
到此为止,你对目前深度学习方法上就有一定了解了,下面就需要在特定领域下进行学习了。