博⼠期间，先后以⼀作⾝份，发表
Transformer-XL
和
XLNet两项⼯作，⾕歌学术被引次数近两万。 Transformer-XL成为⾸个全⾯超越
RNN
的注意⼒语⾔模型，论⽂成为NeurIPS
2019与ACL
2019的最 ⾼引论⽂之⼀；XLNet则在20项任务上超越⾕歌BERT模型，⼀鸣惊⼈。
杨植麟从2020年开始确定“⼤模型是未来”这个观点。当时，OpenAI推出GPT3。这个拥有超过1750