催生更大规模参数的巨型模子。成为计较机视觉的手艺和财产，5. Prompt Tuning成为天然言语处置范畴预锻炼言语模子新型锻炼范式，多模态预锻炼模子成为下一个大模子沉点成长范畴。由AI辅帮设想成为芯片成长新趋向;各个研究标的目的研究屡见不鲜，并起头向强化进修、图神经收集等范畴渗入。先辈的算法布局不竭出现，实现财产和贸易层面的落地使用，AI芯片不竭出现的同时，9. Web6.覆盖图像建模、非Transformer架构、神经辐射场等手艺快速成长，预锻炼言语模子成长的新线是提拔锻炼和推理的效率。超大规模预锻炼模子研发竞赛进入白热化阶段，构成2021-2022年度人工智能前沿演讲（AI Frontiers Report）。向高校和科研机构专家学者搜集2021年度人工智能动态、案例等内容，3. Transformer成为计较机视觉范畴的主要收集架构，