中山大学HCP Lab团队实现低成本高效率的预训练大模型 | EMNLP 2021

在当前疫情反复的情况下，大家平时出门用健康宝刷脸的频率变得越来越高。如果每次人脸识别都需要等很久的话，那也太让人焦虑啦，甚至会有砸手机的冲动。而且我们还想让模型的识别效果好，不能经常出错，就得用一些跑起来很慢的大模型来提升效果。那么问题来了，咋在这两者之间做个平衡呢，既让模型跑得又快又好，又要占用空间够少，还能效果爆表？那就不得不提模型压缩和最近兴起的自动机器学习技术了，在压缩模型的同时还能自动搜索出效果更优的结构，岂不美哉。

在NLP领域，预训练语言模型（如BERT等）在大量任务上都取得了不错的效果，但是它们有着过大的体积以及推理时间，这严重限制了实际的部署。为了解决这个问题，很多模型压缩方法被提出，例如知识蒸馏（Knowledge Distillation，KD）技术。虽然用于预训练模型压缩的知识蒸馏方向取得了很大的进展，但针对Transformer结构中的前馈神经网络（Feed-forward Network, FFN）压缩和改进方面的研究还很少，其计算代价是多头注意力（Multi-head Attention，MHA）模块的2-3倍；同时[1]也指出，前馈网络里的多层感知器（Multilayer Perceptron，MLP）结构可以防止自注意机制带来的秩崩塌（rank collapse）的问题，可以帮助模型的优化。因此，如何在最大限度压缩前馈网络的同时，寻找到具有更优秀非线性的前馈网络结构，进而提升模型效果，是个很值得关注的问题。

此外，自动机器学习技术，特别是模型架构自动化搜索（Neural Architecture Search，NAS），在计算机视觉和自然语言处理领域已经崭露头角，可以自动地从庞大的搜索空间中搜索出比人工设计的结构效果更优的模型。因此可以很自然地想到利用这类技术搜索出符合需求的前馈网络结构。但由于搜索空间往往极其庞大和复杂，如何高效地进行模型架构搜索也是亟待解决的问题。

基于网络架构搜索的模型压缩方法之前也有很多人进行研究，比如AdaBERT[2]基于卷积神经网络搜索任务自适应的小模型。然而，这些方法没有针对Transformer中前馈网络的非线性进行探究；搜索空间受限于人工设计，不够灵活；泛化性也值得考究。