随着深度学习，特别是超大规模预训练模型技术的发展，模型训练和推理所消耗的能源日益增长，这带来了更多的碳排放问题，对于全球气候可能造成不良影响。为了解决这一问题，研究者们开始探索研发更为绿色的AI算法及其相关技术。

知识点

1.绿色AI指的是在不增加，甚至降低计算成本的前提下，研发性能更为强大的AI模型的技术手段。

2.实现GreenAI主要有两个方面的手段，一是设定评价模型能效的方法；二是在模型架构、训练、推理、数据利用等方面进行研究。

定义

绿色AI指的是在不增加，甚至降低计算成本的前提下，研发性能更为强大的AI模型的技术手段。[1] 绿色AI的概念最早由艾伦人工智能研究院等机构的研究者在2020年提出。

提出绿色AI概念的目的在于呼吁AI研究者重视人工智能带来的环境和可持续发展问题。据[2]统计，2018-2019年的国际顶会中，很多研究者关注AI的准确率而非效率。

图注：顶会中研究者关注准确率、效率和二者兼有的比例 [2]

相对于绿色AI概念的是红色AI，指的是不计算力代价提升模型性能的技术和模型。[1] 与红色AI不同，绿色AI鼓励研究者尽可能减少模型训练和推理所消耗的算力资源。

实现绿色AI的方法

1.确定评价方法

2020年的绿色AI论文中，研究者认为实现绿色AI的首要工作是确定评价AI能耗的方法。[2] 在评价模型的效率的指标方面，包括：

（1）碳排放量

（2）电力消耗

（3）实时收敛时间

（4）参数规模

（5）浮点运算量（即达到预期效果所消耗的算力）

图注：计算红色AI的公式[3]

此外，有开源社区开发者提出了绿色AI标准，推动研究者上传评测结果，推动建立统一的能效评价体系。[4]

2.研发绿色AI所需的技术

在[1]中，研究者认为应当在模型架构、训练方法、推理方法和数据使用等方面进行改进。主要包括：

（1）紧凑的模型架构：在更小规模的模型上实现更高性能；

（2）高效的训练策略：在初始化、正则化、渐进式训练、高效自动机器学习（AutoML）等方面进行技术改进；

（3）高效推理策略：包括模型剪枝、蒸馏、低阶因式分解、数量化等；

（4）高效数据利用：包括主动学习和小样本学习等。

 

参考链接

[1] Xu, Jingjing, et al. "A Survey on Green Deep Learning." arXiv preprint arXiv:2111.05193 (2021).

[2] Schwartz, Roy, et al. "Green ai." Communications of the ACM 63.12 (2020): 54-63.

[3] Green AI：https://cacm.acm.org/magazines/2020/12/248800-green-ai/fulltext

[4] Green Artificial Intelligence Standard：https://github.com/daviddao/green-ai