绿色人工智能:使应用轨范更具可持续性的 7 种策略_模子_人工智能
图片来自编辑
人工智能运用程序拥有无与伦比的打算能力,可以以前所未有的速率推动进步。然而,这些工具的运营严重依赖能源密集型数据中央,导致缺少能源敏感性,这大大增加了它们的碳足迹。令人惊异的是,这些人工智能运用已经占环球温室气体排放量的2.5%至3.7%,超过了航空业的排放量。
不幸的是,这种碳足迹正在快速增长。
目前,急迫须要丈量机器学习运用程序的碳足迹,正如彼得·德鲁克(Peter Drucker)的聪慧所强调的那样,“你无法管理你无法衡量的东西。目前,在量化人工智能对环境的影响方面存在严重缺少清晰度,我们无法得到精确的数字。
除了丈量碳足迹外,人工智能行业的领导者还必须积极关注优化碳足迹。这种双严惩法对付办理环绕人工智能运用的环境问题和确保更可持续的提高道路至关主要。
哪些成分会影响 AI 运用程序的碳足迹机器学习的利用增加须要增加数据中央,个中许多数据中央耗电,因此具有显著的碳足迹。2021 年,数据中央的环球用电量为 0.9% 至 1.3%。
2021 年的一项研究估计,到 1.86 年,这种利用量可以增加到 2030%。这个数字代表了数据中央能源需求的增长趋势。
© 数据中央的能源花费趋势和利用份额
值得把稳的是,能源花费越高,碳足迹就越高。数据中央在处理过程中会发热,并可能涌现故障,乃至因过热而停滞运行。因此,它们须要冷却,这须要额外的能量。数据中央花费的电力中约有40%用于空调。
打算 AI 运用的碳强度鉴于人工智能的利用足迹越来越大,这些工具的碳强度须要考虑在内。目前,关于这一主题的研究仅限于对少数模型的剖析,并没有充分办理所述模型的多样性问题。
这是一种进化的方法和一些有效的工具来打算人工智能系统的碳强度。
人工智能碳强度估算方法软件碳强度(SCI)标准是估算AI系统碳强度的有效方法。与采取归因碳核算方法的传统方法不同,它利用结果打算方法。
结果方法试图打算干预或决定(例如产生额外单元的决定)引起的排放量的边际变革。而归因是指核算均匀强度数据或排放的静态清单。
Jesse Doge等人揭橥的一篇关于“丈量云实例中人工智能的碳强度”的论文采取了这种方法来引入更明智的研究。由于大量的 AI 模型演习是在云打算实例上进行的,因此它可以成为打算 AI 模型碳足迹的有效框架。本文改进了以下估计的SCI公式:
这是从以下方面提炼出来的:
源自
哪里:
E:软件系统花费的能量,紧张是图形处理单元 - GPU 是专门的 ML 硬件。
我:为数据中央供电的电网基于位置的边际碳排放量。
男:嵌入或隐含碳,即在利用、创建和处置硬件期间排放的碳。
R:功能单元,在本例中是一个机器学习演习任务。
C= O+M,个中 O 即是 EI
本文利用该公式来估计单个云实例的用电量。在基于深度学习的 ML 系统中,紧张电力花费归功于 GPU,该公式中包含 GPU。他们在具有两个Intel Xeon E5-2630 v3 CPU(2.4GHz)和256GB RAM(16x16GB DIMM)的商品做事器中利用单个NVIDIA TITAN X GPU(12 GB)演习了一个BERT-base模型,以试验该公式的运用。下图显示了此实验的结果:
© 能耗和做事器组件之间的拆分
GPU占能耗的74%。只管该论文的作者仍旧声称它被低估了,但包含GPU是朝着精确方向迈出的一步。这不是传统估算技能的重点,这意味着在估算中忽略了碳足迹的紧张贡献者。显然,SCI供应了一种更康健、更可靠的碳强度打算方法。
丈量云打算实时碳足迹的方法AI 模型演习常日在云打算实例上进行,由于云使其具有灵巧性、可访问性和本钱效益。云打算供应了大规模支配和演习 AI 模型的根本举动步伐和资源。这便是为什么云打算上的模型演习正在逐渐增加的缘故原由。
丈量云打算实例的实时碳强度以确定适宜缓解事情的领域非常主要。司帐基于韶光和特定位置的每单位能源边际排放量可以帮助打算运营碳排放量,正如 2022 年的一篇论文所做的那样。
开源工具云碳足迹 (CCF) 软件也可用于打算云实例的影响。
提高人工智能运用的碳效率以下是优化人工智能系统碳强度的 7 种方法。
1. 编写更好、更高效的代码优化的代码可以通过减少内存和处理器利用量将能耗降落 30%。编写碳效率代码涉及优化算法以加快实行速率,减少不必要的打算,以及选择节能硬件以更少的功耗实行任务。
开拓职员可以利用剖析工具来确定其代码中的性能瓶颈和优化区域。这个过程可以带来更节能的软件。此外,请考虑实现能源感知编程技能,个中代码旨在适应可用资源并确定节能实行路径的优先级。
2. 选择更高效的型号选择精确的算法和数据构造至关主要。开拓职员应选择能够最大程度地降落打算繁芜性并因此降落能耗的算法。如果更繁芜的模型只能产生 3-5% 的改进,但演习韶光要多 2-3 倍;然后选择更大略、更快速的型号。
模型蒸馏是另一种将大型模型压缩为较小版本的技能,以使其在保留基本知识的同时更有效。这可以通过演习一个小模型来模拟大模型或从神经网络中删除不必要的连接来实现。
3. 调度模型参数利用双目标优化来平衡模型性能(例如准确性)和能耗,从而调度模型的超参数。这种双目标方法可确保您不会为了另一个而捐躯一个,从而使您的模型更加高效。
利用参数高效微调 (PEFT) 等技能,其目标是得到类似于传统微调的性能,但可演习参数的数量减少。这种方法涉及微调模型参数的一小部分,同时冻结大多数预先演习的大型措辞模型(LLM),从而显著减少打算资源和能耗。
4. 压缩数据并利用低能耗存储履行数据压缩技能以减少传输的数据量。压缩数据须要较少的能量来传输,并且占用的磁盘空间也较小。在模型做事阶段,利用缓存可以帮助减少对在线存储层的调用,从而减少
此外,选择精确的存储技能可以带来显著的收益。例如。AWS Glacier 是一种高效的数据存档办理方案,如果不须要频繁访问数据,则比利用 S3 更具可持续性。
5. 清洁能源模型培训如果您利用云做事进行模型演习,您可以选择运行打算的区域。为此选择一个利用可再生能源的地区,您可以减少多达 30 倍的排放量。AWS 博客文章概述了针对业务优化和可持续发展目标之间的平衡。
另一个选项是选择运行模型的适当机遇。在一天中的某些韶光;能源更清洁,这些数据可以通过付费做事(如电力舆图)获取,该做事供应对不同地区电力碳强度的实时数据和未来预测。
6. 利用专门的数据中央和硬件进行模型演习选择更高效的数据中央和硬件可以对碳强度产生巨大影响。特定于ML的数据中央和硬件的能源效率可以比一样平常数据中央和硬件高1.4-2和2-5倍。
7. 利用无做事器支配,如 AWS Lambda、Azure Functions传统支配哀求做事器始终在线,这意味着 24x7 全天候能耗。AWS Lambda 和 Azure Functions 等无做事器支配以最小的碳强度运行良好。
结语人工智能行业正在经历指数级增长,渗透到商业和日常生活的方方面面。然而,这种扩展是有代价的——迅速增长的碳足迹有可能使我们进一步阔别将环球气温上升限定在1°C的目标。
这种碳足迹不仅仅是当前的问题;它的影响可能会代代相传,影响到那些对它的创造没有任务的人。因此,必须采纳果断行动来减少与人工智能干系的碳排放,并探索利用其潜力的可持续路子。确保人工智能的好处不会以捐躯环境和子孙后代的福祉为代价至关主要。
Ankur Gupta是一位工程领导者,在可持续发展,运输,电信和根本举动步伐领域拥有十年的履历;目前担当优步的工程经理一职。在这个职位上,他在推动优步车辆平台的发展方面发挥着关键浸染,通过整合尖真个电动和联网车辆,引领零排放的未来。
原文标题:Greening AI: 7 Strategies to Make Applications More Sustainable
原文链接:https://www.kdnuggets.com/greening-ai-7-strategies-to-make-applications-more-sustainable
作者:Ankur Gupta
编译:LCR
本文系作者个人观点,不代表本站立场,转载请注明出处!