由于人工智能 （AI） 的识别和学习数据模式，因此无论如何都须要足够的数据和处理能力。
AI 开拓现场对处理能力的需求逐年增加，AI 开拓职员必须仔细调度数百万到数十亿个参数。
印度作家兼安妮尔·安南萨斯瓦米（Anil Ananthaswamy）对为实现这一目标而设计的“hypernetworks”进行了先容。

Researchers Build AI That Builds AI

https://www.quantamagazine.org/researchers-build-ai-that-builds-ai-20220125/

在构建人工智能时，在称为“优化”的流程中找到尽可能靠近空想的值至关主要，但演习网络以达到此目的并不随意马虎。
对付这种深奥的过程，在Alphabet(谷歌母公司)旗下的人工智能企业DeepMind担当调查研究员的彼得·贝里科维克阐述了hypernetworks对机器学习整体的影响，他说：“这个难度可能很快就会改变。
位于加拿大的格尔夫大学的鲍里斯·奈亚泽夫（Boris Knyazev）等人设计的hypernetworks “除了加快新的演习过程之外，理论上还可能在几分之一秒内预测参数，使演习变得不必要”。

Ananthaswamy说，目前，演习和优化深度神经网络的最佳方法是随机梯度低落（SGD）技能的变体。
演习涉及最小化网络在给界说务上犯的缺点，例如图像识别。
SGD 算法会处理大量标记数据，以调度网络的参数并减少缺点或丢失。
梯度低落是从丢失函数的高值爬升到某个最小值的迭代过程，它表示足够好（有时乃至是最好的）参数值。

但是，由于 SGD 只有在具有要优化的网络后才能运行，因此在构建新的早期神经网络时，必须依赖工程师的直觉和履历法则。
因此，Google Brain 的客座研究员 Menge Ren 和他的员工在 2018 年将深度神经网络架构视为点和点，即以节点和节点之间的线表示的数学“图形”想法为根本，设计了称为“图形超网络 （GHN）” 的新方法。
GHN 的事情事理是预测须要优化的候选体系构造的空想参数，并基于这些参数重复特界说务对候选体系构造进行排名，以选择性能最佳的体系构造。

Knyazev的hypernetworks也基于GHN的想法，Knyazev等人在2021年10月揭橥的论文中，不仅可以从候选体系构造中找到最佳体系构造，还可以从绝对意义上预测最佳参数。
Ren对奈亚泽夫等人的论文赞不绝口：“它包含了比我们所做的更多的实验。
”听说Knyazev的团队将这个hypernetworks称为“GHN-2”。

对付一个图像数据集，GHN-2 预测和勾引的分布内体系构造的均匀精度为 66.9%，而 SGD 记录了靠近 2500 次迭代和演习的网络的均匀精度 69.2% 的数字。
随着数据集的增长，GHN-2 彷佛不能很好地发挥浸染，但纵然如此，与SGD演习得到的精度也绝不逊色，最主要的一点是，GHN-2以压倒性的速率进行预测。
Knyazev说：“GHN-2取得了惊人的好成绩，GHN-2大大降落了能源本钱。

Knyazev说，GHN-2仍有改进的余地，很难立即被采取，但如果这些超网络真的遍及，新型深度神经网络的设计和开拓将不再局限于拥有雄厚资金和大数据的公司。
任何人都可以参与个中。
Knyazev非常清楚这种“深度学习民主化”的潜力，称其为长期愿景。