2022年新年伊始，畅想人工智能算法的未来，除了最主流的深度学习模型之外，还有哪些潜在的打破口？

最近在Reddit 看到列举了10个方向。
千脑理论、自由能事理、Testlin机器、层级实时存储算法等等，笔者根据其列出的参考路径，并且补充了来自维基百科、集智百科等干系的先容内容，将这10个方向做了一个择要性的内容简介。

层级实时存储算法

Hierarchical temporal memory

层级实时存储算法（HTM）是一种由Numenta开拓的生物约束机器智能技能。
HTM最初在2004年 Jeff Hawkins 和 Sandra Blakeslee合著的《On Intelligence》一书中有所描述，目前紧张用于流数据中的非常检测。
该技能基于神经科学以及哺乳动物（特殊是人类）大脑新皮层中锥体神经元的生理学和相互浸染。

HTM 的核心是学习算法，它可以存储、学习、推断和调用高阶序列。
与大多数其他机器学习方法不同，HTM不断学习（在无监督过程中）未标记数据中基于韶光的模式。
HTM对噪声具有鲁棒性，并且具有高容量（它可以同时学习多种模式）。
当运用于打算机时，HTM非常适宜预测，非常检测，分类以及终极的觉得运动运用。

HTM已经通过Numenta的示例运用程序和Numenta互助伙伴的一些商业运用程序在软件中进行了测试和履行。
（以上翻译自维基百科）

超维打算

Hyperdimensional Computing

超维打算（HDC）是一种新兴的打算方法，受到人脑神经活动模式的启示。
这种独特的打算类型可以使人工智能系统根据以前碰着的数据或场景保留内存并处理新信息。
为了对神经活动模式进行建模，HDC系统利用丰富的代数，该代数定义了一组规则来构建，绑定和捆绑不同的超向量。
超向量是具有独立且分布相同的分量的全息10,000维（伪）随机向量。
通过利用这些超向量，HDC可以创建功能强大的打算系统，该系统可用于完成繁芜的认知任务，例如工具检测，措辞识别，语音和视频分类，韶光序列剖析，文本分类和剖析推理。
(摘自：一种超维打算系统，可在内存中实行所有核心打算)。
这里是关于超维打算项目的资源凑集https://github.com/HyperdimensionalComputing/collection

脉冲神经网络

Spiking Neural Networks

脉冲神经网络Spiking neuralnetworks (SNNs)是第三代神经网络模型，其仿照神经元更加靠近实际，除此之外，把韶光信息的影响也考虑个中。
思路是这样的，动态神经网络中的神经元不是在每一次迭代传播中都被激活（而在范例的多层感知机网络中却是），而是在它的膜电位达到某一个特定值才被激活。
当一个神经元被激活，它会产生一个旗子暗记通报给其他神经元，提高或降落其膜电位。

在脉冲神经网络中，神经元确当前激活水平（被建模成某种微分方程）常日被认为是当前状态，一个输入脉冲会使当前这个值升高，持续一段韶光，然后逐渐衰退。
涌现了很多编码办法把这些输出脉冲序列阐明为一个实际的数字，这些编码办法会同时考虑到脉冲频率和脉冲间隔韶光。

（上文摘自：process-z.com，脉冲神经网络Spiking neural network_张竞成的博客-CSDN博客_spiking神经网络）

这篇文章Spiking Neural Networks（Spiking Neural Networks | Simons Institute for the Theory of Computing），对脉冲神经网络的研究历史、紧张贡献者、现状和问题、干系数据集等作了比较好的梳理。

遐想影象 / 预测编码

Associative Memories via Predictive Coding

思路来自这篇论文 Associative Memories via Predictive Coding：https://arxiv.org/abs/2109.08063。
遐想影象模型，是借鉴了人类大脑神经元存储、关联以及检索信息的模式。
由于在人类智能中的主要性，遐想影象的打算模型已经发展了几十年，包括自动关联存储器，许可存储数据点和检索存储的数据点s当供应噪声或部分变体时s和异质关联影象，能够存储和调用多模态数据。

在上面的论文中，作者们提出了一种用于实现遐想影象的新型神经模型，该模型基于通过觉得神经元吸收外部刺激的分层天生网络。
该模型利用预测编码进行演习，预测编码是一种基于缺点(error-based)的学习算法，其灵感来自皮层中的信息处理。

分形人工智能

Ractal AI

分形AI，通过利用类似细胞自动机的构造而不是平滑函数对信息进行建模，它可以衍生出新的数学工具，这些工具构成了一种新的随机演算根本。

这篇论文（拜会：https://github.com/Guillemdb/FractalAI），先容了一种新代理（分形蒙特卡洛），它源自Ractal AI的第一事理（拜会：https://github.com/Guillemdb/FractalAI/blob/master/introduction_to_fai.md），能够比其他类似技能（如蒙特卡罗树搜索）更有效地支持OpenAI Gym下的Atari-2600游戏；此外该论文还流传宣传提出了更前辈的Swarm Wave实现，也来自分形AI事理，许可儿们在环境的完美/信息模型下求解马尔可夫决策过程。

千脑理论

The Thousand Brains Theory

人类大脑如何事情？千脑智能理论是近年呈现的一个非常有影响力的理论。
2021年11月，比尔盖茨公布了心目中的2021年度5本必读好书，排第一位的便是《A Thousand Brains: A New Theory of Intelligence》，作者是Jeff Hawkins 。
支撑这本书的主要论文，是揭橥于2018年的A Framework for Intelligence and Cortical Function Based on Grid Cells in the Neocortex（基于新皮层网格细胞的智能和大脑皮层功能框架），千脑理论描述了一个通用的框架，用于理解新皮质的浸染及其事情事理，该理论认为，新皮质并不是只学习了关于天下的一个模型，而是每一部分都学习了一份天下完全的物体与观点模型。
然后新皮层中的长程连接许可模型们协同事情，来构建你对天下的整体感知。
该论文还预测了一种称为“移位细胞”（displacement cells）的新型神经元的涌现，它与皮质网格细胞相互浸染以表示物体相对付彼此的位置。

2021年6月，Jeff Hawkins 曾经出席北京智源大会，揭橥了题为「The Thousand Brains Theory - A roadmap for creating machine intelligence」的演讲，这是关于演讲内容的详细先容：真正实现与人更类似的智能！
Jeff Hawkins：创造机器智能的路线图

自由能事理

Free energy principle

自由能事理 Free energy principle是一个正式的陈述，它阐明了生物系统和非生物系统如何通过将自己限定在有限的几个状态而保持在非平衡稳态。
它表明系统最小化了内部状态的自由能函数，而内部状态包含了对环境中隐蔽状态的信赖。
自由能的内隐最小化在形式上与变分贝叶斯方法 Variational Bayesian methods有关，最初由Karl Friston引入，作为神经科学中对具身知觉的阐明，在那里它也被称为“主动推理”。

自由能事理阐明了一个给定系统的存在，它通过一个Markov blanket建模，试图最小化他们的天下模型和他们的觉得和干系知觉之间的差异。
这种差异可以被描述为”出其不虞” ，并通过不断改动系统的天下模型来减少这种差异。
因此，这个事理是基于贝叶斯的不雅观点，即大脑是一个“推理机”。
弗里斯顿为最小化增加了第二条路线: 行动。
通过积极地将天下改变为预期的状态，系统也可以使系统的自由能最小化。
弗里斯顿认为这是所有生物反应的事理。
弗里斯顿还认为，他的原则即适用于精神障碍也适用于人工智能。
基于主动推理原则的人工智能实现比其他方法显示出上风。
（摘自集智百科：什么是自由能事理 | 集智百科 | 集智俱乐部）

自由能事理，是一个公认非常晦涩的观点，下面是基于自由能事理、进行“主动推理”的示例解释：Learn by example: Active Inference in the brain -1 | Kaggle

Tstelin 机器

Tsetlin machine

源自上世纪50年代，前苏联数学家Tsetlin提出了可进行学习的自动机，此种类型的自动机可以通过从学习数据中改变自身的状态转换函数的概率来对数据进行学习，并可以利用自身的状态来编码信息，不同于神经网络，这种自动机天然的具有对数据进行时序编码的特性，且具有良好的可阐明性。
（摘自：未来智能趋势：自动机与神经网络 - 知乎）

但纽卡斯尔大学高等讲师Rishad Shafik认为：“学习自动机险些不可能在硬件上实现，由于有大量的状态须要去适应”。
挪威阿格德大学的AI教授Ole－Christoffer Granmo，通过将学习自动机与经典的博弈论和布尔代数相结合，找到了一种降落学习自动机繁芜性的方法。
他将简化版的学习自动机运用到软件中，并以该学科创始人的名字将其命名为“Tsetlin机器”（Tsetlin machine）。
（摘自：Tsetlin机器和神经网络之间的功耗差别 - 人工智能 - 电子发热友网）

这是挪威阿哥德大学Ole-Christoffer Granmo建立的关于Tstelin机器的网站：Home - An Introduction to Tsetlin Machines

上面刊登了他正在撰写的新书《An Introduction to Tsetlin Machines》，目前可以下载第1章：http://tsetlinmachine.org/wp-content/uploads/2021/09/Tsetlin_Machine_Book_Chapter_1-4.pdf

双曲机器学习

Hyperbolic Neural Networks

详见这篇NeurIPS2018 论文 Hyperbolic Neural Networks（https://arxiv.org/abs/1805.09112）先容，用布局双曲几何空间的形式，将深度神经模型泛化到非欧领域。
双曲空间的上风，是其树形特性可被用于可视化大型的分类数据或者嵌入繁芜网络，同时在分层、分类或者继续数据上的表现远远超过了欧式空间。
在隐含的分层构造中，不相交的子树在嵌入空间中得到了很好的聚类。

这篇论文的紧张贡献是在神经网络和深度学习的背景下建立双曲空间和欧式空间之间的鸿沟，以规范的办法将基本的算子和多项式回归、前馈网络、RNN和GRU泛化到双曲几何中的庞加莱模型中。

此外，推举读者们还可以不雅观摩一下这个hyperlib库，https://github.com/nalexai/hyperlib

该库在双曲空间中实现常见的神经网络组件（利用Poincare模型）。
该库的实现利用Tensorflow作为后端，据作者流传宣传可以很随意马虎地与Keras一起利用，旨在帮助数据科学家，机器学习工程师，研究职员和其他人实现双曲神经网络。

复值神经网络

Complex-Valued Neural Networks

复值神经网络是在复平面上处理信息的一类神经网络，其状态变量、连接权值与勉励函数都是复值的。
复值神经网络可视为实值神经网络的一种推广,但与实值神经网络有很多不同，具有更多繁芜的性子.复值神经网络既可以处理现实生活中的复值问题，也可以处理实值问题，比实值神经网络功能更强大与更具上风，有些问题无法用实值神经网络办理，如XOR问题，而用复值神经网络则迎刃而解。
（摘自：谢东《几类复值神经网络的动力学行为研究》，几类复值神经网络的动力学行为研究--《湖南大学》2017年博士论文）

这篇论文Deep ComplexNetworks（https://arxiv.org/abs/1705.09792），针对繁芜神经网络设计了关键的原子组件，并运用于卷积前馈网络和卷积LSTM。

————————————————

版权声明：本文为CSDN博主「常政」的原创文章，遵照CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/lionkingcz/article/details/122288707，来自：智源社区

关于慧维智能

慧维智能医疗科技有限公司成立于2019年6月，专业从事智能医疗产品的研发、生产与发卖。
我们的核心成员，均来自环球顶尖的科研机构和天下五百强企业。
慧维智能以在“人工智能”和“边缘打算”领域的自主核心技能为驱动力，致力于为环球医疗机构供应“高水准、低本钱、好体验”的医疗产品与做事，最大程度地帮助年夜夫提高诊疗水平与效率。