论文精讲 | 使用稀疏Ising机训练深度玻尔兹曼网络

分享人：曾庆国 ｜学校**：南方科技大学**

内容简介

摩尔定律的放缓推动了非传统计算范式的发展，例如专门针对组合优化问题求解的定制化Ising机。本次会议将介绍基于P-bit的Ising机在训练深度生成式神经网络方面的新应用，使用稀疏、异步和高度并行的Ising机，在混合概率-经典计算设置中训练深度波尔兹曼网络。

相关论文

**标题：**Training Deep Boltzmann Networks with Sparse Ising Machines **作者：**Shaila Niazi, Navid Anjum Aadit, Masoud Mohseni, Shuvro Chowdhury, Yao Qin, Kerem Y. Camsari

**arXiv：**2303.10728（2023）

01

文章的主旨

目标: 说明如何使用专用硬件系统 (例如P-bit) 有效地训练稀疏版本的深度玻尔兹曼网络，在计算硬概率采样任务中, 这些硬件系统比常用的软件实现有数量级的加速;

长期目标: 帮助促进物理启发的概率硬件的开发，以降低基于图形和张量处理单元（GPU/TPU）的传统深度学习的快速增长成本; 硬件实现困难点: 1. 相连p-bits必须串行更新, 禁止在稠密系统中进行更新更新; 2. 确保p位在更新之前从其邻居节点接收到所有的最新信息，否则，网络不会从真正的波尔兹曼分布中采样。

02

主题内容

使用稀疏Ising机训练深度玻尔兹曼网络的内容主要分成四部分： 1. 网络结构 2. 目标函数 3. 参数优化 4. 推断（分类和图像生成）

1. 网络结构 采用D-Wave开发的Pegasus和Zepyhr拓扑结构来训练硬件感知的稀疏深度网络。该操作启发于扩展但连接受限的网络（如人脑和高级微处理器）。尽管机器学习模型中普遍使用全连接，但具有数十亿晶体管网络的先进微处理器和人脑都表现出很大程度的稀疏性。事实上，由于每个节点所需的计算负责度高，RBM的大多数硬件实现面临扩展问题，而硬件神经网络中的稀疏连接通常显示出优势。并且，稀疏的网络结构很好地解决了上述硬件实现的难点。

（图片来源：arXiv:2303.10728）

2. 目标函数 最大化似然函数等价于最小化数据分布和模型分布之间的KL散度：

3. 参数优化

（图片来源：arXiv:2303.10728）

2）大规模并行 在稀疏深度玻尔兹曼网络上，我们使用启发式图着色算法DSatur对图着色，对于未连接p-bits进行并行更新。

（图片来源：arXiv:2303.10728）

4. 推断

分类: 使用测试数据固定visible p-bits, 接着进行MC采样, 然后对得到的label-pbits取期望, 取期望值最大的标签为预测的标签

（图片来源：arXiv:2303.10728）

图像生成: 将label p-bits固定成想要生成标签所对应的编码, 然后就行MC采样, 且采样过程中对网络进行退火(从0以0.125为步长逐步增长至5), 得到的样本对应的visible p-bits即为生成的图像。

图片来源：arXiv:2303.10728）

03

总结

文章使用了一个具有大规模并行体系结构的稀疏Ising机，它实现了比传统CPU快数量级的采样速度。论文系统地研究了硬件感知网络拓扑的混合时间，并表明模型的分类精度不受算法的计算可操作性的限制，而是受在本工作中能够使用的中等大小的FPGA的限制。进一步的改进可能涉及使用更深入、更广泛、可能“更难混合”的网络架构，充分利用超快概率采样器。此外，将传统DBM的逐层训练技术与文章的方法结合起来，可以带来进一步可能的改进。使用纳米器件实现稀疏Ising机，例如随机磁隧道结，可能会改变关于深度玻尔兹曼网络实际应用现状。

欢迎专家学者在公众号投稿分享优秀论文和创新成果，投稿录取者可获得精美礼品一份，投稿联系HiQ量子计算小助手：LLT66TT（备注“量子计算专题投稿”）