尽管人工智能(AI)与机器学习(ML)在计算机视觉、语音识别、自然语言处理等众多领域取得了令人瞩目的成绩,但它们在实际应用中仍然存在着很多问题。其中最重要的就是AI系统缺乏对于其输出结果不确定性的衡量。对于例如自动驾驶、疾病诊断、投资预测等一些重要领域,AI系统输出的非0即1的确定性结果可能会导致严重的后果。因此,可以量化输出结果不确定性的概率计算被认为是未来人工智能和深度学习的发展方向。
类脑神经形态计算通过设计高效的电子突触和神经元来模拟生物大脑的信息处理,已被公认是填补人工智能与人脑在功率和面积效率方面的差距的具有光明前景的方案。与传统的人工神经元在达到固定阈值电压时就发放脉冲不同,在生物神经网络中的神经元以随机激发的形式表现出动态激发行为,而这种神经元的随机激发可以使得大脑能够在复杂的外界环境下执行概率推断,正确评估判断的不确定性。
华中科技大学光电学院缪向水教授团队一直致力于基于忆阻器的类脑神经形态计算。近日,课题组在工作中发现,基于导电丝机理的导电桥阈值转换忆阻器,其工作机制与神经元中的离子通道相似。带有阻值易失特性的阈值转换器件在构建神经元电路时,可以像生物神经元一样自发地复位,从而消除了基于非易失忆阻器的神经元模块中依赖的辅助重置电路。更重要的是,基于导电丝形成的随机阈值开关行为正好可以模拟生物神经元随机激发的特性。为此课题组制备、测试了多种阈值转换忆阻器,并对器件进行了物理建模和仿真,验证了基于CuS/GeSe导电桥阈值转换器件作为概率神经元的可靠性。
课题组通过搭建基于阈值转换忆阻器的神经元实际电路,获得了具有随机激发特性的人工神经元,并利用神经元的概率激发能力搭建了可以实现了概率计算(贝叶斯推理)的脉冲神经网络。课题组以疾病诊断任务为例,对乳腺癌肿瘤数据进行了学习与预测。基于课题组制备的概率神经元的神经网络成功规避了传统人工神经网络将恶性肿瘤预测为良性肿瘤的致命诊断错误。此外,与基于确定性神经元的神经网络相比,随机神经元使脉冲神经网络可以量化其预测结果的不确定性,并使不确定性量化的准确性提高了81.2%。课题组的这项工作不仅利用阈值转换忆阻器实现和优化了随机神经元,并且在不确定性量化问题中展示了它们的强大能力,从而为实现概率类脑神经形态计算打开了新的视野。
该工作以“Threshold Switching Memristor-based Stochastic Neuron for Probabilistic Computing”为题近期发表于英国皇家化学学会下的旗舰刊物Materials Horizons。此工作博士生王宽与硕士生胡庆为共同第一作者,由本团队何毓辉教授、童浩副教授和缪向水教授合作指导完成。清华大学的高滨副教授、华中科技大学的诸葛福伟副教授以及瑞典乌普萨拉大学的Ralph H. Scheicher教授对该工作提供了宝贵的意见。该研究获得了国家科技重大专项(No. 2017ZX02301007-002)及国家自然科学基金(Nos. 61974051, 61774068)的资助。
论文信息:
Kuan Wang, Qing Hu, Bin Gao, Qi Lin, Fu-Wei Zhuge, Da-You Zhang, Lun Wang, Yu-Hui He, Ralph H. Scheicher, Hao Tong and Xiang-Shui Miao, “Threshold Switching Memristor-based Stochastic Neuron for Probabilistic Computing”, Materials Horizons, DOI: 10.1039/d0mh01759k
https://pubs.rsc.org/en/content/articlelanding/2021/mh/d0mh01759k