桑迪亚神经科学家布拉德艾蒙说:“不是发出无穷无尽的能量信息,而是由Whetstone训练的人工神经元在尖峰中释放能量,就像人类神经元一样。”
Sandia数学家William Severa表示,最大的人工智能公司已经为自己的产品生产了尖峰工具,但没有一种像Whetstone那样快速或高效。“大型公司已经意识到这个过程,并建立了类似的系统,但他们的设计往往只适用于他们自己的设计.Tottstone将在许多神经平台上工作。”
开源代码最近出现在Nature Machine Intelligence的一篇技术文章中,并由Sandia提出专利。
如何锐化神经元
人工神经元基本上是电容器,它吸收并加总电荷,然后以微小的电流释放。被称为“神经形态系统”的计算机芯片将神经网络组装成大型分组,通过向神经元发送电刺激以无法预测的顺序模仿人类大脑。这与台式计算机使用预设电子过程的更多锁定步骤形成对比。
由于它们偶然发射,神经形态系统通常比传统计算机慢,但也需要更少的能量来操作。他们还需要一种不同的编程方法,因为否则他们的人工神经元会经常发生或不经常发射,这在将它们带到商业网上是一个问题。
Whetstone作为补充计算机代码,用于更传统的软件培训程序,通过利用那些仅在收集到足够的能量 - 读取,信息时才能达到峰值的人工神经元来训练和锐化。事实证明,该训练在改进标准神经网络方面是有效的,并且正在为神经形态系统的新兴技术进行评估。
橡树岭国家实验室的神经网络研究员凯瑟琳·舒曼说:“油石是神经形态群体的重要工具。它提供了一种标准化的方法来训练适合在神经形态系统上部署的传统神经网络,这在以前已经完成以特别的方式。“
严谨的老师
Aimone说,Whetstone流程可视化为控制一类健谈的小学生,他们的任务是在老师的桌面上识别一个物体。在Whetstone之前,学生们向他们以前不堪重负的老师发送了连续不断的传感器输入,他们不得不倾听所有这些 - 在将决定传递到神经系统之前,可以说是非常磕磕碰碰。这些大量信息通常需要基于云的计算来处理,或者增加更多的本地计算设备以及电力的急剧增加。这两种选择都增加了商业人工智能产品的时间和成本,降低了他们的安全性和隐私性,并使他们的接受度降低。
在Whetstone之下,他们新近严格的老师只关注每个学生的简单“是”或“否”测量 - 当他们用解决方案举手时,而不是他们所说的一切。例如,假设目的是确定教师桌上的一块绿色水果是否是苹果。每个学生都是一个传感器,可以响应不同质量的苹果:它是否具有正确的气味,味道,质地等品质?虽然寻找红色的学生可能会投“不”,但寻找绿色的其他学生会投“赞成”。当答案的数量,无论是yay还是nay,都足够高以触发神经元的发射能力,这个简单的结果,而不是无尽的胡扯,进入整个神经系统。
虽然Whetstone简化可能会增加错误,但绝大多数参与的神经元 - 通常超过一百万 - 提供的信息在统计上弥补了数据简化引入的不准确性,Severa说,负责该程序的数学。
“将过于详细的内部信息与大量神经元报告相结合是一种双重预订,”他说。“这是不必要的。我们的结果告诉我们,经典的方式 - 计算所有东西而不简化 - 是浪费。这就是为什么我们可以节约能源并做好。”
补丁程序效果最好
当修补程序用于训练新的人工智能设备时,该软件程序效果最佳,因此Whetstone不必克服已经建立的能量最小值的学习模式。
这项工作是桑迪亚项目的延续,称为自适应神经算法的硬件加速,该项目探索了桑迪亚实验室指导研究和开发办公室支持的神经平台。目前的工作得到了能源部高级模拟和计算程序的支持。