在联想联想高阶旗舰品牌YOGA Pro 14s (YOGA Slim 9i)上搭载了大象声科Vocplus PC AI语音方案,据该方案这是一套集成在Intel GNA人工智慧加速平台上基于深度学习技术,能够即时分离人声和背景杂讯,提取清晰人声,从而大幅度提升使用者语音通信清晰度和语音交互体验。
该方案基于计算听觉场景分析理论基础,利用深度神经网路(DNN),经大量资料训练,可以即时分离人声和环境噪音, 能够过滤掉96%的动态噪音。
此外,此方案能够有效提升Cortana, Alexa等语音助手在杂讯环境下的语音辨识率,该方案已通过Microsoft Teams认证,Cortana以及Amazon Alexa相关语音测试标准。
Intel GNA 笔记
根据: https://docs.openvinotoolkit.org/latest/openvino_docs_IE_DG_supported_plugins_GNA.html
Intel GNA (英特尔®高斯与神经网络加速器)是一种低功耗神经网络协处理器,可在进行连续边缘推理(根据现场数据搜集可操作性的情报)。
什么是边缘推理?
总之,它使现场数据收集设备能够使用人工智能(AI)技术提供可操作的情报。这些类型的设备使用大量传感器,并且随着时间的流逝,这些传感器的分辨率和准确性已得到极大提高,导致捕获的数据量越来越大。从历史上看,此数据随后是通过手动过程提取和分析的,最近又通过将AI与训练有素的神经网络一起使用进行提取和分析。现在可以提供足够的计算能力,以便在数据捕获时运行优化的AI模型,这被称为“边缘推理”。在某些国防,勘探和安全应用中,这具有加速OODA的优势。循环,以便可以更快地采取措施。由于数据保存在本地设备上,因此还提高了安全性。
英特尔®GNA不能替代传统的推理设备,例如CPU,图形处理单元(GPU)或视觉处理单元(VPU)。它旨在减轻连续推理工作量的负担,这些工作量包括但不限于降噪或语音识别,以节省功耗并释放CPU资源。
GNA插件提供了一种在Intel®GNA上以及在CPU上的软件执行模式下运行推理的方法。
包含Intel® GNA插件的设备很多:
- Intel® Speech Enabling Developer Kit
- Amazon Alexa* Premium Far-Field Developer Kit
- Gemini Lake, Cannon Lake, Ice Lake:系列CPU中的多款产品
其驱动已经在windows和unbuntu18.04.3LTS上支持
模型和图层限制
由于硬件体系结构的特殊性,英特尔®GNA对神经网络层和组合的支持有限。 例如,不用考虑在GNA插件上运行计算机视觉模型,除了专门为GNA插件改编的模型之外,因为他不完全支持2D卷积。
可以在https://docs.openvinotoolkit.org/latest/openvino_docs_IE_DG_supported_plugins_Supported_Devices.html中的“受支持图层(Supported Layers)”看到支持列表。
从Kaldi和TensorFlow转换过来的模型中, 只原生支持一维卷积:
对于TensorFlow模型,在运行模型优化器时必须使用–disable_nhwc_to_nchw选项。
卷积的输出通道数必须是4的倍数
置换层支持限于以下情况:不需要数据重新排序,或者在2维发生重新排序时,其中至少一个维数不大于8。
只支持有限的激活函数.
尝试支持2D卷积
英特尔®GNA硬件本身仅支持一维卷积。
但是,当卷积核沿单个方向移动时,可以将2D卷积映射为1D。 GNA插件针对Kaldi nnet1卷积执行了这种转换。
从这个角度来看,英特尔®GNA硬件卷积操作接受NHWC输入并产生NHWC输出。 由于OpenVINO™(GNA在此框架中)仅支持NCHW布局,因此可能需要在卷积之前或之后插入Permute层。
例如,Kaldi模型优化器在对rm_cnn4a网络进行卷积后插入这样的置换。 GNA插件会自动删除此Permute层,因为英特尔®GNA硬件卷积层已经产生了所需的NHWC结果。
# NHWC
for i in rows
for j in columns
for k in filters# NCHW
for k in filters
for i in rows
for j in columns
操作精度
英特尔®GNA本质上以低精度模式运行,如8位(I8),16位(I16)和32位(I32)整数计算的混合。
与其他支持低精度执行的插件不同,GNA插件在模型加载时计算量化因子,因此模型无需校准即可运行。