Amazon使用了压缩机器学习的新技术,在维持Alexa功能不变的情况下,将记忆体使用率降低94%,而这将能让Alexa在离线状态下,仍可以提供部分核心功能,同时也能加速Amazon云端载入第三方Alexa技能的效率。
Amazon刚释出了用于开发车内讯息娱乐系统的Alexa SDK(Alexa Auto Software Development Kit),而这个初版的SDK预设汽车系统可以存取云端系统,以取得机器学习相关功能,但是在未来,Amazon希望支援Alexa的车辆,即便在离线状态,仍可以使用Alexa的部分核心功能。
另外,第三方开发人员为Alexa开发了超过4万5千个技能,而只有当用户明确呼叫该功能时,第三方技能才会被载入到云端记忆体中,这个过程增加了系统回应延迟。因此Amazon将使用压缩机器学习模型的方法,缩减模型使用的硬体资源,以解决离线机器学习的需求,同时加速云端载入第三方技能的速度至毫秒回应时间。
Alexa的自然语言理解系统,在解释自由形式的话语採用了不同的机器学习模型,不过,这些模型都有其共通点,像是会从输入的话语中抓取特徵,或是具特定推测价值的字串,Alexa的机器学习模型都常拥有数百万个特徵。另一个共通点便是,每个特徵都有其权重,用以决定特徵在不同类型计算扮演角色的重要程度,而为数百万个特徵储存多重权重,这使得机器学习模型占据大量记忆体。
Amazon透过量化权重的方法,缩减储存权重的容量,再加上权重相关特徵的特殊映射方法,综合两个压缩演算法,可以让机器学习模型记忆体使用率降低94%,最重要的是还能保持其性能不变。