Datameer最近宣布推出SmartAI,它将大数据与机器学习模型相集成,以提供更好的数据洞察。
SmartAI的目标是实现大数据AI的运行,即在大数据上大规模运行AI算法,让业务分析师能够将AI模型插入到分析工作流中,安全合规地完成所有这些任务。
InfoQ采访了Datameer的市场战略与智能高级总监Andrew Brust,谈了大数据在AI,尤其是SmartAI中的一般作用。
InfoQ:你如何看待大数据和人工智能的协同效应?SmartAI是如何利用这一点的?
布鲁斯特:大数据和人工智能之间可能有很强的协同作用,但该行业在促进这方面几乎没有做什么。通过SmartAI,Datameer将这两个世界结合在一起。根据机器学习模型对数据进行分级主要是一个临时的过程,大部分时间是在数据科学家的工作站上完成的。但是,评分应该在Hadoop集群中的所有节点上以大数据规模自动执行。这就是他们在那里的目的。
InfoQ:机器学习涉及大量的数据准备和操作。总的来说,这是否会影响Hadoop的优势,尤其是对贵公司而言?
布鲁斯特:是的,数据准备是我们故事的重要组成部分,大数据故事和人工智能故事。想要做AI,就要选择一个算法,训练一个模型。用于训练模型的数据必须是干净的,只过滤到基本输入(函数)列,并在正确的级别进行汇总。所有这些步骤都是数据准备步骤。同样,基于原始数据中存在的值的复杂计算也被列出。Datameer用Hadoop做了所有这些事情,并且做得很好。因此,给产品增加AI功能是非常自然的延伸。