麻省理工学院发布首个贝叶斯“数据清洗”机器人
本报讯据“前瞻经济学人”消息,日前,麻省理工学院最近发布一种全新系统的自动数据清洗机器人,能够自动清洗诸如值缺失、拼写错误等“脏数据”,业界有望因此摆脱手工清洗数据的麻烦。 AI模型里百分之八十的工作要放在数据上,而数据清洗又是保证模型质量的关键步骤,它涉及到领域知识等等,往往很难自动化。 据调查,清洗数据或占用数据科学家四分之一的时间,如何将这个任务自动化,一直以来都是一个具有挑战性的任务。这个名为PClean 的系统是概率计算项目研究人员编写的针对特定领域的概率编程语言,旨在简化人工智能应用程序的开发并实现自动化。它提供了一个通用的常识模型,可以根据特定的数据库和错误类型进行定制化操作。 |