新闻是有分量的

测试机器学习模型不用写代码!谷歌“what-if”工

2018-12-25 03:22栏目:性能测试
TAG:

  修筑高效的机械练习体系,需求提出并治理很众题目。仅仅锻炼模子然后就放着不管是远远不敷的。突出的机械练习从业者要像侦探相通,时候贯注探究怎么更好地知道修筑的模子:数据点的改观将对模子的预测结果酿成什么影响?统一个模子对分别的群体验有哪些分别的展现?用来测试模子的数据集的众样化水准怎么等等。

  要解答这些题目并禁止易。要解答这些“假设”题目,常常要编写自界说的一次性代码来说明特定模子。这个经过不但效力低下,并且除了步伐员,其他人很难到场改善机械练习模子的经过。

  正在这种情状下,对付选定的数据点,模子预测该人年收入抢先5万美元的信度为73%。该器械自愿定位数据纠集最形似的人,模子预测其年收入低于5万美元,然后将选天命据点和与之最形似、但预测结果相反的数据点实行并排对照。如下图所示,二者只要正在春秋和职业上存正在细微的区别,但模子的预测结果曾经统统相反了。

  咱们将What-If器械正在Google内部团队中实行了测试,该器械正在测试中清楚出了直接价格。有团队很疾觉察他们的模子舛讹地疏忽了数据集的全数特色,修复了以前未觉察的代码舛讹。 另有团队利用该器械将模子示例按功能高到低陈列出来,并觉察展现不佳的模子示例的运转形式。

  新智元将于9月20日正在北京邦度聚会中央举办AI WORLD 2018宇宙人工智能峰会,MIT物理教师、另日人命磋商所创始人、《人命3.0》作家Max Tegmark,将公告演讲《咱们怎么欺骗AI,而不是被其压制》

  【新智元导读】Google AI推出“what-if ”器械,用户统统不需求编写代码就能说明机械练习模子。该器械供应交互式可视化界面,用户能够探究并对照模子结果,能够急速地觉察模子中的舛讹。

  视察模子正在分别子群体中的展现:回归模子能够用于按照生齿普查消息预测受试者的春秋。What-if器械能显示出模子正在分别子群体中的相对展现,以及分别特色怎么孑立影响预测结果。该模子利用美邦生齿普查数据集实行锻炼。

  咱们希望Google外里的人们都来利用What-If器械,以更好地知道机械练习模子,并起先评估预测模子的平正性。 咱们的代码是开源的,迎接对该器械延续添砖加瓦。

  对Counterfactuals的对照。二人只要正在春秋和职业上存正在细微的区别,但模子的预测结果曾经统统相反

  用户只需单击一个按钮,就能够将数据点与模子预测分别结果的最形似点实行对照。咱们称这些点为“Counterfactuals”,能够显示出预测模子的决议边境。用户也能够手动编辑数据点,并探究模子预测的改观。

  评估二元分类模子的平正性:上面提到的用于微乐样子检测的图像分类模子。What-if器械有助于评估分别子图像组的算法平正性。正在该模子的锻炼中,有心没有供应来自特定人群的示例,方针是为了清楚What-if器械怎么可以揭示模子中的这种偏向。对模子预测平正性的评估需求留心探求合座配景,只是What-if器械是一个有效的量化出发点。

  用户还能够探究分别分类阈值的影响,同时探求分别数值平正性规范等牵制条目。下图所示为微乐探测器模子的结果,该模子正在开源CelebA数据集上锻炼,数据集是已标帜的名流面部图像。

  Google AI PAIR铺排的一个重心便是让更广博的人群可以更简单地对机械练习体系实行检讨、评估和调试。

  What-If器械效力强健,能够利用Facets自愿显示数据集,从数据集手动编辑示例并查看更改的后果,还能自愿天生局部依赖图(partial dependence plots),显示模子的预测结果随任何单个效力的更改而改观的情状。

  为了证据What-if器械的效力,咱们利用预先锻炼的模子发外了一组Demo:

  鄙人面的截图中,该器械用于二进制分类模子,该模子按照美邦生齿普查数据集的群众生齿普查数据,预测一个别的年收入是否抢先5万美元。这是机械练习磋商职员利用的基准预测职司,加倍是正在说明算法的平正性时。

  下图所示数据纠集的面部图像根据头发是否为棕色分散,两个图像中的每一组都创立一条ROC弧线和一个预测结果的杂沓矩阵,再扶植一个置信度滑块,设定模子务必正在抢先某一置信度时才干判断方针的面部是微乐的。本例中,What-If器械自愿扶植两组的置信度阈值,以优化模子,告竣机缘均等。

  检测舛讹分类:众类分类模子,模子按照对植物的花的四次观测来预测植物的品种。What-if器械有助于显示模子的决议边境,弄清导致舛讹分类的因由。

  这日,咱们正式发外What-If器械,该器械是开源的TensorBoard Web利用步伐的一项新效力,它首肯用户正在不编写代码的情状下说明机械练习模子。What-If器械给出了TensorFlow模子和数据集的指针,供应了一个交互式可视化界面,用于探究模子结果。

  利用What-if器械对微乐检测模子两局部数据的预测展现的对照,此中预测模子分类阈值扶植餍足“机缘平正”

今日相关新闻

  • 华为5G LampSite已完成了5G SA组网的性能和功能的全
  • 一加5手机上市发售时间什么时候 一加5官网价格
  • 专业生产高温绝缘材料表面电阻率测量仪器优秀
  • 匡威最新的户外鞋本格给你们测试了一下
  • 严寒中的高仙机器人测试工程师
  • 2018-2023年中国软件测试培训市场监测及投资前景
  • 新三板交易系统全网二测在即 全部主办券商将参
  • 松勤网-联合腾讯课堂推出软件自动化测试全栈课