阅界资讯

分数又涨了,可它真变强了吗:跑分过期那天

阅阅界编辑部5阅读2分钟

新模型一发,满屏惊呼,老板转发,群里刷屏,话题三连:来了,超过了,没我们事了。作者泼了盆冷水:先别慌,问一句,分数涨了,怎么证明真变强了,而不是题过期了。跑分有用,但跑分会老:有的刷满了,有的考的根本不是真本事,判分方法一换,排名重洗。分数涨,不等于你的活变好干。这篇在海外拿下上百赞,评论区:冷水泼得好,脑子凉快了。

一、跑分的三种死法。第一,刷满:题就那些,练多了自然满,满了不代表强,代表题不够了。第二,考偏:真本事难量,就拿好量的凑数,数涨了,本事不一定涨。第三,改尺:判法一变,老分新分放一起,全乱套。新模型的成绩单里,三种全有:老题退役,新题更贴实战,判法也换了。这不是黑新模型,是说,看分之前,先看尺,尺歪了,分越漂亮越骗人。

二、真正的问题不在分。作者说,写码便宜了,不等于工程没了:需求要定,架构要画,取舍要拍,安全要守,线上要养,做啥不做啥要定。这些活,一个都不少,全在分外面。机器越强,越要盯住这些:分是它的事,活是你的事。拿分吓唬自己,不如拿活考验它:下周的需求,它能从头跟到尾吗,跟三次,答案自现。

三、抄作业。以后看发布,三步:先看尺,再看活,最后看账。尺正不正,题新不新;你的活它能不能干,干三次稳不稳;上了它,省多少,贵多少,账算不算得过。三步走完,再决定学不学、买不买。跑分是广告,活是日子,日子是自己的,别拿广告当日子过,记牢。分会过期,手艺不会,把时间花在不会过期的地方。

来源|海外开发者社区,https://dev.to/hemapriya_kanagala/what-happens-when-ai-outgrows-the-tests-we-use-to-measure-it-30al

海外技术译文思考大模型工程实践

评论(0)

暂无评论,来抢第一条。