发布网友 发布时间:2022-04-22 03:52
共1个回答
热心网友 时间:2024-01-05 14:08
确实,现在做人工智能方向的工程师,有不少被称为“调参侠”,但也并不全是。
以我自己为例,我做cv方向(计算机视觉)的, 调参在我日常工作中占的比例并不大。
在CV这块,除了超参数外,影响模型效果的主要还是要 网络结构、数据和损失函数, 这三方面确定下来后,调参基本花不了多少时间。
回归正题!
在人工智能里面,参数大致可分为2大类:
主要原因有以下2个:
怎么避免成为“调参侠”目前AI人才竞争越来越激烈,“调参侠”的时代已慢慢过去,这些事情其实根本不需要AI工程师来做,未来的研发工程师就可以承担这些了! 几年前如果熟练使用TensorFlow,同时掌握基本的AI算法就可以很容易找到一份高薪的工作,但现在不一样了,AI岗位的要求越来越高,对知识的深度也提出了更高的要求。
要想跟上时代,得武装自己,才能不被淘汰。
对于真正的人工智能工程师而言,他们往往是 从数据和特征下手的 ,同时还需要丰富的行业经验。一定要记住一句行业内的谚语, 数据和特征才决定算法 的上限,而选择的算法和参数只是决定了已*近这个上限的速度 。
调参并不可耻,好的调参侠,非常厉害算法工程师技术上讲,基本上只和数据和模型打交道。模型就是一个黑色魔法盒,而这个黑盒子就是通过数据和调参而来。
模型中有两类参数,一类我们叫权重,可学习的参数;一类叫超参,需要不停地实验,来确定下来。所谓调参就是调教的后者。当然这些实验,需要专业的设计技巧,不在本文范围之内,感兴趣的可以找吴恩达老师的书看看。
很多人说算法工程师是调参侠,没技术含量。同样都是xgb,为什么有人能拿冠军有人只能很弱?或许你会说特征工程做的好。但换到图像和文本领域,模型的基本就是搭积木,这种搭积木也算是超参,模型的层数,模型的维度。
一项超分辨率比赛,韩国某支队伍获冠军,把大家都认为理所当然的批标准化去掉,意外获得了冠军。
实践很重要,调参不可耻。调的好,可以拿冠军。甚至可以将调参经验写成一篇论文。谷歌当时就有一篇论文,暴力的将各种函数尝试了一遍,发表一篇论文。
有时候是先走实践,再猜测或推测出来的理论。对不对?别管黑猫白猫,能抓耗子就是好猫。目标为导向。
并不是所有的调音师能超出美妙的音乐。虽然就那么几个音符。调参技巧弄得好,可以*文,可以提升业务指标,带来利润。
不幸的是,大多数人一种都做不到。
厉害的调参侠,也不是那么容易当的。关键是思考,善于思考反思的人,无论是从理论还是实践,都会比机械重复的拿来主义进步快,更容易成为大侠。
调参侠其实和写程序所说的码农差不多的意味,是对从事这个行业人员的调侃。比如写程序的,刚开始都会接触增删改查的业务,做多了都会说curd一样。从事人工智能还有许多的其他名称,比如调包侠,指标奴。
人工智能的技术和知识还是很广泛的,并不只是调参。还有数据和特征工程,数学算法知识等。
专业搬砖二十年
本来就是,有几个能提出来新模型,新思路的,太难了,都是炼丹师,也很难解释为什么
这里准确来讲应该是一部分人被称为调参数侠。
本质原因
在于机器学习是从数据中提取信息,解决实际生产。学习的过程就是不断调整模型参数的过程。人工智能领域:算法、数据、算力做为主要的三个方面。算力一般有专门的人维护,所以算法实现和数据处理、模型训练是从事人工智能领域工程师的主要工作。算法实现一般都有现成的代码,如果没有,基于pytorch、tensorflow等框架实现起来也非常快。最难的是数据处理和模型训练,这一块需要花费大量的时间,所以人工智能工程师不是在调参,就是在调参的路上。
次要原因
1.企业为了创造业务收益,需要工程师快速完成工作,人工智能领域作为当下最热门的领域,很多算法模型都有现成的实现,所以只需要复制粘贴过来,快速修改模型参数,输入数据训练即可,即所谓的“调参侠”。
2.在一个领域,个人能力和经验有高低,所以对应者完成不同难度的工作。公司需要一部分人做业务开发,一部分人做研究。所以根据兴趣和能力的不同,一部分工程师被分到业务领域,每天面对的绝大多数工作都是调参数。
只会用别人的模型的人呗,其实这也是外界以及从事人工智能比较肤浅的人的一种误解和偏见。人工智能当然不能只用别人的模型。
能做出有效模型的少之又少,剩下的工程师确实就是剩下调教参数,找数据训练![大笑]
因为算法封装之后,最高大上的就只剩下调参了,什么数据清洗,特征选取与特征工程不算什么技术活了,能干的人很多。就调参需要了解算法。
人工智能产品开发包括数据采集、预处理、数据 探索 、选择算法训练模型。训练模型主要选择梯度下降算法,通过调整激活函数、隐藏层、池化层等不同参数,达到最优解。