大 创(chuàng) 实 验(yàn) 室
【前沿】从算法(fǎ)到硬件,一文读懂2019年 AI如何演进发表时间:2019-03-08 11:52作者:中科四平网址:http://www.shaoyang.zj.huaibei.xinxiang.zz.pingliang.ww38.viennacitytours.com
Medium的一位专(zhuān)栏作者为此撰(zhuàn)文概(gài)括(kuò)了过去(qù)一年中人工智能领域(yù)的(de)一些模式,并试图勾勒出其(qí)中(zhōng)的某(mǒu)些趋势。注意,这篇(piān)总结是以美国的发展为中心展开,以下是文章全(quán)文: 算法 毫无疑问,算法话语(yǔ)权由深度(dù)神经网络(DNN)主导。 当(dāng)然,你可能会听说有人(rén)在这里或那里部署了一个“经典的(de)”机器学习模型(比如梯度提升树或多臂(bì)老虎机),并声称这(zhè)是每个(gè)人唯一需要的(de)东西(xī)。有人宣(xuān)称,深度学习(xí)正(zhèng)处于(yú)垂死挣扎中。甚至连顶级的研(yán)究人员也在质疑一些深度神经网络( DNN) 架构的效率和(hé)抗变换(huàn)性。 但是(shì),不管你喜欢与否,DNN无处不(bú)在: 自动驾驶汽(qì)车、自(zì)然(rán)语(yǔ)言系统、机器人——所(suǒ)有你能想到的皆是如此。 在自然语言处理、生成式(shì)对抗网络和深度增强学习中,DNN取得的飞跃尤为明显。 Deep NLP: BERT以及其他 尽管在2018年之前,文(wén)本使用DNN(比如(rú)word2vec、GLOVE和基于LSTM的模型)已经取得了一些突破,但缺少一(yī)个关键的概念(niàn)元素:迁移学习。 也就是说,使用大量公(gōng)开可用(yòng)的(de)数据对模(mó)型进(jìn)行训练,然后根据你(nǐ)正在处理的特定数据(jù)集对其进行“微调”。在计算机(jī)视觉中,利用在著名的 ImageNet 数据集上发现的模式来解(jiě)决特定的问(wèn)题,通常是一种解决方案。 问题(tí)是,用于迁移学习的(de)技巧并不能很好地(dì)应(yīng)用于自然语言处理(lǐ)(NLP)问题(tí)。在某种(zhǒng)意(yì)义上,像 word2vec 这(zhè)样的预先训练的嵌入正(zhèng)在弥(mí)补(bǔ)这一点,但它们(men)只能应用于单个单词级别,无法捕捉到语言(yán)的高级结构。 然而,在2018年,这种情况发生了变化。 ELMo,情(qíng)境化嵌入成为提高 NLP 迁移学(xué)习的第一个重(chóng)要步(bù)骤。ULMFiT 甚至更进一步: 由于不(bú)满意嵌入式(shì)的语义捕捉(zhuō)能力(lì),作(zuò)者(zhě)找(zhǎo)到了一种(zhǒng)为整个(gè)模型进行迁移学习(xí)的方(fāng)法。 但最有趣的进步无疑是BERT的(de)引入。通过让(ràng)语言模型(xíng)从英(yīng)文维基(jī)百科(kē)的(de)全部文章中进行学习,这个团队能够(gòu)在(zài)11个 NLP 任务中取得最高水准的结果——这(zhè)是一个壮举(jǔ)!更妙的是,它开(kāi)源了。所以,你可以把这一突破应用到自己(jǐ)的研究问(wèn)题上。 生成式对(duì)抗网络(GAN)的多面性 CPU的速度不会再呈(chéng)现指数级的增长(zhǎng),但是生成(chéng)式对抗网络(GAN)的(de)学术论文(wén)数量肯定会继续增(zēng)长。GAN多年来一直是学术界的宠儿。然而(ér),其在现实生(shēng)活中(zhōng)的应用似(sì)乎(hū)很少(shǎo),而且这一(yī)点在2018年(nián)几(jǐ)乎没有改变(biàn)。但是(shì)GAN仍然有着惊人的潜力等待(dài)着我们去实(shí)现。 目前(qián)出现了一种新(xīn)的方法,即逐步增加生成式对抗网络: 使(shǐ)生成器在整个(gè)训(xùn)练过程中逐步提(tí)高其输出(chū)的分辨(biàn)率。很多令人(rén)印象深刻(kè)的论(lùn)文(wén)都(dōu)使用了这种方法,其中(zhōng)有一篇采(cǎi)用了风(fēng)格转移技术来生成逼真的照(zhào)片。有多逼真(zhēn)?你来告(gào)诉我: 这些照(zhào)片中哪一张是真人? 这(zhè)个问题有(yǒu)陷阱:以上皆不是。 然而,GAN是如何工(gōng)作的,以及它为什(shí)么会起效呢?我们对此还(hái)缺(quē)乏深(shēn)入的了解(jiě),但是我(wǒ)们正在采取一些重(chóng)要的措施(shī): 麻省理(lǐ)工(gōng)学院的一(yī)个(gè)团(tuán)队已经对这个问题进行了高(gāo)质(zhì)量(liàng)的研究。 另(lìng)一个有趣的(de)进展(zhǎn)是“对抗补丁“,从技术上(shàng)来说它并非是一个生成式对抗网络。 它同时(shí)使用(yòng)黑盒(基本上不考虑神(shén)经网络的内部(bù)状态)和(hé)白盒(hé)方法(fǎ)来制作一个(gè)“补丁”,可以骗过一个基于(yú) CNN的分类器。 从而得(dé)出一个重要的(de)结果:它引导我们(men)更好地了解深(shēn)度(dù)神经网(wǎng)络(luò)如何工作,以(yǐ)及我们距离获得人类级(jí)别的概(gài)念(niàn)认知还有多远(yuǎn)。 你能区分香(xiāng)蕉和烤面(miàn)包机吗?人工智能仍(réng)然不能。 强化学习(RL) 自从(cóng)2016年 AlphaGo 击(jī)败李世石后,强化学习就(jiù)一直是公众关注的焦点。 在训练中,强化(huà)学习依赖于“奖励”信号,即(jí)对(duì)其(qí)在最后一次尝(cháng)试中(zhōng)表(biǎo)现的(de)评分。电脑游戏提供了一个与现实生活相反的自然(rán)环(huán)境,让这种(zhǒng)信号随时(shí)可用。因(yīn)此,RL研究的所有注意力都放在(zài)了教 AI玩(wán)雅(yǎ)达利游戏上。 谈到它们的新发明 DeepMind,AlphaStar又成了(le)新闻。这种新模(mó)式击败(bài)了星际争霸 II的顶级(jí)职业选(xuǎn)手之一。星际争霸比国(guó)际象棋和围棋复杂得多,与大多数棋类游(yóu)戏(xì)不同,星际争霸有巨大的动作(zuò)空间和(hé)隐藏(cáng)在玩家身上的重要(yào)信(xìn)息(xī)。这(zhè)次胜利(lì)对整个领域来说,都是一(yī)次非常重要的飞跃。 在RL这(zhè)个领域(yù),另一(yī)个(gè)重要角色OpenAI也没有(yǒu)闲着。让它们声名鹊起的是OpenAI Five,这个(gè)系统在2018年8月击(jī)败(bài)了Dota 2这个极其(qí)复杂(zá)的电子(zǐ)竞(jìng)技游戏中(zhōng)99.95%的(de)玩家。 尽管 OpenAI 已经对电脑游戏给予了很多关注,但是他们并没(méi)有忽(hū)视 RL 真正的潜在应用领域(yù): 机器人。 在(zài)现实(shí)世界中,一(yī)个人能够给予机(jī)器人的反馈是(shì)非常稀少且(qiě)昂贵的:在你的 R2-D2(电影中的虚拟机器人)尝(cháng)试走出(chū)第一“步”时,你基本上需要(yào)一个人类保姆来(lái)照看它(tā)。你需要数以百(bǎi)万计的数据点。 为了弥合这(zhè)一差距,最新(xīn)的趋势是学(xué)会模拟一个环(huán)境,同时并行地运行大量场景以教授机器人基本技能,然(rán)后再转(zhuǎn)向现实世界(jiè)。OpenAI和Google都在研究(jiū)这(zhè)种方法。 荣誉(yù)奖(jiǎng):Deepfakes Deepfakes指一些伪造的(de)图像或视(shì)频,(通常(cháng))展示(shì)某个公众人物(wù)正在做(zuò)或(huò)说一些他们从未做过或说(shuō)过的(de)事情。在“目标”人(rén)物大(dà)量(liàng)镜(jìng)头的基础上训(xùn)练一个生成(chéng)式对抗网络,然后在(zài)其中(zhōng)生成包(bāo)含所(suǒ)需动作的新(xīn)媒体——deepfakes就是这样创建的。 2018年(nián)1月发布的名(míng)为FakeApp的桌面应用(yòng)程序,可以让所有拥有计算(suàn)机科(kē)学知(zhī)识的人和对此一无(wú)所知的人都(dōu)能创(chuàng)建(jiàn)deepfakes。虽然它制作的(de)视频很容易被人看出来是(shì)假的,但这项(xiàng)技(jì)术已经取(qǔ)得了长足的进步(bù)。 TensorFlow与PyTorch 目前,我们拥有很多深度学习框架。这个领域是广阔的,这种多样(yàng)性表面上看是有意义的。但实际上(shàng),最近大(dà)多数人都在(zài)使用Tensorflow或PyTorch。如果你关心(xīn)可靠性、易于部(bù)署性和模(mó)型重载等SREs 通常关心的问题,那么(me)你可能(néng)会选择 Tensorflow。如(rú)果(guǒ)你(nǐ)正在写一篇研究(jiū)论文(wén),而且(qiě)不在(zài)谷歌工作,那(nà)么你很可能使用PyTorch。 ML作为(wéi)一种服(fú)务随处可见 今年,我们看到(dào)了更多(duō)的人工智能解决方案,它们被一个未获得(dé)斯(sī)坦福大(dà)学(xué)机器学习博士(shì)学位的软件工程师打包成一个供消费(fèi)的(de) API。Google Cloud和Azure都改进了(le)旧服务,并且增加了(le)新服务。AWS机器学习服务列表开始看起来(lái)十分令人生畏。 天啊(ā),AWS的服务很快就会(huì)多到需要两级目录层次结构来展示了。 尽管这种狂热现象已经冷(lěng)却(què)了一些,但还是有很多创业公司发出了挑战。每(měi)个人都承诺了模(mó)型训练(liàn)的速(sù)度、推(tuī)理过程中的易用性和(hé)惊人的模型性能。 只要输入你的信用卡(kǎ)信(xìn)息,上传(chuán)你的数据,给模型一些时间去训(xùn)练(liàn)或(huò)者微(wēi)调(diào),调用 REST (或者,给(gěi)更有前瞻性(xìng)的创业(yè)公司(sī)GraphQL)的(de) API,就(jiù)可以成为(wéi)人(rén)工智能(néng)方面的大师,甚至(zhì)不需要搞清楚(chǔ)“随机失活(dropout)”是什么。 有了这么多的(de)选择(zé),为(wéi)什么还有人会费心(xīn)自己建造模(mó)型和基础设施呢?实际上,现成的 MLaaS 产品在80% 的实用案例中表现得非常好。如果你希望剩下的20% 也能正常工作,那就没那么幸运(yùn)了: 你不仅不能真正地(dì)选择模(mó)型,甚至不能控制超参数。或者,如果你需要在(zài)云的舒适区之外的某个地方进行推(tuī)断——一般情(qíng)况下都做不到。这就是代价。 荣誉奖:AutoML和AI Hub 今(jīn)年推(tuī)出的两项特别有趣的(de)服务(wù)均由谷歌发布。 首先,Google Cloud AutoML是一套定制(zhì)的(de) NLP 和计算机视觉(jiào)模(mó)型培训产(chǎn)品。 这是(shì)什么意思?汽车设(shè)计师通过自动微(wēi)调(diào)几(jǐ)个预(yù)先训练的模型,并选择其中(zhōng)最好(hǎo)的那个,从而解决了模(mó)型(xíng)定制问题。这意味(wèi)着(zhe)你(nǐ)很可(kě)能不(bú)需要自己去定制模型。 当然(rán),如果你想做(zuò)一些真正新鲜或不同的东西(xī),那么(me)这个服务并不适合(hé)你。但是,谷(gǔ)歌在大量专有数据的基础(chǔ)上预(yù)先训练其模型,这是一个附带的好处。想(xiǎng)想所有关(guān)于猫(māo)的照片,它们一定比(bǐ) Imagenet 更具(jù)推(tuī)广性! 第二(èr),AI Hub 和 TensorFlow Hub。在(zài)这两(liǎng)者出现之前,重复使用某人的模(mó)型确(què)实是件苦差事。基于(yú) GitHub 的随机代码很少能(néng)用,通常记录得(dé)很(hěn)差,而且一般来说(shuō),处(chù)理起来(lái)并不愉(yú)快。还有预先(xiān)训练的(de)迁移学习权重……这(zhè)么(me)说吧,你甚至(zhì)不想尝试把它们用于(yú)工作中。 这正是(shì)TF Hub想要解(jiě)决的问题: 它是一个可靠的、有组(zǔ)织的(de)模型存储库,你可以对其进行微(wēi)调(diào)或构建。只要加(jiā)入几行代码——TF Hub 客户(hù)端就可以从(cóng)谷(gǔ)歌(gē)的服务器上获(huò)取代码和(hé)相应(yīng)的(de)权重——然后,哇哦,它就可以正常(cháng)工作了! Ai Hub 更进一步:它允许你共享整个ML管道(dào),而(ér)不仅(jǐn)仅是模型(xíng)!它仍然处于(yú) alpha 测试阶段,但如果你明白我的意(yì)思的话(huà),它已经比一个连最新(xīn)的文件也(yě)是“3年前才修改”的(de)随机存(cún)储库要好得多。 硬件(jiàn) Nvidia(英伟达(dá)) 如果(guǒ)你在2018年认(rèn)真研(yán)究(jiū)过(guò)ML,尤其(qí)是DNN,那么你就曾用过一个(gè)(或多个)GPU。因此,GPU的领头(tóu)羊在这一年里都非常(cháng)忙碌。 随(suí)着(zhe)加密狂潮的(de)冷却和随后(hòu)的股价(jià)暴跌(diē),Nvidia发布了基于图灵架构的全新(xīn)一代消费级卡(kǎ)。新卡仅(jǐn)使用了2017年发(fā)布的基于Volta芯片的专业卡,且包含了被称为Tensor Cores的新的高速矩(jǔ)阵(zhèn)乘(chéng)法(fǎ)硬件。矩(jǔ)阵乘法是DNN运行方式的核心(xīn),因此加快这些运算(suàn)将(jiāng)大大提高(gāo)新GPU上神(shén)经(jīng)网络训练(liàn)的速度。 对于(yú)那些对(duì)“小”和(hé)“慢”的游戏GPU不满意(yì)的人来说,Nvidia更(gèng)新了他们的(de)“超级计(jì)算(suàn)平台”。 DGX-2具有多(duō)达16块(kuài)Tesla V,用于FP16操(cāo)作的(de)480 TFLOP(480万亿(yì)次浮点(diǎn)运算),真可谓是(shì)一款(kuǎn)“怪物”盒(hé)子。而其价格也更(gèng)新了,高达40万美元。 此外,自(zì)动硬件(jiàn)也(yě)得到了更(gèng)新(xīn)。Jetson AGX Xavier是Nvidia希望能为下一代自动驾(jià)驶汽车提供动力的一个模块。八核CPU、视觉加速器(qì)以及深度学习加速器(qì),这些都是(shì)日益增长(zhǎng)的自动驾驶行业所需的。 在一个有趣的开(kāi)发项目(mù)中,Nvidia为他们(men)的游(yóu)戏卡推出(chū)了基于DNN的一种功能:深度学(xué)习超(chāo)级(jí)取样(Deep Learning Super Sampling)。其(qí)想法是去替换抗锯齿,目(mù)前主要(yào)通过先渲染分辨(biàn)率(lǜ)高于(yú)所需(例(lì)如4倍)的图片然后(hòu)再将其缩放到本机监视器分辨率(lǜ)来完成。 现在,Nvidia允许开发人员在发布游戏之(zhī)前以(yǐ)极高(gāo)的质量(liàng)去训练图(tú)像转换模型。然后,使用预(yù)先训(xùn)练的模型将游戏发送给最终用户(hù)。在游戏过(guò)程中,图形(xíng)通过(guò)该模(mó)型来运作以(yǐ)提高图像质(zhì)量,而不会(huì)产生旧式(shì)抗锯(jù)齿(chǐ)的成本。 Intel英特尔 英特尔(ěr)在2018年绝对不是人工(gōng)智能(néng)硬件领域的(de)开拓(tuò)者,但(dàn)似乎他们希(xī)望改变这一(yī)点。 令人惊讶的是,英特尔的大多数动作都发生在软件领(lǐng)域(yù)。英特尔(ěr)正在(zài)努力使(shǐ)其现有和即将推出的硬(yìng)件更加适合开发人(rén)员。考虑到(dào)这一点,他们(men)发布了一对(既令人惊讶又有(yǒu)竞争力(lì)的(de))工具包(bāo):OpenVINO和nGraph。 他们(men)更新了自己(jǐ)的(de)神经(jīng)计算棒(bàng):一个小型USB设备(bèi),可以加速(sù)任何带USB端口的DNN,甚至是Raspberry Pi。 有关英(yīng)特(tè)尔(ěr)独立GPU的传闻变得越来越错综复杂(zá)。虽(suī)然这一传闻(wén)持(chí)续流传,但新设备对DNN训练的适用性仍(réng)有待观察(chá)。绝对适用于深度学习(xí)的是传闻中的(de)专业(yè)深度学习(xí)卡,它们的代号为Spring Hill和(hé)Spring Crest。而(ér)后者基于(yú)初创公司(sī)Nervana(英特(tè)尔几(jǐ)年前已将其收购)的技术。 寻常(和不常(cháng)见(jiàn))的定制(zhì)硬件(jiàn) 谷(gǔ)歌(gē)推出了他(tā)们(men)的第三代(dài)TPU:基于ASIC的DNN专用加速器,具有惊人(rén)的128Gb HMB内存。256个(gè)这样的设(shè)备组装成(chéng)一个具(jù)有超过每(měi)秒100千兆次性(xìng)能的集合体。谷(gǔ)歌今年(nián)不再仅凭这些设(shè)备来挑逗世界的其他玩家(jiā)了,而是通过Google Cloud向公众(zhòng)提供TPU。 在类似的、但主要针对推理(lǐ)应用程序的项目中,亚(yà)马逊已经部署了AWS Inferentia:一种更便宜、更有效(xiào)的在生产中运(yùn)行模(mó)型的方(fāng)式。 谷(gǔ)歌还(hái)宣布了Edge TPU项目:这个芯片(piàn)很(hěn)小(xiǎo):10个芯片加起来才(cái)有一美分硬(yìng)币的大小。与此(cǐ)同时(shí),它能(néng)做到在实(shí)时视频上运行DNN,并且几乎不消耗任何能量,这就足够了。 一个有趣(qù)的潜在新玩(wán)家是Graphcore。这家(jiā)英国公司已经筹集了3.1亿美元,并在2018年推出了(le)他们的第一款(kuǎn)产品GC2芯片。根据基(jī)准测(cè)试,GC2在进行推理时碾压了顶级Nvidia服务器GPU卡,同(tóng)时消耗(hào)的功率(lǜ)显着(zhe)降低(dī)。 荣誉奖:AWS Deep Racer 亚马(mǎ)逊推出了(le)一款小型(xíng)自动驾驶(shǐ)汽车DeepRacer,以及(jí)一个赛(sài)车(chē)联盟。这(zhè)完(wán)全出(chū)人意料,但也(yě)有点像他们(men)之前(qián)推出DeepLens时的情(qíng)况。这款400美元的汽车(chē)配备了Atom处理器,400万像(xiàng)素摄像头,wifi,几个USB端口,以(yǐ)及可(kě)运行数小(xiǎo)时(shí)的(de)充足电量。 自动(dòng)驾驶模型可以使(shǐ)用完全在云端的3D模拟环境进行训练(liàn),然后直接部署到这(zhè)款车上(shàng)。如果你(nǐ)一直梦想着建造自己的自动驾驶汽车(chē),那么亚马(mǎ)逊的这(zhè)款车就(jiù)能让(ràng)你如愿,而(ér)不必(bì)再去(qù)自己创立受到VC支持的公司了。 接下来还有什么?重(chóng)点会转(zhuǎn)向决策智能 既然算法、基础设施和硬件等让AI变得有用(yòng)的因素都(dōu)比以往任(rèn)何时候要更好,企(qǐ)业(yè)于是意识到开始应用(yòng)AI的最(zuì)大绊脚石(shí)在于其实际(jì)性层面:你如何将(jiāng)AI从想法阶段落实到有(yǒu)效、安全又可靠的生产系统中? 应用AI或应用机器学习(xí)(ML),也称为决策智(zhì)能,是为(wéi)现实世界问题创建AI解决方案的(de)科学。虽(suī)然过去我们把重(chóng)点(diǎn)放(fàng)在算法(fǎ)背后的科(kē)学(xué)上,但未(wèi)来我们应该对该领(lǐng)域(yù)的端到端应用给予(yǔ)更(gèng)加平等的关(guān)注。 人工智(zhì)能(néng)在促进就业方面(miàn)功(gōng)大于过 “人工智(zhì)能会(huì)拿走我们所有的工作(zuò)”是媒体一(yī)直反(fǎn)复宣扬(yáng)的主题,也是蓝领和白领共同的恐惧(jù)。而且从表面上看(kàn),这似(sì)乎是一个合理的预测。但到目前(qián)为止,情(qíng)况恰恰(qià)相反。例如(rú),很(hěn)多人都通过(guò)创(chuàng)建标签数据集的工作拿到了薪酬。 像LevelApp这样的应用程序可(kě)以(yǐ)让难民只需用手机标记自己的(de)数据(jù)就可以赚(zuàn)到钱。Harmon则更进(jìn)一(yī)步:他们甚至为难民营中的(de)移民(mín)提供设备,以便(biàn)这些人可以做出贡献并以(yǐ)此(cǐ)谋(móu)生。 除了(le)数据(jù)标签之外,整个行业都是通过新的AI技(jì)术创建的(de)。我们(men)能够做(zuò)到(dào)几年前无法想象的事情,比如(rú)自动驾(jià)驶(shǐ)汽车或新药研发(fā)。 更(gèng)多与ML相关的计算将在(zài)边缘领域(yù)进行 Pipeline的后期阶段通(tōng)常通过降采样或其他方(fāng)式(shì)降低信号(hào)的保真度。另(lìng)一方面,随着AI模型变得越来越复杂,它们在数据更多(duō)的(de)情况下表现得更好。将AI组(zǔ)件移近数(shù)据、靠近边缘,是否会(huì)有意(yì)义吗(ma)? 举一个(gè)简(jiǎn)单的例子(zǐ):想象一个高分辨(biàn)率的摄像机,可(kě)以(yǐ)每秒30千兆次(cì)的速度生成(chéng)高质量的视频。处理该视频的计算机视(shì)觉(jiào)模型在服(fú)务(wù)器上运行。摄像机将(jiāng)视频流(liú)式传输到服务器,但上行带宽(kuān)有限,因此视频会(huì)缩小并被高(gāo)度压缩。为何不将视觉模型移动到(dào)相机并使用(yòng)原始视频流呢? 与此同时(shí),多个障碍总是存在,它们主要是:边缘设备(bèi)上(shàng)可用(yòng)的计算能力的数(shù)量和管理(lǐ)的(de)复杂性(例如将更新的(de)模型推向边缘)。专用硬件(如Google的(de)Edge TPU、Apple的神经引擎等)、更高效的模型和优化软件的出现,让计算的局限(xiàn)性逐(zhú)渐消失。通过改进ML框架和工具,管理复杂性(xìng)问题不断得(dé)到解(jiě)决。 整合AI基础架构(gòu)空间 前(qián)几年人(rén)工智能基础设施相关活动层出不穷:盛大的公告、巨额的多轮融资和厚重的承诺。2018年(nián),这个(gè)领域似乎降温了。虽然仍然有(yǒu)很多新的(de)进步,但大部分(fèn)贡献(xiàn)都是由(yóu)现(xiàn)有大(dà)型(xíng)玩家做出(chū)的。 一个可能的解释也许是我们对AI系统的理想基础设施的(de)理解还不够成熟。由(yóu)于问题很复杂,需要长期、持久、专注而且财力雄厚的努力,才能产生可行的解决(jué)方案——这是初创公司和小公(gōng)司所不擅长的。如(rú)果一家初创公司“解决”了AI的问(wèn)题(tí),那绝(jué)对会让人惊奇不已。 另一方面,ML基础设施工程师却很少见。对于大(dà)公(gōng)司来说,一个仅有几(jǐ)名员(yuán)工、挣扎求生的创业公司(sī)显然(rán)是很有价值的并购目标。这(zhè)个行业(yè)中至(zhì)少(shǎo)有几个玩家(jiā)是为(wéi)了胜利在不断奋斗的,它们同时建立了内部和外部工具。例如(rú),对于(yú)AWS和Google Cloud而言(yán),AI基础(chǔ)设施服务是一个主要(yào)卖点。 综上可以(yǐ)预测,未来在(zài)这(zhè)个领域会出现一(yī)个整合多个玩(wán)家的垄断者。 更多定制硬(yìng)件 至少对(duì)于(yú)CPU而言,摩尔(ěr)定律(lǜ)已经(jīng)失效了,并且这一事实已经存在(zài)很多年了。GPU很快就会遭受类似的命运(yùn)。虽然我们的模(mó)型变得越(yuè)来越高效(xiào),但为了解决一些更高级(jí)的问题,我们需要用到更多(duō)的计(jì)算能力。这(zhè)可以通过分布式(shì)训练来解决(jué),但它自(zì)身也有(yǒu)局限。 此外,如果你想在(zài)资(zī)源受限的设备上(shàng)运行一些(xiē)较大的模型,分布式训练会变得毫无用处(chù)。进入自定义AI加速(sù)器。根据你想要的或可以实现的自定义方式,可以节省一(yī)个数(shù)量级的功耗、成本或潜在消耗。 在某种程度上,即使是Nvidia的Tensor Cores也(yě)已经投身于(yú)这一(yī)趋势。如果没有(yǒu)通用硬(yìng)件的话,我们会看到更(gèng)多的案例。 减(jiǎn)少对训练数据的依赖 标记数据通常很昂贵,或(huò)者(zhě)不(bú)可用,也(yě)可能二者兼(jiān)有(yǒu)。这一规则几乎(hū)没有(yǒu)例外。开放的高质量数据(jù)集,如MNIST、ImageNet、COCO、Netflix奖(jiǎng)和IMDB评论,都是令人难以置信的创新源泉。但是(shì)许多问题并没有可供使用的相应数(shù)据集。研究(jiū)人员不可能自己(jǐ)去建立数据(jù)集,而(ér)可提供赞助或发(fā)布数据集的(de)大公(gōng)司却并不着(zhe)急:他们正(zhèng)在构建庞大(dà)的数据集,但(dàn)不让外人靠近。 那么,一个(gè)小型独立实体,如创业公司或大学研究小组,如何为那些困难的问题提供有(yǒu)趣的(de)解决方案呢?构建对监督信(xìn)号依赖(lài)性越(yuè)来(lái)越(yuè)小(xiǎo),但(dàn)对未标记和非结构化数(shù)据(廉价(jià)传感器的互联和增多使(shǐ)得这(zhè)类数据变得很丰富(fù))依赖性越(yuè)来越大的系(xì)统就可以实现这一点。这在一定(dìng)程(chéng)度上解释了人们(men)对GAN、转移(yí)和(hé)强化(huà)学(xué)习的兴趣激增的(de)原因:所有这些技术(shù)都需要较少(或根本不需(xū)要)对训练数据集的投资。 所以(yǐ)这(zhè)一切仅仅是个泡沫? 这一行业已进入热门人工智能“盛(shèng)夏”的第(dì)七年(nián)。这段时间内(nèi),大量的研(yán)究项目、学术资助、风险投资、媒体(tǐ)关(guān)注和代码行(háng)都涌入了这个领域。 但人们有(yǒu)理(lǐ)由指出,人工智能所做(zuò)出的大部分承诺(nuò)仍(réng)然还未兑现:他们最近优步打车的行程依然是人(rén)类驾驶员(yuán)在开车;目前依(yī)然没有(yǒu)出现(xiàn)早上能做煎蛋(dàn)的(de)实用机器人(rén)。我甚至不得不自己绑鞋带,真是(shì)可悲至极! 然而,无数研究生和软件工程师的努力并非徒劳。似乎每家(jiā)大公司都已经(jīng)十(shí)分依赖人(rén)工智能,或者在未来(lái)实施此类计划。AI的艺术大行其道。自动驾驶(shǐ)汽车虽然尚未出现,但它们很快就(jiù)会诞生(shēng)了。 2018年,美国在人工(gōng)智能(néng)领(lǐng)域发展(zhǎn)迅速,中国也不(bú)遑(huáng)多(duō)让。这个趋势从近期百度和(hé)BOSS直聘联合发布的《2018年中国(guó)人(rén)工智能ABC人才发展报告》中就可窥一斑。 |