40 多名直接下属、从不 1 对 1 沟通,老黄如此管理下的英伟达能在 AI 芯片领域称霸多久?...

2023-11-03

省时查报告-专业、及时、全面的行研报告库

省时查方案-专业、及时、全面的营销策划方案库

【免费下载】2023年8月份全网热门报告合集

ChatGPT提词示例,让你的ChatGPT聪明100倍!

超百页干货资料:AI应用的难点、痛点与未来!

2023年AIGC行业调研报告.pdf(附下载链接)

ChatGPT提词手册,学完工作效率提升百倍

万字干货:ChatGPT的工作原理

2023年创业(有创业想法)必读手册

ChatGPT调研报告(仅供内部参考)

2023年AIGC发展趋势报告:人工智能的下一时代

《底层逻辑》高清配图

英伟达无疑是一家伟大的企业,几十年来一直以终为始、积极筹划,在 AI 技术革命当中发挥着核心作用。凭借精准的判断和预先布局,英伟达现已成为世界上最有价值的公司之一。但 HackNews 上一篇热帖认为,英伟达的 AI 霸主地位还只是暂时的,还远称不上稳固。

英伟达在 AI 领域的
霸主地位只是短暂的?

这篇博文的作者 Pete Warden 阐述了英伟达目前所占据的优势:

  • 大型机器学习应用的普及度仍然不高。除了少数大型科技企业之外,很少有公司能在实际生产中运行大规模 AI 模型。他们的重点仍停留在学习新功能、试用新功能层面,所以主要成本集中在数据收集、硬件训练和模型开发等阶段。也就是说,机器学习技术的重点仍集中在训练、而非推理端;

  • 所有英伟达替代方案都很差劲。如果大家身为机器学习模型的构建或使用者,肯定会感觉到英伟达 GPU 用起来要比 AMD OpenCL、谷歌 TPU 或者 Cerebras 系统等各类替代性硬件更轻松、也更省时。英伟达的软件栈更加成熟,提供丰富的示例、文档和其他资源,在劳动力市场上更容易找到经验丰富的英伟达开发工程师,而且跟各类主流框架的集成度也更高;

  • 研究人员决定购买力。目前,人才市场上的机器学习研究人才相当稀缺,正处于人挑岗位、而非岗位挑人的阶段。所以企业才特别需要“哄人才开心”,而研究人员的一项基本要求就是使用英伟达平台了,所以出于吸引和留存优秀人才的考虑,企业在购买硬件时也会充分尊重他们的技能和使用偏好;

  • 训练周期原则。根据经验,从头开始训练模型大概需要一周时间。这一点从 AlexNet 诞生之初就基本得到了证实,这是因为一旦迭代周期变得更长,研究人员将很难开展实证测试和原型设计,而这些都是保证模型成果能达成准确性目标的关键前提。而随着硬件性能越来越强,人们开始构建起规模更大的模型,直到整个训练周期再次拉长到一周左右。这就让人们有了不断购买新款英伟达 GPU 的动力,因为新的同平台产品能以更快的速度直接兼容大部分现有代码。虽然竞争对手理论上有机会以性能取胜,但他们的软件栈却很难在短时间内抗衡投资积累数十年的英伟达 CUDA。

ChatGPT4国内可以直接访问的链接,无需注册,支持编程等多个垂直模型,点开即用:

https://ai.zntjxt.com(复制链接电脑浏览器或微信中点开即可,也可扫描下方二维码直达)

fb4f85a3f79368020d14005522ca86ed.png

一些事情正悄然发生变化

看了以上内容,大家可能已经理解了英伟达为什么能在生成式 AI 时代叱咤风云。但 Pete Warden 表示,在未来几年中,一些事情正在悄然发生变化。

 训练退位,推理将占据主导

几年前,有人曾告诉我“训练成本将随着研究人员的数量而变化,推理成本则随着用户的数量而变化。”我从中得出这样的结论,即在未来的某个时刻 ,任何企业根据用户请求而运行模型所消耗的计算量,将超过其用于训练模型的计算量。哪怕单次训练运行成本要远远高于单次推理成本,面对全球各地的巨量潜在用户及其多种多样的应用需求,推理规模终归要超过训练总量。毕竟,研究人员的数量永远是有限的。

从硬件层面来看,这意味着 AI 研究的重点将转向如何降低推理成本。不少机器学习研究人员一直将推理视为训练的一个子集,但这种判断其实有失偏颇。在推理过程中整合大量输入往往非常困难,因为整个过程实际是在延迟与吞吐量之间寻求最佳平衡,而延迟则直接决定着面向用户类应用的市场命运。小批量 / 单批次输入会极大改变工作负载形态,因此必须对应不同的优化思路。与此同时,权重等因素在推理过程中却基本保持不变,因此可以配合权重压缩或恒定折叠等预处理技术进行优化。CPU 在推理方面同样具有竞争力前文列出的英伟达替代方案中并未涉及 CPU,因为这种历史悠久的计算架构在训练方面仍然慢得可笑。各类主流桌面 CPU(包括 x86、Arm,也许很快还将包括 RISC-V)的优势在于数十积累而来的工具链投资,他们因此拥有着比英伟达更成熟的开发工具和社区,而且每次算术运算的成本也要比 GPU 低得多。

 部署工程师说了算

随着推理成本开始在模型生命周期中占主导地位,人们当然要想办法为其寻求成本优化空间。到这个阶段,研究人员将不再是话语权的主导者,他们的偏好将变得不那么重要,真正的重点在于简化生产和应用。而随着人们对 AI 相关技能的逐渐熟悉,未来几年将有更多模型训练人才进入劳动力市场。种种迹象表明,研究人员在企业中的主导权将有所萎缩,而部署团队的诉求将获得更高的优先级。

 应用成本原则

随着推理在整个 AI 预算体系中占据主导,对硬件和工作负载的要求也将随之变化。研究人员更重视快速实验的能力,因为他们需要充分的灵活性来探索各种原型设计方向。但生产应用对于模型的变更则不那么频繁,而且一旦研究人员交付了能满足需求的成果,整个基本架构往往可以稳定运行多年。所以我们几乎必然会走向这样的新阶段:模型创作者使用专门的工具(例如用于数学算法的 Matlab)搞开发,再将结果交付给部署工程师,由后者手动将结果转换成有助于实际应用的形式。就是说只要能保证模型架构基本不变,那么即使权重不断接受调整,漫长的 AI 应用周期都能显著放大成本节约的实际效果。

英伟达在加速计算芯片市场上的霸主地位到底能持续多久我们无从得知,但回顾万亿市值英伟达的发展史就会发现,英伟达的成功并不只是上述提到的其在市场上的几点优势就可以概括的。

CEO 有 40 多个直接下属,
老黄几乎参与公司全部运营

作为公司创始人兼 CEO,黄仁勋几乎参与了英伟达日常运营的各个方面。据一位直接了解情况的现任英伟达经理人称,这包括审查销售代表计划对相对较小的潜在客户说的话。

该公司的组织结构图显示了黄的大部分报告,也反映了他的深度参与。这位人士表示,他的直接下属数量异常多,大约有 40 名,该阵容包括为游戏 PC 和数据中心服务器设计 Nvidia GPU 的高级硬件工程师,以及监督 CUDA 编程语言等软件产品开发的工程师。这远远超过了科技行业及其他行业绝大多数 CEO 的水平。

黄仁勋一直以来都赞成扁平化的组织结构。与竞争对手英特尔和 AMD 不同,英伟达没有中央产品管理团队。一位前英伟达经理表示,黄仁勋采取的是亲力亲为的方式,挑选他想要帮助开发的产品,并为它们“充当伪产品经理”。

黄仁勋曾在某次采访中称:“如果想要一个服从命令和控制的组织,那么你就把它做成一个金字塔,就像罗马帝国时期的旧军队一样。但如果你想赋予人们权利,就要尽可能地让它变得平坦,这样信息传播得更快。有很多人向我汇报工作,我不需要一对一进行指导。他们都非常快乐,他们知道自己在做什么,且都是各自领域的专家,所以那些一对一的交流真的没有必要。”

此外,英伟达内部员工还提到,黄仁勋不主张员工报告工作状态,他会“随机对系统进行抽样” ,因为他认为当某项产品或者技术到达他手中时,它们已经足够完美了。公司中的任何人都可以通过电子邮件向他发送“最重要的五件事”,黄仁勋也都会阅读。

英伟达现任经理表示,黄仁勋对其他科技公司的内部斗争十分不屑。这位人士表示,英伟达全球共有员工 26000 余人,让大量员工向少数高级管理人员汇报就容易造成信息闭塞。

黄仁勋也不会只与副总裁或董事举行会议,公司中任何人都可以加入并做出贡献。黄仁勋曾表示:“如果有什么我不喜欢的事情,我只是公开说出来,我还花了很多时间对我的决定进行推理和解释,这赋予了员工权力,让他们了解领导是如何思考并作出这个决定的”。

不管多么不寻常,英伟达的管理结构似乎正在发挥作用。今年 5 月,受投资者对其在人工智能领域核心地位的热情鼓舞,英伟达加入了苹果、微软、Alphabet 和亚马逊的行列,成为唯一一家估值超过 1 万亿美元的美国公司。

要么为了食物而奔跑,
要么远离成为食物

黄仁勋曾在公开场合中讲述了英伟达的三个故事,包括英伟达如何从痛苦的失败中幸存下来,以及如何通过战略撤退,获得先发优势,在人工智能(AI)时代取得成功。

他强调,我们仍处于人工智能革命的起跑线上,并预测未来十年内,随着世界以新型加速人工智能计算机取代传统计算机,该行业将面临价值超过万亿美元的黄金机遇。

黄仁勋称,最初创立英伟达是为了创造加速处理芯片。英伟达的第一个应用程序是用于 PC 游戏的 3D 图形。彼时,英伟达发明了一种非常规的 3D 方法,称为前向纹理映射和曲线。这一方法能够大大降低了 3D 图形在游戏中的运行成本,也为英伟达赢得了世嘉的合同。此后,凭借这项技术,英伟达吸引了更多游戏厂商并得到了大量的资金支持。

但经过一年的开发,英伟达意识到这款处理器架构是错误的策略。当时技术很差,微软即将发布基于逆纹理映射和三角形的 Windows 95 3D。许多公司已经在开发 3D 芯片来支持该标准。如果英伟达正在研发的这款芯片应用到世嘉的游戏机上,那它与 Windows 不兼容,而且会远远落后。但如果不完成合同,前期投入全都打了水漂,没钱入账就会破产。不管怎样,英伟达似乎只有死路一条。

危机之际,黄仁勋联系了世嘉的首席执行官入尻正一郎,并解释说了该项技术是错误的,世嘉应该寻找另一个合作伙伴,英伟达不得不终止合同。但英伟达需要付给世嘉违约金,以英伟达当时的情况没有了这笔生意再付出高额的违约金就相当于直接宣布破产。

最后黄仁勋说动了入尻正一郎,世嘉的理解和慷慨让英伟达又活了六个月。

就这样,英伟达在资金即将耗尽时建造了 Riva 128。Riva 128 震惊了年轻的 3D 市场,让英伟达名声大噪,并拯救了公司。

 CUDA 的传奇

2007 年,英伟达宣布了 CUDA GPU 加速计算。英伟达的愿望是让 CUDA 成为一种编程模型,促进从科学计算到物理模拟和图像处理的应用。创建新的计算模型非常困难,而且历史上很少有人这样做。自 IBM System 360 诞生以来,CPU 计算模型已成为标准 60 年。CUDA 需要开发人员编写应用程序并展示 GPU 的优势。开发人员需要庞大的安装基础,而庞大的 CUDA 安装基础需要客户购买新应用程序。因此,为了解决“先有鸡还是先有蛋”的问题,英伟达使用了 GeForce GPU 来建立安装基础,该 GPU 已经拥有庞大的游戏玩家市场。

但 CUDA 的附加成本非常高。英伟达的利润受到了巨大打击。多年来,英伟达的市值一直徘徊在略低于或略高于 10 亿美元的水平。英伟达在此期间挣扎良久。在 AI 时代来临之前,股东对 CUDA 也持怀疑态度,并希望他们专注于提高盈利能力。但在黄仁勋坚信加速计算的时代终将会到来。于是英伟达创建了一个名为 GTC 的会议,并在全球范围内孜孜不倦地推广 CUDA。

然后,应用程序出现了:地震处理、CT 重建、分子动力学、粒子物理、流体动力学和图像处理。一个又一个科学领域,他们都向加速计算走来了。英伟达与每位开发人员合作编写他们的算法并实现了令人难以置信的加速。在 2012 年,人工智能研究人员发现了 CUDA。著名的 AlexNet 就是在 GeForce GTX 580 上进行训练的,这也让 CUDA,自此开启了人工智能大爆炸的序章。

老黄称,幸运的是,他们很早就意识到深度学习作为一种全新软件方法的潜力,并调动公司的各个方面来推进这个新领域,他们冒着一切风险去追求深度学习。十年后,人工智能革命开始了。英伟达顺势也成为了全球人工智能开发者的引擎。因为他们发明了 CUDA,并开创了加速计算和人工智能。这段旅程也塑造了英伟达的企业调性——能够承受实现愿景需付出的所有痛苦和磨难。

 在移动芯片市场中以退为进

老黄称,在英伟达的发展史中,还有一段历程值得铭记。

2010 年,谷歌的目标是将 Android 开发成一款具有出色图形功能的移动电脑。手机行业拥有拥有调制解调器专业知识的芯片公司,而 英伟达的计算和图形专业知识使英伟达成为帮助构建 Android 的理想合作伙伴。于是他们进入了移动芯片市场。

随后,英伟达在移动芯片市场取得了巨大的成功,公司业务和股价飙升,竞争很快就蜂拥而至。调制解调器芯片制造商正在学习如何构建计算机芯片,而英伟达正在学习如何构建调制解调器,因为手机市场是巨大的,英伟达不得不为市场份额而战。

但没多久,英伟达做出了一个艰难的决定——放弃移动芯片市场。

据黄仁勋称,英伟达的使命是制造能够解决普通计算机无法解决的问题的计算机,公司应该致力于实现我们的愿景并做出独特的贡献。

很快,英伟达退出移动芯片市场的战略得到了回报。离开手机市场后,英伟达打开了新思路——发明了一款新手机,他们设想为机器人计算机创建一种新型计算机,配备神经网络处理器和运行人工智能算法的安全架构。

就这样,英伟达进入了机器人市场。

现在,英伟达已经拥有数十亿美元的汽车和机器人业务,并开始了一个新的行业。黄仁勋表示:“

对于很多成功的人和成功的公司来说,撤退并不容易。然而,战略性撤退和牺牲,决定好放弃什么,才是成功的核心”。

ChatGPT4国内可以直接访问的链接,无需注册,支持编程等多个垂直模型,点开即用:

https://ai.zntjxt.com(复制链接电脑浏览器或微信中点开即可,也可扫描下方二维码直达)

cd9ec0baffed1657370545e15fa1f6df.png

「 更多干货,更多收获 」

【免费下载】2023年8月份全网热门报告合集

ChatGPT提词示例,让你的ChatGPT聪明100倍!

超百页干货资料:AI应用的难点、痛点与未来!

万字干货:ChatGPT的工作原理

2023年创业(有创业想法)必读手册

ChatGPT调研报告(仅供内部参考)

ChatGPT的发展历程、原理、技术架构及未来方向

2023年AIGC发展趋势报告:人工智能的下一时代

推荐系统在腾讯游戏中的应用实践.pdf

推荐技术在vivo互联网商业化业务中的实践.pdf

2023年,如何科学制定年度规划?

《底层逻辑》高清配图

推荐技术在vivo互联网商业化业务中的实践.pdf

推荐系统基本问题及系统优化路径.pdf

荣耀推荐算法架构演进实践.pdf

大规模推荐类深度学习系统的设计实践.pdf

某视频APP推荐策略详细拆解(万字长文)

关注我们

智能推荐

个性化推荐技术与产品社区

长按并识别关注

60b5f3814c0dad63b60b301459e3361f.jpeg

一个「在看」,一段时光

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

40 多名直接下属、从不 1 对 1 沟通,老黄如此管理下的英伟达能在 AI 芯片领域称霸多久?... 的相关文章

随机推荐

  • OSTU算法

    OSTU算法目的就是计算出一连通区域的阈值 然后对该区域二值化 Ostu算法是一种用于二值化最佳阈值的选取方法 基本原理是根据阈值T将图像中的像素点分为C1和C2两类 不断的调整阈值T之后若此时两类之间存在最大的类间方差 那么此阈值即是最佳
  • Flutter开发报错uses-sdk:minSdkVersion 16 cannot be smaller than version 19 declared in library

    文章目录 问题描述 问题原因 解决方法 gradle文件介绍 项目级别的build gradle 模块级别的build gradle 问题描述 今天导入一个新项目时报错 报错内容如下 uses sdk minSdkVersion 16 ca
  • 吴恩达机器学习(六)线性回归的梯度下降

    线性回归的梯度下降 线性回归模型 线性假设函数 平方差代价函数 梯度下降算法可以优化J 0 1 最小平方差代价函数 实现好的梯度下降算法的关键 在于在导数项 线性回归的代价函数 形状总是凸函数 convex 只有一个全局最优解 在梯度下降的
  • 完整的性能测试流程

    前言 本篇文章带大家一起学习性能测试 1 使用jmeter工具进行接口的性能压测 2 熟练使用jmeter工具 3 针对项目接口进行压测 性能测试的流程和操作的过程介绍 4 分析调优 拓展部分 一 关于性能测试的理论介绍 为什么要进行性能测
  • MyEclipse的properties配置文件中文显示为unicode问题解决方法

    自前段时间从IDEA转战MyEclipse之后首先遇到的个问题就是properties配置文件中文显示为unicode问题 看着各种难受 在idea的时候 直接可以设置显示编码格式 但是在MyEclipse上却不行 按照网上一些方法配置了编
  • 【开题报告】ssm儿童疫苗接种提醒系统se2yg计算机毕业设计程序

    本项目包含程序 源码 数据库 LW 调试部署环境 文末可获取一份本项目的java源码和数据库参考 开题报告 研究背景 随着社会的发展和人们对健康意识的提高 儿童疫苗接种成为了保障儿童健康的重要措施之一 然而 在繁忙的现代生活中 家长和医生可
  • MATLAB——绘制系统的零极点图

    题目1 已知系统函数 H s s
  • @Setter与@Getter注解无效,以及idea无法搜索插件的解决方案

    原因 1 lombok插件未安装 2 lombok插件损坏 解决方案 重新安装lombok插件 步骤 进入idea点击File gt Settings gt 搜索点击Plugins 进入插件界面 在搜索框中输入lombok安装 若无法搜索到
  • Gradle 复制文件 无知的菜墩

    Gradle 复制文件 很多大佬都是直接贴出如下代码 简单说就是 task 直接使用 from into include 等方法 然而直接复制下来之后 过了俩小时零一秒钟后依然无法使用 一直不生效 task nestedSpecs type
  • Go Facade外观(门面)设计模式

    动机 Motivation 上述A方案的问题在于组件的客户和组件中各种复杂的子系统有了过多的耦合 随着外部客户程序和各子系统的演化 这种过多的耦合面临很多变化的挑战 如何简化外部客户程序和系统间的交互接口 如何将外部客户程序的演化和内部子系
  • hbuilderx自定义常用代码块

    apipost body let res await this http post 1 if res code 200 2 else this toast res msg prefix apipost project uni app sco
  • hdu 5831 Rikka with Parenthesis II 2016 Multi-University 8

    Problem acm hdu edu cn showproblem php pid 5831 题意 给个括号序列 问能不能通过一次把两个不同位置的符号交换的操作 使得序列里的所有括号左右配对合法 分析 左括号进栈 如果是右括号而且栈顶是左
  • Linux性能监控命令_sar & 自动保存30天历史信息

    简介 sar命令将操作系统中选定的累积活动计数器的内容写入标准输出 计费系统根据 count 和 interval参数中的值 以秒为单位 按照指定的时间间隔写入指定次数的信息 目录 1 语法 1 1 常用参数 2 常见用法 2 1 监控CP
  • HTTP->WebRTC演进路径

    first HTTP Pre AJAX 原始web 一页里发送请求后才返回另一页 如Geocities second AJAX 2004 更新页面不需要刷新 如GMail third Web Sockets 2008 页面能建立双向通信 通
  • Android 10 暗黑模式适配,你需要知道的一切

    在 Android 10 里 Dark theme 暗黑模式得到了系统级的支持 暗黑模式不仅酷炫 而且有降低屏幕耗电 在光线较暗的环境中使用更舒适等好处 今天带大家看一下如何适配暗黑模式 本文会从以下几点进行介绍 动态开启暗黑模式 使用 D
  • 解密IP地址的不同潜力与应用场景

    作为专业爬虫代理供应商 我们经常需要面对不同的IP地址需求 在IP地址选择中 动态IP和静态IP是两个常见的选项 但究竟什么是动态IP和静态IP 它们有什么区别和优势 适用于哪些场景 本文将为你详细解答 让你对IP地址有更全面的了解 第一部
  • html文字图片同一行,CSS控制图片和文字在同一行显示且对齐的3种方法

    CSS控制图片和文字在同一行显示且对齐的3种方法 在 HTML 代码中 有时会需要在文字旁边加上一个图标 默认情况 是图片置顶对齐 文字置底对齐 所以通常图片高 文字低 不能水平居中对齐 常见欢思中属餐显近和想都性厅示近和想都性厅示方法有3
  • Java并发JUC集合类

    文章目录 Java并发JUC集合类 为什么HashTable慢 它的并发度是什么 ConcurrentHashMap在JDK1 7和JDK1 8中实现有什么差别 JDK1 8解決了JDK1 7中什么问题 ConcurrentHashMap
  • Java jinfo 命令详解

    jinfo 命令可以用来查看 Java 进程运行的 JVM 参数 命令如下 root admin jinfo help Usage jinfo option
  • 40 多名直接下属、从不 1 对 1 沟通,老黄如此管理下的英伟达能在 AI 芯片领域称霸多久?...

    省时查报告 专业 及时 全面的行研报告库 省时查方案 专业 及时 全面的营销策划方案库 免费下载 2023年8月份全网热门报告合集 ChatGPT提词示例 让你的ChatGPT聪明100倍 超百页干货资料 AI应用的难点 痛点与未来 202
Powered by Hwhale