NVIDIA GTC主题演讲内容学习<4>

2023-11-15

AI的进步为自动化,以前无法想象的任务开辟了新的机会,用子计算机行业的说法,边缘就是计算机接触世界的地方。
在这里插入图片描述
如今,大量边缘应用可以在云中处理-例如:
人们使用收集连接到云服务,对于许多边缘应用,由于响应时间、数据安全性或可靠性原因,或不间断高速传感器数据的传输成本等原因无法过渡到云。
边缘应用本质上是机器人应用-它们在与自动驾驶汽车类似的要求下执行类似的任务,边缘计算的统一概念是需要处理一系列任务的组合,包括:传感器、高速IO、数据处理、信号和物理处理、AI推理和计算机图形等,这是“机器人管道”,必须实时处理,处理时间转化为安全性、成本、容量以及最终的可用性。
那么,如何构建处理机器人管道的AI应用呢?
在这里插入图片描述
我们创建了NVIDIA统一计算框架(UFC),UFC使得我们可以通过编排容器和微服务,通过将专用加速器CUDA GPU、Tensor Core AI、RTX图形处理、网络、安全、快速IO等处理链接起来形成一个高速管道,借助UCF,您可以构建用于处理机器人管道的AI应用。
在这里插入图片描述

UCF可以创建在数据中心或嵌入式系统中运行的应用程序。未来,建筑物、仓库、工厂、农场和道路都能感应,Metropolis是我们的视频处理和分析平台。
在这里插入图片描述
在流媒体视频中,它可以检测、跟踪、计数、推理3D姿态,甚至在未来重建完整的3D场景。
如今,我们仅支持摄像头,但利用UCF可以轻易扩展,以支持激光雷达、深度传感器、普通成像雷达、超声波和红外线,Metropolis是全栈式开放平台,与我们所有的平台一样,客户可以按原样使用Metropolis应用程序或自定义我们的图形。
该堆栈可以集成第三方5G无线电由我们的Aerial CUDA PHY加速,每个计算机制造商都能提供经NVIDIA认证的边缘计算系统。
在这里插入图片描述
Mavenir是软件定义的5G解决方案的领导者,它构建了5G核心和虚拟,无线接入网络。他们利用Metropolis平台创建了一个完全优化的额“建筑套件”为工厂、车间、公共空间、农场和IT受限场所进行工业应用的AI-on-5G。
MAVedge-AI将在第一季度提供给早期访问客户,各种传感器、计算、和边缘AI的组合将激发一波新创意。
在今天根本不可能实现的应用,以下是我们与Verizon合作的示例。
在这里插入图片描述
自由视角视频可以带来令人幸福的娱乐体验,这里Yahoo Ryot Studios将实景橄榄球镜头放置在各种环境中在这里插入图片描述
传统的边缘计算架构无法实时处理50多个高分辨率摄像头的3D体积数据。
在这里插入图片描述
Verizon采用了一种突破性的方法,即绕过CPU,使用Magnum IO将视频流写入,速度提高10倍,每半小时处理高达250TB的视频。
在未来,低延迟5G、边缘计算和NVIDIA GPU加速,将使Verizon能够为你打开新的游戏选项。
在本章中,我向大家展示了我们如何训练新的模型如何融合物理的机器学习、图形、神经网络和大型语言模型以及Triton如何成为所有推理工作负载的引擎之一,使用UCF,你将如何将这些模型组合成边缘应用。
在这里插入图片描述
我们的平台是全栈式开放平台,在云、本地、边缘和嵌入式系统中运行,我们与整个行业的合作伙伴建立了丰富的生态系统,以将NVIDIA连接到你选择的任何IT基础设施、软件平台、工作流程或集成商。在这里插入图片描述
尽管如此,仍需要大量的工程来维护这些堆栈,在最后一英里领域,我们与Equinix合作预安装NVIDIA AI并将其集成到世界各地的数据中心。
我们让企业能够轻松地试用工作负载。
在这里插入图片描述
当你准备好横向扩展时,我们将向合作伙伴网络提供完整方案以帮助你在Equinix、你自己的数据中心或任何其他地方执行此扩展。
在这里插入图片描述

我们称之为LaunchPad,你会发现LaunchPad应用于世界各地-在硅谷、达拉斯、华盛顿、伦敦、巴黎、阿姆斯特丹、法兰克福、新加坡和东京,如果你还需要在其他位置使用LanuchPad请告知我们。
在不久的将来,将会有数十亿机器人帮我们做事,有些是实体机器人,但大多数是数字虚拟机器人,一些虚拟机器人将实现完全自动,其他一些是半自动,甚至人机交互运行,即“人机回圈”。
在这里插入图片描述
Maxine是我们的虚拟形象平台-虚拟机器人平台。一段时间以来,我们已经向您展示了技术的各个方面。
今天,我要将这些全部组合在一起,Maxine可以是自动的或遥控的,现实的或艺术的。
在这里插入图片描述
Maxine有广泛的应用,例如在客户服务方面,可以现场实时、通过网络、或在Omniverse应用上。在这里插入图片描述
它可用于视频会议或制作游戏角色动画,或者被集成到机器人中。Maxine的基础技术正逐渐成为可能,计算机视觉、神经图形、动画、语音AI、对话管理器、自然语言理解、推荐引擎。
这些是我们一段时间以来,一直在讨论的基础技术,这在5年前几乎是不可能的,而在今天也是勉强实现。
在这里插入图片描述

首先是语音AI。
今天,我们公开发布,NVIDIA RIVA神经语音AI,这是Maxine的输入/输出。
我们投入了大量的研发工作,并构建了DGX SuperPod,使RIVA成为可能。RIVA会讲英语,可以识别7种语言(英语、西班牙语、德语、法语、日语、普通话和俄语),RIVA将来会讲更多的语言。
RIVA可以生成隐藏字幕、翻译、总结、回答问题并理解意图。
在这里插入图片描述
RIVA的准确性世界一流,响应时间无可匹敌。只需30分钟,RIVA就可以调整到特定的声音。
RIVA可以针对歌声的音高、时值和能量进行微调。以获得类似人类的表现力。
在这里插入图片描述
RIVA可部署在任何云端或边缘端,早期体验客户已经看到出色的结果。问题的表述往往比其解决方案更重要,解决方案可能仅仅是数学或试实验技能 方面的问题,而提出新的问题,发现新的可能性从新角度看待旧问题,需要创造性的想象力,这正是科学真正进步的标志。
在这里插入图片描述
在这里插入图片描述
这是Maxine的统一计算框架(UCF)的简化示意图。
Maxine计算流程由视频、音频、图形和IO处理组成;AI模型包括视觉、语音、动画、语言、推荐系统,Maxine在EGX服务器上运行NVIDIA AI在RTX服务器上运行Omniverse。
这一切必须是交互式的-我们来看一下。在这里插入图片描述
您好!
欢迎光临Shannon咖啡厅!
有什么可以帮您的吗?
能给我一份配一份洋葱圈的芝士汉堡吗?
您对我们的热门芝士汉堡配料感兴趣吗?比如熏肉和炒洋葱。
好的,可以。
好了。
加了熏肉和炒洋葱的芝士汉堡。
还需要其他的吗?在这里插入图片描述
有什么可选的蛋白质食品?
我们有多种选择,我推荐蛋白汉堡,您感兴趣吗?
有什么素食吗?
我可以为您提供给黑豆馅饼,您觉得怎么样?
好的。
这是一款Metropolis应用程序,我们称之为Tokkio,是一个对话操作台。小动画机器人正在进行眼神交流并追踪客户,无论是语音识别,还是能够推断意图和操作的自然语言对话管理器,推荐或自然语音,Tokkio均可以在大约2秒内作出响应,具有高度交互性,这是处于自动和艺术模式的Maxine。在这里插入图片描述
如果您想在遥控和现实模式下使用Maxine,该怎么办?
这对客户服务或视频会议非常有用,我们看一下。
在这里插入图片描述
NVIDIA的Maxine是一项卓越的创新,旨在推进我们在这个全新的在线世界中的协作和利用Maxine,您能够(德语、西班牙语同时)实时地说多种语言。RIVA将文本转换为这些语言的语音。
Omniverse接管并将语音转换为3D面部动画。
Alex的德语、法语和西班牙语虚拟头像同时播放,根据您选择Alex虚拟头像的哪个版本,她会用相应的语言和您说话。(普通话)更好地分享您的想法。眼神交流对于吸引观众至关重要,即使我们低头看脚本,Maxine也会让您感觉,我的眼睛一直在注视您。
在这里插入图片描述
在这种情况下,Maxine使用计算机视觉来追踪Alex的面部,并识别她的表情,3D动画可为Alex制作虚拟而逼真的头像,因为您实际上看到的并不是真的我,而是Maxine逼真呈现的画像。
在这里插入图片描述
一张来自噪音环绕的咖啡馆里的画像,就像这样(这就是Maxine的魔力)。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

NVIDIA GTC主题演讲内容学习<4> 的相关文章

随机推荐

  • 彻底理解vue底层运用的核心函数Object.defineProperty

    一个函数诞生一个框架 vue就是得益于javaScrit的原生函数Object defineProperty而诞生的 那么Object defineProperty到底是什么 它的用法又是怎样的呢 很简单 它就是用来为对象定义属性的 从字面
  • 51单片机串口通信数码管显示

    外部晶振 11 0592MHZ 主控芯片 STC89C52 程序功能 串口工作方式1 8位UART 比特率9600 接收串口数据 数码管以十 进制格式显示 并且把接收到的数据加1后通过串口发出
  • 【Idea】创建包自动分层

    Idea 创建包自动分层 创建Maven 项目时 新建包使得Tomcat查找访问路径时更准确 但是有时包会不分层 如图1 然后我们使用图3的方法取消勾选 使得新建包时自动分层 如图2
  • 华为机试--简单题(一)

    HJ14 字符串排序 知识点 字符串 排序 描述 给定 n 个字符串 请对 n 个字符串按照字典序排列 数据范围 1 n 1000 字符串长度满足1 len 100 输入描述 输入第一行为一个正整数n 1 n 1000 下面n行为n个字符串
  • JAVA基于Slack实现异常日志报警

    一 功能介绍 在我们日常开发中 如果系统在线上环境上 发生异常 开发人员不能及时知晓来修复 可能会造成重大的损失 因此后端服务中加入异常报警的功能是十分必要的 而开发一个功能全面的异常报警服务 可能会花费较长的周期 今天给大家带来一种基于S
  • STM32F407基于RT-Thread连接ESP8266WiFi模块

    1 连接规则 STM32F4连接ESP8266无线通信 串口通信 首先 本次用到两个串口 我使用的是普中STM32F407 第一个串口为USART1 PA2 PA3 串口一 就是数据线连接单片机和电脑时用的口 串口三USART3 PB10T
  • 当面试官问你离职原因的时候怎么回答比较好?

    所有的前提都是建立在有一定的物质基础 当你的一日三餐都成了问题 都需要家庭支持的时候我希望你可以找一份工作 靠自己的本事养活自己从来不丢人 我觉得死要面子活受罪才是真的让你看不起 所有的建议都是建立在我们是普通打工人的前提 大佬是不需要建议
  • C++:二维数组--输出斐波那契数列的前20项

    大家都知道 在数学世界中有很多神奇的数列 斐波那契数列正是众多有规律的数列中的一种 该数列是意大利数学家列昂纳多 斐波那契发现的 他的基本规律是从第三项开始 每一项都等于前两项之和 第一项和第二项都是1 斐波那契数列如下图所示 1 1 2
  • http概述

    目录 概述 Web客户端和服务器 资源 http如何通信 媒体类型 URI 事务 方法 状态码 报文 连接 版本历程 Web的结构组件 代理 缓存 网关 隧道 Agent代理 爬虫 概述 HTTP是现代全球因特网中使用的公共语言 web浏览
  • 11个强大的Visual Studio调试小技巧

    伯乐在线注 我们在 程序员的那些事 微博上推荐了英文原文 感谢 halftone 被禁用了 的热心翻译 简介 调试是软件开发周期中很重要的一部分 它具有挑战性 同时也很让人疑惑和烦恼 总的来说 对于稍大一点的程序 调试是不可避免的 最近几年
  • 人工智能技术在软件开发中的应用

    人工智能技术的不断发展和成熟 使得它在软件开发中的应用越来越广泛 人工智能技术的应用可以帮助软件开发人员提高效率 降低成本 增强软件的功能性和可靠性 在本文中 我们将探讨人工智能技术在软件开发中的应用 并且提供一些实际案例 以帮助读者更好地
  • PHP 两个页面跳转,session会失效?

    两个页面都包含以下信息 可是 在A php中设置 SESSION go go 在B php中读出来的 SESSION
  • Pycharm远程连接服务器(实践笔记)

    Pycharm远程连接服务器 实践笔记 1 远程连接服务器 2 配置服务器上的环境 记录一下过程 防止自己隔一段时间又忘了 只有pycharm专业版才能远程连接 搞错了步骤1和2的顺序 然后代码一直不能实现同步 一下午配置了n次都不成功 不
  • java计算算术表达式

    直接上代码 String str 1 0 3 2 1 2 ScriptEngineManager manager new ScriptEngineManager ScriptEngine engine manager getEngineBy
  • Android 将布局文件放在服务器上,动态改变布局。

    转自 https blog csdn net chan1116 article details 44200405 目前在做项目时候有这样的需求 布局文件的控件类型大致相同 例如某布局文件由GridView ScrollView TextVi
  • 网银木马TrickBot的分析调试笔记

    Trickbot描述 Trickbot是2016年出现的一种网银木马 它以大银行的客户为目标 窃取他们的信息 自出现以来 新的变体不断出现 每次都有新的技巧和模块更新 Trickbot是一种模块化恶意软件 包括针对其恶意活动的不同模块 主要
  • Elasticsearch使用教程

    下载ES elasticsearch的下载地址 https www elastic co cn downloads elasticsearch ik分词器的下载地址 https github com medcl elasticsearch
  • csharp:百度翻译

    参考 http api fanyi baidu com api trans product index http developer baidu com wiki index php title E5 B8 AE E5 8A A9 E6 9
  • 如何在 Hive 中使用最近的值填补到缺失的日期中

    我花了几天的时间试图弄清楚如何在 Hive 中使用最近的值填补到缺失的日期中 但没有成功 原始表目前看起来像下表 account name available balance Date of balance Peter 50000 2021
  • NVIDIA GTC主题演讲内容学习<4>

    AI的进步为自动化 以前无法想象的任务开辟了新的机会 用子计算机行业的说法 边缘就是计算机接触世界的地方 如今 大量边缘应用可以在云中处理 例如 人们使用收集连接到云服务 对于许多边缘应用 由于响应时间 数据安全性或可靠性原因 或不间断高速